JP2016521418A - オブジェクトが挿入された画像を生成して編集する方法及びその装置 - Google Patents
オブジェクトが挿入された画像を生成して編集する方法及びその装置 Download PDFInfo
- Publication number
- JP2016521418A JP2016521418A JP2016510609A JP2016510609A JP2016521418A JP 2016521418 A JP2016521418 A JP 2016521418A JP 2016510609 A JP2016510609 A JP 2016510609A JP 2016510609 A JP2016510609 A JP 2016510609A JP 2016521418 A JP2016521418 A JP 2016521418A
- Authority
- JP
- Japan
- Prior art keywords
- image
- input
- main image
- icon
- receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000003780 insertion Methods 0.000 claims abstract description 66
- 230000037431 insertion Effects 0.000 claims abstract description 66
- 238000003860 storage Methods 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 244000299461 Theobroma cacao Species 0.000 description 1
- 235000005764 Theobroma cacao ssp. cacao Nutrition 0.000 description 1
- 235000005767 Theobroma cacao ssp. sphaerocarpum Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 235000001046 cacaotero Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
オブジェクト挿入画像を生成および編集する方法が開示されている。上記の方法は、メイン画像が決定される段階;オブジェクトを決定する入力を受信する段階;オブジェクトがモバイルデバイスの画面にディスプレイされる段階;オブジェクトに対するタッチ入力を受信する段階;オブジェクトに対するメニューが画面に表示される段階;タッチポイントを変更する第1ドラッグ入力を受信する段階;タッチポイントが上記メニューに位置すると、第1領域にメイン画像をディスプレイし、タッチポイントにアイコンをメイン画像に対してオーバーレイ(overlay)してディスプレイする段階;アイコンをメイン画像の一地点に位置させる第2ドラッグ入力を受信する段階;および、タッチ入力が終了すると、オブジェクトが挿入されたオブジェクト挿入画像を生成する段階を含んでいる。
Description
本発明は、スマートフォンなどのモバイルデバイスで画像を生成および編集する技術と関連している。より具体的には、本明細書では、一つの画像に他の画像、動画などのコンテンツを挿入することにより、オブジェクトが挿入された画像を生成し、その生成された画像を編集する効率的な方法、装置、およびそのメカニズムを記述する。
パーソナルコンピュータまたはモバイルデバイスを使用して画像ファイルを開く時、画像ファイルの特定の部分についての詳細な情報、またはより拡大された写真が要求されることがある。例えば人物の写真の場合、画像に登場する人物の名前についての情報が要求されることがある。このような場合、一般的に、デバイスまたはシステムが画像に含まれている顔を認識して、該当位置に人の名前を自動または手動でタグ(tag)を付ける方法が使用されている。自動車やスマートフォン(smartphone)などの機械の構造についての写真の場合、車両のホイール、ヘッドライト、またはスマートフォンの厚さを示す側面図、接続ジャック部分のように、特定の部分について、より詳細な画像が要請されることがある。このような場合、一般的に、画像の該当部分を拡大する方法を使用するか、その部分についての詳細な情報を含んでいる追加資料を別途(ハードディスクから追加資料にあたるファイルを見つけて実行させるように)確認しなければならない。
しかしこのような方法、すなわち画像の特定の部分に関連情報をタグ付け(tagging)したり、画像の特定部分を拡大したりする方法は、入力できる情報または提供できる解像度に制限があり、追加資料を別途見つけて確認する方法は、ユーザーにとって面倒であるという問題点を有している。
本発明は、一つの画像に他の画像や動画などのオブジェクトを挿入することで、画像に関する詳細な情報を提供できるオブジェクト挿入画像を生成する方法を提供することをその目的とする。
また、本発明は、一つの画像に挿入しようとするオブジェクトがいくつかある場合、挿入しようとするオブジェクトを一部の領域に積んでおく(stacking)方法を提供することにより、複数のオブジェクトが挿入されたオブジェクト挿入画像を生成する方法を提供することをその目的とする。
また、本発明は、オブジェクト挿入画像を生成および/または編集する方法において、タッチ入力を最小限に抑えるためのジェスチャーを提供することをその目的とする。
前述した課題は、後述する一連の時系列的な方法によって解決することができる。たとえば、本発明の一実施例によれば、モバイルデバイスでオブジェクト挿入画像を生成および編集する方法は、上記モバイルデバイスの制御モジュールによってメイン画像が決定される段階;ユーザーからオブジェクトを決定する入力を受信する段階;上記決定されたオブジェクトが上記モバイルデバイスの画面の第1領域にディスプレイされる段階;上記ディスプレイされたオブジェクトに対するタッチ入力の開始を受信する段階;上記タッチ入力に応答して上記オブジェクトについてのメニューが、上記画面にディスプレイされる段階;上記タッチ入力が指示するタッチ地点を変更する第1ドラッグ入力を受信する段階;上記第1ドラッグ入力により上記タッチ地点が上記メニューに位置すると、上記第1領域に上記メイン画像をディスプレイし、上記タッチ地点に上記オブジェクトのアイコンを上記メイン画像にオーバーレイ(overlay)でディスプレイする段階;上記アイコンを上記メイン画像の一地点に位置させる第2ドラッグ入力を受信する段階;および上記タッチ入力の終了を受信すると、上記オブジェクトが上記メイン画像の一地点に挿入された、オブジェクト挿入画像を生成する段階を遂行することにより、前述した課題を解決することができる。
また、前述した課題を解決するために、モバイルコンピューティングデバイスが使用できる。モバイルコンピューティングデバイスは、制御モジュール、通信モジュール、ディスプレイモジュール、撮影モジュール、ストレージ、および画面(screen)を含むことができる。さらに入/出力部を含むことができ、このようなデバイスの構成要素は、効率的な機能のために削除/追加することができる。オブジェクト挿入画像を生成および編集するためのモバイルデバイスの一実施例では、メイン画像を決定して、オブジェクト挿入画像を生成および編集する制御モジュール;メイン画像とオブジェクトをディスプレイするディスプレイモジュール;および上記メイン画像、上記オブジェクト、または上記オブジェクト挿入画像を保存するためのストレージを含み、上記制御モジュールは、上記ユーザーから受信された第1ユーザー入力に基づいて上記ディスプレイモジュールに上記オブジェクトについてのメニューをディスプレイさせるようにし、上記メニューに対する第2ユーザー入力に基づいて上記ディスプレイモジュールに上記メイン画像のディスプレイの上にオーバーレイとして上記オブジェクトのアイコンをディスプレイするようにし、上記アイコンを上記メイン画像の特定の位置に移動させる第3ユーザー入力に基づいて上記メイン画像の上記特定位置に上記オブジェクトが挿入されたオブジェクト挿入画像を生成するようにすることができる。
本発明は、上述した時系列的な方法を遂行するように構成されるプログラムコードにより構成することができる。このようなプログラムコードは、アプリケーションの形態で、モバイルコンピューティングデバイスで活用したり、またはパーソナルコンピュータ(personal computer)、ラップトップ(laptop)、デスクトップ(desktop)および演算装置を含んでいるデジタルカメラなどの機器で利用したりすることができる。
さらに、本発明は、上述した時系列的な方法を遂行するためのプログラムコードを含んでいるコンピュータによって読み取り可能な記録媒体を通じて実現できる。記録媒体の形態としては、光ディスク(optical disk)、フラッシュメモリ(flash memory)、SSD、HDD、RAM、ROMなど様々な形態がありうる。このような記録媒体は、記録媒体が適用可能なコンピューティングデバイスと共に課題を解決するための方法を遂行することができる。
本発明は、クラウドコンピューティングシステムによっても、前述した課題を解決することができる。サーバーではデータの保存およびオブジェクト挿入画像の生成/編集プロセスに必要な演算を実行し、クライアント端末では、ユーザーからユーザー入力(たとえば、タッチパネルの入力)を受信してサーバーに送信し、サーバーから上記演算の処理結果を受信して端末の画面にディスプレイすることができる。
前述した課題を解決するための具体的な解決手段およびその方法が、以下で説明される明細書および請求項により記載されており、以下の記載は、限定的な観点ではなく、説明的な観点から考慮されるべきである。
本発明によれば、一つ以上のオブジェクトが挿入されたオブジェクト挿入画像を生成することにより、一つの画像から多様かつ詳細な情報を提供することができる効果がある。
さらに、最適化されたジェスチャーを使用することにより、最小限の入力を介して簡便にオブジェクト挿入画像の生成および編集を遂行できる効果がある。
以下では、図面を参照して、本発明についてより詳細に説明する。
図1は、オブジェクトが挿入された画像を生成する方法を概略的に示している。本明細書では、主体写真(main picture)またはメイン画像(main image)は、オブジェクトが挿入される写真を意味する。また、メイン画像に挿入されるコンテンツは、オブジェクト(detailまたはobject)と表記する、オブジェクトは画像、動画、文字、音声録音、他のファイルへのリンク、またはURL(Uniform Resource Locator)であることができる。また、オブジェクト挿入画像(object‐embedded image)は、オブジェクトが付着されている写真(detailed picture)を意味する。つまり、オブジェクト挿入画像はメイン画像と、少なくとも一つのオブジェクトで構成されている。
図1を参照すると、第1オブジェクト(detail 1)と第2オブジェクト(detail 2)をメイン画像(main picture)に挿入する方法が図示されている。便宜上、挿入されているすべてのオブジェクトは画像とし、すべての画像はモバイルデバイスのカメラを用いて撮影されたものと説明する。
ます、メイン画像(多数の花と木)が撮影される。撮影されたメイン画像は、モバイルデバイスのストレージに格納され、ユーザーは連続的に次の写真を撮影することが可能である。メイン画像が撮影された後、カメラの焦点は、自動または手動でズームイン(zoom‐in)することができる。第1オブジェクト(特定の花)が撮影され、モバイルデバイスの画面にディスプレイされる。次に、ユーザーがディスプレイされた第1オブジェクトの所定の領域をタッチすると、モバイルデバイスの画面にはメイン画像が表示され、ユーザーによってタッチされた位置に円形のポインタ、第1オブジェクトの縮小画像、または第1オブジェクトを示すアイコンなど(以下、「アイコン」とする)が表示される。ユーザーはこのアイコンを、多数の花と木が撮影されたメイン画像において第1オブジェクトに対応する特定の花に該当する位置にドラッグした後、タッチ入力を終了(つまり、モバイルデバイスのタッチスクリーンから手を離す操作)する。この段階では、ユーザーは撮影ボタンを選択するか、撮影モードに切り替えるあらかじめ定義されたジェスチャー動作を入力することにより、モバイルデバイスを再び撮影モードに切り替えることができる。第2オブジェクト(木の表面)を撮影した後、第1オブジェクトを挿入した方式と同じ方式で、第2オブジェクトのアイコンをメイン画像において木に該当する位置にドラッグした後、タッチ入力を終了する。最後に、[保存]ボタンを押すことにより、2つのオブジェクト(第1オブジェクト、第2オブジェクト)が挿入されたオブジェクト挿入画像を生成することができる。このような方法で生成されたオブジェクト挿入画像は、モバイルデバイスの画像ビューアアプリケーションなどで見ることができ、オブジェクト挿入画像の挿入されたオブジェクトの領域を選択すると、そのオブジェクトをモバイルデバイスの画面にディスプレイまたは(オブジェクトが動画や音声ファイルの場合に)再生することができる。
図2は、本発明の一実施例に基づいてオブジェクトをメイン画像に挿入する方法を示す。図2を参照すると、ユーザーはモバイルデバイスの撮影モジュールを起動して撮影モードに進む。被写体が自動車である場合、ユーザーは一次的に、自動車の全体的な外観を撮影する。撮影された画像は、メイン画像として保存される。この保存処理は、ユーザーの入力によって行ったり、撮影モードを実装したアプリケーション上で自動的に行ったりすることができる(段階201)。
メイン画像が決定された後、ユーザーは車両の各構成要素別の詳細写真を撮影することができる。撮影された写真は、メイン画像に挿入されるオブジェクトとして利用することができる。オブジェクトの写真を撮影する時、撮影モードは自動的にズームインモードへ切り替わることができる。たとえば、メイン画像の撮影後、メイン画像が保存されると、モバイルデバイスの制御部は、撮影モジュールに対して、自動的にあらかじめ定義された倍率だけズームインさせることができる。またはユーザーが任意にカメラをズームインして詳細写真を撮影することもできる。前述した二つの方法を組み合わせる、つまり撮影モジュールが自動的にカメラをズームインし、ユーザーがズームインの割合を微調整することも、やはり可能である。これによりユーザーは、被写体の各構成要素を拡大した写真、つまりオブジェクト画像(ヘッドライト部分)を撮影することができる(段階202)。
撮影されたオブジェクトの画像は、モバイルデバイスの画面にディスプレイすることができる。ユーザーがディスプレイされたオブジェクトの画像をタッチしてホールドすると、オブジェクトの画像の編集メニューが表示される(段階203)。このメニューは、メイン画像にオブジェクトを付着する作業(本明細書では、「ディテーリング(detailing)」という。)、ネットワークを介してモバイルデバイスの外部に送信する作業、当該オブジェクトに対してメモを記録する作業などを含めることができる。タッチ状態を維持した状態でタッチポイントを所定のメニュー、例えばディテール(detail)メニューの位置にドラッグすると、オブジェクトの画像は、変更されたタッチポイントにアイコンの形に縮小または変更されて表示され、モバイルデバイスの画面にディスプレイされている画像は、オブジェクト画像からメイン画像に変更される(段階204)。
もし撮影されたオブジェクトが動画である場合に、動画撮影が終了すると、動画のプレビュー画像や動画の最初のフレームの画像のような、動画と関連する任意の画像がモバイルデバイスの画面にディスプレイされる。ユーザーが任意の画像にタッチ入力を開始した時点からのプロセスは、前述した一般的な画像でのプロセスと同様であるため説明を省略する。すでに撮影され保存された写真や動画の場合には、ギャラリーからサムネイルまたは当該写真を画面に読み込んだ状態で、上記の方法でディテーリングすることが可能である。
その後、ユーザーはアイコンを目的の位置にドラッグする(段階205)。本例では、オブジェクトの画像は拡大された車のヘッドライト付近の写真なので、ユーザーはオブジェクトのアイコンをメイン画像のヘッドライト付近に移動させる。移動が完了した後、タッチ入力を終了すると(つまり、タッチパネル型のディスプレイから手を離すと)、当該地点にオブジェクトが挿入されたという表示とともにメイン画像へオブジェクトが挿入される(段階206)。ユーザーは、このオブジェクト挿入画像を保存することにより、最終的にオブジェクト挿入画像を生成することができる。
このような方法の最大の特徴は、位置決め作業が一回の入力(つまり、スマートフォンのようなタッチパネル型のモバイルデバイスの場合、画面を一度押して離す動作)で行われるため、連続的に被写体を撮影しながらオブジェクトを付着する場合に、撮影と撮影の間の干渉を最小限にする効果がある(複数のオブジェクトをメイン画像に挿入する方法は、後述する)。オブジェクトが写真や動画である場合は、メイン画像を選択するプロセスと、選択されたメイン画像がロードされる作業が自動的に行われるので、このようなワンタッチ操作が可能である。
また、このようなオブジェクト挿入画像は、モバイルデバイスの通信モジュールを介してSNS(Social Network Services)、ブログ(blog)、ウェブページ(web page)などに送信することが可能であり、コンピューティングデバイス上でプレゼンテーションソフトウェア、文書作成ソフトウェア、またはiBook Autherのような電子書籍(e−book)作成ソフトウェアなどのアプリケーションでも使用することができる。つまり、このようなオブジェクト挿入画像をサポートしているアプリケーションでオブジェクト挿入画像がロードされ、オブジェクトが挿入されている旨が表示されている部分(例えば、半透明な円形のポインタ、数字などのマーキング(marking)、サムネイル(thumbnail))がタッチ入力などで選択されると、当該オブジェクトのコンテンツ本体が表示/再生される。また、コンテンツ本体の表示/再生中に、あらかじめ定義された入力を介して再びオブジェクト挿入画像のディスプレイへ復帰することも可能であり、原本の著作者によって編集が許可されている場合には、他のユーザーから送信された写真、またはウェブ(web)上にアップロードされた写真に、第3者がオブジェクトを挿入することが可能である。
前述した方法は、メイン画像に挿入されるべきオブジェクトを決定(生成完了)した後で、オブジェクトが挿入される位置を決定する方法を示している。しかし、オブジェクトが文字または音声録音などのオーディオファイルである場合には、このような順序でオブジェクト挿入画像を生成することは適切でない可能性がある。以下では、図3を参照して、オブジェクトが挿入される位置をまず決定し、次に挿入されるオブジェクトの内容を決定する方法を説明する。
図3は、メイン画像にオブジェクトが挿入される位置を決定した後で、オブジェクトの内容を入力する方法を示す。まずメイン画像を決定する(段階301)。メイン画像は、モバイルデバイスのストレージに保存された写真から選択することができる。また、撮影モジュールを介して撮影された写真をメイン画像として決定することができる。後述するが、メイン画像は、あらかじめ定義された条件に基づいて、モバイルデバイスの制御モジュールによって自動的に決定されることもある。
ユーザーがメイン画像の一部分をタッチする(段階302)。本明細書では、モバイルデバイスの画面にディスプレイされた画像がメイン画像であるかオブジェクト画像であるかにかかわらず、ディスプレイされた画像の一部を選択することにより、メインまたはオブジェクト画像に関するメニューを呼び出すことができる。メニューは他の方法でもロードすることができるが、例えば、デバイス上であらかじめ定義されたボタンの選択や、あらかじめ定義されたジェスチャーの入力によってもロード可能である。
タッチ入力が受信されると、メイン画像に関連するメニューがディスプレイされる(段階303)。たとえば、メニュー「入力、Detail、リンク、送信」がディスプレイされた場合、ユーザーはタッチ入力を維持した状態で「入力」がディスプレイされている位置へタッチポイントを移動させることができる。ユーザーが「入力」メニューの上でタッチ状態を一定時間維持(段階304)と、「文字、録音」のようにオブジェクト生成メニューがディスプレイされる。そこで、ユーザーが所望のメニュー(たとえば、「文字」メニュー)を通過するように、メイン画像上のオブジェクトを挿入したい位置にタッチポイントをドラッグした後、タッチ入力を終了する(段階305)。タッチ入力が終了した時点でイベントが発生して、自動的に文字入力のためのインターフェース(例えば、仮想キーボード)が提供(前述した過程で、ユーザーの所望のメニューが「録音」である場合、音声録音のためのインタフェースが提供)され、オブジェクトの内容の入力を通じて(段階306)オブジェクトの生成が完了したら(つまり、文字入力が完了したら)、その地点に文字オブジェクトが挿入されたオブジェクト挿入画像が生成される(段階307)。
図4は、本発明の別の実施例によるオブジェクト挿入画像の生成方法を示す。図4に図示された方法によって、ユーザーはメニューを表示する段階を省略(bypass)しながら、オブジェクト挿入画像を生成することができる。
メイン画像に挿入されるオブジェクトの画像が決定された状態(例えば、図2の段階202まで進行した状態)において、ユーザーは、ディスプレイされたオブジェクトの画像をタッチし、メニューがディスプレイされたら該当メニューにタッチポイントを移動させる作業(すなわち、段階203の操作)を遂行する代わりに、オブジェクト画像をタッチしながら連続的にあらかじめ定義されたジェスチャーを入力(ドラッグ)することにより、メニューをディスプレイすることなく直ちにオブジェクトのアイコンをメイン画像の所望の地点に位置させる段階に進むことができる。たとえば、図4のオブジェクト画像の撮影が完了した時点(段階202)で、ユーザーは、オブジェクトの画像をタッチしながらすぐにタッチ入力を上/下に動かす(up and down)(段階403)。すると、モバイルデバイスの画面には、メイン画像がディスプレイされるとともに、オブジェクト画像がアイコンへと変更され、最終タッチ地点に位置する(段階404)。その後、ユーザーはアイコンを任意の位置に移動させ、タッチ入力を終了(段階205)することにより、オブジェクト挿入画像を生成することができる。もちろん、ジェスチャーの形態は多様に定義することができる。たとえば、下/上(down and up)または3重タッチ(triple touch)などの入力によってバイパス(bypass)機能を実現することができる。異なるバイパス(bypass)の定義は、文字入力、音声録音、送信など、各種のコマンドを実行するように指定することが可能である。
このような作業は、繰り返し実行することができる。つまり、ユーザーは、前述したプロセスによって第1オブジェクトがメイン画像に挿入された後、第2オブジェクトを撮影し、撮影された第2オブジェクトがディスプレイされたら、同じジェスチャー(up and down)を入力することができる。ジェスチャー入力後に生成されたアイコンを所望の地点に位置させた後、タッチ入力を終了する。このような過程を繰り返し遂行することにより、複数個のオブジェクトが挿入された画像を生成することができる。
複数個のオブジェクトが挿入された画像を生成する別の方法を説明するに先立って、モバイルデバイスの画面構成について説明する。図5は、モバイルデバイスの画面の領域区分と領域の使用例を示す。図5を参照すると、本明細書の説明に使用されるモバイルデバイスの画面は、大きく4つの領域に区分することができる。画像がディスプレイされる第1領域(501、display area)、オブジェクトのアイコンが一時的に表示される第2領域(502、stacking area)、モバイルデバイスの画面全体の領域を指す第3領域(503、full screen area)、およびギャラリーを呼び出したり(510)オブジェクト(ディテール)を削除(520)したりするときに使用される第4領域(504、Gallery and trash area)がそれである。上記の領域は、他の領域と一部または全部が重複できる。たとえば、図示された例において第2の領域(502)は、第1領域(501)の内部の左上の一部領域を占めるよう図示されているが、右、あるいは上/下部に位置することもでき、さらに第1領域(501)外部に位置する第3領域(503)の一部の領域に位置することもできる。また、編集中のメイン/オブジェクトは、第1領域(501)に表示されるが、オブジェクト挿入画像においてオブジェクトが選択されてコンテンツがディスプレイ/再生されるときは、第3領域(503)全体を利用して実行することができる。また、第4領域(504)は、デバイスの画面外の領域まで含まれているかのように示されているが、これは第4領域(504)を利用するジェスチャーまたはタッチ入力が通常、スクリーンの内部から外部へ、またはその逆に外部から内部へオブジェクトなどを移動させる動作であるため、理解を容易にするための目的で、仮想の領域を図示したものである。
ここで、図6を参照して、複数個のオブジェクトをメイン画像に挿入する方法を説明する。図6は、オブジェクトを画面の片側に積んでおく(stacking)方法を示す。この「積み機能(stacking)」は、アイコンなどのように小さくなった形態のオブジェクトをメイン画像に挿入せずに、画面の一部(右または左)の領域に挟んでおく機能を意味する。挟まれたオブジェクト(stacked object)は、メイン画面、すなわち第1領域(501)から独立して、常に画面の一番上(つまり、最上位レイヤー)に表示される。つまり、第1領域(501)にディスプレイされている画面が、カメラや画像ギャラリーなど他の画面に切り替わっても、オブジェクト挿入画像の生成および編集のプロセスが終了されない限り、第2領域(502)に挟まれたオブジェクトは、常に画面の一番上にディスプレイされている。
このような機能は、オブジェクトを第2領域(502)に積む作業を繰り返すことができるようにすることで、オブジェクトの画像を撮影する作業と、オブジェクトをメイン画像に挿入する作業を区別して実行できるようにする。また、あらかじめ定義されたジェスチャー(例えば、第1領域や第4領域の外側から第3領域を通って第2領域へドラッグ)を入力することにより、モバイルデバイスに保存された画像(例えば、画像ギャラリー)をロードすることができる。これにより、メイン画像に、いま撮影された画像と、既存の保存されていた画像を選択して挿入することが可能となる。さらに、撮影したオブジェクト1、2、3を第2領域(502)に積み重ねた後、画像ギャラリーを開いて、第1メイン画像をロードし、オブジェクト1、2を挿入して保存し、再度、第2メイン画像をロードしてオブジェクト3を挿入して保存する方法の作業も可能である。オブジェクトスタッキング(stacking)機能は、ユーザーにとってオブジェクト挿入画像の生成作業の順序、方法、およびメイン画像の変更を可能にする。メイン画像を変更する方法は、図9に関連して詳細に後述する。
図2で説明した手順204で、ユーザーはアイコンを第2領域(502)に移動させる(段階605)。これで、ユーザーがモバイルデバイスの画面から手を離すと(タッチ入力終了)アイコンは、第2領域(502)にスタッキングされる。ユーザーは追加的に、タイヤホイールの写真を撮影して、第2領域(502)に移動させることができる(段階606)。このような作業を繰り返して、ユーザーは第2領域(502)に複数個のアイコンを積み重ねておくことができる。いま、積まれたアイコンのうち一つを選択(タッチ入力の開始)して(段階607)、所望の位置にドラッグした後、手を離すと(タッチ入力終了)、当該アイコンに対応するオブジェクトがメイン画像に挿入される。その後、ユーザーはスタッキングされている他のアイコンを選択して、所望の位置にドラッグすることにより、複数個のオブジェクトをメイン画像に挿入することができる(段階608)。
図7は、メイン画像にオブジェクトの画像を挿入して、オブジェクト挿入画像を生成するフローチャートを示す。図7を参照すると、段階701において、モバイルデバイスの制御部は、ユーザーから入力された撮影信号に基づいて被写体を撮影し、これを第1画像としてストレージに保存する。ユーザーの入力信号は、タッチパネル入力のこともあるし、物理的なキー/ボタンを利用した入力のこともある。上記保存された第1画像は、どのようなオブジェクトも挿入されていない画像であることから、メイン画像として決定される。段階702で、ユーザーの入力信号に応じて第2画像が撮影される。段階703でモバイルデバイスが第2画像の一部分に対するタッチ入力信号を受信すると、段階704で第2画像に適用可能なメニューをディスプレイできる。このメニューは、入力が発生すると直ちにディスプレイされるか、または、タッチ入力が一定時間持続した場合にディスプレイされる。
段階705でメニューが選択されると、第1画像の上に第2画像のアイコンがオーバーレイされる。段階705を詳細に説明すると、次の通りである。ユーザーは、段階703で入力されたタッチ入力を引き続き維持する。メニューがディスプレイされると、ユーザーはタッチ入力を維持した状態でドラッグし、メニュー(例えば、”Detail”)の位置にタッチポイントを移動させる。メニューの位置にタッチポイントが移動されると(または移動後、一定時間の間、その位置でタッチ入力が維持されると)、第1領域にディスプレイされていた第2画像が第1画像に変換され、第2画像は、アイコンなどの形態に変形されてタッチポイントに位置することになる。
段階706で、第2画像のアイコンがドラッグされた後(つまり、タッチポイントが変更された後)、タッチ入力が終了されると、モバイルデバイスの制御モジュールは、第1画像上でのタッチ入力が終了した位置に第2画像を挿入する。挿入された第2画像は、アイコンまたは縮小された画像の形で第1画像上に付着することができ、数字や文字などで、単に挿入されたオブジェクトがあるという表示のみ存在することもできる。さらに、モバイルデバイスに応じて、何の表示もされていない状態から、特定の入力が受信されると、オブジェクトが挿入されている表示が出現するようにもできる。
段階707で、制御モジュールは第2画像が挿入された第1画像を生成してストレージに保存する。制御モジュールは、タッチ入力が終了した時点でオブジェクト挿入画像を生成することもでき、タッチ入力が終了した後、所定時間経過後に、オブジェクト挿入画像を生成することもでき、タッチ入力が終了した後、ユーザーから別のオブジェクト挿入画像の生成作業終了を示す入力を受信してからオブジェクト挿入画像を最終的に生成することもできる。
図7では、図1で説明したように、画像を撮影しながらオブジェクト挿入画像を生成する方法について説明した。しかしより一般的には、オブジェクト挿入画像を構成するコンテンツは必ずしも画像である必要はなく、撮影した画像のみが使用される必要もない。図8では、メイン画像とオブジェクトを決定して、オブジェクト挿入画像を生成する方法を説明する。
図8は、メイン画像およびオブジェクトを決定した後、オブジェクト挿入画像を生成するフローチャートを示す。図8を参照すると、段階801で、メイン画像が決定される。制御モジュールは通常、最近に撮影または保存された一般写真、つまりオブジェクトがついていない写真を自動的にメイン画像として決定する。決定されたメイン画像は、ユーザーによって手動にてメイン画像が別の画像に置き換えられない限り、オブジェクトを付着する作業がすべて終了するまで変更されない。
図9は、メイン画像が決定される方法の一例を示す。図9は、ストレージに保存された画像ギャラリー(900)を示す。左側に行くほど以前に保存された画像であると仮定しよう。マーキングされた画像1(901)、画像4(904)、および画像8(908)は、一般の画像であり、マーキングがない画像2(902)、画像3(903)、画像5(905)、画像6(906)、および画像7(907)は、オブジェクトとして使用されている画像を示す。つまり、画像2(902)および画像3(903)は、画像1(901)をメイン画像として認識し、画像5〜7(905、906、907)は、画像4(904)をメイン画像として認識する。別の方法として、画像ギャラリー内にオブジェクトが挿入された画像とオブジェクトが挿入されていない画像が混在している場合、制御モジュールは、オブジェクトが挿入されていない一般画像の中から最近に撮影/保存された画像をメイン画像としてあらかじめ決めて置くことができる。
再び図8を参照すると、段階802で、オブジェクトが決定される。オブジェクトが単に画像に限定されないことは既に前述したとおりである。通常、オブジェクトは、撮影モジュールで撮影された画像、または動画であるか、メイン画像に対して作成される文字、音声録音、URLなどである。ストレージに保存された画像、動画などがオブジェクトとして選択可能であり、ユーザーの入力により文字、音声録音などのオブジェクトが作成可能である。段階803で、画面に表示されたオブジェクト、つまり画像または動画のプレビューなどの一部を選択した場合は、段階804で、オブジェクトのメニューが表示される。段階805でメニューが選択されると、メイン画像の上にオブジェクトのアイコンが半透明などで重なるように表示され、段階806で、オブジェクトのアイコンを所望の位置にドラッグした後、タッチ入力を終了すると、段階807で、オブジェクト挿入画像が生成される。以上の説明では、前述した内容と重複する内容は省略した。
図8と図9を参照して、メイン画像が決定される過程を再度見てみると、ユーザーによって画像1(901)が撮影された後に画像2(902)が撮影された場合、画像2(902)をオブジェクトとして挿入しようとするならば、画像1(901)が自動的にメイン画像として決定される。画像2(902)を画像1(901)に挿入した後、再度画像3(903)を撮影してオブジェクトとして挿入しようとする場合、制御モジュールは、画像2(902)についてはオブジェクト画像であるため排除し、画像1(901)をメイン画像として認識して画面(第1領域(501))にディスプレイする。次に画像4(904)を撮影し、画像4(904)については何の操作も実行せずに画像5(905)を撮影した場合、ユーザーが画像5(905)を画像1(901)に挿入しようと意図したとしても、制御モジュールは、画像4(904)がオブジェクトとして使用されていない一般画像であるため、画像4(904)をメイン画像として認識して画面にディスプレイすることになる。このような場合、ディスプレイされたメイン画像の変更が要求される。
また、複数のメイン画像は、第2領域の下部にサムネイルの形で固定されて表示されることができる。第2領域の下部に位置するメイン画像のサムネイルのいずれかに対して、一定時間の間タッチ入力が維持されると、当該メイン画像が自動的に第3領域にフルスクリーンで表示される。この時のタッチ入力は、オブジェクトに対するタッチ入力が維持された状態であることができる。たとえば、タッチ入力を維持している指にオブジェクトが付着している状態で、タッチ入力を下部に位置するメイン画像のサムネイル上に移動させて一定時間維持すると、メイン画像がフルスクリーンで表示され、ユーザーは指を画面から離さないまま所望の位置に動かすことで、オブジェクトを挿入できる。このような方法を使用してギャラリーを介さず多数のオブジェクトを不特定多数のメイン画像に挿入するために、必要なメイン画像を読み込むことが可能である。
このような場合、スタッキングの操作と、あらかじめ定義されたジェスチャーを使用して、メイン画像を変更することができる。画像5(905)を領域2(502)に積み重ねた状態で、あらかじめ定義されたジェスチャー(例えば、画面の片側外部から画面の内側方向へドラッグ、または画像ギャラリーを呼び出すボタン入力)を介し、メイン画像として使用される画像を検索して決定することができる。この時、制御モジュールは、画像4(904)がメイン画像として使用されていないことを記憶しておき、画像6(906)が撮影された場合に、再び画像4(904)がメイン画像として画面にディスプレイされることを防止することができる。もし画像4(904)に関する情報を記憶しておかなければ、画像6(906)が撮影された場合に画像4(904)が再びメイン画像としてディスプレイされ、ユーザーはスタッキングとジェスチャー入力を繰り返してメイン画像を変更しなければならない。これは非効率的な作業である。
図10は、オブジェクトが挿入された画像からオブジェクトを分離または削除する方法を示す。例1010で、オブジェクト挿入画像にはオブジェクト1(1011)およびオブジェクト2(1012)が含まれている。オブジェクト2(1012)を分離または削除しようとする場合、ユーザーはあらかじめ定義されたジェスチャーを挿入されたオブジェクトに対して遂行する方法で、分離または削除することができる。たとえば、挿入されたオブジェクトを一定回数通過するように、タッチ入力を提供すると、(1)所定回数通過した後(例えば、実線の矢印のように3回の通過)からはオブジェクトがメイン画像から分離(1022)されてタッチポイントに追随し、移動することができる(1020)。このように分離されたオブジェクトは、第2領域(502)にスタッキングしたり、または追加的な入力(例えば、アイコンが位置するとそのアイコンが削除される第4領域に、オブジェクトアイコンを内から外へドラッグするジェスチャー)によって削除したりできる。別の例として、(2)タッチ入力により、挿入されているオブジェクトを所定回数以上通過すると、挿入されたオブジェクトは、メイン画像からすぐに削除することができる(1030)。このように、オブジェクトを消す入力は、前述したすべてのプロセスのどの段階(ただし、オブジェクトのアイコンが作成された後の段階)でも遂行することができ、写真または動画の場合、オブジェクト(アイコン)を削除しても、オブジェクトの元のファイルは削除されないようにできる。
図11は、本発明の一実施例を実装するためのモバイルデバイスを示す。モバイルデバイス(1)は、制御モジュール(2)、撮影モジュール(3)、通信モジュール(4)、ストレージ(5)、画面(6)、ディスプレイモジュール(7)を含むことができる。このような構成は、例示的なものであり、当業者が実装するに応じて、一般的な構成要素を追加または削除することができる。たとえば、撮影された画像または動画のみを使ってオブジェクト挿入画像を生成/編集する場合に、通信モジュール(4)の構成要素は、削除されることができる。
制御モジュール(2)は、CPUなどのプロセッサであることができる。制御モジュール(2)は、モバイルデバイス(1)の全体的な動作を制御し、オブジェクト挿入画像の生成と編集において、一種の編集モジュールとして機能することができる。また、制御モジュール(2)はストレージ(5)とは別に独自のメモリを含むことができる。
撮影モジュール(3)は、一般的に、モバイルコンピューティングデバイスに装着されたカメラを駆動するために使用される。撮影モジュール(3)は、一つ以上のカメラ(例えば、前面および背面カメラ)を駆動することができる。撮影モジュール(3)は、制御モジュール(2)と関連して、画像の補正、明度および彩度の調整、パノラマ撮影などの機能を遂行することができる。
通信モジュール(4)は、データの送受信を処理する。また、オブジェクト挿入画像の生成および編集に必要なデータを受信したり、生成されたオブジェクト挿入画像を外部デバイスまたは外部ネットワークに送信したりすることができる。通信モジュール(4)は、LAN、Intranetなどの有線接続だけでなく、Wi‐Fi、Bluetooth、NFCなどの無線接続を確立し、維持することができる。さらに、PSTN(public switched telephone network)、3G、4G、LTE、またはWAN(Wide Area Network)などの電話網の接続を確立し、維持することもできる。
ストレージ(5)は、画像およびオブジェクトを保存する。ストレージ(5)は、第2領域(502)にスタッキングされるオブジェクトの一時保存も処理することができる。モバイルデバイス(1)がクラウドコンピューティング(cloud computing)ベースのゼロクライアント端末(zero client terminal、またはthin client terminal)である場合に、ストレージ(5)は、モバイルデバイス(1)の構成要素から省略することができる(この場合、クラウドサーバのストレージにデータが保存される)。
画面(6)には、画像、動画、テキストなどがディスプレイされる。画面(6)は、タッチ入力を受信することができる。画面(6)が受信できるタッチ入力には、指などが直接画面をタッチして発生される電気信号を認識するようにする静電容量式タッチ、指、ペンなどが画面を直接押すことにより発生される圧力を認識するようにする感圧式タッチ、または特定のペンの場合には、画面(6)に直接届かなくても一定距離以下の近距離内に位置すれば、ペンと関連付けられている光信号または電気信号を認識して、イベントが発生するようにする非−接触式タッチ入力、および、カメラおよび筋肉の電気信号の感知を通じて行われるジェスチャーを使用した制御などがありうる。本明細書におけるタッチ入力は、前述したすべてのタッチ入力として解釈することができる。
ディスプレイモジュール(7)は、前述したタッチ入力を受信して処理し、コンテンツのディスプレイに必要な作業を遂行する。ディスプレイモジュール(7)は、制御モジュール(2)に統合されて、上記の作業を処理することができる。
図示してはいないが、音声録音および出力のためのスピーカーおよびマイクロフォン、特定の入力のための物理ボタン、キーボード/キーパッドの接続を介してキー入力を受信できるようにする接続端子などがモバイルデバイス(1)に含まれることができる。
このようなモバイルデバイス(1)は、オブジェクト挿入画像を生成することができる。具体的には、制御モジュール(2)は、メイン画像を決定して、オブジェクト挿入画像を生成および編集することができる。ディスプレイモジュール(7)は、画面(6)にオブジェクトをディスプレイする。このオブジェクトは、ストレージ(5)に保存された画像や動画など、または撮影モジュール(3)によって撮影された画像、または動画のプレビューであることができる。制御モジュール(2)は、ディスプレイされたオブジェクトに対するユーザー入力が受信されると(タッチ開始)ディスプレイモジュール(7)においてオブジェクトのメニューをディスプレイするようにする。ディスプレイされたメニューに対するユーザー入力が受信されると(タッチ維持)、制御モジュール(2)は、ディスプレイモジュール(7)においてメイン画像をディスプレイし、オブジェクトをアイコン化してメイン画像の上にオーバーレイとしてディスプレイするようにする。オブジェクトのアイコンをメイン画像の所望の位置へ移動させるユーザー入力が受信および終了(タッチ終了)されると、制御モジュール(2)は、当該位置にオブジェクトが挿入されたオブジェクト挿入画像を生成した後、ストレージ(5)に保存したり、通信モジュール(4)を介して外部デバイスまたは外部ネットワークに送信したりすることができる。
上述した方法および装置について、様々な変形例または追加的な実施例が可能である。一例として、オブジェクト挿入画像は深さ(depth)を有することができる。メイン画像に挿入された画像オブジェクトが、他の画像オブジェクト(第2画像)が挿入されている画像オブジェクトである場合に、メイン画像は、1の深さを持つとして定義することができる。もし上記の他の画像オブジェクト(第2画像)も追加の画像オブジェクト(第3画像)を有する場合、メイン画像は2の深さを持つとして定義することができる。たとえば、自動車全体を示すメイン画像に、オブジェクト画像として車のヘッドライトの写真(第1画像)が挿入され、この車のヘッドライトの写真(第1画像)にヘッドライトランプ部の設計図(第2画像)がオブジェクトとして付着している場合、このオブジェクト挿入画像は1の深さを有する。加えて、設計図(第2画像)のフィラメント部分にフィラメントの写真(第3画像)が再びオブジェクトとして付くと、このオブジェクト挿入画像は2の深さを有する。深さを含んでいるオブジェクトとメイン画像は、アイコンまたはサムネイルなどに、その深さを数字で表現することができる。
オブジェクト画像に追加的にオブジェクトを挿入する方法は、次のような方法で実現できる。メイン画像に少なくとも一つのオブジェクト(第1画像)が挿入された状態で、追加しようとするオブジェクト(第2画像)を既に挿入されている一つのオブジェクトの上に重なるように移動させて、一定時間待機する。今メイン画像に挿入された一つのオブジェクト(第1画像)が画面(例えば、第1領域(501))にディスプレイされると、タッチ入力を維持した状態で、追加しようとするオブジェクト(第2の画像)を既に挿入済みのオブジェクト(第1画像)の所望の位置へ移動させた後、タッチ入力を終了する。
挿入されるオブジェクトの位置を決定する過程で、ジェスチャーによるメイン画像の拡大または縮小が可能である。たとえば、オブジェクト(またはオブジェクトのアイコン)へのタッチ入力が維持された状態で右に円を描く形でアイコンに対するタッチ入力をドラッグすると、メイン画像を拡大することができる。逆に左に円を描く形でドラッグすると、メイン画像を縮小することができる。このような拡大/縮小は、画面においてタッチ入力が終了してしまうと(指を離してしまうと)オブジェクトがメイン画像に挿入されてしまうため、要求される。しかし、もし前述したように、オブジェクトのアイコンを第2領域(502)などに積んでおいた状態ならば、タッチ入力が一時的に終了した状態であるため、ピンチ−トゥ−ズームやマルチタッチと同じように、一般的なズーム機能を使用することが可能である。
本発明の別の実施例によれば、3次元構造を有する対象の前、後、左、右、上、下のメイン画像またはオブジェクトの画像が、お互いの関係が表れるように一つの統合された形で見えるようにすることができある。図12は、本発明の別の実施例による面付け機能(dimensionizing function)を示す。面付け機能は立体構造を持っている対象を様々な方向から撮影した写真を好みの角度につないで立体的なクラスタ(cluster)構造を作ることを可能にする。
図12を参照すると、メイン画像(1201)に含まれている特定のオブジェクト(1201‐1)は、複数の面を含む構造を保持することができる。また、メイン画像(1202)自体が面付け機能を利用して形成された多面構造になることができる。対象の構造に応じて、面は様々な形で組み合わせることができるが、例えば、室内の構造のような場合には、天井(または床)を中心に壁面をつなぎあわせた構造(1203)を、いくつかの層を含んでいる3次元構造物である場合には、必要に応じて同じ(ないしは類似の)角度から複数回撮影した写真をつなぎあわせた構造(1204)を、または円形空間または広場のような場合に、細かい角度から撮影した3次元構造の面付けをしたような構造(1205)で表すことができる。それぞれの面には、ディテーリング(detailing)機能を利用して、オブジェクトの写真を付着することが可能である。
オブジェクト挿入画像(object‐embedded image)またはオブジェクトが付着されている写真(detailed picture)の閲覧(viewing)は、手動モードまたは自動モードで可能である。両方とも、一般的に、オブジェクトがメイン写真にアイコンとして付着している形をサポートするが、スライド形式、オブジェクトの関係構造(relationship diagram)の形式、またはメイン写真をタイルのように取り囲んだ表現形式(display mode)をサポートすることができる。参考までに、手動モードでは、オブジェクトが付着されている写真の表現形式から、それぞれのオブジェクトを選択して、オブジェクトの元ファイルを閲覧するモードを示し、自動モードでは、オブジェクトがその挿入順にしたがって自動的に表示されるモードを示す。自動モードでは手動モードとは異なり、スライドショー形式の観覧が可能である。
本発明は、フェイスブック、ツイッターなどのSNS、カカオトーク、ライン(line)などのモバイルメッセンジャーで活用することができる。また、インターネットショッピングモールなどで商品紹介写真の作成にも活用することができ、写真資料が求められる建設、支店管理などのリアルタイムレポートソリューションとして活用されることもある。さらに、個人用途では、個人の写真の整理やプレゼンテーション写真資料の作成にも活用することができる。また、科学調査の現場資料収集やホームページ/ブログの制作ツールのように、非常に様々な分野で活用することができる。
以上、本発明において開示されたブロック図は、本発明の原理を実装するための回路を概念的に表現した形態であると、当業者は解釈することができるだろう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどは、コンピュータ読み取り可能な媒体で実質的に表現され、コンピュータまたはプロセッサが明示的に図示されていようがいまいが、これらのコンピュータまたはプロセッサによって実行されうる様々なプロセスを示しているということが、当業者に認識されるだろう。したがって、上述した本発明の実施例は、コンピュータで実行されうるプログラムによって作成可能であり、コンピュータで読み取り可能な記録媒体を利用して上記プログラムを動作させる汎用デジタルコンピュータで実現することができる。上記コンピュータ読み取り可能な記録媒体は、磁気記憶媒体(例えば、ROM、フロッピーディスク、ハードディスクなど)、光学的読み取り媒体(例えば、CD‐ROM、DVDなど)のような記憶媒体を含んでいる。
図面に図示された様々な要素の機能は、適切なソフトウェアと関連してソフトウェアを実行できるハードウェアだけでなく、専用ハードウェアの利用を介して提供することができる。プロセッサによって提供されるとき、このような機能は、単一の専用プロセッサ、単一の共有プロセッサ、または一部が共有可能な複数の個別プロセッサによって提供することができる。また、用語「プロセッサ」または「制御部」の明示的な利用は、ソフトウェアを実行できるハードウェアを排他的に指すものと解釈されてはならず、制限なく、デジタル信号プロセッサ(DSP)ハードウェア、ソフトウェアを保存するための読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、および不揮発性記憶装置を暗黙的に含むことができる。
本明細書の請求項では、特定の機能を実行するための手段として表現された要素は、特定の機能を実行する任意の方法を包括し、これらの要素は、特定の機能を実行する回路要素の組み合わせ、または特定の機能を実行するのためのソフトウェアを実行するために適切な回路と結合された、ファームウェア、マイクロコードなどを含む任意の形態のソフトウェアを含むことができる。
本明細書で、本発明の原理の「一実施例」と、このような表現の様々な変形の指すところは、この実施例に関連して、特定の特徴、構造、特性などが、本発明の原理の少なくとも一つの実施例に含まれることを意味する。したがって、表現「一実施例では」と、本明細書全体を通して開示された任意の他の変形例は、必ずしもすべて同一の実施例を指すわけではない。
本明細書では、「AとBのうち少なくとも一つ」の場合における「〜のうちの少なくとも一つ」の表現は、最初のオプション(A)の選択のみ、または2番目に列挙されたオプション(B)の選択のみ、または両方のオプション(AとB)の選択を包含するために使用される。追加の例として「A、B、およびCのうち少なくとも一つ」の場合は、最初の列挙されたオプション(A)の選択のみ、または2番目に列挙されたオプション(B)の選択のみ、または3番目に列挙されたオプション(C)の選択のみ、または最初と2番目に列挙されたオプション(AとB)の選択のみ、または2番目と3番目に列挙されたオプション(BとC)の選択のみ、またはすべての3つのオプションの選択(AとBとC)がカバーすることができる。より多くの項目が列挙されている場合でも、当業者にとって明白に拡張解釈することができる。
ここまで、本発明についてその望まれる実施例を中心に見てきた。本明細書を通じて開示されたすべての実施例と条件付き例示は、本発明の技術分野において通常の知識を有する読者が本発明の原理と概念を理解するための、助けとなるよう意図して記述されたもので、当業者は本発明が、本発明の本質的な特性から逸脱しない範囲で変形された形態で実装されうることを理解できるだろう。したがって、開示された実施例は、限定的な観点ではなく、説明的な観点から考慮されるべきである。本発明の範囲は、前述した説明ではなく、特許請求の範囲に示されており、それと同等の範囲内にあるすべての違いは、本発明に含まれるものと解釈されるべきである。
Claims (10)
- モバイルデバイスでオブジェクト挿入画像を生成および編集する方法において、
上記モバイルデバイスの制御モジュールによってメイン画像が決定される段階;
ユーザーからオブジェクトを決定する入力を受信する段階;
上記決定されたオブジェクトが上記モバイルデバイスの画面の第1領域に表示される段階;
上記ディスプレイされたオブジェクトに対するタッチ入力を受信する段階;
上記タッチ入力に応答して上記オブジェクトのメニューが上記画面にディスプレイされる段階;
上記タッチ入力が指示するタッチポイントを変更する第1ドラッグ入力を受信する段階;
上記第1ドラッグ入力により上記タッチポイントが上記メニューに位置すれば、上記第1領域に上記メイン画像をディスプレイし、上記タッチポイントに上記オブジェクトのアイコンを上記メイン画像にオーバーレイ(overlay)でディスプレイする段階;
上記アイコンを上記メイン画像の一地点に位置させる第2ドラッグ入力を受信する段階;
上記タッチ入力が終了されると、上記オブジェクトが上記メイン画像の一地点に挿入されたオブジェクト挿入画像を生成する段階を含む方法。 - 第1項において、
上記オブジェクトは画像、動画、文字、音声録音、上記モバイルデバイスに保存されたファイルのリンク、URLのうち少なくとも一つを含み、
上記オブジェクト挿入画像において上記オブジェクトが挿入された地点が選択されると、上記モバイルデバイスの画面に上記オブジェクトがディスプレイまたは再生されることを特徴とする方法。 - 第1項において、
上記オブジェクト挿入画像において上記オブジェクトが挿入された領域を横切るドラッグ入力があらかじめ決定された回数以上受信された場合、上記オブジェクト挿入画像から、上記挿入されたオブジェクトを分離させることを特徴とする方法。 - 第1項において、
上記メイン画像が決定される段階は、上記モバイルデバイスのストレージに保存された画像の中から、オブジェクトが挿入されていない画像の中で最近に保存された画像を、上記メイン画像として決定することを特徴とする方法。 - 第1項において、
上記第1領域に上記メイン画像をディスプレイし、上記タッチポイントに上記オブジェクトのアイコンを上記メイン画像にオーバーレイ(overlay)でディスプレイする段階は、
上記アイコンを上記画面の第2領域に移動させる入力を受信する段階;
ユーザーから少なくとも一つの追加オブジェクトを決定する入力を受信する段階;
上記少なくとも一つの追加オブジェクトのアイコンを上記第2領域へ移動させる入力を受信する段階;
上記第2領域に移動されたアイコンを上記第2領域に含まれていない上記第1領域へ移動させる入力を受信する段階を含む方法。 - 第1項において、
上記第1領域に上記メイン画像をディスプレイし、上記タッチポイントに上記オブジェクトのアイコンを上記メイン画像にオーバーレイ(overlay)でディスプレイする段階は、
上記アイコンを上記第2領域に移動させる入力を受信する段階;
ユーザーから上記モバイルデバイスのストレージに保存された画像から代替画像を選択する入力を受信する段階;
上記メイン画像を代替する画像として、上記選択された代替画像を上記第1領域に表示する段階;
上記第2領域に移動された上記アイコンを選択するタッチ入力を受信する段階を含む方法。 - 第6項において、
上記代替画像は、オブジェクトがあらかじめ挿入されているオブジェクト挿入画像であることを特徴とする方法。 - 第7項において、
上記第2ドラッグ入力を受信する段階は、
上記アイコンを上記代替画像に挿入されているオブジェクトの位置に移動させるドラッグ入力を受信する段階;
上記ドラッグ入力が上記挿入されているオブジェクトの位置にあらかじめ決定された時間の間維持されれば、上記挿入されているオブジェクトを第1領域にディスプレイする段階;
上記アイコンを上記第1領域にディスプレイされた上記挿入されているオブジェクトの一地点に位置させる第3ドラッグ入力を受信する段階をさらに含む方法。 - 第7項において、
上記第2ドラッグ入力を受信する段階は、
タッチ入力が維持された状態で第1方向に円を描くドラッグ入力に応じて上記メイン画像を拡大したり、第2方向に円を描くドラッグ入力に応じて上記メイン画像を縮小したりする段階;
上記アイコンを上記拡大または縮小されたメイン画像上の一地点に位置させる段階を含む方法。 - オブジェクト挿入画像を生成および編集するためのモバイルデバイスにおいて、
メイン画像を決定して、オブジェクト挿入画像を生成および編集する制御モジュール;
メイン画像とオブジェクトをディスプレイするディスプレイモジュール;および、
上記メイン画像、上記オブジェクト、または上記オブジェクト挿入画像を保存するためのストレージを含み、
上記制御モジュールは、上記ユーザーから受信された第1ユーザー入力に基づき、上記ディスプレイモジュールに対して、上記オブジェクトのメニューを表示するようにさせ、
上記メニューに対する第2ユーザー入力に基づき、上記ディスプレイモジュールに対して、上記メイン画像をディスプレイした上にオーバーレイとして上記オブジェクトのアイコンを表示するようにさせ、
上記アイコンを上記メイン画像の特定の位置に移動させる第3ユーザー入力に基づき、上記メイン画像の上記特定の位置に上記オブジェクトが挿入されたオブジェクト挿入画像を生成するようにさせることを特徴とするモバイルデバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130036683A KR101501028B1 (ko) | 2013-04-04 | 2013-04-04 | 개체가 삽입된 이미지를 생성하고 편집하는 방법 및 그 장치 |
KR10-2013-0036683 | 2013-04-04 | ||
PCT/KR2014/002913 WO2014163422A1 (ko) | 2013-04-04 | 2014-04-04 | 개체가 삽입된 이미지를 생성하고 편집하는 방법 및 그 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016521418A true JP2016521418A (ja) | 2016-07-21 |
Family
ID=51658642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016510609A Pending JP2016521418A (ja) | 2013-04-04 | 2014-04-04 | オブジェクトが挿入された画像を生成して編集する方法及びその装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10061493B2 (ja) |
EP (1) | EP2983078B1 (ja) |
JP (1) | JP2016521418A (ja) |
KR (1) | KR101501028B1 (ja) |
WO (1) | WO2014163422A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2017038321A1 (ja) * | 2015-09-03 | 2018-06-14 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の表示変更制御方法 |
JP2021508890A (ja) * | 2017-12-29 | 2021-03-11 | ピージェー ファクトリー カンパニー リミテッド | 画像のパンニング方法 |
JP7481044B2 (ja) | 2018-12-26 | 2024-05-10 | ピージェー ファクトリー カンパニー リミテッド | マルチデプスイメージの作成及びビューイング |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170316806A1 (en) * | 2016-05-02 | 2017-11-02 | Facebook, Inc. | Systems and methods for presenting content |
KR102498815B1 (ko) * | 2016-07-21 | 2023-02-13 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 비디오 편집 방법 |
CN108319484B (zh) * | 2017-05-17 | 2021-07-09 | 腾讯科技(深圳)有限公司 | 一种应用页面的处理方法、装置及存储介质 |
CN108108114B (zh) * | 2017-12-19 | 2019-11-05 | 维沃移动通信有限公司 | 一种缩略图显示控制方法及移动终端 |
KR102644097B1 (ko) * | 2017-12-29 | 2024-03-06 | 주식회사 피제이팩토리 | 멀티 심도 이미지의 자동 변환 방법 |
KR102644092B1 (ko) * | 2017-12-29 | 2024-03-06 | 주식회사 피제이팩토리 | 멀티 심도 이미지 생성 방법 |
US11514806B2 (en) | 2019-06-07 | 2022-11-29 | Enduvo, Inc. | Learning session comprehension |
US20200388175A1 (en) | 2019-06-07 | 2020-12-10 | Enduvo, Inc. | Creating a multi-disciplined learning tool |
US11887494B2 (en) | 2019-06-07 | 2024-01-30 | Enduvo, Inc. | Generating a virtual reality learning environment |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6070167A (en) * | 1997-09-29 | 2000-05-30 | Sharp Laboratories Of America, Inc. | Hierarchical method and system for object-based audiovisual descriptive tagging of images for information retrieval, editing, and manipulation |
WO2001016694A1 (en) | 1999-08-31 | 2001-03-08 | Ububu, Inc. | Automatic conversion between sets of text urls and cohesive scenes of visual urls |
US8872843B2 (en) * | 2004-07-02 | 2014-10-28 | Samsung Electronics Co., Ltd. | Method for editing images in a mobile terminal |
KR100900295B1 (ko) | 2008-04-17 | 2009-05-29 | 엘지전자 주식회사 | 이동 디바이스와 이동 통신 시스템의 사용자 인터페이스방법 |
KR101503835B1 (ko) * | 2008-10-13 | 2015-03-18 | 삼성전자주식회사 | 멀티터치를 이용한 오브젝트 관리 방법 및 장치 |
KR20100088248A (ko) * | 2009-01-30 | 2010-08-09 | 엘지전자 주식회사 | 사용자 인터페이스 제어 방법 및 그를 이용한 이동 단말기 |
US8499243B2 (en) * | 2009-03-23 | 2013-07-30 | Panasonic Corporation | Information processing device, information processing method, recording medium, and integrated circuit |
US8539384B2 (en) * | 2010-02-25 | 2013-09-17 | Microsoft Corporation | Multi-screen pinch and expand gestures |
KR20120062297A (ko) * | 2010-12-06 | 2012-06-14 | 삼성전자주식회사 | 디스플레이 장치 및 그 ui 제공 방법 |
US9619108B2 (en) | 2011-01-14 | 2017-04-11 | Adobe Systems Incorporated | Computer-implemented systems and methods providing user interface features for editing multi-layer images |
KR20120107836A (ko) * | 2011-03-22 | 2012-10-04 | 주식회사 아카북 | 사용자 단말에서 스티커 이미지 서비스 제공 방법 및 장치 |
KR20130023954A (ko) * | 2011-08-30 | 2013-03-08 | 삼성전자주식회사 | 휴대용 단말기에서 아이콘 편집 과정을 수행하기 위한 장치 및 방법 |
KR101935039B1 (ko) * | 2012-09-11 | 2019-01-03 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
-
2013
- 2013-04-04 KR KR1020130036683A patent/KR101501028B1/ko active IP Right Grant
-
2014
- 2014-04-04 US US14/781,911 patent/US10061493B2/en active Active
- 2014-04-04 JP JP2016510609A patent/JP2016521418A/ja active Pending
- 2014-04-04 EP EP14780204.5A patent/EP2983078B1/en active Active
- 2014-04-04 WO PCT/KR2014/002913 patent/WO2014163422A1/ko active Application Filing
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2017038321A1 (ja) * | 2015-09-03 | 2018-06-14 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の表示変更制御方法 |
JP2021508890A (ja) * | 2017-12-29 | 2021-03-11 | ピージェー ファクトリー カンパニー リミテッド | 画像のパンニング方法 |
JP6995208B2 (ja) | 2017-12-29 | 2022-01-14 | ピージェー ファクトリー カンパニー リミテッド | 画像のパンニング方法 |
JP7481044B2 (ja) | 2018-12-26 | 2024-05-10 | ピージェー ファクトリー カンパニー リミテッド | マルチデプスイメージの作成及びビューイング |
Also Published As
Publication number | Publication date |
---|---|
EP2983078B1 (en) | 2018-03-21 |
KR101501028B1 (ko) | 2015-03-12 |
US20160117085A1 (en) | 2016-04-28 |
WO2014163422A1 (ko) | 2014-10-09 |
EP2983078A4 (en) | 2016-12-21 |
US10061493B2 (en) | 2018-08-28 |
EP2983078A1 (en) | 2016-02-10 |
KR20140120628A (ko) | 2014-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016521418A (ja) | オブジェクトが挿入された画像を生成して編集する方法及びその装置 | |
JP6314975B2 (ja) | 表示制御装置、表示制御方法および表示制御プログラム | |
US9852491B2 (en) | Objects in screen images | |
EP2442223B1 (en) | Method of executing fast association function of camera and portable device including the same | |
KR20140027835A (ko) | 휴대 단말기 및 메신저 영상 서비스 운용 방법 | |
KR20100028344A (ko) | 휴대단말의 영상 편집 방법 및 장치 | |
KR102072509B1 (ko) | 그룹 리코딩 방법, 저장 매체 및 전자 장치 | |
KR20180133743A (ko) | 이동 단말기 및 그 제어 방법 | |
US10824313B2 (en) | Method and device for creating and editing object-inserted images | |
JP2013165462A (ja) | 動画記録装置及びその制御方法、コンピュータプログラム、記憶媒体 | |
US10939171B2 (en) | Method, apparatus, and computer readable recording medium for automatic grouping and management of content in real-time | |
JP6403368B2 (ja) | 携帯端末、画像検索プログラムおよび画像検索方法 | |
US10497079B2 (en) | Electronic device and method for managing image | |
JP5820237B2 (ja) | コンテンツ管理システム、操作装置およびそれらの制御方法、プログラム | |
KR102076629B1 (ko) | 휴대 장치에 의해 촬영된 이미지들을 편집하는 방법 및 이를 위한 휴대 장치 | |
JP2012059067A (ja) | データ管理装置、データ管理方法、およびデータ管理プログラム | |
CN113261302B (zh) | 电子装置 | |
KR101546577B1 (ko) | 이동통신 단말기에서의 파일 관리 방법 및 이를 기록한 기록매체 | |
JP7150590B2 (ja) | 電子機器 | |
JP7150591B2 (ja) | 電子機器 | |
JP2017055367A (ja) | 電子機器、方法及びプログラム並びに記憶媒体 | |
JP6150538B2 (ja) | 動画記録装置及びその制御方法 | |
JP2013098659A (ja) | コンテンツ管理装置、記録装置、操作装置、コンテンツ管理システムおよびそれらの制御方法 | |
JP2017060047A (ja) | 画像処理装置、画像処理装置の制御方法、プログラム |