JP2016522516A - 例に基づく画像操作を制御する方法および装置 - Google Patents
例に基づく画像操作を制御する方法および装置 Download PDFInfo
- Publication number
- JP2016522516A JP2016522516A JP2016520360A JP2016520360A JP2016522516A JP 2016522516 A JP2016522516 A JP 2016522516A JP 2016520360 A JP2016520360 A JP 2016520360A JP 2016520360 A JP2016520360 A JP 2016520360A JP 2016522516 A JP2016522516 A JP 2016522516A
- Authority
- JP
- Japan
- Prior art keywords
- image
- input device
- pointing device
- images
- interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
例に基づく画像操作を制御する方法および装置は、例イメージおよびワークピースイメージの選択がポインティングデバイス(605)およびそれの移動する動作を用いて行われる。制御の効率を高めるために、転送される画像特性の選択は、ポインティングデバイス(605)の移動する動作の時間間隔の間に、第2の入力デバイス(603、611、612、613、614)において検知された対話から導き出される。
Description
本発明は、ディジタル画像の例に基づく操作を制御すること、例えば、例に基づく画像カラー化を制御することに関する。
例に基づく画像操作は、コンピュータビジョンにおける比較的新しい分野である。これは画像を向上するまたは変更するために、例を利用することにある。例に基づく画像カラー化はその一例である。例に基づく画像カラー化では、カラー化される必要がある白黒入力画像が与えられ得る。または、そのカラー化が異なるカラー化で置き換えられることになる、カラー入力画像が与えられ得る。長時間で面倒な手動のカラー化プロセスの代わりに、一組の例画像が使用され、それから、以下ではワークピース画像とも表される所与の入力画像が自動的にカラー化される。例画像は、少なくとも部分的に、ワークピース画像と同じオブジェクトまたは風景を表すものとされている。
例に基づく画像操作のための多くの最新技術の技法は、カラー化されることになるワークピース画像内のパッチと、所与の1または複数の例画像内のパッチとの、パッチ対応を見出すステップに依存する。次いで見出されたパッチ対応は、以下では画像特性とも表される選択された画像信号特性を、1または複数の例画像からワークピース画像パッチに転送するために使用される。
1つの画像から別の画像に転送され得る信号特性または画像特性は、画像解像度、コントラスト、テクスチャ、ぼけ、色、またはその他を含む。色を転送する特定の場合には、個々の色チャネルを選択または選択解除することが望ましくなり得る。例えば特定のカラー化プロジェクトにおいて、例画像の特定の範囲および質を所与として、第1の色チャネルは優先的に例画像の第1のサブセットから転送されるが、一方、別の色チャネルは別の異なる、例画像のサブセットから転送されることが最も適切となり得ることが想定される。後の開示の部分では、色を転送することが述べられ、これは画像カラー化の動作となる。しかしここで明らかなように、本発明はこの応用例に限定されない。
米国特許第5,732,230号明細書は、画像処理デバイスが特大サイズ画像を効率的に処理できるように、画像断片を操作するためのシステムを開示したことを主張している。このシステムは、特大サイズ画像が複数の画像断片に走査されるときに、ユーザがこれらを、それらに対してドラッグ、ドロップ、およびマージ動作を行うことによって操作できるようにユーザインターフェースをもたらす。本発明の実施形態は、ユーザが動作を行うことを可能にするためにタッチスクリーンまたはマウスの使用を含む。画像断片を回転すること、表示された断片の部分においてズームインまたはズームアウトすること、断片を統合された画像にマージすること、および画像断片を記憶または印刷することなどの他の動作が選択可能である。
本発明は、例に基づく画像操作が、アルゴリズムの詳細における全ての差異にかかわらず、通常以下のステップを伴うという所見から開始している:
− ワークピース画像として、操作されることになる1または複数の画像を選択するステップ;
− 例画像として使用されることになる1または複数の画像を選択するステップ;
− 変更されることになる画像特性を選択するステップ。これは、一組の専用の画像操作ツールの中から1つを選ぶことによって暗黙的に与えられ得る。
− 前の選択を使用して、画像操作プロセス自体を開始するステップ。
− ワークピース画像として、操作されることになる1または複数の画像を選択するステップ;
− 例画像として使用されることになる1または複数の画像を選択するステップ;
− 変更されることになる画像特性を選択するステップ。これは、一組の専用の画像操作ツールの中から1つを選ぶことによって暗黙的に与えられ得る。
− 前の選択を使用して、画像操作プロセス自体を開始するステップ。
上記において「画像」は、個々のファイルとして記憶された単一の静止画像だけでなく、圧縮または非圧縮の画像シーケンスのサブセット、および/またはそれらの空間的サブセットを表すことが意図される。画像は、白黒、任意の種類のカラー、コンピュータ生成、カートゥーン描画とすることができ、さらには赤外線またはレーダのような非可視光線に基づくことができる。「イメージ」は、以下ではこれら全てを表すように使用される。
ユーザインターフェースの観点から見ると、上述のステップは4つのユーザ対話ステップに対応する。これらのステップの知られている実装形態を連結することは、画像操作を制御する動作がそのときかなりの時間を必要とするため、制約となる。従って、プロセスのより効率的な制御という意味での改善が望ましい。
本発明は、上述のユーザインターフェースステップ全てがファイルシステムに、または任意の他のアプリケーションソフトウェアに組み込まれることを可能にする、例に基づく画像操作を制御するための方法を提案する。このために本発明は、2つ以上の入力デバイスを使用した、ユーザ入力アクションの組み合わせを提案する。従って予想される利点は、例に基づく技法のより高い有用性であり、これは向上された効率および生産性、ならびにオペレータ疲労の低減に繋がる。
例に基づく画像操作についての刊行物は、例えばProceedings of SIGGRAPH 2001, Annual Conference Series, pp. 327−340において発表された「Image Analogies」という名称の論文、The Computer Journal, 2007において発表された「Example−based regularization deployed to super−resolution reconstruction of a single image」という名称の論文、またはACM Trans. Graph. 30, 4, 70:1−70:9において発表された「Non−rigid Dense Correspondence with Applications for Image Enhancement」という名称の論文に見出され得る。
本発明の目的は、例に基づく画像マニピュレータを制御するための改善された方法をもたらすことである。本発明によれば、これは、ポインティングデバイスである第1の入力デバイスから開始座標を受け取るステップと、上記ポインティングデバイスの移動時間間隔を検知するステップと、上記ポインティングデバイスの終了座標を受け取るステップと、ワークピースイメージを特定するために上記開始座標および上記終了座標の1つを使用するステップと、例イメージを特定するために上記開始座標および上記終了座標のそれぞれの他の1つを使用するステップと、画像マニピュレータに、選択された画像特性が上記例イメージの内容に従って変更されるように、上記ワークピースイメージの画像操作を行わせるステップとを含み、上記移動時間間隔の少なくとも一部の間で、第2の入力デバイスにおいて行われる対話が検知され、上記対話から上記選択された画像特性が導き出される、方法によって達成される。
本発明の別の目的は、代替的実施形態をもたらすことである。本発明によれば、これは、上記第2の入力デバイスはキーボードであり、上記対話はこのキーボードのキーが押されることである方法により、上記第2の入力デバイスは上記ポインティングデバイス上に設けられた追加のキーであり、上記対話はこれらの追加のキーの1つがクリックされることである方法により、上記第2の入力デバイスは第2のポインティングデバイスであり、上記対話はそれでカーソルが所定の位置の組の1つに移動されることである方法により、上記第2の入力デバイスは第2のポインティングデバイスであり、上記対話はそれで所定のジェスチャの組の1つが行われることである方法により、上記第2の入力デバイスは音声入力デバイスであり、上記対話は所定のコマンドの組の1つが上記音声入力デバイスに向かって話されることである方法により、または上記第2の入力デバイスは選択入力部を有するフットペダルであり、上記対話は上記選択入力部によって選択が入力されることである方法により、達成される。
本発明の別の目的は、上記例に基づく画像マニピュレータを制御する効率をさらに改善することであり、ワークピースイメージを特定するステップは2つ以上の画像もしくはそれらの部分を選択するステップを含み、上記画像マニピュレータに、上記ワークピースイメージの全ての画像もしくはそれらの部分に対して上記画像操作を行わせる方法により、または、例イメージを特定するステップは2つ以上の画像もしくはそれらの部分を選択するステップを含み、上記画像マニピュレータに、上記選択された画像特性が上記例イメージの全ての画像もしくはそれらの部分の内容に従って変更されるように上記画像操作を行わせる方法により、達成される。
本発明の例示的実施形態は、以下の記述でより詳しく説明され、以下の図に示される。
本発明の第1の例示的実施形態を、ユーザの観点からフロー図形式で示す図である。
本発明の第1の例示的実施形態のステップによる対応する方法のステップを、フロー図形式で示す図である。
本発明の第2の例示的実施形態のステップを、ユーザの観点からフロー図形式で示す図である。
本発明の第2の例示的実施形態による対応する方法のステップを、フロー図形式で示す図である。
画像のグループを選択することに関する方法ステップを示す図である。
本発明を具現化するように装備され構成された装置を示す図である。
以下の例示的実施形態を示すために、例画像としてまたはワークピース画像として選択可能な画像は、例えばディスプレイ601上においてアイコンまたはサムネイル607によって表されることが仮定される。
図1は第1の例示的実施形態をユーザの観点から示す。開始において(101)、ユーザは、未だ選択されていない画像特性を転送する、例イメージとして第1の画像を選択する(102)。ユーザはこれを、第1の入力デバイスであるポインティングデバイス605における第1の対話によって行う。
ユーザインターフェースはその選択を例えば、第1の画像のシンボルを強調表示または明滅することによって、第1の画像のものを除く他の画像シンボルをグレイアウトすることによって、第1の画像のシンボルの近くにバルーンを表示することによって、または第1の画像のシンボルの周りを取り囲む縁取りを表示することによって、視覚化することができる。
次いでユーザは、未だ選択されていない画像特性が転送される、ワークピースイメージを選択する準備のために、ポインティングデバイス605を移動する(103)。この移動する動作によって、ポインティングデバイスの移動時間間隔が定義される。
本発明によればユーザは、このポインティングデバイス605の移動時間間隔の間に、第2の入力デバイス603、611、612、613、614において行われる対話によって、転送されることになる画像特性を選択する(104)。第2の入力デバイスはキーボード603とすることができ、この場合対話は、このキーボードのキー604が押されることにある。あるいは第2の入力デバイスは、ポインティングデバイス605上に設けられた追加のキー611からなるものとすることができ、この場合対話は、これらの追加のキー611の1つをクリックすることにある。あるいは第2の入力デバイスは、他方の手で動作される第2のポインティングデバイス612とすることができ、この場合対話は、所定の位置の組の1つにカーソルを移動することにある。あるいは同じ第2のポインティングデバイス612によって対話は、所定のジェスチャの組の1つを行うことにあるものとすることができる。あるいは第2の入力デバイスは、音声入力デバイス613とすることができ、この場合対話は、所定のコマンドの組の1つを音声入力デバイス613に向かって話すことにある。あるいは第2の入力デバイスは、選択入力部615を有するフットペダル614とすることができ、この場合対話は、足によってこれらのいずれかをアクティブにすることにある。
ユーザインターフェースは、例えば選択された画像特性を表すアイコンもしくはシンボルを表示することによって、および/または押されたキーボードキー604のように、第2の入力デバイス603、611、612、613、614の状態を表すアイコンもしくはシンボルを表示することによって、画像特性選択を視覚化することができる。
次いでユーザは、ポインティングデバイス605における第2の対話によって、ワークピースイメージとして第2の画像を選択し(105)、その後に画像操作自体が開始することができ(106)、対話は終了する(107)。
例イメージを選択すること(102)、およびワークピースイメージを選択すること(105)を含む、ポインティングデバイス605における対話は、種々のやり方で具現化することができ、その全ては本発明の範囲内となるものである。その1つの例では、ポインティングデバイスにおける第1の対話はポインティングデバイス605上の選択要素606のクリックアンドホールド動作であり、移動する動作は一般にドラッグ動作として知られているもので、すなわち選択されたもの606を保ちながらポインティングデバイス605を移動するものであり、ポインティングデバイス605における第2の対話はドロップ動作、すなわち選択要素606をリリースする動作である。それらの別の例では、ポインティングデバイス605における第1の対話は選択要素606のクリックアンドリリース動作であり、移動する動作はポインティングデバイス605を移動するだけであり、ポインティングデバイス605における第2の対話は選択要素606の別のクリックアンドリリース動作である。
図2は、例に基づく画像マニピュレータ602を制御するための関連する技術的方法を、開始(201)から終了(209)まで示し、これは以下のステップを含む:
− ポインティングデバイス605である第1の入力デバイスから開始座標を受け取るステップ(202)、
− 例イメージとして第1の画像を特定するために、開始座標を使用するステップ(203)、
− 第2の入力デバイス603、611、612、613、614から選択情報を受け取るステップ(204)、
− 選択情報から、選択された画像特性を導き出すステップ(205)、
− ポインティングデバイス605から終了座標を受け取るステップ(206)、
− ワークピースイメージとして第2の画像を特定するために、終了座標を使用するステップ(207)、
− 画像マニピュレータ602に、選択された画像特性を例イメージからワークピースイメージに転送するように、例に基づく画像操作を適用させるステップ(208)。
− ポインティングデバイス605である第1の入力デバイスから開始座標を受け取るステップ(202)、
− 例イメージとして第1の画像を特定するために、開始座標を使用するステップ(203)、
− 第2の入力デバイス603、611、612、613、614から選択情報を受け取るステップ(204)、
− 選択情報から、選択された画像特性を導き出すステップ(205)、
− ポインティングデバイス605から終了座標を受け取るステップ(206)、
− ワークピースイメージとして第2の画像を特定するために、終了座標を使用するステップ(207)、
− 画像マニピュレータ602に、選択された画像特性を例イメージからワークピースイメージに転送するように、例に基づく画像操作を適用させるステップ(208)。
ここで、図2に表されるように、開始座標を受け取るステップ(202)は、開始座標を使用するステップ(203)より前に行われなければならない。選択情報を受け取るステップ(204)は、選択情報から導き出すステップ(205)より前に行われなければならない。終了座標を受け取るステップ(206)は、終了座標を使用するステップ(207)より前に行われなければならない。および画像マニピュレータ602にさせるステップ(208)は、開始座標を使用するステップ(203)、選択情報から導き出すステップ(205)、および終了座標を使用するステップ(207)より後に行われなければならない。その他の点では、ステップの順序は任意である。
第2の入力デバイス603、611、612、613、614から選択情報を受け取るステップ204は、
− キーボード603において、ポインティングデバイス605の移動時間間隔の少なくとも一部の間で、キー604が押されたことを検知するステップ、
− ポインティングデバイス605に追加のキー611が装備されているときは、移動時間間隔の少なくとも一部の間で、ポインティングデバイスキー611が押されたことを検知するステップ、
− 第2のポインティングデバイス612において、カーソルが所定の位置の組の1つに移動されたことを検知するステップ、
− 第2のポインティングデバイス612において、所定のジェスチャの組の1つが行われたことを検知するステップ、
− 音声入力デバイス613において、所定のコマンドの組の1つを検出するステップ、または
− フットペダル614において、選択入力部615を検知するステップ、
または、適切にそれらの任意の組み合わせを含むことができる。
− キーボード603において、ポインティングデバイス605の移動時間間隔の少なくとも一部の間で、キー604が押されたことを検知するステップ、
− ポインティングデバイス605に追加のキー611が装備されているときは、移動時間間隔の少なくとも一部の間で、ポインティングデバイスキー611が押されたことを検知するステップ、
− 第2のポインティングデバイス612において、カーソルが所定の位置の組の1つに移動されたことを検知するステップ、
− 第2のポインティングデバイス612において、所定のジェスチャの組の1つが行われたことを検知するステップ、
− 音声入力デバイス613において、所定のコマンドの組の1つを検出するステップ、または
− フットペダル614において、選択入力部615を検知するステップ、
または、適切にそれらの任意の組み合わせを含むことができる。
方法は追加として、特定された例イメージを視覚化するステップ、選択された画像特性を視覚化するステップ、および/または特定されたワークピースイメージを視覚化するステップを含むことができる。
図3は、第2の例示的実施形態をユーザの観点から示す。開始(301)においてユーザは、ポインティングデバイス605における第1の対話によって、未だ選択されていない画像特性が転送されるワークピースイメージとして、第1の画像を選択する(302)。上述のようにユーザインターフェースは、その選択を視覚化することができる。次いでユーザは、未だ選択されていない画像特性を転送する例イメージとして第2の画像を選択する準備のために、ポインティングデバイス605を移動する(303)。本発明によればユーザは、ポインティングデバイスの移動時間間隔の間に、第2の入力デバイス603、611、612、613、614において行われる対話によって、転送されることになる画像特性を選択する(304)。上述のようにユーザインターフェースは、画像特性選択を視覚化することができる。
次いでユーザは、ポインティングデバイス605における第2の対話によって、例イメージとして、すなわち前に選択されたワークピースイメージにその画像特性が転送される1つまたは複数の画像もしくはそれらの部分として、第2の画像を選択する(305)。この第2の選択の後に、画像操作が開始することができ(306)、対話は終了する(307)。
図4は、例に基づく画像マニピュレータ602を制御するための関係する技術的方法を、開始(401)から終了(409)まで示し、これは以下を含む:
− ポインティングデバイス605である第1の入力デバイスから、開始座標を受け取るステップ(402)、
− ワークピースイメージとして第1の画像を特定するために、開始座標を使用するステップ(403)、
− 第2の入力デバイス603、611、612、613、614から選択情報を受け取るステップ(404)、
− 選択情報から、選択された画像特性を導き出すステップ(405)、
− ポインティングデバイス605から終了座標を受け取るステップ(406)、
− 例イメージとして第2の画像を特定するために、終了座標を使用するステップ(407)、
− 画像マニピュレータ602に、選択された画像特性を例イメージからワークピースイメージに転送するように、例に基づく画像操作を適用させるステップ(408)。
− ポインティングデバイス605である第1の入力デバイスから、開始座標を受け取るステップ(402)、
− ワークピースイメージとして第1の画像を特定するために、開始座標を使用するステップ(403)、
− 第2の入力デバイス603、611、612、613、614から選択情報を受け取るステップ(404)、
− 選択情報から、選択された画像特性を導き出すステップ(405)、
− ポインティングデバイス605から終了座標を受け取るステップ(406)、
− 例イメージとして第2の画像を特定するために、終了座標を使用するステップ(407)、
− 画像マニピュレータ602に、選択された画像特性を例イメージからワークピースイメージに転送するように、例に基づく画像操作を適用させるステップ(408)。
方法は追加として、特定されたワークピースイメージを視覚化するステップ、選択された画像特性を視覚化するステップ、および/または特定された例イメージを視覚化するステップを含むことができる。
ここで、図4に表されるように、開始座標を受け取るステップ(402)は、開始座標を使用するステップ(403)より前に行われなければならない。選択情報を受け取るステップ(404)は、選択情報から導き出すステップ(405)より前に行われなければならない。終了座標を受け取るステップ(406)は、終了座標を使用するステップ(407)より前に行われなければならない。および画像マニピュレータ602にさせるステップ(408)は、開始座標を使用するステップ(403)、選択情報から導き出すステップ(405)、および終了座標を使用するステップ(407)より後に行われなければならない。その他の点では、ステップの順序は任意である。
有利なさらなる発展形態では、例イメージを選択する(102、305)ため、またはワークピースイメージを選択する(105、302)ために行われる、ポインティングデバイス605における対話の少なくとも1つは、単一の画像だけの代わりに画像のグループの選択を可能にするように拡張され得る。
例イメージとして画像のグループを選択することは、例えば例画像パッチとワークピース画像パッチの間の対応が弱い、または見出し難い状況において有益となり得る。例イメージとして画像のグループをもつことは、例画像としてグループからの各画像を使用して画像操作を順次に適用し、ワークピース画像パッチに対して行われた操作を重ね合わせることであると理解され得る。その結果、これは性能を改善することが分かる。
ワークピースイメージとして画像のグループを選択することは、例えばグループ内のワークピース画像が互いに非常に似ている状況において有益となり得る。これが生じる1つの状況は、増加した画像周波数で捕捉されたスローモーションシーケンスからの連続した画像の場合である。ワークピースイメージとして画像のグループをもつことは、選択された画像特性を例イメージから、ワークピースイメージ内の各個々の画像に転送することであると理解され得る。これはユーザ対話を簡単にし、従って装置を制御する効率を向上させることが分かる。利用可能なハードウェアに応じて、いくつかのワークピース画像の、例に基づく操作は、もちろん連続的にまたは並列にまたはそれらの任意の組み合わせで行われ得る。それに対応した全体の処理時間の短縮が結果として生じ得る。
2つ以上の画像を、画像の単一のグループに選択するために、いくつかのユーザインターフェースの枠組みが存在し、例えば第1の選択のためのクリック、およびその後のグループへの追加のためのその後の「制御クリック」の場合である。またはポインティングデバイス605を用いて行われる「ワイプスルー」の動作であり、ポインティングデバイスのカーソルによってタッチされたディスプレイ601上のシンボル607のあらゆるアイテムは選択されたと見なされ、通常はそのように強調表示される。または、しばしばlassoモードとして表される、選択されることになるオブジェクトを、ディスプレイ601上のそれらのシンボル607の周りに縁取りを描くことによって取り囲む動作がある。
図5は、例に基づく画像マニピュレータ602を制御するための技術的方法における関連するステップを示す。
− 画像のグループを特定するステップ(501)であって、
− ポインティングデバイス605である第1の入力デバイスから、いくつかの開始または終了座標を受け取るステップ(502)、
− 画像を特定するために、各開始または終了座標を使用するステップ(503)、
− 特定された画像を画像のグループに追加するステップ(504)、
によるステップ(501)、および
− 画像マニピュレータ602に、選択された画像特性を例イメージとして使用される画像のグループからワークピースイメージに転送するように、例に基づく画像操作を適用させるステップ(505)、
または
− 画像マニピュレータ602に、選択された画像特性を例イメージから、ワークピースイメージとして使用される画像のグループ内の各画像に転送するように、例に基づく画像操作を適用させるステップ(506)。
− ポインティングデバイス605である第1の入力デバイスから、いくつかの開始または終了座標を受け取るステップ(502)、
− 画像を特定するために、各開始または終了座標を使用するステップ(503)、
− 特定された画像を画像のグループに追加するステップ(504)、
によるステップ(501)、および
− 画像マニピュレータ602に、選択された画像特性を例イメージとして使用される画像のグループからワークピースイメージに転送するように、例に基づく画像操作を適用させるステップ(505)、
または
− 画像マニピュレータ602に、選択された画像特性を例イメージから、ワークピースイメージとして使用される画像のグループ内の各画像に転送するように、例に基づく画像操作を適用させるステップ(506)。
ここで、特定するステップ(501)は、その受け取るサブステップ(502)、使用するサブステップ(503)、および追加するサブステップ(504)と共に、受け取るステップ(202)および使用するステップ(203)、受け取るステップ(206)および使用するステップ(207)、受け取るステップ(402)および使用するステップ(403)、または受け取るステップ(406)および使用するステップ(407)のいずれか、または全てを置き換えることができる。
ここで明らかなように、例イメージのためにおよびワークピースイメージのために、単一の画像の代わりに画像のグループを選択することが有利となり得る。これもまた本発明の範囲内となるものである。
図6は、本発明を具現化するように装備され構成された装置を示す。装置は、ディスプレイ601への第1の接続608を有し、ポインティングデバイス605である第1の入力デバイスへの第2の接続609を有するプロセッサ602を備える。プロセッサ602はまた、例に基づく画像マニピュレータとして機能するように装備され構成され、第2の入力デバイス603、611、612、613、614を介して選択された画像特性を、ポインティングデバイス605によって特定された例イメージから、ポインティングデバイス605によって特定されたワークピースイメージに転送する。プロセッサ602は、キーボード603の形態とすることができる第2の入力デバイスへの第3の接続610を有する。あるいは第2の入力デバイスは、ポインティングデバイス605上に設けられた追加のキー611にあるものとすることができる。あるいはプロセッサ602は、第2のポインティングデバイス612への第3の接続610を有することができる。あるいはプロセッサ602は、音声入力デバイス613への第3の接続610を有することができる。あるいはプロセッサ602は、フットペダル614への第3の接続610を有することができる。ディスプレイ601は、いくつかの画像のシンボル607を記号的に示す。ポインティングデバイス605は、選択要素606を備える。キーボード603は、キー604を備える。フットペダル614は、選択入力部615を備える。
言い換えれば、例に基づく画像操作を制御するための方法および装置が開示され、例イメージおよびワークピースイメージの選択は、ポインティングデバイス605である第1の入力デバイス、およびその移動の動作によって行われる。制御の効率を向上させるために、転送されることになる画像特性の選択は、ポインティングデバイス605の移動の動作の時間間隔の間に、第2の入力デバイス603、611、612、613、614において検知される対話から導き出される。
Claims (11)
- 例に基づく画像マニピュレータ(602)を制御する方法であって、
ポインティングデバイス(605)である第1の入力デバイスから開始座標を受け取るステップと、
前記ポインティングデバイス(605)の移動時間間隔を検知するステップと、
前記ポインティングデバイス(605)の終了座標を受け取るステップと、
ワークピースイメージを特定するために、前記開始座標および前記終了座標の一方を使用するステップと、
例イメージを特定するために、前記開始座標および前記終了座標のそれぞれの他方を使用するステップと、
前記画像マニピュレータ(602)に、選択された画像特性が前記例イメージの内容に従って変更されるように、前記ワークピースイメージの画像操作を行わせるステップと、
を含み、
前記移動時間間隔の少なくとも一部の間で、第2の入力デバイス(603)において行われる対話を検知し、前記対話から前記選択された画像特性を導き出すステップを含む、前記方法。 - 前記第2の入力デバイスはキーボード(603)であり、前記対話は、前記キーボードのキーが押されることである、請求項1に記載の方法。
- 前記第2の入力デバイスは、前記ポインティングデバイス(605)上に設けられた追加のキー(611)であり、前記対話は、前記追加のキー(611)の1つがクリックされることである、請求項1に記載の方法。
- 前記第2の入力デバイスは、第2のポインティングデバイス(612)であり、前記対話は、カーソルがそれで所定の位置の組の1つに移動されることである、請求項1に記載の方法。
- 前記第2の入力デバイスは、第2のポインティングデバイス(612)であり、前記対話は、それで所定のジェスチャの組の1つが行われることである、請求項1に記載の方法。
- 前記第2の入力デバイスは、音声入力デバイス(613)であり、前記対話は、所定のコマンドの組の1つが前記音声入力デバイスに向かって話されることである、請求項1に記載の方法。
- 前記第2の入力デバイスは、選択入力部(615)を有するフットペダル(614)であり、前記対話は、前記選択入力部(615)によって選択が入力されることである、請求項1に記載の方法。
- ワークピースイメージを特定することは、2つ以上の画像またはそれらの部分を選択するステップを含み、前記画像マニピュレータ(602)に、前記ワークピースイメージの全ての画像またはそれらの部分に対して前記画像操作を行わせる、請求項1から7のいずれかに記載の方法。
- 例イメージを特定することは、2以上の画像またはそれらの部分を選択するステップを含み、前記画像マニピュレータ(602)に、前記選択された画像特性が前記例イメージの全ての画像またはそれらの部分の内容に従って変更されるように前記画像操作を行わせる、請求項1から7のいずれかに記載の方法。
- ディスプレイ(601)、ポインティングデバイス(605)である第1の入力デバイス、および第2の入力デバイス(603、611、612、613、614)を備え、請求項1から9のいずれかに記載の方法を行うよう装備され、かつ構成された、装置。
- コンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、実行されたとき、コンピュータに請求項1から9のいずれかに記載の例に基づく画像マニピュレータを制御する方法を行わせる、前記コンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13305823.0 | 2013-06-18 | ||
EP13305823.0A EP2816458A1 (en) | 2013-06-18 | 2013-06-18 | Method and apparatus for controlling example-based image manipulation |
PCT/EP2014/061617 WO2014202392A1 (en) | 2013-06-18 | 2014-06-04 | Method and apparatus for controlling example-based image manipulation |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016522516A true JP2016522516A (ja) | 2016-07-28 |
Family
ID=48748108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016520360A Pending JP2016522516A (ja) | 2013-06-18 | 2014-06-04 | 例に基づく画像操作を制御する方法および装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20160139684A1 (ja) |
EP (2) | EP2816458A1 (ja) |
JP (1) | JP2016522516A (ja) |
KR (1) | KR20160021448A (ja) |
CN (1) | CN105324744A (ja) |
WO (1) | WO2014202392A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020071500A (ja) * | 2018-10-29 | 2020-05-07 | セイコーエプソン株式会社 | 表示方法および表示装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7724242B2 (en) * | 2004-08-06 | 2010-05-25 | Touchtable, Inc. | Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter |
US9619104B2 (en) * | 2010-10-01 | 2017-04-11 | Smart Technologies Ulc | Interactive input system having a 3D input space |
-
2013
- 2013-06-18 EP EP13305823.0A patent/EP2816458A1/en not_active Withdrawn
-
2014
- 2014-06-04 CN CN201480034868.1A patent/CN105324744A/zh active Pending
- 2014-06-04 WO PCT/EP2014/061617 patent/WO2014202392A1/en active Application Filing
- 2014-06-04 US US14/899,811 patent/US20160139684A1/en not_active Abandoned
- 2014-06-04 KR KR1020167001289A patent/KR20160021448A/ko not_active Application Discontinuation
- 2014-06-04 EP EP14730491.9A patent/EP3011420A1/en not_active Withdrawn
- 2014-06-04 JP JP2016520360A patent/JP2016522516A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020071500A (ja) * | 2018-10-29 | 2020-05-07 | セイコーエプソン株式会社 | 表示方法および表示装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2014202392A1 (en) | 2014-12-24 |
EP2816458A1 (en) | 2014-12-24 |
KR20160021448A (ko) | 2016-02-25 |
CN105324744A (zh) | 2016-02-10 |
US20160139684A1 (en) | 2016-05-19 |
EP3011420A1 (en) | 2016-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9003334B2 (en) | Editing content using multiple touch inputs | |
US9508167B2 (en) | Method and apparatus for high-dimensional data visualization | |
US9354707B2 (en) | Combination color and pen palette for electronic drawings | |
JP4301842B2 (ja) | ユーザインタフェースの利用方法 | |
US8896549B2 (en) | Method and system for duplicating an object using a touch-sensitive display | |
DE102009034413B4 (de) | Erkennung zusammengesetzter Gesten | |
US20140118252A1 (en) | Method of displaying cursor and system performing cursor display method | |
US8542199B2 (en) | Image processing apparatus, image processing method, and program | |
CN104063128B (zh) | 一种信息处理方法及电子设备 | |
JP2009151638A (ja) | 情報処理装置及びその制御方法 | |
US10310618B2 (en) | Gestures visual builder tool | |
US20120313968A1 (en) | Image display system, information processing apparatus, display device, and image display method | |
WO2016016033A1 (en) | Method and apparatus for interactive video segmentation | |
US11455073B2 (en) | Method for generating a movement of a three-dimensional part of a three-dimensional assembly in a three-dimensional scene, comprising at least a rotation at most by a predetermined angle | |
GB2400289A (en) | Selecting functions in a Context-Sensitive Menu | |
JP6330348B2 (ja) | 情報処理装置 | |
JP2016522516A (ja) | 例に基づく画像操作を制御する方法および装置 | |
JP2011221940A (ja) | 画像作成編集ツールのプレビュー方法およびプログラム | |
Pfeuffer et al. | Bi-3D: Bi-Manual Pen-and-Touch Interaction for 3D Manipulation on Tablets | |
WO2011083676A1 (ja) | オブジェクト処理装置およびオブジェクト選択方法 | |
KR20150073100A (ko) | 모델링된 오브젝트들을 복사 및 조작하기 위한 메커니즘을 포함하는 터치 감지형 디스플레이를 갖는 디바이스 | |
US20120331423A1 (en) | Method for navigating a structure of data using a graphical user interface having a looped history chain | |
JP4907156B2 (ja) | 3次元ポインティング方法および3次元ポインティング装置ならびに3次元ポインティングプログラム | |
US20230196725A1 (en) | Image annotation system and method | |
CN107978009A (zh) | 影像叠层处理方法与系统 |