JP2011258195A - Man-machine interface based on gesture - Google Patents

Man-machine interface based on gesture Download PDF

Info

Publication number
JP2011258195A
JP2011258195A JP2011118571A JP2011118571A JP2011258195A JP 2011258195 A JP2011258195 A JP 2011258195A JP 2011118571 A JP2011118571 A JP 2011118571A JP 2011118571 A JP2011118571 A JP 2011118571A JP 2011258195 A JP2011258195 A JP 2011258195A
Authority
JP
Japan
Prior art keywords
screen
processor
distance
information displayed
computer system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011118571A
Other languages
Japanese (ja)
Other versions
JP2011258195A5 (en
JP5878698B2 (en
Inventor
Pefla Ortiz Nicolas
ペニャ オルティス ニコラス
Esteban Campillo David
エステバン カンピヨ ダビド
Luis Scarlatti Jimenez David
ルイス スカルラッティ ヒメネス ダビド
Soriano Tapia Pablo
ソリアノ タピア パブロ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2011258195A publication Critical patent/JP2011258195A/en
Publication of JP2011258195A5 publication Critical patent/JP2011258195A5/ja
Application granted granted Critical
Publication of JP5878698B2 publication Critical patent/JP5878698B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a man-machine interface based on a gesture, for example a user interface for controlling a program executed on a computer.SOLUTION: A gesture of a user is monitored, and responded based on the detected gesture. Information displayed on a screen 12 is indicated using an object. The information displayed on the screen 12 is modified in response to a determined position indicated by the object and a distance from the screen 12 to the object.

Description

本発明は、ジェスチャーに基づくマンマシンインターフェース、例えばコンピュータ上で実行されるプログラムを制御するグラフィカルユーザインターフェースに関するものである。本発明は、多くの種類のプログラムに適用可能であるが、一又は複数の無人航空ビークルの飛行を制御するプログラムを特に対象とする。   The present invention relates to a man-machine interface based on gestures, such as a graphical user interface for controlling a program executed on a computer. The present invention is applicable to many types of programs, but is specifically directed to programs that control the flight of one or more unmanned aerial vehicles.

マンマシンインターフェースは、実質的に過去数十年の間に発展した。コンピュータの制御というもっと狭い分野においてさえ、インターフェースは、コマンドラインから、ユーザに対して表示されるグラフィカルなアイコンを選択するためにマウス又は同種のポインティングデバイスを必要とするグラフィカルユーザインターフェースへと進化した。   Man-machine interfaces have evolved substantially over the past decades. Even in the narrower field of computer control, the interface has evolved from the command line to a graphical user interface that requires a mouse or similar pointing device to select a graphical icon displayed to the user.

最近では、タッチスクリーンデバイスが人気である。複数の入力点を可能にするタッチスクリーンデバイスは、ジェスチャーに基づく制御の可能性を開くので特に有利である。アップル社のｉＰｈｏｎｅ（登録商標）は、アイテムの選択、スクロール、ズームイン又はズームアウト、及びアイテムの回転にタッチを使用できる良い例である。タッチスクリーンデバイスは複数の欠点を有している。例えば、スクリーンは、反応時間が長く、精度が低く、及び信頼性が低くなりがちであり、一方でタッチスクリーンの使用頻度が高すぎると残留物及び汚れが蓄積して性能の更なる低下を招く。   Recently, touch screen devices have become popular. Touch screen devices that allow multiple input points are particularly advantageous because they open up the possibility of gesture-based control. Apple's iPhone (R) is a good example where touch can be used to select items, scroll, zoom in or out, and rotate items. Touch screen devices have several drawbacks. For example, screens tend to have long reaction times, low accuracy, and low reliability, while if the touch screen is used too frequently, residue and dirt can accumulate and further degrade performance. .

スクリーンへの接触を回避することによりタッチスクリーンデバイスの問題の幾つかを回避するシステムが提案されている。代替として、ユーザのジェスチャーを監視して、検出されたジェスチャーに基づく応答が提供される。例えば、スクリーンへのタッチに基づく現行のシステムに類似した、選択、スクロール、ズーム、回転などに、手のジェスチャーを使用できるように、ユーザの手を監視するシステムが提案されている。   Systems have been proposed that avoid some of the problems of touch screen devices by avoiding touching the screen. Alternatively, the user's gesture is monitored and a response based on the detected gesture is provided. For example, systems have been proposed that monitor a user's hand so that hand gestures can be used for selection, scrolling, zooming, rotation, etc., similar to current systems based on touching the screen.

このような背景に対して、本発明は、ジェスチャーに基づくマンマシンインターフェースによりコンピュータシステムを使用する方法を提供する。本方法は、オブジェクトを使用して、コンピュータシステムのスクリーン上に表示された情報を指し示すこと、及び少なくとも二つのカメラによりスクリーン前方のシーンを捉えることを含む。プロセッサを使用して、カメラが捉えたシーンを分析することによりオブジェクトを識別し、且つスクリーン上でオブジェクトが指し示す位置と、スクリーンからオブジェクトまでの距離とを決定する。プロセッサは、次いで、オブジェクトが指し示す位置と、スクリーンからオブジェクトまでの距離との決定に応答して、スクリーン上に表示された情報を変更する。   Against this background, the present invention provides a method of using a computer system with a gesture-based man-machine interface. The method includes using an object to point to information displayed on a screen of a computer system and capturing a scene in front of the screen with at least two cameras. A processor is used to identify the object by analyzing the scene captured by the camera, and to determine the position that the object points on the screen and the distance from the screen to the object. The processor then changes the information displayed on the screen in response to determining the position that the object points to and the distance from the screen to the object.

このようにして、タッチスクリーンの欠点が回避されうる。更に、オブジェクトがスクリーンからどの程度離れているかに関する情報が使用される。この情報は別の方法でも使用できる。例えば、オブジェクトが指し示しているスクリーンの一部を、決定されたスクリーンからオブジェクトまでの距離に基づく倍率を用いてズームすることにより、スクリーン上に表示された情報を変更することができる。即ち、スクリーンの近くを指し示すことにより、離れた地点を指し示すよりも大きな倍率が適用される。特定の距離よりも離れた地点を指し示すと倍率が１倍になり、一方スクリーンから設定された距離だけ離れた位置で倍率が最大値に到達するといった制限を設定することができる。これらの距離の間における倍率の尺度は制御可能であり、例えば線形的に又は指数関数的に変化させることができる。   In this way, the disadvantages of touch screens can be avoided. In addition, information about how far the object is from the screen is used. This information can be used in other ways. For example, information displayed on the screen can be changed by zooming a part of the screen pointed to by the object using a magnification based on the determined distance from the screen to the object. That is, by pointing near the screen, a larger magnification is applied than when pointing away. When a point farther than a specific distance is pointed out, the magnification becomes 1 time, while a limit can be set such that the magnification reaches the maximum value at a position away from the screen by a set distance. The scale of magnification between these distances is controllable and can vary, for example, linearly or exponentially.

本方法は、オブジェクトの運動を追跡することにより、スクリーン上でオブジェクトが指し示す位置を決定することを含むことができる。本方法は、オブジェクトの縦方向の延長線を決定することにより、スクリーン上でオブジェクトが指し示す位置を決定することを含むことができる。これら二つのオプション機能は、二者択一方式で使用することができるか、又は互いの増設機能として使用することができる。   The method can include determining a position that the object points on the screen by tracking the movement of the object. The method can include determining a position that the object points on the screen by determining a longitudinal extension of the object. These two optional functions can be used in an alternative method or can be used as an additional function of each other.

一定の期間に亘ってスクリーンからオブジェクトまでの距離を決定することにより、オブジェクトの運動速度を決定することができる。この速度は、スクリーン上に表示される情報を更に制御するために使用することができる。スクリーンに向かうオブジェクトの高速運動は、スクリーンに向かうオブジェクトの低速運動と異なって解釈することができる。例えば、低速運動が単一回のクリックと解釈されるのに対し、高速運動はダブルクリックと解釈される。   By determining the distance from the screen to the object over a period of time, the speed of movement of the object can be determined. This speed can be used to further control the information displayed on the screen. The high-speed movement of the object toward the screen can be interpreted differently from the low-speed movement of the object toward the screen. For example, a slow motion is interpreted as a single click, while a fast motion is interpreted as a double click.

随意で、本方法は、二つのオブジェクトを使用してコンピュータシステムのスクリーン上に表示された情報を指し示すこと、及び少なくとも二つのカメラによりスクリーン前方のシーンを捉えることを含むことができる。プロセッサを使用して、カメラが捉えたシーンを分析することによりオブジェクトを識別し、且つスクリーン上でオブジェクトが指し示す位置と、スクリーンからオブジェクトまでの距離とを決定することができる。プロセッサは、次いで、オブジェクトが指し示す位置と、スクリーンからオブジェクトまでの距離との決定に応答して、スクリーン上に表示された情報を変更する。これにより、更なる機能性が可能になる。例えば、一対のオブジェクトを単独で使用してスクリーン上の異なるコントロールと相関させることにより、例えば音量制御の調節や一領域のズームを行うことができる。これら二つのオブジェクトは一緒に使用してもよい。スクリーン上に表示された画像は、オブジェクトを使用して、例えばオブジェクトを回転させることにより操作することができる。例えば、左のオブジェクトをスクリーンに向かって移動させ、右のオブジェクトをスクリーンから離れる方向へ移動させることにより、垂直軸を中心として画像を時計回りに回転させることができ、上のオブジェクトをスクリーンに向かって移動させ、下のオブジェクトをスクリーンから離れる方向へ移動させることにより、水平軸を中心に画像を回転させることができ、更にはオブジェクトの相対的な整列とオブジェクト間の相対運動とに応じて他の回転が可能である。   Optionally, the method can include using two objects to point to information displayed on the screen of the computer system and capturing the scene in front of the screen with at least two cameras. A processor can be used to identify the object by analyzing the scene captured by the camera, and determine the position that the object points on the screen and the distance from the screen to the object. The processor then changes the information displayed on the screen in response to determining the position that the object points to and the distance from the screen to the object. This allows for further functionality. For example, by using a pair of objects alone and correlating with different controls on the screen, for example, volume control adjustments or zooming of a region can be performed. These two objects may be used together. The image displayed on the screen can be manipulated using the object, for example by rotating the object. For example, by moving the left object toward the screen and moving the right object away from the screen, you can rotate the image clockwise about the vertical axis and move the top object toward the screen. The image can be rotated around the horizontal axis by moving the object below and moving away from the screen, and it can be different depending on the relative alignment of the objects and the relative movement between the objects. Can be rotated.

多くの異なるオブジェクトを使用してスクリーンを指し示すことができる。例えば、オブジェクトはユーザの手でよい。好ましくは、オブジェクトはユーザの手の伸ばした指とすることができる。このとき、指の先端が、スクリーンからの距離を決定するために使用される点とすることができる。指の延長線を使用して、ユーザが指し示しているスクリーン上の位置を決定することができる。   Many different objects can be used to point to the screen. For example, the object may be the user's hand. Preferably, the object can be a finger extended by the user's hand. At this time, the tip of the finger can be the point used to determine the distance from the screen. The extension of the finger can be used to determine the position on the screen that the user is pointing to.

本発明は、ジェスチャーに基づくマンマシンインターフェースを含むコンピュータシステムも提供する。このコンピュータシステムは、（ａ）情報を表示するスクリーン、（ｂ）スクリーン前方のシーンを捉えるために配置された少なくとも二つのカメラ、及び（ｃ）プロセッサを備える。プロセッサは、カメラが供給する画像を受信して、この画像を分析することにより、スクリーン上に表示された情報を指し示すオブジェクトを識別する。プロセッサはまた、スクリーン上でオブジェクトが指し示す位置と、スクリーンからオブジェクトまでの距離とを決定する。プロセッサは、更に、オブジェクトが指し示す位置と、スクリーンからオブジェクトまでの距離との決定に応答して、スクリーン上に表示された情報を修正する。   The present invention also provides a computer system including a man-machine interface based on gestures. The computer system comprises (a) a screen for displaying information, (b) at least two cameras arranged to capture a scene in front of the screen, and (c) a processor. The processor receives an image provided by the camera and analyzes the image to identify an object that points to information displayed on the screen. The processor also determines the position that the object points on the screen and the distance from the screen to the object. The processor further modifies the information displayed on the screen in response to determining the position pointed to by the object and the distance from the screen to the object.

随意で、プロセッサは、オブジェクトの運動を追跡することにより、スクリーン上でオブジェクトが指し示す位置を決定する。加えて、又は別の構成として、プロセッサは、オブジェクトの縦方向の延長線を決定することにより、スクリーン上でオブジェクトが指し示す位置を決定する。プロセッサは、決定されたスクリーンからオブジェクトまでの距離に基づく倍率で、オブジェクトが指し示すスクリーンの部分をズームすることができる。本発明の方法に関して上述したように、二つのオブジェクトを使用して、スクリーン上に表示された情報を変更することができる。オブジェクトはユーザの手とすることができ、例えばユーザの手の伸ばした指でよい。   Optionally, the processor determines the position that the object points on the screen by tracking the movement of the object. In addition or alternatively, the processor determines the position that the object points on the screen by determining a vertical extension of the object. The processor can zoom the portion of the screen that the object points to with a magnification based on the determined screen-to-object distance. As described above with respect to the method of the present invention, two objects can be used to change the information displayed on the screen. The object can be a user's hand, for example, a finger extended by the user's hand.

本発明の理解を助けるために、例示のみを目的として添付図面に言及する。   In order to assist the understanding of the present invention, reference is made to the accompanying drawings by way of example only.

図１は、本発明の一実施形態によるマンマシンインターフェースを含むシステムを示す概略斜視図であり、このシステムは横に並んだ二つのスクリーンと四つのカメラとを備えている。FIG. 1 is a schematic perspective view showing a system including a man-machine interface according to an embodiment of the present invention, and the system includes two screens arranged side by side and four cameras. 図２は、ユーザの視点から見たスクリーンの斜視図であり、ユーザがボタンを指し示すことによりスクリーン上に示されたボタンを選択している様子を示している。FIG. 2 is a perspective view of the screen as seen from the user's viewpoint, and shows a state in which the user selects the button shown on the screen by pointing to the button. 図３Ａは、本発明によるマンマシンインターフェースの一実施形態を示すシステムの概略的上面図であり、システムは、一のスクリーンと、一又は複数のカメラとを含み、カメラの視野がどのように合成されるかを示している。FIG. 3A is a schematic top view of a system illustrating one embodiment of a man-machine interface according to the present invention, the system including a screen and one or more cameras, how the camera field of view is synthesized. Indicates what will be done. 図３Ｂは、本発明によるマンマシンインターフェースの一実施形態を示すシステムの概略的上面図であり、システムは、一のスクリーンと、一又は複数のカメラとを含み、カメラの視野がどのように合成されるかを示している。FIG. 3B is a schematic top view of a system showing one embodiment of a man-machine interface according to the present invention, the system comprising a screen and one or more cameras, how the camera field of view is synthesized. Indicates what will be done. 図３Ｃは、本発明によるマンマシンインターフェースの一実施形態を示すシステムの概略的上面図であり、システムは、一のスクリーンと、一又は複数のカメラとを含み、カメラの視野がどのように合成されるかを示している。FIG. 3C is a schematic top view of a system illustrating one embodiment of a man-machine interface according to the present invention, the system comprising a screen and one or more cameras, how the camera field of view is synthesized. Indicates what will be done. 図３Ｄは、本発明によるマンマシンインターフェースの一実施形態を示すシステムの概略的上面図であり、システムは、一のスクリーンと、一又は複数のカメラとを含み、カメラの視野がどのように合成されるかを示している。FIG. 3D is a schematic top view of a system illustrating one embodiment of a man-machine interface according to the present invention, the system comprising a screen and one or more cameras, how the camera field of view is synthesized. Indicates what will be done. 図３Ｅは、図３Ａ〜Ｄに示すシステムの概略的正面図であり、図３Ａに対応している。3E is a schematic front view of the system shown in FIGS. 3A-D and corresponds to FIG. 3A. 図３Ｆは、図３Ａ〜Ｄに示すシステムの概略的正面図であり、図３Ｂに対応している。3F is a schematic front view of the system shown in FIGS. 3A-D and corresponds to FIG. 3B. 図３Ｇは、図３Ａ〜Ｄに示すシステムの概略的正面図であり、図３Ｃに対応している。3G is a schematic front view of the system shown in FIGS. 3A-D and corresponds to FIG. 3C. 図３Ｈは、図３Ａ〜Ｄに示すシステムの概略的正面図であり、図３Ｄに対応している。3H is a schematic front view of the system shown in FIGS. 3A-D and corresponds to FIG. 3D. 図４は、本発明によるマンマシンインターフェースの一実施形態によるシステムを示す構造図である。FIG. 4 is a structural diagram illustrating a system according to an embodiment of a man-machine interface according to the present invention. 図５Ａは、本発明によるマンマシンインターフェースの一実施形態により提供されるズーム機能を示すスクリーンの概略正面図である。FIG. 5A is a schematic front view of a screen illustrating a zoom function provided by an embodiment of a man-machine interface according to the present invention. 図５Ｂは、本発明によるマンマシンインターフェースの一実施形態により提供されるズーム機能を示すスクリーンの概略正面図である。FIG. 5B is a schematic front view of a screen illustrating a zoom function provided by an embodiment of a man-machine interface according to the present invention. 図５Ｃは、本発明によるマンマシンインターフェースの一実施形態により提供されるズーム機能を示すスクリーンの概略正面図である。FIG. 5C is a schematic front view of a screen showing a zoom function provided by an embodiment of a man-machine interface according to the present invention.

ジェスチャーに基づくマンマシンインターフェースを含むコンピュータシステム１０が図１に示されている。コンピュータシステム１０は、駆動されると情報を表示する一又は複数のスクリーン１２を含む。情報の表示は、スクリーン１２の前方で、ユーザが自分自身の手１４を用いてジェスチャーを行うことにより、ユーザによって制御可能である。このようなジェスチャーは、スクリーン１２の周囲に配置された四つのカメラ６を使用して記録される。カメラ１６が捉えた画像は、ユーザの手１４の位置を三次元で決定し、手１４の運動を追跡するために分析される。手１４の運動は、コンピュータシステム１０によって、例えばスクリーン１２上に表示されているアイコンの選択、又はスクリーン１２上に表示された一領域のズームに対応するジェスチャーとして解釈される。コンピュータシステム１０は、このようなジェスチャーに応答して、スクリーン１２上に表示された情報を変更する。図２は、ユーザが、ユーザの人差し指１８をスクリーン１２上に示されたボタン２０に向かって前方へ動かす一例を示している。このような運動は、ユーザがボタン２０を押す動作に似ており、コンピュータシステム１０は、これをユーザによるボタン２０の選択と解釈する。これにより、コンピュータシステム１０はスクリーン１２上に新規ビューを表示する。   A computer system 10 including a man-machine interface based on gestures is shown in FIG. Computer system 10 includes one or more screens 12 that display information when driven. The display of information can be controlled by the user by making a gesture using his / her hand 14 in front of the screen 12. Such gestures are recorded using four cameras 6 arranged around the screen 12. The image captured by the camera 16 is analyzed to determine the position of the user's hand 14 in three dimensions and to track the movement of the hand 14. The movement of the hand 14 is interpreted by the computer system 10 as a gesture corresponding to, for example, selection of an icon displayed on the screen 12 or zooming of an area displayed on the screen 12. The computer system 10 changes the information displayed on the screen 12 in response to such a gesture. FIG. 2 shows an example where the user moves the user's index finger 18 forward toward the button 20 shown on the screen 12. Such movement is similar to the action of the user pressing the button 20, and the computer system 10 interprets this as a selection of the button 20 by the user. As a result, the computer system 10 displays a new view on the screen 12.

図１及び２は、横に並んだ二つのスクリーン１２を使用するコンピュータシステム１０を示しているが、任意の数のスクリーン１２が使用可能である。スクリーン１２の前方に、ユーザの腕２２が図解的に示されている。腕２２の運動は、スクリーン１２の四つの角の外側に配置されて、スクリーン１２の中央に向けられた四つのカメラ１６によって捉えられる。したがって、それらのカメラは、ユーザの手１４がスクリーン１２の前方を移動するとき、ユーザの手１４の運動を捕捉する。四つのカメラ１６を使用することにより、スクリーン１２の前方の空間の三次元マップが構築可能である。このように、一のオブジェクト、例えばユーザの指１８の先端の位置を、ｘ、ｙ、ｚ座標系において決定することができる。このような座標軸は図１及び３に示されている。ｘ軸、ｙ軸、ｚ軸三つすべてに基づく空間情報を、マンマシンインターフェースに使用することができる。   1 and 2 illustrate a computer system 10 that uses two screens 12 side by side, any number of screens 12 can be used. In front of the screen 12, the user's arm 22 is shown schematically. The movement of the arm 22 is captured by four cameras 16 that are located outside the four corners of the screen 12 and are directed toward the center of the screen 12. Thus, these cameras capture the movement of the user's hand 14 as the user's hand 14 moves in front of the screen 12. By using four cameras 16, a three-dimensional map of the space in front of the screen 12 can be constructed. In this way, the position of the tip of one object, for example, the user's finger 18, can be determined in the x, y, z coordinate system. Such coordinate axes are shown in FIGS. Spatial information based on all three of the x-axis, y-axis, and z-axis can be used for the man-machine interface.

図３Ａ〜Ｈは、各カメラ１６の視野２４を合成して、コンピュータシステム１０がオブジェクトの位置決定を行うことができる空間容積を供給する方法を示している。カメラ１６は同一であり、したがって同じ視野２４を有している。図３Ａ及び３Ｅは、単一のカメラ１６のみを示す単一のスクリーン１２の、それぞれ平面図及び正面図である（分かり易く示すため、カメラ１６は図式的に点として示されている）。このように、図は、各カメラ１６により取得された視野２４を明瞭に示している。図３Ｂ及び３Ｆは、同じスクリーン１２のそれぞれ平面図及び正面図であり、ここでは、スクリーン１２の右側に配置された二つのカメラ１６が示されている。図３Ｆは、二つのカメラ１６の視野がどのように合成されるかを示している。図３Ｃ及び３Ｇは、それぞれの四つのカメラ１６すべて及びそれらの視野２４を含むスクリーン１２の平面図及び正面図である。スクリーン１２の前方におけるオブジェクトの位置は、このオブジェクトが少なくとも二つのカメラ１６の視野２４内に捕捉されれば決定できる。このように、オブジェクトの位置は、図３Ｃ及び３Ｇにおける視野２４の重複部分のいずれでも決定することができる。図３Ｄ及び３Ｈは、対象のコア領域２６を示している。このコア領域内で、オブジェクトの位置が決定される。   FIGS. 3A-H illustrate how the fields of view 24 of each camera 16 are combined to provide a spatial volume that allows the computer system 10 to determine the position of the object. The cameras 16 are identical and therefore have the same field of view 24. 3A and 3E are a plan view and a front view, respectively, of a single screen 12 showing only a single camera 16 (camera 16 is shown schematically as a point for clarity). Thus, the figure clearly shows the field of view 24 acquired by each camera 16. 3B and 3F are a plan view and a front view, respectively, of the same screen 12, where two cameras 16 arranged on the right side of the screen 12 are shown. FIG. 3F shows how the fields of view of the two cameras 16 are combined. FIGS. 3C and 3G are plan and front views of the screen 12 including all four cameras 16 and their field of view 24. The position of the object in front of the screen 12 can be determined if this object is captured in the field of view 24 of at least two cameras 16. Thus, the position of the object can be determined at any of the overlapping portions of the field of view 24 in FIGS. 3C and 3G. 3D and 3H show the core region 26 of interest. Within this core area, the position of the object is determined.

図４は、コンピュータシステム１０を更に詳細に示している。コンピュータシステム１０は、そのハブとしてコンピュータ４０を有している。コンピュータ４０は、メインプロセッサ４２などの多くの異なる部品を含むことができ、メモリには、スクリーン１２のような周辺機器のドライバ、及びスクリーン１２のような周辺機器を動作させるカードといったプログラムが格納される。   FIG. 4 shows the computer system 10 in more detail. The computer system 10 has a computer 40 as its hub. The computer 40 can include many different components, such as a main processor 42, and the memory stores programs such as drivers for peripheral devices such as the screen 12 and cards for operating peripheral devices such as the screen 12. The

図示のように、フィードライン４４によって四つのカメラ１６が画像処理プロセッサ４６に連結されている。画像処理プロセッサ４６は、メインプロセッサ４２の一部でもよく、又は別個のプロセッサとして提供されてもよい。いずれにしろ、画像処理プロセッサ４６はカメラ１６から静止画像を受信する。画像処理プロセッサ４６は、共通に利用可能なソフトウェアを使用して画像を処理することで画像の質を向上させる。例えば、画像の質が向上するように、輝度、コントラスト、及び鮮明度を改善することができる。処理された画像はメインプロセッサ４２に渡される。メモリに格納された画像分析ソフトウェアは、メインプロセッサ４２によって読み出されて実行され、処理された画像を分析し、スクリーン１２上でユーザが指し示している位置を決定する。言うまでもなく、このような画像分析ソフトウェアは一般に入手可能である。   As shown, four cameras 16 are connected to an image processor 46 by feed lines 44. The image processor 46 may be part of the main processor 42 or may be provided as a separate processor. In any case, the image processor 46 receives a still image from the camera 16. The image processor 46 improves the quality of the image by processing the image using commonly available software. For example, brightness, contrast, and sharpness can be improved so that image quality is improved. The processed image is passed to the main processor 42. Image analysis software stored in the memory is read and executed by the main processor 42, analyzes the processed image, and determines the position pointed to by the user on the screen 12. Needless to say, such image analysis software is generally available.

メインプロセッサ４２は、スクリーン上でユーザが指し示す位置を決定すると、スクリーン１２上に提示された表示に変更が必要であるかどうかを決定する。必要であるという決定を行うと、メインプロセッサ４２は、スクリーン１２上に表示された情報に必要な変更を生じさせる信号を生成する。このような信号は、スクリーン１２上に供給される実際の信号を供給するスクリーンドライバ／カード４８に渡される。   When the main processor 42 determines the position pointed to by the user on the screen, the main processor 42 determines whether the display presented on the screen 12 needs to be changed. If the determination is made, the main processor 42 generates a signal that causes the necessary changes to the information displayed on the screen 12. Such a signal is passed to a screen driver / card 48 that supplies the actual signal supplied on the screen 12.

図４に示すように、コンピュータ４０は、スクリーン１２からタッチスクリーン入力を受け取る入力手段５０、即ち、ユーザがスクリーン１２をタッチすることによりスクリーン１２上に表示されたアイコンを選択することを可能にする手段を含むことができる。このような機能の付与は、特定の状況で有用でありうる。例えば、重大な選択には、ユーザがそのような選択を確かに望むことを保証するための追加ステップとして、ユーザによるスクリーン１２のタッチを必要とすることができる。例えば、これは、システムを緊急遮断するボタンに使用することができる。このような動作は明らかに極端であり、ユーザがスクリーン１２をタッチするための要件にこれを反映させることができる。したがって、入力手段５０が提供される。   As shown in FIG. 4, the computer 40 is an input means 50 that receives touch screen input from the screen 12, i.e., allows a user to select an icon displayed on the screen 12 by touching the screen 12. Means can be included. Giving such a function may be useful in certain situations. For example, a critical selection may require a touch of the screen 12 by the user as an additional step to ensure that the user definitely wants such a selection. For example, this can be used for a button to emergency shut down the system. Such an operation is clearly extreme and can be reflected in the requirement for the user to touch the screen 12. Accordingly, input means 50 is provided.

上述のように、メインプロセッサ４２は、画像処理プロセッサ４６により供給された処理済の静止画像を取得してこれらの画像を分析することにより、ユーザがスクリーン１２を指し示しているか否かを決定する。これは、従来の画像認識技術のいずれか、例えばスクリーン１２の一つに向かって伸びる人差し指１８を有する手１４に関連する形状を識別するように訓練されたソフトウェアを用いて実行することができる。メインプロセッサ４２は、次いで、スクリーン１２上で指１８が指し示す位置を決定する。メインプロセッサ４２は、一又は複数の手についてこのような決定を行うことができ、複数の手について決定できる方が望ましい。例えば、メインプロセッサ４２は、スクリーンを指し示しているすべての手についてこのような決定を行うことができる。後述の説明では、単一の指１８の一実施例に焦点を当てる。言うまでもなく、本方法は、所望の数の指１８、又はスクリーン１２を指し示していると決定されたすべての指について繰返すことができる。   As described above, the main processor 42 determines whether the user is pointing at the screen 12 by acquiring processed still images supplied by the image processor 46 and analyzing these images. This can be performed using any conventional image recognition technique, eg, software trained to identify the shape associated with the hand 14 having the index finger 18 extending toward one of the screens 12. The main processor 42 then determines the position that the finger 18 points on the screen 12. The main processor 42 can make such a determination for one or a plurality of hands, and preferably it can determine for a plurality of hands. For example, the main processor 42 can make such a determination for all hands pointing to the screen. In the description that follows, an embodiment of a single finger 18 will be focused. Of course, the method can be repeated for the desired number of fingers 18 or all fingers determined to be pointing to the screen 12.

メインプロセッサ４２がスクリーン２上で指１８が指し示している位置を決定する方法は、様々な方法で行うことができる。   The manner in which the main processor 42 determines the position where the finger 18 is pointing on the screen 2 can be performed in various ways.

一実施形態では、メインプロセッサ４２は、人差し指１８の先端の位置を、ｘ、ｙ、ｚ座標系内で特定する。これは、四つのカメラ１６によって捕捉された画像に基づく三角測量により行うことができる。四つで一組の画像に基づいて人差し指１８の先端の位置が特定されたら、次の組の四つの画像を同様に処理し、人差し指１８の先端の次の位置を決定することができる。このようにして、人差し指１８の先端を追跡することができ、時間の経過に伴い前方へと繰返される人差し指１８先端の運動が追跡されて、そのような動きが継続した場合に到達するスクリーン１２上の位置が決定される。   In one embodiment, the main processor 42 identifies the position of the tip of the index finger 18 in the x, y, z coordinate system. This can be done by triangulation based on the images captured by the four cameras 16. Once the position of the tip of the index finger 18 has been identified based on a set of four images, the next set of four images can be processed similarly to determine the next position of the tip of the index finger 18. In this way, the tip of the index finger 18 can be tracked, and the movement of the tip of the index finger 18 repeated forward as time passes is tracked, and the screen 12 reached when such movement continues. Is determined.

別の実施形態では、画像を分析することにより、人差し指１８の延長線、即ち指１８が指し示す方向が決定される。当然ながら、この技術を上述の実施形態と組み合わせることにより、例えば、指１８が指し示す方向へ指１８が動くときを特定することができ、これは、指１８が、スクリーン１２上に表示されるオブジェクトを「押している」と解釈されうる。   In another embodiment, the image is analyzed to determine the extension of the index finger 18, ie, the direction that the finger 18 points. Of course, this technique can be combined with the above-described embodiments to identify, for example, when the finger 18 moves in the direction that the finger 18 points, which means that the finger 18 is an object displayed on the screen 12. Can be interpreted as “pressing”.

図５Ａ〜Ｃは、本発明により提供されるズーム機能の一実施形態を示している。上述のように、四つのカメラ１６に囲まれた単一のスクリーン１２が提供されている。カメラ１６及びスクリーン１２は、上述のように動作するコンピュータシステム１０に連結されて、ジェスチャーに基づくマンマシンインターフェースを提供する。   5A-C illustrate one embodiment of the zoom function provided by the present invention. As described above, a single screen 12 surrounded by four cameras 16 is provided. Camera 16 and screen 12 are coupled to computer system 10 operating as described above to provide a gesture-based man-machine interface.

図５Ａ〜Ｃに示す実施例では、スクリーン１２は地図８０と関連情報とを表示している。スクリーン１２の上部はヘッダ情報８２を有しており、選択可能な四つのボタン８４の列がスクリーン１２の左側に提供されている。ボタン８４には、選択できる情報の新規スクリーンを示すテキスト、又はマップ８０上に表示された情報を変更するための新規スクリーンを示すテキストを記載することができる。マップ８０は、スクリーン１２の大部分を占め、スクリーン１２の右下に向かってずれた位置に配置されている。マップ８０は航空機８８をドットで表わしており、ドットには、現在の飛行方向を示す矢印が付されている。参照番号９０で示すように、航空機８８を特定する情報をドットの横に表示することもできる。マップ８０の下端に沿って提供される一行のボックス９２に、更なる情報が供給される。   In the embodiment shown in FIGS. 5A-C, the screen 12 displays a map 80 and related information. The top of the screen 12 has header information 82 and a row of four selectable buttons 84 is provided on the left side of the screen 12. In the button 84, text indicating a new screen of information that can be selected or text indicating a new screen for changing information displayed on the map 80 can be described. The map 80 occupies most of the screen 12 and is arranged at a position shifted toward the lower right of the screen 12. The map 80 represents the aircraft 88 with dots, and the dots are marked with arrows indicating the current flight direction. As indicated by reference numeral 90, information identifying the aircraft 88 can also be displayed next to the dots. Further information is provided in a row of boxes 92 provided along the bottom edge of the map 80.

ユーザが、マップ８０上で対象の航空機８８にズームインして、例えばマップ８０に示された基礎となる地理情報を詳細に表示させたいと考えているとする。これを行うために、ユーザは、ボタン８４の一つを指し示すことによりズームモードを選択することができ、次いでマップ８０上で対象の航空機８８を指し示すことができる。図５Ｂ及び５Ｃに示すように、これにより、ユーザが指し示す領域が、円９４の中に拡大表示される。円９４は、背景のマップ８０の上に表示される。ズームされた円９４と背景マップ８０との縁は、従来技術に周知であるように、必要に応じて融合させることができる。倍率を調整するためには、人差し指１８をスクリーン１２に近づけるか、又はスクリーン１２から遠ざける、即ちｚ方向に動かすだけでよい。人差し指１８をスクリーンに向かって動かすと、倍率が増大する。   It is assumed that the user wants to zoom in on the target aircraft 88 on the map 80 and display, for example, the basic geographic information shown in the map 80 in detail. To do this, the user can select a zoom mode by pointing to one of the buttons 84 and then pointing to the target aircraft 88 on the map 80. As a result, as shown in FIGS. 5B and 5C, the area indicated by the user is enlarged and displayed in a circle 94. A circle 94 is displayed on the background map 80. The edges of the zoomed circle 94 and the background map 80 can be merged as needed, as is well known in the art. To adjust the magnification, the index finger 18 only needs to be moved closer to the screen 12 or away from the screen 12, i.e. moved in the z direction. When the index finger 18 is moved toward the screen, the magnification increases.

このように、ユーザの指１８のｘ、ｙ位置は、拡大されるマップ８０上の領域を決定するために使用され、指１８のｚ位置は、倍率を決定するために使用される。倍率に応じて、ｚ位置の値を設定することができる。例えば、ユーザの指先１８がスクリーン１２から特定の距離、例えば３０ｃｍ以上離れると、倍率が１に設定される。また、スクリーンからの最小距離、例えば５ｃｍを設定することができ、この距離は、ユーザの指１８がスクリーン１２から５ｃｍ以下の距離になると倍率がそれ以上増大しない最大倍率に対応する。これらの距離の間で倍率をどのように変化させるかは、所望通りに選択することができる。例えば、倍率は、距離により線形に変化させてもよく、指数関数的関係のような他の何らかの関係に従ってもよい。   Thus, the x, y position of the user's finger 18 is used to determine the area on the map 80 to be magnified, and the z position of the finger 18 is used to determine the magnification. The value of the z position can be set according to the magnification. For example, when the user's fingertip 18 is separated from the screen 12 by a specific distance, for example, 30 cm or more, the magnification is set to 1. Further, a minimum distance from the screen, for example, 5 cm, can be set, and this distance corresponds to a maximum magnification at which the magnification does not further increase when the user's finger 18 is at a distance of 5 cm or less from the screen 12. How the magnification is changed between these distances can be selected as desired. For example, the magnification may vary linearly with distance and may follow some other relationship such as an exponential relationship.

図５Ｂ及び５Ｃは、図５Ｂのスタート位置から、ユーザが人差し指１８をスクリーン１２に近づけながら、対象の航空機８８を指し示すことにより、図５Ｃに示すように倍率が増大する状況を示している。ユーザが指１８を横方向に動かしながらスクリーン１２に近づけると、倍率が増大し、且つ拡大領域が指１８の横方向への動きに従って動く。   5B and 5C show a situation in which the magnification increases as shown in FIG. 5C when the user points the target aircraft 88 while the index finger 18 is brought close to the screen 12 from the start position of FIG. 5B. When the user moves the finger 18 laterally and approaches the screen 12, the magnification increases and the enlarged area moves according to the lateral movement of the finger 18.

当業者には明らかであるように、特許請求の範囲において規定される本発明の範囲を逸脱せずに、上記の実施形態に修正を加えることが可能である。   It will be apparent to those skilled in the art that modifications may be made to the embodiments described above without departing from the scope of the invention as defined in the claims.

例えば、スクリーン１２の数は、任意の数に自由に変更することができる。加えて、スクリーン１２の種類を変更することができる。例えば、スクリーン１２は、プラズマスクリーン、ＬＣＤスクリーン、ＯＬＥＤスクリーンなどの平坦なスクリーンとすることができるか、或いはブラウン管や、単に画像が投影される表面とすることができる。複数のスクリーン１２が使用される場合、すべてが共通の種類である必要はない。使用されるカメラ１６の種類も変更可能であるが、ＣＣＤカメラが望ましい。カメラ１６は、可視光を使用して動作することができるが、他の波長で電磁放射を使用することができる。例えば、弱光条件で赤外線カメラを使用することができる。   For example, the number of screens 12 can be freely changed to an arbitrary number. In addition, the type of the screen 12 can be changed. For example, the screen 12 can be a flat screen such as a plasma screen, LCD screen, OLED screen, or can be a cathode ray tube or simply a surface onto which an image is projected. If multiple screens 12 are used, they need not all be of a common type. The type of camera 16 used can also be changed, but a CCD camera is desirable. Camera 16 can operate using visible light, but can use electromagnetic radiation at other wavelengths. For example, an infrared camera can be used in low light conditions.

ソフトウェアは、あらゆるオブジェクトを監視して、スクリーン１２にから選択されたオブジェクトを決定するように訓練することができる。例えば、上述ではユーザの指１８を挙げた。別の構成では、スティック又はワンドのようなポインティングデバイスを使用することができる。   The software can be trained to monitor any object and determine the selected object from the screen 12. For example, in the above description, the user's finger 18 is used. In another configuration, a pointing device such as a stick or wand can be used.

本発明を使用して、ツリー構造に配置されたメニューに極めて効率的にアクセスすることができる。例えば、スクリーン１２上に提示されたボタン又はメニューオプションを指１８で指すことにより、スクリーン１２上に新規情報を表示させることができる。次いで、ユーザはユーザの指１８を動かして、別のボタン又はメニューオプションを指し示し、それによりスクリーン１２上に新規情報を表示させるなどすることができる。したがって、単に指１８を動かしてスクリーン１２の異なる部分を指し示すことにより、ユーザはツリーメニュー構造を極めて迅速にナビゲートすることができる。   Using the present invention, menus arranged in a tree structure can be accessed very efficiently. For example, new information can be displayed on the screen 12 by pointing a button or menu option presented on the screen 12 with the finger 18. The user can then move the user's finger 18 to point to another button or menu option, thereby displaying new information on the screen 12, and so on. Thus, by simply moving the finger 18 to point to different parts of the screen 12, the user can navigate the tree menu structure very quickly.

ユーザの指１８の位置は、例えば指１８の先端を追跡することにより連続的に決定することができる。これにより、指１８の運動速度を決定することができる。次いで、この速度を使用して、スクリーン１２上の情報を制御することができる。例えば、低速運動が、高速の運動とは異なる応答を誘導するように、スクリーン１２に向かう運動の速度を使用することができる。横方向の運動も、異なる速度が異なる結果を生じさせるように使用することができる。例えば、横方向へのゆっくりとした運動により、スクリーン１２上に表示されたオブジェクトをスクリーン内部で動かすことができ、例えば、左から右へのゆっくりとした運動により、オブジェクトを、スクリーン１２の中央の位置から右側へと動かすことができる。これとは異なり、高速運動は、オブジェクトをスクリーン１２から除去することができ、例えば左から右への高速運動により、オブジェクトはスクリーン１２の右端から飛び去ることができる。   The position of the user's finger 18 can be determined continuously, for example, by tracking the tip of the finger 18. Thereby, the movement speed of the finger | toe 18 can be determined. This speed can then be used to control information on the screen 12. For example, the speed of motion toward screen 12 can be used so that slow motion induces a different response than fast motion. Lateral motion can also be used so that different velocities produce different results. For example, a slow lateral movement can cause an object displayed on the screen 12 to move within the screen; for example, a slow movement from left to right causes the object to move in the center of the screen 12. Can move from position to right side. In contrast, fast motion can remove an object from the screen 12, for example, fast left-to-right motion can cause the object to fly off the right edge of the screen 12.

上記のように、メインプロセッサ４２は、ユーザの指１８のような複数のオブジェクトを監視することができる。これにより、複数のオブジェクトを使用してスクリーン１２上の情報を制御することができる。スクリーン上の異なるコントロールと相関させて、新規アイテムを選択し、選択されたアイテムに関する情報の種類を変更するために、一対のオブジェクトを単独で使用することができる。二つのオブジェクトを一緒に使用することができる。スクリーン上に表示された画像は、両手１４を使用して操作することができる。スクリーン１２上に表示されたオブジェクトを回転させることができる。例えば、ユーザは、両手を同じ高さに上げ、各手の人差し指１８で、スクリーン１２上に表示されたオブジェクトの左端と右端を指し示す。左手１４をスクリーン１２の方へ、右手１４をスクリーン１２から離れる方向へ、それぞれ動かすことにより、垂直軸を中心としてオブジェクトを時計回りに回転させることができる。片手１４を他方の手の上方に配置すれば、水平軸を中心にオブジェクトを回転させることができる。指１８の先端同士を結ぶ線に相当する回転軸が画定されうる。   As described above, the main processor 42 can monitor a plurality of objects such as the user's finger 18. Thereby, information on the screen 12 can be controlled using a plurality of objects. A pair of objects can be used alone to correlate with different controls on the screen to select a new item and change the type of information about the selected item. Two objects can be used together. The image displayed on the screen can be manipulated using both hands 14. The object displayed on the screen 12 can be rotated. For example, the user raises both hands to the same height and points the left and right ends of the object displayed on the screen 12 with the index finger 18 of each hand. By moving the left hand 14 toward the screen 12 and the right hand 14 away from the screen 12, the object can be rotated clockwise about the vertical axis. If one hand 14 is placed above the other hand, the object can be rotated about the horizontal axis. A rotation axis corresponding to a line connecting the tips of the fingers 18 can be defined.

１０ コンピュータシステム
１２ スクリーン
１４ ユーザの手
１６ カメラ
１８ ユーザの指
２２ ユーザの腕
２４ カメラの視野
２６ 対象コア領域
４０ コンピュータ
４２ メインプロセッサ
４４ フィードライン
４６ 画像処理プロセッサ
４８ スクリーンドライバ
５０ タッチスクリーン入力
８０ マップ
８２ ヘッダ情報
８４ ボタン
８６ テキスト
８８ 航空機
９０ 航空機を特定する情報
９２ ボックス
９４ 拡大円 DESCRIPTION OF SYMBOLS 10 Computer system 12 Screen 14 User's hand 16 Camera 18 User's finger 22 User's arm 24 Camera view 26 Target core area 40 Computer 42 Main processor 44 Feed line 46 Image processor 48 Screen driver 50 Touch screen input 80 Map 82 Header Information 84 Button 86 Text 88 Aircraft 90 Information identifying the aircraft 92 Box 94 Enlarged circle

Claims (10)

ジェスチャーに基づくマンマシンインターフェースによりコンピュータシステムを使用する方法であって、
コンピュータシステムのスクリーン上に表示される情報を、オブジェクトを用いて指し示すこと、
少なくとも二つのカメラによりスクリーン前方のシーンを捉えること、
カメラが捉えたシーンをプロセッサで分析することにより、オブジェクトを識別し、スクリーン上でオブジェクトが指し示す位置とスクリーンからオブジェクトまでの距離とを決定し、且つオブジェクトが指し示す位置とスクリーンからオブジェクトまでの距離との決定に応答してスクリーン上に表示される情報を修正すること、及び
オブジェクトの運動を追跡することにより、スクリーン上でオブジェクトが指し示している位置を決定すること
を含む方法。 A method of using a computer system with a man-machine interface based on gestures,
Pointing to information displayed on the screen of the computer system using objects;
Capture the scene in front of the screen with at least two cameras,
By analyzing the scene captured by the camera with a processor, the object is identified, the position indicated by the object on the screen and the distance from the screen to the object are determined, and the position indicated by the object and the distance from the screen to the object are determined. Modifying the information displayed on the screen in response to the determination and determining the position the object is pointing on the screen by tracking the movement of the object. オブジェクトの縦方向の延長線を決定することにより、スクリーン上でオブジェクトが指し示す位置を決定することを含む、請求項１に記載の方法。   The method of claim 1, comprising determining a position that the object points on the screen by determining a longitudinal extension of the object. オブジェクトが指し示すスクリーンの部分を、決定されたスクリーンからオブジェクトまでの距離に基づいた倍率でズームすることにより、スクリーン上に表示された情報を修正することを更に含む、請求項１又は２に記載の方法。   The method of claim 1, further comprising modifying the information displayed on the screen by zooming a portion of the screen pointed to by the object at a magnification based on the determined screen-to-object distance. Method. 一定の時間に亘ってスクリーンからオブジェクトまでの距離を決定することと、当該距離に基づいてオブジェクトの運動速度を決定すること、及びスクリーンに向かう又はスクリーンから離れるオブジェクトの運動速度の決定に応答して、スクリーン上に表示される情報を、プロセッサを用いて修正することを含む、請求項１ないし３のいずれか一項に記載の方法。   In response to determining the distance from the screen to the object over a period of time, determining the speed of movement of the object based on the distance, and determining the speed of movement of the object toward or away from the screen A method according to any one of claims 1 to 3, comprising modifying the information displayed on the screen using a processor. オブジェクトの異なる運動速度に応じて、スクリーン上に表示される情報を、プロセッサを用いて様々に修正することを含む、請求項１ないし４のいずれか一項に記載の方法。   5. A method according to any one of the preceding claims, comprising variously modifying information displayed on the screen using a processor in response to different movement speeds of the object. ジェスチャーに基づくマンマシンインターフェースを含むコンピュータシステムであって、
情報を表示するスクリーン、
スクリーン前方のシーンを捉えるように配置された少なくとも二つのカメラ、及び
カメラが供給する画像を受信し、画像を分析してスクリーン上に表示された情報を指し示すオブジェクトを識別し、スクリーン上でオブジェクトが指し示す位置とスクリーンからオブジェクトまでの距離とを決定し、オブジェクトが指し示す位置とスクリーンからオブジェクトまでの距離との決定に応答して、スクリーン上に表示される情報を修正するプロセッサであって、オブジェクトの運動を追跡することによりスクリーン上でオブジェクトが指し示す位置を決定するプロセッサ
を備えるコンピュータシステム。 A computer system including a man-machine interface based on gestures,
Screen to display information,
Receive at least two cameras arranged to capture the scene in front of the screen, and the images supplied by the cameras, analyze the images to identify objects that point to information displayed on the screen, and the objects on the screen A processor that determines a point and a distance from a screen to an object, and modifies information displayed on the screen in response to the determination of a position and a distance from the screen to the object. A computer system comprising a processor that determines a position to which an object points on a screen by tracking movement. プロセッサが、オブジェクトの縦方向の延長線を決定することによりスクリーン上でオブジェクトが指し示す位置を決定する、請求項６に記載のコンピュータシステム。   The computer system of claim 6, wherein the processor determines a position to which the object points on the screen by determining a longitudinal extension of the object. プロセッサが、オブジェクトの運動速度を決定し、運動速度の決定に応答して、スクリーン上に表示された情報を修正する、請求項６又は７に記載のコンピュータシステム。   The computer system according to claim 6 or 7, wherein the processor determines the motion speed of the object and modifies the information displayed on the screen in response to the determination of the motion speed. コンピュータシステムの、ジェスチャーに基づくマンマシンインターフェースであって、
情報を表示するスクリーン、
スクリーン前方のシーンを捉えるように配置された少なくとも二つのカメラ、及び
カメラが供給する画像を受信し、画像を分析してスクリーン上に表示された情報を指し示すオブジェクトを識別し、スクリーン上でオブジェクトが指し示す位置とスクリーンからオブジェクトまでの距離とを決定し、オブジェクトが指し示す位置とスクリーンからオブジェクトまでの距離との決定に応答して、スクリーン上に表示される情報を修正するプロセッサであって、オブジェクトの運動速度を決定し、運動速度の決定に応答してスクリーン上に表示される情報を修正するプロセッサ
を備えるインターフェース。 A man-machine interface based on gestures of a computer system,
Screen to display information,
Receive at least two cameras arranged to capture the scene in front of the screen, and the images supplied by the cameras, analyze the images to identify objects that point to information displayed on the screen, and the objects on the screen A processor that determines a point and a distance from a screen to an object, and modifies information displayed on the screen in response to the determination of a position and a distance from the screen to the object. An interface comprising a processor that determines an exercise speed and modifies information displayed on the screen in response to the determination of the exercise speed. プロセッサが、スクリーン上でオブジェクトが指し示す部分を、決定されたスクリーンからオブジェクトまでの距離に応じた倍率でズームする、請求項９に記載の方法。   The method according to claim 9, wherein the processor zooms a portion indicated by the object on the screen by a magnification according to the determined distance from the screen to the object.
JP2011118571A 2010-06-09 2011-05-27 Man-machine interface based on gestures Active JP5878698B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP10382168.2A EP2395413B1 (en) 2010-06-09 2010-06-09 Gesture-based human machine interface
EP10382168.2 2010-06-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016014772A Division JP2016076275A (en) 2010-06-09 2016-01-28 Man-machine interface based on gesture

Publications (3)

Publication Number Publication Date
JP2011258195A true JP2011258195A (en) 2011-12-22
JP2011258195A5 JP2011258195A5 (en) 2014-05-29
JP5878698B2 JP5878698B2 (en) 2016-03-08

Family

ID=43242748

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011118571A Active JP5878698B2 (en) 2010-06-09 2011-05-27 Man-machine interface based on gestures
JP2016014772A Pending JP2016076275A (en) 2010-06-09 2016-01-28 Man-machine interface based on gesture

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016014772A Pending JP2016076275A (en) 2010-06-09 2016-01-28 Man-machine interface based on gesture

Country Status (3)

Country Link
US (1) US9569010B2 (en)
EP (1) EP2395413B1 (en)
JP (2) JP5878698B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013140582A (en) * 2011-12-30 2013-07-18 Samsung Electronics Co Ltd Electronic apparatus and method of controlling the same
KR20160012825A (en) * 2014-07-25 2016-02-03 엘지전자 주식회사 Electronic Device And Method Of Controlling The Same
WO2019066614A1 (en) * 2017-09-29 2019-04-04 에스케이텔레콤 주식회사 Device and method for controlling touch display, and touch display system
KR20190038498A (en) * 2019-03-19 2019-04-08 에스케이텔레콤 주식회사 Method and apparatus for controlling touch display and touch display system

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2023812B1 (en) 2006-05-19 2016-01-27 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
WO2013032933A2 (en) 2011-08-26 2013-03-07 Kinecticor, Inc. Methods, systems, and devices for intra-scan motion correction
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
GB2500006A (en) * 2012-03-06 2013-09-11 Teknologian Tutkimuskeskus Vtt Oy Optical touch screen using cameras in the frame.
TW201339903A (en) * 2012-03-26 2013-10-01 Hon Hai Prec Ind Co Ltd System and method for remotely controlling AUV
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
SE536989C2 (en) * 2013-01-22 2014-11-25 Crunchfish Ab Improved feedback in a seamless user interface
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN109008972A (en) 2013-02-01 2018-12-18 凯内蒂科尔股份有限公司 The motion tracking system of real-time adaptive motion compensation in biomedical imaging
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US9645652B2 (en) 2013-05-28 2017-05-09 The Boeing Company Ubiquitous natural user system for human-machine interaction
US9395810B2 (en) 2013-05-28 2016-07-19 The Boeing Company Ubiquitous natural user system
CN103399629B (en) * 2013-06-29 2017-09-19 华为技术有限公司 The method and apparatus for obtaining gesture screen display coordinate
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US9430046B2 (en) 2014-01-16 2016-08-30 Denso International America, Inc. Gesture based image capturing system for vehicle
JP6287382B2 (en) * 2014-03-12 2018-03-07 オムロン株式会社 Gesture recognition device and method for controlling gesture recognition device
WO2015148391A1 (en) 2014-03-24 2015-10-01 Thomas Michael Ernst Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US9734589B2 (en) 2014-07-23 2017-08-15 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN204480228U (en) 2014-08-08 2015-07-15 厉动公司 motion sensing and imaging device
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
GB2574886A (en) * 2018-06-22 2019-12-25 Ecole Polytechnique Fed Lausanne Epfl Teleoperation with a wearable sensor system
US11144194B2 (en) * 2019-09-19 2021-10-12 Lixel Inc. Interactive stereoscopic display and interactive sensing method for the same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005322071A (en) * 2004-05-10 2005-11-17 Takenaka Komuten Co Ltd Indication operation recognition device, indication operation recognition method and indication operation recognition program
JP2006293878A (en) * 2005-04-14 2006-10-26 Nippon Telegr & Teleph Corp <Ntt> Image display system, image display method, and image display program
JP2009116583A (en) * 2007-11-06 2009-05-28 Ricoh Co Ltd Input controller and input control method
JP2009151516A (en) * 2007-12-20 2009-07-09 Yaskawa Information Systems Co Ltd Information processor and operator designating point computing program for information processor
JP2009176272A (en) * 2007-09-17 2009-08-06 Honeywell Internatl Inc System for integrating assets information, networks, and automated behaviors

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0744313A (en) * 1993-08-03 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> Pointed information input method
JP3544739B2 (en) * 1994-04-13 2004-07-21 株式会社東芝 Information input device
JPH08328735A (en) * 1995-06-02 1996-12-13 Takenaka Komuten Co Ltd Hand pointing input device
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
GB2374266A (en) * 2001-04-04 2002-10-09 Matsushita Comm Ind Uk Ltd Virtual user interface device
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
CA2523623A1 (en) * 2002-11-29 2004-07-22 Bracco Imaging, S.P.A. Method and system for scaling control in 3d displays
EP1769328A2 (en) * 2004-06-29 2007-04-04 Koninklijke Philips Electronics N.V. Zooming in 3-d touch interaction
JP2008517368A (en) 2004-10-15 2008-05-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3D rendering application system using hands
US20060241864A1 (en) * 2005-04-22 2006-10-26 Outland Research, Llc Method and apparatus for point-and-send data transfer within an ubiquitous computing environment
JP2008210348A (en) * 2007-02-28 2008-09-11 Univ Of Tokyo Image display device
JP4187768B2 (en) 2007-03-20 2008-11-26 株式会社コナミデジタルエンタテインメント Game device, progress control method, and program
EP2227729B1 (en) * 2007-11-29 2022-10-19 Koninklijke Philips N.V. Method of providing a user interface
JP5134409B2 (en) * 2008-03-27 2013-01-30 日本写真印刷株式会社 Presentation system
US20090254855A1 (en) * 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications, Ab Communication terminals with superimposed user interface
US8237666B2 (en) * 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
JP6072401B2 (en) * 2009-03-30 2017-02-01 アバイア インク． A system and method for managing a contact center with a graphical call connection display.
JP2010257037A (en) * 2009-04-22 2010-11-11 Sony Corp Information processing apparatus and method, and program
US20100306670A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Gesture-based document sharing manipulation
US8957918B2 (en) * 2009-11-03 2015-02-17 Qualcomm Incorporated Methods for implementing multi-touch gestures on a single-touch touch surface
US20110151974A1 (en) * 2009-12-18 2011-06-23 Microsoft Corporation Gesture style recognition and reward
US8843358B2 (en) * 2011-02-03 2014-09-23 Echostar Technologies L.L.C. Apparatus, systems and methods for presenting displayed image information of a mobile media device on a large display and control of the mobile media device therefrom

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005322071A (en) * 2004-05-10 2005-11-17 Takenaka Komuten Co Ltd Indication operation recognition device, indication operation recognition method and indication operation recognition program
JP2006293878A (en) * 2005-04-14 2006-10-26 Nippon Telegr & Teleph Corp <Ntt> Image display system, image display method, and image display program
JP2009176272A (en) * 2007-09-17 2009-08-06 Honeywell Internatl Inc System for integrating assets information, networks, and automated behaviors
JP2009116583A (en) * 2007-11-06 2009-05-28 Ricoh Co Ltd Input controller and input control method
JP2009151516A (en) * 2007-12-20 2009-07-09 Yaskawa Information Systems Co Ltd Information processor and operator designating point computing program for information processor

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013140582A (en) * 2011-12-30 2013-07-18 Samsung Electronics Co Ltd Electronic apparatus and method of controlling the same
KR20160012825A (en) * 2014-07-25 2016-02-03 엘지전자 주식회사 Electronic Device And Method Of Controlling The Same
KR102261141B1 (en) * 2014-07-25 2021-06-04 엘지전자 주식회사 Electronic Device And Method Of Controlling The Same
WO2019066614A1 (en) * 2017-09-29 2019-04-04 에스케이텔레콤 주식회사 Device and method for controlling touch display, and touch display system
KR20190037569A (en) * 2017-09-29 2019-04-08 에스케이텔레콤 주식회사 Method and apparatus for controlling touch display and touch display system
KR101969528B1 (en) 2017-09-29 2019-04-16 에스케이텔레콤 주식회사 Method and apparatus for controlling touch display and touch display system
US11086445B2 (en) 2017-09-29 2021-08-10 Sk Telecom Co., Lid. Device and method for controlling touch display, and touch display system
KR20190038498A (en) * 2019-03-19 2019-04-08 에스케이텔레콤 주식회사 Method and apparatus for controlling touch display and touch display system
KR102005501B1 (en) 2019-03-19 2019-07-30 에스케이텔레콤 주식회사 Method and apparatus for controlling touch display and touch display system

Also Published As

Publication number Publication date
US9569010B2 (en) 2017-02-14
CN102279670A (en) 2011-12-14
EP2395413A1 (en) 2011-12-14
JP5878698B2 (en) 2016-03-08
EP2395413B1 (en) 2018-10-03
US20110304650A1 (en) 2011-12-15
JP2016076275A (en) 2016-05-12

Similar Documents

Publication Publication Date Title
JP5878698B2 (en) Man-machine interface based on gestures
US11720181B2 (en) Cursor mode switching
US10761610B2 (en) Vehicle systems and methods for interaction detection
JP5900393B2 (en) Information processing apparatus, operation control method, and program
US7849421B2 (en) Virtual mouse driving apparatus and method using two-handed gestures
EP2480955B1 (en) Remote control of computer devices
US9588613B2 (en) Apparatus and method for controlling motion-based user interface
Hachet et al. Navidget for easy 3d camera positioning from 2d inputs
US20110298708A1 (en) Virtual Touch Interface
US20120274550A1 (en) Gesture mapping for display device
CA2957383A1 (en) System and method for spatial interaction for viewing and manipulating off-screen content
KR20130105725A (en) Computer vision based two hand control of content
JP2006209563A (en) Interface device
US20240053832A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
CN118020044A (en) Method and system for displaying edge interaction in gesture control device
CN102279670B (en) Man machine interface based on gesture
AU2015258317B2 (en) Apparatus and method for controlling motion-based user interface
Carey The Implementation of a Glove-Based User Interface

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160129

R150 Certificate of patent or registration of utility model

Ref document number: 5878698

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250