JP4968922B2 - Device control apparatus and control method - Google Patents

Device control apparatus and control method Download PDF

Info

Publication number
JP4968922B2
JP4968922B2 JP2007161806A JP2007161806A JP4968922B2 JP 4968922 B2 JP4968922 B2 JP 4968922B2 JP 2007161806 A JP2007161806 A JP 2007161806A JP 2007161806 A JP2007161806 A JP 2007161806A JP 4968922 B2 JP4968922 B2 JP 4968922B2
Authority
JP
Japan
Prior art keywords
image
finger
target object
display
operation item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007161806A
Other languages
Japanese (ja)
Other versions
JP2009003576A (en
Inventor
肇 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007161806A priority Critical patent/JP4968922B2/en
Publication of JP2009003576A publication Critical patent/JP2009003576A/en
Application granted granted Critical
Publication of JP4968922B2 publication Critical patent/JP4968922B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • Details Of Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Image Analysis (AREA)

Description

本発明は、機器制御装置及び制御方法に関する。   The present invention relates to a device control apparatus and a control method.

家庭用機器や業務用機器を制御する制御装置として、赤外線を利用したワイヤレスリモートコントローラ（以下リモコンとする）がある。送信側の処理としては、機器制御用のコマンド信号を変調した赤外光信号を送信する。受信側の処理としては、その赤外光信号を受光して復調し、コマンドを実行する。   As a control device for controlling household equipment and business equipment, there is a wireless remote controller (hereinafter referred to as a remote controller) using infrared rays. As processing on the transmission side, an infrared light signal obtained by modulating a command signal for device control is transmitted. As processing on the receiving side, the infrared light signal is received and demodulated, and a command is executed.

しかしながら、このリモコンが、使用したいときに見当たらない等の理由で操作者の手元に無い場合は、機器を制御するコマンドを送信することができない問題があった。また、リモコンは、電池による駆動の場合が多く、電池切れで、電池のストックが無い場合にもコマンドを送信することができない問題があった。   However, there is a problem that a command for controlling the device cannot be transmitted when the remote controller is not at hand for the reason of not being found when it is desired to use it. The remote controller is often driven by a battery, and there is a problem that a command cannot be transmitted even when the battery is exhausted and there is no battery stock.

そこで、リモコンを用いてコマンドを送受信するのと同等の機能を実現する方法として、以下のような提案がなされている。   Therefore, the following proposals have been made as a method for realizing a function equivalent to transmitting / receiving a command using a remote controller.

まず、ディスプレイ装置に、メニューと、カーソルとを表示する。そして、撮像装置では、ユーザーを含む画像を撮像し、動きベクトルを検出する。そして、制御装置では、その動きに対応してカーソルを移動させ、メニューの中のユーザーが所望する選択肢が選択されると、その選択肢に対応して、ディスプレイ装置を制御する（例えば、特許文献１参照）。   First, a menu and a cursor are displayed on the display device. And in an imaging device, the image containing a user is imaged and a motion vector is detected. Then, in the control device, the cursor is moved in accordance with the movement, and when an option desired by the user in the menu is selected, the display device is controlled in accordance with the option (for example, Patent Document 1). reference).

また、撮影手段と、撮影画像の動きや形状を認識する手段とを持つことにより、ユーザーの手等の動作を認識して機器を操作する技術がある（例えば、特許文献２参照）。   In addition, there is a technique for operating a device by recognizing an action of a user's hand or the like by having a photographing means and a means for recognizing the movement and shape of a photographed image (for example, see Patent Document 2).

特開平９−１２８１４１号公報JP-A-9-128141 特開２００１−５９７５号公報JP 2001-5975 A

しかしながら、特許文献１では、ユーザーが操作した動作を動きベクトルのみの検出（動きベクトルが最大のもの）で行なっている。そのため、複数の人が画像に含まれている場合や背景が動いている場合には、ユーザーが意図する動作か否かを判定するのが困難な問題がある。即ち、テレビを複数人で視聴している場合に誤動作が生じやすい問題があった。   However, in Patent Document 1, the operation operated by the user is performed by detecting only the motion vector (the one having the largest motion vector). Therefore, when a plurality of people are included in the image or when the background is moving, there is a problem that it is difficult to determine whether or not the operation is intended by the user. That is, there has been a problem that malfunction is likely to occur when a plurality of people are watching the television.

また、特許文献２では、ユーザー操作への反応が操作結果の実動作のみである。よって、操作途中では、操作が機器に受け入れられているか否か、ユーザーがわかりづらいという問題があった。また、コマンドに係る動作や形状をユーザーが覚える必要があり、使いづらい問題があった。更には、コマンドとなる動作や形状をユーザーが覚えられる数には限りがあるため、コマンドの数が限定されるという問題もあった。   In Patent Document 2, the reaction to the user operation is only the actual operation as the operation result. Therefore, during the operation, there is a problem that it is difficult for the user to know whether the operation is accepted by the device. In addition, there is a problem that it is difficult for the user to learn the operation and shape related to the command. Furthermore, there is a problem in that the number of commands is limited because the number of operations and shapes that become commands can be remembered by the user.

本発明はこのような問題点に鑑みなされたもので、リモコンが手元にない場合や故障等して使用できない場合でも操作性よく対象機器を制御することを目的とする。   The present invention has been made in view of such problems, and an object of the present invention is to control a target device with good operability even when the remote control is not at hand or cannot be used due to failure or the like.

そこで、本発明の機器制御装置は、撮像装置において撮像された画像から対象物体の画像を背景画像として検出する背景画像検出手段と、撮像装置において撮像された画像から前記対象物体に係る指画像を検出する指画像検出手段と、前記対象物体に対する指示動作に係る指示位置を、前記背景画像として検出された対象物体の形状画像と、前記指画像と、の相対位置関係から算出する算出手段と、前記背景画像として検出された対象物体の形状画像を表示装置に表示する形状画像表示手段と、前記表示装置に表示されている物体の形状画像内に操作項目を表示する操作項目表示手段と、前記算出手段において算出された指示位置に前記指画像に係る画像を表示する指示画像表示手段と、前記操作項目表示手段で表示された前記操作項目に対して、所定時間、前記指示画像表示手段で表示された前記指画像に係る画像が滞留したか否かに応じて、対象機器の操作に係る操作項目が選択されたか否かを判定する判定手段と、前記判定手段において操作項目が選択されたと判定された場合、選択された操作項目に係る制御コマンドを前記対象機器に送信するコマンド送信手段と、を有することを特徴とする。 Therefore, the device control apparatus of the present invention includes a background image detection unit that detects an image of the target object as a background image from an image captured by the imaging apparatus, and a finger image related to the target object from the image captured by the imaging apparatus. Finger image detection means for detecting; calculation means for calculating an instruction position related to an instruction operation for the target object from a relative positional relationship between the shape image of the target object detected as the background image and the finger image; Shape image display means for displaying a shape image of the target object detected as the background image on a display device, operation item display means for displaying operation items in the shape image of the object displayed on the display device, Instruction image display means for displaying an image related to the finger image at the indicated position calculated by the calculation means, and the operation items displayed by the operation item display means Te, a predetermined time, depending on whether the image of the displayed the finger image staying in the instruction image display means, determining means for determining whether operation items according to the operation of the target device has been selected And a command transmission unit that transmits a control command related to the selected operation item to the target device when the determination unit determines that the operation item is selected.

また、本発明は、機器制御装置における制御方法であって、撮像装置において撮像された画像から対象物体の画像を背景画像として検出する背景画像検出ステップと、撮像装置において撮像された画像から前記対象物体に係る指画像を検出する指画像検出ステップと、前記対象物体に対する指示動作に係る指示位置を、前記背景画像として検出された対象物体の形状画像と、前記指画像と、の相対位置関係から算出する算出ステップと、前記背景画像として検出された対象物体の形状画像を表示装置に表示する形状画像表示ステップと、前記表示装置に表示されている物体の形状画像内に操作項目を表示する操作項目表示ステップと、前記算出ステップにおいて算出された指示位置に前記指画像に係る画像を表示する指示画像表示ステップと、前記操作項目表示ステップで表示された前記操作項目に対して、所定時間、前記指示画像表示ステップで表示された前記指画像に係る画像が滞留したか否かに応じて、対象機器の操作に係る操作項目が選択されたか否かを判定する判定ステップと、前記判定ステップにおいて操作項目が選択されたと判定された場合、選択された操作項目に係る制御コマンドを前記対象機器に送信するコマンド送信ステップと、を含むことを特徴とする。 The present invention is also a control method in the device control apparatus, the background image detecting step of detecting an image of the target object as a background image from the image captured by the imaging apparatus, and the target from the image captured by the imaging apparatus. A finger image detection step for detecting a finger image related to an object, and an instruction position related to an instruction operation for the target object based on a relative positional relationship between the shape image of the target object detected as the background image and the finger image A calculating step for calculating, a shape image displaying step for displaying a shape image of the target object detected as the background image on a display device, and an operation for displaying an operation item in the shape image of the object displayed on the display device An item display step, and an instruction image display step for displaying an image related to the finger image at the instruction position calculated in the calculation step; To the operation items displayed in the operation item display step, predetermined time, depending on whether the image according to the finger image displayed staying in the instruction image display step, according to the operation of the target device A determination step for determining whether or not an operation item has been selected; and a command transmission step for transmitting a control command related to the selected operation item to the target device when it is determined that the operation item has been selected in the determination step; , Including.

本発明によれば、リモコンが手元にない場合や故障等して使用できない場合でも操作性よく対象機器を制御することができる。   According to the present invention, the target device can be controlled with good operability even when the remote control is not at hand or cannot be used due to failure or the like.

以下、本発明の実施形態について図面に基づいて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜機器制御装置１０１の構成の説明＞
図１は、機器制御装置１０１の構成を説明するための図である。
図１において、撮像装置１、撮像装置３は、ＣＣＤやＣＭＯＳカメラ等で構成される。フレームメモリ２は、撮像装置１で撮像された画像データを保存する。フレームメモリ４は、撮像装置３で撮像された画像データを保存する。制御機器５は、機器制御装置１０１全体を制御するためのマイクロコンピュータ等から構成される。 <Description of Configuration of Device Control Device 101>
FIG. 1 is a diagram for explaining the configuration of the device control apparatus 101.
In FIG. 1, an imaging device 1 and an imaging device 3 are constituted by a CCD, a CMOS camera, or the like. The frame memory 2 stores image data picked up by the image pickup apparatus 1. The frame memory 4 stores image data picked up by the image pickup device 3. The control device 5 is composed of a microcomputer or the like for controlling the entire device control apparatus 101.

距離画像生成器６は、撮像装置１及び撮像装置３で得られた画像（画像データ、又は画像情報）から視差計測（ステレオ視）を用いて距離計測し、距離に応じて領域分割した画像（以下、距離画像という）を得る。   The distance image generator 6 measures the distance from the images (image data or image information) obtained by the imaging device 1 and the imaging device 3 using parallax measurement (stereo vision), and divides the region according to the distance (image ( Hereinafter, a distance image is obtained.

形状認識器７は、画像データから特徴点を抽出し、顔の画像等の人間の部分的な形状認識や、パターン認識による様々な物体の認識を行なう。動き検出器８は、撮像された画像の動きを検出し、動きのある部分を抽出する。モード判定器９は、機器制御装置１０１を有効にするモードか否かを画像データ等から判定する。   The shape recognizer 7 extracts feature points from the image data, and recognizes a partial shape of a human such as a face image and various objects by pattern recognition. The motion detector 8 detects the motion of the captured image and extracts a portion having motion. The mode determiner 9 determines from the image data or the like whether the device control apparatus 101 is in a valid mode.

コマンド生成器１０は、機器制御装置１０１に接続された機器（操作対象機器）に対して送信する制御コマンドを生成する。操作対象機器１１は、機器制御装置１０１に接続され、機器制御装置１０１より制御コマンドを受信し、その制御コマンドに応じて制御を実行可能な機器である。指示位置合成器１２は、形状認識器７で認識された画像データに対して操作者が指示する指示位置に対応する画像を合成する。   The command generator 10 generates a control command to be transmitted to a device (operation target device) connected to the device control apparatus 101. The operation target device 11 is a device that is connected to the device control apparatus 101, receives a control command from the device control apparatus 101, and can execute control according to the control command. The designated position synthesizer 12 synthesizes an image corresponding to the designated position designated by the operator with the image data recognized by the shape recognizer 7.

表示装置１３は、指示位置合成器１２で合成された画像を表示する。なお、距離画像生成器６、形状認識器７、動き検出器８、モード判定器９は、例えば、画像処理を行なうＤＳＰやＦＰＧＡ等のプロセッサで構成される。ここで、ＤＳＰとは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略である。また、ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。   The display device 13 displays the image synthesized by the indicated position synthesizer 12. The distance image generator 6, the shape recognizer 7, the motion detector 8, and the mode determiner 9 are constituted by, for example, a processor such as a DSP or FPGA that performs image processing. Here, DSP is an abbreviation for Digital Signal Processor. FPGA is an abbreviation for Field Programmable Gate Array.

機器制御装置１０１は、操作者が選択した任意の物体を指示領域として、物体に対して指示する動作を撮像装置１、撮像装置３で捉えることにより、対象となる機器（操作対象機器）に制御コマンドを送信することができる。なお、機器制御装置１０１を用いて対象となる機器（操作対象機器）に制御コマンドを送信するモードを便宜上、仮想リモコンモードと呼ぶ。   The device control apparatus 101 controls the target device (operation target device) by using the imaging device 1 and the imaging device 3 to capture an operation instructing the object with an arbitrary object selected by the operator as an instruction area. Commands can be sent. Note that a mode in which a control command is transmitted to a target device (operation target device) using the device control apparatus 101 is referred to as a virtual remote control mode for convenience.

図２は、機器制御装置１０１をテレビ２１に組み込んだ一例を示した図である。図２に示すように撮像装置１、撮像装置３は、テレビ２１の上部に所定距離の間隔をあけて２２、２３のように配置されている。これは、上述したように２つの撮像装置１、撮像装置３による視差画像を利用して距離画像を得るためである。また、テレビ２１に機器制御装置１０１を組み込んだ場合、操作対象機器１１及び表示装置１３もテレビ２１になる。   FIG. 2 is a diagram illustrating an example in which the device control apparatus 101 is incorporated in the television 21. As shown in FIG. 2, the imaging device 1 and the imaging device 3 are arranged like 22 and 23 at a predetermined distance above the television 21. This is because the distance image is obtained using the parallax images obtained by the two imaging devices 1 and 3 as described above. When the device control apparatus 101 is incorporated in the television 21, the operation target device 11 and the display device 13 are also the television 21.

操作者は、仮想リモコンモードを使用する場合は、機器制御装置１０１（又はテレビ２１）に仮想リモコンモードに入るためのトリガとなる動作を行なう必要がある。なお、モードの判定は、上述したようにモード判定器９が行なう。モード判定器９は、仮想リモコンモードに入るトリガを検出する。このトリガとなる入力は、例えば操作者のジェスチャ入力によって行なわれる。ジェスチャの一例として、撮像装置１、撮像装置３に対して、操作者が手を振る等の動作が考えられる。このように、一定以上の動きベクトルの検出を行なった場合、モード判定器９は、仮想リモコンモードに入ると判定する。なお、動きベクトルの検出は、動き検出器８で検出された後、モード判定器９で処理される。   When using the virtual remote control mode, the operator needs to perform an operation that triggers the device control apparatus 101 (or the television 21) to enter the virtual remote control mode. The mode is determined by the mode determiner 9 as described above. The mode determiner 9 detects a trigger for entering the virtual remote control mode. This trigger input is performed, for example, by an operator's gesture input. As an example of the gesture, an operation such as an operator's hand shaking with respect to the imaging device 1 and the imaging device 3 is conceivable. As described above, when the motion vector of a certain level or more is detected, the mode determiner 9 determines to enter the virtual remote control mode. The motion vector is detected by the motion detector 8 and then processed by the mode determiner 9.

また、モード判定器９は、操作者の顔の横（或いは下等）で、顔画像に対して、距離画像生成器６で生成される距離画像が、所定距離範囲内の画像であり、これらの条件の下、物体のエッジが観測された場合には、仮想リモコンモードになるよう動作してもよい。   In addition, the mode determination unit 9 is located next to (or below) the face of the operator, and the distance image generated by the distance image generator 6 with respect to the face image is an image within a predetermined distance range. When the edge of the object is observed under the above conditions, the virtual remote control mode may be set.

つまり、機器制御装置１０１は、顔と所定距離範囲内に所定以上の大きさの物体のエッジを検出した場合には、操作者が仮想リモコンを利用する動作をしたと判断する。そして、機器制御装置１０１は、画面にエッジ検出した対象物体（つまり、背景画像）の形状画像（対象物体形状画像）と、対象機器の操作メニュー（操作項目）とを表示するように動作する。   That is, when the device control apparatus 101 detects an edge of an object having a size greater than or equal to a predetermined distance within a predetermined distance range from the face, the device control apparatus 101 determines that the operator has performed an operation using the virtual remote controller. Then, the device control apparatus 101 operates to display a shape image (target object shape image) of the target object (that is, a background image) whose edge is detected on the screen and an operation menu (operation item) of the target device.

なお、上述したジェスチャ入力以外でも、操作者が意図的に仮想リモコンモードに切り替える動作を機器制御装置１０１側に伝えることができればよく、機器制御装置１０１は、例えば、操作者の音声により、トリガ信号を検出し、モードを切り替えてもよい。   In addition to the gesture input described above, it is only necessary for the operator to be able to inform the device control apparatus 101 of the operation of intentionally switching to the virtual remote control mode. May be detected and the mode may be switched.

仮想リモコンモードに入った場合、上述の撮像装置１、撮像装置３で得られた画像に対して、距離画像が距離画像生成器６で生成される。そして、その距離画像又は、距離画像に変換する前のオリジナルの画像情報について、様々な形状の認識処理が形状認識器７で実行される。   When the virtual remote control mode is entered, a distance image is generated by the distance image generator 6 for the images obtained by the imaging device 1 and the imaging device 3 described above. Then, the shape recognizer 7 executes various shape recognition processes on the distance image or the original image information before being converted into the distance image.

まず、機器制御装置１０１は、検出された画像の中から操作者を特定する必要がある。そして、機器制御装置１０１は、対象となる操作者が所持する物体の形状を認識し、更に操作者がこの物体に対して指示動作をした画像を認識する。機器制御装置１０１で検出された画像の一例を図３に示す。図３は、機器制御装置１０１が検出した画像の一例を示す図である。   First, the device control apparatus 101 needs to specify an operator from the detected image. The device control apparatus 101 recognizes the shape of the object possessed by the target operator, and further recognizes an image in which the operator has performed an instruction operation on the object. An example of an image detected by the device control apparatus 101 is shown in FIG. FIG. 3 is a diagram illustrating an example of an image detected by the device control apparatus 101.

なお、操作者は、操作対象機器１１と一体又は別体の表示装置１３に表示される前述の物体の形状（対象物体形状画像）と、操作対象機器の操作メニューと、更には、指示位置に係る指画像（又は指画像に係る画像）と、を見ながら指示動作を行なう。つまり、機器制御装置１０１は、指示位置が操作者に分かるように表示を行なう。図４は、表示装置１３に表示される画像の一例を示す図である。   It should be noted that the operator can display the object shape (target object shape image) displayed on the display device 13 that is integral with or separate from the operation target device 11, the operation menu of the operation target device, and the designated position. An instruction operation is performed while viewing the finger image (or an image related to the finger image). That is, the device control apparatus 101 performs display so that the operator can recognize the designated position. FIG. 4 is a diagram illustrating an example of an image displayed on the display device 13.

＜操作者の特定に関する説明＞
機器制御装置１０１は、撮像装置１、撮像装置３で得られた画像情報から、操作者を特定する。より具体的に説明すると、機器制御装置１０１は、画像内から顔画像を抽出して画像内の人間の概略の位置を特定し、操作者を認識（特定）する。機器制御装置１０１は、顔の輪郭、目、鼻、口、耳等の距離間隔、肌の色情報等を取得し、人間の顔と認識する（図３の３２）。 <Explanation regarding operator identification>
The device control apparatus 101 identifies an operator from the image information obtained by the imaging apparatus 1 and the imaging apparatus 3. More specifically, the device control apparatus 101 extracts a face image from the image, specifies the approximate position of the person in the image, and recognizes (identifies) the operator. The device control apparatus 101 acquires the contour of the face, the distance between eyes, nose, mouth, ears, etc., skin color information, etc., and recognizes it as a human face (32 in FIG. 3).

なお、操作者を特定する精度を向上させる手法として、操作者は画面の方を向いていると考えられるので、撮像装置１、撮像装置３の近傍に近赤外線を発光可能な装置を配置（不図示）してもよい。そして、機器制御装置１０１は、瞳孔の反射を利用して、画像内の顔の位置を特定してもよい。機器制御装置１０１は、このようにして、人物を検知することによって、人間以外の動く物体の排除を行うことができる。なお、画像内に複数の人が存在する場合には、機器制御装置１０１は、先に検出したトリガ情報を用いて、動きベクトル領域の大きな画像領域に近い人間を操作者と特定する。   As a technique for improving the accuracy of specifying the operator, it is considered that the operator is facing the screen. Therefore, a device capable of emitting near-infrared light is disposed in the vicinity of the imaging device 1 and the imaging device 3. (Shown). And the apparatus control apparatus 101 may specify the position of the face in an image using reflection of a pupil. In this way, the device control apparatus 101 can eliminate moving objects other than humans by detecting a person. If there are a plurality of people in the image, the device control apparatus 101 uses the previously detected trigger information to identify a person close to the image area having a large motion vector area as the operator.

＜指示領域（背景画像）の切り出しに関する説明＞
操作者は任意の物体を対象物体と決定して、撮像装置１、撮像装置３に向けてその旨の動作行為をする。すると、機器制御装置１０１は、画像内から対象物体の画像を背景画像（図３の３４）として検出する処理を実行する。機器制御装置１０１は、この処理を、距離画像における顔画像に近接した領域における形状のエッジ（輪郭又は線成分）を検出することによって行う。なお、機器制御装置１０１は、顔画像から所定距離が離れているエッジ（図３の３３）は無視する。 <Explanation about cutting out designated area (background image)>
The operator determines an arbitrary object as a target object, and performs an operation action to that effect toward the imaging device 1 and the imaging device 3. Then, the device control apparatus 101 executes processing for detecting the image of the target object from the image as a background image (34 in FIG. 3). The device control apparatus 101 performs this process by detecting an edge (contour or line component) of a shape in a region close to the face image in the distance image. The device control apparatus 101 ignores an edge (33 in FIG. 3) that is a predetermined distance away from the face image.

ここで、機器制御装置１０１は、画像の不連続部分をエッジとして抽出し、このエッジを境界線として画像をいくつかの連続領域に分割する。つまり、機器制御装置１０１は、画像情報の輝度の変化点を抽出することにより対象物のエッジを検出する。より具体的な手法としては、２次微分処理、ハフ変換等がある。   Here, the device control apparatus 101 extracts a discontinuous portion of the image as an edge, and divides the image into several continuous regions using the edge as a boundary line. That is, the device control apparatus 101 detects the edge of the target object by extracting the luminance change point of the image information. More specific methods include secondary differential processing and Hough transform.

つまり、上述したように、機器制御装置１０１は、操作者が任意に対象物体して選択した物体を一旦認識すると、認識対象物体を１つの塊として（背景画像の形状画像として）切り出す処理を実行する。機器制御装置１０１は、この認識対象物体を１つの塊として切り出す領域の特定に、領域の形状特徴情報と、領域内部の画像統計的特徴情報とを用いる。形状特徴情報は、幾何学的特徴（対象となる画像の距離、面積、重心、中心等）である。統計的特徴情報は、画像の輝度分布のパラメータ（平均輝度、分散値等）、カラー等である。   In other words, as described above, the device control apparatus 101, once recognizing an object arbitrarily selected by the operator as a target object, performs a process of cutting out the recognition target object as one lump (as a shape image of the background image). To do. The device control apparatus 101 uses the shape feature information of the region and the image statistical feature information inside the region to specify the region where the recognition target object is cut out as one lump. The shape feature information is a geometric feature (distance, area, center of gravity, center, etc. of a target image). The statistical feature information includes image brightness distribution parameters (average brightness, variance, etc.), color, and the like.

機器制御装置１０１は、対象物体（認識対象物体）の画像（形状画像）を、仮想リモコンモードの間はパターンマッチングの標準パターンとして例えば装置内のフレームメモリ等に保存する。そして、機器制御装置１０１は、撮像装置１のフレーム、撮像装置３のフレームごとに標準パターンと比較する。このことによって、機器制御装置１０１は、対象物体か否かの判定を行ない、仮想リモコンモードの間は、対象物体の追跡処理を行なう。   The device control apparatus 101 stores an image (shape image) of a target object (recognition target object) as a standard pattern for pattern matching in the virtual remote control mode, for example, in a frame memory in the apparatus. The device control apparatus 101 compares the frame of the imaging apparatus 1 and the frame of the imaging apparatus 3 with the standard pattern. As a result, the device control apparatus 101 determines whether or not it is a target object, and performs tracking processing of the target object during the virtual remote control mode.

ここで、対象物体は、操作者の動きによっては、傾きや回転が生ずる場合がある。しかしながら、機器制御装置１０１は、標準パターンとして登録する際に所定のフレーム数の間で面積が最大となるエッジ領域を検出して、この背景画像の形状画像を標準パターンとして登録する。このことにより、機器制御装置１０１は、入力時の画像に対して、対象となる領域を回転等の補正をしてパターンマッチングを行なうことができる。よって、機器制御装置１０１は、対象物体（認識対象物体）の追跡処理を継続することができる。   Here, the target object may be tilted or rotated depending on the movement of the operator. However, when registering as a standard pattern, the device control apparatus 101 detects an edge region having the maximum area between a predetermined number of frames, and registers the shape image of the background image as a standard pattern. Thereby, the device control apparatus 101 can perform pattern matching on the input image by correcting, for example, rotating the target region. Therefore, the device control apparatus 101 can continue the tracking process of the target object (recognition target object).

なお、複雑な模様の対象物体等の場合には、エッジが多数検出されてしまう場合があるが、この場合、機器制御装置１０１は、距離画像による所定距離範囲内のものについて外側の境界を対象物体の形状の画像として検出するようにすればよい。   In the case of a target object having a complicated pattern, a large number of edges may be detected. In this case, the device control apparatus 101 targets the outer boundary of the object within the predetermined distance range by the distance image. What is necessary is just to make it detect as an image of the shape of an object.

＜背景画像における指の認識に関する説明＞
次に、機器制御装置１０１は、対象物体のエッジ検出で検出した領域内の画像（背景画像）中の「指」（図３の３５）の位置を操作者の指示位置として認識する処理を実行する。機器制御装置１０１は、背景画像に対する指示位置を、背景画像に係る形状画像の頂点（基準点）に対する座標として算出する。
つまり、機器制御装置１０１は、対象物体に対する指示動作に係る指示位置を、対象物体の形状画像（より具体的には左上の頂点（基準点５２））と、指の画像（指画像）（より具体的には５３の位置）と、の相対的位置関係から算出する。なお、機器制御装置１０１は、予めデータベースとして幾つかのパターンの手の画像を取り込んでおくことによって、このパターンとのパターンマッチングで更に手（又は指）の認識の速度や精度等を向上させることができる。 <Explanation about finger recognition in background image>
Next, the device control apparatus 101 executes processing for recognizing the position of the “finger” (35 in FIG. 3) in the image (background image) within the region detected by the edge detection of the target object as the operator's designated position. To do. The device control apparatus 101 calculates the designated position with respect to the background image as coordinates with respect to the vertex (reference point) of the shape image related to the background image.
In other words, the device control apparatus 101 determines the indication position related to the indication operation for the target object from the shape image of the target object (more specifically, the top left vertex (reference point 52)) and the finger image (finger image) (from Specifically, it is calculated from the relative positional relationship between the position 53). Note that the device control apparatus 101 captures several patterns of hand images as a database in advance, thereby further improving the speed and accuracy of hand (or finger) recognition by pattern matching with this pattern. Can do.

＜操作メニューの画面表示に関する説明＞
指示位置合成器１２は、対象物体のエッジ画像（形状画像）と、操作対象機器の操作メニューと、指示位置に係る指画像と、を合成し、合成した画像を表示装置１３に出力する。なお、図４には、背景画像の形状画像と、操作メニュー（ボタン類）とが表示されている一例が示されている。 <Explanation on screen display of operation menu>
The designated position synthesizer 12 synthesizes the edge image (shape image) of the target object, the operation menu of the operation target device, and the finger image related to the designated position, and outputs the synthesized image to the display device 13. FIG. 4 shows an example in which the shape image of the background image and the operation menu (buttons) are displayed.

なお、対象物体の背景画像は、操作者が実際は動かしているが、画面に表示される形状画像は固定である。また、この形状画像の表示装置１３における表示は、操作者から見て鏡に写る向きと同じ向きに表示される。また、操作メニューのボタンの色は操作者に対して２段階（指示操作と、ボタンを押す操作と）で指示位置に対応してフィードバックされる（図４参照）（指示画像表示）。   The background image of the target object is actually moved by the operator, but the shape image displayed on the screen is fixed. Further, the display of the shape image on the display device 13 is displayed in the same direction as the direction seen in the mirror as viewed from the operator. The color of the button on the operation menu is fed back to the operator in two stages (instructing operation and button pressing operation) corresponding to the instructed position (see FIG. 4) (indicating image display).

なお、形状画像内において一定時間以上の間、所定範囲内に指示位置が滞留した場合、機器制御装置１０１は、該当するメニュー（操作メニュー、又は操作メニューに応じた処理）を実行するよう動作する。   Note that if the designated position stays within a predetermined range in the shape image for a certain time or longer, the device control apparatus 101 operates to execute the corresponding menu (operation menu or processing according to the operation menu). .

また、形状画像内において一定時間以上の間、指画像が検出されない、即ち指示操作が行なわれない場合、機器制御装置１０１は、操作者が指示操作を終了したと判断して、表示装置１３における操作メニューの表示を終了する。   If the finger image is not detected for a certain time or longer in the shape image, that is, if the instruction operation is not performed, the device control apparatus 101 determines that the operator has finished the instruction operation, and the display device 13 Exit the operation menu display.

なお、機器制御装置１０１は、操作メニューの表示において、メニューボタンの配列として、形状画像に対応して配置を変更したり、拡大や縮小表示を行なったりしてもよい。また、操作メニューの表示位置は、図４では、表示装置１３の画面内で右下としたが、画面内のどこに表示してもよい。また、機器制御装置１０１は、操作者の動作に応じて操作メニューの表示位置を変更するようにしてもよい。また、機器制御装置１０１は、操作メニューに透過する形で指画像を表示してもよい。なお、背景画像が、操作メニューを表示する大きさとしては、小さすぎる場合や、背景画像を選択できない場合、機器制御装置１０１は、その旨を操作者に知らせるメッセージを表示装置１３に出力するようにしてもよい。   Note that the device control apparatus 101 may change the arrangement corresponding to the shape image or perform enlargement or reduction display as the arrangement of the menu buttons in the display of the operation menu. Further, although the display position of the operation menu is the lower right in the screen of the display device 13 in FIG. 4, it may be displayed anywhere in the screen. Further, the device control apparatus 101 may change the display position of the operation menu according to the operation of the operator. Further, the device control apparatus 101 may display the finger image in a manner that is transparent to the operation menu. When the background image is too small to display the operation menu or when the background image cannot be selected, the device control apparatus 101 outputs a message to the operator to that effect to the display device 13. It may be.

以上の動作は、機器制御装置１０１の制御機器５で制御され、各ブロックで処理が実行される。この制御機器５の動作を図６のフローチャートを用いて説明する。   The above operation is controlled by the control device 5 of the device control apparatus 101, and processing is executed in each block. The operation of the control device 5 will be described with reference to the flowchart of FIG.

図６は、制御機器５の動作の一例を説明するためのフローチャートである。
ステップＳ１０２において、制御機器５は、仮想リモコンモードに入るトリガの検出を行なう。このトリガ検出は上述したように、例えば、操作者のジェスチャを動き検出器８で検出処理することによって判断される。 FIG. 6 is a flowchart for explaining an example of the operation of the control device 5.
In step S102, the control device 5 detects a trigger for entering the virtual remote control mode. As described above, this trigger detection is determined by, for example, detecting the operator's gesture with the motion detector 8.

そして、ステップＳ１０３において、制御機器５は、トリガを検出したか否かの判断処理を実行する。トリガが検出された場合は、ステップＳ１０４に進み、制御機器５は、検出された画像情報から顔画像を認識する等して人間を選択する動作を行なう。一方、トリガが検出されない場合には、ステップＳ１０２に進み、制御機器５は、再びトリガの検出を行なう。   In step S <b> 103, the control device 5 performs a process for determining whether or not a trigger is detected. When the trigger is detected, the process proceeds to step S104, and the control device 5 performs an operation of selecting a human by recognizing a face image from the detected image information. On the other hand, when the trigger is not detected, the process proceeds to step S102, and the control device 5 detects the trigger again.

ステップＳ１０５において、制御機器５は、画像から顔認識及び形状認識を実行し、画像の顔の位置に近接する物体のエッジ情報を検出する。続いて、ステップＳ１０６において、制御機器５は、形状認識したエッジ情報から背景画像の選択（背景画像検出）を行ない、例えば数フレームにおいて面積が最大となる背景画像の形状画像を標準パターンとして決定する。   In step S105, the control device 5 executes face recognition and shape recognition from the image, and detects edge information of an object close to the face position of the image. Subsequently, in step S106, the control device 5 selects a background image (background image detection) based on the shape-recognized edge information, and determines, for example, the shape image of the background image having the maximum area in several frames as a standard pattern. .

ステップＳ１０７において、制御機器５は、画像内に存在する人間が１人か否かを、顔認識結果等に基づき判定する。そして、複数の候補が存在すると判定した場合には、ステップＳ１０８に進み、制御機器５は、複数の候補から１人を選択する処理を実行する。制御機器５は、例えば距離画像において、動きベクトルの最大の人を選択する。   In step S107, the control device 5 determines whether one person exists in the image based on the face recognition result or the like. And when it determines with a some candidate existing, it progresses to step S108 and the control apparatus 5 performs the process which selects one person from a some candidate. For example, the control device 5 selects the person with the largest motion vector in the distance image.

ステップＳ１０９では、制御機器５は、ステップＳ１０６で選択した背景画像、即ち形状認識した対象物体の形状画像（エッジ情報の画像）を表示装置１３に出力する（形状画像表示）。そして、ステップＳ１１０において、制御機器５は、対象物体の形状画像（対象物体形状画像）に操作の対象となる機器の操作メニューを表示する（操作メニュー表示、又は操作項目表示）。   In step S109, the control device 5 outputs the background image selected in step S106, that is, the shape image (edge information image) of the target object whose shape has been recognized, to the display device 13 (shape image display). In step S110, the control device 5 displays the operation menu of the device to be operated on the shape image of the target object (target object shape image) (operation menu display or operation item display).

次にステップＳ１１１において、制御機器５は、ステップＳ１０６で決定された背景画像の標準パターンに係る追跡処理を実行する。そしてステップＳ１１２において、制御機器５は、背景画像と、標準パターンとの形状や輝度分布等の相関をとり、相関があると判断した場合には、ステップＳ１１４に進む。制御機器５は、相関がないと判断した場合には、ステップＳ１１３に進み、仮想リモコンモードを継続するか否かの判断を実行する。ここで、制御機器５は、予め決められた回数のフレーム数の間は、仮想リモコンモードを継続すると判断し、ステップＳ１１１に進み、背景画像の追跡処理が実行するが、それ以降は、仮想リモコンモードを終了すると判断し、ステップＳ１１７に進む。   In step S111, the control device 5 executes a tracking process related to the standard pattern of the background image determined in step S106. In step S112, if the control device 5 correlates the shape and luminance distribution of the background image with the standard pattern and determines that there is a correlation, the control device 5 proceeds to step S114. When determining that there is no correlation, the control device 5 proceeds to step S113 and determines whether or not to continue the virtual remote control mode. Here, the control device 5 determines to continue the virtual remote control mode for a predetermined number of frames, and proceeds to step S111 to execute the background image tracking process. It is determined that the mode is to end, and the process proceeds to step S117.

次に、ステップＳ１１４において、制御機器５は、撮像装置１、撮像装置３で撮像された画像を検証し、指画像を認識する処理を実行する（指画像検出）。そして、ステップＳ１１５において、制御機器５は、対象物体の画像（背景画像）中に指画像が検出されたか否かの判断処理を実行する。指画像が検出されたと判断した場合には、制御機器５は、ステップＳ１１８に進む。一方、指画像が検出されないと判断した場合には、制御機器５は、ステップＳ１１６に進み、仮想リモコンモードを継続するか否かの判断処理を実行する。この判断処理は、ステップＳ１１３における判断処理と同様である。   Next, in step S114, the control device 5 verifies the images captured by the imaging device 1 and the imaging device 3, and executes a process of recognizing the finger image (finger image detection). In step S115, the control device 5 performs a determination process as to whether or not a finger image has been detected in the target object image (background image). If it is determined that a finger image has been detected, the control device 5 proceeds to step S118. On the other hand, when determining that the finger image is not detected, the control device 5 proceeds to step S116 and executes a determination process as to whether or not to continue the virtual remote control mode. This determination process is the same as the determination process in step S113.

続いて、ステップＳ１１８において、制御機器５は、指画像の位置（指示位置）を算出する。制御機器５は、上述したように、対象物体に対する指示動作に係る指示位置を、対象物体の形状画像と、指の画像（指画像）と、の相対的位置関係から算出する。なお、制御機器５は、背景画像を標準パターンに対して正規化し、背景差分法を用いて手を認識し、更に形状認識により指の位置を認識する。指の先端、即ち指示位置の算出処理を終えると、次にステップＳ１１９において、制御機器５は、対象物体形状画像と、操作メニューの画像と、ステップＳ１１８で計算した指示位置の画像（又は指画像）と、を合成させ、表示装置１３に表示させる。   Subsequently, in step S118, the control device 5 calculates the position (instructed position) of the finger image. As described above, the control device 5 calculates the instruction position related to the instruction operation for the target object from the relative positional relationship between the shape image of the target object and the finger image (finger image). The control device 5 normalizes the background image with respect to the standard pattern, recognizes the hand using the background difference method, and further recognizes the position of the finger by shape recognition. When the calculation process of the tip of the finger, that is, the designated position is finished, in step S119, the control device 5 next displays the target object shape image, the operation menu image, and the designated position image (or finger image calculated in step S118). ) And are displayed on the display device 13.

ステップＳ１２０において、制御機器５は、操作者が操作メニューの選択動作をしたか検出する処理を実行する。制御機器５は、表示されている操作メニューのボタンに対して所定時間、指示位置（指画像）が滞留したか否かで判断する。   In step S120, the control device 5 executes processing for detecting whether the operator has performed an operation menu selection operation. The control device 5 determines whether or not the indicated position (finger image) stays for a predetermined time with respect to the displayed operation menu button.

ステップＳ１２１において、制御機器５は、操作メニュー決定処理が実行されたか否かの判断処理を実行する。操作メニューが決定されたと判断した場合には、制御機器５は、ステップＳ１２２に進む。一方、操作メニューが決定されないと判断した場合には、制御機器５は、ステップＳ１１６に進み、リモコンモードを継続するか否かの判断処理を実行する。   In step S121, the control device 5 executes a determination process as to whether or not an operation menu determination process has been executed. When determining that the operation menu has been determined, the control device 5 proceeds to step S122. On the other hand, when determining that the operation menu is not determined, the control device 5 proceeds to step S116 and executes a determination process as to whether or not to continue the remote control mode.

ステップＳ１２２において、制御機器５は、選択された操作メニューに係るコマンドを送信する処理を実行する（コマンド送信）。そして、ステップＳ１１０に進み、制御機器５は、仮想リモコンモードを継続する間は、ステップＳ１１０以降の処理を繰り返す。   In step S122, the control device 5 executes processing for transmitting a command related to the selected operation menu (command transmission). And it progresses to step S110 and the control apparatus 5 repeats the process after step S110, while continuing virtual remote control mode.

以上のように、本実施形態によれば、操作者が任意の物体に対して指示する動作の画像を認識し、機器のリモコンとして使用することができる。また、物体の形状画像と、指示動作に係る指示動作画像（指画像）と、の相対位置関係から物体に対する指示動作に係る指示位置を算出するため、認識率が向上する。また、更に、形状画像の画面表示により、ユーザーインターフェースが向上する。そのため操作性良く機器を制御することができる。   As described above, according to the present embodiment, an image of an operation instructed by an operator on an arbitrary object can be recognized and used as a device remote control. In addition, since the instruction position related to the instruction operation for the object is calculated from the relative positional relationship between the shape image of the object and the instruction operation image (finger image) related to the instruction operation, the recognition rate is improved. Further, the user interface is improved by displaying the shape image on the screen. Therefore, the device can be controlled with good operability.

つまり、リモコンが手元にない場合や故障等して使用できない場合でも操作性よく対象機器を制御することができる。   That is, the target device can be controlled with good operability even when the remote control is not at hand or cannot be used due to failure or the like.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。   The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the present invention described in the claims.・ Change is possible.

機器制御装置１０１の構成を説明するための図である。FIG. 3 is a diagram for explaining a configuration of a device control apparatus 101. 機器制御装置１０１をテレビ２１に組み込んだ一例を示した図である。FIG. 2 is a diagram illustrating an example in which a device control apparatus 101 is incorporated in a television 21. 機器制御装置１０１が検出した画像の一例を示す図である。It is a figure which shows an example of the image which the apparatus control apparatus 101 detected. 表示装置１３に表示される画像の一例を示す図である。6 is a diagram illustrating an example of an image displayed on the display device 13. FIG. 指示位置の算出を説明するための図である。It is a figure for demonstrating calculation of an instruction | indication position. 制御機器５の動作の一例を説明するためのフローチャートである。5 is a flowchart for explaining an example of the operation of the control device 5.

符号の説明Explanation of symbols

５ 制御機器
１１ 操作対象機器
１３ 表示装置
１０１ 機器制御装置 5 control device 11 operation target device 13 display device 101 device control device

Claims (4)

撮像装置において撮像された画像から対象物体の画像を背景画像として検出する背景画像検出手段と、
撮像装置において撮像された画像から前記対象物体に係る指画像を検出する指画像検出手段と、
前記対象物体に対する指示動作に係る指示位置を、前記背景画像として検出された対象物体の形状画像と、前記指画像と、の相対位置関係から算出する算出手段と、
前記背景画像として検出された対象物体の形状画像を表示装置に表示する形状画像表示手段と、
前記表示装置に表示されている物体の形状画像内に操作項目を表示する操作項目表示手段と、
前記算出手段において算出された指示位置に前記指画像に係る画像を表示する指示画像表示手段と、
前記操作項目表示手段で表示された前記操作項目に対して、所定時間、前記指示画像表示手段で表示された前記指画像に係る画像が滞留したか否かに応じて、対象機器の操作に係る操作項目が選択されたか否かを判定する判定手段と、
前記判定手段において操作項目が選択されたと判定された場合、選択された操作項目に係る制御コマンドを前記対象機器に送信するコマンド送信手段と、
を有することを特徴とする機器制御装置。 Background image detection means for detecting an image of a target object as a background image from an image captured by the imaging device;
Finger image detection means for detecting a finger image related to the target object from an image captured by the imaging device;
Calculating means for calculating an instruction position related to an instruction operation on the target object from a relative positional relationship between a shape image of the target object detected as the background image and the finger image;
Shape image display means for displaying a shape image of the target object detected as the background image on a display device;
Operation item display means for displaying operation items in the shape image of the object displayed on the display device;
Instruction image display means for displaying an image related to the finger image at the indicated position calculated by the calculation means;
Depending on whether or not the image related to the finger image displayed on the instruction image display means stays for a predetermined time with respect to the operation item displayed on the operation item display means. Determining means for determining whether an operation item has been selected;
If it is determined that the operation item is selected by the determination unit, a command transmission unit that transmits a control command related to the selected operation item to the target device;
A device control apparatus comprising: 前記撮像装置において撮像された画像から、前記撮像装置からの距離に対応して領域分割した画像を生成する距離画像生成手段を更に有し、
前記背景画像検出手段は、前記距離画像生成手段において生成された画像を用いて背景画像を検出する処理を行い、
前記指画像検出手段は、前記距離画像生成手段において生成された画像を用いて指画像を検出する処理を行うことを特徴とする請求項１に記載の機器制御装置。 A distance image generating means for generating an image obtained by dividing an area corresponding to the distance from the imaging device from an image captured by the imaging device;
The background image detection means performs a process of detecting a background image using the image generated by the distance image generation means,
The device control apparatus according to claim 1, wherein the finger image detection unit performs a process of detecting a finger image using the image generated by the distance image generation unit . 機器制御装置における制御方法であって、A control method in a device control device,
撮像装置において撮像された画像から対象物体の画像を背景画像として検出する背景画像検出ステップと、  A background image detection step of detecting an image of the target object as a background image from an image captured by the imaging device;
撮像装置において撮像された画像から前記対象物体に係る指画像を検出する指画像検出ステップと、  A finger image detection step of detecting a finger image related to the target object from an image captured by the imaging device;
前記対象物体に対する指示動作に係る指示位置を、前記背景画像として検出された対象物体の形状画像と、前記指画像と、の相対位置関係から算出する算出ステップと、  A calculation step of calculating an instruction position related to an instruction operation on the target object from a relative positional relationship between the shape image of the target object detected as the background image and the finger image;
前記背景画像として検出された対象物体の形状画像を表示装置に表示する形状画像表示ステップと、  A shape image display step of displaying a shape image of the target object detected as the background image on a display device;
前記表示装置に表示されている物体の形状画像内に操作項目を表示する操作項目表示ステップと、  An operation item display step for displaying an operation item in the shape image of the object displayed on the display device;
前記算出ステップにおいて算出された指示位置に前記指画像に係る画像を表示する指示画像表示ステップと、  An instruction image display step of displaying an image related to the finger image at the instruction position calculated in the calculation step;
前記操作項目表示ステップで表示された前記操作項目に対して、所定時間、前記指示画像表示ステップで表示された前記指画像に係る画像が滞留したか否かに応じて、対象機器の操作に係る操作項目が選択されたか否かを判定する判定ステップと、  Depending on whether or not the image related to the finger image displayed in the instruction image display step stays for a predetermined time with respect to the operation item displayed in the operation item display step, A determination step for determining whether or not an operation item has been selected;
前記判定ステップにおいて操作項目が選択されたと判定された場合、選択された操作項目に係る制御コマンドを前記対象機器に送信するコマンド送信ステップと、  If it is determined that the operation item is selected in the determination step, a command transmission step of transmitting a control command related to the selected operation item to the target device;
を含むことを特徴とする制御方法。The control method characterized by including. 前記撮像装置において撮像された画像から、前記撮像装置からの距離に対応して領域分割した画像を生成する距離画像生成ステップを更に含み、A distance image generating step of generating an image obtained by dividing an area corresponding to the distance from the imaging device from an image captured by the imaging device;
前記背景画像検出ステップでは、前記距離画像生成ステップにおいて生成された画像を用いて背景画像を検出する処理を行い、  In the background image detection step, a process of detecting a background image using the image generated in the distance image generation step is performed.
前記指画像検出ステップでは、前記距離画像生成ステップにおいて生成された画像を用いて指画像を検出する処理を行うことを特徴とする請求項３に記載の制御方法。  The control method according to claim 3, wherein in the finger image detection step, processing for detecting a finger image is performed using the image generated in the distance image generation step.
JP2007161806A 2007-06-19 2007-06-19 Device control apparatus and control method Expired - Fee Related JP4968922B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007161806A JP4968922B2 (en) 2007-06-19 2007-06-19 Device control apparatus and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007161806A JP4968922B2 (en) 2007-06-19 2007-06-19 Device control apparatus and control method

Publications (2)

Publication Number Publication Date
JP2009003576A JP2009003576A (en) 2009-01-08
JP4968922B2 true JP4968922B2 (en) 2012-07-04

Family

ID=40319920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007161806A Expired - Fee Related JP4968922B2 (en) 2007-06-19 2007-06-19 Device control apparatus and control method

Country Status (1)

Country Link
JP (1) JP4968922B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010154405A (en) * 2008-12-26 2010-07-08 Toshiba Corp Video image reproducing device, control signal generating device, and method of generating control signal
JP5525165B2 (en) * 2009-02-03 2014-06-18 パナソニック株式会社 Operation display device
JP2010204730A (en) * 2009-02-27 2010-09-16 Seiko Epson Corp System of controlling device in response to gesture
JP2012098771A (en) * 2010-10-29 2012-05-24 Sony Corp Image forming apparatus and image forming method, and program
JP5439347B2 (en) * 2010-12-06 2014-03-12 日立コンシューマエレクトロニクス株式会社 Operation control device
RU2605349C2 (en) * 2011-02-04 2016-12-20 Конинклейке Филипс Н.В. Gesture controllable system using proprioception to create absolute frame of reference
JP6106983B2 (en) 2011-11-30 2017-04-05 株式会社リコー Image display device, image display system, method and program
JP2013172211A (en) * 2012-02-17 2013-09-02 Sharp Corp Remote control device and remote control system
JP6509027B2 (en) * 2015-05-12 2019-05-08 キヤノン株式会社 Object tracking device, optical apparatus, imaging device, control method of object tracking device, program
JP2017091298A (en) * 2015-11-12 2017-05-25 日本電信電話株式会社 Image processing device, image processing method and image processing program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0844490A (en) * 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd Interface device
JP5048890B2 (en) * 1998-10-13 2012-10-17 ソニー エレクトロニクス インク Motion detection interface
JP2003283865A (en) * 2002-03-26 2003-10-03 Matsushita Electric Ind Co Ltd Apparatus controller

Also Published As

Publication number Publication date
JP2009003576A (en) 2009-01-08

Similar Documents

Publication Publication Date Title
JP4968922B2 (en) Device control apparatus and control method
US10606380B2 (en) Display control apparatus, display control method, and display control program
JP6598617B2 (en) Information processing apparatus, information processing method, and program
JP6601417B2 (en) Information processing apparatus, information processing method, and program
US11579904B2 (en) Learning data collection device, learning data collection system, and learning data collection method
EP2991027B1 (en) Image processing program, image processing method and information terminal
WO2021035646A1 (en) Wearable device and control method therefor, gesture recognition method, and control system
JP2010009558A (en) Image recognition device, electrical device operation control unit, electric appliance, image recognition program, and semiconductor device
JP5613741B2 (en) Image processing apparatus, method, and program
JP2011028366A (en) Operation control device and operation control method
CN104364733A (en) Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program
JP2010086336A (en) Image control apparatus, image control program, and image control method
JPH06261863A (en) Sight line direction measuring instrument
KR20170022078A (en) Display apparatus and controlling method thereof
JP2015106252A (en) Face direction detection device and three-dimensional measurement device
KR101256046B1 (en) Method and system for body tracking for spatial gesture recognition
JP2008059283A (en) Operation detection device and program therefor
JP6716028B2 (en) Control device, information processing system, control method, and program
JP6507252B2 (en) DEVICE OPERATION DEVICE, DEVICE OPERATION METHOD, AND ELECTRONIC DEVICE SYSTEM
JP2011095985A (en) Image display apparatus
KR101961266B1 (en) Gaze Tracking Apparatus and Method
JP2000056916A (en) Hand pointing device
JP6319220B2 (en) Transparent wearable terminal, data processing apparatus, and data processing system
JP2019164216A (en) Instruction position transmission system and instruction position transmission method
JP6982656B2 (en) Eye-pointing system operated by the eye

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120306

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120402

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4968922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees