JP2010079332A - Remote operation device and remote operation method - Google Patents
Remote operation device and remote operation method Download PDFInfo
- Publication number
- JP2010079332A JP2010079332A JP2008243522A JP2008243522A JP2010079332A JP 2010079332 A JP2010079332 A JP 2010079332A JP 2008243522 A JP2008243522 A JP 2008243522A JP 2008243522 A JP2008243522 A JP 2008243522A JP 2010079332 A JP2010079332 A JP 2010079332A
- Authority
- JP
- Japan
- Prior art keywords
- hand
- hand region
- contour
- display
- remote
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Selective Calling Equipment (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
この発明は、電子機器の遠隔操作を行う遠隔操作装置及び遠隔操作方法に関する。 The present invention relates to a remote operation device and a remote operation method for remotely operating an electronic device.
従来、テレビやDVDレコーダー等の電子機器を遠隔操作する場合、リモートコントローラに固定的に設けられたボタンを押下するといった操作が一般的であった。しかし、電子機器が複雑かつ高機能化しているため、このような機器を遠隔操作するためのリモートコントローラは、操作ボタン数が増加し、所望の操作をするためのボタンを見つけにくい、あるいは、所望の操作を行うためにボタンを押下する回数が増加する等、リモートコントローラの操作が非常に煩わしくなってきている。そのため、高齢者や情報弱者のみならず、日頃上記のような機器に接する機会の多い人にとっても、その操作は困難なものとなっている。そこで、リモートコントローラに表示装置とタッチパネルを備え、表示内容を変更することにより、必要なボタンだけを液晶タッチパネルに表示してボタンを押すリモートコントローラが提案されている(例えば、特許文献1参照。)。 Conventionally, when an electronic device such as a television or a DVD recorder is remotely operated, an operation of pressing a button fixedly provided on the remote controller is generally used. However, since electronic devices are complex and highly functional, remote controllers for remotely operating such devices increase the number of operation buttons, making it difficult to find buttons for desired operations, or as desired The operation of the remote controller has become very troublesome, such as increasing the number of times the button is pressed to perform the operation. Therefore, the operation is difficult not only for the elderly and the information weak, but also for people who have many opportunities to come into contact with the above-mentioned devices on a daily basis. In view of this, a remote controller has been proposed in which a display device and a touch panel are provided in the remote controller, and only necessary buttons are displayed on the liquid crystal touch panel by changing the display contents (see, for example, Patent Document 1). .
従来の遠隔操作システムにおいては、必要なボタンだけを液晶タッチパネルに表示して、ボタンを押すようにしているが、表示面を指で直接触れるために汚れて見づらくなり、視認性の低下に伴い操作性が悪化するという問題があった。 In the conventional remote operation system, only the necessary buttons are displayed on the LCD touch panel, and the buttons are pressed. However, since the display surface is directly touched with a finger, it becomes difficult to see and operates as visibility decreases. There was a problem that the sex deteriorated.
この発明は、上述のような問題点を解決するためになされたもので、遠隔操作装置の表示面を指で触れずに制御対象機器を操作し、視認性と操作性が良好な遠隔操作装置及び遠隔操作方法を得るものである。 The present invention has been made to solve the above-described problems, and operates a control target device without touching the display surface of the remote operation device with a finger, so that the remote operation device has good visibility and operability. And a remote control method.
この発明に係る遠隔操作装置は、制御対象機器の遠隔操作用の操作ボタン又はメニューを表示する操作表示手段と、操作表示手段の表示を基に操作する操作者を撮像する撮像手段と、手領域検出手段と、手操作検出手段と、制御手段とを備える。手領域検出手段は、撮像手段で撮影された画像から手の領域を検出する。手操作検出手段は、手領域検出手段で検出された手の領域の形と動きと操作表示手段の表示とを基に操作者による操作を検出する。制御手段は、手操作検出手段で検出された操作の信号を通信手段を用いて制御対象機器に送信するものである。 A remote operation device according to the present invention includes an operation display unit that displays an operation button or menu for remote operation of a control target device, an imaging unit that images an operator who operates based on the display of the operation display unit, and a hand region A detection means, a manual operation detection means, and a control means are provided. The hand region detection means detects the hand region from the image taken by the imaging means. The manual operation detection means detects an operation by the operator based on the shape and movement of the hand area detected by the hand area detection means and the display of the operation display means. The control means transmits an operation signal detected by the manual operation detection means to the control target device using the communication means.
この発明によれば、操作表示手段の表示を基に操作する操作者の手の領域の形と動きから制御対象機器を操作するので、遠隔操作装置の表示面が汚れることが無くなるため、視認性が低下せず、操作性の良好な遠隔操作装置が得られる。 According to the present invention, the device to be controlled is operated based on the shape and movement of the area of the operator's hand that is operated based on the display of the operation display means. Therefore, a remote control device with good operability can be obtained.
実施の形態1.
図1は、この発明の実施の形態1における表示装置112と制御対象機器である記録再生装置113と遠隔操作装置111とで構成される遠隔操作システムの機器構成図である。テレビなどの表示装置112の映像音声入力と、DVDレコーダーなどの記録再生装置113の映像音声出力は、映像音声を伝送するAV(Audio/Visual)ケーブルなどの接続ケーブル114で接続されている。リモートコントローラなどの遠隔操作装置111は、赤外線や無線の伝送信号115により、表示装置112や、記録再生装置113と通信し、これらを遠隔操作する。また、遠隔操作装置111は、例えば、撮像手段116、液晶タッチパネル部117、ハードウエアボタン118から構成されている。なお、クレイドル119により充電可能としてもよい。
FIG. 1 is a device configuration diagram of a remote operation system including a
また、図2は、この発明の実施の形態1における遠隔操作装置111を構成するブロック図である。操作表示手段121は、表示装置112や記録再生装置113等の制御対象機器の遠隔操作用の仮想の操作ボタンやメニュー等を表示して操作者に操作状況がわかるようにする。撮像手段122は、CCD(Charge Coupled Device)カメラ等を用いて操作者の手等を撮影し、手領域検出手段123はこの撮像手段122で撮影された画像から手の領域を検出する。手操作検出手段124は手領域検出手段123により検出された手領域の形と動き等から操作者の操作を検出する。制御手段126は、手操作検出手段124の検出結果等の情報を基にして操作表示手段121に操作状況や操作可能なボタン表示を指令し、通信手段125を通じて本体機器との通信を行う。
FIG. 2 is a block diagram constituting remote operation device 111 according to
この機能ブロック図を構成するための具体的な構成例を図3に示す。図3において、
CPU(Central Processing Unit)131は、プログラムコードを格納したFlash ROM(Read only memory)や、RAM(Random access memory)などのメモリ132を用いて各種の処理を行う。液晶パネル133は仮想の操作ボタンやメニューなどを表示し、タッチパネル134はこの液晶パネル133に表示される仮想の操作ボタンやメニューを押下したことを検知する。これらの液晶パネル133とタッチパネル134は一体化されており、液晶タッチパネル135を構成している。信号送受信部136は、操作者が液晶タッチパネル135で入力操作を行った際に対応する伝送信号115を送受信する。発音装置137はスピーカ等で構成され、操作者が液晶タッチパネル135で入力操作を行った際にビープ音などで操作音を発生させる。撮像部138はCCDカメラ等で構成され、操作者の手などを撮像する。
A specific configuration example for configuring this functional block diagram is shown in FIG. In FIG.
A CPU (Central Processing Unit) 131 performs various processes using a
タッチパネル134は、仮想の操作ボタンやメニューを表示する液晶パネル133上に配置されており、CPU131は、操作者が指やペンを使用してタッチパネル134を押下したときに、その座標を検知することで、液晶パネル133上に表示されたどの仮想の操作ボタンやメニューを押下したかを検出することができるように構成されている。 The touch panel 134 is arranged on a liquid crystal panel 133 that displays virtual operation buttons and menus, and the CPU 131 detects coordinates when the operator presses the touch panel 134 with a finger or a pen. Thus, the virtual operation button or menu displayed on the liquid crystal panel 133 can be detected.
このように構成された遠隔操作装置111の基本的な動作について説明する。遠隔操作装置111に内蔵されたCPU131は、メモリ132に格納されたプログラムコードに従い、液晶タッチパネル135に仮想の操作ボタンやメニューを表示する。図4は、遠隔操作装置111の液晶表示部を示したもので、遠隔操作装置111が有する3つの表示モードと、液晶タッチパネル135上に表示される仮想の操作ボタンの一例を示している。
A basic operation of the remote operation device 111 configured as described above will be described. The CPU 131 built in the remote operation device 111 displays virtual operation buttons and menus on the liquid crystal touch panel 135 in accordance with the program code stored in the
図4(a)は、主として表示装置112を操作する場合の仮想の操作ボタンを配置したテレビモードで、図4(b)は、主として記録再生装置113の再生機能を操作する場合の仮想の操作ボタンを配置した再生モード、図4(c)は、主として記録再生装置113の録画予約機能を操作する場合の仮想の操作ボタンを配置した予約モードである。これらの各モードはCPU131が、液晶タッチパネル135に表示する仮想の操作ボタンの形状/サイズ/位置/色/文字を適宜変更することで実現している。各モードには、表示モード遷移用の仮想の操作ボタン(テレビモードボタン141、予約モードボタン142、再生モードボタン143)が共通に配置されている。
FIG. 4A shows a television mode in which virtual operation buttons are arranged mainly when operating the
次に各表示モードの動作について説明をする。図4(a)に示すテレビモードでは、液晶タッチパネル135に地上波放送や衛星放送などの放送種別を切換えるための仮想の操作ボタン(図中の「放送切換」ボタン)を表示する。操作者によりこの仮想の操作ボタンが選択されると、テレビなどの表示装置112の放送種別の切換えが行われる。さらに、選択が可能な受信チャンネルに対応する仮想の操作ボタン(図中1〜12)を液晶タッチパネル135に表示し、操作者により受信チャンネルに相当する仮想の操作ボタンが選択されると、テレビなどの表示装置112の受信チャンネルが切替わる。
Next, the operation in each display mode will be described. In the television mode shown in FIG. 4A, a virtual operation button (“broadcast switching” button in the figure) for switching broadcast types such as terrestrial broadcasting and satellite broadcasting is displayed on the liquid crystal touch panel 135. When the virtual operation button is selected by the operator, the broadcast type of the
図4(b)に示す再生モードでは、DVDレコーダーなどの記録再生装置113に備えられた、再生可能な記録媒体名に相当する仮想の操作ボタン(図中「HDD」「DVD」)を液晶タッチパネル135に表示する。また、再生画を早送り・早戻し・停止などを行うための仮想の操作ボタンや、再生リストと呼ばれる録画済み番組リストから再生したい番組を選択するための上下キーに相当する仮想の操作ボタンも表示する。 In the playback mode shown in FIG. 4B, virtual operation buttons (“HDD” and “DVD” in the figure) corresponding to the names of reproducible recording media provided in the recording / playback apparatus 113 such as a DVD recorder are displayed on the liquid crystal touch panel. 135. It also displays virtual operation buttons for fast-forwarding, fast-rewinding, and stopping playback images, and virtual operation buttons equivalent to the up and down keys for selecting programs to be played from a recorded program list called a playback list. To do.
図4(c)に示す予約モードでは、液晶タッチパネル135に電子番組表を操作するための仮想の操作ボタンを表示する。テレビなどの表示装置112あるいは、DVDレコーダーなどの記録再生装置113が備えるEPG(Electrical Program Guide)による番組表を操作するためのものである。また、予約内容の変更のため時間・受信チャンネルの変更操作を可能にする仮想の操作ボタンも表示する。
In the reservation mode shown in FIG. 4C, virtual operation buttons for operating the electronic program guide are displayed on the liquid crystal touch panel 135. This is for operating a program table by an EPG (Electrical Program Guide) provided in a
このように各モードは、操作者の目的の「テレビ番組の視聴」、「録画済み番組の再生」、「番組録画予約」について、それぞれ必要な仮想の操作ボタンを配置している。 As described above, in each mode, virtual operation buttons necessary for “viewing a TV program”, “playing a recorded program”, and “program recording reservation”, which are intended by the operator, are arranged.
次に各表示モードの遷移について説明する。図5(a)〜(c)は、遠隔操作装置111が有する3つの表示モードの中で、テレビモードから再生モードへ遷移する時の遠隔操作装置111(図5(a))と表示装置112(図5(c))および記録再生装置113(図5(b))の動作を示している。遠隔操作装置111がテレビモード(図4(a))にあるとき、再生モードボタン143を選択すると、遠隔操作装置111の操作画面は、再生モード(図4(b))に遷移する。
Next, transition of each display mode will be described. 5A to 5C show the remote operation device 111 (FIG. 5A) and the
このとき遠隔操作装置111は、同時に表示装置112に対して、外部入力映像を表示させるための伝送信号115を送信し、記録再生装置113の出力映像音声を表示させるための準備を行う。また同時に、記録再生装置113に対して、再生リストを表示させるための伝送信号115を送信し、再生リストを出力させるための準備を行う。
At this time, the remote control device 111 transmits a transmission signal 115 for displaying the external input video to the
図5(d)は、伝送信号115の一例を図示したもので、表示装置112を操作するために、テレビ識別コードと入力切換コードを送信し、続いて記録再生装置113を操作するために、レコーダー識別コードと再生リスト表示コードを送信している。
FIG. 5D illustrates an example of the transmission signal 115. In order to operate the
これらの一連の動作により、記録再生装置113により表示された再生リストの映像音声は、接続ケーブル114を経由して、表示装置112上に表示される。上述したように、再生モードは、再生リストから番組を選択するのに必要な仮想の操作ボタンを配置しているため、操作者は再生モード遷移後、すぐに再生したい記録済み番組選択操作が可能になり、遠隔操作システムの使い勝手を向上させることができる。
Through these series of operations, the video / audio of the playlist displayed by the recording / playback device 113 is displayed on the
図6(a)〜(c)は、テレビモードから予約モードへ遷移する時の遠隔操作装置111(図6(a))と表示装置112(図6(c))および記録再生装置113(図6(b))の動作を示している。予約モードボタン142を選択すると、予約モードに遷移する。
6 (a) to 6 (c) show a remote control device 111 (FIG. 6 (a)), a display device 112 (FIG. 6 (c)) and a recording / reproducing device 113 (FIG. 6) when the television mode is changed to the reservation mode. 6 (b)) is shown. When the
図6(d)は、伝送信号115の一例を図示したもので、表示装置112を操作するために、テレビ識別コードと入力切換コードを送信し、続いて記録再生装置113を操作するために、レコーダー識別コードと番組表表示コードを送信している。
FIG. 6 (d) shows an example of the transmission signal 115. In order to operate the
以上のように、テレビモードから再生モードへの表示モード遷移と、テレビモードから予約モードへの表示モード遷移を例に挙げたが、その他のモードやメニュー階層においても同様に、液晶タッチパネルを利用することで、その時の機器の状態に応じて操作可能なボタンのみを表示し、選択されたボタンに応じて機器を遠隔操作することが可能になり使い勝手を向上させることができる。 As described above, the display mode transition from the TV mode to the playback mode and the display mode transition from the TV mode to the reservation mode are given as examples, but the liquid crystal touch panel is used in the other modes and menu layers as well. Thus, only buttons that can be operated according to the state of the device at that time can be displayed, and the device can be remotely operated according to the selected button, so that the usability can be improved.
さて、ここで、一般的にタッチパネルは抵抗膜方式など各種方式があり、方式により多少感度特性が異なるものの、タッチパネルが押されることを検出するため、タッチパネルに指紋がついたりして汚れるという問題がある。また、図1のようにクレイドル119により充電可能とした場合には、わざわざクレイドルから外して手に持って操作しなくても、クレイドルに置いたままで操作できると操作性が向上する。 Now, in general, there are various types of touch panels, such as a resistive film type, and although the sensitivity characteristics differ somewhat depending on the method, there is a problem that fingerprints are attached to the touch panel in order to detect that the touch panel is pressed. is there. In addition, when charging is possible with the cradle 119 as shown in FIG. 1, the operability is improved if the cradle 119 can be operated while it is placed on the cradle without being bothered and held.
そこで、撮像手段122により操作者の手を撮像し、そのジェスチャー(形や位置等)を検出して操作する遠隔操作装置111の動作について説明する。実際にジェスチャー操作するためには、ジェスチャー操作機能の入切操作も必要になる。この入切操作はハードウェアボタン118で行っても良いが、本体と双方向通信可能なリモコンの場合には本体の動作状態によりリモコンのジェスチャー操作を入切しても良い。
Therefore, the operation of the remote operation device 111 that captures an image of the operator's hand by the imaging unit 122 and detects and operates the gesture (shape, position, etc.) will be described. In order to actually perform a gesture operation, an on / off operation of the gesture operation function is also required. This on / off operation may be performed with the
図7は手のジェスチャーによるボタン操作の一例を示す。図中の上段には撮像部138によって撮像された手とその時の手のひらの中心点(白丸)の様子を示し、下段には液晶タッチパネル135の表示を示す。ここでは、手を開いているか、握っているか、指を立てているのかと、手のひらの中心位置を検出することにより、手を握っている間の位置移動でフォーカス(ボタンの選択)を移動し、指を立てることでボタンを押す操作としている。つまり、手の形から選択の操作を、手の形と手の中心点の動きから移動の操作を検出する。 FIG. 7 shows an example of button operation by hand gesture. The upper part of the figure shows the hand imaged by the imaging unit 138 and the center point (white circle) of the palm at that time, and the lower part shows the display of the liquid crystal touch panel 135. Here, the focus (button selection) is moved by moving the position while holding the hand by detecting whether the hand is open, grasping, or raising the finger, and the center position of the palm. The button is pushed by raising the finger. That is, a selection operation is detected from the shape of the hand, and a movement operation is detected from the movement of the hand shape and the center point of the hand.
図7(a)のように手が開いている状態で動かしてもフォーカスは「2」のボタンから移動しない。図7(b)のように手を握るとフォーカスの移動が可能になり、例えば図7(c)のように手を握ったまま平行移動すると中心位置の移動量を検出してフォーカスの位置が例えば「2」から「番組ポーズ」「再生」へと移動して行く。例えば、「再生」ボタンを押す操作をしたい場合はフォーカス位置が「再生」になったところで図6(d)のように指を立てて、再びその位置で手を握ることでボタンを離した時に「再生」ボタン処理が実行され、図7(e)のように液晶の表示が更新され、その後図7(f)のように手を開くと手を動かしてもフォーカスは移動せず1回のボタン操作が完了する。もし、指を立てた時にフォーカスが当たっているボタン操作をキャンセルする場合には、手を握らずに開く操作をするか、そのまま手を移動させればよい。なお、フォーカス位置を示すハイライト表示は手の状態(手を開いているか、握っているか、指を立てているか)により表示を変更することが望ましい。 The focus does not move from the button “2” even if the hand is moved as shown in FIG. When the hand is held as shown in FIG. 7B, the focus can be moved. For example, when the hand is moved in parallel as shown in FIG. 7C, the movement amount of the center position is detected and the focus position is changed. For example, “2” moves to “program pause” and “playback”. For example, when the user wants to press the “play” button, when the focus position is “play”, the finger is raised as shown in FIG. 6D and the hand is held again at that position to release the button. “Play” button processing is executed, and the display on the liquid crystal is updated as shown in FIG. 7E. After that, when the hand is opened as shown in FIG. 7F, the focus does not move even if the hand is moved. The button operation is complete. If the button operation that is in focus when the finger is raised is cancelled, the opening operation can be performed without grasping the hand, or the hand can be moved as it is. It should be noted that it is desirable to change the display of the highlight display indicating the focus position depending on the state of the hand (whether the hand is opened, grasped, or the finger is raised).
図8はこのジェスチャー検出処理のフローを示す図である。ジェスチャー検出処理の中心となる手領域検出手段123での手領域検出ステップS220は、ステップ221〜224で構成され、また、手操作検出手段124での手操作検出ステップS230は、ステップ231〜233で構成される。手領域検出手段123は、2値化補正手段と距離算出手段と中央重点補正手段と手領域判定手段とからなり、また、手操作検出手段124は、輪郭方向算出手段と中心輪郭距離算出手段と手操作判定手段からなる。これらの手段は、例えば図3の構成図において、CPU131とメモリ132によって構成さる。また、それぞれの手段において、メモリ132の中に格納されたプログラムコードをCPU131において演算することで、手領域検出ステップS220、2値化補正ステップS221、距離算出ステップS222、中央重点補正ステップS223、手領域判定ステップS224、手操作検出ステップS230、輪郭方向算出ステップS231、中心輪郭距離算出ステップS232、手操作判定ステップS233を実行する。
FIG. 8 shows the flow of this gesture detection process. The hand region detecting step S220 in the hand region detecting means 123 which is the center of the gesture detecting process is composed of
図8のフロー図と、図9〜11の説明図に基いて、手のジェスチャー検出の方法について説明する。制御手段126が制御対象機器の遠隔操作用の操作ボタン又はメニューを操作表示手段121に表示する操作表示ステップS200を行った後、撮像手段122は、遠隔操作装置111の近辺に居て操作表示手段121の表示を基に操作する操作者の撮像を開始し、所定時間単位で画像を取得する撮像ステップS210を実行する。操作者がリモコンに対して手を伸ばした時、このステップで取得される撮像画像は、例えば図9(ア)のような画像である。 A hand gesture detection method will be described with reference to the flowchart of FIG. 8 and the explanatory diagrams of FIGS. After the control means 126 performs an operation display step S200 in which an operation button or menu for remote operation of the device to be controlled is displayed on the operation display means 121, the imaging means 122 is in the vicinity of the remote operation device 111 and is displayed as an operation display means. Imaging of the operator who operates based on the display of 121 is started, and imaging step S210 for acquiring an image in a predetermined time unit is executed. When the operator reaches for the remote control, the captured image acquired in this step is, for example, an image as shown in FIG.
手領域検出ステップS220は、図8に示すように、2値化補正ステップS221、距離算出ステップS222、中央重点補正ステップS223、手領域判定ステップS224から構成される。なお、それぞれのステップは前述したように対応する手段において実行される。 As shown in FIG. 8, the hand region detection step S220 includes a binarization correction step S221, a distance calculation step S222, a center weight correction step S223, and a hand region determination step S224. Each step is executed by the corresponding means as described above.
2値化補正ステップS221では、まず明るさの影響を少なくするためにHSV変換(Hue、Saturation、Value:色相、彩度、明度)色空間に変換して、所定の信号を基にした領域、例えば肌色領域を2値化情報として抽出する。この2値化においては、肌色領域内にある穴の領域や突起領域がノイズとして生じる可能性があるが、これらについては、領域の膨張処理や収縮処理によって補正を行う。例えば、検出する色範囲を広く、膨張処理により穴領域を埋める処理を多くすることで、ノイズを少なくし図9(イ)のような2値化画像を得ることができる。 In the binarization correction step S221, an area based on a predetermined signal is first converted into an HSV conversion (Hue, Saturation, Value: hue, saturation, brightness) color space in order to reduce the influence of brightness. For example, the skin color area is extracted as binarized information. In this binarization, a hole area or a protrusion area in the skin color area may be generated as noise, and these are corrected by an area expansion process or a contraction process. For example, by increasing the color range to be detected and increasing the process of filling the hole area by the expansion process, it is possible to reduce the noise and obtain a binarized image as shown in FIG.
一般的に色情報を基に2値化処理を行った場合に、背景にあたる領域に同様の色領域が存在するとこの部分も抽出しノイズになってしまう問題が発生する。このような場合には、背景画像メモリを準備して常に背景画像を取得する構成とし、この背景画像との差分が所定の信号値以上の領域という条件をつけても良い。また、後で説明するように形状からも手らしさを判定することから、この2値化の段階では多少の誤検出があっても対応可能である。ここではHSV変換して肌色を抽出する場合について説明したが、輝度情報のみで2値化しても良いし、顔検出で用いられるブースティングを用いて手の領域を検出して2値化しても良い。これらのように、撮像画像から所定の信号を基にして、肌色領域や背景画像との差分領域等を抽出し、ノイズ処理を行って2値化画像を得る。 In general, when binarization processing is performed based on color information, if a similar color area exists in the area corresponding to the background, this part is also extracted, resulting in noise. In such a case, a background image memory may be prepared to obtain a background image at all times, and a condition that a difference from the background image is an area having a predetermined signal value or more may be set. In addition, as described later, since the ease of use is determined from the shape, it is possible to cope with some misdetection at the binarization stage. Although the case where skin color is extracted by HSV conversion has been described here, binarization may be performed only by luminance information, or binarization may be performed by detecting a hand region using boosting used in face detection. good. As described above, based on a predetermined signal from the captured image, a skin color region, a difference region from the background image, and the like are extracted, and noise processing is performed to obtain a binarized image.
距離算出ステップS222では2値化補正ステップS221で得られた2値化画像領域において各領域内部の点から最短の輪郭までの距離を算出し、この輪郭までの距離が最大となる距離最大点を検出してこの位置を各領域における手の中心候補とする。図9(ウ)において抽出領域内の複数の破線閉曲線は、輪郭までの距離の等しい等距離線であり、各領域内の(+)点が手の中心候補である。ここで、領域の重心(×)点を手の中心としないのは、例えば図9(ウ)のように袖のない服装で腕の領域がされた場合に腕の領域の影響を受けて手のひらの中心からずれが発生するためである。 In the distance calculation step S222, the distance from the point inside each region to the shortest contour in the binarized image region obtained in the binarization correction step S221 is calculated, and the maximum distance point at which the distance to this contour is the maximum is calculated. This position is detected and set as the center candidate of the hand in each region. In FIG. 9 (c), a plurality of closed dashed lines in the extraction region are equidistant lines having the same distance to the contour, and the (+) point in each region is the center candidate of the hand. Here, the reason why the center of gravity (x) of the area is not set as the center of the hand is that the arm area is affected by the arm area when the arm area is formed with clothes without sleeves as shown in FIG. This is because there is a deviation from the center.
中央重点補正ステップS223では、距離算出ステップS222で算出した各領域における距離最大点の値に対して、撮像画像の中央が最大で画像の端に行くほど低くなるような補正値を加算する。例えばこの補正値は、画像の中央を頂点とした円錐状や半球状のものが考えられる。このように中央重点補正を行って手の領域を判定するのは、画像の中央には対象となる手が撮影される可能性が高く、画像の端の方には例えば顔のような外乱となる物が撮影される可能性が高いからである。 In the center emphasis correction step S223, a correction value is added to the maximum distance point value in each area calculated in the distance calculation step S222 so that the center of the captured image becomes maximum at the end of the image and becomes lower. For example, this correction value may be conical or hemispherical with the center of the image as the apex. In this way, it is highly likely that the target hand is photographed at the center of the image, and disturbances such as a face are present at the edge of the image. This is because there is a high possibility that an object will be photographed.
例えば図9(ウ)のようにほぼ同じ大きさの手と顔の領域を検出して、手の領域の距離最大点の値が例えば「10」で、顔の領域の距離最大点の値が例えば「12」の場合には、単純に距離算出ステップS222の出力で判定すると顔の方を手の候補と判断してしまう場合が起こりうる。これに対して、手の領域の距離最大点は画面中央に近いので中央重点加算値の補正値を例えば「9」、顔の領域の距離最大点は画面の端に近いので補正値を例えば「3」としてこれらを加算することで、手の領域の値が「19」で顔の領域の値が「15」となり、中央に近い手の領域を確実に検出することができる。なお、ここでは補正値を加算したが、当然乗算やその他の計算を組合せてもかまわないし、補正値の形状で対応してもかまわない。 For example, as shown in FIG. 9C, a hand and face area having the same size is detected, and the value of the maximum distance point of the hand area is, for example, “10”, and the value of the maximum distance point of the face area is For example, in the case of “12”, the face may be determined as a hand candidate if it is simply determined by the output of the distance calculation step S222. On the other hand, since the maximum distance point of the hand region is close to the center of the screen, the correction value of the center-weighted addition value is “9”, for example, and the maximum distance point of the face region is close to the edge of the screen, By adding these as “3”, the value of the hand area is “19” and the value of the face area is “15”, so that the hand area close to the center can be reliably detected. Although the correction values are added here, it is of course possible to combine multiplications and other calculations, or the correction values may be used.
手領域判定ステップS224は、中央重点補正ステップS223により補正された距離最大点の値が最も大きい点を含む領域が手の領域である可能性が高く、また、この距離最大点の値が最も大きい点を手の領域の中心点である可能性が高いと判断し、この領域について手らしさの判定を行う。手らしさの判定は、例えば図9(エ)に示したように当該領域の手の中心点よりも上の領域を形状判定領域としてこの領域の面積・輪郭長・高さ・幅等を算出してこれらが所定の範囲内にある時に手の領域であると判定する。例えば幅が極端に短く高さの1/5しかなかった場合には手領域ではないと判定される。このように手領域と中心点とを判定し、手領域でないと判定した場合には操作表示手段121に表示される画面はそのままにして(ステップS200)、撮像ステップS210に戻り、画像取得待ちになる。手領域を検出した場合には次の手操作検出ステップS230へ続く。 In the hand region determination step S224, there is a high possibility that the region including the point with the largest distance maximum point value corrected in the center emphasis correction step S223 is the hand region, and the distance maximum point value is the largest. It is determined that the point is likely to be the center point of the hand region, and handness is determined for this region. For example, as shown in FIG. 9D, the area above the center point of the hand of the area is determined as a shape determination area, and the area, contour length, height, width, and the like of the area are calculated. When these are within a predetermined range, it is determined that the region is a hand region. For example, when the width is extremely short and only 1/5 of the height, it is determined that the region is not a hand region. In this way, the hand region and the center point are determined, and when it is determined that the region is not the hand region, the screen displayed on the operation display unit 121 is left as it is (step S200), and the process returns to the imaging step S210 and waits for image acquisition. Become. If a hand region is detected, the process continues to the next manual operation detection step S230.
手操作検出ステップS230は、図8に示すように、輪郭方向算出ステップS231、中心輪郭距離算出ステップS232及び手操作判定ステップS233から構成される。なお、それぞれのステップは前述したように対応する手段において実行される。 As shown in FIG. 8, the manual operation detection step S230 includes a contour direction calculation step S231, a center contour distance calculation step S232, and a manual operation determination step S233. Each step is executed by the corresponding means as described above.
輪郭方向算出ステップS231では、例えば図9(エ)に示す領域を手の有効領域として太い線で示した輪郭に沿って画素単位で追跡しながら、例えば、図10(ア)の方向コードに示したように、例えば中央位置から右斜め上方向が「0」、上方向が「1」、左斜め上方向が「2」というように反時計回りに輪郭方向を「0」から「7」までの8方向にコード化する。図10(イ)では、手を握った時の輪郭追跡の開始点を(S)、終了点を(E)とすると、開始点(S)付近の方向コードが上方向「1」で、終了点(E)付近の方向コードが下方向「5」になるまで、ほぼ単調に方向コードが変化していることが判る。 In the contour direction calculation step S231, for example, the region shown in FIG. 9D is tracked in units of pixels along the contour indicated by the thick line as the effective region of the hand, for example, shown in the direction code of FIG. Thus, for example, from 0 to “7”, the contour direction is counterclockwise such that “0” is the upper right direction from the center position, “1” is the upper direction, and “2” is the upper left direction. Are encoded in 8 directions. In FIG. 10A, when the contour tracking start point when the hand is held is (S) and the end point is (E), the direction code near the start point (S) is “1” in the upward direction. It can be seen that the direction code changes almost monotonously until the direction code near the point (E) becomes the downward direction “5”.
一方、図10(ウ)では、指を1本立てた時の輪郭追跡の開始点を(S)、終了点を(E)とすると、輪郭追跡の開始点(S)付近以外でも立てた指の位置に相当する箇所で方向コードが「1」になり、終了点(E)付近以外の箇所でも方向コードが「5」になる。また、図10(エ)では、手を開いた時の輪郭追跡の開始点を(S)、終了点を(E)とすると、相反する方向コード(この場合は方向「1」と「5」及び「2」と「6」)の繰り返しが4箇所存在する。 On the other hand, in FIG. 10 (c), when the contour tracking start point when one finger is raised is (S) and the end point is (E), the finger of the raised finger is located near the contour tracking start point (S). The direction code is “1” at a location corresponding to the position, and the direction code is “5” at locations other than the vicinity of the end point (E). Also, in FIG. 10D, when the contour tracking start point when the hand is opened is (S) and the end point is (E), the opposite direction codes (in this case, the directions “1” and “5”). And 4 repetitions of “2” and “6”).
中心輪郭距離算出ステップS232では、例えば図9(エ)に示す領域を手の有効領域として太い線で示した輪郭に沿って輪郭方向算出ステップ231と同様に画素単位で追跡しながら、例えば図11の(+)位置で示した手の領域の中心からの距離を算出する。例えば図11(ア)のように手を握っている場合は、輪郭追跡開始点(S)から終了点(E)までの中心輪郭距離は全体的に小さな値となり、中心輪郭距離の最大値は中心輪郭距離の最小値の2倍(点線)を越えることがない。 In the center contour distance calculating step S232, for example, the region shown in FIG. 9D is tracked in units of pixels along the contour indicated by a thick line as an effective region of the hand in the same manner as the contour direction calculating step 231, for example, FIG. The distance from the center of the hand region indicated by the (+) position is calculated. For example, when holding the hand as shown in FIG. 11A, the center contour distance from the contour tracking start point (S) to the end point (E) is a small value as a whole, and the maximum value of the center contour distance is It does not exceed twice the minimum value of the center contour distance (dotted line).
一方、図11(イ)のように指を1本立てている場合の輪郭追跡開始点(S)から終了点(E)までの中心輪郭距離は、指先位置で最大値となり、この最大値は中心輪郭距離の最小値の2倍(点線)よりも大きな値になる。また、図11(ウ)のように手を開いた場合の輪郭追跡開始点(S)から終了点(E)までの中心輪郭距離は、開いた指の本数に応じた極大値が得られ、これらの極大値は中心輪郭距離の最小値の2倍(点線)よりも大きな値になる。 On the other hand, the center contour distance from the contour tracking start point (S) to the end point (E) in the case of standing one finger as shown in FIG. 11 (a) is the maximum value at the fingertip position, and this maximum value is the center value. The value is larger than twice the minimum value of the contour distance (dotted line). Further, the center contour distance from the contour tracking start point (S) to the end point (E) when the hand is opened as shown in FIG. 11C is a maximum value corresponding to the number of open fingers. These local maximum values are larger than twice the minimum value of the center contour distance (dotted line).
手操作判定ステップS233では、輪郭方向算出ステップS231や、中心輪郭距離算出ステップS232で得られた、方向コードと中心輪郭距離情報を用いて、例えば手を開いているか握っているか、或いは指を立てているかを判定する。具体例としては、輪郭追跡を行って、開始点(S)から終了点(E)の方向コードの変化がほぼ一様で、中心輪郭距離の最大値が最小値の2倍よりも小さい時は「手を握っている」、方向コード「1」と「5」のような反対方向のコードが1組存在し、中心輪郭距離の最大値が最小値の2倍よりも大きい時は「指を立てている」、方向コード「1」と「5」のような反対方向のコードが複数組存在し、中心輪郭距離の複数の極大値が最小値の2倍よりも大きい時は「手を開いている」と判定する。つまり、手の領域の形から選択の操作を、手の領域の形と手の領域の中心点の動きから移動の操作を検出し判定する。なお、輪郭方向算出ステップS231と中心輪郭距離算出ステップS232で得られた結果のどちらか一方を使っても、両方とも使っても良い。どちらか一方を使った場合は計算処理を速く行うことができるし、両方使った場合は手操作の検出精度を上げることができる。 In the manual operation determination step S233, using the direction code and the center contour distance information obtained in the contour direction calculation step S231 and the center contour distance calculation step S232, for example, whether the hand is opened or held, or a finger is raised. Judge whether it is. As a specific example, when contour tracking is performed and the change in the direction code from the start point (S) to the end point (E) is substantially uniform and the maximum value of the center contour distance is smaller than twice the minimum value, When there is a pair of opposite direction codes such as “holding a hand”, direction codes “1” and “5” and the maximum value of the center contour distance is larger than twice the minimum value, When there are multiple sets of opposite-direction codes such as “standing”, direction codes “1” and “5”, and multiple maximum values of the center contour distance are greater than twice the minimum value, “open your hand” It is determined. That is, the selection operation is detected from the shape of the hand region, and the movement operation is detected from the shape of the hand region and the movement of the center point of the hand region. Note that either one or both of the results obtained in the contour direction calculating step S231 and the center contour distance calculating step S232 may be used. When either one is used, the calculation process can be performed quickly, and when both are used, the detection accuracy of manual operation can be increased.
ここで、手操作を検出できないため手操作でないと判定した場合は、操作表示手段121に表示される画面はそのままにして(ステップS200)、撮像ステップS210に戻り、画像取得待ちになる。 Here, when it is determined that the operation is not a manual operation because the manual operation cannot be detected, the screen displayed on the operation display unit 121 is left as it is (step S200), the process returns to the imaging step S210, and the image acquisition is waited.
手操作であると判定した場合は、操作表示手段121に表示されている仮想の操作ボタン又はメニューのハイライト等の表示位置を基にして操作者による操作内容を検出する。つまり、図7の操作のように、例えば手を握って手の位置が移動した時のボタンのフォーカス位置や、指を立ててふたたび握る動作を認識した位置によって、どの仮想の操作ボタン又はメニューの操作内容かを検出する。その後、遠隔操作装置111内の制御手段126は、通信手段125を通じて制御対象機器に操作の信号を送信する通信ステップS240を実行する。また、制御手段126は、検出された操作や操作の状況に応じて、操作ボタン又はメニューの表示をハイライトにする等、操作表示手段で表示する操作表示ステップS200を行う。その後、撮像ステップS210に戻り、画像取得待ちとなり、ジェスチャー操作が終了するまで繰り返す。ジェスチャー操作の終了は、ハードウェアボタン118を用いても良いし、ある特定の動作をすることにより終了としても良い。
When it is determined that the operation is a manual operation, the operation content by the operator is detected based on a display position such as a virtual operation button or a menu highlight displayed on the operation display unit 121. That is, as in the operation of FIG. 7, for example, depending on the focus position of the button when the hand moves and the position of the hand moves, or the position of recognizing the operation of raising the finger again, which virtual operation button or menu is selected. Detect whether the operation content. Thereafter, the control unit 126 in the remote operation device 111 executes a communication step S240 for transmitting an operation signal to the control target device through the communication unit 125. Further, the control means 126 performs an operation display step S200 for displaying by the operation display means such as highlighting the operation button or menu display according to the detected operation or operation status. Thereafter, the process returns to the imaging step S210, waits for image acquisition, and repeats until the gesture operation ends. The gesture operation may be ended by using the
上記のように構成された遠隔操作装置及び遠隔操作方法においては、遠隔操作装置111に備えられたカメラを用い、この近辺に居て操作表示手段121の表示を基に操作する操作者の手の形と動きから、テレビやレコーダー等の制御対象機器を操作するので、遠隔操作装置の表示面に触れて汚れることが無くなるため、視認性が低下せず、操作性の良好な遠隔操作装置が得られる。また、リモコンを持たずに、片手だけで操作できるので、利便性が向上する。 In the remote operation device and the remote operation method configured as described above, the hand of the operator who uses the camera provided in the remote operation device 111 and operates based on the display of the operation display means 121 in the vicinity. Controlled devices such as TVs and recorders are operated from the shape and movement, so that the display surface of the remote control device is not touched and soiled, so visibility is not lowered and a remote control device with good operability is obtained. It is done. In addition, convenience can be improved because it can be operated with only one hand without having a remote control.
また、カメラがテレビ等の制御対象機器に搭載され、操作者の手の形と動きを判断してこの制御対象機器を操作する構成の場合は、操作者は任意の位置に移動しうるためカメラと操作者の相対位置関係が千差万別となり操作位置を絞れなくなる。その結果、撮影画像における手の大きさが種々変化し、手の動作を検出する精度が劣化する。しかし、カメラをリモコンに搭載することで、操作者はリモコン操作のためにリモコンに近寄るため、想定される操作者とリモコンの位置関係を限定できる。そのため、撮影画像における手の位置と大きさが限定でき、手の動作の認識率が向上し操作の判定が容易となり、操作性が向上する。 In addition, when the camera is mounted on a control target device such as a television and the control target device is operated by determining the shape and movement of the operator's hand, the operator can move to an arbitrary position. The relative positional relationship between the operator and the operator is infinitely different, and the operation position cannot be narrowed down. As a result, the size of the hand in the photographed image changes variously, and the accuracy of detecting the hand movement deteriorates. However, by mounting the camera on the remote control, the operator approaches the remote control for remote control operation, so that the assumed positional relationship between the operator and the remote control can be limited. Therefore, the position and size of the hand in the photographed image can be limited, the recognition rate of the hand motion is improved, the operation is easily determined, and the operability is improved.
実施の形態2.
実施の形態1では、遠隔操作装置111を単なるボタン操作によるコマンダーとして使用したが、ここでは、操作状況をテレビ等に表示することによりパソコンにおけるマウスのように利用する場合について説明する。
In the first embodiment, the remote operation device 111 is used as a commander by a simple button operation, but here, a case will be described in which the operation status is displayed on a television or the like to be used like a mouse in a personal computer.
図12は、この発明の実施の形態2における表示装置112と記録再生装置113と遠隔操作装置111とで構成される遠隔操作システムの機器構成図である。基本的には図1と同じ構成であり、また、遠隔操作装置の機能ブロック図も図2と同じ、ハードウエア構成も図3と同じであり、ジェスチャー検出処理についても図8から図11までと同じである。
FIG. 12 is an equipment configuration diagram of a remote operation system including the
図7を用いた実施の形態1の説明では、手のジェスチャー操作の状況を遠隔操作装置111自身の液晶表示に表示し、フォーカス位置移動とボタン操作により行う例を説明した。しかし、図12では、遠隔操作装置111をマウス操作モードとし、遠隔操作装置111から操作と手の動きを制御対象機器で表示するための信号を伝送信号115として表示装置112や記録再生装置113に送信することで、手の動きを表示装置112に表示して表示装置112に表示されたブラウザ等の画面のマウス操作を可能にする。
In the description of the first embodiment using FIG. 7, an example has been described in which the hand gesture operation status is displayed on the liquid crystal display of the remote operation device 111 itself, and the focus position movement and button operation are performed. However, in FIG. 12, the remote operation device 111 is set to the mouse operation mode, and a signal for displaying the operation and hand movement from the remote operation device 111 on the control target device is transmitted to the
具体的には、メニュー又は操作ボタンを操作表示手段121に表示してマウス操作モードとする(操作表示ステップS200)。また、これによって操作表示手段121の表示を基に処理をするステップにおいては、実施の形態1と異なり遠隔操作装置111の表示内容は更新しない。その後、実施の形態1と同様にジェスチャー操作を行って、画像を取得し(ステップS210)、手領域を検出し(ステップS220)、手操作を検出する(ステップS230)。検出された操作と、この操作を制御対象機器で表示するための信号を伝送信号115として、通信手段125を用いて表示装置112や記録再生装置113に送信し(通信ステップS240)、表示装置112の画面に表示して、コンピュータのマウス操作のように手の動きで操作する。
Specifically, a menu or operation button is displayed on the operation display means 121 to enter the mouse operation mode (operation display step S200). Further, in this way, in the step of processing based on the display of the operation display means 121, unlike the first embodiment, the display content of the remote operation device 111 is not updated. Thereafter, a gesture operation is performed in the same manner as in the first embodiment to acquire an image (step S210), a hand region is detected (step S220), and a hand operation is detected (step S230). The detected operation and a signal for displaying this operation on the device to be controlled are transmitted as the transmission signal 115 to the
図13に本発明実施例2の伝送信号の送信データ例を示す。リモコンの送信コードは一般的に、機種やメーカーを示すカスタムコードと操作を示すデータコードから構成されるが、図13に示すように、例えばデータコードを「2ボタンマウスの3バイト転送のフォーマットを指定するコード」+「3バイトデータ」として、シリアルマウスのデータファーマットに合わせて、例えば手を握った状態で移動させた時にはXY座標位置が移動した、指を1本立てた時には左ボタンが押された、指を1本立てた状態から戻した時には左ボタンが離された、指を2本立てた時には右ボタンが押された、指を2本立てた状態から戻した時には右ボタンが離された、というように変化のあった時に制御対象機器で表示する信号を伝送信号115としてテレビやレコーダーに送信する。このようにすることで、パソコンのブラウザ上のマウス操作と同じ操作がテレビやレコーダーのブラウザ上で実現することができる。 FIG. 13 shows an example of transmission data of a transmission signal according to the second embodiment of the present invention. The transmission code of the remote control is generally composed of a custom code indicating the model or manufacturer and a data code indicating the operation. For example, as shown in FIG. Specified code ”+“ 3-byte data ”, for example, the XY coordinate position moved when moved while holding the hand according to the data format of the serial mouse. The left button was pressed when one finger was raised. The left button was released when the finger was returned from the standing position, the right button was pressed when the two fingers were raised, the right button was released when the finger was returned from the standing position, Thus, when there is a change, a signal to be displayed on the control target device is transmitted as a transmission signal 115 to a television or a recorder. By doing so, the same operation as the mouse operation on the browser of the personal computer can be realized on the browser of the television or recorder.
近年、インターネット環境が普及し、テレビやレコーダーでもインターネット接続が可能になっているが、一般的にテレビやレコーダー上のブラウザはリモコンの十字キーボタンでフォーカス位置を移動させるだけで、パソコンのマウスのように簡単にポインタを移動してクリックすると言ったことができなかった。しかし、上記のように構成された遠隔操作装置及び遠隔操作方法においては、マウス操作の基本機能であるボタンのオンオフ情報と移動量を手操作検出手段で検出し、表示装置112等に送信するので、手の移動速度、移動量がそのままポインタ移動に反映されて表示されるため、パソコンのマウスと同じようにジェスチャーで簡単に操作が可能となり、操作性が向上するという効果を有する。
In recent years, the Internet environment has become widespread, and even TVs and recorders can be connected to the Internet. In general, browsers on TVs and recorders simply move the focus position with the cross key button on the remote control, and you can Couldn't be said to easily move the pointer and click. However, in the remote operation device and the remote operation method configured as described above, the button on / off information and the movement amount, which are basic functions of mouse operation, are detected by the manual operation detection means and transmitted to the
ここでは、ブラウザが表示装置112や記録再生装置113に搭載されてジェスチャー操作を伝送する構成としたが、遠隔操作装置111自身にブラウザが搭載された場合においても当然ながら簡単にジェスチャー操作が可能になる。
Here, the browser is mounted on the
また、この発明の遠隔操作装置及び遠隔操作方法の活用例としては、デジタルテレビ受信機やHDD内蔵DVDレコーダーなど、多機能で、リモートコントローラのボタン数が多く、操作が複雑な機器の操作性向上に適応できるといった特徴も有している。 In addition, examples of the use of the remote control device and remote control method of the present invention include improvement in the operability of devices that are multifunctional and have a large number of buttons on the remote controller, such as a digital TV receiver and HDD built-in DVD recorder. It has the feature that it can adapt to.
111 遠隔操作装置
112 表示装置
113 記録再生装置
114 接続ケーブル
115 伝送信号
116 撮像手段
117 液晶タッチパネル部
118 ハードウェアボタン
121 操作表示手段
122 撮像手段
123 手領域検出手段
124 手操作検出手段
125 通信手段
126 制御手段
131 CPU
132 メモリ
133 液晶パネル
134 タッチパネル
135 液晶タッチパネル
136 信号送受信部
137 発音装置
138 撮像手段
141 テレビモードボタン
142 予約モードボタン
143 再生モードボタン
DESCRIPTION OF SYMBOLS 111
132 Memory 133 Liquid Crystal Panel 134 Touch Panel 135 Liquid Crystal Touch Panel 136 Signal Transmission / Reception Unit 137 Sound Generator 138
Claims (14)
この操作表示手段の表示を基に操作する操作者を撮像する撮像手段と、
この撮像手段で撮影された画像から手の領域を検出する手領域検出手段と、
この手領域検出手段で検出された手の領域の形と動きと前記操作表示手段の表示とを基に前記操作者による操作を検出する手操作検出手段と、
この手操作検出手段で検出された操作の信号を通信手段を用いて前記制御対象機器に送信する制御手段とを備えた遠隔操作装置。 Operation display means for displaying an operation button or menu for remote operation of the control target device;
Imaging means for imaging an operator operating based on the display of the operation display means;
Hand region detecting means for detecting a hand region from an image photographed by the imaging means;
Hand operation detection means for detecting an operation by the operator based on the shape and movement of the hand area detected by the hand area detection means and the display of the operation display means;
A remote operation device comprising: a control unit that transmits an operation signal detected by the manual operation detection unit to the control target device using a communication unit.
前記画像から所定の信号を基にした領域を抽出し、ノイズ除去を行って2値化する2値化補正手段と、
この2値化補正手段で得られた2値化画像領域の内部にあって、この2値化画像領域の輪郭までの距離が最大となる点を算出する距離算出手段と、
この距離算出手段からの距離最大点に対して、前記画像の中央部に近いほど大きく前記画像の端に近いほど小さい補正値を計算する中央重点補正手段と、
この中央重点補正手段の計算結果を基に前記手の領域とこの中心点とを判定する手領域判定手段とを備える請求項1に記載の遠隔操作装置。 The hand region detecting means includes
Binarization correction means for extracting a region based on a predetermined signal from the image and performing binarization by removing noise;
Distance calculating means for calculating a point within the binarized image area obtained by the binarized correcting means and having the maximum distance to the contour of the binarized image area;
A center-weighted correction unit that calculates a correction value that is larger as it is closer to the center of the image and closer to the edge of the image with respect to the maximum distance point from the distance calculation unit
The remote control device according to claim 1, further comprising: a hand region determination unit that determines the hand region and the center point based on a calculation result of the center weight correction unit.
前記手の領域の輪郭線に沿って輪郭の方向を求める輪郭方向算出手段と、
この輪郭方向算出手段で求められた輪郭の方向から手の領域の形を判定し、この形と動きと前記操作表示手段の表示とを基に手の操作を検出する手操作判定手段とを備える請求項1に記載の遠隔操作装置。 The manual operation detection means includes
Contour direction calculating means for determining the direction of the contour along the contour line of the hand region;
Hand operation determining means for determining the shape of the hand region from the direction of the contour determined by the contour direction calculating means, and detecting the operation of the hand based on the shape and movement and the display of the operation display means. The remote control device according to claim 1.
前記手の領域の輪郭線に沿ってこの輪郭と前記手の領域の中心点との距離を算出する中心輪郭距離算出手段と、
この中心輪郭距離算出手段で算出された距離の極大点と極小点の関係から手の領域の形を判定し、この形と動きと前記操作表示手段の表示とを基に手の操作を検出する手操作判定手段とを備える請求項1に記載の遠隔操作装置。 The manual operation detection means includes
A center contour distance calculating means for calculating a distance between the contour of the hand region and a center point of the hand region;
The shape of the hand region is determined from the relationship between the maximum point and the minimum point of the distance calculated by the center contour distance calculating means, and the operation of the hand is detected based on the shape, the movement, and the display of the operation display means. The remote operation device according to claim 1, further comprising a manual operation determination unit.
前記手の領域の形から選択の操作を、前記手の領域の形と前記手の領域の中心点の動きとから移動の操作とを検出する請求項5又は6のいずれかに記載の遠隔操作装置。 The manual operation detection means includes
7. The remote operation according to claim 5, wherein a selection operation is detected from the shape of the hand region, and a movement operation is detected from the shape of the hand region and a movement of a center point of the hand region. apparatus.
前記遠隔操作用の操作ボタン又はメニューを操作表示手段で表示する操作表示ステップと、
前記操作表示手段の表示を基に操作する操作者を撮像手段で撮像する撮像ステップと、
この撮像ステップで撮影された画像から手の領域を検出する手領域検出ステップと、
この手領域検出ステップで検出された手の領域の形と動きと前記前記操作表示手段の表示とを基に前記操作者による操作を検出する手操作検出ステップと、
この手操作検出ステップで検出された操作の信号を通信手段を用いて前記制御対象機器に送信する通信ステップとを備えた遠隔操作方法。 In a remote control device for remote control of a control target device,
An operation display step of displaying the operation button or menu for remote operation on an operation display means;
An imaging step of imaging with an imaging means an operator operating based on the display of the operation display means;
A hand region detection step of detecting a hand region from the image captured in this imaging step;
A hand operation detection step of detecting an operation by the operator based on the shape and movement of the hand region detected in the hand region detection step and the display of the operation display means;
A remote operation method comprising a communication step of transmitting an operation signal detected in the manual operation detection step to the control target device using a communication means.
前記画像から所定の信号を基にした領域を基に抽出し、ノイズ除去を行って2値化する2値化補正ステップと、
この2値化補正ステップで得られた2値化画像領域の内部にあって、この2値化画像領域の輪郭までの距離が最大となる点を算出する距離算出ステップと、
この距離算出ステップからの距離最大点に対して、前記画像の中央部に近いほど大きく前記画像の端に近いほど小さい補正値を計算する中央重点補正ステップと、
この中央重点補正ステップの計算結果を基に前記手の領域とこの中心点とを判定する手領域判定ステップとを備える請求項8に記載の遠隔操作方法。 The hand region detection step includes
A binarization correction step of extracting from the image based on a predetermined signal based on a predetermined signal, performing noise removal, and binarizing;
A distance calculating step for calculating a point within the binarized image area obtained in the binarized correction step and having a maximum distance to the contour of the binarized image area;
A center emphasis correction step for calculating a correction value that is larger as it is closer to the center of the image and closer to the edge of the image, relative to the maximum distance point from the distance calculation step
The remote operation method according to claim 8, further comprising a hand region determination step of determining the hand region and the center point based on a calculation result of the center weight correction step.
前記手の領域の輪郭線に沿って輪郭の方向を求める輪郭方向算出ステップと、
この輪郭方向算出ステップで求められた輪郭の方向から手の領域の形を判定し、この形と動きと前記操作表示手段の表示とを基に手の操作を検出する手操作判定ステップとを備える請求項8に記載の遠隔操作方法。 The manual operation detection step includes:
A contour direction calculating step for obtaining a contour direction along the contour line of the hand region;
A hand operation determining step of determining the shape of the hand region from the contour direction obtained in the contour direction calculating step, and detecting a hand operation based on the shape, movement, and display of the operation display means. The remote control method according to claim 8.
前記手の領域の輪郭線に沿ってこの輪郭と前記手の領域の中心点との距離を算出する中心輪郭距離算出ステップと、
この中心輪郭距離算出ステップで算出された距離の極大点と極小点の関係から手の領域の形を判定し、この形と動きと前記操作表示手段の表示とを基に手の操作を検出する手操作判定ステップとを備える請求項8に記載の遠隔操作方法。 The manual operation detection step includes:
A center contour distance calculating step for calculating a distance between the contour of the hand region and a center point of the hand region;
The shape of the hand region is determined from the relationship between the maximum point and the minimum point of the distance calculated in the center contour distance calculating step, and the operation of the hand is detected based on the shape, the movement, and the display of the operation display means. The remote operation method according to claim 8, further comprising a manual operation determination step.
前記手の領域の形から選択の操作を、前記手の領域の形と前記手の領域の中心点の動きとから移動の操作とを検出する請求項12又は13のいずれかに記載の遠隔操作方法。 The manual operation detection step includes:
14. The remote operation according to claim 12, wherein a selection operation is detected from the shape of the hand region, and a movement operation is detected from the shape of the hand region and the movement of the center point of the hand region. Method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008243522A JP2010079332A (en) | 2008-09-24 | 2008-09-24 | Remote operation device and remote operation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008243522A JP2010079332A (en) | 2008-09-24 | 2008-09-24 | Remote operation device and remote operation method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010079332A true JP2010079332A (en) | 2010-04-08 |
Family
ID=42209747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008243522A Pending JP2010079332A (en) | 2008-09-24 | 2008-09-24 | Remote operation device and remote operation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010079332A (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012108762A (en) * | 2010-11-18 | 2012-06-07 | Sharp Corp | Instruction system and mouse system |
JP2012199812A (en) * | 2011-03-22 | 2012-10-18 | Olympus Imaging Corp | Imaging device |
JP2013200815A (en) * | 2012-03-26 | 2013-10-03 | Yahoo Japan Corp | Operation input device, operation input method, and program |
JP2013200784A (en) * | 2012-03-26 | 2013-10-03 | Yahoo Japan Corp | Operation input device, operation input method, and program |
JP2015038664A (en) * | 2011-12-27 | 2015-02-26 | 株式会社東芝 | Content reproduction device, content reproduction program, and content reproduction method |
US9075444B2 (en) | 2012-03-27 | 2015-07-07 | Sony Corporation | Information input apparatus, information input method, and computer program |
JP2015522195A (en) * | 2012-07-13 | 2015-08-03 | ソフトキネティック ソフトウェア | Method and system for simultaneous human-computer gesture-based interaction using unique noteworthy points on the hand |
US9250698B2 (en) | 2012-11-19 | 2016-02-02 | Sony Corporation | Image processing apparatus, image processing method, image capture apparatus and computer program |
JP2017068756A (en) * | 2015-10-01 | 2017-04-06 | 富士通株式会社 | Image processor, image processing method, and image processing program |
US9939909B2 (en) | 2013-09-12 | 2018-04-10 | Mitsubishi Electric Corporation | Gesture manipulation device and method, program, and recording medium |
US11294470B2 (en) | 2014-01-07 | 2022-04-05 | Sony Depthsensing Solutions Sa/Nv | Human-to-computer natural three-dimensional hand gesture based navigation method |
-
2008
- 2008-09-24 JP JP2008243522A patent/JP2010079332A/en active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012108762A (en) * | 2010-11-18 | 2012-06-07 | Sharp Corp | Instruction system and mouse system |
JP2012199812A (en) * | 2011-03-22 | 2012-10-18 | Olympus Imaging Corp | Imaging device |
JP2015038664A (en) * | 2011-12-27 | 2015-02-26 | 株式会社東芝 | Content reproduction device, content reproduction program, and content reproduction method |
JP2013200815A (en) * | 2012-03-26 | 2013-10-03 | Yahoo Japan Corp | Operation input device, operation input method, and program |
JP2013200784A (en) * | 2012-03-26 | 2013-10-03 | Yahoo Japan Corp | Operation input device, operation input method, and program |
US9075444B2 (en) | 2012-03-27 | 2015-07-07 | Sony Corporation | Information input apparatus, information input method, and computer program |
JP2015522195A (en) * | 2012-07-13 | 2015-08-03 | ソフトキネティック ソフトウェア | Method and system for simultaneous human-computer gesture-based interaction using unique noteworthy points on the hand |
CN105378593A (en) * | 2012-07-13 | 2016-03-02 | 索夫特克尼特科软件公司 | Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand |
US11513601B2 (en) | 2012-07-13 | 2022-11-29 | Sony Depthsensing Solutions Sa/Nv | Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand |
US9250698B2 (en) | 2012-11-19 | 2016-02-02 | Sony Corporation | Image processing apparatus, image processing method, image capture apparatus and computer program |
US9939909B2 (en) | 2013-09-12 | 2018-04-10 | Mitsubishi Electric Corporation | Gesture manipulation device and method, program, and recording medium |
US11294470B2 (en) | 2014-01-07 | 2022-04-05 | Sony Depthsensing Solutions Sa/Nv | Human-to-computer natural three-dimensional hand gesture based navigation method |
JP2017068756A (en) * | 2015-10-01 | 2017-04-06 | 富士通株式会社 | Image processor, image processing method, and image processing program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010079332A (en) | Remote operation device and remote operation method | |
US10007424B2 (en) | Mobile client device, operation method, recording medium, and operation system | |
US11687170B2 (en) | Systems, methods, and media for providing an enhanced remote control having multiple modes | |
US10070044B2 (en) | Electronic apparatus, image sensing apparatus, control method and storage medium for multiple types of user interfaces | |
US8237655B2 (en) | Information processing apparatus, method and program | |
JP5428436B2 (en) | Electronic device, display control method and program | |
US7728812B2 (en) | Portable electronic device, display method, program, and graphical user interface thereof | |
JP2010134629A (en) | Information processing apparatus and method | |
CN111897480B (en) | Playing progress adjusting method and device and electronic equipment | |
CN108476339B (en) | Remote control method and terminal | |
JP2004356819A (en) | Remote control apparatus | |
US20150261402A1 (en) | Multimedia apparatus, method of controlling multimedia apparatus, and program of controlling multimedia apparatus | |
US20110037731A1 (en) | Electronic device and operating method thereof | |
US10162423B2 (en) | Image display apparatus and operation method thereof | |
KR20150008769A (en) | Image display apparatus, and method for operating the same | |
US20130201128A1 (en) | Display control apparatus and control method of display control apparatus | |
KR20110138851A (en) | Controlling method a memu list and image displaying device thereof | |
JP2005260672A (en) | Portable terminal device | |
KR20130028431A (en) | Image display apparatus and method for operating the same |