JP2006235771A

JP2006235771A - 遠隔操作装置

Info

Publication number: JP2006235771A
Application number: JP2005046410A
Authority: JP
Inventors: Setsu Kenmochi; 節剱持
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2005-02-23
Filing date: 2005-02-23
Publication date: 2006-09-07

Abstract

【課題】複雑な画像認識処理を必要とせず、非常に簡単な構成かつ簡単な処理で、直感的な操作が可能な遠隔操作装置を提供する。
【解決手段】撮影装置１により操作者１１が撮影され、左右反転処理後の画像が表示装置９に表示される。操作者が表示された画像が複数の画像ブロックに分割され、分割されたブロック毎に画像のフレーム間の変化を示す動き量Ｄmnが算出され、動き量Ｄmnに応じて操作者のジェスチャが判別される。これにより、操作内容が認識され、対応する制御信号１９が生成される。
【選択図】図１

Description

本発明は、電子機器の遠隔操作装置に関し、特に撮影装置により撮影される操作者の画像に基づいて操作信号を生成するものに関する。

撮影装置により撮影される操作者の画像からハンドジェスチャ（手の動き）を検出し、検出した手の動きに応じた制御を行うジェスチャ認識システムが、特許文献１に示されている。このシステムでは、所定のハンドジェスチャの存在及び空間内の位置に応じてジェスチャ信号が生成され、ジェスチャ信号に応じて、スクリーン上にハンドアイコンが表示される。スクリーン上には、機械制御アイコンも表示され、ハンドアイコンが機械制御アイコンと重なったときに、該当する機械制御信号が生成される。

特許第２９４１２０７号公報

上記従来のシステムでは、ジェスチャ信号を生成するための画像認識処理が非常に複雑であり、システムが複雑化（演算処理が複雑化）して、低コストでの実現が困難であった。

本発明はこの点に着目してなされたものであり、複雑な画像認識処理を必要とせず、非常に簡単な構成かつ簡単な処理で、直感的な操作が可能な遠隔操作装置を提供することを目的とする。

上記目的を達成するため請求項１に記載の発明は、電子機器を遠隔操作する遠隔操作装置において、表示装置と、該表示装置の前に位置する操作者を撮影する撮影装置と、該撮影装置により撮影された操作者像を含む画像を鏡像変換させて前記表示装置に表示する操作者表示手段と、前記表示装置上に表示させる画像を前記電子機器の操作に対応した所定数の領域に分割し、分割された領域毎に直前の画像と現在の画像との変化を示す動き量を算出する動き量算出手段と、算出された動き量が所定の値以上の場合には操作があったと判別する判別手段と、該判別手段により判別された操作に対応して、操作信号を生成する操作信号生成手段とを備えることを特徴とする。

請求項１に記載の発明によれば、撮影装置により撮影された操作者像を含む画像が鏡像変換されて表示装置に表示され、表示装置上の画像が電子機器の操作に対応した所定数の領域に分割され、分割された領域毎に直前の画像と現在の画像との変化を示す動き量が算出される。算出された動き量が所定の値以上の場合には操作があったと判別され、判別された操作に対応して、電子機器の操作信号が生成される。分割された領域毎の動き量の算出及び動き量の大きい領域の位置の特定は比較的容易であり、操作ボタンに相当するものを分割された領域に対応して配置しておけば、動き量の大きい領域の位置と、操作ボタンの位置から、操作者が操作した操作ボタンを検出することできる。その結果、簡単な構成かつ簡単な処理で、正確な操作信号を生成することができる。

以下本発明の実施の形態を図面を参照して説明する。
（第１の実施形態）
図１は本発明の第１の実施形態にかかる遠隔操作装置を含む画像表示装置の構成を示すブロック図であり、図２はこの画像表示装置と、その操作者との関係を示す図である。この画像表示装置は、操作者１１を撮影する撮影装置１と、入力される画像信号を１フレームに対応する時間だけ遅延させる１フレーム遅延器２と、差分器２０と、差分器２０から出力される差分信号に応じて画像の動き量を算出する動き検出器３と、動き量に応じて操作者のジェスチャを判別するジェスチャ判別器１７と、判別されたジェスチャに応じた制御信号を発生する制御信号発生器４と、画像の左右を反転させる処理（鏡像変換処理）を行う左右反転器５と、左右反転器５から出力される画像信号と、視聴信号１０とを重畳する処理などを行うオンスクリーン装置７と、視聴信号１０と、オンスクリーン装置７から出力される重畳信号２１とを切り換えるスイッチ８と、スイッチ８から出力される画像信号を表示する表示装置９とを備えている。スイッチ８は、制御信号発生器から出力されるモード切替信号１８により切替られる。表示装置９は、制御信号発生器４から出力される制御信号１９により、例えば輝度や音量が制御される。

次にこの画像表示装置の動作を説明する。まず操作者１１は、図２に示すように表示装置９を視聴している状態から、遠隔操作を行いたい場合、手を振るなどのジェスチャを行い、図３に示すような操作モードに入る。この時、撮影装置１から入力された映像を１フレーム遅延器２と差分器２０によってフレーム差分をとり、動き検出器３によって動き座標を検出し、ジェスチャ判別器１７によってジェスチャ判別を行い、モード切替信号１８を発生させる。一方、撮影装置１から入力された映像は、左右反転器５によって左右反転処理をされ、オンスクリーン装置７により操作用のアイコン１３が重畳されるとともに、視聴信号１０と同時に表示できるように処理がおこなわれる。モード切替信号１８により、スイッチ８を視聴信号１０から重畳信号２１に切り替えると、図２に示す視聴信号１０の画面から、図３に示すように処理画面２１に切り替わり、操作モードとなる。この操作モードの状態で、操作者１１は、目的の操作アイコン１３に触るようにジェスチャを行うことで、目的の操作を行うことができる。撮影装置の映像は左右反転されているため、操作者は、鏡に映った自分を見ているように直感的にアイコンに触るジェスチャを行うことが可能である。また、しばらくジェスチャを行わないことによって、操作モードから通常モードに戻る。

次に動き検出器３について述べる。動き検出は、撮影映像１２の１画素単位でも可能であるが、１画素単位で処理を行うと処理量が増えてしまう欠点と、わずかな動きにも反応してしまうため、誤動作を起こしやすい欠点がある。そこで、まず、図４のように水平Ｘ画素、垂直Ｙ画素の撮影映像１２を、水平方向にＭ分割し、垂直方向にＮ分割することにより、（Ｍ×Ｎ）個の所定の画素ブロックに分割する。この画素ブロックの動き量を求めることによって、動きの検出を行う。画素ブロックの動き量は、画素ブロックを構成する画素のフレーム差分の絶対値｜ｄij｜を求め、その総和を算出することで求められ、その値を所定の閾値Ｔhと比較することによって動き検出を行う。ある画素ブロックの座標を（ｍ，ｎ）とすると、その画素ブロックの動き量Ｄmnは、下記式（１）によって表すことができる。この動き量Ｄmnが、下記式（２）の条件を満たす時、動きとして検出される。また、同時に画素ブロックの動き座標（ｍ，ｎ）も検出できる。

次にジェスチャ判別器１７について説明する。まず、操作モードに移行する時の、操作者１１が手を振っている場合を考える。図４の画素ブロック１５および画素ブロック１６に着目し、画素ブロック１５の動き量をＤ30、画素ブロック１６の動き量をＤ40とすると、手を振るジェスチャではＤ30とＤ40が交互に動きとして検出されるはずである。これを、図５のようなフローチャートによって検出し、手を振るジェスチャが判別される。

先ずカウンタｃ及びタイマｔの値を「０」に設定し（ステップＳ２５，Ｓ２６）、動き量Ｄ30が所定閾値Ｔhより大きく、かつ動き量Ｄ40が所定閾値Ｔhより小さい状態となるのを待つ（ステップＳ２７）。ステップＳ２７の条件が満たされると、カウンタｃの値が「０」、またはタイマｔの値が所定時間Ｔlimitより小さいか否かを判別する。この答が否定（ＮＯ）であるときは、手を振るジェスチャではないと判定してステップＳ２５に戻る。

ステップＳ２８の答が肯定（ＹＥＳ）であるときは、タイマｔを「０」に設定し、動き量Ｄ30が所定閾値Ｔhより小さく、かつ動き量Ｄ40が所定閾値Ｔhより大きい状態となるのを待つ（ステップＳ３０）。ステップＳ３０の条件が満たされると、タイマｔの値が所定時間Ｔlimitより小さいか否か判別する（ステップＳ３１）。この答が否定（ＮＯ）であるときは、手を振るジェスチャではないと判定してステップＳ２５に戻る。

ステップＳ３１の答が肯定（ＹＥＳ）であるときは、カウンタｃの値を「１」だけインクリメントし（ステップＳ３２）、カウンタｃの値が所定値Ｃlimitを超えたか否かを判別する。超えていないときはステップＳ２６に戻り、超えたときは、手を振るジェスチャと判定する（ステップＳ３４）。

日常生活を固定された撮影装置で撮影した場合、手を振る動作以外では、図５に示すような条件を満たすことはほとんどなく、また、所定時間Ｔlimitおよび所定値Ｃlimitの値を調整することによって、手を振っている動作を良好に認識することが可能である。操作モードの場合は、動き検出で検出した画素ブロックの動き座標と、操作アイコンの座標が一致した場合、操作されたと認識する。
制御信号発生装置４は、認識されたジェスチャに基づき、モード切替信号１８や制御信号（操作信号）１９を発生させ、スイッチ８および表示装置９の制御を行う。

以上のように本実施形態では、分割された画像ブロック毎に画像のフレーム間の変化を示す動き量Ｄmnが算出され、例えば隣り合う画素ブロック１５と１６に対応する動き量Ｄ30とＤ40の変化態様に応じて操作者の手を振るジェスチャが判別される。手を振るジェスチャが検出されると、操作モードに移行し、操作モードでは、動き量Ｄmnが所定閾値Ｔhを超えた画素ブロックの座標と、操作アイコンが配置されている画素ブロックの座標とが一致したとき、当該操作アイコンが操作されたことが検出され、その操作アイコンに対応する制御信号１９が生成される。したがって、特別な画像認識処理を必要とせず、簡単な構成かつ簡単な処理で、正確な操作信号を生成することができる。

（第２の実施形態）
図６は、本発明の第２の実施形態にかかる遠隔操作装置の構成を示すブロック図である。この装置は、制御信号発生器９から出力される制御信号（操作信号）１９を他の電子機器に供給して制御する場合に適用される。図６に示される装置は、図１に示される構成から、スイッチ８を削除し、制御信号１９を外部に出力するように構成されている。

本実施形態では、通常モードと操作モードを切り替える必要はなく、常に操作モードであり、表示装置９には、操作者とアイコンが表示されており、操作者は、アイコンを触るジェスチャを行うだけで操作したい機器の制御が可能である。

図７にこれを応用した具体的な例を示す。対面撮影が可能なビデオカメラ等に本発明の遠隔操作装置を内蔵し、制御信号１９を赤外線発信装置２２より発信することによって、赤外線受信機能を持つ機器を制御することが可能である。当然、制御信号１９を発信する装置は、赤外線発信装置以外に、無線発信装置による発信でもよい。あるいは、直接ワイヤ接続することによって、制御信号１９を供給するようにしてもよい。

上述した第１の実施形態の説明では、視聴者と操作者は同じとして説明したが、図８に示すように視聴者が複数で、すなわち視聴者１１と２３がおり、そのうちの一人である操作者１１が操作しようとした場合は、重畳する操作アイコン１３の大きさ、形、位置などを変えるようにすればよい。

本発明の第１の実施形態にかかる遠隔操作装置を含む画像表示装置の構成を示すブロック図である。画像表示装置と、その操作者との関係を示す図である。操作モードにおける表示画面を示す図である。画像の分割を説明するための図である。手を振るジェスチャを判別する処理のフローチャートである。本発明の第２の実施形態にかかる遠隔操作装置の構成を示す図である。図６に示す装置をビデオカメラに適用した例を示す図である。画像表示装置の複数の視聴者のうちの一人が操作する例を説明するための図である。

符号の説明

１撮影装置
２フレーム遅延器
３動き検出器（動き量算出手段）
４制御信号発生器（操作信号生成手段）
５左右反転器（操作者表示手段）
７オンスクリーン装置（操作者表示手段）
８スイッチ（操作者表示手段）
９表示装置
１１操作者
１７ジェスチャ判別器（判別手段）

Claims

電子機器を遠隔操作する遠隔操作装置において、
表示装置と、
該表示装置の前に位置する操作者を撮影する撮影装置と、
該撮影装置により撮影された操作者像を含む画像を鏡像変換させて前記表示装置に表示する操作者表示手段と、
前記表示装置上に表示させる画像を前記電子機器の操作に対応した所定数の領域に分割し、分割された領域毎に直前の画像と現在の画像との変化を示す動き量を算出する動き量算出手段と、
算出された動き量が所定の値以上の場合には操作があったと判別する判別手段と、
該判別手段により判別された操作に対応して、操作信号を生成する操作信号生成手段とを備えることを特徴とする遠隔操作装置。