JP2020025170A - 情報処理装置、検出方法、制御プログラム、記録媒体 - Google Patents

Abstract

【課題】ジェスチャ操作の検出精度を向上させる。【解決手段】情報処理装置（１）は、操作者がジェスチャ操作を行うとき、操作者の体の所定の部位が動作する領域を推定し、操作者の体の所定の部位が動作する領域が撮像可能であり、かつ所定の部位を所定の解像度以上にて撮像可能な位置にカメラ（３１）が移動するように移動機構（３５）を制御し、カメラ（３１）によって撮像された所定の部位の動作に基づいてジェスチャ操作を検出する。【選択図】図１

Description

本発明は、情報処理装置および検出方法に関する。

カメラで操作者が行うジェスチャ操作を撮像し、このジェスチャ操作に応じてロボットを動作させるさまざまな技術が開発されている。

例えば、特許文献１に開示されているロボットシステムでは、操作者を撮像した撮像情報に基づいて操作者のジェスチャを検出し、検出したジェスチャに関連付けられたロボット制御コマンドを特定し、該ロボット制御コマンドを操作者へ通知する通知画像を表示部に表示する。

特開２０１４−１０４５２７号公報

特許文献１に記載のロボットシステムでは、撮像された操作者の動きに基づいてジェスチャ操作に関連付けられたコマンドを特定する。しかし、操作者がカメラに近接しすぎていたり、離れすぎていたりする場合、操作者のジェスチャ操作を適切に撮像できず、ジェスチャ操作を精度良く検出できない、という問題が発生する。

本発明の一態様は、ジェスチャ操作の検出精度を向上させることができる情報処理装置および検出方法などを実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、操作者によるジェスチャ操作を検出する情報処理装置であって、前記操作者を撮像する少なくとも１つの撮像装置と、少なくとも１つの移動機構と、少なくとも１つの制御装置と、を備え、前記制御装置は、前記操作者が前記ジェスチャ操作を行うとき、前記操作者の体の所定の部位が動作する対象領域を推定し、前記撮像装置によって、前記対象領域が撮像可能であり、かつ前記所定の部位を所定の解像度以上にて撮像可能な位置に移動するように前記移動機構を制御し、前記位置から前記撮像装置によって撮像された前記所定の部位の動作に基づいて前記ジェスチャ操作を検出する。

また、上記の課題を解決するために、本発明の一態様に係る検出方法は、撮像装置によって撮像された操作者のジェスチャ操作を検出する検出方法であって、前記操作者が前記ジェスチャ操作を行うとき、前記操作者の体の所定の部位が動作する対象領域を推定する推定工程と、前記撮像装置によって、前記対象領域が撮像可能であり、かつ前記所定の部位を所定の解像度以上にて撮像可能な位置に移動する移動工程と、前記位置から前記撮像装置によって撮像された前記所定の部位の動作に基づいて前記ジェスチャ操作を検出する検出工程と、を含む。

本発明の一態様によれば、操作者のジェスチャ操作の検出精度を向上させることができる。

本発明の実施形態１に係る情報処理装置の概略構成の一例を示すブロック図である。 情報処理装置が操作者のジェスチャ操作を検出する動作の一例について説明する概念図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 情報処理装置が操作者のジェスチャ操作を検出する処理の流れの一例を示すフローチャートである。 情報処理装置が操作者のジェスチャ操作を検出するために移動する例を説明する図である。 ジェスチャ操作を検出するための対象領域の一例を説明する図である。 本発明の実施形態２に係る情報処理装置の概略構成の一例を示すブロック図である。 情報処理装置の処理の流れの一例を示すフローチャートである。 情報処理装置の動作の一例を説明する図である。 情報処理装置の動作の他の一例を説明する図である。 情報処理装置の処理の流れの一例を示すフローチャートである。 情報処理装置の動作の一例を説明する図である。

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。

（情報処理装置１によるジェスチャ操作の検出）
情報処理装置１は、操作者Ｐを撮像する少なくとも１つのカメラ３１（撮像装置）と、少なくとも１つの移動機構３５と、少なくとも１つの制御部１０（制御装置）と、を備えている（図１参照）。情報処理装置１は、カメラ３１によって操作者Ｐの動作を撮像するために好適な位置まで自律的に移動し、操作者Ｐのジェスチャ操作を検出する機能を有する。

情報処理装置１は、これらに限定されるものではないが、例えば、（１）タイヤ、キャタビラ、および／または歩行用の脚などを移動機構３５として備える自律走行あるいは自立歩行可能なロボット、（２）プロペラなどを移動機構３５として備える自律飛行可能なロボット、および（３）スクリューなどを移動機構３５として備える自律航行可能なロボット、などであってもよい。あるいは、情報処理装置１は、上記（１）〜（３）に記載の移動機構３５のうちの複数を備えるロボットであってもよい。

まず、ジェスチャ操作の検出方法について図２を用いて説明する。図２は、情報処理装置１が操作者Ｐのジェスチャ操作を検出する動作の一例について説明する概念図である。

カメラ３１を搭載した情報処理装置１は、カメラ３１によって操作者Ｐを撮像する。しかし、カメラ３１と操作者Ｐとの間の距離が近すぎる場合、カメラ３１が撮像する領域Ｒ１には、操作者Ｐの体の所定の部位（例えば、手Ｐ１）が動作する領域（以下、対象領域と記す）の一部しか含まれない。なお、以下では、所定の部位が操作者Ｐの手Ｐ１である場合を例に挙げて説明するが、これに限定されない。例えば、所定の部位は、操作者Ｐの脚、および顔（例えば、目および口など）などであってもよい。

領域Ｒ１の大きさは、カメラ３１の画角と、カメラ３１と操作者Ｐとの間の距離とに依存する。すなわち、カメラ３１と操作者Ｐとがより近づけば領域Ｒ１は小さくなり、カメラ３１と操作者Ｐとがより離れれば領域Ｒ１は大きくなる。他方、カメラ３１が操作者Ｐから適切な距離より遠くに離れてしまうと、カメラ３１によって撮像される領域Ｒ１の解像度が低下する。領域Ｒ１の解像度が所定の解像度より低下すると、ジェスチャ操作において所定の部位を動かすことよって行われるジェスチャ操作を精度良く検出することができない。

そこで、情報処理装置１は、図２に示すように、操作者Ｐによるジェスチャ操作を検出するための撮像を行うために、操作者Ｐの手Ｐ１が動作する対象領域Ｒ２を推定し、カメラ３１によって対象領域Ｒ２が撮像可能であり、かつ操作者Ｐの手Ｐ１を所定の解像度以上にて撮像可能な位置へと自律的に移動する。ジェスチャ操作毎に操作者Ｐの手Ｐ１の動きは異なる。それゆえ、所定の解像度は、操作者Ｐの手Ｐ１の動きを判別可能な解像度であればよい。

図２では、操作者Ｐに近い位置に存在していた情報処理装置１が、操作者Ｐから遠ざかる方向に自律的に移動し、操作者Ｐによるジェスチャ操作を着実に検出する場合を例に挙げて説明した。反対に、情報処理装置１が操作者Ｐから遠く離れた位置に存在する場合であっても同様である。すなわち、情報処理装置１が操作者Ｐから遠く離れた位置に存在する場合、情報処理装置１は、操作者Ｐに近づく方向に自律的に移動し、操作者のジェスチャ操作を検出する。

操作者Ｐによるジェスチャ操作を検出した情報処理装置１は、検出したジェスチャ操作に関連付けられた制御コマンドを特定する。なお、情報処理装置１は、特定したコマンドに従って情報処理装置１自身が動作する構成であってもよいし、特定した制御コマンドを、情報処理装置１とは別の作業機器に送信する構成であってもよい。

このように、情報処理装置１は、自装置と操作者Ｐとの間の距離が、操作者のジェスチャ操作を検出するために適切な距離範囲内となる位置へ自律的に移動して操作者を撮像する。これにより、情報処理装置１は、操作者Ｐのジェスチャ操作を精度良く検出することができる。

（情報処理装置１の構成）
次に、情報処理装置１の構成について、図１および図３を用いて説明する。図１は、情報処理装置１の概略構成の一例を示すブロック図である。図３は、情報処理装置１のハードウェア構成の一例を示すブロック図である。

情報処理装置１は、情報処理装置１の各部を統括して制御する制御部１０、情報処理装置１が使用する各種データを記憶する記憶部２０を備えている。また、情報処理装置１は、さらに、カメラ３１、測距センサ３２、移動機構制御部３３、および移動機構３５を備えている。

＜カメラ３１＞
カメラ３１は、情報処理装置１に搭載され、情報処理装置１の周囲を撮像可能なカメラである。より具体的には、カメラ３１は、デジタルカメラまたはデジタルビデオである。なお、カメラ３１は、焦点距離が固定のレンズを備えていてもよいし、倍率が可変のレンズ（例えば、ズームレンズ）を備えていてもよい。カメラ３１は、パン、チルト、ズーム機能を有している、いわゆるＰＴＺカメラであってもよい。

情報処理装置１は、自身が回転することによってカメラ３１の向きを変更する構成であってもよいし、カメラ３１の向きを調整するための向き調整部（図示せず）をさらに備える構成であってもよい。

＜測距センサ３２＞
測距センサ３２は、測距対象物（例えば、操作者Ｐなど）と情報処理装置１との間の距離を測定するためのセンサである。測距センサ３２は、例えば、赤外線などを利用するレーザセンサであってもよい。

なお、情報処理装置１は、例えば、カメラ３１によって撮像された撮像画像に基づいて、カメラ３１と操作者Ｐとの間の距離を推定する構成であってもよく、この場合、測距センサ３２を備える必要は無い。より具体的には、情報処理装置１は、カメラ制御部１１がカメラ３１の焦点を調節する機能を利用して、制御部１０がカメラ３１から撮像された操作者Ｐまでの距離を推定する構成であってもよい。図１および図３は、測距センサ３２を備える情報処理装置１の構成例を示している。

＜記憶部２０＞
図１の記憶部２０は、図３のＲＯＭ２０１に対応している。図３のＲＯＭは、情報処理装置１が備える各部の操作を制御するための動作プログラムを記憶している。一方、図３のＲＡＭ２０２は、情報処理装置１の動作に利用される撮像画像などのデータを一時的に格納するためのワーキングメモリである。

図１の記憶部２０は、カメラ仕様２１、およびジェスチャ操作リスト２２を備えている。

カメラ仕様２１は、カメラ３１の画角、および解像度などの性能に関する情報を記憶している。なお、カメラ３１が交換可能である場合、カメラ仕様２１は、情報処理装置１が搭載し得るすべてのカメラ３１の性能に関する情報を記憶しており、制御部１０が情報処理装置１に実装されているカメラ３１の性能に関する情報を取得する構成であってもよい。

ジェスチャ操作リスト２２は、情報処理装置１が検出対象とするジェスチャ操作に関連付けられた制御コマンドに関するリストである。より具体的には、ジェスチャ操作リスト２２は、操作者Ｐの手Ｐ１の動作パターンと、動作パターン毎に関連付けられた制御コマンドとの対応関係を規定するリストである。

＜制御部１０＞
図１の制御部１０は、図３のＣＰＵ１００に対応している。

制御部１０は、カメラ制御部１１、対象検出部１２、領域推定部１３、位置判定部１４、および操作検出部１５を備えている。

カメラ制御部１１は、カメラ３１による撮像開始、撮影時の焦点調節、露光調節、および撮像停止などを制御する。また、カメラ制御部１１は、カメラ３１の撮像方向を制御して、操作者Ｐを捜索するために周囲を撮像するようカメラ３１を制御する。さらに、カメラ制御部１１は、カメラ３１によって撮像された撮像画像のデータを取得する。

対象検出部１２は、公知の画像認識技術を適用して、カメラ制御部１１が取得した撮像画像に、操作者Ｐの体の少なくとも一部が写っているか否かを確認する。操作者Ｐが写っている場合、対象検出部１２は、撮像画像中の操作者Ｐに対応する領域を抽出する。操作者Ｐが写っていない場合、対象検出部１２は、カメラ３１によって周囲の撮像を継続させるようカメラ制御部１１に指示する。

領域推定部１３は、対象検出部１２によって抽出された操作者Ｐに対応する領域に基づいて、操作者Ｐがジェスチャ操作を行うとき、操作者Ｐの手Ｐ１が動作する対象領域Ｒ２を推定する。なお、領域推定部１３は、抽出された操作者Ｐに対応する領域に基づいて、操作者Ｐの体の中心軸Ｌ（図６参照）を決定し、操作者Ｐの体の傾きを推定してもよい。領域推定部１３が、対象領域Ｒ２を推定する方法については、後に説明する。

位置判定部１４は、測距センサ３２によって測定された、カメラ３１と操作者Ｐとの間の距離が、操作者Ｐのジェスチャ操作を検出するために適した距離範囲内か否かを判定する。すなわち、現在、操作者Ｐのジェスチャ操作を検出するために適した位置にカメラ３１が存在するか否かを判定する。操作者Ｐのジェスチャ操作を検出するために適した位置とは、カメラ３１によって対象領域Ｒ２が撮像可能であり、かつ操作者Ｐの手Ｐ１を所定の解像度以上にて撮像可能な位置である。操作者Ｐのジェスチャ操作を検出するために適した、カメラ３１と操作者Ｐとの間の距離範囲は、対象領域Ｒ２の大きさ、カメラ３１の解像度、およびカメラ３１の画角に基づいて算出される。

現在、操作者Ｐのジェスチャ操作を検出するために適した位置にカメラ３１が存在している場合、位置判定部１４は、カメラ３１によって操作者Ｐの手Ｐ１の動作の撮像をさせるようカメラ制御部１１に指示する。一方、現在、操作者Ｐのジェスチャ操作を検出するために適した位置にカメラ３１が存在していない場合、位置判定部１４は、移動機構制御部３３に対して、移動機構３５によって適した位置まで移動するよう指示する。

操作検出部１５は、操作者Ｐのジェスチャ操作を検出するために適した位置にて撮像された操作者Ｐの手Ｐ１の動作を検出し、検出した動作がジェスチャ操作リスト２２に含まれているか否かを確認する。検出した動作がジェスチャ操作リスト２２に含まれている場合、操作検出部１５は、ジェスチャ操作リスト２２に基づいて、検出した手Ｐ１の動作に関連付けられている制御コマンドを決定する。なお、操作検出部１５は、ジェスチャ操作を検出するときに、カメラ制御部１１に対して、カメラ３１のレンズの倍率変更を指示して、ジェスチャ操作を行っている操作者Ｐの手Ｐ１を撮像するように指示してもよい。

＜移動機構制御部３３＞
移動機構制御部３３は、移動機構３５の起動／停止などを制御する集積回路（ＩＣチップ）等に形成された論理回路である。なお、図１および図３に示す構成に限定されず、制御部１０（図３のＣＰＵ１００）が移動機構制御部３３の機能を備え、移動機構３５の起動／停止などの制御をソフトウェアであるプログラムの命令によって実現する構成であってもよい。

＜移動機構３５＞
移動機構３５は、情報処理装置１を移動させるための移動手段であり、タイヤ、キャタビラ、歩行用の脚、プロペラ、スクリューなど、およびこれらを動かすための１または複数の、任意の動力発生機を含んでいる。図１には、例示的に、第１モーター３５１、第２モーター３５２、第３モーター３５３、・・・を含む移動機構３５を示している。

＜通信部３６＞
通信部３６は、情報処理装置１と別の作業機器（図示せず）などとの間のデータ送受信を行うためのものである。例えば、操作検出部１５によって決定された制御コマンドは、通信部３６を介して別の作業機器に送信される。

なお、図１に示す情報処理装置１は、情報処理装置１が検出したジェスチャ操作に関連付けられた制御コマンドを、通信部３６を介して別の作業機器に送信する構成例を示している。しかし、これに限定されない、例えば、情報処理装置１が検出したジェスチャ操作に関連付けられた制御コマンドに応じて所定の処理を実行する処理実行部（図示せず）を備えていてもよい。

（情報処理装置１の処理の流れ）
続いて、情報処理装置１の処理の流れについて、図４および図５を用いて説明する。図４は、情報処理装置１が操作者Ｐのジェスチャ操作を検出する処理の流れの一例を示すフローチャートであり、図５は、情報処理装置１が操作者Ｐのジェスチャ操作を検出するために移動する例を説明する図である。なお、図５では、固定の画角Ａを有するカメラ３１を搭載した情報処理装置１を例に挙げて示している。

まず、カメラ制御部１１は、カメラ３１によって自装置の周囲の撮像を開始する（ステップＳ１）。次に、対象検出部１２は、公知の画像認識技術を適用して、周囲を撮像した撮像画像に、操作者Ｐの体の少なくとも一部が写っているか否かを確認する。図５の（ａ）に示すように、操作者Ｐが写っている場合（すなわち、カメラ３１によって撮像される領域Ｒ１に操作者Ｐの方らの一部が含まれる場合）（ステップＳ２にてＹＥＳ）、対象検出部１２は、撮像画像中の操作者Ｐに対応する領域を抽出する。操作者Ｐが写っていない場合、あるいは、撮像画像中の操作者Ｐに対応する領域を抽出できない場合（ステップＳ２にてＮＯ）、ステップＳ１に戻り、カメラ制御部１１は、カメラ３１によって周囲の撮像と操作者Ｐの捜索とを継続する。

次に、領域推定部１３は、操作者Ｐがジェスチャ操作を行うとき、操作者Ｐの手Ｐ１またはＰ２が動作する対象領域Ｒ２を推定する（ステップＳ３：推定工程）。

位置判定部１４は、測距センサ３２によって測定された、カメラ３１と操作者Ｐとの間の距離を取得し（ステップＳ４）、現在のカメラ３１と操作者Ｐとの間の距離が、対象領域Ｒ２を撮像するために適した距離範囲内か否かを判定する（ステップＳ５）。図５の（ａ）には、カメラ３１と操作者Ｐとの間の距離ｄ１が、対象領域Ｒ２を撮像するために適した距離よりも短いため、操作者Ｐの手Ｐ１およびＰ２が撮像できていない場合を例示している。

現在のカメラ３１と操作者Ｐとの間の距離が、ジェスチャ操作を検出するために適した距離範囲内ではない場合、位置判定部１４は、移動機構制御部３３に対して、移動機構３５によって適した位置まで移動するよう指示する。これにより、情報処理装置１は移動して、カメラ３１と操作者Ｐとの間の距離を調整し（ステップＳ６：移動工程）、ステップＳ４に戻り、カメラ３１と操作者Ｐとの間の距離を確認する。図５の（ｂ）は、距離を調整した結果、現在のカメラ３１と操作者Ｐとの間の距離ｄ２が、対象領域Ｒ２を撮像するために適した距離範囲内になり、操作者Ｐの手Ｐ１および手Ｐ２の動作が撮像可能となっている様子を示している。

なお、操作者Ｐが移動した場合、ステップＳ６の後に測定されたカメラ３１と操作者Ｐとの間の距離が未だジェスチャ操作を検出するために適した距離範囲内ではない場合があり得る。このような場合においても、情報処理装置１は、移動する操作者Ｐに追従して移動して、操作者Ｐのジェスチャ操作を検出することができる。

一方、現在のカメラ３１と操作者Ｐとの間の距離が、ジェスチャ操作を検出するために適した距離範囲内である場合（ステップＳ５にてＹＥＳ）、位置判定部１４は、カメラ３１によって操作者Ｐの手Ｐ１の動作の撮像をさせるようカメラ制御部１１に指示する（ステップＳ７）。

次に、操作検出部１５は、ステップＳ７にて撮像された操作者Ｐのジェスチャ操作を検出する（ステップＳ８：検出工程）。

情報処理装置１は、カメラ３１と操作者Ｐとの間の距離が、操作者Ｐのジェスチャ操作を検出するために適切な距離範囲内となる距離となる位置へ自律的に移動するため、操作者Ｐのジェスチャ操作を精度良く検出することができる。

＜対象領域Ｒ２の推定方法＞
ここでは、対象領域Ｒ２の推定方法について、図６を用いて説明する。図６は、ジェスチャ操作を検出するための対象領域Ｒ２の一例を説明する図である。なお、図６では、ジェスチャ操作において動作する所定の部位が操作者Ｐの手Ｐ１およびＰ２である場合を例に挙げて説明するが、これに限定されない。例えば、操作者Ｐの片方の手（例えばＰ１）であってもよいし、操作者の顔、および脚などであってもよい。すなわち、推定される対象領域Ｒ２は、情報処理装置１の検出対象となるジェスチャ操作において、動作する部位に応じて適宜変更され得る。

領域推定部１３は、対象領域Ｒ２を一般的な体形の統計データに基づいて推定する。体型の統計データとしては、例えば、（一般社団法人）人間生活工学研究センターから発行されている「日本人の人体寸法データベース」などが適用され得る。この「日本人の人体寸法データベース」には、一般的な日本人の肩幅、手の長さ、上腕長、頭幅などの統計データが含まれている。

領域推定部１３は、対象検出部１２によって抽出された操作者Ｐが撮像された領域における、中心軸Ｌを決定する。また、領域推定部１３は、日本人の人体寸法データベースの頭幅または肩幅のデータと、上腕長のデータとの比率に基づいて、操作者Ｐが両腕を横方向に広げた場合に手Ｐ１およびＰ２が届く範囲を推定する。

このように、「日本人の人体寸法データベース」などのデータベースを参照すれば、領域推定部１３は、操作者Ｐの中心軸Ｌから左右に距離ｍだけ離れた位置までを含む対象領域Ｒ２を推定することができる。

なお、この方法で推定される対象領域Ｒ２はあくまでも一般的な日本人の人体寸法に基づいているため、操作者Ｐの上腕長が一般的な日本人より長い場合、推定された対象領域Ｒ２では手Ｐ１およびＰ２の先が撮像されない虞がある。そこで、領域推定部１３は、手Ｐ１およびｂＰ２が動作する領域の上下および左右の幅を一定割合（例えば、５〜１０％）拡大させた領域を、対象領域Ｒ２として推定することが望ましい。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

操作者Ｐの姿勢は立位、または座位であるとは限らず、壁などにもたれかかっていて傾いた姿勢（体軸Ｌ３が重力方向に平行ではない姿勢）であったり、臥位であったりすることも考えられる。情報処理装置１ａは、操作者Ｐの体軸Ｌ３が重力に平行な方向から傾いている場合であっても、操作者Ｐのジェスチャ操作を精度良く検出することが可能である。

（情報処理装置１ａの構成）
情報処理装置１ａの構成について、図７を用いて説明する。図７は、情報処理装置１ａの概略構成の一例を示すブロック図である。情報処理装置１ａは、カメラ３１の撮像方向を制御する機構である向き調整部３９、およびカメラ３１の傾きなどを監視するためのジャイロセンサ３７、加速度センサ３８を備えている。また、情報処理装置１ａは、位置判定部１４の代わりに位置・傾き判定部１４ａを備える点で、情報処理装置１と異なっている。

向き調整部３９は、カメラ３１の撮像方向を調整するための機構である。向き調整部３９はカメラ制御部１１によって制御される。向き調整部３９を作動させることにより、カメラ３１の撮像方向を水平方向および垂直方向に調整することができる。例えば、向き調整部３９によって、カメラ３１の撮像方向を操作者Ｐの片方の手Ｐ１の方へ水平方向に調整したり、臥位の操作者Ｐに向けるためにカメラ３１の撮像方向を下方に調整したりすることが可能である。向き調整部３９は、カメラ３１を、撮像方向Ｌ１を回転軸として回転させる機構を含んでいてもよい。

位置・傾き判定部１４ａは、測距センサ３２によって測定された、カメラ３１と操作者Ｐとの間の距離が、操作者Ｐのジェスチャ操作を検出するために適した距離範囲内か否かを判定する。また、位置・傾き判定部１４ａは、領域推定部１３によって推定された操作者Ｐの体軸Ｌ３の傾きを検出し、操作者Ｐの体軸Ｌ３とカメラ３１の撮像方向Ｌ１とのなす角度が所定の範囲内（例えば、６０°〜１２０°）か否かを判定する。なお、体軸Ｌ３とは、操作者Ｐの頭部および胴部の中心を通る軸を意図している。

操作者Ｐの体軸Ｌ３とカメラ３１の撮像方向Ｌ１とのなす角度が所定の範囲内である場合、位置・傾き判定部１４ａは、カメラ３１によって操作者Ｐの動作または操作者Ｐの手Ｐ１の動作を撮像するように、カメラ制御部１１に指示する。一方、操作者Ｐの体軸Ｌ３とカメラ３１の撮像方向Ｌ１とのなす角度が所定の範囲内ではない場合には、位置・傾き判定部１４ａは、カメラ制御部１１に対して、操作者Ｐの体軸Ｌ３とカメラ３１の撮像方向Ｌ１とのなす角度が所定の範囲内となるようにカメラ３１の向きを調整するよう指示する。

なお、位置・傾き判定部１４ａによって操作者Ｐの体軸Ｌ３の傾きが検出された場合、位置・傾き判定部１４ａがカメラ制御部１１に対して、操作者Ｐの体軸Ｌ３の傾きと同じ角度だけカメラ３１を回転させるように指示する構成であってもよい。あるいは、位置・傾き判定部１４ａが操作検出部１５に対して、操作者Ｐの体軸Ｌ３の傾きと同じ角度だけ撮像画像のデータを操作者Ｐの体軸Ｌ３の傾きと反対方向に回転・補正してジェスチャ操作を検出するように指示する構成であってもよい。

このような構成をさらに備えることにより、情報処理装置１ａは、体軸Ｌ３が重力に平行ではない姿勢の操作者Ｐによって行われるジェスチャ操作であっても、精度良く検出することが可能である。

（情報処理装置１ａの処理の流れ）
次に、情報処理装置１ａの処理の流れについて、図８および図９を用いて説明する。図８は、情報処理装置１ａが操作者Ｐのジェスチャ操作を検出する処理の流れの一例を示すフローチャートであり、図９は、情報処理装置１ａが操作者Ｐのジェスチャ操作を検出するために移動する例を説明する図である。なお、ステップＳ１〜Ｓ５は、図４と同様であるため、その説明を繰り返さない。

カメラ３１と操作者Ｐとの間の距離が、ジェスチャ操作を検出するために適した距離範囲内ではない場合、位置判定部１４は、移動機構制御部３３に対して、移動機構３５によって適した位置まで移動するよう指示する。これにより、情報処理装置１ａは移動して、カメラ３１と操作者Ｐとの間の距離を調整する（ステップＳ６：移動工程）。

現在のカメラ３１と操作者Ｐとの間の距離が、ジェスチャ操作を検出するために適した距離範囲内である場合（ステップＳ５にてＹＥＳ）、位置・傾き判定部１４ａは、領域推定部１３によって推定された操作者Ｐの体の傾きを確認し（ステップＳ６１）、カメラ３１の撮像方向がジェスチャ操作の検出に適した方向か否かを判定する（ステップＳ６２）。

カメラ３１の撮像方向がジェスチャ操作の検出に適した方向ではない場合（ステップＳ６２にてＮＯ）、位置・傾き判定部１４ａは、カメラの向きを操作者Ｐの体の向きに合わせるようカメラ制御部１１に指示する。カメラ制御部１１が位置・傾き判定部１４ａからの指示に応じて、向き調整部３９を制御し、操作者Ｐの体軸Ｌ３とカメラ３１の撮像方向Ｌ１とのなす角度が所定の範囲内となるようにカメラ３１の向きを調整し（ステップＳ６３）、ステップＳ６１に戻る。なお、ジェスチャ操作において動作する所定の部位が片方の手Ｐ１のみである場合、領域推定部１３は、手Ｐ１が動作する領域を対象領域Ｒ２として推定することも可能である。この場合、対象領域Ｒ２が撮像可能であり、かつ所定の解像度以上にて手Ｐ１が撮像可能なようにカメラ３１の撮像方向を調整すればよい。

一方、カメラ３１の撮像方向がジェスチャ操作の検出に適した方向である場合（ステップＳ６２にてＹＥＳ）、位置・傾き判定部１４ａは、カメラ３１によって操作者Ｐの手Ｐ１の動作の撮像をさせるようカメラ制御部１１に指示する（ステップＳ７）。

次に、操作検出部１５は、ステップＳ７にて撮像された操作者Ｐのジェスチャ操作を検出する（ステップＳ８：検出工程）。

図９の（ａ）には、カメラ３１と傾いた姿勢の操作者Ｐとの間の距離ｄ３が、対象領域Ｒ２を撮像するために適した距離範囲内よりも短いため、操作者Ｐの手Ｐ１およびＰ２が撮像できていない場合を例示している。この場合、情報処理装置１ａは、操作者Ｐから遠ざかる方向に移動する。

しかし、カメラ３１と操作者Ｐとの間の距離が、対象領域Ｒ２を撮像するために適した距離範囲内である距離ｄ４になったとしても、操作者Ｐの体軸Ｌ３が傾いているために、操作者Ｐの体軸Ｌ３とカメラ３１の撮像方向Ｌ１とのなす角度Ｂ１が所定の範囲内ではなく、手Ｐ１およびＰ２の動作によるジェスチャ操作が正しく検出できない可能性がある。そこで、情報処理装置１ａは、図９の（ｂ）に示すように、操作者Ｐの体軸Ｌ３とカメラ３１の撮像方向Ｌ１とのなす角度が所定の範囲内である角度Ｃ１となるように調整する。これにより、カメラ３１によって対象領域Ｒ２が撮像可能であり、かつ所定の解像度以上にて手Ｐ１が撮像可能となる。図９の（ｂ）に示す例では、情報処理装置１ａは、カメラ３１の撮像方向Ｌ１を、仰向けで後方に傾いている姿勢の操作者Ｐを見下ろすように撮像できる向きに調整する。

〔変形例〕
情報処理装置１ａが空中または水中を自律移動する場合、情報処理装置１ａは上方あるいは下方に存在する操作者Ｐのジェスチャ操作を検出することとなる。情報処理装置１ａは、（１）カメラ３１と操作者Ｐとの間の距離がジェスチャ操作を検出するために適した距離範囲内となるように移動し、（２）操作者Ｐの体軸Ｌ３とカメラ３１の撮像方向Ｌ１とのなす角度が所定の範囲内となるようにカメラ３１の向きを調整することができる。それゆえ、情報処理装置１ａは、操作者Ｐのジェスチャ操作を精度良く検出することができる。このことについて、図１０を用いて説明する。図１０は、情報処理装置１ａが操作者Ｐのジェスチャ操作を検出するために移動する他の例を説明する図である。

図１０の（ａ）では、情報処理装置１ａのカメラ３１と操作者Ｐとの間の距離ｄ５は、操作者Ｐの手Ｐ１の動作を撮像するために適した距離範囲内であるものの、操作者Ｐの体軸Ｌ３とカメラ３１の撮像方向Ｌ１とのなす角度Ｂ２が所定の範囲内ではない。それゆえ、操作者Ｐの手Ｐ１の動作によるジェスチャ操作を精度良く検出することが困難である。

そこで、情報処理装置１ａは、図１０の（ｂ）に示すように、操作者Ｐの体軸Ｌ３とカメラ３１の撮像方向Ｌ１とのなす角度が所定の範囲内である角度Ｃ２となるように調整する。なお、この場合、情報処理装置１ａは、カメラ３１の撮像方向の調整に加え、飛行している高度を変更する構成であってもよい。これにより、カメラ３１によって対象領域Ｒ２が撮像可能であり、かつ所定の解像度以上にて手Ｐ１が撮像可能となる。図１０の（ｂ）に示す例では、情報処理装置１ａは、カメラ３１の撮像方向Ｌ１を、操作者Ｐを見下ろすように撮像できる向きに調整するとともに、飛行高度を低くしている。なお、情報処理装置１ａのカメラ３１と操作者Ｐとの間の距離ｄ６は、距離ｄ５と同様、操作者Ｐの手Ｐ１の動作を撮像するために適した距離範囲内である。

〔実施形態３〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

（情報処理装置１、１ａの処理の流れ）
情報処理装置１、１ａは、複数の操作者Ｐのうちのある操作者Ｐのジェスチャ操作を検出する構成であってもよい。このような場合の情報処理装置１、１ａの処理の流れについて、図１１および図１２を用いて説明する。図１１は、情報処理装置１、１ａの処理の流れの一例を示すフローチャートであり、図１２は、情報処理装置１、１ａの動作の一例を説明する図である。なお、ここでは、情報処理装置１、１ａに搭載されたカメラ３１が、パン、チルト、ズーム機能を有している、いわゆるＰＴＺカメラである場合を例に挙げて説明する。

まず、カメラ制御部１１は、操作者をカメラ３１によって自装置の周囲の撮像を開始する（ステップＳ１０１）。次に、対象検出部１２は、公知の画像認識技術を適用して、周囲を撮像した撮像画像に、１人以上の操作者Ｐが写っているか否かを確認する。操作者Ｐが写っていない場合、あるいは、撮像画像中の操作者Ｐに対応する領域を抽出できない場合（ステップＳ１０２にてＮＯ）、ステップＳ１０１に戻り、カメラ制御部１１は、カメラ３１によって周囲の撮像と操作者Ｐの捜索とを継続する。

図１２の（ａ）に示すように、操作者Ｐが写っている場合（ステップＳ１０２にてＹＥＳ）、対象検出部１２はカメラ制御部１１に対して、カメラ３１の画角をズームアウト画角に変更させるように指示する。カメラ制御部１１は対象検出部１２からの指示に応じて、操作者Ｐの周囲に存在する他の操作者Ｐも撮像されるようにカメラ３１の画角を制御する。対象検出部１２は、ズームアウト画角にて撮像された撮像画像に写っている各操作者Ｐに対応する領域を抽出する（ステップＳ１０３）。

次に、領域推定部１３は、各操作者Ｐがジェスチャ操作を行うとき、操作者Ｐの手Ｐ１またはＰ２が動作する対象領域Ｒ２を推定する（ステップＳ１０３Ａ：推定工程）。

位置判定部１４は、測距センサ３２によって測定された、カメラ３１と各操作者Ｐとの間の距離を取得し（ステップＳ１０４）、現在のカメラ３１と各操作者Ｐとの間の距離が、対象領域Ｒ２を撮像するために適した距離範囲内の操作者Ｐをジェスチャ操作の検出対象として設定する（ステップＳ１０５）。対象検出部１２は、ジェスチャ操作の検出対象として設定された操作者Ｐがフレームアウトするか否かを随時確認する（ステップＳ１０６）。ジェスチャ操作の検出対象として設定された操作者Ｐがフレームアウトした場合（ステップ１０６にてＮＯ）、情報処理装置１、１ａは、当該操作者Ｐの移動に合わせて移動し、カメラ３１の撮像方向を調整する。

ジェスチャ操作の検出対象として設定された操作者Ｐがフレームアウトしない場合（ステップＳ１０６にてＹＥＳ）、対象検出部１２は、ジェスチャ操作の検出対象として設定された操作者Ｐが撮像画像中にまだ残存していることを確認する（ステップＳ１０８）。

ジェスチャ操作の検出対象として設定された操作者Ｐがフレームアウトした場合（ステップＳ１０６にてＮＯ）、情報処理装置１、１ａは、該操作者Ｐに追従して移動し、撮像方向を調整する（ステップＳ１０７：移動工程）。

ジェスチャ操作の検出対象として設定された操作者Ｐが残存している場合（ステップＳ１０８にてＹＥＳ）、操作検出部１５は、当該操作者Ｐのジェスチャ操作を検出する（ステップＳ１０９：検出工程）。一方、ジェスチャ操作の検出対象として設定された操作者Ｐが残存していない場合（ステップＳ１０８にてＮＯ）、ステップＳ１０１に戻り、情報処理装置１、１ａは、操作者Ｐの捜索をやり直す。

このように、情報処理装置１、１ａは、カメラ３１によって撮像された複数の操作者Ｐのうち、対象領域Ｒ２が撮像可能であり、かつ手Ｐ１などの所定の部位を所定の解像度以上にて撮像可能な位置に存在する操作者Ｐのジェスチャ操作を検出する。これにより、複数の操作者Ｐのうちのある操作者Ｐのジェスチャ操作を効率よく検出することができる。

〔ソフトウェアによる実現例〕
情報処理装置１、１ａの制御ブロック（特に制御部１０、１０ａ）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、情報処理装置１、１ａは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明の各態様に係る情報処理装置１、１ａは、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報処理装置１、１ａが備える制御部１０、１０ａ（ソフトウェア要素）として動作させることにより情報処理装置１、１ａをコンピュータにて実現させる情報処理装置１、１ａの制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１、１ａ 情報処理装置
１０、１０ａ 制御部（制御装置）
３１ カメラ（撮像装置）
３５ 移動機構
３９ 向き調整部
Ｓ３、１０３Ａ 推定工程
Ｓ６、１０７ 移動工程
Ｓ８、１０９ 検出工程

Claims (7)

1. 操作者によるジェスチャ操作を検出する情報処理装置であって、
   前記操作者を撮像する少なくとも１つの撮像装置と、少なくとも１つの移動機構と、少なくとも１つの制御装置と、を備え、
   前記制御装置は、
   前記操作者が前記ジェスチャ操作を行うとき、前記操作者の体の所定の部位が動作する対象領域を推定し、
   前記撮像装置によって、前記対象領域が撮像可能であり、かつ前記所定の部位を所定の解像度以上にて撮像可能な位置に移動するように前記移動機構を制御し、
   前記位置から前記撮像装置によって撮像された前記所定の部位の動作に基づいて前記ジェスチャ操作を検出する
   ことを特徴とする情報処理装置。
2. 前記撮像装置は、パン、チルト、およびズーム機能を有しており、
   前記制御装置は、
   前記撮像装置によって撮像された複数の操作者のうち、前記対象領域が撮像可能であり、かつ前記所定の部位を所定の解像度以上にて撮像可能な位置に存在する操作者のジェスチャ操作を検出する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記撮像装置が撮像する撮像方向を、前記操作者の体の傾きに応じて調整する向き調整部をさらに備え、
   前記制御装置は、
   前記対象領域が撮像可能であり、かつ前記所定の部位の動作を前記所定の解像度以上にて撮像可能な前記撮像方向となるように前記向き調整部を制御する
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記制御装置は、
   前記操作者の頭部および胴部の中心を通る体軸と、前記撮像装置の撮像方向とのなす角度が所定の範囲内となるように前記向き調整部を制御する
   ことを特徴とする請求項３に記載の情報処理装置。
5. 撮像装置によって撮像された操作者のジェスチャ操作を検出する検出方法であって、
   前記操作者が前記ジェスチャ操作を行うとき、前記操作者の体の所定の部位が動作する対象領域を推定する推定工程と、
   前記撮像装置によって、前記対象領域が撮像可能であり、かつ前記所定の部位を所定の解像度以上にて撮像可能な位置に移動する移動工程と、
   前記位置から前記撮像装置によって撮像された前記所定の部位の動作に基づいて前記ジェスチャ操作を検出する検出工程と、
   を含むことを特徴とする検出方法。
6. 請求項１に記載の情報処理装置としてコンピュータを機能させるための制御プログラムであって、上記制御装置としてコンピュータを機能させるための制御プログラム。
7. 請求項６に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images