JP2011221699A

JP2011221699A - 操作指示認識装置及びロボット

Info

Publication number: JP2011221699A
Application number: JP2010088586A
Authority: JP
Inventors: Ryokichi Hirata; 亮吉平田
Original assignee: Yaskawa Electric Corp
Current assignee: Yaskawa Electric Corp
Priority date: 2010-04-07
Filing date: 2010-04-07
Publication date: 2011-11-04

Abstract

【課題】特定の人物のみが確実に操作指示を行うことができ、それ以外の人物による操作指示を禁止する。
【解決手段】操作指示認識装置は、撮像を行い、対応する画像データを出力するカメラ１４を有するとともに、カメラ１４から出力された画像データに含まれる人物１の手２の領域を検出し、対応する手領域データを生成する手領域検出処理Ｇ２を実行し、手領域検出処理Ｇ２により生成された手領域データに基づき、手２の領域を検出した人物１が、予め定められた特定の人物１であるかどうかを判定する人物判定処理Ｇ３を実行し、人物判定処理Ｇ３による判定が満たされた場合に、手領域検出処理Ｇ２において生成された手領域データに基づき、特定の人物１の操作指示に対応した特定の手２の姿勢を判定する指示判定処理Ｇ４と、を実行する。
【選択図】図７

Description

本発明は、カメラで撮影した画像を利用して操作指示の認識を行う操作指示認識装置及びこれを用いたロボットに関する。

今日、人とコンピュータとの間で、情報授受を行うマンマシンインタフェースのために、様々な装置や方法が考案されている。その１つとして、操作対象であるコンピュータ、機器、及びロボットが、カメラにより撮影した画像から操作者の手を検出し、その検出結果を用いて、操作者からの操作指示を認識する手法が既に提唱されている。

そして、上記のような操作指示の認識のために用いられる、人物の手を検出するための従来技術としては、例えば、特許文献１及び特許文献２記載のものがある。

特許文献１には、カメラで撮影された人の手を含む画像から抽出された肌色領域のうち最大のものを手領域とし、さらに手首位置及び指の本数を特定することにより、人の手の状態を検出する技術が開示されている。また、特許文献２には、カメラで撮影された画像から背景差分画像をもとに手領域を抽出した後、手領域を横切る平行線それぞれの画素列を探索し、手領域の輪郭とその画素列との交点の画素を求め、手の指の状態を判定する技術が開示されている。

これらの従来技術の手法を用いることで、例えば操作対象に近い位置に立つ人物が、カメラの撮影視野に対し所定の手の姿勢や形状をとることで、意図する操作を操作対象に認識させ、所望の動作をさせることができる。

特開平７−１０５３７１号公報（第９頁、図１２）特開平１１−２５２６０号公報（第８頁、図５）

しかしながら、上記従来技術を用いて操作対象を操作する場合、以下のような問題がある。すなわち、今後、操作対象であるコンピュータ、機器、及びロボット等が、近傍に複数の人物が存在するような環境で動作する場合が考えられる。そのような場合には、特定の人物、すなわち、操作権限のある本来の操作者のみが確実に操作指示を行えるようにし、それ以外の人物は操作指示できないように、操作者の手とそれ以外の手とを区別して認識する必要がある。上記従来技術では、このような点に特に配慮されていなかった。

本発明の目的は、特定の人物のみが確実に操作指示を行え、それ以外の人物による操作指示を禁止できる操作指示認識装置及びこれを備えたロボットを提供することにある。

上記目的を達成するために、本発明は、撮像を行い、対応する画像データを出力する撮像手段と、前記撮像手段から出力された画像データに含まれる人物の手の領域を検出し、対応する手領域データを生成する手領域検出手段と、前記手領域検出手段により生成された前記手領域データに基づき、前記手の領域を検出した人物が、予め定められた特定の人物であるかどうかを判定する人物判定手段と、前記人物判定手段による判定が満たされた場合に、前記手領域検出手段により生成された前記手領域データに基づき、前記特定の人物の操作指示に対応した特定の手の姿勢を判定する指示判定手段と、を有する。

本発明の操作指示認識装置においては、撮像手段により撮像が行われると、手領域検出手段が撮像手段の画像データから人物の手の領域を検出し、手領域データを生成する。この生成された手領域データに基づき、人物判定手段が、当該手の領域を検出した人物が、予め定められた特定の人物であるかどうかを判定する。特定の人物であると認められ判定が満たされた場合は、指示判定手段が、上記手領域データに基づき、特定の人物の操作指示に対応した特定の手の姿勢を判定する。

これにより、予め定められた特定の人物が、撮像手段の撮像方向において手を用いて操作指示を行うと、その手の姿勢に対応した操作指示が行われたということを認識する。その一方で、上記特定の人物以外の人物が同様に撮像手段の撮像方向において手を用いた操作指示を行ったとしても、当該操作指示は認識しない。したがって、複数の人物が存在する場合であっても、その中の限定された特定の人物のみが確実に操作指示を行うことができ、それ以外の人物による操作指示を禁止することができる。

好ましくは、前記手領域検出手段により生成された前記手領域データを正規化して抽出する手領域抽出手段をさらに有し、前記人物判定手段は、前記手領域検出手段により生成された前記手領域データに基づき、前記手の領域を検出した人物が、前記特定の人物であるかどうかを判定する。

人物判定手段の判定の前に、手領域データを正規化して抽出しておくことにより、人物判定手段は、容易かつ精度よく特定の人物であるかどうかの判定を行うことができる。

また好ましくは、前記特定の人物に係わる手領域データを記憶する第１記憶手段をさらに有し、前記人物判定手段は、前記手領域検出手段により生成された前記手領域データと前記第１記憶手段に記憶された前記特定の人物に係わる手領域データとを比較して、前記特定の人物であるかどうかの判定を行う。

予め、操作指示を認識すべき人物として決定された特定の人物の手領域データを、第１記憶手段に記憶しておく。人物判定手段は、撮像した画像データに対応した手領域データを、当該記憶した手領域データと比較し、判定を行う。これにより、容易かつ確実に、特定の人物であるかどうかの判定を行うことができる。

また好ましくは、前記人物判定手段は、各人物それぞれの、指の長さ又は手の面積を含む手の形状の違いに基づき、前記特定の人物であるかどうかの判定を行う。

人間の手の形状を人それぞれ千差万別であることを利用し、特定の人物であるかどうかの判定を精度よく行うことができる。

また好ましくは、前記特定の人物の所定の手の姿勢に係わる手姿勢データを記憶する第２記憶手段をさらに有し、前記指示判定手段は、前記手領域検出手段により生成された前記手領域データと前記第２記憶手段に記憶された前記特定の人物に係わる手領域データとを比較して、前記特定の手の姿勢の判定を行う。

予め、操作指示として認識すべき姿勢として決定された特定の手の姿勢に係わる手領域データを、第２記憶手段に記憶しておく。指示判定手段は、撮像した画像データに対応した手領域データを、当該記憶した手領域データと比較し、判定を行う。これにより、容易かつ確実に、操作指示に対応した特定の手の姿勢であると判定することができる。

また好ましくは、前記指示判定手段は、各特定の人物それぞれの、指の長さ又は手の面積を含む手の形状の違いに基づき、前記特定の手の姿勢の判定を行う。

一方向から見た人間の手の形状は手の姿勢によって種々変化することを利用し、操作指示に対応した特定の手の姿勢の判定を精度よく行うことができる。

また好ましくは、前記人物判定手段は、前記撮像手段が第１姿勢である手を撮像した前記画像データに対応した手領域データに基づき、前記特定の人物であるかどうかの判定を行い、前記指示判定手段は、前記撮像手段が前記第１姿勢と異なる第２姿勢である手を撮像した前記画像データに対応した手領域データに基づき、前記操作指示に対応した手の姿勢の判定を行う。

これにより、人物判定の際には、比較的大きな面積となる例えば手を広げた姿勢等の第１姿勢での撮像結果に基づき高精度に人物の判定を行うとともに、手姿勢判定の際には、例えば横向きや斜め向きに指差しをした姿勢等の上記第１姿勢と大きく異なる第２姿勢での撮像結果に基づき、操作指示に対応した特定の手の姿勢の判定を高精度に行うことができる。なお、人物判定手段は、第１姿勢として、例えば、パー、グー、チョキ等の複数の姿勢の組み合わせを用い、それぞれの形状を順番に認識することで前記特定の人物であるかどうかを判定してもよい。

また好ましくは、前記手領域検出手段は、Ｈａａｒ−ｌｉｋｅ特徴量を用いた手法、肌色抽出、輪郭抽出、及びテンプレートマッチングのいずれか１つの手法により、前記手の領域を検出する。

撮像手段の画像データに対し、Ｈａａｒ−ｌｉｋｅ特徴量を用いた手法、肌色抽出、輪郭抽出、テンプレートマッチング等を適用することで、効率よく高精度に手の領域を検出することができる。

また上記目的を達成するために、本発明は、人物の手の、少なくとも１種類の姿勢を、操作指示として認識する操作指示認識装置と、複数のリンク、前記複数のリンクのうち隣接するリンクどうしを屈曲可能に連結する複数の関節、及び、駆動対象の前記リンクへの駆動力を発生する少なくとも１つのアクチュエータ、を備えた多関節型のロボットアームと、前記操作指示認識装置の認識結果に応じて、前記少なくとも１つのアクチュエータの駆動を制御する制御手段と、を有するロボットであって、前記操作指示認識装置は、撮像を行い、対応する画像データを出力する撮像手段と、前記撮像手段から出力された画像データに含まれる人物の手の領域を検出し、対応する手領域データを生成する手領域検出手段と、前記手領域検出手段により生成された前記手領域データに基づき、前記手の領域を検出した人物が、予め定められた特定の人物であるかどうかを判定する人物判定手段と、前記人物判定手段による判定が満たされた場合に、前記手領域検出手段により生成された前記手領域データに基づき、前記特定の人物の操作指示に対応した手の姿勢を判定する指示判定手段と、を備え、前記制御手段は、前記指示判定手段により判定された手の姿勢に対応し、前記少なくとも１つのアクチュエータの駆動を制御する。

本発明のロボットは、操作指示認識装置を備える。操作指示認識装置では、撮像手段により撮像が行われると、手領域検出手段が撮像手段の画像データから人物の手の領域を検出し、手領域データを生成する。この生成された手領域データに基づき、人物判定手段が、当該手の領域を検出した人物が、予め定められた特定の人物であるかどうかを判定する。特定の人物であると認められ判定が満たされた場合は、指示判定手段が、上記手領域データに基づき、特定の人物の操作指示に対応した特定の手の姿勢を判定する。これにより、予め定められた特定の人物が、撮像手段の撮像方向において手を用いて操作指示を行うと、その手の姿勢に対応した操作指示が行われたということを認識する。その一方で、上記特定の人物以外の人物が同様に撮像手段の撮像方向において手を用いた操作指示を行ったとしても、当該操作指示は認識しない。

このとき、制御手段は、上記のような操作指示認識装置の認識結果に応じて、ロボットアームに備えられた少なくとも１つのアクチュエータの駆動を制御する。アクチュエータは、複数の関節により屈曲可能に連結された複数のリンクのうち駆動対象のリンクを駆動することで、多関節型のロボットアームを作動させる。これにより、ロボットの周囲に複数の人物が存在する場合であっても、その中の限定された特定の人物のみがロボットに対する操作指示を行って確実にロボットに対し所望の動作をさせることができ、それ以外の人物によるロボットに対する操作指示を禁止することができる。

本発明によれば、特定の人物のみが確実に操作指示を行うことができるとともに、それ以外の人物による操作指示を禁止することができる。

本発明の一実施形態による操作指示認識装置を備えたロボットの利用例を簡略化して示した図である。ロボットのハードウェア構成を模式的に示すシステムブロック図である。ＣＰＵの実行する処理の概略を表す説明図である。手領域検出器の機能的構成を表す機能ブロック図である。弱識別器の構成を表す概念図である。識別器を生成する手判断学習処理の制御手順を示したフローチャートである。登録者情報テーブルを概念的に示す図である。ＣＰＵにより実行される、人物判定処理の具体的な制御手順を示すフローチャートである。認証用手領域データとの比較の概略手法を説明する説明図である。ヒストグラムを用いた手領域データの比較の詳細を説明する説明図である。ＣＰＵにより実行される、指示判定処理の具体的な制御手順を示すフローチャートである。指示判定用手領域データとの比較の概略手法を説明する説明図である。手領域データの一致判定を画素毎の合致度で行う変形例における、画素毎の合致度を説明する説明図である。

以下、本発明の実施形態を図面を参照しつつ説明する。

図１は、本発明の一実施形態による操作指示認識装置を備えたロボットの利用例を簡略化して示した図である。この図１に示す例において、ロボット１００は、頭部１０１、多関節型アーム１０５、ロボットハンド１０４、及び移動用のローラ（図示せず）等を備えている。多関節型アーム１０５は、複数のリンク１０２と、隣接するリンク１０２どうしを屈曲可能に連結する各関節１０３とを備えている。

また、ロボット１００は人間から直接指示を受けるコミュニケーションロボットであり、不特定多数の人物１と対面する機会を持つものの、そのうち予め登録された特定の人物（以下、登録者という）１からの指示にのみ反応して実行するものである。ロボット１００への指示は手の動作によるものであり、ロボット１００はそれ自体が備えるカメラ１４により人物１の手２の画像を検出し、当該手２の画像から上記登録者の認証と操作指示判定を行う。なお、図１中のＡ部、Ｂ部については後述する。

図２は、ロボット１００のハードウェア構成を模式的に示すシステムブロック図である。この図２において、ロボット１は、制御手段としてのＣＰＵ１１と、メモリ１２と、大容量記憶装置１３と、撮像手段としてのカメラ１４と、マイク１５と、スピーカ１６と、アクチュエータ１７とを有している。

ＣＰＵ１１は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間で情報の交換や各種の制御指示を出力することで、ロボット１００全体を制御する機能を有する。

メモリ１２は、ＲＯＭやＲＡＭなどを含んで構成されており、後述する各種の処理プログラムの読み出しや、当該処理プログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。

大容量記憶装置１３は、ハードディスクなどからなり、後述する各種の登録情報や後述する学習用画像データベースなどの書き込み及び読み出しが行われる不揮発性の情報記憶媒体である。

カメラ１４は、上記図１に示すように、当該ロボットの頭部１０１が向いている方向に対して所定領域の画像（図１中のＡ部）を撮像する。この例では、ＣＣＤやＣＭＯＳなどのデジタル撮像素子を備えて直接デジタルデータの画像情報を取得する。

マイク１５は、人物１からの音声を入力するものであり、スピーカ１６は、人物１に対して音声情報を発音するものである。

アクチュエータ１７は、上記リンク１０２や上記移動用ローラなどを駆動するための例えば回動型のモータである。

ここで、上記ロボット１００は、上述したように、カメラ１４で撮像した画像の中から人物１の手２に相当する画像領域Ｂ（図１参照）だけを検出し、当該手の画像領域Ｂから上記登録者の認証を行う。そして、登録者と認識した場合だけ、当該手の画像領域Ｂから判定された操作指示にのみ反応して当該指示に対応する動作を行う。このような一連の制御は、概略的に図３に示す４つの処理により上記ＣＰＵ１１が行う。４つの処理とは、撮像処理Ｇ１と、手領域検出処理Ｇ２と、人物判定処理Ｇ３と、指示判定処理Ｇ４であり、これらを順に行って逐次各種の条件を満たした場合にだけ登録者が所望する指示がロボット１００に入力され、対応する動作が行われる。

本実施形態の操作指示認識装置は、上記４つのソフトウェア処理を実行する上記ＣＰＵ１１と、上記カメラ１４とで構成される。なお、人物１がロボット１００に対して操作指示する具体的な内容としては、ロボット１００自体の移動やロボットアーム１０５の回転・移動といった単純動作のほか、もっと複雑な各種動作（物をつかむ、物を運ぶ、物を拾う、かがむ、起き上がる）等を指示可能としてもよい。以下、上記４つの処理についてそれぞれ順を追って説明する。

まず、最初の撮像処理Ｇ１は、カメラ１４に制御信号を出力して撮像を行わせ、カメラ１４から出力された画像データを取得する処理である。この撮像処理Ｇ１で取得した画像データは、上記図１中のＡ部に示すように、カメラ１４が撮像した画像全体のデータであり、その中には人物１がカメラ１４に向かって差し出した手以外にも様々な物が写り込んでいる。

次に、手領域検出処理Ｇ２について説明する。

本実施形態では、この手領域検出処理Ｇ２において、公知であるＨａａｒ−Ｌｉｋｅ特徴量を利用し、カメラ１４で撮像した画像データをラスタスキャンすることで、各請求項記載の第１姿勢としての、手の指を大きく広げた「パー状態」の手領域を検出する。一般にラスタスキャンとは、撮像した画像の全部または一部の領域に対し、最上段の左端の画素から右端の画素へ走査（スキャン）し、続いて一段下の左端から右端へ走査し、さらにもう一段下の左端から右端へ走査し・・・という走査を最下段まで繰り返しつつ、走査した画素のデータを一列に並んだ情報として配列に格納することを指す。

本実施形態では、カメラ１４が撮像した画像全体（上記図１中のＡ部参照）に対し、手領域（この例では手首から先の部分；上記図１中のＢ部参照）に相当する大きさの画像枠を端から順にずらしながら、画像枠内をラスタスキャンにて走査して、得られたデータを基に人物の手だけを検出している。

なお、上記Ｈａａ−Ｌｉｋｅ特徴量等を利用して手領域検出を行う手法に限られず、肌色抽出、輪郭抽出、もしくはテンプレートマッチング等を利用して、手領域を抽出してもよい。いずれの場合も、効率よく高精度に手２の領域を検出することができる。

この手領域検出処理Ｇ２で用いる手領域検出器としては、Ｖｉｏｌａらが提案した方法で用いられる顔検出器と同様のものを用いることができる。すなわち、この手領域検出器は、Ａｄａｂｏｏｓｔアルゴリズムによって生成される複数の識別器Ｈ_ｋ（ｋ＝１〜Ｓ）を、図４に示すようにカスケード接続した構造を有している。

画像のある領域が手領域か否かを判断するには、まず、１段目の識別器Ｈ_１でその領域が手領域か否かを判定する。手領域でないと判定した場合は処理を終了し、手領域と判定した場合は２段目の識別器Ｈ_２に進む。そして、２段目以降の識別器Ｈ_ｋでも手領域か否かの判定を行い、手領域でないと判定した場合は処理を終了し、手領域と判定した場合のみ次の段へと進む。このように構成することで、手領域検出器は、最終段の識別器Ｈ_ｓまで手領域であるとの判定が続いた場合のみその領域が手領域であると判定するので、検出精度が高くなる。また、途中の段で手領域でないと判定した場合は直ちに処理が終了するので、処理速度を速くすることができる。

このとき、各識別器Ｈ_ｋは、それぞれ複数の弱識別器Ｒ１，Ｒ２，Ｒ３，Ｒ４を線形結合することによって構成される。弱識別器Ｒ１〜４は図５に示すような黒矩形と白矩形からなる矩形フィルターと閾値θの組である。弱識別器Ｒ１〜４は、矩形フィルターを手検出の対象となる領域に重ね合わせ、黒矩形に対応する領域内の輝度値の和と白矩形に対応する領域内の輝度値の和との差が閾値θよりも大きいか小さいかを判断し、閾値θよりも大きいときは手であることを示す「１」、小さいときは手でないことを示す「０」を出力する。

手検出の対象となる領域が識別器Ｈ_ｋに入力されると、識別器Ｈ_ｋは、弱識別器Ｒ１〜４の出力にその弱識別器Ｒ１〜４の信頼度αを掛けた値の総和を算出し、その総和から所定の閾値Ｔｈ_ｒを減じた値を確信度Ｃｏｎｖ（ｋ）として算出する。確信度Ｃｏｎｖ（ｋ）は、その領域に手が含まれていることの確かさを表す値である。そして、識別器Ｈ_ｋは、確信度Ｃｏｎｖ（ｋ）が正の場合は当該領域が手領域と判定して「＋１」を出力し、負の場合は非手領域であると判定して「−１」の値を出力する。

図６は、識別器Ｈ_ｋを生成する手判断学習処理の制御手順を示したフローチャートである。この手判断学習処理は、対象となる１つの識別器Ｈ_ｋが、適切に手であるか手でないかの識別が行えるよう学習させる処理であり、ロボット１００に通常動作を行わせる前に予め行うものである。識別器Ｈ_ｋを構成する弱識別器Ｒ１〜４の選出はＡｄａｂｏｏｓｔアルゴリズムにより行われ、識別器Ｈ_ｋが、予めカメラ１４により撮影した（あるいは、ロボット１００外部より別途取得してもよい）複数の手のサンプル画像に対し、所望の比較的高い精度で、手であるか手でないかの判断ができるようになるまで繰り返される。

図６において、まず、ステップＳ１００１で、下記式（１）により、図示しない学習用画像データベースに記憶されている手のサンプル画像ごとの重みを初期値Ｗ_１（ｉ）に設定する。ｉは各手のサンプル画像に割り当てられる通し番号であり、Ｍは上記大容量記憶装置１３に設定される学習用画像データベースに記憶されているデータの総数である。

・・・（１）

ステップＳ１００２では、様々な弱識別器Ｒ１〜４を全データに対して適用し、下記式（２）により誤り率ε_ｔを算出する。添え字ｔは識別器Ｈ_ｋの更新回数（弱識別器Ｒ１〜４を識別器Ｈ_ｋに追加した回数）であり、初期値は１である。

・・・（２）

ステップＳ１００３では、誤り率ε_tが最小になる弱識別器Ｒ１〜４を、識別器Ｈ_ｋを構成する弱識別器ｈ_ｔとして選出する。そして、選出された弱識別器ｈ_ｔを識別器Ｈ_ｋに追加し、識別器Ｈ_ｋを更新する。

ステップＳ１００４では、選出された弱識別器ｈ_ｔの誤り率ε_tに基づき、下記式（３）により選出された弱識別器ｈ_ｔの信頼度α_ｔを算出する。

・・・（３）

ステップＳ１００５では、選出された弱識別器ｈ_ｔの信頼度α_ｔに基づき、弱識別器ｈ_ｔが判定を誤ったデータの重みＷ_ｔ（ｉ）を下記式（４）により増加させ、逆に、判定が正しかったデータの重みＷ_ｔ（ｉ）を下記式（５）により減少させる。さらに、更新後の重みＷ_ｔ（ｉ）をそれらの総和で割って重みＷ_ｔ（ｉ）を正規化する。

・・・（４）

・・・（５）

ステップＳ１００６では、下記式（６）により、弱識別器ｈ_ｔを全データに適用し、その結果に対応する信頼度α_ｔを掛けた値の総和を求め、その総和から閾値Ｔｈ_ｒを引いた値を確信度Ｃｏｎｖ（ｋ）として算出する。形状データの輝度情報がｘである。確信度Ｃｏｎｖ（ｋ）は、０から１の間に正規化されるように、シグモンド関数を使用してもよく、最大値で割ってもよい。

・・・（６）

ステップＳ１００７では、全データについて確信度Ｃｏｎｖ（ｋ）の符号の正負に応じて検出対象となる領域が手領域か否かを判断する。そして、手領域、非手領域の判断が正しく行われたデータの数を学習用画像データベースに記憶されているデータの総数Ｍで割って、検出精度を算出する。

ステップＳ１００８では、所望の検出精度が得られているか否かを判定する。所望の検出精度が得られている場合は、判定が満たされ、ステップＳ１００９に進む。

ステップＳ１００９では、下記式（７）により識別器Ｈ_ｋを構成する。

・・・（７）
以上のようにして、識別器Ｈ_ｋは、データのある領域の輝度情報が入力されると上記式（６）により確信度Ｃｏｎｖ（ｋ）を算出し、確信度Ｃｏｎｖ（ｋ）の符号が正の場合は当該領域が手領域と判定して「＋１」を出力し、負の場合は非手領域と判定して「−１」を出力する。

なお、通常、カスケード処理では前段の情報を持ち越さない場合が多いが、識別器Ｈ_ｋにおいて１段目からｋ段目の確信度Ｃｏｎｖ（ｋ）の総和Ｃｏｎｖｓｕｍを下記式（８）により算出し、この総和Ｃｏｎｖｓｕｍの符号によって手領域、非手領域を判断するようにしてもよい。このように確信度Ｃｏｎｖ（ｋ）の総和をとり、以前の段で算出した確信度も反映させたほうが、検出率が高くなることが分かっている。

・・・（８）
一方、ステップＳ１００８で所望の検出精度が得られていない場合、判定は満たされず、ステップＳ１０１０で更新回数ｔに１が加算され、ステップＳ１００２に戻って新たな弱識別器Ｒ１〜４の選出及び選出した弱識別器Ｒ１〜４の識別器Ｈ_ｋへの追加が行われる。弱識別器Ｒ１〜４の追加は所望の検出精度が得られるまで繰り返し行われる。

本実施形態では、このようにして、予め撮像（又は外部より取得）した手の複数のサンプル画像により学習を行うことで各識別器Ｈ_ｋの検出精度を高めることができる。そして、それら識別器Ｈ_ｋをカスケード接続した手領域検出器を用いることで、上記図１中のＢ部に示すように、その後に実際にカメラ１４により撮像を行い人物１の手２の位置を検出する際の処理時間を短縮することができる。これにより、人物１は、ロボット１００のカメラ１４の前でパー状態の手を差し出すことで、ロボット１００に自分の手２を手領域データとして検出させることができる。なお、手領域検出処理Ｇ２のうち、ここまでに述べた処理が、各請求項記載の手領域検出手段として機能する。

上記のようにして手領域検出器により手領域データを検出したら、カメラ１４が撮像した全体画像（上記図１中のＡ部参照）から当該検出した手領域データ（上記図１中のＢ部参照）だけを抽出し、Ｎ×Ｎピクセルに正規化する。なお、本実施形態の例では、１０×１０ピクセルで正規化する。なお、この処理が、各請求項記載の手領域抽出手段として機能する。その後、さらに１つのピクセル毎、つまり１つの画素毎において、手に対応した色（例えば肌色）に対応するか否かで、１又は０（もしくは白又は黒）の２値化データに変換する（詳しくは後述する）。

次に、人物判定処理Ｇ３について説明する。

本実施形態の人物判定処理Ｇ３においては、上記手領域検出処理Ｇ２によりカメラ１４で撮像した画像データより実際に検出・抽出した手領域データが、予め登録された複数の登録者の手領域データ（いずれもパー状態で１０×１０ピクセルに正規化された２値化データ）のいずれかと、それぞれのヒストグラムどうしの比較により一致しているか否かを判定する。

図７は、登録者情報テーブルを概念的に示した図である。この登録者情報テーブルは、各請求項記載の第１記憶手段及び第２記憶手段として機能する上記大容量記憶装置１３に記憶されている。この登録者情報テーブルは、この例では、「登録番号」と、「認証用手領域データ」と、「指示判定用手領域データ」の各項目が設定されている。「登録番号」の項目には、各登録者が登録した順に対応した番号が記録されており、当該登録番号に対応する行に、１人の登録者に関する情報が記録される。

「認証用手領域データ」の項目には、登録番号に対応する登録者のパー状態の手領域データが記録されている。この例では、このパー状態の手領域データは、上記と同じ１０×１０ピクセルの２値化データのフォーマットで記録されている。

「指示判定用手領域データ」の項目には、登録番号に対応する登録者の指差し指示状態の手領域データが記録されている。この例では、指差し指示状態として、「左９０°」方向、「左４５°」方向、「右４５°」方向、及び「右９０°」方向の各方向をそれぞれ指差しする姿勢の、４つの手領域データが記録されている。この指差し指示状態の手領域データも、上記同様、１０×１０ピクセルの２値化データのフォーマットで記録されている。なお、上記認証用手領域データが、各請求項記載の手姿勢データに相当している。

なお、上記の認証用手領域データと、４つの指示判定用手領域データは、上記カメラ１４で撮像した画像データにＣＰＵ１１が公知の処理を行って上記フォーマットに変換され格納されてもよいし、ロボット１００外部より取得され、格納されていてもよい。

図８は、上記ＣＰＵ１１により実行される、人物判定処理Ｇ３の具体的な制御手順を示すフローチャートである。

図８において、まず、ステップＳ３０５で、上記手領域検出処理Ｇ２においてカメラ１４の撮像結果より実際に検出・抽出され、上記フォーマット（１０×１０ピクセルの２値化データ）に従うデータとなっている手領域データを（例えばＲＡＭから）読み込む。

その後、ステップＳ３１０へ移り、上記図７に示した登録者情報テーブルから登録番号順に沿って認証用手領域データを１つだけ読み込む。

そして、ステップＳ３１５へ移り、上記ステップＳ３０５で読み込んだ手領域データと、上記ステップＳ３１０で読み込んだ認証用手領域データとが一致するか否か、言い換えれば登録者を認証できたか否か、を判定する（詳細は後述）。２つの手領域データが一致した場合、ステップＳ３１５の判定が満たされ、人物判定処理Ｇ３を終了して次の指示判定処理Ｇ４へ移る。なおこの際、平均値シフト法、ＥＭアルゴリズム等の公知の物体追跡技術を利用してカメラ１４の撮影画像中における手領域を追跡し続けてもよい。一方、２つの手領域データが一致しなかった場合、ステップＳ３１５の判定は満たされず、ステップＳ３２０へ移る。

ステップＳ３２０では、この時点で、上記ステップＳ３０５で読み込んだ手領域データと、全ての認証用手領域データとの、比較が完了したか否かを判定する。例えば、この時点で登録番号順に沿って最後の登録番号まで比較が完了したか否かを判定すればよい。全ての認証用手領域データとの比較が完了している場合、ステップＳ３２０の判定が満たされ、ステップＳ３２５に移る。ステップＳ３２５では、例えばスピーカ１６から認証ができなかった旨を知らせる音声を発音するなどのエラー処理を行い、この処理を終了する。一方、まだ比較していない認証用手領域データが残っている場合、ステップＳ３２０の判定が満たされず、ステップＳ３１０へ戻り、ステップＳ３１０において次の登録番号で認証用手領域データを読み込み、同様の手順を繰り返す。

ここで、上記ステップＳ３１５における２つの手領域データの一致判定の詳細について図９を用いて説明する。図９は、手領域データの比較を説明する図である。

図９において、上記図１中のＢ部に示すような手領域画像は、前述したように上記フォーマットに従って正規化・２値化することで手領域データとなる。このようなフォーマットの手領域データは、各指の長さや手の面積等の、手の形状の違いによって、白色となる画素（又は「１」に対応する画素）の数や配置が異なってくる（各データ例参照）。上記図８のステップＳ３１５では、このような白色画素の数とそれらの配置の特徴とを比較することにより、２つの手領域データの一致を判定する。

具体的には、本実施形態では、図１０に示すようなヒストグラムに基づいて特徴の比較を行う。つまり、各手領域データに対して、その１０×１０ピクセルの正方行列配置のうち、各列毎に算出した白色画素数の総和で構成するヒストグラムによって、当該手領域データに関する計量的な特徴付けを行う。図示の例では、ヒストグラムは、手領域データにおける列番号１，２，３，４，５，６，７，８，９，１０のそれぞれの列において、総白色画素数が１，３，８，１０，８，９，４，２，１［個］となっている。２つの手領域データ（実際に検出された手領域データと認証用手領域データ）からそれぞれ得られるヒストグラムには、各手領域データにおける白色画素の数とともに指の長さや手の大きさ等の特徴も現れるため、それらを比較することで精度の高い照合を行うことができる。

なお、以上説明した人物判定処理Ｇ３が各請求項記載の人物判定手段として機能する。

次に、指示判定処理Ｇ４について説明する。

本実施形態では、上記のようにしてパー状態の手２の撮像結果から抽出した手領域データに基づき人物判定処理Ｇ３を行った後、上記操作指示を表す指さし姿勢（各請求項記載の第２姿勢に相当）の人物１の手２を改めて撮像する。指示判定処理Ｇ４では、その改めて撮像した画像から抽出した手領域データが、当該登録者のどの指示判定用手領域データと一致しているかを判定する。本実施形態では、この一致判定においても、上記ヒストグラムに基づく比較を行う。

図１１は、上記ＣＰＵ１１により実行される、指示判定処理の具体的な制御手順を示すフローチャートである。

図１１において、まず、ステップＳ４０５で、カメラ１４で改めて撮像した操作指示状態の手領域画像を取得する。この際、例えば、登録者の認証が確認できたために次に手を操作指示状態にするよう促す音声メッセージをスピーカ１６から発音し、手の状態が変化したのを確認してからカメラ１４が撮像を行い、その撮像した画像を取得してもよい。

その後、ステップＳ４１０へ移り、上記ステップＳ４０５で撮像した手領域画像から、前述と同様の手法により、上記フォーマット（１０×１０ピクセルの２値化データ）に従った手領域データを抽出する。

そして、ステップＳ４１５へ移り、上記図７に示した登録者情報テーブルから、指示判定用手領域データを１つだけ読み込む。先に図７を用いて説明したように、指示判定用手領域データのいずれもが、方向を指し示す上記指差し姿勢の状態となっている。そこで、このステップＳ４１５では、所定の角度順（例えば、「左９０°」→「左４５°」→「右４５°」→「右９０°」）に沿って、指示判定用手領域データを１つだけ読み込む。

その後、ステップＳ４２０へ移り、上記ステップＳ４１０で抽出した手領域データと、上記ステップＳ４１５で読み込んだ指示判定用手領域データとが一致するか否かを判定する。なお、本実施形態では、この一致判定においても上記ヒストグラムに基づく比較によって行う。上記２つの手領域データが一致した場合、ステップＳ４２０の判定が満たされ、ステップＳ４２５へ移る。

ステップＳ４２５では、当該指示判定用手領域データに対応する手２の指差し方向、言い換えれば、操作権限を有する登録者である上記特定の人物１の操作指示内容を決定する。その後、ステップＳ４２７で、ステップＳ４２５で決定した指差し方向に対応した動作指示（前述の単純動作、複雑な各種動作等）を実現するように、少なくとも１つのアクチュエータ１７に対し制御信号を出力して駆動制御を行う。ステップＳ４２７が完了したら、全体の処理を終了する。

一方、上記ステップＳ４２０において、上記２つの手領域データが一致しなかった場合、判定は満たされず、ステップＳ４３０へ移る。

ステップＳ４３０では、この時点で全ての指示判定用手領域データとの比較判定が完了したか否かを判定する。例えば、この時点で、上記角度順に沿って最後の指示判定用手領域データとの比較を行ったか否かを判定すればよい。全ての指示判定用手領域データとの比較が完了している場合、判定が満たされ、ステップＳ４３５に移る。

ステップＳ４３５では、例えばスピーカ１６から操作指示の判定ができなかった旨を知らせる音声を発音するなどのエラー処理を行い、この処理を終了する。

一方、ステップＳ４３０において、まだ比較していない指示判定用手領域データが残っている場合、判定は満たされず、ステップＳ４１５へ戻り、ステップＳ４１５において角度順に沿って次の指示判定用手領域データを読み込み、同様の手順を繰り返す。

ここで、上記ステップＳ４２０における２つの手領域データの一致判定の詳細について図１２を用いて説明する。図１２は、指示判定用手領域データを説明する図である。

図１２（ａ）〜（ｄ）において、前述したように、上記ステップＳ４０５で撮像された操作指示に対応した手領域画像が上記フォーマットに従って正規化・２値化され、手領域データとなっている。図示のように、同一の人物１の手２であっても、指さす方向や姿勢が異なると、白色（又は１対応）となる画素の数や配置が異なってくる。

上記図１１のステップＳ４２０では、上記ステップＳ４１０で新たに抽出された操作指示状態の手領域データのヒストグラムを算出し、上記図７の登録者情報テーブルにおける各指示判定用手領域データのそれぞれについて算出されたヒストグラムと、比較する。そして、各組み合わせでのヒストグラムどうしの差が予め定めたしきい値以下にあるものを、最もよく一致する、すなわち人物１の意図する操作に対応した指さし角度である、と判定する。なお、しきい値以下のものが複数あった場合には、上記のヒストグラムどうしの差が最も小さいものを、人物１の意図する指さし角度であるとすればよい。

あるいは、上記ステップＳ４１０で新たに抽出された操作指示状態の手領域データのヒストグラムを算出し、その列ごとのヒストグラムの変化量が予め設定された閾値との大小関係を比較することで指差し部分と拳部分を分離し、左方向への指差しか右方向への指差しかを判断してもよい。

なお、以上説明した指示判定処理Ｇ４が各請求項記載の指示判定手段として機能する。

以上説明したように、本実施形態においては、カメラ１４により撮像が行われると、手領域検出処理Ｇ２において、カメラ１４の画像データから人物１の手２の領域を検出し、手領域データを生成する。この生成された手領域データに基づき、人物判定処理Ｇ３において、当該手２の領域を検出した人物１が、予め定められた特定の人物１、すなわち操作権限がある者であるかどうかが判定される。上記特定の人物１であると認められた場合は、指示判定処理Ｇ４において、検出された人物１の手２の領域の手領域データに基づき、特定の人物１の操作指示に対応した特定の手２の姿勢を判定する。そして、その判定された姿勢に応じてアクチュエータ１７が駆動される。

これにより、予め定められた上記特定の人物１が、カメラ１４の撮像方向において手２を用いて操作指示を行うと、その手２の姿勢に対応した操作指示が行われたということを認識する。その一方で、上記特定の人物１以外の人物１が同様にカメラ１４の撮像方向において手２を用いた操作指示を行ったとしても、当該操作指示は認識しない。したがって、複数の人物１が存在する場合であっても、複数の人物の中の限定された特定の人物のみが確実にロボット１００に対する操作指示を行ってロボット１００に対し所望の動作をさせることができ、それ以外の人物によるロボット１００に対する操作指示を禁止することができる。

また、本実施形態では特に、予め、操作指示を認識すべき人物１として決定された特定の人物１（登録者）の認証用手領域データを、大容量記憶装置１３の登録者情報テーブルに記憶しておく。人物判定処理Ｇ３においては、撮像した画像データに対応した手領域データを、当該記憶した認証用手領域データと比較し、判定を行う。これにより、人間の手２の形状は人それぞれ千差万別であることを利用して、特定の人物１であるかどうかの判定を精度よく容易に行うことができる。

また、本実施形態では特に、予め、操作指示として認識すべき姿勢として決定された特定の手２の姿勢（前述の例では「左９０°」「左４５°」「右４５°」「右９０°」）に係わる指示判定用手領域データを、大容量記憶装置１３の登録者情報テーブルに記憶しておく。指示判定処理Ｇ４においては、撮像した画像データに対応した手領域データを、当該記憶した指示判定用手領域データと比較し、判定を行う。これにより、一方向から見た人間の手２の形状は手２の姿勢によって種々変化することを利用し、操作指示に対応した特定の手２の姿勢の判定を精度よく容易に行うことができる。

また、本実施形態では特に、人物判定処理Ｇ３の判定の前に、手領域データをＮ×Ｎピクセル（上記の例ではＮ＝１０）に正規化して抽出しておく。これにより、人物判定処理Ｇ３において、容易かつ精度よく、特定の人物１であるかどうかの判定を行うことができる。

また、本実施形態では特に、人物判定処理Ｇ３においては、比較的大きな面積となるパー状態の手２の姿勢でのカメラ１４の撮像結果に基づき高精度に人物１の判定を行う。その後、指示判定処理Ｇ４において、横向きや斜め向きに指差しをした姿勢（前述の例では「左９０°」「左４５°」「右４５°」「右９０°」）等、上記パー状態と大きく異なる姿勢でのカメラ１４の撮像結果に基づき操作指示に対応した特定の手２の姿勢の判定を行うことにより、手２の姿勢を高精度に判定することができる。なお、指差し方向は「左９０°」、「左４５°」、「右９０°」、「右４５°」のみに限られず、角度間隔をもっと小刻みにしてもよいし、逆に大ざっぱに変更してもよい。

なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。以下、そのような変形例を順を追って説明する。

（１）２つの手領域データの一致判定を画素毎の合致度で行う場合
上記実施形態では、カメラ１４から撮像・抽出した手領域データと、図７の登録者情報テーブルから取得した手領域データとの一致判定を、それぞれのヒストグラムの比較により行っていたが、本発明はこれに限られない。例えば、２つの手領域データの間における画素毎での合致度の総体的評価により一致判定を行ってもよい。

図１３は、２つの手領域データの画素毎の合致度を説明する図である。この図１３において、図中上側に示す２つの手領域データは、いずれも同じ１０×１０ピクセルで正規化し、各画素を２値化したフォーマットの手領域データである。そして、これら２つの２値化した手領域データを重ね合わせて示したのが、図中下側の手領域データである。図示する例では、２つの画素ｇ１，ｇ２で合致していないことがわかる。このような非合致の画素数が少ないほど、２つの手領域データが近似して一致する関係となり、非合致の画素数が０である場合には２つの手領域データが完全に一致していると言える。

しかし、非合致の画素数が少ない場合であっても、当該非合致の画素の配置が例えば指先の位置や指の長さといった特徴的な要素で決定的な差異が生じるため、非合致の画素の配置の重要度も考慮した比較が必要となる。このようにして、２つの手領域データの間における画素毎での合致度の総体的評価によっても、当該２つの手領域データの一致判定を高い精度で行うことができる。

以上のような２つの手領域データの一致判定を、上記図８における人物判定処理Ｇ３のステップＳ３１５の手順や、上記図１１における指示判定処理Ｇ４のステップＳ４２０の手順で行うことで、上記実施形態と同様の精度で、登録者の認証と、操作指示の判定を行うことができる。そして、その結果、上記実施形態と同様の効果を得ることができる。

（２）２つの手領域データの一致判定を白色画素の総数で行う場合
また、カメラ１４から撮像・抽出した手領域データと、登録者情報テーブルから取得した手領域データとの一致判定を、それぞれの手に相当する部分の面積、つまり白色画素の総数を比較することにより一致判定を行ってもよい。

すなわち、詳細な図示は省略するが、カメラ１４から撮像・抽出した手領域データと、図７の登録者情報テーブルから取得した手領域データとで、それぞれの手に相当する部分の面積（白色画素の総数）の差が許容誤差内にある組み合わせでは２つの手領域データが近似して一致する関係となる。そして、同じ面積である場合には２つの手領域データが完全に一致していると言える。また、それぞれの指に相当する部分の長さだけを取り出して比較しても同様に一致性の判定が行える。このようにして、２つの手領域データの間における白色画素の総数の比較によっても、当該２つの手領域データの一致判定を高い精度で行うことができる。

（３）その他
上記実施形態のヒストグラムによる手法や上記（１）の面積比較による手法において、例えば前述の１０×１０ピクセルで正規化した領域を適宜の個数に分割して、各領域ごとに手の形状を認識するようにしてもよい。

上記（２）の手領域部分の面積を利用する手法以外に、パターンマッチング、ニューラルネットワーク等のパターン認識技術でよく利用される手法方法を用いて比較してもよい。

以上においては、全ての登録者の認証用手領域データが一律にパー状態の手である場合（図７参照）を例にとって説明したが、これに限られない。すなわち、各登録者が個人別に決めた特定の手の状態で個人認証を行うようにしてもよい。この場合も、上記同様の効果を得ることができる。またこれを応用して、一般的な手話のように、当該登録者が片手で作りやすい各種の姿勢状態に対応させて、各種操作指示を判定させるようにしてもよい。

また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。

その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

１人物
２手
１１ＣＰＵ（制御手段）
１３大容量記憶装置（第１記憶手段、第２記憶手段）
１４カメラ（撮像手段)
１７アクチュエータ
１００ロボット
１０２リンク
１０３関節
１０５ロボットアーム
Ｇ２手領域検出処理（手領域検出手段、手領域抽出手段）
Ｇ３人物判定処理（人物判定手段）
Ｇ４指示判定処理（指示判定手段）

Claims

撮像を行い、対応する画像データを出力する撮像手段と、
前記撮像手段から出力された画像データに含まれる人物の手の領域を検出し、対応する手領域データを生成する手領域検出手段と、
前記手領域検出手段により生成された前記手領域データに基づき、前記手の領域を検出した人物が、予め定められた特定の人物であるかどうかを判定する人物判定手段と、
前記人物判定手段による判定が満たされた場合に、前記手領域検出手段により生成された前記手領域データに基づき、前記特定の人物の操作指示に対応した特定の手の姿勢を判定する指示判定手段と、
を有することを特徴とする操作指示認識装置。
請求項１記載の操作指示認識装置において、
前記手領域検出手段により生成された前記手領域データを正規化して抽出する手領域抽出手段をさらに有し、
前記人物判定手段は、
前記手領域検出手段により生成された前記手領域データに基づき、前記手の領域を検出した人物が、前記特定の人物であるかどうかを判定する
ことを特徴とする操作指示認識装置。
請求項１又は請求項２記載の操作指示認識装置において、
前記特定の人物に係わる手領域データを記憶する第１記憶手段をさらに有し、
前記人物判定手段は、
前記手領域検出手段により生成された前記手領域データと前記第１記憶手段に記憶された前記特定の人物に係わる手領域データとを比較して、前記特定の人物であるかどうかの判定を行う
ことを特徴とする操作指示認識装置。
請求項３記載の操作指示認識装置において、
前記人物判定手段は、
各人物それぞれの、指の長さ又は手の面積を含む手の形状の違いに基づき、前記特定の人物であるかどうかの判定を行う
ことを特徴とする操作指示認識装置。
請求項１乃至請求項４のいずれか１項記載の操作指示認識装置において、
前記特定の人物の所定の手の姿勢に係わる手姿勢データを記憶する第２記憶手段をさらに有し、
前記指示判定手段は、
前記手領域検出手段により生成された前記手領域データと前記第２記憶手段に記憶された前記特定の人物に係わる手領域データとを比較して、前記特定の手の姿勢の判定を行う
ことを特徴とする操作指示認識装置。
請求項５記載の操作指示認識装置において、
前記指示判定手段は、
各特定の人物それぞれの、指の長さ又は手の面積を含む手の形状の違いに基づき、前記特定の手の姿勢の判定を行う
ことを特徴とする操作指示認識装置。
請求項１乃至請求項６のいずれか１項記載の操作指示認識装置において、
前記人物判定手段は、
前記撮像手段が第１姿勢である手を撮像した前記画像データに対応した手領域データに基づき、前記特定の人物であるかどうかの判定を行い、
前記指示判定手段は、
前記撮像手段が前記第１姿勢と異なる第２姿勢である手を撮像した前記画像データに対応した手領域データに基づき、前記操作指示に対応した手の姿勢の判定を行う
ことを特徴とする操作指示認識装置。
請求項１乃至請求項７のいずれか１項記載の操作指示認識装置において、
前記手領域検出手段は、
Ｈａａｒ−ｌｉｋｅ特徴量を用いた手法、肌色抽出、輪郭抽出、及びテンプレートマッチングのいずれか１つの手法により、前記手の領域を検出する
ことを特徴とする操作指示認識装置。
人物の手の、少なくとも１種類の姿勢を、操作指示として認識する操作指示認識装置と、
複数のリンク、前記複数のリンクのうち隣接するリンクどうしを屈曲可能に連結する複数の関節、及び、駆動対象の前記リンクへの駆動力を発生する少なくとも１つのアクチュエータ、を備えた多関節型のロボットアームと、
前記操作指示認識装置の認識結果に応じて、前記少なくとも１つのアクチュエータの駆動を制御する制御手段と、
を有するロボットであって、
前記操作指示認識装置は、
撮像を行い、対応する画像データを出力する撮像手段と、
前記撮像手段から出力された画像データに含まれる人物の手の領域を検出し、対応する手領域データを生成する手領域検出手段と、
前記手領域検出手段により生成された前記手領域データに基づき、前記手の領域を検出した人物が、予め定められた特定の人物であるかどうかを判定する人物判定手段と、
前記人物判定手段による判定が満たされた場合に、前記手領域検出手段により生成された前記手領域データに基づき、前記特定の人物の操作指示に対応した手の姿勢を判定する指示判定手段と、
を備え、
前記制御手段は、
前記指示判定手段により判定された手の姿勢に対応し、前記少なくとも１つのアクチュエータの駆動を制御する
ことを特徴とするロボット。