JP2013069224A - 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム - Google Patents

Abstract

【課題】計算処理を簡略化でき、多くの計算資源を持たずに実装可能な動作認識技術、及び、この動作認識技術を利用して制御対象機器を制御する技術を提供する。
【解決手段】制御対象機器を制御する操作装置を備える。操作装置は、認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識すると、所定の振り動作があったと認識する動作認識部と、動作認識部の認識結果に基づいて制御対象機器を制御する制御部とを備えている。
【選択図】図１

Description

本明細書で開示する技術は、動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラムに関する。より詳細には、例えば、操作者の手或いは頭等の認識対象部位（被験体）の動きを認識する技術（動作認識技術）に関する。例えば、その認識結果に基づき、制御対象機器を制御できるようにした操作装置（指示入力装置）やインタフェース装置に利用される技術である。

今日、人間（例えば身体全体、頭、手、指先等）の動作を認識して、その認識結果をテレビやオーディオ機器やコンピュータ等の電子機器（制御対象機器）の操作に利用する技術（ジェスチャ認識を利用した操作技術）が提案されている。

例えば、ディスプレイに内蔵されたＣＣＤカメラによって撮影した操作者を含む画像から、操作者の手の形状や動きを認識し、これに基づき画面に表示されている指示アイコンの形状や位置を変化させるといった表示制御を行なうことにより、ハンドジェスチャによる指示を可能にしたインタフェース装置が考えられている。しかしながらこの場合、操作者は指示に用いるハンドジェスチャを覚える必要があり、ジェスチャによる指示を行なう上で負担となる。

これに対して、特開２００８−５２５９０号公報には、操作者の行なうハンドジェスチャを認識し、これに基づき制御対象機器の制御を行なうときに、操作者がより確実に操作できるインタフェース装置が提案されている。当該公報に開示の技術では、操作者の手を含む画像を取り込み、入力画像から認識対象として１種類以上の手形状又は手の動きをジェスチャ認識部で認識し、認識した手形状又は手の動きに対応した指示情報に基いて制御対象機器を制御するとともに、ジェスチャ認識部が認識可能な手形状又は手の動きの模範的な画像をジェスチャ情報表示部により表示する。例えば、ジェスチャ情報表示部は、操作に用いるジェスチャの一覧、ジェスチャ認識部の認識結果、操作者の手と思われる部分の画像を表示し、操作者はジェスチャを覚えることなく画面を確認しながら操作を行なえるようになる。ジェスチャ認識部に認識させ易いように操作者が行なうジェスチャを修正することが可能となり、操作性が向上する。この技術によれば、操作者はインタフェース装置の操作に用いる手形状や手の動きを覚えることなく操作を行なうことができる。

一方、特開平１０−１１３３４３号公報には、人間や動物或いは機械等の移動体について、その移動体の動作や行動を自動認識する認識装置が提案されている。当該公報に開示の技術では、被験体に取り付けられ、被験体の動作又は行動に伴う状態変化を計測手段により観測し、この観測結果における特徴量を特徴量抽出手段により抽出する。更には、認識装置により認識すべき動作又は行動についての特徴量を予め記憶手段に記憶しておき、観測結果から抽出した特徴量と記憶手段に記憶してある特徴量とに基づいて、被験体の動作又は行動を認識し、その認識結果を出力する。例えば、被験者の動作や行動に伴う状態変化を計測する測定器を取り付け、現在被験者が行なっている動作或いは行動の特徴量を特徴量抽出部により計測信号から抽出し、動作或いは行動を認識するための信号処理装置で、前もって記憶している動作或いは行動の特徴量データベースに含まれている参照データと抽出した特徴量との相関をとり、最も相関の高い特徴量の意味する動作或いは行動を認識結果として出力する。この技術によれば、被験者或いは被験物体の状態変化を測定しその測定結果を単なる測定値として利用するのではなく状態変化の測定値の特徴量を用いて認識処理を自動的に行なうため、被験者の動作或いは行動をより正しく認識することができる。

特開２００８−５２５９０号公報 特開平１０−１１３３４３号公報

操作者の行なう動作（例えばハンドジェスチャ）を認識するには、特開２００８−５２５９０号公報や特開平１０−１１３３４３号公報に記載の技術をはじめとして、認識対象部位（例えば手）の形状を認識しての手法が考えられるが、認識対象部位によっては形状が複雑な場合もあり（例えば手の場合）、その認識は難しい。又、特開平１０−１１３３４３号公報に記載の技術では、学習による方法をとっているが、この場合、高速なＣＰＵや大量のメモリ等、多くの計算資源が必要となる。例えば、手のように形の変わる物体の認識は難しく、大量の学習データが必要であり、時間のかかる複雑な学習過程も必要となる。又、学習結果のデータのためのメモリを必要とするため、メモリが増大する。

従って、本開示の目的は、計算処理を簡略化でき、多くの計算資源を持たずに実装可能な動作認識技術、及び、この動作認識技術を利用して制御対象機器を制御する技術を提供することを目的とする。

本開示の第１の態様に係る動作認識装置は、認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識すると、所定の振り動作があったと認識する動作認識部を備えている。本開示の第１の態様に係る動作認識装置の従属項に記載された各動作認識装置は、本開示の第１の態様に係る動作認識装置のさらなる有利な具体例を規定する。

本開示の第２の態様に係る動作認識方法は、認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識し、この認識結果を制御対象機器の制御に使用する。

本開示の第３の態様に係る操作装置は、認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識すると、所定の振り動作があったと認識する動作認識部と、動作認識部の認識結果に基づいて制御対象機器を制御する制御部とを備えている。

本開示の第４の態様に係る電子機器は、機器の機能に対応する処理を行なう処理部と、認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識すると、所定の振り動作があったと認識する動作認識部と、動作認識部の認識結果に基づいて処理部を制御する制御部とを備えている。

本開示に係る技術は、電子計算機（コンピュータ）を用いてソフトウェアで実現することもでき、このためのプログラムやこのプログラムを格納した記録媒体を発明として抽出することも可能である。例えば、本開示の第５の態様に係るプログラムは、認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識すると、所定の振り動作があったと認識する動作認識部と、動作認識部の認識結果に基づいて制御対象機器を制御する制御部としてコンピュータを機能させる。プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線或いは無線による通信手段を介した配信により提供されてもよい。

本開示の第２の態様に係る動作認識方法、本開示の第３の態様に係る操作装置、本開示の第４の態様に係る電子機器、本開示の第５の態様に係るプログラムのそれぞれにおいては、本開示の第１の態様に係る動作認識装置に適用される各種の技術・手法が同様に適用可能であり、それが適用された構成は、それぞれのさらなる有利な具体例を規定する。

要するに、本明細書で開示する技術では、認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識し、その認識結果に基づいて制御対象機器や制御対象の処理部を制御する。認識対象部位が、ある位置から他の位置へ移動した後に、再度元の位置に戻ると、所定の振り動作があったと認識する。このような所定の振り動作があったことの認識においては、認識対象部位の大まかな移動の状況を認識すればよく、計算処理が煩雑な形状認識や多くの計算資源が必要な学習による方法をとらなくてもよく、比較的簡単に振り動作の有無を認識することができる。

本開示の第１の態様に係る動作認識装置、本開示の第２の態様に係る動作認識方法、本開示の第３の態様に係る操作装置、本開示の第４の態様に係る電子機器、本開示の第５の態様に係るプログラムによれば、計算処理を簡略化でき、又、多くの計算資源を持たずに実装可能な動作認識技術を実現できるし、この動作認識技術を利用して制御対象機器を制御する技術も実現することができる。

図１（Ａ）〜図１（Ｂ）は、実施例１を説明する図である。 図２は、フリップジェスチャの一例を説明する図である。 図３は、方向を認識するために使用する領域例を説明する図である。 図４は、動作認識装置において、方向を認識する際の状態遷移図である。 図５は、動作認識部の処理手順を説明するフローチャートである。 図６（Ａ）〜図６（Ｂ）は、実施例１の操作制御部が行なう制御の一例を説明する図である。 図７（Ａ）〜図７（Ｃ）は、メニュー操作の確定指示、戻り指示、終了指示を、フリップ動作で特定する手法の一例を説明する図である。 図８（Ａ）〜図８（Ｂ）は、実施例２を説明する図である。 図９（Ａ）〜図９（Ｃ）は、実施例２のメニュー操作の確定指示、戻り指示、終了指示を、フリップ動作で特定する手法の一例を説明する図である。 図１０（Ａ）〜図１０（Ｂ）は、実施例３を説明する図である。 図１１（Ａ）〜図１１（Ｂ）は、実施例４を説明する図である。

以下、図面を参照して、本明細書で開示する技術の実施形態について詳細に説明する。各機能要素について形態別に区別する際にはアルファベットの参照子を付して記載し、特に区別しないで説明する際にはこの参照子を割愛して記載する。図面においても同様である。

説明は以下の順序で行なう。
１．全体概要
２．具体的な適用例
実施例１：認識対象部位の２次元の動きを認識する形態
実施例２：認識対象部位の３次元の動きを認識する形態
実施例３：ネットワークを利用して複数の電子機器を制御する形態
実施例４：学習リモコンを利用して複数の電子機器を制御する形態

＜全体概要＞
先ず、基本的な事項について以下に説明する。本明細書で開示する動作認識装置、動作認識方法、操作装置、電子機器、プログラムにおいては、動作認識部は、認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識すると、所定の振り動作があったと認識する。制御部は、この動作認識部の認識結果に基づいて制御対象機器や制御対象の処理部を制御する。

例えば、認識対象部位が手の場合であれば、例えば、手の中心（重心）座標という比較的簡単に取得できる情報のみで、認識対象部位である手の移動状況（手振り）を認識することができる。手の形状から、操作者が指示する方向のみを認識するというものではなく、手の振りの動作を認識することで、操作者の指示する方向にＮステップだけ移動するといった操作に利用することができる。このような技術は、例えば、ＧＵＩ（Graphical User Interface）のメニューの選択操作に有用である。

例えば、動作認識部は、認識対象部位が、原点判定領域から、一の判定領域へ移動し、他の判定領域を経由することなく原点判定領域に戻ったことを認識すると、原点判定領域に対する一の判定領域の存在する方向を示す振り動作があったと認識する。より具体的には、動作認識部は、原点判定領域を基準に、閾値を超えた距離の複数の方向に判定領域を定め、認識対象部位が、原点判定領域から、一の判定領域へ移動し、他の判定領域を経由することなく原点判定領域に戻ったことを認識すると、方向を示す振り動作があったと認識する。このようにして、方向を示す１フリップ操作の有無を認識する。

或いは、方向を示す１フリップ操作以外（例えば、確定、戻り、終了等の操作）の認識に当たっては、例えば、動作認識部は、認識対象部位が、複数の判定領域に順に移動したことを認識すると、方向を示す振り動作とは異なる動作であって、その移動順に対応して予め定められている振り動作があったと認識する。

方向を示す１フリップ操作の有無、方向を示す１フリップ操作以外の操作の有無の何れも、認識対象部位の注目点（例えば、中心座標）という比較的簡単に取得できる情報のみで、認識対象部位の移動の状況を認識することができ、その認識結果により、所定の振り動作の有無を認識することができる。制御部は、動作認識部が認識した振り動作に対応して予め定められている動作を制御対象機器に指示する。

因みに、認識対象部位は、必ずしも予め想定されている順に移動するとは限らない。その場合の対処として、例えば、動作認識部は、認識対象部位が、原点判定領域から、一の判定領域へ移動した後に原点判定領域に戻る前に、想定外の領域へ移動したときには、領域移動無効状態と判断するとよい。更には、動作認識部は、領域移動無効状態と判断した後に、認識対象部位が原点判定領域に戻ったことを認識すると、領域移動無効状態を解除するとよい。

又、認識対象部位の移動の状況は、必ずしも同じ原点判定領域を基準に動作を開始するとも限らない。その場合の対処として、例えば、動作認識部は、認識対象部位が、原点判定領域から他の領域へ移動した後に、他の領域に認識対象部位が一定時間以上留まっていることを認識すると、他の領域を原点判定領域に再設定するとよい。

認識対象部位が移動する際には、各領域の境界でぶれることも起こりえ、このぶれを忠実に認識してしまうと、認識対象部位が予め想定されている順に移動したとは認識できない。その対処としては、各判定領域の間には、何れにも認識されない緩衝領域を配置するとよい。

認識対象部位を認識する際の基本技術（センシング手段）としては、様々なものが利用できる。認識対象部位（例えば、操作者の手）の動きを、各種センサ（速度・加速度センサ、屈曲角センサ等）を用いて検出すればよい。その他にも、例えば、超音波、圧力センサアレイ、マイクロフォン（音声認識）、人感センサ（焦電センサ）等の各種のセンサを使用する技術がある。又、距離画像センサやサーモグラフィを使用することもできるし、画像センシング技術を利用することもできる。画像センシング技術にあっては、認識し易いようにマーカを併用してもよい。但し、何れの場合も、認識対象部位の大まかな移動の状況を認識すればよく、形状分析等の詳細な計算処理は不要である。画像センシング技術の適用においては、認識対象部位を撮像する撮像装置を備え、動作認識部は、認識対象部位を撮像装置により撮像した画像に基づいて、認識対象部位の移動の認識処理を行なう。

又、画像センシング技術の適用においては、認識対象部位の２次元状の移動を認識することに限らず、ステレオ視した画像を使用することにより、認識対象部位の３次元状の移動を認識することもできる。即ち、動作認識部は、認識対象部位をステレオ視した画像に基づいて、認識対象部位の３次元状の移動の認識処理を行なう。ステレオ視した画像の取得に当たっては、複数の単眼カメラを使用してもよいし、複眼のステレオカメラを使用してもよい。但し、複数の単眼カメラを使用する場合、カメラ間の距離が離れている場合等には認識誤差が大きくなってしまうので、好ましくは、撮像装置は、ステレオ視した画像を撮像する複眼のもの（ステレオカメラ）であるとよい。

操作者が手等の移動により操作指示を行なう際に、操作者は、動作認識装置がどのように認識しているかといったことが分からないと、手等の移動による操作指示をスムーズにできないことが想定される。その対処として、本明細書で開示する動作認識装置、動作認識方法、操作装置、電子機器、プログラムにおいては、好ましくは、動作認識部の認識状態や制御部による制御対象機器の制御状態を通知する通知部を備えているとよい。

本明細書で開示する操作装置、プログラムにおいては、電子機器（制御対象機器）は１つとは限らない。即ち、制御部は、複数の制御対象機器を制御可能に構成することができる。この場合、操作装置と制御対象機器としての電子機器との間のインタフェースとしては、ネットワークやリモートコントローラと称される遠隔操作機器（リモコン、例えば赤外線リモコン）を利用することができる。リモートコントローラを使用することにより、機器を離れた場所から操作することができる。特に好ましくは、制御部は、学習型の遠隔操作機器（学習リモコン）を介して複数の制御対象機器を制御可能に構成されているとよい。学習型の遠隔操作機器は、複数の遠隔操作機器が発生する操作信号を学習（記憶）して、１つの遠隔操作機器で複数の機器を操作する装置であり、プログラマブルリモコンとも称される。尚、複数の遠隔操作機器用の信号情報を予め内部の記憶装置に記憶（プリセット）しておく形態のものでもよい。学習型の遠隔操作機器を使用することにより、１台の遠隔操作機器で、制御対象の全ての機器を操作することができる。

＜具体的な適用例＞
次に、本明細書で開示する動作認識装置、動作認識方法、操作装置、電子機器、プログラムの具体的な適用例について説明する。尚、以下では、認識対象部位を認識する際の基本技術（センシング手段）として、マーカを併用しない画像センシング技術を使用する場合で説明するが、センシング手段は、これに限らず、各種センサを用いてもよい。

図１は、実施例１を説明する図である。ここで、図１（Ａ）は、実施例１の電子機器の外観例を示し、図１（Ｂ）は、実施例１の操作装置の機能ブロック図である。

実施例１は、認識対象部位の２次元の動きを画像認識して、その認識結果を電子機器（制御対象機器）の操作に利用する形態である。認識対象部位としては、一例として、手や指先等を想定する。

図１（Ａ）に示すように、実施例１の電子機器は具体的には録画機能付きのテレビ３１０である。ここで、実施例１においては、テレビ３１０には、表示パネル３１２の外側のパネル枠３１４の上部に単眼の撮像装置３２０が設けられている。尚、撮像装置３２０は、パネル枠３１４の上部ではなくパネル枠３１４自体に組み込まれていてもよい。

図１（Ｂ）に示すように、実施例１の操作装置１００Ａは、撮像装置３２０と、動作認識装置２００Ａと、操作制御部１１０とを備えている。動作認識装置２００Ａと操作制御部１１０とは、図１（Ｂ）に示すように、テレビ３１０に組み込まれていてもよいし、図１（Ａ）に示すように、テレビ３１０とは別の装置として提供されてもよい。図示した例では、テレビ３１０の機能に対応する処理を行なう処理部である制御対象機能部として、受信処理部（チャネル切替えを行なう機能部）、映像信号を処理する映像処理部、音声信号を処理する音声処理部、画像を録画し再生する録画・再生部を一例として示している。

動作認識装置２００Ａは、動作認識部２１０Ａと通知部２３０とを備えている。形態によっては通知部２３０を備えない場合もある。撮像装置３２０は、操作者の手を含む画像を撮像し、撮像画像を動作認識部２１０Ａに供給する。動作認識部２１０Ａは、入力された撮像画像から、認識対象部位の動作を認識し、その認識結果を操作制御部１１０と通知部２３０とに出力する。操作制御部１１０は、動作認識部２１０Ａから入力された認識結果に基づいて、制御対象機器であるテレビ３１０の制御内容を決定し、制御対象機器（テレビ３１０）を制御する。

通知部２３０は、操作者が操作装置１００Ａに指示を与える際に参照するための情報、例えば、操作装置１００Ａの認識状態及び／又は制御対象機器の制御状態（操作状態）を、画像や音声等で操作者に通知する。尚、表示パネル３１２をその表示デバイスとして利用してもよいし表示パネル３１２とは別の専用の表示デバイスを使用してもよい。又、画像表示と同時に（或いは画像表示なしでもよい）、後述の原点検出が行なわれた場合や動作認識時に音を鳴らしてもよい。

［動作認識部］
動作認識部２１０Ａは、基準特定部２１２と、移動領域特定部２１４と、移動方向特定部２１６とを備えている。基準特定部２１２は、認識対象部位（手等）が原点判定領域に属するか否かを判定する。移動領域特定部２１４は、認識対象部位（手等）が移動判定領域に属するか否かを判定する。移動方向特定部２１６は、基準特定部２１２と移動領域特定部２１４の各判定結果に基づいて認識対象部位の上下左右の動作（フリップ動作、以下フリップジェスチャとも記す）の方向を判定する。ここで、動作認識部２１０Ａの移動方向特定部２１６は、認識対象部位が原点判定領域から移動判定領域へ移動した後に原点判定領域に戻ったことに基づいて、移動領域特定部２１４が認識した移動判定領域の方向への１フリップ動作があったと認識する。

動作認識部２１０Ａは、このようなフリップジェスチャの認識に当たり、例えば、撮像画像上の種々の位置に種々の大きさの部分領域を設定し、部分領域内の画像を切り出す。部分領域は、例えば、Ｎ種類のウィンドウサイズを用意し、そのそれぞれについて画面を走査させることによって設定する。動作認識部２１０Ａは、入力として与えられた部分領域画像を所定のサイズに正規化し、予め記憶部に格納された教科書データを用いることにより、対象物かどうかを判定する。

尚、動作認識部２１０Ａのこのような手法は一例に過ぎない。例えば、入力画像から生成した輪郭画像に対して模範画像との類似性を評価する方法や、入力画像における肌色領域のパターン類似性を評価する方法等を用いることもできる。因みに、肌色領域を評価する手法を採用する場合には、色情報を人間の視覚特性と一致する均等知覚色空間で表現することにより、入力画像から安定して肌色らしい領域を抽出するとよい。但し、均等知覚色空間で表現する場合、照明条件等の明るさによる影響を受ける。これに対しては、例えば、ＨＳＬ空間やＨＳＶ空間等のオストワルト表色系の信号で処理するとよい。尚、Ｈ成分は色相（Hue）、Ｓ成分は彩度（Saturation）、Ｌ成分は明度（Lightness）、Ｖ成分は強度(Value)である。

操作制御部１１０は、動作認識部２１０Ａによるフリップジェスチャの認識結果に基づいて制御内容を決定し、制御対象機器であるテレビ３１０を制御する。ここで、本実施形態においては、手の原点判定領域（原点領域）を定め、原点判定領域を基準にある閾値を超えた距離に、各方向に判定領域を定める。各方向の動作（ジェスチャ）は、原点判定領域から各方向の判定領域に移動し、再度原点判定領域に戻ってきた際に認識する。以下、この点について詳しく説明する。

［フリップジェスチャ］
図２〜図５は、実施例１の操作制御を説明する図である。ここで、図２は、フリップジェスチャの一例を説明する図である。図３は、方向を認識するために使用する領域例を説明する図である。図４は、動作認識装置において、方向を認識する際の状態遷移図である。図５は、その際の動作認識部２１０Ａの処理手順を説明するフローチャートである。

フリップジェスチャでは、図２に示すように、ある方向に操作者が手を移動した後、元の位置に戻すという動作となる。これに着目し、本実施形態では、図３に示すように、手の重心（中心）座標が一度ある判定領域に移動した後、元の位置（原点判定領域）に戻ってきたとき、原点判定領域に対する一の判定領域の存在する方向を示す振り動作（方向を示す１フリップ操作）があったと認識するという考え方をとる。又、認識対象部位が、複数の判定領域に順に移動したことを認識すると、方向を示す振り動作とは異なる動作であって、その移動順に対応して予め定められている振り動作があったと認識するという考え方をとる。

先ず、撮像装置３２０からの撮像画像中に、手の領域が抽出されている状態を前提とする。ここで、本実施形態の動作認識の基本的な考え方は、手の原点（重心）を定め、手が原点判定領域から上下左右の判定領域内に移動した後、原点判定領域に再び戻ってきた際に、１フリップ入力と認識する。そのため、動作認識部２１０Ａの動作状態としては、図４に示すように、原点検出状態マシン（基準特定部２１２と対応）と方向検出状態マシン（移動領域特定部２１４及び移動方向特定部２１６と対応）といった２つの状態遷移マシンが存在する。原点検出状態マシンは、常に手の位置を捕捉し、手が一定の位置に留まっているかどうかを常に監視する。方向検出状態マシンは、原点とそこからの手の移動方向を監視し、フリップジェスチャの有無と方向を検出する。

先ず、初期状態では、原点未確定の状態である（図４のＴ１１０）。操作者が撮像装置３２０の前に手をかざし、一定時間（例えば１秒程度）静止させると、原点検出状態マシンは、原点が確定したと判断し、原点確定状態に遷移する。同時に、方向検出状態マシンが初期化される。方向検出状態マシンの初期状態は、原点状態となる（図４のＴ１２０）。つまり、動作認識部２１０Ａは手の原点を求める（Ｓ１１０）。例えば、動作認識部２１０Ａは、手の領域の重心（中心）を求め、重心が一定期間ほぼ停止していた場合の手の重心位置を原点とする。

この際、操作者の意図しない手のブレを考慮し、ある一定の半径をもつ円領域（図３の原点判定領域）内に重心が一定期間収まっていれば原点判定領域に属すると扱う。原点判定領域と、上下左右の判定領域（上判定領域、下判定領域、左判定領域、右判定領域）との間には、何れにも認識されない緩衝領域を設けている。図示しないが、上下左右の各判定領域同士の間にも緩衝領域を設けてもよい。これにより、領域の境界付近に手が位置している場合に、操作者の意図しない手の位置のブレにより、連続でジェスチャが認識されるといった誤動作を回避することができる。例えば、動作認識部２１０Ａは、手の属する領域を求める（Ｓ１２０）。そして、原点判定領域に留まっていれば手の移動はないと判断する（Ｓ１２２−ＹＥＳ）。

方向検出状態マシンは、原点とそこからの手の移動方向を監視し、フリップジェスチャの有無と方向を検出する。この際には、手が先に認識した一の判定領域から外れたことを認識した後、他の判定領域を経由することなく原点判定領域に戻ったことを認識すると、１つのフリップジェスチャがあったと認識する。例えば、動作認識部２１０Ａは、手が原点判定領域から外れたことを認識すると（Ｓ１２２−ＮＯ）、手が何れかの方向に閾値以上移動し（つまり緩衝領域を超えて）、上下左右の何れの判定領域に属するようになったのかを判定する（Ｓ１３０）。この例では、手が右判定領域に属するようになったと判定する。尚、前述のように、手が原点判定領域から外れたことを認識した後、上下左右の何れの判定領域にも属することなく原点判定領域に戻ってきたと認識したときにはフリップジェスチャはなかったと判断する。

例えば、操作者が図３の右判定領域に手を移動させた場合、方向検出状態マシンは、右判定領域移動状態に遷移する（図４のＴ１３０）。そして、再び原点判定領域に手を移動させると、方向検出状態マシンは、原点状態に戻り、右方向のフリップジェスチャが認識される（図４のＴ１４０）、という流れになる。例えば、動作認識部２１０Ａは、先に認識した右判定領域から外れ閾値以上移動し（つまり緩衝領域を超えて）、原点判定領域に属するようになったのかを判定する（Ｓ１３２）。手が「先に認識した右判定領域」から外れたことを認識した後、他の判定領域を経由することなく原点判定領域に戻ったことを認識すると、１つのフリップジェスチャ（この例では右方向への手振り動作）があったと認識する（Ｓ１３２−ＹＥＳ、Ｓ１４０）。尚、手が「先に認識した右判定領域」から外れたことを認識した後、原点判定領域に属することなく（Ｓ１３２−ＮＯ）、先に認識した右判定領域に戻ってきたと認識したときには（Ｓ１３４−ＹＥＳ）、フリップジェスチャは未だされていないと判断する。もし、右判定領域に移動させたあと、上判定領域に移動させる等の、想定外の手の動きがあった場合には、方向検出状態マシンは、領域移動無効状態に遷移する（図４のＴ１５０）。そして、再び原点判定領域に手が戻った場合、この状態は解除される（Ｓ１３４−ＮＯ）。

反対に、手が左方向に閾値以上移動（図３の左判定領域まで移動）し、再度原点判定領域に戻ってきた場合には左方向のフリップジェスチャが認識される。同様に、手が上方向に閾値以上移動（図３の上判定領域まで移動）し、再度原点判定領域に戻ってきた場合には、上方向のフリップジェスチャが認識され、反対に、手が下方向に閾値以上移動（図３の下判定領域まで移動）し、再度原点判定領域に戻ってきた場合には、下方向のフリップジェスチャが認識される。何れの判定においても、図３に示すように、原点判定領域と、各方向の判定領域の間にどちらにも属さない緩衝領域をおくことにより、操作者の意図しない手のブレによる誤動作を防止することができる。

動作認識部２１０Ａは、手が全く違うところに移動してしまうようなケースにも、柔軟に対応する。例えば、原点検出状態マシンは、方向検出状態マシンと同時並行で常に動作しており、もし原点判定領域とは別の領域（判定領域でもよいし判定領域よりも更に遠くの領域でもよい）で、操作者が一定時間手を静止させると、原点（原点判定領域の中心の位置）を最新の手の重心の位置に移動させ、方向検出状態マシンを再初期化する（図４のＴ１６０）。これにより、操作者は、いつでも原点判定領域の位置を変更することができ、手が認識できる範囲の自由な位置で、フリップジェスチャを行なうことができる。

［実施例１の操作制御］
図６は、実施例１の操作制御部１１０が行なう制御の一例を説明する図である。図７は、メニュー操作の確定指示、戻り指示、終了指示を、フリップ動作で特定する手法の一例を説明する図である。

例えば、フローチャートでは示さないが、先ず操作者は、操作する意図を伝えるために手振り動作を行なう。動作認識装置２００Ａは、撮像装置３２０で取得される撮像画像から「手振りの検出」を行ない、操作者を発見する。尚、赤外線センサ等の測距センサを併用することで、３次元位置情報の取得を行ない、撮像装置３２０からの距離を算出し、撮像装置３２０をズームさせ、ジェスチャ認識処理を行なうための候補領域を絞るようにしてもよい。続いて、例えば手振り位置の色情報等から手領域を抽出する。手領域が抽出されると、操作制御部１１０は、図６に示す操作画面を表示パネル３１２等に表示する。

操作制御部１１０は、動作認識部２１０Ａによって認識されたフリップ動作の方向に基づいて制御内容を決定し、制御対象機器（この例ではテレビ３１０）を制御する。図６は、表示パネル３１２に表示されるメニュー画面を表わしている。この画面の認識状態のエリアは、操作者に操作制御部１１０の内部状態を知らせるために用いられる。メニュー画面は、複数個の矩形領域２３１（それぞれを参照子ａ、ｂ、…で区別する）によって構成されており、これらにはそれぞれテレビ３１０を操作するための特定のコマンドが関連付けられている。

又、図７（Ａ）に示すように、動作認識装置２００Ａは、手が上下左右の各領域の内、隣接する複数（例えば３つ以上）の領域に亘って連続して比較的短時間に移動して原点判定領域に戻って来たとき、つまり大凡、円を描くように手が比較的短時間に移動したと認識できたときに、メニュー操作の確定指示があったと判断する。更には、図７（Ｂ）に示すように、動作認識装置２００Ａは、手が原点判定領域→上判定領域→原点判定領域→下判定領域→原点判定領域（或いは逆に原点判定領域→下判定領域→原点判定領域→上判定領域→原点判定領域）と比較的短時間に移動したとき、つまり大凡、縦方向に手が短時間で移動したと認識できたときには、戻り指示があったと判断する。更には、図７（Ｃ）に示すように、動作認識装置２００Ａは、手が原点判定領域→左判定領域→原点判定領域→右判定領域→原点判定領域（或いは逆に原点判定領域→右判定領域→原点判定領域→左判定領域→原点判定領域）と比較的短時間に移動したとき、つまり大凡、横方向に手が短時間で移動したと認識できたときには、終了指示があったと判断する。そして、動作認識装置２００Ａは、手が原点判定領域から上下左右の領域内に移動した後、原点判定領域に再び戻ってきて一定時間以上手を静止させると、１フリップ入力と認識する。こうすることで、通常の方向を示す１フリップ入力と戻り指示や終了指示とを区別することができる。尚、操作画面によっては、確定指示、戻り指示、終了指示（何れか或いは全部）を必要としない場合もある。

例えば、図６（Ａ）において、矩形領域２３１ｅは、他の矩形領域と異なる状態（図ではハッチングで示されている）で表示されているが、これは矩形領域２３１ｅが現在選択されていることを意味する。「異なる状態」としては、例えば、ハイライト表示や他と異なる色にする等様々な形態をとることができる。

操作者は、撮像装置３２０に向かって図２に示すように手を上下左右に移動させることにより、操作制御部１１０は、メニュー画面上で選択されている矩形領域を手の動きにあわせて変更する。例えば、図６の状態において、操作者が手を原点判定領域→左判定領域→原点判定領域に移動させて、手を一定時間以上、原点判定領域で静止させると、矩形領域２３１ｅの選択状態が解除され、矩形領域２３１ｄが選択候補となり、その状態を示すように、矩形領域２３１ｄが他の矩形領域と異なる状態で表示される。但し、この状態では操作メニューは確定されていない。矩形領域２３１ｄに割り付けられている操作メニューを確定させるには、図７（Ａ）に示したようにして、確定指示のためのフリップ動作を行なう。これにより、操作制御部１１０は、確定された矩形領域（この例では矩形領域２３１ｄ）に関連付けられたコマンド（例えば、チャネルの切替え操作や録画予約操作の画面表示等）を実行する。

一方、操作者の操作間違いや動作認識部２１０Ａの誤認識により矩形領域２３１ｄが選択候補となってしまったのであれば、操作者は、図７（Ｂ）に示したようにして、戻り指示のためのフリップ動作を行なう。この場合、操作制御部１１０は、矩形領域２３１ｄの選択状態を解除し、元の矩形領域２３１ｅを選択候補とし、その状態を示すように、矩形領域２３１ｅを他の矩形領域と異なる状態で表示させる。或いは又、フリップジェスチャによる操作指示を終了させたいのであれば、操作者は、図７（Ｃ）に示したようにして、終了指示のためのフリップ動作を行なう。この場合、操作制御部１１０は、図６（Ａ）に示す操作画面を消す。

確定指示を受けて、例えば、図６（Ｂ）に示すように、チャネルの切替え操作画面に移行すると、この操作画面としては、図６（Ｂ）において、各矩形領域２３１がチャネル番号に割り当てられた状態である。この場合、現在視聴しているチャネルと対応する矩形領域２３１が他の矩形領域と異なる状態で表示される。そして、フリップジェスチャにより別の矩形領域２３１が選択されると、操作制御部１１０は、確定指示を待つことなく選択された矩形領域２３１に割り付けられているチャネルに切り替える。例えば、図では、現在、６チャネルが選択されているが、その左の５チャネルが選択されると直ちに５チャネルに切り替わる。この状態でよければ、操作者は、図７（Ｂ）に示したようにして戻り指示のためのフリップ動作や、図７（Ｃ）に示したようにして終了指示のためのフリップ動作を行なう。或いは、５チャネルの隣り（１、２、４、７、８の何れか）を選択したければ、引き続き、チャネル選択のためのフリップ動作を行なう。

［通知部］
ここで、操作者がフリップジェスチャにより操作指示を行なう際に、操作者は、原点検出状態かどうか、ジェスチャ認識がされたかどうか、といったことが分からないと、フリップジェスチャによる操作指示をスムーズにできないことが想定される。その対策として、本実施形態では通知部２３０を設けている。操作者には、原点検出状態かどうか、ジェスチャ認識がされたかどうか、といった情報を分かりやすく示すようにしている（図６の認識状態のエリアを参照）。電子機器の形態によって方法は異なってくるが、例えば、表示パネル３１２に原点検出状態の場合は、手を静止させるよう、例えばその旨のメッセージや輝点や手の形の点滅等の表示をし、更には、そのときに操作装置１００Ａ（の基準特定部２１２）が特定している手の重心位置を表示するとよい。原点検出が確定したときには、輝点や手の形の点滅を止める（常時表示にする）とよい。

又、方向検出状態の場合は、各方向のフリップジェスチャを行なったときの機器操作のアイコンを表示するとよい。例えば、テレビ３１０の音量を操作する場合であれば、音量アップ時には右方向に「＋」、音量ダウン時には左方向に「−」のアイコンを表示する等して、操作者へのフィードバックを行なう実装が考えられる。更には、表示パネル３１２へのディスプレイと同時に、原点検出が行なわれた場合やフリップジェスチャ認識時に音を鳴らすといったフィードバックも考えられる。

［実施例１の効果］
以上のように、実施例１によれば、操作に用いるフリップジェスチャを認識して制御対象機器の動作を制御可能にしたので、装置の操作性を向上させることができる。従来の動作認識で必要とされた大量のサンプルデータと複雑な学習過程が不要となる。学習結果のデータのためのメモリも不要となる。フリップジェスチャの認識ができれば、接触型の端末において利用されているフリップ動作を利用したアプリケーション（インターネットブラウザ、本や新聞、写真表示等)を、非接触で行なえるようになり、操作者の利便性を向上させることができる。

非接触な操作としてのメリットとしては、以下のようなものが考えられる。例えば、テレビ等の家電機器での操作等を考えると、リモコン不要の操作を可能にすることによる操作性の向上というメリットがあるし、リモコンを探す手間を省く等のメリットもある。又、エアコンや後部座席からのカーナビの操作等、遠くに有る機器を操作したい場合、或いは、手が汚れていて直接機器に触るのが難しい場合（例えば医療機器）等の操作において、機器から離れて操作できるメリットがある。更には、ゲーム機器やデジタルサイネージ（Digital Signage、電子看板）等での、操作そのものを楽しむ、エンタテインメントでの利用も考えられ、これらの場合、コントローラを用いずに操作をすることができるので、ゲーム等の操作性の幅を広げるというメリットも得られる。

本実施形態のフリップジェスチャの認識においては、認識対象部位の大まかな移動状態を認識できればよく（前例では手の重心位置の移動を利用）、手の詳細な形状やその変化状態を認識する必要がないので、多くの高速な計算資源のない装置構成での実装で済む。

図８は、実施例２を説明する図である。ここで、図８（Ａ）は、実施例２の電子機器の外観例を示し、図８（Ｂ）は、実施例２の操作装置の機能ブロック図である。

実施例２は、認識対象部位の３次元の動きを画像認識して、その認識結果を電子機器（制御対象機器）の操作に利用する形態である。

実施例２の電子機器も具体的には図８（Ａ）に示すようにテレビ３１０である。ここで、実施例２においては、３次元の動きを画像認識するべく、テレビ３１０には、パネル枠上部に複眼の撮像装置（ステレオカメラ３２２）が設けられている点が実施例１と異なる。尚、ステレオカメラ３２２は撮像装置としてだけでなく、３次元の動きを画像認識で行なう測距装置としても利用するものであるが、測距装置としてはステレオカメラを使用するものに限らない。３次元の動きを画像認識で行なうのではなく、赤外線センサ等の距離測定機器を用いてもよい。

図８（Ｂ）に示すように、実施例２の操作装置１００Ｂは、ステレオカメラ３２２と、動作認識装置２００Ｂと、操作制御部１１０とを備えている。動作認識装置２００Ｂと操作制御部１１０とは、テレビ３１０に組み込まれていてもよいし、図示のように、テレビ３１０とは別の装置として提供されてもよい。動作認識装置２００Ｂは、動作認識部２１０Ｂと通知部２３０とを備えている。形態によっては通知部２３０を備えない場合もある。

動作認識部２１０Ｂは、移動方向特定部２１６が３次元のフリップジェスチャを認識する点が実施例１の動作認識部２１０Ａと異なる。基本的な考え方は、認識対象部位の前後方向へ移動する動作をも検知可能であると云うことであって、そのフリップジェスチャ認識自体は、上下左右方向へ移動する動作を検知する場合と同じである。

一般的に、ステレオ視では、複数台のカメラ間の対応関係を取得し、２次元の画像から３次元の位置を取得することができる。そこで、例えば、単眼のカメラを複数台任意に設置し、位置認識を行なうことが考えられる。しかしながら、カメラ間の距離が離れている場合等には正確な対応関係を求めることが難しく、そのために認識誤差も大きくなる。そこで、実施例２では、単眼のカメラではなく、ステレオカメラ３２２を用いて、ステレオカメラ３２２で撮像された画像に基づいて、認識対象部位の３次元状の位置を認識する。

即ち、操作者は、操作する意図を伝えるために手振り動作を行なう。動作認識部２１０Ｂは、ステレオカメラ３２２の画像から「手振り」を検出すると、ステレオ計測により手振りの３次元位置を得る。この位置情報に従ってステレオカメラ３２２をパン・チルト・ズームさせ。ジェスチャ認識処理を行なう領域を注視する。手振り検出時にはズームは広角側としておき、部屋の広い範囲で手振りの検出を行なえるようにしておくとよい。続いて、手振り位置の色情報等から手領域の抽出を行ない、更には、フリップ動作の方向を認識する。操作制御部１１０は、動作認識部２１０Ｂによって認識されたフリップ動作の方向に基づいて制御内容を決定し、制御対象機器（この例ではテレビ３１０）を制御する。

［実施例２の操作制御］
図９は、実施例２のメニュー操作の確定指示、戻り指示、終了指示を、フリップ動作で特定する手法の一例を説明する図である。実施例２では、認識対象部位の３次元の動きを画像認識しており、前後方向への手の移動動作を、確定指示、戻り指示、終了指示に割り付ける。その他の点は実施例１と同様である。

例えば、図９（Ａ）に示すように、動作認識装置２００Ｂは、動作認識装置２００Ｂは、手が身体からより遠くに離れて手前判定領域に移動した後、原点判定領域に再び戻ってきて一定時間以上手を静止させると、メニュー操作の確定指示と対応する１フリップ入力があったと判断する。更には、図９（Ｂ）に示すように、動作認識装置２００Ｂは、手が身体方向に引かれ奥行き判定領域に移動した後、原点判定領域に再び戻ってきて一定時間以上手を静止させると、戻り指示と対応する１フリップ入力があったと判断する。更には、図９（Ｃ）に示すように、動作認識装置２００Ｂは、手が原点判定領域→奥行き判定領域→原点判定領域→手前判定領域→原点判定領域（或いは逆に原点判定領域→手前判定領域→原点判定領域→奥行き判定領域→原点判定領域）と比較的短時間に移動したとき、つまり大凡、前後方向に手が短時間で移動したと認識できたときには、終了指示があったと判断する。こうすることで、確定指示や戻り指示と対応する１フリップ入力と終了指示とを区別することができる。

尚、この場合においても、操作者の意図しない手のブレを考慮し、ある一定の範囲（図９の原点判定領域）内に手の重心が一定期間収まっていれば原点と扱う。更に、原点判定領域と、前後領域（奥行き判定領域、手前判定領域）との間には、何れにも認識されない緩衝領域を設けるとよい。これにより、判定領域の前後方向の境界付近に手が位置している場合に、操作者の意図しない手の位置のブレにより、連続でジェスチャが認識されるといった誤動作を回避することができる。

［実施例２の効果］
確定指示を、手が手前判定領域に移動したことに基づいて特定するので、実際のリモコン操作でボタンを押す操作と概ね同じような操作となり、リモコン操作の感覚に近い状態で確定指示ができる。

［実施例２の変形例］
前述の説明では、前後方向への手の移動動作に基づいて、確定指示、戻り指示、終了指示を特定する例で説明したが、矩形領域２３１を３次元に展開して、３次元状に配置された各矩形領域２３１にコマンドを割り当ててもよい。

図１０は、実施例３を説明する図である。ここで、図１０（Ａ）は、実施例３の全体構成例を示し、図１０（Ｂ）は、実施例３の操作装置の機能ブロック図である。

実施例３は、複数の電子機器（制御対象機器）の動作を制御可能に構成した点に特徴がある。後述の実施例４との相違は、実施例３の操作装置１００Ｃは、各電子機器１を有線或いは無線によるネットワークにより制御可能に構成している点にある。因みに、認識対象部位の動き認識は、実施例１のように２次元に限ったものでもよし、実施例２のように３次元に展開してもよい。以下では実施例２のように認識対象部位の３次元の動きを画像認識する場合で説明する。

実施例３の実際のアプリケーションとしては、例えば、オフィス内や家庭内の情報機器や情報家電機器（例えばパーソナルコンピュータ（以下「ＰＣ」と記す）、テレビ、ＤＶＤ或いはブルーレイプレイヤ等の映像・音声機器等）の操作を実現することを想定する。

図１０（Ａ）に示すように、室内には、制御対象機器である電子機器として、テレビ３１０、録画再生装置３３０、オーディオ機器３４０、ＰＣ３５０、照明器具３６０が存在している。操作装置１００Ｃと各電子機器（テレビ３１０、ＰＣ３３０、録画再生装置３４０、照明器具３５０）とはネットワーク（有線・無線の何れでもよい）で接続されている。

認識対象部位の３次元の動きを画像認識するべく、室内を監視な位置（例えば天井近傍）に、複数台のパン・チルト・ズーム機能を持つステレオカメラ３２２が配置されている。尚、ステレオカメラ３２２を撮像装置３２０に置き換えて、それら複数台の撮像装置３２０を用いてステレオ視することもできる。一般的にステレオ視では複数台の撮像装置間の対応関係を取得し、２次元の画像から３次元の位置を取得することができるので、例えば、部屋の天井に単眼の撮像装置を複数台任意に設置し、位置認識を行なう。但し、撮像装置間の距離が離れている場合等には正確な対応関係を求めることが難しく、そのために測定誤差が大きくなる。その対策としては、本実施例では、単眼の撮像装置３２０ではなく、複眼の撮像装置であるステレオカメラ３２２を複数台用いている。

［電子計算機による構成］
実施例３の操作装置１００Ｃは、ＣＰＵ、ＲＡＭ、ＲＯＭ等を有する電子計算機（コンピュータ）を用いて実施例２の操作装置１００Ｂの機能をソフトウェアで実現するように構成されている。即ち、電子機器の動作を制御する手法は、ハードウェア処理回路により構成することに限らず、その機能を実現するプログラムコードに基づき電子計算機（コンピュータ）を用いてソフトウェア的に実現される。よって、本実施形態に係る技術を、電子計算機（コンピュータ）を用いてソフトウェアで実現するために好適なプログラムあるいはこのプログラムを格納したコンピュータ読取可能な記憶媒体が発明として抽出される。ソフトウェアにより実行させることで、ハードウェアの変更を伴うことなく、処理手順等が容易に変更されることとなる。

図１０（Ｂ）に示すように、電子機器の操作処理に関わる制御機構を構築する操作装置１００Ｃを成すコンピュータシステム９００は、ＣＰＵ（Central Processing Unit ）やマイクロプロセッサ（microprocessor）で構成された中央制御部９１０と、読出専用の記憶部であるＲＯＭ（Read Only Memory）、或いは随時読出し・書込みが可能なメモリであるＲＡＭ（Random Access Memory）等を具備する記憶部９１２と、操作部９１４と、図示を割愛したその他の周辺部材を有している。コンピュータシステム９００は、モニタやスピーカと接続されており、操作者が電子機器を操作する際に参照するための情報を画像や音声等で操作者に通知可能に構成されている。

中央制御部９１０は、コンピュータが行なう演算と制御の機能を超小型の集積回路に集約させたＣＰＵを代表例とする電子計算機の中枢をなすものと同様のものである。ＲＯＭには電子機器の操作処理用の制御プログラム等が格納される。操作部９１４は、利用者による操作を受け付けるためのユーザインタフェースである。

コンピュータシステム９００の制御系としては、メモリカード等の図示を割愛した外部記録媒体を挿脱可能に構成し、インターネット等の通信網との接続が可能に構成するとよい。このためには、制御系は、中央制御部９１０や記憶部９１２の他に、可搬型の記録媒体の情報を読み込むメモリ読出部９２０や外部との通信インタフェース手段としての通信Ｉ／Ｆ９２２を備えるようにするとよい。メモリ読出部９２０を備えることで外部記録媒体からプログラムのインストールや更新ができる。通信Ｉ／Ｆ９２２を備えることで、通信網を介しプログラムのインストールや更新ができる。尚、本実施例では、通信Ｉ／Ｆ９２２は、操作装置１００Ｃから各電子機器（テレビ３１０、ＰＣ３３０、録画再生装置３４０、照明器具３５０）への制御信号を送信（伝送）するためにも利用される。基本的な電子機器の操作処理の手法は実施例２と同様である。

因みに、各電子機器の動作を制御するべく、コンピュータシステム９００用のプログラムとしては、例えば、各電子機器のリモコンに搭載されるものと同様のプログラムが搭載される。こうすることで、リモコンにより対象の電子機器を操作するのと同様の機能が実現可能となる。

プログラムは、コンピュータ読取り可能な記憶媒体（例えば、半導体メモリ、磁気ディスク、光ディスク等）に格納されて提供されてもよいし、有線或いは無線による通信手段を介した配信により提供されてもよい。例えば、電子機器の動作の制御処理機能をコンピュータに実行させるプログラムは、例えば可搬型の記録媒体を通じて配布・提供される。例えばプログラムは、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory ）やＦＤ（フレキシブルディスク）に格納されて配布・提供されてもよい。ＭＯ（Magneto Optical Disk）ドライブを設け、ＭＯに前記プログラムを格納してもよく、フラッシュメモリ等の不揮発性の半導体メモリを利用したカード型の記憶媒体等、その他の記録媒体にプログラムを格納して配布・提供してもよい。ソフトウェアを構成するプログラムは、記録媒体を介して配布・提供されることに限らず、通信手段（有線・無線は不問）を介して配布・提供されてもよい。例えば、他のサーバ等からインターネット等のネットワークを経由してプログラムをダウンロードして取得したり、又は更新したりしてもよい。電子機器の動作の制御処理を行なう機能を実現するプログラムコードを記述したファイルとしてプログラムが提供されるが、この場合、一括のプログラムファイルとして提供されることに限らず、コンピュータで構成されるシステムのハードウェア構成に応じて、個別のプログラムモジュールとして提供されてもよい。

ここでは、電子機器の操作処理に関わる制御機構をコンピュータにてソフトウェア上で実現する構成例で説明しているが、本実施形態の電子機器の操作処理を実現するための制御機構の各部（機能ブロックを含む）の具体的手段は、ハードウェア、ソフトウェア、通信手段、これらの組み合わせ、その他の手段を用いることができ、このこと自体は当業者において自明である。また、機能ブロック同士が複合して１つの機能ブロックに集約されてもよい。また、コンピュータにプログラム処理を実行させるソフトウェアは、組合せの態様に応じて分散してインストールされる。

［操作制御］
図１０（Ａ）に示す状態において、先ず、ステレオカメラ３２２のズームは広角側としておく。操作者は、室内の任意の場所（モニタの近くが好ましい）で、手や指によるジェスチャにより、各種電子機器を操作する意図を伝えるために手振り動作を行なう。ステレオカメラ３２２がその手振りを検出すると、操作装置１００Ｃ（コンピュータシステム９００：以下同様）ステレオ計測により手振りの三次元位置を得る。操作装置１００Ｃは、この位置情報に従って、ステレオカメラ３２２をパン・チルト・ズームさせ、ジェスチャ認識処理を行なう領域を注視する。続いて、操作者は、モニタ画面を確認しながら、操作対象の電子機器の選択や機器の操作をフリップジェスチャにより指示する。このとき、操作装置１００Ｃは、認識したフリップ動作の方向に基づいて、操作対象の電子機器の選択や制御内容を決定し、制御対象機器（この例では選択された電子機器）を制御する。認識された結果は、モニタ上での表示とスピーカからの音声により確認することができる。

図１１は、実施例４を説明する図である。ここで、図１１（Ａ）は、実施例３の全体構成例を示し、図１１（Ｂ）は、実施例４の操作装置の機能ブロック図である。

実施例４は、複数の電子機器（制御対象機器）の動作を制御可能に構成した点に特徴がある。前述の実施例３との相違は、実施例４の操作装置１００Ｄは、各電子機器１を学習リモコン（学習型赤外線リモコン）により制御可能に構成している点にある。即ち、操作装置１００Ｄから各電子機器（テレビ３１０、ＰＣ３３０、録画再生装置３４０、照明器具３５０）への制御信号は、コンピュータシステム９００に接続された学習リモコンを用いて送信する。学習リモコンを用いることで、コンピュータシステム９００には、学習リモコン用のプログラムを１つ搭載（インストール）すればよくなる。これに対して、実施例３では、操作対象とする全ての電子機器の動作を制御するプログラムを個別に搭載（インストール）しなければならない。仮に、リモコンを利用するとしても、各機器のリモコン用のプログラムを搭載（インストール）しなければならない。

以上、本明細書で開示する技術について実施形態を用いて説明したが、請求項の記載内容の技術的範囲は前記実施形態に記載の範囲には限定されない。本明細書で開示する技術の要旨を逸脱しない範囲で前記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本明細書で開示する技術の技術的範囲に含まれる。前記の実施形態は、請求項に係る技術を限定するものではなく、実施形態の中で説明されている特徴の組合せの全てが、本明細書で開示する技術が対象とする課題の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の技術が含まれており、開示される複数の構成要件における適宜の組合せにより種々の技術を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、本明細書で開示する技術が対象とする課題と対応した効果が得られる限りにおいて、この幾つかの構成要件が削除された構成も、本明細書で開示する技術として抽出され得る。

例えば、前述の説明における認識対象部位の移動認識においては、認識対象部位として手を一例に、その重心（中心）座標のみを用いて認識するものとして説明したが、当然ながら認識するのは手でなくてもよい。又、マーカを併用しない画像センシング技術を採用する場合で説明したが、マーカの付いた棒を振るような操作も、全く同じアルゴリズムでフリップ動作として認識できる。操作者が選択できる操作方法の幅を広げる、という面でも有用と考えられる。

今日、人間（例えば身体全体、頭、手、指先等）の動作を認識して、その認識結果をテレビやコンピュータ等の電子機器の操作に利用するジェスチャ認識を利用した操作技術が提案されている。ロボットを操作する際の技術としても着目されている。例えば、手を上下、左右、前後に振る、或いは、回すジェスチャをすることにより発生する運動量を画像センシング技術やセンサにより計測して、その計測情報を操作情報に利用する。例えば、ジェスチャ認識の際には、認識対象部位の動き（動的ジェスチャと記す）と認識対象部位の形（静的ジェスチャと記す）を認識する。動的ジェスチャの認識手段としては、認識対象部位の移動によって発生する変位（全体的な変位に限らず指の開閉変位等も含む）、速度、加速度等を非接触の撮像装置（カメラ）を用いて行なう画像センシング技術を利用する形態と、操作者の認識対象部位の動きを計測する速度センサ、加速度センサ、屈曲角センサ等の各種センサを用いて検出する形態、或いはこれらを併用する形態等がある。画像センシング技術では、認識対象部位の特定を容易にするべくマーカを利用する場合もある。静的ジェスチャの認識は、認識対象部位に特有の動作を認識するものであり、例えば、認識対象部位が手であるとした場合、手の開閉、指の数の増減、指の開き角の変化等により発生する手の形や指先方向を静止画として検出し、或いは又、手の傾きを重力加速度の成分として検出する等が行なわれる。こう云った様々な場面において、本明細書で提案する技術を適用することにより、認識対象部位の移動状態を認識する際の計算処理を簡略化でき、又、多くの計算資源を持たずに済むようになる。

前記実施形態の記載を踏まえれば、特許請求の範囲に記載の請求項に係る技術は一例であり、例えば、以下の技術が抽出される。以下列記する。
［付記１］
認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識すると、所定の振り動作があったと認識する動作認識部を備えている動作認識装置。
［付記２］
動作認識部は、認識対象部位が、原点判定領域から、一の判定領域へ移動し、他の判定領域を経由することなく原点判定領域に戻ったことを認識すると、原点判定領域に対する一の判定領域の存在する方向を示す振り動作があったと認識する付記１に記載の動作認識装置。
［付記３］
動作認識部は、認識対象部位が、複数の判定領域に順に移動したことを認識すると、方向を示す振り動作とは異なる動作であって、その移動順に対応して予め定められている振り動作があったと認識する付記１又は付記２に記載の動作認識装置。
［付記４］
動作認識部は、認識対象部位が、原点判定領域から、一の判定領域へ移動した後に原点判定領域に戻る前に、想定外の領域へ移動したときには、領域移動無効状態と判断する付記１乃至付記３の何れか１項に記載の動作認識装置。
［付記５］
動作認識部は、領域移動無効状態と判断した後に、認識対象部位が原点判定領域に戻ったことを認識すると、領域移動無効状態を解除する付記４に記載の動作認識装置。
［付記６］
動作認識部は、認識対象部位が、原点判定領域から他の領域へ移動した後に、他の領域に認識対象部位が一定時間以上留まっていることを認識すると、他の領域を原点判定領域に再設定する付記１乃至付記５の何れか１項に記載の動作認識装置。
［付記７］
各判定領域の間には、何れにも認識されない緩衝領域を配置する付記１乃至付記６の何れか１項に記載の動作認識装置。
［付記８］
動作認識部は、認識対象部位を撮像した画像に基づいて、認識対象部位の移動の認識処理を行なう付記１乃至付記７の何れか１項に記載の動作認識装置。
［付記９］
動作認識部は、認識対象部位をステレオ視した画像に基づいて、認識対象部位の３次元状の移動の認識処理を行なう付記８に記載の動作認識装置。
［付記１０］
動作認識部の認識状態を通知する通知部を備えた付記１乃至付記９の何れか１項に記載の動作認識装置。
［付記１１］
認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識し、この認識結果を制御対象機器の制御に使用する動作認識方法。
［付記１２］
認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識すると、所定の振り動作があったと認識する動作認識部と、
動作認識部の認識結果に基づいて制御対象機器を制御する制御部、
とを備えている操作装置。
［付記１３］
動作認識部は、認識対象部位が、複数の判定領域に順に移動したことを認識すると、その移動順に対応して予め定められている振り動作があったと認識し、
制御部は、動作認識部が認識した振り動作に対応して予め定められている動作を制御対象機器に指示する付記１２に記載の操作装置。
［付記１４］
認識対象部位を撮像する撮像装置を備え、
動作認識部は、認識対象部位を撮像装置により撮像した画像に基づいて、認識対象部位の移動の認識処理を行なう付記１２又は付記１３に記載の操作装置。
［付記１５］
撮像装置は、ステレオ視した画像を撮像する複眼のものであり、
動作認識部は、認識対象部位をステレオ視した画像に基づいて、認識対象部位の３次元状の移動の認識処理を行なう付記１４に記載の操作装置。
［付記１６］
動作認識部の認識状態及び／又は制御部による制御対象機器の制御状態を通知する通知部を備えた付記１２乃至付記１５の何れか１項に記載の操作装置。
［付記１７］
制御部は、複数の制御対象機器を制御可能に構成されている付記１２乃至付記１６の何れか１項に記載の操作装置。
［付記１８］
制御部は、学習型の遠隔操作機器を介して複数の制御対象機器を制御可能に構成されている付記１７に記載の操作装置。
［付記１９］
機器の機能に対応する処理を行なう処理部と、
認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識すると、所定の振り動作があったと認識する動作認識部と、
動作認識部の認識結果に基づいて処理部を制御する制御部、
とを備えている電子機器。
［付記２０］
認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識すると、所定の振り動作があったと認識する動作認識部と、
動作認識部の認識結果に基づいて制御対象機器を制御する制御部、
としてコンピュータを機能させるプログラム。

１００…操作装置、１１０…操作制御部、２００…動作認識装置、２１０…動作認識部、２１２…基準特定部、２１４…移動領域特定部、２１６…移動方向特定部、２３０…通知部、２３１…矩形領域、３１０…テレビ、３１２…表示パネル、３１４…パネル枠、３２０…撮像装置、３２２…ステレオカメラ、９００…コンピュータシステム

Claims (20)

1. 認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識すると、所定の振り動作があったと認識する動作認識部を備えている動作認識装置。
2. 動作認識部は、認識対象部位が、原点判定領域から、一の判定領域へ移動し、他の判定領域を経由することなく原点判定領域に戻ったことを認識すると、原点判定領域に対する一の判定領域の存在する方向を示す振り動作があったと認識する請求項１に記載の動作認識装置。
3. 動作認識部は、認識対象部位が、複数の判定領域に順に移動したことを認識すると、方向を示す振り動作とは異なる動作であって、その移動順に対応して予め定められている振り動作があったと認識する請求項１に記載の動作認識装置。
4. 動作認識部は、認識対象部位が、原点判定領域から、一の判定領域へ移動した後に原点判定領域に戻る前に、想定外の領域へ移動したときには、領域移動無効状態と判断する請求項１に記載の動作認識装置。
5. 動作認識部は、領域移動無効状態と判断した後に、認識対象部位が原点判定領域に戻ったことを認識すると、領域移動無効状態を解除する請求項４に記載の動作認識装置。
6. 動作認識部は、認識対象部位が、原点判定領域から他の領域へ移動した後に、他の領域に認識対象部位が一定時間以上留まっていることを認識すると、他の領域を原点判定領域に再設定する請求項１に記載の動作認識装置。
7. 各判定領域の間には、何れにも認識されない緩衝領域を配置する請求項１に記載の動作認識装置。
8. 動作認識部は、認識対象部位を撮像した画像に基づいて、認識対象部位の移動の認識処理を行なう請求項１に記載の動作認識装置。
9. 動作認識部は、認識対象部位をステレオ視した画像に基づいて、認識対象部位の３次元状の移動の認識処理を行なう請求項８に記載の動作認識装置。
10. 動作認識部の認識状態を通知する通知部を備えた請求項１に記載の動作認識装置。
11. 認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識し、この認識結果を制御対象機器の制御に使用する動作認識方法。
12. 認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識すると、所定の振り動作があったと認識する動作認識部と、
    動作認識部の認識結果に基づいて制御対象機器を制御する制御部、
    とを備えている操作装置。
13. 動作認識部は、認識対象部位が、複数の判定領域に順に移動したことを認識すると、その移動順に対応して予め定められている振り動作があったと認識し、
    制御部は、動作認識部が認識した振り動作に対応して予め定められている動作を制御対象機器に指示する請求項１２に記載の操作装置。
14. 認識対象部位を撮像する撮像装置を備え、
    動作認識部は、認識対象部位を撮像装置により撮像した画像に基づいて、認識対象部位の移動の認識処理を行なう請求項１２に記載の操作装置。
15. 撮像装置は、ステレオ視した画像を撮像する複眼のものであり、
    動作認識部は、認識対象部位をステレオ視した画像に基づいて、認識対象部位の３次元状の移動の認識処理を行なう請求項１４に記載の操作装置。
16. 動作認識部の認識状態及び／又は制御部による制御対象機器の制御状態を通知する通知部を備えた請求項１２に記載の操作装置。
17. 制御部は、複数の制御対象機器を制御可能に構成されている請求項１２に記載の操作装置。
18. 制御部は、学習型の遠隔操作機器を介して複数の制御対象機器を制御可能に構成されている請求項１７に記載の操作装置。
19. 機器の機能に対応する処理を行なう処理部と、
    認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識すると、所定の振り動作があったと認識する動作認識部と、
    動作認識部の認識結果に基づいて処理部を制御する制御部、
    とを備えている電子機器。
20. 認識対象部位が、一の判定領域から他の判定領域へ移動した後に一の判定領域に戻ったことを認識すると、所定の振り動作があったと認識する動作認識部と、
    動作認識部の認識結果に基づいて制御対象機器を制御する制御部、
    としてコンピュータを機能させるプログラム。

Images