JP2011028573A

JP2011028573A - 操作装置

Info

Publication number: JP2011028573A
Application number: JP2009174598A
Authority: JP
Inventors: Eiji Nakamoto; 栄次中元; Satoshi Furukawa; 聡古川
Original assignee: Panasonic Electric Works Co Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2009-07-27
Filing date: 2009-07-27
Publication date: 2011-02-10
Anticipated expiration: 2029-07-27
Also published as: JP5291560B2

Abstract

【課題】利用者との相対的な位置関係を規定した操作エリアを仮想空間に設け、利用者が移動しても操作感が変化しない操作装置を提供する。
【解決手段】映像を表示する表示装置１の前方である監視空間内における距離画像を出力する距離画像センサ２を備える。距離画像センサ２の出力は空間生成手段３に入力され、空間生成手段３は監視空間に一対一に対応した３次元の対象仮想空間を生成する。人抽出手段４は、対象仮想空間における人の存在領域を抽出する。操作エリア設定手段５は、人抽出手段４で抽出された人の存在領域を基準に用い操作エリアを規定し、動作判定手段６は、人の手の位置を抽出するとともに手の位置があらかじめ定めた条件を満足するときに条件に対応した操作を認識する。表示処理手段７は、動作判定手段６が認識した操作に応じて表示装置１の映像を変化させる。
【選択図】図１

Description

本発明は、表示装置を用いて対話的に操作を行う操作装置に関するものである。

従来から、距離画像を用いて利用者の特定部位の形状の時系列データを抽出し、時系列データにより利用者のジェスチャを認識するとともに、ジェスチャに対応付けた制御出力が得られるようにした操作装置が提案されている（たとえば、特許文献１参照）。

特許文献１では、距離画像の全範囲である検知対象エリアに存在する人の特定部位を抽出し、検知対象エリアまたは検知対象エリアの一部の小領域を特定空間として、特定空間内でのジェスチャ（具体的には、各指の重心位置と手の平の重心位置、指の傾き、指の数などの時系列データ）を認識し、認識したジェスチャに対応付けられている制御出力を制御対象機器に与えるという技術が採用されている。

特開２００６−９９７４９号公報

ところで、特許文献１に記載の技術では、人のジェスチャを認識するための特定空間として、距離画像の全範囲または一部範囲を用いている。このような特定空間は、固定的に設定されている。

いま、距離画像の全範囲を特定空間に用いるとすれば、不必要に広い範囲で人のジェスチャを認識することになり、検知対象エリアに複数人が存在するような場合には、利用者を特定することができないから、ジェスチャの認識ができないという問題が生じる。

一方、距離画像の一部を特定空間に用いる場合でも、特定空間を広く設定すれば距離画像の全範囲を用いる場合と同様に複数人が存在する場合にジェスチャの認識ができないという問題が生じる。また、特定空間を狭く設定すれば利用者が移動したときにジェスチャの認識が行えなくなる可能性があるという問題が生じる。

本発明は上記事由に鑑みて為されたものであり、その目的は、利用者との相対的な位置関係を規定した操作エリアを仮想空間に設けることにより、利用者が移動しても操作感が変化することなく操作が可能であり、しかも監視空間に複数人が存在している場合でも操作を行う利用者に対応付けて操作エリアを設定することを可能にした操作装置を提供することにある。

本発明は、上述した目的を達成するために、映像を表示する表示装置と、表示装置の前方を監視空間として監視空間内における距離画像を出力する距離画像センサと、監視空間に一対一に対応した３次元の仮想空間を生成する空間生成手段と、距離画像を用いて仮想空間における人の存在領域を抽出する人抽出手段と、人抽出手段で抽出された人の存在領域を基準に用いて仮想空間内に仮想の操作エリアを規定する操作エリア設定手段と、人の着目部位の位置を抽出し人の着目部位の位置が操作エリアに対してあらかじめ定めた条件を満足するときに条件に対応する操作がなされたと認識する動作判定手段と、動作判定手段が認識した操作に応じて表示装置に表示された映像を変化させる表示処理手段とを備えることを特徴とする。

また、人抽出手段は、存在領域を抽出した人の手を着目部位とし、動作判定手段は、操作エリア内での手の基準位置を定めるとともに、基準位置からの手の位置の変位を条件として操作を規定することが望ましい。

この場合、動作判定手段は、人の手が表示装置に近付く向きに移動するとともに、移動距離が規定距離以上かつ移動速度が規定速度以上であることを条件としてクリックの操作と認識する構成を採用することができる。

また、操作エリア設定手段は、人抽出手段で抽出された人の手が人の存在領域に対して右寄りであれば操作エリアを基準の位置から右寄りに偏移させて設定し、人抽出手段で抽出された人の手が人の存在領域に対して左寄りであれば操作エリアを基準の位置から左寄りに偏移させて設定する構成としてもよい。

操作エリア設定手段は、表示装置の画面に沿った操作エリアの断面において、中央部に設定した主操作エリアと、主操作エリアの周囲の全周を囲む副操作エリアとを規定しており、表示処理手段は、人の着目部位が操作エリア内に存在する間には表示装置の画面に指標を表示し、動作判定手段は、人の着目部位が主操作エリアにおいて移動する間は着目部位の移動に伴って表示装置の画面内において指標を移動させ、人の着目部位が副操作エリアに存在する間は着目部位の位置によらず表示装置の画面の周部に指標を表示させる構成を採用するのが望ましい。

さらに、仮想空間に動作判定エリアを設定する動作判定エリア設定手段と、動作判定エリアにおいて人抽出手段が人の存在領域を抽出した場合に操作エリア設定手段に操作エリアの生成を指示する操作許可手段とが付加されていることが望ましい。

本発明の構成によれば、距離画像センサにより監視される監視空間に一対一に対応した仮想空間を生成するとともに仮想空間内において操作エリアを規定し、人の着目部位の位置が操作エリアに対して規定の条件を満たすときに条件に対応する操作がなされたと認識するから、利用者は着目部位についてパントマイムのような振る舞いによって表示装置の画面に表示された映像を変化させることが可能になる。ここに、表示装置の画面に表示された映像の変化は、表示の内容が変化する場合だけではなく、ポインティングデバイスの操作時と同様に画面上に指標が表示されることも含まれる。

また、人の存在領域を抽出するとともに人の着目部位の位置を抽出し、人の存在領域を基準に用いて操作エリアを規定するから、操作エリアが人の存在領域に追従して設定されることになり、人の位置が変化しても人に対する操作エリアの相対位置をほぼ同位置に維持することができる。つまり、利用者が姿勢を変化させたり利用者が移動したりしても操作感が変化しないように操作エリアの位置を変化させることが可能になる。その上、監視空間に複数人が存在している場合でも操作を行う利用者に対応付けて操作エリアを設定することが可能になる。

さらに、操作エリア内での手の基準位置を定め、基準位置からの手の位置の変位を条件として操作を規定する構成を採用すると、手を移動させる際の目標物が存在しない状態でも自動的に手の基準位置が定められ、基準位置からの手の位置の変位を条件として操作を規定することが可能になる。

とくに、人の手が表示装置に近付く向きに移動したときに、移動距離と移動速度とからクリックの操作と認識する構成を採用すると、マウスのようなポインティングデバイスを用いることなく、手の単純な動きでクリックの操作が可能になる。

また、利用者が右手を用いているか左手を用いているかに応じて、操作エリアを左右に偏移させる構成を採用すれば、手の位置が操作エリアから外れにくくなり、操作性の一層の向上が期待できる。

主操作エリアの周囲に副操作エリアを規定し、着目部位が主操作エリアに存在するか副操作エリアに存在するかに応じて指標の動きを異ならせる構成を採用した場合には、着目部位が操作エリア内に存在する間には指標を表示するが、着目部位が主操作エリアから外れると操作エリア外に出てしまう前に指標の動きを制限することで、利用者には着目部位が操作エリアから外れそうになっていることに対する注意を喚起することができ、操作中に着目部位が操作エリアから逸脱してしまう可能性が抑制される。すなわち、操作中において指標が表示装置の画面から消滅するという事象が生じるのを抑制し、操作性を向上させることができる。

仮想空間に動作判定エリアを設定して、動作判定エリアに人の存在領域を抽出したときに操作エリアを生成する構成を採用した場合には、表示装置に対して所定の位置関係で操作エリアを設定することができる。たとえば、人通りの多い場所において、表示装置の近傍に動作判定エリアを設定しておけば、表示装置を用いる操作を行う利用者に対して操作エリアが設定されるが、表示装置から離れた場所を通過する人に対しては操作エリアが設定されないから、表示装置に表示される映像に対する操作の必要な人のみが操作を行うことが可能になる。言い換えると、表示装置に対する操作を行うことが可能になる空間領域を制限して動作判定エリアとするのである。

実施形態を示すブロック図である。同上の配置例を示す側面図である。同上に用いる距離画像センサを示すブロック図である。同上に用いる距離画像センサの動作説明図である。同上における左右反転の概念図である。同上における座標変換の概念図である。同上におけるアフィン変換の概念図図である。同上における動作判定エリアを示す説明図である。同上における人抽出手段の動作説明図である。同上における基準平面の概念図である。同上において操作エリアに手が存在しない状態を示し、（ａ）は側面図、（ｂ）は正面図である。同上において操作エリアに手が存在する状態を示し、（ａ）は側面図、（ｂ）は正面図である。同上において手と指標との関係を示す図である。同上において利き手と操作エリアとの関係を示す図である。同上において主操作エリアと副操作エリアとの関係を示す図である。同上において主操作エリアと副操作エリアとを設定したときの動作説明図である。同上において両手を用いる場合の動作説明図である。

以下に説明する実施形態では、図２に示すように、液晶表示器あるいはプラズマディスプレイのようなフラットパネルディスプレイを用いた表示装置１と、表示装置１の前方である監視空間を撮像し距離画像を生成する距離画像センサ２とを用いる。表示装置１および距離画像センサ２は、壁面に取り付けられるか、スタンドを用いて適宜の場所に設置される。また、表示装置１と距離画像センサ２とは相対位置が定められている。

距離画像センサ２により生成される距離画像は、画像内に含まれる対象物までの距離値を画素値とした画像である。距離画像を生成する距離画像センサ２としては、複数台の撮像装置を用いてステレオ画像の原理により距離画像を生成するパッシブ型のものと、監視空間に電磁波や音波を送波し対象物での反射波から対象物までの距離を求めるアクティブ型のものとが知られている。

以下に説明する実施形態では、アクティブ型の距離画像センサ２を用いるが、他の構成の距離画像センサ２を用いてもよい。本実施形態で用いる距離画像センサ２は、図３に示すように、光（近赤外線を用いるのが望ましい）を出射する発光源２１と、対象空間からの光を受光する撮像素子２２とを備える。発光源２１には、発光ダイオードやレーザダイオードのように入力の瞬時値に比例した光出力が得られる発光素子を用いる。また、発光源２１から出射する光量を確保するために、発光源２１は適数個の発光素子を用いて構成される。

発光源２１は、発光源２１から出力された変調光を対象空間に投光する投光光学系２３とともに投光手段を構成している。また、撮像素子２２は、対象空間からの光を撮像素子２２に入射させる受光光学系２４とともに受光手段を構成している。投光光学系２３と受光光学系２４とは互いに近接して配置してあり、投光光学系２３と受光光学系２４との距離は視野に対して実質的に無視することができるものとする。

距離画像センサ２には、発光源２１を駆動するための変調信号を出力する変調信号生成部２５と、変調信号生成部２５から出力された変調信号に基づいて撮像素子２２での受光タイミングを規定する受光タイミング信号を生成するタイミング制御部２６と、撮像素子２２から出力された受光信号を用いて対象空間に存在する対象物までの距離を求めて距離画像を生成する演算処理部２７とを備える。

変調信号生成部２５は、出力電圧が一定周波数（たとえば、２０ＭＨｚ）の正弦波形で変化する変調信号を生成し、変調信号を発光源２１に与えることにより、図４（ａ）（ｂ）のように光出力が正弦波状に変化する変調光が発光源２１から出射される。発光源２１として発光ダイオードを用いる場合には、電流制限抵抗を介して発光ダイオードに変調信号の信号電圧を印加することにより、発光ダイオードの通電電流を変化させ変調光を出射させる。

一方、撮像素子２２は、１画素ごとに１個の受光領域を備えるものとする。この場合、電子シャッタの技術を用いることで、受光タイミング信号に同期する期間にのみ受光強度に応じた電荷を生成することが可能になる。また、受光領域で生成された電荷は、遮光された蓄積領域に転送され、蓄積領域において変調信号の複数周期（たとえば、１００００周期）に相当する蓄積期間に蓄積された後、撮像素子２２の外部に受光出力として取り出される。

タイミング制御部２６では、変調信号に同期する受光タイミング信号を生成する。ここでは、変調信号の１周期における異なる４位相を規定し、各位相ごとに一定時間幅の受光期間を設定する４種類の受光タイミング信号を生成するとともに、蓄積期間ごとに４種類の受光タイミング信号のうちの各１種類の受光タイミング信号を撮像素子２２に与える。

すなわち、１種類の受光タイミング信号で規定した受光期間において受光領域で生成した電荷を１回の蓄積期間において蓄積し、蓄積後の電荷を受光出力として撮像素子２２の外部に取り出す処理を４回繰り返し、４回の蓄積期間で４種類の受光タイミング信号に対応する受光出力を撮像素子２２の外部に取り出す。

いま、図４（ｃ）のように、受光タイミング信号を変調信号の１周期において９０度ずつ異なる位相で規定しているものとする。この場合、各受光タイミング信号に対応する受光出力（電荷量）を、それぞれＡ０，Ａ１，Ａ２，Ａ３とするときに、位相差ψ〔ｒａｄ〕は下式で表される。
ψ＝（Ａ０−Ａ２）／（Ａ１−Ａ３）
変調信号の周波数をｆ〔Ｈｚ〕とすれば、投光から受光までの時間差Δｔは位相差ψを用いて、Δｔ＝ψ／２π・ｆと表されるから、光速をｃ〔ｍ／ｓ〕とすると、対象物までの距離は、ｃ・ψ／４π・ｆと表すことができる。

すなわち、４種類の受光出力（電荷量）Ａ０〜Ａ３により対象物までの距離を求めることができる。なお、受光期間の時間幅は、受光領域において適正な受光量が得られるように、適宜に設定することができる（たとえば、変調信号の４分の１周期に相当する時間幅とすることができる）。ただし、各受光期間の時間幅は互いに等しくすることが必要である。

演算処理部２７では、受光出力（電荷量）Ａ０〜Ａ３に基づいて位相差ψを求め、距離に換算する上述の処理のほか、以下に説明する処理も行うことができる。演算処理部２７はコンピュータを用いて構成され、上述した処理はコンピュータでプログラムを実行することにより実現される。また、演算処理部２７だけではなく、発光源２１および撮像素子２２を除く構成は、コンピュータを用いて実現される。

なお、上述の動作例では、４種類の受光タイミング信号を用いているが、３種類の受光タイミング信号でも位相差ψを求めることができ、環境光ないし周囲光が存在しない環境下では、２種類の受光タイミング信号でも位相差ψを求めることが可能である。

また、上述の動作では、１画素について１個の受光領域を用いているから、４種類の受光出力（電荷量）Ａ０〜Ａ３を撮像素子２２から取り出すために４回の蓄積期間が必要であるが、１画素について２個の受光領域を設ければ、変調信号の１周期で２種類の受光タイミング信号に対応する電荷を生成することが可能になるから、撮像素子２２から２種類の受光タイミング信号に対応した受光出力を１回で読み出すことが可能になる。同様に、１画素に４個の受光領域を設ければ、変調信号の１周期で４種類の受光タイミング信号に対応する電荷を生成し、４種類の受光タイミング信号に対応する受光出力を１回で読み出すことが可能になる。

上述した距離画像センサ２は、対象空間からの光を受光するための受光素子として複数個の画素が２次元配列された撮像素子２２を用いているから、各画素の画素値として距離値を求めることにより距離画像が生成されることになる。生成された距離画像はコンピュータのメモリに格納される。

距離画像センサ２で得られた距離画像は、図１に示すように、空間生成手段３に入力される。空間生成手段３は、監視空間に一対一に対応した３次元の仮想空間を生成する。ここに、距離画像センサ２で得られる距離画像は、撮像素子２２の各画素から受光光学系４を通して見たときの監視空間の各方向における距離値の情報を有しているから、空間生成手段３では、実空間である監視空間に規定した直交座標系への座標変換を行う。

なお、空間生成手段３では、座標変換の前処理として、距離画像から対象物ではない背景を除去する背景除去処理や、対象物ではない不要な画素を除去するノイズ除去処理などを行う。背景除去処理には、監視空間に対象物が存在しない状態での距離画像を用い、画素値が変化した画素のみの距離値を採用する処理を行う。

また、ノイズ除去処理では、メディアンフィルタや平均値フィルタを用いる。いま、フィルタを適用する対象領域を３×３画素の領域とする。メディアンフィルタは、対象領域の画素値について距離値を昇順あるいは降順に並べて中央値を採用するフィルタであり、平均値フィルタは、対象領域の画素値の平均値を採用するフィルタである。これらのフィルタは、対象領域に異常値を持つ画素が含まれているときに、異常値を持つ画素を処理の対象にしない機能を有する。

さらに、空間生成手段３の前処理は、図５に示すように、距離画像の左右反転処理を含んでいる。左右反転処理は、距離画像センサ２により得られる距離画像の左右を反転させて表示装置１に表示する処理である。すなわち、距離画像センサ２に用いる撮像素子２２の受光面を垂直方向に沿った中心線で左右に２分し、中心線に対して左右方向において対称な位置の画素の画素値を交換することによって、左右を反転させることができる。

距離画像センサ２では、受光光学系４の構成によっては対象物の右側が撮像素子２２の左側に投影され、左右反転処理を行わずに表示装置１に表示すると、図５（ａ）のように、対象物の右側が表示装置１の左側に表示されることがある。この場合に左右反転処理を行えば、図５（ｂ）のように、対象物の右側が表示装置１の右側に表示され、鏡に映した場合と同様の表示が可能になる。

左右反転処理は、前処理として必須というわけではないが、距離画像センサ２により得られる対象物の距離画像の左右が反転する場合には、左右反転処理を行うことによって、鏡と同様の見慣れた違和感のない表示が可能になる。

空間生成手段３における上述の座標変換は、以下の手順で行う。まず、撮像素子２２の受光面上での画素の座標位置が（ｕ，ｖ）で表され、座標位置（ｕ，ｖ）の画素に対応する距離がｄであるものとする。また、実空間である監視空間の直交座標系における座標位置を（ｘ，ｙ，ｚ）で表すものとする。すなわち、図６に示すように、監視空間に原点０を規定し、この原点に対する座標位置（ｘ，ｙ，ｚ）と、撮像素子２２の受光面上の画素の座標位置（ｕ，ｖ）および当該画素に対応する距離値ｄとを対応付ける。画素の座標位置の単位は〔ｐｉｘｅｌ〕である。ここに、ｕ軸方向とｘ軸方向とを平行とし、ｖ軸方向とｙ軸方向とを平行とする。

この座標変換は、以下の関係で行うことができる。
ｕ′＝ｓｘ（ｕ−ｕｃ）
ｖ′＝ｓｙ（ｖ−ｖｃ）
ただし、ｓｘ，ｓｙ〔ｍ／ｐｉｘｅｌ〕は撮像素子２２の画素サイズ、（ｕｃ，ｖｃ）は撮像素子２２の受光面上での中心画素の座標位置である。
ｕ″＝ａｕ′
ｖ″＝ａｖ′
ただし、ａ＝１／｛１＋κ（ｕ′^２＋ｖ′^２）｝、κはレンズ歪パラメータ（１／ｍ^２）である。
ｘ＝ｕ″ｄ／ｂ
ｙ＝ｖ″ｄ／ｂ
ｚ＝ｆｄ／ｂ
ただし、ｂ＝（ｕ″^２＋ｖ″^２＋ｆ^２）^１／２、ｆ〔ｍ〕は受光光学系２４の焦点距離である。

上述した原点Ｏの位置は、距離画像センサ２に設けた撮像素子２２の中心の画素から監視空間を見込む視線上であって床面から所定の高さ位置である位置に設定する。

ところで、距離画像センサ２は、表示装置１の上方において、監視空間を見下ろすように配置されているから、距離画像センサ２から対象物までの距離変化の方向が、表示装置１から対象物までの距離変化の方向と一致していない。そこで、空間生成手段３では、上述のように、直交座標系への座標変換を行った後、表示装置１からの対象物までの距離変化の方向と、距離画像センサ２により検出した対象物までの距離変化の方向とを一致させるようにアフィン変換を行う。

図７に示す例では、表示装置１の画面の位置を図中の平面Ｐ１の位置とし、表示装置１から対象物Ｏｂまでの距離変化の方向を平面Ｐ１に直交する方向としている。一方、上述した座標変換を行った後の距離画像では、ｘ軸は図７の面に直交しており、ｚ軸は距離画像センサ２に用いる撮像素子２２の受光面の中心に立てた法線であるから、撮像素子２２の受光面が鉛直面に対してなす角度をθとすれば、ｚ軸が水平面に対してなす角度もθになる。

そこで、直交座標系で表されている距離画像について、次式のように、ｙｚ平面内でのアフィン変換を行うことで、視点の位置を変更する。
ｘ′＝ｘ
ｙ′＝ｙ・ｃｏｓθ−ｚ・ｓｉｎθ
ｚ′＝ｙ・ｓｉｎθ＋ｚ・ｃｏｓθ
上述のアフィン変換を行うことにより、撮像素子２２の受光面（ｘ′ｙ′平面）が表示装置１の画面と平行になり、対象物Ｏｂまでの距離変換の方向がｚ′軸方向に一致する。以下では、アフィン変換後の直交座標系で表される仮想空間を用いる。この仮想空間は３次元空間であり、アフィン変換後の撮像素子２２の受光面の中央位置を原点として、対象物Ｏｂの座標位置を（ｘ′，ｙ′，ｚ′）で表すことができる。以下では、この仮想空間の原点の位置を「視点位置」と呼ぶ。すなわち、上述のアフィン変換により、図７における距離画像センサ２を、距離画像センサ２′の位置に配置したことと等価になり、距離画像センサ２′で示す位置が視点位置になる。

アフィン変換を行うために用いる角度θは、撮像素子２２の受光面が鉛直面に対してなす角度であるから、この角度θは距離画像センサ２を設置した後に、距離画像センサ２の俯角であって手入力により与える。

また、角度θを自動的に求めるには、距離画像センサ２により表示装置１から規定された距離に存在する対象物Ｏｂ（人を定位置に立たせて対象物Ｏｂとする）を撮像すれば、俯角を求めることができる。

本実施形態では、ｘ′ｙ′ｚ′座標系で表される仮想空間（以下、「対象仮想空間」と呼ぶ）において図８のように動作判定エリアＡｓを設定し、動作判定エリアＡｓにおいて対象物Ｏｂの存在を検出したときに後述する動作を行う。動作判定エリアＡｓを設定する技術については後述する。また、動作判定エリアＡｓを設けることは必須ではなく、動作判定エリアＡｓは省略することも可能である。

上述したようにアフィン変換を行うことにより、距離画像センサ２で得られた距離画像を用いて表示装置１の画面の前方における対象物Ｏｂまでの距離を検出することが可能になる。本発明は、対象物Ｏｂが人である場合に、人の着目部位の位置変化に応じて表示装置１に表示された映像を変化させる装置であるから、まず対象物Ｏｂが人であるか否かを判断する。

そこで、対象仮想空間の中で人の存在する領域を抽出する人抽出手段４を設けている。動作判定エリアＡｓを設定している場合は、人抽出手段４では動作判定エリアＡｓの内部に存在する対象物Ｏｂについて人の抽出を行う。また、動作判定エリアＡｓを設定していない場合は、背景を除去した対象物Ｏｂの距離画像について人の抽出を行う。

動作判定エリアＡｓは、操作部を備える動作判定エリア設定手段８により設定する。動作判定エリア設定手段８では、直交座標系で表された対象仮想空間の座標値に対応する実寸を用いて動作判定エリアＡｓの範囲を指定する。すなわち、動作判定エリアＡｓを対象仮想空間に設定するには、まず実空間において動作判定エリアＡｓに相当する空間領域の床面からの高さ寸法と、当該空間領域の表示装置１の前面からの距離と、当該空間領域の左右の幅寸法と、当該空間領域の奥行き寸法とを規定し、これらの実寸を動作判定エリア設定手段８に入力する。これらの実寸は対象仮想空間の座標値に換算され、対象仮想空間に動作判定エリアＡｓが設定される。

人を抽出するには、まず距離画像について２値化を行う。すなわち、背景を除去したすべての対象物Ｏｂを抽出するようにノイズを除去する程度の比較的大きい値の閾値を用いて２値化を行う。このような閾値で２値化を行うことにより、背景との距離が閾値以下である対象物Ｏｂを除去することが可能になる。

また、動作判定エリアＡｓを設定している場合には、背景との距離が閾値以下である対象物Ｏｂを除去することと併せて、動作判定エリアＡｓ内の対象物Ｏｂか否かを判断するように領域の上下限を規定する閾値で２値化を行う。

次に、２値化後の画像について抽出された対象物Ｏｂの候補にラベリングを施す。すなわち、２値化後の画像から対象物Ｏｂの候補として背景ではない画素値を持つ画素が連結されている連結領域を抽出し、各連結領域にそれぞれ異なるラベルを付与する。ここで、連結されていない複数の連結領域が存在している場合に、隣接する連結領域の距離を評価し、距離が規定の画素数（たとえば、１〜２画素）の範囲内であれば、１個の連結領域とみなして同ラベルを付与する。

ラベリングの後には同ラベルが付与された各連結領域Ｄ１，Ｄ２の画素数を評価し、図９に示すように、画素数が規定値以上である連結領域Ｄ１を人に対応すると判断する。また、図９（ｂ）のように、人と判断された連結領域Ｄ１ではない連結領域Ｄ２はノイズとして削除する。連結領域Ｄ１を人と判断するに際しては、外接矩形Ｒ１を設定し、外接矩形Ｒ１の縦横比に関する条件や床面に接しているという条件などの人に関する条件も併せて利用すれば、人に対応する連結領域Ｄ１をより正確に抽出することが可能になる。外接矩形Ｒ１の縦横比を用いると、人が立っているか座っているかの判断も可能になる。

人抽出手段４では、人に対応する連結領域Ｄ１を抽出した後に人の位置を抽出する。人の位置には重心位置を用いることができる。重心位置は、対象仮想空間における３次元座標で求める。すなわち、２値化後の画像における連結領域Ｄ１に含まれる対象仮想空間の画素値について重心位置を算出する。言い換えると、連結領域Ｄ１に含まれる座標（ｘ′，ｙ′）の画素について、対象仮想空間からｚ′座標を求めて、人に対応する座標（ｘ′，ｙ′，ｚ′）を求め、その重心位置の座標を算出する。重心位置の座標は、ｘ′座標とｙ′座標とｚ′座標との各座標値の総和を、それぞれ画素数で除算した値を用いる。

人抽出手段４では、連結領域Ｄ１の重心位置のうちｚ′座標に着目して、図１０に示すように、重心位置を通りｘ′ｙ′平面に平行な平面を基準平面Ｐｂに用いる。ここに、ｘ′ｙ′平面を基準平面Ｐｂに用いているのは、対象物Ｏｂである人が表示装置１に対面している場合を想定しているからである。

人抽出手段４において定めた基準平面Ｐｂは、操作エリア設定手段５に引き渡される。操作エリア設定手段５では、図１１に示すように、対象仮想空間において基準平面Ｐｂよりも表示装置１に近い側に操作エリアＡｍを自動的に生成する。

ここにおいて、動作判定エリアＡｓを設定している場合は、動作判定エリアＡｓにおいて人抽出手段４が人の存在領域を抽出した場合に、操作エリア設定手段５に操作エリアＡｍの生成を指示する操作許可手段９を設けるのが望ましい。操作許可手段９を設けることにより、動作判定エリアＡｓに人が存在しないときには操作エリアＡｍが生成されないようにし、操作エリアＡｍを生成することができる人の位置を制限することができる。

たとえば、複数の人が存在する場合に、表示装置１の近傍に動作判定エリアＡｓを設定しておくことで、表示装置１から離れた場所の人に対して操作エリアＡｍが設定されるのを防止し、表示装置１の近辺に人が存在しているときにのみ操作エリアＡｍを形成することが可能になる。

操作エリアＡｍは、本実施形態では直方体状であって、操作エリアＡｍの生成にあたっては、連結領域Ｄ１を囲む外接矩形Ｒ１のｘ′軸方向とｙ′軸方向との各範囲に応じて操作エリアＡｍにおけるｘ′軸方向およびｙ′軸方向の範囲を決定し、基準平面Ｐｂの位置に基づいて操作エリアＡｍにおけるｚ′軸方向の範囲を決定する。

たとえば、外接矩形Ｒ１のｘ′軸方向およびｙ′軸方向の寸法に対して規定の割合（人が立っている場合と座っている場合とで割合を異ならせる）で大きさを決定し、人の重心位置に対してｘ′軸方向とｙ′軸方向とに規定した変位量だけ操作エリアＡｍの中心位置を変位させることにより、操作エリアＡｍについてｘ′軸方向とｙ′軸方向との位置を決定することができる。また、ｚ′軸方向については、あらかじめ範囲を決めておき、基準平面Ｐｂから対象仮想空間の原点寄りに所定のオフセット分だけ変位させることにより位置を決定する。

なお、人の位置に対して操作エリアＡｍの位置を自動的に決定する方法は、上述した例に限らず、たとえば、ｘ′軸方向とｙ′軸方向とｚ′軸方向とについて操作エリアＡｍの大きさをあらかじめ規定しておき、操作エリアＡｍの重心位置のみを人の位置に応じて変位させる方法など、他の方法で操作エリアＡｍの位置を決定してもよい。いずれにしても操作エリアＡｍを自動的に決定しているから、人の位置が変化しても操作エリアＡｍは人の移動に追従して生成されることになり、人の位置に関わらず、操作エリアＡｍの人に対する相対位置をほぼ一定に保つことが可能になる。

操作エリア設定手段５で操作エリアＡｍを決定した後には、動作判定手段６において、操作エリアＡｍ内における着目部位の存否を検出する。対象物Ｏｂである人の着目部位としては、図１２に示すように、手を想定している。操作エリアＡｍは人の前方に設定されるから、人が手を前に出したときに、着目部位である手が操作エリアＡｍに存在する状態になる。

動作判定手段６では、まず操作エリアＡｍにおける対象物Ｏｂの存否および存在時の大きさとを評価することにより、操作エリアＡｍにおける手の存否を判定する。手の存否の判断には、まず操作エリアＡｍの中において対象物Ｏｂの候補である画素の有無を判定する。操作エリアＡｍの中に対象物Ｏｂの候補である画素が検出されなければ、動作判定手段６では、手が存在しないと判断し操作を行わない状態を示す信号を出力する。

一方、対象物Ｏｂの候補である画素が検出されると、動作判定手段６では、検出された画素のうちｚ′座標が対象仮想空間の原点にもっとも近い画素を基準点として抽出する。さらに、連結領域Ｄ１の中で基準点からｚ′軸方向において規定範囲内（手の平から手首までの長さ程度）である画素群を抽出する。この画素群に含まれる画素数が規定の閾値以上であれば、操作エリアＡｍにおいて手が存在すると判断し、この画素群の重心位置の座標を手の位置の座標として採用する。重心位置の座標は、人に相当する連結領域Ｄ１の重心位置の座標と同様にして対象仮想空間での３次元座標を求める。

動作判定手段６において手の重心位置が求められると、操作エリアＡｍにおいて手が検出されたことを示す信号と手の重心位置を表す信号とが表示処理手段７に与えられる。表示処理手段７は、表示装置１の画面に表示する映像を生成する機能を有し、図１３に示すように、動作判定手段６から与えられた手の重心位置（図１３に示す手の位置の十字形の交点位置）に対応付けて、表示装置１の画面に指標（カーソル）Ｃを表示する。指標Ｃは、操作エリアＡｍにおいて手が検出されなくなれば、表示装置１の画面から消滅する。言い換えると、操作エリアＡｍの中で手が検出されている間は、表示装置１の画面に指標Ｃが表示される。

表示処理手段７では、操作エリアＡｍにおけるｘ′座標とｙ′座標とを表示装置１の画面の水平方向および垂直方向の座標位置に一対一に対応付けている。したがって、対象物Ｏｂである人の重心位置に対して操作エリアＡｍが左右対称に設定されているときには、表示装置１の水平方向の中心は、人の左右方向の中心に対応することになる。ただし、操作エリアＡｍは人の位置を基準にして設定されているから、人が前後左右に移動すると操作エリアＡｍも人に追従して前後左右に移動することになる。一方、操作エリアＡｍの上下方向の位置は、人の高さに応じて規定されるから、身長や姿勢（立っているか座っているか）に応じて操作エリアＡｍの上下位置が変化することになる。

上述のように、操作エリアＡｍが人の存在領域に追従して設定されるから、人の位置が変化しても人に対する操作エリアＡｍの相対位置をほぼ同じ位置に保つことができる。つまり、利用者が姿勢や位置を変化させても操作エリアＡｍの人に対する相対位置を維持することができる。しかも、監視空間に複数人が存在していても、手の位置を検出した人に対してのみ操作エリアＡｍが設定されるから、特定の利用者に対してのみ操作エリアを設定することが可能になる。

ところで、動作判定手段６では、手の存否を判断するだけではなく、手の位置があらかじめ定めた条件を満足するときに、満足した条件に対応する操作を認識する機能を有している。すなわち、動作判定手段６には、手の位置に関する条件と手の位置が条件を満足したときに行う操作とを対応付けて登録したルール記憶部６ａと、手の位置がルール記憶部６ａに登録された条件を満足するか否かを判断する条件判断部６ｂとを設けてある。

ルール記憶部６ａに格納する条件は、適宜に定めることが可能であるが、一例としてポインティングデバイスのクリックに相当する操作に対応する条件を「人の手が表示装置１に近付く向きに移動するとともに、移動距離が規定距離以上かつ移動速度が規定速度以上であること」と定めているものとする。条件判断部６ｂでは、単位時間毎のｚ′座標の変化を検出し、単位時間の整数倍である規定時間においてｚ′座標の変化の方向が表示装置１に近付く向き（ｚ′座標が減少する向き）で、かつｚ′座標の変化量が規定値以上であるときに、上記条件が成立したと判断する。

すなわち、動作判定手段６では、単位時間（コンピュータのクロック周期の整数倍の時間）ごとに手の座標位置を検出しているから、所定距離に相当する閾値をＴｈｚとするとき、時刻ｔにおける手の座標位置を（ｘ′，ｙ′，ｚ′）とし、所定時間Δｔ後の時刻ｔ＋Δｔにおける手の座標位置を（ｘ′＋Δｘ，ｙ′＋Δｙ，ｚ′＋Δｚ）として、Δｚ＜０かつ｜Δｚ｜≧Ｔｈｚであれば、条件が成立したと判断するのである。

Δｚ＜０は、表示装置１に近付く向きに移動したことを表し、｜Δｚ｜≧Ｔｈｚは、移動距離が規定距離（＝Ｔｈｚ）以上であるとともに、移動速度（＝Δｚ／Δｔ）が規定速度（＝Ｔｈｚ／Δｔ）以上であることを表している。Δｔは単位時間の整数倍であり、単位時間毎に座標位置を検出し、時間間隔がΔｔであるときのｚ′軸方向の変位Δｚを算出することにより条件判定を行う。すなわち、単位時間ごとの手の座標位置を基準位置とし、基準位置からの手の位置の変位量と時間との組み合わせを条件とすることにより、種々の操作を行うことが可能になる。

動作判定手段６のルール記憶部６ａでは、この条件に対してマウスの「クリック」に相当する操作を対応付けておくことにより、マウスのようなポインティングデバイスと同様の操作を手で行うことが可能になる。すなわち、動作判定手段６において、クリックに相当する条件を満足したと判断すると、クリックに相当する制御信号を表示処理手段７に与え、表示装置１に表示された映像をクリックの操作に対応するように変化させる。

たとえば、表示処理手段７は、操作エリアＡｍで手が検出されている期間に、表示装置１の画面上に複数個のアイコンを有する操作メニューを表示し、操作メニューのいずれかのアイコンに指標Ｃが重ねられた状態でクリックの操作が行われると、当該アイコンに対応する処理が行われるようにする。すなわち、マウスのようなポインティングデバイスと同様の操作を行うことができる。

操作エリアＡｍで手が検出されていない期間には、表示装置１の画面に、指標Ｃを表示しない。また、動作判定エリアＡｓに人がいなければ、スリープ状態の画面を表示するか、適宜の広告を表示する。スリープ状態の画面は、静止画表示、動画表示、非表示のいずれでもよい。動作判定エリアＡｓに人が存在しないときにスリープ状態の画面を表示する場合は、動作判定エリアＡｓで人の存在が検出されたときに指標Ｃを表示して操作を受け付ける通常の画面に復帰させる。また、動作判定エリアＡｓに人が存在しないときに広告を表示する場合は、人の存在が検出されたときに情報を選択するためのメニューを表示する。これらの画面の表示例は一例であるが、動作判定エリアＡｓにおける人の存否に応じて画面を変更することにより、利用者は動作判定エリアＡｓに入ったことを認識できることになり、操作感の向上につながる。なお、動作判定エリアＡｓに人が存在する場合に、人の移動方向を判断し、動作判定エリアＡｓを横切っただけと判断した場合には、スリープ状態ないし広告の表示状態を継続する。

ルール記憶部６ａに登録されている条件および操作は、上述の関係だけではなく、手の位置の変化について様々な条件設定を行い、各条件ごとに操作を対応付けることで、クリック以外の操作が可能である。

たとえば、手の位置のｘ′軸方向の移動に関して移動方向および移動速度に関する条件を設定し、左右方向において所定速度以上で移動したことを条件として画面のページ送りの操作に対応付けたり、上下方向において所定速度以上で移動したことを条件として画面スクロールの操作に対応付けたりすることが可能である。ページ送りの操作やスクロールの操作では、操作後から一定の不感時間は逆向きの操作を無視するようにヒステリシスを持たせておけば、ページ送りやスクロールの後に手を元の位置に戻す動作に応答するのを防止することができる。不感時間はクリックの操作の際も設定しておく。

ここでは片手の手の位置を抽出しているから、手が操作エリアＡｍで検出された後に、手が操作エリアＡｍで検出されなくなるまでの間は、同じ手が操作エリアＡｍに存在しているとみなすことが可能である。ただし、手の検出精度をより高めるために、操作エリアＡｍにおいて手が検出された後に、操作エリアＡｍにおいて手が検出されなくなるまでの間は、手の位置を追跡する構成を採用するのが望ましい。すなわち、単位時間ごとに操作エリアＡｍ内で検出される対象物Ｏｂの領域のうち距離がもっとも近い領域について、画素数と移動方向と距離とを検出し、画素数の変化が規定範囲内であり、かつ移動方向および距離変化に連続性があれば、同じ手と判断するのである。この処理により手の追跡が可能になる。

また、表示装置１にゲームの画面を表示する場合には、ルール記憶部６ａにおいて、ゲームに必要な手の動きを条件として設定しておくことで、ゲーム用のコントローラを手で持つことなくゲームを行うことが可能になる。なお、手以外にも顔や脚などを着目部位として採用したり、人が身に着けた道具を着目部位として採用することも可能である。

上述したように、本実施形態の構成を採用することにより、人は空間内で手を移動させることにより表示装置１の画面に表示された映像を変化させることができるのであり、あたかもパントマイムのような所作により、表示装置１の画面に表示された情報を用いて対話的な操作が可能になる。

ところで、一般に、右利きであれば右手を前に出し、左利きであれば左手を前に出すと考えられる。ここで、各手の移動範囲は、手の動きに関連する関節の可動範囲により制限されるから、右手の移動範囲は体幹の左右の中心に対して右に偏っており、左手の移動範囲は体幹の左右の中心に対して左に偏っている。このことから、操作エリアＡｍを有効利用するには、右利きの人に対しては操作エリアＡｍを右寄りに設定し、左利きの人に対しては操作エリアＡｍを左寄りに設定するのが望ましいと言える。

そこで、動作判定手段６において算出した手の重心位置と、人抽出手段４において算出した人の重心位置とのｘ′座標を比較し、人の重心位置に対して手の重心位置が右寄りであれば右利きと判断し、人の重心位置に対して手の重心位置が左寄りであれば左利きと判断する。この判断は、右利きと左利きとを確実に判別できるものではないが、人が手の位置を意図的に変化させない限りは、多くの場合、右利きと左利きとの判断を正しく行うことが可能である。

操作エリア設定手段５では、動作判定手段６が上述のようにして右利きか左利きかを判断した後、図１４に示すように、最初に検出した手の重心位置のｘ′座標が、操作エリアＡｍのｘ′軸方向の中心位置となるように操作エリアＡｍを変位させる。すなわち、図１４（ａ）のように右利きであれば操作エリアＡｍを右（向かって左）に変位させ、図１４（ｂ）のように左利きであれば操作エリアＡｍを左（向かって右）に変位させる。このように操作エリアＡｍを変位させることにより、手の可動範囲の中心付近を表示装置１の画面の中心付近に対応付けることが可能になる。

なお、操作エリアＡｍを変位させずに、操作エリアＡｍの中で手の重心位置を最初に検出した位置を表示装置１の画面の中心位置に対応付けるように、表示処理手段７において指標Ｃの表示位置を補正してもよい。また、操作エリアＡｍの左右方向の変位量あるいは操作エリアＡｍの中での手の重心位置に対する表示装置１の画面の中心位置の変位量は、規定寸法に定めておいてもよい。たとえば、右利きであることが判明すると、操作エリアＡｍを基準の位置（操作エリアＡｍと人の体幹との左右方向の中心位置が一致している位置）から右側に規定寸法（たとえば、２５ｃｍ）変位させるというように、操作エリアＡｍの変位量を一定値に定めておいてもよい。

上述のように、操作エリアＡｍにおいて手が検出された位置を表示装置１の画面の中央位置に対応付けることにより、表示装置１の画面の中央位置付近を手の可動範囲の中心位置付近に対応付けることが可能になる。すなわち、表示装置１の画面の中で指標Ｃを移動させる際に、手を無理に動かすことなく画面の全域に亘って指標Ｃを容易に移動させることが可能になる。

上述の構成は、操作エリアＡｍの中に対象物Ｏｂである手が存在していれば、手の位置に応じて指標Ｃを移動させ、手が操作エリアＡｍから逸脱すると表示装置１の画面に指標Ｃが表示されなくなる構成が採用されている。したがって、表示装置１の画面の周部で指標Ｃを移動させようとすれば、指標Ｃが消失しないように手を慎重に移動させることが必要であって、表示装置１の画面の周部での操作性が中央部での操作性よりも劣っている。

このような操作エリアＡｍの中央部と周部との操作性の違いを軽減する構成としては、図１５に示すように、操作エリア設定手段５において生成する操作エリアＡｍの中に、主操作エリアＡ１と副操作エリアＡ２とを規定し、操作エリアＡｍの中で手の存在する領域が主操作エリアＡ１か副操作エリアＡ２かに応じて指標Ｃの動きを変更する構成を採用することができる。

主操作エリアＡ１は、表示装置１の画面に沿った操作エリアＡｍの断面において中央部に設定されており、副操作エリアＡ２は主操作エリアＡ１の周囲を全周に亘って囲むように設定されている。目的上は、表示装置１の画面に沿った操作エリアＡｍの断面内においてのみ主操作エリアＡ１と副操作エリアＡ２とを上述の関係に設定すればよいが、表示装置１の画面に直交する方向（ｚ′軸方向）についても主操作エリアＡ１を挟むように副操作エリアＡ２を設定することが可能である。つまり、主操作エリアＡ１の全周を副操作エリアＡ２で包み込んでもよい。

上述のように、主操作エリアＡ１と副操作エリアＡ２とを設けることにより、動作判定手段６では、手の位置が主操作エリアＡ１内か副操作エリアＡ２内かを判定することが可能になる。

主操作エリアＡ１に手が存在している間には、表示処理手段７では、図１６（ａ）のように手の移動に追従するように指標Ｃを移動させる。また、副操作エリアＡ２に手が存在している間には、表示処理手段７では、図１６（ｂ）のように表示装置１の画面の周部に密着するように指標Ｃを表示し、かつ、手を移動させても表示装置１の画面の周縁に沿う方向にしか移動させることができないようにしてある（図１６（ｃ）参照）。手の位置が主操作エリアＡ１に復帰すれば、ふたたび手の移動に追従して指標Ｃを移動させることができるようになる。

したがって、表示装置１の画面の周部においても指標Ｃが突然消失することがなく、画面の周部に指標Ｃが存在している間に、画面上の目的位置に指標Ｃを合わせたり、指標Ｃを画面の中央部に戻したりすることが可能になる。また、表示処理手段７では、手が副操作エリアＡ２に存在している状態から、図１６（ｄ）のように手が操作エリアＡｍの外に出ると、表示装置１の画面から指標Ｃを消失させ、手と指標Ｃとを分離する。

上述したように、手が操作エリアＡｍ内に存在する間には指標Ｃを表示しながらも、手が主操作エリアＡ１から外れると操作エリアＡｍの外に出る前に指標Ｃの動きを制限するから、利用者には手が操作エリアＡｍから外れそうになっていることに気付き、また、表示装置１の画面の周部において指標Ｃの位置を調節することが可能になる。したがって、手を移動させている間に指標Ｃが表示装置１の画面から突然消滅することがなく、操作性が向上する。

上述した動作例では、操作エリアＡｍにおいて片手の移動に応じて対話的な操作を行う例を示したが、図１７に示すように、操作エリアＡｍにおいて両手に対応する指標Ｃ１，Ｃ２を表示してもよい。この場合、片方ずつの手の移動に対して操作を対応付けることができるほか、両手の移動関係に操作を対応付けることが可能になる。つまり、右手と左手との移動を独立して検出し、移動に応じて規定した条件により操作を決定する。

また、図示例では、両手について共通の１個の操作エリアＡｍを設けているが、片方ずつの手についてそれぞれ操作エリアを設けることも可能である。この場合、右手と左手との移動をそれぞれ追跡する構成を採用すれば、右手と左手との左右位置が入れ替わっても右手の位置と左手の位置とをそれぞれ検出することが可能である。

１表示装置
２距離画像センサ
３空間生成手段
４人抽出手段
５操作エリア設定手段
６動作判定手段
７表示処理手段
８動作判定エリア設定手段
９操作許可手段
Ａ１主操作エリア
Ａ２副操作エリア
Ａｍ操作エリア
Ａｓ動作判定エリア
Ｃ指標

Claims

映像を表示する表示装置と、表示装置の前方を監視空間として監視空間内における距離画像を出力する距離画像センサと、監視空間に一対一に対応した３次元の仮想空間を生成する空間生成手段と、距離画像を用いて仮想空間における人の存在領域を抽出する人抽出手段と、人抽出手段で抽出された人の存在領域を基準に用いて仮想空間内に仮想の操作エリアを規定する操作エリア設定手段と、人の着目部位の位置を抽出し人の着目部位の位置が操作エリアに対してあらかじめ定めた条件を満足するときに条件に対応する操作がなされたと認識する動作判定手段と、動作判定手段が認識した操作に応じて表示装置に表示された映像を変化させる表示処理手段とを備えることを特徴とする操作装置。
前記人抽出手段は、存在領域を抽出した人の手を着目部位とし、前記動作判定手段は、操作エリア内での手の基準位置を定めるとともに、基準位置からの手の位置の変位を条件として操作を規定していることを特徴とする請求項１記載の操作装置。
前記動作判定手段は、人の手が前記表示装置に近付く向きに移動するとともに、移動距離が規定距離以上かつ移動速度が規定速度以上であることを条件としてクリックの操作と認識することを特徴とする請求項２記載の操作装置。
前記操作エリア設定手段は、前記人抽出手段で抽出された人の手が人の存在領域に対して右寄りであれば操作エリアを基準の位置から右寄りに偏移させて設定し、人抽出手段で抽出された人の手が人の存在領域に対して左寄りであれば操作エリアを基準の位置から左寄りに偏移させて設定することを特徴とする請求項２又は３記載の操作装置。
前記操作エリア設定手段は、前記表示装置の画面に沿った操作エリアの断面において、中央部に設定した主操作エリアと、主操作エリアの周囲の全周を囲む副操作エリアとを規定しており、前記表示処理手段は、人の着目部位が操作エリア内に存在する間には表示装置の画面に指標を表示し、前記動作判定手段は、人の着目部位が主操作エリアにおいて移動する間は着目部位の移動に伴って表示装置の画面内において指標を移動させ、人の着目部位が副操作エリアに存在する間は着目部位の位置によらず表示装置の画面の周部に指標を表示させることを特徴とする請求項１〜４のいずれか１項に記載の操作装置。
前記仮想空間に動作判定エリアを設定する動作判定エリア設定手段と、動作判定エリアにおいて前記人抽出手段が人の存在領域を抽出した場合に前記操作エリア設定手段に操作エリアの生成を指示する操作許可手段とが付加されたことを特徴とする請求項１〜５のいずれか１項に記載の操作装置。