JP2012247966A

JP2012247966A - 操作入力装置、プログラム

Info

Publication number: JP2012247966A
Application number: JP2011118669A
Authority: JP
Inventors: Satoshi Furukawa; 聡古川
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2011-05-27
Filing date: 2011-05-27
Publication date: 2012-12-13
Anticipated expiration: 2031-05-27
Also published as: JP5789771B2

Abstract

【課題】利用者との位置関係の制約が少なく、かつ比較的面積の大きい領域を操作入力に用いることにより誤認の可能性が少ない操作入力装置を提供する。
【解決手段】距離画像生成手段１０は、手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する。対象物抽出手段２は、距離画像から対象物に対応する領域を抽出する。動作抽出手段３は、対象物の位置変化を距離画像の動画像から抽出する。動作抽出手段３は、対象物抽出手段２が抽出した対象物の位置と向きとを示す特徴量を抽出する特徴量抽出部３１と、特徴量が規定の開始条件を満たしてから特徴量が規定の終了条件を満たすまでの間における対象物の移動に伴う特徴量の変化量から制御対象に指示する操作量を決定する操作量決定部３２とを備える。
【選択図】図１

Description

本発明は、対象物までの距離を画素値に持つ距離画像を用いることにより対象物の位置および向きの変化を検出し、対象物の位置および向きに応じて制御対象に指示する操作量を決定する操作入力装置、およびこの操作入力装置を実現するためのプログラムに関するものである。

従来から、対象物までの距離を画素値に持つ距離画像を用いて対象物の動作を検出し、対象物の動作に応じて制御対象の対応制御を行うようにした入力装置が提案されている（たとえば、特許文献１参照）。特許文献１に記載された技術は、距離画像の中で距離の極小点を求め、極小点の位置変化に応じて制御対象に指示を与えている。すなわち、特許文献１に記載された技術は、距離の極小点を前方に差し出した指先の位置として認識し、指先の位置を追跡することによって、リモコン装置などを持つことなく、機器（制御対象）から離れた場所から機器の操作を可能にしている。

特許第３５４４７３９号公報

ところで、特許文献１に記載された技術を採用すれば、制御対象に対する指示を対話的に行うことは可能であるが、距離画像の中で距離の極小点を指先として認識するから、指先を認識させるには指先を入力装置に向ける必要がある。しかしながら、特許文献１に記載の技術は、距離の極小点を指先として認識しているだけであるから、入力装置と人体との位置関係によっては、他の部位を指先と誤認する可能性がある。また、上述のような誤認を避けようとすると、入力装置と人体との位置関係や手の形に制約が多くなる。

本発明は、誤認の可能性を低減し、また利用者との位置関係の制約を低減させた操作入力装置、およびこの操作入力装置を実現するためのプログラムを提供することを目的とする。

本発明に係る操作入力装置は、少なくとも手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段と、距離画像から対象物に対応する領域を抽出する対象物抽出手段と、対象物の位置変化を距離画像の動画像から抽出する動作抽出手段と、動作抽出手段が抽出した対象物の位置変化に基づいて制御対象に指示する操作量を変化させる制御手段とを備え、動作抽出手段は、対象物抽出手段が抽出した対象物から手のひらに相当する対象面の位置と向きとを示す特徴量を抽出する特徴量抽出部と、特徴量が規定の開始条件を満たしてから特徴量が規定の終了条件を満たすまでの間における対象物の移動に伴う特徴量の変化量から制御対象に指示する操作量を決定する操作量決定部とを備えることを特徴とする。

この操作入力装置において、特徴量抽出部は、対象面の向きとして規定の基準面に対して対象面が交差する角度である交差角を抽出し、操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、交差角が規定の角度範囲内である状態が保たれたままで対象面が基準面に沿って移動したとき、対象面の移動量および移動の向きから１種類の操作量を決定することが好ましい。

この操作入力装置において、特徴量抽出部は、対象面の向きとして規定の基準面に対して対象面が交差する角度である交差角を抽出し、操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、交差角が変化したとき、交差角の変化量および変化の向きから１種類の操作量を決定することが好ましい。

この操作入力装置において、特徴量抽出部は、対象面の向きとして規定の基準面に交差する方向に規定される軸周りでの対象面の回転角を抽出し、操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、回転角が変化したとき、回転角の変化量および変化の向きから１種類の操作量を決定することが好ましい。

この操作入力装置において、特徴量抽出部は、対象面の向きとして規定の基準面に対して対象面が交差する角度である交差角と、基準面に交差する方向に規定される軸周りでの対象面の回転角とを抽出し、操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、交差角が規定の角度範囲内で交差している状態が保たれたままで対象面が基準面に沿って移動したとき、回転角の変化量および変化の向きと対象面の移動量および移動の向きとから２種類の操作量を決定することが好ましい。

この操作入力装置において、特徴量抽出部は、対象面の向きとして規定の基準面に対して対象面が交差する角度である交差角と、基準面に交差する方向に規定される軸周りでの対象面の回転角とを抽出し、操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、交差角が変化したとき、回転角の変化量および変化の向きと交差角の変化量と変化の向きとから２種類の操作量を決定することが好ましい。

この操作入力装置において、操作量決定部は、操作量を複数段階の離散値から選択することが好ましい。

本発明に係るプログラムは、コンピュータを、少なくとも手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段から距離画像を取得するとともに、対象物の規定の動作を検出したときに制御対象への対応制御を行う演算処理装置として機能させるためのプログラムであって、コンピュータを、距離画像から対象物に対応する領域を抽出する対象物抽出手段と、対象物の位置変化を距離画像の動画像から抽出する動作抽出手段と、動作抽出手段が抽出した対象物の位置変化に基づいて制御対象に指示する操作量を変化させる制御手段とを備え、動作抽出手段は、対象物抽出手段が抽出した対象物から手のひらに相当する対象面の位置と向きとを示す特徴量を抽出する特徴量抽出部と、特徴量が規定の開始条件を満たしてから特徴量が規定の終了条件を満たすまでの間における対象物の移動に伴う特徴量の変化量から制御対象に指示する操作量を決定する操作量決定部とを備える演算処理装置として機能させるものである。

本発明の構成によれば、手に相当する対象物の距離画像が得られるように配置すればよいから、利用者との位置関係の制約が少ないという利点があり、また、対象物から手のひらに相当する対象面を抽出し、対象面の位置および向きを特徴量として、開始条件から終了条件までの間における当該特徴量の変化量によって操作量を決定するから、手のひらという比較的面積の大きい領域を抽出することにより、距離の極小点を指先とみなして指先の位置を操作入力に用いる従来構成に比較すると、誤認の可能性が低減される。

実施形態を示すブロック図である。同上の動作説明図である。同上における対象物抽出部の動作説明図である。同上の動作説明図である。同上の動作説明図である。同上の動作説明図である。

以下に説明する操作入力装置は、図１に示すように、距離画像の動画像を生成する距離画像生成手段１０と、距離画像生成手段１０から距離画像を取得するとともに対象物の規定の動作を検出したときに制御対象５への対応制御を行う演算処理装置２０とを備える。演算処理装置２０は、ハードウェア要素としてのコンピュータを備え、適宜のプログラムをコンピュータで実行することにより以下に説明する機能を実現する。

本実施形態では、距離画像生成手段１０は、少なくとも人体の手に相当する対象物に関する距離を画素値に持つ距離画像を生成する。ただし、対象物は人型のロボットや人形であってもよく、手のひらに相当する対象面を抽出する可能な形状であれば、対象物が人体か否かは問わない。たとえば、手は露出していることが望ましいが、手に手袋が装着されている場合でも、手のひらの位置および向きを認識することが可能である。したがって、屋内で使用する場合だけでなく、屋外であっても季節を問わずに動作を認識することが可能である。

距離画像生成手段１０は、実空間における対象物までの距離を計測するセンサ部１１と、センサ部１１が計測した対象物までの距離を画素値に持つ距離画像を生成する距離演算部１２とを備える。

センサ部１１は、アクティブ型の構成とパッシブ型の構成とのいずれでも採用可能である。本実施形態のセンサ部１１は、対象物が存在する空間に投光するとともに、空間に存在する物体からの反射光を受光し、投光から受光までの時間差に相当する情報を用いて物体までの距離を検出するアクティブ型の構成を備える。すなわち、センサ部１１は、飛行時間（ＴＯＦ＝Time Of Flight）法により対象物までの距離を計測する。

以下では、センサ部１１の一例として、発光源から空間に投光し、空間に存在する対象物からの反射光を撮像素子で受光するアクティブ型の構成を想定する。

発光源は、時間とともに強度が変化する強度変調光を投光し、対象物で反射され撮像素子で受光された強度変調光（反射光）と投光した強度変調光との位相差を、投光から受光までの時間差に相当する情報として用いる。変調光の変調波形は、正弦波が望ましいが、三角波、鋸歯状波、方形波などから選択することも可能である。また、変調光の周期は一定とする。

一方、撮像素子は、複数個の受光領域（画素）が２次元配列されたＣＣＤイメージセンサやＣＭＯＳイメージセンサのような周知の構成のものが用いられる。ただし、撮像素子は、センサ部１１に適する特別な構造を有するように設計されていてもよい。撮像素子の受光のタイミングは、発光源が投光する強度変調光の周期に同期させて設定され、たとえば、強度変調光の周期内において９０度ずつ異なる位相に相当するタイミングの受光量を個別に取り出す。強度変調光の強度変化の周波数は、実用上は数ＭＨｚ〜数十ＭＨｚに設定され、撮像素子が受光する受光量は、強度変調光の１周期分の反射光の光量では不十分である。したがって、撮像素子では複数周期分（たとえば、１００００周期分）の受光量に相当する電荷を蓄積した後、蓄積した電荷を前記位相の受光量に相当する電荷として出力する。

ところで、発光源が強度変調光を投光し撮像素子が反射光を受光する構成のセンサ部１１は、撮像素子の視野全体において対象物までの距離を一括して計測することができるから、比較的短い時間で１枚の距離画像に相当する情報が得られる。したがって、通常の濃淡画像やカラー画像と同様に、１秒間に３０フレーム以上を得ることが可能である。

センサ部１１では強度変調光の各位相に対応する複数種類（たとえば、４種類）の電荷量が得られ、これらの電荷量は、強度変調光の位相を示す信号とともに距離演算部１２に入力される。

いま、強度変調光が正弦波であって、センサ部１１からは９０度ずつ異なる４位相に対応する電荷量が得られるとする。各電荷量をＡ０，Ａ１，Ａ２，Ａ３とすると、投受光の位相差φ［ｒａｄ］は下式で表される。
φ＝ｔａｎ^−１｛（Ａ０−Ａ２）／（Ａ１−Ａ３）｝
強度変調光の周波数をｆ〔Ｈｚ〕とすれば、投光から受光までの時間差Δｔは位相差φを用いて、Δｔ＝φ／２π・ｆと表されるから、光速をｃ〔ｍ／ｓ〕とすると、物体までの距離は、ｃ・φ／４π・ｆと表される。すなわち、４種類の電荷量Ａ０，Ａ１，Ａ２，Ａ３により対象物までの距離を求めることができる。

距離演算部１２は、センサ部１１から得られた情報を用いて、各画素ごとに上述した計算を行うことにより、各画素の画素値として距離を対応付けた距離画像を生成する。ただし、得られた距離画像は、センサ部１１から対象物を見込む方向における距離であって、画素の位置が角度に対応している。画素の位置に対応する角度は既知であるから、距離演算部１２は、画素の位置と画素値である距離とを用いることにより、対象物の位置が実空間に対応する３次元の直交座標系で表されるように座標変換を行う。したがって、距離演算部１２からは、対象物の位置が直交座標系で表された距離画像の動画像が得られる。言い換えると、撮像素子の画素に距離を対応付けた距離画像を、直交座標系で表される３次元の仮想空間にマッピングした距離画像が得られる。なお、上述した距離画像生成手段１０の構成は周知であるから詳述しない。

距離画像生成手段１０は、距離画像の動画像を対象物抽出手段２に与える。対象物抽出手段２は、図２のように、距離画像の視野内において手に相当する対象物Ｏｂを抽出する機能を有する。すなわち、距離画像は少なくとも手に相当する領域を含んでいる必要がある。

対象物抽出手段２は、手に相当する対象物Ｏｂを距離画像から抽出するために、距離の分布を求めるとともに、距離画像から対象物Ｏｂの輪郭の抽出を行う。つまり、対象物抽出手段２は、距離の分布においてクラスタを形成する画素群であって、画素に連続性がある場合に当該画素群を対象物Ｏｂの領域と認識する。ここに、距離画像において、隣接する各一対の画素の間の距離が規定した範囲内であるときに両画素は連続していると判断され、連続している画素からなる領域について形状および他の領域との接続関係を用いて対象物Ｏｂと判断される。また、抽出された領域の包絡線が対象物Ｏｂの輪郭になる。

ここに、対象物抽出手段２は、対象物Ｏｂを抽出するにあたって手以外の部位の画素群との関係を評価しているから、手に相当する領域だけではなく、前腕部に相当する領域も対象物Ｏｂとして併せて抽出するようにしてもよい。前腕部に相当する領域を併せて抽出している場合には、前腕部に相当する領域との位置関係を用いることにより、手に相当する領域の位置や向きを求める精度を高めることができる。

対象物抽出手段２は、常時動作させることが可能であるが、センサ部１１の視野内に設定された規定の空間領域において物体が検出されるようになるまでは、対象物抽出手段２を動作させないようにするのが望ましい。すなわち、演算処理装置２０は、対象物抽出手段２の機能を停止させている動作モードと、対象物抽出手段２を作動させる動作モードとの２段階の動作モードを切り替えるのが好ましい。

対象物抽出手段２は、距離画像の１フレーム毎に対象物Ｏｂの有無を検出する。対象物抽出手段２で求められた対象物Ｏｂの情報は動作抽出手段３に入力される。動作抽出手段３は、対象物Ｏｂについて後述する特徴量を抽出し、特徴量の変化を距離画像の動画像から抽出する。すなわち、動作抽出手段３は、距離画像の動画像から対象物Ｏｂの位置変化を抽出する。動作抽出手段３が抽出した対象物Ｏｂの位置変化の情報は制御手段４に与えられ、制御手段４は、対象物Ｏｂの位置変化の情報に基づいて制御対象５に指示する操作量を変化させる。

動作抽出手段３は、対象物抽出手段２が抽出した対象物Ｏｂの位置と向きとを示す特徴量を抽出する特徴量抽出部３１を備える。さらに、動作抽出手段３は、特徴量抽出部３１が抽出した特徴量が規定の開始条件を満たしてから特徴量が規定の終了条件を満たすまでの間において、対象物Ｏｂの移動に伴う特徴量の変化量を求める操作量決定部３２を備える。操作量決定部３２は特徴量の変化量に基づいて操作量を決定し、制御手段４は操作量決定部３２が決定した操作量を制御対象５に指示する。

特徴量抽出部３１は、対象物Ｏｂから手のひらに相当する対象面Ｓｂを抽出する機能を有し、対象面Ｓｂの位置と向きとを特徴量として抽出する。対象面Ｓｂを抽出するには、手において前腕と連続する部位を求め、手を前腕とは反対側から見た形状に対して外接矩形Ｒｂを設定し、外接矩形Ｒｂの縦横比（＝Ｗ１／Ｗ２）を求める。縦横比が規定の閾値よりも大きい場合、手のひらに相当する対象面Ｓｂを外接矩形Ｒｂの縦方向（長手方向）に沿った平面とみなし、横方向に相当する方向を対象面Ｓｂの法線方向と推定する。

特徴量抽出部３１は、上述のようにして対象面Ｓｂに関する情報を抽出すると、図３のように、センサ部１１の視野において規定した３次元の座標系（ｏ−ｘｙｚ）において、対象面Ｓｂの位置および向きを特定する。対象面Ｓｂの向きは、前記座標系に規定されている基準面Ｓｃに基づいて交差角θと回転角ρとの２種類の角度のうち少なくとも交差角θにより表される。交差角θは基準面（ｘｙ平面）Ｓｃと対象面Ｓｂとがなす角度（基準面Ｓｃに対する対象面Ｓｂの向き）であり、回転角ρは基準面Ｓｃに交差する方向に規定される軸（ｚ軸）周りの角度である。

ところで、対象物Ｏｂの移動に伴う特徴量の変化量を求めるには、変化量の起点と終点とを定めることが必要である。そこで、操作量決定部３２では、特徴量の変化量を求めるための開始条件と終了条件とが規定される。開始条件は、たとえば、特徴量抽出部３１が対象面Ｓｂを検出した後に、対象面Ｓｂが基準面Ｓｃに対して略直交している状態で規定時間静止するという条件が用いられる。また、終了条件は、たとえば、開始条件の成立後に対象面Ｓｂの位置あるいは向きが変化し、次に、対象面Ｓｂが規定時間静止するという条件が用いられる。開始条件において対象面Ｓｂが基準面Ｓｃに対してなす角度は、たとえば、（９０±５）度などに設定され、対象面Ｓｂが静止する規定時間は、たとえば、０．５秒などに設定される。

開始条件および終了条件は、他に規定してもよい。たとえば、制御対象５がモニタ装置を備えている場合には、モニタ装置の画面に平行な平面を基準面Ｓｃとし、基準面Ｓｃからの距離範囲に対象物Ｏｂが存在するか否かを開始条件および終了条件に用いることも可能である。

操作量決定部３２は、開始条件の成立から終了条件の成立までの間において、対象物Ｏｂの移動に伴う特徴量の変化量を求める。さらに、操作量決定部３２は、求めた変化量に対応する操作量を決定し、制御手段４に引き渡すのである。操作量決定部３２における特徴量の変化量と操作量との関係は、データテーブルや関数によってあらかじめ定められている。

データテーブルを用いる場合は、特徴量の変化量に対して制御対象５に指示する操作量が離散的に設定されるから、特徴量の変化量を複数区間に分け、各区間ごとに操作量を割り当てることが好ましい。この構成では、操作量決定部３２から操作量を段階的に発生させることができる。また、変化量を制御対象５の状態に対応付けておけば、ロータリスイッチやデジタルサムホイールスイッチのように、複数の状態を選択するスイッチとして用いることも可能になる。

操作量決定部３２は、制御対象５に与える操作量の種類に応じて以下に説明する動作を行う。本実施形態では、制御対象５に指示する操作量の変量が１種類の場合と、制御対象５に指示する操作量の変量が２種類の場合とがある。操作量の変量が１種類の場合は、音量の増減を行う場合、モニタ装置の画面を一方向にのみスクロールさせる場合、オンオフを行う場合のように、可変抵抗器やオンオフを行うスイッチのような入力装置を用いて指示する操作量に相当する。また、操作量が２種類の場合は、音量と光量との増減を行う場合、光量と光色とを調節する場合、モニタ装置の画面を２方向にスクロールさせる場合など、ジョイスティックのような入力装置を用いて指示する操作量に相当する。

操作量決定部３２が１種類の操作量を決定する場合は、対象物Ｏｂに関して以下の３種類のいずれかの特徴量に操作量を対応付ける。

第１の例では、図４のように、対象面Ｓｂが基準面Ｓｃに対して規定の角度範囲内で交差する状態が保たれたままで対象面Ｓｂを基準面Ｓｃに沿って移動させたときに、対象面Ｓｂの移動量Ｌと移動の向きとが操作量に対応付けられる。対象面Ｓｂが基準面Ｓｃに対して交差する交差角θは、たとえば、（９０±５）度に設定される。この動作は、制御対象５がモニタ装置を備える場合であれば、指先をモニタ装置の画面に向け、対象物Ｏｂをモニタ装置の画面に沿って平行移動させる動作に相当する。この動作によって操作量を変化させると、対象物Ｏｂの移動量Ｌに応じた操作量を発生させることができ、また、対象物Ｏｂの移動の向きに応じて操作量の増減が可能になる。つまり、つまみが平行移動するスライドボリュームの操作を模擬した操作が可能になる。

第２の例では、図５のように、対象面Ｓｂが基準面Ｓｃに対してなす交差角θ（対象面Ｓｂの基準面Ｓｃに対する向き）を変化させたときに、対象面Ｓｂの交差角θの変化量と変化の向きとが操作量に対応付けられる。この動作は、制御対象５がモニタ装置を備える場合であれば、モニタ装置の画面のほうに指先を向け手首を中心にして手のひらの向きを変える動作に相当する。この動作によって操作量を変化させると、対象物Ｏｂの交差角θに応じた操作量を発生させることができる。また、手首関節の掌屈と背屈とに応じて操作量の増減が可能になる。つまり、つまみを倒す角度に操作量を対応付けるからレバーを倒す操作を模擬した操作が可能になる。

第３の例では、図６のように、基準面Ｓｃに交差する方向に規定される軸（ｚ軸）周りでの対象面Ｓｂの回転角ρを変化させたときに、対象面Ｓｂの回転角ρの変化量と変化の向きとが操作量に対応付けられる。この動作は、制御対象５がモニタ装置を備える場合であれば、モニタ装置の画面に指先を向けた状態で肘関節を回転させる動作に相当する。この動作によって操作量を変化させると、対象物Ｏｂの回転角ρに応じて操作量を発生させることができる。また、肘関節が回転する向きに応じて操作量を増減させることができる。つまり、回転式の可変抵抗器やロータリスイッチを模擬した操作が可能になる。

操作量決定部３２が２種類の操作量を決定する場合は、対象物Ｏｂに関して以下の２種類のいずれかの特徴量に操作量を対応付ける。これらの操作は、上述した第１の例と第２の例との一方に、第３の例を組み合わせた操作になり、操作量決定部３２は、ジョイスティックのような２種類の操作量を発生させる。

すなわち、上述した第１の例と第３の例とを組み合わせると、対象面Ｓｂを基準面Ｓｃに沿って移動させる移動量Ｌおよび移動の向きだけではなく、基準面Ｓｃに交差する方向に規定される軸（ｚ軸）周りでの対象面Ｓｂの回転角ρおよび回転角ρの変化の向きも考慮される。つまり、移動量Ｌと回転角ρとがそれぞれ異なる操作量に対応付けられる。たとえば、調光と調色とを指示可能な照明装置を制御対象５とする場合、移動量Ｌを光出力に対応付け、回転角ρを光色に対応付けることができる。

一方、上述した第２の例と第３の例とを組み合わせると、対象面Ｓｂが基準面Ｓｃに対してなす交差角θの変化量および変化の向きだけではなく、ｚ軸周りでの対象面Ｓｂの回転角ρおよび回転角ρの変化の向きも考慮される。したがって、交差角θと回転角ρとがそれぞれ異なる操作量に対応付けられる。この場合、手首関節と肘関節との２種類の角度の組み合わせにより２種類の操作量を指示することができる。たとえば、制御対象５がモニタ装置を備えている場合、モニタ装置の画面上でのポインタの移動量を指示する場合、ポインタの移動方向を回転角ρに対応付け、ポインタの移動量を交差角θに対応付けることができる。

なお、上述した動作は、説明を簡単にするために指先を伸ばした状態を想定して説明しているが、手を握った状態であっても同様の動作が可能である。

２対象物抽出手段
３動作抽出手段
４制御手段
１０距離画像生成手段
２０演算処理装置
３１特徴量抽出部
３２操作量決定部
Ｏｂ対象物
Ｓｃ基準面
Ｓｂ対象面

Claims

少なくとも手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段と、前記距離画像から前記対象物に対応する領域を抽出する対象物抽出手段と、前記対象物の位置変化を前記距離画像の動画像から抽出する動作抽出手段と、前記動作抽出手段が抽出した前記対象物の位置変化に基づいて制御対象に指示する操作量を変化させる制御手段とを備え、前記動作抽出手段は、前記対象物抽出手段が抽出した前記対象物から手のひらに相当する対象面の位置と向きとを示す特徴量を抽出する特徴量抽出部と、前記特徴量が規定の開始条件を満たしてから前記特徴量が規定の終了条件を満たすまでの間における前記対象物の移動に伴う前記特徴量の変化量から前記制御対象に指示する操作量を決定する操作量決定部とを備えることを特徴とする操作入力装置。
前記特徴量抽出部は、前記対象面の向きとして規定の基準面に対して前記対象面が交差する角度である交差角を抽出し、前記操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、前記交差角が規定の角度範囲内である状態が保たれたままで前記対象面が前記基準面に沿って移動したとき、前記対象面の移動量および移動の向きから１種類の前記操作量を決定することを特徴とする請求項１記載の操作入力装置。
前記特徴量抽出部は、前記対象面の向きとして規定の基準面に対して前記対象面が交差する角度である交差角を抽出し、前記操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、前記交差角が変化したとき、前記交差角の変化量および変化の向きから１種類の前記操作量を決定することを特徴とする請求項１記載の操作入力装置。
前記特徴量抽出部は、前記対象面の向きとして規定の基準面に交差する方向に規定される軸周りでの前記対象面の回転角を抽出し、前記操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、前記回転角が変化したとき、前記回転角の変化量および変化の向きから１種類の前記操作量を決定することを特徴とする請求項１記載の操作入力装置。
前記特徴量抽出部は、前記対象面の向きとして規定の基準面に対して前記対象面が交差する角度である交差角と、前記基準面に交差する方向に規定される軸周りでの前記対象面の回転角とを抽出し、前記操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、前記交差角が規定の角度範囲内で交差している状態が保たれたままで前記対象面が前記基準面に沿って移動したとき、前記回転角の変化量および変化の向きと前記対象面の移動量および移動の向きとから２種類の前記操作量を決定することを特徴とする請求項１記載の操作入力装置。
前記特徴量抽出部は、前記対象面の向きとして規定の基準面に対して前記対象面が交差する角度である交差角と、前記基準面に交差する方向に規定される軸周りでの前記対象面の回転角とを抽出し、前記操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、前記交差角が変化したとき、前記回転角の変化量および変化の向きと前記交差角の変化量と変化の向きとから２種類の前記操作量を決定することを特徴とする請求項１記載の操作入力装置。
前記操作量決定部は、前記操作量を複数段階の離散値から選択することを特徴とする請求項１〜６のいずれか１項に記載の操作入力装置。
コンピュータを、少なくとも手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段から距離画像を取得するとともに、前記対象物の規定の動作を検出したときに制御対象への対応制御を行う演算処理装置として機能させるためのプログラムであって、コンピュータを、前記距離画像から前記対象物に対応する領域を抽出する対象物抽出手段と、前記対象物の位置変化を前記距離画像の動画像から抽出する動作抽出手段と、前記動作抽出手段が抽出した前記対象物の位置変化に基づいて制御対象に指示する操作量を変化させる制御手段とを備え、前記動作抽出手段は、前記対象物抽出手段が抽出した前記対象物から手のひらに相当する対象面の位置と向きとを示す特徴量を抽出する特徴量抽出部と、前記特徴量が規定の開始条件を満たしてから前記特徴量が規定の終了条件を満たすまでの間における前記対象物の移動に伴う前記特徴量の変化量から前記制御対象に指示する操作量を決定する操作量決定部とを備える演算処理装置として機能させるプログラム。