JP2016157457A - 操作入力装置、操作入力方法及び操作入力プログラム - Google Patents

Abstract

【課題】一般的なカメラを用いてユーザの手形状に基づいた操作入力を行うことが可能な操作入力装置を提供する。
【解決手段】操作入力装置は、移動体の運転席付近の撮影画像に基づいて、利用者による操作入力を認識する。まず、カメラにより得られた撮影画像から、運転席付近の実体物、例えばハンドルを基準として、検出基準領域が決定される。次に、検出基準領域において、実体物と、例えば指／手などの操作入力に使用される操作物との関係により決まる操作物の見え方の制約に基づいて、操作物が検出される。そして、検出された操作物の状態が推定され、推定された操作物の状態に基づいて操作入力が特定され、当該操作入力に対応する操作信号が装置へ出力される。
【選択図】図３

Description

本発明は、カメラで撮影した画像中における操作物の状態の変化を利用して、装置に対する操作を入力する手法に関する。

装置に対して操作入力を行うインターフェースとして各種の手法が提案されている。特に、車両の運転席のハンドル付近におけるユーザの手形状を利用して機器のための操作入力を行う手法として、以下のものが提案されている。

特許文献１は、車載機器の操作のためのインターフェース装置を記載している。この装置は、ハンドルを把持したユーザの手をハンドルの裏側から撮影し、ジェスチャを取得する。これにより、この装置は、ハンドルを握りながら前方を指差す状態の手を撮影し、その形状を判定する。

特許文献２は、車両の乗員の手を含む所定の検出領域を複数のカメラにより撮影し、それに基づいて手の形状や動きを抽出し、操作コマンドを判定する手法を記載している。

その他、手形状や手によるジェスチャに基づいて操作入力を行う手法が特許文献３、４に記載されている。

特開２００７−１６４８１４号公報 特開２００６−３３５１１２号公報 特開２００７−１６４８１４号公報 特開２００６−３３５１１２号公報

しかし、上記の特許文献に記載の手法では、ハンドルにカメラを取り付けたり、複数のカメラや特殊なカメラを使用したりする必要がある。

本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明は、一般的なカメラを用いてユーザの手形状に基づいた操作入力を行うことが可能な操作入力装置を提供することを目的とする。

請求項１に記載の発明は、操作入力を行う操作入力装置であって、移動体の運転席付近を撮影するカメラにより撮影された撮影画像において、前記運転席付近に設置された実体物の一部分を検出基準領域として決定する決定手段と、前記撮影画像中の前記検出基準領域において、前記操作入力に使用される操作物によって遮蔽されていない領域に基づき、前記操作物を検出する検出手段と、検出された前記操作物に基づいて前記操作入力を特定する特定手段と、を備えることを特徴とする。

請求項７に記載の発明は、操作入力を行う操作入力装置により実行される操作入力方法であって、移動体の運転席付近を撮影するカメラにより撮影された撮影画像において、前記運転席付近に設置された実体物の一部分を検出基準領域として決定する決定工程と、前記撮影画像中の前記検出基準領域において、前記操作入力に使用される操作物によって遮蔽されていない領域に基づき、前記操作物を検出する検出工程と、検出された前記操作物に基づいて前記操作入力を特定する特定工程と、を備えることを特徴とする。

請求項８に記載の発明は、操作入力を行う操作入力装置により実行される操作入力プログラムであって、移動体の運転席付近を撮影するカメラにより撮影された撮影画像において、前記運転席付近に設置された実体物の一部分を検出基準領域として決定する決定工程と、前記撮影画像中の前記検出基準領域において、前記操作入力に使用される操作物によって遮蔽されていない領域に基づき、前記操作物を検出する検出工程と、検出された前記操作物に基づいて前記操作入力を特定する特定工程と、を前記操作入力装置に実行させることを特徴とする。

実施例に係る操作入力装置の構成を示すブロック図である。 カメラの設置状態を模式的に示す。 操作認識処理のフローチャートである。 検出基準領域の決定方法を説明する図である。 手形状の例を示す。 操作物検出処理のフローチャートである。 操作物の検出方法を説明する図である。 操作物状態の推定方法を説明する図である。 操作物状態の推定方法を説明する図である。

本発明の好適な実施形態では、移動体に搭載される装置に対して操作入力を行う操作入力装置は、前記移動体の運転席付近を撮影するカメラと、前記カメラにより撮影された撮影画像において、前記運転席付近に設置された実体物を基準として検出基準領域を決定する検出基準領域決定手段と、前記検出基準領域において、前記実体物と操作入力に使用される操作物との関係により決まる前記操作物の見え方の制約に基づいて、前記操作物を検出する操作物検出手段と、検出された前記操作物の状態を推定する操作物状態推定手段と、推定された前記操作物の状態に基づいて操作入力を特定し、当該操作入力に対応する操作信号を前記装置へ出力する操作決定手段と、を備える。

上記の操作入力装置は、移動体の運転席付近の撮影画像に基づいて、利用者による操作入力を認識する。まず、カメラにより得られた撮影画像から、運転席付近の実体物、例えばハンドルを基準として、検出基準領域が決定される。次に、検出基準領域において、実体物と、例えば指／手などの操作入力に使用される操作物との関係により決まる操作物の見え方の制約に基づいて、操作物が検出される。そして、検出された操作物の状態が推定され、推定された操作物の状態に基づいて操作入力が特定され、当該操作入力に対応する操作信号が装置へ出力される。これにより、運転席付近において利用者が手や指などでジェスチャを行うことにより、容易に操作入力を行うことができる。

上記の操作入力装置の一態様では、前記移動体は自動車であり、前記実体物は運転席付近に設置されたハンドルであり、前記カメラは前記ハンドルを含む領域を撮影する。

上記の操作入力装置の他の一態様では、前記検出基準領域決定手段は、予め決められた前記実体物の形状を前記撮影画像から抽出し、その一部分を前記検出基準領域に決定する。例えば、検出基準領域決定手段は、実体物としてのハンドルの形状を抽出し、その一部を検出基準領域とする。

上記の操作入力装置の他の一態様では、前記操作物の見え方の制約は、前記実体物と前記操作物との間の幾何学的な関係に起因して生じる制約である。例えば、操作物検出手段は、実体物としてのハンドル上に操作物としての指や手が位置する状態において、ハンドルに対する指の位置、太さ、向きなどの幾何学的な関係に起因する指の見え方に基づいて、操作物としての指や手を検出する。

上記の操作入力装置の他の一態様では、前記操作物の見え方の制約は、前記実体物上に前記操作物が位置する状態において、前記実体物と前記操作物のそれぞれの光の反射特性による見え方の差に起因して生じる制約である。例えば、操作物検出手段は、実体物としてのハンドルと、その上に位置する操作物としての指や手の明るさの違いにより、操作物としての指や手を検出する。

１つの好適な例では、前記操作物は指であり、前記操作物の状態は指の本数である。

上記の操作入力装置の他の一態様では、前記操作物状態推定手段は、前記操作物の状態として、前記操作物の形状を推定する。例えば、操作物状態推定手段は、操作物である手の状態として手形状を推定する。具体的には、前記操作物状態推定手段は、前記検出基準領域内における前記操作物の検出結果に基づいて、前記検出基準領域外にまたがる前記操作物の形状を推定する。また、前記操作物状態推定手段は、検出された前記操作物の輝度あるいは色の少なくとも一方の特徴を抽出し、前記検出基準領域外で、その特徴に当てはまる領域を検出することにより、前記検出基準領域外に存在する前記操作物の領域を検出して前記操作物の形状を推定する。好適な例では、前記操作物は手であり、前記操作物の形状は手全体の形状である。

本発明の他の好適な実施形態は、カメラを備え、移動体に搭載される装置に対して操作入力を行う操作入力装置により実行される操作入力方法であって、前記カメラにより撮影された撮影画像において、前記運転席付近に設置された実体物を基準として検出基準領域を決定する検出基準領域決定工程と、前記検出基準領域において、前記実体物と操作入力に使用される操作物との関係により決まる前記操作物の見え方の制約に基づいて、前記操作物を検出する操作物検出工程と、検出された前記操作物の状態を推定する操作物状態推定工程と、推定された前記操作物の状態に基づいて操作入力を特定し、当該操作入力に対応する操作信号を前記装置へ出力する操作決定工程と、を有する。

本発明の他の好適な実施形態は、カメラを備え、移動体に搭載される装置に対して操作入力を行う操作入力装置により実行される操作入力プログラムであって、前記カメラにより撮影された撮影画像において、前記運転席付近に設置された実体物を基準として検出基準領域を決定する検出基準領域決定工程と、前記検出基準領域において、前記実体物と操作入力に使用される操作物との関係により決まる前記操作物の見え方の制約に基づいて、前記操作物を検出する操作物検出工程と、検出された前記操作物の状態を推定する操作物状態推定工程と、推定された前記操作物の状態に基づいて操作入力を特定し、当該操作入力に対応する操作信号を前記装置へ出力する操作決定工程と、を前記操作入力装置に実行させる。この操作入力プログラムは、記憶媒体に記憶して取り扱うことができる。

以下、図面を参照して本発明の好適な実施例について説明する。

［装置構成］
図１は、実施例に係る操作入力装置の構成を示す。本実施例では、操作入力装置は、車載機器に対する操作入力に使用される。ここで、車載機器とは、車両に搭載されるカーエアコン、カーＡＶ機器、ナビゲーション装置など、車両に搭載される各種の機器を含む。

図１に示すように、操作入力装置は、カメラ５と、操作認識処理部１０とを含む。カメラ５は、使用者（自動車の運転者）が、運転操作するハンドルの周辺を撮影する位置に固定して設置される。図２は、カメラ５の設置状態を模式的に示す。図２は、運転者が運転席に座ってハンドル２を握っている状態を側方から見た図である。

カメラ５の設置場所は、運転席の頭上の正面前方のサンバイザー付近が好ましい。これにより、カメラ５は、運転席付近のハンドル（ステアリング）２、ダッシュボード３、左右のレバー４（図４（Ａ）を参照）などを含む領域を撮影し、その撮影画像を操作認識処理部１０へ出力する。車両の運転中に運転者はハンドル２を操作するため、運転者の手や指なども撮影画像に含まれることになる。なお、本実施例では、運転席にあるハンドル２は、多くの車種の自動車で同じような形状、大きさ、配置であり、黒色又は黒色に近い色であると想定する。

本実施例では、カメラ５は、距離計測カメラ、赤外線カメラ、ステレオカメラ等の特殊なものではなく、通常のカメラとし、例えば秒間３０フレームを撮影できるものとする。ただし、カメラ５には、通常は設けられていることが多い赤外線カットフィルタを設けない。また、カメラ５の近傍に補助光の赤外線照射装置を設けて、夜間はハンドル２の付近に赤外線を照射する。これにより、夜間でも使用者の手元周辺をカメラ５で撮影できるようにする。

操作認識処理部１０は、カメラ５が撮影した映像（秒間３０フレームの連続するフレーム画像）を受け取って解析し、ハンドル２の周辺で行われる操作（ジェスチャ）を認識する。そして、操作を認識すると、操作認識処理部１０は、操作対象の車載機器に対して、操作信号を出力する。この実施例では、操作認識処理部１０は、コンピュータを用いたソフトウェア処理により実現される。

図１に示すように、操作認識処理部１０は、検出基準領域決定部１１と、操作物検出部１２と、操作物状態推定部１３と、操作決定部１４と、を備える。

検出基準領域決定部１１は、カメラ５から入力された撮影画像を解析し、検出基準領域を決定する。これを、「検出基準領域決定処理」という。検出基準領域とは、撮影画像において、利用者による操作入力を認識する際に基準となる領域をいう。

操作物検出部１２は、検出基準領域決定処理により決定された検出基準領域に基づいて、利用者が操作入力に使用する操作物（例えば利用者の指や手）を検出する。これを「操作物検出処理」という。

操作物状態推定部１３は、操作物検出処理により検出された操作物の状態を推定する。これを「操作物状態推定処理」と呼ぶ。具体的には、操作物状態推定部１３は、利用者の指や手の操作物の形状を推定する。

操作決定部１４は、操作物状態推定処理により推定された操作物の状態に基づいて、それに対応する操作を決定し、操作信号を出力する。

[操作認識処理]
次に、操作認識処理部１０により実行される操作認識処理について詳しく説明する。図３は、操作認識処理のフローチャートである。図３に示すように、操作認識処理部１０は、検出基準領域決定処理（ステップＳ１１）、操作物検出処理（ステップＳ１２）、操作物状態推定処理（ステップＳ１３）、及び、操作決定処理（ステップＳ１４）を実行する。以下、順に説明する。

（１．検出基準領域決定処理）
操作認識処理部１０の検出基準領域決定部１１は、検出基準領域決定処理を行う（ステップＳ１１）。具体的に、検出基準領域決定部１１は、まずカメラ５から入力された撮影画像から、実体物としてのハンドル２を検出し、次に、ハンドル２をよりどころとして検出基準領域を決定する。

まず、ハンドル２の検出について説明する。運転席上部から見下ろすように設置されるカメラの設置条件と、多くの車種でハンドルが同じような位置・大きさ・形と想定されるという運転席構造とから、ハンドル２の見え方、即ち、撮影画像中でのハンドル２の位置・大きさ・形状は概ね予想できる。ハンドル２を含む撮影画像の例を図４（Ａ）に示す。この例では、撮影画像は、ハンドル２、ダッシュボード３、レバー４などを含んでいる。

検出基準領域決定部１１は、撮影画像からエッジ（輝度勾配）を求め、様々なパラメータの楕円をマッチングすることにより、楕円形状のエッジを検出し、これをハンドル２の外周部と解釈する。具体的に、図４（Ｂ）に示すように、検出基準領域決定部１１はハンドル２の外周部に相当する楕円２ｘを検出する。

カメラ５とハンドル２はいずれも固定されているため、ある程度の時間にわたって撮影した撮影画像を重ね合わせれば、日当り・影や運転者の手などの動的要因を取り除いた、ハンドル２の周辺画像を生成できる。ここで、「ある程度の時間」とは、日当りの変化や運転者の手の見え方の偏りが十分少ないと言える程度である。ハンドル２の検出に使用される撮影画像は、数日間で、運転中・運転中以外、様々な方向からの光が当る場合、曇りの場合などの撮影画像を含む。なお、必ずしも全ての時間の撮影画像を重ね合わせる必要はなく、例えば日当たりが変わった時や、運転を始めた時、運転をやめた時などの条件で、フレーム画像を切り出してもよい。

また、撮影画像中に複数の楕円が検出されるような場合は、複数の楕円の中から、車が走行している間に比較的長時間にわたって楕円中の同じような位置が隠れて見えることを条件に、ハンドル２の外周部に相当する楕円２ｘを選択するようにしてもよい。これは、運転者の手が長時間にわたってハンドル２の同じような位置を握っていることを想定した条件である。例えば、ダッシュボード３の境界からハンドル２に似た半円状のエッジが検出されたとしても、ダッシュボード３に対して、ハンドル２のように運転者が長時間にわたって手を添えていることはないので、その半円状のエッジはハンドル候補から除外することができる。

次に、検出基準領域の決定について説明する。上記のようにして検出された、実体物としてのハンドル２の外周部に相当する楕円２ｘを基準に検出基準領域が決定される。具体的には、図４（Ｃ）に示すように、検出されたハンドル２の外周部に相当する楕円２ｘの上側の所定の範囲の弧から、楕円の内側に向かって所定の幅の円弧状の領域を形成し、これを検出基準領域ＤＡとして決定する。ここで言う「上側」とは、ハンドル２の外周部に相当する楕円２ｘのうち、運転者がハンドル２の上側と認識する側である。「所定の範囲」は、例えば、楕円２ｘの真上（時計の１２時の位置）から左右にそれぞれ４５度の範囲とする。所定の範囲は、操作者がジェスチャ操作する範囲に相当する。また、「所定の幅」は、例えば、楕円２ｘの短軸の半径の０．２倍とする。所定の幅は、ハンドル２のわっかの幅に相当する。

検出基準領域の決定は、カメラ５を設置したとき、ハンドル２の位置を調整するなどしてカメラ５とハンドル２の位置関係が変わったときに行う必要がある。具体的には、位置関係が変化したことをカメラ５の画像から検出したときに検出基準領域の決定を行ってもよい。また、利用者によるスイッチ操作などに応じて、検出基準領域の再決定を行うようにしてもよい。

（２．操作物検出処理）
検出基準領域が決まれば、利用者がハンドル２に触れるように指を置いた場合の見え方を、検出基準領域を基準にして想定することができる。即ち、ハンドル２に指を置いた場合の指の向きや指の幅を想定することができる。図５は、ハンドル２に３本の指を置いた状態を模式的に示す。

具体的に、指の向きは検出基準領域ＤＡを横切る方向となる。指の幅は、ハンドル２の見た目の大きさからハンドル２のスケールを想定し、ハンドル２上に指を置いた時の見た目上の指の太さを推定することにより決定できる。また、ハンドル表面は暗い色であるとの想定から、指を置いた場合に指はハンドル２の表面よりも明るく見え、ハンドル２の表面と指領域の境界には急峻な輝度値の変化が線状に存在することも想定できる。なお、ハンドル２が白い色であれば、指を置いた時に指がハンドル２の表面より暗く見えることも想定できる。なお、ここではハンドル２は暗い色との想定で説明を進める。

操作物検出部１２は操作物検出処理を行う（ステップＳ１２）。操作物検出処理は、検出基準領域において操作物（指／手）を検出する。具体的には、操作物検出処理部１２は、実体物と操作物との関係により決まる操作物の見え方の制約に基づいて、操作物を検出する。本実施例では、実体物であるハンドル２と、操作物である指／手との関係により決まる指／手の見え方の制約に基づいて、操作物である指／手が検出される。

１つの例では、操作物の見え方の制約は、実体物上に操作物が位置する状態において、実体物と操作物との間の幾何学的な関係に起因して生じる制約である。「幾何学的な関係」は位置、太さ、向きなどを含む。即ち、実体物としてのハンドル２に対する操作物としての指の位置、太さ、向きなどに基づいて、操作物である指が検出される。

別の例では、操作物の見え方の制約は、実体物上に操作物が位置する状態において、実体物と操作物のそれぞれの光の反射特性による見え方の差に起因して生じる制約である。本実施例では前述のようにハンドル２は黒色に近い暗い色を有しており、黒色のハンドル２上に位置する、白色に近い（明るい）領域を操作物である指として検出することができる。

図６は、操作物検出処理のフローチャートである。まず、操作物検出部１２は、撮影画像から検出基準領域ＤＡ内の各ピクセルの輝度値を抽出し、各ピクセルにおける輝度値勾配の強度と方向を求めることにより、検出基準領域ＤＡを横切る直線を抽出する（ステップＳ２１）。なお、あるピクセルにおける輝度値勾配とは、そのピクセルを中心としそのピクセルに隣接する複数のピクセルの輝度値が作る勾配をいう。検出基準領域ＤＡを横切る直線の例を図７（Ａ）に示す。

次に、操作物検出部１２は、抽出された１つの直線を構成する複数のピクセルについて、輝度値勾配の強度及び方向を集計する（ステップＳ２２）。そして、その直線を構成する複数のピクセルについて、そのピクセルにおける輝度値勾配の強度が予め決められた所定値よりも強く、かつ、その輝度値勾配の方向がその直線と概ね直交しているものが所定割合以上存在する場合に（ステップＳ２３：Ｙｅｓ）、その直線を操作物の境界候補とする（ステップＳ２４）。操作物の境界候補は、具体的にはハンドル２を横切る指又は手などの操作物の左右の境界線に相当する。

なお、操作物の境界候補は、検出基準領域ＤＡにおいてその境界候補の左右の領域のいずれが明るくいずれが暗いかにより２種類に区別される。具体的には、ステップＳ２４では、１つの直線が、図７（Ｂ）に示すように、左側が暗く右側が明るい左側境界候補３１と、左側が明るく右側が暗い右側境界候補３２のうちのいずれかであるかが検出される。こうして、ステップＳ２１で抽出された全ての横切る直線についてステップＳ２２〜Ｓ２４の処理が実行され、境界候補が抽出される。

次に、操作物検出部１２は、左側境界候補３１と右側境界候補３２のペアを操作物候補とし、ステップＳ２２〜Ｓ２５で抽出された全ての境界候補から、全ての操作物候補を特定する（ステップＳ２６）。ここで、操作物候補は、左側境界候補３１と右側境界候補が左側からこの順で並んでいるペアを特定する。言い換えると、左側境界候補３１と、その右側に位置する右側境界候補３２とのペアを特定する。操作物候補は、図７（Ｃ）に示すように、２つの境界候補の内側が明るく、外側が暗いという組み合わせであり、暗い色のハンドル２上に置かれた指などの操作物と推測することができる。

次に、操作物検出部１２は、その操作物候補の幅（即ち、明るい部分の幅）が操作物（利用者の指又は手）として適切と考えられる場合、その操作物候補を操作物として検出する（ステップＳ２８）。なお、操作物候補を操作物と決定する条件として、その操作物候補を形成する２つの境界候補がほぼ平行であることを追加してもよい。

図７（Ｃ）の例では操作物候補３５、３６が存在する。この場合、操作物候補３５は一般的な人間の指の幅に相当するので操作物（指）として検出される。一方、操作物候補３６は一般的な人間の指の幅より狭いので、操作物（指）として検出されない。

こうして、全ての操作物候補についてステップＳ２７〜Ｓ２９の処理が行われると（ステップＳ２９：Ｙｅｓ）、撮影画像に含まれる全ての操作物（指／手）が検出されたこととなる。

（３．操作物状態推定処理）
次に、操作物状態推定部１３は操作物状態推定処理を行う（ステップＳ１３）。操作物状態推定処理は、操作物検出部１２が検出した操作物の状態、具体的には指又は手の形状を推定する。操作物の状態は、利用者により入力された操作命令に対応するものである。操作物の状態の推定には２つの方法がある。

（１）第１の方法
第１の方法は、操作物の状態として、単純に検出された指の情報を使うものである。例えば、操作物状態推定部１３は、操作物の状態として、検出された指の本数、即ち操作のためにハンドル２上に出された「指本数」を推定する。この場合、指本数が操作命令に対応することになる。

これに加えて、検出された複数の指の間の距離（指の開き方）、ハンドル２に対する指の位置（例えば、ハンドル２のなす円弧上の何度の位置に指が存在するか）、角度（例えば、ハンドル２の中心と、指を検出した位置のハンドル外周とを結ぶ基準線に対する、指の境界線のなす角度）などを操作命令に対応する操作物の状態として使用してもよい。

なお、操作物状態推定部１３は、カメラ５からの撮影画像に含まれる複数のフレーム間で、指などの操作物の位置を対応つける処理も行う。これにより、撮影画像のフレーム間での手の動きを操作物の状態として使用することができる。

（２）第２の方法
第２の方法は、操作物の状態として手全体の形状（以下、「手形状」と呼ぶ。）を使用する。例えば図８に示す手形状Ａ〜Ｄをそれぞれ操作命令に対応付ける。操作物状態推定部１３は、操作物検出部１２により検出された操作物（手）が手形状Ａ〜Ｄのいずれかを示しているかを判定する。

上述の操作物検出処理では、検出基準領域ＤＡ（ハンドル２上）のみで操作物を検出しているので、それだけで手形状を判定することは難しい。例えば、図８に示す手形状Ａと手形状Ｂは、検出基準領域ＤＡにおいてはいずれも図９（Ｂ）に示すような検出結果が得られ、両者を区別することは難しい。そのため、手形状を推定するために以下のような処理を行う。

まず、操作物状態推定部１３は、判定したい手形状の中から、現在、検出基準領域ＤＡ上で検出された指形状を含むもののみを抽出する。いま手形状Ａ〜Ｄのみを使用するものと仮定すると、検出基準領域ＤＡ上で検出した操作物の形状が図９（ａ）の形状であれば、検出された操作物の手形状は手形状Ｃか手形状Ｄと推定することができ、手形状Ａ及び手形状Ｂを除外することができる。

次に、操作物状態推定部１３は、検出基準領域ＤＡ上で検出した操作物の見え方の特徴を抽出する。具体的には、操作物状態推定部１３は、色情報（肌の色）を抽出する。色によって手を検出する方法は、外光などの撮影環境によって肌色の見え方が変わる場合があるので、様々な環境下で必ずしも安定して利用できる方法ではない。しかし、この場合は、操作物検出部１２が色情報よりも適切な別の条件、即ち、検出基準領域ＤＡにおける操作物（指／手）の見え方の制約（具体的には、操作物がハンドル２に重なっているか否かなど）に基づいて操作物を検出しているため、操作物状態推定部１３は色情報（肌の色）によって指や手を検出する必要はない。逆に、操作物検出部１２により検出された操作物（指／手）の領域から色情報又は輝度情報を抽出すれば、操作物状態推定部１３はその時点でのその人物の肌の色の見え方を正確に取得することができる。よって、操作物状態推定部１３は、操作物検出部１２により操作物（指／手）と検出された領域の色情報又は輝度情報から、その人物の肌色の見え方を取得する。

次に、操作物状態推定部１３は、取得した色情報又は輝度情報を用いて、撮影画像から検出基準領域ＤＡ以外の操作物領域（手領域）を検出する。具体的には、撮影画像中の検出基準領域ＤＡ近傍において、先に取得された操作物（指／手）の色と同じ又は近い色又は輝度を有する領域を、操作物領域（手領域）として抽出する。この際、操作物状態推定部１３は、検出基準領域ＤＡに操作物（指／手）が存在しない状態での撮影画像との相関を用いて、検出基準領域ＤＡ以外の操作物領域を検出することが好ましい。

次に、操作物状態推定部１３は、検出基準領域内で検出された操作物領域(手領域）と、検出基準領域外で検出された操作物領域（手領域）とを合わせて形成される手形状が、図８に示す手形状Ａ〜Ｄのいずれかに当てはまるか否かを判定する。この場合、操作物状態推定部１３は、単純な重ね合わせによる形状マッチング処理により、手形状を判定することができる。なお、操作物状態推定部１３は、検出基準領域内で検出された手領域に対して、検出基準領域外で検出された手領域よりも高い重みをつけて、形状マッチング処理を行うこととしてもよい。

こうして、操作物状態推定部１３は、第１の方法及び第２の方法を実行することにより、操作命令に対応する操作物の状態（指本数、手形状など）を推定する。

（４．操作決定処理）
次に、操作決定部１４は、操作決定処理を行う（ステップＳ１４）。具体的には、操作決定部１４は、操作物状態推定部１３の推定結果に基づいて、利用者が入力した操作命令を特定する。前述のように、操作物の状態（指本数、手形状など）は、予め決められた操作命令に対応付けられている。よって、操作決定部１４は、操作物状態推定部１３が推定した操作物の状態に対応する操作命令を、利用者が入力した操作命令と判定し、その操作命令に対応する操作信号を出力する。

例えば、操作物状態推定部１３が、撮影画像中のあるフレームにおいて、それより前のフレームでは検出されなかった特定の手形状を検出したときに、操作決定部１４は、その手形状に対応する操作命令の操作信号を１回出力する。また、操作物である指の位置が前のフレームでの位置に対して変化したことを操作物状態推定部１３が検出したときに、操作決定部１４はその移動量を操作信号として出力する。例えば、ある時点で指１本がハンドル上の角度０度の位置にあり、次の時点でその指１本がハンドル上の角度３度の位置にあったことを操作物状態推定部１３が推定した場合、操作決定部１４は、その２つの時点の間で指が左から右に３度に相当する距離移動したものと判定し、その移動量に対応する操作信号を出力する。また、操作状態推定部１３が上記の手形状Ａ〜Ｄのいずれかを検出した場合、操作決定部１４はその手形状に対応する操作命令を出力する。

以上のように、操作認識処理部１０は、利用者が検出基準領域において、指／手などの操作物を利用して行った操作入力を解釈し、それに対応する操作信号を出力することができる。

[ハンドルを利用する利点]
上記の実施例では、車両のハンドルを検出基準領域とし、その上で指又は手を操作物として使用して操作入力を行う。これは以下のような利点を有する。

（１）ハンドルは自動車の車種を問わずほぼ形状・位置が決まっており、固定配置されているため、カメラによって検出しやすい。

（２）ハンドル上に検出基準領域を設定することにより、操作物の検出を簡単に行うことができる。これは指の見え方を限定できるためである。即ち、ハンドルをよりどころにすることにより、空中の自由な位置で指差しジェスチャをさせる場合と比較して、利用者が指を出す範囲を限定しやすい。

（３）ハンドル上で検出した操作物の情報を確実性の高い情報として使うことにより、ハンドル上以外（ハンドルの外側の領域）に渡る手の形状も高精度で検出することができる。また、ハンドル上で検出した操作物の情報から、操作物の見た目の情報（例えばその時の肌の色あるいは輝度）を抽出し、ハンドル上以外の領域からの操作物領域の検出に使うことができる。これにより、操作物領域の検出精度を上げることができる。

（４）ハンドル上で利用者がジェスチャを行う方法は、ハンドル脇やシフトレバー付近でジェスチャを行う方法と比較して、ヘッドアップディスプレイ（ＨＵＤ）のような、前方に像を表示するタイプの表示装置と組み合わせて使用するのに適している。これは、利用者が前方に表示された像を見ながら、その方向を指差す形のインターフェースを実現できるためである。

[変形例]
ハンドル以外に、ダッシュボードの縁、ハンドル周りのレバーなど、ハンドルと同様に見え方が想定できる車内構造物を利用して検出基準領域を設定することができる。

２ ハンドル
５ カメラ
１０ 操作認識処理部
１１ 検出基準領域決定部
１２ 操作物検出部
１３ 操作物状態推定部
１４ 操作決定部

Claims (9)

1. 操作入力を行う操作入力装置であって、
   移動体の運転席付近を撮影するカメラにより撮影された撮影画像において、前記運転席付近に設置された実体物の一部分を検出基準領域として決定する決定手段と、
   前記撮影画像中の前記検出基準領域において、前記操作入力に使用される操作物によって遮蔽されていない領域に基づき、前記操作物を検出する検出手段と、
   検出された前記操作物に基づいて前記操作入力を特定する特定手段と、
   を備えることを特徴とする操作入力装置。
2. 前記検出手段は、前記実体物上に前記操作物が位置する状態において、前記実体物が前記操作物を遮蔽することで生じる幾何学的な関係に基づき前記操作物を検出することを特徴とする請求項１に記載の操作入力装置。
3. 前記検出手段は、前記実体物上に前記操作物が位置する状態において、前記実体物と前記操作物のそれぞれの光の反射特性による見え方の差に基づき前記操作物を検出することを特徴とする請求項１又は２に記載の操作入力装置。
4. 検出された前記操作物の状態を推定する推定手段をさらに備え、
   前記特定手段は、推定された前記操作物の状態に基づいて前記操作入力を特定し、当該操作入力に対応する操作信号を前記装置へ出力することを特徴とする請求項１乃至３のいずれか一項に記載の操作入力装置。
5. 前記推定手段は、前記操作物の検出結果に基づいて、前記操作物の状態として、前記操作物の形状を推定することを特徴とする請求項４に記載の操作入力装置。
6. 前記推定手段は、検出された前記操作物の輝度あるいは色の少なくとも一方の特徴を抽出し、その特徴に当てはまる領域を検出することにより、前記操作物の領域を検出して前記操作物の形状を推定することを特徴とする請求項５に記載の操作入力装置。
7. 操作入力を行う操作入力装置により実行される操作入力方法であって、
   移動体の運転席付近を撮影するカメラにより撮影された撮影画像において、前記運転席付近に設置された実体物の一部分を検出基準領域として決定する決定工程と、
   前記撮影画像中の前記検出基準領域において、前記操作入力に使用される操作物によって遮蔽されていない領域に基づき、前記操作物を検出する検出工程と、
   検出された前記操作物に基づいて前記操作入力を特定する特定工程と、
   を備えることを特徴とする操作入力方法。
8. 操作入力を行う操作入力装置により実行される操作入力プログラムであって、
   移動体の運転席付近を撮影するカメラにより撮影された撮影画像において、前記運転席付近に設置された実体物の一部分を検出基準領域として決定する決定工程と、
   前記撮影画像中の前記検出基準領域において、前記操作入力に使用される操作物によって遮蔽されていない領域に基づき、前記操作物を検出する検出工程と、
   検出された前記操作物に基づいて前記操作入力を特定する特定工程と、
   を前記操作入力装置に実行させることを特徴とする操作入力プログラム。
9. 請求項８に記載の操作入力プログラムを記憶したことを特徴とする記憶媒体。

Images