JP2016155407A - ジェスチャ判定装置 - Google Patents

Abstract

【課題】ステアリングを把持した状態から行われたジェスチャの判定精度を向上させたジェスチャ判定装置を提供する。【解決手段】このジェスチャ判定装置１は、図１（ａ）及び図１（ｂ）に示すように、操作者が車両５のステアリング５０を除く操作装置を操作したことによって操作装置を操作した操作者の手が含まれない状態で撮像された、当該手により把持されるステアリング５０の一部を含む領域の画像に基づいて、当該領域において行われたジェスチャを判定するための背景画像１２０を生成する背景画像生成部１２を備えて概略構成されている。【選択図】図１

Description

本発明は、ジェスチャ判定装置に関する。

従来の技術として、車両を操舵するためのステアリングに連なるスポークの少なくとも一部を含む所定の検出領域を撮像するカメラと、カメラの撮像データに基づいて運転者の手の形状および／または手の動きを抽出する抽出手段と、抽出手段により抽出された手の形状および／または手の動きに対応するハンドコマンドを判定する判定手段と、判定手段により判定されたハンドコマンドを実行させる実行手段と、を有するコマンド入力装置が知られている（例えば、特許文献１参照。）。

このコマンド入力装置は、ステアリング操作時には握らないスポークにハンドコマンドの入力位置、すなわち検出領域を設定することにより、コマンド入力とステアリング操作とを確実に区別することができるので、ステアリング操作時の手の形状を誤ってハンドコマンドとして判断することがなく、ハンドコマンドを正確に認識することができる。

特開２００６−２９８００３号公報

従来のコマンド入力装置は、コマンド入力とステアリング操作とを区別することが困難なので、ハンドコマンドの認識を正確にするため、ステアリング操作時には把持しないスポークに検出領域を限定している。しかし、操作者がステアリングを把持した状態からジェスチャを行えることが操作性の観点から好ましい。

従って、本発明の目的は、ステアリングを把持した状態から行われたジェスチャの判定精度を向上させたジェスチャ判定装置を提供することにある。

本発明の一態様は、操作者が車両のステアリングを除く操作装置を操作したことによって操作装置を操作した操作者の手が含まれない状態で撮像された、手により把持されるステアリングの一部を含む領域の画像に基づいて、領域において行われたジェスチャを判定するための背景画像を生成する背景画像生成部を備えたジェスチャ判定装置を提供する。

本発明によれば、ステアリングを把持した状態から行われたジェスチャの判定精度を向上させることができる。

図１（ａ）は、第１の実施の形態に係るジェスチャ判定装置が搭載された車両内部の概略図であり、図１（ｂ）は、ジェスチャ判定装置のブロック図の一例である。 図２（ａ）は、第１の実施の形態に係るジェスチャ判定装置の撮像領域の一例を示す概略図であり、図２（ｂ）は、撮像領域を撮像部側から見た概略図である。 図３（ａ）及び図３（ｃ）は、第１の実施の形態に係るジェスチャ判定装置が判定可能なジェスチャの一例を示す概略図であり、図３（ｂ）及び図３（ｄ）は、背景画像との差分画像の一例を示す概略図である。 図４は、第１の実施の形態に係るジェスチャ判定装置の動作の一例を示すフローチャートである。 図５（ａ）は、第２の実施の形態に係るジェスチャ判定装置が背景画像の生成の条件とする操舵角を説明するためのステアリングの概略図であり、図５（ｂ）は、ジェスチャ判定装置を含む車両通信システムの一例を示すブロック図である。 図６は、第２の実施の形態に係るジェスチャ判定装置の動作の一例を示すフローチャートである。

（実施の形態の要約）
実施の形態に係るジェスチャ判定装置は、操作者が車両のステアリングを除く操作装置を操作したことによって操作装置を操作した操作者の手が含まれない状態で撮像された、手により把持されるステアリングの一部を含む領域の画像に基づいて、領域において行われたジェスチャを判定するための背景画像を生成する背景画像生成部を備えて概略構成されている。

[第１の実施の形態]
（ジェスチャ判定装置１の構成）
図１（ａ）は、第１の実施の形態に係るジェスチャ判定装置が搭載された車両内部の概略図であり、図１（ｂ）は、ジェスチャ判定装置のブロック図の一例である。図２（ａ）は、第１の実施の形態に係るジェスチャ判定装置の撮像領域の一例を示す概略図であり、図２（ｂ）は、撮像領域を撮像部側から見た概略図である。なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図１（ｂ）及び後述する図５（ｂ）では、主な信号や情報の流れを矢印で示している。

ジェスチャ判定装置１は、例えば、操作者によってステアリング５０を把持した状態から行われたジェスチャを判定し、電磁気的に接続された電子機器に、ジェスチャに基づく指示を与えるように構成されている。このステアリング５０を把持した状態から行われたジェスチャとは、例えば、ステアリング操作に支障がないようにステアリング５０を把持した状態の延長、つまり把持したステアリング５０から大きく離れることなくなされたジェスチャを示している。

このジェスチャ判定装置１は、図１（ａ）及び図１（ｂ）に示すように、操作者が車両５のステアリング５０を除く操作装置を操作したことによって操作装置を操作した操作者の手が含まれない状態で撮像された、当該手により把持されるステアリング５０の一部を含む領域の画像に基づいて、当該領域において行われたジェスチャを判定するための背景画像１２０を生成する背景画像生成部１２を備えて概略構成されている。

またジェスチャ判定装置１は、領域を撮像する撮像部１０と、背景画像生成部１２が生成した背景画像１２０と領域の画像との差分に基づいてジェスチャを判定するジェスチャ判定部１４と、操作装置が操作されたことを示すトリガ信号Ｓ_５を取得し、取得したトリガ信号Ｓ_５に基づいて背景画像１２０となる領域の画像を生成するように撮像部１０を制御する制御部１６と、を備えている。

上述の領域とは、一例として、図２（ａ）及び図２（ｂ）に示すように、撮像部１０が撮像する撮像領域１００である。またステアリング５０を除く操作装置とは、例えば、操作者がステアリング５０を把持する手を離して操作するものである。撮像領域１００が、図２（ａ）に示すように、ステアリング５０を把持する左手を撮像するように設定されている場合、操作者の左側に位置して左手で操作される、空調装置、ナビゲーション装置、音楽及び映像再生装置等の操作装置の操作に応じて撮像領域１００が撮像される。この操作装置は、一例として、スタートスイッチ５２及びシフト装置５３である。撮像部１０は、スタートスイッチ５２及びシフト装置５３が操作される際には、左手がステアリング５０から離れているので、手が写り込まないステアリング５０のみの撮像領域１００を撮像することが可能である。

ここでステアリング５０は、図２（ａ）及び図２（ｂ）に示すように、ステアリング５０の中央部分である中央部５００と、中央部５００から径方向に突出するスポーク５０１〜スポーク５０３と、スポーク５０１〜スポーク５０３と連結され、リング形状を有するリング５０４と、を備えて構成されている。

操作者は、例えば、図２（ａ）に示すように、スポーク５０１の上側のリング５０４の把持領域５０５とスポーク５０２の上側のリング５０４の把持領域５０６、又はスポーク５０１の下側のリング５０４の把持領域５０７とスポーク５０２の下側のリング５０４の把持領域５０８を把持してステアリング５０を操作する場合が、他の領域を把持して操作する場合に比べて安定して操作することができると考えられる。本実施の形態のジェスチャ判定装置１は、操作者の左手によるジェスチャを判定するので、スポーク５０１の上下に位置する把持領域５０５及び把持領域５０７を把持している左手のジェスチャを判定するように構成されている。

またスタートスイッチ５２は、例えば、図１（ａ）に示すように、ステアリング５０の左側のコラムカバー５１の近傍に配置されている。このスタートスイッチ５２は、例えば、なされたプッシュ操作とシフト装置５３のシフトレバー５３０の操作位置に応じて、ＯＦＦ（エンジン及び電源をオフする操作）、ＡＣＣ（一部の電子機器が使えるようにする操作）、ＳＴＡＲＴ（エンジンを始動させる操作）等の操作が可能となっている。スタートスイッチ５２は、操作に応じて後述するスイッチ信号Ｓ_６を出力するように構成されている。

さらにシフト装置５３は、例えば、運転席５９に着座する操作者の左側に配置されている。このシフト装置５３は、シフトレバー５３０を備えている。シフトレバー５３０は、例えば、Ｐポジション（駐車及びエンジンを始動させる操作位置）、Ｒポジション（後進させる操作位置）、Ｎポジション（エンジンの動力が車輪に伝達されない操作位置）、Ｄポジション（動力が伝達されて走行可能な操作位置）等の操作位置に操作可能に構成されている。シフト装置５３は、シフトレバー５３０の操作位置に応じた後述するシフト情報Ｓ_７を出力するように構成されている。

このスタートスイッチ５２及びシフト装置５３は、上述したように、操作者の左側に配置されているので、この操作装置を操作する際には、ステアリング５０から左手を離して操作される。従ってジェスチャ判定装置１は、スタートスイッチ５２及びシフト装置５３から出力されるスイッチ信号Ｓ_６及びシフト情報Ｓ_７に基づいたトリガ信号Ｓ_５に応じて撮像領域１００を撮像することで、ステアリング５０が把持されていない状態で撮像領域１００を撮像することが可能となる。

（撮像部１０の構成）
撮像部１０は、一例として、図１（ａ）に示すように、ステアリング５０に連結されたステアリングシャフトのカバーであるコラムカバー５１に配置されている。なお撮像部１０の配置は、コラムカバー５１に限定されず、車両５の天井６０等の撮像領域１００と同等の領域を撮像可能な場所であっても良い。

この撮像部１０は、一例として、ＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）及びＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）等の固体撮像素子を備えたカメラである。

撮像部１０は、例えば、図１（ｂ）に示すように、制御部１６から出力される制御信号Ｓ_１に従って撮像領域１００を撮像する。撮像部１０は、例えば、撮像領域１００を撮像した画像の情報を撮像情報Ｓ_２として制御部１６に出力する。撮像部１０は、背景画像１２０が生成された後、周期的に撮像領域１００を撮像する。この撮像周期は、一例として、２００ｍｓである。

なお撮像部１０は、一例として、赤外線カメラとして構成され、赤外線により撮像領域１００を照明する照明部を備えていても良い。

撮像部１０が撮像する撮像領域１００は、図２（ａ）及び図２（ｂ）に示すように、把持領域５０５及び把持領域５０７が含まれると共に、リング５０４を把持した状態からなされたジェスチャが含まれる領域となる。

なお変形例として、撮像部１０は、例えば、距離画像センサを含んで構成されても良い。この距離画像センサによって撮像された画像は、例えば、撮像された物体までの距離の情報を有している。この変形例におけるジェスチャ判定部１４は、例えば、この距離の情報に基づいて、背景画像１２０と比較対象の画像との差分を求めてジェスチャを判定するように構成される。

（背景画像生成部１２の構成）
背景画像生成部１２は、撮像部１０が撮像した画像に基づいて、背景画像１２０を生成する。この背景画像１２０は、例えば、背景差分法における背景画像である。

この背景差分法とは、撮像した画像と背景画像とを比較することで、背景画像には存在しない物体を抽出する方法である。ジェスチャ判定装置１は、当該存在しない物体に基づいて、なされたジェスチャを判定する。

具体的には、背景差分法は、例えば、背景画像の画素ｎの画素値と、撮像された画像において、画素ｎに対応する画素の画素値と、の差を算出し、その差が設定されたしきい値より大きい場合、背景画像とは異なる画素とし、このしきい値より大きい画素が作る領域を、背景画像に存在しない物体として抽出する方法である。従ってジェスチャの判定精度を向上させるためには、把持されていないステアリング５０を含む背景画像を生成する必要がある。

背景画像生成部１２は、上述のように、操作者の左手がステアリング５０を把持していないタイミングで撮像された撮像情報Ｓ_２を取得し、この撮像情報Ｓ_２に基づいて背景画像１２０を生成する。

なお撮像された画像は、例えば、ステアリング５０の裏側からの画像であるため、ステアリング５０の他に運転席５９等が含まれている。背景画像生成部１２は、例えば、図２（ｂ）に示すように、撮像領域１００に含まれるステアリング５０を抽出して背景画像１２０とするように構成されている。また背景画像生成部１２は、ステアリング５０が中立位置から補正可能な範囲で回転していた場合、ステアリング５０を中立位置に補正して背景画像１２０を生成するように構成されても良いし、ジェスチャの判定が可能な範囲であれば、補正しないで背景画像１２０を生成しても良い。

背景画像生成部１２は、例えば、生成した背景画像１２０に基づいて背景画像情報Ｓ_３を生成し、制御部１６を介してジェスチャ判定部１４に出力する。

（ジェスチャ判定部１４の構成）
図３（ａ）及び図３（ｃ）は、第１の実施の形態に係るジェスチャ判定装置が判定可能なジェスチャの一例を示す概略図であり、図３（ｂ）及び図３（ｄ）は、背景画像との差分画像の一例を示す概略図である。

ジェスチャ判定部１４は、図１（ｂ）に示すように、背景画像１２０と、パターン情報１４０と、を有している。背景画像１２０は、背景画像生成部１２から取得した背景画像情報Ｓ_３に基づいた画像である。

パターン情報１４０は、ジェスチャ判定部１４が判定する、複数のジェスチャのパターンの情報である。

本実施の形態では、一例として、図３（ａ）及び図３（ｃ）に示すように、ステアリング５０を把持した状態からなされる人差指９２を立てるジェスチャ、及び手９を開くジェスチャについて説明する。この人差指９２を立てるジェスチャは、一例として、「Ｙｅｓ」を示すジェスチャである。また手９を開くジェスチャは、一例として、「Ｎｏ」を示すジェスチャである。例えば、ジェスチャ判定装置１が接続された電子機器が、ある機能の実行を許可する（Ｙｅｓ）か否（Ｎｏ）かを操作者に質問した場合、操作者は、人差指９２を立てるジェスチャ、又は手９を開くジェスチャを行うことにより、質問に対して応答することが可能となる。

操作者は、「Ｙｅｓ」の意思表示を行うため、図３（ａ）に示すように、把持領域５０５のステアリング５０のリング５０４を、親指９１、中指９３、薬指９４及び小指９５を用いて把持しつつ人差指９２を立てる。この場合、撮像部１０によって撮像される画像と図２（ｂ）の背景画像１２０との差分画像１４５は、図３（ｂ）に示すように、ステアリング５０の画像が差分を取ることにより消去されるので、手９のみの画像である残画像１４６となる。従ってジェスチャ判定部１４は、主に、この差分画像１４５の残画像１４６とパターン情報１４０のパターンとを比較し、「Ｙｅｓ」を示すジェスチャであると判定する。

操作者は、「Ｎｏ」の意思表示を行うため、図３（ｃ）に示すように、把持領域５０５において、親指９１、人差指９２、中指９３、薬指９４及び小指９５を開く。この場合、撮像部１０によって撮像される画像と図２（ｂ）の背景画像１２０との差分画像１４５は、図３（ｄ）に示すように、ステアリング５０の画像が消去されるので、手９のみの画像である残画像１４６となる。従ってジェスチャ判定部１４は、主に、この差分画像１４５の残画像１４６とパターン情報１４０のパターンとを比較し、「Ｎｏ」を示すジェスチャであると判定する。

なおジェスチャ判定部１４は、ステアリング５０から離れたジェスチャであっても、撮像領域１００内で行われたジェスチャであれば、判定することができるように構成されている。

また変形例としてジェスチャ判定部１４は、背景画像１２０と比較対象の画像とを２値化して差分を求めるように構成されても良い。

（制御部１６の構成）
制御部１６は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工等を行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等から構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部１６が動作するためのプログラムが格納されている。ＲＡＭは、例えば、一時的に演算結果等を格納する記憶領域として用いられる。

制御部１６は、入力するトリガ信号Ｓ_５に基づいて撮像部１０を制御し、背景画像１２０となる画像を撮像させるように構成されている。また制御部１６は、例えば、周期的に制御信号Ｓ_１を生成して撮像部１０に撮像領域１００を撮像させ、撮像された画像に基づいてジェスチャ判定部１４にジェスチャの判定を行わせるように構成されている。

また制御部１６は、ジェスチャ判定部１４が判定したジェスチャの結果を示すジェスチャ情報Ｓ_４を、接続された電子機器に出力するように構成されている。

以下に、本実施の形態に係るジェスチャ判定装置１の動作について、図４のフローチャートに従って説明する。

（動作）
ジェスチャ判定装置１の制御部１６は、操作者がスタートスイッチ５２又はシフト装置５３を操作したことにより出力されたトリガ信号Ｓ_５が入力すると（Ｓ１）、制御信号Ｓ_１を生成して撮像部１０に出力し、撮像領域１００を撮像部１０に撮像させる（Ｓ２）。撮像部１０は、撮像領域１００を撮像して生成した撮像情報Ｓ_２を、制御部１６を介して背景画像生成部１２に出力する。

背景画像生成部１２は、取得した撮像情報Ｓ_２に基づいて背景画像１２０を生成する（Ｓ３）。背景画像生成部１２は、生成した背景画像１２０に基づいて背景画像情報Ｓ_３を生成し、制御部１６を介してジェスチャ判定部１４に出力する。ジェスチャ判定部１４は、取得した背景画像情報Ｓ_３に基づいて背景画像１２０を記憶する。

制御部１６は、背景画像１２０が生成された後、周期的に制御信号Ｓ_１を撮像部１０に出力する。撮像部１０は、制御信号Ｓ_１に基づいて、周期的に撮像領域１００を撮像し（Ｓ４）、撮像情報Ｓ_２を出力する。

制御部１６は、撮像情報Ｓ_２を取得すると、ジェスチャ判定部１４に出力する。ジェスチャ判定部１４は、取得した撮像情報Ｓ_２に基づいた画像と背景画像１２０とに基づいて差分画像１４５を生成する（Ｓ５）。

ジェスチャ判定部１４は、生成した差分画像１４５とパターン情報１４０に基づいたパターンとを比較し（Ｓ６）、ジェスチャが行われたか否かを判定する。

ジェスチャ判定部１４は、ジェスチャが行われたと判定した場合（Ｓ７：Ｙｅｓ）、判定されたジェスチャに基づいたジェスチャ情報Ｓ_４を生成して制御部１６を介して接続された電子機器に出力する（Ｓ８）。

ここで、ステップ７において、制御部１６は、ジェスチャ判定部１４が、ジェスチャが行われていないと判定した場合（Ｓ７：Ｎｏ）、ステップ４に処理を進めて次の周期の撮像を制御する。なおジェスチャ判定装置１は、例えば、これらの処理を車両５の電源供給が遮断されるまで継続して行う。

（第１の実施の形態の効果）
本実施の形態に係るジェスチャ判定装置１は、ステアリングを把持した状態から行われたジェスチャの判定精度を向上させることができる。具体的には、ジェスチャ判定装置１は、操作者の左手がステアリング５０を把持していない状態の背景画像１２０を車両５の走行前ごとに安定して生成することができるので、比較される画像との差が明確になり、ジェスチャの判定精度が向上する。例えば、背景画像が車両に予め登録されていた場合、ステアリングの表面の経年劣化による変化、ステアリングに取り付けられたカバー等により、比較対象の画像のステアリングの状態が背景画像から変化し、精度の高いジェスチャの判定が困難となる。しかしジャスチャ判定装置１は、操作者の手が含まれない背景画像１２０を、スタートスイッチ５２やシフト装置５３の操作に応じて、走行前ごとに更新することができるので、比較対象の画像に含まれるステアリング５０と同じ状態のステアリング５０を含む背景画像１２０を生成し、この背景画像１２０に基づいてジェスチャを判定するので、予め背景画像が登録されている場合と比べて、ジェスチャの判定精度を向上させることができる。

ジェスチャ判定装置１は、スタートスイッチ５２やシフト装置５３のような、車両５の走行前に操作する操作装置の操作に基づいて背景画像１２０を生成するので、比較対象の画像に含まれるステアリング５０と背景画像１２０に含まれるステアリング５０との差が小さく、精度の高い差分画像１４５を得て、ジェスチャの精度の高い判定を行うことができる。

ジェスチャ判定装置１は、ステアリング５０を把持した状態からなされたジェスチャを高い精度で判定することができるので、ステアリングを把持した手とジェスチャとの区別が困難な場合と比べて、ジェスチャをステアリング５０から大きく離れた位置で行う必要がなく、操作性が高い。またジェスチャ判定装置１は、手が含まれない背景画像１２０を生成するので、撮像領域１００内においてなされたジェスチャを精度良く判定することができる。

なお変形例として、ジェスチャ判定装置１は、スポーク５０２の上下の把持領域５０６と把持領域５０８を含む撮像領域１００を撮像し、右手のジェスチャを判定するように構成されても良い。

［第２の実施の形態］
第２の実施の形態は、上述の操作装置が操作され、かつステアリング５０の操舵角が予め定められた操舵角内であった場合に背景画像１２０を生成する点で第１の実施の形態と異なっている。

図５（ａ）は、第２の実施の形態に係るジェスチャ判定装置が背景画像の生成の条件とする操舵角を説明するためのステアリングの概略図であり、図５（ｂ）は、ジェスチャ判定装置を含む車両通信システムの一例を示すブロック図である。なお以下に記載する実施の形態において、第１の実施の形態と同じ機能及び構成を有する部分は、第１の実施の形態と同じ符号を付し、その説明は省略するものとする。

本実施の形態のジェスチャ判定装置１の背景画像生成部１２は、車両５のステアリング５０の操舵角θが予め定められた角度範囲内である場合に操作者がステアリング５０を除く操作装置を操作したことによって操作装置を操作した操作者の手が含まれない状態で撮像された、当該手により把持されるステアリングの一部を含む領域の画像に基づいて、領域において行われたジェスチャを判定するための背景画像を生成するように構成されている。

操舵角θは、図５（ａ）に示すように、中立位置５０９からのステアリング５０の回転角である。操舵角θは、図５（ａ）の紙面において、中立位置５０９から右方向に操作された場合を正とし、中立位置５０９から左方向に操作された場合を負としている。この中立位置５０９とは、車両５が直進する際のステアリング５０の操作位置である。

車両通信システム５１０は、一例として、図５（ｂ）に示すように、車両制御部５５と、スタートスイッチ５２と、シフト装置５３と、操舵角センサ５６と、電子機器５７と、車両ＬＡＮ（Local Area Network）５８と、を備えている。

車両制御部５５は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭ等から構成されるマイクロコンピュータである。車両制御部５５は、例えば、スタートスイッチ５２から取得したスイッチ信号Ｓ_６、シフト装置５３から取得したシフト情報Ｓ_７に基づいてトリガ信号Ｓ_５を生成する。また車両制御部５５は、例えば、操舵角センサ５６から取得した操舵角情報Ｓ_８に基づいて車両情報Ｓ_９を生成する。

操舵角センサ５６は、ステアリング５０の操舵角θを検出するセンサである。操舵角センサ５６は、検出した操舵角θに応じた操舵角情報Ｓ_８を生成する。

電子機器５７は、ジェスチャ判定装置１から出力されたジェスチャ情報Ｓ_４によって指示された機能を実行するものである。この電子機器５７は、一例として、車両５に搭載された空調装置、ナビゲーション装置、音楽及び映像再生装置等である。

この車両ＬＡＮ５８は、ジェスチャ判定装置１とスタートスイッチ５２等との情報や信号の相互交換を可能とするように構成されている。

ジェスチャ判定装置１の制御部１６は、予め定められた角度範囲を示すしきい値１６０を有している。この予め定められた角度範囲は、一例として、−２０°≦θ≦＋２０°が好ましく、−１０°≦θ≦＋１０°がより好ましい。

制御部１６は、取得した操舵角情報Ｓ_８としきい値１６０とに基づいて、操舵角θが予め定められた角度範囲内であり、かつトリガ信号Ｓ_５が入力した場合、背景画像１２０を生成させるために撮像部１０に撮像領域１００を撮像させる。

以下に、本実施の形態のジェスチャ判定装置１の背景画像１２０を生成する動作について、図６のフローチャートに従って説明する。なおジェスチャ判定装置１によるジェスチャの判定に関する動作は、第１の実施の形態のステップ４からステップ８までの動作と同じである。

（動作）
ジェスチャ判定装置１の制御部１６は、車両情報Ｓ_９を取得すると、操舵角θがしきい値１６０以内であるか否かを判定する。制御部１６は、操舵角θがしきい値１６０に基づく予め定められた角度範囲内である場合（Ｓ１０：Ｙｅｓ）、つまりステップ１０の「Ｙｅｓ」が成立すると、続いてトリガ信号Ｓ_５を確認する。

制御部１６は、操作者がスタートスイッチ５２又はシフト装置５３を操作したことにより出力されたトリガ信号Ｓ_５が入力すると（Ｓ１１：Ｙｅｓ）、制御信号Ｓ_１を生成して撮像部１０に出力し、撮像領域１００を撮像部１０に撮像させる（Ｓ１２）。

撮像部１０は、撮像領域１００を撮像して生成した撮像情報Ｓ_２を、制御部１６を介して背景画像生成部１２に出力する。背景画像生成部１２は、取得した撮像情報Ｓ_２に基づいて背景画像１２０を生成し、背景画像１２０に基づく背景画像情報Ｓ_３を、制御部１６を介してジェスチャ判定部１４に出力し、背景画像１２０の生成動作を終了する。

ここでステップ１１において制御部１６は、トリガ信号Ｓ_５が入力しない場合、ステップ１０に戻って操舵角θを確認する。

（第２の実施の形態の効果）
本実施の形態のジェスチャ判定装置１は、ステアリング５０の操舵角θが予め定められた角度範囲内であり、かつ操作者の手が含まれない状態で撮像された画像に基づいて背景画像１２０を生成するので、操舵角が予め定められた角度範囲より大きい操舵角である状態で撮像された画像に基づいて背景画像が生成される場合と比べて、ステアリング５０が中立位置５０９に近い状態で背景画像１２０が生成されるので、精度の高い差分画像１４５が得られて、ジェスチャの判定精度がより高くなる。具体的には、操作者は、ステアリング５０を回転させている際にジェスチャを行うよりも、直進状態、つまりステアリング５０が中立位置５０９に近い安定した状態でジェスチャを行うことが多いと考えられる。従ってジェスチャ判定装置１は、ステアリング５０が中立位置５０９に近い状態にある背景画像１２０を生成するので、中立位置５０９に近い状態でなされたジェスチャを、高い精度で判定することができる。

またステアリングのリングが真円でない場合、ステアリングが中立位置から回転していると、中立位置からずれた状態の背景画像が生成され、その後のジェスチャの判定精度に影響を与える。本実施の形態のジェスチャ判定装置１は、ステアリング５０が中立位置５０９に近い状態における背景画像１２０を生成するので、高い精度でジェスチャの判定を行うことができる。

上述の実施の形態及び変形例に係るジェスチャ判定装置１は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）等によって実現されても良い。

以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…ジェスチャ判定装置、５…車両、９…手、１０…撮像部、１２…背景画像生成部、１４…ジェスチャ判定部、１６…制御部、５０…ステアリング、５１…コラムカバー、５２…スタートスイッチ、５３…シフト装置、５５…車両制御部、５６…操舵角センサ、５７…電子機器、５８…車両ＬＡＮ、５９…運転席、６０…天井、９１…親指、９２…人差指、９３…中指、９４…薬指、９５…小指、１００…撮像領域、１２０…背景画像、１４０…パターン情報、１４５…差分画像、１４６…残画像、１６０…しきい値、５００…中央部、５０１〜５０３…スポーク、５０４…リング、５０５〜５０８…把持領域、５０９…中立位置、５１０…車両通信システム、５３０…シフトレバー

Claims (4)

1. 操作者が車両のステアリングを除く操作装置を操作したことによって前記操作装置を操作した前記操作者の手が含まれない状態で撮像された、前記手により把持される前記ステアリングの一部を含む領域の画像に基づいて、前記領域において行われたジェスチャを判定するための背景画像を生成する背景画像生成部を備えたジェスチャ判定装置。
2. 前記領域を撮像する撮像部と、
   前記背景画像生成部が生成した前記背景画像と前記領域の画像との差分に基づいて前記ジェスチャを判定するジェスチャ判定部と、
   前記操作装置が操作されたことを示すトリガ信号を取得し、取得した前記トリガ信号に基づいて前記背景画像となる前記領域の画像を撮像するように前記撮像部を制御する制御部と、
   を備えた請求項１に記載のジェスチャ判定装置。
3. 前記制御部は、前記操作装置としての前記車両のシフト装置又はエンジンスタートスイッチが操作された際に出力される信号に基づいた前記トリガ信号に応じて前記撮像部を制御する、
   請求項２に記載のジェスチャ判定装置。
4. 車両のステアリングの操舵角が予め定められた角度範囲内である場合に操作者が前記ステアリングを除く操作装置を操作したことによって前記操作装置を操作した前記操作者の手が含まれない状態で撮像された、前記手により把持される前記ステアリングの一部を含む領域の画像に基づいて、前記領域において行われたジェスチャを判定するための背景画像を生成する背景画像生成部を備えたジェスチャ判定装置。

Images