JP2016088281A - 操作入力装置 - Google Patents

Abstract

【課題】ジェスチャを用いた操作入力において、操作者の意図通りに操作入力が行えているかを確認可能とすること。
【解決手段】操作入力装置１０は、ステアリングホイール２０周辺における動体のジェスチャを認識して操作対象機器３０への操作入力を受け付ける。また、複数の単位照明部がステアリングホイール２０の形状に沿って設けられており、動体のステアリングホイール周辺における動きに追従して点消灯する。動体が所定のジェスチャを行ったと識別され操作対象機器３０に制御信号が出力される場合には、操作入力の完了を示して照明装置１８が点灯する。
【選択図】図１

Description

本発明は、操作対象機器への操作入力を受け付ける操作入力装置に関する。

従来、操作者のジェスチャを認識して操作対象機器への操作入力を受け付ける操作入力装置が知られている。ジェスチャを用いた操作入力は、スイッチやボタン等の入力部を用いる操作入力と比較して、操作者の視線や注意を入力部に向けることなく行うことができるので、例えば車両に搭載された車載機器への操作入力等に有効である。
例えば、下記特許文献１は、予め定めた複数の操作対象機器に対応して設けられた複数のジェスチャ領域にそれぞれ異なる色の光を照射し、複数のジェスチャ領域を撮影した撮影結果からジェスチャ操作を検出する共に当該ジェスチャ操作されたジェスチャ領域を検出する。そして、検出されたジェスチャ領域に対応する操作対象機器に対して、検出されたジェスチャ操作に対応する予め定めた操作を行うように制御する。

また、例えば下記特許文献２では、撮影により操作者の動きを検出し、該動きに従って、表示画面上の操作を行わせる操作制御装置であって、撮像画面内における操作制御が可能な領域を設定し、該操作制御が可能な領域と、操作者の動きとを表示画面上に表示させるとともに、該操作制御が可能な領域内で動きを検出した場合に、該動きに対応して、表示画面上の操作表示を行わせる操作制御装置が開示されている。

特開２０１４−１５３９５４号公報 特開２０１４−０９６８０４号公報

従来技術にかかるジェスチャを用いた操作入力は、スイッチ等の物理的な入力部を用いた操作入力と異なり、操作入力に伴うフィードバック（特に入力過程におけるフィードバック）がないため、正常に入力できているかを操作者が知ることができないという課題がある。
また、上記特許文献２のようにジェスチャ認識空間の画像を表示画面上に表示する方法では、撮影画像を表示画面上に出力し、その上に動体の移動軌跡を重畳して表示しており、操作制御装置における処理が複雑になるという課題がある。
また、上記特許文献２のような方法では、操作入力の確認のために操作者がディスプレイを注視することになり、車両に設けられた車載機器を操作対象機器とする場合に、ジェスチャを用いた操作入力の実益が薄れるという課題がある。

本発明は、このような事情に鑑みなされたものであり、その目的は、ジェスチャを用いた操作入力において、操作者の意図通りに操作入力が行えているかを確認可能とすることにある。

上述の目的を達成するため、請求項１の発明にかかる操作入力装置は、車両のステアリングホイール周辺における動体のジェスチャを認識して操作対象機器への操作入力を受け付ける操作入力装置であって、前記ステアリングホイール周辺を連続的に撮影する撮影手段と、複数の単位照明部が前記ステアリングホイールの形状に沿って設けられ、前記単位照明部ごとに点消灯を制御可能な照明装置と、前記撮影手段によって撮影された撮影画像に基づいて、前記動体の前記ステアリングホイール周辺における動きに追従して前記照明装置を点消灯させる照明制御手段と、前記撮影画像に基づいて前記動体が所定のジェスチャを行ったか否かを識別し、前記所定のジェスチャを行った際に、前記所定のジェスチャに対応する動作を前記操作対象機器に行わせる制御信号を出力するジェスチャ識別手段と、を備えることを特徴とする。
請求項２の発明にかかる操作入力装置は、前記照明制御手段は、前記動体が前記所定のジェスチャを行ったと識別され前記操作対象機器に前記制御信号が出力される場合に、前記操作入力の完了を示して前記照明装置を前記動体の動きに関わらず点灯させる、ことを特徴とする。
請求項３の発明にかかる操作入力装置は、前記照明制御手段は、前記操作入力の完了を示す点灯を行う際に、前記制御信号が出力される前記操作対象機器の種類ごと、または前記操作対象機器に行わせる動作ごとに点灯する前記単位照明部の領域を変更する、ことを特徴とする。
請求項４の発明にかかる操作入力装置は、前記照明装置は複数色で点灯可能であり、前記照明制御手段は、前記動体の動きに追従して前記照明装置を点灯させる場合と、前記操作入力の完了を示して前記照明装置を点灯させる場合とで、前記照明装置の点灯色を変更する、ことを特徴とする。
請求項５の発明にかかる操作入力装置は、前記照明制御手段は、前記制御信号が出力される前記操作対象機器の種類ごと、または前記操作対象機器に行わせる動作ごとに前記点灯色を変更する、ことを特徴とする。
請求項６の発明にかかる操作入力装置は、前記ジェスチャ識別手段は、前記所定のジェスチャを、ジェスチャ動作と、当該ジェスチャ動作が行われた位置を示すジェスチャ領域とによって特定し、前記照明制御手段は、前記動体が前記ジェスチャ領域のいずれに位置するかによって点灯する前記単位照明部の領域を変更する、ことを特徴とする。
請求項７の発明にかかる操作入力装置は、前記照明装置は複数色で点灯可能であり、
前記ジェスチャ識別手段は、前記所定のジェスチャを、ジェスチャ動作と、当該ジェスチャ動作が行われた位置を示すジェスチャ領域とによって特定し、前記照明制御手段は、前記動体が前記ジェスチャ領域のいずれに位置するかによって前記点灯色を変更する、ことを特徴とする。
請求項８の発明にかかる操作入力装置は、前記ジェスチャ領域は、前記ステアリングホイール周辺の空間を前記ステアリングホイールの内周領域、前記ステアリングホイールの外縁領域、および前記外縁領域より上方の上方領域に分割した領域である、ことを特徴とする。

請求項１の発明によれば、車両のステアリングホイール周辺でジェスチャを認識して操作入力を受け付ける操作入力装置において、動体のステアリングホイール周辺における動きに追従して点消灯する照明装置を設けたので、操作入力のジェスチャが正しく認識されているかを操作者が把握することができ、操作入力装置の操作性を向上させることができる。また、操作者が正しいジェスチャを行いやすくなるので、操作入力装置における誤認識率を低減することができる。
請求項２の発明によれば、照明装置で操作入力の完了を示す点灯を行うので、操作入力装置が操作入力を認識したか否かを、操作者が確認することができ、操作入力装置に対する操作の確実性を向上させることができる。また、操作入力中の点灯形態（動体の動きに追従して点灯）と、操作入力の完了時の点灯形態（動体の動きに追従せずに点灯）を変更することによって、操作入力装置の操作認識状況を操作者が容易に把握することができる。

請求項３および５の発明によれば、操作対象機器の種類ごと、または操作対象機器に行わせる動作ごとに、点灯する単位照明部の領域または点灯する単位照明部の色を変更するので、操作入力の意図に沿った操作対象機器の動作が正しく実行されるかを操作者が把握することができる。
請求項４の発明によれば、操作入力中の点灯色と、操作入力の完了時の点灯色とを変更するので、操作入力装置の操作認識状況を操作者が容易に把握することができる。
請求項６および７の発明によれば、動体がジェスチャ領域のいずれに位置するかによって、点灯する単位照明部の領域または点灯する単位照明部の点灯色を変更するので、動体が位置する領域を操作入力装置で正しく認識しているかを操作者が容易に把握することができる。
請求項８の発明によれば、車両のステアリングホイールが基準となって、操作者がジェスチャを行うべき位置（ジェスチャ領域）を認識しやすくなり、ジェスチャ動作を容易かつ正確に行うことができる。

実施の形態にかかる操作入力装置１０の構成を示すブロック図である。 ステアリングホイール２０の正面図である。 照明装置１８の配置例を示す説明図である。 操作識別データベースＤＢの内容を模式的に示す表である。 操作入力のジェスチャを模式的に示す説明図である。 照明装置１８の点灯状態を模式的に示す説明図である。 操作入力のジェスチャを模式的に示す説明図である。 照明装置１８の点灯状態を模式的に示す説明図である。 操作入力のジェスチャを模式的に示す説明図である。 照明装置１８の点灯状態を模式的に示す説明図である。 操作入力のジェスチャおよび照明装置１８の点灯状態を模式的に示す説明図である。 操作入力装置１０による処理の手順を示すフローチャートである。 照明装置１８の他の配置例を示す説明図である。

以下に添付図面を参照して、本発明にかかる操作入力装置の好適な実施の形態を詳細に説明する。

（実施の形態１）
図１は、実施の形態にかかる操作入力装置１０の構成を示すブロック図である。
実施の形態にかかる操作入力装置１０は、図示しない車両に搭載されており、車両のステアリングホイール２０周辺における動体のジェスチャを認識して操作対象機器３０への操作入力を受け付ける。
以下の説明では、車両の運転席近傍のステアリングホイール２０が配置された空間周辺を車室空間Ｓとする。
本実施の形態では、動体とは操作者（運転者）の手であり、操作者が手を用いてステアリングホイール２０周辺で所定のジェスチャを行うことにより、操作対象機器３０への操作入力を行うものとする。
また、本実施の形態では、操作対象機器３０は車両に搭載された車載機器である。

本実施の形態において操作入力装置１０は、ステアリングホイール２０を基準としてステアリングホイール２０周辺の空間を複数の領域（ジェスチャ領域）に分割し、どの領域でどのようなジェスチャ（ジェスチャ動作）が行われたかによって、操作内容を識別する。
すなわち、操作入力装置１０は、ジェスチャを用いた操作入力が行われる際に、ジェスチャ動作と、そのジェスチャ動作が行われた位置を示すジェスチャ領域によって操作入力の内容を特定する。
このように、ジェスチャ時に基準となる部材（ステアリングホイール２０）を空間内で特定することによって、操作者（運転者）がジェスチャの基準となる位置を認識しやすく、操作を行いやすくすることができるとともに、操作入力装置１０におけるジェスチャの認識率を向上させることができる。

図２は、ステアリングホイール２０の正面図である。
図２に示すように、ステアリングホイール２０は、環状のグリップ部２２と、当該グリップ部２２の中央に配置されたセンター部２４と、当該センター部２４から左右の径方向に延設されてセンター部２４とグリップ部２２とを接続する複数のスポーク部２６と、を有している。
本実施の形態では、ステアリングホイール２０周辺の車室空間Ｓを３つの領域Ｘ１〜Ｘ３に分割する。
領域Ｘ１〜Ｘ３は、ステアリングホイール２０の中心点を原点Ｏとして、車両の上下方向にほぼ沿った略上下方向軸であるＸ軸に沿って配置されている。車両の上下方向にほぼ沿った、とは、ステアリングホイール２０は車両の前後方向に傾けて配置されている場合が多く、ステアリングホイール２０の円環を基準として座標軸を設定した場合、車両の上下方向に厳密には沿わないことを意味する。

略上下方向軸（Ｘ軸）に沿った空間は、図２に示すようにステアリングホイール２０の内周領域Ｘ１、ステアリングホイール２０の外縁領域Ｘ２、および外縁領域Ｘ２より上方の上方領域Ｘ３に分割される。
なお、外縁領域Ｘ２は、例えばステアリングホイール２０のグリップ部２２の上端部から上に数センチ程度（操作者の握りこぶしの高さ程度）までの領域である。
また、本実施の形態では、各領域Ｘ１〜Ｘ３を原点Ｏより上の空間にのみ設定している。これは、原点Ｏより下の空間は操作者の視界に入りにくく、操作が行いづらいためである。
しかしながら、原点Ｏより下の空間にも拡張して各領域Ｘ１〜Ｘ３を設定してもよい。また、原点Ｏより上の空間に設定された領域と、原点Ｏより下の空間に設定された領域とを別個の領域として設定してもよい。

なお、上記Ｘ軸に加えて、車両の前後方向にほぼ沿った略前後方向軸であるＺ軸、および車両の車幅方向にほぼ沿った略車幅方向軸であるＹ軸に沿って車室空間Ｓを分割してもよい。
それの場合、略車幅方向軸（Ｙ軸）に沿った空間は、ステアリングホイール２０の中心点（原点Ｏ）から一方の車側側の領域（例えば操作者から見て右側に位置する右側領域Ｙ１）と、中心点（原点Ｏ）から他方の車側側の領域（操作者から見て左側に位置する左側領域Ｙ２）とに分割する。
また、略前後方向軸（Ｚ軸）に沿った空間は、ステアリングホイール２０が運転者と対向する面である前面領域と、ステアリングホイール２０の車体への取り付け面である後面領域とに分割する。
また、車室空間Ｓを２つの座標軸方向、例えば略上下方向軸であるＸ軸と略前後方向軸であるＺ軸とに分割するようにしてもよい。

また、ステアリングホイール２０のグリップ部２２には、照明装置１８が設けられている。
図３に示すように、照明装置１８は、複数の単位照明部Ｌ（Ｌ（ｙｎ）またはＬ（−ｙｎ）（ｎは１から１２の整数））がステアリングホイール２０の形状に沿って設けられたものである。
より詳細には、単位照明部Ｌは、中心点Ｏからステアリングホイール２０を左右に分割する分割線Ｔに対して対称に、グリップ部２２の上半分に設けられている。
分割線Ｔより右側の右側領域Ｙ１には、単位照明部Ｌ（ｙ１）〜Ｌ（ｙ１２）が設けられ、単位照明部Ｌ（ｙ１）は分割線Ｔに最も近いグリップ部２２の上部に配置され、単位照明部Ｌ（ｙ１２）はグリップ部２２の右側部に配置され、この間のグリップ部２２上に等間隔で他の単位照明部Ｌ（ｙ２）〜Ｌ（ｙ１１）が配置されている。
また、分割線Ｔより左側の左側領域Ｙ２には、単位照明部Ｌ（−ｙ１）〜Ｌ（−ｙ１２）が設けられ、単位照明部Ｌ（ｙ１）は分割線Ｔに最も近いグリップ部２２の上部に配置され、単位照明部Ｌ（−ｙ１２）はグリップ部２２の左側部に配置されている。また、単位照明部Ｌ（−ｙ１）からＬ（−ｙ１２）の間のグリップ部２２上に他の単位照明部Ｌ（−ｙ２）〜Ｌ（−ｙ１１）が等間隔に配置されている。
単位照明部Ｌはそれぞれ個別に点消灯を制御可能である。それぞれの単位照明部Ｌの点消灯は、後述する照明制御手段１６によって制御される。
それぞれの単位照明部Ｌは、例えばＬＥＤ等を用いた電球などによって構成されている。
また、後述するように、それぞれの単位照明部Ｌを複数色に発光可能としてもよい。この場合、個々の単位照明部Ｌの発光色も照明制御手段１６で個別に制御可能とする。

なお、本実施の形態では、図４に示すように単位照明部Ｌがグリップ部２２の上半分に設けられている場合について説明するが、例えば図１３に示すように、単位照明部Ｌをグリップ部２２の上半分とスポーク部２６とに設けて（単位照明部Ｌ（ｘ），Ｌ（−ｘ））、内周領域Ｘ１を囲むようにしてもよい。
また、原点Ｏより下の空間にも拡張してジェスチャ領域を設定する場合には、単位照明部Ｌをグリップ部２２の全周に設けてもよい。

図１の説明に戻り、操作入力装置１０は、撮影手段１２と、ジェスチャ識別手段１４、照明制御手段１６と、照明装置１８と、操作識別データベースＤＢとによって構成される。
上記の構成のうち、ジェスチャ識別手段１４および照明制御手段１６は、車両ＥＣＵ等の処理部によって構成される。車両ＥＣＵは、ＣＰＵ、制御プログラムなどを格納・記憶するＲＯＭ、制御プログラムの作動領域としてのＲＡＭ、各種データを書き換え可能に保持するＥＥＰＲＯＭ、周辺回路等とのインターフェースをとるインターフェース部などを含んで構成され、上記ＣＰＵが上記制御プログラムを実行することによって、ジェスチャ識別手段１４または照明制御手段１６として機能する。

撮影手段１２は、車室空間Ｓを連続的に撮影する。連続的に撮影とは、車室空間Ｓ内における操作者の挙動（ジェスチャ）が認識可能な画像群（映像データ）を撮影することを指す。
撮影手段１２は、例えば赤外線カメラであり、夜間でも車室空間内の映像を撮影可能とする。また、撮影手段１２を複数のカメラ（ステレオカメラ等）で構成してもよい。
撮影手段１２の設置位置は任意であるが、ステアリングホイール２０およびその周辺の領域Ｘ１〜Ｘ３を撮影範囲に含むことができる位置とする。

ジェスチャ識別手段１４は、撮影画像に基づいて動体が所定のジェスチャを行ったか否かを識別し、所定のジェスチャを行った際に、所定のジェスチャに対応する動作を操作対象機器３０に行わせる制御信号を出力する。
ジェスチャ識別手段１４は、動作識別手段１４０、領域識別手段１４２、操作内容特定手段１４４、および機器制御手段１４６を有する。

動作識別手段１４０は、撮影手段１３によって撮影された撮影画像に基づいて、車室空間Ｓ内で操作者の手（動体）が所定のジェスチャ動作を行ったか否かを識別する。
動作識別手段１４０は、公知の画像認識技術（パターン認識技術）を用いて撮影画像中に映る手を識別し、さらに手の各点の位置が時間経過とともにどのように変化するかに基づいて、手の動きを認識する。そして、認識した手の動きが上記所定のジェスチャ動作と一致するか否かを識別する。
所定のジェスチャ動作とは、図４に示す操作識別データベースＤＢに記録されたジェスチャ動作である。

領域識別手段１４２は、所定のジェスチャ動作が行われた位置が上述したステアリングホイール２０周辺に設定された複数の領域Ｘ１〜Ｘ３のいずれに属するかを識別する。
領域識別手段１４２は、撮影画像中のステアリングホイール２０の位置とジェスチャ動作時における操作者の手の位置との相対関係から、当該ジェスチャ動作が複数の領域Ｘ１〜Ｘ３のいずれで行われたかを識別する。

操作内容特定手段１４４は、操作者がおこなったジェスチャ動作とジェスチャが行われた領域（ジェスチャ領域）とに基づいて、操作対象機器３０への操作入力の内容（操作内容）を特定する。
操作内容特定手段１４４は、動作識別手段１４０で識別されたジェスチャ動作の種類と、領域識別手段１４２で識別された領域との組み合わせが図４に示す操作識別データベースＤＢに記録された操作入力のいずれかと一致するかを判断し、一致している場合には当該操作入力に対応する操作対象機器３０への操作内容を特定する。
例えば、動作識別手段１４０で識別されたジェスチャ動作が、操作者の手を下に向けてステアリングホイール２０の奥行方向に移動させるジェスチャ動作であったとする。
このとき、領域識別手段１４２で識別された領域がステアリングホイール２０の内周領域Ｘ１である場合には、操作内容特定手段１４４は、第１の操作入力（図４および図５参照）が行われたと判断し、車両のヘッドランプのハイロー切替、またはパッシング点灯が操作内容であると特定する。
また、領域識別手段１４２で識別された領域がステアリングホイール２０の上方領域Ｘ３である場合には、操作内容特定手段１４４は、第２の操作入力（図４および図７参照）が行われたと判断し、車両のスモールランプおよびテールランプの点灯または消灯が操作内容であると特定する。
また、領域識別手段１４２で識別された領域がこれ以外の領域である場合には、該当する操作入力はないため、操作内容特定手段１４４は、操作入力なしと判定する。
すなわち、操作内容特定手段１４４は、動作識別手段１４０で識別されたジェスチャ動作と、領域識別手段１４２で識別されたジェスチャ領域との組み合わせが、図４に示す操作識別データベースＤＢに記録された操作入力のいずれかに一致した場合のみ、有効な操作入力として認識する。

機器制御手段１４６は、操作入力に対応する動作を操作対象機器３０に行わせる制御信号を出力する。
例えば上記第１の操作入力が行われた場合には、機器制御手段１４６は、車両のヘッドランプに対して点灯状態を切り換える制御信号を出力する。

照明制御手段１６は、撮影手段１２によって撮影された撮影画像に基づいて、動体のステアリングホイール２０周辺における動きに追従して照明装置１８を点消灯させる。
すなわち、照明制御手段１６は、動体（操作者の手）がステアリングホイール２０周辺に位置した際に、この位置に対応する箇所の単位照明部Ｌを点灯する。また、動体の位置が移動した場合（動体に動きがあった場合）、この移動に追従して点灯する単位照明部Ｌの箇所を変更する。
これにより、操作入力装置１０が動体の位置を正しく認識できているか否かを、操作者が確認することができ、操作入力装置１０に対する操作入力を行いやすくすることができる。よって、例えばステアリングホイール２０周辺で手を動かしているにも関わらず、照明装置１８が点灯しない場合には、手の位置をステアリングホイール２０に近づけるなどの対応を実施することができる。
なお、動体のステアリングホイール２０周辺における動きは、上述した動作識別手段１４０および領域識別手段１４２における識別結果を用いてもよいし、照明制御手段１６で独自に識別してもよい。

また、照明制御手段１６は、動体が所定のジェスチャを行ったと識別され操作対象機器３０に制御信号が出力される場合に、操作入力の完了を示して照明装置１８を動体の動きに関わらず点灯させる。
すなわち、所定のジェスチャがなされ、操作入力装置１０で操作入力を認識した場合に、操作入力の完了を示す点灯を行う。この点灯は、動体の動きに追従しないものであり、例えば全ての単位照明部Ｌを点灯させるものであったり、一部の単位照明部Ｌを点灯させたりするものであったりする。
このように、操作入力の認識中の点灯形態（動体の動きに追従して点灯）と、操作入力の完了時の点灯形態（動体の動きに追従せずに点灯）を変更することによって、操作入力装置１０の操作認識状況を操作者が把握することができる。
また、操作入力の完了を示す点灯を行うことにより、操作入力装置１０が操作入力を正常に認識したか否かを、操作者が確認することができ、操作入力装置１０に対する操作の確実性を向上させることができる。
よって、例えばステアリングホイール２０周辺で手を動かして、手の位置に追従した点灯はなされるものの、操作入力の完了を示す点灯がなされない場合には、ジェスチャ動作をやり直すなどの対応を操作者が実施することができる。

ここで、ジェスチャ識別手段１４および照明制御手段１６についてより詳細に説明するために、操作識別データベースＤＢについて説明する。
操作識別データベースＤＢは、車室空間Ｓ内のどの領域でどのようなジェスチャ動作が行われたかによって、操作内容を識別するためのデータが記録されている。
図４は、操作識別データベースＤＢの内容を模式的に示す表である。
図４の表では、５種類の操作入力（第１の操作入力〜第５の操作入力）について、操作対象機器１４８１、操作内容１４８２、ジェスチャ内容１４８３がそれぞれ示されている。
なお、ジェスチャ内容１４８３ジェスチャ動作と、ジェスチャ動作が行われる領域（ジェスチャ領域）の２つの要素から特定される。

第１の操作入力の操作対象機器３０は車両のヘッドライトであり、操作内容はヘッドライトが点灯した状態でこのジェスチャが行われた場合にはヘッドライトの照射方向をハイとローとで切り替え（ハイ／ロー切替）、ヘッドライトが消灯した状態でこのジェスチャが行われた場合にはパッシング点灯（瞬間的なハイビーム点灯）を行う。
第１の操作入力のジェスチャ内容は、操作者の手をステアリングホイール２０の内周領域Ｘ１にくぐらせる（ステアリングホイール２０の前面領域から後面領域に移動させる）ジェスチャ動作を行うものである。
すなわち、図５に示すようにステアリングホイール２０の内周に手Ｈをくぐらせるジェスチャである。
なお、図５、図７、図９、図１１において、図Ａはステアリングホイール２０の正面図であり、図Ｂはステアリングホイール２０の側面図である。また、図５、図７、図９では図面の視認性を考慮して照明装置１８（単位照明部Ｌ）の図示を省略している。

操作者が第１の操作入力を行った場合の照明装置１８の点灯状態について図６を用いて説明する。
なお、以降の図において白丸で示す単位照明部Ｌは非点灯状態、網掛けで示す単位照明部Ｌは点灯状態である。
操作者の手Ｈがステアリングホイール２０周辺に位置すると、撮影手段１２の撮影範囲内に入り、動作識別手段１４０および領域識別手段１４２により動作および位置（領域）が識別される。また、照明制御手段１６によって手Ｈの位置に追従して照明装置１８が点灯される。
まず、図６Ａに示すように操作者の手Ｈが内周領域Ｘ１に進入開始すると、ステアリングホイール２０の上部に位置する単位照明部Ｌ（ｙ１），Ｌ（−ｙ１）が点灯し、以後ステアリングホイール２０の側部に向かって隣接する単位照明部Ｌが次々に点灯する。
図６Ｂに示すように操作者の手Ｈが内周領域Ｘ１の奥に到達する頃には、単位照明部Ｌ（ｙ１）〜Ｌ（ｙ１２），Ｌ（−ｙ１）〜Ｌ（−ｙ１２）が全て点灯し、点灯部がアーチ状となる。
図６Ｃに示すように操作者の手Ｈが手前に戻り始めると、ステアリングホイール２０の側部側の単位照明部Ｌ（ｙ１２），Ｌ（−ｙ１２）が消灯し、以後ステアリングホイール２０の上部に向かって隣接する単位照明部Ｌが次々に消灯する。操作者の手Ｈが内周領域Ｘ１から離れる頃には、全ての単位照明部Ｌが消灯し、一旦照明装置１８が無点灯状態となる。
操作者の手Ｈが内周領域Ｘ１から離れると、操作入力装置１０は、第1の操作入力を認識し、車両のヘッドランプに対してハイ／ロー切替またはパッシング点灯を指示する制御信号を出力する。
また、図６Ｄに示すように全ての単位照明部Ｌ（ｙ１）〜Ｌ（ｙ１２），Ｌ（−ｙ１）〜Ｌ（−ｙ１２）を短時間点灯させて、第１の操作入力の完了を示す点灯を行う。

なお、照明装置１８が複数色で点灯可能である場合、照明制御手段１６は、動体の動きに追従して照明装置１８を点灯させる場合と、操作入力の完了を示して照明装置１８を点灯させる場合とで、照明装置１８の点灯色を変更するようにしてもよい。
すなわち、図６Ａ〜図６Ｃにおける照明装置１８の点灯色と、図６Ｄにおける照明装置１８の点灯色とを異なる色にしてもよい。
例えば、図６Ａ〜図６Ｃの操作認識中には、どのような操作入力がなされているか確定していないため照明装置１８を黄色で点灯させ、図６Ｄの操作入力完了時には、操作入力が確定しているため照明装置１８を青色（緑色）で点灯させるなどが考えられる。
これにより、操作入力装置１０の操作認識状況を、操作者により把握させやすくすることができる。

第２の操作入力の操作対象機器３０は車両のスモールランプおよびテールランプであり、操作内容は点灯および消灯、すなわちスモールランプおよびテールランプが消灯した状態でこのジェスチャが行われた場合にはスモールランプおよびテールランプを点灯し、スモールランプおよびテールランプが点灯した状態でこのジェスチャが行われた場合にはスモールランプおよびテールランプを消灯する。
また、第２の操作入力のジェスチャ内容は、ステアリングホイール２０の上方領域Ｘ３で、ステアリングホイール２０に対して操作者の手をかざすジェスチャ動作を行うものである。
すなわち、図７に示すようにステアリングホイール２０の上方で下向き（ステアリングホイール２０向きに）操作者の手Ｈを広げるジェスチャである。

操作者が第２の操作入力を行った場合の照明装置１８の点灯状態について図８を用いて説明する。
なお、図８ではステアリングホイール２０および単位照明部Ｌの一部が操作者の手Ｈの下に位置しているが、視認性を考慮して単位照明部Ｌについては透過線を用いずに図示している。
図８Ａに示すように、操作者の手Ｈが下向きに上方領域Ｘ３に進入すると、ステアリングホイール２０の上部周辺に位置する単位照明部、例えば単位照明部Ｌ（ｙ１）〜Ｌ（ｙ３），Ｌ（−ｙ１）〜Ｌ（−ｙ３）が点灯する。
上述した第１の操作入力で内周領域Ｘ１に操作者の手Ｈが進入した際には、最終的に単位照明部Ｌ（ｙ１）〜Ｌ（ｙ１２），Ｌ（−ｙ１）〜Ｌ（−ｙ１２）が全て点灯したが、第２の操作のように上方領域Ｘ３に進入した場合には、上方領域Ｘ３に近い単位照明部Ｌ（ｙ１）〜Ｌ（ｙ３），Ｌ（−ｙ１）〜Ｌ（−ｙ３）のみが点灯する。
このように、動体がジェスチャ領域Ｘ１〜Ｘ３のいずれに位置するかによって、点灯する単位照明部Ｌ（ｙｎ），Ｌ（−ｙｎ）の領域を変更してもよい。これにより、動体が位置するジェスチャ領域Ｘ１〜Ｘ３を操作入力装置１０で正しく認識しているかを操作者が容易に把握することができる。
また、照明装置１８が複数色で点灯可能な場合、動体がジェスチャ領域Ｘ１〜Ｘ３のいずれに位置するかによって点灯色を変更するようにしてもよい。
この場合、例えば第１の操作入力のように内周領域Ｘ１に操作者の手Ｈが進入した際には単位照明部Ｌを黄色に点灯させ、第２の操作入力のように上方領域Ｘ３に進入した場合には単位照明部Ｌを緑色に点灯させるなどである。このような方法でも、動体が位置するジェスチャ領域Ｘ１〜Ｘ３を操作入力装置１０で正しく認識しているかを操作者が把握することができる。

操作者の手Ｈが下向きに上方領域Ｘ３に進入してから所定時間（操作入力装置１０の操作反応時間）経過すると、操作入力装置１０は、車両のスモールランプおよびテールランプに対して点灯または消灯を指示する制御信号を出力するとともに、第２の操作入力の完了確認を示す点灯を行う。
このとき、制御信号が出力される操作対象機器３０の種類ごと、または操作対象機器３０に行わせる動作ごとに点灯する単位照明部Ｌの領域を変更するようにしてもよい。
例えば、車両のスモールランプおよびテールランプに対して「点灯」を指示する制御信号を出力する場合には、図８Ｂのようにステアリングホイール２０上部の単位照明部Ｌ（ｙ１），Ｌ（−ｙ１）から順に数個（図８Ｂでは３個）の単位照明部Ｌを点灯させ、点灯させる単位照明部Ｌをステアリングホイール２０の側部側（単位照明部Ｌ（ｙ１２），Ｌ（−ｙ１２）側）に順次移動する。
また、車両のスモールランプおよびテールランプに対して「消灯」を指示する制御信号を出力する場合には、例えば図８Ｃのようにステアリングホイール２０の側部側（単位照明部Ｌ（ｙ１２），Ｌ（−ｙ１２）側）から順に数個（図８Ｃでは３個）の単位照明部Ｌを点灯させ、点灯させる単位照明部Ｌをステアリングホイール２０の上部側（単位照明部Ｌ（ｙ１），Ｌ（−ｙ１）側）に順次移動する。
また、照明装置１８が複数色で点灯可能である場合には、制御信号が出力される操作対象機器３０の種類ごと、または操作対象機器３０に行わせる動作ごとに点灯色を変更するようにしてもよい。
これにより、操作入力の意図に沿った操作対象機器３０の動作が正しく実行されるかを操作者が把握することができる。

第３の操作入力の操作対象機器３０は、操作者から見て左側のターンランプであり、操作内容は点灯である。
第３の操作入力のジェスチャ内容は、ステアリングホイール２０の外縁領域Ｘ２に沿って操作者の手を右側領域Ｙ１から左側領域Ｙ２へと移動させ、さらに右側領域Ｙ１へと戻すジェスチャ動作を行うものである。
すなわち、図９Ａに示すように操作者の右手Ｈをステアリングホイール２０の外縁に沿って車幅方向に往復させるジェスチャである。これは、操作者が左折操作をする際にステアリングホイール２０を左側に回転させる動作を模擬している。

操作者が第３の操作入力を行った場合の照明装置１８の点灯状態について図１０を用いて説明する。
なお、図１０でもステアリングホイール２０および単位照明部Ｌの一部が操作者の手Ｈの下に位置しているが、視認性を考慮して単位照明部Ｌについては透過線を用いずに図示している。
図１０Ａに示すように、操作者の手Ｈが外縁領域Ｘ２の右端部付近に位置すると、右端部付近に近い単位照明部、例えば単位照明部Ｌ（ｙ９）〜Ｌ（ｙ１２）が点灯する。
図１０Ｂに示すように、操作者の手Ｈが外縁領域Ｘ２に沿って左側に移動すると、これに沿って点灯する単位照明部Ｌの領域が広がる。図１０Ｂでは右側領域に位置する全ての単位照明部Ｌ（ｙ１）〜Ｌ（ｙ１２）と、左側領域に位置する一部の単位照明部Ｌ（−ｙ１）〜Ｌ（−ｙ６）が点灯している。
操作者の手Ｈが左端部付近に位置すると、全ての単位照明部Ｌが一旦消灯する。
そして、操作者の手Ｈが左端部から右側に向かって移動すると、図１０Ｃに示すように、左端部付近に近い単位照明部Ｌ（−ｙ１２）から順に操作者の手Ｈの動きに合わせて単位照明部Ｌが点灯する。
操作者の手Ｈが右端部付近に戻ると、再度全ての単位照明部Ｌが一旦消灯し、操作入力装置１０は、車両左側のターンランプに対して点灯を指示する制御信号を出力するとともに、第３の操作入力の完了確認を示す点灯を行う。
すなわち、図１０Ｄに示すように、ステアリングホイール２０の左端部付近に近い単位照明部Ｌ（−ｙ９）〜Ｌ（−ｙ１２）を点滅させる。このとき、単位照明部Ｌの点灯色を変更可能である場合には、点灯色をオレンジ色にしてもよい。これは、車両のターンランプがオレンジ色に点灯するからである。

また、第４の操作入力の操作対象機器３０は、操作者から見て右側のターンランプであり、操作内容は点灯である。
第４の操作入力のジェスチャ内容は、ステアリングホイール２０の外縁領域Ｘ２に沿って操作者の手を左側領域Ｙ２から右側領域Ｙ１へと移動させ、さらに左側領域Ｙ２へと戻すジェスチャ動作を行うものである。
すなわち、図９Ｂに示すように操作者の左手Ｈをステアリングホイール２０の外縁に沿って車幅方向に往復させるジェスチャである。これは、操作者が右折操作をする際にステアリングホイール２０を右側に回転させる動作を模擬している。
第４の操作入力を行った場合の照明装置１８の点灯状態については、第３の操作入力を行った場合の照明装置１８の点灯状態を左右反転させたものであるので、詳細な説明を省略する。

第５の操作入力の操作対象機器３０は車両のヘッドランプであり、操作内容は点灯および消灯、すなわちヘッドランプが消灯した状態でこのジェスチャが行われた場合にはヘッドランプを点灯し、ヘッドランプが点灯した状態でこのジェスチャが行われた場合にはヘッドランプを消灯する。
第５の操作入力のジェスチャ内容は、ステアリングホイール２０の前面側の内周領域Ｘ１で、ステアリングホイール２０に対して手をかざすジェスチャ動作を行うものである。
すなわち、図１１に示すように内周領域Ｘ１でステアリングホイール２０に正対して操作者の手Ｈを広げるジェスチャである。

操作者が第５の操作入力を行った場合の照明装置１８の点灯状態について説明する。
内周領域Ｘ１でステアリングホイール２０に正対して操作者の手Ｈが広げられてから所定時間（操作入力装置１０の操作反応時間）経過すると、操作入力装置１０は、車両のヘッドランプに対して点灯または消灯を指示する制御信号を出力するとともに、第５の操作入力の完了確認を示す点灯を行う。
なお、第５の操作入力はステアリングホイール２０の前面で行われ、かつ操作者の手Ｈを広げるという単純なジェスチャ動作であるため、操作者の手のステアリングホイール２０周辺における動きに追従した点灯（操作認識中における点灯）は行うことなく操作入力の完了確認を示す点灯を行う。
すなわち、ステアリングホイール２０の前面を操作者の手が移動することは、運転中頻繁に生じると考えられ、操作者の手がステアリングホイール２０の前面に位置した際に即座に照明装置１８の点灯を行うと煩雑である。よって、ステアリングホイール２０の前面に操作者の手が位置した場合には一定の反応時間を持って照明装置１８を点灯させるのが好ましいが、第５の操作入力のように単純なジェスチャ動作では、上記の反応時間内にジェスチャ動作が完了し、また操作入力の認識が完了する可能性が高い。よって、操作者の手のステアリングホイール２０周辺における動きに追従した点灯を行うことなく、操作入力の完了確認を示す点灯を行う。
第５の操作入力の完了確認を示す点灯は、図１１に示すように、全ての単位照明部Ｌ（ｙ１）〜（ｙ１２），Ｌ（−ｙ１）〜（−ｙ１２）を一定時間点灯させるものであるが、ヘッドランプ等を点灯する場合と消灯する場合とで、単位照明部Ｌの点灯色を変更する。例えばヘッドランプ等を点灯する場合には通電状態を連想させる緑色に点灯させ、消灯する場合には非通電状態を連想させる赤色に点灯させる。
これにより、操作入力の意図に沿った操作対象機器３０の動作が正しく実行されるかを操作者が把握することができる。

図１２は、操作入力装置１０による処理の手順を示すフローチャートである。
操作入力装置１０は、車両の走行中は図１２に示す処理をくり返し行う。
まず、撮影手段１３によってステアリングホイール２０周辺の車室空間を撮影し（ステップＳ１２０）、領域識別手段１４２によって撮影手段１３で撮影された撮影画像を解析し、撮影画像から操作者の手を特定する（ステップＳ１２２）。
つぎに、照明制御手段１６は、操作者の手の位置に対応する単位照明部Ｌを点灯させる（ステップＳ１２４）。
また、上記単位照明部Ｌの点灯と並行して、動作識別手段１４０および領域識別手段１４２で操作者のジェスチャ動作およびジェスチャ動作を行った領域を解析する。操作内容特定手段１４４は、操作者が行ったジェスチャ動作と当該ジェスチャ動作を行った領域との組み合わせが、いずれかの操作入力に一致するか否か、すなわち操作者が所定のジェスチャを行ったか否かを判断する（ステップＳ１２６）。
操作者が所定のジェスチャを行っていない場合は（ステップＳ１２６：Ｎｏ）、ステップＳ１２０に戻って以降の処理をくり返す。
また、操作者が所定のジェスチャを行った場合（ステップＳ１２６：Ｙｅｓ）、照明制御手段１６は、照明装置１８に操作入力の完了を示す点灯を行わせる（ステップＳ１２８）。
また、操作内容特定手段１４４は所定のジェスチャに対応する操作入力の操作対象機器３０および制御内容を特定し、機器制御手段１４６によって操作対象機器３０へと制御信号を出力する（ステップＳ１３０）。
その後、ステップＳ１２０に戻り、以降の処理をくり返す。

以上説明したように、実施の形態にかかる操作入力装置１０は、車両のステアリングホイール２０周辺でジェスチャを認識して操作入力を受け付けるにあたって、動体のステアリングホイール２０周辺における動きに追従して点消灯する照明装置１８を設けたので、操作入力のジェスチャが正しく認識されているかを操作者が把握することができ、操作入力装置の操作性を向上させることができる。また、操作者が正しいジェスチャを行いやすくなるので、操作入力装置１０における誤認識率を低減することができる。
また、操作入力装置１０は、照明装置１８で操作入力の完了を示す点灯を行うので、操作入力装置１０が操作入力を認識したか否かを、操作者が確認することができ、操作入力装置に対する操作の確実性を向上させることができる。
また、操作入力中の点灯形態（動体の動きに追従して点灯）と、操作入力の完了時の点灯形態（動体の動きに追従せずに点灯）を変更することによって、操作入力装置１０の操作認識状況を操作者が容易に把握することができる。
また、操作入力装置１０において、操作対象機器３０の種類ごと、または操作対象機器３０に行わせる動作ごとに、点灯する単位照明部Ｌの領域または点灯する単位照明部Ｌの色を変更することによって、操作入力の意図に沿った操作対象機器３０の動作が正しく実行されるかを操作者が把握することができる。
また、操作入力装置１０において、操作入力中の点灯色と、操作入力の完了時の点灯色とを変更するようにすれば、操作入力装置１０の操作認識状況を操作者が容易に把握することができる。
また、操作入力装置１０において、動体がジェスチャ領域Ｘ１〜Ｘ３のいずれに位置するかによって、点灯する単位照明部Ｌの領域または点灯する単位照明部Ｌの点灯色を変更するので、動体が位置する領域を操作入力装置１０で正しく認識しているかを操作者が容易に把握することができる。
また、操作入力装置１０は、車両のステアリングホイール２０が基準となって、操作者がジェスチャを行うべき位置（ジェスチャ領域）を認識しやすくなり、ジェスチャ動作を容易かつ正確に行うことができる。

１０……操作入力装置、１２……撮影手段、１３……撮影手段、１４……ジェスチャ識別手段、１４０……動作識別手段、１４２……領域識別手段、１４４……操作内容特定手段、１４６……機器制御手段、１６……照明制御手段、１８……照明装置、２０……ステアリングホイール、２２……グリップ部、２４……センター部、２６……スポーク部、３０……操作対象機器、ＤＢ……操作識別データベース、Ｌ……単位照明部、Ｏ……原点（中心点）、Ｘ１……内周領域、Ｘ２……外縁領域、Ｘ３……上方領域、Ｙ１……右側領域、Ｙ２……左側領域。

Claims (8)

1. 車両のステアリングホイール周辺における動体のジェスチャを認識して操作対象機器への操作入力を受け付ける操作入力装置であって、
   前記ステアリングホイール周辺を連続的に撮影する撮影手段と、
   複数の単位照明部が前記ステアリングホイールの形状に沿って設けられ、前記単位照明部ごとに点消灯を制御可能な照明装置と、
   前記撮影手段によって撮影された撮影画像に基づいて、前記動体の前記ステアリングホイール周辺における動きに追従して前記照明装置を点消灯させる照明制御手段と、
   前記撮影画像に基づいて前記動体が所定のジェスチャを行ったか否かを識別し、前記所定のジェスチャを行った際に、前記所定のジェスチャに対応する動作を前記操作対象機器に行わせる制御信号を出力するジェスチャ識別手段と、
   を備えることを特徴とする操作入力装置。
2. 前記照明制御手段は、前記動体が前記所定のジェスチャを行ったと識別され前記操作対象機器に前記制御信号が出力される場合に、前記操作入力の完了を示して前記照明装置を前記動体の動きに関わらず点灯させる、
   ことを特徴とする請求項１記載の操作入力装置。
3. 前記照明制御手段は、前記操作入力の完了を示す点灯を行う際に、前記制御信号が出力される前記操作対象機器の種類ごと、または前記操作対象機器に行わせる動作ごとに点灯する前記単位照明部の領域を変更する、
   ことを特徴とする請求項２記載の操作入力装置。
4. 前記照明装置は複数色で点灯可能であり、
   前記照明制御手段は、前記動体の動きに追従して前記照明装置を点灯させる場合と、前記操作入力の完了を示して前記照明装置を点灯させる場合とで、前記照明装置の点灯色を変更する、
   ことを特徴とする請求項２記載の操作入力装置。
5. 前記照明制御手段は、前記制御信号が出力される前記操作対象機器の種類ごと、または前記操作対象機器に行わせる動作ごとに前記点灯色を変更する、
   ことを特徴とする請求項４記載の操作入力装置。
6. 前記ジェスチャ識別手段は、前記所定のジェスチャを、ジェスチャ動作と、当該ジェスチャ動作が行われた位置を示すジェスチャ領域とによって特定し、
   前記照明制御手段は、前記動体が前記ジェスチャ領域のいずれに位置するかによって点灯する前記単位照明部の領域を変更する、
   ことを特徴とする請求項１から５のいずれか１項記載の操作入力装置。
7. 前記照明装置は複数色で点灯可能であり、
   前記ジェスチャ識別手段は、前記所定のジェスチャを、ジェスチャ動作と、当該ジェスチャ動作が行われた位置を示すジェスチャ領域とによって特定し、
   前記照明制御手段は、前記動体が前記ジェスチャ領域のいずれに位置するかによって前記点灯色を変更する、
   ことを特徴とする請求項１から５のいずれか１項記載の操作入力装置。
8. 前記ジェスチャ領域は、前記ステアリングホイール周辺の空間を前記ステアリングホイールの内周領域、前記ステアリングホイールの外縁領域、および前記外縁領域より上方の上方領域に分割した領域である、
   ことを特徴とする請求項６または７記載の操作入力装置。

Images