JP2021135842A - 操作装置 - Google Patents

Abstract

【課題】ユーザの種別に応じて設定された操作を適切に特定することができる操作装置を提供する。【解決手段】操作装置１００は、非接触式センサ１０からの情報に基づいてユーザの手を検出する検出部４１ａと、手によるジェスチャを特定するジェスチャ特定部４１ｂと、操作制御部４１ｃと、を備える。検出部４１ａは、検出した手が第１のユーザの手か第２のユーザの手であるかを特定可能である。操作制御部４１ｃは、第１のユーザの手によるジェスチャを特定した場合は、第１のユーザに許可される複数種別の操作を規定した第１操作パターンＰＡに基づいて当該ジェスチャに対応する操作を特定し、第２のユーザの手によるジェスチャを特定した場合は、第２のユーザに許可される複数種別の操作を規定した第２操作パターンＰＢに基づいて当該ジェスチャに対応する操作を特定する。【選択図】図１

Description

本発明は、操作装置に関する。

従来の操作装置として、例えば特許文献１には、カメラ等の非接触式センサからの情報に基づいてユーザのジェスチャによる操作を判定するものが記載されている。

特許第６５５９３５９号公報

上記のような操作装置を車両等の乗り物に用いる場合、例えばドライバと同乗者の両者がジェスチャによる操作を実行可能で、両者のそれぞれに許可された操作を設けた構成を採用することができる。しかしながら、当該構成を採用した場合に、ユーザの種別を考慮せずにジェスチャによる操作を判定するだけでは、一方のユーザにのみ許可された操作を他方のユーザが実行可能となってしまう。

本発明は、上記実情に鑑みてなされたものであり、ユーザの種別に応じて設定された操作を適切に特定することができる操作装置を提供することを目的とする。

上記目的を達成するため、本発明に係る操作装置は、
非接触式センサからの情報に基づいて、乗り物内に予め設定された検出領域においてユーザの部位を検出する検出部と、
前記検出部が検出した前記部位によるジェスチャを特定するジェスチャ特定部と、
前記ジェスチャ特定部が特定した前記ジェスチャに対応する操作を特定し、特定した操作の内容を示す情報を操作対象へ出力する操作制御部と、を備え、
前記検出部は、前記部位が第１のユーザの部位であるか第２のユーザの部位であるかを特定可能であり、
前記操作制御部は、
前記第１のユーザの部位によるジェスチャを特定した場合は、前記第１のユーザに許可される複数種別の操作を規定した第１操作パターンに基づいて当該ジェスチャに対応する操作を特定し、
前記第２のユーザの部位によるジェスチャを特定した場合は、前記第２のユーザに許可される複数種別の操作を規定した第２操作パターンに基づいて当該ジェスチャに対応する操作を特定し、
前記第１操作パターンと前記第２操作パターンとは、少なくとも一部が異なる。

本発明によれば、ユーザの種別に応じて設定された操作を適切に特定することができる。

本発明の一実施形態に係る操作装置のブロック図である。 同上実施形態に係る操作装置が搭載される車両を示した模式図である。 同上実施形態に係る操作装置の検出領域、第１の領域及び第２の領域を説明するための模式図である。 同上実施形態に係る第１操作パターン及び第２操作パターンの構成例を示す図である。 同上実施形態に係る表示部に表示される画像と投影画像の一例を示す模式図である。 （ａ）〜（ｄ）は、同上実施形態に係る投影画像の遷移例を説明するための図である。 （ａ）及び（ｂ）は、同上実施形態に係る投影画像の遷移例を説明するための図である。 同上実施形態に係る操作状況報知処理の一例を示すフローチャートである。 同上実施形態に係るユーザ特定処理の一例を示すフローチャートである。 同上実施形態に係る操作対象報知処理の一例を示すフローチャートである。 （ａ）及び（ｂ）は、変形例に係る投影画像の遷移例を説明するための図である。

本発明の一実施形態について図面を参照して説明する。

本実施形態の一実施形態に係る操作装置１００は、図１に示すように、車両１に搭載され、ユーザＵの手Ｈ（図２参照）によるジェスチャで所定機器の操作を可能とするものである。操作装置１００を利用しての操作は、図２に示すように、車両１の運転席４に着座したドライバＵ１と、助手席５に着座した同乗者Ｕ２の双方によって可能となっている。この実施形態では、車両１がＲＨＤ（Right Hand Drive）であるものとする。

操作装置１００は、図１に示すように、非接触式センサ１０と、プロジェクタ２０と、表示部３０と、制御装置４０と、を備える。

非接触式センサ１０は、可視光カメラ、赤外線カメラ、ＴＯＦ（Time of Flight）カメラ、ミリ波センサ等から構成され、検出対象の二次元又は三次元情報（以下、検出対象情報）を計測し、制御装置４０に送信する。非接触式センサ１０は、例えば車両１の天井に設置される。この実施形態では、非接触式センサ１０は、図２に示すように、車両１の室内に予め設定された検出領域Ａｄ内にあるユーザＵの手Ｈを検出する。したがって、検出領域Ａｄと重なる空間がユーザＵのジェスチャによる操作が可能な入力空間となる。つまり、非接触式センサ１０の撮影範囲又は電磁波の照射範囲は、検出領域Ａｄを含む。検出領域Ａｄは、例えば、車両１の前席の中央部であって、センターコンソール２やダッシュボード３と重なる部分に設定されている。

プロジェクタ２０は、制御装置４０の制御の下、車両１の室内に予め設定された投影領域Ａｐに存在する物体に画像を投影する。図２に示すように、投影領域Ａｐは、検出領域Ａｄを含み、且つ、検出領域Ａｄよりも広い領域に設定されている。また、投影領域Ａｐは、表示部３０の一部と重畳して設定されている。プロジェクタ２０としては、液晶デバイス、デジタルミラーデバイス等を利用した公知のプロジェクタを用いることができる。プロジェクタ２０は、例えば車両１の天井に設置されている。

表示部３０は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic Light Emitting Diodes）等から構成され、制御装置４０の制御の下で画像を表示する。表示部３０は、図２に示すように、車両１の室内において、ドライバＵ１及び同乗者Ｕ２の双方に視認可能な位置に設けられている。表示部３０は、例えば、センターコンソール２の上方であってダッシュボード３に設けられている。

制御装置４０は、操作装置１００の全体動作を制御するマイクロコンピュータからなり、ＣＰＵ（Central Processing Unit）等から構成される制御部４１と、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成される記憶部４２と、を備える。記憶部４２のＲＯＭには、後述する操作状況報知処理を実行するためのプログラムＰＧ、第１操作パターンＰＡ、第２操作パターンＰＢのデータが記憶されている。また、記憶部４２のＲＯＭには、プロジェクタ２０の投影画像や表示部３０の表示画像を生成するための画像パーツデータが記憶されている。また、制御装置４０は、図示しない構成として、プロジェクタ２０や表示部３０を駆動するための駆動回路、機器群２００と通信を行うための入出力回路等を備える。なお、制御装置４０は、後述の機能を充足する限りにおいては、その構成や配置は任意である。例えば、制御装置４０は、互いに通信する複数のコンピュータによって実現されてもよい。

機器群２００は、車両１の各部を制御するＥＣＵ（Electronic Control Unit）、カーナビゲーション（カーナビ）装置、車内温度を調整するエア・コンディショナー（エアコン）装置、メディアプレイヤー等の周知の車載システムから構成されている。また、機器群２００は、ユーザＵによって持ち込まれ、無線又は有線により制御装置４０と通信可能なスマートフォン、タブレット端末等の携帯端末も含む。例えば、制御部４１は、機器群２００を構成する各機器と通信を行い、各機器の状況を示す画像、各機器を操作するための画像等を表示部３０に表示させる。また、制御部４１は、ユーザＵによってなされたジェスチャに応じて、表示部３０の表示動作や、機器群２００の動作を制御する。この実施形態では、機器群２００を構成する各機器、及び、表示部３０がユーザＵのジェスチャにより操作可能な対象である操作対象となる。

制御部４１は、図１に示すように、主な機能として、検出部４１ａと、ジェスチャ特定部４１ｂと、操作制御部４１ｃと、投影制御部４１ｄと、表示制御部４１ｅと、を備える。

検出部４１ａは、非接触式センサ１０からの検出対象情報に基づいて、検出領域ＡｄにおいてユーザＵの手Ｈを検出する。例えば、検出部４１ａは、非接触式センサ１０から所定の検出周期で送信される検出対象情報の周期毎の差分を演算し、手Ｈの領域を検出する。そして、検出部４１ａは、検出した手Ｈの領域を示す情報に基づいて手Ｈの指先、掌などの特徴点の座標情報を抽出する。なお、手Ｈの領域の検出手法や特徴点の抽出手法は任意であり、公知の手法を用いることができる。例えば、パターンマッチング法や、ＨＯＧ（Histogram of Oriented Gradients）、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＬＢＰ（Local Binary Pattern）、Ｈａａｒ−Ｌｉｋｅなどの特徴点算出手法を用いることができる。なお、検出部４１ａが検出領域ＡｄにおいてユーザＵの手Ｈを検出する際には、検出領域Ａｄ内にユーザＵの手Ｈの全体が含まれていなくともよく、物体が手Ｈであることを検出部４１ａが特定可能な程度に、手Ｈの一部分が検出領域Ａｄ内に位置していればよい。

また、検出部４１ａは、検出領域Ａｄで検出した手Ｈが、ドライバＵ１の手Ｈ１であるか同乗者Ｕ２の手Ｈ２であるかを特定することができる。ここで、検出領域Ａｄは、図３に示すように、区分線Ｂにより区分される第１の領域Ａ１及び第２の領域Ａ２から構成されている。第１の領域Ａ１は区分線Ｂの右側に位置し、第２の領域Ａ２は区分線Ｂの左側に位置する。この実施形態では、車両１がＲＨＤであるため、第１の領域Ａ１は第２の領域Ａ２よりもドライバＵ１に近く、第２の領域Ａ２は第１の領域Ａ１よりも同乗者Ｕ２に近い。したがって、第１の領域Ａ１内に位置する手ＨをドライバＵ１の手Ｈ１と推定することができ、第２の領域Ａ２内に位置する手Ｈを同乗者Ｕ２の手Ｈ２と推定することができる。これを考慮して、検出部４１ａは、第１の領域Ａ１内で検出した手ＨをドライバＵ１の手Ｈ１と特定し、第２の領域Ａ２内で検出した手Ｈを同乗者Ｕ２の手Ｈ２と特定する。なお、検出領域Ａｄ、第１の領域Ａ１、第２の領域Ａ２の各々を規定する座標情報は、予め記憶部４２のＲＯＭに記憶されている。

なお、第１の領域Ａ１は、ドライバＵ１の手Ｈ１が届き易く、且つ、同乗者Ｕ２の手Ｈ２が届きにくい領域として設定されていればよい。反対に、第２の領域Ａ２は、同乗者Ｕ２の手Ｈ２が届き易く、且つ、ドライバＵ１の手Ｈ１が届きにくい領域として設定されていればよい。つまり、第１の領域Ａ１と第２の領域Ａ２の境界線である区分線Ｂの位置や形状は任意である。例えば、区分線Ｂは直線状でなくともよい。また、第１の領域Ａ１及び第２の領域Ａ２は、検出領域Ａｄに含まれていればよく、例えば、双方の領域が間隔を空けて配置された構成を採用してもよい。当該構成を採用した場合、検出部４１ａが検出領域Ａｄ内であって、第１の領域Ａ１及び第２の領域Ａ２以外の領域で手Ｈを検出した際は、検出した手Ｈによるジェスチャを無効としてもよい。また、車両１がＬＨＤ（Left Hand Drive）である場合は、第１の領域Ａ１及び第２の領域Ａ２の関係を上記と左右反対に設定すればよい。また、第１の領域Ａ１と第２の領域Ａ２のいずれかの領域（以下、一の領域と言う。）において、同時に複数の手Ｈが検出される状況も想定される。この状況では、例えば、検出部４１ａは、一の領域に含まれる手Ｈが一つになるまでユーザＵの特定を待機したり、先に検出された手Ｈに基づいてユーザＵを特定したりすればよい。

ジェスチャ特定部４１ｂは、検出部４１ａが検出した手Ｈによるジェスチャを特定する。例えば、ジェスチャ特定部４１ｂは、検出部４１ａが抽出した手Ｈの座標情報に基づいてユーザＵの手Ｈの動作軌跡を作成する。そして、ジェスチャ特定部４１ｂは、作成した手Ｈの動作軌跡と記憶部４２のＲＯＭに記憶されたジェスチャパターンとを比較し、手Ｈによるジェスチャを特定する。ジェスチャパターンは、予め定められた複数種別のジェスチャの軌跡を示すデータとして、予めＲＯＭに記憶されている。なお、ジェスチャ特定部４１ｂによるジェスチャの特定手法は任意であり、例えば、ＮＮ法（Nearest Neighbor algorithm）、ｋ-ＮＮ法（k-Nearest Neighbor algorithm）、パターンマッチング法などの公知の手法を用いることができる。また、入力を可能とするジェスチャの態様は任意であるが、例えば、検出領域Ａｄにおいてなされるスワイプ、スクロール、ピンチイン、ピンチアウト等の種々の動作や、サムズアップ、ピースサイン等のポーズであればよい。

操作制御部４１ｃは、ジェスチャ特定部４１ｂが特定したジェスチャに対応する操作を特定し、特定した操作の内容を示す情報を操作対象へ出力する。具体的に、操作制御部４１ｃは、記憶部４２のＲＯＭに記憶された操作パターンのデータを参照し、特定したジェスチャに対応する操作を特定する。操作パターンとしては、図４に構成を例示する第１操作パターンＰＡ及び第２操作パターンＰＢが設けられている。

第１操作パターンＰＡは、ドライバＵ１に許可された複数種別の操作を規定したものである。第１操作パターンＰＡに規定された操作は、ドライバＵ１にのみ許可された操作（以下、ドライバ許可操作と言う。）と、ドライバＵ１及び同乗者Ｕ２の両者に許可された操作（以下、両者許可操作と言う。）を含む。ドライバ許可操作は、車両１の操縦に関する操作であり、例えば、走行モード、ＡＤＡＳ（Advanced Driver-Assistance Systems）、ワイパー、ヘッドライト等の設定操作である。両者許可操作は、ドライバＵ１及び同乗者Ｕ２が操作しても走行の安全上、支障がない操作であり、例えば、エアコン、ミュージック（楽曲再生）、ラジオ等の設定操作である。操作制御部４１ｃは、特定されたジェスチャがドライバＵ１の手Ｈ１によるものである場合は、第１操作パターンＰＡを参照し、特定されたジェスチャに対応する操作を特定し、特定した操作の内容を示す信号を操作対象へ出力する。例えば、操作制御部４１ｃは、走行モードの設定操作を特定した場合には、車両１の走行モードを制御するＥＣＵに当該操作内容に示す信号を出力し、これに応じてＥＣＵは走行モードを制御する。なお、当該ＥＣＵは、走行モードの設定操作の内容に応じた、車両１の走行モードの制御が完了すると、その旨を示すアンサーバック信号を操作制御部４１ｃに供給する。

第２操作パターンＰＢは、同乗者Ｕ２に許可された複数種別の操作を規定したものである。第２操作パターンＰＢに規定された操作は、同乗者Ｕ２にのみ許可された操作（以下、同乗者許可操作と言う。）と、前述の両者許可操作を含む。同乗者許可操作は、車両１の走行中の安全を担保する上でドライバＵ１には許容されない操作であり、例えば、カーナビ、動画再生、メール、ＳＮＳ等を利用するための操作である。操作制御部４１ｃは、特定されたジェスチャが同乗者Ｕ２の手Ｈ２によるものである場合は、第２操作パターンＰＢを参照し、特定されたジェスチャに対応する操作を特定し、特定した操作の内容を示す信号を操作対象へ出力する。例えば、操作制御部４１ｃは、カーナビの設定操作を特定した場合には、カーナビ装置に当該操作内容に示す信号を出力し、これに応じてカーナビ装置は設定を反映する。なお、当該カーナビ装置は、カーナビの設定操作の内容に応じた制御が完了すると、その旨を示すアンサーバック信号を操作制御部４１ｃに供給する。

投影制御部４１ｄは、プロジェクタ２０の動作を制御し、投影領域Ａｐに存在する物体に画像を投影する。

具体的に、投影制御部４１ｄは、検出部４１ａが手Ｈを検出した場合に、図５、図６（ａ）に示すように、その旨をユーザＵに報知するための第１画像Ｃａを手Ｈの任意の位置に投影する。例えば、投影制御部４１ｄは、第１画像Ｃａを手Ｈの手首に投影される帯状の画像として投影する。ここで、投影制御部４１ｄは、検出部４１ａがドライバＵ１の手Ｈ１を検出した場合には、検出された手Ｈ１に、第１の色を有する第１色画像Ｃａ１を第１画像Ｃａとして投影する。また、検出部４１ａが同乗者Ｕ２の手Ｈ２を検出した場合には、検出された手Ｈ２に、第１の色とは異なる第２の色を有する第２色画像Ｃａ２を第１画像Ｃａとして投影する。第１の色と第２の色は、異なる色であれば任意であり、例えば一方が赤色、他方が青色などであればよい。

また、投影制御部４１ｄは、ジェスチャ特定部４１ｂがジェスチャを特定した場合に、図５、図６（ｂ）に示すように、その旨をユーザＵに報知するための第２画像Ｃｂを手Ｈの任意の位置に投影する。例えば、投影制御部４１ｄは、第２画像Ｃｂを手Ｈの指先に投影される円状の画像として投影する。この実施形態で、第２画像Ｃｂは、例えば、前述の第１の色及び第２の色とは異なる色の画像であり、ユーザＵがドライバＵ１である場合も同乗者Ｕ２である場合も同じ態様で投影表示される。第２画像Ｃｂの色は、前述の第１の色及び第２の色とは異なる色であれば任意であり、例えば白色や黄色であればよい。

また、投影制御部４１ｄは、操作制御部４１ｃがジェスチャに対応する操作を特定した場合、図６（ｃ）に示すように、第２画像Ｃｂを変化させた操作有効画像Ｃｃを手Ｈに投影する。操作有効画像Ｃｃは、例えば、第２画像Ｃｂを延伸、拡大した態様の画像である。一方、投影制御部４１ｄは、操作制御部４１ｃがジェスチャに対応する操作を特定できなかった場合、図６（ｄ）に示すように、第２画像Ｃｂを変化させた画像であって、操作有効画像Ｃｃとは異なる表示態様の操作無効画像Ｃｄを手Ｈに投影する。操作無効画像Ｃｄは、例えば、第２画像Ｃｂと同じ形状の画像を点滅表示したものである。なお、操作有効画像Ｃｃ及び操作無効画像Ｃｄの表示態様は設計に応じて任意である。例えば、操作有効画像Ｃｃ及び操作無効画像Ｃｄは、互いに表示態様が異なるとともに、サイズ、表示位置、色及び点灯パターンの少なくともいずれかが第２画像Ｃｂとは異なっていればよい。

また、投影制御部４１ｄは、操作制御部４１ｃが特定した操作が、予め定めた種別の特別操作である場合、図７（ａ）、（ｂ）に示すように、軌跡画像Ｃｅを投影表示することによって、特別操作の対象をユーザＵに報知することができる。特別操作は、例えば、その操作対象をユーザＵに報知する重要度が高い種別の操作として１又は複数定められ、記憶部４２のＲＯＭ内に記憶されていればよい。例えば、ドライバＵ１によるワイパー駆動操作やヘッドライト点灯操作については、ドライバＵ１の目視により容易に操作がなされたことを認識できるので、このような操作を特別操作から排除することが可能である。

軌跡画像Ｃｅは、ユーザＵの手Ｈから表示部３０に表示されている後述の対象画像Ｄへ向かう第１軌跡画像Ｃｅ１と、対象画像Ｄから手Ｈへ向かう第２軌跡画像Ｃｅ２と、を含む。第１軌跡画像Ｃｅ１は、例えば、手Ｈの指先から対象画像Ｄへ向かって動く軌跡状の画像である。第１軌跡画像Ｃｅ１は、ユーザＵが行ったジェスチャに対応した操作が特定された場合に、プロジェクタ２０により投影される画像である。第２軌跡画像Ｃｅ２は、例えば、対象画像Ｄから手Ｈの指先に向かって動く軌跡状の画像である。第２軌跡画像Ｃｅ２は、特定された操作がその操作対象に反映された場合にプロジェクタ２０により投影される画像である。なお、第１軌跡画像Ｃｅ１及び第２軌跡画像Ｃｅ２の表示条件については後述の操作状況報知処理と併せて説明する。

軌跡画像Ｃｅは、車両１内の物体、つまり、検出された手Ｈ、センターコンソール２及び表示部３０に投影されることで、手Ｈと対象画像Ｄとを結ぶように表示される。例えば、投影制御部４１ｄは、予め記憶部４２のＲＯＭに記憶された、車両１の室内における投影領域Ａｐを規定する投影位置情報に基づいて軌跡画像Ｃｅを所望の位置に投影する。投影制御部４１ｄは、検出部４１ａから手Ｈ１の位置を示す座標情報を取得するとともに、表示制御部４１ｅから表示部３０における対象画像Ｄの表示位置を示す位置情報を取得する。そして、投影制御部４１ｄは、座標情報及び位置情報の各々に対応する投影位置を算出し、算出した投影位置に基づき軌跡画像Ｃｅを投影する。なお、図７（ａ）、（ｂ）では、軌跡画像Ｃｅが表す直線状の軌跡を表す例を示したが、軌跡画像Ｃｅの表示態様は任意である。例えば、軌跡画像Ｃｅは、検出した手Ｈと対象画像Ｄとの一方から他方へと向かうものであれば、曲線状の軌跡やランダムな軌跡を表していてもよい。また、軌跡画像Ｃｅは、線状に限られず、帯状、放射状などの形状であってもよい。また、軌跡画像Ｃｅは、検出した手Ｈと対象画像Ｄとの一方から他方へと向かうものであれば、手Ｈと対象画像Ｄとの双方に重畳して表示されなくともよく、手Ｈと対象画像Ｄの間に表示されてもよい。

表示制御部４１ｅは、図５に示すように、ユーザＵのジェスチャにより操作可能な対象に関する情報を示す対象画像Ｄを表示部３０に表示させる。なお、当該対象に関する情報とは、対象機器そのものを示す情報だけでなく、対象機器の操作項目、対象機器の一部機能を示す情報なども含む。対象画像Ｄは、当該対象に関する情報を、文字、図形、アイコン等で表す構成であればよい。

対象画像Ｄは、第１操作パターンＰＡに規定された操作の対象に関する情報を示す第１対象画像Ｄ１と、第２操作パターンＰＢに規定された操作の対象に関する情報を示す第２対象画像Ｄ２と、を含む。図５は、ドライバＵ１に走行モードの操作が可能であることを示す第１対象画像Ｄ１と、同乗者Ｕ２に制御装置４０と接続された携帯端末の操作が可能であることを示す第２対象画像Ｄ２が表示部３０に表示されている例である。

表示制御部４１ｅは、図５に示すように、第１対象画像Ｄ１を第１色画像Ｃａ１の色（前述の第１の色）と同色又は関連する色を含む態様で表示部３０に表示させ、第２対象画像Ｄ２を第２色画像Ｃａ２の色（前述の第２の色）と同色又は関連する色を含む態様で表示部３０に表示させる。これにより、ドライバＵ１は、第１色画像Ｃａ１が自身の手Ｈ１に投影されることで、第１対象画像Ｄ１が示す対象の操作が可能な状態であることを直感的に認識することができる。また、同乗者Ｕ２は、第２色画像Ｃａ２が自身の手Ｈ２に投影されることで、第２対象画像Ｄ２が示す対象の操作が可能な状態であることを直感的に認識することができる。第１の色と関連する色とは、第１の色の同系色又は類似色であればよい。例えば、第１の色の同系色は、第１の色と色相は同じで、明度と彩度の違う色であればよい。また、第１の色の類似色は、第１の色と類似した色相を組み合わせた色であればよい。この関係は、第２の色と関連する色についても同様である。

なお、第１対象画像Ｄ１が第１の色と同色又は関連する色（以下、対応色とも言う。）を含む態様は任意であり、第１対象画像Ｄ１を構成する枠、文字等のパーツが対応色を有していてもよいし、第１対象画像Ｄ１全体が対応色で表示されていてもよい。表示制御部４１ｅは、第１対象画像Ｄ１を、表示部３０に常時表示してもよいし、所定の操作を受け付けたことを契機に表示部３０に表示してもよい。また、表示制御部４１ｅは、第１色画像Ｃａ１がドライバＵ１に投影されたことを条件に、第１対象画像Ｄ１を、第１色画像Ｃａ１の対応色を含んだ態様の表示に切り替えてもよい。第２対象画像Ｄ２についても同様である。

続いて、制御部４１が実行する操作状況報知処理について図８〜図１０を参照して説明する。制御部４１は、図８に示す操作状況報知処理を開始すると、まず、ユーザＵを特定済みであるか否かを判別する（ステップＳ１０１）。ユーザＵが未だ特定されていない場合（ステップＳ１０１；Ｎｏ）、制御部４１は、ユーザ特定処理（ステップＳ２００）として図９に示す処理を実行し、検出領域Ａｄで手Ｈが検出されているかを判別する（ステップＳ２０１）。手Ｈが検出された場合（ステップＳ２０１；Ｙｅｓ）、制御部４１は、前述のように、検出領域Ａｄに設定された第１の領域Ａ１及び第２の領域Ａ２に基づき、ユーザＵを特定する（ステップＳ２０２）。ステップＳ２０２の処理後、又は、手Ｈが検出されていない場合（ステップＳ２０１；Ｎｏ）、制御部４１は、ユーザ特定処理を終了する。

図８に戻って、ユーザＵが特定された場合（ステップＳ１０１；Ｙｅｓ）、制御部４１は、ユーザ特定処理で特定されたユーザＵの手Ｈが検出されている状態か否かを判別する（ステップＳ１０２）。ここで、特定されたユーザＵは、ドライバＵ１と同乗者Ｕ２の少なくともいずれかであればよい。ドライバＵ１の手Ｈ１と同乗者Ｕ２の手Ｈ２とが同時に検出されている場合、制御部４１は、ステップＳ１０２以降の処理を特定されたユーザＵ毎に並列して実行する。

特定されたユーザＵの手Ｈを検出した場合（ステップＳ１０２；Ｙｅｓ）、制御部４１は、図６（ａ）に示すように、手Ｈの手首に第１画像Ｃａを投影し（ステップＳ１０３）、ユーザＵに手Ｈが検出領域Ａｄ内にあることを報知する。特定されたユーザＵがドライバＵ１である場合は、ドライバＵ１の手Ｈ１に第１色画像Ｃａ１が第１画像Ｃａとして投影される。特定されたユーザＵが同乗者Ｕ２である場合は、同乗者Ｕ２の手Ｈ２に第２色画像Ｃａ２が第１画像Ｃａとして投影される。特定されたユーザＵの手Ｈが検出されない場合（ステップＳ１０２；Ｎｏ）、制御部４１は、第１画像Ｃａを非表示とし（ステップＳ１０４）、ステップＳ１０１に戻って処理を実行する。

ステップＳ１０３に続いて、制御部４１は、ステップＳ１０２で検出した手Ｈによるジェスチャを特定する（ステップＳ１０５）。ジェスチャが特定された場合（ステップＳ１０５；Ｙｅｓ）、制御部４１は、図６（ｂ）に示すように、手Ｈの指先に第２画像Ｃｂを投影し（ステップＳ１０６）、ユーザＵにジェスチャが受け付けられていることを報知する。ジェスチャを特定することができなかった場合（ステップＳ１０５；Ｎｏ）、制御部４１は、第２画像Ｃｂを非表示とし（ステップＳ１０７）、ステップＳ１０１に戻って処理を実行する。

ステップＳ１０６に続いて、制御部４１は、ユーザＵに応じた操作パターンを参照する（ステップＳ１０８）。具体的に、制御部４１は、ユーザＵがドライバＵ１である場合は第１操作パターンＰＡを参照し、ユーザが同乗者Ｕ２である場合は第２操作パターンＰＢを参照する。

続いて、制御部４１は、ステップＳ１０５で特定したジェスチャに対応する操作が操作パターン内にあるか否かを判別する（ステップＳ１０９）。制御部４１は、操作パターンを参照して、ジェスチャに対応する操作を特定した場合（ステップＳ１０９；Ｙｅｓ）、特定した操作の内容を示す信号を操作対象へ出力し、ステップＳ１１０の処理を実行する。制御部４１は、特定されたジェスチャがドライバＵ１の手Ｈ１によるものである場合は、第１操作パターンＰＡを参照し、特定されたジェスチャに対応する操作を特定し、特定した操作の内容を示す信号を操作対象へ出力する。これによりドライバＵ１に許可された操作が実行可能となる。制御部４１は、特定されたジェスチャが同乗者Ｕ２の手Ｈ２によるものである場合は、第２操作パターンＰＢを参照し、特定されたジェスチャに対応する操作を特定し、特定した操作の内容を示す信号を操作対象へ出力する。これにより同乗者Ｕ２に許可された操作が実行可能となる。

ステップＳ１１０で制御部４１は、特定した操作の種別が予め定められた特別操作であるか否か判別し、特別操作でない場合（ステップＳ１１０；Ｎｏ）、図６（ｂ）に示す第２画像Ｃｂを変化させた態様の操作有効画像Ｃｃを、図６（ｃ）に示すように、ユーザＵの手Ｈに投影する（ステップＳ１１１）。一方、ステップＳ１０９で、ジェスチャに対応する操作が特定されなかった場合（ステップＳ１０９；Ｎｏ）、制御部４１は、図６（ｂ）に示す第２画像Ｃｂを変化させた態様の操作無効画像Ｃｄを、図６（ｄ）に示すように、ユーザＵの手Ｈに投影する（ステップＳ１１２）。

ステップＳ１１０で、特定した操作の種別が特別操作である場合（ステップＳ１１０；Ｙｅｓ）、制御部４１は、操作対象報知処理（ステップＳ３００）として図１０に示す処理を実行すし、図７（ａ）に示すように、第１軌跡画像Ｃｅ１を一定期間だけ投影表示する（ステップＳ３０１）。続いて、制御部４１は、操作の内容を示す信号を出力した操作対象から、当該操作の内容に応じた制御が完了した旨を示すアンサーバック信号を受信したか否かを判別する（ステップＳ３０２）。アンサーバック信号を受信した場合（ステップＳ３０２；Ｙｅｓ）、制御部４１は、図７（ｂ）に示すように、第２軌跡画像Ｃｅ２を一定期間だけ投影表示する（ステップＳ３０３）。なお、第１軌跡画像Ｃｅ１、第２軌跡画像Ｃｅ２を投影する期間は、例えば数秒といった期間であればよい。ステップＳ３０３の実行後、又は、アンサーバック信号を受信しなかった場合（ステップＳ３０２；Ｎｏ）、制御部４１は、操作対象報知処理を終了する。

図８に戻って、ステップＳ１１１、Ｓ１１２、Ｓ３００の処理後、制御部４１は、ステップＳ１０１に戻って処理を実行する。以上の操作状況報知処理は、例えば操作装置１００の起動中において継続して実行される。

なお、操作状況報知処理は、車両１の走行時など一定の条件下で実行されてもよい。例えば、制御部４１は、車両１のエンジン又はモータである原動機の起動中、且つ、車両１のパーキングブレーキ解除時に操作状況報知処理を実行してもよい。また、操作状況報知処理において、制御部４１は、ステップＳ１０１、Ｓ１０２、及びステップＳ２００を構成する各処理を検出部４１ａの機能で実行する。また、制御部４１は、ステップＳ１０５をジェスチャ特定部４１ｂの機能で実行する。また、制御部４１は、ステップＳ１０８〜Ｓ１１０、Ｓ３０２を操作制御部４１ｃの機能で実行する。また、制御部４１は、ステップＳ１０３、Ｓ１０４、Ｓ１０６、Ｓ１０７、Ｓ１１１、Ｓ１１２、Ｓ３０１、Ｓ３０３を投影制御部４１ｄの機能で実行する。

なお、本発明は以上の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変更（構成要素の削除も含む）を加えることが可能である。

以上の実施形態では、操作装置１００が、その機能として表示部３０を含む例を示したが、表示部３０を含むことは任意である。表示部３０を備えず、あるいは、表示部３０に加えて、車両１の室内に設置され、操作装置１００と通信可能な表示装置に各機器の状態や操作のための各画像を表示してもよく、ユーザＵによって車両１の室内に持ち込まれる表示装置に各画像を表示してもよい。また、音声出力部を備え、各機器の状態や操作のための音声を出力してもよい。

以上の実施形態では、第２画像Ｃｂが手Ｈの指先に投影される例を示したが、手Ｈにおける第２画像Ｃｂの投影位置は任意である。例えば、図１１（ａ）に示すように、第２画像Ｃｂは、手Ｈの甲に投影されてもよい。また、操作有効画像Ｃｃは、図１１（ｂ）に示すように、第２画像Ｃｂに枠などの画像パーツを付加した態様であってもよい。

第１画像Ｃａ、第２画像Ｃｂ、操作有効画像Ｃｃ及び操作無効画像Ｃｄの形状、投影位置は以上の例に限られず任意である。例えば、第２画像Ｃｂも第１画像Ｃａと同様に、ユーザＵ毎に色を異ならせてもよい。また、第１画像Ｃａ及び第２画像Ｃｂは、手Ｈの互いに異なる位置に投影されなくともよく、例えば、第２画像Ｃｂは、第１画像Ｃａを変形させた態様であってもよい。

以上では、検出領域Ａｄに設けた第１の領域Ａ１及び第２の領域Ａ２に基づいて、ユーザＵの特定を行う例を示したが、ユーザＵの特定手法は任意である。例えば、車両１を使用する者の手Ｈに関する情報を予め操作装置１００に登録しておき、登録情報に基づいてユーザＵを特定する構成を採用することもできる。また、車両１がＲＨＤの場合、検出した手Ｈが左手である場合にドライバＵ１の手Ｈ１と特定し、検出した手Ｈが右手である場合に同乗者Ｕ２の手Ｈ２と特定してもよい。検出領域Ａｄが車両１の中央部に位置する場合、ドライバＵ１は左手でジェスチャを行い、同乗者Ｕ２は右手でジェスチャを行う可能性が高いためである。車両１がＬＨＤの場合は、これと逆の関係を考えればよい。手Ｈが左手であるか右手であるかの判別は、例えば、パターンマッチング法などの公知の手法を用いることができる。

以上では、軌跡画像Ｃｅとして、手Ｈ及び対象画像Ｄの一方から他方へと向かう軌跡状の画像を投影した例を示したが、軌跡画像Ｃｅは、手Ｈ及び次に述べる対象部の一方から他方へと向かう軌跡状の画像であってもよい。対象部は、操作対象（つまり、機器群２００を構成する各機器や表示部３０）、又は、当該操作対象と関連する関連部であればよい。関連部は、前記の対象画像Ｄを含む。また、関連部は、例えば、エアコン装置が操作対象である場合の送風口、走行モードを制御するＥＣＵが操作対象である場合の走行モードを報知するためのインジケータ等であってもよい。

非接触式センサ１０、プロジェクタ２０及び表示部３０の車両１内における配置は任意であり、適宜変更することができる。また、操作装置１００が搭載される乗り物は、車両１に限られず任意であり、船舶、航空機などの車両１以外の乗り物であってもよい。

以上に説明した操作状況報知処理を実行するプログラムＰＧは、記憶部４２に予め記憶されているものとしたが、着脱自在の記録媒体により配布・提供されてもよい。また、プログラムＰＧは、操作装置１００と接続された他の機器からダウンロードされるものであってもよい。また、操作装置１００は、他の機器と電気通信ネットワークなどを介して各種データの交換を行うことによりプログラムＰＧに従う各処理を実行してもよい。

以上では、検出部４１ａが検出する人体の部位が、ユーザＵの手Ｈである例を説明したが、これに限られない。乗り物内において安全にジェスチャが可能である部位であれば、足などであってもよい。なお、本明細書における「手」とは、人体の肩から先にある部分を言い、指や掌はもちろん、肘なども含む。

操作状況報知処理において、第２画像Ｃｂ、操作有効画像Ｃｃ、操作無効画像Ｃｄを投影する処理を省略してもよい。また、以上では、所定の場合に軌跡画像Ｃｅを投影する例を示したが、軌跡画像Ｃｅを投影する処理を省いてもよい。例えば、操作状況報知処理のステップＳ３００の処理を省略することもできる。

以上に説明した操作装置１００は、非接触式センサ１０からの情報に基づいて、車両１（乗り物の一例）内に予め設定された検出領域ＡｄにおいてユーザＵの手Ｈ（部位の一例）を検出する検出部４１ａと、検出部４１ａが検出した手Ｈによるジェスチャを特定するジェスチャ特定部４１ｂと、ジェスチャ特定部４１ｂが特定したジェスチャに対応する操作を特定し、特定した操作の内容を示す情報を操作対象へ出力する操作制御部４１ｃと、車両１内に存在する物体に画像を投影可能な投影部（例えば、投影制御部４１ｄの制御により動作するプロジェクタ２０）と、を備える。

（１−１）操作装置１００において、投影部は、検出部４１ａが手Ｈを検出した場合に、第１画像Ｃａを手Ｈに投影し、ジェスチャ特定部４１ｂがジェスチャを特定した場合に、第１画像Ｃａとは異なる第２画像Ｃｂを手Ｈに投影する。この構成によれば、ユーザＵは、手Ｈが検出されていること、及び、ジェスチャが受け付けられていることを投影画像によって把握することができる。したがって、ユーザＵが無意味なジェスチャを繰り返してしまうことを抑制することができる。

（１−２）また、投影部は、操作制御部４１ｃがジェスチャに対応する操作を特定した場合、第２画像Ｃｂを変化させた操作有効画像Ｃｃを手Ｈに投影する。この構成によれば、ユーザＵに操作が受け付けられていることを報知することができる。

（１−３）また、投影部は、操作制御部４１ｃがジェスチャに対応する操作を特定できなかった場合、第２画像Ｃｂを変化させた画像であって、操作有効画像Ｃｃとは異なる表示態様の操作無効画像Ｃｄを手Ｈに投影する。この構成によれば、ユーザＵに操作が受け付けられていないことを報知することができる。

（１−４）具体的に、操作有効画像Ｃｃ及び操作無効画像Ｃｄは、互いに表示態様が異なるとともに、サイズ、表示位置、色及び点灯パターンの少なくともいずれかが第２画像Ｃｂとは異なる。

（１−５）また、第１画像Ｃａと第２画像Ｃｂとは、手Ｈの互いに異なる位置に投影されてもよい。

（２−１）操作装置１００において、検出部４１ａは、手ＨがドライバＵ１（第１のユーザの一例）の手Ｈ１であるか同乗者Ｕ２（第２のユーザの一例）の手Ｈ２であるかを特定可能である。また、操作制御部４１ｃは、ドライバＵ１の手Ｈ１によるジェスチャを特定した場合は、ドライバＵ１に許可される複数種別の操作を規定した第１操作パターンＰＡに基づいて当該ジェスチャに対応する操作を特定し、同乗者Ｕ２の手Ｈ２によるジェスチャを特定した場合は、同乗者Ｕ２に許可される複数種別の操作を規定した第２操作パターンＰＢに基づいて当該ジェスチャに対応する操作を特定する。また、第１操作パターンＰＡと第２操作パターンＰＢとは、少なくとも一部が異なる。この構成によれば、ユーザの種別に応じて設定された操作を適切に特定することができる。

（２−２）また、投影部は、ドライバＵ１の手Ｈ１に第１の色を有する第１色画像Ｃａ１を投影し、同乗者Ｕ２の手Ｈ２に第１の色とは異なる第２の色を有する第２色画像Ｃａ２を投影する。この構成によれば、複数のユーザＵの各々が自身で操作可能な対象を把握することができる。

（２−３）また、操作装置１００が備える表示部３０は、第１対象画像Ｄ１を第１の色と同色又は関連する色を含む態様で表示し、第２対象画像Ｄ２を第２の色と同色又は関連する色を含む態様で表示する。この構成によれば、ユーザＵは、より直感的に操作可能な対象を把握することができる。

（２−４）具体的に、検出部４１ａは、検出領域Ａｄのうち第１の領域Ａ１で検出した手ＨをドライバＵ１の手Ｈ１と特定し、検出領域Ａｄのうち第１の領域Ａ１とは異なる第２の領域Ａ２で検出した手Ｈを同乗者Ｕ２の手Ｈ２と特定することができる。

（３−１）操作装置１００において、投影部は、操作制御部４１ｃがジェスチャに対応する操作を特定した場合、手Ｈ及び対象部の一方から他方へと向かう軌跡状の軌跡画像Ｃｅを投影する。対象部は、操作対象、又は、操作対象と関連する関連部（例えば、対象画像Ｄ）である。この構成によれば、ユーザＵに操作した対象を容易に把握させることができる。

（３−２）投影部は、操作制御部４１ｃがジェスチャに対応する操作を特定した場合、手Ｈから対象部へ向かう第１軌跡画像Ｃｅ１を投影した後に、対象部から手Ｈへ向かう第２軌跡画像Ｃｅ２を投影可能である。

（３−３）具体的に、投影部は、操作制御部４１ｃによって特定された操作が操作対象に反映された場合に第２軌跡画像Ｃｅ２を投影する。この構成によれば、操作が反映されたことを直感的にユーザＵに把握させることができる。

（３−４）投影部は、操作制御部４１ｃが特定したジェスチャに対応する操作が、予め定められた種別の特別操作である場合に軌跡画像Ｃｅを投影し、特別操作でない場合には軌跡画像Ｃｅを投影しない。この構成によれば、必要性の高い操作に関する報知を軌跡画像Ｃｅで直感的に行うことができる。また、あらゆる操作時に軌跡画像Ｃｅが投影され、ユーザＵに煩わしさを与えてしまうことを抑制することができる。

（３−５）関連部は、車両１内の表示部３０に表示された画像であって、操作対象に関する情報を示す対象画像Ｄであってもよい。

以上の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略した。

１…車両、２…センターコンソール、３…ダッシュボード、４…運転席、５…助手席
Ｕ…ユーザ、Ｕ１…ドライバ、Ｕ２…同乗者、Ｈ，Ｈ１，Ｈ２…手
１００…操作装置
１０…非接触式センサ、２０…プロジェクタ、３０…表示部
４０…制御装置、４１…制御部、４２…記憶部
４１ａ…検出部
４１ｂ…ジェスチャ特定部
４１ｃ…操作制御部
４１ｄ…投影制御部
４１ｅ…表示制御部
Ａｄ…検出領域、Ａ１…第１の領域、Ａ２…第２の領域
Ａｐ…投影領域
Ｂ…区分線
Ｃａ…第１画像、Ｃａ１…第１色画像、Ｃａ２…第２色画像
Ｃｂ…第２画像
Ｃｃ…操作有効画像
Ｃｄ…操作無効画像
Ｃｅ…軌跡画像、Ｃｅ１…第１軌跡画像、Ｃｅ２…第２軌跡画像
Ｄ…対象画像、Ｄ１…第１対象画像、Ｄ２…第２対象画像

Claims (4)

1. 非接触式センサからの情報に基づいて、乗り物内に予め設定された検出領域においてユーザの部位を検出する検出部と、
   前記検出部が検出した前記部位によるジェスチャを特定するジェスチャ特定部と、
   前記ジェスチャ特定部が特定した前記ジェスチャに対応する操作を特定し、特定した操作の内容を示す情報を操作対象へ出力する操作制御部と、を備え、
   前記検出部は、前記部位が第１のユーザの部位であるか第２のユーザの部位であるかを特定可能であり、
   前記操作制御部は、
   前記第１のユーザの部位によるジェスチャを特定した場合は、前記第１のユーザに許可される複数種別の操作を規定した第１操作パターンに基づいて当該ジェスチャに対応する操作を特定し、
   前記第２のユーザの部位によるジェスチャを特定した場合は、前記第２のユーザに許可される複数種別の操作を規定した第２操作パターンに基づいて当該ジェスチャに対応する操作を特定し、
   前記第１操作パターンと前記第２操作パターンとは、少なくとも一部が異なる、
   操作装置。
2. 前記乗り物内に存在する物体に画像を投影可能な投影部をさらに備え、
   前記投影部は、前記第１のユーザの部位に第１の色を有する第１色画像を投影し、前記第２のユーザの部位に前記第１の色とは異なる第２の色を有する第２色画像を投影する、
   請求項１に記載の操作装置。
3. 前記第１操作パターンに規定された操作の対象に関する情報を示す第１対象画像、及び、前記第２操作パターンに規定された操作の対象に関する情報を示す第２対象画像を表示可能な表示部をさらに備え、
   前記表示部は、
   前記第１対象画像を前記第１の色と同色又は関連する色を含む態様で表示し、
   前記第２対象画像を前記第２の色と同色又は関連する色を含む態様で表示する、
   請求項２に記載の操作装置。
4. 前記検出部は、
   前記検出領域のうち第１の領域で検出した前記部位を前記第１のユーザの部位と特定し、
   前記検出領域のうち前記第１の領域とは異なる第２の領域で検出した前記部位を前記第２のユーザの部位と特定する、
   請求項１乃至３のいずれか１項に記載の操作装置。

Images