JP2016029532A - ユーザインターフェース - Google Patents

Abstract

【課題】より簡便な手段で離れた位置にある機器を操作することを可能とするユーザインターフェースを提供することである。
【解決手段】ユーザインターフェース１０は、ユーザ６が手を差し出す操作空間に、複数のスイッチ画像１５を投影する投影部１２と、複数のスイッチ画像１５が投影される操作空間の画像を得る検出部１４と、複数のスイッチ画像１５のうちの１つのスイッチ画像がユーザ６の手に映し出された状態において、ユーザ６による所定の応答がなされたことを検出し、この応答がなされたときに、１つのスイッチ画像に対応する操作を実行する制御部１６と、を備える。
【選択図】図１

Description

本発明は、ユーザインターフェースに関する。

従来、自動車のフロントパネルには、オーディオやカーナビゲーションシステム等の機器が取り付けられており、運転手等がこれらの機器を操作している。後部座席に座っている乗員は、これらの機器から離れているため、操作しづらい状況にある。

ここで、特許文献１には、被写体像を撮像する電子カメラと、この被写体像のジェスチャーを検出するジェスチャー検出装置と、ジェスチャー検出装置によって検出されたジェスチャーからコマンドを決定する制御部と備えたユーザインターフェース装置が開示されている。このような装置によれば、ユーザが機器から離れたところにいても機器を操作することができる。

特開２０１３−１９６４８２号公報

例えば、後部座席において、乗員のジェスチャーによって上記機器の操作が可能となることが望ましいが、特許文献１のようなユーザインターフェースを用いた場合には、様々なジェスチャーや複雑な操作を覚える必要があり不便である。

本発明の目的は、より簡便な手段で、離れた位置にある機器を操作することを可能とするユーザインターフェースを提供することである。

本発明に係るユーザインターフェースは、ユーザが手を差し出す操作空間に、複数のスイッチ画像を投影する投影部と、前記複数のスイッチ画像が投影される操作空間の画像を得る検出部と、前記複数のスイッチ画像のうちの１つのスイッチ画像がユーザの手に映し出された状態において、ユーザによる所定の応答がなされたことを検出し、前記応答がなされたときに、前記１つのスイッチ画像に対応する操作を実行する制御部と、を備えることを特徴とする。

また、本発明に係るユーザインターフェースにおいて、前記応答は、手を握る動作であることが好ましい。

また、本発明に係るユーザインターフェースでおいて、前記操作空間は、車両内の後部座席に着座しているユーザの大腿部上の空間であることが好ましい。

上記構成によれば、複数のスイッチ画像のうち、所望の操作に対応するスイッチ画像を選択し、ユーザの所定の応答によって、機器を操作することができる。これにより、複雑な操作を覚える必要がなく、簡単に操作することができる。

本発明に係る実施形態のユーザインターフェースを備えた自動車の後部座席を示す図である。 本発明に係る実施形態のユーザインターフェースの投影部から複数のスイッチ画像が映し出されている様子を示す図である。 本発明に係る実施形態において、複数のスイッチ画像が切り替えられた様子を示す図である。 本発明に係る実施形態のユーザインターフェースを用いて自動車の機器を操作する手順を示すフローチャートである。

以下に図面を用いて本発明に係る実施の形態につき、詳細に説明する。また、以下では、全ての図面において対応する要素には同一の符号を付し、重複する説明を省略する。

図１は、ユーザインターフェース１０を備えた自動車８の後部座席を示す図である。ユーザインターフェース１０は、自動車８の天井部に取り付けられている。ユーザインターフェース１０は、投影部１２と、検出部１４と、制御部１６とを備える。投影部１２は、いわゆるプロジェクターであり、供給される画像信号に基づいた画像を投影する。検出部１４は、ＣＭＯＳカメラなどの撮像装置であり、画像が投影された部位を含む所定範囲を撮影する。制御部１６は、マイクロコンピュータなどで構成され、投影部１２において投影される映像信号を提供すると共に、検出部１４から供給される画像認識をするとともに、各種機器の操作信号を生成する。

図２は、投影部１２から複数のスイッチ画像１５が映し出されている様子を示す図である。投影部１２は、自動車８の後部座席に着座している乗員（ユーザ）６が大腿部７上に手を差し出したときに、大腿部７上の所定の領域に３×３の行列配置で設けられる複数のスイッチ画像１５を投影するプロジェクターである。このように、差し出した手には対応するスイッチ画像が表示され、他のスイッチ画像は下の方に表示される。また、腕にも画像は映し出されるが、検出部１４は手の部分に映し出されたスイッチ画像を認識する。なお、図２においては、下の方のスイッチ画像１５が平面上に映し出されている状態を示しているが、実際には、乗員の大腿部上、座席上、床上に表示され、それぞれ高さが異なるので、このような表示とはならない。

投影部１２は、乗員６の大腿部７上の操作開始可能空間（操作空間）内において、乗員６の手が差し出されたときに、手のひら上に１つのスイッチ画像が映し出されるように、かつ、１つのスイッチ画像が通常の人の手の大きさより若干小さくなるようにレンズの倍率や焦点等のパラメータが予め調整されている。操作開始可能空間は、例えば、大腿部７上において、高さが約３００ｍｍ、幅（車両の横方向）が約８００ｍｍ、奥行き（車両の前後方向）が約４００ｍｍの空間領域に設定することができる。また、１つのスイッチ画像は、隣のスイッチ画像からある程度離れている必要があり、高さ方向の真ん中において表示される画像を対象として、１つのスイッチ画像に対し１００ｍｍ□の領域を割り当て、その領域の中心部の４０ｍｍ□にスイッチ画像を表示するとよい。
例えば、３×３＝９個のスイッチ画像を表示する場合であれば、横方向には余裕があるため、横方向のスイッチ画像をより離れて表示してもよい。乗員６は、１つのスイッチ画像が映し出されるようにする必要があり、乗員によって手の大きさも異なるが、手の高さを変更することでスイッチ画像の大きさを調整できる。また、スイッチ画像の大きさを段階的に複数用意し、子供用などスイッチ画像の大きさを選択できるようにしてもよい。

検出部１４は、得られた画像信号を制御部１６に供給する。制御部１６は、検出部１４から送られて来る画像から、手を画像認識する。例えば、乗員が手を上に向けて差し出し、手のひらの画像を認識することを前提とすることが好適である。これによって、意図せずに手が操作開始可能空間に入った場合を除外することができる。なお、手の甲も対象としてもよい。
そして、制御部１６は、画像処理によって、検出された手の位置に基づいて複数のスイッチ画像１５のうちの１つのスイッチ画像が選択されたこと検出し、さらに、乗員６の手を用いた所定の応答、例えばジェスチャーがなされたことを検出する。ここで、スイッチ画像の選択は、乗員６の手に１つのスイッチ画像が映し出されていることを確認することであり、所定の時間（例えば、１〜数秒）、手が停止していることで、乗員６の選択の意思を推定し、そのときの手の画像の位置からどのスイッチ画像が選択されたかを決定する。また、制御部１６は、画像中の手の動きによって所定の応答（例えば、ジェスチャー）を認識する。所定のジェスチャーとは、例えば乗員６の手のひらを天井部に向けた状態で手を握る動作を意味するが、もちろん、その他のジェスチャーでもよい。例えば、親指を曲げたり、手首を捻るような動作も対象とすることができる。

このように、制御部１６は、検出部１４が撮像した画像についての画像処理を行い、乗員６の手を検出する。画像処理は、例えば、撮像した画像の中から肌色に近い色を抽出し、その色の形が手の形に近似しているか否かの判断とできる。この際、手を開いて上を向いていることなどを前提とすれば、乗員６の手の認識が容易となる。また、制御部１６は、検出された手がスイッチ画像と比較して大きく、手に複数のスイッチ画像が映し出された状態では、スイッチ画像が選択されたと判断しない。すなわち、手の大きさが適切であるか否かを判断する。さらに、制御部１６は、上記画像処理によって認識された乗員６の手の動きが予めデータベースに登録されたジェスチャーの動きに一致するか否かについても判断する。

制御部１６は、乗員６の手が操作開始可能空間に入って一定期間停止したと判断されたときに、複数のスイッチ画像１５が投影されるように投影部１２を制御する。また、制御部１６は、検出部１４によって１つのスイッチ画像が選択され、上記ジェスチャーがなされたことが判断されたときに、そのジェスチャーが行われたスイッチ画像に対応する操作を実行する。

図３は、複数のスイッチ画像１５が乗員６の手によって切り替えられた様子を示す図である。例えば、図３（ａ）に示されるＨＯＭＥ画面において、照明スイッチ２０の領域内で手を用いたジェスチャーがなされたとする。この場合、照明スイッチ２０が操作されたと判断され、制御部１６は、車内ルームランプ（不図示）のＯＮ／ＯＦＦ切替のスイッチ画像が表示されるように投影部１２を制御する。その後、乗員６の手を用いた同様のジェスチャーを行って、ルームランプの切り替え操作を行うことができる。

また、図３（ａ）に示されるＨＯＭＥ画面において、Ａｕｄｉｏスイッチ２１が操作された場合には、制御部１６は、図３（ｂ）に示されるＡＵＤＩＯ画面が表示されるように投影部１２を制御する。

ＡＵＤＩＯ画面において、ＣＤスイッチ２４が操作された場合には、制御部１６は、図３（ｃ）に示されるＣＤ画面が表示されるように投影部１２を制御する。ＣＤ画面では、再生スイッチ２６、一時停止スイッチ２８、早送りスイッチ３０等を操作することができる。これらを操作することで、ＣＤに録音された音楽の再生、一時停止等の操作が可能となる。また、図３（ｂ）〜（ｄ）に示される画面において、ＨＯＭＥスイッチ３２を操作した場合には、制御部１６は、図３（ａ）に示されるＨＯＭＥ画面が表示されるように投影部１２を制御する。

ＨＯＭＥ画面において、Ｈ／Ｃスイッチ２２が操作された場合には、図３（ｄ）に示されるＨ／Ｃ画面が表示されるように投影部１２を制御する。この画面においては、車内エアコンのＯＮ／ＯＦＦ切替スイッチ３４や風量調整スイッチ３６，３８、温度調整スイッチ４０，４２が表示されて、手を用いたジェスチャーによってエアコンのＯＮ／ＯＦＦ，風量調整、温度調整が操作可能となる。

続いて、上記構成のユーザインターフェース１０の動作について説明する。図４は、ユーザインターフェース１０を用いて、自動車８の機器を操作する手順を示すフローチャートである。

最初に、乗員６の手が操作開始可能空間内に入ったか否かが判断される（Ｓ２）。この工程で、手が操作開始可能空間内に入っていないと判断されれば、再びＳ２の工程へと戻る。なお、Ｓ２の工程でＮＯの場合、再度の判定は所定時間経過後にしてもよい。

Ｓ２の工程で手が操作開始可能空間内に入ったと判断されれば、手が操作開始可能空間内で一定時間停止したか否かを判定する（Ｓ４）。この工程で、手が一定時間停止していないと判断されれば、再びＳ４の工程へと戻る。所定時間手の停止を検出できなかった場合には、処理を終了して、Ｓ２の判定に戻ってもよい。

Ｓ４の工程で手が一定時間停止したと判断されれば、乗員６の大腿部７上の所定の領域において、１つのスイッチ画像の大きさが手のひらより小さくなるように複数のスイッチ画像１５を投影する（Ｓ６）。

Ｓ６の工程の後は、再び、乗員６の手が操作開始可能空間内にあるか否かを判断する（Ｓ８）。これは、手がこの空間内になければ、以下の処理を行っても仕方がないからである。この工程において、手が操作開始可能空間内にないと判断された場合は、ＥＮＤ処理を行う。

Ｓ８の工程において、手が操作開始可能空間内にあると判断された場合は、手の大きさが適切であるか否かを判断する（Ｓ１０）。手の大きさが適切な大きさであれば、手に１つのスイッチ画像が投影されていると推定される。この工程において、手の大きさが適切でないと判断された場合には、スイッチ画像の選択が行われていないと判断し、ＥＮＤ処理を行う。

Ｓ１０の工程において、手の大きさか適切であると判断された場合には、ジェスチャーが行われたか否かを判断する（Ｓ１２）。この工程において、ジェスチャーが行われていないと判断された場合には、再びＳ１２の工程へと戻る。なお、所定の時間内にＳ１２においてＹＥＳの判定が行われなければ、処理を終了するとよい。

Ｓ１２の工程において、ジェスチャーが行われたと判断された場合には、手の位置を検出する（Ｓ１４）。すなわち、手の位置によって、手に映し出されているスイッチ画像が確定できる。このため、その後、特定された手の位置のスイッチ画像に対応した機能を実行し（Ｓ１６）、再びＳ８の工程へと戻る。例えば、次の画面表示に移り、次の選択を受け付ける。そして、最終的な選択が入力された場合には、対応する機能（各種機器の操作）を行い、この処理を終了する。なお、手の位置によっては、対応するスイッチ画像を決定できない場合もある。その場合には、Ｓ８や、Ｓ１０に戻ることが好適である。

このように、ユーザインターフェース１０によれば、乗員６の大腿部７上に投影された複数のスイッチ画像１５において、手を所望のスイッチ画像に移動させ、手を握る動作をするだけで機能を実行することができる。したがって、後部座席に着座している乗員６は、複雑な動作を覚える必要なく、各機器を操作することができる。
ここで、上述の説明では、スイッチ画像の選択の際の乗員６の動作として、手の動きによるジェスチャーを採用した。しかし、ジェスチャーはこれに限定されない。例えば、乗員が「ハイ」、「選択」などの音声を発することを音声認識してもよいし、ＯＫボタンを適当な箇所に設置してこれを操作させてもよい。音声による場合には、スピーカから「＊＊＊のスイッチが選択されました。ＯＫであればハイといってください。」などの音声を出力し、この応答を音声認識してもよい。
また、図４のフローチャートでは、ジェスチャーを検出した後、手の位置を検出したが、先に手の位置を検出してもよい。
このように、本実施形態では、検出部１４にて撮像した画像中の手の位置から、どのスイッチ画像が選択されたかを判定する。従って、乗員６は、自分の手を動かしながら、その手に映し出されるスイッチ画像を決定すれば、操作を決定することができる。従って、どのような動作をしなければいけないかについて、覚える必要がなく、選択が非常に容易となる。
また、上述の実施形態では、車両の車室内後部座席における操作について説明したが、美術館など各所において、ユーザに何かを選択してもらう場合に対応することが可能である。

６ 乗員、７ 大腿部、８ 自動車、１０ ユーザインターフェース、１２ 投影部、１４ 検出部、１５ スイッチ画像、１６ 制御部、２０ 照明スイッチ、２１ Ａｕｄｉｏスイッチ、２２ Ｈ／Ｃスイッチ、２４ ＣＤスイッチ、２６ 再生スイッチ、２８ 一時停止スイッチ、３０ 早送りスイッチ、３２ ＨＯＭＥスイッチ、３４ 切替スイッチ、３６，３８ 風量調整スイッチ、４０，４２ 温度調整スイッチ。

Claims (3)

1. ユーザが手を差し出す操作空間に、複数のスイッチ画像を投影する投影部と、
   前記複数のスイッチ画像が投影される操作空間の画像を得る検出部と、
   前記複数のスイッチ画像のうちの１つのスイッチ画像がユーザの手に映し出された状態において、ユーザによる所定の応答がなされたことを検出し、前記応答がなされたときに、前記１つのスイッチ画像に対応する操作を実行する制御部と、
   を備えることを特徴とするユーザインターフェース。
2. 請求項１に記載のユーザインターフェースにおいて、
   前記応答は、手を握る動作であることを特徴とするユーザインターフェース。
3. 請求項１または請求項２に記載のユーザインターフェースにおいて、
   前記操作空間は、車両内の後部座席に着座しているユーザの大腿部上の空間であることを特徴とするユーザインターフェース。

Images