JP2013147091A

JP2013147091A - 操作装置

Info

Publication number: JP2013147091A
Application number: JP2012007808A
Authority: JP
Inventors: Tsuneyuki Yamamoto; 恒行山本
Original assignee: Tokai Rika Co Ltd
Current assignee: Tokai Rika Co Ltd
Priority date: 2012-01-18
Filing date: 2012-01-18
Publication date: 2013-08-01

Abstract

【課題】認知負荷及び操作負荷が小さく、誤操作を軽減することができる操作装置を提供する。
【解決手段】スイッチ装置１は、主に、複数の表示領域と、複数の表示領域ごとに割り当てられた機能を実行するために操作されるダイヤルＳＷ３と、ダイヤルＳＷ３を操作する操作者を撮像するカメラ４と、カメラ４が撮像した画像に基づいて操作者の視線を算出する視線算出部５と、複数の表示領域のうち、視線算出部５により算出された視線が交わる表示領域に割り当てられた機能をダイヤルＳＷ３によって操作可能となるように制御する制御部６と、を備えて概略構成されている。
【選択図】図１

Description

本発明は、操作装置に関する。

従来の技術として、ダイヤルスイッチの中心部に設けられたシーソーノブを軸方向に押し込むことによってエアコンの動作態様を順に切り替えることができるエアコンの操作スイッチが知られている（例えば、特許文献１参照。）。

この操作スイッチは、ダイヤルスイッチの外周縁部に設けられたダイヤルノブを回転させることによって、シーソーノブで切り替えられた動作態様のレベルを決定することができる。

特開２００９−２３４３４３号公報

しかし、従来の操作スイッチは、動作態様を切り替えるためにシーソーノブを操作しなければならず、操作負荷が大きい。また従来の操作スイッチは、どの動作態様に切り替わっているのかが分かり難いので誤操作をし易く、また誤操作を防止するための確認動作によって認知負荷が大きくなる。

従って、本発明の目的は、認知負荷及び操作負荷が小さく、誤操作を軽減することができる操作装置を提供することにある。

本発明の一態様は、複数の表示領域と、複数の表示領域ごとに割り当てられた機能を実行するために操作される操作部と、操作部を操作する操作者を撮像する撮像部と、撮像部が撮像した画像に基づいて操作者の視線を算出する視線算出部と、複数の表示領域のうち、視線算出部により算出された視線が交わる表示領域に割り当てられた機能を操作部によって操作可能となるように制御する制御部と、を備えた操作装置を提供する。

本発明によれば、認知負荷及び操作負荷が小さく、誤操作を軽減することができる。

図１（ａ）は、実施の形態に係るスイッチ装置が搭載された車両内部の概略図であり、（ｂ）は、スイッチ装置の正面図である。図２は、実施の形態に係るスイッチ装置のブロック図である。図３（ａ）は、実施の形態に係る操作者の目の検出を説明するための眼球周りの模式図であり、（ｂ）は、検出点を算出するためのシステムを説明するための模式図である。図４（ａ）〜（ｃ）は、実施の形態に係る操作装置の動作を説明するための概略図である。図５は、実施の形態に係る操作装置の動作を説明するためのフローチャートである。

（実施の形態の要約）
実施の形態に係る操作装置は、複数の表示領域と、複数の表示領域ごとに割り当てられた機能を実行するために操作される操作部と、操作部を操作する操作者を撮像する撮像部と、撮像部が撮像した画像に基づいて操作者の視線を算出する視線算出部と、複数の表示領域のうち、視線算出部により算出された視線が交わる表示領域に割り当てられた機能を操作部によって操作可能となるように制御する制御部と、を備える。

[実施の形態]
（スイッチ装置１の構成）
図１（ａ）は、実施の形態に係るスイッチ装置が搭載された車両内部の概略図であり、（ｂ）は、スイッチ装置の正面図である。図２は、実施の形態に係るスイッチ装置のブロック図である。なお、実施の形態に係る各図において、部品と部品との比率は、実際の比率とは異なる場合がある。また図面に描かれたアイコンに施された斜線は、当該アイコンが他の部分よりも輝度が高い状態であることを示している。つまり、操作者から見ると、当該アイコンが他の領域よりも光っているように見える。

スイッチ装置１（操作装置）は、例えば、図１（ａ）に示すように、車両９のセンターコンソール９０に配置されている。このスイッチ装置１は、一例として、車両９に搭載された空調装置（エアコン）を操作することができる操作装置である。

スイッチ装置１は、例えば、空調装置の３つのモードを操作することが可能である。この３つのモードは、例えば、空調装置から送出される空気の量を設定する風量調整モード、空気の温度を設定する温度調整モード、及び空気が吹き出す吹出口を切り替える吹出口切替モードである。なお、モードの数は、これに限定されず、例えば、さらに表示部２をさらに複数に分割して、３つ以上のモードに対応させても良い。

スイッチ装置１は、主に、後述する複数の表示領域と、複数の表示領域ごとに割り当てられた機能を実行するために操作される操作部としてのダイヤルＳＷ３と、ダイヤルＳＷ３を操作する操作者を撮像する撮像部としてのカメラ４と、カメラ４が撮像した画像に基づいて操作者の視線を算出する視線算出部５と、複数の表示領域のうち、視線算出部５により算出された視線が交わる表示領域に割り当てられた機能をダイヤルＳＷ３によって操作可能となるように制御する制御部６と、を備えて概略構成されている。

このスイッチ装置１の複数の表示領域のそれぞれは、視線が交わる前の表示状態である後述する第１の表示状態と、視線が交わった後の表示状態である後述する第２の表示状態と、を備えている。

スイッチ装置１は、さらに操作者によるダイヤルＳＷ３の接触を検出する検出部としてのタッチセンサ３４を備え、制御部６は、タッチセンサ３４によって接触が検出されたことをきっかけ（トリガ）としてカメラ４及び視線算出部５を制御して視線を算出させる。

ここで本実施の形態における複数の表示領域とは、一例として、表示部２の表示画面２０を分割した表示領域を示すものとする。つまり、複数の表示領域は、例えば、図１（ｂ）に示すように、風量調整モード判定エリア２２ａ、温度調整モード判定エリア２４ａ及び吹出口切替モード判定エリア２６ａの３つの判定エリアのことを示している。なお、複数の表示領域は、例えば、１つの表示部を分割した表示領域に限定されず、それぞれが単独の表示部であっても良いし、表示部と、表示部を分割した領域と、の組み合わせでも良い。

（表示部２の構成）
表示部２は、例えば、車両９のセンターコンソール９０に配置されている。この表示部２は、例えば、ＴＦＴ（Thin Film Transistor）等の液晶ディスプレイを用いて構成されている。

表示部２は、例えば、図２に示すように、制御部６に電気的に接続されている。表示部２は、制御部６から出力される表示信号に基づいて表示画面２０に画像を表示するように構成されている。

表示部２は、例えば、図２に示すように、表示画面２０の左側に風量表示部２２、右側に温度表示部２４、下側に吹出口表示部２６を有し、表示画面２０が３つに、仮想的に分割されている。

風量表示部２２には、例えば、図１（ｂ）に示すように、風量アイコン２２０が表示されている。この風量アイコン２２０は、例えば、長さの異なる矩形状の画像が６つ並んで表示されたものであり、長さが長いほど、設定された風量（設定値）が大きいことを示している。

この風量の設定は、例えば、図１（ｂ）に示すように、ノブ３０を矢印Ａ方向に操作すると風量が小さくなり、矢印Ｂ方向に操作すると風量が大きくなるように行われる。なお、図１（ｂ）では、紙面左側から３つ目までのアイコンが光っている。この状態が、例えば、第１の表示状態であり、中程度の風量が送出されていることを示している。

この風量表示部２２を囲うように点線で示された風量調整モード判定エリア２２ａは、例えば、操作者が風量表示部２２を見ているか否かを判定する際に用いられるものである。

温度表示部２４には、例えば、図１（ｂ）に示すように、温度アイコン２４０が表示されている。この温度アイコン２４０は、例えば、数字の画像であり、表示された数字は、現在の設定温度（設定値）を示している。温度アイコン２４０は、例えば、常に光った状態であり、これが、温度調整モードにおける第１の表示状態である。この設定温度の設定は、例えば、図１（ｂ）に示すように、ノブ３０を矢印Ａ方向に操作すると設定温度が低くなり、矢印Ｂ方向に操作すると設定温度が高くなるように行われる。

この温度表示部２４を囲うように点線で示された温度調整モード判定エリア２４ａは、例えば、操作者が温度表示部２４を見ているか否かを判定する際に用いられるものである。

吹出口表示部２６には、例えば、図１（ｂ）に示すように、吹出口アイコン２６０〜吹出口アイコン２６３が表示されている。この吹出口アイコン２６０〜吹出口アイコン２６３は、例えば、どの吹出口から温度調整された空気が吹き出すのかを表現した画像である。

吹出口アイコン２６０は、例えば、乗員の足元に温度調整された空気が吹き出すことを示している。吹出口アイコン２６１は、例えば、乗員の上部に温度調整された空気が吹き出すことを示している。吹出口アイコン２６２は、例えば、乗員の足元と上部に温度調整された空気が吹き出すことを示している。吹出口アイコン２６３は、例えば、乗員の足元とフロントガラスに温度調整された空気が吹き出すことを示している。図１（ｂ）では、吹出口アイコン２６１が四角で囲まれ、かつ、吹出口アイコン２６１に斜線が施されて、現在、吹出口アイコン２６１が選択されている様子を示しており、これが、吹出口切替モードにおける第１の表示状態である。

この吹出口（設定値）の切り替えは、例えば、図１（ｂ）に示すように、ノブ３０を矢印Ａ方向に操作すると吹出口アイコンが右から左に順番に切り替わると共に吹出口が切り替わり、矢印Ｂ方向に操作すると吹出口アイコンが左から右に順番に切り替わると共に吹出口が切り替わる。

この吹出口表示部２６を囲うように点線で示された吹出口切替モード判定エリア２６ａは、例えば、操作者が吹出口表示部２６を見ているか否かを判定する際に用いられるものである。

（ダイヤルＳＷ３の構成）
ダイヤルＳＷ３は、回転操作によって選択されたモードの設定値を変更することができるように構成されている。

このダイヤルＳＷ３は、例えば、ノブ３０と、回転量検出部３２と、を備えて概略構成されている。

ノブ３０は、例えば、円筒型であり、矢印Ａ方向（図１（ｂ）の紙面において反時計回りの方向）、及び矢印Ｂ方向（時計回りの方向）に回転操作可能に構成されている。

回転量検出部３２は、例えば、ノブ３０の操作量、すなわち回転量を検出して操作信号を出力するように構成されている。

（タッチセンサ３４の構成）
タッチセンサ３４は、例えば、図１（ｂ）に示すように、ノブ３０の内側に設けられている。このタッチセンサ３４は、例えば、電極を有し、操作者の手と電極とによって形成される静電容量を検出してタッチ信号を出力するように構成されている。なお、タッチセンサ３４は、静電容量型のタッチセンサに限定されず、他の動作原理で動作するタッチセンサ、及び把持することによってオンする物理的スイッチ等であっても良い。

（カメラ４の構成）
カメラ４は、例えば、図１（ｂ）に示すように、操作者の視線の検出を容易にするため、ノブ３０の周囲に配置されている。カメラ４は、例えば、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子を用いたものである。

このカメラ４は、例えば、視線算出部５に画像情報を出力するように構成されている。なお、カメラ４の撮像は、例えば、クロック信号の周期に合わせて行われる。よって、視線の検出は、例えば、カメラ４の撮像間隔に応じた周期で行われるものとする。

（視線算出部５の構成）
図３（ａ）は、実施の形態に係る操作者の目の検出を説明するための眼球周りの模式図であり、（ｂ）は、検出点を算出するためのシステムを説明するための模式図である。本実施の形態に係る視線検出の方法は、一例として、プルキニエ像４２を用いた周知の方法を用いる。

視線算出部５は、例えば、近赤外線を眼球４０に照射し、角膜表面での反射光（プルキニエ像４２）及び瞳孔４１の位置から視線４３と表示部２の表示画面２０を含む平面２００との交点である検出点を算出するように構成されている。なお、この平面２００の面積は、例えば、視線算出部５の処理速度が著しく低下しない程度に設定されることが好ましい。また、操作者の顔に近赤外線を照射する照射部（図示せず）は、例えば、車両９のステアリングコラム等に配置される。

具体的には、視線算出部５は、取り込んだ画像４００を類似輝度の領域別にセグメント化し、セグメント化された各領域の中から瞳孔領域を領域形状からパターンマッチング法等を用いて決定する。

次に、視線算出部５は、瞳孔の輪郭集合に対して誤差二乗和最小による楕円近似を行って楕円中心を求める。

次に、視線算出部５は、求めた楕円中心から一定範囲内を対象としてプルキニエ像４２の検出を行う。このプルキニエ像４２の中心座標は、得られた領域の重心である。

次に、視線算出部５は、得られた瞳孔４１及びプルキニエ像４２から視線４３の算出を行う。以下では、この算出について説明する。

図３（ｂ）に示す画像座標系（Ｘ_ｂＹ_ｂ座標系）における座標は、例えば、世界座標系（ＸＹＺ系座標）のＺ座標が既知であるとき、画像座標系の座標を世界座標系の座標に変換することが可能となる。また、カメラ座標系（ｘ_ａｙ_ａｚ_ａ座標系）における角膜曲率中心をプルキニエ像４２から求める。そして、視線算出部５は、カメラ座標系における角膜曲率中心と瞳孔中心の座標を算出し、各座標を世界座標系の座標に座標変換して世界座標系における視線ベクトルを求める。視線算出部５は、この視線ベクトルを平面２００に射影することで、平面２００上の検出点の座標を求めている。なお、視線検出の方法は、上記の例に限定されず、目の位置や顔の回転角度等から検出点を算出する方法等の周知の方法が適用可能である。

視線算出部５は、検出点の座標の情報を視線情報として制御部６に出力する。

（制御部６の構成）
制御部６は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工等を行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等から構成されるマイクロコンピュータである。ＲＡＭは、例えば、一時的に演算結果等を格納する記憶領域として用いられる。なお、ＲＡＭは、例えば、メモリ７として用いられても良い。

また制御部６は、例えば、現在選択されているモードの情報、及び回転量検出部３２から取得した操作信号に基づいて操作情報を生成し、出力する。この操作情報を取得した操作対象となる電子機器は、例えば、操作情報に基づいて、選択されたモードの設定値を変更する。

（メモリ７の構成）
メモリ７は、例えば、半導体メモリを用いて構成される。このメモリ７は、例えば、機能情報７０が格納されている。この機能情報７０は、例えば、車両９に搭載された電子機器の情報であり、表示部２に表示させる画像、表示されたアイコンに割り当てられた機能等の情報である。制御部６は、例えば、この機能情報７０に基づいて、モードの切替、及び設定値の変更を行う。

以下では、本実施の形態に係るスイッチ装置１の動作を、図５のフローチャートに従って説明する。

（動作）
図４（ａ）〜（ｃ）は、実施の形態に係る操作装置の動作を説明するための概略図である。図５は、実施の形態に係る操作装置の動作を説明するためのフローチャートである。ここでは、空調装置の設定温度を調整するための動作について説明する。

車両９の電源が投入されると、スイッチ装置１が起動する（Ｓ１）。スイッチ装置１は、例えば、図１（ｂ）に示すように、設定温度が２７℃の状態で起動するものとする。

ステップ２において、「Ｙｅｓ」が成立する、つまり、図４（ａ）に示すように、操作者がノブ３０に接触すると（Ｓ２：Ｙｅｓ）、接触を検出したタッチセンサ３４は、制御部６に接触を検出したことを示すタッチ信号を出力する。

次に、制御部６は、取得したタッチ信号に基づいてカメラ４を制御するカメラ制御信号、及び視線算出部５を制御する制御信号を出力する。

次に、カメラ４は、カメラ制御信号に基づいて操作者の撮像を行い（Ｓ３）、画像情報を視線算出部５に出力する。

次に、視線算出部５は、取得した画像情報に基づいて視線を算出する（Ｓ４）。視線算出部５は、算出した視線の検出点を含む視線情報を制御部６に出力する。

次に、制御部６は、取得した視線情報に基づいて操作者の視線（検出点）がどのエリアと交わるか判定する。

次に、制御部６は、まず、検出点が表示画面２０内の判定エリアに存在するか否かを判定する。制御部６は、検出点がいずれかの判定エリア内に存在するとき（Ｓ５：Ｙｅｓ）、検出点が温度調整モード判定エリア２４ａに存在するか否かを判定する。

次に、制御部６は、検出点が温度調整モード判定エリア２４ａ内に存在するとき（Ｓ６：Ｙｅｓ）、温度調整モードに切り替える（Ｓ７）。このとき、制御部６は、表示部２を制御して、図４（ｂ）に示すように、ダイヤルＳＷ３で操作可能となるモード、すなわち温度調整モードに切り替わったことを示すため、温度アイコン２４０を強調表示させる。この強調表示が、例えば、第２の表示状態である。またこの強調表示は、例えば、他のアイコンと比べて強く光る表示、又は他のアイコンと異なる色となる表示等である。

次に、図４（ｃ）に示すように、操作者が設定温度を下げるためにノブ３０を矢印Ａ方向に回転させると、ノブ３０の回転を検出した回転量検出部３２が、ノブ３０の回転量に応じた操作信号を制御部６に出力する。制御部６は、操作信号に基づいて表示信号を表示部２に出力し、操作に応じて表示を切り替えさせる（Ｓ８）と共に、操作情報を生成して出力する。

ここで、ステップ５において、制御部６は、視線の検出点がいずれかの判定エリアに存在しないとき（Ｓ５：Ｎｏ）、ステップ２に進んで、ノブ３０に接触があるか否かを確認する。

また、ステップ６において、制御部６は、視線の検出点が風量調整モード判定エリア２２ａに存在するか否かを判定する。制御部６は、検出点が風量調整モード判定エリア２２ａ内に存在するとき（Ｓ９：Ｙｅｓ）、風量調整モードに切り替える（Ｓ１０）。このとき、制御部６は、表示部２を制御して、ダイヤルＳＷ３で操作可能となる風量調整モードに切り替わったことを示すため、風量アイコン２２０を強調表示させる。この強調表示が、例えば、第２の表示状態である。

ここで、ステップ９において、制御部６は、検出点が風量調整モード判定エリア２２ａ内に存在しないとき（Ｓ９：Ｎｏ）、吹出口切替モードに切り替える（Ｓ１１）。このとき、制御部６は、表示部２を制御して、ダイヤルＳＷ３で操作可能となる吹出口切替モードに切り替わったことを示すため、一例として、吹出口アイコン２６０〜吹出口アイコン２６３を強調表示させる。この強調表示が、例えば、第２の表示状態である。なお、強調表示は、現在選択されている吹出口アイコンのみに実行されても良い。

（実施の形態の効果）
実施の形態に係るスイッチ装置１は、認知負荷及び操作負荷が小さく、誤操作を軽減することができる。具体的には、スイッチ装置１は、視線が平面２００と交わる検出点が、判定エリアに存在すると、アイコンの表示状態を第１の表示状態から第２の表示状態として強調表示するので、操作者は、どのモードが操作可能となっているのかを認知し易いので認知負荷が小さい。

またスイッチ装置１は、検出点が判定エリア内に存在することで、モードを切り替えることができるので、ボタン等を選択することによりモードを切り替える場合と比べて、操作負荷が小さい。

さらにスイッチ装置１は、現在のモードに対応してアイコンの表示状態が、第１の表示状態とは異なる第２の表示状態となるので、認知し易いため、誤操作を軽減することができる。

このスイッチ装置１は、カメラ４が表示部２の近傍に配置されているので、表示部２に移動する操作者の視線を検出し易い。

なお、変形例として、カメラ４の配置は、特に複数の表示部がある場合などは、運転中の操作者の顔を正面から撮像し易いステアリングコラム等に配置されても良い。

なお、上記の実施の形態では、スイッチ装置１が制御する電子機器は、空調装置であったが、これに限定されず、音楽再生装置、カーナビゲーション装置等であっても良く、さらに車載される電子機器でなくても良い。

以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…スイッチ装置
２…表示部
３…ダイヤルＳＷ
４…カメラ
５…視線算出部
６…制御部
７…メモリ
９…車両
２０…表示画面
２２…風量表示部
２２ａ…風量調整モード判定エリア
２４…温度表示部
２４ａ…温度調整モード判定エリア
２６…吹出口表示部
２６ａ…吹出口切替モード判定エリア
３０…ノブ
３２…回転量検出部
３４…タッチセンサ
４０…眼球
４１…瞳孔
４２…プルキニエ像
４３…視線
７０…機能情報
９０…センターコンソール
２００…平面
２２０…風量アイコン
２４０…温度アイコン
２６０…吹出口アイコン
２６１…吹出口アイコン
２６２…吹出口アイコン
２６３…吹出口アイコン
４００…画像

Claims

複数の表示領域と、
前記複数の表示領域ごとに割り当てられた機能を実行するために操作される操作部と、
前記操作部を操作する操作者を撮像する撮像部と、
前記撮像部が撮像した画像に基づいて前記操作者の視線を算出する視線算出部と、
前記複数の表示領域のうち、前記視線算出部により算出された視線が交わる表示領域に割り当てられた機能を前記操作部によって操作可能となるように制御する制御部と、
を備えた操作装置。
前記複数の表示領域のそれぞれは、前記視線が交わる前の表示状態である第１の表示状態と、前記視線が交わった後の表示状態である第２の表示状態と、を備える請求項１に記載の操作装置。
さらに前記操作者による前記操作部の接触を検出する検出部を備え、
前記制御部は、前記検出部によって前記接触が検出されたことをきっかけとして前記撮像部及び前記視線算出部を制御して前記視線を算出させる請求項２に記載の操作装置。
前記撮像部は、前記操作部の周囲に配置される請求項１乃至３のいずれか１項に記載の操作装置。