JP2017084220A - 操作装置、制御方法、プログラム及び記憶媒体 - Google Patents
操作装置、制御方法、プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2017084220A JP2017084220A JP2015213940A JP2015213940A JP2017084220A JP 2017084220 A JP2017084220 A JP 2017084220A JP 2015213940 A JP2015213940 A JP 2015213940A JP 2015213940 A JP2015213940 A JP 2015213940A JP 2017084220 A JP2017084220 A JP 2017084220A
- Authority
- JP
- Japan
- Prior art keywords
- line
- unit
- sight
- area
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Navigation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】操作者が意図する操作対象に対する操作を好適に受け付けることが可能な操作装置を提供する。【解決手段】車載機1は、タッチパッド3を操作する操作者の視線を検知し、ディスプレイ44に表示される複数の選択項目のうち、操作者の視線が所定時間以上向けられた選択項目を、操作候補であると推定する。そして、車載機1は、推定した操作候補に対応する分割操作領域の面積を初期設定から変更する。【選択図】図1
Description
本発明は、操作者が意図する操作を的確に受け付ける手法に関する。
従来から、操作者の視線に基づき操作者の選択操作を支援する技術が知られている。例えば、特許文献1には、ディスプレイの画面に表示されたオブジェクト画像を選択する情報処理装置において、ユーザの視線上にあるオブジェクト画像が選択されやすくなるように選択基準を変更する技術が開示されている。
表示物と操作対象とが別体となるシステムでは、操作者が操作対象への操作を行う際には視線が表示物から外れる。一方、特許文献1に記載の技術は、表示物と操作対象とが操作者の視線の延長線上にあるという前提の下に成り立っているため、このような場合には適用できない。
本発明の解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、操作者が意図する操作対象に対する操作を好適に受け付けることが可能な操作装置を提供することを目的とする。
請求項1に記載の発明は、操作装置であって、出力される複数の操作対象ごとに対応する操作領域を備える操作部と、前記操作対象を操作する操作者の視線を検知する視線検知部と、前記複数の操作対象のうち、前記視線検知部が検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から変更する制御部と、を備えることを特徴とする。
また、請求項12に記載の発明は、出力される複数の操作対象ごとに対応する操作領域を備える操作部を備える操作装置が実行する制御方法であって、前記操作対象を操作する操作者の視線を検知する視線検知工程と、前記複数の操作対象のうち、前記視線検知工程で検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から変更する制御工程と、を有することを特徴とする。
また、請求項13に記載の発明は、出力される複数の操作対象ごとに対応する操作領域を備える操作部から電気信号を受信するコンピュータが実行するプログラムであって、前記操作対象を操作する操作者の視線を検知する視線検知部と、前記複数の操作対象のうち、前記視線検知部が検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から変更する制御部として前記コンピュータを機能させることを特徴とする。
本発明の好適な実施形態では、操作装置は、出力される複数の操作対象ごとに対応する操作領域を備える操作部と、前記操作対象を操作する操作者の視線を検知する視線検知部と、前記複数の操作対象のうち、前記視線検知部が検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から変更する制御部と、を備える。
上記操作装置は、操作部と、視線検知部と、制御部とを備える。操作部は、出力される複数の操作対象ごとに対応する操作領域を備える。視線検知部は、操作対象を操作する操作者の視線を検知する。制御部は、複数の操作対象のうち、視線検知部が検知した操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定する。そして、制御部は、推定した操作候補に対応する操作部の操作領域の面積を初期設定から変更する。この態様により、操作装置は、操作者の視線に基づき操作される操作候補を的確に推定し、操作者が意図した操作ができるように操作領域の面積を適切に定めることができる。
上記操作装置の一態様では、前記制御部は、前記操作対象を表示する表示部に前記視線が向けられてから離れるまでの期間において、前記視線が最後に前記所定時間以上向けられた操作対象を、前記操作候補であると推定する。この態様により、操作装置は、操作者の視線に基づき操作される操作候補をより的確に推定することができる。
上記操作装置の他の一態様では、前記制御部は、前記操作候補を推定した際、前記操作候補を強調して出力する。この態様により、操作装置は、推定した操作候補を好適に操作者に視認させることができる。
上記操作装置の他の一態様では、前記制御部は、前記操作候補に対応する前記操作部の操作領域と異なる他の操作領域を操作不能とする。この態様により、操作装置は、操作者が意図しない操作を誤って検知するのを好適に抑制することができる。
上記操作装置の他の一態様では、操作装置は、前記操作者が、前記制御部が推定した前記操作候補に対応する前記操作部の操作領域を所定時間以内に押圧したかを検知する操作決定部をさらに備える。
上記操作装置の他の一態様では、前記操作決定部は、前記操作者が、前記制御部が推定した前記操作候補に対応する前記操作部の操作領域を所定時間以内に押圧しなかった場合、前記操作候補に対応する前記操作部の操作領域の面積を前記初期設定に戻す。この態様により、操作装置は、操作と関係ない視線検知に基づき変更された操作領域の面積を好適に元に戻すことができる。
上記操作装置の他の一態様では、操作装置は、地図及び前記操作対象を表示する表示部と、前記制御部が推定した前記操作候補に対応する前記操作部の操作領域が所定圧力以上で押圧されたことを検知した際に、前記操作者が前記操作候補を選択したと判定し、前記所定圧力未満での接触を検知した際に、前記地図に対する操作が行われたと判定する操作決定部と、をさらに備える。この態様では、操作装置は、地図に対する操作と、操作対象に対する操作とを好適に識別してそれぞれの操作を受け付けることができる。
上記操作装置の他の一態様では、前記操作決定部は、前記操作者が、前記制御部が推定した前記操作候補に対応する前記操作部の操作領域を所定圧力未満で押圧したことを検知した際に、前記操作候補に対応する前記操作部の操作領域の面積を前記初期設定に戻す。この態様により、操作対象に対する操作が意図されていない場合に操作領域の面積を好適に初期設定の状態に戻すことができる。
上記操作装置の他の一態様では、操作装置は、移動体に搭載される。好適には、前記操作部は、前記移動体のステアリングに設けられる。
上記操作装置の他の一態様では、前記操作対象は、前記視線上において前記操作部と重ならない位置に表示される。この態様によっても、操作装置は、操作者の視線に基づき操作される操作候補を的確に推定し、操作者が意図した操作ができるように操作領域の面積を変更することができる。
本発明の他の好適な実施形態では、出力される複数の操作対象ごとに対応する操作領域を備える操作部を備える操作装置が実行する制御方法であって、前記操作対象を操作する操作者の視線を検知する視線検知工程と、前記複数の操作対象のうち、前記視線検知工程で検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から変更する制御工程と、を有する。操作装置は、この制御方法を実行することで、操作者の視線に基づき操作される操作候補を的確に推定し、操作者が意図した操作ができるように操作領域の面積を適切に定めることができる。
本発明の他の好適な実施形態では、出力される複数の操作対象ごとに対応する操作領域を備える操作部から電気信号を受信するコンピュータが実行するプログラムであって、前記操作対象を操作する操作者の視線を検知する視線検知部と、前記複数の操作対象のうち、前記視線検知部が検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から変更する制御部として前記コンピュータを機能させる。コンピュータは、このプログラムを実行することで、操作者の視線に基づき操作される操作候補を的確に推定し、操作者が意図した操作ができるように操作領域の面積を適切に定めることができる。好適には、上記プログラムは、記録媒体に記録されている。
以下、図面を参照して本発明の好適な実施例について説明する。
[操作システムの概要]
図1は、実施例に係る操作システム100の概要図である。操作システム100は、車両Veの室内に設置された車載機1と、視線検知用カメラ2と、ステアリング(ハンドル)に設けられたタッチパッド3とを有する。操作システム100は、タッチパッド3による車載機1への操作を好適に受け付ける。
図1は、実施例に係る操作システム100の概要図である。操作システム100は、車両Veの室内に設置された車載機1と、視線検知用カメラ2と、ステアリング(ハンドル)に設けられたタッチパッド3とを有する。操作システム100は、タッチパッド3による車載機1への操作を好適に受け付ける。
車載機1は、出発地から目的地までのルート案内を行うナビゲーション機能などを有し、ディスプレイ44に地図などを表示する。車載機1は、タッチパッド3と有線又は無線により電気的に接続し、ユーザのタッチ位置を示す検出信号(「検出信号Sd」とも呼ぶ。)を受信する。また、車載機1は、視線検知カメラ2と有線又は無線により電気的に接続し、視線検知用カメラ2から画像(「カメラ画像Im」とも呼ぶ。)を受信する。
車載機1は、所定のタイミングにおいて、タッチパッド3の操作により選択可能な複数の選択項目(「選択項目Si」とも呼ぶ。)をディスプレイ44上に表示し、タッチパッド3から受信した検出信号Sdに基づき、表示した選択項目Siのうちいずれが選択されたかを認識し、選択された選択項目Siに対応する動作を実行する。このとき、車載機1は、運転者の視線方向上の選択項目Siを特定し、特定した選択項目Siに対応するタッチパッド3の操作領域を大きくすることで操作性を向上させる。車載機1は、例えば、車両Veに設置される据え置き型のナビゲーション装置であってもよく、PND(Portable Navigation Device)などの携帯型端末であってもよい。車載機1及び後述するタッチパッド3は、本発明における「操作装置」の一例である。
視線検知カメラ2は、運転者の顔が撮影範囲となる位置に設置され、生成したカメラ画像Imを車載機2へ送信する。視線検知用カメラ2は、可視光を捉える一般的なカメラであってもよく、LED照射機能がついた赤外線カメラであってもよい。カメラ画像Imは、運転者の視線方向を検出するのに用いられる。
タッチパッド3(ステアリングリモコン)は、車両Veのステアリング(ハンドル)に設けられた操作用インタフェースであり、車載機2と電気的に接続している。タッチパッド3は、図4に図示するタッチ位置検出装置6を有し、ユーザのタッチ位置を検出する。タッチパッド3は、検出したタッチ位置の座標(「タッチ座標」とも呼ぶ。)を示す検出信号Sdを生成し、車載機1に供給する。本実施例では、タッチパッド3は、ディスプレイ44に表示された選択項目Siを選択する操作を受け付ける。以後では、選択項目Siを選択する操作を受け付けるタッチパッド3の検出領域を「操作領域T」と呼び、対応付けられた選択項目Siごとに操作領域を分割した場合の分割領域の各々を「分割操作領域Td」とも呼ぶ。後述するように、各選択項目Siに対応する分割操作領域Tdの大きさは、運転者が視線を向けた選択項目Siによって変動する。なお、タッチパッド3は本発明における「操作部」の一例、操作領域Tは本発明における「操作領域」の一例、選択項目Siは「操作対象」の一例である。
図2は、車載機1のディスプレイ44の表示画面の一例である。図2の表示画面では、車載機1は、現在位置周辺の地図を表示させると共に、4つの選択項目Si(Si1〜Si4)を示したウィンドウ8をポップアップ表示させている。この例では、車載機1は、所定のタイミングで自動選択したお薦めの4つの楽曲のそれぞれに対応した選択項目Si1〜Si4を、ウィンドウ8上に表示させている。なお、図2の例では、選択項目Si1〜Si4は、同一形状の枠により区切られて表示されている。この場合、車載機1は、タッチパッド3から供給される検出信号Sdに基づきタッチ位置を認識し、認識したタッチ位置が属する分割操作領域Tdに対応する選択項目Siの楽曲を再生させる。この場合、後述するように、車載機1は、カメラ画像Imに基づき認識した運転者の視線方向に応じ、各分割操作領域Tdの大きさを決定する。
[車載機の構成]
図3は、車載機1が一般的なナビゲーション装置である場合の車載機1の概略構成を示す。図3に示すように、車載機1は、自立測位装置10、GPS受信機18、システムコントローラ20、ディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、通信装置38、表示ユニット40、音声出力ユニット50及び入力装置60を備える。
図3は、車載機1が一般的なナビゲーション装置である場合の車載機1の概略構成を示す。図3に示すように、車載機1は、自立測位装置10、GPS受信機18、システムコントローラ20、ディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、通信装置38、表示ユニット40、音声出力ユニット50及び入力装置60を備える。
自立測位装置10は、加速度センサ11、角速度センサ12及び距離センサ13を備える。加速度センサ11は、例えば圧電素子からなり、車両の加速度を検出し、加速度データを出力する。角速度センサ12は、例えば振動ジャイロからなり、車両の方向変換時における車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ13は、車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。
GPS受信機18は、複数のGPS衛星から、測位用データを含む下り回線データを搬送する電波19を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置を検出するために用いられる。
システムコントローラ20は、インタフェース21、CPU22、ROM23及びRAM24を含んでおり、車載機1全体の制御を行う。
インタフェース21は、加速度センサ11、角速度センサ12及び距離センサ13並びにGPS受信機18とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、GPS測位データ、絶対方位データ等をシステムコントローラ20に入力する。CPU22は、システムコントローラ20全体を制御する。ROM23は、システムコントローラ20を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。RAM24は、入力装置60を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、CPU22に対してワーキングエリアを提供したりする。
システムコントローラ20、CD−ROMドライブ又はDVD−ROMドライブなどのディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、表示ユニット40、音声出力ユニット50及び入力装置60は、バスライン30を介して相互に接続されている。
ディスクドライブ31は、システムコントローラ20の制御の下、CD又はDVDといったディスク33から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ31は、CD−ROMドライブ又はDVD−ROMドライブのうち、いずれか一方としてもよいし、CD及びDVDコンパチブルのドライブとしてもよい。
データ記憶ユニット36は、例えば、HDDなどにより構成され、地図データなどのナビゲーション処理に用いられる各種データを記憶する。通信装置38は、例えば、FMチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、通信用インタフェース37を介して、VICS(登録商標、Vehicle Information Communication System)センタから配信される渋滞や交通情報などの道路交通情報、その他の情報を受信する。
表示ユニット40は、システムコントローラ20の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ20は、データ記憶ユニット36から地図データを読み出す。表示ユニット40は、システムコントローラ20によってデータ記憶ユニット36から読み出された地図データを、ディスプレイなどの表示画面上に表示する。表示ユニット40は、バスライン30を介してCPU22から送られる制御データに基づいて表示ユニット40全体の制御を行うグラフィックコントローラ41と、VRAM(Video RAM)等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ42と、グラフィックコントローラ41から出力される画像データに基づいて、液晶、CRT(Cathode Ray Tube)等のディスプレイ44を表示制御する表示制御部43と、ディスプレイ44とを備える。ディスプレイ44は、例えば対角5〜10インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。
音声出力ユニット50は、システムコントローラ20の制御の下、ディスクドライブ31、若しくはRAM24等からバスライン30を介して送られる音声デジタルデータのD/A変換を行うD/Aコンバータ51と、D/Aコンバータ51から出力される音声アナログ信号を増幅する増幅器(AMP)52と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ53とを備えて構成されている。
入力装置60は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置60は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ44の周囲に配置される。また、ディスプレイ44がタッチパネル方式である場合には、ディスプレイ44の表示画面上に設けられたタッチパネルも入力装置60として機能する。
なお、CPU22は、予めROM23などに記憶されたプログラムを実行することにより、本発明の「視線検知部」、「制御部」、「操作決定部」、及び本発明のプログラムを実行する「コンピュータ」として機能する。
[操作検知処理]
次に、本実施例における操作検知処理について説明する。
次に、本実施例における操作検知処理について説明する。
(1)機能ブロック
図4は、操作システム100の操作検知処理に係る機能ブロック図を示す。図示のように、車載機1のCPU22は、機能的には、視線検知部5Aと、タッチパッド領域分割決定部5Bと、動作決定部5Cとを有する。
図4は、操作システム100の操作検知処理に係る機能ブロック図を示す。図示のように、車載機1のCPU22は、機能的には、視線検知部5Aと、タッチパッド領域分割決定部5Bと、動作決定部5Cとを有する。
視線検知部5Aは、車載機1が視線検知用カメラ2から受信したカメラ画像Imを公知の視線認識技術に基づき解析することで、運転者の視線を検出する。この場合、視線検知部5Aは、例えば、カメラ画像Imから公知の画像認識技術に基づき運転者の顔及び目の表示領域を抽出し、抽出した領域から虹彩、瞳孔、又は/及び角膜反射の位置を検出することで、運転者の視線方向を特定する。視線検知部5Aは、特定した運転者の視線方向に関する情報(「視線情報Ie」とも呼ぶ。)を、タッチパッド領域分割決定部5Bへ供給する。
タッチパッド領域分割決定部5Bは、運転者が選択する選択項目Si及び押圧する分割操作領域Tdを視線情報Ieに基づき予測し、予測結果に応じて各選択項目Siに対応する分割操作領域Tdの範囲を決定する。本実施例では、タッチパッド領域分割決定部5Bは、運転者がディスプレイ44に視線を向けてからディスプレイ44から視線をそらすまでの期間(「ディスプレイ注視期間」とも呼ぶ。)において、所定時間(例えば100ミリ秒)以上継続して視線が向けられた選択項目Siが存在する場合に、当該選択項目Siに対応する分割操作領域Tdを運転者が選択すると予測する。上述の所定時間は、視線を横切らせた場合に視線が選択項目Siを通過する時間よりも長い時間に、実験等に基づき設定される。このように、タッチパッド領域分割決定部5Bは、上述の所定時間を閾値として設けることで、単に視線を横切らせた場合に視線が通過した選択項目Siに対応する分割操作領域Tdを、予測対象から好適に除外する。
なお、タッチパッド領域分割決定部5Bは、ディスプレイ注視期間中に複数の選択項目Siが所定時間以上視線を向けられたと判断した場合には、最後に所定時間以上視線を向けられた選択項目Siに対応する分割操作領域Tdを、運転者が選択すると予測する。一般的に、複数の選択項目Siから1つの選択項目Siを選択する場合、次に選択する選択項目Siを最後に注視する傾向がある。よって、タッチパッド領域分割決定部5Bは、この態様により、運転者が選択すると予測される分割操作領域Tdを的確に予測することができる。
そして、タッチパッド領域分割決定部5Bは、運転者が選択すると予測した選択項目Siに対応する分割操作領域Tdを大きくするように、操作領域Tの分割設定を行う。そして、タッチパッド領域分割決定部5Bは、操作領域Tの分割設定に関する情報(「分割設定情報Is」とも呼ぶ。)を動作決定部5Cに供給する。
ここで、分割操作領域Tdの範囲の決定方法について、図5を参照して説明する。図5(A)は、図2に示す4つの選択項目Si1〜Si4の表示が行われた際の初期状態におけるタッチパッド3での操作領域Tの分割設定を示す図である。ここでは、操作領域T内の各位置を示すタッチ座標は、左上隅を原点(0,0)とし、右下隅を(1000,700)とする矩形の2次元座標空間により表されている。また、左上の分割操作領域Td1は、図2の左上の選択項目Si1「1.XXXXXX」に対応し、右上の分割操作領域Td2は、図2の右上の選択項目Si2「2.YYYYYY」に対応し、左下の分割操作領域Td3は、図2の左下の選択項目Si3「3.ZZZZZZ」に対応し、右下の分割操作領域Td4は、図2の右下の選択項目Si4「4.VVVVVV」に対応する。
図5(A)に示すように、初期状態における各分割操作領域Td1〜Td4は、全て合同であり、面積が等しい。具体的には、各分割操作領域Td1〜Td4は、全て横幅が「500」、縦幅が「350」の矩形領域となっている。
図5(B)は、運転者がディスプレイ注視期間において、図2の選択項目Si1を200ミリ秒、選択項目Si2を200ミリ秒、選択項目Si4を20ミリ秒だけ視線を順に向けた場合の各分割操作領域Tdの割り当てを示す図である。この場合、タッチパッド領域分割決定部5Bは、所定時間(ここでは100ミリ秒とする)以上視線が向けられた選択項目Si1、Si2のうち、最後に所定時間以上視線が向けられた選択項目Si2に対応する分割操作領域Td2が選択されると予測する。よって、図5(B)の例では、タッチパッド領域分割決定部5Bは、分割操作領域Td2を、縦横ともに「100」だけ初期状態よりも拡大させている。また、タッチパッド領域分割決定部5Bは、分割操作領域Td2の拡大に伴い、他の分割操作領域Tdである分割操作領域Td1、Td3、Td4を、分割操作領域Td2の拡大領域と重なる領域分だけ減少させている。図5(B)では、分割操作領域Td1は横幅が「100」だけ初期状態よりも減少し、分割操作領域Td4は縦幅が「100」だけ初期状態よりも減少し、分割操作領域Td3は右上隅の縦横「100」の矩形領域分だけ初期状態よりも減少している。
次に、再び図4を参照して動作決定部5Cについて説明する。動作決定部5Cは、タッチパッド領域分割決定部5Bが生成した分割設定情報Isと、タッチパッド3のタッチ位置検出装置6が生成する検出信号Sdとに基づき、選択された分割操作領域Tdを特定する。そして、動作決定部5Cは、特定した分割操作領域Tdに対応する選択項目Siが選択されたと判断し、選択項目Siに対応する動作を実行するように、表示ユニット40や音声出力ユニット50を制御する。具体的には、動作決定部5Cは、タッチ位置検出装置6が生成する検出信号Sdをタッチパッド3から受信した場合に、検出信号Sdが示すタッチ座標が属する分割操作領域Tdを、分割設定情報Isを参照することで特定する。そして、動作決定部5Cは、検出信号Sdが示すタッチ座標が属する分割操作領域Tdに対応する選択項目Siを、実行対象として認識する。
好適には、動作決定部5Cは、タッチパッド領域分割決定部5Bが分割設定情報Isを生成してから所定時間(例えば5秒)以上経過しても検出信号Sdを受信しない場合には、操作領域Tの分割設定を、図5(A)に示す初期状態に戻すとよい。これにより、動作決定部5Cは、操作と関連しない運転者のディスプレイ44への注視が行われた場合であっても、操作領域Tの分割設定を初期設定に戻し、操作の誤検知を好適に防ぐことができる。
(2)処理フロー
図6は、本実施例に係る操作検知処理の手順を示すフローチャートである。車載機1は、図6に示すフローチャートの処理を、システムの起動後であって、図2に示すような選択項目Siの選択画面を表示した場合に実行する。
図6は、本実施例に係る操作検知処理の手順を示すフローチャートである。車載機1は、図6に示すフローチャートの処理を、システムの起動後であって、図2に示すような選択項目Siの選択画面を表示した場合に実行する。
まず、車載機1のタッチパッド領域分割決定部5Bは、各分割操作領域Tdの範囲を定める操作領域Tの分割設定を、図5(A)に示す初期設定にする(ステップS101)。次に、車載機1の視線検知部5Aは、カメラ画像Imを視線検知用カメラ2から取得する(ステップS102)。そして、視線検知部5Aは、カメラ画像Imを公知の視線認識技術により解析することで、運転者の視線を検知する(ステップS103)。この場合、視線検知部5Aは、例えば、車両Ve内での運転者の目の位置及び視線方向を算出し、これらの情報を視線情報Ieとしてタッチパッド領域分割決定部5Bへ供給する。
次に、タッチパッド領域分割決定部5Bは、ステップS103で視線検知部5Aが検出した視線がディスプレイ44に向けられているか否か判定する(ステップS104)。この場合、タッチパッド領域分割決定部5Bは、例えば、視線情報Ieと、予め記憶した車両Ve内での車載機1の設置位置の情報及びディスプレイ44の車載機1内での配置の情報とに基づき、視線方向上にディスプレイ44が存在するか否か判定する。そして、タッチパッド領域分割決定部5Bは、視線がディスプレイ44に向けられていると判断した場合(ステップS104;Yes)、ディスプレイ44上での各選択項目Siの表示位置の情報に基づき、視線が向けられたディスプレイ44上の選択項目Siを特定する(ステップS105)。そして、ステップS102へ処理を戻す。このように、タッチパッド領域分割決定部5Bは、ディスプレイ注視期間では、視線が向けられた選択項目Siを特定する処理を繰り返し実行し、ディスプレイ注視期間での視線先の選択項目Siについての時系列情報を蓄積する。
一方、タッチパッド領域分割決定部5Bは、視線がディスプレイ44に向けられていないと判断した場合(ステップS104;No)、ディスプレイ注視期間が終了したと判断し、当該ディスプレイ注視期間中にステップS105で蓄積した情報に基づき、選択される分割操作領域Tdの予測を行う(ステップS106)。具体的には、タッチパッド領域分割決定部5Bは、ディスプレイ注視期間中に所定時間以上視線が向けられた選択項目Siのうち最後に視線が所定時間以上向けられた選択項目Siに対応する分割操作領域Tdを、運転者が押圧する分割操作領域Tdとして予測する。これにより、タッチパッド領域分割決定部5Bは、分割操作領域Tdを押圧する前に最後に注視した選択項目Siに対応する分割操作領域Tdを、運転者が押圧する分割操作領域Tdとして予測する。
次に、タッチパッド領域分割決定部5Bは、運転者が押圧する分割操作領域Tdを予測できたか否か判定する(ステップS107)。即ち、タッチパッド領域分割決定部5Bは、ディスプレイ注視期間中に所定時間以上視線が向けられた選択項目Siが存在したか否か判定する。そして、タッチパッド領域分割決定部5Bは、運転者が押圧する分割操作領域Tdを予測できた場合(ステップS107;Yes)、押圧が予測される分割操作領域Tdを拡大した操作領域Tの分割設定を行う(ステップS108)。そして、タッチパッド領域分割決定部5Bは、ステップS108での設定内容を示す分割設定情報Isを動作決定部5Cへ供給する。これにより、押圧が予測される分割操作領域Tdを選択しやすくし、運転者が運転操作によりタッチパッド3を注視できない状態でタッチパッド3を操作する場合であっても、操作の誤検知を好適に抑制することができる。
なお、タッチパッド領域分割決定部5Bは、ステップS108の処理を、運転者がタッチパッド3へ視線を向けたと判断したときに実行してもよい。このように、タッチパッド領域分割決定部5Bは、運転者がタッチパッド3を今から操作すると判断できた状況に限り、押圧が予測される分割操作領域Tdを拡大した操作領域Tの分割設定を行ってもよい。
一方、タッチパッド領域分割決定部5Bは、運転者が押圧する分割操作領域Tdを予測できない場合(ステップS107;No)、直近のディスプレイ注視期間ではいずれの選択項目Siも注視されていないと判断し、ステップS102へ処理を戻す。
ステップS108での操作領域Tの分割設定後、動作決定部5Cは、タッチパッド3がタッチ検出したか否か判定する(ステップS109)。具体的には、動作決定部5Cは、タッチパッド3から車載機1が検出信号Sdを受信したか否か判定する。そして、動作決定部5Cは、タッチパッド3によるタッチ検出があった場合(ステップS109;Yes)、検出信号Sdに基づきタッチ位置(即ちタッチ座標)を特定する(ステップS110)。そして、動作決定部5Cは、分割設定情報Isを参照することで、ステップS110で特定したタッチ座標が属する分割操作領域Tdを特定し、特定した分割操作領域Tdに対応する選択項目Siを、実行すべき選択項目Siとして決定する(ステップS111)。そして、動作決定部5Cは、表示ユニット40や音声出力ユニット50を制御することで、ステップS111で決定した選択項目Siに応じた動作の実行を行う(ステップS112)。
一方、動作決定部5Cは、タッチ検出が行われていないと判断した場合(ステップS109;No)、ステップS108での操作領域Tの分割設定後から5秒以上経過したか否か判定する(ステップS113)。そして、動作決定部5Cは、ステップS108での操作領域Tの分割設定後から5秒以上経過したと判断した場合(ステップS113;Yes)、操作領域Tの分割設定を初期設定に戻す(ステップS114)。即ち、この場合、動作決定部5Cは、直前のディスプレイ注視期間で検出した視線に連動したタッチパッド3の操作は行われなかったと判断する。この場合、ステップS102へ再び処理を戻す。一方、動作決定部5Cは、ステップS108での操作領域Tの分割設定後から5秒以上経過していない場合(ステップS113;No)、直前のディスプレイ注視期間で検出した視線に連動したタッチパッド3の操作が行われる可能性があると判断し、ステップS109で引き続きタッチパッド3によるタッチ検出を行う。
以上説明したように、本実施例に係る車載機1は、タッチパッド3を操作する操作者の視線を検知し、ディスプレイ44に表示される複数の選択項目Siのうち、操作者の視線が所定時間以上向けられた選択項目Siを、操作候補であると推定する。そして、車載機1は、推定した操作候補に対応する分割操作領域Tdの面積を初期設定から変更する。これにより、車載機1は、操作者が運転中であってタッチパッド3を注視できない状況であっても、操作者の意図する選択項目Siに対する動作を好適に実行することができる。
[変形例]
以下、実施例の各変形例について説明する。なお、これらの各変形例は、組み合わせて上述の実施例に適用してもよい。
以下、実施例の各変形例について説明する。なお、これらの各変形例は、組み合わせて上述の実施例に適用してもよい。
(変形例1)
車載機1は、図6のステップS111において、実行すべき選択項目Siを決定する場合、ステップS108で拡大させた分割操作領域Td以外の分割操作領域Tdへのタッチ操作を無効(即ち操作不能)に設定してもよい。即ち、この場合、車載機1は、ステップS110において、押圧が予測される分割操作領域Td以外の分割操作領域Td内のタッチ位置を検出した場合であっても、当該分割操作領域Tdに対応する選択項目Siに応じた動作を実行しない。これにより、車載機1は、タッチパッド3への操作の誤検知をより確実に抑制することができる。
車載機1は、図6のステップS111において、実行すべき選択項目Siを決定する場合、ステップS108で拡大させた分割操作領域Td以外の分割操作領域Tdへのタッチ操作を無効(即ち操作不能)に設定してもよい。即ち、この場合、車載機1は、ステップS110において、押圧が予測される分割操作領域Td以外の分割操作領域Td内のタッチ位置を検出した場合であっても、当該分割操作領域Tdに対応する選択項目Siに応じた動作を実行しない。これにより、車載機1は、タッチパッド3への操作の誤検知をより確実に抑制することができる。
(変形例2)
タッチパッド3は、選択項目Siを選択する用途に限定されない。これに加えて、タッチパッド3は、ディスプレイ44に表示された地図の拡大、縮小、スクロール等の各種操作を受け付けるものであってもよい。
タッチパッド3は、選択項目Siを選択する用途に限定されない。これに加えて、タッチパッド3は、ディスプレイ44に表示された地図の拡大、縮小、スクロール等の各種操作を受け付けるものであってもよい。
この場合、例えば、車載機1は、所定圧力以上で押圧されたことをタッチパッド3が検知した場合に限り、選択項目Siを選択する操作(入力)が行われたと判断し、上記の所定圧力未満での接触をタッチパッド3が検知した場合には、ディスプレイ44に表示した地図に対する操作であると判断する。この場合、検出信号Sdには、タッチ位置の座標情報に加えて、接触圧力の情報が含まれており、車載機1は、検出信号Sdに基づきタッチパッド3への接触圧力が所定圧力以上であるか否かの判定を行う。このようにすることで、車載機1は、地図に対する操作と、選択項目Siの選択に関する操作との両方を好適にタッチパッド3により受け付けることができる。
好適には、車載機1は、所定圧力未満でのタッチパッド3へのタッチ操作が行われたと判断した場合、即ち地図に対する操作が行われたと判断した場合には、操作領域Tの分割設定を初期設定に戻すとよい。これにより、選択項目Siを選択する意思が運転者にない場合に、操作領域Tの分割設定を初期設定に戻すことができる。
なお、車載機1は、タッチパッド3への押圧圧力に基づき地図に対する操作と選択項目Siの選択に関する操作とを識別する代わりに、タッチパッド3への接触時間又は接触回数等に基づき、これらの操作を識別してもよい。例えば、車載機1は、タッチパッド3への接触時間が所定時間未満となる接触を検知した場合、又は短時間で複数回の接触を検知した場合には、選択項目Siの選択に関する操作であると判定する。一方、車載機1は、タッチパッド3への接触時間が所定時間以上となる接触を検知した場合、又は短時間での連続接触を検知しない場合には、地図に対する操作であると判定する。このように、車載機1は、タッチパッド3への接触時間又は接触回数等によっても、地図に対する操作と選択項目Siの選択に関する操作とを好適に識別することができる。
(変形例3)
図6のステップS107において、車載機1は、押圧される分割操作領域Tdが予測できた場合には、当該分割操作領域Tdに対応するディスプレイ44上の選択項目Siを強調表示させてもよい。
図6のステップS107において、車載機1は、押圧される分割操作領域Tdが予測できた場合には、当該分割操作領域Tdに対応するディスプレイ44上の選択項目Siを強調表示させてもよい。
図7は、本変形例に係るディスプレイ44の表示例を示す。図7の例では、選択項目Si2に運転者の視線が向けられた結果、車載機1は、対応する図5(B)に示す分割操作領域Td2が押圧されると予測し、当該分割操作領域Td2が拡大するように操作領域Tの分割設定を行っている。この場合、車載機1は、押圧されると予測した分割操作領域Td2に対応する選択項目Si2を拡大表示すると共に縁取り効果を施すことで、強調している。この態様によれば、運転者は、車載機1による予測結果を視覚的に確認することができる。例えば、運転者は、選択しようとした選択項目Siと異なる選択項目Siが強調表示されていた場合には、図6のステップS113に基づき5秒経過してから再び意中の選択項目Siに視線を向けることで、誤操作を防ぐことができる。
(変形例4)
実施例では、選択項目Si及び分割操作領域Tdはそれぞれ4つであった。しかし、本発明に適用可能な選択項目Si及び分割操作領域Tdの個数は4つに限られず、2以上の任意の数であればよい。また選択項目Si及び分割領域Tdの配置についても、実施例に限られるものではなく2以上の任意の数があればどのような配置であってもよい。この場合であっても、各選択領域Siは、いずれかの分割操作領域Tdと対応関係を有する。
実施例では、選択項目Si及び分割操作領域Tdはそれぞれ4つであった。しかし、本発明に適用可能な選択項目Si及び分割操作領域Tdの個数は4つに限られず、2以上の任意の数であればよい。また選択項目Si及び分割領域Tdの配置についても、実施例に限られるものではなく2以上の任意の数があればどのような配置であってもよい。この場合であっても、各選択領域Siは、いずれかの分割操作領域Tdと対応関係を有する。
1 車載機
2 視線検知カメラ
3 タッチパッド
5A 視線検知部
5B タッチパッド領域分割決定部
5C 動作決定部
2 視線検知カメラ
3 タッチパッド
5A 視線検知部
5B タッチパッド領域分割決定部
5C 動作決定部
Claims (14)
- 出力される複数の操作対象ごとに対応する操作領域を備える操作部と、
前記操作対象を操作する操作者の視線を検知する視線検知部と、
前記複数の操作対象のうち、前記視線検知部が検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から変更する制御部と、
を備えることを特徴とする操作装置。 - 前記制御部は、前記操作対象を表示する表示部に前記視線が向けられてから離れるまでの期間において、前記視線が最後に前記所定時間以上向けられた操作対象を、前記操作候補であると推定することを特徴とする請求項1に記載の操作装置。
- 前記制御部は、前記操作候補を推定した際、前記操作候補を強調して出力することを特徴とする請求項1または2に記載の操作装置。
- 前記制御部は、前記操作候補に対応する前記操作部の操作領域と異なる他の操作領域を操作不能とすることを特徴とする請求項1〜3のいずれか一項に記載の操作装置。
- 前記操作者が、前記制御部が推定した前記操作候補に対応する前記操作部の操作領域を所定時間以内に押圧したかを検知する操作決定部をさらに備えることを特徴とする請求項1〜4のいずれか一項に記載の操作装置。
- 前記操作決定部は、前記操作者が、前記制御部が推定した前記操作候補に対応する前記操作部の操作領域を所定時間以内に押圧しなかった場合、前記操作候補に対応する前記操作部の操作領域の面積を前記初期設定に戻すことを特徴とする請求項5に記載の操作装置。
- 地図及び前記操作対象を表示する表示部と、
前記制御部が推定した前記操作候補に対応する前記操作部の操作領域が所定圧力以上で押圧されたことを検知した際に、前記操作者が前記操作候補を選択したと判定し、前記所定圧力未満での接触を検知した際に、前記地図に対する操作が行われたと判定する操作決定部と、
をさらに備えることを特徴とする請求項1〜4のいずれか一項に記載の操作装置。 - 前記操作決定部は、前記操作者が、前記制御部が推定した前記操作候補に対応する前記操作部の操作領域を所定圧力未満で押圧したことを検知した際に、前記操作候補に対応する前記操作部の操作領域の面積を前記初期設定に戻すことを特徴とする請求項7に記載の操作装置。
- 移動体に搭載されることを特徴とする請求項1〜8のいずれか一項に記載の操作装置。
- 前記操作部は、前記移動体のステアリングに設けられることを特徴とする請求項9に記載の操作装置。
- 前記操作対象は、前記視線上において前記操作部と重ならない位置に表示されることを特徴とする請求項1〜10のいずれか一項に記載の操作装置。
- 出力される複数の操作対象ごとに対応する操作領域を備える操作部を備える操作装置が実行する制御方法であって、
前記操作対象を操作する操作者の視線を検知する視線検知工程と、
前記複数の操作対象のうち、前記視線検知工程で検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から変更する制御工程と、
を有することを特徴とする制御方法。 - 出力される複数の操作対象ごとに対応する操作領域を備える操作部から電気信号を受信するコンピュータが実行するプログラムであって、
前記操作対象を操作する操作者の視線を検知する視線検知部と、
前記複数の操作対象のうち、前記視線検知部が検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から変更する制御部
として前記コンピュータを機能させることを特徴とするプログラム。 - 請求項13に記載のプログラムが記録されていることを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015213940A JP2017084220A (ja) | 2015-10-30 | 2015-10-30 | 操作装置、制御方法、プログラム及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015213940A JP2017084220A (ja) | 2015-10-30 | 2015-10-30 | 操作装置、制御方法、プログラム及び記憶媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020003602A Division JP6827132B2 (ja) | 2020-01-14 | 2020-01-14 | 操作装置、制御方法、プログラム及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017084220A true JP2017084220A (ja) | 2017-05-18 |
Family
ID=58714297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015213940A Pending JP2017084220A (ja) | 2015-10-30 | 2015-10-30 | 操作装置、制御方法、プログラム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017084220A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7532143B2 (ja) | 2020-08-06 | 2024-08-13 | アルプスアルパイン株式会社 | 表示制御装置および表示制御方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005216110A (ja) * | 2004-01-30 | 2005-08-11 | Nissan Motor Co Ltd | 情報操作装置 |
JP2006134184A (ja) * | 2004-11-08 | 2006-05-25 | Honda Access Corp | 遠隔制御スイッチ |
JP2006285598A (ja) * | 2005-03-31 | 2006-10-19 | Fujitsu Ten Ltd | タッチパネル装置、タッチパネル装置の操作支援方法、及びタッチパネル装置の操作支援プログラム |
JP2011185948A (ja) * | 2011-05-25 | 2011-09-22 | Aisin Aw Co Ltd | 車載機器の誤操作防止装置および誤操作防止方法 |
JP2013082445A (ja) * | 2011-10-12 | 2013-05-09 | Visteon Global Technologies Inc | 適応表示システムの表示コンポーネントの制御方法 |
JP2013143012A (ja) * | 2012-01-11 | 2013-07-22 | Tokai Rika Co Ltd | 視線入力装置 |
JP2013196340A (ja) * | 2012-03-19 | 2013-09-30 | Aisin Aw Co Ltd | 操作入力システム |
JP2014142882A (ja) * | 2013-01-25 | 2014-08-07 | Nikon Corp | 視線入力装置 |
-
2015
- 2015-10-30 JP JP2015213940A patent/JP2017084220A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005216110A (ja) * | 2004-01-30 | 2005-08-11 | Nissan Motor Co Ltd | 情報操作装置 |
JP2006134184A (ja) * | 2004-11-08 | 2006-05-25 | Honda Access Corp | 遠隔制御スイッチ |
JP2006285598A (ja) * | 2005-03-31 | 2006-10-19 | Fujitsu Ten Ltd | タッチパネル装置、タッチパネル装置の操作支援方法、及びタッチパネル装置の操作支援プログラム |
JP2011185948A (ja) * | 2011-05-25 | 2011-09-22 | Aisin Aw Co Ltd | 車載機器の誤操作防止装置および誤操作防止方法 |
JP2013082445A (ja) * | 2011-10-12 | 2013-05-09 | Visteon Global Technologies Inc | 適応表示システムの表示コンポーネントの制御方法 |
JP2013143012A (ja) * | 2012-01-11 | 2013-07-22 | Tokai Rika Co Ltd | 視線入力装置 |
JP2013196340A (ja) * | 2012-03-19 | 2013-09-30 | Aisin Aw Co Ltd | 操作入力システム |
JP2014142882A (ja) * | 2013-01-25 | 2014-08-07 | Nikon Corp | 視線入力装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7532143B2 (ja) | 2020-08-06 | 2024-08-13 | アルプスアルパイン株式会社 | 表示制御装置および表示制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107107841B (zh) | 信息处理装置 | |
EP2360557B1 (en) | Input device, apparatus for monitoring area around vehicle, method for selecting icon switch, and program | |
US10528150B2 (en) | In-vehicle device | |
US20110249030A1 (en) | Map display device, map display method, map display program, and computer-readable recording medium | |
US20070078599A1 (en) | Map display device and map display method | |
JP5754410B2 (ja) | 表示装置 | |
JP4885632B2 (ja) | ナビゲーション装置 | |
JP2016038621A (ja) | 空間入力システム | |
JP2011232270A (ja) | ナビゲーション装置およびそのヘルプ提示方法 | |
JP6401268B2 (ja) | 非接触操作検出装置 | |
JP6009583B2 (ja) | 電子機器 | |
JP6827132B2 (ja) | 操作装置、制御方法、プログラム及び記憶媒体 | |
JP5626259B2 (ja) | 画像表示装置 | |
JP2017084220A (ja) | 操作装置、制御方法、プログラム及び記憶媒体 | |
US10768793B2 (en) | User interface and method for changing between screen views of a user interface | |
JP2009223187A (ja) | 表示内容制御装置、表示内容制御方法及び表示内容制御方法プログラム | |
KR20110121932A (ko) | 근접 센서를 이용한 차량용 내비게이션의 메뉴 아이콘 표시 장치 및 방법 | |
JP4262619B2 (ja) | 情報処理装置、その制御方法及びプログラム | |
KR101698104B1 (ko) | 차로 안내 장치 및 그 방법 | |
KR20150121565A (ko) | 미러링 서비스를 수행하는 방법 및 장치 | |
US20230364992A1 (en) | System for recognizing gesture for vehicle and method for controlling the same | |
JP2008304338A (ja) | ナビゲーション装置、ナビゲーション方法およびナビゲーションプログラム | |
JP2024061792A (ja) | 表示制御装置 | |
JP2014191818A (ja) | 操作支援システム、操作支援方法及びコンピュータプログラム | |
JP2017117171A (ja) | 表示制御装置、表示制御方法、表示制御プログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181002 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190423 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191015 |