JP2022030157A - 表示制御装置および表示制御方法 - Google Patents

Abstract

【課題】ユーザが操作したいと考える機能のＨＭＩ画像を視認しやすい表示態様に変更することの応答性を向上させることができる「表示制御装置および表示制御方法」を提供する。【解決手段】複数のＨＭＩ画像のうち何れかに対するユーザの注視を検出する注視検出部１１と、所定時間の注視が検出されたＨＭＩ画像をユーザが視認しやすい表示態様に変更する表示制御部１３と、ＨＭＩ画像に対するユーザの操作の可能性を検出する操作検出部１２と、その検出結果に応じて所定時間を変更する所定時間変更部１４とを備え、ユーザによる一のＨＭＩ画像に対する所定時間の注視が検出され、かつ、ＨＭＩ画像に対するユーザの操作の可能性が検出された場合、注視しているＨＭＩ画像の表示態様を変更するまでの所定時間を短い時間に変更することにより、ＨＭＩ画像を視認しやすい表示態様に変更するまでの時間を短くできるようにする。【選択図】図２

Description

本発明は、表示制御装置および表示制御方法に関し、特に、ディスプレイに表示された複数の操作対象のうちユーザが注視した操作対象の表示態様を変更するように成された表示制御装置および表示制御方法に用いて好適なものである。

近年、車載機器に接続されるディスプレイの数またはサイズが増大する傾向にあり、例えばダッシュボードやセンターコンソール、インストルメントパネルなどの複数箇所にディスプレイが備えられることがある。また、運転席から助手席までカバーする広い範囲にインストルメントパネルのディスプレイが備えられることもある。これらのディスプレイには、ユーザが車載機器を操作する際に使用する画像や、車載機器での処理結果を示す画像（以下、これらを総称してＨＭＩ画像という）が表示される。

多くの場合、車載機器を操作するための操作装置は、各ディスプレイに紐づいて配置されるか、ディスプレイ上のタッチパネルとして構成されている。この場合、操作装置が車内のどこに設置されるかによって、それを操作可能なユーザが限定される。一方、ジョグダイアル等の操作子をセンターコンソールに配置し、運転席および助手席の両方で共用することを可能にした技術も知られている（例えば、特許文献１～３参照）。

特許文献１～３に記載されたような共用の操作子を用いれば、運転席側のディスプレイに表示されたＨＭＩ画像を通じて車載機器の機能を助手席から操作したり、助手席側のディプレイに表示されたＨＭＩ画像を通じて車載機器の機能を運転席から操作したりすることも可能である。しかしながら、この場合、運転席または助手席から遠くのディスプレイに表示されたＨＭＩ画像を確認する必要があるため、表示内容の確認が難しい場合があるという問題が生じる。

ところで、表示画面に複数のコンテンツが表示されている場合に、注視したいコンテンツをより見やすくするためにコンテンツの表示配置を変更するようにした技術が知られている（例えば、特許文献４参照）。この特許文献４に記載の車載用表示装置では、運転者の視点から所定時間を越えて注視されているコンテンツが存在するか否かを判定し、存在する場合は、当該注視コンテンツが表示画面の運転者が視認しやすい位置に表示されるように、表示画面に表示される複数のコンテンツの配置を変更して表示するよう制御する。

特開２００５－９６６５５号公報 特開２００７－３０２１５４号公報 特開２０１６－１８４２３８号公報 特開２０１６－８４０２１号公報

特許文献４に記載の技術を用いれば、例えば助手席側のディプレイに表示されたＨＭＩ画像を通じて車載機器の機能を運転席から操作したい場合において、操作したい機能のＨＭＩ画像を運転者が所定時間を越えて注視すると、そのＨＭＩ画像が、運転者が視認しやすい位置に移動して表示されることになる。しかしながら、特許文献４に記載の技術では、操作したい機能のＨＭＩ画像の配置を変更するためには、常に決まった時間だけ続けてＨＭＩ画像を注視する必要があるため、即座に操作することができず、応答性の点に課題が存在する。

本発明は、このような問題を解決するために成されたものであり、ユーザが操作したいと考える機能のＨＭＩ画像を視認しやすい表示態様に変更することの応答性を向上させることができるようにすることを目的とする。

上記した課題を解決するために、本発明では、ディスプレイに表示された複数の操作対象のうち何れかに対するユーザの注視を検出し、所定時間の注視が検出された操作対象をユーザが視認しやすい表示態様に変更するように制御する。特に本発明では、操作対象に対するユーザの操作の可能性を検出し、その検出結果に応じて、上記所定時間を変更するようにしている。

上記のように構成した本発明によれば、ユーザが操作対象を所定時間注視すると、その注視した操作対象をユーザが操作したいと考えているとの推定のもと、操作対象がユーザの視認しやすい表示態様に変更される。このとき、操作対象に対するユーザの操作の可能性が検出された状況であると、注視している操作対象をユーザが操作したいと考えている可能性がより高いとの推定のもと、操作対象の表示態様を変更するまでの所定時間の値が変更される。これにより、例えば複数のＨＭＩ画像を操作対象としてディスプレイに表示させている場合に、ＨＭＩ画像の表示態様を変更するまでの所定時間の値を小さくすることにより、ユーザが操作したいと考える機能のＨＭＩ画像を視認しやすい表示態様に変更するまでの時間を短くすることができ、応答性を向上させることができる。

本実施形態による表示制御装置を備えた車載システムの構成例を示す図である。 本実施形態による表示制御装置の機能構成例を示すブロック図である。 本実施形態によるＨＭＩ画像の表示態様の変更例を模式的に示す図である。 本実施形態による表示制御装置の動作例を示すフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による表示制御装置を備えた車載システムの構成例を示す図である。図１に示すように、本実施形態の車載システムは、表示制御装置１００、運転席用ディスプレイ１０１、助手席用ディスプレイ１０２、共用ディスプレイ１０３、視線センサ１０４，１０５、共用操作子１０６、近接センサ１０７および運転席用操作子１０８を備えている。

本実施形態の表示制御装置１００は、共用操作子１０６および運転席用操作子１０８に対するユーザ（運転者および助手席の搭乗者）の操作の内容に応じて、運転席用ディスプレイ１０１、助手席用ディスプレイ１０２および共用ディスプレイ１０３に対するＨＭＩ画像などの表示を制御する。ＨＭＩ画像は、ユーザが車載機器を操作する際に使用する画像や、車載機器での処理結果を示す画像であり、特許請求の範囲の「操作対象」に相当する。表示制御装置１００の機能構成の詳細は後述する。

運転席用ディスプレイ１０１、助手席用ディスプレイ１０２および共用ディスプレイ１０３（以下、これらをまとめてディスプレイ１０１～１０３と記すことがある）は、例えば、ダッシュボードまたはインストルメントパネルに設けられた液晶ディスプレイまたは有機ＥＬディスプレイである。運転席用ディスプレイ１０１、助手席用ディスプレイ１０２および共用ディスプレイ１０３の全てがダッシュボードまたはインストルメントパネルの何れかに設けられた構成であってもよいし、一部がダッシュボードで他の一部がインストルメントパネルに設けられた構成であってもよい。共用ディスプレイ１０３は、センターコンソールに設けられる構成であってもよい。また、ディスプレイ１０１～１０３の一部または全部は、車両のフロントガラスまたはコンバイナ等へ画像を投影するようにしたヘッドアップディスプレイ（ＨＵＤ）であってもよい。

運転席用ディスプレイ１０１は、運転席から見やすい位置、つまり車幅方向の運転席寄りの位置に配置されており、主に運転者が使用するＨＭＩ画像が表示される。運転席用ディスプレイ１０１に表示されるＨＭＩ画像には、車載機器を操作する際に使用するＨＭＩ画像のほか、運転者が車を運転する際に使用する各種メータ類や警告灯類のＨＭＩ画像も含まれる。ここで、「主に運転者が使用する」というのは、基本的には運転者が使用することが多いが、一部のＨＭＩ画像については助手席の搭乗者も使用しようと思えば使用可能という意味である。

助手席用ディスプレイ１０２は、助手席から見やすい位置、つまり車幅方向の助手席寄りの位置に配置されており、主に助手席の搭乗者（以下、単に搭乗者という）が使用するＨＭＩ画像が表示される。助手席用ディスプレイ１０２に表示されるＨＭＩ画像には、主にＡＶ系の車載機器を操作する際に使用するＨＭＩ画像が含まれる。ここで、「主に搭乗者が使用する」というのは、基本的には搭乗者が使用することが多いが、停車中に運転者も使用しようと思えば使用可能という意味である。

共用ディスプレイ１０３は、運転席および助手席の双方から比較的見やすい位置、つまり車幅方向の中央寄りの位置に配置されており、運転者および搭乗者が使用するＨＭＩ画像が表示される。共用ディスプレイ１０３に表示されるＨＭＩ画像には、車載機器を操作する際に使用するＨＭＩ画像のほか、ナビゲーション画像などが含まれる。

視線センサ１０４，１０５は、運転者および搭乗者の視線の方向を検出するものであり、運転席側および助手席側のそれぞれに設置されている。運転席側の視線センサ１０４は、運転者の視線の方向を検出する。助手席側の視線センサ１０５は、搭乗者の視線の方向を検出する。なお、ここでは視線センサ１０４，１０５を用いているが、運転者および搭乗者の視線の方向を検出可能なものであれば、他の手段を用いてもよい。例えば、運転席および助手席を含む範囲を撮影するカメラを設置し、撮影画像を画像処理することによって運転者および搭乗者の視線の方向を検出するようにしてもよい。

共用操作子１０６は、運転者および搭乗者が共用する操作子であり、例えばセンターコンソールに設置されたジョグダイアル、ジョイスティック、十字キーまたはタッチパネルなどにより構成される。運転者は、共用操作子１０６を操作することにより、ディスプレイ１０１～１０３に表示されたＨＭＩ画像を通じて車載機器の機能を操作することが可能である。同様に、搭乗者は、共用操作子１０６を操作することにより、ディスプレイ１０１～１０３に表示されたＨＭＩ画像を通じて車載機器の機能を操作することが可能である。共用操作子１０６は、特許請求の範囲の「操作デバイス」に相当する。

共用操作子１０６にはタッチセンサが設けられており、ユーザによる共用操作子１０６への接触が検出されるようになっている。近接センサ１０７は、物体が自身から所定の距離範囲内に接近したこと、およびその物体が接近してきた方向を検出する。近接センサ１０７は共用操作子１０６の近傍に設置されており、これにより、共用操作子１０６に対して接近するユーザの手を検出し、運転席側または助手席側のどちらの方から手が接近したのかを検出することが可能となっている。

運転席用操作子１０８は、運転者が使用する操作子であり、例えばステアリングに設置されたスイッチ、十字キーまたはタッチパネルなどにより構成される。運転者は、運転席用操作子１０８を操作することにより、ディスプレイ１０１～１０３に表示されたＨＭＩ画像を通じて車載機器の機能を操作することが可能である。

図２は、本実施形態による表示制御装置１００の機能構成例を示すブロック図である。図２に示すように、本実施形態の表示制御装置１００は、機能構成として、注視検出部１１、操作検出部１２、表示制御部１３および所定時間変更部１４を備えている。これらの各機能ブロック１１～１４は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１～１４は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

注視検出部１１は、視線センサ１０４，１０５により検出されるユーザの視線の方向に基づいて、ディスプレイ１０１～１０３に表示された複数のＨＭＩ画像のうち何れかに対するユーザの注視を検出する。注視とは、ユーザが何れかのＨＭＩ画像を注意してよく見ることであり、ユーザの視線が短い時間だけＨＭＩ画像の方向を向いている場合を含まない。注視検出部１１は、運転席側の視線センサ１０４からの出力に基づいて、運転者によるＨＭＩ画像への注視を検出するとともに、助手席側の視線センサ１０５からの出力に基づいて、搭乗者によるＨＭＩ画像への注視を検出する。

操作検出部１２は、ＨＭＩ画像に対するユーザの操作の可能性を検出する。ここで、操作検出部１２は、複数のユーザ（運転者および搭乗者）について、ＨＭＩ画像に対する操作の可能性を検出する。例えば、操作検出部１２は、共用操作子１０６が備えるタッチセンサの出力に基づいて、共用操作子１０６に対するユーザの手の接触を検出することをもって、ＨＭＩ画像（後述する注視ＨＭＩ画像に限らない）に対するユーザの操作の可能性（ユーザが共用操作子１０６を操作する可能性ともいえる）を検出する。また、操作検出部１２は、近接センサ１０７の出力に基づいて、運転者または搭乗者のどちらによる操作の可能性であるかも検出する。

なお、操作検出部１２は、近接センサ１０７の出力に基づいて、共用操作子１０６に対するユーザの手の近接を検出することをもって、ＨＭＩ画像に対するユーザの操作の可能性を検出するようにしてもよい。このとき操作検出部１２は、近接センサ１０７の出力に基づいて、運転者または搭乗者のどちらによる操作の可能性であるかも検出する。ユーザの手の近接をもってＨＭＩ画像に対するユーザの操作の可能性を検出する場合は、共用操作子１０６のタッチセンサは不要である。

上述した注視検出部１１は、複数のユーザのうち操作検出部１２により操作の可能性が検出されたユーザについて、複数のＨＭＩ画像のうち何れかに対する注視を検出するのが好ましい。すなわち、注視検出部１１は、操作検出部１２により運転者についてＨＭＩ画像に対する操作の可能性が検出された場合は、運転者についてのみＨＭＩ画像への注視を検出する。一方、操作検出部１２により搭乗者についてＨＭＩ画像に対する操作の可能性が検出された場合、注視検出部１１は、搭乗者についてのみＨＭＩ画像への注視を検出する。また、運転者および搭乗者の何れも共用操作子１０６に手を接触または接近させていない場合、注視検出部１１は、運転者および搭乗者の両方についてＨＭＩ画像への注視を検出する。

このようにすることより、運転者または搭乗者のうち、どちらかが共用操作子１０６に手を接触または接近させ場合には、共用操作子１０６に手を接触または接近させていない方のユーザについては注視検出部１１の処理の実行を省略することができ、処理負荷の軽減を図ることができる。また、共用操作子１０６に手を接触または接近させているユーザとは異なる別のユーザがＨＭＩ画像を注視している場合であっても、当該別のユーザによる注視によって、以下に説明する表示制御部１３によるＨＭＩ画像の表示態様の変更が行われないようにすることができる。

表示制御部１３は、ディスプレイ１０１～１０３に対して複数のＨＭＩ画像を表示させる。本実施形態において、表示制御部１３は、運転者用、搭乗者用および共用に設けられた複数の異なるディスプレイ１０１～１０３に対して複数のＨＭＩ画像を分散して表示させる。後述するように、本実施形態では複数のＨＭＩ画像の表示態様を変更するが、変更前の初期状態において、表示制御部１３は、主に運転者が使用するＨＭＩ画像を運転席用ディスプレイ１０１に表示させ、主に搭乗者が使用するＨＭＩ画像を助手席用ディスプレイ１０２に表示させ、運転者および搭乗者が使用するＨＭＩ画像を共用ディスプレイ１０３に表示させる。

また、表示制御部１３は、注視検出部１１により所定時間の注視が検出されたＨＭＩ画像（以下、これを注視ＨＭＩ画像ということがある）をユーザが視認しやすい表示態様に変更する。例えば、表示制御部１３は、注視検出部１１により所定時間の注視が検出されたＨＭＩ画像を、所定時間の注視が検出されていない場合に表示される当初の表示位置に代えてまたは加えて、複数のユーザのうち注視検出部１１により所定時間の注視が検出されたユーザの存在場所に近い方の表示位置に表示させるように制御する。

複数のユーザのうち操作検出部１２により操作の可能性が検出されたユーザについてのみＨＭＩ画像に対する注視を検出するようにしている場合、表示制御部１３は、運転者による所定時間の注視が検出されたＨＭＩ画像を、所定時間の注視が検出されていない場合に表示される当初の表示位置に代えてまたは加えて、運転者の存在場所に近い方の表示位置に表示させるように制御する。また、表示制御部１３は、搭乗者による所定時間の注視が検出されたＨＭＩ画像を、所定時間の注視が検出されていない場合に表示される当初の表示位置に代えてまたは加えて、搭乗者の存在場所に近い方の表示位置に表示させるように制御する。

例えば、運転者が助手席用ディスプレイ１０２または共用ディスプレイ１０３に表示されているＨＭＩ画像を注視した場合（かつ、搭乗者が共用操作子１０６に手を接触または接近させていない場合）、表示制御部１３は、その注視ＨＭＩ画像を運転席用ディスプレイ１０１に表示させる。このとき、初期状態において運転席用ディスプレイ１０１に表示されていたＨＭＩ画像（以下、初期ＨＭＩ画像ということがある）に加えて注視ＨＭＩ画像を表示させるようにしてもよいし、一部または全部の初期ＨＭＩ画像に代えて注視ＨＭＩ画像を表示させるようにしてもよい。初期ＨＭＩ画像に加えて注視ＨＭＩ画像を表示させる場合、一部または全部の初期ＨＭＩ画像を初期状態より小さくするか、移動させるか、その両方を行うかすることによって注視ＨＭＩ画像の表示スペースを確保し、注視ＨＭＩ画像を視認しやすい態様で表示させる。また、初期状態において助手席用ディスプレイ１０２または共用ディスプレイ１０３に表示されていた注視ＨＭＩ画像については、これを助手席用ディスプレイ１０２または共用ディスプレイ１０３に表示させたままとしてもよいし、表示を消去してもよい（注視ＨＭＩ画像の表示位置を助手席用ディスプレイ１０２または共用ディスプレイ１０３から運転席用ディスプレイ１０１に移動させるイメージ）。

一方、運転者が運転席用ディスプレイ１０１に表示されているＨＭＩ画像を注視した場合、その注視ＨＭＩ画像の表示態様を変更しないようにしてもよいし、運転席用ディスプレイ１０１の中で、より運転者の存在場所に近い位置に移動して表示させるようにしてもよい。

同様に、搭乗者が運転席用ディスプレイ１０１または共用ディスプレイ１０３に表示されているＨＭＩ画像を注視した場合（かつ、運転者が共用操作子１０６に手を接触または接近させていない場合）、表示制御部１３は、その注視ＨＭＩ画像を助手席用ディスプレイ１０２に表示させる。このとき、初期状態において助手席用ディスプレイ１０２に表示されていた初期ＨＭＩ画像に加えて注視ＨＭＩ画像を表示させるようにしてもよいし、一部または全部の初期ＨＭＩ画像に代えて注視ＨＭＩ画像を表示させるようにしてもよい。また、初期状態において運転席用ディスプレイ１０１または共用ディスプレイ１０３に表示されていた注視ＨＭＩ画像については、これを運転席用ディスプレイ１０１または共用ディスプレイ１０３に表示させたままとしてもよいし、表示を消去してもよい。搭乗者が助手席用ディスプレイ１０２に表示されているＨＭＩ画像を注視した場合、その注視ＨＭＩ画像の表示態様を変更しないようにしてもよいし、助手席用ディスプレイ１０２の中で、より搭乗者の存在場所に近い位置に移動して表示させるようにしてもよい。

このように、本実施形態の表示制御部１３が行うＨＭＩ画像の表示態様の変更処理は、注視検出部１１により所定時間の注視が検出された注視ＨＭＩ画像を、所定時間の注視が検出されていない場合に表示される当初のディスプレイとは異なるディスプレイに表示させる処理を含んでいる。また、表示制御部１３が行うＨＭＩ画像の表示態様の変更処理は、注視検出部１１により所定時間の注視が検出された注視ＨＭＩ画像の表示位置を、所定時間の注視が検出されていない場合に表示される表示位置から同じディスプレイの中の異なる位置に移動して表示させる処理を含むようにしてもよい。

所定時間変更部１４は、操作検出部１２によるＨＭＩ画像に対するユーザの操作の可能性の検出結果に応じて、表示制御部１３がＨＭＩ画像の表示態様を変更する際の閾値として用いる所定時間を変更する。すなわち、所定時間変更部１４は、操作検出部１２により操作の可能性が検出されていない場合は所定時間を第１の所定時間（例えば、２秒）に設定する一方、操作検出部１２により操作の可能性が検出された場合は所定時間を第１の所定時間よりも短い第２の所定時間（例えば、１秒）に設定する。

図３は、本実施形態によるＨＭＩ画像の表示態様の変更例を模式的に示す図である。図３（ａ）は、複数のＨＭＩ画像の表示態様を変更する前の初期状態を示している。図３（ａ）に示すように、運転席用ディスプレイ１０１、助手席用ディスプレイ１０２および共用ディスプレイ１０３のそれぞれに対して複数のＨＭＩ画像２０１～２０５が分散して表示されている。図３（ａ）の例では、運転席用ディスプレイ１０１に２つのＨＭＩ画像２０１，２０２が表示され、助手席用ディスプレイ１０２に２つのＨＭＩ画像２０３，２０４が表示され、共用ディスプレイ１０３に１つのＨＭＩ画像２０５が表示されている。

図３（ｂ）および（ｃ）は、助手席の搭乗者が運転席用ディスプレイ１０１に表示されているＨＭＩ画像２０１を所定時間注視した状態を示している。このうち、図３（ｂ）は、助手席の搭乗者がＨＭＩ画像２０１を注視しているときに、運転者も搭乗者も共用操作子１０６に手を接触または接近させていない状態を示している。図３（ｃ）は、助手席の搭乗者がＨＭＩ画像２０１を注視しているときに、助手席の搭乗者が共用操作子１０６に手を接触させた状態を示している。

図３（ｄ）は、搭乗者が運転席用ディスプレイ１０１のＨＭＩ画像２０１を所定時間注視した結果、表示制御部１３によって当該注視ＨＭＩ画像２０１の表示態様が変更された後の状態を示している。図３（ｄ）の例では、運転席用ディスプレイ１０１の表示態様は変えずに（注視ＨＭＩ画像２０１の表示を消去せずに）、注視ＨＭＩ画像２０１を助手席用ディスプレイ１０２に表示させた状態を示している。このとき、初期状態において助手席用ディスプレイ１０２に表示されていた初期ＨＭＩ画像２０３，２０４の表示は消去され、注視ＨＭＩ画像２０１のみが助手席用ディスプレイ１０２に表示されている。

図３（ｄ）に示すような注視ＨＭＩ画像２０１および初期ＨＭＩ画像２０３，２０４の表示態様の変更は、図３（ｂ）の場合にも図３（ｃ）の場合にも実行される。ただし、図３（ｂ）のように、搭乗者がＨＭＩ画像２０１を注視しているときに、搭乗者が共用操作子１０６に手を接触も接近もさせていない場合は、所定時間は第１の所定時間（例えば、２秒）に設定された初期状態のままであり、２秒間の注視が継続した後に表示態様の変更が実行される。

一方、図３（ｃ）のように、搭乗者がＨＭＩ画像２０１を注視しているときに、搭乗者が共用操作子１０６に手を接触させている場合は、所定時間が第１の所定時間から第２の所定時間（例えば、１秒）に変更されるため、１秒間の注視が継続した段階で表示態様の変更が実行される。このように、搭乗者が運転席用ディスプレイ１０１のＨＭＩ画像２０１を注視し、かつ、共用操作子１０６に手を接触または接近させている場合には、搭乗者がその注視ＨＭＩ画像２０１に対する操作を行う意志を有している可能性が高い状況であると考えられ、通常よりも早いタイミングで注視ＨＭＩ画像２０１が助手席用ディスプレイ１０２に表示されて搭乗者が視認しやすい状態とされる。

図４は、以上のように構成した本実施形態による表示制御装置１００の動作例を示すフローチャートである。図４に示すフローチャートは、例えば、表示制御装置１００の電源をオンとしたときに開始する。

まず、表示制御部１３は、複数のディスプレイ１０１～１０３に複数のＨＭＩ画像を初期状態で表示させる（ステップＳ１）。また、表示制御部１３は、ＨＭＩ画像の表示態様を変更する際の閾値として用いる所定時間として第１の所定時間を設定する（ステップＳ２）。その後、注視検出部１１は、視線センサ１０４，１０５により検出されるユーザ（運転者および搭乗者）の視線の方向に基づいて、ディスプレイ１０１～１０３に表示された複数のＨＭＩ画像のうち何れかに対するユーザの注視を検出する（ステップＳ３）。

また、操作検出部１２は、ＨＭＩ画像に対するユーザの操作の可能性を検出する。例えば、操作検出部１２は、共用操作子１０６が備えるタッチセンサの出力に基づいて、共用操作子１０６に対するユーザの手の接触を検出したか否かを判定する（ステップＳ４）。ここで、共用操作子１０６に対するユーザの手の接触が検出されていない場合、表示制御部１３は、注視検出部１１により検出されるユーザのＨＭＩ画像に対する注視が第１の所定時間継続したか否かを判定する（ステップＳ５）。

ユーザの注視が第１の所定時間継続したＨＭＩ画像が存在しない場合、処理はステップＳ３に戻る。一方、ユーザの注視が第１の所定時間継続したＨＭＩ画像が存在する場合、表示制御部１３は、その注視ＨＭＩ画像を、注視していたユーザが視認しやすい表示態様に変更する（ステップＳ６）。すなわち、表示制御部１３は、注視検出部１１により所定時間の注視が検出された注視ＨＭＩ画像を、当該注視ＨＭＩ画像を注視したユーザの存在場所に近い方の表示位置に表示させるように表示態様を変更する。

その後、注視検出部１１は、ステップＳ５で第１の所定時間の注視が検出されたユーザ（運転者または搭乗者の何れか一方）について、注視ＨＭＩ画像に対するユーザの注視を引き続き検出する（ステップＳ７）。そして、表示制御部１３は、注視ＨＭＩ画像に対するユーザの注視が注視検出部１１により検出されなくなってから第３の所定時間が経過したか否かを判定する（ステップＳ８）。注視ＨＭＩ画像に対する操作が実際に行われている場合、ユーザはその注視ＨＭＩ画像を継続して注視している可能性が高い。

ここで、注視ＨＭＩ画像に対するユーザの注視が検出されなくなってから第３の所定時間がまだ経過していない場合、処理はステップＳ７に戻る。この場合は、ユーザが注視ＨＭＩ画像に対する操作を実際に行っている状況と考えられる。一方、注視ＨＭＩ画像に対するユーザの注視が検出されなくなってから第３の所定時間が経過した場合、処理はステップＳ１に戻り、複数のディスプレイ１０１～１０３に対する複数のＨＭＩ画像の表示が初期状態に戻される。

上記ステップＳ４において、共用操作子１０６に対するユーザの手の接触が操作検出部１２により検出された場合、表示制御部１３は、ＨＭＩ画像の表示態様を変更する際の閾値として用いる所定時間を第１の所定時間から第２の所定時間に変更する（ステップＳ９）。また、注視検出部１１は、共用操作子１０６に手を接触したユーザに絞って、ディスプレイ１０１～１０３に表示された複数のＨＭＩ画像のうち何れかに対する注視を検出する（ステップＳ１０）。このとき、ステップＳ３において開始した注視の継続時間は引き継がれる。

この状態で、表示制御部１３は、注視検出部１１により検出されるユーザのＨＭＩ画像に対する注視が第２の所定時間継続したか否かを判定する（ステップＳ１１）。ここで、ユーザの注視が第２の所定時間継続したＨＭＩ画像が存在しない場合、処理はステップＳ１０に戻る。一方、ユーザの注視が第２の所定時間継続したＨＭＩ画像が存在する場合、表示制御部１３は、その注視ＨＭＩ画像を、注視していたユーザが視認しやすい表示態様に変更する（ステップＳ１２）。

その後、注視検出部１１は、ステップＳ１１で第２の所定時間の注視が検出されたユーザ（運転者または搭乗者の何れか一方）について、注視ＨＭＩ画像に対するユーザの注視を引き続き検出する（ステップＳ１３）。そして、表示制御部１３は、注視ＨＭＩ画像に対するユーザの注視が注視検出部１１により検出されなくなってから第３の所定時間が経過したか否かを判定する（ステップＳ１４）。注視ＨＭＩ画像に対する操作が実際に行われている場合、ユーザはその注視ＨＭＩ画像を継続して注視している可能性が高い。

ここで、注視ＨＭＩ画像に対するユーザの注視が検出されなくなってから第３の所定時間がまだ経過していない場合、処理はステップＳ１３に戻る。この場合は、ユーザが注視ＨＭＩ画像に対する操作を実際に行っている状況と考えられる。一方、注視ＨＭＩ画像に対するユーザの注視が検出されなくなってから第３の所定時間が経過した場合、処理はステップＳ１に戻り、複数のディスプレイ１０１～１０３に対する複数のＨＭＩ画像の表示が初期状態に戻される。以降、表示制御装置１００の電源がオフとされるまで、以上の処理が繰り返し実行される。

以上詳しく説明したように、本実施形態では、複数のディスプレイ１０１～１０３に表示された複数のＨＭＩ画像のうち何れかに対するユーザの注視を検出し、所定時間の注視が検出されたＨＭＩ画像を、当該注視を行ったユーザが視認しやすい表示態様に変更するように制御する。また、本実施形態では、ＨＭＩ画像に対するユーザの操作の可能性（共用操作子１０６に対するユーザの手の接触または接近）を検出し、その検出結果に応じて、所定時間を第１の所定時間からそれより短い第２の所定時間に変更するようにしている。

このように構成した本実施形態によれば、ユーザがＨＭＩ画像を所定時間注視すると、その注視ＨＭＩ画像をユーザが操作したいと考えているとの推定のもと、注視ＨＭＩ画像がユーザの視認しやすい表示態様に変更される。このとき、ＨＭＩ画像に対するユーザの操作の可能性が検出された状況であると、注視ＨＭＩ画像をユーザが操作したいと考えている可能性がより高いとの推定のもと、注視ＨＭＩ画像の表示態様を変更するまでの所定時間が第２の所定時間に変更される。これにより、ユーザが操作したいと考える機能の注視ＨＭＩ画像を視認しやすい表示態様に変更するまでの時間を短くすることができ、応答性を向上させることができる。

なお、上記実施形態では、複数のユーザ用に設けられた複数のディスプレイ１０１～１０３に対して複数のＨＭＩ画像を分散して表示させ、注視ＨＭＩ画像の表示位置を異なるディスプレイ間を跨いで変更する例について説明したが、本発明はこれに限定されない。例えば、運転席から助手席までをカバーする広範囲の１つのディスプレイの中で、注視ＨＭＩ画像の表示位置を変更する場合にも本実施形態を適用することが可能である。

また、上記実施形態では、注視ＨＭＩ画像の表示位置を変える（元の表示位置の注視ＨＭＩ画像をそのまま残す場合および消去する場合を含む）例について説明したが、本発明はこれに限定されない。例えば、表示制御部１３は、注視ＨＭＩ画像の表示位置を変えることに代えてまたは加えて、注視ＨＭＩ画像のディスプレイ内での表示サイズを、所定時間の注視が検出されていない場合に表示される当初の表示サイズからそれよりも大きい表示サイズに変更するようにしてもよい。

一例として、運転者が運転席用ディスプレイ１０１に表示されているＨＭＩ画像を注視した場合、または助手席の搭乗者が助手席用ディスプレイ１０２に表示されているＨＭＩ画像を注視した場合に、同じ運転席用ディスプレイ１０１または助手席用ディスプレイ１０２の中で、注視ＨＭＩ画像の表示サイズを大きくするようにしてもよい。そして、このとき運転者または搭乗者が共用操作子１０６に手を接触または接近させているか否かによって、表示サイズを大きくするまでの所定時間を第１の所定時間または第２の所定時間の何れかに設定する。運転者が助手席用ディスプレイ１０２に表示されているＨＭＩ画像を注視した場合、または搭乗者が運転席用ディスプレイ１０１に表示されているＨＭＩ画像を注視した場合も同様とすることが可能である。

また、例えば、表示制御部１３は、注視ＨＭＩ画像の表示位置を変えることに代えてまたは加えて、注視ＨＭＩ画像について、所定時間の注視が検出されていない場合に表示される当初の表示より強調された表示となるように表示態様を変更するようにしてもよい。注視ＨＭＩ画像が強調される表示の例として、注視ＨＭＩ画像を枠で囲うようにしてもよい。または、注視ＨＭＩ画像のみ表示色または背景色を変更するようにしてもよい。また、注視ＨＭＩ画像以外の領域をグレーアウトさせるようにしてもよい。

また、上記実施形態では、ユーザが共用操作子１０６に手を接触または接近させている場合には一律に所定時間を第２の所定時間に設定する例について説明したが、本発明はこれに限定されない。例えば、複数のＨＭＩ画像のうち特定のＨＭＩ画像に対するユーザの操作が検出されている状態において、当該特定のＨＭＩ画像とは異なるＨＭＩ画像に対するユーザの注視が注視検出部１１により検出された場合、所定時間変更部１４は、所定時間を第１の所定時間に設定するようにしてもよい。

ここで、特定のＨＭＩ画像に対してユーザの操作が行われている状態は、以下のようにして検出することが可能である。すなわち、操作検出部１２は、共用操作子１０６に対する手の接触または接近を検出した後、実際に共用操作子１０６が操作されているか否かを判定する。また、注視検出部１１は、共用操作子１０６の操作が操作検出部１２により検出されている期間中、ＨＭＩ画像に対するユーザの注視を検出し続ける。ユーザが共用操作子１０６を実際に操作している間、ユーザは特定のＨＭＩ画像への注視を継続している可能性が高い。所定時間変更部１４は、このように共用操作子１０６の操作中に注視が継続しているＨＭＩ画像を特定のＨＭＩ画像として検出し、この状態を「特定のＨＭＩ画像に対するユーザの操作が検出されている状態」として検出することが可能である。なお、この特定のＨＭＩ画像は、第１の所定時間または第２の所定時間の注視によって、ユーザが視認しやすいように表示態様が変更された注視ＨＭＩ画像である可能性が高い。

このように構成した場合、特定のＨＭＩ画像に対するユーザの操作が継続している際に、ユーザが別のＨＭＩ画像に視線を向けたとしても（このとき、共用操作子１０６に対する接触が行われている可能性が高い）、その別のＨＭＩ画像の表示態様を変更するまでの所定時間は第１の所定時間に設定され、第１の所定時間より短い第２の所定時間に設定されることがない。これにより、別のＨＭＩ画像の表示態様がユーザの意図に反して変更されてしまうことを防ぐことができる。

また、上記実施形態では、操作検出部１２は、共用操作子１０６に対する手の接触または近接を検出することをもって、ＨＭＩ画像に対するユーザの操作の可能性を検出する例について説明したが、本発明はこれに限定されない。例えば、運転席および助手席を含む範囲を撮影するカメラを設置する。そして、操作検出部１２は、撮影画像を画像処理することにより、ＨＭＩ画像に対する操作のために定義された所定の動作（例えば、ボタンを押下またはスライドする模擬動作など）を撮影範囲の空間上でユーザが行ったか否かを検出することをもって、ＨＭＩ画像に対するユーザの操作の可能性を検出するようにしてもよい。

また、上記実施形態では、共用操作子１０６に対するユーザの手の接触または近接を検出して所定時間を変更する例について説明したが、運転席用操作子１０８についても同様の動作を適用するようにしてもよい。すなわち、運転席用操作子１０８に対する運転者の手の接触または近接を検出して所定時間を変更するようにしてもよい。

また、上記実施形態では、共用操作子１０６に対するユーザの手の接触を検出するために、共用操作子１０６にタッチセンサを備える構成について説明したが、本発明はこれに限定されない。例えば、共用操作子１０６はタッチセンサを備えず、共用操作子１０６が全く操作されていない状態から僅かに操作された状態への変化を検出し、これをもって共用操作子１０６に対するユーザの接触があったとみなすようにしてもよい。

また、上記実施形態では、運転者および搭乗者の両方の動作について本実施形態を適用する例について説明したが、何れか一方の動作についてのみ本実施形態を適用するようにしてもよい。例えば、助手席の搭乗者が何れかのＨＭＩ画像に所定時間注視した場合にのみ、注視ＨＭＩ画像の表示態様を変更するようにしてもよい。この場合、運転席側の視線センサ１０４は不要である。また、近接センサ１０７において、運転者または搭乗者のどちらの手の接近であるかを検出することも不要である。

また、運転者がＨＭＩ画像を注視した場合と、搭乗者がＨＭＩ画像を注視した場合とで動作を異ならせるようにしてよい。例えば、運転者がＨＭＩ画像を所定時間注視した場合は注視ＨＭＩ画像を初期ＨＭＩ画像に加えて表示させる一方、搭乗者がＨＭＩ画像を所定時間注視した場合は注視ＨＭＩ画像を初期ＨＭＩ画像に代えて表示させるようにしてもよい。

また、上記実施形態では、本実施形態の表示制御装置１００を車載システムに適用する例について説明したが、車載システム以外のシステムにも適用することが可能である。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１１ 注視検出部
１２ 操作検出部
１３ 表示制御部
１４ 所定時間変更部
１００ 表示制御装置
１０１～１０３ ディスプレイ
１０４，１０５ 視線センサ
１０６ 共用操作子

Claims (12)

1. ディスプレイに表示された複数の操作対象のうち何れかに対するユーザの注視を検出する注視検出部と、
   上記ディスプレイに対して上記複数の操作対象を表示させ、上記注視検出部により所定時間の注視が検出された操作対象を上記ユーザが視認しやすい表示態様に変更する表示制御部と、
   上記操作対象に対する上記ユーザの操作の可能性を検出する操作検出部と、
   上記操作検出部による上記操作の可能性の検出結果に応じて、上記所定時間を変更する所定時間変更部とを備えた
   ことを特徴とする表示制御装置。
2. 上記所定時間変更部は、上記操作検出部により上記操作の可能性が検出されていない場合は上記所定時間を第１の所定時間に設定する一方、上記操作検出部により上記操作の可能性が検出された場合は上記所定時間を上記第１の所定時間よりも短い第２の所定時間に設定することを特徴とする請求項１に記載の表示制御装置。
3. 上記表示制御部は、上記注視検出部により所定時間の注視が検出された操作対象を、上記所定時間の注視が検出されていない場合に表示される当初の表示位置に代えてまたは加えて、上記注視検出部により所定時間の注視が検出されたユーザの存在場所に近い方の表示位置に表示させることを特徴とする請求項１または２に記載の表示制御装置。
4. 上記表示制御部は、上記注視検出部により所定時間の注視が検出された操作対象の上記ディスプレイ内での表示サイズを、上記所定時間の注視が検出されていない場合に表示される当初の表示サイズからそれよりも大きい表示サイズに変更することを特徴とする請求項１～３の何れか１項に記載の表示制御装置。
5. 上記表示制御部は、上記注視検出部により所定時間の注視が検出された操作対象について、上記所定時間の注視が検出されていない場合に表示される当初の表示より強調された表示となるように表示態様を変更することを特徴とする請求項１～３の何れか１項に記載の表示制御装置。
6. 上記操作検出部は、複数のユーザについて上記操作の可能性を検出し、
   上記注視検出部は、上記複数のユーザのうち上記操作検出部により上記操作の可能性が検出されたユーザについて、上記複数の操作対象のうち何れかに対する注視を検出することを特徴とする請求項１～５の何れか１項に記載の表示制御装置。
7. 上記表示制御部は、複数のユーザ用に設けられた複数の異なるディスプレイに対して上記複数の操作対象を分散して表示させ、上記注視検出部により所定時間の注視が検出された操作対象を、上記所定時間の注視が検出されていない場合に表示される当初のディスプレイとは異なるディスプレイに表示させることを含むことを特徴とする請求項３に記載の表示制御装置。
8. 上記複数の操作対象のうち特定の操作対象に対する上記ユーザの操作が検出されている状態において、上記特定の操作対象とは異なる操作対象に対するユーザの注視が上記注視検出部により検出された場合、上記所定時間変更部は、上記所定時間を上記第１の所定時間に設定することを特徴とする請求項２に記載の表示制御装置。
9. 上記操作検出部は、上記ユーザが上記操作対象に対して操作を行うために使用する操作デバイスに対する上記ユーザの手の接触または近接を検出することをもって、上記操作対象に対する上記ユーザの操作の可能性を検出することを特徴とする請求項１～８の何れか１項に記載の表示制御装置。
10. 上記操作検出部は、上記操作対象に対する操作のために定義された所定の動作を上記ユーザが行ったか否かを検出することをもって、上記操作対象に対する上記ユーザの操作の可能性を検出することを特徴とする請求項１～８の何れか１項に記載の表示制御装置。
11. 上記ディスプレイは、ダッシュボード、インストルメントパネルまたはセンターコンソールに設けられたディスプレイ、あるいは、車両のフロントガラスまたはコンバイナへ画像を投影するヘッドアップディスプレイであることを特徴とする請求項１～１０の何れか１項に記載の表示制御装置。
12. ディスプレイに表示された複数の操作対象のうちユーザが注視した操作対象の表示態様を変更する表示制御方法であって、
    表示制御装置の表示制御部が、上記ディスプレイに対して上記複数の操作対象を表示させる第１のステップと、
    上記表示制御装置の注視検出部が、上記ディスプレイに表示された複数の操作対象のうち何れかに対するユーザの注視を検出する第２のステップと、
    上記表示制御装置の操作検出部が、上記操作対象に対する上記ユーザの操作の可能性を検出する第３のステップと、
    上記表示制御装置の所定時間変更部が、上記操作検出部による上記操作の可能性の検出結果に応じて、上記操作対象の表示態様を変更するまでの閾値として用いる所定時間を変更する第４のステップと、
    上記表示制御部が、上記注視検出部により上記所定時間の注視が検出された操作対象を上記ユーザが視認しやすい表示態様に変更する第５のステップとを有する
    ことを特徴とする表示制御方法。

Images