JP2018063521A - 表示制御システムおよび表示制御プログラム - Google Patents

Abstract

【課題】利用者が必要とする情報が表示される確率を高めることが可能な技術の提供。【解決手段】利用者の操作を受け付ける操作受付部と、利用者の視点を検出する視点検出部と、第１表示領域に第１画面を表示し、第２表示領域に第２画面を表示する表示制御部と、前記第１画面に関する前記操作が行われており、かつ、前記視点が前記第２表示領域上に存在する場合、前記第２表示領域に前記第１画面に関連する情報を表示する画面調整部と、を備える表示制御システムが構成される。【選択図】図３

Description

本発明は、表示制御システムおよび表示制御プログラムに関する。

従来、利用者の視点に応じて表示内容を変化させる技術が知られている。例えば、特許文献１においては、視線移動角が小さくなる位置にスピードメータを移動させて表示する技術が開示されている。特許文献２においては、画面上の注視点位置に応じて文字情報の移動速度を変化させる技術が開示されている。

特開平１０−６８１０号公報 特開平９−１８５１１８号公報

複数の領域のそれぞれに異なる種類の情報を表示する構成においては、各領域の画面によって種々の情報を利用者に伝達することができる。しかし、領域の数を増加させたとしても個別の領域で表示可能な情報量は増加しない。従って、表示される情報の種類が領域毎に異なる構成においては、領域数の増加に応じて表示可能な情報の種類が増えるわけではない。このため、複数の領域が利用されたとしても、それぞれの領域で特定の種類の情報が表示されている構成では、特定の種類の情報を必要に応じて増加させて表示することはできない。上述した従来技術においては、視点の位置に応じて表示内容が変化し得るが、必要に応じて特定の種類に関する情報量を増加させることはできなかった。
本発明は、前記課題にかんがみてなされたもので、利用者が必要とする情報が表示される確率を高めることが可能な技術を提供することを目的とする。

上記の目的を達成するため、表示制御システムは、利用者の操作を受け付ける操作受付部と、利用者の視点を検出する視点検出部と、第１表示領域に第１画面を表示し、第２表示領域に第２画面を表示する表示制御部と、第１画面に関する操作が行われており、かつ、視点が第２表示領域上に存在する場合、第２表示領域に第１画面に関連する情報を表示する画面調整部と、を備える。

また、上記の目的を達成するため、表示制御プログラムは、コンピュータを、利用者の操作を受け付ける操作受付部、利用者の視点を検出する視点検出部、第１表示領域に第１画面を表示し、第２表示領域に第２画面を表示する表示制御部、第１画面に関する操作が行われており、かつ、視点が第２表示領域上に存在する場合、第２表示領域に第１画面に関連する情報を表示する画面調整部、として機能させる。

すなわち、第１画面に関する操作が行われている場合、利用者は、第１画面に表示された情報を利用することを意図していると推定される。そして、利用者が当該意図を有している状況で第２表示領域に視点を移動させた場合、第１画面に表示された情報を利用することを意図している状態で利用者があえて第１表示領域から視点を外していると推定される。そこで、第１画面に関する操作が行われており、かつ、視点が第２表示領域上に存在する場合に、第１表示領域のみならず第２表示領域にも第１画面に関連する情報を拡張して表示させる構成とすれば、利用者の意図に応じて第１画面に関する情報表示領域を拡張することができる。このため、利用者が必要とする情報が表示される確率を高めることができる。

表示制御システムを示すブロック図である。 表示制御処理を示すフローチャートである。 図３Ａ、図３Ｂ、図３Ｃは画面の表示例を示す図である。

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）表示制御システムの構成：
（２）表示制御処理：
（３）他の実施形態：

（１）表示制御システムの構成：
図１は、本発明の一実施形態である表示制御システム１０の構成を示すブロック図である。表示制御システム１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える制御部２０を備えており、制御部２０は、当該ＲＯＭや記録媒体３０に記録された所望のプログラムを実行することができる。

本実施形態において、制御部２０は、図示しない計器表示プログラム、空調制御プログラム、ナビゲーションプログラム、オーディオ制御プログラムを実行することができ、各プログラムを実行することにより計器表示、空調制御、経路案内、音楽再生の各機能を実行することができる。すなわち、制御部２０は、計器表示プログラムを実行することにより、図示しない速度センサ、エンジン回転数センサの出力に基づいて現在の車速、エンジン回転数を取得し、ディスプレイ４０に表示させることができる。

また、制御部２０は、空調制御プログラムを実行することにより図示しない空調機器の目標温度および風量を制御することができる。さらに、制御部２０は、ナビゲーションプログラムを実行することにより、図示しないＧＰＳ信号等に基づいて表示制御システム１０が搭載された車両を指定の目的地まで誘導することができる。制御部２０は、オーディオ制御プログラムを実行することにより、図示しない記録媒体に記録された楽曲情報に基づいて図示しないスピーカーから楽曲の再生音を出力することができる。

本実施形態においては、以上のような各プログラムで実現される機能に関するユーザインタフェースを提供するため、制御部２０は、図示しないＲＯＭや記録媒体３０に記録された表示制御プログラム２１を実行する。当該表示制御プログラム２１による表示制御を実行するため、車両は、ディスプレイ４０、タッチパッド（入力部）４１および視線検出センサ４２を備えている。

ディスプレイ４０は、図示しないインタフェースを介して制御部２０と接続されており、制御部２０は、ディスプレイ４０に対して制御信号を出力することにより、任意の座標を指定し、任意の画像をディスプレイ４０に表示させることができる。本実施形態において、ディスプレイ４０は、複数個（具体的には４個）のディスプレイを備えている。制御部２０は、表示対象のディスプレイを特定し、各ディスプレイに任意の情報を表示させることができる。タッチパッド４１は、矩形平面の接触検出面を備えた入力デバイスであり、接触検出面に対して検出対象物が接触した位置を検出し、検出位置を示す座標を出力する。制御部２０は、当該座標に基づいて接触位置を取得することができる。

視線検出センサ４２は、赤外線出力部と少なくとも２個の赤外線カメラとを備えている。当該赤外線カメラは、運転者の顔を視野に含むように車室内の構造体（例えば、インストルメントパネルの壁面）に取り付けられている。赤外線カメラは、赤外線出力部から出力された赤外線によって撮影された利用者（運転者）の目の像に基づいて、目の位置および利用者の視線方向（ベクトル）を検出し、出力する。制御部２０は、当該出力に基づいて、予め定義された３次元空間内で目の位置および視線方向を特定することができる。視線方向は、例えば、両眼のそれぞれにおいて設定された基準点と、眼球の動きに応じて位置が変化する動点とを結ぶ方向として取得され、他にも種々の方式が採用されてよい。また、両眼のそれぞれにおいて特定された視線方向の平均値等によって利用者の視線方向を１方向に特定することができるが、視線方向の特定方法も種々の方法が採用され得る。

以上の構成において、制御部２０は、ディスプレイ４０およびタッチパッド４１をユーザインタフェースとして利用し、利用者による指示を受け付けることができる。本実施形態においてはディスプレイ４０が複数個のディスプレイを備えているため、制御部２０は、各ディスプレイに計器表示プログラム、空調制御プログラム、ナビゲーションプログラム、オーディオ制御プログラムのそれぞれによる実行画面を表示させる。本実施形態においては、各プログラムによる実行画面の表示先となるディスプレイが予め決められているが、利用者の操作および視点により、表示先を増やすことが可能である。

このような表示の制御を行うため、表示制御プログラム２１は、操作受付部２１ａと視点検出部２１ｂと表示制御部２１ｃと画面調整部２１ｄとを備えている。操作受付部２１ａは利用者の操作を受け付ける機能を制御部２０に実現させるプログラムモジュールである。すなわち、制御部２０は、タッチパッド４１が出力する信号に基づいて利用者が入力した（触れた）タッチパッド４１上の座標を取得する。制御部２０は、経時的な当該座標の変化に基づいて利用者の操作（なぞる操作やタップ操作等）を特定する。制御部２０は、当該操作に基づいて利用者の入力内容（例えば、ポインタの移動やポインタによるボタンの選択等）を受け付ける。入力内容が受け付けられると、制御部２０は、当該入力内容を計器表示プログラム、空調制御プログラム、ナビゲーションプログラム、オーディオ制御プログラムのいずれかまたは組み合わせに受け渡し、各プログラムによる機能を実行する。

視点検出部２１ｂは、利用者の視点を検出する機能を制御部２０に実現させるプログラムモジュールである。本実施形態においては、視点の検出領域となる各ディスプレイの位置が、車室内空間の位置を規定する３次元座標系によって予め特定されている。制御部２０は、視線検出センサ４２の出力に基づいて、利用者の目の位置および視線方向を取得し、画面の位置が規定された３次元座標系内で利用者の目の位置および視線方向を特定する。そして、当該目の位置から視線方向に延びる仮想的な線と、ディスプレイ４０の各ディスプレイ面との交点を視点として特定する。画面上に視点が存在しない場合、例えば、視点が不定とされてもよいし、他の構造体（例えば、インストルメントパネル等）上に存在すると判定されても良い。

表示制御部２１ｃは、第１表示領域に第１画面を表示し、第２表示領域に第２画面を表示する機能を制御部２０に実現させるプログラムモジュールである。すなわち、記録媒体３０には、各プログラムで表示し得る画像を構成するための画像情報が表示情報３０ａとして予め記録されている。制御部２０は、計器表示プログラム、空調制御プログラム、ナビゲーションプログラム、オーディオ制御プログラムの機能によって表示内容を特定し、表示情報３０ａを参照して当該表示内容の画面を描画するための画像情報を生成する。そして、制御部２０は、生成された画像情報を各プログラムによる実行画面の表示先のディスプレイに出力して表示させる。

本実施形態においては、ディスプレイ４０の各ディスプレイが第１表示領域および第２表示領域のいずれにもなり得る。すなわち、本実施形態においては、利用者がポインタによる操作を行っている画面が表示されたディスプレイが第１表示領域であり、他の３個のディスプレイのいずれもが第２表示領域となり得る。

また、制御部２０は、表示制御部２１ｃの機能により、利用者の操作内容に応じてユーザインタフェースの表示内容を変化させる。すなわち、制御部２０は、利用者の入力内容（例えば、ポインタの移動やポインタによるボタンの選択等）を受け付けると、当該入力内容毎に予め決められている動作をディスプレイ４０上で実現させる。例えば、入力内容がポインタの移動であれば、現在表示中のポインタを消去し、入力内容に応じた移動量および移動方向に変化した位置にポインタを表示させる。

なお、本実施形態において、ポインタは一定時間以上タッチパッド４１に対する操作が行われないと、ディスプレイ４０上から消去される。ただし、この場合であってもポインタの現在位置は保持され、再度タッチパッド４１に対する操作が開始されるとポインタが現在位置に表示される。また、本実施形態において、利用者は、ポインタの移動操作を繰り返すことにより、複数のディスプレイに渡るポインタの移動を行わせることができる。すなわち、異なるディスプレイの境界同士の接続関係が予め決められており、ディスプレイの境界方向に向けたポインタの移動操作が行われた場合において、ポインタがディスプレイの境界に達すると、接続されていると決められた他のディスプレイの境界にポインタが表示される。

画面調整部２１ｄは、第１画面に関する操作が行われており、かつ、視点が第２表示領域上に存在する場合、第２表示領域に第１画面に関連する情報を表示する機能を制御部２０に実現させるプログラムモジュールである。すなわち、制御部２０は、操作受付部２１ａの機能によって利用者がタッチパッド４１の操作を開始した状態または操作を行っている（前回の操作から閾値以上時間が経過していない）状態であるか否かを判定する。利用者がタッチパッド４１の操作を開始した状態または操作を行っている状態である場合、制御部２０は、ポインタの現在位置を取得し、ポインタの現在位置が存在するディスプレイを第１表示領域と見なす。すなわち、制御部２０は、利用者がタッチパッド４１の操作を開始した状態または操作を行っている状態である場合に、ポインタが存在する表示領域内の画面に関する操作が行われていると見なす。

さらに、制御部２０は、視点検出部２１ｂの機能によって特定された視点が第１表示領域以外のディスプレイ上に存在する場合、当該視点が第２表示領域上に存在すると見なす。そして、制御部２０は、第２表示領域に第１画面に関連する情報を表示する。本実施形態において、第１画面に関連する情報は、第１表示領域に表示された第１画面の補助または拡張のための情報であり、表示情報３０ａには第１画面に関連する情報も含まれている。制御部２０は、表示情報３０ａを参照し、当該第１画面に関連する情報を取得し、第２表示領域に表示させるための情報を生成する。そして、制御部２０は、当該情報を第２表示領域として特定されたディスプレイに出力する。この結果、第２表示領域に表示された第２画面が第１画面に関連する情報で置換されて表示される。

以上の構成において、第１画面に関する利用者の操作が行われている場合、利用者が第１画面に表示された情報を利用することを意図していると推定される。そして、利用者が当該意図を有している状況で第２表示領域に視点を移動させた場合、第１画面に表示された情報を利用することを意図している状態で利用者があえて第１表示領域から視点を外していると推定される。そこで、本実施形態において制御部２０は、第１画面に関する操作が行われており、かつ、視点が第２表示領域上に存在する場合に、第１表示領域のみならず第２表示領域にも第１画面に関連する情報を拡張して表示させる。この結果、利用者の意図に応じて第１画面に関する情報表示領域を拡張することができる。この構成によれば、利用者が必要とする情報が表示される確率を高めることができる。

（２）表示制御処理：
次に上述の構成における表示制御処理を詳細に説明する。図２は、当該表示制御処理を示すフローチャートである。本実施形態において制御部２０は、計器表示プログラム、空調制御プログラム、ナビゲーションプログラム、オーディオ制御プログラムの機能によって特定された表示内容を取得し、表示制御部２１ｃの機能によって各プログラムの実行画面の表示先に表示した状態で表示制御処理を実行する。

図３Ａは、ディスプレイ４０が備えるディスプレイ４０ａ，４０ｂ，４０ｃ，４０ｄのそれぞれに、計器表示プログラム、空調制御プログラム、ナビゲーションプログラム、オーディオ制御プログラムの実行画面が表示されている例を示している。具体的には、ディスプレイ４０ａには、計器表示プログラムによって取得されたエンジン回転数と現在の車速とが表示されている。

ディスプレイ４０ｂには、空調制御プログラムによって制御目標とされている目標温度および風量が表示されている。なお、ディスプレイ４０ｂに表示された画面には目標温度の上昇および下降と風量の増加および減少を指示するアイコンが含まれており、ポインタが当該アイコン上に存在する状態で利用者がタッチパッド４１をタップ操作すると目標温度の上昇、下降や、風量の増加、減少の指示が受け付けられる。

ディスプレイ４０ｃには、ナビゲーションプログラムによって描画された車両の現在位置を含む地図が表示されている。なお、ディスプレイ４０ｃに表示された画面上にポインタが存在する状態で利用者がタッチパッド４１において既定の操作（タップ操作後のなぞり操作等）を行うと地図のスクロール指示が受け付けられる。ディスプレイ４０ｄには、オーディオ制御プログラムによって再生中の楽曲アルバムに含まれる楽曲トラックと再生中の楽曲トラックとが表示されている。なお、ディスプレイ４０ｄに表示された画面上にポインタが存在する状態で利用者がタッチパッド４１において既定の操作（スワイプ操作等）を行うとトラックのスキップ指示が受け付けられる。

以上のように、既定のディスプレイに既定のプログラムの実行画面が表示され、各種の操作が受け付けられ得る状況において、制御部２０は、表示制御プログラム２１の機能によって表示制御処理を実行する。表示制御処理が開始されると、制御部２０は、操作受付部２１ａの機能により、操作を検出する（ステップＳ１００）。すなわち、利用者がタッチパッド４１に触れている場合、制御部２０は、タッチパッド４１が出力した信号に基づいて利用者が触れている座標を取得する。取得された座標は、時刻に対応づけられて図示しないＲＡＭ等に記録される。従って、制御部２０がＲＡＭを参照すれば、利用者によって触れられた位置の経時的な軌跡を特定することができる。なお、図３Ａにおいては、利用者がタッチパッド４１において操作を行った結果、ポインタＩ_Pがディスプレイ４０ｃ上に存在する例を示している。

次に、制御部２０は、視点検出部２１ｂの処理により、視点を検出する（ステップＳ１０５）。すなわち、制御部２０は、視線検出センサ４２の出力に基づいて、車室内の空間上の位置を規定する３次元座標系において利用者の目の位置および視線方向を取得する。さらに、制御部２０は、当該目の位置から視線方向に延びる仮想的な線と、ディスプレイ４０の各ディスプレイにおける表示面との交点を特定する。そして、当該交点の位置を画面座標系の位置に変換することにより、利用者の視点の位置をディスプレイ４０上で特定する。

次に、制御部２０は、画面調整部２１ｄの機能により、視点が第２領域内であるか否かを判定する（ステップＳ１１０）。すなわち、制御部２０は、ＲＡＭを参照してポインタの最新の座標および最新の操作の時刻を特定する。そして、当該最新の操作の時刻と現在時刻との差分が閾値以下である場合、制御部２０は、利用者がタッチパッド４１の操作を開始した状態または操作を行っている状態であるとみなす。利用者がタッチパッド４１の操作を開始した状態または操作を行っている状態ではない場合、すなわち、利用者が操作を行っていない場合、第１表示領域が定義できないため、制御部２０は、視点が第２領域内であるとは判定しない。

利用者がタッチパッド４１の操作を開始した状態または操作を行っている状態である場合、制御部２０は、ＲＡＭを参照してポインタの現在位置が存在するディスプレイを第１表示領域と見なす。さらに、制御部２０は、ステップＳ１０５で検出した視点が、当該第１表示領域以外のディスプレイ上に存在する場合に、視点が第２領域内であると判定する。例えば、図３Ａに示す例においてはポインタＩ_Pがディスプレイ４０ｃ上にあるため、第１表示領域はディスプレイ４０ｃであり、第１画面は第１表示領域上の地図画面である。

従って、利用者の視点がディスプレイ４０ａ，４０ｂ，４０ｄのいずれかに存在する場合、制御部２０は、視点が第２表示領域内に存在すると判定する。利用者の視点がディスプレイ４０ｃまたはディスプレイ以外の部位に存在する場合、制御部２０は、視点が第２表示領域内に存在すると判定しない。ステップＳ１１０において、視点が第２表示領域内に存在すると判定された場合、制御部２０は、画面調整部２１ｄの機能により、第２表示領域に第１画面に関連する情報を表示する（ステップＳ１１５）。すなわち、制御部２０は、画面調整部２１ｄの機能により、第１表示領域とされたディスプレイで表示されている画面を特定し、表示情報３０ａを参照して当該画面に関連する情報を抽出し、第２表示領域とされたディスプレイに表示させる。

図３Ｂは、図３Ａに示す例において、利用者がタッチパッド４１を操作している状態でオーディオ制御プログラムの実行画面が表示されているディスプレイ４０ｄに視点を位置Ｐに移動させた場合の表示例を示している。すなわち、図３Ａに示す例においては、ナビゲーションプログラムの実行画面である地図画面において、利用者がポインタＩ_Pで操作を行っている。この状態で利用者がディスプレイ４０ｄの位置Ｐに視点を移動させると、制御部２０は、ディスプレイ４０ｄに地図画面に関連した情報を表示させる。図３Ｂにおいては、ディスプレイ４０ｃに表示された地図画面を第２表示領域であるディスプレイ４０ｄに拡張して表示する例が示されている。この表示によれば、利用者は、地図画面に関する操作をしている場合に所望の方向に地図を広げることが可能である。

むろん、第２表示領域に第１画面に関連する情報が表示された後、当該第２表示領域の表示を第２画面に戻すためには、種々のトリガが採用されてよい。例えば、タッチパッド４１に対して利用者が既定の操作を行った場合に当該操作がトリガとなっても良いし、利用者の視点が第１表示領域に移動した場合に当該移動がトリガとなっても良いし、既定の時間が経過した場合に当該時間の経過がトリガとなっても良く種々の構成を採用可能である。なお、第２画面の表示を再現する際には、第２表示領域において第１画面に関連する情報が表示された状態が維持され、第１表示領域に第２画面が表示される構成であっても良い。

なお、第１画面に関連する情報としては、種々の情報が採用されてよく、例えば、図３Ａ、図３Ｂに示す例において、計器表示プログラムの表示画面（ディスプレイ４０ａ）が第１画面となった場合、第１画面に表示された計器の詳細情報や、他の計器（燃料計や経済走行度を示すゲージ等）等が第１画面に関連する情報となる構成等を採用可能である。また、空調制御プログラムの表示画面（ディスプレイ４０ｂ）が第１画面となった場合、風向調整のためのアイコン等が第１画面に関連する情報となる構成等を採用可能である。さらに、オーディオ制御プログラムの表示画面（ディスプレイ４０ｄ）が第１画面となった場合、再生中の楽曲トラックの詳細情報や再生中のアルバムの詳細情報（ジャケット情報等）等が第１画面に関連する情報となる構成等を採用可能である。

（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、第１画面に関する操作が行われており、かつ、視点が第２表示領域上に存在する場合、第２表示領域に第１画面に関連する情報を表示する限りにおいて、他にも種々の実施形態を採用可能である。例えば、表示制御システムは、各種のシステム、例えば、汎用コンピュータシステムに適用されていても良い。また、表示制御システムは、複数の装置（例えば、クライアントとサーバ）によって実現されるシステムであっても良い。

さらに、表示制御システムを構成する操作受付部２１ａ、視点検出部２１ｂ、表示制御部２１ｃ、画面調整部２１ｄの少なくとも一部が複数の装置に分かれて存在していても良い。例えば、表示制御部２１ｃや画面調整部２１ｄがディスプレイ４０内の制御部で実現されても良いし、操作受付部２１ａがタッチパッド４１内の制御部で実現されても良いし、視点検出部２１ｂが視線検出センサ４２内の制御部で実現されても良い。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。

さらに、第１画面に関する操作が行われており、かつ、視点が第１表示領域上に存在する場合には、視点が存在しない第２表示領域の表示内容が維持されても良いし、第１画面に関連する情報が表示されても良い。

操作受付部は利用者の操作を受け付けることができればよい。従って、上述のようなタッチパッドであっても良いし、他のポインティングデバイス（スティック等）であっても良いし、ボタンやタッチパネルディスプレイ等であっても良い。また、操作受付部においては、少なくとも画面に関する操作を受け付けることができればよい。画面に関する操作は、種々の操作が想定可能であり、ある画面内に存在するオブジェクトによって利用者の意図を入力するための操作が行われた場合、当該操作は当該画面に関する操作である。オブジェクトは、ポインタや選択中のボタンを示すアイコン、地図、リスト、文字、画像等が挙げられ、利用者の意図としては、移動や選択、スクロール、表示制御等の開始や終了等が挙げられる。

視点検出部は、利用者の視点を検出することができればよく、種々の構成を採用可能である。例えば、上述の実施形態のように、利用者の目を撮影するカメラの出力に基づいて利用者の目の動作を特定することにより視線を特定し、視線と予め特定されたディスプレイ画面との交点を視点と見なす構成等を採用可能である。検出対象となる目は１個であっても良いし、２個であっても良いが、精度を高めるためには検出対象の目は２個であることが好ましい。２個の目の視線が特定された場合における視点は、各目の視線に基づいて特定された各視点から統計的に特定されても良いし、利き目によるバイアスに基づいて視点が特定されても良い。さらに、視点は、少なくとも、利用者が視認している表示領域上で特定されれば良い。

表示制御部は、２個以上の表示領域に関する表示を制御することができればよく、領域の数は、２以上であれば特に限定されない。各表示領域に表示される画面の内容は任意であり、各種の画面であってよい。表示領域は、上述の実施形態のように異なるディスプレイであっても良いし、同一ディスプレイ内で分割された領域であっても良いし、両者の組み合わせであっても良い。むろん、ディスプレイの種類は限定されず、フラットパネルディスプレイ等の他、ＨＵＤ（Head Up Display）等であっても良い。

図３Ｃは、表示領域が、同一ディスプレイ内で分割された領域である場合の構成例を説明する図である。この構成は、図１に示す構成においてディスプレイ４０として少なくとも１個のディスプレイを有する構成によって実現可能である。図３Ｃは、ディスプレイの画面が３個の表示領域Ｚ₁、Ｚ₂、Ｚ₃に分割された例である。図３Ｃに示す例において、表示領域Ｚ₁は住所をタッチ操作で入力する際、つまり、利用者が指で画面やタッチパッド等をなぞって入力する際の文字入力画面の表示領域、表示領域Ｚ₂は目的地等を住所によって検索する際の検索画面の表示領域、表示領域Ｚ₃は地図の表示領域である。

この例においては、利用者が、タッチパッド４１またはタッチパネルディスプレイとしてのディスプレイ４０により、表示領域Ｚ₁において日本語の文字の一つである「あ（英語の不定冠詞ａと同様の音の文字）」をタッチ操作で入力している状態を想定している。すなわち、利用者が線Ｌ₁をタッチ操作によって入力済であり、利用者が線Ｌ₂をタッチ操作によって入力中である。そして、図３Ｃに示す例においては、利用者がタッチ操作の過程で文字を大きく書いたため線Ｌ₂の入力を表示領域Ｚ₁内で完了できない状態となっている。

このように、利用者が表示領域Ｚ₁内での操作を行っている状態で表示領域Ｚ₂を視認すると、第１表示領域である表示領域Ｚ₁において文字入力を行う第１画面に関する操作が行われており、かつ、視点が第２表示領域である表示領域Ｚ₂に存在すると判定される。この結果、第２表示領域である表示領域Ｚ₂に第１画面に関連する情報が表示される。この際、第１表示領域である表示領域Ｚ₁の画面が表示領域Ｚ₂に拡張される構成とすれば、利用者は文字の入力をやり直すことなく継続することができる。従って、利用者の利便性が向上する。

画面調整部は、利用者の操作内容と画面との関連を特定可能であり、第１画面に関する操作が行われている場合に視点が存在する表示領域を特定可能であれば良い。第１画面に関する操作が行われているか否かの判定は、利用者の操作が第１画面に関する何らかの意図を反映した操作であるか否かの判定であれば良い。

操作が行われているか否かは、種々の指標で判定されて良い。例えば、入力部に対する利用者の接触修了後既定期間以内である場合や、入力部に対する利用者の接触が開始された場合に操作が行われていると判定される上述の実施形態の他、ポインティングデバイス等の入力部に対して利用者が触れている場合や、入力部に対する利用者の継続的な接触が行われている場合等に、操作が行われていると判定する構成等を採用可能である。

第２表示領域に第１画面に関連する情報を表示する際には、上述の実施形態のように第２画面が第１画面に関連する情報によって代替されても良いし、第２画面の一部に第１画面に関連する情報が表示されても良い。第１画面に関連する情報は、第１表示領域に表示された第１画面に関連した情報であれば良く、例えば、第１画面に表示された情報を補助する情報や拡張する情報等が挙げられる。第１画面に関連する情報は、上述の例以外にも種々の例を採用可能であり、例えば、第１画面に一旦表示された文字や画像等が、スクロールによって第１画面に表示されなくなった場合に、当該表示されなくなった文字や画像等が１画面に関連する情報となってもよい。

むろん、第１画面に関連する情報は、第１画面に関する利用者の操作に応じて変化しても良い。例えば、利用者の操作によって第１画面内で選択されたアイコンに関する情報が第２表示領域に表示される構成であっても良い。例えば、第１表示領域に表示された第１画面がナビゲーションプログラムの機能によって表示された地図である場合において、第１画面に関する操作が地図の表示領域の変更を指示する操作である場合に、第２表示領域の情報が変化し得る構成であっても良い。

具体的には、上述の実施形態において、第１画面に関する操作が行われたと制御部２０が判定した場合、さらに、制御部２０が当該操作の内容を特定し、操作の内容が地図の表示領域の変更指示（例えば、スクロール指示や縮尺変更指示）であるか否かを判定する。そして、地図の表示領域の変更指示が行われ、かつ、視点が第２表示領域に存在する場合、制御部２０が、第１画面上の地図を第２表示領域まで拡張した場合に第２画面上に表示される地図を描画し、第２表示領域としてのディスプレイに表示させる構成であっても良い。この構成によれば、利用者は、操作の内容と視点の位置とによって第２表示領域上の表示内容を切り替えることが可能である。

さらに、第１画面に関する操作が行われており、かつ、視点が第２表示領域上に存在する場合であっても、他の要素に応じて第２表示領域に第１画面に関連する情報が表示される場合と表示されない場合があるように構成されていても良い。例えば、第２表示領域においては、画面内容によって表示優先度が決められており、第２画面の表示優先度が第１画面の表示優先度よりも高い場合には、画面調整部が、第２画面が表示された第２表示領域に第１画面に関連する情報を表示しない構成であっても良い。

この構成によれば、優先的に伝達されるべき情報が利用者に伝達されない状況が発生する確率を低減することができる。なお、表示優先度は、予め決められていれば良く、利用者の状況に依存せずに発生し得るイベント（例えば、着信や渋滞に関する情報を表示するための割込処理等）や常時表示すべき情報（車両におけるスピードメーター等）の表示優先度が第１画面の表示優先度よりも高い構成等が挙げられる。この構成によれば、例えば、複数の表示領域が存在する場合において、第１表示領域以外の表示領域のいずれかには第１画面に関連する情報が表示され得るが、特定の表示領域には第１画面に関連する情報が表示されないという構成を実現可能である。

例えば、図３Ａに示す構成例において、ディスプレイ４０ａに表示された計器類画面の表示優先度が地図画面の表示優先度より高い場合、地図に関する操作中に利用者がディスプレイ４０ａを視認しても地図に関連する情報はディスプレイ４０ａに表示されない。一方、地図に関する操作中に利用者がディスプレイ４０ｂ、４０ｄを視認すると地図に関連する情報がディスプレイ４０ｂ，４０ｄに表示される。むろん、この構成は一例であり、表示優先度が高い第２画面が表示されている場合、第２表示領域内の小さい領域に第１画面に関連する情報を表示し、第２画面の情報量の低下を抑制する構成等であっても良い。

さらに、本発明のように、第１画面に関する操作が行われており、かつ、視点が第２表示領域上に存在する場合、第２表示領域に第１画面に関連する情報を表示する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。例えば、以上のような手段を備えたナビゲーションシステムや方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

１０…表示制御システム、２０…制御部、２１…表示制御プログラム、２１ａ…操作受付部、２１ｂ…視点検出部、２１ｃ…表示制御部、２１ｄ…画面調整部、３０…記録媒体、３０ａ…表示情報、４０、４０ａ〜４０ｄ…ディスプレイ、４１…タッチパッド、４２…視線検出センサ

Claims (4)

1. 利用者の操作を受け付ける操作受付部と、
   利用者の視点を検出する視点検出部と、
   第１表示領域に第１画面を表示し、第２表示領域に第２画面を表示する表示制御部と、
   前記第１画面に関する前記操作が行われており、かつ、前記視点が前記第２表示領域上に存在する場合、前記第２表示領域に前記第１画面に関連する情報を表示する画面調整部と、
   を備える表示制御システム。
2. 画面内容によって表示優先度が決められており、
   前記画面調整部は、
   前記第２画面の前記表示優先度が前記第１画面の前記表示優先度よりも高い場合には、前記第２画面が表示された前記第２表示領域に前記第１画面に関連する情報を表示しない、
   請求項１に記載の表示制御システム。
3. 前記第１画面は地図であり、
   前記第１画面に関する前記操作は前記地図の表示領域の変更を指示する操作であり、
   前記第１画面に関連する情報は、前記第１画面としての前記地図を前記第２表示領域まで拡張した場合に当該第２画面上に表示される前記地図である、
   請求項１または請求項２のいずれかに記載の表示制御システム。
4. コンピュータを、
   利用者の操作を受け付ける操作受付部、
   利用者の視点を検出する視点検出部、
   第１表示領域に第１画面を表示し、第２表示領域に第２画面を表示する表示制御部、
   前記第１画面に関する前記操作が行われており、かつ、前記視点が前記第２表示領域上に存在する場合、前記第２表示領域に前記第１画面に関連する情報を表示する画面調整部、
   として機能させる表示制御プログラム。

Images