JP2018063522A - Display control system and display control program - Google Patents
Display control system and display control program Download PDFInfo
- Publication number
- JP2018063522A JP2018063522A JP2016200789A JP2016200789A JP2018063522A JP 2018063522 A JP2018063522 A JP 2018063522A JP 2016200789 A JP2016200789 A JP 2016200789A JP 2016200789 A JP2016200789 A JP 2016200789A JP 2018063522 A JP2018063522 A JP 2018063522A
- Authority
- JP
- Japan
- Prior art keywords
- display
- screen
- input
- user
- display area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、表示制御システムおよび表示制御プログラムに関する。 The present invention relates to a display control system and a display control program.
従来、利用者の視点に応じて表示内容を変化させる技術が知られている。例えば、特許文献１においては、視線移動角が小さくなる位置にスピードメータを移動させて表示する技術が開示されている。また、従来、複数のディスプレイに対する表示が行われる構成において、割込が発生した場合の表示先の選定に関する技術が知られている。例えば、特許文献２においては、割込画面の表示優先度と表示先の優先度とに基づいて割込画面の表示先を決定する技術が開示されている。 Conventionally, a technique for changing display contents in accordance with a user's viewpoint is known. For example, Patent Document 1 discloses a technique for moving and displaying a speedometer at a position where the line-of-sight movement angle becomes small. Conventionally, there has been known a technique related to selection of a display destination when an interrupt occurs in a configuration in which display on a plurality of displays is performed. For example, Patent Document 2 discloses a technique for determining the display destination of an interrupt screen based on the display priority of the interrupt screen and the priority of the display destination.
複数の画面が表示され、少なくとも１個の画面に関して利用者による入力が行われ得る構成において、利用者の入力が行われているにもかかわらず入力中の画面に対して割込が発生すると、利用者の入力が中断してしまう。
本発明は、前記課題にかんがみてなされたもので、入力の中断が発生する確率を低減することが可能な技術を提供することを目的とする。
In a configuration in which a plurality of screens are displayed and input by a user can be performed on at least one screen, when an interrupt occurs on the screen being input despite the user's input being performed, User input is interrupted.
The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of reducing the probability of input interruption.
上記の目的を達成するため、表示制御システムは、利用者による入力を受け付ける入力受付部と、第１表示領域に第１画面を表示し、第２表示領域に第２画面を表示する表示制御部と、前記第１表示領域に割込画面を表示する割込処理が発生した場合に、前記第１画面に関する前記入力が行われているならば、前記割込画面を前記第２表示領域に表示する画面調整部と、を備える。 In order to achieve the above object, a display control system includes an input receiving unit that receives input from a user, and a display control unit that displays a first screen in a first display area and a second screen in a second display area. When the interrupt processing for displaying the interrupt screen in the first display area occurs, if the input related to the first screen is performed, the interrupt screen is displayed in the second display area. A screen adjustment unit.
また、上記の目的を達成するため、表示制御プログラムは、コンピュータを、利用者による入力を受け付ける入力受付部、第１表示領域に第１画面を表示し、第２表示領域に第２画面を表示する表示制御部、前記第１表示領域に割込画面を表示する割込処理が発生した場合に、前記第１画面に関する前記入力が行われているならば、前記割込画面を前記第２表示領域に表示する画面調整部、として機能させる。 In order to achieve the above object, the display control program displays a computer with an input receiving unit that receives input from the user, a first screen in the first display area, and a second screen in the second display area. If the input related to the first screen is performed when an interrupt process for displaying the interrupt screen in the first display area is generated, the display screen displays the interrupt screen as the second display. It is made to function as a screen adjustment unit displayed in the area.
すなわち、割込処理が発生した場合に、利用者が第１画面に関する入力を行っていると、割込画面は第１画面を表示中の第１表示領域ではなく第２表示領域に表示される。従って、利用者が第１画面に関する入力を行っている状態では第１表示領域に割込画面が表示されず、入力の中断が発生する確率を低減することができる。 That is, when an interrupt process occurs, if the user makes an input related to the first screen, the interrupt screen is displayed in the second display area instead of the first display area in which the first screen is displayed. . Therefore, when the user is making an input related to the first screen, the interrupt screen is not displayed in the first display area, and the probability that the input is interrupted can be reduced.
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）表示制御システムの構成：
（２）表示制御処理：
（３）他の実施形態：
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of display control system:
(2) Display control processing:
(3) Other embodiments:
（１）表示制御システムの構成：
図１は、本発明の一実施形態である表示制御システム１０の構成を示すブロック図である。表示制御システム１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える制御部２０を備えており、制御部２０は、当該ＲＯＭや記録媒体３０に記録された所望のプログラムを実行することができる。
(1) Configuration of display control system:
FIG. 1 is a block diagram showing a configuration of a
本実施形態において、制御部２０は、図示しない計器表示プログラム、空調制御プログラム、ナビゲーションプログラム、オーディオ制御プログラム、通話制御プログラムを実行することができ、各プログラムを実行することにより各機能を実行することができる。すなわち、制御部２０は、計器表示プログラムを実行することにより、図示しない速度センサ、エンジン回転数センサの出力に基づいて現在の車速、エンジン回転数を取得し、ディスプレイ４０に表示させることができる。
In the present embodiment, the
また、制御部２０は、空調制御プログラムを実行することにより図示しない空調機器の目標温度および風量を制御することができる。さらに、制御部２０は、ナビゲーションプログラムを実行することにより、図示しないＧＰＳ信号等に基づいて表示制御システム１０が搭載された車両を指定の目的地まで誘導することができる。制御部２０は、オーディオ制御プログラムを実行することにより、図示しない記録媒体に記録された楽曲情報に基づいて図示しないスピーカーから楽曲の再生音を出力することができる。
Moreover, the
制御部２０は、通話制御プログラムを実行することにより、図示しない通信モジュールとスピーカーおよびマイクを制御し、通話の着信および発信を実現させることができる。すなわち、制御部２０は、利用者に指示された通話先に対する発信や、任意の発信元からの着信を制御することができる。本実施形態において、通常の状態（利用者が明示的に指示していない状態）では通話制御プログラムによる画面は表示されず、利用者が発信開始の指示を行った場合や着信が発生した場合に通話制御プログラムによる画面が表示され得る。本実施形態において着信は利用者の入力に依存することなく発生し得るため、着信に関する処理が割込処理である。
The
本実施形態においては、以上のような各プログラムで実現される機能に関するユーザインタフェースを提供するため、制御部２０は、図示しないＲＯＭや記録媒体３０に記録された表示制御プログラム２１を実行する。当該表示制御プログラム２１による表示制御を実行するため、車両は、ディスプレイ４０、タッチパッド（入力部）４１および視線検出センサ４２を備えている。
In the present embodiment, the
ディスプレイ４０は、図示しないインタフェースを介して制御部２０と接続されており、制御部２０は、ディスプレイ４０に対して制御信号を出力することにより、任意の座標を指定し、任意の画像をディスプレイ４０に表示させることができる。本実施形態において、ディスプレイ４０は、複数個（具体的には４個）のディスプレイを備えている。制御部２０は、表示対象のディスプレイを特定し、各ディスプレイに任意の情報を表示させることができる。タッチパッド４１は、矩形平面の接触検出面を備えた入力デバイスであり、接触検出面に対して検出対象物が接触した位置を検出し、検出位置を示す座標を出力する。制御部２０は、当該座標に基づいて接触位置を取得することができる。
The
視線検出センサ４２は、赤外線出力部と少なくとも２個の赤外線カメラとを備えている。当該赤外線カメラは、運転者の顔を視野に含むように車室内の構造体（例えば、インストルメントパネルの壁面）に取り付けられている。赤外線カメラは、赤外線出力部から出力された赤外線によって撮影された利用者（運転者）の目の像に基づいて、目の位置および利用者の視線方向（ベクトル）を検出し、出力する。制御部２０は、当該出力に基づいて、予め定義された３次元空間内で目の位置および視線方向を特定することができる。視線方向は、例えば、両眼のそれぞれにおいて設定された基準点と、眼球の動きに応じて位置が変化する動点とを結ぶ方向として取得され、他にも種々の方式が採用されてよい。また、両眼のそれぞれにおいて特定された視線方向の平均値等によって利用者の視線方向を１方向に特定することができるが、視線方向の特定方法も種々の方法が採用され得る。
The line-of-
以上の構成において、制御部２０は、ディスプレイ４０およびタッチパッド４１をユーザインタフェースとして利用し、利用者による指示を受け付けることができる。本実施形態においてはディスプレイ４０が複数個のディスプレイを備えているため、制御部２０は、各ディスプレイに計器表示プログラム、空調制御プログラム、ナビゲーションプログラム、オーディオ制御プログラムのそれぞれによる実行画面を表示させる。本実施形態においては、各プログラムによる実行画面の表示先となるディスプレイが予め決められている。通話制御プログラムによる画面は、通常の状態ではディスプレイ４０に表示されないが、バックグラウンドで通話制御プログラムは実行される。そこで、通話制御プログラムによる割込処理が発生した場合、制御部２０は、表示先のディスプレイを選択して割込処理に関する画面を表示させる。
In the above configuration, the
このような表示の制御を行うため、表示制御プログラム２１は、入力受付部２１ａと表示制御部２１ｂと画面調整部２１ｃとを備えている。入力受付部２１ａは利用者による入力を受け付ける機能を制御部２０に実現させるプログラムモジュールである。すなわち、制御部２０は、タッチパッド４１が出力する信号に基づいて利用者が入力した（触れた）タッチパッド４１上の座標を取得する。制御部２０は、経時的な当該座標の変化に基づいて利用者の操作（なぞる操作やタップ操作等）を特定する。制御部２０は、当該操作に基づいて利用者の入力内容（例えば、ポインタの移動やポインタによるボタンの選択等）を受け付ける。
In order to perform such display control, the
さらに、入力受付部２１ａは、視線検出センサ４２の出力信号に基づいて利用者の視点（視線と画面との交点）を特定する。本実施形態においては、視点の検出領域となる各ディスプレイの位置が、車室内空間の位置を規定する３次元座標系によって予め特定されている。制御部２０は、視線検出センサ４２の出力に基づいて、利用者の目の位置および視線方向を取得し、画面の位置が規定された３次元座標系内で利用者の目の位置および視線方向を特定する。そして、当該目の位置から視線方向に延びる仮想的な線と、ディスプレイ４０の各ディスプレイ面との交点を視点として特定する。制御部２０は、利用者の視点が存在するディスプレイ（利用者が注視しているディスプレイ）を利用者の視点によって入力された入力内容として特定する。画面上に視点が存在しない場合、例えば、視点が不定とされてもよいし、他の構造体（例えば、インストルメントパネル等）上に存在すると判定されても良い。
Further, the
入力内容が受け付けられると、制御部２０は、当該入力内容を計器表示プログラム、空調制御プログラム、ナビゲーションプログラム、オーディオ制御プログラムのいずれかまたは組み合わせに受け渡し、各プログラムによる機能を実行する。例えば、視点が存在するディスプレイ上のポインタがタッチパッド４１に対するなぞり操作等をトリガにして画面上のボタンにジャンプする機能や、ポインタがボタン上に存在する状態でタッチパッド４１に対するタップ操作等が行われるとボタンに対する入力が受け付けられる等の機能が実行される。
When the input content is received, the
表示制御部２１ｂは、第１表示領域に第１画面を表示し、第２表示領域に第２画面を表示する機能を制御部２０に実現させるプログラムモジュールである。すなわち、記録媒体３０には、各プログラムで表示し得る画像を構成するための画像情報が表示情報３０ａとして予め記録されている。制御部２０は、計器表示プログラム、空調制御プログラム、ナビゲーションプログラム、オーディオ制御プログラム、通話制御プログラムの機能によって表示内容を特定し、表示情報３０ａを参照して当該表示内容の画面を描画するための画像情報を生成する。そして、制御部２０は、生成された画像情報を各プログラムによる実行画面の表示先のディスプレイに出力して表示させる。
The
本実施形態においては、ディスプレイ４０の各ディスプレイが第１表示領域および第２表示領域のいずれにもなり得る。すなわち、本実施形態においては、割込処理の実行画面である割込画面の表示先として予め決められたディスプレイが第１表示領域であり、他の３個のディスプレイのいずれもが第２表示領域となり得る。ここでは割込処理の例として主に着信に関する処理を挙げているが、他の割込処理が存在し、当該他の割込処理における割込画面の表示先が着信による割込画面の表示先と異なれば、第１表示領域が異なり得る。
In the present embodiment, each display of the
また、制御部２０は、表示制御部２１ｂの機能により、利用者の入力内容に応じてユーザインタフェースの表示内容を変化させる。すなわち、制御部２０は、利用者の入力内容（例えば、ポインタの移動やポインタによるボタンの選択、視点によるディスプレイの指定等）を受け付けると、当該入力内容毎に予め決められている動作をディスプレイ４０上で実現させる。例えば、入力内容がタッチパッド４１によるポインタの移動であれば、現在表示中のポインタを消去し、入力内容に応じた移動量および移動方向に変化した位置にポインタを表示させる。
Moreover, the
なお、本実施形態において、ポインタは一定時間以上タッチパッド４１に対する操作が行われないと、ディスプレイ４０上から消去される。ただし、この場合であってもポインタの現在位置は保持され、再度タッチパッド４１に対する操作が開始されるとポインタが現在位置に表示される。また、本実施形態において、利用者は、タッチパッド４１に対してポインタの移動操作を繰り返すことにより、複数のディスプレイに渡るポインタの移動を行わせることができる。すなわち、異なるディスプレイの境界同士の接続関係が予め決められており、ディスプレイの境界方向に向けたポインタの移動操作が行われた場合において、ポインタがディスプレイの境界に達すると、接続されていると決められた他のディスプレイの境界にポインタが表示される。
In the present embodiment, the pointer is erased from the
画面調整部２１ｃは、第１表示領域に割込画面を表示する割込処理が発生した場合に、第１画面に関する入力が行われているならば、割込画面を第２表示領域に表示する機能を制御部２０に実現させるプログラムモジュールである。すなわち、制御部２０は、画面調整部２１ｃの処理により、通話制御プログラムによる割込処理が発生したか否かを判定する。割込処理の割込画面の表示先となるディスプレイ（第１表示領域）は予め決められているため、制御部２０は、通常、当該割込画面を当該ディスプレイに表示させる。
When an interrupt process for displaying an interrupt screen in the first display area occurs, the
ただし、割込画面の表示先とされたディスプレイにおいて利用者が入力を行っている場合、制御部２０は、他のディスプレイに割込画面を表示させる。このため、割込処理が発生した場合、制御部２０は、入力受付部２１ａの機能によって利用者による入力が行われている状態であるか否かを判定する。本実施形態においては、タッチパッド４１の操作が開始された場合、またはタッチパッド４１の操作が行われている場合（前回の操作から閾値以上時間が経過していない場合）、または、利用者の視点がディスプレイ上に存在する場合に、利用者による入力が行われている状態であると判定される。
However, when the user is inputting on the display that is the display destination of the interrupt screen, the
利用者による入力が行われている状態である場合、制御部２０は、入力が行われているディスプレイを取得する。すなわち、タッチパッド４１の操作が開始された場合、またはタッチパッド４１の操作が行われている場合、制御部２０は、ポインタの現在位置を取得し、ポインタの現在位置が存在するディスプレイを特定する。すなわち、制御部２０は、利用者がタッチパッド４１の操作を開始した状態または操作を行っている状態である場合に、ポインタが存在する表示領域内の画面に関する操作が行われていると見なす。また、タッチパッド４１の操作が開始されておらず、タッチパッド４１の操作が行われていない場合、制御部２０は、視点がディスプレイ上に存在するか否か判定し、視点がディスプレイ上に存在する場合、当該視点が存在するディスプレイを特定する。
When the input by the user is performed, the
以上のようにして特定されたディスプレイが割込画面の表示先とされたディスプレイ（第１表示領域）である場合、制御部２０は、第１表示領域に表示された第１画面に関する入力が行われていると見なす。そして、制御部２０は、割込画面を第２表示領域に表示する。すなわち、制御部２０は、表示情報３０ａを参照し、割込画面を描画するための情報を取得し、第２表示領域に表示させるための画像情報を生成する。そして、制御部２０は、当該画像情報を第２表示領域としてのディスプレイに出力する。この結果、第２表示領域に表示された第２画面が第１画面に関連する情報で置換されて表示される。
When the display specified as described above is the display (first display area) that is the display destination of the interrupt screen, the
第２表示領域は第１表示領域と異なるディスプレイであれば良く、種々の手法で特定されて良い。例えば、第２表示領域となるディスプレイが予め特定されていても良いし、第１表示領域としてディスプレイ以外のディスプレイに表示された画面の優先度（予め決められている）が特定され、優先度が最も低い画像を表示しているディスプレイが第２表示領域となってもよい。 The second display area may be a display different from the first display area, and may be specified by various methods. For example, the display serving as the second display area may be specified in advance, or the priority (predetermined) of the screen displayed on the display other than the display as the first display area is specified, and the priority is The display displaying the lowest image may be the second display area.
以上のような本実施形態においては、割込処理が発生した場合に、利用者が第１表示領域に表示された第１画面に関する入力を行っていると、割込画面は第１表示領域ではなく第２表示領域に表示される。従って、利用者が第１画面に関する入力を行っている状態で第１表示領域に割込画面が表示され、入力の中断が発生する確率を低減することができる。 In the present embodiment as described above, when an interrupt process occurs, if the user makes an input related to the first screen displayed in the first display area, the interrupt screen is not displayed in the first display area. Without being displayed in the second display area. Therefore, the interrupt screen is displayed in the first display area in a state where the user is making an input related to the first screen, and the probability that the input is interrupted can be reduced.
（２）表示制御処理：
次に上述の構成における表示制御処理を詳細に説明する。図２は、当該表示制御処理を示すフローチャートである。本実施形態において制御部２０は、各プログラムの実行下において、表示制御処理を実行する。すなわち、制御部２０は、計器表示プログラム、空調制御プログラム、ナビゲーションプログラム、オーディオ制御プログラムの機能によって特定された表示内容を取得し、表示制御部２１ｂの機能によって各プログラムの実行画面の表示先に表示し、各プログラムにおける処理を実行する。また、制御部２０は、バックグラウンドにおいて通話制御プログラムを実行し、着信待機状態とする。
(2) Display control processing:
Next, the display control process in the above configuration will be described in detail. FIG. 2 is a flowchart showing the display control process. In the present embodiment, the
図３Ａは、ディスプレイ４０が備えるディスプレイ４０ａ，４０ｂ，４０ｃ，４０ｄのそれぞれに、計器表示プログラム、空調制御プログラム、ナビゲーションプログラム、オーディオ制御プログラムの実行画面が表示されている例を示している。具体的には、ディスプレイ４０ａには、計器表示プログラムによって取得されたエンジン回転数と現在の車速とが表示されている。
FIG. 3A shows an example in which an execution screen of an instrument display program, an air conditioning control program, a navigation program, and an audio control program is displayed on each of the
ディスプレイ４０ｂには、空調制御プログラムによって制御目標とされている目標温度および風量が表示されている。なお、ディスプレイ４０ｂに表示された画面には目標温度の上昇および下降と風量の増加および減少を指示するアイコンが含まれており、ポインタが当該アイコン上に存在する状態で利用者がタッチパッド４１をタップ操作すると目標温度の上昇、下降や、風量の増加、減少の指示が受け付けられる。
The
ディスプレイ４０ｃには、ナビゲーションプログラムによって描画された車両の現在位置を含む地図が表示されている。なお、ディスプレイ４０ｃに表示された画面上にポインタが存在する状態で利用者がタッチパッド４１において既定の操作（タップ操作後のなぞり操作等）を行うと地図のスクロール指示が受け付けられる。ここでは、割込画面の表示先がディスプレイ４０ｃであることが予め決められている例を想定する。ディスプレイ４０ｄには、オーディオ制御プログラムによって再生中の楽曲アルバムに含まれる楽曲トラックと再生中の楽曲トラックとが表示されている。なお、ディスプレイ４０ｄに表示された画面上にポインタが存在する状態で利用者がタッチパッド４１において既定の操作（スワイプ操作等）を行うとトラックのスキップ指示が受け付けられる。
A map including the current position of the vehicle drawn by the navigation program is displayed on the
以上のように、既定のディスプレイに既定のプログラムの実行画面が表示され、各種の操作が受け付けられ得る状況において、制御部２０は、表示制御プログラム２１の機能によって表示制御処理を実行する。表示制御処理が開始されると、制御部２０は、画面調整部２１ｃの処理により、割込が発生したか否かを判定する（ステップＳ１０５）。すなわち、制御部２０は、通話制御プログラムの処理により、図示しない通信モジュールにおいて着信の発生を検出したか否かを判定しており、着信の発生が検出されると、制御部２０は、割込処理が発生したと見なす。ステップＳ１００において、割込が発生したと判定されない場合、制御部２０は、ステップＳ１００を繰り返す。
As described above, in a situation where the execution screen of the default program is displayed on the default display and various operations can be accepted, the
ステップＳ１００において、割込が発生したと判定された場合、制御部２０は、入力受付部２１ａの機能により、利用者の入力を検出する（ステップＳ１００）。すなわち、利用者がタッチパッド４１に触れている場合、制御部２０は、タッチパッド４１が出力した信号に基づいて利用者が触れている座標を取得する。取得された座標は、時刻に対応づけられて図示しないＲＡＭ等に記録される。従って、制御部２０がＲＡＭを参照すれば、利用者によって触れられた位置の経時的な軌跡を特定することができる。なお、図３Ａにおいては、利用者がタッチパッド４１において操作を行った結果、ポインタＩPがディスプレイ４０ｃ上に存在する例を示している。
When it is determined in step S100 that an interrupt has occurred, the
また、制御部２０は、視線検出センサ４２の出力に基づいて、車室内の空間上の位置を規定する３次元座標系において利用者の目の位置および視線方向を取得する。さらに、制御部２０は、当該目の位置から視線方向に延びる仮想的な線と、ディスプレイ４０の各ディスプレイにおける表示面との交点を特定する。そして、当該交点の位置を画面座標系の位置に変換することにより、利用者の視点の位置をディスプレイ４０上で特定する。ディスプレイ４０の各ディスプレイにおける表示面との交点が特定されない場合、すなわち、利用者がディスプレイを注視していない場合、利用者の入力としての視点は特定されない。
Further, the
次に、制御部２０は、画面調整部２１ｃの機能により、第１画面に関する入力が行われているか否かを判定する（ステップＳ１１０）。すなわち、制御部２０は、ステップＳ１０５で検出された入力が第１表示領域内の第１画面に関する入力であるか否かを判定する。本例においては、割込画面の表示先として予め決められたディスプレイ４０ｃが第１表示領域であるため、制御部２０は、ステップＳ１０５で検出された入力が第１表示領域に関する入力であるか否かを判定することになる。
Next, the
具体的には、制御部２０は、ＲＡＭを参照してポインタの最新の座標および最新の操作の時刻を特定する。そして、当該最新の操作の時刻と現在時刻との差分が閾値以下である場合、制御部２０は、利用者がタッチパッド４１の操作を開始した状態または操作を行っている状態であるとみなす。利用者がタッチパッド４１の操作を開始した状態または操作を行っている状態である場合、制御部２０は、ＲＡＭを参照してポインタの現在位置を特定する。そして、当該現在位置がディスプレイ４０ｃに表示された画面上である場合、制御部２０は、第１画面に関する入力が行われていると判定する。
Specifically, the
現在位置がディスプレイ４０ｃに表示された画面上でない場合、および利用者がタッチパッド４１の操作を行っていない場合、制御部２０は、ステップＳ１０５で検出した視点がディスプレイ４０ｃ上に存在するか否かを判定する。視点がディスプレイ４０ｃ上に存在する場合、制御部２０は、第１画面に関する入力が行われていると判定する。視点がディスプレイ４０ｃ上に存在しない場合、制御部２０は、第１画面に関する入力が行われていないと判定する。また、ステップＳ１０５において、操作および視点による入力が検出されなかった場合、制御部２０は、第１画面に関する入力が行われていないと判定する。
When the current position is not on the screen displayed on the
ステップＳ１１０において、第１画面に関する入力が行われていると判定された場合、制御部２０は、画面調整部２１ｃの処理により、第２表示領域に割込画面を表示する（ステップＳ１１５）。すなわち、制御部２０は、表示情報３０ａを参照し、割込画面を描画するための情報を取得し、第２表示領域としてのディスプレイ（ディスプレイ４０ａ，４０ｂ，４０ｄのいずれか）に割込画面を表示させる。図３Ｂは、図３Ａのようにポインタがディスプレイ４０ｃに表示されている状態で着信が発生し、第２表示領域がディスプレイ４０ｄである例を示している。このように、ディスプレイ４０ｃに表示された画面に関する入力が行われている状態で着信が発生すると、着信を示す割込画面は第２表示領域としてのディスプレイ４０ｄに表示される。
If it is determined in step S110 that an input related to the first screen has been performed, the
ステップＳ１１０において、第１画面に関する入力が行われていると判定されない場合、制御部２０は、画面調整部２１ｃの処理により、第１表示領域に割込画面を表示する（ステップＳ１２０）。すなわち、制御部２０は、表示情報３０ａを参照し、割込画面を描画するための情報を取得し、第１表示領域としてのディスプレイ４０ｃに割込画面を表示させる。図３Ｃは、図３Ａと同様の画面構成において利用者による入力が行われていない状態で着信が発生した例を示している。このように、ディスプレイ４０ｃに表示された画面に関する入力が行われていない状態で着信が発生すると、着信を示す割込画面は第１表示領域としてのディスプレイ４０ｃに表示される。
In step S110, when it is not determined that the input related to the first screen is performed, the
（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、第１画面に関する入力が行われている場合に、割込画面を第２表示領域に表示する限りにおいて、他にも種々の実施形態を採用可能である。例えば、表示制御システムは、各種のシステム、例えば、汎用コンピュータシステムに適用されていても良い。また、表示制御システムは、複数の装置（例えば、クライアントとサーバ）によって実現されるシステムであっても良い。
(3) Other embodiments:
The above embodiment is an example for carrying out the present invention, and various other embodiments can be used as long as the interrupt screen is displayed in the second display area when input related to the first screen is performed. Can be adopted. For example, the display control system may be applied to various systems such as a general-purpose computer system. Further, the display control system may be a system realized by a plurality of devices (for example, a client and a server).
さらに、表示制御システムを構成する入力受付部２１ａ、表示制御部２１ｂ、画面調整部２１ｃの少なくとも一部が複数の装置に分かれて存在していても良い。例えば、表示制御部２１ｂや画面調整部２１ｃがディスプレイ４０内の制御部で実現されても良いし、入力受付部２１ａがタッチパッド４１内の制御部や視線検出センサ４２内の制御部で実現されても良い。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。
Furthermore, at least a part of the
入力受付部は利用者による入力を受け付けることができればよい。入力は、利用者による何らかの意図を表示制御システムに伝達する動作であれば良く、入力態様は限定されない。例えば、上述の実施形態のような利用者の操作による入力や利用者の視点による入力が受け付けられる構成の他、音声等による入力が可能であっても良い。いずれの態様であっても、複数の表示領域に表示された画面のいずれに関する入力が行われているのか特定可能な態様であれば良い。 The input reception unit only needs to be able to receive input from the user. The input may be an operation that transmits some intention by the user to the display control system, and the input mode is not limited. For example, in addition to the configuration in which input by a user's operation or input from the user's viewpoint as in the above-described embodiment is accepted, input by voice or the like may be possible. Any mode may be used as long as it is possible to specify which of the screens displayed in the plurality of display areas is being input.
画面に関する入力は、種々の入力が想定可能であり、例えば、ある画面内に存在するオブジェクトによって利用者の意図の入力が行われた場合、当該入力を当該画面に関する入力と見なす構成等を採用可能である。オブジェクトは、ポインタや選択中のボタンを示すアイコン、地図、リスト、文字、画像等が挙げられ、利用者の意図としては、移動や選択、スクロール、表示制御等の開始や終了等が挙げられる。 Various input can be assumed for the screen. For example, when the user's intention is input by an object that exists in a screen, a configuration can be adopted in which the input is regarded as input for the screen. It is. The object includes a pointer, an icon indicating a selected button, a map, a list, a character, an image, and the like, and the user's intention includes start and end of movement, selection, scrolling, display control, and the like.
操作による入力は、上述のようなタッチパッドで行われても良いし、他のポインティングデバイス（スティック等）であっても良いし、ボタンやタッチパネルディスプレイ等であっても良い。 The input by the operation may be performed with the touch pad as described above, may be another pointing device (stick or the like), or may be a button or a touch panel display.
視点による入力を実現するためには、利用者の視点を検出することができればよく、種々の構成を採用可能である。例えば、上述の実施形態のように、利用者の目を撮影するカメラの出力に基づいて利用者の目の動作を特定することにより視線を特定し、視線と予め特定されたディスプレイ画面との交点を視点と見なす構成等を採用可能である。検出対象となる目は１個であっても良いし、２個であっても良いが、精度を高めるためには検出対象の目は２個であることが好ましい。２個の目の視線が特定された場合における視点は、各目の視線に基づいて特定された各視点から統計的に特定されても良いし、利き目によるバイアスに基づいて視点が特定されても良い。さらに、視点は、少なくとも、利用者が視認している表示領域上で特定されれば良い。 In order to realize the input by the viewpoint, it is sufficient if the viewpoint of the user can be detected, and various configurations can be adopted. For example, as in the above-described embodiment, the line of sight is specified by specifying the movement of the user's eyes based on the output of the camera that captures the user's eyes, and the intersection of the line of sight and the previously specified display screen It is possible to adopt a configuration that regards as a viewpoint. The number of eyes to be detected may be one or two, but in order to improve accuracy, it is preferable that the number of eyes to be detected is two. The viewpoint when the eyes of two eyes are specified may be statistically specified from each viewpoint specified based on the eyes of each eye, or the viewpoint is specified based on the bias by the dominant eye. Also good. Furthermore, the viewpoint may be specified at least on the display area that the user is viewing.
さらに、上述の実施形態においては、利用者による操作入力と視点入力とに基づいて第１画面に関する入力が行われているか否か判定されていたが、操作入力、視点入力の一方に基づいて第１画面に関する入力が行われているか否か判定されてもよい。さらに、操作入力と視点入力との組み合わせによって第１画面に関する入力が行われているか否か判定されても良い。 Furthermore, in the above-described embodiment, it is determined whether or not an input related to the first screen is performed based on the operation input and the viewpoint input by the user. However, the first input is based on one of the operation input and the viewpoint input. It may be determined whether or not an input relating to one screen is being performed. Further, it may be determined whether or not an input related to the first screen is performed by a combination of the operation input and the viewpoint input.
表示制御部は、２個以上の表示領域に関する表示を制御することができればよく、領域の数は、２以上であれば特に限定されない。各表示領域に表示される画面の内容は任意であり、各種の画面であってよい。表示領域は、上述の実施形態のように異なるディスプレイであっても良いし、同一ディスプレイ内で分割された領域であっても良いし、両者の組み合わせであっても良い。むろん、ディスプレイの種類は限定されず、フラットパネルディスプレイ等の他、ＨＵＤ（Head Up Display）等であっても良い。 The display control unit only needs to be able to control display related to two or more display areas, and the number of areas is not particularly limited as long as it is two or more. The content of the screen displayed in each display area is arbitrary, and may be various screens. The display area may be different displays as in the above-described embodiment, may be an area divided within the same display, or may be a combination of both. Of course, the type of display is not limited, and may be HUD (Head Up Display) or the like in addition to a flat panel display or the like.
画面調整部は、割込処理が発生した場合における利用者の入力と画面との関連を特定可能であり、割込処理が発生し、第１画面に関する入力が行われている場合に、視点が存在する表示領域を特定可能であれば良い。第１画面に関する入力が行われているか否かの判定は、利用者の入力が第１画面に関する何らかの意図を反映した入力であるか否かの判定であれば良い。 The screen adjustment unit can identify the relationship between the user's input and the screen when an interrupt process occurs, and when the interrupt process occurs and input related to the first screen is performed, the viewpoint is changed. It suffices if the existing display area can be specified. The determination as to whether or not the input related to the first screen is being performed may be a determination as to whether or not the user input is an input reflecting some intention regarding the first screen.
入力が行われているか否かは、種々の指標で判定されて良い。例えば、入力部に対する利用者の接触修了後既定期間以内である場合や、入力部に対する利用者の接触が開始された場合に操作が行われていると判定される上述の実施形態の他、ポインティングデバイス等の入力部に対して利用者が触れている場合や、入力部に対する利用者の継続的な接触が行われている場合等に、操作が行われていると判定する構成等を採用可能である。また、視点が画面上に存在する場合や、視点が画面上に存在する状態から存在しない状態となった後既定期間以内である場合等に入力が行われていると判定する構成等を採用可能である。 Whether or not an input is performed may be determined by various indicators. For example, in addition to the above-described embodiment in which it is determined that the operation is performed when the user's contact with the input unit is within a predetermined period or when the user's contact with the input unit is started, pointing is performed. It is possible to adopt a configuration that determines that an operation is being performed when the user touches the input unit such as a device or when the user continuously contacts the input unit. It is. In addition, it is possible to adopt a configuration in which it is determined that input has been made when the viewpoint exists on the screen, or when the viewpoint is within a predetermined period after it has changed from being present on the screen to not being present. It is.
割込処理は、利用者の指示によらずに偶発的に発生し得る処理であれば良く、実行中の処理の過程において、当該処理の画面の少なくとも一部に他の処理による画面が表示され得る場合に当該処理が割込処理となる。割込処理としては、上述のような着信処理の他、種々の例を想定可能である。例えば、渋滞情報の案内処理、緊急車両接近の案内処理など、偶発的な事象に関する処理が割込処理となり得る。割込画面を第２表示領域に表示する際には、上述の実施形態のように第２画面が割込画面によって代替されても良いし、第２画面の一部に割込画面が表示されても良い。 The interrupt process may be a process that can occur accidentally regardless of the user's instruction. In the course of the process being executed, a screen by another process is displayed on at least a part of the screen of the process. When it is obtained, the process is an interrupt process. As the interrupt process, various examples can be assumed in addition to the above incoming process. For example, a process related to an accidental event such as a traffic jam information guidance process or an emergency vehicle approach guidance process may be an interrupt process. When displaying the interrupt screen in the second display area, the second screen may be replaced by the interrupt screen as in the above-described embodiment, or the interrupt screen is displayed on a part of the second screen. May be.
さらに、画面調整部による画面の調整には例外が設けられていても良い。例えば、第１画面に関する操作が行われ、視点が第１画面に存在しない場合、画面調整部が第１表示領域に割込画面を表示する構成であっても良い。すなわち、第１画面に関して入力としての操作が行われているが、第１画面に関する視点の入力が行われていない場合、利用者が、第１画面以外の画面を意識している確率が高く、この場合であれば第１画面への割込があっても利用者に不都合を感じさせない可能性が高い。 Furthermore, an exception may be provided for screen adjustment by the screen adjustment unit. For example, when an operation related to the first screen is performed and the viewpoint does not exist on the first screen, the screen adjustment unit may display an interrupt screen in the first display area. That is, when an operation as an input is performed with respect to the first screen, but a viewpoint is not input with respect to the first screen, there is a high probability that the user is conscious of a screen other than the first screen, In this case, there is a high possibility that the user will not feel inconvenience even if there is an interruption in the first screen.
この構成は、例えば、上述の実施形態と同様の構成において、制御部２０が、ステップＳ１１０において、タッチパッド４１の操作によって第１画面に関する操作が行われているが、視点が第１画面（第１表示領域）上に存在しないと判定した場合、ステップＳ１２０を実行することによって実現される。この構成によれば、利用者が第１表示領域を注視していない場合に、通常通りの第１表示領域に割込画面を表示させることができる。
In this configuration, for example, in the configuration similar to the above-described embodiment, the
さらに、第２表示領域に表示される第２画面に優先度が対応づけられており、優先度が閾値以上である場合には第２画面が割込画面に代替されないように構成されていても良い。この場合、割込画面は第１表示領域に表示されても良いし、第１表示領域、第２表示領域以外の第３表示領域が存在する場合には、第３表示領域に表示されても良い。例えば、目的地設定画面の優先度が高優先度、観賞用の写真表示画面の優先度が低優先度と設定されている構成において着信等の割込が発生した場合に、第２表示領域に目的地設定画面が表示されていれば当該画面には割り込まれないが、第２表示領域に写真表示画面が表示されていれば当該画面に割り込まれる構成等を実現することができる。 Furthermore, a priority is associated with the second screen displayed in the second display area, and if the priority is equal to or higher than a threshold value, the second screen may not be replaced with an interrupt screen. good. In this case, the interrupt screen may be displayed in the first display area, or may be displayed in the third display area when there is a third display area other than the first display area and the second display area. good. For example, when an interruption such as an incoming call occurs in a configuration in which the priority of the destination setting screen is set to high priority and the priority of the ornamental photo display screen is set to low priority, the second display area If the destination setting screen is displayed, the screen is not interrupted. However, if the photo display screen is displayed in the second display area, a configuration in which the screen is interrupted can be realized.
さらに、本発明のように、第１画面に関する入力が行われている場合に、割込画面を第２表示領域に表示する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。例えば、以上のような手段を備えたナビゲーションシステムや方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。 Furthermore, the method of displaying the interrupt screen in the second display area when the input related to the first screen is performed as in the present invention is also applicable as a program or method. The system, program, and method as described above can be realized as a single device or can be realized as a plurality of devices, and include various aspects. For example, it is possible to provide a navigation system, method, and program provided with the above means. Further, some changes may be made as appropriate, such as a part of software and a part of hardware. Furthermore, the invention can be realized as a recording medium for a program for controlling the system. Of course, the software recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium to be developed in the future.
１０…表示制御システム、２０…制御部、２１…表示制御プログラム、２１ａ…入力受付部、２１ｂ…視点検出部、２１ｃ…表示制御部、２１ｄ…画面調整部、３０…記録媒体、３０ａ…表示情報、４０、４０ａ〜４０ｄ…ディスプレイ、４１…タッチパッド、４２…視線検出センサ
DESCRIPTION OF
Claims (5)
第１表示領域に第１画面を表示し、第２表示領域に第２画面を表示する表示制御部と、
前記第１表示領域に割込画面を表示する割込処理が発生した場合に、前記第１画面に関する前記入力が行われているならば、前記割込画面を前記第２表示領域に表示する画面調整部と、
を備える表示制御システム。 An input reception unit for receiving input by a user;
A display control unit for displaying the first screen in the first display area and displaying the second screen in the second display area;
A screen for displaying the interrupt screen in the second display area if the input related to the first screen is performed when an interrupt process for displaying the interrupt screen in the first display area occurs. An adjustment unit;
A display control system comprising:
前記利用者の操作を受け付ける、
請求項１に記載の表示制御システム。 The input receiving unit
Accepting the user's operation,
The display control system according to claim 1.
前記利用者の視点による前記入力を受け付ける、
請求項１または請求項２のいずれかに記載の表示制御システム。 The input receiving unit
Accepting the input from the user's perspective;
The display control system according to claim 1.
前記第１画面に関する操作が行われ、視点が前記第１画面に存在しない場合、前記第１表示領域に前記割込画面を表示する、
請求項１〜請求項３のいずれかに記載の表示制御システム。 The screen adjustment unit
When an operation related to the first screen is performed and a viewpoint does not exist on the first screen, the interrupt screen is displayed in the first display area.
The display control system according to any one of claims 1 to 3.
利用者による入力を受け付ける入力受付部、
第１表示領域に第１画面を表示し、第２表示領域に第２画面を表示する表示制御部、
前記第１表示領域に割込画面を表示する割込処理が発生した場合に、前記第１画面に関する前記入力が行われているならば、前記割込画面を前記第２表示領域に表示する画面調整部、
として機能させる表示制御プログラム。 Computer
An input receiving unit for receiving input by the user,
A display controller for displaying the first screen in the first display area and displaying the second screen in the second display area;
A screen for displaying the interrupt screen in the second display area if the input related to the first screen is performed when an interrupt process for displaying the interrupt screen in the first display area occurs. Adjustment section,
Display control program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016200789A JP2018063522A (en) | 2016-10-12 | 2016-10-12 | Display control system and display control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016200789A JP2018063522A (en) | 2016-10-12 | 2016-10-12 | Display control system and display control program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018063522A true JP2018063522A (en) | 2018-04-19 |
Family
ID=61967845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016200789A Pending JP2018063522A (en) | 2016-10-12 | 2016-10-12 | Display control system and display control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018063522A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020151490A1 (en) * | 2019-01-21 | 2020-07-30 | 维沃移动通信有限公司 | Application control method and terminal device |
-
2016
- 2016-10-12 JP JP2016200789A patent/JP2018063522A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020151490A1 (en) * | 2019-01-21 | 2020-07-30 | 维沃移动通信有限公司 | Application control method and terminal device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7467534B2 (en) | DEVICE AND METHOD FOR MEASURING USING AUGMENTED REALITY - Patent application | |
| KR20170126295A (en) | Head mounted display device and method for controlling the same | |
| US10528150B2 (en) | In-vehicle device | |
| KR20170129509A (en) | Head mounted display device and method for controlling the same | |
| US10628008B2 (en) | Information terminal controlling an operation of an application according to a user's operation received via a touch panel mounted on a display device | |
| US10496236B2 (en) | Vehicle display device and method for controlling vehicle display device | |
| EP2838002A1 (en) | Display device | |
| KR20110092049A (en) | Touch-type display apparatus, screen division method and storage medium thereof | |
| US20220191577A1 (en) | Changing Resource Utilization associated with a Media Object based on an Engagement Score | |
| US20180239440A1 (en) | Information processing apparatus, information processing method, and program | |
| EP3901741B1 (en) | Devices and methods for measuring using augmented reality | |
| JP2018063522A (en) | Display control system and display control program | |
| JP2018010472A (en) | In-vehicle electronic equipment operation device and in-vehicle electronic equipment operation method | |
| JP2018063521A (en) | Display control system and display control program | |
| JP7226836B2 (en) | Display control device, presentation system, display control method, and program | |
| JP2018097443A (en) | Input system and input program | |
| JP2020140420A (en) | Display control system and display control program | |
| JP2018063322A (en) | Display control system and display control program | |
| US11960657B2 (en) | Targeted drop of a computer-generated object | |
| US20230333643A1 (en) | Eye Tracking Based Selection of a User Interface (UI) Element Based on Targeting Criteria | |
| US20230297168A1 (en) | Changing a Dimensional Representation of a Content Item | |
| US20230376110A1 (en) | Mapping a Computer-Generated Trackpad to a Content Manipulation Region | |
| US20230325047A1 (en) | Merging Computer-Generated Objects | |
| JP2018073311A (en) | Operation input system and operation input program | |
| JP2018063523A (en) | Display control system and display control program |