JP2014170337A - Information display control device, information display device, and information display control method - Google Patents
Information display control device, information display device, and information display control method Download PDFInfo
- Publication number
- JP2014170337A JP2014170337A JP2013041391A JP2013041391A JP2014170337A JP 2014170337 A JP2014170337 A JP 2014170337A JP 2013041391 A JP2013041391 A JP 2013041391A JP 2013041391 A JP2013041391 A JP 2013041391A JP 2014170337 A JP2014170337 A JP 2014170337A
- Authority
- JP
- Japan
- Prior art keywords
- display
- distance
- information
- prompt
- indicator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、情報表示制御装置、情報表示装置および情報表示制御方法に関する。 The present invention relates to an information display control device, an information display device, and an information display control method.
下記特許文献1には、プロンプター方式と称される遠隔操作技術を採用したカーナビゲーション装置が紹介されている。このカーナビゲーション装置では、表示装置が車両のセンターコンソールの上部に取り付けられ、タッチパネルが該センターコンソールの下部に取り付けられている。さらに、タッチパネル上を移動する手を撮影するためのカメラが設けられている。タッチパネルの表面に指を当てて上下左右に移動させると、カメラが、操作する手を含むタッチパネルの表面を撮影する。撮影映像から手の画像が抽出され、その手画像がメインの画像に重畳される。タッチパネル上での指の移動に併せて、表示画面上を手画像が移動するので、あたかもタッチパネル付き画面を操作しているような感覚が得られる。
The following
下記特許文献2には、パーソナルコンピュータの使用環境において、タブレット上にペンで筆記することによって入力操作を行う技術が紹介されている。特にペンの3次元位置を検出する種々の技術が紹介されている。また、画面上のカーソルに影を付け、その影を、タブレット上方のペンの高さに応じて変化させることにより、手元を見なくても実際のペンが置かれている空間位置を把握できるとしている。 Patent Document 2 below introduces a technique for performing an input operation by writing with a pen on a tablet in a use environment of a personal computer. In particular, various techniques for detecting the three-dimensional position of the pen have been introduced. In addition, by adding a shadow to the cursor on the screen and changing the shadow according to the height of the pen above the tablet, it is possible to grasp the spatial position where the actual pen is placed without looking at the hand Yes.
特許文献1の技術では、カメラで撮影した画像は平面画像であるので、手の位置はその平面画像における2次元位置でしか識別できない。また、カメラによる撮影は、指がタッチパネルに接触している時に限られている。すなわち、手の2次元位置情報しか利用されない。
In the technique of
他方、特許文献2の技術では、ペンの3次元位置を検出することができ、ペンの高さをカーソルの影に反映させることによって画面上でペンの高さを把握できる。しかし、特許文献2の技術はパーソナルコンピュータの使用環境が前提であるので、特許文献2の技術をそのまま他の使用環境で採用すると不便が生じる可能性がある。 On the other hand, in the technique of Patent Document 2, the three-dimensional position of the pen can be detected, and the height of the pen can be grasped on the screen by reflecting the height of the pen on the shadow of the cursor. However, since the technique of Patent Document 2 is premised on the use environment of a personal computer, there is a possibility that inconvenience may occur if the technique of Patent Document 2 is directly adopted in another use environment.
本発明は、指示物の3次元位置情報を使って画面表示を工夫することにより、操作性の向上等を図ることを目的とする。 An object of the present invention is to improve operability by devising a screen display using the three-dimensional position information of an indicator.
本発明の一形態に係る情報表示制御装置は、表示装置用接続部と、入力装置用接続部と、制御部とを含む。表示装置用接続部は、表示面を有する表示装置が接続される。入力装置用接続部は、入力面上の空間に存在する指示物の3次元位置を検出する入力装置が接続され、入力装置から検出結果に関する3次元位置情報が入力される。制御部は、2次元位置変換処理と、表示画像データ生成処理とを行う。2次元位置変換処理では、制御部は、3次元位置情報に基づき、入力面のうちで入力面の法線に沿った指示物の直下位置にあたる入力面内位置を、表示装置の表示面内位置に変換する。表示画像データ生成処理では、制御部は、表示面に表示する表示画像のデータを生成する。また、表示画像データ生成処理では、制御部は、3次元位置情報に基づき、入力面から入力面の法線に沿った指示物までの距離が小さいほど、表示面内位置に表示するプロンプトが指し示す第1オブジェクトと、他のオブジェクトである第2オブジェクトとの視認性の差を拡大させる視認性調整処理を行う。 An information display control device according to an aspect of the present invention includes a display device connection unit, an input device connection unit, and a control unit. The display device connection section is connected to a display device having a display surface. The input device connection unit is connected to an input device that detects the three-dimensional position of the indicator existing in the space on the input surface, and three-dimensional position information related to the detection result is input from the input device. The control unit performs a two-dimensional position conversion process and a display image data generation process. In the two-dimensional position conversion process, the control unit calculates the position in the input surface corresponding to the position directly below the indicator along the normal of the input surface on the input surface based on the three-dimensional position information. Convert to In the display image data generation process, the control unit generates display image data to be displayed on the display surface. In the display image data generation process, the control unit indicates a prompt to be displayed at a position within the display surface as the distance from the input surface to the indicator along the normal of the input surface is smaller based on the three-dimensional position information. A visibility adjustment process for enlarging the difference in visibility between the first object and the second object, which is another object, is performed.
上記一形態によれば、入力面から指示物までの距離が小さいほど、指示物の表示面内位置に表示する第1オブジェクトと他のオブジェクトである第2オブジェクトとの視認性の差が拡大する。このため、ユーザは、入力面に向けた手元を見なくても、表示面を通じて、指示物の位置および入力面までの距離を把握することができる。それにより、視線移動が減り、操作性が向上する。 According to the above aspect, the smaller the distance from the input surface to the indicator, the greater the difference in visibility between the first object displayed at the position within the display surface of the indicator and the second object that is another object. . For this reason, the user can grasp the position of the indicator and the distance to the input surface through the display surface without looking at the hand toward the input surface. Thereby, line-of-sight movement is reduced and operability is improved.
本発明の目的、特徴および利点は、以下の詳細な説明と添付図面とによって、より明白となる。 The objects, features and advantages of the present invention will become more apparent from the following detailed description and the accompanying drawings.
<実施の形態1>
<全体構成の概略>
図1に、実施の形態1に係る情報表示装置1のブロック図を例示する。図1では情報表示装置1が、移動体の一例である自動車に搭載される場合を例示しており、そのような使用環境下で情報表示装置1に接続される種々の装置も例示している。なお、情報表示装置1は、自動車以外の車両(例えば鉄道車両)に搭載されてもよいし、車両以外の移動体(例えば飛行機、船)に搭載されてもよい。
<
<Overview of overall configuration>
FIG. 1 illustrates a block diagram of the
図1の例によれば、情報表示装置1は表示装置2と情報表示制御装置3とに大別され、情報表示制御装置3に入力装置4と、スピーカ5と、AV(Audio-Visual)機器6と、現在位置検出装置7とが接続されている。なお、スピーカ5の接続は任意であり、AV機器6と現在位置検出装置7のそれぞれも同様である。
According to the example of FIG. 1, the
表示装置2は、各種情報を表示する。表示装置2は、例えば、複数の画素がマトリクス状に配置されることによって構成された表示面2aと、情報表示制御装置3から取得した表示画像データに基づいて各画素を駆動する(換言すれば、各画素の表示状態を制御する)駆動装置と、を含んでいる。なお、表示画像データは、予め定められた信号フォーマットの映像信号(デジタル信号でもアナログ信号でもよい)として、情報表示制御装置3から表示装置2に供給される。表示装置2で表示する画像は、静止画像の場合もあるし、動画像の場合もあるし、さらには静止画像と動画像の組み合わせの場合もある。
The display device 2 displays various information. The display device 2 drives each pixel based on, for example, a
表示装置2は、例えば液晶表示装置によって構成可能である。この例によれば、表示パネル(ここでは液晶パネル)の表示領域が表示面2aに対応し、表示パネルに外付けされた駆動回路が上記駆動装置に対応する。なお、駆動回路の一部が表示パネルに内蔵される場合もある。液晶表示装置の他に、エレクトロルミネセンス(EL)表示装置、プラズマディスプレイ装置、等によって、表示装置2を構成することも可能である。
The display device 2 can be configured by a liquid crystal display device, for example. According to this example, the display area of the display panel (here, the liquid crystal panel) corresponds to the
情報表示制御装置3は、各種の処理を行う。具体的には、情報表示制御装置3は、表示装置2およびスピーカ5に供給する信号を生成する。また、情報表示制御装置3は、入力装置4から入力される情報(指示を含む)を解析し、解析結果に応じた各種処理(例えば表示装置2の制御)を行う。また、情報表示制御装置3は、AV機器6から入力されるAV信号を表示装置2およびスピーカ5向けに加工する。また、情報表示制御装置3は、ユーザ指示に応じてAV機器6を制御する。また、情報表示制御装置3は、現在位置検出装置7から入力される情報を使って、ナビゲーション機能等を実現する。
The information
入力装置4は、ユーザから情報(指示を含む)を受け付ける。入力装置4は、例えば、ユーザが入力のために用いる指示物を検出する検出部と、検出部によって検出された結果を検出信号として情報表示制御装置3へ出力する検出信号出力部と、を含んでいる。
The
特に、入力装置4は、入力面4aを有し、入力面4a上の空間に存在する指示物の3次元位置を検出し、検出結果に関する3次元位置情報を出力する。ここでは、そのような3次元位置検出機能を有する入力装置4として、非接触型(3次元(3D)型とも称される)のタッチパネルを例示する。非接触型タッチパネルとして種々の方式が開発されているが、例えば、静電容量方式の一つである投影容量方式が知られている。以下では入力装置4をタッチパネル4と称する場合がある。なお、タッチパネルはタッチパッドと称される場合もある。
In particular, the
タッチパネル4の入力面4aにはセンサが設けられており、各センサの出力信号の状態から、入力面4a上および入力面4a上方における指示物の3次元位置を特定可能である。特定された3次元位置は例えば、入力面4aに予め設定された3次元座標上の座標データによって表現される。この場合、入力面4a上で指示物を移動させると指示物の位置を示す座標データが変化するので、連続的に取得される一連の座標データによって指示物の移動を検出可能である。なお、座標以外の手法によって指示物の3次元位置情報を表現してもよい。
A sensor is provided on the
タッチパネル4は、指示物の3次元位置の検出だけでなく、入力面4aに対する指示物の押圧力を検出可能な構成を採用してもよい。
The
タッチパネル4は情報表示装置1専用であってもよいし、あるいは、汎用の情報端末機に搭載されているタッチパネルをタッチパネル4として利用してもよい。
The
なお、入力に用いる上記指示物が、ユーザの指(より具体的には、指先)である場合を例示する。但し、例えばスタイラスペン(タッチペンとも称される)等の道具を指示物として利用してもよい。 In addition, the case where the said instruction | indication used for input is a user's finger | toe (specifically fingertip) is illustrated. However, a tool such as a stylus pen (also referred to as a touch pen) may be used as an indicator.
スピーカ5は、聴覚的情報を出力する。例えば、CD等の音声、操作音、通知音、効果音、ガイダンス音声、等がスピーカ5から出力される。AV機器6は例えば、CD、DVD、SDメモリカード等のメディアに記録されているAVデータを再生する。
The
現在位置検出装置7は、自動車の現在位置を検出する。現在位置検出装置7は、例えば、GPS(Global Positioning System)受信装置である。GPS受信装置は、GPS受信用のアンテナを介してGPS衛星から受信した情報に基づいて自車位置の現在位置を取得する。なお、GPSに代えて、加速度センサ、ジャイロまたは車速検出器によって、現在位置検出装置7を構成してもよい。あるいは、それらの組み合わせによって、現在位置検出装置7を構成してもよい。
The current
ここで、図2に、表示装置2の表示面2aとタッチパネル4の入力面4aの配置位置を例示する。図2の例では、表示装置2は統合インストルメントパネルを構成し、表示面2aは運転席正面に配置されている。
Here, FIG. 2 illustrates the arrangement positions of the
統合インストルメントパネルとは、例えば、メータ(車速計、回転計、等)、各種警報、ナビゲーション画像、各種装置(AV機器6等)の動作状況、車載カメラによる撮影映像を、統合的に表示可能な表示盤である。統合インストルメントパネルによれば、1種類または複数種類の情報がレイアウト表示され、また、表示する情報を切り替え可能である。情報のレイアウトおよび切り替えはユーザが操作可能であってもよい。なお、統合インストルメントパネルは、統合ダッシュボード、メータクラスタ、等とも称される。
The integrated instrument panel can, for example, display meters (vehicle speedometers, tachometers, etc.), various alarms, navigation images, operating status of various devices (
なお、図2に2点鎖線で示すように、表示面2aはダッシュボード中央、すなわち運転席正面と助手席正面の間に配置されてもよい。
2, the
他方、タッチパネル4の入力面4aは、表示面2aとは別の場所に配置されている。図2の例では、入力面4aは、運転席横(助手席側)に、天井に向く姿勢で配置されている。なお、図2に2点鎖線で示すように、入力面4aはダッシュボードに、運転席後方に向く姿勢で配置されてもよい。入力面4aの配置場所は上記に限るものではない。
On the other hand, the
いずれの配置例においても、ユーザ(運転手)は、表示面2aと入力面4aとを同時に視界に入れるのが難しい。このため、従来であれば、入力操作時に表示面と入力面とを交互に見ることになるであろう。さらに、運転中は、車両前方を特に注視する必要がある。このような環境下においても情報表示装置1によれば、後述のように、操作性の向上等を図ることができる。
In any arrangement example, it is difficult for the user (driver) to put the
なお、情報表示装置1の利用環境は自動車等の移動体内に限定されるものではない。例えば、表示面2aおよび入力面4aは卓上に配置されてもよいし、あるいは、表示面2aを室内壁面に配置してもよい。すなわち、表示面2aと入力面4aとが離れるほど、表示面2aと入力面4aを同時に視界に入れるのが難しくなる。また、表示面2aが大きくなるほど、同様の傾向が生じる。
The usage environment of the
図3に、情報表示制御装置3のブロック図を例示する。図3の例によれば、情報表示制御装置3は、制御部11と、記憶部12と、接続部22,24,25,26,27とを含んでいる。
FIG. 3 illustrates a block diagram of the information
制御部11は、情報表示制御装置3における(換言すれば、情報表示装置1における)各種の処理を行う。例えば、制御部11は、タッチパネル4(図1参照)から入力された情報を解析し、その解析結果に応じた画像データを生成し、その画像データを表示装置2へ出力する。
The
ここでは、制御部11が中央演算処理部(例えば1つまたは複数のマイクロプロセッサで構成される)と主記憶部(例えばROM、RAM、フラッシュメモリ等の1つまたは複数の記憶装置で構成される)とによって構成される場合を例示する。この例によれば、主記憶部に格納された各種プログラム(換言すれば、アプリケーション)を中央演算処理部が実行することによって(換言すれば、ソフトウェアによって)、各種処理が実行される。各種処理は並列的に実行させることも可能である。なお、各種処理によって、それに対応した各種機能が実現される。
Here, the
制御部11が実行するプログラムとして、入力解析、画像生成、ナビゲーション、AV再生、等のプログラムが挙げられる。
Examples of programs executed by the
制御部11が実行するプログラムは、予め制御部11の主記憶部に格納されていてもよいし、あるいは、実行時に記憶部12から読み出されて主記憶部に格納されてもよい。主記憶部は、プログラムだけでなく各種データの格納にも利用される。また、主記憶部は、中央演算処理部がプログラムを実行する際の作業領域を提供する。また、主記憶部は、表示装置2に表示する画像を書き込むため画像保持部を提供する。画像保持部はビデオメモリまたはグラフィックメモリと称される場合もある。
The program executed by the
なお、制御部11が行う処理の全部又は一部が、ハードウェア(例えば、特定の演算を行うように構成された演算回路等)として構成されていてもよい。
Note that all or part of the processing performed by the
記憶部12は、各種情報を格納する。ここでは、記憶部12は、制御部11が利用する補助記憶部として設けられている。記憶部12は、例えば、ハードディスク装置、光ディスク、書き換え可能かつ不揮発性の半導体メモリ、等の記憶装置の1つ以上を利用して構成可能である。
The
記憶部12に格納される情報として、画像データ(アイコン、プロンプト、地図、等)、音声データ(操作音、通知音、効果音、ガイダンス音声、等)、AVデータ、等が挙げられる。
Examples of information stored in the
接続部22は、表示装置2用に設けられ、表示装置2と制御部11とを信号伝送可能に接続する。なお、表示装置2と制御部11との間の信号伝送は、有線、無線、またはそれらの組み合わせのいずれであってもよい。
The
接続部22は例えば配線である。また、接続部22は例えば配線接続用のコネクタを含んでもよく、この場合、表示装置2は接続相手となるコネクタを有する。
The
また、接続部22は例えば、制御部11から表示装置2へ伝送する信号を生成する信号生成回路を含んでもよい。具体的に、その信号生成回路は、制御部11で生成されたデジタル信号(制御指示、画像データ、等)を伝送するためのアナログ伝送信号を生成する。この場合、表示装置2は、接続部22の信号生成回路に対応した信号生成回路を有する。なお、表示装置2が制御部11へ向けて信号を伝送可能である場合、接続部22の信号生成回路は、表示装置2から送られてきたアナログ伝送信号から、制御部11が取り扱い可能なデジタル信号を生成する。
The
また、接続部22および表示装置2の信号生成回路は、上記アナログ伝送信号として無線信号を生成する構成であってもよい。この場合、接続部22および表示装置2はアンテナも含むことになる。
Further, the
接続部24はタッチパネル4用に設けられ、接続部25はスピーカ5用に設けられ、接続部26はAV機器6用に設けられ、接続部27は現在位置検出装置7用に設けられている。これらの接続部24,25,26,27も、表示装置2用の接続部22と同様に構成可能である。
The
なお、スピーカ5用の接続部25の搭載は任意である。また、スピーカ5用の接続部25を搭載していても、スピーカ5を接続しない構成を採用してもよい。AV機器6用の接続部26と現在位置検出装置7の接続部27のそれぞれも同様である。
In addition, mounting of the
<視認性調整の処理>
情報表示装置1では、指示物に対応させて表示面2aにプロンプト(指示物の入力面4a上の位置情報を表示面2aにおいて表現する描画要素であり、カーソル、ポインタ、等と称される場合もある)を表示し、そのプロンプトが指し示す第1オブジェクトと、他のオブジェクトである第2オブジェクトとの視認性の差を調整する。以下ではまず、第1オブジェクトがアイコンであり、そのアイコンの視認性を上げる例を説明する。
<Visibility adjustment process>
In the
図4に、アイコン40の視認性の調整を説明する図を示す。図4の例によれば、タッチパネル4の入力面4aから指示物(ここでは指先)までの距離z0に対して、2つの閾値ztha,zthbが予め設定されている。但し、閾値の数は2つに限定されるものではない。なお、指示物の距離z0は、入力面4aの法線に沿った距離のことであり、指示物の高さz0と表現してもよい。
FIG. 4 is a diagram for explaining the adjustment of the visibility of the
ここではztha<zthbであり、例えば、ztha=1cm、zthb=2cmである。なお、ztha,zthbは不等間隔に設定してもよい。 Here, ztha <zthb, for example, ztha = 1 cm and zthb = 2 cm. Note that ztha and zthb may be set at unequal intervals.
2つの閾値ztha,zthbによって、指示物の距離z0に対して、4つの距離レベル(換言すれば、高さレベル)zlvl0,zlvla,zlvlb,zlvlcが予め設定されている。すなわち、距離レベルzlvl0はz0=0に対応し、距離レベルzlvlaは0<z0<zthaに対応し、距離レベルzlvlbはztha<z0<zthbに対応し、距離レベルzlvlcはzthb<z0に対応する。なお、z0=zthaを距離レベルzlvla,zlvlbのいずれに含めるかは予め規定しておけばよい。z0=zthbも同様である。なお、図4の例では、z0=0に対して距離レベルzlvl0を割り当てているが、z0=0を距離レベルzlvlaに含めてもよい。 With the two thresholds ztha and zthb, four distance levels (in other words, height levels) zlvl0, zlvla, zlvlv, and zlvlc are preset with respect to the distance z0 of the indicator. That is, the distance level zlvlv corresponds to z0 = 0, the distance level zlvla corresponds to 0 <z0 <ztha, the distance level zlvlv corresponds to ztha <z0 <zthb, and the distance level zlvlc corresponds to zthb <z0. Note that it may be specified in advance whether to include z0 = ztha in the distance level zlvla or zlvlv. The same applies to z0 = zthb. In the example of FIG. 4, the distance level zlvl0 is assigned to z0 = 0, but z0 = 0 may be included in the distance level zlvla.
また、図4の例では、入力面4aの押下された状態に、距離レベルzlvl00が設定されている。入力面4aの押下は、タッチパネル4が、入力面4aに対する押圧力がz0=0の場合よりも強いことを検出することによって、判別可能である。入力面4aが押下されたか否かの情報は、タッチパネル4が出力する3次元位置情報に含まれるものとする。なお、入力面4aの押下を便宜的にz0<0と表現する場合もある。
In the example of FIG. 4, the distance level zlvl00 is set in a state where the
なお、距離レベルzlvl00を採用可能である場合、すなわちタッチパネル4が入力面4aに対する押下を検出可能である場合、例えば、距離レベルzlvl0(z0=0)によって、アイコン40の選択が決定され、距離レベルzlvl00(z0<0)によって、アイコン40に関連付けられている機能が実行される、という使い分けが可能である。逆に、距離レベルzlvl00を採用できないまたは採用しない場合、距離レベルzlvl0(z0=0)に、アイコン40の選択決定と機能実行の両方が割り当てられる。
When the distance level zlvl00 can be adopted, that is, when the
図4に示すように、各距離レベルzlvlc,zlvlb,zlvla,zlvl0,zlvl00に対して、表現(換言すれば、見た目)の異なるアイコン40が予め設定されている。図4の例では、距離レベルzlvlcに割り当てられたアイコン40は、平面状の四角形であり、当該四角形は単色で塗りつぶされている。距離レベルzlvlbに割り当てられたアイコン40は、距離レベルzlvlcのアイコン40において上記四角形の中に影を模した模様が付加されている。距離レベルzlvlaに割り当てられたアイコン40は、距離レベルzlvlbのアイコン40が手前に飛び出した立体形状をしている。距離レベルzlvl0に割り当てられたアイコン40は、距離レベルzlvlaのアイコン40と同じ立体形状をしているが、影模様を有さず、距離レベルzlvlaのアイコン40とは異なる色(特に、赤色等の強調色)に着色されている。
As shown in FIG. 4, for each distance level zlvlc, zlvlv, zlvla, zlvl0, zlvl00,
また、距離レベルzlvl00に割り当てられたアイコン40は、距離レベルzlvl0の立体形状において手前の面を奥へ押し込んだ状態を模した形状をしている。但し、タッチパネル4が入力面4aに対する押圧力を検出可能な構成を有していない場合、押下時用のアイコン40は省略してもよい。あるいは、押下時用のアイコン40を、距離レベルzlvl0のアイコン40の代わりに採用してもよい。
The
このように、距離レベルzlvl00,zlvl0,zlvla,zlvlb,zlvlcごとに、アイコン40の表現が異なっている。表現の相違は、表現要素が少なくとも1つが異なることによって、生じる。表現要素は例えば、大きさ、形状、色、模様、アニメーション表示(例えば回転、揺動)である。このため、大きさと、形状と、色と、アニメーション表示とのうちの少なくとも1つの表現要素を、距離レベルzlvl00,zlvl0,zlvla,zlvlb,zlvlcで変化させればよい。
As described above, the expression of the
特に図4の例によれば、指示物の距離z0が小さいほど、アイコン40に対する注目度が増すように、アイコン40の表現が設定されている。すなわち、指示物の距離z0が小さいほど、アイコン40の視認性が上がる。
In particular, according to the example of FIG. 4, the expression of the
図5に、アイコン40の表現を指示物の距離z0に応じて変化させる処理S10のフローチャートを例示する。
FIG. 5 illustrates a flowchart of the processing S10 that changes the expression of the
図5の例によれば、ステップS11において、タッチパネル4(図1参照)が入力面4a上の空間に存在する指示物を検出し、制御部11(図1参照)がその検出結果である3次元位置情報を、接続部24(図1参照)を介してタッチパネル4から取得する。
According to the example of FIG. 5, in step S11, the touch panel 4 (see FIG. 1) detects an indicator existing in the space on the
そして、制御部11は、ステップS12において、3次元位置情報に基づき、指示物の入力面内位置を、表示装置2の表示面内位置に変換する(2次元位置変換処理)。ここで、図6に2次元位置変換処理の説明図を示す。
In step S12, the
図6に示すように、入力面内位置は、入力面4aのうちで入力面4aの法線(図6ではz軸に平行な線である)に沿った指示物の直下位置のことである。換言すれば、指示物から入力面4aへ下ろした垂線と、入力面4aとの交点が、指示物の入力面内位置である。より具体的には図6の左部に示すように、指示物の位置の座標が(x0,y0,z0)である場合、入力面内位置の座標は(x0,y0,0)、換言すれば(x0,y0)である。
As shown in FIG. 6, the position within the input surface is a position directly below the indicator along the normal of the
得られた入力面内位置(x0,y0)は、例えば予め規定された変換規則によって、表示装置2の表示面内位置(X0,Y0)に変換される。変換規則は変換式、変換テーブル、等によって具現化可能である。例えば入力面4aと表示面2aとが相似形(相似比をrとする)である場合、変換式はX0=x0×r、Y0=y0×rで与えられる。変換式を一般化すれば、X0=fx(x0,y0)、Y0=fy(x0,y0)で与えられる。また、表示面2aが曲面にデザインされている場合でも、その曲面デザインに応じて適切な変換式を規定することは可能である。
The obtained input in-plane position (x0, y0) is converted into the display in-plane position (X0, Y0) of the display device 2 by, for example, a predetermined conversion rule. The conversion rule can be embodied by a conversion formula, a conversion table, or the like. For example, when the
なお、図6では、入力面4aの左上頂点を仮想的なxyz座標系の原点に選び、入力面4aの横方向および縦方向にx軸およびy軸にそれぞれ設定し、入力面4aの法線方向にz軸を設定している。但し、座標系の設定はこれに限定されるものではない。例えば、入力面4aの中心に原点を設定してもよいし、あるいは、原点を入力面4aの上方に設定してもよい。しかし、どのような座標系も(直交座標系以外も含む)、図6に例示したxyz座標系に変換可能である。すなわち、図6の例示したxyz座標系であっても、一般性を失うことはない。また、図6では表示面2aに対しても同様にして、仮想的なXY座標を設定している。
In FIG. 6, the upper left vertex of the
制御部11は、ステップS13(図5参照)において、3次元位置情報に基づき、入力面4aと指示物との間の距離z0が、距離レベルzlvl00,zlvl0,zlvla,zlvlb,zlvlc(図4参照)のいずれに該当するかを判別する(距離レベル判別処理)。
In step S13 (see FIG. 5), the
次に、制御部11は、ステップS14において、表示画像データを生成する(表示画像データ生成処理)。例えば、プロンプト用のレイヤ(換言すれば、画像保持部)にプロンプトの画像データを書き込み、アイコン用のレイヤにアイコン40の画像データを書き込み、それらのレイヤと他のレイヤ(例えば地図画像データが書き込まれたレイヤ)とを合成することによって、表示画像データが生成される。ここで、プロンプトは、ステップS12で得られた表示面内位置に表示されるように、表示画像データが生成される。
Next, the
特にステップS14は、プロンプトが指し示す第1オブジェクト(ここではアイコン40)と、他のオブジェクトである第2オブジェクトとの視認性の差を調整するステップS14a(視認性調整処理)を含んでいる。より具体的には、制御部11は、ステップS13で判別した距離レベルzlvl00,zlvl0,zlvla,zlvlb,zlvlcを、予め定められた規則(図4参照)に照合することによって、アイコン40の画像を選択する。これにより、指示物の距離レベルzlvl00,zlvl0,zlvla,zlvlb,zlvlcに応じて、プロンプトが指し示すアイコン40の視認性を変化させることができる。
In particular, step S14 includes step S14a (visibility adjustment processing) for adjusting the difference in visibility between the first object (here, the icon 40) indicated by the prompt and the second object, which is another object. More specifically, the
なお、プロンプトが指し示すアイコン40は、例えば、アイコン40の画像がプロンプトの画像と重なりを有することによって特定可能である。また、例えば、プロンプトの表示位置からその指し示す方向にプロンプト指示範囲(その大きさは予め設定すればよい)を設定し、そのプロンプト指示範囲に重なるアイコン40を、プロンプトが指し示すアイコン40として特定可能である。
Note that the
ステップS14で生成された表示画像データは、表示装置2へ伝送され、表示装置2によって表示面2aに表示される。
The display image data generated in step S14 is transmitted to the display device 2 and displayed on the
そして、制御部11は、後続の検出タイミングで得られた3次元位置情報に対して、処理S10を繰り返す。
And the
なお、2次元位置変換ステップS12は、距離レベル判別ステップS13よりも後で実行してもよい。 Note that the two-dimensional position conversion step S12 may be executed after the distance level determination step S13.
図7および図8に、アイコン40の表現の変化、すなわちアイコン40の視認性の変化を例示する。図7および図8から分かるように、指示物の距離z0が減少するに従って、すなわち指示物が入力面4aに近づくに従って、アイコン40の視認性が上がるようにその表現が変化する。逆に、指示物の距離z0が増大するに従って、アイコン40の表現は標準設定に近づき、アイコン40の視認性が下がる。なお、図7および図8の例では、アイコン以外のオブジェクトである地図画像の視認性は、変化しないものとしている。
7 and 8 exemplify a change in the expression of the
このように指示物の距離z0が小さいほど、アイコン40の視認性が上がり、アイコン40と他のオブジェクト(図7および図8の例では地図画像)との視認性の差が拡大する。このため、ユーザ(ここでは運転手)は、入力面4aに向けた手元を見なくても、表示面2aを通じて、指示物の位置および入力面4aまでの距離を把握することができる。それにより、視線移動が減り、操作性が向上する。この点は、表示面2aと入力面4aとを同時に視界に入れるのが難しい環境下において、特に好適である。また、運転中に視線を車両前方から大きくそらすのを回避可能である。
Thus, the smaller the distance z0 of the indicator, the higher the visibility of the
ここで、図4、図7および図8の例では、各距離レベルzlvla,zlvlb,zlvlc内においてアイコン40の表現が変化しないものとした。これに対し、指示物の距離z0が或る距離レベルに属している間に、アイコン40の表現を、指示物の距離z0に応じて連続的に(換言すれば、無段階に)変化させる連続的変化を採用してもよい。なお、距離レベルzlvlc,zlvlb間でアイコン40の表現が連続していてもよいし、あるいは、そのような連続性が無くてもよい。距離レベルzlvlb,zlvla間での連続性についても同様である。また、距離レベルzlvla,zlvlb,zlvlcのうちの一部の距離レベルだけで、アイコン40の連続的変化を採用してもよい。それによれば、全ての距離レベルで連続的変化を採用する場合に比べて、アイコン40の描画処理にかかる負荷を軽減できる。
Here, in the examples of FIGS. 4, 7, and 8, it is assumed that the expression of the
これに対し、図4、図7および図8の例のようにアイコン40の表現が指示物の距離レベルごとに変化することによって、アイコン40が連続的に変化する場合に比べて、アイコン40の変化に気付きやすい。換言すれば、認知性に優れる。
On the other hand, as shown in FIG. 4, FIG. 7, and FIG. 8, when the expression of the
また、アイコン40が連続的に変化する場合には、指示物の若干の揺れが、アイコン40の変化に過敏に反映されてしまう。しかし、指示物の距離レベルごとの変化であれば、そのような過敏な変化を抑制できる。このため、例えば車中のように揺れが生じる環境下においても、アイコン40の表現が安定し、快適な操作性を提供可能である。
In addition, when the
また、例えば車中のように揺れが生じる環境下では、入力面4aへの接触(z0=0)ではなく、入力面4aの押下(z0<0)によって、アイコン40に関連付けられている機能(図8の例ではCDの再生)が実行されるように処理設計をしておけば、誤操作を減らせる。これに関連して、図4および図8の例では接触(z0=0)と押下(z0<0)とでアイコン40の表現を異ならせているので、ユーザは、接触と押下との違いを、入力面4aに向けた手元を見なくても、表示面2aを通じて確認することができる。かかる点からも、快適な操作性を提供可能である。
For example, in an environment where shaking occurs, such as in a car, the function associated with the
上記では、プロンプト31が指し示す第1オブジェクトが1つのアイコン40である場合を例示した。これに対して、第1オブジェクトは複数のアイコン40であってもよい。総じて言うならば、第1オブジェクトは、1つまたは複数のアイコンが配置されたアイコン領域であってもよい。例えば図9に示すように、距離レベルzlvlbでは、アイコン領域に在る全てのアイコン40の視認性を上げる。
In the above, the case where the first object indicated by the prompt 31 is one
また、図9の例によれば、距離レベルzlvla,zlvl0では、プロンプト31の直近に在るアイコン40についてのみ視認性を上げ、他のアイコン40は距離レベルzlvlbと同じ表現に設定されている。これに対し、例えば、他のアイコン40は、距離レベルzlvlc(図4参照)の表現に設定してもよい。いずれに例にしても、プロンプト31の直近に在るアイコン40に比べて、他のアイコン40は視認性が低い状態になる。すなわち、指示物の距離z0の変化の途中で、視認性を上げる第1オブジェクトの範囲を変更しても構わない。
Further, according to the example of FIG. 9, at the distance levels zlvla and zlvv0, only the
なお、図9では、紙面の大きさの都合により、距離レベルzlvlc,zlvl00での画面表示は省略している。 In FIG. 9, the screen display at the distance levels zlvlc and zlvl00 is omitted due to the size of the page.
ところで、上記では、プロンプト31が指し示す第1オブジェクト自体の視認性を上げる例を説明した。これに対し、第1オブジェクト以外の他のオブジェクトである第2オブジェクトの視認性を下げることによって、第1オブジェクトの視認性を相対的に上げることも可能である。そのような例を図10および図11を参照して説明する。 By the way, the example which raises the visibility of 1st object itself which the prompt 31 points to was demonstrated above. On the other hand, it is also possible to relatively increase the visibility of the first object by reducing the visibility of the second object, which is an object other than the first object. Such an example will be described with reference to FIGS.
図10の例によれば、タッチパネル4の入力面4aから指示物(ここでは指先)までの距離z0に対して、2つの閾値zthh,zthiが予め設定されている。但し、閾値の数は2つに限定されるものではない。
According to the example of FIG. 10, two threshold values zthh and zthi are set in advance for the distance z0 from the
ここではzthh<zthiであり、例えば、zthh=1cm、zthi=2cmである。なお、zthh,zthiは不等間隔に設定してもよい。また、zthhは、zthaまたはzthb(図4参照)と同じ値であってもよいし、あるいは、zthaおよびzthbのいずれとも異なる値であってもよい。zthiについても同様である。 Here, zthh <zthi, for example, zthh = 1 cm and zthi = 2 cm. Note that zthh and zthi may be set at unequal intervals. Further, zthh may be the same value as ztha or zthb (see FIG. 4), or may be a value different from both ztha and zthb. The same applies to zthi.
2つの閾値zthh,zthiによって、指示物の距離z0に対して、3つの距離レベル(換言すれば、高さレベル)zlvlh,zlvli,zlvljが予め設定されている。すなわち、距離レベルzlvlhは0≦z0<zthhに対応し、距離レベルzlvliはzthh<z0<zthiに対応し、距離レベルzlvljはzthi<z0に対応する。なお、z0=zthhを距離レベルzlvlh,zlvliのいずれに含めるかは予め規定しておけばよい。z0=zthiも同様である。なお、図10の例では、z0=0を距離レベルzlvlhを含めているが、図4の例と同様にz0=0に距離レベルzlvl0を割り当ててもよい。 With the two threshold values zthh and zthi, three distance levels (in other words, height levels) zlvlh, zlvli, and zlvlj are preset with respect to the distance z0 of the indicator. That is, the distance level zlvlh corresponds to 0 ≦ z0 <zthh, the distance level zlvli corresponds to zthh <z0 <zthi, and the distance level zlvlj corresponds to zthi <z0. It should be specified in advance whether z0 = zthh is included in the distance level zlvlh or zlvli. The same applies to z0 = zthi. In the example of FIG. 10, the distance level zlvlh is included in z0 = 0, but the distance level zlvl0 may be assigned to z0 = 0 as in the example of FIG.
図10に示すように、各距離レベルzlvlh,zlvli,zlvljに対して、表示画像に含める地図要素が予め設定されている。図10の例では、距離レベルzlvljでは、地図要素の全て(ここでは主要道路と細い道路と建物とが例示される)が表示される(図11の上段の表示画像を参照)。また、距離レベルzlvliでは、主要道路と細い道路とは表示されるが、建物は省略される(図11の中段の表示画像を参照)。また、距離レベルzlvlhでは、主要道路のみが表示される(図11の下段の表示画像を参照)。 As shown in FIG. 10, map elements to be included in the display image are set in advance for each distance level zlvlh, zlvvli, zlvlj. In the example of FIG. 10, all the map elements (here, main roads, narrow roads, and buildings are illustrated) are displayed at the distance level zlvlj (see the display image in the upper part of FIG. 11). In the distance level zlvli, the main road and the narrow road are displayed, but the buildings are omitted (see the display image in the middle of FIG. 11). At the distance level zlvlh, only the main road is displayed (see the display image in the lower part of FIG. 11).
このように、距離レベルzlvlh,zlvli,zlvljごとに、地図画像の情報量が異なっている。このため、指示物の距離z0が減少するに従って、すなわち指示物が入力面4aに近づくに従って、地図要素が間引かれ、それにより地図画像の情報量が減少する。その結果、地図画像の視認性を下げることができる。逆に、指示物の距離z0が増大するに従って、地図画像の情報量が増大し、それにより地図画像の視認性が上がる。
Thus, the information amount of the map image is different for each of the distance levels zlvlh, zlvli, and zlvlj. For this reason, as the distance z0 of the indicator decreases, that is, as the indicator approaches the
なお、図11の例では、距離レベルzlvliでは方向と縮尺の表示を、距離レベルzlvljに比べて、くすんだ表現に設定している。また、距離レベルzlvlhでは方向と縮尺を表示しない。かかる表現設定も地図画像の情報量の調整に貢献している。 In the example of FIG. 11, the direction and scale display are set to be duller than the distance level zlvlj at the distance level zlvli. Also, the direction and scale are not displayed at the distance level zlvlh. Such expression setting also contributes to the adjustment of the information amount of the map image.
図10および図11の例によれば、視認性調整処理S14a(図5参照)において、第2オブジェクトとしての地図画像の視認性を調整することにより、第1オブジェクトと第2オブジェクトとの視認性の差を調整することができる。 According to the example of FIGS. 10 and 11, the visibility of the first object and the second object is adjusted by adjusting the visibility of the map image as the second object in the visibility adjustment process S <b> 14 a (see FIG. 5). The difference between can be adjusted.
ここで、図11に対応する図12に例示するように、第2オブジェクトである地図画像だけでなく、第1オブジェクトであるアイコン40も同時に、視認性を調整してもよい。図12では、zlvlj=zlvlc、zlvli=zlvlb、zlvlh=zlvlaとした場合を例示している。これによれば、指示物の距離z0が減少するに従って、アイコン40の視認性が上がると共に、地図画像の視認性が下がる。このため、z0の減少に伴う視認性の差の拡大が、より分かりやすくなり、操作性がさらに向上する。
Here, as illustrated in FIG. 12 corresponding to FIG. 11, not only the map image that is the second object but also the
なお、くすみ、透明度、鮮鋭性等を調整することによっても、地図画像の視認性を調整可能である。その際、連続的変化も適用可能である。また、くすみ、透明度、鮮鋭性等の調整は、地図画像だけでなく、AV再生画像等の他の画像、アイコン等にも適用可能である。例えばくすみの調整によってアイコン40の視認性を調整する例を図13に示す。
The visibility of the map image can also be adjusted by adjusting dullness, transparency, sharpness, and the like. In that case, continuous changes are also applicable. Further, adjustments such as dullness, transparency, and sharpness can be applied not only to map images but also to other images such as AV playback images, icons, and the like. For example, FIG. 13 shows an example in which the visibility of the
図13には、アイコン40が第2オブジェクトであり、指示物の距離z0の減少に伴ってアイコン40の視認性を下げる例が示されている。図13の例によれば、タッチパネル4の入力面4aから指示物(ここでは指先)までの距離z0に対して、2つの閾値zthp,zthqが予め設定されている。但し、閾値の数は2つに限定されるものではない。
FIG. 13 shows an example in which the
ここではzthp<zthqであり、例えば、zthp=1cm、zthq=2cmである。なお、zthp,zthqは不等間隔に設定してもよい。また、zthpは、zthhまたはzthi(図10参照)と同じ値であってもよいし、あるいは、zthhおよびzthiのいずれとも異なる値であってもよい。zthqについても同様である。 Here, zthp <zthq, for example, zthp = 1 cm and zthq = 2 cm. Note that zthp and zthq may be set at unequal intervals. Also, zthp may be the same value as zthh or zthi (see FIG. 10), or may be a value different from both zthh and zthi. The same applies to zthq.
2つの閾値zthp,zthqによって、指示物の距離z0に対して、3つの距離レベル(換言すれば、高さレベル)zlvlp,zlvlq,zlvlrが予め設定されている。すなわち、距離レベルzlvlpは0≦z0<zthpに対応し、距離レベルzlvlqはzthp<z0<zthqに対応し、距離レベルzlvlrはzthq<z0に対応する。なお、z0=zthpを距離レベルzlvlp,zlvlqのいずれに含めるかは予め規定しておけばよい。z0=zthqも同様である。なお、図13の例では、z0=0を距離レベルzlvlpを含めているが、図4の例と同様にz0=0に距離レベルzlvl0を割り当ててもよい。 With the two threshold values zthp and zthq, three distance levels (in other words, height levels) zlvlp, zlvlq and zlvlr are preset with respect to the distance z0 of the indicator. That is, the distance level zlvlp corresponds to 0 ≦ z0 <zthp, the distance level zlvlq corresponds to zthp <z0 <zthq, and the distance level zlvlvr corresponds to zthq <z0. Note that it may be determined in advance whether to include z0 = zthp in the distance levels zlvlp and zlvlv. The same applies to z0 = zthq. In the example of FIG. 13, z0 = 0 includes the distance level zlvlp, but the distance level zlvl0 may be assigned to z0 = 0 as in the example of FIG.
図13の例では、距離レベルzlvlrでは、第2オブジェクトとしてのアイコン40を、標準設定に従って表示する。また、距離レベルzlvlqでは、標準設定よりも、くすんだ表現で、第2オブジェクトとしてのアイコン40を表示する。また、距離レベルzlvlpでは、第2オブジェクトとしてのアイコン40を表示しない。このため、指示物の距離z0が減少するに従って、すなわち指示物が入力面4aに近づくに従って、アイコン40の視認性を下げることができる。その結果、第1オブジェクト(例えば地図画像)の視認性を相対的に上げることができる。
In the example of FIG. 13, the
<実施の形態2>
実施の形態1では視認性調整という画面表示の工夫によって操作性を向上させる技術を説明した。実施の形態2では、その視認性調整に加えて、プロンプト31に種々の工夫を施し、操作性をさらに向上させる技術を説明する。
<Embodiment 2>
In the first embodiment, the technology for improving the operability by adjusting the screen display called visibility adjustment has been described. In the second embodiment, in addition to the visibility adjustment, various techniques for the prompt 31 will be described to further improve the operability.
図14に、プロンプト31の表現を例示する。図14の例によれば、タッチパネル4の入力面4aから指示物(ここでは指先)までの距離z0に対して、3つの閾値zth1,zth2,zth3が予め設定されている。但し、閾値の数は3つに限定されるものではない。
FIG. 14 illustrates an example of the prompt 31. According to the example of FIG. 14, three threshold values zth1, zth2, and zth3 are set in advance with respect to a distance z0 from the
ここではzth1<zth2<zth3であり、例えば、zth1=1cm、zth2=2cm、zth3=3cmである。なお、zth1,zth2,zth3は不等間隔に設定してもよい。また、zth1は、ztha、zthb、zthh、zthi、zthpまたはzthq(図4、図10および図13参照)と同じ値であってもよいし、あるいは、ztha、zthb、zthh、zthi、zthpおよびzthqのいずれとも異なる値であってもよい。zth2およびzth3についても同様である。 Here, zth1 <zth2 <zth3, for example, zth1 = 1 cm, zth2 = 2 cm, and zth3 = 3 cm. Note that zth1, zth2, and zth3 may be set at unequal intervals. Zth1 may be the same value as ztha, zthb, zthh, zthi, zthp or zthq (see FIGS. 4, 10 and 13), or ztha, zthb, zthh, zthi, zthp and zthq. It may be a value different from any of the above. The same applies to zth2 and zth3.
3つの閾値zth1,zth2,zth3によって、指示物の距離z0に対して、5つの距離レベル(換言すれば、高さレベル)zlvl0,zlvl1,zlvl2,zlvl3,zlvl4が予め設定されている。すなわち、距離レベルzlvl0はz0=0に対応し、距離レベルzlvl1は0<z0<zth1に対応し、距離レベルzlvl2はzth1<z0<zth2に対応し、距離レベルzlvl3はzth2<z0<zth3に対応し、距離レベルzlvl4はzth3<z0に対応する。なお、z0=zth1を距離レベルzlvl1,zlvl2のいずれに含めるかは予め規定しておけばよい。z0=zth2およびz0=zth3も同様である。なお、図14の例では、z0=0に対して距離レベルzlvl0を割り当てているが、z0=0を距離レベルzlvl1に含めてもよい。 Five distance levels (in other words, height levels) zlvl0, zlvl1, zlvl2, zlvl3, and zlvl4 are set in advance with respect to the distance z0 of the indicator by the three threshold values zth1, zth2, and zth3. That is, the distance level zlvl0 corresponds to z0 = 0, the distance level zlvl1 corresponds to 0 <z0 <zth1, the distance level zlvl2 corresponds to zth1 <z0 <zth2, and the distance level zlvl3 corresponds to zth2 <z0 <zth3. The distance level zlvl4 corresponds to zth3 <z0. It should be specified in advance whether z0 = zth1 is included in the distance levels zlvl1 and zlvl2. The same applies to z0 = zth2 and z0 = zth3. In the example of FIG. 14, the distance level zlvl0 is assigned to z0 = 0, but z0 = 0 may be included in the distance level zlvl1.
図14に示すように、各距離レベルzlvl0,zlvl1,zlvl2,zlvl3に対して、表現(換言すれば、見た目)の異なるプロンプト31が予め設定されている。図14の例では、距離レベルzlvl3,zlvl2には、写実的に描画された指先の画像(写真でもよい)が、プロンプト31の画像として割り当てられている。但し、距離レベルzlvl3のプロンプト31は、距離レベルzlvl2のプロンプト31よりも小さい。また、距離レベルzlvl1には、物を指し示す際に一般に行われる人差し指を突き出した状態の手を、線図で簡略化した手画像が、割り当てられている。また、距離レベルzlvl0には、距離レベルzlvl1の簡略化された手画像に背景枠を追加した画像が、割り当てられている。なお、図14の例では、指示物の距離z0が距離レベルzlvl4に該当する場合には、プロンプト31を表示しない。 As shown in FIG. 14, prompts 31 having different expressions (in other words, appearance) are set in advance for each of the distance levels zlvl0, zlvl1, zlvl2, and zlvl3. In the example of FIG. 14, a realistically drawn image of a fingertip (may be a photograph) is assigned as an image of the prompt 31 to the distance levels zlvl3 and zlvl2. However, the prompt 31 of the distance level zlvl3 is smaller than the prompt 31 of the distance level zlvl2. Further, a hand image obtained by simplifying a hand in a state in which an index finger is protruded, which is generally performed when pointing to an object, with a diagram is assigned to the distance level zlvl1. Further, an image obtained by adding a background frame to a simplified hand image of the distance level zlvl1 is assigned to the distance level zlvl0. In the example of FIG. 14, the prompt 31 is not displayed when the distance z0 of the indicator corresponds to the distance level zlvl4.
このように、距離レベルzlvl0,zlvl1,zlvl2,zlvl3ごとに、プロンプト31の表現が異なっている。表現の相違は、表現要素が少なくとも1つが異なることによって、生じる。表現要素は例えば、大きさ、形状、色、模様、アニメーション表示である。このため、大きさと、形状と、色と、アニメーション表示とのうちの少なくとも1つの表現要素を、距離レベルzlvl0,zlvl1,zlvl2,zlvl3で変化させればよい。 Thus, the expression of the prompt 31 is different for each of the distance levels zlvl0, zlvl1, zlvl2, and zlvl3. Differences in expression occur due to differences in at least one expression element. The expression elements are, for example, size, shape, color, pattern, and animation display. For this reason, it is only necessary to change at least one expression element among the size, shape, color, and animation display at the distance levels zlvl0, zlvl1, zlvl2, and zlvl3.
図15に、プロンプト31の表現を指示物の距離z0に応じて変化させる処理S20のフローチャートを例示する。図15の処理S20は、図5の処理S10にステップS21(プロンプト表現設定処理)が追加されている。 FIG. 15 illustrates a flowchart of the process S20 in which the expression of the prompt 31 is changed according to the distance z0 of the indicator. In the process S20 of FIG. 15, step S21 (prompt expression setting process) is added to the process S10 of FIG.
図15の例において、ステップS11,S12が図5の場合と同様に実行される。そして、距離レベル判別ステップS13では、制御部11は、ステップS11で取得した3次元位置情報に基づき、入力面4aと指示物との間の距離z0が、距離レベルzlvl0,zlvl1,zlvl2,zlvl3,zlvl4(図14参照)のいずれに該当するかも判別する。
In the example of FIG. 15, steps S11 and S12 are executed in the same manner as in FIG. In the distance level determination step S13, the
次に、制御部11は、ステップS21において、プロンプト31の表現を設定する(プロンプト表現設定処理)。特に、制御部11は、ステップS13で判別した距離レベルzlvl0,zlvl1,zlvl2,zlvl3,zlvl4を、予め定められた規則(図14参照)に照合することによって、プロンプト31の画像を選択する。これにより、指示物の距離レベルzlvl0,zlvl1,zlvl2,zlvl3,zlvl4に応じて、プロンプト31の表現を変化させることができる。
Next, the
その後、制御部11は、ステップS14において、プロンプト31が、ステップS12で得られた表示面内位置に、ステップS21で設定された表現で以て表示されるように、表示画像データを生成する(表示画像データ生成処理)。なお、表示画像データは、実施の形態1での例示と同様にして、生成可能である。また、ステップS14では、視認性調整処理ステップS14aが実行される。表示画像データは、表示装置2へ伝送され、表示装置2によって表示面2aに表示される。
Thereafter, in step S14, the
そして、制御部11は、後続の検出タイミングで得られた3次元位置情報に対して、処理S20を繰り返す。
And the
図16に、プロンプト31の表現の変化を例示する。図16から分かるように、指示物の距離z0が減少するに従って、すなわち指示物が入力面4aに近づくに従って、プロンプト31の表現が変化する。また、指示物の距離z0が増大する場合にも、すなわち指示物が入力面4aから遠ざかる場合にも、プロンプト31の表現が変化する。
FIG. 16 illustrates a change in the expression of the prompt 31. As can be seen from FIG. 16, the expression of the prompt 31 changes as the distance z0 of the indicator decreases, that is, as the indicator approaches the
なお、2次元位置変換ステップS12は、距離レベル判別ステップS13またはプロンプト表現設定ステップS21よりも後で実行してもよい。 Note that the two-dimensional position conversion step S12 may be executed after the distance level determination step S13 or the prompt expression setting step S21.
このようにプロンプト31の表現が指示物の距離z0に応じて変化するので、ユーザ(ここでは運転手)は、タッチパネル4に向けた手元を見なくても、表示面2aを通じて、タッチパネル4までの距離z0を把握することができる。このため、視線移動が減り、操作性が向上する。この点は、表示面2aと入力面4aとを同時に視界に入れるのが難しい環境下において、特に好適である。また、運転中に視線を車両前方から大きくそらすのを回避可能である。
Thus, since the expression of the prompt 31 changes according to the distance z0 of the indicator, the user (here, the driver) can reach the
また、プロンプト31の表現は、指示物の距離レベルごとに変化する。このため、プロンプトの大きさ等が連続的に変化する場合に比べて、プロンプト31の変化に気付きやすい。換言すれば、認知性に優れる。 The expression of the prompt 31 changes for each distance level of the indicator. For this reason, it is easier to notice the change of the prompt 31 than when the size of the prompt changes continuously. In other words, it has excellent cognition.
また、プロンプトの大きさ等が連続的に変化する場合には、指示物の若干の揺れが、プロンプトの変化に過敏に反映されてしまう。しかし、プロンプト31のように指示物の距離レベルごとの変化であれば、そのような過敏な変化を抑制できる。このため、例えば車中のように揺れが生じる環境下においても、プロンプト31の表現が安定し、快適な操作性を提供可能である。 In addition, when the size of the prompt or the like changes continuously, a slight shaking of the indicator is reflected on the prompt change. However, if it is a change for each distance level of the indicator as in the prompt 31, such a sensitive change can be suppressed. For this reason, even in an environment in which shaking occurs, for example, in a vehicle, the expression of the prompt 31 is stable and comfortable operability can be provided.
ここで、図14および図16の例では、各距離レベルzlvl1,zlvl2,zlvl3,zlvl4内においてプロンプト31の表現が変化しないものとした。これに対し、指示物の距離z0が或る距離レベルに属している間に、プロンプト31の表現を、指示物の距離z0に応じて変化させてもよい。図17にそのような例の説明図を示す。 Here, in the examples of FIGS. 14 and 16, it is assumed that the expression of the prompt 31 does not change in each distance level zlvl1, zlvl2, zlvl3, zlvl4. On the other hand, while the distance z0 of the indicator belongs to a certain distance level, the expression of the prompt 31 may be changed according to the distance z0 of the indicator. FIG. 17 shows an explanatory diagram of such an example.
図17の例では、距離レベルzlvl3において、プロンプト31の大きさを指示物の距離z0に応じて連続的に(換言すれば、無段階に)変化させる連続的変化を実行する。より具体的には、距離z0が連続的に小さくなるのに従って、プロンプト31を連続的に大きくする。逆に、距離z0が連続的に大きくなるのに従って、プロンプト31を連続的に小さくする。また、距離レベルzlvl2においても、距離レベルzlvl3と同様に、プロンプト31の大きさについて連続的変化を実行する。なお、距離レベルzlvl2,zlvl3間でプロンプト31の大きさが連続していてもよいし、あるいは、そのような連続性が無くてもよい。 In the example of FIG. 17, a continuous change in which the size of the prompt 31 is continuously changed (in other words, steplessly) according to the distance z0 of the indicator is executed at the distance level zlvl3. More specifically, the prompt 31 is continuously increased as the distance z0 is continuously reduced. Conversely, the prompt 31 is continuously reduced as the distance z0 is continuously increased. Also, at the distance level zlvl2, the size of the prompt 31 is continuously changed in the same manner as the distance level zlvl3. Note that the size of the prompt 31 may be continuous between the distance levels zlvl2 and zlvl3, or such continuity may not be present.
また、図17の例では、距離z0が距離レベルzlvl3から距離レベルzlvl2に変化するのに伴って、および、距離z0が距離レベルzlvl2から距離レベルzlvl3に変化するのに伴って、プロンプト31の色を変化させる。 In the example of FIG. 17, the color of the prompt 31 as the distance z0 changes from the distance level zlvl3 to the distance level zlvl2 and as the distance z0 changes from the distance level zlvl2 to the distance level zlvl3. To change.
すなわち、距離レベルzlvl3では、距離レベルの変化に伴って変化させる表現要素とは異なる表現要素を、指示物の距離z0に応じて連続的に変化させる。距離レベルzlvl2においても同様である。このような連続的変化によれば、単一の距離レベル内においても指示物の距離z0の変化を把握しやすくなる。 That is, at the distance level zlvl3, an expression element different from the expression element that is changed with the change in the distance level is continuously changed according to the distance z0 of the indicator. The same applies to the distance level zlvl2. Such a continuous change makes it easy to grasp the change in the distance z0 of the indicator within a single distance level.
また、上記のように、かかる連続的変化において変化させる表現要素を、距離レベルの変化に伴って変化させる表現要素とは異ならせている。このため、距離レベル単位でプロンプト31の表現を変化させることに起因した上記効果を損なうものではない。 Further, as described above, the expression element that is changed in the continuous change is different from the expression element that is changed in accordance with the change in the distance level. For this reason, the said effect resulting from changing the expression of the prompt 31 per distance level is not impaired.
図17の例では距離レベルzlvl1ではプロンプト31の大きさを変化させないものとしているが、距離レベルzlvl1内でプロンプト31の大きさを連続的に変化させてもよい。すなわち、距離レベルzlvl1,zlvl2,zlvl3のうちの一部または全部の距離レベルにおいて連続的変化を採用可能である。特に一部の距離レベルで連続的変化を採用した場合、全ての距離レベルで連続的変化を採用する場合に比べて、プロンプト31の描画処理にかかる負荷を軽減できる。 In the example of FIG. 17, it is assumed that the size of the prompt 31 is not changed at the distance level zlvv1, but the size of the prompt 31 may be continuously changed within the distance level zlvv1. That is, it is possible to employ a continuous change at some or all of the distance levels zlvl1, zlvl2, and zlvl3. In particular, when continuous changes are adopted at some distance levels, the load on the drawing process of the prompt 31 can be reduced as compared with the case where continuous changes are adopted at all distance levels.
なお、図17の例とは異なり、大きさに代えてまたは加えて、他の表現要素を連続的に変化させてもよい。 Unlike the example of FIG. 17, other expression elements may be continuously changed instead of or in addition to the size.
<プロンプトの付加情報>
プロンプト31に付加情報を追加してもよい。付加情報の一例である距離情報について、図18を参照して説明する。図18の例では、指示物の距離z0が距離レベルzlvl1である場合に、距離情報32をプロンプト31に付加する。但し、他の距離レベルzlvl0,zlvl2,zlvl3において距離情報32を付加してもよい。
<Prompt additional information>
Additional information may be added to the prompt 31. The distance information that is an example of the additional information will be described with reference to FIG. In the example of FIG. 18, the
図18に例示の距離情報32は、帯状の図形であり、指示物の距離z0に応じて長さ(ここでは縦寸法)が変化する。かかる帯状の図形は、プロンプト31の背景として追加される。
The
帯状図形による距離情報32は、指示物の距離z0が小さいほど(すなわち、指示物が入力面4aに近いほど)、長くなる。例えば、図19に示すように、帯状図形の長さa(z0)はzth1/sを最大寸法とし、a(z0)=zth1/s−z0/sという式で与えられる。sは、距離z0と表示時の大きさとの変換係数である。なお、z0=zth1の際にも長さを有するように(図18参照)、オフセットを与えてもよい。また、ここでは幅(ここでは横寸法)は固定とするが、幅も距離z0に連動させてもよい。
The
図20に、距離情報32の変化を例示する。図20から分かるように、指示物の距離z0が減少するに従って、距離情報32である帯状図形が長くなる。逆に、指示物の距離z0が増大するに従って、帯状図形は短くなる。なお、図20および後出の図面では、図面の煩雑化を避けるため、視認性調整の図示は省略している。
FIG. 20 illustrates changes in the
図21に、距離情報32を追加する場合のフローチャートを例示する。図21の処理S30は、図15の処理S20にステップS31(付加情報設定処理)が追加されている。ステップS31では、制御部11は、指示物の距離z0に応じて、距離情報32である帯状図形の長さを設定する。そして、制御部11は、ステップS14において、距離情報32付きのプロンプト31を含んだ表示画像のデータを生成し、その表示画像が表示されるように表示装置2を制御する。
FIG. 21 illustrates a flowchart for adding
図22および図23に、距離情報32の他の例を示す。図22の例では、距離情報32は、矢印状の図形であり、矢印の長さが指示物の距離z0に応じて変化する。図23の例では、距離情報32は、指示物の距離z0に対応する数値である。なお、当該数値は、距離z0の絶対的な数値でなくてもよく、例えば、距離z0を、予め定められた規則で変換した相対的な数値であってもよい。また、図形表示と数値表示とを組み合わせて、距離情報32を構成してもよい。
22 and 23 show other examples of the
距離情報32によれば、表示面2aを通じて、指示物の距離z0を、さらに把握しやすくなる。また、距離情報32を、入力面4aに最も近い距離レベルzlvl1において表示し、他の距離レベルzlvl0,zlvl2,zlvl3では表示しない場合(図18参照)、指示物が入力面4aに近いことに気付きやすくなる。このため、指示物の入力面4aへの接触をスムーズに行うことができる。
According to the
<プロンプト等の他の例>
以下に、プロンプト31等の他の例を説明する。なお、以下の例示は、それぞれを単独で採用してもよいし、種々に組み合わせることも可能である。
<Other examples of prompts>
Other examples of the prompt 31 and the like will be described below. In addition, each of the following illustrations may be adopted alone or in various combinations.
プロンプト表現設定処理S21(図15および図21を参照)において、プロンプト31の表現をプロンプト31の表示位置に応じて変化させるという位置連動条件を適用してもよい。例えば、次の第1〜第4の位置連動条件が挙げられる。 In the prompt expression setting process S21 (see FIGS. 15 and 21), a position interlocking condition that changes the expression of the prompt 31 according to the display position of the prompt 31 may be applied. For example, the following first to fourth position interlocking conditions can be mentioned.
第1の位置連動条件は、プロンプト31を機能アイコン上に表示する場合、その機能アイコンに関連付けられている機能の種類に応じて、プロンプト31の表現を変化させる、という条件である。例えば、図24に示すように、プロンプト31がナビゲーション関連のアイコンと重なる場合は、指形状の表現を用いる。これに対し、図25に例示するように、プロンプト31がAV関連のアイコンと重なる場合は、音符形状の表現を用いる。 The first position interlocking condition is a condition that when the prompt 31 is displayed on the function icon, the expression of the prompt 31 is changed according to the type of the function associated with the function icon. For example, as shown in FIG. 24, when the prompt 31 overlaps with a navigation-related icon, a finger-shaped expression is used. On the other hand, as illustrated in FIG. 25, when the prompt 31 overlaps with an AV-related icon, a note-shaped expression is used.
第2の位置連動条件は、プロンプト31をアイコン領域上に表示する場合と、プロンプト31を画面操作領域上に表示する場合とで、プロンプト31の表現を変化させる、という条件である。ここで、アイコン領域とは1つまたは複数のアイコンが配置された領域であり、図26および図27の画面例では、AV関連およびナビゲーション関連のアイコンが配置された画面右側の領域が、アイコン領域である。また、画面操作領域とはユーザが画面(換言すれば、表示内容)を操作可能な領域であり、表示内容操作領域と称してもよい。図26および図27の画面例では、中央部および左部からなる領域にスクロール等の操作が可能な地図画像が表示されており、この地図画像の領域が画面操作領域にあたる。第2の位置連動条件によれば、例えば、図26に示すようにプロンプト31をアイコン領域に表示する場合には線図の指画像を用い、図27に示すようにプロンプト31を画面操作領域に表示する場合は写実的な手画像を用いる。 The second position interlocking condition is a condition that the expression of the prompt 31 is changed between when the prompt 31 is displayed on the icon area and when the prompt 31 is displayed on the screen operation area. Here, the icon area is an area where one or a plurality of icons are arranged. In the screen examples of FIGS. 26 and 27, the area on the right side where the AV-related and navigation-related icons are arranged is the icon area. It is. The screen operation area is an area where the user can operate the screen (in other words, display content), and may be referred to as a display content operation area. In the screen examples of FIGS. 26 and 27, a map image that can be scrolled or the like is displayed in an area composed of the center and the left, and the area of the map image corresponds to the screen operation area. According to the second position interlocking condition, for example, when the prompt 31 is displayed in the icon area as shown in FIG. 26, a finger image of a diagram is used, and the prompt 31 is set in the screen operation area as shown in FIG. For display, a realistic hand image is used.
第3の位置連動条件は、プロンプト31を操作許可アイコン(ユーザによる操作が許可されたアイコン)上に表示する場合と、プロンプト31を操作不許可アイコン(ユーザによる操作が許可されていないアイコン)上に表示する場合とで、プロンプト31の表現を変化させる、という条件である。例えば、多くの手順が予想される操作(例えば50音検索)を走行中に行うのは好ましくないので、そのような操作は、走行中は操作不許可に設定される。この場合、図28に例示するように、50音検索アイコンの位置にプロンプト31が存在する場合、そのプロンプト31は、通常よりも小さく、且つ、透明度を上げて、表示される。これに対し、図29に例示するように、停車中は50音検索アイコンは操作許可に設定され、当該アイコン上であってもプロンプト31を通常表現で表示する。 The third position interlocking condition includes a case where the prompt 31 is displayed on an operation permission icon (an icon permitted by the user), and a case where the prompt 31 is displayed on the operation disapproved icon (an icon which is not permitted by the user). And the display of the prompt 31 is changed. For example, since it is not preferable to perform an operation in which many procedures are expected (for example, a 50-sound search) during traveling, such an operation is set to disallow operation during traveling. In this case, as illustrated in FIG. 28, when the prompt 31 exists at the position of the 50-sound search icon, the prompt 31 is displayed smaller than usual and with increased transparency. On the other hand, as illustrated in FIG. 29, the 50-sound search icon is set to allow operation while the vehicle is stopped, and the prompt 31 is displayed in the normal expression even on the icon.
第4の位置連動条件は、プロンプト31を操作許可領域(ユーザによる操作が許可された領域)上に表示する場合と、プロンプト31を操作不許可領域(ユーザによる操作が許可されていない領域)上に表示する場合とで、プロンプト31の表現を変化させる、という条件である。例えば、図30に示すように、表示面2aにメータが表示されている場合、その表示領域は操作不許可領域に設定される。この場合、図30の例では、操作不許可領域においてプロンプト31は、指画像および手画像ではなく、十字印を丸で囲んだ形状で表示される。これに対し、図31に例示するように、操作許可領域では、プロンプト31を通常表現で表示する。なお、図31では、操作許可領域として、スクロール等の操作が可能な地図画像が表示された画面操作領域を例示しているが、操作許可領域は例えばアイコン領域であってもよい。
The fourth position interlocking condition includes the case where the prompt 31 is displayed on the operation permission area (area where the operation by the user is permitted) and the case where the prompt 31 is displayed on the area where the operation is not permitted (area where the operation by the user is not permitted). And the display of the prompt 31 is changed. For example, as shown in FIG. 30, when a meter is displayed on the
ここで、図32に例示するように、操作不許可領域から操作許可領域への進入方向が複数存在しうる場合、その進入方向に応じて、操作許可領域内でのプロンプト31の表現を設定してもよい(移動方向連動条件)。 Here, as illustrated in FIG. 32, when there are a plurality of entry directions from the operation disallowance area to the operation permission area, the expression of the prompt 31 in the operation permission area is set according to the entry direction. (Movement direction interlocking condition).
位置連動条件を適用することにより、操作の確認に役立つ。なお、第1〜第4の位置連動条件のうちの1つだけを採用してもよいし、あるいは、第1〜第4の位置連動条件のうちの2つ以上を採用してもよい。 By applying the position interlock condition, it helps to confirm the operation. Note that only one of the first to fourth position interlocking conditions may be employed, or two or more of the first to fourth position interlocking conditions may be employed.
また、第1〜第4の位置連動条件は、指示物の距離z0に関わらず、適用可能である。換言すれば、z0=0の場合のみならずz0≠0の場合(指示物が入力面4aの上方に存在する場合)にも、第1〜第4の位置連動条件を適用することにより、指示物が入力面4aに接触する前に操作確認をすることができる。
The first to fourth position interlocking conditions can be applied regardless of the distance z0 of the indicator. In other words, not only in the case of z0 = 0 but also in the case of z0 ≠ 0 (when the indicator exists above the
また、プロンプト表現設定処理S21(図15および図21を参照)において、プロンプト31の表現を、指示物の入力面内位置の状態に応じて変化させるという面内状態連動条件を適用してもよい。具体的に図33の例では、入力面内位置が静止している場合には、通常の手画像のプロンプト31を表示し、これに対し、入力面内位置が移動している場合には、十字印を丸で囲んだ形状のプロンプト31を表示する。これによれば、表示面2aを通しての操作状況確認を容易化できる。
In the prompt expression setting process S21 (see FIGS. 15 and 21), an in-plane state interlocking condition in which the expression of the prompt 31 is changed according to the state of the input in-plane position of the indicator may be applied. . Specifically, in the example of FIG. 33, when the position in the input plane is stationary, a normal hand image prompt 31 is displayed. On the other hand, when the position in the input plane is moving, A prompt 31 having a shape in which a cross mark is circled is displayed. According to this, the operation status confirmation through the
プロンプト31の画像は図33の例に限定されるものではない。但し、図33の例のように、指示物の入力面内位置が移動状態である場合に簡略な画像を採用することにより、プロンプト31の描画処理にかかる負荷を軽減できる。 The image of the prompt 31 is not limited to the example of FIG. However, as in the example of FIG. 33, the load on the prompt 31 drawing process can be reduced by adopting a simple image when the input in-plane position of the indicator is in a moving state.
面内状態連動条件は、指示物の距離z0に関わらず、適用可能である。特にz0=0の場合における適用は、指示物によって入力されるジェスチャ操作(スクロール操作、拡大縮小操作、回転操作、等)の開始および終了に伴って、プロンプト31の表現を変化させることが可能である。具体的には、図34の例では、スクロール操作の開始に伴ってプロンプト31の表現を変化させ、スクロール操作の終了に伴ってプロンプト31の表現を戻している。なお、図34では、z0=0の場合の距離情報32として、楕円図形を例示している。このように、プロンプト31の表現変化と入力面4a上でのジェスチャ操作とを関連させることにより、ジェスチャ操作の実行状況が確認しやすくなる。
The in-plane state interlocking condition can be applied regardless of the distance z0 of the indicator. In particular, the application in the case of z0 = 0 can change the expression of the prompt 31 with the start and end of a gesture operation (scroll operation, enlargement / reduction operation, rotation operation, etc.) input by an indicator. is there. Specifically, in the example of FIG. 34, the expression of the prompt 31 is changed with the start of the scroll operation, and the expression of the prompt 31 is returned with the end of the scroll operation. In FIG. 34, an elliptical figure is illustrated as the
図33に戻り、面内状態連動条件は、プロンプト31の付加情報にも適用可能である。すなわち、付加情報の他の例として、指示物の入力面内位置の状態を示す面内状態情報33がある。制御部11は、付加情報設定処理S31(図21参照)において、指示物の入力面内位置が移動している場合と静止している場合とで、面内状態情報33の表現を変化させる。図33には面内状態情報33として、指示物の移動方向を示す矢印状の図形と、背景枠とが例示されている。矢印状図形の長さは、固定であってもよいし、指示物の面内位置の移動量に応じて変化させてもよい。入力面内位置が静止している場合には面内状態情報33を付加せず、これに対し、入力面内位置が移動している場合には面内状態情報33をプロンプト31に付加する。これによれば、表示面2aを通しての操作状況確認を容易化できる。
Returning to FIG. 33, the in-plane state interlocking condition can also be applied to the additional information of the prompt 31. That is, as another example of the additional information, there is in-
図14および図18では指示物が指である場合に例示したが、指示物がスタイラスペンの場合におけるプロンプトの表現を、図35に例示する。なお、図35の例に、距離情報32(図18参照)と面内状態情報33(図33参照)の一方または両方を付加してもよい。 FIG. 14 and FIG. 18 illustrate the case where the indicator is a finger, but FIG. 35 illustrates a prompt expression when the indicator is a stylus pen. Note that one or both of the distance information 32 (see FIG. 18) and the in-plane state information 33 (see FIG. 33) may be added to the example of FIG.
プロンプト表現設定処理S21(図15および図21を参照)において、指示物の種類に応じてプロンプト31の表現を変化させることにより、複数種類の指示物を使い分けることができ、便利である。例えば、ペン用プロンプト31によって指示できる粒度(換言すれば、分解能)を指用プロンプト31よりも小さく設定すれば、スタイラスペンを選択することにより、精細な画面に対しても操作性が向上する。また、指とスタイラスペンとの使い分けによって、動作モードが切り替わるようにしてもよい。例えば、指利用時には相対座標入力モードが設定され、ペン利用時には絶対座標入力モードが設定されてもよい。
In the prompt expression setting process S21 (see FIG. 15 and FIG. 21), by changing the expression of the prompt 31 according to the type of the instruction object, a plurality of types of instruction objects can be used properly, which is convenient. For example, if the granularity (in other words, resolution) that can be instructed by the
図36に、スタイラスペンを利用する場合について、情報表示制御装置3のブロック図を例示する。図36の例によれば、図3の構成例に、ペン用の接続部28が追加されている。具体的には、スタイラスペンに固有の識別情報を組み込んでおき、その識別情報が接続部28を介して制御部11へ伝送される。これによれば、制御部11は、識別情報の入力がある場合には、スタイラスペンが利用されていることを判別可能である。他方、識別情報の入力がなければ場合には、指が利用されていることを判別可能である。また、識別情報自体を判別することによって、複数のスタイラスペンを判別することも可能である。
FIG. 36 illustrates a block diagram of the information
スタイラスペンへの識別情報の付与、および、接続部28による識別情報の取得は、例えば、無線タグ技術を応用することによって、実現可能である。
The assignment of the identification information to the stylus pen and the acquisition of the identification information by the
ここで、図37に、2つのタッチパネル4を情報表示装置1に接続した例を示す。この場合、タッチパネル4ごとに指示物が用いられる。すなわち、2つの指示物によって、情報表示装置1への入力操作が行われる。入力装置用接続部24には、2つの指示物のそれぞれの3次元位置情報が、各指示物用のタッチパネル4から入力される。なお、2つの入力装置4の一方または両方がタッチパネル以外の装置であってもよい。
Here, FIG. 37 shows an example in which two
なお、それぞれのタッチパネル4に接続部(接続部24に相当)が設けられる場合、それらの接続部を総称が上記の入力装置用接続部24にあたる。また、例えば2つのタッチパネル4が共に無線通信で情報表示装置1に接続される場合、入力装置用接続部24を1つの無線通信用信号生成回路で構成することも可能である。すなわち、2つのタッチパネル4に対して、接続部24は種々の構成を採りうる。
In addition, when a connection part (equivalent to the connection part 24) is provided in each
制御部11は、指示物ごとの3次元位置情報を取得し、2つの指示物のうちの少なくとも1つについて、上記のプロンプト表現設定処理S21(図15および図21を参照)を実行する。図38には、2つの指示物が同時に利用され、両方のプロンプト31にプロンプト表現設定処理S14が適用された場合の画面を例示する。また、2つの指示物のうちの少なくとも1つに対して、付加情報設定処理S21(図21参照)を実行してもよい。
The
また、2つの指示物のうちの少なくとも1つについて、上記の視認性調整処理S14a(図15および図21を参照)を実行する。 Moreover, said visibility adjustment process S14a (refer FIG. 15 and FIG. 21) is performed about at least 1 of two instructions.
同様にして3つ以上のタッチパネル4を接続して、3つ以上の指示物を利用することも可能である。なお、複数の指示物は同じ種類である必要はない。
Similarly, it is also possible to connect three or
ここで、図39に、表示面2aを2つの領域に分割し、一方のタッチパネル4を左画面用入力装置として利用し、他方のタッチパネル4を右画面用入力装置として利用する例を示す。また、図40に、いわゆるスプリットビュー画面の説明図を示す。スプリットビュー画面では、表示面2aを見る方向によって、見える画面が異なる。このため、例えば、一方のタッチパネル4は右側(ここでは運転席側)から見た画面用の入力装置として利用し、他方のタッチパネル4は左側(ここでは助手席側)から見た画面用の入力装置として利用することが可能である。
Here, FIG. 39 shows an example in which the
図40には、右側から見た画面ではプロンプト31の指画像を左向き(手首が右側に在り、人差し指が左側に在る)で表示し、左側から見た画面ではプロンプト31の指画像を右向き(手首が左側に在り、人差し指が右側に在る)で表示する例を図示している。これに対し、両方の指画像を同じ方向に向けてもよい。但し、図40の例によれば、指の向きが、表示面2aと座席との位置関係を反映しているので、プロンプト31を直感的に認識しやすい。図40における2つの指画像の向きは図38および図39の例にも応用可能である。
In FIG. 40, the finger image of the prompt 31 is displayed leftward (the wrist is on the right side and the index finger is on the left side) on the screen viewed from the right side, and the finger image of the prompt 31 is directed rightward (on the screen viewed from the left side). The wrist is on the left side and the index finger is on the right side). On the other hand, both finger images may be directed in the same direction. However, according to the example of FIG. 40, since the direction of the finger reflects the positional relationship between the
また、制御部11は、指示物の距離z0に応じて画面全体の色相を変化させてもよい(画面色相制御処理)。これによれば、プロンプト31を注視しなくても距離z0の変化を判別可能であり、それによりプロンプト31を探す時間を減らすことができる。このため、例えば、運転中に視線を長い時間、車両前方からそらすのを回避可能である。
Further, the
また、制御部11は、指示物が入力面4aに接触した場合(すなわち距離z0=0になった場合)に、入力面4aを振動させる指示を、接続部24を介してタッチパネル4に与えてもよい。タッチパネル4は、入力面4aを振動させる機能を有している場合、その指示に従って入力面4aを振動させる。また、制御部11は、入力面4aを盛り上げる指示をタッチパネル4に与えてもよい。タッチパネル4は、入力面4aを盛り上げる機能を有している場合、その指示に従って入力面4aを盛り上げる。また、制御部11は通知音を、スピーカ5からまたはタッチパネル4のスピーカから、発生させてもよい。これらによれば、入力面4aを見なくても、さらには表示面2aを見なくても、入力面4aに接触したことが分かる。なお、上記3つの処理例を種々に組み合わせてもよい。
Further, the
ここで、入力面4aの振動は、圧電素子等の振動素子を利用すれば実現可能である。また、入力面4aの盛り上げは、例えば、膨張素子を利用すれば実現可能である。膨張素子は、例えば、電解液の封止構造を有した素子によって実現可能である。具体的には、その電解液に電気を供給すると、素子内部に気体が発生し、それにより膨張する。なお、入力面4aの振動は、入力面4aの全体に発生させてもよいし、あるいは、指示物が接触した箇所を含む一部分に選択的に発生させてもよい。かかる点は入力面4aの盛り上げについても同様である。
Here, the vibration of the
<変形例>
なお、上記では入力装置4として静電容量方式の3Dタッチパネルを例示した。しかし、入力面4a上の空間に存在する指示物の3次元位置を検出する機能を有した装置であれば、検出方式、名称等に関わらず、入力装置4として採用可能である。
<Modification>
In the above description, a capacitive 3D touch panel is illustrated as the
また、上記では表示装置2の表示面2aと入力装置4の入力面4aとが別の場所に配置される例を挙げた。しかし、入力面4aが表示面2a上に重ねられた構造にも、上記の各種工夫を採用可能である。
In the above description, the
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。 It should be noted that the present invention can be freely combined with each other within the scope of the invention, and each embodiment can be appropriately modified or omitted.
1 情報表示装置、2 表示装置、2a 表示面、3 情報表示制御装置、4 入力装置、4a 入力面、11 制御部、22 表示装置用接続部、24 入力装置用接続部、31 プロンプト、32 距離情報(付加情報)、33 面内状態情報(付加情報)、40 アイコン、S11 3次元位置情報取得処理、S12 2次元位置変換処理、S13 距離レベル判別処理、S14 表示画像データ生成処理、S14a 視認性調整処理、S21 プロンプト表現設定処理、S31 付加情報設定処理、zlvl00,zlvl0,zlvla,zlvlb,zlvlc,zlvlh,zlvli,zlvlj,zlvlp,zlvlq,zlvlr,zlvl1,zlvl2,zlvl3,zlvl4 距離レベル。 1 information display device, 2 display device, 2a display surface, 3 information display control device, 4 input device, 4a input surface, 11 control unit, 22 display device connection unit, 24 input device connection unit, 31 prompt, 32 distance Information (additional information), 33 In-plane state information (additional information), 40 icons, S11 3D position information acquisition processing, S12 2D position conversion processing, S13 Distance level determination processing, S14 Display image data generation processing, S14a Visibility adjustment process, S21 prompts representation setting process, S31 additional information setting process, zlvl00, zlvl0, zlvla, zlvlb, zlvlc, zlvlh, zlvli, zlvlj, zlvlp, zlvlq, zlvlr, zlvl1, zlvl2, zlvl3, zlvl4 distance level.
Claims (11)
入力面上の空間に存在する指示物の3次元位置を検出する入力装置が接続され、前記入力装置から検出結果に関する3次元位置情報が入力される、入力装置用接続部と、
前記3次元位置情報に基づき、前記入力面のうちで前記入力面の法線に沿った前記指示物の直下位置にあたる入力面内位置を、前記表示装置の表示面内位置に変換する2次元位置変換処理と、前記表示面に表示する表示画像のデータを生成する表示画像データ生成処理とを行い、前記表示画像データ生成処理では、前記3次元位置情報に基づき、前記入力面から前記入力面の前記法線に沿った前記指示物までの距離が小さいほど、前記表示面内位置に表示するプロンプトが指し示す第1オブジェクトと、他のオブジェクトである第2オブジェクトとの視認性の差を拡大させる視認性調整処理を行う、制御部と
を備える情報表示制御装置。 A display device connecting portion to which a display device having a display surface is connected;
An input device connection unit, to which an input device that detects a three-dimensional position of an indicator existing in a space on the input surface is connected, and three-dimensional position information related to a detection result is input from the input device;
Based on the three-dimensional position information, a two-dimensional position that converts a position in the input surface corresponding to a position directly below the indicator along the normal line of the input surface to a position in the display surface of the display device. Conversion processing and display image data generation processing for generating display image data to be displayed on the display surface. In the display image data generation processing, based on the three-dimensional position information, from the input surface to the input surface. Visualization that increases the difference in visibility between the first object indicated by the prompt displayed at the position on the display surface and the second object, which is another object, as the distance to the indicator along the normal line is smaller An information display control device comprising a control unit that performs sex adjustment processing.
前記情報表示制御装置の前記表示装置用接続部に接続された表示装置と
を備える情報表示装置。 The information display control device according to any one of claims 1 to 9,
An information display device comprising: a display device connected to the display device connection portion of the information display control device.
(b)前記3次元位置情報に基づき、前記入力面のうちで前記入力面の法線に沿った前記指示物の直下位置にあたる入力面内位置を、表示装置の表示面内位置に変換するステップと、
(c)前記表示装置の表示面に表示する表示画像のデータを生成する際に、前記3次元位置情報に基づき、前記入力面から前記入力面の前記法線に沿った前記指示物までの距離が小さいほど、前記指示物の前記表示面内位置に表示する第1オブジェクトと他のオブジェクトである第2オブジェクトとの視認性の差を拡大させる視認性調整処理を行うステップと
を備える、情報表示制御方法。 (A) obtaining three-dimensional position information of an indicator existing in a space on the input surface of the input device;
(B) Based on the three-dimensional position information, a step of converting an input in-plane position corresponding to a position immediately below the indicator along the normal of the input surface to a display in-display position of the display device. When,
(C) When generating display image data to be displayed on the display surface of the display device, a distance from the input surface to the indicator along the normal of the input surface based on the three-dimensional position information And a step of performing visibility adjustment processing for increasing a difference in visibility between the first object displayed at the position on the display surface of the indicator and the second object that is another object as the value is smaller. Control method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013041391A JP5933468B2 (en) | 2013-03-04 | 2013-03-04 | Information display control device, information display device, and information display control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013041391A JP5933468B2 (en) | 2013-03-04 | 2013-03-04 | Information display control device, information display device, and information display control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014170337A true JP2014170337A (en) | 2014-09-18 |
JP5933468B2 JP5933468B2 (en) | 2016-06-08 |
Family
ID=51692699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013041391A Active JP5933468B2 (en) | 2013-03-04 | 2013-03-04 | Information display control device, information display device, and information display control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5933468B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016162209A (en) * | 2015-03-02 | 2016-09-05 | 富士ゼロックス株式会社 | Input system, input device and program |
JP6101881B1 (en) * | 2017-01-04 | 2017-03-22 | 京セラ株式会社 | Electronic device, program, and control method |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09305306A (en) * | 1996-03-12 | 1997-11-28 | Toho Business Kanri Center:Kk | Device, processor, and method for position input |
JP2005196810A (en) * | 2005-03-14 | 2005-07-21 | Hitachi Ltd | Display device equipped with touch panel and information processing method |
JP2006209359A (en) * | 2005-01-26 | 2006-08-10 | Takenaka Komuten Co Ltd | Apparatus, method and program for recognizing indicating action |
JP2009259110A (en) * | 2008-04-18 | 2009-11-05 | Toshiba Corp | Display object control device, display object control program, and display device |
JP2010061224A (en) * | 2008-09-01 | 2010-03-18 | Honda Motor Co Ltd | Input/output device for automobile |
WO2010064388A1 (en) * | 2008-12-04 | 2010-06-10 | 三菱電機株式会社 | Display and input device |
WO2010113397A1 (en) * | 2009-03-31 | 2010-10-07 | 三菱電機株式会社 | Display input device |
WO2012169229A1 (en) * | 2011-06-09 | 2012-12-13 | 本田技研工業株式会社 | Vehicle operation device |
-
2013
- 2013-03-04 JP JP2013041391A patent/JP5933468B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09305306A (en) * | 1996-03-12 | 1997-11-28 | Toho Business Kanri Center:Kk | Device, processor, and method for position input |
JP2006209359A (en) * | 2005-01-26 | 2006-08-10 | Takenaka Komuten Co Ltd | Apparatus, method and program for recognizing indicating action |
JP2005196810A (en) * | 2005-03-14 | 2005-07-21 | Hitachi Ltd | Display device equipped with touch panel and information processing method |
JP2009259110A (en) * | 2008-04-18 | 2009-11-05 | Toshiba Corp | Display object control device, display object control program, and display device |
JP2010061224A (en) * | 2008-09-01 | 2010-03-18 | Honda Motor Co Ltd | Input/output device for automobile |
WO2010064388A1 (en) * | 2008-12-04 | 2010-06-10 | 三菱電機株式会社 | Display and input device |
WO2010113397A1 (en) * | 2009-03-31 | 2010-10-07 | 三菱電機株式会社 | Display input device |
WO2012169229A1 (en) * | 2011-06-09 | 2012-12-13 | 本田技研工業株式会社 | Vehicle operation device |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016162209A (en) * | 2015-03-02 | 2016-09-05 | 富士ゼロックス株式会社 | Input system, input device and program |
JP6101881B1 (en) * | 2017-01-04 | 2017-03-22 | 京セラ株式会社 | Electronic device, program, and control method |
JP2018109872A (en) * | 2017-01-04 | 2018-07-12 | 京セラ株式会社 | Electronic apparatus, program, and control method |
Also Published As
Publication number | Publication date |
---|---|
JP5933468B2 (en) | 2016-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5355683B2 (en) | Display input device and in-vehicle information device | |
JP5430782B2 (en) | Display input device and in-vehicle information device | |
JP5312655B2 (en) | Display input device and in-vehicle information device | |
US8963849B2 (en) | Display input device | |
JP5052677B2 (en) | Display input device | |
JP5704408B2 (en) | Operation input system | |
JP5561092B2 (en) | INPUT DEVICE, INPUT CONTROL SYSTEM, INFORMATION PROCESSING METHOD, AND PROGRAM | |
JP5700254B2 (en) | Operation input system | |
JP2019175449A (en) | Information processing apparatus, information processing system, movable body, information processing method, and program | |
JP5700253B2 (en) | Operation input system | |
JP5933468B2 (en) | Information display control device, information display device, and information display control method | |
WO2015083267A1 (en) | Display control device, and display control method | |
JP6041708B2 (en) | In-vehicle information display control device, in-vehicle information display device, and information display control method | |
WO2015083264A1 (en) | Display control device, and display control method | |
JP5889230B2 (en) | Information display control device, information display device, and information display control method | |
JP5984718B2 (en) | In-vehicle information display control device, in-vehicle information display device, and information display control method for in-vehicle display device | |
JP5950851B2 (en) | Information display control device, information display device, and information display control method | |
JP6180306B2 (en) | Display control apparatus and display control method | |
JP2013134722A (en) | Operation input system | |
JP2018063521A (en) | Display control system and display control program | |
JP2013134717A (en) | Operation input system | |
KR20140135081A (en) | Potable electronic chart display and information system using electronic navigational chart viewer component available on multiple platforms, and potable electronic chart display method thereof | |
JP2013152688A (en) | Operation input system | |
JP2017182260A (en) | Display processing apparatus and display processing program | |
JP2015108984A (en) | Display controller and display control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160502 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5933468 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |