JP2021005225A - Input device - Google Patents
Input device Download PDFInfo
- Publication number
- JP2021005225A JP2021005225A JP2019118737A JP2019118737A JP2021005225A JP 2021005225 A JP2021005225 A JP 2021005225A JP 2019118737 A JP2019118737 A JP 2019118737A JP 2019118737 A JP2019118737 A JP 2019118737A JP 2021005225 A JP2021005225 A JP 2021005225A
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- coordinates
- touch
- control unit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、タッチ操作およびジェスチャ操作が可能な入力装置に関する。 The present invention relates to an input device capable of touch operation and gesture operation.
従来、操作者がタッチパネルに指を接触させた状態で行うタッチ操作、または操作者がタッチパネルから指を離した状態で行うジェスチャに基づくジェスチャ操作を実行可能な構成とされた入力装置としては、例えば特許文献１に記載のものが提案されている。
Conventionally, as an input device having a configuration capable of performing a touch operation performed when the operator touches the touch panel with a finger, or a gesture operation based on a gesture performed by the operator while the finger is released from the touch panel, for example. The one described in
なお、本明細書において「ジェスチャ」とは、例えば、操作者が指を上下左右などの所定の一方向に動かす、または指を時計回りもしくは反時計回りに動かすといった簡単な動作を意味する。また、「ジェスチャ操作」とは、タッチ操作が行われていない状況にて、操作者のジェスチャに基づいて行われる入力操作を意味する。 In addition, in this specification, "gesture" means a simple operation, for example, that an operator moves a finger in a predetermined direction such as up, down, left and right, or moves a finger clockwise or counterclockwise. Further, the "gesture operation" means an input operation performed based on the gesture of the operator in a situation where the touch operation is not performed.
この入力装置は、表示部に重畳配置されたタッチパネルと、操作者がジェスチャ操作を行う際の当該操作者の身体形状を画像データとして取り込む身体形状入力部と、当該画像データに基づいてジェスチャ操作を認識し、入力制御を行う制御部とを備える。この入力装置は、例えば車両に搭載されるディスプレイなどに適用され、操作者と表示部との相対位置の変化が所定の範囲内に制限されている状況において、操作者が表示部の全域において、タッチ操作またはジェスチャ操作が可能な構成である。 This input device has a touch panel superimposed on the display unit, a body shape input unit that captures the body shape of the operator as image data when the operator performs a gesture operation, and a gesture operation based on the image data. It is provided with a control unit that recognizes and controls input. This input device is applied to, for example, a display mounted on a vehicle, and in a situation where the change in the relative position between the operator and the display unit is limited within a predetermined range, the operator can use the entire display unit. It is a configuration that allows touch operation or gesture operation.
ところで、この種の入力装置では、操作者が姿勢や表示部に対する相対位置などを大きく変えないとその全域をタッチ操作できないほどに表示部を大面積化したいとのニーズが存在する。 By the way, in this type of input device, there is a need to increase the area of the display unit so that the entire area cannot be touch-operated unless the operator significantly changes the posture or the relative position with respect to the display unit.
しかしながら、例えば車載用途のように、表示部と操作者との相対位置の変化が所定の範囲内に制限された状況においては、操作者は、表示部のうち一部の領域しかタッチ操作をすることができない。このような状況では、表示部のうち操作者がタッチ操作できない領域については、非接触でのジェスチャ操作により各種の入力操作を可能にすることが求められる。 However, in a situation where the change in the relative position between the display unit and the operator is limited within a predetermined range, for example, in an in-vehicle application, the operator performs a touch operation on only a part of the display unit. I can't. In such a situation, it is required to enable various input operations by non-contact gesture operation in the area of the display unit where the operator cannot perform touch operation.
また、この状況において、操作者が、表示部のうちタッチ操作をすることが可能な第１の領域からタッチ操作ができない第２の領域、すなわち操作者の指が届かない領域に跨って所定の入力操作をすることが想定される。この場合、操作性を向上させるためには、タッチ操作に続けてジェスチャ操作を行う際に、これらの操作の切り替えをスムーズに行い、連続した操作が可能な構成とする必要がある。特許文献１に記載の入力装置は、表示部の面積が小さいため、このような操作系のスムーズな切り替えが考慮された構成となっていない。
Further, in this situation, a predetermined area is straddled from the first area of the display unit where the operator can perform the touch operation to the second area where the touch operation cannot be performed, that is, the area where the operator's finger cannot reach. It is expected that an input operation will be performed. In this case, in order to improve the operability, it is necessary to smoothly switch between these operations when performing the gesture operation following the touch operation so that the operation can be continuously performed. Since the area of the display unit is small, the input device described in
本発明は、上記の点に鑑み、所定以上の面積とされた表示部に対する入力操作に用いられ、タッチ操作とジェスチャ操作とのスムーズな切り替えが可能な構成とされた入力装置を提供することを目的とする。 In view of the above points, the present invention provides an input device that is used for an input operation on a display unit having an area larger than a predetermined area and has a configuration capable of smoothly switching between a touch operation and a gesture operation. The purpose.
上記目的を達成するため、請求項１に記載の入力装置は、所定以上の面積とされた表示部（１０）に対して重畳配置されたタッチパネル（１１）と、操作者の身体形状を撮像する撮像部（２１）が取得した画像データに基づいて、操作者のジェスチャを認識し、ジェスチャに応じた信号を出力するジェスチャ認識部（１２）と、タッチパネルからの出力信号に基づくタッチ操作による入力制御、およびジェスチャ認識部からの出力信号に基づくジェスチャ操作による入力制御を行う制御部（１７）と、タッチ操作により得られるタッチ座標の座標データを、ジェスチャ操作による入力制御において用いられるジェスチャ座標であって、タッチ座標の座標データに対応する座標データと共に、一組の座標データとして記憶する記憶部（１３）と、ジェスチャ座標の補正を行う補正部（１７１）と、を備え、制御部は、タッチ操作およびジェスチャ操作のいずれか一方による入力制御となるように操作系の切り替えを実行し、補正部は、タッチ操作による入力制御時に、二以上の一組の座標データに基づきジェスチャ座標の補正を行う。 In order to achieve the above object, the input device according to claim 1 captures an image of a touch panel (11) superposed on a display unit (10) having an area larger than a predetermined area and an operator's body shape. Based on the image data acquired by the imaging unit (21), the gesture recognition unit (12) recognizes the operator's gesture and outputs a signal according to the gesture, and the input control by touch operation based on the output signal from the touch panel. , And the control unit (17) that performs input control by gesture operation based on the output signal from the gesture recognition unit, and the coordinate data of the touch coordinates obtained by the touch operation are the gesture coordinates used in the input control by the gesture operation. A storage unit (13) for storing as a set of coordinate data and a correction unit (171) for correcting gesture coordinates are provided together with the coordinate data corresponding to the coordinate data of the touch coordinates, and the control unit is a touch operation. The operation system is switched so that the input control is performed by either one of the gesture operation and the gesture operation, and the correction unit corrects the gesture coordinates based on two or more sets of coordinate data at the time of input control by the touch operation.
これにより、タッチ操作中にタッチ座標とこれに対応するジェスチャ座標の座標データを一組の座標データとして記憶し、二以上の一組の座標データに基づき、タッチ操作中にジェスチャ座標の補正を行う構成の入力装置となる。そのため、タッチ操作中に、ジェスチャ座標とタッチ座標との位置ズレを抑制することができ、任意のタイミングでタッチ操作からジェスチャ操作に切り替わっても、スムーズに操作系の切り替えが可能な構成となる。 As a result, the touch coordinates and the coordinate data of the gesture coordinates corresponding thereto are stored as a set of coordinate data during the touch operation, and the gesture coordinates are corrected during the touch operation based on the two or more sets of coordinate data. It serves as an input device for the configuration. Therefore, it is possible to suppress the positional deviation between the gesture coordinates and the touch coordinates during the touch operation, and even if the touch operation is switched to the gesture operation at an arbitrary timing, the operation system can be smoothly switched.
なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。 The reference numerals in parentheses attached to each component or the like indicate an example of the correspondence between the component or the like and the specific component or the like described in the embodiment described later.
以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In each of the following embodiments, parts that are the same or equal to each other will be described with the same reference numerals.
（第１実施形態）
第１実施形態に係る入力装置について説明する。本明細書では、例えば、図１に示すように自動車などの車両に搭載される車載装置１として適用された場合を代表例として説明するが、この用途に限定されるものではない。
(First Embodiment)
The input device according to the first embodiment will be described. In the present specification, for example, a case where it is applied as an in-
車載装置１は、例えば図１に示すように、表示部１０と、タッチパネル１１と、ジェスチャ認識部１２と、記憶部１３と、音声認識部１４と、音声合成部１５と、通信部１６と、制御部１７とを有してなる。車載装置１は、例えば図２に示すように、車両ＶのサイドウィンドウＶ１に表示部１０が搭載されたサイドウィンドウディスプレイとされ得る。この車載装置１は、乗員、すなわち操作者が表示部１０に対してタッチ操作およびジェスチャ操作が可能な構成となっている。
As shown in FIG. 1, for example, the in-
なお、図２は、紙面左右方向を車両Ｖの進行可能な方向に沿った「車両全長方向」とし、紙面上において車両全長方向に直交する方向を「車幅方向」として、これらのなす平面に対する法線方向から車室内を見たときの平面図に相当する。図２では、車両全長方向において、座席Ｖ２、Ｖ３に着座した乗員が向き合う状態とされると共に、座席Ｖ２、Ｖ３に隣接するサイドウィンドウＶ１に表示部１０が搭載された状態を示している。そして、図２に示す例では、座席Ｖ２またはＶ３に着座した乗員が、着座した状態のままサイドウィンドウディスプレイとされた車載装置１の入力操作が可能な状況となっている。
In FIG. 2, the left-right direction of the paper surface is defined as the "vehicle length direction" along the direction in which the vehicle V can travel, and the direction orthogonal to the vehicle length direction on the paper surface is defined as the "vehicle width direction" with respect to the planes formed by these. It corresponds to the plan view when the passenger compartment is viewed from the normal direction. FIG. 2 shows a state in which the occupants seated in the seats V2 and V3 face each other in the overall length direction of the vehicle, and the
表示部１０は、各種の映像等を表示する任意のディスプレイである。表示部１０は、図２に示すようにサイドウィンドウディスプレイとされる場合には、透明ディスプレイ、例えば有機ＥＬ（エレクトロルミネッセンスの略）ディスプレイとされる。表示部１０は、サイドウィンドウディスプレイへの適用に限られないが、映像等が表示される表示面が、少なくとも操作者が移動しないとその全域を触れることができない程度の所定以上の面積とされている。
The
タッチパネル１１は、表示部１０のうち表示面に対して重畳配置された透明体であり、操作者によるタッチ操作に用いられる。タッチパネル１１は、表示部１０に表示される映像等を透過させると共に、タッチパネル１１のうち表示部１０とは反対側の一面における操作者の接触箇所に応じた信号を出力する。タッチパネル１１は、例えば、静電容量式とされ、複数の第１電極と複数の第２電極とが格子状に配列されると共に、任意の絶縁性材料により覆われてなる。この場合、タッチパネル１１は、一面に指等の操作体が置かれたときに、一面における当該操作体の位置に応じて静電容量が変化する構成とされ、当該静電容量の信号を出力する構成とされる。タッチパネル１１が出力する操作体の位置に応じた信号は、例えば、後述する制御部１７に出力され、表示部１０に表示された操作アイコン等に割り当てられた所定の車載機器等への入力操作に用いられる。
The
なお、タッチパネル１１は、一面に指等の操作体が置かれたときに、その位置に応じた信号を出力する構成であればよく、静電容量式に限定されず、感圧式などの他の任意の方式とされてもよい。
The
表示部１０およびタッチパネル１１は、操作者との相対位置の変化が所定以下に制限された状況において、当該操作者が、手が届くことによりタッチ操作が可能な領域と、手が届かないことでタッチ操作ができない領域とを有する所定以上の大きさとされる。
In a situation where the change in the relative position with the operator is limited to a predetermined value or less, the
以下、説明の便宜上、図３に示すように、上記した状況において、タッチパネル１１のうち操作者の手が届き、タッチ操作が可能な領域、すなわち接触可能な領域を「第１領域１１１」と称することがある。また、同状況において、タッチパネル１１のうち操作者の手が届かないためにタッチ操作ができない領域を「第２領域１１２」と称することがある。
Hereinafter, for convenience of explanation, as shown in FIG. 3, in the above situation, the area of the
なお、図３では、第１領域１１１と第２領域１１２との境界を便宜的に破線で示しているが、これらの区画について便宜的なものであり、明確な境界が存在するわけではない。また、第２領域１１２は、指などの操作体が接触した場合には、その接触された位置に応じた信号を出力する構成となっており、操作者が移動したり、体勢を変えたりした場合にはタッチ操作も可能な領域である。つまり、タッチパネル１１における第１領域１１１および第２領域１１２は、タッチパネル１１のサイズ、操作者の位置、姿勢や体格等の諸条件によりその面積や位置等が変化する。
In FIG. 3, the boundary between the
ジェスチャ認識部１２は、撮像部２１から取得した画像データに基づいて、操作者の手や指等を用いたジェスチャを三次元的に認識する。ジェスチャ認識部１２は、例えば、所定の一方向への指のスライドや回転といった各種のジェスチャを認識すると共に、各種のジェスチャに応じた信号を制御部１７へ出力する。このジェスチャに応じた信号は、例えば、操作者の手が届ない第２領域１１２における非接触のジェスチャ操作に用いられるが、第１領域１１１におけるジェスチャ操作にも用いられ得る。
The
撮像部２１は、操作者がジェスチャ操作を行う際の当該操作者の手や指などの身体形状であって、ジェスチャに用いる部分を撮像するカメラである。撮像部２１は、例えば、可視光カメラ、近赤外カメラ、赤外線カメラ等の任意のカメラとされる。撮像部２１は、例えば図１に示すように、車載装置１とは別体とされると共に、図示しない配線等により車載装置１に電気的に接続される。撮像部２１で取得した画像データは、ジェスチャ認識部１２に伝送され、操作者のジェスチャの特定に用いられる。
The
なお、撮像部２１は、操作者の指等を撮像できる位置に設置されていればよく、例えば図２に示すように、車両Ｖの車室内における天井等の任意の箇所に設置される。
The
記憶部１３には、例えば、表示部１０に表示される操作アイコン等に係る情報、車載装置１の動作制御や車載機器等の機能を実行するための各種プログラムが格納されている。記憶部１３は、例えば、不図示のＲＯＭ、ＲＡＭや不揮発性ＲＡＭ等により構成される記憶媒体である。
The
音声認識部１４は、例えば、車両Ｖに搭載されるマイク２２から取得した音声データに基づき、操作者による発話等を認識する。音声認識部１４は、例えば、車載装置１とは別体のマイク２２からの音声データに応じた信号を制御部１７に出力する。音声認識部１４から出力された信号は、音声入力等に用いられる。
The
マイク２２は、操作者による発話等の音声が入力される任意の音声装置である。マイク２２は、操作者による音声が入力される位置に配置されていればよく、車両Ｖの車室内における任意の位置に設置される。
The
音声合成部１５は、例えば、車載装置１とは別体のスピーカ２３を介して音声によるメッセージ等を通知する際の音声を合成する。音声合成部１５は、例えば、制御部１７から操作者へのメッセージ等に関するテキストデータが伝送され、当該テキストデータに応じた音声信号をスピーカ２３に出力する。
For example, the
スピーカ２３は、例えば、音声合成部１５から出力された音声信号に基づき、音声を出力する。スピーカ２３は、操作者等がスピーカ２３から出力される音声を聞き取ることができる箇所に搭載されていればよく、車両Ｖの任意の位置に設置される。
The
通信部１６は、車両Ｖに搭載される任意の車載機器と不図示のネットワーク配線等を介して接続されており、制御部１７と車載機器との通信に用いられる。
The
なお、車載機器としては、例えば図１に示すように、通信機器２４、ナビゲーション装置２５、オーディオ装置２６、カーエアコン２７や車両ＥＣＵ（Electronic Control Unitの略）２８等が挙げられるが、これらに限定されない。通信機器２４は、例えばインターネットなどの外部ネットワークとの通信用であってもよいし、車両Ｖ内にある車載機器とは異なる他の電子機器との通信用であってもよい。
Examples of the in-vehicle device include, but are limited to, a
制御部１７は、例えば、回路配線を備える不図示の基板上にＣＰＵ等が搭載されてなる電子制御ユニットであり、記憶部１３に格納された各種プログラムを読み込んで実行する。制御部１７は、タッチパネル１１からの出力信号に基づいて、タッチパネル１１のうち操作者の指が接触もしくは近接した位置を算出する。制御部１７は、ジェスチャ認識部１２からの出力信号に基づいて、タッチパネル１１のうち操作者のジェスチャ操作に対応する位置を算出する。制御部１７は、音声認識部１４からの出力信号に基づいて、操作者の発話を特定し、必要に応じて音声合成部１５や車載機器への信号を出力する。制御部１７は、各種の映像等を表示部１０に表示させる制御を行うと共に、表示部１０に表示された操作アイコンに割り当てられたコンテンツを実行させるため、通信部１６を介して車載機器への出力を行う。また、制御部１７は、例えば、操作アイコン等に関連付けられた機能やジェスチャ認識部１２が認識したジェスチャに対応する機能を実行する。
The
つまり、制御部１７は、タッチパネル１１からの出力信号に基づくタッチ操作による入力制御、およびジェスチャ認識部１２からの出力信号に基づくジェスチャ操作による入力制御を行う。そして、制御部１７は、タッチ操作およびジェスチャ操作のいずれか一方による入力制御を行うように、その切り替えを実行する構成とされている。
That is, the
以上が、入力装置が適用される車載装置１の基本的な構成である。この車載装置１は、例えば、タッチパネル１１が信号を制御部１７に出力している場合には、タッチ操作が行われ、タッチパネル１１が信号を制御部１７に出力していない場合には、ジェスチャ操作が行われ得る構成とされている。
The above is the basic configuration of the in-
（操作系の切り替え）
次に、車載装置１におけるタッチ操作とジェスチャ操作との切り替えについて、図４Ａ、図４Ｂに示す操作を代表例として説明する。
(Switching of operation system)
Next, regarding the switching between the touch operation and the gesture operation in the in-
図４Ａ、図４Ｂでは、断面を示すものではないが、見易くするため、操作者の操作位置に対応する位置を示すものとして表示部１０に表示されるポインタＰにハッチングを施している。また、図４Ａ、図４Ｂでは、タッチパネル１１のうち操作者による接触操作が可能な面を操作面１１ａとして、操作面１１ａのタッチ操作またはジェスチャ操作を行う操作者の頭上から見た、いわば「平面視」したときの状況を示している。さらに、図４Ａ、図４Ｂでは、操作面１１ａに対する法線方向、すなわち操作面法線方向から表示部１０およびタッチパネル１１を見た、いわば「側面視」した状況を示している。図４Ｂでは、分かり易くするため、タッチパネル１１から所定以上離れた操作者の手を破線で示している。
Although the cross section is not shown in FIGS. 4A and 4B, the pointer P displayed on the
操作者が図４Ａに示すようにタッチパネル１１の操作面１１ａのうち第１領域１１１の任意の位置に一本の指を置き、その後、図４Ｂに続くように第２領域１１２にポインタＰをジェスチャ操作で移動させる操作を行った場合について説明する。
As shown in FIG. 4A, the operator places one finger on the
図４Ａに示すように、操作者が第１領域１１１の任意の場所に指を置いた場合、制御部１７は、表示部１０のうち操作者が指を置いた場所に相当する箇所にポインタＰを表示させる制御を行う。操作者がタッチパネル１１の操作面１１ａに触れたまま、第２領域１１２に向かって指をスライドさせると、制御部１７の制御により、この指の位置に連動してポインタＰが移動する。
As shown in FIG. 4A, when the operator puts a finger on an arbitrary place in the
ポインタＰを表示部１０のうち第１領域１１１に相当する位置から第２領域１１２に相当する位置に移動させる場合、図４Ｂに示すように、操作者は、タッチパネル１１から指を離して、引き続き、非接触のジェスチャ操作を行うことになる。制御部１７は、例えば、操作者がタッチパネル１１から指を離したタイミングでタッチ操作からジェスチャ操作への切り替えを実行する。
When the pointer P is moved from the position corresponding to the
なお、ジェスチャ操作時においては、撮像部２１は、操作者の動きを撮影し、指の動きや形状を画像データとして生成し、ジェスチャ認識部１２にデータを出力する。その後、ジェスチャ認識部１２は、指の動きや向きに対応する信号を制御部１７に出力する。そして、制御部１７は、例えば、ジェスチャ認識部１２により認識された指のなす直線と表示部１０との交点にポインタＰを表示させる制御を行う。また、撮像部２１による撮像およびジェスチャ認識部１２への信号出力、並びにジェスチャ認識部１２から制御部１７への信号出力については、ジェスチャ操作時だけでなく、タッチ操作時においても行われてもよい。
At the time of gesture operation, the
タッチ操作とジェスチャ操作との切り替えについては、例えば、「タッチパネル１１からの信号出力の有無」、「タッチパネル１１からの出力信号の強度」や「タッチ座標とジェスチャ座標との差」などに基づいて行われる。以下、タッチ操作とジェスチャ操作との切り替えを単に「操作系の切り替え」と称する。
Switching between touch operation and gesture operation is performed based on, for example, "presence or absence of signal output from
具体的には、例えば、タッチパネル１１が感圧式などの指等の操作体が接触した場合にのみ信号を出力する構成である場合には、制御部１７は、タッチパネル１１からの信号の出力、すなわちタッチ座標の出力がある場合にはタッチ操作に基づく制御を行う。この場合において、タッチパネル１１からの信号出力、すなわちタッチ座標の出力がないときには、制御部１７は、ジェスチャ操作に基づく制御へと切り替える。
Specifically, for example, when the
なお、ここでいう「タッチ座標」とは、タッチパネル１１からの信号に関連付けられ、タッチ操作時に用いられる座標系である。「ジェスチャ座標」とは、ジェスチャ認識部１２からの信号に関連付けられ、主にジェスチャ操作時に用いられる座標系である。ジェスチャ座標は、タッチ座標におけるタッチ位置にも関連付けられると共に、タッチ操作からジェスチャ操作への切り替え時にスムーズに座標系の切り替えができるように、タッチ操作中にも内部処理がされている。
The "touch coordinates" referred to here are coordinate systems that are associated with the signal from the
操作系の切り替えは、タッチパネル１１からの出力信号の有無に代わって、タッチパネル１１からの出力信号の強度に応じて行われてもよい。具体的には、タッチパネル１１が静電センサ等のように操作者の指等の操作体が操作面１１ａと所定の距離内に近づいた場合に感度が高くなる、すなわち出力信号が大きくなる構成である場合には、操作系の切り替えは、この出力信号の強度により行われてもよい。より具体的には、操作者の指が操作面１１ａに触れているか、または所定の距離以内にある場合、タッチパネル１１からの出力信号が所定以上の強度となるため、制御部１７は、出力信号が当該閾値以上であれば、タッチ操作に基づく制御を行う。一方、タッチパネル１１からの出力信号が当該閾値未満であるときには、制御部１７は、タッチ操作からジェスチャ操作へ切り替える。
The switching of the operation system may be performed according to the strength of the output signal from the
操作者の違和感を低減し、より滑らかにするためには、操作系の切り替えは、例えば、タッチ座標とジェスチャ座標との差に基づいて行われてもよい。 In order to reduce the discomfort of the operator and make it smoother, the switching of the operation system may be performed based on, for example, the difference between the touch coordinates and the gesture coordinates.
具体的には、例えば、ポインタＰを所定の距離だけタッチ操作により移動させた場合について検討する。 Specifically, for example, a case where the pointer P is moved by a touch operation by a predetermined distance will be examined.
タッチ座標における操作位置は、操作者がタッチパネル１１に接触した際にタッチパネル１１から出力される信号に基づいて算出される。そのため、タッチ座標におけるポインタＰの移動量は、実際の操作者の指の移動量との差がほとんどない。
The operation position in the touch coordinates is calculated based on the signal output from the
一方、ジェスチャ座標における操作位置は、ジェスチャ認識部１２からの出力信号に基づいて算出される。例えば、操作者の指のなす直線と表示部１０との交点がジェスチャ座標における操作位置として算出され、その操作位置の座標の変化量がジェスチャ座標における移動量となる。つまり、ジェスチャ座標における移動量は、操作者の指との物理的な接触によらずに算出される仮想的な数値であり、タッチ座標における移動量に比べて、実際の操作者の指の移動量との差が大きい。そして、タッチ座標における移動量とジェスチャ座標における移動量との差は、操作者によるポインタＰの移動量が大きいほど大きくなる。
On the other hand, the operation position in the gesture coordinates is calculated based on the output signal from the
したがって、表示部１０と操作者との相対位置の変化量が所定以下に制限されている状況においては、第１領域１１１内におけるポインタＰの移動操作では、操作者の指の移動量が小さく、各座標における移動量の差は小さい。一方、同じ状況において、第２領域１１２にポインタＰを移動させる場合、操作者の指の移動量が大きくなり、各座標における移動量の差は大きくなる。
Therefore, in a situation where the amount of change in the relative position between the
そこで、タッチ座標における移動量とジェスチャ座標における移動量との差に閾値を設け、制御部１７は、これらの移動量の差が所定の閾値以上の場合には、タッチ操作のままとし、タッチ操作に基づく入力制御を行ってもよい。逆に、これらの移動量の差が所定の閾値未満の場合には、制御部１７は、タッチ操作からジェスチャ操作に切り替え、タッチ操作に基づく入力制御を行ってもよい。このような操作系の切り替えとすることにより、タッチ操作からジェスチャ操作への切り替え時に、座標差によるポインタＰの位置ズレ（後述）を所定以下に抑えることができ、操作系のスムーズな切り替えを実行できる。つまり、両座標における移動量が所定の閾値以上の状態でタッチ操作からジェスチャ操作に切り替わると、ポインタＰの表示位置が大きくずれてしまい違和感を覚えるため、上記の操作系の切り替え条件とすることでこのような事態を防止できる。
Therefore, a threshold value is set for the difference between the movement amount in the touch coordinates and the movement amount in the gesture coordinates, and when the difference between these movement amounts is equal to or more than a predetermined threshold value, the touch operation is left as it is and the touch operation is performed. Input control based on may be performed. On the contrary, when the difference between these movement amounts is less than a predetermined threshold value, the
なお、操作系の切り替えに用いられる出力信号の強度や両座標の差における閾値は、例えば記憶部１３に格納され、必要に応じて制御部１７により読み込まれる。また、操作系の切り替えにおいては、タッチパネル１１からの出力信号の強度と、両座標における移動量の差とを組み合わせてもよい。例えば、タッチパネル１１からの出力信号の強度が閾値以上、かつ両座標における移動量が所定の値以上の場合には、制御部１７は、タッチ操作を有効とし、タッチ操作に基づく入力制御を実行してもよい。また、タッチパネル１１からの出力信号の強度が閾値未満、かつ両座標における移動量が所定の値未満の場合には、制御部１７は、ジェスチャ操作を有効とし、ジェスチャ操作に基づく入力制御を実行してもよい。
The strength of the output signal used for switching the operation system and the threshold value in the difference between both coordinates are stored in, for example, the
また、タッチ操作かジェスチャ操作かを操作者が視覚的に把握し易くするため、図５に示すように、ポインタＰの意匠をタッチ操作とジェスチャ操作とで異なるものとしてもよい。また、同様の目的で、図６に示すように、表示部１０に表示されているアイコンのうち操作者が選択している選択アイコンを強調表示する場合、その意匠をタッチ操作とジェスチャ操作とで異なるものとしてもよい。意匠の変更の様式としては、ポインタＰについては色、形状や大きさを変えたり、選択アイコンについては枠の色、太さや模様を変えたりすることが挙げられるが、視覚的に差異が認識できればよく、これらに限定されない。
Further, in order to make it easier for the operator to visually grasp whether the touch operation or the gesture operation, the design of the pointer P may be different between the touch operation and the gesture operation as shown in FIG. Further, for the same purpose, as shown in FIG. 6, when highlighting the selection icon selected by the operator among the icons displayed on the
なお、上記したポインタＰの意匠の変更については、タッチ操作からジェスチャ操作に切り替える場合だけでなく、その逆の場合に適用してもよい。つまり、制御部１７は、タッチ操作およびジェスチャ操作のいずれか一方から他方へ切り替える際に、座標ズレによる違和感を低減する制御を実行してもよい。
The above-mentioned change in the design of the pointer P may be applied not only when switching from the touch operation to the gesture operation but also when vice versa. That is, when switching from either the touch operation or the gesture operation to the other, the
（座標系の切り替え）
次に、操作系の切り替え時におけるタッチ座標とジェスチャ座標との切り替えについて、図７〜図１０を参照して説明する。
(Switching the coordinate system)
Next, switching between the touch coordinates and the gesture coordinates at the time of switching the operation system will be described with reference to FIGS. 7 to 10.
図７、図１０では、紙面左右方向をｘ方向とし、紙面上においてｘ方向に直交する方向をｙ方向として示すと共に、ｘ方向におけるタッチ座標Ｔｘと同方向におけるジェスチャ座標Ｇｘとを矢印で示している。また、図７、図１０では、分かり易くするため、タッチ操作中の操作者の手を実線で示している。図７〜図１０では、ジェスチャ操作中の操作者の手を破線で示している。 In FIGS. 7 and 10, the left-right direction of the paper surface is the x direction, the direction orthogonal to the x direction on the paper surface is the y direction, and the touch coordinate Tx in the x direction and the gesture coordinate Gx in the same direction are indicated by arrows. There is. Further, in FIGS. 7 and 10, for the sake of clarity, the operator's hand during the touch operation is shown by a solid line. In FIGS. 7 to 10, the operator's hand during the gesture operation is shown by a broken line.
以下の説明においては、説明の便宜上、操作系の切り替えに伴ってなされる、ポインタＰ等の現操作位置の表示に使用される座標の切り替えを単に「座標系の切り替え」と称する。また、座標系の切り替えを分かり易くするため、ここでは、ポインタＰのｙ方向における座標を変化させず、ｘ方向における座標を変化させるように、ポインタＰを移動させる操作を行う場合を代表例として説明する。 In the following description, for convenience of explanation, the switching of the coordinates used for displaying the current operating position of the pointer P or the like, which is performed when the operating system is switched, is simply referred to as “coordinate system switching”. Further, in order to make the switching of the coordinate system easy to understand, here, as a typical example, the operation of moving the pointer P so as to change the coordinates in the x direction without changing the coordinates of the pointer P in the y direction is performed. explain.
制御部１７は、例えば図７に示すように、タッチ操作からジェスチャ操作へ切り替えを行う際に、ポインタＰ等を表示させる現操作位置を算出するために用いる座標をタッチ座標からジェスチャ座標に切り替える制御を行う。
As shown in FIG. 7, for example, the
例えば、操作系の切り替えの直前におけるポインタＰのタッチ座標をｔｘ１として、制御部１７は、図７に示すように、タッチ操作時においては、ポインタＰをタッチ座標でのｔｘ１に対応する位置に表示させる制御を行う。一方、ジェスチャ座標においてｔｘ１に対応する位置をｇｘ１として、制御部１７は、ジェスチャ操作時においては、ポインタＰをジェスチャ座標でのｇｘ１に対応する位置に表示させる制御を行う。
For example, assuming that the touch coordinate of the pointer P immediately before the switching of the operation system is tx1, the
このとき、図７に示すように、タッチ座標のｔｘ１とジェスチャ座標ｇｘ１との間に所定以上のズレがある場合には、座標系の切り替えに伴って、ポインタＰの表示位置が瞬間的に大きくずれてしまい、操作者に違和感を覚えさせ得る。 At this time, as shown in FIG. 7, if there is a deviation of a predetermined value or more between the touch coordinate tx1 and the gesture coordinate gx1, the display position of the pointer P is momentarily increased as the coordinate system is switched. It may shift and make the operator feel uncomfortable.
このようにタッチ座標とジェスチャ座標とを単純に切り替える場合において、座標系の切り替えに伴うポインタＰ等の位置ズレによる違和感を低減するため、制御部１７は、座標系の切り替え時におけるポインタＰの表示制御を実行することが好ましい。
In the case of simply switching between the touch coordinates and the gesture coordinates in this way, the
例えば、図８に示すように、ポインタＰをタッチ座標上での位置とジェスチャ座標上での位置とにおいて短時間で交互に数回表示させ、最終的に、切り替え後の座標系での位置にポインタＰを表示させてもよい。つまり、制御部１７は、操作系の切り替え時にポインタＰが振動しているように表示をさせつつ、切り替え後の座標系での位置に表示させるといったアニメーション表示をさせることで、位置ズレによる違和感を低減する。また、図９に示すように、制御部１７は、操作系の切り替え時においてポインタＰの大きさを一時的に大きくし、切り替えた座標系における表示位置に集束するようにポインタＰの大きさを元に戻すことで位置ズレによる違和感を低減してもよい。
For example, as shown in FIG. 8, the pointer P is displayed alternately at the position on the touch coordinate and the position on the gesture coordinate several times in a short time, and finally at the position in the coordinate system after switching. The pointer P may be displayed. That is, the
また、制御部１７は、例えば図１０に示すように、タッチ操作からジェスチャ操作への切り替えを行う際に、ジェスチャ座標のオフセット処理を行った上で、タッチ座標からジェスチャ座標に切り替える制御を実行してもよい。
Further, as shown in FIG. 10, for example, when switching from the touch operation to the gesture operation, the
図７に示すように、操作系の切り替え直前におけるタッチ座標のｔｘ１とジェスチャ座標のｇｘ１との間にズレが生じている場合、制御部１７は、図１０に示すように、これらの差（ｔｘ１−ｇｘ１）の分だけジェスチャ座標の原点をオフセットしてもよい。これにより、オフセット後のジェスチャ座標のｇｘ１とタッチ座標のｔｘ１とが同じ位置となり、座標系を切り替えた後であっても、ポインタＰは、操作系の切り替え前後において同じ位置に表示されることになる。このような表示制御により、操作者は、タッチ操作からジェスチャ操作への切り替えによる違和感を覚えることなく、よりスムーズにジェスチャ操作を続行することができる。
As shown in FIG. 7, when there is a deviation between the tx1 of the touch coordinates and the gx1 of the gesture coordinates immediately before the switching of the operation system, the
（処理動作例）
次に、車載装置１における処理動作例について、図１１に示す操作を行った場合における処理動作例を代表例に、図１２を参照して説明する。
(Processing operation example)
Next, a processing operation example in the in-
図１１では、操作者が表示部１０のうち第１領域１１１内において表示されているアイコンを選択し、当該選択アイコンを第２領域１１２に移動させる操作を示している。また、図１１では、分かり易くするため、断面を示すものではないが、操作するアイコンにハッチングを施している。さらに、図１１では、第１領域１１１と第２領域１１２との境界を便宜的に破線で示すと共に、操作の順番を白抜き矢印で示している。
FIG. 11 shows an operation in which the operator selects an icon displayed in the
制御部１７は、例えば車載装置１がＯＮの状態となったら、図１２に示す制御フローを実行する。
The
ステップＳ１０１では、制御部１７は、タッチパネル１１から信号を出力されたか否か、すなわちタッチパネル１１の入力有無についての判定を行う。制御部１７は、ステップＳ１０１にて肯定判定の場合、すなわちタッチパネル１１から信号が出力されたと判定した場合には処理をステップＳ１０２に進め、否定判定の場合には処理を終了させる。
In step S101, the
ステップＳ１０２では、制御部１７は、タッチパネル１１からの出力信号に基づいて算出された操作位置が、表示部１０に表示された操作アイコン上であって、当該操作アイコンの移動を有効にできる位置であるか否かの判定を行う。ステップＳ１０２で肯定判定の場合には、制御部１７は、処理をステップＳ１０３に進める。例えば、操作者がタッチパネル１１に指を置いたまたは近接させた際に、表示部１０に表示されるポインタＰが操作アイコンの移動を有効にする位置にある状況等がこの場合に該当する。一方、否定判定の場合には、制御部１７は、処理を終了させる。
In step S102, the
ステップＳ１０３では、制御部１７は、操作位置に表示されているアイコンを移動可能な状態にする制御を行う。その後、制御部１７は、処理をステップＳ１０４に進める。
In step S103, the
ステップＳ１０４では、制御部１７は、タッチパネル１１からの出力信号により算出される操作位置が、タッチ座標上で変化したか否かについて判定する。ステップＳ１０４で肯定判定の場合には、制御部１７は、処理をステップＳ１０５に進める。例えば、操作者がタッチパネル１１に触れた状態のまま、第１領域１１１から第２領域１１２に向かってスライド操作をしている状況等がこの場合に該当する。一方、ステップＳ１０４にて否定判定の場合には、制御部１７は、処理をステップＳ１０６に進める。
In step S104, the
ステップＳ１０５では、制御部１７は、タッチ座標上での操作位置の変化に連動して、選択アイコン（移動が有効な状態とされたアイコン）を移動させる制御を行う。その後、制御部１７は、処理をステップＳ１０７に進める。
In step S105, the
ステップＳ１０６では、制御部１７は、タッチパネル１１からの入力がないか否かについて判定を行う。ステップＳ１０６で肯定判定の場合、すなわちタッチパネル１１からの入力がないと判定した場合には、制御部１７は、処理を後述のステップＳ１１３に進める。一方、ステップＳ１０６で否定判定の場合、すなわちタッチパネル１１からの入力があると判定した場合には、制御部１７は、処理をステップＳ１０４に戻す。
In step S106, the
なお、Ｓ１０６での判定については、前述したように、タッチパネル１１からの出力信号の有無、当該出力信号の強度、およびタッチ座標とジェスチャ座標との差などに基づいて実行され得る。
As described above, the determination in S106 can be executed based on the presence / absence of the output signal from the
ステップＳ１０７では、制御部１７は、ステップＳ１０６と同様に、タッチパネル１１における入力がないか否かについて判定を行う。ステップＳ１０７にて肯定判定の場合、すなわちタッチパネル１１からの入力がないと判定した場合には、制御部１７は、処理をステップＳ１０８に進める。例えば、操作者がタッチパネル１１から指を離し、タッチパネル１１からの出力信号が制御部１７に伝送されなくなった状況等がこの場合に該当する。一方、ステップＳ１０７で否定判定の場合、すなわちタッチパネル１１からの入力があると判定した場合には、制御部１７は、処理をステップＳ１０５に戻す。
In step S107, the
ステップＳ１０８では、制御部１７は、ジェスチャ操作を有効とし、タッチ操作からジェスチャ操作に切り替える。言い換えると、ステップＳ１０８では、制御部１７は、タッチ操作に代えて、ジェスチャ操作に基づく入力制御を実行可能な状態とする。これにより、操作者は、ジェスチャ操作により車載機器への入力操作が可能となる。続けて、制御部１７は、処理をステップＳ１０９に進める。
In step S108, the
ステップＳ１０９では、制御部１７は、所定時間内にジェスチャ座標上における操作位置の変化があるか否かについて判定を行う。ステップＳ１０９で肯定判定の場合、制御部１７は、処理をステップＳ１１０に進める。一方、ステップＳ１０９で否定判定の場合、制御部１７は、処理を後述のステップＳ１１２に進める。なお、この所定時間については、任意であり、適宜設定される。
In step S109, the
ステップＳ１１０では、制御部１７は、ジェスチャ座標上における操作位置の変化に連動して、選択アイコンを移動させる。続けて、制御部１７は、処理をステップＳ１１１に進める。
In step S110, the
ステップＳ１１１では、制御部１７は、再度、所定時間内にジェスチャ座標上における操作位置の変化があるか否かについて判定を行う。ステップＳ１１１にて肯定判定の場合、制御部１７は、処理をステップＳ１１０に戻す。一方、ステップＳ１１１にて否定判定の場合、制御部１７は、処理をステップＳ１１２に進める。
In step S111, the
なお、ステップＳ１０９およびＳ１１１では、制御部１７は、ジェスチャ座標における操作位置の変化量が所定以上であるか否かを判定してもよい。また、ステップＳ１０９およびＳ１１１では、制御部１７は、ジェスチャ座標における操作位置の変化量が所定以上であるか否かの判定において、上記と同様に所定の制限時間を設け、その所定時間内に判定を実行してもよい。ステップＳ１０９およびＳ１１１における否定判定の場合は、例えば、操作者がジェスチャ操作に用いていた指を一定時間停止させた状態にする状況等が該当する。言い換えると、この場合、「操作者が指差しの位置を一定時間停止させること」が選択アイコンの移動の終了条件とされているとも言える。
In steps S109 and S111, the
ステップＳ１１２では、制御部１７は、選択アイコンの位置をジェスチャ座標における操作位置に決定する。そして、制御部１７は、続くステップＳ１１３にて、当該選択アイコンの移動可能状態を無効とする制御を行う。これにより、例えば図１１に示すように、選択アイコンは、表示部１０のうち第２領域１１２の所定位置に固定された状態となり、その移動が終了する。その後、制御部１７は、図１２の制御フローの処理を終了する。
In step S112, the
（処理動作の変形例）
上記の処理動作例では、「ジェスチャ座標における操作位置の変化」により、選択アイコンの移動終了が決定されていた。しかしながら、制御フローのうち選択アイコンの移動終了条件は、図１２に示す例に限られず、図１３〜図１５に示すように変更されてもよい。以降の説明では、図１２を参照して説明した上記の処理動作とは相違する部分について主に説明する。
(Modified example of processing operation)
In the above processing operation example, the end of movement of the selection icon is determined by "change in operation position in gesture coordinates". However, the movement end condition of the selection icon in the control flow is not limited to the example shown in FIG. 12, and may be changed as shown in FIGS. 13 to 15. In the following description, a part different from the above processing operation described with reference to FIG. 12 will be mainly described.
図１３〜図１５では、図１２に示す制御フローのうちステップＳ１０３からステップＳ１０６またはステップＳ１１２までの間を抜粋して示している。 13 to 15 show excerpts from step S103 to step S106 or step S112 of the control flow shown in FIG.
図１３に示す変形例では、制御部１７は、ステップＳ１０７の後、処理をステップＳ１１４に進める。ステップＳ１１４では、制御部１７は、所定時間内にタッチ操作によるタップがないか否かについて判定を行う。ステップＳ１１４にて肯定判定の場合、すなわち操作者が所定時間内にタッチ操作によるタップをしなかったと判定した場合、制御部１７は、処理をステップＳ１０８に進める。一方、ステップＳ１１４にて否定判定の場合、制御部１７は、処理をステップＳ１１２に進める。
In the modified example shown in FIG. 13, the
制御部１７は、ステップＳ１０８の後、ステップＳ１１０にて選択アイコンをジェスチャ座標における操作位置に移動させる処理を行い、次に、処理をステップＳ１１５に進める。ステップＳ１１５では、制御部１７は、タップ動作に対応する操作者のジェスチャがないか否かについて判定を行う。ステップＳ１１５にて肯定判定の場合、すなわちタップ動作がないと判定した場合には、制御部１７は、処理をステップＳ１１０に戻す。一方、ステップＳ１１５にて否定判定の場合、すなわちタップ動作があると判定した場合には、制御部１７は、処理をステップＳ１１２に進める。
After step S108, the
なお、操作者がタッチ操作によるタップの動作をしたか否かについては、例えば、タッチパネル１１のうち所定の範囲内、かつ所定の時間内に少なくとも２回の断続的な出力信号が制御部１７に伝送されたか否かにより判定可能である。また、操作者がジェスチャ操作によるタップの動作をしたか否かについては、例えば、所定の範囲内かつ所定の時間内に少なくとも２回の往復動作がされた場合に対応する信号が、ジェスチャ認識部１２から制御部１７に伝送されたか否かにより判定可能である。操作者によるタップ動作の有無の判定方法については、上記の例に限定されるものではない。
Regarding whether or not the operator has tapped by touch operation, for example, the
つまり、図１３に示す変形例では、選択アイコンの移動終了条件が「タッチ操作またはジェスチャ操作によるタップ動作」となっている。また、図１４に示すように、選択アイコンの移動終了条件は、「タッチ操作またはジェスチャ操作による押し込み動作」であってもよい。 That is, in the modified example shown in FIG. 13, the movement end condition of the selection icon is "tap operation by touch operation or gesture operation". Further, as shown in FIG. 14, the movement end condition of the selection icon may be "pushing operation by touch operation or gesture operation".
図１４に示す変形例では、制御部１７は、ステップＳ１０５の後、処理をステップＳ１１６に進める。ステップＳ１１６では、制御部１７は、所定時間内にタッチ操作による押し込み動作がないか否かについて判定を行う。ステップＳ１１６にて肯定判定の場合、すなわち操作者が所定時間内にタッチ操作による押し込み動作をしなかったと判定された場合、制御部１７は、処理をステップＳ１１７に進める。一方、ステップＳ１１６にて否定判定の場合、すなわち操作者が所定時間内にタッチ操作による押し込み動作をしたと判定した場合、制御部１７は、処理をステップＳ１１２に進める。
In the modified example shown in FIG. 14, the
ステップＳ１１７では、制御部１７は、図１２におけるステップＳ１０７と同様に、タッチパネル１１からの入力がないか否かについて判定を行う。ステップＳ１１７で肯定判定の場合、すなわちタッチパネル１１からの入力がないと判定した場合には、制御部１７は、処理をステップＳ１０８、Ｓ１１０の順に進める。一方、ステップＳ１１７で否定判定の場合、すなわちタッチパネル１１からの入力があると判定した場合には、制御部１７は、処理をステップＳ１０５に戻す。
In step S117, the
制御部１７は、ステップＳ１１０の後、処理をステップＳ１１８に進め、ジェスチャ操作による押し込みの動作がないか否かについて判定を行う。ステップＳ１１８で肯定判定の場合、すなわち押し込みのジェスチャがないと判定した場合には、制御部１７は、処理をステップＳ１１０に戻す。一方、ステップＳ１１８で否定判定の場合、すなわち押し込みのジェスチャがあると判定した場合には、制御部１７は、処理をステップＳ１１２に進める。
After step S110, the
なお、操作者がタッチ操作による押し込みの動作をしたか否かについては、例えば、タッチパネル１１が押圧センサを有した構成とされ、タッチパネル１１から押圧に応じた信号を制御部１７に伝送されたか否かにより判定可能である。また、操作者がジェスチャ操作による押し込みの動作をしたか否かについては、例えば、所定の範囲内かつ所定の時間内に少なくとも１回の往復動作がされた場合に対応する信号が、ジェスチャ認識部１２から制御部１７に伝送されたか否かにより判定可能である。操作者による押し込む動作の有無の判定方法については、上記の例に限定されるものではない。
Regarding whether or not the operator has performed the pushing operation by touch operation, for example, whether or not the
さらに、図１５に示す変形例のように、操作者による所定の発話をアイコンの移動終了条件としてもよい。図１５に示す変形例は、ステップＳ１１６、Ｓ１１８に代わって、アイコンの移動を停止させる発話がないか否かを判定するステップＳ１１９、Ｓ１２０とされたものである。 Further, as in the modified example shown in FIG. 15, a predetermined utterance by the operator may be a condition for ending the movement of the icon. In the modified example shown in FIG. 15, instead of steps S116 and S118, steps S119 and S120 are used to determine whether or not there is an utterance that stops the movement of the icon.
ステップＳ１１９では、制御部１７は、例えば、「はい」、「そこ」、「ストップ」等の所定の発話に対応した音声信号が、音声認識部１４から出力されているか否かにより、停止の発話がないか否かを判定する。ステップＳ１１９で肯定判定の場合、すなわち操作者による停止の発話がないと判定した場合には、制御部１７は、処理をステップＳ１１７に進める。一方、ステップＳ１１９で否定判定の場合、すなわち操作者による停止の発話があったと判定した場合には、制御部１７は、処理をステップＳ１１２に進める。
In step S119, the
ステップＳ１２０では、ステップＳ１１９と同様の判定を行い、制御部１７は、肯定判定の場合には処理をステップＳ１１０に戻し、否定判定の場合には処理をステップＳ１１２に進める。
In step S120, the same determination as in step S119 is performed, and the
本実施形態によれば、操作者が移動しなければその全域をタッチ操作できないほどの大面積化された表示部１０に対する入力操作において、タッチ操作とジェスチャ操作とをスムーズに切り替えることが可能な構成とされた入力装置となる。
According to the present embodiment, in the input operation for the
（第２実施形態）
第２実施形態の入力装置について、図１６〜図１８を参照して説明する。
(Second Embodiment)
The input device of the second embodiment will be described with reference to FIGS. 16 to 18.
本実施形態の入力装置は、例えば図１６に示すように、制御部１７がさらに補正部１７１を有する構成とされている点で上記第１実施形態と相違する。本実施形態では、この相違点について主に説明する。
The input device of the present embodiment is different from the first embodiment in that, for example, as shown in FIG. 16, the
（構成）
制御部１７は、本実施形態では、補正部１７１を有してなる。制御部１７は、本実施形態では、操作者がタッチ操作を行っている際に、タッチ座標における現操作位置の座標データおよびこれに対応するジェスチャ座標の座標データを随時取得し、これらの座標データを一組の座標データとして記憶部１３に格納する。
(Constitution)
In this embodiment, the
補正部１７１は、一組の座標データを少なくとも２つ用いて、タッチ操作中にジェスチャ座標の補正を実行する。これは、タッチ操作からジェスチャ操作に切り替えた場合における操作方向やスケール感の変化を抑制することで、操作者が違和感を覚えることを抑止し、よりスムーズに操作系の切り替えを実行可能とするためである。この詳細については後述する。
The
（補正処理）
次に、補正部１７１におけるジェスチャ座標の補正処理の概要について図１８を参照して説明するが、まず、対比のため、第１実施形態の入力装置における補正処理について図１７を参照して説明する。
(Correction processing)
Next, the outline of the gesture coordinate correction process in the
図１７、図１８では、見易くするため、ｘ方向におけるタッチ座標Ｔｘおよびジェスチャ座標Ｇｘ、並びにｚ方向におけるジェスチャ座標Ｇｚを矢印で示すと共に、タッチ座標系およびジェスチャ座標系の他の方向については省略している。また、図１７では、タッチ座標系のｘ軸（Ｔｘ）とジェスチャ座標系のｘ軸（Ｇｘ）と重ねた例を示しているが、見易くするため、意図的にこれらをずらして示している。 In FIGS. 17 and 18, for the sake of clarity, the touch coordinate Tx and the gesture coordinate Gx in the x direction and the gesture coordinate Gz in the z direction are indicated by arrows, and the touch coordinate system and the other directions of the gesture coordinate system are omitted. ing. Further, in FIG. 17, an example in which the x-axis (Tx) of the touch coordinate system and the x-axis (Gx) of the gesture coordinate system are overlapped is shown, but these are intentionally shifted for easy viewing.
例えば、タッチパネル１１から座標Ｔ１（ｔｘ１、０、０）の信号が出力された場合において、Ｔ１に対応するジェスチャ座標Ｇ１を（ｇｘ１、０、ｇｚ１）とする。また、タッチパネル１１から座標Ｔ２（ｔｘ２、０、０）の信号が出力された場合において、Ｔ２に対応するジェスチャ座標Ｇ２を（ｇｘ２、０、ｇｚ２）とする。
For example, when the signal of the coordinates T1 (tx1, 0, 0) is output from the
つまり、Ｔ１とＧ１とが一組の座標データに相当し、Ｔ２とＧ２とが他の一組の座標データに相当する。仮に、タッチ座標系の原点とジェスチャ座標系の原点とを一致させ、かつ、ｘ、ｙ、ｚ軸の方向を合わせた場合、例えば図１７に示すように、Ｔ１とＧ１、およびＴ２とＧ２はそれぞれ異なる位置となる。 That is, T1 and G1 correspond to a set of coordinate data, and T2 and G2 correspond to another set of coordinate data. If the origin of the touch coordinate system and the origin of the gesture coordinate system are matched and the directions of the x, y, and z axes are aligned, for example, as shown in FIG. 17, T1 and G1 and T2 and G2 are They will be in different positions.
なお、以下の説明では、シンプル化して理解を助けるため、タッチパネル１１の操作面が平坦面であり、ｚ方向のタッチ座標が０で固定されている例を代表例として述べる。
In the following description, in order to simplify and aid understanding, an example in which the operation surface of the
この場合において、タッチ座標系のＴ１においてタッチ操作からジェスチャ操作に切り替わる場合、上記第１実施形態の入力装置では、制御部１７は、図１７に示すように、ジェスチャ座標のオフセット処理を行い、Ｔ１とＧ１とが一致する処理を実行する。
In this case, when switching from the touch operation to the gesture operation in T1 of the touch coordinate system, in the input device of the first embodiment, the
言い換えると、この処理は、操作系の切り替えにおける現操作位置のタッチ座標とこれに対応するジェスチャ座標とによりなる一組の座標データのみを用いて、ジェスチャ座標の原点位置を再設定（補正）するものと言える。これにより、操作系の切り替え時のＴ１とＧ１とが一致するため、表示部１０で表示されているポインタＰの位置ズレが生じず、操作系の切り替えに伴う操作者の違和感を低減できる。
In other words, this process resets (corrects) the origin position of the gesture coordinates using only a set of coordinate data consisting of the touch coordinates of the current operation position and the corresponding gesture coordinates in the switching of the operation system. It can be said that. As a result, since T1 and G1 at the time of switching the operation system match, the position of the pointer P displayed on the
しかしながら、このオフセット処理は、操作系の切り替え時における一組の座標データのみを用いたものである。そのため、図１７に示すように、Ｔ２とＧ２とによりなる他の一組の座標データにおいては、両座標の差、すなわちズレが生じたままとなり得る。この場合、ジェスチャ操作における指の移動量（ジェスチャ座標での移動量）と表示部１０における移動量（タッチ座標での移動量）との乖離が生じてしまい、その差は、操作系の切り替えがなされた位置から離れるほど大きくなる。その結果、操作者の指の移動量が同じであっても、ジェスチャ座標系における指の位置に応じてポインタＰの移動量が徐々に変化してしまい、操作者が違和感を覚えるおそれがある。 However, this offset processing uses only a set of coordinate data at the time of switching the operation system. Therefore, as shown in FIG. 17, in another set of coordinate data composed of T2 and G2, the difference between the two coordinates, that is, the deviation may remain. In this case, there is a discrepancy between the movement amount of the finger in the gesture operation (movement amount in the gesture coordinates) and the movement amount in the display unit 10 (movement amount in the touch coordinates), and the difference is that the operation system is switched. It gets bigger as it gets farther from the position where it was made. As a result, even if the movement amount of the operator's finger is the same, the movement amount of the pointer P gradually changes according to the position of the finger in the gesture coordinate system, and the operator may feel a sense of discomfort.
以下、便宜上、このタッチ座標およびジェスチャ座標のズレに起因する、ジェスチャ操作における指の移動量とポインタＰの移動量との乖離を「スケール感の変化」と称することがある。 Hereinafter, for convenience, the difference between the amount of movement of the finger and the amount of movement of the pointer P in the gesture operation due to the deviation between the touch coordinates and the gesture coordinates may be referred to as "change in scale".
そこで、本実施形態の入力装置では、制御部１７は、補正部１７１により、タッチ操作中において、ジェスチャ座標系の「原点」、「大きさ」および「傾き」の補正を行う。具体的には、補正部１７１は、例えばＴ１とＧ１、およびＴ２とＧ２の少なくとも二組の座標データを取得し、これらの座標データに基づき、タッチ操作中に随時ジェスチャ座標の補正を実行する。
Therefore, in the input device of the present embodiment, the
まず、補正部１７１は、例えばＴ１とＧ１の一組の座標データに基づき、ジェスチャ座標の原点を補正する処理を行う。この処理は、上記したオフセット処理と同じであり、図１８に示すように、ジェスチャ座標Ｇ１がタッチ座標Ｔ１と一致するように、ジェスチャ座標の原点Ｇ０１を新たな原点Ｇ０２に補正して移動させる。
First, the
具体的には、補正部１７１は、Ｔ１とＧ１との各成分での差分を補正量（ｍｘ、ｍｙ、ｍｚ）として算出する。例えば図１８に示す例では、ｍｘは（ｔｘ１−ｇｘ１）、ｍｙは０、ｍｚは−ｇｚ１となる。そして、補正部１７１は、算出した補正量の分だけ原点Ｇ０１をＧ０２に移動させ、Ｇ０２を原点として再設定する。つまり、補正部１７１は、ジェスチャ座標の原点を補正し、タッチ座標の操作位置の座標データの位置（Ｔ１）に、これに対応するジェスチャ座標の座標データの位置（Ｇ１）を合わせる制御を実行する。
Specifically, the
これにより、タッチ操作からジェスチャ操作に切り替わった時、表示部１０に表示されるポインタＰの位置が操作系の切り替え前後で同一となり、ポインタＰの表示位置のズレが抑制される。
As a result, when the touch operation is switched to the gesture operation, the position of the pointer P displayed on the
この時点では、Ｔ２とＧ２とによりなる他の一組の座標のズレが生じたままであるため、補正部１７１は、ジェスチャ座標の「大きさ」の補正を行う。具体的には、補正部１７１は、ジェスチャ座標系におけるＧ１とＧ２との距離、およびタッチ座標系におけるＴ１とＴ２との距離を算出し、これらの距離が略同一になるように、ジェスチャ座標のスケールを再設定する。
At this point, the deviation of the other set of coordinates due to T2 and G2 still occurs, so the
より具体的には、Ｔ１とＴ２との距離Ｄｔ、およびＧ１とＧ２との距離Ｄｇは、図１８に示す例では、三平方の定理により、それぞれ以下の数式で表される。 More specifically, the distance Dt between T1 and T2 and the distance Dg between G1 and G2 are expressed by the following mathematical formulas according to the three-square theorem in the example shown in FIG.
これにより、ジェスチャ操作における指の移動量と表示部１０で表示されるポインタＰの移動量が同一となり、スケール感が同じとなるため、ジェスチャ操作への切り替え後の違和感がさらに低減される。本明細書では、このスケール感を合わせる補正を「ジェスチャ座標の大きさを補正する」と称している。
As a result, the amount of movement of the finger in the gesture operation and the amount of movement of the pointer P displayed on the
なお、上記では、一組の座標データを２つ用いた場合について説明したが、これに限定されない。例えば、一組の座標データを３つ以上用いる場合には、例えば最小二乗法によりタッチ座標系の直線成分とジェスチャ座標系の直線成分をそれぞれ算出し、各座標系の距離Ｄｔ、Ｄｇおよび補正係数ｄ１を算出してもよい。この場合、補正部１７１は、例えば、タッチ座標の３つ以上の座標データ間の最大距離と、ジェスチャ座標の３つ以上の座標データ間の最大距離とが同一となるように、ジェスチャ座標の大きさを補正する。
In the above description, the case where two sets of coordinate data are used has been described, but the present invention is not limited to this. For example, when three or more sets of coordinate data are used, for example, the linear component of the touch coordinate system and the linear component of the gesture coordinate system are calculated by the least squares method, and the distances Dt, Dg, and the correction coefficient of each coordinate system are calculated. You may calculate d1. In this case, the
ジェスチャ座標の原点および大きさの補正だけでは、タッチ座標系の２点を繋ぐ方向（以下、「ベクトルＶｔ」と称する）とジェスチャ座標系の２点を繋ぐ方向（以下、「ベクトルＶｇ」と称する）との間にズレが残った状態となり得る。このベクトルＶｔ、Ｖｇのズレを解消するため、補正部１７１は、ジェスチャ座標の「傾き」の補正を行う。
Only by correcting the origin and size of the gesture coordinates, the direction connecting the two points in the touch coordinate system (hereinafter referred to as "vector Vt") and the direction connecting the two points in the gesture coordinate system (hereinafter referred to as "vector Vg"). ) And the gap may remain. In order to eliminate the deviation of the vectors Vt and Vg, the
例えば、ベクトルＶｔのｘ成分とタッチ座標のｘ軸とのなす角度をθｘｔとし、ベクトルＶｔのｙ成分とタッチ座標のｙ軸とのなす角度をθｙｔとし、ベクトルＶｔのｚ成分とタッチ座標のｚ軸とのなす角度をθｚｔとする。同様に、ベクトルＶｇのｘ成分とジェスチャ座標のｘ軸とのなす角度をθｘｇとし、ベクトルＶｇのｙ成分とジェスチャ座標のｙ軸とのなす角度をθｙｇとし、ベクトルＶｇのｚ成分とジェスチャ座標のｚ軸とのなす角度をθｚｇとする。 For example, the angle formed by the x component of the vector Vt and the x-axis of the touch coordinate is θxt, the angle formed by the y component of the vector Vt and the y-axis of the touch coordinate is θyt, and the z component of the vector Vt and the z of the touch coordinate are z. Let θzt be the angle formed by the axis. Similarly, the angle between the x component of the vector Vg and the x-axis of the gesture coordinates is θxg, the angle between the y component of the vector Vg and the y-axis of the gesture coordinates is θyg, and the z component of the vector Vg and the gesture coordinates. Let θzg be the angle formed by the z-axis.
補正部１７１は、ベクトルＶｔの各軸に対する角度θｘｔ、θｙｔ、θｚｔとベクトルＶｇの各軸に対する角度θｘｇ、θｙｇ、θｚｇとが一致するようにするための補正係数ｄ２を算出する。補正係数ｄ２は、各成分それぞれ、θｘｔ−θｘｇ、θｙｔ−θｙｇ、θｚｔ−θｚｇの差分で算出される。補正部１７１は、ジェスチャ座標のＧｘ、Ｇｙ、Ｇｚを算出した補正係数ｄ２だけ回転させる処理を行う。これにより、ベクトルＶｔ、Ｖｇの向きが揃うため、ジェスチャ操作による指の操作方向とポインタＰの移動方向とが一致し、操作感がさらに向上する。本明細書では、このベクトルＶｇの向きをベクトルＶｔに揃えるために行うジェスチャ座標の補正処理を「ジェスチャ座標の傾きを補正する」と称している。
The
上記したように、ジェスチャ座標における「原点」、「大きさ」、「傾き」を補正することにより、ジェスチャ操作への切り替えを行った後のポインタの表示位置、スケール感、操作方向がタッチ操作におけるそれらと一致することになる。そのため、操作系の切り替えが任意のタイミングで行われても、操作者がこれに伴う違和感を覚えることなく、スムーズにジェスチャ操作を実行することが可能な入力装置となる。 As described above, by correcting the "origin", "size", and "tilt" in the gesture coordinates, the display position, scale feeling, and operation direction of the pointer after switching to the gesture operation are in the touch operation. Will match them. Therefore, even if the operation system is switched at an arbitrary timing, the input device can smoothly execute the gesture operation without causing the operator to feel a sense of discomfort.
なお、ベクトルＶｔ、Ｖｇの各角度は、回転行列によりｘ軸、ｙ軸、ｚ軸回りの回転角を算出するなどの公知の方法により算出され得るが、その算出方法については任意である。また、上記したジェスチャ座標の「原点」、「大きさ」、「傾き」を補正すると、例えば図１８に示すように、ジェスチャ座標のＧ１がＧ３（ｇｘ３、０、ｇｚ３）、Ｇ２がＧ４（ｇｘ４、０、ｇｚ４）となり、２組の座標データがそれぞれ一致することとなる。 The angles of the vectors Vt and Vg can be calculated by a known method such as calculating the rotation angles around the x-axis, y-axis, and z-axis from the rotation matrix, but the calculation method is arbitrary. Further, when the "origin", "magnitude", and "tilt" of the gesture coordinates described above are corrected, for example, as shown in FIG. 18, G1 of the gesture coordinates is G3 (gx3, 0, gz3), and G2 is G4 (gx4). , 0, gz4), and the two sets of coordinate data match each other.
（処理動作例）
次に、補正部１７１による補正を実行する際の制御フローの一例について、図１９を参照して説明する。
(Processing operation example)
Next, an example of the control flow when the correction by the
本実施形態では、入力装置がＯＮの状態になると、制御部１７は、図１９に示す制御フローを所定の間隔で実行する。
In the present embodiment, when the input device is turned on, the
ステップＳ２０１では、制御部１７は、タッチパネル１１から信号を出力されたか否か、すなわちタッチパネル１１の入力有無についての判定を行う。制御部１７は、ステップＳ２０１にて肯定判定の場合、すなわちタッチパネル１１から信号が出力されたと判定した場合には処理をステップＳ２０２に進め、否定判定の場合にはステップＳ２０１の処理を繰り返す。
In step S201, the
ステップＳ２０２では、制御部１７は、タッチ座標における出力座標とこれに対応するジェスチャ座標における出力座標を一組の座標データとして記憶部１３に記憶させる制御を行い、処理をステップＳ２０３に進める。これにより、両座標における出力座標が同時に記憶部１３によって記録されることが可能な状態となる。なお、両座標の出力座標が記録されるタイミングは、例えば、タッチ操作中の任意の時であってもよいし、操作系の切り替え時であってもよい。
In step S202, the
ステップＳ２０３では、制御部１７は、出力座標が１点以上記録されたか否かを判定し、肯定判定の場合には処理をステップＳ２０４に進め、否定判定の場合には処理をステップＳ２０１に戻す。
In step S203, the
ステップＳ２０４では、補正部１７１は、上記したようにジェスチャ座標の原点を補正する処理を行う。これにより、任意のタイミングでタッチ操作からジェスチャ操作に切り替わった際に、表示部１０でのポインタＰの表示位置が操作系の切り替え前後で同一となる。制御部１７は、ステップＳ２０４の後、処理をステップＳ２０５に進める。
In step S204, the
ステップＳ２０５では、制御部１７は、出力座標が２点以上記録されたか否かを判定し、肯定判定の場合には処理をステップＳ２０６に進め、否定判定の場合には処理をステップＳ２０１に戻す。
In step S205, the
ステップＳ２０６では、補正部１７１は、上記したようにジェスチャ座標の大きさおよび傾きを補正する処理を行う。これにより、ジェスチャ操作への切り替え後におけるスケール感および操作方向が一致する状態となる。
In step S206, the
以上が、本実施形態の入力装置での補正における処理動作例である。 The above is an example of processing operation in the correction in the input device of the present embodiment.
本実施形態によれば、補正部１７１が、タッチ操作からジェスチャ操作への切り替え後におけるポインタＰの表示位置、スケール感および操作方向を一致させる補正をタッチ操作中に随時実行する構成の入力装置となる。そのため、上記第１実施形態よりもさらにスムーズ操作系の切り替えが可能となる。
According to the present embodiment, the
なお、本実施形態では、補正係数ｄ１、ｄ２がｘｙｚ成分いずれも同一である場合について説明したが、補正係数ｄ１、ｄ２がｘｙｚ成分のいずれかが異なる場合には、後述の変形例に係る構成により、ジェスチャ座標の補正精度を一層向上させることができる。 In the present embodiment, the case where the correction coefficients d1 and d2 are the same in both the xyz components has been described, but when the correction coefficients d1 and d2 are different in any of the xyz components, the configuration according to the modification described later Therefore, the correction accuracy of the gesture coordinates can be further improved.
（第２実施形態の変形例）
上記では、タッチパネル１１からの出力座標のデータに基づき、ジェスチャ座標の各種補正を実行する例について説明したが、タッチパネル１１以外にタッチ操作が可能な入力体を備える場合、当該入力体からの出力座標のデータに基づく補正を実行してもよい。
(Modified example of the second embodiment)
In the above, an example of executing various corrections of gesture coordinates based on the data of the output coordinates from the
例えば、補正部１７１は、タッチパネル１１でのタッチ操作で得られるｘ、ｙ成分のデータに基づき、ジェスチャ座標のｘ成分とｙ成分について上記の各種補正を行う。また、補正部１７１は、図示しない他の入力体（例えばタッチパッド等）でのタッチ操作で得られるｚ成分のデータに基づき、ジェスチャ座標のｚ成分について上記の各種補正を行ってもよい。このように、二以上の入力体により得られる出力座標のデータに基づいて、上記第２実施形態で述べた各種補正処理を行ってもよい。このような補正処理は、例えば１つの入力体から得られるタッチ座標のデータに基づく場合において、各座標での算出精度が異なるとき等に有効である。
For example, the
具体的には、操作面が平坦形状とされたタッチパネル１１では、当該操作面における一方向をｘ軸とし、これに直交する方向をｙ軸としたとき、操作面の法線方向となるｚ軸における出力座標の変化がない。つまり、操作面が二次元的形状のタッチパネル１１、およびジェスチャ認識部１２から得られる一組の座標データを２つ以上取得したとしても、ジェスチャ座標のｚ軸方向の成分についての補正精度が得られないおそれがある。
Specifically, in the
このような場合において、入力装置が、表示部１０におけるポインタＰ等をｚ軸方向に沿って操作するのに用いられる別体のタッチパッド等を備える構成とされるとき、補正部１７１は、当該タッチパッドからのｚ軸の出力座標をジェスチャ座標の補正に用いる。これにより、補正部１７１は、ｘｙ成分についてはタッチパネル１１から、ｚ成分については別体のタッチパッドから、それぞれタッチ座標系の出力座標のデータとして取得できる。このタッチ座標の出力座標とジェスチャ座標の出力座標とを一組の座標データとして、二以上の一組の座標データを用いて上記第２実施形態で述べた補正を行うことにより、ジェスチャ座標のｚ成分の補正精度を向上させることができる。
In such a case, when the input device is configured to include a separate touch pad or the like used to operate the pointer P or the like on the
本変形例によれば、タッチパネル１１の操作面が平坦形状である場合であっても、ジェスチャ座標のｘｙｚ成分いずれも精度の高い補正を実行でき、操作系の切り替えに伴う操作者の違和感をより生じさせにくい入力装置となる。
According to this modification, even when the operation surface of the
（他の実施形態）
本発明は、実施例に準拠して記述されたが、本発明は当該実施例や構造に限定されるものではないと理解される。本発明は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらの一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本発明の範疇や思想範囲に入るものである。
(Other embodiments)
Although the present invention has been described in accordance with Examples, it is understood that the present invention is not limited to the Examples and structures. The present invention also includes various modifications and modifications within a uniform range. In addition, various combinations and forms, as well as other combinations and forms including only one element thereof, more or less, are also within the scope and ideology of the present invention.
（１）例えば、上記実施形態では、１点でタッチパネル１１を操作する場合を例に説明したが、２点以上でタッチパネル１１を操作する場合であっても同様に適用できる。
(1) For example, in the above embodiment, the case where the
（２）上記実施形態では、表示部１０が車両ＶのサイドウィンドウＶ１に搭載された例について説明したが、表示部１０は、リアウィンドウやウィンドシールド等の他の部位に搭載されてもよい。また、上記した入力装置は、車載用途に適用された場合であっても、操作者が移動せずとも表示部１０の表示面全域についてタッチ操作とジェスチャ操作とを駆使して入力操作が可能な構成とされる。
(2) In the above embodiment, the example in which the
（３）音声入力をしない場合や音声によるメッセージ等を出力しない場合には、音声認識部１４、音声合成部１５、マイク２２およびスピーカ２３を有しない構成であってもよい。
(3) When the voice is not input or the voice message or the like is not output, the configuration may not include the
１０ 表示部
１１ タッチパネル
１１１ 第１領域
１１２ 第２領域
１２ ジェスチャ認識部
１７ 制御部
２１ 撮像部
10
Claims (4)
操作者の身体形状を撮像する撮像部（２１）が取得した画像データに基づいて、前記操作者のジェスチャを認識し、前記ジェスチャに応じた信号を出力するジェスチャ認識部（１２）と、
前記タッチパネルからの出力信号に基づくタッチ操作による入力制御、および前記ジェスチャ認識部からの出力信号に基づくジェスチャ操作による入力制御を行う制御部（１７）と、
前記タッチ操作により得られるタッチ座標の座標データを、前記ジェスチャ操作による入力制御において用いられるジェスチャ座標であって、前記タッチ座標の座標データに対応する座標データと共に、一組の座標データとして記憶する記憶部（１３）と、
前記ジェスチャ座標の補正を行う補正部（１７１）と、を備え、
前記制御部は、前記タッチ操作および前記ジェスチャ操作のいずれか一方による入力制御となるように操作系の切り替えを実行し、
前記補正部は、前記タッチ操作による入力制御時に、二以上の前記一組の座標データに基づき前記ジェスチャ座標の補正を行う、入力装置。 A touch panel (11) superposed on the display unit (10) having an area larger than a predetermined area, and
Based on the image data acquired by the imaging unit (21) that captures the body shape of the operator, the gesture recognition unit (12) recognizes the gesture of the operator and outputs a signal corresponding to the gesture.
A control unit (17) that performs input control by touch operation based on the output signal from the touch panel and input control by gesture operation based on the gesture recognition unit.
A storage in which the coordinate data of the touch coordinates obtained by the touch operation is stored as a set of coordinate data together with the coordinate data corresponding to the coordinate data of the touch coordinates, which is the gesture coordinates used in the input control by the gesture operation. Part (13) and
A correction unit (171) that corrects the gesture coordinates is provided.
The control unit switches the operation system so that the input control is performed by either the touch operation or the gesture operation.
The correction unit is an input device that corrects the gesture coordinates based on two or more sets of coordinate data at the time of input control by the touch operation.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019118737A JP7183975B2 (en) | 2019-06-26 | 2019-06-26 | input device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019118737A JP7183975B2 (en) | 2019-06-26 | 2019-06-26 | input device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021005225A true JP2021005225A (en) | 2021-01-14 |
| JP7183975B2 JP7183975B2 (en) | 2022-12-06 |
Family
ID=74097414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019118737A Active JP7183975B2 (en) | 2019-06-26 | 2019-06-26 | input device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7183975B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012027744A (en) * | 2010-07-24 | 2012-02-09 | Canon Inc | Information processing unit and its control method |
| JP2018116346A (en) * | 2017-01-16 | 2018-07-26 | Ｎｅｃディスプレイソリューションズ株式会社 | Input control device, display device, and input control method |
| JP2019046458A (en) * | 2017-09-04 | 2019-03-22 | 株式会社ワコム | Spatial position instruction system |
-
2019
- 2019-06-26 JP JP2019118737A patent/JP7183975B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012027744A (en) * | 2010-07-24 | 2012-02-09 | Canon Inc | Information processing unit and its control method |
| JP2018116346A (en) * | 2017-01-16 | 2018-07-26 | Ｎｅｃディスプレイソリューションズ株式会社 | Input control device, display device, and input control method |
| JP2019046458A (en) * | 2017-09-04 | 2019-03-22 | 株式会社ワコム | Spatial position instruction system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7183975B2 (en) | 2022-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9511669B2 (en) | Vehicular input device and vehicular cockpit module | |
| US9489500B2 (en) | Manipulation apparatus | |
| JP2019197575A (en) | System and method for controlling plural displays by using one controller and user interface which can use haptic effects | |
| EP1594040A2 (en) | Operation input device and method of operation input | |
| US8355838B2 (en) | Vehicular input device and method for controlling the same | |
| US9927903B2 (en) | Vehicular input device | |
| EP3144850A1 (en) | Determination apparatus, determination method, and non-transitory recording medium | |
| CN110869882B (en) | Method for operating a display device for a motor vehicle and motor vehicle | |
| US20180032138A1 (en) | Input system for determining position on screen of display device, detection device, control device, storage medium, and method | |
| JP3933139B2 (en) | Command input device | |
| JP5954145B2 (en) | Input device | |
| JP2020197942A (en) | Input device | |
| JP2021005225A (en) | Input device | |
| JP4548614B2 (en) | Input device | |
| WO2016031152A1 (en) | Input interface for vehicle | |
| US10061413B2 (en) | Operating element | |
| US11440407B2 (en) | Non-contact operating apparatus for vehicle and vehicle | |
| WO2014162698A1 (en) | Input device | |
| JP2007168639A (en) | On-vehicle operation device | |
| US20170255326A1 (en) | Vehicular touch pad and vehicular input interface | |
| KR102559138B1 (en) | Non-contact control system for vehicle | |
| WO2023032383A1 (en) | Operation detection device, information processing system, and operation detection method | |
| JP7001368B2 (en) | Operation device | |
| WO2014108970A1 (en) | On-board input device | |
| CN116611159A (en) | System for designing, auditing and/or presenting a vehicle prototype solution, corresponding method of operation and computer program product |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220921 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221107 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7183975 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |