JP2014115876A - Remote operation method of terminal to be operated using three-dimentional touch panel - Google Patents

Remote operation method of terminal to be operated using three-dimentional touch panel Download PDF

Info

Publication number
JP2014115876A
JP2014115876A JP2012270334A JP2012270334A JP2014115876A JP 2014115876 A JP2014115876 A JP 2014115876A JP 2012270334 A JP2012270334 A JP 2012270334A JP 2012270334 A JP2012270334 A JP 2012270334A JP 2014115876 A JP2014115876 A JP 2014115876A
Authority
JP
Japan
Prior art keywords
touch panel
operated terminal
dimensional touch
finger
operated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012270334A
Other languages
Japanese (ja)
Other versions
JP2014115876A5 (en
Inventor
Makoto Araki
良 荒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2012270334A priority Critical patent/JP2014115876A/en
Publication of JP2014115876A publication Critical patent/JP2014115876A/en
Publication of JP2014115876A5 publication Critical patent/JP2014115876A5/ja
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a remote operation method of a terminal to be operated using a three-dimentional touch panel capable of remotely performing an intuitive touch operation without misoperation to an operation screen of the terminal to be operated.SOLUTION: In the remote operation method of a terminal to be operated using a three-dimentional touch panel including a terminal to be operated provided with an operation screen 101 and a small-sized display 102 with a three-dimentional touch panel for reduction display of an image on the operation screen 101 of the terminal to be operated, the terminal to be operated is remotely operated with touch operation of an image on the operation screen of the terminal to be operated subjected to the reduction display on the small-sized display 102 with a three-dimentional touch panel.

Description

本発明は、被操作端末の大画面（例えば、６０型以上の画面）に対し、操作者の近傍に小型の３次元タッチパネル付きディスプレイもしくは透過型（透明）３次元タッチパネルを設置し、被操作端末の大画面に対するタッチ操作が行える遠隔操作方法に係わり、さらに詳しくは、被操作端末の大画面の操作画面の画像を携帯端末である「３次元タッチパネルを搭載した小型のディスプレイ」に表示し、３次元タッチパネルに表示された画像をタッチ操作することにより、間接的に被操作端末の操作を行う「３次元タッチパネルを用いた被操作端末の遠隔操作方法」に関するものである。   According to the present invention, a small display with a three-dimensional touch panel or a transparent (transparent) three-dimensional touch panel is installed in the vicinity of an operator for a large screen (for example, a screen of 60 type or more) of the operated terminal, and the operated terminal More specifically, the remote control method can perform a touch operation on the large screen of the mobile terminal. More specifically, the image of the large screen of the operated terminal is displayed on a “small display equipped with a three-dimensional touch panel” that is a mobile terminal. The present invention relates to a “remote operation method of an operated terminal using a three-dimensional touch panel” for indirectly operating the operated terminal by touching an image displayed on the three-dimensional touch panel.

従来から、ユーザ（操作者）の要求に応じて携帯端末に表示された被操作端末の画像の一部を任意に拡大表示することにより、被操作端末の操作を代替する携帯端末による操作性を向上することが知られている。
この従来の操作方法では、マウスを用いた操作を行うため、大画面の被操作端末の操作画面に対しては、タッチパネルを用いた直感的な操作を行うことができなかった。
この問題を解決するために、携帯端末である小型のディスプレイを操作者の近傍に設置し、被操作端末の大画面へのタッチ操作を遠隔的に行う方法がある。（例えば、特許文献１参照） Conventionally, a part of the image of the operated terminal displayed on the mobile terminal in response to a request from the user (operator) is arbitrarily enlarged and displayed, thereby improving the operability of the mobile terminal that replaces the operation of the operated terminal It is known to improve.
In this conventional operation method, since an operation using a mouse is performed, an intuitive operation using a touch panel cannot be performed on an operation screen of a large-screen operated terminal.
In order to solve this problem, there is a method in which a small display, which is a portable terminal, is installed in the vicinity of the operator, and a touch operation on the large screen of the operated terminal is performed remotely. (For example, see Patent Document 1)

特開２０１２−０８９０６８号公報JP2012-089068A

従来のマウスを用いた「被操作端末の大画面の操作画面に対する遠隔操作方法」では、マウスの移動量が大きいため、直感的な操作を行うことができなかった。
また、これまでの二次元のタッチパネルでは、大画面の操作画面が縮小して表示されるため、目標が小さくなり誤操作をしてしまうなどの課題があった。
なお、目標とは、操作者の指先がタッチする「３次元タッチパネル上の目標」のことである。 In the “remote operation method for the operation screen on the large screen of the operated terminal” using the conventional mouse, since the movement amount of the mouse is large, an intuitive operation cannot be performed.
In addition, the conventional two-dimensional touch panel has a problem that the operation screen of a large screen is reduced and displayed, so that the target becomes small and erroneous operation is performed.
The target is a “target on the three-dimensional touch panel” touched by the fingertip of the operator.

この発明は、上記のような課題を解決するためになされたものであり、被操作端末の操作画面に対して誤操作のない直感的なタッチ操作が行える「３次元タッチパネルを用いた被操作端末の遠隔操作方法」を提供することを目的とする。   The present invention has been made in order to solve the above-described problems, and is capable of performing an intuitive touch operation without any erroneous operation on the operation screen of the operated terminal. The purpose is to provide a "remote operation method".

この発明に係る３次元タッチパネルを用いた被操作端末の遠隔操作方法は、操作画面を設けた被操作端末と前記被操作端末の操作画面の画像を縮小表示する３次元タッチパネル付き小型ディスプレイを有した３次元タッチパネルを備えた被操作端末の遠隔操作方法であって、前記３次元タッチパネル付き小型ディスプレイに縮小表示された前記被操作端末の操作画面の画像をタッチ操作することにより、前記被操作端末を遠隔操作するものである。   A remote operation method of an operated terminal using a 3D touch panel according to the present invention includes an operated terminal provided with an operation screen and a small display with a 3D touch panel for reducing and displaying an image of the operation screen of the operated terminal. A method for remotely operating an operated terminal having a three-dimensional touch panel, wherein the operated terminal is operated by touching an image of an operation screen of the operated terminal displayed in a reduced size on the small display with the three-dimensional touch panel. Remote control.

この発明によれば、被操作端末の操作画面に対して、誤操作のない直感的なタッチ操作を遠隔して行うことが可能となる。   According to the present invention, it is possible to remotely perform an intuitive touch operation with no erroneous operation on the operation screen of the operated terminal.

実施の形態１による３次元タッチパネルを用いた被操作端末の遠隔操作方法を説明するための概念図である。3 is a conceptual diagram for explaining a method for remotely operating an operated terminal using the three-dimensional touch panel according to Embodiment 1. FIG. 実施の形態２による３次元タッチパネルを用いた被操作端末の遠隔操作方法を説明するための概念図である。FIG. 10 is a conceptual diagram for explaining a method for remotely operating an operated terminal using a three-dimensional touch panel according to Embodiment 2. 実施の形態３による３次元タッチパネルを用いた被操作端末の遠隔操作方法を説明するための概念図である。FIG. 10 is a conceptual diagram for explaining a method for remotely operating an operated terminal using a three-dimensional touch panel according to a third embodiment. 実施の形態４による３次元タッチパネルを用いた被操作端末の遠隔操作方法を説明するための概念図である。FIG. 10 is a conceptual diagram for explaining a method for remotely operating an operated terminal using a three-dimensional touch panel according to a fourth embodiment. 実施の形態５による３次元タッチパネルを用いた被操作端末の遠隔操作方法を説明するための概念図である。FIG. 10 is a conceptual diagram for explaining a method for remotely operating an operated terminal using a three-dimensional touch panel according to a fifth embodiment. 実施の形態６による３次元タッチパネルを用いた被操作端末の遠隔操作方法を説明するための概念図である。FIG. 10 is a conceptual diagram for explaining a method for remotely operating an operated terminal using a three-dimensional touch panel according to a sixth embodiment.

実施の形態１．
以下、この発明の実施の形態１を図１に基づいて説明する。
図１において、操作者１００のより遠方には被操作端末（図示なし）の操作画面１０１が設置される。被操作端末の操作画面１０１の大きさは、例えば、６０型以上の大画面である。
操作者１００の近傍には携帯端末である３次元タッチパネル付き小型ディスプレイ１０２が設置され、被操作端末の操作画面１０１を縮小表示した画面が表示される。なお、１０２ａは、３次元タッチパネル付き小型ディスプレイ１０２の台座である。
携帯端末である３次元タッチパネル付き小型ディスプレイ１０２と被操作端末の操作画面１０１は、特許文献１に示されている遠隔操作システムと同様に、通信ネットワークで接続されているか、あるいは通常のディスプレイ接続用のケーブルで接続されている。
そして、通信ネットワークを介して小型ディスプレイ表示用のコンピュータに表示内容を送信して表示するか、あるいは、被操作端末の操作画面１０１を表示しているコンピュータと小型ディスプレイをディスプレイ接続用のケーブルで接続して表示する。
従って、操作者１００は、３次元タッチパネル付き小型ディスプレイ１０２へのタッチ操作により、被操作端末の操作画面１０１を遠隔操作できる。 Embodiment 1 FIG.
A first embodiment of the present invention will be described below with reference to FIG.
In FIG. 1, an operation screen 101 of an operated terminal (not shown) is installed farther away from the operator 100. The size of the operation screen 101 of the operated terminal is, for example, a large screen of 60 type or more.
A small display 102 with a three-dimensional touch panel, which is a portable terminal, is installed in the vicinity of the operator 100, and a screen obtained by reducing the operation screen 101 of the operated terminal is displayed. In addition, 102a is a base of the small display 102 with a three-dimensional touch panel.
The small display 102 with a three-dimensional touch panel, which is a portable terminal, and the operation screen 101 of the operated terminal are connected by a communication network or for normal display connection, as in the remote operation system disclosed in Patent Document 1. Are connected with cables.
Then, the display contents are transmitted and displayed on a small display computer via a communication network, or the computer displaying the operation screen 101 of the operated terminal is connected to the small display with a display connection cable. And display.
Therefore, the operator 100 can remotely operate the operation screen 101 of the operated terminal by a touch operation on the small display 102 with a three-dimensional touch panel.

３次元タッチパネル付き小型ディスプレイ１０２を用いることによって、操作者１００の指の法線方向の位置情報を検知することが可能である。なお、「法線方向」とは３次元タッチパネルに対して垂直な方向のことであり、「位置情報」とは操作者１００の指の位置（座標）のことである。
３次元タッチパネル付き小型ディスプレイ１０２を用いて操作者１００の指の法線方向の位置情報を得ることにより、タッチ目標が小さい場合には、目標を拡大表示することが可能であり、小さな目標に対するタッチ操作時の誤操作を回避することができる。
特許文献１に示された遠隔操作システムでは、携帯端末（３次元タッチパネル付き小型ディスプレイ１０２に相当）の画面拡大操作を手動で行う必要があるが、本実施の形態では、タッチパネルの法線方向の指の位置を取得し、画面への指の接近に合わせて拡大することにより、３次元タッチパネル付き小型ディスプレイ１０２の仮面に表示される画像の拡大を自動で行うことができる。
これにより、ディスプレイ上の小さな目標への正確なタッチ操作が可能となり、被操作端末の操作画面１０１に対して、誤操作のない直感的なタッチ操作を遠隔して行うことができる。 By using the small display 102 with a three-dimensional touch panel, it is possible to detect position information in the normal direction of the finger of the operator 100. The “normal direction” is a direction perpendicular to the three-dimensional touch panel, and the “position information” is the position (coordinates) of the finger of the operator 100.
By obtaining position information in the normal direction of the finger of the operator 100 using the small display 102 with a three-dimensional touch panel, when the touch target is small, the target can be enlarged and displayed. Misoperation during operation can be avoided.
In the remote operation system disclosed in Patent Document 1, it is necessary to manually perform a screen enlargement operation of a portable terminal (corresponding to a small display 102 with a three-dimensional touch panel). In this embodiment, the normal direction of the touch panel By acquiring the position of the finger and enlarging as the finger approaches the screen, the image displayed on the mask of the small display 102 with the three-dimensional touch panel can be automatically enlarged.
Thereby, an accurate touch operation to a small target on the display becomes possible, and an intuitive touch operation without an erroneous operation can be remotely performed on the operation screen 101 of the operated terminal.

実施の形態２．
以下、この発明の実施の形態２を図２に基づいて説明する。
図２において、操作者１００のより遠方には被操作端末（図示なし）の操作画面１０１が設置される。被操作端末の操作画面１０１の大きさは、例えば、６０型以上の大画面である。
操作者１００の近傍には透明３次元タッチパネル１０３が設置されている。
操作者１００は、被操作端末の操作画面１０１を、透明３次元タッチパネル１０３越しに見ながら、透明３次元タッチパネル１０３によって被操作端末の操作画面１０１に対して間接的にタッチ操作を行う。すなわち、被操作端末の操作画面１０１に対するタッチ操作を遠隔的に行う。なお、１０３ａは、透明３次元タッチパネル１０３の台座である。 Embodiment 2. FIG.
The second embodiment of the present invention will be described below with reference to FIG.
In FIG. 2, an operation screen 101 of an operated terminal (not shown) is installed farther from the operator 100. The size of the operation screen 101 of the operated terminal is, for example, a large screen of 60 type or more.
A transparent three-dimensional touch panel 103 is installed in the vicinity of the operator 100.
The operator 100 performs a touch operation indirectly on the operation screen 101 of the operated terminal through the transparent 3D touch panel 103 while viewing the operation screen 101 of the operated terminal through the transparent 3D touch panel 103. That is, a touch operation on the operation screen 101 of the operated terminal is performed remotely. Reference numeral 103 a denotes a pedestal of the transparent three-dimensional touch panel 103.

透明３次元タッチパネル１０３は、液晶画面がついていないタッチパネルだけの機器のことを指しており、被操作端末とやりとりするデータはタッチ情報のみである。従って、無線化などにより、被操作端末と携帯端末である透明３次元タッチパネル１０３との間の情報配線の引き回しが容易になる。
本実施の形態においては、透明３次元タッチパネル１０３は、操作者１００が自身の姿勢に合わせて透明３次元タッチパネル１０３を、被操作端末の操作画面１０１全体を透過して見ることができるように上下、左右、前後の位置を手動で微調整することが可能なアームを備える。
本実施の形態によれば、実施の形態１における「３次元タッチパネル付き小型ディスプレイ１０２」を「透明３次元タッチパネル１０３」に置き換えることにより、透明３次元タッチパネル１０３の設置の簡略化が図れる。
さらに、後述するように、被操作端末の操作画面１０１の周辺に配置された警報ランプなどの機器へのタッチによる操作も可能となる。 The transparent three-dimensional touch panel 103 refers to a device having only a touch panel without a liquid crystal screen, and data exchanged with the operated terminal is only touch information. Accordingly, the wiring of information between the operated terminal and the transparent three-dimensional touch panel 103 which is a portable terminal is facilitated by wireless or the like.
In the present embodiment, the transparent 3D touch panel 103 is moved up and down so that the operator 100 can see the transparent 3D touch panel 103 through the entire operation screen 101 of the operated terminal according to his / her posture. The arm which can finely adjust the position of right and left and back and forth manually is provided.
According to the present embodiment, the installation of the transparent three-dimensional touch panel 103 can be simplified by replacing the “small display 102 with a three-dimensional touch panel” in the first embodiment with the “transparent three-dimensional touch panel 103”.
Furthermore, as will be described later, an operation by touching a device such as an alarm lamp arranged around the operation screen 101 of the operated terminal is also possible.

実施の形態３．
次に、この発明の実施の形態３を図３に基づいて説明する。
前述したように、３次元タッチパネル付き小型ディスプレイ１０２あるいは透明３次元タッチパネル１０３を用いることで操作者１００の指１０４の法線方向の座標を検知することは可能であるが、本実施の形態では、図３に示すように、操作者１００の指１０４の法線方向の座標をタッチパネルにて時間的に連続して取得することにより、操作者１００の指１０４の法線方向の速度ベクトル１０５、１０６、１０７を取得する。
連続ベクトルの取得は、タッチパネルがハードウェア的に行う方法と、接続されたコンピュータがソフトウェア的に計算する方法がある。
なお、図３（ａ）は、操作者１００の指１０４の法線方向の速度べクトル１０５が、３次元タッチパネル付き小型ディスプレイ１０２または透明３次元タッチパネル１０３にほぼ垂直であり、誤操作と見なされない場合、図３（ｂ）は、操作者１００の指１０４の法線方向の速度べクトル１０６が３次元タッチパネル付き小型ディスプレイ１０２または透明３次元タッチパネル１０３に垂直でなく誤操作と見なされる場合である。
また、図３（ｃ）は、操作者１００の指１０４の法線方向の速度べクトル１０７が３次元タッチパネル付き小型ディスプレイ１０２または透明３次元タッチパネル１０３に対して予め設定した速度よりも速い速度で接近し、誤操作と見なされる場合を示している。 Embodiment 3 FIG.
Next, a third embodiment of the present invention will be described with reference to FIG.
As described above, it is possible to detect the coordinates of the normal direction of the finger 104 of the operator 100 by using the small display 102 with a three-dimensional touch panel or the transparent three-dimensional touch panel 103, but in the present embodiment, As shown in FIG. 3, the normal direction velocity vectors 105 and 106 of the finger 104 of the operator 100 are obtained by continuously acquiring the coordinates of the normal direction of the finger 104 of the operator 100 in time on the touch panel. , 107 are acquired.
The acquisition of the continuous vector includes a method in which the touch panel is performed in hardware and a method in which a connected computer is calculated in software.
In FIG. 3A, the velocity vector 105 in the normal direction of the finger 104 of the operator 100 is almost perpendicular to the small display 102 with a three-dimensional touch panel or the transparent three-dimensional touch panel 103, and is not regarded as an erroneous operation. FIG. 3B shows a case where the velocity vector 106 in the normal direction of the finger 104 of the operator 100 is not perpendicular to the small display 102 with a three-dimensional touch panel or the transparent three-dimensional touch panel 103 and is regarded as an erroneous operation.
FIG. 3C shows that the speed vector 107 in the normal direction of the finger 104 of the operator 100 is faster than the speed set in advance for the small display 102 with a 3D touch panel or the transparent 3D touch panel 103. It shows the case of approaching and regarded as an erroneous operation.

法線方向の速度ベクトルの大きさ、Ｘ、Ｙ方向（すなわち、タッチバネルの面に対して水平な方向）への傾きより、意図していない（すなわち、無意識で誤った）３次元タッチパネル付き小型ディスプレイ１０２あるいは透明３次元タッチパネル１０３へのタッチ操作を判別し、意図していないタッチ操作の場合は、タッチ操作を無効にすることで誤操作を防止することが可能となる。
例えば、操作者１００の指１０４の法線方向の速度ベクトルが３次元タッチパネル付き小型ディスプレイ１０２あるいは透明３次元タッチパネル１０３に垂直でない場合（法線方向の速度ベクトルが１０６の状態の場合）、また予め設定した速度よりも速い速度で接近した場合（法線方向の速度ベクトルが１０７の状態の場合）は、誤操作と見なしてタッチ操作を無効にする。これにより、操作者１００が意図しない誤ったタッチ操作を回避する。 Small display with a 3D touch panel that is not intended (ie, unintentionally and erroneously) due to the magnitude of the velocity vector in the normal direction and the inclination in the X and Y directions (ie, the direction horizontal to the touch panel surface). 102 or the touch operation on the transparent three-dimensional touch panel 103 is discriminated, and in the case of an unintended touch operation, it is possible to prevent an erroneous operation by disabling the touch operation.
For example, when the normal direction velocity vector of the finger 104 of the operator 100 is not perpendicular to the small display 102 with a three-dimensional touch panel or the transparent three-dimensional touch panel 103 (when the normal direction velocity vector is 106), When approaching at a speed faster than the set speed (when the normal direction velocity vector is 107), the touch operation is invalidated as an erroneous operation. Thereby, an erroneous touch operation unintended by the operator 100 is avoided.

本実施の形態では、タッチパネルがハードウェア的に行う方法、あるいは接続されたコンピュータがソフトウェア的に計算する方法を用いて、誤操作とみなさない操作者１００の指１０４の法線方向の速度べクトル１０５の大きさ、操作者１００の指１０４のＸ、Ｙ軸方向への傾きの範囲を設定する機能を備えている。
なお、図３において、「〇」は誤操作と見なされない正常なタッチ操作、「×」は誤操作と見なされるタッチ操作であることを表している。
本実施の形態では、３次元タッチパネル付き小型ディスプレイ１０２あるいは透明３次元タッチパネル１０３へのタッチ操作時の指１０４の速度ベクトルの傾きあるいは大きさを検知し、検知結果に基づいてタッチ操作が無効であるか否かを精度よく判定できる。 In the present embodiment, the velocity vector 105 in the normal direction of the finger 104 of the operator 100 that is not regarded as an erroneous operation using a method that the touch panel performs in hardware or a method that the connected computer calculates in software. And the range of the inclination of the finger 104 of the operator 100 in the X and Y axis directions are provided.
In FIG. 3, “◯” represents a normal touch operation that is not regarded as an erroneous operation, and “X” represents a touch operation that is regarded as an erroneous operation.
In the present embodiment, the inclination or magnitude of the velocity vector of the finger 104 at the time of a touch operation on the small display 102 with a three-dimensional touch panel or the transparent three-dimensional touch panel 103 is detected, and the touch operation is invalid based on the detection result. Whether or not can be determined with high accuracy.

実施の形態４．
次に、この発明の実施の形態４を図４に基づいて説明する。
本実施の形態においては、操作者１００が３次元タッチパネル付き小型ディスプレイ１０２または透明３次元タッチパネル１０３に指１０４を近づけたとき、タッチパネル面から指１０４までの法線方向の距離を検出し、検出した指１０４までの法線方向の距離が予め設定した距離よりも接近した場合は、被操作端末の操作画面１０１にポインタ１０８を表示する。
なお、図４（ａ）は、３次元タッチパネル付き小型ディスプレイ１０２に指１０４を近づけた場合、図４（ｂ）は、透明３次元タッチパネル１０３に指１０４を近づけた場合を示している。
ポインタ１０８は、タッチパネルのタッチ位置情報を利用し、被操作端末の操作画面１０１を表示しているコンピュータにより被操作端末の操作画面１０１上に表示される。
透明３次元タッチパネル１０３は、タッチパネルのみであり、ディスプレイはないので、拡大画面は表示されない。また、透明３次元タッチパネル１０３にはポインタ１０８も表示されない。 Embodiment 4 FIG.
Next, a fourth embodiment of the present invention will be described with reference to FIG.
In the present embodiment, when the operator 100 brings the finger 104 close to the small display 102 with a three-dimensional touch panel or the transparent three-dimensional touch panel 103, the distance in the normal direction from the touch panel surface to the finger 104 is detected and detected. When the distance in the normal direction to the finger 104 is closer than a preset distance, the pointer 108 is displayed on the operation screen 101 of the operated terminal.
4A shows a case where the finger 104 is brought close to the small display 102 with a three-dimensional touch panel, and FIG. 4B shows a case where the finger 104 is brought close to the transparent three-dimensional touch panel 103.
The pointer 108 is displayed on the operation screen 101 of the operated terminal by the computer displaying the operation screen 101 of the operated terminal using the touch position information of the touch panel.
Since the transparent three-dimensional touch panel 103 is only a touch panel and does not have a display, an enlarged screen is not displayed. Further, the pointer 108 is not displayed on the transparent three-dimensional touch panel 103.

本実施の形態では、３次元タッチパネル付き小型ディスプレイ１０２または透明３次元タッチパネル１０３に操作者１００が指１０４を近づけたとき、タッチパネル面から指１０４までの法線方向の距離を検出し、予め設定した距離よりも指１０４が接近した場合は、被操作端末の操作画面１０１に指１０４の位置を示すポインタ１０８を表示する。
従って、操作者１００以外の監視者が操作者１００のポイント操作を確認することが可能となる。
また、本実施の形態においては、操作者１００がポイント位置を確認することが可能であり、操作者１００の意図しない位置へのタッチ操作を防止することができる。 In the present embodiment, when the operator 100 brings the finger 104 close to the small display 102 with a three-dimensional touch panel or the transparent three-dimensional touch panel 103, the distance in the normal direction from the touch panel surface to the finger 104 is detected and set in advance. When the finger 104 is closer than the distance, a pointer 108 indicating the position of the finger 104 is displayed on the operation screen 101 of the operated terminal.
Therefore, a monitor other than the operator 100 can confirm the point operation of the operator 100.
Further, in the present embodiment, the operator 100 can confirm the point position, and the touch operation to the position not intended by the operator 100 can be prevented.

実施の形態５．
以下、この発明の実施の形態５を図５に基づいて説明する。
本施の形態においては、帯端末である３次元タッチパネル付き小型ディスプレイ１０２に縮小表示された「被操作端末の操作画面１０１」の「操作者１００によりポイントされた位置」の周辺を、タッチパネル面から指１０４までの法線方向の距離に応じて、３次元タッチパネル付き小型ディスプレイ１０２に段階的に拡大表示する。
すなわち、３次元タッチパネル付き小型ディスプレイ１０２のタッチパネル面から指１０４までの法線方向の距離が大きくなるほど、３次元タッチパネル付き小型ディスプレイ１０２は、ポイントされた位置周辺の画像を大きく表示する。
これにより、小さな目標に対し正確なタッチ操作を実現することが可能となる。
なお、図５（ａ）は、タッチパネル面から指１０４までの法線方向の距離が小さい場合
、図５（ｂ）は、タッチパネル面から指１０４までの法線方向の距離が中程度の場合、図５（ｃ）は、タッチパネル面から指１０４までの法線方向の距離が大きい場合を示している。 Embodiment 5 FIG.
The fifth embodiment of the present invention will be described below with reference to FIG.
In the present embodiment, the periphery of the “position pointed by the operator 100” of the “operation screen 101 of the operated terminal” displayed on the small display 102 with a three-dimensional touch panel, which is a band terminal, is displayed from the touch panel surface. In accordance with the distance in the normal direction to the finger 104, the display is enlarged in stages on the small display 102 with a three-dimensional touch panel.
That is, the smaller the distance in the normal direction from the touch panel surface of the small display 102 with a three-dimensional touch panel to the finger 104, the larger the display around the pointed position.
Thereby, an accurate touch operation can be realized for a small target.
5A shows a case where the distance in the normal direction from the touch panel surface to the finger 104 is small. FIG. 5B shows a case where the distance in the normal direction from the touch panel surface to the finger 104 is medium. FIG. 5C shows a case where the distance in the normal direction from the touch panel surface to the finger 104 is large.

実施の形態６．
以下、この発明の実施の形態６を図６に基づいて説明する。
本実施の形態では、透明３次元タッチパネル１０３を用いており、透明３次元タッチパネル１０３の位置を調整することにより、操作者１００は被操作端末の操作画面１０１の周辺まで透明３次元タッチパネルを透過して見ることがきる。
従って、透明３次元タッチパネル１０３を介して被操作端末の操作画面１０１の周辺に配置された機器にタッチすることが可能であり、周辺の機器の操作を行うことができる。
図６には、例として、被操作端末の操作画面１０１周辺に設置された機器が警報ランプ１０９である場合を示しており、警報ランプ１０９の警報をタッチ操作により止める場合を示している。 Embodiment 6 FIG.
A sixth embodiment of the present invention will be described below with reference to FIG.
In the present embodiment, the transparent three-dimensional touch panel 103 is used. By adjusting the position of the transparent three-dimensional touch panel 103, the operator 100 passes through the transparent three-dimensional touch panel to the periphery of the operation screen 101 of the operated terminal. You can see.
Therefore, it is possible to touch a device arranged around the operation screen 101 of the operated terminal via the transparent three-dimensional touch panel 103, and the peripheral devices can be operated.
FIG. 6 shows, as an example, a case where the device installed around the operation screen 101 of the operated terminal is the alarm lamp 109, and a case where the alarm of the alarm lamp 109 is stopped by a touch operation.

なお、本発明は、その発明の範囲内において、各実施の形態を組み合わせたり、各実施の形態を適宜、変形省略することが可能である。   In the present invention, it is possible to combine the respective embodiments within the scope of the invention or to appropriately modify and omit the respective embodiments.

本発明は、被操作端末の操作画面に対して、誤操作のない直感的なタッチ操作を遠隔的に行うことが可能な「３次元タッチパネルを用いた被操作端末の遠隔操作方法」の提供に有用である。   INDUSTRIAL APPLICABILITY The present invention is useful for providing a “method for remotely operating an operated terminal using a three-dimensional touch panel” capable of remotely performing an intuitive touch operation with no erroneous operation on an operation screen of the operated terminal. It is.

１００ 操作者、 １０１ 被操作端末の操作画面、 １０２ ３次元タッチパネル付き小型ディスプレイ、 １０２ａ 台座、 １０３ 透明３次元タッチパネル、 １０３ａ 台座、 １０４ 指、 １０５、１０６、１０７ 速度ベクトル、 １０８ ポインタ、 １０９ 警報ランプ     100 operator, 101 operation screen of operated terminal, 102 small display with 3D touch panel, 102a pedestal, 103 transparent 3D touch panel, 103a pedestal, 104 fingers, 105, 106, 107 speed vector, 108 pointer, 109 alarm lamp

Claims (8)

操作画面を設けた被操作端末と前記被操作端末の操作画面の画像を縮小表示する３次元タッチパネル付き小型ディスプレイを有した３次元タッチパネルを用いた被操作端末の遠隔操作方法であって、前記３次元タッチパネル付き小型ディスプレイに縮小表示された前記被操作端末の操作画面の画像をタッチ操作することにより、前記被操作端末を遠隔操作することを特徴とする３次元タッチパネルを用いた被操作端末の遠隔操作方法。   A method for remotely operating an operated terminal using a 3D touch panel having an operated terminal provided with an operation screen and a small display with a 3D touch panel for displaying an image of the operation screen of the operated terminal in a reduced size. Remote operation of an operated terminal using a three-dimensional touch panel, wherein the operated terminal is remotely operated by touching an image of the operation screen of the operated terminal displayed on a small display with a three-dimensional touch panel. Method of operation. 前記３次元タッチパネル付き小型ディスプレイを、透明３次元タッチパネルに置き換えることを特徴とする請求項１に記載の３次元タッチパネルを用いた被操作端末の遠隔操作方法。   The remote operation method of an operated terminal using a three-dimensional touch panel according to claim 1, wherein the small display with the three-dimensional touch panel is replaced with a transparent three-dimensional touch panel. 前記３次元タッチパネル付き小型ディスプレイへのタッチ操作時の指の速度ベクトルの傾きあるいは大きさを検知し、検知結果に基づいてタッチ操作が無効であるか否かを判定することを特徴とする請求項１に記載の３次元タッチパネルを用いた被操作端末の遠隔操作方法。   The inclination or the magnitude of the velocity vector of a finger at the time of a touch operation on the small display with a three-dimensional touch panel is detected, and it is determined whether the touch operation is invalid based on the detection result. A remote operation method of an operated terminal using the three-dimensional touch panel according to 1. 前記透明３次元タッチパネルへのタッチ操作時の指の速度ベクトルの傾きあるいは大きさを検知し、検知結果に基づいてタッチ操作が無効であるか否かを判定することを特徴とする請求項２に記載の３次元タッチパネルを用いた被操作端末の遠隔操作方法。   3. The method according to claim 2, further comprising: detecting an inclination or magnitude of a finger velocity vector during a touch operation on the transparent three-dimensional touch panel, and determining whether the touch operation is invalid based on a detection result. A method for remotely operating an operated terminal using the three-dimensional touch panel described. 前記３次元タッチパネル付き小型ディスプレイに操作者が指を近づけたとき、タッチパネル面から前記指までの法線方向の距離を検出し、予め設定した距離よりも前記指が前記タッチパネル面に接近した場合は、前記被操作端末の操作画面に前記指の位置を示すポインタを表示することを特徴とする請求項１に記載の３次元タッチパネルを用いた被操作端末の遠隔操作方法。   When an operator brings a finger closer to the small display with a three-dimensional touch panel, a normal direction distance from the touch panel surface to the finger is detected, and when the finger approaches the touch panel surface beyond a preset distance 2. The remote operation method of an operated terminal using a three-dimensional touch panel according to claim 1, wherein a pointer indicating the position of the finger is displayed on an operation screen of the operated terminal. 前記透明３次元タッチパネルに操作者が指を近づけたとき、タッチパネル面から前記指までの法線方向の距離を検出し、予め設定した距離よりも前記指が前記タッチパネル面に接近した場合は、前記被操作端末の操作画面に前記指の位置を示すポインタを表示することを特徴とする請求項２に記載の３次元タッチパネルを用いた被操作端末の遠隔操作方法。   When an operator brings a finger close to the transparent three-dimensional touch panel, a normal direction distance from the touch panel surface to the finger is detected, and when the finger is closer to the touch panel surface than a preset distance, 3. The remote operation method of an operated terminal using a three-dimensional touch panel according to claim 2, wherein a pointer indicating the position of the finger is displayed on an operation screen of the operated terminal. 前記３次元タッチパネル付き小型ディスプレイのタッチパネル面から指までの法線方向の距離が大きくなるほど、前記３次元タッチパネル付き小型ディスプレイは、ポイントされた位置周辺の画像を大きく表示することを特徴とする請求項１に記載の３次元タッチパネルを用いた被操作端末の遠隔操作方法。   The small display with a three-dimensional touch panel displays a larger image around the pointed position as the distance in the normal direction from the touch panel surface of the small display with the three-dimensional touch panel to a finger increases. A remote operation method of an operated terminal using the three-dimensional touch panel according to 1. 前記透明３次元タッチパネルを介して前記被操作端末の操作画面周辺に配置された機器にタッチすることにより、前記機器の操作を行うことを特徴とする請求項２に記載の３次元タッチパネルを用いた被操作端末の遠隔操作方法。   The three-dimensional touch panel according to claim 2, wherein the device is operated by touching a device arranged around the operation screen of the operated terminal via the transparent three-dimensional touch panel. Remote operation method of operated terminal.
JP2012270334A 2012-12-11 2012-12-11 Remote operation method of terminal to be operated using three-dimentional touch panel Pending JP2014115876A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012270334A JP2014115876A (en) 2012-12-11 2012-12-11 Remote operation method of terminal to be operated using three-dimentional touch panel

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012270334A JP2014115876A (en) 2012-12-11 2012-12-11 Remote operation method of terminal to be operated using three-dimentional touch panel

Publications (2)

Publication Number Publication Date
JP2014115876A true JP2014115876A (en) 2014-06-26
JP2014115876A5 JP2014115876A5 (en) 2015-02-26

Family

ID=51171795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012270334A Pending JP2014115876A (en) 2012-12-11 2012-12-11 Remote operation method of terminal to be operated using three-dimentional touch panel

Country Status (1)

Country Link
JP (1) JP2014115876A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5993072B1 (en) * 2015-08-27 2016-09-14 レノボ・シンガポール・プライベート・リミテッド Electronic device user interface, input processing method, and electronic device
JP7052128B1 (en) 2021-07-20 2022-04-11 株式会社あかつき Information processing system, program and information processing method
JP7163526B1 (en) 2021-07-20 2022-10-31 株式会社あかつき Information processing system, program and information processing method
JP2023016046A (en) * 2022-03-30 2023-02-01 株式会社あかつき Information processing system, program, and information processing method
JP2023016047A (en) * 2021-07-20 2023-02-01 株式会社あかつき Information processing system, program, and information processing method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004126354A (en) * 2002-10-04 2004-04-22 Fujitsu Ten Ltd On-board display device
JP2006103364A (en) * 2004-09-30 2006-04-20 Mazda Motor Corp Information display device for vehicle
WO2007097414A1 (en) * 2006-02-23 2007-08-30 Pioneer Corporation Operation input device
JP2008210348A (en) * 2007-02-28 2008-09-11 Univ Of Tokyo Image display device
JP2010176313A (en) * 2009-01-28 2010-08-12 Toshiba Corp Information-processing device and information-processing method
US20110283334A1 (en) * 2010-05-14 2011-11-17 Lg Electronics Inc. Electronic device and method of sharing contents thereof with other devices
JP2012073042A (en) * 2010-09-27 2012-04-12 Jvc Kenwood Corp Operation signal generation device and operation signal generating method
JP2012194843A (en) * 2011-03-17 2012-10-11 Sony Corp Electronic apparatus, information processing method, program, and electronic apparatus system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004126354A (en) * 2002-10-04 2004-04-22 Fujitsu Ten Ltd On-board display device
JP2006103364A (en) * 2004-09-30 2006-04-20 Mazda Motor Corp Information display device for vehicle
WO2007097414A1 (en) * 2006-02-23 2007-08-30 Pioneer Corporation Operation input device
JP2008210348A (en) * 2007-02-28 2008-09-11 Univ Of Tokyo Image display device
JP2010176313A (en) * 2009-01-28 2010-08-12 Toshiba Corp Information-processing device and information-processing method
US20110283334A1 (en) * 2010-05-14 2011-11-17 Lg Electronics Inc. Electronic device and method of sharing contents thereof with other devices
JP2012073042A (en) * 2010-09-27 2012-04-12 Jvc Kenwood Corp Operation signal generation device and operation signal generating method
JP2012194843A (en) * 2011-03-17 2012-10-11 Sony Corp Electronic apparatus, information processing method, program, and electronic apparatus system

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5993072B1 (en) * 2015-08-27 2016-09-14 レノボ・シンガポール・プライベート・リミテッド Electronic device user interface, input processing method, and electronic device
JP2017045298A (en) * 2015-08-27 2017-03-02 レノボ・シンガポール・プライベート・リミテッド User interface of electronic device, input processing method, and electronic device
US10318047B2 (en) 2015-08-27 2019-06-11 Lenovo (Singapore) Pte. Ltd. User interface for electronic device, input processing method, and electronic device
JP2023015980A (en) * 2021-07-20 2023-02-01 株式会社あかつき Information processing system, program, and information processing method
JP7163526B1 (en) 2021-07-20 2022-10-31 株式会社あかつき Information processing system, program and information processing method
WO2023002907A1 (en) * 2021-07-20 2023-01-26 株式会社あかつき Information processing system, program, and information processing method
JP2023015540A (en) * 2021-07-20 2023-02-01 株式会社あかつき Information process system, program and information processing method
JP2023016047A (en) * 2021-07-20 2023-02-01 株式会社あかつき Information processing system, program, and information processing method
JP7052128B1 (en) 2021-07-20 2022-04-11 株式会社あかつき Information processing system, program and information processing method
JP7286857B2 (en) 2021-07-20 2023-06-05 株式会社あかつき Information processing system, program and information processing method
US11908097B2 (en) 2021-07-20 2024-02-20 Akatsuki Inc. Information processing system, program, and information processing method
JP2023016046A (en) * 2022-03-30 2023-02-01 株式会社あかつき Information processing system, program, and information processing method
JP7286856B2 (en) 2022-03-30 2023-06-05 株式会社あかつき Information processing system, program and information processing method

Similar Documents

Publication Publication Date Title
EP2657811B1 (en) Touch input processing device, information processing device, and touch input control method
US9092090B2 (en) Structured light for touch or gesture detection
US9665216B2 (en) Display control device, display control method and program
US20140118268A1 (en) Touch screen operation using additional inputs
AU2013223015A1 (en) Method and apparatus for moving contents in terminal
US20140015785A1 (en) Electronic device
KR20080041809A (en) Apparatus and method for controlling display in potable terminal
JP2014115876A (en) Remote operation method of terminal to be operated using three-dimentional touch panel
WO2015159774A1 (en) Input device and method for controlling input device
US20150009136A1 (en) Operation input device and input operation processing method
JP2014115876A5 (en)
US20140111551A1 (en) Information-processing device, storage medium, information-processing method, and information-processing system
KR101503159B1 (en) Method of controlling touch-screen detecting eyesight
EP3330842A1 (en) Touch panel type information terminal device, information input processing method therefor, and program
JP2013246822A (en) Method and system for clicking and localizing movement objet
CN106293036B (en) Interaction method and electronic equipment
US20150091831A1 (en) Display device and display control method
EP3264203A1 (en) Intelligent interaction method, equipment and system
KR101165388B1 (en) Method for controlling screen using different kind of input devices and terminal unit thereof
JP6466736B2 (en) Information processing apparatus, information processing method, and program
JP2014052817A (en) Image display method and image display device
WO2022191276A1 (en) Operation input device, operation input method, and program
KR20130032598A (en) Apparatus and method for controlling display size in portable terminal
WO2015093005A1 (en) Display system
KR101819104B1 (en) Method and device of providing mouse function based on touch screen

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160329