JP2015111319A - Information input apparatus, screen display method, and information input program - Google Patents

Information input apparatus, screen display method, and information input program Download PDF

Info

Publication number
JP2015111319A
JP2015111319A JP2012073604A JP2012073604A JP2015111319A JP 2015111319 A JP2015111319 A JP 2015111319A JP 2012073604 A JP2012073604 A JP 2012073604A JP 2012073604 A JP2012073604 A JP 2012073604A JP 2015111319 A JP2015111319 A JP 2015111319A
Authority
JP
Japan
Prior art keywords
display
input device
dummy
information
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012073604A
Other languages
Japanese (ja)
Inventor
恵太 渡邊
Keita Watanabe
恵太 渡邊
稲見 昌彦
Masahiko Inami
昌彦 稲見
五十嵐 健夫
Takeo Igarashi
健夫 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Priority to JP2012073604A priority Critical patent/JP2015111319A/en
Priority to PCT/JP2013/059381 priority patent/WO2013147084A1/en
Publication of JP2015111319A publication Critical patent/JP2015111319A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/316User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/36User authentication by graphic or iconic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an information input apparatus that makes the theft of information difficult due to an operation screen being looked over the shoulder of a user.SOLUTION: There is provided an information input apparatus that has an input device and outputs the content of operation acquired by the input device to a display apparatus, the information input apparatus having display control means for creating first display, which is the screen display moving according to the operation acquired by the input device and outputting the first display to the display apparatus, where the display control means creates second display moving in a different manner from the first display, and composes the first display and second display and outputs the composite display to the display apparatus.

Description

本発明は、画面を覗き見られることによる情報の漏洩を防止する情報入力装置に関する。   The present invention relates to an information input device that prevents information leakage due to peeping at a screen.

公共の場所でコンピュータや情報端末、ATM(Automated Teller Machine, 現金自動預払機)などを使用する場合、利用者が入力する暗証番号などの情報が第三者によって盗み見られるリスクがある。例えば、画面に表示された数字を押下することで暗証番号の入力を行う場合、肩越しに手元を覗き見ることで、どの数字を指しているのかを把握することができてしまう。   When a computer, information terminal, ATM (Automated Teller Machine), etc. are used in a public place, there is a risk that information such as a personal identification number entered by the user may be stolen by a third party. For example, when inputting a personal identification number by pressing a number displayed on the screen, it is possible to grasp which number is pointed by looking at the hand over the shoulder.

この問題に対応するため、入力された情報の外部からの把握を困難にする技術が考案されている。特許文献1に記載の暗証番号入力装置は、暗証番号を入力するたびにタッチパネル上の数字の配置をランダムに変更することを特徴としている。当該発明によると、入力を行うたびに数字の配置が変わるため、手の動きを盗み見て入力内容を推測することが困難となる。   In order to cope with this problem, a technique for making it difficult to grasp input information from the outside has been devised. The personal identification number input device described in Patent Document 1 is characterized in that the arrangement of numbers on the touch panel is randomly changed every time a personal identification number is input. According to the invention, since the arrangement of numbers changes every time an input is made, it is difficult to guess the input content by stealing the movement of the hand.

しかし、当該発明は、手元を覗くことによる情報の盗取は防止できるが、画面を直接見ることによる情報の盗取は防ぐことはできない。たとえば、画面の近傍に設置された隠しカメラや、コンピュータに仕込まれたトロイの木馬といった悪意のあるプログラムによって、手元ではなく操作画面を直接盗み見た場合、利用者がどの文字を選択したのかを容易に窺い知ることができてしまう。   However, the invention can prevent theft of information by looking into the hand, but cannot prevent theft of information by looking directly at the screen. For example, if a malicious program such as a hidden camera installed in the vicinity of the screen or a Trojan horse installed in a computer steals the operation screen directly instead of at hand, it is easy to determine which character the user has selected. You can get acquainted with it.

これに対応するため、非特許文献1に記載の認証インタフェースでは、利用者ごとに事前に固有の記号を割り当て、当該記号を数字の入力に用いるという手法が用いられている。画面上には、仮想キーボードの各キーが異なる種類の記号と共に表示される。利用者は、再表示を選択することで仮想キーボードの各キーに表示される記号の配置を変更することができる。利用者は、自分に割り当てられた記号が入力しようとする数字と重なって表示されるまで仮想キーボードを再表示させ、一致した場合に入力キーを押下する。この操作を繰り返すことで、一文字ずつパスワードを入力する。このようにすることで、利用者に割り当てられた記号が何であるかを知らない限り、画面を見たとしてもその入力内容を把握することができなくなる。   In order to cope with this, the authentication interface described in Non-Patent Document 1 uses a technique in which a unique symbol is assigned to each user in advance and the symbol is used for inputting a number. On the screen, each key of the virtual keyboard is displayed with a different kind of symbol. The user can change the arrangement of symbols displayed on each key of the virtual keyboard by selecting redisplay. The user redisplays the virtual keyboard until the symbol assigned to the user is displayed so as to overlap the number to be input, and presses the input key when they match. Repeat this operation to enter the password one character at a time. In this way, unless the user knows what the symbol assigned to the user is, the contents of the input cannot be grasped even if the screen is viewed.

特開2000−099801号公報JP 2000-099801 A

高田哲司,“fakePointer: 映像記録による覗き見攻撃にも安全な認証手法”,情報処理学会論文誌,Vol.49,No.9,p.3051-3061,Sep. 2008Tetsuji Takada, “fakePointer: An authentication method that is secure against peeping attacks by video recording”, Transactions of Information Processing Society of Japan, Vol.49, No.9, p.3051-3061, Sep. 2008

画面の盗み見による情報の漏洩について、図11を参照しながら説明する。図11は、インターネットバンキングにおける暗証番号入力画面である。インターネットバンキングの多くは、セキュリティ性を向上させるため、画面上で文字を選択することによって暗証番号を入力するソフトウェアキーボードの機能を有している。しかし、操作画面を何らか
の手段によって取得することができれば、利用者がどの文字を選択したかを知ることができてしまう。図11の例では、マウスポインタの位置と、文字の反転ないしは押下アニメーションによって“H”という文字が入力されたことがわかる。操作画面の取得は、悪意のあるソフトウェアによるスクリーンショットの盗撮や、古典的には望遠鏡などを用いて部屋の外から覗き見ることで行うことができる。
Information leakage due to screen stealing will be described with reference to FIG. FIG. 11 is a password input screen for Internet banking. Many of the Internet banking have a function of a software keyboard for inputting a personal identification number by selecting a character on the screen in order to improve security. However, if the operation screen can be acquired by some means, it is possible to know which character the user has selected. In the example of FIG. 11, it can be seen that the character “H” has been input by the position of the mouse pointer and the character inversion or pressing animation. The operation screen can be obtained by taking a sneak shot of the screen shot with malicious software or by peeping out of the room using a telescope, classically.

このような、画面を直接盗み見ることによる情報の漏洩を防止しようとした場合、例えば非特許文献1に記載の技術を用いることができる。しかし、当該発明は、自分に割り当てられた記号が目的の場所に表示されるまで仮想キーボードの再表示を繰り返さなければならないため、入力速度が遅いという欠点がある。n種類の文字にn個の記号を割り当てた場合、一桁入力するごとに最大n−1回の再表示を行わなければならないため、パスワードに英数字が混在すると実用的な入力速度を得ることが出来ない。また、利用者は割り当てられた記号を覚えておく必要があるため、利用者の負担が増すという問題がある。したがって、利用者に負担をかけないようにするためには、物理的に画面を覗き見ることを困難にするようなフィルタや、アンチウイルスソフトなどで防衛する他に有効な手段が無かった。   For example, the technique described in Non-Patent Document 1 can be used to prevent leakage of information due to direct viewing of the screen. However, this invention has a drawback that the input speed is slow because the virtual keyboard must be redisplayed until the symbol assigned to it is displayed at the target location. When n symbols are assigned to n types of characters, it is necessary to redisplay up to n-1 times every time one digit is entered. I can't. In addition, since the user needs to remember the assigned symbols, there is a problem that the burden on the user increases. Therefore, in order not to put a burden on the user, there is no effective means other than a filter that makes it difficult to physically look into the screen, and defense with anti-virus software.

本発明は上記の問題点を考慮してなされたものであり、操作画面を覗き見ることによる情報の盗取を困難にする情報入力装置を提供することを目的とする。   The present invention has been made in consideration of the above-described problems, and an object thereof is to provide an information input device that makes it difficult to steal information by looking into an operation screen.

上記課題を解決するために、本発明に係る情報入力装置は、利用者がした操作の内容を画面に反映させる際に、本物の表示と並行してダミーの表示を生成し、画面上に合成して表示するという手法をとった。   In order to solve the above-described problems, the information input device according to the present invention generates a dummy display in parallel with the real display and synthesizes it on the screen when reflecting the contents of the operation performed by the user on the screen. I took the technique of displaying.

具体的には、本発明に係る情報入力装置は、入力デバイスを有し、前記入力デバイスによって取得された操作の内容を表示装置に出力する情報入力装置であって、前記入力デバイスによって取得された操作に対応して動く画面表示である第一の表示を生成し、前記表示装置に出力する表示制御手段を有し、前記表示制御手段は、前記第一の表示と異なる動作をする画面表示である第二の表示を生成し、前記第一の表示と前記第二の表示とを合成して前記表示装置に出力することを特徴とする。   Specifically, an information input device according to the present invention is an information input device that has an input device and outputs the content of an operation acquired by the input device to a display device, and is acquired by the input device. A display control unit that generates a first display that is a screen display that moves in response to an operation and outputs the first display to the display device, the display control unit is a screen display that operates differently from the first display. A second display is generated, and the first display and the second display are combined and output to the display device.

入力デバイスとは、利用者によって操作される入力用のインタフェースであり、典型的には、マウス、タッチパネル、タッチスクリーン、トラックボール、ポインティングスティック、タッチパッド、ジョイスティック、データグローブ、ペンタブレットのようなポインティングデバイスや、キーボード等である。また、表示装置とは利用者に操作結果を表示するためのディスプレイ装置である。   An input device is an input interface operated by a user. Typically, a pointing device such as a mouse, a touch panel, a touch screen, a trackball, a pointing stick, a touch pad, a joystick, a data glove, or a pen tablet is used. Devices and keyboards. The display device is a display device for displaying an operation result to the user.

第一の表示とは、入力デバイスを通して利用者が行った操作の内容に対応して動く画面上の表示である。入力デバイスがマウスなど、ポインタを操作するものである場合、第一の表示は画面上を移動するポインタである。また、タッチパネルなど、画面上の座標を直接指定するものである場合は、第一の表示は、押下することによって見た目が変化する押しボタン表示などである。   The first display is a display on the screen that moves corresponding to the content of the operation performed by the user through the input device. When the input device is a device that operates a pointer such as a mouse, the first display is a pointer that moves on the screen. In addition, when the coordinates on the screen are directly specified, such as a touch panel, the first display is a push button display that changes its appearance when pressed.

また、第二の表示とは、利用者が行った操作の内容と異なる動作をするダミーの表示である。例えば、利用者がマウスを左に移動させた場合、表示制御手段は、マウスポインタを左に移動させるという第一の表示を生成すると同時に、マウスポインタと同一または類似するダミーのポインタを右に移動するという第二の表示を生成する。第二の表示の“動作”とは、カーソルやポインタの移動だけでなく、任意の箇所を強調するアニメーション等も含まれる。すなわち、第二の表示は利用者が指定した箇所と異なる箇所を強調表示す
るものであってもよい。
The second display is a dummy display that operates differently from the content of the operation performed by the user. For example, when the user moves the mouse to the left, the display control means generates a first display that moves the mouse pointer to the left, and simultaneously moves a dummy pointer that is the same as or similar to the mouse pointer to the right. Generate a second indication to do. The “motion” of the second display includes not only the movement of the cursor and pointer, but also an animation that emphasizes an arbitrary portion. That is, the second display may highlight a portion different from the portion designated by the user.

表示制御手段は、入力デバイスが取得した操作に対応する第一の表示と、生成された第二の表示とを合成して表示装置に出力する手段である。二つの表示が合成された結果、利用者の操作に係る本物の表示(例えばマウスポインタ)と、利用者の操作と異なる動きをするダミーの表示(マウスポインタと同一または類似するポインタ)とが同時に画面に描画される。   The display control unit is a unit that synthesizes the first display corresponding to the operation acquired by the input device and the generated second display and outputs them to the display device. As a result of combining the two displays, a real display (for example, a mouse pointer) related to the user's operation and a dummy display (a pointer that is the same as or similar to the mouse pointer) that moves differently from the user's operation are simultaneously displayed. It is drawn on the screen.

以上に説明した発明の形態によると、利用者は、自分が行った操作と同じ動きをする表示が本物であると直感的に認識することができるが、覗き見ている者は本物の表示とダミーの表示を判別することができない。したがって、第三者が操作画面を外部から覗き見たとしても、どれが正しい表示であるかを特定することができず、利用者が何を入力しているのか窺い知ることができないため、情報の盗取を防止することができる。   According to the form of the invention described above, the user can intuitively recognize that the display that moves in the same manner as the operation performed by the user is authentic, but the person who is peeping is considered to be the real display. The dummy display cannot be determined. Therefore, even if a third party looks into the operation screen from the outside, it is not possible to identify which is the correct display, and it is not possible to know what the user is entering. Theft can be prevented.

また、前記表示制御手段は、前記第二の表示が、前記第一の表示と同期して動くように、前記第一の表示および第二の表示の合成を行い、前記表示装置に対する出力を行うことを特徴としてもよい。   In addition, the display control means combines the first display and the second display so that the second display moves in synchronization with the first display, and outputs to the display device. This may be a feature.

ダミーの表示を画面上に追加する場合、利用者の操作に係る本物の表示と同期してダミーの表示が動くように制御してもよい。同期とは、利用者の操作に係る表示が動く時期と、ダミーの表示が動く時期とを一致させることを指す。このようにすることで、利用者が操作をしている間は全ての表示が一斉に動くため、本物の表示がどれであるかを外部から識別することが困難になる。   When a dummy display is added on the screen, the dummy display may be controlled to move in synchronization with the real display related to the user's operation. Synchronizing refers to matching the timing when the display related to the user's operation moves with the timing when the dummy display moves. By doing in this way, since all the displays move simultaneously while the user is operating, it becomes difficult to identify the genuine display from the outside.

また、前記入力デバイスはポインティングデバイスであり、前記第一の表示および第二の表示は、互いに同一の外観を有する移動するポインタであり、前記表示制御手段は、利用者が行った操作に基づいて前記第二の表示を生成することを特徴としてもよい。   Further, the input device is a pointing device, the first display and the second display are moving pointers having the same appearance, and the display control means is based on an operation performed by a user. The second display may be generated.

ポインティングデバイスとは、画面上のポインタを動かすためのマウスやトラックボール、ポインティングスティック、タッチパッド、ジョイスティック、データグローブ、ペンタブレットなどを指す。また、ポインタの外観とは、ポインタの形状、大きさ、色彩などであり、同一の外観を有するとは外観から区別ができないことを指す。表示制御手段は、利用者が行った操作に基づいて第二の表示を生成する。例えば、ダミーの操作を事前に利用者が装置に記憶させ、当該ダミーの操作を用いて第二の表示を生成してもよいし、利用者が行っている操作の内容に所定の変換を加えたものを用いてリアルタイムに第二の表示を生成してもよい。人が行う操作に基づいて第二の表示、すなわちダミーポインタの動きを生成することで、ダミーポインタの動きを自然なものとすることができるため、ポインタの挙動からその真贋を判別することが困難になる。   The pointing device refers to a mouse or a trackball for moving a pointer on the screen, a pointing stick, a touch pad, a joystick, a data glove, a pen tablet, and the like. The appearance of the pointer refers to the shape, size, color, etc. of the pointer, and it means that having the same appearance cannot be distinguished from the appearance. The display control means generates the second display based on the operation performed by the user. For example, a dummy operation may be stored in the device in advance by the user, and the second display may be generated using the dummy operation, or a predetermined conversion may be added to the content of the operation performed by the user. The second display may be generated in real time using the screen. By generating the second display, that is, the movement of the dummy pointer based on the operation performed by the person, it is possible to make the movement of the dummy pointer natural, so it is difficult to determine its authenticity from the behavior of the pointer. become.

また、本発明に係る情報入力装置は、前記第二の表示の軌跡を複数記憶する軌跡情報記憶手段を有し、前記表示制御手段は、前記軌跡情報記憶手段に記憶された複数の軌跡のうちいずれか一つを用いて前記第二の表示を生成することを特徴としてもよい。   Moreover, the information input device according to the present invention includes a trajectory information storage unit that stores a plurality of trajectories of the second display, and the display control unit includes a plurality of trajectories stored in the trajectory information storage unit. The second display may be generated using any one of them.

軌跡情報記憶手段は、ダミーポインタの動きを記憶する手段である。軌跡情報記憶手段は、事前に利用者によって作成された軌跡を記憶してもよいし、他の利用者が行った操作に係る軌跡を記憶してもよい。記憶された複数の軌跡から使用する軌跡を抽出することで、ダミーポインタの軌跡を毎回異なるものにすることができるため、攻撃者がポインタを観察することによる真贋の判別を防ぐことができる。   The trajectory information storage means is means for storing the movement of the dummy pointer. The trajectory information storage means may store a trajectory created in advance by a user, or may store a trajectory related to an operation performed by another user. By extracting the trajectory to be used from the plurality of stored trajectories, the trajectory of the dummy pointer can be made different each time, and therefore, it is possible to prevent authentication by the attacker by observing the pointer.

また、前記表示制御手段は、複数の前記第二の表示を生成し、前記第一の表示と合成し
て前記表示装置に出力することを特徴としてもよい。
Further, the display control means may generate a plurality of the second displays, synthesize them with the first displays, and output them to the display device.

ダミーの表示を複数個画面に出力することで、本物の表示を外部から判別することがより困難となる。ダミーの表示を増やすことで、攻撃の困難度を引き上げることができ、ダミーの表示を減らすことで、利用者が操作しやすくなる。ダミーの表示の個数は、両者のバランスをとった値にすることができる。   By outputting a plurality of dummy displays on the screen, it becomes more difficult to distinguish the real display from the outside. Increasing the number of dummy displays can increase the difficulty of the attack, and reducing the number of dummy displays makes it easier for the user to operate. The number of dummy displays can be a value that balances both.

なお、本発明は、上記手段の少なくとも一部を含む情報入力装置として特定することができる。また本発明は、上記手段が行う処理の少なくとも一部を含む画面表示方法として特定することもできるし、前記情報入力装置を動作させるためのプログラムとして特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。   In addition, this invention can be specified as an information input device containing at least one part of the said means. In addition, the present invention can be specified as a screen display method including at least a part of processing performed by the above means, or can be specified as a program for operating the information input device. The above processes and means can be freely combined and implemented as long as no technical contradiction occurs.

本発明によれば、操作画面を覗き見ることによる情報の盗取を困難にする情報入力装置を提供することができる。   According to the present invention, it is possible to provide an information input device that makes it difficult to steal information by looking into an operation screen.

本発明に係る情報入力装置が扱うデータの流れを説明する図である。It is a figure explaining the flow of the data which the information input device concerning this invention handles. 第一の実施形態に係る機能構成図である。It is a functional lineblock diagram concerning a first embodiment. 第一の実施形態に係る処理フローチャート図である。It is a process flowchart figure concerning 1st embodiment. 第一の実施形態に係るダミーの軌跡情報の例である。It is an example of the dummy locus | trajectory information which concerns on 1st embodiment. 第一の実施形態に係るダミーポインタを説明する図である。It is a figure explaining the dummy pointer which concerns on 1st embodiment. 第一の実施形態に係る暗証番号入力画面の表示例である。It is an example of a display of the PIN code input screen which concerns on 1st embodiment. 第二の実施形態においてダミーの軌跡情報を生成する例である。It is an example which produces | generates dummy locus | trajectory information in 2nd embodiment. 第二の実施形態に係る暗証番号入力画面の表示例である。It is a display example of a personal identification number input screen according to the second embodiment. 第三の実施形態に係る暗証番号入力画面の例である。It is an example of the PIN code input screen which concerns on 3rd embodiment. 第三の実施形態に係る暗証番号入力画面を詳細に説明する図である。It is a figure explaining the PIN code input screen concerning a third embodiment in detail. 従来技術に係る入力画面の例である。It is an example of the input screen which concerns on a prior art.

図1は、本発明に係る情報入力装置が扱うデータの流れを簡単に説明する図である。本発明に係る情報入力装置は、利用者が行った操作の内容を入力デバイスから取得し、対応する第一の表示を生成する。また、利用者が行った操作と類似するダミーの操作内容を生成し、対応する第二の表示を生成する。第一の表示および第二の表示は合成され、表示装置へ出力される。この動作を実現するためのシステム構成について、各実施形態にて説明する。   FIG. 1 is a diagram for briefly explaining the flow of data handled by the information input device according to the present invention. The information input device according to the present invention acquires the content of the operation performed by the user from the input device, and generates a corresponding first display. Further, a dummy operation content similar to the operation performed by the user is generated, and a corresponding second display is generated. The first display and the second display are combined and output to the display device. A system configuration for realizing this operation will be described in each embodiment.

(第一の実施形態)
<システム構成>
第一の実施形態に係る情報入力装置について説明する。第一の実施形態に係る情報入力装置は、利用者がマウスを操作することによって画面上に表示されたマウスポインタを移動させ、同じく画面上に表示された仮想キーボードの文字を押下することでパスワードを入力する装置である。
(First embodiment)
<System configuration>
The information input device according to the first embodiment will be described. The information input device according to the first embodiment moves the mouse pointer displayed on the screen by the user operating the mouse, and presses the characters on the virtual keyboard that are also displayed on the screen to Is a device for inputting.

図2は、本実施形態に係る情報入力装置のシステム構成図である。情報入力装置100は、ハードウェアとしてCPUと主記憶装置、補助記憶装置(いずれも不図示)を備えたコンピュータである。補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、CPUによって実行されることによって図1に図示した各機能が実現される。なお、情報入力装置100の全部または一部は、専用に設計された回路を用いて実行されてもよい。   FIG. 2 is a system configuration diagram of the information input apparatus according to the present embodiment. The information input device 100 is a computer including a CPU, a main storage device, and an auxiliary storage device (all not shown) as hardware. The programs stored in the auxiliary storage device are loaded into the main storage device and executed by the CPU, thereby realizing the functions shown in FIG. Note that all or part of the information input device 100 may be executed using a circuit designed for exclusive use.

情報入力装置100は、入力デバイス101、操作取得部102、ダミー操作生成部103、表示制御部104を有して構成される。また、情報入力装置100には表示装置200が接続されている。   The information input device 100 includes an input device 101, an operation acquisition unit 102, a dummy operation generation unit 103, and a display control unit 104. A display device 200 is connected to the information input device 100.

入力デバイス101は、利用者によって操作されるヒューマンインタフェースデバイスである。入力デバイスは、マウスのようにポインタを移動させることで画面上の座標を指定するものであってもよいし、タッチパネルのように座標を直接指定するものであってもよい。本実施形態においては、入力デバイスとはマウスである。   The input device 101 is a human interface device operated by a user. The input device may be one that designates coordinates on the screen by moving a pointer like a mouse, or one that designates coordinates directly like a touch panel. In the present embodiment, the input device is a mouse.

操作取得部102およびダミー操作生成部103、表示制御部104は、本発明における表示制御手段である。
操作取得部102は、入力デバイス101から操作情報、すなわち利用者が行った操作の内容を取得する手段である。例えば、入力デバイスが画面上のポインタを移動させるものであった場合、操作取得部102はポインタが移動する方向や距離を操作情報として取得することができ、入力デバイスが直接座標を指定するものであった場合、指定された座標を操作情報として取得することができる。また、操作取得部102は、取得した操作情報を外部(例えば、情報入力装置と接続された情報処理装置)に出力する機能を有している。
The operation acquisition unit 102, the dummy operation generation unit 103, and the display control unit 104 are display control means in the present invention.
The operation acquisition unit 102 is a means for acquiring operation information, that is, the content of an operation performed by the user from the input device 101. For example, when the input device moves the pointer on the screen, the operation acquisition unit 102 can acquire the direction and distance that the pointer moves as operation information, and the input device directly designates coordinates. If there is, the designated coordinates can be acquired as the operation information. Further, the operation acquisition unit 102 has a function of outputting the acquired operation information to the outside (for example, an information processing device connected to the information input device).

ダミー操作生成部103は、利用者が行った操作の内容に類似するダミーの操作情報(以下、ダミー操作情報)を生成する手段である。ダミー操作生成部103には、あらかじめ記録された、マウスポインタのダミーの軌跡である軌跡情報が複数記憶されており、ダミー操作生成部103は、使用する軌跡をランダムに選択したうえで、選択した軌跡に対応する操作情報を生成する。なお、ダミー操作生成部103に記憶される複数の軌跡情報は、どのようにして生成されても良い。例えば、情報入力装置100の設計者があらかじめ軌跡情報を生成してダミー操作生成部103に記憶させても良い。また、情報入力装置100の利用者が設定情報として軌跡情報を入力してダミー操作生成部103に記憶させても良い。あるいは、情報入力装置100に対して利用者が過去に入力した操作情報を、ダミー操作生成部103に軌跡情報として記憶しても良い。   The dummy operation generation unit 103 is means for generating dummy operation information (hereinafter referred to as dummy operation information) similar to the content of the operation performed by the user. The dummy operation generation unit 103 stores a plurality of pieces of locus information that are recorded in advance as dummy locuses of the mouse pointer. The dummy operation generation unit 103 selects a locus to be used after selecting it at random. Operation information corresponding to the trajectory is generated. The plurality of pieces of trajectory information stored in the dummy operation generation unit 103 may be generated in any way. For example, the designer of the information input device 100 may generate trajectory information in advance and store it in the dummy operation generation unit 103. Further, the user of the information input device 100 may input trajectory information as setting information and store it in the dummy operation generation unit 103. Alternatively, operation information previously input by the user to the information input device 100 may be stored as trajectory information in the dummy operation generation unit 103.

表示制御部104は、二つの機能を有している。一つは、操作取得部102およびダミー操作生成部103から操作情報あるいはダミー操作情報を取得し、各々の操作情報に基づいて表示を生成する機能である。例えば操作内容がマウスの移動であった場合、取得した軌跡に従ってマウスポインタを移動させる表示を生成する。同様に、ダミー操作情報に対応する表示も生成する。
もう一つは、生成した表示を合成して表示装置に出力する機能である。これにより、表示装置の画面上では、利用者の操作に係る本物のマウスポインタ(操作情報に対応する表示)とダミーのマウスポインタ(ダミー操作情報に対応する表示)が同時に表示される。
なお、本実施形態においては、本物とダミーのマウスポインタは、移動の軌跡が異なるだけであり、その外観(形状、色彩等)は同一とする。
The display control unit 104 has two functions. One is a function of acquiring operation information or dummy operation information from the operation acquisition unit 102 and the dummy operation generation unit 103 and generating a display based on each operation information. For example, when the operation content is mouse movement, a display for moving the mouse pointer according to the acquired locus is generated. Similarly, a display corresponding to the dummy operation information is also generated.
The other is a function of combining the generated displays and outputting them to the display device. As a result, a real mouse pointer (display corresponding to the operation information) and a dummy mouse pointer (display corresponding to the dummy operation information) related to the user's operation are displayed simultaneously on the screen of the display device.
In the present embodiment, the real and dummy mouse pointers differ only in their movement trajectories and have the same appearance (shape, color, etc.).

表示装置200は、情報入力装置100に接続され、生成された表示を利用者に提示する手段であり、本実施形態においてはディスプレイ装置である。   The display device 200 is connected to the information input device 100 and is a means for presenting the generated display to the user. In the present embodiment, the display device 200 is a display device.

<処理フロー>
本実施形態に係る情報入力装置が行う処理の詳細を、情報入力装置100の処理フローチャートである図3を参照しながら説明する。
<Processing flow>
Details of processing performed by the information input device according to the present embodiment will be described with reference to FIG. 3 which is a processing flowchart of the information input device 100.

利用者が、入力デバイス101を通して入力操作を行うと、操作取得部102が操作の
内容である操作情報を取得する(S11)。本実施形態の場合、利用者はマウスポインタを移動させることで画面に表示された文字を選択するという操作を行うため、操作取得部102は、マウスポインタの移動方向および移動量を操作情報として取得することができる。なお、操作取得部102は、マウスが移動したというイベントが発生するごとに操作情報の取得を行うため、一回のマウス操作で複数個の操作情報が取得される。操作情報は、取得されるごとにダミー操作生成部103および表示制御部104へ送信される。
When the user performs an input operation through the input device 101, the operation acquisition unit 102 acquires operation information that is the content of the operation (S11). In the case of the present embodiment, since the user performs an operation of selecting a character displayed on the screen by moving the mouse pointer, the operation acquisition unit 102 acquires the moving direction and moving amount of the mouse pointer as operation information. can do. Since the operation acquisition unit 102 acquires operation information every time an event that the mouse has moved occurs, a plurality of operation information is acquired by a single mouse operation. The operation information is transmitted to the dummy operation generation unit 103 and the display control unit 104 every time it is acquired.

続いて表示制御部104は、受信した操作情報に基づいて、対応する第一の表示を生成する(S12)。すなわち、表示装置に対する、マウスポインタを移動させながら描画を行うという信号が複数回生成される。   Subsequently, the display control unit 104 generates a corresponding first display based on the received operation information (S12). That is, a signal for drawing while moving the mouse pointer to the display device is generated a plurality of times.

ステップS12の動作と並行して、ダミー操作生成部103では、ダミー操作情報の生成が行われる(S13)。
ダミー操作情報とは、前述したように、利用者が行った操作と類似するダミーの操作情報である。第一の実施形態では、ダミー操作生成部103は事前に記憶された軌跡情報を用いてダミー操作情報を生成する。図4は、ダミー操作生成部103に記憶された軌跡情報の例である。ダミー操作生成部103には、このような軌跡情報が複数記憶されており、ダミー操作生成部103は、ダミー操作情報を生成する際にいずれか一つをランダムに選択する。本例では、図4に示した軌跡401を用いてダミー操作情報を生成するものとする。つまり、軌跡401に沿ってポインタを移動させるための移動方向および移動量がダミー操作情報として生成され、表示制御部104へ逐次送信される。ダミー操作情報を生成する際のポインタの移動量は、利用者の操作によるマウスポインタの移動量と同等とすることが好ましい。
In parallel with the operation in step S12, the dummy operation generation unit 103 generates dummy operation information (S13).
As described above, the dummy operation information is dummy operation information similar to the operation performed by the user. In the first embodiment, the dummy operation generation unit 103 generates dummy operation information using trajectory information stored in advance. FIG. 4 is an example of trajectory information stored in the dummy operation generation unit 103. A plurality of such trajectory information is stored in the dummy operation generation unit 103, and the dummy operation generation unit 103 randomly selects one when generating the dummy operation information. In this example, dummy operation information is generated using the trajectory 401 shown in FIG. That is, a moving direction and a moving amount for moving the pointer along the trajectory 401 are generated as dummy operation information and sequentially transmitted to the display control unit 104. The amount of movement of the pointer when generating dummy operation information is preferably equal to the amount of movement of the mouse pointer by the user's operation.

続いて表示制御部104が、ステップS12と同様に、受信したダミー操作情報に基づいて対応する第二の表示を生成する(S14)。すなわち、ダミーの軌跡である軌跡401に従ってマウスポインタを移動させるという信号が生成される。   Subsequently, the display control unit 104 generates a corresponding second display based on the received dummy operation information as in step S12 (S14). That is, a signal for moving the mouse pointer in accordance with the trajectory 401 that is a dummy trajectory is generated.

続いて表示制御部104は、生成した二つの表示を合成し、表示装置200に対する描画信号を生成して表示装置200へ出力する(S15)。これにより、利用者が操作を行っているマウスポインタと、生成されたダミーのマウスポインタが同一の画面に重なって描画される。   Subsequently, the display control unit 104 combines the two generated displays, generates a drawing signal for the display device 200, and outputs the drawing signal to the display device 200 (S15). As a result, the mouse pointer operated by the user and the generated dummy mouse pointer are drawn on the same screen.

なお、ステップS13によって生成されるダミー操作情報は複数個であってもよく、それぞれのダミー操作情報は異なる軌跡情報をもとに生成されるものであってもよい。この場合、ステップS14で該当する数の第二の表示がそれぞれ生成され、ステップS15で合成された結果、複数個のダミーポインタが画面に出力される。   Note that there may be a plurality of dummy operation information generated in step S13, and each dummy operation information may be generated based on different trajectory information. In this case, a corresponding number of second displays are respectively generated in step S14, and as a result of combining in step S15, a plurality of dummy pointers are output to the screen.

画面の例を参照しながら具体的に説明する。図5は、利用者がマウスポインタの移動操作を行った場合の画面表示を説明する図である。なお、図5において、マウスポインタの色を変えているが、これは同一色のポインタが同一時刻に表示されることを示すためである。
操作開始時、マウスポインタが図5中(A)の位置にあったとし、利用者がマウスを操作してポインタを(A1)の位置に移動させたとする。このとき、操作取得部102から表示制御部104へは、実線で示した軌跡に該当する操作情報が逐次送信される。同時に、ダミー操作生成部103は、図4に示した軌跡401を用いてダミー操作情報を生成する。ダミー操作生成部103から表示制御部104へは、軌跡401のうち、利用者の操作による移動距離分に相当する、点線で示した軌跡に該当する操作情報が逐次送信される。
This will be specifically described with reference to an example of the screen. FIG. 5 is a diagram for explaining a screen display when the user performs an operation of moving the mouse pointer. In FIG. 5, the color of the mouse pointer is changed to show that the same color pointer is displayed at the same time.
Assume that the mouse pointer is at the position (A) in FIG. 5 when the operation is started, and the user operates the mouse to move the pointer to the position (A1). At this time, operation information corresponding to the locus indicated by the solid line is sequentially transmitted from the operation acquisition unit 102 to the display control unit 104. At the same time, the dummy operation generation unit 103 generates dummy operation information using the trajectory 401 shown in FIG. From the dummy operation generation unit 103 to the display control unit 104, operation information corresponding to the locus indicated by the dotted line corresponding to the movement distance by the user's operation in the locus 401 is sequentially transmitted.

そして、表示制御部104が、実線の軌跡を用いて第一の表示を、点線の軌跡を用いて第二の表示を生成し、合成して表示装置に出力する。この結果、ポインタは(A)の位置から二つに分かれ、(A1)と(B1)の二箇所に移動する。つまり、位置(A1)にある本物のポインタ501に対して、ダミーポインタ502は無関係な位置(B1)を指し示すこととなる。利用者がさらにマウスを移動させると、本物のポインタ501は操作に対応した位置に移動し、ダミーポインタ502は、ポインタ501が移動した距離の分だけ軌跡401を辿ってさらに移動する。   Then, the display control unit 104 generates a first display using the solid line trajectory and generates a second display using the dotted line trajectory, combines them, and outputs them to the display device. As a result, the pointer is divided into two from the position (A) and moved to two positions (A1) and (B1). That is, the dummy pointer 502 points to an irrelevant position (B1) with respect to the real pointer 501 at the position (A1). When the user further moves the mouse, the real pointer 501 moves to a position corresponding to the operation, and the dummy pointer 502 further moves along the locus 401 by the distance the pointer 501 has moved.

このように、第一の実施形態によると、画面上に同一形状をしたダミーポインタが表示されるため、画面を覗き見ている者にとっては、どれが本物のポインタであるか認識することができず、利用者が何を指し示そうとしているのかを知ることができない。一方、利用者は、自分が行った操作の通りに動いている、すなわち自分が行ったマウス操作の方向と移動の方向が一致しているポインタが本物であると容易に認識することができる。   As described above, according to the first embodiment, since the dummy pointer having the same shape is displayed on the screen, it is possible for a person looking into the screen to recognize which is a real pointer. Without knowing what the user is pointing to. On the other hand, the user can easily recognize that the pointer moving in accordance with the operation performed by the user, that is, the pointer in which the direction of the mouse operation performed by the user matches the direction of the movement is genuine.

以上に説明した実施形態を、インターネットバンキングのパスワード入力画面に適用した場合の表示例が図6である。当該画面では、画面に表示された文字を選択することによってパスワードを入力する。画面に表示される本物のポインタは一つであるが、複数のダミーポインタが画面内を異なる方向に移動するため、たとえ画面を覗き見たとしても、利用者がどの文字を指しているのかを把握することは極めて困難となる。   FIG. 6 shows a display example when the embodiment described above is applied to a password input screen for Internet banking. On the screen, a password is input by selecting a character displayed on the screen. Although there is only one real pointer displayed on the screen, multiple dummy pointers move in different directions on the screen, so even if you look into the screen, you can see which character the user is pointing to. It is extremely difficult to grasp.

第一の実施形態では、マウスによってポインタを移動させる形態について述べたが、画面上のポインタを動かすことができれば、入力デバイスはマウスに限られない。例えば、タッチパッドであってもよいし、トラックポイント(登録商標)のようなポインティングスティックであってもよい。入力デバイスが、指の動きが少ないスティックタイプであれば、たとえ画面と同時に利用者の手元を盗撮したとしても、利用者がどこを指し示そうとしているのかを判別することはほぼ不可能となる。   In the first embodiment, the mode in which the pointer is moved by the mouse has been described. However, the input device is not limited to the mouse as long as the pointer on the screen can be moved. For example, it may be a touch pad or a pointing stick such as TrackPoint (registered trademark). If the input device is a stick type with little finger movement, it is almost impossible to determine where the user is pointing even if the user's hand is sneak at the same time as the screen. .

また、携帯情報端末のようにタッチパネルのみを有し、画面上の座標を直接指定する機器であっても、画面上にポインタを追加することで第一の実施形態を適用することができる。この場合、例えばタッチパネルの一部分をタッチパッドとして使用し、ポインタの操作に用いてもよい。   Further, the first embodiment can be applied by adding a pointer on the screen even if the device has only a touch panel like a portable information terminal and directly designates coordinates on the screen. In this case, for example, a part of the touch panel may be used as a touch pad and used for a pointer operation.

なお、実施形態の説明では、あらかじめ記憶された軌跡を用いてダミー操作情報を生成したが、他の利用者が行った操作の内容を記憶しておき、当該操作内容を用いてダミー操作情報を生成してもよい。例えば、ある利用者が入力操作を行った際のポインタの軌跡を軌跡情報に追加し、別の利用者が装置を利用する際に使用してもよい。   In the description of the embodiment, the dummy operation information is generated using the trajectory stored in advance. However, the contents of the operation performed by another user are stored, and the dummy operation information is stored using the operation content. It may be generated. For example, a locus of a pointer when a certain user performs an input operation may be added to the locus information and used when another user uses the apparatus.

(第二の実施形態)
第一の実施形態では、事前に記憶された軌跡情報を利用してダミー操作情報を生成したが、第二の実施形態では軌跡情報を用いず、利用者が行った操作に基づいてダミー操作情報を自動で生成する。すなわち、入力デバイスから入力される操作情報に基づいて、本物のマウスポインタの表示とダミーのマウスポインタの表示の両方を行う。第二の実施形態に係るシステム構成は、ダミー操作生成部103が軌跡情報を記憶していないこと以外は、第一の実施形態と同様である。また、以下で説明するステップ以外の動作は第一の実施形態と同様である。
(Second embodiment)
In the first embodiment, dummy operation information is generated using trajectory information stored in advance, but in the second embodiment, dummy operation information is used based on an operation performed by a user without using trajectory information. Is automatically generated. That is, based on the operation information input from the input device, both real mouse pointer display and dummy mouse pointer display are performed. The system configuration according to the second embodiment is the same as that of the first embodiment, except that the dummy operation generation unit 103 does not store trajectory information. The operations other than the steps described below are the same as those in the first embodiment.

第二の実施形態におけるダミー操作生成部103は、利用者が行った操作の内容を一部変更して、ダミー操作情報として出力する手段である。例えば、操作取得部102が取得した操作の内容が、「マウスポインタを100ピクセル分上方向へ移動」するものであった場合、ダミー操作生成部103は「マウスポインタを100ピクセル分右方向へ移動」
といったように、その操作内容を一部変更したものをダミー操作情報として出力する。
The dummy operation generation unit 103 according to the second embodiment is a unit that partially changes the content of the operation performed by the user and outputs it as dummy operation information. For example, when the content of the operation acquired by the operation acquisition unit 102 is “move the mouse pointer upward by 100 pixels”, the dummy operation generation unit 103 “moves the mouse pointer rightward by 100 pixels” "
As described above, the operation contents partially changed are output as dummy operation information.

ステップS13にて、ダミー操作生成部103が行うダミー操作情報の生成方法について説明する。本実施形態では、利用者が行った操作情報の一部をステップS13にて書き換え、当該操作情報をダミー操作情報として用いる。書き換えは、具体的には下記のような方法によって行うことができる。
(1)操作情報がポインタの移動である場合、その移動方向を変更する
(2)操作情報がポインタの移動である場合、その移動方向ならびに移動距離を変更する(3)操作情報が座標の指定である場合、その座標を変更する
移動方向の変更は、たとえば利用者が行った操作の方向に特定の角度を加算することで行うことができる。また、移動距離の変更は、利用者が行った操作の移動距離に特定の係数を乗算することで行うことができる。このようにすることで、ダミーポインタの位置が利用者の操作とは無関係な場所を示すようになる。本実施形態では、上記(1)の方法を用いる。
A method for generating dummy operation information performed by the dummy operation generation unit 103 in step S13 will be described. In the present embodiment, part of the operation information performed by the user is rewritten in step S13, and the operation information is used as dummy operation information. Specifically, the rewriting can be performed by the following method.
(1) If the operation information is a movement of the pointer, change the movement direction. (2) If the operation information is a movement of the pointer, change the movement direction and the movement distance. (3) The operation information specifies the coordinates. If it is, the coordinates are changed. The movement direction can be changed, for example, by adding a specific angle to the direction of the operation performed by the user. The movement distance can be changed by multiplying the movement distance of the operation performed by the user by a specific coefficient. By doing so, the position of the dummy pointer indicates a place unrelated to the user's operation. In the present embodiment, the method (1) is used.

図7は、利用者がマウスポインタの移動操作を行った場合の、ダミー操作情報の生成方法を説明する図である。なお、図7において、マウスポインタの色を変えているが、これは同一色のポインタが同一時刻に表示されることを示すためである。
利用者が操作を開始する際、マウスポインタが図7中(A)の位置にあったとする。利用者が、マウスを上方向(0度方向)に操作してポインタを(A1)の位置に移動させると、ダミー操作生成部103および表示制御部104には(A)から(A1)への移動経路が送信される。本例では、ダミー操作生成部103は、移動方向を時計回りに90度分だけ変更したものをダミー操作情報として出力する。変更された移動方向は右方向(90度方向)となるため、ダミー操作情報によるポインタの位置は(B1)となる。同様に、ポインタを右方向(90度方向)に操作して(A2)の位置に移動させると、ダミー操作情報による移動方向は下方向(180度方向)となるため、ポインタの位置は(B2)となる。
FIG. 7 is a diagram for explaining a method of generating dummy operation information when the user performs a mouse pointer movement operation. In FIG. 7, the color of the mouse pointer is changed to indicate that the same color pointer is displayed at the same time.
It is assumed that when the user starts the operation, the mouse pointer is at the position (A) in FIG. When the user operates the mouse upward (0 degree direction) to move the pointer to the position (A1), the dummy operation generation unit 103 and the display control unit 104 change from (A) to (A1). A travel route is transmitted. In this example, the dummy operation generation unit 103 outputs information obtained by changing the movement direction by 90 degrees clockwise as dummy operation information. Since the changed moving direction is the right direction (90-degree direction), the position of the pointer based on the dummy operation information is (B1). Similarly, when the pointer is operated to the right (90 degrees) and moved to the position (A2), the movement direction based on the dummy operation information is downward (180 degrees), so the position of the pointer is (B2 )

図8は、本実施形態を図6の例に適用した場合の表示例である。本例では、本物のポインタ801のほか、ダミーポインタを4つ生成し、それぞれの移動方向について別々の角度を加算する。これにより、5つのポインタが別々の方向に動くため、第三者が画面を見てもどれが本物のポインタであるかを判別することは困難となる。また、ダミーポインタは、本物のポインタと同一の方向に動くことがないため、利用者はどれが本物のポインタであるかを容易に判別することができる。   FIG. 8 shows a display example when the present embodiment is applied to the example of FIG. In this example, in addition to the real pointer 801, four dummy pointers are generated, and different angles are added for each moving direction. Thus, since the five pointers move in different directions, it is difficult for a third party to see which one is a real pointer even when viewing the screen. Further, since the dummy pointer does not move in the same direction as the real pointer, the user can easily determine which is the real pointer.

このように、第二の実施形態では、利用者が行った操作からダミーの軌跡情報を機械的に生成するため、全てのポインタが類似した挙動を示し、かつ、各ポインタがばらばらな位置を指し示すという特徴がある。   As described above, in the second embodiment, since dummy trajectory information is mechanically generated from an operation performed by the user, all pointers exhibit similar behaviors, and each pointer indicates a disjoint position. There is a feature.

なお、図7の例では、本物のポインタの初期位置(A)を開始位置としてダミーポインタの描画を始めたが、ダミーポインタの描画を開始する位置は、画面上のランダムな位置としてもよい。また、画面を領域で分割し、それぞれの領域において加算する角度や乗算する係数を変更してもよいし、所定の間隔で加算および乗算する値を変更してもよい。   In the example of FIG. 7, the drawing of the dummy pointer is started with the initial position (A) of the real pointer as the start position, but the position where the drawing of the dummy pointer is started may be a random position on the screen. Further, the screen may be divided into regions, and the angle to be added and the coefficient to be multiplied in each region may be changed, or the value to be added and multiplied at a predetermined interval may be changed.

(第三の実施形態)
第一および第二の実施形態は、利用者がマウスを操作することによって画面上のポインタを動かす形態であるが、第三の実施形態は、利用者がタッチパネルを操作することによって、画面に表示された仮想キーボードを押下する形態である。第三の実施形態に係るシステム構成は第二の実施形態と同様である。また、以下で説明するステップ以外の動作は第一の実施形態と同様である。
(Third embodiment)
In the first and second embodiments, the user moves the pointer on the screen by operating the mouse. However, the third embodiment displays on the screen by operating the touch panel by the user. In this mode, the virtual keyboard is pressed. The system configuration according to the third embodiment is the same as that of the second embodiment. The operations other than the steps described below are the same as those in the first embodiment.

第三の実施形態における入力デバイス101は、操作画面に備えられたタッチパネルである。パネル上の任意の場所を指で押下することによって、操作画面上の位置を指定することができる。本実施形態では、タッチパネルである入力デバイス101を通して、暗証番号を入力する形態について説明する。図9は、表示装置200を通して利用者に表示される暗証番号入力画面である。利用者は、表示された数字を押下することによって暗証番号の入力を行う。   The input device 101 in the third embodiment is a touch panel provided on the operation screen. A position on the operation screen can be specified by pressing an arbitrary place on the panel with a finger. In the present embodiment, a mode in which a personal identification number is input through the input device 101 that is a touch panel will be described. FIG. 9 is a personal identification number input screen displayed to the user through the display device 200. The user inputs the personal identification number by pressing the displayed number.

本実施形態における処理ステップについて説明する。ステップS11では、操作取得部102が、押下された画面上の位置を操作情報として取得する。ここでは仮に、利用者が3という数字を選択したとすると、「“3”キーに対応する位置が押下された」という操作情報が操作取得部102によって取得され、ダミー操作生成部103および表示制御部104に送信される。   Processing steps in this embodiment will be described. In step S11, the operation acquisition unit 102 acquires the pressed position on the screen as operation information. Here, assuming that the user selects the number 3, operation information “the position corresponding to the“ 3 ”key has been pressed” is acquired by the operation acquisition unit 102, and the dummy operation generation unit 103 and the display control are performed. Transmitted to the unit 104.

続いて、ステップS12では、表示制御部104が、受信した操作情報に基づいて対応する第一の表示を生成する。ここでは、押下された位置に対応する数字の表示をへこませるアニメーションを行うものとする。従って本例では、図9のように仮想キーボードの“3”を表すキー部分がへこんだ表示が、表示制御部104によって生成される。   Subsequently, in step S12, the display control unit 104 generates a corresponding first display based on the received operation information. Here, it is assumed that an animation is performed to dent the display of the number corresponding to the pressed position. Accordingly, in this example, the display control unit 104 generates a display in which the key portion representing “3” of the virtual keyboard is recessed as shown in FIG.

ステップS12の動作と並行して、ダミー操作生成部103では、ダミー操作情報の生成が行われる(S13)。本実施形態では、ダミー操作生成部103が、利用者が指定した座標を変更することでダミー操作情報を生成する。ここでは、「押下されたキー以外のキーに対応する領域のうち、ランダムに決定された座標が押下された」というダミー操作情報を生成するものとする。これにより、例えば「“4”キーに対応する位置が押下された」というダミー操作情報が生成され、表示制御部104へ送信される。表示制御部104は、受信したダミー操作情報に基づいて、対応する第二の表示を生成する(S14)。すなわち、仮想キーボードの“4”を表すキーの部分がへこんだ表示が生成される。   In parallel with the operation in step S12, the dummy operation generation unit 103 generates dummy operation information (S13). In the present embodiment, the dummy operation generation unit 103 generates dummy operation information by changing the coordinates specified by the user. Here, it is assumed that dummy operation information that “randomly determined coordinates have been pressed out of an area corresponding to a key other than the pressed key” is generated. Thereby, for example, dummy operation information “a position corresponding to the“ 4 ”key has been pressed” is generated and transmitted to the display control unit 104. The display control unit 104 generates a corresponding second display based on the received dummy operation information (S14). That is, a display in which the key portion representing “4” of the virtual keyboard is recessed is generated.

続いて表示制御部104は、生成した第一の表示および第二の表示を合成し、表示装置200に対する描画信号を生成したうえで表示装置200へ出力する(S15)。これにより、図10(a)に示したように、利用者が押下した“3”キーの他に、“4”キーも同時に押されたかのような表示が画面に描画される。   Subsequently, the display control unit 104 synthesizes the generated first display and second display, generates a drawing signal for the display device 200, and outputs it to the display device 200 (S15). As a result, as shown in FIG. 10A, a display is displayed on the screen as if the “4” key was simultaneously pressed in addition to the “3” key pressed by the user.

第三の実施形態では、利用者が画面上の座標を直接指定する入力形態において、指定された座標と異なる座標が指定されたというダミー操作情報を生成する。これにより、たとえ操作画面の表示データ(スクリーンショット)を攻撃者が取得したとしても、第一および第二の実施形態と同様に、利用者によって選択された文字を把握することが困難になる。   In the third embodiment, dummy operation information that a coordinate different from the designated coordinate is designated is generated in the input form in which the user directly designates the coordinate on the screen. Thereby, even if the attacker acquires display data (screen shot) of the operation screen, it is difficult to grasp the character selected by the user as in the first and second embodiments.

本実施形態においても、第一および第二の実施形態と同様に、複数のダミー操作情報を生成してもよい。例えば、利用者の操作に対して、それぞれ別の座標を指定する3つのダミー操作情報を生成した場合、その画面表示は図10(b)のようになり、スクリーンショットに基づく暗証番号の盗取を一層困難なものとすることができる。   Also in this embodiment, a plurality of dummy operation information may be generated as in the first and second embodiments. For example, if three pieces of dummy operation information designating different coordinates are generated in response to the user's operation, the screen display is as shown in FIG. 10B, and the password is stolen based on the screen shot. Can be made more difficult.

なお、本実施形態では、操作に対応する表示として仮想キーボードの押下アニメーションを出力する例を挙げたが、例えば表示は選択箇所をハイライトするものであってもよいし、色を変更するものであってもよい。表示の形態は必要に応じて変更することができる。   In this embodiment, an example in which a virtual keyboard pressing animation is output as a display corresponding to an operation has been described. However, for example, the display may highlight a selected portion or change a color. There may be. The display form can be changed as necessary.

(変形例)
各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。例えば、第一の実施形態と第三の実施形態を組み合わせ、ダミーのマウスポインタを複数表示したうえで、数字を押下する際には数字の押下アニメーションを複数表示してもよい。
(Modification)
The description of each embodiment is an exemplification for explaining the present invention, and the present invention can be appropriately modified or combined in a range not departing from the gist of the invention. For example, the first embodiment and the third embodiment may be combined to display a plurality of dummy mouse pointers and display a plurality of number pressing animations when pressing a number.

また、ダミー操作生成部103がダミー操作情報を生成する際は、ダミーポインタが所定の領域から外に出ないように制御してもよい。この所定の領域は、本物のマウスポインタが移動可能な領域(マウスポインタ移動領域)と同じにすることが好ましい。たとえば、マウスによる仮想キーボードの入力画面においては、マウスポインタおよびダミーポインタの移動領域を仮想キーボードの表示範囲と一致させること良い。ダミーポインタが仮想キーボードの範囲から外れ、何も無い場所で動いていると、当該ポインタは本物ではないと推測できてしまうが、このようにすることで真贋の判別がより困難となる。   Further, when the dummy operation generation unit 103 generates dummy operation information, control may be performed so that the dummy pointer does not go out of a predetermined area. This predetermined area is preferably the same as an area where the real mouse pointer can move (mouse pointer movement area). For example, on a virtual keyboard input screen using a mouse, it is preferable that the moving area of the mouse pointer and the dummy pointer be matched with the display range of the virtual keyboard. If the dummy pointer moves out of the range of the virtual keyboard and moves in an empty place, it can be assumed that the pointer is not genuine, but this makes it more difficult to determine authenticity.

ダミーポインタが所定の領域から外に出ないようにするための制御としては、以下の方法が考えられる。第1の方法は、所定の領域から外に出ようとするポインタを停止させる方法である。第2の方法は、所定の領域を外れて移動しようとするポインタの移動方向を反転させる方法である。すなわち、X座標の最大値を超えてXを増やす方向に移動する場合には、例えば、Xを減らす方向に移動させるようにする。第3の方法は、領域の両端が接続されているものとみなして、ポインタをループさせる方法である。すなわち、X座標の最大値を超えてXを増やす方向に移動する場合には、X座標の最小値の位置にポインタを出現させ、Xを増やす方向に移動させるようにする。   As a control for preventing the dummy pointer from going out of a predetermined area, the following method can be considered. The first method is a method of stopping a pointer that tries to go out of a predetermined area. The second method is a method of reversing the moving direction of the pointer that moves out of a predetermined area. That is, when moving in the direction of increasing X beyond the maximum value of the X coordinate, for example, it is moved in the direction of decreasing X. The third method is a method of looping the pointer on the assumption that both ends of the area are connected. That is, when moving in the direction of increasing X beyond the maximum value of the X coordinate, the pointer appears at the position of the minimum value of the X coordinate and moved in the direction of increasing X.

同様に、ダミーポインタが本来のポインタから離れすぎないように移動速度および方向を調節してもよい。このようにすることで、ダミーポインタが操作対象の領域から極端に離れることによる不自然さを無くすことができる。   Similarly, the moving speed and direction may be adjusted so that the dummy pointer does not move too far from the original pointer. By doing so, it is possible to eliminate the unnaturalness caused by the dummy pointer being extremely away from the operation target area.

また、表示制御部104は、適当なタイミングで画面上のポインタの位置をリセットし、あるいは新たに割り当て直してもよい。すなわち、ダミーポインタと本物のポインタを入れ替える、または全てのポインタを新たな位置で再描画する等の処理を行ってもよい。新たな位置は、全てのポインタについて同じ位置としても良いし、異なる位置としても良い。このような処理を行うタイミングは、例えば、一定時間ごと、ランダム時間ごと、入力デバイスから移動以外の操作情報(マウスのクリック入力など)を受け取ったタイミングなどとすることができる。例えば、暗証番号を入力する画面上に「確定」キーがあった場合、最終的に確定キーの上に来るポインタが本物であると推測できてしまうが、ポインタ位置のリセット処理を導入することで、リセット処理をまたいでの追跡は不可能となる。   The display control unit 104 may reset the position of the pointer on the screen or reassign it at an appropriate timing. That is, processing such as swapping dummy pointers and real pointers or redrawing all pointers at new positions may be performed. The new position may be the same position for all pointers or may be a different position. The timing for performing such processing can be, for example, a timing at which operation information other than movement (such as mouse click input) is received from the input device at regular time intervals, random time intervals, or the like. For example, if there is a “confirm” key on the screen for entering a password, it can be assumed that the pointer that finally comes over the confirm key is genuine, but by introducing a pointer position reset process, It is impossible to track across reset processes.

上述の実施形態においては、本物のマウスポインタとダミーポインタの外観を同一のものとして説明したが、ダミーポインタの外観は本物のマウスポインタと異なっていても良い。例えば、ダミーポインタの形状を変えても良いし、色彩を変えても良いし、それら両方を変えても良い。このように区別することで利用者は本物のマウスポインタの追跡が容易になるという効果が得られる一方、第三者は本物がどれであるか分からないという効果も保たれる。このようにポインタの外観を変える場合には、第三者が追跡できないようにするために、適当なタイミングで本物のマウスポインタとダミーポインタの外観を変更することが好ましい。変更タイミングについては、上記の表示位置のリセットタイミングと同様のタイミングとすればよい。ポインタの外観変更は、ポインタの表示位置変更と組み合わせて採用しても良いし、単独で採用しても良い。両方の処理を採用する場合は、それぞれの変更処理を実施するタイミングを、同じタイミングとしても良いし、異なるタイミングとしても良い。   In the above-described embodiment, the real mouse pointer and the dummy pointer are described as having the same appearance. However, the dummy pointer may be different in appearance from the real mouse pointer. For example, the shape of the dummy pointer may be changed, the color may be changed, or both of them may be changed. This distinction makes it possible for the user to easily track the real mouse pointer, while maintaining the effect that the third party does not know what the real mouse pointer is. When the appearance of the pointer is changed in this way, it is preferable to change the appearance of the real mouse pointer and the dummy pointer at an appropriate timing in order to prevent a third party from tracking. The change timing may be the same timing as the display position reset timing. The change in the appearance of the pointer may be adopted in combination with the change in the display position of the pointer, or may be adopted alone. In the case of adopting both processes, the timing for executing the respective change processes may be the same timing or different timings.

100 入力装置
101 入力デバイス
102 操作取得部
103 ダミー操作生成部
104 表示制御部
200 表示装置
DESCRIPTION OF SYMBOLS 100 Input device 101 Input device 102 Operation acquisition part 103 Dummy operation production | generation part 104 Display control part 200 Display apparatus

Claims (7)

入力デバイスを有し、前記入力デバイスによって取得された操作の内容を表示装置に出力する情報入力装置であって、
前記入力デバイスによって取得された操作に対応して動く画面表示である第一の表示を生成し、前記表示装置に出力する表示制御手段
を有し、
前記表示制御手段は、前記第一の表示と異なる動作をする画面表示である第二の表示を生成し、前記第一の表示と前記第二の表示とを合成して前記表示装置に出力する
ことを特徴とする情報入力装置。
An information input device that has an input device and outputs a content of an operation acquired by the input device to a display device,
Display control means for generating a first display that is a screen display that moves in response to an operation acquired by the input device and outputting the first display to the display device;
The display control unit generates a second display that is a screen display that operates differently from the first display, and synthesizes the first display and the second display and outputs them to the display device. An information input device characterized by that.
前記表示制御手段は、前記第二の表示が、前記第一の表示と同期して動くように、前記第一の表示および第二の表示の合成を行い、前記表示装置に出力を行う
ことを特徴とする、請求項1に記載の情報入力装置。
The display control means combines the first display and the second display so that the second display moves in synchronization with the first display, and outputs to the display device. The information input device according to claim 1, wherein the information input device is a feature.
前記入力デバイスはポインティングデバイスであり、
前記第一の表示および第二の表示は、互いに同一の外観を有する移動するポインタであり、
前記表示制御手段は、利用者が行った操作に基づいて前記第二の表示を生成する
ことを特徴とする、請求項2に記載の情報入力装置。
The input device is a pointing device;
The first display and the second display are moving pointers having the same appearance,
The information input device according to claim 2, wherein the display control unit generates the second display based on an operation performed by a user.
前記第二の表示の軌跡を複数記憶する軌跡情報記憶手段を有し、
前記表示制御手段は、前記軌跡情報記憶手段に記憶された複数の軌跡のうちいずれか一つを用いて前記第二の表示を生成する
ことを特徴とする、請求項3に記載の情報入力装置。
Trajectory information storage means for storing a plurality of trajectories of the second display;
The information input device according to claim 3, wherein the display control unit generates the second display by using any one of a plurality of trajectories stored in the trajectory information storage unit. .
前記表示制御手段は、複数の前記第二の表示を生成し、前記第一の表示と合成して前記表示装置に出力する
ことを特徴とする、請求項1から4のいずれかに記載の情報入力装置。
5. The information according to claim 1, wherein the display control unit generates a plurality of the second displays, synthesizes the first display, and outputs the combined display to the display device. Input device.
入力デバイスを有し、前記入力デバイスによって取得された操作の内容を表示装置に出力する情報入力装置が行う画面表示方法であって、
前記入力デバイスによって取得された操作に対応して動く画面表示である第一の表示を生成するステップと、
前記第一の表示と異なる動作をする画面表示である第二の表示を生成するステップと、
前記第一の表示と前記第二の表示とを合成して表示装置に出力するステップと、
を含むことを特徴とする画面表示方法。
A screen display method performed by an information input device that has an input device and outputs the content of an operation acquired by the input device to a display device,
Generating a first display that is a screen display that moves in response to an operation acquired by the input device;
Generating a second display that is a screen display that operates differently than the first display;
Combining the first display and the second display and outputting to the display device;
A screen display method comprising:
入力デバイスを有し、前記入力デバイスによって取得された操作の内容を表示装置に出力する情報入力装置に、
前記入力デバイスによって取得された操作に対応して動く画面表示である第一の表示を生成するステップと、
前記第一の表示と異なる動作をする画面表示である第二の表示を生成するステップと、
前記第一の表示と前記第二の表示とを合成して表示装置に出力するステップと、
を実行させる
ことを特徴とする情報入力プログラム。
In an information input device that has an input device and outputs the content of an operation acquired by the input device to a display device,
Generating a first display that is a screen display that moves in response to an operation acquired by the input device;
Generating a second display that is a screen display that operates differently than the first display;
Combining the first display and the second display and outputting to the display device;
An information input program characterized by causing
JP2012073604A 2012-03-28 2012-03-28 Information input apparatus, screen display method, and information input program Pending JP2015111319A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012073604A JP2015111319A (en) 2012-03-28 2012-03-28 Information input apparatus, screen display method, and information input program
PCT/JP2013/059381 WO2013147084A1 (en) 2012-03-28 2013-03-28 Information input apparatus, screen display apparatus, and information input program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012073604A JP2015111319A (en) 2012-03-28 2012-03-28 Information input apparatus, screen display method, and information input program

Publications (1)

Publication Number Publication Date
JP2015111319A true JP2015111319A (en) 2015-06-18

Family

ID=49260327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012073604A Pending JP2015111319A (en) 2012-03-28 2012-03-28 Information input apparatus, screen display method, and information input program

Country Status (2)

Country Link
JP (1) JP2015111319A (en)
WO (1) WO2013147084A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354098B2 (en) 2016-10-05 2019-07-16 Samsung Electronics Co., Ltd. Display apparatus and control method thereof

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6136188B2 (en) * 2011-12-14 2017-05-31 キヤノンマーケティングジャパン株式会社 Information processing apparatus, control method thereof, and program
JP5986334B1 (en) * 2016-05-28 2016-09-06 後藤 誠 Handling attention information browsing management program
CN107894854B (en) * 2016-10-04 2021-02-19 禾瑞亚科技股份有限公司 Touch electronic system, touch processing device and method for simulating stylus as rocker
US11209979B2 (en) 2019-05-10 2021-12-28 Microsoft Technology Licensing, Llc Systems and methods for input interfaces promoting obfuscation of user navigation and selections
US11086514B2 (en) 2019-05-10 2021-08-10 Microsoft Technology Licensing, Llc Systems and methods for obfuscating user navigation and selections directed by free-form input
US11526273B2 (en) 2019-05-10 2022-12-13 Microsoft Technology Licensing, Llc Systems and methods of selection acknowledgement for interfaces promoting obfuscation of user operations
US11301056B2 (en) 2019-05-10 2022-04-12 Microsoft Technology Licensing, Llc Systems and methods for obfuscating user selections
US11112881B2 (en) 2019-05-10 2021-09-07 Microsoft Technology Licensing, Llc. Systems and methods for identifying user-operated features of input interfaces obfuscating user navigation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08161097A (en) * 1994-12-02 1996-06-21 Matsushita Electric Ind Co Ltd Character input device
JP2006343873A (en) * 2005-06-07 2006-12-21 Canon Inc Password input device and method, and password authentication system
JP4797055B2 (en) * 2008-10-31 2011-10-19 株式会社コナミデジタルエンタテインメント Authentication device, authentication method, and program
JP2010250720A (en) * 2009-04-20 2010-11-04 Seiko Epson Corp Confidential information setting method and projector

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354098B2 (en) 2016-10-05 2019-07-16 Samsung Electronics Co., Ltd. Display apparatus and control method thereof

Also Published As

Publication number Publication date
WO2013147084A1 (en) 2013-10-03

Similar Documents

Publication Publication Date Title
WO2013147084A1 (en) Information input apparatus, screen display apparatus, and information input program
US9165132B2 (en) Method of authenticating password and portable device thereof
US10176315B2 (en) Graphical authentication
US9679121B2 (en) Unlocking electronic devices using touchscreen input gestures
US9177162B2 (en) Method and device for secured entry of personal data
US7395506B2 (en) Spy-resistant keyboard
US9262603B2 (en) Advanced authentication technology for computing devices
US9357391B1 (en) Unlocking electronic devices with touchscreen input gestures
US20150100913A1 (en) Method for providing personalized virtual keyboard
US20140366127A1 (en) Touchscreen security user input interface
US9773240B1 (en) Fake sensor input for passcode entry security
US20200356185A1 (en) Systems and methods for identifying user-operated features of input interfaces obfuscating user navigation
EP3966715A1 (en) Systems and methods for obfuscating user selections
Kwon et al. Drag-and-type: a new method for typing with virtual keyboards on small touchscreens
US20200356260A1 (en) Systems and methods for input interfaces promoting obfuscation of user navigation and selections
US20200356261A1 (en) Systems and methods of selection acknowledgement for interfaces promoting obfuscation of user operations
US20200356262A1 (en) Systems and methods for obfuscating user navigation and selections directed by free-form input
US20150199527A1 (en) Method of inputting confidential data on a terminal
KR20100095346A (en) Method of user authentication using the virtual keyboard and computer readable storage medium storing program for executing method thereof
Bianchi et al. Open sesame: Design guidelines for invisible passwords
CN108694011A (en) Generate method, system and the medium of the dynamic keypad for access code input
JP2007172071A (en) Software keyboard
KR20170094532A (en) Input system and method for security key using graphic elements
KR101488162B1 (en) Method for Displaying Input Keypad
Karam et al. An algorithm to detect midair multi-clicks gestures