CN102682520A - 信息处理设备、信息处理方法和终端设备 - Google Patents

信息处理设备、信息处理方法和终端设备 Download PDF

Info

Publication number
CN102682520A
CN102682520A CN2012100368584A CN201210036858A CN102682520A CN 102682520 A CN102682520 A CN 102682520A CN 2012100368584 A CN2012100368584 A CN 2012100368584A CN 201210036858 A CN201210036858 A CN 201210036858A CN 102682520 A CN102682520 A CN 102682520A
Authority
CN
China
Prior art keywords
input
virtual key
key information
information
importation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100368584A
Other languages
English (en)
Other versions
CN102682520B (zh
Inventor
柏谷辰起
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102682520A publication Critical patent/CN102682520A/zh
Application granted granted Critical
Publication of CN102682520B publication Critical patent/CN102682520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/42—User authentication using separate channels for security data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G07F19/205—Housing aspects of ATMs
    • G07F19/2055—Anti-skimming aspects at ATMs
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F7/00—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus
    • G07F7/08—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by coded identity card or credit card or other personal identification means
    • G07F7/10—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by coded identity card or credit card or other personal identification means together with a coded signal, e.g. in the form of personal identification information, like personal identification number [PIN] or biometric data
    • G07F7/1025—Identification of user by a PIN code
    • G07F7/1033—Details of the PIN pad
    • G07F7/1041—PIN input keyboard gets new key allocation at each use

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种信息处理设备、信息处理方法和终端设备。所述信息处理方法用于识别输入操作，该方法包括：发送用于限定虚拟输入按键的布局的虚拟按键信息。该方法进一步包括：基于所检测的输入件来确定输入位置信息。该方法也包括：通过将虚拟按键信息与输入位置信息作比较来确定按键输入。

Description

信息处理设备、信息处理方法和终端设备
技术领域
本公开涉及信息处理设备、信息处理方法、程序和终端设备。
背景技术
ATM(Automated Teller Machine，自动柜员机)和用于管理房间访问等的安全系统传统上通过使得用户输入仅被有限用户知道的诸如PIN(个人标识号)号或密码之类的机密信息来保持安全。
各种技术也用于防止因为在信息的输入期间的暗中监视(窥探)导致的在安全上的下降。例如，根据日本公开专利公报No.2002-032176，每次随机地重新布置在触摸板显示器上显示的输入按键的布局，以防止第三方根据用户的手部运动猜测机密信息。日本公开专利公报No.H10-240186限制了液晶监控器的视角，以防止暗中监视。
发明内容
然而，对于在公报No.2002-032176中的技术，虽然第三方不能仅从暗中监视用户的手部运动来知晓输入的信息，但是这样的第三方容易通过查看显示器以及用户的手部运动来知晓输入的信息。此外，虽然在公报No.H10-240186中的技术可以降低暗中监视的频率，但是它不能完全防止暗中监视的出现。
因此，期望提供一种能够显著地改善输入机密信息时的安全性的新颖和改善的信息处理设备、信息处理方法和终端设备。
因此，提供了一种用于识别输入操作的设备。所述设备包括通信单元，其被配置来发送虚拟按键信息。所述设备进一步包括输入单元，其被配置来基于所检测的输入件来确定输入位置信息。所述设备也包括确定单元，其被配置来通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入，其中，所述虚拟按键信息定义要在所述输入单元上叠加的虚拟输入按键的布局。
在另一个方面，提供了一种终端设备，用于表示虚拟按键信息。所述终端设备包括成像单元，其被配置来接收用于表示输入图像的图像数据。所述终端设备进一步包括识别单元，其被配置来基于在所述图像数据中的输入部分的特征来识别所述输入部分。所述终端设备也包括显示控制单元，其被配置来显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。
在另一个方面，提供了一种用于识别输入操作的方法。所述方法包括：发送用于定义虚拟输入按键的布局的虚拟按键信息。所述方法进一步包括：基于所检测的输入件来确定输入位置信息。所述方法也包括：通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入。
在另一个方面，提供了一种用于表示虚拟按键信息的方法。所述方法包括：接收用于表示输入图像的图像数据。所述方法进一步包括：基于在所述图像数据中的输入部分的特征来识别所述输入部分。所述方法也包括：显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。
在另一个方面，提供了一种有形地体现的非暂时计算机可读存储介质，用于存储指令，所述指令当被处理器执行时使得计算机执行用于识别输入操作的方法。所述方法包括：发送用于定义虚拟输入按键的布局的虚拟按键信息。所述方法进一步包括：基于所检测的输入件来确定输入位置信息。所述方法也包括：通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入。
在另一个方面，提供了一种有形地体现的非暂时计算机可读存储介质，用于存储指令，所述指令当被处理器执行时使得计算机执行用于表示虚拟按键信息的方法。所述方法包括：接收用于表示输入图像的图像数据。所述方法进一步包括：基于在所述图像数据中的输入部分的特征来识别所述输入部分。所述方法也包括：显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。
在另一个方面，提供了一种系统。所述系统包括输入设备，所述输入设备包括：被配置来发送虚拟按键信息的通信单元；被配置来基于所检测的输入件来确定输入位置信息的输入单元；以及确定单元，其被配置来通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入。所述系统进一步包括终端设备，所述终端设备包括：成像单元，其被配置来接收用于表示输入图像的图像数据；识别单元，其被配置来基于在所述图像数据中的输入部分的特征来识别所述输入部分；以及显示控制单元，其被配置来显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。
在另一个方面，提供了一种系统。所述系统包括输入设备，所述输入设备包括：用于发送虚拟按键信息的通信部件；用于基于所检测的输入件来确定输入位置信息的输入部件；以及确定部件，用于通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入。所述系统进一步包括终端设备，所述终端设备包括：成像部件，用于接收用于表示输入图像的图像数据；识别部件，用于基于在所述图像数据中的输入部分的特征来识别所述输入部分；以及显示控制部件，用于显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。
根据如上所述的实施例，提供了能够显著地改善当输入机密信息时的安全性的信息处理设备、信息处理方法和终端设备。
附图说明
图1是示出根据本公开的第一实施例的安全系统的概述的示意图；
图2是示出根据第一实施例的终端设备的配置的一个示例的框图；
图3是示出根据第一实施例的输入终端的配置的一个示例的框图；
图4是有益于说明根据第一实施例和第二实施例的AR图像的图；
图5是由根据第一实施例的安全系统执行的流程图；
图6是示出根据第二实施例的安全系统的概览的示意图；
图7是示出根据第二实施例的服务器的配置的一个示例的框图；
图8是示出根据第二实施例的输入终端的配置的一个示例的框图；以及
图9是由根据第二实施例的安全系统执行的流程图。
具体实施方式
下面，将参考附图详细描述本公开的实施例。注意，在本说明书和附图中，使用相同的附图标记来表示具有基本上相同功能和结构的结构元件，并且省略这些结构元件的重复说明。
根据本公开的示例性实施例提供了一种设备，包括：通信单元，其被配置来发送虚拟按键信息；信息获取单元，用于获取输入位置信息，所述输入位置信息表示由输入单元检测的用户输入的物理位置；以及确定单元，其被配置来通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入，其中，所述虚拟按键信息定义要在所述输入单元上叠加的虚拟输入按键的布局。
根据本公开的示例性实施例还提供了一种方法，包括：发送用于定义虚拟输入按键的布局的虚拟按键信息；获取输入位置信息，所述输入位置信息表示用户输入的物理位置；以及通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入。
根据本公开的示例性实施例还提供了一种系统，包括：输入设备，包括：通信单元，其被配置来发送虚拟按键信息；信息获取单元，用于获取输入位置信息，所述输入位置信息表示由输入单元检测的用户输入的物理位置；以及确定单元，其被配置来通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入；以及终端设备，包括：成像单元，其被配置来接收用于表示输入图像的图像数据；识别单元，其被配置来基于在所述图像数据中的输入部分的特征来识别所述输入部分；以及显示控制单元，其被配置来显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。
应当注意，下面根据如下的顺序来给出说明。
第一实施例
1.系统概述
2.终端设备的示例配置
3.输入终端(信息处理设备)的示例配置
4.处理流程的示例
第二实施例
5.系统概述
6.服务器(信息处理设备)的示例配置
7.输入终端的示例配置
8.处理流程的示例
结论
近些年来，注意力已经聚焦在被称为AR(增强现实)的技术，该技术通过在真实世界上叠加附加信息来向用户提供这样的信息。可以使用诸如文本、图标和动画的多种形式的虚拟对象来可视化由AR技术向用户提供的信息。适合于AR技术的主要领域之一是支持在真实世界中的用户行为。下面描述其中应用AR技术的安全系统。通过如此进行，能够改善当输入诸如PIN号、密码或口令的机密信息时的安全性。
能够向诸如ATM或房间访问的管理的、用于改善安全性的系统应用使用AR技术的安全系统。作为这样的安全系统的示例，下面描述其中用户U利用ATM设备作为输入终端的ATM处理系统的第一实施例和第二实施例。
<第一实施例>
(1.系统概述)
首先，参考图1来描述根据第一实施例的安全系统1的概述。安全系统1包括终端设备100和输入终端200。根据第一实施例的输入终端200是本公开的“信息处理设备”的一个示例。在图1中的示例中，在用户U已经使用作为在真实空间中的对象的输入终端200的输入单元240进行期望密码的按键输入后，执行ATM(自动柜员机)处理。输入单元240是不显示的触摸板显示器和/或无标记的小键盘，并且经由输入单元240来接收根据来自用户U的输入操作的按键输入信息。
用户U使用终端设备100。终端设备100连接到在用户U的头部安装的图像采集设备120和显示设备150。图像采集设备120在用户U的视线方向上采集真实空间的图像，并且向终端设备100输出一系列输入图像。显示设备150显示包括虚拟按键信息的AR图像。
虚拟按键信息定义在图像中出现的、在输入单元240上叠加地显示的虚拟输入按键的布局。在第一和第二实施例中，如图4中的中心图中所示，虚拟按键信息是按键的布局信息。然而，虚拟按键信息不限于此，并且可以是用于示出QWERTY按键或数字按键(tenkey)的布局的按键布局信息或可以是用于示出在输入终端200的输入单元240上的按钮位置的信息。此外，虚拟按键信息可以是其中写入诸如标志(label)、发言气球(speechballoon)或消息标签(message tag)的某种文本信息的文本框或可以是诸如图标的符号化地表达某种信息的图形或符号。注意，下面描述的要显示为AR图像的变形后的虚拟按键信息也被包括在“虚拟按键信息”的概念中。
在图1的示例中，显示设备150是头部安装的显示器(HMD)。然而，终端设备100不限于在图1中所示的配备相机的头部安装的显示器的示例，并且可以是诸如配备相机的移动终端等的AR用具。在配备相机的移动终端的情况下，相机采集真实空间的图像，并且在通过在移动终端中包含的MPU或CPU的图像处理后，虚拟按键信息的图像可以叠加和显示在终端的屏幕上的真实空间的图像上。显示设备150的屏幕可以是透明屏幕(see-through screen)或可以是不透明屏幕(non see-through screen)。注意，为了本说明书的目的，被“采集”的图像的概念包括透射环境光的透明屏幕。
终端设备100可以是PC(个人计算机)或游戏控制台或另一种设备。终端设备100经由可以是有线或无线的通信连接来与输入终端200进行通信。作为示例，在终端设备100和输入终端200之间的通信可以是根据P2P(对等)方法的直接通信，或可以是经由诸如路由器或服务器的另一种设备(未示出)执行的间接通信。终端设备100显示在显示设备150上的真实空间上叠加的、由输入终端200拥有的虚拟按键信息。
输入终端200可以例如被布置在银行的分行中，并且可以是执行ATM处理的ATM(自动柜员机)设备。输入终端200存储虚拟按键信息。
在下面的部分中详细描述在上面的安全系统1中的各个设备的具体示例配置。
(2.终端设备的示例配置)
首先，将描述终端设备100的内部配置的一个示例。图2是示出根据第一实施例的终端设备100的配置的一个示例的框图。如图2中所示，终端设备100包括通信单元110、图像采集单元120(即，成像单元)、识别单元130、显示控制单元140、显示单元150和存储单元160。在此使用的术语“单元”可以是软件模块、硬件模块或软件模块和硬件模块的组合。这样的硬件和软件模块可以被包含在分立电路、集成电路中或体现为由处理器执行的指令。
通信单元110是居间促成在终端设备100和另一个设备之间的通信连接的通信接口。当终端设备100加入安全系统1中时，通信单元110在终端设备100和输入终端200之间建立通信连接。虽然由通信单元110执行的通信可以是如上所述的有线或无线通信，但是通常经由诸如无线LAN(局域网)或Bluetooth(注册商标，蓝牙)的无线通信来与输入终端200交换信息。通过如此进行，使得用户U能够利用安全系统1的服务的通信变得可能。更具体地，通信单元110从输入终端200接收虚拟按键信息。
图像采集单元120对应于在图1中所示的终端设备100的图像采集设备120，并且通过采集真实空间的图像来获取一系列输入图像。图像采集单元120在用户U的视线方向上采集图像(视频)。当利用ATM服务时，用户U的视线朝向输入终端200定位以输入密码。这意味着图像采集单元120采集输入终端200的图像。图像采集单元120向识别单元130输出输入图像。作为用户U实际看到的一个示例，在图4中左面示出的输入终端200的图像被输出到识别单元130。
识别单元130对于来自图像采集单元120的输入图像执行图像识别处理。更具体地，识别单元130识别在输入图像中出现的、在输入终端200上设置的输入单元240。当已经识别出输入单元240时，识别单元130估计在输入图像中出现的输入单元240的位置、姿态(例如，角度)和变形。识别单元130可以使用诸如模式匹配的已知图像识别方法来识别输入单元240。例如，识别单元130可以通过执行对于大体在输入终端200的中心设置的矩形框的模式匹配来识别输入单元240。或者，识别单元130可以在输入图像中识别物理地粘结到输入终端200或输入单元240的外围的二维条形码、标记图像、迅速响应(QR)代码等。例如，可以预先在输入单元240的矩形框的四角处设置标记，并且通过识别在输入图像中的标记图像，识别单元130可以识别输入单元240。通过如此进行，能够降低图像处理的负载。可以在输入单元240的矩形框的四角处设置红外线发射单元等，并且通过检测从这样的单元发射的光点，识别单元130可以识别输入单元240。识别单元130向显示控制单元140输出识别的输入单元240的区域(输入区域)。
作为一个示例，识别单元130可以根据在下文中公开的SLAM(同时定位与映射)技术的原理来检测输入单元240：“Real-Time SimultaneousLocalization and Mapping with a Single Camera”(Proceedings of the 9thIEEE International Conference on Computer Vision Volume 2，2003，pp.1403-1410)by Andrew J.Davison。
显示控制单元140控制从输入终端200发送的虚拟按键信息的显示。更具体地，根据输入单元240的图像识别的结果，显示控制单元140首先将与估计的输入单元240的位置、姿态和变形对应的虚拟按键信息图像变形。通过如此进行，产生适合于叠加在由用户U看到的真实空间上的虚拟按键信息的图像。
接下来，显示控制单元140向由识别单元130识别的输入单元240的区域上叠加变形后的虚拟按键信息的图像。通过如此进行，能够显示在用户U看到的实际场景上叠加的虚拟按键信息。在图4的中心的附图中示出变形后的虚拟按键信息的图像，而在右面的附图示出了变形后的虚拟按键信息如何叠加地出现在输入单元240上。注意，显示控制单元140可以使用如上所述的SLAM技术来绘制虚拟按键信息的图像。
通过如此进行，由用户U佩戴的头部安装的显示器HMD的显示单元150显示(投影)叠加在由用户U看到的实际场景上的虚拟输入按键。通过如此进行，能够仅用户U看到在图4中的AR图像，其中，在用户U看到的真实空间上叠加虚拟按键信息。
注意，显示单元150对应于在图1中所示的终端设备100的显示设备150。如果显示设备150的屏幕是透明屏幕，则能够通过下述方式来向用户U的眼睛显示在图4的右面所示的AR图像：仅向显示设备150上投影虚拟按键信息的图像，以便变得叠加。同时，如果显示设备150的屏幕是不透明的屏幕，则能够通过下述方式来向用户U的眼睛显示在图4的右面所示的AR图像：在输入图像上叠加虚拟按键信息的图像，并且在显示设备150上显示这样叠加的图像(AR图像)。
存储单元160使用诸如硬盘驱动器或半导体存储器的有形地体现的非暂时计算机可读存储介质来存储用于由终端设备100的处理器的处理和执行的程序和各种数据。存储单元160也存储从输入终端200经由通信单元110获取的虚拟按键信息等。
(3.输入终端的示例配置(信息处理设备))
接下来，将描述输入终端200的内部配置的一个示例。图3是示出根据第一实施例的输入终端200的配置的一个示例的框图。如图3中所示，输入终端200包括应用单元210、显示控制单元220、通信单元230、输入单元240、信息获取单元250、确定单元260和存储单元270。
应用单元210向用户提供与ATM服务相关的应用功能。应用单元210也与显示控制单元220和确定单元260一致地作为，以实现使用AR技术的高度保密的用户界面(UI)。
显示控制单元220控制由终端设备100对于AR图像的显示。显示控制单元220产生如上所述的虚拟按键信息，该虚拟按键信息可视地向用户U示出用户U的按键按下和触摸位置将被解释为何种操作。
通信单元230是居中促成在输入终端200和终端设备100之间的通信连接的通信接口。通信单元230建立与终端设备100的通信连接。通信单元230向终端设备100发送虚拟按键信息。
输入单元240被终端设备100的用户U使用来输入用于认证的密码。作为示例，输入单元240可以包括小键盘、按钮、开关或触摸板。可以作为输入单元240的示例给出不显示的触摸板显示器或未标记的小键盘。以这种方式，输入单元240既不显示用于向用户示出虚拟输入按键的布局的标记，也没有用于示出其的物理标记。输入单元240根据检测的输入件(例如，用户的手指)或根据由观看AR图像的用户U进行的在显示器上的输入操作(按压或触摸)来检测物理输入位置(例如，XY坐标)，并且向信息获取单元250输出该物理输入位置。
信息获取单元250根据输入单元240的检测结果来产生输入位置信息，并且向确定单元260输出。注意，由输入单元240检测的物理输入位置也是“输入位置信息”的一个示例。根据输入单元240的检测结果，信息获取单元250可以将物理输入位置原样地作为输入位置信息向确定单元260输出。
通过将由显示控制单元220产生的虚拟按键信息和由信息获取单元250产生的输入位置信息作比较，确定单元260确定与用户U的操作对应的输入信息。确定单元260向应用单元210输出作为确定结果的输入信息(输入按键)。
存储单元270使用诸如硬盘驱动器或半导体存储器的有形地体现的非暂时计算机可读存储介质，并且存储用于由输入终端200的处理器的执行和处理的程序和数据。存储单元270也存储虚拟按键信息。
(4.处理流程的示例)
接下来，将参考在图5中的流程图来描述在根据第一实施例的安全系统1中的处理的流程。
首先，输入终端200的显示控制单元220产生虚拟按键信息，并且通信单元230向终端设备100发送虚拟按键信息(步骤S102)。
终端设备100的通信单元110从输入终端200获取虚拟按键信息(步骤S104)。同时，终端设备100的图像采集单元120在用户U的视线的方向上采集真实空间的图像，并且，识别单元130从输入图像识别输入单元240的区域(步骤S106)。
接下来，终端设备100的显示控制单元140产生AR图像，其中，在输入单元240的区域上叠加虚拟按键信息(步骤S108)。显示单元150在头部安装的显示器HMD的显示屏幕上显示所产生的AR图像(步骤S110)。
通过如此进行，仅终端设备100的用户U可以看到在图4的右部示出的AR图像。这意味着即使输入终端200的输入单元240是不显示的触摸板显示器或未标记的小键盘，通过基于在显示的AR图像中的虚拟按键信息来触摸在输入单元240上的任意位置，用户U能够执行密码等的所需要的按键输入操作。
当由用户U诸如通过输入件来触摸输入单元240的任意位置时，输入终端200的输入单元240检测触摸位置(物理输入位置)(步骤S112)。输入终端200的信息获取单元250根据输入单元240的检测结果来产生输入位置信息(步骤S114)。通过将显示控制单元220产生的虚拟按键信息与由信息获取单元250产生的输入位置信息作比较，输入终端200的确定单元260确定与用户U的操作对应的输入信息(输入按键)(步骤S116)，并且可以执行与确定的按键输入对应的操作。
如上所述，对于根据第一实施例的安全系统1，仅用户U能够看到使用AR技术在真实空间中存在的输入单元240上可视化和叠加地显示的虚拟按键信息。通过如此进行，用户U可以以与当操作其上显示按键布局的小键盘或触摸板时完全相同的方式使用未标记的小键盘或未显示的触摸板来输入密码等。同时，因为第三方仅可以看到用户U在操作未标记的小键盘或不显示的触摸板中进行的运动，所以防止了对于输入信息的暗中监视。通过如此进行，对于根据第一实施例的安全系统1，通过使用AR技术，能够提高输入诸如PIN号、密码或口令的机密信息时的安全性。
或者，输入单元240可以显示诸如按键的标记的标识字符或作为触摸板的一部分的按键的轮廓，并且当输入终端200需要诸如PIN号、密码或口令的机密信息的输入时可以选择性地去除任何标识字符的显示，使得第三方可以仅看到当输入机密信息时用户U进行的移动。
<第二实施例>
(5.系统概述)
接下来，将参考图6来描述根据第二实施例的安全系统2的概述。根据第二实施例的安全系统2与根据第一实施例的安全系统1不同在：服务器300在终端设备100和输入终端400之间居中作用(intermediate)。因此，将聚焦在这种差别地描述根据第二实施例的安全系统2。
在图6中所示的安全系统2包括终端设备100、服务器300和输入终端400。因为根据第二实施例的终端设备100的配置与根据第一实施例的终端设备100的配置相同，所以在此省略其说明。
(6.服务器的示例配置(信息处理设备))
这个第二实施例配置了向服务器300转移的根据第一实施例的输入终端200中设置的应用功能、显示控制功能和确定功能。注意，虽然输入终端200作为在第一实施例中的信息处理设备，但是在第二实施例中，服务器300作为信息处理设备。
图7示出根据第二实施例的服务器300的内部配置。服务器300包括应用单元210、显示控制单元220、信息获取单元250、确定单元260、存储单元270和通信单元330。通信单元330向终端设备100发送由显示控制单元220产生的虚拟按键信息。通信单元330也从输入终端400接收输入位置信息。
因为服务器300的其他构成元件与根据第一实施例的输入终端200的相应元件相同，所以在此省略其说明。然而，在服务器300中不存在在根据第一实施例的输入终端200中设置的输入单元240。
(7.输入终端的示例配置)
图8示出根据第二实施例的输入终端400的内部配置。输入终端400包括通信单元430和输入单元440。输入单元440具有与根据第一实施例的输入单元240基本上相同的功能，检测物理输入位置，并且向通信单元430输出。通信单元430向服务器300发送由输入单元440检测的物理输入位置(输入位置信息)。
(8.处理流程的示例)
接下来，将参考在图9中的流程图来描述在根据第二实施例的安全系统2中的处理的流程。
首先，服务器300的显示控制单元220产生虚拟按键信息，并且通信单元330向终端设备100发送产生的虚拟按键信息(步骤S202)。
因为由终端设备100执行的步骤S204、S206、S208和S210与由在第一实施例中的终端设备100执行的在图5中的步骤S104、S106、S108和S110相同，所以在此省略其说明。通过以这种方式操作，仅终端设备100的用户U可以看到在图4中的右面示出的AR图像。这意味着即使输入终端400的输入单元440是不显示的触摸板显示器或未标记的小键盘，通过基于在显示的AR图像中的虚拟按键信息来触摸在输入单元440上的任意位置，用户U能够执行密码等的所需的按键输入操作。
当用户U触摸在输入单元440上的任意位置时，输入终端400的输入单元440检测触摸位置(物理输入位置)(步骤S212)。输入终端400的通信单元430向服务器300发送作为输入单元440的检测结果的物理输入信息(输入位置信息)(步骤S214)。服务器300的通信单元330接收这样的信息，并且输出到信息获取单元250。服务器300的信息获取单元250根据物理输入位置产生输入位置信息(步骤S216)。通过将由显示控制单元220产生的虚拟按键信息和由信息获取单元250产生的输入位置信息作比较，确定单元260确定与用户U的操作对应的输入信息(输入按键)(步骤S218)。
如上所述，对于根据第二实施例的安全系统2，仅用户U能够看到使用AR技术在真实空间中存在的输入单元240上被可视化和叠加地显示的虚拟按键信息。通过如此进行，能够以与当操作其上显示按键布局的小键盘或触摸板时完全地相同的方式使用未标记的小键盘或未显示的触摸板来输入密码等，并且能够防止第三方暗中监视输入信息。
另外，对于根据第二实施例的系统配置，从服务器300向终端设备100发送虚拟按键信息，并且，从输入终端400向终端设备100发送输入位置信息。以这种方式，根据第二实施例，单独地发送虚拟按键信息和输入位置信息。这意味着即使截取这样的信息之一，也不能猜出机密信息。通过如此进行，能够显著地提高输入机密信息时的安全性。
注意，对于根据第二实施例的安全系统2，虽然在服务器300处布置了应用单元210(参见图7)，并且在服务器300处执行所有的应用，但是本公开不限于此。例如，可以在服务器300处仅执行密码认证处理，并且，可以在输入终端400处执行密码认证后的应用。在该情况下，从服务器300向输入终端400发送的信息可以仅是密码认证结果，并且不必发送密码本身。通过如此进行，能够提高保密性。作为一个示例，下面描述用于在电影院安装的售票终端机的示例应用。在这个示例中，首先，当用户向售票终端机输入他的/她的信用卡的PIN号时，使用由信用卡发放者的服务器提供的AR安全认证服务。在此引用的售票终端机是根据本实施例的输入终端400的一个示例，并且，信用卡发放者的服务器是根据本实施例的服务器300的一个示例。可以使用下述处理流程：其中，在信用卡发放者的服务器处执行密码认证处理，并且如果认证成功，则向售票终端机通知这样的结果，并且在售票终端机处执行密码认证后的应用。
<结论>
已经参考图1至9描述了根据本公开的第一和第二实施例。虽然根据如上所述的实施例由用户U握持或携带终端设备100，但是本公开不限于此。例如，取代被用户U握持等，终端设备100可以被固定在输入终端之前。
此外，用于本公开的“AR用具”不限于在第一和第二实施例中公开的用具。对于配备了AR用具的用户，能够使用与传统的终端操作相同的方法来安全地输入高度机密信息。
此外，虽然在如上所述的实施例中从输入终端200向终端设备100(在图5中的步骤S102)或从服务器300向终端设备100(在图9中的步骤S202)发送虚拟按键信息，但是本公开不限于此。例如，如果虚拟按键信息用于显示具有较为简单的配置的数字键，则可以从终端设备100向输入终端200或从终端设备100向服务器300或经由以例如云计算配置的远程装置或服务器来发送虚拟按键信息。通过如此进行，可以由产生AR显示的侧和解释输入操作的侧共享虚拟按键信息，这使得能够安全地输入高度机密信息。例如，对于如上所述的数字键，能够使用下述配置：其中，用户习惯使用的布局被预先存储在终端设备100中，并且每次使用这样的布局。然而，对于复杂应用而不是在此所述的较为简单的应用，在许多情况下，优选的是，根据在上面的实施例中所述的流程来发送和接收虚拟按键信息。
此外，可以在通信路径上保持安全性，使得可以安全地发送和接收诸如密码的数据，该通信路径连接使用SSL(安全套接层)等连接在如上所述的实施例中所示的设备。
可以使用硬件、软件或硬件和软件的组合来实现由在本说明书中描述的各个设备执行的系列控制处理。构造这样的软件的程序可以被预先存储于例如在各个的设备内部或外部设置的有形地体现的非暂时计算机可读存储介质上。在执行期间，作为一个示例，可以将相应的程序写入RAM(随机存取存储器)并且由诸如CPU(中央处理单元)的处理器执行。
虽然已经参考附图详细描述了本公开的实施例，但是本公开不限于上面的示例。本领域内的技术人员应当明白，各种修改、组合、子组合和改变可以根据设计要求和其他因素来出现，只要它们在所附的权利要求或其等同内容的范围内。此外，在权利要求中对于诸如“一个”(“a”或“an”)的冠词的任何引用应当被解释为表示“一个或更多个”。
例如，本技术可以采用下面的配置。
(1)一种信息处理设备，包括：
通信单元，用于向采集图像并且显示虚拟输入按键的终端设备发送虚拟按键信息，所述虚拟按键信息定义在采集的图像中出现的、要在输入单元上叠加地显示的所述虚拟输入按键的布局；
信息获取单元，用于获取输入位置信息，所述输入位置信息表示由所述输入单元检测的用户输入的物理位置；以及
确定单元，用于通过将由所述通信单元发送的所述虚拟按键信息和由所述信息获取单元获取的所述输入位置信息作比较来确定由用户指示的输入按键。
(2)根据(1)所述的信息处理设备，
其中，所述通信单元从包括用于检测所述用户输入的物理位置的所述输入单元在内的输入终端接收所述输入位置信息。
(3)根据(1)或(2)所述的信息处理设备，
其中，所述信息处理设备进一步包括用于检测所述用户输入的物理位置的所述输入单元。
(4)根据(3)所述的信息处理设备，
其中，所述输入单元不向用户显示用于示出所述虚拟输入按键的布局的标记，并且，也不具有用于示出所述布局的物理标记。
(5)根据(1)至(4)的任何一项所述的信息处理设备，
其中，所述终端设备包括用于显示在所述输入单元上叠加的所述虚拟输入按键的头部安装的显示器。
(6)一种信息处理方法，包括：
向采集图像并且显示虚拟输入按键的终端设备发送虚拟按键信息，所述虚拟按键信息定义在采集的图像中出现的、要在输入单元上叠加地显示的所述虚拟输入按键的布局；
获取输入位置信息，所述输入位置信息表示由所述输入单元检测的用户输入的物理位置；以及
通过将所发送的虚拟按键信息和所获取的输入位置信息作比较来确定由用户指示的输入按键。
(7)一种程序，用于使得计算机执行处理，所述处理包括：
用于向采集图像并且显示虚拟输入按键的终端设备发送虚拟按键信息的处理，所述虚拟按键信息定义在采集的图像中出现的、要在输入单元上叠加地显示的所述虚拟输入按键的布局；
用于获取输入位置信息的处理，所述输入位置信息表示由所述输入单元检测的用户输入的物理位置；以及
用于通过将所发送的虚拟按键信息和所获取的输入位置信息作比较来确定由用户指示的输入按键的处理。
(8)一种终端设备，包括：
图像采集单元，用于采集图像；
通信单元，用于接收虚拟按键信息，所述虚拟按键信息定义在所述图像中出现的、要在输入终端的输入单元上叠加地显示的虚拟输入按键的布局；
识别单元，用于识别与在所述图像中的所述输入单元对应的区域；以及
显示控制单元，用于使用由所述通信单元接收的所述虚拟按键信息来显示在由所述识别单元识别的区域上叠加的所述虚拟输入按键。
(9)根据权利要求(8)所述的终端设备，
其中，所述显示控制单元在头部安装的显示器上显示所述虚拟输入按键。
本公开包含与在2011年2月24日在日本专利特许厅提交的日本在先专利申请JP 2011-038557公开的主题相关的主题，其整体内容通过引用被包含在此。

Claims (20)

1.一种设备，包括：
通信单元，其被配置来发送虚拟按键信息；
信息获取单元，用于获取输入位置信息，所述输入位置信息表示由输入单元检测的用户输入的物理位置；以及
确定单元，其被配置来通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入，
其中，所述虚拟按键信息定义要在所述输入单元上叠加的虚拟输入按键的布局。
2.根据权利要求1所述的设备，进一步包括所述输入单元，其被配置来基于所检测的输入件来确定所述输入位置信息。
3.根据权利要求1所述的设备，其中，所述通信单元从包括所述输入单元在内的输入终端接收所述输入位置信息。
4.根据权利要求1-3之一所述的设备，包括处理单元，其被配置来执行所确定的按键输入。
5.根据权利要求1-3之一所述的设备，包括显示控制单元，其被配置来产生所述虚拟按键信息。
6.根据权利要求1-3之一所述的设备，其中，所述虚拟按键信息定义QWERTY布局。
7.根据权利要求1-3之一所述的设备，其中，所述虚拟按键信息包括标志、发言气球、消息标签、图或符号中的至少一个。
8.根据权利要求1-3之一所述的设备，其中，所述输入单元包括未加标志的键盘或不显示标识字符的触摸板显示器之一。
9.根据权利要求1-3之一所述的设备，其中，当使用所述输入单元接收机密信息时，所述输入单元选择性地去除标识字符的显示。
10.根据权利要求1-3之一所述的设备，其中，所述输入单元包括二维条形码、标记图像、迅速响应代码或红外线发射单元中的至少一个，用于限定所述输入单元的位置。
11.一种终端设备，包括：
成像单元，其被配置来接收用于表示输入图像的图像数据；
识别单元，其被配置来基于在所述图像数据中的输入部分的特征来识别所述输入部分；以及
显示控制单元，其被配置来显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。
12.根据权利要求11所述的终端设备，包括通信单元，其被配置来接收虚拟按键信息。
13.根据权利要求11所述的终端设备，其中，所述终端设备的显示器包括头部安装的显示器。
14.根据权利要求11所述的终端设备，其中，所述识别单元被配置来识别用于限定所述输入部分的位置的二维条形码、标记图像、迅速响应代码或红外线发射单元中的至少一个。
15.根据权利要求11所述的终端设备，其中：
所述识别单元被配置来计算所述输入部分的位置和角度；以及
所述显示控制单元被配置来通过根据所述位置和角度来变换所接收的虚拟按键信息来在所述输入部分上叠加。
16.一种方法，包括：
发送用于定义虚拟输入按键的布局的虚拟按键信息；
获取输入位置信息，所述输入位置信息表示用户输入的物理位置；以及
通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入。
17.一种方法，包括：
接收用于表示输入图像的图像数据；
基于在所述图像数据中的输入部分的特征来识别所述输入部分；以及
显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。
18.一种有形地体现的非暂时计算机可读存储介质，用于存储指令，所述指令当被处理器执行时使得计算机执行方法，所述方法包括：
发送用于定义虚拟输入按键的布局的虚拟按键信息；
获取输入位置信息，所述输入位置信息表示用户输入的物理位置；以及
通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入。
19.一种有形地体现的非暂时计算机可读存储介质，用于存储指令，所述指令当被处理器执行时使得计算机执行方法，所述方法包括：
接收用于表示输入图像的图像数据；
基于在所述图像数据中的输入部分的特征来识别所述输入部分；以及
显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。
20.一种系统，包括：
输入设备，包括：
通信单元，其被配置来发送虚拟按键信息；
信息获取单元，用于获取输入位置信息，所述输入位置信息表示由输入单元检测的用户输入的物理位置；以及
确定单元，其被配置来通过将所述虚拟按键信息与所述输入位置信息作比较来确定按键输入；以及
终端设备，包括：
成像单元，其被配置来接收用于表示输入图像的图像数据；
识别单元，其被配置来基于在所述图像数据中的输入部分的特征来识别所述输入部分；以及
显示控制单元，其被配置来显示用于表示在所述输入部分上叠加的虚拟按键信息的图像。
CN201210036858.4A 2011-02-24 2012-02-17 信息处理设备、信息处理方法和终端设备 Active CN102682520B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-038557 2011-02-24
JP2011038557A JP2012174208A (ja) 2011-02-24 2011-02-24 情報処理装置、情報処理方法、プログラム及び端末装置

Publications (2)

Publication Number Publication Date
CN102682520A true CN102682520A (zh) 2012-09-19
CN102682520B CN102682520B (zh) 2016-01-06

Family

ID=46718640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210036858.4A Active CN102682520B (zh) 2011-02-24 2012-02-17 信息处理设备、信息处理方法和终端设备

Country Status (3)

Country Link
US (1) US8957861B2 (zh)
JP (1) JP2012174208A (zh)
CN (1) CN102682520B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472898A (zh) * 2018-10-31 2019-03-15 京东方科技集团股份有限公司 密码提示方法、增强现实设备、存储介质及系统
CN111311755A (zh) * 2020-02-05 2020-06-19 中国建设银行股份有限公司 基于ar设备与生理数据的服务方法及装置

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140007221A1 (en) * 2012-06-29 2014-01-02 Jasmeet Chhabra Secure image authentication
KR101991133B1 (ko) * 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
US9323057B2 (en) * 2012-12-07 2016-04-26 Blackberry Limited Mobile device, system and method for controlling a heads-up display
US9448407B2 (en) * 2012-12-13 2016-09-20 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and work supporting system
DE102013015382A1 (de) * 2013-09-17 2015-03-19 Giesecke & Devrient Gmbh Verfahren zum Anzeigen einer Information
JP6169462B2 (ja) * 2013-09-30 2017-07-26 株式会社Ｎｔｔドコモ 情報処理装置及び情報処理方法
KR102091519B1 (ko) * 2013-11-05 2020-03-20 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US10510054B1 (en) 2013-12-30 2019-12-17 Wells Fargo Bank, N.A. Augmented reality enhancements for financial activities
US10078867B1 (en) 2014-01-10 2018-09-18 Wells Fargo Bank, N.A. Augmented reality virtual banker
EP2897078B1 (de) 2014-01-21 2018-01-10 Wincor Nixdorf International GmbH Authentifizierung über eine zufällig angeordenete Tastatur, die über einen sekundären visuellen Kanal vom Benutzergerät aufgenommen wird
JP6191519B2 (ja) * 2014-03-20 2017-09-06 沖電気工業株式会社 取引システム及び取引装置
JP6398245B2 (ja) * 2014-03-24 2018-10-03 富士ゼロックス株式会社 情報表示装置、情報表示システム及びプログラム
JP6403975B2 (ja) * 2014-04-04 2018-10-10 株式会社日本総合研究所 秘密情報入力システム及びプログラム
JP6362391B2 (ja) * 2014-04-10 2018-07-25 キヤノン株式会社 情報処理端末、情報処理方法及びコンピュータプログラム
EP2998896A1 (fr) * 2014-09-17 2016-03-23 Gemalto Sa Procédé d'authentification d'un utilisateur, terminaux et système d'authentification correspondants
US10591580B2 (en) 2014-09-23 2020-03-17 Hewlett-Packard Development Company, L.P. Determining location using time difference of arrival
JP2016081508A (ja) * 2014-10-14 2016-05-16 株式会社エヌ・ティ・ティ・データ 認証システム、及び入力装置
JP2017016572A (ja) * 2015-07-06 2017-01-19 デュプロ精工株式会社 処理装置、端末装置及び処理システム
US10318744B2 (en) 2015-07-27 2019-06-11 International Business Machines Corporation Touchscreen image mapping for augmented reality devices
KR102404704B1 (ko) * 2015-10-26 2022-06-02 주식회사 케이티 키 보안 입력을 수행하는 사용자 디바이스
JP2017130101A (ja) * 2016-01-21 2017-07-27 富士通株式会社 入力支援方法、入力支援装置および入力支援プログラム
US9773438B1 (en) * 2016-06-29 2017-09-26 Meta Company System and method for providing views of virtual content in an augmented reality environment
CN106227360A (zh) * 2016-07-12 2016-12-14 上海多吉网络科技有限公司 结合输入法的识别码处理方法和系统
JP2018013741A (ja) * 2016-07-22 2018-01-25 富士通株式会社 表示制御プログラム、表示制御装置、及び表示制御方法
US10237509B1 (en) * 2016-08-05 2019-03-19 Apple Inc. Systems with keyboards and head-mounted displays
JP6778150B2 (ja) * 2017-06-15 2020-10-28 株式会社ミクシィ 頭部装着ディスプレイ装置、認証方法、及び認証プログラム
CN111989643A (zh) 2018-04-19 2020-11-24 惠普发展公司，有限责任合伙企业 从触摸表面设备向虚拟现实设备的输入
US11558375B1 (en) * 2019-12-16 2023-01-17 Trend Micro Incorporated Password protection with independent virtual keyboard
US11461164B2 (en) 2020-05-01 2022-10-04 UiPath, Inc. Screen response validation of robot execution for robotic process automation
US11080548B1 (en) 2020-05-01 2021-08-03 UiPath, Inc. Text detection, caret tracking, and active element detection
US11200441B2 (en) 2020-05-01 2021-12-14 UiPath, Inc. Text detection, caret tracking, and active element detection
WO2022001707A1 (en) * 2020-06-29 2022-01-06 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for receiving a secure input, using a secure input means
JP6892960B1 (ja) * 2020-09-29 2021-06-23 Kddi株式会社 制御装置、情報処理システム、制御方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100199232A1 (en) * 2009-02-03 2010-08-05 Massachusetts Institute Of Technology Wearable Gestural Interface
CN101859223A (zh) * 2009-04-03 2010-10-13 索尼公司 信息处理设备、通知方法和程序
CN101901049A (zh) * 2008-11-25 2010-12-01 索尼株式会社 信息处理设备、信息处理方法、信息处理系统和信息处理程序
CN101910994A (zh) * 2008-01-07 2010-12-08 株式会社Ntt都科摩 信息处理装置及程序
CN201698264U (zh) * 2010-06-21 2011-01-05 许昌昌恒科技有限公司 掌上型信息处理终端

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240186A (ja) 1997-02-28 1998-09-11 Toshiba Corp 表示制御装置および表示制御方法
AUPQ439299A0 (en) * 1999-12-01 1999-12-23 Silverbrook Research Pty Ltd Interface system
US20030174125A1 (en) * 1999-11-04 2003-09-18 Ilhami Torunoglu Multiple input modes in overlapping physical space
JP2002032176A (ja) 2000-07-18 2002-01-31 Dainippon Printing Co Ltd 入力装置及びそのキー配置方法
GB2370395A (en) * 2000-12-19 2002-06-26 Ubinetics Ltd Display apparatus
TW567695B (en) * 2001-01-17 2003-12-21 Ibm Digital baseband system
TW594549B (en) * 2002-12-31 2004-06-21 Ind Tech Res Inst Device and method for generating virtual keyboard/display
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
EP1709519B1 (en) * 2003-12-31 2014-03-05 ABB Research Ltd. A virtual control panel
AU2005269256B2 (en) * 2004-08-03 2008-08-07 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US8471824B2 (en) * 2009-09-02 2013-06-25 Amazon Technologies, Inc. Touch-screen user interface
KR20110049162A (ko) * 2009-11-04 2011-05-12 삼성테크윈 주식회사 휴대용 영상 처리기에서 가상 입출력 장치 및 방법
WO2011085023A2 (en) * 2010-01-06 2011-07-14 Celluon, Inc. System and method for a virtual multi-touch mouse and stylus apparatus
US8233887B2 (en) * 2010-07-28 2012-07-31 Sprint Communications Company L.P. Covert message redaction and recovery in a wireless communication device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101910994A (zh) * 2008-01-07 2010-12-08 株式会社Ntt都科摩 信息处理装置及程序
CN101901049A (zh) * 2008-11-25 2010-12-01 索尼株式会社 信息处理设备、信息处理方法、信息处理系统和信息处理程序
US20100199232A1 (en) * 2009-02-03 2010-08-05 Massachusetts Institute Of Technology Wearable Gestural Interface
CN101859223A (zh) * 2009-04-03 2010-10-13 索尼公司 信息处理设备、通知方法和程序
CN201698264U (zh) * 2010-06-21 2011-01-05 许昌昌恒科技有限公司 掌上型信息处理终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472898A (zh) * 2018-10-31 2019-03-15 京东方科技集团股份有限公司 密码提示方法、增强现实设备、存储介质及系统
CN111311755A (zh) * 2020-02-05 2020-06-19 中国建设银行股份有限公司 基于ar设备与生理数据的服务方法及装置
CN111311755B (zh) * 2020-02-05 2023-07-14 中国建设银行股份有限公司 基于ar设备与生理数据的服务方法及装置

Also Published As

Publication number Publication date
US8957861B2 (en) 2015-02-17
CN102682520B (zh) 2016-01-06
JP2012174208A (ja) 2012-09-10
US20120218188A1 (en) 2012-08-30

Similar Documents

Publication Publication Date Title
CN102682520B (zh) 信息处理设备、信息处理方法和终端设备
US11288679B2 (en) Augmented reality dynamic authentication for electronic transactions
US11710110B2 (en) Augmented reality dynamic authentication
US10311223B2 (en) Virtual reality dynamic authentication
US9904808B2 (en) Numeric keypad encryption for augmented reality devices
JP6220889B2 (ja) ヘッドマウントディスプレイ、およびこれを制御する方法
US20190260748A1 (en) Securing a transaction performed from a non-secure terminal
WO2016053008A1 (ko) 수하인 정보 보호를 위한 운송장 및 물류배송관리시스템, 그리고 이를 이용한 물류배송 지원 방법
CN110800314B (zh) 计算机系统、远程操作通知方法以及记录介质
JP2014219448A (ja) 表示システム、表示方法、表示端末および表示プログラム
US9955518B2 (en) Secure pairing of personal device with host device
JP6255731B2 (ja) 表示システム、表示方法および表示端末
CN108140080B (zh) 一种显示的方法、装置及系统
US20160224808A1 (en) Information input method having confidentiality
US20140143858A1 (en) Processing arrangement and a method for processing information in a machine-to-human communications interface
CN110489977A (zh) 一种操作控制方法及终端
CN110532819A (zh) 输入信息的验证方法及系统
KR102537147B1 (ko) 인증된 증강 현실 콘텐츠의 제공 시스템 및 방법
EP3979102A1 (en) Electronic device for performing an authentication operation
JP2022184481A (ja) 画像制限方法、画像制限プログラム、情報処理装置及び支援システム
CN109086579A (zh) 一种解密加密的可见代码的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant