CN108027656A - 输入设备、输入方法和程序 - Google Patents

输入设备、输入方法和程序 Download PDF

Info

Publication number
CN108027656A
CN108027656A CN201680053087.6A CN201680053087A CN108027656A CN 108027656 A CN108027656 A CN 108027656A CN 201680053087 A CN201680053087 A CN 201680053087A CN 108027656 A CN108027656 A CN 108027656A
Authority
CN
China
Prior art keywords
input
user
area
image
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680053087.6A
Other languages
English (en)
Other versions
CN108027656B (zh
Inventor
则枝真
吉本诚
才田好则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN108027656A publication Critical patent/CN108027656A/zh
Application granted granted Critical
Publication of CN108027656B publication Critical patent/CN108027656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

一种输入设备(2000)包括运动检测单元(2020)和输入识别单元(2040)。运动检测单元(2020)通过使用包括对象的所捕获的图像来检测该对象的运动。这里，检测到的对象的运动是在基于附着到输入设备(2000)的用户身体上的传感器的检测结果而定义的时段内的对象的运动。输入识别单元(2040)基于检测到的对象的运动来识别对信息处理设备的输入。

Description

输入设备、输入方法和程序
技术领域
本发明涉及一种输入设备、输入方法和程序。
背景技术
已经研发出了这样的技术：通过相机对用户在空间上执行的诸如手势输入等动作进行成像，分析所生成的所捕获的图像，并且因此识别出用户在信息处理设备上的输入操作。专利文献1公开了一种根据用户手掌的手势(例如，打开手掌的手势)在手掌上显示菜单屏幕或改变菜单屏幕的技术。
专利文献2公开了一种使用在头戴式显示器上显示的虚拟键盘来执行输入的技术。专利文献2公开了如下的技术：将虚拟键盘固定到真实空间中的对象上，因此，即使佩戴头戴式显示器的人的头部发生了移动，虚拟键盘的位置也不会改变。
相关文献
专利文献
[专利文献1]美国专利申请公布号2015/0016777
[专利文献2]PCT日本翻译专利公布号2015-504616
发明内容
技术问题
在对所捕获的图像中所包括的用户的手的运动进行分析的情况下，难以区分出用户为了实现输入操作而移动手的情况和用户为了另一目的而移动手的情况。因此，即使用户没有执行输入操作，也有可能错误地识别出该输入操作，或者即使用户执行了输入操作，该输入操作也可能没有被识别出。
本发明正是考虑到这个问题而提出的。本发明的目的在于提供一种当从所捕获的图像中识别用户的输入操作时提高识别准确度的技术。
问题的解决方案
根据本发明，提供了一种输入设备，包括：1)运动检测单元，该运动检测单元通过使用包括对象的所捕获的图像，在基于附着到用户身体上的传感器的检测结果而定义的时段内检测该对象的运动；以及2)输入识别单元，该输入识别单元基于检测到的对象的运动来识别对信息处理设备的输入。
根据本发明，提供了一种由计算机执行的输入方法。
该输入方法包括：1)通过使用包括对象的所捕获的图像，在基于附着到用户身体上的传感器的检测结果而定义的时段内检测该对象的运动的运动检测步骤；以及2)基于检测到的对象的运动来识别对信息处理设备的输入的输入识别步骤。
发明的有益效果
根据本发明，提供了一种当从所捕获的图像中识别用户的输入操作时提高识别准确度的技术。
附图说明
基于下面描述的优选实施例和以下的附图，上述目的以及其他目的、特征和优点将变得更加明显。
图1是示出了根据示例性实施例1的输入设备的框图。
图2是从概念上解释输入设备的操作的图。
图3是示出了实现输入设备的计算机的配置的图。
图4是示出了示例性实施例1的输入设备所执行的过程流程图。
图5是示出了在用户点击左臂的情况下在设备的显示屏幕上显示图像的场景的图。
图6是示出了使用传感器定时来确定检测目标时段的起点的方法的图。
图7是示出了包括用户的模糊手指的所捕获的图像的图。
图8是示出了对象的运动所定义的形状被识别为输入的场景的图。
图9是示出了将对象的运动转换为形状的场景的图。
图10是示出了手势输入的图。
图11是示出了根据示例性实施例2的输入设备的框图。
图12是用于从概念上解释示例性实施例2的输入设备的操作的图。
图13是示出了示例性实施例2的输入设备所执行的过程流程图。
图14是示出了显示控制单元校正第一区域的形状以生成第二区域的场景的图。
图15是示出了第二区域显示在显示屏幕上以叠加在所捕获的图像上的场景的图。
图16是示出了在头戴式显示器的显示屏幕上显示的第二区域的图。
图17是示出了实现示例性实施例2的输入设备的计算机的硬件配置的图。
图18是示出了眼镜和手表的图。
图19是示出了用户执行的检查工作的概览的图。
图20是示出了包括在用户视野中的操作选择菜单的图。
图21是示出了包括在用户视野中的输入方法选择菜单的图。
图22是示出了在数字输入按钮被选择之后的场景的图。
图23是示出了在备忘录按钮被选择之后的场景的图。
图24是示出了用户对包括在所捕获的图像中的对象执行绘制的场景的图。
图25是示出了所捕获的图像的平面上输入位置与对象的位置之间的关系的图。
图26是示出了三维空间中的输入位置与对象的位置之间的关系的图。
图27是示出了在由用户执行的输入操作所定义的位置处显示第二区域的场景的图。
图28是示出了基于标记来定义检测区域的方法的第一图。
图29是示出了基于标记来定义检测区域的方法的第二图。
图30是示出了基于标记来定义检测区域的方法的第三图。
图31是示出了显示控制单元校正第一区域的形状以生成第二区域的场景的第二图。
具体实施方式
在下文中，将参考附图来描述本发明的示例性实施例。在所有附图中，相同的组成元件被赋予了相同的附图标记，并且在适当时将不会重复地对其进行描述。
[示例性实施例1]
图1是示出了根据示例性实施例1的输入设备2000的框图。在图1中，每个方框表示的不是硬件单元中的配置，而是功能单元中的配置。
输入设备2000包括运动检测单元2020和输入识别单元2040。运动检测单元2020通过使用包括对象的所捕获的图像来检测该对象的运动。这里，检测到的对象的运动是在基于附着到输入设备2000的用户身体上的传感器的检测结果而定义的时段中的对象的运动。输入识别单元2040基于检测到的对象的运动来识别对信息处理设备的输入。通过此输入而操作的信息处理设备(作为输入目标的信息处理设备)可以是输入设备2000，或者也可以是其他设备。
图2是在概念上解释输入设备2000的操作的图。用户通过移动手指30来执行对信息处理设备的输入。手指30的运动由相机20进行成像。因此，相机20生成包括手指30的捕获图像。输入设备2000基于包括在由相机20生成的捕获图像中的手指30来检测手指30的运动。输入设备2000基于检测到的手指30的运动来识别用户的输入。
输入设备2000使用附着到用户的传感器来识别用户执行的输入操作。在图2中，传感器12内置于安装在用户左臂50上的设备10中。例如，传感器12是振动传感器。例如，如果用户在开始输入操作的定时处点击左臂50，则输入设备2000可以识别出的是：包括此定时的用户动作是基于传感器检测到点击的定时的输入操作。因此，输入设备2000在包括该定时的时段中检测手指30的运动，并且因此可以准确地识别用户所期望的输入操作。
然而，参照图2描述的输入设备2000的操作可以是用于更好地理解输入设备2000的示例，并且输入设备2000的操作并不局限于上述示例。稍后将描述输入设备2000的操作的细节和变化。
<有益效果>
如果仅通过使用包括在所捕获的图像中的对象的运动来识别用户的输入操作，则难以区分出用户为了实现输入操作而移动对象的情况和用户为了另一目的而移动对象的情况。因此，即使用户没有执行输入操作，也有可能错误地识别出该输入操作，或者即使用户执行了输入操作，该输入操作也可能没有被识别出。
因此，本示例性实施例的输入设备2000通过在基于附着到用户的传感器的检测结果而定义的时段中分析对象的运动来识别输入操作。对象在此时段内的运动有很高概率会是指示输入操作的运动。因此，可以准确地识别用户所期望的输入操作，并且，可以防止即使用户没有执行输入操作，该输入操作也被错误地识别出，或者防止即使用户执行了输入操作，该输入操作无法也被识别出。
<输入设备2000的硬件配置的示例>
输入设备2000的每个功能配置单元可以通过硬件(例如，硬件电子电路)来实现，或者可以通过硬件和软件的组合来实现(例如，电子电路与用于控制该电子电路的程序的组合)。在下文中，将进一步描述输入设备2000的每个功能配置单元通过硬件与软件的组合来实现的情况。
计算机1000是诸如头戴式显示器、平板终端、智能手机、个人计算机(PC)或服务器等各种计算机。计算机1000可以是设计为实现输入设备2000的专用计算机，或者可以是通用计算机。
图3是示出了实现输入设备2000的计算机1000的配置的图。计算机1000包括总线1020、处理器1040、存储器1060、存储装置1080和输入/输出接口1100。总线1020是用于在处理器1040、存储器1060和存储装置1080之间发送和接收数据的传输路径。然而，将处理器1040等彼此连接的方法并不局限于使用总线的连接。例如，处理器1040是诸如中央处理单元(CPU)或图形处理单元(GPU)的处理器。存储器1060例如是随机存取存储器(RAM)或只读存储器(ROM)。存储装置1080例如是诸如硬盘、固态硬盘(SSD)或存储卡之类的存储设备。存储装置1080可以是诸如RAM或ROM之类的存储器。
输入/输出接口1100将计算机1000连接到输入和输出设备。输入/输出接口1100连接到相机20。相机20是重复执行成像的任何相机，并且生成指示每个成像结果的所捕获的图像。需要注意的是，相机20可以是二维(2D)相机，或者可以是三维(3D)相机。
相机20设置在任何位置。例如，相机20附着到对象上，而此对象附着到用户上。例如，附着到用户上的对象是头戴式显示器或者挂在用户脖子上的雇员ID卡。例如，相机20可以设置在用户对输入设备2000执行输入操作的房间的墙壁上。在后一种情况下，优选的是，可以使用遥控器通过遥控来改变相机20的成像范围(成像方向或变焦比)。
存储装置1080存储用于实现每个功能配置单元的程序模块。处理器1040通过执行每个程序模块来实现输入设备2000的每个功能配置单元的功能。这里，当执行每个模块时，处理器1040可以在将该模块读取到存储器1060之后再执行该模块，或者可以在没有将该模块读取到存储器1060的情况下执行该模块。
计算机1000的硬件配置并不局限于图3所示的配置。例如，每个程序模块可以存储在存储器1060中。在这种情况下，计算机1000可以不包括存储装置1080。
<过程流程>
图4是示出了示例性实施例1的输入设备2000所执行的过程流程的流程图。运动检测单元2020识别附着到输入设备2000的用户身体上的传感器12的检测结果(S102)。运动检测单元2020获取所捕获的图像(S104)。运动检测单元2020通过使用所获取的所捕获的图像，在基于传感器12的检测结果而定义的时段中检测对象的运动(S106)。输入识别单元2040基于检测到的对象的运动来识别对信息处理设备的输入(S108)。
<附着到用户上的传感器>
附着到用户上的传感器是用于识别用户所执行的输入操作的定时的任何传感器，并且不限于上述振动传感器。传感器可以是例如加速度传感器、振动开关、压力传感器或静电电容传感器。例如，加速度传感器或振动开关以与振动传感器相同的方式设置在设备10内部。压力传感器或静电电容传感器例如设置在设备10的触摸面板上。例如，压力传感器或静电电容传感器可以设置在粘合到或缠绕在用户手臂上的薄片或类似物上。例如，压力传感器或静电电容传感器可以设置在用户的衣服(袖子)上。
<识别传感器中的检测结果的方法>
运动检测单元2020识别附着到输入设备2000的用户身体上的传感器的检测结果(S102)。有很多种运动检测单元2020识别传感器的检测结果的方法。在下文中，将对这些方法加以描述。
《无线通信的使用》
例如，运动检测单元2020与内置有传感器的设备10进行无线通信，以获取指示传感器的检测结果的信息，并由此识别传感器12的检测结果。例如，设备10在传感器检测到预定幅度或更大幅度的振动的定时处向运动检测单元2020发送预定信号。在这种情况下，运动检测单元2020可以通过接收预定信号来获取传感器的“传感器已经检测到振动”的检测结果。
例如，在传感器12检测到预定幅度或更大幅度的振动的情况下，设备10可以将指示检测到振动的时间点的信息发送到检测单元2020。
《设备10的外观变化的检测》
设备10可以根据传感器12中的振动检测来改变设备10的外观。在这种情况下，使用相机20来对设备10进行成像。运动检测单元2020使用包括设备10的图像来检测设备10的外观变化，从而识别传感器的检测结果(传感器执行的振动的检测)。
例如，在设备10具有显示屏幕的情况下，当传感器检测到预定幅度或更大幅度的振动时，设备10改变显示屏幕上的显示。更具体地，当传感器检测到预定幅度或更大幅度的振动时，设备10改变在设备10的显示屏幕上显示的图像，或者在还没有显示任何内容的显示屏幕上显示新图像。运动检测单元2020通过对由相机20反复生成的图像进行分析来检测设备10的显示屏幕上的显示变化。因此，运动检测单元2020识别出了传感器已经检测到振动。图5是示出了在用户点击左臂50的情况下改变在设备10的显示屏幕上显示的图像的场景的图。
例如，在传感器12检测到振动的情况下，设备10可以打开灯(如设备10的显示屏幕的背光灯或设置在设备中的发光二极管(LED))或使其闪烁。运动检测单元2020通过对由相机20反复生成的图像进行分析来检测灯的开启或闪烁。因此，检测单元2020识别出传感器12已经检测到振动。
如上所述，如果运动检测单元2020通过根据传感器12中的振动检测改变设备10的外观来识别出振动的检测，则不需要在设备10与输入设备2000之间执行无线通信。因此，只要无线通信对于其他目的而言不是必需的，那么，设备10或输入设备2000就可以不具备无线通信功能。
运动检测单元2020识别除振动传感器以外的传感器的检测结果的方法与针对振动传感器所描述的方法相同。在传感器是加速度传感器或振动开关的情况下，当这种传感器检测到预定幅度或更大幅度的加速度或振动时，设备10或运动检测单元2020执行与当振动传感器检测到预定幅度或更大幅度的振动时相同的过程。例如，在传感器是压力传感器的情况下，当压力传感器检测到预定幅度或更大幅度的压力时，设备10或运动检测单元2020执行与当振动传感器检测到预定幅度或更大幅度的振动时相同的过程。例如，在传感器是静电电容传感器的情况下，当压力传感器检测到预定幅度或更大幅度的静电电容位移时，设备10或运动检测单元2020执行与当振动传感器检测到预定幅度或更大幅度的振动时相同的过程。
<获取所捕获的图像的方法>
运动检测单元2020获取所捕获的图像(S104)。有很多种运动检测单元2020获取所捕获的图像的方法。例如，运动检测单元2020从相机20获取所捕获的图像。在这种情况下，输入设备2000可通信地连接到相机20。
在相机20将所捕获的图像存储在外部存储设备中的情况下，运动检测单元2020从该存储设备获取所捕获的图像。在这种情况下，运动检测单元2020可通信地连接到存储设备。
<检测对象的运动的方法>
运动检测单元2020通过使用所获取的所捕获的图像，在基于传感器12中的检测结果而定义的时段中检测对象的运动(S106)。在下文中，将描述1)待处理的对象，2)检测对象的运动的时段，以及3)从所捕获的图像中检测对象的方法。
《待处理的对象》
运动检测单元2020将预定对象处理为对象。例如，预定对象是用户的手指或笔。在这种情况下，用户通过在相机20的成像范围内移动手指或笔来执行输入操作。
例如，预定对象可以是附着到对象上的标记。例如，该标记附着到用户的身体(手指等)上。例如，该标记附着到用户所握住的对象(笔或类似物)上。例如，该标记附着到对象上，而该对象附着到用户上。例如，附着到用户上的对象是内置有传感器的设备10。用户通过在相机20的成像范围内移动附有标记的手指、笔或设备10来执行输入操作。
指示要在运动检测单元2020中进行处理的对象的信息可以预先设置在运动检测单元2020中，或者可以存储在设置在输入设备2000内部或外部的存储设备中。
需要注意，运动检测单元2020可以处理一种对象或多种对象。
《检测对象的运动的时段》
运动检测单元2020获取传感器中的检测结果。运动检测单元2020通过使用所获取的捕获图像，在基于传感器中的检测结果而定义的时段中检测对象的运动。在下文中，将“基于传感器中的检测结果的时段”称为检测目标时段。将描述定义检测目标时段的方法的示例。
运动检测单元2020使用传感器中的检测结果来定义检测目标时段。具体而言，运动检测单元2020基于传感器定时来定义检测目标时段。传感器定时是由传感器检测到振动等的定时或接近该定时的定时。例如，在传感器12检测到振动等时从设备10向运动检测单元2020发送预定信号的情况下，传感器定时是运动检测单元2020接收到该预定信号的时间点。在指示传感器12检测到振动等的时间点的信息从设备10发送到运动检测单元2020的情况下，传感器定时是由该信息指示的时间点。例如，在传感器12检测到振动等时在设备10的外观上添加了预定变化的情况下，传感器定时是由运动检测单元2020检测到该预定变化的时间点。
运动检测单元2020通过使用一个或两个传感器定时来定义检测目标时段。在使用单个传感器定时来定义检测目标时段的情况下，运动检测单元2020使用该单个传感器定时来定义检测目标时段的起点和终点。
在使用两个传感器定时来定义检测目标时段的情况下，运动检测单元2020定义这两个传感器定时。具体而言，运动检测单元2020使用这两个传感器定时中较早的传感器定时来确定检测目标时段的起点，并且使用较晚的传感器定时来确定检测目标时段的终点。
图6是示出了使用传感器定时来确定检测目标时段的起点的方法的图。例如，运动检测单元2020将传感器定时设定为检测目标时段的起点(图6(a))。例如，运动检测单元2020将与传感器定时之前的预定时间相对应的时间点设定为检测目标时段的起点(图6(b))。例如，运动检测单元2020将与传感器定时之后的预定时间相对应的时间点设置为检测目标时段的起点(图6(c))。
使用传感器定时来确定检测目标时段的终点的方法与使用传感器定时来确定检测目标时段的起点的方法相同。
在将与传感器定时之前的预定时间相对应的时间点设置为检测目标时段的起点的情况下(图6(b))，为了检测对象的运动，需要的是包括在传感器定时之前的预定时间之后被成像的对象的所捕获的图像。因此，相机20在传感器12检测到振动之前开始成像。例如，相机20连续地执行成像，直到用户从其开始完成了对输入设备2000的使用。由相机20生成的所捕获的图像在预定时段内连续地存储在存储设备等中。
另一方面，在传感器定时或传感器定时之后的预定时间被设定为检测目标时段的起点的情况下(图6(a)或图6(c))，相机20可以在传感器12检测到振动之后开始成像。在这种情况下，例如，相机20从设备10或输入设备2000接收指示出传感器12已经检测到振动的信号，并且在接收信号的定时开始成像。
指示预定时间的信息可以预先设置在运动检测单元2020中，或者可以存储在可以从运动检测单元2020访问的存储设备中。用于确定检测目标时段的起点的预定时间可以与用于确定检测目标时段的终点的预定时间相同或不同。
《从所捕获的图像中检测对象的运动的方法》
运动检测单元2020使用包括在检测目标时段中成像的对象的所捕获的图像来检测该对象的运动。例如，在检测目标时段中成像了多个包括对象的所捕获的图像的情况下，运动检测单元2020从多个所捕获的图像中的每一所捕获的图像中识别对象，并计算包括在每一所捕获的图像中的对象的位置。运动检测单元2020将指示对象的位置变化的信息用作指示对象的运动的信息。例如，指示对象的位置变化的信息是对象的位置以时间序列进行排列的信息。
单个所捕获的图像可以包括在检测目标时段中成像的对象。在对象正在移动的情况下，通常将模糊对象包括在单个所捕获的图像中。因此，运动检测单元2020根据包括在单个所捕获的图像中的模糊对象的图像来计算对象的运动。
图7是示出了包括用户的模糊手指的所捕获的图像22的图。在所捕获的图像22中，用户的手指30是模糊的，这样它便从手指30-A向手指30-B移动。运动检测单元2020检测手指30-A和手指30-B共有的特征点的位置变化，作为对象的运动。例如，运动检测单元2020检测由手指30-A的指尖和手指30-B的指尖的位置变化所定义的运动40。
<输入识别单元2040的细节>
输入识别单元2040基于检测到的对象的运动来识别对信息处理设备的输入(S108)。输入识别单元2040 1)可以将基于检测到的对象的运动的形状识别为对信息处理设备的输入，或者2)可以将与检测到的对象的运动相对应的预定输入操作识别为对信息处理设备的输入。
《基于对象的运动的形状被识别为输入的情况》
图8是示出了对象的运动所定义的形状被识别为输入的场景。在图8(a)中，输入识别单元2040将由对象的运动40-A指示的形状41或由运动40-B指示的形状42识别为对信息处理设备的输入。例如，此输入用于用户在信息处理设备上执行手写。
在图8(b)中，输入识别单元2040将如下形状识别为对信息处理设备的输入：该形状与对象的运动不同，但其形状和尺寸由对象的运动定义。具体而言，输入识别单元2040将其对角线为运动40-C的两端的矩形形状44或者其直径为运动40-C的两端的圆形形状46识别为对信息处理设备的输入。例如，该输入由用户用于执行指示某个范围的输入(选择操作等)或者在信息处理设备上绘制预定图形。
使用图8(a)所示的方法和图8(b)所示的方法中的哪一种方法可以是固定的，或者也可以由用户设置。指示使用哪种方法的信息可以预先设置在输入识别单元2040中，或者可以存储在可以从输入识别单元2040访问的存储设备中。
这里，输入识别单元2040可以将从相机20的前方观看到的运动(包括在所捕获的图像中的对象的运动)转换为上述形状中的每一个形状，或者可以将从其他角度观看到的对象的运动转换为上述形状中的每一个形状。图9是示出了将对象的运动转换为形状的场景的图。所捕获的图像22是由相机20生成的所捕获的图像。用户在左臂50上执行运动40。这里，如果根据图8(b)所示的方法将包括在所捕获的图像22中的运动40转换为一形状，则运动分析设备20被转换为形状48。然而，由于用户将左臂50处理为输入平面，因此，用户期望的输入被认为是其中从左臂50的前方观看到运动40的形状49，而不是其中从相机20的前方观看到运动40的形状48。
因此，输入识别单元2040基于从左臂50的前方观察到运动40的运动来计算形状49，并将形状49识别为由用户执行的输入。为此，输入识别单元2040使用附着到用户的左臂50上的设备10。具体而言，输入识别单元2040从所捕获的图像中提取出设备10的触摸面板14。输入识别单元2040基于提取出的触摸面板14的形状来计算触摸面板14的平面上的坐标轴140。例如，输入识别单元2040将如下的坐标轴设为坐标轴140：该坐标轴以触摸面板14的中心为原点，以由触摸面板14定义的平面(例如，由触摸面板14的四个角定义的平面)为XY平面，并且以与该平面垂直的方向为方向Z。输入识别单元2040计算形状49，该形状49将运动40的两端作为坐标轴140定义的平面上的对角线的两端。
需要注意的是，使用以下哪一种方法可以是固定的或者可以由用户设置：将包括在所捕获的图像22中的对象的运动原样转换为形状的方法；或者将从其他角度(例如，从前侧观看到左臂50的角度)观看到的对象的运动转换为形状的方法。指示使用哪种方法的信息可以预先设置在输入识别单元2040中，或者可以存储在可以从输入识别单元2040访问的存储设备中。
《识别出与对象的运动相对应的预定输入操作的情况》
与检测到的对象的运动相对应的预定输入操作是基于所谓的手势输入的输入操作。图10是示出了手势输入的图。图10(a)示出了轻弹动作，而图10(b)示出了缩小/放大动作。
其中对象的运动与对应于该运动的预定输入操作相关联的信息可以预先设置在输入识别单元2040中，或者可以预先存储在输入设备2000的内部或外部存储设备中。
<执行对象移动动作的位置的处理>
输入识别单元2040 1)可以仅将对象的运动识别为输入，而不管执行对象移动动作的位置如何，或者2)可以将对象的运动与执行对象移动动作的位置的组合识别为输入。在前一种情况下，即使在所捕获的图像22上的任何位置处执行了对象移动动作，该对象的相同运动也指示相同的输入。另一方面，在后一种情况下，在所捕获的图像22上执行对象移动动作的位置具有一定含义。
例如，假定用户对所捕获的图像22中包括的对象或显示屏幕上显示的对象执行绘制操作。在这种情况下，不仅所绘制的形状具有含义，而且绘制目标都具有含义。图24是示出了用户对包括在所捕获的图像22中的对象执行绘制的场景的图。图24中的所捕获的图像22包括具有生锈部分的管道。用户绘制出线条62，将该生锈部分包围在内，从而表明所捕获的图像22中包括的管道的一部分存在生锈的情况。为了识别出此输入操作，需要输入识别单元2040不但将线条62的形状而且还将绘制线条62的位置识别为输入。
在1)的情况下，如上所述，输入识别单元2040将运动检测单元2020检测到的对象的运动所定义的形状或者对象的运动所定义的手势识别为输入。
另一方面，在2)的情况下，输入识别单元2040将运动检测单元2020检测到的所捕获的图像22上的对象的坐标转变识别为输入。因此，如图24所示，输入识别单元2040不仅将线条62的形状识别为输入，而且还将绘制线条62的位置识别为输入。
在2)的情况下，输入识别单元2040可以不将执行与对象有关的动作的位置识别为用户执行输入的位置，而是将与该位置分开的位置识别为用户执行输入的位置。在图24中，在将与对象分开的位置作为目标的情况下移动对象，从而执行输入。在下文中，与执行与对象相关的动作的位置相对应的并且被识别为输入的位置将被称为输入位置。
在基于对象的运动来将具有与对象分开的位置的输入识别为输入位置的情况下，输入识别单元2040根据预定方法将运动检测单元2020检测到的所捕获的图像22上的对象的坐标转变转换为与对象分开的输入位置的坐标转变。
基于与所捕获的图像22上的对象的位置的关系，预先相对地定义输入位置。例如，基于所捕获的图像22的平面上的二维位置关系，定义输入位置与对象的位置之间的关系。
图25是示出了所捕获的图像22的平面上输入位置60与对象的位置之间的关系的图。输入位置60与对象的位置之间的关系由下面的等式(1)定义。(ax，ay)是输入位置60在所捕获的图像22中的坐标。(mx，my)是手指30在所捕获的图像22中的坐标。(cx，cy)是输入位置60针对对象的位置的相对位置。在图25中，对象是手指30，而对象的位置是手指30的指尖。
例如，输入位置60的位置被预先定义为三维空间中针对对象的位置的相对位置。该三维空间是由所捕获的图像22中包括的对象所定义的三维空间。
图26是示出了三维空间中的输入位置60与对象的位置之间的关系的图。输入识别单元2040使用包括在所捕获的图像22中的预定对象来确定坐标轴140。例如，输入识别单元2040使用设备10来确定坐标轴140。具体地，输入识别单元2040将如下的坐标轴处理为坐标轴140：该坐标轴以设备10的触摸面板14的中心为原点，以由触摸面板14定义的平面为XY平面，并且以与该平面垂直的方向为方向Z。
输入位置60与对象的位置之间的关系在坐标轴140定义的三维空间中由以下等式(2)定义。(ax，ay，az)是由坐标轴140定义的三维空间中的输入位置60的坐标。(mx，my，mz)是由坐标轴140定义的三维空间中的对象的位置的坐标。(cx，cy，cz)是在坐标轴140定义的三维空间中输入位置60针对对象的位置的相对位置。在图25中，对象是手指30，而对象的位置是手指30的指尖。
输入识别单元2040使用等式(1)或(2)将多个所捕获的图像22上的对象的位置的每个坐标转换为输入位置60的坐标。输入识别单元2040将输入位置60的多个计算出的坐标以时间序列进行排列的信息识别为由用户执行的输入。
其中输入识别单元2040识别输入的1)和2)的方法可以预先设置在输入识别单元2040中，可以存储在可以从输入识别单元2040访问的存储设备中，或者可以是由用户进行选择。
[示例性实施例2]
图11是示出了根据示例性实施例2的输入设备2000的框图。在图11中，每个方框表示的不是硬件单元中的配置，而是功能单元中的配置。
图12是用于从概念上解释示例性实施例2的输入设备2000的操作的图。在示例性实施例2的输入设备2000中，输入识别单元2040识别基于所捕获的图像22中包括的对象的运动来绘制区域的输入。在下文中，由输入识别单元2040识别出的区域将被称为第一区域。第一区域例如是矩形区域或圆形区域。图12中的第一区域是基于手指30在用户左臂50上的运动40而绘制的矩形区域70。
输入设备2000从所捕获的图像22中提取基于在识别出输入之后生成的区域而定义的范围。在图12中，在识别出矩形区域70的输入之后，由相机20对仪表80进行成像，由此生成了所捕获的图像90。输入设备2000提取包括在所捕获的图像90的矩形区域100中的范围(仪表80的测量结果)。矩形区域100是由矩形区域70定义的区域。例如，输入设备2000对提取图像进行分析，以计算出仪表80的测量结果。
为了实现该功能，示例性实施例2的输入设备2000包括显示控制单元2050和提取单元2060。示例性实施例2的输入识别单元2040识别如上所述的基于对象的运动来绘制第一区域的输入。显示控制单元2050在显示屏幕上显示基于第一区域而定义的第二区域。在由输入识别单元2040识别出绘制第一区域的输入之后，提取单元2060从相机20生成的图像中提取包括在与第二区域对应的范围中的部分图像。
在下文中，将更详细地描述示例性实施例2的输入设备2000。
<过程流程>
图13是示出了示例性实施例2的输入设备2000所执行的过程流程的流程图。输入识别单元2040识别基于对象的运动来绘制第一区域的输入(S202)。显示控制单元2050基于第一区域生成第二区域(S204)。显示控制单元2050在显示屏幕上显示第二区域(S206)。提取单元2060从相机20生成的所捕获的图像中提取包括在与第二区域对应的范围中的部分图像(S208)。
<输入识别单元2040的细节>
输入识别单元2040识别基于对象的运动来绘制第一区域的输入(S202)。例如，第一区域是由对象的运动所指示的区域。例如，第一区域是指示由对象的运动定义的预定形状的区域。例如，第一区域是图8中举例说明的形状42、矩形形状44或圆形形状46。
<显示控制单元2050的细节>
《生成第二区域的方法》
显示控制单元2050基于第一区域生成第二区域(S204)。显示控制单元2050基于第一区域生成第二区域的方法有很多种。例如，显示控制单元2050生成具有与第一区域相同尺寸和相同形状的区域，作为第二区域。
例如，显示控制单元2050生成其形状与第一区域的形状相同(类似)并且其尺寸与其不同的区域，作为第二区域。具体地，显示控制单元2050处理其形状与第一区域的形状相同并且其面积是预定面积的区域。
例如，显示控制单元2050可以根据预定方法使第一区域的形状变形，从而生成第二区域。从概念上来讲，显示控制单元2050将第一区域校正为具有用户期望的形状。
图14是示出了显示控制单元2050校正第一区域的形状以生成第二区域的场景的图。图14(a)示出了所捕获的图像22中包括的场景。用户在左臂50上执行指示第一区域110的输入。这里，由于相机20没有从前侧对左臂50进行成像，因此包括在所捕获的图像22中的第一区域110的形状是从斜上方观看到矩形形状的形状。然而，由于用户是被认为在从前侧观看左臂50的情况下绘制用眼睛观看到的形状，因此，用户期望的第一区域110的形状被认为是矩形形状。
因此，显示控制单元2050校正第一区域110的形状。图14(b)是示出了通过校正第一区域110的形状而生成的第二区域120的图。在图14中，显示控制单元2050从所捕获的图像中提取安装在用户左臂50上的设备10的触摸面板14。显示控制单元2050基于提取出的触摸面板14的形状来计算触摸面板14上的平面上的坐标轴140。显示控制单元2050使用坐标轴140来转换第一区域110的形状，由此生成第二区域120。
需要注意，校正第一区域的形状的方法不限于图14所示的方法。图31是示出了显示控制单元2050校正第一区域的形状以生成第二区域的场景的第二图。在图31(a)所示的示例中，显示控制单元2050校正第一区域110-1以生成第二区域120-1或第二区域120-2。第二区域120-1是通过用直线将第一区域110-1的四个顶点彼此连接而获得的梯形。第二区域120-2是以第二区域120-1的上边和下边作为短边的矩形形状。需要注意，可以使用公知技术来作为通过校正将梯形转换成矩形的技术。
在图31(b)所示的示例中，显示控制单元2050校正第一区域110-2以生成第二区域120-3或第二区域120-4。第二区域120-3具有通过用直线将第一区域110-2的四个顶点彼此连接而获得的平行四边形。第二区域120-2是以第二区域120-4的上边和下边作为长边的矩形。需要注意，可以使用公知技术来作为通过校正将平行四边形转换为矩形的技术。
需要注意，上述方法中用于显示控制单元2050生成第二区域的方法可以预先固定，或者可以由用户设置。指示待使用的方法的信息可以预先设置在显示控制单元2050中，或者可以存储在可以从显示控制单元2050访问的存储设备中。
《显示第二区域的方法》
显示控制单元2050在显示屏幕上显示第二区域(S206)。这里，显示控制单元2050显示第二区域，使得观看显示屏幕的用户可以观看到第二区域和由相机20生成的所捕获的图像彼此重叠的场景。
例如，显示控制单元2050在显示屏幕上显示所捕获的图像和第二区域这两者，从而使得所捕获的图像与第二区域发生重叠。因此，用户可以观看到所捕获的图像和第二区域彼此重叠的场景。需要注意的是，可以通过投影仪将所捕获的图像和第二区域投影到墙壁或类似物上。在这种情况下，投影面是显示屏幕。
在显示屏幕是安装在用户上的透射型头戴式显示器的显示屏幕的情况下，显示控制单元2050可以不显示所捕获的图像。在这种情况下，相机20设置在头戴式显示器上，从而在与佩戴头戴式显示器的用户的视野相同的方向上或与其接近的方向上执行成像。因此，在显示屏幕前方观看到的真实世界景物变得与在所捕获的图像中包括的景物相同。
因此，显示控制单元2050在头戴式显示器的显示屏幕上显示第二区域。因此，佩戴头戴式显示器的用户可以观看到“在显示屏幕前方观看到的真实世界景物与在显示屏幕上显示的第二区域发生重叠的景物”，并且该景物展示了所捕获的图像和第二区域彼此重叠的场景。
《第二区域的显示位置》
如示性实施例1中所述，输入识别单元2040 1)可以仅将对象的运动识别为输入，而不管执行对象移动动作的位置如何，或者2)可以将对象的运动与执行对象移动动作的位置的组合识别为输入。在1)的情况下，由用户执行的输入定义第二区域的形状，并且不包括指定第二区域的位置。因此，第二区域的显示位置不是由用户指定。因此，显示控制单元2050将第二区域显示在例如显示屏幕上的预定位置处(显示屏幕的中心等)。
另一方面，在2)的情况下，由用户执行的输入不仅包括第二区域的形状，而且还包括所捕获的图像22上的第二区域的位置。因此，显示控制单元2050将第二区域显示在由用户执行的输入所定义的显示屏幕上的位置处。图27是示出了在由用户执行的输入所定义的位置处显示第二区域的场景的图。用户在左臂50上执行运动40，由此执行绘制围绕仪器的仪表部分的矩形形状的输入。因此，显示控制单元2050在显示屏幕150上显示仪表部分中的第二区域120。
显示控制单元2050在显示屏幕上与所捕获的图像上的位置相对应的位置处显示第二区域。在所捕获的图像在显示屏幕上显示的情况下(例如，在显示屏幕是非透射型头戴式显示器的显示屏幕的情况下)，显示控制单元2050在显示屏幕上显示所捕获的图像，使得第二区域在由用户执行的输入所指定的位置处叠加在其上。
另一方面，在所捕获的图像未在显示屏幕上显示的情况下(例如，在显示屏幕是透射型头戴式显示器的显示屏幕的情况下)，显示控制单元2050通过使用所捕获的图像上的坐标与显示屏幕上的坐标的对应关系(用于将所捕获的图像上的坐标转换为显示屏幕上的坐标的转换等式)，基于由用户执行的输入所指定的所捕获的图像上的第二区域的位置来计算显示屏幕上的位置。显示控制单元2050在显示屏幕上的计算出的位置处显示第二区域。
基于与相机20有关的各种参数(视角或焦距)或者显示屏幕与相机20之间的位置关系来定义所捕获的图像上的坐标与显示屏幕上的坐标之间的对应关系。对应关系可以由显示控制单元2050通过使用参数等来计算，或者可以预先设置为设定值。
《第二区域的移动或变形》
可以使显示屏幕上显示的第二区域移动或变形。例如，显示控制单元2050使用输入设备(如鼠标)从用户接收操作或示例性实施例1中所描述的输入识别单元2040上的输入操作，并且基于该操作使第二区域移动或变形。移动第二区域的操作例如是拖动操作。使第二区域变形的操作例如是缩小/放大操作。用户期望的部分图像可以通过使第二区域移动或变形来由提取单元2060(其将在后面进行描述)进行提取。
图15是示出了第二区域显示在显示屏幕上以叠加在所捕获的图像上的场景的图。在图15中，显示控制单元2050将所捕获的图像22和第二区域120投影到投影面130上。图15(a)示出了用户移动第二区域120之前的场景。另一方面，图15(b)示出了用户移动第二区域120之后的场景。在图15(a)和图15(b)中，通过用户移动第二区域120改变了包括在第二区域120中的图像。
用户可以通过改变相机20的成像范围来改变相机20上的第二区域的位置。在相机20是设置在头戴式显示器上的相机的情况下，用户可以通过改变自身的面部方向来使所捕获的图像中的期望部分包括在第二区域中。例如，在相机20是设置在房间中的相机的情况下，用户可以通过改变过程或使用遥控器等改变相机的变焦比来使所捕获的图像中的期望部分包括在第二区域中。
图16是示出了在头戴式显示器的显示屏幕上显示的第二区域的图。显示器204是形成为眼镜型头戴式显示器的镜头部分的显示屏幕。图16(a)示出了佩戴头戴式显示器的用户改变其面部方向之前的场景。另一方面，图16(b)示出了用户改变其面部方向之后的场景。
在图16(a)和图16(b)中，第二区域120均显示在显示器204的中央。然而，在图16(a)和图16(b)中，通过改变用户的面部方向改变了包括在第二区域120中的部分图像。
<提取单元2060的细节>
提取单元2060从相机20生成的捕获图像中提取包括在与第二区域相对应的范围中的部分图像(S208)。在第二区域在叠加于所捕获的图像上的同时进行显示的情况下(例如，在显示屏幕是非透射型头戴式显示器的显示屏幕的情况下)，所捕获的图像上的与第二区域相对应的范围是位于所捕获的图像上的并且第二区域叠加在其上的范围。
另一方面，在第二区域在没有叠加于所捕获的图像上的同时进行显示的情况下(例如，在显示屏幕是透射型头戴式显示器的显示屏幕的情况下)，所捕获的图像没有在显示屏幕上显示。在这种情况下，提取单元2060基于所捕获的图像上的坐标与显示屏幕上的坐标之间的对应关系(将所捕获的图像上的坐标转换成显示屏幕上的坐标的转换等式)，将显示屏幕上的第二区域映射到所捕获的图像上。提取单元2060通过提取包括在映射区域中的图像来提取部分图像。
需要注意，基于与相机20有关的各种参数(视角或焦距)或者显示屏幕与相机20之间的位置关系来定义所捕获的图像上的坐标与显示屏幕上的坐标之间的对应关系。对应关系可以通过使用参数等来由提取单元2060计算出，或者可以预先设置为设定值。
提取单元2060在各定时从所捕获的图像中提取部分图像。例如，输入设备2000从用户接收预定操作，该预定操作用于给出提取部分图像的指令。提取单元2060在输入设备2000识别出该预定操作的情况下提取部分图像。预定操作可以是使用输入设备(如鼠标)的操作，或者可以是在示例性实施例1中描述的输入识别单元2040上的输入操作2040。
例如，在显示控制单元2050接收到使第二区域移动或变形的操作的情况下，提取单元2060可以在预定时间或更长时间内未识别到这种操作的情况下提取部分图像。例如，在通过用户改变相机20的成像范围来改变所捕获的图像上的第二区域的位置的情况下，提取单元2060可以在预定时间或更长时间内没有改变相机20的成像范围的情况下提取部分图像。
<硬件配置示例>
图17是示出了实现示例性实施例2的输入设备2000的计算机1000的硬件配置的图。计算机1000的配置与实现示例性实施例1的输入设备2000的计算机1000的配置相同。然而，示例性实施例2的计算机1000的存储装置1080进一步包括用于实现本示例性实施例的输入设备2000的每个功能的程序模块。
输入/输出接口1100连接到显示第二区域的显示屏幕150，或者连接到将第二区域投影到投影面上的投影仪160。显示屏幕150可以是液晶显示器的显示屏幕，或者可以是头戴式显示器的显示屏幕。在图17所示的配置中，显示屏幕150是头戴式显示器170的显示屏幕。
头戴式显示器170是显示屏幕150包括在用户视野中的任何头戴式显示器。例如，显示屏幕150是非透射型显示器。在这种情况下，头戴式显示器170在显示屏幕150上以重叠方式显示由对用户周边进行成像的相机所拍摄的图像(例如，用户的面部方向)以及指示其他对象的图像。用户可以通过观看显示屏幕150来观看到这些其他对象叠加在周边景物上的场景。需要注意的是，“对用户周边进行成像的相机”可以是相机20，或者可以是与其分开设置的相机。
例如，显示屏幕150是透射型显示器。在这种情况下，用户可以观看到显示屏幕150前方存在的真实对象以及显示屏幕150上显示的图像这两者。
<有益效果>
根据本示例性实施例，从所捕获的图像中提取与基于用户执行的输入的区域相对应的部分图像。通过这种配置，用户可以轻易地输入期望从所捕获的图像中提取出的区域。
[示例]
在下文中，将通过使用更具体的示例来描述输入设备2000。需要注意，该示例是用于输入设备2000的使用方法的示例，并且不会限制用于输入设备2000的使用方法。
在本示例中，诸如眼镜200和手表210的两个设备用于输入设备2000的操作。图18是示出了眼镜200和手表210的图。
眼镜200是设置有相机202的头戴式显示器。在本示例中，输入设备2000内置在眼镜200中。用户佩戴眼镜200，如护目镜。
相机202是视频相机，并且对应于上述每一个示例性实施例中的相机20。显示器204是具有透镜形状的透射型显示器。眼镜200在显示器204上显示各种信息。因此，用户的眼睛观看到这些各种信息，从而叠加在真实世界景物上。
手表210具有内置于其中的振动传感器211。手表210具有触摸面板212。手表210、振动传感器211和触摸面板212分别对应于示例性实施例1或示例性实施例2中的设备10、传感器12和触摸面板14。
眼镜200和手表210形成充当信息处理设备的输入接口的输入系统。作为输入系统的操作目标的信息处理设备可以是眼镜200或手表210，或者还可以是其他计算机。在本示例中，操作目标信息处理设备被假定为眼镜200。
在本示例中，用户使用眼镜200和手表210来对仪器执行检查工作。图19是示出了用户执行的检查工作的概览的图。根据检查列表，用户对指示每个仪器的状态的仪表执行读数工作，或者记录备忘录或拍摄与用户所关注的仪器的一部分有关的图片。
眼镜200上的输入操作大致分为两种操作。第一种输入操作是通过在相机202的预定成像范围内移动预定对象而执行的输入操作。该操作是示例性实施例1或2中描述的输入操作。眼镜200接收该操作的状态被称为第一输入模式。第二种输入操作是通过对显示器204上显示的操作图像执行操作而执行的输入操作。眼镜200接收该操作的状态被称为第二输入模式。需要注意，第二输入模式中的操作的具体内容将在后面进行描述。
如果用户开始了检查工作，则眼镜200在显示器204上显示检查列表的第一项目和操作选择菜单300。图20是示出了包括在用户视野中的操作选择菜单300的图。操作选择菜单300包括诸如输入按钮302、成像按钮304和记录按钮306的三个操作图像。这里，眼镜200对该项目进行显示，这样使得当从用户眼睛角度观看时，在手表210附着的左臂50周围观看到检查列表的第一项目。眼镜200对操作选择菜单进行显示，这样使得当从用户眼睛角度观看时，在手表210附着的左臂50上观看到操作选择菜单。
用户执行选择操作图像的操作。具体而言，用户执行点击要选择的操作图像的操作。然后，检测到该点击的振动的手表210改变在触摸面板212上显示的图像。接下来，眼镜200检测到在触摸面板212上显示的图像已经发生了改变，因此执行输入识别过程。
眼镜200的当前状态是其中接收到对操作图像的选择的第二输入模式。因此，由于检测到了在触摸面板212上显示的图像已经发生了改变，眼镜200确定用户选择哪个操作图像。具体而言，眼镜200从由相机202生成的所捕获的图像中检测用户手指的位置，并且确定包括在操作选择菜单300中的操作图像的哪个位置对应于该位置。
如果用户从操作选择菜单300中选择输入按钮302，则眼镜200在显示器204上显示输入方法选择菜单310。图21是示出了包括在用户视野中的输入方法选择菜单的图。输入方法选择菜单310包括三个操作图像，如仪表读取按钮312、数字输入按钮314和备忘录按钮316。
仪表读取按钮312是从由相机202生成的所捕获的图像中自动读取仪表值的输入操作。例如，用户执行示例性实施例2中所描述的图27中所示的输入操作，以便输入指示仪器的仪表部分的第二区域120。提取单元2060基于第二区域120生成仪表部分的部分图像。输入设备2000对仪表部分执行字符串识别以确定仪表值。由此自动地读取了仪表值。如果用户选择仪表读取按钮312，则眼镜200转换到第一输入模式。在完成了自动读取仪表值的情况下，眼镜200再次转换到第二输入模式。
数字输入按钮314是用户输入仪表值的输入操作。图22是示出了在数字输入按钮314被选择之后的场景的图。眼镜200在显示器204上显示数字键盘图像318，这样使得观看到数字键盘图像318，以叠加在左臂50上。用户通过点击数字键盘图像318的每个按键来输入仪表的数值。
备忘录按钮316是用于输入备忘录的输入操作。图23是示出了在备忘录按钮316被选择之后的场景的图。眼镜200在显示器204上显示键盘图像320，这样便观看到键盘图像320叠加在左臂50上。用户通过点击键盘图像320的每个按键来输入备忘录。
在用户从操作选择菜单300中选择了成像按钮304的情况下，在执行该选择时由相机202生成的所捕获的图像与当前检查项目相关联地进行存储。例如，用户在用户所关注的待检查设施的位置包括在用户视野内的状态下按下成像按钮304。然后，记录包括用户所关注的位置的所捕获的图像。
在用户从操作选择菜单300中选择了记录按钮306的情况下，完成对当前检查项目的输入操作，并且转换到下一个检查项目。用户对下一个检查项目执行上述各种输入操作。如上所述，用户对每个检查项目执行输入操作。
需要注意，虽然本示例针对的是检查工作，但是输入设备2000的应用范围并不局限于这种检查工作。例如，输入设备2000可以用于仪器组装工作、护士的护理工作等以及其他各种各样的工作。
如上所述，已经参考了附图来描述本发明的示例性实施例，但是这些仅是本发明的示例，并且可以采用示例性实施例与除示例性实施例以外的各种配置的组合。
例如，在迄今为止的描述中，运动检测单元2020从整个所捕获的图像22中检测对象的运动。然而，运动检测单元2020可以从所捕获的图像22的部分区域中检测对象的运动。在后一种情况下，检测到对象的运动的区域将被称为检测区域。
运动检测单元2020通过使用在所捕获的图像22中包括的标记来定义检测区域。标记是可以在所捕获的图像22中确定其至少一个位置的任何标记。例如，标记是可以用于确定三维坐标系的标记。例如，用于确定三维坐标系的标记是增强现实(AR)标记。然而，用于确定三维坐标系的标记可以是以不变的方式获得从某个参考点彼此正交的三个方向的标记，并且不局限于AR标记。
标记可以附着到用户身体的任何位置上。例如，标记附着到用户的手臂部分上。这里，用户的手臂部分是不仅包括手臂而且还包括手臂和手的部分。例如，标记是在附着到用户的手臂部分上的设备10的触摸面板14上显示的图像。在下文中，触摸面板14上显示的标记的图像将被称为标记图像。
标记图像可以是预先存储在设备10中的图像，或者可以是存储在设备10的外部存储设备中的图像。在后一种情况下，设备10从存储设备获取要显示的标记图像，并显示该标记图像。
例如，假设用户将检测目标对象(例如，用户手指)移动到用户的手臂部分上。在这种情况下，用户预先将标记附着到手臂部分上。例如，在标记是上述标记图像并且对象在左臂上移动的情况下，用户将设备10附着到左臂上。
例如，运动检测单元2020检测包括在所捕获的图像22中的标记。运动检测单元将指示附着有标记的手臂部分的区域定义为检测区域。图28是示出了基于标记来定义检测区域的方法的第一图。在图28中，标记是标记图像16。
运动检测单元2020从所捕获的图像22中检测标记图像16。运动检测单元2020还从所捕获的图像22中检测其上叠加了标记图像16的左臂50。运动检测单元2020将以点图案遮蔽的指示左臂50的区域处理为检测区域。
这里，运动检测单元2020可以通过使用标记图像16来将左臂50的一部分定义为检测区域。例如，运动检测单元2020利用标记图像作为边界来将指示左臂50的区域划分成两个部分。运动检测单元2020将两个分开区域中的较宽区域处理为检测区域。
图29是示出了基于标记来定义检测区域的方法的第二图。在图29中，假定以标记图像16为边界将指示左臂50的区域划分为区域52和区域54。区域52比区域54宽。因此，运动检测单元2020将区域52处理为检测区域。
在手臂部分的一部分被定义为检测区域的情况下，运动检测单元2020可以基于标记是附着到左臂部分上还是右臂部分上来定义检测区域。在这种情况下，假定预先定义了指示其上附着有标记的手臂部分的信息。该信息可以预先设置在运动检测单元2020中，或者可以存储在可以从运动检测单元2020访问的存储设备中。
例如，在将标记附着到左臂部分上的情况下，运动检测单元2020将标记的位置的左侧区域处理为区域中指示左臂部分的检测区域。另一方面，在将标记附着到右臂部分上的情况下，运动检测单元2020将标记的位置的右侧区域处理为区域中指示右臂的检测区域。
图30是示出了基于标记来定义检测区域的方法的第三图。首先，运动检测单元2020从所捕获的图像22中检测标记图像16。接着，运动检测单元2020计算坐标轴140。
在图30所示的情况下，标记图像16存在于左臂50上。因此，运动检测单元2020将标记图像16的位置的左侧区域处理为检测区域。具体地，运动检测单元2020将如下区域定义为检测区域：该区域是由坐标轴140定义的坐标系中的xy平面，并且该区域在y方向上的位置是以坐标轴140的原点作为参考的反方向上的位置。在图30中，检测区域180是检测区域。
在检测区域180中，作为x方向上的边的边182的长度或者作为y方向上的边的边184的长度例如是预先设置的预定长度。然而，运动检测单元2020可以通过减小边182或边184的长度来逐渐缩小检测区域180的尺寸。具体而言，运动检测单元2020在如下情况下使检测区域180变窄：在预定时段或更长时段内，在检测区域180中包括的各区域中的远离中心的区域中没有检测到对象。例如，假设在预定时段内在检测区域180中的各区域中的如下区域中没有检测到对象：当边184被减小预定长度时，该区域变为没有包括到检测区域180中。在这种情况下，运动检测单元2020将边184减小预定长度。由于手臂的尺寸或厚度存在个体差异，因此，运动检测单元2020是逐渐地减小检测区域180，并由此来应对这种个体差异。需要注意，每个预定值可以预先设置在运动检测单元2020中，或者可以存储在可以从运动检测单元2020访问的存储设备中。
如上所述，以标记作为参考来对检测对象的运动的范围进行限制，因此可以减少检测对象的运动所需的计算量。因而，缩短了检测对象运动所需的时间。根据以标记作为参考来定义检测区域的方法，可以根据简易方法来定义检测区域。
如在图28和图30所示的示例中，如果对象移动的位置被限制在手臂部分的上部，则检测区域的背景是用户裸露的皮肤或衣服袖子。因此，背景的颜色或图案比普通景物是背景的情况更简单。由此便于进行对象的检测。
在下文中，添加了参考实施例的示例。
1.一种输入设备，包括：
运动检测单元，所述运动检测单元通过使用包括对象的所捕获的图像，在基于附着到用户的身体上的传感器的检测结果而定义的时段内检测所述对象的运动；以及
输入识别单元，所述输入识别单元基于检测到的所述对象的运动来识别对信息处理设备的输入。
2.根据1.所述的输入设备，其中所述运动检测单元通过使用所述传感器的检测定时来确定待检测对象的运动的起点和终点中的至少一个。
3.根据1.或2.所述的输入设备，其中所述传感器是振动传感器、加速度传感器、振动开关、压力传感器或静电电容传感器。
4.根据1.至3.中任一项所述的输入设备，其中所述对象是所述用户的身体的一部分或者是设置有所述传感器的设备。
5.根据1.至4.中任一项所述的输入设备，其中所述输入识别单元基于所述对象的运动来识别绘制第一区域的输入，并且
所述输入设备还包括：
显示控制单元，所述显示控制单元在显示屏幕上显示基于所述第一区域定义的第二区域；以及
提取单元，所述提取单元从所捕获的图像中提取包括在与所述第二区域相对应的范围中的部分图像。
6.根据5.的输入设备，
其中所述显示控制单元在所述显示屏幕上显示所述第二区域以叠加在所述所捕获的图像上，并且
其中所述提取单元从所述第二区域叠加在显示在所述显示屏幕上的所述所捕获的图像上的范围中提取所述部分图像。
7.根据1.至6.中任一项所述的输入设备，其中所述运动检测单元检测包括在所述所捕获的图像中的标记，基于所述标记来定义所述所捕获的图像的部分区域，并检测所述对象在所述所捕获的图像的所述部分区域中的运动。
8.一种由计算机执行的输入方法，所述输入方法包括：
通过使用包括对象的所捕获的图像，在基于附着到用户的身体上的传感器的检测结果而定义的时段内检测所述对象的运动的运动检测步骤；以及
基于检测到的所述对象的运动来识别对信息处理设备的输入的输入识别步骤。
9.根据8.所述的输入方法，其中在所述运动检测步骤中，通过使用所述传感器的检测定时来确定待检测对象的运动的起点和终点中的至少一个。
10.根据8.或9.所述的输入方法，其中所述传感器是振动传感器、加速度传感器、振动开关、压力传感器或静电电容传感器。
11.根据8.至10.中任一项所述的输入方法，其中所述对象是所述用户的身体的一部分或者是设置有所述传感器的设备。
12.根据8.至11.中任一项所述的输入方法，其中在所述输入识别步骤中，基于所述对象的运动来识别绘制第一区域的输入，并且
所述输入方法还包括：
在显示屏幕上显示基于所述第一区域定义的第二区域的显示控制步骤；以及
从所捕获的图像中提取包括在与所述第二区域相对应的范围中的部分图像的提取步骤。
13.根据12.所述的输入方法，
其中在所述显示控制步骤中，将所述第二区域显示在所述显示屏幕上以叠加在所述所捕获的图像上，并且
在所述提取步骤中，从所述第二区域叠加在显示在所述显示屏幕上的所述所捕获的图像上的范围中提取所述部分图像。
14.根据8.至13.中任一项所述的输入方法，其中在所述运动检测步骤中，检测包括在所述所捕获的图像中的标记，基于所述标记来定义所述所捕获的图像的部分区域，并检测所述对象在所述所捕获的图像的所述部分区域中的运动。
15.一种使计算机执行根据8.至14.中任一项所述的输入方法中的每个步骤的程序。
本申请基于并要求于2015年9月28日提交的日本专利申请号2015-190238的优先权权益；本专利申请的全部内容通过引用的方式并入本文中。

Claims (9)

1.一种输入设备，包括：
运动检测单元，所述运动检测单元通过使用包括对象的所捕获的图像，在基于附着到用户的身体上的传感器的检测结果而定义的时段内检测所述对象的运动；以及
输入识别单元，所述输入识别单元基于检测到的所述对象的运动来识别对信息处理设备的输入。
2.根据权利要求1所述的输入设备，其中所述运动检测单元通过使用所述传感器的检测定时来确定待检测对象的运动的起点和终点中的至少一个。
3.根据权利要求1或2所述的输入设备，其中所述传感器是振动传感器、加速度传感器、振动开关、压力传感器或静电电容传感器。
4.根据权利要求1至3中任一项所述的输入设备，其中所述对象是所述用户的身体的一部分或者是设置有所述传感器的设备。
5.根据权利要求1至4中任一项所述的输入设备，其中所述输入识别单元基于所述对象的运动来识别绘制第一区域的输入，并且
所述输入设备还包括：
显示控制单元，所述显示控制单元在显示屏幕上显示基于所述第一区域定义的第二区域；以及
提取单元，所述提取单元从所捕获的图像中提取包括在与所述第二区域相对应的范围中的部分图像。
6.根据权利要求5所述的输入设备，
其中所述显示控制单元在所述显示屏幕上显示所述第二区域以叠加在所捕获的图像上，并且
所述提取单元从所述第二区域叠加在显示在所述显示屏幕上的所捕获的图像上的范围中提取所述部分图像。
7.根据权利要求1至6中任一项所述的输入设备，其中所述运动检测单元检测包括在所捕获的图像中的标记，基于所述标记来定义所述所捕获的图像的部分区域，并检测所述对象在所捕获的图像的所述部分区域中的运动。
8.一种由计算机执行的输入方法，所述输入方法包括：
通过使用包括对象的所捕获的图像，在基于附着到用户的身体上的传感器的检测结果而定义的时段内检测所述对象的运动的运动检测步骤；以及
基于检测到的所述对象的运动来识别对信息处理设备的输入的输入识别步骤。
9.一种使计算机执行根据权利要求8所述的输入方法中的每个步骤的程序。
CN201680053087.6A 2015-09-28 2016-09-20 输入设备、输入方法和程序 Active CN108027656B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-190238 2015-09-28
JP2015190238 2015-09-28
PCT/JP2016/077729 WO2017057106A1 (ja) 2015-09-28 2016-09-20 入力装置、入力方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN108027656A true CN108027656A (zh) 2018-05-11
CN108027656B CN108027656B (zh) 2021-07-06

Family

ID=58423673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680053087.6A Active CN108027656B (zh) 2015-09-28 2016-09-20 输入设备、输入方法和程序

Country Status (4)

Country Link
US (1) US10168769B2 (zh)
JP (1) JP6344530B2 (zh)
CN (1) CN108027656B (zh)
WO (1) WO2017057106A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200356162A1 (en) * 2019-05-10 2020-11-12 Apple Inc. Electronic Device System With Controllers
WO2022179412A1 (zh) * 2021-02-26 2022-09-01 华为技术有限公司 识别方法及电子设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10234955B2 (en) * 2015-09-28 2019-03-19 Nec Corporation Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
EP3557397A1 (de) * 2018-04-20 2019-10-23 Interactive Scape GmbH Steuer- und verarbeitungseinheit für einen berührungsempfindlichen bildschirm, system damit und verfahren zur verwendung
JP7117451B2 (ja) * 2019-02-19 2022-08-12 株式会社Ｎｔｔドコモ 視線とジェスチャを用いた情報表示装置
KR102269466B1 (ko) * 2019-05-21 2021-06-28 이진우 동작 인식 기반의 문자 입력 방법 및 그 장치
JP7472734B2 (ja) 2020-09-17 2024-04-23 サクサ株式会社 画像処理装置及びプログラム
JP7052128B1 (ja) * 2021-07-20 2022-04-11 株式会社あかつき 情報処理システム、プログラム及び情報処理方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192653A (ja) * 1997-02-28 2004-07-08 Toshiba Corp マルチモーダルインタフェース装置およびマルチモーダルインタフェース方法
CN101141568A (zh) * 2006-09-08 2008-03-12 索尼株式会社 图像拾取设备和图像拾取方法
US20100137064A1 (en) * 2002-10-30 2010-06-03 Nike, Inc. Sigils for Use with Apparel
US20110050720A1 (en) * 2009-08-31 2011-03-03 Fuji Xerox Co., Ltd. System and method for panning and selecting on large displays using mobile devices without client software
JP2011257943A (ja) * 2010-06-08 2011-12-22 Canon Inc ジェスチャ操作入力装置
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
JP2012079138A (ja) * 2010-10-04 2012-04-19 Olympus Corp ジェスチャ認識装置
CN102763057A (zh) * 2010-03-15 2012-10-31 日本电气株式会社 输入设备、方法和程序
US20120326833A1 (en) * 2011-06-27 2012-12-27 Denso Corporation Control terminal
JP2013041431A (ja) * 2011-08-16 2013-02-28 Fujitsu Ltd 入力装置、入力制御方法及び入力制御プログラム
JP2013114476A (ja) * 2011-11-29 2013-06-10 Koito Electric Industries Ltd 物体判別方法
JP2013114467A (ja) * 2011-11-29 2013-06-10 Nikon Corp 表示システム、表示方法およびプログラム
JP2013186646A (ja) * 2012-03-07 2013-09-19 Toshiba Corp 情報処理装置および情報処理装置の制御方法
CN103493106A (zh) * 2011-03-29 2014-01-01 高通股份有限公司 使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上
WO2014127126A1 (en) * 2013-02-14 2014-08-21 New York University Handphone
CN104793735A (zh) * 2014-01-16 2015-07-22 卡西欧计算机株式会社 显示系统、显示终端以及显示方法
JP2015162056A (ja) * 2014-02-27 2015-09-07 Kddi株式会社 身体を伝播する信号の位相差に基づいて入力情報を決定可能な入力システム及び入力方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118888A (en) 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
US20040070563A1 (en) * 2002-10-10 2004-04-15 Robinson Ian Nevill Wearable imaging device
US20060007056A1 (en) * 2004-07-09 2006-01-12 Shu-Fong Ou Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same
US8471868B1 (en) * 2007-11-28 2013-06-25 Sprint Communications Company L.P. Projector and ultrasonic gesture-controlled communicator
JP5375828B2 (ja) * 2008-08-29 2013-12-25 日本電気株式会社 位置情報入力装置および位置情報入力方法
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US9377850B2 (en) * 2010-03-15 2016-06-28 Nec Corporation Input device, input method and medium
WO2011115027A1 (ja) * 2010-03-15 2011-09-22 日本電気株式会社 入力装置、入力方法及びプログラム
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
KR20140066258A (ko) 2011-09-26 2014-05-30 마이크로소프트 코포레이션 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정
JP5148004B1 (ja) * 2012-04-26 2013-02-20 株式会社三菱東京Ｕｆｊ銀行 情報処理装置、電子機器およびプログラム
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9857971B2 (en) * 2013-12-02 2018-01-02 Industrial Technology Research Institute System and method for receiving user input and program storage medium thereof
EP2946266B1 (en) * 2014-03-21 2023-06-21 Samsung Electronics Co., Ltd. Method and wearable device for providing a virtual input interface
KR101909540B1 (ko) * 2014-10-23 2018-10-18 삼성전자주식회사 가상의 입력 영역을 이용한 포터블 디바이스의 사용자 입력 방법
WO2016185845A1 (ja) * 2015-05-21 2016-11-24 日本電気株式会社 インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム
US9971408B2 (en) * 2016-01-27 2018-05-15 Ebay Inc. Simulating touch in a virtual environment
JP6256497B2 (ja) * 2016-03-04 2018-01-10 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム
US10431007B2 (en) * 2016-05-31 2019-10-01 Augumenta Ltd. Method and system for user interaction

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192653A (ja) * 1997-02-28 2004-07-08 Toshiba Corp マルチモーダルインタフェース装置およびマルチモーダルインタフェース方法
US20100137064A1 (en) * 2002-10-30 2010-06-03 Nike, Inc. Sigils for Use with Apparel
CN101141568A (zh) * 2006-09-08 2008-03-12 索尼株式会社 图像拾取设备和图像拾取方法
US20110050720A1 (en) * 2009-08-31 2011-03-03 Fuji Xerox Co., Ltd. System and method for panning and selecting on large displays using mobile devices without client software
CN102763057A (zh) * 2010-03-15 2012-10-31 日本电气株式会社 输入设备、方法和程序
JP2011257943A (ja) * 2010-06-08 2011-12-22 Canon Inc ジェスチャ操作入力装置
JP2012079138A (ja) * 2010-10-04 2012-04-19 Olympus Corp ジェスチャ認識装置
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
CN103493106A (zh) * 2011-03-29 2014-01-01 高通股份有限公司 使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上
US20120326833A1 (en) * 2011-06-27 2012-12-27 Denso Corporation Control terminal
JP2013041431A (ja) * 2011-08-16 2013-02-28 Fujitsu Ltd 入力装置、入力制御方法及び入力制御プログラム
JP2013114476A (ja) * 2011-11-29 2013-06-10 Koito Electric Industries Ltd 物体判別方法
JP2013114467A (ja) * 2011-11-29 2013-06-10 Nikon Corp 表示システム、表示方法およびプログラム
JP2013186646A (ja) * 2012-03-07 2013-09-19 Toshiba Corp 情報処理装置および情報処理装置の制御方法
WO2014127126A1 (en) * 2013-02-14 2014-08-21 New York University Handphone
CN104793735A (zh) * 2014-01-16 2015-07-22 卡西欧计算机株式会社 显示系统、显示终端以及显示方法
JP2015162056A (ja) * 2014-02-27 2015-09-07 Kddi株式会社 身体を伝播する信号の位相差に基づいて入力情報を決定可能な入力システム及び入力方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHRIS HARRISON, DESNEY TAN, DAN MORRIS: "《Skinput: Appropriating the Body as an Input Surface》", 《CHI 2010: COMPUTING ON THE BODY》 *
CHRIS HARRISON, DESNEY TAN, DAN MORRIS: "《Skinput: Appropriating the Skin》", 《COMMUNICATIONS OF THE ACM》 *
CHRIS HARRISON，SHILPA RAMAMURTHY，SCOTT E. HUDSON: "《On-Body Interaction: Armed and Dangerous》", 《TEI"12: SIXTH INTERNATIONAL CONFERENCE ON TANGIBLE, EMBEDDED, AND EMBODIED INTERACTION》 *
PRANAV MISTRY，PATTIE MAES，LIYAN CHANG: "《WUW - Wear Ur World - A Wearable Gestural Interface》", 《CHI "09: CHI CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200356162A1 (en) * 2019-05-10 2020-11-12 Apple Inc. Electronic Device System With Controllers
US10948980B2 (en) * 2019-05-10 2021-03-16 Apple Inc. Electronic device system with controllers
WO2022179412A1 (zh) * 2021-02-26 2022-09-01 华为技术有限公司 识别方法及电子设备

Also Published As

Publication number Publication date
US10168769B2 (en) 2019-01-01
JPWO2017057106A1 (ja) 2018-07-05
CN108027656B (zh) 2021-07-06
WO2017057106A1 (ja) 2017-04-06
JP6344530B2 (ja) 2018-06-20
US20180260033A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
US11778159B2 (en) Augmented reality with motion sensing
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
CN108027656A (zh) 输入设备、输入方法和程序
US20220206588A1 (en) Micro hand gestures for controlling virtual and graphical elements
CN108027654B (zh) 输入设备、输入方法和程序
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
JP6057396B2 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
US9651782B2 (en) Wearable tracking device
KR101809636B1 (ko) 컴퓨터 장치의 원격 제어
JP4681629B2 (ja) 表示デバイスのキャリブレーション方法及び装置
WO2013035758A1 (ja) 情報表示システム、情報表示方法、及び記憶媒体
CN107615214A (zh) 界面控制系统、界面控制装置、界面控制方法及程序
US20140240225A1 (en) Method for touchless control of a device
US20130055150A1 (en) Visual feedback for tactile and non-tactile user interfaces
US11030980B2 (en) Information processing apparatus, information processing system, control method, and program
CN108292448A (zh) 信息处理装置、信息处理方法和程序
CN108027655A (zh) 信息处理系统、信息处理设备、控制方法和程序
CN106095088B (zh) 一种电子设备及其图像处理方法
Susantok et al. Android-based Touch Screen Projector Design Using a 3D Camera
Pullan et al. High Resolution Touch Screen Module

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant