CN108027654B - 输入设备、输入方法和程序 - Google Patents

输入设备、输入方法和程序 Download PDF

Info

Publication number
CN108027654B
CN108027654B CN201680053037.8A CN201680053037A CN108027654B CN 108027654 B CN108027654 B CN 108027654B CN 201680053037 A CN201680053037 A CN 201680053037A CN 108027654 B CN108027654 B CN 108027654B
Authority
CN
China
Prior art keywords
input
marker
sensor
captured image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680053037.8A
Other languages
English (en)
Other versions
CN108027654A (zh
Inventor
则枝真
吉本诚
才田好则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN108027654A publication Critical patent/CN108027654A/zh
Application granted granted Critical
Publication of CN108027654B publication Critical patent/CN108027654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种输入设备(2000)包括位置计算单元(2020)和输入识别单元(2040)。位置计算单元(2020)计算包括在所捕获的图像中的标记的位置。标记附着到用户的身体上，或者是用户的身体的一部分。在基于附着到用户的身体上的传感器的检测结果的定时处，由相机生成所捕获的图像。输入识别单元(2040)基于标记的计算出的位置来识别指定所捕获的图像上与标记分开的位置的输入。输入所指定的位置是与标记分开的位置。

Description

输入设备、输入方法和程序
技术领域
本发明涉及一种输入设备、输入方法和程序。
背景技术
已经研发出了这样的技术：通过相机对用户在空间上执行的诸如手势输入等动作进行成像，分析生成的所捕获的图像，并且因此识别出用户在信息处理设备上的输入操作。专利文献1公开了一种根据用户手掌的手势(例如，打开手掌的手势)在手掌上显示菜单屏幕或改变菜单屏幕的技术。
专利文献2公开了一种使用在头戴式显示器上显示的虚拟键盘来执行输入的技术。专利文献2公开了如下的技术：将虚拟键盘固定到真实空间中的对象上，因此，即使佩戴头戴式显示器的人的头部发生了移动，虚拟键盘的位置也不会改变。
相关文献
专利文献
[专利文献1]美国专利申请公布号2015/0016777
[专利文献2]PCT日本翻译专利公布号2015-504616
发明内容
技术问题
在对所捕获的图像中包括的对象进行分析并识别出了用户的输入操作的情况下，难以确定出执行输入操作的定时。因此，即使用户没有执行输入操作，也有可能错误地识别出该输入操作，或者即使用户执行了输入操作，该输入操作也可能没有被识别出。
本发明正是考虑到这个问题而提出的。本发明的目的在于提供一种当从所捕获的图像中识别用户的输入操作时提高识别准确度的技术。
问题的解决方案
根据本发明，提供了一种输入设备，包括：1)位置计算单元，该位置计算单元通过使用包括标记的所捕获的图像，在基于附着到用户的身体上的传感器的检测结果的定时计算该标记的位置；以及2)输入识别单元，该输入识别单元基于标记的计算出的位置来识别指定所捕获的图像上的位置的输入。所指定的位置是与标记分开的位置。标记附着到用户的身体上，或者是用户的身体的一部分。
根据本发明，提供了一种由计算机执行的输入方法。该输入方法包括：1)通过使用包括标记的所捕获的图像，在基于附着到用户的身体上的传感器的检测结果的定时计算该标记的位置的位置计算步骤；以及2)基于标记的计算出的位置来识别指定所捕获的图像上的与标记分开的位置的输入的输入识别步骤。指定位置是与标记分开的位置。标记附着到用户的身体上，或者是用户的身体的一部分。
发明的有益效果
根据本发明，提供了一种当从所捕获的图像中识别用户的输入操作时提高识别准确度的技术。
附图说明
基于下面描述的优选实施例和以下的附图，上述目的以及其他目的、特征和优点将变得更加明显。
图1是示出了根据示例性实施例1的输入设备的框图。
图2是从概念上解释输入设备的操作的图。
图3是示出了实现输入设备的计算机的配置的图。
图4是示出了相机设置在头戴式显示器上的场景的图。
图5是示出了示例性实施例1的输入设备所执行的过程流程的流程图。
图6是示出了在用户敲击左臂的情况下在设备的显示屏幕上显示标记图像的场景的图。
图7是示出了输入位置的图。
图8是示出了输入位置与所捕获的图像的平面上的标记的位置之间的关系的图。
图9是示出了三维空间中区域62与标记之间的关系的图。
图10是示出了根据示例性实施例2的输入设备的框图。
图11是示出了示例性实施例2的输入设备的操作的图。
图12是示出了根据示例性实施例3的输入设备的框图。
图13是示出了实现示例性实施例3的输入设备的计算机的硬件配置的图。
图14是示出了即使标记的位置发生改变也不会改变部分图像的显示位置的场景的图。
图15是示出了即使相机的成像范围发生改变也不会改变部分图像的显示位置的场景的图。
图16是示出了根据示例性实施例4的输入设备的框图。
图17是示出了由用户执行的输入操作的图。
图18是示出了通过使用传感器定时来确定检测目标时段的起点的方法的图。
图19是示出了包括模糊标记的所捕获的图像的图。
图20是示出了将由标记的运动所定义的形状识别为输入的场景的图。
图21是示出了手势输入的图。
图22是示出了眼镜和手表的图。
图23是示出了用户执行的检查工作的概览的图。
图24是示出了包括在用户视野中的操作选择菜单的图。
图25是示出了包括在用户视野中的指引的图。
图26是示出了用户绘制线条的场景的图。
图27是示出了包括在用户视野中的输入方法选择菜单的图。
图28是示出了在数字输入按钮被选择之后的场景的图。
图29是示出了在备忘录按钮被选择之后的场景的图。
图30是示出了包括第二显示控制单元的输入设备的框图。
具体实施方式
在下文中，将参考附图来描述本发明的示例性实施例。在所有附图中，相同的组成元件被赋予了相同的附图标记，并且在适当时将不会重复地对其进行描述。
[示例性实施例1]
图1是示出了根据示例性实施例1的输入设备2000的框图。在图1中，每个方框表示的不是硬件单元中的配置，而是功能单元中的配置。
输入设备2000包括位置计算单元2020和输入识别单元2040。位置计算单元2020通过使用包括标记的所捕获的图像，在基于附着到用户的身体上的传感器的检测结果的定时处计算该标记的位置。该标记附着到用户的身体上，或者是用户身体的一部分。输入识别单元2040基于标记的计算出的位置来识别指定所捕获的图像上的位置的输入。输入指定的位置是与标记分开的位置。
图2是在概念上解释输入设备2000的操作的图。所捕获的图像22由对用户周边进行成像的相机生成。
在本示例中，用户使用输入设备2000来佩戴标记。在图2中，手表型设备10佩戴在用户的左臂50上。设备10在触摸面板14上显示标记图像16。标记图像16用作标记。
用户使用输入设备2000来执行输入操作，该输入操作在与标记分开的位置处指定诸如点或范围的位置。在图2(a)中，基于标记图像16的位置来指定所捕获的图像22上的与标记图像16分开的点。在图2(b)中，基于标记图像16的位置来指定所捕获的图像22上的与标记图像16分开的区域。通过这样的输入进行操作的设备可以是输入设备2000，并且可以是除输入设备2000之外的设备。
这里，输入设备2000使用由用户佩戴的传感器来识别用户执行的输入操作。在图2所示的示例中，传感器12内置于设备10中。传感器12例如是振动传感器。例如，用户在执行输入操作的定时处敲击左臂50。位置计算单元2020根据所捕获的图像22来计算标记的位置，所捕获的图像22是在由振动传感器检测到振动的定时或在与其接近的定时处生成的。输入设备2000基于标记的计算出的位置来识别指定所捕获的图像22上的与标记分开的特定位置的输入。
输入设备2000识别出传感器检测到了轻敲等，并且因此可以识别出用户执行了输入操作。因此，根据输入设备2000，可以防止即使用户执行了输入操作，该输入操作也无法被识别出，或者防止即使用户没有执行输入操作，该输入操作也被错误地识别出，从而准确地识别用户期望的输入操作。
参照图2描述的输入设备2000的操作是用于更好地理解输入设备2000的示例，并且输入设备2000的操作并不局限于上述示例。稍后将描述输入设备2000的操作的细节或变化。
<输入设备2000的硬件配置的示例>
输入设备2000的每个功能配置单元可以通过硬件(例如，硬件电子电路)来实现，或者可以通过硬件和软件的组合来实现(例如，电子电路与用于控制该电子电路的程序的组合)。在下文中，将进一步描述输入设备2000的每个功能配置单元通过硬件与软件的组合来实现的情况。
图3是示出了实现输入设备2000的计算机1000的配置的图。计算机1000是诸如头戴式显示器、平板终端、智能手机、个人计算机(PC)或服务器等各种计算机。计算机1000可以是设计为实现输入设备2000的专用计算机，或者可以是通用计算机。计算机1000包括总线1020、处理器1040、存储器1060、存储装置1080和输入/输出接口1100。总线1020是用于在处理器1040、存储器1060和存储装置1080之间发送和接收数据的传输路径。然而，将处理器1040等彼此连接的方法并不局限于使用总线的连接。例如，处理器1040是诸如中央处理单元(CPU)或图形处理单元(GPU)的处理器。存储器1060例如是随机存取存储器(RAM)或只读存储器(ROM)。存储装置1080例如是诸如硬盘、固态硬盘(SSD)或存储卡之类的存储设备。存储装置1080可以是诸如RAM或ROM之类的存储器。
输入/输出接口1100将计算机1000连接到输入和输出设备。在图3中，输入/输出接口1100连接到相机20。相机20是可以对用户周边进行成像的任何相机。相机20重复地执行成像，并且生成指示每个成像结果的所捕获的图像22。需要注意的是，相机20可以是二维(2D)相机，或者可以是三维(3D)相机。
相机20设置在任何位置。例如，相机20附着到用户佩戴的对象上。例如，用户佩戴的对象是头戴式显示器或者挂在用户脖子上的雇员ID卡。例如，相机20可以设置在用户对输入设备2000执行输入操作的房间的墙壁上。在后一种情况下，优选的是，可以使用遥控器通过遥控来改变相机20的成像范围(成像方向或变焦比)。
图4是示出了相机20设置在头戴式显示器上的场景的图。图4所示的头戴式显示器170包括显示器172，该显示器172是透射型显示器。用户在通过显示器172观看真实世界景物的同时观看显示器172上显示的图像，并且由此可以观看到图像与真实世界景物发生重叠的场景。
在图4中，相机20设置在显示器172附近。因此，相机20在与用户观看方向或与其接近的方向相同的方向上执行成像，这样便可以使在相机20生成的所捕获的图像22中包括的景物与用户所看到的景物相似。
相机20的成像方向是任何方向，并且不局限于用户观看方向或与其接近的方向。相机20设置的位置不局限于显示器172附近。设置有相机20的头戴式显示器170是具有透射型显示器的头戴式显示器，并且可以是具有非透射型显示器的头戴式显示器。稍后将在必要时描述头戴式显示器的类型与实现输入设备2000的方法之间的关系。
存储装置1080存储用于实现每个功能配置单元的程序模块。处理器1040通过执行每个程序模块来实现输入设备2000的每个功能配置单元的功能。这里，当执行每个模块时，处理器1040可以在将该模块读取到存储器1060之后再执行该模块，或者可以在没有将该模块读取到存储器1060的情况下执行该模块。
计算机1000的硬件配置并不局限于图4所示的配置。例如，每个程序模块可以存储在存储器1060中。在这种情况下，计算机1000可以不包括存储装置1080。
<过程流程>
图5是示出了示例性实施例1的输入设备2000所执行的过程流程的流程图。位置计算单元2020识别传感器的检测结果(S102)。位置计算单元2020获取所捕获的图像22(S104)。位置计算单元2020计算所捕获的图像22中包括的标记的位置(106)。输入识别单元2040基于标记的计算出的位置，识别指定所捕获的图像22上的与标记分开的位置的输入(S108)。
<用户佩戴的传感器>
用户佩戴的传感器是用于识别用户执行的输入操作的定时的任何传感器，并不局限于上述振动传感器。例如，传感器可以是加速度传感器、振动开关、压力传感器或静电电容传感器。例如，加速度传感器或振动开关以与振动传感器相同的方式设置在设备10内部。压力传感器或静电电容传感器例如设置在设备10的触摸面板上。例如，压力传感器或静电电容传感器可以设置在粘合到或缠绕在用户手臂上的薄片或类似物上。例如，压力传感器或静电电容传感器可以设置在用户的衣服(袖子)上。
<位置计算单元2020的细节>
《识别传感器中的检测结果的方法》
位置计算单元2020识别附着到输入设备2000的用户的身体上的传感器的检测结果(S102)。存在有很多种位置计算单元2020识别传感器的检测结果的方法。在下文中，将对这些方法加以描述。需要注意的是，在下文中作为示例，将对传感器是图2中描述的传感器12(振动传感器)的情况进行描述。
《<无线通信的使用>》
例如，位置计算单元2020与内置有传感器12的设备10进行无线通信，以获取指示传感器12的检测结果的信息，并由此识别传感器12的检测结果。例如，设备10在传感器检测到预定幅度或更大幅度的振动的定时处向位置计算单元2020发送预定信号。在这种情况下，位置计算单元2020可以通过接收预定信号来获取传感器12的“传感器12已经检测到振动”的检测结果。
例如，在传感器12检测到预定幅度或更大幅度的振动的情况下，设备10可以将指示检测到振动的时间点的信息发送到位置计算单元2020。
《设备10的外观变化的检测》
设备10可以根据传感器12中的振动检测来改变设备10的外观。
在这种情况下，位置计算单元2020通过使用由相机20生成的图像来检测预定变化，从而识别传感器12的检测结果(传感器12执行的振动的检测)。
例如，当传感器12检测到预定幅度或更大幅度的振动时，设备10改变显示屏幕上的显示。更具体地，当传感器12检测到预定幅度或更大幅度的振动时，设备10改变在设备10的显示屏幕上显示的图像，或者在还没有显示任何内容的显示屏幕上显示新图像。位置计算单元2020通过对由相机20反复生成的图像进行分析来检测设备10的显示屏幕上的显示变化。因此，位置计算单元2020识别出内置到设备10中的传感器12已经检测到振动。图6是示出了在用户敲击左臂50的情况下改变在设备10的显示屏幕(触摸面板14)上显示的标记图像16的场景的图。
例如，在传感器12检测到振动的情况下，设备10可以打开灯(如设备10的显示屏幕的背光灯或设置在设备中的发光二极管(LED))或使其闪烁。位置计算单元2020通过对由相机20反复生成的图像进行分析来检测灯的开启或闪烁。因此，位置计算单元2020识别出传感器12已经检测到振动。
如上所述，如果位置计算单元2020通过根据传感器12中的振动检测改变设备10的外观来识别振动的检测，则不需要在设备10与输入设备2000之间执行无线通信。因此，只要无线通信对于其他目的而言不是必需的，那么，设备10或输入设备2000就可以不具备无线通信功能。
位置计算单元2020识别除振动传感器以外的传感器的检测结果的方法与针对振动传感器所描述的方法相同。在传感器是加速度传感器或振动开关的情况下，当这种传感器检测到预定幅度或更大幅度的加速度或振动时，设备10或位置计算单元2020执行与当振动传感器检测到预定幅度或更大幅度的振动时相同的过程。例如，在传感器是压力传感器的情况下，当压力传感器检测到预定幅度或更大幅度的压力时，设备10或位置计算单元2020执行与当振动传感器检测到预定幅度或更大幅度的振动时相同的过程。例如，在传感器是静电电容传感器的情况下，当压力传感器检测到预定幅度或更大幅度的静电电容位移时，设备10或位置计算单元2020执行与当振动传感器检测到预定幅度或更大幅度的振动时相同的过程。
<获取所捕获的图像22的方法>
位置计算单元2020获取所捕获的图像22(S104)。存在有很多种位置计算单元2020获取所捕获的图像22的方法。例如，位置计算单元2020从相机20获取所捕获的图像22。在这种情况下，输入设备2000可通信地连接到相机20。
在相机20将所捕获的图像22存储在外部存储设备中的情况下，位置计算单元2020从该存储设备中获取所捕获的图像22。在这种情况下，位置计算单元2020可通信地连接到存储设备。
《确定要使用的所捕获的图像22的方法》
位置计算单元2020计算在所捕获的图像22中包括的标记的位置(S106)。在基于传感器的检测结果的定时处的包括标记的所捕获的图像22用于计算标记的位置。在下文中，将“基于传感器的检测结果的定时”称为传感器定时。
传感器定时是由传感器检测到振动等的定时或接近该定时的定时。例如，在传感器12检测到振动等时从设备10向位置计算单元2020发送预定信号的情况下，传感器定时是位置计算单元2020接收到该预定信号的时间点。在指示传感器12检测到振动等的时间点的信息从设备10发送到位置计算单元2020的情况下，传感器定时是由该信息指示的时间点。例如，在传感器12检测到振动等时在设备10的外观上添加了预定变化的情况下，传感器定时是由位置计算单元2020检测到该预定变化的时间点。
传感器定时可以是与在上述时间点(例如，从设备10接收到信号的时间点)之前或之后的预定时间相对应的时间点。预定时间可以在位置计算单元2020中设置，或者还可以存储在可以从位置计算单元2020访问的存储设备中。
在传感器定时被设置为与从设备10接收到信号的时间点之前的预定时间相对应的时间点的情况下，由相机20在与从设备10接收到信号的时间点之前的预定时间相对应的时间点处生成的所捕获的图像22是必需的。因此，相机20在由传感器12检测到振动等之前开始成像。例如，相机20连续地执行成像，直到用户从其开始完成了对输入设备2000的使用。由相机20生成的所捕获的图像22在预定时段内连续地存储在存储设备等中。
另一方面，在接收到从设备10发送的信号的时间点或与该时间点之后的预定时间相对应的时间点被设定为传感器定时的情况下，相机20可以在传感器12检测到振动之后开始成像。在这种情况下，例如，相机20从设备10或输入设备2000接收到指示传感器12已检测到振动的信号，并且在接收到该信号的定时处开始成像。
需要注意，由于相机20以不连续的时间间隔(例如，33毫秒一次)准确地生成所捕获的图像22，因此，存在有在传感器定时处没有生成所捕获的图像22的情况。在这种情况下，位置计算单元2020通过使用刚好在静止图像之前或之后生成的所捕获的图像22来计算标记的位置。
《标记》
标记是至少可以在所捕获的图像22中确定其位置的任何标记。例如，标记是可以用于确定三维坐标系的标记。例如，用于确定三维坐标系的标记是增强现实(AR)标记。然而，用于确定三维坐标系的标记可以是以不变的方式获得从某个参考点彼此正交的三个方向的标记，并且不局限于AR标记。
在标记附着到用户身体上的情况下，标记可以附着到用户身体上的任何位置。例如，标记附着到用户的手臂或手上。
例如，标记是在附着到用户手臂上的设备的显示屏幕上显示的图像。该设备是具有在显示屏幕上显示图像的功能的任何电子设备。需要注意，该设备可以直接附着到用户的手臂上，或者可以通过衣服附着到用户的手臂上。
例如，在图2中，标记是在佩戴在用户手腕上的手表型设备10的触摸面板14上显示的标记图像16。标记图像16可以是预先存储在设备10中的图像，或者可以是存储在设备10的外部存储设备中的图像。在后一种情况下，设备10从存储设备中获取标记图像16，并显示该标记图像。
标记并不局限于如上所述地在设备上显示。标记可以直接绘制在用户的手臂上，并且可以绘制在用户手臂上存在的任何对象上。在后一种情况下，例如，将标记绘制在用户手指上佩戴的戒指上、用户手腕上佩戴的腕带上、或者用户穿的衣服的袖子上。需要注意的是，标记可以用手进行绘制，也可以进行打印。
在标记是用户身体的一部分的情况下，标记可以是用户身体的任何部分。例如，标记是用户的手指或手腕。
<计算标记的位置的方法>
位置计算单元2020通过从所获取的捕获图像22中检测标记来计算标记的位置。例如，位置计算单元2020预先保存与标记的形状、大小、颜色等有关的信息，使用这些已知信息从所获取的捕获图像22中检测标记，并计算其位置。这里，已知从图像中检测预定对象并计算对象在图像中的位置的技术，因此将不再描述该技术的细节。
<输入识别单元2040的细节>
输入识别单元2040基于标记的计算出的位置识别指定所捕获的图像22上的与标记分开的位置的输入(S108)。如上所述，输入所指定的位置可以是所捕获的图像22上的点，并且可以是所捕获的图像22上的区域。
有很多种确定点和区域中的哪一个被识别为输入的方法。例如，预先在位置计算单元2020中设置用于确定点和区域中哪一个被识别为输入的方法。例如，指示将点和区域中的哪一个识别为输入的信息被预先存储在可从输入识别单元2040访问的存储设备中。例如，输入识别单元2040在对输入进行识别之前从用户接收用于选择点和区域中的哪一个被识别为输入的输入操作。根据任何方法来接收该输入操作。例如，通过使用设备10的触摸面板14来执行输入操作。
将描述输入识别单元2040确定输入所指定的位置的方法。首先，输入识别单元2040基于标记的计算出的位置来确定位置(以下被称为输入位置)，该位置用于确定所捕获的图像22上被识别为输入的位置。图7是示出了输入位置的图。在输入被识别为所捕获的图像22上的点的情况下，输入识别单元2040将输入位置60识别为所捕获的图像22上的输入位置(图7(a))。在输入被识别为所捕获的图像22上的区域的情况下，输入识别单元2040将由输入位置60定义的区域62识别为所捕获的图像22上的输入位置(图7(b))。
在与所捕获的图像22上标记的位置的关系中预先相对地对输入位置60进行定义。例如，输入位置与标记的位置之间的关系被定义为所捕获的图像22的平面上的二维位置关系。
图8是示出了输入位置60与所捕获的图像22的平面上的标记的位置之间的关系的图。在图8所示的示例中，输入位置60与标记的位置之间的关系由下面的等式(1)定义。(ax，ay)是输入位置60在所捕获的图像22中的坐标。(mx，my)是标记的中心位置在所捕获的图像22中的坐标。(cx，cy)是输入位置60针对标记的中心位置的相对位置。
Figure BDA0001595545050000121
例如，输入位置60的位置被预先定义为三维空间上的针对标记的位置的相对位置。该三维空间是由所捕获的图像22中包括的标记所定义的三维空间。
图9是示出了三维空间上区域62与标记的位置之间的关系的图。在图9中，输入识别单元2040通过使用所捕获的图像22中包括的标记的形状来计算坐标轴140。例如，输入识别单元2040将如下的坐标轴处理为坐标轴140：该坐标轴以标记的中心为原点，以由标记定义的平面为XY平面，并且以与该平面垂直的方向为方向Z。
例如，在下面的等式(2)中，在由坐标轴140定义的三维空间上定义输入位置60与标记的位置之间的关系。(ax，ay，az)是由坐标轴140定义的三维空间上的输入位置60的坐标。(mx，my，mz)是由坐标轴140定义的三维空间上的标记的位置的坐标。(cx，cy，cz)是由坐标轴140定义的三维空间上的输入位置60针对标记的中心位置的相对位置。
Figure BDA0001595545050000122
如上所述，例如在输入位置60与标记的位置之间的关系被定义为三维空间上的关系的情况下，用户执行改变图2中设备10的姿势的动作(转动左手手腕的动作)，由此可以在没有大幅移动左臂50的情况下改变输入位置60。
《与输入位置60相对应的区域62》
区域62的位置由输入位置60定义。例如，输入识别单元2040将如下区域处理为区域62：该区域的中心位置或者该区域的其中一个顶点由输入位置60定义。
区域62的形状是任何形状，如矩形形状或圆形形状。区域62可以具有任何尺寸。这里，有很多种确定区域62的形状或尺寸的方法。例如，预先在输入识别单元2040中设置区域62的形状或尺寸。例如，区域62的形状或大小预先存储在可以从输入识别单元2040访问的存储设备中。例如，输入设备2000可以从用户接收指定区域62的形状或大小的输入。例如，该输入通过使用设备10的触摸面板14来执行。
[示例性实施例2]
图10是示出了根据示例性实施例2的输入设备2000的框图。在图10中，每个方框表示的不是硬件单元中的配置，而是功能单元中的配置。除非特别提及，否则示例性实施例2的输入设备2000具有与示例性实施例1的输入设备2000相同的功能。
示例性实施例2的输入设备2000根据示例性实施例1中描述的方法识别指定所捕获的图像22上的区域62的输入。示例性实施例2的输入设备2000从所捕获的图像22中提取区域62中的部分图像。
图11是示出了示例性实施例2的输入设备2000的操作的图。在图11中，用户使用在设备10的触摸面板14上显示的标记图像16来输入区域62。输入设备2000从所捕获的图像22中提取区域62中的部分图像24。
为了实现该操作，示例性实施例2的输入设备2000还包括提取单元2060。提取单元2060从所捕获的图像22中提取包括在由输入识别单元2040识别的区域62中的部分图像。这里，已知从特定图像中提取包括在预定范围内的部分的技术，因此不会重复对该技术的详细描述。
用于识别区域62的所捕获的图像22可以与所捕获的图像22相同，或者可以与从其中提取出部分图像24的所捕获的图像22不同。例如，在后一种情况下，提取单元2060在输入识别单元2040完成识别输入操作的过程的时间点处从最新捕获的图像22中提取部分图像24。
<硬件配置示例>
示例性实施例2的输入设备2000以与示例性实施例1的输入设备2000相同的方式通过计算机1000来实现。示例性实施例2的计算机1000的存储装置1080还包括用于实现输入设备2000的每个功能的程序模块。
<有益效果>
根据本实施例的输入设备2000，可以例如使用附着到用户身体上的标记来以直观方式向用户指定从所捕获的图像中提取部分图像的区域。因此，在希望提取所捕获的图像的一部分的情况下，用户可以直观且容易地指定希望提取的部分。需要注意的是，从所捕获的图像中提取部分图像带来了各种优点：可以保存或显示所捕获的图像的特别关注部分，或者可以对该部分执行图像分析。
[示例性实施例3]
图12是示出了根据示例性实施例3的输入设备2000的框图。在图12中，每个方框表示的不是硬件单元的配置，而是功能单元的配置。除非特别提及，否则示例性实施例3的输入设备2000具有与示例性实施例2的输入设备2000相同的功能。
输入设备2000在显示屏幕上显示部分图像24。这里，输入设备2000在显示屏幕上显示部分图像24，由此使得当从用户眼睛角度观看时，由提取单元2060提取的部分图像24与所捕获的图像22中包括的景物或与其类似的景物发生重叠。在提取单元2060提取了部分图像24之后，输入设备2000控制部分图像24的显示，使得独立于包括在所捕获的图像22中的景物的变化而观看到部分图像24。
为此，示例性实施例3的输入设备2000包括显示控制单元2080。显示控制单元2080将由提取单元2060提取的部分图像24显示在显示屏幕上的预定位置处。例如，显示控制单元2080在显示屏幕的中心处显示部分图像。例如，显示控制单元2080显示部分图像24，使得部分图像24停留在由提取单元2060提取部分图像时的位置处。显示控制单元2080将部分图像24连续地显示在显示屏幕上的预定位置处，直到经过预定时间或者用户执行预定操作为止。
预定时间可以预先设置在显示控制单元2080中，或者可以存储在可以从显示控制单元2080访问的存储设备中。输入设备2000可以从用户接收指定预定时间的输入。预定操作可以是任何操作。例如，通过使用设备10的触摸面板14来执行预定操作。
显示控制单元2080控制各种显示屏幕。例如，显示控制单元2080在头戴式显示器170的显示屏幕(图4中的显示器172)上显示部分图像24。例如，显示控制单元2080在投影面(例如，通过投影仪将所捕获的图像22投影在其上的墙壁)上显示部分图像24。在这种情况下，投影面充当了显示屏幕。另外，显示控制单元2080在诸如液晶显示器之类的任何显示屏幕上显示部分图像24。
这里，头戴式显示器170包括那些以透射型显示器为显示器172的头戴式显示器170以及那些以非透射型显示器为显示器172的头戴式显示器。在显示器172是非透射型显示器的情况下，头戴式显示器170以与指示其他对象的图像重叠的方式在显示器172上显示由相机20产生的捕获图像22。用户观看显示器172并因此可以观看到其他对象与周边景物发生重叠的场景。本实施例的显示控制单元2080在显示器172上显示其上叠加了部分图像24的所捕获的图像22，因此使得用户能观看到部分图像24与周边景物发生重叠的场景。
在显示器172是透射型显示器的情况下，用户观看到在显示器172前方观看到的真实对象(真实世界景物)以及显示器172上显示的图像这两者，并且因此可以观看到图像与周边景物发生重叠的场景。本实施例的显示控制单元2080在显示器172上显示部分图像24，从而使得用户观看到部分图像24。用户观看到的真实世界景物是由相机20成像的景物，或者是与其类似的景物。因此，用户可以观看到部分图像24与包括在所捕获的图像22中的景物或与其类似的景物发生重叠的场景。
在显示屏幕是诸如投影仪的投影面或液晶显示器等任何其他显示屏幕的情况下，显示控制单元2080以与部分图像24重叠的方式在显示屏幕上显示所捕获的图像22，其具体的显示方式与具有非透射型显示器的头戴式显示器170的情况相同。
在部分图像24被显示为停留在当提取单元2060提取部分图像24时的位置(输入位置60)的情况下，显示控制单元2080确定部分图像24的显示位置的方法根据显示屏幕的类型而有所不同。在将其上显示有所捕获的图像22的显示屏幕如同在具有非透射型显示器的头戴式显示器中那样进行使用的情况下，显示控制单元2080对部分图像24被提取时的输入位置60进行存储，并将部分图像24以与每个所捕获的图像22重叠的方式在输入位置60处显示，而所捕获的图像22随后显示在显示屏幕上。
另一方面，在使用其上未显示所捕获的图像22的显示屏幕(例如，具有透射型显示器的头戴式显示器)的情况下，显示控制单元2080将输入位置60(该位置是所捕获的图像22上的位置，并且在该位置处提取部分图像24)转换为显示屏幕上的位置。显示控制单元2080在显示屏幕上的通过转换而计算出的位置处显示部分图像24。
需要注意，基于与相机20有关的各种参数(视角或焦距)或者显示屏幕与相机20之间的位置关系来定义所捕获的图像22上的坐标与显示屏幕上的坐标之间的对应关系。对应关系可以通过使用参数等来由显示控制单元2080计算出，或者可以预先设置为设定值。
<硬件配置示例>
图13是示出了实现示例性实施例3的输入设备2000的计算机1000的硬件配置的图。计算机1000的配置与实现示例性实施例1的输入设备2000的计算机1000的配置相同。然而，示例性实施例3的计算机1000的存储装置1080进一步包括用于实现本实施例的输入设备2000的每个功能的程序模块。
输入/输出接口1100连接到其上显示部分图像24的头戴式显示器170的显示器172，或者连接到将部分图像24投影到投影面上的投影仪160。
<有益效果>
根据本实施例的输入设备2000，从所捕获的图像22中提取的部分图像24固定地显示在显示屏幕上的预定位置处。因此，即使用户移动了标记(包括在所捕获的图像22中的标记的位置发生了改变)，显示屏幕上的对部分图像24进行显示的位置也不会发生改变。图14是示出了即使标记的位置发生改变也不会改变部分图像24的显示位置的场景的图。图14(a)示出了标记移动之前的场景，而图14(b)示出了标记移动之后的场景。
如上所述，用户可以在部分图像24显示在显示屏幕上的固定位置处的状态下移动标记。因此，例如，用户可以在部分图像24显示在固定位置处的状态下执行要由输入识别单元2040识别的新的输入操作。因此，提高了用户执行的输入操作的自由度。
类似地，即使相机20的成像范围发生了改变，显示屏幕上的对部分图像24进行显示的位置也不会发生改变。图15是示出了即使相机20的成像范围发生改变也不会改变部分图像24的显示位置的场景的图。图15(a)示出了在提取部分图像24时由相机20生成的所捕获的图像22，而图15(b)示出了由相机20(其成像范围在之后发生了改变)生成的所捕获的图像22。
如上所述，用户在部分图像24显示在显示屏幕上的固定位置处的状态下改变相机20的成像范围。例如，在用户使用头戴式显示器170的情况下，用户可以在部分图像24显示在固定位置处的状态下改变观看方向。因此，提高了输入设备2000的用户便利性。
[示例性实施例4]
图16是示出了根据示例性实施例4的输入设备2000的框图。在图16中，每个方框表示的不是硬件单元中的配置，而是功能单元中的配置。除非特别提及，否则本实施例的输入设备2000具有与示例性实施例3的输入设备2000相同的功能。
示例性实施例4的输入设备2000基于所捕获的图像22中包括的标记的运动来识别用户执行的输入操作。图17是示出了由用户执行的输入操作的图。在图17中，用户移动标记以在部分图像24上绘制线条70。线条70是一根突出在部分图像24中包括的场景中的特别关注部分的线条。需要注意的是，由用户执行的输入并不局限于对部分图像24的输入。
为了实现该功能，输入设备2000还包括运动检测单元2100和第二输入识别单元2120。运动检测单元2100检测包括在所捕获的图像22中的标记的运动。这里，检测到的标记的运动是在包括基于附着到使用输入设备2000的用户的身体上的传感器的检测结果的定时的时间内的标记的运动。第二输入识别单元2120基于检测到的标记的运动来识别输入。该输入可以是对输入设备2000执行的输入，或者可以是对其他设备执行的输入。需要注意，传感器可以是由位置计算单元2020使用的传感器，或者可以是其他传感器。
<运动检测单元2100的细节>
运动检测单元2100获取传感器12的检测结果。运动检测单元2100识别传感器12的检测结果的方法与位置计算单元2020识别传感器的检测结果的方法相同。
运动检测单元2100在基于传感器12的检测结果而定义的时段中检测标记的运动。在下文中，将“基于传感器12的检测结果的时段”称为检测目标时段。
运动检测单元2100通过使用示例性实施例1中描述的一个或两个传感器定时来定义检测目标时段。在使用单个传感器定时来定义检测目标时段的情况下，运动检测单元2100使用该单个传感器定时来定义检测目标时段的起点和终点。
在使用两个传感器定时来定义检测目标时段的情况下，运动检测单元2100使用这两个传感器定时中较早的传感器定时来确定检测目标时段的起点，并且使用较晚的传感器定时来确定检测目标时段的终点。
图18是示出了通过使用传感器定时来确定检测目标时段的起点的方法的图。例如，运动检测单元2100将传感器定时处理为检测目标时段的起点(图18(a))。例如，运动检测单元2100将与传感器定时之前的预定时间相对应的时间点处理为检测目标时段的起点(图18(b))。例如，运动检测单元2100将与传感器定时之后的预定时间相对应的时间点设置为检测目标时段的起点(图18(c))。
使用传感器定时来确定检测目标时段的终点的方法与使用传感器定时来确定检测目标时段的起点的方法相同。
需要注意，指示预定时间的信息可以预先设置在运动检测单元2100中，或者可以存储在可以从运动检测单元2100访问的存储设备中。用于确定检测目标时段的起点的预定时间可以与用于确定检测目标时段的终点的预定时间相同或不同。
运动检测单元2100使用在检测目标时段中生成的所捕获的图像22来检测标记的运动。例如，在检测目标时段中生成了多个捕获的图像22的情况下，运动检测单元2100从多个捕获的图像22中的每一个中识别标记，并计算每一个捕获的图像中包括的标记的位置。运动检测单元2100将指示标记的位置变化的信息用作指示标记的运动的信息。例如，指示标记的位置变化的信息是标记的位置以时间序列进行排列的信息。
单个所捕获的图像可以包括在检测目标时段中生成的对象。在标记正在移动的情况下，通常将模糊标记包括在单个所捕获的图像22中。因此，运动检测单元2100根据包括模糊标记的单个所捕获的图像22来计算标记的运动。
图19是示出了包括模糊标记的所捕获的图像22的图。在所捕获的图像22中，使标记图像16模糊，从而它从标记图像16-A向标记图像16-B移动。运动检测单元2100检测标记图像16-A和标记图像16-B共有的特征点(例如，标记图像16的四个角的中心)的位置变化，作为标记的运动。
<第二输入识别单元2120的细节>
第二输入识别单元2120基于检测到的标记的运动来识别输入。第二输入识别单元21201)可以将基于检测到的标记的运动的形状识别为输入，或者2)可以将与检测到的标记的运动相对应的预定输入操作识别为输入。
《基于标记的运动的形状被识别为输入的情况》
图20是示出了将由标记的运动40所定义的形状识别为输入的场景的图。在图20(a)中，第二输入识别单元2120将由标记的运动40-A指示的形状41或由运动40-B指示的形状42识别为输入。例如，该输入由用户用于执行手写。
在图20(b)中，第二输入识别单元2120将与标记的运动不同的但其形状和尺寸由标记的运动限定的形状识别为输入。具体地，第二输入识别单元2120将其对角线为运动40-C的两端的矩形形状44或者其直径为运动40-C的两端的圆形形状46识别为输入。例如，该输入由用户用于执行指示某个范围的输入(选择操作等)或者绘制预定图形。
使用图20(a)所示的方法和图20(b)所示的方法中的哪一种方法可以是固定的，或者也可以由用户设置。指示使用哪种方法的信息可以预先设置在第二输入识别单元2120中，或者可以存储在可以从第二输入识别单元2120访问的存储设备中。
《识别出与标记的运动相对应的预定输入操作的情况》
与检测到的标记的运动相对应的预定输入操作是基于所谓的手势输入的输入操作。图21是示出了手势输入的图。图21(a)示出了轻弹动作，而图21(b)示出了旋转动作。
其中标记的运动与对应于该运动的预定输入操作相关联的信息可以预先设置在第二输入识别单元2120中，或者可以预先存储在输入设备2000的内部或外部存储设备中。
<执行标记移动动作的位置的处理>
第二输入识别单元21201)可以仅将标记的运动识别为输入，而不管执行标记移动动作的位置如何，或者2)可以将标记的运动与执行标记移动动作的位置的组合识别为输入。在前一种情况下，即使在所捕获的图像22上的任何位置处执行了标记移动动作，该标记的相同运动也指示出相同的输入。另一方面，在后一种情况下，在所捕获的图像22上执行标记移动动作的位置具有一定含义。
例如，假定用户对所捕获的图像22中包括的对象或显示屏幕上显示的对象(部分图像24等)执行绘制操作。在这种情况下，不仅所绘制的形状具有含义，而且绘制目标也具有含义。例如，图17所示的输入操作是绘制线条70的操作，而线条70将部分图像24中包括的管道的生锈部分包围起来。因此，需要第二输入识别单元2120不但将线条70的形状而且还将绘制线条70的位置识别为输入。
在1)的情况下，如上所述，第二输入识别单元20120将运动检测单元2100检测到的标记的运动所定义的形状或者标记的运动所定义的手势识别为输入。
另一方面，在2)的情况下，第二输入识别单元2120基于运动检测单元2100检测到的所捕获的图像22上的标记的坐标转变来识别输入。在图17的情况下，第二输入识别单元2120将所捕获的图像22上的标记的坐标转变识别为输入。因此，第二输入识别单元2120不仅将线条70的形状识别为输入，而且还将绘制线条70的位置识别为输入。
在2)的情况下，第二输入识别单元2120可以不将执行与标记有关的动作的位置识别为用户执行输入的位置，而是将与该位置分离的位置识别为用户执行输入的位置。这与输入识别单元2040将与标记的位置分开的位置识别为输入是一样的。在上述图17中，在将与标记分离的位置作为目标的情况下移动标记，从而执行输入。
在基于标记的运动来识别与标记分开的位置有关的输入的情况下，第二输入识别单元2120根据预定方法将运动检测单元2100检测到的所捕获的图像22上的标记的坐标转变转换为与标记分开的位置的坐标转变。
例如，第二输入识别单元2120使用通过使用等式(1)描述的标记的位置与输入位置60之间的关系。具体而言，第二输入识别单元2120通过使用等式(1)将多个捕获的图像22上的标记的每个位置转换为输入位置60。第二输入识别单元2120将输入位置60的多个计算出的坐标以时间序列进行排列的信息识别为输入。
类似地，第二输入识别单元2120可以使用通过使用等式(2)描述的标记的位置与输入位置60之间的关系来将多个捕获的图像22上的标记的每个位置转换为输入位置60。
其中第二输入识别单元2120识别输入的1)和2)的方法可以预先设置在第二输入识别单元2120中，可以存储在可以从第二输入识别单元2120访问的存储设备中，或者可以由用户进行选择。
<改变输入识别单元2040和第二输入识别单元2120的方法>
示例性实施例4的输入设备2000根据输入识别单元2040和第二输入识别单元2120之一来识别用户的输入。输入设备2000确定输入识别单元2040和第二输入识别单元2040中的哪一个用于识别用户输入的方法有很多种。
例如，输入设备2000从用户接收对输入识别单元2040和第二输入识别单元2120中的哪一个单元用于识别输入进行选择的操作。例如，在显示控制单元2080在显示屏幕上显示由提取单元2060提取的部分图像24的同时，输入设备2000可以利用第二输入识别单元2120来识别输入。以上述方式，可以在部分图像24上绘制线条70，而无需用户执行对输入方法进行选择的操作。
<有益效果>
根据本实施例，除了指定与标记分开的位置的输入操作(由输入识别单元2040识别出的输入操作)之外，用户还可以使用标记的运动来执行输入操作(由第二输入识别单元2120识别出的输入操作)。由此增加了用户所执行的输入操作的变化，并且还进一步提高了输入设备2000的便利性。
[示例]
在下文中，将通过使用更具体的示例来描述输入设备2000。需要注意，该示例是用于输入设备2000的使用方法的示例，并且不会限制用于输入设备2000的使用方法。
在本示例中，诸如眼镜200和手表210的两个设备用于输入设备2000的操作。图22是示出了眼镜200和手表210的图。
眼镜200是设置有相机202的头戴式显示器。在本示例中，输入设备2000内置在眼镜200中。用户佩戴眼镜200，如护目镜。
相机202是视频相机，并且对应于上述每一个示例性实施例中的相机20。显示器204是具有透镜形状的透射型显示器。眼镜200在显示器204上显示各种信息。因此，用户用其眼睛观看到与真实世界景物重叠的各种信息。
手表210具有内置于其中的振动传感器211。手表210具有触摸面板212。手表210、振动传感器211和触摸面板212分别对应于示例性实施例1中的设备10、传感器12和触摸面板14。触摸面板212显示标记图像216。
眼镜200和手表210形成充当信息处理设备的输入接口的输入系统。作为输入系统的操作目标的信息处理设备可以是眼镜200、手表210或者其他计算机。在本示例中，操作目标信息处理设备被假定为眼镜200。
在本示例中，用户使用眼镜200和手表210来对仪器执行检查工作。图23是示出了用户执行的检查工作的概览的图。根据检查列表，用户对指示每个仪器的状态的仪表执行读数工作，或者记录备忘录或拍摄与用户所关注的仪器的一部分有关的图片。
眼镜200上的输入操作大致分为三种操作。第一种输入操作是指定与包括在相机202的成像范围中的标记图像216分离的位置的输入操作。该操作是示例性实施例1至3中描述的输入操作。眼镜200接收到该操作的状态被称为第一输入模式。
第二种输入操作是通过在相机202的成像范围内移动预定对象而执行的输入操作。该操作是示例性实施例4中描述的输入操作。然而，本示例的输入设备2000并不局限于标记图像216的运动，以及作为输入的各种对象(如用户的手指)的运动。眼镜200接收到该操作的状态被称为第二输入模式。
第三种输入操作是通过对显示器204上显示的操作图像执行操作而执行的输入操作。眼镜200接收到该操作的状态被称为第三输入模式。需要注意，稍后将描述第三输入模式下的操作的具体内容。
如果用户开始了检查工作，则眼镜200在显示器204上显示检查列表的第一项目和操作选择菜单300。图24是示出了包括在用户视野中的操作选择菜单300的图。操作选择菜单300包括诸如输入按钮302、成像按钮304和记录按钮306的三个操作图像。这里，眼镜200对该项目进行显示，这样使得当从用户眼睛角度观看时，在手表210附着的左臂50周围观看到检查列表的第一项目。眼镜200对操作选择菜单进行显示，这样使得当从用户眼睛角度观看时，在手表210附着的左臂50上观看到操作选择菜单。
用户执行选择操作图像的操作。具体而言，用户执行点击要选择的操作图像的操作。然后，检测到该点击的振动的手表210改变在触摸面板212上显示的标记图像。接下来，眼镜200检测到在触摸面板212上显示的图像已经发生了改变，因此执行输入识别过程。
眼镜200在显示操作选择菜单300时的状态是其中接收到对操作图像的选择的第三输入模式。因此，由于检测到了在触摸面板212上显示的图像已经发生了改变，眼镜200确定用户选择哪个操作图像。具体而言，眼镜200从由相机202生成的所捕获的图像中检测用户手指的位置，并且确定包括在操作选择菜单300中的操作图像的哪个位置对应于该位置。
在用户从操作选择菜单300中选择了成像按钮304的情况下，眼镜200在显示器204上显示指示成像范围的引导。图25是示出了包括在用户视野中的引导80的图。引导80表示在用户执行对输入设备2000的输入的情况下由显示控制单元2080提取的部分图像24(由输入识别单元2040识别出的区域62)。对引导80进行显示，这样用户便可以在部分图像24被提取之前从视觉上识别出提取为部分图像24的部分。
用户移动设备10以使得在期望保存为图像的位置处显示引导80。在此之后，用户点击左臂50以执行对输入设备2000的输入。这里，在按下成像按钮304之后，输入设备2000的状态转变为输入识别单元2040接收到输入操作的第二模式。因此，输入识别单元2040因为用户点击左臂50而对区域62进行识别。显示控制单元2080通过使用区域62来提取部分图像24。
由显示控制单元2080将通过使用区域62而提取的部分图像24显示在显示器204的中心处。这里，部分图像24中包括的管道的一部分存在有锈蚀情况，因此用户将通过移动标记图像216来在部分图像24上绘制线条70。以上述方式，用户可以在对特别关注点加以突出之后保存部分图像24。图26示出了用户绘制线条70的场景。
如果用户从操作选择菜单300中选择输入按钮302，则显示输入方法选择菜单310。输入方法选择菜单310包括三个操作图像，如仪表读取按钮312、数字输入按钮314和备忘录按钮316。
如果用户从操作选择菜单300中选择输入按钮302，则眼镜200在显示器204上显示输入方法选择菜单310。图27是示出了包括在用户视野中的输入方法选择菜单的图。输入方法选择菜单310包括三个操作图像，如仪表读取按钮312、数字输入按钮314和备忘录按钮316。
仪表读取按钮312是从由相机202生成的所捕获的图像22中自动读取仪表值的输入操作。如果用户选择仪表读取按钮312，则眼镜200转换到第一输入模式。在完成了自动读取仪表值的情况下，眼镜200再次转换到第二输入模式。
数字输入按钮314是用户输入仪表值的输入操作。图28是示出了在数字输入按钮314被选择之后的场景的图。眼镜200在显示器204上显示数字键盘图像318，这样便观看到数字键盘图像318重叠在左臂50上。用户通过点击数字键盘图像318的每个按键来输入仪表的数值。
备忘录按钮316是用于输入备忘录的输入操作。图29是示出了在备忘录按钮316被选择之后的场景的图。眼镜200在显示器204上显示键盘图像320，这样便观看到键盘图像320重叠在左臂50上。用户通过点击键盘图像320的每个按键来输入备忘录。
在用户从操作选择菜单300中选择了记录按钮306的情况下，完成对当前检查项目的输入操作，并且转换到下一个检查项目。用户对下一个检查项目执行上述各种输入操作。如上所述，用户对每个检查项目执行输入操作。
<显示引导80的方法>
该示例的输入设备2000包括第二显示控制单元2140，以对引导80进行显示。图30是示出了包括第二显示控制单元2140的输入设备2000的框图。
在输入设备2000包括第二显示控制单元2140的情况下，位置计算单元2020在不管传感器中的振动等检测的情况下以时间序列获取所捕获的图像22，并且计算包括在每一个所捕获的图像22中的标记的位置。第二显示控制单元2140顺序地显示与以时间序列排列的每个标记的位置相对应的引导80。
引导80的显示位置是与由输入识别单元2040基于标记的位置而计算出的输入位置60相对应的位置。具体地，按照与输入识别单元2040基于标记的位置计算输入位置60的方法相同的方法，第二显示控制单元2140基于位置计算单元2020计算出的每个标记的位置来计算引导80的显示位置。
在所捕获的图像22显示在显示屏幕上的情况下，第二显示控制单元2140在所捕获的图像22上的显示位置处显示引导80，这样使得引导80与所捕获的图像22发生重叠。另一方面，在所捕获的图像22没有显示在显示屏幕上的情况下(例如，用户使用透射型头戴式显示器)，第二显示控制单元2140计算显示屏幕上的与所捕获的图像22上的显示位置相对应的位置，并在该位置处显示引导。
需要注意的是，如上所述，基于与相机20有关的各种参数(视角或焦距)或者显示屏幕与相机20之间的位置关系来定义所捕获的图像22上的坐标与显示屏幕上的坐标之间的对应关系。对应关系可以通过使用参数等由第二显示控制单元2140来计算出，或者可以被预先设定为设定值。
在输入识别单元2040将某个点识别为输入的情况下，第二显示控制单元2140在显示屏幕上显示指示输入位置60的引导80。表示输入位置60的指示是以输入位置60为中心位置的任意标记，诸如点、交叉点、十字标记或圆形标记。
另一方面，在输入识别单元2040将特定区域识别为输入的情况下，第二显示控制单元2140在显示屏幕上显示指示与输入位置60相对应的区域62的引导80。例如，表示区域62的引导指示是指示区域62的框线。框线可以是诸如实线、虚线或点划线之类的任何线条。表示区域62的引导指示可以表示区域62的顶点。顶点可以通过任何标记指示出，如点、交叉点、十字标记或圆形标记。表示区域62的引导指示可以是指示框线和顶点这两者的标记。
引导80的颜色可以是任何颜色。
需要注意，虽然本示例针对的是检查工作，但是输入设备2000的应用范围并不局限于这种检查工作。例如，输入设备2000可以用于仪器组装工作、护士的护理工作等以及其他各种各样的工作。
如上所述，已经参考了附图来描述本发明的示例性实施例，但是这些仅是本发明的示例，并且可以采用示例性实施例与除示例性实施例以外的各种配置的组合。
在下文中，添加了参考实施例的示例。
1.一种输入设备，包括：
位置计算单元，所述位置计算单元通过使用包括标记的所捕获的图像，在基于附着到用户的身体上的传感器的检测结果的定时处计算所述标记的位置；以及
输入识别单元，所述输入识别单元基于所述标记的计算出的位置来识别指定所述所捕获的图像上的位置的输入，
其中所指定的位置是与所述标记分开的位置，并且
所述标记附着到所述用户的身体上，或者是所述用户的身体的一部分。
2.根据1.所述的输入设备，
其中所述输入识别单元将位于与所述标记的计算出的位置分开的位置处的区域识别为输入，并且
所述输入设备还包括提取单元，所述提取单元从所述所捕获的图像中提取包括在所述区域中的部分图像。
3.根据2.所述的输入设备，还包括显示控制单元，所述显示控制单元在显示屏幕上的预定位置处显示所述部分图像。
4.根据3.所述的输入设备，其中所述显示控制单元以与另一所捕获的图像重叠的方式在所述显示屏幕上显示从所述所捕获的图像中提取的部分图像。
5.根据3.或4.所述的输入设备，其中所述显示屏幕是头戴式显示器的显示屏幕或投影仪的投影面。
6.根据3.至5.中任一项所述的输入设备，其中所述显示控制单元在所述显示屏幕上显示表示所指定的位置的指示。
7.根据1.至6.中任一项所述的输入设备，还包括：
运动检测单元，所述运动检测单元在包括基于附着到所述用户的身体上的传感器的检测结果的定时的时间处检测所述标记的运动；以及
第二输入识别单元，所述第二输入识别单元将检测到的所述标记的运动识别为输入操作。
8.一种由计算机执行的输入方法，所述输入方法包括：
通过使用包括标记的所捕获的图像，在基于附着到用户的身体上的传感器的检测结果的定时处计算所述标记的位置的位置计算步骤；以及
基于所述标记的计算出的位置来识别指定所述所捕获的图像上的位置的输入的输入识别步骤，
其中所指定的位置是与所述标记分开的位置，并且
所述标记附着到所述用户的所述身体上，或者是所述用户的身体的一部分。
9.根据权利要求8.所述的输入方法，
其中在所述输入识别步骤中，将位于与所述标记的计算出的位置分开的位置处的区域识别为输入，
所述输入方法还包括从所捕获的图像中提取包括在所述区域中的部分图像的提取步骤。
10.根据权利要求9.所述的输入方法，还包括在显示屏幕上的预定位置处显示所述部分图像的显示控制步骤。
11.根据权利要求10.所述的输入方法，其中在所述显示控制步骤中，以与另一所捕获的图像重叠的方式在所述显示屏幕上显示从所述所捕获的图像提取的部分图像。
12.根据10.或11.所述的输入方法，其中所述显示屏幕是头戴式显示器的显示屏幕或投影仪的投影面。
13.根据10.至12.中任一项所述的输入方法，其中在所述显示控制步骤中，在所述显示屏幕上显示表示所述指定位置的指示。
14.根据8.至13.中任一项所述的输入方法，还包括：
在包括基于附着到所述用户的身体上的传感器的检测结果的定时的时间处检测所述标记的运动的运动检测步骤；以及
将检测到的所述标记的运动识别为输入操作第二输入识别步骤。
15.一种使计算机执行根据8.至14.中任一项所述的输入方法中的每个步骤的程序。
本申请基于并要求于2015年9月28日提交的日本专利申请号2015-190239的优先权权益，本专利申请的全部内容通过引用的方式并入本文中。

Claims (32)

1.一种输入设备，包括：
位置计算单元，所述位置计算单元通过使用包括标记的所捕获的图像，在基于附着到对象上的传感器的检测结果的定时处计算所述标记的位置，所述对象附着到用户的身体上；以及
输入识别单元，所述输入识别单元基于所述标记的计算出的位置来识别指定所捕获的图像上的位置的输入，
其中所指定的位置是与所述标记分开的位置，并且
所述标记被绘制、打印或附着到所述对象上。
2.根据权利要求1所述的输入设备，
其中所述输入识别单元将位于与所述标记的计算出的位置分开的位置处的区域识别为输入，并且
所述输入设备还包括提取单元，所述提取单元从所捕获的图像中提取包括在所述区域中的部分图像。
3.根据权利要求2所述的输入设备，还包括显示控制单元，所述显示控制单元响应于所述提取单元对所述部分图像的提取，在显示屏幕上的预定位置处显示所述部分图像。
4.根据权利要求3所述的输入设备，其中所述显示屏幕的显示所述部分图像的所述预定位置是在所述提取单元提取所述部分图像的定时处所述部分图像在所述显示屏幕上的位置。
5.根据权利要求3所述的输入设备，其中所述显示控制单元以与另一所捕获的图像重叠的方式在所述显示屏幕上显示从所述所捕获的图像中提取的部分图像。
6.根据权利要求3所述的输入设备，其中所述显示屏幕是头戴式显示器的显示屏幕或投影仪的投影面。
7.根据权利要求3所述的输入设备，其中所述显示控制单元在所述显示屏幕上显示表示所指定的位置的指示。
8.根据权利要求2所述的输入设备，其中所述输入单元识别指定其尺寸或形状是预定的区域的输入，所述区域基于所述标记的计算出的位置来确定。
9.根据权利要求2所述的输入设备，
其中显示表示所捕获的图像上的区域的引导，所述区域基于所述标记的计算出的位置来确定，
所述输入识别单元接收指定由所述引导表示的区域的输入。
10.根据权利要求1所述的输入设备，其中所述传感器是振动传感器、加速度传感器、振动开关、压力传感器或静电电容传感器，通过所述传感器来检测对所述用户的身体的触摸。
11.根据权利要求1所述的输入设备，其中
所述传感器安装在附着到所述用户的设备中，
所述设备基于所述传感器的检测结果来改变所述设备的外观，
所述位置计算单元通过使用所述设备在其中成像的所捕获的图像来检测所述设备的外观的变化，以识别所述传感器的检测结果。
12.根据权利要求1所述的输入设备，还包括：
运动检测单元，所述运动检测单元在包括基于附着到所述用户的身体上的传感器的检测结果的定时的时间处检测所述标记的运动；以及
第二输入识别单元，所述第二输入识别单元将所述检测到的所述标记的运动识别为输入操作。
13.一种输入设备，包括：
位置计算单元，所述位置计算单元通过使用包括标记的所捕获的图像，在基于附着到用户的身体上的传感器的检测结果的定时处计算所述标记的位置；以及
输入识别单元，所述输入识别单元基于所述标记的计算出的位置来识别指定所捕获的图像上的位置的输入，
其中所指定的位置是与所述标记分开的位置，并且
所述标记是在附着到所述用户的手臂部分上的设备的显示屏幕上显示的图像。
14.根据权利要求13所述的输入设备，
其中所述输入识别单元将位于与所述标记的计算出的位置分开的位置处的区域识别为输入，并且
所述输入设备还包括提取单元，所述提取单元从所捕获的图像中提取包括在所述区域中的部分图像。
15.根据权利要求14所述的输入设备，还包括显示控制单元，所述显示控制单元响应于所述提取单元对所述部分图像的提取，在显示屏幕上的预定位置处显示所述部分图像。
16.根据权利要求15所述的输入设备，其中所述显示屏幕的显示所述部分图像的所述预定位置是在所述提取单元提取所述部分图像的定时处所述部分图像在所述显示屏幕上的位置。
17.根据权利要求15所述的输入设备，其中所述显示控制单元以与另一所捕获的图像重叠的方式在所述显示屏幕上显示从所述所捕获的图像中提取的部分图像。
18.根据权利要求15所述的输入设备，其中所述显示屏幕是头戴式显示器的显示屏幕或投影仪的投影面。
19.根据权利要求15所述的输入设备，其中所述显示控制单元在所述显示屏幕上显示表示所指定的位置的指示。
20.根据权利要求14所述的输入设备，其中所述输入单元识别指定其尺寸或形状是预定的区域的输入，所述区域基于所述标记的计算出的位置来确定。
21.根据权利要求14所述的输入设备，
其中显示表示所捕获的图像上的区域的引导，所述区域基于所述标记的计算出的位置来确定，
所述输入识别单元接收指定由所述引导表示的区域的输入。
22.根据权利要求13所述的输入设备，其中所述传感器是振动传感器、加速度传感器、振动开关、压力传感器或静电电容传感器，通过所述传感器来检测对所述用户的身体的触摸。
23.根据权利要求13所述的输入设备，
其中所述传感器安装在附着到所述用户的设备中，
所述设备基于所述传感器的检测结果来改变所述设备的外观，
所述位置计算单元通过使用所述设备在其中成像的所捕获的图像来检测所述设备的外观的变化，以识别所述传感器的检测结果。
24.根据权利要求13所述的输入设备，还包括：
运动检测单元，所述运动检测单元在包括基于附着到所述用户的身体上的传感器的检测结果的定时的时间处检测所述标记的运动；以及
第二输入识别单元，所述第二输入识别单元将所述检测到的所述标记的运动识别为输入操作。
25.一种输入设备，包括：
位置计算单元，所述位置计算单元通过使用包括标记的所捕获的图像，在基于附着到用户的身体上的传感器的检测结果的定时处计算所述标记的位置；
输入识别单元，所述输入识别单元基于所述标记的计算出的位置来识别指定所捕获的图像上的区域的输入；以及
提取单元，所述提取单元从所捕获的图像中提取包括在所述区域中的部分图像，
其中所指定的位置是与所述标记分开的位置，并且
所述标记附着到所述用户的身体上，或者是所述用户的身体的一部分。
26.根据权利要求25所述的输入设备，其中所述传感器是振动传感器、加速度传感器、振动开关、压力传感器或静电电容传感器，通过所述传感器来检测对所述用户的身体的触摸。
27.根据权利要求25所述的输入设备，
其中所述传感器安装在附着到所述用户的设备中，
所述设备基于所述传感器的检测结果来改变所述设备的外观，
所述位置计算单元通过使用所述设备在其中成像的所捕获的图像来检测所述设备的外观的变化，以识别所述传感器的检测结果。
28.根据权利要求25所述的输入设备，还包括：
运动检测单元，所述运动检测单元在包括基于附着到所述用户的身体上的传感器的检测结果的定时的时间处检测所述标记的运动；以及
第二输入识别单元，所述第二输入识别单元将所述检测到的所述标记的运动识别为输入操作。
29.一种由计算机执行的输入方法，所述输入方法包括：
通过使用包括标记的所捕获的图像，在基于附着到对象上的传感器的检测结果的定时处计算所述标记的位置的位置计算步骤，所述对象附着到用户的身体上；以及
基于所述标记的计算出的位置来识别指定所捕获的图像上的位置的输入的输入识别步骤，
其中所指定的位置是与所述标记分开的位置，并且
所述标记被绘制、打印或附着到所述对象上。
30.一种由计算机执行的输入方法，所述输入方法包括：
通过使用包括标记的所捕获的图像，在基于附着到用户的身体上的传感器的检测结果的定时处计算所述标记的位置的位置计算步骤；以及
基于所述标记的计算出的位置来识别指定所捕获的图像上的位置的输入的输入识别步骤，
其中所指定的位置是与所述标记分开的位置，并且
所述标记是在附着到所述用户的手臂部分上的设备的显示屏幕上显示的图像。
31.一种由计算机执行的输入方法，所述输入方法包括：
通过使用包括标记的所捕获的图像，在基于附着到用户的身体上的传感器的检测结果的定时处计算所述标记的位置的位置计算步骤；
基于所述标记的计算出的位置来识别指定所捕获的图像上的区域的输入的输入识别步骤；以及
从所捕获的图像中提取包括在所述区域中的部分图像的提取步骤，
其中所指定的位置是与所述标记分开的位置，并且
所述标记附着到所述用户的身体上，或者是所述用户的身体的一部分。
32.一种计算机可读存储介质，存储有使计算机执行根据权利要求29至31中任一项所述的输入方法中的每个步骤的程序。
CN201680053037.8A 2015-09-28 2016-09-20 输入设备、输入方法和程序 Active CN108027654B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015190239 2015-09-28
JP2015-190239 2015-09-28
PCT/JP2016/077730 WO2017057107A1 (ja) 2015-09-28 2016-09-20 入力装置、入力方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN108027654A CN108027654A (zh) 2018-05-11
CN108027654B true CN108027654B (zh) 2021-01-12

Family

ID=58427555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680053037.8A Active CN108027654B (zh) 2015-09-28 2016-09-20 输入设备、输入方法和程序

Country Status (4)

Country Link
US (1) US10234955B2 (zh)
JP (1) JP6390799B2 (zh)
CN (1) CN108027654B (zh)
WO (1) WO2017057107A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108027654B (zh) * 2015-09-28 2021-01-12 日本电气株式会社 输入设备、输入方法和程序
CN108027655A (zh) * 2016-02-25 2018-05-11 日本电气株式会社 信息处理系统、信息处理设备、控制方法和程序
US11487353B2 (en) * 2016-11-14 2022-11-01 Logitech Europe S.A. Systems and methods for configuring a hub-centric virtual/augmented reality environment
US10545578B2 (en) * 2017-12-22 2020-01-28 International Business Machines Corporation Recommending activity sensor usage by image processing
US10546426B2 (en) * 2018-01-05 2020-01-28 Microsoft Technology Licensing, Llc Real-world portals for virtual reality displays
US10839603B2 (en) 2018-04-30 2020-11-17 Microsoft Technology Licensing, Llc Creating interactive zones in virtual environments
JP7166813B2 (ja) * 2018-07-06 2022-11-08 株式会社コロプラ 仮想体験を提供するためにコンピュータで実行される方法、プログラム及びコンピュータ
NL2022598B1 (en) * 2019-02-19 2020-08-31 Easee Health B V A method of performing an eye examination test for examining eyes of a user as well as a corresponding computing device.
WO2023067836A1 (ja) * 2021-10-18 2023-04-27 東芝デジタルソリューションズ株式会社 コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム
JP7330323B2 (ja) * 2021-10-18 2023-08-21 東芝デジタルソリューションズ株式会社 コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102089738A (zh) * 2008-06-11 2011-06-08 诺基亚公司 用于用户界面控制的相机姿态
CN103135881A (zh) * 2011-12-02 2013-06-05 深圳泰山在线科技有限公司 显示控制方法及系统
CN103154858A (zh) * 2010-09-22 2013-06-12 岛根县 操作输入装置与方法及程序
WO2014136373A1 (en) * 2013-03-08 2014-09-12 Sony Corporation Information processing apparatus, information processing method, and program
CN104063146A (zh) * 2008-01-06 2014-09-24 苹果公司 具有界面重新配置模式的便携式多功能设备
CN104205014A (zh) * 2012-03-26 2014-12-10 索尼公司 信息处理设备、信息处理方法和程序
CN104199602A (zh) * 2014-08-26 2014-12-10 联想(北京)有限公司 一种信息处理方法及电子设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5799099A (en) * 1993-02-12 1998-08-25 George S. Allen Automatic technique for localizing externally attached fiducial markers in volume images of the head
SE507680C2 (sv) * 1997-01-13 1998-07-06 Qualisys Ab Metod och anordning för att bestämma positionen av ett objekt
JP2000102036A (ja) 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
JP2011257943A (ja) * 2010-06-08 2011-12-22 Canon Inc ジェスチャ操作入力装置
CN102402680B (zh) * 2010-09-13 2014-07-30 株式会社理光 人机交互系统中手部、指示点定位方法和手势确定方法
WO2013049248A2 (en) 2011-09-26 2013-04-04 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
JP2013114467A (ja) * 2011-11-29 2013-06-10 Nikon Corp 表示システム、表示方法およびプログラム
JP2013190941A (ja) * 2012-03-13 2013-09-26 Nikon Corp 情報入出力装置、及び頭部装着表示装置
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US10025486B2 (en) * 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
ITTO20130541A1 (it) * 2013-06-28 2014-12-29 St Microelectronics Srl Dispositivo a semiconduttore integrante un partitore resistivo e procedimento di fabbricazione di un dispositivo a semiconduttore
US20150186708A1 (en) * 2013-12-31 2015-07-02 Sagi Katz Biometric identification system
CN108027656B (zh) * 2015-09-28 2021-07-06 日本电气株式会社 输入设备、输入方法和程序
CN108027654B (zh) * 2015-09-28 2021-01-12 日本电气株式会社 输入设备、输入方法和程序
US10296101B2 (en) * 2016-02-08 2019-05-21 Nec Corporation Information processing system, information processing apparatus, control method, and program
JP6256497B2 (ja) * 2016-03-04 2018-01-10 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063146A (zh) * 2008-01-06 2014-09-24 苹果公司 具有界面重新配置模式的便携式多功能设备
CN102089738A (zh) * 2008-06-11 2011-06-08 诺基亚公司 用于用户界面控制的相机姿态
CN103154858A (zh) * 2010-09-22 2013-06-12 岛根县 操作输入装置与方法及程序
CN103135881A (zh) * 2011-12-02 2013-06-05 深圳泰山在线科技有限公司 显示控制方法及系统
CN104205014A (zh) * 2012-03-26 2014-12-10 索尼公司 信息处理设备、信息处理方法和程序
WO2014136373A1 (en) * 2013-03-08 2014-09-12 Sony Corporation Information processing apparatus, information processing method, and program
CN104199602A (zh) * 2014-08-26 2014-12-10 联想(北京)有限公司 一种信息处理方法及电子设备

Also Published As

Publication number Publication date
US10234955B2 (en) 2019-03-19
JPWO2017057107A1 (ja) 2018-06-14
JP6390799B2 (ja) 2018-09-19
WO2017057107A1 (ja) 2017-04-06
CN108027654A (zh) 2018-05-11
US20180260032A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
CN108027654B (zh) 输入设备、输入方法和程序
CN108027656B (zh) 输入设备、输入方法和程序
CN107615214B (zh) 界面控制系统、界面控制装置、界面控制方法及程序
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
JP6256497B2 (ja) 情報処理システム、情報処理装置、制御方法、及びプログラム
US8094091B2 (en) Information presenting apparatus, method, and computer program product
EP3389020B1 (en) Information processing device, information processing method, and program
US20140240225A1 (en) Method for touchless control of a device
WO2013035758A1 (ja) 情報表示システム、情報表示方法、及び記憶媒体
US20130063345A1 (en) Gesture input device and gesture input method
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
US11030980B2 (en) Information processing apparatus, information processing system, control method, and program
JP6341343B2 (ja) 情報処理システム、情報処理装置、制御方法、及びプログラム
JP2023531302A (ja) 動的な形状スケッチングのためのシステム及び方法
JP2018063722A (ja) 情報処理システム、情報処理装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant