CN108369451A - 信息处理装置、信息处理方法及程序 - Google Patents

信息处理装置、信息处理方法及程序 Download PDF

Info

Publication number
CN108369451A
CN108369451A CN201680072636.4A CN201680072636A CN108369451A CN 108369451 A CN108369451 A CN 108369451A CN 201680072636 A CN201680072636 A CN 201680072636A CN 108369451 A CN108369451 A CN 108369451A
Authority
CN
China
Prior art keywords
user
range
information processing
identified
recognition accuracy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680072636.4A
Other languages
English (en)
Other versions
CN108369451B (zh
Inventor
深泽辽
鸟居邦在
冈山贵广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108369451A publication Critical patent/CN108369451A/zh
Application granted granted Critical
Publication of CN108369451B publication Critical patent/CN108369451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种信息处理装置、信息处理方法及程序。一种信息处理装置，其设置有：获取单元，用于获取与基于感测数据的识别相关的识别准确度；以及控制单元，用于当识别准确度被包括在第一范围内时使得可以识别第一用户操作，并且用于当识别准确度被包括在不同于第一范围的第二范围内时使得可以识别第二用户操作，该第二用户操作与第一用户操作不同并且与第一用户操作相关。

Description

信息处理装置、信息处理方法及程序
技术领域
本公开涉及信息处理装置、信息处理方法及程序。
背景技术
近年来，正在使用使得能够通过基于感测的识别来操作设备的技术。例如，以下专利文献1公开了一种技术，其中，佩戴有包括摄像装置的头戴式显示器(HMD)的用户使得摄像装置捕捉(感测)使用人的手进行的各种姿势，并且通过姿势识别来操作HMD。
引用列表
专利文献
专利文献1：JP 2014-186361A
发明内容
技术问题
然而，基于姿势的感测等来识别用户操作有时也会失败。例如，由于用户的状态、周围环境、装置性能等导致存在降低识别准确度的风险。例如，如果操作方法在低识别准确度的情况下和高识别准确度的情况下相同，则操作通常不被识别，并且由于用户会一遍又一遍地重复相同操作直到操作被识别才停止，导致用户的负担很大。
因此，本公开提出了一种新颖且改进的信息处理装置、信息处理方法及程序，其使得能够通过取决于识别准确度的用户操作来进行操作。
问题的解决方案
根据本公开，提供了一种信息处理装置，包括：获取单元，被配置成获取与基于感测数据的识别相关的识别准确度；以及控制单元，被配置成当所述识别准确度被包括在第一范围内时，使第一用户操作能够被识别，并且当所述识别准确度被包括在不同于所述第一范围的第二范围内时，使第二用户操作能够被识别，所述第二用户操作与所述第一用户操作不同并且与所述第一用户操作相关。
此外，根据本公开，提供了一种信息处理方法，包括：获取与基于感测数据的识别相关的识别准确度；以及利用处理器执行控制，使得当所述识别准确度被包括在第一范围内时第一用户操作能够被识别，并且使得当所述识别准确度被包括在不同于所述第一范围的第二范围内时第二用户操作能够被识别，所述第二用户操作与所述第一用户操作不同并且与所述第一用户操作相关。
此外，根据本公开，提供了一种程序，其使得计算机实现下述功能：获取功能，用于获取与基于感测数据的识别相关的识别准确度；以及控制功能，用于当所述识别准确度被包括在第一范围内时使第一用户操作能够被识别，并且当所述识别准确度被包括在不同于所述第一范围的第二范围内时使第二用户操作能够被识别，所述第二用户操作与所述第一用户操作不同并且与所述第一用户操作相关。
发明的有利效果
根据如上所述的本公开，可以通过取决于识别准确度的用户操作来进行操作。
请注意，上述效果不一定是限制性的。伴随或替代上述效果，可以实现本说明书中描述的效果中的任何一种效果或根据本说明书可以掌握的其他效果。
附图说明
[图1]图1是用于描述根据本公开的实施例的信息处理装置的概况的说明图。
[图2]图2是示出根据实施例的信息处理装置1的配置的框图。
[图3]图3是用于描述根据实施例的信息处理装置1的示例性操作的流程图。
[图4A]图4A是用于描述根据实施例的用户操作的第一具体示例的说明图。
[图4B]图4B是用于描述根据实施例的用户操作的第一具体示例的说明图。
[图4C]图4C是用于描述根据实施例的用户操作的第一具体示例的说明图。
[图5A]图5A是用于描述根据实施例的用户操作的第二具体示例的说明图。
[图5B]图5B是用于描述根据实施例的用户操作的第二具体示例的说明图。
[图6A]图6A是用于描述根据实施例的用户操作的第三具体示例的说明图。
[图6B]图6B是用于描述根据实施例的用户操作的第三具体示例的说明图。
[图6C]图6C是用于描述根据实施例的用户操作的第三具体示例的说明图。
[图7A]图7A是用于描述根据实施例的用户操作的第四具体示例的说明图。
[图7B]图7B是用于描述根据实施例的用户操作的第四具体示例的说明图。
[图7C]图7C是用于描述根据实施例的用户操作的第四具体示例的说明图。
[图8]图8是示出根据本公开的信息处理装置的硬件配置的示例的说明图。
具体实施方式
在下文中，将参照附图详细描述本公开的优选实施例。注意，在本说明书和附图中，用相同的附图标记来表示具有基本相同的功能和结构的结构元件，并且省略了对这些结构元件的重复说明。
在下文中，将按照下述顺序展开说明。
<<1.综述>>
<<2.配置>>
<<3.操作>>
<<4.用户操作的具体示例>>
<4-1.第一具体示例>
<4-2.第二具体示例>
<4-3.第三具体示例>
<4-4.第四具体示例>
<<5.示例性硬件配置>>
<<6.结论>>
<<1.综述>>
根据本公开的技术适用于各种形式的装置。图1是用于描述根据本公开的实施例的信息处理装置的概况的说明图。在图1所示的示例中，信息处理装置1是头戴式显示器(HMD)。信息处理装置1被佩戴在用户的头部上，并且包括被布置在用户的单眼或双眼前方的透视显示单元。
根据本实施例的信息处理装置1包括用于执行感测的传感器单元(未示出)并且识别用户操作。例如，信息处理装置1设置有摄像装置作为传感器单元，该摄像装置被布置成使得后轴与用户的视线近似平行，并且获取与用户的视野交叠的图像。用户操作可以基于所获取的图像而被识别。例如，可以利用操作体(诸如用户自己的手或手指、被手握住的真实对象、脚等)来执行用户操作。此外，可以利用稍后描述的视线或语音来执行用户操作。
在图1的示例中，在信息处理装置1的显示单元上显示有虚拟对象(即虚拟对象V1)、以及指示对用户手部(即操作体H1)的识别结果的用户界面U1。在用户通过透射式显示单元观看的情况下，用户界面U1被显示为好像叠加到操作体H1上，如图1所示。
如图1所示的用户界面U1那样，操作体H1被识别为包括五个可独立操作的手指，并且可以实现各种操作。
在如上所述的信息处理装置1中，由于用户的状态、周围环境、装置性能等而导致在一些情况下与操作体H1和使用操作体H1的用户操作相关的识别准确度被降低。例如，如果用于识别的图像是在暗处获取的，则在一些情况下，对操作体H1的每个手指的位置和朝向的识别准确度变低。因此，存在下述风险：可能无法识别出用户期望的操作，并且可能不执行处理，或者可能执行与用户期望的处理不同的处理。因此，在下一部分中将描述一种机制，其使得能够通过取决于识别准确度的用户操作(操作方法)来进行操作。
注意，尽管图1示出了信息处理装置1是HMD并且包括透视显示单元的示例，但是根据本实施例的信息处理装置1不限于这样的示例，并且只要信息处理装置1是能够基于感测来识别用户操作的装置，就可以以各种形式实现该信息处理装置。例如，信息处理装置1中包括的显示单元可以是透视或非透视的。此外，信息处理装置1可以是头盔式或汽车挡风玻璃式(平视显示器)显示装置。此外，信息处理装置1可以是桌面显示装置，其中，通过诸如投影仪的投影装置将图像投影到诸如桌子的平坦表面上。此外，信息处理装置1可以是个人计算机(PC)、智能电话、平板PC、便携式/个人导航装置(PND)等。
<<2.配置>>
上文描述了根据本实施例的信息处理装置1的概况。接下来，将参照图2描述根据本公开的实施例的信息处理装置1的示例性配置。图2是示出根据本实施例的信息处理装置1的配置的框图。如图1所示，信息处理装置1是设置有传感器单元110、识别单元120、获取单元130、范围设定单元140、控制单元150、存储单元160和显示单元170的信息处理装置。
传感器单元110执行与用户和用户所处的环境相关的感测，并获取感测结果(感测数据)。例如，传感器单元110可以包括摄像装置，其获取通过使用图像传感器(诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器)对真实空间进行成像而捕捉到的图像。此外，传感器单元110还可以包括立体摄像装置，其包括多个图像传感器并且同时获取多个图像。在这种情况下，多个图像传感器可以水平排列，并且通过使稍后描述的识别单元120通过立体匹配方法等分析多个所获取的图像，可以获取关于真实空间的三维形状信息(深度信息)。
显然，传感器单元110不限于摄像装置，并且可以包括各种传感器。例如，传感器单元110还可以包括各种传感器，诸如麦克风、全球定位系统(GPS)传感器、加速度传感器、视觉(诸如视线、注视点、焦点或眨眼)传感器、生物(诸如心率、体温、血压或脑波)传感器、陀螺仪传感器、照度传感器或红外摄像装置。传感器单元110将获取的感测数据提供给识别单元120和获取单元130。
识别单元120分析通过传感器单元110的感测获取的感测数据，并识别(获取)各种信息。例如，识别单元120可以基于感测数据来识别与用户相关的用户信息以及与用户所处的环境相关的环境信息。
在本文中，例如，用户信息还可以包括：指示用户行为的行为信息、指示用户运动的运动信息、生物信息、注视信息等。行为信息是指示用户的当前行为的信息，举例来说诸如静止、行走、跑步、驾驶汽车、上楼或下楼等，并且可以通过分析由传感器单元110获取的诸如加速度的感测数据来识别行为信息。此外，运动信息是诸如移动速度、移动方向、移动加速度、接近内容的位置等的信息，并且可以从由传感器单元110获取的诸如加速度和GPS数据的感测数据等中识别运动信息。此外，生物信息是诸如用户的心率、体温与汗液、血压、脉搏、呼吸、眨眼、眼球运动和脑波的信息，并且可以基于来自传感器单元110中所包括的生物传感器的感测数据来识别生物信息。此外，注视信息是与用户的注视相关的信息，诸如视线、注视点和眼睛会聚，并且可以基于来自传感器单元110中所包括的视觉传感器的感测数据来识别注视信息。注意，稍后将描述由识别单元120进行的视线识别处理。
此外，环境信息可以包括举例来说诸如周围状态、位置、照度、高度、温度、风向、风量和时间的信息。关于周围状态的信息可以是关于在附近是否存在除了用户以外的人或汽车的信息，或者诸如拥塞程度的信息，并且可以通过分析来自传感器单元110中所包括的摄像装置和麦克风的感测数据来识别该信息。此外，位置信息可以是指示用户所在位置的特点的信息，举例来说诸如室内、室外、水下或危险场所，并且还可以是指示位置对于用户的意义的信息，诸如某人的家、工作场所、熟悉的地方或者某人正第一次访问的地方。可以通过分析来自传感器单元110中所包括的摄像装置、麦克风、GPS传感器、照度传感器等的感测数据来识别位置信息。此外，类似地可以基于由传感器单元110中包括的各种传感器所获取的感测数据来识别关于照度、高度、温度、风向、风量和时间(例如GPS时间)的信息。
此外，识别单元120还可以分析由传感器单元110中包括的摄像装置获取的捕捉图像，并且执行对存在于真实空间中的诸如操作体的真实对象的识别处理。识别单元120将从捕捉图像中提取的图像特征例如与稍后描述的存储单元160中存储的真实对象(例如诸如手的操作体)的已知图像特征进行匹配，从而辨认出捕捉图像中的真实对象并识别出捕捉图像中的位置。
此外，识别单元120还可以分析由传感器单元110中包括的摄像装置获取的捕捉图像，并且获取关于真实空间的三维形状信息。例如，识别单元120可以针对同时获取的多个图像执行立体匹配方法，针对按时间顺序获取的多个图像执行运动恢复结构(SfM，structure from motion)方法，执行SLAM方法等，从而识别真实空间的三维形状并获取三维形状信息。此外，在识别单元120能够获取关于真实空间的三维形状信息的情况下，识别单元120还可以识别真实对象的三维位置、形状、大小和姿态。
此外，识别单元120还可以基于感测数据和用户信息来执行对用户操作的识别。例如，根据本实施例的识别单元120执行对姿势操作的识别、对视线操作的识别、对语音操作的识别等。
例如，识别单元120如下识别由用户使用操作体进行的姿势操作。由识别单元120执行的姿势识别处理可以包括：剪切包括操作体的部分图像、缩放所剪切的部分图像、暂时保存该部分图像、计算帧之间的差异等。例如，识别单元120可以追踪通过上述处理获得的操作体的诸如位置、形状或大小的属性，并且通过将这些属性的时间变化与预先存储在存储单元160中的已知姿势模式进行匹配来识别操作体所表示的姿势操作。此外，在本说明书中，术语“姿势”被视为包括静态姿势(形状)，这些静态姿势(形状)不涉及操作体的属性的时间变化。注意，稍后将利用附图来描述由识别单元120识别的姿势操作的若干非限制性具体示例。
此外，识别单元120如下识别通过用户的视线位置来进行的视线操作。例如，通过将指示用多个红外LED照射用户瞳孔的红外光的反射的光点的位置与这些红外LED的已知位置相关联，识别单元120可以识别视线操作中使用的视线位置。注意，指示红外光的反射的光点的位置可以由传感器单元110来检测，或者由识别单元120从通过用传感器单元110中所包括的红外摄像装置对瞳孔进行成像而获得的图像中进行检测。此外，识别单元120还可以通过将按时间顺序追踪视线位置而获得的视线位置或视线轨迹与存储在存储单元160中的已知视线模式进行匹配来识别视线操作。注意，稍后将利用附图描述由识别单元120识别的使用视线位置的视线操作的若干非限制性具体示例。
此外，识别单元120如下识别通过用户语音来进行的语音操作。例如，识别单元120可以通过将由传感器单元110中包括的麦克风获取的输入语音与存储在存储单元160中的已知语音模式进行匹配来识别语音操作。用户通过语音操作输入的语音可以是预定的语音命令(诸如是/否)、词语或关键词、或者诸如与在显示单元170上显示的代理进行的对话的句子。注意，稍后将利用附图描述由识别单元120识别的语音操作的若干非限制性具体示例。
注意，对于存储在存储单元160中的与用户操作相关的信息(诸如姿势模式、视线模式和语音模式)，与稍后描述的控制单元150所指定的用户操作对应的合适的信息也可以通过控制单元150被提供给识别单元120。
获取单元130包括获取与对用户信息和用户操作的识别相关的识别准确度的获取功能。例如，获取单元130可以基于由识别单元120执行的识别的置信度水平以及从用于识别操作的感测数据估计的感测数据的误差或准确度，指定识别准确度。
例如，在识别姿势操作中使用的操作体时，由于随着从图像中检测到更多的特征点，对操作体的识别结果的置信度趋于更高，所以对姿势操作的识别的置信度水平可以是特征点的数量。此外，对姿势操作的识别的置信度水平可以是在所识别的操作体属性的时间变化与已知姿势模式之间进行匹配时的匹配分数。
此外，如上所述，由于视线操作中使用的视线位置是基于由识别单元120从用户瞳孔内检测到的光点来识别的，所以随着检测到更多的光点，对视线位置的估计结果的置信度趋于更高。因此，对视线操作的识别的置信度水平可以是在用户瞳孔内检测到的光点的数量。此外，对视线操作的识别的置信度水平也可以是从左眼和右眼中的每个中识别出的视线位置之间的差异。
此外，对语音操作的识别的置信度水平可以是例如通过公知的噪声估计技术从输入语音中估计出的噪声的小的程度，或者在输入语音与已知语音模式之间进行匹配时的匹配分数。
如上所述，通过基于置信度水平来指定识别准确度，识别准确度反映了识别结果的置信程度，并且由于取决于识别准确度来选择用户操作而提高了对于用户的可用性。
此外，可以通过各种方法来估计感测数据的误差和准确度。例如，获取单元130可以计算在过去的预定时长内的感测数据的方差，并且在方差大的情况下或者在方差变化大的情况下，可将误差估计得大(准确度低)。通过基于感测数据的误差或准确度来指定识别准确度，识别准确度反映了作为结果的识别的准确度，并且由于选择了取决于识别准确度的用户操作而提高了对于用户的可用性。
上述置信度水平、误差或准确度可以被单独使用或被组合以指定识别准确度。此外，由获取单元130指定识别准确度的方法不限于以上内容，并且还可以根据所获得的感测数据和用户操作通过各种方法来指定。
注意，由获取单元130获取识别准确度不限于如上所述通过指定识别准确度来获取。例如，识别单元120还可以在识别处理的过程期间指定上述识别准确度，并且获取单元130可以通过从识别单元120接收识别准确度来获取识别准确度。
此外，在本实施例中，尽管描述了基于由信息处理装置1中包括的传感器单元110所获取的感测数据来获取识别准确度的示例，但是本公开不限于这样的示例。例如，替代或者除了来自传感器单元110的感测数据和基于该感测数据的识别结果之外，信息处理装置1还可以与另外的传感器装置协作并使用从该传感器装置获得的传感器数据和识别结果。在这种情况下，获取单元130还可以例如是用于从传感器装置获取由该传感器装置指定的识别结果的接口。
范围设定单元140设定在由稍后描述的控制单元150指定操作方法时使用的范围。范围设定单元140可以使用一个或多个阈值来设定预定数量的范围。例如，通过使范围设定单元设定单个阈值，可以设定等于或大于该阈值的第一范围和小于该阈值的第二范围，即，上限值小于或等于第一范围的下限值的第二范围。此外，类似地，通过使范围设定单元设定两个阈值，可以设定第一范围、上限值小于或等于第一范围的下限值的第二范围、以及上限值小于或等于第二范围的下限值的第三范围。注意，在下文中，在一些情况下可以通过声明第一范围高于第二范围、第二范围低于第一范围等来表示第二范围的上限值小于或等于第一范围的下限值。
此外，范围设定单元140可以通过使用预定阈值来设定范围，或者通过使用动态获得的阈值来设定范围。在预定阈值的情况下，例如，信息处理装置1的开发者或由信息处理装置1执行的应用的开发者可以根据交互来预先指定阈值。
此外，在动态地获得阈值的情况下，例如，范围设定单元140可以指定阈值，使得随着对于用户而言条件变得更加严苛(例如操作或视觉感知困难的条件)，阈值变大(稍后描述的控制单元150更容易选择简单的操作方法)。例如，范围设定单元140可以通过基于与用户相关的用户信息或与用户所处的环境相关的环境信息指定阈值来设定范围。
例如，范围设定单元140可以根据关于用户的移动速度的信息(用户信息的一个示例)来指定阈值，并将该阈值指定为使得随着用户的移动速度变得更快而该阈值变得更大。此外，范围设定单元140可以根据用户的生物信息(用户信息的一个示例)举例来说诸如用户心率来指定阈值，并将该阈值指定为使得随着用户心率变得更高而该阈值变得更大。此外，范围设定单元140可以根据关于用户周围的照度的信息(环境信息的一个示例)来指定阈值，并将该阈值指定为使得随着用户周围的照度变得更暗而该阈值变得更大。此外，范围设定单元140可以根据关于用户周围的拥塞程度的信息(环境信息的一个示例)来指定阈值，并将该阈值指定为使得随着用户周围的拥塞程度变得更高而该阈值变得更大。此外，范围设定单元140可以根据从信息处理装置1到操作体的距离来指定阈值，并将该阈值指定为使得随着该距离变得更大而该阈值变得更大。根据这样的配置，在操作或视觉困难的情况下，如果识别准确度降低，则更容易选择更简单的选择方法，并且用户变得能够利用与条件对应的操作方法来执行操作。因此，可以减少因操作未被识别而重复相同的操作，并且用户能够舒适地执行操作。
控制单元150包括控制信息处理装置1中包括的每个单元的控制功能。具体地，根据本实施例的控制单元150基于由获取单元130获得的识别准确度和由范围设定单元140设定的范围来指定合适的用户操作(操作方法)，并且在识别出用户操作的情况下控制相应处理的执行。
例如，控制单元150可以控制识别单元120，并且在识别准确度被包括在第一范围内的情况下使得可以识别第一用户操作。此外，控制单元150可以控制识别单元120，并且在识别准确度被包括在不同于第一范围的第二范围内的情况下使得可以识别第二用户操作，该第二用户操作与第一用户操作不同且与第一用户操作相关。注意，控制单元150对识别单元120的控制不限于以上所述，并且例如在范围设定单元140设定了三个或更多个范围的情况下，控制单元150可以基于识别准确度和上述三个或更多个范围来执行类似的控制。
在本公开中，第二用户操作与第一用户操作相关可以包括例如第一用户操作和第二用户操作是基于与相同目标相关的感测数据而识别出的用户操作。例如，第一用户操作和第二用户操作均可以是基于与用户的手部、指尖、视线或语音相关的感测数据而被识别的。根据这样的配置，即使由控制单元150接收的用户操作发生改变，用户也不必改变要由传感器单元110感测的目标，并且能够顺利地继续执行操作。
此外，在本公开中，第二用户操作与第一用户操作不同还可以包括例如识别单元120将第一用户操作和第二用户操作识别为不同的操作。例如，以上情况包括：第一用户操作被识别为使用包括五个可独立操作的手指的操作体的操作，第二用户操作被识别为使用不包括手指(未识别出手指)的操作体的操作，并且第一用户操作与第二用户操作不同。
此外，在识别单元120识别出用户操作的情况下，控制单元150可以基于该用户操作使得预定处理被执行。例如，可基于在识别准确度被包括在第一范围内的情况下能够被识别的用户操作来执行的处理的类型可以包括可基于在识别准确度被包括在第二范围内的情况下能够被识别的用户操作来执行的处理的类型。此外，在识别准确度被包括在第一范围内的情况下能够被识别的用户操作可以是比在识别准确度被包括在第二范围内的情况下能够被识别的用户操作更复杂的操作。根据这样的配置，甚至在识别准确度低的情况下，用户也能够利用简单的用户操作使处理被执行，而此外，在识别准确度高的情况下，用户能够利用复杂的用户操作来使具有更高自由度的各种处理被执行。
此外，控制单元150可以从存储单元160提取并向识别单元120提供关于与识别准确度对应的一个或更多个用户操作的信息，从而使得可以识别一个或多个用户操作。根据这样的配置，识别单元120变得能够基于识别准确度选择性地识别用户操作，并且例如，与识别出识别单元120能够识别的所有用户操作的情况相比，降低了与识别处理相关的处理负荷。
此外，控制单元150可以使得在识别准确度被包括在第一范围内的情况下向用户通知第一用户操作能够被识别，并且使得在识别准确度被包括在第二范围内的情况下向用户通知第二用户操作能够被识别。例如，控制单元150可以控制显示单元170针对每个能够被识别的用户操作显示不同的用户界面、效果、文本等，并由此使得向用户通知该用户操作能够被识别。此外，控制单元150的通知方法不限于以上所述，并且控制单元150还可以控制扬声器(未示出)通过声音发布通知，或者控制振动单元(未示出)通过振动发布通知。
注意，稍后将利用附图描述用户操作、基于用户操作的处理以及指示用户操作能够被识别的通知的具体示例。
存储单元160存储用于信息处理装置1的处理的程序和数据。例如，存储单元160还可以存储用于识别操作体的图像特征以及用于识别操作的姿势模式、视线模式、语音模式等。存储在存储单元160中的上述信息根据由控制单元150指定的用户操作而通过控制单元150提供给识别单元120。
显示单元170是显示各种信息的显示器。如图1所示，显示单元170可以是透射式(光学透视)显示器或非透射式显示器。此外，显示单元170可以由控制单元150控制以显示关于能够被识别的用户操作的通知。
<<3.操作>>
以上描述了根据本公开的实施例的信息处理装置1的示例性配置。接下来将参照图3描述根据本实施例的信息处理装置1的示例性操作。图3是用于描述根据本实施例的信息处理装置1的示例性操作的流程图。
首先，由传感器单元110执行感测(S10)。接下来，识别单元120分析来自传感器单元110的感测结果(感测数据)，并且识别诸如用户信息、环境信息和与操作相关的信息的各种信息(S20)。接下来，获取单元130基于识别的置信度水平、感测数据的误差或准确度等来获取识别准确度信息(S30)。
接下来，范围设定单元140基于用户信息、环境信息等来设定用于指定操作方法的范围(S40)。控制单元150基于所设定的范围和识别准确度来指定操作方法(用户操作)(S50)。
接下来，控制单元150控制识别单元120更新识别设定，使得与所指定的操作方法对应的操作识别被执行(S60)。此外，控制单元150控制显示单元170向用户通知所指定的用户操作(操作方法)可用(S70)。
注意，上述一系列处理(步骤S10至S70)可以在这一系列处理结束时立即重复执行或者定期重复执行。
<<4.用户操作的具体示例>>
以上描述了根据本实施例的信息处理装置1的示例性配置和示例性操作。在下文中，将描述用户操作的若干具体示例。
注意，在下文所描述的具体示例当中，可以将任一具体示例应用于本实施例，或者可以将多个具体示例组合并应用于本实施例。此外，在下文所描述的具体示例当中，也可以由用户选择或者自动选择任一示例并应用于本实施例。
<4-1.第一具体示例>
图4A至图4C是用于描述根据本实施例的用户操作的第一具体示例的说明图。在该具体示例中，每个用户操作是基于与用户手部(操作体的一个示例)相关的感测数据所识别的用户操作，并且所识别的手指数量取决于识别准确度而不同。此外，该具体示例假定范围设定单元140设定了按第一范围、第二范围和第三范围的顺序降低的三个范围(第二范围的下限值小于或等于第一范围的上限值，并且第三范围的下限值小于或等于第一范围的上限值)。
图4A是用于说明在该具体示例中在识别准确度被包括在第一范围内的情况下能够被识别的用户操作的说明图。在图4A所示的示例中，在信息处理装置1的显示单元170上显示有用户界面U12，其指示对操作体H10即用户手部的识别结果。在该具体示例中，显示单元170是透射式显示器，并且在用户通过显示单元170进行观看的情况下，用户界面U12被显示为好像叠加到操作体H10上，如图4A所示。
此外，如图4A所示，用户界面U12被显示为包括五个可独立操作的手指U121至U129，并且用户可以实现各种操作。例如，通过使用操作体H10执行预定的姿势操作，用户可以使得信息处理装置1针对虚拟对象(未示出)执行诸如编辑、做出与观看相关的选择、移动、放大或缩小、旋转、变形等处理。例如，要被操作的虚拟对象可以例如是3D模型，但是也可以是下述内容，该内容包括：诸如图标、按钮或控制面板的图形用户界面(GUI)，诸如照片和图示的图像，以及诸如说明和标签的文本。
例如，通过执行用手指轻击虚拟对象的姿势，用户能够选择该虚拟对象。此外，通过用两个手指执行捏住并移动虚拟对象的姿势，用户能够抓住并移动该虚拟对象。此外，通过将五个手指重叠到虚拟对象上并且展开或收起手指，用户能够放大或缩小该虚拟对象。此外，通过用一个或多个手指执行诸如推、拉、扭转、分割或断开虚拟对象的使虚拟对象变形的姿势，用户能够使虚拟对象变形。
注意，根据本公开的姿势操作不限于上述姿势，并且可以是例如使用操作体执行的任何操作。根据本公开的姿势操作还可以包括所谓的轻击、轻弹、猛击、拖动、捏入、掐出等。
图4B是用于说明在该具体示例中在识别准确度被包括在第二范围内的情况下能够被识别的用户操作的说明图。类似地，在图4B所示的示例中，在信息处理装置1的显示单元170上，指示对操作体H10即用户手部的识别结果的用户界面U14被显示为好像叠加到操作体H10上。
如图4B所示，用户界面U14的形状像两个手指的手臂，并且在该用户操作中，用户手部被识别为包括两个手指的操作体。例如，识别单元120可以识别用户手部的展开程度，并且控制单元150可以使用户手部的展开程度被显示为图4B所示的手指U142和手指U144的展开程度。
此外，在图4B所示的示例中，可以基于用上述手臂轻击虚拟对象的姿势操作以及用上述手臂捏住并移动虚拟对象的姿势操作来执行选择和移动虚拟对象的处理。
图4C是用于说明在该具体示例中在识别准确度被包括在第三范围内的情况下的用户操作的说明图。类似地，在图4C所示的示例中，在信息处理装置1的显示单元170上，指示对操作体H10即用户手部的识别结果的用户界面U16被显示为好像叠加到操作体H10上。
如图4C所示，用户界面U16包括没有手指的圆形部分U162，并且在该用户操作中识别出了用户手部(操作体)的位置但未识别出手指。在图4C所示的示例中，用户界面U16例如具有吸附力，并且通过移动操作体H10以使用户界面U16靠近虚拟对象，用户能够使虚拟对象吸附到用户界面U16上。此外，通过使用户移动操作体H10以移动用户界面U16，可以执行移动所吸附的虚拟对象的处理。注意，可以使用另外的用户操作(例如语音识别)来释放对所吸附的虚拟对象的吸附。
如上所述，在该具体示例中，图4A所示的示例中的第一用户操作和图4B所示的示例中的第二用户操作二者可以是用于使相同处理(下文中在某些情况下被称为第一处理)被执行的用户操作。例如，图4A所示的示例中的用两个手指捏住并移动虚拟对象的姿势操作和图4A所示的示例中的用手臂轻击虚拟对象的姿势操作二者均是用于使得选择处理(第一处理的一个示例)被执行的用户操作。
此外，控制单元150在识别准确度被包括在第一范围内的情况下使得可以识别用于使不同于第一处理的第二处理被执行的用户操作，并且在识别准确度被包括在第二范围内的情况下不使得能够识别用于使第二处理被执行的用户操作。例如，在如上所述的图4A所示的示例中，通过将五个手指重叠到虚拟对象上并展开或收起手指，用户能够执行放大/缩小处理(第二处理的一个示例)。另一方面，在图4B所示的示例中，控制单元150可以执行控制，使得用于使放大/缩小处理被执行的用户操作不被识别(放大/缩小处理不能被执行)。显然，对于识别准确度被包括在第三范围内的情况(图4C所示的情况)也可以执行类似的控制。根据这样的配置，通过在低识别准确度的情况下限制能够被识别的用户操作，可以减少错误识别。此外，在高识别准确度的情况下，用户能够用更多种用户操作来执行更多种处理。
此外，如上所述，在该具体示例中，在与较高范围对应的用户操作中识别出的用户手部的手指数量大于在与较低范围(上限值小于另一范围的下限值的范围)对应的用户操作中识别出的用户手部的手指数量。通过区分在用户操作中识别出的手指数量，每个用户操作被识别为不同的操作，并且显示与所识别的手指数量对应的用户界面。根据这样的配置，用户能够通过由所显示的用户界面指示的手指数量来了解手部识别准确度和能够被识别的操作。此外，在识别准确度较高的情况下，用户能够执行更复杂的操作，并且使具有较高自由度的处理被执行。
<4-2.第二具体示例>
在上述第一具体示例中，描述了在基于对手部的识别的用户操作中所识别的手指数量取决于识别准确度而不同的示例。在下文中，将描述下述示例作为第二具体示例，其中，在基于与用户指尖(例如食指指尖)相关的感测数据而识别的用户操作中，基于指尖的位置来指定被操作的操作区域，并且操作区域的大小取决于识别准确度而不同。
图5A和图5B是用于描述根据本实施例的用户操作的第二具体示例的说明图。该具体示例假定范围设定单元140设定了两个范围，其中第二范围低于第一范围。
图5A是用于说明在该具体示例中在识别准确度被包括在较高的第一范围内的情况下的第一用户操作的说明图。此外，图5B是用于说明在该具体示例中在识别准确度被包括在第二范围内的情况下的第二用户操作的说明图。
在本文中，控制单元150可以设定操作区域，使得在第二用户操作中被操作的操作区域大于在第一用户操作中被操作的操作区域。根据这样的配置，在高识别准确度的情况下，设定与用户指尖的形状匹配的精确的操作区域，以使得可以进行更准确的操作，而在低识别准确度的情况下，将操作区域设定在指尖周围更广阔的区域中，以降低由于识别错误导致不适感的可能性。
此外，控制单元150还可以使显示单元170显示用于指示操作区域的操作区域指示符。操作区域指示符可以被显示为与操作区域的大小对应的大小，并且可以被显示在与操作区域的位置对应的位置处。根据这样的配置，用户能够了解操作区域。
在图5A和图5B所示的示例中，在信息处理装置1的显示单元170上，在控制单元150的控制下显示有用于指示每个操作区域的用户界面(操作区域指示符)U22和用户界面(操作区域指示符)U24。在该具体示例中，显示单元170是透射式显示器，并且在用户通过显示单元170进行观看的情况下，用户界面U22和用户界面U24被显示为好像叠加到操作体H20的指尖上，如图5A和图5B所示。在该具体示例中，由于第二用户操作的操作区域大于第一用户操作的操作区域，所以如图5A和图5B所示，用户界面U24大于用户界面U22。
在该具体示例中，例如，通过使用户使用操作体H20执行操作以使得虚拟对象在用户界面U22或用户界面U24的范围内保持预定的时间量，可以执行选择虚拟对象的操作。此外，在图5A所示的示例中，在高识别准确度的状态下，可以识别手指的三维位置，并且可以根据对虚拟对象的接触程度(触摸深度)来识别渐进的触摸操作。在这种情况下，例如，可以根据接触程度来执行使虚拟对象变形的处理。
如上所述，在该具体示例中，在高识别准确度的情况下，识别要进行用户操作的较小操作区域，并且控制单元150使指示该较小操作区域的小操作区域指示符被显示。此外，在低识别准确度的情况下，识别要进行用户操作的较大操作区域，并且控制单元150使指示该较大操作区域的大操作区域指示符被显示。通过区分在用户操作中识别的操作区域，每个用户操作被识别单元120识别为不同的操作，并且显示与所识别的操作区域对应的用户界面。根据这样的配置，在高识别准确度的情况下，显示与用户手指的形状匹配的用户界面，并且用户也将了解到是以高准确度来识别指尖位置的，同时也能够使得基于复杂的操作来执行具有高自由度的处理。此外，在低识别准确度的情况下，用户界面被显示在指尖周围更广阔的范围中，因此降低了对于指尖位置识别错误的用户不适感。此外，由于能够被识别的用户操作与操作区域指示符的大小彼此对应，所以用户能够基于操作区域指示符的大小来了解能够被识别的用户操作。
注意，指尖的操作区域以及指示操作区域的操作区域指示符的大小不同的示例不限于以上所述。例如，随着识别准确度变得更大，指尖的操作区域可以被设定得更小，并且还可以显示具有与操作区域对应的大小的、用于指示指尖的操作区域的操作区域指示符。
<4-3.第三具体示例>
在上述第一具体示例和第二具体示例中，描述了用户操作是基于对手部或指尖的识别的操作的示例。接下来，在下文中，将描述基于与用户视线相关的感测数据来识别用户操作的示例作为第三具体示例。在该具体示例中，基于视线位置来指定被操作的操作区域。
图6A至图6C是用于描述根据本实施例的用户操作的第三具体示例的说明图。该具体示例假定范围设定单元140设定了三个范围，其按照第一范围、第二范围和第三范围的顺序变低。此外，图6A至图6C所示的画面W32至W36是在控制单元150的控制下在显示单元170上显示的画面。显示单元170可以是透射式显示器或非透射式显示器。
图6A是用于说明在该具体示例中在识别准确度被包括在第一范围内的情况下的用户操作的说明图。在图6A所示的示例中，在画面W32上显示有用于指示以用户的视线位置为中心的操作区域的用户界面(操作区域指示符)U32。在图6A所示的示例中，例如，用户移动其视线从而移动用户界面U32，并且能够通过注视(保持视线位置静止)达固定时间量使选择处理被执行。例如，图6A中的用户操作可以被识别单元120识别为用户看向单个点的操作，并且用户界面U32可以被用作所谓的指示器。
图6B是用于说明在该具体示例中在识别准确度被包括在第二范围内的情况下的用户操作的说明图。在图6B所示的示例中，在画面W34上显示有用户界面(操作区域指示符)U34，其比图6A所示的用户界面U32大，并且指示以用户的视线位置为中心的操作区域(注视区域)。例如，图6B中的用户操作不同于图6A中的用户操作，并且可以被识别单元120识别为用户观看比点更大的区域的操作。在图6B所示的示例中，用户能够执行例如通过移动其视线使用户界面U34移动的处理，但是为了使选择处理被执行，可能需要另外的用户操作(例如，基于语音识别的操作)。注意，在虚拟对象存在于用户界面U34的区域内的情况下，例如可以显示提示或选择选项，并且在这样的情况下例如可以通过使用户说“OK”(“好”)来执行选择处理。
图6C是用于说明在该具体示例中在识别准确度被包括在第三范围内的情况下的用户操作的说明图。在图6C所示的示例中，画面W36被显示为分成从A10至A90的九个区域，并且在用户的视线位置存在的区域中显示有用户界面(操作区域指示符)U36，其比图6B所示的用户界面U34大并且用于指示操作区域。例如，图6C中的用户操作不同于图6A和图6B中的用户操作，并且可以被识别单元120识别为用户观看甚至更大的区域的操作。根据用户界面U36存在的区域，可以执行例如与诸如上(区域A20)、下(区域A80)、左(区域A40)、右(区域A60)和中央(区域A50)的方向对应的输入操作。例如，在图6C所示的示例中，由于用户界面U36被显示在区域A40中，因此执行左方向(左键)上的输入操作。
<4-4.第四具体示例>
以上描述了基于手部识别的用户操作以及基于视线识别的用户操作的具体示例。接下来，在下文中，将描述基于对语音模式的识别而识别的用户操作的示例作为第四具体示例。
图7A至图7C是用于描述根据本实施例的用户操作的第四具体示例的说明图。该具体示例假定范围设定单元140设定了三个范围，其按照第一范围、第二范围和第三范围的顺序变低。此外，图7A至图7C所示的画面W42至W46是在控制单元150的控制下在显示单元170上显示的画面。显示单元170可以是透射式显示器或非透射式显示器。
图7A是用于说明在该具体示例中在识别准确度被包括在第一范围内的情况下的用户操作的说明图。在图7A所示的示例中，在画面W42上显示有代理(人物)U42。用户可以如同与代理U42交谈一样自由地输入语音，并且信息处理装置1可以从扬声器(未示出)输出语音，如同代理U42正在讲话一样。例如，图7A中的用户操作可以被识别单元120识别为根据用户说出的句子进行的操作。
图7B是用于说明在该具体示例中在识别准确度被包括在第二范围内的情况下的用户操作的说明图。在图7B所示的示例中，在画面W44上显示有用户界面U44，其包括可由用户用单词或关键词来应答的问题文本。用户能够用单词或关键词来执行语音输入，并且可以根据对所输入的语音的识别来显示对所输入的内容的确认消息。例如，图7B中的用户操作不同于图7A中的用户操作，并且可以被识别单元120识别为根据用户所说的词或关键词进行的操作。在图7B的示例中，由于输入限于词或关键词，所以与允许自由对话的图7A中的示例相比，减少了识别的语音模式的数量，使得甚至在识别准确度较低的情况下也更易于顺利接收用户输入。
图7C是用于说明在该具体示例中在识别准确度被包括在第三范围内的情况下的用户操作的说明图。在图7C所示的示例中，在画面W46上显示有包括预定语音命令(诸如“是/否”)的用户界面U462和U464、以及包括可由用户用语音命令应答的问题文本的用户界面U466。用户能够用预定语音命令来执行语音输入。例如，图7C中的用户操作不同于图7A和图7B中的用户操作，并且可以被识别单元120识别为根据用户说出的预定语音命令进行的操作。在图7C的示例中，由于输入限于预定语音命令，所以与图7A和图7B的示例相比，进一步减少了所识别的语音模式的数量，使得甚至在识别准确度较低的情况下也更易于顺利接收用户输入。
注意，在上文中，描述了通过显示包括例如问题文本的用户界面来发布与用户操作相关的通知的示例，但是也可以通过将类似的问题文本输出为语音来发布通知。
<<5.硬件配置示例>>
至此，已经描述了本公开的每个实施例。诸如上述显示模式选择处理和显示控制处理的信息处理是通过下述信息处理装置1的硬件和软件的协作实现的。
图8是示出信息处理装置1的硬件配置的示例的说明图。如图8所示，信息处理装置1包括中央处理单元(CPU)11、只读存储器(ROM)12、随机存取存储器(RAM)13、输入装置14、输出装置15、存储装置16、成像装置17和通信装置18。
CPU 11充当操作处理装置和控制装置，并且根据各种程序来控制信息处理装置1中的整体操作。CPU 11也可以是微处理器。ROM 12存储由CPU 11使用的程序、操作参数等。RAM 13临时存储CPU 11执行中使用的程序、在该执行中适当变化的参数等。这些部件通过包括CPU总线等的主机总线连接在一起。识别单元120、获取单元130、范围设定单元140和控制单元150的功能主要通过与CPU 11、ROM 12和RAM 13协同工作的软件来实现。
输入装置14包括：用于供用户输入信息的输入装置，诸如鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆；输入控制电路，其基于用户的输入生成输入信号，并将所生成的输入信号输出至CPU 11；等等。通过操作输入装置14，信息处理装置1的用户能够对信息处理装置1输入各种数据并且指示处理操作。
输出装置15包括举例来说诸如液晶显示(LCD)装置、OLED装置、透视显示器和灯的显示装置。此外，输出装置15包括语音输出装置，诸如扬声器和耳机。例如，显示装置显示所捕捉的图像、所生成的图像等。另一方面，语音输出装置将语音数据等转换为语音，并且此后输出该语音。输出装置15对应于参照图2描述的显示单元170。
存储装置16是用于存储数据的装置。存储装置16可以包括存储介质、将数据存储在存储介质中的记录装置、从存储介质中读出数据的读出装置、删除存储介质中记录的数据的删除装置等。存储装置16存储由CPU 11执行的程序和各种数据。存储装置16对应于参照图2描述的存储单元160。
成像装置17包括：成像光学系统，诸如收集光的拍摄镜头和变焦镜头；以及信号转换装置，诸如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)。成像光学系统收集从被摄对象发出的光以在信号转换单元处形成被摄对象图像，并且信号转换装置将形成的被摄对象图像转换为电图像信号。成像装置17对应于参照图2描述的传感器单元110。
通信装置18是例如包括用于连接到通信网络等的通信装置的通信接口。此外，通信装置18可以是兼容无线局域网(LAN)的通信装置、兼容长期演进(LTE)的通信装置、经由有线线路执行通信的有线通信装置、或者蓝牙通信装置。
<<6.结论>>
如上所述，根据本公开的实施例，由于指定了取决于识别准确度的用户操作，并且还由于向用户通知了取决于识别准确度的用户操作，所以用户变得能够利用取决于识别准确度的用户操作来更舒适地执行操作。
以上参照附图描述了本公开的优选实施例，然而本公开不限于上述示例。本领域技术人员可以在所附权利要求书的范围内发现各种变型和修改，并且应当理解，这些变型和修改将自然落入本公开的技术范围内。
例如，在前述实施例中，描述了下述示例，其中，信息处理装置1设置有传感器单元110、识别单元120、存储单元160等，但是本技术不限于这样的示例。例如，信息处理装置1还可以直接或通过网络等从另一装置接收感测数据和关于识别结果、识别准确性等的信息，指定用户操作，并且向另一装置输出控制信号。
此外，上述实施例中的各个步骤不一定必须按照流程图中所示的顺序按时间顺序执行。例如，上述实施例的处理中的各个步骤也可以以与流程图中所示的顺序不同的顺序来执行，或者其可以被并行执行。
此外，还可以创建一种计算机程序，该计算机程序用于使硬件(诸如内置在信息处理装置1中的CPU、ROM、RAM等)展示上述信息处理装置1的功能。此外，还提供了一种存储介质，该存储介质具有存储在其中的上述计算机程序。
此外，本说明书中描述的效果仅是说明性或示例性的效果，而不是限制性的。也就是说，伴随或替代上述效果，根据本公开的技术可以实现本领域技术人员从本说明书的描述中明白的其他效果。
此外，本技术也可以被如下配置。
(1)
一种信息处理装置，包括：
获取单元，被配置成获取与基于感测数据的识别相关的识别准确度；以及
控制单元，被配置成当所述识别准确度被包括在第一范围内时，使第一用户操作能够被识别，并且当所述识别准确度被包括在不同于所述第一范围的第二范围内时，使第二用户操作能够被识别，所述第二用户操作与所述第一用户操作不同并且与所述第一用户操作相关。
(2)
根据(1)所述的信息处理装置，其中，
基于与相同目标相关的感测数据来识别所述第一用户操作和所述第二用户操作。
(3)
根据(1)或(2)所述的信息处理装置，其中，
所述第二范围的上限值小于或等于所述第一范围的下限值。
(4)
根据(3)所述的信息处理装置，其中，
所述控制单元使得基于所识别的用户操作来执行预定处理，以及
基于当所述识别准确度被包括在所述第一范围内时能够被识别的用户操作而执行的处理的类型包括基于当所述识别准确度被包括在所述第二范围内时能够被识别的用户操作而执行的处理的类型。
(5)
根据(4)所述的信息处理装置，其中，
所述控制单元使得当所述识别准确度被包括在所述第一范围内时向用户通知所述第一用户操作能够被识别，并且使得当所述识别准确度被包括在所述第二范围内时向所述用户通知所述第二用户操作能够被识别。
(6)
根据(1)至(5)中任一项所述的信息处理装置，其中，
基于所述识别的置信度水平来指定所述识别准确度。
(7)
根据(1)至(6)中任一项所述的信息处理装置，其中，
基于所述感测数据的误差或准确度来指定所述识别准确度。
(8)
根据(1)至(7)中任一项所述的信息处理装置，其中，
所述第一用户操作和所述第二用户操作是基于与用户手部相关的感测数据而识别的用户操作，并且在所述第一用户操作中识别的所述用户手部的手指数量多于在所述第二用户操作中识别的所述用户手部的手指数量。
(9)
根据(8)所述的信息处理装置，其中，
所述第一用户操作和所述第二用户操作是用于使第一处理被执行的用户操作，并且
当所述识别准确度被包括在所述第一范围内时，所述控制单元使得用于使不同于所述第一处理的第二处理被执行的用户操作能够被识别，并且当所述识别准确度被包括在所述第二范围内时，所述控制单元不使得用于使所述第二处理被执行的用户操作能够被识别。
(10)
根据(1)至(9)中任一项所述的信息处理装置，其中，
所述控制单元设定操作区域，使得在所述第二用户操作中被操作的操作区域大于在所述第一用户操作中被操作的操作区域。
(11)
根据(10)所述的信息处理装置，其中，
所述控制单元使得指示所述操作区域的操作区域指示符被显示，并且所述操作区域指示符被显示为与所述操作区域的大小对应的大小。
(12)
根据(10)所述的信息处理装置，其中，
所述第一用户操作和所述第二用户操作是基于与用户指尖相关的感测数据或与用户视线相关的感测数据而识别的用户操作，并且所述操作区域是基于所述用户指尖的位置或所述用户视线的位置来指定的。
(13)
根据(1)至(12)中任一项所述的信息处理装置，其中，
所述第一用户操作和所述第二用户操作是基于语音模式的识别而识别的用户操作，并且在所述第一用户操作中识别的语音模式的数量多于在所述第二用户操作中识别的语音模式的数量。
(14)
根据(1)至(13)中任一项所述的信息处理装置，还包括：
范围设定单元，被配置成设定所述第一范围和所述第二范围。
(15)
根据(14)所述的信息处理装置，其中，
所述范围设定单元基于与用户相关的用户信息来设定所述第一范围和所述第二范围。
(16)
根据(15)所述的信息处理装置，其中，
所述用户信息包括关于所述用户的移动速度信息或关于所述用户的生物信息。
(17)
根据(14)至(16)中任一项所述的信息处理装置，其中，
所述范围设定单元基于与用户所处的环境相关的环境信息来设定所述第一范围和所述第二范围。
(18)
根据(17)所述的信息处理装置，其中，
所述环境信息包括关于照度的信息或关于拥塞程度的信息。
(19)
一种信息处理方法，包括：
获取与基于感测数据的识别相关的识别准确度；以及
利用处理器执行控制，使得当所述识别准确度被包括在第一范围内时第一用户操作能够被识别，并且使得当所述识别准确度被包括在不同于所述第一范围的第二范围内时第二用户操作能够被识别，所述第二用户操作与所述第一用户操作不同并且与所述第一用户操作相关。
(20)
一种程序，所述程序使计算机实现以下功能：
获取功能，用于获取与基于感测数据的识别相关的识别准确度；以及
控制功能，用于当所述识别准确度被包括在第一范围内时使第一用户操作能够被识别，并且当所述识别准确度被包括在不同于所述第一范围的第二范围内时使第二用户操作能够被识别，所述第二用户操作与所述第一用户操作不同并且与所述第一用户操作相关。
附图标记列表
1 信息处理装置
110 传感器单元
120 识别单元
130 获取单元
140 范围设定单元
150 控制单元
160 存储单元
170 显示单元

Claims (20)

1.一种信息处理装置，包括：
获取单元，被配置成获取与基于感测数据的识别相关的识别准确度；以及
控制单元，被配置成当所述识别准确度被包括在第一范围内时，使第一用户操作能够被识别，并且当所述识别准确度被包括在不同于所述第一范围的第二范围内时，使第二用户操作能够被识别，所述第二用户操作与所述第一用户操作不同并且与所述第一用户操作相关。
2.根据权利要求1所述的信息处理装置，其中，
基于与相同目标相关的感测数据来识别所述第一用户操作和所述第二用户操作。
3.根据权利要求1所述的信息处理装置，其中，
所述第二范围的上限值小于或等于所述第一范围的下限值。
4.根据权利要求3所述的信息处理装置，其中，
所述控制单元使得基于所识别的用户操作来执行预定处理，以及
基于当所述识别准确度被包括在所述第一范围内时能够被识别的用户操作而执行的处理的类型包括基于当所述识别准确度被包括在所述第二范围内时能够被识别的用户操作而执行的处理的类型。
5.根据权利要求4所述的信息处理装置，其中，
所述控制单元使得当所述识别准确度被包括在所述第一范围内时向用户通知所述第一用户操作能够被识别，并且使得当所述识别准确度被包括在所述第二范围内时向所述用户通知所述第二用户操作能够被识别。
6.根据权利要求1所述的信息处理装置，其中，
基于所述识别的置信度水平来指定所述识别准确度。
7.根据权利要求1所述的信息处理装置，其中，
基于所述感测数据的误差或准确度来指定所述识别准确度。
8.根据权利要求1所述的信息处理装置，其中，
所述第一用户操作和所述第二用户操作是基于与用户手部相关的感测数据而识别的用户操作，并且在所述第一用户操作中识别的所述用户手部的手指数量多于在所述第二用户操作中识别的所述用户手部的手指数量。
9.根据权利要求8所述的信息处理装置，其中，
所述第一用户操作和所述第二用户操作是用于使第一处理被执行的用户操作，并且
当所述识别准确度被包括在所述第一范围内时，所述控制单元使得用于使不同于所述第一处理的第二处理被执行的用户操作能够被识别，并且当所述识别准确度被包括在所述第二范围内时，所述控制单元不使得用于使所述第二处理被执行的用户操作能够被识别。
10.根据权利要求1所述的信息处理装置，其中，
所述控制单元设定操作区域，使得在所述第二用户操作中被操作的操作区域大于在所述第一用户操作中被操作的操作区域。
11.根据权利要求9所述的信息处理装置，其中，
所述控制单元使得指示所述操作区域的操作区域指示符被显示，并且所述操作区域指示符被显示为与所述操作区域的大小对应的大小。
12.根据权利要求10所述的信息处理装置，其中，
所述第一用户操作和所述第二用户操作是基于与用户指尖相关的感测数据或与用户视线相关的感测数据而识别的用户操作，并且所述操作区域是基于所述用户指尖的位置或所述用户视线的位置来指定的。
13.根据权利要求1所述的信息处理装置，其中，
所述第一用户操作和所述第二用户操作是基于语音模式的识别而识别的用户操作，并且在所述第一用户操作中识别的语音模式的数量多于在所述第二用户操作中识别的语音模式的数量。
14.根据权利要求1所述的信息处理装置，还包括：
范围设定单元，被配置成设定所述第一范围和所述第二范围。
15.根据权利要求14所述的信息处理装置，其中，
所述范围设定单元基于与用户相关的用户信息来设定所述第一范围和所述第二范围。
16.根据权利要求15所述的信息处理装置，其中，
所述用户信息包括关于所述用户的移动速度信息或关于所述用户的生物信息。
17.根据权利要求14所述的信息处理装置，其中，
所述范围设定单元基于与用户所处的环境相关的环境信息来设定所述第一范围和所述第二范围。
18.根据权利要求17所述的信息处理装置，其中，
所述环境信息包括关于照度的信息或关于拥塞程度的信息。
19.一种信息处理方法，包括：
获取与基于感测数据的识别相关的识别准确度；以及
利用处理器执行控制，使得当所述识别准确度被包括在第一范围内时第一用户操作能够被识别，并且使得当所述识别准确度被包括在不同于所述第一范围的第二范围内时第二用户操作能够被识别，所述第二用户操作与所述第一用户操作不同并且与所述第一用户操作相关。
20.一种程序，所述程序使计算机实现以下功能：
获取功能，用于获取与基于感测数据的识别相关的识别准确度；以及
控制功能，用于当所述识别准确度被包括在第一范围内时使第一用户操作能够被识别，并且当所述识别准确度被包括在不同于所述第一范围的第二范围内时使第二用户操作能够被识别，所述第二用户操作与所述第一用户操作不同并且与所述第一用户操作相关。
CN201680072636.4A 2015-12-18 2016-10-26 信息处理装置、信息处理方法及计算机可读存储介质 Active CN108369451B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-247184 2015-12-18
JP2015247184 2015-12-18
PCT/JP2016/081755 WO2017104272A1 (ja) 2015-12-18 2016-10-26 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN108369451A true CN108369451A (zh) 2018-08-03
CN108369451B CN108369451B (zh) 2021-10-29

Family

ID=59056538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680072636.4A Active CN108369451B (zh) 2015-12-18 2016-10-26 信息处理装置、信息处理方法及计算机可读存储介质

Country Status (6)

Country Link
US (1) US10963063B2 (zh)
EP (1) EP3392740A4 (zh)
JP (1) JP6841232B2 (zh)
KR (1) KR20180094875A (zh)
CN (1) CN108369451B (zh)
WO (1) WO2017104272A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
KR20180068578A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
US11972037B2 (en) * 2019-03-18 2024-04-30 Maxell, Ltd. Head mounted information processing apparatus and head mounted display system
WO2021199408A1 (ja) * 2020-04-02 2021-10-07 日本電信電話株式会社 擬似触覚制御装置、擬似触覚制御方法、およびプログラム
WO2024090299A1 (ja) * 2022-10-24 2024-05-02 ソニーグループ株式会社 情報処理装置及び情報処理方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193422A (ja) * 2006-01-17 2007-08-02 Fujitsu Ltd 対話型の情報処理システム、およびサービス・シナリオ用のヘルプ・シナリオを提供する方法
US20110234492A1 (en) * 2010-03-29 2011-09-29 Ajmera Rahul Gesture processing
CN102262438A (zh) * 2010-05-18 2011-11-30 微软公司 用于操纵用户界面的姿势和姿势识别
CN103199900A (zh) * 2012-01-06 2013-07-10 索尼公司 信息处理装置、信息处理方法及程序
KR101312625B1 (ko) * 2006-11-03 2013-10-01 삼성전자주식회사 동작 추적 장치 및 방법
CN103562821A (zh) * 2011-04-28 2014-02-05 Nec软件系统科技有限公司 信息处理装置、信息处理方法和记录介质
CN103616994A (zh) * 2013-12-09 2014-03-05 珠海金山办公软件有限公司 电子设备控制方法及装置
CN104317391A (zh) * 2014-09-24 2015-01-28 华中科技大学 一种基于立体视觉的三维手掌姿态识别交互方法和系统
CN104423578A (zh) * 2013-08-25 2015-03-18 何安莉 交互式输入系统和方法

Family Cites Families (172)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3180655B2 (ja) * 1995-06-19 2001-06-25 日本電信電話株式会社 パターンマッチングによる単語音声認識方法及びその方法を実施する装置
JP2780676B2 (ja) * 1995-06-23 1998-07-30 日本電気株式会社 音声認識装置及び音声認識方法
US20090322499A1 (en) * 1995-06-29 2009-12-31 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
JP3627299B2 (ja) * 1995-07-19 2005-03-09 ソニー株式会社 音声認識方法及び装置
DE60033733T2 (de) * 1999-05-31 2007-12-06 Nippon Telegraph And Telephone Corp. Datenbankabfragesystem basierend auf Spracherkennung
JP4624594B2 (ja) * 2000-06-28 2011-02-02 パナソニック株式会社 物体認識方法および物体認識装置
US20020184019A1 (en) * 2001-05-31 2002-12-05 International Business Machines Corporation Method of using empirical substitution data in speech recognition
EP1271346A1 (en) * 2001-06-28 2003-01-02 Nokia Corporation Method for searching data in at least two databases
US7200270B2 (en) * 2001-12-13 2007-04-03 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method using distributed model representation of partial images
JP2003308480A (ja) * 2002-04-16 2003-10-31 Fujitsu Ltd オンライン手書き文字パターン認識編集装置及び方法並びに当該方法を実現するコンピュータ実行可能なプログラム
JP3919617B2 (ja) * 2002-07-09 2007-05-30 キヤノン株式会社 文字認識装置および文字認識方法、プログラムおよび記憶媒体
EP1669979B1 (en) * 2003-10-03 2008-01-23 Asahi Kasei Kabushiki Kaisha Data processing device and data processing device control program
US7508986B2 (en) * 2003-11-28 2009-03-24 Canon Kabushiki Kaisha Document recognition device, document recognition method and program, and storage medium
JP4040573B2 (ja) * 2003-12-12 2008-01-30 キヤノン株式会社 音声認識装置および方法
KR20050059766A (ko) * 2003-12-15 2005-06-21 엘지전자 주식회사 동적 시간 워핑을 이용한 음성 인식 방법
JP4481663B2 (ja) * 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
JP3714350B2 (ja) * 2004-01-27 2005-11-09 セイコーエプソン株式会社 画像中の人物候補領域抽出方法及び人物候補領域抽出システム並びに人物候補領域抽出プログラム
JP4297798B2 (ja) * 2004-01-29 2009-07-15 富士通株式会社 移動体情報管理プログラム
KR100853605B1 (ko) * 2004-03-23 2008-08-22 후지쯔 가부시끼가이샤 핸드헬드 장치에서의 경사 및 평행 이동 운동 성분들의구별
EP1743277A4 (en) * 2004-04-15 2011-07-06 Gesturetek Inc MONITORING OF BI-MANUAL MOVEMENTS
KR100705563B1 (ko) * 2004-12-07 2007-04-10 삼성전자주식회사 입력 레벨 자동 조절을 위한 음성 인식 시스템 및 이를이용한 음성 인식 방법
US7895039B2 (en) * 2005-02-04 2011-02-22 Vocollect, Inc. Methods and systems for optimizing model adaptation for a speech recognition system
KR100679044B1 (ko) * 2005-03-07 2007-02-06 삼성전자주식회사 사용자 적응형 음성 인식 방법 및 장치
US7865018B2 (en) * 2005-06-02 2011-01-04 Microsoft Corporation Personalized implicit and explicit character shape adaptation and recognition
JP4765461B2 (ja) * 2005-07-27 2011-09-07 日本電気株式会社 雑音抑圧システムと方法及びプログラム
JP2007233871A (ja) * 2006-03-02 2007-09-13 Fuji Xerox Co Ltd 画像処理装置、コンピュータの制御方法及びプログラム
JP2007233873A (ja) * 2006-03-02 2007-09-13 Toshiba Corp パターン認識装置及びその方法
JP4786384B2 (ja) * 2006-03-27 2011-10-05 株式会社東芝 音声処理装置、音声処理方法および音声処理プログラム
US7869657B2 (en) * 2006-06-12 2011-01-11 D & S Consultants, Inc. System and method for comparing images using an edit distance
US7734094B2 (en) * 2006-06-28 2010-06-08 Microsoft Corporation Techniques for filtering handwriting recognition results
JP4764273B2 (ja) * 2006-06-30 2011-08-31 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
WO2008022156A2 (en) * 2006-08-14 2008-02-21 Neural Id, Llc Pattern recognition system
JP4393494B2 (ja) * 2006-09-22 2010-01-06 株式会社東芝 機械翻訳装置、機械翻訳方法および機械翻訳プログラム
JP4321645B2 (ja) * 2006-12-08 2009-08-26 ソニー株式会社 情報処理装置および情報処理方法、認識装置および情報認識方法、並びに、プログラム
US7971156B2 (en) * 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
JP4845755B2 (ja) * 2007-01-30 2011-12-28 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
CN101622660A (zh) * 2007-02-28 2010-01-06 日本电气株式会社 语音识别装置、语音识别方法及语音识别程序
KR101247147B1 (ko) * 2007-03-05 2013-03-29 디지털옵틱스 코포레이션 유럽 리미티드 디지털 영상 획득 장치에서의 얼굴 탐색 및 검출
WO2008131201A1 (en) * 2007-04-19 2008-10-30 Global Rainmakers, Inc. Method and system for biometric recognition
JP5430572B2 (ja) * 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US20090100383A1 (en) * 2007-10-16 2009-04-16 Microsoft Corporation Predictive gesturing in graphical user interface
US8311296B2 (en) * 2007-11-21 2012-11-13 Parascript, Llc Voting in mammography processing
US20120053446A1 (en) * 2007-11-21 2012-03-01 Parascript Llc Voting in image processing
US8195220B2 (en) * 2008-02-01 2012-06-05 Lg Electronics Inc. User interface for mobile devices
JP5075664B2 (ja) * 2008-02-15 2012-11-21 株式会社東芝 音声対話装置及び支援方法
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
US8364481B2 (en) * 2008-07-02 2013-01-29 Google Inc. Speech recognition with parallel recognition tasks
JP5116608B2 (ja) * 2008-08-20 2013-01-09 キヤノン株式会社 情報処理装置、制御方法、及びプログラム
JP4561914B2 (ja) * 2008-09-22 2010-10-13 ソニー株式会社 操作入力装置、操作入力方法、プログラム
US9058746B2 (en) * 2008-10-02 2015-06-16 Hitachi Automotive Systems, Ltd. Information processing device associated with vehicle traveling
JP5175754B2 (ja) * 2009-02-04 2013-04-03 株式会社東芝 線形変換行列算出装置、その方法、及び、そのプログラム
JP5709410B2 (ja) * 2009-06-16 2015-04-30 キヤノン株式会社 パターン処理装置及びその方法、プログラム
KR20110003146A (ko) * 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
KR101411593B1 (ko) * 2009-09-14 2014-06-25 삼성전자주식회사 Ｕｉ 제공방법 및 이를 적용한 디스플레이 장치
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
JP5385752B2 (ja) * 2009-10-20 2014-01-08 キヤノン株式会社 画像認識装置、その処理方法及びプログラム
US8515763B2 (en) * 2009-11-24 2013-08-20 Honeywell International Inc. Methods and systems for utilizing voice commands onboard an aircraft
JP5554984B2 (ja) * 2009-12-24 2014-07-23 キヤノン株式会社 パターン認識方法およびパターン認識装置
WO2011078264A1 (ja) * 2009-12-25 2011-06-30 本田技研工業株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び移動体
JP2011180843A (ja) * 2010-03-01 2011-09-15 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP5569062B2 (ja) * 2010-03-15 2014-08-13 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム
US9053393B2 (en) * 2010-03-19 2015-06-09 Canon Kabushiki Kaisha Learning method and apparatus for pattern recognition
JP5675145B2 (ja) * 2010-03-30 2015-02-25 キヤノン株式会社 パターン認識装置及びパターン認識方法
US9891820B2 (en) * 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a virtual keyboard from a touchpad of a computerized device
US20170017393A1 (en) * 2010-04-23 2017-01-19 Handscape Inc., A Delaware Corporation Method for controlling interactive objects from a touchpad of a computerized device
JP5601045B2 (ja) * 2010-06-24 2014-10-08 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
JP5675233B2 (ja) * 2010-09-09 2015-02-25 キヤノン株式会社 情報処理装置、その認識方法及びプログラム
JP5639832B2 (ja) * 2010-09-30 2014-12-10 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理システム、及び情報処理装置
US10456209B2 (en) * 2010-10-13 2019-10-29 Gholam A. Peyman Remote laser treatment system with dynamic imaging
JP5738569B2 (ja) * 2010-10-15 2015-06-24 任天堂株式会社 画像処理プログラム、装置、システムおよび方法
JP5617581B2 (ja) * 2010-12-08 2014-11-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体
KR20120080072A (ko) * 2011-01-06 2012-07-16 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
WO2012105175A1 (ja) * 2011-02-01 2012-08-09 パナソニック株式会社 機能拡張装置、機能拡張方法、機能拡張プログラム、及び集積回路
JP5017466B1 (ja) * 2011-02-28 2012-09-05 株式会社東芝 情報処理装置およびプログラム
WO2012117508A1 (ja) * 2011-02-28 2012-09-07 株式会社Pfu 情報処理装置、方法およびプログラム
US9189068B2 (en) * 2011-03-14 2015-11-17 Lg Electronics Inc. Apparatus and a method for gesture recognition
EP2499964B1 (en) * 2011-03-18 2015-04-15 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and system
JP5668587B2 (ja) * 2011-04-19 2015-02-12 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5755046B2 (ja) * 2011-06-22 2015-07-29 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
JP5786495B2 (ja) * 2011-06-30 2015-09-30 富士通株式会社 画像認識装置、画像認識方法及び画像認識用コンピュータプログラム
WO2013022135A1 (en) * 2011-08-11 2013-02-14 Lg Electronics Inc. Electronic device and method of controlling the same
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
JP2013069224A (ja) * 2011-09-26 2013-04-18 Sony Corp 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム
JP5879877B2 (ja) * 2011-09-28 2016-03-08 沖電気工業株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム
JP2013080413A (ja) * 2011-10-05 2013-05-02 Sony Corp 入力装置、入力認識方法
TW201322058A (zh) * 2011-11-16 2013-06-01 Chunghwa Picture Tubes Ltd 手勢辨識系統及方法
CN103946871A (zh) * 2011-12-02 2014-07-23 索尼公司 图像处理装置、图像识别装置、图像识别方法以及程序
JP6196017B2 (ja) * 2012-01-13 2017-09-13 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP2013145463A (ja) * 2012-01-13 2013-07-25 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP5957893B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP2013164834A (ja) * 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
US8693731B2 (en) * 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
JP2013161209A (ja) * 2012-02-03 2013-08-19 Sony Corp 情報処理装置、情報処理方法およびプログラム
KR101330810B1 (ko) * 2012-02-24 2013-11-18 주식회사 팬택 원거리 제스쳐 인식 기능을 갖는 디바이스 및 그 방법
JP5978660B2 (ja) * 2012-03-06 2016-08-24 ソニー株式会社 情報処理装置及び情報処理方法
US8861802B2 (en) * 2012-03-13 2014-10-14 Honeywell International Inc. Face image prioritization based on face quality analysis
JP6028351B2 (ja) * 2012-03-16 2016-11-16 ソニー株式会社 制御装置、電子機器、制御方法、及びプログラム
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
JP5900161B2 (ja) * 2012-05-29 2016-04-06 ソニー株式会社 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体
JP2013250637A (ja) * 2012-05-30 2013-12-12 Toshiba Corp 認識装置
JP6044819B2 (ja) * 2012-05-30 2016-12-14 日本電気株式会社 情報処理システム、情報処理方法、通信端末、情報処理装置およびその制御方法と制御プログラム
JP6039248B2 (ja) * 2012-06-04 2016-12-07 キヤノン株式会社 情報処理装置およびその制御方法
JP6095283B2 (ja) * 2012-06-07 2017-03-15 キヤノン株式会社 情報処理装置、およびその制御方法
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US9349366B2 (en) * 2012-06-13 2016-05-24 Wearsafe Labs Llc Systems and methods for managing an emergency situation
US9704377B2 (en) * 2012-06-13 2017-07-11 Wearsafe Labs, Llc Systems and methods for managing an emergency situation
KR102040857B1 (ko) * 2012-07-17 2019-11-06 삼성전자주식회사 펜 인식 패널을 포함한 단말기의 기능 운용 방법 및 이를 지원하는 단말기
JP5949319B2 (ja) * 2012-08-21 2016-07-06 富士通株式会社 視線検出装置及び視線検出方法
JP6112801B2 (ja) * 2012-08-22 2017-04-12 キヤノン株式会社 画像認識装置及び画像認識方法
JP6019947B2 (ja) * 2012-08-31 2016-11-02 オムロン株式会社 ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
JP6015250B2 (ja) * 2012-08-31 2016-10-26 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20140062864A1 (en) * 2012-09-03 2014-03-06 Samsung Electronics Co., Ltd. Method and apparatus for extracting three-dimensional distance information from recognition target
CN104584007B (zh) * 2012-09-06 2018-01-09 索尼公司 信息处理设备、信息处理方法及程序
KR101984683B1 (ko) * 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US9959865B2 (en) * 2012-11-13 2018-05-01 Beijing Lenovo Software Ltd. Information processing method with voice recognition
JP5818773B2 (ja) * 2012-11-22 2015-11-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5652886B2 (ja) * 2012-11-28 2015-01-14 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 顔認証装置、認証方法とそのプログラム、情報機器
JP6202810B2 (ja) * 2012-12-04 2017-09-27 アルパイン株式会社 ジェスチャ認識装置および方法ならびにプログラム
US9020189B2 (en) * 2012-12-07 2015-04-28 The Nielsen Company (Us), Llc Methods and apparatus to monitor environments
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
EP2936460A2 (en) * 2012-12-20 2015-10-28 Unicredit S.p.A. Method for biometric recognition with clustering of registered data for pos/atm applications
JP2016503741A (ja) * 2012-12-21 2016-02-08 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 自動車用の入力装置
US9619021B2 (en) * 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
JP2014153663A (ja) * 2013-02-13 2014-08-25 Sony Corp 音声認識装置、および音声認識方法、並びにプログラム
WO2014128749A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
JP6075110B2 (ja) * 2013-02-21 2017-02-08 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9292923B2 (en) * 2013-03-06 2016-03-22 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to monitor environments
JP6051991B2 (ja) * 2013-03-21 2016-12-27 富士通株式会社 信号処理装置、信号処理方法、及び信号処理プログラム
JP2014182748A (ja) * 2013-03-21 2014-09-29 Fujitsu Ltd 信号処理装置、信号処理方法、及び信号処理プログラム
US10466795B2 (en) * 2013-03-29 2019-11-05 Lg Electronics Inc. Mobile input device and command input method using the same
US10514767B2 (en) * 2013-04-02 2019-12-24 Sony Corporation Information processing apparatus and information processing method
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
KR20140131093A (ko) * 2013-05-03 2014-11-12 삼성전자주식회사 음성 인식을 위한 방법 및 그 전자 장치
US9934451B2 (en) * 2013-06-25 2018-04-03 Microsoft Technology Licensing, Llc Stereoscopic object detection leveraging assumed distance
US9218811B2 (en) * 2013-06-28 2015-12-22 Google Technology Holdings LLC Electronic device and method for managing voice entered text using gesturing
JP6121534B2 (ja) * 2013-08-02 2017-04-26 三菱電機株式会社 ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体
JP6202942B2 (ja) * 2013-08-26 2017-09-27 キヤノン株式会社 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体
CN103530060B (zh) * 2013-10-31 2016-06-22 京东方科技集团股份有限公司 显示装置及其控制方法、手势识别方法
CN103530061B (zh) * 2013-10-31 2017-01-18 京东方科技集团股份有限公司 显示装置及控制方法
JP6194777B2 (ja) * 2013-11-29 2017-09-13 富士通株式会社 動作判定方法、動作判定装置および動作判定プログラム
KR101700817B1 (ko) * 2014-01-10 2017-02-13 한국전자통신연구원 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법
WO2015107869A1 (ja) * 2014-01-14 2015-07-23 パナソニックＩｐマネジメント株式会社 距離画像生成装置及び距離画像生成方法
WO2015108112A1 (ja) * 2014-01-15 2015-07-23 株式会社Ｊｕｉｃｅ Ｄｅｓｉｇｎ 操作判定装置、操作判定方法、および、プログラム
JP2015138449A (ja) * 2014-01-23 2015-07-30 キヤノン株式会社 個人認証装置、個人認証方法及びプログラム
JP6349800B2 (ja) * 2014-03-12 2018-07-04 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP6440115B2 (ja) * 2014-03-06 2018-12-19 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御方法、および表示制御プログラム
JP5861072B2 (ja) * 2014-03-06 2016-02-16 パナソニックＩｐマネジメント株式会社 表示制御装置、表示装置および表示制御プログラム
EP3118761B1 (en) * 2014-03-13 2021-05-12 LG Electronics Inc. Mobile terminal and method for controlling same
WO2015139002A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
US9990046B2 (en) * 2014-03-17 2018-06-05 Oblong Industries, Inc. Visual collaboration interface
US20150294639A1 (en) * 2014-04-14 2015-10-15 Sony Corporation Method and system for switching a mode of an electronic device
KR101655810B1 (ko) * 2014-04-22 2016-09-22 엘지전자 주식회사 차량용 디스플레이 장치
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CN106537290B (zh) * 2014-05-09 2019-08-27 谷歌有限责任公司 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法
JP6440513B2 (ja) * 2014-05-13 2018-12-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 音声認識機能を用いた情報提供方法および機器の制御方法
KR102216048B1 (ko) * 2014-05-20 2021-02-15 삼성전자주식회사 음성 명령 인식 장치 및 방법
KR102185564B1 (ko) * 2014-07-09 2020-12-02 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
JP6750500B2 (ja) * 2014-08-27 2020-09-02 日本電気株式会社 情報処理装置および認識支援方法
JP2016091383A (ja) * 2014-11-06 2016-05-23 富士通株式会社 携帯端末装置、画面制御方法及び画面制御プログラム
US9911235B2 (en) * 2014-11-14 2018-03-06 Qualcomm Incorporated Spatial interaction in augmented reality
KR101643573B1 (ko) * 2014-11-21 2016-07-29 한국과학기술연구원 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
US9750420B1 (en) * 2014-12-10 2017-09-05 Amazon Technologies, Inc. Facial feature selection for heart rate detection
US10347108B2 (en) * 2015-01-16 2019-07-09 City University Of Hong Kong Monitoring user activity using wearable motion sensing device
EP3265895B1 (en) * 2015-03-01 2020-04-08 Tactical Haptics Embedded grasp sensing devices, systems, and methods
JP6651705B2 (ja) * 2015-03-31 2020-02-19 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
DE112016001815T5 (de) * 2015-04-20 2017-12-28 Mitsubishi Electric Corporation Informationsanzeigevorrichtung und Informationsanzeigeverfahren
JP6596376B2 (ja) * 2015-04-22 2019-10-23 パナソニック株式会社 話者識別方法及び話者識別装置
JP6618276B2 (ja) * 2015-05-29 2019-12-11 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
WO2016199244A1 (ja) * 2015-06-10 2016-12-15 株式会社日立製作所 物体認識装置及び物体認識システム
US10360441B2 (en) * 2015-11-25 2019-07-23 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus
WO2017099199A1 (ja) * 2015-12-10 2017-06-15 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US10318008B2 (en) * 2015-12-15 2019-06-11 Purdue Research Foundation Method and system for hand pose detection

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193422A (ja) * 2006-01-17 2007-08-02 Fujitsu Ltd 対話型の情報処理システム、およびサービス・シナリオ用のヘルプ・シナリオを提供する方法
KR101312625B1 (ko) * 2006-11-03 2013-10-01 삼성전자주식회사 동작 추적 장치 및 방법
US20110234492A1 (en) * 2010-03-29 2011-09-29 Ajmera Rahul Gesture processing
CN102262438A (zh) * 2010-05-18 2011-11-30 微软公司 用于操纵用户界面的姿势和姿势识别
CN103562821A (zh) * 2011-04-28 2014-02-05 Nec软件系统科技有限公司 信息处理装置、信息处理方法和记录介质
CN103199900A (zh) * 2012-01-06 2013-07-10 索尼公司 信息处理装置、信息处理方法及程序
CN104423578A (zh) * 2013-08-25 2015-03-18 何安莉 交互式输入系统和方法
CN103616994A (zh) * 2013-12-09 2014-03-05 珠海金山办公软件有限公司 电子设备控制方法及装置
CN104317391A (zh) * 2014-09-24 2015-01-28 华中科技大学 一种基于立体视觉的三维手掌姿态识别交互方法和系统

Also Published As

Publication number Publication date
EP3392740A1 (en) 2018-10-24
JPWO2017104272A1 (ja) 2018-10-04
JP6841232B2 (ja) 2021-03-10
CN108369451B (zh) 2021-10-29
WO2017104272A1 (ja) 2017-06-22
EP3392740A4 (en) 2018-12-19
KR20180094875A (ko) 2018-08-24
US10963063B2 (en) 2021-03-30
US20180299963A1 (en) 2018-10-18

Similar Documents

Publication Publication Date Title
JP5900393B2 (ja) 情報処理装置、操作制御方法及びプログラム
CN117120962A (zh) 用于控制虚拟和图形元素的映射手部区域之间的双手交互
JP2024509722A (ja) エクステンデッドリアリティにおけるユーザ相互作用
KR20230170086A (ko) 가상 및 그래픽 엘리먼트들을 애니메이팅하고 제어하기 위한 손 제스처
US11256336B2 (en) Integration of artificial reality interaction modes
CN108369451A (zh) 信息处理装置、信息处理方法及程序
US20230143891A1 (en) Controlling physical displays based on usage of wearable extended reality appliances
JP6390799B2 (ja) 入力装置、入力方法、及びプログラム
CN108292448A (zh) 信息处理装置、信息处理方法和程序
CN108027655A (zh) 信息处理系统、信息处理设备、控制方法和程序
JP7459798B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR101488662B1 (ko) Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치
Hernoux et al. A seamless solution for 3D real-time interaction: design and evaluation
US20200143774A1 (en) Information processing device, information processing method, and computer program
CN106547339B (zh) 计算机设备的控制方法和装置
US11328187B2 (en) Information processing apparatus and information processing method
US11995899B2 (en) Pointer-based content recognition using a head-mounted device
Jungwirth Contour-Guided Gaze Gestures: Eye-based Interaction with Everyday Objects
WO2022265869A1 (en) Virtual reality techniques for characterizing visual capabilities
CN117616367A (zh) 增强现实体验的策展的情境叠加

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant