CN105009034B - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN105009034B
CN105009034B CN201480011942.8A CN201480011942A CN105009034B CN 105009034 B CN105009034 B CN 105009034B CN 201480011942 A CN201480011942 A CN 201480011942A CN 105009034 B CN105009034 B CN 105009034B
Authority
CN
China
Prior art keywords
information processing
region
processing equipment
interest
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480011942.8A
Other languages
English (en)
Other versions
CN105009034A (zh
Inventor
木村健太郎
池田卓郎
池田哲男
塚原翼
古贺康之
泉原厚史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105009034A publication Critical patent/CN105009034A/zh
Application granted granted Critical
Publication of CN105009034B publication Critical patent/CN105009034B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

一种信息处理设备包括电路，该电路被配置为向用户提供用户界面，确定预定对象是否存在于传感器的输入识别区域中，并且确定该用户界面内的关注区域。该电路还被配置为在确定预定对象存在于输入识别区域中的情况下，确定用户界面内的关注区域是否改变。该电路还被配置为基于在确定预定对象存在于输入识别区域中的情况下确定关注区域是否改变，来执行操作。

Description

信息处理设备、信息处理方法和程序
相关申请的交叉引用
本申请要求2013年3月8日提交的日本优先权专利申请JP 2013-046902的权益，其全部内容通过引用合并于此。
技术领域
本公开内容涉及信息处理设备、信息处理方法和程序。
背景技术
近年来，诸如智能电话的设置有触摸面板的设备已得到广泛使用。例如，在使用设置有触摸面板的设备并且期望在捕获并显示的图像中指定位置时，用户通过使用触摸面板来指定位置。另外，例如，在使用设置有鼠标的设备并且期望在捕获并显示的图像中指定位置时，用户可以通过使用鼠标来指定该位置。
同时，HMD(头戴式显示器)已被越来越多地开发作为每一个均佩戴于用户的头部的显示器。HMD有时沿用户的视线的方向捕获图像，获取所捕获的图像，并且将投影在所捕获的图像中的操作体的位置判断为用户在所捕获的图像中指定的位置。然而，在这种情况下，在将操作体投影在所捕获的图像中的阶段，操作体的位置可能被判断为指定的位置。
因而，例如公开了以下技术。通过捕获图像(captured image)识别目标装置，并且将开关作为图形图像叠加在捕获图像的对象上(例如，参见PTL 1)。在这样的技术中，当用用户的手指按下开关时，执行分配给对象的操作。换句话说，当用手指按下开关时，可以判断为用户指定位置。
另外，例如，公开了以下技术。在检测到用户的预定姿势(例如，连续眨眼两次或持续注视数秒的姿势)时，选择位于用户的视点的对象(例如，参见PTL 2)。利用这种技术，可以将用户在做出预定姿势时的视点的位置判断为用户所指定的位置。
引文列表
专利文献
PTL 1：JP 2011-209965A
PTL 2：JP 2012-8746A
发明内容
技术问题
然而，期望实现使得能够在减少处理负荷并防止用户便利性降低的同时对基于捕获图像的操作进行控制的技术。
针对问题的方案
在第一方面，一种信息处理设备，包括：电路，被配置成向用户提供用户界面；确定预定对象是否存在于传感器的输入识别区域中；以及确定用户界面内的关注区域。该电路还被配置为在确定预定对象存在于输入识别区域中的情况下，确定用户界面内的关注区域是否改变。该电路还被配置为基于在确定预定对象存在于输入识别区域中的情况下确定所述关注区域是否改变来执行操作。
在另一方面，一种信息处理系统，包括：电路，被配置为向用户提供用户界面；确定预定对象是否存在于传感器的输入识别区域中；以及确定用户界面内的关注区域。该电路还被配置为在确定所述预定对象存在于输入识别区域中的情况下，确定用户界面内的关注区域是否改变。该电路还被配置为基于在确定预定对象存在于输入识别区域中的情况下确定关注区域是否改变来执行操作。
在另一方面，提供一种信息处理设备的方法，该信息处理设备用于执行操作。该方法包括由信息处理设备的电路来向用户提供用户界面。确定预定对象是否存在于传感器的输入识别区域中。确定用户界面内的关注区域。该方法还包括在确定预定对象存在于输入识别区域中的情况下，确定用户界面内的关注区域是否改变。信息处理设备的电路基于在确定预定对象存在于输入识别区域中的情况下确定关注区域是否改变来执行操作。
在又一方面中，提供一种存储有指令的非瞬态计算机可读存储介质，其中所述指令在由计算机执行时使计算机执行用于执行操作的信息处理设备的方法。该方法包括由计算机来向用户提供用户界面。确定预定对象是否存在于传感器的输入识别区域中。确定用户界面内的关注区域。该方法还包括在确定预定对象存在于输入识别区域中的情况下，确定用户界面内的关注区域是否改变。计算机基于在确定预定对象存在于输入识别区域中的情况下确定关注区域是否改变来执行操作。
本发明的有益效果
如以上根据本公开内容的实施例所述，可以提供使得能够在减少处理负荷并防止用户便利性降低的同时对基于捕获图像的操作进行控制的技术。
附图说明
图1是示出根据本公开内容的实施例的信息处理系统的配置示例的图。
图2是示出根据本公开内容的实施例的信息处理设备的功能配置示例的图。
图3是示出识别投影在捕获图像中的对象的结果的示例的图。
图4是示出在做出预定姿势之前的对象的显示示例和成像结果示例的图。
图5是示出在开始预定姿势时的对象的显示示例和成像结果示例的图。
图6是示出对象的显示示例和成像结果示例的图，该显示示例示出到预定姿势停止时视点没有移动的情况。
图7是示出对象的显示示例和成像结果示例的图，该显示示例示出到预定姿势停止时视点移动的情况。
图8是示出根据本公开内容的实施例的信息处理系统的操作的示例的图。
图9是示出操作执行单元所进行的轻击操作的执行示例的图。
图10是示出操作执行单元所进行的拖动操作的执行示例1的图。
图11是示出操作执行单元所进行的拖动操作的执行示例2的图。
图12是示出操作执行单元所进行的拖动操作的执行示例3的图。
图13是示出根据本公开内容的实施例的信息处理设备的硬件配置示例的图。
具体实施方式
下文中，将参照附图来详细描述本公开内容的优选实施例。注意，在本说明书和附图中，具有基本上相同的功能和结构的结构元件用相同的附图标记来表示，并且省略了对这些结构元件的重复说明。
另外，在本说明书和附图中，具有基本上相同的功能和结构的多个结构元件可以用添加不同的字母或数字作为后缀的相同附图标记来表示，以将其彼此区分开。然而，在不必特别彼此区分时，具有基本上相同的功能和结构的多个结构元件仅用相同的附图标记来表示。
对于“具体实施方式”，使用按以下顺序的标题。
1.实施例
1-1.信息处理系统的配置示例
1-2.信息处理系统的功能配置示例
1-3.信息处理系统功能的详情
1-4.信息处理系统的操作
1-5.轻击操作示例
1-6.拖动操作示例
1-7.硬件配置示例
2.总结
<<1.实施例>>
首先，将描述本公开内容的实施例。
(1-1.信息处理系统的配置示例)
首先描述根据本公开内容的实施例的信息处理系统1的配置示例。图 1是示出根据本公开内容的实施例的信息处理系统1的配置示例的图。如图1所示，信息处理系统1包括信息处理设备10、成像单元130、传感器单元140和输出单元150。
成像单元130具有在成像范围内捕获图像的功能。例如，将成像单元130佩戴在用户的头部上以使得可以沿用户的视线方向捕获图像。通过使用例如无线信号或有线信号来将通过由成像单元130进行捕获而获取的捕获图像30提供至信息处理设备10。注意，在图1所示的示例中，成像单元130是与信息处理设备10分开配置的，但还可以并入信息处理设备10中。
在图1所示的示例中，对象40a、40b、40c、40d和40e存在于成像范围内，并因而被投影在捕获图像30中。注意，在以下描述中将对象40a 至40e是书的情况作为示例，但对象40a至40e还可以是诸如乐谱或影片的除书以外的材料，另外，没有特别限制存在于成像范围内的对象40的数量。
传感器单元140具有从用户的身体的预定部位捕获图像的功能，例如，传感器单元140捕获用户的眼睛区域的图像以获取成像结果。尽管以下描述主要假定传感器单元140捕获用户的眼睛区域的图像的情况，但传感器单元140可以捕获用户的一只眼睛的区域的图像。传感器单元140 捕获图像的预定部位不限于用户的一只眼或两只眼的区域。例如，传感器单元140捕获图像的预定部位可以是用户的身体的其它部位(诸如用户的腿、鼻子或嘴)。
通过使用例如无线信号或有线信号来将通过由传感器单元140捕获图像而获取的成像结果50提供至信息处理设备10。注意，在图1所示的示例中，传感器单元140是与信息处理设备10分开配置的，但还可以并入信息处理设备10中。另外，信息处理系统1可以包括除传感器单元140 外的传感器。
输出单元150具有由信息处理设备10根据作为有线信号或无线信号所提供的控制信号来输出各种信息的功能。没有特别限制输出单元150 输出的信息的类型。因而，输出单元150输出的信息可以是图像(诸如静止图像或运动图像等)或者音频。尽管以下描述主要假定输出单元150 是透视式HMD的情况，但输出单元150可以是非透视式HMD并且可以是其它输出装置(例如，音频输出装置)。注意，在图1所示的示例中，输出单元150是与信息处理设备10分开配置的，但还可以集成在信息处理设备10中。
至此已描述了根据本公开内容的实施例的信息处理系统1的配置示例。
(1-2.信息处理系统的功能配置示例)
随后，给出对根据本公开内容的实施例的信息处理系统1的功能配置示例的描述。图2是示出根据本公开内容的实施例的信息处理系统1的功能配置示例的图。如图2所示，根据本公开内容的实施例的信息处理设备 10包括控制单元110和存储单元120。如上所述，成像单元130、传感器单元140和输出单元150中的每一个均以无线或有线方式连接至信息处理设备10。
控制单元110与诸如CPU(中央处理单元)的处理器相对应。控制单元110通过执行存储单元120或其它存储介质中所存储的程序来发挥各种功能。控制单元110包括图像获取单元111、识别单元112、输出控制单元113、姿势检测单元114、视点检测单元115、操作控制单元116和操作执行单元117。后面将描述这些功能块的功能。
存储单元120通过使用诸如半导体存储器或硬盘的存储介质来存储用于操作控制单元110的程序。存储单元120例如可以存储该程序所使用的各种数据(诸如要显示的对象)。注意，在图2所示的示例中，存储单元120并入信息处理设备10中，但还可以是与信息处理设备10分开配置的。
至此已描述了根据本公开内容的实施例的信息处理系统1的功能配置示例。
(1-3.信息处理系统功能的详情)
随后，给出对根据本公开内容的实施例的信息处理系统1的功能的详情的描述。图3是示出识别投影在捕获图像中的对象的结果的示例的图。例如，在用户参观书店并且如图1所示那样看书店中所排列的书时，成像单元130在成像范围内捕获图像。图像获取单元111获取成像单元130所捕获的捕获图像30。
当图像获取单元111获取捕获图像30时，识别单元112从捕获图像 30中识别对象40a至40e。例如，识别单元112从捕获图像30中识别对象40a至40e以及各个对象40a至40e在真实空间中的位置和姿态 (posture)。例如，识别单元112可以通过将根据捕获图像30所确定的特征量与预先登记的对象的特征量进行对照来识别对象40a至40e。
更具体地，识别单元112根据诸如SIFT(尺度不变量特征变换)方法或随机蕨(Random Ferns)方法的特征量确定方法来确定投影在捕获图像30中的对象40a至40e的特征量，并且将所确定的特征量与预先登记的对象的特征量进行对照。然后，识别单元112识别以下内容：与同投影在捕获图像30中的对象40a至40e的特征量最佳匹配的特征量相关联的对象标识信息；以及对象40a至40e在真实空间中的位置和姿态。
这里，识别单元112使用每个对象的特征量与对象标识信息相关联的特征量字典。该特征量字典可以存储在存储单元120中或者是从服务器接收到的。对象的特征量例如可以是根据SIFT方法或随机蕨方法、基于对象的学习图像所确定的一组特征量。
注意，用于识别对象40a至40e的方法不限于该示例。例如，识别单元112可以通过识别与对象40a至40e中的每一个相关联的已知图形、符号或标记(诸如人工标记或天然标记)来间接识别对象40a至40e。识别单元112还可以基于捕获图像30中的对象40a至40e的大小和形状来识别对象40a至40e以及对象40a至40e的位置和姿态。
尽管描述了识别单元112使用图像处理来识别捕获图像30中所包括的对象40a至40e的位置和姿态的示例，但用于识别对象40a至40e的位置和姿态的方法不限于使用图像处理的识别方法。例如，识别单元112还可以检测各个对象40a至40e的方位和当前位置，以基于这些检测结果来估计捕获图像30中的对象40a至40e的位置和姿态。
注意，在图2所示的示例中，识别单元112包括在信息处理设备10 中，但可以包括在能够与信息处理设备10进行通信的服务器中。在这种情况下，向该服务器提供图像获取单元111获取的捕获图像30。在基于捕获图像30来识别对象时，该服务器向信息处理设备10提供识别结果。
输出控制单元113可以将对象60a显示在与识别单元112识别出的、捕获图像30中的对象40a至40e的位置相对应的位置。图3示出在输出控制单元113将例示对象60a的预定图形(例如，圆形)显示在与捕获图像30中的对象40a至40e的位置相对应的位置的情况下用户的视野80x 的示例。
注意，没有特别限制每个对象60a的形状。也没有特别限制对象60a 的显示位置。输出控制单元113可以显示姿态根据识别单元112识别的各个对象40a至40e的姿态而改变的对象60a。可以预先将对象60a登记在存储单元120中。另外，不必显示对象60a。
姿势检测单元114检测用户的预定姿势。例如，预定姿势可以是使预定操作体(诸如用户的手指、用户的手掌或笔)存在于捕获图像30中的姿势。姿势检测单元114可以例如通过从捕获图像30中识别预定操作体来检测使预定操作体存在于捕获图像30中的姿势。
在这种情况下，仅需知晓预定操作体是否存在于捕获图像30中，并且不必标识预定操作体的方向、位置等。因而，期望处理负荷减少。替选地，预定姿势可以是移动用户身体的预定部位的姿势(例如，闭上眼睛的姿势)。例如，姿势检测单元114可以通过分析成像结果50来检测移动用户身体的预定部位的姿势。
视点检测单元115检测用户的视点。例如，视点检测单元115基于传感器单元140捕获的成像结果50来检测用户的视点。可以使用例如JP 2012-8746A中公开的技术作为用于由视点检测单元115检测视点的方法，但没有特别限制用于由视点检测单元115检测视点的方法。例如，假定用户在参考所显示的对象60a时观看存在于视野80x中的对象40a的情况。在这种情况下，视点检测单元115检测到用户的视点存在于视野80x中所存在的对象40a处。
注意，视点检测单元115可以检测到用户的视点存在于多个对象40 处。例如，在检测到用户的视点以围绕多个对象40(例如，对象40a和 40b)的这种方式移动时，视点检测单元115可以检测到用户的视点存在于多个对象40处。
基于视点检测单元115检测到的用户的视点和姿势检测单元114检测到的用户的预定姿势，操作控制单元116控制操作执行单元117要执行的操作。操作执行单元117在操作控制单元116的控制下执行该操作。下文中，给出对操作控制单元116如何控制操作的示例的描述。
图4是示出在做出预定姿势之前的对象70a的显示示例和成像结果示例的图。如图4所示，在用户做出预定姿势之前，视点检测单元115分析传感器单元140捕获的成像结果50a并且检测到视点位于存在于视野80a 中的对象40a处。
在这种情况下，输出控制单元113可以将与对象40a相对应的对象 70a显示在与对象40a的位置相对应的位置处。作为对象70a的显示结果，用户看到视野80a。然而，不必显示对象70a。与对象40a相对应的对象 70a例如可以预先登记在存储单元120中或者可以从服务器获取。
图5是示出在开始预定姿势时的对象70a的显示示例和成像结果示例的图。在用户做出预定姿势时，姿势检测单元114检测到该预定姿势。在图5所示的示例中，姿势检测单元114将使用户的手指存在于捕获图像 30中的姿势检测作为预定姿势，因而，用户看到视野80b。此时视点检测单元115分析传感器单元140捕获到的成像结果50b，并且检测到视点位于存在于视野80b中的对象70a处。
图6是示出对象的显示示例和成像结果示例的图，该显示示例示出到预定姿势停止时视点没有移动的情况。图7是示出对象的显示示例和成像结果示例的图，该显示示例示出到预定姿势停止时视点移动的情况。在用户停止预定姿势时，姿势检测单元114检测到预定姿势停止。在图6和图 7所示的示例中，姿势检测单元114检测到使用户的手指在捕获图像30 中的姿势停止。
这里，操作控制单元116根据在预定姿势期间用户是否移动视点来控制基于捕获图像30的操作。这样的配置使得位于用户的手指可到达的范围之外的对象能够进行操作，由此增强了用户便利性。另外，不必进行使开关的一部分隐藏的图像处理，因而可以减少处理负荷。此外，不必检测手指按下操作，因而不必高速地捕获图像并且不必具有高图像处理性能。此外，还可以执行除选择对象的操作以外的操作，因而增强了用户便利性。
可以通过使用任何方法来判断用户是否移动视点。例如，在传感器单元140重复捕获图像并获取成像结果50的情况下，可以基于视点检测单元115针对每个预定帧所检测到的用户的视点的位置的变化来判断视点是否移动。例如，当用户的视点的位置改变时，操作控制单元116可以判断视点移动。
替选地，在将传感器佩戴于用户的头部的情况下，可以基于该传感器的检测结果来判断视点是否移动。例如，在将加速度传感器佩戴于用户的头部的情况下，在该加速度传感器检测到的加速度的值超过预定值时，操作控制单元116可以判断视点移动。另外，例如，在将陀螺仪传感器佩戴于用户的头部的情况下，在该陀螺仪传感器检测到角速度的值超过预定值时，操作控制单元116可以判断视点移动。
首先，将参照图6来描述在预定姿势期间用户没有移动视点的情况。换句话说，视点检测单元115分析在预定姿势结束之后所捕获到的图像的成像结果50c，并且检测到视点置于视野80c中所存在的对象70a处。在这种情况下，操作控制单元116控制轻击操作以使得在捕获图像30中执行轻击操作。例如，在预定姿势期间用户没有移动视点时，操作控制单元116可以控制轻击操作以使得在视点的位置处执行轻击操作。
没有特别限制在视点的位置处的轻击操作。例如，当在预定姿势期间用户没有移动视点时，操作控制单元116可以控制选择存在于视点的位置处的对象70a的操作以使得执行该操作。在图6所示的示例中，在预定姿势期间用户没有移动视点，因而操作执行单元117执行选择存在于视点的位置处的对象70a的操作。
注意，图6所示的对象70a是输出单元150虚拟显示的对象。然而，操作执行单元117选择的对象不必是虚拟显示的对象。换句话说，操作执行单元117选择的对象可以是存在于视野80x中的真实对象(诸如对象 40a中40e中的任一个)。
没有特别限制作为选择对象70a的操作的结果而要执行的具体处理。例如，作为选择对象70a的操作的结果，操作执行单元117可以显示关于对象70a的信息。由于在图6所示的示例中对象70a是书，因此作为选择对象70a的操作的结果，操作执行单元117可以显示关于书的信息(关于书的标题、书的作者、书的故事或书的内容的信息以及通过使用静止图像或运动图像的书的广告图像)。
接着，将参照图7来描述在预定姿势期间用户移动视点的情况。视点检测单元115分析在预定姿势期间所捕获到的成像结果50d并且检测视点的移动。在这种情况下，操作控制单元116控制拖动操作以使得在捕获图像30中执行拖动操作。例如，当在预定姿势期间用户移动视点时，操作控制单元116可以控制拖动操作，以使得基于在视点的移动开始时视点的位置、根据视点的移动来执行拖动操作。
没有特别限制基于在视点的移动开始时视点的位置、根据视点的移动量的拖动操作。例如，当在预定姿势期间用户移动视点时，操作控制单元 116可以控制对象70a的移动，以使得基于在视点的移动开始时视点的位置、根据视点的移动来执行移动。在图7的示例中，用户在预定姿势期间移动视点，因而操作执行单元117执行用于基于视点的移动开始时视点的位置来使对象70a沿移动方向移动视点的移动量的操作。结果，用户看到视野80d。
注意，图7所示的对象70a是输出单元150虚拟显示的对象。然而，操作执行单元117所拖动的对象不必是虚拟显示的对象。换句话说，操作执行单元117所拖动的对象可以是存在于视野80x中的真实对象(诸如对象40a至40e中的任一个)。
至此已描述了根据本公开内容的实施例的信息处理系统1的功能的详情。
(1-4.信息处理系统的操作)
随后，给出对根据本公开内容的实施例的信息处理系统1的操作的示例。图8是示出根据本公开内容的实施例的信息处理系统1的操作的示例。如图8所示，用户在初始状态下做出预定姿势(状态A)。在姿势检测单元114检测到预定姿势时，状态转变为状态B。
这里，只要检测到预定姿势，状态B就继续。然而，当视点检测单元115在检测到用户的视点的移动之前不再检测到预定姿势时，操作控制单元116进行控制以使得操作执行单元117执行轻击操作(状态D)。相比之下，在检测到预定姿势时检测到视点的移动的情况下，状态转变为状态C。在状态C中，开始拖动操作。
这里，只要检测到预定姿势，状态C就继续。然而，当不再检测到预定姿势时，操作控制单元116控制操作执行单元117的拖动操作以使得终止拖动操作(状态E)。
至此已描述了根据本公开内容的实施例的信息处理系统1的操作的示例。
(1-5.轻击操作示例)
随后，给出对操作执行单元117所执行的轻击操作的执行示例的描述。图9是示出操作执行单元117所进行的轻击操作的执行示例的图。如图9所示，输出控制单元113基于以识别单元112识别捕获图像的方式所获取的识别结果来显示用户的视野80y中的对象70b。这里，当如上所述那样对对象70b进行轻击操作时，操作执行单元117可以显示对象70b 移动的运动图像(例如，如图9所示的打开宝箱的运动图像，其中该宝箱是对象70b)。
另外，操作执行单元117可被配置为当如上所述那样对对象70b进行轻击操作时，能够从服务器获取优惠券。在图9的示例中，对象70是宝箱型对象，但没有特别限制对象的类型。例如，对象70可以是按钮。总之，在对对象70b进行轻击操作时，操作执行单元117仅需执行向对象 70b分配的操作。
至此已描述了操作执行单元117所执行的轻击操作的执行示例。
(1-6.拖动操作示例)
随后，给出对操作执行单元117所执行的拖动操作的执行示例的描述。图10是示出操作执行单元117所进行的拖动操作的执行示例1的图。如图10所示，图像获取单元111获取捕获图像。这里，当如上所述那样在用户的视野80p内进行拖动操作时，操作控制单元116可以控制区域选择，以使得根据视点的移动来执行区域选择。
例如，如图10所示，操作控制单元116可以进行控制，以使得操作执行单元117执行在用户的视野80p中选择矩形区域的操作。矩形区域具有从拖动开始的视点延伸至拖动结束的视点的对角线、沿用户的视野80p 的水平方向延伸的横向边以及沿用户的视野80p的垂直方向延伸的纵向边。
随后，给出对操作执行单元117所执行的拖动操作的执行示例2的描述。图11是示出操作执行单元117所执行的拖动操作的执行示例2的图。例如，如图11所示，操作控制单元116可以进行控制，以使得操作执行单元117执行在用户的视野80q中选择矩形区域的操作。该矩形区域具有从拖动开始的视点延伸至拖动结束的视点的对角线以及根据预先指定的高宽比而延伸的长边和短边。
随后，给出对操作执行单元117所执行的拖动操作的执行示例3的描述。图12是示出操作执行单元117所进行的拖动操作的执行示例3的图。例如，如图12所示，操作控制单元116可以进行控制，以使得操作执行单元117执行在用户的视野80r中选择通过使从拖动开始到结束的视点相连接所形成的封闭区域的操作。
操作执行单元117所执行的拖动操作的执行示例不限于这些示例。例如，操作执行单元117通过选择根据视点的移动所定义的区域来指定存在于用户的视野内的多个对象，并且由此可以开始利用组合的对象要发挥的功能。
例如，操作执行单元117可以通过选择区域来指定墙上所排列的多盒音乐记录介质的，并且由此生成音乐记录介质的播放列表。例如，操作执行单元117还可以通过选择区域来选择书店的多本书，按评价的升序对书进行排序，并且由此显示排序结果。例如，操作执行单元117还可以从地图(或换乘引导地图)中选择用户通过选择区域而期望通过的范围，并且由此在该范围中搜索路线。
另外，例如，操作执行单元117还可以执行从识别单元112所识别的对象到识别单元112所识别的另一对象的诸如拖放的操作。
例如，假定如下情况：识别单元112所识别的对象是电视装置和音乐再现装置，并且用户喜欢从电视装置输出的音乐内容并且进行从电视装置到音乐再现装置的拖放。
在这种情况下，操作执行单元117可以指示电视装置以将用于标识音乐内容的内容标识信息传送至音乐再现装置。这使得从电视装置接收内容标识信息的音乐再现装置能够再现由该内容标识信息标识的音乐内容。
另外，例如，假定如下情况：识别单元112所识别的对象是放置在客厅的电视装置，并且用户喜欢从电视装置输出的视频内容并希望在卧室观看该视频内容的其余部分。
在这种情况下，用户仅须基于从电视装置到卧室的位置来开始拖动操作，并且在识别单元112所识别的卧室中进行另一电视装置的放下操作。在这种情况下，操作执行单元117还可以指示客厅中的电视装置将视频内容的标识信息和视频内容的再现位置传送至其它电视装置。这使得从客厅中的电视装置接收标识信息和再现位置的其它电视装置能够再现由该标识信息标识的视频内容的其余部分。
例如，操作执行单元117还可以执行从识别单元12所识别的对象到输出单元150所显示的对象的诸如拖放的操作。另外，即使在存在输出单元150所显示的多个对象时，用户也可以通过使用视线来容易地指定放下目标对象。
例如，假定如下情况：识别单元112所识别的对象是购物中心等中所出售的商品(或商品的条形码)，并且输出单元150所显示的对象是“父亲的购物车”、“母亲的购物车”、“我的购物车”和“意愿购物车”。另外，全家去大型购物中心以进行购物，并且可以自由做他们喜欢做的事。
此时，作为家庭的成员的用户寻找用户的母亲可能喜欢的商品，并且进行从商品到“母亲的购物车”的拖放。在这种情况下，操作执行单元 117可以将关于该商品的信息(诸如商品名称)与“母亲的购物车”相关联地进行存储。这使得在进行查看“母亲的购物车”的内容的操作时检查与“母亲的购物车”相关联地存储的商品。
另外，假定用户寻找商品、对于购买商品犹豫并且进行从商品到“意愿购物车”的拖放的情况。在这种情况下，操作执行单元117可以将关于商品的信息(诸如商品名称)与“意愿购物车”相关联地进行存储。这使得能够在进行查看“意愿购物车”的内容的操作时检查与“意愿购物车”相关联的商品。
另外，例如，操作执行单元117还可以进行从输出单元150显示的对象到输出单元150显示的另一对象的诸如拖放的操作。另外，即使在存在输出单元150显示的多个对象时，用户也可以通过使用视线来容易地指定放下目标对象。
例如，假定输出单元150显示的对象是通过使用AR(增强现实)技术(以下还简称为“AR信息”)叠加的信息和用户的存储文件夹。此时，用户想要通过使用AR技术来稍后认真地观看用户的视野上所叠加的AR 信息，并且将该AR信息拖动至存储文件夹。
在这种情况下，操作执行单元117可以将AR信息存储在存储文件夹中。即使在用户的视野中存在多条AR信息时，操作执行单元117也可以通过使用用户的视线的移动来仅将用户期望存储的AR信息存储在存储文件夹中。
至此已描述了操作执行单元117所执行的拖动操作的执行示例。
(1-7.硬件配置示例)
随后，给出对根据本公开内容的实施例的信息处理设备10的硬件配置示例的描述。图13是示出根据本公开内容的实施例的信息处理设备10 的硬件配置示例的图。然而，图13所示的硬件配置示例仅提供信息处理设备10的硬件配置的示例。因此，信息处理设备10的硬件配置不限于图 13所示的示例。
如图13所示，信息处理设备10包括CPU(中央处理单元)901、ROM (只读存储器)902、RAM(随机存取存储器)903、输入装置908、输出装置910、存储装置911和驱动器912。
CPU 901用作运算处理单元和控制器装置，并且根据各种程序来控制信息处理设备10的整体操作。CPU 901还可以是微处理器。ROM 902将 CPU 901所使用的程序、操作参数等存储在其中。RAM 903将CPU 901 所使用并执行的程序、在执行这些程序时适当地改变的参数等临时存储在其中。这些组件通过由CPU总线等构成的主机总线彼此连接。
输入装置908接收传感器单元140捕获的图像的结果和成像单元130 捕获的图像的输入。输入由输入装置908接收到的传感器数据和捕获图像被输出至CPU 901。输入装置908可以将另一传感器的检测结果输出至 CPU 901。
输出装置910向输出单元150提供输出数据。当如上所述那样输出单元150由显示装置构成时，输出装置910在CPU 901的控制下向输出单元150提供要显示的数据。当输出单元150是音频输出装置时，输出装置 910在CPU 901的控制下向输出单元150提供音频数据。
存储装置911是用于存储数据的装置，从而例示信息处理设备10的存储单元120。存储装置911可以包括存储介质、被配置为将数据存储在存储介质中的存储装置、被配置为从存储介质读取数据的读取器以及被配置为删除所存储的数据的删除装置等。存储装置911存储CPU 901要执行的程序和各种数据。
驱动器912是用于存储介质的读写器并且内置于信息处理设备10中或者是在外部设置的。驱动器912将信息记录在每一个均装载在驱动器 912中的磁盘、光盘、磁光盘或诸如半导体存储器的可移动存储介质71 中，并且将该信息输出至RAM 903。驱动器912可以将信息写入可移动存储介质71。
至此已描述了根据本公开内容的实施例的信息处理设备10的硬件配置示例。
<<2.总结>>
如以上根据本公开内容的实施例所述，提供了包括图像获取单元111 和操作控制单元116的信息处理设备10，其中该图像获取单元111被配置为获取捕获图像，并且该操作控制单元116被配置为根据在预定姿势期间用户是否移动视点来控制基于捕获图像的操作。
这样的配置使得位于用户的手指可到达的范围外的对象能够进行操作，从而增强了用户便利性。另外，不必进行使开关的一部分隐藏的这种图像处理，因而可以减少处理负荷。此外，不必检测手指按下操作，因而不必高速地捕获图像并且不必具有高图像处理性能。此外，还可以执行除选择对象的操作以外的操作，因而增强了用户便利性。
另外，仅需检测预定姿势并且检测视点是否移动，因而用户不必触摸设备以进行操作。因而，不仅可以减少成像单元130捕获的图像的模糊而且还可以减少输出单元150输出的图像的闪烁。
同时，当用户使用透视式HMD时，用户附近的人可能并不知晓该用户发生了什么、用户正观看什么、用户正操作什么等。具体地，在如JP 2012-8746A中所公开的技术中一样仅使用用户的视线来进行判断时，用户附近的人可能并不知晓用户正观看什么。在姿势中包括食指等有助于用户附近的人容易地知晓用户正在干什么。
本领域技术人员应当理解，各种变型、组合、子组合和改变可以根据设计要求和其它因素来进行，只要这些在所附权利要求书或其等同方案的范围内即可。
还可以生成用于使诸如内置于计算机中的CPU、ROM和RAM的硬件发挥与以上所述的信息处理设备10的配置中的功能等同的功能的程序。还提供了记录有程序的计算机可读存储介质。
另外，本技术还可如下配置。
(1)一种信息处理设备，包括：电路，被配置为向用户提供用户界面；确定预定对象是否存在于传感器的输入识别区域中；确定所述用户界面内的关注区域；在确定所述预定对象存在于所述输入识别区域中的情况下，确定所述用户界面内的所述关注区域是否改变；以及基于在确定所述预定对象存在于所述输入识别区域中的情况下确定所述关注区域是否改变来执行操作。
(2)根据(1)所述的信息处理设备，其中，所述电路还被配置为当确定所述预定对象不再存在于所述输入识别区域中时，执行所述操作。
(3)根据(1)或(2)所述的信息处理设备，其中，所述电路还被配置为基于被配置为生成代表所述用户的观看方向的数据的另一传感器来确定所述用户界面内的所述关注区域。
(4)根据(3)所述的信息处理设备，其中，所述另一传感器是摄像装置、加速度传感器和陀螺仪传感器之一。
(5)根据(1)至(4)中任一项所述的信息处理设备，其中，当在确定所述预定对象存在于所述输入识别区域中的情况下所述用户界面内的所述关注区域没有改变时，所述操作是对与所确定的关注区域相对应的对象的轻击、点击或选择操作。
(6)根据(1)至(5)中任一项所述的信息处理设备，其中，当在确定所述预定对象存在于所述输入识别区域的情况下所述用户界面内的所述关注区域改变时，所述操作是对与所确定的关注区域相对应的对象的拖动操作。
(7)根据(1)至(6)中任一项所述的信息处理设备，其中，所述操作是第一装置将预定信息传送至第二装置的指示。
(8)根据(7)所述的信息处理设备，其中，所述第一装置是电视机。
(9)根据(1)至(8)中任一项所述的信息处理设备，其中，所述操作是将用于将预定数据发送至所述信息处理设备的请求传送至另一装置。
(10)根据(9)所述的信息处理设备，其中，所述电路还被配置为响应于所述请求来从所述另一装置接收数据。
(11)根据(9)所述的信息处理设备，其中，所述电路还被配置为响应于所述请求来从所述另一装置接收优惠券。
(12)根据(1)至(11)中任一项所述的信息处理设备，其中，所述操作是基于所述关注区域的变化量的、对与所确定的关注区域相对应的对象的拖动操作。
(13)根据(1)至(12)中任一项所述的信息处理设备，其中，所述传感器是被配置为捕获所述预定对象的图像的摄像装置。
(14)根据(1)至(13)中任一项所述的信息处理设备，还包括：显示器，其是以头戴式显示单元实现的，并且被配置为向所述用户呈现所述用户界面。
(15)根据(1)至(14)中任一项所述的信息处理设备，其中，所述电路还被配置为当确定所述预定对象存在于所述输入识别区域中时，确定所述用户界面内的所述关注区域。
(16)根据(1)至(15)中任一项所述的信息处理设备，其中，所述电路还被配置为确定与所述预定对象相对应的预定操作体是否存在于所述输入识别区域中、或者是否检测到移动所述预定操作体的预定部位的姿势。
(17)一种信息处理系统，包括：电路，被配置为向用户提供用户界面；确定预定对象是否存在于传感器的输入识别区域中；确定所述用户界面内的关注区域；在确定所述预定对象存在于所述输入识别区域中的情况下，确定所述用户界面内的所述关注区域是否改变；以及基于在确定所述预定对象存在于所述输入识别区域中的情况下确定所述关注区域是否改变来执行操作。
(18)一种信息处理设备的方法，所述信息处理设备用于执行操作，所述方法包括：由所述信息处理设备的电路来向用户提供用户界面；确定预定对象是否存在于传感器的输入识别区域中；确定所述用户界面内的关注区域；在确定所述预定对象存在于所述输入识别区域中的情况下，确定所述用户界面内的所述关注区域是否改变；以及由所述信息处理设备的所述电路，基于在确定所述预定对象存在于所述输入识别区域中的情况下确定所述关注区域是否改变来执行所述操作。
(19)一种存储有指令的非瞬态计算机可读存储介质，其中所述指令在由计算机执行时使所述计算机执行用于执行操作的信息处理设备的方法，所述方法包括以下步骤：由所述计算机来向用户提供用户界面；确定预定对象是否存在于传感器的输入识别区域中；确定所述用户界面内的关注区域；在确定所述预定对象存在于所述输入识别区域中的情况下，确定所述用户界面内的所述关注区域是否改变；以及由所述计算机，基于在确定所述预定对象存在于所述输入识别区域中的情况下确定所述关注区域是否改变来执行所述操作。
(20)一种信息处理设备，包括：图像获取单元，被配置为获取捕获图像；以及操作控制单元，被配置为根据在预定姿势期间用户是否移动视点来控制基于所述捕获图像的操作。
(21)根据(20)所述的信息处理设备，其中，当在所述预定姿势期间所述用户没有移动所述视点时，所述操作控制单元以在所述捕获图像中执行轻击操作的方式进行控制。
(22)根据(20)或(21)所述的信息处理设备，其中，当在所述预定姿势期间所述用户没有移动所述视点时，所述操作控制单元以在所述视点所位于的位置处执行所述轻击操作的方式进行控制。
(23)根据(20)至(22)中任一项所述的信息处理设备，其中，当在所述预定姿势期间所述用户没有移动所述视点时，所述操作控制单元以执行选择存在于所述视点的位置处的对象的操作的方式进行控制。
(24)根据(20)至(23)中任一项所述的信息处理设备，其中，当在所述预定姿势期间所述用户移动所述视点时，所述操作控制单元以在所述捕获图像中执行拖动操作的方式进行控制。
(25)根据(20)至(24)中任一项所述的信息处理设备，其中，当在所述预定姿势期间所述用户移动所述视点时，所述操作控制单元以在所述视点移动的情况下基于所述视点的位置、根据所述视点的移动执行所述拖动操作的方式进行控制。
(26)根据(20)至(25)中任一项所述的信息处理设备，其中，当在所述预定姿势期间所述用户移动所述视点时，所述操作控制单元以根据所述视点的移动执行区域选择的方式进行控制。
(27)根据(20)至(26)中任一项所述的信息处理设备，其中，当在所述预定姿势期间所述用户移动所述视点时，所述操作控制单元以根据所述视点的移动执行对象的移动的方式进行控制。
(28)根据(20)至(27)中任一项所述的信息处理设备，还包括视点检测单元，所述视点检测单元被配置为检测所述视点。
(29)根据(20)至(28)中任一项所述的信息处理设备，还包括姿势检测单元，所述姿势检测单元被配置为检测所述预定姿势。
(30)根据(20)至(29)中任一项所述的信息处理设备，还包括操作执行单元，所述操作执行单元被配置为根据所述操作控制单元进行的控制来执行基于所述捕获图像的操作。
(31)根据(20)至(30)中任一项所述的信息处理设备，其中，所述预定姿势是使预定操作体存在于所述捕获图像中的姿势。
(32)根据(20)至(31)中任一项所述的信息处理设备，其中，所述预定姿势是移动所述用户的身体的预定部位的姿势。
(33)根据(20)至(32)中任一项所述的信息处理设备，其中，所述操作控制单元基于所述视点的位置的变化来判断所述视点是否移动。
(34)根据(20)至(33)中任一项所述的信息处理设备，其中，所述操作控制单元基于佩戴于所述用户的头部的传感器所进行的检测的结果来判断所述视点是否移动。
(35)一种信息处理方法，包括：获取捕获图像；以及根据在预定姿势期间用户是否移动视点来控制基于所述捕获图像的操作。
(36)一种程序，用于使计算机用作信息处理设备，所述信息处理设备包括：图像获取单元，被配置为获取捕获图像；以及操作控制单元，被配置为根据在预定姿势期间用户是否移动视点来控制基于所述捕获图像的操作。
[附图标记列表]
1 信息处理系统
10 信息处理设备
30 捕获图像
40(40a,40b) 对象
50(50a,50b,50c,50d) 成像结果
60a 对象
70(70a,70b) 对象
80(80a,80b,80c,80d,80x) 视野
110 控制单元
111 图像获取单元
112 识别单元
113 输出控制单元
114 姿势检测单元
115 视点检测单元
116 操作控制单元
117 操作执行单元
120 存储单元
130 成像单元
140 传感器单元
150 输出单元

Claims (19)

1.一种信息处理设备，包括：
电路，被配置为：
向用户提供用户界面；
确定预定对象是否存在于传感器的输入识别区域中；
确定所述用户界面内的关注区域；
在确定所述预定对象存在于所述输入识别区域中的情况下，确定所述用户界面内的所述关注区域是否改变；以及
基于在确定所述预定对象存在于所述输入识别区域中的情况下确定所述关注区域是否改变来执行操作。
2.根据权利要求1所述的信息处理设备，其中，所述电路还被配置为当确定所述预定对象不再存在于所述输入识别区域中时，执行所述操作。
3.根据权利要求1所述的信息处理设备，其中，所述电路还被配置为基于被配置为生成代表所述用户的观看方向的数据的另一传感器来确定所述用户界面内的所述关注区域。
4.根据权利要求3所述的信息处理设备，其中，所述另一传感器是摄像装置、加速度传感器和陀螺仪传感器之一。
5.根据权利要求1所述的信息处理设备，其中，当在确定所述预定对象存在于所述输入识别区域中的情况下所述用户界面内的所述关注区域没有改变时，所述操作是对与所确定的关注区域相对应的对象的轻击、点击或选择操作。
6.根据权利要求1所述的信息处理设备，其中，当在确定所述预定对象存在于所述输入识别区域中的情况下所述用户界面内的所述关注区域改变时，所述操作是对与所确定的关注区域相对应的对象的拖动操作。
7.根据权利要求1所述的信息处理设备，其中，所述操作是第一装置将预定信息传送至第二装置的指示。
8.根据权利要求7所述的信息处理设备，其中，所述第一装置是电视机。
9.根据权利要求1所述的信息处理设备，其中，所述操作是将用于将预定数据发送至所述信息处理设备的请求传送至另一装置。
10.根据权利要求9所述的信息处理设备，其中，所述电路还被配置为响应于所述请求来从所述另一装置接收数据。
11.根据权利要求9所述的信息处理设备，其中，所述电路还被配置为响应于所述请求来从所述另一装置接收优惠券。
12.根据权利要求1所述的信息处理设备，其中，所述操作是基于所述关注区域的变化量的、对与所确定的关注区域相对应的对象的拖动操作。
13.根据权利要求1所述的信息处理设备，其中，所述传感器是被配置为捕获所述预定对象的图像的摄像装置。
14.根据权利要求1所述的信息处理设备，还包括：
显示器，其是以头戴式显示单元实现的，并且被配置为向所述用户呈现所述用户界面。
15.根据权利要求1所述的信息处理设备，其中，所述电路还被配置为当确定所述预定对象存在于所述输入识别区域中时，确定所述用户界面内的所述关注区域。
16.根据权利要求1所述的信息处理设备，其中，所述电路还被配置为确定与所述预定对象相对应的预定操作体是否存在于所述输入识别区域中、或者是否检测到移动所述预定操作体的预定部位的姿势。
17.一种信息处理系统，包括：
电路，被配置为：
向用户提供用户界面；
确定预定对象是否存在于传感器的输入识别区域中；
确定所述用户界面内的关注区域；
在确定所述预定对象存在于所述输入识别区域中的情况下，确定所述用户界面内的所述关注区域是否改变；以及
基于在确定所述预定对象存在于所述输入识别区域中的情况下确定所述关注区域是否改变来执行操作。
18.一种信息处理设备的方法，所述信息处理设备用于执行操作，所述方法包括：
由所述信息处理设备的电路来向用户提供用户界面；
确定预定对象是否存在于传感器的输入识别区域中；
确定所述用户界面内的关注区域；
在确定所述预定对象存在于所述输入识别区域中的情况下，确定所述用户界面内的所述关注区域是否改变；以及
由所述信息处理设备的所述电路，基于在确定所述预定对象存在于所述输入识别区域中的情况下确定所述关注区域是否改变来执行所述操作。
19.一种存储有指令的非瞬态计算机可读存储介质，其中所述指令在由计算机执行时使所述计算机执行用于执行操作的信息处理设备的方法，所述方法包括：
由所述计算机来向用户提供用户界面；
确定预定对象是否存在于传感器的输入识别区域中；
确定所述用户界面内的关注区域；
在确定所述预定对象存在于所述输入识别区域中的情况下，确定所述用户界面内的所述关注区域是否改变；以及
由所述计算机，基于在确定所述预定对象存在于所述输入识别区域中的情况下确定所述关注区域是否改变来执行所述操作。
CN201480011942.8A 2013-03-08 2014-01-20 信息处理设备、信息处理方法和程序 Expired - Fee Related CN105009034B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013046902A JP5962547B2 (ja) 2013-03-08 2013-03-08 情報処理装置、情報処理方法およびプログラム
JP2013-046902 2013-03-08
PCT/JP2014/000245 WO2014136373A1 (en) 2013-03-08 2014-01-20 Information processing apparatus, information processing method, and program

Publications (2)

Publication Number Publication Date
CN105009034A CN105009034A (zh) 2015-10-28
CN105009034B true CN105009034B (zh) 2018-05-08

Family

ID=50112981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480011942.8A Expired - Fee Related CN105009034B (zh) 2013-03-08 2014-01-20 信息处理设备、信息处理方法和程序

Country Status (5)

Country Link
US (1) US10719121B2 (zh)
EP (1) EP2965169A1 (zh)
JP (1) JP5962547B2 (zh)
CN (1) CN105009034B (zh)
WO (1) WO2014136373A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10386637B2 (en) * 2014-01-15 2019-08-20 Maxell, Ltd. Information display terminal, information display system, and information display method
JP5981591B1 (ja) * 2015-03-17 2016-08-31 株式会社コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
US10514755B2 (en) * 2015-05-08 2019-12-24 Lg Electronics Inc. Glasses-type terminal and control method therefor
JP6407824B2 (ja) 2015-09-01 2018-10-17 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
JP6390799B2 (ja) * 2015-09-28 2018-09-19 日本電気株式会社 入力装置、入力方法、及びプログラム
JP6845982B2 (ja) * 2016-01-13 2021-03-24 フォーブ インコーポレーテッド 表情認識システム、表情認識方法及び表情認識プログラム
CN105425399B (zh) * 2016-01-15 2017-11-28 中意工业设计（湖南）有限责任公司 一种根据人眼视觉特点的头戴设备用户界面呈现方法
WO2017201329A1 (en) * 2016-05-20 2017-11-23 Magic Leap, Inc. Contextual awareness of user interface menus
US11715556B2 (en) 2016-08-11 2023-08-01 DiamondFox Enterprises, LLC Handheld arthropod detection device
US10496893B2 (en) * 2016-08-11 2019-12-03 DiamondFox Enterprises, LLC Handheld arthropod detection device
US10620817B2 (en) * 2017-01-13 2020-04-14 International Business Machines Corporation Providing augmented reality links to stored files
CN106873783A (zh) * 2017-03-29 2017-06-20 联想(北京)有限公司 信息处理方法、电子设备及输入装置
SE541650C2 (en) * 2017-05-30 2019-11-19 Crunchfish Ab Improved activation of a virtual object
US20210165484A1 (en) * 2018-08-24 2021-06-03 Sony Corporation Information processing device, information processing method, and program
JP6524320B2 (ja) * 2018-09-12 2019-06-05 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
CN110807728B (zh) * 2019-10-14 2022-12-13 北京字节跳动网络技术有限公司 对象的显示方法、装置、电子设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102566756A (zh) * 2010-12-16 2012-07-11 微软公司 用于扩展现实显示的基于理解力和意图的内容
CN102750079A (zh) * 2011-03-31 2012-10-24 索尼公司 终端设备、对象控制方法以及程序
CN102822771A (zh) * 2010-01-21 2012-12-12 托比技术股份公司 基于眼球跟踪器的上下文动作

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11345073A (ja) * 1998-06-03 1999-12-14 Matsushita Electric Ind Co Ltd 携帯情報端末操作システム
JP4013100B2 (ja) * 1998-09-21 2007-11-28 富士フイルム株式会社 電子カメラ
JP2001154794A (ja) * 1999-11-29 2001-06-08 Nec Fielding Ltd まばたきによるクリック機能を有するポインティング装置
US6924822B2 (en) * 2000-12-21 2005-08-02 Xerox Corporation Magnification methods, systems, and computer program products for virtual three-dimensional books
JP2002279274A (ja) * 2001-03-21 2002-09-27 Fujitsu Ltd 広告配信方法および広告配信装置
US8321799B1 (en) * 2003-10-31 2012-11-27 Adobe Systems Incorporated Tabular data sorting and display
WO2005059736A1 (ja) * 2003-12-17 2005-06-30 National University Corporation Shizuoka University 瞳孔検出によるポインタ制御装置及び方法
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
JP2006155244A (ja) * 2004-11-29 2006-06-15 Olympus Corp 情報表示装置
US7636794B2 (en) * 2005-10-31 2009-12-22 Microsoft Corporation Distributed sensing techniques for mobile devices
JP2010164784A (ja) * 2009-01-15 2010-07-29 Brother Ind Ltd ヘッドマウントディスプレイ
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
JP5272827B2 (ja) * 2009-03-18 2013-08-28 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20120200499A1 (en) * 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with event, sensor, and user action based control of applications resident on external devices with feedback
JP5743416B2 (ja) 2010-03-29 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2012008745A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp ユーザインターフェース装置及び電子機器
JP5548042B2 (ja) 2010-06-23 2014-07-16 ソフトバンクモバイル株式会社 ユーザ端末装置及びショッピングシステム
US9110509B2 (en) * 2010-07-28 2015-08-18 VIZIO Inc. System, method and apparatus for controlling presentation of content
US20120069055A1 (en) * 2010-09-22 2012-03-22 Nikon Corporation Image display apparatus
US9164581B2 (en) * 2010-10-22 2015-10-20 Hewlett-Packard Development Company, L.P. Augmented reality display system and method of display
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US9201500B2 (en) * 2012-09-28 2015-12-01 Intel Corporation Multi-modal touch screen emulator

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102822771A (zh) * 2010-01-21 2012-12-12 托比技术股份公司 基于眼球跟踪器的上下文动作
CN102566756A (zh) * 2010-12-16 2012-07-11 微软公司 用于扩展现实显示的基于理解力和意图的内容
CN102750079A (zh) * 2011-03-31 2012-10-24 索尼公司 终端设备、对象控制方法以及程序

Also Published As

Publication number Publication date
CN105009034A (zh) 2015-10-28
US10719121B2 (en) 2020-07-21
JP5962547B2 (ja) 2016-08-03
WO2014136373A1 (en) 2014-09-12
JP2014174747A (ja) 2014-09-22
US20160018885A1 (en) 2016-01-21
EP2965169A1 (en) 2016-01-13

Similar Documents

Publication Publication Date Title
CN105009034B (zh) 信息处理设备、信息处理方法和程序
US11287956B2 (en) Systems and methods for representing data, media, and time using spatial levels of detail in 2D and 3D digital applications
JP6044079B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102091848B1 (ko) 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법
US10210423B2 (en) Image match for featureless objects
US8379098B2 (en) Real time video process control using gestures
US8984406B2 (en) Method and system for annotating video content
US20090262091A1 (en) Information Processing Apparatus and Vibration Control Method in Information Processing Apparatus
US20130215027A1 (en) Evaluating an Input Relative to a Display
JP4881034B2 (ja) 電子アルバム編集システム、電子アルバム編集方法、及び電子アルバム編集プログラム
CN110262706A (zh) 信息处理设备、信息处理方法及记录介质
US11463618B2 (en) Apparatus for providing information and method of providing information, and non-transitory storage medium
US20150248388A1 (en) Gestural annotations
JP6476678B2 (ja) 情報処理装置及び情報処理プログラム
JP4704240B2 (ja) 電子アルバム編集システム、電子アルバム編集方法、及び電子アルバム編集プログラム
CN110832438A (zh) 可穿戴终端显示系统、可穿戴终端显示方法以及程序
US20200348759A1 (en) Virtual reality platform with haptic interface for interfacing with media items having metadata
US20120229375A1 (en) Display device, display method and recording medium
US10976912B2 (en) Information processing device, information processing method, and recording medium
JP2004062883A (ja) 情報処理装置
JP5434667B2 (ja) 文書閲覧システム
GB2569179A (en) Method for editing digital image sequences

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180508

Termination date: 20220120