CN115917479A - 信息处理装置、信息处理方法和信息处理程序 - Google Patents

信息处理装置、信息处理方法和信息处理程序 Download PDF

Info

Publication number
CN115917479A
CN115917479A CN202180049860.2A CN202180049860A CN115917479A CN 115917479 A CN115917479 A CN 115917479A CN 202180049860 A CN202180049860 A CN 202180049860A CN 115917479 A CN115917479 A CN 115917479A
Authority
CN
China
Prior art keywords
user
hand
operation object
information processing
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180049860.2A
Other languages
English (en)
Inventor
河野真一
石川毅
木村淳
山野郁男
永野京二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115917479A publication Critical patent/CN115917479A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

信息处理装置包括显示单元(331)和控制单元(350)。显示单元(331)显示要被操作的虚拟对象以便与由用户看到的现实空间重叠。控制单元(350)从在现实空间中存在于用户周围的多个对象中确定要与要被操作的对象重叠的要重叠的对象，在显示要被操作的对象的状态下检测用户的手的运动，并且在根据检测到的用户的手的运动而移动要被操作的对象以便接近要重叠的对象的同时向用户呈现要被操作的对象。

Description

信息处理装置、信息处理方法和信息处理程序
技术领域
本公开涉及信息处理装置、信息处理方法和信息处理程序。
背景技术
传统上，已经开发了应用增强现实(augmented reality，AR)技术(也称为“增强现实”)的设备、系统等。AR技术是下述技术，其用于通过显示叠加在存在于现实空间中的对象上的虚拟对象来扩展从用户观看的现实空间。例如，专利文献1提出了一种用于根据存在于现实空间中的对象的形状以叠加的状态显示虚拟对象的技术。
引文列表
专利文献
专利文献1：WO 2016/203792A
发明内容
技术问题
然而，在AR技术中，一直存在下述要求：在操作虚拟对象期间提高可用性，使得在扩展的空间中不损害沉浸感。
因此，本公开提出了能够提高可用性的信息处理装置、信息处理方法和信息处理程序。
问题的解决方案
为了解决以上问题，根据本公开的实施例的、用于提供要求身份验证处理的服务的信息处理装置包括：显示单元，该显示单元以要叠加在由用户视觉识别的现实空间上的方式显示虚拟操作对象；以及控制单元，该控制单元从在现实空间中存在于该用户周围的多个对象中确定该操作对象要叠加在其上的叠加目标对象，在显示该操作对象的状态下检测该用户的手的移动，并且在结合检测到的该用户的手的移动来移动该操作对象以接近该叠加目标对象的同时向该用户呈现该操作对象。
附图说明
图1是示出根据本公开的实施例的AR眼镜系统的配置的示例的图。
图2是示意性地示出根据本公开的实施例的AR眼镜的外观的示意图。
图3是示出根据本公开的实施例的手传感器的功能配置的示例的框图。
图4是示出根据本公开的实施例的AR眼镜的功能配置的示例的框图。
图5是示出根据本公开的实施例的可抓握性确定信息的概要的图。
图6是示出根据本公开的实施例的叠加确定信息的概要的图。
图7是示出根据本公开的实施例的确定识别对象是否可抓握的概要的图。
图8是示出根据本公开的实施例的标记信息的登记的示例的图。
图9是示出根据本公开的实施例的确定操作开始动作的概要的图。
图10是示出根据本公开的实施例的确定叠加目标对象的概要的图。
图11是示出根据本公开的实施例的确定操作开始动作的概要的图。
图12是示出根据本公开的实施例的移动虚拟操作对象的概要的图。
图13是示出根据本公开的实施例的以叠加状态显示虚拟操作对象的示例的图。
图14是示出根据本公开的实施例的用于确定可抓握性的处理过程的示例的流程图。
图15是示出根据本公开的实施例的用于确定操作开始动作的处理过程的示例的流程图。
图16是示出根据本公开的实施例的用于确定叠加目标对象的处理过程的示例的流程图。
图17是示出根据本公开的实施例的用于确定虚拟操作对象的布局的处理过程的示例的流程图。
图18是示出根据本公开的实施例的用于确定虚拟操作对象的布局的处理过程的示例的流程图。
图19是示出根据修改的改变虚拟操作对象的布局的示例的图。
图20是示出根据修改的在移动虚拟操作对象的情况下提供触觉刺激的示例的图。
图21是示出根据修改的AR眼镜系统的配置的示例的图。
图22是示出根据修改的服务器设备的功能配置的示例的框图。
图23是示出手传感器的硬件配置的示例的框图。
图24是示出AR眼镜的硬件配置的示例的框图。
具体实施方式
在下文中，将参照附图详细描述本公开的实施例。注意，在以下的实施例中，相同的部分将由相同的附图标记或符号表示，并且可以省略重复的说明。另外，在本说明书和附图中，具有基本相同的功能配置的多个部件可以通过在相同的附图标记或符号之后附加不同的标记和符号来彼此区分。
另外，将根据各项的以下顺序描述本公开。
1.本公开的概要
2.系统的配置的示例
3.设备的配置的示例
3-1.手传感器的配置
3-2.AR眼镜的配置
4.处理过程的示例
4-1.可抓握性的确定的处理
4-2.操作开始动作的确定的处理
4-3.叠加目标对象的确定的处理
4-4.虚拟操作对象的布局的确定的处理
4-5.虚拟操作对象的移动的处理
5.修改
5-1.关于叠加目标对象
5-2.关于虚拟操作对象的布局
5-3.在移动虚拟操作对象的情况下提供触觉刺激
5-4.系统配置的改变
5-5.其他修改
6.硬件配置的示例
6-1.关于手传感器
6-2.关于AR眼镜
7.结论
<<1.本公开的概要>>
将描述根据本公开的技术的概要。本公开涉及AR技术。在本公开中，作为要佩戴在用户的头部上的可穿戴设备之一的AR眼镜被用作信息处理装置的示例。
本公开的AR眼镜具有显示单元和控制单元作为可实现的功能的一部分。显示单元以要叠加在由用户视觉识别的现实空间上的方式来显示要被操作的虚拟对象(在下文中称为“虚拟操作对象”)。控制单元从在现实空间中存在于用户周围的多个对象中确定虚拟操作对象要被叠加在其上的叠加目标对象，在显示虚拟操作对象的状态下检测用户的手的移动，并且在结合检测到的用户的手的移动来移动虚拟操作对象以接近叠加目标对象的同时向用户呈现虚拟操作对象。
本公开的AR眼镜在结合用户的手的移动来移动虚拟操作对象以接近叠加目标对象的同时，向用户呈现虚拟操作对象。这使得可以提高在操作虚拟操作对象期间的可用性。
<<系统的配置的示例>>
在下文中，将描述根据本公开的实施例的AR眼镜系统1A。图1是示出根据本公开的实施例的AR眼镜系统的配置的示例的图。
如图1所示，AR眼镜系统1A包括手传感器20和AR眼镜30。手传感器20佩戴在用户的手上。手传感器20可以检测用户的手的姿势、位置和移动。AR眼镜30是要佩戴在用户的头部上的眼镜型可穿戴设备。AR眼镜30可以显示叠加在现实空间(在下文中，适当称为“真实空间”)上的虚拟操作对象。手传感器20通过用于执行无线通信或有线通信的通信装置可通信地连接至AR眼镜30。手传感器20将检测佩戴手传感器20的用户的手的姿势、位置和移动的结果(信息)发送到AR眼镜30。另外，AR眼镜30可以通过用于与手传感器20通信的通信装置将控制命令等发送到手传感器20。此外，AR眼镜30基于从手传感器20接收的检测手的姿势、位置和移动的结果(信息)执行各种类型的处理。
将参照图2描述AR眼镜30的外观。图2是示意性地示出根据本公开的实施例的AR眼镜的外观的示意图。如图2所示，AR眼镜30是要佩戴在用户Px的头部上的眼镜型或护目镜型设备。AR眼镜30不仅可以显示叠加在用户Px的双眼或单眼的视野中的数字信息，而且可以增强、弱化或删除特定真实对象的图像。
在图2所示的示例中，AR眼镜30中所包括的显示单元331包括用于右眼的第一显示单元331R和用于左眼的第二显示单元331L。第一显示单元331R被设置成当用户Px佩戴AR眼镜30时位于用户Px的右眼前。此外，用于左眼的第二显示单元331L被设置成当用户Px佩戴AR眼镜30时位于用户Px的左眼前。显示单元331是透明的或半透明的。用户Px可以通过显示单元331视觉识别真实空间中的风景。显示单元331的第一显示单元331R和第二显示单元331L被独立地显示驱动，并且可以三维地显示操作对象。
此外，在图2所示的示例中，在围绕AR眼镜30的显示单元331的框架处在第一显示单元331R附近设置了获取用户Px的语音等的麦克风315。AR眼镜30可以根据用户Px的语音输入来操作。另外，在AR眼镜30的显示单元331周围的框架处在第二显示单元331L附近设置了捕获用户Px周围的图像的摄像装置311。AR眼镜30可以分析由摄像装置311获取的图像，以识别存在于用户Px周围的对象，并且估计对象的位置。
<<3.设备的配置的示例>>
<3-1.手传感器的配置>
在下文中，将描述构成AR眼镜系统1A的手传感器20的功能配置。图3是示出根据本公开的实施例的手传感器的功能配置的示例的框图。
如图3所示，手传感器20包括加速度传感器210、陀螺仪传感器220、方位传感器230和距离测量传感器240。
加速度传感器210检测作用于手传感器20的加速度。陀螺仪传感器220检测例如手传感器20在上下轴(偏转轴)、左右轴(俯仰轴)和前后轴(滚动轴)上的旋转角速度(姿势)。陀螺仪传感器220可以包括三个轴或九个轴。方位传感器230检测手传感器20指向的方位。方位传感器230例如可以由地磁传感器实现。加速度传感器210、陀螺仪传感器220和方位传感器230可以由惯性测量单元(inertial measurement unit，IMU)配置。
距离测量传感器240检测手传感器20与存在于真实空间中的对象之间的距离。距离测量传感器240可以由例如飞行时间(time of flight，ToF)传感器实现。
手传感器20将检测用户Px的手的姿势、位置和移动的结果(信息)以及关于手传感器20与由传感器检测到的对象之间的距离的信息发送到AR眼镜30。
<3-2.AR眼镜的配置>
在下文中，将描述根据实施例的AR眼镜30的功能配置。图4是示出根据本公开的实施例的AR眼镜的功能配置的示例的框图。
如图4所示，AR眼镜30包括传感器单元310、通信单元320、输出单元330、存储单元340和控制单元350。
传感器单元310包括摄像装置311、加速度传感器312、陀螺仪传感器313、方位传感器314和麦克风315。
摄像装置311捕获佩戴AR眼镜30的用户Px的视线方向上的图像。摄像装置311被设置在可以用户Px的视线方向上捕获图像的位置处。摄像装置311可以获取存在于AR眼镜30周围的对象的图像。用户Px的手可以包括在摄像装置311获取的图像中。摄像装置311可以由例如能够输出红(R)、绿(G)和蓝(B)色的捕获图像的RGB摄像装置来实现。
另外，摄像装置311可以包括能够基于光发射定时与光接收定时之间的时间差来获取到目标的距离的ToF摄像装置。
加速度传感器312检测作用于AR眼镜30的加速度。陀螺仪传感器313检测例如AR眼镜30在上下轴(偏转轴)、左右轴(俯仰轴)和前后轴(滚动轴)上的旋转角速度(姿势)。方位传感器314检测AR眼镜30指向的方位。也就是说，方位传感器314检测到的方向对应于佩戴AR眼镜30的用户Px所面对的方向(视线方向)。
麦克风315获取由佩戴AR眼镜30的用户发出的声音和从用户周围的声源产生的环境声音。麦克风315可以由例如单个声音获取元件或多个声音获取元件构成。
通信单元320通过无线通信或有线通信与手传感器20进行通信。通信单元320通过例如使用蓝牙(注册商标)的无线通信与手传感器20进行通信。通信单元320与手传感器20进行通信的通信方法不限于蓝牙(注册商标)。此外，通信单元320可以经由诸如因特网的网络与外部设备进行通信。
输出单元330包括显示单元331和声音输出单元332。显示单元331包括用于右眼的第一显示单元331R和用于左眼的第二显示单元331L。显示单元331包括位于佩戴AR眼镜30的用户Px的眼睛前方的透过型显示器。显示单元331显示叠加在真实空间中的虚拟操作对象，从而扩大了从佩戴AR眼镜30的用户看到的真实空间。显示单元331根据来自控制单元350的显示控制信号执行显示控制。
声音输出单元332输出与显示在显示单元331上的操作对象相关的声音。声音输出单元332由设置在佩戴AR眼镜30的用户Px可以听到输出声音的位置处的扬声器或耳机构成。声音输出单元332将从控制单元350提供的声音信号转换为作为空气振动的声音，并且输出该声音。此外，由声音输出单元332输出的声音不限于与操作对象相关的声音，并且声音输出单元332可以根据与各种内容或应用相对应的声音信号来输出声音。
存储单元340存储用于实现要由控制单元350执行的各种处理功能的程序、数据等。存储单元340例如由诸如随机存取存储器(random access memory，RAM)或闪存的半导体存储元件、或诸如硬盘或光盘的存储设备来实现。存储在存储单元340中的程序包括用于实现与控制单元350的每个单元相对应的处理功能的程序。存储在存储单元340中的程序包括操作系统(operating system，OS)和诸如AR应用程序的应用程序。AR应用程序(在下文中被称为“AR程序”)是提供用于以要叠加在由用户视觉识别的现实空间上的方式显示虚拟操作对象的各种功能的应用程序。
在图4所示的示例中，存储单元340包括可抓握性确定信息存储单元341和叠加确定信息存储单元342。
可抓握性确定信息存储单元341存储关于通过稍后将描述的可抓握性确定单元353确定识别对象是否可抓握的结果的可抓握性确定信息。图5是示出根据本公开的实施例的可抓握性确定信息的概要的图。可抓握性确定信息包括项“检测对象ID”、“识别名称”、“位置”、“可抓握性确定结果”和“登记标记”。这些项彼此相关联。
项“检测对象ID”用于存储唯一分配给从摄像装置图像中检测到的对象的识别信息。该识别信息是通过稍后将描述的对象识别单元351从摄像装置图像进行识别处理而获取的。项“识别名称”用于存储分配给从摄像装置图像中检测到的对象的对象识别结果。该识别结果是通过稍后将描述的对象识别单元351从摄像装置图像进行识别处理而获取的。项“位置”用于存储关于从摄像装置图像中检测到的对象的三维位置的信息。该三维位置信息是通过稍后将描述的位置估计单元352进行位置估计处理获取的。项“可抓握性确定结果”用于存储通过稍后将描述的可抓握性确定单元353确定识别对象是否可抓握的结果。项“登记标记”用于存储分配给由可抓握性确定单元353确定为可抓握的识别对象的AR标记(标记信息的示例)。
图5中所示的可抓握性确定信息指示从摄像装置图像中检测到的所有对象都是不可抓握的(“不可抓握的”)。
叠加确定信息存储单元342存储与通过稍后将描述的叠加目标对象确定单元355确定叠加目标对象的处理有关的叠加确定信息。图6是示出根据本公开的实施例的叠加确定信息的概要的图。叠加确定信息包括项“检测对象ID”、“可抓握性确定结果”、“距离(cm)”、“距离分数”、“内积”、“内积分数”和“总分数”。这些项彼此相关联。
项“检测对象ID”用于存储唯一分配给从摄像装置图像中检测到的对象的识别信息，类似于如上所述的图5中所示的项“检测对象ID”。项“可抓握性确定结果”用于存储通过稍后将描述的可抓握性确定单元353确定识别对象是否可抓握的结果，类似于如上所述的图5中所示的项“可抓握性确定信息结果”。
项“距离(cm)”用于获取关于到从摄像装置图像中检测到的对象的距离的信息。该识别信息是通过稍后将描述的对象识别单元351从摄像装置图像进行识别处理而获取的。注意，可以采用任意单元作为用于存储距离信息的单元。项“距离分数”用于存储根据存储在上述项“距离信息”中的距离确定的分数。例如，当到对象的距离较小时，存储较高的分数。
项“内积”用于存储基于用户Px的手与从摄像装置图像中检测到的对象之间的位置关系而计算的内积值。项“内积分数”用于存储根据存储在上述项“内积”中的内积值确定的分数。例如，当所计算的内积值较大时，存储较高的分数。项“总分数”用于存储上述“距离分数”和“内积分数”的总和。
图6所示的叠加确定信息指示在从摄像装置图像中检测到的所有对象中被分配“ID_4”的扁平盒具有最高总分数。
控制单元350例如是控制器。由控制单元350提供的各种功能通过例如处理器等来实现，该处理器使用主存储设备等作为工作区域执行存储在AR眼镜30中的程序(例如，根据本公开的信息处理程序)。处理器可以由中央处理单元(central processing unit，CPU)、微处理单元(micro processing unit，MPU)、片上系统(system-on-a-chip，SoC)等实现。另外，由控制单元350提供的各种功能可以通过例如诸如专用集成电路(applicationspecific integrated circuit，ASIC)或现场可编程门阵列(field programmable gatearray，FPGA)的集成电路来实现。
如图4所示，控制单元350包括对象识别单元351、位置估计单元352、可抓握性确定单元353、操作开始动作确定单元354、叠加目标对象确定单元355、虚拟操作对象布局确定单元356、移动开始位置确定单元357、应用执行单元358和输出控制单元359。控制单元350通过这些单元实现或执行AR眼镜30的动作和功能，这将在稍后描述。
构成控制单元350的每个块可以是软件块或硬件块。例如，上述块中的每一个可以是由软件(包括微程序)实现的一个软件模块，或者可以是半导体芯片(管芯)上的一个电路块。当然，每个块可以是一个处理器或一个集成电路。配置功能块的方法是任意的。注意，控制单元350可以由与图4中的每个块所指示的功能单元不同的功能单元来配置。
<3-2-1.可抓握性确定>
在下文中，将描述AR眼镜30的用于确定可抓握性的操作。在AR眼镜30中执行的可抓握性的确定由对象识别单元351、位置估计单元352和可抓握性确定单元353来实现。
对象识别单元351对从摄像装置311获取的摄像装置图像执行对象识别处理。对象识别单元351可以使用任意方法执行对象识别处理。对象识别单元351将识别对象所特有的识别信息分配给从摄像装置图像中检测到的识别对象。对象识别单元351将对象识别结果分配给从摄像装置图像中检测到的识别对象。对象识别单元351将识别信息登记在可抓握性确定信息存储单元341的项“检测对象ID”中，并且将识别结果登记在可抓握性确定信息存储单元341的项“识别名称”中。
位置估计单元352估计从摄像装置图像中检测到的对象的三维位置。位置估计单元352基于从摄像装置311获取的距离图像和RGB图像来估计识别对象的位置。位置估计单元352将位置信息与相应的检测对象ID相关联地记录。
可抓握性确定单元353通过对识别对象执行位置跟踪来确定识别对象是否可抓握。例如，每当AR眼镜30被激活时，可抓握确性定单元353从摄像装置图像识别对象并且估计对象的位置。然后，可抓握性确定单元353基于识别对象在AR眼镜30的激活之前与之后之间是否已经大幅移动来确定识别对象是否可抓握。图7是示出根据本公开的实施例的确定识别对象是否可抓握的概要的图。
如图7所示，可抓握性确定单元353确定识别对象B1至B4中的每一个在AR眼镜30激活之前与之后之间是否移动了超过预定阈值的距离。作为确定的结果，当识别对象B1至B4中的识别对象B4的移动距离超过预定阈值时，可抓握性确定单元353确定识别对象B4是可抓握的。例如，在成像位置的绝对坐标系已知的前提下，可抓握性确定单元353根据AR眼镜30的激活之前与之后之间识别对象的三维位置的改变来计算识别对象的移动距离。可抓握性确定单元353将指示识别对象B4是可抓握的确实结果(“可抓握的”)与对应的检测对象ID“ID_4”相关联地记录在可抓握性确定信息存储单元341中。
另外，上述通过可抓握性确定单元353确定识别对象是否可抓握的方法仅仅是示例，并且不特别限于该示例。例如，AR眼镜30可以基于在其激活之前与之后之间识别对象的相对位置关系的改变来确定识别对象的移动。替选地，在信号发送器预先安装在识别对象上的情况下，AR眼镜30可以获取从信号发送器发送的信号，并且基于获取的信号确定识别对象的移动。
此外，AR眼镜30不特别限于在识别对象的移动距离超过阈值的条件下将识别对象确定为可抓握的示例，并且移动可以不被设置为针对可抓握性的条件。例如，可以基于AR眼镜30的用户Px的手的尺寸、识别对象的尺寸等来确定用户Px是否可以抓握识别对象。此外，在可以估计识别对象的重量的情况下，当确定识别对象是否可抓握时，可以考虑估计的重量。
另外，可抓握性确定单元353可以向被确定为可抓握的识别对象分配指示识别对象可抓握的AR标记。图8是示出根据本公开的实施例的标记信息的登记的示例的图。如图8所示，当确定检测对象ID为“ID_4”的识别对象B4是可抓握的时，可抓握性确定单元353产生将分配给识别对象B4的AR标记。然后，可抓握性确定单元353将可抓握性信息中与对应于识别对象B4的检测对象ID“ID_4”相关联的项“登记标记”从“未登记”更新为“已登记”。当用户Px试图抓握被确定为可抓握的识别对象B4时，或者当用户Px实际抓握识别对象B4时，AR眼镜30可以生成AR标记并且关于识别对象B4登记AR标记。结果，AR眼镜30可以以提高的准确性识别可抓握对象。
<3-2-2.操作开始动作的确定>
在下文中，将描述AR眼镜30的用于确定操作开始动作的操作。在AR眼镜30中执行的操作开始动作的确定由操作开始动作确定单元354实现。图9是示出根据本公开的实施例的确定操作开始动作的概要的图。
操作开始动作确定单元354基于由摄像装置311获取的距离信息，获取佩戴AR眼镜30的用户(例如用户Px)的手的三维位置。操作开始动作确定单元354基于AR眼镜30的用户的手的三维位置和AR眼镜30的三维位置，确定AR眼镜30的用户的手的移动是否是使用虚拟操作对象OBx的操作开始动作。也就是说，操作开始动作确定单元354确定AR眼镜30的用户是否想要使用虚拟操作对象OBx执行操作。
如图9所示，操作开始动作确定单元354将用户的手H_Px的位置从不在限定显示单元331的显示区域(其是AR眼镜的显示区域)的平面上的某个点投影到限定显示单元331的显示区域(其是AR眼镜的显示区域)的平面上。结果，操作开始动作确定单元354获取用户的手H_Px的投影位置PJH。操作开始动作确定单元354继续计算用户的手H_Px的投影位置PJH与虚拟操作对象OBx之间的距离d，直到投影位置PJH与虚拟操作对象OBx之间的距离变得等于或小于预定阈值D(步骤Pr1和Pr2)。
然后，当投影位置PJH3与虚拟操作对象OBx之间的距离d3变得等于或小于预定阈值D时，操作开始动作确定单元354测量用户的手H_Px已经停留在该位置的时间(步骤Pr3)。此时，例如在测量用户的手H_Px的停留时间时，操作开始动作确定单元354改变虚拟操作对象OBx的显示模式，以指示用户的手H_Px位于可以操作虚拟操作对象OBx的位置。
当AR眼镜30的用户的手H_Px的停留时间超过预定时间段(阈值T)时，操作开始动作确定单元354确定用户的手H_Px的移动是使用虚拟操作对象OBx的操作开始动作。此时，操作开始动作确定单元354进一步改变虚拟操作对象OBx的显示模式以向用户通知已经识别出使用虚拟操作对象OBx的操作开始动作。
<3-2-3.叠加目标对象的确定>
在下文中，将描述AR眼镜30的用于确定叠加目标对象的操作。在AR眼镜30中执行的叠加目标对象的确定由叠加目标对象确定单元355实现。当操作开始动作确定单元354识别出操作开始动作时，叠加目标对象确定单元355从被确定为可抓握的多个识别对象中确定虚拟操作对象要被叠加在其上的叠加目标对象。图10是示出根据本公开的实施例的确定叠加目标对象的概要的图。注意，尽管以下将描述叠加目标对象确定单元355针对每个识别对象执行其处理，但是叠加目标对象确定单元355可以仅针对被确定为可抓握的对象执行其处理。
如图10所示，叠加目标对象确定单元355获取识别对象的位置和用户的手H_Px的位置。叠加目标对象确定单元355基于识别对象的位置和用户的手H_Px的位置来计算识别对象与用户的手H_Px之间的距离d_B4。此外，叠加目标对象确定单元355可以根据从手传感器20获取的检测结果，获取用户的手H_Px与对象之间的距离。
叠加目标对象确定单元355确定作为与计算出的距离d_B4相对应的分数的距离分数。基于预定标准来确定距离分数。例如，距离分数随着距离d_B4提前减小而增大。也就是说，叠加目标对象确定单元355高度评价更接近用户的手H_Px的识别对象作为叠加目标。
另外，叠加目标对象确定单元355计算将识别对象的中心B4c和用户的手H_Px的中心Hc彼此连接的向量VTc与限定包括用户的手H_Px的平面的法向量VTn之间的内积。叠加目标对象确定单元355确定内积分数，该内积分数是与计算出的内积值相对应的分数。基于预定标准来确定内积分数。例如，内积分数随着向量VTc与法向量VTn之间的角度θ的减小而增加。也就是说，叠加目标对象确定单元355高度评价面向用户的手H_Px的手掌的识别对象作为叠加目标。
叠加目标对象确定单元355计算通过将距离分数和内积分数相加所获得的总分数。然后，叠加目标对象确定单元355将具有最高总分数的识别对象确定为叠加目标对象。图10中所示的示例指示检测对象ID为“ID_4”的识别对象具有最高总分数。
<3-2-4.虚拟操作对象的布局的确定>
在下文中，将描述AR眼镜30的用于确定虚拟操作对象的布局的操作。在AR眼镜30中执行的操作布局的确定由虚拟操作对象布局确定单元356实现。虚拟操作对象布局确定单元356获取叠加目标对象的几何信息，并且基于所获取的几何信息来确定虚拟操作对象的布局。图11是示出根据本公开的实施例的确定操作开始动作的概要的图。
如图11所示，虚拟操作对象布局确定单元356在显示单元331的显示区域中以预设的初始形状显示虚拟操作对象OBx(步骤Pr11)。
虚拟操作对象布局确定单元356基于叠加目标对象的几何信息来改变虚拟操作对象OBx的布局(形状)(步骤Pr12)。具体地，虚拟操作对象布局确定单元356获取被确定为叠加目标对象的识别对象B4的几何信息。例如，虚拟操作对象布局确定单元356从对象识别单元351的识别结果获取指示识别对象B4是具有平坦表面的板状对象的几何信息。虚拟操作对象布局确定单元356基于所获取的几何信息，在显示单元331上显示通过将虚拟操作对象OBx的形状改变为板状而获得的虚拟操作对象OBY。也就是说，虚拟操作对象布局确定单元356改变虚拟操作对象OBx的形状以适合于叠加在识别对象B4上。
虚拟操作对象布局确定单元356获取佩戴在用户Px的手上的手传感器20的分解能力信息，并且基于所获取的分解能力信息确定虚拟操作对象OBY的布局(配置)(步骤Pr13)。具体地，当确定通过手传感器20的分解能力可以检测到键操作时，虚拟操作对象布局确定单元356将虚拟操作对象OBY的表面改变成其中布置十字键和圆形按钮的配置。
<3-2-5.虚拟操作对象的移动>
在下文中，将描述AR眼镜30的用于移动虚拟操作对象的操作。在AR眼镜30中执行的虚拟操作对象的移动由移动开始位置确定单元357、应用执行单元358和输出控制单元359实现。
移动开始位置确定单元357确定操作对象的移动开始位置。移动开始位置确定单元357基于用户(例如，用户Px)的手的投影位置和作为叠加目标对象的识别对象的位置来确定虚拟操作对象的移动开始位置。
应用执行单元358在由OS提供的执行环境下执行应用程序。应用执行单元358可以同时并行执行多个应用程序。通过执行AR程序，应用执行单元358实现用于向用户呈现以叠加状态显示在由AR眼镜30的用户视觉识别的现实空间上的虚拟操作对象的各种功能。
例如，应用执行单元358可以基于由摄像装置311获取的摄像装置图像来获取周围的三维信息。在摄像装置311包括ToF摄像装置的情况下，应用执行单元358可以基于使用ToF摄像装置的功能获得的距离信息来获取周围的三维信息。应用执行单元358可以分析由麦克风315获取的声音信号，以根据AR眼镜30的用户的声音输入获取指示。
此外，应用执行单元358执行以下处理：在显示虚拟操作对象的状态下检测用户的手的移动，并且在结合检测到的用户的手的移动来移动虚拟操作对象以接近叠加目标对象的同时向用户呈现虚拟操作对象。
此外，当移动虚拟操作对象时，应用执行单元358基于用户的手的投影位置和虚拟操作对象在显示区域中的显示位置来执行移动虚拟操作对象的处理，其中在该投影位置处用户的手从不在限定显示单元331的显示区域的平面上的某个点投影到限定显示单元331的显示区域的平面上。
此外，当移动虚拟操作对象时，应用执行单元358以用户的手的投影位置和虚拟操作对象的显示位置彼此不重叠的方式执行移动虚拟操作对象的处理。
此外，当移动虚拟操作对象时，应用执行单元358沿着将用户的手的投影位置连接至叠加目标对象的投影位置的线、以虚拟操作对象的显示位置在用户的手的投影位置之前的方式执行移动虚拟操作对象的处理，其中在叠加目标对象的投影位置处叠加目标对象的位置被投影到限定显示单元331的显示区域的平面上。
此外，应用执行单元358执行移动虚拟操作对象的处理直到虚拟操作对象到达叠加目标对象的投影位置。
此外，在移动虚拟操作对象直到虚拟操作对象到达叠加目标对象的投影位置之后，应用执行单元358执行向用户呈现以叠加状态显示在叠加目标对象上的操作对象的处理。
输出控制单元359基于应用执行单元358执行AR程序的结果，控制向显示单元331和声音输出单元332的输出。例如，输出控制单元359基于传感器单元310中所包括的加速度传感器312、陀螺仪传感器313、方位传感器314等的检测结果来指定用户的头部的移动(视野范围)。然后，输出控制单元359控制虚拟操作对象在显示单元331上的显示以跟随用户头部的移动(视野范围中的移动)。
另外，输出控制单元359通过第一显示单元331R和第二显示单元331L将虚拟操作对象以叠加状态显示在由用户视觉识别的现实空间上。
图12是示出根据本公开的实施例的移动虚拟操作对象的概要的图。图13是示出根据本公开的实施例的以叠加状态显示虚拟操作对象的示例的图。如图12所示，移动开始位置确定单元357确定在将AR眼镜30的用户(例如，用户Px)的手的投影位置PJH(例如，中指的投影位置)连接至叠加目标对象(识别对象B4)的投影位置PJB的线上的、虚拟操作对象OBY的移动开始位置SP，其中在投影位置PJB处叠加目标对象(识别对象B4)的位置被投影到限定显示单元331的显示区域的平面上。例如，移动开始位置确定单元357可以将使用户的手的投影位置PJH(例如，中指的投影位置)和叠加目标对象(识别对象B4)的投影位置PJB彼此连接的线段的中间点确定为移动开始位置SP。
应用执行单元358指示输出控制单元359将虚拟操作对象OBY显示在移动开始位置SP。输出控制单元359根据应用程序执行单元358的指示，将虚拟操作对象OBY显示在显示单元331上与移动开始位置SP相对应的位置(步骤Pr21)。
当在移动开始位置SP处显示虚拟操作对象OBY之后，应用执行单元358检测在显示虚拟操作对象OBY的状态下用户的手的移动，并且结合检测到的用户的手的移动来确定用于以接近叠加目标对象(识别对象B4)的方式移动虚拟操作对象OBY的计划移动路线。例如，当移动虚拟操作对象OBY时，应用执行单元358确定用于以用户的手的投影位置PJH不与虚拟操作对象OBY的显示位置重叠的方式移动虚拟操作对象OBY的计划移动路线。具体地，应用执行单元358确定下述计划移动路线：其用于使虚拟操作对象OBY沿着将用户的手的投影位置PJH和叠加目标对象(识别对象B4)的投影位置PJB彼此连接的线、以虚拟操作对象OBY的显示位置在用户的手的投影位置PJH之前的方式移动。输出控制单元359根据由应用执行单元358确定的计划移动路线，控制虚拟操作对象OBY在显示单元331上的显示(步骤Pr22)。图12所示的示例指示下述状态：虚拟操作对象OBY在用户的手的投影位置PJH前方移动到计划移动路线的中间点HW。
然后，当移动虚拟操作对象OBY直到虚拟操作对象OBY到达叠加目标对象(识别对象B4)的投影位置PJB时，应用执行单元358确定将虚拟操作对象OBY以叠加状态显示在叠加目标对象(识别对象B4)上。
如图13所示，根据应用执行单元358的确定，输出控制单元359以虚拟操作对象OBY以叠加状态显示在叠加目标对象(识别对象B4)上的方式控制显示单元331的显示，并且向用户呈现虚拟操作对象OBY。
<4.处理过程的示例>
在下文中，将参照图14至图18描述根据实施例的AR眼镜30的处理过程的示例。
<4-1.可抓握性的确定的处理>
图14是示出根据本公开的实施例的用于确定可抓握性的处理过程的示例的流程图。图14所示的处理过程由AR眼镜30的控制单元350执行。例如，图14所示的处理过程通过激活AR眼镜30来执行。
如图14所示，对象识别单元351从摄像装置图像识别对象(步骤S101)。位置估计单元352估计每个识别对象的位置，并且记录位置信息(步骤S102)。
可抓握性确定单元353跟踪识别对象的位置(步骤103)。然后，可抓握性确定单元353确定识别对象的移动距离是否超过预定阈值DT1(步骤S104)。
作为确定的结果，当确定识别对象的移动距离超过阈值DT1时(步骤S104；是)，可抓握性确定单元353将识别对象记录为可抓握的(步骤S105)。
可抓握性确定单元353确定是否已经终止了对所有识别对象的位置的跟踪(步骤S106)。当确定已经终止了对所有识别对象的位置的跟踪时(步骤S106；是)，可抓握性确定单元353结束图14所示的处理过程。另一方面，当确定尚未终止对所有识别对象的位置的跟踪时(步骤S106；否)，可抓握性确定单元353返回到上述步骤S103的处理，以执行对未完成跟踪的识别对象的处理。
<4-2.操作开始动作的确定的处理>
图15是示出根据本公开的实施例的用于确定操作开始动作的处理过程的示例的流程图。图15所示的处理过程由AR眼镜30的控制单元350执行。
如图15所示，操作开始动作确定单元354获取佩戴AR眼镜30的用户(例如用户Px)的手的位置信息(三维位置)(步骤S201)。另外，操作开始动作确定单元354获取AR眼镜30的位置信息(三维位置)(步骤S202)。
随后，操作开始行动确定单元354基于用户的手的位置信息和AR眼镜的位置信息，计算用户的手与向用户呈现的虚拟操作对象之间的距离d(步骤S203)。具体地，基于用户的手的三维位置和AR眼镜30的三维位置，操作开始动作确定单元354将用户的手的位置从不位于限定显示单元331的显示区域即AR眼镜30的显示区域的平面上的某个点投影到限定显示单元331的显示区域即AR眼镜的显示区域的平面上。结果，操作开始动作确定单元354获取用户的手的投影位置。因此，操作开始动作确定单元354计算用户的手的投影位置与在显示单元331的显示区域中呈现的虚拟操作对象之间的距离d。
操作开始动作确定单元354确定用户的手与向用户呈现的虚拟操作对象之间的距离d是否等于或小于预定阈值DT2(步骤S204)。
当确定用户的手与向用户呈现的虚拟操作对象之间的距离d等于或小于阈值DT2时(步骤S204；是)，操作开始动作确定单元354确定用户的手是否已经停留预定时间段(步骤S205)。
当确定用户的手已经停留预定时间段时(步骤S205；是)，操作开始动作确定单元354将用户的动作确定为操作开始动作(步骤S206)，并且结束图15所示的处理过程。
在上述步骤S204中，当确定用户的手与向用户呈现的虚拟操作对象之间的距离d没有等于或小于阈值DT2时(步骤S204；否)，操作开始动作确定单元354返回到上述步骤S203的处理以继续计算距离d。
在上述步骤S205中，当确定用户的手没有停留预定时间段时(步骤S205；否)，操作开始动作确定单元354返回到上述步骤S203的处理以继续计算距离d。
<4-3.叠加目标对象的确定的处理>
图16是示出根据本公开的实施例的用于确定叠加目标对象的处理过程的示例的流程图。图16所示的处理过程由AR眼镜30的控制单元350执行。
如图16所示，叠加目标对象确定单元355针对每个对象计算用户的手与每个对象之间的距离(步骤S301)。注意，在步骤S301中，每个对象是从摄像装置图像中检测到的识别对象中被确定为可抓握的对象。
叠加目标对象确定单元355根据到用户的手的距离向每个对象分配距离分数(步骤S302)。
随后，叠加目标对象确定单元355计算将用户的手(的手掌中心)和每个对象(的中心)彼此连接的向量VTc(步骤S303)。
随后，叠加目标对象确定单元355计算限定包括用户的手的平面的法向量VTn(步骤S304)。
随后，叠加目标对象确定单元355计算和每个对象相对应的向量VTc与法向量VTn之间的内积(步骤S305)。
随后，叠加目标对象确定单元355分配与每个对象的内积值相对应的内积分数(步骤S306)。
随后，叠加目标对象确定单元355通过对每个对象的距离分数和内积分数求和来计算每个对象的总分数(步骤S307)。
叠加目标对象确定单元355将具有最高总分数的对象确定为叠加目标对象(步骤S308)，并且结束图16所示的处理过程。
<4-4.虚拟操作对象的布局的确定的处理>
图17是示出根据本公开的实施例的用于确定虚拟操作对象的布局的处理过程的示例的流程图。图17所示的处理过程由AR眼镜30的控制单元350执行。
如图17所示，虚拟操作对象布局确定单元356获取叠加目标对象的几何信息(步骤S401)。
虚拟操作对象布局确定单元356基于所获取的几何信息来确定虚拟操作对象的布局(形状)(步骤S402)。
随后，虚拟操作对象布局确定单元356获取手传感器20的分解能力信息(步骤S403)。
虚拟操作对象布局确定单元356基于所获取的手传感器20的分解能力信息来确定虚拟操作对象的布局(表面配置)(步骤S404)，并且结束图17所示的处理过程。
<4-5.虚拟操作对象的移动的处理>
图18是示出根据本公开的实施例的用于确定虚拟操作对象的布局的处理过程的示例的流程图。图18所示的处理过程由AR眼镜30的控制单元350执行。
如图18所示，移动开始位置确定单元357计算用户的手的位置与叠加目标对象的位置之间的中间点M(步骤S501)。在步骤S501中，用户的手的位置和叠加目标对象的位置是用户的手的位置和叠加目标对象的位置分别被投影到显示单元331的显示区域上的投影位置。然后，移动开始位置确定单元357将中间点M确定为虚拟操作对象的移动开始位置(步骤S502)。
输出控制单元359根据应用执行单元358的指示在移动开始位置处显示虚拟操作对象(步骤S503)。
应用执行单元358将叠加目标对象的位置(投影位置)确定为虚拟操作对象的移动结束位置(步骤S504)。
应用执行单元358基于移动开始位置和移动结束位置来确定虚拟操作对象的计划移动路线(步骤S505)。
应用执行单元358开始跟踪(位置跟踪)用户的手的位置(步骤S506)。
与输出控制单元359协作，应用执行单元358以用户的手的位置和虚拟操作对象的位置彼此不重叠的方式沿着计划移动路线移动虚拟操作对象(步骤S507)。
应用执行单元358确定虚拟操作对象是否已经到达移动结束位置(步骤S508)。
当确定虚拟操作对象没有到达移动结束位置时(步骤S508；否)，应用执行单元358返回上述步骤S507，以与输出控制单元359协作继续移动虚拟操作对象。
另一方面，当确定虚拟操作对象已经到达移动结束位置时(步骤S508；是)，应用执行单元358停止移动虚拟操作对象，并且与输出控制单元359协作将虚拟操作对象以叠加状态显示在叠加目标对象上(步骤S509)，并且结束图18所示的处理过程。
<5.修改>
<5-1.关于叠加目标对象>
当确定叠加目标对象时，控制单元350的叠加目标对象确定单元355可以基于对象识别结果从识别对象之中的叠加目标对象候选中排除不适合于用户抓握的对象。不适合于抓握的对象的示例包括容纳了当在抓握状态下操作时可能溢出的东西的对象、以及可能导致烫伤的加热对象。
另外，当确定叠加目标对象时，叠加目标对象确定单元355可以基于对象识别结果，将优先级给予识别对象中预先登记的自身所有物。
另外，当确定叠加目标对象时，叠加目标对象确定单元355可以将优先级给予识别对象中位于短距离处的对象。
另外，叠加目标对象确定单元355可以基于用户的特性来确定叠加目标对象。用户的特性的示例包括身体测量值、障碍信息和惯用手臂信息。
例如，在已经预先获取了用户的身高的情况下，叠加目标对象确定单元355可以基于用户的身高来确定叠加目标对象。例如，当用户的身高是180cm时，在识别对象中位于大约170cm的水平的对象可以被确定为叠加目标对象。
另外，例如，在已经预先获取了指示用户具有蓝色色盲的信息的情况下，叠加目标对象确定单元355可以从识别对象中除了具有蓝色表面的对象之外的对象中确定叠加目标对象。
另外，例如，在已经预先获取了指示用户的左手臂是惯用手臂的信息的情况下，叠加目标对象确定单元355可以将识别对象中位于用户前方的左侧的对象确定为叠加目标对象。
另外，叠加目标对象确定单元355可以基于用户的动作信息来确定叠加目标对象。例如，在检测到用户步行移动的用户动作的情况下，叠加目标对象确定单元355可以从识别对象之中用户前方的对象中确定叠加目标对象。
另外，叠加目标对象确定单元355可以确定多个叠加目标对象。例如，在由叠加目标对象确定单元355确定了两个叠加目标对象的情况下，AR眼镜30可以将虚拟操作对象划分为两个虚拟操作对象，并且以一对一的方式将虚拟操作对象分别叠加在叠加目标对象上。
另外，叠加目标对象确定单元355可以确定用户佩戴的诸如手传感器20的对象作为叠加目标对象，而不是从用户周围的真实对象中确定叠加目标对象。
另外，AR眼镜30可以根据用户的移动状态来新确定叠加目标对象。
另外，AR眼镜30可以在包括在诸如智能电话或可穿戴终端的电子设备中的显示器上直接电子地显示虚拟操作对象，而不将虚拟操作对象叠加在作为真实对象的叠加目标对象上。
<5-2.关于虚拟操作对象的布局>
在上述实施例中，虚拟操作对象布局确定单元356可以基于用户的手在抓握叠加目标对象时的位置来改变虚拟操作对象的布局。图19是示出根据修改的改变虚拟操作对象的布局的示例的图。
如图19的左图所示，在用户的手H_Px在抓握叠加目标对象时的位置不与虚拟操作对象OBY在显示单元331上的显示位置发生干扰的情况下，虚拟操作对象布局确定单元356不改变虚拟操作对象OBY的布局。另一方面，如图19的右图所示，在用户的手在抓握叠加目标对象时的位置与虚拟操作对象OBY在显示单元331上的显示位置发生干扰的情况下，虚拟操作对象布局确定单元356改变虚拟操作对象OBY的布局。
<5-3.在移动虚拟操作对象的情况下提供触觉刺激>
在上述实施例中，在以移动开始位置作为移动结束位置预先向用户呈现虚拟操作对象的情况下，应用执行单元358可以根据用户的手的位置与虚拟操作对象之间的位置关系的改变来指示手传感器20以预定的波形模式输出振动。图20是示出根据修改的在移动虚拟操作对象的情况下提供触觉刺激的示例的图。
如图20所示，首先，应用执行单元358将以移动开始位置作为移动结束位置向用户呈现以叠加状态显示在叠加对象目标(识别对象B4)上的虚拟操作对象OBY。
在用户的手H_Px的投影位置PJH接近移动结束位置(虚拟操作对象OBY)时(CS1)，应用执行单元358向手传感器20发送预先设定的周期振动模式输出振动的指示。手传感器20根据来自AR眼镜的指示振动。
在用户的手H_Px的投影位置PJH接近移动结束位置(虚拟操作对象OBY)并且可以操作虚拟操作对象OBY的阶段(时间t1)，应用执行单元358向手传感器20发送以从周期振动模式以稳定振动模式振动的指示。手传感器20根据来自AR眼镜30的指示振动。另外，在公开了虚拟操作对象OBY的操作的阶段(时间t2)，应用执行单元358向手传感器20发送振动的指示。手传感器20根据来自AR眼镜的指示停止振动。
在用户的手H_Px的投影位置PJH远离移动结束位置(虚拟操作对象OBY)时(CS2)，应用执行单元358向手传感器20发送以具有比CS1情况下的振幅大的振幅的振动模式输出振动的指示。手传感器20根据来自AR眼镜30的指示振动。
<5-4.系统配置的改变>
在上述实施例中，已经作为示例描述了包括在AR眼镜系统1A中的AR眼镜30具有对象识别功能和位置估计功能。然而，本公开不特别限于该示例。例如，AR眼镜30的对象识别功能和位置估计功能可以分散到外部服务器设备。在下文中，将描述根据修改的AR眼镜系统1B的配置的示例。图21是示出根据修改的AR眼镜系统的配置的示例的图。图22是示出根据修改的服务器设备的功能配置的示例的框图。
如图21所示，根据修改的AR眼镜系统1B包括服务器设备10、手传感器20以及AR眼镜30。AR眼镜系统1B与上述AR眼镜系统1A的不同之处在于包括服务器设备10。注意，图21中所示的AR眼镜系统1B的部件的数量是示例，并且AR眼镜系统1B可以包括比图21中所示的示例中更多的服务器设备10、更多的手传感器20以及更多的AR眼镜30。
服务器设备10和AR眼镜30连接至网络2。服务器设备10和AR眼镜30可以通过网络2彼此通信。AR眼镜30将诸如摄像装置图像的数据上载到服务器设备10。另外，AR眼镜30下载并使用服务器设备10中累积的识别对象信息等。
如图22所示，服务器设备10包括通信单元110、存储单元120以及控制单元130。
通信单元110经由网络2与AR眼镜30通信。通信单元110发送和接收与AR眼镜系统1B的处理相关的数据。
存储单元120存储用于实现要由控制单元130执行的各种处理功能的程序、数据等。存储单元120存储由控制单元130通过网络2从AR眼镜30接收的摄像装置图像数据、由控制单元130分析摄像装置图像获得的识别对象信息等。
控制单元130例如是控制器。由控制单元130提供的处理功能通过处理器等使用主存储设备等作为工作区域执行存储在服务器设备10中的程序来实现。
如图22所示，控制单元130包括识别单元131和估计单元132。
识别单元131提供与包括在AR眼镜系统1A的AR眼镜30中的对象识别单元351的处理功能类似的处理功能。识别单元131分析从AR眼镜30上载的摄像装置图像，并且将从摄像装置图像中检测到的识别对象信息记录在存储单元120中。
估计单元132提供与包括在AR眼镜系统1A的AR眼镜30中的位置估计单元352的处理功能类似的处理功能。估计单元132基于从AR眼镜30获取的RGB图像和距离图像来估计识别对象的位置。估计单元132将识别对象的位置信息与由识别单元131检测到的识别对象信息相关联地记录在存储单元120中。
包括在AR眼镜系统1B中的AR眼镜30可以不具有分散到服务器设备10(对象识别单元351和位置估计单元352)的功能。
通过如上所述将AR眼镜30的处理功能的一些分散到服务器设备10，可以减轻AR眼镜30的处理负荷。此外，在服务器设备10中，通过共享从多个AR眼镜30上载的信息，还可以期待提高AR眼镜30的处理效率的效果。
<5-5.其他修改>
根据本公开的实施例或其修改的AR眼镜系统1(1A或1B)可以由专用计算机系统或通用计算机系统实现。
另外，用于AR眼镜30实现根据本公开的实施例或其修改的信息处理方法的各种程序可以在存储在诸如光盘、半导体存储器、磁带或软盘的计算机可读记录介质中之后分发。此时，例如，AR眼镜30通过在计算机中安装和执行各种程序来实现根据本公开的实施例或其修改的信息处理方法。
另外，用于AR眼镜30实现根据本公开的实施例或其修改的信息处理方法的各种程序可以在存储在包括在诸如因特网的网络上的服务器设备中的磁盘设备中之后下载到计算机。另外，由用于实现根据本公开的实施例或其修改的信息处理方法的各种程序提供的功能可以由OS和应用程序彼此协作地实现。在这种情况下，除了OS之外的部分可以在被存储在介质中之后被分发，或者除了OS之外的部分可以在被存储在服务器设备中之后下载到计算机。
另外，在本公开的实施例及其修改中描述的处理之中，被描述为自动执行的处理的全部或一些可以被手动执行，或者被描述为手动执行的处理的全部或一些可以通过已知方法自动执行。另外，除非另有说明，否则可以任意改变以上文档和附图中描述的处理过程、特定术语以及包括各种数据和参数的信息。例如，在每个附图中示出的各种信息不限于所示出的信息。
另外，根据本公开的实施例的AR眼镜30的每个部件(见图4)是功能概念性的，并且不一定按物理术语如附图中所示进行配置。也就是说，设备分布或集成的具体形式不限于所示出的形式，并且所有或一些设备可以被配置成根据各种负载、使用条件等在功能上或物理上分布或集成在任意单元中。
另外，除非引起任何处理矛盾，否则可以适当地组合本发明的实施例。另外，如果合适，可以改变根据本公开的实施例的流程图中示出的步骤的顺序。
<6.硬件配置的示例>
<6-1.关于手传感器>
将参照图23描述可应用于本公开的实施例及其修改的手传感器的硬件配置的示例。图23是示出手传感器的硬件配置的示例的框图。
如图23所示，与手传感器20对应的设备2000包括CPU 2001、只读存储器(readonly memory，ROM)2002、RAM 2003、接口(I/F)2004、接口(I/F)2005、通信设备2006和传感器2007。CPU 2001、ROM 2002、RAM 2003、接口(I/F)2004和接口(I/F)2005经由总线2008彼此连接。
ROM 2002存储用于操作设备2000的程序和数据。RAM 2003用作当CPU 2001执行程序时临时存储数据的工作存储器。
接口(I/F)2004是用于通信设备2006的通信接口，根据CPU 2001的指示，控制与AR眼镜30的通信。接口(I/F)2005是用于传感器2007的传感器接口，将从传感器2007发送的传感器信号提供给CPU 2001。
通信设备2006执行与AR眼镜的通信。通信设备2006将由传感器2007检测到的传感器信号发送到AR眼镜30。传感器2007检测到设备2000的位置、姿势等。传感器2007将检测到的传感器信号提供给CPU 2001。传感器2007对应于加速度传感器210、陀螺仪传感器220、方位传感器230和距离测量传感器240。
CPU 2001将经由接口(I/F)2005从传感器2007获取的传感器信号经由接口(I/F)2004发送到通信设备2006。
<6-2.关于AR眼镜>
将参照图24描述可应用于本公开的实施例及其修改的AR眼镜的硬件配置。图24是示出AR眼镜的硬件配置的示例的框图。
如图24所示，与AR眼镜30相对应的信息处理装置3000包括CPU 3010、ROM 3020、RAM 3030、接口(I/F)3041至3046、存储设备3050、输入设备3060、输出设备3070、驱动器3080、端口3090、通信设备3100、以及传感器3110。包括显示控制单元1506、音频I/F 1507和通信I/F 1508。包括在信息处理装置3000中的单元通过总线3120彼此连接。
CPU 3010用作例如算术处理设备或控制设备，并且基于记录在ROM 3020中的各种程序来控制部件的所有或一些操作。存储在ROM 3020中的各种程序可以记录在存储设备3050或经由驱动器3080连接的记录介质4001中。在这种情况下，CPU 3010基于存储在记录介质4001中的程序来控制部件的所有或一些操作。各种程序包括用于提供用于实现信息处理装置3000的信息处理的各种功能的程序。
ROM 3020用作辅助存储设备，其存储由CPU 3010读取的程序、用于计算的数据等。RAM 3030用作临时或永久存储例如由CPU 3010读取的程序和适当切换以执行由CPU 3010读取的程序的各种参数等的主存储设备。
CPU 3010、ROM 3020、RAM 3030可以与软件(ROM 3020等中存储的各种程序)协作，实现上述AR眼镜30的控制单元350所提供的单元(对象识别单元351至输出控制单元359)的各种功能。CPU 3010执行各种程序，并且使用经由接口(I/F)3041至3046获取的数据执行运算处理等，来执行AR眼镜30的处理。
接口(IF)3041例如是用于输入设备3060的输入接口。接口(IF)3042例如是用于输出设备3070的输出接口。接口(IF)3043包括例如用于驱动器3080的驱动器接口。接口(IF)3044是例如用于端口3090的端口接口。接口(IF)3045例如是用于通信设备3100的通信接口。接口(IF)3046例如是用于传感器3110的传感器接口。
存储设备3050是用于存储各种类型的数据的设备，并且例如，使用诸如硬盘驱动器(hard disk drive，HDD)的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等。上述AR眼镜的存储单元340的功能可以由存储设备3050实现。
输入设备3060例如由诸如触摸面板、按钮、开关或控制杆等用户向其输入信息的设备来实现。输入设备3060可以是能够使用红外线或其他无线电波发送控制信号的遥控器。此外，输入设备3060可以包括诸如麦克风的声音输入设备。接口(IF)3041包括与通过输入设备3060输入的各种信号的处理相对应的接口。
输出设备3070是能够在视觉上或听觉上向用户通知所获取的信息的设备，诸如显示设备或音频输出设备，例如扬声器或耳机。上述AR眼镜30的显示单元331和声音输出单元332可以通过输出设备3070实现。接口(IF)3041包括与对可以由输出设备3070处理的各种信号的处理相对应的接口。
驱动器3080例如是读取记录在记录介质4001中的信息并将信息写入到记录介质4001中的设备。记录介质4001包括磁盘、光盘、磁光盘、半导体存储器等。
端口3090是用于连接外部设备4002的连接端口，包括通用串行总线(universalserial bus，USB)端口、IEEE1394端口、小型计算机系统接口(small computer systeminterface，SCSI)、RS-232C端口、光学音频端子等。注意，外部设备4002包括打印机、便携式音乐播放器、数字摄像装置、数字视频摄像装置、IC记录器等。
通信设备3100是执行与服务器设备10和手传感器20的通信的通信设备。通信设备3100例如是用于有线或无线局域网(local area network，LAN)、长期演进(long termevolution，LTE)、蓝牙(注册商标)、无线USB(wireless USB，WUSB)等的通信卡。此外，通信设备3100可以是用于光通信的路由器、各种通信调制解调器等。上述AR眼镜30的通信单元320的功能可以由通信设备3100实现。
包括各种传感器的传感器3110对应于上述AR眼镜中包括的摄像装置311、加速度传感器312、陀螺仪传感器313、方位传感器314、麦克风315等。接口(IF)3046包括与从各种传感器提供的传感器信号的处理相对应的接口。
<7.结论>
根据本公开的实施例的AR眼镜30(信息处理装置的示例)包括显示单元331和控制单元350。显示单元331以要叠加在由用户视觉识别的现实空间上的方式显示虚拟操作对象，该虚拟操作对象是要操作的虚拟对象。控制单元350从在现实空间中存在于用户周围多个对象中确定虚拟操作对象要被叠加在其上的叠加目标对象，在显示虚拟操作对象的状态下检测用户的手的移动，并且在结合检测到的用户的手的移动来移动虚拟操作对象以接近叠加目标对象的同时向用户呈现虚拟操作对象。
因此，AR眼镜30可以通过结合用户的手的移动来移动虚拟操作对象，从而引导用户。结果，AR眼镜30可以提高在AR技术中操作虚拟对象期间的可用性。
另外，AR眼镜30基于用户的手的投影位置和虚拟操作对象在显示区域中的显示位置来移动操作对象，其中在用户的手的投影位置处用户的手的位置被投影到限定显示单元331的显示区域的平面上。结果，AR眼镜30可以以简单的处理确定用户的手与虚拟操作对象之间的位置关系。
另外，AR眼镜30以用户的手的投影位置和虚拟操作对象的显示位置彼此不重叠的方式移动操作对象。结果，AR眼镜30可以使得用户能够可靠地识别操作对象。
另外，AR眼镜30沿着将用户的手的投影位置连接至叠加目标对象的投影位置的线、以虚拟操作对象的显示位置在用户的手的投影位置之前的方式移动操作对象，其中在叠加目标对象的投影位置处叠加目标对象的位置被投影到限定显示单元331的显示区域的平面上。结果，AR眼镜30可以引导用户的手跟随操作对象。
另外，AR眼镜30移动虚拟操作对象直到虚拟操作对象到达叠加目标对象的投影位置。结果，AR眼镜30可以使得用户能够容易地抓握叠加目标对象。
另外，在移动虚拟操作对象直到虚拟操作对象到达叠加目标对象的投影位置之后，AR眼镜30向用户呈现叠加在叠加目标对象上的操作对象。结果，AR眼镜30可以在用于将用户引导到叠加目标对象的一系列处理之后促使用户对操作对象进行操作。另外，当操作对象被操作时，从叠加目标对象向用户给予适当的反作用力，并且结果，可以实现真实的操作感觉。
另外，AR眼镜30获取叠加目标对象的几何信息，并且基于所获取的几何信息来确定虚拟操作对象的布局。结果，AR眼镜30可以防止叠加目标对象与虚拟操作对象之间的位置偏差。
另外，AR眼镜30获取佩戴在用户的手上的传感器的分解能力信息，并且基于所获取的分解能力信息来确定虚拟操作对象的布局。结果，AR眼镜30可以向用户提供具有与手传感器20的能力匹配的布局的操作对象。
另外，AR眼镜30从通过对用户周围成像获得的摄像装置图像中检测到的多个识别对象中确定叠加目标对象。结果，AR眼镜30可以在扩大的空间中产生沉浸感。
另外，AR眼镜30基于多个识别对象中的每一个的三维位置和用户的手的三维位置来计算每个识别对象与用户的手之间的距离。另外，AR眼镜30针对多个识别对象中的每一个计算将多个识别对象中的每一个的三维位置和用户的手的三维位置彼此连接的向量与限定包括用户的手掌的平面的法向量之间的内积值。另外，AR眼镜30基于距离和内积值从多个识别对象中确定叠加目标对象。结果，AR眼镜30可以将虚拟操作对象叠加在用户很可能抓握的对象上。
另外，AR眼镜30基于识别多个对象的结果，从叠加目标对象候选中排除不适合用户抓握的对象。结果，AR眼镜30可以避免将虚拟操作对象叠加在不适合于操作的对象(例如包含液体的玻璃)上。
另外，AR眼镜30基于用户的特性来确定叠加目标对象。结果，AR眼镜30可以将虚拟操作对象叠加在与用户的特性匹配的对象上。
另外，AR眼镜30基于关于用户的身体障碍的信息来确定叠加目标对象。结果，AR眼镜30可以将虚拟操作对象叠加在对用户来说没有不方便的对象上。
另外，AR眼镜30基于用户的惯用手的信息来确定叠加目标对象。结果，AR眼镜30可以将虚拟操作对象叠加在位于用户容易抓握的位置处的对象上。
另外，AR眼镜30基于用户的动作确定叠加目标对象。结果，AR眼镜30可以将虚拟操作对象叠加在位于与用户的动作相匹配的位置处的对象上，例如，通过在用户行走时将用户前方的对象确定为叠加目标对象。
此外，AR眼镜30基于用户的手的投影位置与操作对象在显示区域中的显示位置之间的距离，将用户的手的移动确定为使用操作对象的用户的操作开始动作，其中在用户的手的投影位置处用户的手的位置被投影到限定显示单元331的显示区域的平面上。结果，AR眼镜30可以根据用户的请求灵活地操作。
另外，当在用户的手的投影位置与虚拟操作对象的显示位置之间的距离等于或小于预定阈值的状态下已经经过了预定时间段时，AR眼镜30将用户的手的移动确定为操作开始动作。结果，AR眼镜30可以提高确定用户使用操作对象的意图的准确性。
另外，AR眼镜30跟踪从通过对用户周围成像获得的摄像装置图像中检测到的多个识别对象的位置，以确定多个识别对象中的每一个是否可抓握。结果，AR眼镜30可以选择要作为叠加目标对象候选的对象，而不执行复杂的处理。
另外，AR眼镜30将标记信息分配给被确定为可抓握的对象。结果，一旦对象被确定为可抓握，AR眼镜30就可以提高识别该对象的准确性。
尽管以上已经描述了本公开的实施例及其修改，但是本公开的技术范围并不限定于上述实施例及修改，并且在不脱离本公开的主旨情况下可以进行各种修改。另外，可以适当地组合不同实施例和修改的部件。
此外，本说明书中描述的效果仅仅是说明性或示例性的，而不是限制性的。也就是说，根据本公开的技术可以根据本说明书的描述与以上效果一起或者代替以上效果而表现出对于本领域技术人员明显的其他效果。
注意，根据本公开的技术还可以具有以下配置，其也落入本公开的技术范围内。
(1)
一种信息处理装置，包括：
显示单元，所述显示单元以要叠加在由用户视觉识别的现实空间上的方式显示虚拟操作对象；以及
控制单元，所述控制单元从在现实空间中存在于用户周围的多个对象中确定所述操作对象要被叠加在其上的叠加目标对象，在显示所述操作对象的状态下检测用户的手的移动，并且在结合检测到的用户的手的移动来移动所述操作对象以接近所述叠加目标对象的同时向用户呈现所述操作对象。
(2)
根据(1)所述的信息处理装置，其中，
所述控制单元
基于所述用户的手的投影位置和所述操作对象在所述显示单元的显示区域中的显示位置来移动所述操作对象，其中，在所述用户的手的投影位置处所述用户的手的位置被投影到限定所述显示区域的平面上。
(3)
根据(2)所述的信息处理装置，其中，
所述控制单元
以所述用户的手的投影位置和所述操作对象的显示位置彼此不重叠的方式移动所述操作对象。
(4)
根据(2)或(3)所述的信息处理装置，其中，
所述控制单元
沿着将所述用户的手的投影位置连接到所述叠加目标对象的投影位置的线、以所述操作对象的显示位置在所述用户的手的投影位置之前的方式移动所述操作对象，其中，在所述叠加目标对象的投影位置处所述叠加目标对象的位置被投影到所述平面上。
(5)
根据(4)所述的信息处理装置，其中，
所述控制单元
移动所述操作对象直到所述操作对象到达所述叠加目标对象的投影位置。
(6)
根据(5)所述的信息处理装置，其中，
在移动所述操作对象直到所述操作对象到达所述叠加目标对象的投影位置之后，所述控制单元
向所述用户呈现叠加在所述叠加目标对象上的所述操作对象。
(7)
根据(1)至(6)中任一项所述的信息处理装置，其中，
所述控制单元
获取所述叠加目标对象的几何信息，并且基于所获取的几何信息来确定所述操作对象的布局。
(8)
根据(7)所述的信息处理装置，其中，
所述控制单元
获取佩戴在所述用户的手上的传感器的分解能力信息，以及
基于所获取的分解能力信息来确定所述操作对象的布局。
(9)
根据(1)至(8)中任一项所述的信息处理装置，其中，
所述控制单元
从通过对所述用户的周围进行成像而获得的摄像装置图像中检测到的多个识别对象中确定所述叠加目标对象。
(10)
根据(9)所述的信息处理装置，其中，
所述控制单元
基于所述多个识别对象的三维位置和所述用户的手的三维位置来计算所述识别对象中的每一个与所述用户的手之间的距离，
针对所述多个识别对象中的每一个，计算将所述多个识别对象的三维位置和所述用户的手的三维位置彼此连接的向量与限定包括所述用户的手掌的平面的法向量之间的内积值，以及
基于所述距离和所述内积值从所述多个识别对象中确定所述叠加目标对象。
(11)
根据(1)至(10)中任一项所述的信息处理装置，其中，
所述控制单元
基于识别所述多个对象的结果，从叠加目标对象候选中排除不适合所述用户抓握的对象。
(12)
根据(1)至(11)中任一项所述的信息处理装置，其中，
所述控制单元
基于所述用户的特性来确定所述叠加目标对象。
(13)
根据(12)所述的信息处理装置，其中，
所述控制单元
基于关于所述用户的身体障碍的信息来确定所述叠加目标对象。
(14)
根据(12)所述的信息处理装置，其中，
所述控制单元
基于关于所述用户的惯用手的信息来确定所述叠加目标对象。
(15)
根据(1)所述的信息处理装置，其中，
所述控制单元
基于所述用户的手的投影位置与所述操作对象在所述显示单元的显示区域中的显示位置之间的距离，将所述用户的手的移动确定为使用所述操作对象的所述用户的操作开始动作，其中，在所述用户的手的投影位置处所述用户的手的位置被投影到限定所述显示区域的平面上。
(16)
根据(15)所述的信息处理装置，其中，
当在所述用户的手的投影位置与所述操作对象的显示位置之间的距离等于或小于预定阈值的状态下已经经过了预定时间段时，所述控制单元
将所述用户的手的移动确定为所述操作开始动作。
(17)
根据(1)所述的信息处理装置，其中，
所述控制单元
跟踪从通过对所述用户的周围进行成像而获得的摄像装置图像中检测到的多个识别对象的位置，以确定所述多个识别对象中的每一个是否是可抓握的。
(18)
根据(17)所述的信息处理装置，其中，
所述控制单元
将标记信息分配给被确定为可抓握的对象。
(19)
一种由处理器执行的信息处理方法，所述信息处理方法包括：
以要叠加在由用户视觉识别的现实空间上的方式显示虚拟操作对象；
从在现实空间中存在于用户周围的多个对象中确定所述操作对象要被叠加在其上的叠加目标对象；
在显示所述操作对象的状态下检测用户的手的移动；以及
在结合检测到的用户的手的移动来移动所述操作对象以接近所述叠加目标对象的同时向用户呈现所述操作对象。
(20)
一种信息处理程序，所述信息处理程序用于使处理器执行以下处理：
以要叠加在由用户视觉识别的现实空间上的方式显示虚拟操作对象；
从在现实空间中存在于用户周围的多个对象中确定所述操作对象要被叠加在其上的叠加目标对象；
在显示所述操作对象的状态下检测所述用户的手的移动；以及
在结合检测到的所述用户的手的移动来移动所述操作对象以接近所述叠加目标对象的同时向所述用户呈现所述操作对象。
附图标记列表
1(1A，1B)AR眼镜系统
2网络
10服务器设备
20手传感器
30 AR眼镜
110通信单元
120存储单元
130控制单元
131识别单元
132估计单元
210加速度传感器
220陀螺仪传感器
230方位传感器
240距离测量传感器
310传感器单元
311摄像装置
312加速度传感器
313陀螺仪传感器
314方位传感器
315麦克风
320通信单元
330输出单元
331显示单元
332声音输出单元
340存储单元
341可抓握性确定信息存储单元
342叠加确定信息存储单元
350控制单元
351对象识别单元
352位置估计单元
353可抓握性确定单元
354操作开始动作确定单元
355叠加目标对象确定单元
356虚拟操作对象布局确定单元
357移动开始位置确定单元
358应用执行单元
359输出控制单元

Claims (20)

1.一种信息处理装置，包括：
显示单元，所述显示单元以要叠加在由用户视觉识别的现实空间上的方式显示虚拟操作对象；以及
控制单元，所述控制单元从在现实空间中存在于用户周围的多个对象中确定所述操作对象要被叠加在其上的叠加目标对象，在显示所述操作对象的状态下检测用户的手的移动，并且在结合检测到的用户的手的移动来移动所述操作对象以接近所述叠加目标对象的同时向用户呈现所述操作对象。
2.根据权利要求1所述的信息处理装置，其中，
所述控制单元
基于所述用户的手的投影位置和所述操作对象在所述显示单元的显示区域中的显示位置来移动所述操作对象，其中，在所述用户的手的投影位置处所述用户的手的位置被投影到限定所述显示区域的平面上。
3.根据权利要求2所述的信息处理装置，其中，
所述控制单元
以所述用户的手的投影位置和所述操作对象的显示位置彼此不重叠的方式移动所述操作对象。
4.根据权利要求3所述的信息处理装置，其中，
所述控制单元
沿着将所述用户的手的投影位置连接到所述叠加目标对象的投影位置的线、以所述操作对象的显示位置在所述用户的手的投影位置之前的方式移动所述操作对象，其中，在所述叠加目标对象的投影位置处所述叠加目标对象的位置被投影到所述平面上。
5.根据权利要求4所述的信息处理装置，其中，
所述控制单元
移动所述操作对象直到所述操作对象到达所述叠加目标对象的投影位置。
6.根据权利要求5所述的信息处理装置，其中，
在移动所述操作对象直到所述操作对象到达所述叠加目标对象的投影位置之后，所述控制单元
向所述用户呈现叠加在所述叠加目标对象上的所述操作对象。
7.根据权利要求1所述的信息处理装置，其中，
所述控制单元
获取所述叠加目标对象的几何信息，并且基于所获取的几何信息来确定所述操作对象的布局。
8.根据权利要求7所述的信息处理装置，其中，
所述控制单元
获取佩戴在所述用户的手上的传感器的分解能力信息，以及
基于所获取的分解能力信息来确定所述操作对象的布局。
9.根据权利要求1所述的信息处理装置，其中，
所述控制单元
从通过对所述用户的周围进行成像而获得的摄像装置图像中检测到的多个识别对象中确定所述叠加目标对象。
10.根据权利要求9所述的信息处理装置，其中，
所述控制单元
基于所述多个识别对象的三维位置和所述用户的手的三维位置来计算所述识别对象中的每一个与所述用户的手之间的距离，
针对所述多个识别对象中的每一个，计算将所述多个识别对象的三维位置和所述用户的手的三维位置彼此连接的向量与限定包括所述用户的手掌的平面的法向量之间的内积值，以及
基于所述距离和所述内积值从所述多个识别对象中确定所述叠加目标对象。
11.根据权利要求1所述的信息处理装置，其中，
所述控制单元
基于识别所述多个对象的结果，从叠加目标对象候选中排除不适合所述用户抓握的对象。
12.根据权利要求1所述的信息处理装置，其中，
所述控制单元
基于所述用户的特性来确定所述叠加目标对象。
13.根据权利要求12所述的信息处理装置，其中，
所述控制单元
基于关于所述用户的身体障碍的信息来确定所述叠加目标对象。
14.根据权利要求12所述的信息处理装置，其中，
所述控制单元
基于关于所述用户的惯用手的信息来确定所述叠加目标对象。
15.根据权利要求1所述的信息处理装置，其中，
所述控制单元
基于所述用户的手的投影位置与所述操作对象在所述显示单元的显示区域中的显示位置之间的距离，将所述用户的手的移动确定为使用所述操作对象的所述用户的操作开始动作，其中，在所述用户的手的投影位置处所述用户的手的位置被投影到限定所述显示区域的平面上。
16.根据权利要求15所述的信息处理装置，其中，
当在所述用户的手的投影位置与所述操作对象的显示位置之间的距离等于或小于预定阈值的状态下已经经过了预定时间段时，所述控制单元
将所述用户的手的移动确定为所述操作开始动作。
17.根据权利要求1所述的信息处理装置，其中，
所述控制单元
跟踪从通过对所述用户的周围进行成像而获得的摄像装置图像中检测到的多个识别对象的位置，以确定所述多个识别对象中的每一个是否是可抓握的。
18.根据权利要求17所述的信息处理装置，其中，
所述控制单元
将标记信息分配给被确定为可抓握的对象。
19.一种由处理器执行的信息处理方法，所述信息处理方法包括：
以要叠加在由用户视觉识别的现实空间上的方式显示虚拟操作对象；
从在现实空间中存在于用户周围的多个对象中确定所述操作对象要被叠加在其上的叠加目标对象；
在显示所述操作对象的状态下检测用户的手的移动；以及
在结合检测到的用户的手的移动来移动所述操作对象以接近所述叠加目标对象的同时向用户呈现所述操作对象。
20.一种信息处理程序，所述信息处理程序用于使处理器执行以下处理：
以要叠加在由用户视觉识别的现实空间上的方式显示虚拟操作对象；
从在现实空间中存在于用户周围的多个对象中确定所述操作对象要被叠加在其上的叠加目标对象；
在显示所述操作对象的状态下检测所述用户的手的移动；以及
在结合检测到的所述用户的手的移动来移动所述操作对象以接近所述叠加目标对象的同时向所述用户呈现所述操作对象。
CN202180049860.2A 2020-07-21 2021-07-02 信息处理装置、信息处理方法和信息处理程序 Pending CN115917479A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020124150 2020-07-21
JP2020-124150 2020-07-21
PCT/JP2021/025121 WO2022019090A1 (ja) 2020-07-21 2021-07-02 情報処理装置、情報処理方法、及び情報処理プログラム

Publications (1)

Publication Number Publication Date
CN115917479A true CN115917479A (zh) 2023-04-04

Family

ID=79729721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180049860.2A Pending CN115917479A (zh) 2020-07-21 2021-07-02 信息处理装置、信息处理方法和信息处理程序

Country Status (3)

Country Link
US (1) US20230222742A1 (zh)
CN (1) CN115917479A (zh)
WO (1) WO2022019090A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH075978A (ja) * 1993-06-18 1995-01-10 Sony Corp 入力装置
JP4533087B2 (ja) * 2004-10-28 2010-08-25 キヤノン株式会社 画像処理方法、画像処理装置
JP6123694B2 (ja) * 2014-02-10 2017-05-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9852546B2 (en) * 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US9805514B1 (en) * 2016-04-21 2017-10-31 Microsoft Technology Licensing, Llc Dynamic haptic retargeting
JP2018092313A (ja) * 2016-12-01 2018-06-14 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2018092497A (ja) * 2016-12-07 2018-06-14 三菱自動車工業株式会社 操作表示装置
JP2018112894A (ja) * 2017-01-11 2018-07-19 キヤノン株式会社 システムおよび制御方法
JPWO2019069575A1 (ja) * 2017-10-05 2020-11-19 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20190340821A1 (en) * 2018-05-04 2019-11-07 Microsoft Technology Licensing, Llc Multi-surface object re-mapping in three-dimensional use modes

Also Published As

Publication number Publication date
US20230222742A1 (en) 2023-07-13
WO2022019090A1 (ja) 2022-01-27

Similar Documents

Publication Publication Date Title
US11083950B2 (en) Information processing apparatus and information processing method
US10841632B2 (en) Sequential multiplayer storytelling in connected vehicles
WO2016031105A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2013184257A (ja) ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
EP3196734B1 (en) Control device, control method, and program
JP2009011362A (ja) 情報処理システム、ロボット装置及びその制御方法
JPWO2020110659A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20180005445A1 (en) Augmenting a Moveable Entity with a Hologram
JP6134895B2 (ja) ロボット制御システム、ロボット制御プログラムおよび説明ロボット
US20200269421A1 (en) Information processing device, information processing method, and program
JP6723417B1 (ja) 仮想現実システム、プログラム、およびコンピュータ読み取り可能な記憶媒体
WO2021033509A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN113448343A (zh) 用于设定飞行器的目标飞行路径的方法、系统和程序
KR20190135870A (ko) 외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는 전자 장치 및 방법
CN115176306A (zh) 用于可穿戴系统的手部和图腾输入融合
JP6134894B2 (ja) ロボット制御システムおよびロボット
JP2023507241A (ja) 随意のデュアルレンジ運動学を用いたプロキシコントローラスーツ
JP2009258884A (ja) ユーザインタフェイス
CN115777091A (zh) 检测装置及检测方法
JP2013210906A (ja) 制御方法、制御装置及びプログラム
CN115917479A (zh) 信息处理装置、信息处理方法和信息处理程序
JP6142306B2 (ja) ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法
US11660526B2 (en) Estimation apparatus, estimation method, and program
US20190369713A1 (en) Display control apparatus, display control method, and program
KR101048406B1 (ko) 사용자 자세를 사용자 명령으로 인식하는 게임 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination