CN104662587B - 三维用户界面装置以及三维操作方法 - Google Patents

三维用户界面装置以及三维操作方法 Download PDF

Info

Publication number
CN104662587B
CN104662587B CN201380039871.8A CN201380039871A CN104662587B CN 104662587 B CN104662587 B CN 104662587B CN 201380039871 A CN201380039871 A CN 201380039871A CN 104662587 B CN104662587 B CN 104662587B
Authority
CN
China
Prior art keywords
dimensional
virtual
information
privileged site
predetermined processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380039871.8A
Other languages
English (en)
Other versions
CN104662587A (zh
Inventor
森下幸司
永井克幸
野田尚志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Electrical Scheme Innovation Corp
Original Assignee
Japan Electrical Scheme Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Electrical Scheme Innovation Corp filed Critical Japan Electrical Scheme Innovation Corp
Publication of CN104662587A publication Critical patent/CN104662587A/zh
Application granted granted Critical
Publication of CN104662587B publication Critical patent/CN104662587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种三维用户界面装置，具有：计算部，其使用从三维传感器获取的三维信息，来计算与对象者的特定部位有关的三维坐标空间上的三维位置信息；生成部，其生成表示配置在三维坐标空间中的虚拟三维对象的虚拟三维对象数据；状态获取部，其获取上述对象者的该特定部位的状态信息；操作确定部，其基于状态信息与三维位置信息的变化的组合，从多个规定处理之中确定应当执行的规定处理；处理部，其对虚拟三维对象数据实施通过操作确定部确定的规定处理；显示处理部，其使与被实施了该规定处理后的虚拟三维对象数据对应的虚拟三维对象显示在显示部中。

Description

三维用户界面装置以及三维操作方法
技术领域
本发明涉及三维用户界面技术。
背景技术
近几年，像3DCG(3D computer graphics)(三维计算机图形)或扩充实境(AR:Augmented Reality)等那样的在计算机上实现三维环境的技术被积极地实用化。AR技术是使虚拟对象或数据重叠地显示在经由智能电话等便携设备的照相机或头戴式显示器(HMD:Head Mount Display)得到的现实世界的对象物上。通过这样的显示技术，用户能够视觉辨认三维影像。在下述专利文献1中，提出了如下技术：使用深度检测相机来进行场景内的用户的识别以及跟踪，根据其结果，使模拟该用户的移动的虚拟形象动画(avataranimation)显示在该场景内。
然而，现状是用于操作用上述那样的技术表现的三维环境的用户界面(UI)是使用二维输入装置实现的。例如，将二维的鼠标操作转换为三维空间的操作。因此，现有的操作三维环境的UI多不能直观地容易理解。
因此，在下述专利文献2中，提出了如下技术：使用具有深度相机的远程遥控器，检测远程遥控器的位置的变化，并基于该变化，触发(trigger)引起基于应用(application)的行为(action)的输入指令。另外，在下述专利文献3中，提出了不需要袖套(arm cover)或手套等附加的装备就能向用户提供自然的三维环境中的人机交互(computerinteraction)经验的技术。在该提出的技术中，在与用户相对的位置设置深度相机，将被该深度相机拍摄到的用户和插入了虚拟对象(virtual object)的图像同时显示在显示器上，同时检测该用户与虚拟对象之间的交互。
现有技术文献
专利文献
专利文献1：日本特表2011-515736号公报
专利文献2：日本特表2011-514232号公报
专利文献3：日本专利第4271236号公报
发明内容
发明要解决的课题
根据上述专利文献3中提出的方法，能够使配置在被影像化的现实空间内的虚拟对象通过存在于该影像内的用户的手进行移动。然而，在专利文献3中，丝毫未提到相对于该虚拟对象的具体的操作方法以及除了移动以外的操作方法。
本发明是鉴于上述的情况而完成的，提供一种直观地且易于理解地对被立体地显示的虚拟三维对象进行操作的用户界面技术。
用于解决课题的手段
在本发明的各方式中，为了解决上述课题而分别采用以下的构成。
第一方式的三维用户界面装置具有：三维信息获取部，其从三维传感器获取三维信息；位置计算部，其使用通过该三维信息获取部获取的三维信息来计算与对象者的特定部位有关的三维坐标空间上的三维位置信息；虚拟数据生成部，其生成表示配置在三维坐标空间中的虚拟三维对象的虚拟三维对象数据；状态获取部，其获取上述对象者的该特定部位的状态信息；操作确定部，其基于通过该状态获取部获取的状态信息与上述三维位置信息的变化的组合，从多个规定处理之中确定应当执行的规定处理；对象处理部，其对虚拟三维对象数据实施通过操作确定部确定的规定处理；以及显示处理部，其使与被实施了该规定处理后的虚拟三维对象数据对应的虚拟三维对象显示于显示部中。
本发明的第二方式的三维操作方法，其通过至少一个计算机执行。第二方式的三维操作方法包含：从三维传感器获取三维信息，使用获取的三维信息来计算与对象者的特定部位有关的三维坐标空间上的三维位置信息，生成表示配置于三维坐标空间中的虚拟三维对象的虚拟三维对象数据，获取上述对象者的该特定部位的状态信息，基于获取的状态信息与上述三维位置信息的变化的组合，从多个规定处理之中确定应当执行的规定处理，对虚拟三维对象数据实施所确定的上述规定处理，使与被实施了上述规定处理后的虚拟三维对象数据对应的虚拟三维对象显示在显示部中。
此外，作为本发明的其他方式，可以是使计算机实现上述第1方式所包含的各构成的程序，也可以是记录有这样的程序的计算机能够读取的记录介质。该记录介质包含非暂时的有形的介质。
发明效果
根据上述各方式，能够提供一种直观地且易于理解地操作被立体地显示的虚拟三维对象的用户界面技术。
附图说明
上述目的、以及其它的目的、特征以及优点通过以下所述的优选的实施方式以及附加的以下附图进而得以明确。
图1是概念地表示第1实施方式中的三维用户界面装置(3D-UI装置)的硬件构成例的图。
图2是表示第1实施方式中的三维用户界面装置(3D-UI装置)的利用方式的例子的图。
图3是表示HMD的外观构成的例子的图。
图4是概念地表示第1实施方式中的传感器侧装置的处理构成例的图。
图5是概念地表示第1实施方式中的显示侧装置的处理构成例的图。
图6是表示显示于HMD中的合成图像的例子的图。
图7是表示第1实施方式中的三维用户界面装置(3D-UI装置)的动作例的流程图。
图8是表示实施例1中的虚拟3D对象的移动操作的例子的图。
图9是表示实施例1中的虚拟3D对象的缩小操作的例子的图。
图10是表示实施例1中的虚拟3D对象的旋转操作的例子的图。
图11是概念地表示变形例中的三维用户界面装置(3D-UI装置)的硬件构成例的图。
图12是概念地表示变形例中的三维用户界面装置(3D-UI装置)的处理构成例的图。
具体实施方式
以下，关于本发明的实施方式进行说明。此外，以下列举的各实施方式分别是例示，本发明不限定于以下各实施方式的构成。
本实施方式中的三维用户界面装置具有：三维信息获取部，其从三维传感器获取三维信息；位置计算部，其使用通过该三维信息获取部获取的三维信息来计算与对象者的特定部位有关的三维坐标空间上的三维位置信息；虚拟数据生成部，其生成表示配置于三维坐标空间中的虚拟三维对象的虚拟三维对象数据；状态获取部，其获取上述对象者的该特定部位的状态信息；操作确定部，其基于通过该状态获取部获取的状态信息与上述三维位置信息的变化的组合，从多个规定处理之中确定应当被执行的规定处理；对象处理部，其对虚拟三维对象数据实施通过操作确定部确定的规定处理；以及显示处理部，其将与被实施了该规定处理后的虚拟三维对象数据对应的虚拟三维对象显示在显示部中。
本实施方式中的三维操作方法包含：至少一个计算机从三维传感器获取三维信息，使用获取的三维信息来计算与对象者的特定部位有关的三维坐标空间上的三维位置信息，生成表示配置在三维坐标空间中的虚拟三维对象的虚拟三维对象数据，获取上述对象者的该特定部位的状态信息，基于获取的状态信息与上述三维位置信息的变化的组合而从多个规定处理之中确定应该执行的规定处理，对虚拟三维对象数据实施所确定的上述规定处理，将与被实施了上述规定处理后的虚拟三维对象数据对应的虚拟三维对象显示在显示部中。
在本实施方式中，从三维传感器获取三维信息。三维信息包含通过可见光得到的对象者的二维图像、和距三维传感器的距离(深度)的信息。三维传感器可以由可见光照相机和深度传感器等多个设备构成。
在本实施方式中，通过使用该三维信息来计算与对象者的特定部位有关的三维坐标空间上的三维位置信息，并生成配置在该三维坐标空间中的虚拟三维对象数据。在此，特定部位是指对象者为了操作显示于显示部中的虚拟三维对象而使用的身体的一部分。本实施方式不限制该特定部位。
上述三维位置信息的计算不仅包含从通过三维传感器检测到的三维信息直接地得到三维位置信息的方式，也包含从通过三维传感器检测到的三维信息间接地得到三维位置信息的方式。间接是指从通过对由三维传感器检测到的三维信息实施规定的处理而得到的信息得到该三维位置信息。因此，该三维坐标空间例如可以通过三维传感器的照相机坐标系来确定，也可以通过根据从三维信息检测出的具有已知形状的图像标记(marker)等计算的标记坐标系来确定。
进而，在本实施方式中，获取对象者的特定部位的状态信息。该特定部位与被设为三维位置信息的计算对象的特定部位是相同的。该状态信息表示至少两个状态之中的一个。具体来说，在特定部位为手的情况下，状态信息表示握着的状态及打开的状态等至少两个之中的一个。本实施方式在能够检测的范围内，不限制该状态信息所能够表示的状态的数量。
在本实施方式中，像这样，使用从三维传感器依次获取的三维信息来依次计算与对象者的特定部位有关的三维位置信息，并且获取该特定部位的状态信息，由此检测与对象者的特定部位有关的状态以及三维位置信息的变化、即对象者的特定部位的三维的动作(三维姿势)。该检测的三维姿势通过特定部位的移动以及状态形成。
在本实施方式中，基于表示这样的三维姿势的、状态信息与三维位置信息的变化的组合来确定规定处理，对虚拟三维对象数据适用该规定处理。然后，与实施该规定处理而得到的结果对应的虚拟三维对象显示于显示部中。在此，规定处理是指例如使虚拟三维对象移动、旋转、放大、缩小的处理。
因此，根据本实施方式，对象者(用户)通过使用自身的特定部位来进行规定的三维姿势，从而能够按照喜欢的方式操作显示于显示部中的虚拟三维对象。而且，在本实施方式中，由于能够通过用户自身的特定部位的三维姿势来进行虚拟三维对象的操作，所以用户能够得到直观地且容易理解地操作虚拟三维对象的感觉。而且，在本实施方式中，由于不仅考虑特定部位的位置的变化，也考虑特定部位的状态来确定对虚拟三维对象的操作，所以根据本实施方式，对用户来说能够以与对现实世界的物体进行的操作相同的操作感来操作虚拟三维对象。
以下，关于上述的实施方式进一步详细地进行说明。
第1实施方式
〔装置构成〕
图1是概念地表示第1实施方式中的三维用户界面装置(以下，记为3D-UI装置)1的硬件构成例的图。第1实施方式中的3D-UI装置1大致具有传感器侧构成与显示侧构成。传感器侧构成由三维传感器(以下，记为3D传感器)8以及传感器侧装置10形成。显示侧构成由头戴式显示器(以下，记为HMD)9以及显示侧装置20形成。以下，将三维适当省略地记为3D。
图2是表示第1实施方式中的3D-UI装置1的利用方式的例子的图。如图2所示那样，3D传感器8配置在能够检测对象者(用户)的特定部位的位置。HMD9被安装于对象者(用户)的头部，使对象者同时视觉辨认与对象者的视线对应的视线影像和合成在该视线影像中的上述虚拟3D对象。
3D传感器8检测为了检测对象者的特定部位等而被利用的3D信息。3D传感器8例如如Kinect(注册商标)那样，通过可见光照相机以及距离图像传感器实现。距离图像传感器也称为深度传感器，从激光器向对象者照射近红外光的图案，根据用检测近红外光的照相机拍摄该图案而得到的信息来计算从距离图像传感器到对象者的距离(深度)。另外，3D传感器8本身的实现方法没有限制，也可以通过使用多个可见光照相机的三维扫描仪方式实现3D传感器8。另外，在图1中，3D传感器8以一个构件图示，但3D传感器8也可以由拍摄对象者的二维图像的可见光照相机以及检测到对象者为止的距离的传感器等多个设备实现。
图3是表示HMD9的外观构成的例子的图。在图3中，示出了称为视频透视(VideoSee Through)型的HMD9的构成。在图3的例子中，HMD9具有两个视线照相机9a及9b、两个显示器9c及9d。各视线照相机9a及9b分别拍摄与用户的各视线对应的各视线图像。因此，HMD9也能够称为拍摄部。各显示器9c以及9d配置为覆盖用户的大部分视场，显示在各视线图像中合成了虚拟3D对象的合成3D图像。
传感器侧装置10以及显示侧装置20用总线等相互连接，分别具有CPU(CentralProcessing Unit:中央处理器)2、存储器3、通信装置4、输入输出接口(I/F)5等。存储器3为RAM(Random Access Memory:随机存取存储器)、ROM(Read Only Memory:只读存储器)、硬盘、可移动型存储介质等。
传感器侧装置10的输入输出I/F5与3D传感器8连接，显示侧装置20的输入输出I/F5与HMD9连接。输入输出I/F5与3D传感器8之间，以及，输入输出I/F5与HMD9之间也可以通过无线的方式连接为能够通信。各通信装置4通过无线或者有线与其他装置(传感器侧装置10、显示侧装置20等)进行通信。本实施方式不限于这样的通信方式。另外，关于传感器侧装置10以及显示侧装置20的具体的硬件构成也无限制。
〔处理构成〕
〈传感器侧装置〉
图4是概念地表示第1实施方式中的传感器侧装置10的处理构成例的图。第1实施方式中的传感器侧装置10具有3D信息获取部11、第1对象检测部12、第1基准设定部13、位置计算部14、状态获取部15、发送部16等。这些各处理部例如通过由CPU2执行存储在存储器3中的程序从而实现。另外，该程序也可以从例如CD(Compact Disc:光盘)、存储卡等那样的可移动型记录介质或网络上的其他计算机经由输入输出I/F5而安装并存储在存储器3中。
3D信息获取部11依次获取通过3D传感器8检测到的3D信息。
第1对象检测部12根据由3D信息获取部11获取的3D信息来检测已知的共通实际对象。共通实际对象是配置在现实世界中的图像或物体，称为AR(Augmented Reality)标记等。本实施方式只要能够从该共通实际对象不依赖参照方向地稳定地得到某个基准点以及从该基准点引出的相互正交的三个方向，就不限制该共通实际对象的具体的形式。第1对象检测部12预先保持有关于该共通实际对象所表现的形状、尺寸、颜色等的信息，使用这样的已知的信息从3D信息检测共通实际对象。
第1基准设定部13基于通过第1对象检测部12检测的共通实际对象来设定3D坐标空间，并且计算3D传感器8在该3D坐标空间中的位置以及朝向。例如，第1基准设定部13设定如下3D坐标空间，该3D坐标空间将从共通实际对象抽出的基准点作为原点，将从该基准点引出的相互正交的3个方向作为各轴。第1基准设定部13通过与共通实际对象有关的已知的形状以及尺寸(与本来的形状以及尺寸相当)与从3D信息抽出的共通实际对象所表现的形状以及尺寸(与来自3D传感器8的视觉表现相当)的比较，来计算3D传感器8的位置以及朝向。
位置计算部14使用通过3D信息获取部11依次获取的3D信息，依次计算与对象者的特定部位有关的上述3D坐标空间上的3D位置信息。在第1实施方式中，位置计算部14具体来说如下所述地计算该3D位置信息。位置计算部14首先从通过3D信息获取部11获取的3D信息中抽出对象者的特定部位的3D位置信息。在此抽出的3D位置信息与3D传感器8的照相机坐标系对应。因此，位置计算部14基于通过第1基准设定部13计算出的3D传感器8的位置及朝向以及3D坐标空间，将与3D传感器8的照相机坐标系对应的3D位置信息转换为在第1基准设定部13中设定的3D坐标空间上的3D位置信息。该转换意味着从3D传感器8的照相机坐标系向基于上述共通实际对象而设定的3D坐标系的转换。
在此，应当检测的对象者的特定部位可以是多个。例如，可能存在作为多个特定部位而利用对象者的双手的方式。在这种情况下，位置计算部14从通过3D信息获取部11获取的3D信息中分别抽出多个特定部位的3D位置信息，将该各3D位置信息分别转换为3D坐标空间上的各3D位置信息。另外，特定部位由于是指对象者为了操作显示于显示部中的虚拟3D对象而使用的身体的一部分，所以具有一定程度的面积或体积。因此，通过位置计算部14计算的3D位置信息可以是该特定部位中的某一点的位置信息，也可以是多点的位置信息。
状态获取部15获取对象者的特定部位的状态信息。该特定部位与在位置计算部14中被设为检测对象的特定部位相同。本实施方式在能够检测的范围内不限制该状态信息能表示的状态的数量。另外，在利用多个特定部位的情况下，状态获取部15分别获取与各特定部位有关的状态信息。
状态获取部15例如预先分别保持有与该特定部位的要识别的各状态对应的图像特征信息，通过从包含于由3D信息获取部11获取的3D信息中的2D图像抽出的特征信息与该被预先保持的各图像特征信息的比较，来获取该特定部位的状态信息。另外，状态获取部15也可以根据从安装于该特定部位的应变传感器(未图示)得到的信息来获取该特定部位的状态信息。另外，状态获取部15也可以从来自用对象者的手操作的输入鼠标(未图示)的信息来获取该状态信息。而且，状态获取部15也可以通过识别由麦克风(未图示)得到的声音而获取该状态信息。
发送部16将与对象者的特定部位有关的通过位置计算部14计算出的该三维坐标空间上的三维位置信息、及通过状态获取部15获取的状态信息发送至显示侧装置20。
〈显示侧装置〉
图5是概念地表示第1实施方式中的显示侧装置20的处理构成例的图。第1实施方式中的显示侧装置20具有视线图像获取部21、第2对象检测部22、第2基准设定部23、虚拟数据生成部24、操作确定部25、对象处理部26、图像合成部27、显示处理部28等。这些各处理部例如通过由CPU2执行存储在存储器3中的程序从而被实现。另外，该程序也可以从例如CD(Compact Disc)、存储卡等那样的可移动型记录介质或网络上的其他计算机经由输入输出I/F5被安装并存储在存储器3中。
视线图像获取部21从HMD9获取能映现对象者的特定部位的视线图像。该特定部位也与在传感器侧装置10中设为检测对象的特定部位相同。在本实施方式中，由于设有视线照相机9a及9b，所以视线图像获取部21分别获取与左眼及右眼分别对应的各视线图像。此外，由于各处理部对与左眼以及右眼对应的两个视线图像分别进行相同的处理，所以在以下的说明中，将一个视线图像作为对象来进行说明。
第2对象检测部22从通过视线图像获取部21获取的视线图像检测已知的共通实际对象。该共通实际对象与上述的用传感器侧装置10检测到的对象相同。由于第2对象检测部22的处理与上述传感器侧装置10的第1对象检测部12相同，所以在此省略详细说明。此外，视线图像所包含的共通实际对象与在3D传感器8中得到的3D信息所包含的共通实际对象的拍摄方向不同。
第2基准设定部23基于通过第2对象检测部22检测到的共通实际对象来设定通过传感器侧装置10的第1基准设定部13设定的3D坐标空间，并且分别计算HMD9的位置及朝向。由于关于第2基准设定部23的处理也与传感器侧装置10的第1基准设定部13相同，所以在此省略详细说明。由于通过第2基准设定部23设定的3D坐标空间也是基于与通过传感器侧装置10的第1基准设定部13设定的3D坐标空间相同的共通实际对象设定的，所以作为结果，3D坐标空间在传感器侧装置10与显示侧装置20之间共享。
虚拟数据生成部24生成配置于通过第2基准设定部23与传感器侧装置10共享的3D坐标空间中的虚拟3D对象数据。虚拟数据生成部24也可以同时生成该虚拟3D对象数据和配置虚拟3D对象的虚拟3D空间的数据。
操作确定部25从传感器侧装置10接收与对象者的特定部位有关的该3D坐标空间上的3D位置信息以及状态信息，基于该状态信息与3D位置信息的变化的组合，从多个规定处理之中确定通过对象处理部26执行的一个规定处理。3D位置信息的变化根据与上次处理时得到的3D位置信息之间的关系而计算。另外，在多个特定部位(例如，双手)被利用的情况下，操作确定部25根据从传感器侧装置10获取的多个3D位置信息计算多个特定部位间的位置关系，基于计算出的多个特定部位间的位置关系的变化以及多个状态信息，从多个规定处理之中确定一个规定处理。在多个规定处理中，存在移动处理、旋转处理、放大处理、缩小处理、以及功能菜单的显示数据的附加处理等。
更具体地说，操作确定部25确定如下的规定处理。例如，在对象者的特定部位为单手的情况下，操作确定部25确定如下处理，即，移动与在对象者的单手维持特定状态(例如握着的状态)期间的该单手的直线移动量对应的距离的处理。另外，在单手维持特定状态期间该单手的移动前后，虚拟3D对象距特定点的距离没有变化的情况下，操作确定部25作为规定处理而确定如下旋转处理，该旋转处理的立体角变化量为将对象者的单手与虚拟3D对象的特定点连结起来的线段的立体角变化量，且以虚拟3D对象的该特定点为基准点。在此的虚拟3D对象的特定点是指例如中心点。另外，操作确定部25计测状态信息与三维位置信息没有变化的期间，在该计测到的期间超过规定期间的情况下，确定在配置虚拟3D对象的虚拟3D空间的数据中附加功能菜单的显示数据的处理。
在对象者的多个特定部位为双手的情况下，操作确定部25确定如下的规定处理。操作确定部25确定如下放大处理，该放大处理的放大率与对象者的双手维持特定状态(例如，握着的状态)的状态下的该双手间的距离的变化量对应，且以对象者的单手的位置为基准点。另外，操作确定部25确定如下缩小处理，该缩小处理的缩小率与对象者的双手维持特定状态(例如，握着的状态)的状态下的该双手间的距离的变化量对应，且以对象者的单手的位置为基准点。另外，操作确定部25确定如下旋转处理，该旋转处理的立体角变化量为对象者的双手维持特定状态(例如，握着的状态)的状态下的将该双手之间连结起来的线段的立体角变化量，且以对象者的单手的位置为基准点。
而且，操作确定部25根据对象者的特定部位的三维位置信息来判断在以虚拟3D对象为基准的规定3D范围内是否存在该特定部位，与该判断结果相应地确定能否执行基于对象处理部26的规定处理。具体地说，操作确定部25在特定部位存在于规定3D范围内的情况下，使对象处理部26执行该规定处理，在特定部位存在于规定3D范围外的情况下，不使对象处理部26执行该规定处理。在该规定3D范围内是否存在特定部位的判断是模拟对象者的特定部位是否接近(access)虚拟3D对象的判断。在本实施方式中，通过使用该规定3D范围来确定能否执行规定处理，从而使对象者的直观的操作感提高。
操作确定部25也可以作为该规定处理而特点如下处理，即，检测对象者的特定部位从上述规定3D范围内向上述规定3D范围外的移动，并与移动前后的上述规定3D范围内的位置与上述规定3D范围外的位置之间的移动距离以及移动方向相应的移动处理或者旋转处理。由此，通过到即将无法对虚拟3D对象进行操作之前为止的操作，对象者能够使虚拟3D对象惯性地移动或者旋转。这样的惯性操作也可以通过设定被切换有效和无效。
操作确定部25分别有保持用于识别上述那样的各规定处理的ID，通过选择与规定处理对应的ID，从而实现规定处理的确定。操作确定部25通过将该被选择的ID交付给对象处理部26，从而使对象处理部26执行该规定处理。
对象处理部26对通过虚拟数据生成部24生成的虚拟3D对象数据适用通过操作确定部25确定的规定处理。对象处理部26以能够执行的方式实现支持的多个规定处理。
图像合成部27基于通过第2基准设定部23计算的HMD9的位置及朝向以及3D坐标空间，在通过视线图像获取部21获取的视线图像中合成与通过对象处理部26实施了规定处理后的虚拟3D对象数据对应的虚拟3D对象。此外，在基于图像合成部27的合成处理中，利用在扩充实境(AR)等中所使用的公知的方法即可，所以在此省略说明。
显示处理部28将通过图像合成部27得到的合成图像显示于HMD9中。在本实施方式中，由于与对象者的各视线对应的两个视线图像如上述那样被分别处理，所以显示处理部28使与各视线图像合成后的各合成图像分别显示在HMD9的显示器9c以及9d中。
图6是表示显示于HMD9中的合成图像的例子的图。图6的例子所示的合成图像包含配置于虚拟3D空间所包含的平面VA上的球形虚拟3D对象VO。用户通过一边用HMD9观察该图像一边移动自身的双手，从而能够操作包含于该图像中的虚拟3D对象VO。在图6中，虽然例示了球形的虚拟3D对象VO，但虚拟3D对象的形状等不被限制。
〔动作例〕
以下，关于第1实施方式中的三维操作方法，使用图7进行说明。图7是表示第1实施方式中的3D-UI装置1的动作例的流程图。
传感器侧装置10从3D传感器8依次获取3D信息(S71)。传感器侧装置10针对规定帧速(frame rate)的该3D信息像接下来那样进行动作。
传感器侧装置10从该3D信息检测共通实际对象(S72)。
接着，传感器侧装置10基于检测到的共通实际对象来设定3D坐标空间，并且计算该3D坐标空间中的3D传感器8的位置以及朝向(S73)。
而且，传感器侧装置10使用该3D信息来计算对象者的特定部位的3D位置信息(S74)。而且，传感器侧装置10基于在工序(S73)中计算出的3D传感器8的位置及朝向以及3D坐标空间，将在工序(S74)中计算出的3D位置信息转换为在工序(S73)中设定的3D坐标空间上的3D位置信息(S75)。
另外，传感器侧装置10获取与对象者的特定部位有关的状态信息(S76)。
传感器侧装置10将与对象者的特定部位有关且在工序(S75)中得到的3D位置信息以及在工序(S76)中得到的状态信息发送至显示侧装置20(S77)。
在图7中，为了说明的便利，示出了连续地执行3D信息的获取(S71)与状态信息的获取(S76)的例子，但在从3D信息以外得到特定部位的状态信息的情况下，并行地执行工序(S71)以及(S76)。在图7中，示出了以3D信息的规定的帧速执行工序(S72)以及(S73)的例子，但工序(S72)以及(S73)也可以仅在标定(calibration)时被执行。
另一方面，显示侧装置20以与3D信息的获取(S71)不同步的方式从HMD9依次获取视线图像(S81)。显示侧装置20针对规定帧速的该视线图像接下来那样进行动作。
显示侧装置20从该视线图像检测共通实际对象(S82)。
接着，显示侧装置20基于检测到的共通实际对象来设定3D坐标空间，并且，计算该3D坐标空间中的HMD9的位置以及朝向(S83)。
显示侧装置20生成配置在所设定的3D坐标空间中的虚拟3D对象数据(S84)。
显示侧装置20当从传感器侧装置10接收到与对象者的特定部位有关的3D位置信息以及状态信息时(S85)，与该特定部位的3D位置信息的变化以及状态信息的组合相应地确定与对象者的姿势对应的规定处理(S86)。在存在多个特定部位的情况下，显示侧装置20根据多个特定部位间的位置关系的变化与多个状态信息的组合来确定规定处理。
显示侧装置20对在工序(S84)中生成的虚拟3D对象数据适用在工序(S86)中确定的规定处理(S87)。接着，显示侧装置20将与被实施了规定处理后的虚拟3D对象数据对应的虚拟3D对象和视线图像进行合成(S88)而生成显示数据。
显示侧装置20将通过该合成得到的图像显示于HMD9中(S89)。
在图7中，为了便于说明，示出了连续地执行对于与从传感器侧装置10发送的与对象者的特定部位有关的信息而进行的处理(从工序(S85)至工序(S87))和虚拟3D对象数据的生成处理(从工序(S82)至工序(S84))的例子。然而，从工序(S85)至工序(S87)、与从工序(S82)至工序(S84)是并行地执行的。另外，在图7中，虽然示出了以视线图像的规定的帧速执行工序(S82)至工序(S84)的例子，但也可以仅在标定时执行工序(S82)至工序(S84)。
〔第1实施方式的作用以及效果〕
在上述那样的第1实施方式中，获取对象者的视线图像，在该视线图像中合成虚拟3D对象而得到的图像以视频透视的方式显示在对象者的视场内。由此，对象者能够以恰如存在于自身的眼前的方式来视觉辨认虚拟3D对象。而且，在第1实施方式中，在视线图像中映现有用于操作虚拟3D对象的对象者的特定部位(手等)，所以对象者能够感觉到好像是正在用自身的特定部位来操作虚拟3D对象。即，根据第1实施方式，能够使对象者直观地视觉辨认虚拟3D对象，而且，能够赋予对虚拟3D对象的直观的操作感。
在第1实施方式中，分别设置用于获得对象者的视线图像的HMD9和用于获得对象者的特定部位的位置的3D传感器8。由此，根据第1实施方式，能够在能准确地对对象者的特定部位的3D位置进行测定的位置配置3D传感器8。这是因为可能存在如下3D传感器8，该3D传感器8如果距测定对象的距离没有在一定程度上远离，则无法准确地测定测定对象的位置。
另外，在第1实施方式中，使用共通实际对象，根据通过分别设置的传感器(3D传感器8以及HMD9)得到的信息来设定在各传感器之间共通的3D坐标空间。而且，使用该共通的3D坐标空间来判断对象者的特定部位的位置，并且生成及处理虚拟3D对象数据。而且，在第1实施方式中，使用共通的3D坐标空间，判断在以虚拟3D对象为基准的规定3D范围内是否存在对象者的特定部位，并通过该判断结果确定能否对该虚拟3D对象进行操作。因此，根据第1实施方式，能够使对象者直观地认知虚拟3D对象与自身的特定部位的位置之间的关系，其结果是，能够给与对象者恰似直接接触那样的对虚拟3D对象的直观的操作感。
另外，在第1实施方式中，根据与对象者的特定部位有关的位置变化及状态的组合来确定适用于虚拟3D对象数据的规定处理，与实施了该规定处理的虚拟3D对象数据对应的虚拟3D对象与视线图像进行合成。像这样，在第1实施方式中，不仅考虑特定部位的位置的变化，也考虑特定部位的状态，来确定对虚拟3D对象进行的操作，因此根据本实施方式，能够使用户以与对现实世界的物体进行的操作相同的操作感来操作虚拟3D对象。因此，根据第1实施方式，能够提供直观地且易于理解地操作虚拟3D对象的用户界面。
以下列举实施例来进一步详细地说明上述的实施方式。本发明不受以下各实施例的任何限定。在以下的各实施例中，作为对象者的特定部位而利用“单手”或者“双手”。
实施例1
图8是表示实施例1中的虚拟3D对象的移动操作的例子的图。在图8中，3D坐标空间的各轴表示为X轴、Y轴以及Z轴，用附图标记VO表示与通过虚拟数据生成部24生成的虚拟3D对象数据对应的虚拟3D对象。另外，用附图标记OA表示以虚拟3D对象VO为基准的规定3D范围。
在图8的例子中，以在规定3D范围OA内对象者的单手握着的状态使该单手向X轴的负方向移动。该单手的动作可以说是握着某物体而沿着该方向使该对象移动的手势。当在规定3D范围OA内识别到该手势时，显示侧装置20使虚拟3D对象VO沿X轴的负方向移动与该单手的直线移动量对应的距离。
对象者通过进行如上述那样用单手握着物体使其沿某一方向移动的手势，从而能够使虚拟3D对象移动。由于该手势和该虚拟3D对象操作与对于现实世界中的物体进行的操作相同，所以两者当然直观地相结合。
另外，当检测到在对象者的单手在规定3D范围OA内握着的状态下该单手在一定期间内未活动时，显示侧装置20同时显示虚拟3D对象和用于调出其他功能的菜单画面，使对该菜单画面进行的操作能够进行。
当显示侧装置20检测到在规定3D范围OA内对象者的双手握着的状态时，将对虚拟3D对象进行的放大、缩小、旋转的操作设为有效。在该状态下，当显示侧装置20检测到某单手成为打开的状态时，将对虚拟3D对象进行的放大、缩小、旋转的操作设为无效。
图9是表示实施例1中的虚拟3D对象的缩小操作的例子的图。在图9中，与图8相同地示出了X轴、Y轴以及Z轴的3D坐标空间、虚拟3D对象VO、规定3D范围OA。在图9的例子中，维持对象者的双手在规定3D范围OA内握着的状态，单手向附图斜左下方向移动。使用了该手的动作可以说是用双手握着物体并将该物体在该双手间缩小的手势。当在规定3D范围OA内识别到该手势时，显示侧装置20以与双手间的距离的缩短程度对应的缩小率使虚拟3D对象VO缩小。此时，显示侧装置20将在对虚拟3D对象VO进行的放大、缩小、旋转的操作被设为有效的时刻最先握住的手设为缩小处理的基准点。
虽然未显示在图9中，但当检测到维持着对象者的双手在规定3D范围OA内握着的状态，单手沿双手离开的方向运动时，显示侧装置20以与双手间的距离的伸长程度对应的放大率使虚拟3D对象VO放大。该动作可以说是用双手握着物体并将该物体用该双手拉伸的手势。
如上述那样，对象者通过进行将物体用双手握着并使其缩小或者拉伸的手势，能够使虚拟3D对象缩小或者放大。关于该手势与该虚拟3D对象操作，由于与对现实世界中的物体进行的操作近似，所以两者也直观地上相结合。
图10是表示实施例1中的虚拟3D对象的旋转操作的例子的图。在图10中，与图8或图9相同地，示出了X轴、Y轴以及Z轴的3D坐标空间、虚拟3D对象VO、规定3D范围OA。在图10的例子中，是在规定3D范围OA内对象者的双手握着的状态，并且单手向使将双手间连结的线段成为与最初不同的角度的方向移动。使用了该手的动作可以说是用双手握着物体并一边留下物体的一部分一边将另一部分沿某个方向牵引的手势。当识别到该手势时，显示侧装置20以如下立体角变化量使虚拟3D对象VO旋转，该立体角变化量为各操作被设为有效的时刻的将双手间连结的直线、与使单手移动后的将双手间连结的直线之间的立体角变化量。此时，显示侧装置20将在各操作为有效的时刻最先握住的手设定为旋转的轴。
显示侧装置20当将放大、缩小、旋转的操作设为有效时，通过将握着的双手间连结的向量(线段)的变化来确定是放大及缩小还是旋转。具体地说，显示侧装置20对将握住双手的时刻，即，将放大、缩小、旋转的操作设为有效的时刻的向量标准化而得到的单位向量、与之后的向量的单位向量进行比较，如果近似，则进行与该向量的大小的变化对应的放大处理或者缩小处理。另一方面，如果各个单位向量不是近似的，则显示侧装置20进行旋转处理。
如上述那样，对象者通过进行用双手握着物体并一边留下物体的一部分一边将另一部分沿某方向牵引的手势，从而能够使虚拟3D对象旋转。关于该手势与其虚拟3D对象操作，由于与对现实世界中的物体进行的操作近似，所以两者直观地相结合。
[变形例]
在上述第1实施方式以及第2实施方式中，如图3所示那样，HMD9与对象者(用户)的双眼对应，具有视线照相机9a及9b、以及显示器9c及9d，但也可以具有一个视线照相机及一个显示器。在这种情况下，一个显示器可以配置为覆盖对象者的一只眼的视场，也可以配置为覆盖对象者的双眼的视场。在这种情况下，显示侧装置20的虚拟数据生成部24以能够使包含在虚拟3D空间中的显示物以3DCG显示的方式，使用公知的3DCG技术而生成虚拟3D对象数据即可。
另外，在上述第1实施方式以及第2实施方式中，为了获得视线图像而使用了视频透视型的HMD9，但也可以使用光学透视型的HMD9。在这种情况下，在HMD9中设置半透半反镜(half mirror)的显示器9c及9d，并在该显示器9c及9d中显示虚拟3D对象即可。其中，在这种情况下，用于获得如下图像的照相机设在HMD9的不会遮住对象者的视场的位置，其中，该图像用于在对象者的视线方向上检测共通实际对象。
另外，在上述第1实施方式及第2实施方式中，如图1所示那样，分别设置了传感器侧装置10和显示侧装置20，并在对象者的视线图像上合成虚拟3D对象，但也可以显示在用传感器侧装置10得到的3D信息中所包含的二维图像上合成虚拟3D对象而得到的图像。
图11是概念地表示变形例中的3D-UI装置1的硬件构成例的图。3D-UI装置1具有处理装置50、3D传感器8、以及显示装置51。处理装置50具有CPU2、存储器3、输入输出I/F5等，输入输出I/F5与3D传感器8以及显示装置51连接。显示装置51显示合成图像。
图12是概念地表示变形例中的3D-UI装置1的处理构成例的图。变形例中的3D-UI装置1具有上述各实施方式中的传感器侧装置10所包含的3D信息获取部11、位置计算部14以及状态获取部15，且具有上述各实施方式中的显示侧装置20所包含的虚拟数据生成部24、操作确定部25、对象处理部26、图像合成部27以及显示处理部28。关于这些各处理部，除了以下的点以外，与上述各实施方式相同。
位置计算部14从通过3D信息获取部11从3D传感器8得到的三维信息直接地得到对象者的特定部位的三维位置信息。操作确定部25基于通过位置计算部14计算出的照相机坐标系的三维位置信息和通过状态获取部15得到的状态信息来确定规定处理。图像合成部27将包含于通过3D信息获取部11得到的三维信息中的二维图像与通过对象处理部26实施了规定处理后的虚拟3D对象数据进行合成。
在该变形例中，对象者一边观察从自身的视线方向以外的方向拍摄到的自身的影像，一边操作虚拟3D对象。因此，在该变形例中，与使用对象者自身的视线图像的上述各实施方式相比，虽然有可能降低直观性，但由于能够通过使用了特定部位的3D姿势来操作虚拟3D对象，所以能够充分地实现操作的容易理解性。
此外，在上述的说明中使用的流程图中，按顺序记载了多个工序(处理)，在本实施方式中执行的工序的执行顺序不限于该记载的顺序。在本实施方式中，能够在不会对内容造成妨碍的范围内变更图示的工序的顺序。另外，上述各实施方式以及各变形例能够在内容不相反的范围内进行组合。
上述各实施方式以及各变形例的一部分或者全部也能够以以下的附记的方式确定。但是，各实施方式以及各变形例不限定于以下的记载。
(附记1)
一种三维用户界面装置，具有：
三维信息获取部，其从三维传感器获取三维信息；
位置计算部，其使用通过所述三维信息获取部获取的三维信息来计算与对象者的特定部位有关的三维坐标空间上的三维位置信息；
虚拟数据生成部，其生成表示配置在所述三维坐标空间中的虚拟三维对象的虚拟三维对象数据；
状态获取部，其获取所述对象者的所述特定部位的状态信息；
操作确定部，其基于通过所述状态获取部获取的状态信息和所述三维位置信息的变化的组合，从多个规定处理之中确定应当执行的规定处理；
对象处理部，其对所述虚拟三维对象数据实施通过所述操作确定部确定的所述规定处理；以及
显示处理部，其使与被实施了所述规定处理后的虚拟三维对象数据对应的虚拟三维对象显示在显示部中。
(附记2)
根据附记1记载的三维用户界面装置，其中，
所述操作确定部根据通过所述位置计算部计算出的三维位置信息来判断在将所述虚拟三维对象作为基准的规定三维范围内是否存在所述对象者的所述特定部位，与该判断结果相应地确定能否执行基于所述对象处理部的所述规定处理。
(附记3)
根据附记1或2记载的三维用户界面装置，其中，
所述位置计算部计算作为所述对象者的特定部位的所述对象者的单手的三维位置信息，
所述状态获取部获取作为所述对象者的特定部位的所述对象者的所述单手的状态信息，
所述操作确定部作为所述规定处理而确定如下处理：移动与所述对象者的所述单手维持特定状态期间的该单手的直线移动量对应的距离。
(附记4)
根据附记3记载的三维用户界面装置，其中，
在所述对象者的所述单手维持特定状态期间的该单手的移动前后，该单手距所述虚拟三维对象的特定点的距离不变的情况下，所述操作确定部作为所述规定处理而确定如下旋转处理，该旋转处理的立体角变化量为将所述对象者的所述单手与所述虚拟三维对象的特定点连结的线段的立体角变化量，且将所述虚拟三维对象的该特定点作为基准点。
(附记5)
根据附记2记载的三维用户界面装置，其中，
所述操作确定部作为所述规定处理而确定如下旋转处理，该旋转处理检测所述对象者的所述特定部位从所述规定三维范围内向所述规定三维范围外的移动，并与该移动前后中的所述规定三维范围内的位置与所述规定三维范围外的位置之间的距离以及方向相应。
(附记6)
根据附记1～5的任一项记载的三维用户界面装置，其中，
所述位置计算部分别计算与所述对象者的多个特定部位有关的三维坐标空间上的各三维位置信息，
所述状态获取部分别获取与所述对象者的所述多个特定部位有关的各状态信息，
所述操作确定部根据通过所述位置计算部计算出的与所述多个特定部位有关的多个三维位置信息计算所述多个特定部位间的位置关系，基于该计算出的位置关系的变化以及通过所述状态获取部获取的所述多个状态信息，从多个规定处理之中确定所述规定处理。
(附记7)
根据附记6记载的三维用户界面装置，其中，
所述位置计算部计算作为所述多个特定部位的所述对象者的双手的三维位置信息，
所述状态获取部获取作为所述多个特定部位的所述对象者的双手的状态信息，
所述操作确定部作为所述规定处理而确定如下放大处理或缩小处理、或者旋转处理，该放大处理或缩小处理的放大率或缩小率与所述双手的状态维持特定状态的状态下的所述双手间的距离的变化量相对应，并将所述对象者的单手的位置作为基准点，该旋转处理的立体角变化量为所述双手的状态维持特定状态的状态下的将所述双手间连结的线段的立体角变化量，并将所述对象者的单手的位置作为基准点。
(附记8)
根据附记1～7中任一项记载的三维用户界面装置，其中，
所述操作确定部对通过所述状态获取部获取的状态信息和所述三维位置信息无变化的期间进行计测，在该计测得到的期间超过规定期间的情况下，作为所述规定处理而确定在配置所述虚拟三维对象的虚拟三维空间的数据中附加功能菜单的显示数据的处理。
(附记9)
根据附记1～8中任一项记载的三维用户界面装置，具有：
第1对象检测部，其从所述三维信息检测已知的共通实际对象；
第1基准设定部，其基于通过所述第1对象检测部检测的所述共通实际对象，设定所述三维坐标空间，并且计算所述三维传感器的位置及朝向；
视线图像获取部，其从配置于与所述三维传感器不同的位置以及不同的朝向的拍摄部获取能映现所述对象者的所述特定部位的视线图像；
第2对象检测部，其从通过所述视线图像获取部获取的视线图像检测已知的所述共通实际对象；
第2基准设定部，其基于通过所述第2对象检测部检测的所述共通实际对象，共享所述三维坐标空间，并且计算所述拍摄部的位置及朝向；以及
图像合成部，其基于通过所述第2基准设定部计算出的所述拍摄部的位置及朝向以及所述三维坐标空间，在通过所述拍摄部拍摄的所述视线图像上合成所述虚拟三维对象，
所述位置计算部基于通过所述第1基准设定部计算出的所述三维传感器的位置及朝向以及所述三维坐标空间，对从通过所述三维信息获取部获取的三维信息获取的与所述对象者的特定部位有关的三维位置信息进行转换，由此计算所述三维坐标空间上的所述三维位置信息，
所述显示处理部使通过所述图像合成部得到的图像显示在所述显示部上。
(附记10)
一种三维操作方法，其通过至少一个计算机执行，包含：
从三维传感器获取三维信息，
使用所述获取的三维信息来计算与对象者的特定部位有关的三维坐标空间上的三维位置信息，
生成表示配置于所述三维坐标空间中的虚拟三维对象的虚拟三维对象数据，
获取所述对象者的所述特定部位的状态信息，
基于所述获取的状态信息与所述三维位置信息的变化的组合，从多个规定处理之中确定应当执行的规定处理，
对所述虚拟三维对象数据实施所述确定的所述规定处理，
使与被实施了所述规定处理后的虚拟三维对象数据对应的虚拟三维对象显示在显示部中。
(附记11)
根据附记10记载的三维操作方法，其中，还包含：
根据所述计算出的三维位置信息判断在将所述虚拟三维对象作为基准的规定三维范围内是否存在所述对象者的所述特定部位，
与所述判断结果相应地确定能否执行所述规定处理。
(附记12)
根据附记10或11记载的三维操作方法，其中，
所述三维位置信息的计算是计算作为所述对象者的特定部位的所述对象者的单手的三维位置信息，
所述状态信息的获取是获取作为所述对象者的特定部位的所述对象者的所述单手的状态信息，
所述规定处理的确定是作为所述规定处理而确定如下处理：移动与所述对象者的所述单手维持特定状态期间的该单手的直线移动量对应的距离。
(附记13)
根据附记12记载的三维操作方法，其中，
关于所述规定处理的确定，在所述对象者的所述单手维持特定状态期间的该单手的移动前后，该单手距所述虚拟三维对象的特定点的距离不变的情况下，作为所述规定处理而确定如下旋转处理，该旋转处理的立体角变化量为将所述对象者的所述单手与所述虚拟三维对象的特定点连结的线段的立体角变化量，且将所述虚拟三维对象的该特定点作为基准点。
(附记14)
根据附记11记载的三维操作方法，其中，
所述规定处理的确定是作为所述规定处理而确定如下移动处理或旋转处理，该移动处理或旋转处理检测所述对象者的所述特定部位从所述规定三维范围内向所述规定三维范围外的移动，并与该移动前后的所述规定三维范围内的位置与所述规定三维范围外的位置之间的距离以及方向相应。
(附记15)
根据附记10至14中任一项记载的三维操作方法，其中，
所述三维位置信息的计算是分别计算与所述对象者的多个特定部位有关的三维坐标空间上的各三维位置信息，
所述状态信息的获取是分别获取与所述对象者的所述多个特定部位有关的各状态信息，
所述规定处理的确定是根据所述计算出的与所述多个特定部位有关的多个三维位置信息来计算所述多个特定部位间的位置关系，基于该计算出的位置关系的变化以及所述获取的多个状态信息，从多个规定处理之中确定所述规定处理。
(附记16)
根据附记15记载的三维操作方法，其中，
所述三维位置信息的计算是计算作为所述多个特定部位的所述对象者的双手的三维位置信息，
所述状态信息的获取是获取作为所述多个特定部位的所述对象者的双手的状态信息，
所述规定处理的确定是作为所述规定处理而确定如下放大处理或缩小处理、或者旋转处理，该放大处理或缩小处理的放大率或缩小率与所述双手的状态维持特定状态的状态下的所述双手间的距离的变化量对应，且将所述对象者的单手的位置作为基准点，该旋转处理的立体角变化量为所述双手的状态维持特定状态的状态下的将所述双手间连结的线段的立体角变化量，且将所述对象者的单手的位置作为基准点。
(附记17)
根据附记10～16的任一项记载的三维操作方法，其中，
所述规定处理的确定是对所述获取的状态信息与所述三维位置信息没有变化的期间进行计测，在该计测得到的期间超过规定期间的情况下，作为所述规定处理而确定对配置所述虚拟三维对象的虚拟三维空间的数据附加功能菜单的显示数据的处理。
(附记18)
根据附记10～17的任一项记载的三维操作方法，还包含：
从所述三维信息检测已知的共通实际对象，
基于所述检测的共通实际对象，设定所述三维坐标空间，并且计算所述三维传感器的位置及朝向，
从配置于与所述三维传感器不同的位置以及不同的朝向的拍摄部获取能映现所述对象者的所述特定部位的视线图像，
从所述得到的视线图像检测已知的所述共通实际对象，
基于所述检测到的共通实际对象，共享所述三维坐标空间，并且计算所述拍摄部的位置及朝向，
基于所述计算出的所述拍摄部的位置及朝向以及所述三维坐标空间，在通过所述拍摄部拍摄到的所述视线图像中合成所述虚拟三维对象，
所述三维位置信息的计算是，基于所述计算出的所述三维传感器的位置及朝向以及所述三维坐标空间，对从所述获取的三维信息获取的与所述对象者的特定部位有关的三维位置信息进行转换，由此计算所述三维坐标空间上的所述三维位置信息，
所述虚拟三维对象的显示是使所述得到的图像显示在所述显示部中。
(附记19)
一种程序，使至少一个计算机执行附记10～18的任一项记载的三维操作方法。
(附记20)
一种能够读取的记录介质，记录了附记19中记载的程序。
该申请是以2012年7月27日提出申请的日本专利申请特愿2012-167040作为基础主张优先权，在此加入其全部公开内容。

Claims (9)

1.一种三维用户界面装置，具有：
三维信息获取部，其从三维传感器获取三维信息；
位置计算部，其使用通过所述三维信息获取部获取的三维信息来计算与对象者的特定部位有关的三维坐标空间上的三维位置信息；
虚拟数据生成部，其生成表示配置在所述三维坐标空间中的虚拟三维对象的虚拟三维对象数据；
状态获取部，其获取所述对象者的所述特定部位的状态信息；
操作确定部，其基于通过所述状态获取部获取的状态信息与所述三维位置信息的变化的组合，从多个规定处理之中确定应当执行的规定处理；
对象处理部，其对所述虚拟三维对象数据实施通过所述操作确定部确定的所述规定处理；以及
显示处理部，其使与被实施了所述规定处理后的虚拟三维对象数据对应的虚拟三维对象显示于显示部中，
所述操作确定部根据通过所述位置计算部计算出的三维位置信息来判断在将所述虚拟三维对象作为基准的规定三维范围内是否存在所述对象者的所述特定部位，与该判断结果相应地确定能否执行基于所述对象处理部的所述规定处理，
所述操作确定部作为所述规定处理而确定如下移动处理或者旋转处理，该移动处理或者旋转处理检测所述对象者的所述特定部位从所述规定三维范围内向所述规定三维范围外的移动，并与该移动前后的所述规定三维范围内的位置与所述规定三维范围外的位置之间的距离以及方向相应。
2.根据权利要求1所述的三维用户界面装置，其特征在于，
所述位置计算部计算作为所述对象者的特定部位的所述对象者的单手的三维位置信息，
所述状态获取部获取作为所述对象者的特定部位的所述对象者的所述单手的状态信息，
所述操作确定部作为所述规定处理而确定如下处理：移动与所述对象者的所述单手维持特定状态期间的该单手的直线移动量对应的距离。
3.根据权利要求2所述的三维用户界面装置，其特征在于，
在所述对象者的所述单手维持特定状态期间的该单手的移动前后，该单手距所述虚拟三维对象的特定点的距离不变的情况下，所述操作确定部作为所述规定处理而确定如下旋转处理，该旋转处理的立体角变化量为将所述对象者的所述单手与所述虚拟三维对象的特定点连结的线段的立体角变化量，且将所述虚拟三维对象的该特定点作为基准点。
4.根据权利要求1～3中任一项所述的三维用户界面装置，其特征在于，
所述位置计算部分别计算与所述对象者的多个特定部位有关的三维坐标空间上的各三维位置信息，
所述状态获取部分别获取与所述对象者的所述多个特定部位有关的各状态信息，
所述操作确定部根据通过所述位置计算部计算出的与所述多个特定部位有关的多个三维位置信息来计算所述多个特定部位间的位置关系，基于该计算出的位置关系的变化以及通过所述状态获取部获取的所述多个状态信息，从多个规定处理之中确定所述规定处理。
5.根据权利要求4所述的三维用户界面装置，其特征在于，
所述位置计算部计算作为所述多个特定部位的所述对象者的双手的三维位置信息，
所述状态获取部获取作为作述多个特定部位的所述对象者的双手的状态信息，
所述操作确定部作为所述规定处理而确定如下放大处理或缩小处理、或者旋转处理，该放大处理或缩小处理的放大率或缩小率与所述双手的状态维持特定状态的状态下的所述双手间的距离的变化量对应，且将所述对象者的单手的位置作为基准点，该旋转处理的立体角变化量为所述双手的状态维持特定状态的状态下的将所述双手间连结的线段的立体角变化量，且将所述对象者的单手的位置作为基准点。
6.根据权利要求1～3中任一项所述的三维用户界面装置，其特征在于，
所述操作确定部对通过所述状态获取部获取的状态信息和所述三维位置信息无变化的期间进行计测，在该计测得到的期间超过规定期间的情况下，作为所述规定处理而确定在配置所述虚拟三维对象的虚拟三维空间的数据中附加功能菜单的显示数据的处理。
7.根据权利要求1～3中任一项所述的三维用户界面装置，其特征在于，具有：
第1对象检测部，其从所述三维信息检测已知的共通实际对象；
第1基准设定部，其基于通过所述第1对象检测部检测出的所述共通实际对象，设定所述三维坐标空间，并且计算所述三维传感器的位置及朝向；
视线图像获取部，其从配置于与所述三维传感器不同的位置以及不同的朝向的拍摄部获取能映现所述对象者的所述特定部位的视线图像；
第2对象检测部，其从通过所述视线图像获取部获取的视线图像检测已知的所述共通实际对象；
第2基准设定部，其基于通过所述第2对象检测部检测的所述共通实际对象，共享所述三维坐标空间，并且计算所述拍摄部的位置及朝向；以及
图像合成部，其基于通过所述第2基准设定部计算出的所述拍摄部的位置及朝向以及所述三维坐标空间，在通过所述拍摄部拍摄到的所述视线图像上合成所述虚拟三维对象，
所述位置计算部基于通过所述第1基准设定部计算出的所述三维传感器的位置及朝向以及所述三维坐标空间，对从通过所述三维信息获取部获取的三维信息所取得的与所述对象者的特定部位有关的三维位置信息进行转换，由此计算所述三维坐标空间上的所述三维位置信息，
所述显示处理部使通过所述图像合成部得到的图像显示在所述显示部上。
8.一种三维操作方法，其通过至少一个计算机执行，其特征在于，包含：
从三维传感器获取三维信息，
使用所述获取的三维信息来计算与对象者的特定部位有关的三维坐标空间上的三维位置信息，
生成表示配置于所述三维坐标空间中的虚拟三维对象的虚拟三维对象数据，
获取所述对象者的所述特定部位的状态信息，
基于所述获取的状态信息与所述三维位置信息的变化的组合，从多个规定处理之中确定应当执行的规定处理，
对所述虚拟三维对象数据实施所述确定的所述规定处理，
使与被实施了所述规定处理后的虚拟三维对象数据对应的虚拟三维对象显示在显示部中，
所述三维操作方法还包含：根据所述计算出的三维位置信息来判断在将所述虚拟三维对象作为基准的规定三维范围内是否存在所述对象者的所述特定部位，并与所述判断结果相应地确定能否执行所述规定处理，
作为所述规定处理而确定如下移动处理或者旋转处理，该移动处理或者旋转处理检测所述对象者的所述特定部位从所述规定三维范围内向所述规定三维范围外的移动，并与该移动前后的所述规定三维范围内的位置与所述规定三维范围外的位置之间的距离以及方向相应。
9.根据权利要求8所述的三维操作方法，其特征在于，
所述三维位置信息的计算是分别计算与所述对象者的多个特定部位有关的三维坐标空间上的各三维位置信息，
所述状态信息的获取是分别获取与所述对象者的所述多个特定部位有关的各状态信息，
所述规定处理的确定是根据所述计算出的与所述多个特定部位有关的多个三维位置信息来计算所述多个特定部位间的位置关系，基于该计算出的位置关系的变化以及所述获取的多个状态信息，从多个规定处理之中确定所述规定处理。
CN201380039871.8A 2012-07-27 2013-03-28 三维用户界面装置以及三维操作方法 Active CN104662587B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-167040 2012-07-27
JP2012167040 2012-07-27
PCT/JP2013/002131 WO2014016992A1 (ja) 2012-07-27 2013-03-28 ３次元ユーザインタフェース装置及び３次元操作方法

Publications (2)

Publication Number Publication Date
CN104662587A CN104662587A (zh) 2015-05-27
CN104662587B true CN104662587B (zh) 2017-07-04

Family

ID=49996820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380039871.8A Active CN104662587B (zh) 2012-07-27 2013-03-28 三维用户界面装置以及三维操作方法

Country Status (6)

Country Link
US (1) US9541997B2 (zh)
EP (1) EP2879097A4 (zh)
JP (1) JP5871345B2 (zh)
CN (1) CN104662587B (zh)
HK (1) HK1210858A1 (zh)
WO (1) WO2014016992A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495068B2 (en) * 2012-07-27 2016-11-15 Nec Solution Innovators, Ltd. Three-dimensional user interface apparatus and three-dimensional operation method
CN105074625B (zh) * 2013-04-02 2018-09-21 索尼公司 信息处理设备、信息处理方法及计算机可读记录介质
US9778814B2 (en) * 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
CN105487660A (zh) * 2015-11-25 2016-04-13 北京理工大学 基于虚拟现实技术的沉浸式舞台表演交互方法及系统
JP2017187952A (ja) * 2016-04-06 2017-10-12 株式会社コロプラ 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
CN105955455A (zh) * 2016-04-15 2016-09-21 北京小鸟看看科技有限公司 一种在虚拟场景中添加对象的装置和方法
CN105894563B (zh) * 2016-04-25 2018-09-18 中国电子科技集团公司第二十八研究所 一种数字地球上的全球海洋效果模拟方法
US10957083B2 (en) * 2016-08-11 2021-03-23 Integem Inc. Intelligent interactive and augmented reality based user interface platform
US10747324B2 (en) * 2016-11-02 2020-08-18 Panasonic Intellectual Property Management Co., Ltd. Gesture input system and gesture input method
CN109564706B (zh) * 2016-12-01 2023-03-10 英特吉姆股份有限公司 基于智能交互式增强现实的用户交互平台
JP2018163558A (ja) * 2017-03-27 2018-10-18 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2018198910A1 (ja) * 2017-04-28 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
EP3624059A4 (en) * 2017-05-10 2020-05-27 Fujitsu Limited METHOD, DEVICE, TARGET OBJECT RECOGNITION SYSTEM, AND PROGRAM
CN107481304B (zh) * 2017-07-31 2020-11-24 Oppo广东移动通信有限公司 在游戏场景中构建虚拟形象的方法及其装置
FR3074325B1 (fr) * 2017-11-28 2021-11-26 Renault Sas Manipulation d'objets virtuels dans un environnement immersif
JP6965713B2 (ja) * 2017-12-12 2021-11-10 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CA3033605C (en) * 2018-02-14 2021-11-23 Aaron Derouin Three-dimensional visual target acquisition systems
JP2019207574A (ja) * 2018-05-29 2019-12-05 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
EP3584692A1 (en) * 2018-06-19 2019-12-25 InterDigital CE Patent Holdings Sharing virtual content in a mixed reality scene
JP7478740B2 (ja) * 2018-12-19 2024-05-07 アニペン カンパニー リミテッド アニメーションシーケンスを生成する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
US11003307B1 (en) * 2019-06-07 2021-05-11 Facebook Technologies, Llc Artificial reality systems with drawer simulation gesture for gating user interface elements
JP7425178B2 (ja) 2020-02-19 2024-01-30 ファナック株式会社 産業機械の操作システム
CN111598986B (zh) * 2020-05-13 2023-09-26 网易（杭州）网络有限公司 虚拟流体表面的渲染方法、装置、设备及存储介质
CN111880652A (zh) * 2020-07-16 2020-11-03 北京悉见科技有限公司 用于移动ar对象位置的方法、装置及存储介质
JP7474175B2 (ja) 2020-10-07 2024-04-24 株式会社デンソーテン 音像描画装置及び音像描画方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06131442A (ja) * 1992-10-19 1994-05-13 Mazda Motor Corp ３次元虚像造形装置
EP0913790A1 (en) * 1997-10-29 1999-05-06 Takenaka Corporation Hand pointing apparatus
JP2002112286A (ja) * 2000-09-27 2002-04-12 Mixed Reality Systems Laboratory Inc 複合現実感提示装置及びその方法並びに記憶媒体
CN1635455A (zh) * 2003-12-30 2005-07-06 上海科技馆 用手势控制虚拟水族活动的方法
WO2008115997A2 (en) * 2007-03-19 2008-09-25 Zebra Imaging, Inc. Systems and methods for updating dynamic three-dimensional display with user input
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
CN101986249A (zh) * 2010-07-14 2011-03-16 上海无戒空间信息技术有限公司 使用手势对象控制计算机的方法及相应的计算机系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05282425A (ja) * 1992-03-31 1993-10-29 Nec Corp 形状変形表示装置
JPH06337907A (ja) * 1993-05-28 1994-12-06 Matsushita Electric Ind Co Ltd 図形処理装置
JP2000098300A (ja) * 1998-09-28 2000-04-07 Sony Corp 仮想画像立体合成装置、仮想画像立体合成方法、ゲーム装置及び記録媒体
JP2004334590A (ja) * 2003-05-08 2004-11-25 Denso Corp 操作入力装置
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US8840470B2 (en) 2008-02-27 2014-09-23 Sony Computer Entertainment America Llc Methods for capturing depth data of a scene and applying computer actions
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06131442A (ja) * 1992-10-19 1994-05-13 Mazda Motor Corp ３次元虚像造形装置
EP0913790A1 (en) * 1997-10-29 1999-05-06 Takenaka Corporation Hand pointing apparatus
JP2002112286A (ja) * 2000-09-27 2002-04-12 Mixed Reality Systems Laboratory Inc 複合現実感提示装置及びその方法並びに記憶媒体
CN1635455A (zh) * 2003-12-30 2005-07-06 上海科技馆 用手势控制虚拟水族活动的方法
WO2008115997A2 (en) * 2007-03-19 2008-09-25 Zebra Imaging, Inc. Systems and methods for updating dynamic three-dimensional display with user input
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
CN101986249A (zh) * 2010-07-14 2011-03-16 上海无戒空间信息技术有限公司 使用手势对象控制计算机的方法及相应的计算机系统

Also Published As

Publication number Publication date
HK1210858A1 (zh) 2016-05-06
US20150277555A1 (en) 2015-10-01
JPWO2014016992A1 (ja) 2016-07-07
JP5871345B2 (ja) 2016-03-01
US9541997B2 (en) 2017-01-10
EP2879097A4 (en) 2016-03-16
CN104662587A (zh) 2015-05-27
EP2879097A1 (en) 2015-06-03
WO2014016992A1 (ja) 2014-01-30

Similar Documents

Publication Publication Date Title
CN104662587B (zh) 三维用户界面装置以及三维操作方法
CN104508600B (zh) 三维用户界面装置及三维操作方法
JP5843340B2 (ja) ３次元環境共有システム及び３次元環境共有方法
CN105074617B (zh) 三维用户界面装置和三维操作处理方法
TWI659335B (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
JP6340017B2 (ja) 被写体と３次元仮想空間をリアルタイムに合成する撮影システム
US20160055330A1 (en) Three-dimensional unlocking device, three-dimensional unlocking method, and program
CN107004279A (zh) 自然用户界面相机校准
JP2013521544A (ja) 拡張現実のポインティング装置
CN105683868B (zh) 用于空间交互中的额外模态的面部跟踪
CN109782901A (zh) 增强现实交互方法、装置、计算机设备及存储介质
CN115335894A (zh) 用于虚拟和增强现实的系统和方法
JP2022550644A (ja) パススルー視覚化
CN106980378A (zh) 虚拟显示方法和系统
US20230244354A1 (en) 3d models for displayed 2d elements
CN104704449A (zh) 用户界面设备和用户界面方法
JP6801138B1 (ja) 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム
Nakamura et al. A Mutual Motion Capture System for Face-to-face Collaboration.
CN114863005A (zh) 一种肢体特效的渲染方法、装置、存储介质和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1210858

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1210858

Country of ref document: HK