CN105051650A - 三维解锁设备、三维解锁方法和程序 - Google Patents

三维解锁设备、三维解锁方法和程序 Download PDF

Info

Publication number
CN105051650A
CN105051650A CN201380074952.1A CN201380074952A CN105051650A CN 105051650 A CN105051650 A CN 105051650A CN 201380074952 A CN201380074952 A CN 201380074952A CN 105051650 A CN105051650 A CN 105051650A
Authority
CN
China
Prior art keywords
virtual objects
information
selection information
dimensional
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380074952.1A
Other languages
English (en)
Inventor
森下幸司
永井克幸
野田尚志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Electrical Scheme Innovation Corp
Original Assignee
Japan Electrical Scheme Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Electrical Scheme Innovation Corp filed Critical Japan Electrical Scheme Innovation Corp
Publication of CN105051650A publication Critical patent/CN105051650A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/031—Protect user input by software means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种三维解锁设备(100)包括：虚拟数据生成单元(101)，其生成表示任意布置在三维坐标空间中的多个虚拟对象的三维锁定数据；显示处理单元(102)，其使得显示单元显示由所述三维锁定数据所表示的所述多个虚拟对象；位置获取单元(103)，其获取操作者的特定区域在所述三维坐标空间中的三维位置；操作检测单元(104)，其使用由所述位置获取单元所获取的所述三维位置和所述多个虚拟对象的三维位置来检测所述操作者通过所述特定区域对所述虚拟对象执行的选择操作；选择信息获取单元(105)，其基于由所述操作检测单元所检测到的所述选择操作来获取指示对应于所选虚拟对象和所选顺序的标识信息的选择信息；以及锁定控制单元(106)，其通过比较由所述选择信息获取单元所获取的选择信息与已经登记的选择信息来对锁定进行解锁。

Description

三维解锁设备、三维解锁方法和程序
技术领域
本发明涉及关于三维用户界面的技术。
背景技术
例如，提供锁定功能给诸如智能电话和平板式终端的移动终端或个人计算机(PC)，以便防止个人信息的泄露或未经授权的使用。该锁定功能包括，例如，禁用画面操作的画面锁定功能以及禁用特定操纵的锁定功能。
带有安卓(Android，注册商标)的移动终端具有画面锁定功能，如果预先登记的轨迹模式与通过追踪组织为3×3矩阵的九个点而获得的轨迹模式相匹配的话就对画面锁定进行解锁。
下述的专利文献1描述提议了一种使得用户在每次指定锁定模式时避免在触摸屏上追踪相同位置的方法，由此降低了第三方从保留在触摸屏上的指纹轨迹而猜测锁定模式的风险。
相关文献
专利文献
专利文献1：日本专利申请公开No.2013-16115
发明内容
发明要解决的问题
上面提议的方法和在安卓(Android，注册商标)中使用的方法的目标在于使用触摸屏的二维用户界面。另一方面，近年来，例如使用诸如KINECT(注册商标)的距离传感器或网络摄像头来检测用户的三维运动并且根据所检测到的运动来控制设备的用户界面的使用增多。但是，当前，没有方法在处理上述的三维操作的用户界面中实现上述的锁定功能。
本发明就是考虑到上述的情况而做出的，并且提供了用操作者的三维操作来对锁定进行解锁的技术。
解决问题的手段
本发明的每个方面使用下述配置来解决上述的问题。
根据第一方面的一种三维解锁设备包括：虚拟数据生成单元，其生成表示任意布置在三维坐标空间中的多个虚拟对象的三维锁定数据；
显示处理单元，其使得显示单元显示由所述三维锁定数据所表示的所述多个虚拟对象；位置获取单元，其获取操作者的特定区域在所述三维坐标空间中的三维位置；操作检测单元，其使用由所述位置获取单元所获取的所述三维位置和所述多个虚拟对象的三维位置来检测所述操作者通过所述特定区域对所述虚拟对象执行的选择操作；选择信息获取单元，其基于由所述操作检测单元所检测到的所述选择操作来获取指示对应于所选虚拟对象和所选顺序的标识信息的选择信息；以及锁定控制单元，其通过比较由所述选择信息获取单元所获取的选择信息与已经登记的选择信息来对锁定进行解锁。
根据第二方面的一种三维解锁方法是通过至少一个计算机来执行的。根据第二方面的所述三维解锁方法包括：生成表示任意布置在三维坐标空间中的多个虚拟对象的三维锁定数据；使得显示单元显示由所述三维锁定数据所表示的所述多个虚拟对象；获取操作者的特定区域在所述三维坐标空间中的三维位置；使用所获取的三维位置和所述多个虚拟对象的三维位置来检测所述操作者通过所述特定区域对所述虚拟对象执行的选择操作；基于所检测到的选择操作来获取指示对应于所选虚拟对象和所选顺序的标识信息的选择信息；以及通过比较所获取的选择信息与已经登记的选择信息来对锁定进行解锁。
应该注意到：本发明的另一方面可以包括一种使得至少一个计算机执行上述根据第二方面的方法的程序，一种记录这样的程序的计算机可读存储介质。该存储介质包括非瞬时有形介质。
发明的效果
根据上述的每个方面，有可能提供一种通过操作者执行的三维操作来对锁定进行解锁的技术。
附图说明
通过下面所述的优选实施例和下面的附图，本发明的上述目标和其他目标以及本发明的特征和优点将变得进一步清晰。
图1是示意性图示说明根据本发明的示例实施例的三维解锁设备的配置的示例。
图2是示意性图示说明根据第一示例实施例的三维用户界面系统的硬件配置的示例的图。
图3是图示说明根据第一示例实施例的三维用户界面系统的使用模式的示例的图。
图4是图示说明头装显示器(HMD)的外部结构的示例的图。
图5是示意性图示说明根据第一示例实施例的传感器侧设备的处理配置的示例的图。
图6是示意性图示说明根据第一示例实施例的显示器侧设备的处理配置的示例的图。
图7是图示说明在第一示例实施例中生成的三维锁定数据所表示的虚拟对象的示例的图。
图8是图示说明在第一示例实施例中在头装显示器(HMD)上显示的合成图像的示例的图。
图9是示出根据第一示例实施例的三维用户界面系统所执行的操作的示例的顺序图。
图10A是图示说明在第二示例实施例中在头装显示器(HMD)上显示的合成图像的示例的图。
图10B是图示说明在第二示例实施例中在头装显示器(HMD)上显示的合成图像的示例的图。
图11是示意性图示说明根据修改示例的显示器侧设备的处理配置的示例的图。
图12是示意性图示说明根据修改示例的三维用户界面系统的硬件配置的示例的图。
图13是示意性图示说明根据修改示例的处理设备的处理配置的示例的图。
具体实施方式
下面，将描述根据本发明的示例实施例。注意：下面所述的示例实施例仅仅是示例，本发明不限于下面所述的示例实施例的配置。
图1是示意性图示说明根据本发明的示例实施例的三维解锁设备100的配置的示例的图。如图1中所示，三维解锁设备100包括：虚拟数据生成单元101，其生成表示任意布置在三维坐标空间中的多个虚拟对象的三维锁定数据；显示处理单元102，其使得显示单元显示由三维锁定数据所表示的多个虚拟对象；位置获取单元103，其获取操作者的特定区域在三维坐标空间中的三维位置；操作检测单元104，其使用由位置获取单元103所获取的三维位置和多个虚拟对象的三维位置来检测操作者通过特定区域对虚拟对象执行的选择操作；选择信息获取单元105，其基于由操作检测单元104所检测到的选择操作来获取指示对应于所选虚拟对象和所选顺序的标识信息的选择信息；以及锁定控制单元106，其通过比较由选择信息获取单元105所获取的选择信息与已经登记的选择信息来对锁定进行解锁。
图1中所示的三维解锁设备100具有例如与将在稍后描述的根据详细示例实施例的三维用户界面系统1相似的硬件配置，并且通过以与三维用户界面系统1相似方式处理的程序来取得上述的每个单元。显示单元以可通信的方式与三维解锁设备100相连。
根据本示例实施例的三维解锁方法由诸如上述的三维解锁设备100的至少一个计算机来执行。三维解锁方法包括：生成表示任意布置在三维坐标空间中的多个虚拟对象的三维锁定数据；使得显示单元显示由所述三维锁定数据所表示的所述多个虚拟对象；获取操作者的特定区域在所述三维坐标空间中的三维位置；使用所获取的三维位置和所述多个虚拟对象的三维位置来检测所述操作者通过所述特定区域对所述虚拟对象执行的选择操作；基于所检测到的选择操作来获取指示对应于所选虚拟对象和所选顺序的标识信息的选择信息；以及通过比较所获取的选择信息与已经登记的选择信息来对锁定进行解锁。
在这个示例实施例中，生成三维锁定数据，显示由三维锁定数据所表示的多个虚拟对象。而且，在三维坐标空间中获取操作者的特定区域的三维位置，其与用于三维锁定数据的相同。此外，基于多个虚拟对象的每个三维位置和操作者的特定区域来检测操作者通过特定区域对虚拟对象所执行的选择操作。特定区域表示操作者的身体的一部分或全部，并且用于通过三维用户界面来指向操作位置。仅有的必要是，通过已知方法来获取操作者的特定区域的三维位置，并且获取三维位置的方法不限于本示例实施例中。
在这个示例实施例中，基于所检测到的每个选择操作，获取选择信息，该选择信息与已经登记的选择信息相比较，由此对锁定进行解锁。例如，如果选择信息所指示的虚拟对象的所选顺序在它们之间的比较中匹配，则对锁定进行解锁。选择信息指示虚拟对象的所选顺序和对应于每个所选虚拟对象的标识信息。仅有的必要是，标识信息是标识每个虚拟对象的信息，且其特定细节不限于此示例实施例中。将在要描述的详细示例实施例中详细描述标识信息的特定模式。已经登记的选择信息可以保持在三维解锁设备100中，或者可以保持在其他计算机中。而且，在本示例实施例中解锁的锁定可以是画面锁定，或者可以是通过其他处理的锁定。
如上所述，在这个示例实施例中，关于是否对锁定进行解锁的判断是基于由操作者通过特定区域对在三维坐标空间中布置的多个虚拟对象执行的三维操作而进行的。因此，根据这个示例实施例，通过三维操作获得解锁。
下面将更加详细地描述上述的示例实施例。下面，将对第一示例实施例和第二示例实施例进行描述，作为详细示例实施例的示例。下面的每个详细示例实施例是上述的三维解锁设备100和三维解锁方法应用于三维用户界面系统的情况的示例。但是，在下面的每个详细示例实施例中，将只描述关于对锁定进行解锁的处理，且将不具体描述对锁定进行解锁以外的处理，因为仅有的必要是将已知的技术应用于它们。
[第一示例实施例]
[系统配置]
图2是示意性图示说明根据第一示例实施例的三维用户界面系统1(下面简称为系统)的硬件配置的示例的图。根据第一示例实施例的系统1包括传感器侧配置和显示器侧配置。传感器侧配置包括三维传感器(下面称为3D传感器)8和传感器侧设备10。显示器侧配置包括头装显示器(下面称为HMD)9和显示器侧设备20。下面，术语“三维”和“二维”分别被适当简称为3D和2D。
图3是图示说明怎样使用根据第一示例实施例的系统1的示例的图。如图3中所示，3D传感器8布置在可以检测操作者(用户)的特定区域的位置。HMD9佩戴在操作者(用户)的头上，从操作者捕捉视线图像，并且显示与视线图像合成的上述多个虚拟对象。操作者观看在HMD9的显示单元上显示的图像并且执行对在所显示的图像中包含的虚拟对象的选择操作以对锁定进行解锁。
3D传感器8检测3D信息用于例如检测操作者的特定区域。通过例如可见光相机和如同Kinect(注册商标)的范围图像传感器来实现3D传感器8。范围图像传感器也被称为深度传感器，其中，具有近红外光的模式从激光器发射到操作者；通过可以检测近红外光的相机来捕捉模式；以及基于通过捕捉获得的信息来计算从范围图像传感器到操作者的距离(深度)。注意：实现3D传感器8自己的方法并不限制，且3D传感器8可以通过三维扫描仪系统使用多个可见光相机来实现。而且，在图2中，3D传感器8被图示为一个元件。但是，3D传感器8可以通过包括例如捕捉操作者的二维图像的可见光相机和检测到操作者距离的传感器的多个设备来实现。
在这个示例实施例中，如图3中所示，三维坐标空间，其对于显示器侧配置和传感器侧配置是共同的，通过具有已知形状的标记7来设置。但是，公共实际对象，其提供用于设置公共三维坐标空间，不限于专用标记7。公共实际对象的特定形式也无限制，假设特定参考点和三个轴方向(每个从该特定参考点延伸并且互相直角相交)可以恒定从公共实际对象获得，不管视线的方向。例如，标记7可以用实际世界中安置的图像或对象来替换。
图4是图示说明HMD9的外部结构的示例的图。图4图示说明了称为视频看通类型(videosee-throughtype)的HMD9的配置。在图4中图示的示例中，HMD9包括两个可穿戴相机9a和9b以及两个显示器9c和9d。每个可穿戴相机9a和9b捕捉对应于用户的每条视线的视线图像。HMD9可以被称为图像捕捉单元。每个显示器9c和9d被安置为环绕大部分用户视野，并且显示合成3D图像，其中，虚拟3D操作区域与每个视线图像合成。出于这个原因，每个显示器9c和9d可以被称为显示单元。
传感器侧设备10和显示器侧设备20每个都包括例如中央处理单元(CPU)2、存储器3、通信设备4和输入-输出接口(I/F)5，其中每个都彼此相连接，例如通过总线。存储器3包括例如随机存取存储器(RAM)、只读存储器(ROM)、硬盘和便携存储介质。
传感器侧设备10的输入-输出I/F5与3D传感器8相连，由此，显示器侧设备20的输入-输出I/F5与HMD9相连。输入-输出I/F5和3D传感器8之间的连接以及输入-输出I/F5和HMD9之间的连接以它们可以无线地互相通信的方式而建立。每个通信设备4与其他设备(例如，传感器侧设备10和显示器侧设备20)以有线或无线方式通信。在这个示例实施例中，上述通信的形式并不限制。而且，传感器侧设备10和显示器侧设备20每个的具体硬件配置并不限制。
[处理配置]
[传感器侧设备]
图5是示意性图示说明根据第一示例实施例的传感器侧设备10的处理配置的示例的图。根据第一示例实施例的传感器侧设备10包括例如3D信息获取单元11、第一对象检测单元12、基准设置单元13、位置计算单元14、状态获取单元15和发射单元16。这些单元中每个都例如通过执行存储在存储器3中的程序的CPU2来实现。而且，该程序可以例如从诸如简易盘(CD)和存储卡的便携存储介质中或者从网络中存在的另外的计算机中通过输入-输出I/F5来安装，并且可以存储在存储器3中。
3D信息获取单元11顺序地获取由3D传感器8所检测到的3D信息。3D信息包括关于操作者且通过可见光获得的2D图像以及关于到3D传感器8的距离(深度)的信息。3D传感器8可以被配置有多个单元，包括例如可见光相机和深度传感器。
第一对象检测单元12基于由3D信息获取单元11所获取的3D信息来检测已知公共实际对象。在这个示例实施例中，图3中所示的标记7被用作公共实际对象。第一对象检测单元12预先保持例如关于标记7所具有的形状、大小和色彩的信息，并且如上所述使用已知信息基于3D信息来检测标记7。
基准设置单元13基于由第一对象检测单元12检测的标记7来设置3D坐标空间，并且计算3D传感器8在该3D坐标空间中的位置和方向。例如，基准设置单元13设置3D坐标空间，其中，从标记7提取的参考点被设置为原始点，而从该参考点延伸并且彼此以直角相交的三个方向被设置为各个轴。基准设置单元13比较标记7的已知形状和大小与从3D信息提取的标记7的形状和大小，由此计算3D传感器8的位置和方向。
位置计算单元14使用由3D信息获取单元11顺序获取的3D信息来顺序计算关于操作者的特定区域在3D坐标空间中的3D位置信息。更具体地，在这个示例实施例中，位置计算单元14以下面的方式计算3D位置信息。位置计算单元14首先基于由3D信息获取单元11获取的3D信息来提取关于操作者的特定区域的3D位置信息。这里，提取的3D位置信息对应于3D传感器8的相机坐标系统。然后，位置计算单元14基于3D坐标空间和由基准设置单元13计算的3D传感器8的位置和方向，将对应于3D传感器8的相机坐标系统的3D位置信息转换为由基准设置单元13设置的3D坐标空间中的3D位置信息。这个转换意味着从3D传感器8的相机坐标系统到基于标记7设置的3D坐标系统的转换。
这里，要被检测的操作者的特定区域的数量可以是两个或更多。例如，可能有可能使用操作者的双手都用作多个特定区域的形式。在此情况下，位置计算单元14从由3D信息获取单元11获取的3D信息中提取关于多个特定区域中每个的3D位置信息，并且将提取的3D位置信息转换成3D坐标空间中的3D位置信息。而且，特定区域表示操作者身体的一部分用于执行操作，并且因此具有特定面积或体积。因此，位置计算单元14所计算的3D位置信息可以是关于特定区域中一个点的位置信息，或者可以是关于多个点的位置信息。
状态获取单元15获取关于操作者的特定区域的状态信息。关于特定区域的状态信息表示可以标识关于特定区域的形状的状态的信息，并且例如，指示手指闭合、手指打开以及拇指抬起的状态。这个特定区域与要由位置计算单元14检测的特定区域相同。在这个示例实施例中，该状态信息可以指示的状态的数量没有限制，假设检测是可能的。而且，在多个特定区域被使用的情况下，状态获取单元15对于多个特定区域中的每个都获取状态信息。
状态获取单元15预先保持对应于要被识别的每个特定区域的状态的图像特征信息，并且比较预先保持的图像特征信息与从在由3D信息获取单元11获取的3D信息中包含的2D图像中提取的特征信息，由此获取关于每个特定区域的状态信息。而且，状态获取单元15基于从附于特定区域的张力传感器(未图示)获得的信息可以获取关于特定区域的状态信息。此外，状态获取单元15基于来自由操作者用其手操作的输入鼠标(未图示)的信息可以获取状态信息。而且，状态获取单元15可以通过识别通过麦克风(未图示)获取的声音来获取状态信息。
发射单元16向显示器侧设备20发射3D关于操作者在3D坐标空间中的特定区域的位置信息以及关于由状态获取单元15所获取的操作者的特定位置的状态信息，位置信息由位置计算单元14来计算。
[显示器侧设备]
图6是示意性图示说明根据第一示例实施例的显示器侧设备20的处理配置的示例的图。根据第一示例实施例的显示器侧设备20包括例如视线图像获取单元、第二对象检测单元22、坐标设置单元23、虚拟数据生成单元24、操作信息获取单元25、操作检测单元26、图像合成单元27、显示处理单元28、选择信息获取单元29和锁定控制单元30。这些单元中每个例如通过执行存储在存储器3中的程序的CPU2来实现。而且，这个程序可以例如从诸如建议盘(CD)和存储卡的便携存储介质中或者从网络上存在的另一计算机中通过输入-输出I/F5来安装，并且可以存储在存储器3中。
视线图像获取单元21从操作者获取视线图像。这个视线图像表示从基本等于操作者眼睛引导的方向的方向捕捉的图像。但是，可以有可能视线图像不完全与操作者观看(看见)的图像相匹配。在操作者执行对虚拟对象的选择操作的情况下，视线图像包含与由传感器侧设备10检测到的操作者的特定区域相同的特定区域。在这个示例实施例中，由于提供可穿戴相机9a和9b，视线图像获取单元21获取对应于左眼和右眼的视线图像。注意：每个单元类似地执行对对应于左右和右眼的视线图像的处理，并因此，下面的解释将目的在于仅一个视线图像。
第二对象检测单元22从由视线图像获取单元21获取的视线图像中检测与由传感器侧设备10检测到的相同的已知公共实际对象。换句话说，在这个示例实施例总，第二对象检测单元22检测图3中所图示的标记7。第二对象检测单元22以与上述的传感器侧设备10的第一对象检测单元12相似的方式执行其处理，并且因此，这里将不重复其具体描述。注意：图像捕捉方向对于在视线图像中包含的标记7和在由3D传感器8获取的3D信息中包含的标记7来说不同。
坐标设置单元23基于由第二对象检测单元22检测到的标记7，设置3D坐标空间，与由传感器侧设备10的基准设置单元13所设置的相同，并且计算HMD9的位置和方向。坐标设置单元23还以与传感器侧设备10的基准设置单元13相类似的方式来执行其处理，并且因此，这里将不重复对其的具体描述。坐标设置单元23还基于作为与传感器侧设备10的基准设置单元13用来设置3D坐标空间的公共实际对象相同的公共实际对象(标记7)来设置3D坐标空间。因此，传感器侧设备10和显示器侧设备20共享该3D坐标空间。
虚拟数据生成单元24生成表示由坐标设置单元23设置的在3D坐标空间中任意布置的多个虚拟对象的3D锁定数据。换句话说，虚拟数据生成单元24对应于上述的虚拟数据生成单元101。
图7是图示说明在第一示例实施例中所生成3D锁定数据所表示的虚拟对象的示例的图。注意：虚线在图7中补充示出，以便使得虚拟对象的布置易于可见，并且没有在HMD9上显示。而且，在图7中，示出了球形虚拟对象。但是，在第一示例实施例中，虚拟对象的数量、形状、色彩和虚拟对象的大小并无限制。可以设置虚拟对象以透明。
如图7中所示，在第一示例实施例中，虚拟数据生成单元24生成3D锁定数据，其中，多个虚拟对象布置在预定位置具有在3D坐标空间中的网格图案。在图7中的示例中，27个虚拟对象被布置在3D坐标空间中，使得三个虚拟对象以立方体方式布置在每个三维中。
通过上面所述的配置，除了指示在3D坐标空间中的位置的信息以外，每个虚拟对象具有关于在具有网格图案的布置中的相对位置的信息。此后，在虚拟对象的位置信息中，关于每个虚拟对象的位置信息的关于在3D坐标空间中的位置的信息被称为3D位置信息，且关于在具有网格图案的布置中的每个虚拟对象的相对位置的信息被称为相对位置信息。在图7的示例中，每个虚拟对象具有下面的相对位置信息。根据在“x”方向的位置、在“y”方向的位置和在“z”方向的位置，相对位置信息被指示为(x,y,z)。
虚拟对象OB1:相对位置信息(1,3,1)
虚拟对象OB2:相对位置信息(1,3,3)
虚拟对象OB3:相对位置信息(3,3,1)
虚拟对象OB4:相对位置信息(1,1,3)
虚拟对象OB5:相对位置信息(3,1,1)
图像合成单元27基于HMD9的位置、HMD9的方向、3D坐标空间和3D锁定数据来合成虚拟对象和由视线图像获取单元21获取的视线图像。此时，使用对应于视线图像上所示的空间的在3D坐标空间中的可见空间作为显示参考来确定3D坐标空间中每个虚拟对象的位置。而且，在这个示例实施例中，图像合成单元27基于由可穿戴相机9a和9b捕捉的每个视线图像来生成每个合成图像。注意：仅有必要的是，例如在增强显示(AR)中所使用的任何已知方法被用于由图像合成单元27所执行的合成处理，并且因此，在此将不进行对其的详细描述。
显示处理单元28使得HMD9显示多个虚拟对象，如同上述的显示处理单元102。在这个示例实施例中，显示处理单元28使得HMD9显示由虚拟对象和视线图像所形成的合成图像。通过这个配置，对应于操作者的每条视线的每个合成图像被显示在每个显示器9c和9d上，并且因此，由于双眼视差，操作者可以以三维的方式可视地识别视线图像和虚拟对象
图8是图示说明在HMD9上显示的合成图像的示例的图。注意：虚线在图8中补充地被图示以使得虚拟对象得布置容易可见，且未在HMD9上示出。操作者观看由视线图像和多个虚拟对象形成的合成图像，如图8中通过显示器9c和9d所示。在图8中图示为示例的合成图像包含存在于实际世界中且在视线图像中看到的表格RT以及以网格图案布置的九个虚拟对象。如图8中所示，显示处理单元28可以改变所选虚拟对象的色彩，由此使得对于虚拟对象的对应于所选顺序的选择的轨迹被显示。
操作信息获取单元25从传感器侧设备10接收关于在3D坐标空间中操作者的特定区域的3D位置信息，以及关于操作者的特定区域的状态信息。换句话说，操作信息获取单元25对应于上述的位置获取单元103。
操作检测单元26使用关于操作者的特定区域的3D位置信息、关于多个虚拟对象的3D位置信息以及关于操作者的特定区域的状态信息，以检测由操作者通过特定区域对虚拟对象所执行的每个选择操作。例如，操作检测单元26识别用于每个虚拟对象的操作检测区域，并且在操作者的特定区域进入操作检测区域且关于其的状态信息指示预定状态(例如，手指闭合的状态)的情况下，检测对虚拟对象执行选择操作。操作检测区域被设置到例如预定区域，其方式为使得区域的中心是在3D坐标空间中设置用于每个虚拟对象的3D位置。操作检测区域可以被设置为具有的大小等于在3D坐标空间中的虚拟对象的大小。
而且，操作检测单元26可以检测用于取消选择的操作。例如，操作检测单元26可以基于状态信息检测从对应于选择操作的预定状态(例如，手指闭合的状态)改变为另一预定状态(例如，打开手指的状态)，作为用于取消选择的操作。而且，操作检测单元26可以检测特定区域从其中布置有多个虚拟对象的区域到分隔开预定距离的位置的移动，作为用于取消选择的操作。
选择信息获取单元29获取选择信息，如同上述的选择信息获取单元105。在这个示例实施例中，选择信息获取单元29基于操作检测单元26所检测到的选择操作来获取指示关于所选虚拟对象和所选顺序的相对位置信息的选择信息。但是，关于由选择信息所指示的虚拟对象的位置信息可以是上述的3D位置信息。直到检测到选择的取消，选择信息获取单元29根据通过操作检测单元26在选择操作中所检测到的顺序来获取关于虚拟对象和所选顺序的相对位置信息作为选择信息。可以根据由操作检测单元26对用于取消选择的操作的检测而检测到选择的取消，或者，可以检测到从通过操作检测单元26的选择操作的首次检测过去的时间是否达到预定时间段。而且，如果所选的虚拟对象的数量达到上限值的话，选择信息获取单元29可以检测到选择的取消。
锁定控制单元30通过比较选择信息与已经登记的选择信息而对锁定进行解锁，如同上述的锁定控制单元106。例如，锁定控制单元30在该选择信息所指示的每个虚拟对象的所选顺序与已经登记的选择信息所指示的每个虚拟对象的所选顺序相匹配的情况下对锁定进行解锁。已经登记的选择信息可由显示器侧设备20来保持，或者可以由另一计算机来保持。
[操作的示例]
接下来，将结合图9来描述根据第一示例实施例的三维解锁方法。图9是示出根据第一示例实施例的系统1所执行的操作的示例的顺序图。下面，将基于传感器侧设备10和显示器侧设备20执行每个方法的假设来进行描述。但是，执行每个方法的主体可以是构成系统1的至少一个计算机。
传感器侧设备10从3D传感器8顺序地获取3D信息(S101)。3D信息包含关于用作为公共实际对象的标记7以及操作者的特定区域的信息。传感器侧设备10以下面的方式通过预定帧速率对3D信息操作。
传感器侧设备10从3D信息中检测公共实际对象(标记7)(S102)。接下来，传感器侧设备10基于所检测到的公共实际对象来设置3D坐标空间，并且计算3D传感器8在这个3D坐标空间中的位置和方向(S103)。
然后，传感器侧设备10使用该3D信息来计算关于操作者的特定区域的3D位置信息(S104)。而且，传感器侧设备10基于在步骤S103中计算的3D传感器8的位置和方向以及3D坐标空间而将在步骤S104中计算的3D位置信息转换为在步骤S103中设置的3D坐标空间中的3D位置信息(S105)。
传感器侧设备10进一步获取关于操作者的特定区域的状态信息(S106)。
传感器侧设备10向显示器侧设备20发射3D位置信息和状态信息，其中每个都关于操作者的特定区域(S107)。
出于解释的目的，图9示出以3D信息的预定帧速率来执行步骤S102和步骤S103的示例。但是，步骤S102和步骤S103可以仅以校准的时间执行。而且，执行步骤S106的定时不限于图9中所示。
另一方面，显示器侧设备20从HMD9顺序地获取视线图像(S111)而不与3D信息的获取(S101)同步。显示器侧设备20以下面的方式通过预定帧速率而对视线图像操作。
显示器侧设备20检测公共实际对象(标记7)，这是与由传感器侧设备10从视线图像中检测到的相同的公共实际对象(S112)。然后，显示器侧设备20基于所检测到的公共实际对象来设置3D坐标空间，并且计算HMD9在该3D坐标空间中的位置和方向(S113)。由于使用相同标记7(公共实际对象)，传感器侧设备10和显示器侧设备20共享3D坐标空间。
显示器侧设备20如上所述生成3D锁定数据(S114)。该3D锁定数据包含诸如大小、形状、显示形式以及在S113中设置的3D坐标空间中的多个虚拟对象中每个的位置的信息。上述的关于每个虚拟对象的设置信息可以通过任意方法来获取。
显示器侧设备20基于在S113中设置的3D坐标空间来合成在S111中获取的视线图像和由在S114中生成的3D锁定数据表示的多个虚拟对象(S115)。显示器侧设备20使得通过合成获得的图像在HMD9上显示(S116)。
在从传感器侧设备10接收都关于操作者的特定区域的3D位置信息和状态信息(S117)之后，显示器侧设备20基于在3D坐标空间中的操作者的特定区域的3D位置和每个虚拟对象的3D位置，检测由操作者通过特定区域对虚拟对象执行的选择操作(S118)。通过选择操作的检测，显示器侧设备20获取关于每个所选虚拟对象的相对位置信息。
在S118中的选择操作的检测之后，显示器侧设备20更新选择信息(S119)。更具体地，显示器侧设备20把关于经历在S118中所检测到的选择操作的每个虚拟对象的相对位置信息根据所选顺序反映为选择信息。显示器侧设备20重复S118和S119直到检测到选择的取消(S120)。通过这些操作，在选择信息中累积关于每个所选虚拟对象的相对位置信息和选择所选虚拟对象的顺序。
在检测到选择的取消之后(S120中为是)，显示器侧设备20检查在S119中更新的选择信息与已经登记的选择信息(S121)。如果对于虚拟对象的所需顺序彼此匹配(在S122中为是)，显示器侧设备20对锁定进行解锁(S123)。另一方面，如果对于虚拟对象的所选顺序并不彼此匹配(S122中为否)。显示器侧设备20不对锁定进行解锁，且初始化选择信息(S124)。在这之后，显示器侧设备20重复步骤S118及其之后的步骤，直到对于虚拟对象的所选顺序彼此匹配(S122)。
出于解释的目的，图9示出对于视线图像以预定帧速率执行S112到S115的示例。但是，可以有可能使用仅以校准执行S112和S113以及在需要解锁的定时执行S114和S115的配置。
[第一示例实施例的操作和效果]
如上所述，在第一示例实施例中，传感器侧设备10和显示器侧设备20基于在从HMD9和3D传感器8获得的图像信息上示出的公共实际对象(标记7)共享3D坐标空间。而且，用于对锁定进行解锁的视线图像和多个虚拟对象基于3D坐标空间而合成，由此获得的合成图像显示在安装在操作者的头部的HMD9上。此外，在第一示例实施例中，除了获得视线图像的图像捕捉单元(可穿戴相机9a和可穿戴相机9b)之外，提供可以测量操作者的特定区域的位置的传感器(3D传感器8)。然后，比较操作者的特定区域和虚拟对象之间在公共3D坐标空间中的位置关系，并且检测操作者通过特定区域对使用特定区域的虚拟对象所执行的选择操作。
而且，在第一示例实施例中，要经历选择操作的多个虚拟对象被显示为布置为网络图案，且基于关于每个虚拟对象的相对位置和虚拟对象的所选顺序的信息而进行关于是否对锁定进行解锁的判断。如上所述，根据第一示例实施例，获得对使用三维锁定图案的锁定进行解锁的功能，换句话说，可以获得具有三维用户界面的锁定功能。
而且，操作者可以可视地识别多个虚拟对象就像这些虚拟对象真的存在于操作者自己之前一样，并且可以通过操作者自己的特定区域选择虚拟对象以便对锁定进行解锁。换句话说，根据第一示例实施例，操作者可以通过直接操作感受执行用于对锁定进行解锁的操作，就像直接触摸虚拟对象一样。而且，虚拟对象仅仅可由操作者观看到，并且因此，任何第三方难以通过特定区域识别操作者的运动(手势)的目的。换句话说，根据第一示例实施例，有可能防止把操作者使用特定区域所执行的用于对锁定进行解锁的选择操作(手势)泄露给第三方。
而且，在第一示例实施例中，基于操作者的特定区域的位置和状态来检测对虚拟对象执行的选择操作。通过这个配置，检测保持手用作为特定区域的虚拟对象的操作(手势)，由此有可能给操作者更直接的操作感受。而且，通过设置特定区域的特定状态为对应于选择操作，有可能防止对虚拟对象的选择操作的误检测。例如，即使操作者的特定区域无意中触摸到虚拟对象的操作检测区域，有可能防止该操作被检测为对虚拟对象的选择操作。根据第一示例实施例，由于如上所述的直接操作感受以及防止误检测，有可能改进具有三维用户界面的锁定功能的使用性。
[第二示例实施例]
在根据第二示例实施例的系统1中，关于是否对锁定进行解锁的判断是基于设置为每个虚拟对象的记号而进行的。下面，将通过把焦点放在与第一示例实施例中不同之处来描述根据第二示例实施例的系统1。在下面的描述中，与第一示例实施例中相类似的细节将不被重复。
[处理配置]
在第二示例实施例中，传感器侧设备10和显示器侧设备20每个都具有与第一示例实施例中相类似的处理配置。下面将仅仅描述执行与在第一示例实施例中不同的处理的单元。
[显示器侧设备]
虚拟数据生成单元24生成表示每个具有唯一附于其的记号且可由操作者识别的多个虚拟对象的三维锁定数据。虚拟数据生成单元24例如设置附于每个虚拟对象的色彩、数量、字母和符号中的至少一个项目作为该记号，其方式为使得每个虚拟对象可以被识别。在第二示例实施例中，虚拟数据生成单元24可以确定多个虚拟对象怎样以任意方式在3D坐标空间中布置。而且，在第二示例实施例中，虚拟数据生成单元24可以在每个预定定时来改变多个虚拟对象的布置。预定定时可以是例如每次虚拟对象被显示、每次锁定发生，并且可以以任意方式被确定。
显示处理单元28使得HMD9显示由虚拟对象和视线图像形成的合成图像。图10A和图10B是每个图示说明在第二示例实施例汇总在HMD9上显示的合成图像的图。在图10A中的示例中，数字被唯一地设置给虚拟对象作为记号，且在图10B中的示例中，色彩被唯一地设置给虚拟对象作为记号。
选择信息获取单元29获取指示附于所选虚拟对象的记号和所选顺序的选择信息。在图10A中的示例中，选择信息获取单元29获取指示设置给所选虚拟对象的数量和虚拟对象的所选顺序的选择信息，而在图10B中的示例中，选择信息获取单元29获取指示所选虚拟对象的色彩和所选顺序的选择信息。如上所述，根据第二示例实施例，选择信息指示用作为对应于每个虚拟对象和所选顺序的标识信息的记号。
[操作的示例]
根据第二示例实施例的三维解锁方法类似于图9中所示的根据第一示例实施例的方法，除了将记号用作对应于每个虚拟对象的标识信息。但是，可以有可能显示器侧设备20每次在S114中生成3D锁定数据时任意地改变虚拟对象的布置。当锁定被解锁之后释放重新锁定(S123)时，再次执行图9中的S114。
[第二示例实施例的操作和效果]
如上所述，在第二示例实施例中，可由操作者识别的记号被设置用于每个虚拟对象，且多个虚拟对象和视线图像被合成，由此，生成的图像显示在HMD9上。通过这个配置，操作者根据用作为已经登记用于对锁定进行解锁的选择信息的为虚拟对象设置的记号的选择的顺序而顺序地选择虚拟对象，由此能够对锁定进行解锁。根据第二示例实施例，操作者可以使用设置用于虚拟对象的记号的布置来记住用于对锁定进行解锁的图案。因此，操作者可以易于记住它，由此有可能获得用户友好的解锁功能。
而且，在第二示例实施例中，通过为虚拟对象设置的记号来指示虚拟对象的选择的顺序。因此，有可能任意地布置虚拟对象，而且在每次将它们显示时改变虚拟对象的布置。出于上述的原因，根据第二示例实施例，有可能使用操作者的特定区域来改变运动(手势)用于每次对锁定进行解锁，由此有可能进一步防止由操作者使用用于对锁定进行解锁的特定区域来执行的选择操作(手势)对第三方泄露。
[第一修改示例]
在上述的第二示例实施例中，记号用作对应于每个虚拟对象的标识信息。但是，形状和大小的至少一个项目可以用作标识信息。在此情况下，虚拟数据生成单元24以操作者可识别的方式生成表示每个具有对其唯一设置的形状和大小的至少一个项目的多个虚拟对象的三维锁定数据。在此情况下，操作者根据用于对锁定进行解锁的每个虚拟对象的形状和大小的至少一个项目的选择的顺序，顺序地选择虚拟对象，由此能够对锁定进行解锁。由于每个虚拟对象能够基于其形状和大小而被标识，这样的修改示例可以获得类似于第二示例实施例的操作和效果。而且，其可以有可能合成在第二示例实施例中使用项目中的两个或更多项目，形状和大小，并且将它们用作标识信息。
[第二修改示例]
而且，在上述的第一示例实施例和第二示例实施例中，基于关于操作者的特定区域的3D位置信息和状态信息，检测对虚拟对象的选择操作。但是，可以有可能使用不使用状态信息的形式。在此情况下，传感器侧设备10的状态获取单元15不必要，且发射单元16仅发射关于操作者的特定区域的3D位置信息到显示器侧设备20。而且，在显示器侧设备20中，操作检测单元26不使用状态信息，并且基于操作者的特定区域的3D位置和多个虚拟对象的3D位置来检测对虚拟对象的选择操作。例如，如果操作者的特定区域存在于虚拟对象的操作检测区域内，操作检测单元26检测对虚拟对象的选择操作。此外，在操作者的特定区域在虚拟对象的操作检测区域内停止预定时间段或更长的情况下，操作检测单元26可以检测对虚拟对象的选择操作。
而且，操作检测单元26可以以下面的方式检测对虚拟对象的选择操作。例如，操作检测单元26可以检测仅用于第一选择操作的特定操作，然后，在检测到特定区域进入到虚拟对象的操作检测区域而不是检测到特定操作之后，可以检测随后的选择操作，直到取消选择。更具体地，如果特定区域在虚拟对象的操作检测区域内停止预定时间段或更长，操作检测单元26检测虚拟对象的第一选择，并且在此后仅仅通过检测特定区域进入操作检测区域而检测选择。通过这个配置，有可能简化用于对锁定进行解锁的对虚拟对象的选择操作。
[第三修改示例]
图11是示意性图示说明根据修改示例的显示器侧设备20的处理配置的示例的图。系统1可以具有登记关于比较目标的选择信息的功能，尽管对其的描述还没有具体在上述每个示例实施例中进行。在修改示例中，如图11中所示，除了在上述每个示例实施例中的配置以外，显示器侧设备20可以进一步包括选择信息登记单元35。显示器侧设备20在登记选择信息时所执行的处理不同于在对锁定解锁时所执行的处理。在登记选择信息时，选择信息登记单元35将由选择信息获取单元29所获取的选择信息登记到存储单元中作为正当选择信息。该存储单元可以提供于显示器侧设备20中，或者可以提供于另一计算机中。
而且，在登记选择信息时，显示处理单元28使得HMD9显示画面以便操作者选择位置信息、记号、形状和大小中的至少一个项目用作为对应于每个虚拟对象的标识信息。操作检测单元26检测选择对应于虚拟对象的标识信息的形式的操作。选择信息获取单元29使得选择信息登记单元35彼此相关联地登记操作者所选择的标识信息的类型以及包含关于该类型的标识信息的选择信息。通过这些操作，例如，操作者可以选择使用相对位置信息的模式(对应于第一示例实施例)以及使用记号、大小和形状中至少一个项目的模式(对应于第二示例实施例和修改示例)。而且，可以有可能使用使得操作者从包括例如画面上的色彩、数量和符号的记号中选择所需记号的配置。
而且，在选择了使用相对位置信息的模式的情况下，可以有可能使得操作者进一步在画面上选择网络图案的虚拟对象的布置的图案。在此情况下，仅有必要使虚拟数据生成单元24生成表示以由操作者所选择的图案来布置的多个虚拟对象的3D锁定数据。布置图案可以采用各种形式，其包括例如第一示例实施例中所述的立方体作为一个示例、立方体的、三角柱的金字塔、以及正八面体。在此情况下，关于虚拟对象的布置图案的信息，连同正当选择信息，被登记。通过这个配置，有可能根据操作者而改变虚拟对象的布置或标识信息，由此有可能进一步防止由操作者使用特定区域所执行的用于对锁定进行解锁的选择操作的泄露。
[其他修改示例]
在上述的每个示例实施例中，如图3中所示，HMD9包括可穿戴相机9a和9b以及对应于操作者(用户)双眼的显示器9c和9d。但是，HMD9可以包括一个可穿戴相机和一个显示器。在此情况下，一个显示器可能放置为环绕操作者一只眼睛的视野，或者可以放置为环绕操作者双眼的视野。在此情况下，仅有必要使得显示器侧设备20的虚拟数据生成单元24使用已知3DCG技术来生成3D锁定数据，使得虚拟对象以3DCG方式显示。
而且，尽管上述的每个示例实施例中使用具有视频看穿类型的HMD9以获得视线图像，但是可以使用光学看穿HMD9。在此情况下，仅有必要的是，具有半镜的显示器9c和9d提供给HMD9，且虚拟对象显示在显示器9c和9d上。但是，在此情况下，用于获得用于在操作者的视线方向上检测公共实际对象的图像的相机放置于相机不阻挡HMD9的操作者观看的位置。
而且，在上述的第一示例实施例和第二示例实施例中，如图2中所示，传感器侧设备10和显示器侧设备20分别提供，且从对象人物观察到的图像与虚拟对象合成。但是，可以有可能的是，由传感器侧设备10获得的3D信息中包含的2D图像与虚拟对象合成，且由此获得的图像被显示。
图12是示意性图示说明根据修改示例的系统1的硬件配置的示例的图。系统1包括处理设备50、3D传感器8和显示设备51。处理设备50包括例如CPU2、存储器3和输入-输出I/F5。输入-输出I/F5连接到3D传感器8和显示设备51。显示设备51显示合成的图像。
图13是示意性图示说明根据修改示例的处理设备50的处理配置的示例的图。根据修改示例的处理设备50包括3D信息获取单元11、位置计算单元14和状态获取单元15，每个都包括在根据上述每个示例实施例的传感器侧设备10中，并且进一步包括虚拟数据生成单元24、操作检测单元26、图像合成单元27、显示处理单元28、选择信息获取单元29和锁定控制单元30，每个都包括在根据上述每个示例实施例的显示器侧设备20中。这些单元类似于上述每个示例实施例中的单元，除了下面这些点。
位置计算单元14直接从由3D信息获取单元11从3D传感器8获取的3D信息中获得关于对象人物的特定区域的3D位置信息。操作检测单元26基于由位置计算单元14所计算的在相机坐标系统中的3D位置信息和由状态获取单元15获取的状态信息，检测对虚拟对象的选择操作。图像合成单元27合成在由3D信息获取单元11获取的3D信息中包含的2D图像和由虚拟数据生成单元24所生成的3D锁定数据所表示的虚拟对象。
在这个修改示例中，对象人物操作虚拟对象，同时观看从对象人物自己的视线方向以外的方向(3D传感器8)捕捉的对象人物自己的图像。因此，在这个修改示例中，与使用从对象人物自己观察到的图像的上述每个示例实施例相比，直接操作感受可以退化。但是，有可能通过使用特定区域对虚拟对象执行的三维操作来对锁定进行解锁。
应该注意到，在上面的描述中使用的流程图中，多个步骤(处理)以顺序顺序来描述。但是，在这个示例实施例中执行的步骤的顺序不限于所述步骤的顺序。在这个示例实施例中，附图中所图示的步骤的顺序可以被交换，假设交换不损害处理的细节。而且，上述的示例实施例和修改示例可以被组合，只要其细节不互相矛盾。
本申请要求基于2013年3月19日提交的日本专利申请No.2013-057185的优先权，其公开内容在此通过援引整体加入进来。

Claims (13)

1.一种三维解锁设备，包括：
虚拟数据生成单元，所述虚拟数据生成单元生成三维锁定数据，所述三维锁定数据表示任意布置在三维坐标空间中的多个虚拟对象；
显示处理单元，所述显示处理单元使得显示单元显示由所述三维锁定数据所表示的所述多个虚拟对象；
位置获取单元，所述位置获取单元获取操作者的特定区域在所述三维坐标空间中的三维位置；
操作检测单元，所述操作检测单元使用由所述位置获取单元所获取的所述三维位置和所述多个虚拟对象的三维位置来检测所述操作者通过所述特定区域对所述虚拟对象执行的选择操作；
选择信息获取单元，所述选择信息获取单元基于由所述操作检测单元所检测到的所述选择操作来获取选择信息，所述选择信息指示对应于所选择的虚拟对象和所选择的顺序的标识信息；以及
锁定控制单元，所述锁定控制单元通过将由所述选择信息获取单元所获取的选择信息与已经登记的选择信息进行比较来对锁定进行解锁。
2.根据权利要求1所述的三维解锁设备，其中，
所述虚拟数据生成单元生成所述多个虚拟对象在所述三维坐标空间中通过网格图案而被布置在预定位置中的三维锁定数据，并且
所述选择信息获取单元获取所述选择信息，所述选择信息指示关于所选择的虚拟对象的位置信息和所选择的顺序。
3.根据权利要求1所述的三维解锁设备，其中，
所述虚拟数据生成单元生成所述三维锁定数据，所述三维锁定数据表示每一个都具有唯一与之附连的记号并且能够由所述操作者识别的所述多个虚拟对象，或者表示每一个都具有以对所述操作者可识别的方式对其唯一设置的形状或大小的所述多个虚拟对象，并且
所述选择信息获取单元获取指示与所选择的虚拟对象附连的记号和所选择的顺序的所述选择信息、或者指示所选择的虚拟对象的形状或大小和所选择的顺序的所述选择信息。
4.根据权利要求3所述的三维解锁设备，其中，
所述虚拟数据生成单元在每个预定定时改变所述多个虚拟对象的布置。
5.根据权利要求1到权利要求4中任意一项所述的三维解锁设备，进一步包括：
状态获取单元，所述状态获取单元获取关于所述操作者的所述特定区域的状态信息，其中，
所述操作检测单元使用由所述位置获取单元所获取的所述三维位置、所述多个虚拟对象的所述三维位置以及由所述状态获取单元所获取的所述状态信息，来检测由所述操作者通过所述特定区域对所述虚拟对象所执行的选择操作。
6.根据权利要求1到权利要求5中任意一项所述的三维解锁设备，进一步包括：
选择信息登记单元，所述选择信息登记单元登记要在所述锁定控制单元中与由所述选择信息获取单元所获取的所述选择信息作比较的选择信息，其中，
所述显示处理单元使得所述显示单元显示下述画面：该画面使所述操作者选择位置信息、记号、形状和大小中的至少一个项目，其中每一个都被用作与所述虚拟对象相对应的标识信息，并且
所述选择信息获取单元使得所述选择信息登记单元彼此相关联地登记由所述操作者所选择的所述标识信息的类型以及包含关于所述类型的标识信息的所述选择信息。
7.一种由至少一个计算机执行的三维解锁方法，包括：
生成三维锁定数据，所述三维锁定数据表示任意布置在三维坐标空间中的多个虚拟对象；
使得显示单元显示由所述三维锁定数据所表示的所述多个虚拟对象；
获取操作者的特定区域在所述三维坐标空间中的三维位置；
使用所获取的三维位置和所述多个虚拟对象的三维位置来检测所述操作者通过所述特定区域对所述虚拟对象执行的选择操作；
基于所检测到的选择操作来获取选择信息，所述选择信息指示对应于所选择的虚拟对象和所选择的顺序的标识信息；以及
通过将所获取的选择信息与已经登记的选择信息进行比较来对锁定进行解锁。
8.根据权利要求7所述的三维解锁方法，其中
所述生成三维锁定数据包括：生成所述多个虚拟对象在所述三维坐标空间中通过网格图案而被布置在预定位置中的三维锁定数据，并且
所述获取所述选择信息包括：获取指示关于所选择的虚拟对象的位置信息和所选择的顺序的所述选择信息。
9.根据权利要求7所述的三维解锁方法，其中
所述生成三维锁定数据包括：生成下述三维锁定数据，该三维锁定数据表示每一个都具有唯一与之附连的记号并且能够由所述操作者识别的所述多个虚拟对象，或者表示每一个都具有以对所述操作者可识别的方式对其唯一设置的形状或大小的所述多个虚拟对象，并且
所述获取所述选择信息包括：指示与所选择的虚拟对象附连的记号和所选择的顺序的所述选择信息、或者指示所选择的虚拟对象的形状或大小和所选择的顺序的所述选择信息。
10.根据权利要求9所述的三维解锁方法，进一步包括
在每个预定定时改变所述多个虚拟对象的布置。
11.根据权利要求7到权利要求10中任意一项所述的三维解锁方法，进一步包括：
获取关于所述操作者的所述特定区域的状态信息，其中，
所述检测所述选择操作包括：基于所获取的三维位置、所述多个虚拟对象的所述三维位置以及所获取的状态信息，来检测由所述操作者通过所述特定区域对所述虚拟对象所执行的选择操作。
12.根据权利要求7到权利要求11中任意一项所述的三维解锁方法，进一步包括：
使得所述显示单元显示下述画面：该画面使所述操作者选择位置信息、记号、形状和大小中的至少一个项目，其中每一个都被用作与所述虚拟对象相对应的标识信息；以及
彼此相关联地登记由所述操作者所选择的所述标识信息的类型以及包含关于该类型的标识信息的所述选择信息。
13.一种程序，所述程序使得至少一个计算机执行根据权利要求7到权利要求12中任意一项所述的三维解锁方法。
CN201380074952.1A 2013-03-19 2013-08-21 三维解锁设备、三维解锁方法和程序 Pending CN105051650A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-057185 2013-03-19
JP2013057185 2013-03-19
PCT/JP2013/072244 WO2014147858A1 (ja) 2013-03-19 2013-08-21 ３次元ロック解除装置、３次元ロック解除方法及びプログラム

Publications (1)

Publication Number Publication Date
CN105051650A true CN105051650A (zh) 2015-11-11

Family

ID=51579577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380074952.1A Pending CN105051650A (zh) 2013-03-19 2013-08-21 三维解锁设备、三维解锁方法和程序

Country Status (5)

Country Link
US (1) US20160055330A1 (zh)
EP (1) EP2977924A1 (zh)
JP (1) JPWO2014147858A1 (zh)
CN (1) CN105051650A (zh)
WO (1) WO2014147858A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111512277A (zh) * 2017-12-27 2020-08-07 索尼公司 信息处理装置、信息处理方法及程序
CN111819531A (zh) * 2018-03-23 2020-10-23 科乐美数码娱乐株式会社 信息处理装置、记录介质、头戴式显示器和信息处理系统

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3123385B1 (en) * 2014-03-25 2020-03-11 Sony Corporation 3d graphical authentication by revelation of hidden objects
EP3119158A4 (en) * 2014-03-31 2017-03-08 Huawei Technologies Co. Ltd. Privacy protection method and terminal device
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
JP6418685B2 (ja) * 2014-12-16 2018-11-07 国立大学法人 鹿児島大学 認証処理装置及び認証処理方法
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10750161B2 (en) * 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
CN105955630A (zh) * 2015-09-24 2016-09-21 上海鼎为通讯电子有限公司 一种电子设备的屏幕解锁方法
JP2017068771A (ja) * 2015-10-02 2017-04-06 東京ガスエンジニアリングソリューションズ株式会社 敷設設備表示装置
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
CN108111475B (zh) * 2016-11-25 2020-05-05 阿里巴巴集团控股有限公司 身份验证方法及装置
CN106682468A (zh) * 2016-12-30 2017-05-17 百度在线网络技术（北京）有限公司 解锁电子设备的方法以及电子设备
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
WO2018143313A1 (ja) * 2017-02-01 2018-08-09 コニカミノルタ株式会社 ウェアラブル電子機器
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US10719703B2 (en) * 2017-05-30 2020-07-21 Fujitsu Limited Non-transitory computer-readable storage medium for storing line-of-sight analysis program, line-of-sight analysis method, and line-of-sight analysis apparatus
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
EP3518130A1 (en) 2018-01-30 2019-07-31 OneVisage SA Method and system for 3d graphical authentication on electronic devices
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US10783230B2 (en) * 2018-05-09 2020-09-22 Shape Matrix Geometric Instruments, LLC Methods and apparatus for encoding passwords or other information
US11334656B2 (en) * 2018-05-17 2022-05-17 Mindpass, Inc. 3D virtual interactive digital user authentication security
US11216586B2 (en) 2018-12-03 2022-01-04 At&T Intellectual Property I, L.P. Multi-dimensional progressive security for personal profiles
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
US12067092B2 (en) * 2022-03-31 2024-08-20 Lenovo (Singapore) Pte. Ltd. 3D passcode provided in virtual space

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282428A (ja) * 2000-03-29 2001-10-12 Matsushita Electric Ind Co Ltd 情報処理装置
JP2010139711A (ja) * 2008-12-11 2010-06-24 Brother Ind Ltd ヘッドマウントディスプレイ
CN102193625A (zh) * 2010-02-24 2011-09-21 索尼公司 图像处理设备、图像处理方法、程序以及图像处理系统
CN102598012A (zh) * 2009-12-29 2012-07-18 比兹摩德莱恩有限公司 口令处理方法和设备
JP2013016115A (ja) * 2011-07-06 2013-01-24 Nomura Research Institute Ltd 情報処理端末のロック解除方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
JP2002042172A (ja) * 2000-07-25 2002-02-08 Matsushita Electric Works Ltd 仮想物体の選択方法、この方法が適用される記録媒体およびサービス
JP3858091B2 (ja) * 2002-10-03 2006-12-13 独立行政法人産業技術総合研究所 パスワード認証装置およびパスワード認証方法
JP5565331B2 (ja) * 2011-01-28 2014-08-06 コニカミノルタ株式会社 表示システム、表示処理装置、表示方法、および表示プログラム
JP2012173772A (ja) * 2011-02-17 2012-09-10 Panasonic Corp ユーザインタラクション装置、ユーザインタラクション方法、ユーザインタラクションプログラム、及び集積回路
TWI463352B (zh) * 2012-04-16 2014-12-01 Phansco Corp Shaking and unlocking touch - type portable electronic device and its rocking and unlocking method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282428A (ja) * 2000-03-29 2001-10-12 Matsushita Electric Ind Co Ltd 情報処理装置
JP2010139711A (ja) * 2008-12-11 2010-06-24 Brother Ind Ltd ヘッドマウントディスプレイ
CN102598012A (zh) * 2009-12-29 2012-07-18 比兹摩德莱恩有限公司 口令处理方法和设备
CN102193625A (zh) * 2010-02-24 2011-09-21 索尼公司 图像处理设备、图像处理方法、程序以及图像处理系统
JP2013016115A (ja) * 2011-07-06 2013-01-24 Nomura Research Institute Ltd 情報処理端末のロック解除方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111512277A (zh) * 2017-12-27 2020-08-07 索尼公司 信息处理装置、信息处理方法及程序
CN111819531A (zh) * 2018-03-23 2020-10-23 科乐美数码娱乐株式会社 信息处理装置、记录介质、头戴式显示器和信息处理系统
CN111819531B (zh) * 2018-03-23 2024-03-22 科乐美数码娱乐株式会社 信息处理装置、记录介质、头戴式显示器和信息处理系统

Also Published As

Publication number Publication date
JPWO2014147858A1 (ja) 2017-02-16
EP2977924A1 (en) 2016-01-27
WO2014147858A1 (ja) 2014-09-25
US20160055330A1 (en) 2016-02-25

Similar Documents

Publication Publication Date Title
CN105051650A (zh) 三维解锁设备、三维解锁方法和程序
US11127210B2 (en) Touch and social cues as inputs into a computer
CN106255939B (zh) 世界锁定显示质量反馈
JP5936155B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
CN104662587B (zh) 三维用户界面装置以及三维操作方法
JP6288372B2 (ja) インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム
US8094091B2 (en) Information presenting apparatus, method, and computer program product
JP6057396B2 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
JP5499762B2 (ja) 画像処理装置、画像処理方法、プログラム及び画像処理システム
WO2013035758A1 (ja) 情報表示システム、情報表示方法、及び記憶媒体
JP6619871B2 (ja) 媒介現実コンテンツの共有
CN107850948A (zh) 混合现实社交
CN107004279A (zh) 自然用户界面相机校准
CN110168475A (zh) 将用户接口装置导入虚拟现实/增强现实的系统
KR101146091B1 (ko) 증강 현실을 위한 입력 인터페이스 장치 및 이를 구비한 증강 현실 시스템
WO2014016986A1 (ja) ３次元環境共有システム及び３次元環境共有方法
CN110018736A (zh) 人工现实中的经由近眼显示器界面的对象增强
KR20190078524A (ko) 가상 환경 제어 시스템
CN109255749A (zh) 自主和非自主平台中的地图构建优化
CN114651238A (zh) 具有处理器间通信（ipc）的人工现实系统
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
CN111353930A (zh) 数据处理方法及装置、电子设备及存储介质
CN105630152A (zh) 处理视觉数据的设备和方法以及相关的计算机程序产品
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
CN108475114A (zh) 用于对象姿势跟踪器的反馈

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151111

WD01 Invention patent application deemed withdrawn after publication