CN102193625A - 图像处理设备、图像处理方法、程序以及图像处理系统 - Google Patents

图像处理设备、图像处理方法、程序以及图像处理系统 Download PDF

Info

Publication number
CN102193625A
CN102193625A CN2011100412775A CN201110041277A CN102193625A CN 102193625 A CN102193625 A CN 102193625A CN 2011100412775 A CN2011100412775 A CN 2011100412775A CN 201110041277 A CN201110041277 A CN 201110041277A CN 102193625 A CN102193625 A CN 102193625A
Authority
CN
China
Prior art keywords
virtual objects
image processing
manipulation
image
processing equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100412775A
Other languages
English (en)
Other versions
CN102193625B (zh
Inventor
松田晃一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102193625A publication Critical patent/CN102193625A/zh
Application granted granted Critical
Publication of CN102193625B publication Critical patent/CN102193625B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种图像处理设备，包括：输入图像获取单元，用于获得通过拍摄真实空间的图像生成的输入图像；图像识别单元，用于在检测到表示操纵开始的第一用户输入时识别用于操纵虚拟对象的操纵物，其中，操纵物出现在输入图像中；计算单元，用于根据由图像识别单元提供的操纵物的识别结果计算虚拟对象要显示在显示装置的屏幕上的位置；显示控制单元，用于在由计算单元计算出的显示装置的屏幕的位置处显示虚拟对象；以及通信单元，用于在检测到第一用户输入时向显示相同虚拟对象的另一设备发送用于通知操纵开始的第一通知信号。

Description

图像处理设备、图像处理方法、程序以及图像处理系统
技术领域
本发明涉及一种图像处理设备、图像处理方法、程序以及图像处理系统。
背景技术
过去，已开发了称作MR(混合现实)的技术以为用户提供混合真实世界和虚拟世界的环境。AR(增强现实)，作为MR的实例，为用户提供通过对真实空间进行成像来获得以及用虚拟对象图像或附加信息来增强的图像。在MR中，常常在真实世界中布置一些接口以允许用户与虚拟世界或虚拟对象交互。例如，日本专利申请公开2002-247602号描述了用于提供这样的桌上冰球游戏的MR系统：在该游戏中，多个用户通过操纵控制箱(即，真实世界中的物理对象)互相击打冰球。
发明内容
然而，在如日本专利申请公开2002-247602号中描述的系统中一样由多个用户共享一个虚拟对象的情形中，会由于例如设备之间的通信延迟或者处理的延迟而在真实世界的状态与虚拟对象的状态之间出现不匹配。例如，在日本专利申请公开2002-247602号中描述的MR系统中，作为主控(master)的MR游戏设备获得由用户的头戴式显示器(HMD)获得的输入图像，对输入图像执行预定处理，并向用户的HMD发布输出图像。在此情形中，花费许多时间来获取输入图像以及发布输出图像。因此，用户手部的状态与HMD上显示的输出图像的状态不匹配，该不匹配很可能使用户感觉不舒服。在用于在由用户佩戴的透视显示器上投射虚拟对象的方法的情形中，问题在于用户看到的真实世界的状态以及在有通信延迟等的情况下投射的虚拟对象会在显示器上彼此移位。
相应地，本发明提供这样的新型和改进的图像处理设备、图像处理方法、程序以及图像处理系统：其可以在减少真实世界的状态与虚拟对象的状态之间的不匹配的同时提供混合现实。
根据本发明的实施例，提供了一种图像处理设备，包括：输入图像获取单元，用于获得通过拍摄真实空间的图像而生成的输入图像；图像识别单元，用于在检测到表示操纵开始的第一用户输入时识别用于操纵虚拟对象的操纵物，其中，操纵物出现在输入图像中；计算单元，用于根据由图像识别单元提供的操纵物的识别结果计算虚拟对象要显示在显示装置的屏幕上的位置；显示控制单元，用于在由计算单元计算出的显示装置的屏幕的位置处显示虚拟对象；以及通信单元，用于在检测到第一用户输入时向显示相同虚拟对象的另一设备发送用于通知操纵开始的第一通知信号。
根据以上结构，当检测到表示操纵开始的第一用户输入时，识别通过拍摄真实空间的图像获得的输入图像中出现的操纵物，作为识别的结果，控制虚拟对象的显示。此外，从操纵侧图像处理设备向观察侧图像处理设备发送第一通知信号以通知操纵开始。
第一通知信号可以包括用于标识虚拟对象的标识数据或者表示虚拟对象位置的位置数据。
当检测到表示操纵结束的第二用户输入时，通信单元可以向另一设备发送第二通知信号以通知操纵结束。
第二通知信号可以包括表示由计算单元计算的表示虚拟对象位置的位置数据。
图像识别单元还可以在通信单元从另一设备接收到第一通知信号时识别输入图像中出现的操纵物。
在由通信单元接收的第一通知信号与由图像处理设备要显示的虚拟对象无关时，图像识别单元可以不识别操纵物。
在检测到第一用户输入并且之后作为由图像识别单元提供的操纵物的识别结果确定操纵物与虚拟对象相接触时，通信单元可以向另一设备发送第一通知信号。
通信单元可以向管理显示同样虚拟对象的一组设备的信息处理设备发送第一通知信号。
第一通知信号可以包括用于标识虚拟对象的标识数据或者表示虚拟对象位置的位置数据，可以经由信息处理设备向显示相同虚拟对象的另一设备传送第一通知信号。
图像处理设备可以进一步包括：存储单元，存储表示操纵物的操纵物图像，并且图像识别单元可以使用存储单元中存储的操纵物图像来识别输入图像中出现的操纵物。
根据本发明的另一实施例，提供了一种由图像处理设备执行的图像处理方法，包括步骤：获得通过拍摄真实空间的图像而生成的输入图像；检测表示操纵开始的第一用户输入；将第一通知信号发送到显示与要由图像处理设备操纵的虚拟对象相同的虚拟对象的另一设备，以通知操纵开始；识别出现在输入图像中的用于虚拟对象的操纵的操纵物；根据操纵物的识别结果计算虚拟对象要显示在显示装置的屏幕上的位置；以及在计算出的显示装置的屏幕的位置处显示虚拟对象。
根据本发明的另一实施例，提供了一种程序，用于使控制图像处理设备的计算机作为：输入图像获取单元，用于获得通过拍摄真实空间的图像而生成的输入图像；图像识别单元，用于在检测到表示操纵开始的第一用户输入时识别用于操纵虚拟对象的操纵物，其中，操纵物出现在输入图像中；计算单元，用于根据由图像识别单元提供的操纵物的识别结果计算虚拟对象要显示在显示装置的屏幕上的位置；显示控制单元，用于在由计算单元计算出的显示装置的屏幕的位置处显示虚拟对象；以及通信单元，用于在检测到第一用户输入时向显示相同虚拟对象的另一设备发送用于通知操纵开始的第一通知信号。
根据本发明的另一实施例，提供了一种包括两个或更多个图像处理设备的图像处理系统，其中，图像处理设备中的每一个包括：输入图像获取单元，用于获得通过拍摄真实空间的图像而生成的输入图像；图像识别单元，用于在检测到表示操纵开始的第一用户输入时识别用于操纵虚拟对象的操纵物，其中，操纵物出现在输入图像中；计算单元，用于根据由图像识别单元提供的操纵物的识别结果计算虚拟对象要显示在显示装置的屏幕上的位置；显示控制单元，用于在由计算单元计算出的显示装置的屏幕的位置处显示虚拟对象；以及通信单元，用于在检测到第一用户输入时向显示相同虚拟对象的另一设备发送用于通知操纵开始的第一通知信号，其中，图像识别单元还在通信单元从另一设备接收到第一通知信号时识别输入图像中出现的操纵物。
如上所述，根据本发明的图像处理设备、图像处理方法、程序以及图像处理系统，可以在减少真实世界的状态与虚拟对象的状态之间的不匹配的同时提供混合现实。
附图说明
图1是示出根据实施例的图像处理系统的概况的示意图；
图2是示出根据与本发明有关的技术的图像处理的说明图；
图3A是示出真实世界的状态与虚拟对象的状态之间的不匹配的第一说明图；
图3B是示出真实世界的状态与虚拟对象的状态之间的不匹配的第二说明图；
图4是示出根据实施例的图像处理设备的结构实例的框图；
图5A是示出根据实施例的操纵物的实例的示意图；
图5B是示出根据实施例的操纵物的另一实例的示意图；
图6是示出对象数据的实例的说明图；
图7是示出根据实施例的虚拟对象的显示位置计算处理的流程实例的流程图；
图8A是示出根据实施例的操纵开始信号的说明图；
图8B是示出根据实施例的操纵结束信号的说明图；
图8C是示出根据实施例的自身位置通知信号的说明图；
图9是示出根据实施例的操纵侧图像处理的流程实例的流程图；
图10是示出根据实施例的观察侧图像处理的流程实例的流程图；
图11是示出根据实施例的管理服务器的结构实例的框图；
图12是示出根据实施例的信号传送处理的流程实例的流程图；以及
图13是示出根据修改的图像处理系统的示意图。
具体实施方式
在下文中，将参照附图详细描述本发明的优选实施例。注意，在本说明书和附图中，用相同的附图标记表示功能和结构基本上相同的结构元件，略去了这些结构元件的重复说明。
另外，按如下顺序描述实施例的详细描述。
1.系统的概况
1-1.整个系统的概况
1-2.与相关领域相关联的问题
2.关于图像处理设备的说明
2-1.设备的示例性结构
2-2.处理的流程
3.关于管理服务器的说明
3-1.设备的示例性结构
3-2.处理的流程
4.变型
5.结论
<1.系统的概况>
[1-1.整个系统的概况]
图1是示出根据本发明实施例的图像处理系统的概况的示意图。图1示出包括图像处理设备100a和100b以及管理服务器200的图像处理系统。图像处理设备100a是由用户Ua使用的设备。图像处理设备100a可以经由有线通信连接或无线通信连接与管理服务器200通信。图像处理设备100b是由用户Ub使用的设备。图像处理设备100b也可以经由有线通信连接或无线通信连接与管理服务器200通信。
图像处理设备100a被连接到例如用户Ua在头上佩戴的HMD 104a和摄像装置102a。摄像装置102a跟随用户Ua的注视方向并在注视方向上拍摄真实世界R1的图像。然后，摄像装置102a将一系列输入图像输出到图像处理设备100a。HMD 104a向用户Ua显示由图像处理设备100a提供的图像。例如，由HMD 104a显示的图像是包括用户Ua视野中虚拟对象V1的图像。
同样地，图像处理设备100b被连接到例如用户Ub在头上佩戴的HMD 104b和摄像装置102b。摄像装置102b跟随用户Ub的注视方向并在注视方向上拍摄真实世界R1的图像。然后，摄像装置102b将一系列输入图像输出到图像处理设备100b。HMD 104b向用户Ub显示由图像处理设备100b提供的图像。在本实施例中，图像处理设备100a和100b共享虚拟对象V1。即，由HMD 104b显示的图像也可以包括用户Ub视野中的虚拟对象V1。
在本说明书中，当没有必要相互区分图像处理设备100a和100b时，可以略去以后缀的形式附加到附图标记的字母。在这种情形中，将图像处理设备100a和100b统称为图像处理设备100。也可以按类似方式统称摄像装置102a和102b(摄像装置102)、HMD 104a和104b(HMD 104)以及其它组件。根据本实施例的图像处理系统中的图像处理设备100的数量不限于图1中示出的实例，而可以是三个或更多个。例如，图像处理系统还可以包括由第三个用户使用的第三图像处理设备100。
管理服务器200是用于在系统中管理关于图像处理设备100的信息的信息处理设备。例如，管理服务器200以规则间隔(或者每次出现改变时)从每个图像处理设备100接收摄像装置102的姿势和位置，并将接收的数据存储到数据库。然后，当管理服务器200从图像处理设备100中的一个接收到表示虚拟对象V1的操纵的信号时，管理服务器200向共享虚拟对象V1的另一图像处理设备100传送该信号。
[1-2.与相关领域相关联的问题]
随后，将参照图2、图3A和图3B说明如图1所示的图像处理系统中与本发明相关的技术相关联的问题。图2是示出根据相关领域的典型图像处理的说明图。图3A和图3B是各自示出可能在参照图2说明的图像处理中出现的、真实世界的状态与虚拟对象的状态之间的不匹配的说明图。
在图2中，以用数字表明的框示出了根据相关领域的图像处理的典型流程。框中表明的数字表示处理的次序。即，在相关领域中，按如下顺序执行图像处理。
(1)识别操纵物
(2)确定对象位置
(3)报告对象ID和位置
(4)发布对象ID和位置
(5)移动虚拟对象
(1)识别操纵物
首先，图像处理设备100中的一个图像处理设备(在图2的实例中，图像处理设备100a)识别输入图像中出现的操纵物。操纵物是用于操纵虚拟对象的真实世界中的物理对象。操纵物可以是诸如用户手部的人体的一部分，或者可以是除了人体之外的预定物理对象。
(2)确定对象位置
随后，基于操纵物的位置(或移动)与虚拟对象的位置之间的关系确定虚拟对象的新位置。例如，在操纵物与虚拟对象相接触的同时进行移动的情形中，可以根据操纵物的移动更新虚拟对象的位置。
(3)报告对象ID和位置
随后，向管理服务器200报告虚拟对象的新位置以及对象ID(标识符)。
(4)发布对象ID和位置
随后，管理服务器200将虚拟对象的新位置以及对象ID发布给共享相同虚拟对象的另一图像处理设备100(在图2的实例中，图像处理设备100b)。
(5)移动虚拟对象
随后，在共享相同虚拟对象的另一图像处理设备100中，HMD 104的屏幕上的虚拟对象移动。
在图2的实例中，图像处理设备100a执行处理(1)和(2)。可选择地，代替图像处理设备100a，管理服务器200可以在从图像处理设备100a接收到输入图像时执行处理(1)和(2)。又可选择地，可以不布置管理服务器200。在此情形中，从图像处理设备100a向图像处理设备100b直接发送虚拟对象的新位置以及对象ID。
在如以上说明的图像处理中，在图像处理设备100b完成虚拟对象的移动时已经过去了这样的时间：该时间包括时差和由设备之间的通信引起的处理延迟。于是，例如，当在由摄像装置102b拍摄的图像内覆盖虚拟对象V1时，HMD 104b上显示的图像在操纵物的状态与虚拟对象V1的状态之间具有不匹配。
图3A和图3B以更具体的方式示出以上问题。图3A示出包括由时间间隔T隔开的两帧图像的实例。HMD 104a向用户Ua(即，操纵虚拟对象V1的人)显示该两帧。另一方面，图3B示出包括由时间间隔T隔开的两帧图像的实例。HMD 104b向用户Ub(即，观察虚拟对象V1的人)显示该两帧。在此实例中，操纵物是用户的手部。
如图3A中所示，操纵物H1在时间t＝0与虚拟对象V1a相接触。此后，在时间t＝T，虚拟对象V1a随着操纵物H1移动向左移动。即使在时间t＝T，操纵物H1也与虚拟对象V1a相接触。
图3B与图3A的相同之处在于在时间t＝0操纵物H1与虚拟对象V1b相接触。虚拟对象V1a和虚拟对象V1b是具有相同对象ID的相同对象。然而，因为在不同HMD上显示对象，所以为方便起见用不同附图标记表示对象。此后，在时间t＝T，虚拟对象V1b随着操纵物H1移动向左移动。在时间t＝T，由于时差和由设备之间的通信引起的处理延迟，图像处理设备100b接收到在当前帧之前数帧的帧中虚拟对象的位置。因此，在时间t＝T在HMD 104b上显示的虚拟对象V1b的位置从在时间t＝T在HMD 104a上显示的虚拟对象V1a的位置移位位移d。然而，在真实世界中，由摄像装置102b拍摄的操纵物H1的位置与由摄像装置102a拍摄的操纵物H1的位置相同。于是，操纵物H1的位置在HMD 104b上显示的图像中与虚拟对象V1b不匹配。在图3B的实例中，操纵物H1不是与虚拟对象V1b相接触而是插入到虚拟对象V1b中。
在每个HMD 104是只把虚拟对象的图像投射到每个HMD 104的屏幕上的透视显示器时，这种不匹配以同样的方式或者更显著地出现。
可以通过尽可能地减少时差和由设备之间的通信引起的处理延迟的影响来抑制真实世界的状态与虚拟对象的状态之间的不匹配。在随后章节，将说明根据本实施例的图像处理设备100和管理服务器200的具体结构。在提供混合现实时，图像处理设备100和管理服务器200减少时差和由设备之间的通信引起的处理延迟的影响。
<2.关于图像处理设备的说明>
[2-1.设备的示例性结构]
图4是示出根据本实施例的图像处理设备100的结构实例的框图。如图4中所示，图像处理设备100包括输入图像获取单元110、自身位置检测单元120、存储单元130、图像识别单元140、计算单元150、显示控制单元160以及通信单元170。
(输入图像获取单元)
摄像装置102拍摄真实空间的图像以生成输入图像，且输入图像获取单元110获得这样生成的输入图像。然后，输入图像获取单元110将获得的输入图像输出到自身位置检测单元120、图像识别单元140以及显示控制单元160。
(自身位置检测单元)
自身位置检测单元120检测真实世界中摄像装置102的姿势和位置。例如，通过真实世界中绝对坐标系中的三维位置来表示摄像装置102的位置。例如，通过与旋转矩阵相对应的欧拉角或四元数表示摄像装置102的姿势。例如，根据Andrew J.Davison的“Real-Time SimultaneousLocalization and Mapping with a Single Camera”(Proceedings of the 9thIEEE International Conference on Computer Vision Volume 2，2003，第1403-1410页)中描述的SLAM技术的原理，自身位置检测单元120可以通过使用由输入图像获取单元110提供的输入图像来检测摄像装置102的姿势和位置。可选择地，在摄像装置102具有位置传感器(例如，光学位置传感器)和姿势传感器(例如，陀螺仪传感器)的情形中，自身位置检测单元120可以获得由摄像装置102的传感器检测的位置和姿势。例如，自身位置检测单元120将通过以上方法中的任一方法检测的摄像装置102的姿势和位置输出到图像识别单元140和通信单元170。
(存储单元)
存储单元130使用诸如硬盘或半导体存储器的记录介质预先存储操纵物图像和对象数据。操纵物图像是表示用于操纵显示在输出图像上的虚拟对象的操纵物的图像。另一方面，对象数据是与混合现实中由HMD 104显示的虚拟对象有关的数据。
图5A和图5B是各自示出根据本实施例的操纵物的实例的示意图。在图5A的实例中，操纵物M1a是用户的手部。在此情形中，存储单元130预先存储通过拍摄用户手部的图像获得的图像作为操纵物图像。例如，存储单元130可以存储通过从各种不同方向拍摄用户手部的图像获得的一组图像作为操纵物图像。
在图5B的实例中，操纵物M1b是用户在手指上佩戴的立方体标志。标志的每个表面的中心部分形成有用户可插入手指以移动标志的孔。在此情形中，存储单元130预先存储示出标志的图像作为操纵物图像。可选择地，例如，可以共同地不仅采用标志而且采用插入到标志中的手指作为操纵物，并可以存储示出包括标志和手指的操纵物的图像作为操纵物图像。
应当注意，操纵物不限于图5A和5B中示出的实例。例如，操纵物可以是活体的任何部分或者真实世界中存在的任何物理对象，诸如用户的脚以及用户持有的棍状物理对象。响应于由图像识别单元140给出的请求，存储单元130将操纵图像输出到图像识别单元140。
图6是示出存储在存储单元130中的对象数据的实例的说明图。如图6中所示，对象数据包括三个数据项，即，对象ID、形状以及位置。“对象ID”是用于唯一地标识虚拟对象的标识符。图6的实例包括对象ID为V1和V2的两个虚拟对象的对象数据。“形状”是表示虚拟对象形状的数据。例如，可以将虚拟对象的形状表示成多边形。“位置”是表示虚拟对象最新位置的三维坐标数据。随着用户对操纵物进行操纵更新虚拟对象的位置。响应于由计算单元150给出的请求，存储单元130向计算单元150输出对象数据。
(图像识别单元)
在检测到表示操纵开始的第一用户输入的情形中，图像识别单元140识别用于虚拟对象的操纵以及出现在输入图像获取单元110给出的输入图像中的操纵物。例如，图像识别单元140可以通过使用存储在存储单元130中的操纵物图像识别出现在输入图像中的操纵物。更具体地，例如，图像识别单元140通过使用已知模式匹配方法将输入图像的部分图像与操纵物图像相比较。进一步地，图像识别单元140基于在输入图像中检测到操纵物图像的位置以及基于检测的操纵物图像尺寸识别真实世界中操纵物的三维位置。此处识别的操纵物的三维位置是相对于摄像装置102此时的姿势和位置的相对位置。进一步地，图像识别单元140使用由自身位置检测单元120提供的摄像装置102的姿势和位置，将操纵物的相对三维位置转换成真实世界中绝对坐标系中的三维位置。然后，图像识别单元140将转换后的操纵物位置输出到计算单元150。在检测到表示操纵开始的第一用户输入之后，图像识别单元140对一系列输入图像的每个帧重复图像识别处理，直到检测到表示操纵结束的第二用户输入为止。然后，当检测到表示操纵结束的第二用户输入时，图像识别单元140终止图像识别处理。可选择地，例如，图像识别单元140可以通过使用表示操纵物形状的形状数据而非操纵物图像识别出现在输入图像中的操纵物。
表示操纵开始的第一用户输入以及表示操纵结束的第二用户输入可以是例如图像处理设备100上布置的预定按钮的按压、在输入图像中由用户执行的预定姿势或者由用户输入的语音。
当由通信单元170接收到后面说明的操纵开始信号时，图像识别单元140也执行如上说明的图像识别处理。在此情形中，对一系列输入图像的每个帧重复图像识别处理，直到通信单元170接收到后面说明的操纵结束信号为止。在本说明书中，将从第一用户输入的检测至第二用户输入的检测的处理称为操纵侧处理。将从第一用户输入的接收至第二用户输入的接收的处理称为观察侧处理。
(计算单元)
当检测到表示操纵开始的第一用户输入时，计算单元150根据由图像识别单元140提供的操纵物的识别结果、计算HMD 104在屏幕上显示虚拟对象的位置。然后，计算单元150不仅将计算的虚拟对象显示位置输出到显示控制单元160，而且更新由存储单元130存储的虚拟对象的位置数据。在检测到表示操纵开始的第一用户输入之后，计算单元150按照操纵物的识别结果，对一系列输入图像的每帧重复虚拟对象的显示位置计算处理，直到检测到表示操纵结束的第二用户输入为止。
图7是示出由计算单元150执行的根据本实施例的虚拟对象的显示位置计算处理的具体流程实例的流程图。如图7中所示，首先，计算单元150从存储单元130获得每个虚拟对象的对象数据(步骤S102)。此处获得的对象数据包括每个虚拟对象的形状和最新位置。随后，计算单元150获得由图像识别单元140识别的操纵物的位置(步骤S104)。随后，计算单元150基于每个虚拟对象的形状和最新位置并且基于操纵物的位置，确定操纵物是否与虚拟对象相接触(步骤S106)。这里，当操纵物未与虚拟对象相接触时，跳过剩余处理。随后，当操纵物与虚拟对象相接触时，计算单元150基于操纵物的位置计算虚拟对象的新位置(步骤S108)。例如，当操纵物在与虚拟对象相接触的同时在X方向上移动距离D时，虚拟对象的位置根据操纵物的移动在X方向上移动距离D。随后，计算单元150基于由自身位置检测单元120检测的摄像装置102的姿势和位置，将来自真实世界中三维位置的虚拟对象的新位置转换成HMD 104的屏幕上的二维位置(步骤S110)。例如，可以使用基于针孔模型的如下公式将来自三维位置的坐标转换成屏幕上的二维位置。
[公式1]
λp′＝AR(p-x)
在公式(1)中，p表示虚拟对象的三维位置向量，x表示摄像装置102的三维位置向量，R表示与摄像装置102的姿势相对应的旋转矩阵，A表示摄像装置内部参数，λ表示归一化的参数。另一方面，p′表示虚拟对象在屏幕上的二维位置。这里，预先按照摄像装置102的特性通过如下公式给出摄像装置内部参数A。
[公式2]
A = - f &CenterDot; k u f &CenterDot; k u &CenterDot; cot &theta; u o 0 - f &CenterDot; k v sin &theta; v 0 0 0 1
这里，f表示焦距，θ表示图像轴的正交性(理想值是90度)，ku表示焦平面的竖直轴的比例(scale)(从真实世界中的绝对坐标系至焦平面的坐标系的比例改变率)，kv表示焦平面的水平轴的比例，(uo，vo)表示焦平面的中心位置。
当用多边形表示虚拟对象时，计算单元150基于摄像装置102的姿势和位置计算多边形各顶点在HMD 104的屏幕上的二维位置。
此外，作为观察侧处理，计算单元150还在通信单元170接收到后面说明的操纵开始信号时，执行如以上说明的虚拟对象的显示位置计算处理。当通信单元170接收到后面说明的操纵结束信号时，对一系列输入图像的每个帧重复此情形的显示位置计算处理。此外，当通信单元170接收到操纵结束信号时，计算单元150使用包括在操纵结束信号中的虚拟对象的位置数据来校正由显示控制单元160显示的(并且存储在存储单元130中的)虚拟对象的位置。这是用于解决在并行地对操纵者和观察者执行虚拟对象的显示位置计算处理的情形中仍剩余的、虚拟对象位置的小位移的处理。
即使当未操纵虚拟对象时，计算单元150也基于存储单元130中存储的虚拟对象的位置数据并基于由自身位置检测单元120检测的摄像装置102的姿势和位置，计算虚拟对象在屏幕上的显示位置。然后，计算单元150将计算出的虚拟对象的显示位置输出到显示控制单元160。
(显示控制单元)
显示控制单元160在由计算单元150计算出的HMD 104的屏幕上的显示位置处显示虚拟对象。例如，显示控制单元160可以通过在由输入图像获取单元110提供的输入图像上覆盖表示虚拟对象的多边形来生成输出图像，并且可以将输出图像输出到HMD 104。更具体地，例如，显示控制单元160可以基于由计算单元150计算出的虚拟对象的多边形顶点坐标在输出图像中绘制多边形。于是，在由HMD 104向用户显示的输出图像中，虚拟对象随着操纵物移动而移动，从而向用户提供增强现实。例如，在HMD 104是透视显示器的情形中，显示控制单元160可以基于由计算单元150计算的虚拟对象的多边形顶点坐标，将多边形投射到HMD 104的屏幕上。
(通信单元)
当检测到表示操纵开始的第一用户输入时，通信单元170将第一通知信号发送到显示相同虚拟对象的另一图像处理设备100，以通知操纵开始。在本说明书中，将第一通知信号称为操纵开始信号。当检测到表示操纵结束的第二用户输入时，通信单元170将第二通知信号发送到显示相同虚拟对象的另一图像处理设备100，以通知操纵结束。在本说明书中，将第二通知信号称为操纵结束信号。在本实施例中，经由管理服务器200将操纵开始信号和操纵结束信号发送到另一图像处理设备100。
图8A是示出根据本实施例的操纵开始信号的说明图。如图8A中所示，操纵开始信号S1包括4个字段：即，信号类型、源、对象ID以及对象位置。“信号类型”是表明有关信号是操纵开始信号的字段。“源”是用于标识发送有关信号的图像处理设备100的字段。“对象ID”是用于标识将要操纵哪个虚拟对象的字段。“对象ID”可以列举多个虚拟对象的对象ID。“对象位置”是必要时设置的字段，包括表示在操纵开始时虚拟对象的位置的三维坐标数据。可以使用“对象ID”或“对象位置”确定管理服务器200向其传送操纵开始信号的图像处理设备100。
图8B是示出根据本实施例的操纵结束信号的说明图。如图8B中所示，操纵结束信号S2包括4个字段：即，信号类型、源、对象ID以及对象位置。“信号类型”是表明有关信号是操纵结束信号的字段。“源”是用于标识发送有关信号的图像处理设备100的字段。“对象ID”是用于标识将要完成哪个虚拟对象的操纵的字段。“对象ID”可以列举多个虚拟对象的对象ID。“对象位置”包括表示在操纵结束时虚拟对象的位置的三维坐标数据。可以使用“对象ID”或“对象位置”确定管理服务器200向其传送操纵结束信号的图像处理设备100。此外，已接收到操纵结束信号的图像处理设备100可以使用操纵结束信号S2的“对象位置”来校正在操纵结束时虚拟对象的位置。
另外，通信单元170以规则间隔(或者每次出现改变时)向管理服务器200发送第三通知信号，以通知由自身位置检测单元120检测的摄像装置102的姿势和位置。在本说明书中，将第三通知信号称为自身位置通知信号。
图8C是示出根据本实施例的自身位置通知信号的说明图。如图8C中所示，自身位置通知信号S3包括三个字段，即，信号类型、源以及位置/姿势。“信号类型”是表明有关信号是自身位置通知信号的字段。“源”是用于标识发送有关信号的图像处理设备100的字段。例如，“位置/姿势”包括绝对坐标系中摄像装置102的旋转矩阵和对应于三维位置的四元数。后面说明的管理服务器200可以基于以规则间隔从每个图像处理设备100发送的自身位置通知信号S3，识别每个图像处理设备100的视野。
[2-2.处理的流程]
(操纵侧的处理)
图9是示出根据本实施例的由图像处理设备执行的操纵侧图像处理的流程实例的流程图。
如图9中所示，图像识别单元140和计算单元150监视是否检测到第一用户输入(步骤S122)。当检测到第一用户输入时，开始步骤S124中的操纵侧图像处理以及后续步骤。在操纵侧图像处理中，首先，通信单元170向管理服务器200发送操纵开始信号S1(步骤S124)。随后，图像识别单元140使用存储在存储单元130中的操纵物图像来识别输入图像中的操纵物，并且向计算单元150输出操纵物的位置(步骤S126)。随后，计算单元150执行如参照图7说明的虚拟对象的显示位置计算处理(步骤S128)。然后，显示控制单元160根据操纵物的位置移动HMD 104的屏幕上显示的虚拟对象(步骤S130)。随后，图像识别单元140和计算单元150确定是否检测到第二用户输入(步骤S132)。当此处未检测到第二用户输入时，随后执行步骤S126，并且针对输入图像的后续帧重复步骤S126至S130。另一方面，当检测到第二用户输入时，通信单元170向管理服务器200发送操纵结束信号S2(步骤S134)。然后，终止操纵侧图像处理。
在检测到第一用户输入之后，通信单元170可以进行等待，直到作为由图像识别单元140提供的操纵物的识别结果确定为操纵物与虚拟对象相接触为止(换言之，在图7中步骤S106的确定结果变成是之后)，并可以此后向管理服务器200发送操纵开始信号。在此情形中，流程与图9的流程不同。在观察侧图像处理中，用操纵物对虚拟对象的实际操纵未开始。因此，存在会延迟屏幕上虚拟对象移动开始的可能性，但是这减少了从第一用户输入至虚拟对象实际操纵开始的观察侧处理的花费。
(观察侧的处理)
图10是示出根据本实施例的图像处理设备100执行的观察侧图像处理的流程实例的流程图。
如图10中所示，首先，通信单元170监视是否接收到操纵开始信号(步骤S152)。当接收到操纵开始信号时，开始步骤S154的观察侧图像处理以及后续步骤。在观察侧图像处理中，首先，图像识别单元140使用存储单元130中存储的操纵物图像识别输入图像中的操纵物，并向计算单元150输出操纵物的位置(步骤S154)。随后，计算单元150执行如参照图7说明的虚拟对象的显示位置计算处理(步骤S156)。然后，显示控制单元160根据操纵物的位置移动HMD 104的显示屏幕上显示的虚拟对象(步骤S158)。随后，通信单元170确定是否接收到操纵结束信号(步骤S160)。当此处未接收到操纵结束信号时，随后再次执行步骤S154，并且针对输入图像的后续帧重复步骤S154至S158。另一方面，当接收到操纵结束信号时，计算单元150校正虚拟对象的位置(步骤S162)。然后，终止观察侧图像处理。
<3.关于管理服务器的说明>
[3-1.设备的示例性结构]
图11是示出根据本实施例的管理服务器200的结构实例的框图。如图12中所示，管理服务器200包括通信单元210、存储单元220以及用户管理单元230。
(通信单元)
通信单元210经由有线通信连接或无线通信连接向/从每个图像处理设备100的通信单元170发送和接收信号。在管理服务器200的通信单元210与每个图像处理设备100的通信单元170之间发送和接收的信号包括：操纵开始信号、操纵结束信号以及自身位置通知信号。
(存储单元)
存储单元220使用诸如硬盘或半导体存储器的存储介质来存储用于管理显示相同虚拟对象的一组图像处理设备100的数据库。例如，存储单元220中存储的数据库包括关于使用自身位置通知信号以规则间隔收集的每个图像处理设备100的摄像装置102的姿势和位置的数据。另外，例如，存储单元220中存储的数据库可以包括可以由每个图像处理设备100显示的虚拟对象的对象ID。
(用户管理单元)
当通信单元210接收到自身位置通知信号时，用户管理单元230更新存储单元220中存储的、关于发送有关的自身位置通知信号的图像处理设备100的姿势和位置的数据。当通信单元210接收到操纵开始信号或操纵结束信号时，用户管理单元230向作为有关信号源的显示相同虚拟对象的另一图像处理设备100传送操纵开始信号或操纵结束信号。例如，用户管理单元230可以采用与存储单元220的数据库中操纵开始信号或操纵结束信号中包括的对象ID相关联的图像处理设备100作为每个信号所传送到的设备。可选择地，例如，用户管理单元230可以采用其摄像装置102的视野包括由操纵开始信号或操纵结束信号所表明的虚拟对象位置的图像处理设备100作为每个信号所传送到的设备。
[3-2.处理的流程]
图12是示出根据本实施例的由管理服务器200执行的信号传送处理的流程实例的流程图。
如图12中所示，首先，通信单元210监视是否接收到操纵开始信号或操纵结束信号(步骤S202)。当接收到操纵开始信号或操纵结束信号时，随后执行步骤S204。随后，用户管理单元230从存储单元220获得每个图像处理设备100的状态(步骤S204)。这里获得的每个图像处理设备100的状态可以包括由每个图像处理设备100显示的虚拟对象的对象ID或者每个图像处理设备100的摄像装置102的姿势和位置。随后，用户管理单元230确定是否存在共享虚拟对象的另一图像处理设备100(除了操纵开始信号或操纵结束信号的源之外的设备)(步骤S206)。当不存在共享虚拟对象的其它图像处理设备100时，跳过步骤S208。另一方面，当存在共享虚拟对象的另一图像处理设备100时，通信单元210向另一图像处理设备100传送操纵开始信号或操纵结束信号(步骤S208)。然后，终止管理服务器200执行的信号传送处理。
<4.变型>
图13是示出根据本实施例变型的图像处理系统的示意图。图13示出包括图像处理设备300a、300b和300c的图像处理系统。由用户Ua、Ub和Uc分别使用图像处理设备300a、300b和300c。这些设备可以经由有线通信连接或无线通信连接彼此通信。
通常，图像处理设备300a、300b和300c具有与如参照图4说明的图像处理设备100等同的结构。然而，在不依赖于管理服务器200的情况下，图像处理设备300a、300b和300c的通信单元170直接发送和接收操纵开始信号和操纵结束信号。例如，当通信单元170接收到操纵开始信号时，图像处理设备300a、300b和300c执行如下：只有在图像处理设备300a、300b和300c作为有关信号的源显示同样虚拟对象的情形中，图像识别单元140才识别操纵物。在此情形中，例如，基于操纵开始信号中包括的虚拟对象的位置数据或对象ID确定是否有必要识别操纵物。
例如，在图13的实例中，图像处理设备300a、300b共享虚拟对象V1。换言之，图像处理设备300a的HMD 104a和图像处理设备300b的HMD 104b均可以显示虚拟对象V1。另一方面，图像处理设备300c不共享虚拟对象V1。代替共享虚拟对象V1，图像处理设备300c的HMD 104c可以显示不同的虚拟对象V2。在这种实例中，将假定如下情形：用户Ua是操纵虚拟对象V1的人，用户Ua通过按压图像处理设备300a的按钮106a开始虚拟对象V1的操纵。在这种情形中，图像处理设备300a检测第一用户输入，并且向图像处理设备300b和图像处理设备300c发送操纵开始信号S1。例如，操纵开始信号S1包括虚拟对象V1的位置数据或对象ID。当图像处理设备300b接收到操纵开始信号S1时，图像处理设备300b基于有关信号中包括的位置数据或对象ID确定将由图像处理设备300b显示的虚拟对象V1的操纵的开始。于是，图像处理设备300b通过图像识别开始操纵物(诸如用户Ua的手或者标志)的跟踪。另一方面，图像处理设备300c基于操纵开始信号S1中包括的位置数据或对象ID确定有关信号与将由图像处理设备300c显示的虚拟对象无关。于是，图像处理设备300c忽略从图像处理设备300a接收的操纵开始信号S1。
<5.总结>
已参照图1至图13在上文中说明了本发明的实施例和变型。根据本实施例，当检测到表示操纵开始的第一用户输入时，操纵侧图像处理设备识别通过拍摄真实空间的图像获得的输入图像中出现的操纵物，作为识别的结果，操纵侧图像处理设备控制虚拟对象的显示。此外，从操纵侧图像处理设备向观察侧图像处理设备发送操纵开始信号。相应地，观察侧图像处理设备也识别通过拍摄真实空间的图像获得的输入图像中出现的操纵物，作为识别的结果，观察侧图像处理设备控制虚拟对象的显示。由此，由于操纵侧设备以及观察侧设备通过图像识别跟踪操纵物，所以不出现由于跟踪结果的传送引起的延迟。此外，操纵开始信号包括用于识别虚拟对象的对象ID或者虚拟对象的位置数据。因此，不共享虚拟对象的图像处理设备无需执行不必要的图像识别处理。在检测到表示操纵结束的第二用户输入的情形中，从操纵侧图像处理设备向观察侧图像处理设备发送操纵结束信号。相应地，在不操纵虚拟对象时，图像处理设备中所有图像处理设备无需执行图像识别处理。如上所述，根据本实施例，操纵侧设备以及观察侧设备通过图像识别跟踪操纵物，另外，根据基于设备之间交换的信号的定时启动图像识别处理。因此，可以在有效地减少处理负荷并减少真实世界的状态与虚拟对象的状态之间的不匹配的同时提供混合现实。
根据本实施例，从操纵侧图像处理设备向观察侧图像处理设备发送的操纵结束信号包括表示在操纵结束时虚拟对象的位置的位置数据。由此，即使当在由操纵侧图像处理设备生成的操纵物的跟踪结果与由观察侧图像处理设备生成的操纵物的跟踪结果之间存在暂时误差时，观察侧图像处理设备也可以校正虚拟对象的位置。
可选择地，在检测到第一用户输入之后，操纵侧图像处理设备可以进行等待，直到确定操纵物与虚拟对象相接触为止，并且可以此后发送操纵开始信号。在此情形中，可以进一步减少观察侧图像识别处理的负荷。
可以通过管理图像处理设备组的管理服务器在图像处理设备之间发送和接收操纵开始信号和操纵结束信号。在此情形中，当管理服务器只向显示相同虚拟对象的图像处理设备传送信号时，可以进一步减少观察侧图像识别处理的负荷并且可以消除不必要的传输量。
通常用软件实现如在本说明书中说明的由图像处理设备100和300以及管理服务器200执行的一系列处理。例如，在每个设备中或者每个设备外部布置的存储介质中预先存储构建用于实现一系列处理的软件的程序。例如，每个程序在执行期间被加载到RAM(随机存取存储器)，并且由诸如CPU(中央处理单元)的处理器执行。
本领域技术人员应当理解：依据设计需要和其它因素，可以做出各种变形、组合、子组合和修改，只要它们在所附权利要求或其等同物的范围内。
本申请包含与2010年2月24日提交日本专利局的日本优先权专利申请JP 2010-038777中公开的主题相关的主题，其全部内容经引用包含于此。

Claims (13)

1.一种图像处理设备，包括：
输入图像获取单元，用于获得通过拍摄真实空间的图像而生成的输入图像；
图像识别单元，用于在检测到表示操纵开始的第一用户输入时识别用于操纵虚拟对象的操纵物，其中，所述操纵物出现在所述输入图像中；
计算单元，用于根据由所述图像识别单元提供的操纵物的识别结果计算所述虚拟对象要显示在显示装置的屏幕上的位置；
显示控制单元，用于在由所述计算单元计算出的所述显示装置的屏幕的所述位置处显示所述虚拟对象；以及
通信单元，用于在检测到所述第一用户输入时向显示相同虚拟对象的另一设备发送用于通知操纵开始的第一通知信号。
2.如权利要求1所述的图像处理设备，其中，
所述第一通知信号包括用于标识所述虚拟对象的标识数据或者表示所述虚拟对象位置的位置数据。
3.如权利要求1所述的图像处理设备，其中，
当检测到表示操纵结束的第二用户输入时，所述通信单元向所述另一设备发送第二通知信号以通知操纵结束。
4.如权利要求3所述的图像处理设备，其中，
所述第二通知信号包括表示由所述计算单元计算出的表示所述虚拟对象位置的位置数据。
5.如权利要求1所述的图像处理设备，其中，
所述图像识别单元还在所述通信单元从另一设备接收到所述第一通知信号时识别出现在所述输入图像中的所述操纵物。
6.如权利要求5所述的图像处理设备，其中，
所述图像识别单元在由所述通信单元接收到的所述第一通知信号与要由所述图像处理设备显示的虚拟对象无关时不识别所述操纵物。
7.如权利要求1所述的图像处理设备，其中，
在检测到所述第一用户输入并且在之后作为由所述图像识别单元提供的所述操纵物的识别结果确定所述操纵物与所述虚拟对象相接触时，所述通信单元向所述另一设备发送所述第一通知信号。
8.如权利要求1所述的图像处理设备，其中，
所述通信单元向管理显示同样虚拟对象的一组设备的信息处理设备发送所述第一通知信号。
9.如权利要求8所述的图像处理设备，其中，
所述第一通知信号包括用于标识所述虚拟对象的标识数据或者表示所述虚拟对象位置的位置数据，且所述第一通知信号被经由所述信息处理设备传送到显示相同虚拟对象的另一设备。
10.如权利要求1所述的图像处理设备，还包括：
存储单元，存储表示所述操纵物的操纵物图像，
其中，所述图像识别单元使用所述存储单元中存储的所述操纵物图像识别出现在所述输入图像中的所述操纵物。
11.一种由图像处理设备执行的图像处理方法，包括步骤：
获得通过拍摄真实空间的图像而生成的输入图像；
检测表示操纵开始的第一用户输入；
将第一通知信号发送到显示与要由所述图像处理设备操纵的虚拟对象相同的虚拟对象的另一设备，以通知操纵开始；
识别出现在所述输入图像中的用于所述虚拟对象的操纵的操纵物；
根据操纵物的识别结果计算所述虚拟对象要显示在显示装置的屏幕上的位置；以及
在计算出的所述显示装置的屏幕的位置处显示所述虚拟对象。
12.一种程序，用于使控制图像处理设备的计算机作为：
输入图像获取单元，用于获得通过拍摄真实空间的图像而生成的输入图像；
图像识别单元，用于在检测到表示操纵开始的第一用户输入时识别用于操纵虚拟对象的操纵物，其中，所述操纵物出现在所述输入图像中；
计算单元，用于根据由所述图像识别单元提供的操纵物的识别结果计算所述虚拟对象要显示在显示装置的屏幕上的位置；
显示控制单元，用于在由所述计算单元计算出的所述显示装置的屏幕的所述位置处显示所述虚拟对象；以及
通信单元，用于在检测到所述第一用户输入时向显示相同虚拟对象的另一设备发送用于通知操纵开始的第一通知信号。
13.一种包括两个或更多个图像处理设备的图像处理系统，其中，所述图像处理设备中的每一个包括：
输入图像获取单元，用于获得通过拍摄真实空间的图像而生成的输入图像；
图像识别单元，用于在检测到表示操纵开始的第一用户输入时识别用于操纵虚拟对象的操纵物，其中，所述操纵物出现在所述输入图像中；
计算单元，用于根据由所述图像识别单元提供的操纵物的识别结果计算所述虚拟对象要显示在显示装置的屏幕上的位置；
显示控制单元，用于在由所述计算单元计算出的所述显示装置的屏幕的所述位置处显示所述虚拟对象；以及
通信单元，用于在检测到所述第一用户输入时向显示相同虚拟对象的另一设备发送用于通知操纵开始的第一通知信号，
其中，所述图像识别单元还在所述通信单元从另一设备接收到所述第一通知信号时识别所述输入图像中出现的所述操纵物。
CN201110041277.5A 2010-02-24 2011-02-17 图像处理设备、图像处理方法、程序以及图像处理系统 Expired - Fee Related CN102193625B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010038777A JP5499762B2 (ja) 2010-02-24 2010-02-24 画像処理装置、画像処理方法、プログラム及び画像処理システム
JP2010-038777 2010-02-24

Publications (2)

Publication Number Publication Date
CN102193625A true CN102193625A (zh) 2011-09-21
CN102193625B CN102193625B (zh) 2015-08-26

Family

ID=44202161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110041277.5A Expired - Fee Related CN102193625B (zh) 2010-02-24 2011-02-17 图像处理设备、图像处理方法、程序以及图像处理系统

Country Status (5)

Country Link
US (2) US8773466B2 (zh)
EP (1) EP2360567B1 (zh)
JP (1) JP5499762B2 (zh)
KR (1) KR20110097639A (zh)
CN (1) CN102193625B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177470A (zh) * 2011-12-21 2013-06-26 哈曼贝克自动系统股份有限公司 利用机动车的显示器产生增强现实的方法和系统
CN104703664A (zh) * 2012-09-27 2015-06-10 京瓷株式会社 显示装置、控制系统和控制程序
CN105051650A (zh) * 2013-03-19 2015-11-11 日本电气方案创新株式会社 三维解锁设备、三维解锁方法和程序
CN106415447A (zh) * 2014-06-30 2017-02-15 索尼公司 信息处理装置、信息处理方法、计算机程序和图像处理系统
CN107038746A (zh) * 2017-03-27 2017-08-11 联想(北京)有限公司 一种信息处理方法及电子设备
CN108355347A (zh) * 2018-03-05 2018-08-03 网易（杭州）网络有限公司 交互控制方法、装置、电子设备及存储介质
CN108919951A (zh) * 2018-06-28 2018-11-30 联想(北京)有限公司 一种信息交互方法及装置
WO2021104032A1 (zh) * 2019-11-27 2021-06-03 Oppo广东移动通信有限公司 数据处理方法、装置、用户设备及增强现实系统
US11914760B2 (en) 2019-06-19 2024-02-27 Sony Group Corporation Information processing device and information processing method

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5158006B2 (ja) * 2009-04-23 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
JP5185320B2 (ja) * 2010-05-19 2013-04-17 株式会社バンダイ ゲーム装置
US9146398B2 (en) * 2011-07-12 2015-09-29 Microsoft Technology Licensing, Llc Providing electronic communications in a physical world
AU2011205223C1 (en) * 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
CN102958114B (zh) * 2011-08-27 2017-10-03 中兴通讯股份有限公司 访问增强现实用户上下文的方法
CN102508546B (zh) * 2011-10-31 2014-04-09 冠捷显示科技（厦门）有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
JP5477399B2 (ja) * 2012-01-30 2014-04-23 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム、並びに情報処理システム
US9691241B1 (en) * 2012-03-14 2017-06-27 Google Inc. Orientation of video based on the orientation of a display
US9696547B2 (en) * 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
JP6159069B2 (ja) * 2012-09-27 2017-07-05 京セラ株式会社 表示装置
JP6125785B2 (ja) * 2012-09-27 2017-05-10 京セラ株式会社 表示装置および制御方法
CN106020620B (zh) 2012-09-27 2019-07-26 京瓷株式会社 显示装置、控制方法和控制程序
EP2905676A4 (en) * 2012-10-05 2016-06-15 Nec Solution Innovators Ltd USER INTERFACE DEVICE AND USER INTERFACE PROCEDURE
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
KR102458124B1 (ko) 2013-03-15 2022-10-21 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
JP5813030B2 (ja) * 2013-03-22 2015-11-17 キヤノン株式会社 複合現実提示システム、仮想現実提示システム
JP2014187559A (ja) * 2013-03-25 2014-10-02 Yasuaki Iwai 仮想現実提示システム、仮想現実提示方法
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10955665B2 (en) * 2013-06-18 2021-03-23 Microsoft Technology Licensing, Llc Concurrent optimal viewing of virtual objects
KR101670808B1 (ko) * 2013-09-03 2016-10-31 삼성전자주식회사 알림을 제공하는 방법 및 그 전자 장치
WO2015139002A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
CN104281260A (zh) * 2014-06-08 2015-01-14 朱金彪 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
JP2016033759A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
US9746984B2 (en) * 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
WO2016148142A1 (ja) * 2015-03-16 2016-09-22 シャープ株式会社 表示データ処理装置、表示装置、および、プログラム
US10627908B2 (en) * 2015-03-27 2020-04-21 Lucasfilm Entertainment Company Ltd. Facilitate user manipulation of a virtual reality environment view using a computing device with touch sensitive surface
TWM508350U (zh) * 2015-04-24 2015-09-11 Aten Int Co Ltd 遊戲錄製裝置
JP2017010387A (ja) * 2015-06-24 2017-01-12 キヤノン株式会社 システム、複合現実表示装置、情報処理方法及びプログラム
JP6627352B2 (ja) * 2015-09-15 2020-01-08 カシオ計算機株式会社 画像表示装置、画像表示方法及びプログラム
US10133532B2 (en) 2015-09-25 2018-11-20 Seiko Epson Corporation Display system, display device, information display method, and program
JP6240135B2 (ja) * 2015-10-26 2017-11-29 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
JP6304305B2 (ja) * 2016-05-25 2018-04-04 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
WO2018116377A1 (ja) * 2016-12-20 2018-06-28 株式会社キッズプレート 現実空間を撮像した映像にオブジェクトを重畳させる処理を行う処理装置、方法、プログラム、および処理システム
JP6229089B1 (ja) * 2017-04-26 2017-11-08 株式会社コロプラ 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
JP2017208820A (ja) * 2017-06-06 2017-11-24 京セラ株式会社 発注システム
CN108536295B (zh) * 2018-03-30 2021-08-10 腾讯科技（深圳）有限公司 虚拟场景中的对象控制方法、装置及计算机设备
CN108543309B (zh) * 2018-04-03 2020-03-10 网易（杭州）网络有限公司 在增强现实中控制虚拟控制对象移动的方法、装置及终端
JP2021536592A (ja) 2018-08-31 2021-12-27 マジック リープ, インコーポレイテッドMagic Leap, Inc. 拡張現実デバイスのための空間的に分解された動的調光
JP7262973B2 (ja) * 2018-10-31 2023-04-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JPWO2020110659A1 (ja) 2018-11-27 2021-10-14 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
EP3908876A4 (en) 2019-01-11 2022-03-09 Magic Leap, Inc. TIME MULTIPLEXED DISPLAY OF VIRTUAL CONTENT AT VARIOUS DEPTHS
JP2020173656A (ja) * 2019-04-11 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
JP7116220B2 (ja) * 2019-10-02 2022-08-09 グリー株式会社 アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
JP7401245B2 (ja) * 2019-10-08 2023-12-19 キヤノン株式会社 画像合成装置、画像合成装置の制御方法およびプログラム
US11741159B2 (en) * 2019-10-29 2023-08-29 Shmuel Ur Innovation Ltd Digital media authentication
JP7139471B2 (ja) * 2021-02-04 2022-09-20 グリー株式会社 ゲーム処理プログラム、ゲーム処理装置及びゲーム処理方法
JP7333532B2 (ja) * 2021-02-04 2023-08-25 グリー株式会社 ゲーム処理プログラム、ゲーム処理装置及びゲーム処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1231753A (zh) * 1996-08-14 1999-10-13 挪拉赫梅特·挪利斯拉莫维奇·拉都色夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
CN1439151A (zh) * 2000-02-11 2003-08-27 卡尼斯塔公司 利用虚拟输入装置输入数据的方法和设备
US20060227151A1 (en) * 2005-04-08 2006-10-12 Canon Kabushiki Kaisha Information processing method and apparatus
CN101160104A (zh) * 2005-02-22 2008-04-09 马科外科公司 触觉引导系统及方法
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247602A (ja) 2001-02-15 2002-08-30 Mixed Reality Systems Laboratory Inc 画像生成装置及びその制御方法並びにそのコンピュータプログラム
JP3584230B2 (ja) * 2001-09-28 2004-11-04 キヤノン株式会社 映像体験システム、情報処理方法およびプログラム
JP4054585B2 (ja) * 2002-02-18 2008-02-27 キヤノン株式会社 情報処理装置および方法
US7352358B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to acoustical tracking
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
EP1686554A3 (en) * 2005-01-31 2008-06-18 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
JP5297113B2 (ja) 2008-08-06 2013-09-25 日本電子材料株式会社 コンタクトプローブの製造方法
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1231753A (zh) * 1996-08-14 1999-10-13 挪拉赫梅特·挪利斯拉莫维奇·拉都色夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
CN1439151A (zh) * 2000-02-11 2003-08-27 卡尼斯塔公司 利用虚拟输入装置输入数据的方法和设备
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
CN101160104A (zh) * 2005-02-22 2008-04-09 马科外科公司 触觉引导系统及方法
US20060227151A1 (en) * 2005-04-08 2006-10-12 Canon Kabushiki Kaisha Information processing method and apparatus

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177470B (zh) * 2011-12-21 2016-12-07 哈曼贝克自动系统股份有限公司 利用机动车的显示器产生增强现实的方法和系统
CN103177470A (zh) * 2011-12-21 2013-06-26 哈曼贝克自动系统股份有限公司 利用机动车的显示器产生增强现实的方法和系统
US9517415B2 (en) 2011-12-21 2016-12-13 Harman Becker Automotive Systems Gmbh Method and system for generating augmented reality with a display of a motor vehicle
US9619941B2 (en) 2012-09-27 2017-04-11 Kyocera Corporation Virtual play area display device, control system, and control program
CN104703664A (zh) * 2012-09-27 2015-06-10 京瓷株式会社 显示装置、控制系统和控制程序
CN104703664B (zh) * 2012-09-27 2017-08-11 京瓷株式会社 显示装置、控制系统和控制方法
CN105051650A (zh) * 2013-03-19 2015-11-11 日本电气方案创新株式会社 三维解锁设备、三维解锁方法和程序
CN106415447A (zh) * 2014-06-30 2017-02-15 索尼公司 信息处理装置、信息处理方法、计算机程序和图像处理系统
CN106415447B (zh) * 2014-06-30 2019-08-06 索尼公司 信息处理装置、信息处理方法和图像处理系统
CN107038746A (zh) * 2017-03-27 2017-08-11 联想(北京)有限公司 一种信息处理方法及电子设备
CN107038746B (zh) * 2017-03-27 2019-12-24 联想(北京)有限公司 一种信息处理方法及电子设备
CN108355347A (zh) * 2018-03-05 2018-08-03 网易（杭州）网络有限公司 交互控制方法、装置、电子设备及存储介质
CN108919951A (zh) * 2018-06-28 2018-11-30 联想(北京)有限公司 一种信息交互方法及装置
US11914760B2 (en) 2019-06-19 2024-02-27 Sony Group Corporation Information processing device and information processing method
WO2021104032A1 (zh) * 2019-11-27 2021-06-03 Oppo广东移动通信有限公司 数据处理方法、装置、用户设备及增强现实系统

Also Published As

Publication number Publication date
EP2360567B1 (en) 2017-08-02
US9746672B2 (en) 2017-08-29
US20140267028A1 (en) 2014-09-18
CN102193625B (zh) 2015-08-26
KR20110097639A (ko) 2011-08-31
JP5499762B2 (ja) 2014-05-21
EP2360567A2 (en) 2011-08-24
EP2360567A3 (en) 2015-02-18
US8773466B2 (en) 2014-07-08
JP2011175439A (ja) 2011-09-08
US20110205243A1 (en) 2011-08-25

Similar Documents

Publication Publication Date Title
CN102193625A (zh) 图像处理设备、图像处理方法、程序以及图像处理系统
US11853639B2 (en) Sharing neighboring map data across devices
US20230341930A1 (en) Systems and methods for tracking a controller
US20200372672A1 (en) Image-based localization
US11893702B2 (en) Virtual object processing method and apparatus, and storage medium and electronic device
CN110073313A (zh) 使用母设备和至少一个伴随设备与环境交互
US20190043385A1 (en) Information processing system, information processor, information processing method and program
CN102129290A (zh) 图像处理设备、对象选择方法和程序
CN102695032A (zh) 信息处理装置、信息共享方法、程序以及终端设备
CN108427479B (zh) 可穿戴设备、环境图像数据的处理系统、方法及可读介质
KR20190005082A (ko) 증강 현실을 통한 오프라인 상품의 온라인 판매 정보 제공 방법 및 이를 위한 장치
WO2019173055A1 (en) Displaying content based on positional state
US10902683B2 (en) Representation of user position, movement, and gaze in mixed reality space
CN114332423A (zh) 虚拟现实手柄追踪方法、终端及计算可读存储介质
CN111369628A (zh) 一种多相机集中式协同slam方法及系统
US20220156963A1 (en) Coordinate system conversion parameter estimating apparatus, method and program
US12002162B2 (en) Method and apparatus for providing virtual contents in virtual space based on common coordinate system
KR20040006612A (ko) 비디오 지리 정보 시스템
CN113039508A (zh) 评估虚拟环境的输入和输出的对准
WO2023074852A1 (ja) 情報処理装置
WO2023199627A1 (ja) ガイド画像管理装置
US20210160654A1 (en) Server, information processing system, non-transitory computer-readable medium, and control method
JP2024128528A (ja) 物品管理システム、物品管理方法
JP2022109524A (ja) 情報処理システム及び情報処理方法
CN118149838A (zh) 即时定位与地图构建方法、装置、终端和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150826

Termination date: 20220217

CF01 Termination of patent right due to non-payment of annual fee