CN103365414A - 信息处理设备、信息处理方法和信息处理系统 - Google Patents

信息处理设备、信息处理方法和信息处理系统 Download PDF

Info

Publication number
CN103365414A
CN103365414A CN2013101093899A CN201310109389A CN103365414A CN 103365414 A CN103365414 A CN 103365414A CN 2013101093899 A CN2013101093899 A CN 2013101093899A CN 201310109389 A CN201310109389 A CN 201310109389A CN 103365414 A CN103365414 A CN 103365414A
Authority
CN
China
Prior art keywords
information
image
mark
unit
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013101093899A
Other languages
English (en)
Other versions
CN103365414B (zh
Inventor
后藤哲郎
上野正俊
桦泽宪一
中川俊之
川上大介
栗屋志伸
塚原翼
菅野尚子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103365414A publication Critical patent/CN103365414A/zh
Application granted granted Critical
Publication of CN103365414B publication Critical patent/CN103365414B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供了一种信息处理设备、信息处理方法和信息处理系统。其中，该信息处理设备包括：摄像单元，被配置为拍摄实景的图像，从而获得真实图像；标记检测单元，被配置为从所述真实图像中提取标记图像，所述标记图像是标记投影光的图像，所述标记投影光由投影装置投影到所述实景以提供空间的第一信息，对于显示虚拟信息使得所述虚拟信息叠加在所述实景上而言所述第一信息是必需的，第二信息被添加到所述标记投影光；以及提取单元，被配置为提取被添加到所提取的所述标记图像中的所述第二信息。

Description

信息处理设备、信息处理方法和信息处理系统
技术领域
本公开涉及信息处理设备、信息处理方法和信息处理系统，其被配置为显示图像使得该图像叠加在实景上。
背景技术
已知被称为扩张现实（AR，augmented reality）的技术。根据AR技术，适合于实景的图像被添加到实景图像中。根据AR技术，相机等获得实景图像。显示虚拟信息使得该虚拟信息叠加在所获得的实景图像上。用户观看叠加显示在实景上的虚拟信息。因此，用户将所显示的物体认为是虚拟信息仿佛存在于实景中。
AR技术包括标记型AR技术和无标记型AR技术。
根据标记型AR技术，标记的图像信息（例如，具有预定大小的彩色正方形）预先被登记。标记被物理地置于在实景中。拍摄实景的图像，从而得到实景的图像（真实图像）。从真实图像中检测到标记。基于诸如所检测到标记的尺寸、角度等信息，计算标记和摄像设备之间的空间位置关系。基于标记和摄像设备之间的空间位置关系，计算虚拟信息的显示位置和显示角度。基于所计算出的显示位置和显示角度，将虚拟信息显示在显示设备上。显示设备和摄像设备之间的相对位置是固定的。用户能够在视觉上识别虚拟信息与实景（例如，参见日本专利申请特开号2007-75213）。
同时，根据无标记型AR技术，不使用特定的标记。真实图像中的物体或实景本身在空间上识别。基于诸如物体的大小、角度等信息，计算物体和摄像设备之间的空间位置关系。基于该位置关系，计算虚拟信息的显示位置和显示角度。虚拟信息显示在显示设备上。显示设备和摄像设备之间的相对位置是固定的。用户能够在视觉上识别虚拟信息连同实景。
发明内容
根据标记型AR技术，基于存在于实景中的标记，计算虚拟信息的显示位置和显示角度。正因为如此，标记型AR技术具有以下优点，即，有可能相对容易地计算出虚拟信息的显示位置和显示角度。与此同时，标志型AR技术具有以下缺点。例如，它需要时间和精力来创建标记。有必要确保标记置于空间中。随着时间的推移，标记的质量下降。存在于实景中的标记造成身体和心理的压力。标记的设计有其局限性。
与此相反，无标记型AR技术具有以下优点。也就是说，没有必要建立并安装标记。可以将无标记型AR技术应用到不应该安装标记的位置。与此同时，无标记型AR技术具有以下缺点。例如，执行复杂的计算，以在所显示的虚拟信息的周边构建一个广阔的空间模型。高运算能力是必需的，并且，如果运算能力不够，难以确保稳定性和高精度，并且计算可能延迟。
此外，标记型AR技术和无标记型AR技术都有以下问题。
1.用户难以随意控制（移动到不同的位置、变焦、旋转等）虚拟信息。也就是说，用户有必要停止使用曾经的装置，以通过程序移动现有标记的位置（在标记型AR技术的情况下）并改变虚拟信息的显示位置。
2.可见光相机识别图像。正因为如此，在极亮的地方和极暗的地方，不可能识别图像。此外，对象遮蔽光源（太阳、电灯等），因此在现有物体的表面上产生阴影（反差），这也是有问题的。
如上所述，标记型AR技术和无标记型AR技术既有优点也有缺点。在准备实际使用中有改进的余地。
鉴于上述的情况，最好是稳定地并以高精度显示虚拟信息。
根据本技术的实施方式，提供了一种信息处理设备，包括：摄像单元，被配置为拍摄实景的图像，从而获得真实图像；标记检测单元，被配置为从真实图像中提取标记图像，标记图像是标记投影光的图像，标记投影光由投影装置投影到实景中以提供空间的第一信息，对于显示虚拟信息使得虚拟信息叠加在实景上来说第一信息是必要的，第二信息被添加到标记投影光；以及提取单元，被配置为提取被添加到所提取的标记图像中的第二信息。
可测量特性可以作为第二信息被添加到标记投影光中，并且提取单元可以被配置为基于标记投影光的图像来测量特性，并被配置为提取第二信息。
标记投影光的可测量特性可以是光强度（振幅）、波长（频率）和闪烁周期中的至少一个。
信息处理设备还可以包括图像生成部，其被配置为基于第一信息生成被显示为叠加在实景上的虚拟信息的图像。
第二信息可以是唯一地识别投影装置的识别信息，提取单元可以被配置为判定提取出的识别信息是否表示投影装置投影虚拟信息的显示对象，并且图像生成部可以在提取单元判定所提取的识别信息表示投影装置投影虚拟信息的显示目标的情况下生成虚拟信息的图像。
信息处理设备还可以包括能够检测标记投影光的特性的滤波器。标记检测单元可以被配置为从过滤的真实图像中检测标记图像。
信息处理设备还可以包括显示单元，其被配置为显示虚拟信息的图像使得虚拟信息的图像叠加在实景上。
第二信息可以是叠加显示在实景上的虚拟信息的配置改变信息，并且图像生成单元可以被配置为基于由提取单元提取的虚拟信息的配置改变信息来生成虚拟信息的图像。
信息处理设备还可以包括发送单元，其被配置为向投影装置发送第二信息，该第二信息被投影装置添加到标记图像中。由投影装置添加到标记图像的第二信息可以通过以下方式获得：即，将第二信息调制至标记投影光，从而将第二信息添加到标记图像中，由投影装置从信息处理设备接收第二信息，并且提取单元可以被配置为解调被添加至标记图像的第二信息。
第二信息可以是位置信息，该位置信息指定要被显示为虚拟信息的对象数据所存储的位置，并且信息处理设备还可以包括对象数据获取单元，该对象数据获取单元被配置为基于由提取单元提取的位置信息获得要被显示为虚拟信息的对象数据。
根据本技术的实施方式，提供了一种信息处理方法，包括：由摄像单元拍摄实景的图像，从而获得真实图像；由标记检测单元从真实图像提取标记图像，该标记图像是标记投影光的图像，标记投影光被投影装置投影到实景中，以提供空间的第一信息，该第一信息对于显示虚拟信息使得虚拟信息叠加在实景上是必要的，第二信息被添加到标记投影光；并且由提取单元提取添加到所提取的标记图像的第二信息。
根据本技术的实施方式，提供了一种信息处理系统，包括：投影装置，能够将标记投影到实景中，第二信息被添加到该标记中；以及包括摄像单元的信息处理设备，该摄像单元被配置为拍摄实景的图像从而得到真实图像，标记检测单元被配置为从真实图像中提取标记图像，该标记图像是标记投影光的图像，该标记投影光被投影装置投影到实景中以提供空间的第一信息，该第一信息对于显示虚拟信息使得虚拟信息叠加在实景上是必要的，第二信息被添加到标记投影光中，以及提取单元被配置为提取添加到所提取的标记图像的第二信息。
信息处理设备还可以包括发送单元，其被配置为向投影装置发送第二信息，该第二信息被投影装置添加到标记图像，投影装置可以包括接收单元，其被配置为从信息处理设备接收第二信息，以及调制单元，其被配置为将接收单元接收的第二信息调制至标记投影光，从而将第二信息添加到标记图像，以及提取单元可以被配置为对添加到标记图像的第二信息进行解调。
如上所述，根据本技术，有可能稳定地并以高精度显示虚拟信息。
如附图中所示，根据以下对本公开的最佳模式实施方式的详细描述，本公开的这些和其它目标、特征和优点将变得更加显而易见。
附图说明
图1是示出了根据本技术的第一实施方式的信息处理系统的示意图；
图2是示出了HMD的硬件配置和输入装置的硬件配置的方框图；
图3是示出了用于执行第一处理的HMD的功能配置的方框图；
图4示意性地示出了由叠加参数生成单元生成叠加参数的原理的示图；
图5是示出了由HMD执行的第一处理的动作的流程图；
图6是示意性地示出了第一处理的示图；
图7是示意性地示出了第三处理的示图；
图8是示出了用于执行第三处理的HMD的功能配置的方框图；
图9是示出了用于执行第三处理的输入装置的硬件配置的方框图；
图10是出了根据变形例2的信息处理系统的示意图；
图11是示出了根据变形例2的信息处理系统的硬件配置的方框图；
图12是示出了根据变形例3的信息处理系统的示意图；
图13是示出了根据变形例4的信息处理系统的示意图；
图14是示出了根据变形例4的信息处理系统的硬件配置的方框图；
图15是示出了根据变形例5的信息处理系统的示意图；以及
图16是示出了根据变形例6的信息处理系统的示意图。
具体实施方式
在下文中，将参考附图描述本公开的实施方式。
<第一实施方式>
[第一实施方式的概要]
图1是出了根据本技术的第一实施方式的信息处理系统1的示意图。
本实施方式的信息处理系统1包括至少一个头戴式显示器（HMD）100（信息处理设备）和至少一个输入装置200（投影装置）。
HMD 100的形状作为整体类似于眼镜。用户U把HMD 100戴在头上。HMD 100包括显示单元102和摄像单元101。当用户U佩戴HMD 100时，显示单元102置于用户U的眼睛前面。摄像单元101能够拍摄实景中用户U的至少视野的图像。显示单元102具有透过性。显示单元102允许用户U本人通过显示单元102在视觉上识别实景。同时，显示单元102能够显示用户U视觉上识别叠加在实景上的图像。HMD 100在由摄像单元101拍摄的实景的图像（真实图像）中检测标记M。标记M由输入装置200投影在实景上。输入装置200投影标记M以提供对于显示虚拟信息使得虚拟信息叠加在实景上而言所必需的空间信息（第一信息）。HMD100根据检测到的标记M计算虚拟信息I的叠加参数。“叠加参数”是叠加显示在实景上的虚拟信息的配置的参数。具体而言，“叠加参数”包括虚拟信息I的位置、大小和角度。HMD 100根据所计算的叠加参数产生预定的虚拟信息。显示单元102显示虚拟信息I，使得虚拟信息I叠加在标记M（其被投影至由用户U在视觉上识别出的实景）上。用户事先要利用HMD 100的输入单元（图2）输入要被显示为虚拟信息I的内容的选择。
输入装置200具有尺寸和形状，使得用户U可以用手握住输入装置200。输入装置200包括投影按钮201、变焦滑块202和电源按钮203。当用户U按下投影按钮201，投影窗口204将具有预定形状的图形投影在实景中的投影目标对象T（桌子等）上。该图形是标记M，其提供对于显示虚拟信息使得虚拟信息叠加在实景上而言必要的空间信息（第一信息）。标记M的投影位置是由HMD 100显示的虚拟信息I的显示位置。此外，用户U移动输入装置200，同时按住投影按钮201。其结果是，用户U能够控制虚拟信息I。例如，用户U移动输入装置200，同时按住投影按钮201，从而移动标记M的投影位置。其结果是，虚拟信息I移动（被拖动）。类似地，用户U旋转输入装置200，同时按住投影按钮201，从而旋转标记M。其结果是，虚拟信息I旋转。此外，用户U操作变焦滑块202，同时按住投影按钮201。其结果是，虚拟信息I被放大/缩小（变焦）。在虚拟信息I正在显示的同时，用户U希望显示其他新的虚拟信息。在这种情况下，用户U停止按下投影按钮201。然后，用户U利用HMD 100的输入单元（图2）输入要被显示为新虚拟信息的内容的选择。此外，用户U停止按下投影按钮201，然后再次按下投影按钮201，从而将标记M叠加在显示的虚拟信息I上。然后，用户U能够再次操作虚拟信息I。
[HMD的硬件配置]
图2是示出了HMD 100的硬件配置和输入装置200的硬件配置的方框图。
HMD 100包括CPU（中央处理单元）103和内置电源110。HMD 100还包括存储器104、摄像单元101、显示单元102、输入单元105、运动传感器106、环境传感器107、第一发送/接收装置108、以及第二发送/接收装置109，其中每一个都连接到CPU 103。
CPU 103根据存储在存储器104中的程序执行各种处理。
摄像单元101能够拍摄实景中至少用户视野中的图像。摄像单元101包括诸如CMOS（互补金属氧化物半导体）图像传感器的图像传感器，以及被配置为对来自图像传感器的输出进行A/D（模拟/数字）转换的A/D转换器。
显示单元102包括LCD（液晶显示装置）、光学系统等。显示单元102经由光学系统向用户显示由LCD形成的图像。更具体地，显示单元102能够显示由LCD形成的图像，使得图像叠加在用户的视野，同时允许用户在视觉上识别外界。
输入单元105包括（例如）按钮、滑块、开关、拨号盘、触摸屏等。输入单元105能够接收由用户的操作所输入的对CPU 103的指令以及要被显示为虚拟信息的内容的选择。
运动传感器106是，例如，加速度传感器、陀螺仪传感器或磁传感器。运动传感器106能够检测HMD 100的移动。
环境传感器107能够检测（例如）照度、温度和湿度。
第一发送/接收装置108是中/高速近距离无线发送/接收装置，诸如，蓝牙（注册商标）或Wi-Fi（注册商标）。第一发送/接收装置108发送信息到输入装置200/从输入装置200接收信息。
第二发送/接收装置109是中距离无线发送/接收装置，诸如，3G（第三代）或WiMAX（全球互通微波存取，注册商标）。第二发送/接收装置109连接到诸如互联网或LAN（局域网）的网络N。第二发送/接收装置109访问连接到网络N的内容服务器，并且（例如）下载要被显示为虚拟信息的内容。
[输入装置的硬件配置]
参照图2，输入装置200包括CPU 212和内置电源211。输入装置200还包括存储器205、输入单元206、运动传感器207，第三发送/接收装置208、调制单元209和投影单元210，其中每一个都连接到CPU 212。
CPU 212根据存储在存储器205中的程序执行各种处理。请注意，MPU（微处理单元）可以用来代替CPU。
输入单元206包括按钮（如投影按钮201、变焦滑块202和电源按钮203）、滑块、开关、拨盘、触摸屏等。输入单元206能够接收通过用户的操作所输入的对CPU 212的指令。
运动传感器207是（例如）加速度传感器、陀螺仪传感器或磁传感器。运动传感器207能够检测输入装置200的移动。
第三发送/接收装置208是中/高速近距离无线发送/接收装置，例如，蓝牙（注册商标）或Wi-Fi（注册商标）。第三发送/接收装置208发送信息到HMD 100/从HMD 100接收信息。
调制单元209将由CPU 212处理的数字数据调制成投影单元210能够投影的光信号。
投影单元210是包括激光光源和光学系统的激光指示器。光学系统能够从投影窗口204（图1）将激光光源发出的激光投射到实景中的投影目标对象（墙壁、桌子等）上，作为具有预定形状的图形成为标记。作为激光指示器，点显示型激光指示器（红色、绿色、蓝色）、束可变型（扫描型、透镜型、全息图型）激光指示器、紫外线型激光指示器、红外型激光指示器等可以被采用。
[由HMD执行的处理]
HMD 100和输入装置200能够执行以下三个处理。
1.输入装置200将指定输入装置200本身的信息（第二信息）加入到标记中。HMD 100指定输入装置200，该输入装置基于由HMD 100拍摄的标记的图像在真实图像数据中投射该标记。在由特定的输入装置200投射标记的情况下，HMD 100显示虚拟信息（第一处理）。
2.输入装置200将叠加显示在实景上的虚拟信息的配置改变信息（第二信息）添加到标记中。基于HMD 100拍摄的标记的图像，HMD 100指定虚拟信息的配置改变信息。HMD 100根据指定的改变信息来改变虚拟信息的配置（第二处理）。具体而言，虚拟信息的配置是显示的虚拟信息的显示位置、大小等。
3.输入装置200将位置信息（第二信息）添加到标记中。位置信息（第二信息）指定存储对象数据的网络上的位置。HMD 100基于HMD 100拍摄的标记的图像来指定对象数据的网络上的位置，从网络上下载虚拟信息，并显示虚拟信息（第三处理）。
<第一处理>
[第一处理的概要]
为了解决标记型AR技术和无标记型AR技术的上述问题，公开了一种从用户持有的手持激光指示器投射标记的方法（日本专利申请特开号2007-272623）。此处，我们假设，多个用户在同一投影目标对象（桌子、墙壁等）上显示虚拟信息，并且该多个用户分别通过使用输入装置（激光指示器）同时控制虚拟信息。在这种情况下，执行以下处理等。每个用户通过使用输入装置在投影目标对象上投射指示点。用户移动输入装置，从而移动被投射在投影目标对象上的指示点。显示在指示点上的虚拟信息随着指示点的移动而移动。在这种情况下，我们假设，多个用户使用投射具有相同形状的指示点的输入装置。在这种情况下，摄像装置不能够确定哪个指示点是由哪个用户的输入装置投影的。其结果是，例如，基于由无关用户的输入装置投射的指示点，可能将虚拟信息显示给另一个用户。
另一方面，根据日本专利申请特开号H07-200160，多个用户分别通过使用激光指示器作为输入装置来控制虚拟信息。在这种情况下，输入装置分别改变指示点的投影模式。其结果是，能够区分多个用户的输入装置。然而，根据该方法，有必要物理地改变输入装置的投影模式的形状。从技术和成本的角度考虑，这种方法有其局限性，这是有问题的。具体而言，在同时使用的输入装置数目大的情况下、在能够在输入操作期间改变投影模式的配置的情况下等等，这是一个大问题。
在这里，我们探讨激光投影仪代替激光指示器用作输入装置的情况。激光投影仪包括，例如，内置MEMS（微机电系统）扫描仪。激光投影仪利用一束激光（该激光从一侧高速移动到另一侧）从顶部扫描到底部。激光投影仪能够投影具有任意形状和任意图像的图形。另一方面，激光投影仪需要比那些投射简单图形的激光指示器更复杂的硬件/软件配置，这是有问题的。其结果是，激光投影仪本身可能是大的，成本可能上升，可能会增加能耗，这是有问题的。此外，即使在由多个输入装置投影的图形的形状彼此不同的情况下，如果投影的图形彼此重叠，那么也难以区分投影的图形，这是有问题的。
鉴于上述的情况，在第一处理中，HMD确定哪个输入装置投射标记，其图像是由HMD稳定具有高精度地拍摄的。其结果是，HMD确定虚拟信息将要被稳定且具有高精度地显示在其上的标记。其结果是，能够稳定且具有高精度地显示虚拟信息。
[输入装置]
输入装置200被配置为投射标记，唯一地识别输入装置本身的信息（识别信息）被添加到该标记中。识别信息可以是（例如）制造输入装置200时设置的序列号等，或由用户通过使用输入单元206设置的用户名等。更具体地，输入装置200被配置以投射具有独特的光强度（振幅）、独特的波长（频率）和独特的闪烁周期中至少一个的标记。基于光强度（振幅）、波长（频率）和闪烁周期的个体差异，能够唯一地识别输入装置200。
[用于执行第一处理的HMD的功能配置]
图3是示出了用于执行第一处理的HMD 100的功能配置的方框图。
HMD 100包括摄像单元101、标记检测单元121、附加信息获取单元125（提取单元）、叠加参数生成单元122、变换矩阵计算单元123，图像数据生成单元124和显示单元102。
摄像单元101拍摄实景的图像，并获得真实图像数据。摄像单元101向标记检测单元121和附加信息获取单元125提供所获得的真实图像数据。
附加信息获取单元125从摄像单元101获取真实图像数据。附加信息获取单元125处理图像，从而测量标记的特性。具体而言，标记的特性包括光强度（振幅）、波长（频率）和闪烁周期中的至少一个。附加信息获取单元125确定输入装置200的识别信息，其被分配到测量出的特性。附加信息获取单元125判定由所确定的识别信息所表示的输入装置200是否是虚拟信息的投影目标。此处，附加信息获取单元125预先登记哪个输入装置200投影虚拟信息显示在其上的标记。换句话说，至少一个输入设备200作为虚拟信息的投影目标被预先登记在附加信息获取单元125中。例如，用户通过使用输入单元105来设置虚拟信息的投影目标。附加信息获取单元125向叠加参数生成单元122通知该判定结果。
标记检测单元121从摄像单元101获得的真实图像数据中检测由输入装置200投影的标记。有关参考标记的信息被预先登记在标记检测单元121中。在标记被投影在垂直方向上的预定距离的情况下，“参考标记”是具有预定参考形状的标记。“有关参考标记的信息”包括参考标记的大小、各顶点间的距离、各边的长度等。标记检测单元121基于参考标记的大小产生平面坐标变换矩阵。根据平面坐标变换矩阵，从真实图像数据检测出的标记与参考标记的形状一致。通过使用平面坐标变换矩阵，标记检测单元121执行对于所检测的标记的坐标变换。随后，标记检测单元121执行坐标变换后的标记和参考标记之间的模式匹配。标记检测单元121确定所检测的标记和参考标记之间的一致度。标记检测单元121向叠加参数生成部122提供该确定结果。
基于标记相对于参考标记的变形，叠加参数生成单元122计算标记和摄像单元101之间的空间位置关系（即，角度和距离）。此处，标记是由输入装置200投影的，该标记是虚拟信息的投影目标。该标记具有预定的一致度。标记被投影在投影目标对象（墙壁、桌子等）上。此外，如图4所示，叠加参数生成单元122基于轮廓提取方法来计算标记M的坐标系（A）。基于标记和摄像单元101之间的空间位置关系，叠加参数生成单元122计算虚拟信息的叠加参数，以获得坐标系（C）。在坐标系（C）中，标记M的坐标系（A）与虚拟信息I的预设坐标系（B）一致。基于由运动传感器106检测到的HMD 100的位置，还基于由输入装置200的运动传感器106检测到的输入装置200的位置，叠加参数生成单元122校正叠加参数，使得虚拟信息被更自然显示给用户。此外，基于用户的眼睛和显示单元102之间的位置关系，叠加参数生成单元122校正叠加参数。
变换矩阵计算单元123生成空间坐标变换矩阵。基于叠加参数，空间坐标变换矩阵被用于将在其中标记是参考的坐标系转换为在其中实景中的摄像单元101是参考的坐标系。通过使用由变换矩阵计算单元123提供的空间坐标变换矩阵，图像数据生成单元124执行先前记录的虚拟信息的对象数据的坐标变换。其结果是，图像数据生成单元124计算（提取）其中摄像单元101是参考的坐标系中虚拟信息的对象图像数据。
图像数据生成单元124将所生成的虚拟信息的对象图像数据提供给显示单元102。
显示单元102显示由图像数据生成单元124提供的虚拟信息的对象图像数据。
[由HMD执行的第一处理的动作]
图5是示出了由HMD 100执行的第一处理的动作的流程图。
CPU 103执行预定的初始化处理（步骤S101）。然后，摄像单元101拍摄实景的图像，进而获得真实图像数据（步骤S102）。摄像单元101将所获得的实际图像数据提供给标记检测单元121和附加信息获取单元125。
标记检测单元121从摄像单元101获得的真实图像数据（步骤S102）中检测由输入装置200投影的标记（步骤S103）。标记检测单元121基于参考标记的大小产生平面坐标变换矩阵。根据平面坐标变换矩阵，从真实图像数据检测出的标记与参考标记的形状一致。通过使用平面坐标变换矩阵，标记检测单元121对于所检测的标记执行坐标变换。随后，标记检测单元121执行坐标变换后的标记和参考标记之间的模式匹配。标记检测单元121确定所检测的标记和基准标记之间的一致度（步骤S104）。标记检测单元121将该确定结果提供给叠加参数生成单元122。
同时，附加信息获取单元125也从摄像单元101获得真实图像数据。附加信息获取单元125处理图像，从而测量标记的特性，即，光强度（振幅）、波长（频率）和闪烁周期中的至少一个。附加信息获取单元125确定输入装置200的识别信息（步骤S105）。识别信息被分配至测量特性。附加信息获取单元125确定由所确定的识别信息所指示的输入装置200是否与虚拟信息的投影目标一致（步骤S106）。附加信息获取单元125向叠加参数生成单元122通知该确定结果。
基于标记相对于参考标记的变形，叠加参数生成单元122估计标记和摄像单元101之间的空间位置关系。此处，标记是由输入装置200投影的，并且该标记是虚拟信息的投影目标（步骤S106，是），并且具有预定的一致度（步骤S104，是）。具体而言，叠加参数生成单元122计算摄像单元101和投影在投影目标对象（墙壁，等）上的标记之间的空间位置关系，即，角度和距离。此外，叠加参数生成单元122计算虚拟信息的叠加参数，使得标记的坐标系与虚拟信息的坐标系一致（步骤S107）。然后，叠加参数生成单元122校正叠加参数，使得虚拟信息被更自然地显示给用户（步骤S108）。
变换矩阵计算单元123生成空间坐标变换矩阵（步骤S109）。基于叠加参数，空间坐标变换矩阵被用于将其中标记是参考的坐标系转换为其中实景中的摄像单元101是参考的坐标系。通过使用由变换矩阵计算单元123提供的空间坐标变换矩阵，图像数据生成单元124执行先前记录的虚拟信息的对象数据的坐标变换。其结果是，图像数据生成单元124计算（提取）其中摄像单元101是参考的坐标系中虚拟信息的对象图像数据（步骤S110）。图像数据生成单元124将所生成的虚拟信息的对象图像数据提供给显示单元102。显示单元102显示所提供的虚拟信息的对象图像数据（步骤S111）。之后，对于后续帧重复从实景的图像数据的获得（步骤S102）到虚拟信息的对象图像数据的显示（步骤S111）的处理。
[第一处理的效果]
如上所述，根据所述第一处理，可以得到以下效果。
1.如果HMD不能够识别哪个输入装置发射哪个标记，HMD可能（例如）对于由无关用户的输入装置投射的标记显示虚拟信息。
与此相反，根据第一处理，如图6所示，HMD 100A、HMD 100B能够识别被添加到标记ML中的输入装置200A的识别信息。每个HMD100A、100B能够在标记M上显示虚拟信息Ia。然而，HMD 100C不能够识别被添加到标记ML中的输入装置200A的识别信息。HMD 100C不能够在标记M上显示虚拟信息，即使得到的真实图像数据包括标记M。以这种方式，使得允许HMD 100A和HMD 100B显示虚拟信息成为可能。不允许HMD 100C显示虚拟信息成为可能。HMD 100A由持有投射标记M的输入装置200A的用户U1拥有。HMD 100B由与用户U1有关的用户U2拥有。HMD 100C由无关用户U3拥有。
2.根据标记的形状彼此不同并且每个输入装置相区别的技术，在投影的标记在投影目标对象上相互重叠的情况下，很难识别每一个标记。其结果是，很难识别投影各标记的各输入装置，这是有问题的。
与此相反，根据第一处理，识别输入装置的识别信息被添加到标记中。因此，与重叠标记无关，基于标记的光强度（振幅）、波长（频率）和闪烁周期中的至少一个，可以稳定地且以高精度确定投影标记的输入装置。此外，第一处理具有以下优点。也就是说，本实施方式比从输入装置发射的标记的形状物理地彼此不同的技术的成本低。通过采用比使用能够投影具有各种形状的标记的激光指示器的技术简单得多的硬件/软件配置，可以实现本实施方式。
<第二处理>
在下文中，将主要描述与已经描述的那些不同的配置等。将避免重复描述。
在第一处理中，识别输入装置200的识别信息作为添加到标记的附加信息被添加。与此相反，在第二处理中，配置改变信息作为添加到标记的附加信息被添加。配置改变信息是要被叠加显示在实景中的虚拟信息的信息。
[输入装置]
用户在输入装置200的输入单元206中（例如，按压按钮）输入预定操作。然后，CPU 212确定标记显示的配置改变信息（例如，移动、旋转、放大/缩小（变焦）标记等）被输入。此处，标记的特性（光强度（振幅）、波长（频率）和闪烁周期中的至少一个）被唯一地分配给标记显示的配置改变信息（例如，移动、旋转、放大/缩小（变焦）标记等）。例如，频率的增大被分配以放大标记，而频率的减小被分配以减小标记。CPU 212确定标记显示的配置改变信息被输入到输入单元206中。然后，基于分配给标记显示的配置改变信息的特性（光强度（振幅）、波长（频率）和闪烁周期中的至少一个），CPU 212改变投影的标记。
[HMD]
HMD 100的附加信息获取单元125处理图像，从而测量从拍摄单元101得到的真实图像数据中的标记的特性（光强度（振幅）、波长（频率）和闪烁周期中的至少一个）。附加信息获取单元125检测到特性被改变。然后，附加信息获取单元125确定分配给改变的特性的标记显示的配置改变信息。此处，如何根据改变标记的特性（光强度（振幅）、波长（频率）和闪烁周期中的至少一个）的方式来改变显示在标记上的虚拟信息，被预先登记在附加信息获取单元125中。例如，扩大标记被登记针对频率的增加，而减小标记被登记针对频率的减小。附加信息获取单元125向叠加参数生成单元122通知该确定结果。
注意，除了虚拟信息的配置改变信息以外，对应用程序的指令（进入、返回等）可以作为附加信息被添加到输入装置200发射的标记中。基于添加到标记的对应用程序的指令，HMD 100可以执行该应用程序。
[第二处理的效果]
如上所述，根据所述第二处理，可以得到以下效果。
即使用户不手持输入装置200并且不移动输入装置200，也可以仅通过在输入装置200中输入预定操作来输入虚拟信息的配置改变信息（例如，移动或旋转虚拟信息，等等）。正因为如此，可能在（例如）输入装置200在桌子等上的状态中输入虚拟信息的配置改变信息。从而提高用户友好性。
<第三处理>
图7是示意性地示出了第三处理的示图。
用户U1具有投射标记M的输入装置200A，并且佩戴HMD（在下文中，称为“投影HMD”）100A。投影HMD 100A向输入装置200A提供位置信息。位置信息指定网络上的位置，在该位置中存储要被显示为虚拟信息的对象数据。输入装置200A向标记添加所获得的位置信息。用户U2、U3不具有投影标记M的输入装置200A，并且佩戴HMD（在下文中，称为“非投影HMD”）100B、100C。每一个非投影HMD 100B、100C从所拍摄图像的标记中提取位置信息。基于位置信息，每一个非投影HMD100B、100C能够从连接到网络N的内容服务器300中下载要被显示为虚拟信息的对象数据。
[用于执行第三处理的HMD的功能配置]
图8是示出了用于执行第三处理的HMD的功能配置的方框图。
HMD 100包括位置信息获取单元130、第一发送/接收装置108、摄像单元101、解调器单元132、对象数据获取单元131和第二发送/接收装置109。
位置信息获取单元130和第一发送/接收装置108执行（1）投影HMD特有的功能。摄像单元101和解调器单元132执行（2）非投影HMD 100特有的功能。对象数据获取单元131和第二发送/接收装置109执行（3）投影HMD 100和非投影HMD 100共同的功能。
[（1）投影HMD特有的功能]
位置信息获取单元130获取位置信息。位置信息指定网络N中的位置，在该位置中存储要被显示为虚拟信息的对象数据。“位置信息”，具体地说，是URL（统一资源定位器）、本地网络路径等。例如，通过利用第二发送/接收装置109，位置信息获取单元130可以经由网络N得到位置信息。可替换地，位置信息获取单元130可以获取由用户通过使用输入单元105输入的位置信息。位置信息获取单元130向对象数据获取单元131提供所获得的位置信息。此外，位置信息获取单元130对所获得的位置信息进行编码，从而生成编码的信息。通过使用第一发送/接收装置108，位置信息获取单元130将所生成的编码信息发送到输入装置200。
[（2）非投影HMD 100特有的功能]
摄像单元101拍摄实景的图像，从而获得真实图像数据。摄像单元101向解调器单元132提供所获得的真实图像数据。
解调器单元132处理图像，从而测量真实图像数据中的标记的光强度（振幅）或波长（频率）的变化。解调器单元132在测定结果的基础上提取编码信息。解调器单元132解码所提取的编码信息，从而获得位置信息作为附加信息。也就是说，解调器单元132具有额外信息获取部的功能。解调器单元132向对象数据获取单元131提供位置信息。
[（3）投影HMD 100/非投影HMD 100共同的功能]
对象数据获取单元131通过利用第二发送/接收装置109基于从解调器单元132或从位置信息获取单元130获得的位置信息，经由网络N从内容服务器300下载对象数据。
[用于执行第三处理的输入装置的硬件配置]
图9是示出了用于执行第三处理的输入装置200的硬件配置的方框图。
输入装置200包括CPU 212、输入单元206、第三发送/接收装置208、调制单元209、激光光源220和光学系统222。激光光源220和光学系统222包含在投影单元210中。
CPU 212检测到由用户输入到输入单元206的操作，并打开/关闭激光光源220。此外，CPU 212通过使用第三发送/接收装置208从HMD 100获取编码信息。该编码信息是通过编码位置信息而获得的信息。CPU 212产生调制信息。该调制信息是用于将编码信息调制（振幅调制或频率调制）至标记的信息。CPU 212将生成的调制信息提供给调制单元209。
基于从CPU 212获得的调制信息，调制单元209调制（幅度调制或频率调制）从激光光源220发射的标记。其结果是，编码信息被添加。该编码信息是通过将位置信息编码至标记所获得的信息。
通过使用投影窗口204，光学系统将通过调制所得到的标记投影在实景上。
注意，根据本实施方式，HMD 100对位置信息进行编码，从而生成编码信息，并发送该编码信息到输入装置200。可替换地，HMD 100可以发送位置信息到输入装置200，并且输入装置200可以对位置信息进行编码，从而生成编码信息。
此外，根据本实施方式，位置信息的编码信息是附加信息。位置信息指定网络中的位置，在该位置中存储要被显示为虚拟信息的对象数据。可替换地，在第一处理中描述的输入装置200的识别信息的编码信息，或在第二处理中描述的虚拟信息的配置改变信息的编码信息可以是附加信息。
[第三处理的效果]
如上所述，根据第三处理，可以得到以下效果。
我们假设用户的HMD（称为“数据保持HMD”）具有输入装置（其投影标记并且保持要被显示在标记上的虚拟信息的对象数据），并且多个HMD（称为“无数据保持HMD”）的每一个都显示该对象。在这种情况下，在多个无数据保持HMD中的每一个获得对象数据的情况下，例如，下面的方法等可以被采用。也就是说，多个无数据保持HMD的每一个经由无线通信等从数据保持HMD获取数据。然而，根据该方法，如果没有建立通信（例如，无数据保持HMD不能够访问数据保持HMD），那么无数据保持HMD不能够显示虚拟信息。
与此相反，根据第三处理，HMD没有必要直接相互通信并共享对象数据。对于未指定数量的HMD的每一个来说可能从真实图像数据中提取位置信息，以基于位置信息从网络获得对象数据，并且显示同一对象。可以应用这样的技术，例如，用于向公共区域中未指定数量的用户示出标牌的目的，以及其他目的。
<变形例1>
后述的变形例是以下情况，其中由上述实施方式中输入装置200投射的光的振幅（强度）被改变，从而添加信息。HMD 100还可以包括滤波器（闪烁周期同步PLL（锁相环）、差分滤波器等），其能够检测由输入装置200投影的标记的光强度变化模式。在这种情况下，标记检测单元121检测过滤的真实图像数据中的标记。
后述的变形例是以下情况，其中由上述实施方式中输入装置200投射的光的频率（波长）被改变，从而添加信息。HMD 100还可以包括滤波器（差分滤波器、波长选择滤光器等），其能够检测由输入装置200投影的标记的波长变化模式。在这种情况下，标记检测单元121检测过滤的真实图像数据中的标记。
在不使用滤波器的情况下，受诸如强烈的阳光（午后的阳光、金属反射光）的环境光或强烈的电光的影响，由HMD 100识别真实图像数据中标记的识别率（S/N（信号/噪声））降低。其结果是，识别误差或计算误差可能会发生。然而，通过使用滤波器，在环境光下能够稳定且具有高精度地执行虚拟信息的显示和输入操作。
<变形例2>
图10是示出了根据变形例2的信息处理系统3的示意图。图11是示出了根据变形例2的信息处理系统3的硬件配置的方框图。
信息处理系统3包括HMD 100b、输入装置200a和移动信息终端400。在上述实施方式中，HMD 100、100a中的CPU 103执行主处理。与此相反，根据本变形例的信息处理系统，独立于HMD 100b的移动信息终端400执行主处理。作为移动信息终端400，例如，智能手机或掌上游戏机可以被采用。
HMD 100b的硬件配置类似于第一实施方式的HMD 100的硬件配置，不同的是HMD 100b不包括第一发送/接收装置108和第二发送/接收装置109并且还包括第五发送/接收装置112。第五发送/接收装置112是中/低速近距离无线发送/接收设备，诸如，蓝牙（注册商标）。第五发送/接收装置112发送信息到移动信息终端400/从移动信息终端400接收信息。更具体地，第五发送/接收装置112（例如）将摄像单元获得的真实图像的图像输入信号发送给移动信息终端400。
输入装置200a的硬件配置类似于第一实施方式的输入装置200的硬件配置，不同的是，输入装置200a不包括第三发送/接收装置208，并且还包括第六发送/接收装置213。第六发送/接收装置213是近距离无线发送/接收设备，如蓝牙（注册商标）或红外线。第六发送/接收装置213发送信息到移动信息终端400/从移动信息终端400接收信息。更具体地，第六发送/接收装置213（例如）将由用户输入到输入单元中的操作（例如，变焦操作）输入信号发送给移动信息终端400。
HMD 100b不包括第一发送/接收装置108，而输入装置200a不包括第二发送/接收装置。正因为如此，HMD 100b不直接发送信息到输入装置200a/从输入装置200a接收信息，反之亦然。HMD 100b经由移动信息终端400发送信息至输入装置200a/从输入装置200a接收信息，反之亦然。
移动信息终端400包括CPU 401、内置电源407。移动信息终端400还包括存储器402、显示单元403、输入单元404、第七发送/接收装置405、第八发送/接收装置406和第九发送/接收装置408，其中每一个都连接到CPU 401。
作为上述实施方式中描述的功能部，CPU 401根据存储在存储器402中的程序执行各种处理。
第七发送/接收装置405是中/低速近距离无线发送/接收装置，诸如，蓝牙（注册商标）。第七发送/接收装置405发送信息到HMD 100b/从HMD100b接收信息。更具体地，第七发送/接收装置405（例如）将要由HMD100b的显示单元显示的虚拟信息的图像输出信号发送到HMD 100b。
第八发送/接收装置406是近距离无线发送/接收装置，如蓝牙（注册商标）或红外线。第八发送/接收装置406发送信息到输入装置200a/从输入装置200a接收信息。更具体地，第八发送/接收装置406（例如）发送改变信号到输入装置200a。改变信号是用来改变图形（其作为由输入装置200a投影的标记）的模式。
第九发送/接收装置408是中距离无线发送/接收装置，诸如，3G（第三代）或WiMAX（全球互通微波存取，注册商标）。第九发送/接收装置408（例如）连接诸如互联网或LAN（局域网）的网络N，并且下载要被显示为虚拟信息的内容。
要注意的是，HMD 100b的第五发送/接收装置112或移动信息终端400的第七发送/接收装置405可以是有线发送/接收装置。
<变形例3>
图12是示出了根据变形例3的信息处理系统4的示意图。
本变形例的信息处理系统4的硬件配置类似于第一实施方式的信息处理系统1的硬件配置（图2）。
在上述实施方式中，HMD中的CPU执行主处理。与此相反，在本变形例的信息处理系统4中，移动信息终端作为输入装置200执行主处理。例如，智能手机或掌上游戏机也可以被采用作为移动信息终端。
HMD 100的第一发送/接收装置108（例如）将摄像单元101获得的真实图像的图像输入信号发送到输入装置（移动信息终端）200。
输入装置（移动信息终端）200的第三发送/接收装置208（例如）将要被HMD 100的显示单元102显示的虚拟信息的图像输出信号发送到HMD 100。
作为上述实施方式中描述的功能单元，输入装置（移动信息终端）200的CPU 212根据存储在存储器205中的程序执行各种处理。
要注意的是，在显示单元102和摄像单元101被安装在一个设备（HMD 100）的情况下，基于HMD 100和输入装置200之间的位置关系，对叠加参数进行校正（步骤S110）。
<变形例4>
图13是示出了根据变形例4的信息处理系统5的示意图。图14是示出了根据变形例4的信息处理系统5的硬件配置的方框图。
根据上述实施方式，通过使用独立于HMD 100的输入装置200，标记被投射并且输入对虚拟信息的操作。与此相反，根据本变形例，输入装置未单独设置。仅HMD 100C执行所有的动作，包括标记的投影以及对虚拟信息的操作的输入。
HMD 100c的硬件配置类似于第一实施方式的HMD 100的硬件配置，不同的是，HMD 100c不包括第一发送/接收装置108，并且还包括连接到CPU 103的调制单元113和连接到调制单元113的投影单元114。调制单元113具有与上述实施方式中的输入装置200的调制单元209的功能类似的功能。投影单元114具有与上述实施方式中的输入装置200的投影单元210的功能类似的功能。
用户佩戴HMD 100c，并且移动他的头，从而控制虚拟信息。例如，用户上/下/右/左移动他的头，从而移动标记的投影位置。其结果是，可以移动（拖动）所显示的虚拟信息的显示位置。
<变形例5>
图15是示出了根据变形例5的信息处理系统6的示意图。
信息处理系统6包括多个HMD 100A、100B、100C，多个输入装置200和服务器设备500。服务器设备500保存要被显示为虚拟信息的内容的内容数据。
经由无线或有线LAN（局域网），投影HMD 100A在服务器设备500中搜索要被显示为虚拟信息的内容的内容数据，进而获得该内容数据。通过使用近距离无线发送/接收装置（第四发送/接收装置111），投影HMD100A将从服务器设备500中获得的内容数据提供给非投影HMD 100B、100C。其结果是，投影HMD 100A和非投影HMD 100B、100C能够显示相同的内容作为虚拟信息。
<变形例6>
图16是示出了根据变形例6的信息处理系统7的示意图。
信息处理系统7包括主处理器设备600、投影/摄像装置700、以及至少一个显示装置800。
经由近距离无线或有线通信，主处理器设备600向投影/摄像装置700指示有关要被投影的标记M的形状、实景S中标记M的位置等。此外，主处理器设备600从投影/摄像装置700中获得真实图像数据。基于所获得的真实图像数据，主处理器设备600计算虚拟信息的对象图像数据。主处理器设备600将计算出的对象图像数据叠加在真实图像数据上，从而生成显示数据。经由无线通信，主处理器设备600将所产生的显示数据提供给多个显示装置800。
投影/摄像装置700将标记M投影在实景S上。投影/摄像装置700的固定式相机拍摄实景S的图像，从而获得真实图像数据。投影/摄像装置700将所获得的真实图像数据提供给主处理器设备600。
显示装置800显示从主处理器设备600获得的显示数据。显示设备800是（例如）HUD（平视显示器）。具体而言，数字标牌、可以安装在桌子上或在汽车仪表板上的透明显示器、移动信息终端的显示器等可以被采用作为HUD。
<变形例7>
非可见光区域（红外线、紫外线等）激光也可以被用作用于投影标记的光源。其结果是，使得不允许未佩戴HMD的用户在视觉上识别标记和虚拟信息成为可能。同时，佩戴HMD的用户能够在视觉上识别虚拟信息。此外，HMD的显示单元可被处理，使得非可见光区（红外线，紫外线等）激光在视觉上是可识别的。其结果是，佩戴HMD的用户能够在视觉上识别标记。
要注意的是，本技术可以采用以下配置。
（1）一种信息处理设备，包括：
摄像单元，被配置为拍摄实景的图像，从而获得真实图像；
标记检测单元，被配置为从所述真实图像中提取标记图像，所述标记图像是标记投影光的图像，所述标记投影光由投影装置投影到所述实景以提供空间的第一信息，对于显示虚拟信息使得所述虚拟信息叠加在所述实景上而言所述第一信息是必需的，第二信息被添加到所述标记投影光；以及
提取单元，被配置为提取被添加到所提取的所述标记图像中的所述第二信息。
（2）根据（1）的信息处理设备，其中：
可测量特性作为所述第二信息被添加到所述标记投影光中，以及
所述提取单元被配置为：
基于所述标记投影光的图像来测量所述特性，以及
提取所述第二信息。
（3）根据（1）或（2）的信息处理设备，其中：
所述标记投影光的所述可测量特性是光强度（振幅）、波长（频率）、闪烁周期中的至少一个。
（4）根据（1）至（3）中任何一项的信息处理设备，还包括：
图像生成单元，被配置为基于所述第一信息生成虚拟信息的图像，所述虚拟信息的图像被显示为所述虚拟信息叠加在所述实景上。
（5）根据（1）至（4）中任何一项的信息处理设备，其中：
所述第二信息是唯一地识别所述投影装置的识别信息，
所述提取单元被配置为判断提取出的所述识别信息是否表示投影虚拟信息的显示目标的投影装置，以及
在所述提取单元判断所提取的所述识别信息表示投影虚拟信息的显示目标的投影装置的情况下，所述图像生成单元生成所述虚拟信息的图像。
（6）根据（1）至（5）中任何一项的信息处理设备，还包括
滤波器，能够检测所述标记投影光的特性，其中，
标记检测单元被配置为从过滤的所述真实图像中检测标记图像。
（7）根据（1）至（6）中任何一项的信息处理设备，还包括
显示单元，被配置为显示所述虚拟信息的图像，使得所述虚拟信息的所述图像叠加在所述实景上。
（8）根据（1）至（7）中任何一项的信息处理设备，其中
所述第二信息是叠加显示在所述实景上的虚拟信息的配置改变信息，以及
图像生成单元被配置为基于由所述提取单元提取的虚拟信息的配置改变信息生成所述虚拟信息的图像。
（9）根据（1）至（8）中任何一项的信息处理设备，还包括
滤波器，能够检测所述标记投影光的特性，其中，
所述标记检测单元被配置为从过滤的所述真实图像中检测标记图像。
（10）根据（1）至（9）中任何一项的信息处理设备，还包括
显示单元，被配置为显示所述虚拟信息的图像，使得所述虚拟信息的所述图像叠加在所述实景上。
本公开包含的主题涉及于2012年4月6日提交至日本专利局的日本在先专利申请JP 2012-087184中所公开的主题，其全部内容通过引用结合于此。
本领域技术人员应当理解，根据设计需求和其他因素，在所附权利要求或其等价物范围内，可以进行各种修改、组合、子组合、以及更改。

Claims (18)

1.一种信息处理设备，包括：
摄像单元，被配置为拍摄实景的图像，从而获得真实图像；
标记检测单元，被配置为从所述真实图像中提取标记图像，所述标记图像是标记投影光的图像，所述标记投影光由投影装置投影到所述实景以提供空间的第一信息，对于显示虚拟信息使得所述虚拟信息叠加在所述实景上而言所述第一信息是必需的，第二信息被添加到所述标记投影光；以及
提取单元，被配置为提取被添加到所提取的标记图像中的所述第二信息。
2.根据权利要求1所述的信息处理设备，其中：
可测量特性作为所述第二信息被添加到所述标记投影光中，以及
所述提取单元被配置为：
基于所述标记投影光的图像来测量所述特性，以及
提取所述第二信息。
3.根据权利要求2所述的信息处理设备，其中：
所述标记投影光的所述可测量特性是光强度、波长、闪烁周期中的至少一个。
4.根据权利要求3所述的信息处理设备，还包括：
图像生成单元，被配置为基于所述第一信息生成虚拟信息的图像，所述虚拟信息的图像被显示为所述虚拟信息叠加在所述实景上。
5.根据权利要求4所述的信息处理设备，其中：
所述第二信息是唯一地识别所述投影装置的识别信息，
所述提取单元被配置为判断提取出的所述识别信息是否表示投影虚拟信息的显示目标的投影装置，以及
在所述提取单元判断所提取的所述识别信息表示投影虚拟信息的显示目标的投影装置的情况下，所述图像生成单元生成所述虚拟信息的图像。
6.根据权利要求5所述的信息处理设备，还包括：
滤波器，能够检测所述标记投影光的特性，其中，
标记检测单元被配置为从经过滤的真实图像中检测标记图像。
7.根据权利要求6所述的信息处理设备，还包括：
显示单元，被配置为显示所述虚拟信息的图像，使得所述虚拟信息的所述图像叠加在所述实景上。
8.根据权利要求4所述的信息处理设备，其中：
所述第二信息是叠加显示在所述实景上的虚拟信息的配置改变信息，以及
图像生成单元被配置为基于由所述提取单元提取的虚拟信息的配置改变信息生成所述虚拟信息的图像。
9.根据权利要求8所述的信息处理设备，还包括：
滤波器，能够检测所述标记投影光的特性，其中，
所述标记检测单元被配置为从经过滤的真实图像中检测标记图像。
10.根据权利要求9所述的信息处理设备，还包括：
显示单元，被配置为显示所述虚拟信息的图像，使得所述虚拟信息的所述图像叠加在所述实景上。
11.根据权利要求4所述的信息处理设备，还包括：
发送单元，被配置为向所述投影装置发送所述第二信息，所述第二信息由所述投影装置添加到标记图像，其中，
由所述投影装置添加到标记图像的所述第二信息是通过将所述第二信息调制至所述标记投影光从而将所述第二信息添加到所述标记图像所获得的，所述第二信息由所述投影装置从所述信息处理设备接收，以及
所述提取单元被配置为解调添加到所述标记图像的所述第二信息。
12.根据权利要求11所述的信息处理设备，其中：
所述第二信息是位置信息，所述位置信息指定一个位置，要被显示为虚拟信息的对象数据存储在所述位置，以及
所述信息处理设备还包括对象数据获取单元，所述对象数据获取单元被配置为根据由所述提取单元提取的位置信息获得要被显示为虚拟信息的对象数据。
13.根据权利要求12所述的信息处理设备，还包括：
滤波器，能够检测所述标记投影光的特性，其中，
所述标记检测单元被配置为从经过滤的真实图像中检测标记图像。
14.根据权利要求13所述的信息处理设备，还包括：
显示单元，被配置为显示所述虚拟信息的图像，使得所述虚拟信息的所述图像叠加在所述实景上。
15.根据权利要求1所述的信息处理设备，还包括：
传感器，被配置为检测所述信息处理设备的移动。
16.一种信息处理方法，包括：
由摄像单元拍摄实景的图像，从而获得真实图像；
由标记检测单元从所述真实图像中提取标记图像，所述标记图像是标记投影光的图像，所述标记投影光由投影装置投影到所述实景以提供空间的第一信息，对于显示虚拟信息使得所述虚拟信息叠加在所述实景上而言所述第一信息是必需的，第二信息被添加到所述标记投影光；以及
由提取单元提取被添加到所提取的标记图像中的所述第二信息。
17.一种信息处理系统，包括：
投影装置，能够将标记投影到实景，第二信息被添加到所述标记；以及
信息处理设备，包括：
摄像单元，被配置为拍摄所述实景的图像，从而获得真实图像；
标记检测单元，被配置为从所述真实图像中提取标记图像，所述标记图像是标记投影光的图像，所述标记投影光由投影装置投影到所述实景以提供空间的第一信息，对于显示虚拟信息使得所述虚拟信息叠加在所述实景上而言所述第一信息是必需的，第二信息被添加到所述标记投影光；以及
提取单元，被配置为提取被添加到所提取的标记图像中的所述第二信息。
18.根据权利要求17所述的信息处理系统，其中：
信息处理设备还包括发送单元，所述发送单元被配置为向所述投影装置发送所述第二信息，所述第二信息由所述投影装置添加到标记图像中，
所述投影装置，包括：
接收单元，被配置为从所述信息处理设备接收所述第二信息，以及
调制单元，被配置为将所述接收单元接收的所述第二信息调制至所述标记投影光，从而添加所述第二信息到标记图像中，以及
所述提取单元被配置为对添加到所述标记图像的所述第二信息进行解调。
CN201310109389.9A 2012-04-06 2013-03-29 信息处理设备、信息处理方法和信息处理系统 Expired - Fee Related CN103365414B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012087184A JP5912059B2 (ja) 2012-04-06 2012-04-06 情報処理装置、情報処理方法及び情報処理システム
JP2012-087184 2012-04-06

Publications (2)

Publication Number Publication Date
CN103365414A true CN103365414A (zh) 2013-10-23
CN103365414B CN103365414B (zh) 2018-09-18

Family

ID=49291941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310109389.9A Expired - Fee Related CN103365414B (zh) 2012-04-06 2013-03-29 信息处理设备、信息处理方法和信息处理系统

Country Status (3)

Country Link
US (2) US9685002B2 (zh)
JP (1) JP5912059B2 (zh)
CN (1) CN103365414B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103546742A (zh) * 2013-10-31 2014-01-29 华南理工大学 一种光学标记点智能检测相机
CN104182051A (zh) * 2014-08-29 2014-12-03 百度在线网络技术（北京）有限公司 头戴式智能设备和具有该头戴式智能设备的交互系统
CN104182050A (zh) * 2014-08-29 2014-12-03 百度在线网络技术（北京）有限公司 头戴式智能设备和具有该头戴式智能设备的投影系统
CN108107573A (zh) * 2016-11-24 2018-06-01 财团法人工业技术研究院 互动显示装置及系统
CN108332365A (zh) * 2018-01-04 2018-07-27 珠海格力电器股份有限公司 空调控制方法及装置
CN109582123A (zh) * 2017-09-28 2019-04-05 富士施乐株式会社 信息处理设备、信息处理系统和信息处理方法
CN110168616A (zh) * 2017-01-17 2019-08-23 开放电视公司 增强现实显示器中的叠加对比度控制
CN111615443A (zh) * 2018-01-23 2020-09-01 索尼公司 信息处理装置、信息处理方法和信息处理系统
CN113196165A (zh) * 2018-12-18 2021-07-30 川崎重工业株式会社 信息投影系统、控制装置以及信息投影方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150124051A1 (en) * 2013-11-05 2015-05-07 Robert Schinker Methods and Apparatus for Enhanced Reality Messaging
US20150124050A1 (en) * 2012-12-10 2015-05-07 Robert Schinker Methods and apparatus for enhanced reality messaging
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
FR3011952B1 (fr) * 2013-10-14 2017-01-27 Suricog Procede d'interaction par le regard et dispositif associe
WO2015142334A1 (en) * 2014-03-20 2015-09-24 Hewlett-Packard Development Company, L.P. Identifying electronic components for augmented reality
JP2015192436A (ja) * 2014-03-28 2015-11-02 キヤノン株式会社 送信端末、受信端末、送受信システム、およびそのプログラム
DE102014006732B4 (de) * 2014-05-08 2016-12-15 Audi Ag Bildüberlagerung von virtuellen Objekten in ein Kamerabild
US20150339855A1 (en) * 2014-05-20 2015-11-26 International Business Machines Corporation Laser pointer selection for augmented reality devices
JP6750500B2 (ja) 2014-08-27 2020-09-02 日本電気株式会社 情報処理装置および認識支援方法
JP6476657B2 (ja) * 2014-08-27 2019-03-06 株式会社リコー 画像処理装置、画像処理方法、およびプログラム
US9633622B2 (en) * 2014-12-18 2017-04-25 Intel Corporation Multi-user sensor-based interactions
US9685005B2 (en) 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
CN105939472B (zh) * 2015-03-02 2022-07-15 维蒂克影像国际公司 具有视频叠加的激光投影系统
US20170076428A1 (en) * 2015-09-14 2017-03-16 Canon Kabushiki Kaisha Information processing apparatus
WO2017053871A2 (en) * 2015-09-24 2017-03-30 Supereye, Inc. Methods and devices for providing enhanced visual acuity
JP2017129406A (ja) * 2016-01-19 2017-07-27 日本電気通信システム株式会社 情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラム
US10685490B2 (en) * 2016-03-10 2020-06-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP2018078475A (ja) * 2016-11-10 2018-05-17 富士通株式会社 制御プログラム、制御方法および制御装置
CA3046399A1 (en) * 2016-12-13 2018-06-21 Magic Leap, Inc. 3d object rendering using detected features
DE102017108551A1 (de) * 2017-04-21 2018-10-25 Carl Zeiss Meditec Ag Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem
US11127212B1 (en) * 2017-08-24 2021-09-21 Sean Asher Wilens Method of projecting virtual reality imagery for augmenting real world objects and surfaces
JP2021500676A (ja) * 2017-10-26 2021-01-07 イエダ リサーチ アンド ディベロップメント カンパニー リミテッド 多層ビューイングシステムおよび方法
JP6784944B2 (ja) * 2018-03-26 2020-11-18 カシオ計算機株式会社 投影制御装置、マーカ検出方法及びプログラム
WO2019215738A1 (en) * 2018-05-11 2019-11-14 Resight Ltd. A system and method for determining an approximate transformation between coordinate systems
JP6711885B2 (ja) * 2018-11-06 2020-06-17 キヤノン株式会社 送信端末、受信端末、送受信システム、およびそのプログラム
JP7170517B2 (ja) 2018-11-29 2022-11-14 前田建設工業株式会社 トンネルにおけるａｒマーカー設置方法
WO2021040106A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 Ar 장치 및 그 제어 방법
US11663736B2 (en) * 2019-12-27 2023-05-30 Snap Inc. Marker-based shared augmented reality session creation
FR3110759B1 (fr) 2020-05-20 2022-10-21 Mon Lumi Systeme de marquage dynamique d’informations graphiques et textuelles
EP4158445A1 (en) * 2020-05-25 2023-04-05 Telefonaktiebolaget LM ERICSSON (PUBL) A computer software module arrangement, a circuitry arrangement, an arrangement and a method for providing a virtual display
US11893698B2 (en) * 2020-11-04 2024-02-06 Samsung Electronics Co., Ltd. Electronic device, AR device and method for controlling data transfer interval thereof
CN113076790B (zh) * 2020-12-06 2021-09-28 上海臻客信息技术服务有限公司 服务信息大数据监管平台及方法
EP4195005A4 (en) * 2020-12-17 2024-06-12 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD FOR OPERATING AN ELECTRONIC DEVICE
CN115937667A (zh) * 2021-09-29 2023-04-07 杭州海康威视系统技术有限公司 一种目标位置的确定方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07129322A (ja) * 1993-09-07 1995-05-19 Sony Corp コンピュータディスプレイシステム
JP2002278698A (ja) * 2001-12-17 2002-09-27 Hitachi Ltd 情報表示装置
JP2005062748A (ja) * 2003-08-20 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置および情報提示装置の使用方法
CN1931410A (zh) * 2005-09-12 2007-03-21 任天堂株式会社 信息处理程序
US20070072674A1 (en) * 2005-09-12 2007-03-29 Nintendo Co., Ltd. Information processing program
JP2007272623A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd 画像合成装置及び画像合成プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07272623A (ja) 1994-03-31 1995-10-20 Nec Kansai Ltd 陰極線管の製造装置
JP2939230B1 (ja) * 1998-03-05 1999-08-25 株式会社ナムコ 画像生成装置及び情報記憶媒体
JP4537557B2 (ja) 2000-09-19 2010-09-01 オリンパス株式会社 情報呈示システム
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
US7613361B2 (en) * 2004-05-14 2009-11-03 Canon Kabushiki Kaisha Information processing method and device
KR20080024476A (ko) * 2005-06-14 2008-03-18 고쿠리쓰다이가쿠호진 덴키쓰신다이가쿠 위치 검출 장치, 위치 검출 방법, 위치 검출 프로그램 및복합 현실 제공 시스템
US9147213B2 (en) * 2007-10-26 2015-09-29 Zazzle Inc. Visualizing a custom product in situ
US8436872B2 (en) * 2010-02-03 2013-05-07 Oculus Info Inc. System and method for creating and displaying map projections related to real-time images
JP5190481B2 (ja) * 2010-03-08 2013-04-24 日本電信電話株式会社 画像表示システム及び画像表示方法
US10242456B2 (en) * 2011-06-23 2019-03-26 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (AR)
US8902158B2 (en) * 2011-10-21 2014-12-02 Disney Enterprises, Inc. Multi-user interaction with handheld projectors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07129322A (ja) * 1993-09-07 1995-05-19 Sony Corp コンピュータディスプレイシステム
JP2002278698A (ja) * 2001-12-17 2002-09-27 Hitachi Ltd 情報表示装置
JP2005062748A (ja) * 2003-08-20 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置および情報提示装置の使用方法
CN1931410A (zh) * 2005-09-12 2007-03-21 任天堂株式会社 信息处理程序
US20070072674A1 (en) * 2005-09-12 2007-03-29 Nintendo Co., Ltd. Information processing program
JP2007272623A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd 画像合成装置及び画像合成プログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103546742A (zh) * 2013-10-31 2014-01-29 华南理工大学 一种光学标记点智能检测相机
CN104182051A (zh) * 2014-08-29 2014-12-03 百度在线网络技术（北京）有限公司 头戴式智能设备和具有该头戴式智能设备的交互系统
CN104182050A (zh) * 2014-08-29 2014-12-03 百度在线网络技术（北京）有限公司 头戴式智能设备和具有该头戴式智能设备的投影系统
CN108107573A (zh) * 2016-11-24 2018-06-01 财团法人工业技术研究院 互动显示装置及系统
CN110168616A (zh) * 2017-01-17 2019-08-23 开放电视公司 增强现实显示器中的叠加对比度控制
CN109582123A (zh) * 2017-09-28 2019-04-05 富士施乐株式会社 信息处理设备、信息处理系统和信息处理方法
CN108332365A (zh) * 2018-01-04 2018-07-27 珠海格力电器股份有限公司 空调控制方法及装置
CN108332365B (zh) * 2018-01-04 2019-10-18 珠海格力电器股份有限公司 空调控制方法及装置
CN111615443A (zh) * 2018-01-23 2020-09-01 索尼公司 信息处理装置、信息处理方法和信息处理系统
CN111615443B (zh) * 2018-01-23 2023-05-26 索尼公司 信息处理装置、信息处理方法和信息处理系统
CN113196165A (zh) * 2018-12-18 2021-07-30 川崎重工业株式会社 信息投影系统、控制装置以及信息投影方法

Also Published As

Publication number Publication date
US20160321842A1 (en) 2016-11-03
US10140771B2 (en) 2018-11-27
CN103365414B (zh) 2018-09-18
JP2013218459A (ja) 2013-10-24
JP5912059B2 (ja) 2016-04-27
US9685002B2 (en) 2017-06-20
US20130265330A1 (en) 2013-10-10

Similar Documents

Publication Publication Date Title
CN103365414A (zh) 信息处理设备、信息处理方法和信息处理系统
JP6524132B2 (ja) 情報通信方法、情報通信装置およびプログラム
CN105579917B (zh) 用于增强现实的方法和系统
CN102749072B (zh) 室内定位方法、装置及系统
CN104205175B (zh) 信息处理装置，信息处理系统及信息处理方法
CN107407559B (zh) 距离图像获取装置以及距离图像获取方法
CN105187122B (zh) 信息提供系统、信息提供方法以及记录介质
JP3918813B2 (ja) データ通信システム、データ送信装置、並びにデータ受信装置
JP4681629B2 (ja) 表示デバイスのキャリブレーション方法及び装置
EP3357012A1 (en) Camera based location commissioning of electronic shelf labels
CN108540542A (zh) 一种移动增强现实系统及显示的方法
CN107209007A (zh) 以深度估计进行图像采集的方法、电路、设备、配件、系统和功能上相关联的计算机可执行代码
CN104487982B (zh) 基于用户穿戴的可穿戴物的光学检测提供服务
KR20120133648A (ko) 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버
CN110662162B (zh) 用于飞行时间感测和信息传送的双模式光学设备、以及利用其的装置、系统和方法
CN107429998A (zh) 距离图像获取装置以及距离图像获取方法
CN106020456A (zh) 获取用户头部姿态的方法、装置和系统
JP2012033073A (ja) 付加情報提供システム及び撮像装置
JP2013200633A (ja) 情報処理システム
KR20110136018A (ko) 알에프아이디 리더를 구비한 증강현실 장치
CA2972370A1 (en) Illumination device
CN109683774A (zh) 交互式显示系统及交互式显示控制方法
CN108615260A (zh) 一种异常现实环境下进行增强现实数字文化内容显示的方法及装置
CN110024307A (zh) 可见光通信检测和/或解码
JP2016157458A (ja) 情報処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180918