CN113168732A - 增强现实显示装置和增强现实显示方法 - Google Patents

增强现实显示装置和增强现实显示方法 Download PDF

Info

Publication number
CN113168732A
CN113168732A CN201880099967.6A CN201880099967A CN113168732A CN 113168732 A CN113168732 A CN 113168732A CN 201880099967 A CN201880099967 A CN 201880099967A CN 113168732 A CN113168732 A CN 113168732A
Authority
CN
China
Prior art keywords
real
augmented reality
background image
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880099967.6A
Other languages
English (en)
Inventor
川前治
奥万寿男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN113168732A publication Critical patent/CN113168732A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

增强现实显示装置包括：拍摄背景影像的摄像机；对至背景影像内的现实物体的距离进行测量的测距传感器；检测摄像机的位置和拍摄方向的位置/方位传感器；从由摄像机拍摄到的背景影像识别现实物体，对识别出的现实物体关联规定的AR对象的控制器；显示所关联的AR对象的影像的显示部；和存储所关联的现实物体与AR对象的数据的存储器。此处，控制器从测距传感器的测量结果判断现实物体是否可移动，在与AR对象相关联的现实物体的位置移动了的情况下，依照现实物体的当前的位置配置AR对象。

Description

增强现实显示装置和增强现实显示方法
技术领域
本发明涉及与背景影像重叠地显示增强现实对象(以下，称为AR(AugmentedReality)对象)的增强现实显示装置和增强现实显示方法。
背景技术
头戴式显示器(以下，HMD)等增强现实显示装置(AR显示装置)是将利用CG(Computer Graphics：计算机图形图像)等制作的AR对象重叠于利用摄像机拍摄到的背景影像(现实空间)进行显示的装置，在游戏显示和维护工作等内容显示的领域中使用。此时，为了赋予AR对象，利用摄像机将称为AR触发器或者标记的影像与背景同时拍摄，以AR触发器为线索将AR对象合成到背景影像。或者，还已知有从摄像机影像提取特征点进行图像识别，对特定的物体赋予AR对象的称为无标记AR的方法。
此外，关于在在哪个时机显示AR对象，有以下的提案。在专利文献1中，公开有记录观察虚拟空间(虚拟物体)的观察者的位置姿态、观察条件，之后在虚拟空间中配置虚拟窗，判断虚拟窗与视点的位置姿态关系是否满足规定条件。然后，在满足规定条件时输出将记录时的位置姿态、观察条件复原后的虚拟空间(虚拟物体)的图像。在专利文献2中公开有，对跟随在现实空间内可移动的现实物体显示的虚拟对象的位置与虚拟空间或现实空间中的其它物体的距离进行计算。然后，在该距离成为阈值以下的情况下，控制虚拟对象的图像、其它物体的至少一者的、一部分或全部的透明度。
现有技术文献
专利文献
专利文献1：日本特开2007-188332号公报
专利文献2：日本特开2015-143976号公报
发明内容
发明要解决的课题
在佩戴HMD而将AR对象配置在空间中时，用户识别该空间内的物体(例如家具)，AR对象与该空间内的绝对的坐标一起配置。但是，日后，在该空间中再现AR对象时，空间内的物体(家具)的配置有时会变得不同。在这种情况下，会将当前的空间识别为另一个空间，或者与以前的配置的前后的距离关系不同，由此不能将AR对象配置在恰当的位置。其结果是，存在给对此进行观察的用户带来不协调感或使用户产生迷惑的问题。
在所述专利文献1中，对以移动的物体为对象的AR对象的配置未加以考虑。此外，在所述专利文献2中，虽然以移动的物体为对象，但是是在物体与虚拟对象的距离接近时显示虚拟对象，因此在物体的配置发生变化之类的情况下不能显示虚拟对象。
鉴于上述问题，本发明的目的在于，提供包含可移动的物体在内、依照物体的当前的位置恰当地显示AR对象的增强现实显示装置和增强现实显示方法。
用于解决课题的方法
本发明的增强现实显示装置包括：拍摄背景影像的摄像机；对至背景影像内的现实物体的距离进行测量的测距传感器；检测摄像机的位置和拍摄方向的位置/方位传感器；从由摄像机拍摄到的背景影像识别现实物体，对识别出的现实物体关联规定的AR对象的控制器；显示所关联的AR对象的影像的显示部；和存储所关联的现实物体与AR对象的数据的存储器。此处，控制器从测距传感器的测量结果判断现实物体是否可移动，在与AR对象相关联的现实物体的位置移动了的情况下，依照现实物体的当前的位置配置AR对象。
进一步，本发明的增强现实显示方法包括：拍摄背景影像，从所拍摄到的背景影像识别现实物体的步骤；对至背景影像内的现实物体的距离进行测量的步骤；检测背景影像的拍摄位置和拍摄方向的步骤；对识别出的现实物体关联规定的AR对象的步骤；通过检测现实物体发生了移动而识别到该物体为可移动的物体的步骤；和显示所关联的AR对象的影像的步骤。此处，在显示AR对象的影像的步骤中，在与AR对象相关联的现实物体的位置移动了的情况下，依照现实物体的当前的位置配置AR对象。
发明效果
根据本发明，能够包含可移动的物体在内、依照物体的当前的位置恰当显示AR对象，不给对此进行观察的用户带来不协调感，用户能够舒适地进行观察。
附图说明
图1A是表示实施例1所涉及的增强现实显示装置(AR显示装置)的外观的图。
图1B是表示用户佩戴了AR显示装置的状态的图。
图2是表示AR显示装置的内部结构的框图。
图3A是表示由摄像机拍摄到的影像的例子的图。
图3B是表示合成了AR对象的显示影像的例子的图。
图3C是表示可动物体移动了的情况下的显示影像的例中的图。
图3D是表示在现实空间中追加了屏风的情况下的显示影像的例子的图。
图4是表示在自然风景中配置AR对象的显示影像的例子的图。
图5A是说明用户的视线方向和背景物体的识别的方法的图。
图5B是表示用户的视线方向为附图标记26a的方向的时的识别的方法的图。
图5C是表示用户的视线方向为附图标记26b的方向时的识别的方法的图。
图6是表示可移动的AR对象的显示例的图。
图7是表示与视线联动的AR对象的显示例的图。
图8是表示整体控制处理880的流程的图。
图9是表示基准点和移动历史处理881的流程的图。
图10是表示拍摄物体处理882的流程的图。
图11是表示背景物体处理883的流程的图。
图12A是表示AR对象处理884(其1)的流程的图。
图12B是表示AR对象处理884(其2)的流程的图。
图13是表示拍摄物体编组处理885的流程的图。
图14是表示显示影像生成处理886的流程的图。
图15A是表示AR对象处理884中的用户操作的具体例的图。
图15B是表示AR对象处理884中的用户操作的具体例的图。
图16是表示标头数据的数据表的例子的图。
图17是表示基准点和移动历史数据891的数据表的例子的图。
图18A是表示拍摄物体数据892的数据表的例子的图。
图18B是表示拍摄物体数据892的数据表的例子的图。
图18C是表示拍摄物体数据892的数据表的例子的图。
图19是表示背景物体数据893的数据表的例子的图。
图20是表示AR对象数据894的数据表的例子的图。
图21是表示拍摄物体编组数据895的数据表的例子的图。
图22是表示实施例2所涉及的增强现实显示装置(AR显示装置)的外观的图。
图23是表示AR显示装置的内部结构的框图。
具体实施方式
以下，参照对本发明的实施方式进行说明。另外，还将增强现实显示装置简称为“AR显示装置”，将使用增强现实显示装置体验增强现实(AR)的人称为“用户”。
(实施例1)
图1A是表示实施例1所涉及的增强现实显示装置(AR显示装置)的外观的图。AR显示装置1包括摄像机2，测距传感器3，位置/方位传感器4，3D(3维)投影仪5，透射型屏幕6，带快门眼镜7，控制器8，扬声器9a、9b，支架10a、10b。
图1B是表示用户佩戴了AR显示装置的状态的图。用户100通过支架10a、10b，将作为HMD的AR显示装置1佩戴在自身的头部。
进行装置内的各部的说明。3D投影仪(显示部)5将3D的AR对象的影像，即用左眼视认的影像和用右眼视认的影像交替投影显示在透射型屏幕6。处于透射型屏幕6的前边的带快门眼镜7与3D投影仪5的左右影像的切换动作同步地使影像左右交替地透射。由此，用户100能够通过透射型屏幕6看见前方的风景和现实物体，并且能够将投影在3D投影仪5的3D的AR对象合成到透射型屏幕6上进行视认。将视认的合成的影像还称为“显示影像”。
摄像机2以拍摄用户100的头部前方(用户的视线方向)的方式佩戴。测距传感器3对至摄像机2的拍摄影像捕捉的现实物体的距离进行测量。其测量方式也可以为如TOF(Time of Flight：飞行时间)传感器那样2维地照射光线而从其飛行时间起测量距离的方式，和后述的实施例2那样，从2个摄像机的视差信息计算距离的方式。位置/方位传感器4检测AR显示装置1的位置和方位，即用户100的位置的移动和视线方向。
控制器8获取来自摄像机2的拍摄影像、来自测距传感器3的距离数据、来自位置/方位传感器4的位置/方位数据，供给给内部的存储器及CPU。此外，制作由3D投影仪5投影的影像和向扬声器9a、9b输出的声音。进一步生成带快门眼镜7的驱动信号，与由3D投影仪5投影的AR对象的左右影像同步地切换左右眼镜的透射，向用户100提供3D影像。
此外，控制器8包含与用户100的用户接口。在利用智能手机那样的器件实现控制器8的情况下，用户接口能够利用内置有触摸传感器的平面面板。
图2是表示AR显示装置1的内部结构的框图。对与图1A、图1B相同的部分标注相同的附图标记。控制器8的内部(以虚线表示)包括特征提取处理部81、距离计算处理部82、移动检测处理部83、通信部84、CPU85、RAM86、图像RAM87、程序闪存ROM(P-FROM)88、数据闪存ROM(D-FROM)89，以及用户操作输入部90。
特征提取处理部81对来自摄像机2的拍摄影像提取现实物体的轮廓(边缘)，进行以轮廓的拐点、顶点为特征点的处理。距离计算处理部82基于测距传感器3的测量数据，计算至特征点的距离。移动检测处理部83基于来自位置/方位传感器4的测量数据，求取AR显示装置1的位置与移动量、和摄像机2的拍摄方向，即，这成为用户100的位置和移动量、视线方向。
在程序闪存ROM88中，保存有各种处理程序。其中包含整体控制处理880、基准点和移动历史处理881、拍摄物体处理882、背景物体处理883、AR对象处理884、拍摄物体编组处理856、显示影像生成处理886。这些处理程序展开至RAM86由CPU85执行。此外，通信部84能够将AR显示装置1与外部网络连接，利用与外部网络相连的服务器等，承担AR显示装置1的处理的一部分。
进一步，在数据闪存ROM89保存在执行这些处理程序的过程和结果中产生的数据。即，基准点和移动历史数据891、拍摄物体数据892、背景物体数据893、AR对象数据894、拍摄物体编组数据895。在用户要再现AR显示进行体验的情况下，能够通过读出这些保存的数据进行再现。
另外，程序闪存ROM88与数据闪存ROM89既可以如图示那样由不同的存储介质构成，也可以由1个存储介质构成。进一步，也可以为2个以上的存储介质，还可以为闪存ROM以外的非易失性存储介质。
在显示影像生成处理886生成的影像数据(AR对象)保存于图像RAM87，从图像RAM87读出而由3D投影仪5进行投影。此外，在用户操作输入部90中，通过触摸传感器受理用户输入，通过由3D投影仪5显示的控制画面控制AR显示装置1。
在图3A～图3D中，利用具体的显示影像的例子说明在背景影像中配置AR对象为止的处理。
图3A表示由摄像机2拍摄到的影像的例子。即，用户通过透射型屏幕6视认的现实风景。摄像机2拍摄房间的内部，房间中作为现实物体，由左侧墙壁11、右侧墙壁12、正面墙壁13、地面14围成，有空调15，窗户16，桌子17，2把椅子18、19等。对于摄像机的拍摄影像，特征提取处理部81从所拍摄的影像中的物体的轮廓提取特征点。构成轮廓的特征点的集合送至CPU85，进行物体是什么的识别。此时，也可以通过经由通信部84与外部服务器的影像数据库进行对照，进行物体的识别。
另一方面，通过测距传感器3和距离计算处理部82，计算至房间内的各物体的距离，制作现实空间内的示意图。而且，对由特征提取处理部81提取的特征点组合由距离计算处理部82计算出的距离数据。进一步，通过位置/方位传感器4和移动检测处理部83，记录AR显示装置1是在哪个位置(坐标)朝向哪个方向的状态下拍摄到的。
被识别的现实物体通过拍摄物体处理882和背景物体处理883，分开登记到“拍摄物体”或“背景物体”。拍摄物体是具有特有的物体形状、位于距离数据位于相对较近的位置的物体，在本例中相当于空调15，窗户16，桌子17，椅子18、19。另一方面，背景物体是例如不具有平面以外的特有的物体形状、或距离数据包含最远点的物体，在本例中相当于左侧墙壁11，右侧墙壁12，正面墙壁13，地面14。即，背景物体是构成摄像机拍摄影像的背景的物体。
此外，对于拍摄物体和背景物体，判断其是位置固定不动的状态，还是移动而位置改变了的状态，并登记当前的位置。在本例中，空调15、窗户16、左侧墙壁11、右侧墙壁12、正面墙壁13、地面14是位置固定的物体。另一方面，桌子17、椅子18、19等是因布局(情况)改变等而位置发生变化的可动物体。对于可动物体，取得移动后的位置数据，依照移动后的位置配置AR对象。
图3B是将背景影像与AR对象合成得到的显示影像的例子。除房间内的现实物体11～19以外还追加有AR对象20～23，用户能够使用AR显示装置1视认这样的显示图像。
作为AR对象，窗帘对象20配置于窗户16。除此以外，时钟对象21配置于右侧墙壁12，花瓶对象22配置于桌子17，毛绒玩具对象23配置于椅子18。
这样的AR对象的配置通过基于用户的操作的AR对象处理884决定。将该操作、处理称为“关联操作”、“关联处理”。即，在关联处理中，以根据图3A的摄像机影像制作的现实空间的示意图为基础，考虑AR显示装置1的当前位置地决定配置各AR对象的坐标。此时，在AR对象的配置信息(关联信息)中，不仅指定与哪个物体相关联，而且指定配置在物体的哪个部分，因此对物体的特定的特征点赋予偏移距离地定位。
例如，指定将窗帘对象20粘贴在窗户16的哪个位置，将花瓶对象22放置在桌子17的哪个位置，等等。进一步，在将毛绒玩具对象23配置于椅子18时，使毛绒玩具对象23的姿态依照椅子18的方向配置。此外，还存在不仅与物体接触地进行配置，而且使物体悬浮在空间中地配置的情况。将这些关联的状况(关联信息)以数值参数来表达，与AR对象的位置信息一起存储在数据闪存ROM89。
作为本实施例的特征，放置在桌子17和椅子18那样的可动物体上的AR对象(花瓶对象22或毛绒玩具对象23)，在该可动物体移动了的情况下，彼此与该可动物体的位置关系不变地配置。在可动物体旋转了的情况下，以AR对象也旋转相同角度，相对于可动物体保持相同的姿态的方式配置。在因物体的移动而与AR对象的前后关系发生变化的情况下，在移动后的配置中，进行掩模以使得被遮挡的AR对象的部分不可见。通过这些显示控制处理，不给用户带来不协调感地进行显示。
接着，说明本实施例的特征性显示控制。
图3C表示在图3B的显示影像之后，作为可动物体的椅子18例如通过人手移动了的情况下的显示。在移动后的椅子18’，配置有作为AR对象的毛绒玩具对象23。此时，因为已检测椅子18’发生了移动，所以与其相关联的毛绒玩具对象23保持与椅子18’的位置关系不变地移动。此外，在椅子18’旋转了的情况下，毛绒玩具对象23也同样实施旋转的结果是，保持相对于椅子18’的姿态不变地配置。如果，椅子18移动至摄像机拍摄影像的范围外的情况下与其相关联的毛绒玩具对象23也会超出显示影像。
此外，在图3C，除去图3B中的2把椅子18、19中的1把。在除去椅子18，剩下的椅子为附图标记19的椅子的情况下，毛绒玩具对象23配置于剩下的椅子19。这基于后述的拍摄物体的编组化的效果。
图3D表示在图3C的显示影像之后，在现实空间追加配置了屏风25的情况下的显示。在该例中，屏风25配置在桌子17的前边，与作为AR对象的花瓶对象22接近、部分重叠地配置。在这种情况下的显示中，因为花瓶对象22应该处在桌子17上，所以与屏风25重叠的部分成为屏风25的阴影，用户不可见(以虚线表示)。因此，如以下那样进行处理。
屏风25被作为拍摄物体识别，对其特征点赋予距离数据。将屏风25的距离数据与正在显示的AR对象即花瓶对象22的距离数据进行比较。将花瓶对象22和与其接近的屏风25的距离进行比较的结果是，花瓶对象22相比屏风25处在里侧，花瓶对象22中被遮挡的部分不显示。
在图3D的情况下，进一步，作为AR对象的窗帘对象20也与屏风25重叠，将左下部分不显示。这样，显示的AR对象与拍摄物体在视线方向上重叠，并且AR对象相比拍摄物体配置在里侧时，将AR对象的被遮挡的部分不显示，由此，能够进行没有不协调感的显示。
图4是表示在自然的风景中配置有AR对象的显示影像的例子的图。在该例子中，摄像机拍摄了自然风景。风景内的物体(山、森林、丘陵等自然物)在测距传感器3中处在不可测量的距离，这样的物体作为“背景物体”处理。对背景物体赋予足够大(或无限远)的距离数据。
对风景那样的背景物体也能够配置AR对象。在该例子中，将2个房屋对象24a、24b与背景物体进行关联地显示。此时，对房屋对象24a、24b也赋予距离数据，相对于背景物体(山、森林等)配置成规定的位置关系，由此能够显示优美的风景。
图5A～图5C是说明用户的视线方向和背景物体的识别的方法的图。
在图5A中，在摄像机拍摄影像中有正面墙壁13和窗户16，屏风25配置在前边。正面墙壁13和屏风25是现实物体，分别作为背景物体和拍摄物体识别。设想相对于此、用户的视线方向从附图标记26a的方向向附图标记26b的方向移动后的情况。
图5B是表示用户的视线方向为附图标记26a的方向时，正面墙壁13的能够识别的区域的图。正面墙壁13因为其一部分被屏风25覆盖，所以能够作为背景物体识别的是区域13a，缺少左下的角落的区域13x。
图5C是表示用户的视线方向已经向附图标记26b的方向移动时，正面墙壁13的能够识别的区域的图。用户能够看见屏风25的后方的正面墙壁13的全部。其结果是，能够作为背景物体识别的区域成了矩形区域13b。这样，处于拍摄物体的背面的背景物体的区域(形状)依用户的视线方向(AR显示装置的方向)变化。
背景物体一旦作为宽的区域的背景物体被识别，则无关于之后的视线方向，作为具有宽的区域的背景物体处理。由此，能够使AR对象配置在视线方向26a时处在屏风25的后方而应该看不见的正面壁的部分13x。
图6是表示可移动的AR对象的显示例的图。无人机对象27与屏风25附近相关联，是可移动的AR对象。对无人机对象27赋予规定的运动轨迹规划，例如，在时刻T1位于成为起点的屏风25的左侧，按照移动速度和移动方向的参数移动，在成为时刻T2时位于屏风25的右侧。如果用户的视线方向28位于屏风25的右侧，则看起来无人机对象27穿过屏风25出现。通过这样使用可移动的AR对象，能够实现移动物体从障碍物突然出现的AR体验。
图7是表示与视线联动的AR对象的显示例的图。毛绒玩具对象23是3D影像，以将身体朝向坐在椅子上的方向的方式下关联。由此，能够在椅子18移动至椅子19的位置时使得用户的视线从附图标记29a向附图标记29b的方向变化，使毛绒玩具对象23的3D显示也旋转，进行与坐在椅子上的方向一致的显示。
接着，对AR显示装置1进行的各种处理流程进行说明。即，CPU85按照程序闪存ROM88中保存的以下的程序，执行处理。
图8是整体控制处理880的流程。即，表示从摄像机拍摄至显示AR对象为止的整个工序。
在S101开始摄像机拍摄。摄像机拍摄既可以在执行整个AR处理的时刻进行，例如也可以持续进行30帧/秒的活动影像拍摄，而捕捉在执行整个AR处理的时刻拍摄的影像。
S102是基准点和移动历史处理881，按每个时刻检测摄像机的位置和拍摄方向，即用户的头部的位置和视线方向，登记到基准点/移动历史数据891。
S103是拍摄物体处理882，进行捕捉到的摄像机拍摄影像的特征提取，选取特征点，对于特征点的集合，识别现实物体是什么，作为拍摄物体登记到拍摄物体数据892。
S104是背景物体处理883，包含赋予给特征点的距离数据成为最远点的特征点，将除拍摄物体以外的区域作为背景物体登记到背景物体数据893。
S105是AR对象处理884，选择配置在拍摄物体和背景物体的AR对象，此外，决定进行配置时的参数(显示参数)。在该处理中，包括由用户进行的选择操作。将所选择的AR对象的数据登记到AR对象数据894，显示参数作为关联数据，登记到拍摄物体数据892和背景物体数据893。
S106是拍摄物体编组处理885，将与共同的AR对象关联的多个相关拍摄物体编组化，登记到拍摄物体编组数据895。
S107是显示影像生成处理886，读出所登记的各种数据并加工生成AR对象的显示影像，写入图像RAM87，利用3D投影仪5投影至透射型屏幕6。此时，还生成带快门眼镜7的驱动信号。
在S108中进行是否继续的判断，在继续的情况下(Yes(是))返回S101，在不继续的情况下(No(否))结束。
以下，对各处理881～886进行详细说明。
图9是基准点和移动历史处理881的流程。该处理由位置/方位传感器4和移动检测处理部83执行。
在S111中，用户佩戴AR显示装置1，站在进行AR体验的现实空间的大致中心的位置，开始摄像机拍摄。开始点的位置与摄像机拍摄方向成对地作为现实空间中的基准点。
在S112中，利用位置/方位传感器4检测AR显示装置1的位置和摄像机2的拍摄方向，作为表示用户的位置和视线方向的数据而取得。
在S113中，确认是否在数据闪存ROM89内的基准点和移动历史数据891已经登记了基准点数据，即AR体验是否已经开始。在未登记时(No)，在S115作为基准点数据进行登记。在已经登记时(Yes)，在S114作为移动历史数据进行登记。移动历史数据以与基准点数据的差表示。
之后，每当用户在现实空间移动进行摄像机拍摄时，将一对当前的位置和摄像机拍摄方向作为移动历史，记录于基准点和移动历史数据891。
图10是拍摄物体处理882的流程。该处理由特征提取处理部81执行。
在S121中，从摄像机2读出拍摄影像。
在S122中，进行影像的特征解析，例如提取边缘，将边缘的顶点及拐点作为特征点进行提取。
在S123中，将由测距传感器3和距离计算处理部82取得的距离数据追加到特征点。
在S124中，评估与上次的特征点的差，在S125，从评估为差有意义的特征点的集合识别物体的类型等。此时，也可以通过经由通信部84与外部服务器的影像数据库进行对照，进行物体的识别。
在S126中，将识别的结果作为拍摄物体登记到拍摄物体数据892。此外，赋予表示由测距传感器3取得的拍摄物体的位置是否从上次的位置移动的“移动标志”。移动标志的值为“X”意味着基准点，为“0”意味着未移动，为“1”意味着有移动。
图11是背景物体处理883的流程。
在S131中，选择由特征提取处理部81提取的特征点中，具有最远距离的特征点。在图3A的例子中，相当于正面墙壁13的角落等。
在S132中，选定包含具有最远距离的特征点、未识别为拍摄物体的区域(作为区域A)。
在S133中，选定由特征提取处理部81提取的特征点中，不能进行距离检测(超过检测限界)的区域(作为区域B)。
在S134中，将上述的区域A和区域B看作构成现实空间的背景的要素，作为背景物体登记到背景物体数据893。
另外，在S132中拍摄物体包含具有最远距离的特征点的情况下，最远点在背景物体与拍摄物体共有。
图12A和图12B是AR对象处理884的流程。在图12A和图12B中，替换处理流程的一部分。该处理是用户以会话形式看着操作画面进行。
从图12A的情况进行说明。
在S141中，从拍摄物体或者背景物体，选择1个配置AR对象的物体。
在S142中，对所选择的物体，选择相关联的AR对象。AR对象的候选项既可以在AR显示装置1预先准备好，也可以经由通信部84参照外部的服务器中存储的数据。将所选择的AR对象登记到AR对象数据894。
S143设定显示AR对象时的显示参数。由此，赋予对于AR对象的物体的显示位置、大小、方向。即，通过对所选择的物体的一个特征点的位置赋予偏移，能够进行对于物体的定位。在所述区域B那样特征点不明确的背景物体，也可以选择区域的任意的点，使用所选择的点作为虚拟特征点。例如，能够通过以自墙壁的角落或柱子、屋顶起的坐标表示墙壁的平坦部的一点来进行定位。所设定的显示参数作为AR对象的关联数据，登记到拍摄物体数据892和背景物体数据893。
在S144中，判断配置AR对象的拍摄物体或背景物体还在，在还在的情况下(Yes)返回S141，在已不在的情况下(No)结束。
接着，对图12B的情况进行说明。在这种情况下，流程是：首先选定AR对象，对所选定的AR对象分配拍摄物体或背景物体。
在S145中，将使用的AR对象全部选定。因此，参照内置于AR显示装置1的、或外部的服务器。将所选定的AR对象登记到AR对象数据894。
在S146中，选择所选定的1个AR对象。
在S147中，选择关联所选择的AR对象的拍摄物体或背景物体。
在S148中，设定显示AR对象时的显示参数(显示上的位置、大小、方向)。所设定的显示参数作为AR对象的关联数据，登记到拍摄物体数据892和背景物体数据893。
在S149中，判断在S145选定的AR对象是否还在，在还在的情况下(Yes)返回S146，在已不在的情况下(No)结束。
比较图12A与图12B，在要关联的拍摄物体或背景物体的数量少于AR对象的选择项的数量的情况下图12A的流程效率更高。反之，在要关联的AR对象的数量少于拍摄物体或背景物体的选择项的数量的情况下，图12B的流程效率更高。用户能够根据此时的状况，选择图12A和图12B的任一个的流程。
另外，利用图15A～B说明AR对象处理884中的用户的操作画面的例子。
图13是拍摄物体编组处理885的流程。拍摄物体编组是指，将多个拍摄物体编组化，将共同的AR对象关联起来的处理。
在S151中，将同一形态的多个拍摄物体作为拍摄物体编组，登记到拍摄物体编组数据895。例如将图3A的2个椅子18、19编组化。此时，指定与各拍摄物体关联的优先度。
在S152中，将1个拍摄物体变形出来的多个状态作为拍摄物体编组进行登记。例如，图3A的窗户16能够有关闭的状态、打开的状态、放下窗帘的状态等变形，将它们编组化。
在S153中，对所登记的拍摄物体编组关联共同的AR对象，且设定显示参数。
通过该编组化处理，能够反映进行关联的用户的意图，灵活应对现实空间的状况地显示AR对象。
图14是显示影像生成处理886的流程。此处，读出登记于数据闪存ROM89的各种数据而生成AR对象的显示影像，利用3D投影仪5进行投影、显示。
在S161中，参照拍摄物体数据892、背景物体数据893和AR对象数据894，选择显示的AR对象。
在S162中，判断关联所选择的AR对象的拍摄物体在当前的拍摄空间是否存在。如果存在(Yes)则前进至S165，如果不存在(No)则前进至S163。
在S163中，参照拍摄物体编组数据895，判断关联的拍摄物体是否已编组化。如果已编组化(Yes)则前进至S164，如果未编组化(No)则前进至S172。
在S164中，将编组化了的其它拍摄物体作为关联的对象。此时，如果有多个候选项则按照优先度决定对象。例如，如图3C所示那样，将关联对象物体从椅子18换成椅子19。
在S165中，参照对象的拍摄物体的移动标志，判断是否为“1”(＝可移动)。如果移动标志为“1”则前进至(Yes)S166，如果为“1”以外(不可移动的“0”或基准点的“X”)则前进至S167。
在S166中，依照拍摄物体的当前的位置使AR对象移动而进行定位。另外，如果移动标志为“0”(不可移动)，则保持上次的位置不变。
在S167中，依照AR显示装置1的方向(用户的视线)使AR对象旋转。此外，根据至关联的拍摄物体(或背景物体)的距离，使AR对象放大/缩小。由此，能够进行图5A-C、图7那样的显示。
在S168中，评估AR对象和与其在视线方向上重叠的现实物体(拍摄物体)的距离关系。
在S169中，判断AR对象是否被现实物体遮挡，即，在AR对象的前边是否存在现实物体。在被遮挡的情况下(Yes)前进至S170，在未被遮挡的情况下(No)前进至S171。
在S170中，对AR对象的被遮挡的部分的影像进行掩模处理(例如将影像数据改写为0)。由此能够进行图3D那样的显示。
在S171中，利用3D投影仪5进行AR对象的投影、显示。
在S172中，在有未处理的AR对象的情况下(Yes)，返回S161，对下一个AR对象进行处理。
图15A和图15B是表示图12A(图12B)中说明的AR对象处理884中的用户操作的具体例的图。是将作为现实物体的椅子18作为拍摄物体进行识别，对该拍摄物体关联作为AR对象的毛绒玩具对象23的情况。另外，该处理用户以会话形式看着操作画面进行。
图15A是选择关联的AR对象的画面。在该关联操作中，首先将光标31放在椅子18上，进行点击。通过该操作，弹出菜单小窗口32a。从该菜单小窗口32a提示的列表中，点击“AR对象的选择”。点击的项目转换成黑底白字。对此的回应是出现AR对象的候选画面32b，用光标31选择所期望的AR对象。进一步，点击菜单下部的“配置位置设定”和“尺寸/姿态设定”的项目，设定所选择的AR对象的详细的显示参数。
图15B是进行暂时设定的AR对象23的显示参数的变更的情况。此处显示菜单小窗口32c。作为菜单列表，有显示/不显示的切换，显示尺寸的变更，显示旋转的变更，配置变更(偏移的变更)，能够对所期望的项目进行变更。
图16～图21是表示数据闪存ROM89中保存的各种数据表的例子的图。
图16是标头数据，在“所附内容(Accompanying Content)”记载有在AR显示装置1处理数据的一览表。此外，在数据表的前头，有表示这是关于AR体验的数据的“内容ID”。该“内容ID”是与后述的拍摄物体、背景物体、AR对象等数据表共同的ID。此外，含有“内容所有者”和“版权”等信息。
图17表示基准点和移动历史数据891。有共同的“内容ID”，在“内容种类”表示这是基准点和移动历史数据。作为数据，关于“基准点(PBase)”和“移动历史(MP1，MP2)”记述时刻(T0，T1，T2)、位置和方向。时刻是AR处理的摄像机拍摄时刻，按协调世界时(UTC＝Universal Time,Coordinated)记述。位置和方向以基准点(PBase)为起点，用差数据表示各个时刻的AR显示装置1的位置和拍摄方向。例如，时刻T1的移动历史(MP1)以差位置(r1，θ1，φ1)＝(距离，水平角度，垂直角度)、差分方向(θθ1，φφ1)＝(水平角度，垂直角度)表示。
此外，在本例中作为基准点的值，赋予位置＝(0，0，0)，方向＝(0，0)，不过也可以在位置上赋予GPS数据的值，在方向上赋予方位角的值。
图18A～图18C表示拍摄物体数据892。拍摄物体数据按每个拍摄位置进行区分地记述，图18A是基准位置(PBase)的数据，图18B是移动位置(MP1)的数据，图18C是移动位置(MP2)的数据。另外，图18A～C的数据分别对应图3B～D的情况。
在各拍摄位置识别的拍摄物体如“拍摄物体1”、“拍摄物体2”、……那样赋予号码，此外，记载有作为识别出的物体名称的“桌子”、“椅子1”，……。在各拍摄物体，记载所提取的“特征点1”、“特征点2”、……，和“关联AR对象”的数据。进一步，对各拍摄物体，赋予表示是否可移动的“移动标志”。在基准点移动标志＝“X”，在为不可移动的物体的情况下以“0”显示，在为可移动的物体的情况下以“1”显示。
各特征点的数据包含相对于AR显示装置1的拍摄位置的相对位置(距离和方向)。“关联AR对象”的数据与后述的AR对象数据894链接，关联以数据ID指定的AR对象(标题)。进一步，“关联位置”表示配置AR对象的特征点和偏移距离，“尺寸”和“旋转”是显示AR对象时的参数。
在本例中，拍摄位置在基准位置(PBase)(图18A)，记载有拍摄物体1～3，在拍摄物体1(桌子)关联关联AR对象1，在拍摄物体2(椅子1)关联AR对象2。进一步，拍摄位置在移动位置(MP2)(图18C)，新识别而追加拍摄物体4(屏风)。
相对于拍摄物体1、2的各特征点的、位置及方向的数值，在拍摄位置为基准位置(PBase)与移动位置(MP1，MP2)时稍有不同。这是因为，在拍摄物体1、2在现实空间中不移动的情况下也由于AR显示装置1的移动而成为不同的值。在这样的情况下，数值的差异作为伴随AR显示装置1的移动产生而被识别，实际的物体是否移动要基于AR显示装置1的移动进行判断。
另一方面，在图18B的移动位置(MP1)，拍摄物体2(椅子1)在现实空间发生移动，“移动标志”为表示这是可移动的物体的“1”。此外，在图18C的移动位置(MP2)，拍摄物体4(屏风)是新出现在现实空间中的物体，对其的“移动标志”为“1”。
此外，对登记于后述的拍摄物体编组的拍摄物体，赋予编组号。例如在图18A中，拍摄物体2(椅子1)和拍摄物体3(椅子2)被编组化，当作“编组1”。
图19表示背景物体数据893。背景物体数据按每个拍摄位置区分，分成基准位置(PBase)、移动位置(MP1，……)来记述。
背景物体数据如果是特征点，则记载为“特征点1”，“特征点2”，……，这些特征点有时不会用户指示的虚拟特征点。接着，与图18A～C的拍摄物体时一样地记载“关联AR对象”的数据。进一步，在背景物体数据具有与摄像机拍摄影像的坐标对应的位图数据，以能够掌握其位置和形状。
图20表示AR对象数据894。AR对象数据例如是从网络上的服务器下载的数据，按每个标题分配序列号。对各个AR对象数据赋予识别用的数据ID，由此与上述的拍摄物体数据及背景物体数据相关联。作为项目，有标题和版权的记载，保存有3D图像数据。使用该3D图像数据生成显示影像。
在AR对象数据中，有时包含固有的显示属性。例如，“AR对象7”为图6的无人机对象27的情况，记载了表示无人机的运动的“运动轨迹规划”。此外，还能够利用姿态轨迹规划规定关联的状态(与拍摄物体的距离，姿态的旋转角度)，限制用户的关联参数的设定。
图21表示拍摄物体编组数据895。拍摄物体编组数据如“编组1”、“编组2”那样分配序列号，在“结构物体”记载构成编组的拍摄物体。在该例子中，拍摄物体2和拍摄物体3编组化。接着，记载与各编组关联的“关联AR对象”。此外，对构成编组的多个拍摄物体赋予表示关联AR对象的优先顺位的“优先度”。
通过将多个拍摄物体编组化，根据状况进行显示AR对象时的拍摄物体的选择。例如，利用图3B说明将2个椅子18、19编组化的效果。在关联操作中，在椅子18关联毛绒玩具对象23。之后，如图3C所示那样，有时从房间除去2个椅子18、19中、关联的椅子18。如果将椅子18和椅子19编组化登记，则即使移除第1顺位的椅子18，也能够参照拍摄物体编组数据895，使毛绒玩具对象23配置在第2顺位的椅子19上。由此，能够反映关联了毛绒玩具的用户的意图，灵活地对应现实空间的状况地进行AR对象的显示。
如以上说明的那样，根据实施例1，能够提供包含可移动的物体在内、依照物体的当前的位置，恰当地显示AR对象的增强现实显示装置。此外，由于进行反映AR对象与现实物体的距离关系(即由用户看来的前后关系)的3D显示，所以能够进行有深度感的显示。进一步，通过将多个拍摄物体编组化，能够反映用户的意图，灵活地对应现实空间的状况地进行AR对象的显示。
(实施例2)
在实施例2中，对搭载3D摄像机进行拍摄和距离测量的增强现实显示装置进行说明。
图22是表示实施例2所涉及的增强现实显示装置(AR显示装置)的外观的图。
对于具有与所述实施例1(图1A)中所示的AR显示装置1同等功能的构成要素，标注相同的附图标记，省略重复的说明。在这种情况下也与所述实施例1的图1B一样，用户利用支架10a、10b将作为HMD的AR显示装置’佩戴在自身的头部。
AR显示装置1’包括3D(3维)摄像机33a、33b和平面显示器(显示部)34。3D摄像机33a、33b代替实施例1中的摄像机2和测距传感器3，不仅能够获得摄像机拍摄影像，而且还能够利用在33a得到的左眼视线的影像与在33b得到的右眼视线的影像的差，进行摄像机影像内的现实物体的距离的测量。
平面显示器34代替实施例1中的3D投影仪5和透射型屏幕6，利用控制器8将3D摄像机33a、33b的拍摄影像与AR对象的影像合成而显示。此时，交替地显示左眼视线的影像与右目视线的影像，与带快门眼镜7同步进行3D影像的显示。另外，在平面显示器34，也可以使用智能手机等通用设备。此时，能够利用内置于智能手机的控制装置执行控制器8的功能。
图23是表示AR显示装置1’的内部结构的框图。对于具有与实施例1(图2)中所示的功能块同等功能的部分，标注相同的号码，省略重复的说明。与实施例1不同的功能块是3D摄像机33a、33b，平面显示器34，特征提取处理部81’，距离计算处理部82’，合成处理部91。
特征提取处理部81’从3D摄像机33a、33b的影像提取特征点，从该特征点识别摄像机拍摄影像所映现的现实物体。距离计算处理部82’利用在3D摄像机33a、33b得到的左眼/右眼视线的影像的差，测量摄像机影像内的现实物体的距离。合成处理部90构成3D摄像机33a、33b的拍摄影像和AR对象的影像，平面显示器34显示所合成的影像。
在实施例2的AR显示装置1’，AR对象与从拍摄影像识别的现实物体(拍摄物体，背景物体)的关联和所关联的AR对象的各种各样的显示控制方法，也与实施例1同样地进行。
根据实施例2，具有与实施例1同样的效果，并且具有包括平面显示器在内实现智能手机那样的通用设备的有效利用的特征。
以上，对本发明的实施方式进行了说明，不过本发明并不限定于此，还能够将一个实施例的结构的一部分换成其它实施例的结构，或增加其它实施例的结构。
此外，本发明不仅对增强现实(AR)对象的显示，而且对显示由之发展成的复合现实(MR：Mixed Reality)对象的装置及其显示方法当然也能够同样适用。
附图标记的说明
1，1’：增强现实显示装置(AR显示装置)
2：摄像机
3：测距传感器
4：位置/方位传感器
5：3D投影仪(显示部)
6：透射型屏幕
7：带快门眼镜
8：控制器
9a，9b：扬声器
10a，10b：支架
20，21，22，23，24a，24b，27：AR对象
33a，33b：3D摄像机
34：平面显示器(显示部)
81，81’：特征检测处理部
82，82’：距离计算处理部
83：移动检测处理部
84：通信部
85：CPU
86：RAM
87：图像RAM
88：程序闪存ROM
89：数据闪存ROM
90：用户操作输入部
91：影像合成处理部
100：用户
880：整体控制处理
881：基准点和移动历史处理
882：拍摄物体处理
883：背景物体处理
884：AR对象处理
885：拍摄物体编组处理
886：显示影像生成处理。

Claims (10)

1.一种增强现实显示装置，其被用户佩戴在头部，与用户视认的背景影像重叠地显示增强现实对象(以下称为AR对象)的，所述增强现实显示装置的特征在于，包括：
拍摄所述背景影像的摄像机；
对至所述背景影像内的现实物体的距离进行测量的测距传感器；
检测所述摄像机的位置和拍摄方向的位置/方位传感器；
从由所述摄像机拍摄到的所述背景影像识别所述现实物体，对识别出的所述现实物体关联规定的所述AR对象的控制器；
显示所关联的所述AR对象的影像的显示部；和
存储所述关联的所述现实物体和所述AR对象的数据的存储器，
所述控制器从所述测距传感器的测量结果判断所述现实物体是否可移动，在关联了所述AR对象的所述现实物体的位置发生了移动的情况下，与所述现实物体的当前的位置相应地配置所述AR对象。
2.如权利要求1所述的增强现实显示装置，其特征在于：
所述控制器基于所述位置/方位传感器的测量结果求取该增强现实显示装置的移动历史，考虑该移动历史地对所述现实物体赋予表示是否可移动的移动标志。
3.如权利要求1所述的增强现实显示装置，其特征在于：
所述控制器，设定所述AR对象相对于所述现实物体的显示位置、大小、方向，作为配置于所述现实物体的所述AR对象的显示参数。
4.如权利要求1所述的增强现实显示装置，其特征在于：
所述控制器，在要显示的所述AR对象配置在比与其接近的所述现实物体靠里侧时，不显示所述AR对象的被遮挡的部分。
5.如权利要求1所述的增强现实显示装置，其特征在于：
所述控制器将多个所述现实物体编组化，关联共同的所述AR对象，存储在所述存储器中，
在所述编组化的现实物体有1个不存在于当前的所述背景影像内的情况下，将所述AR对象配置于所述编组化的其它现实物体。
6.如权利要求1所述的增强现实显示装置，其特征在于：
所述控制器在从所述背景影像识别所述现实物体时，将具有特有的物体形状的区域作为拍摄物体，将不具有平面以外的特有的物体形状而包含最远距离的区域，或者不能进行距离测量的区域作为背景物体，存储在所述存储器中。
7.如权利要求1所述的增强现实显示装置，其特征在于：
所述显示部由将所述AR对象的影像投影到透射型屏幕的3D投影仪构成，
用户能够在透过所述透射型屏幕视认所述背景影像的同时，视认所述透射型屏幕上的所述AR对象。
8.如权利要求1所述的增强现实显示装置，其特征在于：
所述摄像机和所述测距传感器是能够拍摄所述背景影像并且对至所述背景影像内的所述现实物体的距离进行测量的3D摄像机，
所述显示部是在所述3D摄像机拍摄到的所述背景影像上合成所述AR对象的影像地进行显示的平面显示器。
9.一种增强现实显示方法，与用户视认的背景影像重叠地显示增强现实对象(以下称为AR对象)，其特征在于，包括：
拍摄所述背景影像，从拍摄到的所述背景影像识别现实物体的步骤；
对至所述背景影像内的所述现实物体的距离进行测量的步骤；
检测所述背景影像的拍摄位置和拍摄方向的步骤；
对识别出的所述现实物体关联规定的所述AR对象的步骤；
通过检测所述现实物体发生了移动的情况，识别该物体是可移动的物体的步骤；和
显示所关联的所述AR对象的影像的步骤，
在显示所述AR对象的影像的步骤中，在关联了所述AR对象的所述现实物体的位置发生了移动的情况下，与所述现实物体的当前的位置相应地配置所述AR对象。
10.如权利要求9所述的增强现实显示方法，其特征在于：
在对所述现实物体关联所述AR对象的步骤中，有先选择所述现实物体然后选择与其关联的所述AR对象的第1顺序、和先选择所述AR对象然后选择与其关联的所述现实物体的第2顺序，
所述第1顺序和所述第2顺序能够由用户选择。
CN201880099967.6A 2018-12-03 2018-12-03 增强现实显示装置和增强现实显示方法 Pending CN113168732A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/044358 WO2020115784A1 (ja) 2018-12-03 2018-12-03 拡張現実表示装置及び拡張現実表示方法

Publications (1)

Publication Number Publication Date
CN113168732A true CN113168732A (zh) 2021-07-23

Family

ID=70973453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880099967.6A Pending CN113168732A (zh) 2018-12-03 2018-12-03 增强现实显示装置和增强现实显示方法

Country Status (4)

Country Link
US (3) US11508134B2 (zh)
JP (2) JP7244541B2 (zh)
CN (1) CN113168732A (zh)
WO (1) WO2020115784A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115047976A (zh) * 2022-06-24 2022-09-13 阿依瓦（北京）技术有限公司 基于用户交互的多层次ar展示方法、装置和电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10984599B1 (en) * 2018-12-17 2021-04-20 Chi Fai Ho Augmented reality system with display of object with real world dimensions
CN112672057B (zh) * 2020-12-25 2022-07-15 维沃移动通信有限公司 拍摄方法及装置
JP2022129747A (ja) * 2021-02-25 2022-09-06 キヤノン株式会社 電子装置およびその制御方法
JPWO2022239206A1 (zh) * 2021-05-13 2022-11-17
JP7354186B2 (ja) * 2021-06-18 2023-10-02 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP7354185B2 (ja) * 2021-06-18 2023-10-02 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
JPWO2023037626A1 (zh) * 2021-09-10 2023-03-16
CN118215931A (zh) * 2021-11-09 2024-06-18 三星电子株式会社 用于在电子装置和可穿戴电子装置之间提供与增强现实服务相关的内容的方法和装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167353A (en) * 1996-07-03 2000-12-26 Interval Research Corporation Computer method and apparatus for interacting with a physical system
JP3834615B2 (ja) * 2001-11-02 2006-10-18 独立行政法人産業技術総合研究所 画像表示方法及びシステム
JP4683639B2 (ja) 2006-01-13 2011-05-18 キヤノン株式会社 画像処理方法、画像処理装置
JP4789745B2 (ja) 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
CN101636745A (zh) * 2006-12-29 2010-01-27 格斯图尔泰克股份有限公司 使用增强型交互系统操纵虚拟对象
DE102007033486B4 (de) * 2007-07-18 2010-06-17 Metaio Gmbh Verfahren und System zur Vermischung eines virtuellen Datenmodells mit einem von einer Kamera oder einer Darstellungsvorrichtung generierten Abbild
US8189864B2 (en) * 2007-08-29 2012-05-29 Casio Computer Co., Ltd. Composite image generating apparatus, composite image generating method, and storage medium
DE102007045835B4 (de) * 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
CN101562682A (zh) * 2008-04-14 2009-10-21 鸿富锦精密工业（深圳）有限公司 视频图像处理系统及其服务器、用户端和视频图像处理方法
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
JP5799521B2 (ja) 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
US20150040074A1 (en) * 2011-08-18 2015-02-05 Layar B.V. Methods and systems for enabling creation of augmented reality content
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US20130278633A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
JP6111659B2 (ja) 2012-12-28 2017-04-12 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
KR20230173231A (ko) * 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
JP6618681B2 (ja) 2013-12-25 2019-12-11 キヤノンマーケティングジャパン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、情報処理システム
US10002208B2 (en) * 2014-05-13 2018-06-19 Atheer, Inc. Method for interactive catalog for 3D objects within the 2D environment
US10587834B2 (en) * 2016-03-07 2020-03-10 Disney Enterprises, Inc. Systems and methods for tracking objects for augmented reality
US10037465B2 (en) * 2016-03-18 2018-07-31 Disney Enterprises, Inc. Systems and methods for generating augmented reality environments
US11327475B2 (en) * 2016-05-09 2022-05-10 Strong Force Iot Portfolio 2016, Llc Methods and systems for intelligent collection and analysis of vehicle data
US10191541B2 (en) * 2016-06-30 2019-01-29 Sony Interactive Entertainment Inc. Augmenting virtual reality content with real world content
US10573018B2 (en) * 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
JP2018077644A (ja) * 2016-11-08 2018-05-17 富士ゼロックス株式会社 情報処理システム及びプログラム
JP6541701B2 (ja) 2017-03-03 2019-07-10 Kddi株式会社 端末装置およびその制御方法、並びにプログラム
EP3422147A1 (en) * 2017-06-28 2019-01-02 Koninklijke Philips N.V. Display apparatus for computer-mediated reality
KR20200100046A (ko) * 2017-12-28 2020-08-25 소니 주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
KR20190093979A (ko) * 2018-02-02 2019-08-12 주식회사 팬스컴스 실제물체와 연동된 가상물체의 운동디스플레이방법
WO2020039933A1 (ja) * 2018-08-24 2020-02-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11450044B2 (en) * 2019-03-20 2022-09-20 Kt Corporation Creating and displaying multi-layered augemented reality
US11836977B2 (en) * 2019-12-05 2023-12-05 W.W. Grainger, Inc. System and method for hybrid visual searches and augmented reality

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115047976A (zh) * 2022-06-24 2022-09-13 阿依瓦（北京）技术有限公司 基于用户交互的多层次ar展示方法、装置和电子设备

Also Published As

Publication number Publication date
JP7523615B2 (ja) 2024-07-26
US20240312159A1 (en) 2024-09-19
US20230045016A1 (en) 2023-02-09
US12033286B2 (en) 2024-07-09
JPWO2020115784A1 (ja) 2021-10-14
US11508134B2 (en) 2022-11-22
US20220044482A1 (en) 2022-02-10
JP2023078241A (ja) 2023-06-06
JP7244541B2 (ja) 2023-03-22
WO2020115784A1 (ja) 2020-06-11

Similar Documents

Publication Publication Date Title
JP7523615B2 (ja) 拡張現実表示装置及び拡張現実表示方法
EP3798801A1 (en) Image processing method and apparatus, storage medium, and computer device
US10223834B2 (en) System and method for immersive and interactive multimedia generation
CN114327043B (zh) 信息处理装置、信息处理方法和记录介质
US20200402248A1 (en) Volumetric depth video recording and playback
US10198865B2 (en) HMD calibration with direct geometric modeling
US20190371072A1 (en) Static occluder
US20060050070A1 (en) Information processing apparatus and method for presenting image combined with virtual image
WO2015182227A1 (ja) 情報処理装置および情報処理方法
JP2018113616A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7234264B2 (ja) 複合現実表示装置および複合現実表示方法
CN102959616A (zh) 自然交互的交互真实性增强
JP2024100835A (ja) 拡張現実マップキュレーション
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
JP7499819B2 (ja) ヘッドマウントディスプレイ
CN110050295B (zh) 用于增强和虚拟现实系统的减性绘制
CN111340933A (zh) 图像处理装置、图像处理系统、图像处理方法和存储介质
US20140092133A1 (en) Computer-readable medium, image processing device, image processing system, and image processing method
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
WO2018173206A1 (ja) 情報処理装置
JP2017033312A (ja) 映像構築装置、擬似視覚体験システム、および映像構築プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Kyoto Japan

Applicant after: MAXELL, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL HOLDINGS, Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20220301

Address after: Kyoto Japan

Applicant after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL, Ltd.

TA01 Transfer of patent application right