CN110383343B - 不一致检测系统、混合现实系统、程序和不一致检测方法 - Google Patents

不一致检测系统、混合现实系统、程序和不一致检测方法 Download PDF

Info

Publication number
CN110383343B
CN110383343B CN201780087085.3A CN201780087085A CN110383343B CN 110383343 B CN110383343 B CN 110383343B CN 201780087085 A CN201780087085 A CN 201780087085A CN 110383343 B CN110383343 B CN 110383343B
Authority
CN
China
Prior art keywords
point cloud
cloud data
virtual object
real space
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780087085.3A
Other languages
English (en)
Other versions
CN110383343A (zh
Inventor
仓林修一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cygames Inc
Original Assignee
Cygames Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cygames Inc filed Critical Cygames Inc
Publication of CN110383343A publication Critical patent/CN110383343A/zh
Application granted granted Critical
Publication of CN110383343B publication Critical patent/CN110383343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供能够检测混合现实系统中的几何不一致的系统。本发明是混合现实系统中的不一致检测系统，混合现实系统包括具有透射式显示单元和用于拍摄真实空间的拍摄单元的便携式显示装置，并且在预定真实空间内将虚拟物体绘制在显示单元上使得用户从视觉上识别虚拟物体，其中混合现实系统包括用于存储三维空间数据的部分、用于确定用户环境的部分和用于基于用户环境来将虚拟物体绘制在显示单元上的部分，并且不一致检测系统根据通过将虚拟物体以叠加方式显示在肉眼视野图像上所获得的合成图像来生成第一点云数据，通过使用所确定的用户环境中的三维空间的点云数据和虚拟物体的点云数据来生成第二点云数据，并且基于第一点云数据和第二点云数据之间的比较结果来检测不一致。

Description

不一致检测系统、混合现实系统、程序和不一致检测方法
技术领域
本发明涉及不一致检测系统等。特别地，本发明涉及使得存在于预定真实空间内的用户能够体验混合现实感的混合现实系统中的不一致检测系统等。
背景技术
近来，被称为MR的混合现实的技术是用于将现实世界与虚拟世界实时无缝融合的已知技术。MR技术使得体验MR的用户可以感知成如同那里存在虚拟物体一样，并且在各领域中正受到关注。用户穿戴光学透视HMD(头戴式显示器)或视频透视HMD，这使得用户能够观看在HMD上以叠加方式显示的混合现实图像，由此体验混合现实感。
作为用于将现实世界识别为3D空间的技术，存在两个已知方法：即，安装用户视点的高精度照相机的方法、以及以围绕观察空间的方式安装照相机的方法。
作为安装用户视点的高精度照相机的方法，存在使用红外投影器和红外照相机的方法。例如，作为安装用户视点的高精度照相机的方法，存在照射红外线并且根据红外线的反射图案中的变形来测量物体的深度的方法。此外，在被称为飞行时间(TOF)的方法中，存在照射诸如红外线等的不可见光并且测量其反射以计算到对象物体的往返距离的方法。这些方法的问题在于，可以三维地处理的空间范围限制于红外线的到达范围，并且在太阳效果下无法使用。
此外，作为以极高精度拍摄三维信息的方法，存在采用3D激光扫描器的方法。利用这种方法，虽然可以实现高测量精度，但是为了进行360度测量，最少耗费10分钟，并且对于标准图像质量耗费大约30分钟。这抑制了在实时应用中采用该方法。此外，3D激光扫描器非常昂贵，每一个花费几百万到几千万日元，这使得它们不适合在大范围内进行大规模部署。由于这些特性，3D激光扫描器正在诸如土木工程中的测量和工厂中的布局确认等的为了高精度3D建模而承受足够长时间的应用中使用。例如，在根据专利文献1实现的技术中，向通过利用3D图像扫描器的扫描而创建的点云数据赋予由照相机拍摄的图像的颜色，这使得可以将现实世界识别为3D空间。
作为以围绕观察空间的方式安装照相机的方法，存在如下方法：通过使用非专利文献1中描述的被称为运动恢复结构(Structure-from-Motion,SfM)的技术从分别拍摄的图像恢复原始三维信息。采用这种方法的众所周知的产品是Microsoft Photosynth(注册商标)。尽管SfM实现的精度与MR技术所需的精度相比相对较低，但是SfM是一种可以廉价地构建3D模型的方法。然而，SfM仅具有低的实时属性，并且无法直接应用于MR环境的实现。
如上所述，利用这些方法，无法同时实现实时特性和高精度测量。
现有技术文献
专利文献
专利文献1：日本特开2013-69235
非专利文献
非专利文献1：Sameer Agarwal,Yasutaka Furukawa,Noah Snavely,Ian Simon,Brian Curless,Steven M.Seitz,and Richard Szeliski.2011.Building Rome in aday.Commun.ACM 54,10(October 2011),105-112.DOI＝http://dx.doi.org/10.1145/2001269.2001293
发明内容
发明要解决的问题
如上所述，尚未建立用于实时且高精度地识别现实世界中的结构或环境并将结果反映在虚拟空间中的任何方法。鉴于该情形，在日本专利申请2016-121928中，申请人提出了能够在混合现实环境中实时识别真实空间环境的混合现实系统。
混合现实系统生成结构和颜色以极高精度与真实空间的结构和颜色一致的高精度三维虚拟空间，由此实现了利用现实世界中的光的状态的全局照明，并且还实现了用户的高精度位置追踪。
这里，混合现实系统的主要目的之一是向用户提供无缝的混合现实空间，其中在该混合现实空间中，虚拟空间中的物体(虚拟物体)有效地与真实空间中的诸如地面或建筑物等的物体(真实物体)准确地接触。
为了实现这样的混合现实系统，需要根据HMD的当前位置和移动来实时维持几何一致性，以正确地叠加虚拟物体和真实物体。特别地，在将站立在地面上并触摸物体的人或动物显示为虚拟角色(虚拟物体)的情况下，为了向虚拟物体赋予真实性，边界处理(对准处理)的完整性、即几何一致性极为重要。
然而，利用光学透视HMD系统，不能将真实物体作为要叠加虚拟物体的图像进行视频(图像)处理，而是仅允许简单的光学叠加。因而，极难确保对准处理的完整性。对准处理的完整性(几何一致性)取决于用户的位置追踪的精度。另一方面，虚拟物体和真实物体之间的几何不一致是由于诸如位置追踪误差的累积等的原因而发生的。然而，已存在如下的问题：单独利用为了混合现实系统中的位置追踪的目的所使用的定位技术，不能进行会导致几何不一致的、数厘米单位的识别误差的自检测(自诊断)。
本发明是为了解决该问题而作出的，并且其主要目的是提供一种不一致检测系统，该不一致检测系统使得可以在使用光学透视HMD的混合现实系统中，在虚拟空间中的物体和真实空间中的物体之间发生几何不一致时检测到不一致。
用于解决问题的方案
为了实现上述目的，根据本发明的方面的不一致检测系统是一种混合现实系统中的不一致检测系统，所述混合现实系统包括便携式的显示装置，所述显示装置具有用于向用户显示虚拟物体的透射式的显示单元并且还具有用于拍摄真实空间的拍摄单元，所述混合现实系统用于在预定真实空间中将所述虚拟物体绘制在所述显示单元上，由此用户通过所述显示单元将所述虚拟物体从视觉上识别为叠加在所述真实空间上，其特征在于，所述混合现实系统还包括：三维空间数据存储部，其被配置为存储三维空间数据，所述三维空间数据包括预先获取到的位于所述预定真实空间内的真实物体的点云数据，所述点云数据各自具有三维位置信息；用户环境确定部，其被配置为基于所述三维空间数据和从所述显示装置中包括的传感器所获得的数据来确定用户环境，所述用户环境包括所述显示装置的位置并且还包括用户通过所述显示单元从视觉上识别的视野区域；以及绘制部，其被配置为基于所述用户环境来将所述虚拟物体绘制在所述显示单元上，以及所述不一致检测系统包括：第一点云数据生成部，其被配置为根据合成图像来生成作为所述真实物体和所述虚拟物体的点云数据的第一点云数据，所述合成图像是通过将所述绘制部所绘制的虚拟物体以叠加方式显示在用户通过所述显示单元从视觉上识别的真实空间图像上而获得的，该真实空间图像是根据所拍摄到的真实空间图像而生成的；第二点云数据生成部，其被配置为通过使用所述三维空间数据存储部所存储的由所述用户环境确定部确定的所述视野区域中的点云数据、以及所述绘制部所绘制的虚拟物体的点云数据，来生成第二点云数据；以及不一致检测部，其被配置为基于所述第一点云数据和所述第二点云数据之间的比较结果来检测不一致。
此外，优选地，在本发明中，所述拍摄单元获取真实空间作为立体图像，以及所述第一点云数据生成部根据如下的各个合成图像来生成所述第一点云数据，该各个合成图像是通过将所述绘制部所绘制的虚拟物体以叠加方式分别显示在用户通过所述显示单元从视觉上识别的各个真实空间图像上而获得的，该各个真实空间图像是根据作为所述立体图像所获取到的两个真实空间图像而分别生成的。
此外，优选地，在本发明中，所述第一点云数据生成部通过基于所述显示单元和所述拍摄单元之间的位置关系对所拍摄到的真实空间图像进行投影变换，来生成用户通过所述显示单元从视觉上识别的真实空间图像。
此外，优选地，在本发明中，在所述第一点云数据和所述第二点云数据之间的差超过预定量的情况下，所述不一致检测部检测到不一致。
可选地，优选地，在本发明中，在包括基于所述用户环境所绘制的虚拟物体的预定三维空间区域中、所述第一点云数据和所述第二点云数据之间的差超过预定量的情况下，所述不一致检测部检测到不一致。
此外，为了实现上述目的，根据本发明的方面的混合现实系统是一种混合现实系统，包括服务器和便携式的显示装置，所述显示装置具有用于向用户显示虚拟物体的透射式的显示单元并且还具有用于拍摄真实空间的拍摄单元，所述混合现实系统用于在预定真实空间中将所述虚拟物体绘制在所述显示单元上，由此用户通过所述显示单元将所述虚拟物体从视觉上识别为叠加在所述真实空间上，其特征在于，在所述服务器或所述显示装置中包括以下各部分：三维空间数据存储部，其被配置为存储三维空间数据，所述三维空间数据包括预先获取到的位于所述预定真实空间内的真实物体的点云数据，所述点云数据各自具有三维位置信息；用户环境确定部，其被配置为基于所述三维空间数据和从所述显示装置中包括的传感器获得的数据来确定用户环境，所述用户环境包括所述显示装置的位置并且还包括用户通过所述显示单元从视觉上识别的视野区域；以及绘制部，其被配置为基于所述用户环境来将所述虚拟物体绘制在所述显示单元上；第一点云数据生成部，其被配置为根据合成图像来生成作为所述真实物体和所述虚拟物体的点云数据的第一点云数据，所述合成图像是通过将所述绘制部所绘制的虚拟物体以叠加方式显示在用户通过所述显示单元从视觉上识别的真实空间图像上而获得的，该真实空间图像是根据所拍摄到的真实空间图像而生成的；第二点云数据生成部，其被配置为通过使用所述三维空间数据存储部所存储的由所述用户环境确定部确定的所述视野区域中的点云数据、以及所述绘制部所绘制的虚拟物体的点云数据，来生成第二点云数据；以及不一致检测部，其被配置为基于所述第一点云数据和所述第二点云数据之间的比较结果来检测不一致。
此外，为了实现上述目的，根据本发明的方面的程序是一种用于在混合现实系统中检测不一致的程序，所述混合现实系统包括便携式的显示装置，所述显示装置具有用于向用户显示虚拟物体的透射式的显示单元并且还具有用于拍摄真实空间的拍摄单元，所述混合现实系统用于在预定真实空间中将所述虚拟物体绘制在所述显示单元上，由此用户通过所述显示单元将所述虚拟物体从视觉上识别为叠加在所述真实空间上，其特征在于，所述混合现实系统还包括：三维空间数据存储部，其被配置为存储三维空间数据，所述三维空间数据包括预先获取到的位于所述预定真实空间内的真实物体的点云数据，所述点云数据各自具有三维位置信息；用户环境确定部，其被配置为基于所述三维空间数据和从所述显示装置中包括的传感器获得的数据来确定用户环境，所述用户环境包括所述显示装置的位置并且还包括用户通过所述显示单元从视觉上识别的视野区域；以及绘制部，其被配置为基于所述用户环境来将所述虚拟物体绘制在所述显示单元上，以及其中，所述程序使所述显示装置执行以下步骤：根据合成图像来生成作为所述真实物体和所述虚拟物体的点云数据的第一点云数据，所述合成图像是通过将所述绘制部所绘制的虚拟物体以叠加方式显示在用户通过所述显示单元从视觉上识别的真实空间图像上而获得的，该真实空间图像是根据所拍摄到的真实空间图像而生成的；通过使用所述三维空间数据存储部所存储的由所述用户环境确定部确定的所述视野区域中的点云数据、以及所述绘制部所绘制的虚拟物体的点云数据，来生成第二点云数据；以及基于所述第一点云数据和所述第二点云数据之间的比较结果来检测不一致。
此外，为了实现上述目的，根据本发明的方面的方法是一种混合现实系统中的不一致检测方法，所述混合现实系统包括便携式的显示装置，所述显示装置具有用于向用户显示虚拟物体的透射式的显示单元并且还具有用于拍摄真实空间的拍摄单元，所述混合现实系统用于在预定真实空间中将所述虚拟物体绘制在所述显示单元上，由此用户通过所述显示单元将所述虚拟物体从视觉上识别为叠加在所述真实空间上，其特征在于，所述混合现实系统还包括：三维空间数据存储部，其被配置为存储三维空间数据，所述三维空间数据包括预先获取到的位于所述预定真实空间内的真实物体的点云数据，所述点云数据各自具有三维位置信息；用户环境确定部，其被配置为基于所述三维空间数据和从所述显示装置中包括的传感器获得的数据来确定用户环境，所述用户环境包括所述显示装置的位置并且还包括用户通过所述显示单元从视觉上识别的视野区域；以及绘制部，其被配置为基于所述用户环境来将所述虚拟物体绘制在所述显示单元上，以及所述不一致检测方法包括以下步骤：根据合成图像来生成作为所述真实物体和所述虚拟物体的点云数据的第一点云数据，所述合成图像是通过将所述绘制部所绘制的虚拟物体以叠加方式显示在用户通过所述显示单元从视觉上识别的真实空间图像上而获得的，该真实空间图像是根据所拍摄到的真实空间图像而生成的；通过使用所述三维空间数据存储部所存储的由所述用户环境确定部确定的所述视野区域中的点云数据、以及所述绘制部所绘制的虚拟物体的点云数据，来生成第二点云数据；以及基于所述第一点云数据和所述第二点云数据之间的比较结果来检测不一致。
发明的效果
本发明使得可以在使用光学透视HMD的混合现实系统中，在虚拟空间中的物体和真实空间中的物体之间发生几何不一致时检测到不一致。
附图说明
图1是根据本发明实施例的MR系统的总体结构图。
图2是示出根据本发明实施例的位置追踪的概述的图。
图3是示出根据本发明实施例的MR系统中的虚拟世界的角色靠在现实世界的墙壁上的情形的图。
图4是示出根据本发明实施例的MR系统中的虚拟世界的角色靠在现实世界的墙壁上的情形的图。
图5是示出根据本发明实施例的服务器的硬件结构的框图。
图6是示出根据本发明实施例的显示装置的硬件结构的框图。
图7是示出根据本发明实施例的HMD的结构的示意图的示例。
图8是根据本发明实施例的真实空间的示意图。
图9是从上方观看的图8的真实空间的平面图。
图10示出由在图8的真实空间中获取到的点云数据表示的三维空间数据。
图11示出由根据图10的点云数据创建的体素表示的三维空间数据。
图12是根据本发明实施例的MR系统的功能框图。
图13是用于说明根据本发明实施例的第一点云数据和第二点云数据的生成的示意图。
图14是用于说明根据本发明实施例的第一点云数据和第二点云数据的生成的示意图。
图15是根据本发明实施例的不一致检测系统的功能框图。
图16是示出根据本发明实施例的用于检测MR系统中的不一致的信息处理的流程图。
图17是根据本发明实施例的真实空间的示意图。
具体实施方式
以下将参考附图来说明用于向用户提供虚拟空间和真实空间融合的混合现实空间的混合现实(MR)系统、以及该MR系统中的不一致检测系统。在所有附图中，除非另外明确说明，否则相同的附图标记表示相同或相应的部分。
根据本发明实施例的MR系统的技术特征之一是：在预定义的真实空间(预定真实空间)中实现MR系统；以及生成结构和颜色以极高精度与真实空间的结构和颜色一致的高精度三维虚拟空间。这使得可以实现用户的高精度位置追踪。
图2示出存在用户的现实世界21、由三维空间数据(DB)构建的虚拟世界22、以及MR系统中的通过匹配现实世界21和虚拟世界22而生成的混合现实世界(MR环境)23。在MR环境23中，通常，用户穿戴诸如HMD等的具有显示单元的装置。尽管HMD配备有各种传感器装置，但是传统上使用的传感器的测量精度不足以高精度地识别现实世界21的结构并且实现MR环境23使得将识别结果反映在虚拟世界22中。
因此，根据本实施例的MR系统进行高精度虚拟空间22与从传统上使用的各种传感器所获得的粗略位置信息之间的匹配，并且实时对用户的位置和用户面向的方向在现实世界21和虚拟世界22之间的偏差进行校正。传统上使用的各种传感器包括距离传感器、图像传感器、方向传感器、GPS传感器和蓝牙(Bluetooth，注册商标)信标。因此，实现了高精度地与现实链接的MR环境23，由此实现了用户的位置追踪。在上述MR环境23中，在使角色24站立在虚拟世界22中的台座26上的情况下，用户可以在没有不自然的感觉的情况下从视觉上识别出站立在现实世界21中的台座25上的角色24。注意，台座26不是在MR环境23中显示为虚拟物体的物体。
如前面所述，在根据本实施例的MR系统中，为了向虚拟物体赋予真实性，显示虚拟物体时的与真实物体(建筑物、工作台等)的几何一致性(碰撞关系、前后关系、遮挡等)极其重要。例如，图3和图4示出虚拟世界22中的角色24靠在现实世界21中的墙壁上的情形。在图3中，虚拟角色(虚拟物体)24的胳膊被过度埋在墙壁(真实物体)27中。在图4中，虚拟角色24的一部分被不必要地侵蚀。这些种类的显示大大损害了真实性，因而必须加以防止。然而，利用前面所述的位置追踪所使用的定位技术，不能对三维空间的识别误差进行自检测。
根据本发明实施例的不一致检测系统在例如图3和图4所示在虚拟物体和真实物体之间发生几何不一致时，检测到不一致。在以下对具体结构的说明中，为了便于说明，将首先说明包括不一致检测系统的MR系统。
图1是根据本发明实施例的MR系统10的整体结构图的示例。如图1所示，MR系统10包括服务器100、一个或多个显示装置200以及一个或多个图像获取装置300。服务器100、显示装置200和图像获取装置300连接到诸如因特网等的网络50，以能够彼此执行通信。图像获取装置300是为了在MR系统10中实时维持光学一致性、使得在不会引起不自然感的情况下显示真实物体和虚拟物体的阴影所需的装置。因而，根据本发明实施例的MR系统10无需包括图像获取装置300。
假设MR系统10是服务器-客户端系统，并且优选地，显示装置200和图像获取装置300仅与服务器100执行通信。然而，可选地，MR系统10可以被配置为诸如点对点(P to P)系统等的不包括服务器的系统。
MR系统10使得存在于预定真实空间中的用户能够体验混合现实感。该预定真实空间是预定义的室内或室外真实空间，并且在该空间中存在作为现实世界中的物体的真实物体。例如，该真实物体是在真实空间中是静止的诸如建筑物、工作台和墙壁等的结构。然而，真实物体可以包括移动项。
图5是示出根据本发明实施例的服务器100的硬件结构的框图。服务器100包括处理单元101、显示单元102、输入单元103、存储单元104和通信单元105。这些组件经由总线110彼此连接。然而，可选地，组件可以根据需要分别彼此连接。
处理单元101包括用于控制服务器100的各个组件的处理器(例如，CPU)，并且通过使用存储单元104作为工作区来执行各种处理。在服务器100绘制虚拟物体的情况下，处理单元101优选地包括与CPU分开执行绘制处理的GPU。
显示单元102向服务器用户显示信息。输入单元103接受来自用户的针对服务器100的输入；例如，输入单元103是触摸屏、触摸板、键盘或鼠标。
存储单元104包括硬盘、主存储器和缓冲存储器。硬盘存储程序。然而，可选地，代替硬盘，可以使用可以是可移除类型的、能够存储信息的任何类型的非易失性存储装置或非易失性存储器。存储单元104存储程序以及针对该程序的执行而可参考的各种数据。在处理单元101包括GPU的情况下，存储单元104可以包括视频存储器。
存储单元104可以存储用于各种数据库的数据(例如，表)和程序。通过处理单元101等的操作来实现各种数据库。例如，服务器100可以配备有数据库服务器的功能，可以包括数据库服务器，或者可以包括或可以配备有其它类型的服务器。在一个示例中，服务器100配备有与用于构建虚拟空间的三维空间数据有关的数据库，并且存储单元104存储该数据库所用的数据和程序。
通信单元105执行使用以太网(Ethernet，注册商标)线缆等的有线通信或者诸如移动通信或无线LAN通信等的无线通信，以连接到网络50。
服务器100的各种功能通过执行程序来实现；然而，可选地，可以通过配置电子电路等来实现一些功能。
在一个示例中，通过组合针对各个功能或各个区域所安装的多个服务器来配置服务器100。例如，可以将预定真实空间划分为多个区域，针对各区域安装一个服务器，并且安装集成了这些服务器的服务器。
在一个示例中，在服务器100绘制虚拟物体时，CPU将绘制命令写入主存储器，并且GPU参考绘制命令并将绘制数据写入视频存储器上的帧缓冲器中。然后，服务器100将从帧缓冲器读取的数据原样发送到显示装置200。
图6是示出根据本发明实施例的显示装置200的硬件结构的框图。显示装置200包括处理单元201、显示单元202、拍摄单元203、存储单元204、通信单元205和传感器206。这些组件经由总线210彼此连接。然而，可选地，组件可以根据需要分别彼此连接。
显示装置200可以由用户携带，并且优选地是可以穿戴在头上的头戴式图像显示装置(HMD)。在下文中，假设HMD 200用作本发明实施例中的显示装置200。
处理单元201包括用于控制HMD 200的各个组件的处理器(例如，CPU)，并且通过使用存储单元204作为工作区来执行各种处理。在一个示例中，HMD 200从服务器100接收绘制命令并执行绘制处理。在这种情况下，处理单元201包括与CPU分开地执行绘制处理的GPU。
存储单元204包括硬盘，主存储器和缓冲存储器。硬盘存储程序。然而，可选地，代替硬盘，可以使用可以是可移除类型的、能够存储信息的任何类型的非易失性存储装置或非易失性存储器。存储单元204存储程序以及针对该程序的执行可参考的各种数据。在处理单元201包括GPU的情况下，存储单元204可以包括视频存储器。此外，存储单元204可以存储用于各种数据库的数据和程序。在这种情况下，通过处理单元201等的操作来实现各种数据库。
显示单元202是能够向用户显示虚拟物体的透射式显示器。也就是说，在本发明的实施例中，HMD 200是光学透视HMD。HMD 200使得穿戴HMD 200的用户能够通过显示单元202从视觉上识别真实空间，并且在虚拟物体绘制在显示单元202上的情况下，HMD 200可以以虚拟物体叠加在真实空间上的方式使得用户能够通过显示单元202从视觉上识别虚拟物体。
在本发明的实施例中，在生成要绘制的虚拟物体时，MR系统10生成用户的右眼要从视觉上识别的右眼用图像和用户的左眼要从视觉上识别的左眼用图像。因此，显示单元202包括用于显示右眼用图像的右眼用透射式显示器和用于显示左眼用图像的左眼用透射式显示器。可选地，显示单元202可以包括具有包含右眼用图像显示区域和左眼用图像显示区域的显示区域的单个透射式显示器。
拍摄单元203包括用于拍摄真实空间的立体照相机，并且获取真实空间作为立体图像。拍摄单元203将所拍摄到的各个帧的图像(现实世界的图像)存储在存储单元204中。在一个示例中，拍摄单元203被配置为包括用于拍摄用户的右眼从视觉上识别的真实空间的右眼用照相机和用于拍摄用户的左眼从视觉上识别的真实空间的左眼用照相机。然而，可选地，拍摄单元203可以包括单镜头照相机，并且可被配置为通过使用已知方法来获取真实空间作为立体图像。
图7是示出根据HMD 200的示例的结构的示意图。如图7所示，HMD 200配备有显示单元202，该显示单元202包括用于显示右眼用图像的右眼用透射式显示器202a和用于显示左眼用图像的左眼用透射式显示器202b。此外，HMD 200配备有拍摄单元203，该拍摄单元203包括安装在右眼用透射式显示器202a的附近的右眼用照相机203a和安装在左眼用透射式显示器202b的附近的左眼用照相机203b。
右眼用透射式显示器202a是右眼所用的透射式显示器，并且能够显示MR系统10所生成的右眼用图像。利用透射式显示器，由于在未显示图像的区域中现实世界的图像被眼睛直接看见，因此作为结果，虚拟世界的图像(虚拟物体)和现实世界的图像(真实物体)光学地合成到一起。这同样适用于左眼用透射式显示器202b。
右眼用照相机203a是用于拍摄通过右眼用透射式显示器202a观看的现实世界的图像的照相机。如后面将说明的，在本发明的实施例中，MR系统10根据右眼用照相机203a所拍摄到的图像生成用户通过右眼用透射式显示器202a从视觉上识别的真实空间图像(肉眼视野图像)。因而，需要利用右眼用透射式显示器202a所显示的空间来校准右眼用照相机203a的诸如视角和视野范围等的内部参数。具体地，可以通过将根据内部参数计算出的投影矩阵应用到从右眼用照相机203a获得的图像来获得用户通过右眼用透射式显示器202a从视觉上识别出(观看到)的图像。这同样适用于左眼用照相机203b。
传感器206是为了利用定位技术所需的各种传感器。在一个示例中，传感器206包括加速度传感器、陀螺仪传感器、红外深度传感器和照相机。红外深度传感器是基于红外投影的深度传感器；然而，可以通过使用RGB-D照相机来实现相同的功能。照相机是不同于拍摄单元203中所包括的立体照相机的照相机(例如，单镜头照相机)；然而，可选地，拍摄单元203中所包括的立体照相机可被包括作为传感器206其中之一。此外，传感器206可以包括传统上使用的其它各种传感器，诸如GPS传感器、蓝牙(Bluetooth，注册商标)信标和Wifi等。在其它示例中，图像获取装置300可被包括作为传感器206其中之一。
通信单元205执行诸如移动通信或无线LAN通信等的无线通信以连接到网络50。在一个示例中，通信单元205从服务器100接收三维空间数据。在一个示例中，通信单元205经由网络50将由拍摄单元203拍摄的图像数据发送到服务器100。
图像获取装置300获取真实空间的视频(图像)，并且经由网络50将所获取到的图像数据发送到服务器100或显示装置200。此外，图像获取装置300作为固定设备安装在围绕预定真实空间的固定点处，以使得能够拍摄存在于预定真实空间中的用户从视觉上可识别的区域。在一个示例中，图像获取装置300是安装在固定点处的固定照相机。此外，在一个示例中，图像获取装置300每秒获取30个图像帧，并将图像帧发送到服务器100。
这里，作为根据本发明实施例的MR系统10向用户提供混合现实空间33的现实世界空间(预定真实空间)，假设如图8所示的作为由墙壁36包围的室内空间的真实空间31。图8是真实空间31的示意图，并且图9是从上方观看的真实空间31的平面图。在真实空间31中，存在现实世界中的光源34和作为现实世界中的真实物体的建筑物35。如图8所示，在真实空间31中，安装多个图像获取装置300，以使得可以拍摄存在于观察空间(即，真实空间31)中的用户从视觉上可识别的空间。然而，注意，在本发明的实施例中，无需安装图像获取装置300。
图10示出在真实空间31中获取到的点云数据的示例。在本发明的实施例中，例如通过使用高精度激光扫描器(未示出)预先获得表示真实空间31中的真实物体的三维形状的点云数据。在安装图像获取装置300的情况下，优选在将图像获取装置300安装在真实空间31内之后获取点云数据。
如图10所示，各点云数据具有三维坐标(x,y,z)，并且布置在与真实空间31相关联的虚拟空间32中。此外，各点云数据是包括颜色信息的彩色点云数据。根据拍摄时照相机的位置和姿势，将从与使用激光扫描器中所包括的照相机获取点云数据分开地拍摄的图像获得的颜色信息映射到点云的各个坐标(x,y,z)上，来创建彩色点云数据。
为了表示如上所述的与真实空间31相关联的虚拟空间32中的真实物体的三维形状的目的，可以使用点云数据作为基本单位(基本构成要素)。在本说明书中，该基本单位将被称为三维形状要素。
在本发明的实施例中，为了简化说明，通过使用已知方法来将所获取到的点云数据转换为所谓的体素的数据结构，其中该已知方法例如为OctoMap(“OctoMap:AnEfficient Probabilistic 3D Mapping Framework Based on Octrees”in AutonomousRobots,2013；A.Hornung,K.M.Wurm,M.Bennewitz,C.Stachniss,and W.Burgard(http://dx.doi.org/10.1007/s10514-012-9321-0)DOI:10.1007/s10514-012-9321-0.)。体素是与二维空间的像素相对应的三维空间的单位构成要素，并且是通过使用三维空间中的坐标来识别的具有一定大小的立方体。
在下文，假设在本发明的实施例中，使用体素作为表示与真实空间31相关联的虚拟空间32中的真实物体的三维形状的基本单位。也就是说，体素用作三维形状要素。图11示出根据图10的点云数据所创建的体素。MR系统10将点云数据和体素数据作为三维空间数据存储在存储单元104或204中。然而，可选地，可以使用网格(3D网格)作为三维形状要素。在这种情况下，MR系统10将点云数据和3D网格数据作为三维空间数据存储在存储单元104或204中。还可以使用点云数据本身作为三维形状要素。在这种情况下，MR系统将点云数据存储为三维空间数据。
在一个示例中，将真实空间划分为1cm3的体素体积以设置体素空间(由体素表示的三维空间)。除了位置信息x、y和z之外，各体素V还具有从图像获取装置300观看的一个或多个颜色信息c。
V：＝{x，y，z，c0，c1，c2，…，cr} (1)
颜色信息c以诸如RGB或HSV等的格式表示。在以HSV格式表示的情况下，颜色信息包括色相、色度和亮度。
此外，在本发明的实施例中，虚拟空间32被认为限制于与真实空间31相关联的区域(0≤X≤X1，0≤Y≤Y1，0≤Z≤Z1)。然而，可选地，可以针对更小的区域设置虚拟空间32并且将多个虚拟空间分别与真实空间31相关联，或者针对更大的区域设置虚拟空间32。在针对更小的区域设置虚拟空间32的情况下，图像获取装置300可以被分别安装在多个固定点处，其中在这些固定点处，可以拍摄用户在与各个虚拟空间32相关联的各真实空间31中从视觉上可识别的区域。
在一个示例中，在真实空间31是宽空间的情况下，优选地，针对多个区域分别设置虚拟空间32，并且还针对多个区域分别安装服务器100。例如，在服务器100的存储单元104存储体素数据的情况下，假设1体素＝(int16x,int16y,int16z,int32rgb)，则等式(1)中的各体素V具有10字节。例如，根据10mm3的体素的集合的形式的模型来考虑真实空间。在将诸如主题公园等的宽空间转换为高精度体素空间的情况下，假设主题公园的区域被划分为10m＝10,000mm的格子(grid)，由于各格子的体积为1,000m3，因此体素数量约为10亿。在空间减小到直至5米的高度的情况下，体素的数量约为5亿。也就是说，即使针对5亿体素按原样分配存储器，5千兆字节也足以用于存储，因此容易针对各格子分配服务器100以使得实现存储器化。
图12示出根据本发明实施例的MR系统10的功能框图。MR系统10包括存储部11、用户环境确定部12、绘制部13、第一点云数据生成部14、第二点云数据生成部15和不一致检测部16。
这些功能通过服务器100执行程序，通过HMD 200执行程序，或者通过服务器100执行程序并且HMD 200执行程序来实现。由于如上所述各种功能通过加载程序来实现，因此一部分的功能可以部分地在另一部分中实现。如上所述，MR系统10由具有图12所示的各种功能的服务器100和HMD 200中的至少一个来实现。
存储部11包括在服务器100和HMD 200这两者中，并且具有用于将程序、数据等存储在存储单元104或204中的功能。在一个示例中，服务器100中包括的存储部11在存储单元104中存储与布置在虚拟空间32中的虚拟物体的位置和移动有关的数据以及虚拟物体的三维数据。在一个示例中，包括在HMD 200中的存储部11临时存储从服务器100接收到的绘制命令，从而绘制虚拟物体。在另一示例中，存储部11进行相对于各种数据库的数据输入/输出。
服务器100中所包括的存储部包括被配置为将三维空间数据存储在存储单元104中的三维空间数据存储部。如前面所述，三维空间数据包括点云数据和体素数据。这里，点云数据表示与预先获取到的真实空间31相关联的虚拟空间32中的真实物体的三维形状，并且通过使用已知方法转换点云数据来获得体素数据。
注意，由于点云数据是彩色点云数据，因此所创建的体素是彩色体素。此外，各体素具有三维位置信息。例如，作为三维位置信息，各体素具有最接近虚拟空间32中所设置的三维坐标原点的立方体的顶点的三维坐标(x,y,z)。
在一个示例中，服务器100具有数据库服务器的功能，并且服务器100响应于与三维位置信息有关的查询而适当地输出所存储的三维空间数据。然而，可选地，包括在HMD200中的存储部11可以包括用于将三维空间数据存储在存储单元204中的三维空间数据存储部。
用户环境确定部12基于从传感器206获得的数据以及三维数据，来确定包括HMD200的位置和用户通过显示单元202从视觉上识别的视野区域(用户视野区域)的用户环境。用户环境确定部12实现了用户的高精度位置追踪。
优选地，用户环境确定部12利用定位技术。在一个示例中，用户环境确定部12通过执行(1)初始位置对准和(2)相对移动量的计算来确定HMD 200的位置以及用户视野区域。
作为(1)初始位置对准，用户环境确定部12通过使用从传感器206获得的数据和预先获取到的三维空间数据，将真实空间31和虚拟空间32彼此关联和比较。这样，确定了作为初始位置的HMD 200的位置以及用户视野区域。
在一个示例中，用户环境确定部12如下进行初始位置对准。用户环境确定部12利用照相机获取图像数据，利用深度传感器获取形状数据，并且确定用户视野区域中用户从视觉上可识别的真实物体的形状。另一方面，用户环境确定部12通过使用GPS传感器、蓝牙(Bluetooth，注册商标)信标、WiFi等来确定作为粗略用户环境的临时用户环境。在确定临时用户环境之后，用户环境确定部12从存储单元104或存储单元204获得用户从临时用户环境在预定范围的位置和方向内从视觉上可识别的诸如体素的位置信息和颜色信息等的三维空间数据。
用户环境确定部12通过将根据图像数据和形状数据确定的用户视野区域中的真实物体的形状与从基于临时用户环境获取到的体素的位置信息和颜色信息推导出的真实物体的形状进行比较和匹配，来确定HMD 200的位置以及用户视野区域。
作为(2)相对移动量的计算，用户环境确定部12通过使用从传感器206获得的数据，计算从如上所述确定的初始位置起的真实空间31中的相对移动量，由此确定HMD 200的位置以及用户视野区域。在一个示例中，用户环境确定部12通过使用从陀螺仪传感器、加速度传感器等获得的数据来计算沿着六个轴的相对移动量(例如，6DOF坐标)。此时，用户环境确定部12还可以使用从照相机获得的图像数据的变化量。此外，在一个示例中，用户环境确定部12通过利用SLAM技术来计算沿着六个轴的相对移动量。
如上所述，通过配置用户环境确定部12以在初始位置对准之后计算相对移动量，可以在减少系统整体的信息处理量的同时，高精度地确定用户环境。
绘制部13将与用户环境确定部12所确定的用户环境相对应的虚拟物体绘制在HMD200的显示单元202上。绘制部13生成和绘制用户的右眼要从视觉上识别的右眼用图像(虚拟物体)和用户的左眼要从视觉上识别的左眼用图像(虚拟物体)。
在一个示例中，服务器100的CPU将绘制命令写入主存储器并将绘制命令发送到HMD 200。HMD 200的GPU参考所接收到的绘制命令来将绘制数据写入视频存储器上的帧缓冲器等，以将从帧缓冲器读取的内容原样绘制在显示单元202上。在创建绘制命令时，绘制部13通过使用用户环境确定部12所确定的HMD 200的位置以及用户视野区域来确定要显示在显示单元202上的虚拟物体的位置和方向。
如上所述，绘制部13通过在服务器100和HMD 200之间分担工作来实现。然而，可选地，绘制部13可以通过在HMD 200中执行整个绘制处理来实现。可选地，绘制部13可以通过在服务器100中执行整个绘制处理、将图像数据发送到HMD 200并且利用HMD 200显示所接收到的图像数据来实现。
第一点云数据生成部14根据通过将绘制部13所绘制的虚拟物体以叠加方式显示在用户通过显示单元202从视觉上识别的真实空间图像上所获得的合成图像，来生成真实物体和虚拟物体的点云数据。在本说明书中，该点云数据将被称为第一点云数据。由于第一点云数据是从使用真实空间图像(在该真实空间图像中以叠加方式显示虚拟物体)的实际绘制的结果获得的，因此第一点云数据也可被称为实际点云。
这里，由于显示单元202和拍摄单元203通常不位于相同地方，因此拍摄单元203所拍摄到的真实空间图像不是用户通过显示单元202从视觉上识别的真实空间图像、即肉眼视野图像。第一点云数据生成部14通过将根据内部参数计算出的投影矩阵应用于拍摄单元203所拍摄到的真实空间图像，利用投影变换的方式来生成肉眼视野图像。内部参数是根据相关的拍摄单元203和显示单元202之间的位置关系计算出的诸如视角和视野范围等的照相机参数。
例如，在图7所示的HMD 200中，右眼用照相机203a是用于获取用户的右眼通过右眼用透射式显示器202a要从视觉上识别的真实空间图像的照相机。第一点云数据生成部14通过将根据内部参数计算出的投影矩阵应用于从右眼用照相机203a获得的图像，利用投影变换的方式生成用户的右眼通过右眼用透射式显示器202a要从视觉上识别的真实空间图像(右眼用肉眼视野图像)。内部参数是根据右眼用照相机203a和右眼用透射式显示器202a之间的位置关系计算出的诸如视角和视野范围等的照相机参数。左眼用透射式显示器202b和左眼用照相机203b以与右眼用透射式显示器202a和右眼用照相机203a同样的方式工作。
此外，用户通过显示单元202从视觉上识别的真实空间图像(肉眼视野图像)是拍摄单元203所拍摄到的立体图像。第一点云数据生成部14使用通过将绘制部13所绘制的虚拟物体以叠加方式显示在各个肉眼视野图像(各个肉眼视野图像是根据作为立体图像获取到的两个真实空间图像而分别生成的)上而获得的合成图像。第一点云数据生成部14通过使用通过如上所述的合成所生成的(右眼和左眼用的)两个肉眼视野图像，利用立体匹配的方式计算各个像素的深度，由此生成包括真实物体和虚拟物体的点云数据的第一点云数据。在立体匹配中，根据来自右眼用照相机和左眼用照相机的视频(图像)的视差信息来计算各个像素的深度，并且将这些深度转换为三维空间中的点云。在向点云的该转换时，也可以映射颜色信息。
第二点云数据生成部15通过使用三维空间数据存储部所存储的由用户环境确定部12确定的HMD 200的位置以及用户视野区域的点云数据、以及绘制部13所绘制的虚拟物体的点云数据，来生成点云数据。在本说明书中，该点云数据将被称为第二点云数据。由于第二点云数据是在使用通过使用激光扫描器预先获取到的点云数据和绘制部13所绘制的虚拟物体的点云数据的虚拟空间32中的理想点云数据，因此第二点云数据也可被称为理想点云。可以根据绘制了角色等的移动虚拟视频(图像)的视频(图像)来生成虚拟物体的点云数据。可选地，该结构可以使得用于绘制虚拟物体的点云数据被第二点云数据生成部15利用。
优选地，第二点云数据生成部15通过将绘制部13所绘制的虚拟物体的点云数据添加到由三维空间数据存储部预先获得和存储的点云数据来生成第二点云数据。
由于如上所述、在生成第二点云数据时使用的数据是虚拟物体叠加在虚拟空间32上的虚拟空间32中的数据，因此原则上，在第二点云数据中不会发生几何不一致。在这方面，第二点云数据不同于根据虚拟物体以叠加方式显示的真实空间31的图像所生成的第一点云数据。
图13和图14是用于说明根据本发明实施例的第一点云数据和第二点云数据的生成的示意图。图13和图14示出存在于混合现实空间33中的用户如何通过显示单元202从视觉上识别作为真实物体的墙壁36和被绘制为叠加在墙壁36的前方的虚拟物体37、以及在该状态下生成的第一点云数据和第二点云数据。
在图13中，用户从视觉上识别接触墙壁36的虚拟物体37。在这种情况下，在真实空间31中的墙壁36(真实物体)和虚拟物体37之间维持了几何一致性，并且如图13所示，所生成的第一点云数据和第二点云数据基本上相同。
在图14中，用户从视觉上识别部分埋在墙壁36中的虚拟物体37。在这种情况下，在真实空间31中的墙壁36(真实物体)和虚拟物体37之间无法维持几何一致性(存在不一致)，并且应当理解，如图14所示，在所生成的第一点云数据和第二点云数据之间存在差。
不一致检测部16基于上述的第一点云数据和第二点云数据之间的比较结果来检测不一致。
优选地，不一致检测部16在利用绘制部13绘制作为不一致检测的对象的虚拟物体之前，进行不一致检测。在这种情况下，同样，第一点云数据生成部14和第二点云数据生成部15在利用绘制部13绘制作为不一致检测的对象的虚拟物体之前，生成第一点云数据和第二点云数据。利用该结构，可以在将不具有几何一致性的虚拟物体绘制在显示单元202上之前、即在用户从视觉上识别这样的虚拟物体之前，进行不一致检测。这使得MR系统10例如能够在绘制不具有几何一致性的虚拟物体之前将校正信息发送至位置追踪。在一个示例中，可以通过取消用于绘制虚拟物体的处理或者通过移动绘制物体的位置来防止明显损害真实性的虚拟物体的显示。然而，可选地，上述部分可被配置成在利用绘制部13绘制作为不一致检测的对象的虚拟物体时或者在绘制之后的极短时间内执行。
在一个示例中，不一致检测部16在第一点云数据和第二点云数据之间的差超过预定量的情况下，检测到不一致。也就是说，不一致检测部16判断是否存在不一致，以基于如下的点数据的数量(点云数据差量)来检测不一致，其中对于这些点数据，在第一点云数据和第二点云数据中的相应位置处，在一者中存在点数据并且在另一者中不存在点数据。例如，通过删除在相应的三维位置处第一点云数据和第二点云数据相互冲突的点来计算点云数据差量。在这种情况下，通过使用从拍摄单元203获得的图像所生成的第一点云数据与在虚拟空间32中生成的第二点云数据相比通常是稀疏数据，并且有可能包括与第二点云数据相比少了数倍至十倍的量的点数据。因此，在这种情况下，优选地，通过将第一点云数据中的各点的大小增加到与第二点云数据中的各点的大小一样大的数倍至十倍的大小、然后删除在相应的三维位置处第一点云数据和第二点云数据相互冲突的点，来计算点云数据差量。
在一个示例中，不一致检测部16在包括绘制部13所绘制的虚拟物体37的特定三维空间区域中第一点云数据和第二点云数据之间的差超过预定量的情况下，检测到不一致。利用该结构，可以仅检测在用户从视觉上识别时将感到不自然的虚拟物体周围的不一致，同时排除对该虚拟物体周围的区域以外的不一致的检测。
以这种方式，通过比较从使用虚拟物体以叠加方式显示的真实空间31的图像的实际绘制的结果所获得的第一点云数据和在虚拟空间32中生成的第二点云数据，例如通过计算差，可以检测不一致。也就是说，可以检测“不存在应存在的点云”或者“存在不应存在的点云”的情形。
第一点云数据生成部14、第二点云数据生成部15和不一致检测部16优选应包括在HMD 200中。利用该结构，在MR系统10中的用于检测不一致的处理中，HMD 200无需经由网络50发送图像数据。这使得可以减少系统整体的信息处理量。
尽管以上已经说明了包含不一致检测系统的MR系统10，但根据本发明实施例的不一致检测系统1优选应是与MR系统10分开的系统。在这种情况下，不一致检测系统1包括服务器100以及一个或多个HMD 200，并且服务器100和HMD 200连接至诸如因特网等的网络50，以能够彼此进行通信。不一致检测系统1也可以通过使用与MR系统10的服务器(硬件)和网络不同的服务器(硬件)和网络来实现。在这种情况下，不一致检测系统1被配置成能够与MR系统10进行通信。
图15示出根据本发明实施例的不一致检测系统1的功能框图。不一致检测系统1包括第一点云数据生成部14、第二点云数据生成部15和不一致检测部16。第一点云数据生成部14、第二点云数据生成部15和不一致检测部16优选应包括在HMD 200中。在这种情况下，这些功能通过HMD 200执行程序来实现，并且HMD 200根据需要从服务器100获得信息。然而，可选地，这些功能可以通过服务器100执行程序来实现，或者可以通过服务器100执行程序以及HMD 200执行程序来实现。此外，由于如上所述各种功能都通过加载程序来实现，因此一部分的功能可以部分地在另一部分实现。
如前面所述，图16是示出根据本发明实施例的用于检测MR系统10中的不一致的信息处理的流程图。该信息处理通过服务器100执行程序、HMD 200执行程序或者服务器100执行程序以及HMD 200执行程序来实现。优选地，该信息处理通过HMD 200执行程序来实现，并且HMD 200根据需要从服务器100获得数据。假设用户穿戴HMD 200并存在于真实空间31(混合现实环境33)。此外，由于MR系统10必须不断掌握用户环境以向用户提供混合现实空间33，因此MR系统10定期地或根据需要确定用户环境。
首先，判断在所确定的用户环境中是否存在MR系统10要绘制的虚拟物体(步骤1601)。在不存在要绘制的虚拟物体的情况下，只要MR系统10继续向用户提供混合现实环境33(步骤1607)，处理就返回到步骤1601。利用如上所述在不存在要绘制的虚拟物体的情况下不进行不一致检测的该结构，可以减少电能消耗，同时还减少系统整体的信息处理量。然而，可以省略该步骤。
在存在要绘制的虚拟物体的情况下，判断HMD 200的物理移动量或者要绘制的虚拟物体的移动量是否大于或等于预定阈值(步骤1602)。如果HMD 200的移动量或者要绘制的虚拟物体的移动量大于或等于预定阈值，则关于真实物体所要绘制的虚拟物体的几何一致性极有可能将丢失，因而处理进入步骤1603。另一方面，在HMD 200的移动量或者要绘制的虚拟物体的移动量小于预定阈值的情况下，只要MR系统10继续向用户提供混合现实环境33(步骤1607)，处理就返回到步骤1601。利用如上所述在不太可能发生几何不一致的情况下不进行不一致检测的该结构，可以减少电能消耗，同时还减少系统整体的信息处理量。然而，可以省略该步骤。
然后，从HMD 200的拍摄单元203获得真实空间的立体图像，并且将投影矩阵应用到立体图像以虚拟地生成肉眼视野图像(步骤1603)。以这种方式，通过使用来自拍摄单元203的图像来机械地再现用户所要识别的视频(图像)。
然后，在步骤1604中，根据通过将要绘制的虚拟物体以叠加方式显示在所生成的肉眼视野图像上所获得的合成图像，生成作为真实物体和虚拟物体的点云数据的第一点云数据。在生成第一点云数据的同时，添加通过使用激光扫描器预先获取到的真实空间31的点云数据，以生成作为虚拟空间32的理想点云数据的第二点云数据。
在该信息处理中，优选地，第一点云数据和第二点云数据是基本同时生成的；然而，可以首先以串行方式进行处理，或者可以以并行方式同时进行处理。用于生成第二点云数据的处理可以在步骤1603的处理之前或者与该处理同时开始。
然后，提取第一点云数据和第二点云数据之间的差(步骤1605)。具体而言，通过删除在相应的三维位置处第一点云数据和第二点云数据彼此冲突的点，提取在一者中存在点数据并且在另一者中不存在点数据的点数据的数量。该差计算使得可以识别在用户的肉眼所看到的形状和MR系统10所预期的理想形状之间是否存在差。
然后，通过使用所提取的差来检测几何不一致(步骤1606)。利用所提取的差，检测不存在与理想点云相对应的实际点云的空间(即“不存在应存在的点云”的空间)和不存在与实际点云相对应的理想点云的空间(即“存在不应存在的点云”的情形)，其中这些空间被检测为几何不一致。在一个示例中，在所提取的差超过预定量的情况下，检测到不一致。在另一示例中，在包括要绘制的虚拟物体的预定三维空间区域中提取的差超过预定量的情况下，检测到不一致。
然后，只要MR系统10继续向用户提供混合现实环境33(步骤1607)，处理就返回到步骤1601。
接着，将说明根据本发明实施例的MR系统10和不一致检测系统1的操作和优点。首先，在本实施例中，预先获取表示真实空间31中的真实物体的三维形状的点云数据，并且MR系统10通过使用已知方法将所获取到的点云数据转换为称为体素的数据结构，并且将点云数据和体素数据作为三维空间数据存储在存储单元104或204中。MR系统10基于如上所述预先获取到和存储的三维空间数据以及从用户穿戴的HMD 200的传感器206获得的数据，将真实空间31和虚拟空间32相互关联。这使得可以实现对用户的高精度位置追踪。
在本实施例中，将根据合成图像(在该合成图像中，虚拟空间32中的虚拟物体的图像叠加在从HMD 200内包括的照相机获得的真实空间31的立体图像上)可以生成的点云数据与通过将虚拟空间32中的虚拟物体的点云数据添加至通过使用高精度激光扫描器而预先获取到的真实空间31的点云数据所获得的点云数据进行比较。通过该比较，检测在从穿戴HMD 200的用户的视点观看时、在真实空间31的图像和通过透射式显示器202以叠加方式显示的虚拟空间32的图像之间是否存在几何一致性。利用该结构，检测到用户实际看到的图像中的虚拟物体与现实世界之间的不一致关系，从而使得可以检测到以前不能进行自检测的MR系统10中的位置追踪误差。这使得可以在不会在画面上显示不一致图像的情况下将校正信息发送至位置追踪。由于按当前技术水平不能实现无误的位置追踪，因此使得可以从用户所要观看的图像中检测不一致并根据该结果来校正位置信息等的本发明的实施例具有很高的技术意义。
此外，在本实施例中，可以不是原样使用从照相机获得的图像、而是使用通过在存储器中合成所获得的图像来计算深度，并且验证利用MR系统10的绘制的结果。这使得可以在绘制虚拟物体之前或者在绘制之后的极短时间内检测利用MR系统10的“不一致绘制”、即MR系统10所执行的不存在几何一致性的绘制处理。
根据本发明的其它实施例的MR系统10向用户提供混合现实环境33的现实世界空间(预定真实空间)可以是如图17所示的作为室外空间的真实空间41。除省略了天花板和一对侧墙壁、并且包括太阳光的光源22设置在真实空间外而不是在真实空间内之外，真实空间41与真实空间31相同。在这种情况下，认为虚拟空间42局限于与真实空间41相关联的区域(0≤X≤X1，0≤Y≤Y1，0≤Z≤Z1)。
在本发明的其它实施例中，通过使用体素的位置信息与图像获取装置300所获取到的图像的各个像素的位置信息相关联的表，根据图像获取装置300所获取到的图像的像素的颜色信息来确定和更新体素的颜色信息。通过以这种方式使用该表，可以将图像获取装置300所获取到的颜色信息实时反映在各个体素中。这使得可以在高精度地再现真实空间的形状的混合现实环境中、高精度地实时识别真实空间31的颜色并将这些颜色反映在虚拟空间32中。
在这种情况下，可以使用实时反映的体素的颜色信息作为用户环境确定部12所使用的体素的颜色信息。
此外，在本发明的其它实施例中，使用如上所述反映真实空间31的颜色的各个体素作为要绘制的虚拟物体的虚拟间接照明(光源)。这使得实现利用真实空间31中的光的状态的全局照明，从而使得可以绘制颜色和阴影极其接近真实空间31的环境中的颜色和阴影的虚拟物体。
此外，在本发明的另一实施例中，在真实空间31中，可以利用真实空间31仿佛该真实空间31是虚拟空间32一样。例如，游戏开发者可以以与游戏引擎中的游戏空间(虚拟空间)相同的方式处理真实空间。
在上述处理或操作中，可以自由修改处理或操作，只要在处理或操作中不会产生矛盾(诸如特定步骤涉及使用在该步骤中不可用的数据的矛盾等)即可。此外，上述实施例是用于说明本发明的示例，并且本发明不限于这些实施例。本发明可以以不偏离本发明的精神的各种形式来实现。
附图标记列表
1 不一致检测系统
10 混合现实(MR)系统
11 存储部
12 用户环境获得部
13 绘制部
24 角色(虚拟物体)
25、26 台座
27 墙壁
21、31、41 现实世界(真实空间)
22、32、42 虚拟世界(虚拟空间)
23、33、43 混合现实世界(混合现实环境)
34 光源
35 建筑物
36 墙壁
37 虚拟物体
50 网络
100 服务器
101、201 处理单元
102、202 显示单元
103 输入单元
104、204 存储单元
105、205 通信单元
110、210 总线
200 显示装置
202a 右眼用透射式显示器
202b 左眼用透射式显示器
203 拍摄单元
203a 右眼用照相机
203b 左眼用照相机
206 传感器
300 图像获取装置

Claims (8)

1.一种混合现实系统中的不一致检测系统，所述混合现实系统包括便携式的显示装置，所述显示装置具有用于向用户显示虚拟物体的透射式的显示单元并且还具有用于拍摄真实空间的拍摄单元，所述混合现实系统用于在预定真实空间中将所述虚拟物体绘制在所述显示单元上，由此用户通过所述显示单元将所述虚拟物体从视觉上识别为叠加在所述真实空间上，
其中，所述混合现实系统还包括：
三维空间数据存储部，其被配置为存储三维空间数据，所述三维空间数据包括预先获取到的位于所述预定真实空间内的真实物体的点云数据，所述点云数据各自具有三维位置信息；
用户环境确定部，其被配置为基于所述三维空间数据和从所述显示装置中包括的传感器所获得的数据来确定用户环境，所述用户环境包括所述显示装置的位置并且还包括用户通过所述显示单元从视觉上识别的视野区域；以及
绘制部，其被配置为基于所述用户环境来将所述虚拟物体绘制在所述显示单元上，以及
所述不一致检测系统包括：
第一点云数据生成部，其被配置为根据合成图像来生成作为所述真实物体和所述虚拟物体的点云数据的第一点云数据，所述合成图像是通过将所述绘制部所绘制的虚拟物体以叠加方式显示在用户通过所述显示单元从视觉上识别的真实空间图像上而获得的，该真实空间图像是根据所拍摄到的真实空间图像而生成的；
第二点云数据生成部，其被配置为通过使用所述三维空间数据存储部所存储的由所述用户环境确定部确定的所述视野区域中的点云数据、以及所述绘制部所绘制的虚拟物体的点云数据，来生成第二点云数据；以及
不一致检测部，其被配置为基于所述第一点云数据和所述第二点云数据之间的比较结果来检测不一致。
2.根据权利要求1所述的不一致检测系统，其中，
所述拍摄单元获取真实空间作为立体图像，以及
所述第一点云数据生成部根据如下的各个合成图像来生成所述第一点云数据，该各个合成图像是通过将所述绘制部所绘制的虚拟物体以叠加方式分别显示在用户通过所述显示单元从视觉上识别的各个真实空间图像上而获得的，该各个真实空间图像是根据作为所述立体图像所获取到的两个真实空间图像而分别生成的。
3.根据权利要求1或2所述的不一致检测系统，其中，所述第一点云数据生成部通过基于所述显示单元和所述拍摄单元之间的位置关系对所拍摄到的真实空间图像进行投影变换，来生成用户通过所述显示单元从视觉上识别的真实空间图像。
4.根据权利要求1至3中任一项所述的不一致检测系统，其中，在所述第一点云数据和所述第二点云数据之间的差超过预定量的情况下，所述不一致检测部检测到不一致。
5.根据权利要求1至3中任一项所述的不一致检测系统，其中，在包括基于所述用户环境所绘制的虚拟物体的预定三维空间区域中、所述第一点云数据和所述第二点云数据之间的差超过预定量的情况下，所述不一致检测部检测到不一致。
6.一种混合现实系统，包括服务器和便携式的显示装置，所述显示装置具有用于向用户显示虚拟物体的透射式的显示单元并且还具有用于拍摄真实空间的拍摄单元，所述混合现实系统用于在预定真实空间中将所述虚拟物体绘制在所述显示单元上，由此用户通过所述显示单元将所述虚拟物体从视觉上识别为叠加在所述真实空间上，
其中，在所述服务器或所述显示装置中包括以下各部分：
三维空间数据存储部，其被配置为存储三维空间数据，所述三维空间数据包括预先获取到的位于所述预定真实空间内的真实物体的点云数据，所述点云数据各自具有三维位置信息；
用户环境确定部，其被配置为基于所述三维空间数据和从所述显示装置中包括的传感器获得的数据来确定用户环境，所述用户环境包括所述显示装置的位置并且还包括用户通过所述显示单元从视觉上识别的视野区域；以及
绘制部，其被配置为基于所述用户环境来将所述虚拟物体绘制在所述显示单元上；
第一点云数据生成部，其被配置为根据合成图像来生成作为所述真实物体和所述虚拟物体的点云数据的第一点云数据，所述合成图像是通过将所述绘制部所绘制的虚拟物体以叠加方式显示在用户通过所述显示单元从视觉上识别的真实空间图像上而获得的，该真实空间图像是根据所拍摄到的真实空间图像而生成的；
第二点云数据生成部，其被配置为通过使用所述三维空间数据存储部所存储的由所述用户环境确定部确定的所述视野区域中的点云数据、以及所述绘制部所绘制的虚拟物体的点云数据，来生成第二点云数据；以及
不一致检测部，其被配置为基于所述第一点云数据和所述第二点云数据之间的比较结果来检测不一致。
7.一种计算机可读介质，其存储用于在混合现实系统中检测不一致的程序，所述混合现实系统包括便携式的显示装置，所述显示装置具有用于向用户显示虚拟物体的透射式的显示单元并且还具有用于拍摄真实空间的拍摄单元，所述混合现实系统用于在预定真实空间中将所述虚拟物体绘制在所述显示单元上，由此用户通过所述显示单元将所述虚拟物体从视觉上识别为叠加在所述真实空间上，
其中，所述混合现实系统还包括：
三维空间数据存储部，其被配置为存储三维空间数据，所述三维空间数据包括预先获取到的位于所述预定真实空间内的真实物体的点云数据，所述点云数据各自具有三维位置信息；
用户环境确定部，其被配置为基于所述三维空间数据和从所述显示装置中包括的传感器获得的数据来确定用户环境，所述用户环境包括所述显示装置的位置并且还包括用户通过所述显示单元从视觉上识别的视野区域；以及
绘制部，其被配置为基于所述用户环境来将所述虚拟物体绘制在所述显示单元上，以及
其中，所述程序使所述显示装置执行以下步骤：
根据合成图像来生成作为所述真实物体和所述虚拟物体的点云数据的第一点云数据，所述合成图像是通过将所述绘制部所绘制的虚拟物体以叠加方式显示在用户通过所述显示单元从视觉上识别的真实空间图像上而获得的，该真实空间图像是根据所拍摄到的真实空间图像而生成的；
通过使用所述三维空间数据存储部所存储的由所述用户环境确定部确定的所述视野区域中的点云数据、以及所述绘制部所绘制的虚拟物体的点云数据，来生成第二点云数据；以及
基于所述第一点云数据和所述第二点云数据之间的比较结果来检测不一致。
8.一种混合现实系统中的不一致检测方法，所述混合现实系统包括便携式的显示装置，所述显示装置具有用于向用户显示虚拟物体的透射式的显示单元并且还具有用于拍摄真实空间的拍摄单元，所述混合现实系统用于在预定真实空间中将所述虚拟物体绘制在所述显示单元上，由此用户通过所述显示单元将所述虚拟物体从视觉上识别为叠加在所述真实空间上，
其中，所述混合现实系统还包括：
三维空间数据存储部，其被配置为存储三维空间数据，所述三维空间数据包括预先获取到的位于所述预定真实空间内的真实物体的点云数据，所述点云数据各自具有三维位置信息；
用户环境确定部，其被配置为基于所述三维空间数据和从所述显示装置中包括的传感器获得的数据来确定用户环境，所述用户环境包括所述显示装置的位置并且还包括用户通过所述显示单元从视觉上识别的视野区域；以及
绘制部，其被配置为基于所述用户环境来将所述虚拟物体绘制在所述显示单元上，以及
所述不一致检测方法包括以下步骤：
根据合成图像来生成作为所述真实物体和所述虚拟物体的点云数据的第一点云数据，所述合成图像是通过将所述绘制部所绘制的虚拟物体以叠加方式显示在用户通过所述显示单元从视觉上识别的真实空间图像上而获得的，该真实空间图像是根据所拍摄到的真实空间图像而生成的；
通过使用所述三维空间数据存储部所存储的由所述用户环境确定部确定的所述视野区域中的点云数据、以及所述绘制部所绘制的虚拟物体的点云数据，来生成第二点云数据；以及
基于所述第一点云数据和所述第二点云数据之间的比较结果来检测不一致。
CN201780087085.3A 2016-12-22 2017-12-01 不一致检测系统、混合现实系统、程序和不一致检测方法 Active CN110383343B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016249429A JP6171079B1 (ja) 2016-12-22 2016-12-22 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
JP2016-249429 2016-12-22
PCT/JP2017/043332 WO2018116790A1 (ja) 2016-12-22 2017-12-01 不整合検出システム、複合現実システム、プログラム及び不整合検出方法

Publications (2)

Publication Number Publication Date
CN110383343A CN110383343A (zh) 2019-10-25
CN110383343B true CN110383343B (zh) 2023-01-10

Family

ID=59384341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780087085.3A Active CN110383343B (zh) 2016-12-22 2017-12-01 不一致检测系统、混合现实系统、程序和不一致检测方法

Country Status (5)

Country Link
US (1) US10896497B2 (zh)
JP (1) JP6171079B1 (zh)
KR (1) KR102255031B1 (zh)
CN (1) CN110383343B (zh)
WO (1) WO2018116790A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
JP7212611B2 (ja) * 2017-02-27 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
JP2018106661A (ja) * 2017-07-03 2018-07-05 株式会社Ｃｙｇａｍｅｓ 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
GB2564402B (en) * 2017-07-06 2021-03-17 Sony Interactive Entertainment Inc System and method of 3D print modelling
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
US11516453B2 (en) * 2018-07-06 2022-11-29 Sony Corporation Information processing apparatus, information processing method, and program for point cloud sample processing
JP2020098381A (ja) * 2018-12-17 2020-06-25 未來市股▲ふん▼有限公司 測位方法及び現実感提示装置
JP7203692B2 (ja) * 2019-06-12 2023-01-13 本田技研工業株式会社 情報処理装置、情報処理方法、及びプログラム
JP7289746B2 (ja) * 2019-07-11 2023-06-12 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2021065607A1 (ja) * 2019-10-03 2021-04-08 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2022505998A (ja) * 2019-10-15 2022-01-17 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 拡張現実データの提示方法、装置、電子機器及び記憶媒体
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
JP2021177157A (ja) * 2020-05-08 2021-11-11 株式会社トプコン アイウェア表示システム
CN111640179B (zh) * 2020-06-26 2023-09-01 百度在线网络技术（北京）有限公司 宠物模型的显示方法、装置、设备以及存储介质
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US12003806B2 (en) * 2021-03-11 2024-06-04 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
CN113206989A (zh) * 2021-03-31 2021-08-03 聚好看科技股份有限公司 一种三维通信系统中人物模型的定位方法及设备
CN113379884B (zh) * 2021-07-05 2023-11-17 北京百度网讯科技有限公司 地图渲染方法、装置、电子设备、存储介质以及车辆
WO2023068087A1 (ja) * 2021-10-18 2023-04-27 ソニーグループ株式会社 ヘッドマウントディスプレイ、情報処理装置および情報処理方法
WO2024070602A1 (ja) * 2022-09-29 2024-04-04 日本電気通信システム株式会社 情報表示システム、情報表示方法、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104205175A (zh) * 2012-03-29 2014-12-10 索尼公司 信息处理装置，信息处理系统及信息处理方法
CN105027190A (zh) * 2013-01-03 2015-11-04 美达公司 用于虚拟或增强介导视觉的射出空间成像数字眼镜
KR20160034513A (ko) * 2014-09-19 2016-03-30 한국전자통신연구원 Rgb-d 영상을 이용한 실감형 증강현실 구현 장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103399B2 (en) * 2003-09-08 2006-09-05 Vanderbilt University Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery
JP4804256B2 (ja) * 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
US8179393B2 (en) * 2009-02-13 2012-05-15 Harris Corporation Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
US20120120201A1 (en) * 2010-07-26 2012-05-17 Matthew Ward Method of integrating ad hoc camera networks in interactive mesh systems
JP5147980B1 (ja) 2011-09-26 2013-02-20 アジア航測株式会社 対象物複数画像対応付け装置、そのデータ再生装置、画像処理システム
WO2014020364A1 (en) * 2012-07-30 2014-02-06 Zinemath Zrt. System and method for generating a dynamic three-dimensional model
US10242400B1 (en) * 2013-10-25 2019-03-26 Appliance Computing III, Inc. User interface for image-based rendering of virtual tours
WO2016084142A1 (ja) * 2014-11-26 2016-06-02 株式会社日立製作所 作業支援システム、及び、作業支援方法
US9652896B1 (en) * 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
JP6088094B1 (ja) 2016-06-20 2017-03-01 株式会社Ｃｙｇａｍｅｓ 複合現実環境を作成するためのシステム等

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104205175A (zh) * 2012-03-29 2014-12-10 索尼公司 信息处理装置，信息处理系统及信息处理方法
CN105027190A (zh) * 2013-01-03 2015-11-04 美达公司 用于虚拟或增强介导视觉的射出空间成像数字眼镜
KR20160034513A (ko) * 2014-09-19 2016-03-30 한국전자통신연구원 Rgb-d 영상을 이용한 실감형 증강현실 구현 장치 및 방법

Also Published As

Publication number Publication date
WO2018116790A1 (ja) 2018-06-28
CN110383343A (zh) 2019-10-25
JP2018106262A (ja) 2018-07-05
US10896497B2 (en) 2021-01-19
KR102255031B1 (ko) 2021-05-24
JP6171079B1 (ja) 2017-07-26
KR20190089957A (ko) 2019-07-31
US20190311471A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
CN110383343B (zh) 不一致检测系统、混合现实系统、程序和不一致检测方法
CN109643465B (zh) 用于创建混合现实环境的系统、方法、显示装置、介质
CN107836012B (zh) 投影图像生成方法及其装置、图像像素与深度值之间的映射方法
JP2018106661A (ja) 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
JP2022539314A (ja) 稠密３ｄ再構築データのキャッシュおよび更新
US20130095920A1 (en) Generating free viewpoint video using stereo imaging
Khoshelham et al. Indoor mapping eyewear: geometric evaluation of spatial mapping capability of HoloLens
CN105190703A (zh) 使用光度立体来进行3d环境建模
KR20140099098A (ko) 능동 스테레오 매칭 방법 및 그 장치
CN102959616A (zh) 自然交互的交互真实性增强
KR20130138247A (ko) 신속 3ｄ 모델링
CN104350525A (zh) 组合用于三维建模的窄基线和宽基线立体
JP2023546739A (ja) シーンの３次元モデルを生成するための方法、装置、およびシステム
Harvent et al. Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system
CN114494582A (zh) 一种基于视觉感知的三维模型动态更新方法
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
Zhang et al. Virtual reality aided high-quality 3D reconstruction by remote drones
JP6134874B1 (ja) 複合現実環境を作成するためのシステム等
Piérard et al. I-see-3d! an interactive and immersive system that dynamically adapts 2d projections to the location of a user's eyes
WO2021166751A1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
Lai Augmented Reality visualization of building information model
JP2001324310A (ja) 立体データ作成方法及び装置並びにシステム
JP7465133B2 (ja) 情報処理装置、情報処理方法
Ahmadabadian Photogrammetric multi-view stereo and imaging network design
Mirski et al. Adaptive scanning methods for 3D scene reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40008743

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant