CN113256773B - 表面网格扫描及显示方法、系统及装置 - Google Patents

表面网格扫描及显示方法、系统及装置 Download PDF

Info

Publication number
CN113256773B
CN113256773B CN202110504681.5A CN202110504681A CN113256773B CN 113256773 B CN113256773 B CN 113256773B CN 202110504681 A CN202110504681 A CN 202110504681A CN 113256773 B CN113256773 B CN 113256773B
Authority
CN
China
Prior art keywords
scanning
dimensional space
space environment
sparse
surface grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110504681.5A
Other languages
English (en)
Other versions
CN113256773A (zh
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202110504681.5A priority Critical patent/CN113256773B/zh
Publication of CN113256773A publication Critical patent/CN113256773A/zh
Priority to PCT/CN2021/121004 priority patent/WO2022237047A1/zh
Priority to US17/886,006 priority patent/US20220383532A1/en
Application granted granted Critical
Publication of CN113256773B publication Critical patent/CN113256773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种表面网格扫描及显示方法、系统及装置，其中的方法包括：对位于同一个三维空间环境下的所有扫描设备进行标定；通过扫描设备扫描三维空间环境，并生成与扫描设备对应的三维扫描数据；获取三维扫描数据的每一帧相对三维空间环境下的位姿信息；基于位姿信息以及三维扫描数据，获取与各扫描设备分别相对应的三维空间环境的第一稀疏化3D表面网格；获取各扫描设备在当前扫描环境区域之外的三维空间环境的第二稀疏化3D表面网格；通过与第一稀疏化3D表面网格对应的扫描设备对结合后的第一稀疏化3D表面网格和第二稀疏化3D表面网格进行渲染显示。利用上述发明能够实现高效的表面网格扫描，提高各设备之间的协作效率。

Description

表面网格扫描及显示方法、系统及装置
技术领域
本发明涉及人工现实技术领域，更为具体地，涉及一种表面网格扫描及显示方法、系统及装置。
背景技术
随着社会的进步和技术的发展，人工现实系统在计算机游戏、健康与安全、工业和教育等领域的应用越来越普遍。例如，人工现实系统正被整合到移动设备、游戏机、个人电脑、电影院和主题公园中。一般而言，人工现实是在呈现给用户之前以某种方式调整现实的一种形式，其可包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混合现实或其某些组合和/或衍生物。典型的人工现实系统使用一个或多个设备与系统交互，并向一个或多个用户呈现和显示内容。作为一个示例，人工现实系统可以包括由用户佩戴的头戴式显示器(HMD)，并且被配置为向用户输出人工现实内容。
目前，在一些人工现实系统的应用中，人工现实系统依赖于真实世界中的物理特征来创建虚拟图像(例如全息图)。例如，人工现实系统可以投射穿过卧室墙壁的恐龙，或者可以引导用户在房间之间导航。例如，房间可能因火灾而冒烟，能见度非常有限。在这种情况下，人工现实系统可以通过呈现逃离路线的导航虚拟图像来帮助用户导航。为了使虚拟图像和体验尽可能真实和有用，人工现实系统使用房间的深度和表面特征来确定如何最佳地创建任何虚拟图像，表面网格有益地为人工现实系统提供了这些有价值的信息。
可知，构造环境的表面网格在目前的人工现实系统中，起着非常重要和关键的作用。
但是，现有的需要多个用户进行一些协作活动的场景下，比如，消防演练等教育培训场景下，由于3D空间网格化的复杂性，多人协作的效率比较低，大大降低了场景体验的真实性。
发明内容
鉴于上述问题，本发明的目的是提供一种表面网格扫描及显示方法、系统及装置，已解决现有表面网格的扫描区域冗余，各设备之间的协作效率低，影响用户体验等问题。
本发明提供的表面网格扫描及显示方法，包括对位于同一个三维空间环境下的所有扫描设备进行标定，以使所有扫描设备均位于同一坐标系下；通过扫描设备扫描三维空间环境，并生成与扫描设备对应的三维扫描数据；获取三维扫描数据的每一帧相对三维空间环境下的位姿信息；基于位姿信息以及三维扫描数据，获取与各扫描设备分别相对应的三维空间环境的第一稀疏化3D表面网格；基于所述第一稀疏化3D表面网格，获取各扫描设备在当前扫描环境区域之外的三维空间环境的第二稀疏化3D表面网格；通过与第一稀疏化3D表面网格对应的扫描设备对结合后的第一稀疏化3D表面网格和第二稀疏化3D表面网格进行渲染显示。
此外，可选的技术方案是，对位于同一个三维空间环境下的所有扫描设备进行标定包括：选取扫描设备中的任意一设备，作为目标扫描设备；通过目标扫描设备对三维空间环境进行全面扫描，生成当前三维空间环境下的数字地图信息；其中，目标设备的扫描区域包括当前三维空间环境下的任何一个物理空间区域；将数字地图信息通过服务器端发送至除目标扫描设备外的非目标扫描设备；非目标扫描设备构建与三维空间环境对应的本地地图信息，并将数字地图信息匹配至本地地图信息中，完成对所有扫描设备的标定。
此外，可选的技术方案是，将数字地图信息匹配至本地地图信息中，包括特征点匹配方式以及描述子匹配方式。
此外，可选的技术方案是，获取三维扫描数据的每一帧相对三维空间环境下的位姿信息的过程包括：通过设置有扫描设备的头戴式装置中的定位追踪模块，获取每一帧中的定位追踪信息；基于定位追踪信息获取与每一帧分别对应的位姿信息。
此外，可选的技术方案是，获取与各扫描设备分别相对应的三维空间环境的第一稀疏化3D表面网格的过程包括：获取与各扫描设备分别对应的当前三维空间环境下的第一3D表面网格，以使对应的数字地图信息中的每三个点按照预设规则连接为一个三角形；在第一3D表面网格中随机确定一个中心点，确定除中心点外的网格点与中心点之间的欧式距离；遍历所有网格点，并删除欧式距离符合预设阈值范围的网格点，剩余的网格点形成第一稀疏化3D表面网格。
此外，可选的技术方案是，预设阈值范围为2cm～5cm。
此外，可选的技术方案是，获取各扫描设备在当前扫描环境区域之外的三维空间环境的第二稀疏化3D表面网格的过程包括：基于与各扫描设备分别相对应的三维空间环境的第一稀疏化3D表面网格，获取各扫描设备在三维空间环境中的当前扫描区域；各扫描设备之间进行数据交互，基于所有扫描设备的当前扫描区域，判断各扫描设备在当前扫描区域之外的三维空间环境下的第二稀疏化3D表面网格。
此外，可选的技术方案是，各扫描设备分别包括至少两个追踪相机；追踪相机的视角不小于135°*98°；扫描设备的追踪视角不小于200°*185°。
根据本发明另一方面，提供一种表面网格扫描及显示系统，包括：标定单元，用于对位于同一个三维空间环境下的所有扫描设备进行标定，以使所有扫描设备均位于同一坐标系下；三维扫描数据生成单元，用于通过扫描设备扫描三维空间环境，并生成与扫描设备对应的三维扫描数据；位姿信息获取单元，用于获取三维扫描数据的每一帧相对三维空间环境下的位姿信息；第一3D表面网格获取单元，用于基于位姿信息以及三维扫描数据，获取与各扫描设备分别相对应的三维空间环境的第一稀疏化3D表面网格；第二3D表面网格获取单元，用于基于所述第一稀疏化3D表面网格，获取各扫描设备在当前扫描环境区域之外的三维空间环境的第二稀疏化3D表面网格；表面网格显示单元，用于通过与第一稀疏化3D表面网格对应的扫描设备对结合后的第一稀疏化3D表面网格和第二稀疏化3D表面网格进行渲染显示。
根据本发明另一方面，还提供一种头戴式装置，包括显示器、至少一个处理服务器，至少两个深度相机或扫描传感器；以及一个或多个计算机可读硬件存储装置；至少一个处理服务器执行如上述的表面网格扫描及显示方法。
利用上述表面网格扫描及显示方法、系统及装置，通过对位于同一个三维空间环境下的所有扫描设备进行标定，以使所有扫描设备均位于同一坐标系下；通过扫描设备扫描三维空间环境，并生成与扫描设备对应的三维扫描数据；获取三维扫描数据的每一帧相对三维空间环境下的位姿信息；基于位姿信息以及三维扫描数据，获取与各扫描设备分别相对应的三维空间环境的第一稀疏化3D表面网格；获取各扫描设备在当前扫描环境区域之外的三维空间环境的第二稀疏化3D表面网格；通过与第一稀疏化3D表面网格对应的扫描设备对结合后的第一稀疏化3D表面网格和第二稀疏化3D表面网格进行渲染显示，能够提高多个设备之间的高效协作，快速构建3D空间的表面网格数据，防止相同的区域冗余生成扫描数据，速度快、效率高，用户体验效果好。
为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的表面网格扫描及显示方法的流程图；
图2为根据本发明实施例的表面网格扫描及显示系统的方框示意图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
为详细描述本发明的表面网格扫描及显示方法、系统及装置，以下将结合附图对本发明的具体实施例进行详细描述。
图1示出了根据本发明实施例的表面网格扫描及显示方法的流程图。
如图1所示，本发明实施例的表面网格扫描及显示方法，包括以下步骤：
S110：对位于同一个三维空间环境下的所有扫描设备进行标定，以使所有扫描设备均位于同一坐标系下。
其中，对位于同一个三维空间环境下的所有扫描设备进行标定的过程包括：选取扫描设备中的任意一设备，作为目标扫描设备；通过目标扫描设备对三维空间环境进行全面扫描，生成当前三维空间环境下的数字地图信息；其中，目标设备的扫描区域尽可能的包括当前三维空间环境下的任何一个物理空间区域；将数字地图信息通过服务器端发送至除目标扫描设备外的其他所有的非目标扫描设备；其他的非目标扫描设备在收到服务器端发出的信号后，构建自身与三维空间环境对应的本地地图信息，并将数字地图信息匹配至本地地图信息中，完成对所有扫描设备的标定。
此外，将数字地图信息匹配至本地地图信息中，可采用高现有的匹配方法，例如特征点匹配方式以及描述子匹配方式等多种方式，本发明并不对匹配方法进行特殊限定。
S120：通过扫描设备扫描三维空间环境，并生成与扫描设备对应的三维扫描数据。
S130：获取三维扫描数据的每一帧相对三维空间环境下的位姿信息。
在上述步骤S120和步骤S130中，多个扫描设备或用户设备在同一时刻扫描当前三维空间环境，并生成与自身扫描设备相对应的三维扫描数据，同时通过扫描设备自带的定位追踪模块获取三维扫描数据的每一帧相对当前三维空间环境下的位姿信息。
具体地，获取三维扫描数据的每一帧相对三维空间环境下的位姿信息的过程包括：通过设置有扫描设备的头戴式装置中的定位追踪模块，获取每一帧中的定位追踪信息；基于定位追踪信息获取与每一帧分别对应的位姿信息。
S140：基于位姿信息以及三维扫描数据，获取与各扫描设备分别相对应的三维空间环境的第一稀疏化3D表面网格。
在获取各扫描设备的三维扫描数据和位姿信息后，将其发送至服务器，该服务器可以是中央处理服务器或者其他类型的服务器，服务器根据扫描设备发送的信息，通过曲面重建技术，生成当前三维空间环境的第一3D表面网格，并对该3D表面网格进行降采样，对3D表面网格数据进行稀疏化处理，形成当前三维空间环境光的第一稀疏化3D表面网格。
具体地，获取与各扫描设备分别相对应的三维空间环境的第一稀疏化3D表面网格的过程包括：获取与各扫描设备分别对应的当前三维空间环境下的第一3D表面网格，以使对应的数字地图信息中的每三个点按照预设规则连接为一个三角形；在第一3D表面网格中随机确定一个中心点，确定除中心点外的其他网格点与中心点之间的欧式距离；遍历所有网格点，并删除欧式距离符合预设阈值范围的网格点，剩余的网格点形成第一稀疏化3D表面网格。
其中，上述欧式距离的预设阈值范围可设置为2cm～5cm。
S150：基于所述第一稀疏化3D表面网格，获取各扫描设备在当前扫描环境区域之外的三维空间环境的第二稀疏化3D表面网格。
其中，获取各扫描设备在当前扫描环境区域之外的三维空间环境的第二稀疏化3D表面网格的过程包括：基于与各扫描设备分别相对应的三维空间环境的第一稀疏化3D表面网格，获取各扫描设备在三维空间环境中的当前扫描区域；各扫描设备之间进行数据交互，基于所有扫描设备的当前扫描区域，判断各扫描设备在当前扫描区域之外的三维空间环境下的第二稀疏化3D表面网格。
具体地，可通过服务器获取每一个扫描设备(或用户设备)当前时刻相对三维空间环境下的定位追踪信息，即相对当前三维空间环境下的6DoF数据，在本发明的一个具体实施方式中，扫描设备的扫描范围或者扫描区域为用户扫描设备上自带的定位追踪设备(定位追踪模块)的扫描范围，例如，定位追踪设备可以为，设置在用户设备上并按照一定位置关系内置的2个及以上的追踪Camera，每一个追踪Camera有一个FOV范围，例如，每一个追踪Camera的FOV追踪视角为135°*98°，即2个及以上的追踪Camera会拼接一个扫描设备的追踪FOV，本发明中每一台扫描设备的追踪FOV不小为：200°*185°(H*V)。
需要说明的是，每一个扫描设备每一帧的扫描范围，可根据每一个扫描设备自身的追踪范围确定即可，追踪相机的视角可以不小于135°*98°；扫描设备的追踪视角可以不小于200°*185°，单本发明中并不具体限定各视角的具体范围，均可根据扫描设备的配置或场景要求进行调整。
根据上述的信息，可以计算出每一个扫描用户在当前三维空间环境下的扫描区域，获取扫描区域之外的3D网格数据，并进行稀疏化处理，确定第二稀疏化3D表面网格。
S160：通过与第一稀疏化3D表面网格对应的扫描设备对结合后的第一稀疏化3D表面网格和第二稀疏化3D表面网格进行渲染显示。
其中，当扫描设备看到一些三维空间环境的区域已经被其他扫描设备进行扫描后，即可不用再次扫描该区域，从而进入其他未被其他扫描设备进行过扫描的环境区域进行扫描，这样各扫描设备之间进行多次数据交互，能够提高扫描设备之间的扫描效率，避免向系统提供冗余数据。
最后，可将第一稀疏化3D表面网格和第二稀疏化3D表面网格进行结合，然后通过扫描设备进行渲染显示，形成当前三维空间环境下的完整的表面网格数据。
与上述表面网格扫描及显示方法相对应，本发明明还提供一种表面网格扫描及显示系统。
具体地，图2示出了根据本发明实施例的表面网格扫描及显示系统的示意逻辑。
如图2所示，本发明实施例的表面网格扫描及显示系统200，包括：
标定单元210，用于对位于同一个三维空间环境下的所有扫描设备进行标定，以使所有扫描设备均位于同一坐标系下；
三维扫描数据生成单元220，用于通过扫描设备扫描三维空间环境，并生成与扫描设备对应的三维扫描数据；
位姿信息获取单元230，用于获取三维扫描数据的每一帧相对三维空间环境下的位姿信息；
第一3D表面网格获取单元240，用于基于位姿信息以及三维扫描数据，获取与各扫描设备分别相对应的三维空间环境的第一稀疏化3D表面网格；
第二3D表面网格获取单元250，用于基于所述第一稀疏化3D表面网格，获取各扫描设备在当前扫描环境区域之外的三维空间环境的第二稀疏化3D表面网格；
表面网格显示单元260，用于通过与第一稀疏化3D表面网格对应的扫描设备对结合后的第一稀疏化3D表面网格和第二稀疏化3D表面网格进行渲染显示。
此外，在本发明的另一实施例中，还提供一种头戴式装置，包括显示器、至少一个处理服务器，至少两个深度相机或扫描传感器；以及一个或多个计算机可读硬件存储装置；至少一个处理服务器执行如上述的表面网格扫描及显示方法。
其中，上述深度相机(或3D扫描传感器，或简称扫描传感器)包括任何类型的深度相机或深度检测器。比如，飞行时间(“TOF”)相机、结构光相机、有源立体相机对、无源立体相机对或能够检测或确定深度的任何其他类型的相机、传感器、激光器或设备等。
需要说明的是，上述表面网格扫描及显示系统以及头戴式装置的实施例，可具体参考表面网格扫描及显示方法实施例中的描述，此处不再一一赘述。
根据上述本发明的表面网格扫描及显示方法、系统及装置，构建3D表面网格重建数据，并在多个扫描设备之间进行数据传递，有助于防止对相同的区域冗余地生成3D扫描数据，较大程度上改进了多个设备协作效率低的现象，表面网格扫描速度快、效率高，用户体验效果好。
如上参照附图以示例的方式描述根据本发明的表面网格扫描及显示方法、系统及装置。但是，本领域技术人员应当理解，对于上述本发明所提出的表面网格扫描及显示方法、系统及装置，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (9)

1.一种表面网格扫描及显示方法，其特征在于，包括：
对位于同一个三维空间环境下的所有扫描设备进行标定，以使所有扫描设备均位于同一坐标系下；
通过所述扫描设备扫描所述三维空间环境，并生成与所述扫描设备对应的三维扫描数据；
获取所述三维扫描数据的每一帧相对所述三维空间环境下的位姿信息；
基于所述位姿信息以及所述三维扫描数据，获取与各扫描设备分别相对应的三维空间环境的第一稀疏化3D表面网格；
基于所述第一稀疏化3D表面网格，获取各扫描设备在当前扫描环境区域之外的三维空间环境的第二稀疏化3D表面网格；
通过与所述第一稀疏化3D表面网格对应的扫描设备对结合后的所述第一稀疏化3D表面网格和所述第二稀疏化3D表面网格进行渲染显示；
其中，所述获取与各扫描设备分别相对应的三维空间环境的第一稀疏化3D表面网格的过程包括：
获取与各扫描设备分别对应的当前三维空间环境下的第一3D表面网格，以使对应的数字地图信息中的每三个点按照预设规则连接为一个三角形；
在所述第一3D表面网格中随机确定一个中心点，确定除所述中心点外的网格点与所述中心点之间的欧式距离；
遍历所有网格点，并删除所述欧式距离符合预设阈值范围的网格点，剩余的网格点形成所述第一稀疏化3D表面网格。
2.如权利要求1所述的表面网格扫描及显示方法，其特征在于，所述对位于同一个三维空间环境下的所有扫描设备进行标定包括：
选取所述扫描设备中的任意一设备，作为目标扫描设备；
通过所述目标扫描设备对所述三维空间环境进行全面扫描，生成当前所述三维空间环境下的数字地图信息；其中，所述目标扫描设备的扫描区域包括当前所述三维空间环境下的任何一个物理空间区域；
将所述数字地图信息通过服务器端发送至除所述目标扫描设备外的非目标扫描设备；
所述非目标扫描设备构建与所述三维空间环境对应的本地地图信息，并将所述数字地图信息匹配至所述本地地图信息中，完成对所述所有扫描设备的标定。
3.如权利要求2所述的表面网格扫描及显示方法，其特征在于，
所述将所述数字地图信息匹配至所述本地地图信息中，包括特征点匹配方式以及描述子匹配方式。
4.如权利要求1所述的表面网格扫描及显示方法，其特征在于，获取所述三维扫描数据的每一帧相对所述三维空间环境下的位姿信息的过程包括：
通过设置有所述扫描设备的头戴式装置中的定位追踪模块，获取所述每一帧中的定位追踪信息；
基于所述定位追踪信息获取与所述每一帧分别对应的位姿信息。
5.如权利要求1所述的表面网格扫描及显示方法，其特征在于，
所述预设阈值范围为2cm～5cm。
6.如权利要求1所述的表面网格扫描及显示方法，其特征在于，获取各扫描设备在当前扫描环境区域之外的三维空间环境的第二稀疏化3D表面网格的过程包括：
基于与各扫描设备分别相对应的三维空间环境的第一稀疏化3D表面网格，获取所述各扫描设备在所述三维空间环境中的当前扫描区域；
所述各扫描设备之间进行数据交互，基于所有扫描设备的当前扫描区域，判断各扫描设备在所述当前扫描区域之外的三维空间环境下的第二稀疏化3D表面网格。
7.如权利要求1所述的表面网格扫描及显示方法，其特征在于，
所述各扫描设备分别包括至少两个追踪相机；
所述追踪相机的视角不小于135°*98°；
所述扫描设备的追踪视角不小于200°*185°。
8.一种表面网格扫描及显示系统，其特征在于，包括：
标定单元，用于对位于同一个三维空间环境下的所有扫描设备进行标定，以使所有扫描设备均位于同一坐标系下；
三维扫描数据生成单元，用于通过所述扫描设备扫描所述三维空间环境，并生成与所述扫描设备对应的三维扫描数据；
位姿信息获取单元，用于获取所述三维扫描数据的每一帧相对所述三维空间环境下的位姿信息；
第一3D表面网格获取单元，用于基于所述位姿信息以及所述三维扫描数据，获取与各扫描设备分别相对应的三维空间环境的第一稀疏化3D表面网格；其中，
获取与各扫描设备分别对应的当前三维空间环境下的第一3D表面网格，以使对应的数字地图信息中的每三个点按照预设规则连接为一个三角形；
在所述第一3D表面网格中随机确定一个中心点，确定除所述中心点外的网格点与所述中心点之间的欧式距离；
遍历所有网格点，并删除所述欧式距离符合预设阈值范围的网格点，剩余的网格点形成所述第一稀疏化3D表面网格；
第二3D表面网格获取单元，用于基于所述第一稀疏化3D表面网格，获取各扫描设备在当前扫描环境区域之外的三维空间环境的第二稀疏化3D表面网格；
表面网格显示单元，用于通过与所述第一稀疏化3D表面网格对应的扫描设备对结合后的所述第一稀疏化3D表面网格和所述第二稀疏化3D表面网格进行渲染显示。
9.一种头戴式装置，其特征在于，包括显示器、至少一个处理服务器，至少两个深度相机或扫描传感器；以及一个或多个计算机可读硬件存储装置；所述至少一个处理服务器执行如权利要求1至7任一项所述的表面网格扫描及显示方法。
CN202110504681.5A 2021-05-10 2021-05-10 表面网格扫描及显示方法、系统及装置 Active CN113256773B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110504681.5A CN113256773B (zh) 2021-05-10 2021-05-10 表面网格扫描及显示方法、系统及装置
PCT/CN2021/121004 WO2022237047A1 (zh) 2021-05-10 2021-09-27 表面网格扫描及显示方法、系统及装置
US17/886,006 US20220383532A1 (en) 2021-05-10 2022-08-11 Surface grid scanning and display method, system and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110504681.5A CN113256773B (zh) 2021-05-10 2021-05-10 表面网格扫描及显示方法、系统及装置

Publications (2)

Publication Number Publication Date
CN113256773A CN113256773A (zh) 2021-08-13
CN113256773B true CN113256773B (zh) 2022-10-28

Family

ID=77222375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110504681.5A Active CN113256773B (zh) 2021-05-10 2021-05-10 表面网格扫描及显示方法、系统及装置

Country Status (3)

Country Link
US (1) US20220383532A1 (zh)
CN (1) CN113256773B (zh)
WO (1) WO2022237047A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256773B (zh) * 2021-05-10 2022-10-28 青岛小鸟看看科技有限公司 表面网格扫描及显示方法、系统及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410320A (zh) * 2018-09-30 2019-03-01 先临三维科技股份有限公司 三维模型重建方法、装置、计算机设备和存储介质
CN110246186A (zh) * 2019-04-15 2019-09-17 深圳市易尚展示股份有限公司 一种自动化三维彩色成像与测量方法
CN111798571A (zh) * 2020-05-29 2020-10-20 先临三维科技股份有限公司 牙齿扫描方法、装置、系统和计算机可读存储介质
CN112146565A (zh) * 2019-06-28 2020-12-29 先临三维科技股份有限公司 扫描仪和三维扫描系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6915008B2 (en) * 2001-03-08 2005-07-05 Point Grey Research Inc. Method and apparatus for multi-nodal, three-dimensional imaging
CN101127031B (zh) * 2006-08-18 2011-05-04 鸿富锦精密工业（深圳）有限公司 点云数据均值过滤系统及方法
CN101373540B (zh) * 2007-08-20 2011-12-14 鸿富锦精密工业（深圳）有限公司 点云精简系统及方法
US8825391B1 (en) * 2011-08-04 2014-09-02 Google Inc. Building elevation maps from laser data
CN104063894B (zh) * 2014-06-13 2017-02-22 中国科学院深圳先进技术研究院 点云三维模型重建方法及系统
US10366534B2 (en) * 2015-06-10 2019-07-30 Microsoft Technology Licensing, Llc Selective surface mesh regeneration for 3-dimensional renderings
CN108072334A (zh) * 2016-11-15 2018-05-25 天远三维（天津）科技有限公司 一种无线人体彩色光栅拍照式三维扫描系统及扫描方法
US10186075B2 (en) * 2016-11-30 2019-01-22 Adcor Magnet Systems, Llc System, method, and non-transitory computer-readable storage media for generating 3-dimensional video images
WO2019064399A1 (ja) * 2017-09-27 2019-04-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理システムおよび対象物情報取得方法
US11127282B2 (en) * 2018-11-29 2021-09-21 Titan Health & Security Technologies, Inc. Contextualized augmented reality display system
US10809073B2 (en) * 2018-12-05 2020-10-20 Here Global B.V. Local window-based 2D occupancy grids for localization of autonomous vehicles
US20210019953A1 (en) * 2019-07-16 2021-01-21 Microsoft Technology Licensing, Llc Real-time feedback for surface reconstruction as a service
US11403817B1 (en) * 2021-04-14 2022-08-02 Lineage Logistics, LLC Point cloud filtering
CN113256773B (zh) * 2021-05-10 2022-10-28 青岛小鸟看看科技有限公司 表面网格扫描及显示方法、系统及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410320A (zh) * 2018-09-30 2019-03-01 先临三维科技股份有限公司 三维模型重建方法、装置、计算机设备和存储介质
CN110246186A (zh) * 2019-04-15 2019-09-17 深圳市易尚展示股份有限公司 一种自动化三维彩色成像与测量方法
CN112146565A (zh) * 2019-06-28 2020-12-29 先临三维科技股份有限公司 扫描仪和三维扫描系统
CN111798571A (zh) * 2020-05-29 2020-10-20 先临三维科技股份有限公司 牙齿扫描方法、装置、系统和计算机可读存储介质

Also Published As

Publication number Publication date
US20220383532A1 (en) 2022-12-01
CN113256773A (zh) 2021-08-13
WO2022237047A1 (zh) 2022-11-17

Similar Documents

Publication Publication Date Title
CN107340870B (zh) 一种融合vr和ar的虚拟现实展示系统及其实现方法
Suma et al. Leveraging change blindness for redirection in virtual environments
CN109298629B (zh) 在未绘制地图区域中引导移动平台的系统及方法
CN102411783B (zh) 在视频聊天应用中自动跟踪用户移动
JP7448566B2 (ja) クロスリアリティシステムにおけるスケーラブル３次元オブジェクト認識
JP2023126303A (ja) 画像ディスプレイデバイスの位置特定マップを決定および／または評価するための方法および装置
US20160292924A1 (en) System and method for augmented reality and virtual reality applications
JP7423683B2 (ja) 画像表示システム
US20110102460A1 (en) Platform for widespread augmented reality and 3d mapping
CN109255749B (zh) 自主和非自主平台中的地图构建优化
Veas et al. Extended overview techniques for outdoor augmented reality
KR20090117531A (ko) 혼합현실 구현 시스템 및 그 방법
GB2481366A (en) 3D interactive display and pointer control
JP2017142569A (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
WO2023056544A1 (en) Object and camera localization system and localization method for mapping of the real world
WO2019097410A1 (en) Provision of virtual reality content
CN110956695A (zh) 信息处理装置、信息处理方法和存储介质
JP2019509540A (ja) マルチメディア情報を処理する方法及び装置
CN113256773B (zh) 表面网格扫描及显示方法、系统及装置
US20170104982A1 (en) Presentation of a virtual reality scene from a series of images
CN102799378B (zh) 一种立体碰撞检测物体拾取方法及装置
Vasudevan et al. A methodology for remote virtual interaction in teleimmersive environments
Simon Automatic online walls detection for immediate use in AR tasks
CN101566784B (zh) 立体影像的景深数据建立方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant