CN111951376B - 融合结构光和光度学的三维对象重建方法及终端设备 - Google Patents

融合结构光和光度学的三维对象重建方法及终端设备 Download PDF

Info

Publication number
CN111951376B
CN111951376B CN202010738438.5A CN202010738438A CN111951376B CN 111951376 B CN111951376 B CN 111951376B CN 202010738438 A CN202010738438 A CN 202010738438A CN 111951376 B CN111951376 B CN 111951376B
Authority
CN
China
Prior art keywords
information
structured light
dimensional object
photometric
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010738438.5A
Other languages
English (en)
Other versions
CN111951376A (zh
Inventor
宋展
宋钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202010738438.5A priority Critical patent/CN111951376B/zh
Priority to PCT/CN2020/129563 priority patent/WO2022021680A1/zh
Priority to US17/927,692 priority patent/US20230298189A1/en
Publication of CN111951376A publication Critical patent/CN111951376A/zh
Application granted granted Critical
Publication of CN111951376B publication Critical patent/CN111951376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请适用于计算机视觉技术领域，提供了一种融合结构光和光度学的三维对象重建方法及终端设备，其中该方法包括：获取N个第一图像，每个第一图像是通过将具有编码条纹序列的编码图案投射至三维对象后拍摄所得，N为正整数；基于N个第一图像，确定三维对象的结构光深度信息；获取M个第二图像，M个第二图像是通过将P个光源分别从不同方向投射至三维对象后拍摄所得，M和P均为正整数；基于M个第二图像，确定三维对象的光度信息；基于结构光深度信息和所述光度信息，重建三维对象。由此，融合了结构光系统和光度学系统来重建三维对象，提高了针对具有复杂表面的三维对象的三维重建结果的精确度。

Description

融合结构光和光度学的三维对象重建方法及终端设备
技术领域
本申请属于计算机视觉技术领域，尤其涉及一种融合结构光和光度学的三维对象重建方法及终端设备。
背景技术
三维扫描技术发展迅速，目前已应用到了工业检测、设计、动漫及电影特效制作、3D展示、虚拟手术、反求工程等诸多领域和行业。
从现有的三维扫描技术手段来看，以激光三维扫描和投影结构光三维扫描技术为主，激光三维扫描系统通过投射激光线或者点阵，用摄像头捕捉投射的激光特征，通过三角测量恢复物体的三维深度信息，但这种逐点和逐线的扫描方式主要缺点就是速度慢。在基于投影仪的结构光三维扫描系统中，其通过结构光编码技术，实现整个面的一次性测量，具有速度快和精度高的明显优势，因而基于投影的结构光三维扫描技术已成为目前的主流技术手段。
目前，基于投影仪的结构光三维扫描系统对于物体的具有无纹理的朗伯表面能够产生较佳的重建效果，三维物体重建(或，三维重建)是指构建物体所对应的三维模型。然而，对于物体的有纹理的朗伯表面和非朗伯表面，由于物体表面纹理对于条纹定位的影响(例如，反射率、内部遮挡等)，存在因物体表面的反射率和纹理所造成的误差，导致物体的重建精度不高。
发明内容
有鉴于此，本申请实施例提供了一种融合结构光和光度学的三维对象重建方法及终端设备，以解决针对具有复杂表面(带纹理的朗伯表面和非朗伯表面)的物体的三维重建结果的精确度不高的问题。
本申请实施例的第一方面提供了一种融合结构光和光度学的三维对象重建方法，包括：获取N个第一图像，每个第一图像是通过将具有编码条纹序列的编码图案投射至三维对象后拍摄所得，N为正整数；基于所述N个第一图像，确定所述三维对象的结构光深度信息；获取M个第二图像，所述M个第二图像是通过将P个光源分别从不同方向投射至所述三维对象后拍摄所得，M和P均为正整数；基于所述M个第二图像，确定所述三维对象的光度信息；基于所述结构光深度信息和所述光度信息，重建所述三维对象。
本申请实施例的第二方面提供了一种融合结构光和光度学的三维对象重建装置，包括：结构光图像获取单元，用于获取N个第一图像，每个第一图像是通过将具有编码条纹序列的编码图案投射至三维对象后拍摄所得，N为正整数；结构光深度信息确定单元，用于基于所述N个第一图像，确定所述三维对象的结构光深度信息；光度学图像获取单元，用于获取M个第二图像，所述M个第二图像是通过将P个光源分别从不同方向投射至所述三维对象后拍摄所得，M和P均为正整数；光度信息确定单元，用于基于所述M个第二图像，确定所述三维对象的光度信息；三维对象重建单元，用于基于所述结构光深度信息和所述光度信息，重建所述三维对象。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备实现如上述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：
在利用结构光系统采集三维对象的结构光深度图像(或三维点云信息)的同时，还利用该光度学系统采集三维对象在不同方向上的图像，使得在实现得到三维对象的结构光深度信息的同时还可以得到三维对象的光度信息，进而结合结构光深度信息和光度信息重建三维对象。由此，融合了结构光系统和光度学系统来定位和重建三维对象，可以利用光度信息来修正因三维对象的表面纹理(例如，纹理反射率)所导致的结构光条纹定位误差，从而提高了针对具有复杂表面的三维对象的三维重建结果的精确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了适于应用根据本申请实施例的融合结构光和光度学的三维对象重建方法的结构光系统一示例的架构示意图；
图2示出了适于应用根据本申请实施例的融合结构光和光度学的三维对象重建方法的光度学系统一示例的架构示意图；
图3示出了根据本申请实施例的融合结构光和光度学的三维对象重建方法的一示例的流程图；
图4示出了4位格雷码结构光编码图案的一示例的示意图；
图5A示出了4位格雷码加4位线移结构光编码图案的一示例的示意图；
图5B示出了8位格雷码加4位线移的二值格雷码结构光编码图案的一示例的示意图；
图6示出了根据本申请实施例的标定光度学系统中的光源的一示例的流程图；
图7示出了根据本申请实施例的确定三维对象的光度信息的一示例的流程图；
图8示出了根据本申请实施例的基于结构光深度信息和光度信息重建三维对象的一示例的流程图；
图9示出了根据本申请实施例的确定校准偏差信息是否满足迭代终止条件的一示例的流程图；
图10示出了根据本申请实施例的基于光度学和结构光的融合系统重建三维对象的一示例的流程图；
图11A示出了待重建的具有丰富纹理的纸张的一示例的示意图；
图11B示出了基于第一结构光系统对图11A中的纸张的重建结果的一示例的示意图；
图11C示出了基于第二结构光系统对图11A中的纸张的重建结果的一示例的示意图；
图11D示出了基于本申请实施例的融合系统对图11A中的纸张的重建结果的一示例的示意图；
图12A示出了待重建的具有多种反射特性的表面的电路板的一示例的示意图；
图12B示出了基于单一的结构光系统对图12A中的电路板的重建结果的一示例的示意图；
图12C示出了基于本申请实施例的融合系统对图12A中的纸张的重建结果的一示例的示意图；
图13A示出了待重建的碗的一示例的示意图；
图13B示出了基于单一的结构光系统对图13A中的碗的重建结果的一示例的示意图；
图13C示出了基于单一的光度学系统对图13A中的碗的重建结果的一示例的示意图；
图13D示出了基于本申请实施例的融合系统对图13A中的碗的重建结果的一示例的示意图；
图14示出了根据本申请实施例的融合结构光和光度学的三维对象重建装置的一示例的结构框图；
图15是本申请实施例的终端设备的一示例的示意图。
具体实施方式
结构光三维扫描系统的核心是编、解码算法，按照编码方式划分，现有的结构光三维扫描技术可分为时间编码、空间编码和混合编码三类。
时间编码结构光技术以其编码容量大、重建分辨率高的优点而被广泛研究和使用，常用的时间编码方案有格雷码结构光编码(例如，格雷码序列、格雷码序列加线移和格雷码序列加相移)和二值结构光编码(以“0”(纯黑)和“255”(纯白)为编码基元)。另外，利用不同的灰度值编码的条纹序列(即编码图案)进行投影，并基于条纹定位解码的结构光技术被称为条纹结构光技术，例如当采用二值编码图案时，对应的条纹结构光技术可以被成为二值条纹结构光技术。
在条纹结构光技术中，条纹的定位解码精度是影响三维重建结果的重要因素。对于无纹理的朗伯表面，条纹轮廓的调制源自于表面形状，条纹结构光技术可以获得微米级的测量精度。对于非朗伯表面，条纹轮廓的调制除了来自于表面形状，还与表面纹理和表面反射率变化有关，而条纹结构光技术往往忽略表面反射率和纹理对于条纹边界轮廓的调制，因此无法较精准地重建有纹理的朗伯表面和非朗伯表面，在重建复杂场景时，由物体形状引起的遮挡和内反射造成编码信息的污染，使得重建结果也容易出现噪声和误差。
光度学三维扫描系统是以针对三维对象的不同打光方向的目标图像作为输入，然后基于假设的物体表面反射特性模型(或，反射模型)，建立方程求解物体表面法向和反射率，从而实现重建三维对象的模型。这里，常用的反射特性模型包括朗伯反射模型(朗伯表面)、Phong反射模型(高反光表面)及BRDF(一般表面)等。
然而，三维对象的表面可能是复杂表面，例如可能由具有不同反射特性子区域构成，而使用单一的光学模型假设均会导致法向场计算误差较大，并且通过单一的光度学方法也难以得到三维对象的绝对深度信息，使得所重建的三维对象的精确度较低。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
具体实现中，本申请实施例中描述的移动终端包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，上述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
在接下来的讨论中，描述了包括显示器和触摸敏感表面的移动终端。然而，应当理解的是，移动终端可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。
可以在移动终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
图1示出了适于应用根据本申请实施例的融合结构光和光度学的三维对象重建方法的结构光系统一示例的架构示意图。
如图1所示，结构光系统100中设有计算机10、相机20、投影仪30和物体(或，待重建的对象)40。通过计算机10可以设定投影仪30的编码图案，在需要进行三维重建时，投影仪30向指定区域(例如，用于放置物体40的区域)进行投射。进而，通过相机20可以采集指定区域中的物体40的图像，计算机10可以对由相机20所采集的物体的图像中的编码信息进行解码，以重建物体的三维信息。
应理解的是，上述结合图1中所描述的设备类型仅用作示例，例如可以将相机20替换为其他的具有图像采集功能的设备，计算机10可以是其他具有处理功能的移动终端，等等。
图2示出了适于应用根据本申请实施例的融合结构光和光度学的三维对象重建方法的光度学系统一示例的架构示意图。
如图2所示，光度学系统200中设有物体(或，待重建的对象)210、多个(例如，P个，P为正整数)面光源220、控制板230和相机240。在需要进行三维重建操作时，可以由控制板230控制多个面光源220轮流进行打光，并通过相机240采集对应不同光源方向的灰度图像。进而，控制板230可以基于各个灰度图像求得物体表面的反射方程与法向量，对法向量积分可恢复物体表面各点的相对高度，以重建物体的三维信息。
应理解的是，上述结合图2中所描述的设备类型仅用作示例，例如可以将控制板230替换为其他的具有处理功能的移动终端，多个方位的面光源也可以替换为点光源，等等。此外，还可以将图1中的结构光系统与图2中的光度学系统进行融合，融合系统可以在实现结构光系统和光度学系统的功能的同时还能简化系统硬件设备，例如两个系统之间可以共用相机、计算机等。
图3示出了根据本申请实施例的融合结构光和光度学的三维对象重建方法的一示例的流程图。本申请实施例的三维对象重建方法可以是由移动终端(例如，计算机10)来执行的，旨在通过执行控制或处理操作，以重建高精度的三维对象。
如图3所示，在步骤310中，获取N个第一图像，N为正整数。这里，每个第一图像是通过将具有编码条纹序列的编码图案投射至三维对象后拍摄所得。示例性地，可以使用结构光系统(如图1所示)来投射预设数量个编码图案，并对在三维对象上的编码图案进行采集，得到对应的图像。
这里，第一图像的数量N可以是与所投射的编码图案的数量相匹配，例如当投射8张编码图案时所对应采集到的检测对象图案的数量也可以是8个。需说明的是，编码图案的数量可以是与编码位数相关，例如当采用8位编码序列时，所对应的编码图案的数量为8张。
此外，每一编码图案具有由平行的多个编码条纹组成的唯一编码条纹序列和在相邻的编码条纹之间的条纹交界。在本申请实施例中，可以采用各种条纹定位方案(例如，像素中心解码定位方案)。在一些实施方式中，还可以是采用基于条纹交界的解码定位方案，能够实现高精度(例如，亚像素级别)的定位效果，更多细节将在下文中展开。
需说明的是，本申请实施例中的编码图案可以采用各种结构光条纹编码技术中的编码图案，例如二值结构光编码图案、格雷码结构光编码图案或二值格雷码图案等，在此应不加限制。
图4示出了4位格雷码结构光编码图案的一示例的示意图。
如图4所示，在使用4位格雷码结构光编码图案进行三维重建时，其需要在不同时序投射4幅编码图像，这样格雷码图案中共包含24-1＝15个条纹交界，每一条纹交界具有对应的排列号和编码值。在上述4幅不同时序的格雷码结构光编码图案中，不同的强度图像中的条纹边界互不重合，因此其格雷码值或相位编码值不易被误判，可以实现格雷码值与条纹交界之间的映射关系。另外，当格雷码结构光编码图案是由黑色条纹和白色条纹组成时，格雷码结构光编码图案为二值格雷码结构光编码图案。
理论上，基于条纹交界的格雷码方案中，当编码图案中的最细条纹宽度为1个象素时，格雷码交界解码才能获得与象素中心解码相同的图像采样点密度。因此，在投射格雷码编码图案的基础上，还可以继续投射线移图案，以在格雷码条纹交界解码的基础上提升图像点采样密度，从而保证图像采样点的亚象素准确度定位。
图5A示出了4位格雷码加4位线移结构光编码图案的一示例的示意图。
如图5A所示，在投射4幅格雷码图案后，还可以依次投射4幅周期线移条纹图案。格雷码条纹交界和线移条纹中心均不重合，相距0.5个条纹宽度。因此，将二者结合解码，将中心定位线(实线)与条纹交界定位线(虚线)结合成最终的定位线(实线和虚线交替出现)，可将图像采样点密度由单条纹宽度提高到0.5条纹宽度，例如，当单条纹宽度在强度图像中为1个象素时，图像采样点密度约为0.5个象素宽，可以实现亚像素级的高精度定位。
图5B示出了8位格雷码加4位线移的二值格雷码结构光编码图案的一示例的示意图。如上面所介绍的一样，本申请实施例还可以采用8位格雷码加4位线移二值格雷码结构光编码图案或其他编码图案(例如，10位格雷码等)。
在本申请实施例的一些示例中，条纹交界的编码信息直接被携带在投影仪所投影的编码图案中，便于解码但给编码图案的设定工作增添了负担，例如可能需要指出相同灰度值的相邻条纹(例如，两条相邻的白条纹)之间的交界信息。在本申请实施例的另一些示例中，还可以将编码图案进行正反(即，将条纹灰度值进行反转)两次投射，通过正反条纹投影，例如正向投射的编码图案是0-0-0-0-255-255-255-255，反向的编码图案是255-255-255-255-0-0-0-0，由此可以将正反条纹的零交叉点作为编码图案的条纹交界，取正反条纹拟合直线交点获取条纹亚像素精度的定位结果。
在步骤320中，基于N个第一图像，确定三维对象的结构光深度信息。具体地，可以通过解析第一图像中各个像素的条纹定位信息，并基于三角测量原理解析出三维对象的绝对深度信息，具体细节还可以参照目前相关技术中的描述。
在步骤330中，获取M个第二图像。这里，M个第二图像是通过将P个光源分别从不同方向投射至三维对象后拍摄所得，M和P均为正整数。示例性地，可以使用光度学系统(如图2所示)来轮流控制P个面光源从不同方向对三维对象进行打光，并由相机来从不同的角度来采集三维对象的图像。
在步骤340中，基于M个第二图像，确定三维对象的光度信息。这里，光度信息包括法向信息和反射率，例如可以根据M个第二图像求得物体表面的反射方程与法向量。此外，光度信息还可以包括其他参数信息，例如从反射率分解出的诸如漫反射分量、镜面反射分量和折射分量之类的关键亮度值。
在步骤350中，基于结构光深度信息和光度信息，重建三维对象。
需说明的是，虽然图3所示的流程中的各个步骤是顺序进行的，但其仅用作示例而并不旨在限制，例如在一些示例中，还可以先执行步骤330和步骤340，后执行步骤310和步骤320。
在本申请实施例中，通过融合结构光系统和光度学系统，可以降低或消除因物体表面的纹理的反射率、法向量等信息而导致的结构光定位结果的误差，能够适用于针对具有各种复杂表面的三维物体，且可以保障一定的重建精度。
需说明的是，在使用光度学系统之前，可以先对光度学系统中的各个光源的方位进行标定，以保障较佳的光度立体重建效果。图6示出了根据本申请实施例的标定光度学系统中的光源的一示例的流程图。
如图6所示，在步骤610中，基于结构光深度信息检测P个光源所投射的光是否无法覆盖的三维对象的表面。这里，可以先使用结构光系统来确定三维对象的初步深度图，之后利用初步深度图来对光度学系统中的光源进行标定。
在步骤620中，在P个光源所投射的光无法覆盖三维对象的表面时，根据结构光深度信息确定P个光源的位置和投射方向。具体地，通过初始深度图像对结构光系统中的光源进行标定，例如在设定位置范围和方向区间范围内筛选各个光源所适宜的位置和投射方向，使得光度学系统的光源能够完全覆盖三维对象的表面，而不会存在遮挡区域。
在本申请实施例中，可以利用初步深度图中的结构光深度信息来确定三维对象的初步三维点云结构，并且当前光度学系统中各个光源的投射光可能无法覆盖上述的初步三维点云结构，并基于初步三维点云结构和目前的光度学系统的光源进行标定来完成遮挡检测，从而剔除遮挡部分对于光度学系统的影响。
关于上述的步骤340的一些实施方式，可以将M个第二图像输入至与三维对象的目标表面类型相匹配的反射模型，以由反射模型输出三维对象的光度信息。图7示出了根据本申请实施例的确定三维对象的光度信息(即上述步骤340)的一示例的流程图。
如图7所示，在步骤710中，获取三维对象的目标表面类型。这里，表面类型可以是多样化的，例如金属反射表面、陶瓷的半透明反射表面等等。在本申请实施例的一些示例中，可以通过各种潜在的或已知的表面类型检测技术来检测待重建的三维对象的目标表面类型。在本申请实施例的另一些示例中，可以通过接收用户操作来指定待重建的三维对象的目标表面类型。
在步骤720中，从预设的反射模型集中确定与目标表面类型相匹配的反射模型。这里，反射模型集中的每一反射模型分别配置有相应的表面类型，例如针对典型的非朗伯表面(金属、陶瓷等)，可以预配置对应的反射模型来表征其表面反射率。
在步骤730中，将M个第二图像输入至所确定的反射模型，以由该反射模型输出三维对象的光度信息。
在本申请实施例的一些示例中，对于金属反射表面，可以采用Phong模型对物体表面反射特性进行建模，对于陶瓷的半透明反射表面，可以采用具有分层反射结构的Hanrahan–Krueger(HK)模型进行建模。由此，针对不同的表面类型调用相应的反射模型来求解三维对象的光度信息，可以保障所确定的三维对象的光度信息的高精确度。
图8示出了根据本申请实施例的基于结构光深度信息和光度信息重建三维对象的一示例的流程图。
如图8所示，在步骤810中，基于光度信息迭代校准结构光深度信息，得到相对于结构光深度信息的校准偏差信息。
需说明的是，物体表面(例如，物体表面的纹理)的反射率的变化会导致结构光条纹定位的误差。在本申请实施例的一些示例中，可以依据预设的反射率对条纹定位的影响规律(例如，可以基于先验知识或训练模型而确定的)，针对三维对象中的每一像素所对应的条纹定位信息(或者，基于N个第一图像所确定的结构光深度信息)进行校准，从而得到相应的更新后的结构光深度信息，并计算在深度更新前后在结构光深度信息上的偏差值。
具体地，可以在经更新的深度图(或三维点云结构)的基础上，通过法向量计算准则，求取相应的三维对象的法向量信息，关于法向计算准则的细节，可以参照目前相关技术中的描述，在此便不赘述。
在步骤820中，判断校准偏差信息是否满足预设的迭代终止条件。这里，迭代终止条件可以是表示针对上述步骤810中的迭代校准操作的终止条件。
如果步骤820中的判断结果指示满足预设的迭代终止条件，则跳转至步骤830中的操作。如果步骤820中的判断结果指示不满足预设的迭代终止条件，则跳转至步骤810。
在步骤830中，基于对应满足所述迭代终止条件的经校准的结构光深度信息，重建三维对象。
在本申请实施例中，基于光度信息迭代校准结构光深度信息，补偿因表面纹理的反射率等光度信息所导致的结构光深度信息的误差，可以保障高精度的三维重建结果。
在本申请实施例的一些示例中，光度信息可以包括第一光度信息和第二光度信息。图9示出了根据本申请实施例的确定校准偏差信息是否满足迭代终止条件的一示例的流程图。
如图9所示，在步骤910中，基于第一光度信息迭代校准结构光深度信息，得到相对于结构光深度信息的第一校准偏差信息。
在步骤920中，利用经校准的结构光深度信息校准第二光度信息，得到相对于第二光度信息的第二校准偏差信息。示例性地，可以从经校准的结构光深度信息求解出新的第二光度信息，并将新的第二光度信息与原始的第二光度信息进行对比，从而得到相应的第二校准偏差信息。
在步骤930中，判断第一校准偏差信息和第二校准偏差信息是否满足预设的偏差条件，以相应地确定校准偏差信息是否满足预设的迭代终止条件。
在一些实施方式中，第一光度信息可以是反射率，以及第二光度信息可以是法向信息。这样，可以基于光度学系统所确定的反射率来校准结构光系统所确定的深度信息并确定相应的第一偏差值，利用经校准的深度信息来反推三维对象的法向信息并确定与光度学系统所确定的法向信息之间的第二偏差值，通过第一偏差值和第二偏差值来确定深度信息、法向信息和反射率是否成功完成调整，有效避免了校准不足或校准过量的问题，使得最终的定位结果能同时满足光度学系统和结构光系统的要求，可以保证所重建的三维对象的精确度。
关于上述的步骤930，在一些实施方式中，可以确定第一校准偏差信息与第二校准偏差信息对应预设偏差权重配置的目标偏差信息，相应地确定第一校准偏差信息和第二校准偏差信息是否满足预设的偏差条件。示例性地，可以将偏差信息进行加权求和，并根据加权求和值是否小于预设误差阈值的比较结果，相应地确定是否满足迭代终止条件。
具体地，基于上述反射特性和条纹定位方法，提出了同时满足光度学系统和结构光系统约束要求的联合目标函数：
Figure GDA0002694216960000121
其中，pij表示坐标(i,j)的图像像素的相位值，xpij表示基于结构光解码所确定的深度信息(例如通过三角测量原理而确定的三维点云)，ps表示光度学系统，sls表示结构光系统，nps表示基于光度学系统而确定的法向信息，
Figure GDA0002694216960000122
表示基于光度学方法获取的反射率信息，λ表示权重值。
此外，Esls(xpij,nps)(在一些情况下，
Figure GDA0002694216960000123
)表示基于结构光解码的深度信息求解的目标场景法向信息与基于光度学系统所确定的目标场景法向信息之间的差值，
Figure GDA0002694216960000124
表示基于结构光系统所确定的深度信息与基于深度信息标定光源的光度学系统所更新的深度信息之间的差值(或灰度差)，
Figure GDA0002694216960000125
表示联合结构光系统和光度学系统的目标函数。
通过上述优化模型，可以将融合结构光系统和光度学系统的三维重建问题按照以下方式进行优化：
Figure GDA0002694216960000126
其中，
Figure GDA0002694216960000127
表示通过结构光系统和三角测量原理所确定的目标物体(或待重建对象)的深度信息，
Figure GDA0002694216960000128
和
Figure GDA0002694216960000129
分别表示通过光度学系统所确定的目标物体的法向和反射率。
也就是说，可以将
Figure GDA00026942169600001210
和
Figure GDA00026942169600001211
作为起始点进行逐步优化(或迭代优化)操作，并将
Figure GDA00026942169600001212
取最小值时所对应的深度信息、法向信息和反射率信息作为相应的最优的深度信息、法向信息和反射率信息。在一些实施方式中，可以将E(xpij,nps,ρij)与设定阈值进行对比，当E(xpij,nps,ρij)大于或等于设定阈值时，可以迭代更新相应的深度信息、反射率或法向信息，直到E(xpij,nps,ρij)小于设定阈值，停止迭代，此时的E(xpij,nps,ρij)即为最小值，实现复杂物体高精度的三维重建。
需说明的是，在结构光条纹定位技术中，常用的解码方式为轮廓拟合方式和加权灰度重心方式，并用以实现条纹边界亚像素定位。在轮廓拟合方式中，通过边缘轮廓函数(例如，线性函数、Sigma函数等)拟合获取亚像素的定位精度。在加权灰度重心方式中，通过灰度加权求均值的方法获取在M＊N的模板内的模板重心，可以获取和基于高斯函数中心点拟合相似的精度。从概率意义上，上述两种方式在本质上是一种基于灰度的参数极大似然估计，未考虑物体的表面反射特性对于条纹定位结果(例如，条纹交界或条纹轮廓)的影响。这里，条纹轮廓可以表示不同的条纹交界类型，例如在二值条纹中，条纹轮廓包括在某一编码方向上“从黑到白”的条纹交界和“从白到黑”的条纹交界。
在本申请实施例的一示例中，可以引入物体表面的反射特性作为先验知识，在现有条纹亚像素定位的基础上，获取对应条纹边界函数参数后验概率估计值。由此，可以有效地消除物体表面的反射特性对于条纹定位结果的影响，从而得到更准确的条纹定位结果，保障了所重建的三维对象的高精确度。
具体地，假定条纹定位信息的灰度变量y满足以下高斯分布：
p(y)＝N(y；u0,σ0 2) 式(1)
其中，u0表示条纹定位信息的高斯分布的均值，σ0表示条纹定位信息的高斯分布的标准差，y表示条纹定位信息的灰度变量，p(y)表示灰度变量y的概率分布，N表示高斯分布。
条纹定位信息的变量y与物体表面的反射率ρ的似然函数为：
p(ρ|y)＝N(ρ；y,uρ,σρ 2) 式(2)
其中，p(ρ|y)表示在条纹定位信息处的物体表面的反射率ρ下灰度变量y的概率分布，uρ表示在条纹定位信息处的物体表面的反射率ρ下条纹定位信息的高斯分布的均值，σρ表示在条纹定位信息处的物体表面的反射率ρ下条纹定位信息的高斯分布的标准差，N()表示高斯分布。
基于Bayesian公式，p(y|ρ)∝p(ρ|y)p(y)，条纹定位信息的y的后验概率分布为：
p(y|ρ)＝N(y|uN,σN 2) 式(3)
Figure GDA0002694216960000131
Figure GDA0002694216960000132
其中，uN是以条纹定位信息处的物体表面的反射率ρ为先验知识求解的条纹定位信息的最大后验概率估计值，σN表示高斯分布N()的标准差。由此，基于先验知识中的反射率与条纹定位信息的数据分布情况，利用统计学中的公式得出反射率对条纹定位信息的影响规律，并以此来校准对应反射率下的条纹定位信息，可以消除物体的表面反射率对条纹定位结果的影响。
在本申请实施例中，通过分步迭代(即以光度学系统所确定的反射率迭代更新结构光系统所确定的深度信息，并以经更新的结构光深度信息更新光度学系统中的法向信息)，进而获取在上述两个系统约束条件下反射率、法向和深度值的最优解(即
Figure GDA0002694216960000133
)满足收敛条件)，从而实现高精度重建三维对象。
在本申请实施例的另一示例中，在利用反射率来更新结构光深度信息时，还可以将光度信息(例如，反射率)和基于N个第一图像所确定的结构光深度信息输入至深度信息校准模型，以相应地输出经校准的结构光深度信息。这里，深度信息校准模型的训练样本集中的每一训练样本包括对应Q个光度信息的结构光深度信息，Q为正整数。这样，深度信息校准模型可以通过样本自动学习光度信息对结构光深度信息的影响，利用机器学习模型来基于所输入的光度信息和由结构光系统所确定的初始深度信息，输出对应光度信息的结构光深度信息，可以降低或补偿因物体表面的光度信息(例如，反射率)对结构光系统的定位结果所造成的误差。
图10示出了根据本申请实施例的基于光度学和结构光的融合系统重建三维对象的一示例的流程图。
如图10所示，在步骤1001中，使用结构光系统确定三维对象的条纹定位信息。
在步骤1003中，基于三角测量原理和三维对象的条纹定位信息，确定三维对象的初步结构光深度信息。
在步骤1005中，基于初步结构光深度信息对光度学系统中的光源进行标定，以实现遮挡检测，避免因遮挡区域而影响光度学系统的测量结果。
在步骤1007中，将使用光度学系统所采集到的图像集提供给反射模型，以由反射模型确定相应的初步法向信息和初步反射率。
在步骤1009中，基于初步法向信息、初步反射率和初步结构光深度信息，计算联合目标函数值E。关于联合目标函数值的具体计算细节，可以参照上文相关实施例中的描述，在此便不赘述。
在步骤1011中，判断联合目标函数值E是否大于预设阈值T阈值。
如果步骤1011中的判断结果为E＞T阈值，则跳转至步骤1013。如果步骤1011中的判断结果为E≤T阈值，则跳转至步骤1015。
在步骤1013中，迭代更新法向信息和结构光深度信息。关于法向信息和结构光深度信息的更新操作的细节，可以参照上文相关实施例中的描述，在此便不赘述。
在步骤1015中，可以将迭代结束时的法向信息、反射率和结构光深度信息，确定为最优的法向信息、反射率和结构光深度信息。
在步骤1017中，利用所确定的最优的法向信息、反射率和结构光深度信息中的一者或多者，重建三维对象，例如可以通过最优的结构光深度信息来重建三维对象，或者可以通过最优的法向信息、反射率来重建三维对象。
在本申请实施例中，融合了光度学系统和结构光系统，并将表面反射率引入到基于结构光系统的条纹定位方法中，最后基于融合系统的联合目标函数约束迭代求解出最优的法向信息、反射率和结构光深度信息。由此，基于光度学与结构光的融合系统，将目标场景(或三维对象的表面)的反射特性引入条纹定位中以消除表面反射率对于条纹定位的影响，进而提高结构光的重建精度，解决了在融合系统下的定位优化问题，通过两步迭代求解最优的三维重建信息，可以有效地改进针对非朗伯表面的重建精度。
图11A示出了待重建的具有丰富纹理的纸张的一示例的示意图。图11B示出了基于第一结构光系统对图11A中的纸张的重建结果的一示例的示意图。图11C示出了基于第二结构光系统对图11A中的纸张的重建结果的一示例的示意图。图11D示出了基于本申请实施例的融合系统对图11A中的纸张的重建结果的一示例的示意图。不难看出，通过融合系统可以有效地降低表面纹理对于重建结果的影响，得到更加平滑、真实的三维重建结果。
图12A示出了待重建的具有多种反射特性的表面的电路板的一示例的示意图。图12B示出了基于单一的结构光系统对图12A中的电路板的重建结果的一示例的示意图。图12C示出了基于本申请实施例的融合系统对图12A中的纸张的重建结果的一示例的示意图。通过对比可以发现，应用本申请实施例的融合系统对由多种反射特性构成的复杂场景进行重建时，可以得到保留更多细节的重建结果。
图13A示出了待重建的碗的一示例的示意图。图13B示出了基于单一的结构光系统对图13A中的碗的重建结果的一示例的示意图。图13C示出了基于单一的光度学系统对图13A中的碗的重建结果的一示例的示意图。图13D示出了基于本申请实施例的融合系统对图13A中的碗的重建结果的一示例的示意图。
通过上述对比结果可知，相比于单一结构光系统，应用本申请实施例中融合系统和相应的解码算法可以获取更平滑和准确的重建结果，并可以降低或消除非朗伯表面反射率差异和表面丰富的纹理对于结构光重建结果的影响。
图14示出了根据本申请实施例的融合结构光和光度学的三维对象重建装置的一示例的结构框图。
如图14所示，融合结构光和光度学的三维对象重建装置1400包括结构光图像获取单元1410、结构光深度信息确定单元1420、光度学图像获取单元1430、光度信息确定单元1440和三维对象重建单元1450。
结构光图像获取单元1410用于获取N个第一图像。这里，每个第一图像是通过将具有编码条纹序列的编码图案投射至三维对象后拍摄所得，N为正整数。
结构光深度信息确定单元1420用于基于所述N个第一图像，确定所述三维对象的结构光深度信息。
光度学图像获取单元1430用于获取M个第二图像，所述M个第二图像是通过将P个光源分别从不同方向投射至所述三维对象后拍摄所得，M和P均为正整数。
光度信息确定单元1440用于基于所述M个第二图像，确定所述三维对象的光度信息。
三维对象重建单元1450用于基于所述结构光深度信息和所述光度信息，重建所述三维对象。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图15是本申请实施例的终端设备的一示例的示意图。如图15所示，该实施例的终端设备1500包括：处理器1510、存储器1520以及存储在所述存储器1520中并可在所述处理器1510上运行的计算机程序1530。所述处理器1510执行所述计算机程序1530时实现上述融合结构光和光度学的三维对象重建方法实施例中的步骤，例如图3所示的步骤310至350。或者，所述处理器1510执行所述计算机程序1530时实现上述各装置实施例中各模块/单元的功能，例如图14所示单元1410至1450的功能。
示例性的，所述计算机程序1530可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器1520中，并由所述处理器1510执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序1530在所述终端设备1500中的执行过程。例如，所述计算机程序1530可以被分割成结构光图像获取模块、结构光深度信息确定模块、光度学图像获取模块、光度信息确定模块以及三维对象重建模块，并分别可用于执行如步骤310至步骤350中的操作。
所述终端设备1500可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器1510、存储器1520。本领域技术人员可以理解，图15仅是终端设备1500的示例，并不构成对终端设备1500的限定，可以包括比图示更多或少的部件，或组合某些部件，或不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器1510可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器1520可以是所述终端设备1500的内部存储单元，例如终端设备1500的硬盘或内存。所述存储器1520也可以是所述终端设备1500的外部存储设备，例如所述终端设备1500上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器1520还可以既包括所述终端设备1500的内部存储单元也包括外部存储设备。所述存储器1520用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器1520还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述单元既可以采用硬件的形式实现，也可以采用软件的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种融合结构光和光度学的三维对象重建方法，其特征在于，包括：
获取N个第一图像，每个第一图像是通过将具有编码条纹序列的编码图案投射至三维对象后拍摄所得，N为正整数；
基于所述N个第一图像，确定所述三维对象的结构光深度信息；
获取M个第二图像，所述M个第二图像是通过将P个光源分别从不同方向投射至所述三维对象后拍摄所得，M和P均为正整数；
基于所述M个第二图像，确定所述三维对象的光度信息；
基于所述光度信息迭代校准所述结构光深度信息，得到相对于所述结构光深度信息的校准偏差信息；
判断所述校准偏差信息是否满足预设的迭代终止条件；以及
当满足时，基于对应满足所述迭代终止条件的经校准的结构光深度信息，重建所述三维对象。
2.如权利要求1所述的融合结构光和光度学的三维对象重建方法，其特征在于，在获取M个第二图像之前，所述方法还包括：
根据所述结构光深度信息确定所述P个光源的位置和投射方向。
3.如权利要求1所述的融合结构光和光度学的三维对象重建方法，其特征在于，所述基于所述M个第二图像，确定所述三维对象的光度信息，具体包括：
将所述M个第二图像输入至与所述三维对象的目标表面类型相匹配的反射模型，以由所述反射模型输出所述三维对象的光度信息。
4.如权利要求1所述的融合结构光和光度学的三维对象重建方法，其特征在于，所述光度信息包括第一光度信息和第二光度信息，
其中，所述基于所述光度信息迭代校准所述结构光深度信息，得到相对于所述结构光深度信息的校准偏差信息，包括：
基于所述第一光度信息迭代校准所述结构光深度信息，得到相对于所述结构光深度信息的第一校准偏差信息；
相应地，所述判断所述校准偏差信息是否满足预设的迭代终止条件，包括：
利用经校准的结构光深度信息校准所述第二光度信息，得到相对于所述第二光度信息的第二校准偏差信息；
判断所述第一校准偏差信息和所述第二校准偏差信息是否满足预设的偏差条件，以相应地确定所述校准偏差信息是否满足预设的迭代终止条件。
5.如权利要求4所述的融合结构光和光度学的三维对象重建方法，其特征在于，所述第一光度信息为反射率，以及所述第二光度信息为法向信息。
6.如权利要求4所述的融合结构光和光度学的三维对象重建方法，其特征在于，所述判断所述第一校准偏差信息和所述第二校准偏差信息是否满足预设的偏差条件，包括：
确定所述第一校准偏差信息与所述第二校准偏差信息对应预设偏差权重配置的目标偏差信息；
根据所述目标偏差信息是否小于预设偏差阈值信息的比较结果，相应地确定所述第一校准偏差信息和所述第二校准偏差信息是否满足预设的偏差条件。
7.如权利要求1所述的融合结构光和光度学的三维对象重建方法，其特征在于，所述基于所述光度信息迭代校准所述结构光深度信息，包括：
将所述光度信息和所述结构光深度信息输入至深度信息校准模型，以相应地输出经校准的结构光深度信息，所述深度信息校准模型的训练样本集中的每一训练样本包括对应Q个光度信息的结构光深度信息，Q为正整数。
8.一种融合结构光和光度学的三维对象重建装置，其特征在于，包括：
结构光图像获取单元，用于获取N个第一图像，每个第一图像是通过将具有编码条纹序列的编码图案投射至三维对象后拍摄所得，N为正整数；
结构光深度信息确定单元，用于基于所述N个第一图像，确定所述三维对象的结构光深度信息；
光度学图像获取单元，用于获取M个第二图像，所述M个第二图像是通过将P个光源分别从不同方向投射至所述三维对象后拍摄所得，M和P均为正整数；
光度信息确定单元，用于基于所述M个第二图像，确定所述三维对象的光度信息；
三维对象重建单元，用于基于所述光度信息迭代校准所述结构光深度信息，得到相对于所述结构光深度信息的校准偏差信息；
判断所述校准偏差信息是否满足预设的迭代终止条件；以及
当满足时，基于对应满足所述迭代终止条件的经校准的结构光深度信息，重建所述三维对象。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
CN202010738438.5A 2020-07-28 2020-07-28 融合结构光和光度学的三维对象重建方法及终端设备 Active CN111951376B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010738438.5A CN111951376B (zh) 2020-07-28 2020-07-28 融合结构光和光度学的三维对象重建方法及终端设备
PCT/CN2020/129563 WO2022021680A1 (zh) 2020-07-28 2020-11-17 融合结构光和光度学的三维对象重建方法及终端设备
US17/927,692 US20230298189A1 (en) 2020-07-28 2020-11-17 Method for reconstructing three-dimensional object combining structured light and photometry and terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010738438.5A CN111951376B (zh) 2020-07-28 2020-07-28 融合结构光和光度学的三维对象重建方法及终端设备

Publications (2)

Publication Number Publication Date
CN111951376A CN111951376A (zh) 2020-11-17
CN111951376B true CN111951376B (zh) 2023-04-07

Family

ID=73339725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010738438.5A Active CN111951376B (zh) 2020-07-28 2020-07-28 融合结构光和光度学的三维对象重建方法及终端设备

Country Status (3)

Country Link
US (1) US20230298189A1 (zh)
CN (1) CN111951376B (zh)
WO (1) WO2022021680A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11223808B1 (en) * 2020-06-30 2022-01-11 Christie Digital Systems Usa, Inc. Device, system and method for generating a mapping of projector pixels to camera pixels and/or object positions using alternating patterns
CN112959322A (zh) * 2021-03-02 2021-06-15 中国科学院深圳先进技术研究院 控制方法、控制装置及终端设备
CN113052898B (zh) * 2021-04-08 2022-07-12 四川大学华西医院 基于主动式双目相机的点云和强反光目标实时定位方法
CN115252992B (zh) * 2022-07-28 2023-04-07 北京大学第三医院（北京大学第三临床医学院） 基于结构光立体视觉的气管插管导航系统
CN117994348A (zh) * 2022-10-31 2024-05-07 华为技术有限公司 一种图像处理方法、相关设备及结构光系统
CN115775303B (zh) * 2023-02-13 2023-05-05 南京航空航天大学 一种基于深度学习与光照模型的高反光物体三维重建方法
DE102023108676A1 (de) 2023-04-05 2024-10-10 Rooom Ag Vorrichtung und Verfahren zur fotogrammetrischen Erstellung eines 3D-Modells eines Objekts mittels strukturiertem Licht
CN116447978B (zh) * 2023-06-16 2023-10-31 先临三维科技股份有限公司 孔位信息检测方法、装置、设备及存储介质
CN117333560B (zh) * 2023-12-01 2024-02-20 北京航空航天大学杭州创新研究院 场景自适应的条纹结构光解码方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504284A (zh) * 2016-10-24 2017-03-15 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
CN106780726A (zh) * 2016-12-23 2017-05-31 陕西科技大学 融合rgb‑d相机和彩色光度立体法的动态非刚体三维数字化方法
CN108520537A (zh) * 2018-03-29 2018-09-11 电子科技大学 一种基于光度视差的双目深度获取方法
CN109978984A (zh) * 2017-12-27 2019-07-05 Tcl集团股份有限公司 人脸三维重建方法及终端设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100581460C (zh) * 2008-05-29 2010-01-20 上海交通大学 测量颜面缺损患者面部三维形貌的方法
EP2668634B1 (en) * 2011-01-24 2019-04-24 Intel Corporation Method and system for acquisition, representation, compression, and transmission of three-dimensional data
EP2869263A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating depth map of a scene
CN106875468B (zh) * 2015-12-14 2020-05-22 深圳先进技术研究院 三维重建装置及方法
US9947099B2 (en) * 2016-07-27 2018-04-17 Microsoft Technology Licensing, Llc Reflectivity map estimate from dot based structured light systems
CN107228625B (zh) * 2017-06-01 2023-04-18 深度创新科技（深圳）有限公司 三维重建方法、装置及设备
CN107677216B (zh) * 2017-09-06 2019-10-29 西安交通大学 一种基于光度立体视觉的多个磨粒三维形貌同步获取方法
US10529086B2 (en) * 2017-11-22 2020-01-07 Futurewei Technologies, Inc. Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system
CN110879947A (zh) * 2018-09-06 2020-03-13 山东理工大学 一种基于一次投影结构光平行条纹图案的实时人脸三维测量方法
CN109682814B (zh) * 2019-01-02 2021-03-23 华中农业大学 一种用tof深度相机修正空间频域成像中组织体表面光照度的方法
CN110264573B (zh) * 2019-05-31 2022-02-18 中国科学院深圳先进技术研究院 基于结构光的三维重建方法、装置、终端设备及存储介质
CN110686599B (zh) * 2019-10-31 2020-07-03 中国科学院自动化研究所 基于彩色格雷码结构光的三维测量方法、系统、装置
CN111009007B (zh) * 2019-11-20 2023-07-14 广州光达创新科技有限公司 一种指部多特征全面三维重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504284A (zh) * 2016-10-24 2017-03-15 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
CN106780726A (zh) * 2016-12-23 2017-05-31 陕西科技大学 融合rgb‑d相机和彩色光度立体法的动态非刚体三维数字化方法
CN109978984A (zh) * 2017-12-27 2019-07-05 Tcl集团股份有限公司 人脸三维重建方法及终端设备
CN108520537A (zh) * 2018-03-29 2018-09-11 电子科技大学 一种基于光度视差的双目深度获取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Zhao Song 等.Eliminating the Effect of Reflectance Properties on Reconstruction in Stripe Structured Light System .《sensors》.2020,第20卷(第22期),第6564页. *
宋钊.基于光度学分析的高精度结构光三维重建方法研究.《中国博士学位论文全文数据库 信息科技辑》.2022,(第1期),第I138-144页. *

Also Published As

Publication number Publication date
US20230298189A1 (en) 2023-09-21
CN111951376A (zh) 2020-11-17
WO2022021680A1 (zh) 2022-02-03

Similar Documents

Publication Publication Date Title
CN111951376B (zh) 融合结构光和光度学的三维对象重建方法及终端设备
CN101697233B (zh) 一种基于结构光的三维物体表面重建方法
CN101118155B (zh) 用于感测反光物体的表面形状的方法和系统
US20120176478A1 (en) Forming range maps using periodic illumination patterns
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
CN111951377B (zh) 三维对象重建方法及终端设备
CN115345822A (zh) 一种面向航空复杂零件的面结构光自动化三维检测方法
KR20130000356A (ko) 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
CN109540023B (zh) 基于二值网格编码模板结构光的物体表面深度值测量方法
CN112050751B (zh) 一种投影仪标定方法、智能终端及存储介质
US9147279B1 (en) Systems and methods for merging textures
JP2024507089A (ja) 画像のコレスポンデンス分析装置およびその分析方法
Garrido-Jurado et al. Simultaneous reconstruction and calibration for multi-view structured light scanning
Tran et al. A Structured Light RGB‐D Camera System for Accurate Depth Measurement
WO2017106562A1 (en) Devices, systems, and methods for measuring and reconstructing the shapes of specular objects by multiview capture
Taubin et al. 3d scanning for personal 3d printing: build your own desktop 3d scanner
CN118482665A (zh) 一种偏振自旋转滤光的结构光三维测量方法及设备
CN112530020B (zh) 三维数据的重建方法、装置、处理器和电子装置
CN112233139A (zh) 用于在3d数据重建过程中检测运动的系统和方法
CN117830504A (zh) 重建三维模型的方法、装置、电子设备及存储介质
Grochulla et al. Combining photometric normals and multi-view stereo for 3d reconstruction
Zhang et al. Accurate measurement of high-reflective surface based on adaptive fringe projection technique
CN114166150A (zh) 一种条纹反射三维测量方法、系统及存储介质
CN116228830B (zh) 一种三角网格编码结构光的三维重建方法及装置
CN113375600B (zh) 一种三维测量方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant