CN111951376A - 融合结构光和光度学的三维对象重建方法及终端设备 - Google Patents

融合结构光和光度学的三维对象重建方法及终端设备 Download PDF

Info

Publication number
CN111951376A
CN111951376A CN202010738438.5A CN202010738438A CN111951376A CN 111951376 A CN111951376 A CN 111951376A CN 202010738438 A CN202010738438 A CN 202010738438A CN 111951376 A CN111951376 A CN 111951376A
Authority
CN
China
Prior art keywords
information
structured light
dimensional object
photometric
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010738438.5A
Other languages
English (en)
Other versions
CN111951376B (zh
Inventor
宋展
宋钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202010738438.5A priority Critical patent/CN111951376B/zh
Priority to PCT/CN2020/129563 priority patent/WO2022021680A1/zh
Priority to US17/927,692 priority patent/US20230298189A1/en
Publication of CN111951376A publication Critical patent/CN111951376A/zh
Application granted granted Critical
Publication of CN111951376B publication Critical patent/CN111951376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请适用于计算机视觉技术领域，提供了一种融合结构光和光度学的三维对象重建方法及终端设备，其中该方法包括：获取N个第一图像，每个第一图像是通过将具有编码条纹序列的编码图案投射至三维对象后拍摄所得，N为正整数；基于N个第一图像，确定三维对象的结构光深度信息；获取M个第二图像，M个第二图像是通过将P个光源分别从不同方向投射至三维对象后拍摄所得，M和P均为正整数；基于M个第二图像，确定三维对象的光度信息；基于结构光深度信息和所述光度信息，重建三维对象。由此，融合了结构光系统和光度学系统来重建三维对象，提高了针对具有复杂表面的三维对象的三维重建结果的精确度。

Description

融合结构光和光度学的三维对象重建方法及终端设备
技术领域
本申请属于计算机视觉技术领域，尤其涉及一种融合结构光和光度学的三 维对象重建方法及终端设备。
背景技术
三维扫描技术发展迅速，目前已应用到了工业检测、设计、动漫及电影特 效制作、3D展示、虚拟手术、反求工程等诸多领域和行业。
从现有的三维扫描技术手段来看，以激光三维扫描和投影结构光三维扫描 技术为主，激光三维扫描系统通过投射激光线或者点阵，用摄像头捕捉投射的 激光特征，通过三角测量恢复物体的三维深度信息，但这种逐点和逐线的扫描 方式主要缺点就是速度慢。在基于投影仪的结构光三维扫描系统中，其通过结 构光编码技术，实现整个面的一次性测量，具有速度快和精度高的明显优势， 因而基于投影的结构光三维扫描技术已成为目前的主流技术手段。
目前，基于投影仪的结构光三维扫描系统对于物体的具有无纹理的朗伯表 面能够产生较佳的重建效果，三维物体重建(或，三维重建)是指构建物体所 对应的三维模型。然而，对于物体的有纹理的朗伯表面和非朗伯表面，由于物 体表面纹理对于条纹定位的影响(例如，反射率、内部遮挡等)，存在因物体 表面的反射率和纹理所造成的误差，导致物体的重建精度不高。
发明内容
有鉴于此，本申请实施例提供了一种融合结构光和光度学的三维对象重建 方法及终端设备，以解决针对具有复杂表面(带纹理的朗伯表面和非朗伯表面) 的物体的三维重建结果的精确度不高的问题。
本申请实施例的第一方面提供了一种融合结构光和光度学的三维对象重建 方法，包括：获取N个第一图像，每个第一图像是通过将具有编码条纹序列的 编码图案投射至三维对象后拍摄所得，N为正整数；基于所述N个第一图像， 确定所述三维对象的结构光深度信息；获取M个第二图像，所述M个第二图像 是通过将P个光源分别从不同方向投射至所述三维对象后拍摄所得，M和P均 为正整数；基于所述M个第二图像，确定所述三维对象的光度信息；基于所述 结构光深度信息和所述光度信息，重建所述三维对象。
本申请实施例的第二方面提供了一种融合结构光和光度学的三维对象重建 装置，包括：结构光图像获取单元，用于获取N个第一图像，每个第一图像是 通过将具有编码条纹序列的编码图案投射至三维对象后拍摄所得，N为正整数； 结构光深度信息确定单元，用于基于所述N个第一图像，确定所述三维对象的 结构光深度信息；光度学图像获取单元，用于获取M个第二图像，所述M个第 二图像是通过将P个光源分别从不同方向投射至所述三维对象后拍摄所得，M 和P均为正整数；光度信息确定单元，用于基于所述M个第二图像，确定所述 三维对象的光度信息；三维对象重建单元，用于基于所述结构光深度信息和所 述光度信息，重建所述三维对象。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及 存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行 所述计算机程序时实现如上述方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可 读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方 法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品 在终端设备上运行时，使得终端设备实现如上述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：
在利用结构光系统采集三维对象的结构光深度图像(或三维点云信息)的 同时，还利用该光度学系统采集三维对象在不同方向上的图像，使得在实现得 到三维对象的结构光深度信息的同时还可以得到三维对象的光度信息，进而结 合结构光深度信息和光度信息重建三维对象。由此，融合了结构光系统和光度 学系统来定位和重建三维对象，可以利用光度信息来修正因三维对象的表面纹 理(例如，纹理反射率)所导致的结构光条纹定位误差，从而提高了针对具有 复杂表面的三维对象的三维重建结果的精确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅 仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳 动的前提下，还可以根据这些附图获得其他的附图。
图1示出了适于应用根据本申请实施例的融合结构光和光度学的三维对象 重建方法的结构光系统一示例的架构示意图；
图2示出了适于应用根据本申请实施例的融合结构光和光度学的三维对象 重建方法的光度学系统一示例的架构示意图；
图3示出了根据本申请实施例的融合结构光和光度学的三维对象重建方法 的一示例的流程图；
图4示出了4位格雷码结构光编码图案的一示例的示意图；
图5A示出了4位格雷码加4位线移结构光编码图案的一示例的示意图；
图5B示出了8位格雷码加4位线移的二值格雷码结构光编码图案的一示例 的示意图；
图6示出了根据本申请实施例的标定光度学系统中的光源的一示例的流程 图；
图7示出了根据本申请实施例的确定三维对象的光度信息的一示例的流程 图；
图8示出了根据本申请实施例的基于结构光深度信息和光度信息重建三维 对象的一示例的流程图；
图9示出了根据本申请实施例的确定校准偏差信息是否满足迭代终止条件 的一示例的流程图；
图10示出了根据本申请实施例的基于光度学和结构光的融合系统重建三 维对象的一示例的流程图；
图11A示出了待重建的具有丰富纹理的纸张的一示例的示意图；
图11B示出了基于第一结构光系统对图11A中的纸张的重建结果的一示例 的示意图；
图11C示出了基于第二结构光系统对图11A中的纸张的重建结果的一示例 的示意图；
图11D示出了基于本申请实施例的融合系统对图11A中的纸张的重建结果 的一示例的示意图；
图12A示出了待重建的具有多种反射特性的表面的电路板的一示例的示意 图；
图12B示出了基于单一的结构光系统对图12A中的电路板的重建结果的一 示例的示意图；
图12C示出了基于本申请实施例的融合系统对图12A中的纸张的重建结果 的一示例的示意图；
图13A示出了待重建的碗的一示例的示意图；
图13B示出了基于单一的结构光系统对图13A中的碗的重建结果的一示例 的示意图；
图13C示出了基于单一的光度学系统对图13A中的碗的重建结果的一示例 的示意图；
图13D示出了基于本申请实施例的融合系统对图13A中的碗的重建结果的 一示例的示意图；
图14示出了根据本申请实施例的融合结构光和光度学的三维对象重建装 置的一示例的结构框图；
图15是本申请实施例的终端设备的一示例的示意图。
具体实施方式
结构光三维扫描系统的核心是编、解码算法，按照编码方式划分，现有的 结构光三维扫描技术可分为时间编码、空间编码和混合编码三类。
时间编码结构光技术以其编码容量大、重建分辨率高的优点而被广泛研究 和使用，常用的时间编码方案有格雷码结构光编码(例如，格雷码序列、格雷 码序列加线移和格雷码序列加相移)和二值结构光编码(以“0”(纯黑)和“255” (纯白)为编码基元)。另外，利用不同的灰度值编码的条纹序列(即编码图 案)进行投影，并基于条纹定位解码的结构光技术被称为条纹结构光技术，例 如当采用二值编码图案时，对应的条纹结构光技术可以被成为二值条纹结构光 技术。
在条纹结构光技术中，条纹的定位解码精度是影响三维重建结果的重要因 素。对于无纹理的朗伯表面，条纹轮廓的调制源自于表面形状，条纹结构光技 术可以获得微米级的测量精度。对于非朗伯表面，条纹轮廓的调制除了来自于 表面形状，还与表面纹理和表面反射率变化有关，而条纹结构光技术往往忽略 表面反射率和纹理对于条纹边界轮廓的调制，因此无法较精准地重建有纹理的 朗伯表面和非朗伯表面，在重建复杂场景时，由物体形状引起的遮挡和内反射 造成编码信息的污染，使得重建结果也容易出现噪声和误差。
光度学三维扫描系统是以针对三维对象的不同打光方向的目标图像作为输 入，然后基于假设的物体表面反射特性模型(或，反射模型)，建立方程求解 物体表面法向和反射率，从而实现重建三维对象的模型。这里，常用的反射特 性模型包括朗伯反射模型(朗伯表面)、Phong反射模型(高反光表面)及BRDF (一般表面)等。
然而，三维对象的表面可能是复杂表面，例如可能由具有不同反射特性子 区域构成，而使用单一的光学模型假设均会导致法向场计算误差较大，并且通 过单一的光度学方法也难以得到三维对象的绝对深度信息，使得所重建的三维 对象的精确度较低。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术 之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当 清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中， 省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节 妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示 所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多 个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施 例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使 用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个” 及“该”意在包括复数形式。
具体实现中，本申请实施例中描述的移动终端包括但不限于诸如具有触摸 敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板 计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，上述设备 并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸 板)的台式计算机。
在接下来的讨论中，描述了包括显示器和触摸敏感表面的移动终端。然而， 应当理解的是，移动终端可以包括诸如物理键盘、鼠标和/或控制杆的一个或多 个其它物理用户接口设备。
可以在移动终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少 一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和 /或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终 端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明 的用户界面的各种应用程序。
另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于 区分描述，而不能理解为指示或暗示相对重要性。
图1示出了适于应用根据本申请实施例的融合结构光和光度学的三维对象 重建方法的结构光系统一示例的架构示意图。
如图1所示，结构光系统100中设有计算机10、相机20、投影仪30和物 体(或，待重建的对象)40。通过计算机10可以设定投影仪30的编码图案， 在需要进行三维重建时，投影仪30向指定区域(例如，用于放置物体40的区 域)进行投射。进而，通过相机20可以采集指定区域中的物体40的图像，计 算机10可以对由相机20所采集的物体的图像中的编码信息进行解码，以重建 物体的三维信息。
应理解的是，上述结合图1中所描述的设备类型仅用作示例，例如可以将 相机20替换为其他的具有图像采集功能的设备，计算机10可以是其他具有处 理功能的移动终端，等等。
图2示出了适于应用根据本申请实施例的融合结构光和光度学的三维对象 重建方法的光度学系统一示例的架构示意图。
如图2所示，光度学系统200中设有物体(或，待重建的对象)210、多个 (例如，P个，P为正整数)面光源220、控制板230和相机240。在需要进行 三维重建操作时，可以由控制板230控制多个面光源220轮流进行打光，并通 过相机240采集对应不同光源方向的灰度图像。进而，控制板230可以基于各 个灰度图像求得物体表面的反射方程与法向量，对法向量积分可恢复物体表面 各点的相对高度，以重建物体的三维信息。
应理解的是，上述结合图2中所描述的设备类型仅用作示例，例如可以将 控制板230替换为其他的具有处理功能的移动终端，多个方位的面光源也可以 替换为点光源，等等。此外，还可以将图1中的结构光系统与图2中的光度学 系统进行融合，融合系统可以在实现结构光系统和光度学系统的功能的同时还 能简化系统硬件设备，例如两个系统之间可以共用相机、计算机等。
图3示出了根据本申请实施例的融合结构光和光度学的三维对象重建方法 的一示例的流程图。本申请实施例的三维对象重建方法可以是由移动终端(例 如，计算机10)来执行的，旨在通过执行控制或处理操作，以重建高精度的三 维对象。
如图3所示，在步骤310中，获取N个第一图像，N为正整数。这里，每 个第一图像是通过将具有编码条纹序列的编码图案投射至三维对象后拍摄所 得。示例性地，可以使用结构光系统(如图1所示)来投射预设数量个编码图 案，并对在三维对象上的编码图案进行采集，得到对应的图像。
这里，第一图像的数量N可以是与所投射的编码图案的数量相匹配，例如 当投射8张编码图案时所对应采集到的检测对象图案的数量也可以是8个。需 说明的是，编码图案的数量可以是与编码位数相关，例如当采用8位编码序列 时，所对应的编码图案的数量为8张。
此外，每一编码图案具有由平行的多个编码条纹组成的唯一编码条纹序列 和在相邻的编码条纹之间的条纹交界。在本申请实施例中，可以采用各种条纹 定位方案(例如，像素中心解码定位方案)。在一些实施方式中，还可以是采 用基于条纹交界的解码定位方案，能够实现高精度(例如，亚像素级别)的定 位效果，更多细节将在下文中展开。
需说明的是，本申请实施例中的编码图案可以采用各种结构光条纹编码技 术中的编码图案，例如二值结构光编码图案、格雷码结构光编码图案或二值格 雷码图案等，在此应不加限制。
图4示出了4位格雷码结构光编码图案的一示例的示意图。
如图4所示，在使用4位格雷码结构光编码图案进行三维重建时，其需要 在不同时序投射4幅编码图像，这样格雷码图案中共包含24-1＝15个条纹交界， 每一条纹交界具有对应的排列号和编码值。在上述4幅不同时序的格雷码结构 光编码图案中，不同的强度图像中的条纹边界互不重合，因此其格雷码值或相 位编码值不易被误判，可以实现格雷码值与条纹交界之间的映射关系。另外， 当格雷码结构光编码图案是由黑色条纹和白色条纹组成时，格雷码结构光编码 图案为二值格雷码结构光编码图案。
理论上，基于条纹交界的格雷码方案中，当编码图案中的最细条纹宽度为1个象素时，格雷码交界解码才能获得与象素中心解码相同的图像采样点密度。 因此，在投射格雷码编码图案的基础上，还可以继续投射线移图案，以在格雷 码条纹交界解码的基础上提升图像点采样密度，从而保证图像采样点的亚象素 准确度定位。
图5A示出了4位格雷码加4位线移结构光编码图案的一示例的示意图。
如图5A所示，在投射4幅格雷码图案后，还可以依次投射4幅周期线移条 纹图案。格雷码条纹交界和线移条纹中心均不重合，相距0.5个条纹宽度。因 此，将二者结合解码，将中心定位线(实线)与条纹交界定位线(虚线)结合 成最终的定位线(实线和虚线交替出现)，可将图像采样点密度由单条纹宽度 提高到0.5条纹宽度，例如，当单条纹宽度在强度图像中为1个象素时，图像 采样点密度约为0.5个象素宽，可以实现亚像素级的高精度定位。
图5B示出了8位格雷码加4位线移的二值格雷码结构光编码图案的一示例 的示意图。如上面所介绍的一样，本申请实施例还可以采用8位格雷码加4位 线移二值格雷码结构光编码图案或其他编码图案(例如，10位格雷码等)。
在本申请实施例的一些示例中，条纹交界的编码信息直接被携带在投影仪 所投影的编码图案中，便于解码但给编码图案的设定工作增添了负担，例如可 能需要指出相同灰度值的相邻条纹(例如，两条相邻的白条纹)之间的交界信 息。在本申请实施例的另一些示例中，还可以将编码图案进行正反(即，将条 纹灰度值进行反转)两次投射，通过正反条纹投影，例如正向投射的编码图案 是0-0-0-0-255-255-255-255，反向的编码图案是255-255-255-255-0-0-0-0， 由此可以将正反条纹的零交叉点作为编码图案的条纹交界，取正反条纹拟合直 线交点获取条纹亚像素精度的定位结果。
在步骤320中，基于N个第一图像，确定三维对象的结构光深度信息。具 体地，可以通过解析第一图像中各个像素的条纹定位信息，并基于三角测量原 理解析出三维对象的绝对深度信息，具体细节还可以参照目前相关技术中的描 述。
在步骤330中，获取M个第二图像。这里，M个第二图像是通过将P个光 源分别从不同方向投射至三维对象后拍摄所得，M和P均为正整数。示例性地， 可以使用光度学系统(如图2所示)来轮流控制P个面光源从不同方向对三维 对象进行打光，并由相机来从不同的角度来采集三维对象的图像。
在步骤340中，基于M个第二图像，确定三维对象的光度信息。这里，光 度信息包括法向信息和反射率，例如可以根据M个第二图像求得物体表面的反 射方程与法向量。此外，光度信息还可以包括其他参数信息，例如从反射率分 解出的诸如漫反射分量、镜面反射分量和折射分量之类的关键亮度值。
在步骤350中，基于结构光深度信息和光度信息，重建三维对象。
需说明的是，虽然图3所示的流程中的各个步骤是顺序进行的，但其仅用 作示例而并不旨在限制，例如在一些示例中，还可以先执行步骤330和步骤340， 后执行步骤310和步骤320。
在本申请实施例中，通过融合结构光系统和光度学系统，可以降低或消除 因物体表面的纹理的反射率、法向量等信息而导致的结构光定位结果的误差， 能够适用于针对具有各种复杂表面的三维物体，且可以保障一定的重建精度。
需说明的是，在使用光度学系统之前，可以先对光度学系统中的各个光源 的方位进行标定，以保障较佳的光度立体重建效果。图6示出了根据本申请实 施例的标定光度学系统中的光源的一示例的流程图。
如图6所示，在步骤610中，基于结构光深度信息检测P个光源所投射的 光是否无法覆盖的三维对象的表面。这里，可以先使用结构光系统来确定三维 对象的初步深度图，之后利用初步深度图来对光度学系统中的光源进行标定。
在步骤620中，在P个光源所投射的光无法覆盖三维对象的表面时，根据 结构光深度信息确定P个光源的位置和投射方向。具体地，通过初始深度图像 对结构光系统中的光源进行标定，例如在设定位置范围和方向区间范围内筛选 各个光源所适宜的位置和投射方向，使得光度学系统的光源能够完全覆盖三维 对象的表面，而不会存在遮挡区域。
在本申请实施例中，可以利用初步深度图中的结构光深度信息来确定三维 对象的初步三维点云结构，并且当前光度学系统中各个光源的投射光可能无法 覆盖上述的初步三维点云结构，并基于初步三维点云结构和目前的光度学系统 的光源进行标定来完成遮挡检测，从而剔除遮挡部分对于光度学系统的影响。
关于上述的步骤340的一些实施方式，可以将M个第二图像输入至与三维 对象的目标表面类型相匹配的反射模型，以由反射模型输出三维对象的光度信 息。图7示出了根据本申请实施例的确定三维对象的光度信息(即上述步骤340) 的一示例的流程图。
如图7所示，在步骤710中，获取三维对象的目标表面类型。这里，表面 类型可以是多样化的，例如金属反射表面、陶瓷的半透明反射表面等等。在本 申请实施例的一些示例中，可以通过各种潜在的或已知的表面类型检测技术来 检测待重建的三维对象的目标表面类型。在本申请实施例的另一些示例中，可 以通过接收用户操作来指定待重建的三维对象的目标表面类型。
在步骤720中，从预设的反射模型集中确定与目标表面类型相匹配的反射 模型。这里，反射模型集中的每一反射模型分别配置有相应的表面类型，例如 针对典型的非朗伯表面(金属、陶瓷等)，可以预配置对应的反射模型来表征 其表面反射率。
在步骤730中，将M个第二图像输入至所确定的反射模型，以由该反射模 型输出三维对象的光度信息。
在本申请实施例的一些示例中，对于金属反射表面，可以采用Phong模型 对物体表面反射特性进行建模，对于陶瓷的半透明反射表面，可以采用具有分 层反射结构的Hanrahan–Krueger(HK)模型进行建模。由此，针对不同的表面 类型调用相应的反射模型来求解三维对象的光度信息，可以保障所确定的三维 对象的光度信息的高精确度。
图8示出了根据本申请实施例的基于结构光深度信息和光度信息重建三维 对象的一示例的流程图。
如图8所示，在步骤810中，基于光度信息迭代校准结构光深度信息，得 到相对于结构光深度信息的校准偏差信息。
需说明的是，物体表面(例如，物体表面的纹理)的反射率的变化会导致 结构光条纹定位的误差。在本申请实施例的一些示例中，可以依据预设的反射 率对条纹定位的影响规律(例如，可以基于先验知识或训练模型而确定的)， 针对三维对象中的每一像素所对应的条纹定位信息(或者，基于N个第一图像 所确定的结构光深度信息)进行校准，从而得到相应的更新后的结构光深度信 息，并计算在深度更新前后在结构光深度信息上的偏差值。
具体地，可以在经更新的深度图(或三维点云结构)的基础上，通过法向 量计算准则，求取相应的三维对象的法向量信息，关于法向计算准则的细节， 可以参照目前相关技术中的描述，在此便不赘述。
在步骤820中，判断校准偏差信息是否满足预设的迭代终止条件。这里， 迭代终止条件可以是表示针对上述步骤810中的迭代校准操作的终止条件。
如果步骤820中的判断结果指示满足预设的迭代终止条件，则跳转至步骤 830中的操作。如果步骤820中的判断结果指示不满足预设的迭代终止条件， 则跳转至步骤810。
在步骤830中，基于对应满足所述迭代终止条件的经校准的结构光深度信 息，重建三维对象。
在本申请实施例中，基于光度信息迭代校准结构光深度信息，补偿因表面 纹理的反射率等光度信息所导致的结构光深度信息的误差，可以保障高精度的 三维重建结果。
在本申请实施例的一些示例中，光度信息可以包括第一光度信息和第二光 度信息。图9示出了根据本申请实施例的确定校准偏差信息是否满足迭代终止 条件的一示例的流程图。
如图9所示，在步骤910中，基于第一光度信息迭代校准结构光深度信息， 得到相对于结构光深度信息的第一校准偏差信息。
在步骤920中，利用经校准的结构光深度信息校准第二光度信息，得到相 对于第二光度信息的第二校准偏差信息。示例性地，可以从经校准的结构光深 度信息求解出新的第二光度信息，并将新的第二光度信息与原始的第二光度信 息进行对比，从而得到相应的第二校准偏差信息。
在步骤930中，判断第一校准偏差信息和第二校准偏差信息是否满足预设 的偏差条件，以相应地确定校准偏差信息是否满足预设的迭代终止条件。
在一些实施方式中，第一光度信息可以是反射率，以及第二光度信息可以 是法向信息。这样，可以基于光度学系统所确定的反射率来校准结构光系统所 确定的深度信息并确定相应的第一偏差值，利用经校准的深度信息来反推三维 对象的法向信息并确定与光度学系统所确定的法向信息之间的第二偏差值，通 过第一偏差值和第二偏差值来确定深度信息、法向信息和反射率是否成功完成 调整，有效避免了校准不足或校准过量的问题，使得最终的定位结果能同时满 足光度学系统和结构光系统的要求，可以保证所重建的三维对象的精确度。
关于上述的步骤930，在一些实施方式中，可以确定第一校准偏差信息与 第二校准偏差信息对应预设偏差权重配置的目标偏差信息，相应地确定第一校 准偏差信息和第二校准偏差信息是否满足预设的偏差条件。示例性地，可以将 偏差信息进行加权求和，并根据加权求和值是否小于预设误差阈值的比较结果， 相应地确定是否满足迭代终止条件。
具体地，基于上述反射特性和条纹定位方法，提出了同时满足光度学系统 和结构光系统约束要求的联合目标函数：
Figure BDA0002605933810000121
其中，pij表示坐标(i,j)的图像像素的相位值，xpij表示基于结构光解 码所确定的深度信息(例如通过三角测量原理而确定的三维点云)，ps表示光 度学系统，sls表示结构光系统，nps表示基于光度学系统而确定的法向信息，
Figure BDA0002605933810000122
表示基于光度学方法获取的反射率信息，λ表示权重值。
此外，Esls(xpij,nps)(在一些情况下，
Figure BDA0002605933810000123
)表示基于结构光解 码的深度信息求解的目标场景法向信息与基于光度学系统所确定的目标场景法 向信息之间的差值，
Figure BDA0002605933810000124
表示基于结构光系统所确定的深度信息与基 于深度信息标定光源的光度学系统所更新的深度信息之间的差值(或灰度差)，
Figure BDA0002605933810000125
表示联合结构光系统和光度学系统的目标函数。
通过上述优化模型，可以将融合结构光系统和光度学系统的三维重建问题 按照以下方式进行优化：
Figure BDA0002605933810000126
其中，
Figure BDA0002605933810000127
表示通过结构光系统和三角测量原理所确定的目标物体(或待重 建对象)的深度信息，
Figure BDA0002605933810000128
和
Figure BDA0002605933810000129
分别表示通过光度学系统所确定的目标物体的法 向和反射率。
也就是说，可以将
Figure BDA00026059338100001210
和
Figure BDA00026059338100001211
作为起始点进行逐步优化(或迭代优化)操 作，并将
Figure BDA00026059338100001212
取最小值时所对应的深度信息、法向信息和反射率信息作 为相应的最优的深度信息、法向信息和反射率信息。在一些实施方式中，可以 将
Figure BDA00026059338100001213
与设定阈值进行对比，当
Figure BDA00026059338100001214
大于或等于设定阈值时， 可以迭代更新相应的深度信息、反射率或法向信息，直到E(xpij,nps,ρij)小于设定 阈值，停止迭代，此时的E(xpij,nps,ρij)即为最小值，实现复杂物体高精度的三维 重建。
需说明的是，在结构光条纹定位技术中，常用的解码方式为轮廓拟合方式 和加权灰度重心方式，并用以实现条纹边界亚像素定位。在轮廓拟合方式中， 通过边缘轮廓函数(例如，线性函数、Sigma函数等)拟合获取亚像素的定位 精度。在加权灰度重心方式中，通过灰度加权求均值的方法获取在M＊N的模板 内的模板重心，可以获取和基于高斯函数中心点拟合相似的精度。从概率意义 上，上述两种方式在本质上是一种基于灰度的参数极大似然估计，未考虑物体 的表面反射特性对于条纹定位结果(例如，条纹交界或条纹轮廓)的影响。这 里，条纹轮廓可以表示不同的条纹交界类型，例如在二值条纹中，条纹轮廓包 括在某一编码方向上“从黑到白”的条纹交界和“从白到黑”的条纹交界。
在本申请实施例的一示例中，可以引入物体表面的反射特性作为先验知识， 在现有条纹亚像素定位的基础上，获取对应条纹边界函数参数后验概率估计值。 由此，可以有效地消除物体表面的反射特性对于条纹定位结果的影响，从而得 到更准确的条纹定位结果，保障了所重建的三维对象的高精确度。
具体地，假定条纹定位信息的灰度变量y满足以下高斯分布：
p(y)＝N(y；u0,σ0 2) 式(1)
其中，u0表示条纹定位信息的高斯分布的均值，σ0表示条纹定位信息的高 斯分布的标准差，y表示条纹定位信息的灰度变量，p(y)表示灰度变量y的概 率分布，N表示高斯分布。
条纹定位信息的变量y与物体表面的反射率ρ的似然函数为：
p(ρ|y)＝N(ρ；y,uρ,σρ 2) 式(2)
其中，p(ρ|y)表示在条纹定位信息处的物体表面的反射率ρ下灰度变量y 的概率分布，uρ表示在条纹定位信息处的物体表面的反射率ρ下条纹定位信息 的高斯分布的均值，σρ表示在条纹定位信息处的物体表面的反射率ρ下条纹定 位信息的高斯分布的标准差，N()表示高斯分布。
基于Bayesian公式，p(y|ρ)∝p(ρ|y)p(y)，条纹定位信息的y的后验概率 分布为：
p(y|ρ)＝N(y|uN,σN 2) 式(3)
Figure RE-GDA0002694216960000131
Figure RE-GDA0002694216960000132
其中，uN是以条纹定位信息处的物体表面的反射率ρ为先验知识求解的条 纹定位信息的最大后验概率估计值，σN表示高斯分布N()的标准差。由此， 基于先验知识中的反射率与条纹定位信息的数据分布情况，利用统计学中的公 式得出反射率对条纹定位信息的影响规律，并以此来校准对应反射率下的条纹 定位信息，可以消除物体的表面反射率对条纹定位结果的影响。
在本申请实施例中，通过分步迭代(即以光度学系统所确定的反射率迭代 更新结构光系统所确定的深度信息，并以经更新的结构光深度信息更新光度学 系统中的法向信息)，进而获取在上述两个系统约束条件下反射率、法向和深 度值的最优解(即
Figure BDA0002605933810000132
满足收敛条件)，从而实现高精度重建三维对象。
在本申请实施例的另一示例中，在利用反射率来更新结构光深度信息时， 还可以将光度信息(例如，反射率)和基于N个第一图像所确定的结构光深度 信息输入至深度信息校准模型，以相应地输出经校准的结构光深度信息。这里， 深度信息校准模型的训练样本集中的每一训练样本包括对应Q个光度信息的结 构光深度信息，Q为正整数。这样，深度信息校准模型可以通过样本自动学习 光度信息对结构光深度信息的影响，利用机器学习模型来基于所输入的光度信 息和由结构光系统所确定的初始深度信息，输出对应光度信息的结构光深度信 息，可以降低或补偿因物体表面的光度信息(例如，反射率)对结构光系统的 定位结果所造成的误差。
图10示出了根据本申请实施例的基于光度学和结构光的融合系统重建三 维对象的一示例的流程图。
如图10所示，在步骤1001中，使用结构光系统确定三维对象的条纹定位 信息。
在步骤1003中，基于三角测量原理和三维对象的条纹定位信息，确定三维 对象的初步结构光深度信息。
在步骤1005中，基于初步结构光深度信息对光度学系统中的光源进行标 定，以实现遮挡检测，避免因遮挡区域而影响光度学系统的测量结果。
在步骤1007中，将使用光度学系统所采集到的图像集提供给反射模型，以 由反射模型确定相应的初步法向信息和初步反射率。
在步骤1009中，基于初步法向信息、初步反射率和初步结构光深度信息， 计算联合目标函数值E。关于联合目标函数值的具体计算细节，可以参照上文 相关实施例中的描述，在此便不赘述。
在步骤1011中，判断联合目标函数值E是否大于预设阈值T阈值。
如果步骤1011中的判断结果为E＞T阈值，则跳转至步骤1013。如果步骤1011 中的判断结果为E≤T阈值，则跳转至步骤1015。
在步骤1013中，迭代更新法向信息和结构光深度信息。关于法向信息和结 构光深度信息的更新操作的细节，可以参照上文相关实施例中的描述，在此便 不赘述。
在步骤1015中，可以将迭代结束时的法向信息、反射率和结构光深度信息， 确定为最优的法向信息、反射率和结构光深度信息。
在步骤1017中，利用所确定的最优的法向信息、反射率和结构光深度信息 中的一者或多者，重建三维对象，例如可以通过最优的结构光深度信息来重建 三维对象，或者可以通过最优的法向信息、反射率来重建三维对象。
在本申请实施例中，融合了光度学系统和结构光系统，并将表面反射率引 入到基于结构光系统的条纹定位方法中，最后基于融合系统的联合目标函数约 束迭代求解出最优的法向信息、反射率和结构光深度信息。由此，基于光度学 与结构光的融合系统，将目标场景(或三维对象的表面)的反射特性引入条纹 定位中以消除表面反射率对于条纹定位的影响，进而提高结构光的重建精度， 解决了在融合系统下的定位优化问题，通过两步迭代求解最优的三维重建信息， 可以有效地改进针对非朗伯表面的重建精度。
图11A示出了待重建的具有丰富纹理的纸张的一示例的示意图。图11B示 出了基于第一结构光系统对图11A中的纸张的重建结果的一示例的示意图。图 11C示出了基于第二结构光系统对图11A中的纸张的重建结果的一示例的示意 图。图11D示出了基于本申请实施例的融合系统对图11A中的纸张的重建结果 的一示例的示意图。不难看出，通过融合系统可以有效地降低表面纹理对于重 建结果的影响，得到更加平滑、真实的三维重建结果。
图12A示出了待重建的具有多种反射特性的表面的电路板的一示例的示意 图。图12B示出了基于单一的结构光系统对图12A中的电路板的重建结果的一 示例的示意图。图12C示出了基于本申请实施例的融合系统对图12A中的纸张 的重建结果的一示例的示意图。通过对比可以发现，应用本申请实施例的融合 系统对由多种反射特性构成的复杂场景进行重建时，可以得到保留更多细节的 重建结果。
图13A示出了待重建的碗的一示例的示意图。图13B示出了基于单一的结 构光系统对图13A中的碗的重建结果的一示例的示意图。图13C示出了基于单 一的光度学系统对图13A中的碗的重建结果的一示例的示意图。图13D示出了 基于本申请实施例的融合系统对图13A中的碗的重建结果的一示例的示意图。
通过上述对比结果可知，相比于单一结构光系统，应用本申请实施例中融 合系统和相应的解码算法可以获取更平滑和准确的重建结果，并可以降低或消 除非朗伯表面反射率差异和表面丰富的纹理对于结构光重建结果的影响。
图14示出了根据本申请实施例的融合结构光和光度学的三维对象重建装 置的一示例的结构框图。
如图14所示，融合结构光和光度学的三维对象重建装置1400包括结构光 图像获取单元1410、结构光深度信息确定单元1420、光度学图像获取单元1430、 光度信息确定单元1440和三维对象重建单元1450。
结构光图像获取单元1410用于获取N个第一图像。这里，每个第一图像是 通过将具有编码条纹序列的编码图案投射至三维对象后拍摄所得，N为正整数。
结构光深度信息确定单元1420用于基于所述N个第一图像，确定所述三维 对象的结构光深度信息。
光度学图像获取单元1430用于获取M个第二图像，所述M个第二图像是通 过将P个光源分别从不同方向投射至所述三维对象后拍摄所得，M和P均为正 整数。
光度信息确定单元1440用于基于所述M个第二图像，确定所述三维对象的 光度信息。
三维对象重建单元1450用于基于所述结构光深度信息和所述光度信息，重 建所述三维对象。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与 本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见 方法实施例部分，此处不再赘述。
图15是本申请实施例的终端设备的一示例的示意图。如图15所示，该实 施例的终端设备1500包括：处理器1510、存储器1520以及存储在所述存储器 1520中并可在所述处理器1510上运行的计算机程序1530。所述处理器1510 执行所述计算机程序1530时实现上述融合结构光和光度学的三维对象重建方 法实施例中的步骤，例如图3所示的步骤310至350。或者，所述处理器1510 执行所述计算机程序1530时实现上述各装置实施例中各模块/单元的功能，例 如图14所示单元1410至1450的功能。
示例性的，所述计算机程序1530可以被分割成一个或多个模块/单元，所 述一个或者多个模块/单元被存储在所述存储器1520中，并由所述处理器1510 执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一 系列计算机程序指令段，该指令段用于描述所述计算机程序1530在所述终端设 备1500中的执行过程。例如，所述计算机程序1530可以被分割成结构光图像 获取模块、结构光深度信息确定模块、光度学图像获取模块、光度信息确定模 块以及三维对象重建模块，并分别可用于执行如步骤310至步骤350中的操作。
所述终端设备1500可以是桌上型计算机、笔记本、掌上电脑及云端服务器 等计算设备。所述终端设备可包括，但不仅限于，处理器1510、存储器1520。 本领域技术人员可以理解，图15仅是终端设备1500的示例，并不构成对终端 设备1500的限定，可以包括比图示更多或少的部件，或组合某些部件，或不同 的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器1510可以是中央处理单元(Central Processing Unit，CPU)， 还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、 专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可 编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器 件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理 器或者该处理器也可以是任何常规的处理器等。
所述存储器1520可以是所述终端设备1500的内部存储单元，例如终端设 备1500的硬盘或内存。所述存储器1520也可以是所述终端设备1500的外部存 储设备，例如所述终端设备1500上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。 进一步地，所述存储器1520还可以既包括所述终端设备1500的内部存储单元 也包括外部存储设备。所述存储器1520用于存储所述计算机程序以及所述终端 设备所需的其他程序和数据。所述存储器1520还可以用于暂时地存储已经输出 或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上 述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上 述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不 同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功 能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在， 也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬 件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模 块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上 述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详 述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示 例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来 实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用 和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现 所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法， 可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示 意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现 时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一 个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间 的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或 通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为 单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者 也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元 中。上述单元既可以采用硬件的形式实现，也可以采用软件的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品 销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解， 本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指 令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中， 该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中， 所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、 对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括： 能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、 磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存 取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分 发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖 区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立 法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照 前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其 依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特 征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申 请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种融合结构光和光度学的三维对象重建方法，其特征在于，包括：
获取N个第一图像，每个第一图像是通过将具有编码条纹序列的编码图案投射至三维对象后拍摄所得，N为正整数；
基于所述N个第一图像，确定所述三维对象的结构光深度信息；
获取M个第二图像，所述M个第二图像是通过将P个光源分别从不同方向投射至所述三维对象后拍摄所得，M和P均为正整数；
基于所述M个第二图像，确定所述三维对象的光度信息；
基于所述结构光深度信息和所述光度信息，重建所述三维对象。
2.如权利要求1所述的融合结构光和光度学的三维对象重建方法，其特征在于，在获取M个第二图像之前，所述方法还包括：
根据所述结构光深度信息确定所述P个光源的位置和投射方向。
3.如权利要求1所述的融合结构光和光度学的三维对象重建方法，其特征在于，所述基于所述M个第二图像，确定所述三维对象的光度信息，具体包括：
将所述M个第二图像输入至与所述三维对象的目标表面类型相匹配的反射模型，以由所述反射模型输出所述三维对象的光度信息。
4.如权利要求1所述的融合结构光和光度学的三维对象重建方法，其特征在于，所述基于所述结构光深度信息和所述光度信息，重建所述三维对象，包括：
基于所述光度信息迭代校准所述结构光深度信息，得到相对于所述结构光深度信息的校准偏差信息；
判断所述校准偏差信息是否满足预设的迭代终止条件；以及
当满足时，基于对应满足所述迭代终止条件的经校准的结构光深度信息，重建所述三维对象。
5.如权利要求4所述的融合结构光和光度学的三维对象重建方法，其特征在于，所述光度信息包括第一光度信息和第二光度信息，
其中，所述基于所述光度信息迭代校准所述结构光深度信息，得到相对于所述结构光深度信息的第一校准偏差信息，包括：
基于所述第一光度信息迭代校准所述结构光深度信息，得到相对于所述结构光深度信息的第一校准偏差信息；
相应地，所述判断所述校准偏差信息是否满足预设的迭代终止条件，包括：
利用经校准的结构光深度信息校准所述第二光度信息，得到相对于所述第二光度信息的第二校准偏差信息；
判断所述第一校准偏差信息和所述第二校准偏差信息是否满足预设的偏差条件，以相应地确定所述校准偏差信息是否满足预设的迭代终止条件。
6.如权利要求5所述的融合结构光和光度学的三维对象重建方法，其特征在于，所述第一光度信息为反射率，以及所述第二光度信息为法向信息。
7.如权利要求5所述的融合结构光和光度学的三维对象重建方法，其特征在于，所述判断所述第一校准偏差信息和所述第二校准偏差信息是否满足预设的偏差条件，包括：
确定所述第一校准偏差信息与所述第二校准偏差信息对应预设偏差权重配置的目标偏差信息；
根据所述目标偏差信息是否小于预设偏差阈值信息的比较结果，相应地确定所述第一校准偏差信息和所述第二校准偏差信息是否满足预设的偏差条件。
8.如权利要求4所述的融合结构光和光度学的三维对象重建方法，其特征在于，所述基于所述光度信息迭代校准所述结构光深度信息，包括：
将所述光度信息和所述结构光深度信息输入至深度信息校准模型，以相应地输出经校准的结构光深度信息，所述深度信息校准模型的训练样本集中的每一训练样本包括对应Q个光度信息的结构光深度信息，Q为正整数。
9.一种融合结构光和光度学的三维对象重建装置，其特征在于，包括：
结构光图像获取单元，用于获取N个第一图像，每个第一图像是通过将具有编码条纹序列的编码图案投射至三维对象后拍摄所得，N为正整数；
结构光深度信息确定单元，用于基于所述N个第一图像，确定所述三维对象的结构光深度信息；
光度学图像获取单元，用于获取M个第二图像，所述M个第二图像是通过将P个光源分别从不同方向投射至所述三维对象后拍摄所得，M和P均为正整数；
光度信息确定单元，用于基于所述M个第二图像，确定所述三维对象的光度信息；
三维对象重建单元，用于基于所述结构光深度信息和所述光度信息，重建所述三维对象。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述方法的步骤。
CN202010738438.5A 2020-07-28 2020-07-28 融合结构光和光度学的三维对象重建方法及终端设备 Active CN111951376B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010738438.5A CN111951376B (zh) 2020-07-28 2020-07-28 融合结构光和光度学的三维对象重建方法及终端设备
PCT/CN2020/129563 WO2022021680A1 (zh) 2020-07-28 2020-11-17 融合结构光和光度学的三维对象重建方法及终端设备
US17/927,692 US20230298189A1 (en) 2020-07-28 2020-11-17 Method for reconstructing three-dimensional object combining structured light and photometry and terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010738438.5A CN111951376B (zh) 2020-07-28 2020-07-28 融合结构光和光度学的三维对象重建方法及终端设备

Publications (2)

Publication Number Publication Date
CN111951376A true CN111951376A (zh) 2020-11-17
CN111951376B CN111951376B (zh) 2023-04-07

Family

ID=73339725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010738438.5A Active CN111951376B (zh) 2020-07-28 2020-07-28 融合结构光和光度学的三维对象重建方法及终端设备

Country Status (3)

Country Link
US (1) US20230298189A1 (zh)
CN (1) CN111951376B (zh)
WO (1) WO2022021680A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112959322A (zh) * 2021-03-02 2021-06-15 中国科学院深圳先进技术研究院 控制方法、控制装置及终端设备
CN113052898A (zh) * 2021-04-08 2021-06-29 四川大学华西医院 基于主动式双目相机的点云和强反光目标实时定位方法
CN113873207A (zh) * 2020-06-30 2021-12-31 美国科视数字系统股份有限公司 使用交替图案生成映射的装置、系统和方法
CN115775303A (zh) * 2023-02-13 2023-03-10 南京航空航天大学 一种基于深度学习与光照模型的高反光物体三维重建方法
CN116447978A (zh) * 2023-06-16 2023-07-18 先临三维科技股份有限公司 孔位信息检测方法、装置、设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115252992B (zh) * 2022-07-28 2023-04-07 北京大学第三医院（北京大学第三临床医学院） 基于结构光立体视觉的气管插管导航系统
CN117994348A (zh) * 2022-10-31 2024-05-07 华为技术有限公司 一种图像处理方法、相关设备及结构光系统
CN117333560B (zh) * 2023-12-01 2024-02-20 北京航空航天大学杭州创新研究院 场景自适应的条纹结构光解码方法、装置、设备和介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101301200A (zh) * 2008-05-29 2008-11-12 上海交通大学 测量颜面缺损患者面部三维形貌的方法
CN103748612A (zh) * 2011-01-24 2014-04-23 英特尔公司 用于获取、表示、比较和传输三维数据的方法和系统
EP2869263A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating depth map of a scene
CN106504284A (zh) * 2016-10-24 2017-03-15 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
CN106780726A (zh) * 2016-12-23 2017-05-31 陕西科技大学 融合rgb‑d相机和彩色光度立体法的动态非刚体三维数字化方法
CN106875468A (zh) * 2015-12-14 2017-06-20 深圳先进技术研究院 三维重建装置及方法
US20180033146A1 (en) * 2016-07-27 2018-02-01 Michael Bleyer Reflectivity map estimate from dot based structured light systems
CN107677216A (zh) * 2017-09-06 2018-02-09 西安交通大学 一种基于光度立体视觉的多个磨粒三维形貌同步获取方法
CN108520537A (zh) * 2018-03-29 2018-09-11 电子科技大学 一种基于光度视差的双目深度获取方法
CN109682814A (zh) * 2019-01-02 2019-04-26 华中农业大学 一种用tof深度相机修正空间频域成像中组织体表面光照度的方法
US20190156504A1 (en) * 2017-11-22 2019-05-23 Futurewei Technologies, Inc. Three-dimensional (3d) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system
CN109978984A (zh) * 2017-12-27 2019-07-05 Tcl集团股份有限公司 人脸三维重建方法及终端设备
CN110264573A (zh) * 2019-05-31 2019-09-20 中国科学院深圳先进技术研究院 基于结构光的三维重建方法、装置、终端设备及存储介质
CN110686599A (zh) * 2019-10-31 2020-01-14 中国科学院自动化研究所 基于彩色格雷码结构光的三维测量方法、系统、装置
CN111009007A (zh) * 2019-11-20 2020-04-14 华南理工大学 一种指部多特征全面三维重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107228625B (zh) * 2017-06-01 2023-04-18 深度创新科技（深圳）有限公司 三维重建方法、装置及设备
CN110879947A (zh) * 2018-09-06 2020-03-13 山东理工大学 一种基于一次投影结构光平行条纹图案的实时人脸三维测量方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101301200A (zh) * 2008-05-29 2008-11-12 上海交通大学 测量颜面缺损患者面部三维形貌的方法
CN103748612A (zh) * 2011-01-24 2014-04-23 英特尔公司 用于获取、表示、比较和传输三维数据的方法和系统
EP2869263A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating depth map of a scene
CN106875468A (zh) * 2015-12-14 2017-06-20 深圳先进技术研究院 三维重建装置及方法
US20180033146A1 (en) * 2016-07-27 2018-02-01 Michael Bleyer Reflectivity map estimate from dot based structured light systems
CN106504284A (zh) * 2016-10-24 2017-03-15 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
CN106780726A (zh) * 2016-12-23 2017-05-31 陕西科技大学 融合rgb‑d相机和彩色光度立体法的动态非刚体三维数字化方法
CN107677216A (zh) * 2017-09-06 2018-02-09 西安交通大学 一种基于光度立体视觉的多个磨粒三维形貌同步获取方法
US20190156504A1 (en) * 2017-11-22 2019-05-23 Futurewei Technologies, Inc. Three-dimensional (3d) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system
CN109978984A (zh) * 2017-12-27 2019-07-05 Tcl集团股份有限公司 人脸三维重建方法及终端设备
CN108520537A (zh) * 2018-03-29 2018-09-11 电子科技大学 一种基于光度视差的双目深度获取方法
CN109682814A (zh) * 2019-01-02 2019-04-26 华中农业大学 一种用tof深度相机修正空间频域成像中组织体表面光照度的方法
CN110264573A (zh) * 2019-05-31 2019-09-20 中国科学院深圳先进技术研究院 基于结构光的三维重建方法、装置、终端设备及存储介质
CN110686599A (zh) * 2019-10-31 2020-01-14 中国科学院自动化研究所 基于彩色格雷码结构光的三维测量方法、系统、装置
CN111009007A (zh) * 2019-11-20 2020-04-14 华南理工大学 一种指部多特征全面三维重建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
P.LASANG 等: "Combining high resolution color and depth images for dense 3D reconstruction", 《2014 IEEE FOURTH INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS BERLIN (ICCE-BERLIN)》 *
ZHAO SONG 等: "Eliminating the Effect of Reflectance Properties on Reconstruction in Stripe Structured Light System" *
宋钊: "基于光度学分析的高精度结构光三维重建方法研究" *
徐庆相: "基于光度立体视觉的表面精细特征三维重建技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
杨洁: "融合深度信息的多光谱光度立体三维重建及其在水下的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873207A (zh) * 2020-06-30 2021-12-31 美国科视数字系统股份有限公司 使用交替图案生成映射的装置、系统和方法
CN113873207B (zh) * 2020-06-30 2023-01-24 美国科视数字系统股份有限公司 使用交替图案生成映射的装置、系统和方法
CN112959322A (zh) * 2021-03-02 2021-06-15 中国科学院深圳先进技术研究院 控制方法、控制装置及终端设备
CN113052898A (zh) * 2021-04-08 2021-06-29 四川大学华西医院 基于主动式双目相机的点云和强反光目标实时定位方法
CN113052898B (zh) * 2021-04-08 2022-07-12 四川大学华西医院 基于主动式双目相机的点云和强反光目标实时定位方法
CN115775303A (zh) * 2023-02-13 2023-03-10 南京航空航天大学 一种基于深度学习与光照模型的高反光物体三维重建方法
CN115775303B (zh) * 2023-02-13 2023-05-05 南京航空航天大学 一种基于深度学习与光照模型的高反光物体三维重建方法
CN116447978A (zh) * 2023-06-16 2023-07-18 先临三维科技股份有限公司 孔位信息检测方法、装置、设备及存储介质
CN116447978B (zh) * 2023-06-16 2023-10-31 先临三维科技股份有限公司 孔位信息检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2022021680A1 (zh) 2022-02-03
US20230298189A1 (en) 2023-09-21
CN111951376B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111951376B (zh) 融合结构光和光度学的三维对象重建方法及终端设备
CN112348815B (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
Zabatani et al. Intel® realsense™ sr300 coded light depth camera
CN109341589B (zh) 一种光栅图像投影方法、三维重建方法及三维重建系统
CN101118155B (zh) 用于感测反光物体的表面形状的方法和系统
US20120176478A1 (en) Forming range maps using periodic illumination patterns
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
CN111951377B (zh) 三维对象重建方法及终端设备
Huang et al. A fast and flexible projector-camera calibration system
CN108876871B (zh) 基于圆拟合的图像处理方法、装置与计算机可读存储介质
CN101697233A (zh) 一种基于结构光的三维物体表面重建方法
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN115345822A (zh) 一种面向航空复杂零件的面结构光自动化三维检测方法
CN111583381B (zh) 游戏资源图的渲染方法、装置及电子设备
CN112050751B (zh) 一种投影仪标定方法、智能终端及存储介质
AU2021229124B2 (en) Denoising for interactive monte-carlo rendering using pairwise affinity of deep features
JP2024507089A (ja) 画像のコレスポンデンス分析装置およびその分析方法
Tran et al. A Structured Light RGB‐D Camera System for Accurate Depth Measurement
Taubin et al. 3d scanning for personal 3d printing: build your own desktop 3d scanner
CN112233139A (zh) 用于在3d数据重建过程中检测运动的系统和方法
Grochulla et al. Combining photometric normals and multi-view stereo for 3d reconstruction
CN115345993A (zh) 三维重建方法及装置、系统
CN113327317A (zh) 三维点云图获取方法、装置、电子设备和存储介质
CN113538680A (zh) 基于双目光度立体视觉的三维测量方法及设备
CN113375600B (zh) 一种三维测量方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant