CN112529794A - 高动态范围结构光三维测量方法、系统及介质 - Google Patents

高动态范围结构光三维测量方法、系统及介质 Download PDF

Info

Publication number
CN112529794A
CN112529794A CN202011376704.0A CN202011376704A CN112529794A CN 112529794 A CN112529794 A CN 112529794A CN 202011376704 A CN202011376704 A CN 202011376704A CN 112529794 A CN112529794 A CN 112529794A
Authority
CN
China
Prior art keywords
image
structured light
dynamic range
high dynamic
hdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011376704.0A
Other languages
English (en)
Inventor
王耿
陈和平
席宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Academy Of Robotics
Original Assignee
Shenzhen Academy Of Robotics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Academy Of Robotics filed Critical Shenzhen Academy Of Robotics
Priority to CN202011376704.0A priority Critical patent/CN112529794A/zh
Publication of CN112529794A publication Critical patent/CN112529794A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种高动态范围结构光三维测量方法、系统及介质，其中方法包括：投影白画面至待测表面，采集待测表面的第一图像；对第一图像进行直方化处理后，计算获得最优曝光时间；投影条纹结构光画面至待测表面，根据最优曝光时间采集获得待测表面的曝光图像对；将曝光图像对输入训练好的HDR结构光图像重建模型进行读取，获得高动态范围结构光图像；对高动态范围结构光图像进行相位解码和三维重建，完成对待测表面三维测量。本发明将曝光图像对输入HDR结构光图像重建模型，获取高动态范围结构光图像，使用较少数量的LDR结构光图像，即可重构出高质量的HDR结构光图像，极大地提高三维测量的效率，可广泛应用于光学测量技术领域。

Description

高动态范围结构光三维测量方法、系统及介质
技术领域
本发明涉及光学测量技术领域，尤其涉及一种高动态范围结构光三维测量方法、系统及介质。
背景技术
结构光三维测量技术因其具有超高的测量精度，在机器人、反向工程和人机交互等领域具有广泛的应用。虽然结构光三维测量技术在关键技术研究和产业化方面已取得了很大的成功，但仍存在着一些尚未解决的难题，高对比度表面的高效精确测量就是该领域的难题之一，也是该领域的热点研究方向。高对比度表面的不同区域之间的反射率变化较大，受限于普通工业相机有限的动态范围，往往很难获得高质量的高对比度表面图像,进而导致三维测量的精度不高，甚至测量失败。高对比度表面的高效精确测量在实际生产中有大量的需求，如工业制造和工业检测中各类金属工件的缺陷检测等。结构光三维测量技术的动态测量范围，及高动态测量范围下的测量效率和测量精度问题，是限制该技术在高对比度场景应用的主要瓶颈。
为了解决上述难题，国内外技术人员提出了很多解决方法，如偏光片滤波和多视角成像等方法，这些解决方法改善了高对比度表面的三维测量精度，但同样带来一些问题，要么需要牺牲测量的光强，造成信噪比的降低，要么需要增加硬件设备，且重构算法复杂，造成测量成本的增加。除上述方法以外，目前最有效且不增加硬件设备成本的方法是高动态范围(HDR)技术，该技术又分为两种类型：1)调节投影条纹的光强，2)调节相机的曝光强度。调节投影条纹的光强的HDR技术虽能获得较优的投影条纹图案，但复杂的实现算法导致该方法的测量效率不高；调节相机的曝光强度的HDR技术能够获得高质量的HDR图像，但要重构出高质量的HDR图像，往往需要大量的曝光次数，同样测量效率不高。
术语解释：
HDR：High dynamic range(高动态范围)。
LDR：Lower dynamic range(低动态范围)。
DCNN：Deep Convolution Neural Network(深度卷积神经网络)。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种高动态范围结构光三维测量方法、系统及介质。
本发明所采用的技术方案是：
一种高动态范围结构光三维测量方法，包括以下步骤：
投影白画面至待测表面，采集所述待测表面的第一图像；
对所述第一图像进行直方化处理后，计算获得最优曝光时间；
投影条纹结构光画面至所述待测表面，根据所述最优曝光时间采集获得所述待测表面的曝光图像对；
将所述曝光图像对输入训练好的HDR结构光图像重建模型进行读取，获得高动态范围结构光图像；
对所述高动态范围结构光图像进行相位解码和三维重建，完成对所述待测表面三维测量；
其中，所述曝光图像对包括欠曝光图像和过曝光图像。
进一步，所述HDR结构光图像重建模型为基于深度卷积神经网络的模块，包括特征提取层、特征融合层和HDR图像重建层；
所述特征提取层用于提取所述曝光图像对的底层特征，获得的两组具有相同的特征类型的特征图；
所述特征融合层用于采用相加的方式对两组所述特征图进行特征融合；
所述HDR图像重建层用于利用融合后的特征图，通过多层卷积和上采样层，完成HDR图像的重建。
进一步，在训练所述HDR结构光图像重建模型时，采用基于图像结构相似性的损失函数进行模型训练，且采用向后传播算法训练模型。
进一步，所述损失函数的表达式为：
Figure BDA0002808384080000021
其中，SSIN(p)代表输入图像的图像块和经过模型处理的图像块的相似度；N为单个输入图像的像素总数，P代表输入图像的所有像素的集合。
进一步，训练所述HDR结构光图像重建模型前，还包括建立训练集步骤：
采用DLP高速投影设备投影白色画面至预设表面；
采用图像采集装置在初始的曝光时间下采集图像，对采集到的图像做亮度的直方化处理；
结合图像的亮度直方图计算低反射区域的最优曝光时间和高反射区域的最优曝光时间；
采用DLP高速投影设备投影条纹结构光画面至所述预设表面，根据所述最优曝光时间采集获得曝光图像对；
重复多次上述步骤，获得多个所述曝光图像对作为训练集。
进一步，所述建立训练集步骤还包括以下步骤：
采用数据增强技术扩充所述训练集的样本数量；
所述数据增强技术包括旋转变换、反射变换、翻转变换、缩放变换、平移变换或尺度变换中的至少一种。
进一步，所述对所述高动态范围结构光图像进行相位解码和三维重建，包括：
采用三步相移法求解图像的相对相位，结合所述相对相位和低频解码图像获取绝对相位；
根据所述绝对相位获取投影坐标，结合所述投影坐标和所述高动态范围结构光图像对所述待测表面进行三维重建。
本发明所采用的另一技术方案是：
一种高动态范围结构光三维测量系统，包括：
第一采集模块，用于投影白画面至待测表面，采集所述待测表面的第一图像；
曝光时间模块，用于对所述第一图像进行直方化处理后，计算获得最优曝光时间；
第二采集模块，用于投影条纹结构光画面至所述待测表面，根据所述最优曝光时间采集获得所述待测表面的曝光图像对；
图像重建模块，用于将所述曝光图像对输入训练好的HDR结构光图像重建模型进行读取，获得高动态范围结构光图像；
三维测量模块，用于对所述高动态范围结构光图像进行相位解码和三维重建，完成对所述待测表面三维测量；
其中，所述曝光图像对包括欠曝光图像和过曝光图像。
本发明所采用的另一技术方案是：
一种高动态范围结构光三维测量系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明将曝光图像对(欠曝光图像和过曝光图像)输入HDR结构光图像重建模型，获取高动态范围结构光图像，使用较少数量的LDR结构光图像，即可重构出高质量的HDR结构光图像，极大地提高三维测量的效率。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种高动态范围结构光三维测量方法的步骤流程图；
图2是本发明实施例中HDR结构光图像重建模型的架构示意图；
图3是本发明实施例中建立训练集的步骤示意图；
图4是本发明实施例中低频条纹结构光解码图像；
图5是本发明实施例中高频条纹结构光解码图像；
图6是本发明实施例中高动态范围结构光三维测量方法的步骤示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图1所示，本实施例提供一种高动态范围结构光三维测量方法，包括以下步骤：
S1、投影白画面至待测表面，采集待测表面的第一图像；
S2、对第一图像进行直方化处理后，计算获得最优曝光时间；
S3、投影条纹结构光画面至待测表面，根据最优曝光时间采集获得待测表面的曝光图像对；其中，曝光图像对包括欠曝光图像和过曝光图像。
S4、将曝光图像对输入训练好的HDR结构光图像重建模型进行读取，获得高动态范围结构光图像；
S5、对高动态范围结构光图像进行相位解码和三维重建，完成对待测表面三维测量。
其中，HDR结构光图像重建模型为基于深度卷积神经网络的模块，采用现有的训练方法进行训练即可，包括特征提取层、特征融合层和HDR图像重建层：
特征提取层用于提取曝光图像对的底层特征，获得的两组具有相同的特征类型的特征图；
特征融合层用于采用相加的方式对两组特征图进行特征融合；
HDR图像重建层用于利用融合后的特征图，通过多层卷积和上采样层，完成HDR图像的重建。
本实施例从数字图像摄影的角度出发，将深度学习引入到复杂高对比度表面的结构光三维测量中。本实施例着眼于多学科的交叉融合研究，应用并发展基于深度学习的HDR新技术，即可使用较少数量的LDR结构光图像，重构出高质量的HDR结构光图像，将大大提高三维测量的效率。再通过求解相位和三维重建，完成最终的三维测量，进而发展一种高效高动态范围的结构光三维测量新系统，为实现对复杂高对比度表面的高效精确测量提供一种新的思路和方法，有望突破结构光三维测量技术在复杂高对比度场景中应用的技术瓶颈。
以下结合具体实施例对上述技术方案进行详细的解释说明。
本实施例以深度学习的方法为研究工具，通过基于深度学习的HDR技术实现结构光图像的动态范围拓展。采用一对LDR结构光图像作为输入，建立一种LDR到HDR结构光图像之间的端到端映射，该映射表示为深度卷积神经网络(DCNN)，进一步通过解相位及三维重建原理完成三维测量，通过系统的集成研究，最终实现高速的高动态范围结构光三维自适应测量系统的研究方案。因此技术方案包括：一、基于深度学习的HDR结构光图像融合模型的构建；二、针对高对比度表面的深度学习训练数据集的建立；三、求解相位及三维重建；四、高速的高动态范围结构光三维自适应测量的系统集成。
(1)构建基于深度学习的HDR结构光图像重建模型。
参见图2，本实施例提出的基于深度学习的HDR结构光图像融合网络(即HDR结构光图像重建模型)总体上主要包括三部分：特征提取层、特征融合层和HDR图像重建层。深度学习的网络架构如图2所示，短曝光时间获得的欠曝光图像和长曝光时间获得的过曝光图像(一对LDR结构光图像)分别输入到网络的上下两个通道。在特征提取层，首先使用k个m*m的滤波器提取图像的底层特征，且两个通道使用相同的滤波器进行特征提取，这样的设计可以迫使网络学习到欠曝光和过曝光图像中相同的特征，最终获得的两组特征图具有相同的特征类型，以利于后续两组特征图像的融合。该网络中的下采样池化层用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性和运算速率。在特征融合层，通过两组特征图相加的方式进行特征融合。在HDR图像重建层，利用融合后的特征图，通过多层卷积和上采样层，完成HDR图像的重建。
本实施例采用基于图像结构相似性的损失函数进行模型训练，该损失函数不需要真值，故可以大大降低训练数据集的构建难度。yk表示深度学习模型的输入图像对中相同像素位置p处的图像块，k＝1对应过曝光图像，k＝2对应欠曝光图像，yf表示通过深度学习模型输出的HDR图像中相同像素位置p处的图像块，输入图像yk对应的期望图像块由下式表示：
Figure BDA0002808384080000061
Figure BDA0002808384080000062
和
Figure BDA0002808384080000063
分别为期望的亮度、对比度和结构，本项目后续将开展对三者的构造方法进行详细研究。利用
Figure BDA0002808384080000064
与yf计算图像块的相似度：
Figure BDA0002808384080000065
Figure BDA0002808384080000066
和
Figure BDA0002808384080000067
分别是
Figure BDA0002808384080000068
与yf所对应图像块的亮度平均值，
Figure BDA0002808384080000069
和
Figure BDA00028083840800000610
分别是
Figure BDA00028083840800000611
与yf之间的方差和协方差，C1和C2是维持稳定的常数，具体的值由后续的研究决定，最终基于图像结构相似性的损失函数可以由下式表示：
Figure BDA00028083840800000612
N为单个输入图像的像素总数，P代表输入图像的所有像素的集合，使用向后传播算法训练模型。
(2)建立针对复杂高对比度表面的深度学习训练数据集
建立训练数据集的技方案如图3所示，首先使用DLP高速投影设备投影白色画面至待测表面，相机在初始的曝光时间下采集图像，并对采集到的图像做亮度的直方化处理；其次构建结构光三维测量系统的相机采光模型，并结合图像的亮度直方图计算低反射区域和高反射区域的最优曝光时间；再次DLP投影条纹结构光至待测表面，在获得的最优曝光时间下采集过曝光和欠曝光的LDR结构光图像对；最后循环重复上述技术路线，拍摄收集大量复杂高对比度表面的LDR图像对。另外，本技术还将采用数据增强技术，包括旋转/反射/翻转变换、缩放变换、平移变换、尺度变换等，扩充训练集中样本的数量，快速创建大规模的训练数据集。
(3)求解相位及三维重建。
通过深度学习模型获得高质量的HDR结构光条纹图像以后，为了保障测量系统具有较高的测量精度，本技术采用条纹结构光，并利用三步相移法求解相对相位，再结合低频解码图像最终得到绝对相位。三步相移法中针对同一个像素点(x，y)在三个不同时刻捕捉到的光强I1、I2和I3分别可以表示为：
I1(x，y)＝Ib(x，y)+Im(x，y)cos(φ-2π/3)，
I2(x，y)＝Ib(x，y)+Im(x，y)cos(φ)，
I3(x，y)＝Ib(x，y)+Im(x，y)cos(φ+2π/3)，
Ib和Im分别为背景光强和调制光强，解码获得的相位：
Figure BDA0002808384080000071
在实际测量中，为了提高测量精度，往往使用条纹周期为Th的高频解码图像，如图5所示，投影仪坐标与Th的关系如下：
Figure BDA0002808384080000072
上式中N为测量点之前的高频周期个数，φh为相对相位，为了获得绝对相位，需投影低频解码图像，如图4所示。对于低频解码图像，相移法解码得到的相位φl处于0到2π之间，投影仪坐标与低频解码图像的条纹周期Tl的关系：
Figure BDA0002808384080000073
联立上述两个式子，可得：
Figure BDA0002808384080000074
Round(·)为四舍五入的取整函数。通过以上的计算，可获得绝对相位，从而完成解相位步骤。获得相位图后，便可求得投影坐标，再利用标定过程获得的相机和投影仪的参数以及投影仪和相机之间的平移和旋转矩阵，就可以完成待测表面的三维重建。
(4)高效高动态范围结构光三维测量的系统集成
图6给出了高效高动态范围三维测量的系统集成方案：通过DLP高速投影设备投影白画面至待测表面，利用相机采集待测表面的图像，对采集到的图像做直方化处理后计算得到最优的曝光时间，将最优曝光时间反馈给相机，DLP高速投影设备投影条纹结构光图像至待测表面，相机在最优的曝光时间下拍摄获得过曝光和欠曝光LDR图像对，深度学习网络模型读取LDR图像对，并推理获得HDR结构光图像，通过相位解码和三维重建，完成整个测量过程。
本实施例集成的测量方案的高效性主要从三个方面实现：一、降低LDR图像的数量，本测量系统只需要一对LDR图像即可完成对应HDR图像的重建；二、优化深度学习模型，本项目将研究下采样和GPU并行计算等方法，实现特征降维，压缩数据和参数的数量，以提高模型运算的速度；三、在三维重建阶段，将采用GPU的并行计算，同时完成大量三维点云的计算。本实施例将采用NVIDIA提供的Jetson TX1嵌入式平台开发者套件进行HDR深度学习模型的训练和三维点云的生成，该开发套件内建256个CUDA核心的NVIDIA Maxwell GPU，其强大的计算能力，可进一步提高测量系统的测量效率。
综上所述，本实施例从数字图像摄影的角度出发，将深度学习引入到复杂高对比度表面的结构光三维测量中，创新性地提供了一种高效高动态范围的结构光三维测量新系统。目前深度学习在结构光三维测量方面的研究刚刚起步，主要集中在解相位，消除噪声和亚表面散射等方面的研究。本实施例着眼于多学科的交叉融合研究，应用并发展基于深度学习的HDR新技术，使用较少数量的LDR结构光图像，重构出高质量的HDR结构光图像，预计将大大提高三维测量的效率，再通过求解相位和三维重建，完成最终的三维测量，进而发展一种高效高动态范围的结构光三维测量新系统，为实现对复杂高对比度表面的高效精确测量提供一种新的思路和方法，有望突破结构光三维测量技术在复杂高对比度场景中应用的技术瓶颈。
本实施例还提供一种高动态范围结构光三维测量系统，包括：
第一采集模块，用于投影白画面至待测表面，采集待测表面的第一图像；
曝光时间模块，用于对第一图像进行直方化处理后，计算获得最优曝光时间；
第二采集模块，用于投影条纹结构光画面至待测表面，根据最优曝光时间采集获得待测表面的曝光图像对；
图像重建模块，用于将曝光图像对输入训练好的HDR结构光图像重建模型进行读取，获得高动态范围结构光图像；
三维测量模块，用于对高动态范围结构光图像进行相位解码和三维重建，完成对待测表面三维测量；
其中，曝光图像对包括欠曝光图像和过曝光图像。
本实施例的一种高动态范围结构光三维测量系统，可执行本发明方法实施例所提供的一种高动态范围结构光三维测量方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供一种高动态范围结构光三维测量系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本实施例的一种高动态范围结构光三维测量系统，可执行本发明方法实施例所提供的一种高动态范围结构光三维测量方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种高动态范围结构光三维测量方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种高动态范围结构光三维测量方法，其特征在于，包括以下步骤：
投影白画面至待测表面，采集所述待测表面的第一图像；
对所述第一图像进行直方化处理后，计算获得最优曝光时间；
投影条纹结构光画面至所述待测表面，根据所述最优曝光时间采集获得所述待测表面的曝光图像对；
将所述曝光图像对输入训练好的HDR结构光图像重建模型进行读取，获得高动态范围结构光图像；
对所述高动态范围结构光图像进行相位解码和三维重建，完成对所述待测表面三维测量；其中，所述曝光图像对包括欠曝光图像和过曝光图像。
2.根据权利要求1所述的一种高动态范围结构光三维测量方法，其特征在于，所述HDR结构光图像重建模型为基于深度卷积神经网络的模块，包括特征提取层、特征融合层和HDR图像重建层；
所述特征提取层用于提取所述曝光图像对的底层特征，获得的两组具有相同的特征类型的特征图；
所述特征融合层用于采用相加的方式对两组所述特征图进行特征融合；
所述HDR图像重建层用于利用融合后的特征图，通过多层卷积和上采样层，完成HDR图像的重建。
3.根据权利要求2所述的一种高动态范围结构光三维测量方法，其特征在于，在训练所述HDR结构光图像重建模型时，采用基于图像结构相似性的损失函数进行模型训练，且采用向后传播算法训练模型。
4.根据权利要求3所述的一种高动态范围结构光三维测量方法，其特征在于，所述损失函数的表达式为：
Figure FDA0002808384070000011
其中，SSIM(p)代表输入图像的图像块和经过模型处理的图像块的相似度；N为单个输入图像的像素总数，P代表输入图像的所有像素的集合。
5.根据权利要求2所述的一种高动态范围结构光三维测量方法，其特征在于，训练所述HDR结构光图像重建模型前，还包括建立训练集步骤：
采用DLP高速投影设备投影白色画面至预设表面；
采用图像采集装置在初始的曝光时间下采集图像，对采集到的图像做亮度的直方化处理；
结合图像的亮度直方图计算低反射区域的最优曝光时间和高反射区域的最优曝光时间；
采用DLP高速投影设备投影条纹结构光画面至所述预设表面，根据所述最优曝光时间采集获得曝光图像对；
重复多次上述步骤，获得多个所述曝光图像对作为训练集。
6.根据权利要求5所述的一种高动态范围结构光三维测量方法，其特征在于，所述建立训练集步骤还包括以下步骤：
采用数据增强技术扩充所述训练集的样本数量；
所述数据增强技术包括旋转变换、反射变换、翻转变换、缩放变换、平移变换或尺度变换中的至少一种。
7.根据权利要求1所述的一种高动态范围结构光三维测量方法，其特征在于，所述对所述高动态范围结构光图像进行相位解码和三维重建，包括：
采用三步相移法求解图像的相对相位，结合所述相对相位和低频解码图像获取绝对相位；根据所述绝对相位获取投影坐标，结合所述投影坐标和所述高动态范围结构光图像对所述待测表面进行三维重建。
8.一种高动态范围结构光三维测量系统，其特征在于，包括：
第一采集模块，用于投影白画面至待测表面，采集所述待测表面的第一图像；
曝光时间模块，用于对所述第一图像进行直方化处理后，计算获得最优曝光时间；
第二采集模块，用于投影条纹结构光画面至所述待测表面，根据所述最优曝光时间采集获得所述待测表面的曝光图像对；
图像重建模块，用于将所述曝光图像对输入训练好的HDR结构光图像重建模型进行读取，获得高动态范围结构光图像；
三维测量模块，用于对所述高动态范围结构光图像进行相位解码和三维重建，完成对所述待测表面三维测量；
其中，所述曝光图像对包括欠曝光图像和过曝光图像。
9.一种高动态范围结构光三维测量系统，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述的一种高动态范围结构光三维测量方法。
10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述一种高动态范围结构光三维测量方法。
CN202011376704.0A 2020-11-30 2020-11-30 高动态范围结构光三维测量方法、系统及介质 Pending CN112529794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011376704.0A CN112529794A (zh) 2020-11-30 2020-11-30 高动态范围结构光三维测量方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011376704.0A CN112529794A (zh) 2020-11-30 2020-11-30 高动态范围结构光三维测量方法、系统及介质

Publications (1)

Publication Number Publication Date
CN112529794A true CN112529794A (zh) 2021-03-19

Family

ID=74995382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011376704.0A Pending CN112529794A (zh) 2020-11-30 2020-11-30 高动态范围结构光三维测量方法、系统及介质

Country Status (1)

Country Link
CN (1) CN112529794A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113091647A (zh) * 2021-04-07 2021-07-09 韶关学院 一种用于高反光表面工件的结构光三维扫描方法
CN113240636A (zh) * 2021-05-08 2021-08-10 苏州天准科技股份有限公司 表面waviness智能检测方法、系统、存储介质和终端设备
CN114363525A (zh) * 2022-03-17 2022-04-15 杭州灵西机器人智能科技有限公司 Hdr快速自动成像方法、结构光相机、电子设备和存储介质
CN115063708A (zh) * 2022-05-05 2022-09-16 北京航空航天大学 光源模型参数获取方法、训练方法、设备和介质
CN115567697A (zh) * 2022-12-02 2023-01-03 浙江智慧视频安防创新中心有限公司 3d结构光相机系统、数据获取方法、设备及存储介质
CN115775302A (zh) * 2023-02-13 2023-03-10 南京航空航天大学 一种基于Transformer的高反光物体三维重建方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150085079A1 (en) * 2013-09-24 2015-03-26 Faro Technologies, Inc. Dynamic range of color camera images superimposed on scanned three-dimensional gray-scale images
EP2927865A1 (en) * 2014-04-01 2015-10-07 Thomson Licensing Method and apparatus for encoding and decoding HDR images
CN107607040A (zh) * 2017-08-11 2018-01-19 天津大学 一种适用于强反射表面的三维扫描测量装置及方法
CN110264420A (zh) * 2019-06-13 2019-09-20 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置
US20190318460A1 (en) * 2016-12-22 2019-10-17 Huawei Technologies Co., Ltd. Method and apparatus for generating high dynamic range image
CN110910336A (zh) * 2019-10-30 2020-03-24 宁波大学 一种基于全卷积神经网络的立体高动态范围成像方法
US20200134787A1 (en) * 2017-06-28 2020-04-30 Huawei Technologies Co., Ltd. Image processing apparatus and method
CN111242883A (zh) * 2020-01-10 2020-06-05 西安电子科技大学 一种基于深度学习的动态场景hdr重建方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150085079A1 (en) * 2013-09-24 2015-03-26 Faro Technologies, Inc. Dynamic range of color camera images superimposed on scanned three-dimensional gray-scale images
EP2927865A1 (en) * 2014-04-01 2015-10-07 Thomson Licensing Method and apparatus for encoding and decoding HDR images
US20190318460A1 (en) * 2016-12-22 2019-10-17 Huawei Technologies Co., Ltd. Method and apparatus for generating high dynamic range image
US20200134787A1 (en) * 2017-06-28 2020-04-30 Huawei Technologies Co., Ltd. Image processing apparatus and method
CN107607040A (zh) * 2017-08-11 2018-01-19 天津大学 一种适用于强反射表面的三维扫描测量装置及方法
CN110264420A (zh) * 2019-06-13 2019-09-20 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置
CN110910336A (zh) * 2019-10-30 2020-03-24 宁波大学 一种基于全卷积神经网络的立体高动态范围成像方法
CN111242883A (zh) * 2020-01-10 2020-06-05 西安电子科技大学 一种基于深度学习的动态场景hdr重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YIMIN QIU: "Radiometric response functionsfrom differently illuminated images", 《2017 12TH IEEE CONFERENCE ON INDUSTRIAL ELECTRONICS AND APPLICATIONS (ICIEA)》, 8 February 2018 (2018-02-08) *
吴蕊: "基于卷积神经网络的多曝光HDR成像算法研究", 《中国优秀硕士论文电子期刊网》, 15 July 2020 (2020-07-15) *
张军;戴霞;孙德全;王邦平;: "不同曝光值图像的直接融合方法", 软件学报, no. 04, 15 April 2011 (2011-04-15) *
白本督;刘军;范九伦;: "高动态范围成像研究进展", 西安邮电大学学报, no. 03, 10 May 2016 (2016-05-10) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113091647A (zh) * 2021-04-07 2021-07-09 韶关学院 一种用于高反光表面工件的结构光三维扫描方法
CN113240636A (zh) * 2021-05-08 2021-08-10 苏州天准科技股份有限公司 表面waviness智能检测方法、系统、存储介质和终端设备
CN114363525A (zh) * 2022-03-17 2022-04-15 杭州灵西机器人智能科技有限公司 Hdr快速自动成像方法、结构光相机、电子设备和存储介质
CN114363525B (zh) * 2022-03-17 2022-06-28 杭州灵西机器人智能科技有限公司 Hdr快速自动成像方法、结构光相机、电子设备和存储介质
CN115063708A (zh) * 2022-05-05 2022-09-16 北京航空航天大学 光源模型参数获取方法、训练方法、设备和介质
CN115567697A (zh) * 2022-12-02 2023-01-03 浙江智慧视频安防创新中心有限公司 3d结构光相机系统、数据获取方法、设备及存储介质
CN115775302A (zh) * 2023-02-13 2023-03-10 南京航空航天大学 一种基于Transformer的高反光物体三维重建方法

Similar Documents

Publication Publication Date Title
CN112529794A (zh) 高动态范围结构光三维测量方法、系统及介质
Luan et al. Unified shape and svbrdf recovery using differentiable monte carlo rendering
CN113066168B (zh) 一种多视图立体网络三维重建方法及系统
Shen Accurate multiple view 3d reconstruction using patch-based stereo for large-scale scenes
Flynn et al. Deepstereo: Learning to predict new views from the world's imagery
Bradley et al. Accurate multi-view reconstruction using robust binocular stereo and surface meshing
Li et al. SPM-BP: Sped-up PatchMatch belief propagation for continuous MRFs
Bailer et al. Scale robust multi view stereo
Ruan et al. Learning to deblur using light field generated and real defocus images
Tretschk et al. Demea: Deep mesh autoencoders for non-rigidly deforming objects
CN110163817B (zh) 一种基于全卷积神经网络的相位主值提取方法
KR20170031691A (ko) 글로벌 최소화 및 깊이 보간을 사용한 스테레오 깊이 추정을 위한 시스템들 및 방법들
CN113345082A (zh) 一种特征金字塔多视图三维重建方法和系统
CN110766767B (zh) 获取格雷码结构光图像的方法、系统、装置
Jun-Seong et al. Hdr-plenoxels: Self-calibrating high dynamic range radiance fields
Van Der Jeught et al. Optimized loss function in deep learning profilometry for improved prediction performance
CN116385520A (zh) 融合全光源图像的磨损表面形貌光度立体重建方法及系统
CN113256800B (zh) 基于深度学习的精确快速大景深三维重建方法
Wolf et al. Surface Reconstruction from Gaussian Splatting via Novel Stereo Views
Chlubna et al. Real-time per-pixel focusing method for light field rendering
Llull et al. Evaluation of 3D Reconstruction for Cultural Heritage Applications
CN116645466A (zh) 一种三维重建方法及电子设备、存储介质
Poms et al. Learning patch reconstructability for accelerating multi-view stereo
CN115330849A (zh) 弱纹理的多阶段稠密重建网络方法、装置及存储介质
KR20220154782A (ko) 복수의 이미지의 정렬 훈련

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination