CN108109201A - 复杂颜色表面物体的三维重建方法和系统 - Google Patents

复杂颜色表面物体的三维重建方法和系统 Download PDF

Info

Publication number
CN108109201A
CN108109201A CN201711467115.1A CN201711467115A CN108109201A CN 108109201 A CN108109201 A CN 108109201A CN 201711467115 A CN201711467115 A CN 201711467115A CN 108109201 A CN108109201 A CN 108109201A
Authority
CN
China
Prior art keywords
modulation
channel
fringes
weight coefficient
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711467115.1A
Other languages
English (en)
Other versions
CN108109201B (zh
Inventor
陈海龙
彭翔
宋丽晓
刘晓利
刘梦龙
关颖健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN ESUN DISPLAY CO Ltd
Original Assignee
SHENZHEN ESUN DISPLAY CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN ESUN DISPLAY CO Ltd filed Critical SHENZHEN ESUN DISPLAY CO Ltd
Priority to CN201711467115.1A priority Critical patent/CN108109201B/zh
Publication of CN108109201A publication Critical patent/CN108109201A/zh
Application granted granted Critical
Publication of CN108109201B publication Critical patent/CN108109201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种复杂颜色表面物体的三维重建方法、装置、计算机设备、存储介质和系统，该方法包括：控制摄像装置扫描被测物体的N步相移彩色条纹图；根据N步相移彩色条纹图，计算每个像素点的红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度；分别对红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度进行归一化处理，得到N步相移彩色条纹图各像素点的红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数；根据红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数，将各N步相移彩色条纹图转换为灰度条纹图像。该方法充分利用各通道的强度信息，有效减小了噪声对亮度转换效率的影响。

Description

复杂颜色表面物体的三维重建方法和系统
技术领域
本发明涉及图像处理技术领域，特别是涉及一种复杂颜色表面物体的三维重建方法、装置、计算机设备、存储介质和系统。
背景技术
随着现代科技的不断发展以及基本制造工艺的不断提高，越来越多的方面对建模有着持续性增长的需求。基于计算机视觉的三维立体重建技术作为一种崭新的实用技术，有效改善了纯手工建模方法的低精度问题。三维立体重建，是指对三维物体建立适合计算机表示和处理的数学模型。三维重建技术被广泛应用于文物鉴定，医学检测和虚拟现实等领域。
立体三维重建主要包括数据获取、预处理、特征分析、点云拼接、表面重建等步骤，其中点云数据的获取是在三维重建过程中至关重要的部分。投影结构光三维测量系统是一种非接触式的点云数据获取设备，该系统一般由两个CCD摄像机和一个DLP投影仪组成，测量时使用投影仪向被测物体投射一组光强呈余弦分布的条纹图像，并使用摄像机同时拍摄经被测物体表面调制而变形的条纹图像；然后利用拍摄得到的条纹图像，根据相位计算方法得到条纹图像的绝对相位值；最后根据预先标定的系统参数或相位—高度映射关系从绝对相位值计算出被测物体表面的三维点云数据。
彩色工业相机采集的彩色条纹图需要转换成灰度条纹图，也即条纹图像的灰度化处理。传统图像的灰度化处理方法是按照CIE标准色度学系统中依据人眼视觉特性分别赋予红色、绿色、蓝色三通道固定的权重系数。
传统固定权重的图像灰度化处理方法是根据人眼的视觉特性以固定权重比例对RGB三通道的强度进行灰度转换的，而通过传统固定权重的彩色-灰度转换方法并没有考虑物体本身的颜色差异。比如采集一个物体蓝色部分比较多，获取的彩色图像中B分量的值比较大，R和G分量很小。如果采用传统方法，由于B通道的权重系数是0.114，该通道的强度信息将会被抑制，最终得到的灰度值会很小，以致转换后的灰度条纹图像对比度非常低，从而降低灰度条纹图进行相位重建时的抗噪声能力，严重影响物体的三维重建效果。
发明内容
基于此，有必要针对固定权重系统的图像灰度化处理导致的无法充分利用各通道的强度信息和相位抗噪声能力下降的问题，提供一种复杂颜色表面物体的三维重建方法、装置、计算机设备、存储介质和系统。
一种复杂颜色表面物体的三维重建方法，包括：
控制摄像装置扫描被测物体的N步相移彩色条纹图；
根据所述N步相移彩色条纹图，计算每个像素点的红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度；
分别对所述红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度进行归一化处理，得到所述N步相移彩色条纹图各像素点的红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数；
根据所述红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数，将各所述N步相移彩色条纹图转换为灰度条纹图像；
基于N步相移最小二乘相位求解方法，得到所述灰度图像的相位值；
根据所述相位值计算出被测物体表面的深度数据以进行三维重建。
一种复杂颜色表面物体的三维重建装置，包括：
扫描控制模块，用于控制摄像装置扫描被测物体的N步相移彩色条纹图；
调制度计算模块，用于根据所述N步相移彩色条纹图，计算每个像素点的红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度；
权重计算模块，用于分别对所述红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度进行归一化处理，得到所述N步相移彩色条纹图各像素点的红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数；
转换模块，用于根据所述红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数，将各所述N步相移彩色条纹图转换为灰度条纹图像；
相位计算模块，用于基于N步相移最小二乘相位求解方法，得到所述灰度图像的相位值；
深度数据计算模块，用于根据所述相位值计算出被测物体表面的深度数据以进行三维重建。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述的复杂颜色表面物体的三维重建方法的步骤。
一种存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述的复杂颜色表面物体的三维重建方法的步骤。
一种复杂颜色表面物体的三维重建系统，包括：投影装置、第一摄像装置、第二摄像装置以及上述的计算机设备；所述第一摄像装置和第二摄像装置分别位于被测物体的两侧，所述计算机设备分别与投影装置、第一摄像装置和第二摄像装置通信连接；测物体设置于所述第一摄像装置和第二摄像装置的采集范围，以及所述投影装置的投影范围。
上述的复杂颜色表面物体的三维重建方法、装置、计算机设备、存储介质和系统，通过直接在获取到的彩色条纹图上逐像素进行调制度归一化处理，提高了彩色条纹图像中灰度特征的提取效率，并且条纹调制度的计算综合了所有彩色相移条纹图像的亮度信息，因此，基于条纹调制度计算的权重，充分利用各通道的强度信息，提高了相位抗噪声能力，有效减小了噪声对亮度转换效率的影响，提高了物体三维重建的精度。
附图说明
图1为一个实施例的复杂颜色表面物体的三维重建系统的结构示意图；
图2为一个实施例中复杂颜色表面物体的三维重建方法的流程图；
图3为一个实施例的计算各彩色条纹图中各像素点的红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度的步骤的流程图；
图4为一个三维重建实验中所采用的青花瓷瓶彩色图像；
图5为采用传统固定权重的图像灰度化处理方法将图4的青花瓷瓶彩色图像转换为灰度图像的效果示意图；
图6为本发明方法将图4的青花瓷瓶彩色图像转换为灰度图像的效果示意图；
图7至图9分别为彩色瓷瓶彩色图像在R、G、B三通道的伪彩色图像；
图10为在图5所示的灰度图像的基础上，通过三维重建技术重建出瓷瓶的三维模型的示意图；
图11为在图6的灰度图像的基础上，通过三维重建技术重建出瓷瓶的三维模型的示意图；
图12为四步相移基于传统灰度转换法与本发明方法的相位误差比较曲线图；
图13为六步相移基于传统灰度转换法与本发明方法的相位误差比较曲线图；
图14为一个实施例的复杂颜色表面物体的三维重建装置的结构框图。
具体实施方式
图1为一个实施例的复杂颜色表面物体的三维重建系统的结构示意图。如图1所示，包括投影装置102、第一摄像装置104、第二摄像装置106以及计算机设备108。其中，第一摄像装置104和第二摄像装置106分别位于被测物体的两侧，计算机设备108分别与投影装置102、第一摄像装置104和第二摄像装置106通信连接。被测物体设置规范第一摄像装置104和第二摄像装置106的采集范围，以及投影装置102的投影范围。
本实施例中，第一摄像装置104和第二摄像装置106为带有彩色CCD(Charge-coupled Device，电荷耦合元件)的图像采集装置，自然光经过透镜的折射作用，透过只含有红绿蓝三色的拜尔滤光片到达CCD，当CCD曝光后，光电二极管受到光线的激发产生电信号，CCD会将一次成像产生的电信号收集起来传输到相机内部处理器进行处理，最终输出彩色纹理图像。其中，投影装置102向被测物体投射的一组余弦条纹图像，第一摄像装置104和第二摄像装置106采集变形条纹彩色图像，计算机设备根据相移算法和相位展开算法计算得到条纹图像的绝对相位值，根据预先标定的系统参数或相位—高度映射关系从相位值计算出被测物体表面的三维点云数据。
在一个实施例中，提供一种复杂颜色表面物体的三维重建方法，该方法运行于图1中的计算机设备108。图2为一个实施例中复杂颜色表面物体的三维重建方法的流程图。如图2所示，该方法包括以下步骤：
S202，控制摄像装置扫描被测物体的N步相移彩色条纹图。
其中，摄像装置是指图1中的第一摄像装置104和第二摄像装置106。位于被测物体左右的第一摄像装置104和第二摄像装置106同时采集N步相移彩色条纹图，得到其中，为第n步相移条纹图的红色通道的分量值，为第n步相移条纹图的绿色通道的分量值，为第n步相移条纹图的蓝色通道的分量值。
本实施例中采用N步相移法进行三维重建时，计算机设备产生符合余弦分布的投影条纹图像，其中第n步相移条纹图的代数表示形式为：
In(x,y)＝A(x,y)+B(x,y)cos[φ(x,y)+δn],n＝1,2,…,N
其中A(x,y)代表背景光强或平均灰度，B(x,y)为调制强度，φ(x,y)代表调制相位，δn代表相位偏移量，δn＝2π(n-1)/N，N为条纹相移的步数，(x,y)是条纹图像上的像素坐标。
相位轮廓技术首先将上述条纹图序列投影到物体表面，余弦条纹图受到物体表面调制而发生变形，然后通过第一摄像装置和第二摄像装置采集变形条纹图。具体地，计算机设备控制摄像装置采集符合余弦分布的条纹图像投影至物体受物体表面调制而发生变形的彩色变形条纹图。本实施例中，采集的彩色变形条纹图为RGB格式的彩色图像。
RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色。
基于N步相移最小二乘相位求解方法可上式中的三个未知量：
背景强度：
条纹调制度：
条纹相位：
S204，根据N步相移彩色条纹图，计算每个像素点的红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度。
调制度是一个非常重要的信息，它可以综合考虑待测物体表面的反射率、光强等物理量。
计算机设备在采集被测物体的彩色条纹图后，提取彩色条纹图的每个像素点的颜色值，即RGB颜色空间的红色通道、蓝色通道和绿色通道的分量值，根据该像素点的分量值计算对应通道的条纹调制度。
图3为一个实施例的根据N步相移彩色条纹图，计算每个像素点的红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度的步骤的流程图，如图3所示，该步骤包括：
S302，根据N步相移彩色条纹图中每个像素点的红色通道的分量值，计算红色通道的条纹调制度。
具体地，利用采集的N步彩色条纹图的每个像素点的红色通道的分量值，计算红色通道的条纹调制度的计算公式如下：
其中，BR为红色通道的条纹调制度，为红色通道的分量值，N为条纹相移的步数。
具体地，利用上述的条纹调制度计算公式对N步相移彩色条纹图的每个像素点的红色通道的分量值，计算红色通道的条纹调制度。以N＝4为例，彩色得到4幅彩色条纹图，采用上述公式，以像素点(1，1)为例，利用4幅彩色条纹图中该像素点的红色通道的分量值，得到该像素点的红色通道的条纹调制度，依此类推，依次计算得到每个像素点的红色通道的条纹调制度。
S304，根据N步相移彩色条纹图中每个像素点的绿色通道的分量值，计算绿色通道的条纹调制度。
具体地，利用采集的N步彩色条纹图的每个像素点的绿色通道的分量值，计算绿色通道的条纹调制度的计算公式如下：
其中，BG为绿色通道的条纹调制度，为绿色通道的分量值，N为条纹相移的步数。
具体地，利用上述的条纹调制度计算公式对N步相移彩色条纹图的每个像素点的绿色通道的分量值，计算绿色通道的条纹调制度。以N＝4为例，彩色得到4幅彩色条纹图，采用上述公式，以像素点(1，1)为例，利用4幅彩色条纹图中该像素点的绿色通道的分量值，得到该像素点的绿色通道的条纹调制度，依此类推，依次计算得到每个像素点的绿色通道的条纹调制度。
S306，根据N步相移彩色条纹图中每个像素点的蓝色通道的分量值，计算蓝色通道的条纹调制度。
具体地，利用采集的N步彩色条纹图的每个像素点的蓝色通道的分量值，计算绿色通道的条纹调制度的计算公式如下：
其中，BB为蓝色通道的条纹调制度，为蓝色通道的分量值，N为条纹相移的步数。
具体地，利用上述的条纹调制度计算公式对N步相移彩色条纹图的每个像素点的蓝色通道的分量值，计算蓝色通道的条纹调制度。以N＝4为例，彩色得到4幅彩色条纹图，采用上述公式，以像素点(1，1)为例，利用4幅彩色条纹图中该像素点的蓝色通道的分量值，得到该像素点的蓝色通道的条纹调制度，依此类推，依次计算得到每个像素点的蓝色通道的条纹调制度。
在步骤S204之后，包括步骤：
S206，分别对红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度进行归一化处理，得到N步相移彩色条纹图各像素点的红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数，其中红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数之和为1。
一个实施例中，分别对红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度进行归一化处理，得到N步相移彩色条纹图各像素点的红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数的步骤包括：分别根据各像素点的红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度，计算各像素点的红色通道的条纹调制度的占比、绿色通道的条纹调制度的占比和蓝色通道的条纹调制度的占比，从而得到各像素点对应的红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数。
本实施例中，归一化处理，具体通过每个像素点的三通道的条纹调制度的数值，分别计算三通道的条纹调制度的占比，三通道的条纹调制度的占比之和为1。
三通道的条纹调制度的占比，是指每个通道的条纹调制度与三通道的条纹调制度之和的比值。
具体地，红色通道的条纹调制度的占比为红色通道的条纹调制度与三通道的总的条纹调制度的比值，如下所示：
其中，为第(i,j)像素的红色通道的条纹调制度的占比，为第(i,j)像素的红色通道的条纹调制度，为第(i,j)像素的绿色通道的条纹调制度，为第(i,j)像素的蓝色通道的条纹调制度，为第(i,j)像素的三通道的条纹调制度之和。
绿色通道的条纹调制度的占比为绿色通道的条纹调制度与三通道的总的条纹调制度的比值，如下所示：
其中，为第(i,j)像素的绿色通道的条纹调制度的占比，为第(i,j)像素的红色通道的条纹调制度，为第(i,j)像素的绿色通道的条纹调制度，为第(i,j)像素的蓝色通道的条纹调制度，为第(i,j)像素的三通道的总的条纹调制度。
蓝色通道的条纹调制度的占比为绿色通道的条纹调制度与三通道的总的条纹调制度的比值，如下所示：
其中，为第(i,j)像素的蓝色通道的条纹调制度的占比，为第(i,j)像素的红色通道的条纹调制度，为第(i,j)像素的绿色通道的条纹调制度，为第(i,j)像素的蓝色通道的条纹调制度，为第(i,j)像素的三通道的条纹调制度之和。
各像素点的权重系数包括各像素点中红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数。根据红色通道的条纹调制度的占比、绿色通道的条纹调制度的占比和蓝色通道的条纹调制度的占比，得到各像素点对应的红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数。即该像素点对应的红色通道的权重系数，即为该像素点的红色通道的条纹调制度的占比，该像素点对应的绿色通道的权重系数，即为该像素点的绿色通道的条纹调制度的占比，该像素点对应的蓝色通道的权重系数，即为该像素点的蓝色通道的条纹调制度的占比。
具体地，第n步相移条纹图像中第(i,j)像素对应的权重系数向量
其中，wi,j为第(i,j)像素的权重系数向量，为第(i,j)像素的红色通道的权重系数，为第(i,j)像素的绿色通道的权重系数，为第(i,j)像素的蓝色通道的权重系数。
本实施例中，彩色图像的每个像素中的各通道的权重系数不再是固定权重，而是基于物体彩色图的三通道的实际分量值进行计算，体现了各通道的实际分量值，充分利用了各通道的强度信息和物体表面的颜色信息。
步骤S206之后，还包括步骤：
S208，根据红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数，将各N步相移彩色条纹图转换为灰度条纹图像。
具体地，对于每一张彩色条纹图，根据对应像素点的三通道的权重系数，将该彩色条纹图的每个像素点转换成灰度图像，依此类推，将N幅彩色条纹图像转换成灰度图像其中n＝1,2,…,N。
其中，为灰度图像，w为权重系数向量，为第N步相移条纹图像；IR为红色通道的分量值，IG为绿色通道的分量值，IB为蓝色通道的分量值，wR为红色通道的权重系数，wG为绿色通道的权重系数，wB为蓝色通道的权重系数。
本实施例中，基于条纹调制度动态加权的灰度化算法能够有效弥补了传统固定权重的图像灰度化处理方法中存在的问题，充分利用了物体的颜色信息，提高了亮度信息转换效率的同时降低了噪声的干扰。
S210，基于N步相移最小二乘相位求解方法，得到灰度图像的相位值。
基于N步相移最小二乘相位求解方法可得条纹相位的计算公式：
S212，根据相位值计算出被测物体表面的深度数据以进行三维重建。
具体地，根据相位值和传感器标定的内参和外参，通过双目立体视觉的方法计算出被测物体表面的深度数据以进行三维重建。本实施例中，可采用相位值进行深度数据计算的方法，通过多视角深度数据进行三维重建，本实施例中不再赘述。
该方法通过直接在获取到的彩色条纹图上逐像素进行调制度归一化处理，提高了彩色条纹图像中灰度特征的提取效率，并且条纹调制度的计算综合了所有彩色相移条纹图像的亮度信息，因此，基于条纹调制度计算的权重，充分利用各通道的强度信息，提高了相位抗噪声能力，有效减小了噪声对亮度转换效率的影响，提高了物体三维重建的精度。
下面，通过对青花瓷瓶的三维重建仿真实验来进一步说明基于条纹调制度动态加权的灰度化算法在复杂物体表面重建中的有效性。实验首先通过彩色摄像机采集的青花瓷瓶彩色图像，如图4所示，瓷瓶身主要以蓝色图案和白色背景为主。瓷瓶身主要以蓝色图案和白色背景为主。
采用传统固定权重的图像灰度化处理方法将彩色瓷瓶图像转换为灰度图像，效果如图5所示。应用本发明方法生成的灰度图像如图6所示，相较于传统彩色-灰度转换方法转换后灰度图像中蓝色部分的亮度明显提升。图7、图8、图9分别是彩色瓷瓶图像在R、G、B三通道的伪彩色图像，由图可知，该瓷瓶彩色图像中蓝色分量较多，红色分量和绿色分量相当，均占比较少。青花瓷瓶三维模型重建过程中通过传统固定权重的灰度化处理方法将彩色瓷瓶条纹图像转换为灰度条纹图像后，采用三维重建技术重建出瓷瓶的三维模型，具体如图10所示。由于采用传统固定权重进行灰度提取的方法受物体表面颜色信息和噪声的影响非常明显。此外，传统灰度化处理方法采用固定权重对图像的彩色分量进行线性加权，忽略了目标物体本身的颜色属性，抑制了物体的灰度信息转换效率，进而增大了噪声的干扰，使得在重建后瓷瓶的三维模型表面上蓝色区域内存在凹陷现象。
图10为传统固定权重的图像灰度化处理方法重建结果图，正常曝光情况下的图像区域(红色框所示)受噪声和颜色分量影响较大，过曝区域(蓝色框所示)受过曝影响较大，使得两部分重建结果都较差。为了有效利用各个颜色通道的主要强度信息，本发明采用基于条纹调制度动态加权的灰度化算法对青花瓷瓶进行三维重建，其重建结果如图11所示。图11为基于条纹调制度动态加权的灰度化方法重建出来的模型，其中红色框区域的重建效果显示该方法能够充分利用瓷瓶本身的颜色分量，降低噪声对重建效果的干扰，同时蓝色框区域只受过曝小区域影响，与传统的灰度化方法相比具有较好的重建的效果。实验证明，本发明提出的基于条纹调制度动态加权的灰度化算法能够有效降低颜色信息对于三维重建结果的影响，明显减弱了蓝色区域凹陷现象，同时抑制了过曝区域对邻域像素的干扰。
图12和图13是从图3中的第462行选取的400个像素样本绘制的相位误差比较结果，分别为四步相移法和六步相移法的相位误差曲线图，两图中的虚线曲线代表传统固定权重的灰度化方法的相位误差，实线曲线为基于条纹调制度动态加权的灰度化算法计算出来的相位误差，四步相移法和六步相移法中实线曲线代表的基于条纹调制度动态加权的灰度化算法的相位误差明显比传统固定权重的灰度化方法得到的相位误差小。另外，本实验从图4中的方框区域选取了多行样本数据对本发明方法与传统方法进行量化比较。表1中列出了传统方法(固定权重)与本发明方法中的基于条纹调制度动态加权的灰度化算法的比较数据。
表1相位误差的最大幅度(MAX)与均方根误差(RMS)
基于条纹调制度动态加权的灰度化算法与传统灰度化方法的比较结果：采用4步相移法的三维重建算法中，本发明提出的基于条纹调制度动态加权的灰度化方法的相位误差的最大幅度(MAX)比传统方法降低了70％，均方根误差(RMS)降低了64％；采用6步相移法的三维重建算法中，本发明方法相位误差的最大幅度(MAX)比传统方法降低了73％，均方根误差(RMS)降低了52％。
经实验图表数据表明，本发明提出的基于条纹调制度动态加权的灰度化算法能够有效弥补了传统固定权重的图像灰度化处理方法中存在的问题，充分利用了物体的颜色信息，提高了亮度信息转换效率的同时降低了噪声的干扰，有效改善了物体的三维重建效果。
在另一个实施例中，提供一种复杂颜色表面物体的三维重建装置，如图14所示，包括：
扫描控制模块502，用于控制摄像装置扫描被测物体的N步相移彩色条纹图。
具体地，扫描控制模块，用于控制摄像装置采集符合余弦分布的条纹图像投影至物体受物体表面调制而发生变形的彩色变形条纹图。
调制度计算模块504，用于根据所述N步相移彩色条纹图，计算每个像素点的红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度。
具体地，调制度计算模块，用于根据N步相移彩色条纹图中每个像素点的红色通道的分量值，计算红色通道的条纹调制度；根据N步相移彩色条纹图中每个像素点的绿色通道的分量值，计算绿色通道的条纹调制度；根据N步相移彩色条纹图中每个像素点的蓝色通道的分量值，计算蓝色通道的条纹调制度。
权重计算模块506，用于分别对所述红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度进行归一化处理，得到所述N步相移彩色条纹图各像素点的红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数。
具体地，权重计算模块，用于分别根据各像素点的所述红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度，计算各像素点的红色通道的条纹调制度的占比、绿色通道的条纹调制度的占比和蓝色通道的条纹调制度的占比，得到各像素点对应的红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数。
转换模块508，用于根据所述红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数，将各所述N步相移彩色条纹图转换为灰度条纹图像；
相位计算模块510，用于基于N步相移最小二乘相位求解方法，得到灰度图像的相位值；
深度数据计算模块512，用于根据相位值计算出被测物体表面的深度数据以进行三维重建。
上述的装置通过直接在获取到的彩色条纹图上逐像素进行调制度归一化处理，提高了彩色条纹图像中灰度特征的提取效率，并且条纹调制度的计算综合了所有彩色相移条纹图像的亮度信息，因此，基于条纹调制度计算的权重，充分利用各通道的强度信息，提高了相位抗噪声能力，有效减小了噪声对亮度转换效率的影响，提高了物体三维重建的精度。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行程序时实现上述各实施例的复杂颜色表面物体的三维重建方法的步骤。
一种存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述各实施例的复杂颜色表面物体的三维重建方法的步骤。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种复杂颜色表面物体的三维重建方法，包括：
控制摄像装置采集被测物体的N步相移彩色条纹图；
根据所述N步相移彩色条纹图，计算每个像素点的红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度；
分别对所述红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度进行归一化处理，得到所述N步相移彩色条纹图各像素点的红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数；
根据所述红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数，将各所述N步相移彩色条纹图转换为灰度条纹图像；
基于N步相移最小二乘相位求解方法，得到所述灰度图像的相位值；
根据所述相位值计算出被测物体表面的深度数据以进行三维重建。
2.根据权利要求1所述的方法，其特征在于，所述根据所述N步相移彩色条纹图，计算每个像素点的红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度的步骤，包括：
根据所述N步相移彩色条纹图中每个像素点的红色通道的分量值，计算红色通道的条纹调制度；
根据所述N步相移彩色条纹图中每个像素点的绿色通道的分量值，计算绿色通道的条纹调制度；
根据所述N步相移彩色条纹图中每个像素点的蓝色通道的分量值，计算蓝色通道的条纹调制度。
3.根据权利要求1所述的方法，其特征在于，所述分别对所述红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度进行归一化处理，得到所述N步相移彩色条纹图各像素点的红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数的步骤包括：
分别根据各像素点的所述红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度，计算各像素点的红色通道的条纹调制度的占比、绿色通道的条纹调制度的占比和蓝色通道的条纹调制度的占比，得到各像素点对应的红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数。
4.根据权利要求1所述的方法，其特征在于，所述控制摄像装置扫描被测物体的彩色条纹图的步骤，包括：
控制摄像装置采集符合余弦分布的条纹图像投影至物体受物体表面调制而发生变形的彩色变形条纹图。
5.一种复杂颜色表面物体的三维重建装置，包括：
扫描控制模块，用于控制摄像装置扫描被测物体的N步相移彩色条纹图；
调制度计算模块，用于根据所述N步相移彩色条纹图，计算每个像素点的红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度；
权重计算模块，用于分别对所述红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度进行归一化处理，得到所述N步相移彩色条纹图各像素点的红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数；
转换模块，用于根据所述红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数，将各所述N步相移彩色条纹图转换为灰度条纹图像；
相位计算模块，用于基于N步相移最小二乘相位求解方法，得到所述灰度图像的相位值；
深度数据计算模块，用于根据所述相位值计算出被测物体表面的深度数据以进行三维重建。
6.根据权利要求5所述的装置，其特征在于，所述调制度计算模块，用于根据所述N步相移彩色条纹图中每个像素点的红色通道的分量值，计算红色通道的条纹调制度；根据所述N步相移彩色条纹图中每个像素点的绿色通道的分量值，计算绿色通道的条纹调制度；根据所述N步相移彩色条纹图中每个像素点的蓝色通道的分量值，计算蓝色通道的条纹调制度。
7.根据权利要求5所述的装置，其特征在于，所述权重计算模块，用于分别根据各像素点的所述红色通道的条纹调制度、绿色通道的条纹调制度和蓝色通道的条纹调制度，计算各像素点的红色通道的条纹调制度的占比、绿色通道的条纹调制度的占比和蓝色通道的条纹调制度的占比，得到各像素点对应的红色通道的权重系数、绿色通道的权重系数和蓝色通道的权重系数。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4任一项所述的复杂颜色表面物体的三维重建方法的步骤。
9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现权利要求1至4任一项所述的复杂颜色表面物体的三维重建方法的步骤。
10.一种复杂颜色表面物体的三维重建系统，包括：投影装置、第一摄像装置、第二摄像装置以及如权利要求8所述的计算机设备；所述第一摄像装置和第二摄像装置分别位于被测物体的两侧，所述计算机设备分别与投影装置、第一摄像装置和第二摄像装置通信连接；被测物体设置于所述第一摄像装置和第二摄像装置的采集范围，以及所述投影装置的投影范围。
CN201711467115.1A 2017-12-28 2017-12-28 复杂颜色表面物体的三维重建方法和系统 Active CN108109201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711467115.1A CN108109201B (zh) 2017-12-28 2017-12-28 复杂颜色表面物体的三维重建方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711467115.1A CN108109201B (zh) 2017-12-28 2017-12-28 复杂颜色表面物体的三维重建方法和系统

Publications (2)

Publication Number Publication Date
CN108109201A true CN108109201A (zh) 2018-06-01
CN108109201B CN108109201B (zh) 2021-11-30

Family

ID=62214434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711467115.1A Active CN108109201B (zh) 2017-12-28 2017-12-28 复杂颜色表面物体的三维重建方法和系统

Country Status (1)

Country Link
CN (1) CN108109201B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109187583A (zh) * 2018-07-28 2019-01-11 西安交通大学 一种汽车车身缺陷增强方法及装置
CN110874862A (zh) * 2018-08-30 2020-03-10 中国石油化工股份有限公司 用于三维重建的系统及方法
CN111337517A (zh) * 2020-03-09 2020-06-26 广西师范大学 一种柱透镜缺陷检测装置及柱透镜缺陷检测方法
CN113310432A (zh) * 2021-05-25 2021-08-27 湖北工业大学 一种基于逐像素调控的自适应条纹投影三维测量方法
WO2021168972A1 (zh) * 2020-02-24 2021-09-02 五邑大学 一种具有三维视觉的小车图像识别方法、装置及存储介质
CN113654486A (zh) * 2021-08-17 2021-11-16 西安交通大学 一种快速彩色条纹图相位解调算法及系统
CN114018176A (zh) * 2021-10-27 2022-02-08 华中科技大学 一种投影图像处理模块、三维重构方法及其系统
CN115329256A (zh) * 2022-10-13 2022-11-11 南京理工大学 一种基于fpp的水下光学测量误差补偿方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110285738A1 (en) * 2010-05-20 2011-11-24 Pei-Lin Hsieh Rgbw display system and method for displaying images thereof
US20130127847A1 (en) * 2010-08-25 2013-05-23 Hailin Jin System and Method for Interactive Image-based Modeling of Curved Surfaces Using Single-view and Multi-view Feature Curves
CN104656263A (zh) * 2015-03-17 2015-05-27 京东方科技集团股份有限公司 三维显示方法和装置
CN105046743A (zh) * 2015-07-01 2015-11-11 浙江大学 一种基于全局变分技术的超高分辨率三维重建方法
CN106204732A (zh) * 2016-07-21 2016-12-07 深圳市易尚展示股份有限公司 动态曝光的三维重建方法及系统
CN106595522A (zh) * 2016-12-15 2017-04-26 东南大学 一种光栅投影三维测量系统的误差校正方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110285738A1 (en) * 2010-05-20 2011-11-24 Pei-Lin Hsieh Rgbw display system and method for displaying images thereof
US20130127847A1 (en) * 2010-08-25 2013-05-23 Hailin Jin System and Method for Interactive Image-based Modeling of Curved Surfaces Using Single-view and Multi-view Feature Curves
CN104656263A (zh) * 2015-03-17 2015-05-27 京东方科技集团股份有限公司 三维显示方法和装置
CN105046743A (zh) * 2015-07-01 2015-11-11 浙江大学 一种基于全局变分技术的超高分辨率三维重建方法
CN106204732A (zh) * 2016-07-21 2016-12-07 深圳市易尚展示股份有限公司 动态曝光的三维重建方法及系统
CN106595522A (zh) * 2016-12-15 2017-04-26 东南大学 一种光栅投影三维测量系统的误差校正方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SEBASTIAN MOCK 等: "Achieving Flexible 3D Reconstruction Volumes for RGB-D and RGB Camera Based Approaches", 《INTERNATIONAL CONFERENCE ON COMPUTER VISION AND GRAPHICS 2016》 *
何懂 等: "结合条纹和伪随机结构光投影的三维成像", 《中国激光》 *
刘星明 等: "基于计算机视觉的三维重建技术研究", 《深圳信息职业技术学院学报》 *
李立春 等: "基于匹配测度加权求解基础矩阵的三维重建算法", 《计算机应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109187583A (zh) * 2018-07-28 2019-01-11 西安交通大学 一种汽车车身缺陷增强方法及装置
CN109187583B (zh) * 2018-07-28 2020-05-22 西安交通大学 一种汽车车身缺陷增强方法及装置
CN110874862A (zh) * 2018-08-30 2020-03-10 中国石油化工股份有限公司 用于三维重建的系统及方法
WO2021168972A1 (zh) * 2020-02-24 2021-09-02 五邑大学 一种具有三维视觉的小车图像识别方法、装置及存储介质
CN111337517A (zh) * 2020-03-09 2020-06-26 广西师范大学 一种柱透镜缺陷检测装置及柱透镜缺陷检测方法
CN113310432A (zh) * 2021-05-25 2021-08-27 湖北工业大学 一种基于逐像素调控的自适应条纹投影三维测量方法
CN113654486A (zh) * 2021-08-17 2021-11-16 西安交通大学 一种快速彩色条纹图相位解调算法及系统
CN114018176A (zh) * 2021-10-27 2022-02-08 华中科技大学 一种投影图像处理模块、三维重构方法及其系统
CN115329256A (zh) * 2022-10-13 2022-11-11 南京理工大学 一种基于fpp的水下光学测量误差补偿方法
CN115329256B (zh) * 2022-10-13 2023-02-28 南京理工大学 一种基于fpp的水下光学测量误差补偿方法

Also Published As

Publication number Publication date
CN108109201B (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN108109201A (zh) 复杂颜色表面物体的三维重建方法和系统
CN108195312A (zh) 基于动态权重的彩色物体三维重建方法和系统
CN106705855B (zh) 一种基于自适应光栅投影的高动态性能三维测量方法
CN104335005B (zh) 3d扫描以及定位系统
CN110057319A (zh) 一种大范围反射率变化物体的高速三维测量方法
CN104897083B (zh) 一种基于投影仪散焦解相位的光栅投影三维快速测量方法
CN109919876A (zh) 一种三维真脸建模方法及三维真脸照相系统
CN101871773B (zh) 同步色相相移转换方法以及其三维形貌量测系统
CN108961390A (zh) 基于深度图的实时三维重建方法
CN106780726A (zh) 融合rgb‑d相机和彩色光度立体法的动态非刚体三维数字化方法
CN108613637A (zh) 一种基于参考图像的结构光系统解相方法及系统
CN109974625B (zh) 一种基于色相优化灰度的彩色物体结构光三维测量方法
CN109523627A (zh) 一种基于泰勒指数表达式型面结构光的三维重建方法
CN109540038A (zh) 基于彩色多通道双频相移的机器视觉自适应补光测量方法
CN111879257A (zh) 一种基于傅里叶变换轮廓术的高动态范围实时三维测量方法
CN106456292A (zh) 用于收集与正在经历3d扫描的对象有关的颜色信息的系统、方法、设备
CN109556535A (zh) 一种基于彩色条纹投影的三维面型一步重构方法
CN104796577A (zh) 基于emccd和单色ccd的彩色夜视成像装置及方法
CN106251376B (zh) 一种面向彩色结构光编码与边缘提取方法
Li et al. Pro-cam ssfm: Projector-camera system for structure and spectral reflectance from motion
CN108931209A (zh) 一种高适应性的彩色物体三维重建方法
Wang et al. Single-shot phase measuring profilometry based on color binary grating with intervals
CN205280002U (zh) 一种基于分通道测量提取技术的三维测量装置
CN112802186B (zh) 基于二值化特征编码匹配的动态场景实时三维重建方法
KR20190125827A (ko) 진폭 변조 홀로그램을 위한 홀로그램 인코딩 및 홀로그램 화질 평가 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant