CN116448001A - 三维测量方法、装置、系统、介质及电子设备 - Google Patents
三维测量方法、装置、系统、介质及电子设备 Download PDFInfo
- Publication number
- CN116448001A CN116448001A CN202310156024.5A CN202310156024A CN116448001A CN 116448001 A CN116448001 A CN 116448001A CN 202310156024 A CN202310156024 A CN 202310156024A CN 116448001 A CN116448001 A CN 116448001A
- Authority
- CN
- China
- Prior art keywords
- image
- captured image
- stripe
- fringe
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000691 measurement method Methods 0.000 title claims abstract description 19
- 230000000295 complement effect Effects 0.000 claims abstract description 77
- 238000005259 measurement Methods 0.000 claims abstract description 41
- 238000003384 imaging method Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 239000002184 metal Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000005428 wave function Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种三维测量方法、装置、系统、介质及电子设备，所述方法包括步骤S100:投影装置投射k幅第一条纹图像和k幅第二条纹图像至待测物体表面，彩色的成像装置获取k幅第一捕获图像和k幅第二捕获图像；步骤S200：分红、绿、蓝三通道计算每一对所述捕获图像的互补像素的条纹调制度，选择所述条纹调制度最接近1的通道的灰度值作为所述捕获图像的灰度值；步骤S300：每一对所述捕获图像更新获得的所述第一新捕获图像与所述第二新捕获图像做差得到第三捕获图像；步骤S400：确定所述第一条纹图像中像素与所述第三捕获图像中像素之间的对应关系；步骤S500：基于所述对应关系重建出待测物体表面的三维形态。本发明提供的方法可以提高测量精度和测量效率。
Description
技术领域
本发明涉及光学三维测量领域，尤其涉及一种三维测量方法、装置、系统、介质及电子设备。
背景技术
机器视觉主要用于工件抓取、分拣、码垛、质量检测、装配、工件跟踪等工业应用。我国是一个制造大国，很多企业都需要对产品进行检测、分拣、上下料抓取等，其中就不乏各类各样的高反光金属零件。如何在散乱堆放的金属工件堆中用机器视觉技术正确重建出工件的点云信息，通过进行高精度的手眼标定驱动工业机器人到达正确的位姿抓取工件并摆放到相应的加工位置是在机器人抓取系统中需要研究的关键技术。
条纹投影技术因其具有非接触检测、速度快、精度高等优点，被广泛应用于逆向工程、质量控制、工业设计、工件抓取等众多领域。目前，针对在测量复杂高反光表面的物体时，明亮区域会出现像素饱和现象，导致测量误差的问题，人们提出了许多高动态范围(HDR)三维测量方法，如调整相机曝光时间的多重曝光法，基于偏振滤光片的HDR技术以及光度立体法等方法。然而，针对具有高反光表面的堆叠金属零件的抓取场合中，现有的方法仍无法解决如何在单次或少次测量中获得堆叠金属零件的完整点云的同时保证一定精度测量的问题。
发明内容
基于上述现状，为了克服测量效率及测量精度低的问题，本发明提供一种提高测量效率与测量精度的三维测量方法、装置、系统、介质及电子设备。
本发明提供一种基于互补条纹投影的高动态范围三维测量方法，所述方法包括：
步骤S100:投影装置投射k幅第一条纹图像和k幅第二条纹图像至待测物体表面，彩色的成像装置获取k幅第一捕获图像和k幅第二捕获图像；其中，所述第一条纹图像和所述第二条纹图像为二值图像，且k幅所述第一条纹图像与k幅所述第二条纹图像一一对应，且黑白翻转形成互补关系；所述第一捕获图像为所述第一条纹图像投射在所述待测物体表面后形成的图像，所述第二捕获图像为所述第二条纹图像投射在所述待测物体表面后形成的图像，具有互补关系的所述第一条纹图像和所述第二条纹图像投射在所述待测物体表面后形成的所述第一捕获图像和所述第二捕获图像形成一对捕获图像；
步骤S200：分红、绿、蓝三通道计算每一对所述捕获图像的互补像素的条纹调制度，选择所述条纹调制度最接近1的通道的灰度值作为所述捕获图像的灰度值，以将所述第一捕获图像和所述第二捕获图像分别更新为第一新捕获图像和第二新捕获图像；
步骤S300：每一对所述捕获图像更新获得的所述第一新捕获图像与所述第二新捕获图像做差得到第三捕获图像；
步骤S400：确定所述第一条纹图像中像素与所述第三捕获图像中像素之间的对应关系；
步骤S500：基于步骤S400中确定的所述对应关系重建出待测物体表面的三维形态。
优选地，所述互补像素的条纹调制度根据所述互补像素的图像强度计算得到；像素Q1与像素Q2互补，所述像素Q1与所述像素Q2的所述条纹调制度等于所述像素Q1与所述像素Q2的图像强度之差比所述像素Q1与所述像素Q2的图像强度之和。
优选地，所述k幅第一条纹图像包括m幅线移条纹图和n幅格雷码条纹图，线移条纹图的每个0/1值区域的像素宽度均为m个像素，按照时序投射的所述m幅线移条纹图中的每一张线移条纹图均为上一张线移条纹图向右移动一个像素宽度；所述第三捕获图像的总宽度为L，其中，2n≥L/m。
优选地，所述确定所述第一条纹图像中像素与所述第三捕获图像中像素之间的对应关系包括：
步骤S401：处理得到所述第一条纹图像及所述第三捕获图像中像素的绝对编码值；
步骤S402：基于相同的所述绝对编码值确定所述第一条纹图像中像素与所述第三捕获图像中像素之间的对应关系。
优选地，对所述第一条纹图像包括的所述m幅线移条纹图及对应的m幅所述第三捕获图像的条纹边缘编码，获得线移条纹编码值S；
对所述第一条纹图像包括的所述n幅格雷码条纹图及对应的n幅所述第三捕获图像按照格雷码编码规则编码，获得格雷码编码值G；
所述第一条纹图像、所述第三捕获图像中像素的所述绝对编码值为P，P＝G*m+s；G∈{0，1，2，...，(2n-1)}，S∈{1，2，...，m}。
本发明提供一种基于互补条纹投影的高动态范围三维测量装置，用于与投影装置、彩色的成像装置配合以测量待测物体的三维形态，所述基于互补条纹投影的高动态范围三维测量装置包括新捕获图像生成模块、第三捕获图像生成模块、匹配模块以及三维形态生成模块；
所述投影装置投射k幅第一条纹图像和k幅第二条纹图像至待测物体表面，所述成像装置获取k幅第一捕获图像和k幅第二捕获图像；其中，所述第一条纹图像和所述第二条纹图像为二值图像，且k幅所述第一条纹图像与k幅所述第二条纹图像一一对应，且黑白翻转形成互补关系；所述第一捕获图像为所述第一条纹图像投射在所述待测物体表面后形成的图像，所述第二捕获图像为所述第二条纹图像投射在所述待测物体表面后形成的图像，具有所述互补关系的所述第一条纹图像和所述第二条纹图像投射在所述待测物体表面后形成的所述第一捕获图像和所述第二捕获图像形成一对捕获图像；
新捕获图像生成模块，用于分红、绿、蓝三通道计算每一对所述捕获图像的互补像素的条纹调制度，选择所述条纹调制度最接近1的通道的灰度值作为所述捕获图像的灰度值，以将所述第一捕获图像和所述第二捕获图像分别更新为第一新捕获图像和第二新捕获图像；
第三捕获图像生成模块，用于将每一对所述捕获图像更新获得的所述第一新捕获图像与所述第二新捕获图像做差得到第三捕获图像；
匹配模块，用于确定所述第一条纹图像中像素与所述第三捕获图像中像素之间的对应关系；
三维形态生成模块，基于所述匹配模块确定的所述对应关系重建出待测物体表面的三维形态。
优选地，所述互补像素的条纹调制度根据所述互补像素的图像强度计算得到；像素c1与像素c2互补，所述像素c1与所述像素c2的所述条纹调制度等于所述像素c1与所述像素c2的图像强度之差比所述像素c1与所述像素c2的图像强度之和。
优选地，所述k幅第一条纹图像包括m幅线移条纹图和n幅格雷码条纹图，线移条纹图的每个0/1值区域的像素宽度均为m个像素，所述m幅线移条纹图中的每一张线移条纹图均为上一张线移条纹图向右移动一个像素宽度；所述第三捕获图像的总宽度为L，其中，2n≥L/m；
所述匹配模块包括第一编码模块、第二编码模块和对应关系确定模块，所述第一编码模块用于处理得到所述第一条纹图像中像素的绝对编码值；所述第二编码模块用于处理得到所述第三捕获图像中像素的绝对编码值；所述对应关系确定模块用于基于相同的绝对编码值确定所述第一条纹图像中像素与所述第三捕获图像中像素之间的对应关系。
本发明提供一种三维测量系统，所述三维测量系统包括如上所述的基于互补条纹投影的高动态范围三维测量装置、投影装置及彩色的成像装置，所述基于互补条纹投影的高动态范围三维测量装置与所述投影装置、所述彩色的成像装置配合以测量待测物体的三维形态。
本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，与投影装置、彩色的成像装置配合实现如上所述的基于互补条纹投影的高动态范围三维测量方法。
本发明提供一种电子设备，包括存储有计算机程序的存储介质，该计算机程序被处理器执行时，与投影装置、彩色的成像装置配合能实现如上所述的基于互补条纹投影的高动态范围三维测量方法，或所述电子设备包括如上所述的基于互补条纹投影的高动态范围三维测量装置。
本发明提供一种基于互补条纹投影的高动态范围三维测量方法，该方法通过分红、绿、蓝三通道计算每一对所述捕获图像的互补像素的条纹调制度，选择所述条纹调制度最接近1的通道的灰度值作为所述捕获图像的灰度值，增加测量动态范围，使得单次测量几乎可以获得完整的高反光表面点云，提升了测量精度和效率。该方法还通过第一新捕获图像与第二新捕获图像相减，减轻高反光表面对二值条纹图案亚像素边缘位置的影响保证了重建的精度，增加了该方法的抗噪性和鲁棒性。
本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。
附图说明
图1为基于互补条纹投影的高动态范围三维测量方法的流程示意图。
图2为投射一组具有互补关系的第一条纹图像和第二条纹图像示意图。
图3为成像装置拍摄的与图2中第一条纹图像和第二条纹图像对应的第一捕获图像和第二捕获图像示意图。
图4为成像装置拍摄的彩色的第一捕获图像示意图。
图5为图4中彩色的第一捕获图像分离出的红、绿、蓝三通道图像的示意图。
图6为图4中经过步骤S200处理后获得的第一新捕获图像的示意图。
图7为经步骤S200处理后得到的一对捕获图像的示意图。
图8为经步骤S300处理后得到的第三捕获图像。
图9为m幅线移条纹图的编码示意图。
图10为图9中线移条纹的全部码值示意图。
图11为线移条纹码值展开消除周期歧义的示意图。
图12为成像装置拍摄待测物体一得到的第一捕获图像；
图13和图14为待测物体一三维测量点云图的正视图和侧视图。
图15为成像装置拍摄待测物体二得到的第一捕获图像；
图16和图17为待测物体二三维测量点云图的正视图以及平面拟合度图。
具体实施方式
以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分，为了避免混淆本发明的实质，公知的方法、过程、流程、元件并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本发明提供的基于互补条纹投影的高动态范围三维测量方法用于重构待测物体表面的三维形态。具体地，通过投影装置向待测物体表面投射设定图案的结构光，与投影装置配合的成像装置捕获经过待测物体表面反射回的结构光，由于结构光在待测物体表面进行了调制，故反射回的结构光携带了待测物体表面信息，通过解调反射回的结构光，可以获得待测物体的三维形态信息，进而可以重构待测物体表面的三维形态。在一些实施例中，获得待测物体的三维形态信息的关键在于确定投影装置投射的设定图案像素与成像装置捕获图案像素之间的对应关系，在确定两者之间的像素对应关系后，可以通过包括三角测量原理在内等的现有技术处理获得待测物体的三维形态信息。
请参阅图1，本发明提供一种基于互补条纹投影的高动态范围三维测量方法，其包括步骤S100至步骤S500。
在步骤S100中，投影装置投射k幅第一条纹图像和k幅第二条纹图像至待测物体表面，彩色的成像装置获取k幅第一捕获图像和k幅第二捕获图像；其中，所述第一条纹图像和所述第二条纹图像为二值图像，且k幅所述第一条纹图像与k幅所述第二条纹图像一一对应，且黑白翻转形成互补关系；所述第一捕获图像为所述第一条纹图像投射在所述待测物体表面后形成的图像，所述第二捕获图像为所述第二条纹图像投射在所述待测物体表面后形成的图像，具有所述互补关系的所述第一条纹图像和所述第二条纹图像投射在所述待测物体表面后形成的所述第一捕获图像和所述第二捕获图像形成一对捕获图像。
在步骤S200中，分红、绿、蓝三通道计算每一对所述捕获图像的互补像素的条纹调制度，选择所述条纹调制度最接近1的通道的灰度值作为所述捕获图像的灰度值，以将所述第一捕获图像和所述第二捕获图像分别更新为第一新捕获图像和第二新捕获图像；
在步骤S300中，每一对所述捕获图像更新获得的所述第一新捕获图像与所述第二新捕获图像做差得到第三捕获图像；
在步骤S400中，确定所述第一条纹图像中像素与所述第三捕获图像中像素之间的对应关系；
在步骤S500中，基于步骤S400中确定的所述对应关系重建出待测物体表面的三维形态。
在步骤S100中，投影装置投射k幅第一条纹图像和k幅第二条纹图像至待测物体表面，彩色的成像装置获取k幅第一捕获图像和k幅第二捕获图像。
可以理解，投影装置可以是任意能够发射出设定图案的装置，其可以是投影仪等。成像装置可以是任意能够捕获图像的装置，其可以是相机等，本发明以相机为例来进行示意说明。本发明中，相机具有彩色图像捕获功能，作为一种实施例，相机可以获得拜耳彩色图像，相机的CCD/CMOS传感器上覆盖了一种掩膜(现有相机都有自带)，该掩膜由红、绿、蓝滤波器组成，将白光分为不同波长的红、绿、蓝三种光。在整个图像传感器中，一半像素用于采集绿光，另一半像素平均分配用于采集红光和蓝光。每个像素只能记录单一颜色的灰色信息，生成对应颜色通道的三个拼接矩阵。通过线性插值，可以计算出每个拼接矩阵中缺失像素的灰度信息，生成红、绿、蓝3张全像素图像。
请参阅图2，作为一种实施例，图2中上下两幅图分别为投影装置投射的第一条纹图像和第二条纹图像，第一条纹图像和第二条纹图像为二值图像，第一条纹图像和第二条纹图像之间黑白翻转形成互补关系，即第一条纹图像与第二条纹图像相同位置处的像素取值一者为0，另一者为1。k幅第一条纹图像与k幅第二条纹图像黑白翻转形成一一互补关系，也就是投影装置投射了k对条纹图像。图2中上下两幅图投射在待测物体表面，相机捕获到对应的图像如图3所示。图3中上方的图像为第一捕获图像，其为位于图2上方的第一条纹图像投射在待测物体表面后形成的图像，图3中下方的图像为第二捕获图像，其为位于图2下方的第二条纹图像投射在待测物体表面后形成的图像，图3中的所述第一捕获图像和第二捕获图像形成一对捕获图像，投影装置投射k幅第一条纹图像和k幅第二条纹图像，相机对应拍摄获得k对捕获图像。
作为一种实施例，第一条纹图像可以是线移条纹图或格雷码条纹图。
作为一种实施例，第一条纹图像既包括线移条纹图，也包括格雷码条纹图。k幅第一条纹图像包括m幅线移条纹图和n幅格雷码条纹图，线移条纹图的每个0/1值区域的像素宽度均为m个像素，按照时序投射的m幅线移条纹图中的每一张线移条纹图均为上一张线移条纹图向右移动一个像素宽度所形成；第三捕获图像的(像素)总宽度为L，其中，2n≥L/m。所述的线移条纹图为单方向的0/1二值条纹，条纹的0/1值均匀分布。
线移条纹图与格雷码条纹图结合的情况下，在确定第一条纹图像中像素与第三捕获图像中像素之间的对应关系时，可以对线移条纹的边缘进行编码，并结合格雷码对码值进行展开解码，消除周期歧义性。由于条纹内部的像素值是否饱和并不影响边缘的编码，因此，对高反光的待测物体表面的三维测量有较好的鲁棒性。降低了高反光表面的强反光导致条纹像素值饱和、条纹解码错误等问题带来的影响。
在步骤S200中，分红、绿、蓝三通道计算每一对所述捕获图像的互补像素的条纹调制度，选择所述条纹调制度最接近1的通道的灰度值作为所述捕获图像的灰度值，以将所述第一捕获图像和所述第二捕获图像分别更新为第一新捕获图像和第二新捕获图像。
可以理解，拜尔阵列中的红、绿、蓝滤光片对某一单色光的量子效率是不一样的，表现为RGB彩色图像的三通道图像灰度值的不同。因此，可以利用彩色图像的通道图像分离，来模拟待测物体在不同相机曝光下的图像强度，以此来提高条纹投影单次测量的动态范围。在步骤S200中，将通道分离获得的条纹图像根据条纹质量进行逐像素分析，选择条纹质量最佳的通道对应的灰度值合成一张HDR条纹图像，也就是更新形成第一新捕获图像和第二新捕获图像。
作为一种实施例，HDR条纹图像合成原理如下：
设投影装置投射互补的第一条纹图像p1和第二条纹图像p2中位置对应的像素点(互补像素)的强度函数分别为：
Ip1(x，y)＝a(x，y)+b(x，y)*δ(x，y)；
Ip2(x，y)＝a(x，y)-b(x，y)*δ(x，y)；
其中，a(x,y)指的是平均光强/背景强度，b(x,y)是调制强度，δ(x,y)为峰值为±1的方波函数；a(x,y)、b(x,y)是烧录在投影装置中的、预设设置好了的固定值，其参数设置要保障强度函数值在0-255之间，作为一种实施例，a(x,y)＝b(x,y)＝255。
对应于投影装置投射互补的第一条纹图像p1和第二条纹图像p2，相机拍摄第一捕获图像c1和第二捕获图像c2(一对捕获图像)中位置对应的像素点(互补像素)的图像强度函数分别为：
Ic1(x，y)＝ktr(x，y)*(Ip1+Ie)+kt*Id＝A(x，y)+B(x，y)*δ(x，y)；Ic2(x，y)＝ktr(x，y)*(Ip2+Ie)+kt*Id＝A(x，y)+B(x，y)*δ(x，y)；
其中，k是相机灵敏度，t是曝光时间，r(x，y)是每个像素对应的待测物体的反射率，Ie为经待测物体反射进入相机的环境光，Id为直接进入相机的环境光。
则对于相机获得的每一对捕获图像，均可以利用一对互补像素的图像强度计算得到每一像素的条纹调制度：
B(x，y)/A(x，y)＝(Ic1(x，y)-Ic2(x，y))/(Ic1(x，y)+Ic2(x，y))；
条纹调制度是条纹图像质量的表征，调制度越接近1，代表条纹质量越好，对比度越高。条纹质量最好的通道对应像素值可分别合成一对对比度高的互补的HDR条纹图像。
在步骤S200中，分红、绿、蓝三通道计算每一对捕获图像中每一个像素的条纹调制度，并选择条纹调制度最接近1的通道的灰度值作为当前捕获图像的灰度值。以第一捕获图像上的像素点Q1和与之对应的第二捕获图像上的像素点Q2为例来进行说明，作为一种实施例，按照上述条纹调制度计算公式，互补像素Q1、Q2的条纹调制度根据互补像素Q1、Q2的图像强度计算得到，具体为互补像素Q1、Q2的条纹调制度等于像素Q1与像素Q2的图像强度之差比像素Q1与像素Q2的图像强度之和。分别计算红、绿、蓝通道对应的条纹调制度，假若红色通道对应的条纹调制度最接近1，则像素点Q1以其红色通道对应的灰度值作为像素点的灰度值，像素点Q2也以其红色通道对应的灰度值作为像素点的灰度值。对每一个像素进行处理，如此，第一捕获图像和第二捕获图像分别更新形成第一新捕获图像和第二新捕获图像。
以相机拍摄的如图4中显示的第一捕获图像为例来说，该图像可以分离成如图5中从左至右所示的红、绿、蓝三通道图像，如步骤S200更新所述第一捕获图像，得到如图6中的第一新捕获图像，从图6可以看出，第一新捕获图像具有更好的条纹图像质量(对比度更高)。
可以理解，在步骤S200中，更新获得第一新捕获图像和第二新捕获图像具有较强的对比度，有利于线移条纹的编解码，改善了因待测物体复杂表面结构而导致条纹图像对比度不足，进而影响正常编解码的情况。在一些情况下，因相机角度原因，有时条纹图像会因为高反表面造成条纹边缘位置错误，经步骤S200处理，可增加测量动态范围，使得单次测量几乎可以获得完整的高反光表面点云，提升了测量精度和效率。
在步骤S300中，每一对所述捕获图像更新获得的所述第一新捕获图像与所述第二新捕获图像做差得到第三捕获图像。
采用条纹图像投影时，面对高反光的待测物体，存在当高反光区域过大时，二值条纹的白色条纹的占空比变大，影响了条纹的亚像素边缘位置。当低反光区域过大时，二值条纹的黑色条纹的占空比变大，同样也会影响了条纹的亚像素边缘位置。条纹的亚像素边缘位置异常时，容易编码发生错误。在步骤S300中，第一新捕获图像与第二新捕获图像相减，可以减轻高反光表面对二值条纹图案亚像素边缘位置的影响，条纹边缘的位置被校正，保证了重建的精度，同时也增加了该方法的抗噪性和鲁棒性。
可以理解，在步骤S100中，投影装置投射的图像包括线移条纹图和格雷码条纹图时，对应的，在步骤S300中，具有互补关系的线移条纹图对应的第一新捕获图像与第二新捕获图像灰度值相减，具有互补关系的格雷码条纹图对应的第一新捕获图像与第二新捕获图像灰度值相减，得到步骤S300中的第三捕获图像。图7示意了具有互补关系的线移条纹图投射后，相机拍摄下的第一新捕获图像与第二新捕获图像，第一新捕获图像减去第二新捕获图像的灰度值得到图8中的第三新捕获图像，从图8可以看到，第三新捕获图像校正了条纹边缘的位置，提高编码值的正确性。
在步骤S400中，确定所述第一条纹图像中像素与所述第三捕获图像中像素之间的对应关系。
可以理解，步骤S400可以采用现有技术实现。作为一种实施例，确定所述第一条纹图像中像素与所述第三捕获图像中像素之间的对应关系包括步骤S401和步骤S402。
在步骤S401中，处理得到所述第一条纹图像及所述第三捕获图像中像素的绝对编码值。
在步骤S402中，基于相同的所述绝对编码值确定所述第一条纹图像中像素与所述第三捕获图像中像素之间的对应关系。
作为一种实施例，对所述第一条纹图像包括的所述m幅线移条纹图及对应的m幅所述第三捕获图像的条纹边缘编码，获得线移条纹编码值S。
对所述第一条纹图像包括的所述n幅格雷码条纹图及对应的n幅所述第三捕获图像按照格雷码编码规则编码，获得每个像素的格雷码编码值G。
所述第一条纹图像、所述第三捕获图像中像素的所述绝对编码值为P，P的计算方式为：
P＝G*m+s；G∈{0，1，2，...，(2n-1)}，S∈{1，2，...，m}。
线移条纹的编码规则介绍如下:
以第一条纹图像包括的所述m幅线移条纹图为例来进行说明，按照时序投射的下一幅线移条纹图为上一幅线移条纹图向右移动一个像素，线移条纹图的每个0/1值区域的像素宽度均为m个像素，第一张线移条纹图的所有亚像素边缘码值编码为1，即线移条纹编码值为1，第二张线移条纹图的线移条纹编码值为2，即线移条纹编码值为2，以此类推，如图9所示，按照时序投射的第i张线移条纹图的线移条纹编码值为i，其中1≤i≤m。
线移条纹图编码生成的全部码值如图10所示，编码值具有周期歧义性，即编码值每m个像素便重复一次。为消除周期歧义性，投影装置投射n副格雷码，将图像划分为2n个子区域，且每个子区域的像素宽度为m，2n大于等于线移条纹编码值的重复周期数。如图11所示，即结合格雷码编码可以将线移条纹的重复编码进行展开，消除周期歧义性。
譬如相机的图像的总宽度是12个像素，投影4幅线移条纹图案，则相机采集到4张条纹图像，假设图像中每个像素均有对应线移条纹编码值，则编码值在图像上表示为：1，2，3，4，1，2，3，4……依次重复，则宽度为12像素的相机图像中，编码值每4个像素便重复一次，也就是有3个重复区域，需要结合格雷码来确定重复区域的级次，即某个区域内的编码值是第几次重复，这样才能将图像上的每个像素的编码值确定为无重复的绝对编码值。此例中，图像的编码值重复次数为3，因此格雷码至少需要n幅图案，n的取值需要满足2n>3，使得图像被划分为3个区域，即至少要提供2幅格雷码。根据绝对编码值为P的计算公式，可以确定相机图像的像素编码值分布：1，2，3，4，5，6，7，8……11，12。
第三捕获图像的编码规则与上述线移条纹图的编码规则原理相同，具体为通过二值化处理等现有技术确定条纹的边缘位置，并对每个条纹边缘进行编码，得到线移条纹编码值。具体地，按照时序，第一幅第三捕获图像的线移条纹编码值为1，第二幅第三捕获图像的线移条纹编码值为2，如此类推。
由于是对条纹的边缘进行编码，而条纹内部的像素值是否饱和并不影响边缘的编码，因此这种条纹技术对高反光表面的三维测量有较好的鲁棒性。
可以理解，对第一条纹图像包括的n幅格雷码条纹图及对应的n幅第三捕获图像按照格雷码编码规则编码，属于本领域的常用技术手段，在此不做赘述。
在步骤S402中，基于相同的绝对编码值确定第一条纹图像中像素与第三捕获图像中像素之间的对应关系属于本领域常用技术手段，在此不做赘述。
在步骤S500中，基于步骤S400中确定的所述对应关系重建出待测物体表面的三维形态。可以理解，在该步骤中，可以采用三角原理等现有技术重建出待测物体表面的三维形态。
搭建了由“投影仪-彩色相机”组成的单目重建系统。投影仪投射单色条纹图案(本实施例中投影蓝色光条纹图案)，并由彩色相机拍摄图像。预先标定好相机与投影仪的位姿关系与内外参，并使用本发明中的方法对不同的现有金属工件(待测物体一、待测物体二)进行三维测量。实验均仅使用单次测量获得工件点云。可以看到，无论待测物体一(金属测量工件)，还是待测物体二(高反光金属量块)，尽管拍摄的工件都具有很强的高反光现象，但是从三维测量所获点云的完整度、点云形状和点云密度来看，可以看到高反光三维测量具有很好的效果。
本发明还提供一种基于互补条纹投影的高动态范围三维测量装置，用于与投影装置、彩色的成像装置配合以测量待测物体的三维形态，所述基于互补条纹投影的高动态范围三维测量装置包括新捕获图像生成模块、第三捕获图像生成模块、匹配模块以及三维形态生成模块。
所述投影装置投射k幅第一条纹图像和k幅第二条纹图像至待测物体表面，所述成像装置获取k幅第一捕获图像和k幅第二捕获图像；其中，所述第一条纹图像和所述第二条纹图像为二值图像，且k幅所述第一条纹图像与k幅所述第二条纹图像一一对应，且黑白翻转形成互补关系；所述第一捕获图像为所述第一条纹图像投射在所述待测物体表面后形成的图像，所述第二捕获图像为所述第二条纹图像投射在所述待测物体表面后形成的图像，具有所述互补关系的所述第一条纹图像和所述第二条纹图像投射在所述待测物体表面后形成的所述第一捕获图像和所述第二捕获图像形成一对捕获图像。
新捕获图像生成模块，用于分红、绿、蓝三通道计算每一对所述捕获图像的互补像素的条纹调制度，选择所述条纹调制度最接近1的通道的灰度值作为所述捕获图像的灰度值，以将所述第一捕获图像和所述第二捕获图像分别更新为第一新捕获图像和第二新捕获图像。
第三捕获图像生成模块，用于将每一对所述捕获图像更新获得的所述第一新捕获图像与所述第二新捕获图像做差得到第三捕获图像。
匹配模块，用于确定所述第一条纹图像中像素与所述第三捕获图像中像素之间的对应关系。
三维形态生成模块，重建出待测物体表面的三维形态。
作为一种实施例，所述互补像素的条纹调制度根据所述互补像素的图像强度计算得到；像素c1与像素c2互补，所述像素c1与所述像素c2的所述条纹调制度等于像素c1与像素c2的图像强度之差比像素c1与像素c2的图像强度之和。
作为一种实施例，所述k幅第一条纹图像包括m幅线移条纹图和n幅格雷码条纹图，线移条纹图的每个0/1值区域的像素宽度均为m个像素，所述m幅线移条纹图中的每一张线移条纹图均为上一张线移条纹图向右移动一个像素宽度；所述第三捕获图像的总宽度为L，其中，2n≥L/m；
所述匹配模块包括第一编码模块、第二编码模块和对应关系确定模块，所述第一编码模块用于处理得到所述第一条纹图像中像素的绝对编码值；所述第二编码模块用于处理得到所述第三捕获图像中像素的绝对编码值；所述对应关系确定模块用于基于相同的绝对编码值确定所述第一条纹图像中像素与所述第三捕获图像中像素之间的对应关系。
本发明还提供一种三维测量系统，所述三维测量系统包括如上所述的基于互补条纹投影的高动态范围三维测量装置、投影装置及彩色的成像装置，所述基于互补条纹投影的高动态范围三维测量装置与所述投影装置、所述彩色的成像装置配合以测量待测物体的三维形态。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，与投影装置、彩色的成像装置配合实现如上所述的基于互补条纹投影的高动态范围三维测量方法。
可以理解，计算机可读存储介质可以集成在成像装置中，或者作为单独的设备存在。
本发明还提供一种电子设备，包括存储有计算机程序的存储介质，其特征在于：该计算机程序被处理器执行时，与投影装置、彩色的成像装置配合能实现如上所述的基于互补条纹投影的高动态范围三维测量方法，或所述电子设备包括如上所述的基于互补条纹投影的高动态范围三维测量装置。
需要说明的是，本公开的实施例所述的计算机可读存储介质并不限定于上述所给实施例，例如还可以为电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本领域的技术人员能够理解的是，在不冲突的前提下，上述各优选方案可以自由地组合、叠加。其中，附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生，例如，两个接连表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本文中对于各步骤的编号仅为了方便说明和引用，并不用于限定前后顺序，具体的执行顺序是由技术本身确定的，本领域技术人员可以根据技术本身确定各种允许的、合理的顺序。
需要说明的是，本发明中采用步骤编号(字母或数字编号)来指代某些具体的方法步骤，仅仅是出于描述方便和简洁的目的，而绝不是用字母或数字来限制这些方法步骤的顺序。本领域的技术人员能够明了，相关方法步骤的顺序，应由技术本身决定，不应因步骤编号的存在而被不适当地限制，本领域技术人员可以根据技术本身确定各种允许的、合理的步骤顺序。
本领域的技术人员能够理解的是，在不冲突的前提下，上述各优选方案可以自由地组合、叠加。
应当理解，上述的实施方式仅是示例性的，而非限制性的，在不偏离本发明的基本原理的情况下，本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换，都将包含于本发明的权利要求范围内。
Claims (11)
1.一种基于互补条纹投影的高动态范围三维测量方法，其特征在于，所述方法包括：
步骤S100:投影装置投射k幅第一条纹图像和k幅第二条纹图像至待测物体表面，彩色的成像装置获取k幅第一捕获图像和k幅第二捕获图像；其中，所述第一条纹图像和所述第二条纹图像为二值图像，且k幅所述第一条纹图像与k幅所述第二条纹图像一一对应，且黑白翻转形成互补关系；所述第一捕获图像为所述第一条纹图像投射在所述待测物体表面后形成的图像，所述第二捕获图像为所述第二条纹图像投射在所述待测物体表面后形成的图像，具有互补关系的所述第一条纹图像和所述第二条纹图像投射在所述待测物体表面后形成的所述第一捕获图像和所述第二捕获图像形成一对捕获图像；
步骤S200：分红、绿、蓝三通道计算每一对所述捕获图像的互补像素的条纹调制度，选择所述条纹调制度最接近1的通道的灰度值作为所述捕获图像的灰度值，以将所述第一捕获图像和所述第二捕获图像分别更新为第一新捕获图像和第二新捕获图像；
步骤S300：每一对所述捕获图像更新获得的所述第一新捕获图像与所述第二新捕获图像做差得到第三捕获图像；
步骤S400：确定所述第一条纹图像中像素与所述第三捕获图像中像素之间的对应关系；
步骤S500：基于步骤S400中确定的所述对应关系重建出待测物体表面的三维形态。
2.如权利要求1所述基于互补条纹投影的高动态范围三维测量方法，其特征在于：所述互补像素的条纹调制度根据所述互补像素的图像强度计算得到；像素Q1与像素Q2互补，所述像素Q1与所述像素Q2的所述条纹调制度等于所述像素Q1与所述像素Q2的图像强度之差比所述像素Q1与所述像素Q2的图像强度之和。
3.如权利要求1所述基于互补条纹投影的高动态范围三维测量方法，其特征在于，所述k幅第一条纹图像包括m幅线移条纹图和n幅格雷码条纹图，线移条纹图的每个0/1值区域的像素宽度均为m个像素，按照时序投射的所述m幅线移条纹图中的每一张线移条纹图均为上一张线移条纹图向右移动一个像素宽度；所述第三捕获图像的总宽度为L，其中，2n≥L/m。
4.如权利要求3所述基于互补条纹投影的高动态范围三维测量方法，其特征在于，所述确定所述第一条纹图像中像素与所述第三捕获图像中像素之间的对应关系包括：
步骤S401：处理得到所述第一条纹图像及所述第三捕获图像中像素的绝对编码值；
步骤S402：基于相同的所述绝对编码值确定所述第一条纹图像中像素与所述第三捕获图像中像素之间的对应关系。
5.如权利要求4所述基于互补条纹投影的高动态范围三维测量方法，其特征在于，对所述第一条纹图像包括的所述m幅线移条纹图及对应的m幅所述第三捕获图像的条纹边缘编码，获得线移条纹编码值S；
对所述第一条纹图像包括的所述n幅格雷码条纹图及对应的n幅所述第三捕获图像按照格雷码编码规则编码，获得格雷码编码值G；
所述第一条纹图像、所述第三捕获图像中像素的所述绝对编码值为P，P＝G*m+s；G∈{0，1，2，...，(2n-1)}，S∈{1，2，...，m}。
6.一种基于互补条纹投影的高动态范围三维测量装置，用于与投影装置、彩色的成像装置配合以测量待测物体的三维形态，其特征在于，所述基于互补条纹投影的高动态范围三维测量装置包括新捕获图像生成模块、第三捕获图像生成模块、匹配模块以及三维形态生成模块；
所述投影装置投射k幅第一条纹图像和k幅第二条纹图像至待测物体表面，所述成像装置获取k幅第一捕获图像和k幅第二捕获图像；其中，所述第一条纹图像和所述第二条纹图像为二值图像，且k幅所述第一条纹图像与k幅所述第二条纹图像一一对应，且黑白翻转形成互补关系；所述第一捕获图像为所述第一条纹图像投射在所述待测物体表面后形成的图像，所述第二捕获图像为所述第二条纹图像投射在所述待测物体表面后形成的图像，具有所述互补关系的所述第一条纹图像和所述第二条纹图像投射在所述待测物体表面后形成的所述第一捕获图像和所述第二捕获图像形成一对捕获图像；
新捕获图像生成模块，用于分红、绿、蓝三通道计算每一对所述捕获图像的互补像素的条纹调制度，选择所述条纹调制度最接近1的通道的灰度值作为所述捕获图像的灰度值，以将所述第一捕获图像和所述第二捕获图像分别更新为第一新捕获图像和第二新捕获图像；
第三捕获图像生成模块，用于将每一对所述捕获图像更新获得的所述第一新捕获图像与所述第二新捕获图像做差得到第三捕获图像；
匹配模块，用于确定所述第一条纹图像中像素与所述第三捕获图像中像素之间的对应关系；
三维形态生成模块，基于所述匹配模块确定的所述对应关系重建出待测物体表面的三维形态。
7.如权利要求6所述基于互补条纹投影的高动态范围三维测量装置，其特征在于：所述互补像素的条纹调制度根据所述互补像素的图像强度计算得到；像素c1与像素c2互补，所述像素c1与所述像素c2的所述条纹调制度等于所述像素c1与所述像素c2的图像强度之差比所述像素c1与所述像素c2的图像强度之和。
8.如权利要求6所述基于互补条纹投影的高动态范围三维测量装置，其特征在于，所述k幅第一条纹图像包括m幅线移条纹图和n幅格雷码条纹图，线移条纹图的每个0/1值区域的像素宽度均为m个像素，所述m幅线移条纹图中的每一张线移条纹图均为上一张线移条纹图向右移动一个像素宽度；所述第三捕获图像的总宽度为L，其中，2n≥L/m；
所述匹配模块包括第一编码模块、第二编码模块和对应关系确定模块，所述第一编码模块用于处理得到所述第一条纹图像中像素的绝对编码值；所述第二编码模块用于处理得到所述第三捕获图像中像素的绝对编码值；所述对应关系确定模块用于基于相同的绝对编码值确定所述第一条纹图像中像素与所述第三捕获图像中像素之间的对应关系。
9.一种三维测量系统，其特征在于，所述三维测量系统包括如权利要求6或7所述的基于互补条纹投影的高动态范围三维测量装置、投影装置及彩色的成像装置，所述基于互补条纹投影的高动态范围三维测量装置与所述投影装置、所述彩色的成像装置配合以测量待测物体的三维形态。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，与投影装置、彩色的成像装置配合实现如权利要求1-5任一项所述的基于互补条纹投影的高动态范围三维测量方法。
11.一种电子设备，包括存储有计算机程序的存储介质，其特征在于：该计算机程序被处理器执行时，与投影装置、彩色的成像装置配合能实现如权利要求1-5任一项所述的基于互补条纹投影的高动态范围三维测量方法，或所述电子设备包括如权利要求6-8任一项所述的基于互补条纹投影的高动态范围三维测量装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310156024.5A CN116448001A (zh) | 2023-02-13 | 2023-02-13 | 三维测量方法、装置、系统、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310156024.5A CN116448001A (zh) | 2023-02-13 | 2023-02-13 | 三维测量方法、装置、系统、介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116448001A true CN116448001A (zh) | 2023-07-18 |
Family
ID=87119100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310156024.5A Pending CN116448001A (zh) | 2023-02-13 | 2023-02-13 | 三维测量方法、装置、系统、介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116448001A (zh) |
-
2023
- 2023-02-13 CN CN202310156024.5A patent/CN116448001A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5576726B2 (ja) | 三次元計測装置、三次元計測方法、及びプログラム | |
| JP5907596B2 (ja) | 三次元計測装置、三次元計測方法及びプログラム | |
| CN103069250B (zh) | 三维测量设备、三维测量方法 | |
| US7804585B2 (en) | Creation of a range image | |
| US9857166B2 (en) | Information processing apparatus and method for measuring a target object | |
| US6341016B1 (en) | Method and apparatus for measuring three-dimensional shape of object | |
| JP4830871B2 (ja) | ３次元形状計測装置及び３次元形状計測方法 | |
| JP5032943B2 (ja) | ３次元形状計測装置及び３次元形状計測方法 | |
| JP4670341B2 (ja) | ３次元形状計測方法並びに３次元形状計測装置、３次元形状計測用プログラム | |
| JP5633058B1 (ja) | ３次元計測装置及び３次元計測方法 | |
| CN111971525B (zh) | 用立体镜测量物体的方法和系统 | |
| JP6351201B2 (ja) | 距離計測装置および方法 | |
| US8970674B2 (en) | Three-dimensional measurement apparatus, three-dimensional measurement method and storage medium | |
| JP2001330417A (ja) | カラーパターン光投影を用いた三次元形状計測法および三次元形状計測装置 | |
| CN107810384B (zh) | 条纹投影方法、条纹投影装置和计算机程序产品 | |
| Chen et al. | Realtime structured light vision with the principle of unique color codes | |
| CN116448001A (zh) | 三维测量方法、装置、系统、介质及电子设备 | |
| Zhang et al. | Evaluation of coded structured light methods using ground truth | |
| JP5968370B2 (ja) | 三次元計測装置、三次元計測方法、及びプログラム | |
| JP5743433B2 (ja) | 三次元形状計測装置 | |
| KR101750883B1 (ko) | 비전 검사 시스템의 3차원 형상 측정 방법 | |
| JP2009216650A (ja) | 三次元形状測定装置 | |
| JP2021063700A (ja) | 三次元計測装置、コンピュータプログラム、制御システム及び物品の製造方法 | |
| JP7448824B2 (ja) | 三次元計測システムおよび三次元計測方法 | |
| CN114322845B (zh) | 投射激光阵列图像的系统及利用其进行三维重建的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |