CN111536904B - 一种基于结构照明的三维测量方法及系统、存储介质 - Google Patents

一种基于结构照明的三维测量方法及系统、存储介质 Download PDF

Info

Publication number
CN111536904B
CN111536904B CN202010463847.9A CN202010463847A CN111536904B CN 111536904 B CN111536904 B CN 111536904B CN 202010463847 A CN202010463847 A CN 202010463847A CN 111536904 B CN111536904 B CN 111536904B
Authority
CN
China
Prior art keywords
image
phase
projection
pixel point
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010463847.9A
Other languages
English (en)
Other versions
CN111536904A (zh
Inventor
杨洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huahan Weiye Technology Co ltd
Original Assignee
Shenzhen Huahan Weiye Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huahan Weiye Technology Co ltd filed Critical Shenzhen Huahan Weiye Technology Co ltd
Priority to CN202010463847.9A priority Critical patent/CN111536904B/zh
Publication of CN111536904A publication Critical patent/CN111536904A/zh
Application granted granted Critical
Publication of CN111536904B publication Critical patent/CN111536904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种基于结构照明的三维测量方法及系统、存储介质,其中三维测量方法包括:获取待检测物体在多次投射的结构光照射下摄取的多幅投影图像;根据预设的标定关系对多幅投影图像进行三维重建处理,得到待检测物体的高度图像;对高度图像进行处理,得到待检测物体的三维信息。由于预设的标定关系包括投影图像中任意像素点的坐标、相位与对应的世界坐标之间的换算关系,那么在依据投影图像中任意像素点的坐标解相位得到对应的相位信息之后,就可以根据该标定关系方便地计算出像素点对应的三维坐标信息,避免了以往需要根据投影取像的几何关系才能得到像素点的三维坐标的局限性,提供了计算三维坐标的技术新思路。

Description

一种基于结构照明的三维测量方法及系统、存储介质
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于结构照明的三维测量方法及系统、存储介质。
背景技术
随着模具设计、精密加工、产品检测、工业测量等领域的快速发展,传统的二维测量技术已不能满足日趋智能化、微型化、复杂化的生产要求,由此促进了三维测量技术的发展和应用。比如在产品检测的过程中,产品的质量控制是一项非常重要的工作,传统的二维测量方法已经不能满足一些场景的应用需求。由于生产线的高速运行以及流水线的自动化作业需求,依靠人力实现产品外部结构的检查方法已被逐渐摒弃,取而代之的是二维图像的目标识别方法,由于二维图像只有平面信息,所以对于物体的位置、深度是十分敏感的,也意味着当从多个角度对同一物体拍摄时,通常会得到不同的拍摄结果。而三维测量技术就可以很好地解决这一问题,依靠物体在空间中外形不变的特性,可很好地获取物体的三维信息,由于三维信息比二维信息多了一维的深度信息,其对姿态、光照等变化不太敏感,受这类因素的影响较小,使三维测量过程中物体识别的鲁棒性大大地得到提高。
目前,主要借助接触式三坐标测量机来采集物体或场景的三维信息,其特点是测量精度高,对被测物体的色泽无特殊要求,但其在实际应用中还存在结构复杂、操作繁琐、无法检测软物体等缺陷,使得其应用场合受到限制。利用接触式三坐标测量机测量物体时,需要测头与被测物体接触,接触时产生的压力会使柔软物体的表面产生形变,甚至产生划伤,此类情况将损坏产品的表面外观,导致产品无法销售。此外,接触式测量还存在测量速度慢、无法实现在线检测的问题。
鉴于接触式三维测量的局限性,技术人员已设法进行非接触式三维测量的研究,其中,基于计算机、光电子技术、信息处理的光学三维测量技术因测量速度快、非接触、高精度等优点得到了技术人员的青睐。但是现阶段,往往采用激光测量法来实现非接触式测量,具体为:投射一个激光面片到被测物体表面,在物体表面形成一条线状的条纹,每次可以测量一条线,这就形成了激光线结构光的扫描测量形式。激光测量法的缺点是需要待测量物体移动或者激光传感器移动,不能准确地获取Y方向的三维信息,并且,物体移动或逐行扫描都会拖慢测量速度,也不利于高精度的测量效果。
发明内容
本发明主要解决的技术问题是如何克服现有三维测量方法中测量效果不佳的问题。为解决上述技术问题,本申请提供一种基于结构照明的三维测量方法及系统、存储介质。
根据第一方面,一种实施例中提供一种基于结构照明的三维测量方法,其包括以下步骤:获取待检测物体在多次投射的结构光照射下摄取的多幅投影图像;根据预设的标定关系对所述多幅投影图像进行三维重建处理,得到所述待检测物体的高度图像;所述标定关系包括所述投影图像中任意像素点的坐标、相位与对应的世界坐标之间的换算关系;对所述高度图像进行处理,得到所述待检测物体的三维信息。
所述获取待检测物体在多次投射的结构光照射下摄取的多幅投影图像,包括:所述结构光包括预设的相移图像和/或格雷码图像;若所述结构光为相移图像,则获取多次投射的所述相移图像在相同投射方向或不同投射方向照射所述待检测物体时分别对应摄取的投影图像;若所述结构光为格雷码图像,则获取多次投射的所述格雷码图像在相同投射方向或不同投射方向照射所述待检测物体时分别对应摄取的投影图像;若所述结构光为相移图像和格雷码图像的结合图像,则获取多次投射的所述结合图像在相同投射方向或不同投射方向照射所述待检测物体时分别对应摄取的投影图像;所述多幅投影图像包括多次投射的所述相移图像分别对应的投影图像和多次投射的所述格雷码图像分别对应的投影图像,或者,所述多幅投影图像包括多次投射的所述结合图像分别对应的投影图像。
所述根据预设的标定关系对所述多幅投影图像进行三维重建处理,得到所述待检测物体的高度图像,包括:对所述多幅投影图像进行解相位处理以得到所述投影图像中任意像素点的相位信息;根据所述标定关系和任意像素点的相位信息计算对应的三维坐标信息;根据所述相位信息和所述三维坐标信息对所述待检测物体进行三维重建,构建得到所述待检测物体的高度图像。
若所述多幅图像包括多次投射的所述相移图像分别对应的投影图像和多次投射的所述格雷码图像分别对应的投影图像,则对所述多幅投影图像进行解相位处理的过程包括:获取所述相移图像对应的每一幅投影图像上每一个像素点的相位信息,以及获取所述格雷码图像对应的每一幅投影图像上每一个像素点的空间编码信息;根据各像素点的相位信息和空间编码信息对各像素点进行相位求解,得到各个像素点的相位信息。
若所述多幅投影图像包括多次投射的所述结合图像分别对应的投影图像,则对所述多幅投影图像进行解相位处理的过程包括:获取所述结合图像对应的每幅投影图像中各像素点的灰度强度,以构建每幅投影图像的灰度分布向量;根据每幅投影图像的灰度分布向量解相位计算得到各个像素点的相位信息。
根据所述标定关系和任意像素点的相位信息计算对应的三维坐标信息,包括:通过所述标定关系对任意像素点的相位信息进行函数求解,换算得到该像素点对应的世界坐标;利用任意像素点对应的世界坐标获得该像素点对应的三维坐标信息。
所述标定关系通过以下步骤被预设:获取一标定板在多个标定平面上分别摄取的标定图像;所述多个标定平面为所述标定板在世界坐标系中沿一个坐标轴设置的多个放置面;根据各幅所述标定图像通过解相位处理得到所述标定图像中任意像素点的相位信息;利用任意像素点的相位信息通过相位拟合得到任意像素点的相位值与高度值之间的关系式,所述关系式表示为
z=aijφij 2+bijφij+cij
其中,系数aij、bij、cij可以通过以下方程得到
Figure BDA0002511881110000031
其中,φ为像素坐标(i,j)处像素点的相位值,下标ij表示像素坐标(i,j)处的像素点,下标k表示所述标定板在所述多个标定平面上的位置序号;根据所述关系式建立所述标定图像中任意像素点与对应的世界坐标之间的换算函数,用公式表示为
zk=Z(φ,i,j),xk=X(zk,i,j),yk=Y(zk,i,j);
其中,(i,j)为行列像素序号分别是i、j的像素坐标,Z为多项式求解函数,X、Y均为线性关系式求解函数,(xk,yk,zk)为像素坐标(i,j)处的像素点对应的世界坐标;将所述标定图像中任意像素点与对应的世界坐标之间的换算函数作为所述标定关系。
根据第二方面,一种实施例中提供一种照明检测系统,其包括:光源组件,包括至少一个照明模块,各个所述照明模块用于在相同方向或不同方向分别向待检测物体投射结构光;成像装置,用于摄取所述待检测物体在各个所述照明模块分别照射下形成的投影图像;控制装置,与各个所述照明模块和所述成像装置连接,用于产生触发信号以驱动若干个所述照明模块依次投射结构光,并同步驱动所述成像装置对所述待检测物体进行取像;处理装置,与所述成像装置连接,用于根据上述第一方面中所述的三维测量方法获得所述待检测物体的三维信息。
所述光源组件包括灯具主体,各个所述照明模块以围绕所述灯具主体的一预设区域进行环形排布的方式设置于所述灯具主体上;所述灯具主体的预设区域包括用于供所述待检测物体上反射光通过的通过区域,所述成像装置为相机,所述相机的镜头设于所述通过区域内或者设于所述通过区域的上方。
根据第三方面,一种实施例中提供一种计算机可读存储介质,其包括程序,所述程序能够被处理器执行以实现上述第一方面中所述的三维测量方法。
本申请的有益效果是:
依据上述实施例的一种基于结构照明的三维测量方法及系统、存储介质,其中三维测量方法包括以下步骤:获取待检测物体在多次投射的结构光照射下摄取的多幅投影图像;根据预设的标定关系对多幅投影图像进行三维重建处理,得到待检测物体的高度图像,该标定关系包括投影图像中任意像素点的坐标、相位与对应的世界坐标之间的换算关系;对高度图像进行处理,得到待检测物体的三维信息。第一方面,由于获取待检测物体在多次投射的结构光照射下摄取的多幅投影图像,使得多幅投影图像能够准确反映待检测物体在结构光照射下的成像特性,利于对待检测物体的表面进行无死角的光学照明检测,即便是不易发现的物体形体变化或者表面结构变化也能够稳定地检测出来;第二方面,由于预设的标定关系包括投影图像中任意像素点的坐标、相位与对应的世界坐标之间的换算关系,那么在依据投影图像中任意像素点的坐标解相位得到对应的相位信息之后,就可以根据该标定关系方便地计算出像素点对应的三维坐标信息,避免了以往需要根据投影取像的几何关系才能得到像素点的三维坐标的局限性,提供了计算三维坐标(世界坐标)的技术新思路;第三方面,由于根据预设的标定关系对多幅投影图像进行三维重建处理,得到待检测物体的高度图像,那么只要根据相位信息和三维坐标信息即可对待检测物体进行三维重建,从而方便构建得到待检测物体的高度图像,保证构建结果的准确性且减少计算量;第四方面,由于在预设标定关系的过程中通过相位拟合得到任意像素点的相位值与高度值之间的关系式,从而根据关系式建立任意像素点与对应的世界坐标之间的换算函数,使得换算函数可以准确地表示任意像素点的坐标、相位与世界坐标之间的换算关系,以此生成的标定关系可以取代以往投影取像的几何关系,简化数据换算过程且提供换算精准度;第五方面,对高度图像进行处理以得到待检测物体的三维信息,可以让用户不仅直观地了解到物体表面高度差、平面度等信息,还能够将三维信息转化为二维平面上的长度、距离等二维信息,使得三维测量结果更加准确、有效;第六方面,请求保护的照明检测系统包括信号连接的光源组件、成像装置、控制装置和处理装置,使得控制装置可以调控光源组件和成像装置的配合工作过程,在一个每次投射结构光的同时及时地对待检测物体进行取像,从而快速摄取多次投射的结构光分别照射下形成的投影图像;第七方面,由于光源组件包括灯具主体,使得各个照明模块可以在灯具主体上形成环状排布的照明结构,并方便在反射光的通过区域内设置相机等类型的成像装置,达到易控制光照方向、易实现正面取像和易安装调节的系统应用优势;第八方面,相较于传统的三维坐标测量仪,本申请的照明检测无需对待检测物体进行循环扫描,摒弃了复杂的装置结构,仅仅依靠光源组件-成像装置就可以实现深度信息的采集过程,提高测量速度的同时使得硬件结构更加简单,利于降低系统的应用成本,为用户带来实用价值。
附图说明
图1为本申请中的照明检测系统的结构示意图;
图2为光源组件的结构示意图;
图3为照明模块的结构示意图;
图4为照明检测系统的变形结构示意图;
图5为触发进行照明和取像的控制时序图之一;
图6为触发进行照明和取像的控制时序图之二;
图7为基于结构照明的三维测量方法的流程图;
图8为三维重建处理得到待检测物体的高度图像的流程图;
图9为对多幅投影图像进行解相位处理得到各像素点的相位信息的流程图;
图10为格雷码图像和相移图像的比较图;
图11为格雷码图像的投射示意图;
图12为相移图像的投射示意图;
图13为结合图像的投射示意图;
图14为建立标定关系的原理示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。
为准确地理解本申请的技术方案及发明构思,这里将对一些结构光投影技术进行简要说明。
(1)格雷码图像投影技术。由于格雷编码的相邻码值只有一位不同且无权重高低,因此其解码误差较小,但是,格雷码图像仅能对投射角空间进行离散的划分,以划分的最小投射角区域中线作为该区域,导致投射角单元内中线位置以外的采样点的投射角不能准确求取。如果某一点在第一幅编码图案中处于黑白交界处,那么该点在接下来的编码图案进行投影时中也必然处于黑白交界的地方,例如,当十进制数由“3”变为“4”时,采用二进制码,则其编码将由“011”变为“100”,此时,三位二进制状态都发生变化,虽然我们看到的是同时转变,但从硬件的角度来看,设备的每一位状态并不是同时发生改变的,如第一位先转变成1,则数字暂时成为111,虽然很快第二位和第三位就会变成0,但是111这个暂时的状态很有可能会造成控制系统的不稳定。也就是说,尽管最终的结果是从“3”变到“4”,但出现了错误的中间转换过程,若不采用其他措施禁止这些中间错误结果输出,则将使设备产生较大的误差。因此,十进制码值可能存在多位被误判的情形,若误判存在于高位则解码误差较大,这种情况下会大大增加计算机产生误判而导致解码错误的概率,为了解决这一问题以减少解码过程中可能出现的累计误差,可将格雷编码引入到时间编码方法中。若采用格雷码,就不会产生这种较大的误差,因为当十进制数由“3”变为“4”时,其对应的格雷码将从“010”变为“110”,只有一位二进制数发生改变,也就无中间暂态出现,如表1所示。因此,光栅图像采用格雷编码时将比传统的二进制编码更为可靠。
表1格雷编码和二进制编码对照表
Figure BDA0002511881110000071
可以理解,二值编码是将二进制编码图像投射到待检测物体表面上,码字为0和1,在投射m幅条纹图案将对应2m个码值,可见表2所示的三位二进制二值编码原理。例如,投影装置向被测物体依次投射表2中所示的三幅光栅条纹图案,相机拍摄并采集对应的三幅投影图像,对于物体表面上任一点Q,在最高位、第二位和最低位图案中分别是1、0和0,拍摄获得的对应图案也分别是1、0和0,从而实现对点Q的编码,依据码值与扫描角的关系求解获得点Q的三维坐标。这种编码方式大大减少了解码错误,可提高计算速度,减少工作量。但是,该方法要求每次投射编码的条纹图像时物体位置和投射空间位置要固定不变。
表2三位二进制编码
Figure BDA0002511881110000072
那么,可以在二值编码的基础上形成了格雷编码,格雷编码又叫循环码,其主要特点表现为任意两个相邻码值只有一位不同。格雷编码的码字由0和1组成,属于二灰度级编码中的一种特殊形式,假设用0代表黑色,1代表白色,那么时间顺序中投影条纹上的每一点都可以用一个三位二进制码表示,例如:000,001,011,010,110,111,101,100就是一组格雷码。格雷码值最多只有一位被误判,且任意位被误判引起的解码误差只有一位,是一种可靠性编码,准确度相对较高。格雷编码图像与二值编码图像相比较,具有较大的优势。
(2)相移编码图像投影技术。该技术是将计算机生成的已知相位的光栅图像投影到待检测物体的表面,并在投影方向和相机取像方向所形成一定角度的方向上进行观察,由于受到物体面形不同高度的调制,此时投影的条纹会发生变形(即相位分布变化),变形的条纹图像(即投影图像)携带了物体的三维形状的信息,通过特定的解相和相位展开等技术,可以得到相位分布信息,最后利用三角法建立的相位与物体空间坐标的关系求出物体的三维坐标。然而,这种技术同样有自己的局限性,在某些测量情况下也会无法准确地获得物体的三维坐标信息,会产生有较多的噪点。例如,对被测物表面的光学特征(如色彩、反射率)有相对严格的要求;若待检测物体存在深孔洞、遮挡结构或者跃变结构时,将导致面结构光投影不到或是相机取像不到的情形,则需要进行角度变换测量或者采用双目取像和拼合技术;若被测物体为透光材质,则需要借助喷显影剂等辅助手段;此时,将严重地影响取像质量和后期的图像处理效果。
相移法是通过对正弦光栅条纹图案进行移相得到N幅光栅条纹图案,经N幅投射光栅图像的调制,来获取被检测物体表面的相位,然后以三角法为基础的三维测量原理完成相位—高度之间的转换。相移法是一种高精度、高分辨率的三维测量技术,相邻点光强值不会影响到原理上某一点的相位值,从而使得物体表面不均匀引起的误差得到避免。而且,相移法可以获取绝对相位,并能有效解决物体三维测量中表面变化不均匀、分布不规则以及变化量微小等情况下的问题。相移法对噪声、背景和对比度的变化不敏感,理论上对相位测量的精度可以达到无限划分,计算得到的相位值是一个点测值,有利于实现物体自动的三维测量。相移法在相移的一个周期内相位值是唯一的,在各个不同的周期内相位值就不唯一,因此相移法的独立使用受到了限制;并且,相移法存在反正切函数的运算,使得测量速度受到了影响。
通过上面的说明,可以了解格雷编码图像投影技术和相移编码图像投影技术的各自优缺点,那么,可以根据它们各自的优点来实现结构照明的三维测量方法。采用格雷编码可对物体测量空间进行分级标识,划分的每一级对应一个离散值,即每一级内所有的测量点都具有相同的格雷码值;采用相移法对每一级条纹用相移编码图像分别进行相位测量,可以计算出每个被测点的相位,实现相位是连续唯一的效果,以此实现高精度的检测要求。因此,本申请提出一种基于结构照明的三维测量方法及其照明检测系统,该方法不仅可以发挥相移图像和格雷码图像的结构照明检测优势,还能够借助预设设置的标定关系对摄取的多幅投影图像进行三维重建,从而达到快速、高精度的三维测量要求。
下面结合实施例对本申请技术方案进行具体说明。
实施例一、
请参考图1,本申请公开一种照明检测系统,其包括光源组件11、成像装置12、控制装置13和处理装置14,下面分别说明。
光源组件11用来对照明区域内的待检测物体W1进行图纹照明,需要向待检测物体W1多次投射图纹照明所需的结构光。在一个具体实施例中,参见图2,光源组件包括至少一个照明模块(如附图标记112所示的模块),各个照明模块112用于在相同方向或不同方向分别向待检测物体W1投射结构光。可以理解,这里的结构光是指明暗光信号按照一定规律分布的光线投射状态,比如结构光可以是光栅条纹,优选地采用相移图像和/或格雷码图像组成的光栅条纹。
需要说明的是,这里的待检测物体W1可以是工业流水线上的产品、物件箱内的机械零件、操作台上的工具等,不做具体限定。
在一个具体实施例中,参见图2,光源组件包括灯具主体110,在灯具主体110的一个侧面上设置有八个照明模块112,各个照明模块112以围绕灯具主体110上一预设区域111进行环形排布的方式设置于灯具主体110上。比如,在灯具主体110的一个照明侧面上,各个照明模块112围绕预设区域111形成环状分布的照明带,以预设区域111为中心相对分布的两个照明模块112构成一个照明单元,任意照明单元内的两个照明模块112可在一个触发周期内交替投射结构光。进一步地,参见图2,灯具主体110的预设区域111包括用于供待检测物体W1上反射光通过的通过区域,若采用相机/摄像机作为成像装置12,那么相机/摄像机的镜头121可以设于通过区域内或者设于通过区域的上方,为增大取像范围且便于调试这里可以优选地将相机/摄像机的镜头121设于通过区域的上方,并且接收经过通过区域的反射光来对待检测物体W1进行取像。可以理解,预设区域111位于灯具主体110的中央位置,到达各个照明模块的距离近似相等,当相机的镜头中心面向通过区域时,可以尽可能地从正面对待检测物体W1进行取像,保证不同方向结构光投射下取像的稳定性。
在另外的具体实施例中,光源组件11还可以包括其它类型的照明模块,比如用于投射平面光(如均匀白光)的照明模块,如此使得光源组件11不仅适用于结构光照明检测的应用场合,还适用于平面光照明检测的应用场合。关于光源组件11的扩展功能设置,这里不做具体说明,并且扩展的功能不应对本申请结构光投射功能造成限制。
参见图1和图2,成像装置12可以是相机或摄像机,相机/摄像机的镜头固定指向待检测物体W1,用于摄取待检测物体W1在各个照明模块112分别照射下形成的投影图像。可以理解,光源组件11中的任意一个照明模块112投射的结构光照射在待检测物体W1的表面后,结构光将在待检测物体W1的表面发生反射,反射光线达到成像装置12的镜头121,则成像装置12接收反射光并生成投影图像,生成的投影图像中具有待检测物体W1在结构光下的成像状态,结构光照射之处会呈现出明暗条纹的形状变化且容易辨别物体表面的结构变化。
需要说明的是,这里的成像装置12具体可以是CCD相机、CMOS相机,或者是其它灰度、彩色摄像机来取像。如果相机/摄像机拍摄的是彩色图像,那么需要将彩色图像转化为灰度图像以便后续进行进一步地图像处理;CCD相机/CMOS相机拍摄的往往是灰度图像,那么此时就不需要再对图像进行灰度转换。
需要说明的是,投影图像是待检测物体W1表面反射结构光而形成的图像,而待检测物体W1的表面往往存在整体形状、结构、凸凹瑕疵等表面变化,由此引起结构光(光栅条纹)的形状变化,那么,拍摄获取待检测物体W1表面的图像时,待检测物体的表面变化和结构光的形状变化将在对应的投影图像上进行展示或呈现。
参见图1,控制装置13与光源组件11中的各个照明模块112,以及与成像装置12连接;控制装置13用于产生触发信号以驱动若干个照明模块112依次投射结构光,并同步驱动成像装置12对待检测物体W1进行取像。可以理解,在物体表面结构检测的情况下,控制装置13可以按照预设的驱动次序向光源组件11发送触发信号,每次只驱动点亮一个照明模块112且由点亮的照明模块112投射结构光。此外,参见图1和图2,控制装置13既可以控制其中一个照明模块112从相同方向多次地投射相移图像和/或格雷码图像,也可以控制一组对角设置的两个照明模块112分别从不同方向交替地投射相移图像和/或格雷码图像,还可以控制多组对角设置的多个照明模块112分别从不同方向交替地投射相移图像和/或格雷码图像,甚至可以控制所有照明模块112分别从不同方向交替地投射相移图像和/或格雷码图像。需要理解,结构光可以为相移图像或格雷码图像,也可以是相移图像和格雷码图像的结合图像。
处理装置14与成像装置12连接,用于根据预设的三维测量方法获得待检测物体的三维信息,主要是对成像装置12摄取的多幅投影图像进行三维重建处理来得到待检测物体W1的三维信息。处理装置14可以具体是处理器、中央芯片等电子元器件,其能够加载预设的三维测量方法来对多幅投影图像进行数据处理,以及能够输出数据处理的结果。在本实施例中,在处理装置14内运行的三维处理方法将在下文的实施二中进行详细说明。
需要说明的是,每个照明模块112投射的结构光包括预设的相移图像和/或格雷码图像。参见图1,若控制模块13控制光源组件11投射的结构光为相移图像,则处理装置14从成像装置12获取多次投射的相移图像在相同投射方向或不同投射方向照射待检测物体W1时分别对应摄取的投影图像;若控制模块13控制光源组件11投射的结构光为格雷码图像,则处理装置14从成像装置12获取多次投射的格雷码图像在相同投射方向或不同投射方向照射待检测物体W1时分别对应摄取的投影图像;若控制模块13控制光源组件11投射的结构光为相移图像和格雷码图像的结合图像,则处理装置14从成像装置获取多次投射的结合图像在相同投射方向或不同投射方向照射待检测物体时分别对应摄取的投影图像。此外,需要本领域的技术人员理解,处理装置14从成像装置12获得的多幅投影图像包括多次投射的相移图像分别对应的投影图像和多次投射的格雷码图像分别对应的投影图像,或者,多幅投影图像包括多次投射的结合图像分别对应的投影图像。
在一个具体实施例中,参见图2和图3,公开了其中一个照明模块112沿a-a线的剖面结构。照明模块112包括腔室1121和LED灯1122,腔室1121的一个面上设有LCD面板1123。这里的LCD面板1123用于产生光栅,LED灯1122用于发出光线并通过光栅后形成投射至待检测物体W1的结构光。为保证结构光的顺光投射效果且能够直射到待检测物体,可以在正对待检测物体W1的腔室1121的侧面上设置LCD面板1123,LED灯1122可以在腔室1121内斜对LCD面板1123而设置,使得LED灯1122、LCD面板1123和待检测物体W1处于同一光学直线上,那么结构光能够从LCD面板1123所在的方向直射到待检测物体。进一步地,腔室1121内可以并列设置多个LED灯1122,此时能够形成强光亮且发光均匀的发光效果,从而通过LCD面板1123时产生清晰可见的光栅条纹。
需要说明的是,在照明模块112中,LCD面板1123可以是常见的液晶显示屏,其构造是在两片平行的玻璃基板当中放置液晶盒,下基板玻璃上设置TFT(薄膜晶体管),上基板玻璃上设置彩色滤光片,通过TFT上的信号与电压改变来控制液晶分子的转动方向,从而达到控制每个像素点偏振光出射与否而达到显示目的。此外,LED灯1122产生的光相当于LCD面板1123的背景光,通过发光照射LCD面板1123从而产生肉眼可见的光栅条纹,光栅条纹所表示的结构光在待检测物体W1上的形状变化反映了待检测物体W1的表面三维结构的变化。
在本实施例中,在对待检测物体W2进行结构检测的情况下,控制装置13用于控制若干个照明模块112交替点亮以分别投射结构光。具体地,照明模块112投射的结构光为预设的条纹图像,该条纹图像包括相移图像和/或格雷码图像;控制装置13用于控制各照明模块112在交替点亮时对相移图像和格雷码图像的结合图像进行交替投射,或者对相移图像或格雷码图像进行单独投射。
实施例二、
请参考图4,在实施例一中公开的照明检测系统的基础上,还可以对照明检测系统进行一些结构改进,比如,控制装置13和处理装置14集成在一个装置主体Z1内,具体地可以集成在一块电路板上,由同一个处理芯片或者不同的处理芯片实现触发驱动控制、物体取像控制、图像处理的功能,如此可以减少硬件开销,用户用该装置主体Z1即可同时实现检测控制和图像处理的功能。
参见图4,装置主体Z1内还设置有与控制装置13信号连接的检测配置模块15,该检测配置模块15用于配置光源组件11和成像装置12的工作参数,以使得控制装置13根据配置的工作参数来控制光源组件11和成像装置12的工作。具体地,检测配置模块15根据用户的指示生成设置指令(包括投影亮度、曝光度、投影区域大小等类型的设置指令)至控制装置13,控制装置13根据该些设置指令控制光源组件11中的各个照明模块112进行工作。此外,检测配置模块15还可以根据用户的指示生成成像条件(比如成像次数、成像间隔、曝光时间等类型的条件)并配置至控制装置13,控制装置13根据该些成像条件控制成像装置12进行工作。
参见图4,图纹照明检测系统还可以包括显示装置16,显示装置16与装置主体Z1内集成的处理装置14连接,用于接收待检测物体的高度图像和/三维信息,并对得到的高度图像和/或三维信息进行显示,以便用户通过观察高度图像和/或三维信息及时了解待检测物体的整体形状特征、表面结构特征或凸凹瑕疵特征。需要说明的是,这里的显示装置16可以是任意类型的显示器,优选地采用触摸功能的显示器,方便用户和装置主体Z1之间进行互动操作。
在本实施例中,控制装置13产生的触发信号对光源组件11具有驱动投射结构光作用,对成像装置12具有驱动取像的作用,但是驱动过程应当满足一定的时序要求才能进行有效的配合工作。参见图4和图5,控制装置13在产生针对某一个照明模块的触发信号时,触发信号到达光源组件11后生成针对该照明模块的投射信号,从而使得该照明模块投射结构光,通常投射信号会在时序上延迟于触发信号;触发信号到达成像装置12后生成取像信号,从而使得成像装置12进行取像操作,通常取像信号会在时序上稍微延迟于投射信号,这里可以保证结构光投射到待检测物体上之后才对待检测物体进行取像,保证取像的准确性和稳定性。通常,若干个照明模块交替点亮完毕且每次都取像的情况下,认为完成一轮触发,如果通过图2中对角设置的两个照明模块(即一个照明单元)进行交替结构光照射,那么就可以获取至少两幅的投影图像,获取的各幅投影图像在发送至处理装置14之后,处理装置14便可以按照实施例三中所公开的三维测量方法对该些投影图像进行处理。
在一个具体实施例中,参见图2、图4和图6,为稳定地实现结构光投射和物体取像的效果,这里将对光源组件11、成像装置12、控制装置13的配合工作过程进行说明。首先,设定图2中沿预设区域111相对的两个照明模块为一组,即为一个照明单元,那么八个照明模块112可分为四组并分别记为A、B、C、D,A组内的LED灯和LCD面板分别记为LED1、LCD1,B组内的分别记为LED2、LCD2,C组内的分别记为LED3、LCD3,D组内的分别记为LED4、LCD4,以此类推;此外,设定各组的第一轮触发记为A1、B1、C1、D1,第二轮触发记为A2、B2、C2、D2,第三轮触发记为A3、B3、C3、D3,依次类推。
参见图6,控制装置13产生触发信号并发送至光源组件11,光源组件11中各组内的照明模块开始第一轮触发,A组内的LCD1显示出光栅且LED1点亮,光线透过光栅产生结构光,于此同时成像装置12进行曝光取像并随后将取像获得的投影图像进行数据传输至处理装置14;然后,控制装置13发出再同步触发信号,使得A组内的LCD1和LED1均熄灭,B组内的LCD2显示出光栅且LED2点亮,光线透过光栅产生结构光,于此同时成像装置12进行曝光取像并随后将取像获得的投影图像进行数据传输至处理装置14;随后,控制装置13发出再同步触发信号,使得B组内的LCD2和LED2均熄灭,C组内的LCD3显示出光栅且LED3点亮,光线透过光栅产生结构光,于此同时成像装置12进行曝光取像并随后将取像获得的投影图像进行数据传输至处理装置14;之后,控制装置13发出再同步触发信号,使得C组内的LCD3和LED3均熄灭,D组内的LCD4显示出光栅且LED4点亮,光线透过光栅产生结构光,于此同时成像装置12进行曝光取像并随后将取像获得的投影图像进行数据传输至处理装置14;此时第一轮触发完成。可以理解,在图6中,在第一轮触发完成之后还可以继续进行第二轮、第三轮甚至更多轮的触发操作,从而得到每轮触发情况下取像得到的多幅投影图像,便于后期利用给些多幅投影图像进行待检测物体的三维重建处理。
本领域的技术人员可以理解,在应用本实施例中提供的照明检测系统之后,可以达到以下技术优势:(1)照明检测系统包括信号连接的光源组件、成像装置、控制装置和处理装置,使得控制装置可以调控光源组件和成像装置的配合工作过程,在一个每次投射结构光的同时及时地对待检测物体进行取像,从而快速摄取多次投射的结构光分别照射下形成的投影图像;(2)由于光源组件包括灯具主体,使得各个照明模块可以在灯具主体上形成环状排布的照明结构,并方便在反射光的通过区域内设置相机等类型的成像装置,达到易控制光照方向、易实现正面取像和易安装调节的系统应用优势;(3)相较于传统的三维坐标测量仪,本申请的照明检测无需对待检测物体进行循环扫描,摒弃了复杂的装置结构,仅仅依靠光源组件-成像装置就可以实现深度信息的采集过程,提高测量速度的同时使得硬件结构更加简单,利于降低系统的应用成本,为用户带来实用价值。
实施例三、
请参考图7,在实施例一或者实施例二中公开的照明检测装置的基础上,本实施例公开一种基于结构照明的三维测量方法,该三维测量方法包括步骤S100-S300,下面分别说明。
步骤S100,获取待检测物体在多次投射的结构光照射下摄取的多幅投影图像。比如在图1和图2中,控制装置13既可以控制其中一个照明模块112从相同方向多次地投射结构光,也可以控制一组对角设置的两个照明模块112分别从不同方向交替地投射结构光,还可以控制多组对角设置的多个照明模块112分别从不同方向交替地投射结构光,甚至可以控制所有照明模块112分别从不同方向交替地投射结构光。每当控制装置13驱动光源组件11中的任意一个照明模块112投射结构光并对待检测物体W1进行照射,就会同步驱动成像装置12对待检测物体W1进行取像,从而使得处理装置14从成像装置12获得一幅投影图像。
在一个具体实施例中,任意一个照明模块112投射的结构光包括预设的相移图像和/或格雷码图像,也就是说结构光可以相移图像或格雷码图像,也可以是相移图像和格雷码图像的结合图像。若结构光为相移图像,则处理装置14获取多次投射的相移图像在相同投射方向或不同投射方向照射待检测物体W1时分别对应摄取的投影图像;若结构光为格雷码图像,则处理装置14获取多次投射的格雷码图像在相同投射方向或不同投射方向照射待检测物体时分别对应摄取的投影图像;若结构光为相移图像和格雷码图像的结合图像,则处理装置14获取多次投射的结合图像在相同投射方向或不同投射方向照射待检测物体时分别对应摄取的投影图像。
需要说明的是,处理装置14从成像装置12获得的多幅投影图像可以包括多次投射的相移图像分别对应的投影图像和多次投射的格雷码图像分别对应的投影图像,或者,获得的多幅投影图像可以包括多次投射的结合图像分别对应的投影图像。
需要说明的是,格雷码图像和相移图像为光学领域中常见的图像形式,其中,相移图像可参考图10中的下半部分,下半部分有四幅相移图像,它们在每次投射之后发生相位偏移,每幅相移图像均有均匀分布的亮暗条纹组成,每个亮条纹或者暗条纹在渐变过程中都符合正弦变化规律,可认为最亮处的灰度值为255,最暗处的灰度值为0。格雷码图像可参考图6中的上半部分,上半部分示意的格雷码图像分布有亮暗条纹,亮条纹和暗条纹之间不存在颜色渐变,即亮条纹的灰度值为255,暗条纹的灰度值为0。比如,若所投射的结构光为32个像素宽度的格雷码图像或相移图像,请见图11和图12,图11中行序号1-4的图像序列代表格雷码光栅,图12中行序号为5-8的图像序列为相移图像光栅。
步骤S200,根据预设的标定关系对多幅投影图像进行三维重建处理,得到待检测物体的高度图像,这里的标定关系包括投影图像中任意像素点的坐标、相位与对应的世界坐标之间的换算关系。
需要说明的是,标定关系的预先建立过程需要在步骤S100之前完成,在如图1所示的照明检测系统中,使用标定板进行高度Z方向上的移动,每次调整标定板与相机/摄像机的镜头之间的相对高度之后,对标定板进行取像以获得标定图像,对多次获得的标定图像进行处理以建立标定关系,因此这里的标定关系反映的是图像中像素点的坐标、相位与对应的世界坐标(即世界坐标系中的三维坐标)之间的函数换算关系。在下文将具体介绍标定关系的建立过程。
需要说明的是,待检测物体W1的高度图像包括投影图像中任意像素点映射到世界坐标系中的三维坐标信息,即待检测物体W1的表面任意一点在世界坐标系中的三维坐标信息。
步骤S300,对高度图像进行处理,得到待检测物体的三维信息。由于高度图像包含有三维坐标信息,那么通过比较各像素点对应的三维坐标信息容易计算得到图像中选定区域的三维信息。这里的三维信息可以包括高度差、平面度、粗糙度、表面积、体积、距离、宽度、深度和字符内容中的一者或多者。
在本实施例中,步骤S200中所涉及的标定关系可以通过以下步骤被预设:
(1)处理装置14获取一标定板在多个标定平面上分别摄取的标定图像,这里的多个标定平面为标定板在世界坐标系中沿一个坐标轴设置的多个放置面,比如,多个标定平面可以沿世界坐标系的Z轴进行平行/非平行的设置,相邻标定平面之间的距离不做具体限制。此外,标定板放置在标定平面上时也不用要求角度对准和面对齐,只要能够稳定实现放置和取像即可。
参见图1和图14,世界坐标系的Z轴表示的是物理高度,该Z轴上可以设置多个平行的标定平面(如附图标记p1、p2、p3),其中标定平面p3相对靠近于成像装置12的镜头。可以从标定平面p1开始,首先放置标定板且使得标定板的上表面面向镜头,然后由成像装置12对标定板进行取像以得到一幅标定图像,然后在标定平面p2上放置标定板并取像得到一幅标定图像,接着在标定平面p3上放置标定板并取像得到一幅标定图像,如此可以在这三个标定平面上得到三幅标定图像。
(2)处理装置14根据各幅标定图像通过解相位处理得到标定图像中任意像素点的相位信息。
需要说明的是,解相位处理时通常采用相移法来获得相位值(相位信息)。在相移法中,获得相位的过程包括:a)先通过相移法公式获得锯齿形的相位值,值域在[-π,π],称为截断相位;b)然后将锯齿形相位值恢复成连续的相位值,称为绝对相位,过程称为解相位,也称为相位展开或相位解包裹。关于解相位处理的具体方法将在下文进行说明。
比如图14,对于分别率为N×M的标定图像,采用Pk表示标定图像中的任意一个像素点,且用(i,j)表示该像素点的坐标值,i=1…N,j=1…M,下标k为标定平面的序号。若对标定图像进行解相位处理,则可以得到Pk的相位信息,即(i,j)对应的相位值φij。为了得到任意像素点Pk的坐标、相位与对应的世界坐标之间的关系,还可以定义(x,y,z)为(i,j,φ)对应的世界坐标(物理坐标),以及定义(i,j,φ,x,y,zk)表示像素坐标、相位和世界坐标之间的关系。
(3)处理装置14利用任意像素点的相位信息通过相位拟合得到任意像素点的相位值与高度值之间的关系式,该关系式可以表示为
z=aijφij 2+bijφij+cij
其中的系数a、b、c还是未知量,需要进一步地计算得到。
可以建立系数a、b、c与z之间的目标函数,用公式表示为
Figure BDA0002511881110000161
对于x、y坐标的计算,可以分别根据xij=k1zij+b1、yij=k2zij+b2作为数学模型进行求解,因此还可以得到
Figure BDA0002511881110000162
Figure BDA0002511881110000171
由此,能够建立矩阵方程来求解系数aij、bij、cij,矩阵方程可以表示为
Figure BDA0002511881110000172
其中,φ为像素坐标(i,j)处像素点的相位值,下标ij表示像素索引,下标k表示所述标定板在所述多个标定平面上的位置序号。
(4)处理装置14根据任意像素点的相位值与高度值之间的关系式建立标定图像中任意像素点与对应的世界坐标之间的换算函数,用公式表示为
zk=Z(φ,i,j),xk=X(zk,i,j),yk=Y(zk,i,j);
其中,(i,j)为行列像素序号分别是i、j的像素坐标,Z为多项式求解函数,X、Y均为线性关系式求解函数,(xk,yk,zk)为第k各标定平面条件下像素坐标(i,j)处的像素点对应的世界坐标。
需要说明的是,世界坐标(x,y,z)通过相应固定位置的(x,y,zk)坐标进行插值计算,对于(φ,z)-(i,j)的映射对,可以采用2次多项式进行拟合;x、y坐标可以根据z的线性关系计算获得,因此映射关系(i,j,φ)→(x,y,z)可以转化为z=Z(φ,i,j),x=X(z,i,j)和y=Y(z,i,j)的求解过程。其中,Z(φ,i,j)可以对每个像素点(i,j)建立z=f(φ)的2次多项式进行求解,X(z,i,j)对于每个像素点(i,j)建立x=f(z)的线性关系式进行求解,Y(z,i,j)对于每个像素点(i,j)建立y=f(z)的线性关系式进行求解。
(5)处理装置14将标定图像中任意像素点与对应的世界坐标之间的换算函数作为标定关系。
在本实施例中,上述的步骤S200主要涉及对多幅投影图像进行三维重建处理以得到待检测物体的高度图像的过程,该步骤可以具体包括步骤S210-S230,分别说明如下。
步骤S210,对多幅投影图像进行解相位处理以得到投影图像中任意像素点的相位信息。在一个具体实施例中,参见图4和图9,该步骤210可以具体包括步骤S211-S216,分别说明如下。
步骤S211,对于采用相移图像和格雷码图像交替进行投射的情况,摄取得到的多幅投影图像将包括多次投射的相移图像分别对应的投影图像和多次投射的格雷码图像分别对应的投影图像。此时,处理装置14可以采用步骤S212和步骤S213对多幅投影图像进行解相位处理得到任意像素点的相位信息。
步骤S212,处理装置14获取相移图像对应的每一幅投影图像上每一个像素点的相位信息,以及获取格雷码图像对应的每一幅投影图像上每一个像素点的空间编码信息。
在一个具体实施例中,处理装置14从成像装置12分别获得多幅相移图像对应的投影图像,具体数量以相移图像在一个相移周期内取像数量为准,然后提取得到每一幅投影图像上每一个像素点的相位信息。此外,处理装置14从成像装置12分别获得多幅格雷码图像对应的投影图像,具体数量以图像行像素的对数或图像列像素的对数为准,然后提取得到每一幅投影图像上每一个像素点的空间编码信息。
步骤S213,根据各像素点的相位信息和空间编码信息对各像素点进行相位求解,得到各个像素点的相位信息。
在一个具体实施例中,可以采用N步相移法求解相位值(相位信息)。假如所投射的相移图像的投影光强是标准余弦分布,则相移图像每次移动2π/N的相位,产生一个新的光强函数In(x,y),平移N-1次,获得N幅相移图像的投影图像。由于,四步相移法具有能消除检测器的非线性影响,因此这里采用四步相移法对相移图像进行处理,将投射的相移图像每次平移π/2,平移三次,可见图10的下半部分所示的四幅相移图像。那么四幅相移图像的条纹灰度值可分别表示为:
Figure BDA0002511881110000181
其中,Ii(i=1,2,3,4)为第i幅相移图像的条纹灰度值,I′(x,y)为条纹光强的背景值,I″(x,y)为调制光强值,
Figure BDA0002511881110000182
为所求的相位值。进而可得:
Figure BDA0002511881110000183
通过相移法计算出的相位只是相位的主值,含有一个反正切函数,其值域为[-π,π],相位不连续。针对这个问题,可知由相移法公式得到的相位与真实值之间还有2kπ的差异。为此,必须求出k,才能将相位的主值恢复到真正的绝对相位。面结构光技术能否成功的关键是解相位,因此完整的相位值即绝对相位公式应为:
Figure BDA0002511881110000191
式中,k(x,y)为整数,表示像素点(x,y)对应的2π的整数倍,则知解相位的关键就是确定解码周期k(x,y);k(x,y)表示像素点(x,y)所处的光栅条纹图案的周期次数,即是像素点(x,y)到底属于光栅条纹场中的哪条条纹。
采用格雷码图像可对待检测物体进行分级标识,划分的每一级对应一个离散值,即每一级内所有的测量点都具有相同的格雷码值。对于物体高精度三维测量,一般采用相移法。对每一级条纹用相移图案分别进行相位测量,就可以计算出每个被测点的相位,相位是连续唯一的。因此容易依据格雷编码与相移法结合的组合编码方法来获得绝对相位。投射的格雷编码光栅图案和相移光栅图案必须满足如下关系:格雷码图案的最小栅距应为相移光栅图案相移量的4倍,并且应当满足格雷编码周期与相移周期变化相一致,从而有效的提高了三维测量质量,具体可见图10所示的格雷码图像与相移图像比较对应的图像。
为了实现解相位,就需要对格雷码图案进行二值化处理,应使得二值化后的格雷码图像的周期与相移周期变化保持一致。将格雷码图像对应的投影图像与相移图像对应的投影图像进行配合,就可获得投影图像的绝对相位。这里的绝对相位就是像素点对应的相位信息,根据预设的标定关系和相位信息就容易计算得到任意像素点的三维坐标信息。
需要说明的是,关于利用相位信息和空间编码信息对各像素点进行相位求解的过程可以具体参考专利文献(CN201821238020.2—一种非接触式高精度的三维测量系统)中说明书内关于方法实施例的介绍内容,这里不再进行赘述。
步骤S214,对于采用相移图像和格雷码图像的结合图像进行投射的情况,摄取得到的多幅投影图像将包括多次投射的结合图像分别对应的投影图像。此时,可以采用步骤S215和步骤S216对多幅投影图像进行解相位处理得到任意像素点的相位信息。
步骤S215,获取结合图像对应的每幅投影图像中各像素点的灰度强度,以构建每幅投影图像的灰度分布向量。
在一个具体实施例中,处理装置14确定预设的条纹分布函数
Figure BDA0002511881110000192
其中,m为结合图像的投影序号,这里的结合图像包括若干行的子图像,每个子图像包括多个并列分布的周期区间,每个周期区间包括根据预设的条纹分布函数在该周期区间内形成的光栅条纹;k为结合图像中子图像的分布序号,s为子图像中周期区间的分布序号,f为周期函数,S为任意子图像中周期区间的总数目,X为任意子图像的行像素点的总数目,a、b、c均为实数常量,x为列像素点的序号,
Figure BDA0002511881110000201
δ均为相移步长值,gm,s为第m个结合图像的任意子图像中第s个周期区间所对应的编码码值,I为灰度强度,Im,k,s(x)表示第m个结合图像的第k个子图像中第s个周期区间内x像素点的灰度强度。那么,可以根据该条纹分布函数确定各个像素点的灰度强度,以使得各个周期区间内形成光栅条纹。
比如,在图13示意的m=0的结合图像中,k=0且s=0对应的周期区间内采用I(x)=sin(2πSx/X+(k=0)π/2+(gm,s=0)π/2)=sin(2πSx/X)来形成光栅条纹,k=1且s=0对应的周期区间内采用I(x)=sin(2πSx/X+(k=1)π/2+(gm,s=0)π/2)=sin(2πSx/X+π/2)来形成光栅条纹;如此类推,其它周期区间的光栅条纹也按照I(x)=sin(2πSx/X+kπ/2+gm,sπ/2)来形成,从而得到如图13所示的结合图像。
对于条纹分布函数为
Figure BDA0002511881110000202
的结合图像,获得该结合图像在待检测物体上照射形成的投影图像,照射形成的投影图像的灰度分布向量为
Figure BDA0002511881110000203
其中,Qm,k为第m个结合图像的第k个子图像在待检测物体上照射形成的灰度分布向量的分量,k∈[0,1,…,K-1],x∈[0,1,…,X-1],s∈[0,1,…,S-1],m∈[0,1,…,M-1],K为任意结合图像中子图像的总数目,X为任意子图像的行像素点的总数目,S为任意子图像中周期区间的总数目,M为所生成的结合图像的总数目。
步骤S216,根据每幅投影图像的灰度分布向量解相位计算得到各个像素点的相位信息。
在一个具体实施例中,处理装置14根据三角函数的和差角关系对结合图像的灰度分布向量
Figure BDA0002511881110000204
进行变换,计算得到各个像素点的相位信息。为保证相移的有效性,应当使得相移步长值满足
Figure BDA0002511881110000205
其中,用A={0,1,…,N-1}表示编码字符集,N为编码的个数;优选地,采用
Figure BDA0002511881110000206
或者
Figure BDA0002511881110000207
那么,第m个结合图像的第k个投影图像中第s个周期区间内x像素点的相位是
Figure BDA0002511881110000208
这里的结果Φ就是像素点对应的相位信息,根据预设的标定关系和相位信息就容易计算得到任意像素点的三维坐标信息。
需要说明的是,关于利用相位信息和空间编码信息的结合图像对各像素点进行相位求解的过程可以具体参考专利文献(CN201811211140.8—一种光栅图像投影方法、三维重建方法及三维重建系统)中说明书内关于实施例二的介绍内容,这里不再进行赘述。
步骤S220,根据标定关系和任意像素点的相位信息计算对应的三维坐标信息。
在一个具体实施例中,通过标定关系对任意像素点的相位信息进行函数求解,换算得到该像素点对应的世界坐标;利用任意像素点对应的世界坐标获得该像素点对应的三维坐标信息。
比如,标定关系可以用换算函数进行表示
z=Z(φ,i,j),x=X(z,i,j),y=Y(z,i,j);
那么,在得知相位信息φ和像素坐标(i,j)的情况下,就很容易计算得到像素点对应的世界坐标(x,y,z),即像素点在真实场景中对应的三维坐标,此时,即可使用世界坐标来表示像素点对应的三维坐标信息。
步骤S230,根据相位信息和三维坐标信息对待检测物体进行三维重建,构建得到待检测物体的高度图像。可以理解,由于得到了各像素点对应的三维坐标信息,那么就容易利用三维坐标信息中的x、y来等距设置像素坐标,利用三维坐标信息中的高度信息z来对像素点进行灰度化表示,从而根据像素坐标和像素灰度值构建得到待检测物体的高度图像。
在本实施例中,步骤S300主要涉及对高度图像进行处理以得到待检测物体的三维信息的过程,该过程可以具体描述为:
(1)获取用户在高度图像上的选定区域;
(2)对选定区域内的各像素点的三维坐标信息进行比较,得到选定区域对应的三维信息,这里的三维信息包括高度差、平面度、粗糙度、表面积、体积、距离、宽度、深度和字符内容中的一者或多者。
(3)将高度图像映射为灰度图,优选地映射为8位灰度图;
(4)获取用户在灰度图上的两选定点;
(5)对两选定点的三维坐标信息进行比较,得到两选定点对应的二维信息(可认为二维信息是三维信息的一个表示部分),这里的二维信息包括距离、二维宽度中的一者或多者。
在另一个实施例中,步骤S300之后还可以包括图像和信息的显示过程。比如图4中,处理装置14控制显示装置16对得到的投影图像、高度图像和/或三维信息进行显示,使得用户可通过显示装置16查看待检测物体W1的三维测量结果。
本领域的技术人员可以理解,在应用本实施例中提供的三维测量方法时,可以达到以下技术优势:(1)获取待检测物体在多次投射的结构光照射下摄取的多幅投影图像,使得多幅投影图像能够准确反映待检测物体在结构光照射下的成像特性,利于对待检测物体的表面进行无死角的光学照明检测,即便是不易发现的物体形体变化或者表面结构变化也能够稳定地检测出来;(2)由于预设的标定关系包括投影图像中任意像素点的坐标、相位与对应的世界坐标之间的换算关系,那么在依据投影图像中任意像素点的坐标解相位得到对应的相位信息之后,就可以根据该标定关系方便地计算出像素点对应的三维坐标信息,避免了以往需要根据投影取像的几何关系才能得到像素点的三维坐标的局限性,提供了计算三维坐标(世界坐标)的技术新思路;(3)根据预设的标定关系对多幅投影图像进行三维重建处理,得到待检测物体的高度图像,那么只要根据相位信息和三维坐标信息即可对待检测物体进行三维重建,从而方便构建得到待检测物体的高度图像,保证构建结果的准确性且减少计算量;(4)在预设标定关系的过程中通过相位拟合得到任意像素点的相位值与高度值之间的关系式,从而根据关系式建立任意像素点与对应的世界坐标之间的换算函数,使得换算函数可以准确地表示任意像素点的坐标、相位与世界坐标之间的换算关系,以此生成的标定关系可以取代以往投影取像的几何关系,简化数据换算过程且提供换算精准度;(5)对高度图像进行处理以得到待检测物体的三维信息,可以让用户不仅直观地了解到物体表面高度差、平面度等信息,还能够将三维信息转化为二维平面上的长度、距离等二维信息,使得三维测量结果更加准确、有效。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现,也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘、光盘、硬盘等,通过计算机执行该程序以实现上述功能。例如,将程序存储在设备的存储器中,当通过处理器执行存储器中程序,即可实现上述全部或部分功能。另外,当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中,通过下载或复制保存到本地设备的存储器中,或对本地设备的系统进行版本更新,当通过处理器执行存储器中的程序时,即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。

Claims (7)

1.一种基于结构照明的三维测量方法,其特征在于,包括以下步骤:
获取待检测物体在多次投射的结构光照射下摄取的多幅投影图像;
根据预设的标定关系对所述多幅投影图像进行三维重建处理,得到所述待检测物体的高度图像包括:对所述多幅投影图像进行解相位处理以得到所述投影图像中任意像素点的相位信息;通过所述标定关系对任意像素点的相位信息进行函数求解,换算得到该像素点对应的世界坐标,利用任意像素点对应的世界坐标获得该像素点对应的三维坐标信息;根据所述相位信息和所述三维坐标信息对所述待检测物体进行三维重建,构建得到所述待检测物体的高度图像;所述标定关系包括所述投影图像中任意像素点的坐标、相位与对应的世界坐标之间的换算关系;
对所述高度图像进行处理,得到所述待检测物体的三维信息;
涉及的所述标定关系通过以下步骤被预设:
获取一标定板在多个标定平面上分别摄取的标定图像;所述多个标定平面为所述标定板在世界坐标系中沿一个坐标轴设置的多个放置面;
根据各幅所述标定图像通过解相位处理得到所述标定图像中任意像素点的相位信息;
利用任意像素点的相位信息通过相位拟合得到任意像素点的相位值与高度值之间的关系式,所述关系式表示为
z=aijφij 2+bijφij+cij
其中,系数aij、bij、cij可以通过以下方程得到
Figure FDA0003469573060000011
其中,φij为像素坐标(i,j)处像素点的相位值,下标ij表示像素索引,下标k表示所述标定板在所述多个标定平面上的位置序号;
根据所述关系式建立所述标定图像中任意像素点与对应的世界坐标之间的换算函数,用公式表示为
zk=Z(φ,i,j),xk=X(zk,i,j),yk=Y(zk,i,j);
其中,i、j分别为行列像素序号,Z为多项式求解函数,X、Y均为线性关系式求解函数,φ为相位值,(xk,yk,zk)表示像素坐标(i,j)处的像素点对应的世界坐标;
将所述标定图像中任意像素点与对应的世界坐标之间的换算函数作为所述标定关系。
2.如权利要求1所述的三维测量方法,其特征在于,所述获取待检测物体在多次投射的结构光照射下摄取的多幅投影图像,包括:
所述结构光包括预设的相移图像和/或格雷码图像;
若所述结构光为相移图像,则获取多次投射的所述相移图像在相同投射方向或不同投射方向照射所述待检测物体时分别对应摄取的投影图像;
若所述结构光为格雷码图像,则获取多次投射的所述格雷码图像在相同投射方向或不同投射方向照射所述待检测物体时分别对应摄取的投影图像;
若所述结构光为相移图像和格雷码图像的结合图像,则获取多次投射的所述结合图像在相同投射方向或不同投射方向照射所述待检测物体时分别对应摄取的投影图像;
所述多幅投影图像包括多次投射的所述相移图像分别对应的投影图像和多次投射的所述格雷码图像分别对应的投影图像,或者,所述多幅投影图像包括多次投射的所述结合图像分别对应的投影图像。
3.如权利要求2所述的三维测量方法,其特征在于,若所述多幅图像包括多次投射的所述相移图像分别对应的投影图像和多次投射的所述格雷码图像分别对应的投影图像,则对所述多幅投影图像进行解相位处理的过程包括:
获取所述相移图像对应的每一幅投影图像上每一个像素点的相位信息,以及获取所述格雷码图像对应的每一幅投影图像上每一个像素点的空间编码信息;
根据各像素点的相位信息和空间编码信息对各像素点进行相位求解,得到各个像素点的相位信息。
4.如权利要求3所述的三维测量方法,其特征在于,若所述多幅投影图像包括多次投射的所述结合图像分别对应的投影图像,则对所述多幅投影图像进行解相位处理的过程包括:
获取所述结合图像对应的每幅投影图像中各像素点的灰度强度,以构建每幅投影图像的灰度分布向量;
根据每幅投影图像的灰度分布向量解相位计算得到各个像素点的相位信息。
5.一种照明检测系统,其特征在于,包括:
光源组件,包括至少一个照明模块,各个所述照明模块用于在相同方向或不同方向分别向待检测物体投射结构光;
成像装置,用于摄取所述待检测物体在各个所述照明模块分别照射下形成的投影图像;
控制装置,与各个所述照明模块和所述成像装置连接,用于产生触发信号以驱动若干个所述照明模块依次投射结构光,并同步驱动所述成像装置对所述待检测物体进行取像;
处理装置,与所述成像装置连接,用于根据如权利要求1-4中任一项所述的三维测量方法获得所述待检测物体的三维信息。
6.如权利要求5中所述的照明检测系统,其特征在于,所述光源组件包括灯具主体,各个所述照明模块以围绕所述灯具主体的一预设区域进行环形排布的方式设置于所述灯具主体上;
所述灯具主体的预设区域包括用于供所述待检测物体上反射光通过的通过区域,所述成像装置为相机,所述相机的镜头设于所述通过区域内或者设于所述通过区域的上方。
7.一种计算机可读存储介质,其特征在于,包括程序,所述程序能够被处理器执行以实现如权利要求1-4中任一项所述的三维测量方法。
CN202010463847.9A 2020-05-27 2020-05-27 一种基于结构照明的三维测量方法及系统、存储介质 Active CN111536904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010463847.9A CN111536904B (zh) 2020-05-27 2020-05-27 一种基于结构照明的三维测量方法及系统、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010463847.9A CN111536904B (zh) 2020-05-27 2020-05-27 一种基于结构照明的三维测量方法及系统、存储介质

Publications (2)

Publication Number Publication Date
CN111536904A CN111536904A (zh) 2020-08-14
CN111536904B true CN111536904B (zh) 2022-04-15

Family

ID=71974743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010463847.9A Active CN111536904B (zh) 2020-05-27 2020-05-27 一种基于结构照明的三维测量方法及系统、存储介质

Country Status (1)

Country Link
CN (1) CN111536904B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037273B (zh) * 2020-09-09 2023-05-19 南昌虚拟现实研究院股份有限公司 深度信息获取方法、装置、可读存储介质及计算机设备
CN112781525A (zh) * 2020-12-28 2021-05-11 广东艾视智能有限公司 基于激光高速振镜结构光的三维成像系统及标定方法
CN112857222A (zh) * 2021-01-18 2021-05-28 吉林高分遥感应用研究院有限公司 一种田间作物测量装置及测量方法
CN112991461A (zh) * 2021-03-11 2021-06-18 珠海格力智能装备有限公司 物料装配方法及装配装置、计算机可读存储介质、处理器
CN113781305A (zh) * 2021-09-08 2021-12-10 浙江汉振智能技术有限公司 一种双单目三维成像系统的点云融合方法
CN114061489A (zh) * 2021-11-15 2022-02-18 资阳联耀医疗器械有限责任公司 一种用于三维信息重建的结构光编码方法及系统
CN114234847B (zh) * 2021-12-08 2024-01-30 苏州恒视智能科技有限公司 一种光栅投影系统及光栅相移高度测量自动校正补偿方法
CN114674240A (zh) * 2022-03-25 2022-06-28 中国科学院微电子研究所 形变测量方法、装置、电子设备及存储介质
CN114754702B (zh) * 2022-04-13 2023-06-30 湖北中烟工业有限责任公司 一种物体表面轮廓三维扫描方法、装置及电子设备
CN114820791B (zh) * 2022-04-26 2023-05-02 极米科技股份有限公司 障碍物检测方法、装置、系统及非易失性存储介质
CN115052136B (zh) * 2022-05-10 2023-10-13 合肥的卢深视科技有限公司 结构光投影方法、电子设备及存储介质
WO2023222139A1 (zh) * 2022-05-18 2023-11-23 上海图漾信息科技有限公司 深度数据测量头、测量装置和测量方法
CN116320357A (zh) * 2023-05-17 2023-06-23 浙江视觉智能创新中心有限公司 一种3d结构光相机系统、方法、电子设备和可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109443214A (zh) * 2018-12-19 2019-03-08 广东工业大学 一种结构光三维视觉的标定方法、装置及测量方法、装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1296825B1 (it) * 1997-12-02 1999-08-02 Uni Degli Studi Brescia Procedimento per la misura di profili a tre dimensioni mediante proiezione di luce strutturata
CN107270810B (zh) * 2017-04-28 2018-06-22 深圳大学 多方位投影的投影仪标定方法及装置
CN107607060B (zh) * 2017-08-24 2019-09-10 东南大学 一种应用于光栅三维投影测量中的相位误差补偿方法
CN208887565U (zh) * 2018-08-01 2019-05-21 深圳市华汉伟业科技有限公司 一种非接触式高精度的三维测量系统
CN109341589B (zh) * 2018-10-17 2020-08-04 深圳市华汉伟业科技有限公司 一种光栅图像投影方法、三维重建方法及三维重建系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109443214A (zh) * 2018-12-19 2019-03-08 广东工业大学 一种结构光三维视觉的标定方法、装置及测量方法、装置

Also Published As

Publication number Publication date
CN111536904A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111536904B (zh) 一种基于结构照明的三维测量方法及系统、存储介质
Xu et al. Status, challenges, and future perspectives of fringe projection profilometry
Song et al. An accurate and robust strip-edge-based structured light means for shiny surface micromeasurement in 3-D
Song et al. A high dynamic range structured light means for the 3D measurement of specular surface
CN109341589B (zh) 一种光栅图像投影方法、三维重建方法及三维重建系统
Zuo et al. High-speed three-dimensional profilometry for multiple objects with complex shapes
Jia et al. Two-step triangular-pattern phase-shifting method for three-dimensional object-shape measurement
CN100585328C (zh) 基于激光图像及对应像素距离度量的位移测量装置及方法
Kang et al. Learning efficient illumination multiplexing for joint capture of reflectance and shape.
CN208887565U (zh) 一种非接触式高精度的三维测量系统
Feng et al. Motion-oriented high speed 3-D measurements by binocular fringe projection using binary aperiodic patterns
CN102519390A (zh) 三编码周期灰度梯形相移结构光三维信息获取方法
CN110672037A (zh) 基于相移法的线性光源光栅投影三维测量系统及方法
Ritz et al. High resolution acquisition of detailed surfaces with lens-shifted structured light
JP6894280B2 (ja) 検査方法及び検査装置
CN111476788B (zh) 一种显示屏夹层缺陷检测方法及系统
RU2573767C1 (ru) Устройство трехмерного сканирования сцены с неламбертовыми эффектами освещения
Li et al. Projective Parallel Single-pixel Imaging to Overcome Global Illumination in 3D Structure Light Scanning
CN115082538A (zh) 基于线结构光投影的多目视觉平衡环零件表面三维重建系统及方法
Yu et al. Quasi-pixelwise motion compensation for 4-step phase-shifting profilometry based on a phase error estimation
Su et al. Error-corrected fringe discrimination using nonary-encoded patterns for phase-shifting projected fringe profilometry
Groh et al. Multi-view continuous structured light scanning
Cheng et al. Structured-light based sensing using a single fixed fringe grating: Fringe boundary detection and 3-D reconstruction
Ullah et al. A low-cost three-dimensional reconstruction and monitoring system using digital fringe projection
Zhang et al. An efficient method for dynamic calibration and 3D reconstruction using homographic transformation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant