CN116188556A - 镜面物体的三维测量方法、计算机可读存储介质 - Google Patents

镜面物体的三维测量方法、计算机可读存储介质 Download PDF

Info

Publication number
CN116188556A
CN116188556A CN202211568294.9A CN202211568294A CN116188556A CN 116188556 A CN116188556 A CN 116188556A CN 202211568294 A CN202211568294 A CN 202211568294A CN 116188556 A CN116188556 A CN 116188556A
Authority
CN
China
Prior art keywords
point
camera
coordinate system
representing
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211568294.9A
Other languages
English (en)
Inventor
杨洋
黄淦
林泽伟
魏宇明
翟爱亭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huahan Weiye Technology Co ltd
Original Assignee
Shenzhen Huahan Weiye Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huahan Weiye Technology Co ltd filed Critical Shenzhen Huahan Weiye Technology Co ltd
Priority to CN202211568294.9A priority Critical patent/CN116188556A/zh
Publication of CN116188556A publication Critical patent/CN116188556A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/514Depth or shape recovery from specularities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种镜面物体的三维测量方法、计算机可读存储介质,其中方法包括:对相机与投影装置、物体平面的位置关系进行标定;获取待测物体的光栅投影图像;根据待测物体的光栅投影图像以及相机与投影装置、物体平面的位置关系,获取相机以及待测物体的光栅投影图像中各像素点对应的屏幕点和物体点在同一坐标系下的坐标;根据相机与光栅投影图像中像素点对应的物体点和屏幕点的几何关系,计算每个像素点对应的物体点处的法向量;根据物体点处的法向量计算物体点处的梯度;根据各物体点处的梯度获得待测物体的三维面形。该方法实现了对镜面物体的无损测量,提高了三维测量的精度和效率。

Description

镜面物体的三维测量方法、计算机可读存储介质
技术领域
本发明涉及机器视觉技术领域,具体涉及镜面物体的三维测量方法、计算机可读存储介质。
背景技术
玻璃基板、汽车玻璃、硅片等作为镜面反射物体的代表,被广泛地应用在各种相关产品的生产制造中,成为人们日常生活中不可或缺的一部分。用于平板液晶显示器的玻璃基板、汽车玻璃、加工芯片的硅片等在生产制造中对其表面面形平整度及加工精度有着严格要求,导致其制作工艺要求较高使其成本不菲。在生产制造中,向玻璃基板、硅片等表面投射的光束,会像常见镜面一样发生镜面反射,这给加工制造过程中对其面形的无损测量带来了难度。毫无疑问,对玻璃基板、硅片、自由曲面的玻璃等镜面物体的面形测量方法进行研究可以指导其生产过程中的精加工及测量过程,对提高玻璃基板硅片、自由曲面的玻璃等生产加工效率与品质,降低其生产成本具有十分重要的意义。
人工检测法是在强光条件下,使用肉眼对镜面物体表面进行检测的方法。该方法效率较为低下,且对工人的健康有所损害,检测结果受个体的影响也较大。但考虑到质量检测流程的总体速度及精度,目前工业环境下的镜面物体质量检测仍受人工检测法支配,但这种情况亟待改变。
三维测量技术根据接触方式可以分为接触式测量与非接触式测量。三坐标测量机(CMM,Coordinate Measuring Machine)为传统的接触式三维形貌测量技术。它可以测量复杂形貌的物体且测量精度高,但由于其需要接触物体表面,测量每一个点的高度时,会存在测量速度慢、耗时长与易磨损物体表面等问题。而光学三维测量技术如机器视觉检测法等因其具有非接触、高精度、测量速度快及全场测量等优点受到广泛的关注,成为学术研究领域的热点。随着数字信号处理技术及与其相关的器件设备的发展,三维测量技术将会向着高速、高精度发展,被测物体将向着大尺寸和微结构发展。机器视觉检测法是一种具有广阔前景的检测方法,它可以解决人工检测方法效率低下的问题,同时检测视野往往较大。然而将机器视觉检测法应用于镜面物体进行三维测量时,仍有一些问题有待解决。
发明内容
本发明提供一种镜面物体的三维测量方法、计算机可读存储介质,旨在通过机器视觉的方法对镜面物体表面进行无损的三维测量。
根据第一方面,一种实施例中提供一种镜面物体的三维测量方法,应用于三维测量系统,所述三维测量系统包括投影装置、物体平面和相机,所述三维测量方法包括:
对所述相机与所述投影装置、所述物体平面的位置关系进行标定;
获取待测物体的光栅投影图像,其中所述待测物体放置于所述物体平面上,待测物体的光栅投影图像为所述相机在所述投影装置对所述待测物体进行光栅投影时,对所述待测物体拍摄的图像;
根据待测物体的光栅投影图像以及所述相机与所述投影装置、所述物体平面的位置关系,获取所述相机以及所述待测物体的光栅投影图像中各像素点对应的屏幕点和物体点在同一坐标系下的坐标,其中屏幕点是所述投影装置的屏幕上的点,物体点是待测物体上反射屏幕点发出的光线并在相机中成像的点;
根据所述相机与所述光栅投影图像中像素点对应的物体点和屏幕点的几何关系,计算每个像素点对应的物体点处的法向量;
根据物体点处的法向量计算物体点处的梯度;
根据各物体点处的梯度获得所述待测物体的三维面形。
根据第二方面,一种实施例中提供一种计算机可读存储介质,所述介质上存储有程序,所述程序能够被处理器执行以实现如上述第一方面所述的三维测量方法。
依据上述实施例的镜面物体的三维测量方法,首先对相机与投影装置、物体平面的位置关系进行标定,然后获取待测物体的光栅投影图像,根据待测物体的光栅投影图像以及相机与投影装置、物体平面的位置关系,获取相机以及待测物体的光栅投影图像中各像素点对应的屏幕点和物体点在同一坐标系下的坐标,根据相机与光栅投影图像中像素点对应的物体点和屏幕点的几何关系,计算每个像素点对应的物体点处的法向量,根据物体点处的法向量计算物体点处的梯度,最终根据各物体点处的梯度获得待测物体的三维面形,能够有效提高三维测量的精度和效率。该方法可以克服镜面物体形貌重建困难的问题,通过主动投射光栅投影,对光栅投影图像进行处理,获得镜面物体的表面形貌,实现物体表面形貌的无损测量;并且适应性强,能够对多种镜面物体进行三维测量,对复杂环境也有较好的适应能力。
附图说明
图1为一种实施例的三维测量系统的结构示意图;
图2为针孔相机模型中各坐标系的变换示意图;
图3为一种实施例中投影的光栅图像的示意图;
图4为一种实施例的镜面物体的三维测量方法的流程图;
图5为一种实施例中求解物体点处的法向量所涉及的方向向量的示意图;
图6为一种实施例的三维测量系统中位置关系的标定方法的流程图;
图7为一种实施例的根据标定板图像对相机的内参和外参进行标定的流程图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。
在工业生产过程中,常需要对产品进行三维测量或者三维重建,通过机器视觉的方法,对物体进行投影,可利用物体的二维影像恢复物体的三维信息(例如面形等),实现无损的三维测量。在获得产品的三维信息后,可据此对产品的质量进行分析,对产品的生产加工过程具有指导意义。
具有高反光表面或透明的物体被广泛地应用于工业生产实践中,如汽车的光滑车身及其后视镜、光滑的玻璃表面以及用作平板显示的玻璃基板等,投射到这类物体表面的光束会发生镜面反射,因此常将它们称为镜面物体。镜面物体所产生的镜面反射给加工制造过程中对其面形的无损测量带来了难度。对于镜面面形的无损检测,主要存在以下几个问题:
(1)对于缺陷的呈现困难,无法从某一个方向将表面的缺陷全部呈现或者拍摄出来;
(2)部分缺陷二维图像难以呈现,尤其是黑色背景、低对比度表面的物体;
(3)某些镜面、类镜面物体具有独特的高透光性和不可见性,成为光学三维检测领域的重点和难点。
当前利用机器视觉对镜面物体进行面形的三维测量,主要采用干涉法,干涉法一般是针对有规律面形的物体进行测量且具有非常高的测量精度,但是通常需要复杂而昂贵的补偿光学系统与严格稳定的环境,并且测量范围有限、通用性差。
基于机器视觉对物体表面进行三维测量,常通过三维测量系统实现,请参考图1,一种实施例中三维测量系统包括投影装置1、物体平面2和相机3。投影装置1可以是任意可发出光线在物体平面2上形成图案的装置,例如LCD(Liquid Crystal Display,液晶显示)、LED(Light-Emitting Diode,发光二极管)显示屏等。物体平面2是用于承载待测物体的平台,例如载物台等。相机3可以是CCD(Charge-coupled Device,电荷耦合元件)相机、CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)相机等。假设物体平面2产生镜面反射,则投影装置1发出的光线经物体平面2的镜面反射后,在相机3的成像平面上成像,请参考图1,此时在相机3的成像平面上只能观察到投影装置1的虚像,相当于一虚拟的投影装置1′,投影装置1与投影装置1′关于物体平面2镜像对称。
利用该三维测量系统进行三维测量,可以采用光栅投影等方式进行。基于光栅投影的三维测量方法通过将一定规则的光栅条纹投影到物体表面,对获取到的条纹图像作为三维信息的载体加以分析,由视觉原理得到物体的表面信息,例如高度信息等。
基于上述三维测量系统,本发明提供一种镜面物体的三维测量方法,通过相机拍摄待测物体的图像进行分析,获取待测物体的三维面形,实现面形测量或者说面形重建。整个技术方案主要包括以下几个部分:
(1)相机与物体平面、投影装置的相对位置关系的标定;
(2)基于所标定的位置关系,完成法向量的计算;
(3)基于法向量的计算结果,完成物体表面形状的估计。
本发明一些实施例中,针对镜面物体,在以上各部分进行了相应的改进,能够适应镜面反射的情况,更为精确地测量镜面物体的表面形貌,克服镜面物体三维重建困难的问题,实现镜面物体快速、无损的三维测量。
为了能更清楚地理解本发明的技术方案,下面先对相机标定和光栅投影进行介绍。
相机标定的目的是为了获得相机的内参、外参和畸变系数。当前相机标定的主要方法多根据张正友标定法进行设计和计算,主要包括以下几个计算步骤:
(1)根据标定板中特征点的世界坐标和图像坐标的对应关系,获得单应性矩阵;
(2)对单应性矩阵进行分解,计算得到内参或者外参的初始参数;
(3)采用LM(Levenberg-Marquardt,列文伯格-马夸尔特)算法对初始参数进行非线性优化,迭代计算内参、外参和畸变系数,获得最终的标定结果。
相机的成像过程中各坐标系的投影变换关系可以用针孔相机模型来表示,如图2所示。世界坐标系(WCS,World Coordinate System)中的点Pw通过镜头投影中心投影到成像平面上的点P,为了得到点Pw投影到成像平面上的图像坐标qi,需要首先将其转换到相机坐标系(CCS,Camera Coordinate System)中。相机坐标系的x轴和y轴分别平行于图像的c轴和r轴,z轴垂直于图像所在的成像平面并且z轴的方向设置将使相机前的所有点的z坐标为正数,其中图像的c轴方向为图像的水平方向,r轴方向为图像的垂直方向。图2中xc轴、yc轴和zc轴分别表示相机坐标系的x轴、y轴和z轴。由世界坐标系到相机坐标系的变换可以用公式pcc Hwpw来表示,其中pc=(xc,yc,zc)T为相机坐标系中的坐标,pw=(xw,yw,zw)T为世界坐标系中的坐标,cHw可以用旋转矩阵R和平移向量t来表示。
在将世界坐标系转换到相机坐标系后,需要将其转换到像平面坐标系上,这是一个由3D坐标转换到2D坐标的过程。这一变换可以表示为:
Figure BDA0003987019780000051
其中f表示相机镜头的焦距,(u,v)T表示像平面坐标系中的坐标。
在投影到成像平面后,镜头的畸变将导致坐标qc=(u,v)T发生变化,使得在成像平面上形成的是畸变的坐标
Figure BDA0003987019780000061
这个变化可以单独在成像平面上建立模型,也就是说这里不需要三维信息。对于大多数镜头而言,它们的畸变都可以充分地近似为径向畸变,通常有两种模型可以用来描述畸变,一种是除法模型,一种是多项式模型。除法模型如下:
Figure BDA0003987019780000062
其中参数κ表示了径向畸变量级,如果κ为负值,即变为桶形畸变,如果κ为正值,即变为枕形畸变。可以通过下式对畸变进行校正:
Figure BDA0003987019780000063
/>
多项式模型如下:
Figure BDA0003987019780000064
其中
Figure BDA0003987019780000065
k1、k2、k3、p1、p2为模型系数。根据以上模型,在已知畸变系数和畸变后坐标/>
Figure BDA0003987019780000066
的情况下,利用牛顿法可以求解得到未畸变的坐标qc=(u,v)T
最后将像平面坐标系转换到图像坐标系(ICS,Image Coordinate System)中,用公式表示为:
Figure BDA0003987019780000067
其中sx和sy分别为相机水平方向上和垂直方向上的像素尺寸,(cx,cy)为主光轴点,一般为图像的中心。
因此上述的整个变换如果不考虑畸变可以表示为:
Figure BDA0003987019780000068
这便是相机标定所依据的数学模型。其中
Figure BDA0003987019780000069
为相机的内参部分,旋转矩阵R和平移向量t为外参部分。进一步化简可以表示为:
sm=A[R|t]M, (2)
其中A为相机的内参矩阵,
Figure BDA0003987019780000071
对于光栅投影,可使用任意现有的光栅投影方式。一种实施例中可投影格雷码图像和相移图像,请参考图3,为一种实施例投影的宽度为32个像素的格雷码图像和相移图像,其中序号1-4的图像序列为格雷码图像,序号5-8的图像序列为相移图像。
由于相移图像具有周期性,获取的相位在[0,2π]范围内,需要将其转化到2kπ(k为整数)的绝对相位。获取绝对相位图后,结合标定的位置关系可生成三维数据。
相移法被广泛应用于光学测量,由于其测量精度和测量速度较高,所以对于高精度的物体三维测量,一般采用相移法。在相移法中,获得相位的过程如下:(1)先通过相移法公式获得锯齿形的相位值,值域为[-π,π],称为截断相位;(2)将锯齿形相位值恢复成连续的相位值,称为绝对相位。这一过程称为解相位(或相位展开、相位解包裹)。
相移法获得相位值的方法有很多,例如可以采用N步相移法求解。假如投影光强是标准余弦分布,则相移图像每次移动2π/N的相位,产生一个新的光强函数In(x,y),平移N-1次,获得N幅相移图像,其中(x,y)为相移图像中像素点的坐标。其中四步相移法用的比较多,原因是该方法能消除检测器的非线性影响。四步相移法是将投射的相移图像每次平移π/2,平移三次。图3所示相移图像即为四步相移图像。四步相移的光强函数可以表示为:
Figure BDA0003987019780000072
其中Ii(i=1,2,3,4)为第i幅相移图像的条纹灰度值,I′(x,y)为条纹光强的背景值,即投影装置1发出的原始光强,I″(x,y)为调制光强值,
Figure BDA0003987019780000073
为所求的相位值。可得:
Figure BDA0003987019780000074
通过相移法计算出的相位只是相位的主值,含有一个反正切函数,其值域为[-π,π],相位不连续。针对这个问题,由于由相移法公式得到的相位与真实值之间还有2kπ的差异,为此,必须求出k,才能将相位的主值恢复到真正的绝对相位。因此完整的相位值即绝对相位公式应为:
Figure BDA0003987019780000081
其中k(x,y)为整数,表示像素点(x,y)对应的2π的整数倍。可以看到解相位的关键就是确定解码周期k(x,y)。在实际应用中,k(x,y)表示像素点(x,y)所处的光栅条纹图案的周期次数,即是像素点(x,y)到底属于光栅条纹场中的哪条条纹,该条纹处于第几个周期。例如请参考图3,可以看到相移图像呈周期排布,第0-3个像素处于第一个周期,第4-7个像素处于第二个周期,依此类推。像素点所处的光栅条纹的周期次数可以根据其所处的光栅条纹的格雷码编码信息获得。
下面对本发明的镜面物体的三维测量方法进行介绍,请参考图4,一种实施例中该方法包括步骤100~600,下面具体说明。
步骤100:对相机与投影装置、物体平面的位置关系进行标定。
在使用图1所示的三维测量系统对物体进行三维测量前需要先对投影装置1、物体平面2和相机3之间的位置关系进行标定,以便于后续将投影装置1、物体平面2和相机3上的点转换到同一坐标系下进行计算。位置关系可以根据两装置间的距离、相对位姿(例如旋转、平移等)进行标定。
位置关系的标定影响到后续三维测量的精度,是十分重要的一环。本发明一种实施例中提供一种上述三维测量系统中位置关系的标定方法,其中位置关系通过坐标系的变换关系来表示,包括投影装置坐标系与相机坐标系的变换关系以及物体平面坐标系与相机坐标系的变换关系。请参考图1,投影装置坐标系是建立在投影装置1上的空间坐标系,物体平面坐标系是建立在物体平面2上的空间坐标系,相机坐标系是建立在相机3上的空间坐标系。为了能适应镜面反射,本发明还引入了虚拟空间坐标系,借助虚拟空间坐标系进行标定。虚拟空间坐标系是建立在虚拟投影装置1′上的空间坐标系,即虚拟空间坐标系是投影装置坐标系关于物体平面2做镜像对称得到的空间坐标系。将相机坐标系记为c,将物体平面坐标系记为w,将投影装置坐标系记为s,将虚拟空间坐标系记为v。图1中坐标系的原点位置和坐标轴的方向仅为示意,实际中可根据具体需求设置原点位置和坐标轴的方向,在此不做限定。
对于相机与物体平面的位置关系,可以将物体平面坐标系作为世界坐标系,对相机进行内外参的标定,则相机的外参表示世界坐标系与相机坐标系的变换关系,因此也就得到了物体平面坐标系与相机坐标系的变换关系。对于相机与投影装置的位置关系,可借助光栅投影进行标定,由光栅投影图像获得像素点与屏幕点的对应关系,进而确定投影装置坐标系与相机坐标系的变换关系,其中屏幕点指投影装置的屏幕上的点。
下文将对本发明的标定方法进行详细说明。
步骤200:获取待测物体的光栅投影图像。
由于已标定相机与物体平面的位置关系,因此将待测物体放置于物体平面上,以利用标定的位置关系进行计算。投影装置对放置于物体平面上的待测物体投影光栅条纹图案,相机进行拍摄,得到待测物体的光栅投影图像。光栅条纹投影到待测物体表面时受到待测物体表面高度的调制发生变化,因此光栅投影图像反映了待测物体的表面形貌。
一种实施例中,为了排除待测物体上过于光亮的区域的干扰,以及减少数据量,可以对相机拍摄的原始图像进行裁剪,剔除灰度值过大的区域。具体地,首先使投影装置根据四步相移法对待测物体进行光栅投影,依次获得四幅光栅投影图像I1(x,y)、I2(x,y)、I3(x,y)和I4(x,y),其中(x,y)表示像素点的坐标;根据表面灰度调制函数k(x,y)=[I1(x,y)-I3(x,y)]2+[I2(x,y)-I4(x,y)]2获得调制后的灰度图k(x,y);然后获取灰度图k(x,y)中灰度值大于预设的灰度阈值的区域作为待检测区域,将灰度图k(x,y)中的待检测区域部分作为待测物体的光栅投影图像。
一种实施例中待测物体的光栅投影图像可以包括待测物体X方向的光栅投影图像和待测物体Y方向的光栅投影图像。投影装置在其屏幕上显示X方向(即水平方向)的光栅条纹,相机对待测物体拍摄得到的光栅投影图像称为待测物体X方向的光栅投影图像;投影装置在其屏幕上显示Y方向(即垂直方向)的光栅条纹,相机对待测物体拍摄得到的光栅投影图像称为待测物体Y方向的光栅投影图像。
步骤300:根据待测物体的光栅投影图像以及相机与投影装置、物体平面的位置关系,获取相机以及待测物体的光栅投影图像中各像素点对应的屏幕点和物体点在同一坐标系下的坐标。
物体点是待测物体上反射屏幕点发出的光线并在相机中成像的点。像素点与对应的物体点、屏幕点的关系为,若屏幕点A发出的光经物体点B反射后在相机成像得到像素点C,则称屏幕点A为像素点C对应的屏幕点,称物体点B为像素点C对应的物体点。
由于步骤100中已经标定了相机与投影装置、物体平面的位置关系,因此根据标定的位置关系可将相机、待测物体上的物体点、投影装置上的屏幕点转换至同一坐标系下进行坐标的表示。该同一坐标系可以是相机坐标系、物体平面坐标系或其他预先设定的坐标系等。借助光栅投影图像可以获知像素点对应的屏幕点。相机的坐标可以用其镜头光心的坐标表示。
一种实施例中,可以获取相机、物体点和屏幕点在世界坐标系下的坐标,当将物体平面坐标系作为世界坐标系时,即相当于获取相机、物体点和屏幕点在物体平面坐标系下的坐标。
具体地,首先对待测物体的光栅投影图像进行解相位处理以得到其中各像素点的相位信息,根据像素点的相位信息获得像素点对应的屏幕点坐标(xs,ys),其中屏幕点坐标指屏幕点在屏幕上的二维坐标。解相位处理可以参考上文关于解相位的介绍或者现有技术。若待测物体的光栅投影图像包括待测物体X方向的光栅投影图像和待测物体Y方向的光栅投影图像,则对于每个像素点来说,对待测物体X方向的光栅投影图像解相位可以得到一个相位,称为X相位,对待测物体Y方向的光栅投影图像解相位也可以得到一个相位,称为Y相位,利用X相位和Y相位可以解得完整的屏幕点坐标(xs,ys)。具体地,首先对待测物体X方向的光栅投影图像进行解相位处理以得到每个像素点的X相位
Figure BDA0003987019780000101
对待测物体Y方向的光栅投影图像进行解相位处理以得到每个像素点的Y相位/>
Figure BDA0003987019780000102
之后对于每个像素点,根据其X相位/>
Figure BDA0003987019780000103
和Y相位/>
Figure BDA0003987019780000104
计算得到对应的屏幕点坐标(xs,ys),计算公式如下:
Figure BDA0003987019780000105
其中Tx表示像素点在X方向的光栅投影图像所处的光栅条纹的周期次数,Ty表示像素点在Y方向的光栅投影图像所处的光栅条纹的周期次数。
然后根据投影装置坐标系与相机坐标系的变换关系以及相机的外参,将坐标ps=(xs,ys,0)变换到世界坐标系下作为屏幕点的世界坐标。首先根据投影装置坐标系与相机坐标系的变换关系将坐标ps=(xs,ys,0)变换到相机坐标系下,再根据相机的外参变换到世界坐标系下。
再根据相机的内参和外参,由待测物体的光栅投影图像中各像素点的图像坐标获得对应的物体点的世界坐标。具体可以参考公式(1)。
步骤400:根据相机与光栅投影图像中像素点对应的物体点和屏幕点的几何关系,计算每个像素点对应的物体点处的法向量。
几何关系可以是点与点、线与线和/或向量与向量之间的几何关系等。由于已经获得相机、物体点和屏幕点在同一坐标系下的坐标,因此容易根据它们的坐标来计算几何关系。
一种实施例中,可根据相机、物体点和屏幕点之间的方向向量来进行法向量的求解。请参考图5,对于光栅投影图像中每个像素点,可根据相机的坐标、该像素点对应的物体点和屏幕点的坐标计算得到相机与屏幕点间的方向向量lij和相机与物体点间的方向向量sij,而物体点与屏幕点间的方向向量rij由几何关系可得
Figure BDA0003987019780000111
其中下标i、j表示像素点的图像坐标,i表示行坐标,j表示列坐标,nij表示像素点(i,j)对应的物体点处的法向量。考虑屏幕点的镜像对称,利用镜像对称,由几何关系可得以下等式:
Figure BDA0003987019780000112
其中ρij表示物体点与屏幕点之间的距离,σij表示相机与物体点之间的距离。上式中ρij、σij和nij为未知量,由于法向量nij包含三个维度,因此一共有五个未知数,而根据上式,由向量的三个维度仅可构建三个方程,因此是一个欠约束问题。为了解决这一问题,本发明通过增加两个约束条件的方式,将欠约束问题转化为可求解问题,实现法向量nij的求解。具体的,本发明引入两个额外的中间变量aij和bij,分别表示为:
aij=sij+rij=sij+(lijijsij)/||lijijsij||,
bij=lij×σijsij
根据上面的公式,可知应有:
Figure BDA0003987019780000113
对于aij和nij有:
Figure BDA0003987019780000114
因此aij、bij和nij相互正交,可以作为一个三维坐标系的三个轴,如图5所示,aij和bij相当于像素点(i,j)对应的物体点所在平面的展开。可以将式(3)作为额外的两个约束条件,与式(2)一起构成五个方程,从而求解出法向量nij
步骤500:根据物体点处的法向量计算物体点处的梯度。
在获得法向量后,可以基于法向量完成待测物体表面形貌的估计。在前面的步骤中,根据所获得的方向向量lij和方向向量sij,以及相机内外参可以计算得到物体点处的深度信息,根据深度信息和法向量可以估计待测物体的面形。然而由于受到相机自身标定精度的限制和测量过程中的噪声干扰,所计算得到的深度信息往往精度有限。而相对于深度数据而言,根据法向量获得的梯度数据往往误差很小,因此本发明在三维测量中舍弃使用深度数据估计面形的方法,而利用梯度数据经积分重建得到待测物体的三维面形。
本步骤中首先根据物体点处的法向量计算得到物体点处的梯度。若在物体平面坐标系下进行坐标的表示,则梯度包括X分量和Y分量,一种实施例中对于各像素点,可根据以下公式分别计算得到物体点处的梯度的X分量和Y分量,从而得到物体点处的梯度:
Figure BDA0003987019780000121
其中
Figure BDA0003987019780000122
表示像素点(i,j)对应的物体点处的梯度的X分量,/>
Figure BDA0003987019780000123
表示像素点(i,j)对应的物体点处的梯度的Y分量,nx(i,j)表示像素点(i,j)对应的物体点处的法向量的X分量,ny(i,j)表示像素点(i,j)对应的物体点处的法向量的Y分量,nz(i,j)表示像素点(i,j)对应的物体点处的法向量的Z分量。
步骤600:根据各物体点处的梯度获得待测物体的三维面形。
三维面形信息可包括物体表面的高度值,若在物体平面坐标系下进行坐标的表示即为物体点处的Z坐标。对待测物体三维面形的估计可视为求取物体点处的高度值。
使用梯度数据进行面形重建,可以采用全局积分处理。可以选取待积分区域中心附近一点作为积分起始点,沿两个垂直方向划定两条积分基准线,沿这两条积分基准线进行线积分获得高度值。若在物体平面坐标系下进行坐标的表示,可以表示为:
z(x,y)=z(x0,y0)+∫LFx(x,y)dx+Fy(x,y)dy,
其中z(x,y)为积分得到的高度值,z(x0,y0)为积分起始点(x0,y0)的高度值,Fx(x,y)、Fy(x,y)分别为由法向量计算得到的两个垂直方向上的梯度值,L为实际积分路径。
本发明对梯度积分进行了改进,并通过循环迭代的方式获取较为精确的高度值。假设待测物体的斜率与重建高度有良好的一致性,可准确从梯度数据中重建出三维面形高度值,根据上述的梯度积分,相邻像素间对应的物体点处的梯度和高度可以表示为:
Figure BDA0003987019780000131
其中xi,j表示像素点(i,j)对应的物体点的X坐标,yi,j表示像素点(i,j)对应的物体点的Y坐标,Zi,j表示像素点(i,j)对应的物体点处的高度值,M表示待测物体的光栅投影图像的行数,N表示待测物体的光栅投影图像的列数。
本发明一种实施例中根据上式,通过循环迭代的方式计算高度值,具体包括第一计算步骤和第二计算步骤。在第一计算步骤中,根据公式(4)计算各物体点处的高度值。对公式(4)进行整理,可以获得DZ=G的表示形式,其中D为系数矩阵,为一大小为[(M-1)×N+M×(N-1)]×MN的稀疏矩阵,具体为
Figure BDA0003987019780000132
Z是大小为MN×1的待求解高度矩阵,具体为Z=[z1,1,z2,1,…,zM-1,N,zM,N]T;G为大小为[(M-1)×N+M×(N-1)]×1的测量梯度矩阵,具体为
Figure BDA0003987019780000133
进一步整理,可以根据最小二乘法解得:Z=(DTD)-1DTG。
在第二计算步骤中,对于每个物体点,根据以下公式更新其梯度:
Figure BDA0003987019780000141
其中Fx表示物体点处的梯度的X分量,Fy表示物体点处的梯度的Y分量,xc表示相机的X坐标,yc表示相机的Y坐标,zc表示相机的Z坐标,xh表示物体点的X坐标,yh表示物体点的Y坐标,Zh表示物体点处的高度值,xs表示物体点对应的屏幕点的X坐标,ys表示物体点对应的屏幕点的Y坐标,zs表示物体点对应的屏幕点的Z坐标,dh2s表示物体点与屏幕点之间的距离,dh2c表示物体点与相机之间的距离。Zh为第一计算步骤的输出结果,即第一计算步骤所得到的高度值,dh2s、dh2c、xc、yc、zc、xs、ys、zs则可根据位置关系的标定结果获得。
重复执行第一计算步骤和第二计算步骤,直至达到预设的停止条件,将停止计算时得到的高度值作为物体点处高度值的测量结果,完成待测物体的三维测量。预设的停止条件可以是计算达到预设的次数、本次计算与前次计算的结果之差小于预设阈值等。
上述实施例计算高度值的过程只考虑了一阶的影响,没有考虑高次噪声分量的影响,然而实际工业生产时,测量环境往往较为恶劣,采集得到的梯度数据包含各种噪声,且可能存在梯度数据缺失的情况。因此可采用更高阶的数据进行处理。以某一行相邻的四个像素点对应的物体点的位置与梯度建立约束,可得:
Figure BDA0003987019780000142
本发明另一种实施例中根据上式,通过循环迭代的方式计算高度值,具体包括第三计算步骤和第二计算步骤。在第三计算步骤中,根据公式(5)计算各物体点处的高度值。在第二计算步骤中根据计算得到的高度值更新梯度值,此处的第二计算步骤与上文相同,在此不再赘述。重复执行第三计算步骤和第二计算步骤,直至达到预设的停止条件,将停止计算时得到的高度值作为物体点处高度值的测量结果,完成待测物体的三维测量。预设的停止条件可以是计算达到预设的次数、本次计算与前次计算的结果之差小于预设阈值等。
上述计算过程中,往往对于梯度数据的完整性有较高要求,然而实际测量中,待测物体往往形状不规则,难以保证获取的梯度数据具有良好的几何边界,常存在无效数据或缺失数据。因此一种实施例中可以对无效或者缺失的梯度数据进行填充,填充时可以采用预设范围内的有效梯度数据的平均值进行填充。
依据上述实施例的镜面物体的三维测量方法,对相机与投影装置、物体平面的位置关系进行标定,获取待测物体的光栅投影图像,根据待测物体的光栅投影图像以及相机与投影装置、物体平面的位置关系,获取相机以及待测物体的光栅投影图像中各像素点对应的屏幕点和物体点在同一坐标系下的坐标,根据相机与光栅投影图像中像素点对应的物体点和屏幕点的几何关系,计算每个像素点对应的物体点处的法向量,然后根据物体点处的法向量计算物体点处的梯度,最终根据各物体点处的梯度获得待测物体的三维面形,能够有效提高三维测量的精度和效率。该方法可以克服镜面物体形貌重建困难的问题,通过主动投射光栅投影,对光栅投影图像进行处理,获得镜面物体的表面形貌,实现物体表面形貌的无损测量,并且无需复杂而昂贵的补偿光学系统;适应性强,能够对多种镜面物体进行三维测量,对复杂环境也有较好的适应能力。
一种实施例中,在对相机与投影装置、物体平面的位置关系进行标定时,引入了与投影装置坐标系镜像对称的虚拟空间坐标系,借助虚拟空间坐标系进行标定,能够适应镜面反射的情况,从而为镜面物体的三维测量提供了良好的基础。
一种实施例中,在根据几何关系计算法向量时,通过构造两个新的向量,对法向量做张量展开,增加了法向量的约束条件,将欠约束问题转化为可求解问题,实现镜面物体表面法向量的顺利求解。
一种实施例中对梯度积分进行了改进,基于斜率一致性,根据梯度对待测物体的三维面形进行迭代计算,以快速准确地估计物体的三维面形。一种实施例中还使用更高阶的数据进行三维面形估计,抑制了高次噪声的影响。
下面对本发明三维测量系统中位置关系的标定方法进行说明。请参考图6,一种实施例中该方法包括步骤110~160,下面具体说明。
步骤110:获取物体平面的标定板图像。
物体平面的标定板图像为相机3在投影装置1对物体平面2投影标定板图案时,对物体平面2拍摄的图像。标定板图像可以是棋盘格图像、圆阵列图像等。为了防止镜面反射对相机内外参标定的影响,可以在物体平面2上放一张白纸,使标定板图案投影在这张白纸上,避免发生镜面反射。
步骤120:将物体平面坐标系作为世界坐标系,根据标定板图像对相机的内参和外参进行标定。由于外参表示世界坐标系与相机坐标系的变换关系,因此得到外参也就得到了物体平面坐标系与相机坐标系的变换关系。
请参考图7,一种实施例中步骤120包括步骤121~124。
步骤121:获取标定板图像中的特征点,以及特征点的图像坐标和对应的世界坐标。
对于棋盘格来说特征点是棋盘格的角点,对于圆阵列来说特征点是圆阵列中圆形特征点的重心,圆形特征点即圆阵列中的圆形图案。可以根据标定板图案的参数信息来构建世界坐标系从而得到特征点对应的世界坐标,标定板图案的参数信息可以包括标定板的尺寸、棋盘格的尺寸、圆形特征点的半径、特征点之间的间距等。关于标定板图像中的特征点以及特征点的图像坐标的获取,可以通过现有技术实现,在此不进行赘述。
步骤122:根据特征点的图像坐标和对应的世界坐标计算单应性矩阵。可以理解,利用多个特征点的图像坐标pi和对应的世界坐标pw,以及图像坐标和世界坐标的变换关系pi=Hpw,建立目标函数:min∑[pi-Hpw]2,可以利用最小二乘法计算出单应性矩阵H,将单应性矩阵H中的元素用h0、h1、h2、h3、h4、h5、h6、h7和h8表示,则
Figure BDA0003987019780000161
步骤123:根据单应性矩阵H与相机内参之间的约束关系,利用单应性矩阵H计算相机的内参。
令等效焦距fx=f/sx,fy=f/sy,则内参部分可表示为
Figure BDA0003987019780000162
建立世界坐标系时,通常认为标定板上的点位于平面z=0上,因此可以忽略z方向上的旋转和平移,因此外参部分可以表示为/>
Figure BDA0003987019780000163
其中r1、r2、r3、r4、r5和r6为旋转矩阵的元素,tx和ty分别为平移向量的x分量和y分量。因此有
Figure BDA0003987019780000171
若将图像坐标系原点设为图像中心,那么可以得到
Figure BDA0003987019780000172
/>
由旋转矩阵中各向量的正交性约束可得:
Figure BDA0003987019780000173
再根据正交性和单位性约束,可得单应性矩阵H与相机内参之间的约束关系:
Figure BDA0003987019780000174
其中
Figure BDA0003987019780000175
则根据以上约束关系可由单应性矩阵H计算得到等效焦距fx和fy,相机主光轴点坐标(cx,cy)可以通过相机手册得知。
步骤124:根据单应性矩阵H计算旋转矩阵R和平移向量t。
由公式(2)可知H=A[R|t],根据正交性,可以获得:
H=[h1 h2 h3]=A[r1 r2 t],
其中[r1 r2 t]=[R|t],h1为单应性矩阵H的第一列向量,h2为单应性矩阵H的第二列向量,h3为单应性矩阵H的第三列向量,r1为旋转矩阵R的第一列向量,r2为旋转矩阵R的第二列向量。可以根据以下约束条件计算参数矩阵A:
Figure BDA0003987019780000176
可根据r1=A-1h1,r2=A-1h2计算得到向量r1和r2,则旋转矩阵R=[r1 r2],根据t=A-1h3计算得到平移向量t,从而得到外参部分。
那么物体平面坐标系与相机坐标系的变换关系可以用旋转矩阵R和平移向量t来表示,可记为
Figure BDA0003987019780000177
和/>
Figure BDA0003987019780000178
步骤130:对物体平面变换若干个姿态,获取每个姿态下物体平面的标定板图像或光栅投影图像,获取标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标。
为了使标定结果更精确,本发明通过对物体平面2随机变换多个姿态来标定投影装置坐标系与相机坐标系的变换关系,并且借助虚拟空间坐标系进行标定,以适应镜面反射。在每个姿态下,投影装置1对物体平面2投影标定板图案或光栅条纹图案,相机3进行拍摄,得到物体平面2的标定板图像或光栅投影图像。
由上文可知,通过相机的内参可将图像坐标变换到相机坐标系下,因此可根据标定板图像或光栅投影图像中的像素点的图像坐标和相机的内参获得像素点在相机坐标系下的坐标。其中标定板图像的像素点具体可以是标定板图像中的特征点。
像素点对应的虚拟空间坐标系中的点,即从该像素点观察到的虚拟空间坐标系中的点。对于标定板图像,可获取标定板图像中的像素点对应的世界坐标作为其对应的虚拟空间坐标系中的点的坐标,像素点对应的世界坐标可通过将像素点的图像坐标经相机的内参和外参变换得到。对于光栅投影图像,对光栅投影图像进行解相位处理以得到光栅投影图像中像素点的相位信息,则根据像素点的相位信息可获得像素点对应的屏幕点坐标(xs,ys);将坐标ps=(xs,ys,0)作为光栅投影图像中像素点对应的虚拟空间坐标系中的点的坐标。解相位处理可以参考上文关于解相位的介绍或者现有技术。关于屏幕点坐标(xs,ys)的获取可以参考步骤300,在此不再赘述。
步骤140:对于物体平面的每个姿态,根据该姿态下标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标,计算该姿态下虚拟空间坐标系与相机坐标系的变换关系。
利用多组像素点在相机坐标系下的坐标以及对应的虚拟空间坐标系中的点的坐标,可以计算得到虚拟空间坐标系与相机坐标系的变换关系。一种实施例中,虚拟空间坐标系与相机坐标系的变换关系可以用旋转矩阵
Figure BDA0003987019780000181
和平移向量/>
Figure BDA0003987019780000182
来表示,设虚拟空间坐标系下的点可以表示为/>
Figure BDA0003987019780000183
相机坐标系下的点可以表示为/>
Figure BDA0003987019780000184
则可以建立变换关系为:
Figure BDA0003987019780000185
其中k表示像素点的序号,m表示第m个姿态,且m=1,2……Nc,Nc表示姿态的数量,
Figure BDA0003987019780000191
表示第m个姿态下第k个像素点在相机坐标系下的坐标,/>
Figure BDA0003987019780000192
表示第m个姿态下第k个像素点对应的虚拟空间坐标系中的点的坐标,/>
Figure BDA0003987019780000193
表示第m个姿态下虚拟空间坐标系与相机坐标系的旋转矩阵,/>
Figure BDA0003987019780000194
表示第m个姿态下虚拟空间坐标系与相机坐标系的平移向量。
根据上式,可以建立以下目标函数,利用最小二乘法计算每个姿态下虚拟空间坐标系与相机坐标系的变换关系:
Figure BDA0003987019780000195
其中N表示标定板图像或光栅投影图像中像素点的数量。
步骤150:根据虚拟空间坐标系与投影装置坐标系的几何关系,利用所有姿态下虚拟空间坐标系与相机坐标系的变换关系,计算投影装置坐标系与相机坐标系的变换关系。
一种实施例中,投影装置坐标系与相机坐标系的变换关系可以用旋转矩阵
Figure BDA0003987019780000196
和平移向量/>
Figure BDA0003987019780000197
来表示。请参考图1,对于投影装置上一点p,其经物体平面上一点反射后在相机中成像,在虚拟投影装置上的镜像点为p′,则根据几何关系,由虚拟空间坐标系到相机坐标系的变换可以表示为:
Figure BDA0003987019780000198
其中I为单位矩阵,n为物体平面上的反射点处的法向量,d为相机到物体平面的距离,具体的可以为相机镜头的光心到物体平面的距离。
当用旋转矩阵
Figure BDA0003987019780000199
和平移向量/>
Figure BDA00039870197800001910
来表示虚拟空间坐标系到相机坐标系的变换时,可得:/>
Figure BDA00039870197800001911
本发明一种实施例中根据该式利用旋转矩阵
Figure BDA00039870197800001912
和平移向量/>
Figure BDA00039870197800001913
对旋转矩阵/>
Figure BDA00039870197800001914
和平移向量/>
Figure BDA00039870197800001915
进行标定。
为了兼顾计算精度和效率,可在步骤130中对物体平面变换三个姿态,利用这三个姿态下虚拟空间坐标系与相机坐标系的变换关系,计算投影装置坐标系与相机坐标系的变换关系。
对于任意p,q∈{1,2,3},定义mp,q=np×nq,其中np表示第p个姿态下物体平面的法向量,由于
Figure BDA0003987019780000201
成立,因此mp,q为矩阵/>
Figure BDA0003987019780000202
进行奇异值分解后得到的最小特征值所对应的特征向量。根据mp,q=np×nq可由mp,q得到法向量np
因此,本发明一种实施例的步骤150中,首先对任意p,q∈{1,2,3}的矩阵
Figure BDA0003987019780000203
进行奇异值分解,得到最小特征值所对应的特征向量mp,q;之后根据以下公式计算法向量np
Figure BDA0003987019780000204
再根据公式
Figure BDA0003987019780000205
可计算得到投影装置坐标系与相机坐标系的旋转矩阵/>
Figure BDA0003987019780000206
这里的np为任意一个姿态下的法向量,/>
Figure BDA0003987019780000207
为该姿态下虚拟空间坐标系与相机坐标系的旋转矩阵;
最后根据以下公式可计算得到投影装置坐标系与相机坐标系的平移向量
Figure BDA0003987019780000208
Figure BDA0003987019780000209
其中d1、d2和d3分别为三个姿态下相机到物体平面的距离。上式可以表示为Ax=b的形式,其中
Figure BDA00039870197800002010
因此解为x=(ATA)- 1ATb。
至此则得到了投影装置坐标系与相机坐标系的变换关系。
步骤160:依据预设的全局优化目标函数对投影装置坐标系与相机坐标系的变换关系进行全局优化。
由于步骤150中得到的投影装置坐标系与相机坐标系的变换关系可能只是一个局部最优解,因此本步骤对其进行全局优化,以搜索全局最优解,提高标定的精度。全局优化主要基于预设的全局优化目标函数进行参数的迭代优化,迭代初始值为步骤150得到的投影装置坐标系与相机坐标系的变换关系。全局优化目标函数可以基于实际值与估计值误差最小的思路设计。一种实施例中,若用旋转矩阵
Figure BDA0003987019780000211
和平移向量/>
Figure BDA0003987019780000212
来表示投影装置坐标系与相机坐标系的变换关系,全局优化目标函数可以为:
Figure BDA0003987019780000213
其中xmk表示第m个姿态下物体平面的标定板图像或光栅投影图像的第k个像素点在相机坐标系下的坐标,Nc表示姿态的数量,zmk=f(p′mk),
Figure BDA0003987019780000214
vm=dmnm,nm表示第m个姿态下物体平面的法向量,dm表示第m个姿态下物体平面与相机的距离,pmk表示xmk对应的投影装置坐标系中的点的坐标,p′mk为在相机坐标系下在相机的成像平面观察到的pmk的虚像点的坐标,zmk表示点p′mk经过相机的非线性映射f得到的坐标,/>
Figure BDA0003987019780000215
为由待优化参数组成的向量。
其中xmk可根据标定板图像或光栅投影图像中的像素点的图像坐标和相机的内参获得。pmk可根据已获得的投影装置坐标系与相机坐标系的变换关系获得,即根据旋转矩阵
Figure BDA0003987019780000216
和平移向量/>
Figure BDA0003987019780000217
获得。点pmk由于物体平面的镜面反射在相机成像平面形成一虚像,那么从相机的成像平面看并不能看到真正的点pmk,而是其虚像点p′mk,虚像点p′mk与点pmk关于物体平面镜像对称,这里计算得到的p′mk是转换到相机坐标系下的坐标。非线性映射f指相机镜头的畸变。
根据以上全局优化目标函数对待优化参数进行迭代优化,可得到最终的投影装置坐标系与相机坐标系的变换关系,从而完成三维测量系统中位置关系的标定。
依据上述实施例的三维测量系统中位置关系的标定方法,用于对三维测量系统中投影装置、物体平面和相机之间的位置关系进行标定,其中位置关系用投影装置坐标系与相机坐标系的变换关系以及物体平面坐标系与相机坐标系的变换关系表示。在标定过程中引入虚拟空间坐标系,虚拟空间坐标系是投影装置坐标系关于物体平面做镜像对称得到的空间坐标系,首先标定虚拟空间坐标系与相机坐标系的变换关系,再利用虚拟空间坐标系与相机坐标系的变换关系来对投影装置与相机的位置关系进行标定,从而能够适应后续对镜面物体的三维测量;并且在标定投影装置与相机的位置关系时,利用物体平面在多个姿态下虚拟空间坐标系与相机坐标系的变换关系进行计算,有利于获得更为准确的估计值,避免陷入与真实值偏差较大的局部最优解。最后还将获得的估计值作为初始值,进行全局优化,从而提升了标定的精度,为后续对物体进行三维测量提供了良好的基础。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现,也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘、光盘、硬盘等,通过计算机执行该程序以实现上述功能。例如,将程序存储在设备的存储器中,当通过处理器执行存储器中程序,即可实现上述全部或部分功能。另外,当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中,通过下载或复制保存到本地设备的存储器中,或对本地设备的系统进行版本更新,当通过处理器执行存储器中的程序时,即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种镜面物体的三维测量方法,应用于三维测量系统,所述三维测量系统包括投影装置、物体平面和相机,其特征在于,所述三维测量方法包括:
对所述相机与所述投影装置、所述物体平面的位置关系进行标定;
获取待测物体的光栅投影图像,其中所述待测物体放置于所述物体平面上,待测物体的光栅投影图像为所述相机在所述投影装置对所述待测物体进行光栅投影时,对所述待测物体拍摄的图像;
根据待测物体的光栅投影图像以及所述相机与所述投影装置、所述物体平面的位置关系,获取所述相机以及所述待测物体的光栅投影图像中各像素点对应的屏幕点和物体点在同一坐标系下的坐标,其中屏幕点是所述投影装置的屏幕上的点,物体点是待测物体上反射屏幕点发出的光线并在相机中成像的点;
根据所述相机与所述光栅投影图像中像素点对应的物体点和屏幕点的几何关系,计算每个像素点对应的物体点处的法向量;
根据物体点处的法向量计算物体点处的梯度;
根据各物体点处的梯度获得所述待测物体的三维面形。
2.如权利要求1所述的三维测量方法,其特征在于,所述位置关系包括投影装置坐标系与相机坐标系的变换关系以及物体平面坐标系与相机坐标系的变换关系,所述对所述相机与所述投影装置、所述物体平面的位置关系进行标定包括:
获取所述物体平面的标定板图像,所述物体平面的标定板图像为所述相机在所述投影装置对所述物体平面投影标定板图案时,对所述物体平面拍摄的图像;
将物体平面坐标系作为世界坐标系,根据所述标定板图像对所述相机的内参和外参进行标定,所述外参表示所述世界坐标系与所述相机坐标系的变换关系;
对所述物体平面变换若干个姿态,获取每个姿态下所述物体平面的标定板图像或光栅投影图像,获取所述物体平面的标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标,其中所述虚拟空间坐标系是投影装置坐标系关于所述物体平面做镜像对称得到的空间坐标系;
对于所述物体平面的每个姿态,根据该姿态下标定板图像或光栅投影图像中的像素点在相机坐标系下的坐标,以及对应的虚拟空间坐标系中的点的坐标,计算该姿态下虚拟空间坐标系与相机坐标系的变换关系;
根据虚拟空间坐标系与投影装置坐标系的几何关系,利用所有姿态下虚拟空间坐标系与相机坐标系的变换关系,计算投影装置坐标系与相机坐标系的变换关系;
依据预设的全局优化目标函数对所述投影装置坐标系与相机坐标系的变换关系进行全局优化。
3.如权利要求2所述的三维测量方法,其特征在于,所述全局优化目标函数为:
Figure FDA0003987019770000021
其中xmk表示第m个姿态下第k个像素点在相机坐标系下的坐标,Nc表示姿态的数量,zmk=f(p′mk),
Figure FDA0003987019770000022
Figure FDA0003987019770000023
表示投影装置坐标系相对于相机坐标系的旋转矩阵,/>
Figure FDA0003987019770000024
表示投影装置坐标系相对于相机坐标系的平移向量,vm=dmnm,nm表示第m个姿态下所述物体平面的法向量,dm表示第m个姿态下所述物体平面与所述相机的距离,pmk表示xmk对应的投影装置坐标系中的点的坐标,p′mk为在相机坐标系下在相机的成像平面观察到的pmk的虚像点的坐标,zmk表示点p′mk经过相机的非线性映射f得到的坐标,/>
Figure FDA0003987019770000025
为由待优化参数组成的向量。
4.如权利要求2或3所述的三维测量方法,其特征在于,所述根据待测物体的光栅投影图像以及所述相机与所述投影装置、所述物体平面的位置关系,获取相机以及所述待测物体的光栅投影图像中各像素点对应的屏幕点和物体点在同一坐标系下的坐标,包括:
对所述待测物体的光栅投影图像进行解相位处理以得到其中各像素点的相位信息,根据像素点的相位信息获得像素点对应的屏幕点坐标(xs,ys),其中屏幕点坐标指屏幕点在屏幕上的二维坐标;
根据所述投影装置坐标系与相机坐标系的变换关系以及所述相机的外参,将坐标ps=(xs,ys,0)变换到世界坐标系下作为屏幕点的世界坐标;
根据所述相机的内参和外参,由所述待测物体的光栅投影图像中各像素点的图像坐标获得对应的物体点的世界坐标。
5.如权利要求1所述的三维测量方法,其特征在于,所述根据所述相机与所述光栅投影图像中像素点对应的物体点和屏幕点的几何关系,计算每个像素点对应的物体点处的法向量,包括:
对于每个像素点,根据所述相机、所述像素点对应的物体点和屏幕点的坐标计算得到相机与屏幕点间的方向向量lij和相机与物体点间的方向向量sij,其中下标i、j表示像素点的图像坐标,i表示行坐标,j表示列坐标;
根据以下方程组计算得到像素点(i,j)对应的物体点处的法向量nij
Figure FDA0003987019770000031
Figure FDA0003987019770000032
其中
aij=sij+rij=sij+(lijijsij)/||lijijsij||,
bij=lij×σijsij
Figure FDA0003987019770000033
ρij表示物体点与屏幕点之间的距离,σij表示相机与物体点之间的距离。
6.如权利要求1所述的三维测量方法,其特征在于,所述根据物体点处的法向量计算物体点处的梯度,包括:
根据以下公式分别计算得到物体点处的梯度的X分量和Y分量:
Figure FDA0003987019770000034
其中
Figure FDA0003987019770000035
表示像素点(i,j)对应的物体点处的梯度的X分量,/>
Figure FDA0003987019770000036
表示像素点(i,j)对应的物体点处的梯度的Y分量,nx(i,j)表示像素点(i,j)对应的物体点处的法向量的X分量,ny(i,j)表示像素点(i,j)对应的物体点处的法向量的Y分量,nz(i,j)表示像素点(i,j)对应的物体点处的法向量的Z分量。
7.如权利要求6所述的三维测量方法,其特征在于,所述三维面形包括各物体点处的高度值,所述根据各物体点处的梯度获得所述待测物体的三维面形,包括:
第一计算步骤,根据以下公式计算各物体点处的高度值:
Figure FDA0003987019770000037
其中xi,j表示像素点(i,j)对应的物体点的X坐标,yi,j表示像素点(i,j)对应的物体点的Y坐标,Zi,j表示像素点(i,j)对应的物体点处的高度值,M表示所述待测物体的光栅投影图像的行数,N表示所述待测物体的光栅投影图像的列数;
第二计算步骤,对于每个物体点,根据以下公式更新其梯度:
Figure FDA0003987019770000041
其中Fx表示物体点处的梯度的X分量,Fy表示物体点处的梯度的Y分量,xc表示所述相机的X坐标,yc表示所述相机的Y坐标,zc表示所述相机的Z坐标,xh表示物体点的X坐标,yh表示物体点的Y坐标,Zh表示物体点处的高度值,xs表示物体点对应的屏幕点的X坐标,ys表示物体点对应的屏幕点的Y坐标,zs表示物体点对应的屏幕点的Z坐标,dh2s表示物体点与屏幕点之间的距离,dh2c表示物体点与所述相机之间的距离;
重复执行所述第一计算步骤和所述第二计算步骤,直至达到预设的停止条件,将停止计算时得到的高度值作为物体点处高度值的测量结果。
8.如权利要求6所述的三维测量方法,其特征在于,所述三维面形包括各物体点处的高度值,所述根据各物体点处的梯度获得所述待测物体的三维面形,包括:
第三计算步骤,根据以下公式计算各物体点处的高度值:
Figure FDA0003987019770000042
/>
其中xi,j表示像素点(i,j)对应的物体点的X坐标,yi,j表示像素点(i,j)对应的物体点的Y坐标,Zi,j表示像素点(i,j)对应的物体点处的高度值,M表示所述待测物体的光栅投影图像的行数,N表示所述待测物体的光栅投影图像的列数;
第二计算步骤,对于每个物体点,根据以下公式更新其梯度:
Figure FDA0003987019770000051
其中Fx表示物体点处的梯度的X分量,Fy表示物体点处的梯度的Y分量,xc表示所述相机的X坐标,yc表示所述相机的Y坐标,zc表示所述相机的Z坐标,xh表示物体点的X坐标,yh表示物体点的Y坐标,Zh表示物体点处的高度值,xs表示物体点对应的屏幕点的X坐标,ys表示物体点对应的屏幕点的Y坐标,zs表示物体点对应的屏幕点的Z坐标,dh2s表示物体点与屏幕点之间的距离,dh2c表示物体点与所述相机之间的距离;
重复执行所述第三计算步骤和所述第二计算步骤,直至达到预设的停止条件,将停止计算时得到的高度值作为物体点处高度值的测量结果。
9.如权利要求1至8中任一项所述的三维测量方法,其特征在于,所述获取待测物体的光栅投影图像,包括:
依次获取根据四步相移法对所述待测物体进行光栅投影获得的光栅投影图像I1(x,y)、I2(x,y)、I3(x,y)和I4(x,y),其中(x,y)表示像素点的坐标;
根据表面灰度调制函数k(x,y)=[I1(x,y)-I3(x,y)]2+[I2(x,y)-I4(x,y)]2获得调制后的灰度图k(x,y);
获取灰度图k(x,y)中灰度值大于预设的灰度阈值的区域作为待检测区域;
将灰度图k(x,y)中的待检测区域部分作为待测物体的光栅投影图像。
10.一种计算机可读存储介质,其特征在于,所述介质上存储有程序,所述程序能够被处理器执行以实现如权利要求1-9中任一项所述的三维测量方法。
CN202211568294.9A 2022-12-08 2022-12-08 镜面物体的三维测量方法、计算机可读存储介质 Pending CN116188556A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211568294.9A CN116188556A (zh) 2022-12-08 2022-12-08 镜面物体的三维测量方法、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211568294.9A CN116188556A (zh) 2022-12-08 2022-12-08 镜面物体的三维测量方法、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116188556A true CN116188556A (zh) 2023-05-30

Family

ID=86443154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211568294.9A Pending CN116188556A (zh) 2022-12-08 2022-12-08 镜面物体的三维测量方法、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116188556A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132634A (zh) * 2023-10-26 2023-11-28 深圳市华汉伟业科技有限公司 一种物体形貌的估计方法及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132634A (zh) * 2023-10-26 2023-11-28 深圳市华汉伟业科技有限公司 一种物体形貌的估计方法及计算机可读存储介质
CN117132634B (zh) * 2023-10-26 2024-01-23 深圳市华汉伟业科技有限公司 一种物体形貌的估计方法及计算机可读存储介质

Similar Documents

Publication Publication Date Title
Kammel et al. Deflectometric measurement of specular surfaces
CN110296667B (zh) 基于线结构光多角度投影的高反射表面三维测量方法
Zappa et al. Static and dynamic features of Fourier transform profilometry: A review
KR101974651B1 (ko) 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
Zhang Flexible and high-accuracy method for uni-directional structured light system calibration
Barone et al. 3D acquisition and stereo-camera calibration by active devices: A unique structured light encoding framework
Peng Algorithms and models for 3-D shape measurement using digital fringe projections
Horbach et al. 3D reconstruction of specular surfaces using a calibrated projector–camera setup
JP5761750B2 (ja) 画像処理方法および装置
CN111462246B (zh) 一种结构光测量系统的设备标定方法
CN116188556A (zh) 镜面物体的三维测量方法、计算机可读存储介质
Hartlieb et al. Highly accurate imaging based position measurement using holographic point replication
CN115661226B (zh) 镜面物体的三维测量方法、计算机可读存储介质
JP2018179577A (ja) 位置計測装置
CN111006599B (zh) 基于像素光栅和计算机视觉的物体表面微尺度测量方法
Xu et al. A robot-assisted back-imaging measurement system for transparent glass
JP6486083B2 (ja) 情報処理装置、情報処理方法及びプログラム
Ha et al. A multi-view structured-light system for highly accurate 3D modeling
WO2019238583A1 (en) Deflectometric techniques
CN113658267B (zh) 一种考虑显示设备面形的相移偏折术几何参数标定方法
Maestro-Watson et al. LCD screen calibration for deflectometric systems considering a single layer refraction model
Jaganmohan et al. VDI/VDE 2634–1 performance evaluation tests and systematic errors in passive stereo vision systems
CN115880370A (zh) 三维测量系统中位置关系的标定方法和系统、存储介质
Bubaker-Isheil et al. 3D displacement field measurement with correlation based on the micro-geometrical surface texture
Luo et al. An approach for structured light system calibration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination