CN115077420A

CN115077420A - 基于荧光散斑的平面镜反射变换标定方法

Info

Publication number: CN115077420A
Application number: CN202210843551.9A
Authority: CN
Inventors: 潘兵; 朱开宇; 俞立平
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2022-07-18
Filing date: 2022-07-18
Publication date: 2022-09-20
Anticipated expiration: 2042-07-18
Also published as: CN115077420B

Abstract

本发明提出的基于荧光散斑的平面镜反射变换标定方法主要包括荧光散斑制作、荧光激发与图像采集，被测物体表面散斑的蓝光主动立体成像以及反射变换矩阵求解。本发明的散斑制作过程比原有在镜面制作黑白散斑的方法更为方便快捷，且仅需简单的开关不同光源拍摄单组图像，通过计算后即可实现更为准确的反射变换标定；本发明中的荧光散斑不会与平面镜反射的物体像发生干涉，不占用相机传感器靶面，从而在实验中可以让被测物体的反射像占据镜面与相机传感器上更大的区域，实现更高精度的多视角数字图像相关测量。同时，在测量较大的物体时，由于表面不需要预留空间制作黑/白散斑，还可以减少所用平面镜尺寸，使测量系统更为紧凑。

Description

基于荧光散斑的平面镜反射变换标定方法

技术领域

本发明属于实验固体力学领域，尤其涉及一种用于全景或双表面三维形貌和应变测量的平面镜辅助多视角数字图像相关方法。

背景技术

基于双目立体视觉原理的三维数字图像相关方法（Three-dimensional digitalimage correlation, 3D-DIC）易于实施、抗环境干扰能力强、测量准确性高和适用性广泛，已在科学研究和工程领域广泛应用于表面全场三维形貌、位移和应变的测量。然而，常规三维数字图像相关受两个相机公共视场的限制，只能测量样品的部分表面，如：圆柱形样品的部分表面或片状样品的单个表面。但在某些应用中，例如厚度方向应变的测量、真实应力-应变曲线的估计、材料各向异性参数的识别（如Lankford系数）和偏心加载试件杨氏模量的准确确定等等，迫切需要被测对象表面更为丰富的360^o全景/双表面的三维形貌和变形信息。

为了测量全景/双表面的几何和力学信息，已提出的方法包括多相机数字图像相关方法和伪多相机数字图像相关方法。多相机数字图像相关方法在测量大尺寸物体时具有独特优势，但存在硬件设备投资高、同步复杂、数据量大和分析复杂等问题。通过移动单相机或双相机系统至多个测量位置的伪多相机数字图像相关方法降低了设备投资和同步要求，但实验操作复杂繁琐，且只能用于静态或准静态测量，应用局限性明显。

最近，Chen和Pan提出一种简单有效的平面镜辅助多视角数字图像相关方法（Mirror-assisted multi-view digital image correlation, MA-DIC）用于360^o全景或双表面运动场测量。该方法借助固定在被测试样后方的两个平面镜的反射成像，可以同时采集被测试样表面两个/三个感兴趣区域的图像。在该方法中，为了获取360^o全景/双表面轮廓，需通过反射变换将重建的虚拟表面变换到真实位置。因此，平面镜辅助多视角DIC方法实现过程中的关键问题是如何准确标定平面镜的反射变换。Mariottini和Yin等提出同时拍摄规则标定靶的实际图像和镜中反射的图像来标定镜面位置，但该方法实现相对复杂。Chen等提出在镜面上制作散斑图案，通过3D-DIC重建散斑形貌获取镜面空间位置，进而估计反射变换矩阵，但镜面散斑大小有限，不仅占用相机靶面的成像区域且容易干扰反射物像。为了不占用相机靶面成像区域，又有学者提出基于平面参考物体和基于多镜面位姿的反射变换标定方法，但这些方法都存在实现复杂，不便于实际应用等问题。

此外，中国专利申请，如公开号：CN114235885A，公开一种基于温敏荧光散斑及DIC测量技术的热膨胀实时测量方法；CN111412850A，公开一种公开一种基于单摄像头的高温三维数字图像相关测量系统及方法；CN111917964A，涉及一种无透镜荧光显微成像装置及其图像重建方法；CN105928472A，公开了一种基于主动斑投射器的三维形貌动态测量方法；CN112075925A，公开了一种基于散斑原理的荧光成像照明装置、成像系统及成像方法，等等，虽然上述现有技术都与本发明相近，但是，上述现有技术实施过程复杂、不易于理解和实现、并且有的技术方案需要占用相机靶面，将会与物体在镜中反射的图像产生干涉等缺陷。

发明内容

本发明提供了一种基于荧光散斑的平面镜反射变换标定方法，该方法实施过程简单、易于理解和实现、不占用相机靶面，也不会与物体在镜中反射的图像产生干涉，同时可以为平面镜平面拟合提供更多的数据，实现更高效准确的平面镜反射变换标定。

本发明提出的基于荧光散斑的平面镜反射变换标定方法基于以下几个步骤，包括荧光散斑制作、荧光激发与图像采集，针对被测物体的蓝光主动成像以及反射变换矩阵的求解。

第一步，荧光散斑制作：通过盛有荧光液的喷枪喷撒沉降、安装有可替换荧光墨盒的手持式喷墨打印机印刷、荧光液干燥沉积等方式在平面镜上的任意区域制作荧光散斑。由于荧光散斑不会与物体图像发生干涉，应尽可能在镜面上更大的区域制作散斑。

第二步，荧光激发与图像采集：开启紫外灯对镜面上制作的荧光散斑充分照射激发，使得荧光散斑在镜头上安装有蓝光带通滤波片的相机中清晰成像。此时，由于滤波片的阻挡，反射紫外光的被测物体表面不可见。通过计算机控制相机采集平面镜的荧光散斑图像用于反射变换标定。

第三步，被测物体表面散斑的蓝光主动立体成像：通过计算机控制相机采集表面喷涂常规散斑的物体表面可直接被相机拍摄到的实像以及平面镜中反射的被测物体虚像。关闭紫外光，开启蓝光，此时平面镜上的散斑将变得不可见，物体在镜中反射的像变得可见。使用第二步中同样的安装蓝光带通滤波片的相机进行图像采集，获得物体的形貌或变形图像。

需要指出的是，第二和第三步的顺序是可以替换的。可以在完成物体图像采集后关闭蓝光，再开启紫外光，采集平面镜荧光散斑图像。安装在相机镜头上的蓝色带通滤波片可以有效减弱环境光的影响，并显著降低光滑物体表面镜面反射对计算带来的干扰。

第四步，反射变换矩阵求解：在获取物体全景形貌/变形图像以及镜面图像，并完成双相机系统标定后，基于常规的3D-DIC算法对图像进行处理，获取相应位置在统一世界坐标系下的三维坐标。对以荧光散斑作为空间位置载体的镜面坐标进行平面拟合，获取其单位法向量与平面到坐标系原点的距离。而后，镜面中反射的不可直接被相机观测到的区域的虚拟点坐标与其真实位置点坐标之间的关系可由反射变换矩阵建立。

有益效果：

1. 实施便捷性与易于理解性，现有的平面镜反射变换标定方法除在镜面制作黑/白散斑外，大部分实施过程和原理复杂，例如基于多镜面位姿的反射变换标定方法需要将镜面移动到至少三个（一般是五个）位姿处，拍摄图像并计算点位后再解一个复杂的非线性方程组，过程步骤繁多且要将平面镜移动至多个合适的位置，在实际中极大的增加了实验时间，且原理并不易于理解从而限制其广泛应用。而本方法在散斑制作过程甚至比在镜面制作黑/白散斑更为方便快捷的基础上，兼具黑/白散斑的几乎所有优点。仅需简单的开关不同光源拍摄单组图像，通过计算后即可实现更为准确的反射变换标定。

2. 本方法中的荧光散斑不会与平面镜反射的物体像发生干涉，不占用相机传感器靶面，从而在实验中可以让反射像占据传感器与镜面更大的区域，实现更高精度的多视角数字图像相关测量。同时，在测量较大的物体时，由于表面不需要预留空间制作黑/白散斑，还可以减少所用平面镜尺寸，使测量系统更为紧凑。

附图说明

图1为本发明实施步骤的流程简图

图2为本发明荧光散斑制作过程示意图

图3（a）为本发明开启蓝光时的系统成像示意图；

图3（b）为本发明开启紫外光时的系统成像示意图；

图4为本发明反射变换过程示意图。

其中，1为待喷散斑的平面镜；2为喷洒出的细雾荧光液；3为细雾喷瓶；4为蓝光照射下表面不显示散斑的平面镜；5为蓝光照射下平面镜中反射的物体像；6为蓝光主动照射下表面散斑清晰的被测物体；7为紫外光照射下表面荧光散斑受到激发并发出蓝光的平面镜；8为紫外光照射下的表面几乎不可见的被测物体；9为蓝光光源；10为工业相机对；11为紫外光源；12为平面镜的单位法向量；13为统一世界坐标系原点到平面镜的垂直距离；14为物体上某一点在平面镜中反射的点；15为平面镜；16为反射变换过程的标识；17为物体上的某一点；18为立体视觉系统拍摄图像并计算后得到的统一世界坐标系。

具体实施方式

本发明提出的基于荧光散斑的平面镜反射变换标定基于以下几个步骤，如图1所示，主要包括荧光散斑制作、荧光激发与图像采集，针对被测物体的蓝光主动成像以及反射变换矩阵的求解：

第一步，荧光散斑制作：如图2所示，在实验前，首先通过一个细雾喷瓶（3）将荧光液（2）喷洒到两块表面洁净的平面镜（1）上，也可以使用手持式喷墨打印机将荧光散斑印刷等其他方式在镜面制作散斑。制作的散斑应做到均匀且随机。使用喷瓶制作散斑更加快捷，而使用手持式喷墨打印机得到的散斑将更加均匀、细致、可控。

第二步，如图3所示，实验过程中，将一个表面喷涂常规黑/白散斑的圆柱形试件（6）置于两块表面制作好散斑的平面镜（4）前，其侧后方区域在平面镜中反射出两个虚像（5）。当光源为蓝光光源（9）时，试件（6）的前部和平面镜（4）中的虚像（5）可被工业相机对（10）（型号：GS3-U3-91S6M-C, FLIR, 3376 × 2704 像素; 镜头: Kowa, 25mm F1.4；带通滤波片：450 ± 10 nm）观测到并拍摄参考图像与变形图像。

第三步，完成试件图像采集后，关闭蓝光光源（9）（450 ± 5 nm, 3W），开启紫外灯（11）（UV LED, 360 nm ± 5 nm, 25W）并主要照射平面镜上的散斑区域，此时由于蓝光滤波片的滤波作用，物体表面和平面镜中反射的像将不可见，从而平面镜（4）表面上预制的荧光散斑（7）可被工业相机对（10）观测到并拍摄图像。

第四步，完成镜面荧光散斑与物体变形图像拍摄后，进行相机标定。以毫米为单位的三维空间点P₀（x _w，y _w，z _w）在以像素为单位的摄像机平面上的投影（u，v）通过理想针孔模型描述为：

（1）

上式中等式右侧第一个矩阵为相机的内参矩阵，其中的α、β分别为图像在u、v轴的焦距参数，γ为图像的歪斜参数，（u ₀，v ₀）为主点坐标。R为旋转矩阵，t为平移矩阵，二者为相机的外参。外参和内参是数字图像相关计算的基础参数，也是标定的目标参数。S为尺度因子，用于描述放大倍数。通过拍摄标准圆点标定板的双目立体多位姿图像实现双相机系统的内外参标定。

完成相机标定后，对所拍摄到的图像进行数字图像相关计算，数字图像相关匹配基于反向组合高斯牛顿（ICGN）算法进行，其中用于描述图像子区相关性的参数为零均值归一化最小距离平方和（ZNSSD），其表达式如下所示：

（2）

其中，

，

，

,

, f (x _i, y _j )、f _m 、Δf 分别为参考子区中特定坐标位置处的灰度值、灰度均值和(2M+1)倍的灰度标准差； g (x _i', y _j')、g _m、Δg 为变形子区中特定坐标位置处的灰度值、灰度均值和(2M+1)倍的灰度标准差。2M+1为子区尺寸。

完成匹配计算后，获取统一世界坐标系下物体正面区域、平面镜反射的物体区域点云坐标以及平面镜的点云坐标。对平面镜点云进行平面拟合，基于获得的拟合平面方程计算平面镜的单位法向量与其到坐标系原点的距离。而后平面镜反射物体区域的虚拟点坐标向量右乘反射变换矩阵即可得其实际位置坐标。如图4所示，以左侧平面镜（15）与左侧反射图像为例，假设平面镜单位法向量为

（12），平面镜到坐标系原点 O（18）距离为d（13），某一从正面直接无法观测到的点 P（17），坐标为

，在平面镜中反射的点 P_v（14）的坐标为

，P点到平面镜的距离为d _p，则有：

,

,

由于向量

垂直于平面镜平面，因此可以表示为：

（3）

基于向量运算关系可得：

（4）

同时，由于

，

可表示为：

（5）

因为

为常量（n^T为n的转置），可得

为：

（6）

由于

是一个三行一列的矩阵，I_3×3为三行三列的单位矩阵，则有:

（7）

将等式7表示为矩阵形式可得：

（8）

根据矩阵对合判定标准，由于

（9）

因此,

为对合矩阵。

则可以得到：

（10）

等式10中，矩阵

即为平面镜反射变换矩阵

则 P 点坐标可由虚拟点 P_v坐标和平面镜平面法向量以及平面镜平面到原点的距离表示为：

（11）

从而平面中的虚拟点可被反射变换到其实际位置，完成平面镜反射变换标定。

本发明提出的基于荧光散斑的反射变换标定方法，应用荧光散斑作为镜面空间位置的载体，耦合紫外激发与蓝光主动成像技术，在兼具常规黑白镜面散斑反射变换标定方法的几乎所有优点的基础上，制作过程更加简单快捷，且不存在黑白散斑占用相机分辨率和镜面面积的问题，从而可以实现更高精度的平面镜反射变换标定。此外，由于现有的不占用相机分辨率的平面镜反射变换标定方法几乎都无法避免步骤繁琐和计算复杂的问题，且大部分无法对于镜面振动非常敏感，本方法对镜面振动的鲁棒性强，实施过程简单，计算量小的优点将更为突出，在平面镜辅助的多视角数字图像相关实验中相较于其他方法有更显著的实用性。对于简化MA-DIC实验流程，提升全景形貌与变形测量精度有重要意义。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims

1.基于荧光散斑的平面镜反射变换标定方法，其特征为，包括如下步骤：

步骤1，荧光散斑制作：通过盛有荧光液的喷枪喷撒沉降、安装有可替换荧光墨盒的手持式喷墨打印机印刷或荧光液干燥沉积方式在平面镜上的任意区域制作荧光散斑；

步骤2，荧光激发与图像采集：开启紫外灯对镜面上制作的荧光散斑充分照射激发，使得荧光散斑在镜头安装有蓝光带通滤波片的相机中清晰成像；

步骤3，被测物体表面散斑的蓝光主动立体成像：通过计算机控制相机采集表面喷涂常规散斑的物体表面可直接被相机拍摄到的实像以及平面镜中反射的被测物体虚像；

步骤4，反射变换矩阵求解：在获取物体全景形貌/变形图像以及镜面图像，并完成双相机系统标定后，基于常规的三维数字图像相关算法对图像进行处理，获取相应位置在统一世界坐标系下的三维坐标。

2.根据权利要求1所述的基于荧光散斑的平面镜反射变换标定方法，其特征为：所述步骤2进一步包括如下内容: 由于滤波片的阻挡，反射紫外光的被测物体表面不可见;通过计算机控制相机采集平面镜的荧光散斑图像用于反射变换标定。

3.根据权利要求1所述的基于荧光散斑的平面镜反射变换标定方法，其特征为：所述步骤3进一步包括如下内容: 关闭紫外光，开启蓝光，此时平面镜上的散斑将变得不可见，物体在镜中反射的像变得可见；使用步骤2中同样的安装蓝光带通滤波片的相机进行图像采集，获得物体的形貌或变形图像。

4.根据权利要求1所述的基于荧光散斑的平面镜反射变换标定方法，其特征为：所述步骤2和步骤3可以替换；在完成物体图像采集后关闭蓝光，再开启紫外光，采集平面镜荧光散斑图像；安装在相机镜头上的蓝色带通滤波片可有效减弱环境光的影响，并显著降低光滑物体表面镜面反射对计算带来的干扰。

5.根据权利要求1所述的基于荧光散斑的平面镜反射变换标定方法，其特征为：所述步骤4进一步包括如下内容：对以荧光散斑作为空间位置载体的镜面坐标进行平面拟合，获取其单位法向量与平面到坐标系原点的距离；而后，镜面中反射的不可直接被相机观测到的区域的虚拟点坐标与其真实位置点坐标之间的关系可由反射变换矩阵建立。

6.根据权利要求1所述的基于荧光散斑的平面镜反射变换标定方法，其特征为：所述步骤4进一步包括如下内容：以毫米为单位的三维空间点P₀（x _w，y _w，z _w）在以像素为单位的摄像机平面上的投影（u，v）通过理想针孔模型描述为：

（1）

上式中等式右侧第一个矩阵为相机的内参矩阵，其中的α、β分别为图像在u、v轴的焦距参数，γ为图像的歪斜参数，（u ₀，v ₀）为主点坐标；R为旋转矩阵，t为平移矩阵，二者为相机的外参；外参和内参是数字图像相关计算的基础参数，也是标定的目标参数；S为尺度因子，用于描述放大倍数；通过拍摄标准圆点标定板的双目立体多位姿图像实现双相机系统的内外参标定。

7.根据权利要求6所述的基于荧光散斑的平面镜反射变换标定方法，其特征为：完成相机标定后，对所拍摄到的图像进行数字图像相关计算；数字图像相关匹配基于反向组合高斯牛顿（Inverse compositional Gauss-Newton，ICGN）算法进行，其中用于描述图像子区相关性的参数为零均值归一化最小距离平方和（Zero-mean normalized sum of squareddifference, ZNSSD），其表达式如下所示：

（2）

其中，

，

，

,

, f (x _i, y _j )、f _m 、Δf分别为参考图像子区中特定坐标位置处的灰度值、灰度均值和 (2M+1) 倍的灰度标准差； g (x _i', y _j')、g _m、Δg 为变形图像子区中特定坐标位置处的灰度值、灰度均值和(2M+1) 倍的灰度标准差；2M+1为子区尺寸。

8.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，所述程序运行时控制非易失性存储介质所在的设备执行权利要求1至7中任意一项所述的基于荧光散斑的平面镜反射变换标定方法。

9.一种电子装置，其特征在于，包含处理器和存储器；所述存储器中存储有计算机可读指令，所述处理器用于运行所述计算机可读指令，其中，所述计算机可读指令运行时执行权利要求1至7中任意一项所述的基于荧光散斑的平面镜反射变换标定方法。