CN114241059A - 一种光度立体视觉系统中相机和光源的同步标定方法 - Google Patents

Abstract

本发明公开了一种光度立体视觉系统中相机和光源的同步标定方法，该方法包括：(1)构建漫反射下标定球成像像素的灰度值模型；(2)利用共轴圆的投影曲线标定相机内参矩阵；(3)利用球体图像的边界轮廓点和最亮点求解球心坐标；(4)由共轴圆的投影曲线的共轭交点计算共轴圆所在平面的消失线，获得平面法向量；(5)由球心坐标和平面法向量通过空间交汇法获得光源位置；(6)建立光度约束通过最小化模拟球体图像和真实图像的灰度差优化标定参数。方法无需预知相机信息和球体位置，仅需球体半径即可通过少量图片完成光度立体视觉系统中相机和光源的同步标定。

Description

一种光度立体视觉系统中相机和光源的同步标定方法

技术领域

本发明涉及一种光度立体视觉系统中相机和光源的同步标定方法，属于光学三维测量技术领域。

背景技术

光度立体视觉(photometric stereo)是计算机视觉领域中一种重要的三维重建技术，它广泛应用在工业测量、医学研究、考古研究、电影动画等众多领域。该技术的基本原理是通过分析物体在不同光源照射下的表面亮度变化来估计目标表面的法向量，进而实现物体表面三维形貌的重建。相较于一般的三维重建技术，该方法不需要像立体匹配方法在图像间建立像素匹配，也无需像结构光方法一样使用额外的投影仪或激光器等设备，光度立体视觉仅利用少量图像即可获取物体表面的三维信息，能够对物体细节甚至无纹理的光滑表面等方面进行良好的三维形貌重建。通常一个典型的光度立体视觉系统包含一个相机和若干光源，由于该技术通过物体表面点在不同光源照射下的亮度来估计表面形状，因此要实现高精度的三维重建，需要精确标定光源的位置参数。

在光度立体视觉系统中，传统的标定方法需要假设物体表面的入射光是按某特定方向照射过来的平行光，然后利用光源照射下提取处标定球上的高光反射点，高光反射点的法线方向即为该光线的入射方向。然而在实际系统中，光源距离待测物体或标定球的距离是在一定范围内的，在近场光源下入射光线不是严格平行的照射在物体上，因此传统方法中的平行入射光假设会影响光度立体视觉的重建精度。另一方面，传统方法在估计光线的入射方向时，需要固定标定球并已知其在相机坐标系下的位置，需要预先配置好相机、标定球，或者预先通过标定球对相机标定，该过程与光源标定相互独立，预标定的误差也会影响光源标定的结果。

发明内容

针对上述技术问题，本发明提供一种光度立体视觉系统中相机和光源的同步标定技术，该方法无需预知标定球的位置和相机信息，仅需知道标定球体的半径即可同步完成相机内参矩阵和点光源位置的标定，并通过光度约束进一步优化相机内参矩阵和光源位置等系统标定参数。

本发明为解决上述技术问题采用以下技术方案：

将点光源围绕相机布置，各光源从各个角度照射覆盖相机的视场；点光源具有各向同性的发光性，其入射到物体表面的辐照度与光源点距离物体表面的距离平方呈反比；标定使用的球体半径值已知，并且球体表面为哑光漫反射面，标定方法仅考虑球面的漫反射光和环境光；相机和光源同步进行标定，获得相机内参矩阵和点光源在相机坐标系下的坐标，包括以下步骤：

步骤1：在相机视场中布置N个(一般为2个或2个以上)球体；

步骤2：依次开启光源，由相机拍摄单个光源照射下的球体影像Image_i,i＝1,…,M，M为光源数量，在漫反射光照模型下，假设相机对物体反射辐照度的响应是线性的，则可依据朗伯余弦定理建立Image_i中某个球体表面点的反射辐照度和表面点成像的像素灰度值为：

其中，I(X)为该球球面点X的反射辐照度，I(u,v)表示Image_i中X对应像素坐标(u,v)的灰度值，K_d为漫反射系数，I_p为点光源入射光辐照度，D为光源点到该球心的距离，r为该球体半径，β为光源点-球心连线与对应球面点法向之间的夹角，I_e表示环境光辐照度；

步骤3：依次在Image_i中，从每个球体所在的成像区域内以两种不同的灰度值提取出两组灰度值等高线，并拟合为二次曲线C₁,C₂，每组C₁,C₂构成一种曲线单应

该单应矩阵的3个特征向量满足关于绝对二次曲线的正交关系，由多个影像中多组共轴圆形成的曲线单应所确定的正交关系标定相机的内参矩阵K；

步骤5：对于Image_i中的每个球体，由边界投影点的反投影射线与球面相切和球体上最亮点的投影方程标定出N个球心在相机坐标系下的坐标O_j,j＝1,...,N；

步骤6：对于Image_i中的每个球体，先由曲线C₁,C₂的共轭交点计算共轴圆所在平面的消失线l_∞，然后由极点-极线关系(l_∞＝ωKv_j)标定得到该图像中光源点到球心的方向向量v_j,j＝1,...,N,ω＝K^-TK^-1为绝对二次曲线的像；

步骤7：在Image_i中，由各个球心坐标以及光源点到球心的方向向量，利用空间交汇方法标定得到Image_i所对应的第i个光源点位置G_i；

步骤8：由标定数据建立光度约束最小化模拟图像与实际图像Image_i的灰度差，优化标定参数。

在本发明中，由式(1)可知球面上具有相同辐照度的点形成一个空间的圆形Q_c，假设圆形中心即为平面所在坐标系的原点，则圆形可表示为Q_c＝diag(1,1,-ρ²)，ρ为圆形的半径；该圆形在像平面的投影曲线C可通过圆形所在的平面单应性H表示为：

其中，H＝K[r₁ r₂ t]，K为相机内参矩阵，R,t分别为平面所在坐标系到相机坐标系的旋转矩阵和平移向量，r₁,r₂,r₃依次为旋转矩阵R的三个列向量；对于不同辐照度对应的圆形，它们的圆心均在光源点到球心的对称轴上，且每个圆形所在的平面相互平行并垂直于对称轴，形成共轴圆；共轴圆所在的平面相互平行且与对称轴垂直，具有相同的平面法向量v，由几何知识可知该向量v即为r₃。

在本发明中，步骤3每组共轴圆的投影曲线C₁,C₂构成一种曲线单应

该单应矩阵的3个特征向量V₁,V₂,V₃满足关于绝对二次曲线的正交关系V₃＝ω·(V₁×V₂)，其中V₃是唯一可以同时穿过曲线C₁,C₂的直线向量；ω共有5个自由度；每组正交关系可以确定关于ω的两个独立约束，而同一光源照射下，不同球体上的共轴圆提供关于ω的3个独立约束，因此至少需要M＝2个光源才能完成相机的标定。

在本发明中，步骤8的光度约束由影像中球体像素的灰度值表达式建立，利用灰度值与标定参数的关系构建参数优化的目标函数，即仿真生成的图像灰度值与真实图像灰度值之差；将参数优化转化为如下的非线性优化问题：

其中，ξ表示代优化的标定参数集，它包含相机内参矩阵K，N个球的球心位置，M个光源的位置，k表示第i幅影像中第j个球体的第k个像素。

与现有技术相比，本发明由于采用了以上技术方案，具有以下有益效果：本发明提出的光度立体视觉系统中的相机和光源同步标定方法无需预知相机信息和标定球位置，方法操作简单，仅需知道标定球半径即可同时标定出相机内参矩阵和点光源的位置坐标，克服了传统方法中预标定结果误差对光源标定的影响。此外，本发明中基于光度约束的参数优化能够依据模型中球体像素灰度值信息对系统标定参数进行全局优化，有效提升了系统标定的精度和鲁棒性，从而确保了后续三维重建的精度。

附图说明

图1为构建的光度立体视觉系统及其标定示意图；

图2为漫反射下球体各像素灰度值模型示意图；

图3为光度立体视觉系统中单一光源照射下球面上圆形的成像示意图；

图4为在同一球体上提取出的共轴圆投影曲线示意图；

图5为球心坐标求解的几何原理示意图；

图6为由2个光源组成的光度立体视觉系统标定结果示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

一、光度立体视觉系统配置及模型描述

如图1所示，将点光源围绕相机布置，各光源从各个角度照射覆盖相机的视场；假设点光源具有各向同性的发光性，其入射到物体表面的辐照度与光源点距离物体表面的距离平方呈反比。在相机视场中布置N个(一般为2个或2个以上)球体，球体半径值已知。

球体表面为哑光漫反射面，标定方法仅考虑球面的漫反射光和环境光，依据朗伯余弦定理按照式(1)建立各个光源照射下的球体影像Image_i中某个球体表面点的反射辐照度和表面点成像的像素灰度值，该模型如图2所示。

二、光度立体视觉系统标定

以由2个点光源和1个相机构成的光度立体视觉系统为例，使用本发明技术进行标定，具体实施步骤如下：

步骤1.1：将4个标定球置于相机视场中，依次开启光源分别拍摄光源各自照射下的球体图像Image₁,Image₂；

步骤1.2：在点光源照射下，球体表面具有相同辐照度的点形成一个圆形，依据图3所示的圆形投影原理示意图可知该圆形对应相机像平面内的一条投影曲线。在Image₁中，从每个球体所在的成像区域内以两种不同的灰度值提取出两组灰度值等高线并拟合为二次曲线C₁,C₂，如图4所示；同理在Image₂中实施相同操作，共提取出8组曲线C₁,C₂；

步骤1.3：每组C₁,C₂构成曲线单应

计算每组单应矩阵的3个特征向量获得关于绝对二次曲线的正交关系方程，联立8组方程求解得到ω，再由Cholesky分解获得相机内参矩阵K；

步骤1.4：对于Image₁中的每个球体，按图5所示，首先由步骤1.3中求得的特征向量V₃提取出该直线向量与球体投影较亮侧相交的边界点o_e，该点的反投影射线与球体相切可获得关于球心O的一个约束方程；然后提取出球体图像中的最亮点o_m，该点在直线向量V₃上，并且它对应为球体上距离光源最近点的投影，由该点的投影方程可以得到关于球心O的另外两个约束方程，完成球心O的求解；对于本例使用的4个球体，可分别求解出4个球心的位置O_j,j＝1,...,4；(注，由于此处球体位置在不同光源照射时未发生改变，无需再通过Image₂计算。)

步骤1.5：分别对8组C₁,C₂曲线的的共轭交点，由交点的叉乘计算得到消失线l_∞；然后由极点-极线关系(l_∞j＝ωKv_j)标定得到Image₁,Image₂中光源点到各球心的方向向量v_j,j＝1,...,4；

步骤1.6：依次在Image₁,Image₂中，由各个球心坐标O₁,O₂以及光源点到球心的方向向量v_j,j＝1,...,4，利用空间交汇方法标定得到Image₁,Image₂所对应的光源点位置G₁,G₂；

步骤1.7：将上述标定得到的相机内参矩阵、球心坐标、光源位置等作为初始参数代入到式(3)的光度约束目标函数中，初始的环境光分量I_e设置为0；通过最小化模拟图像与实际图像Image₁,Image₂之间的灰度差优化得到最终的系统标定参数。

完成以上步骤后，实施例标定的最终结果如图6所示，图中显示了相机坐标系下光源点与各个球体的位置。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种光度立体视觉系统中相机和光源的同步标定方法，其特征在于，系统中光源围绕相机布置，各光源从各个角度照射覆盖相机的视场；系统采用的光源近似为点光源，点光源具有各向同性的发光性，其入射到物体表面的辐照度与光源点距离物体表面的距离平方呈反比；标定使用的球体半径值已知，并且球体表面为哑光漫反射面，标定方法仅考虑球面的漫反射光和环境光；相机和光源同步进行标定，获得相机内参矩阵和点光源在相机坐标系下的坐标，包括以下步骤：

步骤1：在相机视场中布置N个球体，其中N大于等于2；

步骤2：依次开启光源，由相机拍摄单个光源照射下的球体影像Image_i,i＝1,…,M，M为光源数量，在漫反射光照模型下，假设相机对物体反射辐照度的响应是线性的，则可依据朗伯余弦定理建立Image_i中某个球体表面点的反射辐照度和表面点成像的像素灰度值为：

其中，I(X)为该球球面点X的反射辐照度，I(u,v)表示Image_i中X对应像素坐标(u,v)的灰度值，K_d为漫反射系数，I_p为点光源入射光辐照度，D为光源点到该球心的距离，r为该球体半径，β为光源点-球心连线与对应球面点法向之间的夹角，I_e表示环境光辐照度；

步骤3：依次在Image_i中，从每个球体所在的成像区域内以两种不同的灰度值提取出两组灰度值等高线，并拟合为二次曲线C₁,C₂，每组C₁,C₂构成一种曲线单应

该单应矩阵的3个特征向量满足关于绝对二次曲线的正交关系，由多个影像中多组共轴圆形成的曲线单应所确定的正交关系标定相机的内参矩阵K；

步骤5：对于Image_i中的每个球体，由边界投影点的反投影射线与球面相切和球体上最亮点的投影方程标定出N个球心在相机坐标系下的坐标O_j,j＝1,...,N；

步骤6：对于Image_i中的每个球体，先由曲线C₁,C₂的共轭交点计算共轴圆所在平面的消失线l_∞，然后由极点-极线关系l_∞＝ωKv_j，标定得到该图像中光源点到球心的方向向量v_j,j＝1,...,N,ω＝K^-TK^-1为绝对二次曲线的像；

步骤7：在Image_i中，由各个球心坐标以及光源点到球心的方向向量，利用空间交汇方法标定得到Image_i所对应的第i个光源点位置G_i；

步骤8：由标定数据建立光度约束最小化模拟图像与实际图像Image_i的灰度差，优化标定参数。

2.根据权利要求1所述的光度立体视觉系统中相机和光源的同步标定方法，其特征在于，单一光源照射下的某一个球体，由步骤2中球面各点辐照度的表达式可知球面上具有相同辐照度的点形成一个空间的圆形Q_c，假设圆形中心即为平面所在坐标系的原点，则圆形可表示为Q_c＝diag(1,1,-ρ²)，ρ为圆形的半径；该圆形在像平面的投影曲线C可通过圆形所在的平面单应性H表示为：

其中，H＝K[r₁ r₂ t]，K为相机内参矩阵，R,t分别为平面所在坐标系到相机坐标系的旋转矩阵和平移向量，r₁,r₂,r₃依次为旋转矩阵R的三个列向量；对于不同辐照度对应的圆形，它们的圆心均在光源点到球心的对称轴上，且每个圆形所在的平面相互平行并垂直于对称轴，形成共轴圆；共轴圆所在的平面相互平行且与对称轴垂直，具有相同的平面法向量v，由几何知识可知该向量v即为r₃。

3.根据权利要求1或2所述的光度立体视觉系统中相机和光源的同步标定方法，其特征在于，步骤3中每组共轴圆的投影曲线C₁,C₂构成一种曲线单应

该单应矩阵的3个特征向量V₁,V₂,V₃满足关于绝对二次曲线的正交关系V₃＝ω·(V₁×V₂)，其中V₃是唯一可以同时穿过曲线C₁,C₂的直线向量；ω共有5个自由度；每组正交关系可以确定关于ω的两个独立约束，而同一光源照射下，不同球体上的共轴圆提供关于ω的3个独立约束，因此至少需要M＝2个光源才能完成相机的标定。

4.根据权利要求1所述的光度立体视觉系统中相机和光源的同步标定方法，其特征在于，步骤8中的光度约束由影像中球体像素的灰度值表达式建立，利用灰度值与标定参数的关系构建参数优化的目标函数，即仿真生成的图像灰度值与真实图像灰度值之差；将参数优化转化为如下的非线性优化问题：

其中，ξ表示代优化的标定参数集，它包含相机内参矩阵K，N个球的球心位置，M个光源的位置，k表示第i幅影像中第j个球体的第k个像素。

Images