CN102353684A - 基于双激光三角法的激光肉图像采集方法 - Google Patents

Abstract

一种基于双激光三角法的激光肉图像采集方法，步骤包括：1)建立视场；2)将激光肉曲线与激光平面参考曲线的梯度差作为肉厚度信息，保存为激光图像肉厚度曲线，多帧激光肉厚度曲线按采集次序组合为一幅激光图像；3)将左右CCD相机采集的两幅激光图像都统一到同一个坐标下；4)对于在统一坐标下的左右两个角度采集的激光图像，把二者拼合到一个激光图像中，形成完整的肉激光图像。

Description

基于双激光三角法的激光肉图像采集方法

技术领域

本发明属于食品检测技术领域，具体是一种基于双激光三角法的激光肉图像采集方法。

背景技术

肉类食品的不安全因素很多，主要来自生物性、化学性、物理性的污染等。物理性的污染对食品来说主要是异物的存在，目前肉类生产企业大规模使用机械进行屠宰、加工，对肉本身的自有金属、骨头、玻璃等异物不可能做到完全分离；在自动化生产过程中机器零件磨损可能造成掉屑等问题，这些金属的碎屑不仅影响产品的口味和品质，而且含有铅、贡等多种有害物质；另外由于动物本身误食杂质，杂质嵌在动物体内，在食品生产过程中难以清理。由于碎屑和杂质体积小，很难用肉眼发现，因此非常容易被消费者误食，直接威胁消费者健康。

现有技术中，为了适应食品的流水线式生产，食品异物一般性无损检测技术，主要包括：磁学金属检测方法；根据形状或颜色来检测松散产品中混合的异物，主要是依靠光学检测技术，检验只能依据食品表面特征，检测对象有局限性；通过异物和部分穿透食品的电磁光谱的相互作用来发现混杂在食品中异物的检测技术，针对食品中出现的不同异物类型，有不同的检测技术。

发明内容

为了解决现有技术中存在的问题，本发明提出一种基于双激光三角法的激光肉图像采集方法，具体技术方案如下：

一种基于双激光三角法的激光肉图像采集方法，包括步骤：

1)建立视场：

视场包括激光器和对称分布在激光器左右两边的左右CCD相机；激光器投射垂直的线结构光源到被测肉的托盘平面上；左右CCD相机的镜头指向光源在托盘上的投影位置；托盘自左向右运动，左右CCD相机分别采集被测肉的多帧激光图像；

设视场所在坐标系为OXYZ，托盘运动方向为OX向，线结构光源的方向是OZ向，OY向垂直于OXZ平面；

2)将激光肉曲线(即激光照射在肉表面所成曲线)与激光平面参考曲线(即传送单元上肉所在位置的平面)的梯度差作为肉厚度信息，保存为激光图像肉厚度曲线；每个CCD相机采集的多帧激光肉厚度曲线按采集次序组合为一幅激光图像；

托盘自左向右运动过程中，CCD相机是被动动测量扫描；ZOY平面相对肉表面沿X轴方向进行扫描运动形成M幅ZOY平面，CCD相机连续采集M个ZOY平面的激光图像，多幅ZOY平面组合拼接完成肉图像构成肉立体轮廓图；本步骤的思想是把图像三维轮廓的高度信息即厚度用灰度值来表示，图像三维降维为二维含有厚度信息的灰度图像；

ZOY平面上Z方向梯度差的形成的肉厚度曲线以灰度值信息形式存放在Y方向的一维向量N中，X轴方向共采集M次ZOY平面，灰度值信息和ZOY平面组合成矩阵M×N的激光二维肉图像，矩阵的值即灰度值为肉厚度信息；

3)将左右CCD相机采集的两激光图像进行标定，统一到一个坐标下；

4)对于在统一坐标下的左右两个角度采集的激光二维肉图像，把二者拼合到一个激光图像中，形成完整的肉激光图像，步骤如下：

设左CCD相机得到的激光图像I₁为主参考图像，右CCD相机得到的激光图像I₂为次参考图像，拼合后的图像为目标图像I₃；

基于灰度信息的图像拼合：

在I₁中设定任一点灰度值为μ₁(i，j)，在I₂中设定任一点灰度值为μ₂(i，j)，对两幅图像中的所有点进行遍历，i＝1，2，…，M，j＝1，2，…，N；

若任一点μ₁(i，j)≥μ₂(i，j)，则该点为左CCD相机中有肉的灰度图大于右CCD相机中有肉的灰度值，记下此时的位置(i，j)，设此类点的集合为D_P；

若任一点μ₁(i，j)＜μ₂(i，j)，则该点为左CCD相机中有肉的灰度图小于右CCD相机中有肉的灰度值，记下此时的位置(i，j)，设此类点的集合为D_Q；

用I₁和I₂进行拼合得到拼合的目标图像为：

$I_3=\left\{\begin{array}{cc}\underset{i=1,}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{f}_1(i,j)& i,j\∈D_P\\ \underset{i=1,}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{f}_2(i,j)& i,j\∈D_Q\end{array}\right..$

所述步骤3)中，设左右CCD相机采集的两激光图像统一到左CCD相机采集的激光图像坐标下；

1)首先建立左右CCD相机之间的二维图像映射关系：

设O_WX_WY_WZ_W为世界坐标系，O_lX_lY_lZ_l为左CCD相机的得到画面的坐标系，O_rX_rY_rZ_r为右CCD相机的得到画面的坐标系，p_l和p_r分别为空间点p在左CCD和右CCD平面上的图像投影点；

用R_r2l表示从O_rX_rY_rZ_r到O_lX_lY_lZ_l的旋转矩阵，t_r2l表示从O_rX_rY_rZ_r到O_lX_lY_lZ_l的平移向量，则有变换关系：X_l＝R_r2lX_r+t_r2l；其中X_l和X_r分别表示空间点p在O_lX_lY_lZ_l和O_rX_rY_rZ_r下的坐标；

如果已知从O_WX_WY_WZ_W到O_lX_lY_lZ_l和O_rX_rY_rZ_r的旋转矩阵R_l和R_r以及平移向量t_l和t_r，则： $R_{r2l}=R_l{R}_r^{-1},$ $t_{r2l}=t_l-t_r{R}_l{R}_r^{-1};$

即可建立左右图像的映射关系

X_l＝R_lR_r ^-1X_r+t_l-t_rR_lR_r ^-1；

2)再对CCD相机进行标定，即求取映射关系X_l＝R_lR_r ^-1X_r+t_l-t_rR_lR_r ^-1中的参数：

CCD相机的标定是采用基于平面标定板的标定方法，步骤包括：

设测量空间中的一个已知点M_点＝[x，y，z]^T，该点在标定板图像平面上对应的二维坐标为m＝[u，v]^T；定义CCD相机标定过程中的空间点M与图像点m之间的标定模型为sm＝A[R，T]M_点，其中A的定义是摄像机内部参数，只与摄像机的内部结构有关；R和T确定摄像机相对于世界坐标系的方位，称之为摄像机外部参数，R的定义是旋转矩阵，T的定义是平移向量；

假定Z_W平面垂直于在平面X_WO_WY_W上，用r_i表示R的每一列向量，那么对Z_W平面上一点有： $z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{ccc}{r}_1& r_2& T\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ 1\end{array}\right]---\left(4.12\right);$

若A[r₁r₂T]＝c[r₁，r₂，T]＝cH，对于不同的三维坐标点，z_c均不相同，若取s＝z_c/c则有sm＝HM_点；

其中H为单应矩阵，H＝[h₁，h₂，h₃]＝A[r₁，r₂，T]，m＝[u，v，1]^T，M＝[x_w，y_w，1]^T，则可得： $\left[\begin{array}{ccccccccc}x& y& 1& 0& 0& 0& -\mathrm{ux}& -\mathrm{uy}& -u\\ 0& 0& 0& x& y& 1& -\mathrm{vx}& -\mathrm{vx}& -v\end{array}\right]h^{,}=0......\left(1.14\right),$ 其中h′＝H^T

给定在标定板平面上的若干点m以及经过H变化的对应值M_点，用式(1.14)解出H矩阵数据；

设r₁和r₂为旋转矩阵R的两列，r₁和r₂相互正交且模均为1，且结合式(1.12)，则得到：

$h_1^T{A}^{-T}{A}^{-1}{h}_2=0$

$h_1^T{A}^{-T}{A}^{-1}{h}_1=h_2^T{A}^{-T}{A}^{-1}h2$

r₁＝λA^-1h₁

r₂＝λA^-1h₂

r₃＝r₁×r₂

t＝λA^-1h₃

(1.15)

λ＝1/||A^-1h₁||＝1/||A^-1h₂||

由式(1.14)求出H后，再根据式(1.15)，由若干个平面对应的H，解得内参数矩阵A和CCD相机相对于每个标定板平面的R、T；

单个CCD相机的内部参数已经确定，结合相对标定板的外部参数确定后，则得到两个CCD相机的相对位置误差；

再对两个CCD相机的A、R和T改写为建立最小目标函数，优化后得到：

$\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\left|\right|m_{\mathrm{ij}}-\tilde{m}(A,R_i,T_i,M_{\mathrm{ij}})\left|\right|;$

式中，n是图像的总数目，m是每幅图像中的标志点的个数，m_ij是第i幅图像的第j个点的图像坐标，M_ij是标定板上点M_点的二维位置坐标；R_i和T_i是CCD相机相对于第i个图像所对应的R和T；是从标定板上的二维位置坐标到图像坐标的变换过程；

CCD相机所有内外参数都可以得到，再根据

中参数的值，并且获得相机的投影矩阵M，建立了双目摄像机相互的映射关系X_l＝R_lR_r ^-1X_r+t_l-t_rR_lR_r ^-1。

所述标定板是平板，在平板上布置通孔阵列，两个相临通孔的间距相同；

左右CCD相机同时对标定板进行拍摄得到三对图像作为标定用图像；其中左右两个CCD相机同一次拍摄得到的两幅图像为一个图像对；

对图像进行域值化处理，对图像中标定板上的点采用重心法计算的出平面图像坐标求出相机内外参数；

标定得到的左右CCD相机的内外参数为：

$A_l=\left[\begin{array}{ccc}-0.7192& 0.7050& -0.0166\\ -0.0003& -0.0002& -0.0001\\ 0.2015& 0.2006& -0.9587\end{array}\right]$

$A_r=\left[\begin{array}{ccc}-0.5937& 0.8158& 0.0140\\ -0.0003& -0.0002& -0.0001\\ 0.2194& 0.1969& -0.9556\end{array}\right]$

左右CCD相机相互位置关系为：

$R_{r2l}=\left[\begin{array}{ccc}-0.1788& -0.8689& -0.2152\\ 0.8896& -0.4337& 0.4098\\ -0.5028& -0.1102& 0.8652\end{array}\right]$

t_r2l＝[1.0e+003*186.38 1.0e+006*2.394 0.36]。

所述步骤1)中，肉激光测量角度的选择方法是，

设I_I为激光垂直入射光强度，θ为所求漫反射光与被测肉表面法线夹角，K_d为漫反射率，则漫反射光强表示为：I_d＝K_dI_Icosθ；

设α为激光投射光线与被测肉投射点表面切线方向的夹角，此时漫反射光的光强为： ${I_d}^{\′}=K_d{I}_I\sin \mathrm{\α}\cos (90-\mathrm{\θ}-\mathrm{\α})=\frac{1}{2}{K}_d{I}_I[\cos \mathrm{\θ}-\cos (2\mathrm{\α}+\mathrm{\θ})]$

θ为入射光线与反射光线之间的夹角，当投射光线与被测肉投射点表面切线方向的夹角α为90度时，CCD相机接收到的漫反射光强为：

${{I_d}^{\′}}_{\max }=\frac{1}{2}{K}_d{I}_I\cos (\mathrm{\θ}+1)$

选取I_d′_max与I_d最大漫反射光强相差最小时的θ角度值为CCD相机镜头的光轴与激光器出射光线的光轴所成角度，即肉激光测量角度。优选的，左右CCD相机镜头的轴线与激光器出射光线成30°角。

在激光器的聚光镜处安置孔径光阑(孔径光阑的要求调整到透射到肉表面的激光光束较细，不会)；在CCD相机的镜头处安置红外滤光片，对激光器发出的光透射。

所述激光器投射垂直的线结构光源到被测肉上后，得到激光光束线，该激光光束线的细化处理方法是：

将粗边缘线从外侧开始逐层地削去各个像素，直到为一个像素的宽度为止，其中，芯线的位置在原线宽的中心位置，细化后的线条仍要保持线条的连接性。

所述对两个CCD相机的A、R和T改写为建立最小目标函数，优化后得到： $\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\left|\right|m_{\mathrm{ij}}-\tilde{m}(A,R_i,T_i,M_{\mathrm{ij}})\left|\right|$ 所用的方法是Levenberg-Marquardt算法，Levenberg-Marquardt算法(最小二乘法的改进)具体的过程如下：

设x(k)表示第k次迭代的权值和阈值所组成的向量，新的权值和阈值组成的向量x(k+1)，可根据下面的规则求得：

x(k+1)＝x(k+1)+Δx

$\mathrm{\Δx}=-{\left({\▿}^{2}E\left(x\right)\right)}^{-1}\▿E\left(x\right)$

式中

表示误差指标函数

的Hessian矩阵；表示梯度。设误差指标函数为；

$E\left(x\right)=\frac{1}{2}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{e}_i^2\left(x\right)$

式中e_i(x)为误差。对于于高斯一牛顿法的计算法则有：

Δx＝-(J^T(x)J(x))^-1J^T(x)e(x)

J(x)为E(x)的Jacobian矩阵。。LM算法是一种改进的高斯一牛顿法，它的形式为：

Δx＝-(J^T(x)J(x)+μI)^-1J^T(x)e(x)      (1)

(1)式中比例系数μ＞0为常数，I是单位矩阵。从(1)式可看出，如果比例系数μ＝0，则为高斯一牛顿法；如果μ取值很大，则LM算法接近梯度下降法，每迭代成功一步，则减小一些，这样在接近误差目标的时候，逐渐与高斯一牛顿法相似。

与现有技术相比，本技术方案考虑激光透射肉的反射及散射的影响，为减少激光对肉反射的影响，技术方案建立了肉激光Lambert模型，激光入射采用直射方式，激光器相机之间设定30°的夹角。为减少激光对肉散射作用克服光斑，本技术方案给激光加装孔径光阑及滤镜，并对采集的激光图像进行细化处理。激光单CCD相机采集由于厚肉局部出现了遮挡、阴影造成厚度信息丢失，本技术方案构建激光双三角法，用左右两相机同时采集肉激光图像，设计圆点平面标定物，采用两步标定法将左右相机视场统一到左相机视场下，并采用基于灰度的图像拼合方法将两激光图像合成。

附图说明

图1是被测物体表面Lambert模型漫反射示意图。

图2是理想激光散斑强度分布及位置检测。

图3是肉激光光斑细化中的像素点关系示意图，图中，(a)是单点宽的线条；(b)是邻点的检测顺序；(c)直角边界。

图4是肉激光光斑细化中的图像中像素点的关系及类型，图中，(a)是孤立点；(b)是内点；(c)是分叉点。

图5是单激光三角法肉厚度测量的原理示意图，其中A为肉遮挡部分，竖直线为激光线。

图6是本例的激光肉测量模型示意图，图中，被测肉2、激光器6、左CCD7、右CCD8，箭头方向是传送带运动方向。

图7是双CCD相机成像示意图。

图8是双CCD相机成像模型。

具体实施方式

下面结合附图与具体实施方式对本技术方案作进一步说明：

本例中，使用双CCD相机从直射式激光光束左右两侧分别对肉激光图像采集，以获取完整的肉轮廓及厚度信息。

1、肉厚度激光图像测量系统分析

1.1.1光辐射肉的反射分析

光辐射在介质表面的反射分为镜面反射和漫反射两种，不同反射的特性其反射辐射强度的分布也不相同，肉的表面的曲面复杂，同一块肉的各个部分含水率差异较大，且肥肉和瘦肉分布不均匀，当光入射到两种不同媒质的界面上时，将会按照某种规律反射，自然光照射在肉表面产生镜面反射及散射，水分较大的或者肥肉的部分更容易产生镜面反射。激光投射到肉表面也会被散射或镜面反射，肉表面的特性及其对入射光的反射与散射特性对激光三角法测量的结果有影响。肉表面镜面散射或反射的存在会降低系统测量的准确性和精度，由于肉表面较复杂的情况决定了反射或散射只能降低不能完全消除。

1.1.2肉激光测量角度选择

采用激光垂直入射法，激光束垂直投射于肉表面，激光入射光轴与接收装置的光轴夹角θ可根据肉的形状灵活选取，CCD相机用于接收激光散射和反射中的漫反射光，多次激光入射肉表面试验说明垂直入射法适用于肉水分较低、表面粗糙度较高的瘦肉，如果肉表面复杂的情况应选取较小的夹角，但如果夹角过小的话，又可能被肉厚部位遮挡出现较大的盲区，因此在测量中要根据实际情况选取合适的夹角尽可能的减少盲区，使用Lambert模型来描述理想的肉表面漫反射，参考图1。

如果为I_I为垂直入射光强度，θ为所求漫反射光与被测肉表面法线夹角，K_d为漫反射率，则漫反射光强可表示为：

I_d＝K_dI_Icosθ          (1.1)

激光向被测肉表面投射光束时由于入射光线与肉表面存在一定的夹角如图1所示，α为投射光线与被测肉投射点表面切线方向的夹角，此时漫反射光的光强为：

${I_d}^{\′}=K_d{I}_I\sin \mathrm{\α}\cos (90-\mathrm{\θ}-\mathrm{\α})---\left(1.2\right)$

$=\frac{1}{2}{K}_d{I}_I[\cos \mathrm{\θ}-\cos (2\mathrm{\α}+\mathrm{\θ})]---\left(1.3\right)$

θ为入射光线与反射光线之间的夹角，当投射光线与被测肉投射点表面切线方向的夹角α为90度时，可得CCD相机接收到的漫反射光强为：

${{I_d}^{\′}}_{\max }=\frac{1}{2}{K}_d{I}_I\cos (\mathrm{\θ}+1)---\left(1.4\right)$

根据公式(1.4)，综合考虑肉表面情况，当θ取30°时，公式(1.4)与(1.2)光强最大漫反射光强相差不大，对系统测量的精度不会造成太大影响。

11.3激光光斑误差干扰

本测量法中激光光斑的质量，包括大小、光强、分布等，将影响激光的横向分辨率、测量范围和测量精度等参数。投射到肉表面的激光光斑被肉表面反射或散射，其部分反射光或散射光被光学系统捕获，理想的激光散斑像点应该是单个圆滑的圆点或单根线条如图2。

图2中I是信号强度，x是沿CCD线阵方向的坐标，db是像斑点的半宽度，像点信号通过比较器得到一个二值化的正矩形脉冲，脉冲的中点就是像点的中心。由于肉激光反射主要发生在肉光滑的表面，反射会将入射光反射到一个特定方向，而相对粗糙的肉则会将入射光向各个不同方向的方向散射，但是向各个方向散射的光强却有可能不同，因为肉是一个相对松散的结构材料，在肉激光测量中激光光束很容易渗透到肉内部，在肉表面或内部发生光散射，因此，无论发生肉表面还是肉内部的散射，激光表面散射光及反射光，都模糊了激光线的清晰度，降低了激光图像成像质量。

本方法采用激光线结构光源，散斑源于肉表面散射，当肉表面粗糙，波相互抵消的总和出来的波幅小，导致在图像暗斑，而在图像的其他部分波相辅相成，导致明亮的斑点。为此本例在激光器和聚光镜之间安置孔径光阑，以减小光斑直径；为了减少变化的背景对激光成像的干扰影响，在接收物镜和CCD相机之间安置一滤光片，可对激光器发出的红光波长为650nm透射，其透过率可达百分之九十多，而其它波段的光几乎可以全部滤掉。经测试，加入孔径光阑激光后的，激光光斑明显减少。

1.1.4肉激光光斑细化

在肉的厚度测量过程中，激光光源照射到物体表面上的激光光线会有一定的宽度，CCD相机传感器上的成像也就不是一条单一像素的光线，而是横跨几个或者几十个像素。在对激光肉图像特征点光斑区域确定后，先对光斑进行滤波处理，消除杂散光斑和噪声干扰。由于结构光图像细化(即光条中心提取)特殊性，要对光条中心位置的提取精度，现有技术中，可以采用极值法，阈值法或重心法等。为提高中心点准确的像素坐标值，本例提出一种肉激光图像精确的细化处理算法。激光光束线的细化处理是将粗边缘线从外侧开始逐层地削去各个像素，直到为一个像素的宽度为止，并且芯线的位置要放在原线宽的中心位置，细化后的线条仍要保持线条的连接性。如下例所示：

设在3×3邻域中的线条最多有三个点，如图3的a区域所示，对于图中的非零点区域，当其数值的大小为包围它的3×3邻域中的前三位时才保留，这样就提取出了单点线条的边缘。

图3的b区域所示为多分叉线条，X₀为当前像素，周围8个邻点X_n的下标为像素邻点顺序，细化的原则为不能有两个点都为边界点，单点宽的三点不能构成直角，如图3的c区域所示。

图3的b区域中，X₁、X₃、X₅、X₇为X₀的4邻点，当4邻点本身不为0，而序列中其后的两数中至少有一个数不为0时称为正跳变，在这4个邻点处产生的正跳变的总数称为正跳变数。

根据上述原理，对激光光束线的细化步骤具体如下：

1.图像中的孤立点和内点不能被消除掉，如图3的a区域和b区域所示；

2.4邻点处的正跳变数不等于1时，该像素保留；

3.X₀的邻点X₃、X₅在本循环中被消除掉，且剩下部分的4邻点处的正跳变数不等于1时，该像素保留，如图4所示。

经上述步骤处理后的激光光线，达到了预期的效果。

1.2激光双三角法肉激光图像采集视场建立

1.2.1激光三角法测量

图5中，CCD相机可以通过激光光束梯度差值Δx直接求解得到肉的厚度，单激光三角法肉厚度测量方法可以获取到单视场的肉的厚度图像。但是在测量精度以及抗噪性上与双视场系统有一定的差距，此外单视场在图中相对于CCD相机另一侧的肉局部出现了遮挡、阴影等情况，在复现肉的三维结构图中会造成肉局部区域丢失，获取不到遮挡部分肉的厚度信息和轮廓信息。对此，本技术方案使用了双CCD相机采用激光双三角法肉厚度测量，既能够具有双视场测量的高精度、高稳健性的特点，同时对于肉局部无法测量的区域也能够在双视场中通过图像拼合加以补偿。

1.2.2主动测量被动扫描激光双三角法肉尺寸测量

本例中，采用主动视觉来进行测试。主动视觉的光源采用激光器作为结构光线光源，同时使用了两个CCD相机同时采集激光厚度图像来进行激光双三角法肉厚度图像采集。

图6激光肉测量模型图中可以看出，激光器投射垂直的结构光线光源到托盘平面上，左右CCD相机的镜头指向光源在托盘上的投影位置，托盘上的肉在激光的主动投射下与参考面形成梯度差，当步进电机皮带带动肉托盘在导轨上位移，实现被测肉与激光之间的相对运动，托盘平移运动使激光相对肉对象进行平移扫描测量，完成了激光肉被动扫描过程。

在被动测量扫描过程中，由于相机每次都采集相同的ZOY平面肉激光图像，平面ZOY面相对肉表面沿X轴方向进行扫描运动形成M幅ZOY平面，CCD相机连续采集M个ZOY平面激光图像，多幅ZOY平面组合拼接完成肉三维图像；由于本例需要采集肉激光二维激光平面图像，因此ZOY平面上Z方向梯度差的厚度信息用灰度值表示存放在Z方向的一维向量N中，X轴方向共采集M次ZOY平面组合成M维N列激光二维图像，矩阵的灰度值即为肉厚度信息。

1.3激光双三角法图像标定

1.3.1双相机映射模型

激光双三角法测量系统中采集激光肉厚度图像，由于激光双三角法测量系统中采用双相机分别从左右30°倾角采集的肉激光图像厚度信息，两幅激光图像的激光线束由不同视场采集，需要对两幅不同视角有遮挡部分的肉激光图像相互拼合，而两CCD相机由于测试平台设计精度及测试过程中系统振动，不能保证CCD相机在空间中相对激光器完全对称，所以应建立双相机之间的二维图像映射关系。参考图7。

O_WX_WY_WZ_W为世界坐标系，O_lX_lY_lZ_l为左CCD相机坐标系，O_rX_rY_rZ_r为右CCD相机坐标系，p_l和p_r分别为空间点p在左CCD相机和右CCD相机平面上的图像投影点。

用R_r2l表示从右CCD相机坐标系到左CCD相机坐标系的旋转矩阵，t_r2l表示从右CCD相机坐标系到左CCD相机坐标系的平移向量，则有如下变换关系：

X_l＝R_r2lX_r+t_r2l         (1.8)

其中X_l和X_r分别表示空间点p在左CCD相机和右CCD相机坐标系下的坐标。如果已知从世界坐标系到左CCD相机坐标系和右CCD相机坐标系的旋转矩阵R_l和R_r以及平移向量t_l和t_r，则：

$R_{r2l}=R_l{R}_r^{-1}---\left(1.9\right)$

$t_{r2l}=t_l-t_r{R}_l{R}_r^{-1}---\left(1.10\right)$

由于相机所获取的图像与理想模型成像之间存在着误差，通常这种误差称之为图像的非线性畸变。

上述的成像中的各变换关系和成像流程可以综合表示为图8所示的框图。k₁、k₂和p₁、p₂为描述相机总畸变的四个参数，由于本例中相机采集激光图像为一条水平激光束，畸变只取决于径向畸变，单激光三角法中二维激光图像采集中，图像尺寸偏差较小，可假定相机图像采集线性，左右相机参数和

部为0，当确定A_l、A_r、R_r2l、t_r2l参数后。

1.3.2基于标定板的平面两步标定法

从双相机采集两个视场激光二维图像出发，计算对应的空间几何信息，空间物体表面某点的几何位置与其在图像中对应点之间的相互关系是由相机成像的几何模型决定的，这些几何模型参数就是相机参数，这些参数需要通过相机标定得到，标定过程就是确定相机的几何和光学参数。

相机标定根据标定过程中是否需要标定参照物可以分为传统标定方法、自标定方法和基于主动视觉的标定方法三种方法。由于肉激光图像采集的精度直接影响肉厚度补偿的效果，为满足采集肉激光图像尺寸的准确性的要求，本例采用传统的相机标定方法。传统标定方法的典型代表有DLT(Direct Linear Transformation)方法，Tsai的径向排列约束(Radialalignment constraint，RAC)方法，以及基于不确定视角的平面标定方法，平面圆标定方法、平行圆标定方法等。

本例用激光双三角法采集位置水平平面激光图像。根据几何多视图当中的绝对二次曲线理论推导出了基于平面标定物体(平面标定板)的标定方法，即为本例的标定方法。

在标定计算过程中，假设测量空间中的一个已知点M＝[x，y，z]^T，其在图像平面上对应的二维坐标为m＝[u，v]^T，根据相机小孔成像模型，定义相机标定过程中的空间点M与图像点m之间的标定模型为：

sm＝A[R，T]M                      (1.11)

其中：A---相机内参数矩阵

R---旋转矩阵

T---平移向量

假定Z_W平面垂直于世界坐标系平面X_WO_WY_W上，用r_i表示R的每一列向量，那么对平面上一点有：

$z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{ccc}{r}_1& r_2& T\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ 1\end{array}\right]---\left(1.12\right)$

若：A[r₁r₂T]＝c[r₁，r₂，T]＝cH    (1.13)

对于不同的三维坐标点，z_c均不相同，若取s＝z_c/c则有：

sm＝HM    (1.14)

其中H为单应矩阵(Homography)，H＝[h₁，h₂，h₃]＝A[r₁，r₂，T]，m＝[u，v，1]^T，M＝[x_w，y_w，1]^T，则可得：

$\left[\begin{array}{ccccccccc}x& y& 1& 0& 0& 0& -\mathrm{ux}& -\mathrm{uy}& -u\\ 0& 0& 0& x& y& 1& -\mathrm{vx}& -\mathrm{vx}& -v\end{array}\right]h^{\′}=0---\left(1.15\right)$

其中h′＝H^T

给定在标定板平面上的若干点m以及经过H变化的对应值M，可用上式通过最小二乘法及Levenberg-Marquarat优化算法求得矩阵H，解出H矩阵数据后，即可标定激光三角法的相机的重构图像。

于r₁和r₂为旋转矩阵的两列，它们相互正交且模均为1，且结合公式(1.13)，则有如下公式：

$h_1^T{A}^{-T}{A}^{-1}{h}_2=0$

$h_1^T{A}^{-T}{A}^{-1}{h}_1=h_2^T{A}^{-T}{A}^{-1}h2$

r₁＝λA^-1h₁

r₂＝λA^-1h₂

r₃＝r₁×r₂

t＝λA^-1h₃

λ＝1/||A^-1h₁‖＝1/||A^-1h₂‖           (1.16)

由公式(1.15)求出H后，再根据公式(1.16)，由若干个平面对应的H，可以解得内参数矩阵A和相机相对于每个标定板的R、T，单个相机的内部参数已知，确定相对标定板的外部参数后，可计算两个相机的相对位置误差公式，使用Levenberg-Marquardt(LM)算法^{错误！未找到 引用源。}对两个相机的内部参数和旋转矩阵及平移向量参数做优化：

$\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\left|\right|m_{\mathrm{ij}}-\tilde{m}(A,R_i,T_i,M_{\mathrm{ij}})\left|\right|---\left(1.17\right)$

其中，n是图像的总数目，m是每幅图像中的标志点的个数，m_ij是第i幅图像的第j个点的图像坐标，M_ij是标定板上的二维位置坐标。是相机相对于第i个图像所对应的位姿。

是从标定板上的二维位置坐标到图像坐标的变换过程，LM算法优化的参数使得再投影的图像坐标差最小。

经过上面两个步骤，相机所有内外参数包括非线性畸变因子都可以得到，同时求得优化

中参数的值，并且获得相机的投影矩阵M，建立了双相机视场的相互的映射关系。

本例采用具有易于检测、中心定位精度高的圆点作为标定板，标定板上布21×13的圆点阵列。设计的圆点阵列间距为9mm，其中任意两个相邻的圆点的间距相同，然后通过左右相机对其清晰成像。

左右相机同时对标定板进行拍摄得到三对图像作为标定用图像，其中左右两个相机同一次拍摄得到的两幅图像称为一个图像对，对图片进行二值化处理，对图像上的圆点采用重心法计算的出平面图像圆心坐标求出相机内外相关参数。

标定得到的左右相机的内外参数为：

$A_l=\left[\begin{array}{ccc}-0.7192& 0.7050& -0.0166\\ -0.0003& -0.0002& -0.0001\\ 0.2015& 0.2006& -0.9587\end{array}\right]$

$A_r=\left[\begin{array}{ccc}-0.5937& 0.8158& 0.0140\\ -0.0003& -0.0002& -0.0001\\ 0.2194& 0.1969& -0.9556\end{array}\right]$

左右相机相互位置关系为：

$R_{r2l}=\left[\begin{array}{ccc}-0.1788& -0.8689& -0.2152\\ 0.8896& -0.4337& 0.4098\\ -0.5028& -0.1102& 0.8652\end{array}\right]$

t_r2l＝[1.0e+003*186.38 1.0e+006*2.394 0.36]

根据已知的A_l、A_r、R_r2l、t_r2l参数后，左右相机的激光视场图像可以相互映射变换。

1.3.3激光双三角法肉厚度图像采集

左右CCD相机采集的二维激光图像。

1.3.4基于灰度的肉激光厚度图像拼合

采用激光双三角法采集完整的肉激光图像，前面已将两相机采集的激光图像统一到一个坐标系下，由于左右相机的视场所限，左图像的左边界区域在右图像中找不到对应点，右图像的右边界区域在左图像中找不到对应点，为此本例提出基于阈值和灰度信息的图像拼合，并对两种方法的图像拼合的进行试验。

1.基于阈值的图像拼合

设左相机激光图像I₁为主参考图像，左相机激光图像I₂为次参考图像，拼合后的图像为目标图像I₃。I₁、I₂、I₃为M×N大小的图像。

激光图像可以表示为：I＝f(i，j)

其中：x，y为图像中第i个行的第j个像素。

对I₁设定初始阈值T_a，对整幅图像从头开始遍历，i＝1，2，…，M，j＝1，2，…，N，若图像中任一点阈值T₁(i，j)≥T_a，该点为左相机中有肉的灰度值，记下此时的位置i，j，设此类点的集合为D_P；图中阈值T₁(i，j)＜T_a，该点为左相机中空白区域，记下此时的位置x，y，设此类点的集合为D_Q。则主参考激光图像可以表示为：

$I_1=\underset{(i,j\∈D_P)}{\mathrm{\Σ}}{f}_1(i,j)+\underset{(i,j\∈D_Q)}{\mathrm{\Σ}}{f}_1(i,j)---\left(1.18\right)$

则次要参考激光图像根据主参考图像中标记的位置可以表示为：

$I_2=\underset{(i,j\∈D_P)}{\mathrm{\Σ}}{f}_2(i,j)+\underset{(i,j\∈D_Q)}{\mathrm{\Σ}}{f}_2(i,j)---\left(1.19\right)$

本例对将两参考图像进行优化拼合，最终得到优化的拼合目标图像可以表示为：

$I_3=\left\{\begin{array}{cc}\underset{i=1,}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{f}_1(i,j)& i,j\∈D_P\\ \underset{i=1,}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{f}_2(i,j)& i,j\∈D_Q\end{array}\right.---\left(1.20\right)$

基于灰度阈值的图像拼合结果，受到初始阈值T_a影响，选择较小的初值，则肉边缘信息不能完整的获取到目标图像中；选择较大初值，图像边缘部分受到噪声的干扰，图像拼合处灰度值不准确，目标图像有明显的误差，为此本例改进算法采用基于灰度匹配的图像拼合方法。

2.基于灰度的图像拼合

设定I₁上任一点灰度值为μ₁(i，j)，设定I₂上任一点灰度值为μ₂(i，j)，对两幅图像同时从头开始遍历，i＝1，2，…，M，j＝1，2，…，N，若图像中任一点μ₁(i，j)≥μ₂(i，j)，该点为左相机中有肉的灰度图大于右相机灰度值，记下此时的位置i，j，设此类点的集合为D_P；若μ₁(i，j)＜μ₂(i，j)，该点为左相机中有肉的灰度图小于右相机灰度值，记下此时的位置i，j，设此类点的集合为D_Q。

本例对将目标图像用两参考图像中图像进行优化拼合，最终得到优化的拼合目标图像可以表示为：

$I_3=\left\{\begin{array}{cc}\underset{i=1,}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{f}_1(i,j)& i,j\∈D_P\\ \underset{i=1,}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{f}_2(i,j)& i,j\∈D_Q\end{array}\right.---\left(1.21\right).$

结果实验比较，基于灰度的图像拼合的肉图像边缘平滑，图像拼合效果良好，而阈值图像拼合方式对不规则形状的肉不适用。

Claims (7)

1.一种基于双激光三角法的激光肉图像采集方法，其特征是步骤包括：

1)建立视场：

视场包括激光器和对称分布在激光器左右两边的左右CCD相机；激光器投射垂直的线结构光源到被测肉的托盘平面上；左右CCD相机的镜头指向光源在托盘上的投影位置；托盘自左向右运动，左右CCD相机分别采集被测肉的多帧激光图像；

设视场所在坐标系为OXYZ，托盘运动方向为OX向，线结构光源的方向是OZ向，OY向垂直于OXZ平面；

2)将激光肉曲线与激光平面参考曲线的梯度差作为肉厚度信息，保存为激光图像肉厚度曲线，多帧激光肉厚度曲线按采集次序组合为一幅激光图像：

托盘自左向右运动过程中，CCD相机是被动动测量扫描；ZOY平面相对肉表面沿X轴方向进行扫描运动形成M幅ZOY平面，CCD相机连续采集M个ZOY平面的激光图像，多幅ZOY平面组合拼接完成肉图像构成肉立体轮廓图；

ZOY平面上Z方向梯度差的形成的肉厚度曲线以灰度值信息形式存放在Y方向的一维向量N中，X轴方向共采集M次ZOY平面，灰度值信息和ZOY平面组合成矩阵M×N的激光二维肉图像，矩阵的值即灰度值为肉厚度信息；

3)将左右CCD相机采集的两幅激光图像都统一到同一个坐标下；

4)对于在统一坐标下的左右两个角度采集的激光图像，把二者拼合到一个激光图像中，形成完整的肉激光图像，步骤如下：

设左CCD相机得到的激光图像I₁为主参考图像，右CCD相机得到的激光图像I₂为次参考图像，拼合后的图像为目标图像I₃；

基于灰度信息的图像拼合：

在I₁中设定任一点灰度值为μ₁(i，j)，在I₂中设定任一点灰度值为μ₂(i，j)，对两幅图像中的所有点进行遍历，i＝1，2，…，M，j＝1，2，…，N；

若任一点μ₁(i，j)≥μ₂(i，j)，则该点为左CCD相机中有肉的灰度图大于右CCD相机中有肉的灰度值，记下此时的位置(i，j)，设此类点的集合为D_P；

若任一点μ₁(i，j)＜μ₂(i，j)，则该点为左CCD相机中有肉的灰度图小于右CCD相机中有肉的灰度值，记下此时的位置(i，j)，设此类点的集合为D_Q；

用I₁和I₂进行拼合得到拼合的目标图像为：

$I_3=\left\{\begin{array}{cc}\underset{i=1,}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{f}_1(i,j)& i,j\∈D_P\\ \underset{i=1,}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{f}_2(i,j)& i,j\∈D_Q\end{array}\right..$

2.根据权利要求1所述的基于双激光三角法的激光肉图像采集方法，其特征是所述步骤3)中，设左右CCD相机采集的两激光图像统一到左CCD相机采集的激光图像坐标下；

1)首先建立左右CCD相机之间的二维图像映射关系：

设O_WX_WY_WZ_W为世界坐标系，O_lX_lY_lZ_l为左CCD相机的得到画面的坐标系，O_rX_rY_rZ_r为右CCD相机的得到画面的坐标系，p_l和p_r分别为空间点p在左CCD和右CCD平面上的图像投影点；

用R_r2l表示从O_rX_rY_rZ_r到O_lX_lY_lZ_l的旋转矩阵，t_r2l表示从O_rX_rY_rZ_r到O_lX_lY_lZ_l的平移向量，则有变换关系：X_l＝R_r2lX_r+t_r2l；其中X_l和X_r分别表示空间点p在O_lX_lY_lZ_l和O_rX_rY_rZ_r下的坐标；

如果已知从O_WX_WY_WZ_W到O_lX_lY_lZ_l和O_rX_rY_rZ_r的旋转矩阵R_l和R_r以及平移向量t_l和t_r，则： $R_{r2l}=R_l{R}_r^{-1},$ $t_{r2l}=t_l-t_r{R}_l{R}_r^{-1};$

即可建立左右图像的映射关系

X_l＝R_lR_r ^-1X_r+t_l-t_rR_lR_r ^-1；

2)再对CCD相机进行标定，即求取映射关系X_l＝R_lR_r ^-1X_r+t_l-t_rR_lR_r ^-1中的参数：

CCD相机的标定是采用基于平面标定板的标定方法，步骤包括：

设测量空间中的一个已知点M_点＝[x，y，z]^T，该点在标定板图像平面上对应的二维坐标为m＝[u，v]^T；定义CCD相机标定过程中的空间点M与图像点m之间的标定模型为sm＝A[R，T]M_点，其中A的定义是摄像机内部参数，只与摄像机的内部结构有关；R和T确定摄像机相对于世界坐标系的方位，称之为摄像机外部参数，R的定义是旋转矩阵，T的定义是平移向量；

假定Z_W平面垂直于在平面X_WO_WY_W上，用r_i表示R的每一列向量，那么对Z_W平面上一点有： $z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{ccc}{r}_1& r_2& T\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ 1\end{array}\right]---\left(4.12\right);$

若A[r₁ r₂ T]＝c[r₁，r₂，T]＝cH，对于不同的三维坐标点，z_c均不相同，若取s＝z_c/c则有sm＝HM_点；

其中H为单应矩阵，H＝[h₁，h₂，h₃]＝A[r₁，r₂，T]，m＝[u，v，1]^T，M＝[x_w，y_w，1]^T，则可得： $\left[\begin{array}{ccccccccc}x& y& 1& 0& 0& 0& -\mathrm{ux}& -\mathrm{uy}& -u\\ 0& 0& 0& x& y& 1& -\mathrm{vx}& -\mathrm{vx}& -v\end{array}\right]h^{,}=0......\left(1.14\right),$ 其中h′＝H^T

给定在标定板平面上的若干点m以及经过H变化的对应值M_点，用式(1.14)解出H矩阵数据；

设r₁和r₂为旋转矩阵R的两列，r₁和r₂相互正交且模均为1，且结合式(1.12)，则得到：

$h_1^T{A}^{-T}{A}^{-1}{h}_2=0$

$h_1^T{A}^{-T}{A}^{-1}{h}_1=h_2^T{A}^{-T}{A}^{-1}h2$

r₁＝λA^-1h₁

r₂＝λA^-1h₂

r₃＝r₁×r₂

t＝λA^-1h₃

λ＝1/||A^-1h₁||＝1/||A^-1h₂||    (1.15)

由式(1.14)求出H后，再根据式(1.15)，由若干个平面对应的H，解得内参数矩阵A和CCD相机相对于每个标定板平面的R、T；

单个CCD相机的内部参数已经确定，结合相对标定板的外部参数确定后，则得到两个CCD相机的相对位置误差；

再对两个CCD相机的A、R和T改写为建立最小目标函数，得到： $\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\left|\right|m_{\mathrm{ij}}-\tilde{m}(A,R_i,T_i,M_{\mathrm{ij}})\left|\right|;$

式中，n是图像的总数目，m是每幅图像中的标志点的个数，m_ij是第i幅图像的第j个点的图像坐标，M_ij是标定板上点M_点的二维位置坐标；R_i和T_i是CCD相机相对于第i个图像所对应的R和T；

是从标定板上的二维位置坐标到图像坐标的变换过程；

CCD相机所有内外参数都可以得到，再根据

中参数的值，并且获得相机的投影矩阵M，建立了双目摄像机相互的映射关系X_l＝R_lR_r ^-1X_r+t_l-t_rR_lR_r ^-1。

3.根据权利要求2所述的一种基于双激光三角法的激光肉图像采集方法，其特征是所述标定板是平板，在平板上布置通孔阵列，两个相临通孔的间距相同；

左右CCD相机同时对标定板进行拍摄得到三对图像作为标定用图像；其中左右两个CCD相机同一次拍摄得到的两幅图像为一个图像对；

对图像进行域值化处理，对图像中标定板上的点采用重心法计算的出平面图像坐标求出相机内外参数；

标定得到的左右CCD相机的内外参数为：

$A_l=\left[\begin{array}{ccc}-0.7192& 0.7050& -0.0166\\ -0.0003& -0.0002& -0.0001\\ 0.2015& 0.2006& -0.9587\end{array}\right]$

$A_r=\left[\begin{array}{ccc}-0.5937& 0.8158& 0.0140\\ -0.0003& -0.0002& -0.0001\\ 0.2194& 0.1969& -0.9556\end{array}\right]$

左右CCD相机相互位置关系为：

$R_{r2l}=\left[\begin{array}{ccc}-0.1788& -0.8689& -0.2152\\ 0.8896& -0.4337& 0.4098\\ -0.5028& -0.1102& 0.8652\end{array}\right]$

t_r2l＝[1.0e+003*186.38 1.0e+006*2.394 0.36]。

4.根据权利要求1所述的一种基于双激光三角法的激光肉图像采集方法，其特征是所述步骤1)中，肉激光测量角度的选择方法是，

设I_I为激光垂直入射光强度，θ为所求漫反射光与被测肉表面法线夹角，K_d为漫反射率，则漫反射光强表示为：I_d＝K_dI_Icosθ；

设α为激光投射光线与被测肉投射点表面切线方向的夹角，此时漫反射光的光强为：

${I_d}^{\′}=K_d{I}_I\sin \mathrm{\α}\cos (90-\mathrm{\θ}-\mathrm{\α})=\frac{1}{2}{K}_d{I}_I[\cos \mathrm{\θ}-\cos (2\mathrm{\α}+\mathrm{\θ})]$

θ为入射光线与反射光线之间的夹角，当投射光线与被测肉投射点表面切线方向的夹角α为90度时，CCD相机接收到的漫反射光强为：

${{I_d}^{\′}}_{\max }=\frac{1}{2}{K}_d{I}_I\cos (\mathrm{\θ}+1)$

选取I_d′_max与I_d最大漫反射光强相差最小时的θ角度值为CCD相机镜头的光轴与激光器出射光线的光轴所成角度，即肉激光测量角度。

5.根据权利要求4所述的一种基于双激光三角法的激光肉图像采集方法，其特征是左右CCD相机镜头的轴线与激光器出射光线成30°角。

6.根据权利要求1所述的一种基于双激光三角法的激光肉图像采集方法，其特征是在激光器的聚光镜处安置孔径光阑；在CCD相机的镜头处安置红外滤光片，对激光器发出的光透射。

7.根据权利要求1所述的一种基于双激光三角法的激光肉图像采集方法，其特征是所述激光器投射垂直的线结构光源到被测肉上后，得到激光光束线，该激光光束线的细化处理方法是：

将粗边缘线从外侧开始逐层地削去各个像素，直到为一个像素的宽度为止，其中，芯线的位置在原线宽的中心位置，细化后的线条仍要保持线条的连接性。

Images