CN114119768A - 一种基于多目视觉技术的刺参活性监测方法 - Google Patents

Abstract

本发明公开了一种基于多目视觉技术的刺参活性监测方法，具体包括以下步骤：准备好多目摄像机组；建立刺参活性观测体系；对每一只刺参的肉刺上、下边缘在相机中进行标识，通过多目视觉监测平台，观察特征点的相对位移；将每一部摄像机拍摄到的图像进行三维标定、立体匹配和去除噪声，得出活体刺参组的每一个刺参肉刺的位移变化；通过前后图像的特征点变化对比分析，得出刺参肉刺的运动规律。本发明的目的在于提供一种基于多目视觉技术的刺参活性监测方法，可尽早发现海洋水质环境变化，为今后开发基于多目立体视觉技术的产业化的高可靠性、高灵敏度的海洋水质状态监测系统提供理论和实验依据。

Description

一种基于多目视觉技术的刺参活性监测方法

技术领域

本发明是应用于海水养殖领域的一种机器视觉监测装置，具体地说，涉及 的是一种应用多目机器视觉技术观测刺参行为反应的装置。

背景技术

我国海岸线有数万公里长，大部分海岸带水层浅，海水交换缓慢，同时还 是陆地、海洋两大生态体系的交汇处，非常适合海洋牧场发展。但目前海洋牧 场正遭受越来越多的来自陆地的污染，导致牧场养殖区域不定期发生生态灾 害，损失严重。

首先，众多的海洋牧场灾害事件中，属海水富营养化最为严重，尤其是海 水交换平缓的湾区，容易导致底层缺氧，形成了所谓的“Death Area”，因此 定义富营养化是水体老化的一种现象。东南沿海每年都会有高达上万平方公里 的大规模赤潮爆发，给国家带来的经济损失年均高达数十亿元。

其次，随着近现代工业的迅速发展，海水重金属、溢油等有毒污染物也是 不容小觑的。我国沿海重金属污染主要集中在长江口、珠江口、五里河等，因 此排放入东海的量最大，其次为南海和黄海，而溢油污染主要集中在渤海湾。 海水中有毒污染物的监测受到了越来越高的重视，同时也为海洋牧场生态养殖 提供保护及业务化监测提供了数据支持。

然而，常规的海洋化学参数检测手段无法完全掌握养殖区生物体的生活状 态，也并不能保证水质状态完全安全，仅可作为一种业务调查手段，无法实时 监测海洋牧场的全部生态灾害。一旦发生未知种类的灾害，该区域的养殖系统、 乃至更大范围的海洋生态系统都有可能会受到严重影响，可能造成当年牧场的 绝产，经济损失严重。

实时判断水质健康状态，最有效的方法就是通过实时监测海洋牧场生物的 生活状态来验证，这就是海洋生物活性实时监测方法。海洋生物活性实时监测 方法具有较好的灵敏性，通常在能够通过仪器直接检测到海洋水质状态的轻微 变化之前，海洋牧场生物即可做出迅速的条件反射，可以在早期发现水质环境 变化，提高环境安全保证。基于此，本方案针对这一技术问题进行解决。

发明内容

本发明的目的在于提供一种基于多目视觉技术的刺参活性监测方法，解决 了如何尽早发现海洋水质环境变化的技术问题，通过设计一套非接触方式的多 目机器视觉监测装置实现刺参活性的观测，为今后开发基于多目立体视觉技术 的产业化的高可靠性、高灵敏度的海洋水质状态监测系统提供理论和实验依 据。

一种基于多目视觉技术的刺参活性监测方法，其特征在于，具体包括以下 步骤：

步骤S1：准备好多目摄像机组，由四台相同的水下相机和四台相机组传动 模块组成，其中，四台水下相机按照固定角度和固定距离，对称地安装在四台 相机组传动模块上，其角度和距离取决于每一台水下相机能否完全、清晰地观 测到整体目标区域；

四个相机分别设置在四个不同的方向，并围成一定的目标区域，相邻的两 个相机呈一定的夹角设置，相机的拍摄方向均朝向区域的中心位置。

步骤S2：建立刺参活性观测体系，刺参活性观测体系由刺参观测槽以及刺 参活体组成，两个部分的直线间距在200mm-500mm范围内可调节；

刺参观测槽设置在目标区域内。

步骤S3：选择体积相近的分为5组，每组20个样品，将5组刺参同时放 入相同的水体环境中，分别改变水体的健康状态，记录5组刺参的行为反应， 选择反应最为灵敏的1组刺参作为监测对象；

步骤S4：在最灵敏的那一组中，对每一只刺参的肉刺上、下边缘在相机中 进行标识，将该组刺参放置在有机玻璃制作的观测槽衬底上，通过固定的多目 视觉监测平台，观察特征点的相对位移，并将3D图像数据记录在上位机电脑 中；

步骤S5：多目视觉监测平台和视觉信号处理运算电路之间通过水密线缆和 水密接头连接，视觉信号处理运算电路处理每一路拍摄到的二维数字图像信 息，通过电脑的进一步运算处理，将每一部摄像机拍摄到的图像进行三维标定、 立体匹配和去除噪声，实现三维重建，得出活体刺参组的每一个刺参肉刺的位 移变化；

步骤S6：通过50ms的图像拍摄速度，通过前后图像的特征点变化对比分 析，得出刺参肉刺的运动规律，将进行试验的每组刺参活动频率，在计算机端 统计分析，并转化为一组数字信号，进而得出肉刺的运动幅度和速度，进而反 演海洋牧场水质变化机制。

所述步骤S1中，所述相机组传动模块的工作过程为：

步骤S11：相机组传动模块采用3个步进电机驱动相机的位移，使其在一 定范围内自动调整位置和角度，每一个相机均由三个步进电机驱动，分别是： X轴步进电机、Y轴步进电机和Z轴步进电机，四个相机组传动模块共包含十 二个驱动电机。

步骤S12：相机的角度直接通过相机Z轴步进电机旋转调整；

步骤S13：相机的Y轴位移通过Y轴步进电机驱动Y轴丝杠调整，相机的 X轴位移通过X轴步进电机驱动X轴丝杠调整，最终实现了多目摄像机调整角 度及平面位置的功能。

所述步骤S5中，将图像进行三维标定的步骤为：

步骤S51：首先标定CCD相机的内参，然后整体系统的外参，因此，结构 光系统的模型实际上包括CCD模型和结构光模型，根据光学系统的结构特点， 建立了系统中的各种坐标系，包括CCD相机坐标系和世界坐标系(o_wx_wy_wz_w)， CCD坐标系系统又包括摄像机坐标系(oxyz)、像平面坐标系(OXY)和图像坐 标系(o′uv)；

步骤S52：根据透视投影原理建立了考虑畸变的相机成像数学模型，从相 机坐标系到世界坐标系的转换关系表示为：

其中，R为Rotation matrix，T为Translation matrix，点(x_w,y_w,z_w)经 过旋转平移操作后得到摄像机坐标系下的点(x,y,z)，向量(r₁,r₂,r₃)、(r₄,r₅,r₆)、 (r₇,r₈,r₉)分别为x_w,y_w,z_w在摄像机坐标(oxyz)中的单位方向矢量。

步骤S53：根据Perspective projection原理，可以得到像平面坐标系 (OXY)和摄像机坐标系(oxyz)的关系：

其中，f表示焦距。

步骤S54：将点的坐标从像平面坐标系转换到像素坐标系可以表示为：

其中，已知X,Y单位为mm，N_x,N_y已知，表示CCD像面上X、Y轴中每个物 理尺寸(mm)对应的像素个数，是相机的固定值，(u₀,v₀)为主坐标的原点。

步骤S55：像素(u,v)在成像平面中是矩形，因此在本文中引入了两个虚拟 焦距f_x和f_y，这两个值分别为物理焦距f与N_x,N_y的乘积，综合式(2)和(3)有： 由此可知w＝z，并通过相机标定求取M；

由此可知w＝z，并通过相机标定求取M。

在实际情况中，摄像机用于成像镜头的孔径非常有限，无法完全满足Perspective projection原理的理想假设。P是空间点，根据理想的透视投影 模型，其在图像表面的成像点应为P_u(X_u,Y_u)，但由于受畸变影响，其实际的成 像点是P_d(X_d,Y_d)。本文主要考虑成像中的径向畸变和横向畸变。

径向畸变，又称圆柱形畸变，是由于透镜边缘处的光线比中心处的光线弯曲更 严重，图像边缘与中心相比会发生畸变。这种畸变可以采用Taylor's级数展 开进行表达：

其中，k₁,k₂分别为2阶和4阶径向畸变系数。

横向畸变是由于相机透镜与图像平面不完全平行造成的，使用(6)式表示切向畸变的 影响：

式中p₁,p₂分别为2阶和4阶切向畸变系数。需要通过标定求取二阶、四阶畸变系数k₁,k₂,p₁,p₂。

所述步骤S51中，将图像进行立体匹配的步骤为：

步骤S511：选择平面靶标，在相机工作范围内，拍摄多幅处于不同角度的 棋盘靶标图像，为了提高标定精度，靶标相对于镜头中心的倾角应当不超过45 °，避免产生畸变的部位难以提取；为了更多的靶点参与标定，应当多次切换 靶标的位置，而且拍摄次数应当不低于10次，通过标定，可以获取CCD相机 的内参矩阵、畸变参数、外参矩阵，同时也能够获得相机与靶标间的旋转矩阵 和平移矩阵；

步骤S512：设靶标平面上一点Q(x_w,y_w,z_w)成像于像面上的q(X,Y)，它们之 间的关系可以表示为：

此时靶标中的全部点都满足z_w＝0，上式可写成：

sq＝HQ (8)

式中，s为任意比例系数，H＝λM[r₁ r₂ t]，记作H＝[h₁ h₂ h₃]，为3×3 方阵，表示靶标上的目标点到像面的单应性矩阵。

步骤S513：控制靶标在相机视场内以不同位姿出现并获取相应图像，将多 次提取的图像坐标以及世界坐标代入上式，求取单应性矩阵H，求解参数包括 靶标每个位姿相对于相机坐标系的旋转和平移矩阵，可用3个坐标轴转过的角 度和3个平移变化参数共6个参数表示，加上相机内参焦距(f_x,f_y)以及主点坐 标(u₀,v₀)，需要求解的参数共10个，由于采用平面靶标，每个位姿图像可确定 8个参数，因此求解所有参数至少需要两个不同位姿的靶标图像；

由于R为正交矩阵，由单应性矩阵H定义可以得到：

整理可得：

设

代入上式可求得B的通用形式封闭解为：

B为对称矩阵，因此可以写成以下形式：

B＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T (12)

令：

h_i ^TBh_j＝v_ij ^Tb (13)

式中，

将式(13)代入式(10)中，可以得到：

将所提取的多幅图像信息代入式(14)，联合式(11)，可以求解得到相机内 参数为：

式中，λ＝B₃₃-[B₁₃ ²+c_y(B₁₂B₁₃-B₁₁B₂₃)]/B₁₁

由单应性矩阵定义可得：

由正交条件确定比例系数：λ＝1/M^-1h₁。

可知，畸变系数对图像坐标的影响是非线性的，因此用非线性最小二乘法 计算畸变参数，利用相机内参数联合前文相机数学模型可以得到理想情况下的 图像坐标：

联合畸变公式可得：

由相机数学模型可以得到：

联立式(17)、(18)和(19)，建立方程组可以求解畸变参数k₁与k₂。

基于以上算法，拍摄20幅不同位姿下的靶标图像，内参数矩阵标定结果 为：

畸变系数k₁,k₂,p₁,p₁分别为-0.09478,0.145368,0.00015375,-0.001597。

根据相机内外参数标定结果，可以求解棋盘靶标上特征点在相机坐标系下 的投影的坐标，将特征点三维坐标反投影到二维图像，获取特征点的反投影误 差，以此检验相机内参的标定结果，统计每一幅棋盘靶标图像上特征点反投影 误差的最大值，其误差范围为0.069-0.285像素，均小于0.3像素，具有较高 的精度；

步骤S514：由上标定得到左右相机内参数f_x,f_y,c_x,c_y以及畸变系数 k₁,k₂,p₁,p₁后，在此基础上，对两相机的位置转换关系，即相机外参数进行求解，

原理如下：

给定物体坐标系中的任意点P，我们可以分别用多台摄像机的单摄像机的 单摄像机标定来将点P输入到左右摄像机的摄像机坐标系：

P_l＝R_lP+T_l (20)

P_r＝R_rP+T_r (21)

其中R_l,T_l表示左相机到世界坐标系的三维转换关系，R_r,T_r表示右相机到 世界坐标系的三维转换关系；

在两台摄像机上的两个视图可以P_l＝R^T(P_r-T)用关联，其中R和T分别表 示两个相机之间的旋转矩阵和平移向量，利用这三个等式分别求解旋转和平 移，就可以推出下面的简单关系：

R＝R_rR_lT (22)

T＝T_r-RT_l (23)

在已由20幅不同姿态下的靶标得到相机内参和每个姿态下靶标与相机之 间相对位置关系，即R_l,T_l和R_r,T_r的基础上，将各姿态下的的外参数带入式 (22)、式(23)，可以求出两台相机之间的旋转和平移参数，由于图像噪声和 舍入误差，每一对靶标图片都会使得R和T参的结果出现细小的不同，所以选择 R和T的中值来作为真实结果的初始近似值，然后依据使反投影误差最小建立 目标函数，优化视觉系统的内外参数，至此就完成多目视觉系统内外参数的标 定。

所述步骤S4中，基于四元数求解折射补偿算法的水下测量模型，具体步 骤如下：

进行折射补偿模型构建，由于相机应用于水下时需用其地进行密封，端窗 采用石英玻璃，由于折射效应，若对系统直接用陆上测量模型计算标定点位置， 则会造成位置上的偏差，和距离上的误差,为实现对水下距离的精密测量，基 于四元求解折射补偿算法原理是：通过对经玻璃上下表面折射，最终在相机像 面上成像的光线的回溯，求解未经玻璃上下表面折射的光线，分别对左右相机 匹配的标定点进行上述操作，最终求解得到左右相机未经玻璃折射光线，对两 条光线求交点，则认为所求交点就是经折射补偿后的待测点的空间实际位置所 在。

所述步骤S4中，当光线在右相机下折射时，具体四元求解折射补偿算法 如下：

假设P点为待观测点，其在右相机坐标系下坐标为(x_r,y_r,z_r)，其经透明防 水外壳上下表面折射后，在相面上的成像点为p_r(u_r,v_r)，则P在右相机坐标系 下所表征的光线o_rp_r向量为(u_r-u₀/N_x,u_r-u₀/N_y，f)，假设已知右相机光心到玻 璃面的距离h_r，和玻璃面的法向量n_r，则可得光线束o_rp_r与透明防水罩表面的 交点P_a所对应向量为：

且光线在P_a点处发生折射，由于已知玻璃面法向量n_r以及入射光线o_rP_ar， 可求得入射角为：

由折射定理我们可以求出出射角为：

由折射定理我们可知入射光、法线、折射光线在同一平面上，且转动角度 为θ_r1＝θ_gr-θ_ar，应用四元数定义折射旋转，折射过程绕轴v完成，描述折射向 量转动的四元数记作q，则有：

则折射后的向量P_arP_gr的方向向量P_arP_gr′可由下式求得：

P_arP_gr′＝q_r1·o_rP_ar·q_r1 ^-1 (29)

同理，当光线在其内部传输达到防水罩下表面时光线会在点P_ar发生第二次 折射，推导过程与第一次折射相同，向量P_arP_gr在防水罩平面法向量的n_r方向上 投影长度为d，点P_gr坐标为：

第二次折射时转动角度为θ_r2＝θ_wr-θ_gr，由折射定理可知，三段折射光线 o_rP_ar,P_arP_gr,P_grP共面，故第二次转动仍绕轴向量v_r，应用四元数描述此次转动：

由转动四元数可求的折线P_grP的方向向量P_grP′

P_grP′＝q_r2·P_arP_gr′·q_r2 ^-1 (33)

同理，在右摄像机坐标系中，反投光线经过两次折射，可以得到向量P_glP的 方向向量P_grP′，两个点的公垂线中点即为待求空间点P；

至此，基于折射补偿算法的水下立体视觉测量模型建立完成，由图像位置 的几何关系可以直接从每个相机图像的中得到对应的匹配点和特征点，再由多 目视觉模型可直接得到特征点在摄像机下的三维坐标值，进而计算空间中特征 点的位移，实现刺参肉刺特征点的精确测距。

CCD相机的模型参数与CCD相机性能指标相关，与外界目标坐标无关，因 而相机内参数固定不变。通过标定求解相机内参数后可以作为已知量使用，从 而实现图像畸变矫正和三维重建等功能。其机理是通过CCD相机与平面靶标之 间的投影具有映射关系的可逆性操作，CCD相机拍摄的任意位置的平面靶标均 可映射。这种标定方法仅需要一个靶标，不仅较传统标定方法靶标易于加工、 标定过程操作简单，而且较相机自标定方法具有较高的标定精度。

本发明具有以下优点：

1)多目视觉分辨率高、测量精度高；

2)监测手段对生物体活性无任何影响，可靠性更高；

3)结构简单、方便更换刺参活体。

附图说明

图1是本发明实施例中刺身活性监测装置示意图。

图2是本发明实施例中多目立体视觉监测平台结构立体图。

图3是本发明实施例中相机传动模块的三维结构图。

图4是本发明实施例中相机组传动模块的结构图。

其中，附图中：1、活体刺参组；2、刺参观测槽；3、滑轨；4、相机组传 动模块；5、水下相机；6、水密线缆；7、水密接头；8、视觉信号处理运算电 路；9、电脑。

具体实施方式

为了能更加清楚说明本方案的技术特点，下面通过具体实施方式，对本方 案进行阐述。

参见图1，图2，图3和图4，一种基于多目视觉技术的刺参活性监测方法， 其特征在于，具体包括以下步骤：

步骤S1：准备好多目摄像机组，由四台相同的水下相机和四台相机组传动 模块4组成，其中，四台水下相机5按照固定角度和固定距离，对称地安装在 四台相机组传动模块上，其角度和距离取决于每一台水下相机能否完全、清晰 地观测到整体目标区域；

步骤S2：建立刺参活性观测体系，刺参活性观测体系由刺参观测槽2以及 活体刺参组1组成，两个部分的直线间距在200mm-500mm范围内可调节；

步骤S3：选择体积相近的分为5组，每组20个样品，将5组刺参同时放 入相同的水体环境中，分别改变水体的健康状态，记录5组刺参的行为反应， 选择反应最为灵敏的1组刺参作为监测对象；

步骤S4：在最灵敏的那一组中，对每一只刺参的肉刺上、下边缘在相机中 进行标识，将该组刺参放置在有机玻璃制作的观测槽衬底上，通过固定的多目 视觉监测平台，观察特征点的相对位移，并将3D图像数据记录在上位机电脑 中；相机的下端设置滑轨3，能够进行自由滑动；

步骤S5：多目视觉监测平台和视觉信号处理运算电路8之间通过水密线缆 6和水密接头7连接，视觉信号处理运算电路处理每一路拍摄到的二维数字图 像信息，通过电脑9的进一步运算处理，将每一部摄像机拍摄到的图像进行三 维标定、立体匹配和去除噪声，实现三维重建，得出活体刺参组的每一个刺参 肉刺的位移变化；

步骤S6：通过50ms的图像拍摄速度，通过前后图像的特征点变化对比分 析，得出刺参肉刺的运动规律，将进行试验的每组刺参活动频率，在计算机端 统计分析，并转化为一组数字信号，进而得出肉刺的运动幅度和速度，进而反 演海洋牧场水质变化机制。

所述步骤S1中，所述相机组传动模块的工作过程为：

步骤S11：采用3个步进电机驱动相机，使其在一定范围内自动调整位置：

步骤S12：相机的角度直接通过相机Z轴步进电机旋转调整；

步骤S13：相机的Y轴位移通过Y轴步进电机驱动Y轴丝杠调整，相机的 X轴位移通过X轴步进电机驱动X轴丝杠调整，最终实现了多目摄像机调整角 度及平面位置的功能。

所述步骤S5中，将图像进行三维标定的步骤为：

步骤S51：首先标定CCD相机的内参，然后整体系统的外参，因此，结构 光系统的模型实际上包括CCD模型和结构光模型，根据光学系统的结构特点， 建立了系统中的各种坐标系，包括CCD相机坐标系和世界坐标系(o_wx_wy_wz_w)， CCD坐标系系统又包括摄像机坐标系(oxyz)、像平面坐标系(OXY)和图像坐 标系(o′uv)；

步骤S52：根据透视投影原理建立了考虑畸变的相机成像数学模型，从相 机坐标系到世界坐标系的转换关系表示为：

其中，R为Rotation matrix，T为Translation matrix，点(x_w,y_w,z_w)经 过旋转平移操作后得到摄像机坐标系下的点(x,y,z)，向量(r₁,r₂,r₃)、(r₄,r₅,r₆)、 (r₇,r₈,r₉)分别为x_w,y_w,z_w在摄像机坐标(oxyz)中的单位方向矢量。

步骤S53：根据Perspective projection原理，可以得到像平面坐标系 (OXY)和摄像机坐标系(oxyz)的关系：

其中，f表示焦距。

步骤S54：将点的坐标从像平面坐标系转换到像素坐标系可以表示为：

其中，已知X,Y单位为mm，N_x,N_y已知，表示CCD像面上X、Y轴中每个物 理尺寸(mm)对应的像素个数，是相机的固定值，(u₀,v₀)为主坐标的原点。

步骤S55：像素(u,v)在成像平面中是矩形，因此在本文中引入了两个虚拟 焦距f_x和f_y，这两个值分别为物理焦距f与N_x,N_y的乘积，综合式(2)和(3)有： 由此可知w＝z，并通过相机标定求取M；

由此可知w＝z，并通过相机标定求取M。

在实际情况中，摄像机用于成像镜头的孔径非常有限，无法完全满足Perspective projection原理的理想假设。P是空间点，根据理想的透视投影 模型，其在图像表面的成像点应为P_u(X_u,Y_u)，但由于受畸变影响，其实际的成 像点是P_d(X_d,Y_d)。本文主要考虑成像中的径向畸变和横向畸变。

径向畸变，又称圆柱形畸变，是由于透镜边缘处的光线比中心处的光线弯曲更 严重，图像边缘与中心相比会发生畸变。这种畸变可以采用Taylor's级数展 开进行表达：

其中，k₁,k₂分别为2阶和4阶径向畸变系数。

横向畸变是由于相机透镜与图像平面不完全平行造成的，使用(6)式表示切向畸变的 影响：

式中p₁,p₂分别为2阶和4阶切向畸变系数。需要通过标定求取二阶、四阶畸变系数k₁,k₂,p₁,p₂。

所述步骤S51中，将图像进行立体匹配的步骤为：

步骤S511：选择平面靶标，在相机工作范围内，拍摄多幅处于不同角度的 棋盘靶标图像，为了提高标定精度，靶标相对于镜头中心的倾角应当不超过45 °，避免产生畸变的部位难以提取；为了更多的靶点参与标定，应当多次切换 靶标的位置，而且拍摄次数应当不低于10次，通过标定，可以获取CCD相机 的内参矩阵、畸变参数、外参矩阵，同时也能够获得相机与靶标间的旋转矩阵 和平移矩阵；

步骤S512：设靶标平面上一点Q(x_w,y_w,z_w)成像于像面上的q(X,Y)，它们之 间的关系可以表示为：

此时靶标中的全部点都满足z_w＝0，上式可写成：

sq＝HQ (8)

式中，s为任意比例系数，H＝λM[r₁ r₂ t]，记作H＝[h₁ h₂ h₃]，为3×3 方阵，表示靶标上的目标点到像面的单应性矩阵。

步骤S513：控制靶标在相机视场内以不同位姿出现并获取相应图像，将多 次提取的图像坐标以及世界坐标代入上式，求取单应性矩阵H，求解参数包括 靶标每个位姿相对于相机坐标系的旋转和平移矩阵，可用3个坐标轴转过的角 度和3个平移变化参数共6个参数表示，加上相机内参焦距(f_x,f_y)以及主点坐 标(u₀,v₀)，需要求解的参数共10个，由于采用平面靶标，每个位姿图像可确定 8个参数，因此求解所有参数至少需要两个不同位姿的靶标图像；

由于R为正交矩阵，由单应性矩阵H定义可以得到：

整理可得：

设

代入上式可求得B的通用形式封闭解为：

B为对称矩阵，因此可以写成以下形式：

B＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T (12)

令：

h_i ^TBh_j＝v_ij ^Tb (13)

式中，

将式(13)代入式(10)中，可以得到：

将所提取的多幅图像信息代入式(14)，联合式(11)，可以求解得到相机内 参数为：

式中，λ＝B₃₃-[B₁₃ ²+c_y(B₁₂B₁₃-B₁₁B₂₃)]/B₁₁

由单应性矩阵定义可得：

由正交条件确定比例系数：λ＝1/M^-1h₁。

可知，畸变系数对图像坐标的影响是非线性的，因此用非线性最小二乘法 计算畸变参数，利用相机内参数联合前文相机数学模型可以得到理想情况下的 图像坐标：

联合畸变公式可得：

由相机数学模型可以得到：

联立式(17)、(18)和(19)，建立方程组可以求解畸变参数k₁与k₂。

基于以上算法，拍摄20幅不同位姿下的靶标图像，内参数矩阵标定结果 为：

畸变系数k₁,k₂,p₁,p₁分别为-0.09478,0.145368,0.00015375,-0.001597。

根据相机内外参数标定结果，可以求解棋盘靶标上特征点在相机坐标系下 的投影的坐标，将特征点三维坐标反投影到二维图像，获取特征点的反投影误 差，以此检验相机内参的标定结果，统计每一幅棋盘靶标图像上特征点反投影 误差的最大值，其误差范围为0.069-0.285像素，均小于0.3像素，具有较高 的精度；

步骤S514：由上标定得到左右相机内参数f_x,f_y,c_x,c_y以及畸变系数 k₁,k₂,p₁,p₁后，在此基础上，对两相机的位置转换关系，即相机外参数进行求解，

原理如下：

给定物体坐标系中的任意点P，我们可以分别用多台摄像机的单摄像机的 单摄像机标定来将点P输入到左右摄像机的摄像机坐标系：

P_l＝R_lP+T_l (20)

P_r＝R_rP+T_r (21)

其中R_l,T_l表示左相机到世界坐标系的三维转换关系，R_r,T_r表示右相机到 世界坐标系的三维转换关系；

在两台摄像机上的两个视图可以P_l＝R^T(P_r-T)用关联，其中R和T分别表 示两个相机之间的旋转矩阵和平移向量，利用这三个等式分别求解旋转和平 移，就可以推出下面的简单关系：

R＝R_rR_lT (22)

T＝T_r-RT_l (23)

在已由20幅不同姿态下的靶标得到相机内参和每个姿态下靶标与相机之 间相对位置关系，即R_l,T_l和R_r,T_r的基础上，将各姿态下的的外参数带入式 (22)、式(23)，可以求出两台相机之间的旋转和平移参数，由于图像噪声和 舍入误差，每一对靶标图片都会使得R和T参的结果出现细小的不同，所以选择 R和T的中值来作为真实结果的初始近似值，然后依据使反投影误差最小建立 目标函数，优化视觉系统的内外参数，至此就完成多目视觉系统内外参数的标 定。

所述步骤S4中，基于四元数求解折射补偿算法的水下测量模型，具体步 骤如下：

进行折射补偿模型构建，由于相机应用于水下时需用其地进行密封，端窗 采用石英玻璃，由于折射效应，若对系统直接用陆上测量模型计算标定点位置， 则会造成位置上的偏差，和距离上的误差,为实现对水下距离的精密测量，基 于四元求解折射补偿算法原理是：通过对经玻璃上下表面折射，最终在相机像 面上成像的光线的回溯，求解未经玻璃上下表面折射的光线，分别对左右相机 匹配的标定点进行上述操作，最终求解得到左右相机未经玻璃折射光线，对两 条光线求交点，则认为所求交点就是经折射补偿后的待测点的空间实际位置所 在。

所述步骤S4中，当光线在右相机下折射时，具体四元求解折射补偿算法 如下：

假设P点为待观测点，其在右相机坐标系下坐标为(x_r,y_r,z_r)，其经透明防 水外壳上下表面折射后，在相面上的成像点为p_r(u_r,v_r)，则P在右相机坐标系 下所表征的光线o_rp_r向量为(u_r-u₀/N_x,u_r-u₀/N_y，f)，假设已知右相机光心到玻 璃面的距离h_r，和玻璃面的法向量n_r，则可得光线束o_rp_r与透明防水罩表面的 交点P_a所对应向量为：

且光线在P_a点处发生折射，由于已知玻璃面法向量n_r以及入射光线o_rP_ar， 可求得入射角为：

由折射定理我们可以求出出射角为：

由折射定理我们可知入射光、法线、折射光线在同一平面上，且转动角度 为θ_r1＝θ_gr-θ_ar，应用四元数定义折射旋转，折射过程绕轴v完成，描述折射向 量转动的四元数记作q，则有：

则折射后的向量P_arP_gr的方向向量P_arP_gr′可由下式求得：

同理，当光线在其内部传输达到防水罩下表面时光线会在点P_ar发生第二次 折射，推导过程与第一次折射相同，向量P_arP_gr在防水罩平面法向量的n_r方向上 投影长度为d，点P_gr坐标为：

第二次折射时转动角度为θ_r2＝θ_wr-θ_gr，由折射定理可知，三段折射光线 o_rP_ar,P_arP_gr,P_grP共面，故第二次转动仍绕轴向量v_r，应用四元数描述此次转动：

由转动四元数可求的折线P_grP的方向向量P_grP′

P_grP′＝q_r2·P_arP_gr′·q_r2 ^-1 (33)

同理，在右摄像机坐标系中，反投光线经过两次折射，可以得到向量P_glP的 方向向量P_grP′，两个点的公垂线中点即为待求空间点P；

至此，基于折射补偿算法的水下立体视觉测量模型建立完成，由图像位置 的几何关系可以直接从每个相机图像的中得到对应的匹配点和特征点，再由多 目视觉模型可直接得到特征点在摄像机下的三维坐标值，进而计算空间中特征 点的位移，实现刺参肉刺特征点的精确测距。

CCD相机的模型参数与CCD相机性能指标相关，与外界目标坐标无关，因 而相机内参数固定不变。通过标定求解相机内参数后可以作为已知量使用，从 而实现图像畸变矫正和三维重建等功能。其机理是通过CCD相机与平面靶标之 间的投影具有映射关系的可逆性操作，CCD相机拍摄的任意位置的平面靶标均 可映射。这种标定方法仅需要一个靶标，不仅较传统标定方法靶标易于加工、 标定过程操作简单，而且较相机自标定方法具有较高的标定精度。

本方案的具体工作过程：

本发明提供了一种基于多目立体视觉技术的海洋水质毒性监测装置。技术 方案如下：选取20只健康刺参活体作为监测对象，置于水下观测槽中，利用5 台经过水密处理的高清摄像机从五个方向构建多目立体视觉监测平台，实现了 一种专门针对刺参肉刺活动规律的水下多目立体视觉监测设备。该多目立体视 觉利用5台摄像机同时对刺参组拍照，根据特征识别方法辨识每个刺参在多个 摄像机图像上的位置关系，进而计算出每一个肉刺棘突点的三维坐标，从而实 现三维测量。

该装置特点是结构简单、非接触测量，不影响刺参群体的生活习性，能够 比较精确的测量刺参对于水质变化的反应(肉刺的伸缩)。发明内容包括以下2 个方面：

(1)多目立体视觉监测平台的构建

多目视觉监测平台主要包含以下三部分：多目摄像机组、刺参活性观测体 系、视觉信号处理运算算法，结构框架原理如图1所示。其中，多目摄像机组 由四台水下高清摄像机以固定角度组装而成，刺参活性观测体系由刺参观测槽 以及刺参活体组成，两个部分的直线间距在200mm-500mm范围内可调节。将一 组(20只)刺参放置在有机玻璃制作的观测槽衬底上，通过固定的多目视觉监 测平台观察特征点的相对位移，并将3D图像数据记录在上位机电脑中。该监 测平台将可以同时对20只以内的刺参活性开展监测，每50ms可以传回一张图 像特征，通过前后图像的特征点变化对比分析，得出刺参肉刺的运动规律，将 进行试验的每组刺参活动频率在计算机端统计分析转化为一组数字信号。

(2)刺参组的筛选

处于不同成长期的刺参对于水体污染的响应程度不同，因此要选择相对灵 敏刺参个体开展观测。本次实验所用刺参均由海洋牧场养殖区提供，选择体积 相近的分为5组，每组20个样品。将5组刺参同时放入相同的水体环境中， 分别改变水体的健康状态，记录5组刺参的行为反应，选择反应最为灵敏的1 组刺参作为监测对象。

刺参作为海洋牧场重要的养殖物种，每一只刺参的肉刺数量和大小均不 同，这就形成了非常鲜明的生物特征，非常容易通过机器视觉辨识区分个体， 适合基于此开展海洋牧场水质变化机制研究。经研究发现，正常情况下刺参都 处于缓慢蠕动状态,通过吸食沉积物来吸取养料；由于牧场中没有刺参的天敌 存在，因此主要考虑水质环境的影响，当环境发生变化时,如污染物的存在, 其口器就会闭合，背部的肉刺也会缩紧以抵御有害的环境变化。污染物浓度越 高，扩散速度越快，背部的肉刺缩紧速度也越快。因此,可通过其肉刺的缩紧 变化来监测水质状况。

本发明未经描述的技术特征可以通过或采用现有技术实现，在此不再赘 述，当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例， 本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加 或替换，也应属于本发明的保护范围。

Claims (6)

1.一种基于多目视觉技术的刺参活性监测方法，其特征在于，具体包括以下步骤：

步骤S1：准备好多目摄像机组，由四台相同的水下相机和四台相机组传动模块组成，其中，四台水下相机按照固定角度和固定距离，对称地安装在四台相机组传动模块上，其角度和距离取决于每一台水下相机能否完全、清晰地观测到整体目标区域；

步骤S2：建立刺参活性观测体系，刺参活性观测体系由刺参观测槽以及刺参活体组成，两个部分的直线间距在200mm-500mm范围内可调节；

步骤S3：选择体积相近的分为5组，每组20个样品，将5组刺参同时放入相同的水体环境中，分别改变水体的健康状态，记录5组刺参的行为反应，选择反应最为灵敏的1组刺参作为监测对象；

步骤S4：在最灵敏的那一组中，对每一只刺参的肉刺上、下边缘在相机中进行标识，将该组刺参放置在有机玻璃制作的观测槽衬底上，通过固定的多目视觉监测平台，观察特征点的相对位移，并将3D图像数据记录在上位机电脑中；

步骤S5：多目视觉监测平台和视觉信号处理运算电路之间通过水密线缆和水密接头连接，视觉信号处理运算电路处理每一路拍摄到的二维数字图像信息，通过电脑的进一步运算处理，将每一部摄像机拍摄到的图像进行三维标定、立体匹配和去除噪声，实现三维重建，得出活体刺参组的每一个刺参肉刺的位移变化；

步骤S6：通过50ms的图像拍摄速度，通过前后图像的特征点变化对比分析，得出刺参肉刺的运动规律，将进行试验的每组刺参活动频率，在计算机端统计分析，并转化为一组数字信号，进而得出肉刺的运动幅度和速度，进而反演海洋牧场水质变化机制。

2.根据权利要求1所述的基于多目视觉技术的刺参活性监测方法，其特征在于，所述步骤S1中，所述相机组传动模块的工作过程为：

步骤S11：采用3个步进电机驱动相机，使其在一定范围内自动调整位置：

步骤S12：相机的角度直接通过相机Z轴步进电机旋转调整；

步骤S13：相机的Y轴位移通过Y轴步进电机驱动Y轴丝杠调整，相机的X轴位移通过X轴步进电机驱动X轴丝杠调整，最终实现了多目摄像机调整角度及平面位置的功能。

3.根据权利要求2所述的基于多目视觉技术的刺参活性监测方法，其特征在于，所述步骤S5中，将图像进行三维标定的步骤为：

步骤S51：首先标定CCD相机的内参，然后整体系统的外参，因此，结构光系统的模型实际上包括CCD模型和结构光模型，根据光学系统的结构特点，建立了系统中的各种坐标系，包括CCD相机坐标系和世界坐标系(o_wx_wy_wz_w)，CCD坐标系系统又包括摄像机坐标系(oxyz)、像平面坐标系(OXY)和图像坐标系(o′uv)；

步骤S52：根据透视投影原理建立了考虑畸变的相机成像数学模型，从相机坐标系到世界坐标系的转换关系表示为：

其中，R为Rotation matrix，T为Translation matrix，点(x_w,y_w,z_w)经过旋转平移操作后得到摄像机坐标系下的点(x,y,z)，向量(r₁,r₂,r₃)、(r₄,r₅,r₆)、(r₇,r₈,r₉)分别为x_w,y_w,z_w在摄像机坐标(oxyz)中的单位方向矢量。

步骤S53：根据Perspective projection原理，可以得到像平面坐标系(OXY)和摄像机坐标系(oxyz)的关系：

其中，f表示焦距。

步骤S54：将点的坐标从像平面坐标系转换到像素坐标系可以表示为：

其中，已知X,Y单位为mm，N_x,N_y已知，表示CCD像面上X、Y轴中每个物理尺寸(mm)对应的像素个数，是相机的固定值，(u₀,v₀)为主坐标的原点。

步骤S55：像素(u,v)在成像平面中是矩形，因此在本文中引入了两个虚拟焦距f_x和f_y，这两个值分别为物理焦距f与N_x,N_y的乘积，综合式(2)和(3)有：由此可知w＝z，并通过相机标定求取M；

4.根据权利要求3所述的基于多目视觉技术的刺参活性监测方法，其特征在于，所述步骤S51中，将图像进行立体匹配的步骤为：

步骤S511：选择平面靶标，在相机工作范围内，拍摄多幅处于不同角度的棋盘靶标图像，为了提高标定精度，靶标相对于镜头中心的倾角应当不超过45°，避免产生畸变的部位难以提取；为了更多的靶点参与标定，应当多次切换靶标的位置，而且拍摄次数应当不低于10次，通过标定，可以获取CCD相机的内参矩阵、畸变参数、外参矩阵，同时也能够获得相机与靶标间的旋转矩阵和平移矩阵；

步骤S512：设靶标平面上一点Q(x_w,y_w,z_w)成像于像面上的q(X,Y)，它们之间的关系可以表示为：

此时靶标中的全部点都满足z_w＝0，上式可写成：

sq＝HQ (8)

式中，s为任意比例系数，H-λM[r₁ r₂ t]，记作H＝[h₁ h₂ h₃]，为3×3方阵，表示靶标上的目标点到像面的单应性矩阵。

步骤S513：控制靶标在相机视场内以不同位姿出现并获取相应图像，将多次提取的图像坐标以及世界坐标代入上式，求取单应性矩阵H，求解参数包括靶标每个位姿相对于相机坐标系的旋转和平移矩阵，可用3个坐标轴转过的角度和3个平移变化参数共6个参数表示，加上相机内参焦距(f_x,f_y)以及主点坐标(u₀,v₀)，需要求解的参数共10个，由于采用平面靶标，每个位姿图像可确定8个参数，因此求解所有参数至少需要两个不同位姿的靶标图像；

由于R为正交矩阵，由单应性矩阵H定义可以得到：

整理可得：

设

代入上式可求得B的通用形式封闭解为：

B为对称矩阵，因此可以写成以下形式：

B＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T (12)

令：

h_i ^TBh_j＝v_ij ^Tb (13)

式中，v_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h_i3h_j1+h_i1h_j3 h_i3h_j2+h_i2h_j3 h_i3h_j3]^T

将式(13)代入式(10)中，可以得到：

将所提取的多幅图像信息代入式(14)，联合式(11)，可以求解得到相机内参数为：

式中，λ＝B₃₃-[B₁₃ ²+c_y(B₁₂B₁₃-B₁₁B₂₃)]/B₁₁

由单应性矩阵定义可得：

由正交条件确定比例系数：λ＝1/M^-1h₁。

可知，畸变系数对图像坐标的影响是非线性的，因此用非线性最小二乘法计算畸变参数，利用相机内参数联合前文相机数学模型可以得到理想情况下的图像坐标：

联合畸变公式可得：

由相机数学模型可以得到：

联立式(17)、(18)和(19)，建立方程组可以求解畸变参数k₁与k₂。

基于以上算法，拍摄20幅不同位姿下的靶标图像，内参数矩阵标定结果为：

畸变系数k₁,k₂,p₁,p₁分别为-0.09478,0.145368,0.00015375,-0.001597。

根据相机内外参数标定结果，可以求解棋盘靶标上特征点在相机坐标系下的投影的坐标，将特征点三维坐标反投影到二维图像，获取特征点的反投影误差，以此检验相机内参的标定结果，统计每一幅棋盘靶标图像上特征点反投影误差的最大值，其误差范围为0.069-0.285像素，均小于0.3像素，具有较高的精度；

步骤S514：由上标定得到左右相机内参数f_x,f_y,c_x,c_y以及畸变系数k₁,k₂,p₁,p₁后，在此基础上，对两相机的位置转换关系，即相机外参数进行求解，

原理如下：

给定物体坐标系中的任意点P，我们可以分别用多台摄像机的单摄像机的单摄像机标定来将点P输入到左右摄像机的摄像机坐标系：

P_l＝R_lP+T_l (20)

P_r＝R_rP+T_r (21)

其中R_l,T_l表示左相机到世界坐标系的三维转换关系，R_r,T_r表示右相机到世界坐标系的三维转换关系；

在两台摄像机上的两个视图可以P_l＝R^T(P_r-T)用关联，其中R和T分别表示两个相机之间的旋转矩阵和平移向量，利用这三个等式分别求解旋转和平移，就可以推出下面的简单关系：

R＝R_rR_lT (22)

T＝T_r-RT_l (23)

在已由20幅不同姿态下的靶标得到相机内参和每个姿态下靶标与相机之间相对位置关系，即R_l,T_l和R_r,T_r的基础上，将各姿态下的的外参数带入式(22)、式(23)，可以求出两台相机之间的旋转和平移参数，由于图像噪声和舍入误差，每一对靶标图片都会使得R和T参的结果出现细小的不同，所以选择R和T的中值来作为真实结果的初始近似值，然后依据使反投影误差最小建立目标函数，优化视觉系统的内外参数，至此就完成多目视觉系统内外参数的标定。

5.根据权利要求4所述的基于多目视觉技术的刺参活性监测方法，其特征在于，所述步骤S4中，基于四元数求解折射补偿算法的水下测量模型，具体步骤如下：

进行折射补偿模型构建，由于相机应用于水下时需用其地进行密封，端窗采用石英玻璃，由于折射效应，若对系统直接用陆上测量模型计算标定点位置，则会造成位置上的偏差，和距离上的误差,为实现对水下距离的精密测量，基于四元求解折射补偿算法原理是：通过对经玻璃上下表面折射，最终在相机像面上成像的光线的回溯，求解未经玻璃上下表面折射的光线，分别对左右相机匹配的标定点进行上述操作，最终求解得到左右相机未经玻璃折射光线，对两条光线求交点，则认为所求交点就是经折射补偿后的待测点的空间实际位置所在。

6.根据权利要求5所述的基于多目视觉技术的刺参活性监测方法，其特征在于，所述步骤S4中，当光线在右相机下折射时，具体四元求解折射补偿算法如下：

假设P点为待观测点，其在右相机坐标系下坐标为(x_r,y_r,z_r)，其经透明防水外壳上下表面折射后，在相面上的成像点为p_r(u_r,v_r)，则P在右相机坐标系下所表征的光线o_rp_r向量为(u_r-u₀/N_x,u_r-u₀/N_y，f)，假设已知右相机光心到玻璃面的距离h_r，和玻璃面的法向量n_r，则可得光线束o_rp_r与透明防水罩表面的交点P_a所对应向量为：

且光线在P_a点处发生折射，由于已知玻璃面法向量n_r以及入射光线o_rP_ar，可求得入射角为：

由折射定理我们可以求出出射角为：

由折射定理我们可知入射光、法线、折射光线在同一平面上，且转动角度为θ_r1＝θ_gr-θ_ar，应用四元数定义折射旋转，折射过程绕轴v完成，描述折射向量转动的四元数记作q，则有：

则折射后的向量P_arP_gr的方向向量P_arP_gr′可由下式求得：

P_arP_gr′＝q_r1·o_rP_ar·q_r1 ^-1 (29)

同理，当光线在其内部传输达到防水罩下表面时光线会在点P_ar发生第二次折射，推导过程与第一次折射相同，向量P_arP_gr在防水罩平面法向量的n_r方向上投影长度为d，点P_gr坐标为：

第二次折射时转动角度为θ_r2＝θ_wr-θ_gr，由折射定理可知，三段折射光线o_rP_ar,P_arP_gr,P_grP共面，故第二次转动仍绕轴向量v_r，应用四元数描述此次转动：

由转动四元数可求的折线P_grP的方向向量P_grP′

P_grP′＝q_r2·P_arP_gr′·q_r2 ^-1 (33)

同理，在右摄像机坐标系中，反投光线经过两次折射，可以得到向量P_glP的方向向量P_grP′，两个点的公垂线中点即为待求空间点P；

至此，基于折射补偿算法的水下立体视觉测量模型建立完成，由图像位置的几何关系可以直接从每个相机图像的中得到对应的匹配点和特征点，再由多目视觉模型可直接得到特征点在摄像机下的三维坐标值，进而计算空间中特征点的位移，实现刺参肉刺特征点的精确测距。

Images