CN106530355A - 一种基于光纤以太网的多目摄像机同步数据采集方法 - Google Patents

Abstract

本发明公开了一种基于光纤以太网的多目摄像机同步数据采集方法，主要包括三目摄像机标定和三通道以太网的同步偏振图像数据采集，三通道标定中包括求取摄像机的内部参数、外部参数和摄像机之间参数；三目摄像机基于光纤以太网连接，形成三通道同步采集，光纤以太网使用以太网令牌，控制三通道之前延时时间补偿，同步实现图像数据采集。与现有技术相比，本发明使用的每个摄像机标定一次，摄像机之间参数需要标定两次。此方法适用于多目摄像机标定，需标定的参数较少，计算量较小，数据交换方便，运行速度较快。

Description

一种基于光纤以太网的多目摄像机同步数据采集方法

技术领域

本发明涉及一种基于光纤以太网的多目摄像机同步数据采集方法基于光纤以太网的多目摄像机同步数据采集方法，属于机器视觉的技术领域。

背景技术

传统的成像技术主要采集来自目标辐射的光谱和强度信息，当目标在水下时，水的散射及水面的反射造成图像反差下降，从而影响对目标物体的观测与识别，采用传统的强度成像技术无法有效检测与识别，为实现在这些复杂背景使用环境中识别和捕获感兴趣的目标，需要发展新的成像技术。偏振成像其利用物质的偏振特性来提高目标与背景的对比度，降低了目标检测过程中的难度，同时减少了计算量，早期的偏振成像系统一般只能获取目标的线偏振分量，而随着目标探测技术的发展，成像系统越来越不能满足现代目标探测与识别的需要。

根据偏振测量理论，目标多个偏振分量图像必须在相同的条件下获得，偏振成像结果的正确性依赖于整个成像过程中目标和图像传感器都处于静止状态且光辐射环境不变。然而在实际使用环境中，图像传感器可能处于运动中，或需要检测运动的目标，尤其是水下环境测量时会引入误差甚至虚假偏振信息。为此，需要发展同时偏振成像技术，即通过同步曝光获得目标的多幅偏振分量图像。同时偏振成像探测精度高、不受探测目标和系统自身相互运动以及外界环境扰动的影响，探测速度快，可用于快速运动目标的探测，系统中无运动器件，稳定性和可靠性大大提高，是偏振成像系统的必然发展趋势。

发明内容

发明目的：本发明设计了一种基于光纤以太网的三目标定方法和同步采集方法，主要包括三目摄像机标定和三通道同步偏振图像数据采集，三通道标定用以求解摄像机的各种外部、内部参数以及摄像机之间参数，包括摄像机的水平方向放大系数，垂直方向放大系数，水平方向和垂直方向的耦合放大系数，摄像机拍摄图像中心的横坐标和纵坐标，以及径向畸变系数，绕x,y,z轴旋转角度和光心坐标，摄像机之间参数包括旋转矩阵以及平移矢量；三目摄像机基于光纤以太网连接，形成三通道同步采集，光纤以太网使用以太网令牌，控制三通道之前延时时间补偿，同步实现图像数据采集。与现有技术相比，本发明使用的每个摄像机标定一次，摄像机之间参数需要标定两次。此方法适用于多目摄像机标定，需标定的参数较少，计算量较小，数据交换方便，运行速度较快。

技术方案：一种基于光纤以太网的多目摄像机同步数据采集方法，包括三通道标定和三通道同步采集两大步骤；

所述三通道标定步骤中，基于拍摄的标定板求取摄像机的内部参数、外部参数和摄像机之间参数；所述内部参数包括摄像机的水平方向放大系数λ_x，垂直方向放大系数λ_y，水平方向和垂直方向的耦合放大系数λ_s，摄像机拍摄图像中心的横坐标u₀和纵坐标v₀，以及径向畸变系数；所述外部参数包括绕x、y、z轴旋转角度α、β、γ和光心坐标(x_c,y_c,z_c)；所述摄像机之间参数包括旋转矩阵R以及平移矢量T。

所述标定步骤具体包括：

(1)安装固定好三通道摄像机，摄像机按顺序设置为摄像机1、摄像机2、摄像机3，将标定板事先放置好，选择摄像机1，调整好焦距；

(2)用摄像机1正直拍摄标定板，得到目标阵列n×m的图像；

(3)建立摄像机内部参数模型，具有5个参数，模型如下：

(4)根据图像坐标和对象空间坐标的关系，利用线性最小二乘法，求出标定系数矩阵M_in，得出内部参数；

(5)根据求得的标定系数矩阵M_in，求出图像点在焦距归一化成像平面上的成像点坐标，并基于径向畸变模型，求得径向畸变系数，建立径向畸变模型：

其中，(u,v)为图像实际坐标，r为图像点到参考点(u′,v′)的距离，k_u′和k_v′为二阶畸变系数。

所述摄像机之间的参数，具体求解过程包括：

(1)考虑到空间一点p，在世界坐标系中坐标矢量为X，在摄像机1和摄像机2中摄像机坐标系中的坐标矢量为x_c1和x_c2，两坐标系之间的关系为：

这样从摄像机1到摄像机2的关系为：

x_c2＝Rx_c1+T (5)

其中T＝T₂-RT₁，求得摄像机之间的旋转矩阵R和平移矢量T。

(2)在摄像机2和摄像机3中摄像机坐标系中的坐标矢量为x_c2和x_c3，两坐标系之间的关系为：

这样从摄像机2到摄像机3的关系为：

x_c3＝Rx_c2+T (7)

其中T＝T₃-RT₂，求得摄像机2和3之间的旋转矩阵和平移矢量。

所述三通道同步步骤具体包括：

(1)把数字信号处理单元即DSP模块设定为主站，每个通道偏振成像模块包括一个FPGA模块，和主站组成以太网通信网络，主站为周期性发送数据的各个偏振成像通道产生令牌，通道数据发送周期分别为ti(i＝1，2，3)；

(2)三个偏振成像通道根据其在控制网络中的偏振角度在初始化时被分配一个逻辑序号00、01和10，将逻辑序号按顺序连接，三通道和主站首尾成像通道相连便形成了一个逻辑环；

(3)采用令牌技术控制各成像通道的数据发送，并设令牌在3个通道之间轮流传递一次，各通道完成一次数据发送所需的时间为S，则S应满足S＜min(S1，S2，S3)；

(4)令牌的起始和结束定界符的位格式都是JK0JK000；访问控制字段的位格式是PPPUMRRR(PPP是3个优先级位，RRR 为3个预约比特，这里表示各通道接收数据帧后所需延时时间，U用于表示令牌的状态)，延时时间根据令牌逻辑传递顺序，设定三通道同步；

(5)在基于令牌协议的三通道以太网络中，只有当令牌的优先级低于各通道设备的优先级时，各成像通道才能获得空闲的令牌，然后把数据发送出去，所以令牌的访问控制字段PPP始终保持为000；U设置为0，表示此时的令牌处于空闲状态；为1则表示此时的令牌处于忙状态，即被成像通道捕获；

(6)主站产生令牌以后，然后封装成令牌帧，各通道在初始化时，在电子表格中保存了逻辑号顺序和通道地址，接收令牌的通道，开启计数器，读取控制字段中延时时间，当计算器达到延时时间，开始偏振成像数据采集。

有益效果：与现有技术相比，本发明提供的基于光纤以太网的多目摄像机同步数据采集方法，具有以下优点：

1、本发明使用的每个摄像机标定一次，摄像机之间参数需要标定两次。

2、进行多次标定时，需标定的参数较少，计算量较少，运行速度较快。

综上所述，本发明能够满足面向水下偏振成像的要求。

附图说明

图1为本发明的方法总体流程图；

图2为本发明的三通道标定流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，基于光纤以太网的多目摄像机同步数据采集方法，包括三通道标定和三通道同步采集两大步骤；

所述三通道标定步骤中，基于拍摄的标定板求取摄像机的内部参数、外部参数和摄像机之间参数；所述内部参数包括摄像机的水平方向放大系数λ_x，垂直方向放大系数λ_y，水平方向和垂直方向的耦合放大系数λ_s，摄像机拍摄图像中心的横坐标u₀和纵坐标v₀，以及径向畸变系数；所述外部参数包括绕x、y、z轴旋转角度α、β、γ和光心坐标(x_c,y_c,z_c)；所述摄像机之间参数包括旋转矩阵R以及平移矢量T。

其中：

如图2所示，所述标定步骤具体包括：

(1)安装固定好三通道摄像机，摄像机按顺序设置为摄像机1、摄像机2、摄像机3，将标定板事先放置好，选择摄像机1，调整好焦距；

(2)用摄像机1正直拍摄标定板，得到目标阵列n×m的图像；

(3)建立摄像机内部参数模型，具有5个参数，模型如下：

(4)根据图像坐标和对象空间坐标的关系，利用线性最小二乘法，求出标定系数矩阵M_in，得出内部参数；

(5)根据求得的标定系数矩阵M_in，求出图像点在焦距归一化成像平面上的成像点坐标，并基于径向畸变模型，求得径向畸变系数，建立径向畸变模型：

其中，(u,v)为图像实际坐标，r为图像点到参考点(u′,v′)的距离，k_u′和k_v′为二阶畸变系数。

所述摄像机之间的参数，具体求解过程包括：

(1)考虑到空间一点p，在世界坐标系中坐标矢量为X，在摄像机1和摄像机2中摄像机坐标系中的坐标矢量为x_c1和x_c2，两坐标系之间的关系为：

这样从摄像机1到摄像机2的关系为：

x_c2＝Rx_c1+T (5)

其中T＝T₂-RT₁，求得摄像机之间的旋转矩阵R和平移矢量T。

(2)在摄像机2和摄像机3中摄像机坐标系中的坐标矢量为x_c2和x_c3，两坐标系之间的关系为：

这样从摄像机2到摄像机3的关系为：

x_c3＝Rx_c2+T (7)

其中T＝T₃-RT₂，求得摄像机2和3之间的旋转矩阵和平移矢量。

所述三通道同步步骤具体包括：

(1)把数字信号处理单元即DSP模块设定为主站，每个通道偏振成像模块包括一个FPGA模块，和主站组成以太网通信网络，主站为周期性发送数据的各个偏振成像通道产生令牌，通道数据发送周期分别为ti(i＝1，2，3)；

(2)三个偏振成像通道根据其在控制网络中的偏振角度在初始化时被分配一个逻辑序号00、01和10，将逻辑序号按顺序连接，三通道和主站首尾成像通道相连便形成了一个逻辑环；

(3)采用令牌技术控制各成像通道的数据发送，并设令牌在3个通道之间轮流传递一次，各通道完成一次数据发送所需的时间为S，则S应满足S＜min(S1，S2，S3)；

(4)令牌的起始和结束定界符的位格式都是JK0JK000；访问控制字段的位格式是PPPUMRRR(PPP是3个优先级位，RRR为3个预约比特，这里表示各通道接收数据帧后所需延时时间，U用于表示令牌的状态)，延时时间根据令牌逻辑传递顺序，设定三通道同步；

(5)在基于令牌协议的三通道以太网络中，只有当令牌的优先级低于各通道设备的优先级时，各成像通道才能获得空闲的令牌，然后把数据发送出去，所以令牌的访问控制字段PPP始终保持为000；U设置为0，表示此时的令牌处于空闲状态；为1则表示此时的令牌处于忙状态，即被成像通道捕获；

(6)主站产生令牌以后，然后封装成令牌帧，各通道在初始化时，在电子表格中保存了逻辑号顺序和通道地址，接收令牌的通道，开启计数器，读取控制字段中延时时间，当计算器达到延时时间，开始偏振成像数据采集。

Claims (4)

1.一种基于光纤以太网的多目摄像机同步数据采集方法，其特征在于：包括三通道标定和三通道同步采集两大步骤；三通道标定用以求解摄像机的各种外部、内部参数以及摄像机之间参数，包括摄像机的水平方向放大系数，垂直方向放大系数，水平方向和垂直方向的耦合放大系数，摄像机拍摄图像中心的横坐标和纵坐标，以及径向畸变系数，绕x,y,z轴旋转角度和光心坐标，摄像机之间参数包括旋转矩阵以及平移矢量；三目摄像机基于光纤以太网连接，形成三通道同步采集，光纤以太网使用以太网令牌，控制三通道之前延时时间补偿，同步实现图像数据采集。

2.如权利要求1所述的基于光纤以太网的多目摄像机同步数据采集方法，其特征在于：所述标定步骤具体包括：

(1)安装固定好三通道摄像机，摄像机按顺序设置为摄像机1、摄像机2、摄像机3，将标定板事先放置好，选择摄像机1，调整好焦距；

(2)用摄像机1正直拍摄标定板，得到目标阵列n×m的图像；

(3)建立摄像机内部参数模型，具有5个参数，模型如下：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{\λ}}_x& {\mathrm{\λ}}_s& u_0\\ 0& {\mathrm{\λ}}_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_c/z_c\\ y_c/z_c\\ 1\end{array}\right]=M_{in}\left[\begin{array}{c}{x}_c/z_c\\ y_c/z_c\\ 1\end{array}\right]---\left(1\right)$

(4)根据图像坐标和对象空间坐标的关系，利用线性最小二乘法，求出标定系统矩阵M_in，得出内部参数；

(5)根据求得的标定系数矩阵M_in，求出图像点在焦距归一化成像平面上的成像点坐标，并基于径向畸变模型，求得径向畸变系数，建立径向畸变模型：

$\left\{\begin{array}{c}u-u_0=(u^{\′}-u_0)(1+k_u^{\′}{r}^2)\\ v-v_0=(v^{\′}-v_0)(1+k_v^{\′}{r}^2)\end{array}\right.---\left(2\right)$

其中，(u,v)为图像实际坐标，r为图像点到参考点(u′,v′)的距离，k′_u和k′_v为二阶畸变系数。

3.如权利要求1所述的基于光纤以太网的多目摄像机同步数据采集方法，其特征在于：所述摄像机之间的参数，具体求解过程包括：

(1)考虑到空间一点p，在世界坐标系中坐标矢量为X，在摄像机1和摄像机2中摄像机坐标系中的坐标矢量为x_c1和x_c2，两坐标系之间的关系为：

$\begin{array}{c}{x}_{c1}=R_{1}X+T_1\\ x_{c2}=R_{2}X+T_2\end{array}---\left(3\right)$

这样从摄像机1到摄像机2的关系为：

x_c2＝Rx_c1+T (4)

其中R＝R₂R₁ ^-1，T＝T₂-RT₁，求得摄像机之间的旋转矩阵和平移矢量。

(2)在摄像机2和摄像机3中摄像机坐标系中的坐标矢量为x_c2和x_c3，两坐标系之间的关系为：

x_c2＝R₂X+T₂

x_c3＝R₃X+T₃ (5)

这样从摄像机2到摄像机3的关系为：

x_c3＝Rx_c2+T (6)

其中T＝T₃-RT₂，求得摄像机2和3之间的旋转矩阵和平移矢量。

4.如权利要求1所述的基于光纤以太网的多目摄像机同步数据采集方法，其特征在于：所述三通道同步步骤具体包括：

(1)把数字信号处理单元即DSP模块设定为主站，每个通道偏振成像模块包括一个FPGA模块，和主站组成以太网通信网络，主站为周期性发送数据的各个偏振成像通道产生令牌，通道数据发送周期分别为ti(i＝1，2，3)；

(2)三个偏振成像通道根据其在控制网络中的偏振角度在初始化时被分配一个逻辑序号00、01和10，将逻辑序号按顺序连接，三通道和主站首尾成像通道相连便形成了一个逻辑环；

(3)采用令牌技术控制各成像通道的数据发送，并设令牌在3个通道之间轮流传递一次，各通道完成一次数据发送所需的时间为S，则S应满足S＜min(S1，S2，S3)；

(4)令牌的起始和结束定界符的位格式都是JK0JK000；访问控制字段的位格式是PPPUMRRR(PPP是3个优先级位，RRR为3个预约比特，这里表示各通道接收数据帧后所需延时时间，U用于表示令牌的状态)，延时时间根据令牌逻辑传递顺序，设定三通道同步；

(5)在基于令牌协议的三通道以太网络中，只有当令牌的优先级低于各通道设备的优先级时，各成像通道才能获得空闲的令牌，然后把数据发送出去，所以令牌的访问控制字段PPP始终保持为000；U设置为0，表示此时的令牌处于空闲状态；为1则表示此时的令牌处于忙状态，即被成像通道捕获；

(6)主站产生令牌以后，然后封装成令牌帧，各通道在初始化时，在电子表格中保存了逻辑号顺序和通道地址，接收令牌的通道，开启计数器，读取控制字段中延时时间，当计算器达到延时时间，开始偏振成像数据采集。