CN111083310A - 2d线阵相机和3d线阵相机数据同步的处理方法及系统 - Google Patents

Abstract

本发明公开了一种2D线阵相机和3D线阵相机数据同步的处理方法及系统，其，其中处理方法包括：1、标定包括2D线阵相机和3D线阵相机的两线阵相机；2、设置2D线阵相机获取数据流的成像宽度W1，并根据W1计算出3D线阵相机获取数据流的成像宽度W2；3、分别通过两同步触发信号启动两线阵相机；4、当W1达到预设值时，比较3D线阵相机当前获取到到的数据流的宽度W2’与W2的差值，如果该差值超出误差范围，删除当前两线阵相机缓存的图像数据，并重置两线阵相机；通过上述处理方法可确保2D线阵相机和3D线阵相机保存的成像数据同步进行，进而保证了后面对成像数据处理的准确性，以得到准确物体准确的RGBD信息。

Description

2D线阵相机和3D线阵相机数据同步的处理方法及系统

技术领域

本发明涉及多种相机数据同步协同处理技术领域，尤其涉及一种2D线阵相机和3D线阵相机数据同步的处理方法及系统。

背景技术

机器人输送带是智能分选系统中的必备设备，机器人通过获取输送带上的物体信息抓取待分选物体，具体是：通过图像信息处理技术获取物体的图像信息(RGB)和高度信息(Depth)后，将识别出来物体的类别信息和位置信息发送给机器人，让机器人实现在线实时抓取。对于物体的RGB信息的获取一般是通过2D线阵相机进行的，而对物体的Depth信息的获取，有下面两个途径，一是通过安装在机器人末梢上的距离传感器获取，这种方式比较简单，但是由于距离传感器无法从整体上把控物体的高度，智能通过物体的局部信息来代替整体信息，这样，对于均匀规则的物体比较适用，而对于不规则物体来讲，这种方法容易出错，造成机器人的抓手与物体发生撞击；二是，通过2D线阵相机和3D线阵相机结合的方式完成对物体RGBD信息的获取，采用2D线阵相机和3D线扫相机来获取物体的RGBD信息时，两个相机之间标定完成(即2D线阵相机图片可以投影到3D上，3D线阵相机点云上的物体可以投影到2D上)后，必须保证2D线阵相机和3D线阵相机采集的信息在某个时间段走过的视野区域一样，也就是对于2D线阵相机相对于3D线阵相机来说，同一时刻的原点方向距离不变，终点方向距离不变。如果视野起始点每次采集都不一样的情况下，就会出现如图2和图3所示情况，2D线阵相机识别出来的A物体经过标定后的数据对3D线阵相机进行投影后，在3D线阵相机上会出映射数据区中上并没有A物体，导致机器人不能抓取物体。而现有技术中，对2D线阵相机和3D线阵相机的数据同步处理做的还不够理想，使用过程中两者出现不同的几率还是比较大的。

发明内容

本发明的目的是为解决上述技术问题的不足而提供一种可有效保证2D线阵相机和3D线阵相机联合使用过程中数据同步的2D线阵相机和3D线阵相机数据同步的处理方法。

本发明的另一目的是，提供一种2D线阵相机和3D线阵相机数据同步的处理系统，以有效保证2D线阵相机和3D线阵相机联合使用过程中的数据同步。

为了实现上述目的，本发明公开了一种2D线阵相机和3D线阵相机数据同步的处理方法，其包括如下步骤：

步骤1)、标定2D线阵相机和3D线阵相机，以关联所述2D线阵相机和所述3D线阵相机的参考坐标系；

步骤2)、根据需要，设置所述2D线阵相机获取数据流的成像宽度W1，并根据所述2D线阵相机和所述3D线阵相机之间的标定关系计算出所述3D线阵相机获取数据流的成像宽度W2；

步骤3)、分别通过两同步触发信号启动所述2D线阵相机和所述3D线阵相机，所述2D线阵相机和所述3D线阵相机将当前所接收到的一帧图像数据与之前接收到的图像数据拼接后进行缓存；

步骤4)、判断W1是否达到预设值，如果是，比较所述3D线阵相机当前获取到到的数据流的宽度W2’与W2的差值，如果该差值在误差范围内，进入下述步骤5，如果该差值超出误差范围，进入下述步骤6；

步骤5)、将所述2D线阵相机和所述3D线阵相机当前拼接成的图像数据移至待处理存储区；

步骤6)、删除当前所述2D线阵相机和所述3D线阵相机缓存的图像数据，并重置所述2D线阵相机和所述3D线阵相机，并重复上述步骤4至7。

与现有技术相比，本发明2D线阵相机和3D线阵相机数据同步的处理方法，通过同步触发信号同时启动经过标定的2D线阵相机和3D线阵相机，以确保2D线阵相机和3D线阵相机获取数据流的同步性，即使某一帧图像数据出现细微误差，也不会对之后的数据造成累计误差；另外，根据2D线阵相机的获取数据流的成像宽度W1计算3D线阵相机获取数据流的成像宽度W2，当2D线阵相机获取的收据流达到成像宽度W1时，根据W2判断当前3D线阵相机的数据流宽度是否在误差范围内，如果是，即可保存当前2D线阵相机和3D线阵相机的成像数据，如果否，则删除2D线阵相机和3D线阵相机当前成像数据，重置后重新读取并判断，这样，从而确保2D线阵相机和3D线阵相机保存的成像数据同步进行，进而保证了后面对成像数据处理的准确性，以得到准确物体准确的RGBD信息。

较佳地，所述2D线阵相机和所述3D线阵相机与同一编码器电性连接，所述编码器用于为所述2D线阵相机和所述3D线阵相机提供同步触发信号。

较佳地，为所述2D线阵相机开辟出第一数据缓存区和第二数据缓存区，为所述3D线阵相机开辟出第三数据缓存区和第四数据缓存区，所述第一数据缓存区和所述第三数据缓存区用于缓存所述步骤3中待拼接的图像数据，所述第二数据缓冲区和所述第四数据缓存区用于存储所述步骤5中拼接完成等待进一步处理的图像数据。

本发明还公开一种2D线阵相机和3D线阵相机数据同步的处理系统，其包括标定模块、取流宽度设置模块、信号触发模块、第一数据接收处理模块、第二数据接收处理模块、比对模块以及判断模块；

所述标定模块，用于标定2D线阵相机和3D线阵相机，以关联所述2D线阵相机和所述3D线阵相机的参考坐标系；

所述取流宽度设置模块，用于设置所述2D线阵相机获取数据流的成像宽度W1，并根据所述2D线阵相机和所述3D线阵相机之间的标定关系计算出所述3D线阵相机获取数据流的成像宽度W2；

所述信号触发模块，用于提供两路同步触发信号，并通过两路同步触发信号启动所述2D线阵相机和所述3D线阵相机；

所述第一数据接收处理模块，用于接收所述2D线阵相机当前获取到的一帧图像数据并与之前接收的图像数据拼接后进行缓存；

所述第二数据接收处理模块，用于接收所述3D线阵相机当前获取到的一帧图像数据并与之前接收的图像数据拼接后进行缓存；

当W1达到预设值时，所述比对模块用于比较所述3D线阵相机当前获取到到的数据流的宽度W2’与W2的差值；

所述判断模块，用于根据所述比对模块的比对结果，判断决定所述2D线阵相机和所述3D线阵相机使用或丢弃当前所缓存的图像数据。

较佳地，所述信号触发模块包括一编码器和与所述编码器电性连接的编码信号分配器，所述编码信号分配器将所述编码器发出的触发信号分配成两路同步触发信号。

较佳地，所述2D线阵相机中设置有第一数据缓存区和第二数据缓存区，所述3D线阵相机中设置有第三数据缓存区和第四数据缓存区，所述第一数据缓存区和所述第三数据缓存区分别用于缓存待拼接的图像数据，所述第二数据缓存区和用于存储经所述判断模块判断为可以使用的当前所述2D线阵相机的图像数据，所述第四数据缓存区和用于存储经所述判断模块判断为可以使用的当前所述3D线阵相机的图像数据。

另外，本发明还公开一种2D线阵相机和3D线阵相机数据同步的处理系统，其包括：

一个或多个处理器；

存储器；

以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的2D线阵相机和3D线阵相机数据同步的处理方法的指令。

其次，本发明还公开一种计算机可读存储介质，其包括测试用计算机程序，所述计算机程序可被处理器执行以完成如上所述的2D线阵相机和3D线阵相机数据同步的处理方法。

附图说明

图1为本发明实施例2D线阵相机和3D线阵相机数据同步的处理方法的流程示意图。

图2为2D线阵相机形成的图像示意图。

图3为2D线阵相机与3D线阵相机数据不同步时3D线阵相机内的投影示意图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

本发明公开了一种2D线阵相机和3D线阵相机数据同步的处理方法，本实施例中，2D线阵相机和3D线阵相机结合使用，以获取获取目标物体的RGBD信息，然后将该RGBD信息传输给分拣机器人，以使得分选机器人准确获取到目标物体的位置、姿态和高低信息。为了确保2D线阵相机和3D线阵相机的数据同步，如图1所示，上述处理方法包括如下步骤：

S1:标定2D线阵相机和3D线阵相机，以关联2D线阵相机和3D线阵相机的参考坐标系，也即在2D线阵相机的数据和3D线阵相机的数据之间建立一种比例映射关系；

S2:根据需要，设置2D线阵相机获取数据流的成像宽度W1，并根据2D线阵相机和3D线阵相机之间的标定关系计算出3D线阵相机获取数据流的成像宽度W2；如果步骤2中，2D线阵相机和3D线阵相机之间的参考坐标系的映射比例关系为1:2，W1的值为100，那么W2的值即设置为200；

S3:分别通过两同步触发信号启动2D线阵相机和3D线阵相机读取数据流；

S4：将2D线阵相机和3D线阵相机将当前所接收到的一帧图像数据与之前接收到的图像数据拼接后进行缓存，即：当获取到第一帧图像数据后，直接进行缓存，当获取到第二帧图像数据后，将其与第一帧图像数据拼接后进行缓存，当获取到第三帧图像数据后，将其与前面已经拼接在一起的两帧图像数据拼接在一起，下面接收的图像数据以此类推；

S5：判断W1是否达到预设值:；

S6：如果是，比较3D线阵相机当前获取到到的数据流的宽度W2’与W2的差值δW，如果δW在误差范围内，进入下述S7，如果δW超出误差范围，进入下述S8；

S7：将2D线阵相机和3D线阵相机当前拼接成的图像数据移至待处理存储区；转移完成后，即可将2D线阵相机中待处理存储区中的图像数据投影到3D线阵相机中的待处理存储区的图像数据上，然后对3D线阵相机中的点云数据进行下一步的处理，以便机器人的调用；

S8：删除当前2D线阵相机和3D线阵相机缓存的图像数据，并重置2D线阵相机和3D线阵相机，并重复上述步骤S3至S8。

由上述2D线阵相机和3D线阵相机数据同步的处理方法可知，通过同步触发信号同时启动经过标定的2D线阵相机和3D线阵相机，以确保2D线阵相机和3D线阵相机获取数据流的同步性，即使某一帧图像数据出现细微误差，也不会对之后的数据造成累计误差；另外，根据2D线阵相机的获取数据流的成像宽度W1计算3D线阵相机获取数据流的成像宽度W2，当2D线阵相机获取的收据流达到成像宽度W1时，根据W2判断当前3D线阵相机的数据流宽度是否在误差范围内，如果是，即可保存当前2D线阵相机和3D线阵相机的成像数据，如果否，则删除2D线阵相机和3D线阵相机当前成像数据，重置后重新读取并判断，这样，从而确保2D线阵相机和3D线阵相机保存的成像数据同步进行。进而保证了后面对成像数据处理的准确性，以得到准确物体准确的RGBD信息。

进一步地，2D线阵相机和3D线阵相机与同一编码器电性连接，编码器用于为2D线阵相机和3D线阵相机提供同步触发信号。本实施例中，通过同一个编码器发出的两路触发信号触发2D线阵相机和3D线阵相机，将编码器与2D线阵相机和3D线阵相机连接好后，配置2D线阵相机和3D线阵相机的编码倍频/分频系数，使得2D线阵相机拍摄出来的物体与3D线阵相机拍摄出来的物体尺寸和真实的物体成比例。

在上述处理方法的执行过程中，为便于对图像数据拼接数据和完整图像数据的保存和转移，较佳地，为2D线阵相机开辟出第一数据缓存区和第二数据缓存区，为3D线阵相机开辟出第三数据缓存区和第四数据缓存区，第一数据缓存区和第三数据缓存区用于缓存上述步骤3中待拼接的图像数据，第二数据缓冲区和第四数据缓存区用于存储步骤5中拼接完成等待进一步处理的图像数据。即：2D线阵相机和3D线阵相机在接收数据流过程中拼接的图像数据分别存储在第一数据缓存区和第三数据缓存区，当2D线阵相机一次取流完毕后，如果3D线阵相机当前的数据流成像宽度W2’在预设范围内，分别将第一数据缓存区和第三数据缓存区内的图像数据拷贝至第二数据缓存区和第四数据缓存区，并清空第一数据缓存区和第三数据缓存区。

为便于上述处理方法的实施，本发明还公开了一种2D线阵相机和3D线阵相机数据同步的处理系统，其包括标定模块、取流宽度设置模块、信号触发模块、第一数据接收处理模块、第二数据接收处理模块、比对模块以及判断模块；标定模块，用于标定2D线阵相机和3D线阵相机，以关联2D线阵相机和3D线阵相机的参考坐标系；取流宽度设置模块，用于设置2D线阵相机获取数据流的成像宽度W1，并根据2D线阵相机和3D线阵相机之间的标定关系计算出3D线阵相机获取数据流的成像宽度W2；信号触发模块，用于提供两路同步触发信号，并通过两路同步触发信号启动2D线阵相机和3D线阵相机；第一数据接收处理模块，用于接收2D线阵相机当前获取到的一帧图像数据并与之前接收的图像数据拼接后进行缓存；第二数据接收处理模块，用于接收3D线阵相机当前获取到的一帧图像数据并与之前接收的图像数据拼接后进行缓存；当W1达到预设值时，比对模块用于比较3D线阵相机当前获取到到的数据流的宽度W2’与W2的差值；判断模块，用于根据比对模块的比对结果，判断决定2D线阵相机和3D线阵相机使用或丢弃当前所缓存的图像数据。信号触发模块包括一编码器和与编码器电性连接的编码信号分配器，编码信号分配器将编码器发出的触发信号分配成两路同步触发信号。进一步地，2D线阵相机中设置有第一数据缓存区和第二数据缓存区，3D线阵相机中设置有第三数据缓存区和第四数据缓存区，第一数据缓存区和第三数据缓存区分别用于缓存待拼接的图像数据，第二数据缓存区和用于存储经判断模块判断为可以使用的当前2D线阵相机的图像数据，第四数据缓存区和用于存储经判断模块判断为可以使用的当前3D线阵相机的图像数据。关于上述处理系统的工作原理和工作过程详见上述处理方法，在此不再赘述。

本发明还公开另外一种形式的2D线阵相机和3D线阵相机数据同步的处理系统，其包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序被存储在存储器中，并且被配置成由一个或多个处理器执行，程序包括用于执行如上所述的2D线阵相机和3D线阵相机数据同步的处理方法的指令。

其次，本发明还公开一种计算机可读存储介质，其包括测试用计算机程序，计算机程序可被处理器执行以完成如上所述的2D线阵相机和3D线阵相机数据同步的处理方法。

以上所揭露的仅为本发明的优选实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。

Claims (8)

1.一种2D线阵相机和3D线阵相机数据同步的处理方法，其特征在于，包括如下步骤：

步骤1)、标定2D线阵相机和3D线阵相机，以关联所述2D线阵相机和所述3D线阵相机的参考坐标系；

步骤2)、根据需要，设置所述2D线阵相机获取数据流的成像宽度W1，并根据所述2D线阵相机和所述3D线阵相机之间的标定关系计算出所述3D线阵相机获取数据流的成像宽度W2；

步骤3)、分别通过两同步触发信号启动所述2D线阵相机和所述3D线阵相机，所述2D线阵相机和所述3D线阵相机将当前所接收到的一帧图像数据与之前接收到的图像数据拼接后进行缓存；

步骤4、判断W1是否达到预设值，如果是，比较所述3D线阵相机当前获取到到的数据流的宽度W2’与W2的差值，如果该差值在误差范围内，进入下述步骤5，如果该差值超出误差范围，进入下述步骤6；

步骤5、将所述2D线阵相机和所述3D线阵相机当前拼接成的图像数据移至待处理存储区；

步骤6)、删除当前所述2D线阵相机和所述3D线阵相机缓存的图像数据，并重置所述2D线阵相机和所述3D线阵相机，并重复上述步骤3至6。

2.根据权利要求1所述的2D线阵相机和3D线阵相机数据同步的处理方法，其特征在于，所述2D线阵相机和所述3D线阵相机与同一编码器电性连接，所述编码器用于为所述2D线阵相机和所述3D线阵相机提供同步触发信号。

3.根据权利要求1所述的2D线阵相机和3D线阵相机数据同步的处理方法，其特征在于，为所述2D线阵相机开辟出第一数据缓存区和第二数据缓存区，为所述3D线阵相机开辟出第三数据缓存区和第四数据缓存区，所述第一数据缓存区和所述第三数据缓存区用于缓存所述步骤3中待拼接的图像数据，所述第二数据缓冲区和所述第四数据缓存区用于存储所述步骤5中拼接完成等待进一步处理的图像数据。

4.一种2D线阵相机和3D线阵相机数据同步的处理系统，其特征在于，包括标定模块、取流宽度设置模块、信号触发模块、第一数据接收处理模块、第二数据接收处理模块、比对模块以及判断模块；

所述标定模块，用于标定2D线阵相机和3D线阵相机，以关联所述2D线阵相机和所述3D线阵相机的参考坐标系；

所述取流宽度设置模块，用于设置所述2D线阵相机获取数据流的成像宽度W1，并根据所述2D线阵相机和所述3D线阵相机之间的标定关系计算出所述3D线阵相机获取数据流的成像宽度W2；

所述信号触发模块，用于提供两路同步触发信号，并通过两路同步触发信号启动所述2D线阵相机和所述3D线阵相机；

所述第一数据接收处理模块，用于接收所述2D线阵相机当前获取到的一帧图像数据并与之前接收的图像数据拼接后进行缓存；

所述第二数据接收处理模块，用于接收所述3D线阵相机当前获取到的一帧图像数据并与之前接收的图像数据拼接后进行缓存；

当W1达到预设值时，所述比对模块用于比较所述3D线阵相机当前获取到到的数据流的宽度W2’与W2的差值；

所述判断模块，用于根据所述比对模块的比对结果，判断决定所述2D线阵相机和所述3D线阵相机使用或丢弃当前所缓存的图像数据。

5.根据权利要求4所述的2D线阵相机和3D线阵相机数据同步的处理系统，其特征在于，所述信号触发模块包括一编码器和与所述编码器电性连接的编码信号分配器，所述编码信号分配器将所述编码器发出的触发信号分配成两路同步触发信号。

6.根据权利要求4所述的2D线阵相机和3D线阵相机数据同步的处理系统，其特征在于，所述2D线阵相机中设置有第一数据缓存区和第二数据缓存区，所述3D线阵相机中设置有第三数据缓存区和第四数据缓存区，所述第一数据缓存区和所述第三数据缓存区分别用于缓存待拼接的图像数据，所述第二数据缓存区和用于存储经所述判断模块判断为可以使用的当前所述2D线阵相机的图像数据，所述第四数据缓存区和用于存储经所述判断模块判断为可以使用的当前所述3D线阵相机的图像数据。

7.一种2D线阵相机和3D线阵相机数据同步的处理系统，其特征在于，包括：

一个或多个处理器；

存储器；

以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1至3任一项所述的2D线阵相机和3D线阵相机数据同步的处理方法的指令。

8.一种计算机可读存储介质，其特征在于，包括测试用计算机程序，所述计算机程序可被处理器执行以完成如权利要求1至3任一项所述的2D线阵相机和3D线阵相机数据同步的处理方法。

Images