CN112150388B - 一种连续卸船机船舶及物料的识别感知方法 - Google Patents

Abstract

本发明提供一种连续卸船机船舶及物料的识别感知方法，包括以下步骤：通过连续卸船机的激光视觉系统采集散料运输船的整体信息，根据激光扫描仪返回的测量结果生成场景点云数据，并对点云数据进行坐标转换及裁剪处理；对裁剪后的点云数据进行半径滤波及平滑处理；对平滑后的点云数据进行水平投影，并计算甲板高度；根据甲板高度对点云数据再次进行垂直方向投影，并将其转为二值图像；对投影得到的二值图像进行形态学处理，对二值图像中的舱口进行识别检测；得到舱口区域的世界坐标，并根据先验知识对识别结果进行校验；对舱内点云数据进行参考信息提取。本发明所提供的识别定位方法有较高的识别精度，识别误差精度可与采集误差精度保持在同等水平。

Description

一种连续卸船机船舶及物料的识别感知方法

技术领域

本发明涉及识别感知的技术领域，具体而言，尤其涉及一种连续卸船机船舶及物料的识别感知方法。

背景技术

目前，无人化链斗式连续卸船机尚属国际空白，散料船舶及舱内物料识别感知作为其中的核心技术，主要以激光扫描仪成像为基础实现，该技术多应用于装船机而链斗式卸船机的识别系统并无成功应用案例。在装船机自动化作业场景中，现有的感知技术只考虑空舱的舱口识别，由于没有舱内物料视觉干扰，舱口轮廓特征提取简单。从识别对象来看，目前现有的舱口识别技术通常只针对某种船型的一种舱口形状，对于实际散货船多船型多种舱口形态(单向滑盖、双向滑盖、拉式立盖等)的识别缺乏通用的识别技术。因而，现有的散货船识别技术不能应用于实际的连续型卸船机自动化作业。

此外，人工操作的连续卸船机受司机熟练程度以及生产作业环境影响，生产作业过程中存在提升筒体或取料头与船体碰撞的风险，影响人和财产的安全。防碰撞问题对识别精度有更高的精度要求，而现有装船机识别技术由于装船机卸料口与舱口距离较大，作业过程中的防碰撞策略与计算方式相对简单，识别精度需求相对较低。而连续型卸船机可通过取料头旋转对暗舱部位散杂货进行取料，作业时提升筒体靠近舱口，具有更高的识别精度要求。

发明内容

根据上述提出识别精度需求相对较低的技术问题，而提供一种连续卸船机船舶及物料的识别感知方法。本发明主要利用一种连续卸船机船舶及物料的识别感知方法，其特征在于，包括以下步骤：

步骤S1：通过连续卸船机的激光视觉系统采集散料运输船的整体信息，根据激光扫描仪返回的测量结果生成场景点云数据，并对所述点云数据进行坐标转换及裁剪处理；

步骤S2：对裁剪后的点云数据进行半径滤波及平滑处理；

步骤S3：对平滑后的点云数据进行水平投影，并计算甲板高度；

步骤S4：根据甲板高度对点云数据再次进行垂直方向投影，并将其转为二值图像；

步骤S5：首先对投影得到的二值图像进行形态学处理，之后对二值图像中的舱口进行识别检测；

步骤S6：根据步骤S5中的识别结果进行三维重建，得到舱口区域的世界坐标，并根据先验知识对识别结果进行校验；

步骤S7：根据步骤S6的识别结果提取舱内物料点云数据，对舱内点云数据进行参考信息提取。

进一步地，所述步骤S1中当激光视觉系统对散料运输船的整体信息采集结束后，根据视觉系统的标定参数将激光系统坐标系下的点云数据转换为世界坐标系的点云数据，每个点均采用[X_w，Y_w，Z_w，1]坐标的形式表示；通过旋转平移矩阵RtMatrix将视觉系统坐标系下的点云转到世界坐标系：

[X_w，Y_w，Z_w，1]＝[X_l，Y_l，Z_l，1]*RtMatrix

旋转平移矩阵RtMatrix：

其中，w表示世界坐标系，l表示局部坐标系，旋转平移矩阵中w₁₁……z_t均为标定参数，数值根据激光视觉系统标定获取；

根据预设的工作区域，切割出只包含散料船停靠场景的点云数据，散料船停靠岸近点为Y_b，离岸远点坐标为Y_e，且Y_e＝Y_b+W，W表示散料船的最大宽度；只保留满足条件的点云数据：

遍历世界坐标系下的点云数据[X_w，Y_w，Z_w，1]，保留Y_w处于给定区间[Y_b，Y_e]的点云数据，其中Y_w表示世界坐标系下点云Y轴上的坐标。

更进一步地，对于目标点云滤波的处理，根据点云数据之间的位置关系进行半径滤波，去除异常数据，滤波后应用移动最小二乘法对点云数据进行平滑处理；再对点云数据格网化处理，格网化后点云坐标表示为[X'_w，Y'_w，Z'_w，1]，精度为unit；

其中，round()函数表示根据四舍五入原理进行的取整操作。

进一步地，对所述步骤S2中得到的格网化点云数据进行水平投影，即将点云数据[X'_w，Y'_w，Z'_w，1]投影到X-Z平面，并将其映射到二值图像image中，pixel(i,j)为二值图像image的像素值；

其中：

二值图像的宽为高为/>其中，X'_wmin表示X轴正向上靠近原点的最小值，Z'_wmin表示Z轴正向上靠近坐标原点的最小值；X'_wmax表示X轴正向上远离原点的最大值，Z'_wmax表示Z轴正向上远离原点的最大值；遍历所有点云数据后，对于没有填充的像素值进行补0；

当激光扫描仪工作时，所述激光扫描仪处于散料船的上方，因此在二值图像image中水平方向像素点为‘1’的数量最多的行映射的就是散料船的甲板区域的高度，任取该行中的像素，将其列标号映射到三维空间中，即得到世界坐标系下的甲板高度H_w：

H_w＝imageHeigh t'×unit+Z'_wmin；

其中，Z'_wmin表示裁剪后点云Z轴方向上的最小值。

更进一步地，根据所述甲板高度H_w，再次对原始目标点云数据进行垂直方向投影；即，将点云数据投影到X-Y平面，得到对应的二值图像image'，image'中第i行j列像素值：

得到的二值图像image'表示出散料船舱口的特征。

进一步地，对所述二值图像image'进行形态学处理，即对二值图像进行闭运算，弥补由于点云数据缺失造成的图像映射过程中产生的空洞和缝隙；

通过所述闭运算处理后的二值图像修复了二值图像中较小的空洞和缝隙；在舱口特征检测时单一舱口特征采用点Point(X_pix,Y_pix)和两个浮点数f_w、f_l来表示，在数据处理程序中采用列表的方式存储所有检测出来的舱口特征数据；其中X,Y分别表示二值图像中舱口坐标起点的像素位置，f_w、f_l分别表示舱口特征在二值图像中像素的个数。

进一步地，对所述步骤S5中得到二值图像检测结果进行空间映射，得到舱口区域的空间位置信息；

遍历映射到空间位置后的识别结果，根据港口统计的多种散料船舱口数据，得到舱口区域的最小宽度minW，最小长度minL，最大宽度maxW，最大长度maxL；当检测结果f'_w、f'_l满足下述条件则将其视为舱口数据，Result中已经存储了所有识别结果。

更进一步地，根据Result中标志位是true的识别结果在原始点云中提取出多组点云数据PointHatch[Num]，点云组个数Num为识别的舱口数量；

由于散料船的舱口具有一定差异性，因此提取舱内点云数据时，计算规则为：

遍历提取出的各组内点云数据，并根据Z'_w对点云数据进行降序排序，根据排序结果取出组内点云高度的最大值H_materiel及其对应的点[X'_w，Y'_w，Z'_w]。

较现有技术相比，本发明具有以下优点：

本发明旨在提供一种链斗式连续卸船机散料船舶及舱内物料的识别感知方法，利用激光雷达对船舶及物料进行扫描融合的点云结果，通过三维点云数据处理技术和二维图像处理技术相配合的识别算法策略，综合运用各类三维点云处理算法、二维图像形态学算法，结合链斗式卸船机对散货船的作业特点，设计了一套通用的舱口识别算法。

该算法首先通过确定甲板高度，将满舱时的料堆上表面点云与舱口边缘进行分离，为满舱、半舱、空舱等多工况舱口识别定位问题和不同散货船型多种舱口形态的识别定位问题提供了通用的计算过程。本发明所提供的识别定位方法有较高的识别精度，识别误差精度可与采集误差精度保持在同等水平(若采集误差1分米，则识别误差1分米)。该误差精度可为连续卸船机无人化控制与决策提供目标数据支持，可用于通过监控取料头与船体及料堆间相对距离实现安全防碰撞保护，保障连续卸船机生产作业安全。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明识别感知流程图。

图2为本发明预处理后散料船点云数据示意图。

图3为本发明格网化后点云的水平投影特征示意图。

图4为本发明格网化后点云的垂直投影特征示意图。

图5为本发明二值图像形态学处理示意图。

图6为本发明二值图像的轮廓检测结果示意图。

图7为本发明识别结果映射到世界坐标系结果示意图。

图8为本发明根据舱口识别结果提取的舱内物料点云俯视图。

图9为本发明根据舱口识别结果提取的舱内物料点云侧视图。

图10为本发明预处理后散料船点云数据示意图。

图11为本发明格网化后点云的水平投影特征示意图。

图12为本发明格网化后点云的垂直投影特征示意图。

图13为本发明二值图像形态学处理示意图。

图14为本发明识别结果映射到世界坐标系结果的俯视图。

图15为本发明示意图识别结果映射到世界坐标系结果的侧视图。

图16为本发明根据舱口识别结果提取的舱内物料点云俯视图。

图17为本发明根据舱口识别结果提取的舱内物料点云侧视图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1-17所示，本发明提供了一种连续卸船机船舶及物料的识别感知方法，包括以下步骤：

步骤S1：通过连续卸船机的激光视觉系统采集散料运输船的整体信息，作为一种优选的实施方式，在本申请中整体信息包括但不局限于船头，船舱，船尾以及船上所有的可见设施等；根据激光扫描仪返回的测量结果生成场景点云数据，并对所述点云数据进行坐标转换及裁剪处理。在此，测量结果包括激光雷达与被测量物体之间角度和距离。对于裁剪处理以船停靠的海岸线为参考位置，将扫描结果中包含的港口固定场景切除，得到只包含散料船的区域。

其中，散料船停靠场景裁剪的说明，卸船机激光视觉系统在对港口泊位停靠的船只进行扫描时，除目标船外，其停靠的岸边及岸上的一些固定设施信息也会被采集，并作为本次扫描结果进行返回；根据港口泊位停靠规则，船只停靠时会紧靠泊位岸边，因此，可将岸边坐标以及船只离岸最大距离作为切割参数，对扫描结果中的非船只区域进行删除，得到待识别船只区域。

所述步骤S1中当激光视觉系统对散料运输船的整体信息采集结束后，根据视觉系统的标定参数将激光系统坐标系下的点云数据转换为世界坐标系的点云数据，每个点均采用[X_w，Y_w，Z_w，1]坐标的形式表示；通过旋转平移矩阵RtMatrix将视觉系统坐标系下的点云转到世界坐标系：

[X_w，Y_w，Z_w，1]＝[X_l，Y_l，Z_l，1]*RtMatrix

旋转平移矩阵RtMatrix：

其中，w表示世界坐标系，l表示局部坐标系，旋转平移矩阵中w₁₁……z_t均为标定参数，数值根据激光视觉系统标定获取；

根据预设的工作区域，切割出只包含散料船停靠场景的点云数据，在此散料船停靠场景只是将港口区域的固定位置进行了切除，散料船停靠岸近点为Y_b，离岸远点坐标为Y_e，且Y_e＝Y_b+W，W表示散料船的最大宽度；只保留满足条件的点云数据：

遍历世界坐标系下的点云数据[X_w，Y_w，Z_w，1]，保留Y_w处于给定区间[Y_b，Y_e]的点云数据，其中Y_w表示世界坐标系下点云Y轴上的坐标。

步骤S2：对裁剪后的点云数据进行半径滤波及平滑处理。

对所述步骤S2中得到的格网化点云数据进行水平投影，即将点云数据[X'_w，Y'_w，Z'_w，1]投影到X-Z平面，并将其映射到二值图像image中，pixel(i,j)为二值图像image的像素值；

其中：

二值图像的宽为高为/>其中，X'_wmin表示X轴正向上靠近原点的最小值，Z'_wmin表示Z轴正向上靠近坐标原点的最小值；X'_wmax表示X轴正向上远离原点的最大值，Z'_wmax表示Z轴正向上远离原点的最大值；遍历所有点云数据后，对于没有填充的像素值进行补0；

当激光扫描仪工作时，所述激光扫描仪处于散料船的上方，因此在二值图像image中水平方向像素点为‘1’的数量最多的行映射的就是散料船的甲板区域的高度，任取该行中的像素，将其列标号映射到三维空间中，即得到世界坐标系下的甲板高度H_w：

H_w＝imageHeigh t'×unit+Z'_wmi_n；

其中，Z'_wmin表示裁剪后点云Z轴方向上的最小值。

根据所述甲板高度H_w，再次对原始目标点云数据进行垂直方向投影；即，将点云数据投影到X-Y平面，得到对应的二值图像image'，image'中第i行j列像素值：

得到的二值图像image'表示出散料船舱口的特征。

对所述二值图像image'进行形态学处理，即对二值图像进行闭运算，弥补由于点云数据缺失造成的图像映射过程中产生的空洞和缝隙；

其中所述闭运算包含两个步骤，步骤一为膨胀操作，膨胀操作后二值图像中一些舱口特征未发生改变，但是舱口区域像素却有所增加；步骤二是图像腐蚀操作，能够将膨胀操作增加的部分像素消除掉；但已经弥补的缝隙和空洞等区域不会受到较大影响。

通过所述闭运算处理后的二值图像修复了二值图像中较小的空洞和缝隙；在舱口特征检测时单一舱口特征采用点Point(X_pix,Y_pix)和两个浮点数f_w、f_l来表示，在数据处理程序中采用列表的方式存储所有检测出来的舱口特征数据；其中X,Y分别表示二值图像中舱口坐标起点的像素位置，f_w、f_l分别表示舱口特征在二值图像中像素的个数。

步骤S3：对平滑后的点云数据进行水平投影，并计算甲板高度；

步骤S4：根据甲板高度对点云数据再次进行垂直方向投影，并将其转为二值图像；

步骤S5：首先对投影得到的二值图像进行形态学处理，之后对二值图像中的舱口进行识别检测。

对所述步骤S5中得到二值图像检测结果进行空间映射，得到舱口区域的空间位置信息；

遍历映射到空间位置后的识别结果，根据港口统计的多种散料船舱口数据，得到舱口区域的最小宽度minW，最小长度minL，最大宽度maxW，最大长度maxL；当检测结果f'_w、f'_l满足下述条件则将其视为舱口数据，Result中已经存储了所有识别结果。

在本申请中，作为一种优选的实施方式，根据Result中标志位是true的识别结果在原始点云中提取出多组点云数据PointHatch[Num]，点云组个数Num为识别的舱口数量；

由于散料船的舱口具有一定差异性，因此提取舱内点云数据时，计算规则为：

遍历提取出的各组内点云数据，并根据Z'_w对点云数据进行降序排序，根据排序结果取出组内点云高度的最大值H_materiel及其对应的点[X'_w，Y'_w，Z'_w]。

步骤S6：根据S5中的识别结果进行三维重建，得到舱口区域的世界坐标，并根据先验知识对识别结果进行校验；

步骤S7：根据S6的识别结果提取舱内物料点云数据，对舱内点云数据进行参考信息提取。

作为本申请一种优选的实施方式，对于目标点云滤波的处理，根据点云数据之间的位置关系进行半径滤波，去除异常数据，滤波后应用移动最小二乘法对点云数据进行平滑处理；再对点云数据格网化处理，格网化后点云坐标表示为[X'_w，Y'_w，Z'_w，1]，精度为unit；

其中，round()函数表示根据四舍五入原理进行的取整操作。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种连续卸船机船舶及物料的识别感知方法，其特征在于，包括以下步骤：

S1：通过连续卸船机的激光视觉系统采集散料运输船的整体信息，根据激光扫描仪返回的测量结果生成场景点云数据，并对所述点云数据进行坐标转换及裁剪处理；

S2：对裁剪后的点云数据进行半径滤波及平滑处理；

S3：对平滑后的点云数据进行水平投影，并计算甲板高度；

S4：根据计算的甲板高度提取甲板区域点云数据，并根据甲板高度对点云数据再次进行垂直方向投影，并将其转为二值图像；

S5：首先对投影得到的二值图像进行形态学处理，之后对二值图像中的舱口进行识别检测；

S6：根据S5中的识别结果进行三维重建，得到舱口区域的世界坐标，并根据先验知识对识别结果进行校验；

S7：根据S6的识别结果提取舱内物料点云数据，对舱内点云数据进行参考信息提取；

对所述步骤S2中得到的格网化点云数据进行水平投影，即将点云数据[X'_w，Y'_w，Z'_w，1]投影到X-Z平面，并将其映射到二值图像image中，pixel(i,j)为二值图像image的像素值；精度为unit；

其中：

二值图像的宽为高为/>其中，X'_wmin表示X轴正向上靠近原点的最小值，Z'_wmin表示Z轴正向上靠近坐标原点的最小值；X'_wmax表示X轴正向上远离原点的最大值，Z'_wmax表示Z轴正向上远离原点的最大值；遍历所有点云数据后，对于没有填充的像素值进行补0；

当激光扫描仪工作时，所述激光扫描仪处于散料船的上方，因此在二值图像image中水平方向像素点为‘1’的数量最多的行映射的就是散料船的甲板区域的高度，任取该行中的像素，将其列标号映射到三维空间中，即得到世界坐标系下的甲板高度H_w：

H_w＝imageHeigh t'×unit+Z'_wmin；

其中，Z'_wmin表示裁剪后点云Z轴方向上的最小值；

根据所述甲板高度H_w，再次对原始目标点云数据进行垂直方向投影；即，将点云数据投影到X-Y平面，得到对应的二值图像image'，image'中第i行j列像素值：

得到的二值图像image'表示出散料船舱口的特征。

2.根据权利要求1所述的一种连续卸船机船舶及物料的识别感知方法，其特征在于，

所述步骤S1中当激光视觉系统对散料运输船的整体信息采集结束后，根据视觉系统的标定参数将激光系统坐标系下的点云数据转换为世界坐标系的点云数据，每个点均采用[X_w，Y_w，Z_w，1]坐标的形式表示；通过旋转平移矩阵RtMatrix将视觉系统坐标系下的点云转到世界坐标系：

[X_w，Y_w，Z_w，1]＝[X_l，Y_l，Z_l，1]*RtMatrix

旋转平移矩阵RtMatrix：

其中，w表示世界坐标系，l表示局部坐标系，旋转平移矩阵中w₁₁……z_t均为标定参数，数值根据激光视觉系统标定获取；

根据预设的工作区域，切割出只包含散料船停靠场景的点云数据，散料船停靠岸近点为Y_b，离岸远点坐标为Y_e，且Y_e＝Y_b+W，W表示散料船的最大宽度；只保留满足条件的点云数据：

遍历世界坐标系下的点云数据[X_w，Y_w，Z_w，1]，保留Y_w处于给定区间[Y_b，Y_e]的点云数据，其中Y_w表示世界坐标系下点云Y轴上的坐标。

3.根据权利要求1所述的一种连续卸船机船舶及物料的识别感知方法，其特征在于，

对于目标点云滤波的处理，根据点云数据之间的位置关系进行半径滤波，去除异常数据，滤波后应用移动最小二乘法对点云数据进行平滑处理；再对点云数据格网化处理，格网化后点云坐标表示为[X'_w，Y'_w，Z'_w，1]，精度为unit；

其中，round()函数表示根据四舍五入原理进行的取整操作。

4.根据权利要求1所述的一种连续卸船机船舶及物料的识别感知方法，其特征在于，

对所述二值图像image'进行形态学处理，即对二值图像进行闭运算，弥补由于点云数据缺失造成的图像映射过程中产生的空洞和缝隙；

通过所述闭运算处理后的二值图像修复了二值图像中较小的空洞和缝隙；在舱口特征检测时单一舱口特征采用点Point(Xpix,Ypix)和两个浮点数f_w、f_l来表示，在数据处理程序中采用列表的方式存储所有检测出来的舱口特征数据；其中X,Y分别表示二值图像中舱口坐标起点的像素位置，f_w、f_l分别表示舱口特征在二值图像中像素的个数。

5.根据权利要求1所述的一种连续卸船机船舶及物料的识别感知方法，其特征在于，

对所述步骤S5中得到二值图像检测结果进行空间映射，得到舱口区域的空间位置信息；

遍历映射到空间位置后的识别结果，根据港口统计的多种散料船舱口数据，得到舱口区域的最小宽度minW，最小长度minL，最大宽度maxW，最大长度maxL；当检测结果f'_w、f'_l满足下述条件则将其视为舱口数据，Result中已经存储了所有识别结果。

6.根据权利要求1所述的一种连续卸船机船舶及物料的识别感知方法，其特征在于，

根据Result中标志位是true的识别结果在原始点云中提取出多组点云数据PointHatch[Num]，点云组个数Num为识别的舱口数量；

由于散料船的舱口具有一定差异性，因此提取舱内点云数据时，计算规则为：

遍历提取出的各组内点云数据，并根据Z'_w对点云数据进行降序排序，根据排序结果取出组内点云高度的最大值H_materiel及其对应的点[X'_w，Y'_w，Z'_w]。