CN111652118B - 基于水下目标近邻分布的海产品自主抓取引导方法 - Google Patents

Abstract

本发明提供一种基于水下目标近邻分布的海产品自主抓取引导方法，包括：水下机器人采用水下相机获取可视区域图像；将所述可视区域图像均分为多个子区域；采用目标物检测算法检测每一个所述子区域内的目标物和障碍物的数量；根据所述目标物和障碍物的数量对所述子区域进行评分，并根据所述评分结果进行排序；抓捕所述可视区域图像评分最高的子区域内的目标物；以当前最高分子区域为起始点进行下一可视区域图像的采集，直至将整个区域的可视区域图像采集完毕。本发明因小目标物在水下图像检测中存在模糊、偏色等可视化问题，采用分块检测策略，解决小目标在检测过程中的细节特征丢失问题。

Description

基于水下目标近邻分布的海产品自主抓取引导方法

技术领域

本发明涉及海产品抓取领域，尤其涉及一种基于水下目标近邻分布的海产品自主抓取引导方法。

背景技术

目前，利用水下机器人代替潜水员抓取海产品时，仍然需要依靠人工操控方式进行目标抓取，由于水下目标分布动态变化、水下可视效果差、陆上定位与导航算法在水下不适用等问题，难以在脱离人工控制下，实现水下机器人自主抓取海产品。

发明内容

本发明提供一种基于水下目标近邻分布的海产品自主抓取引导方法，以克服上述技术问题。

本发明提供一种基于水下目标近邻分布的海产品自主抓取引导方法，包括：

水下机器人采用水下相机获取可视区域图像；

将所述可视区域图像均分为多个子区域；

采用目标物检测算法检测每一个所述子区域内的目标物和障碍物的数量；

根据所述目标物和障碍物的数量对所述子区域进行评分，并根据所述评分结果进行排序；

抓捕所述可视区域图像评分最高的子区域内的目标物；

以当前最高分子区域为起始点进行下一可视区域图像的采集，直至将整个区域的可视区域图像采集完毕。

进一步地，以所述评分最高的子区域为起始点采集下一个可视区域图像之后，还包括：将多个可视区域图像的评分最高的子区域去除，分别将多个可视区域图像的剩余子区域进行可视区域图像评分，将可视区域图像评分最高的子区域对应的分值作为每个可视区域图像的标识；

将多个可视区域图像按照所述标识由高到低进行排序，并按照所述排序依次对多个可视区域图像内目标物抓取。

进一步地，按照所述排序依次对多个可视区域图像内目标物抓取包括：对每个可视区域图像内目标物按照剩余的子区域评分从高到低的顺序进行抓取。

进一步地，所述根据所述目标物和障碍物的数量对所述子区域进行评分前，还包括：

判断所述可视区域图像的目标物数量是否为0，若是，则不对所述可视区域图像进行对标识点的评分排序。

进一步地，所述根据所述目标和障碍物的数量对所述子区域进行评分包括：目标物评分定义：

评分最高定义：

其中，λ、γ分别是比例系数，

为障碍物总数占比，/>

为目标物总数占比，D_sub为每个所述可视区域图像的子区域个数，i^*为最高评分对应子区域的序号。

进一步地，所述水下机器人移动过程中实时更新所述水下机器人在水下的位置信息，并记录已采集的可视区域图像位置信息，将后次采集的可视区域图像与前次采集的可视区域图像重叠的子区域删除。

本发明因小目标物在水下图像检测中存在模糊、偏色等可视化问题，采用分块检测策略，解决小目标在检测过程中的细节特征丢失问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种基于水下目标近邻分布的海产品自主抓取引导方法的步骤图；

图2是本发明种基于水下目标近邻分布的海产品自主抓取引导方法的流程图；

图3是本发明种基于水下目标近邻分布的海产品自主抓取引导方法的水下机器人移动路径规划示意图；

图4是本发明种基于水下目标近邻分布的海产品自主抓取引导方法的水下目标检测算法示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于水下目标近邻分布的海产品自主抓取引导方法，包括：

水下机器人1采用水下相机获取可视区域图像；

将所述可视区域图像均分为多个子区域；

采用目标物检测算法检测每一个所述子区域内的目标物和障碍物的数量；

根据所述目标物和障碍物的数量对所述子区域进行子区域评分，并根据所述评分结果进行排序；

抓捕所述可视区域图像评分最高的子区域内的目标物；

以当前最高分子区域为起始点进行下一可视区域图像的采集，直至将整个区域的可视区域图像采集完毕。

具体而言，如图1及图2所示，本申请中的目标物即为海产品，利用水深传感器辅助所述水下机器人1在浅海中进行定深航行。所述水深传感器可以实时获取机器人离水面的深度数据，根据深度数据，水下机器人1可以实时调整巡航姿态，以保证定深航行。

利用所述水下机器人1上的水下高清相机获取所述水下机器人1可视区域图像A。由于光在水下的衰减以及悬浮粒子的散射作用，导致水下相机只能捕获一部分从物体反射回来的光，因此水下图像存在模糊、偏色等可视化问题。普通水下相机获取到的水下图像分辨率不足，影响水下目标检测准确率。因此，利用水下高清相机获取机器人可视区域的高质量水下图像。

将水下机器人的可视区域图像划分为D_sub(D_sub＝9)个子区域，每个子区域用A_i(i＝1,2,3,…,D_sub-1,D_sub)表示。由于水下高清相机获取到的可视区域图像分辨率比较高，定深航行时水下目标物在可视区域图像中所占比例普遍太小，目标物甚至只有几个像素块，直接对该可视区域图像进行目标检测时，目标物细节信息丢失严重，不利于目标检测任务。因此，将获取到的可视区域图像划分为D_sub个子区域图像，在每个子区域图像上检测水下目标物。可以相对增大目标物在可视区域图像上的尺寸，解决由于目标物细节信息丢失而导致的精度下降问题。

采用目标物检测算法检测每一个所述子区域内的目标物和障碍物的数量；

根据所述目标和障碍物的数量对所述子区域进行评分，并根据所述评分结果进行排序；

抓捕所述可视区域图像评分最高的子区域内的目标物。

具体而言，如图4所示，用于目标检测的算法有RCNN，faster-RCNN，SSD等，本申请优选为You Only Look Once(以下简称YOLO)检测算法检测每个子区域中的海产品。由于YOLO检测算法对小目标检测效果比较好，并且检测速度快，适用于实时检测任务；

首先，进行检测模型的离线训练：利用水下机器人1采集可视区域图像2并制成水下图像数据集3，利用水下图像数据集3迭代训练YOLO网络模型4，提高YOLO网络模型4检测水下目标的准确率，最后保存训练好的YOLO网络模型4。

然后对水下目标物实时检测：水下机器人1实时捕捉可视区域图像2，将可视区域图2形分成九个子区域5，利用训练好的YOLO网络模型4对每个子区域5进行水下目标物检测，得到每个子区域5的水下目标检物测结果6，综合九个子区域的检测结果，得到最终可视区域图像2的目标物实时检测结果7，例如目标物：海参6.3、海胆6.1和扇贝6.2等，障碍物：礁石、海草等的分布结果并反馈给水下机器人1。

制定一套评分规则，综合每个子区域检测结果，生成水下目标物水下近邻分布评分结果。统计每个子区域A_i中目标物和障碍物的检测结果，假设有N(N>0)类目标物，M(M>0)类障碍物，则子区域A_i中目标物的检测总数表示为：

其中，NUM(T_ij)表示第j类目标T_j的检测数量；障碍物的检测总数表示为：

其中，NUM(B_ik)表示第k类目标B_k的检测数量。可视区域图像A的目标物总数表示为：

障碍物总数表示为：

子区域A_i中目标检测总数SUM(T_i)在区域A中目标检测总数所占比例表示为：

即：

子区域A_i中障碍物检测总数SUM(B_i)在区域A中障碍物检测总数所占比例表示为：

即：

子区域A_i中目标检测结果评分定义为：

其中，其中，λ、γ分别是比例系数，

为障碍物总数占比，/>

为目标物总数占比，D_sub为每个所述可视区域图像的子区域个数，最高评分对应子区域的序号，即第i^*个子区域的评分最高，本申请中λ＝20，是人为设置的经验值，用来增大计算值的差异大小，使得计算结果更容易区分；γ＝-1，用来控制运算符号，使得公式中分子是差运算。

特别地，当S_i＝-1时，认为该子区域内障碍物较多，将该区域标记为障碍物区域，应跳过该区域的目标抓取；当S_i＝0时，认为该子区域内没有检测到有效目标，不适合抓取，同样应该跳过该区域的目标抓取；其它情况表示子区域内目标检测正常，应该参与目标抓取。

根据水下机器人当前可视区域图像的水下目标近邻分布结果，选取最适合水下机器人抓取的目标物区域。首先，排除掉机器人可视区域图像中障碍物比较多(S_i＝-1)、没有检测到目标(S_i＝0)的子区域；剩余子区域根据目标物检测评分结果排序；取评分最高的子区域A_i作为当前目标物抓取区域，剩余子区域参与下一次目标物区域选择。i^*的表达式如下：

由于除-1和0之外，S_i的取值都大于0，因此，i^*的求解公式可以转化为：

进一步地，以所述评分最高的子区域为起始点采集下一个可视区域图像之后，还包括：将多个可视区域图像的评分最高的子区域去除，分别将多个可视区域图像的剩余子区域进行可视区域图像评分，将可视区域图像评分最高的子区域对应的分值作为每个可视区域图像的标识；

将多个可视区域图像按照所述标识由高到低进行排序，并按照所述排序依次对多个可视区域图像内目标物抓取。

按照所述排序依次对多个可视区域图像内目标物抓取包括：对每个可视区域图像内目标物按照剩余的子区域评分从高到低的顺序进行抓取。

具体而言，如图3所示，假设第一次采集的可视区域图像记作记作P₁，并将第一次采集的第一可视区域图像2-3评分成九个子区域，对每一个子区域进行子区域评分，对评分最高的子区域内的目标物进行抓取，并以此区域作为第二次采集的第二可视区域图像2-2记作P₂的起始点，对P₂进行相同处理，直至对多个可视区域图像P_n(n＝1,2,3…)的评分最高的子区域内目标物采集完毕；

去除每个可视区域图像的最高分的子区域后，对各自剩余的有效子区域进行区域评分，例如所述水下机器人共采集三个可视区域图像分别为第一可视区域图像2-1、第二可视区域图像2-2、第三可视区域图像2-3，记作P₁，P₂和P₃，分别对P₁，P₂和P₃进行可视区域图像评分，P₁的剩余有效子区域的分数由高到低排序为6，5，4；P₂的剩余效子区域的分数由高到低排序为8，7，6；P₃的剩余效子区域的分数由高到低排序6，6，4；其中P₁的最高分6为该可视区域图像2-1的可视区域图像评分，P₂的最高分8为第二可视区域图像2-2的可视区域图像评分，P₃的最高分6为第三可视区域图像2-3的可视区域图像评分，以P₁，P₂和P₃各自的最高分对应的子区域作为该可视区域图像的标识点，对P₁，P₂和P₃进行以标识点分数由高到低的顺序进行目标物的抓取，即先抓取P₂内的目标物，再抓取P₁内的目标物，最后抓取P₃内的目标物；对于P₁，P₂和P₃内的目标物抓取同样是遵循各自子区域评分由高到低的顺序进行；区域评分避免了在有限的时间内，无法将所有高评分的目标物进行全部抓取，此方法提高了抓取效率。

进一步地，所述水下机器人移动过程中实时更新其在水下的位置信息，并记录遍历区域的位置信息，并且不再对所述遍历区域进行评分。

具体而言，当水下机器人对当前可视区域图像评分最高的子区域内的目标物抓取完毕后，重新按照上述评分规则对剩余子区域进行排序，并记录最高分；再次通过所述水下高清相机采集下一个可视区域图像，通过上述方式对该可视区域图像进行处理，循环操作，水下机器人在水下利用惯性导航向目标区域移动，移动过程中实时更新其在水下的位置信息，并记录遍历区域的位置信息，防止同一个区域重复遍历，当所要抓取区域已经被全部遍历后，水下机器人已缓存多个经抓取过一次海产品的可视区域图像，多个可视区域图像按照当前各自子区域的最高分进行排序，水下机器人对评分最高的可视区域图像进行目标物的抓取。

进一步地，所述根据所述目标物和障碍物的数量对所述子区域进行评分前，还包括：判断所述可视区域图像的目标物数量是否为0，若是，则不对所述可视区域图像进行对标识点的评分排序。

判断所述可视区域图像的目标数量是否为0，即判断评分结果是否有效：水下机器人当前可视区域图像的所有子区域的评分结果至少存在一个评分大于0，则认为本次评分结果有效，即当前区域存在目标物；否则，认为当前区域评分无效，即当前区域只有障碍物，或者当前区域没有检测到目标物。

若所述可视区域图像的目标数量为0，则不对所述可视区域图像进行可视区域图像评分排序。

具体而言，当所述可视区域图像中的子区域中的目标物数量均为0，则水下高清摄像头直接进行下一可视区域图像的拍摄，并将目标物数量均为0的可视区域图像从评分排序中删除，仅将该可视区域图像记录为已遍历区域，以提高水下机器人的抓取效率。

水下机器人在移动过程中利用双目相机进行避障。水下机器人搭载双目相机，在移动过程中可以利用双目相机计算障碍物与机器人之间的距离，根据计算结果调整机器人的移动方案，控制机器人远离障碍物。

水下机器人在移动过程中不断检测当前可视区域，精确缩小水下目标物的抓取区域。当水下机器人向目标区域移动过程中，继续检测机器人视觉区域图像中的目标。由于机器人下潜时与目标区域之间的深度缩小，采集到的视觉区域中目标物成像比例增大，检测难度降低，因此，不用再对水下机器人可视区域图像进行子区域划分，可以直接利用检测算法对当前采集到的整幅图像进行目标物检测。根据目标物在水下机器人可视区域图像中的分布情况，继续调整水下机器人的位置。

当水下机器人进入到适合抓取区域，控制机械手自动抓取海产品。水下机器人下潜至水底并且目标物出现在视觉区域图像的中间时，触发机械手的抓取操作。

水下机器人在当前目标区域内完成水下目标抓取操作后，继续回到定深航行位置，寻找下一个适合抓取的目标区域。

水下机器人会缓存一个区域列表，记录每个可视区域图像的海产品的数量分布评分情况。区域列表的数据定义如下：

Area_List＝{Area1,Area2,…,Areaindex,…,Arean}

其中，

Areaindex＝(index,Sarea,x,y)，

index∈[1,n]表示区域的次序，Sarea表示该区域的目标分布评分，x和y表示该区域的位置坐标。

由于每个有效的可视区域图像中海产品分布评分最高的子区域会作为当前目标物区域进行海产品的抓取，因此，评分第二高即目标物最多的子区域可以作为该可视区域图像的候选目标区域，利用该子区域的评分和位置信息作为该区域的评分信息和目标位置信息，参与区域之间的抓取目标物位置选择。

当机器人当前可视区域图像内目标物评分无效时，从区域列表中取评分最高的作为下一个目标区域。

本发明因小目标物在水下图像检测中存在模糊、偏色等可视化问题，采用分块检测策略，解决小目标在检测过程中的细节特征丢失问题，以达到无需获取水下机器人周围环境的全局信息，可以根据航行过程中周围的水下目标近邻分布信息，引导机器人自主抓取海产品。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于水下目标近邻分布的海产品自主抓取引导方法，其特征在于，包括：

水下机器人采用水下相机获取可视区域图像；

将所述可视区域图像均分为多个子区域；

采用目标物检测算法检测每一个所述子区域内的目标物和障碍物的数量；

根据所述目标物和障碍物的数量对所述子区域进行子区域评分，并根据所述评分结果进行排序；

其中，对所述子区域进行子区域评分方法如下：

统计每个子区域A_i中目标物和障碍物的检测结果，假设有N(N>0)类目标物，M(M>0)类障碍物，则子区域A_i中目标物的检测总数表示为：

其中，NUM(T_ij)表示第j类目标T_j的检测数量；障碍物的检测总数表示为：

其中，NUM(B_ik)表示第k类目标B_k的检测数量；可视区域图像A的目标物总数表示为：

障碍物总数表示为：

子区域A_i中目标检测总数SUM(T_i)在区域A中目标检测总数所占比例表示为：

即：

子区域A_i中障碍物检测总数SUM(B_i)在区域A中障碍物检测总数所占比例表示为：

即：

获取子区域A_i中目标检测结果评分：

其中，λ、γ分别是比例系数，

为障碍物总数占比，/>

为目标物总数占比，D_sub为每个所述可视区域图像的子区域个数，S_i为第i个子区域的得分；

采用公式

计算评分最高对应的子区域，i^*为最高评分对应子区域的序号；

抓捕所述可视区域图像评分最高的子区域内的目标物；

以所述评分最高的子区域为起始点采集下一个可视区域图像。

2.根据权利要求1所述的方法，其特征在于，所述以所述评分最高的子区域为起始点采集下一个可视区域图像之后，还包括：

将多个可视区域图像的评分最高的子区域去除，分别将多个可视区域图像的剩余子区域进行可视区域图像评分，将可视区域图像评分最高的子区域对应的分值作为每个可视区域图像的标识；

将多个可视区域图像按照所述标识由高到低进行排序，并按照所述排序依次对多个可视区域图像内目标物抓取。

3.根据权利要求2所述的方法，其特征在于，所述按照所述排序依次对多个可视区域图像内目标物抓取，包括：

对每个可视区域图像内目标物按照剩余的子区域评分从高到低的顺序进行抓取。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标物和障碍物的数量对所述子区域进行评分之前，还包括：

判断所述可视区域图像的目标物数量是否为0，若是，则不对所述可视区域图像进行对标识点的评分排序。

5.根据权利要求1所述的方法，其特征在于，所述水下机器人移动过程中实时更新所述水下机器人在水下的位置信息，并记录已采集的可视区域图像位置信息，将后次采集的可视区域图像与前次采集的可视区域图像重叠的子区域删除。

Images