CN112102369B - 水面漂浮目标自主巡检方法、装置、设备及存储介质 - Google Patents
水面漂浮目标自主巡检方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112102369B CN112102369B CN202010953323.8A CN202010953323A CN112102369B CN 112102369 B CN112102369 B CN 112102369B CN 202010953323 A CN202010953323 A CN 202010953323A CN 112102369 B CN112102369 B CN 112102369B
- Authority
- CN
- China
- Prior art keywords
- water surface
- surface floating
- unmanned ship
- area
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 162
- 238000007689 inspection Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 79
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000004590 computer program Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 2
- 238000004140 cleaning Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 3
- 208000034699 Vitreous floaters Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 101100384355 Mus musculus Ctnnbip1 gene Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 239000002912 waste gas Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本申请实施例提出水面漂浮目标自主巡检方法、装置、设备及存储介质，方法包括设定无人船的待巡检区域；利用动态规划算法计算出在所述待巡检区域的巡检路线；实时检测水面漂浮垃圾，对水面漂浮垃圾进行持续追踪；计算追踪的水面漂浮垃圾与所述无人船的相对位置关系，得到所述水面漂浮垃圾在巡检区域的真实坐标；将所述真实坐标设为无人船的优先航行点，使所述优先航行点的航行迫切度大于无人船当前巡检路线；实时检测所述优先航行点水面漂浮垃圾是否被清理，根据检测结果通知所述无人船返回至巡检路线，重复执行上述步骤的一项或多项。本申请实施例的方法能够实现在无人船航行过程中，同时进行水面小目标的识别及收集，完成水面清洁。
Description
技术领域
本发明涉及无人船技术领域，尤其涉及一种水面漂浮目标自主巡检方法、装置、设备及存储介质。
背景技术
在湖泊、河流及水库等水面上出现大量漂浮物，这些漂浮物会严重破坏生态环境，同时对我们的生活品质和身体健康产生直接的威胁。
目前人工清理内河及湖泊的垃圾，主要有两种方法：第一种是专业人员驾驶大型垃圾收集船到达指定位置手动操作机械进行收集，这种船体较大，收集量大，但对于个别离散的小型目标来讲工作效率低，现有的船都是靠柴油机或者汽油机作为动力，在作业的时候不仅产生大量的废气还有漏油，对气体和水体都有污染；第二种是采用无人船的形式进行作业，操作人员在岸边，通过移动终端远程遥控无人船到达指定位置，相比第一种方法更加安全有效，但是这种方式同样不能脱离人员的参与，在大面积的水面上人员的视野有限，工作时间比较短。针对此现象设计能自动识别水面漂浮物垃圾并清理的无人船迫在眉睫。
机器视觉是人工智能的一个分支。利用机器代替人眼来做测量和判断，机器视觉系统是通过机器视觉产品将被摄取目标转换成图像信号，传送给图像处理系统，图像系统根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统目标的特征进行模式识别，根据判别的结果控制设备动作。因此，结合机器视觉，实现完全自动的水面垃圾清理一体化解决方案至关重要。
公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明实施例提供了一种水面漂浮目标自主巡检方法、装置、计算机设备及存储介质，旨在实现无人船航行过程中进行水面小目标的识别及收集。
第一方面，本发明实施例提供了一种水面漂浮目标自主巡检方法，包括以下步骤:
接收巡检区域设定请求，设定无人船的待巡检区域；
利用动态规划算法计算出在所述待巡检区域的巡检路线，获取所述无人船在巡检路线自主航行时的路径水面图像信息；
通过视觉目标检测模块实时检测水面漂浮垃圾，利用目标追踪模块对水面漂浮垃圾进行持续追踪；
计算追踪的水面漂浮垃圾与所述无人船的相对位置关系，得到所述水面漂浮垃圾在巡检区域的真实坐标；
将所述真实坐标设为无人船的优先航行点，使所述优先航行点的航行迫切度大于无人船当前巡检路线；
实时检测所述优先航行点水面漂浮垃圾是否被清理，根据检测结果通知所述无人船返回至巡检路线，重复执行上述步骤的一项或多项。
在一个可能的实施方式中，所述利用动态规划算法计算出在所述待巡检区域的巡检路线的步骤包括，对所述待巡检区域进行区域划分处理，获得宽度小于所述无人船检测数据获取宽度的若干相邻的间隔区域。
在一个可能的实施方式中，所述对所述待巡检区域进行区域划分处理的步骤包括：
建立关于所述待巡检区域的坐标系，选取所述待巡检区域的边界上的定位点，在所述定位点处利用斜截式方程生成初始直线，为所述初始直线设定斜率参数组，遍历得到所述斜率参数组的数值并作为初始直线的斜率执行以下步骤：
设定截距变化量参数组，遍历所述截距变化量参数组并作为初始直线的增量，产生关于所述初始直线的若干条平行线，直至出现首次与所述待巡检区域无交点的初始直线法向量两端的两条无交集平行线；
统计所述斜率参数组的遍历过程中生成的平行线数量，以数量最少的一组平行线作为所述区域划分处理的划分线组。
在一个可能的实施方式中，所述通过视觉目标检测模块实时检测水面漂浮垃圾的步骤之前包括，通过采用深度学习的方法建立关于检测水面漂浮垃圾的模型检测文件；
所述通过视觉目标检测模块实时检测水面漂浮垃圾的步骤包括，将水面漂浮物体的图像数据输出至所述模型检测文件，获取所述模型检测文件输出的水面漂浮物体位置信息以及关于水面漂浮物体的检测可信度；
所述通过采用深度学习的方法建立关于检测水面漂浮垃圾的模型检测文件的步骤包括，初始化已经训练成熟的yolov3模型文件，通过预先采集并已经标明了水面漂浮垃圾的图像数据信息进行训练，统计训练过程中的损失函数Loss值，通过所述Loss值来判断整个模型是否完成训练；
所述获取所述模型检测文件输出的水面漂浮物体位置信息以及关于水面漂浮物体的检测可信度的步骤包括，根据设定的检测可信度阈值对yolov3模型文件预测的水面漂浮物体的位置信息进行选择性输出，生成水面漂浮物体的图像标记框。
在一个可能的实施方式中，所述利用目标追踪模块对水面漂浮垃圾进行持续追踪的步骤包括，利用所述目标追踪模块接收无人船获取的连续帧图片并通过卷积神经网络提取多帧图片之间的相似度度量特征，运用最大匹配的方式使多帧图片之间的相同相似度度量特征对准，使用卡尔曼滤波器与匈牙利算法结合的方式实现目标追踪轨迹输出。
在一个可能的实施方式中，所述利用所述目标追踪模块接收无人船获取的连续帧图片的步骤包括，若所述视觉目标检测模块检测某一帧图像数据后得到了图像标记框，则将得到的图像标记框初始化为目标追踪模块中的追踪对象，利用目标追踪模块预先训练的卷积神经网络提取每一个图像标记框的特征,过滤置信度小于所述检测可信度阈值的图像标记框，得到目标追踪模块中需要的追踪对象并标注名称。
在一个可能的实施方式中，所述使用卡尔曼滤波器与匈牙利算法结合的方式实现目标追踪轨迹输出的步骤包括，使用卡尔曼滤波器预测前一帧图像数据中的追踪对象在当前帧的状态，利用匈牙利算法将前一帧中的追踪对象与当前帧中的检测对象进行关联，通过外观信息和马氏距离计算前一帧中的追踪对象与当前帧中的检测对象的代价矩阵，相继对前一帧中的追踪对象与当前帧中的检测对象的代价矩阵进行级联匹配和IOU匹配,得到当前帧的所有匹配对、未匹配的前一帧中的追踪对象以及未匹配的当前帧中的检测对象；
所述使用卡尔曼滤波器与匈牙利算法结合的方式实现目标追踪轨迹输出的步骤还包括，使用当前帧中匹配到的检测对象对卡尔曼滤波器进行更新，计算卡尔曼增益K，状态更新和协方差更新，并将状态更新值输出；若为匹配到检测对象，则重新初始化卡尔曼滤波器。
第二方面，本发明实施例还提供了一种水面漂浮目标自主巡检装置，其包括用于执行上述水面漂浮目标自主巡检方法的单元。
第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述水面漂浮目标自主巡检方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述水面漂浮目标自主巡检方法。
相比于现有技术,本发明的有益效果在于：通过设定无人船的待巡检区域并利用动态规划算法计算出在待巡检区域的巡检路线，无人船可在规划好的巡检路线中完整地获取巡检路线的路径水面图像信息，通过视觉目标检测模块实时检测水面漂浮垃圾，利用目标追踪模块对水面漂浮垃圾进行持续追踪，保证目标不会丢失，计算追踪的水面漂浮垃圾与无人船的相对位置关系，得到水面漂浮垃圾在巡检区域的真实坐标，使得无人船可以及时得到待清理的物体位置，将真实坐标设为无人船的优先航行点，使优先航行点的航行迫切度大于无人船当前巡检路线，从而完成水面漂浮垃圾的清理。本申请实施例的方法可重复执行，能够实现在无人船航行过程中，同时进行水面小目标的识别及收集，完成水面清洁。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的水面漂浮目标自主巡检方法的应用场景示意图；
图2为本发明实施例提供的水面漂浮目标自主巡检方法的流程示意图；
图3为本发明实施例提供的水面漂浮目标自主巡检方法的具体实施例的待巡检区域划分场景示意图；
图4为本发明实施例提供的水面漂浮目标自主巡检装置的示意性框图；
图5为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的水面漂浮目标自主巡检方法的应用场景示意图。图2为本发明实施例提供的水面漂浮目标自主巡检方法的流程示意图。如图所示，本发明的水面漂浮目标自主巡检方法应用于无人船，该方法通过安装于无人船中的计算机程序进行执行，无人船与至少一台用户端进行通信，用户端可以是具有信息接收功能及信息发送功能的用户端设备，例如台式电脑、笔记本电脑、平板电脑或智能手机等。其中，所述无人船作为功能实施件实现水面作业，所述用户端作为控制端提供与用户进行交互的操作界面，可用于向无人船发送命令。本发明实施例提供的水面漂浮目标自主巡检方法通过无人船与用户端的配合使用，可实现水面漂浮目标自主巡检以及清理等操作。如图1所示，本发明实施例提供的一种水面漂浮目标自主巡检方法包括以下步骤:
步骤S101、接收巡检区域设定请求，设定无人船的待巡检区域；
具体地，本步骤可通过平板、手机、电脑、遥控器等设备划定无人船待巡检区域范围，通过在平板，手机、电脑等设备的电子地图上手动标记出待巡检区域的边界点，将边界点依次连接形成待巡检区域。
在一实施例中，可通过遥控无人船沿着待巡检区域边界航行形成一个区域闭环，在航行中，无人船通过搭载的全球定位系统实时获取当前位置信息并存储。当完成绕边界航行，通过将已存储位置坐标信息进行滤波，依次连接从而形成待巡检区域。
其中，通过平板、手机、电脑、遥控器等设备划定无人船待巡检区域范围的步骤包括：
在期望的待巡检区域的起点，用户通过操作端APP或者遥控器等其他设备，在电子地图上依次手动标记出期望的待巡检区域的边界点，将边界点依次连接形成待巡检区域。通过设备控制无人船沿着标记的待巡检区域的边界航行形成一个区域闭环，在航行过程中，无人船通过搭载的全球定位系统实时获取当前位置信息并存储得到一系列的位置坐标点(如X[x1，x2...xn])并进行记录，得到待检测区域边界的点队列。
当无人船完成绕边界航行之后，对已经存储的坐标点队列进行滤波，删去待检测区域边界路径中存在的两两相邻坐标相同的重复点，删去两两相邻点之间距离过小的点，删去路径点中出现的偏离期望路径的偏离点，同时对相邻的距离过大的两点之间利用插值的方法进行路径点补充，得到期望的符合要求的最终点队列。
步骤S102、利用动态规划算法计算出在所述待巡检区域的巡检路线，获取所述无人船在巡检路线自主航行时的路径水面图像信息；
在本实施例中，所述利用动态规划算法计算出在所述待巡检区域的巡检路线的步骤包括，对所述待巡检区域进行区域划分处理，获得宽度小于所述无人船检测数据获取宽度的若干相邻的间隔区域。
所述对所述待巡检区域进行区域划分处理的步骤包括：
建立关于所述待巡检区域的坐标系，选取所述待巡检区域的边界上的定位点；
在所述定位点处利用斜截式方程生成初始直线，为所述初始直线设定斜率参数组，遍历得到所述斜率参数组的数值并作为初始直线的斜率执行以下步骤：
设定截距变化量参数组，遍历所述截距变化量参数组并作为初始直线的增量，产生关于所述初始直线的若干条平行线，直至出现首次与所述待巡检区域无交点的初始直线法向量两端的两条无交集平行线；
统计所述斜率参数组的遍历过程中生成的平行线数量，以数量最少的一组平行线作为所述区域划分处理的划分线组。其中，所述斜率参数组以数值可根据实际的水域岸线中待巡检区域的形状进行设定，所述截距变化量参数组的数值可根据无人船视觉检测范围设定，因此，本实施例可适用于多种不同检测范围的无人船进行巡检。
如图3所示的实施例中，在一次所述区域划分处理的过程中，可在待巡检区域Z中采用先选取斜率为0的初始直线Q，根据上述原理生成平行线Q1、Q2、Q3、Q4以及Q法向量另一方向的平行线Q1-、Q2-、Q3-，其中，Q4与Q3-为最接近待巡检区域Z边界的初始直线的平行线，当遍历斜率参数组中的所有斜率作为初始直线Q的斜率并获得相关平行线之后，统计得到平行线数量至少的一组平行线即可作为待巡检区域Z的划分线组，可使无人船巡检路径最优，巡检效率最佳。
当所述待检测区域被划分完成之后，无人船沿着规划的间隔区域内的巡检路线进行自主航行，航行过程中通过摄像头实时获取水面图像信息。在待巡检区域中，无人船按照步骤S101中设定的待巡检区域，通过步骤S102计算得到满足要求的最优的巡检路线，得到的巡检路线传递给无人船的处理模块进一步处理，处理模块将指令下发执行机构，执行机构控制无人船在待检区域内进行自主航行。在自主航行过程中，无人船启动摄像头模块，以一定的帧率对前方环境图像进行采集，得到指定像素的图像。
步骤S103、通过视觉目标检测模块实时检测水面漂浮垃圾，利用目标追踪模块对水面漂浮垃圾进行持续追踪；
为了完成水面漂浮垃圾的识别，以及水面图像数据信息的预处理，需要将摄像头采集到的巡检路径的水面图像信息进行筛选，去掉一部分无效的数据，然后对图像进行缩放，从而将摄像头得到的水面图像信息转化为满足检测模型输入数据要求的图像信息数据。因此，所述通过视觉目标检测模块实时检测水面漂浮垃圾的步骤之前包括，通过采用深度学习的方法建立关于检测水面漂浮垃圾的模型检测文件；所述通过采用深度学习的方法建立关于检测水面漂浮垃圾的模型检测文件的步骤包括，初始化已经训练成熟的yolov3模型文件，通过预先采集并已经标明了水面漂浮垃圾的图像数据信息进行训练，统计训练过程中的损失函数Loss值，通过所述Loss值来判断整个模型是否完成训练；
其中，对yolov3模型的训练中需要观察训练过程中的损失函数Loss的值，得到适应使用场景并且能够正确提取图像数据中水面漂浮垃圾的模型文件。其中Loss的计算公式如下:
loss＝lbox+lobj+lcls
在本实施例中，可通过Loss的值来判断整个模型是否完成训练，其中S表示待检测区域的大小,S2表示13×13,26×26,52×52，B代表Ibox，表示如果i、j处的Ibox没有目标，其值为1，否则为0。
当步骤S102获取到相应的水面图像信息时，所述通过视觉目标检测模块实时检测水面漂浮垃圾的步骤包括，将水面漂浮物体的图像数据输出至所述模型检测文件，获取所述模型检测文件输出的水面漂浮物体位置信息以及关于水面漂浮物体的检测可信度；
具体地，将预处理后的图像数据输入训练好的yolov3模型中，yolov3模型对接收到的图像数据进行特征提取和对图像数据中水面漂浮垃圾的位置进行预测。当图像数据被输入到深度学习模型中时，模型开始根据其中存储的权重参数的权重值对图像数据进行特征提取，并且得出图像中有可能是水面漂浮垃圾的图像区域的位置坐标以及对做出该判断的检测可信度。
根据设定的检测可信度阈值对yolov3模型预测的水面漂浮垃圾的位置框信息进行选择性输出，在yolov3模型输出了位置坐标和检测可信度，判断输出的检测可信度值是否大于设定的检测可信度阈值，如果大于设定的检测可信度阈值，则认为模型预测到的水面垃圾是真实存在的，并且在图像数据中的位置坐标也是真实的。反之，如果输出的检测可信度值小于设定的检测可信度阈值，则认为模型预测到的水面垃圾不是真实存在的，将这组预测值屏蔽不予采用。
通过上述阈值的设定，将筛选之后的模型预测的水面漂浮垃圾的位置框坐标信息输出并生成水面漂浮垃圾的图像标记框，以便于目标追踪模块对图像标记框进行处理。
在本实施例中，所述利用目标追踪模块对水面漂浮垃圾进行持续追踪的步骤包括，利用所述目标追踪模块接收无人船获取的连续帧图片并通过卷积神经网络提取多帧图片之间的相似度度量特征，运用最大匹配的方式使多帧图片之间的相同相似度度量特征对准，使用卡尔曼滤波器与匈牙利算法结合的方式实现目标追踪轨迹输出。
其中，卡尔曼滤波器是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程，匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法，本申请实施例中采用上述技术实现图像中的无效特征的剔除，保证检测结果的真实有效。
在一实施例中，所述利用所述目标追踪模块接收无人船获取的连续帧图片的步骤包括，若所述视觉目标检测模块检测某一帧图像数据后得到了图像标记框，则将得到的图像标记框初始化为目标追踪模块中的追踪对象，利用目标追踪模块预先训练的卷积神经网络提取每一个图像标记框的特征,过滤置信度小于所述检测可信度阈值的图像标记框，得到目标追踪模块中需要的追踪对象并标注名称。
在一实施例中，所述使用卡尔曼滤波器与匈牙利算法结合的方式实现目标追踪轨迹输出的步骤包括，使用卡尔曼滤波器预测前一帧图像数据中的追踪对象在当前帧的状态，利用匈牙利算法将前一帧中的追踪对象与当前帧中的检测对象进行关联，通过外观信息和马氏距离计算前一帧中的追踪对象与当前帧中的检测对象的代价矩阵，相继对前一帧中的追踪对象与当前帧中的检测对象的代价矩阵进行级联匹配和IOU匹配,得到当前帧的所有匹配对、未匹配的前一帧中的追踪对象以及未匹配的当前帧中的检测对象；
其中，上述追踪对象可视为图像标记框，以便于目标追踪模块处理。
所述使用卡尔曼滤波器与匈牙利算法结合的方式实现目标追踪轨迹输出的步骤还包括，使用当前帧中匹配到的检测对象对卡尔曼滤波器进行更新，计算卡尔曼增益K，状态更新和协方差更新，并将状态更新值输出；若为匹配到检测对象，则重新初始化卡尔曼滤波器，以便于识别下一个追踪对象。
步骤S104、计算追踪的水面漂浮垃圾与所述无人船的相对位置关系，得到所述水面漂浮垃圾在巡检区域的真实坐标；
具体地，为实现本步骤，需要根据被追踪水面漂浮垃圾在图像中的位置，利用相机内外参信息，将被追踪水面漂浮垃圾从相平面投影到二维地理平面，从而得到相对位置关系，具体处理过程如下：
首先利用相似三角形原理得到摄像头模块的焦距f，选取一宽度为width的水面漂浮垃圾，将其放置在距离摄像头模块距离为D处，用相机对物体进行拍照并测量物体的像素宽度P，此时可以得到摄像头模块的焦距f：
f＝(P*D)/width
而当船上的摄像头模块移动靠近或者远离水面漂浮垃圾时，就可以使用相似三角形来计算此刻水面漂浮垃圾与船的距离D′：
D′＝(width*f)/P
当获取到水面漂浮垃圾与船的距离，可通过相对位置关系与无人船当前实时坐标，计算得到水面漂浮垃圾真实坐标，具体如下：
获取水面漂浮垃圾相对于船中心点的角度θ，则可以得到水面漂浮垃圾真实坐标为：
a′＝a+Δx*cosθ
b′＝b+Δy*s inθ
步骤S105、将所述真实坐标设为无人船的优先航行点，使所述优先航行点的航行迫切度大于无人船当前巡检路线；
在本实施例中，将坐标作为无人船的优先航行点，需要无人船偏离之前规划的巡检路线，航行至目标点完成水面漂浮垃圾清理，过程依次如下：
更新无人船的目标点，若无人船原来的目标点为其目标点的点队列中的N点，则现在无人船的目标点变成(a′,b′)；
在无人船实时位置(a，b)与目标点(a′,b′)之间形成无人船点队列
根据生成的点队列，计算无人船的转弯控制量和前进控制量；
将无人船的转弯控制量和前进控制量发送给无人船的执行机构，无人船按指令行驶。
步骤S106、实时检测所述优先航行点水面漂浮垃圾是否被清理，根据检测结果通知所述无人船返回至巡检路线。
图4是本发明实施例提供的一种水面漂浮目标自主巡检装置的示意性框图。如图4所示，对应于以上水面漂浮目标自主巡检方法，本发明还提供一种水面漂浮目标自主巡检装置。该水面漂浮目标自主巡检装置包括用于执行上述水面漂浮目标自主巡检方法的单元，该装置可以被配置于无人船、台式电脑、平板电脑、手提电脑、等终端中。具体地，请参阅图4，该水面漂浮目标自主巡检装置200包括巡检区域设定单元201、巡检路线规划单元202、漂浮物体数据单元203、位置坐标获取单元204、优先航行设置单元205以及巡检路线恢复单元206。
巡检区域设定单元201，用于接收巡检区域设定请求，设定无人船的待巡检区域；
巡检路线规划单元202，用于利用动态规划算法计算出在所述待巡检区域的巡检路线，获取所述无人船在巡检路线自主航行时的路径水面图像信息；
漂浮物体数据单元203，用于通过视觉目标检测模块实时检测水面漂浮垃圾，利用目标追踪模块对水面漂浮垃圾进行持续追踪；
位置坐标获取单元204，用于计算追踪的水面漂浮垃圾与所述无人船的相对位置关系，得到所述水面漂浮垃圾在巡检区域的真实坐标；
优先航行设置单元205，用于将所述真实坐标设为无人船的优先航行点，使所述优先航行点的航行迫切度大于无人船当前巡检路线；
巡检路线恢复单元206，用于实时检测所述优先航行点水面漂浮垃圾是否被清理，根据检测结果通知所述无人船返回至巡检路线。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述水面漂浮目标自主巡检装置200和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述水面漂浮目标自主巡检装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。
请参阅图5，图5是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备300可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图5，该计算机设备300包括通过系统总线301连接的处理器302、存储器和网络接口305，其中，存储器可以包括非易失性存储介质303和内存储器304。
该非易失性存储介质303可存储操作系统3031和计算机程序3032。该计算机程序3032包括程序指令，该程序指令被执行时，可使得处理器302执行一种水面漂浮目标自主巡检方法。
该处理器302用于提供计算和控制能力，以支撑整个计算机设备300的运行。
该内存储器304为非易失性存储介质303中的计算机程序3032的运行提供环境，该计算机程序3032被处理器302执行时，可使得处理器302执行一种水面漂浮目标自主巡检方法。
该网络接口305用于与其它设备进行网络通信。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备300的限定，具体的计算机设备300可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器302用于运行存储在存储器中的计算机程序3032，以实现如下步骤：
在一实施例中，处理器302实现接收巡检区域设定请求，设定无人船的待巡检区域；利用动态规划算法计算出在所述待巡检区域的巡检路线，获取所述无人船在巡检路线自主航行时的路径水面图像信息；通过视觉目标检测模块实时检测水面漂浮垃圾，利用目标追踪模块对水面漂浮垃圾进行持续追踪；计算追踪的水面漂浮垃圾与所述无人船的相对位置关系，得到所述水面漂浮垃圾在巡检区域的真实坐标；将所述真实坐标设为无人船的优先航行点，使所述优先航行点的航行迫切度大于无人船当前巡检路线；实时检测所述优先航行点水面漂浮垃圾是否被清理，根据检测结果通知所述无人船返回至巡检路线，重复执行上述步骤的一项或多项。
应当理解，在本申请实施例中，处理器302可以是中央处理单元(CentralProcessing Uni t，CPU)，该处理器302还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Appl icat ion Specific IntegratedCircui t，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如下步骤：
在一实施例中，所述处理器执行所述程序指令而实现接收巡检区域设定请求，设定无人船的待巡检区域；利用动态规划算法计算出在所述待巡检区域的巡检路线，获取所述无人船在巡检路线自主航行时的路径水面图像信息；通过视觉目标检测模块实时检测水面漂浮垃圾，利用目标追踪模块对水面漂浮垃圾进行持续追踪；计算追踪的水面漂浮垃圾与所述无人船的相对位置关系，得到所述水面漂浮垃圾在巡检区域的真实坐标；将所述真实坐标设为无人船的优先航行点，使所述优先航行点的航行迫切度大于无人船当前巡检路线；实时检测所述优先航行点水面漂浮垃圾是否被清理，根据检测结果通知所述无人船返回至巡检路线，重复执行上述步骤的一项或多项。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种水面漂浮目标自主巡检方法，其特征在于，包括以下步骤:
接收巡检区域设定请求，设定无人船的待巡检区域；
利用动态规划算法计算出在所述待巡检区域的巡检路线，获取所述无人船在巡检路线自主航行时的路径水面图像信息；
通过视觉目标检测模块实时检测水面漂浮垃圾，利用目标追踪模块对水面漂浮垃圾进行持续追踪；
计算追踪的水面漂浮垃圾与所述无人船的相对位置关系，得到所述水面漂浮垃圾在巡检区域的真实坐标；
将所述真实坐标设为无人船的优先航行点，使所述优先航行点的航行迫切度大于无人船当前巡检路线；
实时检测所述优先航行点水面漂浮垃圾是否被清理，根据检测结果通知所述无人船返回至巡检路线，重复执行上述步骤的一项或多项；
所述利用动态规划算法计算出在所述待巡检区域的巡检路线的步骤包括，对所述待巡检区域进行区域划分处理，获得宽度小于所述无人船检测数据获取宽度的若干相邻的间隔区域；
所述对所述待巡检区域进行区域划分处理的步骤包括：
建立关于所述待巡检区域的坐标系，选取所述待巡检区域的边界上的定位点，在所述定位点处利用斜截式方程生成初始直线，为所述初始直线设定斜率参数组，遍历得到所述斜率参数组的数值并作为初始直线的斜率执行以下步骤：
设定截距变化量参数组，遍历所述截距变化量参数组并作为初始直线的增量，产生关于所述初始直线的若干条平行线，直至出现首次与所述待巡检区域无交点的初始直线法向量两端的两条无交集平行线；
统计所述斜率参数组的遍历过程中生成的平行线数量，以数量最少的一组平行线作为所述区域划分处理的划分线组。
2.根据权利要求1所述的水面漂浮目标自主巡检方法，其特征在于，所述通过视觉目标检测模块实时检测水面漂浮垃圾的步骤之前包括，通过采用深度学习的方法建立关于检测水面漂浮垃圾的模型检测文件；
所述通过视觉目标检测模块实时检测水面漂浮垃圾的步骤包括，将水面漂浮物体的图像数据输出至所述模型检测文件，获取所述模型检测文件输出的水面漂浮物体位置信息以及关于水面漂浮物体的检测可信度；
所述通过采用深度学习的方法建立关于检测水面漂浮垃圾的模型检测文件的步骤包括，初始化已经训练成熟的yolov3模型文件，通过预先采集并已经标明了水面漂浮垃圾的图像数据信息进行训练，统计训练过程中的损失函数Loss值，通过所述Loss值来判断整个模型是否完成训练；
所述获取所述模型检测文件输出的水面漂浮物体位置信息以及关于水面漂浮物体的检测可信度的步骤包括：
根据设定的检测可信度阈值对yolov3模型文件预测的水面漂浮物体的位置信息进行选择性输出，生成水面漂浮物体的图像标记框。
3.根据权利要求2所述的水面漂浮目标自主巡检方法，其特征在于，所述利用目标追踪模块对水面漂浮垃圾进行持续追踪的步骤包括，利用所述目标追踪模块接收无人船获取的连续帧图片并通过卷积神经网络提取多帧图片之间的相似度度量特征，运用最大匹配的方式使多帧图片之间的相同相似度度量特征对准，使用卡尔曼滤波器与匈牙利算法结合的方式实现目标追踪轨迹输出。
4.根据权利要求3所述的水面漂浮目标自主巡检方法，其特征在于，所述利用所述目标追踪模块接收无人船获取的连续帧图片的步骤包括，若所述视觉目标检测模块检测某一帧图像数据后得到了图像标记框，则将得到的图像标记框初始化为目标追踪模块中的追踪对象，利用目标追踪模块预先训练的卷积神经网络提取每一个图像标记框的特征,过滤置信度小于所述检测可信度阈值的图像标记框，得到目标追踪模块中需要的追踪对象并标注名称。
5.根据权利要求4所述的水面漂浮目标自主巡检方法，其特征在于，所述使用卡尔曼滤波器与匈牙利算法结合的方式实现目标追踪轨迹输出的步骤包括，使用卡尔曼滤波器预测前一帧图像数据中的追踪对象在当前帧的状态，利用匈牙利算法将前一帧中的追踪对象与当前帧中的检测对象进行关联，通过外观信息和马氏距离计算前一帧中的追踪对象与当前帧中的检测对象的代价矩阵，相继对前一帧中的追踪对象与当前帧中的检测对象的代价矩阵进行级联匹配和IOU匹配,得到当前帧的所有匹配对、未匹配的前一帧中的追踪对象以及未匹配的当前帧中的检测对象；
所述使用卡尔曼滤波器与匈牙利算法结合的方式实现目标追踪轨迹输出的步骤还包括，使用当前帧中匹配到的检测对象对卡尔曼滤波器进行更新，计算卡尔曼增益K，状态更新和协方差更新，并将状态更新值输出；若为匹配到检测对象，则重新初始化卡尔曼滤波器。
6.一种水面漂浮目标自主巡检装置，其特征在于，包括：
巡检区域设定单元，用于接收巡检区域设定请求，设定无人船的待巡检区域；
巡检路线规划单元，用于利用动态规划算法计算出在所述待巡检区域的巡检路线，对所述待巡检区域进行区域划分处理，建立关于所述待巡检区域的坐标系，选取所述待巡检区域的边界上的定位点，在所述定位点处利用斜截式方程生成初始直线，为所述初始直线设定斜率参数组，遍历得到所述斜率参数组的数值并作为初始直线的斜率执行以下步骤：设定截距变化量参数组，遍历所述截距变化量参数组并作为初始直线的增量，产生关于所述初始直线的若干条平行线，直至出现首次与所述待巡检区域无交点的初始直线法向量两端的两条无交集平行线；统计所述斜率参数组的遍历过程中生成的平行线数量，以数量最少的一组平行线作为所述区域划分处理的划分线组，获得宽度小于所述无人船检测数据获取宽度的若干相邻的间隔区域，获取所述无人船在巡检路线自主航行时的路径水面图像信息；
漂浮物体数据单元，用于通过视觉目标检测模块实时检测水面漂浮垃圾，利用目标追踪模块对水面漂浮垃圾进行持续追踪；
位置坐标获取单元，用于计算追踪的水面漂浮垃圾与所述无人船的相对位置关系，得到所述水面漂浮垃圾在巡检区域的真实坐标；
优先航行设置单元，用于将所述真实坐标设为无人船的优先航行点，使所述优先航行点的航行迫切度大于无人船当前巡检路线；
巡检路线恢复单元，用于实时检测所述优先航行点水面漂浮垃圾是否被清理，根据检测结果通知所述无人船返回至巡检路线。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的水面漂浮目标自主巡检方法。
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-5中任一项所述的水面漂浮目标自主巡检方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010953323.8A CN112102369B (zh) | 2020-09-11 | 2020-09-11 | 水面漂浮目标自主巡检方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010953323.8A CN112102369B (zh) | 2020-09-11 | 2020-09-11 | 水面漂浮目标自主巡检方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112102369A CN112102369A (zh) | 2020-12-18 |
| CN112102369B true CN112102369B (zh) | 2024-04-09 |
Family
ID=73751413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010953323.8A Active CN112102369B (zh) | 2020-09-11 | 2020-09-11 | 水面漂浮目标自主巡检方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102369B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112799400A (zh) * | 2020-12-28 | 2021-05-14 | 深兰人工智能(深圳)有限公司 | 清扫轨迹规划方法及装置 |
| CN113076924A (zh) * | 2021-04-21 | 2021-07-06 | 西交利物浦大学 | 基于无人船的河面垃圾实时检测方法、装置及存储介质 |
| CN113139497B (zh) * | 2021-05-08 | 2023-04-28 | 广东工业大学 | 一种水面物体识别的系统、方法及基于5g mec的应用 |
| CN113607175B (zh) * | 2021-07-24 | 2024-03-26 | 诚邦测绘信息科技(浙江)有限公司 | 测绘用无人船路线规划方法、系统、存储介质及智能终端 |
| CN113510682A (zh) * | 2021-08-03 | 2021-10-19 | 国网浙江省电力有限公司嘉兴供电公司 | 一种具有从急处理功能的巡检机器人 |
| CN114089656B (zh) * | 2021-10-27 | 2023-08-08 | 广州大学 | 基于机器视觉和强化学习的海洋垃圾回收规划方法及系统 |
| CN113743385A (zh) * | 2021-11-05 | 2021-12-03 | 陕西欧卡电子智能科技有限公司 | 一种无人船水面目标检测方法、装置及无人船 |
| CN113917930A (zh) * | 2021-11-11 | 2022-01-11 | 中国船舶重工集团公司第七一九研究所 | 一种基于感知数据的无人船航行状态控制方法 |
| CN114565635B (zh) * | 2022-03-08 | 2022-11-11 | 安徽新宇环保科技股份有限公司 | 一种智能识别河道垃圾并进行分类收集的无人船系统 |
| CN114596536A (zh) * | 2022-05-07 | 2022-06-07 | 陕西欧卡电子智能科技有限公司 | 无人船沿岸巡检方法、装置、计算机设备及存储介质 |
| CN115249339B (zh) * | 2022-06-10 | 2024-05-28 | 广州中科云图智能科技有限公司 | 河道漂浮物识别系统、方法、设备及存储介质 |
| CN114792319B (zh) * | 2022-06-23 | 2022-09-20 | 国网浙江省电力有限公司电力科学研究院 | 一种基于变电图像的变电站巡检方法及系统 |
| CN115047890B (zh) * | 2022-08-17 | 2022-11-01 | 北京大学 | 无人船控制方法、设备及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105929845A (zh) * | 2016-05-18 | 2016-09-07 | 中国计量大学 | 基于无人机网络的河道巡航系统与巡航方法 |
| CN207076743U (zh) * | 2017-05-26 | 2018-03-09 | 大鹏高科（武汉）智能装备有限公司 | 一种基于无人船的网箱清洗系统 |
| CN109062244A (zh) * | 2018-06-22 | 2018-12-21 | 西安特种飞行器工程研究院有限公司 | 一种基于海洋生态环境巡检的系统和方法 |
| CN111259809A (zh) * | 2020-01-17 | 2020-06-09 | 五邑大学 | 基于DANet的无人机海岸线漂浮垃圾巡检系统 |
| CN111476112A (zh) * | 2020-03-20 | 2020-07-31 | 深圳中科保泰科技有限公司 | 无人机多混合任务巡采巡查方法及平台系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10808679B2 (en) * | 2018-08-20 | 2020-10-20 | Yik Hei Sia | Drone mounted wind turbine-generator system |
-
2020
- 2020-09-11 CN CN202010953323.8A patent/CN112102369B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105929845A (zh) * | 2016-05-18 | 2016-09-07 | 中国计量大学 | 基于无人机网络的河道巡航系统与巡航方法 |
| CN207076743U (zh) * | 2017-05-26 | 2018-03-09 | 大鹏高科（武汉）智能装备有限公司 | 一种基于无人船的网箱清洗系统 |
| CN109062244A (zh) * | 2018-06-22 | 2018-12-21 | 西安特种飞行器工程研究院有限公司 | 一种基于海洋生态环境巡检的系统和方法 |
| CN111259809A (zh) * | 2020-01-17 | 2020-06-09 | 五邑大学 | 基于DANet的无人机海岸线漂浮垃圾巡检系统 |
| CN111476112A (zh) * | 2020-03-20 | 2020-07-31 | 深圳中科保泰科技有限公司 | 无人机多混合任务巡采巡查方法及平台系统 |
Non-Patent Citations (2)
| Title |
|---|
| 无人机开展河道漂浮物巡查技术研究;李维涛;王丽;;测绘通报(S1);全文 * |
| 无人机系统在江苏省沿海渔港监督管理中的应用初探;王春雷;王正辉;张勋;张帅;马硕;王永进;张禹;冯春雷;;渔业信息与战略(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112102369A (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112102369B (zh) | 水面漂浮目标自主巡检方法、装置、设备及存储介质 | |
| Kong et al. | Vanishing point detection for road detection | |
| CN110136199A (zh) | 一种基于摄像头的车辆定位、建图的方法和装置 | |
| CN104062973B (zh) | 一种基于图像标志物识别的移动机器人slam方法 | |
| CN108873904B (zh) | 矿用车辆无人驾驶停靠方法、设备及可读存储介质 | |
| WO2020253010A1 (zh) | 一种泊车定位中的停车场入口定位方法、装置及车载终端 | |
| US20060210116A1 (en) | Lane recognition apparatus | |
| KR101261409B1 (ko) | 영상 내 노면표시 인식시스템 | |
| CN105955308A (zh) | 一种飞行器的控制方法和装置 | |
| CN108549381A (zh) | 一种基于图像视觉的无人船避障装置及方法 | |
| EP2887315A1 (en) | Calibration device, method for implementing calibration, program and camera for movable body | |
| CN105785989A (zh) | 利用行进中机器人标定分布式网络摄像机的系统和相关方法 | |
| CN111178170B (zh) | 一种手势识别方法和一种电子设备 | |
| CN101509782A (zh) | 一种小型地标捕获定位方法 | |
| US11941892B2 (en) | Method and device for providing data for creating a digital map | |
| US20200279395A1 (en) | Method and system for enhanced sensing capabilities for vehicles | |
| Li et al. | Lane marking quality assessment for autonomous driving | |
| CN113011285B (zh) | 车道线检测方法、装置、自动驾驶车辆及可读存储介质 | |
| CN113591722B (zh) | 一种移动机器人的目标人员跟随控制方法及系统 | |
| CN107767366B (zh) | 一种输电线路拟合方法及装置 | |
| CN114596536A (zh) | 无人船沿岸巡检方法、装置、计算机设备及存储介质 | |
| Truong et al. | New lane detection algorithm for autonomous vehicles using computer vision | |
| CN104166995A (zh) | 一种基于马步测度的Harris-SIFT双目视觉定位方法 | |
| CN112444251A (zh) | 车辆行车位置确定方法、装置、存储介质及计算机设备 | |
| CN113554705B (zh) | 一种变化场景下的激光雷达鲁棒定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |