CN115240086A - 基于无人机的河道船只检测方法、装置、设备及存储介质 - Google Patents

基于无人机的河道船只检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115240086A
CN115240086A CN202210750687.5A CN202210750687A CN115240086A CN 115240086 A CN115240086 A CN 115240086A CN 202210750687 A CN202210750687 A CN 202210750687A CN 115240086 A CN115240086 A CN 115240086A
Authority
CN
China
Prior art keywords
ship
river channel
frame
river
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210750687.5A
Other languages
English (en)
Inventor
肖素枝
郑炜
胡金磊
钱茂冬
王海滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xingluo Artificial Intelligence Technology Shanghai Co ltd
Original Assignee
Xingluo Artificial Intelligence Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xingluo Artificial Intelligence Technology Shanghai Co ltd filed Critical Xingluo Artificial Intelligence Technology Shanghai Co ltd
Priority to CN202210750687.5A priority Critical patent/CN115240086A/zh
Publication of CN115240086A publication Critical patent/CN115240086A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于无人机的河道船只检测方法，包括以下步骤：获取河道图像并逐帧进行解析以获取解析结果；对所述解析结果进行河道语义分割以进行背景分离，并根据所述河道语义分割输出的点集在图中标注河道区域的轮廓；对所述解析结果进行船只目标检测以确定船只的位置坐标、方框大小以及倾斜角度；将背景分离和船只目标检测的检测结果进行信息融合，判断是否存在违规停靠的船只并输出判断结果。能够利用无人机的视觉感知数据，借助图像语义分割算法，逐帧、实时地识别图中河道区域来判断船只是否按照规定停泊。

Description

基于无人机的河道船只检测方法、装置、设备及存储介质
技术领域
本发明属于河道监控技术领域，尤其涉及一种基于无人机的河道船只检测方法、装置、设备及存储介质。
背景技术
我国水域丰富，河流分支数量庞大，因此河道众多。这些河道有些坐落在城市中，有些坐落在乡村中，形状不一，水域状况不同，因此河道船只停泊的合规性十分重要。水域的不同以及地形的复杂，导致人工检查的的时间成本大大提高。传统的方式依赖人工实地检查，沿着河道进行巡检，筛选出不合规的船只。这样的方法费时费力，无法保证检查所有河道，难以实现及时的河道船只检测需求。随着无人机技术的发展，无人机上能够携带摄像单元便于获取图像，将获取的图像实时发送回控制中心，替代原始的人工实地检查，但是，这仍然需要控制中心花费大量的人力和时间进行核查。
发明内容
为解决上述问题，本发明的目的是提供一种基于无人机的河道船只检测方法、装置、设备及存储介质，该方法能够利用无人机的视觉感知数据，借助图像语义分割算法，逐帧、实时地识别图中河道区域来判断船只是否按照规定停泊。
为实现上述目的，本发明的技术方案为：一种基于无人机的河道船只检测方法，包括以下步骤：
获取河道图像并逐帧进行解析以获取解析结果；
对所述解析结果进行河道语义分割以进行背景分离，并根据所述河道语义分割输出的点集在图中标注河道区域的轮廓；
对所述解析结果进行船只目标检测以确定船只的位置坐标、方框大小以及倾斜角度；
将背景分离和船只目标检测的检测结果进行信息融合，判断是否存在违规停靠的船只并输出判断结果。
在本发明的一个实施例中，所述对所述解析结果进行河道语义分割以进行背景分离包括：通过双边分割网络BiSeNetV2的细节分支对所述解析结果进行实时检测以获取低级特征响应；通过双边分割网络BiSeNetV2的语义分支对所述解析结果进行实时检测以获取高级特征响应；利用所述高级特征响应指导所述低级特征响应，在不同的尺度引导下捕获不同的尺度特征表示。
在本发明的一个实施例中，所述根据所述河道语义分割输出的点集在图中标注河道区域的轮廓：获取所述尺度特征表示，通过opencv的findContours函数对其进行运算以获取河道边缘坐标；其中，所述opencv的findContours函数的int型的mode定义为CV_RETR_EXTERNAL。
在本发明的一个实施例中，所述对所述解析结果进行船只目标检测以确定船只的位置坐标、方框大小包括：获取经过解析的视频流，通过Mosaic数据增强、自适应锚框计算、自适应图片缩放生成相应的自适应锚框；采用Focus结构对图片进行切片操作，从高分辨率图像中，周期性的抽出像素点重构到低分辨率图像中；采用CSP结构将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并；通过上述方式训练获取的YOLOv5模型，能够对船只进行目标检测，确定船只的位置坐标、方框大小。
在本发明的一个实施例中，所述对所述解析结果进行船只目标检测以确定船只的倾斜角度包括：使用最长边表示法来表示目标方框，包扩x_c，y_c，longside，shortside，以及θ；其中，x_c与y_c表示旋转矩形框的中心坐标，longside表示最长的边；shortside是与longside对应的另一条边；θ表示最长边到x轴逆时针旋转的夹角，逆时针方向角度为负，θ∈[-180,0)；将θ由回归问题转为分类问题，在YOLOv5原本的框架中，修改数据加载、预测部分、损失函数部分的代码，从而实现旋转目标的检测以及确定船只的倾斜角度。
在本发明的一个实施例中，所述将背景分离和船只目标检测的检测结果进行信息融合，判断是否存在违规停靠的船只并输出判断结果包括：获取船只的位置坐标、方框大小以及倾斜角度信息；扩大船只的长宽为原本的两倍，遍历河道边缘坐标判断河道边缘与扩大后的船只长宽是否存在交集；如果存在交集则通过deep-sort记录此船只，并赋予其对象ID；对出现目标船只之后的每一帧进行检测，得到目标的边界框，通过目标的外观特征和运动特征计算代价矩阵，从而根据所述代价矩阵进行目标的匹配，通过此方式完成对目标船只的跟踪；在符合预设条件的情况下，输出该船只处在河道边缘的结果。
基于相同的构思，本发明还提供一种基于无人机的河道船只检测装置，包括：图像获取模块，用于获取河道图像并逐帧进行解析以获取解析结果；道检测模块，用于对所述解析结果进行河道语义分割以进行背景分离，并根据所述河道语义分割输出的点集在图中标注河道区域的轮廓；船只检测模块，用于对所述解析结果进行船只目标检测以确定船只的位置坐标、方框大小以及倾斜角度；判断模块，用于将背景分离和船只目标检测的检测结果进行信息融合，判断是否存在违规停靠的船只并输出判断结果。
基于相同的构思，本发明还提供一种电子设备，包括：存储器，所述存储器用于存储处理程序；处理器，所述处理器执行所述处理程序时实现所述的基于无人机的河道船只检测方法。
基于相同的构思，本发明还提供一种可读存储介质，所述可读存储介质上存储有处理程序，所述处理程序被处理器执行时实现所述的基于无人机的河道船只检测方法。
基于相同的构思，本发明还提供一种电子设备，其特征在于，包括：存储器，所述存储器用于存储处理程序；处理器，所述处理器执行所述处理程序时实现上述任意所述的基于无人机的河道船只检测方法。
基于相同的构思，本发明还提供一种可读存储介质，其特征在于，所述可读存储介质上存储有处理程序，所述处理程序被处理器执行时实现上述任意所述的基于无人机的河道船只检测方法。
本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
1、本发明通过无人机获取河道图像，借助图像语义分割算法，进行背景分离，确定河道的轮廓，在此基础上使用YOLOV5算法对船只进行目标检测，确定船只的位置以及它距离河道边缘的距离，以此来判断船只是否停靠在河道岸边。
2、结合上述的信息生成检测报告并上传到控制中心，结合无人机的姿态数据将获取的河道船只信息映射到三维坐标系中，在判断存在船只违规停放的情况下，便于工作人员及时做出治理决策。
3、本发明在目标检测算法的基础之上，结合了目标跟踪算法，可定点定位跟踪违规船只，便于实时对河道进行监控。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明，其中：
图1为本发明的基于无人机的河道船只检测方法的流程示意图；
图2为本发明BiSiNetV2算法架构图；
图3为本发明的最长边表示法示意图；
图4为本发明的deep-sort船只跟踪算法流程图；
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用以方便、明晰地辅助说明本发明实施例的目的。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
实施例
如图1所示，本实施例提供一种基于无人机的河道船只检测方法，包括以下步骤：
S1：获取河道图像并逐帧进行解析以获取解析结果；
S2：对所述解析结果进行河道语义分割以进行背景分离，并根据所述河道语义分割输出的点集在图中标注河道区域的轮廓；
S3：对所述解析结果进行船只目标检测以确定船只的位置坐标、方框大小以及倾斜角度；
S4：将背景分离和船只目标检测的检测结果进行信息融合，判断是否存在违规停靠的船只并输出判断结果。
本发明通过无人机获取河道图像，借助图像语义分割算法，进行背景分离，确定河道的轮廓，在此基础上对船只进行目标检测，确定船只的位置以及它距离河道边缘的距离，以此来判断船只是否停靠在河道岸边。可以有效的利用无人机的视觉感知数据对河道是否存在违规停留的船只进行实时检测，节省人力物力。采用无人机的方式高频率巡检船只，保证每日或者每周能够检测到河道船只停靠的情况。
如图2所示，在本发明的一个实施例中，所述对所述解析结果进行河道语义分割以进行背景分离包括：通过双边分割网络BiSeNetV2的细节分支对所述解析结果进行实时检测以获取低级特征响应；通过双边分割网络BiSeNetV2的语义分支对所述解析结果进行实时检测以获取高级特征响应；利用所述高级特征响应指导所述低级特征响应，在不同的尺度引导下捕获不同的尺度特征表示。BiSeNetV2能够在捕获低层细节并生成高分辨率的特征表示的同时，也可以获取高层次语义语境，并且使用增强型训练策略提高分割性能。
在本发明的一个实施例中，所述根据所述河道语义分割输出的点集在图中标注河道区域的轮廓：获取所述尺度特征表示，通过opencv的findContours函数对其进行运算以获取河道边缘坐标；其中，所述opencv的findContours函数的int型的mode定义为CV_RETR_EXTERNAL。
具体的，mode取值“CV_RETR_EXTERNAL”，method取值“CV_CHAIN_APPROX_NONE”，即只检测最外层轮廓，并且保存轮廓上所有点，只有最外层的轮廓被检测到，内层的轮廓被忽略，以实现河道边界检测。在细节上改进的分割算法，能够更有效的在实时性和精度之间寻找平衡。
在本发明的一个实施例中，所述对所述解析结果进行船只目标检测以确定船只的位置坐标、方框大小包括：获取经过解析的视频流，通过Mosaic数据增强、自适应锚框计算、自适应图片缩放生成相应的自适应锚框；采用Focus结构对图片进行切片操作，从高分辨率图像中，周期性的抽出像素点重构到低分辨率图像中；采用CSP结构将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并；通过上述方式训练获取的YOLOv5模型，能够对船只进行目标检测，确定船只的位置坐标、方框大小。
结合实时船只目标检测的需求，需要选择运算量相对较小的方法，因此本发明在One-Stage中借鉴精度最佳的YOLOV5作为目标检测算法，架构图如下，并作出如下适应船只检测的改动：
1、自适应锚框计算，针对不同的数据集，都会有初始设定长宽的锚框，对应船只数据集，生成相应的自适应锚框；
2、在主干网络中使用Focus结构，对图片进行切片操作，提高准确率；
3、在neck网络中，采用借鉴CSPnet设计的CSP2结构，加强网络特征融合的能力。
具体来说，Mosaic数据增强:Mosaic数据增强则采用了4张图片，随机缩放、随机裁剪、随机排布的方式进行拼接,对于小目标的检测效果良好。
自适应锚框计算：在网络训练中，网络在初始锚框的基础上输出预测框，进而和真实框groundtruth进行比对，计算两者差距，再反向更新，迭代网络参数，找到最适合数据集的锚框大小。
自适应图片缩放：在常用的目标检测算法中，不同的图片长宽都不相同，因此常用的方式是将原始图片统一缩放到一个标准尺寸，再送入检测网络中。在缩放过程中，对原始图像自适应的添加最少的黑边，图像高度上两端的黑边变少后，在推理过程中的计算量也会减少，即目标检测速度得到提升。
在Backbone中采用Focus结构对图片进行切片操作，从高分辨率图像中，周期性的抽出像素点重构到低分辨率图像中，即将图像相邻的四个位置进行堆叠，聚焦wh维度信息到c通道空，提高每个点感受野，并减少原始信息的丢失。从计算量角度可以减少计算量，增快运算速度。
例如，4*4*3的图像切片后变成2*2*12的特征图。
在Backbone和Neck中采用CSP结构，基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并，在减少了计算量的同时可以保证准确率。
通过上述方式训练获取的YOLOv5模型，能够对船只进行目标检测，确定船只的位置坐标、方框大小。
如图3所示，在本发明的一个实施例中，所述对所述解析结果进行船只目标检测以确定船只的倾斜角度包括：使用最长边表示法来表示目标方框，包扩x_c，y_c，longside，shortside，以及θ；其中，x_c与y_c表示旋转矩形框的中心坐标，longside表示最长的边；shortside是与longside对应的另一条边；θ表示最长边到x轴逆时针旋转的夹角，逆时针方向角度为负，θ∈[-180,0)；将θ由回归问题转为分类问题，在YOLOv5原本的框架中，修改数据加载、预测部分、损失函数部分的代码，从而实现旋转目标的检测以及确定船只的倾斜角度。
原始YOLOv5项目的应用场景为自然场景下的目标，目标检测边框为水平矩形框(Horizontal Bounding Box，HBB)。目标检测方法所采取的边框标注方式要按照被检测物体本身的形状特征进行改变，与此同时，船只停靠过程中姿态是无法确定的，因此使用旋转目标检测模块进行目标检测。通过确定船只的倾斜角度，能够精确的确定船只的位置，为后续确认船只是否违规停靠建立基础。确认船只角度，旋转边框标记方式，具有以下优点：
1、标注方式越精准，提供给网络训练时的冗余信息就越少；先验越充分，网络的可学习方案就越少，有利于约束网络的训练方向和减少网络的收敛时间；
2、当目标物体过于紧密时，精准的标注方式可以避免被非极大值抑制(Non-maximum Suppression(NMS))”错杀“已经检出的目标。
优选的，通过上述方法准确检测出船只的位置信息，标记船只的位置坐标、方框大小以及角度信息，并且事先建立好三维坐标体系，将上述信息映射到三维坐标体系中，便于精确计算，实现可视化，在判断存在船只违规停放的情况下，便于工作人员及时做出治理决策。
如图4所示，在本发明的一个实施例中，所述将背景分离和船只目标检测的检测结果进行信息融合，判断是否存在违规停靠的船只并输出判断结果包括：获取船只的位置坐标、方框大小以及倾斜角度信息；扩大船只的长宽为原本的两倍，遍历河道边缘坐标判断河道边缘与扩大后的船只长宽是否存在交集；如果存在交集则通过deep-sort记录此船只，并赋予其对象ID；对出现目标船只之后的每一帧进行检测，得到目标的边界框，通过目标的外观特征和运动特征计算代价矩阵，从而根据所述代价矩阵进行目标的匹配，通过此方式完成对目标船只的跟踪；在符合预设条件的情况下，输出该船只处在河道边缘的结果。其中，所述运动特征可以通过卡尔曼滤波预测，所述目标的匹配包括使用匈牙利算法进行运算。通过上述方式完成对目标船只的跟踪。
通过河道边缘检测模块中得到的河道边缘坐标和船只检测模块中船只的位置、长宽以及角度。扩大船只的长宽为原本的两倍，遍历河道边缘坐标判断河道边缘与扩大后的船只长宽是否有交集，如果有则表明该船只在河道边缘。deep-sort是在sort目标跟踪的基础上引入了表观特征提取网络，在目标跟踪过程中提取目标的表观特征进行最近邻匹配，这样可以有效的改善遮挡情况下的目标追踪效果。
进一步的，所述检测方法还包括：在任务结束时即生成报告，有利于提高监测船只停靠的效率，为及时处理带来便利。
基于相同的发明构思，本发明还提供一种基于无人机的河道船只检测装置，包括：图像获取模块，用于获取河道图像并逐帧进行解析以获取解析结果；河道检测模块，用于对所述解析结果进行河道语义分割以进行背景分离，并根据所述河道语义分割输出的点集在图中标注河道区域的轮廓；船只检测模块，用于对所述解析结果进行船只目标检测以确定船只的位置坐标、方框大小以及倾斜角度；判断模块，用于将背景分离和船只目标检测的检测结果进行信息融合，判断是否存在违规停靠的船只并输出判断结果。
采用无人机的方式高频率巡检船只，保证每日或者每周能够检测到河道船只停靠的情况。在细节上改进的分割算法，能够更有效的在实时性和精度之间寻找平衡。通过实时检测、实时上报信息。任务结束即生成报告的方式，有利于提高监测船只停靠的效率，为及时处理带来便利。
基于相同的发明构思，本发明还提供一种电子设备，包括：存储器，所述存储器用于存储处理程序；处理器，所述处理器执行所述处理程序时实现所述的基于无人机的河道船只检测方法。
基于相同的发明构思，本发明还提供一种可读存储介质，所述可读存储介质上存储有处理程序，所述处理程序被处理器执行时实现所述的基于无人机的河道船只检测方法。
基于无人机的河道船只检测方法如果以程序指令的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机软件存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-onlymemory，ROM)、随机存取存储器(Random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的技术人员可以清楚地了解到，为描述得方便和简洁，上述描述的系统及设备的具体执行的识别内容，可以参考前述方法实施例中的对应过程。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。

Claims (9)

1.一种基于无人机的河道船只检测方法，其特征在于，包括以下步骤：
获取河道图像并逐帧进行解析以获取解析结果；
对所述解析结果进行河道语义分割以进行背景分离，并根据所述河道语义分割输出的点集在图中标注河道区域的轮廓；
对所述解析结果进行船只目标检测以确定船只的位置坐标、方框大小以及倾斜角度；
将背景分离和船只目标检测的检测结果进行信息融合，判断是否存在违规停靠的船只并输出判断结果。
2.根据权利要求1所述的基于无人机的河道船只检测方法，其特征在于，所述对所述解析结果进行河道语义分割以进行背景分离包括：
通过双边分割网络BiSeNetV2的细节分支对所述解析结果进行实时检测以获取低级特征响应；
通过双边分割网络BiSeNetV2的语义分支对所述解析结果进行实时检测以获取高级特征响应；
利用所述高级特征响应指导所述低级特征响应，在不同的尺度引导下捕获不同的尺度特征表示。
3.根据权利要求2所述的基于无人机的河道船只检测方法，其特征在于，所述根据所述河道语义分割输出的点集在图中标注河道区域的轮廓：
获取所述尺度特征表示，通过opencv的findContours函数对其进行运算以获取河道边缘坐标；其中，所述opencv的findContours函数的int型的mode定义为CV_RETR_EXTERNAL。
4.根据权利要求1所述的基于无人机的河道船只检测方法，其特征在于，所述对所述解析结果进行船只目标检测以确定船只的位置坐标、方框大小包括：
获取经过解析的视频流，通过Mosaic数据增强、自适应锚框计算、自适应图片缩放生成相应的自适应锚框；
采用Focus结构对图片进行切片操作，从高分辨率图像中，周期性的抽出像素点重构到低分辨率图像中；
采用CSP结构将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并；
通过上述方式训练获取的YOLOv5模型，能够对船只进行目标检测，确定船只的位置坐标、方框大小。
5.根据权利要求1所述的基于无人机的河道船只检测方法，其特征在于，所述对所述解析结果进行船只目标检测以确定船只的倾斜角度包括：
使用最长边表示法来表示目标方框，包扩x_c，y_c，longside，shortside，以及θ；其中，x_c与y_c表示旋转矩形框的中心坐标，longside表示最长的边；shortside是与longside对应的另一条边；θ表示最长边到x轴逆时针旋转的夹角，逆时针方向角度为负，θ∈[-180,0)；
将θ由回归问题转为分类问题，在YOLOv5原本的框架中，修改数据加载、预测部分、损失函数部分的代码，从而实现旋转目标的检测以及确定船只的倾斜角度。
6.根据权利要求1所述的基于无人机的河道船只检测方法，其特征在于，所述将背景分离和船只目标检测的检测结果进行信息融合，判断是否存在违规停靠的船只并输出判断结果包括：
获取船只的位置坐标、方框大小以及倾斜角度信息；
扩大船只的长宽为原本的两倍，遍历河道边缘坐标判断河道边缘与扩大后的船只长宽是否存在交集；
如果存在交集则通过deep-sort记录此船只，并赋予其对象ID；
对出现目标船只之后的每一帧进行检测，得到目标的边界框，通过目标的外观特征和运动特征计算代价矩阵，从而根据所述代价矩阵进行目标的匹配，通过此方式完成对目标船只的跟踪；
在符合预设条件的情况下，输出该船只处在河道边缘的结果。
7.一种基于无人机的河道船只检测装置，其特征在于，包括：
图像获取模块，用于获取河道图像并逐帧进行解析以获取解析结果；
河道检测模块，用于对所述解析结果进行河道语义分割以进行背景分离，并根据所述河道语义分割输出的点集在图中标注河道区域的轮廓；
船只检测模块，用于对所述解析结果进行船只目标检测以确定船只的位置坐标、方框大小以及倾斜角度；
判断模块，用于将背景分离和船只目标检测的检测结果进行信息融合，判断是否存在违规停靠的船只并输出判断结果。
8.一种电子设备，其特征在于，包括：
存储器，所述存储器用于存储处理程序；
处理器，所述处理器执行所述处理程序时实现如权利要求1至6中任意一项所述的基于无人机的河道船只检测方法。
9.一种可读存储介质，其特征在于，所述可读存储介质上存储有处理程序，所述处理程序被处理器执行时实现如权利要求1至6中任意一项所述的基于无人机的河道船只检测方法。
CN202210750687.5A 2022-06-29 2022-06-29 基于无人机的河道船只检测方法、装置、设备及存储介质 Pending CN115240086A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210750687.5A CN115240086A (zh) 2022-06-29 2022-06-29 基于无人机的河道船只检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210750687.5A CN115240086A (zh) 2022-06-29 2022-06-29 基于无人机的河道船只检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115240086A true CN115240086A (zh) 2022-10-25

Family

ID=83671330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210750687.5A Pending CN115240086A (zh) 2022-06-29 2022-06-29 基于无人机的河道船只检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115240086A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363535A (zh) * 2023-05-10 2023-06-30 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于卷积神经网络的无人机航拍影像中的船舶检测方法
CN117152689A (zh) * 2023-10-31 2023-12-01 易启科技(吉林省)有限公司 一种基于视觉的河道目标检测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363535A (zh) * 2023-05-10 2023-06-30 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于卷积神经网络的无人机航拍影像中的船舶检测方法
CN117152689A (zh) * 2023-10-31 2023-12-01 易启科技(吉林省)有限公司 一种基于视觉的河道目标检测方法及系统
CN117152689B (zh) * 2023-10-31 2024-01-19 易启科技(吉林省)有限公司 一种基于视觉的河道目标检测方法及系统

Similar Documents

Publication Publication Date Title
JP7099509B2 (ja) 産業機器ゲージのデジタル化及びアラームのためのコンピュータビジョンシステム
JP6259928B2 (ja) 車線データの処理方法、装置、記憶媒体及び機器
CN115240086A (zh) 基于无人机的河道船只检测方法、装置、设备及存储介质
CN109255350B (zh) 一种基于视频监控的新能源车牌检测方法
CN104134222A (zh) 基于多特征融合的车流监控图像检测和跟踪系统及方法
CN110501018A (zh) 一种服务于高精度地图生产的交通标志牌信息采集方法
CN107992819B (zh) 一种车辆属性结构化特征的确定方法与装置
CN108806334A (zh) 一种基于图像的智能船舶身份识别方法
CN104200210A (zh) 一种基于部件的车牌字符分割方法
CN113139528B (zh) 基于Faster_RCNN的无人机热红外图像堤坝险情检测方法
US11587299B2 (en) Systems and methods for detection of anomalies in civil infrastructure using context aware semantic computer vision techniques
CN111091023A (zh) 一种车辆检测方法、装置及电子设备
CN113536935A (zh) 一种工程现场的安全监测方法及设备
CN117475416A (zh) 一种热电站指针式仪表读数识别方法、系统、设备及介质
CN111768373A (zh) 基于深度学习的层级式路面标记破损检测方法
CN114219073A (zh) 属性信息的确定方法、装置、存储介质及电子装置
CN116935304A (zh) 一种基于人群密集度的自适应检测与跟踪方法
CN116363605A (zh) 一种高速公路应急车道占用检测方法
CN115880590A (zh) 基于无人机机器视觉的轨道异物入侵检测方法和装置
Tang Development of a multiple-camera tracking system for accurate traffic performance measurements at intersections
CN114963991A (zh) 一种基于三维重建的船体石料体积测量系统
CN117876904B (zh) 一种基于无人机的内河河道船只自动检测方法
CN117557616B (zh) 一种单目相机俯仰角确定和深度估计方法、装置及设备
CN117830882B (zh) 基于深度学习的航拍图像识别方法及相关产品
Dahlin et al. Semantic Segmentation in Marine Environment: Using 2D spherical projection and convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination