CN117152689A - 一种基于视觉的河道目标检测方法及系统 - Google Patents

Abstract

一种基于视觉的河道目标检测方法，属于计算机视觉领域，所述方法包括：获取河道视频图像数据并进行图像预处理；河道目标检测；人体目标追踪：通过OpenPose人体关键点模型提取检测框内的人体关键点；将关键点信息与检测框匹配，构建特征序列，再通过DeepSORT人体目标模型实现跟踪框的优化，输出人体的跟踪框序列；基于跟踪框序列，利用Person Re‑ID人体再识别模型实现对人体身份的持续跟踪和再识别；根据跟踪框序列，输出人体在视频中运动的完整轨迹；人体目标分级报警；船只目标报警，与目视监控人员形成高效协同，有效降低监控工作强度，提高监控质量和效率。

Description

一种基于视觉的河道目标检测方法及系统

技术领域

本发明涉及计算机视觉技术领域，特别是指一种基于视觉的河道目标检测方法及系统。

背景技术

河道目视巡查长期以来依赖大量人力，效率低下。现有通过边境线上部署多路长焦摄像头进行监控存在以下问题：工作人员需要全天候观看监控画面，工作强度大、容易疲劳，不利于持续高效地监控工作；受到季节、树木遮挡等外界环境影响，图像质量较差，移动目标识别困难；对昆虫、飞鸟等无关目标易产生误报，提高了监控人员的额外工作量。

现有监控系统主要依靠人工识别和判断，系统自动化智能化水平有限。

针对上述问题，亟需开发智能的图像处理和目标检测算法，实现对监控视频的自动分析处理，但是算法面临以下挑战：

需区分人和船只等不同类型目标，实现分类识别；

需实时跟踪人体目标运动轨迹，不仅需要报警，还需要能及时定位人员的位置，便于后续处理；

系统需高度自动化、智能化，不增加监控工作量。

发明内容

本发明实施例提供了一种基于视觉的河道目标检测方法及系统。所述技术方案如下：

一方面，提供了一种基于视觉的河道目标检测方法，该方法由电子设备实现，该方法包括：

获取河道视频图像数据并进行图像预处理；

河道目标检测：所述河道目标包括人体和船只；利用预处理后的视频图像，通过SDD（Single Shot MultiBox Detector）河道目标检测模型进行河道目标检测，获取视频帧中的河道目标检测框；人体目标追踪：通过OpenPose（开放姿势估计）人体关键点模型提取检测框内的人体关键点；将关键点信息与检测框匹配，构建特征序列，再通过DeepSORT（深度相关性跟踪）人体目标模型实现跟踪框的优化，输出人体的跟踪框序列；基于跟踪框序列，利用Person Re-ID（人员再识别）人体再识别模型实现对人体身份的持续跟踪和再识别；根据跟踪框序列，输出人体在视频中运动的完整轨迹；

人体目标分级报警；

船只目标报警：利用SDD提取出的船只语义信息直接报警。

优选的是，所述人体目标分级报警包括：

报警1检测到长时间停留在水面上漂浮的人体目标；

报警2人体目标突然 消失但不在岸边区域；

报警3人员移动轨迹呈现重度窒息的WZ形状。

所述通过SDD河道目标检测模型中进行人体目标检测，通过选用ResNet101作为特征提取网络，并进行端到端训练的SDD目标检测模型，输出视频图像帧中的目标检测框。

优选的是，所述通过OpenPose人体关键点模型提取检测框内的人体关键点，选用残差关系学习的OpenPose人体关键点模型，提取检测框内人体的关键点，包括头部和四肢。

优选的是，所述通过DeepSORT人体目标模型实现跟踪框的优化中，将关键点信息与检测框进行匹配，构建人体运动的特征序列，再通过选用小型CNN网络的DeepSORT单人体目标模型，优化特征序列的跟踪框，输出精准的人体跟踪框序列。

优选的是，所述利用Person Re-ID人体再识别模型中，选用IG-ResNet50网络（对ResNet-50进行了改进，主要针对实例级别的任务，如目标检测、实例分割等）与Tripleloss（三元损失）的Person Re-ID人体再识别模型，实现对同一人体在不同时间段的重新识别和身份标识。

另一方面，提供了一种基于视觉的河道目标检测系统，该系统应用于一种基于视觉的河道目标检测方法，该装置包括：

检测模块、关键点提取模块、人体目标跟踪模块、人体再识别模块和报警模块。

优选的是，还包括数据融合模块，所述数据融合模块用于将水下摄像头获取的视频图像数据与河岸摄像头获取的视频图像数据进行融合，以提高系统的检测准确率。

优选的是，所述关键点提取模块采用注意力机制，可以对人体图像中的关节点位置进行自适应调整，以提高模型对不同姿态人体的适应性。

优选的是，所述人体目标跟踪模块设有线索管理器，可以评估各跟踪线索的可靠性，更准确地选择人体运动的主跟踪目标。

优选的是，所述人体再识别模块采用基于关节缩放的三维姿态规范化方法，提高模型对不同视角人体图像的再识别能力。

优选的是，所述报警模块分为人体报警子模块和船只报警子模块。

优选的是，所述人体报警子模块可根据下述情景进行分级报警：

优选的是，所述船只报警子模块在检测到河道船只即进行报警。

另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述基于视觉的河道目标检测方法。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明利用SDD河道目标检测模型和人体关键点模型，准确地检测和识别河道中的人体和船只目标，通过DeepSORT人体目标模型和Person Re-ID人体再识别模型，实时跟踪人体目标的运动轨迹，并持续跟踪和再识别人体身份，跨镜提供人体运动轨迹，便于准确定位人员的位置，为后续处理提供便利。

2、结合上述运动轨迹对人体目标在河道内情况进行分级报警，包括长时间停留在水面上漂浮的人体目标、人体目标突然消失但不在岸边区域，以及人员移动轨迹呈现重度窒息的WZ形状等情况，根据这种分级预警可以帮助监测人体目标的异常行为或紧急情况，便于分级处理，与目视监控人员形成高效协同，有效降低监控工作强度，提高监控质量和效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人体来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于视觉的河道目标检测方法流程图；

图2是图1中步骤S300中分解流程图；

图3是图1中步骤S400分解流程图。

实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提供了一种基于视觉的河道目标检测方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的一种基于视觉的河道目标检测方法流程图，该方法的处理流程可以包括如下的步骤：

S100获取视频图像数据并进行图像预处理。

具体为：对采集到的原始视频数据进行格式转换，转为图片序列，使用FFmpeg将不同格式的视频源（如MP4等）转换为图片序列格式；对图片序列进行尺寸标准化，可使用OpenCV三次样条插值算法，将图片序列尺寸统一处理为相同长宽比例；图像增强处理：如对比度、亮度均衡增强图像质量；校准多路相机的空间位置关系，消除光轴的偏差，使用SIFT进行特征点匹配，通过RANSAC估计模型参数实现多路相机间的空间位置校正；图像去噪和模糊处理提升目标的清晰度。

值的说明的是，图像预处理是基于特定应用场景和后续任务需求，对原始图像数据进行个性化处理的一个重要步骤，基于本发明的目的，图像预处理后标准化和增强后图像质量更高，有利于SDD等检测模型提取目标特征。

S200河道目标检测：所述河道目标包括人体和船只；利用预处理后的视频图像，通过SDD河道目标检测模型进行河道目标检测，获取视频帧中的河道目标检测框；

具体为：选择SDD作为基础检测框架，ResNet101作为backbone网络提取特征，采集大量河道视频拍摄的人体图像数据并构建标注框构建训练数据集，采用ResNet101（残差网络101层）提取通道特征并进行特征融合，特征层分为船只检测和人体检测，人体检测主要为人体坐标偏移量和类别概率；输入图像进行前向传播预测得分框和类别，非极大抑制消除重合框，输出视频图像帧中的目标检测框。

S300人体目标追踪。

具体为，S310通过OpenPose人体关键点模型提取检测框内的人体关键点，选用残差关系学习的OpenPose人体关键点模型，提取检测框内人体的关键点，包括头部和四肢。S320将关键点信息与检测框匹配构建特征序列，描述跨帧动态变化规律性，为建立相应关系提供依据。S330通过DeepSORT人体目标模型实现跟踪框的优化，输出人体的跟踪框序列，所述通过DeepSORT人体目标模型实现跟踪框的优化，将关键点信息与检测框进行匹配，构建人体运动的特征序列，再通过选用小型CNN网络的DeepSORT单人体目标模型，优化特征序列的跟踪框，输出精准的人体跟踪框序列，通过匹配特征序列对应跨帧目标，输出更稳定精细的跟踪结果。S340基于跟踪框序列，利用Person Re-ID人体再识别模型实现对人体身份的持续跟踪和再识别，所述利用Person Re-ID人体再识别模型中，选用IG-ResNet50网络与Triple loss的Person Re-ID人体再识别模型，实现对同一人体在不同时间段的重新识别和身份标识，通过Person Re-ID模型，可以在跟踪过程中的不同时间点对同一人体进行重新识别和匹配，实现对目标在整个视频序列中的持续唯一标识追踪。

值得说明的是，现有技术中，例如河岸一侧的人体目标，该目标从岸边移动到水中，但由于摄像头拍摄的水中视频质量差，在渡水过程中可能会丢失该目标，不知道该目标会在哪里上岸，实行拦截，特别是在夜晚等情况下，为拦截带来了困难。应用本方法可实现对目标在整个视频序列中的持续唯一标识追踪，配合使用Person Re-ID模型通过特征匹配，可以在两个时间点（入水与上岸）将同一目标重新联通成一条片段。实现了一个从一岸游泳到对岸的完整跟踪过程的重建，从而有效跟踪该人在河流区域内的全程行为，为事件调查和安防提供参考。

S350根据跟踪框序列，输出人体在视频中运动的完整轨迹。

具体为，用Person Re-ID给出的每个目标的唯一身份ID，连接整个跟踪过程中针对该目标产生的所有片段，还原目标在每个片段内的运动状态，如位置、速度等，根据状态信息在时间轴上连续重构该目标的整体移动轨迹，可以还原人体目标在各个监控视频中的真实完整移动规律，提供时间序列的灵活查询能力，支持任意时间点信息提取，便于事后查询调度，追踪事件的完整过程与细节。

S400人体目标分级报警：根据上述方法提供的轨迹进一步判断实现分级精准预警，节约警力，分级处理。

具体为，根据实际情况，主要分为三种情况：通过检测长时间停留在水面上的人体、突然消失的人体目标以及分析特殊的人员移动轨迹形状，识别潜在的偷渡或者溺水行为，为边防部门提供及时的报警和监测，以确保边境地区的安全和秩序。

S410检测到长时间停留在水面上漂浮的人体目标，利用SDD检测模型和OpenPose提取的时空信息，判断目标在水面停留时间超过一定阈值进行预警。其中，长时间停留在水面漂浮的人体目标可能是试图偷渡的人，此时要及时报警进行阻截；长时间停留在水面上的人体目标可能是遇险人员，例如遇到船只事故、溺水等情况，这种情况下，该发明可以帮助及时发现并实施救援行动。检测长时间停留在水面上漂浮的人体目标，但也存在误报的可能性，某些条件可能导致系统错误地将其他物体（如漂浮物）识别为人体目标。

S420人体目标突然消失但不在岸边区域，当人体目标在水面上突然消失并且不在岸边区域时，可能意味着有人试图从水域中进行偷渡。通过比较连续多幅图像，判断目标的轨迹是否中断，并且未出现在陆地区域，可以快速发现可能发生的偷渡行为。

S430人员移动轨迹呈现重度窒息的WZ形状；绘制并分析完整轨迹，识别其具有窒息特征的WZ态势，当人员移动轨迹呈现重度窒息的WZ形状时，可能表示他们正处于困境或受到威胁，进行救助，与目视监控人员形成高效协同，有效降低监控工作强度，提高监控质量和效率。

S500利用SDD提取出的船只语义信息直接报警。

具体为，通过使用部署的SDD模型对实时图像进行目标检测，识别船只目标的位置和边界框，通过分析检测到的目标，提取相关的语义信息，例如船只的类型、尺寸、船名等，在识别到船只目标并提取出相关语义信息后，根据预设的报警条件进行判断。例如，可以设定特定类型的船只引发报警，或者设定特定尺寸的船只超过一定阈值时触发报警。比如某某边境，对岸船只与本岸船只的大小、类型明显不同，即可对对岸船只类型进行报警，有助于提高系统的自动化程度和准确性，提高报警的处置效率。

另一方面，提供了一种基于视觉的河道目标检测系统，该系统应用于一种基于视觉的河道目标检测方法，该装置包括：

检测模块、关键点提取模块、人体目标跟踪模块、人体再识别模块、船只识别模块和报警模块，用于检测河道中的目标，采用目标检测算法SDD来检测船只和人体。

进一步，还包括数据融合模块。

具体为，包括：图像对齐：对水下摄像头和河岸摄像头的图像进行对齐，确保视角一致性；视频图像融合：通过像素级融合具体为拉普拉斯金字塔融合法，将两个视角的图像进行融合；数据同步和时序处理：确保水下摄像头和河岸摄像头数据的同步和一致性；算法优化和加速：采用并行计算、硬件加速等技术提高融合算法的效率和速度；融合结果评估和调优：根据评价指标对融合结果进行评估和调优，优化融合算法的性能。

进一步说明，水下摄像头可能能够提供更多关于水下目标的信息，而河岸摄像头能够提供更多关于岸边目标的信息。通过数据融合，可以综合信息，提高系统对整个河道环境的感知能力；水下目标和岸边目标在河道中可能存在连续的关系，通过数据融合，可以将水下摄像头和河岸摄像头所捕捉到的目标进行关联，实现目标在不同视角下的连续跟踪。

进一步，所述关键点提取模块采用注意力机制，可以对人体图像中的关节点位置进行自适应调整，以提高模型对不同姿态人体的适应性，为了使模型能够自适应地调整关键点位置，注意力机制被引入到关键点提取模块中。注意力机制允许网络在学习过程中集中关注图像中的重要区域，并根据关键点的可见性和重要性进行自适应调整。

优选的是，所述人体目标跟踪模块设有线索管理器，可以评估各跟踪线索的可靠性，更准确地选择人体运动的主跟踪目标。

优选的是，所述人体再识别模块采用基于关节缩放的三维姿态规范化方法，提高模型对不同视角人体图像的再识别能力。

优选的是，所述报警模块分为人体报警子模块和船只报警子模块。

优选的是，所述人体报警子模块可根据下述情景进行分级报警：

优选的是，所述船只报警子模块在检测到河道船只即进行报警。

另一方面，本发明提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述基于视觉的河道目标检测方法。

本发明通过处理河道视频图像数据，利用SDD河道目标检测模型来检测河道中的目标，包括人体和船只，对于人体目标通过OpenPose人体关键点模型和DeepSORT人体目标模型，实现对人体目标的追踪和再识别。通过提取检测框内的人体关键点并构建特征序列，结合人体目标模型的优化和人体再识别模型的应用，可以实现对人体身份的持续跟踪和重新识别，输出人体在视频中的完整轨迹，提供人体在河道内运动轨迹，便于及时发现及时处理，避免遗漏；对于船只目标利用SDD提取出的船只语义信息直接报警，以便监测和河道中的船只目标。

进一步，结合上述运动轨迹对人体目标在河道内情况进行分级报警，包括长时间停留在水面上漂浮的人体目标、人体目标突然消失但不在岸边区域，以及人员移动轨迹呈现重度窒息的WZ形状等情况，根据这种分级预警可以帮助监测人体目标的异常行为或紧急情况，便于分级处理。

通过基于视觉的河道目标检测方法，该方案可以自动化地对监控视频进行分析处理，减轻了工作人员的工作负担。相比于传统的人力巡查，该方案能够持续高效地进行河道监控，从而提高工作效率。

本方案本领域普通技术人体可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于视觉的河道目标检测方法，其特征在于，所述方法包括：

获取河道视频图像数据并进行图像预处理；

河道目标检测：所述河道目标包括人体和船只；利用预处理后的视频图像，通过SDD河道目标检测模型进行河道目标检测，获取视频帧中的河道目标检测框；

人体目标追踪：通过OpenPose人体关键点模型提取检测框内的人体关键点；将关键点信息与检测框匹配，构建特征序列，再通过DeepSORT人体目标模型实现跟踪框的优化，输出人体的跟踪框序列；基于跟踪框序列，利用Person Re-ID人体再识别模型实现对人体身份的持续跟踪和再识别；根据跟踪框序列，输出人体在视频中运动的完整轨迹；

人体目标分级报警；

船只目标报警：利用SDD提取出的船只语义信息直接报警。

2.根据权利要求1所述的方法，其特征在于，所述人体目标分级报警包括：

报警1检测到长时间停留在水面上漂浮的人体目标；

报警2人体目标突然 消失但不在岸边区域；

报警3人员移动轨迹呈现重度窒息的WZ形状。

3.根据权利要求1所述的方法，其特征在于，在所述通过SDD河道目标检测模型中进行人体目标检测中，通过选用ResNet101作为特征提取网络，并进行端到端训练的SDD目标检测模型，输出视频图像帧中的目标检测框。

4.根据权利要求1所述的方法，其特征在于，所述通过OpenPose人体关键点模型提取检测框内的人体关键点，选用残差关系学的OpenPose人体关键点模型，提取检测框内人体的关键点，包括头部和四肢。

5.根据权利要求1所述的方法，其特征在于，所述通过DeepSORT人体目标模型实现跟踪框的优化中，将关键点信息与检测框进行匹配，构建人体运动的特征序列，再通过选用小型CNN网络的DeepSORT单人体目标模型，优化特征序列的跟踪框，输出精准的人体跟踪框序列。

6.根据权利要求1所述的方法，其特征在于，所述利用Person Re-ID人体再识别模型中，选用IG-ResNet50网络与Triple loss的Person Re-ID人体再识别模型，实现对同一人体在不同时间段的重新识别和身份标识。

7.根据权利要求1-6任一权利要求所述方法构建的一种基于视觉的河道目标检测系统，其特征在于，包括：检测模块、关键点提取模块、人体目标跟踪模块、人体再识别模块和报警模块。

8.根据权利要求7所述的系统，其特征在于，所述报警模块分为人体报警子模块和船只报警子模块。

9.一种用于实现权利要求1-6中任一项所述方法的电子设备，其特征在于，所述电子设备包括：

处理器，用于调用程序代码并执行计算操作；

存储器，用于存储程序代码；

所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现权利要求1-6中任一项所述的基于视觉的河道目标检测方法。