CN117037087A - 基于监控场景的目标检测方法以及系统 - Google Patents

基于监控场景的目标检测方法以及系统 Download PDF

Info

Publication number
CN117037087A
CN117037087A CN202311083237.6A CN202311083237A CN117037087A CN 117037087 A CN117037087 A CN 117037087A CN 202311083237 A CN202311083237 A CN 202311083237A CN 117037087 A CN117037087 A CN 117037087A
Authority
CN
China
Prior art keywords
target
predicted
external
external node
center point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311083237.6A
Other languages
English (en)
Inventor
闫军
丁丽珠
王艳清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart Intercommunication Technology Co ltd
Original Assignee
Smart Intercommunication Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart Intercommunication Technology Co ltd filed Critical Smart Intercommunication Technology Co ltd
Priority to CN202311083237.6A priority Critical patent/CN117037087A/zh
Publication of CN117037087A publication Critical patent/CN117037087A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于监控场景的目标检测方法以及系统。方法包括：将目标多外接节点数据集输入至特征提取网络中，获得目标多外接节点特征图集；将每个目标多外接节点特征图输入至目标分类网络中进行学习，获得每个目标的预测目标类别；将每个目标多外接节点特征图输入至外接中心点网络中进行学习，获得预测图形中心点；将每个目标多外接节点特征图输入至径向辐射距离网络中进行学习，获得每个图形中心点至每个外接节点的预测径向辐射距离；将每个目标多外接节点特征图输入至极坐标角度网络中进行学习，获得相邻外接节点之间的预测外接节点角度；根据预测目标类别、预测图形中心点、预测径向辐射距离以及预测外接节点角度进行模型训练优化。

Description

基于监控场景的目标检测方法以及系统
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于监控场景的目标检测方法以及系统。
背景技术
近年来，高位视频技术发展迅速，通过在路侧安装视频监控摄像头进行数据采集，利用视觉算法对采集的数据可实现车辆检测、车牌识别、车辆跟踪、行人检测、泊位线检测等多种任务，有利于对路侧停车实现更加精细且准确的管理，此外可以为车路协同技术的部署与发展提供数据，从而对于城市的交通管理、行车安全等各个方面都具有积极地促进作用。
目前，对于监控视频图像的场景解析，主要采用二维目标检测的视觉算法，通过利用矩形框来实现对图像中的多个目标的位置进行描述。但是，利用二维矩形框进行目标位置的描述相对粗糙，只能描述物体的大概位置和尺寸大小，无法体现出目标的形状，导致目标检测结果准确度偏低。
发明内容
本发明的目的是解决传统方法采用二维目标检测导致的检测结果准确度偏低的技术问题。为实现上述目的，本发明提供一种基于监控场景的目标检测方法以及系统。
本发明提供一种基于监控场景的目标检测方法，包括：
构建监控场景图像的目标多外接节点数据集；
将所述目标多外接节点数据集输入至特征提取网络中进行特征提取，获得目标多外接节点特征图集；
将所述目标多外接节点特征图集中每个目标多外接节点特征图输入至目标分类网络中进行学习，获得每个目标的预测目标类别；
将每个所述目标多外接节点特征图输入至外接中心点网络中进行学习，获得每个多外接节点形成的预测图形中心点；
将每个所述目标多外接节点特征图输入至径向辐射距离网络中进行学习，获得图形中心点至每个外接节点的预测径向辐射距离；
将每个所述目标多外接节点特征图输入至极坐标角度网络中进行学习，获得相邻外接节点之间的预测外接节点角度；
根据所述预测目标类别、所述预测图形中心点、所述预测径向辐射距离以及所述预测外接节点角度，对目标多外接检测模型进行训练优化，获得训练完成的目标多外接检测模型；其中，所述特征提取网络、所述目标分类网络、所述外接中心点网络、所述径向辐射距离网络以及所述极坐标角度网络形成所述目标多外接检测模型；
根据所述训练完成的目标多外接检测模型对待测监控场景图像进行目标检测，获得每个目标的类别、位置以及形状。
在一个实施例中，所述将每个所述目标多外接节点特征图输入至极坐标角度网络中进行学习，获得相邻外接节点之间的预测外接节点角度之后，所述方法还包括：
根据匈牙利匹配算法对预测目标类别、预测图形中心点、预测径向辐射距离、预测外接节点角度、目标类别、图形中心点、径向辐射距离、以及外接节点角度进行匹配，获得多个匹配对。
在一个实施例中，所述构建监控场景图像的目标多外接节点数据集，包括：
获取所述监控场景图像的每个目标的目标类别、外接节点坐标、图形中心点、径向辐射距离以及外接节点角度；
获取相邻外接节点形成的线段上的扩充点；
计算所述图形中心点与所述扩充点的扩充径向辐射距离；
计算所述外接节点与所述扩充点之间的扩充外接节点角度；
所述目标类别、所述外接节点坐标、所述图形中心点、所述径向辐射距离、所述外接节点角度、所述扩充点、所述扩充径向辐射距离以及所述扩充外接节点角度形成所述目标多外接节点数据集。
在一个实施例中，所述根据所述预测目标类别、所述预测图形中心点、所述预测径向辐射距离以及所述预测外接节点角度，对目标多外接检测模型进行训练优化，获得训练完成的目标多外接检测模型，包括：
根据所述预测图形中心点与所述图形中心点构建中心点损失函数，所述中心点损失函数为：
其中，W表示多个外接节点形成图形的宽度，H表示所述多个外接节点形成图形的高度，l1表示L1损失函数，Cx与Cy表示所述图形中心点的X坐标值与Y坐标值，与/>表示所述预测图形中心点的X坐标值与Y坐标值。
在一个实施例中，所述根据所述预测目标类别、所述预测图形中心点、所述预测径向辐射距离以及所述预测外接节点角度，对目标多外接检测模型进行训练优化，获得训练完成的目标多外接检测模型，还包括：
根据所述预测径向辐射距离、所述径向辐射距离以及所述扩充径向辐射距离构建径向辐射距离损失函数，所述径向辐射距离损失函数为：
其中，ri表示外接节点i对应的所述径向辐射距离或者扩充点i对应的所述扩充径向辐射距离，表示所述外接节点i或者所述扩充点i对应的所述预测径向辐射距离。
本发明提供一种基于监控场景的目标检测系统，包括：
数据构建模块，用于构建监控场景图像的目标多外接节点数据集；
特征提取模块，用于将所述目标多外接节点数据集输入至特征提取网络中进行特征提取，获得目标多外接节点特征图集；
类别学习模块，用于将所述目标多外接节点特征图集中每个目标多外接节点特征图输入至目标分类网络中进行学习，获得每个目标的预测目标类别；
中心点学习模块，用于将每个所述目标多外接节点特征图输入至外接中心点网络中进行学习，获得每个多外接节点形成的预测图形中心点；
距离学习模块，用于将每个所述目标多外接节点特征图输入至径向辐射距离网络中进行学习，获得图形中心点至每个外接节点的预测径向辐射距离；
角度学习模块，用于将每个所述目标多外接节点特征图输入至极坐标角度网络中进行学习，获得相邻外接节点之间的预测外接节点角度；
模型训练模块，用于根据所述预测目标类别、所述预测图形中心点、所述预测径向辐射距离以及所述预测外接节点角度，对目标多外接检测模型进行训练优化，获得训练完成的目标多外接检测模型；其中，所述特征提取网络、所述目标分类网络、所述外接中心点网络、所述径向辐射距离网络以及所述极坐标角度网络形成所述目标多外接检测模型；
目标检测模块，用于根据所述训练完成的目标多外接检测模型对待测监控场景图像进行目标检测，获得每个目标的类别、位置以及形状。
在一个实施例中，所述系统还包括：
匹配模块，用于根据匈牙利匹配算法对所述预测目标类别、所述预测图形中心点、所述预测径向辐射距离、所述预测外接节点角度、目标类别、图形中心点、径向辐射距离、以及外接节点角度进行匹配，获得多个匹配对。
在一个实施例中，所述数据构建模块包括：
数据获取模块，用于获取所述监控场景图像的每个目标的目标类别、外接节点坐标、图形中心点、径向辐射距离以及外接节点角度；
扩充数据获取模块，用于获取相邻外接节点形成的线段上的扩充点；
距离计算模块，用于计算所述图形中心点与所述扩充点的扩充径向辐射距离；
角度计算模块，用于计算所述外接节点与所述扩充点之间的扩充外接节点角度；
数据形成模块，用于所述目标类别、所述外接节点坐标、所述图形中心点、所述径向辐射距离、所述外接节点角度、所述扩充点、所述扩充径向辐射距离以及所述扩充外接节点角度形成所述目标多外接节点数据集。
在一个实施例中，所述模型训练模块包括：
中心点损失函数构建模块，用于根据所述预测图形中心点与所述图形中心点构建中心点损失函数，所述中心点损失函数为：
其中，W表示多个外接节点形成图形的宽度，H表示所述多个外接节点形成图形的高度，l1表示L1损失函数，Cx与Cy表示所述图形中心点的X坐标值与Y坐标值，与/>表示所述预测图形中心点的X坐标值与Y坐标值。
在一个实施例中，所述模型训练模块还包括：
距离损失函数构建模块，用于根据所述预测径向辐射距离、所述径向辐射距离以及所述扩充径向辐射距离构建径向辐射距离损失函数，所述径向辐射距离损失函数为：
其中，ri表示外接节点i对应的所述径向辐射距离或者扩充点i对应的所述扩充径向辐射距离，表示所述外接节点i或者所述扩充点i对应的所述预测径向辐射距离。
上述基于监控场景的目标检测方法以及系统中，采用多边形检测的方法来进行目标的检测，通过利用多个外接节点来对目标的外轮廓进行描述。相对于传统方法中二维矩形框来说，本发明从图形中心点、径向辐射距离以及外接节点角度多个维度对目标的位置与形状进行了检测，能够更加准确的描述目标的位置和形状，提高了目标检测结果的准确度。同时，相对于传统方法中实例分割算法来说，需要更少的算力，能够在应用设备端进行实时的运算，节省了算力计算的过程，提高了目标检测的效率。通过本发明提供的目标检测方法进行目标的输出，能够更加准确得对路侧高位视频场景进行解析，更加有助于路侧停车的管理。
附图说明
图1是本发明提供的基于监控场景的目标检测方法的步骤流程示意图。
图2是本发明提供的基于监控场景的目标检测系统的结构示意图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
请参见图1，本发明提供一种基于监控场景的目标检测方法，包括：
S10，构建监控场景图像的目标多外接节点数据集；
S20，将目标多外接节点数据集输入至特征提取网络中进行特征提取，获得目标多外接节点特征图集；
S30，将目标多外接节点特征图集中每个目标多外接节点特征图输入至目标分类网络中进行学习，获得每个目标的预测目标类别；
S40，将每个目标多外接节点特征图输入至外接中心点网络中进行学习，获得每个多外接节点形成的预测图形中心点；
S50，将每个目标多外接节点特征图输入至径向辐射距离网络中进行学习，获得图形中心点至每个外接节点的预测径向辐射距离；
S60，将每个目标多外接节点特征图输入至极坐标角度网络中进行学习，获得相邻外接节点之间的预测外接节点角度；
S70，根据预测目标类别、预测图形中心点、预测径向辐射距离以及预测外接节点角度，对目标多外接检测模型进行训练优化，获得训练完成的目标多外接检测模型；其中，特征提取网络、目标分类网络、外接中心点网络、径向辐射距离网络以及极坐标角度网络形成目标多外接检测模型；
S80，根据训练完成的目标多外接检测模型对待测监控场景图像进行目标检测，获得每个目标的类别、位置以及形状。
本实施例中，监控场景图像通过利用安装在路侧的视频监控摄像头捕获获取。监控场景图像涵盖不同的监控摄像头安装场景、不同监控视角、不同天气状况下的数据等。对监控场景图像中的目标如车辆、行人等利用多边形标注工具进行标注，记录每个目标实例的多边形节点和标注类别，对于多边形节点，按照顺时针方向进行记录，O＝{poly＝[(x1,y1),(x2,y2),(x3,y3),...,(xk,yk)]，cls}，形成目标多外接节点数据集。poly表示构成该目标多边形的多个节点坐标，多边形节点的个数K不是固定的，不同的目标可使用不同个数的节点来描述该目标多边形，cls表示类别，包括行人、车辆、非机动车等多种目标类别。
特征提取网络可以为ResNet-18骨干网络，进行图像帧的特征提取，输入图像尺寸为原始视频的分辨率尺寸。通过特征提取网络进行特征提取，用于后续的多边形目标检测网络的学习。目标分类网络的作用为对目标的类别进行预测输出。目标分类网络可以采用常规的分类网络，为多个卷积层。目标分类网络对目标的多外接节点进行回归输出。外接中心点网络采用全卷积神经网络模型进行中心点的学习。外接中心点可以理解为外接节点形成的多边形的质心。径向辐射距离网络采用全卷积神经网络模型进行距离的学习。径向辐射距离为每个图形中心点到每个外接节点的距离，表示为：
其中，ri表示每个图形中心点至第i个外接节点的径向辐射距离，Cx，Cy分别表示图形中心点的x和y坐标，kix，kiy分别表示第i个外接节点的x和y坐标。极坐标角度网络，采用全卷积神经网络模型进行角度值的学习。极坐标角度表示相邻外接节点之间的角度值，例如设置多边形中心点为圆心，所形成的圆划分为360°，以x坐标零点为0°，逆时针旋转划分360°。
通过各个网络结构预测输出的预测目标类别、预测图形中心点、预测径向辐射距离以及预测外接节点角度构建目标损失函数，对特征提取网络、目标分类网络、外接中心点网络、径向辐射距离网络以及极坐标角度网络进行模型训练，获得训练完成的特征提取网络、训练完成的目标分类网络、训练完成的外接中心点网络、训练完成的径向辐射距离网络以及训练完成的极坐标角度网络。通过训练完成的目标分类网络可以检测获得每个目标的类别。通过训练完成的外接中心点网络可以检测获得每个目标的图形中心点。通过训练完成的径向辐射距离网络可以检测获得每个目标的图形中心点至每个外接节点的距离，进而获知每个外接节点的坐标位置。通过训练完成的极坐标角度网络可以检测获得每个目标的相邻两个外接节点的角度。每个目标的图形中心点、径向辐射距离以及外接节点角度可以表明每个目标的位置以及形状。
本发明提供的基于监控场景的目标检测方法，采用多边形检测的方法来进行目标的检测，通过利用多个外接节点来对目标的外轮廓进行描述，相对于传统方法中二维矩形框来说，从图形中心点、径向辐射距离以及外接节点角度多个维度对目标的位置与形状进行了检测，能够更加准确的描述目标的位置和形状，提高了目标检测结果的准确度。同时，相对于传统方法中实例分割算法来说，需要更少的算力，能够在应用设备端进行实时的运算，节省了算力计算的过程，提高了目标检测的效率。通过本发明提供的目标检测方法进行目标的输出，能够更加准确得对路侧高位视频场景进行解析，更加有助于路侧停车的管理。
在一个实施例中，S60，将每个目标多外接节点特征图输入至极坐标角度网络中进行学习，获得相邻外接节点之间的预测外接节点角度之后，方法还包括：
S610，根据匈牙利匹配算法对预测目标类别、预测图形中心点、预测径向辐射距离、预测外接节点角度、目标类别、图形中心点、径向辐射距离、以及外接节点角度进行匹配，获得多个匹配对。
本实施例中，匈牙利匹配算法为图论中寻找最大匹配的算法，对图像中目标的预测的多个对象与标注数据中存在的多个真值目标进行匹配，形成多个匹配对。也可以理解为对预测目标类别与目标类别进行匹配，对预测图形中心点与图形中心点进行匹配，对预测径向辐射距离与径向辐射距离进行匹配，对预测外接节点角度与外接节点角度进行匹配，形成多个匹配对，用于后续步骤中目标损失函数的构建，以实现对模型进行训练优化。
在一个实施例中，S10，构建监控场景图像的目标多外接节点数据集，包括：
S110，获取监控场景图像的每个目标的目标类别、外接节点坐标、图形中心点、径向辐射距离以及外接节点角度；
S120，获取相邻外接节点形成的线段上的扩充点；
S130，计算图形中心点与扩充点的扩充径向辐射距离；
S140，计算外接节点与扩充点之间的扩充外接节点角度；
S150，目标类别、外接节点坐标、图形中心点、径向辐射距离、外接节点角度、扩充点、扩充径向辐射距离以及扩充外接节点角度形成目标多外接节点数据集。
本实施例中，多个外接节点形成多边形。将多边形分割为多个三角形，计算每个三角形的面积得出多边形的总面积。计算构成多边形的每个三角形的质心坐标，并与对应三角形的面积进行相乘，得到所有三角形质心和面积乘积的加和。根据加和与多边形面积计算多边形的质心，表示为：
其中，Cx，Cy分别表示多边形质心的x和y坐标，Cix表示每个三角形质心的x坐标，Ai表示三角形的面积，i表示多边形被分割为i个三角形，用于计算多边形的面积。三角形质心的x坐标的计算方法为：x1、x2、x3表示三角形三个顶点的x坐标。
Ciy表示三角形质心的y坐标，y1、y2、y3表示三角形三个顶点的y坐标。多边形的质心即为图形中心点。
对于一个多边形目标，共利用K个外接节点进行标注，对K个外接节点进行数目扩充，形成多个扩充点。相邻外接节点A、B分别为相邻的两个多边形节点，O为多边形质心，在A、B两点之间形成的线段上增加一个扩充点C。
根据相似三角形的原理，计算得到C点的坐标以及OC的径向辐射距离，以及OA和OC形成的角度，OC和OB形成的角度。C点的坐标即为扩充点坐标。OC的径向辐射距离，即为扩充径向辐射距离。OA和OC形成的角度以及OC和OB形成的角度，即为扩充外接节点角度。标注数据包括目标类别、外接节点坐标、图形中心点、径向辐射距离、外接节点角度、扩充点、扩充径向辐射距离以及扩充外接节点角度。
本实施例中，通过增加多个扩充点丰富了目标多外接节点数据集。在对标注数据和模型预测结果构建目标损失函数时，可以采用相同的节点数目，解决了不同目标对应的标注节点数目不同的问题，可以直接对模型进行损失函数计算。
在一个实施例中，S70，根据预测目标类别、预测图形中心点、预测径向辐射距离以及预测外接节点角度，对目标多外接检测模型进行训练优化，获得训练完成的目标多外接检测模型，包括：
S710，根据预测图形中心点与图形中心点构建中心点损失函数，中心点损失函数为：
其中，W表示多个外接节点形成图形的宽度，H表示多个外接节点形成图形的高度，l1表示L1损失函数，Cx与Cy表示图形中心点的X坐标值与Y坐标值，与/>表示预测图形中心点的X坐标值与Y坐标值。
在一个实施例中，S70，根据预测目标类别、预测图形中心点、预测径向辐射距离以及预测外接节点角度，对目标多外接检测模型进行训练优化，获得训练完成的目标多外接检测模型，还包括：
S720，根据预测径向辐射距离、径向辐射距离以及扩充径向辐射距离构建径向辐射距离损失函数，径向辐射距离损失函数为：
其中，ri表示外接节点i对应的径向辐射距离或者扩充点i对应的扩充径向辐射距离，表示外接节点i或者扩充点i对应的预测径向辐射距离。
请参见图2，本发明提供一种基于监控场景的目标检测系100。基于监控场景的目标检测系100包括数据构建模块10、特征提取模块20、类别学习模块30、中心点学习模块40、距离学习模块50、角度学习模块60、模型训练模块70以及目标检测模块80。数据构建模块10用于构建监控场景图像的目标多外接节点数据集。特征提取模块20用于将目标多外接节点数据集输入至特征提取网络中进行特征提取，获得目标多外接节点特征图集。类别学习模块30用于将目标多外接节点特征图集中每个目标多外接节点特征图输入至目标分类网络中进行学习，获得每个目标的预测目标类别。
中心点学习模块40用于将每个目标多外接节点特征图输入至外接中心点网络中进行学习，获得每个多外接节点形成的预测图形中心点。距离学习模块50用于将每个目标多外接节点特征图输入至径向辐射距离网络中进行学习，获得图形中心点至每个外接节点的预测径向辐射距离。角度学习模块60用于将每个目标多外接节点特征图输入至极坐标角度网络中进行学习，获得相邻外接节点之间的预测外接节点角度。
模型训练模块70用于根据预测目标类别、预测图形中心点、预测径向辐射距离以及预测外接节点角度，对目标多外接检测模型进行训练优化，获得训练完成的目标多外接检测模型；其中，特征提取网络、目标分类网络、外接中心点网络、径向辐射距离网络以及极坐标角度网络形成目标多外接检测模型。目标检测模块80用于根据训练完成的目标多外接检测模型对待测监控场景图像进行目标检测，获得每个目标的类别、位置以及形状。
本实施例中，数据构建模块10的相关描述可参考上述实施例中S10的相关描述。特征提取模块20的相关描述可参考上述实施例中S20的相关描述。类别学习模块30的相关描述可参考上述实施例中S30的相关描述。中心点学习模块40的相关描述可参考上述实施例中S40的相关描述。距离学习模块50的相关描述可参考上述实施例中S50的相关描述。角度学习模块60的相关描述可参考上述实施例中S60的相关描述。模型训练模块70的相关描述可参考上述实施例中S70的相关描述。目标检测模块80的相关描述可参考上述实施例中S80的相关描述。
在一个实施例中，基于监控场景的目标检测系100还包括匹配模块。匹配模块用于根据匈牙利匹配算法对所述预测目标类别、所述预测图形中心点、所述预测径向辐射距离、所述预测外接节点角度、目标类别、图形中心点、径向辐射距离、以及外接节点角度进行匹配，获得多个匹配对。
本实施例中，匹配模块的相关描述可参考上述实施例中S610的相关描述。
在一个实施例中，数据构建模块10包括数据获取模块、扩充数据获取模块、距离计算模块、角度计算模块以及数据形成模块。数据获取模块用于获取监控场景图像的每个目标的目标类别、外接节点坐标、图形中心点、径向辐射距离以及外接节点角度。扩充数据获取模块用于获取相邻外接节点形成的线段上的扩充点。距离计算模块用于计算图形中心点与扩充点的扩充径向辐射距离。
角度计算模块用于计算外接节点与扩充点之间的扩充外接节点角度。数据形成模块用于目标类别、外接节点坐标、图形中心点、径向辐射距离、外接节点角度、扩充点、扩充径向辐射距离以及扩充外接节点角度形成目标多外接节点数据集。
本实施例中，数据获取模块的相关描述可参考上述实施例中S110的相关描述。扩充数据获取模块的相关描述可参考上述实施例中S120的相关描述。距离计算模块的相关描述可参考上述实施例中S130的相关描述。角度计算模块的相关描述可参考上述实施例中S140的相关描述。数据形成模块的相关描述可参考上述实施例中S150的相关描述。
在一个实施例中，模型训练模块70包括中心点损失函数构建模块。中心点损失函数构建模块用于根据预测图形中心点与图形中心点构建中心点损失函数，中心点损失函数为：
其中，W表示多个外接节点形成图形的宽度，H表示多个外接节点形成图形的高度，l1表示L1损失函数，Cx与Cy表示图形中心点的X坐标值与Y坐标值，与/>表示预测图形中心点的X坐标值与Y坐标值。
本实施例中，中心点损失函数构建模块的相关描述可参考上述实施例中S710的相关描述。
在一个实施例中，模型训练模块70还包括距离损失函数构建模块。距离损失函数构建模块用于根据预测径向辐射距离、径向辐射距离以及扩充径向辐射距离构建径向辐射距离损失函数，径向辐射距离损失函数为：
其中，ri表示外接节点i对应的径向辐射距离或者扩充点i对应的扩充径向辐射距离，表示外接节点i或者扩充点i对应的预测径向辐射距离。
本实施例中，距离损失函数构建模块的相关描述可参考上述实施例中S720的相关描述。
上述各个实施例中，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于的特定顺序或层次。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，模块和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，模块和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块，或模块都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于监控场景的目标检测方法，其特征在于，包括：
构建监控场景图像的目标多外接节点数据集；
将所述目标多外接节点数据集输入至特征提取网络中进行特征提取，获得目标多外接节点特征图集；
将所述目标多外接节点特征图集中每个目标多外接节点特征图输入至目标分类网络中进行学习，获得每个目标的预测目标类别；
将每个所述目标多外接节点特征图输入至外接中心点网络中进行学习，获得每个多外接节点形成的预测图形中心点；
将每个所述目标多外接节点特征图输入至径向辐射距离网络中进行学习，获得图形中心点至每个外接节点的预测径向辐射距离；
将每个所述目标多外接节点特征图输入至极坐标角度网络中进行学习，获得相邻外接节点之间的预测外接节点角度；
根据所述预测目标类别、所述预测图形中心点、所述预测径向辐射距离以及所述预测外接节点角度，对目标多外接检测模型进行训练优化，获得训练完成的目标多外接检测模型；其中，所述特征提取网络、所述目标分类网络、所述外接中心点网络、所述径向辐射距离网络以及所述极坐标角度网络形成所述目标多外接检测模型；
根据所述训练完成的目标多外接检测模型对待测监控场景图像进行目标检测，获得每个目标的类别、位置以及形状。
2.根据权利要求1所述的基于监控场景的目标检测方法，其特征在于，所述将每个所述目标多外接节点特征图输入至极坐标角度网络中进行学习，获得相邻外接节点之间的预测外接节点角度之后，所述方法还包括：
根据匈牙利匹配算法对所述预测目标类别、所述预测图形中心点、所述预测径向辐射距离、所述预测外接节点角度、目标类别、图形中心点、径向辐射距离、以及外接节点角度进行匹配，获得多个匹配对。
3.根据权利要求1所述的基于监控场景的目标检测方法，其特征在于，所述构建监控场景图像的目标多外接节点数据集，包括：
获取所述监控场景图像的每个目标的目标类别、外接节点坐标、图形中心点、径向辐射距离以及外接节点角度；
获取相邻外接节点形成的线段上的扩充点；
计算所述图形中心点与所述扩充点的扩充径向辐射距离；
计算所述外接节点与所述扩充点之间的扩充外接节点角度；
所述目标类别、所述外接节点坐标、所述图形中心点、所述径向辐射距离、所述外接节点角度、所述扩充点、所述扩充径向辐射距离以及所述扩充外接节点角度形成所述目标多外接节点数据集。
4.根据权利要求3所述的基于监控场景的目标检测方法，其特征在于，所述根据所述预测目标类别、所述预测图形中心点、所述预测径向辐射距离以及所述预测外接节点角度，对目标多外接检测模型进行训练优化，获得训练完成的目标多外接检测模型，包括：
根据所述预测图形中心点与所述图形中心点构建中心点损失函数，所述中心点损失函数为：
其中，W表示多个外接节点形成图形的宽度，H表示所述多个外接节点形成图形的高度，l1表示L1损失函数，Cx与Cy表示所述图形中心点的X坐标值与Y坐标值，与/>表示所述预测图形中心点的X坐标值与Y坐标值。
5.根据权利要求4所述的基于监控场景的目标检测方法，其特征在于，所述根据所述预测目标类别、所述预测图形中心点、所述预测径向辐射距离以及所述预测外接节点角度，对目标多外接检测模型进行训练优化，获得训练完成的目标多外接检测模型，还包括：
根据所述预测径向辐射距离、所述径向辐射距离以及所述扩充径向辐射距离构建径向辐射距离损失函数，所述径向辐射距离损失函数为：
其中，ri表示外接节点i对应的所述径向辐射距离或者扩充点i对应的所述扩充径向辐射距离，表示所述外接节点i或者所述扩充点i对应的所述预测径向辐射距离。
6.一种基于监控场景的目标检测系统，其特征在于，包括：
数据构建模块，用于构建监控场景图像的目标多外接节点数据集；
特征提取模块，用于将所述目标多外接节点数据集输入至特征提取网络中进行特征提取，获得目标多外接节点特征图集；
类别学习模块，用于将所述目标多外接节点特征图集中每个目标多外接节点特征图输入至目标分类网络中进行学习，获得每个目标的预测目标类别；
中心点学习模块，用于将每个所述目标多外接节点特征图输入至外接中心点网络中进行学习，获得每个多外接节点形成的预测图形中心点；
距离学习模块，用于将每个所述目标多外接节点特征图输入至径向辐射距离网络中进行学习，获得图形中心点至每个外接节点的预测径向辐射距离；
角度学习模块，用于将每个所述目标多外接节点特征图输入至极坐标角度网络中进行学习，获得相邻外接节点之间的预测外接节点角度；
模型训练模块，用于根据所述预测目标类别、所述预测图形中心点、所述预测径向辐射距离以及所述预测外接节点角度，对目标多外接检测模型进行训练优化，获得训练完成的目标多外接检测模型；其中，所述特征提取网络、所述目标分类网络、所述外接中心点网络、所述径向辐射距离网络以及所述极坐标角度网络形成所述目标多外接检测模型；
目标检测模块，用于根据所述训练完成的目标多外接检测模型对待测监控场景图像进行目标检测，获得每个目标的类别、位置以及形状。
7.根据权利要求6所述的基于监控场景的目标检测系统，其特征在于，所述系统还包括：
匹配模块，用于根据匈牙利匹配算法对所述预测目标类别、所述预测图形中心点、所述预测径向辐射距离、所述预测外接节点角度、目标类别、图形中心点、径向辐射距离、以及外接节点角度进行匹配，获得多个匹配对。
8.根据权利要求6所述的基于监控场景的目标检测系统，其特征在于，所述数据构建模块包括：
数据获取模块，用于获取所述监控场景图像的每个目标的目标类别、外接节点坐标、图形中心点、径向辐射距离以及外接节点角度；
扩充数据获取模块，用于获取相邻外接节点形成的线段上的扩充点；
距离计算模块，用于计算所述图形中心点与所述扩充点的扩充径向辐射距离；
角度计算模块，用于计算所述外接节点与所述扩充点之间的扩充外接节点角度；
数据形成模块，用于所述目标类别、所述外接节点坐标、所述图形中心点、所述径向辐射距离、所述外接节点角度、所述扩充点、所述扩充径向辐射距离以及所述扩充外接节点角度形成所述目标多外接节点数据集。
9.根据权利要求8所述的基于监控场景的目标检测系统，其特征在于，所述模型训练模块包括：
中心点损失函数构建模块，用于根据所述预测图形中心点与所述图形中心点构建中心点损失函数，所述中心点损失函数为：
其中，W表示多个外接节点形成图形的宽度，H表示所述多个外接节点形成图形的高度，l1表示L1损失函数，Cx与Cy表示所述图形中心点的X坐标值与Y坐标值，与/>表示所述预测图形中心点的X坐标值与Y坐标值。
10.根据权利要求9所述的基于监控场景的目标检测系统，其特征在于，所述模型训练模块还包括：
距离损失函数构建模块，用于根据所述预测径向辐射距离、所述径向辐射距离以及所述扩充径向辐射距离构建径向辐射距离损失函数，所述径向辐射距离损失函数为：
其中，ri表示外接节点i对应的所述径向辐射距离或者扩充点i对应的所述扩充径向辐射距离，表示所述外接节点i或者所述扩充点i对应的所述预测径向辐射距离。
CN202311083237.6A 2023-08-25 2023-08-25 基于监控场景的目标检测方法以及系统 Pending CN117037087A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311083237.6A CN117037087A (zh) 2023-08-25 2023-08-25 基于监控场景的目标检测方法以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311083237.6A CN117037087A (zh) 2023-08-25 2023-08-25 基于监控场景的目标检测方法以及系统

Publications (1)

Publication Number Publication Date
CN117037087A true CN117037087A (zh) 2023-11-10

Family

ID=88626273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311083237.6A Pending CN117037087A (zh) 2023-08-25 2023-08-25 基于监控场景的目标检测方法以及系统

Country Status (1)

Country Link
CN (1) CN117037087A (zh)

Similar Documents

Publication Publication Date Title
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
Mithun et al. Detection and classification of vehicles from video using multiple time-spatial images
CN109977782B (zh) 基于目标位置信息推理的跨店经营行为检测方法
CN109033950B (zh) 基于多特征融合级联深度模型的车辆违停检测方法
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
Peng et al. Drone-based vacant parking space detection
EP2813973B1 (en) Method and system for processing video image
Chao et al. Multi-lane detection based on deep convolutional neural network
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN112699267B (zh) 车辆车型的识别方法
Do et al. Context-based parking slot detection with a realistic dataset
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
Lee Neural network approach to identify model of vehicles
CN113012215A (zh) 一种空间定位的方法、系统及设备
CN113516853A (zh) 一种针对复杂监控场景的多车道车流量检测方法
CN113177439A (zh) 一种行人翻越马路护栏检测方法
Fangfang et al. Real-time lane detection for intelligent vehicles based on monocular vision
CN114820931B (zh) 基于虚拟现实的智慧城市cim可视化实时成像方法
CN113643544B (zh) 一种基于物联网的停车场内违规泊车智能检测方法及系统
Pi et al. Computer vision and multi-object tracking for traffic measurement from campus monitoring cameras
CN115909241A (zh) 一种车道线检测方法、系统、电子设备和存储介质
Sri Jamiya et al. A survey on vehicle detection and tracking algorithms in real time video surveillance
CN117037087A (zh) 基于监控场景的目标检测方法以及系统
Zhu et al. RHA-Net: An Encoder-Decoder Network with Residual Blocks and Hybrid Attention Mechanisms for Pavement Crack Segmentation
Parsola et al. Automated system for road extraction and traffic volume estimation for traffic jam detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination