CN115131725A - 交通流统计方法、装置、设备及存储介质 - Google Patents

交通流统计方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115131725A
CN115131725A CN202210611825.1A CN202210611825A CN115131725A CN 115131725 A CN115131725 A CN 115131725A CN 202210611825 A CN202210611825 A CN 202210611825A CN 115131725 A CN115131725 A CN 115131725A
Authority
CN
China
Prior art keywords
frame
target object
frame image
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210611825.1A
Other languages
English (en)
Inventor
程炎斌
邹荆峰
王川龙
张琎
刘静
张钱
包卓
侯雷鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Arts and Science
Original Assignee
Hubei University of Arts and Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Arts and Science filed Critical Hubei University of Arts and Science
Priority to CN202210611825.1A priority Critical patent/CN115131725A/zh
Publication of CN115131725A publication Critical patent/CN115131725A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于交通数据处理领域，公开了一种交通流统计方法、装置、设备及存储介质；该方法包括：识别第一帧图像中的目标物体，提取第一帧图像中的目标物体信息生成所述目标物体对应的检测框以及预测框；识别图像中第二帧图像中的目标物体，提取目标物体信息；根据第一帧以及第二帧图像中目标物体信息进行数据关联，确定第一帧与第二帧图像中相同的目标物体；将该目标物体第二帧图像预测框作为第二帧图像检测框，通过第二帧图像检测框进行目标物体统计。通过在视频图像中获取更多目标物体的信息、每个目标物体生成对应的检测框以及更加精准的预测框，避免了在目标追踪过程中出现目标遮挡导致的目标丢失的问题，实现了对目标物体更加准确地追踪。

Description

交通流统计方法、装置、设备及存储介质
技术领域
本发明涉及交通数据处理技术领域，尤其涉及一种交通流统计方法、装置、设备及存储介质。
背景技术
在对交通视频中车辆数量和/或行人数量的统计是未来城市智能化中是非常重要的一项工作，通过对车辆和/或行人进行追踪并进行统计，能够及时反馈交通情况进而实现对城市交通的控制和管理。
在当今社会，对交通视频中的过程中车辆数量和/或行人数量进行统计还存在亟待解决的问题，交通视频中会因为多个物体重叠或遮挡严重影响对车辆和/或行人的追踪，导致交通流统计不够准确，对城市交通流的情况反映不够准确，无法实现对城市交通进行控制和管理。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种交通流统计方法、装置、设备及存储介质，旨在解决现有技术中物体被遮挡的情况下无法准确识别的技术问题。
为实现上述目的，本发明提供了一种交通流统计方法，所述方法包括：
采集道路交通的视频图像，识别所述视频图像中第一帧图像中的目标物体，提取第一帧图像中的目标物体信息；
根据所述第一帧图像中的目标物体信息生成所述目标物体对应的第一帧图像检测框以及第二帧图像预测框；
识别所述视频图像中第二帧图像中的目标物体，提取第二帧图像中的目标物体信息；
根据所述第一帧图像中目标物体信息以及第二帧图像中目标物体信息进行数据关联，确定所述第一帧图像与第二帧图像中相同的目标物体；
将所述相同的目标物体的第二帧图像预测框作为第二帧图像检测框，通过所述第二帧图像检测框进行目标物体追踪和目标物体统计。
可选地，所述采集道路交通的视频图像，识别所述视频图像中第一帧图像中的目标物体，提取第一帧图像中的目标物体信息，包括：
获取摄像机采集的视频图像中第一帧图像；
对所述第一帧图像进行预处理得到特征图；
通过神经网络将所述特征图进行划分，得到多个待检测单元；
获取多个所述待检测单元目标物体的参考信息；
将所述参考信息进行整合删除重复目标信息，得到第一帧图像中的目标物体信息。
可选地，所述获取多个所述待检测单元目标物体信息，包括：
判断待检测单元是否存在目标物体中心；
若不存在，则不进行检测；
若存在，待检测单元生成预设个数的目标框；
获取所述目标框中目标物体的参考信息，所述参考信息包括定位信息、分类信息以及置信度；
可选地，所述根据所述第一帧图像中的目标物体信息生成所述目标物体对应的第一帧图像检测框以及第二帧图像预测框，包括：
获取所述第一帧图像中的目标物体信息中目标框的置信度；
选取置信度最大的参考目标框；
计算所述参考目标框与剩余目标框的交并比；
判断所述交并比是否大于预设阈值；
若是，则删除所述目标框；
若不是，则设定所述目标框为第一帧图像检测框。
可选地，所述设定所述目标框为第一帧图像检测框之后，还包括：
根据所述第一帧图像中的目标物体信息经过卡尔曼滤波器计算获得所述目标物体第二帧图像预测框。
可选地，所述根据所述第一帧图像中目标物体信息以及第二帧图像中目标物体信息进行数据关联，确定所述第一帧图像与第二帧图像中相同的目标物体，包括：
将第一帧图像中目标物体信息和第二帧图像中目标物体信息进行匹配，得到匹配结果；
根据匹配结果，将第一帧图像中的目标物体和第二帧图像中的目标物体进行逐帧关联，确定所述第一帧图像与第二帧图像中相同的目标物体。
可选地，所述将所述相同的目标物体的第二帧图像预测框作为第二帧图像检测框，通过所述第二帧图像检测框进行目标物体追踪和目标物体统计之前，还包括：
获取所述第二帧图像预测框的面积以及所述第二帧图像检测框的面积；
根据所述第二帧图像预测框的面积以及所述第二帧图像检测框的面积计算交并比；
根据所述交并比建立损失函数；
根据所述损失函数更新第二帧图像预测框。
此外，为实现上述目的，本发明还提供一种交通流统计装置，所述装置包括：
检测框生成模块，用于根据第一帧图像中的目标物体生成第一帧图像检测框；
所述检测框生成模块，还用于获取所述第一帧图像中目标物体信息，根据所述第一帧中目标物体信息确定第二帧图像预测框；
所述检测框生成模块，还用于识别第二帧图像中的目标物体，获取第二帧图像中目标物体信息；
目标统计模块，用于根据所述第一帧图像中目标物体信息以及第二帧图像中目标物体信息进行数据关联，确定所述第一帧图像与第二帧图像中相同的目标物体；
所述目标统计模块，还用于将所述相同的目标物体的第二帧图像预测框作为第二帧图像检测框，通过所述第二帧图像检测框进行目标物体追踪和目标物体统计。
此外，为实现上述目的，本发明还提出一种交通流统计设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的交通流统计程序，所述交通流统计程序配置为实现如上文所述的交通流统计方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有交通流统计程序，所述交通流统计程序被处理器执行时实现如上文所述的交通流统计方法的步骤。
本发明通过将视频图像中每一帧图像进行神经网络处理，获取更多目标物体的信息，对多个目标物体生成对应的检测框以及通过训练生成更加精准的预测框，避免了在统计过程中因为遮挡、重叠出现识别错误，识别速度慢的问题，实现了对目标物体更加快速准确的统计。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的交通流统计设备的结构示意图；
图2为本发明交通流统计方法第一实施例的流程示意图；
图3为本发明交通流统计方法一实施例的图像采集设备示意图；
图4为本发明交通流统计方法一实施例的交通流统计流程示意图；
图5为本发明交通流统计方法第二实施例的流程示意图；
图6为本发明交通流统计方法第三实施例的流程示意图；
图7为本发明交通流统计方法第四实施例的流程示意图；
图8为本发明交通流统计装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的交通流统计设备结构示意图。
如图1所示，该交通流统计设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对交通流统计设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及交通流统计程序。
在图1所示的交通流统计设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明交通流统计设备中的处理器1001、存储器1005可以设置在交通流统计设备中，所述交通流统计设备通过处理器1001调用存储器1005中存储的交通流统计程序，并执行本发明实施例提供的交通流统计方法。
基于上述交通流统计设备，本发明实施例提供了一种交通流统计方法，参照图2，图2为本发明交通流统计方法第一实施例的流程示意图。
本实施例中，所述交通流统计方法包括以下步骤：
步骤S10：采集道路交通的视频图像，识别所述视频图像中第一帧图像中的目标物体，提取第一帧图像中的目标物体信息。
需要说明的是，本实施例的执行主体可以是一种具有数据处理、网络通信以及程序运行功能的计算服务设备，例如手机、平板电脑、个人电脑等，或者是一种能够实现上述功能的电子设备或交通流统计设备。以下以所述交通流统计设备为例，对本实施例及下述各实施例进行说明。
道路交通视频图像是通过以Nvidia Jetson XAvier NX开发板为载体的便携式可手持设备上的摄像机采集得到，设备上可以装有多个摄像头进行交通流视频采集，所述Nvidia Jetson XAvier NX开发板为载体的便携式可手持设备是一种边缘设备，可以直接对交通流数据进行处理，不用上传云端经过计算后再数据应用。所述以Nvidia JetsonXAvier NX开发板为载体的便携式可手持设备由Nvidia Jetson XAvier NX开发板、6核NVIDA Carmel ARM⑧v8.2 64位CPU 6MB L2+4MBL3、CSI摄像头、显示器等硬件组成，可参考图3其中Micro SD卡卡槽，可用于接入16GB的TF卡，烧写系统镜像；40PIN GPIO扩展接口，可用于外接设备；Micro USB接口，可用于5V电源输入或者USB数据传输；千兆以太网端口,能够用于连接10/100/1000Base-T网络，传输速率能达到1G bits/s；4路USB3.0接口，能够外接USB接口设备；HDHI高清接口，能够连接显示屏；DisplayPort接口，用于连接显示屏；DC电源接口，可用于5V电源输入；2路MIPI CSI摄像头接口，用于连接摄像头。
可理解的是，所述第一帧图像可以是一段视频图像中的第一帧图像，也可以是一段视频中指定的一帧图像，所述第二帧图像是所述第一帧图像的下一帧图像。
应理解的是，识别所述视频图像中第一帧图像中的目标物体是通过预先建立的数据库进行识别，该数据库可以是车辆数据库、行人数据库，也可以是多个目标的集合数据库。
在具体实施中，获取一段视频图像中的某一帧图像，根据数据库中的模型可以识别出该图像中有2个目标物体，提取2个目标物体的信息为一辆白色、X品牌、车牌号鄂A15XX6、车内坐2人的卡车，一辆红色、N品牌、C型号、车牌号鄂S15XX6、车内1人的跑车。
步骤S20：根据所述第一帧图像中的目标物体信息生成所述目标物体对应的第一帧图像检测框以及第二帧图像预测框。
需要说明的是，根据所述第一帧图像中的目标物体信息生成所述目标物体对应的第一帧图像检测框是基于Yolov5s算法模型生成的，Yolo算法总共有Yolov5s、Yolov5m、Yolov5l、Yolov5x四个模型。相对于其他模型，Yolov5s网络是Yolov5系列中深度最小，特征图的宽度最小的网络；其对于检测的准确度略有降低，但识别的速度很快，能够适应高速的车流。
可理解的是，所述第二帧图像预测框是指同一个目标物体根据第一帧检测框中目标物体信息经过卡尔曼滤波计算得出第一帧图像中的目标物体在第二帧图像中可能出现的位置生成的预测框。该预测框可以关联有第一帧图像中检测框中目标物体信息。
应理解的是，所述预测框可以关联有第一帧图像中检测框中目标物体信息，当存在多个目标物体则会根据每个目标物体检测框生成对应的预测框。
步骤S30：识别所述视频图像中第二帧图像中的目标物体，提取第二帧图像中的目标物体信息。
需要说明的是，识别所述视频图像中第二帧图像中的目标物体是通过预先建立的数据库进行识别第二帧图像中的物体是否存在目标物体，识别出目标物体后，提取目标物体的信息。
步骤S40：根据所述第一帧图像中目标物体信息以及第二帧图像中目标物体信息进行数据关联，确定所述第一帧图像与第二帧图像中相同的目标物体。
需要说明的是，第一帧图像中目标物体信息以及第二帧图像中目标物体信息的数据关联是基于DeepSORT算法模型进行的，DeepSORT算法在SORT算法的基础上做了深入优化，DeepSORT是在sort目标跟踪的基础上引入了表观特征提取网络，该网络是在行人重识别数据集上离线训练得到的，在目标跟踪过程中提取目标的表观特征进行最近邻匹配。
可理解的是，在第一帧图像中可以有多个目标物体，也可以出现新的目标物体，若出现新的目标物体则生成新的目标物体对应的检测框。
在具体实施中，获取第一帧图像中目标物体信息包括2个目标物体，提取2个目标物体的信息为一辆白色、X品牌、车牌号鄂A15XX6、车内坐2人的卡车，一辆红色、N品牌、C型号、车牌号鄂S15XX6、车内1人的跑车；第二帧中目标物信息包括三个目标物信息，一个目标物信息包括白色、车牌号鄂A15***、第二个目标物信息包括卡车，红色、跑车，地三个目标物信息包括白色、卡车，可以完成两辆车的匹配追踪，以及生成第三个目标物体检测框。
步骤S50：将所述相同的目标物体的第二帧图像预测框作为第二帧图像检测框，通过所述第二帧图像检测框进行目标物体追踪和目标物体统计。
需说明的是，目标统计是基于目标检测和目标追踪完成，其中利用Nvidia JetsonXAvier NX开发板适用的TensorRT功能实现对算法的运行和对图像数据的处理，对交通流的检测和统计以Yolov5模型结合DeepSORT算法来实现，具体处理流程可以参考图4。
应理解的是，在目标检测和目标追踪的基础上还有计数程序，该程序可以是在目标物体的行驶方向为预设方向则在预设方向的目标物体数量上加1，进而完成目标物体的统计。
本实施例将交通视频中第一帧图像在目标识别过程中获取更多目标物体的信息、每个目标物体都生成对应的检测框以及更加精准的预测框，根据目标物体信息数据关联、进行目标物体追踪，避免了在目标追踪过程中出现目标遮挡导致的目标丢失的问题，实现了对目标物体更加准确地追踪。
参考图5，图5为本发明交通流统计方法第二实施例的流程示意图。
基于上述第一实施例，在本实施例中，所述步骤S10包括：
步骤S11：获取摄像机采集的视频图像中第一帧图像。
需要说明的是，该摄像头可以360°任意角度调整拍摄，且所述摄像头可以是CSI摄像头，CSI摄像头具有36通过虚拟通道、12通道MIPI CSI-2，采集到的图像更加清晰。
步骤S12：对所述第一帧图像进行预处理得到特征图。
需要说明的是，所述预处理是指将第一帧图像通过网络将图像进行放缩、拉伸，将该图像的尺寸调整为目标尺寸大小，这个大小可以是n*n类型的尺寸也可以是n*f类型尺寸，本发明对此不作具体要求。
在具体实施中，采集视频图像中的第一帧图像为1080*720，将所述第一帧图像经过放缩、拉伸后得到尺寸为目标尺寸1080*1080的特征图。
步骤S13：通过神经网络将所述特征图进行划分，得到多个待检测单元。
需要说明的是，通过神经网络将特征图根据特征图的尺寸进行划分，例如特征图尺寸为1080*1080，则将特征图划分为1080*1080个格子，每个格子都是一个待检测单元。
步骤S14：获取多个所述待检测单元目标物体的参考信息。
需要说明的是，对待检测单元进行检测之前需要判断待检测单元有没有目标物体中心，若没有目标物体中心就不参与检测，若是有目标物体中心，则在该检测单元生成5个或者多个目标框，然后获取目标框中目标物体信息。例如目标物体是什么类型的物体，是车还是人，是什么样子的车，目标物体在图像中的位置，目标框的位置，目标物体的实际位置以及置信度等。
选取置信度最大的目标框作为参考目标框，计算所述参考目标框与剩余目标框的交并比，判断所述交并比是否大于预设阈值，若是，则删除所述目标框；若不是，就设定所述目标框为第一帧图像检测框。
应理解的是，所述交并比是指两个边界框交集和并集之比，此处是至两个目标框的交并比，获取两个目标框重合部分的面积，获取两个目标框面积之和，获取两个目标框重合部分的面积和获取两个目标框面积之和的比值就是交并比，例如一个目标框的面积为0.55，另一个目标框的面积是0.12，两个目标框的重合面积是0.10，则两个目标框的交并比是0.10/(0.55+0.12)，可以通过交并比来判断两个目标框的重合度。
步骤S15：将所述参考信息进行整合，删除重复参考信息，得到第一帧图像中的目标物体信息。
需要说明的是，每个待检测单元都会生成多个目标框，提取每个目标框中的目标物体信息不可避免的同一个目标物体信息的获取会有大部分的重合，将每个目标框中目标物体参考信息进行综合，综合之后删除同一个目标物体重复的参考信息，只保留重复信息中的一份作为最终目标物体信息。
应理解的是，每个目标物体会生成对应相关的目标物体信息，根据目标物体信息经过卡尔曼滤波器计算获得所述目标物体第二帧图像预测框。
本实施例通过将交通流视频中第一帧图像进行卷积神经网络处理，将第一帧图像划分为多个待检测单元，通过获取多个待检测单元中目标物体信息，获得更多目标物体的信息，因此减少了参数量和FLOPS数值，既保证了推理速度和准确率，在目标检测的过程中能够更好的识别目标物体，在目标追踪的过程中更好的进行目标物体信息关联从而实现交通流更加准确的统计。
参考图6，图6为本发明交通流统计方法第三实施例的流程示意图。
基于上述各实施例，在本实施例中，所述步骤S40，包括：
步骤S41：将第一帧图像中目标物体信息和第二帧图像中目标物体信息进行匹配，得到匹配结果。
需要说明的是，第一帧图像中可以提取到多个目标物体的目标物体信息以及第二帧图像中也可以提取到多个目标物体的目标物体信息，将第一帧图像中的目标物体信息和第二帧目标物体信息进行匹配，当目标物体信息相似度大于百分之40或者大于百分之60可以判断第一帧图像中的目标物体和第二帧图像中的目标物体时同一个目标物体，则匹配成功，此处相似度可以自由设定，不作限制。
应理解的是，所述第一帧图像中的目标物体信息是指生成目标物体第二帧图像预测框对应的目标物体，也可以理解为是将第二帧预测框对应的第一帧图像中的目标物体信息和第二帧图像中目标物体信息进行匹配。
步骤S42：根据匹配结果，将第一帧图像中的目标物体和第二帧图像中的目标物体进行逐帧关联，确定所述第一帧图像与第二帧图像中相同的目标物体。
需要说明的是，将第一帧图像中的目标物体和第二帧图像中的目标物体进行逐帧关联是基于第一帧图像中的目标物体信息和第二帧图像中目标物体信息进行匹配之后进行的。
本实施例根据第一帧图像中和第二帧图像中获得的更加准确目标物体信息，更加快速准确的对目标物体进行数据关联，确定第一帧图像与第二帧图像中相同的目标物体，实现了对多个目标物体更加精准的追踪，减少了目标物体误检、漏检的情况，更加准确的完成对交通流的统计。
参考图7，图7为本发明交通流统计方法第四实施例的流程示意图。
基于上述各实施例，提出本发明交通流统计方法第四实施例。
在本实施例中，所述步骤S50之后，还包括：
步骤S51：获取所述第二帧图像预测框的面积以及所述第二帧图像检测框的面积。
需说明的是，获取所述第二帧图像预测框的面积以及所述第二帧图像检测框的面积后，还可以获取同时包含第二帧图像预测框以及第二帧图像检测框的最小框的面积，还有第二帧图像预测框与所述第二帧图像检测框重叠部分的面积。
在具体实施中，根据第二帧图像预测框可以计算出第二帧图像预测框的面积为50，根据第二帧图像检测框可以计算出第二帧图像检测的面积为70，根据第二帧图像预测框以及第二帧图像检测框可以画出同时包含第二帧图像预测框以及第二帧图像检测框的最小框，从而计算出其面积为150，根据重叠部分计算重叠部分面积为42。
步骤S52：根据所述第二帧图像预测框的面积以及所述第二帧图像检测框的面积计算交并比。
需说明的是，根据第二帧图像预测框以及第二帧图像检测框可以画出同时包含第二帧图像预测框以及第二帧图像检测框的最小框计算最小框面积Ac去除两个目标框面积U后的剩余面积Ac-U；
交并比GIoU是用第二帧图像预测框与所述第二帧图像检测框重叠部分的面积n比上第二帧图像预测框与所述第二帧图像检测框总和U的值减去同时包含第二帧图像预测框以及第二帧图像检测框的最小框面积计算最小框面积去除两个目标框面积后的剩余面积的绝对值比上最小框面积的值的绝对值，如下列公式：
GIoU＝n/U-|(Ac-U)|/|Ac|。
在具体实施中，第二帧图像检测框面积为70，第二帧图像预测框面积为50，第二帧图像检测框与预测框重叠部分面积为42，第二帧图像预测框与检测框面积之和为134，同时包含第二帧图像预测框以及第二帧图像检测框的最小框面积为150，所述该交并比计算等式为GIoU＝42/134-|150-134|/|150|。
步骤S53：根据所述交并比建立损失函数。
需说明的是，根据交并比GIoU建立损失函数再通过梯度下降算法计算得到收敛后的预测框。
步骤S54：根据所述损失函数更新第二帧图像预测框。
需说明的是，根据所述损失函数更新后的第二帧图像预测框更加趋向于第二帧图像检测框，更新后的第二帧图像预测框能够更加准确地生成目标物体的预测框，从而完成目标物体追踪。
在具体实施中，在多目标检测中MOTA是衡量多目标跟踪器效果的一个重要指标，可以直观的衡量跟踪器的性能且不受检测器精度的影响。MOTA的计算公式如式：
Figure BDA0003669262560000121
其中，FP是分配错误检测目标的跟踪轨迹；FN当前帧中检测和跟踪分配失败的目标的标签真实值；IDSW是跟踪过程中，真实标签所分配的ID标识变化次数；GT代表当前帧所有跟踪目标在标签中的真实值，多目标跟踪器效果可参考下表1：
表1
Figure BDA0003669262560000122
本实施例根据第二帧图像的预测框以及检测框的交并比建立损失函数，优化第二帧图像检测框的位置，从而使第二帧图像的预测框更加贴近第二帧图像检测框，在对目标物体追踪时，能够更准确快速地完成目标物体追踪。
参照图8，图8为本发明交通流统计装置第一实施例的结构框图。
如图8所示，本发明实施例提出的交通流统计装置包括：
检测框生成模块10，用于根据第一帧图像中的目标物体生成第一帧图像检测框；
所述检测框生成模块10，还用于获取所述第一帧图像中目标物体信息，根据所述第一帧中目标物体信息确定第二帧图像预测框；
所述检测框生成模块10，还用于识别第二帧图像中的目标物体，获取第二帧图像中目标物体信息；
目标统计模块20，用于根据所述第一帧图像中目标物体信息以及第二帧图像中目标物体信息进行数据关联，确定所述第一帧图像与第二帧图像中相同的目标物体；
所述目标统计模块20，还用于将所述相同的目标物体的第二帧图像预测框作为第二帧图像检测框，通过所述第二帧图像检测框进行目标物体追踪和目标物体统计。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的目标统计方法，此处不再赘述。
基于本发明上述目标统计装置第一实施例，提出本发明目标统计装置的第二实施例。
在本实施例中，所述检测框生成模块10，还用于获取摄像机采集的视频图像中第一帧图像；
对所述第一帧图像进行预处理得到特征图；
通过神经网络将所述特征图进行划分，得到多个待检测单元；
获取多个所述待检测单元目标物体的参考信息；
将所述参考信息进行整合，删除重复参考信息，得到第一帧图像中的目标物体信息。
所述检测框生成模块10，还用于判断待检测单元是否存在目标物体中心；
若不存在，则不进行检测；
若存在，待检测单元生成预设个数的目标框；
获取所述目标框中目标物体的参考信息，所述参考信息包括定位信息、分类信息以及所述目标表框的置信度。
所述检测框生成模块10，还用于选取置信度最大的目标框，设定所述置信度最大的目标框为参考目标框；
计算所述参考目标框与剩余目标框的交并比；
判断所述交并比是否大于预设阈值；
若是，则删除所述目标框；
若不是，则设定所述目标框为第一帧图像检测框。
所述检测框生成模块10，还用于根据所述第一帧图像中的目标物体信息经过卡尔曼滤波器计算获得所述目标物体第二帧图像预测框。
所述检测框生成模块10，还用于获取所述第二帧图像预测框的面积以及所述第二帧图像检测框的面积；
根据所述第二帧图像预测框的面积以及所述第二帧图像检测框的面积计算交并比；
根据所述交并比建立损失函数；
根据所述损失函数更新第二帧图像预测框。
所述目标统计模块20，还用于将第一帧图像中目标物体信息和第二帧图像中目标物体信息进行匹配，得到匹配结果；
根据匹配结果，将第一帧图像中的目标物体和第二帧图像中的目标物体进行逐帧关联，确定所述第一帧图像与第二帧图像中相同的目标物体。
本发明交通流统计装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有交通流统计程序，所述交通流统计程序被处理器执行时实现如上文所述的交通流统计方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种交通流统计方法，其特征在于，所述交通流统计方法包括：
采集道路交通的视频图像，识别所述视频图像中第一帧图像中的目标物体，提取所述第一帧图像中的目标物体信息；
根据所述第一帧图像中的目标物体信息生成所述目标物体对应的第一帧图像检测框以及第二帧图像预测框；
识别所述视频图像中第二帧图像中的目标物体，提取所述第二帧图像中的目标物体信息；
根据所述第一帧图像中目标物体信息以及第二帧图像中目标物体信息进行数据分析，确定所述第一帧图像与第二帧图像中相同的目标物体；
将所述相同的目标物体的第二帧图像预测框作为第二帧图像检测框，通过所述第二帧图像检测框进行目标物体追踪和目标物体统计。
2.如权利要求1所述的交通流统计方法，其特征在于，所述采集道路交通的视频图像，识别所述视频图像中第一帧图像中的目标物体，提取第一帧图像中的目标物体信息，包括：
获取摄像机采集的视频图像中第一帧图像；
对所述第一帧图像进行预处理得到特征图；
通过神经网络将所述特征图进行划分，得到多个待检测单元；
获取多个所述待检测单元目标物体的参考信息；
将所述参考信息进行整合，删除重复参考信息，得到第一帧图像中的目标物体信息。
3.如权利要求2所述的交通流统计方法，其特征在于，所述获取多个所述待检测单元目标物体信息，包括：
判断所述待检测单元是否存在目标物体中心；
若不存在，则不进行检测；
若存在，根据所述待检测单元生成预设个数的目标框；
获取所述目标框中目标物体的参考信息，所述参考信息包括定位信息、分类信息以及所述目标表框的置信度。
4.如权利要求3所述的交通流统计方法，其特征在于，所述获取所述目标框中目标物体的参考信息，所述参考信息包括定位信息、分类信息以及所述目标表框的置信度之后，还包括：
选取置信度最大的目标框，设定所述置信度最大的目标框为参考目标框；
计算所述参考目标框与剩余目标框的交并比；
判断所述交并比是否大于预设阈值；
若是，则删除所述目标框；
若不是，则设定所述目标框为第一帧图像检测框。
5.如权利要求1所述的交通流统计方法，其特征在于，所述根据所述第一帧图像中的目标物体信息生成所述目标物体对应的第一帧图像检测框以及第二帧图像预测框，包括：
根据所述第一帧图像中的目标物体信息经过卡尔曼滤波器计算获得所述目标物体第二帧图像预测框。
6.如权利要求1所述的交通流统计方法，其特征在于，所述根据所述第一帧图像中目标物体信息以及第二帧图像中目标物体信息进行数据关联，确定所述第一帧图像与第二帧图像中相同的目标物体，包括：
将第一帧图像中目标物体信息和第二帧图像中目标物体信息进行匹配，得到匹配结果；
根据匹配结果，将第一帧图像中的目标物体和第二帧图像中的目标物体进行逐帧关联，确定所述第一帧图像与第二帧图像中相同的目标物体。
7.如权利要求1-6中任一项所述的交通流统计方法，其特征在于，所述将所述相同的目标物体的第二帧图像预测框作为第二帧图像检测框，通过所述第二帧图像检测框进行目标物体追踪和目标物体统计之后，还包括：
获取所述第二帧图像预测框的面积以及所述第二帧图像检测框的面积；
根据所述第二帧图像预测框的面积以及所述第二帧图像检测框的面积计算交并比；
根据所述交并比建立损失函数；
根据所述损失函数更新第二帧图像预测框。
8.一种交通流统计装置，其特征在于，所述交通流统计装置包括：
检测框生成模块，用于根据第一帧图像中的目标物体生成第一帧图像检测框；
所述检测框生成模块，还用于获取所述第一帧图像中目标物体信息，根据所述第一帧中目标物体信息确定第二帧图像预测框；
所述检测框生成模块，还用于识别第二帧图像中的目标物体，获取第二帧图像中目标物体信息；
目标统计模块，用于根据所述第一帧图像中目标物体信息以及第二帧图像中目标物体信息进行数据关联，确定所述第一帧图像与第二帧图像中相同的目标物体；
所述目标统计模块，还用于将所述相同的目标物体的第二帧图像预测框作为第二帧图像检测框，通过所述第二帧图像检测框进行目标物体追踪和目标物体统计。
9.一种交通流统计设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的交通流统计程序，所述交通流统计程序配置为实现如权利要求1至7中任一项所述的交通流统计方法。
10.一种存储介质，其特征在于，所述存储介质上存储有交通流统计程序，所述交通流统计程序被处理器执行时实现如权利要求1至7任一项所述的交通流统计方法。
CN202210611825.1A 2022-05-30 2022-05-30 交通流统计方法、装置、设备及存储介质 Withdrawn CN115131725A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210611825.1A CN115131725A (zh) 2022-05-30 2022-05-30 交通流统计方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210611825.1A CN115131725A (zh) 2022-05-30 2022-05-30 交通流统计方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115131725A true CN115131725A (zh) 2022-09-30

Family

ID=83378278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210611825.1A Withdrawn CN115131725A (zh) 2022-05-30 2022-05-30 交通流统计方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115131725A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546705A (zh) * 2022-11-29 2022-12-30 天津所托瑞安汽车科技有限公司 目标识别方法、终端设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546705A (zh) * 2022-11-29 2022-12-30 天津所托瑞安汽车科技有限公司 目标识别方法、终端设备及存储介质
CN115546705B (zh) * 2022-11-29 2023-05-02 天津所托瑞安汽车科技有限公司 目标识别方法、终端设备及存储介质

Similar Documents

Publication Publication Date Title
CN112381075B (zh) 一种机房特定场景下进行人脸识别的方法及系统
CN110610127B (zh) 人脸识别方法、装置、存储介质及电子设备
CN110517500B (zh) 一种人车关联处理方法及装置
CN111160202A (zh) 基于ar设备的身份核验方法、装置、设备及存储介质
CN110443245B (zh) 一种非限制场景下的车牌区域的定位方法、装置及设备
CN110245554B (zh) 一种行人运动趋势的预警的方法、系统平台及存储介质
CN113299073A (zh) 识别车辆违章停车的方法、装置、设备和存储介质
CN112464850A (zh) 图像处理方法、装置、计算机设备及介质
CN112651398A (zh) 车辆的抓拍控制方法、装置及计算机可读存储介质
CN112434566A (zh) 客流统计方法、装置、电子设备及存储介质
CN115131725A (zh) 交通流统计方法、装置、设备及存储介质
CN111753766A (zh) 一种图像处理方法、装置、设备及介质
CN115810134A (zh) 一种车险反欺诈的图像采集质检方法、系统和装置
CN114936997A (zh) 检测方法、装置、电子设备及可读存储介质
CN112131919B (zh) 安检方法、装置、设备及介质
CN111382606A (zh) 摔倒检测方法、摔倒检测装置和电子设备
CN112215222A (zh) 车牌识别方法、装置、设备及存储介质
CN112115737B (zh) 一种车辆朝向的确定方法、装置及车载终端
CN112966687A (zh) 图像分割模型训练方法、装置及通信设备
CN114494355A (zh) 基于人工智能的轨迹分析方法、装置、终端设备及介质
CN114758384A (zh) 人脸检测方法、装置、设备及存储介质
CN113657316A (zh) 移动交通违章监测方法、系统、电子设备及存储介质
Tulgaç et al. Incident detection on junctions using image processing
Ali et al. Semantic indexing for visual recognition of buildings
CN111639640A (zh) 基于人工智能的车牌识别方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220930

WW01 Invention patent application withdrawn after publication