CN116071688A - 一种车辆的行为分析方法、装置、电子设备及存储介质 - Google Patents
一种车辆的行为分析方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116071688A CN116071688A CN202310203508.0A CN202310203508A CN116071688A CN 116071688 A CN116071688 A CN 116071688A CN 202310203508 A CN202310203508 A CN 202310203508A CN 116071688 A CN116071688 A CN 116071688A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- track
- target
- behavior analysis
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 17
- 230000006399 behavior Effects 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 36
- 230000001186 cumulative effect Effects 0.000 claims description 20
- 238000010606 normalization Methods 0.000 claims description 14
- 238000013139 quantization Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 description 29
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 101100120606 Shewanella frigidimarina (strain NCIMB 400) ifcA gene Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种车辆的行为分析方法、装置、电子设备及存储介质，其中，该方法包括：获取包含所述车辆的待分析图片；对所述待分析图片进行直方图均衡处理，得到顶点坐标；根据所述顶点坐标获得图像矩阵；将所述图像矩阵输入预先构建的目标检测模型进行目标识别，生成跟踪链ID；根据所述跟踪链ID获得目标车辆的车辆特征和车辆轨迹点；将所述车辆特征和所述车辆轨迹点输入预先构建的分析基础库进行行为分析，得到分析结果。实施本申请实施例，可以提高对车辆行为分析的准确率和效率，有效识别图片中目标车辆的行为，提升道路的运营效率，减少道路危害行驶安全的行为，减少对空间资源的占用，降低成本。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种车辆的行为分析方法、装置、电子设备及计算机存储介质。
背景技术
对车辆的行为分析通常需要实时处理分析视频流的视频画面，提取出现的车辆信息、车辆行为，并且对行驶的车辆车牌进行识别，从而识别出危害道路行车安全的行为，包括：占用紧急车道、违规变道、超速、低速、逆行等，再通过标记危险车辆，将此车辆牌照广播到各个检测设备，列入危险车辆清单进行跟踪。
但是，现有技术中会采用摄像头内置前端相应算法进行识别并拍照上传到服务端，这种方案由于摄像头设备性能制约，往往只能内置相对单一、性能要求不高的算法，而且不方便扩展升级，或者是采用大型的分析服务器在机房中接入流媒体中心进行集中式分析，得出结论，这种方案由于是集中式处理，往往不能达到实时性的要求，即使达到实时性要求，也无法达到识别准确率的要求，并且得出结论后不能调度各个节点进行相应的操作。
发明内容
本申请实施例的目的在于提供一种车辆的行为分析方法、装置、电子设备及存储介质，可以提高对车辆行为分析的准确率和效率，有效识别图片中目标车辆的行为，提升道路的运营效率，减少道路危害行驶安全的行为，减少对空间资源的占用，降低成本。
第一方面，本申请实施例提供了一种车辆的行为分析方法，所述方法包括：
获取包含所述车辆的待分析图片；
对所述待分析图片进行直方图均衡处理，得到顶点坐标；
根据所述顶点坐标获得图像矩阵；
将所述图像矩阵输入预先构建的目标检测模型进行目标识别，生成跟踪链ID；
根据所述跟踪链ID获得目标车辆的车辆特征和车辆轨迹点；
将所述车辆特征和所述车辆轨迹点输入预先构建的分析基础库进行行为分析，得到分析结果。
在上述实现过程中，通过对待分析图片进行直方图均衡处理，再经过目标检测模型进行训练后得到跟踪链ID，根据跟踪链ID得到车辆特征和车辆轨迹点，并进行行为分析，可以提高对车辆行为分析的准确率和效率，有效识别图片中目标车辆的行为，减少对空间资源的占用，降低成本。
进一步地，所述对所述待分析图片进行直方图均衡处理，得到顶点坐标的步骤，包括：
计算所述待分析图片中各个灰度级像素出现的概率，得到概率数据；
对所述概率数据进行直方图归一化处理，得到累计归一化直方图；
对所述累计归一化直方图进行线性化处理，得到所述顶点坐标。
在上述实现过程中，对待分析图片进行直方图均衡处理，可以使得图片中的像素分布更加均衡，并且增加了像素灰度值的动态范围，提高待分析图片的可用性。
进一步地，所述对所述累计归一化直方图进行线性化处理，得到所述顶点坐标的步骤，包括：
构建线性变化形式；
根据所述线性变化形式对所述累计归一化直方图中的每个点进行线性化处理，得到所述顶点坐标。
在上述实现过程中，根据线性变化形式对累计归一化直方图中的点进行线性化处理，使得顶点坐标的分布更加直观，便于对顶点坐标进行线性处理。
进一步地，根据以下公式对所述概率数据进行直方图归一化处理，得到累计归一化直方图：
将所述第一像素图片和所述第二像素图片输入预先构建的可行驶空间预测模型进行特征提取，获得可行驶空间前景预测特征、可行驶空间背景预测特征和可行驶空间曲线类别特征；
在上述实现过程中，对概率数据进行直方图归一化处理，使得概率数据更能体现灰度级像素的分布情况，有利于提高累计归一化直方图的准确性。
进一步地，所述根据所述跟踪链ID获得目标车辆的车辆特征和车辆轨迹点的步骤，包括：
根据所述跟踪链ID获得所述目标车辆的所述车辆特征；
提取所述车辆特征中的车牌信息；
判断所述车牌信息是否识别成功；
若是，将所述车牌信息对应的车牌坐标作为所述目标车辆的初始车辆轨迹点；
若否，将所述目标车辆的车辆识别框的坐标作为所述目标车辆的初始车辆轨迹点；
根据所述初始车辆轨迹点获得所述车辆轨迹点。
在上述实现过程中，先识别车牌信息，可以直接、便捷地获取到车辆的主要信息，有利于后续判别目标车辆的轨迹，得到初始车辆轨迹点，使得得到的车辆轨迹点更加准确。
进一步地，所述根据所述初始车辆轨迹点获得所述车辆轨迹点的步骤，包括：
对所述初始车辆轨迹点进行轨迹预处理，得到车辆轨迹点坐标；
根据所述车辆轨迹点坐标获得所述车辆轨迹点。
在上述实现过程中，对初始车辆轨迹点进行轨迹预处理，得到车辆轨迹点坐标，可以更加明确地表达目标车辆的行动轨迹，便于后续对目标车辆进行行为分析。
进一步地，预先构建的分析基础库的步骤，包括：
构建初始分析基础库；
对所述初始分析基础库进行数字模型量化，得到所述分析基础库，所述数字模型量化的量化参数包括轨迹坐标量、轨迹角度量、轨迹路径量。
在上述实现过程中，根据轨迹坐标量、轨迹角度量、轨迹路径量构建分析基础库，更加准确地描述车辆运动轨迹的长度及方向，使得数字模型量化，得到的分析结果更加准确。
第二方面，本申请实施例还提供了一种车辆的行为分析装置，所述装置包括：
获取模块，用于获取包含车辆的待分析图片；
直方图均衡处理模块，用于对所述待分析图片进行直方图均衡处理，得到顶点坐标；
数据获得模块，用于根据所述顶点坐标获得图像矩阵；还用于根据所述跟踪链ID获得目标车辆的车辆特征和车辆轨迹点；
生成模块，用于将所述图像矩阵输入预先构建的目标检测模型进行目标识别，生成跟踪链ID；
行为分析模块，用于将所述车辆特征和所述车辆轨迹点输入预先构建的分析基础库进行行为分析，得到分析结果。
在上述实现过程中，通过对待分析图片进行直方图均衡处理，再经过目标检测模型进行目标识别后得到每个目标车辆的跟踪链ID，根据跟踪链ID得到车辆特征和车辆轨迹点，并进行行为分析，可以提高对车辆特征识别的准确率和效率，有效识别图片中目标车辆的行为，减少对空间资源的占用，降低成本。
第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。
第四方面，本申请实施例提供的一种计算机可读存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的方法。
第五方面，本申请实施例提供的一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一项所述的方法。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围值的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的车辆的行为分析方法的流程示意图；
图2为本申请实施例提供的车辆的行为分析装置的结构组成示意图；
图3为本申请实施例提供的电子设备的结构组成示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围值。
实施例一
图1是本申请实施例提供的车辆的行为分析方法的流程示意图，如图1所示，该方法包括：
S1，获取包含车辆的待分析图片；
S2，对待分析图片进行直方图均衡处理，得到顶点坐标；
S3，根据顶点坐标获得图像矩阵；
S4，将图像矩阵输入预先构建的目标检测模型进行目标识别，生成跟踪链ID；
S5，根据跟踪链ID获得目标车辆的车辆特征和车辆轨迹点；
S6，将车辆特征和车辆轨迹点输入预先构建的分析基础库进行行为分析，得到分析结果。
在上述实现过程中，通过对待分析图片进行直方图均衡处理，再经过目标检测模型进行训练后得到跟踪链ID，根据跟踪链ID得到车辆特征和车辆轨迹点，并进行行为分析，可以提高对车辆行为分析的准确率和效率，有效识别图片中目标车辆的行为，减少对空间资源的占用，降低成本。
危害道路行车安全的行为，包括：占用紧急车道、违规变道、超速、低速、逆行等。具体判定标准如下：
占用专用车道：针对摄像头图像画出专用车道的矩形区域，并设置时间周期阀值默认为3秒，获取车辆周期阀值区间的车辆轨迹点集合，拟合为一条线段，计算该线段与车道矩形区域是否存在包含关系，若存在则判定为占用。
违规停车算法：时间周期阀值可以设置默认为3秒，获取周期阀值区间的车辆轨迹点集合，计算轨迹点间的距离差值，若轨迹点间距离差值某个阀值，判定为停车的状态。
逆行：当前监控实际情况可以设置方向阀值为上行或下行，获取周期阀值区间的车辆轨迹点集合生成上行或下行的方向值，若与设置的方向阀值互斥则判定为逆行。
越实线：时间周期阀值可以设置默认为3秒，获取车辆周期阀值区间的车辆轨迹点集合，拟合为一条线段，计算该线段与车道辅助线是否存在相交，若存在则判定为越实线。
本申请实施例中，对多路视频流进行解码，对每路视频监控解码得出每帧图像画面的路面区域进行裁剪，并采用灰度填充的方式统一图片尺寸，得到检测区域图像的三维矩阵数据。
在S1中，获取到的原始图片，缩放为W * H固定大小的待分析图片f。
进一步地，S2包括：
计算待分析图片中各个灰度级像素出现的概率，得到概率数据；
对概率数据进行直方图归一化处理，得到累计归一化直方图；
对累计归一化直方图进行线性化处理，得到顶点坐标。
在上述实现过程中，对待分析图片进行直方图均衡处理，可以使得图片中的像素分布更加均衡，并且增加了像素灰度值的动态范围，提高待分析图片的可用性。
进一步地，对累计归一化直方图进行线性化处理，得到顶点坐标的步骤，包括：
构建线性变化形式；
根据线性变化形式对累计归一化直方图中的每个点进行线性化处理，得到顶点坐标。
在上述实现过程中，根据线性变化形式对累计归一化直方图中的点进行线性化处理，使得顶点坐标的分布更加直观，便于对顶点坐标进行线性处理。
构建线性变化形式为：
y = T(x)；
待分析图片中的每个点x都生产一个值y，这样 y的累计概率函数形式就可以在所有值范围内进行线性化，T为图像累计归一化函数，转换公式为：
；
其中，
i代表每个像素点，为每个像素点的累计归一化直方图函数，进一步地，根据以下公式将直方图归一化到0~1范围内：
；
其中，
i表示每个像素点，为累计归一化直方图，
j表示图像中灰度级，为灰度级
j中像素出现的概率。
具体地，为直方图均衡化映射函数，运用累计分布函数实现。
其中，灰度级
j中像素出现的概率公式为:
p(j) = n(j) / n ,{j|0,1,...,L - 1}；
其中：
n(j)表示灰度级
j出现的次数，
L是待分析图片中所有的灰度数，
p是待分析图片各个灰度级中像素出现的概率，数值为0~1范围内，如果把
c作为对应
p的累计概率函数，则定义为：
；
即为累计归一化直方图。
在上述实现过程中，对概率数据进行直方图归一化处理，使得概率数据更能体现灰度级像素的分布情况，有利于提高累计归一化直方图的准确性。
采用直方图均衡化，把待分析图片的直方图变换为均匀分布的形式，增加了像素灰度值的动态范围，从而增强图像的整体对比度效果。
本申请实施例将待分析图片中的每个点x经过上述处理后，都生产一个值y，y即为顶点坐标。
在S3中，进行图片ROIPooling尺寸归一化处理。ROIPooling尺寸归一化处理可以将上步骤得到待分析图片中需要检测的多边形的顶点坐标变成统一缩放到416 * 416的尺寸、顶点数*1*2维的矩阵。
在S4中，本申请实施例的目标检测模型基于深度学习算法，可以对包含多个路段、多个视频点、大内存的视频录像进行学习、训练，使得目标检测模型能够更准确识别高速路段的目标车辆。
目标检测模型采用卷积神经网络模型，包括主干网络Focus结构、CSP结构和Neck网络FPN+PAN结构；目标检测算法的损失函数一般由 Classificition Loss（分类损失函数）以及Bounding Box Regeression Loss（回归损失函数）两大部分组成。计算IOU_Loss：
；
其中，预测框和真实框的交集为A，并集为B，IOU定义为交集A除以并集B，预测框和真实框的最小外接矩形为集合C，差集定义为集合C和并集B的差，并进一步计算GIOU_Loss：
；
在本申请实施中，根据上述神经网络模型进行算法训练，其中，训练数据集包含了20个路段、80个视频点的视频录像，训练后的目标检测模型能够更准确识别高速路段的车辆对象。
进一步地，S5包括：
根据跟踪链ID获得目标车辆的所述车辆特征；
提取车辆特征中的车牌信息；
判断车牌信息是否识别成功；
若是，将目标车辆的车辆识别框的坐标作为目标车辆的初始车辆轨迹点；
根据初始车辆轨迹点获得车辆轨迹点。
在上述实现过程中，先识别车牌信息，可以直接、便捷地获取到车辆的主要信息，有利于后续判别目标车辆的轨迹，得到初始车辆轨迹点，使得得到的车辆轨迹点更加准确。
本申请实施例中，将s3中的尺寸归一化后得到的图像矩阵，输入到s4中的目标检测模型中，获得跟踪链ID，根据跟踪链ID从缓存数据中查找目标车辆是否已经经过检测，若存在，则获得目标车辆的车辆特征（车型、车身颜色），若不存在进行目标特征检测，并将结果放入缓存数据中。
车辆特征包括：车牌信息（如车牌号码）、车型、车身颜色等。
将提取到的车辆特征中的车牌信息进行识别，若识别率超过阈值（本申请实施例的阈值为90%），则认为车牌信息识别成功，输出本次的识别到的车牌信息，车牌信息可以是车牌号码。
进一步地，判断车牌信息是否识别成功，需要同一跟踪链ID识别的车牌信息一致的次数超过3次，才认定输出的车牌号码作为目标车辆特征的车牌号码，否则，输出空值。
进一步地，根据初始车辆轨迹点获得车辆轨迹点的步骤，包括：
对初始车辆轨迹点进行轨迹预处理，得到车辆轨迹点坐标；
根据车辆轨迹点坐标获得车辆轨迹点。
在上述实现过程中，对初始车辆轨迹点进行轨迹预处理，得到车辆轨迹点坐标，可以更加明确地表达目标车辆的行动轨迹，便于后续对目标车辆进行行为分析。
车辆特征包括：车牌信息（如车牌号码）、车型、车身颜色等，根据车牌号码的图像位置，以区域计算中心点，作为车辆目标的车辆轨迹点，一并存入车辆缓冲对列。
由于车辆行驶在视频中由远及近，并且带有角度等因素，若采用目标识别框的中心点作为目标轨迹点，对于后续的行为判别效果非常差，此处优化了车辆轨迹点的计算方式，分为两种情况：
若车牌识别成功，取车牌的坐标；若车牌未识别成功，取识别框坐标，由于目标跟踪过程中可能伴随有遮挡、误跟及远近造成的投影变化等，获取的轨迹时不确定是否完整，并且存在许多噪声，因此，有必要对得到的初始车辆轨迹点进行预处理。
本申请实施例中，将目标车辆的车辆识别框的坐标作为目标车辆的初始车辆轨迹点，具体地，将待分析图片的左下角顶点作为原点建立坐标系，并分别标注车辆识别框的四个顶点坐标A（a，c）、B（b，c）、C（b，d）、D（a，d），将车辆识别框中的点（（b-a）/2，（c-d）/3）作为初始车辆轨迹点。
本申请实施例采用均值滤波的方法进行轨迹预处理，每隔 15 帧取一个初始车辆轨迹点的平均值作为车辆轨迹点：
；
其中 ，p［i］代表第 i 帧初始车辆轨迹点的坐标值，p［n］为每 5 个 p［i］点的均值平滑后的中心点坐标值，N 为正整数。
因此，由于目标车辆处于不断运行的过程中，利用上述方法可以获得多个车辆轨迹点，多个车辆轨迹点可以组成目标车辆的行驶轨迹线。
进一步地，预先构建的分析基础库的步骤，包括：
构建初始分析基础库；
对初始分析基础库进行数字模型量化，得到分析基础库，数字模型量化的量化参数包括轨迹坐标量、轨迹角度量、轨迹路径量。
在上述实现过程中，根据轨迹坐标量、轨迹角度量、轨迹路径量构建分析基础库，更加准确地描述车辆运动轨迹的长度及方向，使得数字模型量化，得到的分析结果更加准确。
持续地将新一帧图像数据与上一帧数据对比，以车牌号码为索引, 合并图像对列中的轨迹点、车辆特征，并存入行为分析基础库。
为了更加准确地描述车辆运动轨迹的长度及方向，对行为分析基础库进行数字模型量化，定义轨迹坐标量、轨迹角度量、轨迹路径量三个量化参数。
本申请实施例也可以将每辆危险车辆的路线轨迹进行回溯分析，实现高速运营方对危险车辆行为进行检测跟踪，达到提高运营能力的效果。
实施例二
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种车辆的行为分析装置，如图2所示，该装置包括：
获取模块1，用于获取包含车辆的待分析图片；
直方图均衡处理模块2，用于对待分析图片进行直方图均衡处理，得到顶点坐标；
数据获得模块3，用于根据顶点坐标获得图像矩阵；还用于根据跟踪链ID获得目标车辆的车辆特征和车辆轨迹点；
生成模块4，用于将图像矩阵输入预先构建的目标检测模型进行目标识别，生成跟踪链ID；
行为分析模块5，用于将车辆特征和车辆轨迹点输入预先构建的分析基础库进行行为分析，得到分析结果。
在上述实现过程中，通过对待分析图片进行直方图均衡处理，再经过目标检测模型进行训练后得到跟踪链ID，根据跟踪链ID得到车辆特征和车辆轨迹点，并进行行为分析，可以提高对车辆行为分析的准确率和效率，有效识别图片中目标车辆的行为，减少对空间资源的占用，降低成本。
进一步地，直方图均衡处理模块2还用于：
计算待分析图片中各个灰度级像素出现的概率，得到概率数据；
对概率数据进行直方图归一化处理，得到累计归一化直方图；
对累计归一化直方图进行线性化处理，得到顶点坐标。
在上述实现过程中，对待分析图片进行直方图均衡处理，可以使得图片中的像素分布更加均衡，并且增加了像素灰度值的动态范围，提高待分析图片的可用性。
进一步地，直方图均衡处理模块2还用于：
构建线性变化形式；
根据线性变化形式对累计归一化直方图中的每个点进行线性化处理，得到顶点坐标。
在上述实现过程中，根据线性变化形式对累计归一化直方图中的点进行线性化处理，使得顶点坐标的分布更加直观，便于对顶点坐标进行线性处理。
进一步地，直方图均衡处理模块2还用于根据以下公式对概率数据进行直方图归一化处理，得到累计归一化直方图：
；
其中，
i表示每个像素点，为累计归一化直方图，
j表示图像中灰度级，为灰度级
j中像素出现的概率。
在上述实现过程中，对概率数据进行直方图归一化处理，使得概率数据更能体现灰度级像素的分布情况，有利于提高累计归一化直方图的准确性。
进一步地，行为分析模块5还用于：
根据跟踪链ID获得目标车辆的所述车辆特征；
提取车辆特征中的车牌信息；
判断车牌信息是否识别成功；
若是，将目标车辆的车辆识别框的坐标作为目标车辆的初始车辆轨迹点；
根据初始车辆轨迹点获得车辆轨迹点。
在上述实现过程中，先识别车牌信息，可以直接、便捷地获取到车辆的主要信息，有利于后续判别目标车辆的轨迹，得到初始车辆轨迹点，使得得到的车辆轨迹点更加准确。
进一步地，行为分析模块5还用于：
对初始车辆轨迹点进行轨迹预处理，得到车辆轨迹点坐标；
根据车辆轨迹点坐标获得车辆轨迹点。
在上述实现过程中，对初始车辆轨迹点进行轨迹预处理，得到车辆轨迹点坐标，可以更加明确地表达目标车辆的行动轨迹，便于后续对目标车辆进行行为分析。
进一步地，该装置还包括构建模块，用于：
构建初始分析基础库；
对初始分析基础库进行数字模型量化，得到分析基础库，数字模型量化的量化参数包括轨迹坐标量、轨迹角度量、轨迹路径量。
在上述实现过程中，根据轨迹坐标量、轨迹角度量、轨迹路径量构建分析基础库，更加准确地描述车辆运动轨迹的长度及方向，使得数字模型量化，得到的分析结果更加准确。
上述的车辆的行为分析装置可实施上述实施例一的方法。上述实施例一中的可选项也适用于本实施例，这里不再详述。
本申请实施例的其余内容可参照上述实施例一的内容，在本实施例中，不再进行赘述。
实施例三
本申请实施例提供一种电子设备，包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一的车辆的行为分析方法。
可选地，上述电子设备可以是服务器。
请参见图3，图3为本申请实施例提供的电子设备的结构组成示意图。该电子设备可以包括处理器31、通信接口32、存储器33和至少一个通信总线34。其中，通信总线34用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口32用于与其他节点设备进行信令或数据的通信。处理器31可以是一种集成电路芯片，具有信号的处理能力。
上述的处理器31可以是通用处理器，包括中央处理器（Central ProcessingUnit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。
存储器33可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-Only Memory，PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-Only Memory，EEPROM）等。存储器33中存储有计算机可读取指令，当计算机可读取指令由所述处理器31执行时，设备可以执行上述图1方法实施例涉及的各个步骤。
可选地，电子设备还可以包括存储控制器、输入输出单元。存储器33、存储控制器、处理器31、外设接口、输入输出单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线34实现电性连接。处理器31用于执行存储器33中存储的可执行模块，例如设备包括的软件功能模块或计算机程序。
输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。输入输出单元可以是，但不限于，鼠标和键盘等。
可以理解，图3所示的结构仅为示意，电子设备还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。
另外，本申请实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的车辆的行为分析方法。
本申请实施例还提供一种计算机程序产品，该计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围值，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围值之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围值并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围值内，可轻易想到变化或替换，都应涵盖在本申请的保护范围值之内。因此，本申请的保护范围值应所述以权利要求的保护范围值为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种车辆的行为分析方法，其特征在于，所述方法包括：
获取包含所述车辆的待分析图片；
对所述待分析图片进行直方图均衡处理，得到顶点坐标；
根据所述顶点坐标获得图像矩阵；
将所述图像矩阵输入预先构建的目标检测模型进行目标识别，生成跟踪链ID；
根据所述跟踪链ID获得目标车辆的车辆特征和车辆轨迹点；
将所述车辆特征和所述车辆轨迹点输入预先构建的分析基础库进行行为分析，得到分析结果。
2.根据权利要求1所述的车辆的行为分析方法，其特征在于，所述对所述待分析图片进行直方图均衡处理，得到顶点坐标的步骤，包括：
计算所述待分析图片中各个灰度级像素出现的概率，得到概率数据；
对所述概率数据进行直方图归一化处理，得到累计归一化直方图；
对所述累计归一化直方图进行线性化处理，得到所述顶点坐标。
3.根据权利要求2所述的车辆的行为分析方法，其特征在于，所述对所述累计归一化直方图进行线性化处理，得到所述顶点坐标的步骤，包括：
构建线性变化形式；
根据所述线性变化形式对所述累计归一化直方图中的每个点进行线性化处理，得到所述顶点坐标。
4.根据权利要求2所述的车辆的行为分析方法，其特征在于，根据以下公式对所述概率数据进行直方图归一化处理，得到累计归一化直方图：
；
其中，i表示每个像素点，为累计归一化直方图，j表示图像中灰度级，为灰度级j中像素出现的概率。
5.根据权利要求1所述的车辆的行为分析方法，其特征在于，所述根据所述跟踪链ID获得目标车辆的车辆特征和车辆轨迹点的步骤，包括：
根据所述跟踪链ID获得所述目标车辆的所述车辆特征；
提取所述车辆特征中的车牌信息；
判断所述车牌信息是否识别成功；
若是，将所述车牌信息对应的车牌坐标作为所述目标车辆的初始车辆轨迹点；
若否，将所述目标车辆的车辆识别框的坐标作为所述目标车辆的初始车辆轨迹点；
根据所述初始车辆轨迹点获得所述车辆轨迹点。
6.根据权利要求5所述的车辆的行为分析方法，其特征在于，所述根据所述初始车辆轨迹点获得所述车辆轨迹点的步骤，包括：
对所述初始车辆轨迹点进行轨迹预处理，得到车辆轨迹点坐标；
根据所述车辆轨迹点坐标获得所述车辆轨迹点。
7.据权利要求1所述的车辆的行为分析方法，其特征在于，预先构建的分析基础库的步骤，包括：
构建初始分析基础库；
对所述初始分析基础库进行数字模型量化，得到所述分析基础库，所述数字模型量化的量化参数包括轨迹坐标量、轨迹角度量、轨迹路径量。
8.一种车辆的行为分析装置，其特征在于，所述装置包括：
获取模块，用于获取包含车辆的待分析图片；
直方图均衡处理模块，用于对所述待分析图片进行直方图均衡处理，得到顶点坐标；
数据获得模块，用于根据所述顶点坐标获得图像矩阵；还用于根据所述跟踪链ID获得目标车辆的车辆特征和车辆轨迹点；
生成模块，用于将所述图像矩阵输入预先构建的目标检测模型进行目标识别，生成跟踪链ID；
行为分析模块，用于将所述车辆特征和所述车辆轨迹点输入预先构建的分析基础库进行行为分析，得到分析结果。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至7中任一项所述的车辆的行为分析方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的车辆的行为分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310203508.0A CN116071688A (zh) | 2023-03-06 | 2023-03-06 | 一种车辆的行为分析方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310203508.0A CN116071688A (zh) | 2023-03-06 | 2023-03-06 | 一种车辆的行为分析方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116071688A true CN116071688A (zh) | 2023-05-05 |
Family
ID=86182098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310203508.0A Pending CN116071688A (zh) | 2023-03-06 | 2023-03-06 | 一种车辆的行为分析方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116071688A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103778786A (zh) * | 2013-12-17 | 2014-05-07 | 东莞中国科学院云计算产业技术创新与育成中心 | 一种基于显著车辆部件模型的交通违章检测方法 |
| CN104156963A (zh) * | 2014-08-12 | 2014-11-19 | 中山大学 | 一种电气火灾熔痕物证的自动鉴定方法 |
| CN105632175A (zh) * | 2016-01-08 | 2016-06-01 | 上海微锐智能科技有限公司 | 车辆行为分析方法及系统 |
| CN106875424A (zh) * | 2017-01-16 | 2017-06-20 | 西北工业大学 | 一种基于机器视觉的城市环境行驶车辆行为识别方法 |
| CN107767353A (zh) * | 2017-12-04 | 2018-03-06 | 河南工业大学 | 一种基于清晰度评价的自适应图像去雾方法 |
| CN108335489A (zh) * | 2018-03-11 | 2018-07-27 | 西安电子科技大学 | 高速公路车辆行为语义分析及异常行为监控系统及方法 |
| CN110178167A (zh) * | 2018-06-27 | 2019-08-27 | 潍坊学院 | 基于摄像机协同接力的路口违章视频识别方法 |
| CN111105437A (zh) * | 2018-10-29 | 2020-05-05 | 西安宇视信息科技有限公司 | 车辆轨迹异常判断方法及装置 |
| CN112270244A (zh) * | 2020-10-23 | 2021-01-26 | 平安科技（深圳）有限公司 | 目标物违规监控方法、装置、电子设备及存储介质 |
| CN114332708A (zh) * | 2021-12-29 | 2022-04-12 | 深圳市商汤科技有限公司 | 交通行为检测方法、装置、电子设备及存储介质 |
| CN114419552A (zh) * | 2022-01-18 | 2022-04-29 | 青岛文达通科技股份有限公司 | 基于目标检测的违章车辆追踪方法及系统 |
| CN114898326A (zh) * | 2022-03-11 | 2022-08-12 | 武汉理工大学 | 基于深度学习的单行道车辆逆行检测方法、系统及设备 |
| CN115100240A (zh) * | 2022-06-20 | 2022-09-23 | 中国工商银行股份有限公司 | 视频中的物体追踪方法及装置、电子设备、存储介质 |
| CN115331180A (zh) * | 2022-07-07 | 2022-11-11 | 北京智芯原动科技有限公司 | 一种滞留车辆监控方法及装置 |
-
2023
- 2023-03-06 CN CN202310203508.0A patent/CN116071688A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103778786A (zh) * | 2013-12-17 | 2014-05-07 | 东莞中国科学院云计算产业技术创新与育成中心 | 一种基于显著车辆部件模型的交通违章检测方法 |
| CN104156963A (zh) * | 2014-08-12 | 2014-11-19 | 中山大学 | 一种电气火灾熔痕物证的自动鉴定方法 |
| CN105632175A (zh) * | 2016-01-08 | 2016-06-01 | 上海微锐智能科技有限公司 | 车辆行为分析方法及系统 |
| CN106875424A (zh) * | 2017-01-16 | 2017-06-20 | 西北工业大学 | 一种基于机器视觉的城市环境行驶车辆行为识别方法 |
| CN107767353A (zh) * | 2017-12-04 | 2018-03-06 | 河南工业大学 | 一种基于清晰度评价的自适应图像去雾方法 |
| CN108335489A (zh) * | 2018-03-11 | 2018-07-27 | 西安电子科技大学 | 高速公路车辆行为语义分析及异常行为监控系统及方法 |
| CN110178167A (zh) * | 2018-06-27 | 2019-08-27 | 潍坊学院 | 基于摄像机协同接力的路口违章视频识别方法 |
| WO2020000251A1 (zh) * | 2018-06-27 | 2020-01-02 | 潍坊学院 | 基于摄像机协同接力的路口违章视频识别方法 |
| CN111105437A (zh) * | 2018-10-29 | 2020-05-05 | 西安宇视信息科技有限公司 | 车辆轨迹异常判断方法及装置 |
| CN112270244A (zh) * | 2020-10-23 | 2021-01-26 | 平安科技（深圳）有限公司 | 目标物违规监控方法、装置、电子设备及存储介质 |
| CN114332708A (zh) * | 2021-12-29 | 2022-04-12 | 深圳市商汤科技有限公司 | 交通行为检测方法、装置、电子设备及存储介质 |
| CN114419552A (zh) * | 2022-01-18 | 2022-04-29 | 青岛文达通科技股份有限公司 | 基于目标检测的违章车辆追踪方法及系统 |
| CN114898326A (zh) * | 2022-03-11 | 2022-08-12 | 武汉理工大学 | 基于深度学习的单行道车辆逆行检测方法、系统及设备 |
| CN115100240A (zh) * | 2022-06-20 | 2022-09-23 | 中国工商银行股份有限公司 | 视频中的物体追踪方法及装置、电子设备、存储介质 |
| CN115331180A (zh) * | 2022-07-07 | 2022-11-11 | 北京智芯原动科技有限公司 | 一种滞留车辆监控方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 赵有婷;李熙莹;罗东华;: "基于视频车辆轨迹模型的交通事件自动检测方法研究", 中山大学学报(自然科学版), no. 04, pages 56 - 60 * |
| 韩志艳著: "面向语音与面部表情信号的多模式情感识别技术研究", 沈阳：东北大学出版社, pages: 54 - 56 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pramanik et al. | A real-time video surveillance system for traffic pre-events detection | |
| CN106599792B (zh) | 一种手部驾驶违规行为的检测方法 | |
| WO2021051601A1 (zh) | 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质 | |
| US9014432B2 (en) | License plate character segmentation using likelihood maximization | |
| Lin et al. | Helmet use detection of tracked motorcycles using cnn-based multi-task learning | |
| Faro et al. | Adaptive background modeling integrated with luminosity sensors and occlusion processing for reliable vehicle detection | |
| US9477892B2 (en) | Efficient method of offline training a special-type parked vehicle detector for video-based on-street parking occupancy detection systems | |
| CN107992819B (zh) | 一种车辆属性结构化特征的确定方法与装置 | |
| CN108694399B (zh) | 车牌识别方法、装置及系统 | |
| CN106683073B (zh) | 一种车牌的检测方法及摄像机和服务器 | |
| Yogameena et al. | Deep learning‐based helmet wear analysis of a motorcycle rider for intelligent surveillance system | |
| Bedruz et al. | Real-time vehicle detection and tracking using a mean-shift based blob analysis and tracking approach | |
| Azad et al. | New method for optimization of license plate recognition system with use of edge detection and connected component | |
| CN113160575A (zh) | 一种非机动车辆及驾驶人的交通违法行为检测方法及系统 | |
| CN111832461A (zh) | 一种基于视频流的非机动车骑行人员头盔佩戴检测方法 | |
| CN115861383B (zh) | 一种拥挤空间下多信息融合的行人轨迹预测装置及方法 | |
| CN107578011A (zh) | 视频关键帧的判定方法及装置 | |
| CN111985269A (zh) | 检测模型构建方法、检测方法、装置、服务器及介质 | |
| CN115512315B (zh) | 一种非机动车儿童搭乘检测方法、电子设备及存储介质 | |
| de Almeida et al. | Vehicle Occurrence-based Parking Space Detection | |
| CN111242051A (zh) | 一种车辆识别优化方法、装置及存储介质 | |
| CN112149596A (zh) | 一种异常行为检测方法、终端设备及存储介质 | |
| CN116152758A (zh) | 一种智能实时事故检测及车辆跟踪方法 | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| CN116071688A (zh) | 一种车辆的行为分析方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230505 |