CN115631472A - 一种高速公路行人闯入智能检测方法 - Google Patents

一种高速公路行人闯入智能检测方法 Download PDF

Info

Publication number
CN115631472A
CN115631472A CN202211628958.6A CN202211628958A CN115631472A CN 115631472 A CN115631472 A CN 115631472A CN 202211628958 A CN202211628958 A CN 202211628958A CN 115631472 A CN115631472 A CN 115631472A
Authority
CN
China
Prior art keywords
key point
point
chain sequence
category
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211628958.6A
Other languages
English (en)
Other versions
CN115631472B (zh
Inventor
康传刚
常志宏
崔建
马晓刚
李镇
谷金
王健
郭子英
王际涛
李永建
周雷
任栋
谷丽蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Hi Speed Co Ltd
Original Assignee
Shandong Hi Speed Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Hi Speed Co Ltd filed Critical Shandong Hi Speed Co Ltd
Priority to CN202211628958.6A priority Critical patent/CN115631472B/zh
Publication of CN115631472A publication Critical patent/CN115631472A/zh
Application granted granted Critical
Publication of CN115631472B publication Critical patent/CN115631472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域,提出了一种高速公路行人闯入智能检测方法,包括:获取高速公路实时图像及作为训练数据集的历史高速公路视频数据;对训练数据集中的每张初始图像进行多次下采样,并对初始图像及采样后的图像进行关键点检测;根据下采样过程对应关系关键点的极值性表现及变化,获取每张初始图像中每个起始关键点的参考性;根据起始关键点的位置关系及参考性,获取起始关键点所述目标的标准差参数;根据训练数据集和标准差参数对目标检测网络进行训练,将实时图像输入到目标检测网络获取图像中的目标框,完成对行人闯入的检测。本发明旨在解决现有的目标检测网络对不同远近距离的目标采用相同标准差进行检测的问题。

Description

一种高速公路行人闯入智能检测方法
技术领域
本发明涉及图像处理技术领域,具体涉及一种高速公路行人闯入智能检测方法。
背景技术
生活中会出现高速公路闯入行人的意外状况,不仅给行人本身带来极大的危险,也影响了高速公路上同行的各种车辆,甚至引发重大交通事故;现有的方法可以通过高速公路上的摄像头对路况进行实时监控,并通过目标检测网络对异常闯入目标进行检测,进而通过云端信息传输附近工作人员前去处理。而现有的目标检测网络中,对不同远近距离的目标采用相同标准差进行目标中心点的标注,导致仅对某个尺度下的异常闯入目标检测效果较好;由于高速公路上车辆行驶速度很快,对异常闯入行人十分危险,需要一种可以对不同距离尺度下的行人快速检测的方法。
发明内容
本发明提供一种高速公路行人闯入智能检测方法,以解决现有的目标检测网络对不同远近距离的目标采用相同标准差进行检测的问题,所采用的技术方案具体如下:
本发明一个实施例提供了一种高速公路行人闯入智能检测方法,该方法包括以下步骤:
获取历史高速公路视频数据作为训练数据集;
对训练数据集中每张初始图像进行若干次下采样,获取初始图像及采样后的图像中每张图像的第一关键点,将初始图像的第一关键点记为起始关键点;
根据第一关键点与八邻域像素点的像素值获取每个第一关键点的极值性,根据同一张初始图像下采样的对应关系获取每张初始图像上每个起始关键点的第一对应链序列,根据第一对应链序列和每个第一关键点的极值性获取若干第二极值序列,根据第二极值序列中相邻元素的极值性差异获取每个元素的差值率,根据差值率的大小获取每个第二极值序列对应的第一对应链序列的转折点;
根据每个第一对应链序列的转折点,获取每个起始关键点的第三采样链序列,根据同一张初始图像上每个第三采样链序列的元素数量及每个第一对应链序列中各第一关键点的极值性,获取每个起始关键点的参考性;
根据同一张初始图像中每个起始关键点的位置关系获取若干第一类别,并分别得到每个第一类别的中心点,根据同一第一类别中的起始关键点的参考性进行多阈值分割获取若干第二类别,对每个第二类别中的起始关键点与所属第一类别的中心点连线获取每个起始关键点的方向值,对方向值进行聚类得到若干第三类别,根据每个第二类别中起始关键点的参考性均值和每个第二类别中的第三类别数量获取每个第一类别的分布性,根据每个第一类别的分布性获取目标检测网络的标准差参数;
根据训练数据集和标准差参数对目标检测网络进行训练,并完成对行人闯入的目标检测。
可选的,所述每张图像的第一关键点,具体的获取方法为:
获取每张图像的Hessian矩阵,将Hessian矩阵为正定矩阵或负定矩阵时的临界点对应的像素点作为对应图像的原始关键点,将不存在于采样图像中目标边缘处的原始关键点删除,得到每张图像的第一关键点。
可选的,所述获取每个第一关键点的极值性,包括的具体方法为:
当第一关键点对应Hessian矩阵为正定矩阵时,第一关键点为局部极大点,极值性的计算方法为:
Figure 789884DEST_PATH_IMAGE001
其中,
Figure 792606DEST_PATH_IMAGE002
表示第
Figure 223588DEST_PATH_IMAGE003
个第一关键点的极值性,8表示第
Figure 586436DEST_PATH_IMAGE003
个第一关键点八邻域像素点的 数量,
Figure 205548DEST_PATH_IMAGE004
表示第
Figure 628439DEST_PATH_IMAGE003
个第一关键点的像素值,
Figure 563028DEST_PATH_IMAGE005
表示第
Figure 729567DEST_PATH_IMAGE003
个第一关键点的第
Figure 197327DEST_PATH_IMAGE006
个邻域像素点的 像素值;
当第一关键点对应的Hessian矩阵为负定矩阵式,第一关键点为局部极小点,极值性的计算方法为:
Figure 56698DEST_PATH_IMAGE007
其中,
Figure 478583DEST_PATH_IMAGE002
表示第
Figure 714393DEST_PATH_IMAGE003
个第一关键点的极值性,8表示第
Figure 36658DEST_PATH_IMAGE003
个第一关键点八邻域像素点的 数量,
Figure 66931DEST_PATH_IMAGE004
表示第
Figure 710533DEST_PATH_IMAGE003
个第一关键点的像素值,
Figure 484454DEST_PATH_IMAGE005
表示第
Figure 661227DEST_PATH_IMAGE003
个第一关键点的第
Figure 596822DEST_PATH_IMAGE006
个邻域像素点的 像素值,
Figure 976987DEST_PATH_IMAGE008
表示以自然常数为底的指数函数。
可选的,所述获取每个元素的差值率,包括的具体方法为:
Figure 39752DEST_PATH_IMAGE009
其中,
Figure 556184DEST_PATH_IMAGE010
表示任意一个第二极值序列中第
Figure 662681DEST_PATH_IMAGE011
个元素的差值率,
Figure 796988DEST_PATH_IMAGE012
表示第
Figure 647133DEST_PATH_IMAGE011
个元素 的值,为极值性值,
Figure 299962DEST_PATH_IMAGE013
表示第
Figure 842939DEST_PATH_IMAGE014
个元素的值。
可选的,所述第一对应链序列的转折点,具体的获取方法为:
获取每个第二极值序列中每个元素的差值率,将每个第二极值序列中第一个差值率小于第一预设阈值的元素对应的第一关键点作为第一对应链序列的转折点,所述第一对应链序列与第二极值序列为一一对应关系。
可选的,所述获取每个起始关键点的第三采样链序列,包括的具体方法为:
根据每个第一对应链序列的转折点对第一对应链序列进行分割,转折点及之前的第一对应链序列中的元素不改变顺序组成第三采样链序列,所述每个第一对应链序列分别对应一个起始关键点,则每个第三采样链序列分别对应一个起始关键点。
可选的,所述获取每个起始关键点的参考性,包括的具体方法为:
Figure 446964DEST_PATH_IMAGE015
其中,
Figure 835220DEST_PATH_IMAGE016
表示任意一张初始图像中第
Figure 326245DEST_PATH_IMAGE017
个起始关键点的参考性,
Figure 790855DEST_PATH_IMAGE018
表示第
Figure 367330DEST_PATH_IMAGE017
个起始 关键点的第三采样链序列中所有元素的极值性均值,
Figure 559277DEST_PATH_IMAGE019
表示第
Figure 950813DEST_PATH_IMAGE017
个起始关键点的第三采样 链序列的元素数量,
Figure 570013DEST_PATH_IMAGE020
表示该张初始图像中所有起始关键点的第三采样链序列的元素数量 最小值,
Figure 650096DEST_PATH_IMAGE021
表示第
Figure 645733DEST_PATH_IMAGE017
个起始关键点的第三采样链序列中第1个元素的极值性,
Figure 891776DEST_PATH_IMAGE022
表示第
Figure 947456DEST_PATH_IMAGE017
个起始关键点的第三采样链序列中第
Figure 249256DEST_PATH_IMAGE020
个元素的极值性。
可选的,所述获取若干第一类别,并分别得到每个第一类别的中心点,包括的具体方法为:
根据起始关键点在同一张图像中存在的目标边缘处对应的目标,将起始关键点划分为若干第一类别,同一个第一类别中的起始关键点存在于同一目标边缘处;根据每个第一类别中起始关键点的位置获取每个第一类别的中心,记为每个第一类别的中心点。
可选的,所述获取每个第一类别的分布性,包括的具体方法为:
Figure 783005DEST_PATH_IMAGE023
其中,
Figure 358255DEST_PATH_IMAGE024
表示任意一张初始图像中的第
Figure 584837DEST_PATH_IMAGE025
个第一类别的分布性,
Figure 623200DEST_PATH_IMAGE026
表示第
Figure 711373DEST_PATH_IMAGE025
个第 一类别中的第二类别数量,
Figure 151582DEST_PATH_IMAGE027
表示第
Figure 798333DEST_PATH_IMAGE025
个第一类别中第
Figure 323992DEST_PATH_IMAGE028
个第二类别中第三类别的数量,
Figure 215856DEST_PATH_IMAGE029
表示第
Figure 510571DEST_PATH_IMAGE025
个第一类别中第
Figure 78956DEST_PATH_IMAGE028
个第二类别中所有起始关键点的参考性均值。
本发明相较于现有技术的有益效果是:通过在标注过程中进行改进,而不是对神经网络进行改进,避免了由于网络的改进导致计算量增加,进而导致不能及时检测到行人,发生危险;通过计算每个目标的边缘关键点的变化和分布对每个目标采用不同的标准差参数进行目标检测网络中训练集的标注,可以有效提高网络对不同距离尺度下的目标的识别精度;在计算边缘关键点分布时,通过多阈值分割方法将相近参考性的关键点作为一个类别,每个类别分别计算分布均匀性,然后进行加权求和,避免了图像中的微小差异带来的影响,同时可以使得目标识别框更加符合每个目标的不同姿态,提高识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的一个实施例所提供一种高速公路行人闯入智能检测方法的流程示意图;
图2为下采样过程像素点对应关系示例图;
图3为方向坐标系的简化示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,其示出了本发明一个实施例所提供的一种高速公路行人闯入智能检测方法流程图,该方法包括以下步骤:
步骤S001、获取高速公路实时图像及作为训练数据集的历史高速公路视频数据。
本实施例的目的是对高速公路上的闯入行人进行检测,因此需要先采集过往的高速公路监控摄像头采集到的视频,记为历史高速公路视频数据,并将视频中的每帧图像作为目标检测网络的训练数据集对网络进行训练,再将高速公路摄像头采集的实时图像输入到训练好的目标检测网络中进行目标检测,因此还需要获取高速公路实时图像来进行目标检测;需要说明的是,所述目标检测网络采用CenterNet网络结构。
步骤S002、对训练数据集中的每张初始图像进行多次下采样,并对初始图像及采样后的图像进行关键点检测。
需要说明的是,CenterNet网络采用heatmap(热力图)作为标注,即每个heatmap的每个目标的中心点区域都有一个高斯核函数,但对同一张图像上的不同目标均采用相同的标准差,导致图像中存在多个尺度的目标是,无法达成对多个目标的识别精度均较高的效果;而通过对图像多次下采样图像中关键点的变化过程进行分析,其可以反映不同目标的尺度信息,有助于对标准差进行调节从而适应不同尺度的目标进行检测。
具体的,对训练数据集中的每张初始图像进行下采样,采样参数的设置为:
(1)利用2*2的窗口进行滑窗,采用均值池化,步长为1的方法得到采样后的值;
(2)采样停止条件:采样50次后停止。
通过多次采样获得每张初始图像的多次下采样图像,一张初始图像及其所有下采样图像记为一个图像组,对每个图像组进行关键点检测;需要说明的是,所述关键点检测利用Hessian矩阵的方法来获取每个图像组中每张图像的关键点。
具体的,获取每张图像的Hessian矩阵,对于Hessian矩阵中的临界点有如下结论:
(1)如果是正定矩阵,则临界点处是一个局部极小值;
(2)如果是负定矩阵,则临界点处是一个局部极大值;
(3)如果是不定矩阵,则临界点处不是极值。
其中,所述临界点表示函数的一阶导数为0的驻点,正定矩阵、负定矩阵及不定矩阵的判断为公知技术;将正定矩阵和负定矩阵中临界点对应的图像中像素点作为图像的原始关键点。
进一步的需要说明的是,由于CenterNet网络的目的是对目标进行检测,因此对于提取到的原始关键点中的非目标区域的关键点需要去除;具体的,获取到了初始图像及采样后图像上的若干原始关键点,将不存在于图像边缘处的原始关键点进行删除,保留下来的原始关键点作为每张图像的第一关键点,此过程采用人工标注,特殊的,每张初始图像上的第一关键点记为起始关键点;需要说明的是,后续计算第一关键点的相关参数及特性过程中,均包括起始关键点的计算,即起始关键点仍属于第一关键点。
步骤S003、根据第一关键点的极值性表现,获取每个起始关键点的参考性。
需要说明的是,下采样过程中,起始关键点与相同图像组的第一关键点均具有对应关系,可视作一组关键点,同一组关键点的极值性越大,这一组中的起始关键点在初始图像目标检测过程的重要性越大,即可作为目标的参考性越大;同一组关键点的极值性变化越小,这一组关键点的稳定性越大,作为目标的参考性越大;因此需要先判断第一关键点的极值性,并根据对应关系归入不同组关键点中,再通过各组关键点极值性表现,分析得到每组中的起始关键点作为目标的参考性。
进一步需要说明的是,第一关键点均为局部极值点,因此选择第一关键点与八邻域像素点间像素值的关系来获取第一关键点的极值性;同时需要根据矩阵类型确定第一关键点是局部极大点还是局部极小点,如果是极大点,则极值性为极大性;如果是极小点,则极值性为极小性。
具体的,以第
Figure 75599DEST_PATH_IMAGE003
个第一关键点为例,计算该第一关键点的极值性
Figure 20422DEST_PATH_IMAGE030
的方法为:
当第一关键点对应Hessian矩阵为正定矩阵时,第一关键点为局部极大点,极值性的计算方法为:
Figure 248272DEST_PATH_IMAGE031
其中,
Figure 767984DEST_PATH_IMAGE002
表示第
Figure 2656DEST_PATH_IMAGE003
个第一关键点的极值性,8表示第
Figure 970743DEST_PATH_IMAGE003
个第一关键点八邻域像素点的 数量,
Figure 240050DEST_PATH_IMAGE004
表示第
Figure 415817DEST_PATH_IMAGE003
个第一关键点的像素值,
Figure 381193DEST_PATH_IMAGE005
表示第
Figure 402239DEST_PATH_IMAGE003
个第一关键点的第
Figure 11206DEST_PATH_IMAGE006
个邻域像素点的 像素值;此时,极大值与邻域像素点的差值越大,表示第一关键点相较于邻域像素点的极大 突出表现越强,极值性越大。
当第一关键点对应的Hessian矩阵为负定矩阵式,第一关键点为局部极小点,极值性的计算方法为:
Figure 357874DEST_PATH_IMAGE032
其中,
Figure 567138DEST_PATH_IMAGE002
表示第
Figure 641142DEST_PATH_IMAGE003
个第一关键点的极值性,8表示第
Figure 885042DEST_PATH_IMAGE003
个第一关键点八邻域像素点的 数量,
Figure 622185DEST_PATH_IMAGE004
表示第
Figure 318745DEST_PATH_IMAGE003
个第一关键点的像素值,
Figure 196440DEST_PATH_IMAGE005
表示第
Figure 294846DEST_PATH_IMAGE003
个第一关键点的第
Figure 717737DEST_PATH_IMAGE006
个邻域像素点的 像素值,
Figure 917906DEST_PATH_IMAGE008
表示以自然常数为底的指数函数;需要说明的是,由于第一关键点为局部极 小点,因此极小值与邻域像素点的差值与极小值的比值可能大于1,因此需要利用自然常数 的指数函数进行归一化处理,同时为保证经过指数函数归一化后增减趋势不变,因此采用 均值的倒数,即
Figure 84445DEST_PATH_IMAGE033
来进行表示;本实施例在此处采用自然常数的指数函数来进行归一 化处理,实施者可根据实施情况来选择归一化处理的方式;此时,极小值与领域像素点的差 值越大,表示第一关键点相较于邻域像素点的极小突出表现越强,极值性越大。
请参阅图2,其示出了下采样过程中,图像逐渐变小,相邻两张图像上像素点间的对应关系,其中a1、a2、a3、a4对应下一层采样图像的A1,A1、A2、A3、A4对应下一层采样图像中的A。
进一步的,根据下采样过程中的对应关系,获取同一张初始图像中每个起始关键点在不同采样图像中对应的第一关键点,将对应同一起始关键点的所有第一关键点及起始关键点按照采样获取顺序组成序列,记为第一对应链序列;需要说明的是,同一张初始图像得到的若干第一对应链序列中,除了起始像素点对应的元素之外,其他元素因为下采样缘故均有可能出现重复现象;进一步的,每个第一对应链序列中的元素即是第一关键点,根据第一关键点的极值性获取每个第一对应链序列的第二极值序列,第二极值序列中的元素均为第一关键点的极值性,且按照采样顺序排列。
进一步需要说明的是,对于初始图像中尺度较大,即距离较近的目标来说,采样过程中极值性的存在时间较长,即在多次采样后该目标的边缘关键点均存在,且极值性较大;对于尺度较小,即距离较远的目标来说,在较少次数采样后,该目标的边缘关键点的极值性就已经变得较小甚至在后续采样图像中不再存在;而由于采用均值采样法,采样过程中同一个第一对应链序列的第一关键点的极值性必然逐渐减小,直到极值性几乎不再发生变化;此时,某个起始关键点的极值性在采样过程中从变化较快到几乎不变经过的采样次数越多,起始关键点作为目标的参考性越大;而多次采样后,起始关键点的极值性变化都较小,其作为目标的参考性越大。
具体的,需要获取第二极值序列中每个元素的差值率来反映极值性的变化,以任 意一个第二极值序列中第
Figure 21046DEST_PATH_IMAGE011
个元素为例,其差值率
Figure 880417DEST_PATH_IMAGE010
的计算方法为:
Figure 36723DEST_PATH_IMAGE034
其中,
Figure 6953DEST_PATH_IMAGE012
表示第
Figure 79951DEST_PATH_IMAGE011
个元素的值,为极值性值,
Figure 99772DEST_PATH_IMAGE013
表示第
Figure 992642DEST_PATH_IMAGE014
个元素的值;需要 说明的是,因为同一第二极值序列中极值性是逐渐减小的,则得到的差值率总是正值;此 时,第
Figure 251716DEST_PATH_IMAGE011
个元素对应的极值性与下一个元素对应的极值性差值越大,说明此时相邻元素的极 值性变化越大;按照上述方法计算每个第二极值序列中每个元素的差值率,将每个第二极 值序列中第一个差值率小于第一预设阈值的元素对应的第一关键点,作为对应的第一对应 链序列的转折点,优选的,本实施例给出第一预设阈值
Figure 913641DEST_PATH_IMAGE035
此时,获取了每个第一对应链序列的转折点,转折点之前的元素对应的第一关键点极值性都在逐渐减小,转折点之后的第一关键点极值性几乎不再发生变化;按照转折点分别对每个第一对应链序列进行分割,转折点及之前的第一对应链序列中的元素不改变顺序组成第三采样链序列,由于每个第一对应链序列分别对应一个起始关键点,相应的每个第三采样链序列也分别对应一个起始关键点。
进一步的,根据每个起始关键点的第三采样链序列及其中的第一关键点的极值 性,获取每个起始关键点的参考性,以任意一张初始图像中的第
Figure 114816DEST_PATH_IMAGE017
个起始关键点为例,其参 考性
Figure 744249DEST_PATH_IMAGE016
的计算方法为:
Figure 790702DEST_PATH_IMAGE015
其中,
Figure 323446DEST_PATH_IMAGE018
表示第
Figure 961101DEST_PATH_IMAGE017
个起始关键点的第三采样链序列中所有元素的极值性均值,
Figure 77830DEST_PATH_IMAGE019
表示第
Figure 927974DEST_PATH_IMAGE017
个起始关键点的第三采样链序列的元素数量,
Figure 830071DEST_PATH_IMAGE020
表示该张初始图像中所有起始关 键点的第三采样链序列的元素数量最小值,
Figure 123781DEST_PATH_IMAGE021
表示第
Figure 212959DEST_PATH_IMAGE017
个起始关键点的第三采样链序列 中第1个元素的极值性,
Figure 116062DEST_PATH_IMAGE022
表示第
Figure 138245DEST_PATH_IMAGE017
个起始关键点的第三采样链序列中第
Figure 337276DEST_PATH_IMAGE020
个元素的极值 性;需要说明的是,由于第三采样链序列均由第一对应链序列分割得到,则其中的元素仍为 第一关键点,每个元素分别具有极值性;而选择元素数量最少的第三采样链序列的目的是 对不同起始关键点的变化率进行控制量化,即控制采样次数相同,比较极值性变化差异来 反映起始关键点的变化率,而变化率越大,表明变化率越大,参考性越小,因此采用倒数作 为参考性的参数。
至此,获取了每张初始图像中每个起始关键点的参考性,
Figure 444909DEST_PATH_IMAGE018
越大,第
Figure 434860DEST_PATH_IMAGE017
个起始关键 点及对应的采样图像中的第一关键点极值性越大,参考性越大;
Figure 45970DEST_PATH_IMAGE019
越大,第
Figure 681482DEST_PATH_IMAGE017
个起始关键点 到极值性不再发生变化经历的采样次数越多,参考性越大;起始关键点变化率越小,该关键 点越稳定,作为目标的参考性越大。
步骤S004、根据起始关键点的位置关系及参考性,获取起始关键点对应目标的标准差参数。
需要说明的是,在步骤S002中获取到第一关键点的过程中是利用人工标注存在于目标边缘处的原始关键点为第一关键点,因此得到的属于第一关键点的起始关键点在初始图像上可以根据人工标注分属不同目标,根据每个目标包括的起始关键点的分布关系获取目标的分布均匀程度,例如一个人张开双臂会导致目标的关键点分布不均匀,为了保证目标信息的完整性,需要加强中心点的约束,避免目标中心点移动导致较大的信息损失,即需要赋予中心点及其邻域点较小的权重,相应的标准差参数较小;而关键点分布较为均匀的目标,其中心点可以出现较大移动,即可以赋予中心点及其邻域点较大的权重,相应的标准差参数较大;同时,同一目标的关键点越多,关键点的参考性越大,则目标尺度越大,标准差参数应越大;而关键点越少,关键点的参考性越小,目标尺度越小,标准差参数应相应越小。
具体的,首先对同一张初始图像上的每个起始关键点,根据所属目标划分到多个第一类别中,同一个第一类别中的起始关键点存在于同一个目标的边缘处;并根据同一第一类别中起始关键点的位置分布得到每个第一类别的中心点。
进一步的,将每个第一类别中的每个起始关键点的参考性按照升序排列,得到每个第一类别的参考性序列,通过OTSU多阈值分割将每个参考性序列划分为若干部分,每部分参考性对应的起始关键点归入到一个类别中,记为第二类别,此时每个第一类别中包含若干第二类别;相同第二类别中起始关键点的参考性相近,不同第二类别中起始关键点的参考性相差较大。
请参阅图3,其示出了方向坐标系的简化示意图。
进一步的,对每个第一类别中的起始关键点与对应的中心点进行连线,以起始关键点指向中心点的方向根据图3获取每个起始关键点的方向值,将同一第二类别的起始关键点置于一维坐标系中,坐标为方向值,利用DBSCAN对同一第二类别的起始关键点进行密度聚类,聚类结果为每个第二类别得到若干第三类别;同一第二类别中参考性相近,如果第三类别数量较多,表明参考性相近的起始关键点分布较离散,会导致同一目标的分布均匀程度较小,因此利用第二类别中第三类别数量的倒数来反映同一目标的整体参考性。
具体的,任意一张初始图像中的第一类别即为初始图像中的目标,以某一张初始 图像的第
Figure 10832DEST_PATH_IMAGE025
个第一类别为例,第
Figure 521317DEST_PATH_IMAGE025
个第一类别的分布性
Figure 721354DEST_PATH_IMAGE024
的计算方法为:
Figure 793347DEST_PATH_IMAGE036
其中,
Figure 609993DEST_PATH_IMAGE026
表示第
Figure 658589DEST_PATH_IMAGE025
个第一类别中的第二类别数量,
Figure 244291DEST_PATH_IMAGE027
表示第
Figure 487185DEST_PATH_IMAGE025
个第一类别中第
Figure 525548DEST_PATH_IMAGE028
个第二类别中第三类别的数量,
Figure 377835DEST_PATH_IMAGE029
表示第
Figure 818044DEST_PATH_IMAGE025
个第一类别中第
Figure 949948DEST_PATH_IMAGE028
个第二类别中所有起始关键 点的参考性均值;此时,一个第二类别中的第三类别数量越多,说明相近参考性的关键点越 离散,第一类别的分布均匀程度越小,对应目标的整体分布性越小,标准差参数应越小;第 一类别中包含的起始关键点越多,起始关键点的参考性越大,表明对应目标的尺度越大,目 标整体的分布性越大,标准差参数应越大;按照上述方法计算每张初始图像所有第一类别 的分布性,则得到了每个第一类别对应目标的分布性。
至此,获取了每个目标的分布性,分布性越大,分布性越均匀,目标尺度越大,应赋予中心点及其邻域点越大的权重,对所有分布性进行线性归一化,并与CenterNet网络的默认标准差相乘,得到的乘积作为每个目标的标准差参数。
步骤S005、根据训练数据集和标准差参数对目标检测网络进行训练,将实时图像输入获取图像中的目标框,完成对行人闯入的检测。
根据每个目标的标准差参数对训练数据集中每张初始图像的heatmap进行标注,再对CenterNet网络进行训练得到训练好的目标检测网络,将实时图像输入到训练好的目标检测网络中获取图像中的目标框,再将目标框通过人员识别网络进行行人或工作人员的判断,所述人员识别网络采用DNN语义识别网络,训练过程如下:
(1)训练数据集为高速公路上的闯入行人和工作人员的图像,其中行人有多种样式;
(2)训练集对应标签标注过程为:属于闯入行人标注为1,工作人员标注为0;
(3)网络任务是分类,损失函数为交叉熵函数。
将目标框输入到训练好的DNN语义识别网络中,根据输出的标签判断目标是否为行人,如为闯入行人,及时将信息发送至云端并联系附近的工作人员前去处理,采取相应措施。
需要说明的是,本实施例中所使用的公式可能存在分母等于0的情况,但是本实施例中为了保证公式能够简单的表达本发明的实施意图,没有进行额外处理;但是实施者在具体实施时需要将分子分母同时加1,避免分母等于0的无法实施的情况;具体的分母等于0的方法是数据分析领域经常面临的问题,本实施例不再对其进行额外的详细说明与设计。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种高速公路行人闯入智能检测方法,其特征在于,该方法包括以下步骤:
获取历史高速公路视频数据作为训练数据集;
对训练数据集中每张初始图像进行若干次下采样,获取初始图像及采样后的图像中每张图像的第一关键点,将初始图像的第一关键点记为起始关键点;
根据第一关键点与八邻域像素点的像素值获取每个第一关键点的极值性,根据同一张初始图像下采样的对应关系获取每张初始图像上每个起始关键点的第一对应链序列,根据第一对应链序列和每个第一关键点的极值性获取若干第二极值序列,根据第二极值序列中相邻元素的极值性差异获取每个元素的差值率,根据差值率的大小获取每个第二极值序列对应的第一对应链序列的转折点;
根据每个第一对应链序列的转折点,获取每个起始关键点的第三采样链序列,根据同一张初始图像上每个第三采样链序列的元素数量及每个第一对应链序列中各第一关键点的极值性,获取每个起始关键点的参考性;
根据同一张初始图像中每个起始关键点的位置关系获取若干第一类别,并分别得到每个第一类别的中心点,根据同一第一类别中的起始关键点的参考性进行多阈值分割获取若干第二类别,对每个第二类别中的起始关键点与所属第一类别的中心点连线获取每个起始关键点的方向值,对方向值进行聚类得到若干第三类别,根据每个第二类别中起始关键点的参考性均值和每个第二类别中的第三类别数量获取每个第一类别的分布性,根据每个第一类别的分布性获取目标检测网络的标准差参数;
根据训练数据集和标准差参数对目标检测网络进行训练,并完成对行人闯入的目标检测。
2.根据权利要求1所述的一种高速公路行人闯入智能检测方法,其特征在于,所述每张图像的第一关键点,具体的获取方法为:
获取每张图像的Hessian矩阵,将Hessian矩阵为正定矩阵或负定矩阵时的临界点对应的像素点作为对应图像的原始关键点,将不存在于采样图像中目标边缘处的原始关键点删除,得到每张图像的第一关键点。
3.根据权利要求2所述的一种高速公路行人闯入智能检测方法,其特征在于,所述获取每个第一关键点的极值性,包括的具体方法为:
当第一关键点对应Hessian矩阵为正定矩阵时,第一关键点为局部极大点,极值性的计算方法为:
Figure DEST_PATH_IMAGE001
其中,
Figure 659440DEST_PATH_IMAGE002
表示第
Figure 266001DEST_PATH_IMAGE003
个第一关键点的极值性,8表示第
Figure 977474DEST_PATH_IMAGE003
个第一关键点八邻域像素点的数量,
Figure 200645DEST_PATH_IMAGE004
表示第
Figure 875340DEST_PATH_IMAGE003
个第一关键点的像素值,
Figure 585676DEST_PATH_IMAGE005
表示第
Figure 218783DEST_PATH_IMAGE003
个第一关键点的第
Figure 647359DEST_PATH_IMAGE006
个邻域像素点的像素 值;
当第一关键点对应的Hessian矩阵为负定矩阵式,第一关键点为局部极小点,极值性的计算方法为:
Figure 391324DEST_PATH_IMAGE007
其中,
Figure 238057DEST_PATH_IMAGE002
表示第
Figure 297192DEST_PATH_IMAGE003
个第一关键点的极值性,8表示第
Figure 229376DEST_PATH_IMAGE003
个第一关键点八邻域像素点的数量,
Figure 511453DEST_PATH_IMAGE004
表示第
Figure 461960DEST_PATH_IMAGE003
个第一关键点的像素值,
Figure 171290DEST_PATH_IMAGE005
表示第
Figure 590770DEST_PATH_IMAGE003
个第一关键点的第
Figure 191385DEST_PATH_IMAGE006
个邻域像素点的像素 值,
Figure 747131DEST_PATH_IMAGE008
表示以自然常数为底的指数函数。
4.根据权利要求1所述的一种高速公路行人闯入智能检测方法,其特征在于,所述获取每个元素的差值率,包括的具体方法为:
Figure 892942DEST_PATH_IMAGE009
其中,
Figure 783406DEST_PATH_IMAGE010
表示任意一个第二极值序列中第
Figure DEST_PATH_IMAGE011
个元素的差值率,
Figure 876127DEST_PATH_IMAGE012
表示第
Figure 801227DEST_PATH_IMAGE011
个元素的值, 为极值性值,
Figure 852359DEST_PATH_IMAGE013
表示第
Figure 964541DEST_PATH_IMAGE014
个元素的值。
5.根据权利要求4所述的一种高速公路行人闯入智能检测方法,其特征在于,所述第一对应链序列的转折点,具体的获取方法为:
获取每个第二极值序列中每个元素的差值率,将每个第二极值序列中第一个差值率小于第一预设阈值的元素对应的第一关键点作为第一对应链序列的转折点,所述第一对应链序列与第二极值序列为一一对应关系。
6.根据权利要求1所述的一种高速公路行人闯入智能检测方法,其特征在于,所述获取每个起始关键点的第三采样链序列,包括的具体方法为:
根据每个第一对应链序列的转折点对第一对应链序列进行分割,转折点及之前的第一对应链序列中的元素不改变顺序组成第三采样链序列,所述每个第一对应链序列分别对应一个起始关键点,则每个第三采样链序列分别对应一个起始关键点。
7.根据权利要求1所述的一种高速公路行人闯入智能检测方法,其特征在于,所述获取每个起始关键点的参考性,包括的具体方法为:
Figure 392111DEST_PATH_IMAGE015
其中,
Figure 922449DEST_PATH_IMAGE016
表示任意一张初始图像中第
Figure 659330DEST_PATH_IMAGE017
个起始关键点的参考性,
Figure 275119DEST_PATH_IMAGE018
表示第
Figure 490069DEST_PATH_IMAGE017
个起始关键 点的第三采样链序列中所有元素的极值性均值,
Figure 140493DEST_PATH_IMAGE019
表示第
Figure 799007DEST_PATH_IMAGE017
个起始关键点的第三采样链序 列的元素数量,
Figure 168938DEST_PATH_IMAGE020
表示该张初始图像中所有起始关键点的第三采样链序列的元素数量最小 值,
Figure 938311DEST_PATH_IMAGE021
表示第
Figure 443242DEST_PATH_IMAGE017
个起始关键点的第三采样链序列中第1个元素的极值性,
Figure 521925DEST_PATH_IMAGE022
表示第
Figure 112306DEST_PATH_IMAGE017
个起 始关键点的第三采样链序列中第
Figure 419791DEST_PATH_IMAGE020
个元素的极值性。
8.根据权利要求2所述的一种高速公路行人闯入智能检测方法,其特征在于,所述获取若干第一类别,并分别得到每个第一类别的中心点,包括的具体方法为:
根据起始关键点在同一张图像中存在的目标边缘处对应的目标,将起始关键点划分为若干第一类别,同一个第一类别中的起始关键点存在于同一目标边缘处;根据每个第一类别中起始关键点的位置获取每个第一类别的中心,记为每个第一类别的中心点。
9.根据权利要求1所述的一种高速公路行人闯入智能检测方法,其特征在于,所述获取每个第一类别的分布性,包括的具体方法为:
Figure 28496DEST_PATH_IMAGE023
其中,
Figure 294392DEST_PATH_IMAGE024
表示任意一张初始图像中的第
Figure 106490DEST_PATH_IMAGE025
个第一类别的分布性,
Figure 732512DEST_PATH_IMAGE026
表示第
Figure 946456DEST_PATH_IMAGE025
个第一类别 中的第二类别数量,
Figure DEST_PATH_IMAGE027
表示第
Figure 835784DEST_PATH_IMAGE025
个第一类别中第
Figure 135178DEST_PATH_IMAGE028
个第二类别中第三类别的数量,
Figure 784465DEST_PATH_IMAGE029
表示 第
Figure 367762DEST_PATH_IMAGE025
个第一类别中第
Figure 709882DEST_PATH_IMAGE028
个第二类别中所有起始关键点的参考性均值。
CN202211628958.6A 2022-12-19 2022-12-19 一种高速公路行人闯入智能检测方法 Active CN115631472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211628958.6A CN115631472B (zh) 2022-12-19 2022-12-19 一种高速公路行人闯入智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211628958.6A CN115631472B (zh) 2022-12-19 2022-12-19 一种高速公路行人闯入智能检测方法

Publications (2)

Publication Number Publication Date
CN115631472A true CN115631472A (zh) 2023-01-20
CN115631472B CN115631472B (zh) 2023-03-21

Family

ID=84909986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211628958.6A Active CN115631472B (zh) 2022-12-19 2022-12-19 一种高速公路行人闯入智能检测方法

Country Status (1)

Country Link
CN (1) CN115631472B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563400A (zh) * 2023-07-12 2023-08-08 南通原力云信息技术有限公司 一种小程序图像信息压缩处理方法
CN117456430A (zh) * 2023-12-26 2024-01-26 广州汇豪计算机科技开发有限公司 一种视频识别方法、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110255741A1 (en) * 2010-02-05 2011-10-20 Sang-Hack Jung Method and apparatus for real-time pedestrian detection for urban driving
CN104899559A (zh) * 2015-05-25 2015-09-09 江苏大学 一种基于视频监控的快速行人检测方法
WO2016059643A1 (en) * 2014-10-16 2016-04-21 Kpit Technologies Ltd. System and method for pedestrian detection
WO2019196130A1 (zh) * 2018-04-12 2019-10-17 广州飒特红外股份有限公司 面向车载热成像行人检测的分类器训练方法和装置
CN110555425A (zh) * 2019-09-11 2019-12-10 上海海事大学 一种视频流实时行人检测方法
CN111507237A (zh) * 2020-04-13 2020-08-07 北京巨视科技有限公司 一种应用在高速公路上基于视频的异常事件检测方法与装置
WO2021212736A1 (zh) * 2020-04-23 2021-10-28 苏州浪潮智能科技有限公司 特征融合块、卷积神经网络、行人重识别方法及相关设备
CN114973659A (zh) * 2022-05-12 2022-08-30 山东高速集团有限公司创新研究院 一种高速公路的间接事件检测的方法、装置及系统
CN115311458A (zh) * 2022-10-10 2022-11-08 南京信息工程大学 基于多任务学习的实时高速公路行人闯入事件检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110255741A1 (en) * 2010-02-05 2011-10-20 Sang-Hack Jung Method and apparatus for real-time pedestrian detection for urban driving
WO2016059643A1 (en) * 2014-10-16 2016-04-21 Kpit Technologies Ltd. System and method for pedestrian detection
CN104899559A (zh) * 2015-05-25 2015-09-09 江苏大学 一种基于视频监控的快速行人检测方法
WO2019196130A1 (zh) * 2018-04-12 2019-10-17 广州飒特红外股份有限公司 面向车载热成像行人检测的分类器训练方法和装置
CN110555425A (zh) * 2019-09-11 2019-12-10 上海海事大学 一种视频流实时行人检测方法
CN111507237A (zh) * 2020-04-13 2020-08-07 北京巨视科技有限公司 一种应用在高速公路上基于视频的异常事件检测方法与装置
WO2021212736A1 (zh) * 2020-04-23 2021-10-28 苏州浪潮智能科技有限公司 特征融合块、卷积神经网络、行人重识别方法及相关设备
CN114973659A (zh) * 2022-05-12 2022-08-30 山东高速集团有限公司创新研究院 一种高速公路的间接事件检测的方法、装置及系统
CN115311458A (zh) * 2022-10-10 2022-11-08 南京信息工程大学 基于多任务学习的实时高速公路行人闯入事件检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗会兰;王婵娟;卢飞;: "视频行为识别综述" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563400A (zh) * 2023-07-12 2023-08-08 南通原力云信息技术有限公司 一种小程序图像信息压缩处理方法
CN116563400B (zh) * 2023-07-12 2023-09-05 南通原力云信息技术有限公司 一种小程序图像信息压缩处理方法
CN117456430A (zh) * 2023-12-26 2024-01-26 广州汇豪计算机科技开发有限公司 一种视频识别方法、电子设备和存储介质

Also Published As

Publication number Publication date
CN115631472B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN115631472B (zh) 一种高速公路行人闯入智能检测方法
CN108074231B (zh) 一种基于卷积神经网络的磁片表面缺陷检测方法
CN114419025A (zh) 一种基于图像处理的纤维板质量评估方法
CN115351598A (zh) 一种数控机床轴承检测方法
CN110866430B (zh) 一种车牌识别方法及装置
CN114998852A (zh) 一种基于深度学习的公路路面病害智能检测方法
CN111369526B (zh) 基于半监督深度学习的多类型旧桥裂痕识别方法
CN112991269A (zh) 一种肺部ct图像的识别分类方法
CN114926441B (zh) 一种注塑件加工成型的缺陷检测方法及系统
Abou Chacra et al. Fully automated road defect detection using street view images
CN114973300B (zh) 一种构件类别识别方法、装置、电子设备及存储介质
CN110909598A (zh) 一种基于深度学习的非机动车道交通违法行驶识别方法
CN116596875A (zh) 晶圆缺陷检测方法、装置、电子设备及存储介质
CN116309577B (zh) 一种高强传送带物料智能检测方法及系统
CN117392465B (zh) 一种基于视觉的垃圾分类数字化管理方法
CN118279304B (zh) 基于图像处理的异型金属件异常识别方法、装置及介质
CN118097310B (zh) 一种数字化检测混凝土表面缺陷的方法
CN114155493A (zh) 基于视频分析技术的大坝流量预警系统及方法
CN111008554B (zh) 一种基于深度学习的动态交通斑马线内不礼让行人识别方法
CN109543498A (zh) 一种基于多任务网络的车道线检测方法
CN111832463A (zh) 一种基于深度学习的交通标志检测方法
CN111428752B (zh) 一种基于红外图像的能见度检测方法
CN117037081A (zh) 基于机器学习的交通监控方法、装置、设备及介质
CN111627018A (zh) 一种基于双流神经网络模型的钢板表面缺陷分类方法
CN115526837A (zh) 一种异常行车检测方法、装置、电子设备以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant