CN116844100A - 一种事件检测方法及电子设备 - Google Patents
一种事件检测方法及电子设备 Download PDFInfo
- Publication number
- CN116844100A CN116844100A CN202310377600.9A CN202310377600A CN116844100A CN 116844100 A CN116844100 A CN 116844100A CN 202310377600 A CN202310377600 A CN 202310377600A CN 116844100 A CN116844100 A CN 116844100A
- Authority
- CN
- China
- Prior art keywords
- image
- detection area
- determining
- pedestrian
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 295
- 239000003550 marker Substances 0.000 claims abstract description 53
- 238000013135 deep learning Methods 0.000 claims abstract description 13
- 230000033001 locomotion Effects 0.000 claims description 80
- 238000000034 method Methods 0.000 claims description 64
- 238000013441 quality evaluation Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种事件检测方法及电子设备,用以提高事件检测效率。本申请提供的一种事件检测方法,包括:确定针对监控的目标场景获取的至少一帧采集图像,并且基于所述至少一帧采集图像,采用深度学习网络对图像进行标志物检测,确定至少一个标志物的图像位置信息;利用所述至少一个标志物的图像位置信息,确定事件的图像检测区域;针对所述图像检测区域内的行人,进行事件检测。本申请所保护的技术方案具有实时性、可复现性和可控性,符合可信赖性特点。
Description
技术领域
本申请涉及图像技术领域,尤其涉及一种事件检测方法及电子设备。
背景技术
在轨道交通场景中,需要对地铁车站内的通道、站厅、站台等位置检测人群同向快速奔跑行为,由于地铁中的摄像头获取的场景图片边缘处畸变较大,这样会对行人运动速度值的检测影响较大,因此需要对检测图像绘制检测区域,进而更好的提高检测的准确性。但是现有的绘制检测区域的方式为手动绘制,导致奔跑事件检测的效率低下。
发明内容
本申请实施例提供了一种事件检测方法及电子设备,用以提高事件检测效率。
本申请实施例提供的一种事件检测方法,包括:
确定针对监控的目标场景获取的至少一帧采集图像,并且基于所述至少一帧采集图像,采用深度学习网络对图像进行标志物检测,确定至少一个标志物的图像位置信息;利用所述至少一个标志物的图像位置信息,确定事件的图像检测区域;
针对所述图像检测区域内的行人,进行事件检测。
通过该方法确定针对监控的目标场景获取的至少一帧采集图像,并且基于所述至少一帧采集图像,采用深度学习网络对图像进行标志物检测,确定至少一个标志物的图像位置信息;利用所述至少一个标志物的图像位置信息,确定事件的图像检测区域,并针对所述图像检测区域内的行人,进行事件检测,从而实现了利用至少一个标志物的图像位置,自动确定事件的图像检测区域,避免手动绘制检测区域,进而提高了事件检测的效率。
在一些实施例中,所述确定事件的图像检测区域之后,该方法还包括:
利用所述采集图像上的行人的像素高度和位置,对所述图像检测区域进行调整;
所述针对所述图像检测区域内的行人,进行事件检测,包括:
针对调整后的图像检测区域内的行人,进行事件检测。
在一些实施例中,所述利用所述采集图像上的行人的像素高度和位置,对所述图像检测区域进行调整,包括:
利用如下公式对所述图像检测区域进行调整:
h=wn+b;
其中,n表示所述图像检测区域的矩形框上的任一像素点的纵坐标,h表示该像素点提升的高度值,w和b分别表示利用所述采集图像上的多个行人的像素高度和位置确定的权重值和偏置值。
从而,本申请实施例通过统计检测区域内的行人高度和位置,依据图像中不同位置的行人高度的分布规律,按照h=wn+b比例,将检测区域进行重新绘制,能够进一步提高事件检测的准确性。
在一些实施例中,所述利用所述至少一个标志物的图像位置信息,确定事件的图像检测区域,包括:
根据所述至少一个标志物的图像位置信息,从所述采集图像的最右侧的标志物的区域的右下角的坐标点开始,逆时针连接各个标志物的区域的坐标位置,形成封闭的检测区域,其中选择各个标志物的区域中的下面两个顶点进行连接,当多个标志物的区域重叠时,选取重叠区域上横坐标较小、纵坐标较大的顶点进行连接。
在一些实施例中,所述针对所述图像检测区域内的行人,进行事件检测,包括:
当在所述图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,并截取所述图像检测区域内的目标区域图像,其中所述目标区域图像,包括奔跑行人的图像;
通过预设的图像质量评价网络,对所述目标区域图像进行图像质量打分,得到所述目标区域图像的质量分数;
当所述目标区域图像的质量分数小于预设的图像质量分数阈值时,最终确定存在快速移动事件。
因此,本申请实施例在检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件的情况下,以多行人快速移动造成明显的模糊拖动痕迹作为特征,进一步基于图像质量评价网络完成对于多行人快速移动事件的检测确认,能够进一步提高快速移动事件检测的准确性。
在一些实施例中,所述当在所述图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,包括:
通过预设的目标检测与跟踪算法,确定连续多帧采集图像上所述图像检测区域内行人的位置;
针对所述连续多帧采集图像上所述图像检测区域内的每一行人,根据该行人在的所述连续多帧采集图像上的位置,确定该行人的移动速度和方向;
根据所述连续多帧采集图像上所述图像检测区域内的每一行人的移动速度和方向,确定同向移动的人数;
当所述同向移动的人数超过预设人数阈值,并且,所述同向移动的每一行人的移动速度均大于预设的移动速度阈值,则初步确定存在快速移动事件。
在一些实施例中,所述截取所述图像检测区域内的目标区域图像,包括:
在所述图像检测区域内的所有行人的人头框的四个顶点的坐标中,选取最左上角和最右下角的顶点坐标,形成矩形区域,将该矩形区域内的图像作为目标区域图像进行截取。
本申请实施例提供的另一种事件检测方法,包括:
当在图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,并截取所述图像检测区域内的目标区域图像,其中所述目标区域图像,包括行人的图像;
通过预设的图像质量评价网络,对所述目标区域图像进行图像质量打分,得到所述目标区域图像的质量分数;
当所述目标区域图像的质量分数小于预设的图像质量分数阈值时,最终确定存在快速移动事件。
在一些实施例中,所述当在所述图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,包括:
通过预设的目标检测与跟踪算法,确定连续多帧采集图像上所述图像检测区域内行人的位置;
针对所述连续多帧采集图像上所述图像检测区域内的每一行人,根据该行人在的所述连续多帧采集图像上的位置,确定该行人的移动速度和方向;
根据所述连续多帧采集图像上所述图像检测区域内的每一行人的移动速度和方向,确定同向移动的人数;
当所述同向移动的人数超过预设人数阈值,并且,所述同向移动的每一行人的移动速度均大于预设的移动速度阈值,则初步确定存在快速移动事件。
本申请另一实施例提供了一种电子设备,包括存储器,处理器:
存储器,用于存储计算机程序;
处理器,用于读取所述存储器中的计算机程序并执行上述任一种方法。
本申请另一实施例提供了另一种电子设备,包括:
第一单元,用于确定针对监控的目标场景获取的至少一帧采集图像,并且基于所述至少一帧采集图像,采用深度学习网络对图像进行标志物检测,确定至少一个标志物的图像位置信息;利用所述至少一个标志物的图像位置信息,确定事件的图像检测区域;
第二单元,用于针对所述图像检测区域内的行人,进行事件检测。
本申请另一实施例提供了一种计算设备,其包括存储器和处理器,其中,所述存储器用于存储程序指令,所述处理器用于调用所述存储器中存储的程序指令,按照获得的程序执行上述任一种方法。
此外,根据实施例,例如提供了一种用于计算机的计算机程序产品,其包括软件代码部分,当所述产品在计算机上运行时,这些软件代码部分用于执行上述所定义的方法的步骤。该计算机程序产品可以包括在其上存储有软件代码部分的计算机可读介质。此外,该计算机程序产品可以通过上传过程、下载过程和推送过程中的至少一个经由网络直接加载到计算机的内部存储器中和/或发送。
本申请另一实施例提供了一种处理器可读存储介质,所述处理器可读存储介质存储有计算机程序,所述计算机程序用于使所述处理器执行上述任一种方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种事件检测方法的流程示意图;
图2为本申请实施例提供的一种图像检测区域的确定方法流程示意图;
图3为本申请实施例提供的一种图像检测区域示意图;
图4为本申请实施例提供的另一种图像检测区域示意图;
图5为本申请实施例提供的行人高度统计示意图;
图6为本申请实施例提供的调整后的图像检测区域示意图;
图7为本申请实施例提供的一种事件检测方法的具体流程示意图;
图8为本申请实施例提供的对奔跑的行人的人头框进行定位的示意图;
图9为本申请实施例提供的基于行人的人头框的位置截取的目标区域图像示意图;
图10为本申请实施例提供的对目标区域图像进行图像质量评分的示意图;
图11为本申请实施例提供的报警图片示意图;
图12为本申请实施例提供的另一种事件检测方法的流程示意图;
图13为本申请实施例提供的一种电子设备的结构示意图;
图14为本申请实施例提供的另一种电子设备的结构示意图;
图15为本申请实施例提供的第三种电子设备的结构示意图。
具体实施方式
本申请实施例中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例中术语“多个”是指两个或两个以上,其它量词与之类似。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种事件检测方法及电子设备,用以提高事件检测效率和准确性。
其中,方法和装置是基于同一申请构思的,由于方法和装置解决问题的原理相似,因此装置和方法的实施可以相互参见,重复之处不再赘述。
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下示例和实施例将只被理解为是说明性的示例。虽然本说明书可能在若干处提及“一”、“一个”或“一些”示例或实施例,但这并非意味着每个这种提及都与相同的示例或实施例有关,也并非意味着该特征仅适用于单个示例或实施例。不同实施例的单个特征也可以被组合以提供其他实施例。此外,如“包括”和“包含”的术语应被理解为并不将所描述的实施例限制为仅由已提及的那些特征组成;这种示例和实施例还可以包含并未具体提及的特征、结构、单元、模块等。
下面结合说明书附图对本申请各个实施例进行详细描述。需要说明的是,本申请实施例的展示顺序仅代表实施例的先后顺序,并不代表实施例所提供的技术方案的优劣。
现有的绘制图像检测区域的方式为手动绘制,这样方式效率低下,因此迫切需要一种自动的绘制图像检测区域的方法。因此本申请实施例提供的方法,能够实现轨道交通全自动多行人快速奔跑检测。依据深度学习网络检测踢脚线、防滑条、闸机、自动扶梯、楼梯口等标志物位置,进而自动绘制图像检测区域,然后,进一步通过跟踪多帧图像的行人的位置和移动方向,计算行人的运动速度并与速度阈值进行比较,同时由于相机曝光时间以及相机的抖动等原因会导致多行人快速奔跑时有明显的模糊拖动痕迹,基于这样的运动模糊现象,引入图像质量评价网络对运动模糊特征进行捕捉,以进一步确保是否有快速奔跑事件发生,从而形成一套完整的针对奔跑事件的更为快速、准确的检测方法。
参见图1,本申请实施例提供的一种事件检测方法,包括:
S101、确定针对监控的目标场景获取的至少一帧采集图像,并且基于所述至少一帧采集图像,采用深度学习网络(例如目标分割网络UNet)对图像进行标志物检测,确定至少一个标志物的图像位置信息;利用所述至少一个标志物的图像位置信息,确定事件的图像检测区域;
其中,所述目标场景,例如火车站、地铁站等需要监控的人员密集的场景。
所述确定针对监控的目标场景获取的至少一帧采集图像,例如可以是针对目标场景采集的监控视频,并对该监控视频进行分帧处理,得到一帧或多帧图像。
所述标志物,例如通道中的踢脚线、防滑条、闸机、自动扶梯、楼梯口等。
所述标志物的图像位置信息,例如标志物的外接矩形框的坐标位置等。
本申请实施例利用至少一个标志物的图像位置,自动确定事件的图像检测区域,避免手动绘制检测区域,进而提高了奔跑事件检测的效率。
S102、针对所述图像检测区域内的行人,进行事件检测。
本申请实施例中所述事件检测,例如可以是快速移动事件(例如具体为行人的奔跑事件)的检测,也可以是其他类型事件的检测(本申请实施例并不进行限制)。
在一些实施例中,为了进一步提高检测的准确性,在所述确定事件的图像检测区域之后,该方法还包括:
利用所述采集图像上的行人的像素高度和位置,对所述图像检测区域进行调整;
所述针对所述图像检测区域内的行人,进行事件检测,包括:
针对调整后的图像检测区域内的行人,进行事件检测。
在一些实施例中,所述利用所述采集图像上的行人的像素高度和位置,对所述图像检测区域进行调整,包括:
利用如下公式对所述图像检测区域进行调整:
h=wn+b;
其中,n表示所述图像检测区域的矩形框上的任一像素点的纵坐标,h表示该像素点提升的高度值,w和b分别表示利用所述采集图像上的多个行人的像素高度和位置确定的权重值和偏置值。
本申请实施例中所述的图像检测区域,是按照地面的标识进行绘制的,容易出现目标人头位于检测区域外侧的情况,同时针对摄像机透视成像的原理,导致远离镜头的目标较小,近处目标位置较大的问题,因此本申请实施例通过统计位于站厅以及通道区域中目标行人高度,依据画面中不同位置目标行人高度的分布规律,按照h=wn+b比例,将图像检测区域进行重新绘制。
也就是说,本申请实施例通过统计检测区域内的行人高度和位置,依据图像中不同位置的行人高度的分布规律,按照h=wn+b比例,将检测区域进行重新绘制,能够进一步提高奔跑事件检测的准确性。
在一些实施例中,所述利用所述至少一个标志物的图像位置信息,确定事件的图像检测区域,包括:
根据所述至少一个标志物的图像位置信息,从所述采集图像的最右侧的标志物的区域的右下角的坐标点开始,逆时针连接各个标志物的区域的坐标位置,形成封闭的检测区域,其中选择各个标志物的区域中的下面两个顶点进行连接,当多个标志物的区域重叠时,选取重叠区域上横坐标较小、纵坐标较大的顶点进行连接。
下面结合附图举例说明一下本申请实施例中关于图像检测区域的自动生成方法。
参见图2,本申请实施例中提供的一种图像检测区域的自动生成方法包括:
S201、数据集的标注与训练。
获取通道、站厅、站台等目标场景的图像;
以轨道交通中通道、站厅、站台等场景中的特殊标识(即标志物),例如通道中的踢脚线、防滑条、闸机、自动扶梯、楼梯口等作为训练数据,通过标注平台记录图像中标志物区域的位置和标签,例如通道中的踢脚线、防滑条、闸机、自动扶梯、楼梯口等的位置和标签;
以目标分割网络UNet作为网络模型进行迭代训练(即反复训练多次),将训练好的模型权重进行保存。其中,所述模型权重就是网络训练后会保存一个训练好的文件,称为权重文件(也即预先训练好的深度学习网络),这个文件可以后续用来实时检测新的图像中的防滑条、闸机等标志物的区域位置。
S202、标志物检测及图像检测区域的自动生成。
获取真实的目标场景下采集到的视频帧;
加载上述步骤S201训练好的深度学习网络(简称网络模型,即上述权重文件),利用网络模型检测视频帧中的图片的踢脚线、防滑条、闸机、自动扶梯、楼梯口等标志物的位置,并获取各个标志物的外接矩形区域位置,得到每一标志物的外接矩形的四个顶点的坐标,例如为Regioni[(x1,y1),(x2,y2),(x3,y3),(x4,y4)],其中,(x1,y1),(x2,y2),(x3,y3),(x4,y4)分别为标志物i的外接矩形的四个顶点的图像坐标。
从图像最右侧的标志物的区域的右下角的顶点坐标开始,例如从Regioni(x4,y4)开始,逆时针绘制连接各个标志物的区域,形成封闭的图像检测区域。其中,在连接各个标志物的区域的过程中,选择各个标志物的区域中的下面两个坐标点进行连接,当多个区域重叠时,选取重叠区域的横坐标xi较小、纵坐标yi较大的点进行连接,进而完成图像检测区域的绘制,得到的图像检测区域,具体例如图3所示的站厅区域、图4所示的通道区域。
S203、图像检测区域的微调。
由于地铁站、火车站等目标场景的环境复杂,目标行人较多,在对行人进行目标检测与跟踪的过程中,经常出现行人之间的相互遮挡,导致目标ID跳变,致使目标跟踪失败,因此本申请实施例提出采用相互遮挡较小的行人的人头作为跟踪特征。但是,上述步骤S202中确定的图像检测区域是按照地面的标识进行绘制的,容易出现人头位于图像检测区域外侧的情况,导致对行人的漏检。并且,根据摄像机透视成像的原理,远离镜头的目标较小,距离镜头较近的目标较大,如图5所示,远处行人较小,近处行人较大。
因此,本申请实施例中为了更加准确,基于图像检测区域内行人的像素高度的统计结果,对图像检测区域进行微调,具体包括:
统计图像检测区域中的各个行人的像素高度;
依据图像检测区域中的各个行人的像素高度的统计数据,建立区域线性模型h=wn+b;即依据图像检测区域中的各个行人的像素高度的统计数据,确定其中的参数w和b的值,其中n为图像中黑色矩形框(即图像检测区域的矩形框)上的任一像素点的纵坐标,h为该像素点的提升的高度值。
依据画面中不同位置的行人高度的分布规律,按照h=wn+b比例将图像检测区域进行重新绘制(例如调整区域高度),其中,w,b相当于预设的权重和偏置(为预设值,是按照图像中行人的像素高度和位置确定的值)。通过该公式可知,图像上图像检测区域的远处的矩形框调整的高度较少,近处的矩形框的调整的高度较多,最终例如针对图4所示的图像检测区域,调整后的图像检测区域如图6所示。
综上,本申请实施例通过深度学习网络,自动提取地铁站等场景下踢脚线、防滑条、闸机、自动扶梯、楼梯口等标志物的区域,并基于此自动绘制图像检测区域,进而实现了自动绘制地铁站等场景下多行人快速奔跑事件的图像检测区域,取代现有的手动绘制图像检测区域的方式,提高了事件检测效率。
下面进一步介绍一下以多行人快速奔跑造成明显的模糊拖动痕迹作为特征,基于图像质量评价网络完成对于多行人快速奔跑事件的检测。
在一些实施例中,针对所述图像检测区域内的行人,进行事件检测,包括:
当在所述图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,并截取所述图像检测区域内的目标区域图像,其中所述目标区域图像,包括奔跑行人的图像。由于行人快速移动导致行人区域图像模糊,因此目标区域图像也可以称为模糊区域图像;其中,所述的移动速度阈值,可以根据用户需要进行设置,也可以是默认设置好的值;
通过预设的图像质量评价网络,对所述目标区域图像进行图像质量打分,得到所述目标区域图像的质量分数;
当所述目标区域图像的质量分数小于预设的图像质量分数阈值时,最终确定存在快速移动事件。其中,所述的图像质量分数阈值,可以根据用户需要进行设置,也可以是默认设置好的值。
因此,本申请实施例在检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件的情况下,以多行人快速奔跑造成明显的模糊拖动痕迹作为特征,进一步基于图像质量评价网络完成对于多行人快速奔跑事件的检测确认,能够进一步提高奔跑事件检测的准确性。
在一些实施例中,所述当在所述图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,包括:
通过预设的目标检测与跟踪算法,确定连续多帧采集图像上所述图像检测区域内行人的位置;例如采用卡尔曼滤波器和匈牙利算法实现人员的实时跟踪;
针对所述连续多帧采集图像上所述图像检测区域内的每一行人,根据该行人在的所述连续多帧采集图像上的位置,确定该行人的移动速度和方向;
根据所述连续多帧采集图像上所述图像检测区域内的每一行人的移动速度和方向,确定同向移动的人数;
当所述同向移动的人数超过预设人数阈值,并且,所述同向移动的每一行人的移动速度均大于预设的移动速度阈值,则初步确定存在快速移动事件。其中,所述人数阈值,可以根据实际需要设置,也可以是预先默认好的。
本申请实施例中所述的初步确定存在快速移动事件,可见是利用行人的速度,初步确定是否存在奔跑事件。
在一些实施例中,所述截取所述图像检测区域内的目标区域图像,包括:
在所述图像检测区域内的所有行人的人头框的四个顶点的坐标中,选取最左上角和最右下角的顶点坐标,形成矩形区域,将该矩形区域内的图像作为目标区域图像进行截取。
例如,图像中间区域位置,有四个行人分别位于左上、左下、右上、右下,这四个行人同向移动,并且移动速度都超过了预设的移动速度阈值,则初步确定存在快速移动事件,为了事件检测的准确性,进一步截取这四个人的图像,即截取目标区域图像,截取的方式可以是:确定左上的行人的人头外接矩形框的左上角的顶点坐标,以及右下的行人的人头外接矩形框的右下角的顶点坐标,基于这两个点的坐标,确定一个矩形区域,将该矩形区域内的图像作为目标区域图像进行截取。
在一些实施例中,最终确定存在快速移动事件后,还可以发出告警信息,其中可以携带截取的图像信息等,供工作人员及时查看相关信息并采取相应措施,避免危险发生。
下面结合附图,给出本申请实施例中在确定了图像检测区域后,具体如何进行事件检测的。
本申请实施例提供的奔跑事件检测的方法,例如是一种轨道交通全自动多行人快速事件检测方法,基于目标分割网络自动生成图像检测区域,基于目标检测与跟踪网络确定行人轨迹,通过后处理逻辑实现对多行人快速奔跑事件的检测,具体流程图如图7所示,包括如下步骤:
S701、获取视频:
对相机视频流进行视频解码,按照预设算法运行帧率,进行图片抽帧,即确定每一帧图像。
S702、人头检测:
图像检测区域的自动绘制:依据上文提出的语义分割网络、行人身高统计规律以及自动图像检测区域绘制办法,针对轨道交通中的站厅、站台、通道等场景的采集图像中的图像检测区域进行绘制。
人头特征提取:对于每一帧图像采用经过迁移学习后的Yolov5s算法(目标检测算法),对图像检测区域内的行人进行人头的检测,输出检测到的行人的人头框的坐标[x,y,w,h]以及置信度confidence;其中,x,y,w,h分别表示人头矩形框的左上角的顶点的横、纵坐标位置、宽度、高度。
S703、人头跟踪:
人头特征提取:对每一帧图像上的图像检测区域内的行人进行人头的检测,并且,对于图像检测区域内的每个行人的外接矩形框,建立初始轨迹Tracks,通过卡尔曼滤波器预测下一帧图像上同一行人的人头框的位置。
同一人头的匹配跟踪:对于当前帧图像上的图像检测区域内的每个行人,将该行人的人头框的位置与目标检测模型预测的人头框的坐标位置(即上一步中通过卡尔曼滤波器预测下一帧图像上同一行人的人头框的位置)进行IOU(交并比)匹配,并计算代价矩阵,以代价矩阵作为匈牙利匹配算法的输入,最终得到线性匹配的结果,即本步骤通过预设的目标跟踪算法实现了对行人的跟踪。
更新跟踪到的人头的位置:对于图像检测区域内的每个行人,确定并记录该行人的最新人头位置(相当于行人的位置),从而实现多行人跟踪。
S704、计算行人速度和方向:
缓存历史帧的跟踪结果:即将上一步骤中对图像检测区域内的每个行人的人头跟踪结果进行缓存,其中所述的人头跟踪结果,包括连续多帧图像上同一行人的人头的矩形框的坐标位置。
匹配历史帧中各个人头的位置坐标:即确定连续多帧图像上同一行人的人头的矩形框的坐标位置。
基于人头的位置,计算行人的实际移动速度和方向:基于目标跟踪算法获取的每一个行人(通过ID来区分不同行人)的运动历史轨迹,以及对应的跟踪时间,基于人头的矩形框的坐标位置,计算图像检测区域内的每个行人的实际移动速度和方向,其中通过行人的历史移动轨迹比上跟踪时间,可以计算该行人的移动速度,并且通过计算历史移动轨迹与水平轴的夹角,可以确定该行人的移动方向。
S705、奔跑事件初步判断:
例如,可以先判断连续多帧采集图像上的图像检测区域内行人的人数是否大于预设阈值,如果是,则进一步判断这些行人的速度是否都大于预设的阈值;否则,可以继续监测采集图像上的图像检测区域内行人的人数是否大于预设阈值;
当连续多帧采集图像上的图像检测区域内行人的人数大于预设阈值,并且,这些行人的速度也都大于预设的阈值时,初步判断有快速移动事件(即奔跑事件)发生;若这些行人的速度并没有都大于预设的阈值,或者速度大于预设的阈值的人数不超过预设阈值,则可以继续监测采集图像上的图像检测区域内行人的速度。
除了上述方式,奔跑事件初步判断可以有多种实现方式,例如在一些实施例中,还可以先判断当前时间距离上次快速移动事件的报警时间是否超过了预先设置的报警间隔,如果是,则进一步判断同向移动人数是否超过预设的同向移动人数阈值,如果是,则进一步判断同向移动人群的移动速度是否超过预设速度阈值,如果同向移动人群的移动速度超过预设速度阈值,则初步判断有快速移动事件。
当初步确定存在奔跑事件时,根据同向移动的行人(当然本申请实施例并不限于同向移动)的人头框的位置,对图像中的目标区域图像进行裁剪(即获取多人奔跑的模糊图像)。
S706、输出事件检测结果:
将裁剪后的目标区域图像输入到预设的MANIQA图像质量评价网络中,通过该图像质量评价网络对目标区域图像进行特性分析(即分析其模糊程度),输出图像质量评价得分,然后判断该得分是否小于预设的图像质量分数阈值(图像越模糊,即图像质量越差,分数越低,反之,分数越高),如果是,则确定有运动导致的目标区域图像,从而对快速移动事件(即奔跑事件)完成了进一步的确认(即先通过速度判断,后通过模糊特征进一步确认),完成快速移动事件的检测,如果得分高于预设的图像质量分数阈值,则可以继续监测最新截取的目标区域图像的模糊程度,暂时先不报警。
其中,关于运动模糊特征捕捉(即目标区域图像的获取),例如包括:
a.获取多人奔跑的模糊图像:
如图8所示,在当前帧的图像检测区域内,检测到多人奔跑速度超过预设的奔跑速度阈值后,初步确定存在奔跑事件,并记录当前帧的图像信息(将这一帧图像放入内存中)以及当前帧的图像检测区域内每一行人的人头框的位置信息;
在图像检测区域内的所有行人的人头框的四个顶点的坐标中,选取最左上角和最右下角的顶点坐标,形成矩形区域,将该矩形区域内的图像作为目标区域图像进行截取,从而实现对原始采集图像的目标区域图像的截取,针对图8所示的采集图像,截取到的目标区域图像如图9所示。
b.以图像质量评价网络对运动模型(即目标区域图像)进行评价。
参见图10,将获取到的目标区域图像输入到预设的MANIQA图像质量评价网络中,通过该图像质量评价网络对目标区域图像进行特性分析,评估出图像的优劣,最终以质量分数作为输出。通过设置质量分数阈值的方式,对快速奔跑事件进行最终检测确认,当最终确认存在奔跑事件时,还可以输出入图11所示的报警图片,其中包括在原始采集图像上标记的奔跑的行人的人数和奔跑方向。
可见,参见图12,本申请实施例提供的一种快速移动事件的检测方法包括:
S121、当在图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,并截取所述图像检测区域内的目标区域图像,其中所述目标区域图像,包括行人的图像;
S122、通过预设的图像质量评价网络,对所述目标区域图像进行图像质量打分,得到所述目标区域图像的质量分数;
S123、当所述目标区域图像的质量分数小于预设的图像质量分数阈值时,最终确定存在快速移动事件。
在一些实施例中,所述当在所述图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,包括:
通过预设的目标检测与跟踪算法,确定连续多帧采集图像上所述图像检测区域内行人的位置;
针对所述连续多帧采集图像上所述图像检测区域内的每一行人,根据该行人在的所述连续多帧采集图像上的位置,确定该行人的移动速度和方向;
根据所述连续多帧采集图像上所述图像检测区域内的每一行人的移动速度和方向,确定同向移动的人数;
当所述同向移动的人数超过预设人数阈值,并且,所述同向移动的每一行人的移动速度均大于预设的移动速度阈值,则初步确定存在快速移动事件。
在一些实施例中,所述截取所述图像检测区域内的目标区域图像,包括:
在所述图像检测区域内的所有行人的人头框的四个顶点的坐标中,选取最左上角和最右下角的顶点坐标,形成矩形区域,将该矩形区域内的图像作为目标区域图像进行截取。
综上所述,本申请实施例提供的事件检测方法,具有以下可信赖特性:
本检测方案是基于多目标跟踪算法、后处理逻辑以及图像质量评价网络实现的,检测方案可以在给定的时间内完成对于快速奔跑事件的检测,符合可信赖特性中的实时性的特点;
本检测方案对于同一奔跑事件的图片,即便在不同运行环境中仍然可以检测到奔跑事件(即奔跑事件的检测可以在不同的计算机配置下实现),符合可信赖特性中的可复现性的特点;
本检测方案可以通过用户设置超参数(例如:移动速度阈值、图像质量评价阈值等)进而确定奔跑事件的检出程度,事件检出结果的重视程度以及被采纳的程度可由用户干预,符合可信赖特性中的可控性的特点;
除了具有以上三个可信赖特性,本申请实施例提供的全自动的事件检测方法,可以很好的提高奔跑事件的检测效率和准确性。
基于同一发明构思,下面介绍一下本申请实施例提供的设备或装置,其中与上述方法中所述的相同或相应的技术特征的解释或举例说明,后续不再赘述。
参见图13,本申请另一实施例提供了一种电子设备,包括:
处理器500,用于读取存储器520中的程序,执行下列过程:
确定针对监控的目标场景获取的至少一帧采集图像,并且基于所述至少一帧采集图像,采用深度学习网络对图像进行标志物检测,确定至少一个标志物的图像位置信息;利用所述至少一个标志物的图像位置信息,确定事件的图像检测区域;
针对所述图像检测区域内的行人,进行事件检测。
在一些实施例中,所述确定事件的图像检测区域之后,处理器500,还用于读取存储器520中的程序,执行下列过程:
利用所述采集图像上的行人的像素高度和位置,对所述图像检测区域进行调整;
所述针对所述图像检测区域内的行人,进行事件检测,包括:
针对调整后的图像检测区域内的行人,进行事件检测。
在一些实施例中,所述利用所述采集图像上的行人的像素高度和位置,对所述图像检测区域进行调整,包括:
利用如下公式对所述图像检测区域进行调整:
h=wn+b;
其中,n表示所述图像检测区域的矩形框上的任一像素点的纵坐标,h表示该像素点提升的高度值,w和b分别表示利用所述采集图像上的多个行人的像素高度和位置确定的权重值和偏置值。
在一些实施例中,所述利用所述至少一个标志物的图像位置信息,确定事件的图像检测区域,包括:
根据所述至少一个标志物的图像位置信息,从所述采集图像的最右侧的标志物的区域的右下角的坐标点开始,逆时针连接各个标志物的区域的坐标位置,形成封闭的检测区域,其中选择各个标志物的区域中的下面两个顶点进行连接,当多个标志物的区域重叠时,选取重叠区域上横坐标较小、纵坐标较大的顶点进行连接。
在一些实施例中,所述针对所述图像检测区域内的行人,进行事件检测,包括:
当在所述图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,并截取所述图像检测区域内的目标区域图像,其中所述目标区域图像,包括奔跑行人的图像;
通过预设的图像质量评价网络,对所述目标区域图像进行图像质量打分,得到所述目标区域图像的质量分数;
当所述目标区域图像的质量分数小于预设的图像质量分数阈值时,最终确定存在快速移动事件。
在一些实施例中,所述当在所述图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,包括:
通过预设的目标检测与跟踪算法,确定连续多帧采集图像上所述图像检测区域内行人的位置;
针对所述连续多帧采集图像上所述图像检测区域内的每一行人,根据该行人在的所述连续多帧采集图像上的位置,确定该行人的移动速度和方向;
根据所述连续多帧采集图像上所述图像检测区域内的每一行人的移动速度和方向,确定同向移动的人数;
当所述同向移动的人数超过预设人数阈值,并且,所述同向移动的每一行人的移动速度均大于预设的移动速度阈值,则初步确定存在快速移动事件。
在一些实施例中,所述截取所述图像检测区域内的目标区域图像,包括:
在所述图像检测区域内的所有行人的人头框的四个顶点的坐标中,选取最左上角和最右下角的顶点坐标,形成矩形区域,将该矩形区域内的图像作为目标区域图像进行截取。
当所述电子设备单独作为快速移动事件检测装置时,检测处理器500,用于读取存储器520中的程序,执行下列过程:
当在图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,并截取所述图像检测区域内的目标区域图像,其中所述目标区域图像,包括行人的图像;
通过预设的图像质量评价网络,对所述目标区域图像进行图像质量打分,得到所述目标区域图像的质量分数;
当所述目标区域图像的质量分数小于预设的图像质量分数阈值时,最终确定存在快速移动事件。
在一些实施例中,所述当在所述图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,包括:
通过预设的目标检测与跟踪算法,确定连续多帧采集图像上所述图像检测区域内行人的位置;
针对所述连续多帧采集图像上所述图像检测区域内的每一行人,根据该行人在的所述连续多帧采集图像上的位置,确定该行人的移动速度和方向;
根据所述连续多帧采集图像上所述图像检测区域内的每一行人的移动速度和方向,确定同向移动的人数;
当所述同向移动的人数超过预设人数阈值,并且,所述同向移动的每一行人的移动速度均大于预设的移动速度阈值,则初步确定存在快速移动事件。
在一些实施例中,所述截取所述图像检测区域内的目标区域图像,包括:
在所述图像检测区域内的所有行人的人头框的四个顶点的坐标中,选取最左上角和最右下角的顶点坐标,形成矩形区域,将该矩形区域内的图像作为目标区域图像进行截取。
在一些实施例中,电子设备还包括:收发机510,用于在处理器500的控制下接收和发送数据。
其中,在图13中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器500代表的一个或多个处理器和存储器520代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。收发机510可以是多个元件,即包括发送机和接收机,提供用于在传输介质上与各种其他装置通信的单元,这些传输介质包括无线信道、有线信道、光缆等传输介质。处理器500负责管理总线架构和通常的处理,存储器520可以存储处理器500在执行操作时所使用的数据。
处理器500可以是中央处埋器(CPU)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或复杂可编程逻辑器件(Complex Programmable Logic Device,CPLD),处理器也可以采用多核架构。
如果电子设备作为终端侧装置,还可以包括与总线连接的用户接口,用户接口可以是能够外接内接需要设备的接口,连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
在此需要说明的是,本申请实施例提供的上述装置,能够实现上述方法实施例所实现的所有方法步骤,且能够达到相同的技术效果,在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
参见图14,本申请另一实施例提供了另一种电子设备,包括:
第一单元11,用于确定针对监控的目标场景获取的至少一帧采集图像,并且基于所述至少一帧采集图像,采用深度学习网络对图像进行标志物检测,确定至少一个标志物的图像位置信息;利用所述至少一个标志物的图像位置信息,确定事件的图像检测区域;
第二单元12,用于针对所述图像检测区域内的行人,进行事件检测。
确定针对监控的目标场景获取的至少一帧采集图像,并且基于所述至少一帧采集图像,采用深度学习网络对图像进行标志物检测,确定至少一个标志物的图像位置信息;利用所述至少一个标志物的图像位置信息,确定事件的图像检测区域;
针对所述图像检测区域内的行人,进行事件检测。
在一些实施例中,所述确定事件的图像检测区域之后,第一单元11还用于:
利用所述采集图像上的行人的像素高度和位置,对所述图像检测区域进行调整;
所述针对所述图像检测区域内的行人,进行事件检测,包括:
针对调整后的图像检测区域内的行人,进行事件检测。
在一些实施例中,所述利用所述采集图像上的行人的像素高度和位置,对所述图像检测区域进行调整,包括:
利用如下公式对所述图像检测区域进行调整:
h=wn+b;
其中,n表示所述图像检测区域的矩形框上的任一像素点的纵坐标,h表示该像素点提升的高度值,w和b分别表示利用所述采集图像上的多个行人的像素高度和位置确定的权重值和偏置值。
在一些实施例中,所述利用所述至少一个标志物的图像位置信息,确定事件的图像检测区域,包括:
根据所述至少一个标志物的图像位置信息,从所述采集图像的最右侧的标志物的区域的右下角的坐标点开始,逆时针连接各个标志物的区域的坐标位置,形成封闭的检测区域,其中选择各个标志物的区域中的下面两个顶点进行连接,当多个标志物的区域重叠时,选取重叠区域上横坐标较小、纵坐标较大的顶点进行连接。
在一些实施例中,所述针对所述图像检测区域内的行人,进行事件检测,包括:
当在所述图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,并截取所述图像检测区域内的目标区域图像,其中所述目标区域图像,包括奔跑行人的图像;
通过预设的图像质量评价网络,对所述目标区域图像进行图像质量打分,得到所述目标区域图像的质量分数;
当所述目标区域图像的质量分数小于预设的图像质量分数阈值时,最终确定存在快速移动事件。
在一些实施例中,所述当在所述图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,包括:
通过预设的目标检测与跟踪算法,确定连续多帧采集图像上所述图像检测区域内行人的位置;
针对所述连续多帧采集图像上所述图像检测区域内的每一行人,根据该行人在的所述连续多帧采集图像上的位置,确定该行人的移动速度和方向;
根据所述连续多帧采集图像上所述图像检测区域内的每一行人的移动速度和方向,确定同向移动的人数;
当所述同向移动的人数超过预设人数阈值,并且,所述同向移动的每一行人的移动速度均大于预设的移动速度阈值,则初步确定存在快速移动事件。
在一些实施例中,所述截取所述图像检测区域内的目标区域图像,包括:
在所述图像检测区域内的所有行人的人头框的四个顶点的坐标中,选取最左上角和最右下角的顶点坐标,形成矩形区域,将该矩形区域内的图像作为目标区域图像进行截取。
参见图15,本申请另一实施例提供了另一种电子设备,包括:
初步检测单元21,用于当在图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,并截取所述图像检测区域内的目标区域图像,其中所述目标区域图像,包括行人的图像;
质量打分单元22,用于通过预设的图像质量评价网络,对所述目标区域图像进行图像质量打分,得到所述目标区域图像的质量分数;
最终确定单元23,用于当所述目标区域图像的质量分数小于预设的图像质量分数阈值时,最终确定存在快速移动事件。
在一些实施例中,所述当在所述图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,包括:
通过预设的目标检测与跟踪算法,确定连续多帧采集图像上所述图像检测区域内行人的位置;
针对所述连续多帧采集图像上所述图像检测区域内的每一行人,根据该行人在的所述连续多帧采集图像上的位置,确定该行人的移动速度和方向;
根据所述连续多帧采集图像上所述图像检测区域内的每一行人的移动速度和方向,确定同向移动的人数;
当所述同向移动的人数超过预设人数阈值,并且,所述同向移动的每一行人的移动速度均大于预设的移动速度阈值,则初步确定存在快速移动事件。
在一些实施例中,所述截取所述图像检测区域内的目标区域图像,包括:
在所述图像检测区域内的所有行人的人头框的四个顶点的坐标中,选取最左上角和最右下角的顶点坐标,形成矩形区域,将该矩形区域内的图像作为目标区域图像进行截取。
需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在此需要说明的是,本申请实施例提供的上述装置,能够实现上述方法实施例所实现的所有方法步骤,且能够达到相同的技术效果,在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
本申请实施例提供了一种处理器可读存储介质,所述处理器可读存储介质存储有计算机程序,所述计算机程序用于使所述处理器执行上述本申请实施例提供的任一方法。
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中的任一所述方法。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
应当理解:
通信网络中的实体经由其往来传送流量的接入技术可以是任何合适的当前或未来技术,诸如可以使用WLAN(无线本地接入网络)、WiMAX(微波接入全球互操作性)、LTE、LTE-A、5G、蓝牙、红外等;另外,实施例还可以应用有线技术,例如,基于IP的接入技术,如有线网络或固定线路。
适合于被实现为软件代码或其一部分并使用处理器或处理功能运行的实施例是独立于软件代码的,并且可以使用任何已知或未来开发的编程语言来规定,诸如高级编程语言,诸如objective-C、C、C++、C#、Java、Python、Javascript、其他脚本语言等,或低级编程语言,诸如机器语言或汇编程序。
实施例的实现是独立于硬件的,并且可以使用任何已知或未来开发的硬件技术或其任何混合来实现,诸如微处理器或CPU(中央处理单元)、MOS(金属氧化物半导体)、CMOS(互补MOS)、BiMOS(双极MOS)、BiCMOS(双极CMOS)、ECL(发射极耦合逻辑)和/或TTL(晶体管-晶体管逻辑)。
实施例可以被实现为单独的设备、装置、单元、部件或功能,或者以分布式方式实现,例如,可以在处理中使用或共享一个或多个处理器或处理功能,或者可以在处理中使用和共享一个或多个处理段或处理部分,其中,一个物理处理器或多于一个的物理处理器可以被用于实现一个或多个专用于如所描述的特定处理的处理部分。
装置可以由半导体芯片、芯片组或包括这种芯片或芯片组的(硬件)模块来实现。
实施例还可以被实现为硬件和软件的任何组合,诸如ASIC(应用特定IC(集成电路))组件、FPGA(现场可编程门阵列)或CPLD(复杂可编程逻辑器件)组件或DSP(数字信号处理器)组件。
实施例还可以被实现为计算机程序产品,包括在其中体现计算机可读程序代码的计算机可用介质,该计算机可读程序代码适应于执行如实施例中所描述的过程,其中,该计算机可用介质可以是非暂时性介质。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种事件检测方法,其特征在于,所述方法包括:
确定针对监控的目标场景获取的至少一帧采集图像,并且基于所述至少一帧采集图像,采用深度学习网络对图像进行标志物检测,确定至少一个标志物的图像位置信息;利用所述至少一个标志物的图像位置信息,确定事件的图像检测区域;
针对所述图像检测区域内的行人,进行事件检测。
2.根据权利要求1所述的方法,其特征在于,所述确定事件的图像检测区域之后,该方法还包括:
利用所述采集图像上的行人的像素高度和位置,对所述图像检测区域进行调整;
所述针对所述图像检测区域内的行人,进行事件检测,包括:
针对调整后的图像检测区域内的行人,进行事件检测。
3.根据权利要求2所述的方法,其特征在于,所述利用所述采集图像上的行人的像素高度和位置,对所述图像检测区域进行调整,包括:
利用如下公式对所述图像检测区域进行调整:
h=wn+b;
其中,n表示所述图像检测区域的矩形框上的任一像素点的纵坐标,h表示该像素点提升的高度值,w和b分别表示利用所述采集图像上的多个行人的像素高度和位置确定的权重值和偏置值。
4.根据权利要求1所述的方法,其特征在于,所述利用所述至少一个标志物的图像位置信息,确定事件的图像检测区域,包括:
根据所述至少一个标志物的图像位置信息,从所述采集图像的最右侧的标志物的区域的右下角的坐标点开始,逆时针连接各个标志物的区域的坐标位置,形成封闭的检测区域,其中选择各个标志物的区域中的下面两个顶点进行连接,当多个标志物的区域重叠时,选取重叠区域上横坐标较小、纵坐标较大的顶点进行连接。
5.根据权利要求1所述的方法,其特征在于,所述针对所述图像检测区域内的行人,进行事件检测,包括:
当在所述图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,并截取所述图像检测区域内的目标区域图像,其中所述目标区域图像,包括行人的图像;
通过预设的图像质量评价网络,对所述目标区域图像进行图像质量打分,得到所述目标区域图像的质量分数;
当所述目标区域图像的质量分数小于预设的图像质量分数阈值时,最终确定存在快速移动事件。
6.根据权利要求5所述的方法,其特征在于,所述当在所述图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,包括:
通过预设的目标检测与跟踪算法,确定连续多帧采集图像上所述图像检测区域内行人的位置;
针对所述连续多帧采集图像上所述图像检测区域内的每一行人,根据该行人在的所述连续多帧采集图像上的位置,确定该行人的移动速度和方向;
根据所述连续多帧采集图像上所述图像检测区域内的每一行人的移动速度和方向,确定同向移动的人数;
当所述同向移动的人数超过预设人数阈值,并且,所述同向移动的每一行人的移动速度均大于预设的移动速度阈值,则初步确定存在快速移动事件。
7.根据权利要求5所述的方法,其特征在于,所述截取所述图像检测区域内的目标区域图像,包括:
在所述图像检测区域内的所有行人的人头框的四个顶点的坐标中,选取最左上角和最右下角的顶点坐标,形成矩形区域,将该矩形区域内的图像作为目标区域图像进行截取。
8.一种事件检测方法,其特征在于,所述方法包括:
当在图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,并截取所述图像检测区域内的目标区域图像,其中所述目标区域图像,包括行人的图像;
通过预设的图像质量评价网络,对所述目标区域图像进行图像质量打分,得到所述目标区域图像的质量分数;
当所述目标区域图像的质量分数小于预设的图像质量分数阈值时,最终确定存在快速移动事件。
9.根据权利要求8所述的方法,其特征在于,所述当在所述图像检测区域内,检测到多人的移动速度超过预设的移动速度阈值时,初步确定存在快速移动事件,包括:
通过预设的目标检测与跟踪算法,确定连续多帧采集图像上所述图像检测区域内行人的位置;
针对所述连续多帧采集图像上所述图像检测区域内的每一行人,根据该行人在的所述连续多帧采集图像上的位置,确定该行人的移动速度和方向;
根据所述连续多帧采集图像上所述图像检测区域内的每一行人的移动速度和方向,确定同向移动的人数;
当所述同向移动的人数超过预设人数阈值,并且,所述同向移动的每一行人的移动速度均大于预设的移动速度阈值,则初步确定存在快速移动事件。
10.一种电子设备,其特征在于,包括存储器,处理器:
存储器,用于存储计算机程序;
处理器,用于读取所述存储器中的计算机程序并执行权利要求1至9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310377600.9A CN116844100A (zh) | 2023-04-10 | 2023-04-10 | 一种事件检测方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310377600.9A CN116844100A (zh) | 2023-04-10 | 2023-04-10 | 一种事件检测方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116844100A true CN116844100A (zh) | 2023-10-03 |
Family
ID=88158728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310377600.9A Pending CN116844100A (zh) | 2023-04-10 | 2023-04-10 | 一种事件检测方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116844100A (zh) |
-
2023
- 2023-04-10 CN CN202310377600.9A patent/CN116844100A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10417503B2 (en) | Image processing apparatus and image processing method | |
JP6095018B2 (ja) | 移動オブジェクトの検出及び追跡 | |
CN108898624B (zh) | 一种运动物体跟踪的方法、装置、电子设备和存储介质 | |
CN107408303A (zh) | 用于对象跟踪的系统和方法 | |
CN108648211B (zh) | 一种基于深度学习的小目标检测方法、装置、设备和介质 | |
CN107851318A (zh) | 用于对象跟踪的系统和方法 | |
CN111399492A (zh) | 一种机器人及其障碍物感知方法和装置 | |
CN109389589A (zh) | 用于统计人数的方法和装置 | |
WO2021031954A1 (zh) | 对象数量确定方法、装置、存储介质与电子设备 | |
US11257224B2 (en) | Object tracker, object tracking method, and computer program | |
CN113537172B (zh) | 人群密度确定方法、装置、设备及存储介质 | |
AU2021255130B2 (en) | Artificial intelligence and computer vision powered driving-performance assessment | |
WO2023093086A1 (zh) | 目标跟踪及相关模型的训练方法、装置、设备、介质、计算机程序产品 | |
CN112446913B (zh) | 一种通道闸行人数量统计与尾随判断方法、装置和设备 | |
CN116844100A (zh) | 一种事件检测方法及电子设备 | |
CN114639159A (zh) | 移动行人检测方法、电子设备及机器人 | |
Ilao et al. | Crowd estimation using region-specific HOG With SVM | |
CN113947795B (zh) | 口罩佩戴检测方法、装置、设备及存储介质 | |
JP2023036054A (ja) | 目標カウント方法、装置、デバイス及び記憶媒体 | |
WO2022126668A1 (zh) | 一种公共场所行人识别方法及人流统计系统 | |
JP2017151582A (ja) | カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法 | |
CN112634299A (zh) | 一种排除飞虫干扰的遗留物检测方法 | |
CN117197705A (zh) | 一种事件检测方法及装置 | |
CN113505643B (zh) | 违章目标物检测方法及相关装置 | |
CN115546737B (zh) | 一种机房监控方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |