CN111368688A - 行人监测方法及相关产品 - Google Patents
行人监测方法及相关产品 Download PDFInfo
- Publication number
- CN111368688A CN111368688A CN202010127430.5A CN202010127430A CN111368688A CN 111368688 A CN111368688 A CN 111368688A CN 202010127430 A CN202010127430 A CN 202010127430A CN 111368688 A CN111368688 A CN 111368688A
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- pedestrian
- monitored
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 88
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 230000009545 invasion Effects 0.000 claims description 100
- 238000000605 extraction Methods 0.000 claims description 35
- 238000012806 monitoring device Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 15
- 238000013441 quality evaluation Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 13
- 238000012549 training Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/22—Electrical actuation
- G08B13/24—Electrical actuation by interference with electromagnetic field distribution
- G08B13/2491—Intrusion detection systems, i.e. where the body of an intruder causes the interference with the electromagnetic field
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本申请公开了一种行人监测方法及相关产品。该方法包括:获取至少一张第一待处理图像;对所述至少一张第一待处理图像进行行人检测处理,得到所述至少一张第一待处理图像中被监测行人的位置,作为第一位置;依据所述第一位置,确定所述被监测行人的非法入侵监测结果。以监测道路上非法入侵的行人。
Description
技术领域
本申请涉及安防技术领域,尤其涉及一种行人监测方法及相关产品。
背景技术
道路上通常包括机动车车道、非机动车道、人行道。在行人处于机动车道内,或行人处于非机动车道内的情况下,行人为非法入侵,在行人处于人行道的情况下,行人未非法入侵。行人非法入侵易导致交通事故的发生,因此如何有效的监测道路上的行人非法入侵具有非常重要的意义。
发明内容
本申请提供一种行人监测方法及相关产品。
第一方面,提供了一种行人监测方法,所述方法包括:
获取至少一张第一待处理图像;
对所述至少一张第一待处理图像进行行人检测处理,得到所述至少一张第一待处理图像中被监测行人的位置,作为第一位置;
依据所述第一位置,确定所述被监测行人的非法入侵监测结果。
在该方面,通过对至少一张第一待处理图像进行处理得到至少一张待处理图像中的被监测行人的第一位置,并依据第一位置确定被监测行人是否非法入侵,以达到基于公路上的监控摄像头采集到的图像,实现监测公路上的行人非法入侵的效果,从而在不增加监测成本的前提下,提高监测效率和监测准确率。
结合本申请任一实施方式,所述获取至少一张第一待处理图像,包括:
获取待处理视频流;
对所述待处理视频流进行解码处理,得到所述至少一张第一待处理图像。
在该实施方式中,基于公路上的监控摄像头采集到的视频流,得到至少一张第一待处理图像。由于监控摄像头均为公路上已有的设备,使用本申请实施例提供的技术方案对至少一张第一待处理图像进行处理,可在不增加成本的前提下,实现对公路上的行人非法入侵的实时监测。
结合本申请任一实施方式,所述对所述待处理视频流进行解码处理,得到所述至少一张第一待处理图像,包括:
对所述待处理视频流进行解码处理,得到至少一张第二待处理图像;
依据图像质量评价指标,得到所述至少一张第二待处理图像的质量分数;所述图像质量评价指标包括以下至少一个:图像的分辨率的高低、图像的信噪比的大小、图像的清晰程度;
确定质量分数大于或等于质量分数阈值的第二待处理图像,作为所述至少一张第一待处理图像。
在该实施方式中,以图像质量评价指标为依据,确定第四待处理图像的质量分数。将质量分数大于或等于质量分数阈值的第四待处理图像,作为第一待处理图像,可提高第一待处理图像的图像质量,从而提高后续基于第一待处理图像得到的第一位置的准确率,进而提高确定第一待处理图像中的被监测行人是否非法入侵的准确率。
结合本申请任一实施方式,所述依据所述第一位置,确定所述被监测行人的非法入侵监测结果,包括:
在依据所述第一位置确定所述被监测行人位于非法入侵区域内的情况下,确定所述被监测行人非法入侵。
在该实施方式中,依据第一位置确定被监测行人是否处于非法入侵区域内,可确定被监测行人是否处于非法入侵区域内,进而确定被监测行人是否非法入侵。
结合本申请任一实施方式,所述在依据所述第一位置确定所述被监测行人位于非法入侵区域内的情况下,确定所述被监测行人非法入侵,包括:
依据所述第一位置和所述非法入侵区域,得到所述被监测行人覆盖的区域与所述非法入侵区域的面积重合度;
在所述面积重合度大于或等于面积重合度阈值的情况下,确定所述被监测行人非法入侵。
在该实施方式中,以面积重合度为依据,确定被监测行人是否处于非法入侵区域内,以提高确定被监测行人是否处于非法入侵区域内的准确率,进而提高确定被监测行人是否非法入侵的准确率。
结合本申请任一实施方式,所述对所述第一待处理图像进行行人检测处理,得到所述至少一张第一待处理图像中被监测行人的位置,作为第一位置,包括:
对所述至少一张第一待处理图像进行特征提取处理,得到至少一个第一特征数据;
依据所述至少一个第一特征数据,得到所述第一位置。
在该实施方式中,通过对第一待处理图像进行特征提取处理,以提取第一待处理图像中的语义信息,得到第一特征数据,进而可依据第一特征数据得到第一待处理图像中的被监测行人的位置。
结合本申请任一实施方式,在所述对所述第一待处理图像进行特征提取处理,得到第一特征数据之前,所述方法还包括:
对所述至少一张第一待处理图像进行特征提取处理,得到至少一个第二特征数据;
在基于所述至少一个第二特征数据确定所述至少一张第一待处理图像中包含行人的情况下,执行所述对所述至少一张第一待处理图像进行特征提取处理,得到至少一个第一特征数据的步骤。
在该实施方式中,在基于第二特征数据确定第一待处理图像中包含行人的情况下,对第一待处理图像进行特征提取处理,得到第一特征数据,可减少数据处理量,提高处理速度。
结合本申请任一实施方式,所述方法还包括:
在所述监测结果包括所述被监测行人非法入侵的情况下,获取采集所述至少一张第一待处理图像的摄像头的至少一个位置,作为至少一个第二位置;
向终端发送包含所述至少一个第二位置的告警指令;所述告警指令用于指示所述终端输出告警信息。
在该实施方式中,通过向终端发送包含摄像头的位置的告警指令,使终端在接收到告警指令后,输出相应的告警信息,以提示相关执法人员及时到达被监测行人非法入侵的位置,以引导非法入侵的行人离开非法入侵区域。
结合本申请任一实施方式,所述方法还包括:
在接收到所述终端发送的针对所述被监测行人的属性查询请求的情况下,基于所述至少一张第一待处理图像,得到所述被监测行人的属性;
向所述终端发送所述被监测行人的属性。
在该实施方式中,通过向终端发送被监测行人的属性,可达到使相关执法人员依据被监测行人的属性确定非法入侵的行人的效果。
第二方面,提供了一种行人监测装置,所述装置包括:
第一获取单元,用于获取至少一张第一待处理图像;
第一处理单元,用于对所述至少一张第一待处理图像进行行人检测处理,得到所述至少一张第一待处理图像中被监测行人的位置,作为第一位置;
第二处理单元,用于依据所述第一位置,确定所述被监测行人的非法入侵监测结果。
结合本申请任一实施方式,所述第一获取单元,用于:
获取待处理视频流;
对所述待处理视频流进行解码处理,得到所述至少一张第一待处理图像。
结合本申请任一实施方式,所述第一获取单元,用于:
对所述待处理视频流进行解码处理,得到至少一张第二待处理图像;
依据图像质量评价指标,得到所述至少一张第二待处理图像的质量分数;所述图像质量评价指标包括以下至少一个:图像的分辨率的高低、图像的信噪比的大小、图像的清晰程度;
确定质量分数大于或等于质量分数阈值的第二待处理图像,作为所述至少一张第一待处理图像。
结合本申请任一实施方式,所述第二处理单元,用于:
在依据所述第一位置确定所述被监测行人位于非法入侵区域内的情况下,确定所述被监测行人非法入侵。
结合本申请任一实施方式,所述第二处理单元,用于:
依据所述第一位置和所述非法入侵区域,得到所述被监测行人覆盖的区域与所述非法入侵区域的面积重合度;
在所述面积重合度大于或等于面积重合度阈值的情况下,确定所述被监测行人非法入侵。
结合本申请任一实施方式,所述第一处理单元,用于:
对所述至少一张第一待处理图像进行特征提取处理,得到至少一个第一特征数据;
依据所述至少一个第一特征数据,得到所述第一位置。
结合本申请任一实施方式,所述第一处理单元,用于:
对所述至少一张第一待处理图像进行特征提取处理,得到至少一个第二特征数据;
在基于所述至少一个第二特征数据确定所述至少一张第一待处理图像中包含行人的情况下,执行所述对所述至少一张第一待处理图像进行特征提取处理,得到至少一个第一特征数据的步骤。
结合本申请任一实施方式,所述装置还包括:
第二获取单元,用于在所述监测结果包括所述被监测行人非法入侵的情况下,获取采集所述至少一张第一待处理图像的摄像头的至少一个位置,作为至少一个第二位置;
发送单元,用于向终端发送包含所述至少一个第二位置的告警指令;所述告警指令用于指示所述终端输出告警信息。
结合本申请任一实施方式,所述装置还包括:
第三处理单元,用于在接收到所述终端发送的针对所述被监测行人的属性查询请求的情况下,基于所述至少一张第一待处理图像,得到所述被监测行人的属性;
所述发送单元,用于向所述终端发送所述被监测行人的属性。
第三方面,提供了一种处理器,所述处理器用于执行如上述第一方面及其任意一种可能实现的方式的方法。
第四方面,提供了一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
第六方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种像素坐标系的示意图;
图2为本申请实施例提供的一种行人监测方法的流程示意图;
图3为本申请实施例提供的一种行人框的示意图;
图4为本申请实施例提供的另一种行人监测方法的流程示意图;
图5为本申请实施例提供的另一种行人监测方法的流程示意图;
图6为本申请实施例提供的另一种行人监测方法的流程示意图;
图7为本申请实施例提供的一种行人监测装置的结构示意图;
图8为本申请实施例提供的一种行人监测装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例的执行主体为行人监测装置,行人监测装置可以是以下中的一种:手机、计算机、服务器、平板电脑。
在进行接下来的阐述之前,首先对本申请实施例中的像素坐标系进行定义。如图1所示,以图像A的右下角为像素坐标系的原点o、平行于图像A的行的方向为x轴的方向、平行于图像A的列的方向为y轴的方向,构建像素坐标系xoy。在像素坐标系下,横坐标用于表示图像A中的像素在图像A中的列数,纵坐标用于表示图像A中的像素在图像A中的行数,横坐标和纵坐标的单位均可以是像素。例如,假设图1中的像素a的坐标为(30,25),即像素a的横坐标为30个像素,像素a的纵坐标为25个像素,像素a为图像A中的第30列第25行的像素。
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参阅图2,图2是本申请实施例提供的一种行人监测方法的流程示意图。
201、获取至少一张第一待处理图像。
本申请实施例中,第一待处理图像的数量大于或等于1。第一待处理图像可以包含任意内容。例如,第一待处理图像可以包括道路。又例如,第一待处理图像可以包括道路和车辆。再例如,第一待处理图像可以包括人。再例如,第一待处理图像可以包括物体。本申请对第一待处理图像中的内容不做限定。
在一种获取至少一张第一待处理图像的实现方式中,行人监测装置接收用户通过输入组件输入的至少一张第一待处理图像。上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。
在另一种获取至少一张第一待处理图像的实现方式中,行人监测装置接收数据终端发送的至少一张第一待处理图像。上述数据终端可以是以下任意一种:手机、计算机、平板电脑、服务器。
在又一种获取至少一张第一待处理图像的实现方式中,行人监测装置接收监控摄像头发送的至少一张第一待处理图像。可选的,该监控摄像头部署于道路(包括:高速公路、快速公路、城市公路)。
在又一种获取至少一张第一待处理图像的实现方式中,行人监测装置接收监控摄像头发送的视频流,将视频流中的至少一张图像作为至少一张第一待处理图像。可选的,该监控摄像头部署于道路(包括:高速公路、快速公路、城市公路)。
202、对上述至少一张第一待处理图像进行行人检测处理,得到上述至少一张第一待处理图像中被监测行人的位置,作为第一位置。
本申请实施例中,通过对第一待处理图像进行行人检测处理,可确定第一待处理图像中是否包含行人。在第一待处理图像中包含行人的情况下,将该行人作为被监测行人,并得到被监测行人在第一待处理图像中的位置。上述位置可以是包含被监测行人的行人框的任意一对对角在像素坐标系下的坐标,例如,在图3中,第一待处理图像A包含被监测行人B。包含被监测行人B的行人框为a(x1,y1)b(x2,y2)c(x3,y3)d(x4,y4),则被监测行人B在第一待处理图像A中的位置可以是:a(x1,y1)和c(x3,y3),被监测行人B在第一待处理图像A中的位置也可以是:b(x2,y2)和d(x4,y4)。需要理解的是,图3中的行人框abcd是为了方便理解而画的,在得到被监测行人B在第一待处理图像A中的位置的过程中,第一待处理图像A内不存在矩形框abcd,而是直接给出点a的坐标和点c的坐标,或点b的坐标和点d的坐标。
在一种可能实现的方式中,对第一待处理图像进行行人检测处理可通过卷积神经网络实现。通过将多张带有标注信息的图像作为训练数据,对卷积神经网络进行训练,使训练后的卷积神经网络可完成对图像的行人检测处理。训练数据中的图像的标注信息为行人以及行人的位置。在使用训练数据对卷积神经网络进行训练的过程中,卷积神经网络从图像中提取出图像的特征数据,并依据特征数据确定图像中是否有行人,在图像中有行人的情况下,依据图像的特征数据得到行人的位置。以标注信息为监督信息监督卷积神经网络在训练过程中得到的结果,并更新卷积神经网络的参数,完成对卷积神经网络的训练。这样,可使用训练后的卷积神经网络对第一待处理图像进行处理,以得到第一待处理图像中的行人的位置。
在另一种可能实现的方式中,行人检测处理可通过行人检测算法实现,其中,行人检测算法可以是以下中的一种:只需一眼算法(you only look once,YOLO)、目标检测算法(deformable part model,DMP)、单张图像多目标检测算法(single shot multiBoxdetector,SSD)、Faster-RCNN算法等等,本申请对实现行人检测处理的行人检测算法不做具体限定。
在第一待处理图像的数量大于或等于2的情况下,分别对每一张第一待处理图像进行行人检测处理,得到每一张第一待处理图像中被监测行人的位置。将同一个被监测行人在所有第一待处理图像中的位置作为第一位置。例如(例1),至少一张第一待处理图像包括:第一待处理图像A和第一待处理图像B。对第一待处理图像A进行行人检测处理,得到被监测行人a的位置(下文将称为位置1)。对第一待处理图像B进行行人检测处理,得到被监测行人a的位置(下文将称为位置2)和被监测行人b的位置(下文将称为位置3)。此时,被监测行人a的第一位置包括:位置1和位置2,被监测行人b的第一位置包括:位置3。
203、依据上述第一位置,确定上述被监测行人的非法入侵监测结果。
本申请实施例中,被监测行人的非法入侵监测结果包括被监测行人非法入侵,或包括被监测行人未非法入侵。
在一种可能实现的方式中,至少一张第一待处理图像由道路上的监控摄像头采集。由于道路上的监控摄像头的监控区域固定,可在监控摄像头的监控区域内,确定与道路上的非机动非法入侵区域对应的区域,作为非法入侵区域,例如,在监控摄像头部署于高速道路上的情况下,可将监控区域内的高速道路区域作为非法入侵区域。这样,可在每一张第一待处理图像中确定非法入侵区域的范围。依据第一位置和非法入侵区域的范围,确定被监测行人是否处于非法入侵区域内。在确定被监测行人处于非法入侵区域内的情况下,确定被监测行人非法入侵。举例来说,第一待处理图像a通过快速道路上的摄像头采集得到。在第一待处理图像a中,快速道路所覆盖的区域为非法入侵区域。基于步骤201对第一待处理图像a进行处理,得到第一待处理图像a中的被监测行人A的第一位置。在依据被监测行人A的第一位置确定被监测行人A处于非法入侵区域内的情况下,确定被监测行人A非法入侵。在依据被监测行人A的第一位置确定被监测行人A未处于非法入侵区域内的情况下,确定被监测行人A非法入侵。
依据一张第一待处理图像中的被监测行人的位置与非法入侵区域的范围,确定被监测行人是否处于非法入侵区域内,可得到一个判断结果。在第一位置中包含至少2个被监测行人的位置的情况下,可分别依据每一个被监测行人的位置与非法入侵区域的范围,确定被监测行人是否处于非法入侵区域内,得到至少2个判断结果。在至少2个判断结果中不存在判断结果为被监测行人处于非法入侵区域内的情况下,确定被监测行人未非法入侵。在至少2个判断结果中存在判断结果为被监测行人处于非法入侵区域内的情况下,确定被监测行人非法入侵。接着例1继续举例,依据位置1和非法入侵区域的范围,得到的判断结果为被监测行人a处于非法入侵区域内。依据位置2和非法入侵区域的范围,得到的判断结果为被监测行人a不在非法入侵区域内。由于依据被监测行人a的第一位置得到的2个判断结果中,有一个判断结果为被监测行人a处于非法入侵区域内,确定被监测行人a非法入侵。
可选的,在第一位置中包含至少2个被监测行人的位置的情况下,依据每个被监测行人的位置,确定每个被监测行人的被监测行人框的中心点,得到中心点集合。依据每个被监测行人的位置,得到每个被监测行人的被监测行人框的长,得到长集合。依据每个被监测行人的位置,得到每个被监测行人的被监测行人框的宽,得到宽集合。确定中心点集合中中心点的坐标的均值,得到目标中心点。确定长集合中长的均值,得到目标长。确定宽集合中长的均值,得到目标宽。依据目标中心点、目标长和目标宽,得到被监测行人的目标位置。依据目标位置和非法入侵区域的范围,确定被监测行人是否处于非法入侵区域内。在确定被监测行人处于非法入侵区域内的情况下,确定被监测行人非法入侵。接着例1继续举例,假设:依据位置1得到以下信息:被监测行人框的第中心点(下文将称为第一中心点)的坐标为(3,6)、被监测行人框的长(下文将称为第一长)为5、被监测行人框的宽(下文将称为第一宽)为3,依据位置2得到以下信息:被监测行人框的中心点(下文将称为第二中心点)的坐标为(3,5)、被监测行人框的长(下文将称为第二长)为4、被监测行人框的宽(下文将称为第二宽)为3。中心点集合包括:第一中心点和第二中心点,长集合包括:第一长和第二长,宽集合包括:第一宽和第二宽。确定第一中心点的坐标和第二中心点的坐标的均值:((3+3)/2,(6+5)/2))=(3,5.5),即为目标中心点的坐标。确定第一长和第二长的均值:(5+4)/2=4.5,即为目标长。确定第一宽和第二宽的均值:(3+3)/2=2,即为目标宽。将目标中心点的坐标作为被监测行人的被监测行人框的两条对角线的交点的坐标,将目标长作为被监测行人的被监测行人框的长。将目标宽作为被监测行人的被监测行人框的宽,即可确定被监测行人的被监测行人框,进而可得到被监测行人的位置,进而可依据被监测行人的位置与非法入侵区域的范围,确定被监测行人是否非法入侵。在被监测行人的位置处于非法入侵区域内的情况下,确定被监测行人非法入侵。在被监测行人的位置未处于非法入侵区域内的情况下,确定被监测行人未非法入侵。
在另一种可能实现的方式中,实现步骤202的卷积神经网络还包括softmax层。将卷积层得到的第一位置输入至softmax层。通过softmax层内置的softmax函数,将第一位置映射成0至1之间的值,作为目标概率,其中,目标概率用于表征与第一位置对应的被监测行人非法入侵的概率。在目标概率大于或等于概率阈值的情况下,确定被监测行人非法入侵。在目标概率小于概率阈值的情况下,确定被监测行人未非法入侵。
本实施通过对至少一张第一待处理图像进行处理得到至少一张待处理图像中的被监测行人的第一位置,并依据第一位置确定被监测行人是否非法入侵,以达到基于道路上的监控摄像头采集到的图像,实现监测道路上的行人非法入侵的效果,从而在不增加监测成本的前提下,提高监测效率和监测准确率。
请参阅图4,图4是本申请实施例提供的步骤202的一种实现方式的流程示意图。
401、对上述至少一张第一待处理图像进行特征提取处理,得到至少一个第一特征数据。
本实施中,特征提取处理可通过已训练的卷积神经网络实现,也可通过特征提取模型实现,本申请对此不作限定。
通过对每一张第一待处理图像分别进行特征提取处理,可提取出每一张第一待处理图像中的内容及语义信息,得到的第一特征数据。在一种可能实现的方式中,通过至少两层卷积层对第一待处理图像逐层进行卷积处理,完成对第一待处理图像的特征提取处理。至少两层卷积层中的卷积层依次串联,即上一层卷一层的输出为下一层卷积层的输入,每层卷积层提取出的内容及语义信息均不一样,具体表现为,特征提取处理一步步地将第一待处理图像的特征抽象出来,同时也将逐步丢弃相对次要的特征数据,其中,相对次要的特征信息指除被监测行人的特征信息之外的特征信息。因此,越到后面提取出的特征数据的尺寸越小,但内容及语义信息更浓缩。通过多层卷积层逐级对第一待处理图像进行卷积处理,可在获得第一待处理图像中的内容信息及语义信息的同时,将第一待处理图像的尺寸缩小,减小行人监测装置的数据处理量,提高行人监测装置的运算速度。
在一种可能实现的方式中,卷积处理的实现过程如下:通过使卷积核在第一待处理图像上滑动,并将第一待处理图像上与卷积核的中心像素对应的像素称为目标像素。将第一待处理图像上的像素值与卷积核上对应的数值相乘,然后将所有相乘后的值相加得到卷积处理后的像素值。将卷积处理后的像素值作为目标像素的像素值。最终滑动处理完第一待处理图像,更新第一待处理图像中所有像素的像素值,完成对第一待处理图像的卷积处理,得到第一特征数据。示例性的,上述至少两层卷积层中的卷积核的尺寸均为3*3,卷积处理的步长为2。
402、依据上述至少一个第一特征数据,得到所述第一位置。
依据第一特征数据包含的信息,可确定第一待处理图像中被监测行人的位置。
在一种可能实现的方式中,依据第一特征数据包含的信息,确定第一待处理图像中的被监测行人,进而得到被监测行人在第一待处理图像中的位置。
在另一种可能实现的方式中,依据第一特征数据包含的信息,确定包含第一待处理图像中被监测行人的被监测行人框,并依据被监测行人框在第一待处理图像中的位置,得到被监测行人在第一待处理图像中的位置。
可选的,步骤402也可通过已训练的神经网络实现。
本申请实施例通过对第一待处理图像进行特征提取处理,得到第一特征数据。依据第一特征数据,得到第一待处理图像中的被监测行人的位置,可减小数据处理量,提高得到的被监测行人的位置的准确率。
由于本申请实施例提供的技术方案用于确定第一待处理图像中的被监测行人是否非法入侵,在进行后续处理前,需确定每一张第一待处理图像中是否包含被监测行人。作为一种可选的实施方式,在执行步骤401之前,可执行以下步骤:
41、对上述至少一张第一待处理图像进行特征提取处理,得到至少一个第二特征数据。
通过对第一待处理图像进行特征提取处理,得到一个第二特征数据。可选的,分别对每一张第一待处理图像进行特征提取处理,可得到至少一个第二特征数据。
对至少一张第一待处理图像进行特征提取处理得到至少一个第二特征数据的实现过程,可参见对至少一张第一待处理图像进行特征提取处理得到至少一个第一特征数据的实现过程,其中,第二特征数据与第一特征数据对应。需要理解的是,得到第一特征数据的卷积神经网络的结构与得到第二特征数据的卷积神经网络的结构可以相同,但得到第一特征数据的卷积神经网络的权重与得到第二特征数据的卷积神经网络的权重不同。
42、在基于上述至少一个第二特征数据确定上述至少一张第一待处理图像中包含行人的情况下,执行步骤401。
在确定第一待处理图像中包含行人的情况下,对第一待处理图像进行特征提取处理,得到第一特征数据。对于不包含行人的第一待处理图像,将不再对其执行步骤401。这样,可减少数据处理量,提高处理速度。
道路上通常包括机动车车道、非机动车道、人行道。在行人处于机动车道内,或行人处于非机动车道内的情况下,行人为非法入侵,在行人处于人行道的情况下,行人未非法入侵。
基于此,在确定被监测行人是否非法入侵的过程中,可将道路分为非法入侵区域和未非法入侵区域,其中,非法入侵区域包括机动车道区域和人行道区域,未非法入侵区域包括被监测行人道区域。在确定被监测行人的第一位置后,可依据被监测行人的第一位置,确定被监测行人是否处于非法入侵区域内,从而确定被监测行人是否非法入侵。
作为一种可选的实施方式,步骤203具体包括以下步骤:
21、在依据上述第一位置确定上述被监测行人位于非法入侵区域内的情况下,确定上述被监测行人非法入侵。
本申请实施例中,非法入侵区域包括上述非法入侵区域在第一待处理图像中的像素区域,且非法入侵区域可根据用户的使用情况进行调整。在一种可能实现的方式中,用户可在摄像头的监控区域内依次选取多个预设点,并将多个预设点依次连接,得到一个包含多个预设点的封闭的多边形,并将该多边形包含的区域作为非法入侵区域。例如,在将本申请实施例提供的技术方案,应用于监测高速道路上的被监测行人是否非法入侵的情况下,非法入侵区域可为高速道路覆盖像素区域。又例如,在将本申请实施例提供的技术方案,应用于监测快速道路上的被监测行人是否非法入侵的情况下,非法入侵区域可为快速道路覆盖的像素区域。
依据被监测行人的第一位置和非法入侵区域的所覆盖的范围,可确定被监测行人是否处于非法入侵区域内。在被监测行人处于非法入侵区域内的情况下,确定被监测行人非法入侵。在被监测行人未处于非法入侵区域内的情况下,确定被监测行人未非法入侵。
在一种可能实现的方式中(下文将成为第一种可能实现的方式),将与第一位置对应的行人框,作为目标行人框。在目标行人框的四个顶点均在非法入侵区域内的情况下,确定被监测行人处于非法入侵区域内,进而确定被监测行人非法入侵。在目标行人框的四个顶点中至少有一个顶点为处于非法入侵区域内的情况下,确定被监测行人未处于非法入侵区域内,进而确定被监测行人未非法入侵。
在另一种可能实现的方式中(下文将成为第二种可能实现的方式),将与第一位置对应的行人框,作为目标行人框。在目标行人框包围的区域全部处于非法入侵区域内的情况下,确定被监测行人处于非法入侵区域内,进而确定被监测行人非法入侵。在目标行人框包围的区域内存在特殊区域的区域情况下,确定被监测行人处于非法入侵区域内,进而确定被监测行人非法入侵,其中,特殊区域为未处于非法入侵区域内的区域。
作为一种可选的实施方式,步骤21具体包括以下步骤:
i、依据上述第一位置和上述非法入侵区域,得到上述被监测行人覆盖的区域与上述非法入侵区域的面积重合度。
由于特殊因素的存在,被监测行人的位置存在误差,其中,特殊因素包括:第一待处理图像的分辨率低、行人检测算法的精度低或行人检测模型的精度低。在被监测行人的位置存在误差的情况下,无论是依据第一种可能实现的方式确定被监测行人是否处于非法入侵区域内,还是依据第二种可能实现的方式确定被监测行人是否处于非法入侵区域内,均易出现误差,进而导致确定被监测行人是否非法入侵的准确率低。基于此,本步骤以被监测行人覆盖的区域与非法入侵区域的面积重合度为依据,确定被监测行人是否处于非法入侵区域内,以降低特殊因素的影响,从而提高确定被监测行人是否处于非法入侵区域内的准确率,进而提高确定被监测行人是否非法入侵的准确率。
将与第一位置对应的行人框,作为目标行人框。确定目标行人框包围的区域与非法入侵区域的重合区域。假设重合区域的面积为:s1,非法入侵区域的面积为:s2,面积重合度为:U。在一种确定面积重合度的实现方式中,s1、s2、U满足下式:
其中,k为正数。可选的,k=1。
在另一种确定面积重合度的实现方式中,s1、s2、U满足下式:
其中,k为正数,c为实数。可选的,k=1,c=0。
在又一种确定面积重合度的实现方式中,s1、s2、U满足下式:
其中,k为正数。可选的,k=1。
ii、在上述面积重合度大于或等于面积重合度阈值的情况下,确定上述被监测行人非法入侵。
面积重合度大于或等于面积重合度阈值,表征被监测行人处于非法入侵区域内的概率高,在面积重合度大于或等于面积重合度阈值的情况下,确定被监测行人处于非法入侵区域内,可降低特殊因素的影响,从而提高确定被监测行人是否处于非法入侵区域内的准确率。
本申请实施例以面积重合度为依据,确定被监测行人是否处于非法入侵区域内,以降低特殊因素的影响,从而提高确定被监测行人是否处于非法入侵区域内的准确率,进而提高确定被监测行人是否非法入侵的准确率。
为获取道路上的实时交通状况,道路上均部署有大量监控摄像头。使用本申请实施例提供的技术方案对监控摄像头采集的视频流进行处理,可实现对道路上的行人非法入侵的实时监测。
请参阅图5,图5为本申请实施例提供另一种行人监测方法的流程示意图。
501、获取待处理视频流。
本申请实施例中,行人监测装置与至少一个监控摄像头之间具有通讯连接。行人监测装置可从每个监控摄像头,获取监控摄像头实时采集的视频流,作为待处理视频流。
需要理解的是,与行人监测装置具有通讯连接的监控摄像头的数量并不是固定的,将监控摄像头的网络地址输入至行人监测装置,即可通过行人监测装置从监控摄像头获取监控摄像头实时采集的视频流。
举例来说(例2),相关执法人员希望使用本申请实施例提供的技术方案监测高速道路A上的行人非法入侵。相关执法人员可将高速道路A上的监控摄像头的网络地址输入至行人监测装置,即可通过行人监测装置获取高速道路A的监控摄像头实时采集的视频流。
502、对上述待处理视频流进行解码处理,得到上述至少一张第一待处理图像。
待处理视频流包含至少一帧图像,行人监测装置在对待处理视频流进行后续处理之前,可对待处理视频流进行解码处理,得到至少一帧图像,作为上述至少一张第一待处理图像。
举例来说,待处理视频流包括:图像a、图像b、图像c、图像d。对待处理视频流进行解码处理,得到4张第一待处理图像,分别为:图像a、图像b、图像c、图像d。
在通过步骤502得到至少一张第一待处理图像后,可基于本申请实施例提供的技术方案对至少一张第一待处理图像进行处理,确定至少一张第一待处理图像中是否包含行人,并在确定至少一张第一待处理图像中包含行人的情况下,确定行人是否非法入侵。以此,实现对道路上的行人非法入侵的实时监测。
以例2为例,通过对待处理视频进行解码处理,得到至少一张第一待处理图像。使用本申请实施例提供的技术方案对至少一张第一待处理图像进行处理,可确定高速道路A上是否有行人是否非法入侵。
第一待处理图像的图像质量越高,后续基于第一待处理图像,得到的第一位置的准确率就越高,确定第一待处理图像中的被监测行人是否非法入侵的准确率也就越高。为进一步提高确定第一待处理图像中的被监测行人是否非法入侵的准确率,作为一种可选的实施方式,步骤502具体包括以下步骤:
51、对上述待处理视频流进行解码处理,得到至少一张第二待处理图像。
本步骤的实现方式可参见步骤502,本步骤中的至少一张第二待处理图像与步骤502中的至少一张第一待处理图像对应。也就是说,在本步骤中,并不将对待处理视频流进行解码处理得到的图像,作为第一待处理图像,而是作为第二待处理图像。
52、依据图像质量评价指标,得到上述至少一张第二待处理图像的质量分数。
本申请实施例中,上述图像质量评价指标用于评价图像的质量。图像质量评价指标包括以下至少一个:图像的分辨率的高低、图像的信噪比的大小、图像的清晰程度,其中,图像的分辨率与图像质量呈正相关,图像的信噪比与图像质量呈正相关,图像的清晰程度与图像质量呈正相关。依据图像质量评价指标,可得到每一张第二待处理图像的质量分数。
举例来说,在第二待处理图像的分辨率大于或等于50每英寸的像素数(pixelsper inch,PPI)且小于或等于100PPI的情况下,评分增加1分。在第二待处理图像的分辨率大于100PPI且小于或等于150PPI的情况下,评分增加2分。在第二待处理图像的信噪比大于150PPI且小于或等于200PPI的情况下,评分增加3分。在第二待处理图像的分辨率大于250PPI且小于或等于300PPI的情况下,评分增加4分。在第二待处理图像的分辨率大于300PPI的情况下,评分增加5分。在第二待处理图像的信噪比大于20分贝且小于或等于30分贝的情况下,评分增加1分。在第二待处理图像的信噪比大于30分贝且小于或等于40分贝的情况下,评分增加2分。在第二待处理图像的信噪比大于40分贝且小于或等于50分贝的情况下,评分增加3分。在第二待处理图像的信噪比大于50分贝且小于或等于60分贝的情况下,评分增加4分。在第二待处理图像的信噪比大于60分贝的情况下,评分增加5分。此外,还可依据第二待处理图像的清晰度从1~5分中获得相应的分数,第二待处理图像的清晰度可通过一下一种算法得到:灰度方差函数、灰度方差乘积函数、能量梯度函数。最后将图像质量评价指标中的各项指标对应的分数相加,得到第二待处理图像的质量分数。
53、确定质量分数大于或等于质量分数阈值的第二待处理图像,作为上述至少一张第一待处理图像。
若第二待处理图像的质量分数小于质量分数阈值,表征第二待处理图像的图像质量差,对第二待处理图像进行处理,得到第一位置的准确率低,从而导致确定第一待处理图像中的被监测行人是否非法入侵的准确率低。因此,将质量分数大于或等于质量分数阈值的第二待处理图像,作为第一待处理图像,可提高确定第一待处理图像中的被监测行人是否非法入侵的准确率。
本实施基于道路上的监控摄像头采集到的视频流,得到至少一张第一待处理图像。由于监控摄像头均为道路上已有的设备,使用本申请实施例提供的技术方案对至少一张第一待处理图像进行处理,可在不增加成本的前提下,实现对道路上的行人非法入侵的实时监测。
为使相关执法人员在最短的时间内引导被监测行人离开非法入侵区域,作为一种可选的实施方式,在确定被监测行人非法入侵的情况下(即在监测结果包括被监测行人非法入侵的情况下),可执行与图6所示的流程示意图对应的方法:
601、获取采集上述至少一张第一待处理图像的摄像头的至少一个位置,作为至少一个第二位置。
本申请实施例中,摄像头的位置包括摄像头的经度信息和纬度信息。依据采集包含被监测行人的第一待处理图像的摄像头的位置,可确定被监测行人的位置,进而可引导相关执法人员到达被监测行人非法入侵的地点。
将采集包含被监测行人的至少一张第一待处理图像的摄像头的位置,作为至少一个第二位置。可选的,依据至少一个第二位置,得到非法入侵的被监测行人的行驶轨迹,有利于相关执法人员追踪非法入侵的被监测行人。
602、向终端发送包含上述至少一个第二位置的告警指令。
本申请实施例中,终端可以是以下中的一种:手机、计算机、平板电脑、服务器。
上述告警指令可以是语音提示信息,如:“非法入侵的行人出现在北纬23度3分,东经115度16分”。上述告警指令也可以是文字提示信息,如:在终端的显示界面上弹出包含至少一个第二位置的提示窗口,提示窗口内包含提示文字,如:“非法入侵的行人出现在北纬23度3分,东经115度16分”。本申请对此不做限定。
本申请实施例中,告警指令用于指示终端输出告警信息。终端在接收到告警指令后,输出相应的告警信息,以提示相关执法人员及时到达被监测行人非法入侵的位置,以引导被监测行人驶出非法入侵区域。
可选的,为方便相关执法人员准确确定非法入侵的被监测行人,被监测行人检测装置在接收到终端发送的针对所述被监测行人的属性查询请求的情况下,基于至少一张第一待处理图像,得到非法入侵的被监测行人的属性。上述属性包括以下至少一种:上衣颜色、裤子颜色、裤子长度、帽子款式、鞋子颜色、打不打伞、箱包类别、有无口罩、口罩颜色、体型、性别、发型、发色、动作、年龄段、是否戴眼镜、胸前是否抱东西。
在一种得到被监测行人的属性的实现方式中,依据上述至少一个第一特征数据携带的信息,可得到被监测行人的属性。
在另一种得到被监测行人的属性的实现方式中,将第一待处理图像输入至属性提取模型,可得到被监测行人的属性。属性提取模型可以是,以属性为标注信息的图像作为训练数据,训练得到的卷积神经网络。通过属性提取模型对一张第一待处理图像进行处理,得到该待处理图像中的被监测行人的属性。通过属性提取模型对所有第一待处理图像进行处理,得到被监测行人的所有属性。例如,至少一张第一待处理图像包括:第一待处理图像1和第一待处理图像2。通过对属性提取模型对第一待处理图像1进行处理,得到的被监测行人的属性包括:上衣颜色为白色、裤子颜色为白色、裤子长度为短裤。通过对属性提取模型对第一待处理图像2进行处理,得到的被监测行人的属性包括:发型为短发、发色为黑色。基于第一待处理图像1和第一待处理图像2,得到的被监测行人的属性包括:上衣颜色为白色、裤子颜色为白色、裤子长度为短裤、发型为短发、发色为黑色。
在得到被监测行人的属性后,行人检测装置向终端发送该被监测行人的属性。这样,相关执法人员可通过终端获知被监测行人的属性,以便根据被监测行人的属性确定非法入侵的行人。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参阅图7,图7为本申请实施例提供的一种行人监测装置的结构示意图,该装置1包括:第一获取单元11、第一处理单元12、第二处理单元13、第二获取单元14、发送单元15以及第三处理单元16,其中:
第一获取单元11,用于获取至少一张第一待处理图像;
第一处理单元12,用于对所述至少一张第一待处理图像进行行人检测处理,得到所述至少一张第一待处理图像中被监测行人的位置,作为第一位置;
第二处理单元13,用于依据所述第一位置,确定所述被监测行人的非法入侵监测结果。
结合本申请任一实施方式,所述第一获取单元11,用于:
获取待处理视频流;
对所述待处理视频流进行解码处理,得到所述至少一张第一待处理图像。
结合本申请任一实施方式,所述第一获取单元11,用于:
对所述待处理视频流进行解码处理,得到至少一张第二待处理图像;
依据图像质量评价指标,得到所述至少一张第二待处理图像的质量分数;所述图像质量评价指标包括以下至少一个:图像的分辨率的高低、图像的信噪比的大小、图像的清晰程度;
确定质量分数大于或等于质量分数阈值的第二待处理图像,作为所述至少一张第一待处理图像。
结合本申请任一实施方式,所述第二处理单元13,用于:
在依据所述第一位置确定所述被监测行人位于非法入侵区域内的情况下,确定所述被监测行人非法入侵。
结合本申请任一实施方式,所述第二处理单元13,用于:
依据所述第一位置和所述非法入侵区域,得到所述被监测行人覆盖的区域与所述非法入侵区域的面积重合度;
在所述面积重合度大于或等于面积重合度阈值的情况下,确定所述被监测行人非法入侵。
结合本申请任一实施方式,所述第一处理单元12,用于:
对所述至少一张第一待处理图像进行特征提取处理,得到至少一个第一特征数据;
依据所述至少一个第一特征数据,得到所述第一位置。
结合本申请任一实施方式,所述第一处理单元12,用于:
对所述至少一张第一待处理图像进行特征提取处理,得到至少一个第二特征数据;
在基于所述至少一个第二特征数据确定所述至少一张第一待处理图像中包含行人的情况下,执行所述对所述至少一张第一待处理图像进行特征提取处理,得到至少一个第一特征数据的步骤。
结合本申请任一实施方式,所述装置1还包括:
第二获取单元14,用于在所述监测结果包括所述被监测行人非法入侵的情况下,获取采集所述至少一张第一待处理图像的摄像头的至少一个位置,作为至少一个第二位置;
发送单元15,用于向终端发送包含所述至少一个第二位置的告警指令;所述告警指令用于指示所述终端输出告警信息。
结合本申请任一实施方式,所述装置1还包括:
第三处理单元16,用于在接收到所述终端发送的针对所述被监测行人的属性查询请求的情况下,基于所述至少一张第一待处理图像,得到所述被监测行人的属性;
所述发送单元15,用于向所述终端发送所述被监测行人的属性。
本实施通过对至少一张第一待处理图像进行处理得到至少一张待处理图像中的被监测行人的第一位置,并依据第一位置确定被监测行人是否非法入侵,以达到基于道路上的监控摄像头采集到的图像,实现监测道路上的行人非法入侵的效果,从而在不增加监测成本的前提下,提高监测效率和监测准确率。
在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
图8为本申请实施例提供的一种行人监测装置的硬件结构示意图。该行人监测装置2包括处理器21,存储器22,输入装置23,输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本申请实施例对此不作限定。应当理解,本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。
处理器21可以是一个或多个图形处理器(graphics processing unit,GPU),在处理器21是一个GPU的情况下,该GPU可以是单核GPU,也可以是多核GPU。可选的,处理器21可以是多个GPU构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他类型的处理器等等,本申请实施例不作限定。
存储器22可用于存储计算机程序指令,以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(random accessmemory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。
输入装置23用于输入数据和/或信号,以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件,也可以是一个整体的器件。
可理解,本申请实施例中,存储器22不仅可用于存储相关指令,还可用于存储相关数据,如该存储器22可用于存储通过输入装置23获取的第一待处理图像,又或者该存储器22还可用于存储通过处理器21得到的第一位置等等,本申请实施例对于该存储器中具体所存储的数据不作限定。
可以理解的是,图8仅仅示出了一种行人监测装置的简化设计。在实际应用中,行人监测装置还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、存储器等,而所有可以实现本申请实施例的行人监测装置都在本申请的保护范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatiledisc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,ROM)或随机存储存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。
Claims (13)
1.一种行人监测方法,其特征在于,所述方法包括:
获取至少一张第一待处理图像;
对所述至少一张第一待处理图像进行行人检测处理,得到所述至少一张第一待处理图像中被监测行人的位置,作为第一位置;
依据所述第一位置,确定所述被监测行人的非法入侵监测结果。
2.根据权利要求1所述的方法,其特征在于,所述获取至少一张第一待处理图像,包括:
获取待处理视频流;
对所述待处理视频流进行解码处理,得到所述至少一张第一待处理图像。
3.根据权利要求2所述的方法,其特征在于,所述对所述待处理视频流进行解码处理,得到所述至少一张第一待处理图像,包括:
对所述待处理视频流进行解码处理,得到至少一张第二待处理图像;
依据图像质量评价指标,得到所述至少一张第二待处理图像的质量分数;所述图像质量评价指标包括以下至少一个:图像的分辨率的高低、图像的信噪比的大小、图像的清晰程度;
确定质量分数大于或等于质量分数阈值的第二待处理图像,作为所述至少一张第一待处理图像。
4.根据权利要求1至3中任意一项所述的方法,其特征在于,所述依据所述第一位置,确定所述被监测行人的非法入侵监测结果,包括:
在依据所述第一位置确定所述被监测行人位于非法入侵区域内的情况下,确定所述被监测行人非法入侵。
5.根据权利要求4所述的方法,其特征在于,所述在依据所述第一位置确定所述被监测行人位于非法入侵区域内的情况下,确定所述被监测行人非法入侵,包括:
依据所述第一位置和所述非法入侵区域,得到所述被监测行人覆盖的区域与所述非法入侵区域的面积重合度;
在所述面积重合度大于或等于面积重合度阈值的情况下,确定所述被监测行人非法入侵。
6.根据权利要求1至5中任意一项所述的方法,其特征在于,所述对所述第一待处理图像进行行人检测处理,得到所述至少一张第一待处理图像中被监测行人的位置,作为第一位置,包括:
对所述至少一张第一待处理图像进行特征提取处理,得到至少一个第一特征数据;
依据所述至少一个第一特征数据,得到所述第一位置。
7.根据权利要求6所述的方法,其特征在于,在所述对所述第一待处理图像进行特征提取处理,得到第一特征数据之前,所述方法还包括:
对所述至少一张第一待处理图像进行特征提取处理,得到至少一个第二特征数据;
在基于所述至少一个第二特征数据确定所述至少一张第一待处理图像中包含行人的情况下,执行所述对所述至少一张第一待处理图像进行特征提取处理,得到至少一个第一特征数据的步骤。
8.根据权利要求1至7中任意一项所述的方法,其特征在于,所述方法还包括:
在所述监测结果包括所述被监测行人非法入侵的情况下,获取采集所述至少一张第一待处理图像的摄像头的至少一个位置,作为至少一个第二位置;
向终端发送包含所述至少一个第二位置的告警指令;所述告警指令用于指示所述终端输出告警信息。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
在接收到所述终端发送的针对所述被监测行人的属性查询请求的情况下,基于所述至少一张第一待处理图像,得到所述被监测行人的属性;
向所述终端发送所述被监测行人的属性。
10.一种行人监测装置,其特征在于,所述装置包括:
第一获取单元,用于获取至少一张第一待处理图像;
第一处理单元,用于对所述至少一张第一待处理图像进行行人检测处理,得到所述至少一张第一待处理图像中被监测行人的位置,作为第一位置;
第二处理单元,用于依据所述第一位置,确定所述被监测行人的非法入侵监测结果。
11.一种处理器,其特征在于,所述处理器用于执行如权利要求1至9中任意一项所述的方法。
12.一种电子设备,其特征在于,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如权利要求1至9中任一项所述的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行权利要求1至9中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010127430.5A CN111368688A (zh) | 2020-02-28 | 2020-02-28 | 行人监测方法及相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010127430.5A CN111368688A (zh) | 2020-02-28 | 2020-02-28 | 行人监测方法及相关产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111368688A true CN111368688A (zh) | 2020-07-03 |
Family
ID=71210149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010127430.5A Withdrawn CN111368688A (zh) | 2020-02-28 | 2020-02-28 | 行人监测方法及相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111368688A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111813997A (zh) * | 2020-09-08 | 2020-10-23 | 平安国际智慧城市科技股份有限公司 | 入侵分析方法、装置、设备及存储介质 |
CN111931661A (zh) * | 2020-08-12 | 2020-11-13 | 桂林电子科技大学 | 一种基于卷积神经网络的实时口罩佩戴检测方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070222566A1 (en) * | 2006-03-24 | 2007-09-27 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program |
CN102799862A (zh) * | 2012-06-29 | 2012-11-28 | 陕西省交通规划设计研究院 | 高清视频监控图像的行人快速定位、事件检测系统及方法 |
CN105957401A (zh) * | 2016-06-08 | 2016-09-21 | 上海汽车集团股份有限公司 | 基于车路协同的交叉路口行人防碰撞方法及其装置 |
CN106778645A (zh) * | 2016-12-24 | 2017-05-31 | 深圳云天励飞技术有限公司 | 一种图像处理方法及装置 |
CN107818651A (zh) * | 2017-10-27 | 2018-03-20 | 华润电力技术研究院有限公司 | 一种基于视频监控的非法越界报警方法及装置 |
CN108256404A (zh) * | 2016-12-29 | 2018-07-06 | 北京旷视科技有限公司 | 行人检测方法和装置 |
CN108830152A (zh) * | 2018-05-07 | 2018-11-16 | 北京红云智胜科技有限公司 | 深度学习网络和人工特征相联合的行人检测方法及系统 |
CN109961009A (zh) * | 2019-02-15 | 2019-07-02 | 平安科技(深圳)有限公司 | 基于深度学习的行人检测方法、系统、装置及存储介质 |
CN110134810A (zh) * | 2019-05-14 | 2019-08-16 | 深圳市商汤科技有限公司 | 检索图像的方法及装置 |
US20190354773A1 (en) * | 2018-05-16 | 2019-11-21 | 360Ai Solutions Llc | Methods and System for Detecting a Threat or Other Suspicious Activity in the Vicinity of a Person |
CN110491135A (zh) * | 2019-08-20 | 2019-11-22 | 深圳市商汤科技有限公司 | 检测违章停车的方法及相关装置 |
CN110782412A (zh) * | 2019-10-28 | 2020-02-11 | 深圳市商汤科技有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
-
2020
- 2020-02-28 CN CN202010127430.5A patent/CN111368688A/zh not_active Withdrawn
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070222566A1 (en) * | 2006-03-24 | 2007-09-27 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program |
CN102799862A (zh) * | 2012-06-29 | 2012-11-28 | 陕西省交通规划设计研究院 | 高清视频监控图像的行人快速定位、事件检测系统及方法 |
CN105957401A (zh) * | 2016-06-08 | 2016-09-21 | 上海汽车集团股份有限公司 | 基于车路协同的交叉路口行人防碰撞方法及其装置 |
CN106778645A (zh) * | 2016-12-24 | 2017-05-31 | 深圳云天励飞技术有限公司 | 一种图像处理方法及装置 |
CN108256404A (zh) * | 2016-12-29 | 2018-07-06 | 北京旷视科技有限公司 | 行人检测方法和装置 |
CN107818651A (zh) * | 2017-10-27 | 2018-03-20 | 华润电力技术研究院有限公司 | 一种基于视频监控的非法越界报警方法及装置 |
CN108830152A (zh) * | 2018-05-07 | 2018-11-16 | 北京红云智胜科技有限公司 | 深度学习网络和人工特征相联合的行人检测方法及系统 |
US20190354773A1 (en) * | 2018-05-16 | 2019-11-21 | 360Ai Solutions Llc | Methods and System for Detecting a Threat or Other Suspicious Activity in the Vicinity of a Person |
CN109961009A (zh) * | 2019-02-15 | 2019-07-02 | 平安科技(深圳)有限公司 | 基于深度学习的行人检测方法、系统、装置及存储介质 |
CN110134810A (zh) * | 2019-05-14 | 2019-08-16 | 深圳市商汤科技有限公司 | 检索图像的方法及装置 |
CN110491135A (zh) * | 2019-08-20 | 2019-11-22 | 深圳市商汤科技有限公司 | 检测违章停车的方法及相关装置 |
CN110782412A (zh) * | 2019-10-28 | 2020-02-11 | 深圳市商汤科技有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
程刚: "智能视频内容分析技术及功能应用", 《中国公共安全(综合版)》, no. 8, pages 128 - 132 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931661A (zh) * | 2020-08-12 | 2020-11-13 | 桂林电子科技大学 | 一种基于卷积神经网络的实时口罩佩戴检测方法 |
CN111813997A (zh) * | 2020-09-08 | 2020-10-23 | 平安国际智慧城市科技股份有限公司 | 入侵分析方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103093198B (zh) | 一种人群密度监测方法及装置 | |
CN107845264A (zh) | 一种基于视频监控的交通量采集系统及方法 | |
CN110659391A (zh) | 一种视频侦查方法及装置 | |
KR20210137213A (ko) | 이미지 처리 방법 및 장치, 프로세서, 전자 기기, 저장 매체 | |
Yu et al. | SAR ship detection based on improved YOLOv5 and BiFPN | |
CN111738225B (zh) | 人群聚集检测方法、装置、设备及存储介质 | |
CN111368688A (zh) | 行人监测方法及相关产品 | |
CN113537180B (zh) | 树障的识别方法、装置、计算机设备和存储介质 | |
Bai et al. | Inconspicuous adversarial patches for fooling image-recognition systems on mobile devices | |
CN111325171A (zh) | 异常停车监测方法及相关产品 | |
CN111047874A (zh) | 智能交通违章管理方法及相关产品 | |
CN113139428A (zh) | 目标识别方法、边缘设备、边防监控系统及可读存储介质 | |
US20210124990A1 (en) | Method and apparatus for computer vision | |
CN111950345A (zh) | 摄像头的识别方法、装置、电子设备和存储介质 | |
Ma et al. | Dynamic gesture contour feature extraction method using residual network transfer learning | |
CN117218622A (zh) | 路况检测方法、电子设备及存储介质 | |
Guo et al. | A domain‐adaptive method with cycle perceptual consistency adversarial networks for vehicle target detection in foggy weather | |
CN105469054A (zh) | 正常行为的模型构建方法及异常行为的检测方法 | |
CN111369753B (zh) | 非机动车监测方法及相关产品 | |
CN114220063A (zh) | 目标检测方法及装置 | |
CN113505643A (zh) | 违章目标物检测方法及相关装置 | |
CN114120436A (zh) | 动作识别模型的训练方法、动作识别方法及相关装置 | |
CN112215188A (zh) | 交警姿态识别方法、装置、设备及存储介质 | |
CN116823884A (zh) | 多目标跟踪方法、系统、计算机设备及存储介质 | |
CN104899548A (zh) | 一种方向盘上操作手数目视频检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200703 |
|
WW01 | Invention patent application withdrawn after publication |