CN111914704A - 一种三轮车载人的识别方法、装置、电子设备及存储介质 - Google Patents

一种三轮车载人的识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111914704A
CN111914704A CN202010697598.XA CN202010697598A CN111914704A CN 111914704 A CN111914704 A CN 111914704A CN 202010697598 A CN202010697598 A CN 202010697598A CN 111914704 A CN111914704 A CN 111914704A
Authority
CN
China
Prior art keywords
tricycle
area
human
human body
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010697598.XA
Other languages
English (en)
Other versions
CN111914704B (zh
Inventor
林昌伟
毛雷
周星宇
牛志博
张东萍
张德兵
周瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Deepglint Information Technology Co ltd
Original Assignee
Beijing Deepglint Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Deepglint Information Technology Co ltd filed Critical Beijing Deepglint Information Technology Co ltd
Priority to CN202010697598.XA priority Critical patent/CN111914704B/zh
Publication of CN111914704A publication Critical patent/CN111914704A/zh
Application granted granted Critical
Publication of CN111914704B publication Critical patent/CN111914704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本申请实施例中提供了一种三轮车载人的识别方法、装置、电子设备及存储介质,该方法包括:获取目标图像;在目标图像中检测一个或多个三轮车所在区域;三轮车所在区域包括在三轮车上方的人体;在各三轮车所在区域中检测人体数量;根据各三轮车所在区域中的人体数量,判断各三轮车是否载人。采用本申请中的方案,能够准确、高效地识别三轮车载人这一行为。

Description

一种三轮车载人的识别方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机视觉技术领域,尤其涉及一种三轮车载人的识别方法、装置、电子设备及存储介质。
背景技术
人工智能正在全球迅速崛起,已经影响了我们生活的方方面面。在智能交通系统中,城市道路或高速公路治安卡口及重点治安地段,结合高清摄像机,依靠视频图像处理技术,实时地对经过卡口的车辆、非机动车、行人进行全天候检测、抓拍与记录。相关法律明确规定:货运汽车、三轮车不准载人;但目前由于三轮车违法载人导致的交通事故很多。因此通过图像识别技术加强三轮车违法载人的审核机制有重要的意义。
现有的三轮车违法载人的判罚基本还是以人工审核的方式为主,或者使用传统图像识别算法检测人体。
在实现本申请的过程中,发明人发现,由于交通监控每天都有海量数据生成,通过人工审核的方式检测三轮车违法载人虽然精度比较高,但很浪费人力且耗时。另外,由于场景变化多样、三轮车外形变化多样,传统图像处理算法很难适配多样化的情况;由于三轮车正面背面侧面各种角度多样性、三轮车载人人与人之间互相遮挡严重等问题,基于传统图像识别的算法很难保证违法载人识别的准确性,会造成很多误报和漏检的情况,虽然比人工审核效率更快,但达不到高准确率的要求。
发明内容
本申请实施例中提供了一种三轮车载人的识别方法、装置、电子设备及存储介质,用于解决现有技术中三轮车违法载人识别准确率不高的问题。
根据本申请实施例的第一个方面,提供了一种三轮车载人的识别方法,包括:获取目标图像;在目标图像中检测一个或多个三轮车所在区域;三轮车所在区域包括在三轮车上方的人体;在各三轮车所在区域中检测人体数量;根据各三轮车所在区域中的人体数量,判断各三轮车是否载人。
根据本申请实施例的第二个方面,提供了一种三轮车载人的识别装置,包括:获取模块,用于获取目标图像;目标检测提取模块,用于在目标图像中检测一个或多个三轮车所在区域;三轮车所在区域包括在三轮车上方的人体;人体数量检测模块,用于在各三轮车所在区域中检测人体数量;后处理分析模块,用于根据各三轮车所在区域中的人体数量,判断各三轮车是否载人。
根据本申请实施例的第三个方面,提供了一种电子设备,电子设备包括:显示器,存储器,一个或多个处理器;以及一个或多个模块,一个或多个模块被存储在存储器中,并被配置成由一个或多个处理器执行,一个或多个模块包括用于执行上述方法中各个步骤的指令。
根据本申请实施例的第四个方面,提供了一种计算机可读存储介质,其上存储有计算机程序;计算机程序被处理器执行以实现上述方法。
采用本申请实施例中提供的三轮车载人的识别方法、装置、电子设备及存储介质,在目标图像中检测一个或多个三轮车所在区域;在各三轮车所在区域中检测人体数量;根据各三轮车所在区域中的人体数量,判断各三轮车是否载人;能够准确、高效地识别三轮车载人这一行为。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了根据本申请实施例一的三轮车载人的识别方法的流程图;
图2示出了根据本申请实施例二的三轮车载人的识别装置的结构框图;
图3示出了根据本申请实施例三的电子设备的结构示意图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白,以下结合附图对本申请的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本申请的一部分实施例,而不是所有实施例的穷举。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
实施例一
图1示出了根据本申请实施例一的三轮车载人的识别方法的流程图。
如图1所示,根据本申请实施例一的三轮车载人的识别方法包括如下步骤:
S101,获取目标图像。
在具体实施时,可以以多种方式获取目标图像,例如,从监控视频流中提取目标图像。
S102,在目标图像中检测一个或多个三轮车所在区域。
在具体实施时,在目标图像中检测一个或多个三轮车所在区域,具体可以包括:在目标图像中用多个不同大小和长宽比的矩形框标定出各物体;通过卷积神经网络对各矩形框中的物体进行分类,以确定各矩形框中物体的类别和位置信息;根据类别,确定目标图像中一个或多个三轮车分别所在的矩形框;并将各矩形框对应的位置作为三轮车所在区域。
在具体实施时,本步骤用以区分出机动车、行人、二轮车、三轮车,从而排除三轮车以外的近似目标,并且可以输出三轮车在图片中的位置,然后将三轮车的区域输出给后面的步骤进行非法载人识别。
具体地,一张图片里可能包含多个物体,为有效区分出机动车、行人、二轮车、三轮车,可以预先在图片中设置很多不同大小和长宽比的矩形框(也可以称为锚框),通过卷积神经网络(CNN)对每个锚框进行分类以及边框回归的学习,从而可以得到不同物体的类别和位置信息。
具体地,在经预先由大量监督数据训练好的CNN识别后,每张图片的输出格式可以是在图像中用矩形框标定出各个物体的位置以及类别(三轮车位置需要包含人体的完整区域),每张图片的输出格式可以表示为:
image_rgb,[(x,y,w,h,cls),…,(x,y,w,h,cls)],
image_rgb表示图像像素的rgb信息,x,y,w,h表示每个物体矩形框的左上角坐标以及长和宽,cls表示物体的类别。
S103,在各三轮车所在区域中检测人体数量。
在具体实施时,在各三轮车所在区域中检测人体数量,具体可以包括下述方式中的任意一种或多种:在三轮车所在区域的图片中执行人体框和人体关键点检测,并根据人体框和人体关键点的置信度确定人体数量;或者在三轮车所在区域的图片中检测人头中心的热力图响应值,并根据人头中心的热力图响应值确定人体数量;或者在三轮车所在区域的图片中执行人头检测,并根据人头数量确定人体数量。
在具体实施时,在三轮车所在区域的图片中执行人体框和人体关键点检测,并根据人体框和人体关键点的置信度确定人体数量,具体可以包括:在三轮车所在区域的图片中标定人体矩形框和人体关键点的位置;对人体矩形框和人体关键点进行置信度判断;当人体矩形框的置信度超过第一预定阈值时,且人体矩形框中人体关键点的置信度超过第二预定阈值的数量大于第三预定阈值时,判断为有效人体;将三轮车所在区域中的有效人体数量,作为三轮车所在区域中检测到的人体数量。
具体地,人体矩形框和人体关键点的置信度的计算可以采用本领域技术人员的常规技术,此处不赘述。
具体地,第一预定阈值可以设置为如0.3、0.4、0.5等的值;第二预定阈值可以设置为如3、4、5等小于等于17的值;第三预定阈值可以设定为如0.2、0.3、0.4的值,本申请对此不作限制。
人体关键点检测可以通过检测人体17个关键点部位,来判断人体姿态以及人体数量。具体地,可以在三轮车区域图片里标定人体矩形框位置并识别人体17个关键点的位置,人体的17个关键点的位置包括以下位置:头顶、左耳、右耳、鼻子、脖子、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左髋部、右髋部、左膝、右膝、左脚踝、右脚踝。
在检测完人体坐标框和关键点之后,进一步判断人体坐标框和每个关键点的置信度;以过滤掉置信度低的“无效人体”,过滤方法可以设置如下:当关键点置信度大于0.2的个数大于3,且人体框的置信度大于0.3时,认为是有效人体。
在具体实施时,在三轮车所在区域的图片中检测人头中心的热力图响应值,并根据人头中心的热力图响应值确定人体数量,具体可以包括:在三轮车所在区域的图片中标定人头中心,并对三轮车所在区域的图像进行特征提取,生成人体热力图;确定标定的人头中心位置对应的热力图响应值;将热力图响应值大于第四预定阈值的数量,作为三轮车所在区域中检测到的人体数量。
热力图可以反应人群密度,可以生成人体区域的热力图,人群密集的区域热力图响应越强,则认为存在非法载人的可能性越大。具体地,可以在三轮车区域图片里的每个人人头中心处标记一个点,用以表示一个人;并对三轮车区域图片进行特征提取,生成热力图,在标定的人头部位会有高强度的响应值,其他部位或背景区域几乎不会有响应,统计响应值大于某阈值的点的个数,点的个数即为对应的人体数量。
在具体实施时,在三轮车所在区域的图片中执行人头检测,并根据人头数量确定人体数量,具体可以包括:通过卷积神经网络模型对三轮车所在区域的图片进行特征提取、分类和回归,确定三轮车所在区域的图片中的人头位置;将人头的数量,作为三轮车所在区域中检测到的人体数量。
相对于完整人体,人头检测在密集情况下遮挡更少,检测相对更准确。具体地,可以在三轮车区域图片里用最小矩形框标定人头的位置,图片经过CNN模型进行特征提取,生成人头的建议区域,然后对建议区域进一步做分类和回归,得到最终人头的位置;并以人头的数量作为人体的数量。
S104,根据各三轮车所在区域内的人体数量,判断各三轮车是否载人。
具体地,可以采用上述三种人体数量检测方式中的任意一种单独做出违法载人的判断。也可以采用上述三种人体数量检测方式中的任意两种或全部三种方式。
在具体实施时,当在各三轮车所在区域中检测人体数量,包括任意一种方式时,根据人体数量,判断三轮车是否载人,具体可以包括:当一个三轮车所在区域的图片中的人体数量大于等于2时,判断三轮车载人;否则,判断三轮车未载人。
在各三轮车所在区域中检测人体数量,包括任意两种或全部三种方式时,根据人体数量,判断三轮车是否载人,具体可以包括:当检测到的人体数量大于1的方式有大于等于两种时,判断三轮车载人;或者当检测到的人体数量大于2的方式有大于等于一种时,判断三轮车载人;否则,判断三轮车未载人。
具体地,设上述三种方式输出人体的数目分别为num_keypoint、num_heatmap、num_head,其中
大于1的个数为:
count_gt1=int(num_keypoint>1+num_heatmap>1+num_head>1)
大于2的个数为:
count_gt2=int(num_keypoint>2+num_heatmap>2+num_head>2)
(1)如果count_gt1>=2,输出违法;否则,
(2)如果count_gt2>=1,输出违法;否则,
(3)输出不违法。
在不考虑识别速度的情况下,综合人体数量检测方式的种数越多,则结果更合理准确。
采用本申请实施例中提供的三轮车载人的识别方法,在目标图像中检测一个或多个三轮车所在区域;在各三轮车所在区域中检测人体数量;根据人体数量,判断三轮车是否载人;能够准确、高效地识别三轮车载人这一行为。
基于同一发明构思,本申请实施例中还提供了一种三轮车载人的识别装置,由于该装置解决问题的原理与本申请实施例一所提供的方法相似,因此该装置的实施可以参见方法的实施,重复之处不再赘述。
实施例二
图2示出了根据本申请实施例二的三轮车载人的识别装置的结构框图。
如图2所示,根据本申请实施例二的三轮车载人的识别装置200包括:获取模块201,用于获取目标图像;目标检测提取模块202,用于在目标图像中检测一个或多个三轮车所在区域;三轮车所在区域包括在三轮车上方的人体;人体数量检测模块203,用于在各三轮车所在区域中检测人体数量;后处理分析模块204,用于根据人体数量,判断三轮车是否载人。
在具体实施时,目标检测提取模块,具体可以用于:在目标图像中用多个不同大小和长宽比的矩形框标定出各物体;通过卷积神经网络对各矩形框中的物体进行分类,以确定各矩形框中物体的类别和位置信息;根据类别,确定目标图像中一个或多个三轮车分别所在的矩形框;并将各矩形框对应的位置作为三轮车所在区域。
在具体实施时,人体数量检测模块,具体可以包括下述单元中的任意一个或多个:人体关键点检测单元,用于在三轮车所在区域的图片中执行人体框和人体关键点检测,并根据人体框和人体关键点的置信度确定人体数量;或者人群密度估计单元,用于在三轮车所在区域的图片中检测人头中心的热力图响应值,并根据人头中心的热力图响应值确定人体数量;或者人头检测单元,用于在三轮车所在区域的图片中执行人头检测,并根据人头数量确定人体数量。
在具体实施时,人体关键点检测单元,具体可以用于:在三轮车所在区域的图片中标定人体矩形框和人体关键点的位置;对人体矩形框和人体关键点进行置信度判断;当人体矩形框的置信度超过第一预定阈值时,且人体矩形框中人体关键点的置信度超过第二预定阈值的数量大于第三预定阈值时,判断为有效人体;将三轮车所在区域中的有效人体数量,作为三轮车所在区域中检测到的人体数量。
在具体实施时,人群密度估计单元,具体可以用于:在三轮车所在区域的图片中标定人头中心,并对三轮车所在区域的图像进行特征提取,生成人体热力图;确定标定的人头中心位置对应的热力图响应值;将热力图响应值大于第四预定阈值的数量,作为三轮车所在区域中检测到的人体数量。
在具体实施时,人头检测单元,具体可以用于:通过卷积神经网络模型对三轮车所在区域的图片进行特征提取、分类和回归,确定三轮车所在区域的图片中的人头位置;将人头的数量,作为三轮车所在区域中检测到的人体数量。
在具体实施时,当在各三轮车所在区域中检测人体数量,包括任意一种方式时,后处理分析模块,具体可以用于:当一个三轮车所在区域的图片中的人体数量大于等于2时,判断三轮车载人;否则,判断三轮车未载人。
当在各三轮车所在区域中检测人体数量,包括任意两种或全部三种方式时,后处理分析模块,具体可以用于:当检测到的人体数量大于1的方式有大于等于两种时,判断三轮车载人;或者当检测到的人体数量大于2的方式有大于等于一种时,判断三轮车载人;否则,判断三轮车未载人。
采用本申请实施例中提供的三轮车载人的识别装置,在目标图像中检测一个或多个三轮车所在区域;在各三轮车所在区域中检测人体数量;根据人体数量,判断三轮车是否载人;能够准确、高效地识别三轮车载人这一行为。
基于同一发明构思,本申请实施例中还提供了一种电子设备,由于该设备解决问题的原理与本申请实施例一所提供的方法相似,因此该设备的实施可以参见方法的实施,重复之处不再赘述。
实施例三
图3示出了根据本申请实施例三的电子设备的结构示意图。
如图3所示,根据本申请实施例三的电子设备300包括:显示器301,存储器302,一个或多个处理器303;以及一个或多个模块,一个或多个模块被存储在存储器中,并被配置成由一个或多个处理器执行,一个或多个模块包括用于执行本申请实施例一的三轮车载人的识别方法中各个步骤的指令。
采用本申请实施例中提供的电子设备,在目标图像中检测一个或多个三轮车所在区域;在各三轮车所在区域中检测人体数量;根据人体数量,判断三轮车是否载人;能够准确、高效地识别三轮车载人这一行为。
基于同一发明构思,本申请实施例中还提供了一种计算机可读存储介质,由于该计算机可读存储介质解决问题的原理与本申请实施例一所提供的方法相似,因此该计算机可读存储介质的实施可以参见方法的实施,重复之处不再赘述。
实施例四
根据本申请实施例四的计算机可读存储介质,其上存储有计算机程序;计算机程序被处理器执行以实现上述方法。
采用本申请实施例中提供的计算机可读存储介质,在目标图像中检测一个或多个三轮车所在区域;在各三轮车所在区域中检测人体数量;根据人体数量,判断三轮车是否载人;能够准确、高效地识别三轮车载人这一行为。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (16)

1.一种三轮车载人的识别方法,其特征在于,包括:
获取目标图像;
在所述目标图像中检测一个或多个三轮车所在区域;所述三轮车所在区域包括在三轮车上方的人体;
在各三轮车所在区域中检测人体数量;
根据各三轮车所在区域中的人体数量,判断各三轮车是否载人。
2.根据权利要求1所述的方法,其特征在于,在所述目标图像中检测一个或多个三轮车所在区域,具体包括:
在所述目标图像中用多个不同大小和长宽比的矩形框标定出各物体;
通过卷积神经网络对各矩形框中的物体进行分类,以确定各矩形框中物体的类别和位置信息;
根据所述类别,确定所述目标图像中一个或多个三轮车分别所在的矩形框;并将各矩形框对应的位置作为三轮车所在区域。
3.根据权利要求1所述的方法,其特征在于,在各三轮车所在区域中检测人体数量,具体包括下述方式中的任意一种或多种:
在所述三轮车所在区域的图片中执行人体框和人体关键点检测,并根据人体框和人体关键点的置信度确定人体数量;或者
在所述三轮车所在区域的图片中检测人头中心的热力图响应值,并根据人头中心的热力图响应值确定人体数量;或者
在所述三轮车所在区域的图片中执行人头检测,并根据人头数量确定人体数量。
4.根据权利要求3所述的方法,其特征在于,在所述三轮车所在区域的图片中执行人体框和人体关键点检测,并根据人体框和人体关键点的置信度确定人体数量,具体包括:
在所述三轮车所在区域的图片中标定人体矩形框和人体关键点的位置;
对所述人体矩形框和人体关键点进行置信度判断;
当人体矩形框的置信度超过第一预定阈值时,且所述人体矩形框中人体关键点的置信度超过第二预定阈值的数量大于第三预定阈值时,判断为有效人体;
将所述三轮车所在区域中的有效人体数量,作为所述三轮车所在区域中检测到的人体数量。
5.根据权利要求3所述的方法,其特征在于,在所述三轮车所在区域的图片中检测人头中心的热力图响应值,并根据人头中心的热力图响应值确定人体数量,具体包括:
在所述三轮车所在区域的图片中标定人头中心,并对所述三轮车所在区域的图像进行特征提取,生成人体热力图;
确定标定的人头中心位置对应的热力图响应值;
将所述热力图响应值大于第四预定阈值的数量,作为所述三轮车所在区域中检测到的人体数量。
6.根据权利要求3所述的方法,其特征在于,在所述三轮车所在区域的图片中执行人头检测,并根据人头数量确定人体数量,具体包括:
通过卷积神经网络模型对所述三轮车所在区域的图片进行特征提取、分类和回归,确定所述三轮车所在区域的图片中的人头位置;
将所述人头的数量,作为所述三轮车所在区域中检测到的人体数量。
7.根据权利要求3所述的方法,其特征在于,
当在各三轮车所在区域中检测人体数量,包括任意一种方式时,根据各三轮车所在区域中的人体数量,判断各三轮车是否载人,具体包括:当一个三轮车所在区域的图片中的人体数量大于等于2时,判断三轮车载人;否则,判断三轮车未载人;
当在各三轮车所在区域中检测人体数量,包括任意两种或全部三种方式时,根据各三轮车所在区域中的人体数量,判断各三轮车是否载人,具体包括:当检测到的人体数量大于1的方式有大于等于两种时,判断三轮车载人;或者当检测到的人体数量大于2的方式有大于等于一种时,判断三轮车载人;否则,判断三轮车未载人。
8.一种三轮车载人的识别装置,其特征在于,包括:
获取模块,用于获取目标图像;
目标检测提取模块,用于在所述目标图像中检测一个或多个三轮车所在区域;所述三轮车所在区域包括在三轮车上方的人体;
人体数量检测模块,用于在各三轮车所在区域中检测人体数量;
后处理分析模块,用于根据各三轮车所在区域中的人体数量,判断各三轮车是否载人。
9.根据权利要求8所述的装置,其特征在于,目标检测提取模块,具体用于:
在所述目标图像中用多个不同大小和长宽比的矩形框标定出各物体;
通过卷积神经网络对各矩形框中的物体进行分类,以确定各矩形框中物体的类别和位置信息;
根据所述类别,确定所述目标图像中一个或多个三轮车分别所在的矩形框;并将各矩形框对应的位置作为三轮车所在区域。
10.根据权利要求8所述的装置,其特征在于,人体数量检测模块,具体包括下述单元中的任意一个或多个:
人体关键点检测单元,用于在所述三轮车所在区域的图片中执行人体框和人体关键点检测,并根据人体框和人体关键点的置信度确定人体数量;或者
人群密度估计单元,用于在所述三轮车所在区域的图片中检测人头中心的热力图响应值,并根据人头中心的热力图响应值确定人体数量;或者
人头检测单元,用于在所述三轮车所在区域的图片中执行人头检测,并根据人头数量确定人体数量。
11.根据权利要求10所述的装置,其特征在于,人体关键点检测单元,具体用于:
在所述三轮车所在区域的图片中标定人体矩形框和人体关键点的位置;
对所述人体矩形框和人体关键点进行置信度判断;
当人体矩形框的置信度超过第一预定阈值时,且所述人体矩形框中人体关键点的置信度超过第二预定阈值的数量大于第三预定阈值时,判断为有效人体;
将所述三轮车所在区域中的有效人体数量,作为所述三轮车所在区域中检测到的人体数量。
12.根据权利要求10所述的装置,其特征在于,人群密度估计单元,具体用于:
在所述三轮车所在区域的图片中标定人头中心,并对所述三轮车所在区域的图像进行特征提取,生成人体热力图;
确定标定的人头中心位置对应的热力图响应值;
将所述热力图响应值大于第四预定阈值的数量,作为所述三轮车所在区域中检测到的人体数量。
13.根据权利要求10所述的装置,其特征在于,人头检测单元,具体用于:
通过卷积神经网络模型对所述三轮车所在区域的图片进行特征提取、分类和回归,确定所述三轮车所在区域的图片中的人头位置;
将所述人头的数量,作为所述三轮车所在区域中检测到的人体数量。
14.根据权利要求10所述的装置,其特征在于,
当在各三轮车所在区域中检测人体数量,包括任意一种方式时,所述后处理分析模块,具体用于:当一个三轮车所在区域的图片中的人体数量大于等于2时,判断三轮车载人;否则,判断三轮车未载人;
当在各三轮车所在区域中检测人体数量,包括任意两种或全部三种方式时,所述后处理分析模块,具体用于:当检测到的人体数量大于1的方式有大于等于两种时,判断三轮车载人;或者当检测到的人体数量大于2的方式有大于等于一种时,判断三轮车载人;否则,判断三轮车未载人。
15.一种电子设备,其特征在于,所述电子设备包括:显示器,存储器,一个或多个处理器;以及一个或多个模块,所述一个或多个模块被存储在所述存储器中,并被配置成由所述一个或多个处理器执行,所述一个或多个模块包括用于执行权利要求1-7中任一所述方法中各个步骤的指令。
16.一种计算机可读存储介质,其特征在于,其上存储有计算机程序;所述计算机程序被处理器执行以实现如权利要求1-7任一项所述的方法。
CN202010697598.XA 2020-07-20 2020-07-20 一种三轮车载人的识别方法、装置、电子设备及存储介质 Active CN111914704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010697598.XA CN111914704B (zh) 2020-07-20 2020-07-20 一种三轮车载人的识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010697598.XA CN111914704B (zh) 2020-07-20 2020-07-20 一种三轮车载人的识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111914704A true CN111914704A (zh) 2020-11-10
CN111914704B CN111914704B (zh) 2024-03-19

Family

ID=73280500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010697598.XA Active CN111914704B (zh) 2020-07-20 2020-07-20 一种三轮车载人的识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111914704B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395976A (zh) * 2020-11-17 2021-02-23 杭州海康威视系统技术有限公司 一种摩托车载人识别方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018076392A1 (zh) * 2016-10-25 2018-05-03 深圳大学 一种基于人体头顶部识别的行人统计方法及装置
CN108009466A (zh) * 2016-10-28 2018-05-08 北京旷视科技有限公司 行人检测方法和装置
CN109272487A (zh) * 2018-08-16 2019-01-25 北京此时此地信息科技有限公司 一种基于视频的公共区域内人群的数量统计方法
US20190279014A1 (en) * 2016-12-27 2019-09-12 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting object keypoint, and electronic device
WO2019223655A1 (zh) * 2018-05-22 2019-11-28 杭州海康威视数字技术股份有限公司 非机动车载人的检测
CN110674729A (zh) * 2019-09-20 2020-01-10 澳门理工学院 基于热能估算的人数识别方法、计算机装置及计算机可读存储介质
CN111062239A (zh) * 2019-10-15 2020-04-24 平安科技(深圳)有限公司 人体目标检测方法、装置、计算机设备及存储介质
CN111339903A (zh) * 2020-02-21 2020-06-26 河北工业大学 一种多人人体姿态估计方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018076392A1 (zh) * 2016-10-25 2018-05-03 深圳大学 一种基于人体头顶部识别的行人统计方法及装置
CN108009466A (zh) * 2016-10-28 2018-05-08 北京旷视科技有限公司 行人检测方法和装置
US20190279014A1 (en) * 2016-12-27 2019-09-12 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting object keypoint, and electronic device
WO2019223655A1 (zh) * 2018-05-22 2019-11-28 杭州海康威视数字技术股份有限公司 非机动车载人的检测
CN110516518A (zh) * 2018-05-22 2019-11-29 杭州海康威视数字技术股份有限公司 一种非机动车违法载人检测方法、装置及电子设备
CN109272487A (zh) * 2018-08-16 2019-01-25 北京此时此地信息科技有限公司 一种基于视频的公共区域内人群的数量统计方法
CN110674729A (zh) * 2019-09-20 2020-01-10 澳门理工学院 基于热能估算的人数识别方法、计算机装置及计算机可读存储介质
CN111062239A (zh) * 2019-10-15 2020-04-24 平安科技(深圳)有限公司 人体目标检测方法、装置、计算机设备及存储介质
CN111339903A (zh) * 2020-02-21 2020-06-26 河北工业大学 一种多人人体姿态估计方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395976A (zh) * 2020-11-17 2021-02-23 杭州海康威视系统技术有限公司 一种摩托车载人识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111914704B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN110136449B (zh) 基于深度学习的交通视频车辆违停自动识别抓拍的方法
Hadi et al. Vehicle detection and tracking techniques: a concise review
CN111368687A (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
WO2019223655A1 (zh) 非机动车载人的检测
CN105702048B (zh) 基于行车记录仪的高速公路前车违法占道识别系统及方法
CN109740424A (zh) 交通违规识别方法及相关产品
CN105760847B (zh) 一种对摩托车驾驶员头盔佩戴情况的视觉检测方法
CN109493609A (zh) 一种便携式未礼让行人自动识别抓拍的装置和方法
CN111832461B (zh) 一种基于视频流的非机动车骑行人员头盔佩戴检测方法
CN106991820A (zh) 违规车辆处理方法及装置
CN102768726B (zh) 一种预防行人碰撞的行人检测方法
CN110032947B (zh) 一种监控事件发生的方法及装置
CN110866479A (zh) 一种检测摩托车驾驶员未戴头盔的方法、装置及系统
CN112071084A (zh) 一种利用深度学习判断违章停车的方法和系统
CN109558790B (zh) 一种行人目标检测方法、装置及系统
CN105046948A (zh) 一种黄色网格线区域内交通违章停车监测系统和方法
Padmini et al. Real time automatic detection of motorcyclists with and without a safety helmet
CN110147731A (zh) 车辆类型识别方法及相关产品
CN112395976A (zh) 一种摩托车载人识别方法、装置、设备及存储介质
CN108520528A (zh) 基于改进差分阈值和位移匹配模型的移动车辆跟踪方法
Santos et al. Car recognition based on back lights and rear view features
CN111914704B (zh) 一种三轮车载人的识别方法、装置、电子设备及存储介质
CN112488042A (zh) 一种基于视频分析的行人通行瓶颈判别方法及系统
CN107993446A (zh) 一种交通禁停区域违章停车监测装置
CN115187886A (zh) 一种车辆违规行为检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant