CN117197796A - 一种车辆遮挡识别方法及相关装置 - Google Patents

一种车辆遮挡识别方法及相关装置 Download PDF

Info

Publication number
CN117197796A
CN117197796A CN202311159865.8A CN202311159865A CN117197796A CN 117197796 A CN117197796 A CN 117197796A CN 202311159865 A CN202311159865 A CN 202311159865A CN 117197796 A CN117197796 A CN 117197796A
Authority
CN
China
Prior art keywords
target vehicle
detection frame
key point
vehicle
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311159865.8A
Other languages
English (en)
Inventor
周永哲
陆晓栋
吴忠人
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202311159865.8A priority Critical patent/CN117197796A/zh
Publication of CN117197796A publication Critical patent/CN117197796A/zh
Pending legal-status Critical Current

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本申请公开了一种车辆遮挡识别方法及相关装置,涉及人工智能领域。本申请中,服务器处理监控场景下的连续多帧图像,针对目标图像中的目标车辆,获得目标车辆的第一检测框,与目标车辆的参考检测框的大小对比结果,若大小比对结果表征目标车辆未完整呈现,且有效关键点集不满足预设的关键点组合规则时,确定目标车辆被一个关联对象遮挡。这样,通过不同检测框的重合度判断是否存在遮挡现象的同时,基于目标车辆当前的检测框与历史未遮挡检测框大小对比结果,可以保证目标车辆的检测框的可信度,避免了检测框不完整导致的遮挡识别结果不准确的问题,并采用关键点检测的方法,进行遮挡现象的进一步判断,从而更加提高了遮挡识别结果的准确度。

Description

一种车辆遮挡识别方法及相关装置
技术领域
本申请涉及人工智能领域,尤其涉及一种车辆遮挡识别方法及相关装置。
背景技术
随着基于深度学习和机器学习的计算机视觉技术的发展,计算机视觉技术迅速在交通监控领域发展了起来,对车辆目标进行检测跟踪,通过目标位置、运动轨迹可以进行违章停车、变道、逆行、倒车、压线等违章行为识别,但由于车辆间的相互遮挡,会导致针对车辆的检测结果不准确,进而导致违章行为识别错误。
相关技术下,现有的车辆遮挡识别方法是获取画面中各车辆的检测框,并根据不同检测框的重合度,来判断车辆之间是否存在遮挡。
然而,采用上述方法时,被遮挡车辆的检测框可能不包含被遮挡部分,即被遮挡车辆的检测框不完整,使得原本被遮挡的车辆被误判为未被遮挡,导致遮挡识别结果不准确。
例如,参阅图1所示,其为一种车辆遮挡识别的场景示意图,其中,车辆A的前半部分被车辆B遮挡,而车辆A的检测框未包含其被遮挡的部分,最终的遮挡识别结果为车辆A未被遮挡,与实际情况并不相符。
有鉴于此,需要提出一种有效的车辆遮挡识别方法,提高车辆遮挡的识别准确度,进而提升交通违章事件的判断准确率。
发明内容
本申请提供了一种车辆遮挡识别方法及相关装置,用以提高车辆遮挡识别的准确度。
第一方面,本申请实施例提供了一种车辆遮挡识别方法,所述方法包括:
获得目标图像中待识别的目标车辆及至少一个关联对象各自的检测框,以及目标车辆的有效关键点集,其中,关联对象为存在遮挡目标车辆可能性的图像元素,有效关键点为:目标车辆上未被遮挡的用于确定目标车辆轮廓的位置点;
针对至少一个关联对象,分别执行以下操作:
获得目标车辆的第一检测框,与目标车辆的参考检测框的大小对比结果,参考检测框为与当前时刻相关联的历史阶段内,目标车辆未被遮挡时的完整检测框;
若大小对比结果表征目标车辆未完整呈现,且有效关键点集不满足预设的关键点组合规则时,确定目标车辆被一个关联对象遮挡。
第二方面,本申请实施例还提供了一种车辆遮挡识别装置,所述装置包括:
检测模块,用于获得目标图像中待识别的目标车辆及至少一个关联对象各自的检测框,以及目标车辆的有效关键点集,其中,关联对象为存在遮挡目标车辆可能性的图像元素,有效关键点为:目标车辆上未被遮挡的用于确定目标车辆轮廓的位置点;
处理模块,用于针对至少一个关联对象,分别执行以下操作:
获得目标车辆的第一检测框,与目标车辆的参考检测框的大小对比结果,参考检测框为与当前时刻相关联的历史阶段内,目标车辆未被遮挡时的完整检测框;
若大小对比结果表征目标车辆未完整呈现,且有效关键点集不满足预设的关键点组合规则时,确定目标车辆被一个关联对象遮挡。
可选的,获得第一检测框与目标车辆的参考检测框的大小对比结果时,处理模块用于:
获得第一检测框和一个关联对象的第二检测框的相交面积,并计算相交面积与第一检测框的面积的比值;
若比值不大于预设的遮挡阈值,则基于第一检测框的宽高比与参考检测框的宽高比确定大小对比结果。
可选的,处理模块还用于:
若第一检测框的宽高比相较于参考检测框的宽高比的变化率,大于预设的变化阈值,则确定大小对比结果表征目标车辆未完整呈现;
若第一检测框的宽高比相较于参考检测框的宽高比的变化率,不大于变化阈值,则确定目标车辆未被一个关联对象遮挡,并更新参考检测框为第一检测框。
可选的,获得第一检测框和一个关联对象的第二检测框的相交面积,并计算相交面积与第一检测框的面积的比值之后,处理模块还用于:
若比值大于预设的遮挡阈值,且第二检测框的顶部中心点在第一检测框的内部,以及有效关键点集不满足预设的关键点组合规则,则确定目标车辆被一个关联对象遮挡;
若比值大于预设的遮挡阈值,且第二检测框的顶部中心点不在第一检测框的内部,则确定目标车辆未被一个关联对象遮挡,并更新参考检测框为第一检测框。
可选的,目标车辆对应的关键点为:左前灯、右前灯、前车牌、左后灯、右后灯和后车牌,则满足关键点组合规则的候选有效关键点集包括以下任意一种:
左前灯、右前灯、前车牌;
左后灯、右后灯、后车牌;
左前灯、左后灯;
右前灯、右后灯。
第三方面,本申请实施例提供一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一所述方法的步骤。
第五方面,本申请实施例提供一种计算机程序产品,所述计算机程序产品在被计算机调用时,使得所述计算机执行如第一方面所述的方法。
本申请实施例中,提出了一种车辆遮挡识别方法及相关装置,服务器处理监控场景下的连续多帧图像,针对目标图像中的目标车辆,获得目标车辆的第一检测框,与目标车辆的参考检测框的大小对比结果,若大小比对结果表征目标车辆未完整呈现,且有效关键点集不满足预设的关键点组合规则时,确定目标车辆被一个关联对象遮挡。这样,通过不同检测框的重合度判断是否存在遮挡现象的同时,基于目标车辆当前的检测框与历史未遮挡检测框大小对比结果,可以保证目标车辆的检测框的可信度,避免了检测框不完整导致的遮挡识别结果不准确的问题,并且,采用关键点检测的方法,进行遮挡现象的进一步判断,从而更加提高了遮挡识别结果的准确度。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1为一种车辆遮挡识别的场景示意图;
图2为本申请实施例中可能的应用场景示意图;
图3为本申请实施例中一种车辆遮挡识别方法流程图;
图4为本申请实施例中一步式关键点检测的流程示意图;
图5为本申请实施例中两步式关键点检测的流程示意图;
图6为本申请实施例中目标车辆关键点分布示意图;
图7为本申请实施例中车辆遮挡识别的总体流程图;
图8为本申请实施例中一种车辆遮挡识别装置的结构示意图;
图9为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请技术方案的一部分实施例,而不是全部的实施例。基于本申请文件中记载的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请技术方案保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够在除了这里图示或描述的那些以外的顺序实施。
以下对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
(1)目标检测:目标检测是计算机视觉领域的核心问题之一,其任务就是找出图像中所有感兴趣的目标,确定他们的类别和位置。
(2)关键点检测:其目的是在图像或视频中找出有意义的特征点,并在每个特征点处进行定位,这些特征点通常被称为关键点,因为它们在图像中是独特的,并且可以用于表示图像的内容或形状。
下面对本申请实施例的设计思想进行简要介绍:
随着国内交通建设的迅速发展,交通违章事件也变得越来越多,为了减少交通事故的发生率,需要针对交通违章事件进行及时发现与告警,尤其在高速和隧道中,由于车辆行驶速度快,且光线条件相对较差,对基于视频的交通事件检测提出了更高的要求。
随着基于深度学习和机器学习的计算机视觉技术的发展,计算机视觉技术迅速在交通监控领域发展了起来,对车辆目标进行检测跟踪,通过目标位置、运动轨迹可以进行违章停车、变道、逆行、倒车、压线等行为识别。
目前,现有的车辆遮挡识别方法是获取画面中各车辆的检测框,并根据不同检测框的重合度,来判断车辆之间是否存在遮挡。
然而,采用上述方法时,被遮挡车辆的检测框可能不包含被遮挡部分,即被遮挡车辆的检测框不完整,使得原本被遮挡的车辆被误判为未被遮挡,导致遮挡识别结果不准确。
有鉴于此,本申请实施例中,提出了一种车辆遮挡识别方法及相关装置。
在本申请实施例中,服务器处理监控场景下的连续多帧图像,获得目标图像中待识别的目标车辆及至少一个关联对象各自的检测框,以及目标车辆的有效关键点集,针对每个关联对象,分别执行以下操作:获得目标车辆的第一检测框,与目标车辆的参考检测框的大小对比结果,若大小比对结果表征目标车辆未完整呈现,且有效关键点集不满足预设的关键点组合规则时,确定目标车辆被一个关联对象遮挡。
这样,通过不同检测框的重合度判断是否存在遮挡现象的同时,基于目标车辆当前的检测框与历史未遮挡检测框大小对比结果,可以保证目标车辆的检测框的可信度,避免了检测框不完整导致的遮挡识别结果不准确的问题,并且,采用关键点检测的方法,进行遮挡现象的进一步判断,从而更加提高了遮挡识别结果的准确度。
以下结合说明书附图对本申请的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本申请,并不用于限定本申请,并且在不冲突的情况下,本申请实施例及实施例中的特征可以相互组合。
参阅图2所示,为本申请实施例中可能的应用场景示意图。
该应用场景中包括终端设备210(包括终端设备2101、终端设备2102…终端设备210n)和服务器220,终端设备210与服务器220之间可以通过通信网络进行通信。
在一种可选的实施方式中,通信网络可以是有线网络或无线网络。因此,终端设备210和服务器220可以通过有线或无线通信方式进行直接或间接地连接。比如,终端设备210可以通过无线接入点与服务器220间接地连接,或发终端设备210通过因特网与服务器220直接地连接,本申请在此不做限制。
在本申请实施例中,终端设备210包括但不限于手机、平板电脑、笔记本电脑、台式电脑、电子书阅读器、智能语音交互设备、智能家电、车载终端等设备;终端设备上可以安装有各种客户端,该客户端可以是支持视频预览、视频播放等功能的应用程序(例如浏览器、游戏软件等),也可以是网页、小程序等;
服务器220是与终端设备210中安装的客户端相对应的后台服务器。服务器220可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
需要说明的是,本申请实施例中的异常算力的检测和定位方法可以部署在计算设备中,该计算设备可以为服务器或终端设备,其中服务器可以为图2中所示的服务器220,也可以为除图2中所示的服务器220以外的其他服务器;终端设备可以为图2中所示的终端设备210,也可以为除图2中所示的终端设备210以外的其他终端设备,即,该方法可以由服务器或者终端设备单独执行,也可以由服务器和终端设备共同执行。
需要说明的是,在下文中,主要是以服务器单独执行为例进行举例说明的,在此不做具体限定。
需要说明的是,图2所示只是举例说明,实际上终端设备210和服务器220的数量不受限制,在本申请实施例中不做具体限定。
本申请实施例中,当服务器220的数量为多个时,多个服务器220可组成为一区块链,而服务器220为区块链上的节点;如本申请实施例所公开的异常算力的检测和定位方法,其中所涉及的多目标预测的处理方式等可保存于区块链上。
参阅图3所示,其为本申请实施例中一种车辆遮挡识别方法流程图,下面结合附图3,对具体执行的操作进行详细说明:
步骤S301:获得目标图像中待识别的目标车辆及至少一个关联对象各自的检测框,以及目标车辆的有效关键点集。
其中,关联对象为存在遮挡目标车辆可能性的图像元素,有效关键点为:目标车辆上未被遮挡的用于确定目标车辆轮廓的位置点。
需要说明的是,关联对象可以是汽车、自行车、行人等一切可能对目标车辆产生遮挡的物品,本申请对此不做限制。
具体的,本申请实施例中,采用目标检测算法和关键点检测算法,对目标图像中包含的图像元素进行目标检测和关键点检测,其中,按照目标检测和关键点检测的同步和异步方式,分为一步式关键点检测和两步式关键点检测。
(1)一步式关键点检测:对输入图像进行目标检测和关键点检测,使用的算法如yoloV5-pose,yoloV7-pose等,在兼顾性能的情况下增加关键点分支,其中,输入图像为监控场景下的连续多帧图像,包括图像的详细信息,如帧率和分辨率等,目标检测和关键点检测结果包括输入图像中各目标对应的目标类型、目标的检测框、目标置信度和关键点坐标。
(2)两步式关键点检测:首先对输入图像进行目标检测,其中,输入图像为监控场景下的连续多帧图像,包括图像的详细信息,如帧率和分辨率等,目标检测结果包括输入图像中各目标对应的目标类型、目标的检测框和目标置信度;在获取待识别目标图像元素之后,针对待识别目标图像元素进行单独的关键点检测,获得待识别目标图像元素的关键点坐标。
参阅图4所示,其为本申请实施例中一步式关键点检测的流程示意图,其中,服务器针对输入图像中的所有目标进行目标检测和关键点检测,再对各目标进行跟踪,随后遍历跟踪结果,获得待识别目标车辆,最后基于待识别目标车辆的目标检测结果和关键点检测结果进行车辆遮挡识别,采用一步式关键点检测时,服务器的数据处理速度更快,能够在图像数据较多的情况下提高车辆遮挡识别效率。
参阅图5所示,其为本申请实施例中两步式关键点检测的流程示意图,其中,服务器首先输入图像中的所有目标进行目标检测,再对检测目标进行跟踪,随后遍历跟踪结果,当获得待识别目标车辆之后,针对待识别目标车辆进行关键点检测,最后基于待识别目标车辆的目标检测结果和关键点检测结果进行车辆遮挡识别,采用两步式关键点检测时,可以只针对待识别目标车辆进行关键点检测,减少了待识别目标车辆以外其它图像元素带来的关键点识别工作量,在图像数据较少的情况下,能够提高车辆遮挡识别的精度。
需要说明的是,实际应用时,可以根据图像数据的规模,灵活选择一步式关键点检测或两步式关键点检测,本申请对此不做限制。
进一步的,服务器针对目标图像进行车辆遮挡识别时,针对目标图像中的至少一个关联对象,分别执行以下操作:
步骤S302:获得目标车辆的第一检测框,与目标车辆的参考检测框的大小对比结果。
其中,参考检测框为与当前时刻相关联的历史阶段内,目标车辆未被遮挡时的完整检测框。
具体的,服务器首先获得第一检测框和一个关联对象的第二检测框的相交面积,并计算相交面积与第一检测框的面积的比值,当比值不大于预设的遮挡阈值时,基于第一检测框的宽高比与参考检测框的宽高比确定大小对比结果。
例如,假设车辆M为目标图像中,目标车辆P的一个关联对象,当目标车辆P的第一检测框与车辆M的第二检测框的相交面积,与第一检测框的面积的比值,不大于预设的遮挡阈值时,表征目标车辆P与车辆M仅存在小面积重叠区域。
进一步的,本申请实施例中,为了避免因检测框不完整导致的车辆遮挡识别结果错误,服务器将历史记录中,目标车辆A未被遮挡时的完整检测框作为目标车辆A的参考检测框,并获得第一检测框与参考检测框的大小对比结果,从而在确保第一检测框准确的情况下进行车辆遮挡识别。
一方面,若第一检测框的宽高比相较于参考检测框的宽高比的变化率,大于预设的变化阈值,则确定大小对比结果表征目标车辆未完整呈现。
例如,若第一检测框的宽高比相较于参考检测框的宽高比的变化率,大于预设的变化阈值,则说明目标车辆A的第一检测框并不准确,因此,当第一检测框和第二检测框的相交面积,与第一检测框的面积的比值,大于预设的遮挡阈值时,只能初步判定目标车辆P未完整呈现,而并不能确定目标车辆P被车辆M遮挡。
另一方面,若第一检测框的宽高比相较于参考检测框的宽高比的变化率,不大于变化阈值,则确定目标车辆未被一个关联对象遮挡,并更新参考检测框为第一检测框。
可以理解的是,若第一检测框的宽高比相较于参考检测框的宽高比的变化率,不大于预设的变化阈值,则说明目标车辆A的第一检测框准确,在此基础上,当第一检测框和第二检测框的相交面积,与第一检测框的面积的比值,不大于预设的遮挡阈值时,即可确定目标车辆A未被车辆M遮挡,此时,可将第一检测框认定为目标车辆A未被遮挡时的完整检测框,并将参考检测框更新为第一检测框。
在另一种可选的实施例中,服务器获得第一检测框和一个关联对象的第二检测框的相交面积,并计算相交面积与第一检测框的面积的比值之后,若比值大于预设的遮挡阈值,且第二检测框的顶部中心点在第一检测框的内部,以及有效关键点集不满足预设的关键点组合规则,则确定目标车辆被一个关联对象遮挡。
例如,当目标车辆P的第一检测框与车辆M的第二检测框的相交面积,与第一检测框的面积的比值大于预设的遮挡阈值时,表征目标车辆P与车辆M之间存在大面积重叠区域,即目标车辆P可能被车辆M遮挡。
进一步的,本申请实施例中,若第二检测框的顶部中心点在第一检测框的内部,则表征车辆M存在对目标车辆P的前遮挡,在此基础上,若目标车辆P的有效关键点集不满足预设的关键点组合规则,则确定目标车辆P被车辆M遮挡。
若比值大于预设的遮挡阈值,且第二检测框的顶部中心点不在第一检测框的内部,则确定目标车辆未被一个关联对象遮挡,并更新参考检测框为第一检测框。
在另一种可选的实施例中,当目标车辆P的第一检测框与车辆M的第二检测框的相交面积,与第一检测框的面积的比值大于预设的遮挡阈值,且第二检测框的顶部中心点不在第一检测框的内部时,确定车辆M不存在对目标车辆P的前遮挡,即目标车辆P未被遮挡。
其中,本申请实施中的遮挡阈值和变化阈值为可调整的参量。
步骤S303:若大小对比结果表征目标车辆未完整呈现,且有效关键点集不满足预设的关键点组合规则时,确定目标车辆被一个关联对象遮挡。
具体的,本申请实施例中,目标车辆对应的关键点为:左前灯、右前灯、前车牌、左后灯、右后灯和后车牌,则满足关键点组合规则的候选有效关键点集包括以下任意一种:
(1)左前灯、右前灯、前车牌。
(2)左后灯、右后灯、后车牌。
(3)左前灯、左后灯。
(4)右前灯、右后灯。
例如,参阅图6所示,其为本申请实施例中目标车辆关键点分布示意图,其中,以汽车的行驶方向为正前方,前灯2为目标车辆的左前灯,前灯1为目标车辆的右前灯,同理,后灯2为目标车辆的左后灯,后灯1为目标车辆的右后灯,加上目标车辆的前车牌和后车牌,一共六个关键点,大致反映了目标车辆的整体轮廓。
当有效关键点集为左前灯、右前灯和前车牌时,表征目标车辆的拍摄角度为正前方,且未被关联对象遮挡;当有效关键点集为左后灯、右后灯和后车牌时,表征目标车辆的拍摄角度为正后方,且未被关联对象遮挡;当有效关键点集为左前灯和左后灯时,表征目标车辆的拍摄角度为左侧方,且未被关联对象遮挡;当有效关键点集为右前灯和右后灯时,表征目标车辆的拍摄角度为右侧方,且未被关联对象遮挡。
可以理解的是,当目标车辆的有效关键集不属于上述任意一种组合规则时,表征目标车辆被关联对象遮挡。
基于上述实施例,参阅图7所示,其为本申请实施例中车辆遮挡识别的总体流程图,具体包括:
步骤S701:获得第一检测框和第二检测框的相交面积,并计算相交面积与第一检测框的面积的比值。
步骤S702:判断比值是否大于遮挡阈值,若是,则执行步骤S704,否则,执行步骤S703。
步骤S703:判断第一检测框的宽高比相较于参考检测框的宽高比的变化率是否大于变化阈值,若是,则执行步骤S705,否则,执行步骤S707。
步骤S704:判断第二检测框的顶部中心点是否在第一检测框的内部,若是,则执行步骤S705,否则,执行步骤S707。
步骤S705:判断目标车辆的有效关键点集是否满足关键点组合规则,若是,则执行步骤S706,否则,执行步骤S707。
步骤S706:确定目标车辆被一个关联对象遮挡。
步骤S707:确定目标车辆未被一个关联对象遮挡。
进一步的,本申请实施例中,若最终的车辆遮挡识别结果之后,若目标车辆被一个关联对象遮挡,则更新目标遮挡信息,例如关联对象的目标id,当前图像帧序号,以及遮挡计数加1,以便后续使用目标遮挡信息辅助交通状态判断。
此外,由于本申请实施例中,针对目标图像进行关键点检测时,若采用两步式关键点检测,则选用针对远处小目标检测有一定优势的HRNet网络,该算法中使用的传统的损失函数如交叉熵损失函数、均方误差损失函数(Mean Squared Error,MSE),在数量多的样本会占据主导地位,降低了少量样本类别的检测能力,故本申请实施例中在训练损失函数上引入了focal loss来平衡数据不均衡造成的损失函数偏斜,具体计算方式如下:
FL(pt)=-αt(1-pt)γlog(pt)
其中,权重因子αt∈[0,1],可以解决类不平衡问题,pt∈[0,1],是模型对标签类的估计概率,γ可调焦距参数,其为2时实验效果最佳,减少简单样本影响,均衡简单和困难样本,然后再次使用MSE Loss得到最终的模型loss。
若采用一步式关键点检测,本申请实施例是在通用YOLO系列网络检测头的基础上增加关键点检测分支,模型的输入不变(目标图像),输出的维度由nc+5,变成nc+5+12,其中nc表示检测模型支持的目标类型,5表示检测框四个坐标值和置信度,12表示6个关键点坐标,每个关键点坐标两个值,故能完成对目标类型、检测框坐标、目标置信度、关键点坐标的检测。
综上所述,本申请实施例中,通过不同检测框的重合度初步判断目标车辆是否被遮挡,并采用目标车辆历史未遮挡的完整检测框,对目标车辆当前检测框的准确度进行判断,再结合目标车辆的有效关键点,对遮挡现象进行精确识别,使得最终的车辆遮挡识别结果更加准确。
基于相同技术构思,参阅图8所示,本申请实施例还提供了一种车辆遮挡识别装置,该装置包括:
检测模块801,用于获得目标图像中待识别的目标车辆及至少一个关联对象各自的检测框,以及目标车辆的有效关键点集,其中,关联对象为存在遮挡目标车辆可能性的图像元素,有效关键点为:目标车辆上未被遮挡的用于确定目标车辆轮廓的位置点;
处理模块802,用于针对至少一个关联对象,分别执行以下操作:
获得目标车辆的第一检测框,与目标车辆的参考检测框的大小对比结果,参考检测框为与当前时刻相关联的历史阶段内,目标车辆未被遮挡时的完整检测框;
若大小对比结果表征目标车辆未完整呈现,且有效关键点集不满足预设的关键点组合规则时,确定目标车辆被一个关联对象遮挡。
可选的,获得第一检测框与目标车辆的参考检测框的大小对比结果时,处理模块802用于:
获得第一检测框和一个关联对象的第二检测框的相交面积,并计算相交面积与第一检测框的面积的比值;
若比值不大于预设的遮挡阈值,则基于第一检测框的宽高比与参考检测框的宽高比确定大小对比结果。
可选的,处理模块802还用于:
若第一检测框的宽高比相较于参考检测框的宽高比的变化率,大于预设的变化阈值,则确定大小对比结果表征目标车辆未完整呈现;
若第一检测框的宽高比相较于参考检测框的宽高比的变化率,不大于变化阈值,则确定目标车辆未被一个关联对象遮挡,并更新参考检测框为第一检测框。
可选的,获得第一检测框和一个关联对象的第二检测框的相交面积,并计算相交面积与第一检测框的面积的比值之后,处理模块802还用于:
若比值大于预设的遮挡阈值,且第二检测框的顶部中心点在第一检测框的内部,以及有效关键点集不满足预设的关键点组合规则,则确定目标车辆被一个关联对象遮挡;
若比值大于预设的遮挡阈值,且第二检测框的顶部中心点不在第一检测框的内部,则确定目标车辆未被一个关联对象遮挡,并更新参考检测框为第一检测框。
可选的,目标车辆对应的关键点为:左前灯、右前灯、前车牌、左后灯、右后灯和后车牌,则满足关键点组合规则的候选有效关键点集包括以下任意一种:
左前灯、右前灯、前车牌;
左后灯、右后灯、后车牌;
左前灯、左后灯;
右前灯、右后灯。
基于相同的技术构思,本申请实施例还提供了一种电子设备,该电子设备可实现本申请上述实施例提供的车辆遮挡识别的方法流程。
在一种实施例中,该电子设备可以是服务器,也可以是终端设备或其他电子设备。
参阅图9所示,该电子设备可包括:
至少一个处理器901,以及与至少一个处理器901连接的存储器902,本申请实施例中不限定处理器901与存储器902之间的具体连接介质,图9中是以处理器901和存储器902之间通过总线900连接为例。总线900在图9中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线900可以分为地址总线、数据总线、控制总线等,为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。或者,处理器901也可以称为控制器,对于名称不做限制。
在本申请实施例中,存储器902存储有可被至少一个处理器901执行的指令,至少一个处理器901通过执行存储器902存储的指令,可以执行前文论述的一种车辆遮挡识别方法。处理器901可以实现图8所示的装置中各个模块的功能。
其中,处理器901是该装置的控制中心,可以利用各种接口和线路连接整个该控制设备的各个部分,通过运行或执行存储在存储器902内的指令以及调用存储在存储器902内的数据,该装置的各种功能和处理数据,从而对该装置进行整体监控。
在一种可能的设计中,处理器901可包括一个或多个处理单元,处理器901可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器901中。在一些实施例中,处理器901和存储器902可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器901可以是通用处理器,例如CPU、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的一种车辆遮挡识别方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器902作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器902可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器902是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器902还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
通过对处理器901进行设计编程,可以将前述实施例中介绍的一种车辆遮挡识别方法所对应的代码固化到芯片内,从而使芯片在运行时能够执行图3所示的实施例的一种车辆遮挡识别方法的步骤。如何对处理器901进行设计编程为本领域技术人员所公知的技术,这里不再赘述。
基于同一发明构思,本申请实施例还提供一种存储介质,该存储介质存储有计算机指令,当该计算机指令在计算机上运行时,使得计算机执行前文论述的一种车辆遮挡识别方法。
在一些可能的实施方式中,本申请提供一种车辆遮挡识别方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在装置上运行时,程序代码用于使该控制设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种车辆遮挡识别方法中的步骤。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种车辆遮挡识别方法,其特征在于,包括:
获得目标图像中待识别的目标车辆及至少一个关联对象各自的检测框,以及所述目标车辆的有效关键点集,其中,所述关联对象为存在遮挡所述目标车辆可能性的图像元素,所述有效关键点为:所述目标车辆上未被遮挡的用于确定所述目标车辆轮廓的位置点;
针对所述至少一个关联对象,分别执行以下操作:
获得所述目标车辆的第一检测框,与所述目标车辆的参考检测框的大小对比结果,所述参考检测框为与当前时刻相关联的历史阶段内,所述目标车辆未被遮挡时的完整检测框;
若所述大小对比结果表征所述目标车辆未完整呈现,且有效关键点集不满足预设的关键点组合规则时,确定所述目标车辆被所述一个关联对象遮挡。
2.如权利要求1所述的方法,其特征在于,所述获得所述第一检测框与所述目标车辆的参考检测框的大小对比结果,包括:
获得所述第一检测框和所述一个关联对象的第二检测框的相交面积,并计算所述相交面积与所述第一检测框的面积的比值;
若所述比值不大于预设的遮挡阈值,则基于所述第一检测框的宽高比与所述参考检测框的宽高比确定所述大小对比结果。
3.如权利要求2所述的方法,其特征在于,还包括:
若所述第一检测框的宽高比相较于所述参考检测框的宽高比的变化率,大于预设的变化阈值,则确定所述大小对比结果表征所述目标车辆未完整呈现;
若所述第一检测框的宽高比相较于所述参考检测框的宽高比的变化率,不大于所述变化阈值,则确定所述目标车辆未被所述一个关联对象遮挡,并更新所述参考检测框为所述第一检测框。
4.如权利要求2所述的方法,其特征在于,所述获得所述第一检测框和所述一个关联对象的第二检测框的相交面积,并计算所述相交面积与所述第一检测框的面积的比值之后,还包括:
若所述比值大于预设的遮挡阈值,且所述第二检测框的顶部中心点在所述第一检测框的内部,以及所述有效关键点集不满足预设的关键点组合规则,则确定所述目标车辆被所述一个关联对象遮挡;
若所述比值大于预设的遮挡阈值,且所述第二检测框的顶部中心点不在所述第一检测框的内部,则确定所述目标车辆未被所述一个关联对象遮挡,并更新所述参考检测框为所述第一检测框。
5.如权利要求1-4任一项所述的方法,其特征在于,所述目标车辆对应的关键点为:左前灯、右前灯、前车牌、左后灯、右后灯和后车牌,则满足所述关键点组合规则的候选有效关键点集包括以下任意一种:
左前灯、右前灯、前车牌;
左后灯、右后灯、后车牌;
左前灯、左后灯;
右前灯、右后灯。
6.一种车辆遮挡识别装置,其特征在于,包括:
检测模块,用于获得目标图像中待识别的目标车辆及至少一个关联对象各自的检测框,以及所述目标车辆的有效关键点集,其中,所述关联对象为存在遮挡所述目标车辆可能性的图像元素,所述有效关键点为:所述目标车辆上未被遮挡的用于确定所述目标车辆轮廓的位置点;
处理模块,用于针对所述至少一个关联对象,分别执行以下操作:
获得所述目标车辆的第一检测框,与所述目标车辆的参考检测框的大小对比结果,所述参考检测框为与当前时刻相关联的历史阶段内,所述目标车辆未被遮挡时的完整检测框;
若所述大小对比结果表征所述目标车辆未完整呈现,且有效关键点集不满足预设的关键点组合规则时,确定所述目标车辆被所述一个关联对象遮挡。
7.一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-5中任一所述方法的步骤。
9.一种计算机程序产品,其特征在于,所述计算机程序产品在被计算机调用时,使得所述计算机执行如权利要求1-5任一项所述的方法。
CN202311159865.8A 2023-09-08 2023-09-08 一种车辆遮挡识别方法及相关装置 Pending CN117197796A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311159865.8A CN117197796A (zh) 2023-09-08 2023-09-08 一种车辆遮挡识别方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311159865.8A CN117197796A (zh) 2023-09-08 2023-09-08 一种车辆遮挡识别方法及相关装置

Publications (1)

Publication Number Publication Date
CN117197796A true CN117197796A (zh) 2023-12-08

Family

ID=88988239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311159865.8A Pending CN117197796A (zh) 2023-09-08 2023-09-08 一种车辆遮挡识别方法及相关装置

Country Status (1)

Country Link
CN (1) CN117197796A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689907A (zh) * 2024-02-04 2024-03-12 福瑞泰克智能系统有限公司 车辆跟踪方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689907A (zh) * 2024-02-04 2024-03-12 福瑞泰克智能系统有限公司 车辆跟踪方法、装置、计算机设备和存储介质
CN117689907B (zh) * 2024-02-04 2024-04-30 福瑞泰克智能系统有限公司 车辆跟踪方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN110753892A (zh) 在自动驾驶车辆中用于经由交叉模态验证的即时物体标记的方法和系统
CN110869559A (zh) 用于自动驾驶车辆中的集成的全局式与分布式学习的方法和系统
CN110799982A (zh) 用于自动驾驶车辆中的以物体为中心的立体视觉的方法和系统
CN109427191B (zh) 一种行驶检测方法及装置
CN117197796A (zh) 一种车辆遮挡识别方法及相关装置
EP4209959A1 (en) Target identification method and apparatus, and electronic device
CN112434566A (zh) 客流统计方法、装置、电子设备及存储介质
CN113297939B (zh) 障碍物检测方法、系统、终端设备及存储介质
CN116863124B (zh) 车辆姿态确定方法、控制器及存储介质
CN113674317A (zh) 一种高位视频的车辆跟踪方法及装置
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN110057377B (zh) 路径导航方法及相关产品
CN114495244B (zh) 电像计算数据异常检测方法、装置、设备及存储介质
CN115249407B (zh) 指示灯状态识别方法、装置、电子设备、存储介质及产品
CN109784238A (zh) 一种确定待识别对象的方法及装置
CN114897987A (zh) 一种确定车辆地面投影的方法、装置、设备及介质
CN114359859A (zh) 一种含遮挡的目标物处理方法、装置及存储介质
CN111105590A (zh) 一种报警方法及装置
CN115578665B (zh) 一种基于车辆行驶数据的资源处理方法及系统
CN116503695B (zh) 目标检测模型的训练方法、目标检测方法及设备
CN116625384B (zh) 一种数据关联方法、装置及电子设备
CN111597959B (zh) 行为检测方法、装置及电子设备
CN113642533B (zh) 车道级定位方法及电子设备
CN115187962A (zh) 一种车位检测方法、装置及电子设备
CN115391477B (zh) 数据处理方法、装置及电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination