CN116030439A - 一种目标识别方法、装置、电子设备及存储介质 - Google Patents

一种目标识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116030439A
CN116030439A CN202310324781.9A CN202310324781A CN116030439A CN 116030439 A CN116030439 A CN 116030439A CN 202310324781 A CN202310324781 A CN 202310324781A CN 116030439 A CN116030439 A CN 116030439A
Authority
CN
China
Prior art keywords
target
driving environment
image
image area
environment image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310324781.9A
Other languages
English (en)
Inventor
邹辉
罗衡荣
欧阳琼林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haixing Zhijia Technology Co Ltd
Original Assignee
Shenzhen Haixing Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Haixing Zhijia Technology Co Ltd filed Critical Shenzhen Haixing Zhijia Technology Co Ltd
Priority to CN202310324781.9A priority Critical patent/CN116030439A/zh
Publication of CN116030439A publication Critical patent/CN116030439A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本申请提供一种目标识别方法、装置、电子设备及存储介质,该方法包括:获取自动驾驶车辆的原始驾驶环境图像;对原始驾驶环境图像进行降采样处理,以得到分辨率低于原始驾驶环境图像的目标驾驶环境图像;根据目标驾驶环境图像表征的目标位置信息,在原始驾驶环境图像中截取对应的目标图像区域;根据目标图像区域的目标对象细节信息,确定目标图像区域的目标分类结果;根据目标图像区域的目标分类结果,确定原始驾驶环境图像的目标识别结果。通过在经过降采样处理的目标驾驶环境图像中确定目标位置信息,仅对目标位置信息对应的高分辨率的目标图像区域进行目标分类,在确保目标识别结果的准确性的同时,提高了目标识别效率和速度。

Description

一种目标识别方法、装置、电子设备及存储介质
技术领域
本申请涉及视觉处理技术领域,尤其涉及一种目标识别方法、装置、电子设备及存储介质。
背景技术
随着信息技术的发展,自动驾驶成为了智能化车辆研究的主要研究方向。在自动驾驶车辆运行过程中,自动驾驶车辆需要实时采集驾驶环境图像,并实时进行视觉感知处理,以根据视觉感知结果控制自动驾驶车辆的运行。
在现有技术中,为了提高目标识别精度,以注意图像细节的如带文字的小图标的指示牌识别,通常是基于高清摄像头采集驾驶环境图像,然后将高像素驾驶环境图像输入到深度学习模型,以基于深度学习模型对高像素驾驶环境图像进行对象检测和分类。
但是,由于车辆驾驶环境复杂多变,驾驶环境图像一般将会包括多种识别对象,若基于现有技术进行目标识别将无法保证识别效率,识别速度较慢,将降低了自动驾驶车辆的灵敏度,从而导致容易造成交通事故。
发明内容
本申请提供一种目标识别方法、装置、电子设备及存储介质,以解决现有技术无法保证识别效率,识别速度较慢等缺陷。
本申请第一个方面提供一种目标识别方法,包括:
获取自动驾驶车辆的原始驾驶环境图像;
对所述原始驾驶环境图像进行降采样处理,以得到分辨率低于所述原始驾驶环境图像的目标驾驶环境图像;
根据所述目标驾驶环境图像表征的目标位置信息,在所述原始驾驶环境图像中截取对应的目标图像区域;
根据所述目标图像区域的目标对象细节信息,确定所述目标图像区域的目标分类结果;
根据所述目标图像区域的目标分类结果,确定所述原始驾驶环境图像的目标识别结果。
可选的,所述根据所述目标驾驶环境图像表征的目标位置信息,在所述原始驾驶环境图像中截取对应的目标图像区域,包括:
对所述目标驾驶环境图像进行目标检测,确定所述目标驾驶环境图像的目标检测结果;
根据所述目标检测结果表征的目标位置信息,在所述原始驾驶环境图像中截取对应的目标图像区域。
可选的,所述根据所述目标检测结果表征的目标位置信息,在所述原始驾驶环境图像中截取对应的目标图像区域,包括:
根据所述目标位置信息表征的各目标对象与所述自动驾驶车辆之间的距离,筛选待分类目标对象;
根据所述待分类目标对象对应的目标位置信息,在所述原始驾驶环境图像中截取对应的目标图像区域。
可选的,还包括:
获取所述自动驾驶车辆的当前场景任务信息和当前地图位置信息;
根据所述当前场景任务信息和当前地图位置信息,确定目标待细分类别。
可选的,所述根据所述目标图像区域的目标对象细节信息,确定所述目标图像区域的目标分类结果,包括:
根据所述目标待细分类别,在若干个目标图像区域中筛选待细分图像区域;
根据所述待细分图像区域的目标对象细节信息,确定所述待细分图像区域的目标分类结果。
可选的,所述根据所述目标图像区域的目标分类结果,确定所述原始驾驶环境图像的目标识别结果,包括:
获取所述若干个目标图像区域除所述待细分图像区域以外的粗分图像区域对应的目标检测结果;
根据所述粗分图像区域对应的目标检测结果,确定所述粗分图像区域的目标类别检测结果;
汇总所述粗分图像区域的目标类别检测结果和所述待细分图像区域的目标分类结果,得到所述原始驾驶环境图像的目标识别结果。
可选的,所述汇总所述粗分图像区域的目标类别检测结果和所述待细分图像区域的目标分类结果,得到所述原始驾驶环境图像的目标识别结果,包括:
按照预设目标识别要求,将所述待细分图像区域的目标分类结果划分为关注的目标分类结果和不关注的目标分类结果;
获取所述不关注的目标分类结果对应的目标类别检测结果;
汇总所述粗分图像区域的目标类别检测结果、关注的目标分类结果和所述不关注的目标分类结果对应的目标类别检测结果,得到所述原始驾驶环境图像的目标识别结果。
本申请第二个方面提供一种目标识别装置,包括:
获取模块,用于获取自动驾驶车辆的原始驾驶环境图像;
图像处理模块,用于对所述原始驾驶环境图像进行降采样处理,以得到分辨率低于所述原始驾驶环境图像的目标驾驶环境图像;
区域截取模块,用于根据所述目标驾驶环境图像表征的目标位置信息,在所述原始驾驶环境图像中截取对应的目标图像区域;
确定模块,用于根据所述目标图像区域的目标对象细节信息,确定所述目标图像区域的目标分类结果;
识别模块,用于根据所述目标图像区域的目标分类结果,确定所述原始驾驶环境图像的目标识别结果。
可选的,所述区域截取模块,具体用于:
对所述目标驾驶环境图像进行目标检测,确定所述目标驾驶环境图像的目标检测结果;
根据所述目标检测结果表征的目标位置信息,在所述原始驾驶环境图像中截取对应的目标图像区域。
可选的,所述区域截取模块,具体用于:
根据所述目标位置信息表征的各目标对象与所述自动驾驶车辆之间的距离,筛选待分类目标对象;
根据所述待分类目标对象对应的目标位置信息,在所述原始驾驶环境图像中截取对应的目标图像区域。
可选的,所述装置还包括:
筛选模块,用于获取所述自动驾驶车辆的当前场景任务信息和当前地图位置信息;根据所述当前场景任务信息和当前地图位置信息,确定目标待细分类别。
可选的,所述确定模块,具体用于:
根据所述目标待细分类别,在若干个目标图像区域中筛选待细分图像区域;
根据所述待细分图像区域的目标对象细节信息,确定所述待细分图像区域的目标分类结果。
可选的,所述识别模块,具体用于:
获取所述若干个目标图像区域除所述待细分图像区域以外的粗分图像区域对应的目标检测结果;
根据所述粗分图像区域对应的目标检测结果,确定所述粗分图像区域的目标类别检测结果;
汇总所述粗分图像区域的目标类别检测结果和所述待细分图像区域的目标分类结果,得到所述原始驾驶环境图像的目标识别结果。
可选的,所述识别模块,具体用于:
按照预设目标识别要求,将所述待细分图像区域的目标分类结果划分为关注的目标分类结果和不关注的目标分类结果;
获取所述不关注的目标分类结果对应的目标类别检测结果;
汇总所述粗分图像区域的目标类别检测结果、关注的目标分类结果和所述不关注的目标分类结果对应的目标类别检测结果,得到所述原始驾驶环境图像的目标识别结果。
本申请第三个方面提供一种电子设备,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法。
本申请第四个方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一个方面以及第一个方面各种可能的设计所述的方法。
本申请技术方案,具有如下优点:
本申请提供一种目标识别方法、装置、电子设备及存储介质,该方法包括:获取自动驾驶车辆的原始驾驶环境图像;对原始驾驶环境图像进行降采样处理,以得到分辨率低于原始驾驶环境图像的目标驾驶环境图像;根据目标驾驶环境图像表征的目标位置信息,在原始驾驶环境图像中截取对应的目标图像区域;根据目标图像区域的目标对象细节信息,确定目标图像区域的目标分类结果;根据目标图像区域的目标分类结果,确定原始驾驶环境图像的目标识别结果。上述方案提供的方法,通过在经过降采样处理的目标驾驶环境图像中确定目标位置信息,然后仅对目标位置信息对应的高分辨率的目标图像区域进行目标分类,在确保目标识别结果的准确性的同时,提高了目标识别效率和速度,为提高自动驾驶车辆的灵敏度奠定了基础。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本申请实施例基于的目标识别系统的结构示意图;
图2为本申请实施例提供的目标识别方法的流程示意图;
图3为本申请实施例提供的目标识别方法的整体流程示意图;
图4为本申请实施例提供的目标识别装置的结构示意图;
图5为本申请实施例提供的电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中,“多个”的含义是两个以上,除非另有明确具体的限定。
在现有技术中,为了提高目标识别精度,以注意图像细节的如带文字的小图标的指示牌识别,通常是基于高清摄像头采集驾驶环境图像,然后将高像素驾驶环境图像输入到深度学习模型,以基于深度学习模型对高像素驾驶环境图像进行对象检测和分类。但是,由于车辆驾驶环境复杂多变,驾驶环境图像一般将会包括多种识别对象,若基于现有技术进行目标识别将无法保证识别效率,识别速度较慢,将降低了自动驾驶车辆的灵敏度,从而导致容易造成交通事故。
针对上述问题,本申请实施例提供的目标识别方法、装置、电子设备及存储介质,通过获取自动驾驶车辆的原始驾驶环境图像;对原始驾驶环境图像进行降采样处理,以得到分辨率低于原始驾驶环境图像的目标驾驶环境图像;根据目标驾驶环境图像表征的目标位置信息,在原始驾驶环境图像中截取对应的目标图像区域;根据目标图像区域的目标对象细节信息,确定目标图像区域的目标分类结果;根据目标图像区域的目标分类结果,确定原始驾驶环境图像的目标识别结果。上述方案提供的方法,通过在经过降采样处理的目标驾驶环境图像中确定目标位置信息,然后仅对目标位置信息对应的高分辨率的目标图像区域进行目标分类,在确保目标识别结果的准确性的同时,提高了目标识别效率和速度,为提高自动驾驶车辆的灵敏度奠定了基础。
下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明实施例进行描述。
首先,对本申请所基于的目标识别系统的结构进行说明:
本申请实施例提供的目标识别方法、装置、电子设备及存储介质,适用于在自动驾驶车辆行驶过程中对其驾驶环境进行目标识别。如图1所示,为本申请实施例基于的目标识别系统的结构示意图,主要包括自动驾驶车辆、图像采集装置和目标识别装置,其中,图像采集装置可以是安装在自动驾驶车辆上的车载摄像头,也可以是路侧监控设备。具体地,可以基于图像采集装置采集自动驾驶车辆的原始驾驶环境图像,并将采集到的图像发送给目标识别装置,该装置根据得到的图像,确定对应的目标识别结果,将目标识别结果反馈给自动驾驶车辆,以使该自动驾驶车辆可以根据得到的目标识别结果规划自动驾驶路径等。
本申请实施例提供了一种目标识别方法,用于在自动驾驶车辆行驶过程中对其驾驶环境进行目标识别。本申请实施例的执行主体为电子设备,比如服务器、台式电脑、笔记本电脑、平板电脑及其他可用于进行图像处理和分析的电子设备。
如图2所示,为本申请实施例提供的目标识别方法的流程示意图,该方法包括:
步骤201,获取自动驾驶车辆的原始驾驶环境图像。
其中,原始驾驶环境图像为清晰的高分辨率驾驶环境图像。
步骤202,对原始驾驶环境图像进行降采样处理,以得到分辨率低于原始驾驶环境图像的目标驾驶环境图像。
具体地,在将原始驾驶环境图像投入目标识别网络之前,可以基于预设的滤波器,对原始驾驶环境图像进行降采样处理,以降低图像的分辨率,得到分辨率低于原始驾驶环境图像的目标驾驶环境图像。
步骤203,根据目标驾驶环境图像表征的目标位置信息,在原始驾驶环境图像中截取对应的目标图像区域。
其中,目标位置信息可以包括目标对象的3D位置xyz、长宽高和朝向角等信息。
具体地,可以对目标驾驶环境图像进行目标检测,以确定图像中的目标位置信息,进而按照目标位置信息,在原始驾驶环境图像中框选目标对象所在区域,然后按照框选结果在原始驾驶环境图像中截取对应的目标图像区域。
步骤204,根据目标图像区域的目标对象细节信息,确定目标图像区域的目标分类结果。
需要说明的是,由于目标图像区域是在清晰的高分辨率的原始驾驶环境图像中截取的,因此通过对目标图像区域进行图像识别,可以确定图中的目标对象细节信息。
具体地,可以根据目标图像区域的目标对象细节信息,对目标对象进行类别细分,以确定目标图像区域的目标分类结果。
步骤205,根据目标图像区域的目标分类结果,确定原始驾驶环境图像的目标识别结果。
具体地,可以结合目标图像区域的目标分类结果和目标驾驶环境图像表征的目标位置信息,确定原始驾驶环境图像的目标识别结果。其中,目标识别结果表征自动驾驶车辆驾驶环境中目标对象的详细类别和目标对象与自动驾驶车辆之间的位置关系。
在上述实施例的基础上,作为一种可实施的方式,在上述实施例的基础上,在一实施例中,根据目标驾驶环境图像表征的目标位置信息,在原始驾驶环境图像中截取对应的目标图像区域,包括:
步骤2031,对目标驾驶环境图像进行目标检测,确定目标驾驶环境图像的目标检测结果;
步骤2032,根据目标检测结果表征的目标位置信息,在原始驾驶环境图像中截取对应的目标图像区域。
具体地,可以基于预设3D目标检测网络,对目标驾驶环境图像进行目标检测,确定目标驾驶环境图像的目标检测结果,预设3D目标检测网络可以使用降采样后的图像分辨率,以降低推理耗时。得到的目标检测结果包括目标位置信息和目标父类别,目标父类别可以包括指示牌、车辆和行人等。
具体地,在一实施例中,可以根据目标位置信息表征的各目标对象与自动驾驶车辆之间的距离,筛选待分类目标对象;根据待分类目标对象对应的目标位置信息,在原始驾驶环境图像中截取对应的目标图像区域。
需要说明的是,驾驶环境图像中包括由近到远的若干个目标对象,由于当前距离自动驾驶车辆较远的目标对象的识别结果不会直接影响车辆驾驶路径,因此,为避免目标识别资源浪费,可以各目标对象与自动驾驶车辆之间的距离,筛选与自动驾驶车辆较近的待分类目标对象,以优先对待分类目标对象进行进一步的详细类别识别。
具体地,针对任一目标对象,若该目标对象与自动驾驶车辆之间的距离小于预设距离阈值,则将该目标对象确定为待分类目标对象,进而根据待分类目标对象的目标位置信息,在原始驾驶环境图像中截取该待分类目标对象对应的目标图像区域。
具体地,在一实施例中,由于自动驾驶车辆是按照一定速度行驶的,因此还可以根据自动驾驶车辆的当前车速,确定实时距离阈值。若该目标对象与自动驾驶车辆之间的距离小于实时距离阈值,则将该目标对象确定为待分类目标对象。
在上述实施例的基础上,作为一种可实施的方式,在上述实施例的基础上,在一实施例中,该方法还包括:
步骤301,获取自动驾驶车辆的当前场景任务信息和当前地图位置信息;
步骤302,根据当前场景任务信息和当前地图位置信息,确定目标待细分类别。
需要说明的是,自动驾驶车辆在不同的运行场景下的目标识别需求不同,通过按照自动驾驶车辆当前运行场景对应的当前场景任务信息和当前地图位置信息,对满足目标识别需求的目标待细分类别进行针对性的详细识别,可以避免目标识别资源的浪费,也进一步提高了目标识别效率和速度。
其中,待细分类别可以非固定,可以根据自动驾驶车辆的实际运行需求实时变化。
具体地,在一实施例中,可以根据目标待细分类别,在若干个目标图像区域中筛选待细分图像区域;根据待细分图像区域的目标对象细节信息,确定待细分图像区域的目标分类结果。
示例性的,若自动驾驶车辆为叉车或卡车等工程机械,其当前场景任务为装载,当前地图位置为装载范围,则可以确定目标待细分类别为工程机械。进一步可以获取各个目标图像区域对应的目标检测结果,若任一目标图像区域的目标检测结果表征该目标图像区域包括的目标对象的目标父类为工程机械,则将该目标图像区域确定为待细分图像区域。对待细分区域进行进一步的详细类别识别,以确定其详细类别,如自卸车、叉车、挖掘机、摊铺机和装载机等。
具体地,在一实施例中,可以获取若干个目标图像区域除待细分图像区域以外的粗分图像区域对应的目标检测结果;根据粗分图像区域对应的目标检测结果,确定粗分图像区域的目标类别检测结果;汇总粗分图像区域的目标类别检测结果和待细分图像区域的目标分类结果,得到原始驾驶环境图像的目标识别结果。
其中,粗分图像区域的目标类别检测结果即为目标检测结果表征的目标父类,即在目标识别结果中,粗分图像区域的目标对象可以直接采用识别到的目标父类,待细分图像区域的目标对象采用识别到的详细类别。
具体地,在一实施例中,可以按照预设目标识别要求,将待细分图像区域的目标分类结果划分为关注的目标分类结果和不关注的目标分类结果;获取不关注的目标分类结果对应的目标类别检测结果;汇总粗分图像区域的目标类别检测结果、关注的目标分类结果和不关注的目标分类结果对应的目标类别检测结果,得到原始驾驶环境图像的目标识别结果。
需要说明的是,由于在不同运行场景下的关注目标不同,因此可以预先根据车辆的运行场景设定目标识别要求。例如,车辆的运行场景表征当前场景任务为装载,当前地图位置为装载范围,则确定目标待细分类别为工程机械,若确定目标待细分类别对应的各待细分区域的详细类别识别结果(目标分类结果)包括自卸车、叉车、挖掘机、摊铺机和装载机等,预设目标识别要求表征挖掘机和摊铺机为关注的目标分类结果,自卸车、叉车和装载机为不关注的目标分类结果。其中,若粗分图像区域的目标类别检测结果为行人,则最终得到的目标识别结果包括行人、挖掘机、摊铺机和工程机械,即自卸车、叉车和装载机(不关注的目标分类结果)使用工程机械(目标类别检测结果)替代。
示例性的,可以按照下表,筛选目标待细分类别和关注的目标分类结果:
其中,若自动驾驶车辆为运输车辆,判定当前场景任务(装载、卸载、运输等)及当前地图位置(装卸载、施工变化道路范围等)后,确定需要细分的父类别(目标待细分类别),然后根据目标对象与车辆之间的距离,进行进一步的过滤,选取待分类目标对象输入给2D分类网络进行详细分类,详细分类后将关注子类别(关注的目标分类结果)替换到父类别(如装卸载时主要关注挖掘机、摊铺机子类),非关注的子类别(不关注的目标分类结果)保持原有父类别,保持了类别整体稳定,减少偶发跳变,也方便跟踪。
具体地,在一实施例中,可以基于小型2D分类网络,对待细分图像区域进行详细类别识别,以确定对应的目标分类结果。小型2D分类网络适用于细分类需求较强较多的场景(如工程作业现场),可以注意图像中的目标对象细节信息,如带文字的小图标的指示牌识别。
其中,针对上述3D目标检测网络和小型2D分类网络的训练阶段,一种标注方式是在对图像(结合点云)进行3D信息标注与2D框标注时,类别按照详细类别进行标注,训练3D目标检测网络时将详细类别归类到相应父类别进行训练,训练2D分类网络时根据标注的详细分类别的2D框,在原图上截取相应图像区域并保存为2D分类数据集,再送入2D分类网络进行训练。另一种标注方式是在对图像(结合点云)进行3D信息标注与2D框标注时,类别按照父类别进行标注,并送入3D目标检测网络进行训练,使用训练得到的3D目标检测网络对采集的图像(可以是未标注的图像)进行推理,得到图像相应的目标父类别与2D框(已标注图像可以不用推理得到,直接使用3D标注信息),根据该2D框截取原图相应区域并保存为2D分类数据集并进行详细类别标注,标注后送入2D分类网络进行训练。
具体地,为了增加数据库中的训练样本,可以对基于当前已有的数据集进行数据增强。由于3D目标检测网络不需要识别细节信息,因此3D目标检测网络进行数据增强时可以左右翻转,无需考虑是否存在左右敏感的类别。而2D分类网络需要识别图像的细节信息,为确保识别结果的准确性,2D分类网络进行数据增强时可以使用平移、旋转、缩放、Mixup、Cutmix、Cutout等常见数据增强手段,但若训练样本为预设左右敏感类别(如指示牌),则不使用左右翻转。
其中,2D分类网络只在有需要时才加入推理,并可只处理特定范围内或特定属性的父类目标,需要细分的父类别可随场景任务或地图位置实时确定与变化,在有多个父类目标时使用并行化处理,减少了推理耗时。在3D目标检测网络没有检测到需细分大类时,则2D分类网络不需要参与推理,父类目标少时2D分类网络处理的批量少,父类目标多时2D分类网络处理的批量才会多,可只对一定距离范围内最近的若干目标对象进行细分。
示例性的,如图3所示,为本申请实施例提供的目标识别方法的整体流程示意图,如图3所示的方法是如图1所示方法的一种示例性的实施方式,二者实现原理相同,不再赘述。
本申请实施例提供的目标识别方法,通过获取自动驾驶车辆的原始驾驶环境图像;对原始驾驶环境图像进行降采样处理,以得到分辨率低于原始驾驶环境图像的目标驾驶环境图像;根据目标驾驶环境图像表征的目标位置信息,在原始驾驶环境图像中截取对应的目标图像区域;根据目标图像区域的目标对象细节信息,确定目标图像区域的目标分类结果;根据目标图像区域的目标分类结果,确定原始驾驶环境图像的目标识别结果。上述方案提供的方法,通过在经过降采样处理的目标驾驶环境图像中确定目标位置信息,然后仅对目标位置信息对应的高分辨率的目标图像区域进行目标分类,在确保目标识别结果的准确性的同时,提高了目标识别效率和速度,为提高自动驾驶车辆的灵敏度奠定了基础。并且,3D目标检测网络也只需要检测父类别,这样在保证了3D目标检测效果的前提下,让独立的小而精的2D分类网络再对需要详细分类的父类别进行细分,不受3D检测推理分辨率的限制,发挥了各自的优势,且对各自的网络及数据集改变都较小。相比普通3D目标检测网络,本申请实施例解除了3D目标检测与分类的相互限制相互干扰的问题,3D目标检测网络与2D分类网络的准确率均有提升,在速度与效果上达到了更好的平衡。
本申请实施例提供了一种目标识别装置,用于执行上述实施例提供的目标识别方法。
如图4所示,为本申请实施例提供的目标识别装置的结构示意图。该目标识别装置40包括:获取模块401、图像处理模块402、区域截取模块403、确定模块404和识别模块405。
其中,获取模块,用于获取自动驾驶车辆的原始驾驶环境图像;图像处理模块,用于对原始驾驶环境图像进行降采样处理,以得到分辨率低于原始驾驶环境图像的目标驾驶环境图像;区域截取模块,用于根据目标驾驶环境图像表征的目标位置信息,在原始驾驶环境图像中截取对应的目标图像区域;确定模块,用于根据目标图像区域的目标对象细节信息,确定目标图像区域的目标分类结果;识别模块,用于根据目标图像区域的目标分类结果,确定原始驾驶环境图像的目标识别结果。
具体地,在一实施例中,区域截取模块,具体用于:
对目标驾驶环境图像进行目标检测,确定目标驾驶环境图像的目标检测结果;
根据目标检测结果表征的目标位置信息,在原始驾驶环境图像中截取对应的目标图像区域。
具体地,在一实施例中,区域截取模块,具体用于:
根据目标位置信息表征的各目标对象与自动驾驶车辆之间的距离,筛选待分类目标对象;
根据待分类目标对象对应的目标位置信息,在原始驾驶环境图像中截取对应的目标图像区域。
具体地,在一实施例中,该装置还包括:
筛选模块,用于获取自动驾驶车辆的当前场景任务信息和当前地图位置信息;根据当前场景任务信息和当前地图位置信息,确定目标待细分类别。
具体地,在一实施例中,确定模块,具体用于:
根据目标待细分类别,在若干个目标图像区域中筛选待细分图像区域;
根据待细分图像区域的目标对象细节信息,确定待细分图像区域的目标分类结果。
具体地,在一实施例中,识别模块,具体用于:
获取若干个目标图像区域除待细分图像区域以外的粗分图像区域对应的目标检测结果;
根据粗分图像区域对应的目标检测结果,确定粗分图像区域的目标类别检测结果;
汇总粗分图像区域的目标类别检测结果和待细分图像区域的目标分类结果,得到原始驾驶环境图像的目标识别结果。
具体地,在一实施例中,识别模块,具体用于:
按照预设目标识别要求,将待细分图像区域的目标分类结果划分为关注的目标分类结果和不关注的目标分类结果;
获取不关注的目标分类结果对应的目标类别检测结果;
汇总粗分图像区域的目标类别检测结果、关注的目标分类结果和不关注的目标分类结果对应的目标类别检测结果,得到原始驾驶环境图像的目标识别结果。
关于本实施例中的目标识别装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例提供的目标识别装置,用于执行上述实施例提供的目标识别方法,其实现方式与原理相同,不再赘述。
本申请实施例提供了一种电子设备,用于执行上述实施例提供的目标识别方法。
如图5所示,为本申请实施例提供的电子设备的结构示意图。该电子设备50包括:至少一个处理器51和存储器52。
存储器存储计算机执行指令;至少一个处理器执行存储器存储的计算机执行指令,使得至少一个处理器执行如上实施例提供的目标识别方法。
本申请实施例提供的一种电子设备,用于执行上述实施例提供的目标识别方法,其实现方式与原理相同,不再赘述。
本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当处理器执行计算机执行指令时,实现如上任一实施例提供的目标识别方法。
本申请实施例的包含计算机可执行指令的存储介质,可用于存储前述实施例中提供的目标识别方法的计算机执行指令,其实现方式与原理相同,不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种目标识别方法,其特征在于,包括:
获取自动驾驶车辆的原始驾驶环境图像;
对所述原始驾驶环境图像进行降采样处理,以得到分辨率低于所述原始驾驶环境图像的目标驾驶环境图像;
根据所述目标驾驶环境图像表征的目标位置信息,在所述原始驾驶环境图像中截取对应的目标图像区域;
根据所述目标图像区域的目标对象细节信息,确定所述目标图像区域的目标分类结果;
根据所述目标图像区域的目标分类结果,确定所述原始驾驶环境图像的目标识别结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标驾驶环境图像表征的目标位置信息,在所述原始驾驶环境图像中截取对应的目标图像区域,包括:
对所述目标驾驶环境图像进行目标检测,确定所述目标驾驶环境图像的目标检测结果;
根据所述目标检测结果表征的目标位置信息,在所述原始驾驶环境图像中截取对应的目标图像区域。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标检测结果表征的目标位置信息,在所述原始驾驶环境图像中截取对应的目标图像区域,包括:
根据所述目标位置信息表征的各目标对象与所述自动驾驶车辆之间的距离,筛选待分类目标对象;
根据所述待分类目标对象对应的目标位置信息,在所述原始驾驶环境图像中截取对应的目标图像区域。
4.根据权利要求1所述的方法,其特征在于,还包括:
获取所述自动驾驶车辆的当前场景任务信息和当前地图位置信息;
根据所述当前场景任务信息和当前地图位置信息,确定目标待细分类别。
5.根据权利要求4所述的方法,其特征在于,所述根据所述目标图像区域的目标对象细节信息,确定所述目标图像区域的目标分类结果,包括:
根据所述目标待细分类别,在若干个目标图像区域中筛选待细分图像区域;
根据所述待细分图像区域的目标对象细节信息,确定所述待细分图像区域的目标分类结果。
6.根据权利要求5所述的方法,其特征在于,所述根据所述目标图像区域的目标分类结果,确定所述原始驾驶环境图像的目标识别结果,包括:
获取所述若干个目标图像区域除所述待细分图像区域以外的粗分图像区域对应的目标检测结果;
根据所述粗分图像区域对应的目标检测结果,确定所述粗分图像区域的目标类别检测结果;
汇总所述粗分图像区域的目标类别检测结果和所述待细分图像区域的目标分类结果,得到所述原始驾驶环境图像的目标识别结果。
7.根据权利要求6所述的方法,其特征在于,所述汇总所述粗分图像区域的目标类别检测结果和所述待细分图像区域的目标分类结果,得到所述原始驾驶环境图像的目标识别结果,包括:
按照预设目标识别要求,将所述待细分图像区域的目标分类结果划分为关注的目标分类结果和不关注的目标分类结果;
获取所述不关注的目标分类结果对应的目标类别检测结果;
汇总所述粗分图像区域的目标类别检测结果、关注的目标分类结果和所述不关注的目标分类结果对应的目标类别检测结果,得到所述原始驾驶环境图像的目标识别结果。
8.一种目标识别装置,其特征在于,包括:
获取模块,用于获取自动驾驶车辆的原始驾驶环境图像;
图像处理模块,用于对所述原始驾驶环境图像进行降采样处理,以得到分辨率低于所述原始驾驶环境图像的目标驾驶环境图像;
区域截取模块,用于根据所述目标驾驶环境图像表征的目标位置信息,在所述原始驾驶环境图像中截取对应的目标图像区域;
确定模块,用于根据所述目标图像区域的目标对象细节信息,确定所述目标图像区域的目标分类结果;
识别模块,用于根据所述目标图像区域的目标分类结果,确定所述原始驾驶环境图像的目标识别结果。
9.一种电子设备,其特征在于,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1至7任一项所述的方法。
CN202310324781.9A 2023-03-30 2023-03-30 一种目标识别方法、装置、电子设备及存储介质 Pending CN116030439A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310324781.9A CN116030439A (zh) 2023-03-30 2023-03-30 一种目标识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310324781.9A CN116030439A (zh) 2023-03-30 2023-03-30 一种目标识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116030439A true CN116030439A (zh) 2023-04-28

Family

ID=86089758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310324781.9A Pending CN116030439A (zh) 2023-03-30 2023-03-30 一种目标识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116030439A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674733A (zh) * 2019-09-23 2020-01-10 厦门金龙联合汽车工业有限公司 多目标检测识别方法和辅助驾驶方法、系统
CN111832493A (zh) * 2020-07-17 2020-10-27 平安科技(深圳)有限公司 图像交通信号灯检测方法、装置、电子设备及存储介质
CN113989785A (zh) * 2021-12-01 2022-01-28 天津天瞳威势电子科技有限公司 一种驾驶场景分类方法、装置、设备及存储介质
CN115311522A (zh) * 2022-10-12 2022-11-08 深圳海星智驾科技有限公司 用于自动驾驶的目标检测方法及装置、电子设备及介质
CN115620047A (zh) * 2022-09-27 2023-01-17 中汽创智科技有限公司 目标对象属性信息确定方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674733A (zh) * 2019-09-23 2020-01-10 厦门金龙联合汽车工业有限公司 多目标检测识别方法和辅助驾驶方法、系统
CN111832493A (zh) * 2020-07-17 2020-10-27 平安科技(深圳)有限公司 图像交通信号灯检测方法、装置、电子设备及存储介质
CN113989785A (zh) * 2021-12-01 2022-01-28 天津天瞳威势电子科技有限公司 一种驾驶场景分类方法、装置、设备及存储介质
CN115620047A (zh) * 2022-09-27 2023-01-17 中汽创智科技有限公司 目标对象属性信息确定方法、装置、电子设备及存储介质
CN115311522A (zh) * 2022-10-12 2022-11-08 深圳海星智驾科技有限公司 用于自动驾驶的目标检测方法及装置、电子设备及介质

Similar Documents

Publication Publication Date Title
Bertozzi et al. Real-time lane and obstacle detection on the gold system
WO2020103893A1 (zh) 车道线属性检测方法、装置、电子设备及可读存储介质
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
EP3872702B1 (en) Light color identifying method and apparatus of signal light, and roadside device
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
KR102403169B1 (ko) 이미지 분석을 통한 가이드 제공 방법 및 이를 실행시키기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102389998B1 (ko) 비식별 처리 방법 및 이를 실행시키기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN112101205A (zh) 基于多任务网络的训练方法和装置
CN112434657A (zh) 飘散运载物检测方法、设备、程序及计算机可读介质
Xiao et al. A real-time system for lane detection based on FPGA and DSP
Arunpriyan et al. Real-time speed bump detection using image segmentation for autonomous vehicles
CN112784639A (zh) 路口检测、神经网络训练及智能行驶方法、装置和设备
CN113297939A (zh) 障碍物检测方法、系统、终端设备及存储介质
US20230377351A1 (en) Systems and methods for detecting objects in an image of an environment
CN116030439A (zh) 一种目标识别方法、装置、电子设备及存储介质
CN106682611A (zh) 图像处理方法及装置
Morales Rosales et al. On-road obstacle detection video system for traffic accident prevention
CN115456983A (zh) 一种水面漂浮物检测方法、系统、设备及介质
CN114359859A (zh) 一种含遮挡的目标物处理方法、装置及存储介质
CN113902047A (zh) 图像元素匹配方法、装置、设备以及存储介质
CN107452230A (zh) 一种障碍物检测方法、装置、终端设备及存储介质
CN112946603A (zh) 一种基于激光雷达的道路养护检测系统及其检测方法
CN111126271A (zh) 卡口抓拍图像车辆检测方法、计算机存储介质及电子设备
Aminian et al. Cost-efficient traffic sign detection relying on smart mobile devices
CN205158637U (zh) 一种车载式车流量检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination