CN117974426A - 一种数据增强方法、目标检测方法、设备及存储介质 - Google Patents
一种数据增强方法、目标检测方法、设备及存储介质 Download PDFInfo
- Publication number
- CN117974426A CN117974426A CN202410148382.6A CN202410148382A CN117974426A CN 117974426 A CN117974426 A CN 117974426A CN 202410148382 A CN202410148382 A CN 202410148382A CN 117974426 A CN117974426 A CN 117974426A
- Authority
- CN
- China
- Prior art keywords
- foreground
- image
- scene
- determining
- bounding box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000012216 screening Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011118 depth filtration Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Image Processing (AREA)
Abstract
本申请公开一种数据增强方法、目标检测方法、设备及存储介质,涉及数据处理技术领域。本申请的数据增强方法包括:获取前景掩膜图像和车辆采集的场景图像的当前帧或历史帧;基于车体坐标系选取中心点位置,基于所述中心点位置和所述前景掩膜图像确定前景的3D边界框;将所述3D边界框投影到所述场景图像中以确定前景的2D边界框;基于所述2D边界框和所述前景掩膜图像获得所述场景图像的数据增强图像。利用本申请提供的数据增强方法可以构造出大量丰富的用于训练集的场景图像,从而解决用于训练集的场景图像采集时存在难度大、场景类型单一的问题,并且可以显著提升基于该训练集训练的模型对稀有前景类型的目标的检出能力。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据增强方法、目标检测方法、设备及存储介质。
背景技术
目前,基于点云数据的机器学习技术在各个领域被广泛使用,以自动驾驶领域为例,可基于目标检测模型根据由雷达采集的点云数据对自动驾驶场景的3D目标进行检测。通常为了让目标检测模型能达到较好目标检测效果,需要采集获取各种场景数据进行模型训练,但是实际目标检测任务中,往往存在一些稀有的前景目标的类型,比如假人、假车等,这种存在前景物体的场景数据在常规数据采集中难以遇到,而通过定向摆拍进行数据采集也较难获取到大量样本数据。因此,现有技术中在对用于3D目标检测的模型进行训练时,对存在稀有的前景目标的场景数据作为样本进行数据采集时存在难度大、场景类型单一的问题,进而会导致基于模型进行的目标检测容易对稀有的前景目标漏检的问题。
发明内容
为了克服上述缺陷,本申请提出的数据增强方法可以解决用于进行目标检测的模型的样本数据场景不够丰富,进而导致目标检测容易出现漏检的问题。
在第一方面,本申请提供一种数据增强方法,包括:
获取前景掩膜图像和车辆采集的场景图像的当前帧或历史帧;
基于车体坐标系选取中心点位置,基于所述中心点位置和所述前景掩膜图像确定前景的3D边界框;
将所述3D边界框投影到所述场景图像中以确定前景的2D边界框;
基于所述2D边界框和所述前景掩膜图像获得所述场景图像的数据增强图像。
在一些实施例中,所述方法还包括:基于所述前景掩膜图像确定前景属性信息;相应的,所述基于车体坐标系选取中心点位置,基于所述中心点位置和所述前景掩膜图像确定前景的3D边界框具体包括:
在车体坐标系中随机选定x坐标值和y坐标值,根据所述前景属性信息确定z坐标值,基于所述x坐标值、所述y坐标值和所述z坐标值确定中心点位置;
基于所述前景属性信息确定边界框大小,以所述中心点位置为中心,以所述边界框大小为边界,在所述车体坐标系中确定所述3D边界框。
优选地,所述前景属性信息包括前景的类别、长度、宽度和高度;
所述根据所述前景属性信息确定z坐标值具体为:根据前景的类别和高度确定z坐标值;所述基于所述前景属性信息确定边界框大小具体为:根据前景的长度、宽度和高度确定边界框大小。
在一些实施例中,所述场景图像具体为车辆采集的多个视角的场景图像;所述将所述3D边界框投影到所述场景图像中以确定前景的2D边界框具体包括:
基于车体坐标系与相机坐标系的转换关系,将所述3D边界框分别投影到各个视角的场景图像中以确定各个视角下前景的2D边界框。
优选地,所述基于所述2D边界框和所述前景掩膜图像获得所述场景图像的数据增强图像具体包括:
基于所述2D边界框确定粘贴区域;
基于所述粘贴区域将所述前景掩膜图像粘贴到各个视角的场景图像中,获得多个视角的扩展场景图像;
将所述多个视角的扩展场景图像作为所述场景图像的数据增强图像。
进一步地,上述基于所述2D边界框确定粘贴区域具体包括:
判断所述场景图像是否为当前帧图像;是则在判断各个视角的前景的2D边界框满足预设条件时,基于所述2D边界框确定粘贴区域;否则直接基于所述各个视角的前景的2D边界框确定粘贴区域。
进一步地,上述预设条件至少包括遮挡过滤条件、截断过滤条件和深度过滤条件中的一个。
进一步地,上述将所述3D边界框投影到所述场景图像中以确定前景的2D边界框时还包括:基于相机参数获得所述3D边界框投影到所述场景图像所在相机坐标系的深度值;相应的,判断各个视角的前景的2D边界框是否满足预设条件具体包括:
基于所述场景图像与所述2D边界框,判断各个视角的前景的2D边界框是否满足遮挡过滤条件或截断过滤条件;
以及基于所述深度值,判断各个视角的前景的2D边界框是否满足深度过滤条件。
进一步地,在获得所述场景图像的数据增强图像之前还包括:
根据设定条件判断是否需要继续处理历史帧时刻的场景图像;并在判断为需要继续处理历史帧时刻的场景图像时,基于车辆位姿信息重新确定与所述历史帧时刻对应的所述中心点位置。
在第二方面,本申请提供一种目标检测方法,包括:
获取基于车辆激光雷达采集的目标场景点云数据;
将所述目标场景点云数据输入目标检测模型,得到目标检测结果,
其中,所述目标检测模型是基于实现上述数据增强方法的技术方案中任一项技术方案所述的数据增强方法获取的场景图像的数据增强图像训练得到。
在第三方面,本申请提供一种智能设备,该智能设备包括至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器中存储有计算机程序,所述计算机程序被所述至少一个处理器执行时实现上述数据增强方法的技术方案中任一项技术方案所述的数据增强方法。
在第四方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述数据增强方法的技术方案中任一项技术方案所述的数据增强方法。
本申请上述一个或多个技术方案,至少具有如下一种或多种有益效果:本申请通过将前景掩膜图像进行3D投影到场景图像中,可以构造出大量丰富的用于训练集的场景图像,从而解决用于训练集的场景图像采集时存在难度大、场景类型单一的问题,提升训练的模型对该前景掩膜图像对应前景(例如稀有前景类型)的泛化性能,进而提升模型对稀有前景类型的目标的检出能力。
附图说明
参照附图,本申请的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本申请的保护范围组成限制。此外,图中类似的数字用以表示类似的部件,其中:
图1是本申请实施例的一种数据增强方法的主要步骤流程示意图;
图2是本申请实施例的一种从多个视角获取场景图像的示意图;
图3是图1中步骤S14的一种具体实现方式的步骤流程图;
图4是图1中步骤S13和步骤S14的一种具体实现方式的步骤流程图;
图5是本申请实施例的一种数据增强系统的组成框图示意图。
具体实施方式
下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本申请的技术原理,并非旨在限制本申请的保护范围。
在本申请的描述中,“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路,各种合适的感应器,通信端口,存储器,也可以包括软件部分,比如程序代码,也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似,可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
以下结合说明书附图对本申请的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本申请,并不用于限定本申请,并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
参见附图1,如图1所示是本申请实施例提供的一种数据增强方法主要步骤流程,主要包括以下步骤S11至步骤S14。
步骤S11:获取前景掩膜图像和车辆采集的场景图像的当前帧或历史帧;
在本实施例中,可以先通过定向采集获取存在稀有前景的图像,然后基于现有技术的图像分割方法获取前景掩膜图像;也可以是直接从现有的存在稀有前景的图像(比如从网络中爬取的图片)中通过前景分割获取前景掩膜图像。结合实际应用场景,本实施例中所说的稀有前景可以是指假人、假车等前景目标。应理解的是,在图像处理领域,掩膜(mask)常用于从图像中提取感兴趣区域,本实施例中的前景掩膜图像是指从采集的存在稀有前景的图像中提取出的以所述稀有前景为感兴趣区域的图像。
本实施例中,可以是通过安装在车辆上的摄像头来采集获取多个视角的场景图像,并且根据采集每帧图像的时间的先后,可以将采集的场景图像从时序上分为当前帧和历史帧,本实施例提供的方法支持通过对采集的场景图像的一帧或多帧图像进行处理以获得场景图像的数据增强图像。应理解的是,摄像头采集的角度范围一般为60-170°,本实施例中将在车辆上安装的每个摄像头所采集的角度范围内的场景图像作为一个视角的场景图像,进而可以通过车辆上不同位置安装的多个摄像头采集获取多个视角的场景图像。
如图2所示,在车辆正前方、左前方、右前方、左后方和右后方的位置上安装的摄像头的角度范围是70°,在车辆正后方位置上安装的摄像头的角度范围是110°,如图中所示每个扇形区域对应一个视角,可以采集获取到车辆正前方、左前方、右前方、左后方、右后方和正后方这些方位的六个视角的场景图像。
步骤S12:基于车体坐标系选取中心点位置,基于所述中心点位置和所述前景掩膜图像确定前景的3D边界框;
本实施例中,车体坐标系中x轴方向是指汽车长度方向,y轴方向是指汽车宽度方向,z轴方向是指垂直高度方向。
优选地,所述基于车体坐标系选取中心点位置可以具体为:随机选定x坐标值和y坐标值,基于前景掩膜图像的前景属性信息确定z坐标值,进而基于(x,y,z)选定中心点位置。可选的,所述前景掩膜图像的前景属性信息包括:前景的类别、长度、宽度和高度,相应的:在车体坐标系中随机选定x坐标值和y坐标值,根据所述前景的类别和高度确定z坐标值,基于所述x坐标值、所述y坐标值和所述z坐标值确定中心点位置。其中,根据所述前景的类别和高度确定z坐标的一种示例为:若前景的类别是人,前景的高度是h,则确定z坐标值为h/2。可以理解的是,可以结合实际应用场景和经验知识预先设定所述前景的类别和高度与z坐标值的对应关系。
可以理解的是,所述基于车体坐标系选取中心点位置还可以是:在车体坐标系中随机选取一个点的位置(x,y,z)作为中心点位置。
优选地,所述基于所述中心点位置和所述前景掩膜图像确定前景的3D边界框可以具体为:基于所述前景属性信息(比如前景的长度、宽度和高度)确定边界框大小,以所述中心点位置为中心,以所述边界框大小为边界,在所述车体坐标系中确定所述3D边界框。
步骤S13:将所述3D边界框投影到所述场景图像中以确定前景的2D边界框;
本实施例中所述场景图像是车辆上的摄像头采集的多个视角的场景图像,本步骤具体为:基于车体坐标系与相机坐标系的转换关系,将所述3D边界框分别投影到各个视角的场景图像中以确定各个视角下前景的2D边界框。
步骤S14:基于所述2D边界框和所述前景掩膜图像获得所述场景图像的数据增强图像。
本实施例中,如图3所示是本步骤的一种优选实施方式的主要实现步骤,具体包括如下步骤S141至步骤S143。
步骤S141:基于所述2D边界框确定粘贴区域;
具体地,当基于2D边界框确定粘贴区域时,若所述场景图像是当前帧图像,则需要先对各个视角下前景的2D边界框进行过滤或筛选处理,然后基于过滤或筛选处理之后选取的2D边界框确定粘贴区域,若所述场景图像是历史帧图像,则不需要进行过滤或筛选处理,直接将所述步骤S13获得的所有2D边界框确定为粘贴区域。
步骤S142:基于所述粘贴区域将所述前景掩膜图像粘贴到各个视角的场景图像中,获得多个视角的扩展场景图像;
具体地,可以利用插值法将所述前景掩膜图像插值到各个视角的场景图像中以获得所述多个视角的扩展场景图像。
步骤S143:将所述多个视角的扩展场景图像作为所述场景图像的数据增强图像。
本申请实施例的数据增强方法,首先预先获取大量稀有的前景掩膜图像,然后通过3D投影的方式将前景掩膜图像粘贴到多视角的场景图像上以保证多视角一致性,该方法由于可以将前景掩膜图像投影到任意的场景图像上以得到扩展场景图像,从而构造出大量且丰富的场景图像,解决了定向采集场景类型单一的问题。
下面对上述步骤S13和步骤S14进行详细说明。
如图4所示是上述步骤S13和步骤S14的一种具体实现方式,具体包括以下步骤101至步骤108。
步骤101:将前景的3D边界框投影到当前帧的场景图像中以确定前景的2D边界框,并基于相机参数获得所述3D边界框投影到所述场景图像所在相机坐标系的深度值;
可以理解的是,所述3D边界框投影到所述场景图像所在相机坐标系下存在8个投影点,因此可以基于相机的内外参数获得8个投影点的深度值。
步骤102:判断所述场景图像是否为当前帧图像,是则执行步骤103,否则执行步骤104;
可以理解的是,可以基于图像采集时间判断所述场景图像是否为当前帧图像。
步骤103:在判断各个视角的前景的2D边界框满足预设条件时,基于2D边界框确定粘贴区域,然后执行步骤105;
本实施例中,所述预设条件至少包括遮挡过滤条件、截断过滤条件和深度过滤条件中的一个,所述基于2D边界框确定粘贴区域具体为将各个视角的前景的2D边界框直接确定为粘贴区域。通过对各个视角的前景的2D边界框进行是否满足预设条件的判断,当不满足预设条件时不进行粘贴。
一种优选实施方式中,所述满足预设条件是指同时满足遮挡过滤条件、截断过滤条件和深度过滤条件。
本步骤可以具体为:基于所述场景图像与所述2D边界框对各个视角的前景的2D边界框进行判断,判断是否满足遮挡过滤条件或截断过滤条件,以及基于所述深度值对各个视角的前景的2D边界框进行判断,判断是否满足深度过滤条件;优选地,在各个视角的前景的2D边界框同时满足所述遮挡过滤条件、所述截断过滤条件和所述深度过滤条件时,将各个视角的前景的2D边界框确定为各个视角下的粘贴区域。
示例性的,遮挡过滤条件为:在所有视角中至少保证一个视角的图像遮挡比例小于0.7,截断过滤条件为:在所有视角中至少保证一个视角的图像截断比例小于0.8;深度过滤条件为:在上述S231获取的8个投影点的深度值均大于0或均小于0。可以理解的是,图像遮挡比例、图像截断比例和深度值的具体取值可以根据实际需要自定义为预设数值。若通过遮挡过滤条件、截断过滤条件和深度过滤条件进行筛选后不存在符合预设条件的2D边界框,则可以返回通过随机方式重新选取中心点位置。
可以理解的是,可以基于场景图像与所述2D边界框的大小获得所述图像遮挡比例和所述图像截断比例。其中,图像遮挡比例是指2D边界框与场景图像中其他目标框重叠区域在所述2D边框中的占比;图像截断比例是指2D边界框超出所述场景图像的部分在所述2D边界框中的占比,该占比一般指通过面积计算的占比。
步骤104:直接基于各个视角的前景的2D边界框确定粘贴区域,然后执行步骤105;
具体地,将各个视角的前景的2D边界框均确定为粘贴区域。
步骤105:基于所述粘贴区域将所述前景掩膜图像粘贴到各个视角的场景图像中,获得多个视角的扩展场景图像;
具体地,利用插值法将所述前景掩膜图像插值到各个视角的场景图像中以获得所述多个视角的扩展场景图像。此处所述插值法可以是直接采用图像处理技术中各种现有的插值算法,若所述前景掩膜图像是一稀有前景目标,则此处获得的扩展场景图像是指包含了该稀有前景的场景图像。
步骤106:根据设定条件判断是否需要继续处理历史帧时刻的场景图像,是则执行步骤107,否则执行步骤108;
具体地,所述设定条件可以为连续处理多帧历史帧时刻的场景图像,比如6帧,具体实现时本步骤可以具体为:判断是否已处理完成6帧历史帧图像,是则不需要再继续处理,执行步骤108后退出,否则需要继续处理历史帧时刻的场景图像,执行步骤107。
步骤107:基于车辆位姿信息重新确定与所述历史帧时刻对应的中心点位置,并基于所述中心点位置和前景掩膜图像重新确定前景的3D边界框,然后返回执行步骤101;
步骤108:将获得的多个视角的扩展场景图像作为所述场景图像的数据增强图像。
本申请实施例的数据增强方法,在时序一致性上,假设前景静止,而只有自车在运动,结合车辆位姿构造出前景在时序上的相对自车的运动,实现了物体运动的时序一致性,因此基于本申请的数据增强方法获得的数据增强图像,可以对时序目标检测模型进行训练。基于本申请方法构造出的大量且丰富的数据增强图像,作为训练集训练得到的可用于3D目标检测的模型,可以显著提升模型对稀有前景类型的检出能力。
进一步的,本申请还提供了一种数据增强系统。
参阅附图5,图5是根据本申请的一个实施例的数据增强系统的主要结构框图,该系统主要包括:
获取模块201:用于获取前景掩膜图像和车辆采集的场景图像的当前帧或历史帧;
第一确定模块202:用于基于车体坐标系选取中心点位置,基于所述中心点位置和所述前景掩膜图像确定前景的3D边界框;
第二确定模块203:用于将所述3D边界框投影到所述场景图像中以确定前景的2D边界框;
输出模块204:用于基于所述2D边界框和所述前景掩膜图像获得所述场景图像的数据增强图像。
为了便于说明,上述数据增强系统的介绍仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。
应该理解的是,由于各个模块的设定仅仅是为了说明本申请的功能单元,这些模块对应的物理器件可以是处理器本身,或者处理器中软件的一部分,硬件的一部分,或者软件和硬件结合的一部分。因此,图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是,可以对系统中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本申请的原理,因此,拆分或合并之后的技术方案都将落入本申请的保护范围内。
本领域技术人员能够理解的是,本申请实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。
另一方面,本申请还提供了一种目标检测方法,该方法可以包括如下步骤S21和步骤S22。
步骤S21:获取基于车辆激光雷达采集的目标场景点云数据;
步骤S22:将所述目标场景点云数据输入目标检测模型,得到目标检测结果。
其中,所述目标检测模型是基于上述任一实施例所述的数据增强方法获取的场景图像的数据增强图像训练得到。
本申请实施例提供的目标检测方法,可以有效提高对目标场景中出现的稀有的前景目标的检出能力。在一些实施例中,本申请提供的目标检测方法可以应用于对自动驾驶场景下的目标进行检测,从而可以提高自动驾驶的安全性和智能性。
进一步,本申请还提供了一种智能设备,所述智能设备可以包括至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器中存储有计算机程序,计算机程序被至少一个处理器执行时实现上述任一实施例所述的方法。本申请所述的智能设备,可以包括驾驶设备、智能车、机器人等设备。
在本申请的一些实施例中,所述智能设备还包括至少一个传感器,所述传感器用于感知信息。所述传感器与本申请提到的任何一种类型的处理器通信连接。可选地,所述智能设备还包括自动驾驶系统,自动驾驶系统用于引导智能设备自行行驶或辅助驾驶。所述处理器与所述传感器和/或自动驾驶系统通信,用于完成上述任一实施例所述的数据增强方法。
在本申请实施例中智能设备可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中,智能设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的数据增强方法的程序可以被分割成多段子程序,每段子程序分别可以由处理器加载并运行以执行上述方法实施例的数据增强方法的不同步骤。具体地,每段子程序可以分别存储在不同的存储装置中,每个处理器可以被配置成用于执行一个或多个存储装置中的程序,以共同实现上述方法实施例的数据增强方法,即每个处理器分别执行上述方法实施例的数据增强方法的不同步骤,来共同实现上述方法实施例的数据增强方法。
上述多个处理器可以是部署于同一个设备上的处理器,例如上述智能设备可以是由多个处理器组成的高性能设备,上述多个处理器可以是该高性能设备上配置的处理器。此外,上述多个处理器也可以是部署于不同设备上的处理器,例如上述智能设备可以是服务器集群,上述多个处理器可以是服务器集群中不同服务器上的处理器。
进一步,本申请还提供了一种计算机可读存储介质。
在根据本申请的一个计算机可读存储介质实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的数据增强方法的程序,该程序可以由处理器加载并运行以实现上述数据增强方法。为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
本申请各实施例中提及的图像中可能涉及的相关用户个人信息,均为严格按照法律法规的要求,遵循合法、正当、必要的原则,基于业务场景的合理目的,处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的,以及经用户授权获取的个人信息。
本申请处理的用户个人信息会因具体产品/服务场景而有所不同,需以用户使用产品/服务的具体场景为准,可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。申请人会以高度的勤勉义务对待用户的个人信息及其处理。
本申请非常重视用户个人信息的安全,已采取符合业界标准、合理可行的安全防护措施保护用户的信息,防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。
至此,已经结合附图所示的优选实施方式描述了本申请的技术方案,但是,本领域技术人员容易理解的是,本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本申请的保护范围之内。
Claims (10)
1.一种数据增强方法,其特征在于,所述方法包括:
获取前景掩膜图像和车辆采集的场景图像的当前帧或历史帧;
基于车体坐标系选取中心点位置,基于所述中心点位置和所述前景掩膜图像确定前景的3D边界框;
将所述3D边界框投影到所述场景图像中以确定前景的2D边界框;
基于所述2D边界框和所述前景掩膜图像获得所述场景图像的数据增强图像。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:基于所述前景掩膜图像确定前景属性信息;
所述基于车体坐标系选取中心点位置,基于所述中心点位置和所述前景掩膜图像确定前景的3D边界框具体包括:
在车体坐标系中随机选定x坐标值和y坐标值,根据所述前景属性信息确定z坐标值,基于所述x坐标值、所述y坐标值和所述z坐标值确定中心点位置;
基于所述前景属性信息确定边界框大小,以所述中心点位置为中心,以所述边界框大小为边界,在所述车体坐标系中确定所述3D边界框。
3.根据权利要求2所述的方法,其特征在于,所述前景属性信息包括前景的类别、长度、宽度和高度;
所述根据所述前景属性信息确定z坐标值具体为:根据前景的类别和高度确定z坐标值;
所述基于所述前景属性信息确定边界框大小具体为:根据前景的长度、宽度和高度确定边界框大小。
4.根据权利要求1所述的方法,其特征在于,所述场景图像具体为车辆采集的多个视角的场景图像;
所述将所述3D边界框投影到所述场景图像中以确定前景的2D边界框具体包括:
基于车体坐标系与相机坐标系的转换关系,将所述3D边界框分别投影到各个视角的场景图像中以确定各个视角下前景的2D边界框。
5.根据权利要求4所述的方法,其特征在于,所述基于所述2D边界框和所述前景掩膜图像获得所述场景图像的数据增强图像具体包括:
基于所述2D边界框确定粘贴区域;
基于所述粘贴区域将所述前景掩膜图像粘贴到各个视角的场景图像中,获得多个视角的扩展场景图像;
将所述多个视角的扩展场景图像作为所述场景图像的数据增强图像。
6.根据权利要求5所述的方法,其特征在于,所述基于所述2D边界框确定粘贴区域具体包括:
判断所述场景图像是否为当前帧图像;
是则在判断各个视角的前景的2D边界框满足预设条件时,基于所述2D边界框确定粘贴区域;
否则直接基于所述各个视角的前景的2D边界框确定粘贴区域。
7.根据权利要求6所述的方法,其特征在于,所述预设条件至少包括遮挡过滤条件、截断过滤条件和深度过滤条件中的一个。
8.根据权利要求7所述的方法,其特征在于,所述将所述3D边界框投影到所述场景图像中以确定前景的2D边界框时还包括:基于相机参数获得所述3D边界框投影到所述场景图像所在相机坐标系的深度值;
判断各个视角的前景的2D边界框是否满足预设条件具体包括:
基于所述场景图像与所述2D边界框,判断各个视角的前景的2D边界框是否满足遮挡过滤条件或截断过滤条件;
以及基于所述深度值,判断各个视角的前景的2D边界框是否满足深度过滤条件。
9.根据权利要求6所述的方法,其特征在于,在获得所述场景图像的数据增强图像之前还包括:
根据设定条件判断是否需要继续处理历史帧时刻的场景图像;
并在判断为需要继续处理历史帧时刻的场景图像时,基于车辆位姿信息重新确定与所述历史帧时刻对应的所述中心点位置。
10.一种目标检测方法,其特征在于,包括:
获取基于车辆激光雷达采集的目标场景点云数据;
将所述目标场景点云数据输入目标检测模型,得到目标检测结果,
其中,所述目标检测模型是基于权利要求1至9中任一项所述的数据增强方法获取的场景图像的数据增强图像训练得到。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410148382.6A CN117974426A (zh) | 2024-02-01 | 2024-02-01 | 一种数据增强方法、目标检测方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410148382.6A CN117974426A (zh) | 2024-02-01 | 2024-02-01 | 一种数据增强方法、目标检测方法、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117974426A true CN117974426A (zh) | 2024-05-03 |
Family
ID=90849248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410148382.6A Pending CN117974426A (zh) | 2024-02-01 | 2024-02-01 | 一种数据增强方法、目标检测方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117974426A (zh) |
-
2024
- 2024-02-01 CN CN202410148382.6A patent/CN117974426A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112528878B (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
CN109035790B (zh) | 车辆交通违法的证据获取方法及系统 | |
CN109997148B (zh) | 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质 | |
CN111627001B (zh) | 图像检测方法及装置 | |
KR20210043628A (ko) | 장애물 감지 방법, 지능형 주행 제어 방법, 장치, 매체, 및 기기 | |
CN110667474B (zh) | 通用障碍物检测方法、装置与自动驾驶系统 | |
CN116758518B (zh) | 环境感知方法、计算机设备、计算机可读存储介质及车辆 | |
CN111213153A (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
CN115494856A (zh) | 避障方法、装置、无人机及电子设备 | |
CN113724335B (zh) | 一种基于单目相机的三维目标定位方法及系统 | |
CN116968758B (zh) | 一种基于三维场景表示的车辆控制方法及装置 | |
US20200361378A1 (en) | Image generation device and image generation method | |
WO2024124865A1 (zh) | 车辆姿态检测方法、装置、车辆及存储介质 | |
CN117974426A (zh) | 一种数据增强方法、目标检测方法、设备及存储介质 | |
CN117055618A (zh) | 无人机及其控制方法 | |
CN110728710B (zh) | 视觉里程计算方法、装置和计算机可读存储介质 | |
KR101501531B1 (ko) | 스테레오 비전 기반 보행자 검출 시스템 및 그 방법 | |
CN108022429B (zh) | 一种车辆检测的方法及装置 | |
US11884303B2 (en) | Apparatus and method for determining lane change of surrounding objects | |
CN107452230A (zh) | 一种障碍物检测方法、装置、终端设备及存储介质 | |
CN114445648A (zh) | 障碍物识别方法、设备及存储介质 | |
CN117784162B (zh) | 目标标注数据获取方法、目标跟踪方法、智能设备及介质 | |
CN115063594B (zh) | 一种基于自动驾驶的特征提取方法及装置 | |
CN115063772B (zh) | 一种车辆编队后车检测方法、终端设备及存储介质 | |
CN112101321B (zh) | 灭点提取方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |