CN113887294A - 车轮接地点的检测方法、装置、电子设备与存储介质 - Google Patents
车轮接地点的检测方法、装置、电子设备与存储介质 Download PDFInfo
- Publication number
- CN113887294A CN113887294A CN202111015763.XA CN202111015763A CN113887294A CN 113887294 A CN113887294 A CN 113887294A CN 202111015763 A CN202111015763 A CN 202111015763A CN 113887294 A CN113887294 A CN 113887294A
- Authority
- CN
- China
- Prior art keywords
- wheel
- target vehicle
- grounding point
- grounding
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种车轮接地点的检测方法、装置、电子设备与存储介质,方法包括:获取包含目标车辆的图像;将所述包含目标车辆的图像,输入预先训练的车轮接地点预测模型,得到目标车辆各车轮的接地点;其中,所述车轮接地点预测模型是基于样本车辆的图像训练得到的。本发明通过车轮接地点预测模型,使得车轮接地点的检测精度更准,为后面无论是对车子自身姿态的预测还是后续的任务都提供了较为鲁棒的结果。
Description
技术领域
本发明涉及自动驾驶技术领域,尤其涉及一种车轮接地点的检测方法、装置、电子设备与存储介质。
背景技术
在自动驾驶以及避障导航等多种技术中,精确的定位是非常重要的一环,例如,车辆在当前车道行驶时需要判断与其他车辆的位置关系并做出相应的控制动作,以防发生碰撞事故。当前主流的车辆定位方法是三维(3D)检测定位方法,以及基于车轮接地点的检测定位方法。
实现基于车轮接地点的检测定位方法的前提是要实现对车轮接地点的检测。现有技术中的车轮接地点检测方法是从采集的待检测图像中识别出至少一个障碍车的外包围轮廓,然后将障碍车的外包围轮廓输入到神经网络模型中,利用所述神经网络模型的输出信息确定障碍车的车轮接地点。
现有技术中的车轮接地点检测方法的缺陷在于:对采集信息的处理方法单一,车轮接地点位置的判断精度仍然不够理想,继而对车子自身姿态的预测以及后续的其他任务产生不良的影响。
发明内容
本发明提供一种车轮接地点的检测方法、装置、电子设备与存储介质,用以解决现有技术中的车辆朝向,车辆距离预测不精确的问题,通过对目标车轮接地点的精确测量实现对目标车辆朝向和目标车辆距离更加精准的预测。
本发明提供一种车轮接地点的检测方法,包括:
获取包含目标车辆的图像;
将所述包含目标车辆的图像,输入预先训练的车轮接地点预测模型,得到目标车辆各车轮的接地点;
其中,所述车轮接地点预测模型是基于样本车辆的图像训练得到的。
根据本发明提供的一种车轮接地点的检测方法,所述车轮接地点预测模型包括图像预处理层、近似接地点获取层、候选接地点集合获取层以及接地点确定层;
其中,所述图像预处理层用于根据包含目标车辆的图像,获取目标车辆各车轮接地点的热力图、目标车辆中心点的位置坐标以及目标车辆中心点与目标车辆各车轮接地点的偏差值;
所述近似接地点获取层用于根据所述目标车辆中心点的位置坐标以及目标车辆中心点与目标车辆各车轮接地点的偏差值,获取目标车辆各车轮的近似接地点;
所述候选接地点集合获取层用于根据所述目标车辆各车轮接地点的热力图,获取目标车辆各车轮的候选接地点集合;
所述接地点确定层用于根据所述目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合中各个候选接地点之间的距离,确定目标车辆各车轮的接地点。
根据本发明提供的一种车轮接地点的检测方法,所述将所述包含目标车辆的图像,输入预先训练的车轮接地点预测模型,得到目标车辆各车轮的接地点,包括:
将所述包含目标车辆的图像输入所述图像预处理层,得到目标车辆各车轮接地点的热力图、目标车辆中心点的位置坐标以及目标车辆中心点与目标车辆各车轮接地点的偏差值;
将所述目标车辆中心点的位置坐标以及目标车辆中心点与目标车辆各车轮接地点的偏差值输入所述近似接地点获取层,得到目标车辆各车轮的近似接地点;
将所述目标车辆各车轮接地点的热力图输入候选接地点集合获取层,得到目标车辆各车轮的候选接地点集合;
将所述目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合输入所述接地点确定层,得到目标车辆各车轮的接地点。
根据本发明提供的一种车轮接地点的检测方法,所述将所述目标车辆各车轮接地点的热力图输入候选接地点集合获取层,得到目标车辆各车轮的候选接地点集合,包括:
将所述目标车辆各车轮接地点的热力图输入候选接地点集合获取层的第一处理层,得到所述第一处理层输出的目标车辆各车轮的候选接地点初始值;
将目标车辆各车轮的候选接地点初始值与目标车辆各车轮所对应的量化误差输入候选接地点集合获取层的第二处理层,得到目标车辆各车轮的候选接地点集合。
根据本发明提供的一种车轮接地点的检测方法,所述将所述目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合输入所述接地点确定层,得到目标车辆各车轮的接地点,包括:
将所述目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合输入所述接地点确定层的距离计算层,得到所述距离计算层所输出的目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合中各个候选接地点之间的距离;
将所述距离计算层所输出的目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合中各个候选接地点之间的距离输入所述接地点确定层的判断层,得到所述判断层所输出的目标车辆各车轮的接地点;其中,所述判断层预先设置了约束条件。
根据本发明提供的一种车轮接地点的检测方法,方法还包括:
获取样本车辆的标注图,获取样本车辆各车轮接地点的热力图;其中,所述样本车辆的标注图包括样本车辆中心点的标注信息以及样本车辆的车轮接地点的标注信息;
将所述样本车辆的图像,输入待训练的车轮接地点预测模型,得到样本车辆各车轮的接地点,以及样本车辆中心点与样本车辆各车轮接地点的偏差值;
根据所述样本车辆各车轮的接地点与所述样本车辆中心点与样本车辆各车轮接地点的偏差值,计算样本车辆预测中心点的位置坐标;
根据样本车辆中心点的位置坐标与样本车辆预测中心点的位置坐标计算本轮训练的损失函数值;其中,所述样本车辆中心点的位置坐标由所述样本车辆的标注图中的样本车辆中心点的标注信息得到;
在本轮训练的损失函数值与上轮训练的损失函数值之间的变化值大于预设的阈值的情况下,继续训练过程,或在本轮训练的损失函数值与上轮训练的损失函数值之间的变化值小于或等于预设的阈值,且本轮训练的损失函数值趋于平稳的情况下,结束训练。
本发明还提供了一种车轮接地点的检测装置,包括:
目标车辆信息采集模块,用于获取包含目标车辆的图像;
车轮接地点预测模块,用于将所述包含目标车辆的图像输入预先训练的车轮接地点预测模型,得到目标车辆各车轮的接地点;
其中,所述车轮接地点预测模型是基于样本车辆的图像训练得到的。
本发明还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如所述车轮接地点的检测方法的步骤。
本发明还提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如所述车轮接地点的检测方法的步骤。
本发明还提供了一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,所述指令在被执行时用于实现如所述车轮接地点的检测方法的步骤。
本发明提供的车轮接地点的检测方法、装置、电子设备与存储介质,通过获取包含目标车辆的图像;将所述包含目标车辆的图像输入预先训练的车轮接地点预测模型,得到目标车辆各车轮的接地点;本发明通过车轮接地点预测模型,使得车轮接地点的检测精度更准,为后面无论是对车子自身姿态的预测还是后续的任务都提供了较为鲁棒的结果,取得了显著的进步。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的车轮接地点的检测方法的流程示意图;
图2是本发明提供的车轮接地点的检测装置的结构示意图;
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合图1-图3,用实施例具体描述本发明的车轮接地点的检测方法、装置、电子设备与存储介质。
图1为本发明提供的车轮接地点的检测方法的流程图,如图1所示,本发明提供的车轮接地点的检测方法包括:
步骤S110、获取包含目标车辆的图像。
在本实施例中,目标车辆是指在本车行驶的当前道路前后车辆或者左右邻近车道可能切入本车行驶车道的车辆,也就是说,一定的距离范围内可能影响到本车安全驾驶的车辆都会被视为目标车辆。本发明采用了普遍的车辆具有四个轮子的强假设,基于目标车辆有四个车轮的强假设,最后会求得四个车轮接地点。
在本实施例中,假设本车行驶车道正前方有一个进入到本车的相机捕捉范围的四轮机动车辆,则这个四轮机动车辆就会被自动定义为目标车辆,并被采集图像信息,包含目标车辆的图像信息中包含车辆中心点和车轮接地点。
需要强调的是,本车相机采集的包含目标车辆的图像,本质是路上的图片。也就是说,本车相机在捕捉范围内拍摄的图片上可以包含很多车辆即目标车辆并不唯一。
步骤S120、将所述包含目标车辆的图像输入预先训练的车轮接地点预测模型,得到目标车辆各车轮的接地点;其中,所述车轮接地点预测模型是基于样本车辆的图像训练得到的。
在本实施例中,车轮接地点预测模型是具有深度学习能力的网络模型,训练时会模拟各种各样可能的本车行驶时的应用场景,例如雨雪天气、本车正前方车辆突然减速、本车经过红绿灯、本车邻近车道上的车辆并入本车车道等等各种正常或非正常的应用场景,基于这些场景下获得的大量的样本车辆的标注图和样本车辆各车轮接地点的热力图,输入车轮接地点预测模型,进行反复训练,直到车轮接地点预测模型的输出值符合本发明预先设定的对于车轮接地点的精度要求。
车轮接地点预测模型包括图像预处理层、近似接地点获取层、候选接地点集合获取层以及接地点确定层。其中,所述图像预处理层用于根据包含目标车辆的图像,获取目标车辆各车轮接地点的热力图、目标车辆中心点的位置坐标以及目标车辆中心点与目标车辆各车轮接地点的偏差值;所述近似接地点获取层用于根据所述目标车辆中心点的位置坐标以及目标车辆中心点与目标车辆各车轮接地点的偏差值,获取目标车辆各车轮的近似接地点;所述候选接地点集合获取层用于根据所述目标车辆各车轮接地点的热力图,获取目标车辆各车轮的候选接地点集合;所述接地点确定层用于根据所述目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合中各个候选接地点之间的距离,确定目标车辆各车轮的接地点。目标车辆中心点的位置坐标以及目标车辆中心点与目标车辆各车轮接地点的偏差值输入近似接地点获取层以后,车轮接地点预测模型的近似接地点获取层会执行自上而下的方法即top-down方法。
在本实施例中,目标车辆中心点与目标车辆各车轮接地点的偏差值的通道数目为8。8个通道中每2个通道对应一个车轮,2个通道中的一个表示所对应车轮的接地点与目标车辆中心点在x方向上的偏差值,另一个表示所对应车轮的接地点与目标车辆中心点在y方向上的偏差值。例如,8个通道中的第1、第2通道描述左后车轮的偏差值,第3、第4通道描述左前车轮的偏差值,第5、第6通道描述右后车轮的偏差值,第7、第8通道描述右前车轮的偏差值。
假设目标车辆的中心点位置坐标为(x0,y0),左后车轮的偏差值为(δx1,δy1),左前车轮偏差值为(δx2,δy2),右后车轮偏差值为(δx3,δy3)和右前车轮偏差值为(δx4,δy4),得到最终的左后车轮近似接地点的坐标值为(x1=x0+δx1,y1=y0+δy1),左前车轮近似接地点的坐标值为(x2=x0+δx2,y2=y0+δy2),右后车轮近似接地点的坐标值为(x3=x0+δx3,y3=y0+δy3)和右前车轮近似接地点的坐标值为(x4=x0+δx4,y4=y0+δy4)。
此处计算得到的近似接地点并非真正的车轮接地点,在之后的步骤中将基于近似接地点确定真正的车轮接地点。
将目标车辆各车轮接地点的热力图输入候选接地点集合获取层以后,车轮接地点预测模型的候选接地点集合获取层会执行自下而上的方法即bottom-up方法。
在本实施例中,将目标车辆各车轮接地点的热力图输入候选接地点集合获取层的第一处理层,得到第一处理层输出的目标车辆各车轮的候选接地点初始值;将目标车辆各车轮的候选接地点初始值与目标车辆各车轮所对应的量化误差输入候选接地点集合获取层的第二处理层,得到目标车辆各车轮的候选接地点集合。
在本实施例中,目标车辆各车轮接地点的热力图为4通道热力图,4个通道分别代表左后车轮接地点的热力图,左前车轮接地点的热力图,右后车轮接地点的热力图和右前车轮接地点的热力图。对这些通道的热力图分别做最大池化(maxpool),可以各自得到一个或多个极值点,这些极值点的值即为候选接地点初始值。量化误差指的是在本发明中基于输入和输出的图像具有不同的分辨率所产生的误差。例如,输入图像是512x512的分辨率,输出的图像分辨率是128x128,也就是下采样了4倍,那么在128x128的特征图上面,一个点代表了原来512x512图像上面的4x4的这么一个范围。也就是说如果用128x128图像上面的点来映射回512x512图像上面的点,那么会表示不到一些地方。因此,引入了量化误差,用来给这个128x128图像上面的点找到它实际的那个512x512图像上面的位置。例如,有一个点在128x128图像上面的位置坐标为(23,20),这个映射回原图就是在(132,80)这个点上面,但是假如相对应的真正的点在(133,80)这个位置,那这个位置的点下采样取整之后也是落到了(23,20)这个点上,因此需要这么一个量化误差来让这个(132,80)真正移动到这个(133,80)的点上。
将候选接地点初始值加上目标车辆各车轮所对应的量化误差,得到目标车辆各车轮的候选接地点集合。
例如,左后车轮候选接地点集合为{(X1,Y1),(X2,Y2),(X3,Y3),……},左前车轮近似接地点集合为{(M1,N1),(M2,N2),(M3,N3),……},右后车轮近似接地点集合为{(H1,G1),(H2,G2),(H3,G3),……}和右前车轮近似接地点集合为{(L1,I1),(L2,I2),(L3,I3),……}。其中,每一个车轮都至少有一个候选的车轮接地点,因此每个车轮会对应一个候选车轮接地点集合。也就是说,经过对各车轮接地点热力图heatmap的处理,各个车轮所求得的候选的车轮接地点的数目并不唯一。
将目标车辆各车轮的近似接地点与目标车辆各车轮的候选接地点集合输入接地点确定层以后,车轮接地点预测模型的接地点确定层通过计算会确定最终的目标车辆的车轮接地点。
在本实施例中,将目标车辆各车轮的近似接地点与目标车辆各车轮的候选接地点集合输入接地点确定层的距离计算层,得到距离计算层所输出的目标车辆各车轮的近似接地点与目标车辆各车轮的候选接地点集合中各个候选接地点之间的距离;将距离计算层所输出的目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合中各个候选接地点之间的距离输入接地点确定层的判断层,得到判断层所输出的目标车辆各车轮的接地点;其中,判断层预先设置了约束条件。
具体来说,将由自上而下top-down方法得到的近似车轮接地点,包括左后车轮近似接地点(x1=x0+δx1,y1=y0+δy1),左前车轮近似接地点(x2=x0+δx2,y2=y0+δy2),右后车轮近似接地点(x3=x0+δx3,y3=y0+δy3)和右前车轮近似接地点(x4=x0+δx4,y4=y0+δy4)。与经过自下而上bottom-up方法获得的候选车轮接地点,包括左后车轮候选接地点{(X1,Y1),(X2,Y2),(X3,Y3),……},左前车轮近似接地点{(M1,N1),(M2,N2),(M3,N3),……},右后车轮近似接地点{(H1,G1),(H2,G2),(H3,G3),……}和右前车轮近似接地点{(L1,I1),(L2,I2),(L3,I3),……}进行结合,综合分析,求得最终确定的车轮接地点。针对左后车轮,以近似接地点(x1,y1)为中心,计算近似接地点(x1,y1)与所有的左后车轮候选接地点{(X1,Y1),(X2,Y2),(X3,Y3),……}的差值,得到一个差值集合,然后找到最小的那个差值所对应的候选接地点,用来代表由自上而下top-down方法和自下而上bottom-up方法共同选择出来的最终的车轮接地点。以此类推,可以求出其他三个车轮的最终的车轮接地点。需要说明的是,最终选择的车轮接地点同时也应当满足约束条件即这个车轮的接地点需要在车子的2d bbox的某个范围内,如提前设置一个阈值,这个阈值可以是取值范围也可以是一个数值,当求得近似车轮接地点与候选车轮接地点的最小差值时,最小差值还要满足预设的阈值,才能将最小差值对应的候选车轮接地点最终确定为真正的车轮接地点。
本发明提供的车轮接地点的检测方法,通过车轮接地点预测模型,基于采集到的包含目标车辆的图像信息以及目标车辆各车轮接地点的热力图,对目标车辆各车轮的接地点进行检测,使得车轮接地点的检测精度更准,为后面无论是对车子自身姿态的预测还是后续的任务都提供了较为鲁棒的结果。
基于上述任一实施例,在本实施例中,根据本发明提供的一种车轮接地点的检测方法,方法还包括:
获取样本车辆的标注图,获取样本车辆各车轮接地点的热力图;其中,所述样本车辆的标注图包括样本车辆中心点的标注信息以及样本车辆的车轮接地点的标注信息;
将所述样本车辆的图像,输入待训练的车轮接地点预测模型,得到样本车辆各车轮的接地点,以及样本车辆中心点与样本车辆各车轮接地点的偏差值;
根据所述样本车辆各车轮的接地点与所述样本车辆中心点与样本车辆各车轮接地点的偏差值,计算样本车辆预测中心点的位置坐标;
根据样本车辆中心点的位置坐标与样本车辆预测中心点的位置坐标计算本轮训练的损失函数值;其中,所述样本车辆中心点的位置坐标由所述样本车辆的标注图中的样本车辆中心点的标注信息得到;
在本轮训练的损失函数值与上轮训练的损失函数值之间的变化值大于预设的阈值的情况下,继续训练过程,或在本轮训练的损失函数值与上轮训练的损失函数值之间的变化值小于或等于预设的阈值,且本轮训练的损失函数值趋于平稳的情况下,结束训练。
在本实施例中,采用角点匹配的方法对模型的训练效果进行判断。所述角点匹配(corner matching)本意是指寻找两幅图像之间的特征像素点的对应关系,从而确定两幅图像的位置关系。
在本实施例中,角点匹配corner-matching应用于车轮接地点检测模型的训练过程中,具体的说,是根据待训练的车轮接地点检测模型计算得到的车轮接地点预测其与车辆中心点的一个偏差值(该偏差值是通道数目为8的数据),根据该偏差值计算样本车辆预测中心点的位置坐标;根据样本车辆预测中心点的位置坐标与样本车辆实际中心点的位置坐标,计算损失函数值;如果损失函数值较大(意味着样本车辆预测中心点的位置坐标与样本车辆实际中心点的位置坐标的偏差值较大),那就说明当前的车轮接地点检测模型不够完善,需要对模型中的参数进行调整,如果损失函数值在预设的阈值范围内,说明达到模型训练的终止条件,此时所得到的模型即为可投入实际应用的车轮接地点检测模型。
本发明提供的车轮接地点的检测方法,通过车轮接地点预测模型,基于采集到的包含目标车辆的图像信息,引入优化角点匹配corner matching的方式,使得车轮接地点的检测精度更准,为后面无论是对车子自身姿态的预测还是后续的任务都提供了较为鲁棒的结果。
下面对本发明提供的车轮接地点的检测装置进行描述,下文描述的车轮接地点的检测装置与上文描述的车轮接地点的检测方法可相互对应参照。
图2为本发明提供的车轮接地点的检测装置的结构图,如图2所示,本发明提供的车轮接地点的检测装置,包括:
目标车辆信息采集模块210,用于获取目标车辆的原图;
车轮接地点预测模块220,用于将所述包含目标车辆的图像输入预先训练的车轮接地点预测模型,得到目标车辆各车轮的接地点;其中,所述车轮接地点预测模型是基于样本车辆的图像训练得到的。
本发明提供的车轮接地点的检测装置,通过目标车辆信息采集模块210和车轮接地点预测模块220,使得车轮接地点的检测精度更准,为后面无论是对车子自身姿态的预测还是后续的任务都提供了较为鲁棒的结果。
基于上述任一实施例,在本实施例中,根据本发明提供的一种车轮接地点的检测装置,装置还包括:图像预处理层单元、近似接地点获取层单元、候选接地点集合获取层单元以及接地点确定层单元。
其中,图像预处理层单元,用于根据包含目标车辆的图像,获取目标车辆各车轮接地点的热力图、目标车辆中心点的位置坐标以及目标车辆中心点与目标车辆各车轮接地点的偏差值;近似接地点获取层单元,用于根据所述目标车辆中心点的位置坐标以及目标车辆中心点与目标车辆各车轮接地点的偏差值,获取目标车辆各车轮的近似接地点;候选接地点集合获取层单元,用于根据所述目标车辆各车轮接地点的热力图,获取目标车辆各车轮的候选接地点集合;接地点确定层单元,用于根据所述目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合中各个候选接地点之间的距离,确定目标车辆各车轮的接地点。
基于上述任一实施例,在本实施例中,根据本发明提供的一种车轮接地点的检测装置,候选接地点集合获取层单元还包括:
候选接地点集合获取层的第一处理层子单元,用于将所述目标车辆各车轮接地点的热力图输入候选接地点集合获取层的第一处理层,得到所述第一处理层输出的目标车辆各车轮的候选接地点初始值;
候选接地点集合获取层的第二处理层子单元,用于将目标车辆各车轮的候选接地点初始值与目标车辆各车轮所对应的量化误差输入候选接地点集合获取层的第二处理层,得到目标车辆各车轮的候选接地点集合。
基于上述任一实施例,在本实施例中,根据本发明提供的一种车轮接地点的检测装置,接地点确定层单元还包括:
接地点确定层的距离计算子单元,用于将所述目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合输入所述接地点确定层的距离计算层,得到所述距离计算层所输出的目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合中各个候选接地点之间的距离;
接地点确定层的判断子单元,用于将所述距离计算层所输出的目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合中各个候选接地点之间的距离输入所述接地点确定层的判断层,得到所述判断层所输出的目标车辆各车轮的接地点;其中,所述判断层预先设置了约束条件。
基于上述任一实施例,在本实施例中,根据本发明提供的一种车轮接地点的检测装置,还包括:
样本车辆的信息获取单元,用于获取样本车辆的标注图,获取样本车辆各车轮接地点的热力图;其中,所述样本车辆的标注图包括样本车辆中心点的标注信息以及样本车辆的车轮接地点的标注信息;
车轮接地点预测模型训练单元,用于将所述样本车辆的图像输入待训练的车轮接地点预测模型,得到样本车辆各车轮的接地点,以及样本车辆中心点与样本车辆各车轮接地点的偏差值;
车轮接地点预测模型训练结果判断单元,用于根据所述样本车辆各车轮的接地点与所述样本车辆中心点与样本车辆各车轮接地点的偏差值,计算样本车辆预测中心点的位置坐标;根据样本车辆中心点的位置坐标与样本车辆预测中心点的位置坐标计算本轮训练的损失函数值,;其中,所述样本车辆中心点的位置坐标由所述样本车辆的标注图中的样本车辆中心点的标注信息得到;在本轮训练的损失函数值与上轮训练的损失函数值之间的变化值大于预设的阈值的情况下,继续训练过程,或者在本轮训练的损失函数值与上轮训练的损失函数值之间的变化值小于或等于预设的阈值,且本轮训练的损失函数值趋于平稳的情况下,结束训练。
另一方面,本发明还提供一种电子设备,图3示例了一种电子设备的实体结构示意图,如图3所示,该电子设备可以包括处理器310、通信总线320、存储器330、通信接口340以及存储在所述存储器330上并可在所述处理器310上运行的计算机程序,其中,处理器310、通信接口310、存储器330通过通信总线340完成相互间的通信,处理器310可以调用存储器330中的逻辑指令,以执行车轮接地点的检测方法,该方法包括:
获取包含目标车辆的图像;
将所述包含目标车辆的图像输入预先训练的车轮接地点预测模型,得到目标车辆各车轮的接地点;其中,所述车轮接地点预测模型是基于样本车辆的图像训练得到的。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被处理器执行时,可以实现车轮接地点的检测方法,该方法包括:
获取包含目标车辆的图像;
将所述包含目标车辆的图像输入预先训练的车轮接地点预测模型,得到目标车辆各车轮的接地点;其中,所述车轮接地点预测模型是基于样本车辆的图像训练得到的。
最后,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够实现车轮接地点的检测方法,该方法包括:
获取包含目标车辆的图像;
将所述包含目标车辆的图像输入预先训练的车轮接地点预测模型,得到目标车辆各车轮的接地点;其中,所述车轮接地点预测模型是基于样本车辆的图像训练得到的。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种车轮接地点的检测方法,其特征在于,包括:
获取包含目标车辆的图像;
将所述包含目标车辆的图像输入预先训练的车轮接地点预测模型,得到目标车辆各车轮的接地点;
其中,所述车轮接地点预测模型是基于样本车辆的图像训练得到的。
2.根据权利要求1所述的车轮接地点的检测方法,其特征在于,所述车轮接地点预测模型包括图像预处理层、近似接地点获取层、候选接地点集合获取层以及接地点确定层;
其中,所述图像预处理层用于根据包含目标车辆的图像,获取目标车辆各车轮接地点的热力图、目标车辆中心点的位置坐标以及目标车辆中心点与目标车辆各车轮接地点的偏差值;
所述近似接地点获取层用于根据所述目标车辆中心点的位置坐标以及目标车辆中心点与目标车辆各车轮接地点的偏差值,获取目标车辆各车轮的近似接地点;
所述候选接地点集合获取层用于根据所述目标车辆各车轮接地点的热力图,获取目标车辆各车轮的候选接地点集合;
所述接地点确定层用于根据所述目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合中各个候选接地点之间的距离,确定目标车辆各车轮的接地点。
3.根据权利要求1所述的车轮接地点的检测方法,其特征在于,所述将所述包含目标车辆的图像,输入预先训练的车轮接地点预测模型,得到目标车辆各车轮的接地点,包括:
将所述包含目标车辆的图像输入所述图像预处理层,得到目标车辆各车轮接地点的热力图、目标车辆中心点的位置坐标以及目标车辆中心点与目标车辆各车轮接地点的偏差值;
将所述目标车辆中心点的位置坐标以及目标车辆中心点与目标车辆各车轮接地点的偏差值输入所述近似接地点获取层,得到目标车辆各车轮的近似接地点;
将所述目标车辆各车轮接地点的热力图输入候选接地点集合获取层,得到目标车辆各车轮的候选接地点集合;
将所述目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合输入所述接地点确定层,得到目标车辆各车轮的接地点。
4.根据权利要求3所述的车轮接地点的检测方法,其特征在于,所述将所述目标车辆各车轮接地点的热力图输入候选接地点集合获取层,得到目标车辆各车轮的候选接地点集合,包括:
将所述目标车辆各车轮接地点的热力图输入候选接地点集合获取层的第一处理层,得到所述第一处理层输出的目标车辆各车轮的候选接地点初始值;
将目标车辆各车轮的候选接地点初始值与目标车辆各车轮所对应的量化误差输入候选接地点集合获取层的第二处理层,得到目标车辆各车轮的候选接地点集合。
5.根据权利要求3所述的车轮接地点的检测方法,其特征在于,所述将所述目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合输入所述接地点确定层,得到目标车辆各车轮的接地点,包括:
将所述目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合输入所述接地点确定层的距离计算层,得到所述距离计算层所输出的目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合中各个候选接地点之间的距离;
将所述距离计算层所输出的目标车辆各车轮的近似接地点与所述目标车辆各车轮的候选接地点集合中各个候选接地点之间的距离输入所述接地点确定层的判断层,得到所述判断层所输出的目标车辆各车轮的接地点;其中,所述判断层预先设置了约束条件。
6.根据权利要求1所述的车轮接地点的检测方法,其特征在于,方法还包括:
获取样本车辆的标注图,获取样本车辆各车轮接地点的热力图;其中,所述样本车辆的标注图包括样本车辆中心点的标注信息以及样本车辆的车轮接地点的标注信息;
将所述样本车辆的图像,输入待训练的车轮接地点预测模型,得到样本车辆各车轮的接地点,以及样本车辆中心点与样本车辆各车轮接地点的偏差值;
根据所述样本车辆各车轮的接地点与所述样本车辆中心点与样本车辆各车轮接地点的偏差值,计算样本车辆预测中心点的位置坐标;
根据样本车辆中心点的位置坐标与样本车辆预测中心点的位置坐标计算本轮训练的损失函数值;其中,所述样本车辆中心点的位置坐标由所述样本车辆的标注图中的样本车辆中心点的标注信息得到;
在本轮训练的损失函数值与上轮训练的损失函数值之间的变化值大于预设的阈值的情况下,继续训练过程,或在本轮训练的损失函数值与上轮训练的损失函数值之间的变化值小于或等于预设的阈值,且本轮训练的损失函数值趋于平稳的情况下,结束训练。
7.一种车轮接地点的检测装置,其特征在于,包括:
目标车辆信息采集模块,用于获取包含目标车辆的图像;
车轮接地点预测模块,用于将所述包含目标车辆的图像输入预先训练的车轮接地点预测模型,得到目标车辆各车轮的接地点;
其中,所述车轮接地点预测模型是基于样本车辆的图像训练得到的。
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述车轮接地点的检测方法的步骤。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述车轮接地点的检测方法的步骤。
10.一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,其特征在于,所述指令在被执行时用于实现如权利要求1至6任一项权利要求所述车轮接地点的检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111015763.XA CN113887294A (zh) | 2021-08-31 | 2021-08-31 | 车轮接地点的检测方法、装置、电子设备与存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111015763.XA CN113887294A (zh) | 2021-08-31 | 2021-08-31 | 车轮接地点的检测方法、装置、电子设备与存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113887294A true CN113887294A (zh) | 2022-01-04 |
Family
ID=79011457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111015763.XA Pending CN113887294A (zh) | 2021-08-31 | 2021-08-31 | 车轮接地点的检测方法、装置、电子设备与存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113887294A (zh) |
-
2021
- 2021-08-31 CN CN202111015763.XA patent/CN113887294A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106503653B (zh) | 区域标注方法、装置和电子设备 | |
EP3007099B1 (en) | Image recognition system for a vehicle and corresponding method | |
CN112802092B (zh) | 一种障碍物感知方法、装置以及电子设备 | |
CN111144330B (zh) | 一种基于深度学习的车道线检测方法、装置以及设备 | |
US20210149408A1 (en) | Generating Depth From Camera Images and Known Depth Data Using Neural Networks | |
CN112753038B (zh) | 识别车辆变道趋势的方法和装置 | |
CN109840463B (zh) | 一种车道线识别方法和装置 | |
CN111091038A (zh) | 训练方法、计算机可读介质和检测消失点的方法及装置 | |
CN113554643B (zh) | 一种目标检测方法、装置、电子设备及存储介质 | |
CN110341621B (zh) | 一种障碍物检测方法及装置 | |
CN112052807B (zh) | 车辆位置检测方法、装置、电子设备及存储介质 | |
CN113706704B (zh) | 基于高精地图规划路线的方法、设备以及自动驾驶车辆 | |
KR20200095385A (ko) | 자동 주차 시스템 내의 시맨틱 세그먼테이션을 이용한 주차 영역을 검출하기 위한 방법 및 장치 | |
CN115372990A (zh) | 一种高精度语义地图的建图方法、装置和无人车 | |
CN111444810A (zh) | 一种红绿灯信息识别方法、装置、设备及存储介质 | |
CN113255444A (zh) | 图像识别模型的训练方法、图像识别方法和装置 | |
CN115496923A (zh) | 一种基于不确定性感知的多模态融合目标检测方法及装置 | |
CN114565908A (zh) | 车道线的检测方法、装置、电子设备及存储介质 | |
CN112381876B (zh) | 一种交通标志标注方法、装置及计算机设备 | |
CN114120266A (zh) | 车辆变道检测方法、装置、电子设备及存储介质 | |
CN114359865A (zh) | 一种障碍物的检测方法及相关装置 | |
CN112837404B (zh) | 一种平面对象的三维信息的构建方法及装置 | |
CN117079238A (zh) | 道路边沿检测方法、装置、设备及存储介质 | |
CN113887294A (zh) | 车轮接地点的检测方法、装置、电子设备与存储介质 | |
CN114037969A (zh) | 基于雷达点云和图像融合的自动驾驶车道信息检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |