CN115953498A - 一种轨迹绘制方法、装置及电子设备 - Google Patents

一种轨迹绘制方法、装置及电子设备 Download PDF

Info

Publication number
CN115953498A
CN115953498A CN202211707573.9A CN202211707573A CN115953498A CN 115953498 A CN115953498 A CN 115953498A CN 202211707573 A CN202211707573 A CN 202211707573A CN 115953498 A CN115953498 A CN 115953498A
Authority
CN
China
Prior art keywords
image coordinate
point
image
line
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211707573.9A
Other languages
English (en)
Inventor
裴飞翔
刘锋
康逸儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Haikang Auto Software Co ltd
Original Assignee
Hangzhou Haikang Auto Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Haikang Auto Software Co ltd filed Critical Hangzhou Haikang Auto Software Co ltd
Priority to CN202211707573.9A priority Critical patent/CN115953498A/zh
Publication of CN115953498A publication Critical patent/CN115953498A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Processing (AREA)

Abstract

本申请实施例提供了一种轨迹绘制方法、装置及电子设备,应用于汽车技术领域。该方法包括:基于车辆当前位置、车辆转向角度和预设轨迹长度,确定车辆倒车过程中的基准轨迹线;基于预设轨迹宽度、基准轨迹起点和基准轨迹终点,确定第一边缘线的第一起点和第一终点,以及第二边缘线的第二起点和第二终点;获取车载摄像头采集的倒车环境图像;基于坐标变换关系,分别确定第一起点、第一终点、第二起点和第二终点在鱼眼图像坐标系中的图像坐标;基于上述各个图像坐标,确定倒车环境图像上的轨迹显示区域;确定轨迹显示区域对应的像素值,并基于像素值在倒车环境图像上绘制倒车轨迹。应用本申请实施例提供的方案,可以降低倒车轨迹的绘制成本。

Description

一种轨迹绘制方法、装置及电子设备
技术领域
本申请涉及汽车技术领域,特别是涉及一种轨迹绘制方法、装置及电子设备。
背景技术
倒车影像(vehicle backup camera)又称倒车可视系统,是辅助车辆泊车的重要技术手段。在车辆倒车时,其所搭载的倒车影像不仅可以展示车辆后方的实际环境,还可以展示所绘制的倒车轨迹。
在相关技术中,可以首先利用车辆搭载的环视系统所获取的多个具有重叠区域的图像构建倒车3D(3-Dimension,三维)场景,并利用上述3D场景确定该车辆的倒车轨迹,之后,将所确定的倒车轨迹叠加在倒车视频中,这样,驾驶人员便可以利用倒车影像所显示的倒车视频中的倒车轨迹辅助倒车。
然而,现有的倒车轨迹绘制方法需要耗费较多的计算资源,对车辆硬件要求较高。
发明内容
本申请实施例的目的在于提供一种轨迹绘制方法、装置及电子设备,以降低轨迹的绘制成本,减少倒车轨迹绘制的计算资源消耗,提高倒车轨迹在搭载了不同硬件类型的车辆上的普适性。具体技术方案如下:
第一方面,本申请实施例提供了一种轨迹绘制方法,所述方法包括:
基于车辆当前位置、车辆转向角度和预设轨迹长度,确定车辆倒车过程中的基准轨迹线;其中,所述基准轨迹线包括基准轨迹起点和基准轨迹终点;
基于预设轨迹宽度、所述基准轨迹起点和所述基准轨迹终点,确定所述基准轨迹线对应的第一边缘线的第一起点和第一终点,以及所述基准轨迹线对应的第二边缘线的第二起点和第二终点;其中,所述第一边缘线和所述第二边缘线形成的轨迹宽度为所述预设轨迹宽度;
获取车载摄像头采集的倒车环境图像;其中,所述倒车环境图像对应的图像坐标系为鱼眼图像坐标系;
基于世界坐标系和鱼眼图像坐标系之间的变换关系,分别确定所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标;
基于所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标,确定所述倒车环境图像上的轨迹显示区域;
确定所述轨迹显示区域对应的像素值,并基于所述像素值在所述倒车环境图像上绘制倒车轨迹。
可选的,一种具体实现方式中,所述轨迹显示区域对应的第一边缘线在所述鱼眼图像坐标系中表示为第一拟合线,所述轨迹显示区域对应的第二边缘线在所述鱼眼图像坐标系中表示为第二拟合线;所述确定所述轨迹显示区域对应的像素值,包括:
对所述第一拟合线和所述第二拟合线中的各个非整数图像坐标值进行取整,得到各个目标坐标值;
针对坐标值为所述目标坐标值的每个图像坐标点,根据该图像坐标点在所述倒车环境图像中的原始像素值,确定该图像坐标点对应的第一像素值;
确定坐标值为所述第一拟合线和所述第二拟合线中的整数图像坐标值的各个图像坐标点对应的第二像素值,并确定所述轨迹显示区域内部的各个图像坐标点对应的第三像素值。
可选的,一种具体实现方式中,所述针对坐标值为所述目标坐标值的每个图像坐标点,根据该图像坐标点在所述倒车环境图像中的原始像素值,确定该图像坐标点对应的第一像素值,包括:
针对坐标值为所述目标坐标值的每个图像坐标点,分别确定该图像坐标点在所述倒车环境图像中的原始像素值和指定像素值的权重,并基于所述权重,对所述原始像素值和所述指定像素值进行加权处理,得到该图像坐标点对应的第一像素值;其中,所述指定像素值是指基于所述轨迹显示区域的显示效果预设的像素值;
所述确定坐标值为所述第一拟合线和所述第二拟合线中的整数图像坐标值的各个图像坐标点对应的第二像素值,并确定所述轨迹显示区域内部的各个图像坐标点对应的第三像素值,包括:
将所述指定像素值确定为坐标值为所述第一拟合线和所述第二拟合线中的整数图像坐标值的各个图像坐标点对应的第二像素值,以及将所述指定像素值确定为所述轨迹显示区域内部的各个图像坐标点对应的第三像素值。
可选的,一种具体实现方式中,针对坐标值为所述目标坐标值的每个图像坐标点,分别确定该图像坐标点在所述倒车环境图像中的原始像素值和指定像素值的权重,并基于所述权重,对所述原始像素值和所述指定像素值进行加权处理,得到该图像坐标点对应的第一像素值,包括:
针对坐标值为所述目标坐标值的每个图像坐标点,按照以下公式确定该图像坐标点对应的第一像素值Pi
Pi=ci*(1-m)+di*m
i表示坐标值为所述目标坐标值的第i个图像坐标点,原始像素值表示为di,指定像素值表示为di,指定像素值对应的权重表示为m,原始像素值对应的权重表示为1-m;
和/或
所述原始像素值和所述指定像素值分别对应的权重与所述目标坐标值在所述第一拟合线或所述第二拟合线中对应的原始非整数图像坐标值中的非整数部分有关。
可选的,一种具体实现方式中,所述基于所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标,确定所述倒车环境图像上的轨迹显示区域,包括:
基于所述第一起点、所述第一终点和所述车辆转向角度,确定第一预设数量的第一采样坐标点,以及基于所述第二起点、所述第二终点和所述车辆转向角度,确定第二预设数量的第二采样坐标点;
基于世界坐标系和鱼眼图像坐标系之间的变换关系,分别确定所述第一采样坐标点在所述鱼眼图像坐标系中的第一图像坐标,以及确定所述第二采样坐标点在所述鱼眼图像坐标系中的第二图像坐标;
基于所述第一图像坐标,拟合确定所述第一边缘线在鱼眼图像坐标系中对应的第一拟合线,以及基于所述第二图像坐标,拟合确定所述第二边缘线在鱼眼图像坐标系中对应的第二拟合线;
根据所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标,以及所述第一拟合曲线和所述第二拟合曲线,确定所述倒车环境图像上的轨迹显示区域。
可选的,一种具体实现方式中,所述基于所述第一图像坐标,拟合确定所述第一边缘线在鱼眼图像坐标系中对应的第一拟合线,以及基于所述第二图像坐标,拟合确定所述第二边缘线在鱼眼图像坐标系中对应的第二拟合线,包括:
如果所述车辆转向角度大于预设角度,基于所述第一图像坐标进行椭圆方程拟合,确定所述第一边缘线在鱼眼图像坐标系中对应的第一拟合线,以及基于所述第二图像坐标进行椭圆方程拟合,确定所述第二边缘线在鱼眼图像坐标系中对应的第二拟合线;
或者
如果所述车辆转向角度小于或等于所述预设角度,基于所述第一图像坐标进行多项式方程拟合,确定所述第一边缘线在鱼眼图像坐标系中对应的第一拟合线,以及基于所述第二图像坐标进行多项式方程拟合,确定所述第二边缘线在鱼眼图像坐标系中对应的第二拟合线。
可选的,一种具体实现方式中,所述世界坐标系和鱼眼图像坐标系之间的变换关系是基于所述车载摄像头的畸变参数的坐标变换关系。
第二方面,本申请实施例提供了一种轨迹绘制装置,所述装置包括:
轨迹线确定模块,用于基于车辆当前位置、车辆转向角度和预设轨迹长度,确定车辆倒车过程中的基准轨迹线;其中,所述基准轨迹线包括基准轨迹起点和基准轨迹终点;
终点确定模块,用于基于预设轨迹宽度、所述基准轨迹起点和所述基准轨迹终点,确定所述基准轨迹线对应的第一边缘线的第一起点和第一终点,以及所述基准轨迹线对应的第二边缘线的第二起点和第二终点;其中,所述第一边缘线和所述第二边缘线形成的轨迹宽度为所述预设轨迹宽度;
图像获取模块,用于获取车载摄像头采集的倒车环境图像;其中,所述倒车环境图像对应的图像坐标系为鱼眼图像坐标系;
坐标确定模块,用于基于世界坐标系和鱼眼图像坐标系之间的变换关系,分别确定所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标;
显示区域确定模块,用于基于所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标,确定所述倒车环境图像上的轨迹显示区域;
轨迹确定模块,用于确定所述轨迹显示区域对应的像素值,并基于所述像素值在所述倒车环境图像上绘制倒车轨迹。
可选的,一种具体实现方式中,所述轨迹显示区域对应的第一边缘线在所述鱼眼图像坐标系中表示为第一拟合线,所述轨迹显示区域对应的第二边缘线在所述鱼眼图像坐标系中表示为第二拟合线;所述轨迹确定模块,包括:
取整子模块,用于对所述第一拟合线和所述第二拟合线中的各个非整数图像坐标值进行取整,得到各个目标坐标值;
第一像素值确定子模块,用于针对坐标值为所述目标坐标值的每个图像坐标点,根据该图像坐标点在所述倒车环境图像中的原始像素值,确定该图像坐标点对应的第一像素值;
第二像素值确定子模块,用于确定坐标值为所述第一拟合线和所述第二拟合线中的整数图像坐标值的各个图像坐标点对应的第二像素值,并确定所述轨迹显示区域内部的各个图像坐标点对应的第三像素值。
可选的,一种具体实现方式中,所述第一像素值确定子模块,包括:
加权处理单元,用于针对坐标值为所述目标坐标值的每个图像坐标点,分别确定该图像坐标点在所述倒车环境图像中的原始像素值和指定像素值的权重,并基于所述权重,对所述原始像素值和所述指定像素值进行加权处理,得到该图像坐标点对应的第一像素值;其中,所述指定像素值是指基于所述轨迹显示区域的显示效果预设的像素值;
所述第二像素值确定子模块,具体用于:
将所述指定像素值确定为坐标值为所述第一拟合线和所述第二拟合线中的整数图像坐标值的各个图像坐标点对应的第二像素值,以及将所述指定像素值确定为所述轨迹显示区域内部的各个图像坐标点对应的第三像素值。
可选的,一种具体实现方式中,所述加权处理单元,具体用于:
针对坐标值为所述目标坐标值的每个图像坐标点,按照以下公式确定该图像坐标点对应的第一像素值Pi
Pi=ci*(1-m)+di*m
i表示坐标值为所述目标坐标值的第i个图像坐标点,原始像素值表示为ci,指定像素值表示为di,指定像素值对应的权重表示为m,原始像素值对应的权重表示为1-;
和/或
所述原始像素值和所述指定像素值分别对应的权重与所述目标坐标值在所述第一拟合线或所述第二拟合线中对应的原始非整数图像坐标值中的非整数部分有关。
可选的,一种具体实现方式中,所述显示区域确定模块,包括:
坐标点确定子模块,用于基于所述第一起点、所述第一终点和所述车辆转向角度,确定第一预设数量的第一采样坐标点,以及基于所述第二起点、所述第二终点和所述车辆转向角度,确定第二预设数量的第二采样坐标点;
坐标确定子模块,用于基于世界坐标系和鱼眼图像坐标系之间的变换关系,分别确定所述第一采样坐标点在所述鱼眼图像坐标系中的第一图像坐标,以及确定所述第二采样坐标点在所述鱼眼图像坐标系中的第二图像坐标;
拟合子模块,用于基于所述第一图像坐标,拟合确定所述第一边缘线在鱼眼图像坐标系中对应的第一拟合线,以及基于所述第二图像坐标,拟合确定所述第二边缘线在鱼眼图像坐标系中对应的第二拟合线;
显示区域确定子模块,用于根据所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标,以及所述第一拟合曲线和所述第二拟合曲线,确定所述倒车环境图像上的轨迹显示区域。
可选的,一种具体实现方式中,所述拟合子模块,具体用于:
如果所述车辆转向角度大于预设角度,基于所述第一图像坐标进行椭圆方程拟合,确定所述第一边缘线在鱼眼图像坐标系中对应的第一拟合线,以及基于所述第二图像坐标进行椭圆方程拟合,确定所述第二边缘线在鱼眼图像坐标系中对应的第二拟合线;
或者
如果所述车辆转向角度小于或等于所述预设角度,基于所述第一图像坐标进行多项式方程拟合,确定所述第一边缘线在鱼眼图像坐标系中对应的第一拟合线,以及基于所述第二图像坐标进行多项式方程拟合,确定所述第二边缘线在鱼眼图像坐标系中对应的第二拟合线。
可选的,一种具体实现方式中,所述世界坐标系和鱼眼图像坐标系之间的变换关系是基于所述车载摄像头的畸变参数的坐标变换关系。
第三方面,本申请实施例提供了一种电子设备,包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一方法实施例的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一方法实施例的步骤。
第五方面,本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一方法实施例的步骤。
本申请实施例有益效果:
以上可见,应用本申请实施例提供的方法,在检测到用户针对车辆的倒车操作时,为了绘制该车辆的倒车轨迹,可以首先基于车辆当前位置、车辆转向角度和预设轨迹长度,确定车辆倒车过程中的基准轨迹线;之后,基于预设轨迹宽度、基准轨迹起点和基准轨迹终点,确定基准轨迹线对应的第一边缘线的第一起点和第一终点,以及基准轨迹线对应的第二边缘线的第二起点和第二终点;然后,可以获取车载摄像头采集的倒车环境图像;基于世界坐标系和鱼眼图像坐标系之间的变换关系,分别确定第一起点、第一终点、第二起点和第二终点在鱼眼图像坐标系中的图像坐标;进而,可以基于第一起点、第一终点、第二起点和第二终点在鱼眼图像坐标系中的图像坐标,确定倒车环境图像上的轨迹显示区域;这样,可以确定轨迹显示区域对应的像素值,并可以基于上述像素值在倒车环境图像上绘制倒车轨迹。
基于此,应用本申请实施例提供的方案,可以预先建立关于世界坐标系与车载摄像头所采集的图像的鱼眼图像坐标系的变换关系,这样,在确定车辆的基准轨迹线后,便可以利用上述坐标转换关系,在车载摄像头所采集的倒车环境图像中直接绘制所确定的基准轨迹的轨迹显示区域,而无需通过搭建3D场景确定该车辆的倒车轨迹,并将所确定的倒车轨迹绘制到倒车视频中,也就是说,上述轨迹线的绘制过程无需利用GPU(GraphicsProcessing Unit,图形处理器)便可以实现。这样,相比于相关技术中的倒车轨迹绘制方法,可以减少倒车轨迹绘制的计算资源消耗,提高倒车轨迹在搭载了不同硬件类型的车辆上的普适性,进而,降低倒车轨迹的绘制成本。并且,由于无需将车载摄像头所采集的多张倒车环境图像进行全景拼接构建3D场景,相比于相关技术中的倒车轨迹绘制方法,可以省去全景图像拼接所占用的时间,提高倒车轨迹绘制效率和显示效率,从而,可以更为及时地响应用户查看倒车轨迹的需求。
当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本申请实时例提供的轨迹绘制方法的一种流程示意图;
图2为本申请实施例提供的车辆参数的一种示意图;
图3为本申请实施例提供的基准轨迹线的边缘线的示意图;
图4为本申请实施例提供的一种转向圆心的示意图;
图5为本申请实施例提供的基准轨迹线的边缘线的一种示意图;
图6为本申请实施例提供的一种轨迹显示区域的示意图;
图7为本申请实施例提供的轨迹绘制方法的另一种流程图;
图8为本申请实施例提供的曲线离散的一种示意图;
图9为本申请实施例提供的图像坐标值确定方法的一种示意图;
图10(a)-图10(b)分别为本申请实施例提供的拟合线的一种示意图;
图11为本申请实施例提供的点在不同坐标系下的不同表现形式的一种示意图;
图12为本申请实施例提供的同一物体不同坐标系下的不同表现形式的一种示意图;
图13(a)-图13(c)分别为本申请实施例提供的坐标转换关系的具体示例图;
图14为本申请实施例提供的轨迹绘制装置的一种结构示意图;
图15为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本申请保护的范围。
在相关技术中,可以首先利用车辆搭载的环视系统所获取的多个具有重叠区域的图像构建倒车3D场景,并利用上述3D场景确定该车辆的倒车轨迹,之后,将所确定的倒车轨迹叠加在倒车视频中,这样,驾驶人员便可以利用倒车影像所显示的倒车视频中的倒车轨迹辅助倒车。然而,现有的倒车轨迹绘制方法需要耗费较多的计算资源,对车辆硬件要求较高。
为了解决上述技术问题,本申请实施例提供了一种轨迹绘制方法。
其中,该方法可以适用于存在轨迹绘制需求的各类应用场景,例如,车辆倒车;车辆转弯等。并且,该方法可以应用于车载管理平台中,其中,该车载管理平台包括车载摄像头和绘制模块,这样,在该车载管理平台获取车辆转向角度后,可以利用上述绘制模块执行该方法在车载摄像头所采集的倒车环境图像中绘制该车辆的倒车轨迹;该方法还可以应用于车载的处理设备中,该处理设备可以与车载摄像头相通信,在获取车辆转向角度后,执行该方法,在车载摄像头所拍摄的倒车环境图像中,绘制该车辆的倒车轨迹。
为了行文清晰,以下将执行本申请所提供的技术方案的执行主体称为电子设备。并且,本申请实施例不对该方法的应用场景和执行主体进行具体限定。
本申请实施例提供的一种轨迹绘制方法,可以包括如下步骤:
基于车辆当前位置、车辆转向角度和预设轨迹长度,确定车辆倒车过程中的基准轨迹线;其中,所述基准轨迹线包括基准轨迹起点和基准轨迹终点;
基于预设轨迹宽度、所述基准轨迹起点和所述基准轨迹终点,确定所述基准轨迹线对应的第一边缘线的第一起点和第一终点,以及所述基准轨迹线对应的第二边缘线的第二起点和第二终点;其中,所述第一边缘线和所述第二边缘线形成的轨迹宽度为所述预设轨迹宽度;
获取车载摄像头采集的倒车环境图像;其中,所述倒车环境图像对应的图像坐标系为鱼眼图像坐标系;
基于世界坐标系和鱼眼图像坐标系之间的变换关系,分别确定所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标;
基于所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标,确定所述倒车环境图像上的轨迹显示区域;
确定所述轨迹显示区域对应的像素值,并基于所述像素值在所述倒车环境图像上绘制倒车轨迹。
以上可见,应用本申请实施例提供的方法,在检测到用户针对车辆的倒车操作时,为了绘制该车辆的倒车轨迹,可以首先基于车辆当前位置、车辆转向角度和预设轨迹长度,确定车辆倒车过程中的基准轨迹线;之后,基于预设轨迹宽度、基准轨迹起点和基准轨迹终点,确定基准轨迹线对应的第一边缘线的第一起点和第一终点,以及基准轨迹线对应的第二边缘线的第二起点和第二终点;然后,可以获取车载摄像头采集的倒车环境图像;基于世界坐标系和鱼眼图像坐标系之间的变换关系,分别确定第一起点、第一终点、第二起点和第二终点在鱼眼图像坐标系中的图像坐标;进而,可以基于第一起点、第一终点、第二起点和第二终点在鱼眼图像坐标系中的图像坐标,确定倒车环境图像上的轨迹显示区域;这样,可以确定轨迹显示区域对应的像素值,并可以基于上述像素值在倒车环境图像上绘制倒车轨迹。
基于此,应用本申请实施例提供的方案,可以预先建立关于世界坐标系与车载摄像头所采集的图像的鱼眼图像坐标系的变换关系,这样,在确定车辆的基准轨迹线后,便可以利用上述坐标转换关系,在车载摄像头所采集的倒车环境图像中直接绘制所确定的基准轨迹的轨迹显示区域,而无需通过搭建3D场景确定该车辆的倒车轨迹,并将所确定的倒车轨迹绘制到倒车视频中,也就是说,上述轨迹线的绘制过程无需利用GPU(GraphicsProcessing Unit,图形处理器)便可以实现。这样,相比于相关技术中的倒车轨迹绘制方法,可以减少倒车轨迹绘制的计算资源消耗,提高倒车轨迹在搭载了不同硬件类型的车辆上的普适性,进而,降低倒车轨迹的绘制成本。并且,由于无需将车载摄像头所采集的多张倒车环境图像进行全景拼接构建3D场景,相比于相关技术中的倒车轨迹绘制方法,可以省去全景图像拼接所占用的时间,提高倒车轨迹绘制效率和显示效率,从而,可以更为及时地响应用户查看倒车轨迹的需求。
下面,结合附图,对本申请实施例提供的一种轨迹绘制方法进行具体说明。
图1为本申请实施例提供的一种轨迹绘制方法的流程示意图,如图1所示,该方法可以包括如下步骤S101-S106。
S101:基于车辆当前位置、车辆转向角度和预设轨迹长度,确定车辆倒车过程中的基准轨迹线;
其中,基准轨迹线包括基准轨迹起点和基准轨迹终点;
通常,车辆的转向是通过该车辆的前轮转动,后轮随动实现的,即可以将车辆的两个前轮作为该车辆的两个转向轮。
并且,根据阿克曼原理可知,当车辆进行转向时,针对每一时刻,该车辆的两个转向轮在该时刻绕同一个圆心做圆周运动,也就是说,在该车辆进行转向时,该车辆的每个转向轮的轨迹线均为指向同一圆心的圆弧,并且,在任一时刻上述圆心均在通过该车辆的两个后轮的中心点的直线上。
车载管理平台可以实时检测车辆的运动信息,例如,车辆当前所处的档位、当前车速、方向盘的当前角度以及方向盘的转动角度等。从而,该车载管理平台在检测到方向盘的当前角度基于用户的指定操作发生变化时,即在该车载管理平台检测到方向盘的转动角度时,可以利用上述运动信息和该车辆的车辆参数,计算该车辆的两个转向轮中心点连线的中点的转向角度,并将上述转向角度作为该车辆的车辆转向角度,这样,便可以通过CAN(Controller Area Network,控制器局域网络)信号输出上述车辆转向角度。
其中,如图2所示,上述车辆参数可以包括车辆的车长、轴距、后悬和车宽等参数信息。
基于此,在绘制车辆的倒车轨迹时,可以首先获取该车辆的车辆转向角度。其中,该车辆转向角度可以是电子设备从该车辆的车载管理平台获取该车辆的CAN信息得到的,也可以是电子设备基于该目标车辆的运动信息和车辆参数计算得到的。
进而,在获取上述车辆转向角度后,可以基于该车辆的车辆当前位置、上述车辆转向角度和预设轨迹长度,确定该车辆倒车过程中的基准轨迹线。
其中,该车辆的车辆当前位置可以包括该车辆的每个转向轮的当前位置。
并且,如图3所示,该车辆的基准轨迹线可以包括该车辆的两个转向轮的基准轨迹线310和基准轨迹线320,并且,基准轨迹线310可以包括基准轨迹起点A和基准轨迹终点B,基准轨迹线320可以包括基准轨迹起点C和基准轨迹终点D。
下面,针对该车辆的每个转向轮,详细介绍该转向轮的基准轨迹线的绘制过程。
针对该车辆的每个转向轮,可以基于该车辆的车辆当前位置、车辆转向角度、车辆参数和预设轨迹长度,确定该转向轮的基准轨迹线。
可选的,一种具体实现方式中,针对该车辆的每个转向轮,确定该转向轮的基准轨迹线的方法可以包括如下步骤11-13:
步骤11:基于车辆转向角度和该车辆的车辆参数,确定该车辆的转向圆心;
步骤12:基于转向圆心和车辆参数,确定该转向轮的目标转向角度,并根据转向圆心、目标转向角度和预设轨迹长度,确定该转向轮的基准轨迹终点;
步骤13:针对每个转向轮,将以转向圆心为圆心、以车辆当前位置中该转向轮的当前位置为基准轨迹起点,且以该转向轮的基准轨迹终点为终点的圆弧,确定为该转向轮的基准轨迹线。
在获取到车辆转向角度后,便可以利用该车辆的车辆当前位置、车辆转向角度和该车辆的车辆参数,首先确定该车辆的转向圆心。
如图4所示,该车辆的车辆转向角度为∠ECF,并且,该∠ECF=γ。由于边EC垂直边CO,可以得到∠COD=∠ECF=γ。进而,通过∠COD和该车辆的车辆参数,便可以得到该车辆的转向圆心。
其中,OD=L/,L为预设的车轴距,则可以确定圆心O的位置。
进而,可以基于所确定的转向圆心和上述车辆参数,分别确定转向轮a的目标转向角度α,并确定转向轮b的目标转向角度β,进而,针对每个转向轮,可以根据车辆的车辆当前位置确定该转向轮的基准轨迹起点,并根据上述转向圆心、该转向轮的目标转向角度和预设轨迹长度,确定该转向轮的基准轨迹终点。
其中,上述预设轨迹长度可以按照实际需要进行设定,可以是5米,也可以是10米,这都是合理的,在本申请实施例中不做具体限定。
如图4所示,以目标转向角度α为例,α=∠AOD,假设左后车轮为A1,则AA1垂直于OD,AA1、CD均等于预设的车轴距L。则tanα=AA1/OA1,从而,在圆心位置已知的情况下,可以确定OA1的数值,进而,便可以根据反三角函数求得α的值,即确定转向轮α的目标转向角度。
并且,假设预设轨迹长度为l,终点为A2,则弧长AA2=l=Rθ,其中,半径R=OA,∠AOA2=θ。
假设在预设坐标系中,圆心的坐标为(x0,y0),基准轨迹起点A的坐标为(x1,y1),基准轨迹终点A2的坐标为(x2,y2),则x2、y2可以分别表示为:
x2=(x1-x0)cosθ-(y1-y0)sinθ+x0
y2=(y1-y0)cosθ+(x1-x0)sinθ+y0
这样,便可以得到该转向轮的基准轨迹终点。
之后,针对每个转向轮,可以将以上述转向圆心为圆心、以该转向轮的基准轨迹起点为起点,并以该转向轮的基准轨迹终点为终点的圆弧,确定为该转向轮的基准轨迹线。从而,由于该车辆在倒车的过程中,该车辆的两个转向轮各自存在一条基准轨迹线,这样,在确定每个转向轮的基准轨迹线后,便可以确定该车辆在车辆倒车过程中的每一条基准轨迹线。
S102:基于预设轨迹宽度、基准轨迹起点和基准轨迹终点,确定基准轨迹线对应的第一边缘线的第一起点和第一终点,以及基准轨迹线对应的第二边缘线的第二起点和第二终点;
其中,第一边缘线和第二边缘线形成的轨迹宽度为预设轨迹宽度;
通常,为了使所绘制的该车辆的每条基准轨迹线更为清晰,便于用户识别,可以将每条基准轨迹线绘制为具有一定宽度的曲线。基于此,可以预先设置一个预设轨迹宽度,这样,针对每条基准轨迹线,便可以确定该基准轨迹线的第一边缘线和第二边缘线,并且,上述第一边缘线和第二边缘线所形成的轨迹宽度可以是上述预设轨迹宽度。进而,可以该基准轨迹线的基准轨迹起点和基准轨迹终点,确定该基准轨迹线对应的第一边缘线的第一起点和第一终点,以及该基准轨迹线对应的第二边缘线的第二起点和第二终点。
其中,上述预设轨迹宽度可以按照实际需要进行设置,例如,0.5厘米,1厘米等,这都是合理的,在本申请实施例中不做具体限定。
示例性的,如图5所示,针对基准轨迹线500,可以基于上述预设轨迹宽度、基准轨迹起点F和基准轨迹终点G,可以确定该基准轨迹线的第一边缘线510的第一起点H和第一终点I,并确定该基准轨迹线的第二边缘线520的第二起点J和第二终点K。从而,得到如图6所示的,具有预设轨迹宽度的基准轨迹线610和基准轨迹线620,其中,6101和6102分别是基准轨迹线610对应的第一边缘线和第二边缘线;6201和6202分别是基准轨迹线620对应的第一边缘线和第二边缘线。
这样,针对该车辆的每条基准轨迹线,在确定该基准轨迹线对应的第一边缘线的第一起点和第一终点,以及该基准轨迹线对应的第二边缘线的第二起点和第二终点后,便可以确定该基准轨迹线对应的第一边缘线和第二边缘线。
S103:获取车载摄像头采集的倒车环境图像;
其中,倒车环境图像对应的图像坐标系为鱼眼图像坐标系;
在该车辆上搭载有车载摄像头,在该车辆倒车时,其所搭载的车载摄像头可以采集该车辆的倒车环境图像。进而,在绘制该车辆的倒车轨迹时,可以获取该车辆的车载摄像头所采集的倒车环境图像。
其中,在上述车载摄像头为鱼眼摄像头时,所获取的该车辆的倒车环境图像对应的图像坐标系可以是鱼眼图像坐标系。
S104:基于世界坐标系和鱼眼图像坐标系之间的变换关系,分别确定第一起点、第一终点、第二起点和第二终点在鱼眼图像坐标系中的图像坐标;
由于所确定的该车辆的各条基准轨迹线,以及所确定的上述第一起点、第一终点、第二起点和第二终点均属于世界坐标系,在绘制上述各条基准轨迹线时,需要确定上述第一起点、第一终点、第二起点和第二终点在倒车环境图像中的图像坐标。基于此,可以基于世界坐标系和鱼眼图像坐标系之间的变换关系,分别确定上述车辆的各条基准轨迹线对应的第一起点、第一终点、第二起点和第二终点在鱼眼图像坐标系中的图像坐标。
为了行为流畅,将在后文对上述世界坐标系和鱼眼图像坐标系之间的变换关系进行详细介绍。
S105:基于第一起点、第一终点、第二起点和第二终点在鱼眼图像坐标系中的图像坐标,确定倒车环境图像上的轨迹显示区域;
之后,便可以基于所确定的上述各条基准轨迹线对应的第一起点、第一终点、第二起点和第二终点在鱼眼图像坐标系中的图像坐标,确定每条基准轨迹线在上述倒车环境图像上的轨迹显示区域。
S106:确定轨迹显示区域对应的像素值,并基于像素值在倒车环境图像上绘制倒车轨迹。
然后,在确定每条基准轨迹线在上述倒车环境图像上的轨迹显示区域后,便可以确定每条基准轨迹线在上述轨迹显示区域对应的像素值,并基于上述每条基准轨迹线的像素值在上述倒车环境图像中绘制该车辆的倒车轨迹。
在确定上述轨迹显示区域对应的像素值后,可以将上述倒车环境图像上的各个轨迹线时区域对应的图像坐标点的原始像素值,更改为上述轨迹显示区域对应的像素值,进而,便可以在上述倒车环境图像上显示每个基准轨迹线的轨迹显示区域,从而,实现了在上述倒车环境图像中直接绘制车辆的倒车轨迹的目标,而无需搭建3D场景确定该车辆的倒车轨迹,并无需在由车载摄像头所采集的多张倒车环境图像进行全景拼接得到的倒车视频中绘制上述倒车轨迹,从而,提高了倒车轨迹的绘制效率和显示效率。
以上可见,应用本申请实施例提供的方案,可以预先建立关于世界坐标系与车载摄像头所采集的图像的鱼眼图像坐标系的变换关系,这样,在确定车辆的基准轨迹线后,便可以利用上述坐标转换关系,在车载摄像头所采集的倒车环境图像中直接绘制所确定的基准轨迹的轨迹显示区域,而无需通过搭建3D场景确定该车辆的倒车轨迹,并将所确定的倒车轨迹绘制到倒车视频中,也就是说,上述轨迹的绘制过程无需利用GPU便可以实现。这样,相比于相关技术中的倒车轨迹绘制方法,可以减少倒车轨迹绘制的计算资源消耗,提高倒车轨迹在搭载了不同硬件类型的车辆上的普适性,进而,降低倒车轨迹的绘制成本。并且,由于无需将车载摄像头所采集的多张倒车环境图像进行全景拼接构建3D场景,相比于相关技术中的倒车轨迹绘制方法,可以省去全景图像拼接所占用的时间,提高倒车轨迹绘制效率和显示效率,从而,可以更为及时地响应用户查看倒车轨迹的需求。
针对每条基于轨迹线,可以将该基准轨迹线对应的第一边缘线和第二边缘线分别映射到上述倒车环境图像中,从而,确定该基准轨迹线的轨迹显示区域。
可选的,一种具体实现方式中,如图7所示,上述步骤S105,基于第一起点、第一终点、第二起点和第二终点在鱼眼图像坐标系中的图像坐标,确定倒车环境图像上的轨迹显示区域,可以包括如下步骤S1051-S1054:
S1051:基于第一起点、第一终点和车辆转向角度,确定第一预设数量的第一采样坐标点,以及基于第二起点、第二终点和车辆转向角度,确定第二预设数量的第二采样坐标点;
S1052:基于世界坐标系和鱼眼图像坐标系之间的变换关系,分别确定第一采样坐标点在鱼眼图像坐标系中的第一图像坐标,以及确定第二采样坐标点在鱼眼图像坐标系中的第二图像坐标;
S1053:基于第一图像坐标,拟合确定第一边缘线在鱼眼图像坐标系中对应的第一拟合线,以及基于第二图像坐标,拟合确定第二边缘线在鱼眼图像坐标系中对应的第二拟合线;
S1054:根据第一起点、第一终点、第二起点和第二终点在鱼眼图像坐标系中的图像坐标,以及第一拟合曲线和第二拟合曲线,确定倒车环境图像上的轨迹显示区域。
在本具体实现方式中,针对每条基准轨迹线,可以基于该基准轨迹线对应的第一起点、第一终点和车辆转向角度,可以确定第一预设数量的第一采样坐标点,并基于该基准轨迹线对应的第二起点、第二终点和车辆转向角度,确定第二预设数量的第二采样坐标点。
其中,上述第一预设数量和上述第二预设数量可以按照实际需要进行设定,例如,10、15等,并且,上述第一预设数量和上述第二预设数量可以相同,也可以不同,这都是合理的,在本申请实施例中不做具体限定。
也就是说,针对每条基准轨迹线,可以基于第一预设数量在该基准轨迹线对应的第一边缘线确定多个第一采样坐标点,并基于第二预设数量在该基准轨迹线对应的第二边缘线确定多个第二采样坐标点。
可选的,可以基于第一起点、第一终点、车辆转向角度以及预设采样间隔,在第一边缘线上确定第一预设数量个第一采样坐标点;并基于第二起点、第二终点、车辆转向角度以及预设采样间隔,在第二边缘线上确定第二预设数量个第二采样坐标点;其中,上述预设采样间隔可以按照实际需要进行设定,例如,10、20等,这都是合理的,在本申请实施例中不做具体限定;
可选的,如图8所示,可以基于第一起点、第一终点以及车辆转向角度,将上述第一边缘线离散为第一预设数量个第一采样坐标点;并基于第二起点、第二终点以及车辆转向角度,将第二边缘线上离散为第二预设数量个第二采样坐标点。
之后,可以基于上述世界坐标系和鱼眼图像坐标系之间的变换关系,确定上述各个第一采样坐标点在鱼眼图像坐标系中的第一图像坐标,并确定上述各个第二采样坐标点在鱼眼图像坐标系中的第二图像坐标。这样,基于上述第一图像坐标,便可以拟合确定上述第一边缘线在鱼眼图像坐标系中对应的第一拟合线,并且,基于上述第二图像坐标,便可以拟合确定上述第二边缘线在鱼眼图像坐标系中对应的第二拟合线。
这样,根据上述第一起点、第一终点、第二起点和第二终点在鱼眼图像坐标系中的图像坐标,以及所确定的第一拟合曲线和第二拟合曲线,便可以确定倒车环境图像上的轨迹显示区域。
也就是说,针对每个基准轨迹线,可以基于在该基准轨迹线对应的第一边缘线和第二边缘线上分别采样多个采样点,并通过坐标变换,得到上述各个采样点在鱼眼图像坐标系中的图像坐标,进而,可以基于上述各个采样点的图像坐标拟合得到上述第一边缘线和第二边缘线在上述鱼眼图像坐标系中的第一拟合曲线和第二拟合曲线,这样,基于上述第一起点、第一终点、第二起点和第二终点在鱼眼图像坐标系中的图像坐标,以及上述第一拟合曲线和第二拟合曲线,便可以得到该基准轨迹线在上述倒车环境图像中的轨迹显示区域。其中,上述每条基准轨迹线在上述倒车环境图像中的轨迹显示区域可以包括上述该基准轨迹线对应的第一拟合曲线、第二拟合曲线以及由上述第一拟合曲线、上述第二拟合曲线、第一起点和第二起点的连线、以及第一终点和第二终点的连线所组成的区域。
如图6所示,图中610和620分别为车辆的两条基准轨迹线在倒车环境图像中的轨迹显示区域。其中,610是由该车辆的第一基准轨迹线的第一拟合曲线、第二拟合曲线、第一起点和第二起点的连线、以及第一终点和第二终点的连线所组成的区域;620是由该车辆的第二基准轨迹线的第一拟合曲线、第二拟合曲线、第一起点和第二起点的连线、以及第一终点和第二终点的连线所组成的区域。
针对不同的车辆转向角度,在将基准轨迹线对应的各个边缘线拟合到鱼眼图像坐标系中时,其畸变程度是不同的,进而,针对不同的车辆转向角度,对各个边缘线上的点进行拟合的方法可以是不同的。
可选的,一种具体实现方式中,上述步骤S1053,可以包括如下步骤21:
步骤21:如果车辆转向角度大于预设角度,基于第一图像坐标进行椭圆方程拟合,确定第一边缘线在鱼眼图像坐标系中对应的第一拟合线,以及基于第二图像坐标进行椭圆方程拟合,确定第二边缘线在鱼眼图像坐标系中对应的第二拟合线。
在本具体实现方式中,当上述车辆转向角度大于预设角度时,可以基于第一图像坐标进行椭圆方程拟合,从而,确定上述第一边缘线在鱼眼图像坐标系中对应的第一拟合线,并基于第二图像坐标进行椭圆方程拟合,确定第二边缘线在鱼眼图像坐标系中对应的第二拟合线。
其中,上述预设角度可以按照实际需要进行设置,例如,30度,50度等,这都是合理的,在本申请实施例中不做具体限定。
也就是说,在车辆转向角度大于预设角度时,可以将上述第一图像坐标,带入预设的椭圆方程,得到第一边缘线在鱼眼图像坐标系中对应的第一拟合线,并可以将上述第二图像坐标,带入预设的椭圆方程,得到第二边缘线在鱼眼图像坐标系中对应的第二拟合线。
其中,上述预设的椭圆方程可以表示为:
x2+A*x*y+B*y2+C*x+D*y+E=0
其中,A、B、C、D和E均为未知系数。
将上述各个图像坐标带入预设的椭圆方程,可以求得上述各个未知系数,从而,便可以得到每条边缘线对应的拟合线。
可选的,一种具体实现方式中,上述步骤S1053,可以包括如下步骤22:
步骤22:如果车辆转向角度小于或等于预设角度,基于第一图像坐标进行多项式方程拟合,确定第一边缘线在鱼眼图像坐标系中对应的第一拟合线,以及基于第二图像坐标进行多项式方程拟合,确定第二边缘线在鱼眼图像坐标系中对应的第二拟合线。
在本具体实现方式中,当上述车辆转向角度小于或者等于预设角度时,可以基于上述第一图像坐标进行多项式方程拟合,从而,确定上述第一边缘线在鱼眼图像坐标系中对应的第一拟合线,并可以基于上述第二图像坐标进行多项式方程拟合,从而,确定第二边缘线在鱼眼图像坐标系中对应的第二拟合线。
也就是说,在上述车辆转向角度小于或者等于预设角度时,可以将上述第一图像坐标带入预设的多项式方程,得到第一边缘线在鱼眼图像坐标系中对应的第一拟合线,并将上述第二图像坐标带入预设的多项式方程,得到第二边缘线在鱼眼图像坐标系中对应的第二拟合线。
其中,上述预设的多项式方程可以表示为:
y=a2x2+a1x+a0
其中,a0、a1、a2均为未知系数。
将上述各个图像坐标带入预设的多项式方程,可以求得上述各个未知系数,从而,便可以得到每条边缘线对应的拟合线。
可选的,一种具体实现方式中,轨迹显示区域对应的第一边缘线在鱼眼图像坐标系中表示为第一拟合线,轨迹显示区域对应的第二边缘线在鱼眼图像坐标系中表示为第二拟合线;上述步骤S106,确定轨迹显示区域对应的像素值,可以包括如下步骤31-33:
步骤31:对第一拟合线和第二拟合线中的各个非整数图像坐标值进行取整,得到各个目标坐标值;
步骤32:针对坐标值为目标坐标值的每个图像坐标点,根据该图像坐标点在倒车环境图像中的原始像素值,确定该图像坐标点对应的第一像素值;
步骤33:确定坐标值为第一拟合线和第二拟合线中的整数图像坐标值的各个图像坐标点对应的第二像素值,并确定轨迹显示区域内部的各个图像坐标点对应的第三像素值。
在本具体实现方式中,针对每条基准轨迹线,该基准轨迹线的轨迹显示区域对应的第一边缘线在上述鱼眼图像坐标系中可以表示为第一拟合线,该基准轨迹线的轨迹显示区域对应的第二边缘线在上述鱼眼图像坐标系中可以表示为第二拟合线。
在倒车环境图像上绘制上述轨迹显示区域时,可以首先确定上述轨迹显示区域对应的第一边缘线、第二边缘线以及轨迹显示区域内部的各个点在鱼眼图像坐标系中所对应的各个图像坐标点,进而,确定鱼眼图像坐标系中的各个图像坐标点在倒车环境图像中的像素值。由于上述鱼眼图像坐标系中的各个图像坐标点的图像坐标值可以是整数也可以是非整数值,而倒车环境图像中的每个像素点的像素坐标都是整数,在将上述鱼眼图像坐标系中的各个图像坐标点绘制到倒车环境图像中时,需要将上述各个图像坐标点分别对应一个像素点,才可以在上述倒车环境图像中显示该图像坐标点。基于此,针对上述鱼眼图像坐标系中的各个坐标值为非整数图像坐标值的各个图像坐标点,无法在倒车环境图像中确定该图像坐标值所对应的像素点,进而,便无法绘制该图像坐标点。
为了在倒车环境图像中确定上述鱼眼图像坐标系中的每个图像坐标点对应的像素点,可以将上述鱼眼图像坐标系中的第一拟合线和第二拟合线中的各个非整数图像坐标值进行取整,得到各个目标坐标值,进而,可以将坐标值为非整数图像坐标值的各个图像坐标点的图像坐标值变换为上述目标坐标值,这样,鱼眼相机坐标系中的各个图像坐标点的图像坐标值均为整数,便可以在上述倒车环境图像中确定鱼眼图像坐标系中的每个图像坐标点对应的像素点,进而,便可以进一步确定各个图像坐标点对应的像素值。
其中,在确定轨迹显示区域对应的第一拟合线后,可以确定上述第一拟合线在鱼眼图像坐标系中的指定坐标轴中的第一取值范围,并确定上述第一取值范围内的各个整数在第一拟合线中对应的图像坐标点的图像坐标值。同理,在确定该轨迹显示区域对应的第二拟合线后,便可以确定上述第二拟合线在鱼眼图像坐标系中的指定坐标轴中的第二取值范围,并确定上述第二取值范围内的各个整数在第二拟合线中对应的图像坐标点的图像坐标值。
其中,上述指定坐标轴可以是X轴,也可以是Y轴,还可以是X轴和Y轴,这都是合理的,在本申请中不对上述指定坐标轴进行限定。
也就是说,在确定上述第一拟合线后,便可以确定上述第一拟合线在X轴和/或Y轴上的取值范围,之后,可以确定上述取值范围内的各个整数值对应的图像坐标点,并确定每个图像坐标点的图像坐标值;并且,在确定上述第二拟合线后,便可以确定上述第二拟合线在X轴和/或Y轴上的取值范围,之后,可以确定上述取值范围内的各个整数值对应的图像坐标点,并确定每个图像坐标点的图像坐标值。
如图9所示,在确定上述第一拟合线f1()、上述第二拟合线f2()在X轴的取值范围均为[c,d],其中,上述c和d均为整数,则可以依次遍历x=c,x=c+1,……x=d,在上述第一拟合线和第二拟合线中分别确定对应的图像坐标点的图像坐标值。
示例性的,如图9所示,上述第一拟合线f1()以及上述第二拟合线f2()在X轴的取值范围均为[1,20],可以确定x=2时,上述第一拟合线和上述第二拟合线各自对应的图像坐标点,并确定两个图像坐标点的图像坐标值分别为(2,6.8)和(2,10.6)。
这样,在确定每个图像坐标点的图像坐标值后,可以将所确定的非整数图像坐标值进行取整,得到各个目标坐标值。
其中,所谓取整即是将非整数值变换为整数值的过程,并且,上述取整方法可以是向上取整,例如,将6.8取整为7;也可以是向下取整,例如,将6.8取整为6;这都是合理的,在本申请实施例中不做具体限定。
并且,在对各个非整数坐标值进行取整时,可以将该坐标值的各个坐标分量同时进行取整,例如,坐标值为(2.5,10.3)可以将该坐标值向下取整为(2,10)。
之后,为了在上述倒车环境图像中显示上述轨迹显示区域,可以将上述轨迹显示区域中的各个图像坐标点的像素值更改为区别于该倒车环境图像中的其他图像坐标点的像素值,也就是说,可以将轨迹显示区域中的各个图像坐标点的像素值确定为具有显示效果的各个像素值。这样,针对坐标值为上述目标坐标值的每个图像坐标点,可以根据该图像坐标点在倒车环境图像中的原始像素值,确定该图像坐标点对应的第一像素值,进而,可以确定坐标值为第一拟合线和第二拟合线中的整数图像坐标值的各个图像坐标点对应的第二像素值,并确定轨迹显示区域内部的各个图像坐标点对应的第三像素值。
其中,可选的,一种具体实现方式中,上述步骤32,可以包括如下步骤321:
步骤321:针对坐标值为目标坐标值的每个图像坐标点,分别确定该图像坐标点在倒车环境图像中的原始像素值和指定像素值的权重,并基于权重,对原始像素值和指定像素值进行加权处理,得到该图像坐标点对应的第一像素值;
其中,指定像素值是指基于轨迹显示区域的显示效果预设的像素值;
上述步骤33,可以包括如下步骤331:
步骤331:将指定像素值确定为坐标值为第一拟合线和第二拟合线中的整数图像坐标值的各个图像坐标点对应的第二像素值,以及将指定像素值确定为轨迹显示区域内部的各个图像坐标点对应的第三像素值。
在本具体实现方式中,为了在倒车环境图像中凸显上述轨迹显示区域,可以基于预设的具有显示效果的指定像素值,确定上述轨迹显示区域中的各个图像坐标点的像素值。而针对不同图像坐标点,确定该图像坐标点的像素值的方式可以是不同的。
对于坐标值为目标坐标值的各个图像坐标点,由于对该图像坐标点对应的原图像坐标值进行了取整,则图像坐标值为取整后的目标坐标值的各个图像坐标点,其位置相对于原图像坐标值发生了偏移,则各个坐标值为目标坐标值的图像坐标点将在上述拟合线之外。
这样,如图10(a)所示,在将坐标值为目标坐标值的各个图像坐标点的像素值更改为具有显示效果的指定像素值后,所得到的拟合线存在明显的锯齿。为了消除上述拟合线中的锯齿,可以对该拟合线进行抗锯齿处理,即可以将该拟合线中的各个坐标值为目标坐标值的各个图像坐标点的原始像素值与具有显示效果的指定像素值进行融合,以淡化上述指定像素值的显示效果,使得各个坐标值为目标坐标值的各个图像坐标点的与该图像坐标点的原始像素值融合后的指定像素值的显示效果弱于其他各个图像坐标点的指定像素值,这样,便可以淡化上述各个坐标值为目标坐标值的各个图像坐标点,从而,模糊各个像素值为目标像素值的各个图像坐标点带来的拟合线的锯齿,实现上述拟合线在上述各个图像坐标点的平滑过渡,进而,将上述图10(a)中的拟合线处理为如图10(b)所示的较为平滑的拟合线。
基于此,针对坐标值为目标坐标值的每个图像坐标点,可以分别确定该图像坐标点在倒车环境图像中的原始像素值和指定像素值的权重,并基于上述权重,对原始像素值和指定像素值进行加权处理,得到该图像坐标点对应的第一像素值。具体的加权处理规则可以根据显示需求进行设置,本申请实施例不作具体限定,例如可以包括但不限于加权求和处理、加权作差处理或其他加权处理方式等。
针对坐标值为第一拟合线和第二拟合线中的整数图像坐标值的各个图像坐标点,可以将上述指定像素值确定为各个图像坐标点对应的第二像素值,而轨迹显示区域内部的各个图像坐标点,可以将指定像素值确定为各个图像坐标点对应的第三像素值。
其中,针对各个坐标值为目标坐标值的每个图像坐标点,每个图像坐标点的原始像素值和指定像素值的权重可以按照实际需要进行设定,可以是基于该图像坐标点在倒车环境图像中的原始像素值和指定像素值的重要程度,例如,可以将原始像素值的权重设置为0.8,而将指定像素值的权重设置为0.2;也可以按照该图像坐标点在第一拟合线或第二拟合线中对应的原始非整数图像坐标值中的非整数部分有关。
可选的,一种具体实现方式中,原始像素值和指定像素值分别对应的权重与目标坐标值在第一拟合线或第二拟合线中对应的原始非整数图像坐标值中的非整数部分有关。
在本具体实现方式中,各个图像坐标点的原始像素值和指定像素值分别对应的权重可以与目标坐标值在第一拟合线或第二拟合线中对应的原始非整数图像坐标值中的非整数部分有关。
示例性的,图像坐标点在第一拟合线中对应的原始非整数图像坐标值为(2,6.8),该图像坐标点的原始非整数图像坐标值的非整数部分为0.8,则可以将该图像坐标点的权重设置为0.8。
在确定上述各个坐标值为目标坐标值的图像坐标点的原始像素值和指定像素值各自的权重后,可以基于上述原始像素值和指定像素值各自的权重,确定该图像坐标点的第一像素值。
可选的,针对坐标值为目标坐标值的每个图像坐标点,可以将上述该图像坐标点的加权后的原始像素值和加权后的指定像素值的差值,作为该图像坐标点的第一像素值;
可选的,一种具体实现方式中,上述步骤321,可以包括如下步骤41:
步骤41:针对坐标值为目标坐标值的每个图像坐标点,按照以下公式确定该图像坐标点对应的第一像素值Pi
Pi=ci*(1-m)+di*m
i表示坐标值为目标坐标值的第i个图像坐标点,原始像素值表示为ci,指定像素值表示为di,指定像素值对应的权重表示为m,原始像素值对应的权重表示为1-;
在本具体实现方式中,针对坐标值为目标坐标值的每个图像坐标点,可以将该图像坐标点的加权后的原始像素值和加权后的指定像素值的和值,作为该图像坐标点的第一像素值。
示例性的,针对坐标值为目标坐标值的每个图像坐标点,当该图像坐标点的原坐标为(2,6.8)时,该图像坐标点的原始像素值为c,权值为0.2;对该图像坐标点中的非整数值进行取整,得到该图像坐标点的目标坐标值(2,6),该图像坐标点的指定像素值为d,权值为0.8,则该图像坐标点的第一像素值可以为0.2c+0.8d;同理,当该图像坐标点的原坐标为(2,10.8),该图像坐标点的原始像素值为c,权值为0.4;对该图像坐标点中的非整数值进行取整,得到该图像坐标点的目标坐标值(2,10),该图像坐标点的指定像素值为d,权值为0.6,该图像坐标点的第一像素值可以是0.4c+0.6d。
下面,结合对上述预设坐标转换关系进行具体介绍。
如图11所示,针对基准轨迹线对应的边缘线上的同一点,其在世界坐标系下的坐标与在鱼眼相机所拍摄的图像的鱼眼图像坐标系下的坐标是不同的。
基于此,将世界坐标系下的点转换为鱼眼图像坐标系下的点需要经过一系列的坐标变换。
可选的,一种具体实现方式中,世界坐标系和鱼眼图像坐标系之间的变换关系是基于车载摄像头的畸变参数的坐标变换关系。
在本具体实现方式中,将世界坐标系中的物体投影到相机坐标系和图像坐标系时,均会发生不同程度的畸变。
示例性的,如图12所示,世界坐标系中的正方形物体通过镜头,被投射到图像平面的图像坐标系中时,会发生畸变。
从而,上述世界坐标系和鱼眼图像坐标系之间的变换关系可以是基于车载摄像头的畸变参数的坐标变换关系。
也就是说,世界坐标系和鱼眼图像坐标系之间的变换关系是考虑了车载摄像头的畸变参数后的坐标变换关系。
其中,在将该点世界坐标系下的坐标转换为该点在鱼眼图像坐标系中的坐标时,通常需要首先将该点世界坐标系下的坐标转换为该点在相机坐标系下的坐标,之后,再将该点在相机坐标系下的坐标转换为该点在鱼眼图像坐标系下的坐标。
如图13(a)所示,将世界坐标系中的点P转换到相机坐标系,需要经过旋转和平移,进而,点P(XW,YW,ZW)在相机坐标系中的坐标P′(XW,YW,ZW),可以用如下公式表示:
Figure BDA0004025281690000231
Figure BDA0004025281690000232
其中,R为旋转矩阵;为相机外参。
并且,如图13(b)所示,从世界坐标系转换到相机坐标系时,上述旋转矩阵R是绕不同的坐标轴旋转不同的角度得到的。
其中,绕Z轴旋转θ,可得到:
Figure BDA0004025281690000233
Figure BDA0004025281690000234
同理,绕X轴、Y轴旋转
Figure BDA0004025281690000237
可得到:
Figure BDA0004025281690000235
Figure BDA0004025281690000236
于是,可以得到旋转矩阵R:
R=R1R2R3
在将世界坐标系中的点转换到相机坐标系之后,还需要将该点由相机坐标系转换到鱼眼图像坐标系。
如图13(c)所示,相机坐标系下的一点P(X,Y,Z),将该点P(X,Y,Z)按照无畸变的情况,投影到鱼眼图像坐标系中,得到成像点为(a,b),可求得该点P的坐标以及入射角θ:
a=X/Z
b=Y/Z
r2=a2+b2
θ=a tanr
其中,r为成像点到图像中心的距离。
由于存在畸变,成像点到图像中心的距离r被压缩成了rd,实际成像点的位置P′(x′,y′),并且,
|op′|=rd
|op0|=r
θd=θ(1+k1θ2+k2θ4+k3θ6+k4θ8)
其中,k1、k2、k3和k4为畸变参数,由相机参数确定。
从而,P′(x′,y′)可以表示为:
Figure BDA0004025281690000241
点P投影到在鱼眼图像坐标系中的图像坐标点的图像坐标值为:
Figure BDA0004025281690000242
其中,fx,fy,cx、cy均为相机固定的内参,单位均为像素;fx是用于表征x轴方向焦距的长度;fy是用于表征y轴方向焦距的长度;(cx,cy)是图像中心在鱼眼图像坐标系中的图像坐标,单位为像素。
基于相同的发明构思,相应于上述本申请实施例提供的图14所示的一种轨迹绘制方法,本申请实施例还提供了一种轨迹绘制装置。
轨迹线确定模块1410,用于基于车辆当前位置、车辆转向角度和预设轨迹长度,确定车辆倒车过程中的基准轨迹线;其中,所述基准轨迹线包括基准轨迹起点和基准轨迹终点;
终点确定模块1420,用于基于预设轨迹宽度、所述基准轨迹起点和所述基准轨迹终点,确定所述基准轨迹线对应的第一边缘线的第一起点和第一终点,以及所述基准轨迹线对应的第二边缘线的第二起点和第二终点;其中,所述第一边缘线和所述第二边缘线形成的轨迹宽度为所述预设轨迹宽度;
图像获取模块1430,用于获取车载摄像头采集的倒车环境图像;其中,所述倒车环境图像对应的图像坐标系为鱼眼图像坐标系;
坐标确定模块1440,用于基于世界坐标系和鱼眼图像坐标系之间的变换关系,分别确定所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标;
显示区域确定模块1450,用于基于所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标,确定所述倒车环境图像上的轨迹显示区域;
轨迹确定模块1460,用于确定所述轨迹显示区域对应的像素值,并基于所述像素值在所述倒车环境图像上绘制倒车轨迹。
以上可见,应用本申请实施例提供的方案,可以预先建立关于世界坐标系与车载摄像头所采集的图像的鱼眼图像坐标系的变换关系,这样,在确定车辆的基准轨迹线后,便可以利用上述坐标转换关系,在车载摄像头所采集的倒车环境图像中直接绘制所确定的基准轨迹的轨迹显示区域,而无需通过搭建3D场景确定该车辆的倒车轨迹,并将所确定的倒车轨迹绘制到倒车视频中,也就是说,上述轨迹的绘制过程无需利用GPU便可以实现。这样,相比于相关技术中的倒车轨迹绘制方法,可以减少倒车轨迹绘制的计算资源消耗,提高倒车轨迹在搭载了不同硬件类型的车辆上的普适性,进而,降低倒车轨迹的绘制成本。并且,由于无需将车载摄像头所采集的多张倒车环境图像进行全景拼接构建3D场景,相比于相关技术中的倒车轨迹绘制方法,可以省去全景图像拼接所占用的时间,提高倒车轨迹绘制效率和显示效率,从而,可以更为及时地响应用户查看倒车轨迹的需求。
可选的,一种具体实现方式中,所述轨迹显示区域对应的第一边缘线在所述鱼眼图像坐标系中表示为第一拟合线,所述轨迹显示区域对应的第二边缘线在所述鱼眼图像坐标系中表示为第二拟合线;所述轨迹确定模块1460,包括:
取整子模块,用于对所述第一拟合线和所述第二拟合线中的各个非整数图像坐标值进行取整,得到各个目标坐标值;
第一像素值确定子模块,用于针对坐标值为所述目标坐标值的每个图像坐标点,根据该图像坐标点在所述倒车环境图像中的原始像素值,确定该图像坐标点对应的第一像素值;
第二像素值确定子模块,用于确定坐标值为所述第一拟合线和所述第二拟合线中的整数图像坐标值的各个图像坐标点对应的第二像素值,并确定所述轨迹显示区域内部的各个图像坐标点对应的第三像素值。
可选的,一种具体实现方式中,所述第一像素值确定子模块,包括:
加权处理单元,用于针对坐标值为所述目标坐标值的每个图像坐标点,分别确定该图像坐标点在所述倒车环境图像中的原始像素值和指定像素值的权重,并基于所述权重,对所述原始像素值和所述指定像素值进行加权处理,得到该图像坐标点对应的第一像素值;其中,所述指定像素值是指基于所述轨迹显示区域的显示效果预设的像素值;
所述第二像素值确定子模块,具体用于:
将所述指定像素值确定为坐标值为所述第一拟合线和所述第二拟合线中的整数图像坐标值的各个图像坐标点对应的第二像素值,以及将所述指定像素值确定为所述轨迹显示区域内部的各个图像坐标点对应的第三像素值。
可选的,一种具体实现方式中,所述加权处理单元,具体用于:
针对坐标值为所述目标坐标值的每个图像坐标点,按照以下公式确定该图像坐标点对应的第一像素值Pi
Pi=ci*(1-m)+di*m
i表示坐标值为所述目标坐标值的第i个图像坐标点,原始像素值表示为ci,指定像素值表示为di,指定像素值对应的权重表示为m,原始像素值对应的权重表示为1-;
和/或
所述原始像素值和所述指定像素值分别对应的权重与所述目标坐标值在所述第一拟合线或所述第二拟合线中对应的原始非整数图像坐标值中的非整数部分有关。
可选的,一种具体实现方式中,所述显示区域确定模块1460,包括:
坐标点确定子模块,用于基于所述第一起点、所述第一终点和所述车辆转向角度,确定第一预设数量的第一采样坐标点,以及基于所述第二起点、所述第二终点和所述车辆转向角度,确定第二预设数量的第二采样坐标点;
坐标确定子模块,用于基于世界坐标系和鱼眼图像坐标系之间的变换关系,分别确定所述第一采样坐标点在所述鱼眼图像坐标系中的第一图像坐标,以及确定所述第二采样坐标点在所述鱼眼图像坐标系中的第二图像坐标;
拟合子模块,用于基于所述第一图像坐标,拟合确定所述第一边缘线在鱼眼图像坐标系中对应的第一拟合线,以及基于所述第二图像坐标,拟合确定所述第二边缘线在鱼眼图像坐标系中对应的第二拟合线;
显示区域确定子模块,用于根据所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标,以及所述第一拟合曲线和所述第二拟合曲线,确定所述倒车环境图像上的轨迹显示区域。
可选的,一种具体实现方式中,所述拟合子模块,具体用于:
如果所述车辆转向角度大于预设角度,基于所述第一图像坐标进行椭圆方程拟合,确定所述第一边缘线在鱼眼图像坐标系中对应的第一拟合线,以及基于所述第二图像坐标进行椭圆方程拟合,确定所述第二边缘线在鱼眼图像坐标系中对应的第二拟合线;
或者
如果所述车辆转向角度小于或等于所述预设角度,基于所述第一图像坐标进行多项式方程拟合,确定所述第一边缘线在鱼眼图像坐标系中对应的第一拟合线,以及基于所述第二图像坐标进行多项式方程拟合,确定所述第二边缘线在鱼眼图像坐标系中对应的第二拟合线。
可选的,一种具体实现方式中,所述世界坐标系和鱼眼图像坐标系之间的变换关系是基于所述车载摄像头的畸变参数的坐标变换关系。
本申请实施例还提供了一种电子设备,如图15所示,包括:
存储器1501,用于存放计算机程序;
处理器1502,用于执行存储器1501上所存放的程序时,实现上述任一所述的轨迹绘制方法。
并且上述电子设备还可以包括通信总线和/或通信接口,处理器1502、通信接口、存储器1501通过通信总线完成相互间的通信。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一轨迹绘制方法的步骤。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一轨迹绘制方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者其他介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、电子设备实施例、计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

Claims (10)

1.一种轨迹绘制方法,其特征在于,所述方法包括:
基于车辆当前位置、车辆转向角度和预设轨迹长度,确定车辆倒车过程中的基准轨迹线;其中,所述基准轨迹线包括基准轨迹起点和基准轨迹终点;
基于预设轨迹宽度、所述基准轨迹起点和所述基准轨迹终点,确定所述基准轨迹线对应的第一边缘线的第一起点和第一终点,以及所述基准轨迹线对应的第二边缘线的第二起点和第二终点;其中,所述第一边缘线和所述第二边缘线形成的轨迹宽度为所述预设轨迹宽度;
获取车载摄像头采集的倒车环境图像;其中,所述倒车环境图像对应的图像坐标系为鱼眼图像坐标系;
基于世界坐标系和鱼眼图像坐标系之间的变换关系,分别确定所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标;
基于所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标,确定所述倒车环境图像上的轨迹显示区域;
确定所述轨迹显示区域对应的像素值,并基于所述像素值在所述倒车环境图像上绘制倒车轨迹。
2.根据权利要求1所述的方法,其特征在于,所述轨迹显示区域对应的第一边缘线在所述鱼眼图像坐标系中表示为第一拟合线,所述轨迹显示区域对应的第二边缘线在所述鱼眼图像坐标系中表示为第二拟合线;所述确定所述轨迹显示区域对应的像素值,包括:
对所述第一拟合线和所述第二拟合线中的各个非整数图像坐标值进行取整,得到各个目标坐标值;
针对坐标值为所述目标坐标值的每个图像坐标点,根据该图像坐标点在所述倒车环境图像中的原始像素值,确定该图像坐标点对应的第一像素值;
确定坐标值为所述第一拟合线和所述第二拟合线中的整数图像坐标值的各个图像坐标点对应的第二像素值,并确定所述轨迹显示区域内部的各个图像坐标点对应的第三像素值。
3.根据权利要求2所述的方法,其特征在于,所述针对坐标值为所述目标坐标值的每个图像坐标点,根据该图像坐标点在所述倒车环境图像中的原始像素值,确定该图像坐标点对应的第一像素值,包括:
针对坐标值为所述目标坐标值的每个图像坐标点,分别确定该图像坐标点在所述倒车环境图像中的原始像素值和指定像素值的权重,并基于所述权重,对所述原始像素值和所述指定像素值进行加权处理,得到该图像坐标点对应的第一像素值;其中,所述指定像素值是指基于所述轨迹显示区域的显示效果预设的像素值;
所述确定坐标值为所述第一拟合线和所述第二拟合线中的整数图像坐标值的各个图像坐标点对应的第二像素值,并确定所述轨迹显示区域内部的各个图像坐标点对应的第三像素值,包括:
将所述指定像素值确定为坐标值为所述第一拟合线和所述第二拟合线中的整数图像坐标值的各个图像坐标点对应的第二像素值,以及将所述指定像素值确定为所述轨迹显示区域内部的各个图像坐标点对应的第三像素值。
4.根据权利要求3所述的方法,其特征在于,
针对坐标值为所述目标坐标值的每个图像坐标点,分别确定该图像坐标点在所述倒车环境图像中的原始像素值和指定像素值的权重,并基于所述权重,对所述原始像素值和所述指定像素值进行加权处理,得到该图像坐标点对应的第一像素值,包括:
针对坐标值为所述目标坐标值的每个图像坐标点,按照以下公式确定该图像坐标点对应的第一像素值Pi
Pii*(1-m)+i*
i表示坐标值为所述目标坐标值的第i个图像坐标点,原始像素值表示为ci,指定像素值表示为di,指定像素值对应的权重表示为m,原始像素值对应的权重表示为1-;
和/或
所述原始像素值和所述指定像素值分别对应的权重与所述目标坐标值在所述第一拟合线或所述第二拟合线中对应的原始非整数图像坐标值中的非整数部分有关。
5.根据权利要求1所述的方法,其特征在于,所述基于所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标,确定所述倒车环境图像上的轨迹显示区域,包括:
基于所述第一起点、所述第一终点和所述车辆转向角度,确定第一预设数量的第一采样坐标点,以及基于所述第二起点、所述第二终点和所述车辆转向角度,确定第二预设数量的第二采样坐标点;
基于世界坐标系和鱼眼图像坐标系之间的变换关系,分别确定所述第一采样坐标点在所述鱼眼图像坐标系中的第一图像坐标,以及确定所述第二采样坐标点在所述鱼眼图像坐标系中的第二图像坐标;
基于所述第一图像坐标,拟合确定所述第一边缘线在鱼眼图像坐标系中对应的第一拟合线,以及基于所述第二图像坐标,拟合确定所述第二边缘线在鱼眼图像坐标系中对应的第二拟合线;
根据所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标,以及所述第一拟合曲线和所述第二拟合曲线,确定所述倒车环境图像上的轨迹显示区域。
6.根据权利要求5所述的方法,其特征在于,所述基于所述第一图像坐标,拟合确定所述第一边缘线在鱼眼图像坐标系中对应的第一拟合线,以及基于所述第二图像坐标,拟合确定所述第二边缘线在鱼眼图像坐标系中对应的第二拟合线,包括:
如果所述车辆转向角度大于预设角度,基于所述第一图像坐标进行椭圆方程拟合,确定所述第一边缘线在鱼眼图像坐标系中对应的第一拟合线,以及基于所述第二图像坐标进行椭圆方程拟合,确定所述第二边缘线在鱼眼图像坐标系中对应的第二拟合线;
或者
如果所述车辆转向角度小于或等于所述预设角度,基于所述第一图像坐标进行多项式方程拟合,确定所述第一边缘线在鱼眼图像坐标系中对应的第一拟合线,以及基于所述第二图像坐标进行多项式方程拟合,确定所述第二边缘线在鱼眼图像坐标系中对应的第二拟合线。
7.根据权利要求1所述的方法,其特征在于,所述世界坐标系和鱼眼图像坐标系之间的变换关系是基于所述车载摄像头的畸变参数的坐标变换关系。
8.一种轨迹绘制装置,其特征在于,所述装置包括:
轨迹线确定模块,用于基于车辆当前位置、车辆转向角度和预设轨迹长度,确定车辆倒车过程中的基准轨迹线;其中,所述基准轨迹线包括基准轨迹起点和基准轨迹终点;
终点确定模块,用于基于预设轨迹宽度、所述基准轨迹起点和所述基准轨迹终点,确定所述基准轨迹线对应的第一边缘线的第一起点和第一终点,以及所述基准轨迹线对应的第二边缘线的第二起点和第二终点;其中,所述第一边缘线和所述第二边缘线形成的轨迹宽度为所述预设轨迹宽度;
图像获取模块,用于获取车载摄像头采集的倒车环境图像;其中,所述倒车环境图像对应的图像坐标系为鱼眼图像坐标系;
坐标确定模块,用于基于世界坐标系和鱼眼图像坐标系之间的变换关系,分别确定所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标;
显示区域确定模块,用于基于所述第一起点、所述第一终点、所述第二起点和所述第二终点在所述鱼眼图像坐标系中的图像坐标,确定所述倒车环境图像上的轨迹显示区域;
轨迹确定模块,用于确定所述轨迹显示区域对应的像素值,并基于所述像素值在所述倒车环境图像上绘制倒车轨迹。
9.一种电子设备,其特征在于,包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法。
CN202211707573.9A 2022-12-29 2022-12-29 一种轨迹绘制方法、装置及电子设备 Pending CN115953498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211707573.9A CN115953498A (zh) 2022-12-29 2022-12-29 一种轨迹绘制方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211707573.9A CN115953498A (zh) 2022-12-29 2022-12-29 一种轨迹绘制方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN115953498A true CN115953498A (zh) 2023-04-11

Family

ID=87282145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211707573.9A Pending CN115953498A (zh) 2022-12-29 2022-12-29 一种轨迹绘制方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN115953498A (zh)

Similar Documents

Publication Publication Date Title
CN107577988B (zh) 实现侧方车辆定位的方法、装置及存储介质、程序产品
EP3633539A2 (en) Method for position detection, device, and storage medium
CN107507131A (zh) 基于单摄像头的360度全景倒车影像生成方法
US20140085409A1 (en) Wide fov camera image calibration and de-warping
CN107600008B (zh) 倒车辅助线的生成方法、装置、车载设备及存储介质
CN108805075B (zh) 行车轨迹线获取方法、装置以及电子设备
CN108174089B (zh) 基于双目摄像头的倒车影像拼接方法和装置
CN112348741A (zh) 全景图像拼接方法、设备及存储介质和显示方法及系统
CN114091521B (zh) 车辆航向角的检测方法、装置、设备及存储介质
CN108171655A (zh) 基于单目摄像头的倒车影像拼接方法和装置
CN113492829B (zh) 数据处理的方法和装置
CN110400255B (zh) 车辆全景影像的生成方法、系统和车辆
CN112862856A (zh) 违停车辆的识别方法、装置、设备及计算机可读存储介质
CN113706624A (zh) 相机外参修正方法、装置及车载环视系统
CN113658262A (zh) 相机外参标定方法、装置、系统及存储介质
CN115953498A (zh) 一种轨迹绘制方法、装置及电子设备
CN109624855B (zh) 自动泊车的停止位置确定方法及装置、电子设备、介质
CN110246184B (zh) 一种车载相机外参确定方法、装置、设备及系统
CN112455541B (zh) 一种车轮转角确定方法、装置及设备
CN116740192A (zh) 一种车载环视系统的标定方法、标定系统及智能汽车
WO2023184869A1 (zh) 室内停车场的语义地图构建及定位方法和装置
CN114290995B (zh) 透明a柱的实现方法、装置、汽车及介质
CN113610927B (zh) 一种avm摄像头参数标定方法、装置及电子设备
CN114897987B (zh) 一种确定车辆地面投影的方法、装置、设备及介质
CN118247135A (zh) 一种轮毂视角图像生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination