CN113120080B - 倒车辅助线的建立方法、装置、终端及存储介质 - Google Patents

Abstract

本申请实施例公开了一种倒车辅助线的建立方法、装置、终端及存储介质，属于汽车应用技术领域。所述方法包括：根据摄像头的镜头参数，建立畸变模型；根据摄像头的安装位置、车辆的车辆参数以及第一转换关系，建立车辆的成像轨迹模型；通过畸变模型，对成像轨迹模型进行修正；根据第二转换关系以及修正后的成像轨迹模型，建立用于在显示屏中显示的倒车辅助线，本申请可以根据车辆倒车时的实际运动轨迹提炼得到相应的运动轨迹方程，并生成动态的倒车辅助线，动态的倒车辅助线具备高精度、低误差的特性，另外，本申请根据畸变模型修正倒车辅助线，降低倒车辅助线在倒车影像的画面畸变位置的精度下降的几率，使得倒车辅助线能够更好的适配倒车影像。

Description

倒车辅助线的建立方法、装置、终端及存储介质

技术领域

本申请实施例涉及汽车应用技术领域，特别涉及一种倒车辅助线的建立方法、装置、终端及存储介质。

背景技术

倒车辅助系统作为一种实用的车辆配置功能，可以在用户倒车时，以声音和图像的方式辅助用户驾驶，降低因后视镜视野盲区带来的安全隐患发生的几率。

目前，倒车辅助系统可以通过车尾设置的摄像头采集倒车影像，并根据相应算法预测车辆倒车时的倒车轨迹，根据该倒车轨迹生成静态的倒车辅助线，并在倒车影像中添加该倒车辅助线，以供用户辅助倒车。

但是，目前方案中，静态的倒车辅助线误差很大，精度较低，无法满足用户高精度的辅助驾驶需求。

发明内容

本申请实施例提供了一种倒车辅助线的建立方法、装置、终端及存储介质，可以解决静态的倒车辅助线误差很大，精度较低的问题。所述技术方案如下：

第一方面，提供了一种倒车辅助线的建立方法，所述方法应用于车辆，所述车辆包括摄像头和显示屏，所述方法包括：

根据所述摄像头的镜头参数，建立畸变模型；

根据所述摄像头的安装位置、所述车辆的车辆参数以及第一转换关系，建立所述车辆的成像轨迹模型；其中，所述第一转换关系为地面坐标系与所述摄像头的成像坐标系之间的坐标转换关系；所述成像轨迹模型用于反映所述车辆在成像坐标系中倒车转向时的轨迹坐标；

通过所述畸变模型，对所述成像轨迹模型进行修正；

根据第二转换关系以及修正后的成像轨迹模型，建立用于在所述显示屏中显示的倒车辅助线，其中，所述第二转换关系为所述成像坐标系与所述显示屏的显示坐标系之间的坐标转换关系。

第二方面，提供了一种倒车辅助线的建立装置，所述装置应用于车辆，所述车辆包括摄像头和显示屏，所述装置包括：

第一建立模块，用于根据所述摄像头的镜头参数，建立畸变模型；

第二建立模块，用于根据所述摄像头的安装位置、所述车辆的车辆参数以及第一转换关系，建立所述车辆的成像轨迹模型；其中，所述第一转换关系为地面坐标系与所述摄像头的成像坐标系之间的坐标转换关系；所述成像轨迹模型用于反映所述车辆在成像坐标系中倒车转向时的轨迹坐标；

修正模块，用于通过所述畸变模型，对所述成像轨迹模型进行修正；

第三建立模块，用于根据第二转换关系以及修正后的成像轨迹模型，建立用于在所述显示屏中显示的倒车辅助线，其中，所述第二转换关系为所述成像坐标系与所述显示屏的显示坐标系之间的坐标转换关系。

第三方面，提供了一种终端，所述终端包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如第一方面所述的倒车辅助线的建立方法。

第四方面，提供了一种计算机可读存储介质，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如第一方面所述的倒车辅助线的建立方法。

本申请实施例提供的倒车辅助线的建立方法中，可以根据车辆倒车时的实际运动轨迹提炼得到相应的运动轨迹方程，并在运动轨迹方程中融入车辆和摄像头的一些车辆参数，从而能够根据运动轨迹方程生成动态的倒车辅助线。相比静态的倒车辅助线，动态的倒车辅助线具备高精度、低误差的特性，能够提高倒车辅助系统的用户体验。另外，本申请实施例可以根据车辆的倒车辅助摄像头的镜头参数，建立畸变模型，并根据畸变模型修正倒车辅助线，降低倒车辅助线在倒车影像的画面畸变位置的精度下降的几率，使得倒车辅助线能够更好的适配倒车影像，进一步提升倒车辅助线的精度。

附图说明

图1是本申请实施例提供的一种倒车辅助线的建立方法的流程图；

图2是本申请实施例提供的一种车辆方向盘右转时的倒车轨迹示意图；

图3是本申请实施例提供的一种车辆方向盘左转时的倒车轨迹示意图；

图4是本申请实施例提供的一种倒车辅助线的建立方法的具体步骤流程图；

图5是本申请实施例提供的一种物体投影至摄像头的成像平面的示意图；

图6是本申请实施例提供的一种倒车辅助线的建立装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

在本申请实施例的倒车辅助系统中，最终呈现给用户的倒车影像中可以具有添加的动态倒车辅助线，具体的，可以根据车辆倒车时的实际运动轨迹提炼得到相应的运动轨迹方程，并在运动轨迹方程中融入车辆和摄像头的一些车辆参数，从而能够根据运动轨迹方程生成动态的倒车辅助线，并将倒车辅助线添加至摄像头采集的倒车影像中。相比静态的倒车辅助线，动态的倒车辅助线具备高精度、低误差的特性，能够提高倒车辅助系统的用户体验。

进一步的，由于车辆的倒车辅助摄像头因镜头结构等原因，在拍摄的画面中存在画面畸变，使得倒车影像中存在一定的画面畸变(如鱼眼摄像头在采集画面的四角存在较大的畸变)，而根据运动轨迹方程生成的动态倒车辅助线并未考虑该畸变，若直接将倒车辅助线添加至存在畸变的倒车影像中，则会因画面畸变的原因，使得倒车辅助线在画面畸变位置的精度下降，不能够很好的适配倒车影像。

因此，本申请实施例可以根据车辆的倒车辅助摄像头的镜头参数，建立畸变模型，并根据畸变模型修正倒车辅助线，降低倒车辅助线在倒车影像的画面畸变位置的精度下降的几率，使得倒车辅助线能够更好的适配倒车影像，进一步提升倒车辅助线的精度。

参考图1，其示出了本申请实施例提供的一种倒车辅助线的建立方法的流程图。本实施例以该方法应用于车辆，车辆包括摄像头和显示屏进行说明。该方法包括：

步骤101，根据所述摄像头的镜头参数，建立畸变模型。

在实际应用中，由于车辆用于倒车辅助的摄像头的镜头包括多个表面是弧形结构的透镜，且在装配镜头时会产生一定的装配误差，因此在倒车影像采集中会产生镜头畸变，镜头畸变实际上是光学透镜固有的透视失真的总称，也就是因为透视原因造成的失真，如广角镜头和鱼眼镜头都会使得采集的画面中存在较大的画面畸变，而针对倒车影像辅助倒车驾驶的场景中，为了提升倒车影像的视野广度，这种画面畸变的强度会比正常更大。

在该步骤中，由于摄像头的镜头参数是固定参数，因此可以通过读取摄像头的出厂信息来获取摄像头的镜头参数，另外，也可以通过标定的方式，获得摄像头的镜头参数，摄像头的镜头参数一般情况下可以包括径向畸变参数和切向畸变参数，根据这两种参数，可以构建畸变模型，该畸变模型可以反映由摄像头采集的画面中的畸变特性，通过畸变模型处理后的点的坐标可以理解为该点融入了畸变特性后的坐标。

步骤102，根据所述摄像头的安装位置、所述车辆的车辆参数以及第一转换关系，建立所述车辆的成像轨迹模型。

其中，所述第一转换关系为地面坐标系与所述摄像头的成像坐标系之间的坐标转换关系；所述成像轨迹模型用于反映所述车辆在成像坐标系中倒车转向时的轨迹坐标。

参照图2和图3，图2示出了本申请实施例提供的一种车辆方向盘右转时的倒车轨迹示意图；图3示出了本申请实施例提供的一种车辆方向盘左转时的倒车轨迹示意图。其中，由图2和图3可以看出，车辆在进行左右倒车转向时，车辆形成的倒车轨迹为以P点为圆心，由车辆的前轴中心和后轴中心画出的两个同心圆，进一步的，该倒车轨迹可以扩展为以P点为圆心，由车辆的两个相对设置的后轮画出的两个同心圆；车辆的前轴中心到后轴中心的距离为轴距L，车辆的两个相对设置的后轮之间的距离为轮距W；车辆的最小转弯半径Φ是在方向盘转到极限位置，车辆以最低稳定车速转向行驶时，外侧转向轮的中心在支撑平面(地面)上滚过的轨迹圆半径。摄像头在车辆的O点安装，摄像头到车辆的后轴的垂直距离为尾轴距离D，另外，在实际情况中，摄像头的安装位置可以与车辆的中轴线之间存在偏差，使得摄像头的安装位置到车辆的车尾中心的距离为摄像头偏移距离d。

由此可见，车辆在倒车转向时，后轴的中心形成的倒车轨迹为以P点为圆心的圆，则根据圆的计算方程，车辆的后轴中心形成的地面轨迹模型可以为(x+R+D)²+(y+D)²＝R²，R＝L×cotΦ，(x，y)为车辆的后轴中心形成的轨迹上的一点的坐标。需要说明的是，由于倒车影像中通常采用车辆两个相对设置的后轮形成的倒车轨迹为倒车辅助线，则上述由后轴中心形成的地面轨迹模型，还可以扩展为由车辆的两个相对设置的后轮形成的地面轨迹模型。

在将地面轨迹模型的一点的坐标映射至车辆的显示屏的过程中，首先需要将该点投影至摄像头的成像平面上，再将该点在成像平面上的投影点映射至显示屏进行展示。本申请实施例中，在得到地面轨迹模型后，由于该地面轨迹模型是基于地面坐标系(z轴的值为0的世界坐标系)构建的，则要想生成用于在车辆的显示屏上显示的倒车辅助线，则需要先将基于地面坐标系的地面轨迹模型先映射至摄像头的成像坐标系(以摄像头的成像平面构建的坐标系)，因此，本申请实施例可以根据反映地面坐标系与成像坐标系之间的坐标转换关系的第一转换关系，将地面轨迹模型映射为基于成像坐标系的成像轨迹模型。

其中，世界坐标系是客观三维世界的绝对坐标系，也称客观坐标系。因为拍摄设备安放在三维空间中，我们需要世界坐标系这个基准坐标系来描述拍摄设备的位置，并且用它来描述安放在此三维环境中的其它任何物体的位置，用(X,Y,Z)表示其坐标值，本申请实施例中，由于倒车轨迹在支撑平面(地面)上形成，因此Z为0；另外，成像坐标系：以焦平面的左上角顶点为原点，用(u,v)表示其坐标值。拍摄设备采集的图像首先是形成标准电信号的形式，然后再通过模数转换变换为数字图像。每幅图像的存储形式是M×N的数组，M行N列的图像中的每一个元素的数值代表的是图像点的灰度。这样的每个元素叫像素，成像坐标系就是以像素为单位的图像坐标系。

具体的，第一转换关系可以根据世界坐标系中一点投影至成像坐标系中后，该点投影前和投影后的坐标的转换关系得到，一种实现方式中，该第一转换关系可以基于摄像头成像的几何模型和该摄像头的内参数和外参数所确定。

步骤103，通过所述畸变模型，对所述成像轨迹模型进行修正。

在实际应用中，由于车辆的倒车辅助摄像头因镜头结构等原因，在拍摄的画面中存在画面畸变，使得倒车影像中存在一定的画面畸变(如鱼眼摄像头在采集画面的四角存在较大的畸变)，而直接根据运动轨迹方程生成的倒车辅助线并未考虑该畸变，若直接将该倒车辅助线添加至存在畸变的倒车影像中，则会因画面畸变的原因，使得倒车辅助线在画面畸变位置的精度下降，不能够很好的适配倒车影像。

本申请实施例可以根据车辆的倒车辅助摄像头的镜头参数，建立畸变模型，并根据畸变模型修正倒车辅助线对应的成像轨迹模型，通过畸变模型处理后的点的成像轨迹模型可以理解为该点融入了畸变特性后的成像轨迹模型，降低了倒车辅助线在倒车影像的画面畸变位置的精度下降的几率，使得倒车辅助线能够更好的适配倒车影像，进一步提升倒车辅助线的精度。

步骤104，根据第二转换关系以及修正后的成像轨迹模型，建立用于在所述显示屏中显示的倒车辅助线。

其中，所述第二转换关系为所述成像坐标系与所述显示屏的显示坐标系之间的坐标转换关系。

具体的，在将地面轨迹模型的一点的坐标映射至车辆的显示屏的过程中，首先需要将该点投影至摄像头的成像平面上，再将该点在成像平面上的投影点映射至显示屏进行展示。在步骤102得到用于在摄像头的成像平面上显示的成像轨迹模型，并经过步骤103对成像轨迹模型的修正后，需要进一步根据成像坐标系与显示屏的显示坐标系之间的第二转换关系，将成像轨迹模型投影至显示屏，并生成倒车辅助线进行显示，即将成像平面上成像轨迹模型的点转换为显示屏上用于显示的倒车辅助线的像素点。

其中，第二转换关系可以根据成像平面的分辨率和显示屏的分辨率之间的等比例缩放关系得到。

综上所述，本申请实施例提供的倒车辅助线的建立方法中，可以根据车辆倒车时的实际运动轨迹提炼得到相应的运动轨迹方程，并在运动轨迹方程中融入车辆和摄像头的一些车辆参数，从而能够根据运动轨迹方程生成动态的倒车辅助线。相比静态的倒车辅助线，动态的倒车辅助线具备高精度、低误差的特性，能够提高倒车辅助系统的用户体验。另外，本申请实施例可以根据车辆的倒车辅助摄像头的镜头参数，建立畸变模型，并根据畸变模型修正倒车辅助线，降低倒车辅助线在倒车影像的画面畸变位置的精度下降的几率，使得倒车辅助线能够更好的适配倒车影像，进一步提升倒车辅助线的精度。

请参考图4，其示出了本申请实施例提供的一种倒车辅助线的建立方法的具体步骤流程图。该方法包括：

步骤201，获取所述摄像头的径向畸变参数和切向畸变参数。

由于摄像头的镜头参数是固定参数，因此可以通过读取摄像头的出厂信息来获取摄像头的镜头的径向畸变参数和切向畸变参数，径向畸变参数用于反映镜头在径向的畸变强度，切向畸变参数用于反映镜头在切向的畸变强度。另外，也可以通过标定的方式，获得摄像头的径向畸变参数和切向畸变参数。

步骤202，根据所述径向畸变参数和所述切向畸变参数，建立所述畸变模型。

根据这两种参数，可以构建畸变模型，该畸变模型可以反映由摄像头采集的画面中的畸变特性，通过畸变模型处理后的点的坐标可以理解为该点融入了畸变特性后的坐标。

可选的，径向畸变参数包括：k1、k2，切向畸变参数包括：p1、p2，步骤202具体可以包括：

子步骤2021、根据所述径向畸变参数k1、k2，以及所述切向畸变参数p1、p2，建立包括公式1和公式2的畸变模型。

公式1：

公式2：

其中，(ud，vd)为经过所述畸变模型处理后的一点的坐标；fx和fy为所述摄像头的焦距；Cx和Cy为所述成像坐标系对应的成像平面的中心点的坐标，(x′，y′)为相机坐标系上的一点经过归一化处理后得到的坐标；x′²+y′²＝r²。

具体的，公式1和公式2的推导过程如下：

在本申请实施例中，摄像头的畸变类型有两种，一种为径向畸变，一种为切向畸变；径向畸变模型为：

切向畸变模型为：

其中，(u，v)为未经径向畸变处理的一点的坐标，(u′，v′)为经过径向畸变处理后的一点的坐标。其幂次递增的特性，体现了图像边缘处的径向畸变较大的特性。对于畸变很大的镜头，如鱼眼镜头，才会有k3系数，因此对于畸变不大的镜头，k3系数可以设置为0。

则综上，摄像头的成像平面坐标系下的无畸变坐标(u，v)，经过径向畸变和切向畸变后的坐标(ud，vd)之间的关系推导可以得到：

以及/>

Zc为相机坐标系上的一点的Z轴值。则根据上述转换关系，可以推导得到公式1和公式2。

步骤203，根据所述摄像头的安装位置、所述车辆的车辆参数以及第一转换关系，建立所述车辆的成像轨迹模型。

其中，所述第一转换关系为地面坐标系与所述摄像头的成像坐标系之间的坐标转换关系；所述成像轨迹模型用于反映所述车辆在成像坐标系中倒车转向时的轨迹坐标。

该步骤的具体实现方式可参见上述步骤102，本实施例在此不再赘述。

可选的，步骤203具体可以包括：

子步骤2031、根据所述摄像头的安装位置和所述车辆的车辆参数，建立所述车辆的第一地面轨迹模型或第二地面轨迹模型。

其中，所述第一地面轨迹模型用于反映所述车辆所述在地面坐标系中倒车转向时，所述车辆的后轴中心的轨迹坐标；所述第二地面轨迹模型用于反映所述车辆所述在地面坐标系中倒车转向时，所述车辆相对设置的第一后轮和第二后轮的轨迹坐标。

在该步骤中，参照图2和图3，车辆在进行左右倒车转向时，车辆形成的倒车轨迹为以P点为圆心，由车辆的前轴中心和后轴中心画出的两个同心圆，进一步的，该倒车轨迹可以扩展为以P点为圆心，由车辆的两个相对设置的后轮画出的两个同心圆；摄像头的安装位置和车辆的车辆参数可以包括：车辆的前轴中心到后轴中心的距离为轴距L，车辆的两个相对设置的后轮之间的距离为轮距W；车辆的最小转弯半径φ是在方向盘转到极限位置，车辆以最低稳定车速转向行驶时，外侧转向轮的中心在支撑平面(地面)上滚过的轨迹圆半径。摄像头在车辆的O点安装，摄像头到车辆的后轴的垂直距离为尾轴距离D，另外，在实际情况中，摄像头的安装位置可以与车辆的中轴线之间存在偏差，使得摄像头的安装位置到车辆的车尾中心的距离为摄像头偏移距离d。

由此可见，车辆在倒车转向时，后轴的中心形成的倒车轨迹为以P点为圆心的圆，则根据圆的计算方程，车辆的后轴中心形成的地面轨迹模型可以为(x+R+D)²+(y+D)²＝R²；(x，y)为车辆的后轴中心形成的轨迹上的一点的坐标。需要说明的是，由于倒车影像中通常采用车辆两个相对设置的后轮形成的倒车轨迹为倒车辅助线，则上述由后轴中心形成的地面轨迹模型，还可以扩展为由车辆的两个相对设置的后轮形成的地面轨迹模型。

可选的，子步骤2031具体可以包括：

子步骤A1、根据所述摄像头的安装位置与所述车辆中轴线之间的距离d、所述摄像头的安装位置与所述车辆的后轴之间的距离D、所述车辆的方向盘的转角Φ、所述车辆的轴距L，建立所述第一地面轨迹模型：

(x+R+D)²+(y+D)²＝R²；

其中，(x，y)为所述车辆的后轴中心的轨迹坐标，R＝L×cotΦ。

在本申请实施例中，在选取车辆的后轴中心形成的地面轨迹模型建立倒车辅助线的情况下，R＝L×cotΦ，这种情况下，倒车辅助线为一根动态的中心线(两个相对后轮之间的中心线)。

可选的，所述第一后轮为转向外侧后轮，所述第二后轮为转向内侧后轮；子步骤2031具体可以包括：

子步骤A2、根据所述摄像头的安装位置与所述车辆中轴线之间的距离d、所述摄像头的安装位置与所述车辆的后轴之间的距离D、所述车辆的方向盘的转角Φ、所述车辆的轴距L、所述车辆相对设置的第一后轮和第二后轮之间的距离W，建立所述第二地面轨迹模型：

(x+R+D)²+(y+D)²＝R²；

其中，(x，y)为所述车辆的第一后轮和第二后轮的轨迹坐标，针对所述第一后轮的轨迹坐标，R＝L×cotΦ+W/2；针对所述第二后轮的轨迹坐标，R＝L×cotΦ-W/2。

在本申请实施例中，在选取车辆的第一后轮和第二后轮形成的地面轨迹模型建立倒车辅助线的情况下，针对所述第一后轮的轨迹坐标，R＝L×cotΦ+W/2；针对所述第二后轮的轨迹坐标，R＝L×cotΦ-W/2。

这种情况下，倒车辅助线为车辆的第一后轮和第二后轮画出的辅助线，相较于选取车辆的后轴中心形成的地面轨迹模型建立倒车辅助线的情况，本申请实施例可以选取车辆的第一后轮和第二后轮形成的地面轨迹模型建立倒车辅助线，这种情况可以使得生成的倒车辅助线更加具有参考性，提高倒车的便捷性。

子步骤2032、根据所述第一转换关系、所述第一地面轨迹模型或所述第二地面轨迹模型，建立所述成像轨迹模型。

可选的，第一转换关系由所述摄像头的内参数和外参数确定得到。

在本申请实施例中，参照图5，其示出了本申请实施例提供的一种物体投影至摄像头的成像平面的示意图。其中，通过摄像头看到的地面景物(tmsk)，实质上是地面景物(tmsk)在摄像头的成像平面(OXY)上的投影(KTMS)，具体的，A为摄像头的实际安装位置。地面坐标系为oxy，其中y方向为车辆的正后方向；OXY为成像平面对应的成像坐标系，且将成像平面左上角的角点设为成像平面坐标原点，成像坐标系OXY中使用的单位同地面坐标系的单位一致，都表示物理长度，实际上成像坐标系的成像平面就是摄像头的成像焦平面，AK为摄像头的焦距，AK垂直于成像平面；成像平面的宽为OU，成像平面的高为OV。成像平面的宽和高可以通过摄像头的焦距和可视角度计算出来；另外，在不知道摄像头的可视角度和焦距的情况下，成像平面的宽和高也可以通过后面的地面特殊点校准来标定确定。

具体的，参照图5，地面坐标系oxy平面上的点(X,Y,Z)到成像坐标系OXY坐标系下的投影点(U,V)(无畸变)的关系推导可以得出第一转换关系。地面坐标系oxy平面上的点(X,Y,Z)具体可以经过旋转和平移换算，得到成像坐标系OXY中的投影点，该转换过程具体可以包括：地面坐标系到相机坐标系的转换关系，相机坐标系到成像坐标系的转换关系。

其中，相机坐标系和地面坐标系的转换关系如下：

R为地面坐标系(世界坐标系)与成像坐标系之间的相对旋转矩阵；T为地面坐标系与成像坐标系的相对位移向量。

通过获取摄像头的内参数，可以建立内参数矩阵：

其中，fx和fy为所述摄像头的焦距；Cx和Cy为所述成像坐标系对应的成像平面的中心点的坐标，s为坐标轴倾斜参数，理想状态下为0。其中，上述内参数可以直接由摄像头的出厂信息中获取得到，另外，还可以通过对摄像头进行相机标定，获取摄像头的内参数。

进一步的，摄像头的相机坐标系中的点的坐标(Xc，Yc，Zc)转换至成像坐标系的转换关系如下：

上述关系经过归一化处理，得到：

和/>

其中，x′和y′不是成坐标系的值，其只是相机坐标系归一化的中间产物，经过上述所有关系，可以得到相机坐标系到成像坐标系的转换关系：

由地面坐标系到相机坐标系的转换关系和相机坐标系到成像坐标系的转换关系，可以得到第一转换关系。

步骤204，通过所述畸变模型，对所述成像轨迹模型进行修正。

该步骤的具体实现方式可参见上述步骤103，本实施例在此不再赘述。

可选的，步骤204具体可以包括：

子步骤2041、通过所述畸变模型包括的公式1和公式2对所述成像轨迹模型进行修正，得到修正后的成像轨迹模型；其中，所述修正后的成像轨迹模型用于反映在引入了所述摄像头的径向畸变和切向畸变后，所述车辆在成像坐标系中倒车转向时的轨迹坐标(ud，vd)。

在本申请实施例中，基于子步骤2021得到的畸变模型包括的公式1和公式2，可以将成像轨迹模型进行修正，得到修正后的成像轨迹模型，修正后的成像轨迹模型用于计算引入镜头畸变后，车辆在成像坐标系中倒车转向时的轨迹坐标(ud，vd)。

步骤205，根据第二转换关系以及修正后的成像轨迹模型，建立用于在所述显示屏中显示的倒车辅助线。

其中，所述第二转换关系为所述成像坐标系与所述显示屏的显示坐标系之间的坐标转换关系。

该步骤的具体实现方式可参见上述步骤103，本实施例在此不再赘述。

可选的，步骤205具体可以包括：

子步骤2051、根据所述修正后的成像轨迹模型，以及所述第二转换关系：(x1/w)＝(ud/m)，(y1/h)＝(vd/n)，得到所述倒车辅助线。

其中，(x1，y1)为所述倒车辅助线中一点的坐标，m为所述摄像头的成像平面的分辨率宽度，n为所述摄像头的成像平面的分辨率高度，w为所述显示屏的分辨率宽度，h为所述显示屏的分辨率高度。

在本申请实施例中，得到修正后的成像轨迹模型后，进一步的只需要将成像坐标系上的成像轨迹模型投影至显示屏的显示屏幕进行展示，成像轨迹模型需要经过摄像头的成像平面的分辨率和显示屏的分辨率之间的比例转换，才可以生成倒车辅助线，具体转换关系如上第二转换关系所述。

可选的，在步骤205之后，还可以包括：

步骤206，在所述车辆进行倒车转向时，将所述倒车辅助线添加至由所述摄像头采集的倒车影像中，并通过显示屏对添加了所述倒车辅助线的倒车影像进行展示。

本申请实施例中，最终呈现给用户的倒车影像中可以具有添加的动态倒车辅助线，具体的，可以将步骤205生成的倒车辅助线，添加至摄像头采集的倒车影像中。相比静态的倒车辅助线，动态的倒车辅助线具备高精度、低误差的特性，能够提高倒车辅助系统的用户体验，另外，本申请实施例通过畸变模型修正倒车辅助线，降低了倒车辅助线在倒车影像的画面畸变位置的精度下降的几率，使得倒车辅助线能够更好的适配倒车影像，进一步提升倒车辅助线的精度。

综上所述，本申请实施例提供的倒车辅助线的建立方法中，可以根据车辆倒车时的实际运动轨迹提炼得到相应的运动轨迹方程，并在运动轨迹方程中融入车辆和摄像头的一些车辆参数，从而能够根据运动轨迹方程生成动态的倒车辅助线。相比静态的倒车辅助线，动态的倒车辅助线具备高精度、低误差的特性，能够提高倒车辅助系统的用户体验。另外，本申请实施例可以根据车辆的倒车辅助摄像头的镜头参数，建立畸变模型，并根据畸变模型修正倒车辅助线，降低倒车辅助线在倒车影像的画面畸变位置的精度下降的几率，使得倒车辅助线能够更好的适配倒车影像，进一步提升倒车辅助线的精度。

参考图6，其示出了本申请实施例提供的一种倒车辅助线的建立装置的结构框图。本实施例以该装置应用于车辆，车辆包括摄像头和显示屏进行说明。该装置包括：

第一建立模块301，用于根据所述摄像头的镜头参数，建立畸变模型；

可选的，第一建立模块301，包括：

获取子模块，用于获取所述摄像头的径向畸变参数和切向畸变参数；

第一建立子模块，用于根据所述径向畸变参数和所述切向畸变参数，建立所述畸变模型。

可选的，所述第一建立子模块包括：

第一建立单元，用于根据所述径向畸变参数k1、k2，以及所述切向畸变参数p1、p2，建立包括公式1和公式2的畸变模型：

公式1：

公式2：

其中，(ud，vd)为经过所述畸变模型处理后的一点的坐标；fx和fy为所述摄像头的焦距；Cx和Cy为所述成像坐标系对应的成像平面的中心点的坐标，(x′，y′)为相机坐标系上的一点经过归一化处理后得到的坐标；x′²+y′²＝r²。

第二建立模块302，用于根据所述摄像头的安装位置、所述车辆的车辆参数以及第一转换关系，建立所述车辆的成像轨迹模型；其中，所述第一转换关系为地面坐标系与所述摄像头的成像坐标系之间的坐标转换关系；所述成像轨迹模型用于反映所述车辆在成像坐标系中倒车转向时的轨迹坐标；

可选的，第二建立模块302包括：

第二建立子模块，用于根据所述摄像头的安装位置和所述车辆的车辆参数，建立所述车辆的第一地面轨迹模型或第二地面轨迹模型；其中，所述第一地面轨迹模型用于反映所述车辆所述在地面坐标系中倒车转向时，所述车辆的后轴中心的轨迹坐标；所述第二地面轨迹模型用于反映所述车辆所述在地面坐标系中倒车转向时，所述车辆相对设置的第一后轮和第二后轮的轨迹坐标；

可选的，第二建立子模块，包括：

第二建立单元，用于根据所述摄像头的安装位置与所述车辆中轴线之间的距离d、所述摄像头的安装位置与所述车辆的后轴之间的距离D、所述车辆的方向盘的转角Φ、所述车辆的轴距L，建立所述第一地面轨迹模型：

(x+R+D)²+(y+D)²＝R²；

其中，(x，y)为所述车辆的后轴中心的轨迹坐标，R＝L×cotΦ。

可选的，所述第一后轮为转向外侧后轮，所述第二后轮为转向内侧后轮；

第二建立子模块，包括：

第三建立单元，用于根据所述摄像头的安装位置与所述车辆中轴线之间的距离d、所述摄像头的安装位置与所述车辆的后轴之间的距离D、所述车辆的方向盘的转角Φ、所述车辆的轴距L、所述车辆相对设置的第一后轮和第二后轮之间的距离W，建立所述第二地面轨迹模型：

(x+R+D)²+(y+D)²＝R²；

其中，(x，y)为所述车辆的第一后轮和第二后轮的轨迹坐标，针对所述第一后轮的轨迹坐标，R＝L×cotΦ+W/2；针对所述第二后轮的轨迹坐标，R＝L×cotΦ-W/2。

第三建立子模块，用于根据所述第一转换关系、所述第一地面轨迹模型或所述第二地面轨迹模型，建立所述成像轨迹模型。

修正模块303，用于通过所述畸变模型，对所述成像轨迹模型进行修正；

可选的，所述修正模块303，包括：

修正子模块，用于通过所述畸变模型包括的公式1和公式2对所述成像轨迹模型进行修正，得到修正后的成像轨迹模型；其中，所述修正后的成像轨迹模型用于反映在引入了所述摄像头的径向畸变和切向畸变后，所述车辆在成像坐标系中倒车转向时的轨迹坐标(ud，vd)。

第三建立模块304，用于根据第二转换关系以及修正后的成像轨迹模型，建立用于在所述显示屏中显示的倒车辅助线，其中，所述第二转换关系为所述成像坐标系与所述显示屏的显示坐标系之间的坐标转换关系。

可选的，第三建立模块304，包括：

第四建立子模块，用于根据所述修正后的成像轨迹模型，以及所述第二转换关系：(x1/w)＝(ud/m)，(y1/h)＝(vd/n)，得到所述倒车辅助线，其中，(x1，y1)为所述倒车辅助线中一点的坐标，m为所述摄像头的成像平面的分辨率宽度，n为所述摄像头的成像平面的分辨率高度，w为所述显示屏的分辨率宽度，h为所述显示屏的分辨率高度。

可选的，所述第一转换关系由所述摄像头的内参数和外参数确定得到。

可选的，所述装置还包括：

添加模块，用于在所述车辆进行倒车转向时，将所述倒车辅助线添加至由所述摄像头采集的倒车影像中，并通过显示屏对添加了所述倒车辅助线的倒车影像进行展示。

综上所述，本申请实施例提供的倒车辅助线的建立装置中，可以根据车辆倒车时的实际运动轨迹提炼得到相应的运动轨迹方程，并在运动轨迹方程中融入车辆和摄像头的一些车辆参数，从而能够根据运动轨迹方程生成动态的倒车辅助线。相比静态的倒车辅助线，动态的倒车辅助线具备高精度、低误差的特性，能够提高倒车辅助系统的用户体验。另外，本申请实施例可以根据车辆的倒车辅助摄像头的镜头参数，建立畸变模型，并根据畸变模型修正倒车辅助线，降低倒车辅助线在倒车影像的画面畸变位置的精度下降的几率，使得倒车辅助线能够更好的适配倒车影像，进一步提升倒车辅助线的精度。

本申请实施例还提供了一种计算机可读介质，该计算机可读介质存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的倒车辅助线的建立方法。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的倒车辅助线的建立方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种倒车辅助线的建立方法，其特征在于，所述方法应用于车辆，所述车辆包括摄像头和显示屏，所述方法包括：

根据所述摄像头的镜头参数，建立畸变模型；

根据所述摄像头的安装位置、所述车辆的车辆参数以及第一转换关系，建立所述车辆的成像轨迹模型，包括：根据所述摄像头的安装位置和所述车辆的车辆参数，建立所述车辆的第一地面轨迹模型或第二地面轨迹模型；其中，所述第一地面轨迹模型用于反映所述车辆在地面坐标系中倒车转向时，所述车辆的后轴中心的轨迹坐标；所述第二地面轨迹模型用于反映所述车辆在所述地面坐标系中倒车转向时，所述车辆相对设置的第一后轮和第二后轮的轨迹坐标；根据所述第一转换关系、所述第一地面轨迹模型或所述第二地面轨迹模型，建立所述成像轨迹模型；其中，所述第一转换关系为地面坐标系与所述摄像头的成像坐标系之间的坐标转换关系；所述成像轨迹模型用于反映所述车辆在成像坐标系中倒车转向时的轨迹坐标；

通过所述畸变模型，对所述成像轨迹模型进行修正；

根据第二转换关系以及修正后的成像轨迹模型，建立用于在所述显示屏中显示的倒车辅助线，其中，所述第二转换关系为所述成像坐标系与所述显示屏的显示坐标系之间的坐标转换关系。

2.根据权利要求1所述的方法，其特征在于，所述根据所述摄像头的镜头参数，建立畸变模型，包括：

获取所述摄像头的径向畸变参数和切向畸变参数；

根据所述径向畸变参数和所述切向畸变参数，建立所述畸变模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述径向畸变参数和所述切向畸变参数，建立所述畸变模型，包括：

根据所述径向畸变参数k1、k2，以及所述切向畸变参数p1、p2，建立包括公式1和公式2的畸变模型：

公式1：

公式2：

其中，(ud，vd)为经过所述畸变模型处理后的一点的坐标；fx和fy为所述摄像头的焦距；Cx和Cy为所述成像坐标系对应的成像平面的中心点的坐标，(x′，y′)为相机坐标系上的一点经过归一化处理后得到的坐标；x′²+y′²＝r²。

4.根据权利要求3所述的方法，其特征在于，所述通过所述畸变模型，对所述成像轨迹模型进行修正，包括：

通过所述畸变模型包括的公式1和公式2对所述成像轨迹模型进行修正，得到修正后的成像轨迹模型；其中，所述修正后的成像轨迹模型用于反映在引入了所述摄像头的径向畸变和切向畸变后，所述车辆在成像坐标系中倒车转向时的轨迹坐标(ud，vd)。

5.根据权利要求1所述的方法，其特征在于，所述根据所述摄像头的安装位置和所述车辆的车辆参数，建立所述车辆的第一地面轨迹模型，包括：

根据所述摄像头的安装位置与所述车辆中轴线之间的距离d、所述摄像头的安装位置与所述车辆的后轴之间的距离D、所述车辆的方向盘的转角Φ、所述车辆的轴距L，建立所述第一地面轨迹模型：

(x+R+D)²+(y+D)²＝R²；

其中，(x，y)为所述车辆的后轴中心的轨迹坐标，R＝L×cotΦ。

6.根据权利要求1所述的方法，其特征在于，所述第一后轮为转向外侧后轮，所述第二后轮为转向内侧后轮；

所述根据所述摄像头的安装位置和所述车辆的车辆参数，建立所述车辆的第二地面轨迹模型，包括：

根据所述摄像头的安装位置与所述车辆中轴线之间的距离d、所述摄像头的安装位置与所述车辆的后轴之间的距离D、所述车辆的方向盘的转角Φ、所述车辆的轴距L、所述车辆相对设置的第一后轮和第二后轮之间的距离W，建立所述第二地面轨迹模型：

(x+R+D)²+(y+D)²＝R²；

其中，(x，y)为所述车辆的第一后轮和第二后轮的轨迹坐标，针对所述第一后轮的轨迹坐标，R＝L×cotΦ+W/2；针对所述第二后轮的轨迹坐标，R＝L×cotΦ-W/2。

7.根据权利要求1所述的方法，其特征在于，所述第一转换关系由所述摄像头的内参数和外参数确定得到。

8.根据权利要求1所述的方法，其特征在于，所述根据第二转换关系以及修正后的成像轨迹模型，建立用于在所述显示屏中显示的倒车辅助线，包括：

根据所述修正后的成像轨迹模型，以及所述第二转换关系：(x1/w)＝(ud/m)，(y1/h)＝(vd/n)，得到所述倒车辅助线，其中，(x1，y1)为所述倒车辅助线中一点的坐标，m为所述摄像头的成像平面的分辨率宽度，n为所述摄像头的成像平面的分辨率高度，w为所述显示屏的分辨率宽度，h为所述显示屏的分辨率高度。

9.根据权利要求1所述的方法，其特征在于，在所述根据第二转换关系以及修正后的成像轨迹模型，建立用于在所述显示屏中显示的倒车辅助线之后，所述方法还包括：

在所述车辆进行倒车转向时，将所述倒车辅助线添加至由所述摄像头采集的倒车影像中，并通过显示屏对添加了所述倒车辅助线的倒车影像进行展示。

10.一种倒车辅助线的建立装置，其特征在于，所述装置应用于车辆，所述车辆包括摄像头和显示屏，所述装置包括：

第一建立模块，用于根据所述摄像头的镜头参数，建立畸变模型；

第二建立模块，用于根据所述摄像头的安装位置、所述车辆的车辆参数以及第一转换关系，建立所述车辆的成像轨迹模型，所述第二建立模块包括：

第二建立子模块，用于根据所述摄像头的安装位置和所述车辆的车辆参数，建立所述车辆的第一地面轨迹模型或第二地面轨迹模型；其中，所述第一地面轨迹模型用于反映所述车辆在地面坐标系中倒车转向时，所述车辆的后轴中心的轨迹坐标；所述第二地面轨迹模型用于反映所述车辆所述在地面坐标系中倒车转向时，所述车辆相对设置的第一后轮和第二后轮的轨迹坐标；其中，所述第一转换关系为地面坐标系与所述摄像头的成像坐标系之间的坐标转换关系；所述成像轨迹模型用于反映所述车辆在成像坐标系中倒车转向时的轨迹坐标；

修正模块，用于通过所述畸变模型，对所述成像轨迹模型进行修正；

第三建立模块，用于根据第二转换关系以及修正后的成像轨迹模型，建立用于在所述显示屏中显示的倒车辅助线，其中，所述第二转换关系为所述成像坐标系与所述显示屏的显示坐标系之间的坐标转换关系。

11.一种终端，其特征在于，所述终端包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如权利要求1至9任一所述的倒车辅助线的建立方法。

12.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如权利要求1至9任一所述的倒车辅助线的建立方法。

Images