CN103072528A

CN103072528A - 一种车辆及其全景泊车方法、系统

Info

Publication number: CN103072528A
Application number: CN2013100355432A
Authority: CN
Inventors: 周建波; 吴泽俊; 邹翼; 卢俞平
Original assignee: Shenzhen Safdao Technology Corp Ltd
Current assignee: Shenzhen Safdao Technology Corp Ltd
Priority date: 2013-01-30
Filing date: 2013-01-30
Publication date: 2013-05-01

Abstract

本发明属于全景泊车技术领域，提供了一种车辆及其全景泊车方法、系统。方法包括：利用安装在车辆上的摄像头采集到的车辆周围地面的视频图像，并建立车辆的俯视图和后视图；获取存储的车辆的轴距、以及车辆两个后轮之间的距离，并实时获取车辆的前轴中心转角，并根据轴距、车辆两个后轮之间的距离、前轴中心转角计算车辆的行车轨迹；将计算得到的行车轨迹叠加显示在俯视图和后视图中。由于行车轨迹是实时计算得到的，且坐标系和参数均在同一系统下，因而相对于现有技术，准确性更高，可方便的在鸟瞰图上绘制出车辆的倒车轨迹。

Description

一种车辆及其全景泊车方法、系统

技术领域

本发明属于全景泊车技术领域，尤其涉及一种车辆及其全景泊车方法、系统。

背景技术

随着经济社会的快速发展，越来越多的家庭开始拥有自己的轿车。由倒车引发的剐蹭纠纷问题也在呈现递增趋势，倒车安全问题越来越受到社会的关注。

为了方便用户倒车，减少事故和纠纷，现有技术提出了一种全景泊车系统。该系统是利用安装在车身前、后、左、右四个方向的广角摄像头采集车辆周围地面的图像；之后利用图像处理技术，把四个摄像头采集到的图像融合处理成一幅车辆周围地面的360度无盲区的俯视图；之后通过方向盘转角获取车辆的车轮转角信息，调用预先静态存储的对应弧度的轨迹线条，将调用的轨迹线条叠加显示在采集到的后视图和融合得到的俯视图中。

现有技术提供的该全景泊车系统可随方向盘的转动而实现车辆轨迹的动态显示，在一定程度上提高了车辆泊车的安全性，帮助驾驶员轻松停泊车辆。然而，由于该系统中的轨迹线条是预先静态存储的，对于不同车型以及摄像头的不同安装角度，显示的轨迹线条相对于俯视图和后视图而言，难以做到非常准确的显示，只能作为行车参考。

发明内容

本发明实施例的目的在于提供一种车辆的全景泊车方法，旨在解决现有技术提供的全景泊车系统由于轨迹线条静态存储，对于不同车型以及摄像头的不同安装角度，显示的准确性较差的问题。

本发明实施例是这样实现的，一种车辆的全景泊车方法，所述方法包括以下步骤：

步骤S11：利用安装在车辆上的摄像头采集到的车辆周围地面的视频图像，并建立车辆的俯视图和后视图；

步骤S12：获取存储的车辆的轴距、以及车辆两个后轮之间的距离，并实时获取车辆的前轴中心转角，并根据所述轴距、所述车辆两个后轮之间的距离、所述前轴中心转角计算车辆的行车轨迹；

步骤S13：将计算得到的所述行车轨迹叠加显示在所述俯视图和后视图中。

本发明实施例的另一目的在于提供一种车辆的全景泊车系统，所述系统包括：

存储单元，用于存储车辆的轴距、以及车辆两个后轮之间的距离；

视图建立单元，用于利用安装在车辆上的摄像头采集到的车辆周围地面的视频图像，并建立车辆的俯视图和后视图；

行车轨迹计算单元，用于获取所述存储单元存储的所述车辆的轴距、以及所述车辆两个后轮之间的距离，并实时获取车辆的前轴中心转角，并根据所述轴距、所述车辆两个后轮之间的距离、所述前轴中心转角计算车辆的行车轨迹；

显示控制单元，用于控制车辆的显示屏将所述行车轨迹计算单元计算得到的所述行车轨迹叠加显示在所述视图建立单元建立的所述俯视图和所述后视图中。

本发明实施例的另一目的在于提供一种车辆，包括显示屏，多个摄像头，以及一全景泊车系统，所述全景泊车系统是如上所述的车辆的全景泊车系统。

本发明提供的车辆的全景泊车方法及系统是利用机器视觉算法，在建立世界坐标系后，计算世界坐标系和图像坐标系的坐标转换关系，并将世界坐标系下的俯视图像和后视图像转换到图像坐标系下，形成俯视图和后视图；之后根据倒车轨迹的数学模型，实时计算出车辆实时的行车轨迹，然后再在显示的俯视图和后视图上叠加显示行车轨迹。由于行车轨迹是实时计算得到的，且坐标系和参数均在同一系统下，因而相对于现有技术，准确性更高，可方便的在鸟瞰图上绘制出车辆的倒车轨迹。

附图说明

图1是本发明提供的车辆的全景泊车方法的流程图；

图2是本发明中，世界坐标系、图像坐标系与摄像头坐标系的关系图；

图3是本发明中，车辆运动的数学模型；

图4是本发明一个实例中，俯视图与后视图的直观表示图；

图5是本发明提供的车辆的全景泊车系统的结构图；

图6是图5中，视图建立单元的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明是利用机器视觉算法，计算世界坐标系和图像坐标系的坐标转换关系，根据倒车轨迹的数学模型，实时计算出车辆实际的运动轨迹，然后再在图像上画出倒车轨迹线。

图1示出了本发明提供的车辆的全景泊车方法的流程，包括：

步骤S11：利用安装在车辆上的摄像头采集到的车辆周围地面的视频图像，并建立车辆的俯视图和后视图。

本发明中，车辆上至少在车辆前侧、车辆后侧、车辆左侧、车辆右侧各安装有一个摄像头。

本发明中，步骤S11进一步包括：

S111：接收车辆上的摄像头采集到的车辆周围地面的视频图像，对各视频图像进行畸变校正、投影变换、图像拼接融合等处理，得到一俯视图像，并对车辆后侧的摄像头采集到的车辆后方地面的视频图像进行畸变校正、投影变换等处理，得到一后视图像。

S112：以车辆前侧左上角为坐标原点，平行于车辆两前轴中心点与车辆两后轴中心点之间的连线方向为纵坐标，垂直于纵坐标的方向为横坐标，建立一世界坐标系。

S113：基于透视投影方法，根据成像模型和摄像头的内外参数，建立世界坐标系与图像坐标系的坐标转换关系，该图像坐标系是指车辆的显示屏当前显示的图像所在的二维坐标系。

本发明中，如图2所示，其中的（Xc，Yc，Zc）为摄像头坐标系，XOY为图像坐标系，（Xw，Yw，Zw）为世界坐标系，P（x_c，y_c，z_c）为摄像头坐标系中的一点，P（x，y）为P（x_c，y_c，z_c）在图像坐标系中的投影点。世界坐标系表征了客观世界的绝对坐标，是由用户任意定义的三维空间坐标系；摄像头坐标系是以小孔摄像机模型的聚焦中心为原点，以摄像机光轴为Zc轴建立的三维直角坐标系，Xc轴与图像坐标系的X轴平行、Yc轴与图像坐标系的Y轴平行，且采用前投影模型；图像坐标系是指图像的物理坐标系，其原点为透镜光轴与成像平面的交点。则本发明在建立世界坐标系与图像坐标系的坐标转换关系时，首先建立世界坐标系与摄像头坐标系的变换关系，之后建立图像坐标系与摄像头坐标系的变换关系，最后建立世界坐标系与图像坐标系的变换关系—共线方程，共线方程为摄像测量学中常用的基本方式，在此不赘述。

S114：根据坐标转换关系，将视频图像和后视图像中、车辆周围地面上的点在世界坐标系中的坐标转换成图像坐标系中的图像坐标，将转换得到的图像坐标取出并放置在俯视图像中的相应位置，得到俯视图，并将转换得到的车辆后方地面上的点在图像坐标系中的图像坐标取出、并放置在后视图像中的相应位置，得到后视图。

步骤S12：获取存储的车辆的轴距、以及车辆两个后轮之间的距离，并实时获取车辆的前轴中心转角，并根据轴距、车辆两个后轮之间的距离、前轴中心转角计算车辆的行车轨迹。

本发明中，如图3所示。其中，（x_f，y_f）为车辆两前轴的中心点坐标，（x_r，y_r）为车辆两后轴中心点坐标；v为车辆两前轴的中心点的速度，l为车辆两前轴中心点与车辆两后轴中心点之间的轴距，w为车辆两个后轮之间的距离，φ为车辆的前轴中心转角，θ为两前轴中心点与车辆两后轴中心点之间的连线方向和图像坐标系的横轴方向的夹角；则车辆左后轮和右后轮的运动轨迹方程为：

（1）

（2）

由式（1）和式（2）可知，若已知车辆的前轴中心转角φ、车辆两个后轮之间的距离w、车辆的轴距l，即可求得车辆后轮的运行轨迹，该运行轨迹即为车辆的行车轨迹。

步骤S13：将计算得到的行车轨迹叠加显示在俯视图和后视图中。

在本发明的一个应用实例中，如图4所示，其中，画面1为叠加显示有车辆行车轨迹的俯视图的直观表示，画面2为叠加显示有车辆行车轨迹的后视图的直观表示，为了表示清晰，其中的视频图像部分未示出。后视图中的50cm、100cm、200cm表示车辆的车尾将要达到的位置。

图5示出了本发明提供的车辆的全景泊车系统的结构，为了便于说明，仅示出了与本发明相关的部分。

本发明提供的全景泊车系统包括：存储单元12，用于存储车辆的轴距、以及车辆两个后轮之间的距离；视图建立单元11，用于利用安装在车辆上的摄像头采集到的车辆周围地面的视频图像，并建立车辆的俯视图和后视图；行车轨迹计算单元13，用于获取存储单元12存储的车辆的轴距、以及车辆两个后轮之间的距离，并实时获取车辆的前轴中心转角，并根据轴距、车辆两个后轮之间的距离、前轴中心转角计算车辆的行车轨迹；显示控制单元14，用于控制车辆的显示屏将行车轨迹计算单元13计算得到的行车轨迹叠加显示在视图建立单元11建立的俯视图和后视图中。

本发明中，行车轨迹计算单元13具体是利用车辆的CAN总线模块，从车辆的0BD接口实时获取车辆的前轴中心转角的，且行车轨迹计算单元13的具体计算过程如对图3所述，在此不赘述。

图6示出了图5中视图建立单元11的结构。

具体地，视图建立单元11可以包括：图像处理模块111，用于接收车辆上的摄像头采集到的车辆周围地面的视频图像，对各视频图像进行畸变校正、投影变换、图像拼接融合等处理，得到一俯视图像，并对车辆后侧的摄像头采集到的车辆后方地面的视频图像进行畸变校正、投影变换等处理，得到一后视图像；第一建立模块112，用于以车辆前侧左上角为坐标原点，平行于车辆两前轴中心点与车辆两后轴中心点之间的连线方向为纵坐标，垂直于纵坐标的方向为横坐标，建立一世界坐标系；第二建立模块113，用于基于透视投影方法，根据成像模型和摄像头的内外参数，建立第一建立模块112建立的世界坐标系与图像坐标系的坐标转换关系；视图建立模块114，用于根据第二建立模块113建立的坐标转换关系，将图像处理模块111得到的视频图像中、车辆周围地面上的点在世界坐标系中的坐标转换成图像坐标系中的图像坐标，将转换得到的图像坐标取出并放置在图像处理模块111得到的俯视图像中的相应位置，得到俯视图，并将转换得到的车辆后方地面上的点在图像坐标系中的图像坐标取出、并放置在图像处理模块111得到的后视图像中的相应位置，得到后视图。

本发明还提供了一种车辆，包括显示屏，多个摄像头，以及一如上所述的车辆的全景泊车系统。本发明中，多个摄像头至少包括分别安装在车辆前侧、车辆后侧、车辆左侧、车辆右侧的四个摄像头。

本发明提供的车辆的全景泊车方法及系统是利用机器视觉算法，在建立世界坐标系后，计算世界坐标系和图像坐标系的坐标转换关系，并将世界坐标系下的俯视图像和后视图像转换到图像坐标系下，形成俯视图和后视图；之后根据倒车轨迹的数学模型，实时计算出车辆实时的行车轨迹，然后再在显示的俯视图和后视图上叠加显示行车轨迹。由于行车轨迹是实时计算得到的，且鸟瞰图的图像坐标系与行车轨迹的参考坐标系具有同样的原点和二维坐标轴，即是说，坐标系和参数均在同一系统下，因而显示的图像与真实世界中的物体点可一一对应，相对于现有采用线条叠加在视频上的动态轨迹技术，准确性更高，可方便的在鸟瞰图上绘制出车辆的倒车轨迹。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来控制相关的硬件完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种车辆的全景泊车方法，其特征在于，所述方法包括以下步骤：

2.如权利要求1所述的车辆的全景泊车方法，其特征在于，所述步骤S11包括以下步骤：

步骤S111：接收车辆上的摄像头采集到的车辆周围地面的视频图像，对各视频图像进行处理，得到一俯视图像，并对车辆后侧的摄像头采集到的车辆后方地面的视频图像进行处理，得到一后视图像；

步骤S112：以车辆前侧左上角为坐标原点，平行于车辆两前轴中心点与车辆两后轴中心点之间的连线方向为纵坐标，垂直于纵坐标的方向为横坐标，建立一世界坐标系；

步骤S113：基于透视投影方法，根据成像模型和摄像头的内外参数，建立世界坐标系与图像坐标系的坐标转换关系，所述图像坐标系是指车辆的显示屏当前显示的图像所在的二维坐标系；

步骤S114：根据所述坐标转换关系，将所述视频图像和所述后视图像中、车辆周围地面上的点在世界坐标系中的坐标转换成图像坐标系中的图像坐标，将转换得到的图像坐标取出并放置在所述俯视图像中的相应位置，得到俯视图，并将转换得到的车辆后方地面上的点在图像坐标系中的图像坐标取出、并放置在所述后视图像中的相应位置，得到后视图。

3.如权利要求1所述的车辆的全景泊车方法，其特征在于，所述根据所述轴距、所述车辆两个后轮之间的距离、所述前轴中心转角计算车辆的行车轨迹的步骤表示为：

其中，（x_rL，x_rL）为行车轨迹上左后轮轨迹上的坐标点，（x_rR，x_rR）为行车轨迹上右后轮轨迹上的坐标点，l为车辆两前轴中心点与车辆两后轴中心点之间的轴距，w为车辆两个后轮之间的距离，φ为车辆的前轴中心转角。

4.如权利要求1至3任一项所述的车辆的全景泊车方法，其特征在于，所述车辆上至少在车辆前侧、车辆后侧、车辆左侧、车辆右侧各安装有一个摄像头。

5.一种车辆的全景泊车系统，其特征在于，所述系统包括：

6.如权利要求5所述的车辆的全景泊车系统，其特征在于，所述行车轨迹计算单元利用车辆的CAN总线模块，从车辆的0BD接口实时获取车辆的前轴中心转角。

7.如权利要求5所述的车辆的全景泊车系统，其特征在于，所述视图建立单元包括：

图像处理模块，用于接收车辆上的摄像头采集到的车辆周围地面的视频图像，对各视频图像进行处理，得到一俯视图像，并对车辆后侧的摄像头采集到的车辆后方地面的视频图像进行处理，得到一后视图像；

第一建立模块，用于以车辆前侧左上角为坐标原点，平行于车辆两前轴中心点与车辆两后轴中心点之间的连线方向为纵坐标，垂直于纵坐标的方向为横坐标，建立一世界坐标系；

第二建立模块，用于基于透视投影方法，根据成像模型和摄像头的内外参数，建立所述第一建立模块建立的世界坐标系与图像坐标系的坐标转换关系，所述图像坐标系是指车辆的显示屏当前显示的图像所在的二维坐标系；

视图建立模块，用于根据所述第二建立模块建立的所述坐标转换关系，将所述图像处理模块得到的所述视频图像中、车辆周围地面上的点在世界坐标系中的坐标转换成所述图像坐标系中的图像坐标，将转换得到的图像坐标取出并放置在所述图像处理模块得到的所述俯视图像中的相应位置，得到俯视图，并将转换得到的车辆后方地面上的点在图像坐标系中的图像坐标取出、并放置在所述图像处理模块得到的所述后视图像中的相应位置，得到后视图。

8.如权利要求5至7任一项所述的车辆的全景泊车系统，其特征在于，所述车辆上至少在车辆前侧、车辆后侧、车辆左侧、车辆右侧各安装有一个摄像头。

9.一种车辆，包括显示屏，多个摄像头，以及一全景泊车系统，其特征在于，所述全景泊车系统是如权利要求5至7任一项所述的车辆的全景泊车系统。

10.如权利要求10所述的车辆，其特征在于，所述多个摄像头至少包括分别安装在车辆前侧、车辆后侧、车辆左侧、车辆右侧的四个摄像头。