CN111959397B - 在全景影像中显示车底图像的方法、系统、装置及介质 - Google Patents

在全景影像中显示车底图像的方法、系统、装置及介质 Download PDF

Info

Publication number
CN111959397B
CN111959397B CN202010856591.8A CN202010856591A CN111959397B CN 111959397 B CN111959397 B CN 111959397B CN 202010856591 A CN202010856591 A CN 202010856591A CN 111959397 B CN111959397 B CN 111959397B
Authority
CN
China
Prior art keywords
vehicle
image
panoramic image
panoramic
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010856591.8A
Other languages
English (en)
Other versions
CN111959397A (zh
Inventor
王媛
李三宝
侯欢欢
杨波
刘春霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yinwo Automotive Technology Co ltd
Original Assignee
Beijing Yinwo Automotive Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yinwo Automotive Technology Co ltd filed Critical Beijing Yinwo Automotive Technology Co ltd
Priority to CN202010856591.8A priority Critical patent/CN111959397B/zh
Publication of CN111959397A publication Critical patent/CN111959397A/zh
Application granted granted Critical
Publication of CN111959397B publication Critical patent/CN111959397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system

Abstract

本发明提供了在全景影像中显示车底图像的方法、系统、装置及介质，其在获得车辆周围环境信息的同时获取车辆底盘下方路况，计算简洁快速，实时性强，包括：获取车辆状态参数,计算相邻两个时刻间车辆的旋转角和偏移量；建立世界坐标系，依据车辆的旋转角和偏移量，得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系；依据变换关系，得到当前车辆区域顶点在上一时刻的世界坐标,根据世界坐标系与图像坐标系之间的关系，获得当前车辆区域顶点在上一时刻图像中的图像坐标；依据所得的图像坐标，从上一时刻的全景图中截取对应的当前车辆区域的全景图像，并将当前车辆区域的全景图像贴图至当前时刻的全景图像中，获得显示车底图像的全景图像。

Description

在全景影像中显示车底图像的方法、系统、装置及介质
技术领域
本发明涉及汽车辅助驾驶中的图像处理相关技术领域，具体涉及在全景影像中显示车底图像的方法、系统、装置及介质。
背景技术
随着汽车智能化水平的提高，驾驶安全问题越来越引人注目，高级驾驶辅助系统应运而生。基于视觉的汽车驾驶辅助系统技术主要通过安装于车身周围的视觉传感器获取车辆周围环境信息，其中360度全景环视系统利用安装于汽车四周的超广角鱼眼镜头获取车四周的环境信息，并通过一系列图像处理算法拼接融合形成3D全景环视图像，以消除驾驶盲区，减少交通事故的发生频率。
然而对于复杂路况，如道路凹凸不平，有井盖、坑洞，经过山坡上的石子路面、雨后的泥泞路面等等，仅有车辆周围环境，看不到车辆底部路况，仍有可能造成行驶不便甚至发生危险事故。
为了应对多种复杂路况，在获得车辆周围环境信息的同时获取汽车底盘下方的路面状态，帮助提示躲避井盖、坑洞，注意狭窄街道、崎岖山路等，进一步减少视野盲区，亟需一种能够实时在车辆全景影像中显示车底图像的方法。
如公开号为CN106828319A的中国发明专利公开了一种显示车身底部图像的全景环视显示方法，然而假设第二预设时间段频率较大，运动轨迹近似为直线位移，不包含车辆转弯的情况计算和处理，与车辆正常行驶时的情况并不匹配，无法在各种情况都得到正确的包含车底图像的全景图；
也有如公开号为CN108312966A的中国发明专利公开了一种包含汽车底部影像的全景环视系统及其实现方法，其通过计算历史时刻车辆状态，使用瞬时速度、加速度以及转角数据，累加计算车辆历史轨迹，还需通过车辆内外参计算俯视图车辆区域坐标，计算复杂且耗时，实际应用中，其实时显示效果并不理想。
发明内容
针对上述问题，本发明提供了在全景影像中显示车底图像的方法、系统、装置及介质，其在获得车辆周围环境信息的同时获取车辆底盘下方路况，减少视野盲区，包含车辆转弯的情况计算和处理，从而可以安全应对车辆正常行驶时遇到的复杂情况，且计算简洁快速，实时性强。
其技术方案是这样的：一种在车辆全景影像中显示车底图像的方法，其特征在于，包括以下步骤：
步骤1：获取车辆状态参数,计算相邻两个时刻间车辆的旋转角和偏移量；
步骤2：建立世界坐标系，依据计算得的车辆的旋转角和偏移量，得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系；
步骤3：依据相邻两个时刻间的车辆区域顶点的世界坐标的变换关系，得到当前车辆区域顶点在上一时刻的世界坐标,根据世界坐标系与图像坐标系之间的关系，获得当前车辆区域顶点在上一时刻图像中的图像坐标；
步骤4：依据所得的当前车辆区域顶点在上一时刻图像中的图像坐标，从上一时刻的全景图中截取对应的当前车辆区域的全景图像，并将当前车辆区域的全景图像贴图至当前时刻的全景图像中，获得显示车底图像的全景图像。
进一步的，在步骤1中，依据全景环视系统的视频帧率确定相邻两个时刻的间隔时间。
进一步的，在步骤1中，获取的车辆状态参数包括实时档位信号和车轮计数值，根据实时档位信号和车轮计数值计算车辆在两个时刻间的左、右后轮行驶距离ΔSRL和ΔSRR，则当前时刻车辆中心相对上一时刻的旋转角表示为：
Figure BDA0002646622410000021
其中，Dtread为车辆后轮距；
当前时刻车辆中心相对上一时刻的偏移量表示为：
Δx＝(ΔS+dor)·sinΔφ
Δy＝(ΔS+dor)·cosΔφ-dor
其中，dor为车辆中心到后轴的距离；ΔS为车辆后轴中心行驶距离，表示为：
Figure BDA0002646622410000022
进一步的，在步骤2中，以两个时刻中起始时刻的车辆的中心点作为坐标原点，建立世界坐标系，世界坐标系的x轴和y轴分别位于地面所在的平面内，垂直地面的坐标为零，依据计算得的车辆的旋转角和偏移量，得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系，变换关系通过坐标变换矩阵表示为：
Figure BDA0002646622410000023
其中，x′和y′表示当前的车辆区域顶点的世界坐标，x和y表示上一时刻的车辆区域顶点的世界坐标，上一时刻的车辆区域顶点的世界坐标能够根据车辆参数，结合上一时刻的车辆中心的世界坐标得到。
进一步的，在步骤3中，以全景环视系统显示的全景图像的左上角为原点建立图像坐标系，以朝图像下方的方向为图像坐标系的x轴方向，以朝图像右方的方向为图像坐标系的y轴方向，当前时刻的车辆区域顶点在上一时刻图像中的图像坐标表示为：
Figure BDA0002646622410000031
其中，x″和y″为当前时刻的车辆区域顶点在上一时刻图像中的图像坐标，Ratio为图像坐标与世界坐标的比率，h和w分别为全景图像长宽。
进一步的，还包括步骤5：将步骤4得到的全景图像保存为相邻两个时刻的中起始时刻的全景图像，重复执行步骤1至步骤4，以此得到实时显示的全景影像。
一种在车辆全景影像中显示车底图像的系统，其特征在于，包括：
车辆姿态获取模块，用于获取车辆状态参数,计算相邻两个时刻间车辆的旋转角和偏移量；
坐标变换关系获取模块，用于建立世界坐标系，依据计算得的车辆的旋转角和偏移量，得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系；
图像坐标获取模块，用于依据相邻两个时刻间的车辆区域顶点的世界坐标的变换关系，得到当前车辆区域顶点在上一时刻的世界坐标,根据世界坐标系与图像坐标系之间的关系，获得当前车辆区域顶点在上一时刻图像中的图像坐标；
贴图显示模块，用于依据所得的当前车辆区域顶点在上一时刻图像中的图像坐标，从上一时刻的全景图中截取对应的当前车辆区域的全景图像，并将当前车辆区域的全景图像贴图至当前时刻的全景图像中，获得显示车底图像的全景图像。
进一步的，还包括重复执行模块，用于将贴图显示模块得到的全景图像保存为相邻两个时刻的起始中起始时刻的全景图像，控制车辆姿态获取模块、坐标变换关系获取模块、图像坐标获取模块、贴图显示模块重复工作，得到实时显示的全景影像。
一种在车辆全景影像中显示车底图像的装置，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上述的一种在车辆全景影像中显示车底图像的方法。
一种计算机可读存储介质，其上存储有程序，其特征在于：所述程序被处理器执行时实现如上述的一种在车辆全景影像中显示车底图像的方法。
本发明的提出在车辆全景影像中显示车底图像的方法，首先根据车辆信号计算相邻两个时刻的车辆旋转角及偏移量，从而包含车辆转弯的情况计算和处理，得到相邻两个时刻车辆区域四个顶点的世界坐标变换矩阵，利用变换矩阵将当前时刻车辆区域顶点变换到上一时刻世界坐标系中，计算当前时刻车辆区域在上一时刻的图像坐标位置，然后将该区域图像贴图至当前时刻车辆区域图像中，即绘制全景俯视图中车辆区域，即得到当前时刻包含车周围和车底路况的全景俯视图，从而实现获得车辆周围环境信息的同时获取车辆底盘下方路况，减少视野盲区，安全应对复杂路况的目的，在本发明中，基于实时保存的上一帧车辆全景图像，直接采用车CAN线采集的档位信号和车轮计数值，使用不同的数据源，计算相邻两时刻的车辆相对位姿，不做多时刻车辆位移累加，不计算车辆轨迹，不使用内外参计算坐标，仅使用保存的上一帧包含车底图像的全景俯视图，迭代贴图获取当前帧车辆底部静态图像，计算简洁快速，实时性强。帮助驾驶者在直行、转弯、前进、后退等多种运行状态下，躲避井盖、坑洞，注意狭窄街道、崎岖山路等各种路况，减少视野盲区。
附图说明
图1是本发明的在车辆全景影像中显示车底图像的方法的主要流程示意图；
图2是相邻时刻车辆姿态几何示意图；
图3是世界坐标系绕原点旋转示意图；
图4是世界坐标系和图像坐标系示意图；
图5是实施例中的在车辆全景影像中显示车底图像的方法的主要流程示意图；
图6是实施例中的在车辆全景影像中显示车底图像的系统的组成框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术中存在的全景环视系统存在不包含车辆转弯的情况计算和处理，与车辆行驶时的情况并不匹配，无法在各种情况都得到正确的包含车底图像的全景图，或是存在的计算方法复杂，通过计算历史时刻车辆状态，使用瞬时速度、加速度以及转角数据，累加计算车辆历史轨迹，还需通过车辆内外参计算俯视图车辆区域坐标，计算复杂且耗时，实际应用中，其实时显示效果并不理想的情况，本发明在不增加任何硬件成本的前提下，提供可以实现包括车辆底部区域在内的无盲区全景影像，从而实现真正意义上的无盲区全景环视系统。
见图1，本发明的一种在车辆全景影像中显示车底图像的方法，主要包括以下步骤：
步骤1：获取车辆状态参数,计算相邻两个时刻间车辆的旋转角和偏移量；
在本步骤中，相邻两个时刻的间隔时间，是依据全景环视系统的视频帧率确定，帧率越高越能体现实时计算的效果，一般为25～30fps，即两时刻时间间隔33～40ms；
在本步骤中，获取的车辆状态参数包括实时档位信号和车轮计数值，根据实时档位信号和车轮计数值计算车辆在两个时刻间的左、右后轮行驶距离ΔSRL和ΔSRR，则当前时刻车辆中心相对上一时刻的旋转角表示为：
Figure BDA0002646622410000051
其中，Dtread为车辆后轮距；
当前时刻车辆中心相对上一时刻的偏移量表示为：
Δx＝(ΔS+dor)·sinΔφ
Δy＝(ΔS+dor)·cosΔφ-dor
其中，dor为车辆中心到后轴的距离；ΔS为车辆后轴中心行驶距离，表示为：
Figure BDA0002646622410000052
步骤2：建立世界坐标系，依据计算得的车辆的旋转角和偏移量，得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系；
在本步骤中，如图2所示，以两个时刻中起始时刻的车辆的中心点作为坐标原点，建立世界坐标系，由于车辆在地面行驶，世界坐标系的x轴和y轴分别位于地面所在的平面内，垂直地面的坐标为零，按如图方式建立世界坐标系。
如图3所示，车辆在地面行驶，车辆区域顶点的世界坐标变换是二维的，世界坐标系绕原点旋转Δφ角，坐标点(x,y)变为坐标(x’,y’)，写成矩阵相乘的形式为：
Figure BDA0002646622410000053
实际在车辆在转弯时，除了以上的车辆的旋转角，还有位移的偏移量，故根据步骤1中得到的车辆的旋转角和偏移量，得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系，变换关系通过坐标变换矩阵表示为：
Figure BDA0002646622410000061
其中，x′和y′表示当前的车辆区域顶点的世界坐标，x和y表示上一时刻的车辆区域顶点的世界坐标，上一时刻的车辆区域顶点的世界坐标能够根据车辆参数，结合上一时刻的车辆中心的世界坐标得到，
Figure BDA0002646622410000062
是一个齐次坐标，采用齐次坐标是为了把变换都写在一个矩阵，比如/>
Figure BDA0002646622410000063
代表的其实是坐标/>
Figure BDA0002646622410000064
这里用1，表示的就是坐标(x′,y′)。
步骤3：依据相邻两个时刻间的车辆区域顶点的世界坐标的变换关系，得到当前车辆区域顶点在上一时刻的世界坐标,根据世界坐标系与图像坐标系之间的关系，获得当前车辆区域顶点在上一时刻图像中的图像坐标；
见图4，具体在本步骤中，以全景环视系统显示的全景图像的左上角为原点建立图像坐标系，以朝图像下方的方向为图像坐标系的x轴方向，以朝图像右方的方向为图像坐标系的y轴方向，当前时刻的车辆区域顶点在上一时刻图像中的图像坐标表示为：
Figure BDA0002646622410000065
其中，x″和y″为当前时刻的车辆区域顶点在上一时刻图像中的图像坐标，Ratio为图像坐标与世界坐标的比率，h和w分别为全景图像长宽。
对车辆区域四个顶点做上述世界坐标到图像坐标的转换，即可确定当前时刻车辆区域在上一时刻全景俯视图中的位置。
步骤4：依据所得的当前车辆区域顶点在上一时刻图像中的图像坐标，从上一时刻的全景图中截取对应的当前车辆区域的全景图像，并将当前车辆区域的全景图像贴图至当前时刻的全景图像中，获得显示车底图像的全景图像。
见图5，具体在本实施例中，还包括步骤5：将步骤4得到的全景图像保存为相邻两个时刻的中起始时刻的全景图像，重复执行步骤1至步骤4，以此得到实时显示的全景影像。
车辆启动后，随着车辆行驶，运行过程中全景图像逐步经过步骤1至步骤4的刷新，实时保存全景图像，后续过程中不再存在盲区，即使停车后再次启动。除去车刚刚启动的情况，由于实时保存上一时刻已经完全包含车底图像的全景图，那么在一定车速范围内，保证帧率的情况下，可以保证上一时刻全景俯视图里，有当前时刻的车下区域图像，本发明的方案一般用于车速小于等于25km/h的情况下，在过快车速下，观察全景图像并不安全。
另外，在本发明的一个实施例中，还包括以下步骤：在步骤4得到的显示车底图像的全景图像中，对应当前车辆区域，添加车辆轮廓的区分识别线条，以此在全景图像准确的显示哪一部分是车辆四周环境，哪一部分是车辆区域，以便使用者更好的利用全景图像。
本发明的提出在车辆全景影像中显示车底图像的方法，首先根据车辆信号计算相邻两个时刻的车辆旋转角及偏移量，从而包含车辆转弯的情况计算和处理，得到相邻两个时刻车辆区域四个顶点的世界坐标变换矩阵，利用变换矩阵将当前时刻车辆区域顶点变换到上一时刻世界坐标系中，计算当前时刻车辆区域在上一时刻的图像坐标位置，然后将该区域图像贴图至当前时刻车辆区域图像中，即绘制全景俯视图中车辆区域，即得到当前时刻包含车周围和车底路况的全景俯视图，从而实现获得车辆周围环境信息的同时获取车辆底盘下方路况，减少视野盲区，安全应对复杂路况的目的，在本发明中，基于实时保存的上一帧车辆全景图像，直接采用车CAN线采集的档位信号和车轮计数值，使用不同的数据源，计算相邻两时刻的车辆相对位姿，不做多时刻车辆位移累加，不计算车辆轨迹，不使用内外参计算坐标，仅使用保存的上一帧包含车底图像的全景俯视图，迭代贴图获取当前帧车辆底部静态图像，计算简洁快速，实时性强。帮助驾驶者在直行、转弯、前进、后退等多种运行状态下，躲避井盖、坑洞，注意狭窄街道、崎岖山路等各种路况，减少视野盲区。
见图6，在本发明的实施例中，还提供了一种在车辆全景影像中显示车底图像的系统，包括：
车辆姿态获取模块1，用于获取车辆状态参数,计算相邻两个时刻间车辆的旋转角和偏移量；
坐标变换关系获取模块2，用于建立世界坐标系，依据计算得的车辆的旋转角和偏移量，得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系；
图像坐标获取模块3，用于依据相邻两个时刻间的车辆区域顶点的世界坐标的变换关系，得到当前车辆区域顶点在上一时刻的世界坐标,根据世界坐标系与图像坐标系之间的关系，获得当前车辆区域顶点在上一时刻图像中的图像坐标；
贴图显示模块4，用于依据所得的当前车辆区域顶点在上一时刻图像中的图像坐标，从上一时刻的全景图中截取对应的当前车辆区域的全景图像，并将当前车辆区域的全景图像贴图至当前时刻的全景图像中，获得显示车底图像的全景图像；
重复执行模块5，用于将贴图显示模块得到的全景图像保存为相邻两个时刻的起始中起始时刻的全景图像，控制车辆姿态获取模块、坐标变换关系获取模块、图像坐标获取模块、贴图显示模块重复工作，得到实时显示的全景影像。
在本发明的实施例中，还提供了一种在车辆全景影像中显示车底图像的装置，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上述的一种在车辆全景影像中显示车底图像的方法。
该系统可包括，但不仅限于处理器、存储器。本领域技术人员可以理解，本实施例仅仅是系统的举例，并不构成对系统的限定，可以包括比本实施例更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
存储器可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable Read-OnlyMemory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。
处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的数据处理程序，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。数据处理程序可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本发明的实施例中，还提供了一种计算机可读存储介质，其上存储有程序，程序被处理器执行时实现如上述的一种在车辆全景影像中显示车底图像的方法。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、系统、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、系统、和计算机程序产品的流程图和/或框图来描述的。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图和/或中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图中指定的功能的步骤。
以上对本发明所提供的在车辆全景影像中显示车底图像的方法、在车辆全景影像中显示车底图像的系统、在车辆全景影像中显示车底图像的装置、一种计算机可读存储介质的应用进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种在车辆全景影像中显示车底图像的方法，其特征在于，包括以下步骤：
步骤1：获取车辆状态参数,计算相邻两个时刻间车辆的旋转角和偏移量；
步骤2：建立世界坐标系，依据计算得的车辆的旋转角和偏移量，得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系；
步骤3：依据相邻两个时刻间的车辆区域顶点的世界坐标的变换关系，得到当前车辆区域顶点在上一时刻的世界坐标,根据世界坐标系与图像坐标系之间的关系，获得当前车辆区域顶点在上一时刻图像中的图像坐标；
步骤4：依据所得的当前车辆区域顶点在上一时刻图像中的图像坐标，从上一时刻的全景图中截取对应的当前车辆区域的全景图像，并将当前车辆区域的全景图像贴图至当前时刻的全景图像中，获得显示车底图像的全景图像；
在步骤1中，获取的车辆状态参数包括实时档位信号和车轮计数值，根据实时档位信号和车轮计数值计算车辆在两个时刻间的左、右后轮行驶距离ΔSRL和ΔSRR，则当前时刻车辆中心相对上一时刻的旋转角表示为：
Figure FDF0000020782790000011
其中，Dtread为车辆后轮距；
当前时刻车辆中心相对上一时刻的偏移量表示为：
Δx＝(ΔS+dor)·sinΔφ
Δy＝(ΔS+dor)·cosΔφ-dor
其中，dor为车辆中心到后轴的距离；ΔS为车辆后轴中心行驶距离，表示为：
Figure FDF0000020782790000012
在步骤2中，以两个时刻中起始时刻的车辆的中心点作为坐标原点，建立世界坐标系，世界坐标系的x轴和y轴分别位于地面所在的平面内，垂直地面的坐标为零，依据计算得的车辆的旋转角和偏移量，得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系，变换关系通过坐标变换矩阵表示为：
Figure FDF0000020782790000013
其中，x′和y′表示当前的车辆区域顶点的世界坐标，x和y表示上一时刻的车辆区域顶点的世界坐标，上一时刻的车辆区域顶点的世界坐标能够根据车辆参数，结合上一时刻的车辆中心的世界坐标得到；
在步骤3中，以全景环视系统显示的全景图像的左上角为原点建立图像坐标系，以朝图像下方的方向为图像坐标系的x轴方向，以朝图像右方的方向为图像坐标系的y轴方向，当前时刻的车辆区域顶点在上一时刻图像中的图像坐标表示为：
Figure FDF0000020782790000021
其中，x″和y″为当前时刻的车辆区域顶点在上一时刻图像中的图像坐标，Ratio为图像坐标与世界坐标的比率，h和w分别为全景图像长宽；
在步骤4得到的显示车底图像的全景图像中，对应当前车辆区域，添加车辆轮廓的区分识别线条，用于分辨车辆四周环境和车辆区域。
2.根据权利要求1所述的一种在车辆全景影像中显示车底图像的方法，其特征在于：在步骤1中，依据全景环视系统的视频帧率确定相邻两个时刻的间隔时间。
3.根据权利要求2所述的一种在车辆全景影像中显示车底图像的方法，其特征在于：还包括步骤5：将步骤4得到的全景图像保存为相邻两个时刻中起始时刻的全景图像，重复执行步骤1至步骤4，以此得到实时显示的全景影像。
4.一种在车辆全景影像中显示车底图像的系统，其特征在于，包括：
车辆姿态获取模块，用于获取车辆状态参数,计算相邻两个时刻间车辆的旋转角和偏移量；
坐标变换关系获取模块，用于建立世界坐标系，依据计算得的车辆的旋转角和偏移量，得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系；
图像坐标获取模块，用于依据相邻两个时刻间的车辆区域顶点的世界坐标的变换关系，得到当前车辆区域顶点在上一时刻的世界坐标,根据世界坐标系与图像坐标系之间的关系，获得当前车辆区域顶点在上一时刻图像中的图像坐标；
贴图显示模块，用于依据所得的当前车辆区域顶点在上一时刻图像中的图像坐标，从上一时刻的全景图中截取对应的当前车辆区域的全景图像，并将当前车辆区域的全景图像贴图至当前时刻的全景图像中，获得显示车底图像的全景图像；
在车辆姿态获取模块中，获取的车辆状态参数包括实时档位信号和车轮计数值，根据实时档位信号和车轮计数值计算车辆在两个时刻间的左、右后轮行驶距离ΔSRL和ΔSRR，则当前时刻车辆中心相对上一时刻的旋转角表示为：
Figure FDF0000020782790000031
其中，Dtread为车辆后轮距；
当前时刻车辆中心相对上一时刻的偏移量表示为：
Δx＝(ΔS+dor)·sinΔφ
Δy＝(ΔS+dor)·cosΔφ-dor
其中，dor为车辆中心到后轴的距离；ΔS为车辆后轴中心行驶距离，表示为：
Figure FDF0000020782790000032
在坐标变换关系获取模块中，以两个时刻中起始时刻的车辆的中心点作为坐标原点，建立世界坐标系，世界坐标系的x轴和y轴分别位于地面所在的平面内，垂直地面的坐标为零，依据计算得的车辆的旋转角和偏移量，得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系，变换关系通过坐标变换矩阵表示为：
Figure FDF0000020782790000033
其中，x′和y′表示当前的车辆区域顶点的世界坐标，x和y表示上一时刻的车辆区域顶点的世界坐标，上一时刻的车辆区域顶点的世界坐标能够根据车辆参数，结合上一时刻的车辆中心的世界坐标得到；
在图像坐标获取模块中，以全景环视系统显示的全景图像的左上角为原点建立图像坐标系，以朝图像下方的方向为图像坐标系的x轴方向，以朝图像右方的方向为图像坐标系的y轴方向，当前时刻的车辆区域顶点在上一时刻图像中的图像坐标表示为：
Figure FDF0000020782790000034
其中，x″和y″为当前时刻的车辆区域顶点在上一时刻图像中的图像坐标，Ratio为图像坐标与世界坐标的比率，h和w分别为全景图像长宽；
在贴图显示模块得到的显示车底图像的全景图像中，对应当前车辆区域，添加车辆轮廓的区分识别线条，用于分辨车辆四周环境和车辆区域。
5.根据权利要求4所述的一种在车辆全景影像中显示车底图像的系统，其特征在于：还包括重复执行模块，用于将贴图显示模块得到的全景图像保存为相邻两个时刻中起始时刻的全景图像，控制车辆姿态获取模块、坐标变换关系获取模块、图像坐标获取模块、贴图显示模块重复工作，得到实时显示的全景影像。
6.一种在车辆全景影像中显示车底图像的装置，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1所述的一种在车辆全景影像中显示车底图像的方法。
7.一种计算机可读存储介质，其上存储有程序，其特征在于：所述程序被处理器执行时实现如权利要求1所述的一种在车辆全景影像中显示车底图像的方法。
CN202010856591.8A 2020-08-24 2020-08-24 在全景影像中显示车底图像的方法、系统、装置及介质 Active CN111959397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010856591.8A CN111959397B (zh) 2020-08-24 2020-08-24 在全景影像中显示车底图像的方法、系统、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010856591.8A CN111959397B (zh) 2020-08-24 2020-08-24 在全景影像中显示车底图像的方法、系统、装置及介质

Publications (2)

Publication Number Publication Date
CN111959397A CN111959397A (zh) 2020-11-20
CN111959397B true CN111959397B (zh) 2023-03-31

Family

ID=73390118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010856591.8A Active CN111959397B (zh) 2020-08-24 2020-08-24 在全景影像中显示车底图像的方法、系统、装置及介质

Country Status (1)

Country Link
CN (1) CN111959397B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113228135B (zh) * 2021-03-29 2022-08-26 华为技术有限公司 一种盲区图像获取方法及相关终端装置
CN113263978B (zh) * 2021-05-17 2022-09-06 深圳市天双科技有限公司 一种车底透视的全景泊车系统及其方法
CN113221833B (zh) * 2021-06-01 2023-05-26 深圳市天双科技有限公司 一种后视摄像头实现全景泊车的方法
CN113569692B (zh) * 2021-07-22 2024-02-09 上汽通用五菱汽车股份有限公司 辅助驾驶方法、系统、设备和计算机可读存储介质
CN114162048A (zh) * 2021-12-08 2022-03-11 上海寅家电子科技股份有限公司 确保车辆安全行驶系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103072528A (zh) * 2013-01-30 2013-05-01 深圳市汉华安道科技有限责任公司 一种车辆及其全景泊车方法、系统
CN108312966A (zh) * 2018-02-26 2018-07-24 江苏裕兰信息科技有限公司 一种包含汽车底部影像的全景环视系统及其实现方法
CN110458884A (zh) * 2019-08-16 2019-11-15 北京茵沃汽车科技有限公司 在全景图中生成车辆运行动态轨迹线的方法、装置、介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106608220B (zh) * 2015-10-22 2019-06-25 比亚迪股份有限公司 车辆底部影像的生成方法、装置和车辆
US10143907B2 (en) * 2015-12-09 2018-12-04 Gregoire Gentil Planar solutions to object-tracking problems
CN108068696B (zh) * 2016-11-17 2020-06-19 比亚迪股份有限公司 全景影像的显示方法和显示装置
US11027652B2 (en) * 2017-05-19 2021-06-08 Georgios Zafeirakis Vehicle collision avoidance system
US20190100147A1 (en) * 2017-10-02 2019-04-04 Hua-Chuang Automobile Information Technical Center Co., Ltd. Parking assistant panoramic image system
WO2020133172A1 (zh) * 2018-12-28 2020-07-02 深圳市大疆创新科技有限公司 图像处理方法、设备及计算机可读存储介质
CN111372055A (zh) * 2020-03-25 2020-07-03 东风汽车集团有限公司 一种车底图像显示系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103072528A (zh) * 2013-01-30 2013-05-01 深圳市汉华安道科技有限责任公司 一种车辆及其全景泊车方法、系统
CN108312966A (zh) * 2018-02-26 2018-07-24 江苏裕兰信息科技有限公司 一种包含汽车底部影像的全景环视系统及其实现方法
CN110458884A (zh) * 2019-08-16 2019-11-15 北京茵沃汽车科技有限公司 在全景图中生成车辆运行动态轨迹线的方法、装置、介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉及TLC概念的车辆跑偏检测方法研究;肖献强等;《汽车工程》;20100125(第01期);全文 *

Also Published As

Publication number Publication date
CN111959397A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN111959397B (zh) 在全景影像中显示车底图像的方法、系统、装置及介质
US20200082179A1 (en) Map points-of-change detection device
US9077958B2 (en) Road departure warning system
CN107389088B (zh) 车载惯性导航的误差修正方法、装置、介质及设备
US20180307922A1 (en) Method of detecting obstacle around vehicle
US11288833B2 (en) Distance estimation apparatus and operating method thereof
CN107600008B (zh) 倒车辅助线的生成方法、装置、车载设备及存储介质
CN112183241A (zh) 基于单目图像的目标检测方法和装置
CN112440997A (zh) 基于预瞄算法的弯道车道保持方法及系统、服务器及介质
CN114549645A (zh) 一种基于视觉信息计算目标车辆航向角的方法和装置
Miao et al. Path-following control based on ground-watching navigation
CN110555801A (zh) 一种航迹推演的校正方法、终端和存储介质
CN113449582A (zh) 一种车底盲区填充方法、装置、系统、存储介质及计算机程序产品
CN111160070A (zh) 车辆全景图像盲区消除方法、装置、存储介质及终端设备
CN113838060A (zh) 用于自主车辆的感知系统
CN116222558A (zh) 一种基于车载信息定位方法、装置及系统
CN115857169A (zh) 碰撞预警信息的显示方法、抬头显示装置、载具及介质
CN116257205A (zh) 图像抖动补偿方法、装置、抬头显示设备、载具及介质
US11235775B2 (en) Method and device for determining the curve of a road
WO2022049880A1 (ja) 画像処理装置
CN114644014A (zh) 一种基于车道线的智能驾驶方法及相关设备
CN114475780A (zh) 一种自动泊车方法、装置、设备及存储介质
US10726563B2 (en) Visual odometry device for 3D vehicle motion estimation and visual odometry method for 3D vehicle motion estimation
US20230406410A1 (en) Method for displaying an environment of a vehicle having a coupled trailer, computer program, computing device and vehicle
CN114648576B (zh) 一种目标车辆的定位方法、装置以及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant