CN111959397A - 在全景影像中显示车底图像的方法、系统、装置及介质 - Google Patents
在全景影像中显示车底图像的方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN111959397A CN111959397A CN202010856591.8A CN202010856591A CN111959397A CN 111959397 A CN111959397 A CN 111959397A CN 202010856591 A CN202010856591 A CN 202010856591A CN 111959397 A CN111959397 A CN 111959397A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- panoramic image
- panoramic
- vertex
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
- B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供了在全景影像中显示车底图像的方法、系统、装置及介质,其在获得车辆周围环境信息的同时获取车辆底盘下方路况,计算简洁快速,实时性强,包括:获取车辆状态参数,计算相邻两个时刻间车辆的旋转角和偏移量;建立世界坐标系,依据车辆的旋转角和偏移量,得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系;依据变换关系,得到当前车辆区域顶点在上一时刻的世界坐标,根据世界坐标系与图像坐标系之间的关系,获得当前车辆区域顶点在上一时刻图像中的图像坐标;依据所得的图像坐标,从上一时刻的全景图中截取对应的当前车辆区域的全景图像,并将当前车辆区域的全景图像贴图至当前时刻的全景图像中,获得显示车底图像的全景图像。
Description
技术领域
本发明涉及汽车辅助驾驶中的图像处理相关技术领域,具体涉及在全景影像中显示车底图像的方法、系统、装置及介质。
背景技术
随着汽车智能化水平的提高,驾驶安全问题越来越引人注目,高级驾驶辅助系统应运而生。基于视觉的汽车驾驶辅助系统技术主要通过安装于车身周围的视觉传感器获取车辆周围环境信息,其中360度全景环视系统利用安装于汽车四周的超广角鱼眼镜头获取车四周的环境信息,并通过一系列图像处理算法拼接融合形成3D全景环视图像,以消除驾驶盲区,减少交通事故的发生频率。
然而对于复杂路况,如道路凹凸不平,有井盖、坑洞,经过山坡上的石子路面、雨后的泥泞路面等等,仅有车辆周围环境,看不到车辆底部路况,仍有可能造成行驶不便甚至发生危险事故。
为了应对多种复杂路况,在获得车辆周围环境信息的同时获取汽车底盘下方的路面状态,帮助提示躲避井盖、坑洞,注意狭窄街道、崎岖山路等,进一步减少视野盲区,亟需一种能够实时在车辆全景影像中显示车底图像的方法。
如公开号为CN106828319A的中国发明专利公开了一种显示车身底部图像的全景环视显示方法,然而假设第二预设时间段频率较大,运动轨迹近似为直线位移,不包含车辆转弯的情况计算和处理,与车辆正常行驶时的情况并不匹配,无法在各种情况都得到正确的包含车底图像的全景图;
也有如公开号为CN108312966A的中国发明专利公开了一种包含汽车底部影像的全景环视系统及其实现方法,其通过计算历史时刻车辆状态,使用瞬时速度、加速度以及转角数据,累加计算车辆历史轨迹,还需通过车辆内外参计算俯视图车辆区域坐标,计算复杂且耗时,实际应用中,其实时显示效果并不理想。
发明内容
针对上述问题,本发明提供了在全景影像中显示车底图像的方法、系统、装置及介质,其在获得车辆周围环境信息的同时获取车辆底盘下方路况,减少视野盲区,包含车辆转弯的情况计算和处理,从而可以安全应对车辆正常行驶时遇到的复杂情况,且计算简洁快速,实时性强。
其技术方案是这样的:一种在车辆全景影像中显示车底图像的方法,其特征在于,包括以下步骤:
步骤1:获取车辆状态参数,计算相邻两个时刻间车辆的旋转角和偏移量;
步骤2:建立世界坐标系,依据计算得的车辆的旋转角和偏移量,得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系;
步骤3:依据相邻两个时刻间的车辆区域顶点的世界坐标的变换关系,得到当前车辆区域顶点在上一时刻的世界坐标,根据世界坐标系与图像坐标系之间的关系,获得当前车辆区域顶点在上一时刻图像中的图像坐标;
步骤4:依据所得的当前车辆区域顶点在上一时刻图像中的图像坐标,从上一时刻的全景图中截取对应的当前车辆区域的全景图像,并将当前车辆区域的全景图像贴图至当前时刻的全景图像中,获得显示车底图像的全景图像。
进一步的,在步骤1中,依据全景环视系统的视频帧率确定相邻两个时刻的间隔时间。
进一步的,在步骤1中,获取的车辆状态参数包括实时档位信号和车轮计数值,根据实时档位信号和车轮计数值计算车辆在两个时刻间的左、右后轮行驶距离ΔSRL和ΔSRR,则当前时刻车辆中心相对上一时刻的旋转角表示为:
其中,Dtread为车辆后轮距;
当前时刻车辆中心相对上一时刻的偏移量表示为:
Δx=(ΔS+dor)·sinΔφ
Δy=(ΔS+dor)·cosΔφ-dor
其中,dor为车辆中心到后轴的距离;ΔS为车辆后轴中心行驶距离,表示为:
进一步的,在步骤2中,以两个时刻中起始时刻的车辆的中心点作为坐标原点,建立世界坐标系,世界坐标系的x轴和y轴分别位于地面所在的平面内,垂直地面的坐标为零,依据计算得的车辆的旋转角和偏移量,得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系,变换关系通过坐标变换矩阵表示为:
其中,x′和y′表示当前的车辆区域顶点的世界坐标,x和y表示上一时刻的车辆区域顶点的世界坐标,上一时刻的车辆区域顶点的世界坐标能够根据车辆参数,结合上一时刻的车辆中心的世界坐标得到。
进一步的,在步骤3中,以全景环视系统显示的全景图像的左上角为原点建立图像坐标系,以朝图像下方的方向为图像坐标系的x轴方向,以朝图像右方的方向为图像坐标系的y轴方向,当前时刻的车辆区域顶点在上一时刻图像中的图像坐标表示为:
其中,x″和y″为当前时刻的车辆区域顶点在上一时刻图像中的图像坐标,Ratio为图像坐标与世界坐标的比率,h和w分别为全景图像长宽。
进一步的,还包括步骤5:将步骤4得到的全景图像保存为相邻两个时刻的中起始时刻的全景图像,重复执行步骤1至步骤4,以此得到实时显示的全景影像。
一种在车辆全景影像中显示车底图像的系统,其特征在于,包括:
车辆姿态获取模块,用于获取车辆状态参数,计算相邻两个时刻间车辆的旋转角和偏移量;
坐标变换关系获取模块,用于建立世界坐标系,依据计算得的车辆的旋转角和偏移量,得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系;
图像坐标获取模块,用于依据相邻两个时刻间的车辆区域顶点的世界坐标的变换关系,得到当前车辆区域顶点在上一时刻的世界坐标,根据世界坐标系与图像坐标系之间的关系,获得当前车辆区域顶点在上一时刻图像中的图像坐标;
贴图显示模块,用于依据所得的当前车辆区域顶点在上一时刻图像中的图像坐标,从上一时刻的全景图中截取对应的当前车辆区域的全景图像,并将当前车辆区域的全景图像贴图至当前时刻的全景图像中,获得显示车底图像的全景图像。
进一步的,还包括重复执行模块,用于将贴图显示模块得到的全景图像保存为相邻两个时刻的起始中起始时刻的全景图像,控制车辆姿态获取模块、坐标变换关系获取模块、图像坐标获取模块、贴图显示模块重复工作,得到实时显示的全景影像。
一种在车辆全景影像中显示车底图像的装置,其特征在于,包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现如上述的一种在车辆全景影像中显示车底图像的方法。
一种计算机可读存储介质,其上存储有程序,其特征在于:所述程序被处理器执行时实现如上述的一种在车辆全景影像中显示车底图像的方法。
本发明的提出在车辆全景影像中显示车底图像的方法,首先根据车辆信号计算相邻两个时刻的车辆旋转角及偏移量,从而包含车辆转弯的情况计算和处理,得到相邻两个时刻车辆区域四个顶点的世界坐标变换矩阵,利用变换矩阵将当前时刻车辆区域顶点变换到上一时刻世界坐标系中,计算当前时刻车辆区域在上一时刻的图像坐标位置,然后将该区域图像贴图至当前时刻车辆区域图像中,即绘制全景俯视图中车辆区域,即得到当前时刻包含车周围和车底路况的全景俯视图,从而实现获得车辆周围环境信息的同时获取车辆底盘下方路况,减少视野盲区,安全应对复杂路况的目的,在本发明中,基于实时保存的上一帧车辆全景图像,直接采用车CAN线采集的档位信号和车轮计数值,使用不同的数据源,计算相邻两时刻的车辆相对位姿,不做多时刻车辆位移累加,不计算车辆轨迹,不使用内外参计算坐标,仅使用保存的上一帧包含车底图像的全景俯视图,迭代贴图获取当前帧车辆底部静态图像,计算简洁快速,实时性强。帮助驾驶者在直行、转弯、前进、后退等多种运行状态下,躲避井盖、坑洞,注意狭窄街道、崎岖山路等各种路况,减少视野盲区。
附图说明
图1是本发明的在车辆全景影像中显示车底图像的方法的主要流程示意图;
图2是相邻时刻车辆姿态几何示意图;
图3是世界坐标系绕原点旋转示意图;
图4是世界坐标系和图像坐标系示意图;
图5是实施例中的在车辆全景影像中显示车底图像的方法的主要流程示意图;
图6是实施例中的在车辆全景影像中显示车底图像的系统的组成框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术中存在的全景环视系统存在不包含车辆转弯的情况计算和处理,与车辆行驶时的情况并不匹配,无法在各种情况都得到正确的包含车底图像的全景图,或是存在的计算方法复杂,通过计算历史时刻车辆状态,使用瞬时速度、加速度以及转角数据,累加计算车辆历史轨迹,还需通过车辆内外参计算俯视图车辆区域坐标,计算复杂且耗时,实际应用中,其实时显示效果并不理想的情况,本发明在不增加任何硬件成本的前提下,提供可以实现包括车辆底部区域在内的无盲区全景影像,从而实现真正意义上的无盲区全景环视系统。
见图1,本发明的一种在车辆全景影像中显示车底图像的方法,主要包括以下步骤:
步骤1:获取车辆状态参数,计算相邻两个时刻间车辆的旋转角和偏移量;
在本步骤中,相邻两个时刻的间隔时间,是依据全景环视系统的视频帧率确定,帧率越高越能体现实时计算的效果,一般为25~30fps,即两时刻时间间隔33~40ms;
在本步骤中,获取的车辆状态参数包括实时档位信号和车轮计数值,根据实时档位信号和车轮计数值计算车辆在两个时刻间的左、右后轮行驶距离ΔSRL和ΔSRR,则当前时刻车辆中心相对上一时刻的旋转角表示为:
其中,Dtread为车辆后轮距;
当前时刻车辆中心相对上一时刻的偏移量表示为:
Δx=(ΔS+dor)·sinΔφ
Δy=(ΔS+dor)·cosΔφ-dor
其中,dor为车辆中心到后轴的距离;ΔS为车辆后轴中心行驶距离,表示为:
步骤2:建立世界坐标系,依据计算得的车辆的旋转角和偏移量,得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系;
在本步骤中,如图2所示,以两个时刻中起始时刻的车辆的中心点作为坐标原点,建立世界坐标系,由于车辆在地面行驶,世界坐标系的x轴和y轴分别位于地面所在的平面内,垂直地面的坐标为零,按如图方式建立世界坐标系。
如图3所示,车辆在地面行驶,车辆区域顶点的世界坐标变换是二维的,世界坐标系绕原点旋转Δφ角,坐标点(x,y)变为坐标(x’,y’),写成矩阵相乘的形式为:
实际在车辆在转弯时,除了以上的车辆的旋转角,还有位移的偏移量,故根据步骤1中得到的车辆的旋转角和偏移量,得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系,变换关系通过坐标变换矩阵表示为:
其中,x′和y′表示当前的车辆区域顶点的世界坐标,x和y表示上一时刻的车辆区域顶点的世界坐标,上一时刻的车辆区域顶点的世界坐标能够根据车辆参数,结合上一时刻的车辆中心的世界坐标得到,是一个齐次坐标,采用齐次坐标是为了把变换都写在一个矩阵,比如代表的其实是坐标这里用1,表示的就是坐标(x′,y′)。
步骤3:依据相邻两个时刻间的车辆区域顶点的世界坐标的变换关系,得到当前车辆区域顶点在上一时刻的世界坐标,根据世界坐标系与图像坐标系之间的关系,获得当前车辆区域顶点在上一时刻图像中的图像坐标;
见图4,具体在本步骤中,以全景环视系统显示的全景图像的左上角为原点建立图像坐标系,以朝图像下方的方向为图像坐标系的x轴方向,以朝图像右方的方向为图像坐标系的y轴方向,当前时刻的车辆区域顶点在上一时刻图像中的图像坐标表示为:
其中,x″和y″为当前时刻的车辆区域顶点在上一时刻图像中的图像坐标,Ratio为图像坐标与世界坐标的比率,h和w分别为全景图像长宽。
对车辆区域四个顶点做上述世界坐标到图像坐标的转换,即可确定当前时刻车辆区域在上一时刻全景俯视图中的位置。
步骤4:依据所得的当前车辆区域顶点在上一时刻图像中的图像坐标,从上一时刻的全景图中截取对应的当前车辆区域的全景图像,并将当前车辆区域的全景图像贴图至当前时刻的全景图像中,获得显示车底图像的全景图像。
见图5,具体在本实施例中,还包括步骤5:将步骤4得到的全景图像保存为相邻两个时刻的中起始时刻的全景图像,重复执行步骤1至步骤4,以此得到实时显示的全景影像。
车辆启动后,随着车辆行驶,运行过程中全景图像逐步经过步骤1至步骤4的刷新,实时保存全景图像,后续过程中不再存在盲区,即使停车后再次启动。除去车刚刚启动的情况,由于实时保存上一时刻已经完全包含车底图像的全景图,那么在一定车速范围内,保证帧率的情况下,可以保证上一时刻全景俯视图里,有当前时刻的车下区域图像,本发明的方案一般用于车速小于等于25km/h的情况下,在过快车速下,观察全景图像并不安全。
另外,在本发明的一个实施例中,还包括以下步骤:在步骤4得到的显示车底图像的全景图像中,对应当前车辆区域,添加车辆轮廓的区分识别线条,以此在全景图像准确的显示哪一部分是车辆四周环境,哪一部分是车辆区域,以便使用者更好的利用全景图像。
本发明的提出在车辆全景影像中显示车底图像的方法,首先根据车辆信号计算相邻两个时刻的车辆旋转角及偏移量,从而包含车辆转弯的情况计算和处理,得到相邻两个时刻车辆区域四个顶点的世界坐标变换矩阵,利用变换矩阵将当前时刻车辆区域顶点变换到上一时刻世界坐标系中,计算当前时刻车辆区域在上一时刻的图像坐标位置,然后将该区域图像贴图至当前时刻车辆区域图像中,即绘制全景俯视图中车辆区域,即得到当前时刻包含车周围和车底路况的全景俯视图,从而实现获得车辆周围环境信息的同时获取车辆底盘下方路况,减少视野盲区,安全应对复杂路况的目的,在本发明中,基于实时保存的上一帧车辆全景图像,直接采用车CAN线采集的档位信号和车轮计数值,使用不同的数据源,计算相邻两时刻的车辆相对位姿,不做多时刻车辆位移累加,不计算车辆轨迹,不使用内外参计算坐标,仅使用保存的上一帧包含车底图像的全景俯视图,迭代贴图获取当前帧车辆底部静态图像,计算简洁快速,实时性强。帮助驾驶者在直行、转弯、前进、后退等多种运行状态下,躲避井盖、坑洞,注意狭窄街道、崎岖山路等各种路况,减少视野盲区。
见图6,在本发明的实施例中,还提供了一种在车辆全景影像中显示车底图像的系统,包括:
车辆姿态获取模块1,用于获取车辆状态参数,计算相邻两个时刻间车辆的旋转角和偏移量;
坐标变换关系获取模块2,用于建立世界坐标系,依据计算得的车辆的旋转角和偏移量,得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系;
图像坐标获取模块3,用于依据相邻两个时刻间的车辆区域顶点的世界坐标的变换关系,得到当前车辆区域顶点在上一时刻的世界坐标,根据世界坐标系与图像坐标系之间的关系,获得当前车辆区域顶点在上一时刻图像中的图像坐标;
贴图显示模块4,用于依据所得的当前车辆区域顶点在上一时刻图像中的图像坐标,从上一时刻的全景图中截取对应的当前车辆区域的全景图像,并将当前车辆区域的全景图像贴图至当前时刻的全景图像中,获得显示车底图像的全景图像;
重复执行模块5,用于将贴图显示模块得到的全景图像保存为相邻两个时刻的起始中起始时刻的全景图像,控制车辆姿态获取模块、坐标变换关系获取模块、图像坐标获取模块、贴图显示模块重复工作,得到实时显示的全景影像。
在本发明的实施例中,还提供了一种在车辆全景影像中显示车底图像的装置,其特征在于,包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现如上述的一种在车辆全景影像中显示车底图像的方法。
该系统可包括,但不仅限于处理器、存储器。本领域技术人员可以理解,本实施例仅仅是系统的举例,并不构成对系统的限定,可以包括比本实施例更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
存储器可以是,但不限于,随机存取存储器(Random Access Memory,简称:RAM),只读存储器(Read Only Memory,简称:ROM),可编程只读存储器(Programmable Read-OnlyMemory,简称:PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,简称:EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,简称:EEPROM)等。其中,存储器用于存储程序,处理器在接收到执行指令后,执行程序。
处理器可以是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称:CPU)、网络处理器(NetworkProcessor,简称:NP)等。该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的数据处理程序,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。数据处理程序可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本发明的实施例中,还提供了一种计算机可读存储介质,其上存储有程序,程序被处理器执行时实现如上述的一种在车辆全景影像中显示车底图像的方法。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、系统、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、系统、和计算机程序产品的流程图和/或框图来描述的。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图和/或中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图中指定的功能的步骤。
以上对本发明所提供的在车辆全景影像中显示车底图像的方法、在车辆全景影像中显示车底图像的系统、在车辆全景影像中显示车底图像的装置、一种计算机可读存储介质的应用进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种在车辆全景影像中显示车底图像的方法,其特征在于,包括以下步骤:
步骤1:获取车辆状态参数,计算相邻两个时刻间车辆的旋转角和偏移量;
步骤2:建立世界坐标系,依据计算得的车辆的旋转角和偏移量,得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系;
步骤3:依据相邻两个时刻间的车辆区域顶点的世界坐标的变换关系,得到当前车辆区域顶点在上一时刻的世界坐标,根据世界坐标系与图像坐标系之间的关系,获得当前车辆区域顶点在上一时刻图像中的图像坐标;
步骤4:依据所得的当前车辆区域顶点在上一时刻图像中的图像坐标,从上一时刻的全景图中截取对应的当前车辆区域的全景图像,并将当前车辆区域的全景图像贴图至当前时刻的全景图像中,获得显示车底图像的全景图像。
2.根据权利要求1所述的一种在车辆全景影像中显示车底图像的方法,其特征在于:在步骤1中,依据全景环视系统的视频帧率确定相邻两个时刻的间隔时间。
6.根据权利要求5所述的一种在车辆全景影像中显示车底图像的方法,其特征在于:还包括步骤5:将步骤4得到的全景图像保存为相邻两个时刻的中起始时刻的全景图像,重复执行步骤1至步骤4,以此得到实时显示的全景影像。
7.一种在车辆全景影像中显示车底图像的系统,其特征在于,包括:
车辆姿态获取模块,用于获取车辆状态参数,计算相邻两个时刻间车辆的旋转角和偏移量;
坐标变换关系获取模块,用于建立世界坐标系,依据计算得的车辆的旋转角和偏移量,得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系;
图像坐标获取模块,用于依据相邻两个时刻间的车辆区域顶点的世界坐标的变换关系,得到当前车辆区域顶点在上一时刻的世界坐标,根据世界坐标系与图像坐标系之间的关系,获得当前车辆区域顶点在上一时刻图像中的图像坐标;
贴图显示模块,用于依据所得的当前车辆区域顶点在上一时刻图像中的图像坐标,从上一时刻的全景图中截取对应的当前车辆区域的全景图像,并将当前车辆区域的全景图像贴图至当前时刻的全景图像中,获得显示车底图像的全景图像。
8.根据权利要求7所述的一种在车辆全景影像中显示车底图像的系统,其特征在于:还包括重复执行模块,用于将贴图显示模块得到的全景图像保存为相邻两个时刻的起始中起始时刻的全景图像,控制车辆姿态获取模块、坐标变换关系获取模块、图像坐标获取模块、贴图显示模块重复工作,得到实时显示的全景影像。
9.一种在车辆全景影像中显示车底图像的装置,其特征在于,包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现如权利要求1所述的一种在车辆全景影像中显示车底图像的方法。
10.一种计算机可读存储介质,其上存储有程序,其特征在于:所述程序被处理器执行时实现如权利要求1所述的一种在车辆全景影像中显示车底图像的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010856591.8A CN111959397B (zh) | 2020-08-24 | 2020-08-24 | 在全景影像中显示车底图像的方法、系统、装置及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010856591.8A CN111959397B (zh) | 2020-08-24 | 2020-08-24 | 在全景影像中显示车底图像的方法、系统、装置及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111959397A true CN111959397A (zh) | 2020-11-20 |
CN111959397B CN111959397B (zh) | 2023-03-31 |
Family
ID=73390118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010856591.8A Active CN111959397B (zh) | 2020-08-24 | 2020-08-24 | 在全景影像中显示车底图像的方法、系统、装置及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111959397B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113221833A (zh) * | 2021-06-01 | 2021-08-06 | 深圳市天双科技有限公司 | 一种后视摄像头实现全景泊车的方法 |
CN113263978A (zh) * | 2021-05-17 | 2021-08-17 | 深圳市天双科技有限公司 | 一种车底透视的全景泊车系统及其方法 |
CN113569692A (zh) * | 2021-07-22 | 2021-10-29 | 上汽通用五菱汽车股份有限公司 | 辅助驾驶方法、系统、设备和计算机可读存储介质 |
CN113936101A (zh) * | 2021-10-18 | 2022-01-14 | 北京茵沃汽车科技有限公司 | 在3d全景图的接缝区域内还原消失物体的方法、装置 |
CN113935942A (zh) * | 2021-09-02 | 2022-01-14 | 同致电子科技(厦门)有限公司 | 一种基于非线性优化的车底透明方法、装置、设备、存储介质及计算机程序产品 |
CN114162048A (zh) * | 2021-12-08 | 2022-03-11 | 上海寅家电子科技股份有限公司 | 确保车辆安全行驶系统及方法 |
CN114549321A (zh) * | 2022-02-25 | 2022-05-27 | 小米汽车科技有限公司 | 图像处理方法和装置、车辆、可读存储介质 |
WO2022204854A1 (zh) * | 2021-03-29 | 2022-10-06 | 华为技术有限公司 | 一种盲区图像获取方法及相关终端装置 |
CN117372472A (zh) * | 2023-09-05 | 2024-01-09 | 苏州智华汽车电子有限公司 | 目标全景图像的生成方法、装置、计算机系统及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103072528A (zh) * | 2013-01-30 | 2013-05-01 | 深圳市汉华安道科技有限责任公司 | 一种车辆及其全景泊车方法、系统 |
CN106608220A (zh) * | 2015-10-22 | 2017-05-03 | 比亚迪股份有限公司 | 车辆底部影像的生成方法、装置和车辆 |
CN108068696A (zh) * | 2016-11-17 | 2018-05-25 | 比亚迪股份有限公司 | 全景影像的显示方法和显示装置 |
US20180154232A1 (en) * | 2015-12-09 | 2018-06-07 | Gregoire Alexandre Gentil | Planar Solutions to Object-Tracking Problems |
CN108312966A (zh) * | 2018-02-26 | 2018-07-24 | 江苏裕兰信息科技有限公司 | 一种包含汽车底部影像的全景环视系统及其实现方法 |
US20190100147A1 (en) * | 2017-10-02 | 2019-04-04 | Hua-Chuang Automobile Information Technical Center Co., Ltd. | Parking assistant panoramic image system |
CN110458884A (zh) * | 2019-08-16 | 2019-11-15 | 北京茵沃汽车科技有限公司 | 在全景图中生成车辆运行动态轨迹线的方法、装置、介质 |
US20200031278A1 (en) * | 2017-05-19 | 2020-01-30 | Georgios Zafeirakis | Vehicle collision avoidance system |
CN111279354A (zh) * | 2018-12-28 | 2020-06-12 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备及计算机可读存储介质 |
CN111372055A (zh) * | 2020-03-25 | 2020-07-03 | 东风汽车集团有限公司 | 一种车底图像显示系统及方法 |
-
2020
- 2020-08-24 CN CN202010856591.8A patent/CN111959397B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103072528A (zh) * | 2013-01-30 | 2013-05-01 | 深圳市汉华安道科技有限责任公司 | 一种车辆及其全景泊车方法、系统 |
CN106608220A (zh) * | 2015-10-22 | 2017-05-03 | 比亚迪股份有限公司 | 车辆底部影像的生成方法、装置和车辆 |
US20180154232A1 (en) * | 2015-12-09 | 2018-06-07 | Gregoire Alexandre Gentil | Planar Solutions to Object-Tracking Problems |
CN108068696A (zh) * | 2016-11-17 | 2018-05-25 | 比亚迪股份有限公司 | 全景影像的显示方法和显示装置 |
US20200031278A1 (en) * | 2017-05-19 | 2020-01-30 | Georgios Zafeirakis | Vehicle collision avoidance system |
US20190100147A1 (en) * | 2017-10-02 | 2019-04-04 | Hua-Chuang Automobile Information Technical Center Co., Ltd. | Parking assistant panoramic image system |
CN108312966A (zh) * | 2018-02-26 | 2018-07-24 | 江苏裕兰信息科技有限公司 | 一种包含汽车底部影像的全景环视系统及其实现方法 |
CN111279354A (zh) * | 2018-12-28 | 2020-06-12 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备及计算机可读存储介质 |
CN110458884A (zh) * | 2019-08-16 | 2019-11-15 | 北京茵沃汽车科技有限公司 | 在全景图中生成车辆运行动态轨迹线的方法、装置、介质 |
CN111372055A (zh) * | 2020-03-25 | 2020-07-03 | 东风汽车集团有限公司 | 一种车底图像显示系统及方法 |
Non-Patent Citations (3)
Title |
---|
冯国虎著: "《单目视觉/惯性组合导航可观性分析与动态滤波算法研究》", 28 February 2017, 国防工业出版社 * |
肖献强等: "基于视觉及TLC概念的车辆跑偏检测方法研究", 《汽车工程》 * |
胡志勇主编: "《跨坐式单轨交通轨道桥梁系统》", 30 July 2018, 西南交通大学出版社 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022204854A1 (zh) * | 2021-03-29 | 2022-10-06 | 华为技术有限公司 | 一种盲区图像获取方法及相关终端装置 |
CN113263978A (zh) * | 2021-05-17 | 2021-08-17 | 深圳市天双科技有限公司 | 一种车底透视的全景泊车系统及其方法 |
CN113221833A (zh) * | 2021-06-01 | 2021-08-06 | 深圳市天双科技有限公司 | 一种后视摄像头实现全景泊车的方法 |
CN113569692A (zh) * | 2021-07-22 | 2021-10-29 | 上汽通用五菱汽车股份有限公司 | 辅助驾驶方法、系统、设备和计算机可读存储介质 |
CN113569692B (zh) * | 2021-07-22 | 2024-02-09 | 上汽通用五菱汽车股份有限公司 | 辅助驾驶方法、系统、设备和计算机可读存储介质 |
CN113935942A (zh) * | 2021-09-02 | 2022-01-14 | 同致电子科技(厦门)有限公司 | 一种基于非线性优化的车底透明方法、装置、设备、存储介质及计算机程序产品 |
CN113936101A (zh) * | 2021-10-18 | 2022-01-14 | 北京茵沃汽车科技有限公司 | 在3d全景图的接缝区域内还原消失物体的方法、装置 |
CN114162048A (zh) * | 2021-12-08 | 2022-03-11 | 上海寅家电子科技股份有限公司 | 确保车辆安全行驶系统及方法 |
CN114549321A (zh) * | 2022-02-25 | 2022-05-27 | 小米汽车科技有限公司 | 图像处理方法和装置、车辆、可读存储介质 |
CN117372472A (zh) * | 2023-09-05 | 2024-01-09 | 苏州智华汽车电子有限公司 | 目标全景图像的生成方法、装置、计算机系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111959397B (zh) | 2023-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111959397B (zh) | 在全景影像中显示车底图像的方法、系统、装置及介质 | |
CN107389088B (zh) | 车载惯性导航的误差修正方法、装置、介质及设备 | |
US9077958B2 (en) | Road departure warning system | |
CN112183241B (zh) | 基于单目图像的目标检测方法和装置 | |
CN107600008B (zh) | 倒车辅助线的生成方法、装置、车载设备及存储介质 | |
US11325470B2 (en) | Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle | |
US11127119B1 (en) | Systems and methods for image deblurring in a vehicle | |
EP3029538B1 (en) | Vehicle position/bearing estimation device and vehicle position/bearing estimation method | |
CN112440997A (zh) | 基于预瞄算法的弯道车道保持方法及系统、服务器及介质 | |
JP7107931B2 (ja) | 移動オブジェクトのレンジを推定する方法および装置 | |
CN112017236B (zh) | 一种基于单目相机计算目标物位置的方法及装置 | |
CN111160070A (zh) | 车辆全景图像盲区消除方法、装置、存储介质及终端设备 | |
JP2003178309A (ja) | 移動量推定装置 | |
CN110555801A (zh) | 一种航迹推演的校正方法、终端和存储介质 | |
CN114549645A (zh) | 一种基于视觉信息计算目标车辆航向角的方法和装置 | |
CN113449582A (zh) | 一种车底盲区填充方法、装置、系统、存储介质及计算机程序产品 | |
CN112129313A (zh) | 基于惯性测量单元的ar导航补偿系统 | |
CN113838060A (zh) | 用于自主车辆的感知系统 | |
CN111169470B (zh) | 一种自动泊车方法、装置及电子设备 | |
CN116222558A (zh) | 一种基于车载信息定位方法、装置及系统 | |
US20210086695A1 (en) | Method and apparatus for invisible vehicle underbody view | |
WO2022049880A1 (ja) | 画像処理装置 | |
CN111824163B (zh) | 用于确定道路的曲线的方法和设备 | |
CN114644014A (zh) | 一种基于车道线的智能驾驶方法及相关设备 | |
CN114475780A (zh) | 一种自动泊车方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |