CN111968184B - 一种在全景环视系统中实现视图随动的方法、装置及介质 - Google Patents

一种在全景环视系统中实现视图随动的方法、装置及介质 Download PDF

Info

Publication number
CN111968184B
CN111968184B CN202010856570.6A CN202010856570A CN111968184B CN 111968184 B CN111968184 B CN 111968184B CN 202010856570 A CN202010856570 A CN 202010856570A CN 111968184 B CN111968184 B CN 111968184B
Authority
CN
China
Prior art keywords
view
angle
panoramic
turning
around system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010856570.6A
Other languages
English (en)
Other versions
CN111968184A (zh
Inventor
赵津津
候欢欢
张会朋
曹建收
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yinwo Automotive Technology Co ltd
Original Assignee
Beijing Yinwo Automotive Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yinwo Automotive Technology Co ltd filed Critical Beijing Yinwo Automotive Technology Co ltd
Priority to CN202010856570.6A priority Critical patent/CN111968184B/zh
Publication of CN111968184A publication Critical patent/CN111968184A/zh
Application granted granted Critical
Publication of CN111968184B publication Critical patent/CN111968184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Abstract

本发明提供了一种在全景环视系统中实现视图随动的方法、装置及介质，其能够实现3D视图随方向盘实时转角进行转动的效果，辅助用户观察车周是否有障碍物，对全景环视系统的摄像头进行标定，获摄像头的内外参数；构建3D投影模型，获得构建3D投影模型的模型点在世界坐标系下的世界坐标，采集全景环视系统的摄像头所摄图像，通过得到的全景环视系统的摄像头的内外参数计算所摄图像的原图的世界坐标，使用纹理贴图将全景环视系统摄像头所摄图像贴到3D投影模型上，拼接后得到3D全景图；根据所选视角获得对应的3D视图，设定视角参数，建立方向盘的转角与视角参数的关系，使得所选视角下的3D视图能够根据方向盘转动而转动。

Description

一种在全景环视系统中实现视图随动的方法、装置及介质
技术领域
本发明涉及一种辅助驾驶和图像处理领域，特别涉及一种在全景环视系统中实现视图随动的方法、装置及介质。
背景技术
随着中国经济的蓬勃发展以及人民生活水平的日益提升,汽车如同几年前的手机一样走进了千家万户。虽然近年来国内交通事故数量逐年下降,但是汽车数量的不断增加也给交通安全的保障带来了不小的挑战。除了交通法规的完善以及人们交通安全意识的提升,各类驾驶辅助系统也在一定程度上降低了交通事故的发生几率。
其中，全景环视系统是使用最广泛的辅助驾驶技术之一，它可以让驾驶员对汽车四周情况一目了然。现有的全景环视系统功能较为单一，其只能简单反应当前时刻汽车四周的景象，并不能支持在汽车四周的景象的全景图选择视角，进行特定视角下的3D视图的展示，同时也不能根据当前的行驶状况，同步调整3D视图的角度，不利于驾驶员观察一些细节的环境情况，难以观察车辆周围是否有障碍物；同时也不能根据当前的行驶状况，预测汽车运行时将要路过的区域。
发明内容
针对上述问题，本发明提供了一种在全景环视系统中实现视图随动的方法、装置及介质，其能够实现3D视图随方向盘实时转角进行转动的效果，辅助用户观察车周是否有障碍物。
其技术方案是这样的：一种在全景环视系统中实现视图随动的方法，其特征在于，包括以下步骤：
步骤1：对全景环视系统的摄像头进行标定，获摄像头的内外参数；
步骤2：构建3D投影模型，获得构建3D投影模型的模型点在世界坐标系下的世界坐标，采集全景环视系统的摄像头所摄图像，通过得到的全景环视系统的摄像头的内外参数计算所摄图像的原图的世界坐标，使用纹理贴图将全景环视系统摄像头所摄图像贴到3D投影模型上，拼接后得到3D全景图；
步骤3：根据所选视角获得对应的3D视图，设定视角参数，建立方向盘的转角与视角参数的关系，使得所选视角下的3D视图能够根据方向盘转动而转动。
进一步的，还包括以下步骤：
步骤4：获取车辆的转弯角度，结合转弯角度和车辆的参数信息计算得到车辆的轨迹线起点的转弯半径和初始转弯角度；
步骤5：计算轨迹线上点在世界坐标系下的坐标；
步骤6：根据3D视图中像素和实际距离的比例关系，计算轨迹线上点在3D视图上的图像坐标；
步骤7：根据轨迹线上点的图像坐标，在3D视图上绘制轨迹线。
进一步的，还包括以下步骤：
步骤8：当方向盘的转角度发生变化时，根据变化后的方向盘的旋转角度，重复执行步骤3至步骤7，更新3D视图和轨迹线。
进一步的，在步骤1中，实时采集全景环视系统的前、后、左、右视摄像头所摄图像，对采集到的图像进行标定，获取前、后、左、右视摄像头的内外参数，获取摄像头的内参包括相机焦距、畸变参数、变换矩阵；获取摄像头的外参包括摄像头的坐标位置以及以光轴为中心的旋转角、横向摆角、纵向俯仰角度。
进一步的，在步骤2中，构建的3D投影模型为碗模型，碗模型包括多层椭圆，根据椭圆方程，可以计算出每层椭圆上的世界坐标(x,y,z)，世界坐标系以汽车中心向地面的投影为原点，平面内向右为X轴正方向，平面内向上为Y轴正方向，垂直于X轴和Y轴所在平面竖直向上为Z轴正方向，同一层椭圆上点的z坐标是一样的，具体公式表示为：
z＝(c×h2)/d
其中，a，b是每层椭圆的长短半径，是角度，取值范围为0°-360°，H为非地面椭圆层的层数，c，d是经验设定参数；
采集全景环视系统的摄像头所摄图像，通过得到的全景环视系统的摄像头的内外参数计算所摄图像的世界坐标，使用纹理贴图将全景环视系统摄像头所摄图像贴到3D投影模型上，拼接后得到3D全景图。
进一步的，在步骤3中，具体包括以下步骤：
对应3D全景图中能够选取的视角，设定能够获得3D视图的相机坐标，相机坐标根据经验调试得到；
在3D全景图选择视角，得到对应的3D视图；
设定视角参数，视角参数包括视角瞄准方向的参考点坐标，表示为(objx，objy，objz)，设定方向盘转角α，方向盘转角α与视角参数的关系表示为：
其中，e取决于初始视角，f取决于视图的可视范围；
根据方向盘转角α与视角参数的关系，使得所选视角下的3D视图能够根据方向盘转动而转动。
在步骤4中，获取的车辆的参数信息包括车辆的长度、宽度、前悬、后悬、轴距，通过如下公式计算轨迹线起点的转弯半径：
R＝轴距/tan(θ)
LH＝前悬+轴距+D1
LW＝R+VW/2+D2
LR＝sqrt(LH·LH+LW·LW)
其中，R为车辆转弯半径，θ为车辆的转弯角度；
LH为轨迹线起点到转弯原点的纵向距离，D1轨迹线起点到车身的纵向盲区距离；LW为轨迹线起点到转弯原点的横向距离，VL为车辆长度，VW为车辆宽度，D2为轨迹线起点到车身的横向盲区距离；LR为轨迹线起点的转弯半径；
通过如下公式计算初始转弯角度：
Lθ＝asin(LH/LR)
其中，Lθ为轨迹线起点的转弯初始角度，asin为计算反正弦的函数。
进一步的，在步骤5中，计算轨迹线上点在世界坐标系下的坐标具体如下：
在以汽车转弯原点为原点，轨迹线起点的转弯半径LR为半径的圆弧上，进行坐标点的密集采样，以得到轨迹线上除轨迹线起点以外的点到转弯原点的距离，通过如下公式表示：
Lθ’＝Lθ+k·Δθ
LH’＝LR·sin(Lθ’)
LW’＝LR·cos(Lθ’)
其中，Lθ’为轨迹线上除轨迹线起点以外的点的转弯角度，Lθ为轨迹线起点的转弯初始角度，Δθ为角度增量步长，k表示第k个采样点，k为自然数；LH’为轨迹线上除轨迹线起点以外的点到转弯原点的纵向距离，LW’为轨迹线上除轨迹线起点以外的点到转弯原点的横向距离；
轨迹线的每个采样点，其在世界坐标系下的坐标(X,Y,Z)计算公式如下：
X＝R-LW’
Y＝LH’-(前悬+轴距-VL/2)
Z＝0
其中，LH’为轨迹线上除轨迹线起点以外的点到转弯原点的纵向距离，LW’为轨迹线上除轨迹线起点以外的点到转弯原点的横向距离，VL为车辆长度，R为车辆转弯半径。
进一步的，步骤6具体包括以下步骤：
建立3D视图的图像坐标系，以3D视图的左上第一个像素为原点，建立包括V轴和U轴的坐标系，平面内向下为U轴正方向，平面内向右为V轴正方向；
轨迹线上的采样点在3D视图中的图像坐标(U,V)按照如下公式计算：
U＝H/2-Y/Y_ratio
V＝W/2+X/X_ratio
其中，W，H分别为3D视图的宽和高，单位为像素，X_ratio,Y_ratio分别为横向和纵向上像素和实际距离的比例关系，单位为毫米/像素。
一种在全景环视系统中实现视图随动的装置，其特征在于，其包括：包括处理器、存储器以及程序；
所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行上述的在全景环视系统中实现视图随动的方法。
一种计算机可读存储介质，其特征在于：所述计算机可读存储介质被配置成存储程序，所述程序被配置成执行上述的在全景环视系统中实现视图随动的方法。
本发明的在全景环视系统中实现视图随动的方法，通过构建3D投影模型，获得构建3D投影模型的模型点在世界坐标系下的世界坐标，采集全景环视系统的摄像头所摄图像，通过得到的全景环视系统的摄像头的内外参数计算所摄图像的原图的世界坐标，使用纹理贴图将全景环视系统摄像头所摄图像贴到3D投影模型上，拼接后得到3D全景图，根据所选视角获得对应的3D视图，从而实现进行特定视角下的3D视图的展示，自由度高，可以进行细节化的汽车四周环境展示，有助于提高安全性；本发明还通过设定视角参数，通过建立方向盘转角与3D视图的视角参数的关系，使得所选视角下的3D视图能够根据方向盘转动而转动，从而可以扩大驾驶员的观察视野，可以辅助驾驶员观察车辆四周的情况，帮助驾驶员及早调整方向盘，防止碰撞；
另外，在本发明中，还可以在3D视图中显示车辆的轨迹线，轨迹线为动态轨迹线，是根据方向盘旋转角度和阿克曼系数计算出车辆的转弯半径R，由R及车辆参数算出轨迹线起点的转弯半径和初始转弯角度，从而计算出轨迹线上的点的坐标，把这些坐标转换成360全景图上的图像坐标，连点成线，就可以在3D视图上画出动态轨迹线，无论车辆倒车、前行、左转、右转都可以生成车辆运行动态轨迹线，动态轨迹线计算时引入了方向盘信息，轨迹线会随着方向盘转角的变化而变化，能非常清楚地显示出障碍物是否在汽车行进区域内，从而辅助驾驶员避开障碍物，防止碰撞发生。
附图说明
图1为本发明的具体实施例1的方法的流程示意图；
图2为本发明的具体实施例2的方法的流程示意图；
图3为具体实施例2的步骤4中一部分车辆的参数信息的展示示意图；
图4为具体实施例2的步骤4中另一部分车辆的参数信息的展示示意图；
图5为具体实施例2的步骤5中计算轨迹线上除轨迹线起点以外的点到转弯原点的距离的示意图。
具体实施方式
以下参照附图进行详细的描述，所述附图形成本发明的一部分，且在本发明中，附图通过对实施本发明的具体实施例的解释表示出来。应当理解的是在不偏离本发明的范围的情况下可以采用其它的实施例且可以进行结构上或逻辑上的改变。例如，对于一个实施例解释或描述的特征可被用于其它实施例或与其它实施例结合来生成另一个实施例。其意图在于本发明包括这样的修改和变化。这些示例用特定的语句描述，但它们不应被理解为对所附的权利要求范围的限制。附图仅出于解释性目的且并非按比例绘制。除非特别说明，出于清楚的目的，相应的元件在不同的附图中采用同样的附图标记表示。
具体实施例1：见图1，本发明的一种在全景环视系统中实现视图随动的方法，主要包括以下步骤：
步骤1：对全景环视系统的摄像头进行标定，获摄像头的内外参数；
步骤2：构建3D投影模型，获得构建3D投影模型的模型点在世界坐标系下的世界坐标，采集全景环视系统的摄像头所摄图像，通过得到的全景环视系统的摄像头的内外参数计算所摄图像的原图的世界坐标，使用纹理贴图将全景环视系统摄像头所摄图像贴到3D投影模型上，拼接后得到3D全景图；
步骤3：根据所选视角获得对应的3D视图，设定视角参数，建立方向盘的转角与视角参数的关系，使得所选视角下的3D视图能够根据方向盘转动而转动，当方向盘的转角度发生变化时，根据变化后的方向盘的旋转角度，更新3D视图。
具体在本实施例中，在步骤1中，实时采集全景环视系统的前、后、左、右视摄像头所摄图像，对采集到的图像进行标定，获取前、后、左、右视摄像头的内外参数，获取摄像头的内参包括相机焦距、畸变参数、变换矩阵；获取摄像头的外参包括摄像头的坐标位置以及以光轴为中心的旋转角、横向摆角、纵向俯仰角度。
具体在步骤2中，构建的3D投影模型为碗模型，碗模型包括多层椭圆，根据椭圆方程，可以计算出每层椭圆上的世界坐标(x,y,z)，世界坐标系以汽车中心向地面的投影为原点，平面内向右为X轴正方向，平面内向上为Y轴正方向，垂直于X轴和Y轴所在平面竖直向上为Z轴正方向，同一层椭圆上点的z坐标是一样的，具体公式表示为：
z＝(c×h2)/d
其中，a，b是每层椭圆的长短半径，是角度，取值范围为0°-360°，H为非地面椭圆层的层数，c，d是经验设定参数；
模型参数，比如由几层椭圆构成，每层椭圆的点数N，长短半径a，b，以及计算Z坐标时所用公式都可以根据实际情况调节。为了取得较好的视觉效果，可以根据经验和实际情况多次调节。
采集全景环视系统的摄像头所摄图像，通过得到的全景环视系统的摄像头的内外参数计算所摄图像的世界坐标，碗模型上点的世界坐标作为顶点坐标，通过摄像头内外参数计算出的坐标作为纹理坐标，使用纹理贴图将全景环视系统摄像头所摄图像贴到3D投影模型上，并对接缝区域进行融合处理，拼接后得到3D全景图。
具体在步骤3中，具体包括以下步骤：
3D全景可以通过设置视角，从不同的方向去观看汽车四周的情况，对应3D全景图中能够选取的视角，设定能够获得3D视图的相机坐标，这里的相机是3D视图取景设定的相机，并不是前面提到全景环视系统的摄像头，相机坐标根据经验调试得到，相机坐标设定好后，可以在对应坐标位置可以获得3D视图；
在3D全景图选择视角后，得到对应的3D视图；
然而设定视角参数，视角参数包括视角瞄准方向的参考点坐标，表示为(objx，objy，objz)，设定方向盘转角α，方向盘转角α与视角参数的关系表示为：
其中，e取决于初始视角，f取决于视图的可视范围；
根据方向盘转角α与视角参数的关系，使得所选视角下的3D视图能够根据方向盘转动而转动。
本实施例中的在全景环视系统中实现视图随动的方法，通过构建3D投影模型，获得构建3D投影模型的模型点在世界坐标系下的世界坐标，采集全景环视系统的摄像头所摄图像，通过得到的全景环视系统的摄像头的内外参数计算所摄图像的原图的世界坐标，使用纹理贴图将全景环视系统摄像头所摄图像贴到3D投影模型上，拼接后得到3D全景图，根据所选视角获得对应的3D视图，从而实现进行特定视角下的3D视图的展示，自由度高，可以进行细节化的汽车四周环境展示，有助于提高安全性；本发明还通过设定视角参数，通过建立方向盘转角与3D视图的视角参数的关系，使得所选视角下的3D视图能够根据方向盘转动而转动，从而可以扩大驾驶员的观察视野，可以辅助驾驶员观察车辆四周的情况，帮助驾驶员及早调整方向盘，防止碰撞。
具体实施例2：见图2，本发明的一种在全景环视系统中实现视图随动的方法，主要包括以下步骤：
步骤1：对全景环视系统的摄像头进行标定，获摄像头的内外参数；
步骤2：构建3D投影模型，获得构建3D投影模型的模型点在世界坐标系下的世界坐标，采集全景环视系统的摄像头所摄图像，通过得到的全景环视系统的摄像头的内外参数计算所摄图像的原图的世界坐标，使用纹理贴图将全景环视系统摄像头所摄图像贴到3D投影模型上，拼接后得到3D全景图；
步骤3：根据所选视角获得对应的3D视图，设定视角参数，建立方向盘的转角与视角参数的关系，使得所选视角下的3D视图能够根据方向盘转动而转动，。
步骤4：获取车辆的转弯角度，结合转弯角度和车辆的参数信息计算得到车辆的轨迹线起点的转弯半径和初始转弯角度；
步骤5：计算轨迹线上点在世界坐标系下的坐标；
步骤6：根据3D视图中像素和实际距离的比例关系，计算轨迹线上点在3D视图上的图像坐标；
步骤7：根据轨迹线上点的图像坐标，在3D视图上绘制轨迹线。
步骤8：当方向盘的转角度发生变化时，根据变化后的方向盘的旋转角度，重复执行步骤3至步骤7，更新3D视图和轨迹线。
具体在本实施例中，在步骤1中，实时采集全景环视系统的前、后、左、右视摄像头所摄图像，对采集到的图像进行标定，获取前、后、左、右视摄像头的内外参数，获取摄像头的内参包括相机焦距、畸变参数、变换矩阵；获取摄像头的外参包括摄像头的坐标位置以及以光轴为中心的旋转角、横向摆角、纵向俯仰角度。
具体在步骤2中，构建的3D投影模型为碗模型，碗模型包括多层椭圆，根据椭圆方程，可以计算出每层椭圆上的世界坐标(x,y,z)，世界坐标系以汽车中心向地面的投影为原点，平面内向右为X轴正方向，平面内向上为Y轴正方向，垂直于X轴和Y轴所在平面竖直向上为Z轴正方向，同一层椭圆上点的z坐标是一样的，具体公式表示为：
z＝(c×h2)/d
其中，a，b是每层椭圆的长短半径，是角度，取值范围为0°-360°，H为非地面椭圆层的层数，c，d是经验设定参数；
采集全景环视系统的摄像头所摄图像，通过得到的全景环视系统的摄像头的内外参数计算所摄图像的世界坐标，使用纹理贴图将全景环视系统摄像头所摄图像贴到3D投影模型上，拼接后得到3D全景图。
具体在步骤3中，具体包括以下步骤：
对应3D全景图中能够选取的视角，设定能够获得3D视图的相机坐标，相机坐标根据经验调试得到；
在3D全景图选择视角，得到对应的3D视图；
设定视角参数，视角参数包括视角瞄准方向的参考点坐标，表示为(objx，objy，objz)，设定方向盘转角α，方向盘转角α与视角参数的关系表示为：
其中，e取决于初始视角，f取决于视图的可视范围；
根据方向盘转角α与视角参数的关系，使得所选视角下的3D视图能够根据方向盘转动而转动。
具体在步骤4中，见图3，4，获取的车辆的参数信息包括车辆的长度、宽度、前悬、后悬、轴距，通过如下公式计算轨迹线起点的转弯半径：
R＝轴距/tan(θ)
LH＝前悬+轴距+D1
LW＝R+VW/2+D2
LR＝sqrt(LH·LH+LW·LW)
其中，R为车辆转弯半径，θ为车辆的转弯角度，方向盘的转角，可以通过阿克曼系数转换成车辆的转弯角度，θ＝coe·α，coe为阿克曼系数；
LH为轨迹线起点到转弯原点的纵向距离，D1轨迹线起点到车身的纵向盲区距离；LW为轨迹线起点到转弯原点的横向距离，VL为车辆长度，VW为车辆宽度，D2为轨迹线起点到车身的横向盲区距离；LR为轨迹线起点的转弯半径；
通过如下公式计算初始转弯角度：
Lθ＝asin(LH/LR)
其中，Lθ为轨迹线起点的转弯初始角度，asin为计算反正弦的函数。
具体在步骤5中，计算轨迹线上点在世界坐标系下的坐标具体如下：
见图5，在以汽车转弯原点为原点，轨迹线起点的转弯半径LR为半径的圆弧上，进行坐标点的密集采样，以得到轨迹线上除轨迹线起点以外的点到转弯原点的距离，通过如下公式表示：
Lθ’＝Lθ+k·Δθ
LH’＝LR·sin(Lθ’)
LW’＝LR·cos(Lθ’)
其中，Lθ’为轨迹线上除轨迹线起点以外的点的转弯角度，Lθ为轨迹线起点的转弯初始角度，Δθ为角度增量步长，k表示第k个采样点，k为自然数；LH’为轨迹线上除轨迹线起点以外的点到转弯原点的纵向距离，LW’为轨迹线上除轨迹线起点以外的点到转弯原点的横向距离；
轨迹线的每个采样点，其在世界坐标系下的坐标(X,Y,Z)计算公式如下：
X＝R-LW’
Y＝LH’-(前悬+轴距-VL/2)
Z＝0
其中，LH’为轨迹线上除轨迹线起点以外的点到转弯原点的纵向距离，LW’为轨迹线上除轨迹线起点以外的点到转弯原点的横向距离，VL为车辆长度，R为车辆转弯半径。
如图3、4、5所示，在本实施例中，是对于左侧的轨迹线进行描述的，而对于右侧的轨迹线上的点，根据步骤3-步骤5，世界坐标同理可求出，在此不再赘述。
具体的，步骤6具体包括以下步骤：
建立3D视图的图像坐标系，以3D视图的左上第一个像素为原点，建立包括V轴和U轴的坐标系，平面内向下为U轴正方向，平面内向右为V轴正方向；
轨迹线上的采样点在3D视图中的图像坐标(U,V)按照如下公式计算：
U＝H/2-Y/Y_ratio
V＝W/2+X/X_ratio
其中，W，H分别为3D视图的宽和高，单位为像素，X_ratio,Y_ratio分别为横向和纵向上像素和实际距离的比例关系，单位为毫米/像素。
本实施例在具体实施例1的基础上，还可以在3D视图中显示车辆的轨迹线，轨迹线为动态轨迹线，是根据方向盘旋转角度和阿克曼系数计算出车辆的转弯半径R，由R及车辆参数算出轨迹线起点的转弯半径和初始转弯角度，从而计算出轨迹线上的点的坐标，把这些坐标转换成360全景图上的图像坐标，连点成线，就可以在3D视图上画出动态轨迹线，无论车辆倒车、前行、左转、右转都可以生成车辆运行动态轨迹线，动态轨迹线计算时引入了方向盘信息，轨迹线会随着方向盘转角的变化而变化，也就是当方向盘转动时，3D视图和轨迹线会同时转动，此功能不仅可以预示汽车行进将要路过的区域，也可以扩大驾驶员的观察视野，可以辅助驾驶员观察车辆四周的情况，能非常清楚地显示出障碍物是否在汽车行进区域内，帮助驾驶员及早调整方向盘，防止碰撞。
在本发明的实施例中，还提供了一种在全景环视系统中实现视图随动的装置，其包括：包括处理器、存储器以及程序；
程序存储在存储器中，处理器调用存储器存储的程序，以执行上述的在全景环视系统中实现视图随动的方法。
在上述在全景环视系统中实现视图随动的实现中，存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线连接。存储器中存储有实现数据访问控制方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储器中的软件功能模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理。
存储器可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable Read-OnlyMemory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。
处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的实施例中，还提供了一种计算机可读存储介质，计算机可读存储介质被配置成存储程序，程序被配置成执行上述的在全景环视系统中实现视图随动的方法。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、系统、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、系统、装置和计算机程序产品的流程图和/或方框图来描述的。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图中指定的功能的步骤。
以上对本发明所提供的在全景环视系统中实现视图随动的方法、在全景环视系统中实现视图随动的装置和一种计算机可读存储介质的应用进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种在全景环视系统中实现视图随动的方法，其特征在于，包括以下步骤：
步骤1：对全景环视系统的摄像头进行标定，获摄像头的内外参数；
步骤2：构建3D投影模型，获得构建3D投影模型的模型点在世界坐标系下的世界坐标，采集全景环视系统的摄像头所摄图像，通过得到的全景环视系统的摄像头的内外参数计算所摄图像的原图的世界坐标，使用纹理贴图将全景环视系统摄像头所摄图像贴到3D投影模型上，拼接后得到3D全景图；
步骤3：根据所选视角获得对应的3D视图，设定视角参数，建立方向盘的转角与视角参数的关系，使得所选视角下的3D视图能够根据方向盘转动而转动；
在步骤2中，构建的3D投影模型为碗模型，碗模型包括多层椭圆，根据椭圆方程，可以计算出每层椭圆上的世界坐标(x,y,z)，世界坐标系以汽车中心向地面的投影为原点，平面内向右为X轴正方向，平面内向上为Y轴正方向，垂直于X轴和Y轴所在平面竖直向上为Z轴正方向，同一层椭圆上点的z坐标是一样的，具体公式表示为：
z＝(c×h2)/d
其中，a，b是每层椭圆的长短半径，是角度，取值范围为0°-360°，H为非地面椭圆层的层数，c，d是经验设定参数；
在步骤3中，具体包括以下步骤：
对应3D全景图中能够选取的视角，设定能够获得3D视图的相机坐标，相机坐标根据经验调试得到；
在3D全景图选择视角，得到对应的3D视图；
设定视角参数，视角参数包括视角瞄准方向的参考点坐标，表示为(objx，objy，objz)，设定方向盘转角α，方向盘转角α与视角参数的关系表示为：
其中，e取决于初始视角，f取决于视图的可视范围；
根据方向盘转角α与视角参数的关系，使得所选视角下的3D视图能够根据方向盘转动而转动。
2.根据权利要求1所述的一种在全景环视系统中实现视图随动的方法，其特征在于，还包括以下步骤：
步骤4：获取车辆的转弯角度，结合转弯角度和车辆的参数信息计算得到车辆的轨迹线起点的转弯半径和初始转弯角度；
步骤5：计算轨迹线上点在世界坐标系下的坐标；
步骤6：根据3D视图中像素和实际距离的比例关系，计算轨迹线上点在3D视图上的图像坐标；
步骤7：根据轨迹线上点的图像坐标，在3D视图上绘制轨迹线；
步骤8：当方向盘的转角度发生变化时，根据变化后的方向盘的旋转角度，重复执行步骤3至步骤7，更新3D视图和轨迹线。
3.根据权利要求1所述的一种在全景环视系统中实现视图随动的方法，其特征在于：在步骤1中，实时采集全景环视系统的前、后、左、右视摄像头所摄图像，对采集到的图像进行标定，获取前、后、左、右视摄像头的内外参数，获取摄像头的内参包括相机焦距、畸变参数、变换矩阵；获取摄像头的外参包括摄像头的坐标位置以及以光轴为中心的旋转角、横向摆角、纵向俯仰角度。
4.根据权利要求3所述的一种在全景环视系统中实现视图随动的方法，其特征在于：采集全景环视系统的摄像头所摄图像，通过得到的全景环视系统的摄像头的内外参数计算所摄图像的世界坐标，使用纹理贴图将全景环视系统摄像头所摄图像贴到3D投影模型上，拼接后得到3D全景图。
5.根据权利要求2所述的一种在全景环视系统中实现视图随动的方法，其特征在于：
在步骤4中，获取的车辆的参数信息包括车辆的长度、宽度、前悬、后悬、轴距，通过如下公式计算轨迹线起点的转弯半径：
R＝轴距/tan(θ)
LH＝前悬+轴距+D1
LW＝R+VW/2+D2
LR＝sqrt(LH·LH+LW·LW)
其中，R为车辆转弯半径，θ为车辆的转弯角度；
LH为轨迹线起点到转弯原点的纵向距离，D1轨迹线起点到车身的纵向盲区距离；LW为轨迹线起点到转弯原点的横向距离，VL为车辆长度，VW为车辆宽度，D2为轨迹线起点到车身的横向盲区距离；LR为轨迹线起点的转弯半径；
通过如下公式计算初始转弯角度：
Lθ＝asin(LH/LR)
其中，Lθ为轨迹线起点的转弯初始角度，asin为计算反正弦的函数。
6.根据权利要求5所述的一种在全景环视系统中实现视图随动的方法，其特征在于：在步骤5中，计算轨迹线上点在世界坐标系下的坐标具体如下：
在以汽车转弯原点为原点，轨迹线起点的转弯半径LR为半径的圆弧上，进行坐标点的密集采样，以得到轨迹线上除轨迹线起点以外的点到转弯原点的距离，通过如下公式表示：
Lθ’＝Lθ+k·Δθ
LH’＝LR·sin(Lθ’)
LW’＝LR·cos(Lθ’)
其中，Lθ’为轨迹线上除轨迹线起点以外的点的转弯角度，Lθ为轨迹线起点的转弯初始角度，Δθ为角度增量步长，k表示第k个采样点，k为自然数；LH’为轨迹线上除轨迹线起点以外的点到转弯原点的纵向距离，LW’为轨迹线上除轨迹线起点以外的点到转弯原点的横向距离；
轨迹线的每个采样点，其在世界坐标系下的坐标(X,Y,Z)计算公式如下：
X＝R-LW’
Y＝LH’-(前悬+轴距-VL/2)
Z＝0
其中，LH’为轨迹线上除轨迹线起点以外的点到转弯原点的纵向距离，LW’为轨迹线上除轨迹线起点以外的点到转弯原点的横向距离，VL为车辆长度，R为车辆转弯半径。
7.根据权利要求6所述的一种在全景环视系统中实现视图随动的方法，其特征在于：步骤6具体包括以下步骤：
建立3D视图的图像坐标系，以3D视图的左上第一个像素为原点，建立包括V轴和U轴的坐标系，平面内向下为U轴正方向，平面内向右为V轴正方向；
轨迹线上的采样点在3D视图中的图像坐标(U,V)按照如下公式计算：
U＝H/2-Y/Y_ratio
V＝W/2+X/X_ratio
其中，W，H分别为3D视图的宽和高，单位为像素，X_ratio,Y_ratio分别为横向和纵向上像素和实际距离的比例关系，单位为毫米/像素。
8.一种在全景环视系统中实现视图随动的装置，其特征在于，其包括：包括处理器、存储器以及程序；
所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行权利要求1所述的在全景环视系统中实现视图随动的方法。
9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质被配置成存储程序，所述程序被配置成执行权利要求1所述的在全景环视系统中实现视图随动的方法。
CN202010856570.6A 2020-08-24 2020-08-24 一种在全景环视系统中实现视图随动的方法、装置及介质 Active CN111968184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010856570.6A CN111968184B (zh) 2020-08-24 2020-08-24 一种在全景环视系统中实现视图随动的方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010856570.6A CN111968184B (zh) 2020-08-24 2020-08-24 一种在全景环视系统中实现视图随动的方法、装置及介质

Publications (2)

Publication Number Publication Date
CN111968184A CN111968184A (zh) 2020-11-20
CN111968184B true CN111968184B (zh) 2024-04-02

Family

ID=73390110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010856570.6A Active CN111968184B (zh) 2020-08-24 2020-08-24 一种在全景环视系统中实现视图随动的方法、装置及介质

Country Status (1)

Country Link
CN (1) CN111968184B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022222121A1 (zh) * 2021-04-23 2022-10-27 华为技术有限公司 一种全景图像的生成方法、车载图像处理装置及车辆

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006022630A1 (en) * 2004-07-26 2006-03-02 Silicon Optix, Inc. Panoramic vision system and method
KR20090012290A (ko) * 2007-07-29 2009-02-03 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
CN102862531A (zh) * 2012-10-23 2013-01-09 浙江海康集团有限公司 一种轨迹连续变化的可视泊车辅助系统及其控制方法
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
CN106846410A (zh) * 2016-12-20 2017-06-13 北京鑫洋泉电子科技有限公司 基于三维的行车环境成像方法及装置
CN106994936A (zh) * 2016-01-22 2017-08-01 广州求远电子科技有限公司 一种3d全景泊车辅助系统
CN107240065A (zh) * 2017-04-19 2017-10-10 中科院微电子研究所昆山分所 一种3d全景图像生成系统和方法
CN107792179A (zh) * 2017-09-27 2018-03-13 浙江零跑科技有限公司 一种基于车载环视系统的泊车引导方法
CN108269235A (zh) * 2018-02-26 2018-07-10 江苏裕兰信息科技有限公司 一种基于opengl的车载环视多视角全景生成方法
CN108638999A (zh) * 2018-05-16 2018-10-12 浙江零跑科技有限公司 一种基于360度环视输入的防碰撞预警系统及方法
CN110027552A (zh) * 2017-12-27 2019-07-19 丰田自动车株式会社 图像显示装置
WO2019192358A1 (zh) * 2018-04-02 2019-10-10 杭州海康威视数字技术股份有限公司 一种全景视频合成方法、装置及电子设备
CN110458884A (zh) * 2019-08-16 2019-11-15 北京茵沃汽车科技有限公司 在全景图中生成车辆运行动态轨迹线的方法、装置、介质
CN110544276A (zh) * 2019-08-19 2019-12-06 西安交通大学 最小二乘法椭圆拟合活塞裙部最大点处尺寸测量方法
CN111462172A (zh) * 2020-02-24 2020-07-28 西安电子科技大学 一种基于行驶场景估计的三维全景影像自适应生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
EP2437494B1 (en) * 2009-05-25 2017-10-11 Panasonic Intellectual Property Management Co., Ltd. Device for monitoring area around vehicle
US10434877B2 (en) * 2016-05-05 2019-10-08 Via Technologies, Inc. Driver-assistance method and a driver-assistance apparatus
US10475154B2 (en) * 2017-08-11 2019-11-12 Caterpillar Inc. Machine surround view system and method for generating 3-dimensional composite surround view using same

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006022630A1 (en) * 2004-07-26 2006-03-02 Silicon Optix, Inc. Panoramic vision system and method
KR20090012290A (ko) * 2007-07-29 2009-02-03 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
CN102862531A (zh) * 2012-10-23 2013-01-09 浙江海康集团有限公司 一种轨迹连续变化的可视泊车辅助系统及其控制方法
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
CN106994936A (zh) * 2016-01-22 2017-08-01 广州求远电子科技有限公司 一种3d全景泊车辅助系统
CN106846410A (zh) * 2016-12-20 2017-06-13 北京鑫洋泉电子科技有限公司 基于三维的行车环境成像方法及装置
CN107240065A (zh) * 2017-04-19 2017-10-10 中科院微电子研究所昆山分所 一种3d全景图像生成系统和方法
CN107792179A (zh) * 2017-09-27 2018-03-13 浙江零跑科技有限公司 一种基于车载环视系统的泊车引导方法
CN110027552A (zh) * 2017-12-27 2019-07-19 丰田自动车株式会社 图像显示装置
CN108269235A (zh) * 2018-02-26 2018-07-10 江苏裕兰信息科技有限公司 一种基于opengl的车载环视多视角全景生成方法
WO2019192358A1 (zh) * 2018-04-02 2019-10-10 杭州海康威视数字技术股份有限公司 一种全景视频合成方法、装置及电子设备
CN108638999A (zh) * 2018-05-16 2018-10-12 浙江零跑科技有限公司 一种基于360度环视输入的防碰撞预警系统及方法
CN110458884A (zh) * 2019-08-16 2019-11-15 北京茵沃汽车科技有限公司 在全景图中生成车辆运行动态轨迹线的方法、装置、介质
CN110544276A (zh) * 2019-08-19 2019-12-06 西安交通大学 最小二乘法椭圆拟合活塞裙部最大点处尺寸测量方法
CN111462172A (zh) * 2020-02-24 2020-07-28 西安电子科技大学 一种基于行驶场景估计的三维全景影像自适应生成方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"360 surround view system with parking guidance";Yu M等;《SAE International Journal of Commerical Vehicles》(第7期);第19-24页 *
"360度3D全景环视系统天迈科技对车辆盲区技术的思考与应用";无;《城市公共交通》(第8期);第121-122页 *
"Learning driving models with a surround-view camera system and a route planner";Hecker S等;《arxiv》;第1-12页 *
"一种自适应多模式车载全景显示模型";周厚达等;《复旦学报(自然科学版)》;第58卷(第5期);第613-621页 *
"车载3D全景模型及纹理映射算法";刘志等;《计算机工程与设计》;第38卷(第1期);第172-176页 *

Also Published As

Publication number Publication date
CN111968184A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN108204822B (zh) 一种基于adas的车辆ar导航系统及方法
CN110116676B (zh) 车辆-拖车后视视觉系统和方法
CN110381255B (zh) 应用360全景环视技术的车载视频监控系统及方法
CN108263283A (zh) 多编组变角度车辆全景环视系统标定及拼接方法
CN109087251B (zh) 一种车载全景图像显示方法及系统
JP3972722B2 (ja) 車載画像処理装置
CN110719411B (zh) 车辆的全景环视图像生成方法及相关设备
CN110363085B (zh) 一种基于铰接角补偿的重型铰接车环视实现方法
CN109118547A (zh) 多摄像头联合标定系统和方法
CN110458884A (zh) 在全景图中生成车辆运行动态轨迹线的方法、装置、介质
CN112348741A (zh) 全景图像拼接方法、设备及存储介质和显示方法及系统
CN106855999A (zh) 汽车环视图像的生成方法及装置
CN112937445B (zh) 360°车辆安全辅助方法及车载系统
CN111968184B (zh) 一种在全景环视系统中实现视图随动的方法、装置及介质
CN108174089B (zh) 基于双目摄像头的倒车影像拼接方法和装置
JP2019188958A (ja) 駐車支援装置
CN210139817U (zh) 汽车增强现实显示系统及汽车
CN110751598A (zh) 车辆铰接点坐标标定方法、装置、计算机设备和存储介质
CN113432889B (zh) 车辆的全景影像泊车测评方法、装置、车辆及存储介质
CN114290995B (zh) 透明a柱的实现方法、装置、汽车及介质
CN114734989A (zh) 一种基于环视视觉的辅助泊车装置及方法
CN112389459B (zh) 基于全景环视的人机交互方法及装置
CN112308986A (zh) 车载图像拼接方法、系统以及装置
CN112758099A (zh) 辅助驾驶方法、装置、计算机设备和可读存储介质
CN113658262A (zh) 相机外参标定方法、装置、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant