CN108269235A - 一种基于opengl的车载环视多视角全景生成方法 - Google Patents
一种基于opengl的车载环视多视角全景生成方法 Download PDFInfo
- Publication number
- CN108269235A CN108269235A CN201810158369.3A CN201810158369A CN108269235A CN 108269235 A CN108269235 A CN 108269235A CN 201810158369 A CN201810158369 A CN 201810158369A CN 108269235 A CN108269235 A CN 108269235A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- camera
- world coordinate
- vehicle
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000000007 visual effect Effects 0.000 title abstract description 8
- 239000013598 vector Substances 0.000 claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims abstract description 25
- 238000013519 translation Methods 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000009877 rendering Methods 0.000 claims abstract description 7
- 239000004744 fabric Substances 0.000 claims description 35
- 230000009466 transformation Effects 0.000 claims description 26
- 230000004927 fusion Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000007500 overflow downdraw method Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000011664 signaling Effects 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims 1
- 238000007654 immersion Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 description 8
- 238000000354 decomposition reaction Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于OPENGL的车载环视多视角全景生成方法。该方法通过分别安装于车辆前后左右的四鱼眼相机采集包含特定标定物的图像，采用直接线变换方法(DLT)分别计算四相机坐标系及世界坐标系的单应性矩阵H，并通过罗德里格斯变换得到相机坐标系及世界坐标系之间的欧拉角及平移向量。在此基础上，以车辆与地面投影为中心建立平底碗状模型，通过标定的相机内外参数确立该模型中关键点及鱼眼相机图像中像素点的映射关系，并据此将每一帧原始图像纹理实时映射到所述平底碗状模型上。最后，按指定路径控制虚拟观测相机的移动并对场景进行实时渲染以得到观测结果。本发明有效解决了传统2D全景远处物体拉伸严重的问题，且具有较好的沉浸感。
Description
技术领域
本发明涉及汽车电子技术领域，特别是一种基于OPENGL的车载环视多视角全景生成方法。
背景技术
近年来，随着经济的发展和人民生活水平的提高，越来越多的家庭选择汽车作为日常出行工具。然而，由于车窗及后视镜等辅助观测设备可提供的视野范围有限，经常导致一些剐蹭及碾压等悲剧的发生。
为了解决该问题，一种仅在车辆尾部安装一颗镜头的倒车辅助系统应运而生。该系统实时将尾部摄像头画面传送至车内中控屏幕，较雷达相比观测结果更为直观，可有效帮助驾驶员在倒车时快速理解周围环境，从而减少事故的发生。
然而，该系统仅消除了驾驶员的车尾部观测盲区，且仅在倒车时起到一定驾驶安全辅助作用，并未消除车辆A柱，B柱及引擎盖等部位的盲区，车辆仍存在较大的剐蹭及碰撞风险。
为了全面提升驾驶员的视野范围，使驾驶员能够更为快速的感知理解车辆周围环境，基于鱼眼镜头的2D全景泊车辅助系统应运而生。该系统利用安装于车辆前后保险杠及左右后视镜的四个鱼眼相机实时生成虚拟于车顶上方的俯视观测结果，有效减少了驾驶员的观测盲区，进一步提升了驾驶安全。
但是，由于该系统将所有物体投影到地面，当观测视野较大时，场景拉伸十分严重，驾驶员观测时很难快速理解周围场景，故该系统通常只在低速泊车时有效。当车速较高时，由于其有限的视野范围，其辅助驾驶的作用不大。
为了解决该问题，专利《用于辅助驾驶的车辆多视角全景生成方法》及专利《一种全景辅助泊车系统、装置及全景图像显示方法》等提出了基于平底球或平底碗的多视角全景生成方法，该类方法有效解决了距车身较远场景在2D全景中畸变严重的问题，将全景驾驶辅助系统的应用范围扩展至车辆快速行驶的情形。
然而，由于该类方法未将单应性矩阵转换为相机坐标系相对于世界坐标系的旋转角及平移向量，故超出地平面的部分无法通过精确计算得到，其3D全景存在较大误差。除此之外，由于该类算法在运算过程中未使用GPU，故不同3D视角间只能瞬间切换，无法实现连续观测的效果，用户的沉浸感较差。
因此，为了克服上述已有方法的缺陷，有必要提出一种基于OPENGL的多视角全景生成方法，已提升3D多视角全景的精度并提升用户的沉浸感。
发明内容
本发明拟解决传统基于CPU的3D多视角全景沉浸感较差的问题，提供一种基于OPENGL的车载环视多视角全景生成方法。
本发明为解决上述技术问题采用以下技术方案
(1)铺设标定布于车辆四周，测量并记录标定布上各特征点在世界坐标系中的三维坐标。标定布铺设：
在车辆四周按既定尺寸铺设标定布，用以确定标定布中各特征点在世界坐标系中的坐标；铺设标定布时，需精确测量标定布在世界坐标系中的位置，并记录关键的距离参数，通过该距离参数，即可精确计算标定布中各特征点在世界坐标系中的坐标。图2所示的标定布布局为标定布铺设的一种具体实施方式，但本方法所述的标定布不限于该具体形式，但需至少保证每个鱼眼相机至少可观测到4个特征点，以确保后续步骤可正确解出单应性矩阵H。
(2)手动选取或自动检测图像中标定布上的特征点，根据镜头厂商提供或手动标定计算得到的镜头畸变曲线以及其他相机参数，计算得到这些特征点所对应的相机坐标系中的入射光线向量；图像内标定布中特征点检测及入射光线计算：
为精确求解相机在世界坐标系中的具体位置，对于每个相机，需建立该相机坐标系及世界坐标系之间的方程组，将世界坐标系及图像坐标系中的特征点坐标作为已知量，带求解的相机位置及朝向作为未知量，以解方程组的方式求解世界坐标系及各相机坐标系之间的单应性矩阵H。
其中，对于图像内任一特征点像素坐标p(u,v)，根据公式(1)去除相机内切向畸变，可得切向畸变去除后特征点像素坐标p'(u',v')。
然后，根据标定得到的相机径向畸变参数或厂商提供的镜头畸变参数，即可计算得到该特征点所对应的相机坐标系中的入射向量以通过相机标定得到的径向畸变参数为例，如公式(2)所示：
其中，
公式(2)为使用相机标定得到的相机径向畸变参数求解像素点对应的入射向量所提方法不限于使用该方法。当使用镜头厂商提供的畸变曲线时，将公式(2)中曲线函数替换为查表操作即可。
(3)通过直接线变换法(Direct Line Transformation，DLT)计算得到前后左右四相机坐标系同世界坐标系间的单应性矩阵H。单应性矩阵H计算：
将世界坐标系中特征点坐标P＝(X,Y,Z)经透视变换后即可得到其相机坐标系中的坐标，通过鱼眼相机模型亦可计算得到的自动检测或手动选取像素点在相机坐标系中的坐标，分别将此二坐标视为向量，由其共线可知：
其中λ为尺度因子，H为3*3维矩阵，由共线可知两向量叉积为零向量，故有：
其中，
故将坐标带入公式(6)并展开可得
由于单应性矩阵H含八自由度(最后意为可归一化为1)以及世界坐标系中地面上Z坐标为0，故当样本点对数目为4时(世界坐标系中特征点坐标及相机坐标系中对应特征点坐标组成一个样本点对)，方程组存在唯一解。当样本点对数目大于4时，待求解方程组为超定方程组，此时该求解结果可以避免一些误检测干扰点的影响，具有更好的鲁棒性，可利用SVD分解或LU分解等方法对该方程组进行求解。当样本点对数目小于4时，方程组存在多解，故无法精确求得相机位置参数。因此，每个相机画面内至少需包含4个特征点对，以确保方程组有解。
(4)利用Rodrigues变换计算上述单应性矩阵H所对应的相机坐标系到世界坐标系的旋转角θ及平移向量t。利用Rodrigues变换计算世界坐标系到相机坐标系的旋转角θ及平移向量t：
由于单应性矩阵为描述世界坐标系到相机坐标系间投影的透视变换，故若采用此方法则无法保留3D碗状模型中超出地平面之外部分的有效像素。故而，需要将上述单应性转换为欧拉角θ及平移向量t，以确保3D全景中所有高于地平线部分像素有效保留。根据Rodrigues变换即可求得相机世界坐标系及各相机坐标系间的对应关系，反之亦可求解出相机在世界坐标系中的精确位置。此小节由于采用通用方法，故在此不再赘余。
(5)以车辆在地面投影中心为世界坐标系原点，建立平底碗状模型，并确定融合区域及融合方法。平底碗状模型的建立：
本发明采用平底碗状模型作为基础投影面。同以往2D全景采用平面作为投影面不同，该方法有效避免了2D全景投影模型中无法保留3D全景中地平面以上部分及距车较远处拉伸严重的现象，同时弥补了通过单镜头无法恢复处物体深度的弊端，在一定程度上提升了驾驶员对周围环境的快速感知能力。本发明并不限制基础投影面为平底碗模型，当底面不为平面或侧面为抛物面等模型亦可，但要确保模型的连续性。
对于相邻相机间需要进行融合的部分，可采用按角度线性融合，按x或y方向线性融合等方法。本发明不对融合方法进行限制，但需却确保融合系数的连续性及底面与立面间融合系数的连续性。
(6)利用(4)中旋转角θ及平移向量t计算平底碗状模型中各关键点与原图像素坐标的映射关系。
本发明的示例说明中，所求解参数均为世界坐标系到相机坐标系的参数变换，但该变换不限于此方向。当所求解参数为相机坐标系到世界坐标系的参数变换时，其反向变换参数的计算公式如公式(8)所示：
(7)实时获取原始鱼眼畸变图像并将其转化为纹理，利用(6)中所得到的映射关系对(5)中模型进行贴图。
根据公式(8)即可求得空间世界坐标系内任一位置在各相机坐标系中的坐标，再根据相机内参，即可求得该位置在鱼眼图像中的坐标。然后，即可使利用该变换关系，将鱼眼图像中关键点通过确定好的规则映射到(5)中碗状模型的表面，通过纹理坐标获取纹理对象中的纹理，最终显示在屏幕区域上。配置纹理间隔时，可根据GPU性能选择合理间隔，已达到更加逼真的效果。
(8)设置虚拟观测相机参数及运动路径，监测CAN或LIN信号，当检测到触发信号时，控制虚拟相机按既定路径运动并实时输出渲染结果至显示屏进行显示。
设置虚拟观测相机的起止位置、相机朝向、运动路径及速度等参数，当检测到CAN或LIN信号中对应信号触发时，控制该虚拟相机按既定的起止位置、相机朝向、速度等参数运动，并实时将观测结果渲染至输出缓存供显示屏显示。
本发明采用以上技术方案与现有技术相比，具有以下技术效果。
(1)较传统2D全景相比，有效减少了距车体较远物体的畸变，有助于驾驶员能够快速理解车辆周围环境。
(2)采用Rodrigues变换求解相机的朝向及位置，有效克服了传统基于单应性矩阵无法保留地平线以上物体的弊端，为驾驶员提供了更为宽广的视野范围。
(3)较传统基于CPU的多视角全景相比，基于OPENGL的多视角全景生成方法无需生成查找表，绝大部分操作均在GPU内完成。有效克服了当需要对车身场景进行连续变换时基于CPU的多视角全景生成方法受限于嵌入式平台有限的运算能力，无法实现动态连续观测效果的问题，提升了驾驶员的沉浸感及车身周围环境快速感知能力，进而提升了驾驶安全。
附图说明
图1是本发明的处理流程图；
图2是本发明中一种标定布铺设的具体实施方式；
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
本发明一种基于OPENGL的车载环视多视角全景生成方法，包括以下8个步骤，具体如下：(1)铺设特定的标定布于车辆四周，测量并记录标定布上各特征点在世界坐标系中的三维坐标。标定布铺设：
在车辆四周按既定尺寸铺设标定布，用以确定标定布中各特征点在世界坐标系中的坐标。铺设标定布时，需精确测量标定布在世界坐标系中的位置，并记录关键的距离参数，通过该距离参数，即可精确计算标定布中各特征点在世界坐标系中的坐标。吐2所示的标定布布局为标定布铺设的一种具体实施方式，但本方法所述的标定布不限于该具体形式，但需至少保证每个鱼眼相机至少可观测到4个特征点，以确保后续步骤可正确解出单应性矩阵H。
(2)手动选取或自动检测图像中标定布上的特征点，根据镜头厂商提供或手动标定计算得到的镜头畸变曲线以及其他相机参数，计算得到这些特征点所对应的相机坐标系中的入射光线向量；图像内标定布中特征点检测及入射光线计算：
为精确求解相机在世界坐标系中的具体位置，对于每个相机，需建立该相机坐标系及世界坐标系之间的方程组，将世界坐标系及图像坐标系中的特征点坐标作为已知量，带求解的相机位置及朝向作为未知量，以解方程组的方式求解世界坐标系及各相机坐标系之间的单应性矩阵H。
其中，对于图像内任一特征点像素坐标p(u,v)，根据公式(1)去除相机内切向畸变，可得切向畸变去除后特征点像素坐标p'(u',v')。
然后，根据标定得到的相机径向畸变参数或厂商提供的镜头畸变参数，即可计算得到该特征点所对应的相机坐标系中的入射向量以通过相机标定得到的径向畸变参数为例，如公式(2)所示：
其中，
公式(2)为使用相机标定得到的相机径向畸变参数求解像素点对应的入射向量所提方法不限于使用该方法。当使用镜头厂商提供的畸变曲线时，将公式(2)中曲线函数替换为查表操作即可。
(3)通过直接线变换法(Direct Line Transformation，DLT)计算得到前后左右四相机坐标系同世界坐标系间的单应性矩阵H。单应性矩阵H计算：
将世界坐标系中特征点坐标P＝(X,Y,Z)经透视变换后即可得到其相机坐标系中的坐标，通过鱼眼相机模型亦可计算得到的自动检测或手动选取像素点在相机坐标系中的坐标，分别将此二坐标视为向量，由其共线可知：
其中λ为尺度因子，H为3*3维矩阵，由共线可知两向量叉积为零向量，故有：
其中，
故将坐标带入公式(6)并展开可得
由于单应性矩阵H含八自由度(最后意为可归一化为1)以及世界坐标系中地面上Z坐标为0，故当样本点对数目为4时(世界坐标系中特征点坐标及相机坐标系中对应特征点坐标组成一个样本点对)，方程组存在唯一解。当样本点对数目大于4时，待求解方程组为超定方程组，此时该求解结果可以避免一些误检测干扰点的影响，具有更好的鲁棒性，可利用SVD分解或LU分解等方法对该方程组进行求解。当样本点对数目小于4时，方程组存在多解，故无法精确求得相机位置参数。因此，每个相机画面内至少需包含4个特征点对，以确保方程组有解。
(4)利用Rodrigues变换计算上述单应性矩阵H所对应的相机坐标系到世界坐标系的旋转角θ及平移向量t。利用Rodrigues变换计算世界坐标系到相机坐标系的旋转角θ及平移向量t：
由于单应性矩阵为描述世界坐标系到相机坐标系间投影的透视变换，故若采用此方法则无法保留3D碗状模型中超出地平面之外部分的有效像素。故而，需要将上述单应性转换为欧拉角θ及平移向量t，以确保3D全景中所有高于地平线部分像素有效保留。根据Rodrigues变换即可求得相机世界坐标系及各相机坐标系间的对应关系，反之亦可求解出相机在世界坐标系中的精确位置。此小节由于采用通用方法，故在此不再赘余。
(5)以车辆在地面投影中心为世界坐标系原点，建立平底碗状模型，并确定融合区域及融合方法。平底碗状模型的建立：
本发明采用平底碗状模型作为基础投影面。同以往2D全景采用平面作为投影面不同，该方法有效避免了2D全景投影模型中无法保留3D全景中地平面以上部分及距车较远处拉伸严重的现象，同时弥补了通过单镜头无法恢复处物体深度的弊端，在一定程度上提升了驾驶员对周围环境的快速感知能力。本发明并不限制基础投影面为平底碗模型，当底面不为平面或侧面为抛物面等模型亦可，但要确保模型的连续性。
对于相邻相机间需要进行融合的部分，可采用按角度线性融合，按x或y方向线性融合等方法。本发明不对融合方法进行限制，但需却确保融合系数的连续性及底面与立面间融合系数的连续性。
(6)利用(4)中旋转角θ及平移向量t计算平底碗状模型中各关键点与原图像素坐标的映射关系。
本发明的示例说明中，所求解参数均为世界坐标系到相机坐标系的参数变换，但该变换不限于此方向。当所求解参数为相机坐标系到世界坐标系的参数变换时，其反向变换参数的计算公式如公式(8)所示：
(7)实时获取原始鱼眼畸变图像并将其转化为纹理，利用(6)中所得到的映射关系对(5)中模型进行贴图。
根据公式(8)即可求得空间世界坐标系内任一位置在各相机坐标系中的坐标，再根据相机内参，即可求得该位置在鱼眼图像中的坐标。然后，即可使利用该变换关系，将鱼眼图像中关键点通过确定好的规则映射到(5)中碗状模型的表面，通过纹理坐标获取纹理对象中的纹理，最终显示在屏幕区域上。配置纹理间隔时，可根据GPU性能选择合理间隔，已达到更加逼真的效果。
(8)设置虚拟观测相机参数及运动路径，监测CAN或LIN信号，当检测到触发信号时，控制虚拟相机按既定路径运动并实时输出渲染结果至显示屏进行显示。
设置虚拟观测相机的起止位置、相机朝向、运动路径及速度等参数，当检测到CAN或LIN信号中对应信号触发时，控制该虚拟相机按既定的起止位置、相机朝向、速度等参数运动，并实时将观测结果渲染至输出缓存供显示屏显示。
本发明采用以上技术方案与现有技术相比，具有以下技术效果。
(1)较传统2D全景相比，有效减少了距车体较远物体的畸变，有助于驾驶员能够快速理解车辆周围环境。
(2)采用Rodrigues变换求解相机的朝向及位置，有效克服了传统基于单应性矩阵无法保留地平线以上物体的弊端，为驾驶员提供了更为宽广的视野范围。
(3)较传统基于CPU的多视角全景相比，基于OPENGL的多视角全景生成方法无需生成查找表，绝大部分操作均在GPU内完成。有效克服了当需要对车身场景进行连续变换时基于CPU的多视角全景生成方法受限于嵌入式平台有限的运算能力，无法实现动态连续观测效果的问题，提升了驾驶员的沉浸感及车身周围环境快速感知能力，进而提升了驾驶安全。
如图1所示，首先，根据采集得到的包含标定布的鱼眼相机原始图像及标定得到的或厂商提供的摄像机内参，通过DLT变换即可求解得到描述相机坐标系与世界坐标系之间变换关系的单应性矩阵H。然后，利用该矩阵即可求解相机的旋转角θ及平移向量t，从而有效精确的保留场景中地平面以上部分信息。进一步的，对车身周围环境采用碗状模型进行建模，并结合相机内外参确定模型及鱼眼相机原始图像间的映射关系。最后，设置虚拟相机观测及运动参数并实时获取4幅原图进行渲染，得到输出结果以进行显示。
Claims (5)
1.一种基于OPENGL的车载环视多视角全景生成方法，其特征在于，所述方法包括：
(1)铺设标定布于车辆四周，测量并记录标定布上各特征点在世界坐标系中的三维坐标；
(2)手动选取或自动检测图像中标定布上的特征点，根据镜头厂商提供或手动标定计算得到的镜头畸变曲线以及其他相机参数，计算得到这些特征点所对应的相机坐标系中的入射光线向量；
(3)通过直接线变换法计算得到前后左右四相机坐标系同世界坐标系间的单应性矩阵H；
(4)利用Rodrigues变换计算上述单应性矩阵H所对应的相机坐标系到世界坐标系的旋转角θ及平移向量t；
(5)以车辆在地面投影中心为世界坐标系原点，建立平底碗状模型，并确定融合区域及融合方法；
(6)利用(4)中旋转角θ及平移向量t计算平底碗状模型中各关键点与原图像素坐标的映射关系；
(7)实时获取原始鱼眼畸变图像并将其转化为纹理，利用(6)中所得到的映射关系对(5)中模型进行贴图；
(8)设置虚拟观测相机参数及运动路径，监测CAN或LIN信号，当检测到触发信号时，控制虚拟相机按既定路径运动并实时输出渲染结果至显示屏进行显示。
2.根据权利要求1所述的一种基于OPENGL的车载环视多视角全景生成方法，其特征在于，所述步骤(1)中，在车辆四周按既定尺寸铺设标定布，用以确定标定布中各特征点在世界坐标系中的坐标；铺设标定布时，需精确测量标定布在世界坐标系中的位置，并记录关键的距离参数，通过该距离参数，即可精确计算标定布中各特征点在世界坐标系中的坐标。
3.根据权利要求1所述的一种基于OPENGL的车载环视多视角全景生成方法，其特征在于，所述步骤(2)中，为精确求解相机在世界坐标系中的具体位置，对于每个相机，需建立该相机坐标系及世界坐标系之间的方程组，将世界坐标系及图像坐标系中的特征点坐标作为已知量，带求解的相机位置及朝向作为未知量，以解方程组的方式求解世界坐标系及各相机坐标系之间的单应性矩阵H。
4.根据权利要求1所述的一种基于OPENGL的车载环视多视角全景生成方法，其特征在于，所述步骤(3)中，将世界坐标系中特征点坐标P＝(X,Y,Z)经透视变换后即可得到其相机坐标系中的坐标，通过鱼眼相机模型亦可计算得到的自动检测或手动选取像素点在相机坐标系中的坐标，分别将此二坐标视为向量。
5.根据权利要求1所述的一种基于OPENGL的车载环视多视角全景生成方法，其特征在于，所述步骤(8)中，设置虚拟观测相机的起止位置、相机朝向、运动路径及速度等参数，当检测到CAN或LIN信号中对应信号触发时，控制该虚拟相机按既定的起止位置、相机朝向、速度等参数运动，并实时将观测结果渲染至输出缓存供显示屏显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810158369.3A CN108269235A (zh) | 2018-02-26 | 2018-02-26 | 一种基于opengl的车载环视多视角全景生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810158369.3A CN108269235A (zh) | 2018-02-26 | 2018-02-26 | 一种基于opengl的车载环视多视角全景生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108269235A true CN108269235A (zh) | 2018-07-10 |
Family
ID=62774307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810158369.3A Withdrawn CN108269235A (zh) | 2018-02-26 | 2018-02-26 | 一种基于opengl的车载环视多视角全景生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108269235A (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509153A (zh) * | 2019-01-24 | 2019-03-22 | 北京大椽科技有限公司 | 一种拖挂车图像的全景拼接方法及系统 |
| CN109741456A (zh) * | 2018-12-17 | 2019-05-10 | 深圳市航盛电子股份有限公司 | 基于gpu并行运算的3d环视车辆辅助驾驶方法及系统 |
| CN109754434A (zh) * | 2018-12-27 | 2019-05-14 | 歌尔科技有限公司 | 相机标定方法、装置、用户设备及存储介质 |
| CN110111393A (zh) * | 2019-03-31 | 2019-08-09 | 惠州市德赛西威汽车电子股份有限公司 | 一种汽车全景标定方法、装置及系统 |
| CN110381255A (zh) * | 2019-07-29 | 2019-10-25 | 上海通立信息科技有限公司 | 应用360全景环视技术的车载视频监控系统及方法 |
| CN110930312A (zh) * | 2018-09-19 | 2020-03-27 | 驭势（上海）汽车科技有限公司 | 一种用于生成鱼眼相机图像的方法与设备 |
| CN111275621A (zh) * | 2020-01-17 | 2020-06-12 | 中南大学 | 一种行车环视系统中全景图生成方法、系统及存储介质 |
| CN111284503A (zh) * | 2020-03-10 | 2020-06-16 | 宁波远景汽车零部件有限公司 | 一种汽车安全出行装置 |
| CN111462172A (zh) * | 2020-02-24 | 2020-07-28 | 西安电子科技大学 | 一种基于行驶场景估计的三维全景影像自适应生成方法 |
| CN111540022A (zh) * | 2020-05-14 | 2020-08-14 | 深圳市艾为智能有限公司 | 一种基于虚拟相机的图像一致化方法 |
| CN111627100A (zh) * | 2020-04-09 | 2020-09-04 | 浙江大学 | 一种用于评价摄影测量精度的数值模拟方法 |
| CN111731190A (zh) * | 2020-07-24 | 2020-10-02 | 展讯通信(天津)有限公司 | 车载avm的显示方法、系统、电子设备及存储介质 |
| CN111968184A (zh) * | 2020-08-24 | 2020-11-20 | 北京茵沃汽车科技有限公司 | 一种在全景环视系统中实现视图随动的方法、装置及介质 |
| CN112967173A (zh) * | 2019-12-12 | 2021-06-15 | 杭州海康威视数字技术股份有限公司 | 一种图像生成方法、装置及系统 |
| CN113065999A (zh) * | 2019-12-16 | 2021-07-02 | 杭州海康威视数字技术股份有限公司 | 车载全景图生成方法、装置、图像处理设备及存储介质 |
| CN113066158A (zh) * | 2019-12-16 | 2021-07-02 | 杭州海康威视数字技术股份有限公司 | 一种车载环视方法及装置 |
| CN113313813A (zh) * | 2021-05-12 | 2021-08-27 | 武汉极目智能技术有限公司 | 一种可主动预警的车载3d全景环视系统 |
| CN113327292A (zh) * | 2021-06-11 | 2021-08-31 | 杭州鸿泉物联网技术股份有限公司 | 车载环视设备标定方法及装置 |
| CN113345074A (zh) * | 2021-06-07 | 2021-09-03 | 苏州易航远智智能科技有限公司 | 一种车载3d环视影像显示方法 |
| CN113362232A (zh) * | 2021-08-09 | 2021-09-07 | 湖北亿咖通科技有限公司 | 车辆全景环视图像生成方法和系统 |
| CN113496520A (zh) * | 2020-04-02 | 2021-10-12 | 北京四维图新科技股份有限公司 | 摄像机转俯视图的方法、装置及存储介质 |
| CN113936101A (zh) * | 2021-10-18 | 2022-01-14 | 北京茵沃汽车科技有限公司 | 在3d全景图的接缝区域内还原消失物体的方法、装置 |
| CN118570060A (zh) * | 2024-07-09 | 2024-08-30 | 比亚迪股份有限公司 | 全景图像的生成方法、设备、介质、产品和车辆 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101425181A (zh) * | 2008-12-15 | 2009-05-06 | 浙江大学 | 一种全景视觉辅助泊车系统的标定方法 |
| CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
| KR20150146071A (ko) * | 2014-06-20 | 2015-12-31 | 주식회사 만도 | 2채널 광각 렌즈 카메라를 이용한 차량 영상 기록 장치 및 방법 |
| CN105894549A (zh) * | 2015-10-21 | 2016-08-24 | 乐卡汽车智能科技（北京）有限公司 | 一种全景辅助泊车系统、装置及全景图像显示方法 |
| CN106570938A (zh) * | 2016-10-21 | 2017-04-19 | 哈尔滨工业大学深圳研究生院 | 基于opengl 的全景监控方法及系统 |
| CN107244292A (zh) * | 2016-04-08 | 2017-10-13 | 鹰驾科技（深圳）有限公司 | 多视角汽车全景影像显示及记录系统 |
-
2018
- 2018-02-26 CN CN201810158369.3A patent/CN108269235A/zh not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101425181A (zh) * | 2008-12-15 | 2009-05-06 | 浙江大学 | 一种全景视觉辅助泊车系统的标定方法 |
| CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
| KR20150146071A (ko) * | 2014-06-20 | 2015-12-31 | 주식회사 만도 | 2채널 광각 렌즈 카메라를 이용한 차량 영상 기록 장치 및 방법 |
| CN105894549A (zh) * | 2015-10-21 | 2016-08-24 | 乐卡汽车智能科技（北京）有限公司 | 一种全景辅助泊车系统、装置及全景图像显示方法 |
| CN107244292A (zh) * | 2016-04-08 | 2017-10-13 | 鹰驾科技（深圳）有限公司 | 多视角汽车全景影像显示及记录系统 |
| CN106570938A (zh) * | 2016-10-21 | 2017-04-19 | 哈尔滨工业大学深圳研究生院 | 基于opengl 的全景监控方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 丁鑫: "全景视觉泊车辅助系统研究", 《中国优秀硕士学位论文全文数据库》 * |
| 赵凯: "全景可视化辅助泊车系统研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930312A (zh) * | 2018-09-19 | 2020-03-27 | 驭势（上海）汽车科技有限公司 | 一种用于生成鱼眼相机图像的方法与设备 |
| CN109741456A (zh) * | 2018-12-17 | 2019-05-10 | 深圳市航盛电子股份有限公司 | 基于gpu并行运算的3d环视车辆辅助驾驶方法及系统 |
| CN109754434A (zh) * | 2018-12-27 | 2019-05-14 | 歌尔科技有限公司 | 相机标定方法、装置、用户设备及存储介质 |
| CN109754434B (zh) * | 2018-12-27 | 2023-08-29 | 歌尔科技有限公司 | 相机标定方法、装置、用户设备及存储介质 |
| CN109509153A (zh) * | 2019-01-24 | 2019-03-22 | 北京大椽科技有限公司 | 一种拖挂车图像的全景拼接方法及系统 |
| CN110111393A (zh) * | 2019-03-31 | 2019-08-09 | 惠州市德赛西威汽车电子股份有限公司 | 一种汽车全景标定方法、装置及系统 |
| CN110111393B (zh) * | 2019-03-31 | 2023-10-03 | 惠州市德赛西威汽车电子股份有限公司 | 一种汽车全景标定方法、装置及系统 |
| CN110381255A (zh) * | 2019-07-29 | 2019-10-25 | 上海通立信息科技有限公司 | 应用360全景环视技术的车载视频监控系统及方法 |
| CN110381255B (zh) * | 2019-07-29 | 2021-08-31 | 上海通立信息科技有限公司 | 应用360全景环视技术的车载视频监控系统及方法 |
| CN112967173B (zh) * | 2019-12-12 | 2023-05-26 | 杭州海康威视数字技术股份有限公司 | 一种图像生成方法、装置及系统 |
| CN112967173A (zh) * | 2019-12-12 | 2021-06-15 | 杭州海康威视数字技术股份有限公司 | 一种图像生成方法、装置及系统 |
| CN113066158A (zh) * | 2019-12-16 | 2021-07-02 | 杭州海康威视数字技术股份有限公司 | 一种车载环视方法及装置 |
| CN113066158B (zh) * | 2019-12-16 | 2023-03-10 | 杭州海康威视数字技术股份有限公司 | 一种车载环视方法及装置 |
| CN113065999A (zh) * | 2019-12-16 | 2021-07-02 | 杭州海康威视数字技术股份有限公司 | 车载全景图生成方法、装置、图像处理设备及存储介质 |
| CN111275621A (zh) * | 2020-01-17 | 2020-06-12 | 中南大学 | 一种行车环视系统中全景图生成方法、系统及存储介质 |
| CN111462172B (zh) * | 2020-02-24 | 2023-03-24 | 西安电子科技大学 | 一种基于行驶场景估计的三维全景影像自适应生成方法 |
| CN111462172A (zh) * | 2020-02-24 | 2020-07-28 | 西安电子科技大学 | 一种基于行驶场景估计的三维全景影像自适应生成方法 |
| CN111284503A (zh) * | 2020-03-10 | 2020-06-16 | 宁波远景汽车零部件有限公司 | 一种汽车安全出行装置 |
| CN113496520B (zh) * | 2020-04-02 | 2024-05-28 | 北京四维图新科技股份有限公司 | 摄像机转俯视图的方法、装置及存储介质 |
| CN113496520A (zh) * | 2020-04-02 | 2021-10-12 | 北京四维图新科技股份有限公司 | 摄像机转俯视图的方法、装置及存储介质 |
| CN111627100A (zh) * | 2020-04-09 | 2020-09-04 | 浙江大学 | 一种用于评价摄影测量精度的数值模拟方法 |
| CN111540022B (zh) * | 2020-05-14 | 2024-04-19 | 深圳市艾为智能有限公司 | 一种基于虚拟相机的图像一致化方法 |
| CN111540022A (zh) * | 2020-05-14 | 2020-08-14 | 深圳市艾为智能有限公司 | 一种基于虚拟相机的图像一致化方法 |
| CN111731190A (zh) * | 2020-07-24 | 2020-10-02 | 展讯通信(天津)有限公司 | 车载avm的显示方法、系统、电子设备及存储介质 |
| CN111968184B (zh) * | 2020-08-24 | 2024-04-02 | 北京茵沃汽车科技有限公司 | 一种在全景环视系统中实现视图随动的方法、装置及介质 |
| CN111968184A (zh) * | 2020-08-24 | 2020-11-20 | 北京茵沃汽车科技有限公司 | 一种在全景环视系统中实现视图随动的方法、装置及介质 |
| CN113313813A (zh) * | 2021-05-12 | 2021-08-27 | 武汉极目智能技术有限公司 | 一种可主动预警的车载3d全景环视系统 |
| CN113345074A (zh) * | 2021-06-07 | 2021-09-03 | 苏州易航远智智能科技有限公司 | 一种车载3d环视影像显示方法 |
| CN113327292A (zh) * | 2021-06-11 | 2021-08-31 | 杭州鸿泉物联网技术股份有限公司 | 车载环视设备标定方法及装置 |
| CN113362232A (zh) * | 2021-08-09 | 2021-09-07 | 湖北亿咖通科技有限公司 | 车辆全景环视图像生成方法和系统 |
| CN113936101A (zh) * | 2021-10-18 | 2022-01-14 | 北京茵沃汽车科技有限公司 | 在3d全景图的接缝区域内还原消失物体的方法、装置 |
| CN118570060A (zh) * | 2024-07-09 | 2024-08-30 | 比亚迪股份有限公司 | 全景图像的生成方法、设备、介质、产品和车辆 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108269235A (zh) | 一种基于opengl的车载环视多视角全景生成方法 | |
| US9858639B2 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
| EP1462762B1 (en) | Circumstance monitoring device of a vehicle | |
| JP2021170826A (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
| JP6603094B2 (ja) | キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム | |
| US20140114534A1 (en) | Dynamic rearview mirror display features | |
| US7145519B2 (en) | Image display apparatus, method, and program for automotive vehicle | |
| US8446268B2 (en) | System for displaying views of vehicle and its surroundings | |
| US20150042799A1 (en) | Object highlighting and sensing in vehicle image display systems | |
| JP2018531530A6 (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
| EP2523163A1 (en) | Method and program for calibrating a multicamera system | |
| JP2018531530A5 (zh) | ||
| CN111559314B (zh) | 深度与图像信息融合的3d增强全景环视系统及实现方法 | |
| CN102163331A (zh) | 采用标定方法的图像辅助系统 | |
| JP4796676B2 (ja) | 車両上方視点画像表示装置 | |
| CN102158684A (zh) | 具有图像增强功能的自适应场景图像辅助系统 | |
| JP2004240480A (ja) | 運転支援装置 | |
| CN102196242A (zh) | 具有图像增强功能的自适应场景图像辅助系统 | |
| JP4192680B2 (ja) | 移動体周辺監視装置 | |
| CN103802725A (zh) | 一种新的车载驾驶辅助图像生成方法 | |
| JP4154980B2 (ja) | 移動体周辺監視装置 | |
| JP2010028803A (ja) | 駐車補助のための画像表示方法 | |
| CN107244292A (zh) | 多视角汽车全景影像显示及记录系统 | |
| CN109345591A (zh) | 一种车辆自身姿态检测方法和装置 | |
| JP4207519B2 (ja) | 移動体周辺監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180710 |