CN113870161A - 基于人工智能的车载3d环视拼接方法及装置 - Google Patents
基于人工智能的车载3d环视拼接方法及装置 Download PDFInfo
- Publication number
- CN113870161A CN113870161A CN202111070005.8A CN202111070005A CN113870161A CN 113870161 A CN113870161 A CN 113870161A CN 202111070005 A CN202111070005 A CN 202111070005A CN 113870161 A CN113870161 A CN 113870161A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- camera
- dimensional
- curved surface
- artificial intelligence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 38
- 238000013507 mapping Methods 0.000 claims abstract description 67
- 238000009877 rendering Methods 0.000 claims abstract description 32
- 230000004927 fusion Effects 0.000 claims description 17
- 239000000203 mixture Substances 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 239000007787 solid Substances 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于人工智能的车载3D环视拼接方法及装置，该方法包括：对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。本发明可以将车辆周围立体环境清晰的显示出来，扩大了车载环视系统的显示范围，减小车辆周围人物拉伸，不需要生成畸变矫正图、俯视图，降低时间复杂度，既提高了显示效果也节省了存储资源。
Description
技术领域
本发明涉及辅助驾驶技术领域，尤其涉及一种基于人工智能的车载3D环视拼接方法及装置。
背景技术
随着社会的发展，车辆数目增加，带来的交通事故也随之增加，事故的频繁发生，严重影响人们日常生活，甚至带来生命安全问题。因此，高级驾驶辅助系统应用而生，其中包括全景驾驶辅助系统，通过生成车辆周围的全景图像，可以有效辅助驾驶员判断车身周围环境，从而提高驾驶安全性。在此基础上，还用于为盲区监测、自动泊车、车道辅助和车距检测等提供数据。
在现有全景驾驶辅助系统中，全景图像生成一般是先对二维平面进行畸变矫正获得矫正图，再透视变换为俯视图，最后，俯视图与立体模型进行纹理映射，经过渲染得到全景图像。由于俯视视角下的视野范围有限，显示的车辆周围人物拉伸变形严重，导致现有3D环视的显示效果较差，并且生成畸变矫正图以及俯视图占用了一些存储资源。
因此，现在亟需一种基于人工智能的车载3D环视拼接方法及装置来解决上述问题。
发明内容
针对现有技术存在的问题，本发明提供一种基于人工智能的车载3D环视拼接方法及装置。
本发明提供一种基于人工智能的车载3D环视拼接方法，包括：
对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；
根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；
基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。
根据本发明提供的一种基于人工智能的车载3D环视拼接方法，所述对车辆前后左右四路摄像头标定外参，包括：
计算摄像头位置的世界坐标系Pw；
对世界坐标系Pw做旋转R后平移T至相机坐标系，重合于相机坐标系，其中，R为外参旋转矩阵，T为外参平移矩阵。
根据本发明提供的一种基于人工智能的车载3D环视拼接方法，所述对于每一路摄像头建立一个对应的立体网格曲面，包括：
基于渐近角度拼缝融合算法，对两个曲面的重叠区域进行融合算法处理。
根据本发明提供的一种基于人工智能的车载3D环视拼接方法，所述融合算法处理的公式为：
blendr＝1-blendl；
其中，blendl表示重叠区域的左侧曲面，blendr表示重叠区域的右侧曲面，F表示权重值，θ表示当前角度值，Angleoffset表示预设的融合区域角度值。
根据本发明提供的一种基于人工智能的车载3D环视拼接方法，所述对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图，包括：
根据车身状态信息，获取当前时刻的车辆行驶状态信息，并确定所述车辆行驶状态信息对应的全景辅助视角；
根据所述全景辅助视角渲染当前画面，显示出3D环视全景视图。
根据本发明提供的一种基于人工智能的车载3D环视拼接方法，所述对每个立体网格曲面上的映射区域进行渲染，包括：
根据图像像素坐标到曲面坐标的映射关系，将每个摄像头采集的实时图像以纹理方式贴到对应的立体网格曲面上，进行渲染显示。
本发明还提供一种基于人工智能的车载3D环视拼接装置，包括：
标定模块，用于对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；
映射模块，用于根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；
视图模块，用于基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于人工智能的车载3D环视拼接方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于人工智能的车载3D环视拼接方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于人工智能的车载3D环视拼接方法的步骤。
本发明提供的基于人工智能的车载3D环视拼接方法及装置，通过对车辆前后左右四路摄像头进行标定外参；通过摄像头标定的外参、预先获取的摄像头内参和三维立体方程模型，建立世界坐标点到图像像素坐标点映射关系；对于四路摄像头建立四个立体网格曲面，对每个网格曲面上的映射像素区域进行渲染，显示出3D环视全景视图；采用该方案可以将车辆周围立体环境清晰的显示出来，扩大了车载环视系统的显示范围，减小车辆周围人物拉伸，不需要生成畸变矫正图、俯视图，降低时间复杂度，既提高了显示效果也节省了存储资源。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于人工智能的车载3D环视拼接方法的流程示意图；
图2为本发明提供的3D曲面网格模型的示意图；
图3为本发明提供的2D到3D映射关系的示意图；
图4为本发明提供的3D观察视角的示意图；
图5为本发明提供的基于人工智能的车载3D环视拼接装置的结构示意图；
图6为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的基于人工智能的车载3D环视拼接方法的流程示意图，如图1所示，本发明提供了一种基于人工智能的车载3D环视拼接方法，包括：
步骤101，对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；
步骤102，根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；
步骤103，基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。
在本发明中，首先，需要对布置在车辆周围的四路摄像头进行外参标定，根据图像中像素点和世界坐标点的关系，需对摄像头建立该相机坐标系及世界坐标系之间的方程组，从而计算出摄像头安装参数。
具体的，在步骤101中，通过对车辆前后左右的四路摄像头进行标定外参；通过摄像头标定的外参、预先获取的摄像头内参和三维立体方程模型，然后在步骤102中，建立世界坐标点到图像像素坐标点映射关系；最后，在步骤103中，对每个网格曲面上的映射像素区域进行渲染，显示出3D环视全景视图。需要说明的是，在另一实施例中，还可以在对摄像头外参进行标定时，同时去获取摄像头内参以及三维立体方程模型。
本发明提供的基于人工智能的车载3D环视拼接方法，通过对车辆前后左右四路摄像头进行标定外参；通过摄像头标定的外参、预先获取的摄像头内参和三维立体方程模型，建立世界坐标点到图像像素坐标点映射关系；对于四路摄像头建立四个立体网格曲面，对每个网格曲面上的映射像素区域进行渲染，显示出3D环视全景视图；采用该方案可以将车辆周围立体环境清晰的显示出来，扩大了车载环视系统的显示范围，减小车辆周围人物拉伸，不需要生成畸变矫正图、俯视图，降低时间复杂度，既提高了显示效果也节省了存储资源。
在上述实施例的基础上，所述对车辆前后左右四路摄像头标定外参，包括
计算摄像头位置的世界坐标系Pw；
对世界坐标系Pw做旋转R后平移T至相机坐标系，重合于相机坐标系，其中，R为外参旋转矩阵，T为外参平移矩阵。
在本发明中，首先计算每个摄像头位置的世界坐标系Pw，然后再对每个摄像头位置进行旋转R后平移T的处理，使得每个摄像头位置的从世界坐标系Pw至相机坐标系Pc，重合于相机坐标系。具体推导公式过程如下：
Pc＝RPw+T；
RPw＝Pc-T；
Pw＝R′(Pc-T)；
其中，当Pc＝0时，相机原点的世界坐标为-R′*T。
进一步地，通过摄像头标定的外参、预先获取的摄像头内参和三维立体方程模型，建立世界坐标点到图像像素坐标点映射关系。在本发明中，以车辆为中心，通过上述推导公式，构建3D曲面网格模型，图2为本发明提供的3D曲面网格模型的示意图，可参考图2所示，该3D曲面网格模型是由4个立体网格曲面构成，包括平面部分、曲面部分和柱面部分。
在上述实施例的基础上，所述对每个立体网格曲面上的映射区域进行渲染，包括：
根据图像像素坐标到曲面坐标的映射关系，将每个摄像头采集的实时图像以纹理方式贴到对应的立体网格曲面上，进行渲染显示。其中，图像像素点坐标映射到3D曲面网格模型上的映射关系，即图像像素坐标到曲面坐标的映射关系具体如下：
假设像素点在世界坐标系中的坐标为(X,Y,Z)，该像素点的图像坐标系中的点坐标为(u，v)，R是外参旋转矩阵，T是外参平移矩阵。进一步地，该像素点从世界坐标系到图像坐标系的转换关系如下：
其中，S是比例系数，
fx、fy是鱼眼摄像头焦距(其中，x为横轴，y为纵轴)，(cx,cy)是主点坐标，由上述公式(1)确定世界坐标点到平面图像像素坐标的映射关系。
优选地，在一实施例中，由于鱼眼摄像头存在一定的畸变，故对每个鱼眼摄像头所拍摄的鱼眼图像进行去除畸变的操作，获得理想摄像头下的图像，其中，从理想相机中的点到畸变点的对应关系如下：
u'＝x*(1+k1*r2+k2*r4+k3*r6)+2*p1*x*y+p2*(r2+2x2)；
v'＝y*(1+k1*r2+k2*r4+k3*r6)+2*p2*x*y+p2*(r2+2y2)；
其中，(u，v)为理想相机中的像素点，u′和v′是畸变后的像素点，k1,k2,k3,p1,p2为畸变系数。通过上述过程的逆过程，就能从畸变的实体摄像头的图像坐标系中的坐标，推出对应的理想摄像头中图像坐标系中的坐标，达到去畸变的目的。
本发明根据世界坐标系下的像素点到平面图像像素坐标系的映射关系，以及与3D曲面网格模型之间关系，将图像上像素坐标点映射到3D曲面网格模型的对应位置，实现车辆周围的立体环境视图效果。
在一实施例中，对本申请提供的映射过程进行整体说明。具体地，建立的映射关系是平面图像上像素点坐标(u,v)，根据摄像头内参进行该像素点的畸变矫正，得到去畸变的像素点，再根据摄像头外参，经过透视变换，将畸变矫正的像素点转换为俯视图下的像素点，由预先设定的比例系数，将俯视图下的像素点转换为世界坐标系下的坐标点(Xw，Yw)，最后将坐标点(Xw，Yw)投影到3D曲面网格模型的对应位置坐标(Xq，Yq，Zq)，这样就建立了图像上像素点坐标(u,v)到3D曲面网格模型的对应位置坐标(Xq，Yq，Zq)的映射关系，图3为本发明提供的2D到3D映射关系的示意图，如图3所示，展示了2D到3D映射关系。
在上述实施例的基础上，所述对于每一路摄像头建立一个对应的立体网格曲面，还包括：
基于渐近角度拼缝融合算法，对两个曲面的重叠区域进行融合算法处理。
在上述实施例的基础上，所述融合算法处理的公式为：
blendr＝1-blendl；
其中，blendl表示重叠区域的左侧曲面，blendr表示重叠区域的右侧曲面，F表示权重值，θ表示当前角度值，Angleoffset表示预设的融合区域角度值，以使相邻重叠区域过度更加平滑。
在上述实施例的基础上，所述对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图，包括：
根据车身状态信息，获取当前时刻的车辆行驶状态信息，并确定所述车辆行驶状态信息对应的全景辅助视角；
根据所述全景辅助视角渲染当前画面，显示出3D环视全景视图。
在本发明中，在一些情况下，根据车辆当前的状态，获取车辆的行驶信息，在不同行驶状态下，需要看到某个视角下的环视全景图像，这就需要切换视角，视角主要是描述虚拟观察者的位置，主要的视角有前侧视角、后侧视角、左侧视角、右侧视角和鸟瞰视角等，图4为本发明提供的3D观察视角的示意图，如图4所示，根据视角不同，渲染不同视角下的环视全景图像。
优选地，在一实施例中，由于获得平面图像像素坐标点到3D曲面网格上的映射关系，可以预先生成图像上像素点坐标(u,v)到3D曲面网格模型的对应位置坐标(Xq，Yq，Zq)的映射关系查找表，根据查找表，将摄像头采集的实时图像映射到3D曲面网格的对应位置，实时进行渲染输出，生成3D环视图像。
在上述实施例的基础上，所述对每个立体网格曲面上的映射区域进行渲染，包括：
根据图像像素坐标到曲面坐标的映射关系，将每个摄像头采集的实时图像以纹理方式贴到对应的立体网格曲面上，进行渲染显示。
在本发明中，对于3D环视全景拼接图显示，采用GPU并行运算和OpenGL函数。其中，OpenGL中虚拟视角的设计，可以通过两种方法实现，包括旋转被观察物和旋转观察点，本发明设计过程中采用旋转观察点的方式，在OpenGL中通过调整lookat参数来实现功能，对于平滑过渡的视角旋转功能，需要将旋转轨迹转换到球面上。在3D环视全景系统应用中，需要对观察视角变换范围做约束，以免看到曲面未包络的天空区域和图像消失线以下的地面区域。视角的旋转主要包括水平旋转和俯仰角旋转，前后左右四个3D观察视角处于统一平面上，五个观察点位于两个相互正交的圆面的外沿上，这样设计可以简化视角转换逻辑，对于任意两个视角的平滑切换，可以转换为圆弧上的位置渐变或切面直径上的移动。对于采集的摄像头图像进行实时渲染输出，并根据当前视角，生成漫游的全景视频，实现了3D全景环视视图。
图5为本发明提供的基于人工智能的车载3D环视拼接装置的结构示意图，如图5所示，本发明提供了一种基于人工智能的车载3D环视拼接装置，包括标定模块501、映射模块502和视图模块503，其中，标定模块501用于对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；映射模块502用于根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；视图模块503用于基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。
本发明提供的基于人工智能的车载3D环视拼接装置，通过对车辆前后左右四路摄像头进行标定外参；通过摄像头标定的外参、预先获取的摄像头内参和三维立体方程模型，建立世界坐标点到图像像素坐标点映射关系；对于四路摄像头建立四个立体网格曲面，对每个网格曲面上的映射像素区域进行渲染，显示出3D环视全景视图；采用该方案可以将车辆周围立体环境清晰的显示出来，扩大了车载环视系统的显示范围，减小车辆周围人物拉伸，不需要生成畸变矫正图、俯视图，降低时间复杂度，既提高了显示效果也节省了存储资源。
在上述实施例的基础上，所述标定模块包括计算单元和处理单元，其中，计算单元用于计算摄像头位置的世界坐标系Pw；处理单元用于对世界坐标系Pw做旋转R后平移T至相机坐标系，重合于相机坐标系，其中，R为外参旋转矩阵，T为外参平移矩阵。
在上述实施例的基础上，所述视图模块包括曲面融合单元，用于基于渐近角度拼缝融合算法，对两个曲面的重叠区域进行融合算法处理。所述融合算法处理的公式为：
blendr＝1-blendl；
其中，blendl表示重叠区域的左侧曲面，blendr表示重叠区域的右侧曲面，F表示权重值，θ表示当前角度值，Angleoffset表示预设的融合区域角度值。
在上述实施例的基础上，所述视图模块还包括行驶状态确定单元和渲染单元，其中，行驶状态确定单元用于根据车身状态信息，获取当前时刻的车辆行驶状态信息，并确定所述车辆行驶状态信息对应的全景辅助视角；渲染单元用于根据所述全景辅助视角渲染当前画面，显示出3D环视全景视图。
本发明提供的装置是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
图6为本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(CommunicationsInterface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器603中的逻辑指令，以执行基于人工智能的车载3D环视拼接方法，该方法包括：对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。
此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于人工智能的车载3D环视拼接方法，该方法包括：对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于人工智能的车载3D环视拼接方法，该方法包括：对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于人工智能的车载3D环视拼接方法，其特征在于，包括：
对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；
根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；
基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。
2.根据权利要求1所述的基于人工智能的车载3D环视拼接方法，其特征在于，所述对车辆前后左右四路摄像头标定外参，包括：
计算摄像头位置的世界坐标系Pw；
对世界坐标系Pw做旋转R后平移T至相机坐标系，重合于相机坐标系，其中，R为外参旋转矩阵，T为外参平移矩阵。
3.根据权利要求1所述的基于人工智能的车载3D环视拼接方法，其特征在于，所述对于每一路摄像头建立一个对应的立体网格曲面，包括：
基于渐近角度拼缝融合算法，对两个曲面的重叠区域进行融合算法处理。
4.根据权利要求3所述的基于人工智能的车载3D环视拼接方法，其特征在于，所述融合算法处理的公式为：
blendr＝1-blendl；
其中，blendl表示重叠区域的左侧曲面，blendr表示重叠区域的右侧曲面，F表示权重值，θ表示当前角度值，Angleoffset表示预设的融合区域角度值。
5.根据权利要求1所述的基于人工智能的车载3D环视拼接方法，其特征在于，所述对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图，包括：
根据车身状态信息，获取当前时刻的车辆行驶状态信息，并确定所述车辆行驶状态信息对应的全景辅助视角；
根据所述全景辅助视角渲染当前画面，显示出3D环视全景视图。
6.根据权利要求1所述的基于人工智能的车载3D环视拼接方法，其特征在于，所述对每个立体网格曲面上的映射区域进行渲染，包括：
根据图像像素坐标到曲面坐标的映射关系，将每个摄像头采集的实时图像以纹理方式贴到对应的立体网格曲面上，进行渲染显示。
7.一种基于人工智能的车载3D环视拼接装置，其特征在于，包括：
标定模块，用于对车辆前后左右四路摄像头标定外参，并获取摄像头内参和三维立体方程模型；
映射模块，用于根据所述摄像头内参、所述三维立体方程模型和标定得到的外参，建立世界坐标点到图像像素坐标点的映射关系；
视图模块，用于基于所述映射关系，对于每一路摄像头建立一个对应的立体网格曲面，并对每个立体网格曲面上的映射区域进行渲染，显示出3D环视全景视图。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于人工智能的车载3D环视拼接方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于人工智能的车载3D环视拼接方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于人工智能的车载3D环视拼接方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111070005.8A CN113870161A (zh) | 2021-09-13 | 2021-09-13 | 基于人工智能的车载3d环视拼接方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111070005.8A CN113870161A (zh) | 2021-09-13 | 2021-09-13 | 基于人工智能的车载3d环视拼接方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113870161A true CN113870161A (zh) | 2021-12-31 |
Family
ID=78995557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111070005.8A Pending CN113870161A (zh) | 2021-09-13 | 2021-09-13 | 基于人工智能的车载3d环视拼接方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113870161A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115086575A (zh) * | 2022-08-16 | 2022-09-20 | 之江实验室 | 一种基于无人车远程驾驶的视频画面拼接方法和装置 |
| CN115578502A (zh) * | 2022-11-18 | 2023-01-06 | 杭州枕石智能科技有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
| CN115797467A (zh) * | 2023-02-02 | 2023-03-14 | 深圳市德驰微视技术有限公司 | 车辆相机标定结果检测方法、装置、设备及存储介质 |
| CN117011446A (zh) * | 2023-08-23 | 2023-11-07 | 苏州深捷信息科技有限公司 | 一种动态环境光照的实时渲染方法 |
| CN117274956A (zh) * | 2023-11-17 | 2023-12-22 | 深圳市航盛电子股份有限公司 | 车辆侧视图生成方法、装置、终端设备以及存储介质 |
-
2021
- 2021-09-13 CN CN202111070005.8A patent/CN113870161A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115086575A (zh) * | 2022-08-16 | 2022-09-20 | 之江实验室 | 一种基于无人车远程驾驶的视频画面拼接方法和装置 |
| CN115578502A (zh) * | 2022-11-18 | 2023-01-06 | 杭州枕石智能科技有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
| CN115578502B (zh) * | 2022-11-18 | 2023-04-07 | 杭州枕石智能科技有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
| CN115797467A (zh) * | 2023-02-02 | 2023-03-14 | 深圳市德驰微视技术有限公司 | 车辆相机标定结果检测方法、装置、设备及存储介质 |
| CN117011446A (zh) * | 2023-08-23 | 2023-11-07 | 苏州深捷信息科技有限公司 | 一种动态环境光照的实时渲染方法 |
| CN117011446B (zh) * | 2023-08-23 | 2024-03-08 | 苏州深捷信息科技有限公司 | 一种动态环境光照的实时渲染方法 |
| CN117274956A (zh) * | 2023-11-17 | 2023-12-22 | 深圳市航盛电子股份有限公司 | 车辆侧视图生成方法、装置、终端设备以及存储介质 |
| CN117274956B (zh) * | 2023-11-17 | 2024-05-24 | 深圳市航盛电子股份有限公司 | 车辆侧视图生成方法、装置、终端设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113870161A (zh) | 基于人工智能的车载3d环视拼接方法及装置 | |
| US11012620B2 (en) | Panoramic image generation method and device | |
| US11303807B2 (en) | Using real time ray tracing for lens remapping | |
| JP4257356B2 (ja) | 画像生成装置および画像生成方法 | |
| CN103177439B (zh) | 一种基于黑白格角点匹配的自动标定方法 | |
| CN111582080B (zh) | 车辆360度环视监控实现方法及装置 | |
| CN110264395B (zh) | 一种车载单目全景系统的镜头标定方法及相关装置 | |
| CN112224132A (zh) | 一种车用全景环视障碍物预警方法 | |
| JP6276719B2 (ja) | 画像生成装置、座標変換テーブル作成装置および作成方法 | |
| CN105488766A (zh) | 鱼眼镜头图像校正方法及装置 | |
| CN110400255B (zh) | 车辆全景影像的生成方法、系统和车辆 | |
| CN112825546A (zh) | 使用中间图像表面生成合成图像 | |
| CN113658262A (zh) | 相机外参标定方法、装置、系统及存储介质 | |
| CN105774657B (zh) | 一种单摄像头全景倒车影像系统 | |
| CN108765499B (zh) | 一种车载非gpu渲染360度立体环视实现方法 | |
| CN113345074A (zh) | 一种车载3d环视影像显示方法 | |
| CN111815752B (zh) | 图像处理方法、装置和电子设备 | |
| CN116757935A (zh) | 一种鱼眼相机的图像融合拼接方法、系统及电子设备 | |
| CN112435161A (zh) | 全景环视图像拼接方法及系统、电子设备和存储介质 | |
| CN113516733B (zh) | 一种填充车底盲区的方法和系统 | |
| CN107133912A (zh) | 全景泊车图像畸变校正方法及装置 | |
| CN114312577A (zh) | 一种车辆底盘透视方法、装置及电子设备 | |
| CN112698717B (zh) | 一种局部图像的处理方法及装置、车载系统、存储介质 | |
| Feng et al. | Research on Vehicle 3D Panoramic Model and Texture Mapping Algorithm Based on Low Distortion and Uniform Field of View | |
| CN112308985B (zh) | 一种车载图像拼接方法、系统以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |