CN111275621A - 一种行车环视系统中全景图生成方法、系统及存储介质 - Google Patents
一种行车环视系统中全景图生成方法、系统及存储介质 Download PDFInfo
- Publication number
- CN111275621A CN111275621A CN202010054477.3A CN202010054477A CN111275621A CN 111275621 A CN111275621 A CN 111275621A CN 202010054477 A CN202010054477 A CN 202010054477A CN 111275621 A CN111275621 A CN 111275621A
- Authority
- CN
- China
- Prior art keywords
- image
- mapping table
- fisheye
- pixel position
- position mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 156
- 239000011159 matrix material Substances 0.000 claims abstract description 81
- 230000009466 transformation Effects 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 35
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种行车环视系统中全景图生成方法、系统及存储介质，其中方法包括：获取鱼眼镜头实时采集的车身周围的原始鱼眼图像及车辆模型；基于原始鱼眼图像、车辆模型、第一像素位置映射表生成全景图，其中第一像素位置映射表为预先获得的原始鱼眼图像到拼接后图像的像素位置映射表。通过预先生成第一像素位置映射表，该过程中繁杂的矩阵运算交给PC机来完成，只将得到的第一像素位置映射表存储至硬件中进行应用，然后由硬件将获取的原始鱼眼图像基于第一像素位置映射表直接进行重映射，再结合车辆模型直接生成全景图，该硬件本身无需再计算生成第一像素位置映射表的中间过程，降低硬件处理计算能力的要求，有效降低行车环视系统的实现成本。
Description
技术领域
本发明涉及辅助驾驶技术领域，尤其涉及一种行车环视系统中全景图生成方法、系统及存储介质。
背景技术
在当下的汽车电子领域，行车环视系统被广泛的应用到各式各样的车型中来辅助司机安全行驶。行车环视系统主要是利用安装在车身的多路相机所拍摄的图像，拼接成一幅360°全景图像来消除车辆的视野盲区以辅助道路行驶。
但现在市面上大部分行车环视系统的显示效果存在拼接缝隙明显(拼接质量不高)以及视频画面不够流畅(拼接实时性不足)等问题。主要原因在于目前对图像拼接的研究大多是针对普通相机且在特征层面进行图像配准及拼接。但在行车环视系统的应用场合下，前面的方法不能解决鱼眼图像桶形畸变严重、拍摄图片需透视变换以及由于硬件运算处理限制而带来的实时性不足等问题。去除桶形畸变、透视变换、拼接等图像处理步骤包含了大量的矩阵运算，极大增加了硬件运算处理的时间消耗，严重影响了拼接的实时性。且常用的基于特征点的拼接方法在行车环视系统下存在局限性：1.行车环视全景图像的硬件采用的是鱼眼相机，鱼眼相机所拍摄的图像是带有很多桶形畸变的，由于边缘部分的鱼眼图像在矫正之后质量下降严重，这对于特征点的提取会造成很大的障碍。2.一般基于特征点的拼接都是采用水平平移拍摄的，所以提取特征点计算变换模型之后，拼接在一起的图像是很自然的，但在行车环视系统的场景下，鱼眼镜头安装在车身四周其夹角至少为90°，所以利用拼接形成的图像会有很严重的拉伸变形。同时在行车环视系统场景下，选择与PC机相媲美的高性能硬件将额外增加产品的成本。于是就需要一种有效的行车环视系统中全景图生成方法能在性能不出众的硬件上完成较好质量的环视全景拼接图。
发明内容
本发明提供了一种行车环视系统中全景图生成方法、系统及存储介质，以解决现有技术中行车环视系统中全景图的生成对硬件要求高的问题。
本发明第一方面，提供了一种行车环视系统中全景图生成方法，包括：
获取鱼眼镜头实时采集的车身周围的原始鱼眼图像及车辆模型；
基于原始鱼眼图像、车辆模型、第一像素位置映射表生成全景图；其中第一像素位置映射表通过如下方法获得：
获取鱼眼镜头的内参矩阵和外参矩阵，并获取鱼眼镜头采集的车身周围的原始鱼眼图像；
基于鱼眼镜头的内参矩阵得到原始鱼眼图像到去畸变后的鱼眼图像的像素坐标变换的第二像素位置映射表；
获取鱼眼镜头透视变换的单应性矩阵，并基于鱼眼镜头的单应性矩阵得到去畸变后的鱼眼图像到俯视变换后的图像的第三像素位置映射表；
建立统一地面坐标系，基于鱼眼镜头的外参矩阵得到俯视变换后图像到拼接后图像的第四像素位置映射表；
基于第二像素位置映射表、第三像素位置映射表、第四像素位置映射表，得到原始鱼眼图像到拼接后图像的第一像素位置映射表。
本方案运用时，通过预先生成原始鱼眼图像到拼接后图像的第一像素位置映射表，该过程中繁杂的矩阵运算可将其交给PC机来完成，只将最后的结果，即第一像素位置映射表存储至硬件中进行应用，然后该硬件将获取的原始鱼眼图像基于第一像素位置映射表直接进行重映射，然后结合车辆模型就可直接生成全景图，该硬件本身不需要再计算生成第一像素位置映射表的中间过程，该方案可大大的降低硬件处理计算能力的要求，易于硬件的实现，有效降低行车环视系统的实现成本。
进一步地，至少包括分别设置于车身前后左右的四个鱼眼镜头。
进一步地，所述鱼眼镜头的内参矩阵和外参矩阵通过张正友标定法计算得到。
进一步地，所述基于鱼眼镜头的内参矩阵得到原始鱼眼图像到去畸变后的鱼眼图像的像素坐标变换的第二像素位置映射表，包括：
基于鱼眼镜头的内参矩阵，采用逆投影函数的方式得到去畸变后的鱼眼图像的像素坐标变换的第二像素位置映射表；
对得到的第二像素位置映射表中非整数像素点进行插值优化处理；
依据优化后的第二像素位置映射表进行像素重映射，得到去畸变后的鱼眼图像。
通过生成第二像素位置映射表并对其进行优化，可提升去畸变后的鱼眼图像的质量，以便最终提高全景图的质量。
进一步地，所述获取鱼眼镜头透视变换的单应性矩阵，并基于鱼眼镜头的单应性矩阵得到去畸变后的鱼眼图像到俯视变换后的图像的第三像素位置映射表，包括：
将得到的每幅去畸变后的鱼眼图像按照预设要求旋转，形成初步环视图像；
根据每幅去畸变后的鱼眼图像中预设的至少4个标定点，计算得到该幅去畸变后的鱼眼图像对应的鱼眼镜头透视变换的单应性矩阵；
基于鱼眼镜头透视变换的单应性矩阵计算得到去畸变后的鱼眼图像到俯视变换后的图像的第三像素位置映射表；
依据第三像素位置映射表进行像素重映射，得到俯视变换后的图像。
可预先设定多个标定点，以确保鱼眼镜头采集的每幅原始鱼眼图像包含至少4个标定点，进而利用去畸变后的鱼眼图像的中的4个标定点计算鱼眼镜头透视变换的单应性矩阵，确保计算更加精确，以提升生成的第三像素位置映射表的精确度。
进一步地，建立统一地面坐标系，基于鱼眼镜头的外参矩阵得到俯视变换后图像到拼接后图像的第四像素位置映射表，包括：
建立以车身中心为原点的统一地面坐标系；
将环视图像划分为五个区域，中间区域对应车辆的位置，前后左右四个区域分别对应车辆的前后左右，将前后左右四个区域的统一地面坐标系利用各自对应的鱼眼镜头的外参矩阵转换到鱼眼镜头的摄像机坐标系下；
对环视图像中各区域之间采用直线分割，通过改变中间区域的边长寻找拼接错位最小的比例，得到最优拼接线；
将最优拼接线应用于拼接边界限制条件，得到俯视变换后图像到拼接后图像的第四像素位置映射表。
建立以车身中心为原点的统一地面坐标系，就是告知四张俯视变换后图像应该在哪个位置进行拼接，便于得到最优拼接线以生成第四像素位置映射表。
进一步地，基于第二像素位置映射表、第三像素位置映射表、第四像素位置映射表，得到原始鱼眼图像到拼接后图像的第一像素位置映射表，包括：
运用第三像素位置映射表修正第二像素位置映射表，得到原始鱼眼图像到俯视变换后的图像的第五像素位置映射表；
运用第四像素位置映射表修正第五像素位置映射表，得到原始鱼眼图像到拼接后图像的第一像素位置映射表；
对第一像素位置映射表中非整数像素点进行插值优化处理，得到优化后的第一像素位置映射表。
通过逐步修正优化像素位置映射表，以提高最终生成的第一像素位置映射表的精准度，提升最终生成的全景图质量和拼接质量。
进一步地，还包括：
计算单次从获取鱼眼镜头实时采集的车身周围的原始鱼眼图像及车辆模型到生成全景图所需的时间；
根据单次生成全景图所需的时间对应调整鱼眼镜头采集原始鱼眼图像的频率。
通过计算单次生成全景图所需的时间来确定鱼眼镜头的图像采集频率，从而保证生采集图像与生成图像的同步性，保证最后实时生成全景图并输出视频不卡顿，实时性较好，满足行车环视全景图的场景需求。
本发明第二方面，提供了一种行车环视系统中全景图生成系统，包括安装于车身前后左右的四个鱼眼镜头及处理模块；
所述四个鱼眼镜头用于采集车身前后左右的原始鱼眼图像，并将其传输至处理模块；
所述处理模块用于接收所述四个鱼眼镜头发送的原始鱼眼图像，并基于存储于处理模块内的车辆模型、第一像素位置映射表对原始鱼眼图像进行处理，生成全景图；其中第一像素位置映射表通过如下方法获得：
获取鱼眼镜头的内参矩阵和外参矩阵，并获取鱼眼镜头采集的车身周围的原始鱼眼图像；
基于鱼眼镜头的内参矩阵得到原始鱼眼图像到去畸变后的鱼眼图像的像素坐标变换的第二像素位置映射表；
获取鱼眼镜头透视变换的单应性矩阵，并基于鱼眼镜头的单应性矩阵得到去畸变后的鱼眼图像到俯视变换后的图像的第三像素位置映射表；
建立统一地面坐标系，基于鱼眼镜头的外参矩阵得到俯视变换后图像到拼接后图像的第四像素位置映射表；
基于第二像素位置映射表、第三像素位置映射表、第四像素位置映射表，得到原始鱼眼图像到拼接后图像的第一像素位置映射表。
通过预先生成原始鱼眼图像到拼接后图像的第一像素位置映射表，该过程中繁杂的矩阵运算可将其交给PC机来完成，只将最后的结果，即第一像素位置映射表存储至处理模块中进行应用，然后处理模块将获取的原始鱼眼图像基于第一像素位置映射表直接进行重映射，然后结合车辆模型就可直接生成全景图，处理模块本身不需要再计算生成第一像素位置映射表的中间过程，该方案可大大的降低处理模块处理计算能力的要求，易于硬件的实现，降低硬件的性能要求，同样也有效降低行车环视系统的实现成本。
本发明第三方面，提供了一种计算机可读存储介质，其特征在于，所述存储介质包括存储的程序指令，所述程序指令适于被处理器加载并执行如上所述的行车环视系统中全景图生成方法。
有益效果：本发明提出了一种行车环视系统中全景图生成方法、系统及存储介质，本方案通过预先生成原始鱼眼图像到拼接后图像的第一像素位置映射表，该过程中繁杂的矩阵运算可将其交给PC机来完成，只将最后的结果，即第一像素位置映射表存储至硬件中进行应用，然后该硬件将获取的原始鱼眼图像基于第一像素位置映射表直接进行重映射，然后结合车辆模型就可直接生成全景图，该硬件本身不需要再计算生成第一像素位置映射表的中间过程，该方案可大大的降低硬件处理计算能力的要求，易于硬件的实现，有效降低行车环视系统的实现成本。
附图说明
图1是本发明实施例提供的一种行车环视系统中全景图生成方法流程图；
图2是本发明实施例提供的第一像素位置映射表生成流程图；
图3是本发明实施例提供的标定条粘贴位置及比例示意图；
图4是本发明实施例提供的原始鱼眼图像去畸变前后效果图；
图5是本发明实施例提供的全景图分区示意图；
图6是本发明实施例提供的棋盘格坐标系和摄像机坐标系之间的位置关系示意图；
图7是本发明实施例提供的位置仿真图。
具体实施方式
下面结合附图及具体实施方式对本发明进行详细说明。
实施例1
如图1所示，本实施例提供了一种行车环视系统中全景图生成方法，包括：
S1、获取鱼眼镜头实时采集的车身周围的原始鱼眼图像及车辆模型；
S2、基于原始鱼眼图像、车辆模型、第一像素位置映射表生成全景图；如图2所示，其中第一像素位置映射表通过如下方法获得：
A1、获取鱼眼镜头的内参矩阵和外参矩阵，并获取鱼眼镜头采集的车身周围的原始鱼眼图像；
A2、基于鱼眼镜头的内参矩阵得到原始鱼眼图像到去畸变后的鱼眼图像的像素坐标变换的第二像素位置映射表；
A3、获取鱼眼镜头透视变换的单应性矩阵，并基于鱼眼镜头的单应性矩阵得到去畸变后的鱼眼图像到俯视变换后的图像的第三像素位置映射表；
A4、建立统一地面坐标系，基于鱼眼镜头的外参矩阵得到俯视变换后图像到拼接后图像的第四像素位置映射表；
A5、基于第二像素位置映射表、第三像素位置映射表、第四像素位置映射表，得到原始鱼眼图像到拼接后图像的第一像素位置映射表。
本方案运用时，通过预先生成原始鱼眼图像到拼接后图像的第一像素位置映射表，该过程中繁杂的矩阵运算可将其交给PC机来完成，只将最后的结果，即第一像素位置映射表存储至硬件中进行应用，然后该硬件将获取的原始鱼眼图像基于第一像素位置映射表直接进行重映射，然后结合车辆模型就可直接生成全景图，该硬件本身不需要再计算生成第一像素位置映射表的中间过程，该方案可大大的降低硬件处理计算能力的要求，易于硬件的实现，有效降低行车环视系统的实现成本。
本实施例中，第一像素位置映射表生成过程如下。
A0、搭建行车环视系统及图像采集设置，具体包括以下部分：车辆建模、硬件处理器选择、鱼眼镜头的安装、地面标定条的粘贴、鱼眼镜头的图像采集及采集参数设置。
A01、车辆建模：本实施例中以公交车为例进行说明，经资料查阅和实地考察，公交车的模型尺寸定位：长度10a米，宽为2.2a米，高为3a米。其中a为模型的缩放单位，当a＝1时，为调研得到的实际公交车尺寸大小。
A02、硬件处理器选择：本实施例中依据行车环视系统所必须的能实时采集图像及视频流等功能，综合权衡硬件性能、成本、等各方面选择嵌入式开发板HI3520DV300作为硬件来获取原始鱼眼图像并实现实时生成全景图。
A03、鱼眼镜头的安装：包括分别设置于车身前后左右的四个鱼眼镜头，安装的鱼眼镜头高度最好在一个水平面上，与水平面的夹角尽量保持一致，与水平面夹角及安装位置确定之后，后期不能移动，这样做的目的是为了拼接效果更好，且防止因为镜头位置的改变而引起的俯视变换参数发生变化导致后期不能形成较好的俯视图。其次安装完鱼眼镜头之后一定要保证每路鱼眼镜头都与相邻的两个鱼眼镜头所拍摄的画面有重叠区域，这是最重要的一点。如果没有重合区域，说明在拼接好的环视图像是有信息缺失的，不是无死角的全景图像，并且在全景图中肯定包含着拼接的错位或者拼接的不连续等问题。
A04、地面标定条的粘贴：为了能提供丰富的特征进行图像配准及后期建立地面统一坐标系，需要在地面粘贴专门的标定条。统一地面坐标系是以车身中心为坐标原点，建立一个平面坐标系。如图3所示，该标定条粘贴方式对应城市公交车模型，假设车宽约2.2m，标定条与车身正对应的粘贴长度应为3.5m左右，为了使得对鱼眼镜头拍摄的图像有更大的配准区域，需要在两侧额外粘贴长度为1.5m的标定条。横向标定条粘贴位置应使得安装在车上的鱼眼镜头能清晰观察到下方标定条，即四个方向的鱼眼镜头都能观察到已经粘贴好的交叉的标定条。
A05、鱼眼镜头的采集参数设置：包括鱼眼镜头的安装位置、安装角度、采集图像的分辨率大小。
A1、获取鱼眼镜头的内参矩阵和外参矩阵，并获取鱼眼镜头采集的车身周围的原始鱼眼图像；对四个鱼眼镜头使用张正友标定法以得到四个鱼眼镜头的内参矩阵和外参矩阵。
A2、基于鱼眼镜头的内参矩阵得到原始鱼眼图像到去畸变后的鱼眼图像的像素坐标变换的第二像素位置映射表，并完成原始鱼眼图像的畸变矫正。
A21、基于鱼眼镜头的内参矩阵，采用逆投影函数的方式得到去畸变后的鱼眼图像的像素坐标变换的第二像素位置映射表。具体的，为了加速计算矫正后的图像坐标，获得鱼眼镜头的内参矩阵之后，采用逆投影函数的形式计算；根据原始鱼眼图像中每个像素点的具体三维坐标与主光轴的角度值就可以计算出每个相应的像素点到图像中心的距离，再根据比例关系计算出图像坐标系下的横纵坐标值。总结来讲逆投影函数的方法是直接按照所选用的鱼眼镜头的数学模型对图像进行重投影，是从摄像机坐标系到图像坐标的变换；逆投影形式的计算的结果更加准确和快速。本实施例中使用opencv3.1.0以上的版本中包含的Fisheye鱼眼镜头模型来根据之前获得鱼眼镜头的内参矩阵来进行畸变矫正，获得原始鱼眼图像到去畸变后的鱼眼图像的像素坐标变换的第二像素位置映射表。
A22、对得到的第二像素位置映射表中非整数像素点进行插值优化处理。在第二像素位置映射表中，由于像元位置的离散性，不一定能正好找到一组像素点相对应，通常情况下，可以在位置映射表中找到几组像素点，他们散布在的计算得到的非整数坐标周围，就需要通过一定的手段求出这一点的像素值，需要用其周围一些点像素值来计算该点的像素值。为了计算的实时性这里采用的是最邻近插值算法完成对图像坐标赋值过程。
A23、依据优化后的第二像素位置映射表进行像素重映射，得到去畸变后的鱼眼图像，去畸变前后效果图如图4所示。
A3、所述获取鱼眼镜头透视变换的单应性矩阵，并基于鱼眼镜头的单应性矩阵得到去畸变后的鱼眼图像到俯视变换后的图像的第三像素位置映射表，并依据第三像素位置映射表生成俯视变换后的图像。四个鱼眼镜头在安装的时候，鱼眼镜头的光轴并不是垂直于地面，因此拍到的鱼眼图像不是我们所需要的俯视图，需要进行俯视变换。具体包括：
A31、将得到的每幅去畸变后的鱼眼图像按照预设要求旋转，形成初步环视图像。本实施例中可按如下要求旋转：前去畸变后的鱼眼图像不旋转；左去畸变后的鱼眼图像逆时针旋转90°；后去畸变后的鱼眼图像逆时针旋转180°；右去畸变后的鱼眼图像顺时针旋转90°。
A32、根据每幅去畸变后的鱼眼图像中预设的至少4个标定点，计算得到该幅去畸变后的鱼眼图像对应的鱼眼镜头透视变换的单应性矩阵。在去畸变后的图像的基础上，进行透视变换处理：每一个方向的鱼眼镜头采集的图像作透视变换都只需要4个标定点，4张鱼眼图像共需要选择16个标定点，根据所选择的16个标定点计算得到四个视角的俯视变换单应性矩阵；每幅图像中的4个标定点可选取标定条的两个交点和前方的两个顶点。
A33、基于鱼眼镜头透视变换的单应性矩阵计算得到去畸变后的鱼眼图像到俯视变换后的图像的第三像素位置映射表，单应性矩阵是一种变换关系，将某个点的像素位置与单应性矩阵进行运算可以得到修正之后的位置。
A34、依据第三像素位置映射表进行像素重映射，得到俯视变换后的图像。
A4、建立统一地面坐标系，基于鱼眼镜头的外参矩阵得到俯视变换后图像到拼接后图像的第四像素位置映射表。
A41、根据A0搭建的行车环视系统建立一个统一的地面坐标系。基于地面坐标系标定法来对四路鱼眼图像进行拼接的核心在于坐标变换，而坐标变换的实现途径就是通过一个外参矩阵，外参矩阵的功能就是描述棋盘格坐标系和摄像机坐标系之间的位置关系，如图6、图7所示。
A42、将环视图像划分为五个区域，中间区域对应车辆的位置，前后左右四个区域分别对应车辆的前后左右，如图5所示，将前后左右四个区域的统一地面坐标系利用各自对应的鱼眼镜头的外参矩阵转换到鱼眼镜头的摄像机坐标系下。
A43、对环视图像中各区域之间采用直线分割，通过改变中间区域的边长寻找拼接错位最小的比例，得到最优拼接线。各个区域之间是采用直线分割的，分割线的位置可以通过改变中间区域大小来改变。中间区域是一个矩形，矩形区域的长和宽分别设为a和b。所以通过改变中间区域边长a和b的值，就可以改变各个区域的大小，来寻找拼接错位最小的比例。由于外参矩阵计算采用的物理坐标是地面坐标系下的坐标值，所以a和b的比例值确定也是按照真实车辆的比例选取，这样做就可以使得环视图像拼接中的错位达到最小，只需要对拼接线进行微调即可。拼接线采用二维平面的点斜式进行计算，尽可能使得拼接线经过图像之间可配准的部分，从而满足图像的配准。环视图像的大小根据原始鱼眼图像的分辨率和整体显示效果选择适当的比例来建立环视图像。
A44、将最优拼接线应用于拼接边界限制条件，得到俯视变换后图像到拼接后图像的第四像素位置映射表。
A5、基于第二像素位置映射表、第三像素位置映射表、第四像素位置映射表，得到原始鱼眼图像到拼接后图像的第一像素位置映射表。
A51、运用第三像素位置映射表修正第二像素位置映射表，得到原始鱼眼图像到俯视变换后的图像的第五像素位置映射表，此像素位置映射表为中间产物。
A52、运用第四像素位置映射表修正第五像素位置映射表，得到原始鱼眼图像到拼接后图像的第一像素位置映射表；
A53、对第一像素位置映射表中非整数像素点进行插值优化处理，得到优化后的第一像素位置映射表，以提升映射精度。
为了保证最后实时生成全景图并输出视频不卡顿，实时性较好，如图1所示，还包括如下过程：
S3、计算单次从获取鱼眼镜头实时采集的车身周围的原始鱼眼图像及车辆模型到生成全景图所需的时间；
S4、根据单次生成全景图所需的时间对应调整鱼眼镜头采集原始鱼眼图像的频率。
通过计算单次生成全景图所需的时间来确定鱼眼镜头的图像采集频率，从而保证生采集图像与生成图像的同步性，保证最后实时生成全景图并输出视频不卡顿，实时性较好，满足行车环视全景图的场景需求。如本实施例中单次生成全景图所需的时间为38.095ms，则可调整鱼眼镜头采集图片的帧率为26fps，经实验证实，最后实时拼接并输出视频不卡顿，实时性较好，满足行车环视全景图的场景需求。
实施例2
本发明实施例中提供了一种行车环视系统中全景图生成系统，包括安装于车身前后左右的四个鱼眼镜头及处理模块；
所述四个鱼眼镜头用于采集车身前后左右的原始鱼眼图像，并将其传输至处理模块；
所述处理模块用于接收所述四个鱼眼镜头发送的原始鱼眼图像，并基于存储于处理模块内的车辆模型、第一像素位置映射表对原始鱼眼图像进行处理，生成全景图；其中第一像素位置映射表通过如下方法获得：
获取鱼眼镜头的内参矩阵和外参矩阵，并获取鱼眼镜头采集的车身周围的原始鱼眼图像；
基于鱼眼镜头的内参矩阵得到原始鱼眼图像到去畸变后的鱼眼图像的像素坐标变换的第二像素位置映射表；
获取鱼眼镜头透视变换的单应性矩阵，并基于鱼眼镜头的单应性矩阵得到去畸变后的鱼眼图像到俯视变换后的图像的第三像素位置映射表；
建立统一地面坐标系，基于鱼眼镜头的外参矩阵得到俯视变换后图像到拼接后图像的第四像素位置映射表；
基于第二像素位置映射表、第三像素位置映射表、第四像素位置映射表，得到原始鱼眼图像到拼接后图像的第一像素位置映射表。
通过预先生成原始鱼眼图像到拼接后图像的第一像素位置映射表，该过程中繁杂的矩阵运算可将其交给PC机来完成，只将最后的结果，即第一像素位置映射表存储至处理模块中进行应用，然后处理模块将获取的原始鱼眼图像基于第一像素位置映射表直接进行重映射，然后结合车辆模型就可直接生成全景图，处理模块本身不需要再计算生成第一像素位置映射表的中间过程，该方案可大大的降低处理模块处理计算能力的要求，易于硬件的实现，降低硬件的性能要求，同样也有效降低行车环视系统的实现成本。
具体实施时，还包括显示模块，用于将处理模块生成的全景图进行显示。其他具体实现方案可参见实施例1提供的行车环视系统中全景图生成方法，在此不再赘述。
实施例3
本发明实施例还提供了一种计算机可读存储介质，其特征在于，所述存储介质包括存储的程序指令，所述程序指令适于被处理器加载并执行如上所述的行车环视系统中全景图生成方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种行车环视系统中全景图生成方法，其特征在于，包括：
获取鱼眼镜头实时采集的车身周围的原始鱼眼图像及车辆模型；
基于原始鱼眼图像、车辆模型、第一像素位置映射表生成全景图；其中第一像素位置映射表通过如下方法获得：
获取鱼眼镜头的内参矩阵和外参矩阵，并获取鱼眼镜头采集的车身周围的原始鱼眼图像；
基于鱼眼镜头的内参矩阵得到原始鱼眼图像到去畸变后的鱼眼图像的像素坐标变换的第二像素位置映射表；
获取鱼眼镜头透视变换的单应性矩阵，并基于鱼眼镜头的单应性矩阵得到去畸变后的鱼眼图像到俯视变换后的图像的第三像素位置映射表；
建立统一地面坐标系，基于鱼眼镜头的外参矩阵得到俯视变换后图像到拼接后图像的第四像素位置映射表；
基于第二像素位置映射表、第三像素位置映射表、第四像素位置映射表，得到原始鱼眼图像到拼接后图像的第一像素位置映射表。
2.根据权利要求1所述的行车环视系统中全景图生成方法，其特征在于，至少包括分别设置于车身前后左右的四个鱼眼镜头。
3.根据权利要求1所述的行车环视系统中全景图生成方法，其特征在于，所述鱼眼镜头的内参矩阵和外参矩阵通过张正友标定法计算得到。
4.根据权利要求2所述的行车环视系统中全景图生成方法，其特征在于，所述基于鱼眼镜头的内参矩阵得到原始鱼眼图像到去畸变后的鱼眼图像的像素坐标变换的第二像素位置映射表，包括：
基于鱼眼镜头的内参矩阵，采用逆投影函数的方式得到去畸变后的鱼眼图像的像素坐标变换的第二像素位置映射表；
对得到的第二像素位置映射表中非整数像素点进行插值优化处理；
依据优化后的第二像素位置映射表进行像素重映射，得到去畸变后的鱼眼图像。
5.根据权利要求4所述的行车环视系统中全景图生成方法，其特征在于，所述获取鱼眼镜头透视变换的单应性矩阵，并基于鱼眼镜头的单应性矩阵得到去畸变后的鱼眼图像到俯视变换后的图像的第三像素位置映射表，包括：
将得到的每幅去畸变后的鱼眼图像按照预设要求旋转，形成初步环视图像；
根据每幅去畸变后的鱼眼图像中预设的至少4个标定点，计算得到该幅去畸变后的鱼眼图像对应的鱼眼镜头透视变换的单应性矩阵；
基于鱼眼镜头透视变换的单应性矩阵计算得到去畸变后的鱼眼图像到俯视变换后的图像的第三像素位置映射表；
依据第三像素位置映射表进行像素重映射，得到俯视变换后的图像。
6.根据权利要求5所述的行车环视系统中全景图生成方法，其特征在于，建立统一地面坐标系，基于鱼眼镜头的外参矩阵得到俯视变换后图像到拼接后图像的第四像素位置映射表，包括：
建立以车身中心为原点的统一地面坐标系；
将环视图像划分为五个区域，中间区域对应车辆的位置，前后左右四个区域分别对应车辆的前后左右，将前后左右四个区域的统一地面坐标系利用各自对应的鱼眼镜头的外参矩阵转换到鱼眼镜头的摄像机坐标系下；
对环视图像中各区域之间采用直线分割，通过改变中间区域的边长寻找拼接错位最小的比例，得到最优拼接线；
将最优拼接线应用于拼接边界限制条件，得到俯视变换后图像到拼接后图像的第四像素位置映射表。
7.根据权利要求1所述的行车环视系统中全景图生成方法，其特征在于，基于第二像素位置映射表、第三像素位置映射表、第四像素位置映射表，得到原始鱼眼图像到拼接后图像的第一像素位置映射表，包括：
运用第三像素位置映射表修正第二像素位置映射表，得到原始鱼眼图像到俯视变换后的图像的第五像素位置映射表；
运用第四像素位置映射表修正第五像素位置映射表，得到原始鱼眼图像到拼接后图像的第一像素位置映射表；
对第一像素位置映射表中非整数像素点进行插值优化处理，得到优化后的第一像素位置映射表。
8.根据权利要求1至7任一项所述的行车环视系统中全景图生成方法，其特征在于，还包括：
计算单次从获取鱼眼镜头实时采集的车身周围的原始鱼眼图像及车辆模型到生成全景图所需的时间；
根据单次生成全景图所需的时间对应调整鱼眼镜头采集原始鱼眼图像的频率。
9.一种行车环视系统中全景图生成系统，其特征在于，包括安装于车身前后左右的四个鱼眼镜头及处理模块；
所述四个鱼眼镜头用于采集车身前后左右的原始鱼眼图像，并将其传输至处理模块；
所述处理模块用于接收所述四个鱼眼镜头发送的原始鱼眼图像，并基于存储于处理模块内的车辆模型、第一像素位置映射表对原始鱼眼图像进行处理，生成全景图；其中第一像素位置映射表通过如下方法获得：
获取鱼眼镜头的内参矩阵和外参矩阵，并获取鱼眼镜头采集的车身周围的原始鱼眼图像；
基于鱼眼镜头的内参矩阵得到原始鱼眼图像到去畸变后的鱼眼图像的像素坐标变换的第二像素位置映射表；
获取鱼眼镜头透视变换的单应性矩阵，并基于鱼眼镜头的单应性矩阵得到去畸变后的鱼眼图像到俯视变换后的图像的第三像素位置映射表；
建立统一地面坐标系，基于鱼眼镜头的外参矩阵得到俯视变换后图像到拼接后图像的第四像素位置映射表；
基于第二像素位置映射表、第三像素位置映射表、第四像素位置映射表，得到原始鱼眼图像到拼接后图像的第一像素位置映射表。
10.一种计算机可读存储介质，其特征在于，所述存储介质包括存储的程序指令，所述程序指令适于被处理器加载并执行如权利要求1至8任一项所述的行车环视系统中全景图生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010054477.3A CN111275621A (zh) | 2020-01-17 | 2020-01-17 | 一种行车环视系统中全景图生成方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010054477.3A CN111275621A (zh) | 2020-01-17 | 2020-01-17 | 一种行车环视系统中全景图生成方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111275621A true CN111275621A (zh) | 2020-06-12 |
Family
ID=71000707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010054477.3A Pending CN111275621A (zh) | 2020-01-17 | 2020-01-17 | 一种行车环视系统中全景图生成方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111275621A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798374A (zh) * | 2020-06-24 | 2020-10-20 | 浙江大华技术股份有限公司 | 一种图像拼接方法、装置、设备及介质 |
| CN112308986A (zh) * | 2020-11-03 | 2021-02-02 | 豪威科技(武汉)有限公司 | 车载图像拼接方法、系统以及装置 |
| CN113592949A (zh) * | 2021-07-01 | 2021-11-02 | 广东工业大学 | 用于车辆无线泊车影像的控制系统及方法 |
| CN114881863A (zh) * | 2022-06-30 | 2022-08-09 | 湖北芯擎科技有限公司 | 一种图像拼接方法、电子设备及计算机可读存储介质 |
| CN115660959A (zh) * | 2022-12-27 | 2023-01-31 | 摩尔线程智能科技(北京)有限责任公司 | 图像的生成方法、装置、电子设备及存储介质 |
| CN116563186A (zh) * | 2023-05-12 | 2023-08-08 | 中山大学 | 一种基于专用ai感知芯片的实时全景感知系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
| CN106408511A (zh) * | 2016-09-22 | 2017-02-15 | 苏州大学 | 鱼眼图像的俯视变换、俯视图像获取及映射表构建方法 |
| CN108269235A (zh) * | 2018-02-26 | 2018-07-10 | 江苏裕兰信息科技有限公司 | 一种基于opengl的车载环视多视角全景生成方法 |
| CN109842761A (zh) * | 2019-02-01 | 2019-06-04 | 中国社会科学院大学 | 前向运动视频的快速高清全景成像方法及装置 |
| CN110264395A (zh) * | 2019-05-20 | 2019-09-20 | 深圳市森国科科技股份有限公司 | 一种车载单目全景系统的镜头标定方法及相关装置 |
-
2020
- 2020-01-17 CN CN202010054477.3A patent/CN111275621A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
| CN106408511A (zh) * | 2016-09-22 | 2017-02-15 | 苏州大学 | 鱼眼图像的俯视变换、俯视图像获取及映射表构建方法 |
| CN108269235A (zh) * | 2018-02-26 | 2018-07-10 | 江苏裕兰信息科技有限公司 | 一种基于opengl的车载环视多视角全景生成方法 |
| CN109842761A (zh) * | 2019-02-01 | 2019-06-04 | 中国社会科学院大学 | 前向运动视频的快速高清全景成像方法及装置 |
| CN110264395A (zh) * | 2019-05-20 | 2019-09-20 | 深圳市森国科科技股份有限公司 | 一种车载单目全景系统的镜头标定方法及相关装置 |
Non-Patent Citations (4)
| Title |
|---|
| 丁鑫: ""全景视觉泊车辅助系统研究"", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
| 冯聪: ""360°车载环视系统图像拼接技术研究"", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 * |
| 江志国: ""多编组变角度车辆全景环视系统的研究"", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
| 汪伦: ""泊车辅助系统快速全景图像拼接研究"", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798374A (zh) * | 2020-06-24 | 2020-10-20 | 浙江大华技术股份有限公司 | 一种图像拼接方法、装置、设备及介质 |
| CN112308986A (zh) * | 2020-11-03 | 2021-02-02 | 豪威科技(武汉)有限公司 | 车载图像拼接方法、系统以及装置 |
| CN112308986B (zh) * | 2020-11-03 | 2024-04-12 | 豪威科技(武汉)有限公司 | 车载图像拼接方法、系统以及装置 |
| CN113592949A (zh) * | 2021-07-01 | 2021-11-02 | 广东工业大学 | 用于车辆无线泊车影像的控制系统及方法 |
| CN113592949B (zh) * | 2021-07-01 | 2024-03-29 | 广东工业大学 | 用于车辆无线泊车影像的控制系统及方法 |
| CN114881863A (zh) * | 2022-06-30 | 2022-08-09 | 湖北芯擎科技有限公司 | 一种图像拼接方法、电子设备及计算机可读存储介质 |
| CN114881863B (zh) * | 2022-06-30 | 2022-09-30 | 湖北芯擎科技有限公司 | 一种图像拼接方法、电子设备及计算机可读存储介质 |
| CN115660959A (zh) * | 2022-12-27 | 2023-01-31 | 摩尔线程智能科技(北京)有限责任公司 | 图像的生成方法、装置、电子设备及存储介质 |
| CN116563186A (zh) * | 2023-05-12 | 2023-08-08 | 中山大学 | 一种基于专用ai感知芯片的实时全景感知系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275621A (zh) | 一种行车环视系统中全景图生成方法、系统及存储介质 | |
| US11783446B2 (en) | Large-field-angle image real-time stitching method based on calibration | |
| US20220046218A1 (en) | Disparity image stitching and visualization method based on multiple pairs of binocular cameras | |
| EP2870585B1 (en) | A method and system for correcting a distorted image | |
| JP6273163B2 (ja) | 立体パノラマ | |
| CN111028155B (zh) | 一种基于多对双目相机的视差图像拼接方法 | |
| JP5739584B2 (ja) | 車両周辺視角化のための３次元映像合成装置およびその方法 | |
| EP3221844B1 (en) | Localising portable apparatus | |
| CN105205796A (zh) | 广域图像获取方法和装置 | |
| EP1600890A2 (en) | Distortion correction of fish-eye image | |
| CN111731190B (zh) | 车载avm的显示方法、系统、电子设备及存储介质 | |
| KR20200014858A (ko) | 위치 측정 및 동시 지도화 방법 및 장치 | |
| CN112437276A (zh) | 一种基于WebGL的三维视频融合方法及系统 | |
| KR20130016335A (ko) | 처리대상화상 생성장치, 처리대상화상 생성방법, 및 조작지원 시스템 | |
| CN109685879B (zh) | 多视影像纹理分布的确定方法、装置、设备和存储介质 | |
| CN111768332A (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
| JP2013101525A (ja) | 画像処理装置および方法、並びにプログラム | |
| CN110246161A (zh) | 一种360度全景图像无缝拼接的方法 | |
| CN110163823B (zh) | 基于胶囊机器人面向排水管的多视角图像矫正方法及系统 | |
| EP3098777B1 (en) | Drawing apparatus, drawing method, and drawing program | |
| CN108765499B (zh) | 一种车载非gpu渲染360度立体环视实现方法 | |
| CN115439552A (zh) | 一种多相机外参标定方法、装置及电子设备 | |
| CN109087250A (zh) | 基于规则边界约束的图像拼接方法 | |
| CN113034362A (zh) | 一种高速公路隧道监控全景影像拼接方法 | |
| Mody et al. | Flexible and efficient perspective transform engine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200612 |