CN104851076B - 用于商用车的全景环视泊车辅助系统及摄像头安装方法 - Google Patents
用于商用车的全景环视泊车辅助系统及摄像头安装方法 Download PDFInfo
- Publication number
- CN104851076B CN104851076B CN201510278462.4A CN201510278462A CN104851076B CN 104851076 B CN104851076 B CN 104851076B CN 201510278462 A CN201510278462 A CN 201510278462A CN 104851076 B CN104851076 B CN 104851076B
- Authority
- CN
- China
- Prior art keywords
- fish
- eye
- eye camera
- compartment
- headstock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000009434 installation Methods 0.000 title claims description 21
- 230000000694 effects Effects 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 238000013480 data collection Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000003287 optical effect Effects 0.000 claims description 27
- 238000012937 correction Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 13
- 241000251468 Actinopterygii Species 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 5
- 239000003550 marker Substances 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 235000013350 formula milk Nutrition 0.000 description 3
- 238000011900 installation process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- FGRBYDKOBBBPOI-UHFFFAOYSA-N 10,10-dioxo-2-[4-(N-phenylanilino)phenyl]thioxanthen-9-one Chemical compound O=C1c2ccccc2S(=O)(=O)c2ccc(cc12)-c1ccc(cc1)N(c1ccccc1)c1ccccc1 FGRBYDKOBBBPOI-UHFFFAOYSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种用于商用车的全景环视泊车辅助系统及泊车方法，包括方位视场角至少为180度的鱼眼摄像头、数据采集处理器、存储器和显示器，鱼眼摄像头采集的视频画面经数据采集处理器进行处理得到商用车及其感兴趣区域的图像存入存储器并通过显示器显示。本发明方法通过首次标定后将全景图中所有像素点与摄像头原始位置中对应像素坐标建立一一对应的映射关系存储于系统的存储单元中，当一帧图像采集后，系统可根据先前在存储单元中生成的数据，由控制单元快速生成全景图，最后通过对拼接后的全景图进行加权平均融合后并显示在屏幕上，为商用车的泊车提供全景环视效果较好的辅助工具，并且可以大大缩短系统的处理时间，满足系统实时性的要求。
Description
技术领域
本发明属于车辆安全辅助及汽车电子领域，具体涉及一种用于商用车的全景环视泊车辅助系统及摄像头安装方法。
背景技术
目前，市场上的全景环视泊车辅助系统，绝大多数是针对私家小轿车的。该系统一般是针对只有一个车厢的小轿车，其鱼眼摄像头一般都布置在汽车前保险杠Logo下方、左、右后视镜下方、后牌照灯处。但是当商用车有两个车厢时，在倒车或转弯时，商用车车头和后面车厢不在同一角度，如果还是采用小轿车图像拼接的方法，直接通过标定和拼接图片无法准确显示车辆周围的情况，全景环视效果不佳。
现有的全景环视泊车辅助系统摄像头安装方法一般只是根据安装人员的经验采用目测的方法，没有一个规范来统一。这样容易出现摄像头主光轴角度没有达到最优，使得某边重叠区域过小，影响拼接效果。
由于商用车车身结构复杂并且一般较大，各个摄像头采集到的图像物体运动和光线的变化不同，数据的抖动性比较大，完成图像拼接后会存在拼接缝隙。
发明内容
本发明要解决的技术问题是：提供一种用于商用车的全景环视泊车辅助系统及摄像头安装方法，为商用车的泊车提供全景环视效果较好的辅助工具。
本发明为解决上述技术问题所采取的技术方案为：一种用于商用车的全景环视泊车辅助系统，其特征在于：它包括方位视场角至少为180度的鱼眼摄像头、数据采集处理器、存储器和显示器，鱼眼摄像头采集的视频画面经数据采集处理器进行处理得到商用车及其感兴趣区域的图像存入存储器并通过显示器显示；其中
所述的感兴趣区域为：当车头与车厢之间没有旋转时，在商用车车身左右各延伸距离b，前后各延伸距离a的区域；
商用车包括车头和车厢，各包括前后左右四边，鱼眼摄像头的分布为：车头前边和车厢后边各至少1个，车头左右两边和车厢左右两边分别各至少1个；
车头前边和车厢后边的鱼眼摄像头的主光轴分别对准该鱼眼摄像头在地面正投影向外延伸距离a/2±Δa处；车头左右两边和车厢左右两边的鱼眼摄像头的主光轴分别对准该鱼眼摄像头在地面正投影向外延伸距离b/2±Δb处；所述的Δa和Δb为误差；
所述的数据采集处理器包括鱼眼图像畸变校正单元、侧视图转俯视图单元、首次图像拼接单元、控制单元和图像加权平均融合单元；其中鱼眼图像畸变校正单元用于根据每个鱼眼摄像头本身内部参数和畸变模型，将每个鱼眼摄像头拍摄的视频画面进行畸变校正，得到理想图；侧视图转俯视图单元用于对理想图进行投影变换，将来自不同鱼眼摄像头的理想图投影到同一坐标系下变成鸟瞰图；首次图像拼接单元用于对鸟瞰图第一次图像拼接，对来自相邻的鱼眼摄像头的鸟瞰图中重叠区域进行特征点匹配，对有重叠区域的图像进行对齐并首次拼接成全景图像；控制单元用于将各鱼眼摄像头采集的原始视频画面像素点与首次拼接成的全景图像像素点的映射关系信息存储于存储单元中，在泊车过程中通过查表方式从存储单元中获得鱼眼摄像头采集的原始视频画面像素点与首次拼接全景图像像素点的映射关系信息，将所有鱼眼摄像头采集的视频画面实时拼接成全景图；图像加权平均融合单元用于对实时拼接的全景图进行渐入渐出处理，消除拼接缝隙、光照影响和模糊影响。
按上述系统，所述的首次图像拼接单元以来自相邻的鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为拼接线，进行对齐；其中取方向盘左打死时来自相邻的位于车头左边与车厢左边鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为拼接线，取方向盘右打死时来自相邻的位于车头右边与车厢右边鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为拼接线。
按上述系统，所述的鱼眼摄像头的分布为：车头前边和车厢后边的中点各1个，车头左右两边和车厢左右两边的中点分别各1个，且所有鱼眼摄像头的投影均与车身垂直。
利用上述用于商用车的全景环视泊车辅助系统实现的泊车方法，其特征在于：它包括以下步骤：
S1、根据每个鱼眼摄像头本身内部参数和畸变模型，将每个鱼眼摄像头拍摄的视频画面进行畸变校正，得到理想图；
S2、对理想图进行投影变换，将来自不同鱼眼摄像头的理想图投影到同一坐标系下变成鸟瞰图；
S3、对鸟瞰图第一次图像拼接，对来自相邻的鱼眼摄像头的鸟瞰图中重叠区域进行特征点匹配，对有重叠区域的图像进行对齐并首次拼接成全景图像；
S4、将各鱼眼摄像头采集的原始视频画面像素点与首次拼接成的全景图像像素点的映射关系信息进行存储；在泊车过程中通过查表方式从存储单元中获得鱼眼摄像头采集的原始视频画面像素点与首次拼接全景图像像素点的映射关系信息，将所有鱼眼摄像头采集的视频画面实时拼接成全景图；
S5、采用图像加权平均融合的方法，对实时拼接的全景图进行渐入渐出处理，消除拼接缝隙、光照影响和模糊影响。
按上述泊车方法，所述的S1采用多项式变换的方法进行畸变校正。
按上述泊车方法，所述的S3在首次拼接时，以来自相邻的鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为这两个相邻的鱼眼摄像头的鸟瞰图之间的拼接线；
由于泊车时车头与车厢之间会存在角度，因此取方向盘左打死时来自相邻的位于车头左边与车厢左边鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为这两个鱼眼摄像头的鸟瞰图之间的拼接线；取方向盘右打死时来自相邻的位于车头右边与车厢右边鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为这两个鱼眼摄像头的鸟瞰图之间的拼接线。
按上述泊车方法，所述的S4采用基于特征点的尺度不变特征变换算法。
用于上述用于商用车的全景环视泊车辅助系统的鱼眼摄像头安装方法，其特征在于：它包括以下步骤：
1)商用车包括车头和车厢，各包括前后左右四边，在不影响商用车正常作业的情况下分别在车头前边和车厢后边各至少1个鱼眼摄像头，车头左右两边和车厢左右两边分别各至少1个鱼眼摄像头；
2)调整鱼眼摄像头的位置使得其投影与车身垂直；
3)预设感兴趣区域：当车头与车厢之间没有旋转时，在商用车车身左右各延伸距离b，前后各延伸距离a的区域；
调节鱼眼摄像头的主主光轴使得：车头前边和车厢后边的鱼眼摄像头的主光轴分别对准该鱼眼摄像头在地面正投影向外延伸距离a/2±Δa处；车头左右两边和车厢左右两边的鱼眼摄像头的主光轴分别对准该鱼眼摄像头在地面正投影向外延伸距离b/2±Δb处；所述的Δa和Δb为误差；
4)固定各鱼眼摄像头，并测量各鱼眼摄像头的高度，计算高度与主光轴之间的夹角。
按上述安装方法，其特征在于：所述的3)调节鱼眼摄像头之前，在各主光轴对准点处设置标志物。
本发明的有益效果为：
1、商用车车身体积一般较大，结构也较为复杂，不同位置的摄像头拍摄到的图像光线明暗度会不同，在相邻两幅图像拼接后的重叠区域很容易出现明显的拼接缝隙，为了减少这种拼接缝隙对人眼视觉上的影响，本发明通过加权平均融合算法，采用渐入渐出的融合方法来消除这种拼接缝隙，从而为商用车的泊车提供全景环视效果较好的辅助工具；通过首次标定后将全景图中所有像素点与摄像头原始位置中对应像素坐标建立一一对应的映射关系存储于系统的存储单元中，当一帧图像采集后，系统可根据先前在存储单元中生成的数据，由控制单元快速生成全景图，最后通过对拼接后的全景图进行加权平均融合后并显示在屏幕上，这样可以大大缩短系统的处理时间，满足系统实时性的要求。
2、现有的全景环视泊车辅助系统大部分是针对私家小轿车，一般仅适合单个车厢的汽车。当商用车有车头和车厢，在倒车或者车辆转弯时，车头和车厢不在同一角度，如果还是采用小轿车的标定方法，直接通过拼接就无法准确显示车辆周围的情况。本发明通过将方向盘分别左右打死，使得车头和车厢存在最大角度，以此来分别确定两部分两侧面摄像头之间的拼接线，这样当两车厢之间的角度发生变化时也能按照这条拼接线来完成全景图像的拼接。
3.现有的全景环视泊车辅助系统摄像头的安装一般是根据安装工的经验采用目测的方法，并没有一个量化的标准，由于安装工主观意识不统一，经常会导致在摄像头安装时，主光轴角度没有到达最佳或有一侧摄像头重叠区域过窄，导致最后全景拼接的效果不佳。而本发明针对以上情况具体的提出鱼眼摄像头的安装位置，其安装高度能够通过商用车的实际情况，通过调节向下的角度来满足不同安装高度的要求，由此通过最大限度的优化鱼眼摄像头安装位置使其相邻摄像头之间的重叠区域来满足最佳的拼接效果。
附图说明
图1为本发明一实施例的流程图。
图2为商用车周围感兴趣区域的范围示意图。
图3为鱼眼摄像头立体安装实验模型，其中(1)为车头前部和车厢后部的鱼眼摄像头，(2)为车头左右两边和车厢左右两边的鱼眼摄像头。
图4鱼眼摄像头安装方式对比示意图。
图5商用车前后两侧鱼眼摄像头安装高度与向下夹角的关系。
图6商用车左右两侧鱼眼摄像头安装高度与向下夹角的关系。
图7商用车左侧两车厢拼接线的确定。
图8商用车右侧两车厢拼接线的确定。
图9本发明一实施例的系统原理框图。
图10本发明一实施例的成像效果示意图。
具体实施方式
为了让本领域全景环视泊车辅助系统的技术人员更好的理解本发明的技术方案，下面结合附图对本发明作进一步详细的阐述。
图1为本发明一实施例的流程图，基于该流程，本实施例提供一种用于商用车的全景环视泊车辅助系统，它包括方位视场角至少为180度的鱼眼摄像头、数据采集处理器、存储器和显示器，鱼眼摄像头采集的视频画面经数据采集处理器进行处理得到商用车及其感兴趣区域的图像存入存储器并通过显示器显示；其中所述的感兴趣区域为：当车头与车厢之间没有旋转时，在商用车车身左右各延伸距离b，前后各延伸距离a的区域，如图2所示。商用车包括车头和车厢，各包括前后左右四边，鱼眼摄像头的分布为：车头前边和车厢后边各至少1个，车头左右两边和车厢左右两边分别各至少1个；如图5和图6所示，车头前边和车厢后边的鱼眼摄像头的主光轴分别对准该鱼眼摄像头在地面正投影向外延伸距离a/2±Δa处；车头左右两边和车厢左右两边的鱼眼摄像头的主光轴分别对准该鱼眼摄像头在地面正投影向外延伸距离b/2±Δb处；所述的Δa和Δb为误差。
如图9所示，所述的数据采集处理器包括鱼眼图像畸变校正单元、侧视图转俯视图单元、首次图像拼接单元、控制单元和图像加权平均融合单元；其中鱼眼图像畸变校正单元用于根据每个鱼眼摄像头本身内部参数和畸变模型，将每个鱼眼摄像头拍摄的视频画面进行畸变校正，得到理想图；侧视图转俯视图单元用于对理想图进行投影变换，将来自不同鱼眼摄像头的理想图投影到同一坐标系下变成鸟瞰图；首次图像拼接单元用于对鸟瞰图第一次图像拼接，对来自相邻的鱼眼摄像头的鸟瞰图中重叠区域进行特征点匹配，对有重叠区域的图像进行对齐并首次拼接成全景图像；控制单元用于将各鱼眼摄像头采集的原始视频画面像素点与首次拼接成的全景图像像素点的映射关系信息存储于存储单元中，在泊车过程中通过查表方式从存储单元中获得鱼眼摄像头采集的原始视频画面像素点与首次拼接全景图像像素点的映射关系信息，将所有鱼眼摄像头采集的视频画面实时拼接得到全景图；图像加权平均融合单元用于对实时拼接的全景图进行渐入渐出处理，消除拼接缝隙、光照影响和模糊影响。
所述的首次图像拼接单元以来自相邻的鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为拼接线，进行对齐；其中取方向盘左打死时来自相邻的位于车头左边与车厢左边鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为拼接线，取方向盘右打死时来自相邻的位于车头右边与车厢右边鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为拼接线。
本实施例中，所述的鱼眼摄像头的分布为：车头前边和车厢后边的中点各1个，车头左右两边和车厢左右两边的中点分别各1个，且所有鱼眼摄像头的投影均与车身垂直。
根据商用车外观轮廓一般较大、结构较为复杂的特点，以及结合全景环视泊车辅助系统鱼眼图像的成像特点，得到该系统在商用车上的优化安装。本实施例中的鱼眼摄像头安装方法，包括以下步骤：
1)商用车包括车头和车厢，各包括前后左右四边，在不影响商用车正常作业的情况下分别在车头前边和车厢后边各至少1个鱼眼摄像头，车头左右两边和车厢左右两边分别各至少1个鱼眼摄像头。
2)调整鱼眼摄像头的位置使得其投影与车身垂直。
根据鱼眼摄像头的成像特点，图像偏离光轴越远失真越严重的特性，而相邻镜头的重叠区域通常都在远离光轴的位置，因此为了避免有一侧摄像头重叠区域过小，影响后续的全景图效果如图4所示，当鱼眼镜头的中心光轴C1由原来与汽车车身垂直变为与车身存在ω角度时变为C′1，在摄像头C2,C6位置不变的情况下，由于鱼眼摄像头的视野范围是180度，摄像头C1与C6的重叠部分l12,l61变多了，易于后续的拼接，同时摄像头C1与C2的重叠部分l11,l22会变少。然而图像拼接融合就是依靠这一重叠部分来完成的，重叠部分的多少将会直接影响最后成像的好坏，所以摄像头安装位置应该使得左右两边成像重叠部分相同。又如图4所示，另外如将鱼眼摄像头C1由原来位置变化到位置时，即摄像头C1前移了，摄像头C2与摄像头的重叠部分l11、l22，由于l11更加靠近鱼眼图像的中心而更加清晰，畸变程度更少，因此更易于拼接融合处理；同时又要考虑到由于摄像头太靠近汽车前部左端，使得拍摄的图像l12越接近鱼眼图像的边缘部分，所以变形更加严重。最终在与C6公共区域l61进行拼接融合处理时，由于图像失真严重，增加了图像畸变校正的难度。即校正后的图像失真也严重，很难达到预期的效果。同理鱼眼摄像头C2,C3,C4,C5,C6两两之间存在同样的问题。因此在安装过程中鱼眼摄像头应尽量安装在各个车厢的中点处附近且左右光轴不偏转，即摄像头的投影与车身垂直，成像效果如图10所示。
3)预设感兴趣区域：当车头与车厢之间没有旋转时，在商用车车身左右各延伸距离b，前后各延伸距离a的区域；调节鱼眼摄像头的主主光轴使得：车头前边和车厢后边的鱼眼摄像头的主光轴分别对准该鱼眼摄像头在地面正投影向外延伸距离a/2±Δa处；车头左右两边和车厢左右两边的鱼眼摄像头的主光轴分别对准该鱼眼摄像头在地面正投影向外延伸距离b/2±Δb处；所述的Δa和Δb为误差。
如图3所示建立摄像头安装模型便于上下调节摄像头的主光轴，将摄像头的主光轴对准感兴趣区域的中心K；如图4所示，在感兴趣区域内放置一块带有黑白相间图案的标记物，以便于鱼眼摄像头主光轴对准其区域，在具体实施过程中很难通过安装人员目视来到达对准的要求，但是在安装工程中可以根据已知测量得到摄像头安装的高度H以及感兴趣区域a、b，根据图5、图6可以得到摄像头安装在商用车前后向下的角度α，车厢两侧向下的角度β，两者分别符合通过6个摄像头不同的安装高度计算得到各自向下的角度分别为前后2个摄像头为α1、α2，两侧车厢4个摄像头分别为β1、β2、β3、β4，即在安装过程中分别根据各自计算出的角度，可以在角度测量器的辅助下来校正各个鱼眼摄像头向下的角度，而通过角度测量器安装过程中难免会存在一定的误差，其测量误差与人为误差应在Δa和Δb的允许范围内。
4)固定各鱼眼摄像头，6个摄像头安装的高度可以不同。
利用上述用于商用车的全景环视泊车辅助系统实现的泊车方法，包括以下步骤：
S1、根据每个鱼眼摄像头本身内部参数和畸变模型，将每个鱼眼摄像头拍摄的视频画面进行畸变校正，得到理想图。
本实施例采用多项式变换的方法进行畸变校正。多项式坐标变换的方法是图像空间坐标一种较为简单的校正方式，该方法用来描述校正后的理想图与原始视频画面之间的地址映射。
假设点g(u,v)为校正后的图像，g(x,y)是畸变的图像。两者之间存在一个非线性变换T0,即为(x,y)＝T0[(u,v)]，而该变换可用多项式来近似，即点g(x,y)与校正后对应点g(u,v)间存在的关系为：
在实际应用中，通过给出输入输出图像。其中，n为多项式次数、eij,fij为多项式的系数，针对鱼眼镜头图像产生的畸变失真，一般需要5阶二元多项式；设已知L个对应关系为下：(x1,y1)→(u1,v1)，…(xL,yL)→(uL,vL)，使用上述关系对式进行拟合时，使得拟合的误差平方和ε1，ε2最小；该多项式的系数是由这些点的坐标来决定的，一旦求出多项式的系数，g(u,v)与g(x,y)两坐标系之间的变换关系就确定了，即可完成对鱼眼图像校正。
S2、对理想图进行投影变换，将来自不同鱼眼摄像头的理想图投影到同一坐标系下变成鸟瞰图。
鸟瞰图即俯视图，将侧视图转换为俯视图，从而方便驾驶员直观的判断汽车外围障碍物与车位置的关系，假设目标平面上一点I(ix,iy)，在图像平面中对应的点为I'(i'x,i'y)，图像坐标系到世界坐标系的转换关系可以表述为：
其中，在式中V为像平面的垂直分辨率，W为像平面的水平分辨率，H为在世界坐标系中鱼眼摄像头的安装高度，β0为鱼眼摄像头水平方向视角的1/2，α0为鱼眼摄像头垂直视角的1/2，γ0为鱼眼摄像头的仰角。
本系统中需要运用的是由图像坐标系到世界坐标系关系，即为由商用车周围各个拍摄到的侧视图转换为模拟从汽车上方为视角的虚拟俯视图。现变换公式反向求解，可得到：
S3、对鸟瞰图第一次图像拼接，对来自相邻的鱼眼摄像头的鸟瞰图中重叠区域进行特征点匹配，对有重叠区域的图像进行对齐并首次拼接成全景图像。
在首次拼接时，以来自相邻的鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为这两个相邻的鱼眼摄像头的鸟瞰图之间的拼接线；由于泊车时车头与车厢之间会存在角度，因此取方向盘左打死时来自相邻的位于车头左边与车厢左边鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为这两个鱼眼摄像头的鸟瞰图之间的拼接线，如图7所示；取方向盘右打死时来自相邻的位于车头右边与车厢右边鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为这两个鱼眼摄像头的鸟瞰图之间的拼接线，如图8所示。
以上的两种情况是两种极端的情况，当商用车侧面各自的两个鱼眼摄像头满足这样的拼接线时，由于商用车两个车厢存在的角度都会小于或等于γ(γ为方向盘打死时车头与车厢的夹角)，因此，这样的拼接线可以满足商用车倒车与转弯时的不同情况。
S4、将各鱼眼摄像头采集的原始视频画面像素点与首次拼接成的全景图像像素点的映射关系信息进行存储；在泊车过程中通过查表方式从存储单元中获得鱼眼摄像头采集的原始视频画面像素点与首次拼接全景图像像素点的映射关系信息，将所有鱼眼摄像头采集的视频画面实时拼接成全景图。
本实施例采用基于特征点的图像拼接算法尺度不变特征变换(SIFT,Scale-invariant feature transform)的方法。尺度不变特征变换算法(SIFT)是由David G.Lowe提出的一种基于尺度空间理论，对图像的平移、旋转、缩放、仿射变换都具有不变性的局部特征算法。SIFT算法是在尺度空间中，在不同的尺度下检测具有局部不变特征的特征点，用向量形式的描述符表示特征点。该拼接方法已经较为成熟，其算法包括特征点提取、特征点剔除、特征点描述、特征点匹配。
为了达到实时性的要求，6个鱼眼摄像头各自及相对的位置和各项参数在商用车上一旦确定后都不会发生变化，拼接缝隙按照左右方向盘打死的情况下确定的，当车头与车厢角度发生变化时仍可按照这条拼接缝隙进行的，其拼接缝隙不会随着车辆的移动而改变，也不会随着摄像内容的改变而改变，所有处理都是依据6个摄像头获取视频图像中各自像素点的空间变换完成的，这与该像素点的灰度值无关。故通过本方法标定一次后的各项运算参数(包括：6个摄像头内部参数、6个鱼眼镜头各畸变参数、6个摄像头水平和垂直视角、相对车身的俯仰角、距离地面的安装高度、拍摄图像像素大小和图像拼接查找表)可作为常量保存成表格的形式存储于存储单元中。
S6、采用图像加权平均融合的方法，对实时拼接的全景图进行渐入渐出处理，消除拼接缝隙、光照影响和模糊影响。
由于商用车车身体积一般较大，结构也较为复杂，不同位置的鱼眼摄像头拍摄到的图像光线明暗度会不同，在相邻两幅图像处很容易出现明显的拼接缝隙，为了减少这种拼接缝隙对人眼视觉上的影响，通过加权平均融合算法，采用渐入渐出的融合方法来消除这种拼接缝隙。
假设图像I1(x,y)和图像I2(x,y)表示两幅待融合的图像函数，用渐入渐出融合法得到图像I(x,y)，其像素值为：
在公式中m1,m2表示权重的值，其值一般和重叠区域的宽度有关，其中m1+m2＝1,0<m1,m2<1.通过实现重叠区域较为平滑地过渡，需要m1由1渐变到0，m2由0渐变到1。可以设当前像素点的横坐标为xi，重叠区域左右两边界的横坐标分别为xl和xr，则有：m1＝(xr-xi)/(xr-xl),m2＝1-m1。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。
Claims (2)
1.用于商用车的全景环视泊车辅助系统的鱼眼摄像头安装方法，其特征在于：用于商用车的全景环视泊车辅助系统包括方位视场角至少为180度的鱼眼摄像头、数据采集处理器、存储器和显示器，鱼眼摄像头采集的视频画面经数据采集处理器进行处理得到商用车及其感兴趣区域的图像存入存储器并通过显示器显示；其中
所述的感兴趣区域为：当车头与车厢之间没有旋转时，在商用车车身左右各延伸距离b，前后各延伸距离a的区域；
商用车包括车头和车厢，各包括前后左右四边，鱼眼摄像头的分布为：车头前边和车厢后边各至少1个，车头左右两边和车厢左右两边分别各至少1个；
车头前边和车厢后边的鱼眼摄像头的主光轴分别对准该鱼眼摄像头在地面正投影向外延伸距离a/2±Δa处；车头左右两边和车厢左右两边的鱼眼摄像头的主光轴分别对准该鱼眼摄像头在地面正投影向外延伸距离b/2±Δb处；所述的Δa和Δb为误差；
所述的数据采集处理器包括鱼眼图像畸变校正单元、侧视图转俯视图单元、首次图像拼接单元、控制单元和图像加权平均融合单元；其中鱼眼图像畸变校正单元用于根据每个鱼眼摄像头本身内部参数和畸变模型，将每个鱼眼摄像头拍摄的视频画面进行畸变校正，得到理想图；侧视图转俯视图单元用于对理想图进行投影变换，将来自不同鱼眼摄像头的理想图投影到同一坐标系下变成鸟瞰图；首次图像拼接单元用于对鸟瞰图第一次图像拼接，对来自相邻的鱼眼摄像头的鸟瞰图中重叠区域进行特征点匹配，对有重叠区域的图像进行对齐并首次拼接成全景图像；控制单元用于将各鱼眼摄像头采集的原始视频画面像素点与首次拼接成的全景图像像素点的映射关系信息存储于存储单元中，在泊车过程中通过查表方式从存储单元中获得鱼眼摄像头采集的原始视频画面像素点与首次拼接全景图像像素点的映射关系信息，将所有鱼眼摄像头采集的视频画面实时拼接得到全景图；图像加权平均融合单元用于对实时拼接的全景图进行渐入渐出处理，消除拼接缝隙、光照影响和模糊影响；
本安装方法包括以下步骤：
1）商用车包括车头和车厢，各包括前后左右四边，在不影响商用车正常作业的情况下分别在车头前边和车厢后边各至少1个鱼眼摄像头，车头左右两边和车厢左右两边分别各至少1个鱼眼摄像头；
2）调整鱼眼摄像头的位置使得其投影与车身垂直；
3）预设感兴趣区域：当车头与车厢之间没有旋转时，在商用车车身左右各延伸距离b，前后各延伸距离a的区域；
在各主光轴对准点处设置标志物；调节鱼眼摄像头的主主光轴使得：车头前边和车厢后边的鱼眼摄像头的主光轴分别对准该鱼眼摄像头在地面正投影向外延伸距离a/2±Δa处；车头左右两边和车厢左右两边的鱼眼摄像头的主光轴分别对准该鱼眼摄像头在地面正投影向外延伸距离b/2±Δb处；所述的Δa和Δb为误差；
4）固定各鱼眼摄像头，并测量各鱼眼摄像头的高度，计算高度与主光轴之间的夹角；
所述的首次图像拼接单元以来自相邻的鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为拼接线，进行对齐；其中取方向盘左打死时来自相邻的位于车头左边与车厢左边鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为拼接线，取方向盘右打死时来自相邻的位于车头右边与车厢右边鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为拼接线；
车头前边和车厢后边的中点各1个，车头左右两边和车厢左右两边的中点分别各1个，且所有鱼眼摄像头的投影均与车身垂直。
2.采用权利要求1所述的鱼眼摄像头安装方法的全景环视泊车辅助系统实现的泊车方法，其特征在于：它包括以下步骤：
S1、根据每个鱼眼摄像头本身内部参数和畸变模型，将每个鱼眼摄像头拍摄的视频画面进行畸变校正，得到理想图；
S2、对理想图进行投影变换，将来自不同鱼眼摄像头的理想图投影到同一坐标系下变成鸟瞰图；
S3、对鸟瞰图第一次图像拼接，对来自相邻的鱼眼摄像头的鸟瞰图中重叠区域进行特征点匹配，对有重叠区域的图像进行对齐并首次拼接成全景图像；
S4、将各鱼眼摄像头采集的原始视频画面像素点与首次拼接成的全景图像像素点的映射关系信息进行存储；
在泊车过程中通过查表方式从存储单元中获得鱼眼摄像头采集的原始视频画面像素点与首次拼接全景图像像素点的映射关系信息，将所有鱼眼摄像头采集的视频画面实时拼接成全景图；
S5、采用图像加权平均融合的方法，对实时拼接的全景图进行渐入渐出处理，消除拼接缝隙、光照影响和模糊影响；
所述的S1采用多项式变换的方法进行畸变校正；
所述的S3在首次拼接时，以来自相邻的鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为这两个相邻的鱼眼摄像头的鸟瞰图之间的拼接线；
由于泊车时车头与车厢之间会存在角度，因此取方向盘左打死时来自相邻的位于车头左边与车厢左边鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为这两个鱼眼摄像头的鸟瞰图之间的拼接线；取方向盘右打死时来自相邻的位于车头右边与车厢右边鱼眼摄像头的鸟瞰图中的重叠区域的平分线作为这两个鱼眼摄像头的鸟瞰图之间的拼接线；
所述的S4采用基于特征点的尺度不变特征变换算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510278462.4A CN104851076B (zh) | 2015-05-27 | 2015-05-27 | 用于商用车的全景环视泊车辅助系统及摄像头安装方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510278462.4A CN104851076B (zh) | 2015-05-27 | 2015-05-27 | 用于商用车的全景环视泊车辅助系统及摄像头安装方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104851076A CN104851076A (zh) | 2015-08-19 |
| CN104851076B true CN104851076B (zh) | 2018-10-09 |
Family
ID=53850704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510278462.4A Expired - Fee Related CN104851076B (zh) | 2015-05-27 | 2015-05-27 | 用于商用车的全景环视泊车辅助系统及摄像头安装方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104851076B (zh) |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354796B (zh) * | 2015-10-12 | 2018-12-04 | 北京鑫洋泉电子科技有限公司 | 用于行车辅助的图像处理方法及系统 |
| CN106855999A (zh) * | 2015-12-09 | 2017-06-16 | 宁波芯路通讯科技有限公司 | 汽车环视图像的生成方法及装置 |
| CN106920265B (zh) | 2015-12-28 | 2024-04-26 | 上海联影医疗科技股份有限公司 | 计算机断层扫描图像重建方法及装置 |
| CN105678787A (zh) * | 2016-02-03 | 2016-06-15 | 西南交通大学 | 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法 |
| CN105915794A (zh) * | 2016-05-27 | 2016-08-31 | 武汉理工大学 | 一种使用高速球摄像机的全景场景制作方法 |
| CN107464218A (zh) * | 2016-06-02 | 2017-12-12 | 维森软件技术（上海）有限公司 | 汽车标定系统及其标定方法 |
| CN106303283A (zh) * | 2016-08-15 | 2017-01-04 | Tcl集团股份有限公司 | 一种基于鱼眼摄像头的全景图像合成方法及系统 |
| CN106355553B (zh) * | 2016-09-06 | 2019-08-27 | 深圳格兰泰克汽车电子有限公司 | 一种360环视拼接方法及装置 |
| CN106541944B (zh) * | 2016-11-07 | 2019-03-05 | 纵目科技（上海）股份有限公司 | 一种库位检测方法、系统、及移动设备 |
| DE102016225066A1 (de) * | 2016-12-15 | 2018-06-21 | Conti Temic Microelectronic Gmbh | Rundumsichtsystem für ein Fahrzeug |
| CN106651808B (zh) * | 2016-12-29 | 2020-05-08 | 北京爱奇艺科技有限公司 | 一种鱼眼图转换方法及装置 |
| CN106780344B (zh) * | 2017-01-06 | 2020-07-07 | 苏州大学 | 基于偏差转移和拆分的汽车360°环视图像拼接方法 |
| CN107256535A (zh) * | 2017-06-06 | 2017-10-17 | 斑马信息科技有限公司 | 全景环视图像的显示方法及装置 |
| CN107506159B (zh) * | 2017-06-19 | 2020-06-05 | 广州励丰文化科技股份有限公司 | 一种基于数字艺术景观装置的像素拼接显示方法及服务器 |
| CN107277350A (zh) * | 2017-06-23 | 2017-10-20 | 广州世盟电子科技有限公司 | 一种全景解码一体智能机和全景解码的方法 |
| CN107270900A (zh) * | 2017-07-25 | 2017-10-20 | 广州阿路比电子科技有限公司 | 一种6自由度空间位置和姿态的检测系统和方法 |
| CN107492125A (zh) * | 2017-07-28 | 2017-12-19 | 哈尔滨工业大学深圳研究生院 | 汽车鱼眼镜头环视图像的处理方法 |
| CN109429039B (zh) * | 2017-09-05 | 2021-03-23 | 中车株洲电力机车研究所有限公司 | 一种多编组铰接车辆周界视频全景显示系统及方法 |
| CN109544460A (zh) * | 2017-09-22 | 2019-03-29 | 宝沃汽车（中国）有限公司 | 图像矫正方法、装置及车辆 |
| CN108053386B (zh) * | 2017-11-27 | 2021-04-09 | 北京理工大学 | 用于图像融合的方法及装置 |
| CN108198133B (zh) * | 2017-12-06 | 2021-09-17 | 云南联合视觉科技有限公司 | 一种车辆全景图像快速拼接方法 |
| CN107993488B (zh) * | 2017-12-13 | 2021-07-06 | 深圳市航盛电子股份有限公司 | 一种基于鱼眼相机的车位识别方法、系统及介质 |
| CN108263283B (zh) * | 2018-01-25 | 2020-01-14 | 长沙立中汽车设计开发股份有限公司 | 多编组变角度车辆全景环视系统标定及拼接方法 |
| US10685239B2 (en) * | 2018-03-18 | 2020-06-16 | Tusimple, Inc. | System and method for lateral vehicle detection |
| CN110341597B (zh) * | 2018-04-02 | 2020-11-27 | 杭州海康威视数字技术股份有限公司 | 一种车载全景视频显示系统、方法及车载控制器 |
| CN109278641A (zh) * | 2018-05-30 | 2019-01-29 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于摄像头消除汽车盲区的高清智能装置及其方法 |
| CN109087251B (zh) * | 2018-08-30 | 2020-10-30 | 上海大学 | 一种车载全景图像显示方法及系统 |
| CN109472737B (zh) * | 2018-10-22 | 2022-05-31 | 福州大学 | 一种车载六路摄像头的全景报警方法 |
| CN109785232A (zh) * | 2018-12-13 | 2019-05-21 | 深圳市路畅智能科技有限公司 | 一种基于超声波雷达的车载监控环视图像拼接方法 |
| CN110316069A (zh) * | 2019-07-15 | 2019-10-11 | 北京茵沃汽车科技有限公司 | 基于多核的快速显示泊车影像的方法和装置 |
| CN112435161A (zh) * | 2020-11-12 | 2021-03-02 | 蘑菇车联信息科技有限公司 | 全景环视图像拼接方法及系统、电子设备和存储介质 |
| CN112435167B (zh) * | 2020-12-01 | 2024-03-12 | 深圳市豪恩汽车电子装备股份有限公司 | 机动车车底路面图像获取装置及方法 |
| CN112529966B (zh) * | 2020-12-17 | 2023-09-15 | 豪威科技(武汉)有限公司 | 一种车载环视系统的在线标定方法及其车载环视系统 |
| CN116490894A (zh) * | 2020-12-31 | 2023-07-25 | 西门子股份公司 | 一种图像拼接方法、装置和计算机可读介质 |
| CN113251993B (zh) * | 2021-04-08 | 2022-11-08 | 杭州飞步科技有限公司 | 偏转角的检测方法、装置、计算机设备和可读存储介质 |
| CN115412676B (zh) * | 2022-09-13 | 2024-09-06 | 清华大学 | 一种基于权重掩膜的全景环视系统及全景图像融合方法 |
| CN117499601B (zh) * | 2024-01-02 | 2024-04-05 | 上海励驰半导体有限公司 | 用于SoC的调用多摄像头数据的方法 |
| CN118247765A (zh) * | 2024-01-16 | 2024-06-25 | 广东六力智行科技有限公司 | 全景目标侦测方法、装置、车辆以及存储介质 |
| CN117745720B (zh) * | 2024-02-19 | 2024-05-07 | 成都数之联科技股份有限公司 | 一种车辆外观检测方法、装置、设备及存储介质 |
| CN118629013A (zh) * | 2024-08-08 | 2024-09-10 | 比亚迪股份有限公司 | 障碍物数据处理方法、控制器、车辆及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102045546A (zh) * | 2010-12-15 | 2011-05-04 | 广州致远电子有限公司 | 一种全景泊车辅助系统 |
| CN102736634A (zh) * | 2012-07-10 | 2012-10-17 | 浙江捷尚视觉科技有限公司 | 一种用于汽车全景图的摄像头角度调节方法 |
| CN103763517A (zh) * | 2014-03-03 | 2014-04-30 | 惠州华阳通用电子有限公司 | 一种车载环视显示方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090088210A (ko) * | 2008-02-14 | 2009-08-19 | 주식회사 만도 | 두 개의 기준점을 이용한 목표주차위치 검출 방법과 장치및 그를 이용한 주차 보조 시스템 |
-
2015
- 2015-05-27 CN CN201510278462.4A patent/CN104851076B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102045546A (zh) * | 2010-12-15 | 2011-05-04 | 广州致远电子有限公司 | 一种全景泊车辅助系统 |
| CN102736634A (zh) * | 2012-07-10 | 2012-10-17 | 浙江捷尚视觉科技有限公司 | 一种用于汽车全景图的摄像头角度调节方法 |
| CN103763517A (zh) * | 2014-03-03 | 2014-04-30 | 惠州华阳通用电子有限公司 | 一种车载环视显示方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 全景视觉泊车辅助系统研究;丁鑫;《万方学术论文数据库》;20100531;全文 * |
| 基于多图像传感器融合的全景泊车辅助系统研究;王鹏程;《万方学术论文库》;20140917;全文 * |
| 基于鱼眼相机的实时视频拼接技术研究;孙炬辉;《中国优秀硕士学位论文全文数据库-信息科技辑》;20140915(第09期);第8-10，28-36页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104851076A (zh) | 2015-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104851076B (zh) | 用于商用车的全景环视泊车辅助系统及摄像头安装方法 | |
| CN109741455B (zh) | 一种车载立体全景显示方法、计算机可读存储介质及系统 | |
| CN108263283B (zh) | 多编组变角度车辆全景环视系统标定及拼接方法 | |
| CN104512328B (zh) | 汽车环视图像生成方法及汽车环视系统 | |
| CN112224132B (zh) | 一种车用全景环视障碍物预警方法 | |
| CN103177439B (zh) | 一种基于黑白格角点匹配的自动标定方法 | |
| JP5739584B2 (ja) | 車両周辺視角化のための３次元映像合成装置およびその方法 | |
| CN109948398A (zh) | 全景泊车的图像处理方法及全景泊车装置 | |
| CN105354796B (zh) | 用于行车辅助的图像处理方法及系统 | |
| CN106101635B (zh) | 车辆周围影像处理方法及装置 | |
| CN110381255A (zh) | 应用360全景环视技术的车载视频监控系统及方法 | |
| CN112070886B (zh) | 矿用自卸车的影像监控方法及相关设备 | |
| CN109087251B (zh) | 一种车载全景图像显示方法及系统 | |
| CN102298771A (zh) | 全景泊车辅助系统的鱼眼图像快速校正方法 | |
| CN106994936A (zh) | 一种3d全景泊车辅助系统 | |
| US11528453B2 (en) | Sensor fusion based perceptually enhanced surround view | |
| CN110738696B (zh) | 行车盲区透视视频的生成方法及行车盲区视野透视系统 | |
| CN116245722A (zh) | 一种应用于重高型车辆的全景影像拼接系统及方法 | |
| KR102235951B1 (ko) | 차량용 영상 생성 장치 및 방법 | |
| CN110428361A (zh) | 一种基于人工智能的多路图像采集方法 | |
| Santhanam et al. | Lens distortion correction and geometrical alignment for Around View Monitoring system | |
| CN104504677B (zh) | 一种基于可变视角的图像生成方法 | |
| CN116258740A (zh) | 基于多摄像头像素融合的车载前视多目标跟踪方法 | |
| CN113892258A (zh) | 用于表示移动平台周围环境的调和的被遮挡区域的方法 | |
| KR20110082873A (ko) | 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181009 Termination date: 20190527 |