CN107730558A - 基于双向鱼眼摄像机的360°行车记录系统及方法 - Google Patents
基于双向鱼眼摄像机的360°行车记录系统及方法 Download PDFInfo
- Publication number
- CN107730558A CN107730558A CN201710893922.3A CN201710893922A CN107730558A CN 107730558 A CN107730558 A CN 107730558A CN 201710893922 A CN201710893922 A CN 201710893922A CN 107730558 A CN107730558 A CN 107730558A
- Authority
- CN
- China
- Prior art keywords
- eye camera
- image
- fish eye
- chip microcomputer
- fish
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims description 20
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 8
- 241000208340 Araliaceae Species 0.000 claims description 20
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 20
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 20
- 235000008434 ginseng Nutrition 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 11
- 235000013350 formula milk Nutrition 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 230000036544 posture Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000003019 stabilising effect Effects 0.000 claims description 4
- 230000032258 transport Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 206010068052 Mosaicism Diseases 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000003765 sex chromosome Anatomy 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及一种基于双向鱼眼摄像机形成360°全景图的行车记录系统，包括鱼眼摄像机、标定板、单片机、后视镜。所述单片机连接鱼眼摄像机和后视镜，由电源对单片机、鱼眼摄像机和后视镜提供工作电源，标定板置于鱼眼摄像机(1)可拍摄的位置；鱼眼摄像机以背靠背方式连接在单片机上，将拍摄的视频流图像经过单片机处理后输出到后视镜显示；利用鱼眼摄像机获取行车周围环境视频流图像，所采用的鱼眼摄像机为双向鱼眼摄像头，所拍摄图像由单片机进行校准、柱面投影和图像拼接，形成行车周围环境拼接360°全景图。本发明能够处理和展示行车周围环境全景图，保障生命财产安全。
Description
技术领域
本发明涉及一种基于双向鱼眼图像标定校准、柱面投影和图像拼接的系统和方法，具体设计一种基于双向鱼眼摄像机形成360°行车记录系统及方法。
背景技术
鱼眼镜头作为一种特殊的超广角镜头，得益于其超过180°的视场，在生活中得到广泛应用，尤其在拍摄全景图像方面，但超大视角也带来了图像畸形。对于需要从图像中提取环境信息的任务来说，视觉系统的精确校准是至关重要的。对于鱼眼图像的标定校准，需要求出鱼眼镜头的内参和外参，进而得出各方向的畸变参数，进行图像再投影。鱼眼摄像机的外参是指图像投影时相机的旋转矩阵R和平移矩阵t，可以通过对标定图像的多个姿态进行校准，通过采用棋盘格角点提取算法提取黑白网格交叉点的位置信息的线性方程组得出。而摄像头的内参则包括相机x、y方向焦距，各方向畸变系数，像素点在x、y方向上尺度的偏差r，可以通过求解描述图像投影函数g得出。
基于鱼眼镜头的超大视场，对双向鱼眼摄像机所拍摄的相互间存在重叠部分的图像序列进行匹配拼接可得到周围环境的360°全景图。由于图像序列是在不同的坐标系下得到的，直接对图像进行拼接无法满足视觉一致性，因此需要将待拼接的图像序列投影到一个标准的坐标系下，再进行图像拼接。基于柱面坐标变换较简单且投影图像与其投影到柱面的位置无关，拼接的全景图像可在水平方向上满足360°环视，所以选择柱面坐标系进行图像投影。图像拼接算法主要包括基于特征的图像拼接算法，基于灰度的图像拼接算法和基于变换域的图像拼接算法。而基于局部空间特征的SIFT算法由于其尺度不变性，在图像特征提取和标定中取得良好效果。此外，对于运动图像的拼接中，使用最佳缝合线配合距离加权平均的融合效果更优。
发明内容
本发明的目的在于针对已有技术存在的缺陷，提供一种基于双向鱼眼摄像机的360°全景行车记录系统，保证在行车过程中以视频流方式记录周围360°环境，并以25帧/秒的速率读取、处理并展示行车周围环境全景图，保障生命财产安全。
为达到上述目的，本发明的构思是：
1.用双向鱼眼摄像机采集标定板图像，通过提取黑白网格交叉点的位置信息用于标定，获得鱼眼镜头的内参和外参，进而得出各方向的畸变参数；
2.应用背靠背的双向鱼眼镜机，根据所采用单个鱼眼摄像镜头视场大于200°的特点，获取关于行车周围环境的相互之间存在重叠部分的鱼眼图像。将鱼眼摄像头所拍摄的视频流输出到单片机系统，单片机系统调用鱼眼摄像机的内参和外参，将鱼眼摄像机所拍摄的视频流图像用柱面投影投影到到柱面坐标系。通过将左右鱼眼摄像机拍摄的两幅图像融合成为一张图像并以视频流形式输出到后视镜显示。
根据上述的发明构思，本发明采用下述技术方案：
一种基于双向鱼眼摄像机形成360°全景图的行车记录系统及方法，包括鱼眼摄像机、标定板、单片机、后视镜。其特征在于：所述单片机连接鱼眼摄像机和后视镜，由电源对单片机、鱼眼摄像机和后视镜提供工作电源，标定板置于鱼眼摄像机可拍摄的位置；鱼眼摄像机以背靠背方式连接在单片机上，将拍摄的视频流图像经过单片机处理后输出到后视镜显示；利用鱼眼摄像机获取行车周围环境视频流图像，所采用的鱼眼摄像机为双向鱼眼摄像头，所拍摄图像由单片机进行校准、柱面投影和图像拼接，形成行车周围环境拼接360°全景图。
所述的鱼眼摄像机各方向的畸变参数，由对鱼眼摄像机拍摄标定板获得的图像，采用棋盘格角点提取算法提取黑白网格交叉点的位置信息用于标定获得；
所述鱼眼摄像机与单片机通过可双通道图像采集且串行输出方式进行串口通信，对所得到关于行车周围环境360°的视频流图像，通过多线程方式以25帧/秒的速率输出到单片机，单片机调用鱼眼摄像机的内参和外参对视频流图像进行处理；
所述的行车周围环境拼接360°全景图，由单片机将校准、柱面投影和图像拼接之后的拼接全景图，以25帧/秒视频流的方式通过连接线串口通信传输到后视镜显示。
一种基于双向鱼眼图像标定校准、柱面投影和图像拼接的方法，采用上述系统进行操作，其特征在于具体操作步骤如下：
1.使用鱼眼摄像机拍摄标定板多个姿态的图像，对标定板图像上的黑白网格交叉点进行标定，将3D实际点到图像平面像素上投影的图像形成函数g通过泰勒级数展开，运用标定板的几何关系建立方程组，构成相机校准参数的膨胀系数通过求解两步最小二乘性问题来估计，通过投影变换对应关系求出鱼眼摄像机的内参和外参，得出鱼眼摄像机各方向的投影畸变参数；
2.单片机系统调用鱼眼摄像机的内参和外参，将鱼眼摄像机所拍摄的视频流图像用柱面投影算法投影到到柱面坐标系，以设置的图像宽度为周长求出柱面坐标系半径，以设置的图像高度为柱面高度，根据图像柱面投影变换公式，将鱼眼图像坐标转化为柱面坐标系中对应的坐标；
3.运用SIFT算法对柱面投影图像做高斯模糊卷积滤波，对滤波得到的图像作差分运算，得到高斯差分图像；进行极值检测得到高斯差分图像的局部特征值和关键点，通过对尺度空间DoG函数进行曲线拟合，提高关键点稳定性；利用图像的局部特征为每一个关键点分配一个基准方向，使用图像梯度的方法求局部结构的稳定方向；为每一个关键点建立一个描述符，用一组向量描述这个关键点。此向量是该区域图像信息的一种抽象，具有唯一性，保证关键点描述符具有尺度不变特性；
4.运用改进的最佳缝合线算法，根据两幅图像相互之间重叠区域用SIFT算法得到的图像每一个像素点的特征向量，并根据融合效果找出具有最小准则值的一条作为最佳缝合线，配合距离加权平均的方法融合成为一张图像并以视频流方式输出显示。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：
1.在获取全景图像时，在利用鱼眼镜头视场大于200°的基础上，使用背靠背双向鱼眼镜头，可获得关于周围环境的360°环视。
2.为了获得鱼眼摄像机的内参和外参，使用鱼眼摄像机拍摄标定板图像，并利用黑白网格交叉点位置信息几何关系建立关于鱼眼镜头的模型，从而获得鱼眼图像中每一个像素在行车环境中相应场景点的方向，在获得向量的基础上与柱面坐标系相交求出图像像素在柱面投影上的坐标。
3.针对行车记录仪获取行车动态视频的特点，在图像拼接中采用改进的最佳缝合线算法增强对于包含动态物体的图像拼接效果，并根据融合效果配合距离加权平均的融合方法进行图像平滑拼接，使融合后的图像具有视觉一致性而没有明显的接缝。
4.在对于图像加载和处理的过程中分别采用多线程提高视频流图像处理速度，使得图像能以25帧/秒的速度进行读取、处理和显示。
附图说明
图1是本发明系统原理结构示意图。
图2是本发明工作流程框图
图3是对鱼眼摄像机拍摄标定板图像标定校准建模效果图
图4是对于全向相机的校准模式。
图5是鱼眼图像柱面投影示意图。
图6是柱面投影和图像拼接流程框图。
具体实施方式
本发明的优选实例结合附图详述如下：
实施例一：
参见图1，本基于双向鱼眼摄像机形成360°全景图的行车记录系统，包括鱼眼摄像机(1)、标定板(2)、单片机(3)、后视镜(4)。其特征在于：所述单片机(3)连接鱼眼摄像机(1)和后视镜(4)，由电源对单片机(3)、鱼眼摄像机(1)和后视镜(4)提供工作电源，标定板(2)置于鱼眼摄像机(1)可拍摄的位置；鱼眼摄像机(1)以背靠背方式连接在单片机(3)上，将拍摄的视频流图像经过单片机(3)处理后输出到后视镜(4)显示；利用鱼眼摄像机(1)获取行车周围环境视频流图像，所采用的鱼眼摄像机(1)为双向鱼眼摄像头，所拍摄图像由单片机(3)进行校准、柱面投影和图像拼接，形成行车周围环境拼接360°全景图。
实施例二：
本实施例与实施例一基本相同，特别之处如下：
所述的鱼眼摄像机(1)各方向的畸变参数，由对鱼眼摄像机(1)拍摄标定板(2)获得的图像，采用棋盘格角点提取算法提取黑白网格交叉点的位置信息用于标定获得；
所述鱼眼摄像机(1)与单片机(3)通过可双通道图像采集且串行输出方式进行串口通信，对所得到关于行车周围环境360°的视频流图像，通过多线程方式以25帧/秒的速率输出到单片机(3)，单片机(3)调用鱼眼摄像机(1)的内参和外参对视频流图像进行处理；
所述的行车周围环境拼接360°全景图，由单片机(3)将校准、柱面投影和图像拼接之后的拼接全景图，以25帧/秒视频流的方式通过连接线串口通信传输到后视镜(4)显示。
实施例三：
参见图2，本基于双向鱼眼摄像机形成360°全景图的行车记录方法，采用上述系统进行操作，其特征在于具体的操作步骤如下：
1)使用鱼眼摄像机(1)拍摄标定板(2)多个姿态的图像，对标定板图像上的黑白网格交叉点进行标定，将3D实际点到图像平面像素上投影的图像形成函数g通过泰勒级数展开，运用标定板的几何关系建立方程组，构成相机校准参数的膨胀系数通过求解两步最小二乘性问题来估计，通过投影变换对应关系求出鱼眼摄像机的内参和外参，得出鱼眼摄像机(1)各方向的投影畸变参数；
2)单片机(3)调用鱼眼摄像机(1)的内参和外参，将鱼眼摄像机(1)所拍摄的视频流图像用柱面投影算法投影到到柱面坐标系，以设置的图像宽度为周长求出柱面坐标系半径，以设置的图像高度为柱面高度，根据图像柱面投影变换公式，将鱼眼图像坐标转化为柱面坐标系中对应的坐标；单片机(3)调用鱼眼摄像头(1)的内参和外参，将鱼眼摄像机所拍摄的视频流图像用柱面投影算法投影到到柱面坐标系，运用SIFT算法对柱面投影图像侦测局部特征值，并得到关于特征值的描述符；
3)运用SIFT算法对柱面投影图像做高斯模糊卷积滤波，对滤波得到的图像作差分运算，得到高斯差分图像；进行极值检测得到高斯差分图像的局部特征值和关键点，通过对尺度空间DoG函数进行曲线拟合，提高关键点稳定性；利用图像的局部特征为每一个关键点分配一个基准方向，使用图像梯度的方法求局部结构的稳定方向；为每一个关键点建立一个描述符，用一组向量描述这个关键点。此向量是该区域图像信息的一种抽象，具有唯一性，保证关键点描述符具有尺度不变特性；
4)运用改进的最佳缝合线算法，根据两幅图像相互之间重叠区域用SIFT算法得到的特征值描述符相同特性，配合距离加权平均的方法融合成为一张行车周围环境拼接360°全景图，单片机(3)将校准、柱面投影和图像拼接之后的拼接全景图以视频流的方式传输到后视镜(4)显示。
实施例四：
本基于双向鱼眼相机形成360°全景图的行车记录系统通过上述系统对图像进行校准、柱面投影和图像拼接并传输到后视镜(4)显示，其具体步骤如下：
1.鱼眼摄像机畸变参数的获取。首先，由双向鱼眼摄像机(1)拍摄标定板图像建立方程组标定校准鱼眼摄像机(1)的内参和外参，进而求出鱼眼摄像机(1)各方向的畸变参数。本发明采用以下方式：
1)如图3所示，将标定板图像序列作为待标定图像输入到MATLAB，对每张图像交叉点作标定。对于标定板的场景点(u，v)，其在正常视场图像平面上为(u'，v')，而在鱼眼摄像机成像为(u”，v”)，两个系统通过仿射变换相关联，其包括数字化处理和小轴失准，存在u"＝Au’+t关系式。建立图像投影方程组，得到鱼眼摄像机图像投影的完整模型：
λ·g(Au"+t)＝PX，λ＞0 (I)
其中X为实体景物场景点，P为透视投影矩阵。A为旋转矩阵，t为位移向量。为了减少要估计参数的数量，我们通过将视野椭圆变换成以椭圆中心为中心的圆来计算矩形A和t。
2)假设关于标定板图像的投影函数g具有以下形式：
g(u”，v”)＝(u”，v”，f(u”，v”))T (2)
其中函数f可以具有与反射镜或透镜结构相关的各种形式。在这里以摄像机模型参数α0,α1,……αN来表述。所以(1)式可以重写为：
3)在校准过程中，标定板投影图像通过外部参数的旋转矩阵R＝[r1,r2,r3]和平移向量t与传感器坐标系相关联，在模型中用透视投影矩阵表示，所以(3)式可以写为：
对(4)式两边乘以P,上式等于零。则可以得到外部参数r11,r12,r21,r22,r31,r32,t1,t2。
将这些参数带回方程组，通过求解方程组的两步最小二乘性问题做估计，即可得到鱼眼摄像机(1)的内部参数。为了计算最佳多项式次数N，可以从N＝2开始。然后通过单位步长增加N，直到当发现所有较准点的再投影平均误差的平均值最小。
2.对双向鱼眼摄像机(1)拍摄的行车环视视频流图像，用单片机(3)采用多线程方式，以25帧/秒的速率读取视频流图像。
3.运用获得的鱼眼摄像机(1)的内参和外参对左右鱼眼图像进行柱面投影。使用在步骤1中获取的关于鱼眼摄像机(1)各方向的畸变参数，一旦鱼眼摄像机参数被校准，我们就能够得到从每个像素重建行车环境中相应场景点的方向，通过这些角度可以获得在柱面坐标系下以图像中心建立的向量，得到场景点像素对应柱面坐标系的坐标。本发明采用以下方式(参考图5)：
1)首先以柱面坐标系中心为原点，以输入设置的宽度为周长获得圆柱坐标系的半径R，以输入设置的高度作为柱面坐标系的高度H建立柱面坐标系。
2)根据鱼眼摄像机(1)各方向畸变参数获取实体景物到鱼眼摄像机(1)的成像角度θ，得出鱼眼图像对应柱面坐标系的向量角度rho：
rho＝rho+i·pow(len-i-1) (5)
其中i为参数序列的位数，len为鱼眼摄像头参数序列的长度。
3)使用图像中心对应柱面坐标系原点，柱面坐标系中心对应二维坐标系中的(W/2,H/2)，所以鱼眼图像坐标系上的点(x,y)对应柱面坐标系上的坐标可以通过以下方法得到：
Rx＝R·sin((y-H/2)/R) (6)
Ry＝x-W/2 (7)
Rz＝R·cos((y-H/2)/R) (8)
4.运用SIFT算法侦测柱面投影图像特征值。先将柱面投影图像灰度化，将RGB图像处理为灰度图；之后将灰度图扩大一倍后，对图像做不同尺度的高斯模糊平滑，对图像去噪滤波；然后以柱面图像为输入，对图像做降采样，建立高斯金字塔，求出图像的差分金字塔产生稳定的图像特征；然后，通过拟合函数来确定关键点及其位置和尺度；再根据局部特征极值为为每一个关键点分配一个基准方向，使用图像梯度求解图像局部结构的稳定方向，得出关于柱面图像特征值的描述符。
5.使用改进的最佳缝合线技术，根据两幅图像几何结构上的相似性、相互之间重叠区域用SIFT算法得到的图像每一个像素点的特征向量、融合效果找出具有最小准则值的一条作为最佳缝合线，配合距离加权平均的方法融合成为一张图像，得到关于行车周围环境的拼接360°全景图，单片机(3)将处理完成的图像以视频流的方式通过连接线串口通信输出到后视镜(4)进行显示。
Claims (5)
1.一种基于双向鱼眼摄像机形成360°全景图的行车记录系统，包括鱼眼摄像机(1)、标定板(2)、单片机(3)、后视镜(4)，其特征在于：所述单片机(3)连接鱼眼摄像机(1)和后视镜(4)，由电源对单片机(3)、鱼眼摄像机(1)和后视镜(4)提供工作电源，标定板(2)置于鱼眼摄像机(1)可拍摄的位置；鱼眼摄像机(1)以背靠背方式连接在单片机(3)上，将拍摄的视频流图像经过单片机(3)处理后输出到后视镜(4)显示；利用鱼眼摄像机(1)获取行车周围环境视频流图像，所采用的鱼眼摄像机(1)为双向鱼眼摄像头，所拍摄图像由单片机(3)进行校准、柱面投影和图像拼接，形成行车周围环境拼接360°全景图。
2.根据权利要求1所述的基于双向鱼眼摄像机形成360°全景图的行车记录系统，其特征在于：
所述的鱼眼摄像机(1)各方向的畸变参数，由对鱼眼摄像机(1)拍摄标定板(2)获得的图像，采用棋盘格角点提取算法提取黑白网格交叉点的位置信息用于标定获得；
所述鱼眼摄像机(1)与单片机(3)通过可双通道图像采集且串行输出方式进行串口通信，对所得到关于行车周围环境360°的视频流图像，通过多线程方式以25帧/秒的速率输出到单片机(3)，单片机(3)调用鱼眼摄像机(1)的内参和外参对视频流图像进行处理；
所述的行车周围环境拼接360°全景图，由单片机(3)将校准、柱面投影和图像拼接之后的拼接全景图，以25帧/秒视频流的方式通过连接线串口通信传输到后视镜(4)显示。
3.一种基于双向鱼眼摄像机形成360°全景图的行车记录方法，采用权利要求1所述的基于双向鱼眼摄像机形成360°全景图的行车记录系统进行操作，其特征在于具体的操作步骤如下：
1）使用鱼眼摄像机(1)拍摄标定板(2)多个姿态的图像，对标定板图像上的黑白网格交叉点进行标定，将3D实际点到图像平面像素上投影的图像形成函数g通过泰勒级数展开，运用标定板的几何关系建立方程组，构成相机校准参数的膨胀系数通过求解两步最小二乘性问题来估计，通过投影变换对应关系求出鱼眼摄像机(1)的内参和外参，得出鱼眼摄像机(1)各方向的投影畸变参数；
2）单片机(3)调用鱼眼摄像机(1)的内参和外参，将鱼眼摄像机(1)所拍摄的视频流图像用柱面投影算法投影到到柱面坐标系，以设置的图像宽度为周长求出柱面坐标系半径，以设置的图像高度为柱面高度，根据图像柱面投影变换公式，将鱼眼图像坐标转化为柱面坐标系中对应的坐标；单片机(3)调用鱼眼摄像头(1)的内参和外参，将鱼眼摄像机(1)所拍摄的视频流图像用柱面投影算法投影到到柱面坐标系，运用SIFT算法对柱面投影图像侦测局部特征值，并得到关于特征值的描述符；
3）运用SIFT算法对柱面投影图像做高斯模糊卷积滤波，对滤波得到的图像作差分运算，得到高斯差分图像；进行极值检测得到高斯差分图像的局部特征值和关键点，通过对尺度空间DoG函数进行曲线拟合，提高关键点稳定性；利用图像的局部特征为每一个关键点分配一个基准方向，使用图像梯度的方法求局部结构的稳定方向；为每一个关键点建立一个描述符，用一组向量描述这个关键点，此向量是该区域图像信息的一种抽象，具有唯一性，保证关键点描述符具有尺度不变特性；
4）运用改进的最佳缝合线算法，根据两幅图像相互之间重叠区域用SIFT算法得到的特征值描述符相同特性，配合距离加权平均的方法融合成为一张行车周围环境拼接360°全景图，单片机(3)将校准、柱面投影和图像拼接之后的拼接全景图以视频流的方式传输到后视镜(4)显示。
4.根据权利要求3所述的基于双向鱼眼摄像机形成360°全景图的行车记录系统，其特征在于：所述步骤1)中获取畸变参数的方法，是使用鱼眼摄像机(1) 拍摄多个姿态的7行10列30mm×30mm的标定板(2)，采用棋盘格角点提取算法对标定板图像上的黑白网格交叉点进行标定，通过求解关于黑白网格交叉点位置信息关系方程组求出鱼眼摄像机(1)的内参和外参，进而得出各方向的畸变参数。
5.根据权利要求3所述的基于双向鱼眼摄像机形成360°全景图的行车记录系统，其特征在于：所述步骤2)至步骤4)中，使用SIFT算法求出柱面投影图像局部特征值描述符，并运用改进的最佳缝合线算法，配合距离加权平均的方法将左右鱼眼摄像头(1)拍摄的两幅图像融合成为一张行车周围环境拼接360°全景图。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710077663 | 2017-02-14 | ||
| CN2017100776637 | 2017-02-14 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107730558A true CN107730558A (zh) | 2018-02-23 |
Family
ID=61207044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710893922.3A Pending CN107730558A (zh) | 2017-02-14 | 2017-09-28 | 基于双向鱼眼摄像机的360°行车记录系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107730558A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064397A (zh) * | 2018-07-04 | 2018-12-21 | 广州希脉创新科技有限公司 | 一种基于摄像耳机的图像拼接方法及系统 |
| CN109285120A (zh) * | 2018-11-21 | 2019-01-29 | 北京汽车研究总院有限公司 | 一种图像拼接、图像标定方法、车辆及标定设备 |
| CN111062234A (zh) * | 2018-10-17 | 2020-04-24 | 深圳市冠旭电子股份有限公司 | 一种监控方法、智能终端及计算机可读存储介质 |
| CN112215917A (zh) * | 2019-07-09 | 2021-01-12 | 杭州海康威视数字技术股份有限公司 | 车载全景图生成方法、装置及系统 |
| CN112747673A (zh) * | 2020-12-25 | 2021-05-04 | 中国人民解放军陆军工程大学 | 一种基于标定筒的单目多线结构光传感器的标定方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488775A (zh) * | 2014-10-09 | 2016-04-13 | 东北大学 | 一种基于六摄像机环视的柱面全景生成装置及方法 |
| CN106379239A (zh) * | 2016-09-13 | 2017-02-08 | 深圳市宏道互联科技有限公司 | 3d全景车载内后视镜及其拍摄方法 |
-
2017
- 2017-09-28 CN CN201710893922.3A patent/CN107730558A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488775A (zh) * | 2014-10-09 | 2016-04-13 | 东北大学 | 一种基于六摄像机环视的柱面全景生成装置及方法 |
| CN106379239A (zh) * | 2016-09-13 | 2017-02-08 | 深圳市宏道互联科技有限公司 | 3d全景车载内后视镜及其拍摄方法 |
Non-Patent Citations (3)
| Title |
|---|
| 刘帅 等: "《GIS三维建模方法》", 31 March 2016, 中国科学技术出版社 * |
| 王依桌: "鱼眼图像的校正与柱面全景拼接方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 罗庆生 等: "《仿生四足机器人技术》", 30 April 2016, 北京理工大学出版社 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064397A (zh) * | 2018-07-04 | 2018-12-21 | 广州希脉创新科技有限公司 | 一种基于摄像耳机的图像拼接方法及系统 |
| CN111062234A (zh) * | 2018-10-17 | 2020-04-24 | 深圳市冠旭电子股份有限公司 | 一种监控方法、智能终端及计算机可读存储介质 |
| CN109285120A (zh) * | 2018-11-21 | 2019-01-29 | 北京汽车研究总院有限公司 | 一种图像拼接、图像标定方法、车辆及标定设备 |
| CN112215917A (zh) * | 2019-07-09 | 2021-01-12 | 杭州海康威视数字技术股份有限公司 | 车载全景图生成方法、装置及系统 |
| CN112747673A (zh) * | 2020-12-25 | 2021-05-04 | 中国人民解放军陆军工程大学 | 一种基于标定筒的单目多线结构光传感器的标定方法 |
| CN112747673B (zh) * | 2020-12-25 | 2022-10-25 | 中国人民解放军陆军工程大学 | 一种基于标定筒的单目多线结构光传感器的标定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107730558A (zh) | 基于双向鱼眼摄像机的360°行车记录系统及方法 | |
| CN111062873B (zh) | 一种基于多对双目相机的视差图像拼接与可视化方法 | |
| CN111047510B (zh) | 一种基于标定的大视场角图像实时拼接方法 | |
| CN106657910B (zh) | 一种电力变电站的全景视频监控方法 | |
| CN109903227B (zh) | 基于相机几何位置关系的全景影像拼接方法 | |
| CN109064404A (zh) | 一种基于多相机标定的全景拼接方法、全景拼接系统 | |
| CN103150715B (zh) | 图像拼接处理方法及装置 | |
| CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
| CN109993696B (zh) | 基于多视点图像的结构物表观全景图矫正拼接方法 | |
| KR101175097B1 (ko) | 파노라마 영상 생성 방법 | |
| CN111462503B (zh) | 车辆测速方法、装置及计算机可读存储介质 | |
| CN107492069B (zh) | 基于多镜头传感器的图像融合方法 | |
| CN105245841A (zh) | 一种基于cuda的全景视频监控系统 | |
| CN106534670B (zh) | 一种基于固联鱼眼镜头摄像机组的全景视频生成方法 | |
| WO2011076104A1 (zh) | 图像拼接方法及装置 | |
| CN101146231A (zh) | 根据多视角视频流生成全景视频的方法 | |
| CN111028155A (zh) | 一种基于多对双目相机的视差图像拼接方法 | |
| CN108200360A (zh) | 一种多鱼眼镜头全景摄像机的实时视频拼接方法 | |
| CN105488777A (zh) | 一种基于移动前景下全景图实时生成系统及其方法 | |
| CN111553841B (zh) | 一种基于最佳缝合线更新的实时视频拼接方法 | |
| CN109003226A (zh) | 一种全景图像实时拼接方法及装置 | |
| CN107492125A (zh) | 汽车鱼眼镜头环视图像的处理方法 | |
| CN104700355A (zh) | 室内二维平面图的生成方法、装置和系统 | |
| CN110009567A (zh) | 用于鱼眼镜头的图像拼接方法和装置 | |
| CN106683057A (zh) | 任意连续曲面幕多投影显示墙的自动几何校正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |