CN105763854A - 一种基于单目摄像头的全景成像系统及其成像方法 - Google Patents

Abstract

本发明公开了汽车电子技术领域内的一种基于单目摄像头的全景成像系统及其成像方法，全景成像系统包括图像获取装置，图像获取装置与图像转换装置相连，图像转换装置与图像处理装置相连，图像处理装置与图像显示装置相连，图像存储装置与图像处理装置相连，车辆检测装置与图像处理装置相连，所述成像方法包括以下步骤：1）通过鱼眼摄像头采集车辆尾部的鱼眼图像；2）将采集到的鱼眼图像转换成反投影鸟瞰图像；3）获取图像转换装置中的鸟瞰图像，并将当前帧的图像与图像存储装置中的全局图像进行融合，并发送给图像显示装置进行显示，本发明通过融合单目倒车摄像头的当前图像和全局图像生成全景影像，降低生成成本，提高运行效率，可用于车辆中。

Description

一种基于单目摄像头的全景成像系统及其成像方法

技术领域

本发明涉及一种成像系统，特别涉及一种车载成像系统。

背景技术

近年来，全景影像技术在汽车辅助驾驶领域逐渐普及，利用车载摄像头，进行图像拼接，生成全景倒车影像可以消除盲区，减少汽车事故，极大地提升了行车安全。

现有的多摄像头全景影像技术主要存在以下缺点：

(1)采用4目摄像头的全景影像监控系统(AVM)系统成本较为昂贵。

(2)对采集的图像进行处理需要使用到汽车电子控制单元(ECU)的高级功能，运行效率较低。

采用单目摄像头的影像技术得到的监控范围较小，只能检测车尾影像，且存在一定的盲区，导致驾驶员在判断两辆车之间停车位距离是存在较大的困难，不能正确进入车位。

发明内容

本发明的目的是提供一种基于单目摄像头的全景成像系统及其成像方法，降低成本，提高运行效率。

本发明的目的是这样实现的：一种基于单目摄像头的全景成像系统及其成像方法，所述全景成像系统包括：

图像获取装置，安装在车辆后方用于获取车辆后方的图像；

图像转换装置，用于将图像获取装置获取的鱼眼图像转换为鸟瞰图像，并传输给图像处理装置；

图像处理装置，将图像存储装置中的全局图像与获取的当前帧的鸟瞰图像进行合成，对全局图像进行更新，更新后的全局图像视野范围包括当前帧图像获取视野范围和未更新的全局图像视野范围；

图像存储装置，用于存储全局图像信息；

图像显示装置，用于显示全景图像、倒车图像；

车辆状态检测装置，用于检测当前车辆的行驶状态；

所述图像获取装置与图像转换装置相连，所述图像转换装置与图像处理装置相连，所述图像处理装置与图像显示装置相连，所述图像存储装置与图像处理装置相连，所述车辆检测装置与图像处理装置相连；

所述成像方法包括以下步骤：

1)图像采集：图像获取装置通过鱼眼摄像头采集车辆尾部的鱼眼图像，并将鱼眼图像发送给图像转换装置；

2)图像转换：车辆状态检测装置检测到车辆运行状态改变或系统被手动开启，车辆状态检测装置发送信息给图像转换装置，图像转换装置将采集到的鱼眼图像转换成反投影鸟瞰图像；

3)图像处理：图像处理装置获取图像转换装置中的鸟瞰图像，并将当前帧的图像与图像存储装置中的全局图像进行融合，并发送给图像显示装置进行显示。

作为本发明的进一步限定，初始状态时，所述图像存储装置内存储的全局图像为空的图像，所述图像处理装置将图像转换装置转换的首次帧图像作为图像存储装置内的初始全局图像，正常状态时，所述图像处理装置利用图像转换装置获取的当前帧图像对存储装置内全局图像进行合成更新，从而得到当前帧的全景图像，并将该全景图像显示在图像显示装置上。

作为本发明的进一步限定，所述图像处理装置依据特征信息融合当前帧鸟瞰图像和全局图像，运用当前帧图像补充并更新全局图像中的信息，所述图像处理装置还根据实际车辆外观数据建立半透明车辆立体成像单元，并将该单元按照实际位置叠加在输出的全局图像上。

作为本发明的进一步限定，所述图像存储装置存储全局图像、与全局图像相对应的特征信息以及该特征信息对应图像获取时间。

作为本发明的进一步限定，所述车辆状态检测装置检测当前车辆运行状态，根据车辆状态启动、关闭全景图像和倒车系统。

作为本发明的进一步限定，所述图像获取装置还可获取车辆底部图像信息。

作为本发明的进一步限定，步骤2)中图像转换的具体方法为：图像转换装置离线标定获取鱼眼摄像头内参f’_x、u’₀、v’₀、k₁、k₂、k₃、k₄，其中f’_x为归一化焦距，u’₀和v’₀为摄像机光心，k₁、k₂、k₃、k₄为权重参数，以上参数通过标定程序计算得出，则鱼眼图像和鸟瞰图像之间像素点的关系可以表示为：

$m^{\′}=F\[(R+t*n^T/d)K^{-1}{(\widetilde{m^T},1)}^T\]---\left(1\right)$

其中F是一个非线性变换，公式(1)可转化成运算公式(2)：

$m^{\′}=\left[\begin{array}{ccc}{f}_x^{\′}& 0& u_0^{\′}\\ 0& f_y^{\′}& v_0^{\′}\\ 0& 0& 1\end{array}\right]*{(x^{\′\′},y^{\′\′},1)}^T---\left(2\right)$

其中是虚拟摄像机坐标，n为地面摄像机坐标，θ＝arctan(r)，为虚拟摄像机内参数，其中R和t分别是虚拟摄像机在原摄像机坐标系下的旋转矩阵和平移向量，x”,y”,z”为获取图像和地平线交点。

作为本发明的进一步限定，步骤3)中图像处理的具体步骤如下：

S1图像处理装置获取图像转换装置中的当前帧鸟瞰图像，并利用SIFT算法提取该图像的特征信息，将该特征信息和时间信息进行关联；

S2读取存储装置中的全局信息，该全局信息包括时间信息、特征信息以及图像信息；

S3-1若存储装置中不存在全局信息，则将当前帧鸟瞰图像输出到图像显示装置并将该鸟瞰图像的图像信息、时间信息以及与时间相关的特征信息存储到存储装置中；

S3-2若存储装置中存在全局信息，采用RANSAC算法将该全局信息中的特征信息与当前鸟瞰图像的特征信息进行特征匹配并进行合并，对应的图像信息也进行合并得到更新后的全局图像，最后将更新后的全局信息显示在图像显示装置上；图像信息合并的具体方法为：使用变换矩阵计算两幅图像之间的重叠区域，所述变换矩阵由RANSAC算法可以获得，其公式如下：

$\begin{array}{c}{x}^{\′}=a_1+a_{2}x+a_{3}x(x^{\′}-x)\\ y^{\′}=a_4+a_{5}y+a_{6}y(y^{\′}-y)\end{array}---\left(3\right)$

其中，(x,y)为全局图像内坐标，(x',y')为当前图像内和全局图像匹配像素坐标，为仿射变换矩阵；计算后如果存在重叠区域，则对两幅图像采取加权平均的图像融合方法，假设当前图像为f_t，需要更新的存储设备中的全局图像为F_n-1，则融合后的图像可以表示为：

F_n(x,y)＝(ω₁(x,y)f_t(x,y)+ω₂(x,y)F_n-1(x,y))/(ω₁(x,y)+ω₂(x,y))(4)

其中f_t为当前帧图像，F_n-1为之前的全局图像，ω₁和ω₂为融合权重，F_n为更新后的全局图像，(x,y)为全局图像内坐标，(x',y')为当前图像内和全局图像匹配像素坐标；

S4经过更新后的将图像保存到图像存储设备，并将其显示在图像显示装置上。

作为本发明的进一步限定，全局信息的更新包括：

图像信息更新：

a)时间更新：检测更新后的全局图像在特征点对应时间，若该图像区域获取时间t和当前时间T，存在T-t＞σ关系，则删除该区域图像；

b)图像更新：全局图像存在一个固定的大小，且该全局图的中心点为车辆尾部摄像头，当存储的全局图像大小超出设定的区域，就删除该区域的图像和特征值；

c)特征信息更新：

更新后的特征信息为：

其中，Δt＝T-t为时间差，σ为设定的时间阈值，X,Y为设定区域边缘坐标，(x,y)为特征点坐标。

与现有技术相比，本发明的有益效果在于：

1.采用单目摄像头，原有仅能提供倒车影像的倒车摄像头的基础上，利用当前帧图像更新全局图像生成全景影像的监控系统，实现了需要4个摄像头才能生成全景影像驾驶辅助系统的功能，同时降低了生产成本。

2.存储装置中之存储全局图像和与全局图像相对应的特征信息以及时间信息，减少了存储空间。

3.采用当前帧对全局图像进行更新，提高了运行效率。

4.利用该系统不仅可以显示车辆周边影像还可以显示车辆下方影像；

工作时，本发明通过将鱼眼图像转换成鸟瞰图像，使得倒车过程更加鲜明，驾驶人员操作更加方便，更加安全，利用特定的算法对图像进行转换，使得转换的效率更高，转换后的图像精度更高；同时，通过对全局信息的更新融合，进一步降低了驾驶人员倒车时的难度，使得驾驶人员操作更加方便，利用本发明的算法对图像进行融合，使得处理后的图像精度更高，同时，该算法提高了图像处理的效率，还降低了成本。本发明可用于车辆控制系统中。

附图说明

图1为本发明中控制原理框图。

图2为本发明中图像获取装置检测范围示意图。

图3为本发明中图像更新融合原理示意图。

图4为本发明中图像获取装置获得的鱼眼图像。

图5为本发明中图像转换装置转化后的鸟瞰图像。

具体实施方式

下面结合具体实施例对本发明做进一步说明。

如图1所示，一种基于单目摄像头的全景成像系统，包括：

图像获取装置，选用鱼眼摄像头，并将其安装在车辆后方用于获取车辆后方的图像，所述图像获取装置还可获取车辆底部图像信息；

图像转换装置，将图像获取装置获取的鱼眼图像转换为鸟瞰图像，并传输给图像处理装置；

图像处理装置，将图像存储装置中的全局图像与获取的当前帧的鸟瞰图像进行合成，对全局图像进行更新，更新后的全局图像视野范围包括当前帧图像获取视野范围和未更新的全局图像视野范围，所述图像处理装置依据特征信息融合当前帧鸟瞰图像和全局图像，运用当前帧图像补充并更新全局图像中的信息，所述图像处理装置还根据实际车辆外观数据建立半透明车辆立体成像单元，并将该单元按照实际位置叠加在输出的全局图像上；

图像存储装置，用于存储全局图像信息，初始状态时，所述图像存储装置内存储的全局图像为空的图像，所述图像处理装置将图像转换装置转换的首次帧图像作为图像存储装置内的初始全局图像，正常状态时，所述图像处理装置利用图像转换装置获取的当前帧图像对存储装置内全局图像进行合成更新，从而得到当前帧的全景图像，并将该全景图像显示在图像显示装置上，所述图像存储装置存储全局图像、与全局图像相对应的特征信息以及该特征信息对应图像获取时间；

图像显示装置，用于显示全景图像、倒车图像；

车辆状态检测装置，用于检测当前车辆的行驶状态，所述车辆状态检测装置检测当前车辆运行状态，根据车辆状态启动、关闭全景图像和倒车系统；

所述图像获取装置与图像转换装置相连，所述图像转换装置与图像处理装置相连，所述图像处理装置与图像显示装置相连，所述图像存储装置与图像处理装置相连，所述车辆检测装置与图像处理装置相连。

图2显示了图像获取装置获取图像的区域，获取区域为图2中阴影部分。

一种基于单目摄像头的全景成像方法，包括以下步骤：

1)图像采集：图像获取装置通过鱼眼摄像头采集车辆尾部的鱼眼图像，并将其发送给图像转换装置；

2)图像转换：车辆状态检测装置检测到车辆运行状态改变或系统被手动开启，车辆状态检测装置发送信息给图像转换装置，图像转换装置将采集到的鱼眼图像转换啊成反投影鸟瞰图像，如图4-5所示，图4为鱼眼图像示意图，图5为鸟瞰图像示意图，具体方法为：图像转换装置离线标定获取鱼眼摄像头内参f’_x、u’₀、v’₀、k₁、k₂、k₃、k₄，其中f’_x为归一化焦距，u’₀和v’₀为摄像机光心，k₁、k₂、k₃、k₄为权重参数，以上参数通过标定程序计算得出，则鱼眼图像和鸟瞰图像之间像素点的关系可以表示为：

$m^{\′}=F\[(R+t*n^T/d)K^{-1}{(\widetilde{m^T},1)}^T\]---\left(1\right)$

其中F是一个非线性变换，公式(1)可转化成运算公式(2)：

$m^{\′}=\left[\begin{array}{ccc}{f}_x^{\′}& 0& u_0^{\′}\\ 0& f_y^{\′}& v_0^{\′}\\ 0& 0& 1\end{array}\right]*{(x^{\′\′},y^{\′\′},1)}^T---\left(2\right)$

其中是虚拟摄像机坐标，n为地面摄像机坐标，θ＝arctan(r)，为虚拟摄像机内参数，其中R和t分别是虚拟摄像机在原摄像机坐标系下的旋转矩阵和平移向量，x”,y”,z”为获取图像和地平线交点；

3)图像处理：图像处理装置获取图像转换装置中的鸟瞰图像，并将当前帧的图像与图像存储装置中的全局图像进行融合，并发送给图像显示装置进行显示，如图3所示，图3(a)、图3(b)、图3(c)虚线内区域分别为鸟瞰图序列，图3(d)为全局图像，图3(e)为利用当前帧鸟瞰图图像3(c)对全局图3(d)进行更新后获取的全局图像，图3(e)为最终显示在图像显示装置上的全局图像；

具体步骤如下：

S1图像处理装置获取图像转换装置中的当前帧鸟瞰图像，并利用SIFT算法提取该图像的特征信息，将该特征信息和时间信息进行关联；

S2读取存储装置中的全局信息，该全局信息包括时间信息、特征信息以及图像信息；

S3-1若存储装置中不存在全局信息，则将当前帧鸟瞰图像输出到图像显示装置并将该鸟瞰图像的图像信息、时间信息以及与时间相关的特征信息存储到存储装置中；

S3-2若存储装置中存在全局信息，采用RANSAC算法将该全局信息中的特征信息与当前鸟瞰图像的特征信息进行特征匹配并进行合并，对应的图像信息也进行合并得到更新后的全局图像，最后将更新后的全局信息显示在图像显示装置上；图像信息合并的具体方法为：使用变换矩阵计算两幅图像之间的重叠区域，所述变换矩阵由RANSAC算法可以获得，其公式如下：

$\begin{array}{c}{x}^{\′}=a_1+a_{2}x+a_{3}x(x^{\′}-x)\\ y^{\′}=a_4+a_{5}y+a_{6}y(y^{\′}-y)\end{array}---\left(3\right)$

其中，(x,y)为全局图像内坐标，(x',y')为当前图像内和全局图像匹配像素坐标，为仿射变换矩阵；计算后如果存在重叠区域，则对两幅图像采取加权平均的图像融合方法，假设当前图像为f_t，需要更新的存储设备中的全局图像为F_n-1，则融合后的图像可以表示为：

F_n(x,y)＝(ω₁(x,y)f_t(x,y)+ω₂(x,y)F_n-1(x,y))/(ω₁(x,y)+ω₂(x,y))(4)

其中f_t为当前帧图像，F_n-1为之前的全局图像，ω₁和ω₂为融合权重，F_n为更新后的全局图像，(x,y)为全局图像内坐标，(x',y')为当前图像内和全局图像匹配像素坐标；

S4经过更新后的将图像保存到图像存储设备，并将其显示在图像显示装置上；

全局信息的更新包括：

图像信息更新：

a)时间更新：检测更新后的全局图像在特征点对应时间，若该图像区域获取时间t和当前时间T，存在T-t＞σ关系，则删除区域图像；

b)区域更新：全局图像存在一个固定的大小，且该全局图的中心点为车辆尾部摄像头，当存储的全局图像大小超出设定的区域，就删除该区域的图像和特征值；

特征信息更新：

更新后的特征信息为：

其中，Δt＝T-t为时间差，σ为设定的时间阈值，X,Y为设定区域边缘坐标，(x,y)为特征点坐标。

本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。

Claims (10)

1.一种基于单目摄像头的全景成像系统，其特征在于，包括：

图像获取装置，安装在车辆后方用于获取车辆后方的图像；

图像转换装置，用于将图像获取装置获取的鱼眼图像转换为鸟瞰图像，并传输给图像处理装置；

图像处理装置，将存储装置中的全局图像与获取的当前帧的鸟瞰图像进行合成，对全局图像进行更新，更新后的全局图像视野范围包括当前帧图像获取视野范围和未更新的全局图像视野范围；

图像存储装置，用于存储全局图像信息；

图像显示装置，用于显示全景图像、倒车图像；

车辆状态检测装置，用于检测当前车辆的行驶状态；

所述图像获取装置与图像转换装置相连，所述图像转换装置与图像处理装置相连，所述图像处理装置与图像显示装置相连，所述图像存储装置与图像处理装置相连，所述车辆检测装置与图像处理装置相连。

2.根据权利要求1所述的一种基于单目摄像头的全景成像系统，其特征在于，初始状态时，所述图像存储装置内存储的全局图像为空的图像，所述图像处理装置将图像转换装置转换的首次帧图像作为图像存储装置内的初始全局图像，正常状态时，所述图像处理装置利用图像转换装置获取的当前帧图像对存储装置内全局图像进行合成更新，从而得到当前帧的全景图像，并将该全景图像显示在图像显示装置上。

3.根据权利要求1所述的一种基于单目摄像头的全景成像系统，其特征在于，所述图像处理装置依据特征信息融合当前帧鸟瞰图像和全局图像，运用当前帧图像补充并更新全局图像中的信息，所述图像处理装置还根据实际车辆外观数据建立半透明车辆立体成像单元，并将该单元按照实际位置叠加在输出的全局图像上。

4.根据权利要求1所述的一种基于单目摄像头的全景成像系统，其特征在于，所述图像存储装置存储全局图像、与全局图像相对应的特征信息以及该特征信息对应图像获取时间。

5.根据权利要求1所述的一种基于单目摄像头的全景成像系统，其特征在于，所述车辆状态检测装置检测当前车辆运行状态，根据车辆状态启动、关闭全景图像和倒车系统。

6.根据权利要求1所述的一种基于单目摄像头的全景成像系统，其特征在于，所述图像获取装置还可获取车辆底部图像信息。

7.一种基于单目摄像头的全景成像方法，其采用的全景成像系统包括：

图像获取装置，安装在车辆后方用于获取车辆后方的图像；

图像转换装置，用于将图像获取装置获取的鱼眼图像转换为鸟瞰图像，并传输给图像处理装置；

图像处理装置，将图像存储装置中的全局图像与获取的当前帧的鸟瞰图像进行合成，对全局图像进行更新，更新后的全局图像视野范围包括当前帧图像获取视野范围和未更新的全局图像视野范围；

图像存储装置，用于存储全局图像信息；

图像显示装置，用于显示全景图像、倒车图像；

车辆状态检测装置，用于检测当前车辆的行驶状态；

所述图像获取装置与图像转换装置相连，所述图像转换装置与图像处理装置相连，所述图像处理装置与图像显示装置相连，所述图像存储装置与图像处理装置相连，所述车辆检测装置与图像处理装置相连，其特征在于，成像方法包括以下步骤：

1)图像采集：图像获取装置通过鱼眼摄像头采集车辆尾部的鱼眼图像，并将鱼眼图像发送给图像转换装置；

2)图像转换：车辆状态检测装置检测到车辆运行状态改变或系统被手动开启，车辆状态检测装置发送信息给图像转换装置，图像转换装置将采集到的鱼眼图像转换成反投影鸟瞰图像；

3)图像处理：图像处理装置获取图像转换装置中的鸟瞰图像，并将当前帧的图像与图像存储装置中的全局图像进行融合，并发送给图像显示装置进行显示。

8.根据权利要求7所述的一种成像方法，其特征在于，步骤2)中图像转换的具体方法为：图像转换装置离线标定获取鱼眼摄像头内参f’_x、u’₀、v’₀、k₁、k₂、k₃、k₄，其中f’_x为归一化焦距，u’₀和v’₀为摄像机光心，k₁、k₂、k₃、k₄为权重参数，以上参数通过标定程序计算得出，则鱼眼图像和鸟瞰图像之间像素点的关系可以表示为：

其中F是一个非线性变换，公式(1)可转化成运算公式(2)：

$m^{\′}=\left[\begin{array}{ccc}{f}_x^{\′}& 0& u_0^{\′}\\ 0& f_y^{\′}& v_0^{\′}\\ 0& 0& 1\end{array}\right]*{(x^{\′\′},y^{\′\′},1)}^T---\left(2\right)$

其中是虚拟摄像机坐标，n为地面摄像机坐标，θ＝arctan(r)，为虚拟摄像机内参数，其中R和t分别是虚拟摄像机在原摄像机坐标系下的旋转矩阵和平移向量，x”,y”,z”为获取图像和地平线交点。

9.根据权利要求7所述的一种成像方法，其特征在于，步骤3)中图像处理的具体步骤如下：

S1图像处理装置获取图像转换装置中的当前帧鸟瞰图像，并利用SIFT算法提取该图像的特征信息，将该特征信息和时间信息进行关联；

S2读取存储装置中的全局信息，该全局信息包括时间信息、特征信息以及图像信息；

S3-1若存储装置中不存在全局信息，则将当前帧鸟瞰图像输出到图像显示装置并将该鸟瞰图像的图像信息、时间信息以及与时间相关的特征信息存储到存储装置中；

S3-2若存储装置中存在全局信息，采用RANSAC算法将该全局信息中的特征信息与当前鸟瞰图像的特征信息进行特征匹配并进行合并，对应的图像信息也进行合并得到更新后的全局图像，最后将更新后的全局信息显示在图像显示装置上；图像信息合并的具体方法为：使用变换矩阵计算两幅图像之间的重叠区域，所述变换矩阵由RANSAC算法可以获得，其公式如下：

$\begin{array}{c}{x}^{\′}=a_1+a_{2}x+a_{3}x(x^{\′}-x)\\ y^{\′}=a_4+a_{5}y+a_{6}y(y^{\′}-y)\end{array}---\left(3\right)$

其中，(x,y)为全局图像内坐标，(x',y')为当前图像内和全局图像匹配像素坐标，为仿射变换矩阵；计算后如果存在重叠区域，则对两幅图像采取加权平均的图像融合方法，假设当前图像为f_t，需要更新的存储设备中的全局图像为F_n-1，则融合后的图像可以表示为：

F_n(x,y)＝(ω₁(x,y)f_t(x,y)+ω₂(x,y)F_n-1(x,y))/(ω₁(x,y)+ω₂(x,y))(4)

其中f_t为当前帧图像，F_n-1为之前的全局图像，ω₁和ω₂为融合权重，F_n为更新后的全局图像，(x,y)为全局图像内坐标，(x',y')为当前图像内和全局图像匹配像素坐标；

S4经过更新后的将图像保存到图像存储设备，并将其显示在图像显示装置上。

10.根据权利要求9所述的一种成像方法，其特征在于，全局信息的更新包括：

图像信息更新：

a)时间更新：检测更新后的全局图像在特征点对应时间，若该图像区域获取时间t和当前时间T，存在T-t＞σ关系，则删除区域图像；

b)区域更新：全局图像存在一个固定的大小，且该全局图的中心点为车辆尾部摄像头，当存储的全局图像大小超出设定的区域，就删除该区域的图像和特征值；

特征信息更新：

更新后的特征信息为：

其中，Δt＝T-t为时间差，σ为设定的时间阈值，X,Y为设定区域边缘坐标，(x,y)为特征点坐标。