CN103854335A - 一种行车记录仪全景视频生成方法 - Google Patents

Abstract

一种行车记录仪全景视频生成方法，包括如下步骤：1）虚拟视点变换步骤；2）圆柱投影步骤；3）图像拼接步骤；4）循环存储步骤；5）全景显示。本发明针对行车记录仪的视频图像的特点，对四路视频图像采用虚拟视点变换、圆柱投影和基于参数搜索的图像拼接的数字图像处理技术，解决了镜头遮挡、镜头位置差异、角度差异等全景视频生成的难点，能够记录汽车行驶时周边360度全景情况，有良好的环视效果，减少了存储数据量，在相同的存储空间条件下增加记录时长。

Description

一种行车记录仪全景视频生成方法

技术领域

本发明涉及全景视频生成方法领域，特别是一种行车记录仪全景视频生成方法。

背景技术

随着当今社会汽车保有量的不断增加，交通事故频繁发生，因缺乏现场证据常导致事故责任认定不清、难以查找肇事逃逸等问题。行车记录仪功能即是针对此类问题通过记录行车视频为事故提供证据。目前市面上常见的视频记录仪只有一个摄像头记录车前方视频，其缺点是不能记录车身左右两边和后方的行车视频，因而无法为这些方向发生的事故提供证据；目前有部分产品和专利（如实用新型专利授权公告说明书CN201120071450.1）采用四路视频输入记录汽车前后左右四个方向的视频图像，但缺点在于各视频独立显示视觉效果混乱，并且保存四路视频对移动存储介质的容量要求非常高。

发明内容

本发明的主要目的在于克服现有技术中行车记录仪不能记录车身左右两边和前后方的行车视频，无法为这些方向发生的事故提供证据，或是各个方向视频独立显示造成视觉效果混乱的缺点，提出一种行车记录仪全景视频生成方法。

本发明采用如下技术方案：

一种行车记录仪全景视频生成方法，其特征在于：包括如下步骤

1）虚拟视点变换步骤，多个鱼眼镜头分别拍摄车体四周的平面图像，将平面图像转换成数字平面图像，设置车体顶部中央为虚拟视点，根据鱼眼镜头到虚拟视点的水平距离和鱼眼镜头的成像模型将车体四周数字平面图像分别变换为以车体顶部中央为虚拟视点的数字平面图像；

2）圆柱投影步骤，根据鱼眼镜头的各个参数计算虚拟圆柱面的半径，而后建立圆柱投影转换关系，将经虚拟视点变换后的数字平面图像上的点一一映射为圆柱投影图像中的坐标，从而生成完整的圆柱投影图像；

3）图像拼接步骤，取每个鱼眼镜头拍摄方向左右各一定角度的圆柱投影图像分别与相邻的圆柱投影图像进行拼接，具体操作如下：

3-1取其中一圆柱投影图像左/右边内的某一区域作为第一匹配模板；

3-2取与该圆柱投影图像左/右相邻的圆柱投影图像的右/左边内的一定区域内的某一点作为匹配搜索的原点；

3-3遍历该匹配搜索原点所在的圆柱投影图像内以匹配搜索的原点为中心的区域,以该区域内的每一点为中心取一与第一匹配模板长宽相同的区域，得到一系列匹配模板,将所述第一匹配模板与该一系列匹配模板逐个匹配，计算对应的匹配相关系数，取其中相关系数最小的匹配模板中的中心点来计算该两幅待拼接图像的位置误差参数；将步骤3-1中的圆柱投影图像各像素位置加上所得到的位置误差参数，使之与匹配搜索原点所在圆柱投影图像拼接成一幅图像；

3-4重复步骤3-1至3-3直至将所有圆柱投影图像拼接成全景图像。

进一步的，在步骤1）中，采用四个鱼眼镜头，相邻镜头的拍摄角度相差90度。

进一步的，所述鱼眼镜头的成像模型包括等距投影模型或正交投影模型或等立体角模型或体视模型。

进一步的，在步骤2）中，根据镜头最大成像角度和小孔成像原理计算实际取景宽度，而后再根据镜头焦距和鱼眼镜头到虚拟视点的水平距离计算得到虚拟圆柱面的半径。

进一步的，预设取每个镜头拍摄方向左右各s度的圆柱投影图像分别与相邻的圆柱投影图像进行拼接、在步骤3-1中，取其中一圆柱投影图像左/右方s度位置的横坐标和图像高度的一半为中心，选一定长宽构成第一匹配模板。

进一步的，在步骤3-2中，取与该圆柱投影图像左/右相邻的圆柱投影图像的右/左方s度位置的横坐标和图像高度的一半的中心点作为匹配搜索的原点。

进一步的，在步骤3-3中，取相关系数最小的模板的中心点与步骤3-1中的圆柱投影图像左/右方s度位置的横坐标和图像高度的一半进行计算得到位置误差参数。

进一步的，还包括有循环存储步骤，利用标记文件实现循环存储覆盖旧记录，具体包括如下步骤

4-1读取标记文件中的当前文件片段号，判断存储装置内的存储空间是否有剩余，若有剩余，则进入步骤4-2；若无剩余，则进入步骤4-3；

4-2，将拼接后的数字全景图像经编码处理后输出标准视频码流，以若干分钟为一个片段保存成一个视频文件，若在存储过程中检测到存储空间不足则跳入步骤4-3，否则存储完毕后将视频文件名编号为当前文件片段号，将标记文件中的当前文件片段号加1，重复步骤4-1；

4-3判断是否存在文件名编号为当前文件片段号的文件，若存在则将其删除，将视频文件保存在被删除文件原来的存储空间上，存储该文件完毕后将文件名编号为当前文件片段号，将标记文件中的当前文件片段号加1；如果不存在文件名编号为当前文件片段号的文件，则删除文件名编号为0的文件，将视频文件保存在被删除文件原来的存储空间上，存储该文件完毕后将文件名编号为0，将标记文件中的当前文件片段号重置为1，重复步骤4-1。

进一步的，还包括有全景显示步骤，具体包括有按一定顺序排列全景图像并将其完整显示的完全显示模式和通过触摸屏控制选择任意观看角度观看车身周围情况的可控环视模式。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

本发明针对行车记录仪的四路视频图像采用虚拟视点变换、圆柱投影和基于参数搜索的图像拼接的全景视频生成方法，能够记录汽车行驶时周边360度全景情况，有良好的环视效果，具体的包括如下优点：

采用虚拟视点变换能够将不同位置摄像头图像变换为在同一虚拟视点往不同方向拍摄的图像，消除了因摄像头位置不同而造成的图像差异，同时，由于实际镜头是安装在车顶边缘，与直接把四个镜头安装在虚拟视点相比不会因为车顶的遮挡产生靠近车身区域的拍摄盲区；采用圆柱投影技术消除拍摄角度造成的不同形变，使现实世界中相同的景物在不同的局部图像中也是相同的,从而能够保证后续拼接的效果，同时环视效果能够给观看者更好的视觉体验；采用块匹配方法搜索精确拼接位置，主要作用是消除四个镜头安装中的误差，能够自动校正四路镜头安装的水平和垂直误差，使拼接图像无明显缝隙；存储装置可采用SD卡，最大可支持33GB存储容量，连续得到的全景图像通过编码芯片生成视频码流存储在SD卡上，当SD卡存储空间使用完毕后，其将自动删除最早期的数据并开始循环存储录像，防止因SD卡存储空间不足而导致录像停止。

附图说明

图1为本发明的四路鱼眼镜头安装位置以及虚拟视点位置示意图；

图2为本发明圆柱投影示意图；

图3为本发明整体流程示意图。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

首先，进行四个方向鱼眼镜头安装，参照图1，四个鱼眼镜头分别安装于车顶前、后、左、右边缘正中，镜头成像光轴与车身水平，相邻镜头拍摄角度相差90度，每个鱼眼镜头成像角度范围是170度，分辨率为720×576，输出信号为CVBS模拟信号。四路模拟信号经A/D转换芯片（本例中采用SAA7111）转换为数字图像后进行虚拟视点变换。

本发明的一种行车记录仪全景视频生成方法，参照图3，包括如下步骤

1）虚拟视点变换步骤，四个鱼眼镜头分别拍摄车体四周的平面图像，将平面图像转换成数字平面图像，设置车体顶部中央为虚拟视点，测量鱼眼镜头到虚拟视点的水平距离D（如图1所示），假设x_c，y_c为成像中心，横坐标x，纵坐标y表示镜头实际拍摄图像上某点的位置，x',y'为这一点在虚拟视点成像图像上的位置。计算点(x,y)到成像中心的距离r为：

$r=\sqrt{{\left({x-x}_c\right)}^2+{\left({y-y}_c\right)}^2}---\left(1\right)$

假设R为点(x,y)在鱼眼镜头形变前的图像到成像轴的距离，f为镜头焦距。鱼眼镜头成像原理的本质是按入射光线角度大小进行非线性形变来成像，假设鱼眼镜头成像的非线性模型为：r＝F(θ),其中F(θ)为核函数，不同的鱼眼镜头有不同的核函数，则本发明建立的点(x,y)与视点变换后图像中的新位置(x′,y′)的关系，如式(2)所示：

$\left\{\begin{array}{c}{x}^{\′}=x\·F\left[\arctan \left(\frac{R}{D+f}\right)\right]/F\left[\arctan \left(\frac{R}{f}\right)\right]\\ y^{\′}=y\·F\left[\arctan \left(\frac{R}{D+f}\right)\right]/F\left[\arctan \left(\frac{R}{f}\right)\right]\end{array}\right.---\left(2\right)$

其中R=ftan(F'(r))，F'(r)是F(θ)的反函数。

鱼眼镜头的成像模型包括有等距投影模型、正交投影模型、等立体角模型、体视模型等。举例来说明，采用等距模型的鱼眼镜头时，核函数为F(θ)＝fθ，反函数为

将其代入（2）式整理就可以得到图像坐标变换公式为：

$\left\{\begin{array}{c}{x}^{\′}=x\·\arctan \left(\frac{R}{D+f}\right)/\arctan \left(\frac{R}{f}\right)\\ y^{\′}=y\·\arctan \left(\frac{R}{D+f}\right)/\arctan \left(\frac{R}{f}\right)\end{array}\right.$ 其中 $R=f\tan \left(\frac{r}{f}\right).$

再举一例来说明，采用正交投影模型的鱼眼镜头时，核函数为F(θ)＝fsin(θ)，反函数为将其代入（2）式整理就可以得到图像坐标变换公式为：

$\left\{\begin{array}{c}{x}^{\′}=x\·\sin \left[\arctan \left(\frac{R}{D+f}\right)\right]/\sin \left[\arctan \left(\frac{R}{f}\right)\right]\\ y^{\′}=y\·\sin \left[\arctan \left(\frac{R}{D+f}\right)\right]/\sin \left[\arctan \left(\frac{R}{f}\right)\right]\end{array}\right.$ 其中 $R=f\arcsin \left[\tan \left(\frac{r}{f}\right)\right].$

根据上述坐标转换公式，遍历图像中的每一个点，将其转换为虚拟视点图像中的坐标，最后生成完整的模拟从虚拟视点拍摄的图像。该技术的优点在于能将不同位置镜头的图像变换为同一视点镜头拍摄从而消除由于摄像头位置不同造成的图像差异（比如前方某一物体用车前方镜头拍摄其成像会大些，而用车左方镜头拍摄其成像会小些）；同时由于实际镜头是安装在车顶边缘，与直接把四个镜头安装于虚拟视点位置朝四个方向拍摄相比，不会因为车顶的遮挡而在靠近车身区域产生拍摄盲区。

2）圆柱投影步骤，横纵坐标x',y'表示虚拟视点变换图像上某点的位置，x″,y″为相应的点在圆柱投影图像上的位置，按如下步骤将虚拟视点变换图像行进圆柱投影：

2-1计算虚拟圆柱面的半径，首先根据小孔成像原理计算实际取景宽度W=2ftan(θ/2)其中θ为镜头最大成像角度，如前所述在本例中θ=170度，f为镜头焦距。假设圆柱面半径为R，根据直角三角形勾股定理计算半径：

$R=\sqrt{{(W/2)}^2+{(D+f)}^2}=\sqrt{f^2{\tan }^2(\mathrm{\θ}/2)+{(D+f)}^2}---\left(3\right)$

式(3)中的D值如前所述，为鱼眼镜头的实际安装位置到虚拟视点的水平距离。

2-2依据步骤2-1得到的虚拟半径R建立图像的圆柱投影变换关系。圆柱投影图像上的点(x″,y″)与虚拟视点变换图像上的点(x′,y')映射关系为：

$\left\{\begin{array}{c}{x}^{\′\′}=R\arctan (x^{\′}/R)\\ y^{\′\′}=y^{\′}R/\sqrt{{\left(x^{\′}\right)}^2+R^2}\end{array}\right.---\left(4\right)$

图像的圆柱投影示意图如图2所示，图中虚线表示镜头视场，实线a,b,c,d表示成像面。本技术采用圆柱面投影的优点在于能够消除拍摄角度造成的图像差异，即图2左图中实线a,b,c,d相交处的相同物体由于拍摄角度不同会造成形变不一，如图2右图所示圆柱投影后不同的局部图像相交处中的相同的景物图像也是相同的。因此经过圆柱投影之后才能保证良好的拼接效果，不会出现非刚性形变差别造成图像内容对应不上，同时使图像在视觉上有明显的整体环视效果，能够给予用户良好的视觉体验。

2-3依据2-2建立的坐标转换公式，遍历虚拟视点图像中的每一个点，将其转换为圆柱投影图像中的坐标，生成完整的图柱投影图像。进入下一个处理模块，将四个经过圆柱投影后的图像进行拼接。

3）图像拼接步骤，由于采用四个方向镜头，取每个镜头拍摄方向左右各45度的图像与相邻镜头拼接。由于图像本身是相邻的，本技术发明的图像拼接方法针对相邻图像略有错位的情况进行自动校正，算法相对于传统点匹配等方法复杂度低、计算速度快，具体操作如下：

3-1取其中一圆柱投影图像右方45度位置的横坐标m₁，和图像高度H的一半n为中心，长宽分别为w，h的区域构成第一匹配模板g(m₁,n)；

3-2取与该圆柱投影图像右相邻的圆柱投影图像的左方45度位置横坐标m₂，和图像高度H的一半n为中心的点(m₂,n)为匹配搜索的原点；

3-3在m₂-10＜M＜m₂+10，n-10＜N＜n+10的范围内遍历该匹配搜索原点所在的圆柱投影图像，以每一点为中心取长宽分别为w，h的区域得到一系列匹配模板G_i(M,N)(i＝1,2，...,T)，T为模版总个数,将g(m₁,n)与G_i(M,N)逐个匹配，计算匹配相关系数：

${\mathrm{\ρ}}_i=\underset{w\×h}{\mathrm{\Σ}}|g(m_1,n)-G_i(M,N)|---\left(5\right)$

相关系数越小表明图像越相似，取使(5)式相关系数最小的模版中心点(M，N)，计算两幅待拼接图像的位置误差参数：

$\left\{\begin{array}{c}X=M-m_1\\ Y=N-n\end{array}\right.---\left(6\right)$

将待拼接的步骤3-1中的圆柱投影图像各像素位置加上式（5）得到的位置误差参数，使之与搜索原点所在的圆柱投影图像完整拼接成一幅图像；

3-4依次处理四个方向图像，按左、前、右、后的顺序拼接成完整的全景图像。本拼接技术保证了图像拼接精度，并且图像拼接后的全景图像数据量与四通道视频独立保存相比减少了47%左右。

还可将通过式（5）得到的拼接参数保存，下一次全景拼接时直接调用保存参数，以减少计算量。若镜头重新安装，则系统第一次启动时需重新由3-1开始搜索精确匹配点。

4）循环存储步骤，利用标记文件实现循环存储覆盖旧记录，保证不会因为存储空间不足而无法录制，具体包括如下步骤，

4-1读取标记文件中的当前文件片段号N，判断SD卡内的存储空间是否有剩余，若有剩余，则进入步骤4-2；若无剩余，则进入步骤4-3；

4-2，将拼接后的数字图像序列经过编码芯片（本例中采用MB86H50编解码芯片）处理后输出H.264标准视频码流，码流以五分钟为一个片段保存成一个视频文件，若在存储过程中检测到存储空间不足则跳入步骤4-3，否则存储完毕后将视频文件名编号为当前文件片段号N，将标记文件中的当前文件片段号加1，重复步骤4-1；

4-3判断是否存在文件名编号为当前文件片段号N的文件，若存在则将其删除，将视频文件保存在被删除文件原来的存储空间上，存储该文件完毕后将文件名编号为当前文件片段号N，将标记文件中的当前文件片段号加1；如果不存在文件名编号为当前文件片段号的文件，则删除文件名编号为0的文件，将视频文件保存在被删除文件原来的存储空间上，存储该文件完毕后将文件名编号为0，将标记文件中的当前文件片段号重置为1，重复步骤4-1。

5）全景显示

有完全显示和可控环视两种全景显示模式：

完全显示模式：按图2右图中b→a→c→d的顺序排列全景图像，将其全部完整的显示在液晶屏上，由于受液晶屏分辨率限制无法全部显示宽屏全景图像，因此全景图像需经过缩小显示，本例中对于800*480的液晶屏，需对完整全景图像缩小2倍。该模式优点在于能一次完整看到车身四周全景，但图像缩小分辨率变低。

可控环视模式：以原始图像分辨率显示170度范围内图像，默认显示正前方170度范围内图像，通过水平滑动触摸屏，可以旋转视场，每次滑动操作可向滑动方向旋转45度视场。该模式优点在于图像不需缩放，可通过触摸屏控制选择任意观看角度观看车身周围情况，但不能一次显示全部图像。

上述仅为本发明的一个具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (9)

1.一种行车记录仪全景视频生成方法，其特征在于：包括如下步骤

1）虚拟视点变换步骤，多个鱼眼镜头分别拍摄车体四周的平面图像，将平面图像转换成数字平面图像，设置车体顶部中央为虚拟视点，根据鱼眼镜头到虚拟视点的水平距离和鱼眼镜头的成像模型将车体四周数字平面图像分别变换为以车体顶部中央为虚拟视点的数字平面图像；

2）圆柱投影步骤，根据鱼眼镜头的各个参数计算虚拟圆柱面的半径，而后建立圆柱投影转换关系，将经虚拟视点变换后的数字平面图像上的点一一映射为圆柱投影图像中的坐标，从而生成完整的圆柱投影图像；

3）图像拼接步骤，取每个鱼眼镜头拍摄方向左右各一定角度的圆柱投影图像分别与相邻的圆柱投影图像进行拼接，具体操作如下：

3-1取其中一圆柱投影图像左/右边内的某一区域作为第一匹配模板；

3-2取与该圆柱投影图像左/右相邻的圆柱投影图像的右/左边内的一定区域内的某一点作为匹配搜索的原点；

3-3遍历该匹配搜索原点所在的圆柱投影图像内以匹配搜索的原点为中心的区域,以该区域内的每一点为中心取一与第一匹配模板长宽相同的区域，得到一系列匹配模板,将所述第一匹配模板与该一系列匹配模板逐个匹配，计算对应的匹配相关系数，取其中相关系数最小的匹配模板中的中心点来计算该两幅待拼接图像的位置误差参数；将步骤3-1中的圆柱投影图像各像素位置加上所得到的位置误差参数，使之与匹配搜索原点所在圆柱投影图像拼接成一幅图像；

3-4重复步骤3-1至3-3直至将所有圆柱投影图像拼接成全景图像。

2.如权利要求1所述的一种行车记录仪全景视频生成方法，其特征在于：在步骤1）中，采用四个鱼眼镜头，相邻镜头的拍摄角度相差90度。

3.如权利要求1或2所述的一种行车记录仪全景视频生成方法，其特征在于：所述鱼眼镜头的成像模型包括等距投影模型或正交投影模型或等立体角模型或体视模型。

4.如权利要求3所述的一种行车记录仪全景视频生成方法，其特征在于：在步骤2）中，根据镜头最大成像角度和小孔成像原理计算实际取景宽度，而后再根据镜头焦距和鱼眼镜头到虚拟视点的水平距离计算得到虚拟圆柱面的半径。

5.如权利要求4所述的一种行车记录仪全景视频生成方法，其特征在于：预设取每个镜头拍摄方向左右各s度的圆柱投影图像分别与相邻的圆柱投影图像进行拼接、在步骤3-1中，取其中一圆柱投影图像左/右方s度位置的横坐标和图像高度的一半为中心，选一定长宽构成第一匹配模板。

6.如权利要求5所述的一种行车记录仪全景视频生成方法，其特征在于：在步骤3-2中，取与该圆柱投影图像左/右相邻的圆柱投影图像的右/左方s度位置的横坐标和图像高度的一半的中心点作为匹配搜索的原点。

7.如权利要求5或6所述的一种行车记录仪全景视频生成方法，其特征在于：在步骤3-3中，取相关系数最小的模板的中心点与步骤3-1中的圆柱投影图像左/右方s度位置的横坐标和图像高度的一半进行计算得到位置误差参数。

8.如权利要求7所述的一种行车记录仪全景视频生成方法，其特征在于：还包括有循环存储步骤，利用标记文件实现循环存储覆盖旧记录，具体包括如下步骤

4-1读取标记文件中的当前文件片段号，判断存储装置内的存储空间是否有剩余，若有剩余，则进入步骤4-2；若无剩余，则进入步骤4-3；

4-2，将拼接后的数字全景图像经编码处理后输出标准视频码流，以若干分钟为一个片段保存成一个视频文件，若在存储过程中检测到存储空间不足则跳入步骤4-3，否则存储完毕后将视频文件名编号为当前文件片段号，将标记文件中的当前文件片段号加1，重复步骤4-1；

4-3判断是否存在文件名编号为当前文件片段号的文件，若存在则将其删除，将视频文件保存在被删除文件原来的存储空间上，存储该文件完毕后将文件名编号为当前文件片段号，将标记文件中的当前文件片段号加1；如果不存在文件名编号为当前文件片段号的文件，则删除文件名编号为0的文件，将视频文件保存在被删除文件原来的存储空间上，存储该文件完毕后将文件名编号为0，将标记文件中的当前文件片段号重置为1，重复步骤4-1。

9.如权利要求8所述的一种行车记录仪全景视频生成方法，其特征在于：还包括有全景显示步骤，具体包括有按一定顺序排列全景图像并将其完整显示的完全显示模式和通过触摸屏控制选择任意观看角度观看车身周围情况的可控环视模式。

Images