CN106060493A - 多源投影无缝边缘拼接方法及系统 - Google Patents

Abstract

本发明提出一种多源投影无缝边缘拼接方法及系统，其包括：边缘融合处理器、数码摄像头、控制电脑、投影幕、投影机；所述边缘融合处理器上设有几何校正模块、图像分割模块、特征匹配模块以及边缘融合模块；数码摄像头用于采集视频信号并将视频信号传输到边缘融合处理器；控制电脑用于发送控制信号至边缘融合处理器；投影幕和投影机用于显示投影图像。该方法可以彻底消除图像边缘的物理拼缝，实现图像的完整一体化、多通道无缝拼接。

Description

多源投影无缝边缘拼接方法及系统

技术领域

本发明涉及多源投影无缝边缘拼接方法及系统，属于图像处理领域。

背景技术

随着科技发展，追求亮丽的超大画面、纯真的色彩、高分辨率的显示效果，历来是人们对视觉感受的一种潜在要求。对大画面、多色彩、高亮度、高分辨率显示效果的渴望越来越强烈，而传统的电视墙、投影硬拼接屏和箱体拼接墙等有缝拼接方式缺乏画面完整性与亮度色彩均匀性，很难满足人们在这方面的要求。而最近迅速崛起的边缘融合技术是近年来兴起的一个新的无缝拼接技术，它更好的改善了拼接图像的视觉效果，已经成为适应这一需求的最有效方式。

边缘融合技术就是将一组投影机投射出的画面进行边缘重叠，并通过融合技术显示出一个没有缝隙，更加明亮、超大、高分辨率的整幅画面，画面的效果就好像是一台投影机投射的画质。当两台或多台投影机组合投射一幅两面时，会有一部分影像灯光重叠，边缘融合的最主要功能就是把两台投影机重叠部分的灯光进行渐变调整，使重叠区的亮度对比度与周边图像一致，从而使整副画面完整统一，丝毫看不出是多台投影机拼接的结果。

边缘融合技术经历了三个发展阶段：硬边拼接、重叠拼接和边缘融合拼接：

(1)硬边拼接，又称简单拼接，即多台投影仪的边沿对齐，不做任何其他处理。显示效果上表现为画面拼接处有拼缝或叠影，相邻通道连接有明显错位，手动调节复杂。

(2)简单重叠，即多台投影仪的画面有部分重叠，但没作淡进淡出处理，因此重叠部分的亮度为整幅其余部分的2倍，中间交叉地段为4倍高亮度，在显示效果上表现为重叠部分为一亮带。

(3)边缘融合，将重叠部分的亮度分别线性衰减和增加，使相邻通道重叠的色彩渐变和羽化，达到色彩亮度一致，在显示效果上表现为整幅画面亮度完全一致。

专利“基于多投影的图像拼接融合方法及系统，申请号CN201510182990.X”公开一种基于多投影的图像拼接融合方法及系统，通过将投影视频、图片进行贝塞尔曲面输出，对摄像头作标定，用标定的摄像头内部参数对拍摄图像做修正，对融合区域生成特征点并进行特征点识别，对融合区进行校正并融合

专利“一种投影仪阵列拼接显示方法，申请号CN201510925624.9”，公开了一种投影仪阵列拼接显示方法，包括了以下步骤：1)计算变换矩阵；2)计算重合区域图像的融合系数，再将重合区域的像素RGB值乘以对应的融合系数得到相邻投影图像无缝拼接的效果；3)几何校正，使用预校正矩阵对边缘融合处理后的图像进行透视变换；4)对投影仪阵列按照从上到下、从左到右的顺序分别拼接相邻的投影图像，最后得到整个投影仪阵列的拼接图像显示。

专利“一种用于多个投影图像拼接的边缘融合方法，申请号CN201010578179.0”包括以下步骤：设定相邻投影图像之间的投影重叠区域尺寸值；根据投影机数目、分辨率和所述投影重叠区域尺寸值基于像素分割每一帧图像；设定各个投影机的红、绿、蓝三中颜色通道的敏感度权值；计算各个图像中每个像素点的像素衰减权值向量；将图像重叠区域中各个像素点的红、绿、蓝颜色值分别乘以各自像素衰减权值向量。

与上述部分发明专利仅使用局部特征对拼接区域进行匹配不同，本专利方案同时使用几何变换约束和颜色距离匹配局部特征，进一步提高了局部特征的匹配准确率，保证了图像拼接的准确性。此外，有别于其他方案通过固定图片与投影仪进行几何校正，本发明方案通过数码相机对投影仪进行自动几何校正，无需人工干预，因此可以实现任意数量的投影仪的无缝边缘拼接。

发明内容

本发明目的在于克服传统的电视墙、投影硬拼接屏和箱体拼接墙等有缝拼接方式缺乏画面完整性与亮度色彩均匀性的不足。提供一种多源投影无缝边缘拼接方法及系统，本专利方案同时使用几何变换约束和颜色距离匹配局部特征，进一步提高了局部特征的匹配准确率，保证了图像拼接的准确性。此外，通过数码相机对投影仪进行自动几何校正，无需人工干预，因此可以实现任意数量的投影仪的无缝边缘拼接。该技术方案可以彻底消除图像边缘的物理拼缝，实现图像的完整一体化、多通道无缝拼接。

为解决上述技术问题，本发明采用如下的技术方案：一种多源投影无缝边缘拼接系统，该系统包括边缘融合处理器、数码摄像头、控制电脑、投影幕、投影机；所述边缘融合处理器与视频矩阵、控制电脑、投影机相连；所述边缘融合处理器上设有图像分割模块、几何校正模块、特征匹配模块以及边缘融合模块；其中，

数码摄像头用于采集投影仪的影像，通过USB接口传输到边缘融合处理器，由边缘融合处理器进行几何校正；

控制电脑用于发送视频信号到边缘融合处理器，边缘融合处理器的图像分割模块将视频信号分割为多个具有重叠区域的图像块，再由特征匹配模块将不同图像块进行特征匹配，寻找到图像拼接关键点，然后由边缘融合模块实现边缘融合；

边缘融合处理器将边缘融合后的视频信号发送至不同的投影仪，投影仪将图像投影至投影幕实现无缝投影拼接。

进一步地，多源投影无缝边缘拼接系统中，所述边缘融合处理器的特征匹配模块，具体包括以下步骤：

步骤1，提取出不同图像的兴趣点；

步骤2，对所述图像中的兴趣点，采用特征描述方法计算兴趣点周围区域的局部特征；

步骤3，将两幅图像中的局部特征两两进行匹配，得到粗略匹配的局部特征对；

步骤4，对所述的粗略匹配的局部特征对，用随机抽样一致性(RANSAC)算法计算两幅图像之间的基础矩阵，并根据基础矩阵构建对极几何约束实现局部特征对的过滤，得到精确匹配的局部特征点对。

进一步地，多源投影无缝边缘拼接系统中，所述边缘融合处理器的边缘融合模块，具体包括以下步骤：

步骤1，获取两幅图像拼接的重叠区域；

步骤2，将重叠区域做归一化处理；

步骤3，使用融合函数对重叠区域的亮度Alpha值进行修改，使得亮度按照函数曲线趋势衰减，实现边缘融合。

附图说明

图1为本发明的多源投影无缝边缘拼接系统的一种具体实施例的设计图。

图2是本发明中边缘融合处理器的特征匹配模块的流程图

图3为本发明中特征精确匹配的方法流程图

图4是本发明中边缘融合处理器的边缘融合模块的流程图

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。

如图1所示，本发明的多源投影无缝边缘拼接系统包括边缘融合处理器1、数码摄像头2、控制机3、投影幕4、投影机5，所述边缘融合处理器1上设有图像分割模块、几何校正模块、特征匹配模块以及边缘融合模块。其中：

所述数码摄像头2通过USB接口连接到控制机3，数码摄像头2用于捕获投影仪5在投影幕4上的图像并通过USB接口传输到控制机3，所述控制机3通过RJ-45接口将摄像头2传输信号到边缘融合处理器1，所述投影机5通过串口连接到边缘融合处理器1。

本发明的多源投影无缝边缘拼接系统中的边缘融合处理器，包括以下模块：

(1)几何校正模块：所述边缘融合处理器将摄像头捕获的投影图像与设定的图像进行比较，使用几何映射原理实现投影图像的几何校正，得到的几何校正矩阵用于后续的图像拼接。

(2)图像分割模块：所述边缘融合处理器接收来自控制机的投影视频图像，使用图像分割模块，根据当前投影仪的个数把图像分割为多个具有重叠区域的子图像，得到的子图像用于后续的特征匹配。

(3)特征匹配模块：所述边缘融合处理器使用局部特征匹配方法实现子图像的拼接，同时利用几何约束和颜色相似度对局部特征进行精确匹配，完成各个子图像之间的精确拼接，得到的拼接图像用于后续的边缘融合。

(4)边缘融合模块：所述边缘融合处理器使用亮度融合函数方法，对拼接图像的边缘位置实现亮度的平滑调节，实现边缘无缝拼接。边缘融合处理器将亮度调整后的子图像分别传输到各个投影仪，再投影至投影幕完成图像的无缝拼接显示。

进一步地，本发明的特征匹配模块，具体操作包括(如图2所示)：

步骤1：对数码相机捕获的投影仪图像与设定的图像提取兴趣点，兴趣点提取可使用Harris角点，其具体过程描述如下：

(1)利用水平、垂直差分算子对图像每个像素点(x，y)进行滤波以求取水平梯度I_x和垂直梯度I_y，如公式1所示。

$\begin{array}{c}{I}_y=|I(x+1,y)-I(x,y)|\\ I_y=|I(x,y+1)-I(x,y)|\end{array}---\left(1\right)$

(2)每个像素点(x，y)的Harris角点值c(x，y)如公式2所示。

$c(x,y)=\frac{I_x^2*I_y^2-{\left(I_x{I}_y\right)}^2}{I_x^2+I_y^2}---\left(2\right)$

当c(x，y)的值大于给定的阈值时，则认为该像素点是一个Harris角点。

步骤2：对所述图像中的兴趣点，采用SIFT特征描述方法计算兴趣点周围区域的局部特征，具体描述如下：

(1)构建多尺度图像空间，对于一副图像，通过下采样得到不同尺寸的子图像，将子图像与高斯卷积核相乘进行卷积计算，从而得到多尺度图像空间。

(2)寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。采样点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和图像空间都检测到极值点。一个采样点如果在多尺度图像空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。

(3)利用特征点邻域像素的梯度方向分布特性为每个关键点指定方向参数，计算该特征点梯度的模值和方向。在特征点邻域4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个4×4×8＝128维的直方图，即SIFT特征描述。

步骤3：对所述的SIFT局部特征进行匹配，采用的局部特征匹配方法包括直方图匹配、直方图相交等匹配方式。具体描述如下：

给定两幅图像P和Q，H_P(k)和H_Q(k)，k＝0，1，2，...，L-1分别表示图像P和Q的局部特征，L表示直方图的维度。则直方图匹配D₁(P，Q)和直方图相交D₂(P，Q)分别由公式3和公式4表示。

$D_1(P,Q)=\frac{\underset{k=0}{\overset{L-1}{\Σ}}\min \[H_P\left(k\right),H_Q\left(k\right)\]}{\underset{k=0}{\overset{L-1}{\Σ}}{H}_Q\left(k\right)}---\left(3\right)$

$D_2(P,Q)=\sqrt{\underset{k=0}{\overset{L-1}{\Σ}}{\[H_P\left(k\right)-H_Q\left(k\right)\]}^2}---\left(4\right)$

步骤4：对SIFT特征进行精确匹配，具体过程描述如下：

(1)从匹配的局部特征集合中选取任意一对局部特征，用于计算两幅图像映射的基础矩阵F，具体做法如下：

设M为三维空间中一点，在左右两幅图像上的投影分别为m₁和m₂，C₁和C₂为两相机的光心，C₁C₂连线与左右两幅图像分别交于点e₁和e₂，称为对极点。其中投影点m₁和m₂与基础矩阵F满足下面的关系。在代数上，这一几何关系可以表示为公式5所示：

$\begin{array}{c}{m_2}^T{\mathrm{Fm}}_1=0\\ Fe=0\end{array}---\left(5\right)$

根据上述描述，两个匹配的局部特征相当于m₁和m₂，则可以根据公式5计算出基础矩阵F。

(2)将集合中剩余的局部特征对用于校验基础矩阵，如能满足的将该局部特征对作为内点保留，同时计算两幅图像的能量函数，具体做法如下：

如果剩余的局部特征对与所述基础矩阵相匹配，则满足对极几何约束关系，约束关系描述为：一幅图像上的点m₁，在另一幅图像上的匹配点m₂位于该点的对极线Fm₁上；相反的，一幅图像上的点m₂，在另一幅图像上的匹配点m₁位于该点的对极线F^Tm₂上。这个描述可以形式化为公式6，其中d²表示空间中点到直线的欧式距离。

$\left\{\begin{array}{c}{d}^2(m_1,{\mathrm{Fm}}_2)=0\\ d^2(m_2,F^T{m}_1)=0\end{array}\right.---\left(6\right)$

根据上述描述，将剩余的局部特征对代入公式6，如能满足则将该局部特征对作为内点保留。过滤完所有的局部特征对后，将所有的内点用于计算模板图像与目标图像的能量函数，如公式7所示：

$E(I_1,I_2)=\frac{1}{\frac{1}{2K}\underset{i=1}{\overset{K}{\Σ}}\left(d^2\right(m_{1i},{\mathrm{Fm}}_{2i})+d^2(m_{2i},F^T{m}_{1i}\left)\right)+\mathrm{\β}}---\left(7\right)$

参数β是归一化能量函数的值，能量函数E(I₁，I₂)表示两幅图像I₁和I₂的兴趣点对应集合与估计的基础矩阵F之间的一致程度。当能量函数最大时，表示两幅图像的兴趣点对应的几何约束程度最高。

(3)从匹配的局部特征集合中重新选取任意多对局部特征，重复上述流程(1)和(2)并计算基础矩阵；

(4)多次循环后，比较每次循环的基础矩阵能量函数和内点个数，保留最优基础矩阵F`，并用该最优基础矩阵过滤匹配的局部特征集合，实现局部特征的精确匹配。

进一步地，本发明的边缘融合模块，具体操作包括(如图3所示)：

步骤1，获取两幅图像拼接的重叠区域，根据特征匹配的结果，得到两幅图像的匹配位置，则两幅图像内容重叠部分即是重叠区域，重叠区域表示为{x|x₀≤x≤x₀+w}，其中x₀表示重叠区域开始位置的x轴坐标，w表示区域宽度；

步骤2，将重叠区域做归一化处理，即对重叠区域进行公式8的计算，将重叠区域的像素点横坐标归一化到0和1之间，0表示融合区域的开始位置，1表示融合区域的结束位置；

$x^{\′}=\frac{x-x_0}{w}---\left(8\right)$

x′表示归一化后的像素点x轴坐标。

步骤3，使用融合函数对重叠区域内像素点的亮度Alpha值f(x)进行修改，使得亮度按照公式9的函数曲线趋势衰减，实现边缘融合。

$f\left(x\right)=\left\{\begin{array}{cc}a{\left(2x\right)}^p& 0\&le;x\&le;0.5\\ 1-a{\left(2\right(1-x\left)\right)}^p& 0.5<x\&le;1\end{array}\right.---\left(8\right)$

其中a表示权值，a取值0.9。p表示曲线的弯曲程度，即亮度衰减程度，p取值0.85。

上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种多源投影无缝边缘拼接系统，该系统包括边缘融合处理器、数码摄像头、控制电脑、投影幕、投影机；所述边缘融合处理器与视频矩阵、控制电脑、投影机相连；所述边缘融合处理器上设有几何校正模块、图像分割模块、特征匹配模块以及边缘融合模块；其中，

数码摄像头用于采集投影仪的影像，通过USB接口传输到边缘融合处理器，由边缘融合处理器进行几何校正；

控制电脑用于发送视频信号到边缘融合处理器，边缘融合处理器的图像分割模块将视频信号分割为多个具有重叠区域的图像块，再由特征匹配模块将不同图像块进行特征匹配，寻找到图像拼接关键点，然后由边缘融合模块实现边缘融合；

边缘融合处理器将边缘融合后的视频信号发送至不同的投影仪，投影仪将图像投影至投影幕实现无缝投影拼接。

2.根据权利要求1所述的一种多源投影无缝边缘拼接系统，其特征在于，所述边缘融合处理器的特征匹配模块，具体包括以下步骤：

步骤1，提取出不同图像的兴趣点；

步骤2，对所述图像中的兴趣点，采用特征描述方法计算兴趣点周围区域的局部特征；

步骤3，将两幅图像中的局部特征两两进行匹配，得到粗略匹配的局部特征对；

步骤4，对所述的粗略匹配的局部特征对，用随机抽样一致性(RANSAC)算法计算两幅图像之间的基础矩阵，并根据基础矩阵构建对极几何约束实现局部特征对的过滤，得到精确匹配的局部特征点对。

3.根据权利要求1所述的一种多源投影无缝边缘拼接系统，其特征在于，所述边缘融合处理器的边缘融合模块，具体包括以下步骤：

步骤1，获取两幅图像拼接的重叠区域；

步骤2，将重叠区域做归一化处理；

步骤3，使用融合函数对重叠区域的亮度Alpha值进行修改，使得亮度按照函数曲线趋势衰减，实现边缘融合。