CN113409196A - 一种用于实时视频拼接的高速全局色差矫正方法 - Google Patents

Abstract

本发明提供了一种用于实时视频拼接系统的高速全局色差矫正方法，包括：获取相机图像序列；对于相机图像在拼接时的重叠区域，同时进行重叠区域两两采样和量化以及多图左右采样和量化；对获得的图像矩阵增加表示透明度的alpha通道以进行数据混合；对融合后的新图像矩阵进行均值化计算；计算图像矩阵均值化后的信息存成查色表；根据查色表矫正色差并输出。实现在满足多摄像头实时视频拼接的前提下，进行图像色差的快速矫正，有效减少了计算资源和计算时间的消耗，高效率地提高了拼接图像的质量。

Description

一种用于实时视频拼接的高速全局色差矫正方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种适用于实时全景视频拼接系统中的图像高速全局的色差矫正方法。

背景技术

随着机器视觉的发展，基于视频拼接的全景视频的拍摄也逐渐盛行。其中，视频拼接是将数张来自不同相机或镜头、不同视角下部分重叠的图像拼成一幅全景或高分辨率视频的技术，在安防监控、虚拟现实、医学、遥感技术等诸多领域有着广泛的应用。视频拼接的技术基础是图像拼接,图像拼接主要包括图像预处理、特征点提取、构建变换模型、坐标变换、融合重构。由于相机摆放角度、环境光照的不同，相机成像器件本身存在的色差和渐晕现象，以及不同相机的内参矩阵和曝光强度存在差异，极易造成拼接后的图像存在明显的色差。

色差矫正的方法大体上分为两种。一种是局部处理，在重叠区域使用渐进融合来减缓图像之间的差异，该方法计算量少、速度快，但是在过渡区域会产生明显的色带。另一种是全局处理，选取某个相机为对照系，其余图像针对该相机图像的通道参数求得一个全局矫正系数，然后对图像进行矫正，可使得两幅图像之间色彩相近，但是重叠区域仍会有明显色差；也可以将图像细分为多个条带，分别求得矫正系数对全图进行矫正，可取得较好的色差矫正效果，但是需要大量的计算资源和计算时间，无法满足实时视频拼接的要求。

因此，亟需对全局色差矫正方法进行改进，以适应高速度高质量的拍摄需求。

发明内容

本发明的目的是为了克服现有技术存在的以上不足或改进需求，提供了一种用于实时视频拼接系统的高速全局色差矫正方法，能很好地消除拼接图像的整体色差和重叠区域的色差，提高拼接图像的整体质量。

为实现上述目的，本发明提供了一种用于实时视频拼接系统的高速全局色差矫正方法，包括以下步骤：

(1)获取相机图像序列。所述相机图像序列是指在相机视频流中获取所有相机同一时刻的一帧图像；

(2)对于相机图像在拼接时的重叠区域，同时进行重叠区域两两采样和量化以及多图左右采样和量化，获得对应的图像矩阵；

(3)对步骤(2)获得的图像矩阵增加表示透明度的alpha通道以进行数据混合，将两张包含重叠区域的图形所对应的两个图像矩阵融合计算得出混合后的新图像矩阵；

(4)对融合后的新图像矩阵进行均值化计算；

(5)计算图像矩阵均值化后每张待拼接图像的色度亮度信息、图像与图像之间重叠区域的色度亮度信息，存成查色表；当需要这些信息时，查找查色表直接赋值；

(6)根据查色表矫正色差：将需要拼接的两张图像之间做对比，利用查色表快速定位和修改，对图像相关区域进行色彩的增强和衰减；

(7)输出色差矫正后的拼接图像。

进一步的，所述采样采用基于多次次级采样的重采样方法。

所述采样和量化具体是在满足奈奎斯特采样定理的前提下，对图像重叠区域和每张图像分别进行采样和重采样，采样之后把采样点上信息量化为包含图像色度和亮度的矩阵，量化之后的图像矩阵即为后续处理的对象。

进一步的，步骤(2)中的图像矩阵基于YUV颜色空间。

进一步的，所述两个图像矩阵分别为A：(Ya，Ua，Va，αa)，B：(Yb，Ub，Vb，αb)，αa和αb分别表示对应的alpha通道变量，Ya，Ua，Va表示图像A的YUV变量，Yb，Ub，Vb表示图像B的YUV变量，混合得到的新图像矩阵为C：(Yc，Uc，Vc)，Yc，Uc，Vc表示图像C的YUV变量，其中，Yc＝Ya×αa+Yb×αb；Uc＝Ua×αa+Ub×αb；Vc＝Va×αa+Vb×αb。

本发明还针对不同的实际场景采用不同的图像均值化计算方法，目的是通过均值化计算可以解决通道融合后出现的色彩不均衡。

其中，所述查色表是一种颜色空间缩减处理，其做法是：将现有颜色空间值除以预定输入值，以获得更少的颜色数。

进一步的，所述步骤(6)还包括查色表更新子步骤：每隔预定时间，重新执行步骤(1)-(5)的操作，以更新查色表，用来适应随着时间推移而变化的色彩变化。所述增强和衰减包括将色度和亮度强的地方衰减，将色度和亮度弱的地方增强，使得拼接后画面色彩较为均匀。

本发明所述的方案与现有的技术相比，具有如下的有益效果是：

1、本发明在满足多摄像头实时视频拼接的前提下，创造性地利用了alpha通道实现了图像色差的快速矫正，改善了全局色差的矫正效果，有效减少了计算资源和计算时间的消耗。

2、针对时间的推移等因素导致光线的变化使得每个相机获取的原始图像色彩会发生明显变化，本发明还通过定时对查色表进行计算和更新，消除或弱化这种情况的影响，以保证图像的色差矫正效果，从而提高拼接图像的质量。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1是本发明一实施例所提供的色差矫正算法的流程示意图；

图2是本发明一实施例所提供的全景拼接过程的示意图；

图3是本发明一实施例所提供的图像采样过程的示意图。

具体实施方式

为使相关技术人员能更好的理解本发明，对本次申请的目的、技术方案和优点有更加清晰的了解，下面将结合具体实例和附图对本发明做进一步说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本发明提供了一种用于实时视频拼接系统的高速全局色差矫正方法，能够有效淡化和消除拼接图像重叠区域的色差以及图像之间整体的色差，提高全景图像的质量。

其中，图像拼接可以有多种算法实现，用到的实际算法不同，消耗的计算资源和计算时间也会不同，效果也不尽相同。本方法主要针对图像拼接的融合重构阶段，对其执行色差矫正算法，如图1所示。本发明先在相机原始图像重叠区域两两采样，然后多图左右采样，采样后使用alpha通道进行均衡值计算得到每幅图像的查色表，投影时根据查色表内容进行色差矫正，保持查色表周期性更新，不仅提高了全景拼接图像的质量，并且在满足大尺寸多摄像头实时视频拼接对实时性的要求前提下，有效减少了对计算资源的消耗。

作为一种实施例，本发明在图像拼接时，所使用的图像排列方式如图2所示。图2中，1-5为从五个相机获取的5幅图像，阴影部分代表相邻图像之间的重叠区域，由于相机的摆放位置、内参矩阵不同和渐晕现象等因素，导致不同相机的成像存在色差，拼接后图像与图像之间的重叠区域色差会格外明显，导致拼接图像整体质量较差。

所述方法可以减弱和消除上述因素导致的色差，所述方法着重处理图像拼接的融合重构阶段，具体包括下列顺序的步骤：

(1)获取相机图像序列。所述相机图像序列是指在相机视频流中抓拍获取所有相机同一时刻的一帧图像，而后矫正方法开始执行。图像的获取是本方法的基础工作，保证图像序列的时间同步才能保证色差矫正的准确性。

(2)对于每两个相机图像在拼接时的重叠区域，同时进行重叠区域两两采样和量化以及多图左右采样和量化。

在获取相机原始图像之后，先对图像做采样处理，以减少对计算资源和计算时间的消耗。本方法采用重采样方法，重采样可以使用多次次级采样。但若是对于高清图片，根据奈奎斯特采样定理，采样频率需要大于等于2倍的图像的最大频率，导致采样频率很高，消耗资源，这时可以先对图像使用一些滤波方法进行模糊化处理后再进行次级采样。对图像重采样之后，降低了对资源的消耗，同时也能保证图像色度亮度信息的完好性。

重采样完成后，接下来对图像感兴趣部分进行采样，即图3所示的阴影部分和1-5图像整体色彩，采样方法如图3所示。采样方法为把一幅连续图像在空间上分割成M×N个网格，每个网格用某一亮度值来表示，一个网格称为一个像素，采样满足奈奎斯特采样定理。

而量化就是把采样点上对应的亮度连续变化区间转换为单个特定数码的过程，采样之后把采样点上信息量化为包含图像色度和亮度的矩阵，量化之后的数字矩阵M×N就作为步骤(2)处理后的对象，这样就完成了同时进行重叠区域两两采样和量化以及多图左右采样和量化处理。

更进一步的，所述拼接图像重叠区域两两采样，是指在拼接图像的多个重叠区域内，每个重叠区域左右两幅图像分别进行多次采样和量化，得到包含重叠区域图像的色度信息、亮度信息和尺度信息的整数矩阵，保证在不损失重叠区域图像信息的前提下，尽量减少对计算资源和计算时间的消耗。

更进一步的，所述多图左右采样，是指针对全局信息，拼接图像由多个图像左右排列拼接融合而成，对每个图像及其左右两个图像分别进行多次采样和量化，得到包含每个图像的色度信息、亮度信息和尺度信息的整数矩阵，保证在不损失原始图像信息的前提下，尽量的减少对计算资源和计算时间的消耗。

(3)对经过采样和量化处理后的图像矩阵增加alpha通道。图像的颜色通常用三个独立的属性来描述，三个独立变量综合作用，自然就构成一个空间坐标，这就是颜色空间。常用的图像颜色空间有RGB颜色空间，YUV颜色空间和HSV颜色空间。本方法使用只需占用极少频宽，图像传输占优势的YUV颜色空间。经过采样和量化处理，将图像感兴趣区域转换为可处理的YUV颜色空间内数据后，增加第四个变量alpha通道进行数据融合。特殊通道alpha通道表示透明度，以将原始两个图像矩阵借助alpha融合计算得出混合后的新图像矩阵，增加alpha通道即可使得两张包含重叠区域的图形融合成一张图像。

简单地说，需要组合出的颜色由两个不含alpha分量的原始YUV图像组合而成，比如现在有两幅图像，分别称为图像A和图像B，由这两幅图像组合而成的图像称为C，则有如下的两个原始四元组A和B：

A：(Ya，Ua，Va，αa)B：(Yb，Ub，Vb，αb)

和组合后的三元组C：

C：(Yc，Uc，Vc)

那么有组合公式

Yc＝Ya×αa+Yb×αb；

Uc＝Ua×αa+Ub×αb；

Vc＝Va×αa+Vb×αb

即可得出融合后的颜色。

(4)对融合后的图像矩阵进行均值化计算。对图像感兴趣部分混合颜色后，需要对混合后的部分执行均值化计算，针对不同的实际场景采用不同的图像均值化计算方法，目的是通过均值化计算可以解决增加alpha通道融合后出现的色彩不均衡现象。

优选地，对多图左右采样之后获得的图形信息矩阵，增加三个颜色分量以外的第四个透明度分量，将其分别作用于两两采样后得到的图形信息矩阵和多图左右采样后得到的图形信息矩阵，进行图像均衡值计算，获得拼接图像的alpha矩阵参数，使得均衡化处理后的图像近似均匀分布。

作为示例，以灰度图为例：首先统计原始图像各灰度级的像素数目N(i)，i的取值范围为[0，max]，max是图像中所有的灰度数(灰度数跟图像位深有关，如果图像为8位深度，则灰度级别共有2^8＝256)；其次统计灰度为i的像素的出现概率P(i)＝N(i)/M，M是图像中所有的像素数；再次统计P(i)的累积分布函数：

最后对混合后的部分均值化计算：

f(min)为累积分布函数最小值，M和N分别代表了图像的长宽像素个数。根据上面描述的灰度图像使用均衡化的方法，将这种方法分别用于图像YUV颜色空间的Y、U、V分量，从而也可以对彩色图像进行处理。

(5)针对均值化之后的图像计算获得查色表。针对拼接图像的尺寸大，信息多等情况，使用查色表法来对进行均衡值计算之后的图像颜色空间缩减。均值化计算之后可以获得图像矩阵均值化后每张待拼接图像的色度亮度信息、图像与图像之间重叠区域的色度亮度信息存成查色表。此时针对均值化之后的图像计算对应的查色表，其作用就是直接查找、简化计算，大大提高处理图像的效率。

处理一张图片，其实就是对整个图像数据进行处理，那么就要对图像的全部数据进行扫描读取，然后进行相应的处理，而计算机处理中耗时最短的操作便是赋值，这时查色表就派上用途了。查色表是一种颜色空间缩减方法，其做法是：将现有颜色空间值除以某个输入值，以获得较少的颜色数；预先计算了所有可能的值，使用时再通过查找查色表直接赋值。例如，颜色值0到9可取为新值0，10到19可取为10，以此类推，可以表达为下列形式：

这样，简单的颜色空间缩减算法就可由下面两步组成：一、遍历图像矩阵的每一个像素；二、对像素应用上述公式。本方法对于使用的感兴趣区域，均值化计算之后预先计算出所有可能的值，存储为一维或多维数组，对应不同输入值存储相对应的输出值，然后需要这些值的时候，利用查找表直接赋值即可，其优势在于只需读取、无需计算，在不损失原始图像信息的前提下极大地减少了计算资源和计算时间的消耗。

(6)之后进行两个操作：一方面更新相机图像，计算更新查色表。本方法每隔一段时间后，重新执行(1)-(5)的操作，持续记录图像色度亮度信息并周期性更新查色表。所述一段时间可以为1～12h。

这样做一方面可以消除或弱化由于时间的推移等因素导致相机获取的原始图像发生色彩变化的影响；另一方面投影时根据查色表内容进行矫正色差。

获得查色表后，对每副原始图像进行色彩的增强和衰减。每两幅图像之间做对比，利用查色表快速定位和修改，将色度和亮度强的地方衰减，将色度和亮度弱的地方增强，使得拼接后画面色彩较为均匀，达到矫正色差的效果，提高全景拼接图像的质量。

(7)最后输出色差矫正后拼接图像。

本发明还提供了一种处理器，所述处理器用于执行上述的方法。

本发明还提供了一种计算机设备，包括存储器、上述处理器及存储在存储器上并可在处理器上运行的计算机程序；其中，所述处理器执行所述程序时实现上述步骤。作为优选地，所述色差矫正过程在GPU里操作，以提高色差矫正的实时性。

综上所述，本发明提供了一种用于实时视频拼接系统的高速全局色差矫正方法，能很好的淡化和消除拼接图像重叠区域的色差以及图像之间整体的色差，有效实现了全景视频拼接系统中的图像高速全局的色差矫正，提高了全景拼接图像的质量，并且在满足大尺寸多摄像头实时视频拼接对实时性的要求前提下，有效的减少了对计算资源的消耗。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和原则的前提下，可以在实施的形式及细节上进行任何的修改与变化、等同替换等，这些都属于本发明的保护范围。因此，本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种用于实时视频拼接系统的高速全局色差矫正方法，其特征在于，所述方法包括以下步骤：

(1)获取相机图像序列，所述相机图像序列是指在相机视频流中获取所有相机同一时刻的一帧图像；

(2)对于相机图像在拼接时的重叠区域，同时进行重叠区域两两采样和量化以及多图左右采样和量化，获得对应的图像矩阵；

(3)对步骤(2)获得的图像矩阵增加表示透明度的alpha通道以进行数据混合，将两张包含重叠区域的图形所对应的两个图像矩阵融合计算得出混合后的新图像矩阵；

(4)对融合后的新图像矩阵进行均值化计算；

(5)计算图像矩阵均值化后每张待拼接图像的色度亮度信息、图像与图像之间重叠区域的色度亮度信息，存成查色表；当需要这些信息时，查找查色表直接赋值；

(6)根据查色表矫正色差：将需要拼接的两张图像之间做对比，利用查色表快速定位和修改，对图像相关区域进行色彩的增强和衰减；

(7)输出色差矫正后的拼接图像。

2.如权利要求1所述的方法，其特征在于：所述采样采用基于多次次级采样的重采样方法。

3.如权利要求1所述的方法，其特征在于：所述采样和量化具体是在满足奈奎斯特采样定理的前提下，对图像重叠区域和每张图像分别进行采样和重采样，采样之后把采样点上信息量化为包含图像色度和亮度的矩阵，量化之后的图像矩阵即为后续处理的对象。

4.如权利要求1所述的方法，其特征在于：所述步骤(2)中的图像矩阵基于YUV颜色空间。

5.如权利要求4所述的方法，其特征在于：所述两个图像矩阵分别为A：(Ya，Ua，Va，αa)，B：(Yb，Ub，Vb，αb)，αa和αb分别表示对应的alpha通道变量，Ya，Ua，Va表示图像A的YUV变量，Yb，Ub，Vb表示图像B的YUV变量，混合得到的新图像矩阵为C：(Yc，Uc，Vc)，Yc，Uc，Vc表示图像C的YUV变量，其中，Yc＝Ya×αa+Yb×αb；Uc＝Ua×αa+Ub×αb；Vc＝Va×αa+Vb×αb。

6.如权利要求1所述的方法，其特征在于，针对不同的实际场景采用不同的图像均值化计算方法，目的是通过均值化计算可以解决通道融合后出现的色彩不均衡。

7.如权利要求1所述的方法，其特征在于，所述查色表是一种颜色空间缩减处理，其做法是：将现有颜色空间值除以预定输入值，以获得更少的颜色数。

8.如权利要求1-7任一项所述的方法，其特征在于，所述步骤(6)还包括查色表更新子步骤：每隔预定时间，重新执行步骤(1)-(5)的操作，以更新查色表，用来适应随着时间推移而变化的色彩变化。

9.如权利要求8所述的方法，其特征在于，所述增强和衰减包括将色度和亮度强的地方衰减，将色度和亮度弱的地方增强，使得拼接后画面色彩较为均匀。

10.如权利要求1所述的方法，其特征在于，所述色差矫正过程在GPU里操作，以提高色差矫正的实时性。

Images