CN110855903A - 一种多路视频实时拼接方法 - Google Patents

一种多路视频实时拼接方法 Download PDF

Info

Publication number
CN110855903A
CN110855903A CN201911133224.9A CN201911133224A CN110855903A CN 110855903 A CN110855903 A CN 110855903A CN 201911133224 A CN201911133224 A CN 201911133224A CN 110855903 A CN110855903 A CN 110855903A
Authority
CN
China
Prior art keywords
image
images
video
channel
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911133224.9A
Other languages
English (en)
Inventor
刘湘辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Military And Civilian Advanced Technology Research Co Ltd
Changsha Pinxian Information Technology Co ltd
Original Assignee
Changsha Military And Civilian Advanced Technology Research Co Ltd
Changsha Pinxian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Military And Civilian Advanced Technology Research Co Ltd, Changsha Pinxian Information Technology Co ltd filed Critical Changsha Military And Civilian Advanced Technology Research Co Ltd
Priority to CN201911133224.9A priority Critical patent/CN110855903A/zh
Publication of CN110855903A publication Critical patent/CN110855903A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多路视频实时拼接方法，首先，通过多路摄像机采集基于多路缓冲区队列的实时视频流并进行同步；其次，将多路摄像机采集的具有重叠部分的视频图像帧进行畸变矫正和配准；最后，经过图像融合形成一幅过渡完美包括多路视频流图像的全景视频图像流，解决了广角镜头、鱼眼镜头等摄像机采集大幅场景图像形变的不足的问题，实现了实时视频流的采集和同步，在保证视频拼接实时性的同时，视频拼接效果性亦好。

Description

一种多路视频实时拼接方法
技术领域
本发明属于图像处理技术领域，具体涉及一种多路视频实时拼接方法。
背景技术
近年来，随着计算机科学技术的发展，计算机图像处理技术也得到了迅速的发展。计算机图像处理技术应用于各个生活场景，给人们的生产生活带来了很大的方便。视频图像拼接技术是数字图像处理、计算机视觉领域的研究热点之一。
现有视频拼接技术主要分为两类：一类是视频序列拼接，它是将已经拍摄的视频序列，利用图像处理技术，将同一场景的视频序列拼接成具有更广视野的全景视频图像序列。由于其离线的性质，可以进行较长时间的后台处理，故视频序列的拼接可以达到较好的效果，但其缺点是处理时间太长；另外一类是根据实时采集的多路摄像机视频流进行拼接，得到更广阔视野的视频流，这类情况对实时性要求比较高，要求视频拼接算法的速度要足够快。
故此，如何在保证拼接效果的条件下，且能达到视频拼接的实时性要求，成了本领域技术人员亟需解决的技术问题。
发明内容
本发明的目的在于避免现有技术中的不足而提供一种多路视频实时拼接方法，便于同时达到视频拼接的实时性和效果性。
本发明的目的通过以下技术方案实现：提供一种多路视频实时拼接方法，包括包括以下步骤：
S1、通过多路摄像机采集基于多路缓冲区队列的实时视频流并进行同步；
S2、将通过摄像机采集的具有重叠部分的视频图像进行畸变矫正和配准；
S3、经过图像融合形成一幅包括多路视频流图像的全景视频图像流。
作为进一步的改进，所述步骤S1依据操作系统生产者-消费者模型和多线程机制，且其读写同步通过互斥锁实现了实时视频流的同步，具体表现为：
某路摄像机采集转换后的视频图像到达计算机内存时，生产者线程获得互斥锁，生产者将其加入到对应的视频图像缓冲队列中，生产者线程释放互斥锁；
若所有的视频图像缓冲队列中都含有至少一帧视频帧时，即所有缓冲队列都不为空，则消费者线程先获得互斥锁，消费者将视频图像缓冲队列的队首视频图像取出来，用于下一步拼接成全景视频；
若某一视频图像缓冲队列中的视频图像到达上限，即某一队列满了，则将弃掉队首的那帧图像，以便让后来最新的图像能够及时进入缓冲队列。
作为进一步的改进，所述操作系统缓冲队列的视频流同步的异步时间差为：
Figure BDA0002278897520000021
式中，Tdiff表示异步时间差，Bsize表示缓冲区队列的大小，Fc表示摄像机的采集帧率，Nc表示摄像机的数量，D表示网络延时。
作为进一步的改进，通过二次畸变模型对摄像机采集的具有重叠部分的视频图像帧进行径向畸变校正，具体对图像上发生形变的点进行校正，将其还原到原来所在的图像位置上去，所述二次畸变模型的具体公式如下：
式中，x、y分别为原图像中一个像素点(x，y)的横坐标和纵坐标，x’和y’分别为发生畸变后像素点(x，y)的横坐标和纵坐标，k1、k2为径向畸变参数，r表示原图像中一个像素点(x，y)的径向半径，且其表达式如下：
r2＝x2+y2 (3)。
作为进一步的改进，所述步骤S2中图像配准基于特征进行，具体表现为：
S21、通过SIFT图像特征检测算法对相邻两路摄像机采集的图像进行特征提取；
S22、对采集图像的所有特征描述子构造KD树索引，然后对目标图像中的每一个特征点用KD树索引来查找对应的匹配点，进而确定各自图像中特征点的对应匹配关系；
S23、通过变换模型参数估计计算出两幅图像间的透视投影变换关系，使得图像配准。
作为进一步的改进，所述步骤S3图像融合具体分为如下过程：
S31、利用最优化颜色校正方法，使得相邻图像间的颜色亮度整体一致；
S32、采用基于最佳缝合线的方法进行最优路线的求取；
S33、采用高斯-拉普拉斯金字塔融合方法对重叠区域融合虚影问题进行融合。
作为进一步的改进，所述步骤S31具体表现为，利用颜色空间变换，将RBG颜色空间转换到lαβ颜色空间，分离亮度通道和颜色通道，并利用重叠区域的像素信息，对亮度通道做伽马变换使得两幅图像尽可能相似，具体算法步骤为：
1)获得相邻两幅图像I1(x,y)和I2(x,y)的重叠区域像素，设定左边图像为I1(x,y)与右边图像为I2(x,y)，并根据如下公式，进行颜色空间变换：
其中，
Figure BDA0002278897520000041
2)初始操作，在左边图像I1(x,y)的重叠区域求出亮度通道均值
Figure BDA0002278897520000042
并用参数γ1做伽马校正，如下式表达：
Figure BDA0002278897520000043
式中，N为重叠区域的像素个数，Y1,2(Pn)表示左边图像I1(x,y)在重叠区域中第n个像素点的亮度通道分量值，U1,2表示左边图像亮度通道的伽马校正；
3)在右边图像I2(x,y)的重叠区域求出亮度通道均值
Figure BDA0002278897520000044
并用参数γ2做伽马校正，如下式表达：
Figure BDA0002278897520000045
式中，Y2,1(Pn)表示右边图像I2(x,y)在重叠区域中第n个像素点的亮度通道分量值，U2，1表示右边图像亮度通道的伽马校正；
4)校正后的两幅图像尽可能相似，即：
Figure BDA0002278897520000046
5)将求出的伽马校正参数γ1和γ2分别对图像进行变换；
Figure BDA0002278897520000047
Figure BDA0002278897520000048
6)输出颜色亮度校正后的图像。
作为进一步的改进，所述步骤S32采用基于最佳缝合线的方法进行最优路线的求取，具体表现为，在相邻两幅图像的重叠部分，寻找一条缝合线，使得缝合线的两边图像之间的颜色差异和结构差异同时达到最小，从而在缝合线的两边只选一幅图像的像素进行合成全景图像。
作为进一步的改进，所述步骤S32其具体包括以下步骤：
(1)搜寻一条最佳缝合线：
首先，从颜色和结构两个方面定义最佳缝合线准则：
第一，从颜色差异来看，对相邻两幅图像待拼接图像I1(x,y)和I2(x,y)的重叠区域做差，得到差图像Dc(x)，表达式为：
Dc(x)＝|I1(x,y)-I2(x,y)| (16)；
第二，从结构差异来看，对相邻两幅待拼接图像I1(x,y)和I2(x,y)的重叠区域分别在x和y方向上求梯度，并构造梯度差异算子Dg(x)，其表达式如下：
Dg(x)＝|▽xI1(x,y)-▽xI2(x,y)*|▽yI1(x,y)-▽yI2(x,y) (17)
式中，▽xI1(x,y)、▽yI1(x,y)表示重叠区域水平方向的梯度值，▽xI2(x,y)、▽yI2(x,y)表示重叠区域垂直方向的梯度值，其中，▽xI1(x,y)、▽yI1(x,y)通过Sobel算子Sh进行求取，▽xI2(x,y)、▽yI2(x,y)通过Sobel算子Sv进行求取，Sh和Sv分别为：
Figure BDA0002278897520000051
Figure BDA0002278897520000052
第三，整合颜色和结构差异，得到差值图像Dt(x)，其表达式如下：
Dt(x)＝Dc(x)+Dg(x) (20)；
其次，在差值图像Dt(x)中从第一行选择值最小的10个像素点作为起点，从这些起点开始往下传播生长，到最后一行，各自走过一条从上到下的路径，根据这个规则，每个起点都可以生成一条路径，在生成的路径中选择差异最小的一条路径作为最佳缝合线；
(2)在缝合线过渡带通过距离加权进行融合
第一，对相邻图像I1(x,y)和I2(x,y)，分别建立一个二值图像表示初始化权重矩阵R1(x,y)和R2(x,y)，对于R1(x,y)在缝合线的两侧分别为1和0，对于R2(x,y)在缝合线的两侧分别为0和1；
第二，定义一个距离变换函数D(p(x,y))，对R1(x,y)和R2(x,y)进行变换：
D(p(x,y))＝min(dis(p,q)) (21)
其中，p∈非零像素集，q∈零像素集，dis(p,q)为街区距离，其表达式如下：
dis(p,q)＝dis(p(x1,y1),q(x2,y2))＝|x1-x2|+|y1-y2| (22)
式中，p(x1,y1)表示非零像素集横坐标为x1，纵坐标为y1的像素点，q(x1,y1)表示零像素集横坐标为x2，纵坐标为y2的像素点；
第三，通过一个阈值ε∈(0，1]来设定平滑过渡带的大小，分别计算出对应图像I1(x,y)和I2(x,y)新的过渡融合权重a1(x,y)和a2(x,y)，归一化0～1之间，其表达式为：
式中，R1(x0,y0)和R2(x0,y0)表示权重矩阵平移量，a1(x0,y0)和a2(x0,y0)表示过渡融合权重平移量；
第四，由如下公式计算最终融合的图像：
Figure BDA0002278897520000062
作为进一步的改进，所述步骤S33采用高斯-拉普拉斯金字塔融合方法对重叠区域融合虚影问题进行融合具体表现为：
S331、高斯金字塔的构建：利用高斯核函数对原始图像进行滤波，对滤波后的图像进行隔行隔列的下采样可得上一层高斯金字塔图像，通过重复多次高斯滤波和下采样，得到一个多层次的高斯金字塔；
S332、拉普拉斯金字塔的构建：在高斯金字塔的基础上，通过对高斯金字塔相邻层图像进行差分操作而得，且在差分操作过程中对金字塔中相邻上层图像进行内插上采样，使得其分辨率大小与相邻下一层图像的分辨率大小一致；
S333、图像的复原重构：从拉普拉斯金字塔最顶层开始，依次对相邻上层高斯金字塔图像进行上采样，然后与相邻下层拉普拉斯金字塔进行叠加，如此反复，一直到最底层，最后得到复原图像；
S334、金字塔中不同层图像的融合，具体步骤如下：
首先，对于图像中某像素点f(x,y)，以其为中心取大小M×N的矩形区域，定义其区域平均梯度如下：
式中，i表示图像的高，j表示图像的宽，ΔIx、ΔIy分别表示区域内点在x和y方向上的梯度值；
其次，像素点f(x,y)在x、y方向上梯度的计算公式如下：
Figure BDA0002278897520000073
最后，设拼接图像金字塔中某层图像为LF(i,j)，待拼接的图像对应金字塔中的层次图像分别为LA(i,j)和LB(i,j)，并且以点(i,j)为中心的区域平均梯度分别为GA(i,j)、GB(i,j)，则基于梯度的图像融合策略可用下式表示：
Figure BDA0002278897520000081
本发明提供的多路视频实时拼接方法通过图像拼接技术，将多路摄像机采集的具有重叠部分的视频图像帧进行畸变矫正、空间配准，经过图像融合形成一幅过渡完美包括多路视频流图像的全景视频图像流，解决了广角镜头、鱼眼镜头等摄像机采集大幅场景图像形变的不足的问题，实现了实时视频流的采集和同步，在保证视频拼接实时性的同时，视频拼接效果性亦好。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明多路视频实时拼接方法的流程图；
图2为本发明三路视频流采集同步示意图；
图3为本发明特征点匹配对应关系示意图；
图4为本发明缝合线生长示意图；
图5为本发明距离变换加权融合图；
图6为本发明拉普拉斯金字塔构建图；
图7为本发明拉普拉斯金字塔重构图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步详细的描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
如图1所示，本发明实施例一提供的一种多路视频实时拼接方法，包括以下步骤：
S1、通过多路摄像机采集基于多路缓冲区队列的实时视频流并进行同步；
具体地，步骤S1中对采集的多路视频流进行同步，每一路视频流对应一个视频帧缓冲队列，其本质是利用操作系统的生产者-消费者模型，其中帧缓冲队列为临界资源，共有生产者线程和消费者两个线程，其读写同步通过互斥锁来实现，该步骤主要过程如下：
某路摄像机采集转换后的视频图像到达计算机内存时，生产者线程获得互斥锁，生产者将其加入到对应的视频图像缓冲队列中，生产者线程释放互斥锁；
若所有的视频图像缓冲队列中都含有至少一帧视频帧时，即所有缓冲队列都不为空，则首先消费者线程获得互斥锁，消费者将视频图像缓冲队列的队首视频图像取出来，用于下一步拼接成全景视频；
若某一视频图像缓冲队列中的视频图像到达上限，即某一队列满了，则将弃掉队首的那帧图像，以便让后来最新的图像能够及时进入缓冲队列。
图2为本发明三路视频流采集同步的示意图，能够清楚的体现上述过程。
需要说明的是，上述操作系统缓冲队列的视频流同步的异步时间差为：
Figure BDA0002278897520000091
式中，Tdiff表示异步时间差，Bsize表示缓冲区队列的大小，Fc表示摄像机的采集帧率，Nc表示摄像机的数量，D表示网络延时。
S2、将通过摄像机采集的具有重叠部分的视频图像进行畸变矫正和配准。即步骤S2具体细分为图像畸变矫正和图像配准两部分。
S3、经过图像融合形成一幅包括多路视频流图像的全景视频图像流。
由于摄像机镜头的物理原因，采集进来的图像都存在着一定的畸变，作为进一步优选的实施方式，本发明通过二次畸变模型对摄像机采集的具有重叠部分的视频图像帧进行径向畸变校正，具体对图像上发生形变的点进行校正，将其还原到原来所在的图像位置上去，所述二次畸变模型的具体公式如下：
Figure BDA0002278897520000101
式中，x、y分别为原图像中一个像素点(x，y)的横坐标和纵坐标，x’和y’分别为发生畸变后像素点(x，y)的横坐标和纵坐标，k1、k2为径向畸变参数，r表示原图像中一个像素点(x，y)的径向半径，且其表达式如下：
r2＝x2+y2 (3)
鉴于基于特征的图像配准算法，只要采集的图像间有一定的重合区域，允许摄像机之间存在一定的交错角度，以及存在一定的平移距离，该方法对图像的光照变化、噪声、遮挡都有一定的适应性和鲁棒性至于图像配准，故此，本发明步骤S2中图像配准优选基于特征进行，即通过对有重叠区域的视频图像进行特征提取、特征匹配，求得图像间的变换模型，从而对图像进行配准。提取出来的特征点主要集中在孤立点、边缘、轮廓等灰度变化比较大的地方。特征主要包括颜色特征、灰度特征、纹理特征等。上述过程具体表现为：
S21、通过SIFT(Scale-invariant feature transform，尺度不变特征变换)图像特征检测算法对相邻两路摄像机采集的图像进行特征提取，具体地，该算法主要有四步，第一是在高斯差分尺度空间中提取极值点，第二是关键点的定位，第三步是计算关键点的主方向，最后一步是构造关键点描述子；
S22、对采集图像的所有特征描述子构造KD树(K-dimension tree)索引，然后对目标图像中的每一个特征点用KD树索引来查找对应的匹配点，进而确定各自图像中特征点的对应匹配关系，图3即为本发明特征点匹配对应关系示意图；
下面以实例对上述过程进行展开论述：设定I1(x,y)和I2(x,y)为相邻两幅图像,P1为在图像I1(x,y)中检测出的特征点的集合，P2为在图像I2(x,y)中检测到的特征点的集合，计算对应匹配点的步骤为：
第一步，建立带优先级的KD树索引，加快匹配点的搜索；KD树是一个二叉树，通常用于高维数据的索引,能够在每一维度将数据分为左右两部分，搜寻路径即从其中一条路径进行前进，直到叶子节点。但在求最近邻的时候，当查询点的领域与分割超平面两侧都有交集，则需要回溯检测两侧的特征，导致回溯过程过多，效率下降。故可以利用带优先级的KD树，其本质为在KD树的基础上利用了一个优先级队列，记录各自分割超平面与查询点的距离排序，距离越近，优先级越高，回溯检测总是从优先级高的节点开始。
第二步，遍历集合P1，其中P1 i为集合P1中的任意一点，从另一集合P2中找出P1 i的最近邻
Figure BDA0002278897520000112
和次近邻点其中i∈{1,2,...,N1}、j∈{1,2,...,N2}，N1和N2分别为集合P1和P2中特征点的个数；
第三步，计算P1 i的最近邻距离与次近邻距离比值，如下式：
Figure BDA0002278897520000114
当比值Ratio小于0.8时，则特征点P1 i与
Figure BDA0002278897520000115
是一对匹配点，并分别记录其在集合P1和P2中的索引；
第四步，重复以上两步直到遍历完集合P1为止；
进一步地，为了保证匹配的准确性，我们进行交叉验证，同理：
第一步，遍历集合P2，其中
Figure BDA00022788975200001110
为集合P2中的任意一点，依次从另一集合P1中找出距
Figure BDA0002278897520000116
的最近邻点P1 i和次近邻点P1 i+1；
第二步，计算
Figure BDA0002278897520000117
的最近邻距离与次近邻距离比值，如下式：
Figure BDA0002278897520000118
当比值Ratio小于0.8时，则特征点
Figure BDA0002278897520000119
与P1 i是一对匹配点，并分别记录其在集合P2和P1中的索引；
第三步，重复以上两步直到遍历完集合P2为止；
第四步，对比前后两次验证的索引对，找出公共部分的索引对，即为最终的特征点匹配对。
S23、通过变换模型参数估计计算出两幅图像间的透视投影变换关系，使得图像配准。
假设在步骤S22中特征点匹配中得到的一对特征点匹配对为P1 i＝(x,y)和
Figure BDA0002278897520000121
根据小孔成像原理，我们知道一个三维空间坐标点分别对应两个图像I1(x,y)和I2(x,y)中不同位置的像素点，那么它们存在一一对应关系，通过透视投影映射函数，利用一个3*3的单应(homography)矩阵H，使得图像配准。单应矩阵用来计算同一个三维平面上的点在不同的二维图像中的投影位置的，是一个一对一的映射。其8参数矩阵表现形式，如下式所示：
Figure BDA0002278897520000122
将上式化简得到下式：
Figure BDA0002278897520000123
其中a1、a2、a3、b1、b2、b3、c1、c2为所求的参数，共8个自由度，理论上至少需要4个对应的特征点匹配对，即可计算出两幅图像间的透视投影变换关系。
由于得到的特征点匹配对比未知数的个数要多，这是一个超定方程组。但是经过交叉验证后的匹配点对中仍然可能有部分错误匹配的点对。下面利用RANSAC(RandomSample Consensus，随机抽样一致)算法，求出精确的8参数变换模型。具体步骤为：
第一步，从特征匹配点对集合中随机选取4组匹配点对，带入到上式映射函数中，求出变换参数，其中一幅图像的4点中不能有任意三点在一条直线上的情况：
第二步，将特征匹配点对集合中剩余的匹配点对，利用第一步求出来的变换参数矩阵进行验证，若误差在一定阈值之内，则计为正确的匹配点对，其个数加1；
第三步，直到遍历完特征匹配点对集合中的所有点对，统计出最终正确的匹配点对个数，记录下来；
第四步，重复第一至第三步，迭代30次，选取正确的匹配点对个数最多所对应的变换参数矩阵为最终所求的8参数透视变换模型。
在得到两两图像之间的变换模型之后，对图像进行变换，就可以得到它们之间的重叠区域范围。视频图像的融合就是把配准之后的两幅或多幅图像拼接融合为一幅更大的图像。融合的关键在于，在图像间的重叠区域要过渡完美，不存在明显的拼接缝隙，优选地，S3图像融合具体分为如下过程：
S31、利用最优化颜色校正方法，使得相邻图像间的颜色亮度整体一致，具体表现为，利用颜色空间变换，将RBG颜色空间转换到lαβ颜色空间，分离亮度通道和颜色通道，并利用重叠区域的像素信息，对亮度通道做伽马变换使得两幅图像尽可能相似，具体算法步骤为：
1)获得相邻两幅图像I1(x,y)和I2(x,y)的重叠区域像素，设定左边图像为I1(x,y)与右边图像为I2(x,y)，并根据如下公式，进行颜色空间变换：
Figure BDA0002278897520000141
其中，
Figure BDA0002278897520000142
2)初始操作，在左边图像I1(x,y)的重叠区域求出亮度通道均值
Figure BDA0002278897520000149
并用参数γ1做伽马校正,如下式表达：
Figure BDA0002278897520000143
式中，N为重叠区域的像素个数，Y1,2(Pn)表示左边图像I1(x,y)在重叠区域中第n个像素点的亮度通道分量值，U1,2表示左边图像亮度通道的伽马校正；
3)在右边图像I2(x,y)的重叠区域求出亮度通道均值
Figure BDA0002278897520000144
并用参数γ2做伽马校正，如下式表达：
式中，Y2,1(Pn)表示右边图像I2(x,y)在重叠区域中第n个像素点的亮度通道分量值，U2，1表示右边图像亮度通道的伽马校正；
4)校正后的两幅图像尽可能相似，即：
5)将求出的伽马校正参数γ1和γ2分别对图像进行变换；
Figure BDA0002278897520000147
Figure BDA0002278897520000148
6)输出颜色亮度校正后的图像。
需要说明的是，根据伽马校正参数γ1和γ2，可求解以下最优化问题：
Figure BDA0002278897520000151
式中，
Figure BDA0002278897520000152
表示亮度优化，
Figure BDA0002278897520000153
表示图像的归一化灰度误差标准差,
Figure BDA0002278897520000154
表示图像伽马增益标准差，且σN＝2.0/255，σg＝0.5/255；
S32、采用基于最佳缝合线的方法进行最优路线的求取；
S33、采用高斯-拉普拉斯金字塔融合方法对重叠区域融合虚影问题进行融合。
作为进一步优选的实施方式，最佳缝合线思想是在两幅图像的重叠部分，寻找一条缝合线，使得缝合线的两边图像之间的颜色差异和结构差异同时达到最小，从而在缝合线的两边只选一幅图像的像素进行合成全景图像。该步骤整体上可以分为两大步骤，其一为搜寻一条最佳缝合线，其二在缝合线过渡带通过距离加权进行融合，以下详细说明：
(1)搜寻一条最佳缝合线：
首先，从颜色和结构两个方面定义最佳缝合线准则：
第一，从颜色差异来看，对相邻两幅图像待拼接图像I1(x,y)和I2(x,y)的重叠区域做差，得到差图像Dc(x)，表达式为：
Dc(x)＝|I1(x,y)-I2(x,y)| (16)
第二，从结构差异来看，对相邻两幅待拼接图像I1(x,y)和I2(x,y)的重叠区域分别在x和y方向上求梯度，并构造梯度差异算子Dg(x)，其表达式如下：
Dg(x)＝|▽xI1(x,y)-▽xI2(x,y)|*|▽yI1(x,y)-▽yI2(x,y)| (17)
式中，▽xI1(x,y)、▽yI1(x,y)表示重叠区域水平方向的梯度值，▽xI2(x,y)、▽yI2(x,y)表示重叠区域垂直方向的梯度值，其中，▽xI1(x,y)、▽yI1(x,y)通过Sobel算子Sh进行求取，▽xI2(x,y)、▽yI2(x,y)通过Sobel算子Sv进行求取，Sh和Sv分别为：
Figure BDA0002278897520000162
第三，整合颜色和结构差异，得到差值图像Dt(x)，其表达式如下：
Dt(x)＝Dc(x)+Dg(x) (20)
上述差值图像Dt(x)构成一个邻接矩阵，至此缝合线的定义准则准备工作完成。
其次，在差值图像Dt(x)中从第一行选择值最小的10个像素点作为起点，从这些起点开始往下传播生长，到最后一行，各自走过一条从上到下的路径，根据这个规则，每个起点都可以生成一条路径，在生成的路径中选择差异最小的一条路径作为最佳缝合线，具体生成的步骤如下：
第一，在差值图像Dt(x)中，从第一行选出10个差异值最小的像素点作为初始生长点。
第二，当缝合线路径生长至第i行的像素(x,y)时，选择与当前生长点(x,y)紧邻的下一行的(x-1,y+1)、(x,y+1)和(x+1,y+1)三个像素点，分别计算缝合线生长点当前差异强度值与相邻下一行三个像素的差异强度值之和，从中选择差异强度值和最小的一个像素作为缝合线在第i+1行的生长方向，并更新当前第i+1行的差异强度值，继续下一行的生长，按照以上规律生长，直到最后一行。
第三，当所有的缝合线生长至差值图像的最后一行时，从中选择差异强度值最小的一条路径作为最佳缝合线。
具体地，缝合线的第i行到第i+3行的生长如图4所示：图中的小圆点代表一个像素点，虚线连接的为备选最佳缝合线生长点，实线为最终确定的最佳缝合线连接生长方向。通过计算，比较三个方向差异强度值的变化，选择差异强度值增加最小的方向作为缝合线生长方向，如图4中实线所示，并以该行所在的像素点作为当前点，更新累计差异值，往下一行继续前进。
(2)在缝合线过渡带通过距离加权进行融合
第一，对相邻图像I1(x,y)和I2(x,y)，分别建立一个二值图像表示初始化权重矩阵R1(x,y)和R2(x,y)，对于R1(x,y)在缝合线的两侧分别为1和0，对于R2(x,y)在缝合线的两侧分别为0和1；
第二，定义一个距离变换函数D(p(x,y))，对R1(x,y)和R2(x,y)进行变换：
D(p(x,y))＝min(dis(p,q)) (21)
其中，p∈非零像素集，q∈零像素集，dis(p,q)为街区距离，其表达式如下：
dis(p,q)＝dis(p(x1,y1),q(x2,y2))＝|x1-x2|+|y1-y2| (22)
式中，p(x1,y1)表示非零像素集横坐标为x1，纵坐标为y1的像素点，q(x1,y1)表示零像素集横坐标为x2，纵坐标为y2的像素点；
需要说明的是，距离变换函数D(p(x,y))的本质就是计算初始化权重矩阵中所有非零像素点到与其相邻的最近的零像素点的距离，如图5所示；
第三，通过一个阈值ε∈(0，1]来设定平滑过渡带的大小，分别计算出对应图像I1(x,y)和I2(x,y)新的过渡融合权重a1(x,y)和a2(x,y)，归一化0～1之间，其表达式为：
Figure BDA0002278897520000171
式中，R1(x0,y0)和R2(x0,y0)表示权重矩阵平移量，a1(x0,y0)和a2(x0,y0)表示过渡融合权重平移量；
第四，由如下公式计算最终融合的图像：
Figure BDA0002278897520000181
此外，在进一步地的技术方案中，步骤S33采用高斯-拉普拉斯金字塔融合方法对重叠区域融合虚影问题进行融合，具体表现为：
S331、高斯金字塔的构建：利用高斯核函数对原始图像进行滤波，对滤波后的图像进行隔行隔列的下采样可得上一层高斯金字塔图像，通过重复多次高斯滤波和下采样，得到一个多层次的高斯金字塔；
具体地，设G1为高斯金字塔中第l层图像，则高斯金字塔图像的计算公式为：
其中，1≤l≤N，0≤i≤Rl，0≤j≤Cl，Rl和Cl为高斯金字塔中第l层图像的行列数，即图像的高和宽，
Figure BDA0002278897520000183
表示二维离散高斯卷积核函数。
通过利用高斯卷积核函数
Figure BDA0002278897520000184
对第1-1层高斯金字塔图像进行卷积模糊，然后把第l-1层高斯卷积模糊结果图像(2i+m,2j+n)处的像素值赋值给上一层第l层图像(i,j)处的像素值，从而完成对上层高斯金字塔图像的下采样。
通过上述方法获得高斯金字塔，各层图像依次为：G0,G1,G2,...,GN，其中，G0为原始图像，GN为金字塔顶层图像，在金字塔相邻层图像中，下一层图像是上一层图像大小的4倍。
S332、拉普拉斯金字塔的构建：在高斯金字塔的基础上，通过对高斯金字塔相邻层图像进行差分操作而得，且在差分操作过程中对金字塔中相邻上层图像进行内插上采样，使得其分辨率大小与相邻下一层图像的分辨率大小一致；
具体地，设高斯金字塔中第l层图像为Gl，经过内插之后的图像为G* l，此处使用与前述下采样方法相逆的内插方法进行上采样，如下式所示：
Figure BDA0002278897520000191
设拉普拉斯金字塔中第l层图像为LPI，顶层图像为LPN，则拉普拉斯金字塔的构建公式为(3-49)：
Figure BDA0002278897520000192
图6为拉普拉斯金字塔构建图。从图6中可以看出，拉普拉斯金字塔的构建过程，是由每一层高斯金字塔图像与上采样后的上一层高斯金字塔图像差分得到，反复以上操作，就可构建出一个层次从LP0，LP1，LP2,…,到LPN的拉普拉斯金字塔。
S333、图像的复原重构：从拉普拉斯金字塔最顶层开始，依次对相邻上层高斯金字塔图像进行上采样，然后与相邻下层拉普拉斯金字塔进行叠加，如此反复，一直到最底层，最后得到复原图像；
图7即为拉普拉斯金字塔重构图。同步骤S332，设拉普拉斯金字塔中第l层图像为LPl，顶层图像为LPN，高斯金字塔的第l层图像为Gl，图像重构过程，与构建过程相反，其数学公式如下式：
S334、金字塔中不同层图像的融合，具体步骤如下：
首先，对于图像中某像素点f(x,y)，以其为中心取大小M×N的矩形区域，定义其区域平均梯度如下：
式中，i表示图像的高，j表示图像的宽，ΔIx、ΔIy分别表示区域内
Figure BDA0002278897520000202
点在x和y方向上的梯度值；
其次，像素点f(x,y)在x、y方向上梯度的计算公式如下：
Figure BDA0002278897520000203
最后，设拼接图像金字塔中某层图像为LF(i,j)，待拼接的图像对应金字塔中的层次图像分别为LA(i,j)和LB(i,j)，并且以点(i,j)为中心的区域平均梯度分别为GA(i,j)、GB(i,j)，则基于梯度的图像融合策略可用下式表示：
Figure BDA0002278897520000204
此外，值得提及的是，在实时视频拼接中利用了CUDA(Compute Unified DeviceArchitecture，统一计算设备架构)并行计算架构来加速计算，结合改进的高斯-拉普拉斯金字塔融合，保证了实时拼接视频的效果和实时性。
总之，本发明与传统单纯的图像拼接技术不同，在保证拼接效果的前提下，对算法拼接速度有更为严格的要求，优点如下：
(1)通过操作系统生产者-消费者模型和多线程机制，实现了实时视频流的采集和同步；
(2)通过经典的SIFT特征提取算法，结合一定监控场合下的特定情况，对特定区域进行特征查找和利用带优先级的KD树索引机制，提高了特征提取匹配算法的速度；
(3)在融合阶段，利用了最优化思想，使得相邻图像间的颜色亮度整体一致；在寻找最佳缝合线时，构造了一个度量误差矩阵，使缝合线尽可能地穿越图像的平滑区域，同时利用了高效的搜索算法，加速了最优路径的寻找速度。
上面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，不能理解为对本发明保护范围的限制。
总之，本发明虽然列举了上述优选实施方式，但是应该说明，虽然本领域的技术人员可以进行各种变化和改型，除非这样的变化和改型偏离了本发明的范围，否则都应该包括在本发明的保护范围内。

Claims (10)

1.一种多路视频实时拼接方法，其特征在于，包括以下步骤：
S1、通过多路摄像机采集基于多路缓冲区队列的实时视频流并进行同步；
S2、将通过摄像机采集的具有重叠部分的视频图像进行畸变矫正和配准；
S3、经过图像融合形成一幅包括多路视频流图像的全景视频图像流。
2.根据权利要求1所述的多路视频实时拼接方法，其特征在于，所述步骤S1依据操作系统生产者-消费者模型和多线程机制，且其读写同步通过互斥锁实现了实时视频流的同步，具体表现为：
某路摄像机采集转换后的视频图像到达计算机内存时，生产者线程获得互斥锁，生产者将其加入到对应的视频图像缓冲队列中，生产者线程释放互斥锁；
若所有的视频图像缓冲队列中都含有至少一帧视频帧时，即所有缓冲队列都不为空，则消费者线程先获得互斥锁，消费者将视频图像缓冲队列的队首视频图像取出来，用于下一步拼接成全景视频；
若某一视频图像缓冲队列中的视频图像到达上限，即某一队列满了，则将弃掉队首的那帧图像，以便让后来最新的图像能够及时进入缓冲队列。
3.根据权利要求2所述的多路视频实时拼接方法，其特征在于，所述操作系统缓冲队列的视频流同步的异步时间差为：
Figure FDA0002278897510000011
式中，Tdiff表示异步时间差，Bsize表示缓冲区队列的大小，Fc表示摄像机的采集帧率，Nc表示摄像机的数量，D表示网络延时。
4.根据权利要求3所述的多路视频实时拼接方法，其特征在于，通过二次畸变模型对摄像机采集的具有重叠部分的视频图像帧进行径向畸变校正，具体对图像上发生形变的点进行校正，将其还原到原来所在的图像位置上去，所述二次畸变模型的具体公式如下：
Figure FDA0002278897510000021
式中，x、y分别为原图像中一个像素点(x，y)的横坐标和纵坐标，x’和y’分别为发生畸变后像素点(x，y)的横坐标和纵坐标，k1、k2为径向畸变参数，r表示原图像中一个像素点(x，y)的径向半径，且其表达式如下：
r2＝x2+y2 (3)。
5.根据权利要求4所述的多路视频实时拼接方法，其特征在于，所述步骤S2中图像配准基于特征进行，具体表现为：
S21、通过SIFT图像特征检测算法对相邻两路摄像机采集的图像进行特征提取；
S22、对采集图像的所有特征描述子构造KD树索引，然后对目标图像中的每一个特征点用KD树索引来查找对应的匹配点，进而确定各自图像中特征点的对应匹配关系；
S23、通过变换模型参数估计计算出两幅图像间的透视投影变换关系，使得图像配准。
6.根据权利要求5所述的多路视频实时拼接方法，其特征在于，所述步骤S3图像融合具体分为如下过程：
S31、利用最优化颜色校正方法，使得相邻图像间的颜色亮度整体一致；
S32、采用基于最佳缝合线的方法进行最优路线的求取；
S33、采用高斯-拉普拉斯金字塔融合方法对重叠区域融合虚影问题进行融合。
7.根据权利要求6所述的多路视频实时拼接方法，其特征在于，所述步骤S31具体表现为，利用颜色空间变换，将RBG颜色空间转换到lαβ颜色空间，分离亮度通道和颜色通道，并利用重叠区域的像素信息，对亮度通道做伽马变换使得两幅图像尽可能相似，具体算法步骤为：
1)获得相邻两幅图像I1(x,y)和I2(x,y)的重叠区域像素，设定左边图像为I1(x,y)与右边图像为I2(x,y)，并根据如下公式，进行颜色空间变换：
其中，
Figure FDA0002278897510000032
2)初始操作，在左边图像I1(x,y)的重叠区域求出亮度通道均值
Figure FDA0002278897510000037
并用参数γ1做伽马校正，如下式表达：
Figure FDA0002278897510000033
式中，N为重叠区域的像素个数，Y1,2(Pn)表示左边图像I1(x,y)在重叠区域中第n个像素点的亮度通道分量值，U1,2表示左边图像亮度通道的伽马校正；
3)在右边图像I2(x,y)的重叠区域求出亮度通道均值
Figure FDA0002278897510000034
并用参数γ2做伽马校正，如下式表达：
式中，Y2,1(Pn)表示右边图像I2(x,y)在重叠区域中第n个像素点的亮度通道分量值，U2，1表示右边图像亮度通道的伽马校正；
4)校正后的两幅图像尽可能相似，即：
Figure FDA0002278897510000036
5)将求出的伽马校正参数γ1和γ2分别对图像进行变换；
Figure FDA0002278897510000041
Figure FDA0002278897510000042
6)输出颜色亮度校正后的图像。
8.根据权利要求7所述的多路视频实时拼接方法，其特征在于，所述步骤S32采用基于最佳缝合线的方法进行最优路线的求取，具体表现为，在相邻两幅图像的重叠部分，寻找一条缝合线，使得缝合线的两边图像之间的颜色差异和结构差异同时达到最小，从而在缝合线的两边只选一幅图像的像素进行合成全景图像。
9.根据权利要求8所述的多路视频实时拼接方法，其特征在于，所述步骤S32其具体包括以下步骤：
(1)搜寻一条最佳缝合线：
首先，从颜色和结构两个方面定义最佳缝合线准则：
第一，从颜色差异来看，对相邻两幅图像待拼接图像I1(x,y)和I2(x,y)的重叠区域做差，得到差图像Dc(x)，表达式为：
Dc(x)＝|I1(x,y)-I2(x,y)| (16)；
第二，从结构差异来看，对相邻两幅待拼接图像I1(x,y)和I2(x,y)的重叠区域分别在x和y方向上求梯度，并构造梯度差异算子Dg(x)，其表达式如下：
Dg(x)＝|▽xI1(x,y)-▽xI2(x,y)*|▽yI1(x,y)-▽yI2(x,y)| (17)
式中，▽xI1(x,y)、▽yI1(x,y)表示重叠区域水平方向的梯度值，▽xI2(x,y)、▽yI2(x,y)表示重叠区域垂直方向的梯度值，其中，▽xI1(x,y)、▽yI1(x,y)通过Sobel算子Sh进行求取，▽xI2(x,y)、▽yI2(x,y)通过Sobel算子Sv进行求取，Sh和Sv分别为：
Figure FDA0002278897510000051
Figure FDA0002278897510000052
第三，整合颜色和结构差异，得到差值图像Dt(x)，其表达式如下：
Dt(x)＝Dc(x)+Dg(x) (20)；
其次，在差值图像Dt(x)中从第一行选择值最小的10个像素点作为起点，从这些起点开始往下传播生长，到最后一行，各自走过一条从上到下的路径，根据这个规则，每个起点都可以生成一条路径，在生成的路径中选择差异最小的一条路径作为最佳缝合线；
(2)在缝合线过渡带通过距离加权进行融合
第一，对相邻图像I1(x,y)和I2(x,y)，分别建立一个二值图像表示初始化权重矩阵R1(x,y)和R2(x,y)，对于R1(x,y)在缝合线的两侧分别为1和0，对于R2(x,y)在缝合线的两侧分别为0和1；
第二，定义一个距离变换函数D(p(x,y))，对R1(x,y)和R2(x,y)进行变换：
D(p(x,y))＝min(dis(p,q)) (21)
其中，p∈非零像素集，q∈零像素集，dis(p,q)为街区距离，其表达式如下：
dis(p,q)＝dis(p(x1,y1),q(x2,y2))＝|x1-x2|+|y1-y2| (22)
式中，p(x1,y1)表示非零像素集横坐标为x1，纵坐标为y1的像素点，q(x1,y1)表示零像素集横坐标为x2，纵坐标为y2的像素点；
第三，通过一个阈值ε∈(0，1]来设定平滑过渡带的大小，分别计算出对应图像I1(x,y)和I2(x,y)新的过渡融合权重a1(x,y)和a2(x,y)，归一化0～1之间，其表达式为：
式中，R1(x0,y0)和R2(x0,y0)表示权重矩阵平移量，a1(x0,y0)和a2(x0,y0)表示过渡融合权重平移量；
第四，由如下公式计算最终融合的图像：
Figure FDA0002278897510000062
10.根据权利要求9所述的多路视频实时拼接方法，其特征在于，所述步骤S33采用高斯-拉普拉斯金字塔融合方法对重叠区域融合虚影问题进行融合具体表现为：
S331、高斯金字塔的构建：利用高斯核函数对原始图像进行滤波，对滤波后的图像进行隔行隔列的下采样可得上一层高斯金字塔图像，通过重复多次高斯滤波和下采样，得到一个多层次的高斯金字塔；
S332、拉普拉斯金字塔的构建：在高斯金字塔的基础上，通过对高斯金字塔相邻层图像进行差分操作而得，且在差分操作过程中对金字塔中相邻上层图像进行内插上采样，使得其分辨率大小与相邻下一层图像的分辨率大小一致；
S333、图像的复原重构：从拉普拉斯金字塔最顶层开始，依次对相邻上层高斯金字塔图像进行上采样，然后与相邻下层拉普拉斯金字塔进行叠加，如此反复，一直到最底层，最后得到复原图像；
S334、金字塔中不同层图像的融合，具体步骤如下：
首先，对于图像中某像素点f(x,y)，以其为中心取大小M×N的矩形区域，定义其区域平均梯度如下：
Figure FDA0002278897510000071
式中，i表示图像的高，j表示图像的宽，ΔIx、ΔIy分别表示区域内
Figure FDA0002278897510000072
点在x和y方向上的梯度值；
其次，像素点f(x,y)在x、y方向上梯度的计算公式如下：
Figure FDA0002278897510000073
最后，设拼接图像金字塔中某层图像为LF(i,j)，待拼接的图像对应金字塔中的层次图像分别为LA(i,j)和LB(i,j)，并且以点(i,j)为中心的区域平均梯度分别为GA(i,j)、GB(i,j)，则基于梯度的图像融合策略可用下式表示：
Figure FDA0002278897510000074
CN201911133224.9A 2019-11-19 2019-11-19 一种多路视频实时拼接方法 Pending CN110855903A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911133224.9A CN110855903A (zh) 2019-11-19 2019-11-19 一种多路视频实时拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911133224.9A CN110855903A (zh) 2019-11-19 2019-11-19 一种多路视频实时拼接方法

Publications (1)

Publication Number Publication Date
CN110855903A true CN110855903A (zh) 2020-02-28

Family

ID=69602240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911133224.9A Pending CN110855903A (zh) 2019-11-19 2019-11-19 一种多路视频实时拼接方法

Country Status (1)

Country Link
CN (1) CN110855903A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277764A (zh) * 2020-03-10 2020-06-12 北京卓视科技有限公司 基于gpu加速的4k实时视频全景拼接方法
CN111669516A (zh) * 2020-06-19 2020-09-15 江苏镭博智能科技有限公司 一种基于fpga实现八路视频数据的横向拼接及imu数据的实时同步方法
CN112102215A (zh) * 2020-09-03 2020-12-18 广州南沙联合集装箱码头有限公司 一种基于误差统计的图像快速拼接方法
CN112163996A (zh) * 2020-09-10 2021-01-01 沈阳风驰软件股份有限公司 一种基于图像处理的平角视频融合方法
CN112233158A (zh) * 2020-10-14 2021-01-15 首都师范大学 微纳米ct投影图像的二次投影配准方法
CN112465705A (zh) * 2020-12-08 2021-03-09 福州大学 基于两孔径旋转双棱镜的视场扩大系统及方法
CN112622765A (zh) * 2020-12-28 2021-04-09 江苏合泰飞梵科技有限公司 一种全时视觉辅助后视镜系统
CN113221665A (zh) * 2021-04-19 2021-08-06 东南大学 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法
CN114390222A (zh) * 2022-03-24 2022-04-22 北京唱吧科技股份有限公司 适用于180度全景视频的切换方法、装置及存储介质
CN115311691A (zh) * 2022-10-12 2022-11-08 山东圣点世纪科技有限公司 一种基于腕部静脉和腕部纹理的联合识别方法
US11711491B2 (en) 2021-03-02 2023-07-25 Boe Technology Group Co., Ltd. Video image de-interlacing method and video image de-interlacing device
CN116579927A (zh) * 2023-07-14 2023-08-11 北京心联光电科技有限公司 一种图像拼接方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
US20180146137A1 (en) * 2016-07-22 2018-05-24 6115187 Canada, d/b/a ImmerVision, Inc. Method to capture, store, distribute, share, stream and display panoramic image or video
US20190120696A1 (en) * 2017-10-24 2019-04-25 The University Of Hong Kong Panoramic reconstruction of temporal imaging
CN110148181A (zh) * 2019-04-25 2019-08-20 青岛康特网络科技有限公司 一种通用双目立体匹配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
US20180146137A1 (en) * 2016-07-22 2018-05-24 6115187 Canada, d/b/a ImmerVision, Inc. Method to capture, store, distribute, share, stream and display panoramic image or video
US20190120696A1 (en) * 2017-10-24 2019-04-25 The University Of Hong Kong Panoramic reconstruction of temporal imaging
CN110148181A (zh) * 2019-04-25 2019-08-20 青岛康特网络科技有限公司 一种通用双目立体匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘李纬: "基于特征的多路视频实时拼接技术的研究与实现", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277764A (zh) * 2020-03-10 2020-06-12 北京卓视科技有限公司 基于gpu加速的4k实时视频全景拼接方法
CN111669516A (zh) * 2020-06-19 2020-09-15 江苏镭博智能科技有限公司 一种基于fpga实现八路视频数据的横向拼接及imu数据的实时同步方法
CN112102215A (zh) * 2020-09-03 2020-12-18 广州南沙联合集装箱码头有限公司 一种基于误差统计的图像快速拼接方法
CN112163996A (zh) * 2020-09-10 2021-01-01 沈阳风驰软件股份有限公司 一种基于图像处理的平角视频融合方法
CN112163996B (zh) * 2020-09-10 2023-12-05 沈阳风驰软件股份有限公司 一种基于图像处理的平角视频融合方法
CN112233158A (zh) * 2020-10-14 2021-01-15 首都师范大学 微纳米ct投影图像的二次投影配准方法
CN112465705A (zh) * 2020-12-08 2021-03-09 福州大学 基于两孔径旋转双棱镜的视场扩大系统及方法
CN112465705B (zh) * 2020-12-08 2022-08-19 福州大学 基于两孔径旋转双棱镜的视场扩大系统及方法
CN112622765B (zh) * 2020-12-28 2021-10-26 江苏合泰飞梵科技有限公司 一种全时视觉辅助后视镜系统
CN112622765A (zh) * 2020-12-28 2021-04-09 江苏合泰飞梵科技有限公司 一种全时视觉辅助后视镜系统
US11711491B2 (en) 2021-03-02 2023-07-25 Boe Technology Group Co., Ltd. Video image de-interlacing method and video image de-interlacing device
CN113221665A (zh) * 2021-04-19 2021-08-06 东南大学 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法
CN114390222A (zh) * 2022-03-24 2022-04-22 北京唱吧科技股份有限公司 适用于180度全景视频的切换方法、装置及存储介质
CN114390222B (zh) * 2022-03-24 2022-07-08 北京唱吧科技股份有限公司 适用于180度全景视频的切换方法、装置及存储介质
CN115311691A (zh) * 2022-10-12 2022-11-08 山东圣点世纪科技有限公司 一种基于腕部静脉和腕部纹理的联合识别方法
CN115311691B (zh) * 2022-10-12 2023-02-28 山东圣点世纪科技有限公司 一种基于腕部静脉和腕部纹理的联合识别方法
CN116579927A (zh) * 2023-07-14 2023-08-11 北京心联光电科技有限公司 一种图像拼接方法、装置、设备及存储介质
CN116579927B (zh) * 2023-07-14 2023-09-19 北京心联光电科技有限公司 一种图像拼接方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110855903A (zh) 一种多路视频实时拼接方法
CN105245841B (zh) 一种基于cuda的全景视频监控系统
Han et al. SSF-CNN: Spatial and spectral fusion with CNN for hyperspectral image super-resolution
CN103856727B (zh) 一种多路实时视频拼接处理系统
CN103221975B (zh) 三维成像系统
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
US10958854B2 (en) Computer-implemented method for generating an output video from multiple video sources
CN109064404A (zh) 一种基于多相机标定的全景拼接方法、全景拼接系统
CN104599258B (zh) 一种基于各向异性特征描述符的图像拼接方法
CN101853524A (zh) 使用图像序列生成玉米果穗全景图的方法
CN107316275A (zh) 一种光流辅助的大尺度显微图像拼接算法
WO2013008517A1 (ja) 撮像装置及び画像生成方法
CN107038683A (zh) 运动目标的全景成像方法
CN112801870B (zh) 一种基于网格优化的图像拼接方法，拼接系统及可读存储介质
CN113221665A (zh) 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法
TW201926244A (zh) 即時視訊畫面拼接方法
CN107154017A (zh) 一种基于sift特征点匹配的图像拼接方法
CN116958437A (zh) 融合注意力机制的多视图重建方法及系统
CN108171656A (zh) 基于稀疏表示的自适应全局字典遥感图像超分辨方法
CN112734822A (zh) 一种基于红外和可见光图像的立体匹配算法
CN117541629B (zh) 基于可穿戴头盔的红外图像和可见光图像配准融合方法
CN111160478A (zh) 一种基于深度学习的高光谱目标显著性检测方法
CN110378850A (zh) 一种结合块匹配和神经网络的变焦图像生成方法
CN110363806B (zh) 一种利用不可见光投射特征进行三维空间建模的方法
CN104104911A (zh) 全景图像生成过程中的时间戳消除和重置方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200228

RJ01 Rejection of invention patent application after publication