CN112465702B - 一种多路超高清视频同步自适应拼接显示处理方法 - Google Patents
一种多路超高清视频同步自适应拼接显示处理方法 Download PDFInfo
- Publication number
- CN112465702B CN112465702B CN202011387120.3A CN202011387120A CN112465702B CN 112465702 B CN112465702 B CN 112465702B CN 202011387120 A CN202011387120 A CN 202011387120A CN 112465702 B CN112465702 B CN 112465702B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- storage queue
- time
- spliced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 21
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 45
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000007500 overflow downdraw method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 3
- 238000011156 evaluation Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000007526 fusion splicing Methods 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供了一种多路超高清视频同步自适应拼接显示处理方法，包括多路高清视频的拼接参数的自适应生成方法。并通过实时监控融合拼接的实时图像的相似程度，动态评估拼接参数的质量。根据多个相机的融合拼接图像的相似程度，获得各超高清图像的时间对应关系。动态调整多路超高清视频以达到同步显示处理的方法。该发明解决了多路超高清视频的同步显示，融合拼接参数不能因为实际环境的细小变化而自适应优化的问题。通过对多路图像融合带图像的相似性评估，动态调整图像的拼接参数与视频流的时间同步。本发明可以更好地处理自动优化多路超高清图像的拼接显示的问题。
Description
技术领域
本发明属于图像处理技术领域，特别是涉及一种多路超高清视频同步自适应拼接显示处理方法。
背景技术
随着图像拼接技术的成熟，大量的图像拼接算法得以广泛的应用。单路相机存在视场狭小、监控相机分辨率不足等诸多问题。因此机场、工厂以及道路交通等领域，多摄像机图像融合显示输出的方式因其独有的大广角视场而迅速发展。该技术能够一体化呈现各场景的实景大视场甚至全景图像，从而方便使用者更直接和具体地把握场景信息。
在上述的这些固定的区域中，全景图像信息并不会发生剧烈的变化。但是区域内光照变化，摄像机的微小震动等客观因素均会影响到图像特征的提取与筛选。从而进一步影响到全景图像的图像质量。
目前，基于静景图像的拼接融合技术已经成熟。但是如何在实际使用中，针对上述的客观因素，通过自适应的方式调整提升拼接参数的质量是目前亟待解决的问题。同时，一般摄像机成像频率为25帧/秒或30帧/秒。多路像机的成像时间间隔理论上为 20毫秒左右。如果相机成像周期间隔相差较多，也会明显降低拼接图像的图像质量。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种多路超高清视频同步自适应拼接显示处理方法。
为了解决上述技术问题，本发明公开了一种多路超高清视频同步自适应拼接显示处理方法，包括如下步骤：
步骤1，为M路摄像机分别建立图像存储队列，用于存储每路摄像机拍摄的图像信息；第m路摄像机的图像存储队列的编号为m，1≤m≤M；
步骤2，从M路摄像机分别获取实时图像信息，并将所述图像信息存入每路摄像机的图像存储队列中；所述图像信息包括第m路摄像机拍摄的实时图像、获取图像的时间戳和图像存入第m个图像存储队列的图像编号；所述图像编号为第m个图像存储队列中已有图像数加1；
步骤3，获取当前时间t1，根据上一次更新时间t2判断时间间隔是否大于等于更新周期T；如果大于等于更新周期T，执行步骤3；否则执行步骤7；
步骤4，从每个图像存储队列中抽取图像编号最小的图像，提取特征点，获取特征点矩阵；记第m个图像存储队列中图像编号最小的图像为Im，第m+1个图像存储队列中图像编号最小的图像为Im+1；
步骤5，针对同一个图像存储队列，计算步骤4获得的特征点矩阵与上一次更新时间t2的特征点矩阵的相似度，若相似度小于等于阈值Fth，使用步骤4获得的特征点矩阵替换上一次更新时间t2的特征点矩阵，执行步骤6；否则保留上一次更新时间t2的特征点矩阵，执行步骤7；
步骤6，匹配图像Im和Im+1的特征点，获得匹配的特征点对，计算Im+1相对于Im的单应矩阵Hm并替换上一次更新时间t2的单应矩阵；
步骤7，根据单应矩阵Hm获得Im+1映射至Im所在平面的图像
将图像Im和图像
进行图像融合，并分别获取图像Im的融合区域图像Im,f和图像
的融合区域图像
计算图像Im,f和
的相似度值Sm,m+1，获取每路摄像机的图像存储队列中待拼接的图像；所述图像融合方法参见参考文献：唐杰.一种基于稳定特征的全自动图像拼接算法[J].微计算机信息。
步骤8，对每个图像存储队列中待拼接图像进行配准拼接处理，利用渐入渐出融合方法处理图像间拼缝的均匀过渡；删除每个图像存储队列中所述待拼接图像信息及图像编号小于待拼接图像编号的图像信息。所述配准拼接处理和利用渐入渐出融合方法处理图像间拼缝的均匀过渡方法参见参考文献：袁杰.基于SIFT的图像配准与拼接技术研究[D].南京理工大学,2013.
在一种实现方式中，所述步骤4中对图像Im提取特征点采用基于金字塔分层的shift-Tomasi(J.Shi和C.Tomasi提出的一种角点检测算法)与Sift(Scale-invariantfeature transform，尺度不变特征变换)相结合的特征点检测算法，获得特征点矩阵Fm：
其中，(x,y)表示图像Im中像素点坐标，记图像宽为W，高为H，则0≤x<W，0≤y<H。
所述shift-Tomasi算法参见参考文献：Shi J,Tomasi C.Good features totrack.New York:Cornell University,1993.所述Sift算法参见参考文献：DavidG.Lowe.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision, 2004,60(2):91-110.
在一种实现方式中，所述步骤5中，记上一次更新时间t2的特征点矩阵为Fm,l：
特征点Fm和Fm,l的相似度计算公式如下：
在一种实现方式中，所述步骤6中，通过k-d树(k-dimensional tree)的最临近搜索方法对图像Im和Im+1的特征点进行粗略匹配，对粗略匹配得到的特征点对采用 RANSAC(Random Sample Consensus，随机抽样一致)算法进行精确匹配获得匹配的特征点对；所述k-d树的最临近搜索方法参见参考文献：张一,江刚武,狄亚南,et al.一种采用改进K-d树的无人机影像特征匹配搜索方法[J].测绘科学技术学报,2015(5): 500-504.所述RANSAC算法参见参考文献：D.Capel,A.Zisserman.Automated mosaicing with super-resolution zoom[C].Computer Vision and Pattern Recognition Conference onIEEE,Venice,1998:885-891
在一种实现方式中，所述步骤6中，记图像Im+1相对于Im的单应矩阵
匹配的特征点对的像素点坐标满足如下公式：
其中(xm+1,ym+1)为图像Im+1上匹配的特征点的像素点坐标，(xm,ym)为图像Im中匹配的特征点的像素点坐标；由于单应矩阵Hm中共有9个参数，通过随机选取图像Im和Im+1中8个特征点对，计算出对应的9个参数值；以计算出的单应矩阵Hm对图像Im和Im+1中所有匹配的特征点对进行筛选，保留满足单应矩阵Hm中9个参数的精确匹配的特征点对。
在一种实现方式中，所述步骤7包括：
步骤7.1，当图像Im,f和
的相似度值Sm,m+1大于等于阈值Sth时，将图像Im和Im+1标记为相应图像存储队列中待拼接的图像；
步骤7.2，当图像Im,f和
的相似度值Sm,m+1小于阈值Sth时，从第m+1个图像存储队列中抽取图像编号为图像Im+1的图像编号+1的图像
参照步骤4提取图像
的特征点，参照步骤6匹配图像Im和
的特征点对，计算
相对于Im的单应矩阵
计算
映射至Im所在平面的图像
将图像Im和图像
进行图像融合，获得融合区域图像Im,f和
计算融合区域图像Im,f和
的相似度值
若
将图像Im和Im+1标记为相应图像存储队列中待拼接的图像；若
但图像Im和
的时间戳间隔大于等于阈值Tth，将图像Im和Im+1标记为相应图像存储队列中待拼接的图像；若
且图像Im和
的时间戳间隔小于阈值Tth，将图像Im和
标记为相应图像存储队列中待拼接的图像。
在一种实现方式中，所述步骤7中计算两幅图像的相似度值采用结构相似性度量SSIM(structural similarity index)算法。
在一种实现方式中，所述步骤4中，若图像Im为超高清图像，对图像Im提取特征点前，先对图像Im进行高斯采样，将超高清图像转为高清图像，再提取特征点。从而简化计算量，减少超高清图像的个别成像误差带来的干扰。
有益效果：
1、在全景视频显示技术中，多路超高清视频的数据流量很大。同时因为多路视频受独立取图等客观因素影响，成像存在时间上的偏差。当设置为25帧每秒时。每台相机的成像间隔为40毫秒，若考虑报文封装与网络传输的延迟。则两台相机间的成像间隔误差在20毫秒到40毫秒。若成像存在一帧的时差，则成像间隔可能在40毫秒以上。那么图像拼接处的动目标很有可能出现目标分裂的情况。本发明通过隔一段时间(更新周期T)检测两台摄像机不同时间成像的图片的重叠区域的相似度，判断在时间上接近的图片，增强多路像机图像显示的同步性。
2、目前摄像机拼接技术是静态生成单应矩阵，动态成像调取静态单应矩阵然后进行成像的变换得到最终图像。因为摄像机所在场景存在光照、色差以及成像角度的不同而导致两幅拼接图像的个别对应特征点存在错误，从而提取错误而导致拼接失败。在实际使用中，摄像机固定物的轻微震动而导致的成像场景变化也导致图像的单应矩阵需要进行实时的修正。因此，有必要实时进行拼接效果的评估。通过对比当前对应特征点的变化程度，量化两幅拼接图像的拼接质量。当发现原有特征点对发生明显变化时，重新计算单应矩阵。实时修正单应矩阵，从而提升拼接图像的质量。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/ 或其他方面的优点将会变得更加清楚。
图1是本发明的系统流程示意图。
图2是通过对比融合带图像相似度优选同步全景图像的示意图。
图3是两路摄像机经本方法拼接后得到的同步全景图像。
具体实施方式
结合图1，下面以实例来说明本发明一种多路超高清视频同步自适应拼接显示处理方法。具体实施步骤如下：
步骤1，为M路摄像机分别建立图像存储队列，用于存储每路摄像机拍摄的图像信息；第m路摄像机的图像存储队列的编号为m，1≤m≤M；
步骤2，从M路摄像机分别获取实时图像信息，并将所述图像信息存入每路摄像机的图像存储队列中；所述图像信息包括第m路摄像机拍摄的实时图像、获取图像的时间戳和图像存入第m个图像存储队列的图像编号；所述图像编号为第m个图像存储队列中已有图像数加1；本实施例中，拍摄场景为机场中建筑物及跑道；
步骤3，获取当前时间t1，根据上一次更新时间t2判断时间间隔是否大于等于更新周期T；如果大于等于更新周期T，执行步骤3；否则执行步骤7；本实施例中，所述更新周期T取值范围为半个小时至一个小时；
步骤4，从每个图像存储队列中抽取图像编号最小的图像，提取特征点，获取特征点矩阵；记第m个图像存储队列中图像编号最小的图像为Im，第m+1个图像存储队列中图像编号最小的图像为Im+1；
本实施例中，所述步骤4中对图像Im提取特征点采用基于金字塔分层的 shift-Tomasi(J.Shi和C.Tomasi提出的一种角点检测算法)与Sift(Scale-invariant featuretransform，尺度不变特征变换)相结合的特征点检测算法，获得特征点矩阵Fm：
其中，(x,y)表示图像Im中像素点坐标，记图像宽为W，高为H，则0≤x<W，0≤y<H。
所述shift-Tomasi算法参见参考文献：Shi J,Tomasi C.Good features totrack.New York:Cornell University,1993.所述Sift算法参见参考文献：DavidG.Lowe.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision, 2004,60(2):91-110.
本实施例中，所述步骤4中，若图像Im为超高清图像，对图像Im提取特征点前，先对图像Im进行高斯采样，将超高清图像转为高清图像，再提取特征点。
步骤5，针对同一个图像存储队列，计算步骤4获得的特征点矩阵与上一次更新时间t2的特征点矩阵的相似度；
本实施例中，所述步骤5中，记上一次更新时间t2的特征点矩阵为Fm,l：
特征点Fm和Fm,l的相似度计算公式如下：
若相似度小于等于阈值Fth，使用步骤4获得的特征点矩阵替换上一次更新时间t2的特征点矩阵，执行步骤6；否则保留上一次更新时间t2的特征点矩阵，执行步骤7；本实施例中，所述阈值Fth取值范围是0.25～0.3；
步骤6，匹配图像Im和Im+1的特征点，获得匹配的特征点对，计算Im+1相对于Im的单应矩阵Hm并替换上一次更新时间t2的单应矩阵；
本实施例中，所述步骤6中，通过k-d树(k-dimensional tree)的最临近搜索方法对图像Im和Im+1的特征点进行粗略匹配，对粗略匹配得到的特征点对采用RANSAC (RandomSample Consensus，随机抽样一致)算法进行精确匹配获得匹配的特征点对；所述k-d树的最临近搜索方法参见参考文献：张一,江刚武,狄亚南,et al.一种采用改进K-d树的无人机影像特征匹配搜索方法[J].测绘科学技术学报,2015(5):500-504.所述RANSAC算法参见参考文献：D.Capel,A.Zisserman.Automated mosaicing with super-resolution zoom[C].Computer Vision and Pattern Recognition Conference on IEEE, Venice,1998:885-891
所述步骤6中，记图像Im+1相对于Im的单应矩阵
匹配的特征点对的像素点坐标满足如下公式：
其中(xm+1,ym+1)为图像Im+1上匹配的特征点的像素点坐标，(xm,ym)为图像Im中匹配的特征点的像素点坐标；由于单应矩阵Hm中共有9个参数，通过随机选取图像Im和Im+1中8个特征点对，计算出对应的9个参数值；以计算出的单应矩阵Hm对图像Im和Im+1中所有匹配的特征点对进行筛选，保留满足单应矩阵Hm中9个参数的精确匹配的特征点对。
步骤7，如图2所示，根据单应矩阵Hm获得Im+1映射至Im所在平面的图像
将图像Im和图像
进行图像融合，并分别获取图像Im的融合区域图像Im,f和图像
的融合区域图像
计算图像Im,f和
的相似度值Sm,m+1，获取每路摄像机的图像存储队列中待拼接的图像；所述图像融合方法参见参考文献：唐杰.一种基于稳定特征的全自动图像拼接算法[J].微计算机信息。
本实施例中，所述步骤7中计算两幅图像的相似度值采用结构相似性度量SSIM(structural similarity index)算法。
本实施例中，所述步骤7包括：
步骤7.1，当图像Im,f和
的相似度值Sm,m+1大于等于阈值Sth时，将图像Im和Im+1标记为相应图像存储队列中待拼接的图像；所述阈值Sth的取值范围是0.75～0.9；
步骤7.2，如图2所示，当图像Im,f和
的相似度值Sm,m+1小于阈值Sth时，从第m+1个图像存储队列中抽取图像编号为图像Im+1的图像编号+1的图像
参照步骤4提取图像
的特征点，参照步骤6匹配图像Im和
的特征点对，计算
相对于Im的单应矩阵
计算
映射至Im所在平面的图像
将图像Im和图像
进行图像融合，获得融合区域图像Im,f和
计算融合区域图像Im,f和
的相似度值
若
将图像Im和Im+1标记为相应图像存储队列中待拼接的图像；若
但图像Im和
的时间戳间隔大于等于阈值Tth，将图像Im和Im+1标记为相应图像存储队列中待拼接的图像；若
且图像Im和
的时间戳间隔小于阈值Tth，将图像Im和
标记为相应图像存储队列中待拼接的图像；所述阈值Tth的取值优选100ms。
步骤8，对每个图像存储队列中待拼接图像进行配准拼接处理，利用渐入渐出融合方法处理图像间拼缝的均匀过渡；删除每个图像存储队列中所述待拼接图像信息及图像编号小于待拼接图像编号的图像信息。所述配准拼接处理和利用渐入渐出融合方法处理图像间拼缝的均匀过渡方法参见参考文献：袁杰.基于SIFT的图像配准与拼接技术研究[D].南京理工大学,2013.
如图3所示为两路摄像机经本方法拼接后得到的同步全景图像；当M取值较大，例如M取值为5，在进行待拼接图像配准拼接时，可以以最中间一路摄像机拍摄的图像(第3幅图像)为基准视角，先将第2幅图像和第4幅图像分别映射到第3幅图像所在的视角进行拼接获得一幅中间态的大图像，然后将第1幅图像和第5幅图像分别映射到所述中间态的大图像所在的视角进行拼接获得最后的全景图像。
本发明提供了一种多路超高清视频同步自适应拼接显示处理方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (8)
1.一种多路超高清视频同步自适应拼接显示处理方法，其特征在于，包括如下步骤：
步骤1，为M路摄像机分别建立图像存储队列，用于存储每路摄像机拍摄的图像信息；第m路摄像机的图像存储队列的编号为m，1≤m≤M；
步骤2，从M路摄像机分别获取实时图像信息，并将所述图像信息存入每路摄像机的图像存储队列中；所述图像信息包括第m路摄像机拍摄的实时图像、获取图像的时间戳和图像存入第m个图像存储队列的图像编号；所述图像编号为第m个图像存储队列中已有图像数加1；
步骤3，获取当前时间t1，根据上一次更新时间t2判断时间间隔是否大于等于更新周期T；如果大于等于更新周期T，执行步骤4；否则执行步骤7；
步骤4，从每个图像存储队列中抽取图像编号最小的图像，提取特征点，获取特征点矩阵；记第m个图像存储队列中图像编号最小的图像为Im，第m+1个图像存储队列中图像编号最小的图像为Im+1；
步骤5，针对同一个图像存储队列，计算步骤4获得的特征点矩阵与上一次更新时间t2的特征点矩阵的相似度，若相似度小于等于阈值Fth，使用步骤4获得的特征点矩阵替换上一次更新时间t2的特征点矩阵，执行步骤6；否则保留上一次更新时间t2的特征点矩阵，执行步骤7；
步骤6，匹配图像Im和Im+1的特征点，获得匹配的特征点对，计算Im+1相对于Im的单应矩阵Hm并替换上一次更新时间t2的单应矩阵；
步骤7，根据单应矩阵Hm获得Im+1映射至Im所在平面的图像
将图像Im和图像
进行图像融合，并分别获取图像Im的融合区域图像Im，f和图像
的融合区域图像
计算图像Im，f和
的相似度值Sm，m+1，获取每路摄像机的图像存储队列中待拼接的图像；
步骤8，对每个图像存储队列中待拼接图像进行配准拼接处理，利用渐入渐出融合方法处理图像间拼缝的均匀过渡；删除每个图像存储队列中所述待拼接图像信息及图像编号小于待拼接图像编号的图像信息。
2.根据权利要求1所述的一种多路超高清视频同步自适应拼接显示处理方法，其特征在于，所述步骤4中对图像Im提取特征点采用基于金字塔分层的shift-Tomasi与Sift相结合的特征点检测算法，获得特征点矩阵Fm：
其中，(x，y)表示图像Im中像素点坐标，记图像宽为W，高为H，则0≤x＜W，0≤y＜H，ixy表示特 征点矩阵Fm中坐标为(x，y)的元素值，当图像Im中坐标为(x，y)的像素点为特征点，则ixy值为1，当该像素点为一般点，则ixy值为0。
3.根据权利要求2所述的一种多路超高清视频同步自适应拼接显示处理方法，其特征在于，所述步骤5中，记上一次更新时间t2的特征点矩阵为Fm，l：
其中，jxy表示上一次更新时间t2时特征点矩阵为Fm，l中坐标为(x，y)的元素值，当上一次更新时间t2的图像Im中坐标为(x，y)的像素点为特征点，则jxy值为1，当该像素点为一般点，则jxy值为0；
特征点矩阵Fm和Fm，l的相似度计算公式如下：
4.根据权利要求3所述的一种多路超高清视频同步自适应拼接显示处理方法，其特征在于，所述步骤6中，通过k-d树的最临近搜索方法对图像Im和Im+1的特征点进行粗略匹配，对粗略匹配得到的特征点对采用RANSAC算法进行精确匹配获得匹配的特征点对。
5.根据权利要求3所述的一种多路超高清视频同步自适应拼接显示处理方法，其特征在于，所述步骤6中，记图像Im+1相对于Im的单应矩阵
匹配的特征点对的像素点坐标满足如下公式：
其中(xm+1，ym+1)为图像Im+1上匹配的特征点的像素点坐标，(xm，ym)为图像Im中匹配的特征点的像素点坐标；由于单应矩阵Hm中共有9个参数，通过随机选取图像Im和Im+1中8个特征点对，计算出对应的9个参数值；以计算出的单应矩阵Hm对图像Im和Im+1中所有匹配的特征点对进行筛选，保留满足单应矩阵Hm中9个参数的精确匹配的特征点对。
6.根据权利要求1所述的一种多路超高清视频同步自适应拼接显示处理方法，其特征在于，所述步骤7包括：
步骤7.1，当图像Im，f和
的相似度值Sm，m+1大于等于阈值Sth时，将图像Im和Im+1标记为相应图像存储队列中待拼接的图像；
步骤7.2，当图像Im，f和
的相似度值Sm，m+1小于阈值Sth时，从第m+1个图像存储队列中抽取图像编号为图像Im+1的图像编号+1的图像
参照步骤4提取图像
的特征点，参照步骤6匹配图像Im和
的特征点对，计算
相对于Im的单应矩阵
计算
映射至Im所在平面的图像
将图像Im和图像
进行图像融合，获得融合区域图像Im，f和
计算融合区域图像Im，f和
的相似度值
若
将图像Im和Im+1标记为相应图像存储队列中待拼接的图像；若
但图像Im和
的时间戳间隔大于等于阈值Tth，将图像Im和Im+1标记为相应图像存储队列中待拼接的图像；若
且图像Im和
的时间戳间隔小于阈值Tth，将图像Im和
标记为相应图像存储队列中待拼接的图像。
7.根据权利要求1所述的一种多路超高清视频同步自适应拼接显示处理方法，其特征在于，所述步骤7中计算两幅图像的相似度值采用结构相似性度量SSIM算法。
8.根据权利要求2所述的一种多路超高清视频同步自适应拼接显示处理方法，其特征在于，所述步骤4中对图像Im提取特征点前，先对图像Im进行高斯采样，将超高清图像转为高清图像，再提取特征点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011387120.3A CN112465702B (zh) | 2020-12-01 | 2020-12-01 | 一种多路超高清视频同步自适应拼接显示处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011387120.3A CN112465702B (zh) | 2020-12-01 | 2020-12-01 | 一种多路超高清视频同步自适应拼接显示处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112465702A CN112465702A (zh) | 2021-03-09 |
| CN112465702B true CN112465702B (zh) | 2022-09-13 |
Family
ID=74806343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011387120.3A Active CN112465702B (zh) | 2020-12-01 | 2020-12-01 | 一种多路超高清视频同步自适应拼接显示处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465702B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113873345B (zh) * | 2021-09-27 | 2023-11-14 | 中国电子科技集团公司第二十八研究所 | 一种分布式的超高清视频同步处理方法 |
| CN114596413B (zh) * | 2022-05-07 | 2022-08-19 | 武汉天际航信息科技股份有限公司 | 一种影像时序拼接方法、三维影像模型建立方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104301677A (zh) * | 2014-10-16 | 2015-01-21 | 北京十方慧通科技有限公司 | 面向大场景的全景视频监控的方法及装置 |
| WO2016086754A1 (zh) * | 2014-12-03 | 2016-06-09 | 中国矿业大学 | 一种大场景视频图像拼接方法 |
| CN107274346A (zh) * | 2017-06-23 | 2017-10-20 | 中国科学技术大学 | 实时全景视频拼接系统 |
| WO2019047284A1 (zh) * | 2017-09-05 | 2019-03-14 | 平安科技（深圳）有限公司 | 特征提取、全景拼接方法及其装置、设备、可读存储介质 |
-
2020
- 2020-12-01 CN CN202011387120.3A patent/CN112465702B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104301677A (zh) * | 2014-10-16 | 2015-01-21 | 北京十方慧通科技有限公司 | 面向大场景的全景视频监控的方法及装置 |
| WO2016086754A1 (zh) * | 2014-12-03 | 2016-06-09 | 中国矿业大学 | 一种大场景视频图像拼接方法 |
| CN107274346A (zh) * | 2017-06-23 | 2017-10-20 | 中国科学技术大学 | 实时全景视频拼接系统 |
| WO2019047284A1 (zh) * | 2017-09-05 | 2019-03-14 | 平安科技（深圳）有限公司 | 特征提取、全景拼接方法及其装置、设备、可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112465702A (zh) | 2021-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN104685513B (zh) | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 | |
| CN107633526B (zh) | 一种图像跟踪点获取方法及设备、存储介质 | |
| CN111127318B (zh) | 一种机场环境下的全景图像拼接方法 | |
| CN102025959B (zh) | 从低清晰度视频产生高清晰度视频的系统与方法 | |
| US8953900B2 (en) | Increased quality of image objects based on depth in scene | |
| TWI639136B (zh) | 即時視訊畫面拼接方法 | |
| CN107248174A (zh) | 一种基于tld算法的目标跟踪方法 | |
| CN110855903A (zh) | 一种多路视频实时拼接方法 | |
| CN101930603B (zh) | 中高速传感器网络图像数据融合的方法 | |
| CN111445389A (zh) | 一种高分辨率图像的宽视角快速拼接方法 | |
| CN112465702B (zh) | 一种多路超高清视频同步自适应拼接显示处理方法 | |
| CN111199556A (zh) | 基于摄像头的室内行人检测和跟踪方法 | |
| CN110717936B (zh) | 一种基于相机姿态估计的图像拼接方法 | |
| CN109544635B (zh) | 一种基于枚举试探的相机自动标定方法 | |
| CN113221665A (zh) | 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法 | |
| CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
| CN109697696A (zh) | 用于全景视频的补盲方法 | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN114331835A (zh) | 一种基于最优映射矩阵的全景图像拼接方法及装置 | |
| CN113096016A (zh) | 一种低空航拍图像拼接方法和系统 | |
| AU2011331381B2 (en) | Change detection in video data | |
| CN112001224A (zh) | 基于卷积神经网络的视频采集方法和视频采集系统 | |
| JP5148573B2 (ja) | 画像処理システム、画像処理方法およびプログラム | |
| CN116109484A (zh) | 前景信息保留的图像拼接方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |