CN116567166B - 一种视频融合方法、装置、电子设备及存储介质 - Google Patents

一种视频融合方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116567166B
CN116567166B CN202310826803.1A CN202310826803A CN116567166B CN 116567166 B CN116567166 B CN 116567166B CN 202310826803 A CN202310826803 A CN 202310826803A CN 116567166 B CN116567166 B CN 116567166B
Authority
CN
China
Prior art keywords
image
matching
fusion
images
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310826803.1A
Other languages
English (en)
Other versions
CN116567166A (zh
Inventor
周宏成
熊文念
代爱民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Planning and Designing Institute of Telecommunications Co Ltd
Original Assignee
Guangdong Planning and Designing Institute of Telecommunications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Planning and Designing Institute of Telecommunications Co Ltd filed Critical Guangdong Planning and Designing Institute of Telecommunications Co Ltd
Priority to CN202310826803.1A priority Critical patent/CN116567166B/zh
Publication of CN116567166A publication Critical patent/CN116567166A/zh
Application granted granted Critical
Publication of CN116567166B publication Critical patent/CN116567166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明属于视频融合技术领域，公开了一种视频融合方法、装置、电子设备及存储介质，本发明能够实现不同监控终端在同一监控时刻对应拍摄图像的图像融合，如此，相当于得到了不同监控终端在同一监控时刻所对应的全景监控图像，而后，按照监控时刻将各个全景监控图像进行顺序排序，即可生成覆盖整个监控区域的监控融合视频；由此，本发明能够将所有摄像头所拍摄的图像形成一个完整的全景图像，可获取到区域内的大视场场景，使得监控人员在工作时仅需对一个图像进行浏览，减少了监控人员的监控工作量，且还能及时发现监控中的紧急情况，降低了监控安全隐患，适用于在监控领域的大规模应用与推广。

Description

一种视频融合方法、装置、电子设备及存储介质
技术领域
本发明属于视频融合技术领域，具体涉及一种视频融合方法、装置、电子设备及存储介质。
背景技术
目前，对于视场比较大的区域（如机场、停车场、仓库等），由于单个摄像头的监控视角有限，因此，在实际使用过程中，大多都是在区域内安装多个固定的摄像头，通过多个摄像头的交叉监控，来实现整个区域的监控覆盖，前述方法虽然能够实现区域内的监控覆盖，但是，在显示时仅能展示每个摄像头所拍摄的图像，无法将所有摄像头所拍摄的图像形成一个完整的全景图像，不能获取区域内的大视场场景，从而使得监控人员需要对多个单摄像头的画面进行浏览，不仅增加了监控人员的监控工作量，且在出现紧急情况时，还不易及时发现，存在一定的安全隐患；因此，如何提供一种能够将多个监控视频进行融合，从而得到全景监控视频的视频融合方法，已成为一个亟待解决的问题。
发明内容
本发明的目的是提供一种视频融合方法、装置、电子设备及存储介质，用以解决现有技术中无法将所有摄像头所拍摄的图像形成一个完整的全景图像，不能获取区域内的大视场场景，从而导致监控人员工作量大，以及不易及时发现紧急情况的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供了一种视频融合方法，包括：
获取各个监控终端对应的监控视频，并对各个监控视频进行逐帧处理，得到各个监控视频对应的图像帧序列，其中，每个图像帧序列中的第i张图像对应的监控时间相同，i=1,2,...n，且n为任一图像帧序列中图像的总数量；
对各个图像帧序列进行融合排序，得到融合图像序列集，其中，所述融合图像序列集中的任意相邻两图像帧序列对应的监控终端存在监控重叠区域；
对于所述融合图像序列集中的相邻两图像帧序列，提取出相邻两图像帧序列中处于同一排序位置的图像内的融合特征点，并对相邻两图像帧序列中处于同一排序位置的图像内的融合特征点进行特征匹配，得到相邻两图像帧序列中处于同一排序位置的图像之间的匹配特征对，其中，同一排序位置表征监控时间相同；
利用相邻两图像帧序列中处于同一排序位置的图像之间的匹配特征对，计算出相邻两图像帧序列中处于同一排序位置的图像之间的融合变换矩阵；
对于所述融合图像序列集中各图像帧序列内的第i张图像，将若干第i张图像中的任一第i张图像作为标定图像，并利用所述融合图像序列集内的相邻两图像帧序列中同一排序位置的图像之间的融合变换矩阵，将目标图像投影至所述标定图像对应的坐标系下，得到投影图像，其中，所述目标图像为若干第i张图像中删除所述任一图像后所剩余的图像；
将所述标定图像和所述投影图像进行图像融合处理，得到第i张融合图像；
将i自加1，并重新将若干第i张图像中的任一第i张图像作为标定图像，直至i等于n时，得到n张融合图像；
利用将n张融合图像，生成监控融合视频。
基于上述公开的内容，本发明先对多个监控终端采集的监控视频进行逐帧处理，得到各个监控视频对应的图像帧序列；然后，再按照各个图像帧序列进行排序，得到融合图像序列集，其中，该序列集中的相邻图像帧序列对应的监控终端存在监控重叠区域；如此，该步骤相当于是按照各个监控终端的监控交叉顺序，来对各个监控终端对应的图像帧序列进行排序，从而使得排序后的图像帧序列内，处于同一监控时间下的所有图像中的两两相邻图像均存在重叠区域，基于此，即可为后续同一监控时间下的图像融合提供融合基础。
在完成图像帧序列的排序后，即可提取融合图像序列集中各相邻两图像帧序列中处于同一监控时间的图像内的融合特征点，以便基于处于同一监控时间的图像内的融合特征点，来进行特征匹配，得到相邻两图像帧序列中处于同一监控时间的图像之间的匹配特征对；而后，根据前述得到的匹配特征对，则可计算出各相邻两图像帧序列中处于同一监控时间的图像之间的融合变换矩阵；更进一步的，利用前述融合变换矩阵，则可将处于同一监控时间下的图像，投影至选定的标定图像中（该标定图像为前述同一监控时间的图像中的任一图像），从而完成不同监控终端同一时间所拍摄图像，向标定监控终端对应拍摄坐标系下的投影转换，以得到多张投影图像；最后，将同一监控时间下的投影图像和标定图像进行融合，即可得到所有监控终端在同一监控时间下的全景图像（即融合图像）；以此原理，将前述各个图像帧序列中的图像全部融合完毕后，即可得到所有监控终端在不同监控时间下的全景图像；最后，利用不同监控时间下的全景图像，即可生成监控全景视频（即监控融合视频）。
通过上述设计，本发明能够实现不同监控终端在同一监控时刻对应拍摄图像的图像融合，如此，相当于得到了不同监控终端在同一监控时刻所对应的全景监控图像，而后，按照监控时刻将各个全景监控图像进行顺序排序，即可生成覆盖整个监控区域的监控融合视频；由此，本发明能够将所有摄像头所拍摄的图像形成一个完整的全景图像，可获取到区域内的大视场场景，使得监控人员在工作时仅需对一个图像进行浏览，减少了监控人员的监控工作量，且还能及时发现监控中的紧急情况，降低了监控安全隐患，适用于在监控领域的大规模应用与推广。
在一个可能的设计中，提取出相邻两图像帧序列中处于同一排序位置的图像内的融合特征点，包括：
对于相邻两图像帧序列中处于同一排序位置的图像中的任一图像，利用不同尺度的高斯函数对所述任一图像进行卷积处理，得到若干卷积图像；
对于所述若干卷积图像中处于相邻尺度的两卷积图像，将处于相邻尺度的两卷积图像进行图像相减，得到至少一个卷积差图像；
对于所述至少一个卷积差图像中的任一卷积差图像，获取所述任一卷积差图像中第a个像素点的第一邻域，第a个像素点在第一目标图像中的第二邻域，以及第a个像素点在第二目标图像中的第三邻域，其中，所述第一目标图像为所述任一卷积差图像对应相邻尺度的两卷积图像中的一卷积图像，所述第二目标图像为所述任一卷积差图像对应相邻尺度的两卷积图像中的另一卷积图像，所述第二邻域为所述第一目标图像中目标像素点的邻域，且所述目标像素点为所述第一目标图像中与所述第a个像素点位置相对应的像素点；
判断所述第a个像素点的灰度值，是否为所述第一邻域、所述第二邻域以及所述第三邻域内的灰度最大值或灰度最小值；
若是，则将所述第a个像素点作为候选特征点；
将a自加1，并重新获取所述任一卷积差图像中第a个像素点的第一邻域，第a个像素点在第一目标图像中的第二邻域，以及第a个像素点在第二目标图像中的第三邻域，直至a等于A时，得到所述任一卷积差图像对应的候选特征点集，其中，a的初始值为1，且A为所述任一卷积差图像中像素点的总个数；
对所述候选特征点集中的每个候选特征点进行位置调整处理，得到目标候选特征点集；
利用所述任一卷积差图像，计算出所述目标候选特征点集中各个目标候选特征点的特征置信度，并将特征置信度大于或等于特征置信度阈值的目标候选特征点，作为所述任一卷积差图像的融合特征点，以便在得到所有卷积差图像的融合特征点后，将所有卷积差图像的融合特征点作为所述任一图像的融合特征点。
在一个可能的设计中，对所述候选特征点集中的每个候选特征点进行位置调整处理，得到目标候选特征点集，包括：
对于所述候选特征点集中的任一候选特征点，利用所述任一卷积差图像，并采用如下公式（1），计算所述任一候选特征点的特征误差值；
（1）
上述式（1）中，表示所述任一候选特征点的误差值，/>表示所述任一卷积差图像，/>表示所述任一候选特征点的特征矩阵，其中，/>，/>分别表示所述任一候选特征点的像素横坐标和像素纵坐标，/>为所述高斯函数的方差，/>表示转置运算；
判断所述任一候选特征点的特征误差值是否大于或等于误差阈值；
若是，则基于特征误差值对所述任一候选特征点进行坐标调整，以在调整后，得到所述任一候选特征点对应的目标候选特征点；否则，则将所述任一候选特征点作为目标候选特征点，以便利用所有候选特征点所对应的目标候选特征点，组成所述目标候选特征点集。
在一个可能的设计中，利用所述任一卷积差图像，计算出所述目标候选特征点集中各个目标候选特征点的特征置信度，包括：
对于所述目标候选特征点集中的任一目标候选特征点，基于所述任一目标候选特征点的像素坐标以及所述任一卷积差图像，并按照如下公式（2），构建出所述任一目标候选特征点的置信度矩阵；
（2）
上述式（2）中，表示所述置信度矩阵，/>表示所述任一卷积差图像，/>依次表示所述任一目标候选特征点的像素横坐标和像素纵坐标；
计算所述置信度矩阵的特征值，并基于特征值，确定出所述任一目标候选特征点的置信度中间值；
获取置信度系数，并求取所述置信度中间值与所述置信度系数之间的总和；
使用总和的平方除以所述置信度中间值，得到所述任一目标候选特征点的特征置信度。
在一个可能的设计中，对相邻两图像帧序列中处于同一排序位置的图像内的融合特征点进行特征匹配，得到相邻两图像帧序列中处于同一排序位置的图像之间的匹配特征对，包括：
对于相邻两图像帧序列中的两目标图像，获取一目标图像中第h个融合特征点的第一匹配邻域，以及获取另一目标图像中第j个融合特征点的第二匹配邻域，其中，一目标图像在对应图像帧序列中的排序位置，与另一目标在对应图像帧序列中的排序位置相同，且所述第一匹配邻域和所述第二匹配邻域的尺寸为（2m+1）×（2m+1），m为正整数；
获取所述第一匹配邻域的灰度平均值和所述第二匹配邻域的灰度平均值；
基于所述第一匹配邻域的灰度平均值和所述第二匹配邻域的灰度平均值，并采用如下公式（3），计算出所述第h个融合特征点与第j个融合特征点之间的匹配度；
（3）
上述式（3）中，表示第h个融合特征点与第j个融合特征点之间的匹配度，/>分别表示中间参数，/>依次表示所述第h个融合特征点的像素横坐标和像素纵坐标，/>依次表示所述第j个融合特征点的像素横坐标和像素纵坐标，/>表示所述第一匹配邻域中像素横坐标为/>，像素纵坐标为/>的像素点的灰度值，/>表示所述第二匹配邻域中像素横坐标为/>，像素纵坐标为/>的像素点的灰度值，/>为所述第一匹配邻域的灰度平均值，/>表示第二匹配邻域的灰度平均值；
判断所述第h个融合特征点与第j个融合特征点之间的匹配度是否大于或等于预设阈值；
若是，则将所述第h个融合特征点和所述第j个融合特征点作为预选匹配特征点；
将j自加1，并重新获取一目标图像中第h个融合特征点的第一匹配邻域，以及获取另一目标图像中第j个融合特征点的第二匹配邻域，直至j等J时，得到若干预选匹配特征点，其中，h和j的初始值为1，且J为所述另一目标图像的融合特征点的总个数；
将h自加1，并重新获取一目标图像中第h个融合特征点的第一匹配邻域，以及获取另一目标图像中第j个融合特征点的第二匹配邻域，直至h等H时，得到两目标图像的预选匹配特征点数据集，其中，H为所述一目标图像中融合特征点的总个数；
对所述预选匹配特征点数据集中的各个预选匹配特征点进行匹配处理，以在匹配处理后，得到两目标图像之间的匹配特征对。
在一个可能的设计中，对所述预选匹配特征点数据集中的各个预选匹配特征点进行匹配处理，以在匹配处理后，得到两目标图像之间的匹配特征对，包括：
对所述预选匹配特征点数据集进行数据划分处理，得到第一数据集和第二数据集，其中，所述第一数据集中包含的第一预选匹配特征点属于两目标图像中的一目标图像，所述第二数据集中包含的第二预选匹配特征点属于两目标图像中的另一目标图像；
获取所述第一数据集中各个第一预选匹配特征点的特征向量，以及所述第二数据集中各个第二预选匹配特征点的特征向量；
对于所述第一数据集中的第q个第一预选匹配特征点，计算所述第q个第一预选匹配特征点的特征向量，与各个第二预选匹配特征点的特征向量之间的距离，并按照距离从小至大的顺序，将各个第二预选匹配特征点进行排序，得到特征点排序序列；
利用所述特征点排序序列中排序前两位的第二预选匹配特征点的距离，计算出所述第q个第一预选匹配特征点与目标特征点之间的匹配置信度，其中，所述目标特征点为所述特征点排序序列中排序第一位的第二预选匹配特征点；
判断所述匹配置信度是否大于或等于匹配置信度阈值；
若是，则将所述第q个第一预选匹配特征点与所述目标特征点，作为两目标图像之间的一匹配特征对；
将q自加1，并重新计算所述第q个第一预选匹配特征点的特征向量，与各个第二预选匹配特征点的特征向量之间的距离，直至q等于Q时，得到两目标图像之间的匹配特征对，其中，q的初始值为1，且Q为第一预选匹配特征点的总个数。
在一个可能的设计中，利用所述融合图像序列集内的相邻两图像帧序列中同一排序位置的图像之间的融合变换矩阵，将目标图像投影至所述标定图像对应的坐标系下，得到投影图像，包括：
从各个目标图像中，确定出所述标定图像的相邻图像，其中，所述相邻图像所对应的图像帧序列，与所述标定图像对应的图像帧序列相邻；
从各个目标图像中，删除所述相邻图像，得到非相邻图像集合；
对于所述非相邻图像集合中的任一非相邻图像，获取处于所述任一非相邻图像与所述标定图像之间的目标图像，以得到至少一个指定图像；
按照各个指定图像、所述任一非相邻图像以及所述标定图像对应的图像帧序列在所述融合图像序列集中的排序顺序，对所述各个指定图像、所述任一非相邻图像以及所述标定图像进行排序，得到变换图像集；
将所述变换图像集中各相邻图像之间的融合变换矩阵进行矩阵级联拼接，得到所述任一非相邻图像与所述标定图像之间的融合变换矩阵；
利用所述相邻图像与所述标定图像之间的融合变换矩阵，将所述相邻图像映射至所述标定图像对应的坐标系下，得到所述相邻图像对应的投影图像；以及
利用所述任一非相邻图像与所述标定图像之间的融合变换矩阵，将所述任一非相邻图像映射至所述标定图像对应的坐标系下，得到所述任一非相邻图像对应的投影图像。
第二方面，提供了一种视频融合装置，包括：
视频获取单元，用于获取各个监控终端对应的监控视频，并对各个监控视频进行逐帧处理，得到各个监控视频对应的图像帧序列，其中，每个图像帧序列中的第i张图像对应的监控时间相同，i=1,2,...n，且n为任一图像帧序列中图像的总数量；
视频处理单元，用于对各个图像帧序列进行融合排序，得到融合图像序列集，其中，所述融合图像序列集中的任意相邻两图像帧序列对应的监控终端存在监控重叠区域；
特征匹配单元，用于对于所述融合图像序列集中的相邻两图像帧序列，提取出相邻两图像帧序列中处于同一排序位置的图像内的融合特征点，并对相邻两图像帧序列中处于同一排序位置的图像内的融合特征点进行特征匹配，得到相邻两图像帧序列中处于同一排序位置的图像之间的匹配特征对，其中，同一排序位置表征监控时间相同；
变换参数计算单元，用于利用相邻两图像帧序列中处于同一排序位置的图像之间的匹配特征对，计算出相邻两图像帧序列中处于同一排序位置的图像之间的融合变换矩阵；
图像映射单元，用于对于所述融合图像序列集中各图像帧序列内的第i张图像，将若干第i张图像中的任一第i张图像作为标定图像，并利用所述融合图像序列集内的相邻两图像帧序列中同一排序位置的图像之间的融合变换矩阵，将目标图像投影至所述标定图像对应的坐标系下，得到投影图像，其中，目标图像为若干第i张图像中删除所述任一图像后所剩余的图像；
图像融合单元，用于将标定图像和投影图像进行图像融合处理，得到第i张融合图像；
图像融合单元，还用于将i自加1，并重新将若干第i张图像中的任一第i张图像作为标定图像，直至i等于n时，得到n张融合图像；
视频融合单元，用于利用将n张融合图像，生成监控融合视频。
第三方面，提供了另一种视频融合装置，以装置为电子设备为例，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计的所述视频融合方法。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意一种可能设计的所述视频融合方法。
第五方面，提供了一种包含指令的计算机程序产品，当指令在计算机上运行时，使计算机执行如第一方面或第一方面中任意一种可能设计的所述视频融合方法。
有益效果：
（1）本发明能够实现不同监控终端在同一监控时刻对应拍摄图像的图像融合，如此，相当于得到了不同监控终端在同一监控时刻所对应的全景监控图像，而后，按照监控时刻将各个全景监控图像进行顺序排序，即可生成覆盖整个监控区域的监控融合视频；由此，本发明能够将所有摄像头所拍摄的图像形成一个完整的全景图像，可获取到区域内的大视场场景，使得监控人员在工作时仅需对一个图像进行浏览，减少了监控人员的监控工作量，且还能及时发现监控中的紧急情况，降低了监控安全隐患，适用于在监控领域的大规模应用与推广。
附图说明
图1为本发明实施例提供的视频融合方法的步骤流程示意图；
图2为本发明实施例提供的视频融合装置的结构示意图；
图3为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例：
参见图1所示，本实施例所提供的视频融合方法，能够将不同监控终端所拍摄的图像形成一个完整的全景图像，可获取到被监控区域内的大视场场景，如此，仅需一幅图像即可完成整个区域内的视频监控，不仅减少了监控人员的监控工作量，且还能及时发现监控中的紧急情况，降低了监控安全隐患，适用于在监控领域的大规模应用与推广；在本实施例中，举例该方法可以但不限于在监控显示端侧运行，其中，该监控显示端可以但不限于为个人电脑（personal computer，PC）、平板电脑或智能手机，可以理解的是，前述执行主体并不构成对本申请实施例的限定，相应的，本方法的运行步骤可以但不限于如下述步骤S1～S8所示。
S1. 获取各个监控终端对应的监控视频，并对各个监控视频进行逐帧处理，得到各个监控视频对应的图像帧序列，其中，每个图像帧序列中的第i张图像对应的监控时间相同，i=1,2,...n，且n为任一图像帧序列中图像的总数量；在本实施例中，各个监控终端是指处于同一被监控区域内的终端，如停车场、仓库、海关等等，其中，对各个监控视频进行逐帧处理，则是将各个监控视频的每一帧都提出出来，并按照监控时间从先至后的顺序，来组成图像帧序列；可选的，举例各个监控视频的视频时长相同，如此，可保证得到的各个图像帧序列中图像总数相同，且各个图像帧序列中处于同一位置的图像，其监控时间相同；由此，可为后续同一位置处的图像进行融合提供基础；更进一步的，举例监控终端可以但不限于包括摄像头。
在得到各个监控视频对应的图像帧序列后，还需要按照各个监控终端的监控交叉顺序，对各个图像帧进行排序，从而使得排序后的图像帧中处于同一监控时间处的图像内每相邻两图像，均存在重叠区域，如此，可便于后续对同一监控时间处的各张图像进行融合；具体的，图像帧序列的排序过程如下述步骤S2所示。
S2. 对各个图像帧序列进行融合排序，得到融合图像序列集，其中，所述融合图像序列集中的任意相邻两图像帧序列对应的监控终端存在监控重叠区域；在本实施例中，以一个实例来阐述前述步骤S2，假设存在3个监控终端，分别为监控终端W、监控终端G和监控终端V，其中,监控终端W与监控终端V存在监控重叠区域，监控终端V与监控终端G存在监控重叠区域，且监控终端W对应的图像帧序列为W1（包括图像W11、W12和W13）,监控终端G对应的图像帧序列为G1（包括图像G11、G12和G13），监控终端V对应的图像帧序列为V1（包括图像V11、V12和V13），那么，前述三个图像帧序列的排序顺序则为：W1、V1和G1（也就是融合图像序列集为：{W1、V1和G1}），即图像W11与图像V11存在重叠区域，而图像V11与图像G11存在重叠区域，且W11、V11和G11的监控时间相同，如此，后续在进行图像融合时，则是W11、V11和G11进行融合；当然，其余各个图像之间的重叠关系也是如此，于此不再赘述。
在得到融合图像序列集后，则需要计算出该序列集中相邻两图像帧序列中处于同一监控时间处图像间的融合变换矩阵，以便基于计算得到的融合变换矩阵，来实现处于同一监控时间处的各图像间的投影转换，从而将处于同一监控时间处的各图像投影到同一图像坐标系中进行图像融合；具体实施时，则是先提取出相邻图像帧序列中处于同一监控时间处的图像内的特征点（即下述的融合特征点），然后，基于提取出的特征点，得到匹配特征对，最后，根据匹配特征对，来得出前述相邻两图像帧序列中处于同一监控时间处的图像间的融合变换矩阵；可选的，融合变换矩阵的具体计算过程如下述步骤S3和步骤S4所示。
S3. 对于所述融合图像序列集中的相邻两图像帧序列，提取出相邻两图像帧序列中处于同一排序位置的图像内的融合特征点，并对相邻两图像帧序列中处于同一排序位置的图像内的融合特征点进行特征匹配，得到相邻两图像帧序列中处于同一排序位置的图像之间的匹配特征对，其中，同一排序位置表征监控时间相同；在本实施例中，在前述举例的基础上，相当于提取出图像帧序列W1与图像帧序列V1中处于同一排序位置的图像内的融合特征点，以及图像帧序列V1与图像帧序列G1中处于同一排序位置的图像内的融合特征点；如此，对于图像帧序列W1与图像帧序列V1，则是提取出图像W11与图像V11内的融合特征点，图像W12与图像V12内的融合特征点，以及图像W13与图像V13内的融合特征点；而后，即可基于图像W11与图像V11内的融合特征点，得到图像W11与图像V11之间的匹配特征对；当然，其余图像，以及图像帧序列V1与图像帧序列G1也是如此；于此不再赘述。
在本实施例中，由于融合图像序列集中相邻两图像帧序列内处于同一排序位置的各图像的融合特征点的提取过程相同，下述以相邻两图像帧序列中处于同一排序位置的图像中的任一图像为例，来具体阐述融合特征点的提取过程，可以但不限于如下述步骤S31～S38所示。
S31. 对于相邻两图像帧序列中处于同一排序位置的图像中的任一图像，利用不同尺度的高斯函数对所述任一图像进行卷积处理，得到若干卷积图像；在本实施例中，举例高斯函数可以但不限于如下述公式（4）所示。
（4）
上述式（4）中，表示高斯函数，其均值为0，方差为/>（即/>为标准差），同时，不同尺寸的高斯函数，则是加入尺度系数/>，且加入尺度系数的高斯函数可表示为：；另外，对所述任一图像进行卷积处理，则是将高斯函数与前述任一图像进行卷积运算，且未添加尺度系数的卷积图像可表示为：/>，该式中，/>表示卷积图像，/>表示前述任一图像，x1和y1则表示该任一图像中的像素点的像素横坐标和像素纵坐标。
如此，取不同尺度系数加入至高斯函数中，对前述任一图像进行卷积运算，即可得到该任一图像在不同尺度下的卷积图像；而在得到若干卷积图像后，将相邻尺度的卷积图像做差，即可得到至少一个卷积差图像，而后，从各个卷积差图像中，即可确定出该任一图像的候选特征点；最后，对候选特征点进行再次筛选，即可得到该任一图像的融合特征点；具体的，融合特征点的具体提取过程如下述步骤S32～S38所示。
S32. 对于所述若干卷积图像中处于相邻尺度的两卷积图像，将处于相邻尺度的两卷积图像进行图像相减，得到至少一个卷积差图像；在本实施例中，以一个实例来阐述该步骤，假设存在三个尺度，分别为尺度1、尺度2和尺度3，那么，则可得到3个卷积图像；而后，将尺度2对应的卷积图像与尺度1对应的卷积图像做差，得到卷积差图像1，将尺度3对应的卷积图像与尺度2对应的卷积图像做差，得到卷积差图像2；如此，则需要在卷积差图像1和卷积差图像2中，确定出属于候选特征点的像素点；更进一步的，两卷积图像相减，则是两卷积图像中对应位置处的像素点的像素相减。
在本实施例中，由于在每张卷积差图像中确定候选特征点的过程相同，下述以任一卷积差图像为例，来阐述候选特征点的确定过程，以及对候选特征点的筛选过程，如下述步骤S33～S38所示。
S33. 对于所述至少一个卷积差图像中的任一卷积差图像，获取所述任一卷积差图像中第a个像素点的第一邻域，第a个像素点在第一目标图像中的第二邻域，以及第a个像素点在第二目标图像中的第三邻域，其中，所述第一目标图像为所述任一卷积差图像对应相邻尺度的两卷积图像中的一卷积图像，所述第二目标图像为所述任一卷积差图像对应相邻尺度的两卷积图像中的另一卷积图像，所述第二邻域为所述第一目标图像中目标像素点的邻域，且所述目标像素点为所述第一目标图像中与所述第a个像素点位置相对应的像素点；在本实施例中，需要判断该任一卷积差图像中每个像素点是否为候选特征点，其具体方式为：以任一卷积差图像为卷积差图像1为例，首先，获取卷积差图像1中第a像素点的第一邻域（如3×3或5×5），然后，再获取尺度1对应的卷积图像中，与第a个像素点同一位置像素点的第二邻域，以及尺度2对应的卷积图像中，与第a个像素点同一位置像素点的第三邻域；如此，连同第a个像素点，可共计得到27或75个像素点；最后，根据第a个像素点与其余26或74个像素点之间的灰度值，来确定出第a个像素点是否为候选特征点；其中，判断过程如下述步骤S34所示。
S34. 判断所述第a个像素点的灰度值，是否为所述第一邻域、所述第二邻域以及所述第三邻域内的灰度最大值或灰度最小值；在本实施例中，若第a个像素点的灰度值，为前述三个邻域内的极大值或极小值，则可将其作为一候选特征点；反之，则应舍弃；如下述步骤S35所示。
S35. 若是，则将所述第a个像素点作为候选特征点；否则，则执行下述步骤S36；在本实施例中，确定出第a个像素点是否为候选特征点后，则可进行前述任一卷积差图像中下一像素点的判断，当然判断原理与前述第a个像素点相同，其循环过程如下述步骤S36所示。
S36. 将a自加1，并重新获取所述任一卷积差图像中第a个像素点的第一邻域，第a个像素点在第一目标图像中的第二邻域，以及第a个像素点在第二目标图像中的第三邻域，直至a等于A时，得到所述任一卷积差图像对应的候选特征点集，其中，a的初始值为1，且A为所述任一卷积差图像中像素点的总个数。
由此通过前述步骤S33～S36，即可从该任一卷积差图像中，确定出多个候选特征点，组成任一卷积差图像对应的候选特征点；而后，则可对前述确定出的候选特征点进行再次筛选，以去除无效数据，其中，筛选过程如下述步骤S37和步骤S38所示。
S37. 对所述候选特征点集中的每个候选特征点进行位置调整处理，得到目标候选特征点集；在本实施例中，以候选特征点集中的任一候选特征点为例，其位置调整处理过程为：
S37a. 利用所述任一卷积差图像，并采用如下公式（1），计算所述任一候选特征点的特征误差值。
（1）
上述式（1）中，表示所述任一候选特征点的误差值，/>表示所述任一卷积差图像，/>表示所述任一候选特征点的特征矩阵，其中，/>，/>分别表示所述任一候选特征点的像素横坐标和像素纵坐标，/>为所述高斯函数的方差，/>表示转置运算；在本实施例中，任一卷积差图像可表示为：/>，即/>表示在尺度为/>下的卷积图像的像素点的横纵坐标，/>则表示在尺度为/>下的卷积图像的像素点的横纵坐标（为便于与前述未添加尺度系数下的卷积相区分，这里使用不同，/>进行区分）如此，通过前述偏导计算，即可计算出任一候选特征点的特征误差值；而后，根据特征误差值的大小，即可进行该任一候选特征点的位置调整，如下述步骤S37b所示。
S37b. 判断所述任一候选特征点的特征误差值是否大于或等于误差阈值；在本实施例中，举例误差阈值可以但不限于为0.5；即当特征误差大于误差阈值时，说明该任一候选特征点位置偏移较大，需要进行位置调整，即依据特征误差，调整该任一候选特征点的坐标；而当特征误差小于误差阈值时，则无需进行调整，直接将该任一候选特征点作为目标候选特征点；具体的，坐标调整过程如下述步骤S37c所示。
S37Cc. 若是，则基于特征误差值对所述任一候选特征点进行坐标调整，以在调整后，得到所述任一候选特征点对应的目标候选特征点；否则，则将所述任一候选特征点作为目标候选特征点，以便利用所有候选特征点所对应的目标候选特征点，组成所述目标候选特征点集；在本实施例中，可以但不限于将该任一候选特征点的像素横坐标和像素纵坐标加上所述特征误差值，得到该任一候选特征点对应的目标候选特征点。
如此通过前述设计，采用S37a～S37c，即可完成所有候选特征点的位置调整，从而得到若干调整后的候选特征点，而利用调整后的候选特征点，则可组成目标候选特征点集。
在本实施例中，得到目标候选特征点集后，还需进行无效数据的删除，即需要计算各个目标候选特征点的特征置信度，而后，依据特征置信度，来确定出最终的融合特征点；其中，前述过程如下述步骤S38所示。
S38. 利用所述任一卷积差图像，计算出所述目标候选特征点集中各个目标候选特征点的特征置信度，并将特征置信度大于或等于特征置信度阈值的目标候选特征点，作为所述任一卷积差图像的融合特征点，以便在得到所有卷积差图像的融合特征点后，将所有卷积差图像的融合特征点作为所述任一图像的融合特征点；在本实施例中，当任一目标候选特征点的特征置信度大于或等于特征置信度阈值时，说明该任一目标候选特征点为有效数据，可将其作为融合特征点；反之，则说明该任一目标候选特征点为无效数据，需要删除。
可选的，以任一目标候选特征点为例，下述具体阐述特征置信度的计算过程，如下述步骤S38a～S38d所示。
S38a. 对于所述目标候选特征点集中的任一目标候选特征点，基于所述任一目标候选特征点的像素坐标以及所述任一卷积差图像，并按照如下公式（2），构建出所述任一目标候选特征点的置信度矩阵。
（2）
上述式（2）中，表示所述置信度矩阵，/>表示所述任一卷积差图像，/>依次表示所述任一目标候选特征点的像素横坐标和像素纵坐标；在本实施例中，由于该任一目标候选特征点实质还是为前述任一卷积差图像中的像素点，因此，为与前述任一卷积差图像中的像素点坐标进行区分（即便于与/>中的x和y进行区分），所以，使用不同参数表示该任一目标候选点的像素横纵坐标；如此，前述公式（2）中，/>，且公式（2）相当于还是对/>求偏导，从而来得到该任一目标候选特征点的置信度矩阵。
在得到该任一目标候选特征点的置信度矩阵后，即可基于该置信度矩阵的特征值，来进行特征置信度的计算，如下述步骤S38b～S38d所示。
S38b. 计算所述置信度矩阵的特征值，并基于特征值，确定出所述任一目标候选特征点的置信度中间值；在本实施例中，计算出置信度矩阵的所有特征值后，选择最大特征值和最小特征值，来计算置信度中间值，即最大特征值与最小特征值之间的比值，作为置信度中间值；而后，即可利用置信度中间值，来计算出该任一目标候选特征点的特征置信度，如下述步骤S38c和步骤S38d所示。
S38c. 获取置信度系数，并求取所述置信度中间值与所述置信度系数之间的总和；在本实施例中，举例置信度系数可以但不限于为1。
S38d. 使用总和的平方除以所述置信度中间值，得到所述任一目标候选特征点的特征置信度；如此，前述特征置信度的计算公式则为：(τ+1)^2/τ，其中，τ表示置信度中间值。
由此通过前述步骤S38a～S38d所示，即可计算出每个目特候选特征点的特征置信度，最后，将特征置信度大于特征置信度阈值的目标候选特征点，作为融合特征点；如此，采用前述原理，得到其余各个卷积差图像中的融合特征点后，即可将所有卷积差图像的融合特征点作为所述任一图像的融合特征点；在本实施例中，举例特征置信度阈值可以但不限于为：22.05。
基于前述步骤S31～S38及其各个子步骤，即可确定出融合图像序列集中相邻两图像帧序列中处于同一排序位置的图像内的融合特征点；而后，针对相邻两图像帧序列中处于同一排序位置的图像，即可基于各自对应的融合特征点，来计算出该相邻两图像帧序列中处于同一排序位置的图像的匹配特征对。
在具体应用时，以融合图像序列集中任意相邻两图像帧序列中处于同一排序位置的两图像为例，来具体阐述特征匹配过程，如下述步骤S39a～S39h所示。
S39a. 对于相邻两图像帧序列中的两目标图像，获取一目标图像中第h个融合特征点的第一匹配邻域，以及获取另一目标图像中第j个融合特征点的第二匹配邻域，其中，一目标图像在对应图像帧序列中的排序位置，与另一目标在对应图像帧序列中的排序位置相同，且所述第一匹配邻域和所述第二匹配邻域的尺寸为（2m+1）×（2m+1），m为正整数；在本实施例中，还是以前述举例的基础上进行阐述，如相邻两图像帧序列为图像帧序列W1与图像帧序列V1，且两目标图像为：图像W11和图像V11，那么，则是获取图像W11中第h个融合特征点的第一匹配邻域，以及图像V11中第j个融合特征点的第二匹配邻域；同时，由于图像W11和图像V11中的融合特征点，实质还是像素点，因此，获取的还是像素点的匹配邻域；例如，第h个融合特征点的坐标为，那么则是（/>）对应像素点的第一匹配邻域；当然，第二匹配邻域也是如此；更进一步的，举例第一匹配邻域和第二匹配邻域可以但不限于为以前述融合特征点为中心的3×3或5×5邻域（即m=1或2）。
在得到第一匹配邻域和第二匹配邻域后，则可获取两匹配邻域的灰度平均值，以便基于两灰度平均值，来计算出第h个融合特征点和第j个融合特征点的匹配度；其中，具体计算过程如下述步骤S39b和步骤S39c所示。
S39b. 获取所述第一匹配邻域的灰度平均值和所述第二匹配邻域的灰度平均值。
S39c. 基于所述第一匹配邻域的灰度平均值和所述第二匹配邻域的灰度平均值，并采用如下公式（3），计算出所述第h个融合特征点与第j个融合特征点之间的匹配度。
（3）
上述式（3）中，表示第h个融合特征点与第j个融合特征点之间的匹配度，/>分别表示中间参数，/>依次表示所述第h个融合特征点的像素横坐标和像素纵坐标，/>依次表示所述第j个融合特征点的像素横坐标和像素纵坐标，/>表示所述第一匹配邻域中像素横坐标为/>，像素纵坐标为/>的像素点的灰度值，/>表示所述第二匹配邻域中像素横坐标为/>，像素纵坐标为/>的像素点的灰度值，/>为所述第一匹配邻域的灰度平均值，/>表示第二匹配邻域的灰度平均值。
如此，将第h个融合特征点的像素坐标和第j个融合特征点的像素坐标，代入前述公式（3），即可得到二者间的匹配度；而后，即可基于二者间的匹配度，来确定出第h个融合特征点和第j个融合特征点是否可以作为预选匹配特征点；其中，判断过程如下述步骤S39d和步骤S39e所示。
S39d. 判断所述第h个融合特征点与第j个融合特征点之间的匹配度是否大于或等于预设阈值；在本实施例中，预设阈值可根据实际使用而预设，在此不作具体限定；同时，若匹配度大于或等于预设阈值，则可将二者作为预选匹配特征点，否则，则进行下述步骤S39e。
S39e. 若是，则将所述第h个融合特征点和所述第j个融合特征点作为预选匹配特征点；在完成一目标图像中第h个融合特征点与另一目标图像中j个融合特征点的匹配判断后，则将j自加1，继续判断第h个融合特征点与另一目标图像中其余融合特征点的匹配度，即执行下述步骤S39f；当然，匹配度的判断过程与前述步骤S39a～S39e相同，于此不再赘述。
S39f. 将j自加1，并重新获取一目标图像中第h个融合特征点的第一匹配邻域，以及获取另一目标图像中第j个融合特征点的第二匹配邻域，直至j等J时，得到若干预选匹配特征点，其中，h和j的初始值为1，且J为所述另一目标图像的融合特征点的总个数；如此，通过前述步骤S39a～S39f，即可判断出一目标图像中第h个融合特征点，与另一目标图像中所有融合特征点的匹配度，从而选取出匹配度大于或等于预设阈值的融合特征点，作为预选匹配特征点；而后，以相同原理，计算一目标图像中下一融合特征点，与另一目标图像中第j个融合特征点的匹配度，并以此原理，将两目标图像中两两融合特征点均匹配完成后，即可得到两目标图像的预选匹配特征点数据集；其中，循环过程如下述步骤S39g所示。
S39g. 将h自加1，并重新获取一目标图像中第h个融合特征点的第一匹配邻域，以及获取另一目标图像中第j个融合特征点的第二匹配邻域，直至h等H时，得到两目标图像的预选匹配特征点数据集，其中，H为所述一目标图像中融合特征点的总个数。
在本实施例中，以一个实例来阐述前述步骤S39a～S39：
假设两目标图像分别为：图像W11和图像V11，图像W11的融合特征点依次为：W11A、W11B和W11C（即H=3），图像V11的融合特征点依次为：V11A、V11B和V11C（即J=3），那么，则假设第h个融合特征点为W11A（h=1），那么，则判断W11A与V11A（j=1）是否为预选匹配特征点，W11A与V11B（j=2）是否为预选匹配特征点，W11A与V11C（j=3）是否为预选匹配特征点；此时，完成一轮循环；将h自加1，则判断W11B（h=2）与V11A（j=1）是否为预选匹配特征点，W11B（h=2）与V11B（j=2）是否为预选匹配特征点，W11B（h=2）与V11C（j=3）是否为预选匹配特征点；最后，再将h自加1，判断W11C（h=3）与V11A（j=1）是否为预选匹配特征点，W11C（h=3）与V11B（j=2）是否为预选匹配特征点，W11C（h=3）与V11C（j=3）是否为预选匹配特征点；经过前述判断后，即可完成图像W11与图像V11中融合特征点的匹配；当然，其余图像之间的特征匹配过程与前述举例相同，于此不再赘述。
在得到两目标图像之间的预选匹配特征点数据集后，还需进行进一步的匹配处理，以去除伪匹配数据，其中，匹配处理过程如下述步骤S39h所示。
S39h. 对所述预选匹配特征点数据集中的各个预选匹配特征点进行匹配处理，以在匹配处理后，得到两目标图像之间的匹配特征对；在本实施例中，可利用各个预选匹配特征点之间的向量距离，来确定出最终的匹配特征对，其确定过程如下述步骤所示。
步骤一：对所述预选匹配特征点数据集进行数据划分处理，得到第一数据集和第二数据集，其中，所述第一数据集中包含的第一预选匹配特征点属于两目标图像中的一目标图像，所述第二数据集中包含的第二预选匹配特征点属于两目标图像中的另一目标图像；在本实施例中，则是按照各个预选匹配特征点所属的目标图像进行划分，按照还是以前述举例为基础，假设预选匹配特征点数据集中包括有预选匹配特征点W11A、预选匹配特征点W11C、预选匹配特征点V11A和预选匹配特征点V11B；那么，第一数据集则是W11A和W11C，第二数据集则为：V11A和V11B；当然，其余不同预选匹配特征点数据集的数据划分过程，与前述举例相同，于此不再赘述。
在完成预选匹配特征点数据集的数据划分后，则可获取两数据集中各个预选匹配特征点的特征向量，如下述步骤二所示。
步骤二：获取所述第一数据集中各个第一预选匹配特征点的特征向量，以及所述第二数据集中各个第二预选匹配特征点的特征向量；在本实施例中，对于任一第一预选匹配特征点，可获取该任一第一预选匹配特征点的梯度幅度和梯度方向，而后，再使用高斯窗函数对梯度幅度进行加权；如采用ω/2作为高斯窗函数的标准差，ω作为该任一第一预选匹配特征点的邻域半径，从而构建出该任一第一预选匹配特征点的邻域；接着，将该任一第一预选匹配特征点的邻域划分为若干γ×γ（γ可以为4）的邻域块，并依据该任一第一预选匹配特征点的梯度方向，在每个邻域块中建立梯度方向直方图（该直方图可划分8个区间）；更进一步的，则可统计每个邻域块中每个像素梯度方向所对应的区间，并将该区间对应的值，则为梯度方向属于该区间的所有像素点的梯度幅度大小的加权累加和；如此，每个邻域块都可以用一个长度为8维的向量表示（与8个区间的直方图相对应）；由此通过前述设计，该任一第一预选匹配特征点的特征向量则是一个β×8维的向量（β为邻域块的个数）。
可选的，举例任一第一预选匹配特征点的梯度幅度大小和梯度方向可采用如下公式（5）和公式（6）计算得到：
（5）
（6）
上述公式（5）中，表示该任一第一预选匹配特征点的梯度幅度大小，/>表示该任一第一预选匹配特征点的卷积图像，具体的，可以为前述未加入尺度系数的卷积图像，x4，y4表示任一第一预选匹配特征点的像素横坐标和像素纵坐标；上述式（6）中，/>表示该任一第一预选匹配特征点的梯度方向。
由此通过前述步骤二，则可计算出各个第一预选匹配特征点和各个第二预选匹配特征点的特征向量；而后，即可以进行特征向量之间距离的计算，如下述步骤三所示。
步骤三：对于所述第一数据集中的第q个第一预选匹配特征点，计算所述第q个第一预选匹配特征点的特征向量，与各个第二预选匹配特征点的特征向量之间的距离，并按照距离从小至大的顺序，将各个第二预选匹配特征点进行排序，得到特征点排序序列；在本实施例中，距离越小，二者越相似，如此，相当于是按照相似度从高到低的顺序，将各个第二预选匹配特征点进行排序；而后，则可选取相似度排序前两位的第二预选匹配特征点，与第q个第一预选匹配特征点之间的距离，来计算第q个第一预选匹配特征点与相似度排序第一位的第二预选匹配特征点之间的匹配置信度；而后，根据匹配置信度，则可确定出前述两预选匹配特征点是否可作为匹配特征对；具体的，匹配置信度的计算过程如下述步骤四所示。
步骤四：利用所述特征点排序序列中排序前两位的第二预选匹配特征点的距离，计算出所述第q个第一预选匹配特征点与目标特征点之间的匹配置信度，其中，所述目标特征点为所述特征点排序序列中排序第一位的第二预选匹配特征点；在本实施例中，假设排序前两位第二预选匹配特征点与第q个第一预选匹配特征点的距离（即值最小的两距离）分别为d1和d2，那么匹配置信度的计算公式为：1-（d1/d2）。
在得到第q个第一预选匹配特征点与目标特征点之间的匹配置信度后，则可进行匹配特征对的计算，如下述步骤五所示。
步骤五：判断所述匹配置信度是否大于或等于匹配置信度阈值；在本实施例中，匹配置信度阈值可根据实际使用而具体设定，在此不作具体限定。
步骤六：若是，则将所述第q个第一预选匹配特征点与所述目标特征点，作为两目标图像之间的一匹配特征对；在得到一个第一预选匹配特征点，与之相匹配的第二预选匹配特征点后，则可进行下一个第一预选匹配特征点的匹配，如此，按照前述相同原理，即可确定出每个第一预选匹配特征点，相对应的预选匹配特征点；其中，循环匹配过程，如下述步骤七所示。
步骤七：将q自加1，并重新计算所述第q个第一预选匹配特征点的特征向量，与各个第二预选匹配特征点的特征向量之间的距离，直至q等于Q时，得到两目标图像之间的匹配特征对，其中，q的初始值为1，且Q为第一预选匹配特征点的总个数；在本实施例中，为防止不同第一预选匹配特征点，匹配到同一第二预选匹配特征点；在本实施例中，进行步骤七前，可删除已匹配的第二预选匹配特征点，如假设第q个第一预选匹配特征点与第三个第二预选匹配特征点为一匹配特征对（第二预选匹配特征点有10个），那么，则将第三个第二预选匹配特征点进行删除，使得在进行第q+1个第一预选匹配特征点的匹配时，仅与剩余的9个第二预选匹配特征点进行匹配；另外，若在循环过程中，第二预选匹配特征点被删除完毕后，还剩余有第一预选匹配特征点，则可结束循环，无需进行剩余第一预选匹配特征点的匹配。
如此通过前述步骤一至步骤七，即可得出融合图像序列集中各相邻两图像帧序列中处于同一排序位置的图像之间的匹配特征对；而后，即可利用匹配特征对，来计算出相邻两图像帧序列中处于同一排序位置的图像之间的融合变换矩阵；其中，融合变换矩阵的具体计算过程如下述步骤S4所示。
S4. 利用相邻两图像帧序列中处于同一排序位置的图像之间的匹配特征对，计算出相邻两图像帧序列中处于同一排序位置的图像之间的融合变换矩阵；在本实施例中，还是以图像W11和图像V11为例，假设其存在10对匹配特征对，那么任意选取4对匹配特征对，即可计算出融合变换矩阵；在本实施例中，融合变换矩阵是一个三行三列的矩阵，且第三行第三列的元素值为1，因此，融合变换矩阵具有8个未知参数；且将图像V11投影至图像W11时，二者匹配特征对中属于图像V11中的第一预选匹配特征点的坐标，乘以该融合变换矩阵，即可得到匹配特征对中属于图像W11中的第二预选匹配特征点的坐标；基于此，通过选择4个匹配特征对，即可计算出前述融合变换矩阵中的8个未知参数的值，从而得到融合变换矩阵。
在得到相邻两图像帧序列中处于同一排序位置的图像之间的融合变换矩阵后，则可将各个图像帧序列中处于同一监控时间的图像，进行投影变换，将各张图像投影至标定图像内，以便在同一坐标系下进行图像融合，其中，投影变换过程如下述步骤S5所示。
S5. 对于所述融合图像序列集中各图像帧序列内的第i张图像，将若干第i张图像中的任一第i张图像作为标定图像，并利用所述融合图像序列集内的相邻两图像帧序列中同一排序位置的图像之间的融合变换矩阵，将目标图像投影至所述标定图像对应的坐标系下，得到投影图像，其中，所述目标图像为若干第i张图像中删除所述任一图像后所剩余的图像；在本实施例中，步骤S5具体包括如下步骤S51～S57。
S51. 从各个目标图像中，确定出所述标定图像的相邻图像，其中，所述相邻图像所对应的图像帧序列，与所述标定图像对应的图像帧序列相邻；在本实施例中，还是在前述举例的基础上进行阐述，融合图像序列集中包括三个图像帧序列，分别为：W1、V1和G1，那么，对于第第一张图像，则是图像W11，图像V11和图像G11，此时，选择图像W11为标定图像，那么，目标图像则为图像V11和图像G11，而相邻图像则是图像V11（图像帧序列W11与V11为相邻序列）；而后，即可从目标图像中删除图像V11，得到非相邻图像集合，如下述步骤S52所示。
S52. 从各个目标图像中，删除所述相邻图像，得到非相邻图像集合；在本实施例中，删除图像V11后，非相邻图像集合则只包含有图像G11；此时，则进行下述步骤S53。
S53. 对于所述非相邻图像集合中的任一非相邻图像，获取处于所述任一非相邻图像与所述标定图像之间的目标图像，以得到至少一个指定图像；在本实施例中，对于任一非相邻图像（即图像G11），则可获取处于图像G11与标定图像（即图像W11）之间的目标图像（即图像V11），而后，利用处于图像G11与标定图像之间的目标图像，以及标定图像和该任一非相邻图像，即可计算出该任一非相邻图像与标定图像之间的融合变换矩阵；也就是计算出图像G11与图像W11之间的融合变换矩阵；具体的，计算过程如下述步骤S54和步骤S55所示。
S54按照各个指定图像、所述任一非相邻图像以及所述标定图像对应的图像帧序列在所述融合图像序列集中的排序顺序，对所述各个指定图像、所述任一非相邻图像以及所述标定图像进行排序，得到变换图像集；在具体应用时，处于图像G11与标定图像的目标图像为图像V11，因此，指定图像为V11，任一非相邻图像为G11，标定图像为W11；所以，按照前述三个图像各自对应的图像帧序列的融合排序顺序进行排序则为：W11、V11和G11；而后，即可将前述三者按照该排序顺序进行排列来组成变换图像集，并对该变换图像集中相邻图像之间的融合变换矩阵进行级联拼接，即可得到图像G11与图像W11之间的融合变换矩阵；具体的，计算过程如下述步骤S55所示。
S55. 将所述变换图像集中各相邻图像之间的融合变换矩阵进行矩阵级联拼接，得到所述任一非相邻图像与所述标定图像之间的融合变换矩阵；在本实施例中，矩阵级联拼接，则是各融合变换矩阵中相同位置处元素的求和；如，W11与V11的融合变换矩阵为H1，V11与G11的融合变换矩阵为H2，那么，则是将H1和H2中相同位置处的元素进行累加，如此，即可得到图像G11与图像W11之间的融合变换矩阵；当然，在本实施例中，当非相邻图像具有多个时，各个非相邻图像与标定图像之间的融合变换矩阵的计算过程与前述举例相同，于此不再赘述。
在得到各个目标图像与标定图像之间的融合变换矩阵后，即可进行投影变换，如下述步骤S56和步骤S57所示。
S56. 利用所述相邻图像与所述标定图像之间的融合变换矩阵，将所述相邻图像映射至所述标定图像对应的坐标系下，得到所述相邻图像对应的投影图像。
S57. 利用所述任一非相邻图像与所述标定图像之间的融合变换矩阵，将所述任一非相邻图像映射至所述标定图像对应的坐标系下，得到所述任一非相邻图像对应的投影图像。
由此通过前述步骤S5及其子步骤，则可将得到第i张图像中，除去标定图像后剩余各个图像的投影图像；而后，将各个投影图像与标定图像进行融合处理，即可得到第i张融合图像；其中，融合过程如下述步骤S6所示。
S6. 将所述标定图像和所述投影图像进行图像融合处理，得到第i张融合图像；在本实施例中，如i为1，则相当于是将各图像帧序列中的第一张图像，融合为一全景图像（即融合图像）；如此，相当于将各图像帧序列中同一监控时间下的图像进行融合，得到该监控时间下的全景图像；可选的，举例可以但不限于采用多曝光图像的融合算法，将前述投影图像与标定图像进行融合，该多曝光图像的融合算法为图像融合的常用算法，其原理不再赘述。
在完成各图像帧序列中第i张图像的融合后，即可以此原理，进行各图像帧序列中下一图像的融合，直至将各图像帧序列中所有图像融合完毕时为止，此时，即可得到多个监控终端，在不同监控时间下的全景图像；其中，循环过程如下述步骤S7所示。
S7. 将i自加1，并重新将若干第i张图像中的任一第i张图像作为标定图像，直至i等于n时，得到n张融合图像；在本实施例中，在前述举例的基础上，即可得到3张融合图像；当然，n取值不同的情况下，融合处理过程与前述举例相同，于此不再赘述。
在得到多个监控终端在不同监控时间下的全景图像后，即可利用全景图像，来生成监控融合视频，如下述步骤S8所示。
S8. 利用将n张融合图像，生成监控融合视频；在本实施例中，由于前述就已说明，是各图像帧序列中第i张图像的监控时间相同，如此，按照监控时间，对各张融合图像（全景图像）进行排序，并顺序播放，即可得到监控融合视频；如，前述举例的基础上，图像W11、V11和G11融合得到第一张融合图像，图像W12、V12和G12融合得到第二张融合图像，图像W13、V13和G13融合得到第三张融合图像；其中，图像W11的监控时间为第1s，图像W12的监控时间为第2s，图像W13的监控时间为第3s，那么，第1s对应的融合后的图像为：第一张融合图像，第2s对应的融合后的图像为：第二张融合图像，第3s对应的融合后的图像为：第三张融合图像；而后，将前述三张融合图像按照监控时间播放，即可得到监控融合视频。
由此通过前述步骤S1～S8所详细描述的视频融合方法，本发明能够将不同监控终端所拍摄的图像形成一个完整的全景图像，可获取到被监控区域内的大视场场景，如此，仅需一幅图像即可完成整个区域内的视频监控，不仅减少了监控人员的监控工作量，且还能及时发现监控中的紧急情况，降低了监控安全隐患，适用于在监控领域的大规模应用与推广。
如图2所示，本实施例第二方面提供了一种实现实施例第一方面中所述的视频融合方法的硬件装置，包括：
视频获取单元，用于获取各个监控终端对应的监控视频，并对各个监控视频进行逐帧处理，得到各个监控视频对应的图像帧序列，其中，每个图像帧序列中的第i张图像对应的监控时间相同，i=1,2,...n，且n为任一图像帧序列中图像的总数量。
视频处理单元，用于对各个图像帧序列进行融合排序，得到融合图像序列集，其中，所述融合图像序列集中的任意相邻两图像帧序列对应的监控终端存在监控重叠区域。
特征匹配单元，用于对于所述融合图像序列集中的相邻两图像帧序列，提取出相邻两图像帧序列中处于同一排序位置的图像内的融合特征点，并对相邻两图像帧序列中处于同一排序位置的图像内的融合特征点进行特征匹配，得到相邻两图像帧序列中处于同一排序位置的图像之间的匹配特征对，其中，同一排序位置表征监控时间相同。
变换参数计算单元，用于利用相邻两图像帧序列中处于同一排序位置的图像之间的匹配特征对，计算出相邻两图像帧序列中处于同一排序位置的图像之间的融合变换矩阵。
图像映射单元，用于对于所述融合图像序列集中各图像帧序列内的第i张图像，将若干第i张图像中的任一第i张图像作为标定图像，并利用所述融合图像序列集内的相邻两图像帧序列中同一排序位置的图像之间的融合变换矩阵，将目标图像投影至所述标定图像对应的坐标系下，得到投影图像，其中，目标图像为若干第i张图像中删除所述任一图像后所剩余的图像。
图像融合单元，用于将标定图像和投影图像进行图像融合处理，得到第i张融合图像。
图像融合单元，还用于将i自加1，并重新将若干第i张图像中的任一第i张图像作为标定图像，直至i等于n时，得到n张融合图像。
视频融合单元，用于利用将n张融合图像，生成监控融合视频。
本实施例提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
如图3所示，本实施例第三方面提供了另一种视频融合装置，以装置为电子设备为例，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的视频融合方法。
具体举例的，所述存储器可以但不限于包括随机存取存储器（random accessmemory，RAM）、只读存储器（Read Only Memory ，ROM）、闪存（Flash Memory）、先进先出存储器（First Input First Output，FIFO）和/或先进后出存储器（First In Last Out，FILO）等等；具体地，处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现，同时，处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制，例如，所述处理器可以不限于采用型号为STM32F105系列的微处理器、精简指令集计算机（reduced instruction setcomputer,RISC）微处理器、X86等架构处理器或集成嵌入式神经网络处理器（neural-network processing units，NPU）的处理器；所述收发器可以但不限于为无线保真（WIFI）无线收发器、蓝牙无线收发器、通用分组无线服务技术（General Packet Radio Service，GPRS）无线收发器、紫蜂协议（基于IEEE802.15.4标准的低功耗局域网协议，ZigBee）无线收发器、3G收发器、4G收发器和/或5G收发器等。此外，所述装置还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例提供的电子设备的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第四方面提供了一种存储包含有实施例第一方面所述的视频融合方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如实施例第一方面所述的视频融合方法。
其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例提供的计算机可读存储介质的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的视频融合方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种视频融合方法，其特征在于，包括：
获取各个监控终端对应的监控视频，并对各个监控视频进行逐帧处理，得到各个监控视频对应的图像帧序列，其中，每个图像帧序列中的第i张图像对应的监控时间相同，i=1,2,...n，且n为任一图像帧序列中图像的总数量；
对各个图像帧序列进行融合排序，得到融合图像序列集，其中，所述融合图像序列集中的任意相邻两图像帧序列对应的监控终端存在监控重叠区域；
对于所述融合图像序列集中的相邻两图像帧序列，提取出相邻两图像帧序列中处于同一排序位置的图像内的融合特征点，并对相邻两图像帧序列中处于同一排序位置的图像内的融合特征点进行特征匹配，得到相邻两图像帧序列中处于同一排序位置的图像之间的匹配特征对，其中，同一排序位置表征监控时间相同；
利用相邻两图像帧序列中处于同一排序位置的图像之间的匹配特征对，计算出相邻两图像帧序列中处于同一排序位置的图像之间的融合变换矩阵；
对于所述融合图像序列集中各图像帧序列内的第i张图像，将若干第i张图像中的任一第i张图像作为标定图像，并利用所述融合图像序列集内的相邻两图像帧序列中同一排序位置的图像之间的融合变换矩阵，将目标图像投影至所述标定图像对应的坐标系下，得到投影图像，其中，所述目标图像为若干第i张图像中删除所述任一图像后所剩余的图像；
将所述标定图像和所述投影图像进行图像融合处理，得到第i张融合图像；
将i自加1，并重新将若干第i张图像中的任一第i张图像作为标定图像，直至i等于n时，得到n张融合图像；
利用将n张融合图像，生成监控融合视频；
对相邻两图像帧序列中处于同一排序位置的图像内的融合特征点进行特征匹配，得到相邻两图像帧序列中处于同一排序位置的图像之间的匹配特征对，包括：
对于相邻两图像帧序列中的两目标图像，获取一目标图像中第h个融合特征点的第一匹配邻域，以及获取另一目标图像中第j个融合特征点的第二匹配邻域，其中，一目标图像在对应图像帧序列中的排序位置，与另一目标在对应图像帧序列中的排序位置相同，且所述第一匹配邻域和所述第二匹配邻域的尺寸为（2m+1）×（2m+1），m为正整数；
获取所述第一匹配邻域的灰度平均值和所述第二匹配邻域的灰度平均值；
基于所述第一匹配邻域的灰度平均值和所述第二匹配邻域的灰度平均值，并采用如下公式（3），计算出所述第h个融合特征点与第j个融合特征点之间的匹配度；
（3）
上述式（3）中，表示第h个融合特征点与第j个融合特征点之间的匹配度，/>分别表示中间参数，/>依次表示所述第h个融合特征点的像素横坐标和像素纵坐标，/>依次表示所述第j个融合特征点的像素横坐标和像素纵坐标，/>表示所述第一匹配邻域中像素横坐标为/>，像素纵坐标为/>的像素点的灰度值，/>表示所述第二匹配邻域中像素横坐标为/>，像素纵坐标为/>的像素点的灰度值，/>为所述第一匹配邻域的灰度平均值，/>表示第二匹配邻域的灰度平均值；
判断所述第h个融合特征点与第j个融合特征点之间的匹配度是否大于或等于预设阈值；
若是，则将所述第h个融合特征点和所述第j个融合特征点作为预选匹配特征点；
将j自加1，并重新获取一目标图像中第h个融合特征点的第一匹配邻域，以及获取另一目标图像中第j个融合特征点的第二匹配邻域，直至j等J时，得到若干预选匹配特征点，其中，h和j的初始值为1，且J为所述另一目标图像的融合特征点的总个数；
将h自加1，并重新获取一目标图像中第h个融合特征点的第一匹配邻域，以及获取另一目标图像中第j个融合特征点的第二匹配邻域，直至h等H时，得到两目标图像的预选匹配特征点数据集，其中，H为所述一目标图像中融合特征点的总个数；
对所述预选匹配特征点数据集中的各个预选匹配特征点进行匹配处理，以在匹配处理后，得到两目标图像之间的匹配特征对。
2.根据权利要求1所述的方法，其特征在于，提取出相邻两图像帧序列中处于同一排序位置的图像内的融合特征点，包括：
对于相邻两图像帧序列中处于同一排序位置的图像中的任一图像，利用不同尺度的高斯函数对所述任一图像进行卷积处理，得到若干卷积图像；
对于所述若干卷积图像中处于相邻尺度的两卷积图像，将处于相邻尺度的两卷积图像进行图像相减，得到至少一个卷积差图像；
对于所述至少一个卷积差图像中的任一卷积差图像，获取所述任一卷积差图像中第a个像素点的第一邻域，第a个像素点在第一目标图像中的第二邻域，以及第a个像素点在第二目标图像中的第三邻域，其中，所述第一目标图像为所述任一卷积差图像对应相邻尺度的两卷积图像中的一卷积图像，所述第二目标图像为所述任一卷积差图像对应相邻尺度的两卷积图像中的另一卷积图像，所述第二邻域为所述第一目标图像中目标像素点的邻域，且所述目标像素点为所述第一目标图像中与所述第a个像素点位置相对应的像素点；
判断所述第a个像素点的灰度值，是否为所述第一邻域、所述第二邻域以及所述第三邻域内的灰度最大值或灰度最小值；
若是，则将所述第a个像素点作为候选特征点；
将a自加1，并重新获取所述任一卷积差图像中第a个像素点的第一邻域，第a个像素点在第一目标图像中的第二邻域，以及第a个像素点在第二目标图像中的第三邻域，直至a等于A时，得到所述任一卷积差图像对应的候选特征点集，其中，a的初始值为1，且A为所述任一卷积差图像中像素点的总个数；
对所述候选特征点集中的每个候选特征点进行位置调整处理，得到目标候选特征点集；
利用所述任一卷积差图像，计算出所述目标候选特征点集中各个目标候选特征点的特征置信度，并将特征置信度大于或等于特征置信度阈值的目标候选特征点，作为所述任一卷积差图像的融合特征点，以便在得到所有卷积差图像的融合特征点后，将所有卷积差图像的融合特征点作为所述任一图像的融合特征点。
3.根据权利要求2所述的方法，其特征在于，对所述候选特征点集中的每个候选特征点进行位置调整处理，得到目标候选特征点集，包括：
对于所述候选特征点集中的任一候选特征点，利用所述任一卷积差图像，并采用如下公式（1），计算所述任一候选特征点的特征误差值；
（1）
上述式（1）中，表示所述任一候选特征点的误差值，/>表示所述任一卷积差图像，/>表示所述任一候选特征点的特征矩阵，其中，/>，/>分别表示所述任一候选特征点的像素横坐标和像素纵坐标，/>为所述高斯函数的方差，/>表示转置运算；
判断所述任一候选特征点的特征误差值是否大于或等于误差阈值；
若是，则基于特征误差值对所述任一候选特征点进行坐标调整，以在调整后，得到所述任一候选特征点对应的目标候选特征点；否则，则将所述任一候选特征点作为目标候选特征点，以便利用所有候选特征点所对应的目标候选特征点，组成所述目标候选特征点集。
4.根据权利要求2所述的方法，其特征在于，利用所述任一卷积差图像，计算出所述目标候选特征点集中各个目标候选特征点的特征置信度，包括：
对于所述目标候选特征点集中的任一目标候选特征点，基于所述任一目标候选特征点的像素坐标以及所述任一卷积差图像，并按照如下公式（2），构建出所述任一目标候选特征点的置信度矩阵；
（2）
上述式（2）中，表示所述置信度矩阵，/>表示所述任一卷积差图像，/>依次表示所述任一目标候选特征点的像素横坐标和像素纵坐标；
计算所述置信度矩阵的特征值，并基于特征值，确定出所述任一目标候选特征点的置信度中间值；
获取置信度系数，并求取所述置信度中间值与所述置信度系数之间的总和；
使用总和的平方除以所述置信度中间值，得到所述任一目标候选特征点的特征置信度。
5.根据权利要求1所述的方法，其特征在于，对所述预选匹配特征点数据集中的各个预选匹配特征点进行匹配处理，以在匹配处理后，得到两目标图像之间的匹配特征对，包括：
对所述预选匹配特征点数据集进行数据划分处理，得到第一数据集和第二数据集，其中，所述第一数据集中包含的第一预选匹配特征点属于两目标图像中的一目标图像，所述第二数据集中包含的第二预选匹配特征点属于两目标图像中的另一目标图像；
获取所述第一数据集中各个第一预选匹配特征点的特征向量，以及所述第二数据集中各个第二预选匹配特征点的特征向量；
对于所述第一数据集中的第q个第一预选匹配特征点，计算所述第q个第一预选匹配特征点的特征向量，与各个第二预选匹配特征点的特征向量之间的距离，并按照距离从小至大的顺序，将各个第二预选匹配特征点进行排序，得到特征点排序序列；
利用所述特征点排序序列中排序前两位的第二预选匹配特征点的距离，计算出所述第q个第一预选匹配特征点与目标特征点之间的匹配置信度，其中，所述目标特征点为所述特征点排序序列中排序第一位的第二预选匹配特征点；
判断所述匹配置信度是否大于或等于匹配置信度阈值；
若是，则将所述第q个第一预选匹配特征点与所述目标特征点，作为两目标图像之间的一匹配特征对；
将q自加1，并重新计算所述第q个第一预选匹配特征点的特征向量，与各个第二预选匹配特征点的特征向量之间的距离，直至q等于Q时，得到两目标图像之间的匹配特征对，其中，q的初始值为1，且Q为第一预选匹配特征点的总个数。
6.根据权利要求1所述的方法，其特征在于，利用所述融合图像序列集内的相邻两图像帧序列中同一排序位置的图像之间的融合变换矩阵，将目标图像投影至所述标定图像对应的坐标系下，得到投影图像，包括：
从各个目标图像中，确定出所述标定图像的相邻图像，其中，所述相邻图像所对应的图像帧序列，与所述标定图像对应的图像帧序列相邻；
从各个目标图像中，删除所述相邻图像，得到非相邻图像集合；
对于所述非相邻图像集合中的任一非相邻图像，获取处于所述任一非相邻图像与所述标定图像之间的目标图像，以得到至少一个指定图像；
按照各个指定图像、所述任一非相邻图像以及所述标定图像对应的图像帧序列在所述融合图像序列集中的排序顺序，对所述各个指定图像、所述任一非相邻图像以及所述标定图像进行排序，得到变换图像集；
将所述变换图像集中各相邻图像之间的融合变换矩阵进行矩阵级联拼接，得到所述任一非相邻图像与所述标定图像之间的融合变换矩阵；
利用所述相邻图像与所述标定图像之间的融合变换矩阵，将所述相邻图像映射至所述标定图像对应的坐标系下，得到所述相邻图像对应的投影图像；以及
利用所述任一非相邻图像与所述标定图像之间的融合变换矩阵，将所述任一非相邻图像映射至所述标定图像对应的坐标系下，得到所述任一非相邻图像对应的投影图像。
7.一种视频融合装置，其特征在于，包括：
视频获取单元，用于获取各个监控终端对应的监控视频，并对各个监控视频进行逐帧处理，得到各个监控视频对应的图像帧序列，其中，每个图像帧序列中的第i张图像对应的监控时间相同，i=1,2,...n，且n为任一图像帧序列中图像的总数量；
视频处理单元，用于对各个图像帧序列进行融合排序，得到融合图像序列集，其中，所述融合图像序列集中的任意相邻两图像帧序列对应的监控终端存在监控重叠区域；
特征匹配单元，用于对于所述融合图像序列集中的相邻两图像帧序列，提取出相邻两图像帧序列中处于同一排序位置的图像内的融合特征点，并对相邻两图像帧序列中处于同一排序位置的图像内的融合特征点进行特征匹配，得到相邻两图像帧序列中处于同一排序位置的图像之间的匹配特征对，其中，同一排序位置表征监控时间相同；
变换参数计算单元，用于利用相邻两图像帧序列中处于同一排序位置的图像之间的匹配特征对，计算出相邻两图像帧序列中处于同一排序位置的图像之间的融合变换矩阵；
图像映射单元，用于对于所述融合图像序列集中各图像帧序列内的第i张图像，将若干第i张图像中的任一第i张图像作为标定图像，并利用所述融合图像序列集内的相邻两图像帧序列中同一排序位置的图像之间的融合变换矩阵，将目标图像投影至所述标定图像对应的坐标系下，得到投影图像，其中，目标图像为若干第i张图像中删除所述任一图像后所剩余的图像；
图像融合单元，用于将标定图像和投影图像进行图像融合处理，得到第i张融合图像；
图像融合单元，还用于将i自加1，并重新将若干第i张图像中的任一第i张图像作为标定图像，直至i等于n时，得到n张融合图像；
视频融合单元，用于利用将n张融合图像，生成监控融合视频；
对相邻两图像帧序列中处于同一排序位置的图像内的融合特征点进行特征匹配，得到相邻两图像帧序列中处于同一排序位置的图像之间的匹配特征对，包括：
对于相邻两图像帧序列中的两目标图像，获取一目标图像中第h个融合特征点的第一匹配邻域，以及获取另一目标图像中第j个融合特征点的第二匹配邻域，其中，一目标图像在对应图像帧序列中的排序位置，与另一目标在对应图像帧序列中的排序位置相同，且所述第一匹配邻域和所述第二匹配邻域的尺寸为（2m+1）×（2m+1），m为正整数；
获取所述第一匹配邻域的灰度平均值和所述第二匹配邻域的灰度平均值；
基于所述第一匹配邻域的灰度平均值和所述第二匹配邻域的灰度平均值，并采用如下公式（3），计算出所述第h个融合特征点与第j个融合特征点之间的匹配度；
（3）
上述式（3）中，表示第h个融合特征点与第j个融合特征点之间的匹配度，/>分别表示中间参数，/>依次表示所述第h个融合特征点的像素横坐标和像素纵坐标，/>依次表示所述第j个融合特征点的像素横坐标和像素纵坐标，/>表示所述第一匹配邻域中像素横坐标为/>，像素纵坐标为/>的像素点的灰度值，/>表示所述第二匹配邻域中像素横坐标为/>，像素纵坐标为/>的像素点的灰度值，/>为所述第一匹配邻域的灰度平均值，/>表示第二匹配邻域的灰度平均值；
判断所述第h个融合特征点与第j个融合特征点之间的匹配度是否大于或等于预设阈值；
若是，则将所述第h个融合特征点和所述第j个融合特征点作为预选匹配特征点；
将j自加1，并重新获取一目标图像中第h个融合特征点的第一匹配邻域，以及获取另一目标图像中第j个融合特征点的第二匹配邻域，直至j等J时，得到若干预选匹配特征点，其中，h和j的初始值为1，且J为所述另一目标图像的融合特征点的总个数；
将h自加1，并重新获取一目标图像中第h个融合特征点的第一匹配邻域，以及获取另一目标图像中第j个融合特征点的第二匹配邻域，直至h等H时，得到两目标图像的预选匹配特征点数据集，其中，H为所述一目标图像中融合特征点的总个数；
对所述预选匹配特征点数据集中的各个预选匹配特征点进行匹配处理，以在匹配处理后，得到两目标图像之间的匹配特征对。
8.一种电子设备，其特征在于，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～6任意一项所述的视频融合方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～6任意一项所述的视频融合方法。
CN202310826803.1A 2023-07-07 2023-07-07 一种视频融合方法、装置、电子设备及存储介质 Active CN116567166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310826803.1A CN116567166B (zh) 2023-07-07 2023-07-07 一种视频融合方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310826803.1A CN116567166B (zh) 2023-07-07 2023-07-07 一种视频融合方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116567166A CN116567166A (zh) 2023-08-08
CN116567166B true CN116567166B (zh) 2023-10-17

Family

ID=87488302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310826803.1A Active CN116567166B (zh) 2023-07-07 2023-07-07 一种视频融合方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116567166B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036415A (ja) * 2012-08-10 2014-02-24 Kddi Corp パノラマ画像生成装置
CN104104911A (zh) * 2014-07-04 2014-10-15 华中师范大学 全景图像生成过程中的时间戳消除和重置方法及系统
CN106886979A (zh) * 2017-03-30 2017-06-23 深圳市未来媒体技术研究院 一种图像拼接装置及图像拼接方法
CN108038822A (zh) * 2017-11-23 2018-05-15 极翼机器人(上海)有限公司 一种手机云台全景照片拼接方法
CN109587410A (zh) * 2018-12-12 2019-04-05 北京北电科林电子有限公司 全景可视化安防监控系统
CN113301274A (zh) * 2021-07-28 2021-08-24 北京海兰信数据科技股份有限公司 一种船舶实时视频全景拼接方法及系统
WO2021217385A1 (zh) * 2020-04-28 2021-11-04 深圳市大疆创新科技有限公司 一种视频处理方法和装置
WO2022002150A1 (zh) * 2020-06-30 2022-01-06 杭州海康机器人技术有限公司 一种视觉点云地图的构建方法、装置
CN114913345A (zh) * 2022-05-06 2022-08-16 湖北文理学院 基于fpga的sift算法的简化图像特征提取方法
CN115409707A (zh) * 2022-08-26 2022-11-29 国网宁夏电力有限公司超高压公司 一种基于全景视频拼接的图像融合方法及系统
WO2023025236A1 (zh) * 2021-08-26 2023-03-02 交通运输部水运科学研究所 一种多通航要素数据融合方法
CN115767424A (zh) * 2022-11-30 2023-03-07 华南师范大学 一种基于rss与csi融合的视频定位方法
CN116320779A (zh) * 2023-01-06 2023-06-23 北京天玛智控科技股份有限公司 综采工作面监控视频的拼接方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205797B (zh) * 2016-12-16 2021-05-11 杭州海康威视数字技术股份有限公司 一种全景视频融合方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036415A (ja) * 2012-08-10 2014-02-24 Kddi Corp パノラマ画像生成装置
CN104104911A (zh) * 2014-07-04 2014-10-15 华中师范大学 全景图像生成过程中的时间戳消除和重置方法及系统
CN106886979A (zh) * 2017-03-30 2017-06-23 深圳市未来媒体技术研究院 一种图像拼接装置及图像拼接方法
CN108038822A (zh) * 2017-11-23 2018-05-15 极翼机器人(上海)有限公司 一种手机云台全景照片拼接方法
CN109587410A (zh) * 2018-12-12 2019-04-05 北京北电科林电子有限公司 全景可视化安防监控系统
WO2021217385A1 (zh) * 2020-04-28 2021-11-04 深圳市大疆创新科技有限公司 一种视频处理方法和装置
WO2022002150A1 (zh) * 2020-06-30 2022-01-06 杭州海康机器人技术有限公司 一种视觉点云地图的构建方法、装置
CN113301274A (zh) * 2021-07-28 2021-08-24 北京海兰信数据科技股份有限公司 一种船舶实时视频全景拼接方法及系统
WO2023025236A1 (zh) * 2021-08-26 2023-03-02 交通运输部水运科学研究所 一种多通航要素数据融合方法
CN114913345A (zh) * 2022-05-06 2022-08-16 湖北文理学院 基于fpga的sift算法的简化图像特征提取方法
CN115409707A (zh) * 2022-08-26 2022-11-29 国网宁夏电力有限公司超高压公司 一种基于全景视频拼接的图像融合方法及系统
CN115767424A (zh) * 2022-11-30 2023-03-07 华南师范大学 一种基于rss与csi融合的视频定位方法
CN116320779A (zh) * 2023-01-06 2023-06-23 北京天玛智控科技股份有限公司 综采工作面监控视频的拼接方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Fast Image Matching Technique for the Panoramicbased Localization;1Jiung-Yao Huang;IEEE;全文 *
基于空间平面分割和投影变换的光场图像拼接算法;毛一鸣;王建明;晏涛;陈丽芳;刘渊;;激光与光电子学进展(10);全文 *
柱面全景图像的无缝拼接技术研究;久米;;科技致富向导(09);全文 *
消防体系中双目摄像机特征点提取算法浅析;许继阳;CNKI;全文 *

Also Published As

Publication number Publication date
CN116567166A (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
Wu et al. Object detection based on RGC mask R‐CNN
CN110245579B (zh) 人流密度预测方法及装置、计算机设备及可读介质
CN106716443A (zh) 传感器元件阵列中的特征计算
CN107507225B (zh) 运动目标检测方法、装置、介质及计算设备
CN111797826B (zh) 大骨料集中区域检测方法和装置及其网络模型训练方法
CN107506792B (zh) 一种半监督的显著对象检测方法
CN111144337B (zh) 火灾检测方法、装置及终端设备
CN110310301B (zh) 一种检测目标对象的方法及装置
CN111860398A (zh) 遥感图像目标检测方法、系统及终端设备
CN112580558A (zh) 红外图像目标检测模型构建方法、检测方法、装置及系统
CN110648331A (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
Mahmoudi et al. Multi-gpu based event detection and localization using high definition videos
CN113762314A (zh) 一种烟火检测方法和装置
CN116109947A (zh) 一种基于大核等效卷积注意力机制的无人机图像目标检测方法
CN116567166B (zh) 一种视频融合方法、装置、电子设备及存储介质
CN116760937B (zh) 一种基于多机位的视频拼接方法、装置、设备及存储介质
WO2023109664A1 (zh) 监测方法和相关产品
CN116434346A (zh) 无人值守商店内顾客行为的检测方法、装置及存储介质
CN116310105A (zh) 基于多视图的物体三维重建方法、装置、设备及存储介质
CN112686314B (zh) 基于远距离拍摄场景的目标检测方法、装置及存储介质
CN113361519B (zh) 目标处理方法、目标处理模型的训练方法及其装置
CN114724175A (zh) 行人图像的检测网络、检测方法、训练方法、电子设备和介质
CN114419559B (zh) 基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法
CN113392859A (zh) 一种确定城市功能区域的类型的方法及装置
CN114418064B (zh) 一种目标检测方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant