CN109146832A - 一种视频图像的拼接方法、装置、终端设备及存储介质 - Google Patents
一种视频图像的拼接方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN109146832A CN109146832A CN201810874778.3A CN201810874778A CN109146832A CN 109146832 A CN109146832 A CN 109146832A CN 201810874778 A CN201810874778 A CN 201810874778A CN 109146832 A CN109146832 A CN 109146832A
- Authority
- CN
- China
- Prior art keywords
- image
- matched
- frame
- video
- characteristic point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000005304 joining Methods 0.000 title claims abstract description 30
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 230000009466 transformation Effects 0.000 claims abstract description 47
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000003708 edge detection Methods 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims abstract description 14
- 238000011946 reduction process Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000010008 shearing Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000003643 water by type Substances 0.000 abstract description 4
- 230000008859 change Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种视频图像的拼接方法、装置、终端设备及存储介质，所述方法包括：从待处理视频中提取两个相邻的视频图像帧，并降噪处理，得到两个特定视频图像帧；采用边缘检测法检测特定视频图像帧，确定视频图像帧的匹配区域，并将匹配区域的图像作为待匹配图像并提取特征点；根据特征点的空间变换关系，对前后两帧待匹配图像进行空间变换并且进行特征点匹配，并根据匹配结果标定前后两帧待匹配图像的重合区域；根据重合区域，进行图像拼接融合，得到目标视频图像。本发明能够仅依靠图像本身，运用视频图像识别技术与视频图像视角变换技术发现并定位河道，以实现对视频图像中水域区域的图像进行实时、快速且稳定地自动拼接融合。
Description
技术领域
本发明涉及视频图像处理技术领域，尤其涉及一种视频图像的拼接方法、装置、终端设备及存储介质。
背景技术
目前常用的视频图像拼接方法主要有基于区域的图像拼接方法和基于特征的图像拼接方法。基于区域的图像拼接方法又可分为基于空间像素匹配的拼接算法和基于频域的拼接算法；基于特征的拼接方法主要根据采取采集特征的不同进行区分，比如早期的轮廓特征以及后来出现的SIFT特征、SURF特征、ORB特征等。
基于区域的图像拼接方法中，基于像素匹配的拼接算法，主要通过两幅图像像素间的灰度关系来确定图像间的变化参数。早期的匹配方法是通过在相邻重叠部分进行平移，然后比较两幅图像的匹配度，需要测试所有的平移情况。这种方法运算量极大，而且不能解决旋转和尺度变换问题。还有采用基于金字塔结构的多分辨率匹配进行最优匹配搜索，可以在一定程度上解决尺度变换问题，但是对于旋转问题解决的不理想。基于频域的拼接方法，是通过对两幅图像做二维离散傅里叶变换，通过频域内的相关关系反变换得到空间域的相关关系。
基于特征的图像拼接方法中，不是利用图像的全部信息，而是首先在图像中提取特征，通过比较两幅图像的特征得到图像间的变化关系。采用轮廓提取的方法，首先对图像进行卷积增强，检测图像中像素符号变化的点(过零点)作为边界点，提取轮廓后进行特征描述。采用SIFT(Scale Invariant and Feature Transform)，这种方法首先通过建立拉普拉斯金字塔未消除尺度变化的影响，然后在尺度空间内进行特征检测，并根据关键点邻域的梯度方向确定特征点的方向，进而解决尺度及旋转问题。对于基于特征点的图像拼接算法，对拼接质量及速度影响最大的主要在与特征选取，随后出现的SURF特征、ORB特征等都在保证一定质量的情况下更加侧重速度的提升。
现有技术中，视频图像拼接普遍依赖于无人机遥测数据的解析，例如经纬度、高度、速度、俯仰、横滚等信息，需要参考这些数据来执行图像匹配操作，而实际飞行中遥测数据可能与视频不同步，或出现某些无人机遥测数据无法获取的情况，导致传统的视频图像拼接方法无法实现真正的实时拼接。因此，现有技术在追求拼接精度时很难达到实时的效果，而在追求实时的情况下对于上述复杂情况考虑不周全，难以兼顾精度和速度。
在对现有技术的研究和实践过程，本发明的发明人发现，虽然技术人员己经从多种不同的方向对视频图像拼接技术进行了不同程度的改进与优化，但是，目前的视频图像拼接方法仍然普遍存在如下问题:
(1)现有技术采用的特征大都很难达到实时的效果，但是对于拼接连续性及尺度变换效果较差；
(2)现有技术存在过度依赖GPS位置信息的情况，可能导致拼接完全失败。
发明内容
本发明实施例所要解决的技术问题在于，提供基于一种视频图像的拼接方法、装置、终端设备及存储介质，能够仅依靠图像本身，运用视频图像识别技术与视频图像视角变换技术发现并定位河道，以实现对视频图像中水域区域的图像进行实时、快速且稳定地自动拼接融合。
为解决上述问题，一方面，本发明的一个实施例提供一种视频图像的拼接方法，适于在计算设备中执行，包括：
从待处理视频中提取两个相邻的视频图像帧，并对所述视频图像帧进行降噪处理，得到两个特定视频图像帧；
采用边缘检测法检测所述特定视频图像帧，确定所述视频图像帧的匹配区域，并将所述匹配区域的图像作为待匹配图像；
对所述前后两帧待匹配图像分别进行特征点检测，提取各自的特征点；
根据所述特征点的空间变换关系，对所述前后两帧待匹配图像进行空间变换；
将经过空间变换变换后的所述前后两帧待匹配图像进行特征点匹配，并根据匹配结果标定所述前后两帧待匹配图像的重合区域；
根据所述重合区域，对所述前后两帧待匹配图像进行拼接融合，得到目标视频图像。
进一步地，所述从待处理视频中提取两个相邻的视频图像帧，并对所述视频帧进行降噪处理，得到两个特定视频帧，具体为：
分别计算待处理视频中每一个视频图像帧的锐度和色彩平滑度，并根据所述锐度和所述色彩平滑度提取满足视频图像的拼接条件的两个相邻的视频图像帧；
根据所述视频图像帧的图像清晰度动态选择特定的滤波器进行滤波，并作二值化处理，得到两个特定视频图像帧；其中，
所述特定的滤波器包括高斯滤波器、中值滤波器和双边滤波器。
进一步地，所述采用边缘检测法检测所述特定视频图像帧，确定所述视频图像帧的匹配区域，并将所述匹配区域的图像作为待匹配图像，具体为：
采用边缘检测法查找所述特定视频图像帧的所有可能边缘，并根据所有可能边缘确定所述特定视频图像帧的连通域；
根据所述连通域确定匹配区域的边缘，并进一步根据所述匹配区域的边缘，对所述匹配区域进行优化处理；
将优化后的匹配区域的图像作为待匹配图像。
进一步地，所述对前后两帧待匹配图像分别进行特征点检测，提取各自的特征点，具体为：
利用SIFT算法和SURF算法对前后两帧待匹配图像进行特征点检测，提取各自的SIFT特征点和SURF特征点。
进一步地，所述空间变换关系包括仿射变换关系、缩放变换关系、平移变换关系和旋转变换关系；
所述根据所述特征点的空间变换关系，对所述前后两帧待匹配图像进行空间变换，具体为：
根据无人机的不同拍摄视角下的匹配区域的形变程度信息，将前后两帧待匹配图像进行仿射变换，即将前后两帧待匹配图像统一到正投影匹配区域的位置；
根据无人机的不同时刻的高度信息，将前后两帧待匹配图像做缩放变换，即将前后两帧待匹配图像统一到相同的高度；
根据无人机的不同时刻拍摄的视频图像帧中匹配区域的位置信息，将前后两帧待匹配图像做平移变换，即将前后两帧待匹配图像统一到匹配区域在图像中间位置；
根据前后两帧待匹配图像的特征点的匹配特性，得出图像的旋转变换关系，进一步得出前后两帧待匹配图像的特征点的空间变换关系，并根据所述特征点的空间变换关系，对所述前后两帧待匹配图像进行空间变换。
进一步地，所述将经过空间变换变换后的前后两帧待匹配图像进行特征点匹配具体为：
利用SIFT算法和SURF算法，对经过空间变换变换后的前后两帧待匹配图像进行特征点匹配。
进一步地，所述根据所述重合区域，对所述前后两帧待匹配图像进行拼接融合，得到目标视频图像，具体为：
根据所述重合区域，剪切后一帧待匹配图像的重合区域；
将前一帧待匹配图像的重合区域和后一帧待匹配图像剪切后的重合区域进行拼接融合，得到拼接后的目标视频图像。
另一方面，本发明的一个实施例还提供了一种视频图像的拼接装置，包括：
预处理模块，用于从待处理视频中提取两个相邻的视频图像帧，并对所述视频图像帧进行降噪处理，得到两个特定视频图像帧；
匹配区域确定模块，用于采用边缘检测法检测所述特定视频图像帧，确定所述视频图像帧的匹配区域，并将所述匹配区域的图像作为待匹配图像；
特征点检测模块，用于对所述前后两帧待匹配图像分别进行特征点检测，提取各自的特征点；
变换模块，用于根据所述特征点的空间变换关系，对所述前后两帧待匹配图像进行空间变换；
特征点匹配模块，用于将经过空间变换变换后的所述前后两帧待匹配图像进行特征点匹配，并根据匹配结果标定所述前后两帧待匹配图像的重合区域；
拼接模块，用于根据所述重合区域，对所述前后两帧待匹配图像进行拼接融合，得到目标视频图像。
又一方面，本发明的一个实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述的视频图像的拼接方法。
又一方面，本发明的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的视频图像的拼接方法。
实施本发明实施例，具有如下有益效果：
本发明公开了一种视频图像的拼接方法、装置、终端设备及存储介质，所述方法包括：从待处理视频中提取两个相邻的视频图像帧，并对所述视频图像帧进行降噪处理，得到两个特定视频图像帧；采用边缘检测法检测所述特定视频图像帧，确定所述视频图像帧的匹配区域，并将所述匹配区域的图像作为待匹配图像；对所述前后两帧待匹配图像分别进行特征点检测，提取各自的特征点；根据所述特征点的空间变换关系，对所述前后两帧待匹配图像进行空间变换；将经过空间变换变换后的所述前后两帧待匹配图像进行特征点匹配，并根据匹配结果标定所述前后两帧待匹配图像的重合区域；根据所述重合区域，对所述前后两帧待匹配图像进行拼接融合，得到目标视频图像。本发明能够仅依靠图像本身，运用视频图像识别技术与视频图像视角变换技术发现并定位河道，以实现对视频图像中水域区域的图像进行实时、快速且稳定地自动拼接融合。
附图说明
图1是本发明的一个实施例提供的一种视频图像的拼接方法的流程示意图；
图2是本发明的一个实施例提供的一种视频图像的拼接方法的另一流程示意图；
图3是图1中步骤S106的具体流程示意图；
图4是本发明的另一个施例提供的一种视频图像的拼接装置。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明第一实施例：
请参阅图1-3。
如图1-2所示，本实施例提供的一种视频图像的拼接方法，适于在计算设备中执行，至少包括如下步骤：
S101、从待处理视频中提取两个相邻的视频图像帧，并对所述视频图像帧进行降噪处理，得到两个特定视频图像帧。
具体的，分别计算待处理视频中每一个视频图像帧的锐度和色彩平滑度，并根据所述锐度和所述色彩平滑度提取满足视频图像的拼接条件的两个相邻的视频图像帧。
根据所述视频图像帧的图像清晰度动态选择特定的滤波器进行滤波，并作二值化处理，得到两个特定视频图像帧，其中，所述特定的滤波器包括高斯滤波器、中值滤波器和双边滤波器。
在本实施例中，以无人机航拍的河道图像的拼接为例，所述待处理视频为无人机航拍的河道视频。
可以理解的是，所述二值化处理，指的是将图像上的点的灰度值置为0或255，也就是将整个图像呈现出明显的黑白效果，一般采用封闭、连通的边界定义不交叠的区域。所有灰度大于或等于阀值的像素被判定为属于特定物体，其灰度值用255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。经过二值化处理后，两个特定视频图像帧为黑白灰度的图像。
S102、采用边缘检测法检测所述特定视频图像帧，确定所述视频图像帧的匹配区域，并将所述匹配区域的图像作为待匹配图像。
具体的，采用边缘检测法查找所述特定视频图像帧的所有可能边缘，并根据所有可能边缘确定所述特定视频图像帧的连通域。
根据所述连通域确定匹配区域的边缘，并进一步根据所述匹配区域的边缘，对所述匹配区域进行优化处理。
将优化后的匹配区域的图像作为待匹配图像。
在本实施例中，以无人机航拍的河道图像的拼接为例，边缘检测法是图像处理和计算机视觉中的基本问题，通过边缘检测法能标识数字图像中亮度变化明显的点，进而能检测出图像的所有可能边缘。匹配区域为无人机航拍视频中的非水面区域，即河道两岸区域，其可以根据视频图像河道检测得到的河道水面与期望得到的河岸轮廓之间形状相似的关系进行判断。最后利用边缘优化法对河道两岸区域进行优化。
S103、对所述前后两帧待匹配图像分别进行特征点检测，提取各自的特征点。
具体的，利用SIFT算法和SURF算法对前后两帧待匹配图像进行特征点检测，提取各自的SIFT特征点和SURF特征点。
在本实施例中，Sift是一种基于尺度空间的，对图像缩放、旋转、甚至仿射变换保持不变性的图像局部特征描述算子，Surf是对Sift算法的改进，算法的执行效率有所提升，为算法在实时计算机视觉系统中应用提供了可能。与Sift算法一样，Surf算法的基本路程可以分为三大部分：局部特征点的提取、特征点的描述、特征点的匹配。
S104、根据所述特征点的空间变换关系，对所述前后两帧待匹配图像进行空间变换。
其中，所述空间变换关系包括仿射变换关系、缩放变换关系、平移变换关系和旋转变换关系。
具体的，根据无人机的不同拍摄视角下的匹配区域的形变程度信息，将前后两帧待匹配图像进行仿射变换，即将前后两帧待匹配图像统一到正投影匹配区域的位置。
其中，形变程度的偏差来源于无人机搭载镜头的倾斜拍摄引起的。
根据无人机的不同时刻的高度信息，将前后两帧待匹配图像做缩放变换，即将前后两帧待匹配图像统一到相同的高度。根据无人机的不同时刻拍摄的视频图像帧中匹配区域的位置信息，将前后两帧待匹配图像做平移变换，即将前后两帧待匹配图像统一到匹配区域在图像中间位置。
其中，偏差来源于无人机不同时刻在平移方向上的变换引起的。根据前后两帧待匹配图像的特征点的匹配特性，得出图像的旋转变换关系，进一步得出前后两帧待匹配图像的特征点的空间变换关系，并根据所述特征点的空间变换关系，对所述前后两帧待匹配图像进行空间变换。
在本实施例中，对前后两帧待匹配图像进行空间变换，加强了对图像内容的描述区分能力，使其更容易拼接融合。
S105、将经过空间变换变换后的所述前后两帧待匹配图像进行特征点匹配，并根据匹配结果标定所述前后两帧待匹配图像的重合区域。
具体的，利用SIFT算法和SURF算法，对经过空间变换变换后的前后两帧待匹配图像进行特征点匹配。
在本实施例中，图像数据属于比较高维的数据，数据量大，而且冗余信息多，必须将像素值转换为一种更适合表达图像本质特征的低维量，这个“量”就是特征，计算特征的过程就是特征提取。利用特征点对前后两帧待匹配图像进行特征点匹配，能快速完成匹配，具有更高的匹配效率。
S106、根据所述重合区域，对所述前后两帧待匹配图像进行拼接融合，得到目标视频图像。
具体的，根据所述重合区域，剪切后一帧待匹配图像的重合区域；
将前一帧待匹配图像的重合区域和后一帧待匹配图像剪切后的重合区域进行拼接融合，得到拼接后的目标视频图像。
在本实施例中，如图3所示，前一帧图像的空间变换，后一帧图像的空间变换。空间变换方法为缩放变换，平移变换以及旋转变换，匹配特征点后标定前一帧以及后一帧图像的重合区域，最后删除后一帧图像的重合区域后拼接融合视频图像前后帧。
需要说明的是，匹配关键重合点包括，前一帧特征点查找，后一帧特征点匹配，多组匹配组合判断最合适匹配组合。
前一帧特征点查找，具体包括FIST基本特征点和SURF基本特征点的综合查找方法。前一帧视频图像与后一帧视频图像特征点匹配的方法，得出多组匹配特征点，利用最优匹配找出最佳匹配特征点。
进一步地，标定视频前后图像帧重合区域，指的是标定前一帧重合区域，标定后一帧重合区域，然后剪切后一帧的重合区域后拼接融合。
在本实施例中，所拼接得到的目标图像拼接痕迹不明显，具有较强的准确性和兼容性。
本实施例提供的一种视频图像的拼接方法，从待处理视频中提取两个相邻的视频图像帧，并降噪处理，得到两个特定视频图像帧；采用边缘检测法检测特定视频图像帧，确定视频图像帧的匹配区域，并将匹配区域的图像作为待匹配图像并提取特征点；根据特征点的空间变换关系，对前后两帧待匹配图像进行空间变换并且进行特征点匹配，并根据匹配结果标定前后两帧待匹配图像的重合区域；根据重合区域，进行图像拼接融合，得到目标视频图像。本发明能够仅依靠图像本身，运用视频图像识别技术与视频图像视角变换技术发现并定位河道，以实现对视频图像中水域区域的图像进行实时、快速且稳定地自动拼接融合。
本发明第二实施例：
请参阅图4。
如图4所示，本实施例提供的一种视频图像的拼接装置，包括：
预处理模块201，用于从待处理视频中提取两个相邻的视频图像帧，并对所述视频图像帧进行降噪处理，得到两个特定视频图像帧。
具体的，分别计算待处理视频中每一个视频图像帧的锐度和色彩平滑度，并根据所述锐度和所述色彩平滑度提取满足视频图像的拼接条件的的两个相邻的视频图像帧。
根据所述视频图像帧的图像清晰度动态选择特定的滤波器进行滤波，并作二值化处理，得到两个特定视频图像帧，其中，
所述特定的滤波器包括高斯滤波器、中值滤波器和双边滤波器。
在本实施例中，以无人机航拍的河道图像的拼接为例，所述待处理视频为无人机航拍的河道视频。
可以理解的是，所述二值化处理，指的是将图像上的点的灰度值置为0或255，也就是将整个图像呈现出明显的黑白效果，一般采用封闭、连通的边界定义不交叠的区域。所有灰度大于或等于阀值的像素被判定为属于特定物体，其灰度值用255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。经过二值化处理后，两个特定视频图像帧为黑白灰度的图像。
匹配区域确定模块202，用于采用边缘检测法检测所述特定视频图像帧，确定所述视频图像帧的匹配区域，并将所述匹配区域的图像作为待匹配图像。
具体的，采用边缘检测法查找所述特定视频图像帧的所有可能边缘，并根据所有可能边缘确定所述特定视频图像帧的连通域。
根据所述连通域确定匹配区域的边缘，并进一步根据所述匹配区域的边缘，对所述匹配区域进行优化处理。
将优化后的匹配区域的图像作为待匹配图像。
在本实施例中，以无人机航拍的河道图像的拼接为例，边缘检测法是图像处理和计算机视觉中的基本问题，通过边缘检测法能标识数字图像中亮度变化明显的点，进而能检测出图像的所有可能边缘。匹配区域为无人机航拍视频中的非水面区域，即河道两岸区域，其可以根据视频图像河道检测得到的河道水面与期望得到的河岸轮廓之间形状相似的关系进行判断。最后利用边缘优化法对河道两岸区域进行优化。
特征点检测模块203，用于对所述前后两帧待匹配图像分别进行特征点检测，提取各自的特征点。
具体的，利用SIFT算法和SURF算法对前后两帧待匹配图像进行特征点检测，提取各自的SIFT特征点和SURF特征点。
在本实施例中，Sift是一种基于尺度空间的，对图像缩放、旋转、甚至仿射变换保持不变性的图像局部特征描述算子，Surf是对Sift算法的改进，算法的执行效率有所提升，为算法在实时计算机视觉系统中应用提供了可能。与Sift算法一样，Surf算法的基本路程可以分为三大部分：局部特征点的提取、特征点的描述、特征点的匹配。
变换模块204，用于根据所述特征点的空间变换关系，对所述前后两帧待匹配图像进行空间变换。
其中，所述空间变换关系包括仿射变换关系、缩放变换关系、平移变换关系和旋转变换关系。
具体的，根据无人机的不同拍摄视角下的匹配区域的形变程度信息，将前后两帧待匹配图像进行仿射变换，即将前后两帧待匹配图像统一到正投影匹配区域的位置。
其中，形变程度的偏差来源于无人机搭载镜头的倾斜拍摄引起的
根据无人机的不同时刻的高度信息，将前后两帧待匹配图像做缩放变换，即将前后两帧待匹配图像统一到相同的高度。根据无人机的不同时刻拍摄的视频图像帧中匹配区域的位置信息，将前后两帧待匹配图像做平移变换，即将前后两帧待匹配图像统一到匹配区域在图像中间位置。
其中，偏差来源于无人机不同时刻在平移方向上的变换引起的。根据前后两帧待匹配图像的特征点的匹配特性，得出图像的旋转变换关系，进一步得出前后两帧待匹配图像的特征点的空间变换关系，并根据所述特征点的空间变换关系，对所述前后两帧待匹配图像进行空间变换。
在本实施例中，对前后两帧待匹配图像进行空间变换，加强了对图像内容的描述区分能力，使其更容易拼接融合。
特征点匹配模块205，用于将经过空间变换变换后的所述前后两帧待匹配图像进行特征点匹配，并根据匹配结果标定所述前后两帧待匹配图像的重合区域。
具体的，利用SIFT算法和SURF算法，对经过空间变换变换后的前后两帧待匹配图像进行特征点匹配。
在本实施例中，图像数据属于比较高维的数据，数据量大，而且冗余信息多，必须将像素值转换为一种更适合表达图像本质特征的低维量，这个“量”就是特征，计算特征的过程就是特征提取。利用特征点对前后两帧待匹配图像进行特征点匹配，能快速完成匹配，具有更高的匹配效率。
拼接模块206，用于根据所述重合区域，对所述前后两帧待匹配图像进行拼接融合，得到目标视频图像。
具体的，根据所述重合区域，剪切后一帧待匹配图像的重合区域；
将前一帧待匹配图像的重合区域和后一帧待匹配图像剪切后的重合区域进行拼接融合，得到拼接后的目标视频图像。
在本实施例中，如图3所示，前一帧图像的空间变换，后一帧图像的空间变换。空间变换方法为缩放变换，平移变换以及旋转变换，匹配特征点后标定前一帧以及后一帧图像的重合区域，最后删除后一帧图像的重合区域后拼接融合视频图像前后帧。
需要说明的是，匹配关键重合点包括，前一帧特征点查找，后一帧特征点匹配，多组匹配组合判断最合适匹配组合。
前一帧特征点查找，具体包括FIST基本特征点和SURF基本特征点的综合查找方法。前一帧视频图像与后一帧视频图像特征点匹配的方法，得出多组匹配特征点，利用最优匹配找出最佳匹配特征点。
进一步地，标定视频前后图像帧重合区域，指的是标定前一帧重合区域，标定后一帧重合区域，然后剪切后一帧的重合区域后拼接融合。
在本实施例中，所拼接得到的目标图像拼接痕迹不明显，具有较强的准确性和兼容性。
本实施例提供的一种视频图像的拼接装置，通过运用视频图像识别技术与视频图像视角变换技术发现并定位河道，能快速而且稳定地自动拼接视频图像中水面区域的图像。
本发明的一个实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述的视频图像的拼接方法。
本发明的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的视频图像的拼接方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
Claims (10)
1.一种视频图像的拼接方法，适于在计算设备中执行，其特征在于，包括：
从待处理视频中提取两个相邻的视频图像帧，并对所述视频图像帧进行降噪处理，得到两个特定视频图像帧；
采用边缘检测法检测所述特定视频图像帧，确定所述视频图像帧的匹配区域，并将所述匹配区域的图像作为待匹配图像；
对所述前后两帧待匹配图像分别进行特征点检测，提取各自的特征点；
根据所述特征点的空间变换关系，对所述前后两帧待匹配图像进行空间变换；
将经过空间变换变换后的所述前后两帧待匹配图像进行特征点匹配，并根据匹配结果标定所述前后两帧待匹配图像的重合区域；
根据所述重合区域，对所述前后两帧待匹配图像进行拼接融合，得到目标视频图像。
2.根据权利要求1所述的视频图像的拼接方法，其特征在于，所述从待处理视频中提取两个相邻的视频图像帧，并对所述视频帧进行降噪处理，得到两个特定视频帧，具体为：
分别计算待处理视频中每一个视频图像帧的锐度和色彩平滑度，并根据所述锐度和所述色彩平滑度提取满足视频图像的拼接条件的两个相邻的视频图像帧；
根据所述视频图像帧的图像清晰度动态选择特定的滤波器进行滤波，并作二值化处理，得到两个特定视频图像帧；其中，
所述特定的滤波器包括高斯滤波器、中值滤波器和双边滤波器。
3.根据权利要求1所述的视频图像的拼接方法，其特征在于，所述采用边缘检测法检测所述特定视频图像帧，确定所述视频图像帧的匹配区域，并将所述匹配区域的图像作为待匹配图像，具体为：
采用边缘检测法查找所述特定视频图像帧的所有可能边缘，并根据所有可能边缘确定所述特定视频图像帧的连通域；
根据所述连通域确定匹配区域的边缘，并进一步根据所述匹配区域的边缘，对所述匹配区域进行优化处理；
将优化后的匹配区域的图像作为待匹配图像。
4.根据权利要求1所述的视频图像的拼接方法，其特征在于，所述对前后两帧待匹配图像分别进行特征点检测，提取各自的特征点，具体为：
利用SIFT算法和SURF算法对前后两帧待匹配图像进行特征点检测，提取各自的SIFT特征点和SURF特征点。
5.根据权利要求1所述的视频图像的拼接方法，其特征在于，所述空间变换关系包括仿射变换关系、缩放变换关系、平移变换关系和旋转变换关系；
所述根据所述特征点的空间变换关系，对所述前后两帧待匹配图像进行空间变换，具体为：
根据无人机的不同拍摄视角下的匹配区域的形变程度信息，将前后两帧待匹配图像进行仿射变换，即将前后两帧待匹配图像统一到正投影匹配区域的位置；
根据无人机的不同时刻的高度信息，将前后两帧待匹配图像做缩放变换，即将前后两帧待匹配图像统一到相同的高度；
根据无人机的不同时刻拍摄的视频图像帧中匹配区域的位置信息，将前后两帧待匹配图像做平移变换，即将前后两帧待匹配图像统一到匹配区域在图像中间位置；
根据前后两帧待匹配图像的特征点的匹配特性，得出图像的旋转变换关系，进一步得出前后两帧待匹配图像的特征点的空间变换关系，并根据所述特征点的空间变换关系，对所述前后两帧待匹配图像进行空间变换。
6.根据权利要求1所述的视频图像的拼接方法，其特征在于，所述将经过空间变换变换后的前后两帧待匹配图像进行特征点匹配，，具体为：
利用SIFT算法和SURF算法，对经过空间变换变换后的前后两帧待匹配图像进行特征点匹配。
7.根据权利要求1所述的视频图像的拼接方法，其特征在于，所述根据所述重合区域，对所述前后两帧待匹配图像进行拼接融合，得到目标视频图像，具体为：
根据所述重合区域，剪切后一帧待匹配图像的重合区域；
将前一帧待匹配图像的重合区域和后一帧待匹配图像剪切后的重合区域进行拼接融合，得到拼接后的目标视频图像。
8.一种视频图像的拼接装置，其特征在于，包括：
预处理模块，用于从待处理视频中提取两个相邻的视频图像帧，并对所述视频图像帧进行降噪处理，得到两个特定视频图像帧；
匹配区域确定模块，用于采用边缘检测法检测所述特定视频图像帧，确定所述视频图像帧的匹配区域，并将所述匹配区域的图像作为待匹配图像；
特征点检测模块，用于对所述前后两帧待匹配图像分别进行特征点检测，提取各自的特征点；
变换模块，用于根据所述特征点的空间变换关系，对所述前后两帧待匹配图像进行空间变换；
特征点匹配模块，用于将经过空间变换变换后的所述前后两帧待匹配图像进行特征点匹配，并根据匹配结果标定所述前后两帧待匹配图像的重合区域；
拼接模块，用于根据所述重合区域，对所述前后两帧待匹配图像进行拼接融合，得到目标视频图像。
9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的视频图像的拼接方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7任一项所述的视频图像的拼接方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810874778.3A CN109146832B (zh) | 2018-08-02 | 2018-08-02 | 一种视频图像的拼接方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810874778.3A CN109146832B (zh) | 2018-08-02 | 2018-08-02 | 一种视频图像的拼接方法、装置、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109146832A true CN109146832A (zh) | 2019-01-04 |
| CN109146832B CN109146832B (zh) | 2022-05-27 |
Family
ID=64791402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810874778.3A Active CN109146832B (zh) | 2018-08-02 | 2018-08-02 | 一种视频图像的拼接方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109146832B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948602A (zh) * | 2019-01-21 | 2019-06-28 | 创新奇智(南京)科技有限公司 | 一种识别商品的方法、计算机可读介质及识别系统 |
| CN110708568A (zh) * | 2019-10-30 | 2020-01-17 | 北京奇艺世纪科技有限公司 | 一种视频内容突变检测方法及装置 |
| CN111062984A (zh) * | 2019-12-20 | 2020-04-24 | 广州市鑫广飞信息科技有限公司 | 视频图像区域面积的测量方法、装置、设备及存储介质 |
| CN111062341A (zh) * | 2019-12-20 | 2020-04-24 | 广州市鑫广飞信息科技有限公司 | 视频图像区域的分类方法、装置、设备及存储介质 |
| CN111783539A (zh) * | 2020-05-30 | 2020-10-16 | 上海晏河建设勘测设计有限公司 | 一种地形测量方法、测量装置、测量系统及计算机可读存储介质 |
| CN112233049A (zh) * | 2020-12-14 | 2021-01-15 | 成都中轨轨道设备有限公司 | 一种用于提升图像清晰度的图像融合方法 |
| CN117541764A (zh) * | 2024-01-09 | 2024-02-09 | 北京大学 | 一种图像拼接方法、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050013507A1 (en) * | 2003-07-15 | 2005-01-20 | Samsung Electronics Co., Ltd. | Apparatus for and method of constructing multi-view face database, and apparatus for and method of generating multi-view face descriptor |
| CN101504761A (zh) * | 2009-01-21 | 2009-08-12 | 北京中星微电子有限公司 | 一种图像拼接的方法和装置 |
| CN103745449A (zh) * | 2013-12-24 | 2014-04-23 | 南京理工大学 | 一种搜跟系统中航拍视频的快速自动拼接技术 |
| CN104134200A (zh) * | 2014-06-27 | 2014-11-05 | 河海大学 | 一种基于改进加权融合的运动场景图像拼接方法 |
| CN105787870A (zh) * | 2016-02-21 | 2016-07-20 | 郑州财经学院 | 一种图形图像拼接融合系统 |
-
2018
- 2018-08-02 CN CN201810874778.3A patent/CN109146832B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050013507A1 (en) * | 2003-07-15 | 2005-01-20 | Samsung Electronics Co., Ltd. | Apparatus for and method of constructing multi-view face database, and apparatus for and method of generating multi-view face descriptor |
| CN101504761A (zh) * | 2009-01-21 | 2009-08-12 | 北京中星微电子有限公司 | 一种图像拼接的方法和装置 |
| CN103745449A (zh) * | 2013-12-24 | 2014-04-23 | 南京理工大学 | 一种搜跟系统中航拍视频的快速自动拼接技术 |
| CN104134200A (zh) * | 2014-06-27 | 2014-11-05 | 河海大学 | 一种基于改进加权融合的运动场景图像拼接方法 |
| CN105787870A (zh) * | 2016-02-21 | 2016-07-20 | 郑州财经学院 | 一种图形图像拼接融合系统 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948602A (zh) * | 2019-01-21 | 2019-06-28 | 创新奇智(南京)科技有限公司 | 一种识别商品的方法、计算机可读介质及识别系统 |
| CN109948602B (zh) * | 2019-01-21 | 2023-03-03 | 创新奇智(南京)科技有限公司 | 一种识别商品的方法、计算机可读介质及识别系统 |
| CN110708568A (zh) * | 2019-10-30 | 2020-01-17 | 北京奇艺世纪科技有限公司 | 一种视频内容突变检测方法及装置 |
| CN111062984A (zh) * | 2019-12-20 | 2020-04-24 | 广州市鑫广飞信息科技有限公司 | 视频图像区域面积的测量方法、装置、设备及存储介质 |
| CN111062341A (zh) * | 2019-12-20 | 2020-04-24 | 广州市鑫广飞信息科技有限公司 | 视频图像区域的分类方法、装置、设备及存储介质 |
| CN111062984B (zh) * | 2019-12-20 | 2024-03-15 | 广州市鑫广飞信息科技有限公司 | 视频图像区域面积的测量方法、装置、设备及存储介质 |
| CN111062341B (zh) * | 2019-12-20 | 2024-03-19 | 广州市鑫广飞信息科技有限公司 | 视频图像区域的分类方法、装置、设备及存储介质 |
| CN111783539A (zh) * | 2020-05-30 | 2020-10-16 | 上海晏河建设勘测设计有限公司 | 一种地形测量方法、测量装置、测量系统及计算机可读存储介质 |
| CN112233049A (zh) * | 2020-12-14 | 2021-01-15 | 成都中轨轨道设备有限公司 | 一种用于提升图像清晰度的图像融合方法 |
| CN117541764A (zh) * | 2024-01-09 | 2024-02-09 | 北京大学 | 一种图像拼接方法、电子设备及存储介质 |
| CN117541764B (zh) * | 2024-01-09 | 2024-04-05 | 北京大学 | 一种图像拼接方法、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109146832B (zh) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109146832A (zh) | 一种视频图像的拼接方法、装置、终端设备及存储介质 | |
| CN109146833A (zh) | 一种视频图像的拼接方法、装置、终端设备及存储介质 | |
| CN109711295B (zh) | 一种光学遥感图像近岸舰船检测方法 | |
| Cheng et al. | FusionNet: Edge aware deep convolutional networks for semantic segmentation of remote sensing harbor images | |
| Li et al. | Multiscale features supported DeepLabV3+ optimization scheme for accurate water semantic segmentation | |
| Dani et al. | Automated assembling of images: Image montage preparation | |
| CN109410207A (zh) | 一种基于ncc特征的无人机巡线图像输电线路检测方法 | |
| WO2006087581A1 (en) | Method for facial features detection | |
| CN105654091A (zh) | 海面目标检测方法及装置 | |
| CN113052066B (zh) | 三维目标检测中基于多视图和图像分割的多模态融合方法 | |
| Wang et al. | An overview of 3d object detection | |
| CN103955888A (zh) | 一种基于sift的高清视频图像拼接方法及装置 | |
| CN105787876A (zh) | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 | |
| CN114495068B (zh) | 基于人机交互和深度学习的路面健康检测方法 | |
| CN103984942A (zh) | 一种物象识别的方法及移动终端 | |
| CN104282005A (zh) | 一种视频图像拼接方法及装置 | |
| CN116994135A (zh) | 一种基于视觉与雷达融合的船舶目标检测方法 | |
| Abdelfattah et al. | Plgan: Generative adversarial networks for power-line segmentation in aerial images | |
| CN106530272A (zh) | 基于凹点匹配的重叠蛋白质点分离方法及装置 | |
| CN115035281B (zh) | 一种快速的红外全景图像拼接方法 | |
| CN110956664A (zh) | 一种手持式三维扫描系统的相机位置实时重定位方法 | |
| CN106558065A (zh) | 基于图像颜色和纹理分析实现对目标的实时视觉跟踪方法 | |
| Wei et al. | Automatic water line detection for an USV system | |
| Jiao et al. | Individual building rooftop and tree crown segmentation from high-resolution urban aerial optical images | |
| Sushma et al. | Text detection in color images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |