CN108320304A - 一种无人机航拍视频媒体的自动编辑方法与系统 - Google Patents
一种无人机航拍视频媒体的自动编辑方法与系统 Download PDFInfo
- Publication number
- CN108320304A CN108320304A CN201711390161.6A CN201711390161A CN108320304A CN 108320304 A CN108320304 A CN 108320304A CN 201711390161 A CN201711390161 A CN 201711390161A CN 108320304 A CN108320304 A CN 108320304A
- Authority
- CN
- China
- Prior art keywords
- image
- video media
- unmanned plane
- registration
- uav
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 5
- 239000012634 fragment Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于无人机视频编辑领域，具体涉及一种无人机航拍视频媒体的自动编辑方法。本发明包括(1)无人机视频媒体的图像预处理；(2)无人机视频媒体的图像配准；(3)无人机视频媒体的图像融合；(4)无人机视频媒体的图像拼接：(5)对图像拼接的无人机视频媒体进行存储。本发明可以适应无人机航拍画面的特点，有效利用重叠画面的信息冗余，将无人机航拍视频画面进行拼接编辑，例如拼接为全景画面，提升拼接后的画面质量；拼接画面可以用于高效、准确、视觉效果优异的航拍显示；本发明是一种自动的图像处理和编辑方法，可以自动实现画面的编辑处理，直接给使用者呈现编辑后的视频媒体。
Description
技术领域
本发明属于无人机控制视频编辑领域，具体涉及一种无人机航拍视频媒体的自动编辑方法与系统。
背景技术
随着科技的进步及自动化、信息化进程的推进，使用无人机作为飞行平台，同时通过所搭载的数码照相机和数码摄像机等数字设备进行拍摄和记录，以获取低空高分辨率及高精度航拍影像为目的无人机航拍系统已广泛应用于国土监测、灾害勘察、城市规划、农林气象、军事国防、环境评测、个人摄影等诸多学科和领域。无人机航拍系统(UnmannedAerial Vehicle Altitude Remote Sensing System，UAVRS)，利用先进的无人驾驶飞行器技术、航拍摄像技术、图像处理技术、通讯技术、GPS定位技术等，能够自动、智能、快速的获取航拍画面以及附加的地理位置等信息，从而满足各种实际应用，具有灵活机动、便捷经济的特点。
通过利用无人机航拍系统对目标区域的实际拍摄，可以在相当短的时间内获取特定区域的海量影像数据。目前，无人机航拍影像数据已逐渐进入到实际应用阶段，在各种应用领域当中，无人机视频图像都能够发挥重要的作用。
但在航拍视频媒体画面的处理与应用方面，尚存在一些问题及需要改进的地方。由于无人机航拍系统所获得的影像资料具有较高的拍摄角度以及较少的遮挡，且具备单帧图像数据量大、各帧图像重叠度高的特点，因此适合对具有相同场景的视频画面进行拼接显示，例如拼接为全景图像。为了获得大视场的全景图像，就必须开发出一套实时的无人机视频图像自动拼接方法，从而更及时准确的掌握目标区域的情况。为了符合人们的普遍观感并得到良好的拼接效果，我们必须对所获得的无人机航拍系统的图像信息进行几何校正。但由于在实际应用尤其是在一些突发的事件中，我们往往很难投入大量人力物力以获取地面控制点的信息。
发明内容
本发明的目的在于提供一种自动识别由无人机航拍获得的媒体片段的特征，根据媒体画面的变化分析编辑的无人机航拍视频媒体，将无人机航拍视频画面进行拼接编辑，例如拼接为全景画面的自动编辑方法。
本发明的目的是这样实现的：
一种无人机航拍视频媒体的自动编辑方法，其特征在于，包括如下步骤：
步骤1，无人机视频媒体的原始图像进行图像预处理：
步骤2，对预处理的无人机视频媒体进行图像配准；
步骤3，对无人机视频媒体冗余图像进行图像融合处理；
步骤4，对融合后的无人机视频媒体进行图像拼接；
步骤5，对图像拼接的无人机视频媒体进行存储。
优选的是，所述步骤1中进行的图像预处理具体包括一下预处理：
(1.1)辐射校正，在视频图像获取时利用图像的像元灰度值，对不同时间获得的航拍图像建立彼此之间的校正标准，从而进行归一化处理；
(1.2)几何校正，对无人机视频媒体的图像进行几何校正，对成像过程中所产生的畸变进行校正，产生一幅符合地图投影或图形表达标准的新图像并且将变形的图像纠正，统一到建立的坐标系中。
优选的是，所述步骤2的图像配准是将无人机不同视角下拍摄的同一场景的两幅或多幅图像在空间上完成像素对准。
进一步优选的是，采用SIFT图像配准算法完成所述步骤(2)的无人机视频媒体的图像配准，具体包括：
(2.1)在多尺度空间完成兴趣点的搜索获取视频图像中具有尺度不变性的特征点，采用高斯函数对原始图像进行卷积运算，得到图像的不同尺度空间；
(2.2)寻找不同尺度空间的局部极值点初步确定其位置及所在尺度，从而定位特征点；
(2.3)利用特征点邻域像素的梯度方向分布特性，为每个特征点分配一个方向，从而使得特征描述子具有旋转不变性；
(2.4)将视频图像的坐标轴方向调整到与特征点方向一致，然后以特征点为中心，选取邻近的一个8×8的区域，将该8×8的区域分割为4×4大小的4个子邻域，并对这4个子邻域的梯度直方图进行统计；分别按0°到360°每45°为一方向分别统计每个像素点梯度的权值和方向，再求出累加值，形成一个特征点，共形成16个特征点，通过合并每个特征点的邻域方向性信息产生SIFT特征描述子；
(2.5)分别提取无人机预存的参考图像及待配准图像的SIFT特征描述子，估算重叠区域大小，确定感兴趣区域，对两幅图像的特征进行匹配，从而完成图像间的配准。
进一步优选的是，步骤(2.4)中所述的每个像素点梯度的权值的确定方法，包括：
(2.4.1)确定两幅待拼接图像的边界；
(2.4.2)确定两幅图像的重叠区域，并找到该区域的边界；
(2.4.3)求取重叠区域内任一点P到重叠区域边界及原图像边界的最近距离；
(2.4.4)取P到重叠区域边界及原图像边界的最近距离较小者作为分子，得到二者的比值，若该比值小于0.5，则将其定为P点权值。
优选的是，所述步骤3的无人机视频媒体冗余图像的图像融合是按相应规则对存在画面冗余的视频图像进行融合处理，提取冗余的视频图像的数据信息并综合成合成图像。
进一步优选的是，所述的步骤3的无人机视频媒体冗余图像的图像融合，具体包括：将两幅待拼接图像重叠区域中的像元灰度值进行叠加计算其平均值，平均值即得到的融合后图像在该区域的像元灰度值；将图像转换到频域并将其分为不同频域段，在已划分的各频域段中进行图像融合，最终将各频域段上的合成图像重构，得到一幅完整的合成图像。
优选的是，步骤4的图像拼接运用加权平均融合的方法实现两幅图像的无缝拼接，具体包括：
(4.1)利用无人机飞行状态参数中的姿态角及经纬度定位信息，通过将两幅图像建立到统一坐标系中确定二者的重叠区域；
(4.2)采用SIFT算法在重叠区域内进行特征提取；
(4.3)采用欧式距离作为相似度判定标准，并运用BBF算法在所建立的图像特征K-D树进行搜索，从而找到匹配特征；
(4.4)采用RANSAC算法对匹配特征进行筛选，从而确定两幅图像的变换矩阵，使得尽可能多的特征完成匹配，在匹配后，使用基于RGB值的直接覆盖拼接方法，即比较两幅图像每个像元的R、G、B三分量值之和的大小，取大者覆盖小者予以显示，从而完成两幅图像拼接。
进一步优选的是，所述的步骤(4)中对无人机航拍视频数据解码，按照视频数据的协议格式进行视频解码，获得无人机航拍视频序列中的每一帧图像，以及对应的无人机飞行状态参数。
本发明进而提供了一种无人机航拍视频媒体的自动编辑系统，其特征在于，包括：
预处理模块，用于对无人机视频媒体的原始图像进行图像预处理：
图像配准模块，用于对预处理的无人机视频媒体进行图像配准；
冗余图像融合模块，用于对无人机视频媒体冗余图像进行图像融合处理；
拼接模块，用于对融合后的无人机视频媒体进行图像拼接；
存储模块，用于对图像拼接的无人机视频媒体进行存储。
优选的是，所述预处理模块的图像预处理具体包括：在视频图像获取时利用图像的像元灰度值，对不同时间获得的航拍图像建立彼此之间的校正标准，从而进行归一化处理；对无人机视频媒体的图像进行几何校正，对成像过程中所产生的畸变进行校正，产生一幅符合地图投影或图形表达标准的新图像并且将变形的图像纠正，统一到建立的坐标系中。
优选的是，图像配准模块用于将无人机不同视角下拍摄的同一场景的两幅或多幅图像在空间上完成像素对准。
进一步优选的是，所述图像配准模块如下完成无人机视频媒体的图像配准：在多尺度空间完成兴趣点的搜索获取视频图像中具有尺度不变性的特征点，采用高斯函数对原始图像进行卷积运算，得到图像的不同尺度空间；寻找不同尺度空间的局部极值点初步确定其位置及所在尺度，从而定位特征点；利用特征点邻域像素的梯度方向分布特性，为每个特征点分配一个方向，从而使得特征描述子具有旋转不变性；将视频图像的坐标轴方向调整到与特征点方向一致，然后以特征点为中心，选取邻近的一个8×8的区域，将该8×8的区域分割为4×4大小的4个子邻域，并对这4个子邻域的梯度直方图进行统计；分别按0°到360°每45°为一方向分别统计每个像素点梯度的权值和方向，再求出累加值，形成一个特征点，共形成16个特征点，通过合并每个特征点的邻域方向性信息产生SIFT特征描述子；分别提取无人机预存的参考图像及待配准图像的SIFT特征描述子，估算重叠区域大小，确定感兴趣区域，对两幅图像的特征进行匹配，从而完成图像间的配准。
进一步优选的是，所述图像配准模块如下确定所述的每个像素点梯度的权值：确定两幅待拼接图像的边界；确定两幅图像的重叠区域，并找到该区域的边界；求取重叠区域内任一点P到重叠区域边界及原图像边界的最近距离；取P到重叠区域边界及原图像边界的最近距离较小者作为分子，得到二者的比值，若该比值小于0.5，则将其定为P点权值。
优选的是，冗余图像融合模块对无人机视频媒体冗余图像的图像融合是按相应规则对存在画面冗余的视频图像进行融合处理，提取冗余的视频图像的数据信息并综合成合成图像。
进一步优选的是，所述冗余图像融合模块如下进行无人机视频媒体冗余图像的图像融合：将两幅待拼接图像重叠区域中的像元灰度值进行叠加计算其平均值，平均值即得到的融合后图像在该区域的像元灰度值；将图像转换到频域并将其分为不同频域段，在已划分的各频域段中进行图像融合，最终将各频域段上的合成图像重构，得到一幅完整的合成图像。
优选的是，所述拼接模块如下实现两幅图像的无缝拼接：利用无人机飞行状态参数中的姿态角及经纬度定位信息，通过将两幅图像建立到统一坐标系中确定二者的重叠区域；采用SIFT算法在重叠区域内进行特征提取；采用欧式距离作为相似度判定标准，并运用BBF算法在所建立的图像特征K-D树进行搜索，从而找到匹配特征；采用RANSAC算法对匹配特征进行筛选，从而确定两幅图像的变换矩阵，使得尽可能多的特征完成匹配，在匹配后，使用基于RGB值的直接覆盖拼接方法，即比较两幅图像每个像元的R、G、B三分量值之和的大小，取大者覆盖小者予以显示，从而完成两幅图像拼接。
进一步优选的是，所述拼接模块按照视频数据的协议格式进行视频解码，获得无人机航拍视频序列中的每一帧图像，以及对应的无人机飞行状态参数。
本发明的有益效果在于：本发明提供了一种无人机航拍视频媒体的画面编辑方法与系统，可以适应无人机航拍画面的特点，有效利用重叠画面的信息冗余，将无人机航拍视频画面进行拼接编辑，例如拼接为全景画面，提升拼接后的画面质量；拼接画面可以用于高效、准确、视觉效果优异的航拍显示；本发明是一种自动的图像处理和编辑方法，可以自动实现画面的编辑处理，直接给使用者呈现编辑后的视频媒体。
附图说明
图1为本发明方法步骤图；
图2为本发明的系统结构图。
具体实施方式
下面结合附图对发明做进一步描述。
如图1所示，一种无人机航拍视频媒体的自动编辑方法，包括如下步骤：
(1)无人机视频媒体的图像预处理：
(1.1)辐射校正，在视频图像获取时利用图像的像元灰度值，对不同时间获得的航拍图像建立彼此之间的校正标准，从而进行归一化处理；辐射校正，在视频图像获取时利用图像的像元灰度值，对不同时间获得的航拍图像建立彼此之间的校正标准，从而进行归一化处理；。这种校正方法要求参考图像与原始图像由相同传感器获得，并且获取两幅图像时大气和光照条件相似。原始图像经辐射校正后，不同时间拍摄的相同地物影像就可以表现出相同的辐射信息，从而方便后续的航拍图像匹配和拼接。
(1.2)几何校正，对无人机视频媒体的图像进行几何校正，对成像过程中所产生的畸变进行校正，产生一幅符合地图投影或图形表达标准的新图像并且将变形的图像纠正，统一到建立的坐标系中。
(2)无人机视频媒体的图像配准：
将在不同时间、不同视角下拍摄的同一场景的两幅或多幅图像在空间上完成像素对准。
(3)无人机视频媒体的图像融合：
按相应规则对存在冗余的视频图像数据进行融合处理，提取冗余的视频图像的数据信息并综合成合成图像。
(4)无人机视频媒体的图像拼接：
对无人机航拍视频数据解码，得到单帧图像数据及飞行参数信息；利用所得到的无人机飞行参数对单帧图像进行几何校正，使得待拼接的图像及最终拼接结果图像均以正射投影方式显示；预处理完成后，采用基于SIFT算法提取图像特征，并利用欧式距离函数及RANSAC算法完成特征的匹配；最后，根据匹配后建立的两间隔帧图像的变换矩阵完成两幅图像的坐标统一，并运用加权平均融合的方法实现两幅图像的无缝拼接。
(5)存储图像并识别图像场景：根据预先设定的人像、景像识别标准，区分人像和景像分别存储。
采用SIFT图像配准算法完成所述步骤(2)的无人机视频媒体的图像配准，具体包括：
(2.1)在多尺度空间完成兴趣点的搜索获取视频图像中具有尺度不变性的特征点，采用高斯函数对原始图像进行卷积运算，得到图像的不同尺度空间；
(2.2)寻找不同尺度空间的局部极值点初步确定其位置及所在尺度，从而定位特征点；
(2.3)利用特征点邻域像素的梯度方向分布特性，为每个特征点分配一个方向，从而使得特征描述子具有旋转不变性；
(2.4)将视频图像的坐标轴方向调整到与特征点方向一致，然后以特征点为中心，选取邻近的一个8×8的区域，将该8×8的区域分割为4×4大小的4个子邻域，并对这4个子邻域的梯度直方图进行统计；分别按0°到360°每45°为一方向分别统计每个像素点梯度的权值和方向，再求出累加值，形成一个特征点，共形成16个特征点，通过合并每个特征点的邻域方向性信息产生SIFT特征描述子；
(2.5)分别提取无人机预存的参考图像及待配准图像的SIFT特征描述子，估算重叠区域大小，确定感兴趣区域，对两幅图像的特征进行匹配，从而完成图像间的配准。
所述的步骤(3)的无人机视频媒体的图像融合，具体包括：将两幅待拼接图像重叠区域中的像元灰度值进行叠加计算其平均值，平均值即得到的融合后图像在该区域的像元灰度值；将图像转换到频域并将其分为不同频域段，在已划分的各频域段中进行图像融合，最终将各频域段上的合成图像重构，得到一幅完整的合成图像。根据重叠区域的形状进行建模分析，通过实验证实了图像融合重叠区域具有普适性，特别针对本项目中的视频信息，能够很好地达到运算时间、融合效果的标准，同时对多焦距、多方位的图像拼接鲁棒性很好，算法在较复杂的情况下，仍然能够保持高效性和准确性。
所述的每个像素点梯度的权值的确定方法，包括：
(2.4.1)确定两幅待拼接图像的边界；
(2.4.2)确定两幅图像的重叠区域，并找到该区域的边界；
(2.4.3)求取重叠区域内任一点P到重叠区域边界及原图像边界的最近距离；
(2.4.4)取P到重叠区域边界及原图像边界的最近距离较小者作为分子，得到二者的比值，若该比值小于0.5，则将其定为P点权值。
所述的步骤(4)中对无人机航拍视频数据解码是指按照视频数据的协议格式进行视频解码，获得无人机航拍视频序列中的每一帧图像，以及对应的无人机飞行状态参数。
所述的步骤(4)中运用加权平均融合的方法实现两幅图像的无缝拼接具体包括：
(4.1)利用无人机飞行状态参数中的姿态角及经纬度定位信息，通过将两幅图像建立到统一坐标系中确定二者的重叠区域；
(4.2)采用SIFT算法在重叠区域内进行特征提取；
(4.3)采用欧式距离作为相似度判定标准，并运用BBF算法在所建立的图像特征K-D树进行搜索，从而找到匹配特征；
(4.4)采用RANSAC算法对匹配特征进行筛选，从而确定两幅图像的变换矩阵，使得尽可能多的特征完成匹配，在匹配后，使用基于RGB值的直接覆盖拼接方法，即比较两幅图像每个像元的R、G、B三分量值之和的大小，取大者覆盖小者予以显示，从而完成两幅图像拼接。
本发明为了实现无人机航拍视频图像的实时拼接，从中截取的间隔帧航拍图像必须要存在一定的重叠区域，从而完成图像特征的配准。该重叠区域的大小一般情况下占整幅图像大小的30％到70％不等，且成对的正确匹配特征均集中在此重叠区域内。匹配时，如若对整幅图像进行特征提取，再对所有特征进行筛选构成特征匹配对，产生的计算量将会很大，速度也将受到很大程度的影响。因此，可以通过首先计算两幅待匹配图像的重叠区域的方法，然后针对该重叠区域进行特征提取，这样得到的特征信息均集中在这一特定区域，在特征匹配时，则无需进行非感兴趣区域内特征点是否匹配的无谓判定，特征点成对及特征匹配成功的概率将大大提升。
所述步骤(5)中，本发明自动识别由无人机航拍获得的媒体片段的特征，根据媒体画面的变化，分析出来视频媒体片段实在飞行器上升阶段拍的还是降落阶段拍的，是针对人自拍的还是针对自然场景拍的。根据所分析出来的媒体片段的不同特征和内容，将编辑后的视频存储到对应的媒体库。
如图2所示，本发明还提供了一种无人机航拍视频媒体的自动编辑系统，包括：
预处理模块201，用于对无人机视频媒体的原始图像进行图像预处理：
图像配准模块202，用于对预处理的无人机视频媒体进行图像配准；
冗余图像融合模块203，用于对无人机视频媒体冗余图像进行图像融合处理；
拼接模块204，用于对融合后的无人机视频媒体进行图像拼接；
存储模块205，用于对图像拼接的无人机视频媒体进行存储。
所述预处理模块201的图像预处理具体包括：在视频图像获取时利用图像的像元灰度值，对不同时间获得的航拍图像建立彼此之间的校正标准，从而进行归一化处理；对无人机视频媒体的图像进行几何校正，对成像过程中所产生的畸变进行校正，产生一幅符合地图投影或图形表达标准的新图像并且将变形的图像纠正，统一到建立的坐标系中。
图像配准模块202用于将无人机不同视角下拍摄的同一场景的两幅或多幅图像在空间上完成像素对准。所述图像配准模块202如下完成无人机视频媒体的图像配准：在多尺度空间完成兴趣点的搜索获取视频图像中具有尺度不变性的特征点，采用高斯函数对原始图像进行卷积运算，得到图像的不同尺度空间；寻找不同尺度空间的局部极值点初步确定其位置及所在尺度，从而定位特征点；利用特征点邻域像素的梯度方向分布特性，为每个特征点分配一个方向，从而使得特征描述子具有旋转不变性；将视频图像的坐标轴方向调整到与特征点方向一致，然后以特征点为中心，选取邻近的一个8×8的区域，将该8×8的区域分割为4×4大小的4个子邻域，并对这4个子邻域的梯度直方图进行统计；分别按0°到360°每45°为一方向分别统计每个像素点梯度的权值和方向，再求出累加值，形成一个特征点，共形成16个特征点，通过合并每个特征点的邻域方向性信息产生SIFT特征描述子；分别提取无人机预存的参考图像及待配准图像的SIFT特征描述子，估算重叠区域大小，确定感兴趣区域，对两幅图像的特征进行匹配，从而完成图像间的配准。更具体来说，所述图像配准模块202如下确定所述的每个像素点梯度的权值：确定两幅待拼接图像的边界；确定两幅图像的重叠区域，并找到该区域的边界；求取重叠区域内任一点P到重叠区域边界及原图像边界的最近距离；取P到重叠区域边界及原图像边界的最近距离较小者作为分子，得到二者的比值，若该比值小于0.5，则将其定为P点权值。
优选的是，冗余图像融合模块203对无人机视频媒体冗余图像的图像融合是按相应规则对存在画面冗余的视频图像进行融合处理，提取冗余的视频图像的数据信息并综合成合成图像。所述冗余图像融合模块203如下进行无人机视频媒体冗余图像的图像融合：将两幅待拼接图像重叠区域中的像元灰度值进行叠加计算其平均值，平均值即得到的融合后图像在该区域的像元灰度值；将图像转换到频域并将其分为不同频域段，在已划分的各频域段中进行图像融合，最终将各频域段上的合成图像重构，得到一幅完整的合成图像。
优选的是，所述拼接模块204如下实现两幅图像的无缝拼接：利用无人机飞行状态参数中的姿态角及经纬度定位信息，通过将两幅图像建立到统一坐标系中确定二者的重叠区域；采用SIFT算法在重叠区域内进行特征提取；采用欧式距离作为相似度判定标准，并运用BBF算法在所建立的图像特征K-D树进行搜索，从而找到匹配特征；采用RANSAC算法对匹配特征进行筛选，从而确定两幅图像的变换矩阵，使得尽可能多的特征完成匹配，在匹配后，使用基于RGB值的直接覆盖拼接方法，即比较两幅图像每个像元的R、G、B三分量值之和的大小，取大者覆盖小者予以显示，从而完成两幅图像拼接。其中，所述拼接模块204按照视频数据的协议格式进行视频解码，获得无人机航拍视频序列中的每一帧图像，以及对应的无人机飞行状态参数。
存储模块205自动识别由无人机航拍获得的媒体片段的特征，根据媒体画面的变化，分析出来视频媒体片段实在飞行器上升阶段拍的还是降落阶段拍的，是针对人自拍的还是针对自然场景拍的。根据所分析出来的媒体片段的不同特征和内容，将编辑后的视频存储到对应的媒体库。
这里必须指出的是，本发明给出的其他未说明的内容因为都是本领域的公知技术，根据本发明所述的名称或功能，本领域技术人员就能够找到相关记载的文献，因此未做进一步说明。本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。
Claims (10)
1.一种无人机航拍视频媒体的自动编辑方法，其特征在于，包括如下步骤：
步骤1，无人机视频媒体的原始图像进行图像预处理：
步骤2，对预处理的无人机视频媒体进行图像配准；
步骤3，对无人机视频媒体冗余图像进行图像融合处理；
步骤4，对融合后的无人机视频媒体进行图像拼接；
步骤5，对图像拼接的无人机视频媒体进行存储。
2.根据权利要求1所述的一种无人机航拍视频媒体的自动编辑方法，其特征在于，所述步骤1中进行的图像预处理具体包括一下预处理：
(1.1)辐射校正，在视频图像获取时利用图像的像元灰度值，对不同时间获得的航拍图像建立彼此之间的校正标准，从而进行归一化处理；
(1.2)几何校正，对无人机视频媒体的图像进行几何校正，对成像过程中所产生的畸变进行校正，产生一幅符合地图投影或图形表达标准的新图像并且将变形的图像纠正，统一到建立的坐标系中。
3.根据权利要求1所述的一种无人机航拍视频媒体的自动编辑方法，其特征在于，所述步骤2的图像配准是将无人机不同视角下拍摄的同一场景的两幅或多幅图像在空间上完成像素对准。
4.根据权利要求3所述的一种无人机航拍视频媒体的自动编辑方法，其特征在于，采用SIFT图像配准算法完成所述步骤(2)的无人机视频媒体的图像配准，具体包括：
(2.1)在多尺度空间完成兴趣点的搜索获取视频图像中具有尺度不变性的特征点，采用高斯函数对原始图像进行卷积运算，得到图像的不同尺度空间；
(2.2)寻找不同尺度空间的局部极值点初步确定其位置及所在尺度，从而定位特征点；
(2.3)利用特征点邻域像素的梯度方向分布特性，为每个特征点分配一个方向，从而使得特征描述子具有旋转不变性；
(2.4)将视频图像的坐标轴方向调整到与特征点方向一致，然后以特征点为中心，选取邻近的一个8×8的区域，将该8×8的区域分割为4×4大小的4个子邻域，并对这4个子邻域的梯度直方图进行统计；分别按0°到360°每45°为一方向分别统计每个像素点梯度的权值和方向，再求出累加值，形成一个特征点，共形成16个特征点，通过合并每个特征点的邻域方向性信息产生SIFT特征描述子；
(2.5)分别提取无人机预存的参考图像及待配准图像的SIFT特征描述子，估算重叠区域大小，确定感兴趣区域，对两幅图像的特征进行匹配，从而完成图像间的配准。
5.根据权利要求1所述的一种无人机航拍视频媒体的自动编辑方法，其特征在于，所述步骤3的无人机视频媒体冗余图像的图像融合是按相应规则对存在画面冗余的视频图像进行融合处理，提取冗余的视频图像的数据信息并综合成合成图像。
6.根据权利要求1所述的一种无人机航拍视频媒体的自动编辑方法，其特征在于，步骤4的图像拼接运用加权平均融合的方法实现两幅图像的无缝拼接，具体包括：
(4.1)利用无人机飞行状态参数中的姿态角及经纬度定位信息，通过将两幅图像建立到统一坐标系中确定二者的重叠区域；
(4.2)采用SIFT算法在重叠区域内进行特征提取；
(4.3)采用欧式距离作为相似度判定标准，并运用BBF算法在所建立的图像特征K-D树进行搜索，从而找到匹配特征；
(4.4)采用RANSAC算法对匹配特征进行筛选，从而确定两幅图像的变换矩阵，使得尽可能多的特征完成匹配，在匹配后，使用基于RGB值的直接覆盖拼接方法，即比较两幅图像每个像元的R、G、B三分量值之和的大小，取大者覆盖小者予以显示，从而完成两幅图像拼接。
7.一种无人机航拍视频媒体的自动编辑系统，其特征在于，包括：
预处理模块，用于对无人机视频媒体的原始图像进行图像预处理：
图像配准模块，用于对预处理的无人机视频媒体进行图像配准；
冗余图像融合模块，用于对无人机视频媒体冗余图像进行图像融合处理；
拼接模块，用于对融合后的无人机视频媒体进行图像拼接；
存储模块，用于对图像拼接的无人机视频媒体进行存储。
8.根据权利要求7所述的一种无人机航拍视频媒体的自动编辑系统，其特征在于，所述预处理模块的图像预处理具体包括：在视频图像获取时利用图像的像元灰度值，对不同时间获得的航拍图像建立彼此之间的校正标准，从而进行归一化处理；对无人机视频媒体的图像进行几何校正，对成像过程中所产生的畸变进行校正，产生一幅符合地图投影或图形表达标准的新图像并且将变形的图像纠正，统一到建立的坐标系中。
9.根据权利要求7所述的一种无人机航拍视频媒体的自动编辑系统，其特征在于，图像配准模块用于将无人机不同视角下拍摄的同一场景的两幅或多幅图像在空间上完成像素对准。
10.根据权利要求7所述的一种无人机航拍视频媒体的自动编辑系统，其特征在于，冗余图像融合模块对无人机视频媒体冗余图像的图像融合是按相应规则对存在画面冗余的视频图像进行融合处理，提取冗余的视频图像的数据信息并综合成合成图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711390161.6A CN108320304A (zh) | 2017-12-18 | 2017-12-18 | 一种无人机航拍视频媒体的自动编辑方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711390161.6A CN108320304A (zh) | 2017-12-18 | 2017-12-18 | 一种无人机航拍视频媒体的自动编辑方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108320304A true CN108320304A (zh) | 2018-07-24 |
Family
ID=62891362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711390161.6A Pending CN108320304A (zh) | 2017-12-18 | 2017-12-18 | 一种无人机航拍视频媒体的自动编辑方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108320304A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111105351A (zh) * | 2019-12-13 | 2020-05-05 | 华中科技大学鄂州工业技术研究院 | 一种视频序列影像拼接方法及装置 |
| CN111612828A (zh) * | 2019-12-27 | 2020-09-01 | 珠海大横琴科技发展有限公司 | 一种遥感图像纠正匹配方法、装置、电子设备及存储介质 |
| CN112163995A (zh) * | 2020-09-07 | 2021-01-01 | 中山大学 | 一种超大航拍条带图像的拼接生成方法及装置 |
| CN112308774A (zh) * | 2020-09-15 | 2021-02-02 | 北京中科遥数信息技术有限公司 | 基于无人机的地图重建方法及系统、传输设备、存储介质 |
| CN112911260A (zh) * | 2021-01-29 | 2021-06-04 | 浙江新荷风传媒科技有限公司 | 一种多媒体展厅沙盘投影展示系统 |
| WO2021134183A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、可移动平台、摄像装置及存储介质 |
| CN113624231A (zh) * | 2021-07-12 | 2021-11-09 | 北京自动化控制设备研究所 | 基于异源图像匹配的惯性视觉组合导航定位方法及飞行器 |
| WO2022061660A1 (zh) * | 2020-09-24 | 2022-03-31 | 深圳市大疆创新科技有限公司 | 一种视频剪辑方法、电子设备、无人飞行器及存储介质 |
-
2017
- 2017-12-18 CN CN201711390161.6A patent/CN108320304A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111105351A (zh) * | 2019-12-13 | 2020-05-05 | 华中科技大学鄂州工业技术研究院 | 一种视频序列影像拼接方法及装置 |
| CN111105351B (zh) * | 2019-12-13 | 2023-04-18 | 华中科技大学鄂州工业技术研究院 | 一种视频序列影像拼接方法及装置 |
| CN111612828A (zh) * | 2019-12-27 | 2020-09-01 | 珠海大横琴科技发展有限公司 | 一种遥感图像纠正匹配方法、装置、电子设备及存储介质 |
| WO2021134183A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、可移动平台、摄像装置及存储介质 |
| CN112163995A (zh) * | 2020-09-07 | 2021-01-01 | 中山大学 | 一种超大航拍条带图像的拼接生成方法及装置 |
| CN112308774A (zh) * | 2020-09-15 | 2021-02-02 | 北京中科遥数信息技术有限公司 | 基于无人机的地图重建方法及系统、传输设备、存储介质 |
| WO2022061660A1 (zh) * | 2020-09-24 | 2022-03-31 | 深圳市大疆创新科技有限公司 | 一种视频剪辑方法、电子设备、无人飞行器及存储介质 |
| CN112911260A (zh) * | 2021-01-29 | 2021-06-04 | 浙江新荷风传媒科技有限公司 | 一种多媒体展厅沙盘投影展示系统 |
| CN112911260B (zh) * | 2021-01-29 | 2023-04-14 | 浙江新荷风传媒科技有限公司 | 一种多媒体展厅沙盘投影展示系统 |
| CN113624231A (zh) * | 2021-07-12 | 2021-11-09 | 北京自动化控制设备研究所 | 基于异源图像匹配的惯性视觉组合导航定位方法及飞行器 |
| CN113624231B (zh) * | 2021-07-12 | 2023-09-12 | 北京自动化控制设备研究所 | 基于异源图像匹配的惯性视觉组合导航定位方法及飞行器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108320304A (zh) | 一种无人机航拍视频媒体的自动编辑方法与系统 | |
| CN115439424B (zh) | 一种无人机航拍视频图像智能检测方法 | |
| CN103679674B (zh) | 一种无人飞行器实时图像拼接方法及系统 | |
| EP2423871B1 (en) | Apparatus and method for generating an overview image of a plurality of images using an accuracy information | |
| CN106373088B (zh) | 大倾斜低重叠率航空图像的快速拼接方法 | |
| Yang et al. | Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot | |
| Yahyanejad et al. | Incremental mosaicking of images from autonomous, small-scale uavs | |
| KR101105795B1 (ko) | 항공 화상의 자동 처리 | |
| CN111213155A (zh) | 图像处理方法、设备、可移动平台、无人机及存储介质 | |
| EP2874097A2 (en) | Automatic scene parsing | |
| EP2423873A1 (en) | Apparatus and Method for Generating an Overview Image of a Plurality of Images Using a Reference Plane | |
| CN114973028B (zh) | 一种航拍视频图像实时变化检测方法及系统 | |
| Crommelinck et al. | Interactive cadastral boundary delineation from UAV data | |
| CN114255407B (zh) | 基于高分辨率的反无人机多目标识别和跟踪视频探测方法 | |
| CN105550994A (zh) | 一种基于卫星影像的无人机影像快速概略拼接方法 | |
| He et al. | Ground and aerial collaborative mapping in urban environments | |
| CN115240089A (zh) | 一种航空遥感图像的车辆检测方法 | |
| CN117218201A (zh) | Gnss拒止条件下无人机影像定位精度提升方法及系统 | |
| CN114037895A (zh) | 一种无人机杆塔巡检图像识别方法 | |
| Maurer et al. | Automated inspection of power line corridors to measure vegetation undercut using UAV-based images | |
| Božić-Štulić et al. | Complete model for automatic object detection and localisation on aerial images using convolutional neural networks | |
| CN116228860A (zh) | 目标物的地理位置预测方法、装置、设备及存储介质 | |
| Türmer | Car detection in low frame-rate aerial imagery of dense urban areas | |
| CN113361552B (zh) | 定位方法及装置 | |
| CN117201708B (zh) | 带有位置信息的无人机视频拼接方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |