CN111062341B - 视频图像区域的分类方法、装置、设备及存储介质 - Google Patents
视频图像区域的分类方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111062341B CN111062341B CN201911325011.6A CN201911325011A CN111062341B CN 111062341 B CN111062341 B CN 111062341B CN 201911325011 A CN201911325011 A CN 201911325011A CN 111062341 B CN111062341 B CN 111062341B
- Authority
- CN
- China
- Prior art keywords
- image
- panoramic
- video image
- video
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 67
- 230000011218 segmentation Effects 0.000 claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000002146 bilateral effect Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 3
- 239000002689 soil Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000004164 analytical calibration Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种视频图像区域的分类方法，包括：提取待处理视频中图像指标符合预设的图像标准的相邻的视频图像帧；根据获取的飞行参数以及相机参数进行矫正变换处理，得到预处理的视频图像帧；对预处理的视频图像帧进行依次拼接，得到拼接全景图，再根据预设的归一化植被指数进行处理得到全景灰度图；根据预设的双阈值Otsu分割计算法对全景灰度图进行处理，得到全景二值图；再对其进行区域分割处理，并将分割后的全景二值图进行预设的图像检测处理得到区域分割图；根据目标区域特征将所述区域分割图进行分类，本发明实施例还提供了一种视频图像区域的分类装置、设备及存储介质，有效解决现有技术无法根据物种类别对图像的区域进行分类的问题。
Description
技术领域
本发明涉及视频图像处理技术领域，尤其涉及一种视频图像区域的分类方法、装置、设备及存储介质。
背景技术
目前常用的视频图像的区域分类方法包括基于决策树的单一分类方法，包括CART和PUBLIC等；基于贝叶斯的单一分类方法；基于关联规则的单一分类方法，以及组合各种基本方法的单一分类方法。
但是基于决策树的单一分类方法以及基于贝叶斯的单一分类方法都无法准确识别图像中的物种类别(例如农田中的植被类型)，从而无法根据物种类别对图像的区域进行分类。
发明内容
本发明实施例提供一种视频图像区域的分类方法、装置、设备及存储介质，能有效解决现有技术无法根据物种类别对图像的区域进行分类的问题。
本发明一实施例提供一种视频图像区域的分类方法，包括：
提取待处理视频中图像指标符合预设的图像标准的相邻的视频图像帧；
根据获取的飞行参数以及拍摄所述待处理视频的相机参数，对所述视频图像帧进行矫正变换处理，得到预处理的视频图像帧；其中，所述飞行参数包括：无人机的飞行高度和摄像头的俯仰角度，所述相机参数包括：内参矩阵、旋转矩阵和平移矩阵；
对所述预处理的视频图像帧进行依次拼接，得到拼接全景图；
通过预设的归一化植被指数对所述拼接全景图进行处理，得到全景灰度图；
根据预设的双阈值Otsu分割计算法对所述全景灰度图进行处理，得到全景二值图；
对所述全景二值图进行区域分割处理，并将分割后的全景二值图进行预设的图像检测处理，得到区域分割图；
根据目标区域特征将所述区域分割图进行分类。
作为上述方案的改进，所述通过预设的归一化植被指数对所述拼接全景图进行处理，得到全景灰度图，具体包括：
将所述拼接全景图中的所有R像素值、G像素值及B像素值逐个映射到DNVI灰度空间中，得到所述全景灰度图。
作为上述方案的改进，所述图像指标包括：图像锐度以及图像色彩平滑度。
作为上述方案的改进，所述将分割后的全景二值图进行预设的图像检测处理，得到区域分割图，具体包括：
对所述分割后的全景二值图进行双边滤波操作及高斯低通滤波操作，将双边滤波操作及高斯低通滤波操作处理后的全景二值图根据预设的边缘检测算法进行计算，得到第一检测处理图像；
对所述分割后的全景二值图进行中值滤波操作及均值滤波操作；将中值滤波操作及均值滤波操作处理后的全景二值图根据预设的连通域算法进行计算，得到第二检测处理图像；
将所述第一检测处理图像以及第二检测处理图像进行归一化处理，得到所述区域分割图。
作为上述方案的改进，所述目标区域特征包括：颜色特征、文理特征及角点分布特征。
本发明另一实施例对应提供了一种视频图像区域的分类装置，包括：
提取模块，用于提取待处理视频中图像指标符合预设的图像标准的相邻的视频图像帧；
预处理模块，用于根据获取的飞行参数以及拍摄所述待处理视频的相机参数，对所述视频图像帧进行矫正变换处理，得到预处理的视频图像帧；其中，所述飞行参数包括：无人机的飞行高度和摄像头的俯仰角度，所述相机参数包括：内参矩阵、旋转矩阵和平移矩阵；
拼接模块，用于对所述预处理的视频图像帧进行依次拼接，得到拼接全景图；
第一处理模块，用于通过预设的归一化植被指数对所述拼接全景图进行处理，得到全景灰度图；
第二处理模块，用于根据预设的双阈值Otsu分割计算法对所述全景灰度图进行处理，得到全景二值图；
区域分割模块，用于对所述全景二值图进行区域分割处理，并将分割后的全景二值图进行预设的图像检测处理，得到区域分割图；
分类模块，用于根据目标区域特征将所述区域分割图进行分类。
本发明另一实施例提供了一种视频图像区域的分类设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的视频图像区域的分类方法。
本发明另一实施例提供了一种存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的视频图像区域的分类方法。
与现有技术相比，本发明实施例公开的视频图像区域的分类方法、装置、设备及存储介质，通过将处理后的拼接全景图进行预设的归一化植被指数处理得到全景灰度图，将全景灰度图根据预设的双阈值Otsu分割计算法得到全景二值图，对全景二值图进行分割，再根据目标区域特征将所述区域分割图进行分类。由于根据预设的归一化植被指数对全景拼接图进行处理，使得处理后的图像不同植被之间有明显差异，从而有助于区域的分类。
附图说明
图1是本发明一实施例提供的一种视频图像区域的分类方法的流程示意图；
图2是本发明一实施例提供的获得区域分割图的流程示意图；
图3是本发明一实施例提供的一种视频图像区域的分类装置的结构示意图；
图4是本发明一实施例提供的一种视频图像区域的分类设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明一实施例提供的一种视频图像区域的分类方法的流程示意图。
本发明实施例提供一种视频图像区域的分类方法，包括：
S10、提取待处理视频中图像指标符合预设的图像标准的相邻的视频图像帧。
其中，所述图像指标包括：图像锐度以及图像色彩平滑度。
具体地，符合预设的图像标准为通过分别计算待处理视频中每一个视频图像帧的图像锐度和图像色彩平滑度，并取加权平均值，选取加权平均值最高的一帧。在本实施例中，计算方法为锐度乘以0.3加上色彩平滑度乘以0.7，选取相邻视频图像帧中加权平均值最高的一帧。
由于图像锐度是反映图像平面清晰度和图像边缘锐利程度的一个指标，在待处理视频中选取锐度较高的视频图像帧有助于视频图像的区域面积分割；图像色彩平滑度是反映图像色彩空间的平滑程度的一个指标，在待处理的视频中选取色彩平滑度较高的视频图像帧有助于视频图像的拼接操作。
S20、根据获取的飞行参数以及拍摄所述待处理视频的相机参数，对所述视频图像帧进行矫正变换处理，得到预处理的视频图像帧；其中，所述飞行参数包括：无人机的飞行高度和摄像头的俯仰角度，所述相机参数包括：内参矩阵、旋转矩阵和平移矩阵。
具体地，根据视频图像帧对应的空间变换矩阵，进行矫正变换处理，从而最大程度下消除了飞行参数以及相机参数带来的外部参数影响，使得预处理的视频图像帧更容易进行拼接操作。
S30、对所述预处理的视频图像帧进行依次拼接，得到拼接全景图。
在本实施例中，确定相邻视频图像帧的匹配区域，查找并提取待匹配图像各自的特征点，再采用光流法进行筛选，根据筛选出来的特征点的空间变换关系，对相邻视频图像帧进行空间变换，从而标定图像重合区域，并根据重合区域进行拼接从而得到拼接全景图。
S40、通过预设的归一化植被指数对所述拼接全景图进行处理，得到全景灰度图。
需要说明的是，归一化植被指数(即归一化NDVI指数)是检测植被生长状态、植被覆盖度和消除部分辐射误差的重要指数，能反映出植物冠层的背景影响，如土壤、枯叶、粗糙度等，且与植被覆盖有关。相比于传统灰度变换方法，归一化植被指数可以消除大部分与仪器定标、太阳角、地形和大气条件有关辐照度的变化，且归一化植被指数对土壤背景的变化更加敏感，增强了对植被的响应能力。
S50、根据预设的双阈值Otsu分割计算法对所述全景灰度图进行处理，得到全景二值图。
具体地，对所述全景灰度图做双阈值Otsu分割计算，并将分割后的结果分别以0和255表示，得到全景二值图。
需要说明的是，预设的双阈值Otsu分割是一种基于双界限的二维Otsu阈值分割方法，在二维直方图中，两条平行于对角线的界限决定目标和背景区域的宽度，垂直于对角线的分割直线决定阈值大小，该算法运用Roberts算子和线性拟合法确定双界限，然后运用双阈值Otsu法计算最佳阈值，最后对噪声区域进行处理，能够有效的消除噪声。
在本实施例中，使用低空无人机巡航获取的视频图像资源具有噪声大、植被覆盖不完全等影响因素，利用预设的双阈值Otsu分割计算可以有效消除噪声对分割区域的影响，有助于提高视频图像的区域分割的准确度。
S60、对所述全景二值图进行区域分割处理，并将分割后的全景二值图进行预设的图像检测处理，得到区域分割图。
具体地，预设的图像检测处理为将全景二值图进行图像滤波处理，根据不同的图像滤波处理选择相应的检测计算方法进行计算，从而得到检测处理图像。其中，检测计算方法包括：边缘检测算法、连通域算法。
S70、根据目标区域特征将所述区域分割图进行分类。其中，所述目标区域特征包括：颜色特征、文理特征及角点分布特征。
具体地，根据不同区域下颜色特征的不同，利用分类器分类法得到目标区域的区域颜色特征；根据不同区域下纹理特征和角点分布特征的不同，利用神经网络分类法得到目标区域的区域纹理特征，并结合所述目标区域颜色特征以及目标区域纹理特征，得到目标区域的区域特征。
综上所述，通过将处理后的拼接全景图进行预设的归一化植被指数处理得到全景灰度图，将全景灰度图根据预设的双阈值Otsu分割计算法得到全景二值图，对全景二值图进行分割，再根据目标区域特征将所述区域分割图进行分类。由于根据预设的归一化植被指数对全景拼接图进行处理，使得处理后的图像不同植被之间有明显差异，从而有助于区域的分类。
作为上述方案的改进，所述通过预设的归一化植被指数对所述拼接全景图进行处理，得到全景灰度图，具体包括：
将所述拼接全景图中的所有R像素值、G像素值及B像素值逐个映射到DNVI灰度空间中，得到所述全景灰度图。
在本实施例中，使用低空无人机巡航获取的视频图像资源具有光照强度、光照角等影响因素，通过归一化植被指数处理，能够有效的消除视频图像中光照等影响，且归一化植被指数处理后的结果中，土壤与作物、不同作物之间具有较明显的差异，有助于提高视频图像的区域分割的准确度以及提高视频图像的区域分类的准确度。
参见图2，作为上述方案的改进，S60、所述将分割后的全景二值图进行预设的图像检测处理，得到区域分割图，具体包括：
S601、对所述分割后的全景二值图进行双边滤波操作及高斯低通滤波操作，将双边滤波操作及高斯低通滤波操作处理后的全景二值图根据预设的边缘检测算法进行计算，得到第一检测处理图像。
在本实施例中，对全景二值图进行双边滤波操作和高斯低通滤波操作，并对所述图像滤波操作处理后的结果进行边缘检测算法操作，得到第一检测处理图像。
S602、对所述分割后的全景二值图进行中值滤波操作及均值滤波操作；将中值滤波操作及均值滤波操作处理后的全景二值图根据预设的连通域算法进行计算，得到第二检测处理图像。
在本实施例中，对全景二值图进行中值滤波操作和均值滤波操作，并对所述图像滤波操作处理后的结果进行连通域算法操作，得到第二检测处理图像。
S603、将所述第一检测处理图像以及第二检测处理图像进行归一化处理，得到所述区域分割图。
参见图3，是本发明一实施例提供的一种视频图像区域的分类装置的结构示意图。
本发明实施例对应提供了一种视频图像区域的分类装置，包括：
提取模块10，用于提取待处理视频中图像指标符合预设的图像标准的相邻的视频图像帧。
预处理模块20，用于根据获取的飞行参数以及拍摄所述待处理视频的相机参数，对所述视频图像帧进行矫正变换处理，得到预处理的视频图像帧；其中，所述飞行参数包括：无人机的飞行高度和摄像头的俯仰角度，所述相机参数包括：内参矩阵、旋转矩阵和平移矩阵。
拼接模块30，用于对所述预处理的视频图像帧进行依次拼接，得到拼接全景图。
第一处理模块40，用于通过预设的归一化植被指数对所述拼接全景图进行处理，得到全景灰度图。
第二处理模块50，用于根据预设的双阈值Otsu分割计算法对所述全景灰度图进行处理，得到全景二值图。
区域分割模块60，用于对所述全景二值图进行区域分割处理，并将分割后的全景二值图进行预设的图像检测处理，得到区域分割图。
分类模块70，用于根据目标区域特征将所述区域分割图进行分类。
本发明实施例提供的一种视频图像区域的分类装置，通过将处理后的拼接全景图进行预设的归一化植被指数处理得到全景灰度图，将全景灰度图根据预设的双阈值Otsu分割计算法得到全景二值图，对全景二值图进行分割，再根据目标区域特征将所述区域分割图进行分类。由于根据预设的归一化植被指数对全景拼接图进行处理，使得处理后的图像不同植被之间有明显差异，从而有助于区域的分类。
参见图4，是本发明一实施例提供的视频图像区域的分类设备的示意图。该实施例的视频图像区域的分类设备包括：处理器11、存储器12以及存储在所述存储器中并可在所述处理器11上运行的计算机程序。所述处理器11执行所述计算机程序时实现上述各个视频图像区域的分类方法实施例中的步骤。或者，所述处理器11执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器11执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述视频图像区域的分类设备中的执行过程。
所述视频图像区域的分类设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述视频图像区域的分类设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是视频图像区域的分类设备的示例，并不构成对视频图像区域的分类设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述视频图像区域的分类设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器11可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述视频图像区域的分类设备的控制中心，利用各种接口和线路连接整个视频图像区域的分类设备的各个部分。
所述存储器12可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述视频图像区域的分类设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述视频图像区域的分类设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (7)
1.一种视频图像区域的分类方法，其特征在于，包括：
提取待处理视频中图像指标符合预设的图像标准的相邻的视频图像帧；符合预设的图像标准为通过分别计算待处理视频中每一个视频图像帧的图像锐度和图像色彩平滑度，并取加权平均值，选取加权平均值最高的一帧；
根据获取的飞行参数以及拍摄所述待处理视频的相机参数，对所述视频图像帧进行矫正变换处理，得到预处理的视频图像帧；其中，所述飞行参数包括：无人机的飞行高度和摄像头的俯仰角度，所述相机参数包括：内参矩阵、旋转矩阵和平移矩阵；
对所述预处理的视频图像帧进行依次拼接，得到拼接全景图；具体包括：确定相邻视频图像帧的匹配区域，查找并提取待匹配图像各自的特征点，再采用光流法进行筛选，根据筛选出来的特征点的空间变换关系，对相邻视频图像帧进行空间变换，从而标定图像重合区域，并根据重合区域进行拼接从而得到拼接全景图；
通过预设的归一化植被指数对所述拼接全景图进行处理，得到全景灰度图；
根据预设的双阈值Otsu分割计算法对所述全景灰度图进行处理，得到全景二值图；
对所述全景二值图进行区域分割处理，并将分割后的全景二值图进行预设的图像检测处理，得到区域分割图；具体包括：
对所述分割后的全景二值图进行双边滤波操作及高斯低通滤波操作，将双边滤波操作及高斯低通滤波操作处理后的全景二值图根据预设的边缘检测算法进行计算，得到第一检测处理图像；
对所述分割后的全景二值图进行中值滤波操作及均值滤波操作；将中值滤波操作及均值滤波操作处理后的全景二值图根据预设的连通域算法进行计算，得到第二检测处理图像；
将所述第一检测处理图像以及第二检测处理图像进行归一化处理，得到所述区域分割图；
根据目标区域特征将所述区域分割图进行分类。
2.如权利要求1所述的视频图像区域的分类方法，其特征在于，所述通过预设的归一化植被指数对所述拼接全景图进行处理，得到全景灰度图，具体包括：
将所述拼接全景图中的所有R像素值、G像素值及B像素值逐个映射到DNVI灰度空间中，得到所述全景灰度图。
3.如权利要求1所述的视频图像区域的分类方法，其特征在于，所述图像指标包括：图像锐度以及图像色彩平滑度。
4.如权利要求1所述的视频图像区域的分类方法，其特征在于，所述目标区域特征包括：颜色特征、文理特征及角点分布特征。
5.一种视频图像区域的分类装置，其特征在于，包括：
提取模块，用于提取待处理视频中图像指标符合预设的图像标准的相邻的视频图像帧；符合预设的图像标准为通过分别计算待处理视频中每一个视频图像帧的图像锐度和图像色彩平滑度，并取加权平均值，选取加权平均值最高的一帧；
预处理模块，用于根据获取的飞行参数以及拍摄所述待处理视频的相机参数，对所述视频图像帧进行矫正变换处理，得到预处理的视频图像帧；其中，所述飞行参数包括：无人机的飞行高度和摄像头的俯仰角度，所述相机参数包括：内参矩阵、旋转矩阵和平移矩阵；
拼接模块，用于对所述预处理的视频图像帧进行依次拼接，得到拼接全景图；具体包括：确定相邻视频图像帧的匹配区域，查找并提取待匹配图像各自的特征点，再采用光流法进行筛选，根据筛选出来的特征点的空间变换关系，对相邻视频图像帧进行空间变换，从而标定图像重合区域，并根据重合区域进行拼接从而得到拼接全景图；
第一处理模块，用于通过预设的归一化植被指数对所述拼接全景图进行处理，得到全景灰度图；
第二处理模块，用于根据预设的双阈值Otsu分割计算法对所述全景灰度图进行处理，得到全景二值图；
区域分割模块，用于对所述全景二值图进行区域分割处理，并将分割后的全景二值图进行预设的图像检测处理，得到区域分割图；具体包括：
对所述分割后的全景二值图进行双边滤波操作及高斯低通滤波操作，将双边滤波操作及高斯低通滤波操作处理后的全景二值图根据预设的边缘检测算法进行计算，得到第一检测处理图像；
对所述分割后的全景二值图进行中值滤波操作及均值滤波操作；将中值滤波操作及均值滤波操作处理后的全景二值图根据预设的连通域算法进行计算，得到第二检测处理图像；
将所述第一检测处理图像以及第二检测处理图像进行归一化处理，得到所述区域分割图；
分类模块，用于根据目标区域特征将所述区域分割图进行分类。
6.一种视频图像区域的分类设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的视频图像区域的分类方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至4中任意一项所述的视频图像区域的分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911325011.6A CN111062341B (zh) | 2019-12-20 | 2019-12-20 | 视频图像区域的分类方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911325011.6A CN111062341B (zh) | 2019-12-20 | 2019-12-20 | 视频图像区域的分类方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111062341A CN111062341A (zh) | 2020-04-24 |
| CN111062341B true CN111062341B (zh) | 2024-03-19 |
Family
ID=70301366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911325011.6A Active CN111062341B (zh) | 2019-12-20 | 2019-12-20 | 视频图像区域的分类方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062341B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112016420A (zh) * | 2020-08-19 | 2020-12-01 | 云南电网有限责任公司临沧供电局 | 一种环网柜视频图像识别系统和方法 |
| CN112329649B (zh) * | 2020-11-09 | 2024-08-16 | 上海圣之尧智能科技有限公司 | 一种城市植被种类识别方法、系统、设备以及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102201115A (zh) * | 2011-04-07 | 2011-09-28 | 湖南天幕智能科技有限公司 | 无人机航拍视频实时全景图拼接方法 |
| CN103679145A (zh) * | 2013-12-06 | 2014-03-26 | 河海大学 | 一种手势自动识别方法 |
| CN103778426A (zh) * | 2012-10-22 | 2014-05-07 | 内蒙古大学 | 绿色作物特征提取方法以及农情信息检测视觉系统 |
| CN105045279A (zh) * | 2015-08-03 | 2015-11-11 | 余江 | 一种利用无人飞行器航拍自动生成全景照片的系统及方法 |
| CN105261017A (zh) * | 2015-10-14 | 2016-01-20 | 长春工业大学 | 基于路面约束的图像分割法提取行人感兴趣区域的方法 |
| CN105282397A (zh) * | 2014-07-22 | 2016-01-27 | 北京数码视讯科技股份有限公司 | 运动字幕的去隔行方法及装置 |
| CN105959576A (zh) * | 2016-07-13 | 2016-09-21 | 北京博瑞爱飞科技发展有限公司 | 无人机拍摄全景图的方法及装置 |
| CN106485655A (zh) * | 2015-09-01 | 2017-03-08 | 张长隆 | 一种基于四旋翼飞行器航拍地图生成系统及方法 |
| CN109146832A (zh) * | 2018-08-02 | 2019-01-04 | 广州市鑫广飞信息科技有限公司 | 一种视频图像的拼接方法、装置、终端设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010016053A1 (en) * | 1997-10-10 | 2001-08-23 | Monte A. Dickson | Multi-spectral imaging sensor |
-
2019
- 2019-12-20 CN CN201911325011.6A patent/CN111062341B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102201115A (zh) * | 2011-04-07 | 2011-09-28 | 湖南天幕智能科技有限公司 | 无人机航拍视频实时全景图拼接方法 |
| CN103778426A (zh) * | 2012-10-22 | 2014-05-07 | 内蒙古大学 | 绿色作物特征提取方法以及农情信息检测视觉系统 |
| CN103679145A (zh) * | 2013-12-06 | 2014-03-26 | 河海大学 | 一种手势自动识别方法 |
| CN105282397A (zh) * | 2014-07-22 | 2016-01-27 | 北京数码视讯科技股份有限公司 | 运动字幕的去隔行方法及装置 |
| CN105045279A (zh) * | 2015-08-03 | 2015-11-11 | 余江 | 一种利用无人飞行器航拍自动生成全景照片的系统及方法 |
| CN106485655A (zh) * | 2015-09-01 | 2017-03-08 | 张长隆 | 一种基于四旋翼飞行器航拍地图生成系统及方法 |
| CN105261017A (zh) * | 2015-10-14 | 2016-01-20 | 长春工业大学 | 基于路面约束的图像分割法提取行人感兴趣区域的方法 |
| CN105959576A (zh) * | 2016-07-13 | 2016-09-21 | 北京博瑞爱飞科技发展有限公司 | 无人机拍摄全景图的方法及装置 |
| CN109146832A (zh) * | 2018-08-02 | 2019-01-04 | 广州市鑫广飞信息科技有限公司 | 一种视频图像的拼接方法、装置、终端设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Region-based Segmentation of Social Images Using Soft KNN Algorithm;Seema Wazarkar 等;《Procedia Computer Science》;第123卷;93-98 * |
| 基于区域选择的视频分割;张伟 等;《黑龙江科技信息》;84 * |
| 高分辨率遥感图像区域分割及分类关键技术研究;景雨 等;《信息记录材料》;第20卷(第12期);196-197 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111062341A (zh) | 2020-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10943346B2 (en) | Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning | |
| WO2020160641A1 (en) | Shadow and cloud masking for remote sensing images in agriculture applications using multilayer perceptron | |
| CN109784250B (zh) | 自动引导小车的定位方法和装置 | |
| CN111062341B (zh) | 视频图像区域的分类方法、装置、设备及存储介质 | |
| CN111882565B (zh) | 一种图像二值化方法、装置、设备及存储介质 | |
| CN114897676A (zh) | 一种无人机遥感多光谱图像拼接方法、设备及介质 | |
| Liu et al. | Texture filtering based physically plausible image dehazing | |
| CN111062984B (zh) | 视频图像区域面积的测量方法、装置、设备及存储介质 | |
| CN111126296A (zh) | 水果定位方法及装置 | |
| CN113516059B (zh) | 固体废弃物的识别方法、装置、电子设备及存储介质 | |
| Furnari et al. | Generalized Sobel filters for gradient estimation of distorted images | |
| CN112215186A (zh) | 沼泽湿地植被分类方法、装置、计算机设备及存储介质 | |
| Peng et al. | Weed recognition using image blur information | |
| CN111311610A (zh) | 图像分割的方法及终端设备 | |
| CN113272855A (zh) | 用于重叠多图像应用的响应归一化 | |
| CN113033256B (zh) | 一种指尖检测模型的训练方法和设备 | |
| CN113255405B (zh) | 车位线识别方法及其系统、车位线识别设备、存储介质 | |
| CN112989924A (zh) | 目标检测方法、目标检测装置及终端设备 | |
| Algazinov et al. | Hardware–software complex for the analysis of a nonuniform flow of objects in real-time optical sorting systems | |
| Han et al. | TemPanSharpening: A multi-temporal Pansharpening solution based on deep learning and edge extraction | |
| Lian et al. | Learning tone mapping function for dehazing | |
| CN116363031B (zh) | 基于多维光学信息融合的成像方法、装置、设备及介质 | |
| Zhou et al. | Design and implementation of the UAV reconnaissance system | |
| CN111079666B (zh) | 地物识别方法、装置、设备及存储介质 | |
| CN117437654B (zh) | 一种基于语义识别的栅格地图解析方法、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |