CN115294489B - 一种灾害视频数据的语义分割方法和系统 - Google Patents

一种灾害视频数据的语义分割方法和系统 Download PDF

Info

Publication number
CN115294489B
CN115294489B CN202210738511.8A CN202210738511A CN115294489B CN 115294489 B CN115294489 B CN 115294489B CN 202210738511 A CN202210738511 A CN 202210738511A CN 115294489 B CN115294489 B CN 115294489B
Authority
CN
China
Prior art keywords
semantic segmentation
video data
disaster
segmentation result
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210738511.8A
Other languages
English (en)
Other versions
CN115294489A (zh
Inventor
乔慧娇
万雪
万幼川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202210738511.8A priority Critical patent/CN115294489B/zh
Publication of CN115294489A publication Critical patent/CN115294489A/zh
Application granted granted Critical
Publication of CN115294489B publication Critical patent/CN115294489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种灾害视频数据的语义分割方法和系统，涉及图像语义分割领域。该方法包括：建立包括灾害场景的训练数据集，根据语义分割网络和所述数据集，对灾害视频数据进行初步处理，获得初始语义分割结果，根据自动校正算法对所述初始语义分割结果进行自动校正，获得校正后的所述灾害视频数据的语义分割结果，通过本方案的语义分割算法，分割快速、准确且少人工干预，能够以无监督的方式完成初始语义分割结果的校正，从而快速得到满足灾害应急救援精度需求的地物信息。

Description

一种灾害视频数据的语义分割方法和系统
技术领域
本发明涉及图像语义分割领域，尤其涉及一种灾害视频数据的语义分割方法和系统。
背景技术
随着航空航天技术的发展，尤其是视频卫星的出现，通过凝视成像的方式持续对地观测，将时间分辨率提升到了秒级，可以记录到同一场景中地物的全部变化信息。灾害视频数据可以在短时间内获得地物处于灾害不同时期的全部形态信息，对于灾害的研究非常必要。视频图像的语义分割能够提供有效的地物类别信息，可以为灾害应急救援、灾后损失评估和重建等任务提供决策信息，是灾害应急和灾后评估的有效技术手段。
灾害视频数据语义分割的执行速度和精度直接决定了灾变信息提取的高效性和准确率，是灾害应急救援和灾损评估中高度关注的。全球灾害形形色色，尽管有一些相关数据集，但是这些数据集的建立无法满足不同灾害的研究需求，因此无法直接使用现现成的语义分割网络得到可信的结果。为了获得高精度的语义分割结果，往往需要投入大量的人力，但是这些措施不利于灾害的快速、准确的进行。
传统的语义分割算法只适用于较为简单的场景，准确率低、效率差，随着成像环境的复杂化、数据集规模的扩大，这类方法逐渐不再适用。深度学习和传统方法结合的语义分割方法是将深度学习算法和传统语义分割方法相结合，实现物体分割和识别的自动语义标注，这类算法尽管使用卷积神经网络模型作为训练数据的特征分类器，但仍然受到传统分割算法的制约，精度普遍较低。深度学习技术有着超强的数据学习能力和特征抽象能力，在遥感影像语义分割中表现出显著的优势，但是基于深度学习的语义分割模型无法兼顾精度和效率。强监督的深度学习网络模型计算精度较高，但是需要人工标注大量的训练数据集，在应急灾害救援中无法满足其时效性，弱监督和无监督语义分割网络模型虽然很少需要或者是不需要训练数据集，但是遥感影像的“同物异谱，异物同谱”现象非常常见，缺少当前场景中训练数据的支持会直接导致较差的计算精度。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种灾害视频数据的语义分割方法和系统。
本发明解决上述技术问题的技术方案如下：
一种灾害视频数据的语义分割方法，包括：
建立包括灾害场景的训练数据集；
根据语义分割网络和所述数据集，对灾害视频数据进行初步处理，获得初始语义分割结果；
根据自动校正算法对所述初始语义分割结果进行自动校正，获得校正后的所述灾害视频数据的语义分割结果。
本发明的有益效果是：本方案通过语义分割网络和所述数据集，对灾害视频数据进行初步处理，根据自动校正算法对所述初始语义分割结果进行自动校正，获得校正后的所述灾害视频数据的语义分割结果，通过本方案的语义分割算法，分割快速、准确且少人工干预，能够以无监督的方式完成初始语义分割结果的校正，从而快速得到满足灾害应急救援精度需求的地物信息。
进一步地，所述建立包括灾害场景的训练数据集具体包括：
获取灾害视频数据，对所述灾害视频数据进行预处理；
在预处理后的灾害视频数据中选择包括灾害场景的视频数据构建训练数据集。
采用上述进一步方案的有益效果是：本方案实现了从视频数据中选择代表灾害进行不同时期的各一帧数据经过监督分类后连同前述数据一起构成训练数据集。
进一步地，所述获取灾害视频数据，对所述灾害视频数据进行预处理，具体包括：
获取灾害视频数据；
将所述灾害视频数据转换成图片序列，获得预处理后的灾害视频数据。
采用上述进一步方案的有益效果是：本方案通过将所述灾害视频数据转换成图片序列，使得处理后的图像数据尺寸满足后续的提取要求。
进一步地，所述根据自动校正算法对所述初始语义分割结果进行自动校正，获得所述灾害视频数据的语义分割结果，具体包括：
提取所述初始语义分割结果的灾变区域和非灾变区域；
根据所述灾变区域和所述非灾变区域构建的自动校正算法对所述初始语义分割结果进行自动校正，获得所述灾害视频数据的语义分割结果。
采用上述进一步方案的有益效果是：本方案根据所述灾变区域和所述非灾变区域构建的自动校正算法对所述初始语义分割结果进行自动校正，提高视频数据语义分割结果的精度。
进一步地，所述根据自动校正算法对所述初始语义分割结果进行自动校正，具体包括：
通过投票法对所述初始语义分割结果中的非灾变区域地物进行自动校正；
通过替代法对所述初始语义分割结果中的灾变区域的突变型地物进行自动校正；
通过图像细化法对所述初始语义分割结果中的灾变区域动荡型地物进行自动校正。
采用上述进一步方案的有益效果是：本方案通过不同方法对初始语义分割结果中的不同类型灾害进行校正，实现灾害视频数据快速且准确的语义分割。
本发明解决上述技术问题的另一种技术方案如下：
一种灾害视频数据的语义分割系统，包括：建立训练集模块、初步处理模块和自动校正模块；
所述建立训练集模块用于建立包括灾害场景的训练数据集；
所述初步处理模块用于根据语义分割网络和所述数据集，对灾害视频数据进行初步处理，获得初始语义分割结果；
所述自动校正模块用于根据自动校正算法对所述初始语义分割结果进行自动校正，获得校正后的所述灾害视频数据的语义分割结果。
本发明的有益效果是：本方案通过语义分割网络和所述数据集，对灾害视频数据进行初步处理，根据自动校正算法对所述初始语义分割结果进行自动校正，获得校正后的所述灾害视频数据的语义分割结果，通过本方案的一种快速、准确且少人工干预的语义分割算法，能够以无监督的方式完成初始语义分割结果的校正，从而快速得到满足灾害应急救援精度需求的地物信息。
进一步地，所述建立训练集模块具体用于获取灾害视频数据，对所述灾害视频数据进行预处理；
在预处理后的灾害视频数据中选择包括灾害场景的视频帧数据构建训练数据集。
采用上述进一步方案的有益效果是：本方案实现了从视频数据中选择代表灾害进行不同时期的各一帧数据经过监督分类后连同前述数据一起构成训练数据集。
进一步地，所述建立训练集模块具体用于获取灾害视频数据；
将所述灾害视频数据转换成图片序列，获得预处理后的灾害视频数据。
采用上述进一步方案的有益效果是：本方案通过将所述灾害视频数据转换成图片序列，使得处理后的图像数据尺寸满足后续的提取要求。
进一步地，所述自动校正模块具体用于提取所述初始语义分割结果的灾变区域和非灾变区域；
根据所述灾变区域和所述非灾变区域构建的自动校正算法对所述初始语义分割结果进行自动校正，获得所述灾害视频数据的语义分割结果。
采用上述进一步方案的有益效果是：本方案根据所述灾变区域和所述非灾变区域构建的自动校正算法对所述初始语义分割结果进行自动校正，提高视频数据语义分割结果的精度。
进一步地，所述自动校正模块具体用于通过投票法对所述初始语义分割结果中的非灾变区域地物进行自动校正；
通过替代法对所述初始语义分割结果中的灾变区域的突变型地物进行自动校正；
通过图像细化法对所述初始语义分割结果中的灾变区域动荡型地物进行自动校正。
采用上述进一步方案的有益效果是：本方案通过不同方法对初始语义分割结果中的不同类型灾害进行校正，实现灾害视频数据快速且准确的语义分割。
本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
图1为本发明的实施例提供的一种灾害视频数据的语义分割方法的流程示意图；
图2为本发明的实施例提供的一种灾害视频数据的语义分割系统的结构框架图；
图3为本发明的其他实施例提供的语义分割算法流程图；
图4为本发明的其他实施例提供的图像骨架提取算法细化流程图；
图5为本发明的其他实施例提供的待删除点的8邻域标记示意图；
图6为本发明的其他实施例提供的待删除点的8邻域对应二值化结果示意图；
图7为本发明的其他实施例提供的灾变区域突变型的校正过程示意图；
图8为本发明的其他实施例提供的灾变区域动荡型的校正过程示意图；
图9(a)为本发明的其他实施例提供的灾害早期视频数据(第160帧)；
图9(b)为本发明的其他实施例提供的灾害中期视频数据(第280帧)；
图9(c)为本发明的其他实施例提供的灾害末期视频数据(第430帧)；
图10(a)为本发明的其他实施例提供的第160帧图像分类结果；
图10(b)为本发明的其他实施例提供的第280帧图像分类结果；
图10(c)为本发明的其他实施例提供的第430帧图像分类结果。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，为本发明实施例提供的一种灾害视频数据的语义分割方法，包括：
S1，建立包括灾害场景的训练数据集；
需要说明的是，在某一实施例中，S1具体可以包括：将灾害视频数据转换成图片序列，因为后期所用的灾变范围提取算法OFATS对输入数据尺寸有要求，长宽都必须为32的整数倍，因此将图片序列在本身尺寸基础上统一裁剪成最接近32倍数的尺寸；其中，OFATS算法通过计算相邻视频帧图像像元的运动信息，结合优化策略快速判断发生运动的像元，并定义为变化，从而实现灾变范围和非灾变范围的分割。
在预处理后的灾害视频数据中分别选择灾害不同时期的各一期数据，其中，如图9(a)、图9(b)、图9(c)所示，灾害不同时期包括：早期、中和末期，其中灾害早期地物没有发生变化，灾害中期地物发生运动变化，有形变但是不存在位置变化，灾害末期地物发生从有到无的外形变化，依据应急需求进行所分地物种类的确定，接着利用监督分类方法，首先通过目视判读对遥感图像上的每一种类别选取一定数量的训练样本做标记，然后利用这些先验信息对分类函数进行训练，然后利用训练好的分类函数完成图像分类，以此作为视频帧图像的真值标注，然后通过数据增强方法完成大样本的训练数据集的构建。图10为上述三个不同灾害时期的监督分类结果，其中图10(a)、图10(b)、图10(c)中黑色，灰色和白色分别代表建筑物、植被和裸地，可以看到灾害早期黑色区域较为规则，随着灾害的演进，黑色区域没有发生明显的位置变化，但是边缘信息出现很多噪声，而且黑色和灰色区域逐渐减少，取而代之的是白色区域，上述监督分类结果和相对应的灾害不同时期的原始图像基本保持一致。
S2，根据语义分割网络和所述数据集，对灾害视频数据进行初步处理，获得初始语义分割结果；
需要说明的是，在某一实施例中，利用上述训练数据集对SegNet语义分割网络进行预训练，然后对其余视频数据做预测，得到初始语义分割结果。SegNet语义分割网络包括：在全卷积神经网络的基础上，搭建编码器-解码器对称结构，实现端到端的像素级别图像分割。
S3，根据自动校正算法对所述初始语义分割结果进行自动校正，获得校正后的所述灾害视频数据的语义分割结果。
需要说明的是，在某一实施例中，根据自动校正算法对所述初始语义分割结果进行自动校正具体包括：
先利用OFATS算法完成灾变范围的提取，借助于长时间序列视频数据的优势对灾变区域和非灾变区域构建不同的自动校正方法完成初始语义分割结果的校正，如图3所示。自动校正主要从三个方面进行：非灾变区域地物、灾变区域的突变型地物和灾变区域动荡型地物，其中，在本次实验中主要涉及的地物信息是：建筑物、植被和裸地。非灾变区域地物类型并未发生变化，因此采用投票法进行校正。对初始分割结果非变化区域的全部像素进行投票表决，票数最多的类别标签即为该像素点的最终分类标签；针对灾变区域突变型的错误语义分割结果，将该帧图像的前后两帧图像语义分割结果替换其错分地物的语义分割结果即可，其中突变型是指连续三帧图像，第二和第三帧图像分类标签一致，但是第一帧图像的分类标签有差异，那么需要利用第二帧或第三帧图像的分类标签替换第一帧图像的分类结果。
在某一实施例中，如图7所示，突变型：原始图像中亮色区域代表建筑物，在第160帧图像的分割结果中将这部分进行了错误的分割，但是其之后的视频帧，比如第180帧图像和第200帧图像都被正确分类为建筑物，所以用第180帧或者是第200帧的SegNet分割结果对第160帧图像的分割结果进行替换。
在某一实施例中，如图8所示，动荡型：由原始图像可以看出，从第350帧图像开始建筑物区域逐渐被海啸袭击，呈现范围缩小且移动的态势，第360帧和380帧的分割结果和实际的变化态势相吻合，但是第370帧图像的语义分割结果明显比实际的建筑物范围要小，而且分割结果的范围远小于第380帧图像的语义分割结果，所以不符合实际情况，因此，需要结合长时间序列图像(第360-第380帧图像)的语义分割结果对其进行语义分割结果的校正。
上述两种类型的语义分割结果校正较为简单。动荡型的错误语义分割结果经常是地物语义信息存在往复变化，在连续图像上同一地物的语义信息并不是随着灾害的侵袭呈现渐变的态势，需要结合长时序图像语义信息利用图像骨架法进行处理，如图4所示，具体包括以下四个操作步骤：其中，长时序图像语义信息表示视频数据，因为1秒钟会有30帧数据，相邻的数据有很多相似性。
第一步：对待校正图像的前后帧图像的语义分割结果做差提取待校正范围，其计算方式Fi+1＝Fi+2-Fi，其中Fi、Fi+1和Fi+2分别代表相邻的视频帧语义分割结果。
第二步：利用图像骨架法对待校正区域进行骨架线提取：
(1)待校正区域进行二值化，如图6所示；
(2)确定删除点；
对二值图像中值为1的点，如P1为待判断是否需要删除的点，对其构建8邻域并分别按照顺时针方向对8邻域进行标记，如图5所示，判断其是否同时满足以下四个条件：
2≤B(P1)≤6，
A(P1)＝1，
P2×P4×P6＝0，
P4×P6×P8＝0，
其中B(P1)计算公式如下，其本质是统计1的个数：
B(P1)＝P2+P3+P4+P5+P6+P7+P8+P9，
A(P1)是从P2开始顺时针计数0→1的个数，其中P9接P2。
如果同时满足上述4个条件，则令P1＝0，可以初步判定为待删除的点并做标记，如图5所示和如图6所示，遍历完全部边界点后，再将这些标记点一并删除，至此完成东南方向点的删除。类似于上述操作，进行西北方向点的标记和删除，判断是否同时满足以下四个条件，对符合条件的点进行标记，遍历结束后对标记点进行删除。
2≤B(P1)≤6，
A(P1)＝1，
P2×P4×P6＝0，
P2×P4×P8＝0，
对整幅图像反复执行上述两个判断和相应的删除操作，直到没有可标记的点，至此完成骨架线的提取。
第三步：新区域的生成及语义信息赋值；
利用提取的骨架线作为F2图像语义分割结果待校正的边界线，利用F3图像中相应的位置的语义信息进行赋值，完成F2图像的语义信息校正。其中，F2图像与F3图像表示前后两帧图像。
第四步：利用监督分类结果对上述校正结果进行精度验证
在ENVI中利用监督分类的方法对中间帧图像进行地物分类，并以此作为真值，分别对此中间帧图像的初始语义分割结果和校正后的语义分割结果进行精度计算，选用混淆矩阵作为精度评价依据，对比分析校正结果精度的提高幅度。实验结果表明，中间帧图像的初始语义分割结果精度为78.51％，校正后的结果精度为80.07％，精度大约提升了5％，如表1中间帧图像初始语义分割结果精度验证和表2中间帧图像校正后语义分割结果精度验证所示。因此，可以说明无监督校正算法是有效的，对提高视频数据语义分割结果的精度有积极作用。
Figure BDA0003707347990000101
Figure BDA0003707347990000111
表1
Figure BDA0003707347990000112
表2
本方案通过语义分割网络和所述数据集，对灾害视频数据进行初步处理，根据自动校正算法对所述初始语义分割结果进行自动校正，获得校正后的所述灾害视频数据的语义分割结果，通过本方案的一种快速、准确且少人工干预的语义分割算法，能够以无监督的方式完成初始语义分割结果的校正，从而快速得到满足灾害应急救援精度需求的地物信息。
优选地，在上述任意实施例中，所述建立包括灾害场景的训练数据集具体包括：
获取灾害视频数据，对所述灾害视频数据进行预处理；
在预处理后的灾害视频数据中选择包括灾害场景的视频帧数据构建训练数据集。
实现了从视频数据中选择代表灾害进行不同时期的各一帧数据经过监督分类后连同前述数据一起构成训练数据集。
优选地，在上述任意实施例中，所述获取灾害视频数据，对所述灾害视频数据进行预处理，具体包括：
获取灾害视频数据；
将所述灾害视频数据转换成图片序列，获得预处理后的灾害视频数据。
本方案通过将所述灾害视频数据转换成图片序列，使得处理后的图像数据尺寸满足后续的提取要求。
优选地，在上述任意实施例中，所述根据自动校正算法对所述初始语义分割结果进行自动校正，获得所述灾害视频数据的语义分割结果，具体包括：
提取所述初始语义分割结果的灾变区域和非灾变区域；
根据所述灾变区域和所述非灾变区域构建的自动校正算法对所述初始语义分割结果进行自动校正，获得所述灾害视频数据的语义分割结果。
本方案根据所述灾变区域和所述非灾变区域构建的自动校正算法对所述初始语义分割结果进行自动校正，提高视频数据语义分割结果的精度。
优选地，在上述任意实施例中，所述根据自动校正算法对所述初始语义分割结果进行自动校正，具体包括：
通过投票法对所述初始语义分割结果中的非灾变区域地物进行自动校正；
通过替代法对所述初始语义分割结果中的灾变区域的突变型地物进行自动校正；
通过图像细化法对所述初始语义分割结果中的灾变区域动荡型地物进行自动校正。
本方案通过不同方法对初始语义分割结果中的不同类型灾害进行校正，实现灾害视频数据快速且准确的语义分割。
在某一实施例中，如图2所示，一种灾害视频数据的语义分割系统，包括：建立训练集模块1101、初步处理模块1102和自动校正模块1103；
所述建立训练集模块1101用于建立包括灾害场景的训练数据集；
所述初步处理模块1102用于根据语义分割网络和所述数据集，对灾害视频数据进行初步处理，获得初始语义分割结果；
所述自动校正模块1103用于根据自动校正算法对所述初始语义分割结果进行自动校正，获得校正后的所述灾害视频数据的语义分割结果。
本方案通过语义分割网络和所述数据集，对灾害视频数据进行初步处理，根据自动校正算法对所述初始语义分割结果进行自动校正，获得校正后的所述灾害视频数据的语义分割结果，通过本方案的一种快速、准确且少人工干预的语义分割算法，能够以无监督的方式完成初始语义分割结果的校正，从而快速得到满足灾害应急救援精度需求的地物信息。
优选地，在上述任意实施例中，所述建立训练集模块1101具体用于获取灾害视频数据，对所述灾害视频数据进行预处理；
在预处理后的灾害视频数据中选择包括灾害场景的视频帧数据构建训练数据集。
本方案针对灾害训练数据集缺少的现状，结合灾情选择视频数据中不同灾害时期数据。
优选地，在上述任意实施例中，所述建立训练集模块1101具体用于获取灾害视频数据；
将所述灾害视频数据转换成图片序列，获得预处理后的灾害视频数据。
本方案通过将所述灾害视频数据转换成图片序列，使得处理后的图像数据尺寸满足后续的提取要求。
优选地，在上述任意实施例中，所述自动校正模块1103具体用于提取所述初始语义分割结果的灾变区域和非灾变区域；
根据所述灾变区域和所述非灾变区域构建的自动校正算法对所述初始语义分割结果进行自动校正，获得所述灾害视频数据的语义分割结果。
本方案根据所述灾变区域和所述非灾变区域构建的自动校正算法对所述初始语义分割结果进行自动校正，提高视频数据语义分割结果的精度。
优选地，在上述任意实施例中，所述自动校正模块1103具体用于通过投票法对所述初始语义分割结果中的非灾变区域地物进行自动校正；
通过替代法对所述初始语义分割结果中的灾变区域的突变型地物进行自动校正；
通过图像细化法对所述初始语义分割结果中的灾变区域动荡型地物进行自动校正。
本方案通过不同方法对初始语义分割结果中的不同类型灾害进行校正，实现灾害视频数据快速且准确的语义分割。
可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。
需要说明的是，上述各实施例是与在先方法实施例对应的产品实施例，对于产品实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。
上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种灾害视频数据的语义分割方法，其特征在于，包括：
建立包括灾害场景的训练数据集；
根据语义分割网络和所述数据集，对灾害视频数据进行初步处理，获得初始语义分割结果；
根据自动校正算法对所述初始语义分割结果进行自动校正，获得校正后的所述灾害视频数据的语义分割结果；
所述根据自动校正算法对所述初始语义分割结果进行自动校正，获得所述灾害视频数据的语义分割结果，具体包括：
提取所述初始语义分割结果的灾变区域和非灾变区域；
根据所述灾变区域和所述非灾变区域构建的自动校正算法对所述初始语义分割结果进行自动校正，获得所述灾害视频数据的语义分割结果；
所述根据自动校正算法对所述初始语义分割结果进行自动校正，具体包括：
通过投票法对所述初始语义分割结果中的非灾变区域地物进行自动校正；
通过替代法对所述初始语义分割结果中的灾变区域的突变型地物进行自动校正；
通过图像细化法对所述初始语义分割结果中的灾变区域动荡型地物进行自动校正；具体过程包括：
第一步：对待校正图像的前后帧图像的语义分割结果做差提取待校正范围；
第二步：利用图像骨架法对待校正区域进行骨架线提取；
第三步：利用提取的骨架线作为F2图像语义分割结果待校正的边界线，利用F3图像中相应的位置的语义信息进行赋值，完成F2图像的语义信息校正；其中，F2图像与F3图像表示前后两帧图像。
2.根据权利要求1所述的一种灾害视频数据的语义分割方法，其特征在于，所述建立包括灾害场景的训练数据集具体包括：
获取灾害视频数据，对所述灾害视频数据进行预处理；
在预处理后的灾害视频数据中选择包括灾害场景的视频帧数据构建训练数据集。
3.根据权利要求2所述的一种灾害视频数据的语义分割方法，其特征在于，所述获取灾害视频数据，对所述灾害视频数据进行预处理，具体包括：
获取灾害视频数据；
将所述灾害视频数据转换成图片序列，获得预处理后的灾害视频数据。
4.一种灾害视频数据的语义分割系统，其特征在于，包括：建立训练集模块、初步处理模块和自动校正模块；
所述建立训练集模块用于建立包括灾害场景的训练数据集；
所述初步处理模块用于根据语义分割网络和所述数据集，对灾害视频数据进行初步处理，获得初始语义分割结果；
所述自动校正模块用于根据自动校正算法对所述初始语义分割结果进行自动校正，获得校正后的所述灾害视频数据的语义分割结果；
所述自动校正模块具体用于提取所述初始语义分割结果的灾变区域和非灾变区域；
根据所述灾变区域和所述非灾变区域构建的自动校正算法对所述初始语义分割结果进行自动校正，获得所述灾害视频数据的最终的语义分割结果；
所述自动校正模块具体用于通过投票法对所述初始语义分割结果中的非灾变区域地物进行自动校正；
通过替代法对所述初始语义分割结果中的灾变区域的突变型地物进行自动校正；
通过图像细化法对所述初始语义分割结果中的灾变区域动荡型地物进行自动校正，具体过程包括：
第一步：对待校正图像的前后帧图像的语义分割结果做差提取待校正范围；
第二步：利用图像骨架法对待校正区域进行骨架线提取；
第三步：利用提取的骨架线作为F2图像语义分割结果待校正的边界线，利用F3图像中相应的位置的语义信息进行赋值，完成F2图像的语义信息校正；其中，F2图像与F3图像表示前后两帧图像。
5.根据权利要求4所述的一种灾害视频数据的语义分割系统，其特征在于，所述建立训练集模块具体用于获取灾害视频数据，对所述灾害视频数据进行预处理；
在预处理后的灾害视频数据中选择包括灾害场景的视频帧数据构建训练数据集。
6.根据权利要求5所述的一种灾害视频数据的语义分割系统，其特征在于，所述建立训练集模块具体用于获取灾害视频数据；
将所述灾害视频数据转换成图片序列，获得预处理后的灾害视频数据。
CN202210738511.8A 2022-06-22 2022-06-22 一种灾害视频数据的语义分割方法和系统 Active CN115294489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210738511.8A CN115294489B (zh) 2022-06-22 2022-06-22 一种灾害视频数据的语义分割方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210738511.8A CN115294489B (zh) 2022-06-22 2022-06-22 一种灾害视频数据的语义分割方法和系统

Publications (2)

Publication Number Publication Date
CN115294489A CN115294489A (zh) 2022-11-04
CN115294489B true CN115294489B (zh) 2023-06-09

Family

ID=83821034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210738511.8A Active CN115294489B (zh) 2022-06-22 2022-06-22 一种灾害视频数据的语义分割方法和系统

Country Status (1)

Country Link
CN (1) CN115294489B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280452A (zh) * 2018-01-26 2018-07-13 深圳市唯特视科技有限公司 一种基于并行网络构架的图像语义标签纠错方法
CN110110682A (zh) * 2019-05-14 2019-08-09 西安电子科技大学 遥感图像的语义立体重构方法
CN110111346A (zh) * 2019-05-14 2019-08-09 西安电子科技大学 基于视差信息的遥感图像语义分割方法
CN110363728A (zh) * 2019-07-25 2019-10-22 上海尊溢商务信息咨询有限公司 一种基于语义分割的图像trimap生成方法
CN113435268A (zh) * 2021-06-09 2021-09-24 武汉理工大学 基于图变换知识嵌入算法的地震灾区遥感影像解译方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796662B (zh) * 2019-09-11 2022-04-19 浙江大学 一种实时的语义视频分割方法
CN111381275A (zh) * 2019-11-20 2020-07-07 中国海洋石油集团有限公司 一种地震数据的初至拾取方法和装置
JP7207359B2 (ja) * 2020-04-06 2023-01-18 トヨタ自動車株式会社 道路領域補正装置、道路領域補正方法及び道路領域補正用コンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280452A (zh) * 2018-01-26 2018-07-13 深圳市唯特视科技有限公司 一种基于并行网络构架的图像语义标签纠错方法
CN110110682A (zh) * 2019-05-14 2019-08-09 西安电子科技大学 遥感图像的语义立体重构方法
CN110111346A (zh) * 2019-05-14 2019-08-09 西安电子科技大学 基于视差信息的遥感图像语义分割方法
CN110363728A (zh) * 2019-07-25 2019-10-22 上海尊溢商务信息咨询有限公司 一种基于语义分割的图像trimap生成方法
CN113435268A (zh) * 2021-06-09 2021-09-24 武汉理工大学 基于图变换知识嵌入算法的地震灾区遥感影像解译方法

Also Published As

Publication number Publication date
CN115294489A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN111325203B (zh) 一种基于图像校正的美式车牌识别方法及系统
CN109740515B (zh) 一种评阅方法及装置
US8135216B2 (en) Systems and methods for unsupervised local boundary or region refinement of figure masks using over and under segmentation of regions
CN104715253A (zh) 一种获取试题解析信息的方法及服务器
CN112465746A (zh) 一种射线底片中小缺陷检测方法
CN113591831A (zh) 一种基于深度学习的字体识别方法、系统及存储介质
CN112102250B (zh) 训练数据为缺失标注的病理图像检测模型建立、检测方法
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN116071294A (zh) 一种光纤表面缺陷检测方法和装置
CN113627302B (zh) 一种登高施工合规性检测方法及系统
CN117765485A (zh) 基于改进的深度残差网络的车型识别方法、装置和设备
CN117218672A (zh) 一种基于深度学习的病案文字识别方法及系统
CN115294489B (zh) 一种灾害视频数据的语义分割方法和系统
CN116958089A (zh) 一种基于双重注意力机制的石油管道裂纹检测方法
JP2011170890A (ja) 顔検出方法および装置並びにプログラム
CN112560925A (zh) 一种复杂场景目标检测数据集构建方法及系统
CN116721294A (zh) 一种基于层次细粒度分类的图像分类方法
CN116977931A (zh) 一种基于深度学习的高空抛物识别方法
CN111931689B (zh) 一种在线提取视频卫星数据鉴别特征的方法
CN110348404B (zh) 一种农村道路景观视觉评价分析方法
JP2007025766A (ja) 顔検出方法および装置並びにプログラム
CN112307908B (zh) 一种视频语义提取方法及装置
CN117474915B (zh) 一种异常检测方法、电子设备及存储介质
CN113076909B (zh) 一种细胞自动检测方法
CN115019045B (zh) 一种基于多成分邻域的小数据甲状腺超声图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant