CN115578725B - 一种基于人机协同的滑坡边界与裂缝的标注方法及系统 - Google Patents

一种基于人机协同的滑坡边界与裂缝的标注方法及系统 Download PDF

Info

Publication number
CN115578725B
CN115578725B CN202211093095.7A CN202211093095A CN115578725B CN 115578725 B CN115578725 B CN 115578725B CN 202211093095 A CN202211093095 A CN 202211093095A CN 115578725 B CN115578725 B CN 115578725B
Authority
CN
China
Prior art keywords
landslide
crack
marking
boundary
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211093095.7A
Other languages
English (en)
Other versions
CN115578725A (zh
Inventor
朱赛楠
殷跃平
黄坚
杜博文
佟彬
赵慧
涂博文
李鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Institute Of Geological Environment Monitoring
Original Assignee
China Institute Of Geological Environment Monitoring
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Institute Of Geological Environment Monitoring filed Critical China Institute Of Geological Environment Monitoring
Priority to CN202211093095.7A priority Critical patent/CN115578725B/zh
Publication of CN115578725A publication Critical patent/CN115578725A/zh
Application granted granted Critical
Publication of CN115578725B publication Critical patent/CN115578725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/23Dune restoration or creation; Cliff stabilisation

Abstract

本发明涉及一种基于人机协同的滑坡边界与裂缝的标注方法及系统,其方法包括:S1:基于滑坡现场图像,标注人员划定待标注对象的标注范围及其类型,如果判定其类型是滑坡边界时,转至步骤S2,否则转至步骤S3;S2:利用裸露岩石与山体植被的色差获取边界信息,得到滑坡边界初始标注结果;S3:使用训练好的语义分割模型获取滑坡现场图像中裂缝范围,利用图像细化算法获取裂缝图像骨架,得到裂缝初始标注结果;S4:利用膨胀与再细化方法对滑坡边界初始标注结果或者裂缝初始标注结果中的重叠区域进行修正,得到最终的标注结果。本发明提供的方法可自动完成标注过程中曲线勾画的工作,极大地减少了标注人员的操作量,提升了标注的效率。

Description

一种基于人机协同的滑坡边界与裂缝的标注方法及系统
技术领域
本发明涉及图像处理领域,具体涉及一种基于人机协同的滑坡边界与裂缝的标注方法及系统。
背景技术
泥石流和山体滑坡作为地质灾害中的常见灾害类型,每年都会给我国人民的生命和财产安全带来巨大损失。为了更好的应对滑坡灾害,降低其带来的威胁,滑坡的检测与预警工作变得非常重要。在检测问题上,典型山体滑坡具有裸露岩石与山体植被在颜色上差异明显的特点,这让滑坡边界的检测变得简单可行;而对于滑坡的预警,山体出现的裂缝是一个重要检测目标,可以用裂缝中心线作为对裂缝的识别依据。
近年来,以深度学习为代表的人工智能技术飞速发展,在很多行业得到深入应用。深度学习技术采用数据驱动的建模方法,从大量业务数据样本中自动提取领域对象的特征,通过深度神经网络揭示数据中隐藏的深层规律。相比传统模型驱动的数据分析方法,数据驱动的深度学习方法具有泛化能力强,处理效率高等显著优势,使用深度神经网络是实现滑坡灾害智能识别的高效方法。并且许多学者和行业专家从不同角度开展了利用深度学习方法进行滑坡灾害分析的研究并验证了其有效性。
为了能将深度学习技术应用于滑坡的检测与预警工作,需要大量的标注样本。但不同于道路信息标注中以直线为主的模式,不论是滑坡边界还是裂缝中心线均包含大量曲线,人工标注时工作量大,同时受制于鼠标操作的局限性,标注人员在勾勒曲线时很难做到与真实情况完美贴合。
发明内容
为了解决上述技术问题,本发明提供一种基于人机协同的滑坡边界与裂缝的标注方法及系统。
本发明技术解决方案为:一种基于人机协同的滑坡边界与裂缝的标注方法,包括:
步骤S1:基于滑坡现场图像,标注人员根据需求划定待标注对象的标注范围及其类型,其中,所述类型包括:滑坡边界和裂缝;如果判定是滑坡边界时,转至步骤S2,否则转至步骤S3;
步骤S2:利用所述滑坡现场图像中裸露岩石与山体植被的色差获取边界信息,得到滑坡边界初始标注结果;
步骤S3:使用训练好的语义分割模型获取所述滑坡现场图像中裂缝范围,利用图像细化算法获取裂缝图像骨架,得到裂缝初始标注结果;
步骤S4:利用膨胀与再细化方法对所述滑坡边界初始标注结果或者所述裂缝初始标注结果中的重叠区域进行修正,得到最终的标注结果。
本发明与现有技术相比,具有以下优点:
本发明公开了一种基于人机协同的滑坡边界与裂缝的标注方法,在滑坡边界与裂缝的标注工作中,将耗时最久的曲线勾画交由系统自动完成,而标注人员只需要进行简单的框选、擦除、点击等操作,极大的减少了标注过程中人员的操作量,提升了标注的效率。
附图说明
图1为本发明实施例中一种基于人机协同的滑坡边界与裂缝的标注方法的流程图;
图2为本发明实施例中滑坡边界初始标注结果示意图;
图3为本发明实施例中使用语义分割模型得到的裂缝的识别结果示意图;
图4为本发明实施例中Zhang并行细化算法中八邻域点示意图;
图5为本发明实施例中细化后的裂缝骨架示意图;
图6为本发明实施例中一种基于人机协同的滑坡边界与裂缝的标注系统的结构框图。
具体实施方式
本发明提供了一种基于人机协同的滑坡边界与裂缝的标注方法,可自动完成标注过程中耗时最久的曲线勾画的工作,极大地减少了标注人员的操作量,提升了标注的效率。
为了使本发明的目的、技术方案及优点更加清楚,以下通过具体实施,并结合附图,对本发明进一步详细说明。
实施例一
如图1所示,本发明实施例提供的一种基于人机协同的滑坡边界与裂缝的标注方法,包括下述步骤:
步骤S1:基于滑坡现场图像,标注人员根据需求划定待标注对象的标注范围及其类型,其中,类型包括:滑坡边界和裂缝;如果判定是滑坡边界时,转至步骤S2,否则转至步骤S3;
步骤S2:利用滑坡现场图像中裸露岩石与山体植被的色差获取边界信息,得到滑坡边界初始标注结果;
步骤S3:使用训练好的语义分割模型获取滑坡现场图像中裂缝范围,利用图像细化算法获取裂缝图像骨架,得到裂缝初始标注结果;
步骤S4:利用膨胀与再细化方法对滑坡边界初始标注结果或者裂缝初始标注结果中的重叠区域进行修正,得到最终的标注结果。
在一个实施例中,上述步骤S1:基于滑坡现场图像,标注人员根据需求划定待标注对象的标注范围及其类型,其中,类型包括:滑坡边界和裂缝;如果判定是滑坡边界时,转至步骤S2,否则转至步骤S3,具体包括:
首先获取滑坡现场的影像,由标注人员手动选定一个标注范围,并指定该范围内需要标注的对象类型:滑坡边界和裂缝。在该标注范围内可包含多个滑坡边界和/或裂缝。
在一个实施例中,当标注人员划定范围并判定待标注对象类型是滑坡边界时,执行步骤S2:利用滑坡现场图像中裸露岩石与山体植被的色差获取边界信息,得到滑坡边界初始标注结果,具体包括:
步骤S21:将滑坡现场图像根据标注范围进行裁剪后,利用公式(1)将其由彩色图转为灰度图:
Gray=wrR+wgG+wbB (1);
其中,Gray表示灰度图中某一像素的灰度值,R、G、B分别表示该像素在彩色图中红、绿、蓝三个通道值,wr、wg、wb为对应的权重;
步骤S22:对灰度图采用中值滤波降噪,得到降噪后的灰度图;
步骤S23:利用OTSU算法(大津法—最大类间方差法)对降噪后的灰度图进行二值化,用白色表示滑坡对应的前景,用黑色表示山体植被对应的背景,得到二值化图;
步骤S24:用Canny算法对二值化图进行边缘检测,得到滑坡边界初始标注结果,如图2所示,从图2中可以看出,利用色差对滑坡边界进行检测不可避免的存在干扰项,但该方法实现简单,计算量小,对于滑坡边界本身的识别准确度高。至于干扰信息的处理,可由标注人员手动擦除即可。
在一个实施例中,上述步骤S3:使用训练好的语义分割模型获取滑坡现场图像中裂缝范围,利用图像细化算法获取裂缝图像骨架,得到裂缝初始标注结果,具体包括:
步骤S31:将标注为裂缝的滑坡现场图像输入提前训练好的语义分割模型,得到裂缝的识别结果,其中,白色区域为裂缝前景,黑色区域为正常背景;
本发明实施例采用DeepLab v3作为语义分割模型,得到裂缝的识别结果,如图3所示;
步骤S32:使用Zhang并行细化算法对裂缝的识别结果进行多次迭代细化,删除不满足预设条件的像素,获取裂缝图像骨架,得到裂缝初始标注结果。
使用Zhang并行细化算法对裂缝影像进行细化操作,具体操作步骤如下:
定义一个像素点为p1,则它的八邻域点p2~p9位置如图4所示,通过计算p1点邻域的实际情况,以便决定是否删除p1点。在计算过程中,黑色背景的值记为0,白色前景的值记为1。
首先,将裂缝的识别结果复制到临时图像,扫描全图,对所谓值为1的点进行判断,如果同时满足以下4个条件,则在原始图像中将对应的点标记为待删除:
(i)2≤p2+p3+p4+p5+p6+p7+p8+p9≤6
(ii)p2到p9的排列顺序中,01模式的数量为1。01模式的含义为当前点值为0,且下一点值为1。
(iii)P2*p4*p6=0
(iv)p4*p6*p8=0
然后,再次把裂缝的识别结果复制到新的临时图像,并再次扫描,如果值为1的点同时满足以下4个条件,则在原始图像中标记为待删除:
(i)2≤p2+p3+p4+p5+p6+p7+p8+p9≤6
(ii)p2到p9的排列顺序中,01模式的数量为1。01模式的含义为当前点值为0,且下一点值为1。
(iii)P2*p4*p8=0
(iv)p2*p6*p8=0
第一次扫描用于去除东边和南边的边界点,第二次扫码用于去除西边和北边的边界点。完成扫描后,将原图中标记为待删除的像素点修改为0,即变为黑色。完成两次扫描后,就完成了一次细化算法,之后多次迭代,最终得到裂缝骨架,如图5所示。
由于二值化方法与语义分割模型的结果都可能受到全局信息的影像,因此当标注人员划定的范围不同时,对同一滑坡的边界或同一裂缝给出的识别结果可能存在微小的差异,为了消除这种差异,通过膨胀算法将这些结果进行融合,消除误差,然后对膨胀后的影像再次进行细化,得到修正后的标注结果。
在一个实施例中,上述步骤S4:利用膨胀与再细化方法对滑坡边界初始标注结果或者裂缝初始标注结果中的重叠区域进行修正,得到最终的标注结果,具体包括:
步骤S41:将不同标注结果的重叠区域内同一类型的标注结果进行叠加,将标注线上的点像素值设为255,其他区域设为0;针对标注线上所有的点,以其为圆心,将预设的半径为D范围内的背景像素值改为255,得到融合后的标注结果;
半径D可由标注人员输入,也可通过鼠标滚轮进行调整并实时反映在影像上;
步骤S42:使用Zhang并行细化算法对融合后的标注结果再次进行细化,得到最终的标注结果;
当标注人员认为同一目标多次标注的不同结果已经完成融合后,点击确定,将采用步骤S32的Zhang并行细化算法对融合结果进行再细化,最后得到修正后的标注结果。
本发明公开了一种基于人机协同的滑坡边界与裂缝的标注方法,在滑坡边界与裂缝的标注工作中,将耗时最久的曲线勾画交由系统自动完成,而标注人员只需要进行简单的框选、擦除、点击等操作,极大的减少了标注过程中人员的操作量,提升了标注的效率。
实施例二
如图6所示,本发明实施例提供了一种基于人机协同的滑坡边界与裂缝的标注系统,包括下述模块:
确定标注范围和类型模块51,用于基于滑坡现场图像,标注人员根据需求划定待标注对象的标注范围及其类型,其中,类型包括:滑坡边界和裂缝;如果判定是滑坡边界时,转至标注滑坡边界模块,否则转至标注裂缝模块;
标注滑坡边界模块52,用于利用滑坡现场图像中裸露岩石与山体植被的色差获取边界信息,得到滑坡边界初始标注结果;
标注裂缝模块53,用于使用训练好的语义分割模型获取滑坡现场图像中裂缝范围,利用图像细化算法获取裂缝图像骨架,得到裂缝初始标注结果;
修正标注结果模块54,用于利用膨胀与再细化方法对滑坡边界初始标注结果或者裂缝初始标注结果中的重叠区域进行修正,得到最终的标注结果。
提供以上实施例仅仅是为了描述本发明的目的,而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改,均应涵盖在本发明的范围之内。

Claims (4)

1.一种基于人机协同的滑坡边界与裂缝的标注方法,其特征在于,包括:
步骤S1:基于滑坡现场图像,标注人员根据需求划定待标注对象的标注范围及其类型,其中,所述类型包括:滑坡边界和裂缝;如果判定是滑坡边界时,转至步骤S2,否则转至步骤S3;
步骤S2:利用所述滑坡现场图像中裸露岩石与山体植被的色差获取边界信息,得到滑坡边界初始标注结果;
步骤S3:使用训练好的语义分割模型获取所述滑坡现场图像中裂缝范围,利用图像细化算法获取裂缝图像骨架,得到裂缝初始标注结果;
步骤S4:利用膨胀与再细化方法对所述滑坡边界初始标注结果或者所述裂缝初始标注结果中的重叠区域进行修正,得到最终的标注结果,具体包括:
步骤S41:将不同标注结果的重叠区域内同一类型的标注结果进行叠加,将标注线上的点像素值设为255,其他区域设为0;针对所述标注线上所有的点,以其为圆心,将预设的半径为D范围内的背景像素值改为255,得到融合后的标注结果;
步骤S42:使用Zhang并行细化算法对所述融合后的标注结果再次进行细化,得到最终的标注结果。
2.根据权利要求1所述的基于人机协同的滑坡边界与裂缝的标注方法,其特征在于,所述步骤S2:利用所述滑坡现场图像中裸露岩石与山体植被的色差获取边界信息,得到滑坡边界初始标注结果,具体包括:
步骤S21:将所述滑坡现场图像根据所述标注范围进行裁剪后,利用公式(1)将其由彩色图转为灰度图:
Gray=wrR+wgG+wbB (1);
其中,Gray表示灰度图中某一像素的灰度值,R、G、B分别表示该像素在彩色图中红、绿、蓝三个通道值,wr、wg、wb为对应的权重;
步骤S22:对所述灰度图采用中值滤波降噪,得到降噪后的灰度图;
步骤S23:利用OTSU算法对所述降噪后的灰度图进行二值化,用白色表示滑坡对应的前景,用黑色表示山体植被对应的背景,得到二值化图;
步骤S24:用Canny算法对所述二值化图进行边缘检测,并由标注人员对结果中的干扰信息进行手动擦除,得到滑坡边界初始标注结果。
3.根据权利要求1所述的基于人机协同的滑坡边界与裂缝的标注方法,其特征在于,所述步骤S3:使用训练好的语义分割模型获取所述滑坡现场图像中裂缝范围,利用图像细化算法获取裂缝图像骨架,得到裂缝初始标注结果,具体包括:
步骤S31:将标注为裂缝的滑坡现场图像输入提前训练好的语义分割模型,得到裂缝的识别结果,其中,白色区域为裂缝前景,黑色区域为正常背景;
步骤S32:使用Zhang并行细化算法对所述裂缝的识别结果进行多次迭代细化,删除不满足预设条件的像素,获取裂缝图像骨架,得到裂缝初始标注结果。
4.一种基于人机协同的滑坡边界与裂缝的标注系统,其特征在于,包括下述模块:
确定标注范围和类型模块,用于基于滑坡现场图像,标注人员根据需求划定待标注对象的标注范围及其类型,其中,所述类型包括:滑坡边界和裂缝;如果判定是滑坡边界时,转至标注滑坡边界模块,否则转至标注裂缝模块;
标注滑坡边界模块,用于利用所述滑坡现场图像中裸露岩石与山体植被的色差获取边界信息,得到滑坡边界初始标注结果;
标注裂缝模块,用于使用训练好的语义分割模型获取所述滑坡现场图像中裂缝范围,利用图像细化算法获取裂缝图像骨架,得到裂缝初始标注结果;
修正标注结果模块,用于利用膨胀与再细化方法对所述滑坡边界初始标注结果或者所述裂缝初始标注结果中的重叠区域进行修正,得到最终的标注结果,具体包括:
步骤S41:将不同标注结果的重叠区域内同一类型的标注结果进行叠加,将标注线上的点像素值设为255,其他区域设为0;针对所述标注线上所有的点,以其为圆心,将预设的半径为D范围内的背景像素值改为255,得到融合后的标注结果;
步骤S42:使用Zhang并行细化算法对所述融合后的标注结果再次进行细化,得到最终的标注结果。
CN202211093095.7A 2022-09-08 2022-09-08 一种基于人机协同的滑坡边界与裂缝的标注方法及系统 Active CN115578725B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211093095.7A CN115578725B (zh) 2022-09-08 2022-09-08 一种基于人机协同的滑坡边界与裂缝的标注方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211093095.7A CN115578725B (zh) 2022-09-08 2022-09-08 一种基于人机协同的滑坡边界与裂缝的标注方法及系统

Publications (2)

Publication Number Publication Date
CN115578725A CN115578725A (zh) 2023-01-06
CN115578725B true CN115578725B (zh) 2023-08-01

Family

ID=84580479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211093095.7A Active CN115578725B (zh) 2022-09-08 2022-09-08 一种基于人机协同的滑坡边界与裂缝的标注方法及系统

Country Status (1)

Country Link
CN (1) CN115578725B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115782969A (zh) * 2023-02-13 2023-03-14 济南铁路信息技术有限公司 一种应用于铁路系统环境监测的数据采集系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419244A (zh) * 2020-11-11 2021-02-26 浙江大学 基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704865A (zh) * 2017-05-09 2018-02-16 北京航空航天大学 基于结构森林边缘候选区域提取的舰船目标检测算法
CN109584240B (zh) * 2018-12-20 2022-05-03 成都理工大学 滑坡后缘裂缝位移图像识别方法
CN110207592B (zh) * 2019-04-15 2021-11-09 深圳高速工程检测有限公司 建筑裂缝测量方法、装置、计算机设备和存储介质
CN112084872A (zh) * 2020-08-10 2020-12-15 浙江工业大学 一种融合语义分割与边缘的高分遥感目标精准检测方法
CN112419250B (zh) * 2020-11-13 2023-06-16 湖北工业大学 路面裂缝数字图像提取、裂缝修补及裂缝参数计算方法
CN112837290B (zh) * 2021-02-03 2022-09-27 中南大学 一种基于种子填充算法的裂缝图像自动识别方法
CN114219815A (zh) * 2021-11-05 2022-03-22 浙江工业大学 多层次语义边界分割的高分辨遥感影像农田提取方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419244A (zh) * 2020-11-11 2021-02-26 浙江大学 基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法及装置

Also Published As

Publication number Publication date
CN115578725A (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
CN109977723B (zh) 大票据图片文字识别方法
CN109325438B (zh) 实况全景交通标志的实时识别方法
CN109859171A (zh) 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法
CN104408449B (zh) 智能移动终端场景文字处理方法
CN112052853B (zh) 一种基于深度学习的手写气象档案资料的文本定位方法
CN108921120B (zh) 一种适应广泛零售场景下的香烟识别方法
CN110991439B (zh) 一种基于像素级多特征联合分类的手写体字符的提取方法
CN109697717B (zh) 一种基于图像自动搜索的衬砌裂缝识别方法
CN108109133B (zh) 一种基于数字图像处理技术的蚕卵自动计数方法
Beumier et al. Digital terrain models derived from digital surface model uniform regions in urban areas
CN114219773B (zh) 一种桥梁裂缝检测数据集预筛选与标定方法
CN115578725B (zh) 一种基于人机协同的滑坡边界与裂缝的标注方法及系统
CN108647593A (zh) 基于图像处理和svm的无人机路面破损分类检测方法
CN114677601A (zh) 一种基于无人机巡检的结合深度学习的大坝裂缝检测方法
CN114170480A (zh) 一种基于Yolo V5的多阈值半监督道路异常病害智能检测方法
Li et al. RoadID: a dedicated deep convolutional neural network for multipavement distress detection
CN112990237B (zh) 基于深度学习的地铁隧道图像渗漏检测的方法
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN116012316A (zh) 一种钻井岩芯滚筒扫描图片的裂缝识别方法
CN114299394A (zh) 一种遥感影像智能解译方法
Chowdhury et al. An adaptive technique for computer vision based vehicles license plate detection system
Gao et al. Intelligent crack damage detection system in shield tunnel using combination of retinanet and optimal adaptive selection
CN107066997A (zh) 一种基于图像识别的电气元件报价方法
CN115937719A (zh) 一种基于最大面积的跑道轮廓线获取方法
CN104504702A (zh) 基于方格搜索法的水泥刻槽路面裂缝识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant