CN113361532A - 一种图像识别方法、系统、存储介质、设备、终端及应用 - Google Patents

一种图像识别方法、系统、存储介质、设备、终端及应用 Download PDF

Info

Publication number
CN113361532A
CN113361532A CN202110259788.8A CN202110259788A CN113361532A CN 113361532 A CN113361532 A CN 113361532A CN 202110259788 A CN202110259788 A CN 202110259788A CN 113361532 A CN113361532 A CN 113361532A
Authority
CN
China
Prior art keywords
camera
image
pixel
image recognition
ckd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110259788.8A
Other languages
English (en)
Other versions
CN113361532B (zh
Inventor
聂闻
李启航
耿加波
谷潇
原粲茗
蒋越
周涛
黄宜超
谢雨霖
李豫阳
刘江通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Science and Technology
Original Assignee
Jiangxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University of Science and Technology filed Critical Jiangxi University of Science and Technology
Priority to CN202110259788.8A priority Critical patent/CN113361532B/zh
Publication of CN113361532A publication Critical patent/CN113361532A/zh
Application granted granted Critical
Publication of CN113361532B publication Critical patent/CN113361532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Abstract

本发明属于图像识别技术领域,公开了一种图像识别方法、系统、存储介质、设备、终端及应用,采用Python和OpenCV开源库;结合先进的三目立体摄像机3D拍摄技术,自动提取连续尾矿坝坝坡变形信息;通过误差计算和与超像素SEEDS分割方法进行比较。与传统方法相比,本发明的方法可以有效解决复杂环境下的图像识别问题。使用三目立体相机截取了尾矿坝滑坡过程中20second,640second,1665second,2765second和4140second的图像,进行了误差计算。在X和Y方向上的平均识别误差显著降低,可用于尾矿坝破坏区域等复杂环境下的岩土目标的高精度识别。

Description

一种图像识别方法、系统、存储介质、设备、终端及应用
技术领域
本发明属于图像识别技术领域,尤其涉及一种图像识别方法、系统、存储介质、设备、终端及应用。
背景技术
目前:随着尾矿坝的扩大和加高,暴雨和地下水位会引发尾矿坝的潜在变形和破坏,造成巨大的生命财产损失甚至环境问题。监测技术是控制尾矿坝故障风险的重要工具。近年来,滑坡监测研究的特点是边坡变形和位移,这与降雨和地下水位的特征有关。随着滑坡监测技术的不断发展,自动识别滑坡变形区域被广泛使用。Ardizzone使用机载激光雷达收集的高程数据来识别和绘制降雨造成的滑坡图像。Kurtz提出了一种基于在分割/分类区域的混合方法,该方法可以自动检测并绘制滑坡图。Mondini使用超高分辨率(VHR)的全色和高分辨 (HR)的多光谱卫星地图,并提出了一种用于半自动识别和绘制近期降雨引起的浅层滑坡的方法。Mwaniki使用图像增强功能来提高滑坡识别的准确性。在自动超像素识别领域,Xie提出了一种基于显着差异和空间距离的SAR图像超像素生成方法,该方法可以附着在目标轮廓上,并准确地反映出凹凸区域纹理细节的边界。Zhu提出了一种区域合并的方法,该方法通过构造新的能量函数显著提高了超像素分割的精度。为了识别小规模的滑坡,Hashiba可以通过使用超像素SLICO方法检查合适的面积大小来以更高的精度提取滑坡面积。Yang根据滑坡变形过程中图像超像素粗糙度的变化实现了小规模滑坡变形区域的识别。
通过上述分析,现有技术存在的问题及缺陷为:现有的大多数滑坡识别方法仅适用于具有简单的颜色和纹理特征的小区域,对复杂的山体滑坡无法准确识别,识别精度较低。在发明过程中发现,尾矿坝的内部机制比天然滑坡的内部机制更为复杂。由于尾矿坝中尾砂粒径的不均一及降雨和地表水的入渗导致破坏的区域众多且不规则,外界环境的颜色干扰同时也会造成识别精度降低。总之,目前没有一种有效的图像识别方法可以高精度的识别复杂的边坡破坏区域。
解决以上问题及缺陷的意义为:通过发明的方法可以有效的解决复杂边坡破坏区域识别精度较低的问题,利用多像素种子点与点云坐标相结合的区域生长分割方法可以确定破坏区域,更好的处理边界问题并进行合理的分割。该项发明可以有效地支持边坡变形视频的研究监视和特征提取工作。在工程地质领域,这项技术将在地质环境的监测方面起着重要作用。
发明内容
针对现有技术存在的问题,本发明提供了一种图像识别方法、系统、存储介质、设备、终端及应用。
本发明是这样实现的,一种图像识别方法,所述图像识别方法包括:
采用Python和OpenCV开源库;
结合先进的三目立体摄像机3D拍摄技术,自动提取连续尾矿坝坝坡变形信息;
通过误差计算和与超像素SEEDS分割方法进行比较。
进一步,所述三目立体摄像机采用以下方法进行位置校准:相机的坐标系由Ck和Cd表示,其中k,d=1,2,3,1,2,3分别代表左、中和右摄像机,并且摄像机的位置关系用以下公式表示:
Ck=RckdCd+tckd
其中,Rckd表示从d相机到k的旋转变换摄像机,tckd表示从d摄像机到k摄像机的转换;
摄像机之间的位置变换通过以下变换获得:
Figure RE-GDA0003157581810000021
Figure RE-GDA0003157581810000022
选择中间值作为初始值Rckd和tckd,Levenberg-Marquard算法用于迭代查找最小值,优化方程如下:
(Rckd,tckd)=min(J1+J2+J3)
Figure RE-GDA0003157581810000031
Figure RE-GDA0003157581810000032
Figure RE-GDA0003157581810000033
式中:t表示世界坐标系原点在相机坐标系中的坐标值;R代表世界的旋转矩阵坐标系到摄像机坐标系;
Figure RE-GDA0003157581810000034
是焦距;m是图像区域的数目,n是每个区域中的像素数;M是像素矩阵;J1,J2,J3分别是左、中、右三个摄像头的最小校准误差。
进一步,所述超像素SEEDS分割方法具体包括:
(1)自适应阈值和灰度处理:对灰度化的图像进行自适应阈值处理:
R=G=B=(ωRR+ωGG+ωBB)/3;
其中ωRGB是R,G,B的权重;
(2)点云坐标与多像素种子点组合:在获取点云坐标之前,修复点云并在坐标点之间转换,最近邻插值公式为:
m=a0×x/z+m0
n=b0×y/z+n0
其中m和n代表图像的像素坐标。m0和n0代表图像中心,a0和b0代表相机参数,x,y和z代表点云坐标,遗失点的信息设置为其最接近的点。
进一步,使用三目立体摄像机拍摄时,坐标Z轴不垂直于倾斜表面,对原始数据进行坐标转换,并通过截取点云图像破坏区域来选择点云坐标,在破坏区域人工种植多个种子点,根据生长准则,逐渐添加相邻像素以扩大生长范围,最后形成生长区域。
进一步,所述生长区域的具体形成过程如下:
1)提取多个点云坐标以建立破坏区域的位置关系;
2)手动提取ROI图像不同破坏区域中的种子点,假设种子点像素为(x0,y0);
3)以(x0,y0)为中心,寻找(x0,y0)的8邻域像素点(xi,yj),如果(x0,y0)符合增长准则,则合并(xi,yj)和(x0,y0)区域,同时将(xi,yj)压入堆栈;
4)从堆栈中取出一个像素,将其视为(x0,y0),然后返回步骤3),堆栈为空时,返回步骤2);
5)重复步骤2)至步骤4),直到图像中的每个像素都具有归属则生长结束。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
采用Python和OpenCV开源库;
结合先进的三目立体摄像机3D拍摄技术,自动提取连续尾矿坝坝坡变形信息;
通过误差计算和与超像素SEEDS分割方法进行比较。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
采用Python和OpenCV开源库;
结合先进的三目立体摄像机3D拍摄技术,自动提取连续尾矿坝坝坡变形信息;
通过误差计算和与超像素SEEDS分割方法进行比较。
本发明的另一目的在于提供一种信息数据处理终端,所述信息数据处理终端用于实现所述的图像识别方法。
本发明的另一目的在于提供一种实施所述图像识别方法的图像识别系统,所述图像识别系统包括:
数据库模块,采用Python和OpenCV开源库;
坝坡变形信息获取模块,结合先进的三目立体摄像机3D拍摄技术,自动提取连续尾矿坝坝坡变形信息;
对比模块,通过误差计算和与超像素SEEDS分割方法进行比较。
本发明的另一目的在于提供一种山体滑坡识别方法,所述山体滑坡识别方法使用所述图像识别方法。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明基于多个子像素和点云坐标相结合的区域生长分割算法。此方法是使用Python和 OpenCV开源库实现的。与传统方法相比,该发明方法可以有效解决复杂环境下的图像识别问题。为了在物理建模实验中验证该方法,使用三目立体相机截取了尾矿坝滑坡过程中20second,640second,1665second,2765second和4140 second的图像。进行了误差计算,并与当前主流的超像素SEEDS分割方法进行了比较。结果表明,使用本发明的新方法在X和Y方向上的平均识别误差显著降低(当前方法为3.744%和4.910%;超像素方法为8.302%和9.976%)。该方法可用于尾矿坝破坏区域等复杂环境下的岩土目标的高精度识别。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施提供的图像识别方法流程图。
图2是本发明实施提供的不同粒径的分类曲线示意图。
图3是本发明实施提供的将混合尾砂材料注入到尾矿库的过程示意图。
图4是本发明实施提供的(a)在20second、640second、1665second、 2765second、4140second的五组原始边坡破坏图像;(b)在20second、640second、1665second、2765second、4140second的五组ROI边坡破坏图像。
图5是本发明实施提供的方法流程图。
图6是本发明实施提供的(a)尾矿坝坡体的点云图像;(b)手动选择种子点(红色圆圈),确定8邻域内的相似像素点(蓝色圆圈)和点云坐标(黑色三角形);(c)按照种子点8邻域内的区域范围开始生长;(d)8邻域内像素点与种子点融合结果;(e)区域生长结果。
图7是本发明实施提供的形态学闭运算过程示意图;(a)是目标图像X,其中白色部分代表图像的背景区域,灰色部分代表目标区域;(二)是结构要素S,红色标记的区域是原点;(c)开始膨胀操作;(d)膨胀后的结果;(e) 开始腐蚀操作。(f)腐蚀后的结果;(其中:(c-d)是膨胀过程(步骤Ⅰ); (e-f)是腐蚀过程(步骤Ⅱ))。
图8是本发明实施提供的20second、640second、1665second、2765second、4140second的ROI图像(左)和变形区域的识别结果(黑色是变形区域,白色是背景区域)。
图9是本发明实施提供的通过区域生长方法在20second、640second、1665second、2765second、4140second识别的五组最终轮廓图像示意图。
图10是本发明实施提供的五组尾矿坝边坡在20second、640second、1665 second、2765second、4140second的破坏轮廓示意图。
图11是本发明实施提供的区域生长识别坐标轮廓的比较图,超像素在 20second、640second、1665second、2765second、4140second识别坐标轮廓和实际标记的坐标轮廓示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种图像识别方法、系统、存储介质、设备、终端及应用,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供图像识别方法包括以下步骤:
步骤一,采用Python和OpenCV开源库;
步骤二,结合先进的三目立体摄像机3D拍摄技术,自动提取连续尾矿坝坝坡变形信息;
步骤三,通过误差计算和与超像素SEEDS分割方法进行比较。
本发明提供的图像识别方法业内的普通技术人员还可以采用其他的步骤实施,图1的本发明提供的图像识别方法仅仅是一个具体实施例而已。
本发明提供的三目立体摄像机的位置校准:
相机校准精度直接影响视觉性能测量系统。通过建立一个带约束的多目标优化方程及其连续信息可对尾矿坝的变形和破坏进行精确监控,从而提供技术支持。准确识别尾矿坝破坏区域的条件。假设相机的坐标系由Ck和Cd表示,其中k,d=1,2,3,1,2,3分别代表左、中和右摄像机,并且摄像机的位置关系可以用以下公式表示:
Ck=RckdCd+tckd
其中,Rckd表示从d相机到k的旋转变换摄像机,tckd表示从d摄像机到k摄像机的转换转换。摄像机之间的位置变换可以通过以下变换获得:
Figure RE-GDA0003157581810000071
Figure RE-GDA0003157581810000072
由于噪声和计算误差的影响,这些值不完全是相同。选择中间值作为的初始值Rckd和tckd,考虑到约束条件可以在优化参数中发挥作用,从而改善摄像机位置之间的校准精度。Levenberg-Marquard算法用于迭代查找最小值,优化方程如下:
(Rckd,tckd)=min(J1+J2+J3)
Figure RE-GDA0003157581810000081
Figure RE-GDA0003157581810000082
Figure RE-GDA0003157581810000083
在公式中:t表示世界坐标系原点在相机坐标系中的坐标值;R代表世界的旋转矩阵坐标系到摄像机坐标系;
Figure RE-GDA0003157581810000084
是焦距;m是数字在图像区域中,n是每个区域中的像素数;M是像素矩阵;J1,J2,J3分别是左、中和右三个摄像头的最小校准误差。
本发明提供的分割方法如下:
(1)自适应阈值和灰度处理
由于ROI图像中破坏区域的像素值接近于背景区域,直接图像识别将导致过度分割,并且R,G和B值的加权平均值可用于获得更好的灰度图像。对灰度化的图像进行自适应阈值处理。
加权平均法:
R=G=B=(ωRR+ωGG+ωBB)/3
其中ωRGB分别为R,G,B的权重。通常来说,当ωR=0.299,ωG=0.587,ωB=0.114时得到更好的灰度图像。
(2)点云坐标与多像素种子点组合
在获取点云坐标之前,有必要修复点云并在坐标点之间转换,如图6(a) 所示,左图为原始点云,下部是边坡的变形区域,而上部是边坡的非变形区域。右图为变形区域。在变形区域中,外界的光照条件干扰是造成点云信息不完整的关键原因,因此损耗值由图像坐标和点云之间的坐标关系确定。最近邻插值公式为:
m=a0×x/z+m0
n=b0×y/z+n0
其中m和n代表图像的像素坐标。m0和n0代表图像中心。a0和b0代表相机参数。x,y和z代表点云坐标。遗失点的信息设置为其最接近的点。
使用三目立体摄像机拍摄时,坐标Z轴不垂直于倾斜表面。本发明需要对原始数据进行坐标转换,并通过截取点云图像破坏区域来选择点云坐标。在破坏区域内人工种植多个种子点。根据生长准则,逐渐添加相邻像素以扩大生长范围,最后形成生长区域。对于破坏区域的每个位置关系,可以选择每个区域以确定点云的坐标,通过在该点附近种植多像素种子点,可以有效减少图像的过度分割,从而改善识别精度。在本发明的研究中,手动选择4个种子点和8 个点云坐标,将1个种子点与2个点云坐标组合在不同的点云破坏区域中,并采用8邻域像素点生长准则进行生长。具体的区域成长过程如下:
(ⅰ)提取多个点云坐标以建立破坏区域的位置关系;
(ⅱ)手动提取ROI图像不同破坏区域中的种子点,假设种子点像素为 (x0,y0);
(ⅲ)以(x0,y0)为中心,寻找(x0,y0)的8邻域像素点(xi,yj),如果(x0,y0)符合生长准则,则合并(xi,yj)和(x0,y0)区域,同时将(xi,yj)压入堆栈;
(ⅳ)从堆栈中取出一个像素,将其视为(x0,y0),然后返回步骤3),堆栈为空时,返回步骤2);
(ⅴ)重复步骤2)至步骤4),直到图像中的每个像素都具有归属则生长结束。
本发明基于Python和OpenCV开源图像库的连续滑坡变形特征识别方法;结合区域生长分割方法,可以获得连续的滑坡变形信息,以确定其形状和面积的连续变化;与当前的主流超像素方法相比,该方法可以同时考虑点云坐标和多像素种子点,更有效地识别滑坡变形区域。
下面结合实验对本发明的技术效果作详细的描述。
1.物理实验和数据预处理
1.1尾矿坝相似物理试验模型是以江西省赣州市漂塘钨矿为原型。将不同粒径的尾矿材料进行混合处理。在本发明的实验中筛选了6组不同质量的尾砂。筛选后的结果如表1所示。尾砂材料粒径比如图2所示。图2表明尾砂粒径材料分布不均,粒径大多集中在1-2mm,并且颗粒的级配更加复杂。在模型制作过程中,用少量水将尾矿浸湿,然后装入红色塑料桶中,利用水流的冲击力将其沿着直径为8厘米的PVC管注入尾矿池中,如图3所示。建立模型后,尾矿坝物理模型约为13米长,宽7米,高1.5米,倾斜度约为35°。降雨设备由6 组直径相同的喷嘴组成,每组6个,降雨量等级值为0-100mm/h。本发明使用了100mm/h的降雨强度持续了5个小时。在实验过程中,本发明没有使用特殊光,而是使用了自然光。该方法旨在识别自然条件下的破坏区域。根据相机标定后位置在尾矿坝旁安装了三目立体相机(类型:Point Grey Bumblebee×3,分辨率:1280×960),调整镜像及主要参数来记录尾矿坝破坏的全过程。相机捕获的图像每隔5秒保存一次。通过降雨和地表水的渗透监测边坡的破坏状况,如图3所示。
表格1:不同质量的6组尾矿的筛选结果(每组最小误差忽略不计)
Figure RE-GDA0003157581810000101
1.2校准三目立体摄像机的位置
相机校准精度直接影响视觉性能测量系统。通过建立一个带约束的多目标优化方程及其连续信息可对尾矿坝的变形和破坏进行精确监控,从而提供技术支持,准确识别尾矿坝破坏区域。假设相机的坐标系由Ck和Cd表示,其中k,d =1,2,3,1,2,3分别代表左、中和右摄像机,并且摄像机的位置关系可以用以下公式表示:
Ck=RckdCd+tckd
其中,Rckd表示从d相机到k的旋转变换摄像机,tckd表示从d摄像机到k摄像机的转换的摄像机之间的位置变换可以通过以下变换获得:
Figure RE-GDA0003157581810000111
Figure RE-GDA0003157581810000112
由于噪声和计算误差的影响,这些值不完全是相同。选择中间值作为的初始值Rckd和tckd,考虑到约束条件可以在优化参数中发挥作用,从而改善摄像机位置之间的校准精度。Levenberg-Marquard算法用于迭代查找最小值,优化方程如下:
(Rckd,tckd)=min(J1+J2+J3)
Figure RE-GDA0003157581810000113
Figure RE-GDA0003157581810000114
Figure RE-GDA0003157581810000115
在公式中:t表示世界坐标系原点在相机坐标系中的坐标值;R代表世界的旋转矩阵坐标系到摄像机坐标系;
Figure RE-GDA0003157581810000116
是焦距;m是数字在图像区域中,n是每个区域中的像素数;M是像素矩阵;J1,J2,J3分别是左、中和右三个摄像头的最小校准误差。
1.3数据预处理
由于视频的长度,固定的时间间隔为300个选择帧(5s),从三目立体相机记录保存的940张图像中随机选择了20second、640second、1665second、2765 second、4140second的五组破坏图像。如图4(a)所示,五组图像均包含外部干扰(建筑物,树枝等)。为了消除背景图像上多余的信息,将尾矿坝坡度部分设置为感兴趣区域(ROI),裁剪五组图像以保留ROI,最终得到如图4(b) 所示的斜面。
2.区域生长分割方法
破坏区域没有固定的几何特征,因此很难分割直接从图像中提取整个破坏区域。另外,变形区域的颜色与未变形区域相似。在这种情况下,直接将色差用作条件不能有效地识别破坏区域。因此,本发明的研究使用区域生长分割方法从尾矿库中提取信息以识别破坏区域。图5是本发明方法的数据处理流程图。
2.1自适应阈值和灰度处理
由于ROI图像中受损区域的像素值接近于背景区域,直接的图像识别将导致过度分割,并且R,G和B值的加权平均值可用于获得更好的灰度图像。对灰度化的图像进行自适应阈值处理。
加权平均法:
R=G=B=(ωRR+ωGG+ωBB)/3
其中ωRGB分别为R,G,B的权重。通常来说,当ωR=0.299,ωG=0.587,ωB=0.114时能够得到更好的灰度图像。
2.2点云坐标与多像素种子点组合
在获取点云坐标之前,有必要修复点云并在坐标点之间转换,如图6(a) 所示,左图为原始点云图像,下部是边坡的变形区域,而上部是边坡的非变形区域。右图中的变形区域。外界的光照条件干扰是造成点云信息不完整的关键原因,因此损耗值由图像坐标和点云之间的坐标关系确定。最近邻插值公式为:
m=a0×x/z+m0
n=b0×y/z+n0
其中m和n代表图像的像素坐标。m0和n0代表图像中心。a0和b0代表相机参数。x,y和z代表点云坐标。遗失点的信息设置为其最接近的点。
使用三目立体摄像机拍摄时,坐标Z轴不垂直于倾斜表面。本发明需要对原始数据进行坐标转换,并通过截取点云图像破坏区域来选择点云坐标(图6 (b),过程1)。在破坏区域内人工种植多个种子点。根据生长准则,逐渐添加相邻像素(图6(c),过程2)以扩大生长范围(图6(d),过程3),最后形成生长区域(图6(e),过程4)。对于破坏区域的每个位置关系,可以选择每个区域以确定点云的坐标,通过在该点附近种植多像素种子,可以有效减少图像的过度分割,从而改善识别精度。在本发明的研究中,手动选择4个种子点和8个点云坐标,将1个种子点与2个点云坐标组合在不同的点云破坏区域中,并采用8邻域像素点生长准则进行生长。具体的区域成长过程如下:
(ⅰ)提取多个点云坐标以建立破坏区域的位置关系;
(ⅱ)手动提取ROI图像不同破坏区域中的种子点,假设种子点像素为 (x0,y0);
(ⅲ)以(x0,y0)为中心,寻找(x0,y0)的8邻域像素点(xi,yj),如果(x0,y0)符合生长准则,则合并(xi,yj)和(x0,y0)区域,同时将(xi,yj)压入堆栈;
(ⅳ)从堆栈中取出一个像素,将其视为(x0,y0),然后返回步骤3),堆栈为空时,返回步骤2);
(ⅴ)重复步骤2)至步骤4),直到图像中的每个像素都具有归属则生长结束
2.3噪声消除
分割结果表明,图像中存在一些孤立的点和一些小的无损区域。这是由于降雨留下的水迹像素值似于非破坏性区域的像素值,造成一定的干扰。因此,本发明使用中值滤波进行降噪,以便图像中的相邻像素根据大小进行排列,并且排序后的像素集中间的值作为中值滤波后的像素值。可以通过更改ksise来调整图像的清晰度。本发明的研究发现随着ksize逐渐增加,图像逐渐变得模糊。当ksize是3,可以实现最佳的降噪效果。
2.4形态学处理
去噪操作后,采用形态学闭运算操作,通过膨胀操作和腐蚀操作去除图像中的黑洞,而不会改变受损区域的面积。不同结构元素将导致不同程度的分割。本发明采用了5×5结构元素进行细分。闭运算操作公式如下。图7显示了闭运算操作过程。
Figure RE-GDA0003157581810000141
在公式中,S是结构元素,X是图像,
Figure RE-GDA0003157581810000142
是使用S展开X图片集。
Figure RE-GDA0003157581810000143
是膨胀完成后的集合,然后腐蚀A图像集合。
2.5小面积清除
尾矿坝破坏区域以外的大多数“孔洞”都被结构元素填充,尾矿坝的破坏区域没有变大。图像中有一些无破坏小区域。由于结构元素的大小比这些无破坏小区域小得多,因此不能通过增加结构元素的大小来完全填充。OpenCV开源库中的contourArea函数可以通过定义阈值的大小来删除二值化图像中小于阈值的区域。本发明的研究表明,当contourArea函数值小于200时效果最佳。
3.结果
图8显示了在20second、640second、1665second、2765second、4140second 五组区域生长以识别破坏区域的最终结果。在这些图像中,尾矿坝的破坏主要发生在尾矿坝二级坝和三级坝的右侧边坡处。随着降雨的持续增加,破坏面积开始扩大,破坏数量开始增多。降雨留下的水迹使一些破坏区域难以观察,但可以通过本发明的方法进行识别,如图8(a)的右侧识别图像的右下区域所示。
在本发明的研究中,最初选择的种子点数为4,而点云坐标是8。根据图8 (a)-图8(e)的阈值分别是athreshold=6.4,bthreshold=6.3,cthreshold=6.4,dthreshold=6.2, ethreshold=6.3。
使用Canny运算符提取已识别破坏区域的边缘,然后进行细化处理,并使用drawContours函数进行颜色标记。本发明选择RGB三个通道(255,0,255) 进行标记。当thickness为负数时,将绘制整个轮廓区域,并最终将轮廓与ROI 叠加,如图9所示。
本发明的方法与超像素方法进行了比较。本发明选择HSV图像中的V通道 5000的超像素数量,以20次迭代执行SEEDS超像素处理。然后对处理后的图像进行中值去噪和自适应阈值处理,对小区域进行图像填充和去除,在的发明中contourArea函数值小于230。超像素分割阈值是:Ta=8,Tb=10,Tc=10,Td=9,Te=11。用超像素方法计算每个像素的粗糙度水平,并且通过粗糙度将每个像素分类为变形点和非变形点(图10)。
本发明发现,超像素SEEDS可以识别变形区域的轮廓方法比区域生长方法大,并且边界处理不足够准确。此外,不可变形的斜坡区域和尾矿库幕布区域被错误识别为变形区域。由于光线强度和降雨留下的水迹,斜坡上某些点的像素值变大,粗糙度变高,因此可以识别为变形点。基于区域生长方法,边界区域和相似颜色区域的识别效果更好。由于多像素种子点种植和区域点云坐标的建立。点云坐标信息可以减少由于降雨引起的颗粒材料分布不均而引起的粗糙度增加,并避免过度分割非破坏区域。
识别出的轮廓数据如图11所示。五组图像在不同方法下获得(x,y)坐标集(63个坐标集),然后在20second、640second、1665second、2765second、 4140second五组时刻将其导入Origin软件以显示为一行图表。单击Origin软件绘制的轮廓区域以随机选择坐标具有相同x和不同y,不同x和相同y的点。每个轮廓区域使用8组对应的坐标进行相对误差计算和分析。
根据公式(5-1)和(5-2),提出的方法和超像素方法的平均分割误差如表 2所示。X方向的平均分割误差为3.744%(超像素方法的误差为8.302%)。在本发明提出的方法中,Y方向的平均分割误差为4.910%(超像素方法的误差为 9.976%)。
Figure RE-GDA0003157581810000151
Figure RE-GDA0003157581810000152
其中
Figure RE-GDA0003157581810000153
是第i个样本的分割误差点,第i个采样点的观测值,第i个采样点的真实值以及所有样本点的平均分割误差。
表2:不同方法在X(N=168)和Y(N=168)方向上的平均分割误差
Figure RE-GDA0003157581810000154
表3:对于20 second,640 second,1665 second,2765 second X(N=32) 和Y(N=32)方向,4140 second X(N=40)和Y(N=40)方向的不同方法的平均分割误差
Figure RE-GDA0003157581810000161
从表3的数据中可以看出,在识别尾矿坝边坡的破坏区域时,区域生长方法比超像素方法更为准确。原因是:1)这种方法可以对具有相同特征的连通区域进行分割,并提供良好的边界条件和分割结果;2)本发明的方法结合点云与多像素种子点种植进行坐标确定,确定每个点中的所有点破坏的区域,而不是像超像素方法那样的单个点。每个破坏区域中的所有点可以很好地反映局部完整性,因此识别更加准确;3)通过像素相似度融合原理,可以正确的识别出深度变化较大的一些破坏区域,而超像素方法则考虑了每个超像素的色差,效果不佳。
本发明可以结合由三目立体相机采用多种亚像素点植入方法来识别图像的多破坏区域,并能准确识别出尾矿坝坡面的破坏特征。有效地支持了边坡变形视频的研究监视和特征提取。在工程地质领域,这项技术将在促进对地质环境的监测方面起着重要作用。
结合本发明采用3D数据的实验方法将提供更丰富,更准确的数据为后续边坡变形研究的提供技术指导。
应当注意,本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种图像识别方法,其特征在于,所述图像识别方法包括:
采用Python和OpenCV开源库;
结合先进的三目立体摄像机3D拍摄技术,自动提取连续尾矿坝坝坡变形信息;
通过误差计算和与超像素SEEDS分割方法进行比较。
2.如权利要求1所述的图像识别方法,其特征在于,所述三目立体摄像机采用以下方法进行位置校准:相机的坐标系由Ck和Cd表示,其中k,d=1,2,3,1,2,3分别代表左、中和右摄像机,并且摄像机的位置关系用以下公式表示:
Ck=RckdCd+tckd
其中,Rckd表示从d相机到k的旋转变换摄像机,tckd表示从d摄像机到k摄像机的转换;
摄像机之间的位置变换通过以下变换获得:
Figure FDA0002969469330000011
Figure FDA0002969469330000012
选择中间值作为初始值Rckd和tckd,Levenberg-Marquard算法用于迭代查找最小值,优化方程如下:
(Rckd,tckd)=min(J1+J2+J3)
Figure FDA0002969469330000013
Figure FDA0002969469330000014
Figure FDA0002969469330000015
式中:t表示世界坐标系原点在相机坐标系中的坐标值;R代表世界的旋转矩阵坐标系到摄像机坐标系;
Figure FDA0002969469330000016
是焦距;m是图像区域的数目,n是每个区域中的像素数;M是像素矩阵;J1,J2,J3分别是左、中、右三个摄像头的最小校准误差。
3.如权利要求1所述的图像识别方法,其特征在于具体的区域生长分割方法包括:
(1)自适应阈值和灰度处理:对灰度化的图像进行自适应阈值处理:
R=G=B=(ωRR+ωGG+ωBB)/3;
其中ωRGB是R,G,B的权重;
(2)点云坐标与多像素种子点组合:在获取点云坐标之前,修复点云并在坐标点之间转换,最近邻插值公式为:
m=a0×x/z+m0
n=b0×y/z+n0
其中m和n代表图像的像素坐标,m0和n0代表图像中心,a0和b0代表相机参数,x,y和z代表点云坐标,遗失点的信息设置为其最接近的点。
4.如权利要求1所述的图像识别方法,其特征在于,使用三目立体摄像机拍摄时,坐标Z轴不垂直于倾斜表面,对原始数据进行坐标转换,并通过截取点云图像破坏区域来选择点云坐标,在破坏区域内人工种植多个像素种子点,根据生长准则,逐渐添加相邻像素以扩大生长范围,最后形成生长区域。
5.如权利要求4所述的图像识别方法,其特征在于,所述生长区域的具体形成过程如下:
1)提取多个点云坐标以建立破坏区域的位置关系;
2)手动提取ROI图像中不同破坏区域的种子点,假设种子点像素为(x0,y0);
3)以(x0,y0)为中心,寻找(x0,y0)的8邻域像素点(xi,yj),如果(x0,y0)符合增长准则,则合并(xi,yj)和(x0,y0)区域,同时将(xi,yj)压入堆栈;
4)从堆栈中取出一个像素,将其视为(x0,y0),然后返回步骤3),堆栈为空时,返回步骤2);
5)重复步骤2)至步骤4),直到图像中的每个像素都具有归属则生长结束。
6.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
采用Python和OpenCV开源库;
结合先进的三目立体摄像机3D拍摄技术,自动提取连续尾矿坝坝坡变形信息;
通过误差计算和与超像素SEEDS分割方法进行比较。
7.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
采用Python和OpenCV开源库;
结合先进的三目立体摄像机3D拍摄技术,自动提取连续尾矿坝坝坡变形信息;
通过误差计算和与超像素SEEDS分割方法进行比较。
8.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现权利要求1~5任意一项所述的图像识别方法。
9.一种实施权利要求1~5任意一项所述图像识别方法的图像识别系统,其特征在于,所述图像识别系统包括:
数据库模块,采用Python和OpenCV开源库;
坝坡变形信息获取模块,结合先进的三目立体摄像机3D拍摄技术,自动提取连续尾矿坝坝坡变形信息;
对比模块,通过误差计算和与超像素SEEDS分割方法进行比较。
10.一种山体滑坡识别方法,其特征在于,所述山体滑坡识别方法使用权利要求1~5任意一项所述图像识别方法。
CN202110259788.8A 2021-03-10 2021-03-10 一种图像识别方法、系统、存储介质、设备、终端及应用 Active CN113361532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110259788.8A CN113361532B (zh) 2021-03-10 2021-03-10 一种图像识别方法、系统、存储介质、设备、终端及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110259788.8A CN113361532B (zh) 2021-03-10 2021-03-10 一种图像识别方法、系统、存储介质、设备、终端及应用

Publications (2)

Publication Number Publication Date
CN113361532A true CN113361532A (zh) 2021-09-07
CN113361532B CN113361532B (zh) 2023-06-06

Family

ID=77525011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110259788.8A Active CN113361532B (zh) 2021-03-10 2021-03-10 一种图像识别方法、系统、存储介质、设备、终端及应用

Country Status (1)

Country Link
CN (1) CN113361532B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272174A (zh) * 2022-06-15 2022-11-01 武汉市市政路桥有限公司 一种市政道路检测方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102721370A (zh) * 2012-06-18 2012-10-10 南昌航空大学 基于计算机视觉的山体滑坡实时监测方法
CN103473781A (zh) * 2013-09-22 2013-12-25 长安大学 一种公路岩体边坡图像中节理裂纹的分割方法
CN103489222A (zh) * 2013-09-06 2014-01-01 电子科技大学 三维图像中的目标体表面重构法
US20140125663A1 (en) * 2010-12-03 2014-05-08 Institute of Automation, Chinese Academy of Scienc 3d model shape analysis method based on perception information
US20140375635A1 (en) * 2013-06-21 2014-12-25 Kabushiki Kaisha Toshiba Methods and systems for generating a three dimensional representation of a subject
CN104501735A (zh) * 2014-12-23 2015-04-08 大连理工大学 一种利用圆形标记点观测边坡三维变形的方法
CN107843204A (zh) * 2017-10-27 2018-03-27 王文柏 基于监控级摄像机的边坡三维变形监测方法及系统
CN110443881A (zh) * 2019-05-29 2019-11-12 重庆交通大学 桥面形态变化识别桥梁结构损伤的cnn-grnn方法
CN111524127A (zh) * 2020-04-29 2020-08-11 中国电子科技集团公司第五十四研究所 面向低空机载激光雷达数据的城市道路面提取方法
CN111932669A (zh) * 2020-08-06 2020-11-13 中邮智建(武汉)数据技术有限公司 一种基于边坡岩体特征对象的变形监测方法
CN112232138A (zh) * 2020-09-25 2021-01-15 天津大学 基于超像素特征的渠道边坡破坏智能识别方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140125663A1 (en) * 2010-12-03 2014-05-08 Institute of Automation, Chinese Academy of Scienc 3d model shape analysis method based on perception information
CN102721370A (zh) * 2012-06-18 2012-10-10 南昌航空大学 基于计算机视觉的山体滑坡实时监测方法
US20140375635A1 (en) * 2013-06-21 2014-12-25 Kabushiki Kaisha Toshiba Methods and systems for generating a three dimensional representation of a subject
CN103489222A (zh) * 2013-09-06 2014-01-01 电子科技大学 三维图像中的目标体表面重构法
CN103473781A (zh) * 2013-09-22 2013-12-25 长安大学 一种公路岩体边坡图像中节理裂纹的分割方法
CN104501735A (zh) * 2014-12-23 2015-04-08 大连理工大学 一种利用圆形标记点观测边坡三维变形的方法
CN107843204A (zh) * 2017-10-27 2018-03-27 王文柏 基于监控级摄像机的边坡三维变形监测方法及系统
CN110443881A (zh) * 2019-05-29 2019-11-12 重庆交通大学 桥面形态变化识别桥梁结构损伤的cnn-grnn方法
CN111524127A (zh) * 2020-04-29 2020-08-11 中国电子科技集团公司第五十四研究所 面向低空机载激光雷达数据的城市道路面提取方法
CN111932669A (zh) * 2020-08-06 2020-11-13 中邮智建(武汉)数据技术有限公司 一种基于边坡岩体特征对象的变形监测方法
CN112232138A (zh) * 2020-09-25 2021-01-15 天津大学 基于超像素特征的渠道边坡破坏智能识别方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
CHUNXIAO WANG 等: "An Improved DBSCAN Method for LiDAR Data Segmentation with Automatic Eps Estimation", 《SENSORS》 *
CHUNXIAO WANG 等: "An Improved DBSCAN Method for LiDAR Data Segmentation with Automatic Eps Estimation", 《SENSORS》, 5 January 2019 (2019-01-05), pages 1 - 26 *
QIHANG LI 等: "Automatic recognition of erosion area on the slope of tailings dam using region growing segmentation algorithm", 《ARABIAN JOURNAL OF GEOSCIENCES》 *
QIHANG LI 等: "Automatic recognition of erosion area on the slope of tailings dam using region growing segmentation algorithm", 《ARABIAN JOURNAL OF GEOSCIENCES》, 28 February 2022 (2022-02-28), pages 1 - 15 *
彭丽君 等: "基于PCL库的三维点云区域生长分割", 《电脑与信息技术》 *
彭丽君 等: "基于PCL库的三维点云区域生长分割", 《电脑与信息技术》, vol. 28, no. 3, 30 June 2020 (2020-06-30), pages 17 - 19 *
李仁忠 等: "基于改进的区域生长三维点云分割", 《激光与光电子学进展》 *
李仁忠 等: "基于改进的区域生长三维点云分割", 《激光与光电子学进展》, 8 December 2017 (2017-12-08), pages 1 - 7 *
李孟 等: "三目立体相机的标定研究", 《计算机技术与发展》 *
李孟 等: "三目立体相机的标定研究", 《计算机技术与发展》, vol. 25, no. 2, 28 February 2015 (2015-02-28), pages 69 - 73 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272174A (zh) * 2022-06-15 2022-11-01 武汉市市政路桥有限公司 一种市政道路检测方法及系统
CN115272174B (zh) * 2022-06-15 2023-05-19 武汉市市政路桥有限公司 一种市政道路检测方法及系统

Also Published As

Publication number Publication date
CN113361532B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
Graham et al. Automated sizing of coarse-grained sediments: image-processing procedures
Gruszczyński et al. Comparison of low-altitude UAV photogrammetry with terrestrial laser scanning as data-source methods for terrain covered in low vegetation
CN112287807B (zh) 一种基于多分支金字塔神经网络的遥感影像道路提取方法
Brodu et al. 3D terrestrial lidar data classification of complex natural scenes using a multi-scale dimensionality criterion: Applications in geomorphology
Lohani et al. Application of airborne scanning laser altimetry to the study of tidal channel geomorphology
CN111527467A (zh) 使用机器学习、图像分析和/或计算机视觉自动限定计算机辅助设计文件的方法和装置
CN107092871B (zh) 基于多尺度多特征融合的遥感影像建筑物检测方法
CN105784713A (zh) 基于机器视觉的密封圈表面缺陷检测方法
CN111047698B (zh) 一种真正射影像采集方法
Jiang et al. Determining ground elevations covered by vegetation on construction sites using drone-based orthoimage and convolutional neural network
CN111476723B (zh) 一种Landsat-7扫描线纠正器失效的遥感图像丢失像素恢复方法
CN111353371A (zh) 基于星载sar影像的海岸线提取方法
Zhang et al. Lidar-guided stereo matching with a spatial consistency constraint
CN113129323A (zh) 一种基于人工智能的遥感田埂界线检测方法、系统、计算机设备及存储介质
CN106709515A (zh) 一种适用于下视景象匹配选区准则干预方法
CN113361532B (zh) 一种图像识别方法、系统、存储介质、设备、终端及应用
CN108765440B (zh) 一种单极化sar图像的线引导超像素海岸线提取方法
CN111354047A (zh) 一种基于计算机视觉的摄像模组定位方法及系统
CN115880683B (zh) 一种基于深度学习的城市内涝积水智能水位检测方法
Tang et al. Fracture extraction from smooth rock surfaces using depth image segmentation
CN108335321B (zh) 基于多角度照片的地表砾石尺度信息自动提取方法
CN115345897A (zh) 三维重建的深度图优化方法及装置
CN113177949B (zh) 一种大尺寸岩石颗粒特征识别方法及装置
CN113807238A (zh) 一种河道水面漂浮物面积的视觉测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant