CN110874596B - 一种仪表智能识别预警方法及系统 - Google Patents
一种仪表智能识别预警方法及系统 Download PDFInfo
- Publication number
- CN110874596B CN110874596B CN201911075736.4A CN201911075736A CN110874596B CN 110874596 B CN110874596 B CN 110874596B CN 201911075736 A CN201911075736 A CN 201911075736A CN 110874596 B CN110874596 B CN 110874596B
- Authority
- CN
- China
- Prior art keywords
- instrument dial
- instrument
- image
- dial
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
Abstract
本发明涉及一种仪表智能识别预警方法及系统,其特征在于,包括以下内容:1)获取工作现场的一帧图像数据;2)识别该帧图像数据中是否存在表盘;3)获取该帧图像数据中的仪表表盘图像,提取仪表表盘图像的信息,并对该仪表表盘图像进行尺度缩放处理,生成尺度缩放后的仪表表盘图像;4)对尺度缩放后的仪表表盘图像进行预处理,得到预处理后的仪表表盘图像;5)对仪表表盘的刻度进行识别;6)将识别出的仪表表盘刻度显示于智能眼镜中;7)当识别出的仪表表盘刻度超过预先设定的预警阈值时,在智能眼镜中进行预警,本发明可广泛应用于人工智能领域中。
Description
技术领域
本发明是关于一种仪表智能识别预警方法及系统,属于人工智能领域。
背景技术
目前,机房、电网设备间的仪表大多是以机械指针式仪表作为生产环境运行状态的外在体现,传统方法是由巡检员工定时抄表记录。但是,由于巡检员工容易疲劳、易错等问题,研究人员研发了自主巡检机器人,该机器人可以按照指定的线路对沿途的仪表进行定点仪表读数采集汇总,可以有效地提高巡检效率。
但是,这种自动巡检机器人对环境的要求较高,例如,地面上不可以存在超过限值或难于翻越的障碍物、巡检线路地面需要重新施工建造并且裸露仪表不能污损,需要保持清洁等,使得这种方案无法大面积推广。
发明内容
针对上述问题,本发明的目的是提供一种克服巡检机器人无法适应复杂环境且能够在人工巡检过程中,降低巡检人员工作量的仪表智能识别预警系统及方法。
为实现上述目的,本发明采取以下技术方案:一种仪表智能识别预警方法,其特征在于,包括以下内容:1)获取工作现场的一帧图像数据;2)根据预先训练得到的仪表表盘识别智能模型,识别该帧图像数据中是否存在表盘,如果存在,则进入步骤3);如果不存在,则进入步骤1);3)对该帧图像数据进行裁剪,获取该帧图像数据中的仪表表盘图像,提取仪表表盘图像的信息,并对该仪表表盘图像进行尺度缩放处理,生成尺度缩放后的仪表表盘图像;4)对尺度缩放后的仪表表盘图像进行预处理,得到预处理后的仪表表盘图像;5)根据仪表表盘图像的信息和预处理后的仪表表盘图像,对仪表表盘的刻度进行识别,如果识别出仪表表盘的刻度,则进入步骤6);如果没有识别出仪表表盘的刻度,则进入步骤1);6)采用AR方法,将识别出的仪表表盘刻度显示于智能眼镜中;7)当识别出的仪表表盘刻度超过预先设定的预警阈值时,在智能眼镜中进行预警。
进一步地,所述步骤3)中尺度缩放处理的具体过程为:取仪表表盘图像的宽和高中的较小值为两基准边,将该基准边的长度缩放至预先设定的像素值,另两条边等比例进行缩放。
进一步地,所述步骤5)的具体过程为:5.1)采用Canny边缘检测算法,根据仪表表盘图像的信息,获取预处理后仪表表盘图像中仪表表盘的边缘轮廓信息;5.2)采用8邻域轮廓跟踪算法,对获取的边缘轮廓信息进行8邻域轮廓跟踪,得到仪表表盘连续的边缘轮廓信息;5.3)采用Hough变换,对得到的连续边缘轮廓信息进行圆检测,得到预处理后的仪表表盘图像中仪表表盘的圆形区域和圆心点坐标;5.4)采用Hough变换,对得到的连续边缘轮廓信息进行直线检测,获取预处理后的仪表表盘图像中所有点构成数超过点构成数阈值且线与线之间的距离大于距离阈值的所有直线,并结合确定的圆心点坐标,得到仪表表盘指针所在的直线;5.5)根据预先确定的仪表表盘指针的起始位置和终止位置的角度和刻度值,以及得到的仪表表盘的圆形区域、圆心点坐标和仪表表盘指针所在的直线,识别仪表表盘的刻度。
进一步地,所述步骤5.3)的具体过程为:5.3.1)采用Hough变换,对得到的连续边缘轮廓信息进行圆检测,检测出预处理后的仪表表盘图像中所有半径在预先设定的半径范围内的圆;5.3.2)遍历检测出的所有圆,找出半径最大且整个圆形均位于仪表表盘图像内的唯一圆,作为仪表表盘的圆形区域,该唯一圆的圆心点坐标即为仪表表盘的圆心点坐标。
进一步地,所述步骤5.4)的具体过程为:5.4.1)采用Hough变换,对得到的连续边缘轮廓信息进行直线检测,检测出预处理后的仪表表盘图像中所有点构成数超过点构成数阈值且线与线之间的距离大于距离阈值的所有直线;5.4.2)分别计算检测出的所有直线的两端点与仪表表盘的圆心点坐标之间的距离,并选取距离最小的前若干条直线作为备选直线集;5.4.3)分别计算备选直线集中每条直线的长度,并将长度最长的直线作为仪表表盘指针所在的直线。
进一步地,所述步骤5.5)的具体过程为:5.5.1)设定仪表表盘指针垂直向下为0度,以顺时间方向旋转,并预先确定仪表表盘指针的起始位置和终止位置的角度和刻度值;5.5.2)将得到的仪表表盘指针所在的直线距离圆心点坐标的最远点与圆心点坐标相连,作为指针方向;5.5.3)采用三角函数,计算得到仪表表盘的圆心点、指针尖和0刻度三点构成的夹角角度;5.5.4)根据计算的夹角角度以及预定的起始位置和终止位置的角度,得到指针角度的比例;5.5.5)根据指针角度的比例和预定的起始位置和终止位置的刻度值,得到仪表表盘的刻度。
进一步地,所述图像数据中仪表在整幅图像所占的宽高比例不低于1/5,所述图像数据为正对仪表表盘处的图像数据、俯视仪表表盘处预定角度范围内的图像数据、从左至右侧视仪表表盘预定角度范围的图像数据或从右至左侧视仪表表盘预定角度范围的图像数据。
进一步地,正对仪表表盘处的偏差角度范围为15°以内,俯视仪表表盘处的预定角度范围为俯视30°~60°,从左至右侧仪表表盘处的预定角度范围为从左至右侧视30°~60°,从右至左侧视仪表表盘处的预定角度范围为从右至左侧视30°~60°。
进一步地,所述仪表表盘图像的信息包括仪表表盘位置相对于该帧图像数据左上角的左、上、右和下的坐标位置。
一种仪表智能识别预警系统,其特征在于,包括智能眼镜,所述智能眼镜上设置有用于获取工作现场图像数据的摄像头,所述智能眼镜内设置有:表盘识别模块,用于根据预先训练得到的仪表表盘识别智能模型,识别所述摄像头获取的一帧图像数据中是否存在表盘;图像分割模块,用于获取该帧图像数据中的仪表表盘图像,提取仪表表盘图像的信息,并对该仪表表盘图像进行尺度缩放处理,生成尺度缩放后的仪表表盘图像;图像预处理模块,用于对尺度缩放后的仪表表盘图像进行预处理,得到预处理后的仪表表盘图像;图像识别模块,用于根据仪表表盘图像的信息和预处理后的仪表表盘图像,对仪表表盘的刻度进行识别,识别出仪表表盘的刻度;显示模块,用于采用AR方法,显示识别出的仪表表盘的刻度;预警模块,用于当识别出的仪表表盘刻度超过预先设定的预警阈值时,进行预警。
本发明由于采取以上技术方案,其具有以下优点:本发明通过让巡检人员佩戴智能眼镜,根据智能眼镜上设置的摄像头获取工作现场的图像数据,并对获取的图像数据进行识别,获取工作现场的仪表表盘的刻度,并结合增强现实方法,将识别的刻度显示在智能眼镜中,实现智能巡检、仪表抄表、读数记录、警告提示等操作在巡检过程中一体化自动完成,能够大幅减轻员工的工作量,提高巡检效率,相较于巡检机器人,具有成本低、部署快、复杂环境适应性强等特点,可以广泛应用于人工智能领域中。
附图说明
图1是本发明方法的流程图;
图2是本发明实施例的流程图;
图3是本发明系统的结构示意图。
具体实施方式
以下结合附图来对本发明进行详细的描绘。然而应当理解,附图的提供仅为了更好地理解本发明,它们不应该理解成对本发明的限制。
如图1所示,本发明提供的仪表智能识别预警方法,包括以下步骤:
1)获取工作现场的一帧图像数据,其中,仪表在整幅图像中所占的宽高比例不能低于1/5,图像数据可以为正对仪表表盘处的图像数据、俯视仪表表盘处预定角度范围内的图像数据、从左至右侧视仪表表盘预定角度范围的图像数据或从右至左侧视仪表表盘预定角度范围的图像数据,正对仪表表盘处的偏差角度范围为15°以内,俯视仪表表盘处的预定角度范围为俯视30°~60°,从左至右侧仪表表盘处的预定角度范围为从左至右侧视30°~60°,从右至左侧视仪表表盘处的预定角度范围为从右至左侧视30°~60°。
2)根据预先训练得到的仪表表盘识别智能模型,识别该帧图像数据中是否存在表盘,如果存在,则进入步骤3);如果不存在,则进入步骤1),具体为:
2.1)采用SSD-mobilenetv1神经网络构架作为基础训练网络,采用LabelIMG工具对仪表图像数据中的表盘位置进行标注得到训练数据,采用TensorFlow深度学习训练框架对训练数据进行训练,训练得到仪表表盘识别智能模型,其中,SSD-mobilenetv1神经网络构架、LabelIMG工具和TensorFlow深度学习训练框架均为现有技术公开的方法,具体过程在此不多做赘述。
2.2)根据得到的仪表表盘识别智能模型,识别该帧图像数据中是否存在表盘,如果存在,则进入步骤3);如果不存在,则进入步骤1)。
3)对该帧图像数据进行裁剪,获取该帧图像数据中的仪表表盘图像,提取仪表表盘图像的信息,并对该仪表表盘图像进行尺度缩放处理,生成尺度缩放后的仪表表盘图像,其中,仪表表盘图像的信息包括仪表表盘位置相对于该帧图像数据左上角的左、上、右和下的坐标位置,尺度缩放处理为取仪表表盘图像的宽和高中的较小值为基准边,将该基准边的长度缩放至预先设定的像素值(例如:600像素),另两条边等比例进行缩放。
4)对尺度缩放后的仪表表盘图像依次进行高斯滤波和灰度化等预处理,生成预处理后的仪表表盘图像。
5)根据仪表表盘图像的信息和预处理后的仪表表盘图像,对仪表表盘的刻度进行识别,如果识别出仪表表盘的刻度,则进入步骤6);如果没有识别出仪表表盘的刻度,则进入步骤1),具体为:
5.1)采用Canny边缘检测算法,根据仪表表盘图像的信息,获取预处理后仪表表盘图像中仪表表盘的边缘轮廓信息,其中,Canny边缘检测算法为现有技术公开的方法,具体过程在此不多做赘述。
5.2)采用8邻域轮廓跟踪算法,对获取的边缘轮廓信息进行8邻域轮廓跟踪,得到仪表表盘连续的边缘轮廓信息,其中,8邻域轮廓跟踪算法为现有技术公开的方法,具体过程在此不多做赘述。
5.3)采用Hough(霍夫)变换,对得到的连续边缘轮廓信息进行圆检测,得到预处理后的仪表表盘图像中仪表表盘的圆形区域和圆心点坐标:
5.3.1)采用Hough变换,对得到的连续边缘轮廓信息进行圆检测,检测出预处理后的仪表表盘图像中所有半径大于150且小于304(该半径的范围根据尺度缩放后的仪表表盘图像的像素值确定)的圆。
5.3.2)遍历检测出的所有圆,找出半径最大且整个圆形均位于仪表表盘图像内的唯一圆,作为仪表表盘的圆形区域,该唯一圆的圆心点坐标即为仪表表盘的圆心点坐标。
5.4)采用Hough变换,对得到的连续边缘轮廓信息进行直线检测,获取预处理后的仪表表盘图像中所有点构成数超过点构成数阈值例如50(该点构成数根据尺度缩放后的仪表表盘图像的像素值确定)且线与线之间的距离大于距离阈值例如5的所有直线,并结合确定的圆心点坐标,得到仪表表盘指针所在的直线:
5.4.1)采用Hough变换,对得到的连续边缘轮廓信息进行直线检测,检测出预处理后的仪表表盘图像中所有点构成数超过点构成数阈值且线与线之间的距离大于距离阈值的所有直线,其中,距离阈值为根据600×600的尺度缩放后的仪表表盘图像中指针与圆心的距离估算得出。
5.4.2)分别计算检测出的所有直线的两端点与仪表表盘的圆心点坐标之间的距离,并选取距离最小的前5条直线作为备选直线集,其中,若检测出的直线不足5条,则全部作为备选直线集。
5.4.3)分别计算备选直线集中每条直线的长度,并将长度最长的直线作为仪表表盘指针所在的直线。
5.5)根据预先确定的仪表表盘指针的起始位置和终止位置的角度和刻度值,以及得到的仪表表盘的圆形区域、圆心点坐标和仪表表盘指针所在的直线,识别仪表表盘的刻度:
5.5.1)设定仪表表盘指针垂直向下为0度,以顺时间方向旋转,并预先确定仪表表盘指针的起始位置和终止位置的角度和刻度值,例如起始位置位于左下45度左右,终止位置位于右下315度左右。
5.5.2)将得到的仪表表盘指针所在的直线距离圆心点坐标的最远点与圆心点坐标相连,作为指针方向。
5.5.3)采用三角函数,计算得到仪表表盘的圆心点、指针尖和0刻度三点构成的夹角角度。
5.5.4)根据计算的夹角角度以及预定的起始位置和终止位置的角度,得到指针角度的比例。
5.5.5)根据指针角度的比例和预定的起始位置和终止位置的刻度值,得到仪表表盘的刻度。
6)采用AR(Augmented Reality,增强现实)方法,将识别出的仪表表盘刻度显示于智能眼镜中,其中,AR方法为现有技术公开的方法,具体过程在此不多做赘述。
7)预先设定仪表的预警阈值,当识别出的仪表表盘刻度超过预先设定的预警阈值时,在智能眼镜中进行预警。
如图2所示,下面通过具体实施例详细说明本发明方法的使用过程:
巡检员工佩带智能眼镜进入巡检区域,在巡检过程中,首先智能眼镜实时对工作现场进行扫描识别得到图像数据,若图像数据中存在指针仪表,则智能眼镜识别出图像数据中的仪表表盘,并对该帧图像数据进行裁剪,分割出该帧图像数据中的仪表表盘图像。然后,对该仪表表盘图像依次进行高斯滤波和灰度化等预处理,得到预处理后的仪表表盘图像。其次,智能眼镜根据预处理后的仪表表盘图像,识别出仪表表盘的刻度。最后,采用AR方法,将识别的仪表表盘的刻度显示于智能眼镜中,提示巡检员工仪表读数,当识别的仪表表盘的刻度超过预设的预警阈值时,在智能眼镜中警示提示。
基于上述仪表智能识别预警方法,如图3所示,本发明还提供一种仪表智能识别预警系统,包括智能眼镜,智能眼镜上设置有摄像头,用于获取工作现场的图像数据。智能眼镜内设置有表盘识别模块1、图像分割模块2、图像预处理模块3、图像识别模块4、显示模块5和预警模块6,其中:
表盘识别模块1,用于根据预先训练得到的仪表表盘识别智能模型,识别所述摄像头获取的一帧图像数据中是否存在表盘;图像分割模块2,用于获取该帧图像数据中的仪表表盘图像,提取仪表表盘图像的信息,并对该仪表表盘图像进行尺度缩放处理,生成尺度缩放后的仪表表盘图像;图像预处理模块3,用于对尺度缩放后的仪表表盘图像进行预处理,得到预处理后的仪表表盘图像;图像识别模块4,用于根据仪表表盘图像的信息和预处理后的仪表表盘图像,对仪表表盘的刻度进行识别,识别出仪表表盘的刻度;显示模块5,用于采用AR方法,显示识别出的仪表表盘的刻度;预警模块6,用于当识别出的仪表表盘刻度超过预先设定的预警阈值时,进行预警。
上述各实施例仅用于说明本发明,其中各部件的结构、连接方式和制作工艺等都是可以有所变化的,凡是在本发明技术方案的基础上进行的等同变换和改进,均不应排除在本发明的保护范围之外。
Claims (8)
1.一种仪表智能识别预警方法,其特征在于,包括以下内容:
1)获取工作现场的一帧图像数据;
2)根据预先训练得到的仪表表盘识别智能模型,识别该帧图像数据中是否存在表盘,如果存在,则进入步骤3);如果不存在,则进入步骤1),具体为:
2.1)采用SSD-mobilenetv1神经网络构架作为基础训练网络,采用LabelIMG工具对仪表图像数据中的表盘位置进行标注得到训练数据,采用TensorFlow深度学习训练框架对训练数据进行训练,训练得到仪表表盘识别智能模型;
2.2)根据得到的仪表表盘识别智能模型,识别该帧图像数据中是否存在表盘,如果存在,则进入步骤3);如果不存在,则进入步骤1);
3)对该帧图像数据进行裁剪,获取该帧图像数据中的仪表表盘图像,提取仪表表盘图像的信息,并对该仪表表盘图像进行尺度缩放处理,生成尺度缩放后的仪表表盘图像;
4)对尺度缩放后的仪表表盘图像进行预处理,得到预处理后的仪表表盘图像;
5)根据仪表表盘图像的信息和预处理后的仪表表盘图像,对仪表表盘的刻度进行识别,如果识别出仪表表盘的刻度,则进入步骤6);如果没有识别出仪表表盘的刻度,则进入步骤1),具体过程为:
5.1)采用Canny边缘检测算法,根据仪表表盘图像的信息,获取预处理后仪表表盘图像中仪表表盘的边缘轮廓信息;
5.2)采用8邻域轮廓跟踪算法,对获取的边缘轮廓信息进行8邻域轮廓跟踪,得到仪表表盘连续的边缘轮廓信息;
5.3)采用Hough变换,对得到的连续边缘轮廓信息进行圆检测,得到预处理后的仪表表盘图像中仪表表盘的圆形区域和圆心点坐标:
5.3.1)采用Hough变换,对得到的连续边缘轮廓信息进行圆检测,检测出预处理后的仪表表盘图像中所有半径在预先设定的半径范围内的圆;
5.3.2)遍历检测出的所有圆,找出半径最大且整个圆形均位于仪表表盘图像内的唯一圆,作为仪表表盘的圆形区域,该唯一圆的圆心点坐标即为仪表表盘的圆心点坐标;
5.4)采用Hough变换,对得到的连续边缘轮廓信息进行直线检测,获取预处理后的仪表表盘图像中所有点构成数超过点构成数阈值且线与线之间的距离大于距离阈值的所有直线,并结合确定的圆心点坐标,得到仪表表盘指针所在的直线;
5.5)根据预先确定的仪表表盘指针的起始位置和终止位置的角度和刻度值,以及得到的仪表表盘的圆形区域、圆心点坐标和仪表表盘指针所在的直线,识别仪表表盘的刻度;
6)采用AR方法,将识别出的仪表表盘刻度显示于智能眼镜中;
7)当识别出的仪表表盘刻度超过预先设定的预警阈值时,在智能眼镜中进行预警。
2.如权利要求1所述的一种仪表智能识别预警方法,其特征在于,所述步骤3)中尺度缩放处理的具体过程为:
取仪表表盘图像的宽和高中的较小值为两基准边,将该基准边的长度缩放至预先设定的像素值,另两条边等比例进行缩放。
3.如权利要求1所述的一种仪表智能识别预警方法,其特征在于,所述步骤5.4)的具体过程为:
5.4.1)采用Hough变换,对得到的连续边缘轮廓信息进行直线检测,检测出预处理后的仪表表盘图像中所有点构成数超过点构成数阈值且线与线之间的距离大于距离阈值的所有直线;
5.4.2)分别计算检测出的所有直线的两端点与仪表表盘的圆心点坐标之间的距离,并选取距离最小的前若干条直线作为备选直线集;
5.4.3)分别计算备选直线集中每条直线的长度,并将长度最长的直线作为仪表表盘指针所在的直线。
4.如权利要求3所述的一种仪表智能识别预警方法,其特征在于,所述步骤5.5)的具体过程为:
5.5.1)设定仪表表盘指针垂直向下为0度,以顺时间方向旋转,并预先确定仪表表盘指针的起始位置和终止位置的角度和刻度值;
5.5.2)将得到的仪表表盘指针所在的直线距离圆心点坐标的最远点与圆心点坐标相连,作为指针方向;
5.5.3)采用三角函数,计算得到仪表表盘的圆心点、指针尖和0刻度三点构成的夹角角度;
5.5.4)根据计算的夹角角度以及预定的起始位置和终止位置的角度,得到指针角度的比例;
5.5.5)根据指针角度的比例和预定的起始位置和终止位置的刻度值,得到仪表表盘的刻度。
5.如权利要求1所述的一种仪表智能识别预警方法,其特征在于,所述图像数据中仪表在整幅图像所占的宽高比例不低于1/5,所述图像数据为正对仪表表盘处的图像数据、俯视仪表表盘处预定角度范围内的图像数据、从左至右侧视仪表表盘预定角度范围的图像数据或从右至左侧视仪表表盘预定角度范围的图像数据。
6.如权利要求5所述的一种仪表智能识别预警方法,其特征在于,正对仪表表盘处的偏差角度范围为15°以内,俯视仪表表盘处的预定角度范围为俯视30°~60°,从左至右侧仪表表盘处的预定角度范围为从左至右侧视30°~60°,从右至左侧视仪表表盘处的预定角度范围为从右至左侧视30°~60°。
7.如权利要求1所述的一种仪表智能识别预警方法,其特征在于,所述仪表表盘图像的信息包括仪表表盘位置相对于该帧图像数据左上角的左、上、右和下的坐标位置。
8.一种仪表智能识别预警系统,其特征在于,包括智能眼镜,所述智能眼镜上设置有用于获取工作现场图像数据的摄像头,所述智能眼镜内设置有:
表盘识别模块,用于根据预先训练得到的仪表表盘识别智能模型,识别所述摄像头获取的一帧图像数据中是否存在表盘,具体为:
采用SSD-mobilenetv1神经网络构架作为基础训练网络,采用LabelIMG工具对仪表图像数据中的表盘位置进行标注得到训练数据,采用TensorFlow深度学习训练框架对训练数据进行训练,训练得到仪表表盘识别智能模型;
根据得到的仪表表盘识别智能模型,识别该帧图像数据中是否存在表盘;
图像分割模块,用于获取该帧图像数据中的仪表表盘图像,提取仪表表盘图像的信息,并对该仪表表盘图像进行尺度缩放处理,生成尺度缩放后的仪表表盘图像;
图像预处理模块,用于对尺度缩放后的仪表表盘图像进行预处理,得到预处理后的仪表表盘图像;
图像识别模块,用于根据仪表表盘图像的信息和预处理后的仪表表盘图像,对仪表表盘的刻度进行识别,识别出仪表表盘的刻度,具体过程为:
采用Canny边缘检测算法,根据仪表表盘图像的信息,获取预处理后仪表表盘图像中仪表表盘的边缘轮廓信息;
采用8邻域轮廓跟踪算法,对获取的边缘轮廓信息进行8邻域轮廓跟踪,得到仪表表盘连续的边缘轮廓信息;
采用Hough变换,对得到的连续边缘轮廓信息进行圆检测,得到预处理后的仪表表盘图像中仪表表盘的圆形区域和圆心点坐标:
采用Hough变换,对得到的连续边缘轮廓信息进行圆检测,检测出预处理后的仪表表盘图像中所有半径在预先设定的半径范围内的圆;
遍历检测出的所有圆,找出半径最大且整个圆形均位于仪表表盘图像内的唯一圆,作为仪表表盘的圆形区域,该唯一圆的圆心点坐标即为仪表表盘的圆心点坐标;
采用Hough变换,对得到的连续边缘轮廓信息进行直线检测,获取预处理后的仪表表盘图像中所有点构成数超过点构成数阈值且线与线之间的距离大于距离阈值的所有直线,并结合确定的圆心点坐标,得到仪表表盘指针所在的直线;
根据预先确定的仪表表盘指针的起始位置和终止位置的角度和刻度值,以及得到的仪表表盘的圆形区域、圆心点坐标和仪表表盘指针所在的直线,识别仪表表盘的刻度;
显示模块,用于采用AR方法,显示识别出的仪表表盘的刻度;
预警模块,用于当识别出的仪表表盘刻度超过预先设定的预警阈值时,进行预警。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911075736.4A CN110874596B (zh) | 2019-11-06 | 2019-11-06 | 一种仪表智能识别预警方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911075736.4A CN110874596B (zh) | 2019-11-06 | 2019-11-06 | 一种仪表智能识别预警方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110874596A CN110874596A (zh) | 2020-03-10 |
CN110874596B true CN110874596B (zh) | 2023-02-28 |
Family
ID=69717236
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911075736.4A Active CN110874596B (zh) | 2019-11-06 | 2019-11-06 | 一种仪表智能识别预警方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110874596B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111553345B (zh) * | 2020-04-22 | 2023-10-20 | 上海浩方信息技术有限公司 | 基于Mask RCNN与正交线性回归实现仪表指针读数识别处理的方法 |
CN111757053A (zh) * | 2020-05-29 | 2020-10-09 | 南京立知未来科技有限公司 | 一种基于显示画面的数据云端化方法 |
CN112036390A (zh) * | 2020-07-22 | 2020-12-04 | 四川长宁天然气开发有限责任公司 | 一种基于页岩气田生产三针类仪表读数的识别方法 |
CN112036391B (zh) * | 2020-07-22 | 2023-09-19 | 四川长宁天然气开发有限责任公司 | 一种基于页岩气田生产站场的电子巡检方法及系统 |
CN111814919A (zh) * | 2020-08-31 | 2020-10-23 | 江西小马机器人有限公司 | 一种基于深度学习的仪表定位与识别系统 |
CN112307887B (zh) * | 2020-09-02 | 2023-04-21 | 国网浙江省电力有限公司嘉兴供电公司 | 一种sf6气体压力智能在线监测预警方法及系统 |
CN111931776B (zh) * | 2020-10-16 | 2021-04-09 | 江西小马机器人有限公司 | 一种基于深度学习的双指针仪表读数方法 |
CN115205997A (zh) * | 2022-07-14 | 2022-10-18 | 西安建筑科技大学 | 一种基于人工智能的暖通空调机房无人化巡检系统及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104392206A (zh) * | 2014-10-24 | 2015-03-04 | 南京航空航天大学 | 一种指针式仪表读数自动识别的图像处理方法 |
CN105488788A (zh) * | 2015-11-24 | 2016-04-13 | 大连楼兰科技股份有限公司 | 汽车液体余量检测方法 |
CN205982891U (zh) * | 2016-08-17 | 2017-02-22 | 云南电网有限责任公司电力科学研究院 | 一种电力用智能眼镜 |
CN107066998A (zh) * | 2016-12-30 | 2017-08-18 | 山东鲁能软件技术有限公司 | 一种利用移动设备的指针式圆形单仪表盘实时识别方法 |
CN108564085A (zh) * | 2018-03-13 | 2018-09-21 | 南京大学 | 一种自动读取指针式仪表读数的方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10748339B2 (en) * | 2016-06-03 | 2020-08-18 | A Big Chunk Of Mud Llc | System and method for implementing computer-simulated reality interactions between users and publications |
CN106529519A (zh) * | 2016-09-19 | 2017-03-22 | 国家电网公司 | 一种电力指针式仪表自动读数识别的方法及系统 |
CN109993166B (zh) * | 2019-04-03 | 2020-10-09 | 同济大学 | 基于刻度查找的指针式仪表读数自动识别方法 |
-
2019
- 2019-11-06 CN CN201911075736.4A patent/CN110874596B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104392206A (zh) * | 2014-10-24 | 2015-03-04 | 南京航空航天大学 | 一种指针式仪表读数自动识别的图像处理方法 |
CN105488788A (zh) * | 2015-11-24 | 2016-04-13 | 大连楼兰科技股份有限公司 | 汽车液体余量检测方法 |
CN205982891U (zh) * | 2016-08-17 | 2017-02-22 | 云南电网有限责任公司电力科学研究院 | 一种电力用智能眼镜 |
CN107066998A (zh) * | 2016-12-30 | 2017-08-18 | 山东鲁能软件技术有限公司 | 一种利用移动设备的指针式圆形单仪表盘实时识别方法 |
CN108564085A (zh) * | 2018-03-13 | 2018-09-21 | 南京大学 | 一种自动读取指针式仪表读数的方法 |
Non-Patent Citations (2)
Title |
---|
Lightning Arrester Monitor Pointer Meter and Digits Reading Recognition Based on Image Processing;Kai Wen et al.;《2018 IEEE 3rd Advanced Information Technology, Electronic and Automation Control Conference (IAEAC)》;20181217;759-764 * |
一种自动读取指针式仪表读数的方法;周杨浩等;《山东大学学报(工学版)》;20190831;第49卷(第4期);1-7 * |
Also Published As
Publication number | Publication date |
---|---|
CN110874596A (zh) | 2020-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110874596B (zh) | 一种仪表智能识别预警方法及系统 | |
CN103411553B (zh) | 多线结构光视觉传感器的快速标定方法 | |
CN104236498B (zh) | 一种道岔钢轨件端面尺寸的测量方法 | |
CN107729853B (zh) | 一种适用于变电站窄刻度指针式仪表的自动识别方法 | |
CN112906694A (zh) | 变电站倾斜式指针式仪表图像的读数矫正系统及方法 | |
CN110929710B (zh) | 一种基于视觉的仪表指针读数自动识别方法与系统 | |
CN110991360B (zh) | 一种基于视觉算法的机器人巡检点位智能配置方法 | |
CN108921165B (zh) | 基于水尺图像的水位识别方法 | |
CN103425988A (zh) | 一种具有圆弧几何基元的实时定位与匹配方法 | |
CN102622615B (zh) | 基于刀闸臂特征点间距离的刀闸状态合位可靠性判别方法 | |
CN102768022A (zh) | 采用数码照相技术的隧道围岩变形检测方法 | |
CN111507186B (zh) | 一种变电站指针式仪表读数识别方法 | |
CN113469178B (zh) | 一种基于深度学习的电力表计识别方法 | |
CN107145890A (zh) | 一种远距离多视角环境下的指针式仪表盘自动读数方法 | |
CN107220964A (zh) | 一种线状特征提取用于地质危岩体稳定性评估方法 | |
CN113284109A (zh) | 管道缺陷识别方法、装置、终端设备及存储介质 | |
CN117288094B (zh) | 基于激光传感器的掘进机实时定位系统 | |
CN113705564A (zh) | 一种指针式仪表识别读数方法 | |
CN117152727A (zh) | 一种用于巡检机器人的指针式仪表自动读数方法 | |
CN116642420A (zh) | 一种汽车风窗玻璃涂胶在线胶型检测装置及方法 | |
CN114663672B (zh) | 一种输电线路塔钢构件腐蚀检测方法及系统 | |
CN115861407A (zh) | 基于深度学习的安全距离检测方法及系统 | |
CN115464651A (zh) | 一种六组机器人物体抓取系统 | |
CN114898347A (zh) | 一种指针式仪表机器视觉识别方法 | |
CN110060339B (zh) | 一种基于云计算图形图像的三维建模方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |