CN112699876B - 一种用于集气站多类型仪表自动读数方法 - Google Patents
一种用于集气站多类型仪表自动读数方法 Download PDFInfo
- Publication number
- CN112699876B CN112699876B CN202110312227.XA CN202110312227A CN112699876B CN 112699876 B CN112699876 B CN 112699876B CN 202110312227 A CN202110312227 A CN 202110312227A CN 112699876 B CN112699876 B CN 112699876B
- Authority
- CN
- China
- Prior art keywords
- instrument
- image
- point
- reading
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明提供了一种用于集气站多类型仪表自动读数方法,涉及非常规油气开发技术领域,包括图像预处理模块、仪表图像配准和几何变换模块、指针定位和读数模块、数字分割与识别模块和液柱和刻度的定位与读数模块,本发明将传统机器视觉方法和深度学习算法相结合,可以实现对集气站内仪表的类型自动分类和读数,避免人工标定或区分的重复劳动,不仅精度高,而且有效保障工作人员的安全;另外对于仪表特征识别等易受环境影响的环节采用深度学习算法,去除了复杂的数字图像处理和调参过程,大大增强了整体算法的鲁棒性、普适性和准确性,解决了现有算法适用范围窄和易受环境影响等技术问题。
Description
技术领域
本发明涉及非常规油气开发技术领域,尤其涉及一种用于集气站多类型仪表自动读数方法。
背景技术
在油气勘探中,集气站是重要组成部分;集气站需要各种仪器仪表实时指示当前集气站的工作状态,以确保整个系统运行安全稳定,并在较短时间内发现危险;目前多数集气站主要依靠人工巡检保障设备工作正常,即定时安排巡检人员深入车间对仪表进行逐一读数并上报数据;这种方法主要存在以下几个缺点:
(1)集气站规模较大,工艺设备多,巡检工作繁杂、耗时,数据获取存在延时,在遇到紧急情况时难以及时反应;
(2)集气站巡检频次高,劳动强度大,测量人员会因疲劳、极端天气等原因导致读数误差;
(3)集气站不可避免地会存储有毒有害气体,即使微量释放也会对巡检人员的身体造成损害;
(4)巡检人员误操作也会导致集气站发生爆炸和燃烧等事故,危及人身和设备安全。
随着机器视觉和深度学习的兴起,可以实现对目标像素级的识别与分割;机器人技术在各行各业得到广泛运用,可以代替人工进入更危险的场所、采取更精准的动作,加之人力成本上升趋势和产业升级的需要,对集气站各类仪表进行自动巡检与读数迫在眉睫,在行业有着现实需要和运用前景。
目前广泛运用的仪表仪器主要分为数显类仪表、指针类仪表和液位式仪表:传统的指针类仪表通过内部机械装置和基本物理原理反映物理量的变化,结实耐用、具备较强的抗干扰能力;数显类仪表则通过直接将测量信号转化为电信号,通过液晶显示屏进行数字显示,方便用户直接读数,减少了换算时间和偶然误差;而液位式仪表将液位计和被测容器形成连通器,通过醒目颜色指示容器内液体的高度,可用于连续测量多种类型的液体,易于观察,这三类仪表各有优点,其应用场景遍及在生活和工业生产中。
但是实现仪表的自动读数仍需解决仪表特征提取与建模读数的问题;目前常用的一些处理方法是使用例如SIFT、SURF和MSER等传统机器视觉算法;这些算法都需要复杂的调参,并且当仪表规格或者外界环境发生变化时就不再适用,适用范围窄。此外,现有的自动读数算法仅能对某类型仪表进行处理和读数,在遇到其他类型仪表时不能根据其类型调整读数算法。
发明内容
本发明所要解决的技术问题是克服现有技术中存在的不足,提供一种用于集气站多类型仪表自动读数方法,其在传统数字图像处理算法的基础上使用深度学习算法进行仪表分类和像素级目标识别,解决了现有算法适用范围窄和易受环境影响等技术问题。
本发明是通过以下技术方案予以实现:一种用于集气站多类型仪表自动读数方法,包括
图像预处理模块,用于去除噪声信号并增强图像特征;
仪表分类与识别定位模块,用于确定输入图像的仪表类型以及仪表在图像中的位置,裁剪出仪表图像;
仪表图像配准和几何变换模块,用于将倾斜角度拍摄的仪表图像变换为标准正面图像;
指针定位和读数模块,用于识别指针类仪表的关键特征并读数;
数字分割与识别模块,用于识别数显类仪表的关键特征并读数;
液柱和刻度的定位与读数模块,用于识别液位式仪表的关键特征并读数;
具体包括以下步骤:
步骤1、将获取的仪表区域图像输入所述图像预处理模块,得到噪声去除且特征加强的预处理图像;
步骤2、将步骤1的预处理图像输入所述仪表分类与识别定位模块,得到仪表的类型和位置信息,对预处理图像进行裁剪获得仪表图像,具体包括以下分步骤;
步骤2-1、将多种类型仪表图像、对应标签及位置信息随机打乱顺序制成数据集;
步骤2-2、将数据集输入网络,训练网络参数,建立网络模型;
步骤2-3、将待检测的仪表区域图像输入步骤2-2的网络模型,对仪表区域图像分类和位置预测,根据预测结果对仪表区域图像进行裁剪得到仪表图像并确定仪表类型;
步骤3、获得仪表类型和裁剪后的仪表图像,根据类型将仪表图像输入对应的仪表图像配准和几何变换模块,得到配准后的标准正面图像,具体包括以下分步骤;
步骤3-1、预先获得仪表的仪表图像;
步骤3-2、使用ORB算法提取待读数的仪表图像和标准图像的特征点并生成具有方向信息的描述符;
步骤3-4、构建透视变换矩阵的数学模型;
步骤3-5、解算步骤3-4的透视变换矩阵至少需要4对坐标,而由于步骤3-3匹配的特征点对数大于4对并且存在误匹配情况,因此使用RANSAC算法对这些匹配点对进行迭代计算和筛选,得到使误差函数最小的一组最优匹配点对;
步骤3-6、将步骤3-5得到的一组最优的特征点对代入步骤3-4;
步骤3-7、用步骤3-6得到的结果对待测试的仪表图像的像素点进行遍历,生成新的像素点坐标,最终得到配准后的标准正面图像;
步骤4、根据步骤2所得仪表类型决定执行相应步骤,若为指针类仪表则执行步骤5,若为数显类仪表则执行步骤6,若为液位式仪表则执行步骤7;
步骤5、将步骤4的标准正面图像输入指针定位和读数模块,得到仪表示数;
步骤5-1、对标准正面图像进行局部阈值二值化处理,去除无效的背景信息,得到二值化后的仪表信息图像,阈值的计算公式为:
步骤5-2、将步骤5-1所得仪表信息图像的前景像素点按照位置关系组合成区域块,设定标准阈值,当面积在1000到10000且长宽比在大于4的设定范围内即可判定为指针,按一定的面积、长宽比例筛选出指针区域块并将其编号存储;
步骤5-3、利用查表法细化指针区域:
对于任一非图像边缘前景像素点,它的邻域有8个像素点;邻域中每个像素点的值都有255和0两种可能,因此共有种可能性;逐个分析每种情况,对于需要删除的标记为1,保留的标记为0,得到一个可供索引的一维数组,数组长度为256,用于搜索数组的索引值可由公式计算为:
步骤5-4、使用累积概率霍夫变换算法检测步骤5-3中的线段并获得线段的端点信息,根据线段长度进一步筛选出指针;
可解得圆心坐标和半径:
其中:
解得圆心坐标和半径,获得圆心坐标后即可区分指针线段的头尾两端;多数仪表的指针头部细长,尾部粗短,通过计算两端点到圆心距离进行判断,距离较长的为头部,较短的为尾部;实际计算中,由于这些点近似共线,故只需判断横坐标差值,则头部点为:
说明此时指针指向量程中值,则此时读数为
将线段的直线公式与刻度盘的圆公式联立,可得二者交点:
其中:
解得横坐标为:
其中:
步骤6、将步骤4的标准正面图像输入数字分割与识别模块,得到仪表示数;
步骤7、将步骤4的标准正面图像输入液柱和刻度的定位与读数模块,得到仪表示数。
根据上述技术方案,优选地,步骤1包括:
步骤1-1、对仪表区域图像整体进行灰度处理;
步骤1-2、使用单尺度Retinex算法对在光照不足条件下拍摄的仪表区域图像进行特征增强;
步骤1-3、使用双边滤波算法去除仪表区域图像的噪声。
根据上述技术方案,优选地,步骤6包括:
步骤6-1、准备若干数字0-9图像,将其随机打乱顺序制成数据集;
步骤6-2、将数据集输入LeNet-5网络训练神经网络模型,降低损失函数;
步骤6-3、对标准正面图像进行全局二值化处理,进一步去除无效的背景信息,得到二值化后的数字图像,可用公式表示为:
步骤6-5、分别从行方向和列方向统计前景像素点的数目,记录数目大于阈值的连续行和连续列,其围成的区域即为数字区域,统计公式可写为:
步骤6-6、调整分割得到的数字图像分辨率,以适应LeNet-5网络的输入;
步骤6-7、将调整后的数字图像输入步骤6-2得到的神经网络模型,得到的输出结果即为图像的数字。
根据上述技术方案,优选地,步骤7包括:
步骤7-2、对三个通道的像素值设定一定的阈值,将符合要求的像素点设置为前景像素点,得到二值图像;
步骤7-4、计算步骤7-3所得矩形水平垂直方向长度比
筛选出刻度线和液柱区域;
本发明的有益效果是:
(1)本发明将传统机器视觉方法和深度学习算法相结合,可以实现对集气站内仪表的类型自动分类和读数,从而避免人工标定或区分的重复劳动,不仅精度高,而且有效保障工作人员的安全;
(2)从整体而言,本发明搭建了仪表自动读数的通用框架,对于后续其他类型仪表可以使用同一种框架,可扩展性强;
(3)对于仪表特征识别等易受环境影响的环节采用深度学习算法,去除了复杂的数字图像处理和调参过程,大大增强了整体算法的鲁棒性、普适性和准确性;
(4)仪表图像配准和几何变换模块将倾斜角度拍摄的仪表图像变换为标准正面图像,采用BF(Brute Force)匹配法以及RANSAC(Random Sample Consensus)算法,其相较于现有常用的近似最近邻搜索方法(FLANN)具有准确度高的优点,但是缺点是逐个匹配的时间复杂度较高,对于本领域技术人员而言,在无需后续公式计算读数的前提下,并不存在将BF(Brute Force)匹配法应用到本发明的技术启示。
附图说明
图1为本发明的实施例的总体流程图;
图2为本发明实施步骤2的Mask RCNN网络模型训练、样本测试流程图;
图3为本发明实施步骤3的流程图;
图4为本发明实施步骤5的流程图;
图5为本发明实施步骤5的读数建模示意图;
图6为本发明实施步骤6的流程图;
图7为本发明实施步骤7的流程图;
图8为本发明实施步骤2的识别结果图;
图9为本发明实施步骤3的仪表配准前后对比图;
图10为本发明实施步骤5的实际图像与二值化结果的对比图;
图11为本发明实施步骤5的指针连通域筛选结果图;
图12为本发明实施步骤5的连通域细化结果图;
图13为本发明实施步骤5的线段检测结果与实际图像对比图;
图14为本发明实施步骤6的实际图像与二值化结果的对比图;
图15为本发明实施步骤6的行列方向像素数目直方图;
图16为本发明实施步骤6的单个数字分割结果图;
图17为本发明实施步骤7的图像二值化结果与实际图像对比图;
图18为本发明实施步骤7的轮廓最小包围矩阵结果图;
图19为本发明实施步骤5的某前景像素点和其邻域像素点的空间关系示意图。
具体实施方式
下面将结合附图对发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是发明一部分实施例,而不是全部的实施例;基于发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于发明保护的范围。
如图1所示,本发明提供了一种用于集气站多类型仪表自动读数方法,包括:
图像预处理模块,用于去除噪声信号并增强图像特征;
仪表分类与识别定位模块,用于确定输入图像的仪表类型以及仪表在图像中的位置,裁剪出仪表图像;
仪表图像配准和几何变换模块,用于将倾斜角度拍摄的仪表图像变换为标准正面图像;
指针定位和读数模块,用于识别指针类仪表的关键特征并读数;
数字分割与识别模块,用于识别数显类仪表的关键特征并读数;
液柱和刻度的定位与读数模块,用于识别液位式仪表的关键特征并读数。
具体包括以下步骤:
步骤1、将获取的仪表区域图像输入所述图像预处理模块,得到噪声去除且特征加强的预处理图像;
步骤2、将步骤1的预处理图像输入所述仪表分类与识别定位模块,得到仪表的类型和位置信息,对预处理图像进行裁剪获得仪表图像,裁剪得到的仪表图像如图8所示;
步骤3、获得仪表类型和裁剪后的仪表图像,根据类型将仪表图像输入对应的仪表图像配准和几何变换模块,得到配准后的标准正面图像,如图9所示;
步骤4、根据步骤2所得仪表类型决定执行相应步骤,若为指针类仪表则执行步骤5,若为数显类仪表则执行步骤6,若为液位式仪表则执行步骤7;
步骤5、将步骤4的标准正面图像输入指针定位和读数模块,得到仪表示数;
步骤6、将步骤4的标准正面图像输入数字分割与识别模块,得到仪表示数;
步骤7、将步骤4的标准正面图像输入液柱和刻度的定位与读数模块,得到仪表示数。
其中图像预处理模块的实施步骤详细包括:
步骤1-1、对仪表区域图像整体进行灰度处理;
步骤1-2、使用单尺度Retinex算法对在光照不足条件下拍摄的仪表区域图像进行特征增强,目前最常用的图像增强手段是直方图均衡化法实现对比度增强,但是单尺度Retinex算法在集气站多种暗光条件下均有良好的增强效果,适用范围广;
步骤1-3、使用双边滤波算法去除仪表区域图像的噪声。
而仪表分类与识别定位模块使用深度卷积神经网络Mask RCNN网络完成目标分类和检测任务,流程如图2所示,其详细实施步骤为:
步骤2-1、将多种类型仪表图像、对应标签及位置信息随机打乱顺序制成数据集,数据集包括训练集和验证集;
步骤2-2、将数据集的训练集的输入网络,训练网络参数,建立网络模型,并利用验证集验证网络模型的准确率;
步骤2-3、当准确率符合要求后,将待检测的仪表区域图像输入步骤2-2的网络模型,通过读取网络参数对仪表区域图像分类和位置预测,根据预测结果对仪表区域图像进行裁剪得到仪表图像并确定仪表类型。
如图3所示,仪表图像配准和几何变换模块包含四个步骤:
步骤3-1、预先获得仪表的仪表图像以及标准图像,仪表图像也称为待测试图像,标准图像用于后续对比;
步骤3-2、使用ORB(Oriented Fast and Rotated Brief)算法提取待读数的仪表图像和标准图像的特征点并生成具有方向信息的描述符;首先遍历图像列出所有特征点,训练决策树对特征点进行筛选,引入图像金字塔以增强特征点的多尺度特性,得到待读数的仪表图像的特征点和标准图像特征点;通过“矩”计算特征点周围区域的质心,一个特征点的阶矩为:
得到方向角,即可运用rBRIEF算法计算代表特征点方向信息的描述符;
仪表图像配准和几何变换模块将倾斜角度拍摄的仪表图像变换为标准正面图像,采用BF(Brute Force)匹配法,其相较于现有常用的近似最近邻搜索方法(FLANN)具有准确度高的优点,BF(Brute Force)匹配法采用逐个遍历的方式找到最佳匹配,优点是找到的是全局最优解,匹配正确率较高,缺点是逐个匹配的时间复杂度较高;近似最近邻搜索方法(FLANN)即从周围的特征点中找到相对适合的匹配,其的优点是速度快,不要求对所有特征点进行比对,缺点是准确度不高,匹配的只是局部最优解,在本发明的集气站实际情况中,考虑到匹配结果的好坏直接影响到后续的读数环节,为了提高匹配准确率,本发明采用BF(Brute Force)匹配法,但是对于本领域技术人员,如果只是单纯矫正图像,在无需后续公式计算读数的前提下,为了提高处理效率,并不存在将BF(Brute Force)匹配法应用到本发明的技术启示。
步骤3-5、解算步骤3-4的透视变换矩阵至少需要4对坐标,而由于步骤3-3匹配的特征点对数大于4对并且可能存在误匹配情况,因此使用RANSAC(Random SampleConsensus)算法对这些匹配点对进行迭代计算和筛选,得到使误差函数最小的一组最优匹配点对,进一步提高数据处理准确度;
步骤3-7、用步骤3-6得到的结果对待测试的仪表图像的像素点进行遍历,生成新的像素点坐标,最终得到配准后的标准正面图像。
指针定位和读数模块通过图像处理算法获得指针类仪表的指针和刻度圆盘的位置信息,进而进行建模计算示数,其流程如图4所示,建模如图5所示,包含如下步骤:
步骤5-1、对标准正面图像进行局部阈值二值化处理,去除无效的背景信息,得到二值化后的仪表信息图像,如图10所示,阈值的计算公式为:
步骤5-2、将步骤5-1所得仪表信息图像的前景像素点按照位置关系组合成区域块,由于指针区域块面积和长宽比与其他区域块有区别,可设定标准阈值,当面积在1000到10000且长宽比在大于4的设定范围内即可判定为指针,进而实现了按一定的面积、长宽比例筛选出指针区域块并将其编号存储;
步骤5-3、利用查表法细化指针区域,相较于常用的最小二乘法,查表法能够避免指针较宽导致细化后的指针线偏离中心区域:
对于任一非图像边缘前景像素点,它的邻域有8个像素点,空间位置关系如图19所示;邻域中每个像素点的值都有255和0两种可能,因此共有种可能性;逐个分析每种情况,对于需要删除的标记为1,保留的标记为0,得到一个可供索引的一维数组,数组长度为256,用于搜索数组的索引值可由公式计算为:
步骤5-4、使用累积概率霍夫变换(Progressive Probabilistic HoughTransform)算法检测步骤5-3中的线段并获得线段的端点信息,该算法能够适用于多种指针类仪表,泛化能力更强,根据线段长度进一步筛选出指针,实施结果如图13所示,最终端点坐标为和;
步骤5-5、输入仪表的关键参数,量程最大值,最小值,三点坐标分别为量程最小值点、量程最大值点和量程中间值点,而本实施例采用的是温度计,量程最大值,最小值,三点坐标分别为、和,则可以通过列写以下方程组解圆心坐标和半径:
可解得圆心坐标和半径:
其中:
解得圆心坐标为,半径为131.3,获得圆心坐标后即可区分指针线段的头尾两端;多数仪表的指针头部细长,尾部粗短,通过计算两端点到圆心距离进行判断,距离较长的为头部,较短的为尾部;实际计算中,由于这些点近似共线,故只需判断横坐标差值,则头部点为:
说明此时指针指向量程中值,则此时读数为
将线段的直线公式与刻度盘的圆公式联立,可得二者交点:
其中:
解得横坐标为:
其中:
横坐标有两解,分别是和,保留与指针头部点距离较近的点,即,通过交点与圆心的横坐标关系判断交点在表盘的区域,利用量程中值点和圆心连线作为基准线,计算此时的和角,分别是和(角度值),则读数的最终结果可表示为:
如图11示出了指针连通域筛选结果图,而图12示出了连通域细化结果图,图13示出了线段检测结果与实际图像对比图。
而数字分割与识别模块通过图像处理算法获得数显类仪表中数字所在区域,对其进行分割并使用训练好的LeNet-5进行分类,分类结果即为数字的值,其流程图如图6所示,具体步骤为:
步骤6-1、准备若干数字0-9图像,将其随机打乱顺序制成数据集,数据集包括训练集和验证集;
步骤6-2、将数据集的训练集输入LeNet-5网络训练神经网络模型,降低损失函数,并使用验证集验证神经网络模型的准确率;
步骤6-3、对标准正面图像进行全局二值化处理,进一步去除无效的背景信息,得到二值化后的数字图像,可用公式表示为:
步骤6-5、分别从行方向和列方向统计前景像素点的数目,记录数目大于阈值的连续行和连续列,其围成的区域即为数字区域,统计公式可写为:
步骤6-6、调整分割得到的数字图像分辨率,以适应LeNet-5网络的输入,其结果如图16所示;
步骤6-6、将调整后的数字图像输入步骤6-2得到的神经网络模型,得到的输出结果即为图像的数字,最终三个数字图片分类结果是4、5、6。
液柱和刻度的定位与读数模块通过图像处理算法获得液位式仪表中液柱的高度和刻度线的最小间隔,进而计算液位实际高度;其流程图如图7所示,具体实施步骤为:
步骤7-2、对三个通道的像素值设定一定的阈值,将符合要求的像素点设置为前景像素点,不符合的像素点为背景像素点,得到二值图像,实施结果如图17所示;
步骤7-4、计算步骤7-3所得矩形水平垂直方向长度比
筛选出刻度线和液柱区域;
步骤7-7、计算此时液柱高度:
本发明的实施例的有益效果是:
(1)本发明将传统机器视觉方法和深度学习算法相结合,可以实现对集气站内仪表的类型自动分类和读数,从而避免人工标定或区分的重复劳动,不仅精度高,而且有效保障工作人员的安全。
(2)从整体而言,本发明搭建了仪表自动读数的通用框架,对于后续其他类型仪表可以使用同一种框架,可扩展性强。
(3)对于仪表特征识别等易受环境影响的环节采用深度学习算法,去除了复杂的数字图像处理和调参过程,大大增强了整体算法的鲁棒性、普适性和准确性。
(4)仪表图像配准和几何变换模块将倾斜角度拍摄的仪表图像变换为标准正面图像,采用BF(Brute Force)匹配法以及RANSAC(Random Sample Consensus)算法,其相较于现有常用的近似最近邻搜索方法(FLANN)具有准确度高的优点,但是缺点是逐个匹配的时间复杂度较高,对于本领域技术人员而言,在无需后续公式计算读数的前提下,并不存在将BF(Brute Force)匹配法应用到本发明的技术启示。
在发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在发明中的具体含义。
最后应说明的是:以上各实施例仅用以说明发明的技术方案,而非对其限制;尽管参照前述各实施例对发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离发明各实施例技术方案的范围。
Claims (4)
1.一种用于集气站多类型仪表自动读数方法,其特征在于,包括
图像预处理模块,用于去除噪声信号并增强图像特征;
仪表分类与识别定位模块,用于确定输入图像的仪表类型以及仪表在图像中的位置,裁剪出仪表图像;
仪表图像配准和几何变换模块,用于将倾斜角度拍摄的仪表图像变换为标准正面图像;
指针定位和读数模块,用于识别指针类仪表的关键特征并读数;
数字分割与识别模块,用于识别数显类仪表的关键特征并读数;
液柱和刻度的定位与读数模块,用于识别液位式仪表的关键特征并读数;
具体包括以下步骤:
步骤1、将获取的仪表区域图像输入所述图像预处理模块,得到噪声去除且特征加强的预处理图像;
步骤2、将步骤1的预处理图像输入所述仪表分类与识别定位模块,得到仪表的类型和位置信息,对预处理图像进行裁剪获得仪表图像,具体包括以下分步骤;
步骤2-1、将多种类型仪表图像、对应标签及位置信息随机打乱顺序制成数据集;
步骤2-2、将数据集输入网络,训练网络参数,建立网络模型;
步骤2-3、将待检测的仪表区域图像输入步骤2-2的网络模型,对仪表区域图像分类和位置预测,根据预测结果对仪表区域图像进行裁剪得到仪表图像并确定仪表类型;
步骤3、获得仪表类型和裁剪后的仪表图像,根据类型将仪表图像输入对应的仪表图像配准和几何变换模块,得到配准后的标准正面图像,具体包括以下分步骤;
步骤3-1、预先获得仪表的仪表图像;
步骤3-2、使用ORB算法提取待读数的仪表图像和标准图像的特征点并生成具有方向信息的描述符;
步骤3-4、构建透视变换矩阵的数学模型;
步骤3-5、解算步骤3-4的透视变换矩阵至少需要4对坐标,而由于步骤3-3匹配的特征点对数大于4对并且存在误匹配情况,因此使用RANSAC算法对这些匹配点对进行迭代计算和筛选,得到使误差函数最小的一组最优匹配点对;
步骤3-6、将步骤3-5得到的一组最优的特征点对代入步骤3-4;
步骤3-7、用步骤3-6得到的结果对待测试的仪表图像的像素点进行遍历,生成新的像素点坐标,最终得到配准后的标准正面图像;
步骤4、根据步骤2所得仪表类型决定执行相应步骤,若为指针类仪表则执行步骤5,若为数显类仪表则执行步骤6,若为液位式仪表则执行步骤7;
步骤5、将步骤4的标准正面图像输入指针定位和读数模块,得到仪表示数;
步骤5-1、对标准正面图像进行局部阈值二值化处理,去除无效的背景信息,得到二值化后的仪表信息图像,阈值的计算公式为:
步骤5-2、将步骤5-1所得仪表信息图像的前景像素点按照位置关系组合成区域块,设定标准阈值,当面积在1000到10000且长宽比在大于4的设定范围内即可判定为指针,按一定的面积、长宽比例筛选出指针区域块并将其编号存储;
步骤5-3、利用查表法细化指针区域:
对于任一非图像边缘前景像素点,它的邻域有8个像素点;邻域中每个像素点的值都有255和0两种可能,因此共有种可能性;逐个分析每种情况,对于需要删除的标记为1,保留的标记为0,得到一个可供索引的一维数组,数组长度为256,用于搜索数组的索引值可由公式计算为:
步骤5-4、使用累积概率霍夫变换算法检测步骤5-3中的线段并获得线段的端点信息,根据线段长度进一步筛选出指针;
可解得圆心坐标和半径:
其中:
解得圆心坐标和半径,获得圆心坐标后即可区分指针线段的头尾两端;多数仪表的指针头部细长,尾部粗短,通过计算两端点到圆心距离进行判断,距离较长的为头部,较短的为尾部;实际计算中,由于这些点近似共线,故只需判断横坐标差值,则头部点为:
说明此时指针指向量程中值,则此时读数为
将线段的直线公式与刻度盘的圆公式联立,可得二者交点:
其中:
解得横坐标为:
其中:
步骤6、将步骤4的标准正面图像输入数字分割与识别模块,得到仪表示数;
步骤7、将步骤4的标准正面图像输入液柱和刻度的定位与读数模块,得到仪表示数。
2.根据权利要求1所述的一种用于集气站多类型仪表自动读数方法,其特征在于,步骤1包括:
步骤1-1、对仪表区域图像整体进行灰度处理;
步骤1-2、使用单尺度Retinex算法对在光照不足条件下拍摄的仪表区域图像进行特征增强;
步骤1-3、使用双边滤波算法去除仪表区域图像的噪声。
3.根据权利要求2所述的一种用于集气站多类型仪表自动读数方法,其特征在于,步骤6包括:
步骤6-1、准备若干数字0-9图像,将其随机打乱顺序制成数据集;
步骤6-2、将数据集输入LeNet-5网络训练神经网络模型,降低损失函数;
步骤6-3、对标准正面图像进行全局二值化处理,进一步去除无效的背景信息,得到二值化后的数字图像,可用公式表示为:
步骤6-5、分别从行方向和列方向统计前景像素点的数目,记录数目大于阈值的连续行和连续列,其围成的区域即为数字区域,统计公式可写为:
步骤6-6、调整分割得到的数字图像分辨率,以适应LeNet-5网络的输入;
步骤6-7、将调整后的数字图像输入步骤6-2得到的神经网络模型,得到的输出结果即为图像的数字。
4.根据权利要求3所述的一种用于集气站多类型仪表自动读数方法,其特征在于,步骤7包括:
步骤7-2、对三个通道的像素值设定一定的阈值,将符合要求的像素点设置为前景像素点,得到二值图像;
步骤7-4、计算步骤7-3所得矩形水平垂直方向长度比
筛选出刻度线和液柱区域;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110312227.XA CN112699876B (zh) | 2021-03-24 | 2021-03-24 | 一种用于集气站多类型仪表自动读数方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110312227.XA CN112699876B (zh) | 2021-03-24 | 2021-03-24 | 一种用于集气站多类型仪表自动读数方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112699876A CN112699876A (zh) | 2021-04-23 |
CN112699876B true CN112699876B (zh) | 2021-07-09 |
Family
ID=75515599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110312227.XA Active CN112699876B (zh) | 2021-03-24 | 2021-03-24 | 一种用于集气站多类型仪表自动读数方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112699876B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378812A (zh) * | 2021-05-21 | 2021-09-10 | 郑州大学 | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 |
CN113591910A (zh) * | 2021-06-24 | 2021-11-02 | 贵州国致科技有限公司 | 一种数码管显示仪表识别方法 |
CN113591875B (zh) * | 2021-06-24 | 2023-09-08 | 贵州国致科技有限公司 | 一种高精度指针式仪表识别方法 |
CN113837159A (zh) * | 2021-11-26 | 2021-12-24 | 中化学交通建设集团有限公司 | 一种基于机器视觉的仪表示数识别方法和装置 |
CN114419522A (zh) * | 2022-03-29 | 2022-04-29 | 以萨技术股份有限公司 | 一种目标对象结构化解析方法、装置及设备 |
CN115063699B (zh) * | 2022-05-30 | 2023-11-28 | 广州中科云图智能科技有限公司 | 基于无人机的变电站巡检方法、装置、设备以及存储介质 |
CN115081410A (zh) * | 2022-07-19 | 2022-09-20 | 中电金信软件有限公司 | 一种实验报告的自动生成方法及装置 |
CN116189166A (zh) * | 2023-02-07 | 2023-05-30 | 台州勃美科技有限公司 | 一种仪表读数方法、装置及机器人 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103955694A (zh) * | 2014-04-09 | 2014-07-30 | 广州邦讯信息系统有限公司 | 图像识别抄表系统及方法 |
CN111814740A (zh) * | 2020-07-28 | 2020-10-23 | 南方电网数字电网研究院有限公司 | 指针仪表读数的识别方法、装置、计算机设备和存储介质 |
CN111814784A (zh) * | 2020-06-11 | 2020-10-23 | 浙江大华技术股份有限公司 | 基于图像处理的液位识别方法及相关装置 |
CN111914623A (zh) * | 2020-06-17 | 2020-11-10 | 成都飞机工业(集团)有限责任公司 | 一种圆弧刻度表盘图像的刻度线识别方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6498545B2 (ja) * | 2015-06-24 | 2019-04-10 | 日本精機株式会社 | 車両用指針式残量計器 |
CN108416348A (zh) * | 2018-01-29 | 2018-08-17 | 重庆邮电大学 | 基于支持向量机和卷积神经网络的车牌定位识别方法 |
CN108764234B (zh) * | 2018-05-10 | 2021-10-12 | 浙江理工大学 | 一种基于巡检机器人的液位仪表读数识别方法 |
CN110909772B (zh) * | 2019-11-06 | 2022-04-01 | 华中科技大学 | 一种高精度实时多尺度表盘指针检测方法和系统 |
CN112508826B (zh) * | 2020-11-16 | 2022-03-01 | 哈尔滨工业大学(深圳) | 一种印刷品缺陷检测方法 |
-
2021
- 2021-03-24 CN CN202110312227.XA patent/CN112699876B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103955694A (zh) * | 2014-04-09 | 2014-07-30 | 广州邦讯信息系统有限公司 | 图像识别抄表系统及方法 |
CN111814784A (zh) * | 2020-06-11 | 2020-10-23 | 浙江大华技术股份有限公司 | 基于图像处理的液位识别方法及相关装置 |
CN111914623A (zh) * | 2020-06-17 | 2020-11-10 | 成都飞机工业(集团)有限责任公司 | 一种圆弧刻度表盘图像的刻度线识别方法 |
CN111814740A (zh) * | 2020-07-28 | 2020-10-23 | 南方电网数字电网研究院有限公司 | 指针仪表读数的识别方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112699876A (zh) | 2021-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112699876B (zh) | 一种用于集气站多类型仪表自动读数方法 | |
CN111950330B (zh) | 一种基于目标检测的指针式仪表示数检测方法 | |
CN108759973B (zh) | 一种水位测量方法 | |
CN108764257B (zh) | 一种多视角的指针式仪表识别方法 | |
CN111626190B (zh) | 基于聚类分区进行刻度识别的水位监测方法 | |
CN107590498B (zh) | 一种基于字符分割级联二分类器的自适应汽车仪表检测方法 | |
CN112818988B (zh) | 一种指针式仪表自动识别读数方法及系统 | |
CN109978822B (zh) | 一种基于机器视觉的香蕉成熟度评判建模方法和评判方法 | |
CN103034838B (zh) | 一种基于图像特征的特种车辆仪表类型识别与标定方法 | |
CN108564085B (zh) | 一种自动读取指针式仪表读数的方法 | |
CN108921163A (zh) | 一种基于深度学习的包装喷码检测方法 | |
CN109583324A (zh) | 一种基于单点多盒检测器的指针仪表读数自动识别方法 | |
CN112257676A (zh) | 一种指针式仪表读数方法、系统以及巡检机器人 | |
CN103759758A (zh) | 一种基于机械角度和刻度识别的汽车仪表指针的位置检测方法 | |
CN108629347B (zh) | 变电站宽刻度指针式仪表自动识别方法 | |
CN114549981A (zh) | 一种基于深度学习的智能巡检指针式仪表识别及读数方法 | |
CN112149667A (zh) | 一种基于深度学习的指针式仪表的自动读数的方法 | |
CN111368906A (zh) | 一种基于深度学习的指针式油位计读数识别方法 | |
CN111950559A (zh) | 一种基于径向灰度的指针仪表自动读数方法 | |
CN112036391B (zh) | 一种基于页岩气田生产站场的电子巡检方法及系统 | |
CN116958983A (zh) | 一种基于机器视觉的指针式压力表自动校验仪示值读数方法 | |
CN111652200A (zh) | 车险案件中从图片区分多车的处理方法、装置及设备 | |
CN114720425B (zh) | 一种基于图像识别的能见度监测系统及方法 | |
CN116486212A (zh) | 一种基于计算机视觉的水尺识别方法、系统及存储介质 | |
CN116612461A (zh) | 一种基于目标检测的指针式仪表全过程自动读数方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |