CN111598097B - 一种基于机器人视觉的仪表位置、读数识别方法和系统 - Google Patents
一种基于机器人视觉的仪表位置、读数识别方法和系统 Download PDFInfo
- Publication number
- CN111598097B CN111598097B CN202010380945.6A CN202010380945A CN111598097B CN 111598097 B CN111598097 B CN 111598097B CN 202010380945 A CN202010380945 A CN 202010380945A CN 111598097 B CN111598097 B CN 111598097B
- Authority
- CN
- China
- Prior art keywords
- triangle
- instrument
- image
- robot
- end point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
Abstract
本发明给出了一种基于机器人视觉的仪表位置、读数识别方法和系统,获取当前时刻的机器人视觉的目标图像,并对目标图像进行降噪处理,获取目标图像中的圆形表盘边界;利用圆形表盘边界构造圆形表盘的三角形集合,并计算三角形集合中的所有三角形的面积;响应于左侧三角形的面积大于右侧三角形的面积,继续下一时刻的目标图像的表盘边界获取和构建三角形集合;响应于右侧三角形的面积大于左侧三角形的面积,获取前三个时刻的目标图像,并选择前三个时刻中左侧三角形与右侧三角形的面积比最小的目标图像作为仪表目标位置的识别图像。并利用上述方法可以在机器人行走的同时进行仪表相对位置的判断以及仪表读数的识别,提高识别效率和精准度。
Description
技术领域
本发明涉及机器人视觉的图像处理技术领域,尤其是一种基于机器人视觉的仪表位置、读数识别方法和系统。
背景技术
仪表按照其显示的方式分为指针式仪表、数字式仪表,指针式仪表是指通过指针的位置来获取信息的仪表,数字式仪表是指通过表盘上的数字显示来获取信息的仪表。其中指针式仪表是工业领域中较为传统的测量仪表之一,目前仍广泛应用于工业生产中。随着数字电子技术的发展,数字式仪表的应用越来越广泛,在某些条件下,数字式仪表可代替指针式仪表,并表现出更佳性能。从两种仪表的性能比较来看,数字仪表具有精度更高,易读取等优点,在某些场合已经完全取替了指针式仪表。不过作为工业生产中一种不可或缺的测量仪器,指针式仪表拥有其他仪表无以比拟的许多特性,使其仍具有不可替代的地位。
机器视觉识别是将机器比作人的眼睛对仪表信息进行取录和判断,并将它以图像的形式传送给图像处理系统,经图像处理系统转化处理后变为数字信号用于控制现场设备或进一步传递,它是一种获取仪表信息的新方法,利用该技术可以实现自动采集、传递等一系列图像识别操作,并将被测表指针位置及读数传输至相关系统,提高识别的精度和效率,同时提高了工业生产的自动化程度。
随着科学技术的发展,识别技术不断革新迭代,社会对高识别精度,适用性强,实时跟踪性好的仪表盘识别方法也产生越来越强烈的需求。机器人在移动过程中对仪表图像采集会存在仪表图像倾斜,影响仪表读数的准确性,如何在保证机器人在移动过程中利用上述自动识别技术优点的同时又降低识别过程中各种误差的影响,并实现快速准确地反馈仪表信息的研究也逐渐显现出来。
发明内容
为了解决现有技术中因机器人移动过程中仪表图像位置没有正对而造成的影响仪表识别的准确性以及仪表读数算法过于复杂的技术问题,本发明提出了一种基于机器人视觉的仪表位置、读数识别方法和系统,用以降低仪表识别过程中的各种误差的影响,提高机器人在行走的同时识别仪表的准确性和效率。
在一个方面,本发明提出了一种基于机器人视觉的仪表位置识别方法,包括:
S1:获取当前时刻的机器人视觉的目标图像,并对目标图像进行降噪处理,获取目标图像中的圆形表盘边界;
S2:利用圆形表盘边界构造圆形表盘的三角形集合,并计算三角形集合中的所有三角形的面积,其中,三角形集合包括由圆形表盘的上左下端点构成的左侧三角形和上右下端点构成的右侧三角形;
S3:响应于左侧三角形的面积大于右侧三角形的面积,继续下一时刻的目标图像的表盘边界获取和构建三角形集合;响应于右侧三角形的面积大于左侧三角形的面积,获取前三个时刻的目标图像,并选择前三个时刻中左侧三角形与右侧三角形的面积比最小的目标图像作为仪表目标位置的识别图像。
优选的,目标图像利用设置于机器人上的图像采集设备在机器人行走过程中实时获取,机器人包括挂轨和轮式机器人,且机器人的移动速度设置为0.2-0.3m/s的范围内。通过可移动的机器人实现行走的同时对仪表图像的采集工作以及位置判断,极大地减少了图像采集设备的设置,同时机器人也可以在人力无法进入的地方进行仪表图像采集。
进一步优选的,步骤S2中的三角形集合还包括由圆形表盘左上右端点构成的上端三角形和左下右端点构成的下端三角形。上下端三角形可用于调整机器人的视觉角度或高度采集到的仪表图像更加有利于进行后续的识别读数。
进一步优选的,响应于上端三角形的面积与下端三角形的面积的比例大于第一阈值或小于第二阈值,调整图像采集设备的高度和/或角度使得上端三角形的面积与下端三角形的面积的比例介于0.9-1.1的范围内。通过该设置使得机器人采集到的仪表图像更加正视于镜头,获取的仪表读数更加准确。
优选的,步骤S3还可以为:若左侧三角形与右侧三角形具有相同的底边,响应于左端点至底边的距离大于右端点至底边的距离,继续下一时刻的目标图像的表盘边界获取和构建三角形集合;响应于左端点至底边的距离大于右端点至底边的距离,获取前三个时刻的目标图像,并选择前三个时刻中左端点至底边的距离与右端点至底边的距离比例最小的目标图像作为仪表目标位置的识别图像。将面积判断进一步简化为距离的判断,保证判断准确性的同时降低了运算量,提高了识别效率。
根据本发明的第二方面,提出了一种基于机器人视觉的仪表读数识别方法,包括上述基于机器人视觉的仪表位置识别方法,还包括:
S4:基于仪表目标位置的识别图像构建坐标系,并利用边缘检测算法获取指针图形,其中坐标系的x轴为识别图像中左右端点的连线,y轴为识别图像中上下端点的连线;
S5:计算指针图形与x轴之间的夹角,获取指针图形对应的刻度,即仪表读数。
优选的,步骤S5还可以为:响应于指针图形与仪表目标位置的识别图像的右上端点的连线或左上端点具有交点,获取交点的坐标信息,利用交点所在的垂直线获取指针的刻度,即仪表读数。凭借夹角或垂直线两种方法均可以获取仪表的读数,增加了仪表读数识别方法的多样性,同时还可以依据两种方法获取的读数的平均值进行最终读数的优化,使读数更加准确。
根据本发明的第三方面,提出了一种计算机可读存储介质,其上存储有一或多个计算机程序,该一或多个计算机程序被计算机处理器执行时实施上述方法。
根据本发明的第四方面,提出了一种基于机器人视觉的仪表位置识别系统,该系统包括:
目标图像获取单元:配置用于获取当前时刻的机器人视觉的目标图像,并对目标图像进行降噪处理,获取目标图像中的圆形表盘边界;
三角形集合构造单元:配置用于利用圆形表盘边界构造圆形表盘的三角形集合,并计算三角形集合中的所有三角形的面积,其中,三角形集合包括由圆形表盘的上左下端点构成的左侧三角形和上右下端点构成的右侧三角形;
目标位置判断单元:配置用于响应于左侧三角形的面积大于右侧三角形的面积,继续下一时刻的目标图像的表盘边界获取和构建三角形集合;响应于右侧三角形的面积大于左侧三角形的面积,获取前三个时刻的目标图像,并选择前三个时刻中左侧三角形与右侧三角形的面积比最小的目标图像作为仪表目标位置的识别图像。
根据本发明的第五方面,提出了一种基于机器人视觉的仪表读数识别系统,该系统包括上述一种基于机器人视觉的仪表系统,还包括:
坐标系构建单元:基于仪表目标位置的识别图像构建坐标系,并利用边缘检测算法获取指针图形,其中坐标系的x轴为识别图像中左右端点的连线,y轴为识别图像中上下端点的连线;
仪表读数计算单元:计算指针图形与x轴之间的夹角,获取指针图形对应的刻度,即仪表读数。
本发明提出了一种基于机器人视觉的仪表位置、读数识别的方法和系统,借助机器人视觉采集的仪表图像,进行仪表是否正视于镜头的判断,利用构建的三角形集合分别进行左右上下的位置判断,以此作为机器人视觉的角度或高度调整的依据,利用三角形集合的面积或同底边三角形的高度距离可以迅速的判断当前时刻的机器人视觉与仪表的相对位置,挑选最优的仪表图像进行仪表读数的识别,此外通过角度或者指针与相应两端点连线的交点的垂直线获取仪表的读数,该方法能够实现机器人在行走的同时判断仪表的位置并且还可以同时实现仪表的读数的识别,获取的仪表读数更加的准确,且效率更高。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点,因为通过引用以下详细描述,它们变得被更好地理解。通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是本申请的一个实施例的一种基于机器人视觉的仪表位置识别方法的流程图;
图3是本申请的一个具体的实施例的基于机器人视觉的仪表图像中三角形的示意图;
图4是本申请的一个实施例的一种基于机器人视觉的仪表读数识别方法的流程图;
图5是本申请的一个实施例的一种基于机器人视觉的仪表位置识别系统的框架图;
图6是本申请的一个实施例的一种基于机器人视觉的仪表读数识别系统的框架图;
图7是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请实施例的基于机器人视觉的仪表位置、读数识别方法的示例性系统架构100。
如图1所示,系统架构100可以包括数据服务器101,网络102和主服务器103。网络102用以在数据服务器101和主服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
主服务器103可以是提供各种服务的服务器,例如对数据服务器101上传的信息进行处理的数据处理服务器。数据处理服务器可以进行基于机器人视觉的仪表位置、读数识别。
需要说明的是,本申请实施例所提供的基于机器人视觉的仪表位置、读数识别方法一般由主服务器103执行,相应地,基于机器人视觉的仪表位置、读数识别方法的装置一般设置于主服务器103中。
需要说明的是,数据服务器101和主服务器103可以是硬件,也可以是软件。当为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块),也可以实现成单个软件或软件模块。
应该理解,图1中的数据服务器101、网络102和主服务器103的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
根据本申请的一个实施例的基于机器人视觉的仪表位置、读数识别方法,图2示出了根据本申请的实施例的基于机器人视觉的仪表位置识别方法的流程图。如图2所示,该方法包括以下步骤:
S201:获取当前时刻的机器人视觉的目标图像,并对目标图像进行降噪处理,获取目标图像中的圆形表盘边界。
在具体的实施例中,机器人视觉的目标图像可以采用集成于挂轨或轮式巡检机器人上的图像采集设备进行采集获取,相较于人工检定耗时耗力且容易出错,固定式的仪表识别需要在多组仪表的设置更多的图像采集设备,极大地增加了使用成本,采用可移动的机器人搭载图像采集设备进行仪表的采集能够有效地减少设备的投入成本。预测机器人行走速度与目标中心点变化,及时调整图像采集设备云台旋转角度,避免目标距离会影响偏离位置,可能出现偏移原先预定的90度夹角问题。优选的,机器人的移动速度设置为0.2-0.3m/s的范围内,能够保证机器人在行走的同时能够采集到质量更好的仪表图像,为后续位置判断提供良好的图像基础。
在具体的实施例中,对目标图像进行降噪处理可以采用中值滤波、均值滤波、高斯滤波、双边滤波中的一种或其组合。其中,以目标像素周围3×3的邻域为例,中值滤波就是将3×3邻域中九个像素灰度值进行排序,将中间灰度值作为目标像素的灰度值;均值滤波是将3×3邻域中九个像素灰度值的平均值作为目标像素的灰度值;高斯滤波是将均值滤波中的平局值改为高斯加权平均值,邻域中距离目标像素越远的像素灰度值权重越小;双边滤波是在高斯滤波的基础上在权重设计中进一步考虑了像素灰度梯度的影响。
在具体的实施例中,利用sobel边缘检测算法获取目标图像中的圆形表盘边界,Sobel算子可以根据像素点上下、左右邻点灰度加权差,在边缘处达到极值这一现象检测边缘。对噪声具有平滑作用,提供较为精确的边缘方向信息。可替代的,除了使用sobel边缘检测算法之外,还可以选择Roberts算子或者Prewitt算子进行目标图像的表盘边缘检测,同样能够实现本发明的技术效果。
S202:利用圆形表盘边界构造圆形表盘的三角形集合,并计算三角形集合中的所有三角形的面积,其中,三角形集合包括由圆形表盘的上左下端点构成的左侧三角形和上右下端点构成的右侧三角形。构造的左右侧三角形可以用于判断当前时刻的表盘是否处于正对机器人镜头的位置,图3示出了基于机器人视觉的仪表图像中三角形的示意图。
在具体的实施例中,当仪表目标进入中心点偏移距离范围内开始计算获取仪表盘的圆框最左侧坐标、最右侧坐标、最上侧坐标和最下侧坐标位置,通过上左下3点作出并计算左侧三角形面积(S=ah/2),通过上右下3点作出并计算右侧三角形面积,可以利用左侧三角形的面积与右侧三角形的面积大小来确认仪表盘与机器人的相对位置,可以判断机器人行走同时相对仪表盘位置在左侧或者右侧。
在优选的实施例中,三角形集合还包括由圆形表盘左上右端点构成的上端三角形和左下右构成的下端三角形。响应于上端三角形的面积与下端三角形的面积的比例大于第一阈值或小于第二阈值,调整图像采集设备的高度和/或角度使得上端三角形的面积与下端三角形的面积的比例介于0.9-1.1的范围内。其中,第一阈值可以根据实际应用场景设定为0.8或0.9,第二阈值可以根据实际应用场景设定为1.1或1.2,两个阈值可以保证目标图像在上下方向上能够正视于机器人的图像采集镜头,提高后续计算读数的准确性。上下端三角形可用于调整机器人的视觉角度或高度采集到的仪表图像更加有利于进行后续的识别读数,通过该设置可以在机器人行进的同时计算调整采集设备的镜头使采集到的仪表图像正视于镜头,获取的仪表读数更加准确。
S203:响应于左侧三角形的面积大于右侧三角形的面积,继续下一时刻的目标图像的表盘边界获取和构建三角形集合;响应于右侧三角形的面积大于左侧三角形的面积,获取前三个时刻的目标图像,并选择前三个时刻中左侧三角形与右侧三角形的面积比最小的目标图像作为仪表目标位置的识别图像。
在具体的实施例中,当机器人拍摄图像计算右侧三角形的面积大于左侧三角形的面积,往前取3张图片计算左侧三角形的面积与右侧三角形的面积比例最小的图像作为仪表盘最终需要计算的图像,该图像仪表与机器人的图像采集设备的镜头处于正对的位置,用于计算仪表盘读数的图像可以减少误差,提高准确性。
在优选的实施例中,若左侧三角形与右侧三角形具有相同的底边,基于三角形面积的计算公式S=ah/2,即若左端点至底边的距离大于右端点至底边的距离,继续下一时刻的目标图像的表盘边界获取和构建三角形集合;若左端点至底边的距离大于右端点至底边的距离,获取前三个时刻的目标图像,并选择前三个时刻中左端点至底边的距离与右端点至底边的距离比例最小的目标图像作为仪表目标位置的识别图像。
在具体的实施例中,若一次性拍摄到多个目标仪表盘时,驻留拍摄调整每个目标,拍摄多个目标时取最左侧目标作为起始点,最右侧目标作为最终点,中间图像均保存为后续计算。
图4示出了根据本发明的一个具体的实施例的基于机器人视觉的仪表读数识别方法,如图4所示,该方法包括以下步骤:
S401:基于仪表目标位置的识别图像构建坐标系,并利用边缘检测算法获取指针图形,其中坐标系的x轴为识别图像中左右端点的连线,y轴为识别图像中上下端点的连线。
在具体的实施例中,利用霍夫变换获取指针图形。具体的,将目标图像转换为灰度图,利用高斯滤波去噪后进行仪表图像的边缘提取(可以采用梯度算子、拉普拉斯算子、canny、sobel等算法),通过二值化判断此处是否为边缘点,映射到霍夫空间,取局部极大值,并过滤干扰直线,最终绘制直线、标定角点获得指针图形。
在具体的实施例中,通过判断指针直线与水平线之间的夹角,计算指针与左上2个端点或右上2个端点的交点,取指针直线下半部分的坐标(x1,y1)、上半部分的坐标(x2,y2),若x1-x2<0,则指针在右侧,若x1-x2=0,该指针为90度,若x1-x2>0,指针在左侧。
S402:计算指针图形与x轴之间的夹角,获取指针图形对应的刻度,即仪表读数。通过直线的方程kx+b=y,带入指针上下部分的坐标值计算获得k、b的值,获得指针的直线方程,利用指针直线方程与交点的坐标来计算垂直线所在的刻度,或通过指针的夹角获得所指的刻度。
在优选的实施例中,当指针图形与仪表目标位置的识别图像的右上端点的连线或左上端点具有交点,可以获取交点的坐标信息,利用交点所在的垂直线获取指针的刻度,即仪表读数。
再进一步优选的实施例中,分别用夹角和交点所在垂直线计算仪表读数,若二者读数的差值小于预设的阈值,取二者平均值作为最终读数,若二者读数的差值大于预设阈值,则需要重新判断仪表图像的有效性,该阈值可以取2-4个仪表的最小刻度单位。
利用上述的仪表位置、读数识别方法,可以实时实现机器人边行走边进行仪表位置的判断进而进行读数识别的工作,保证判断识别的准确性的同时也极大地提升了识别的效率,能够广泛应用于机器人视觉的电力系统等涉及仪表识别的领域。
继续参考图5,图5示出了根据本发明的实施例的基于机器人视觉的仪表位置识别系统。该系统具体包括依次连接的目标图像获取单元501、三角形集合构造单元502、目标位置判断单元503。
在具体的实施例中,目标图像获取单元501:配置用于获取当前时刻的机器人视觉的目标图像,并对目标图像进行降噪处理,获取目标图像中的圆形表盘边界;三角形集合构造单元502:配置用于利用圆形表盘边界构造圆形表盘的三角形集合,并计算三角形集合中的所有三角形的面积,其中,三角形集合包括由圆形表盘的上左下端点构成的左侧三角形和上右下端点构成的右侧三角形;目标位置判断单元503:配置用于响应于左侧三角形的面积大于右侧三角形的面积,继续下一时刻的目标图像的表盘边界获取和构建三角形集合;响应于右侧三角形的面积大于左侧三角形的面积,获取前三个时刻的目标图像,并选择前三个时刻中左侧三角形与右侧三角形的面积比最小的目标图像作为仪表目标位置的识别图像。
图6示出了根据本发明的实施例的基于机器人视觉的仪表读数识别系统,该系统包括依次连接的坐标系构建单元601和仪表读数计算单元602。其中,坐标系构建单元601:基于仪表目标位置的识别图像构建坐标系,并利用边缘检测算法获取指针图形,其中坐标系的x轴为识别图像中左右端点的连线,y轴为识别图像中上下端点的连线;仪表读数计算单元602:计算指针图形与x轴之间的夹角,获取指针图形对应的刻度,即仪表读数。仪表读数计算单元602还配置用于响应于指针图形与仪表目标位置的识别图像的右上端点的连线或左上端点具有交点,获取交点的坐标信息,利用交点所在的垂直线获取指针的刻度,即仪表读数。
下面参考图7,其示出了适于用来实现本申请实施例的电子设备的计算机系统700的结构示意图。图7示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示,计算机系统700包括中央处理单元(CPU)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM703中,还存储有系统700操作所需的各种程序和数据。CPU701、ROM702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706;包括诸如液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质,该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取当前时刻的机器人视觉的目标图像,并对目标图像进行降噪处理,获取目标图像中的圆形表盘边界;利用圆形表盘边界构造圆形表盘的三角形集合,并计算三角形集合中的所有三角形的面积,其中,三角形集合包括由圆形表盘的上左下端点构成的左侧三角形和上右下端点构成的右侧三角形;响应于左侧三角形的面积大于右侧三角形的面积,继续下一时刻的目标图像的表盘边界获取和构建三角形集合;响应于右侧三角形的面积大于左侧三角形的面积,获取前三个时刻的目标图像,并选择前三个时刻中左侧三角形与右侧三角形的面积比最小的目标图像作为仪表目标位置的识别图像;基于仪表目标位置的识别图像构建坐标系,并利用边缘检测算法获取指针图形,其中坐标系的x轴为识别图像中左右端点的连线,y轴为识别图像中上下端点的连线;计算指针图形与x轴之间的夹角,获取指针图形对应的刻度,即仪表读数。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种基于机器人视觉的仪表位置识别方法,其特征在于,包括:
S1:获取当前时刻的机器人视觉的目标图像,并对所述目标图像进行降噪处理,获取所述目标图像中的圆形表盘边界;
S2:利用所述圆形表盘边界构造所述圆形表盘的三角形集合,并计算所述三角形集合中的所有三角形的面积,其中,所述三角形集合包括由所述圆形表盘的上左下端点构成的左侧三角形和上右下端点构成的右侧三角形;
S3:响应于所述左侧三角形的面积大于所述右侧三角形的面积,继续下一时刻的目标图像的表盘边界获取和构建三角形集合;响应于所述右侧三角形的面积大于所述左侧三角形的面积,获取前三个时刻的目标图像,并选择所述前三个时刻中所述左侧三角形与所述右侧三角形的面积比最小的目标图像作为仪表目标位置的识别图像。
2.根据权利要求1所述的基于机器人视觉的仪表位置识别方法,其特征在于,所述目标图像利用设置于机器人上的图像采集设备在机器人行走过程中实时获取,所述机器人包括挂轨和轮式机器人,且所述机器人的移动速度设置为0.2-0.3m/s的范围内。
3.根据权利要求2所述的基于机器人视觉的仪表位置识别方法,其特征在于,所述步骤S2中的三角形集合还包括由所述圆形表盘左上右端点构成的上端三角形和左下右端点构成的下端三角形。
4.根据权利要求3所述的基于机器人视觉的仪表位置识别方法,其特征在于,响应于所述上端三角形的面积与所述下端三角形的面积的比例大于第一阈值或小于第二阈值,调整所述图像采集设备的高度和/或角度使得所述上端三角形的面积与所述下端三角形的面积的比例介于0.9-1.1的范围内。
5.根据权利要求1所述的基于机器人视觉的仪表位置识别方法,其特征在于,所述步骤S3还可以为:若所述左侧三角形与所述右侧三角形具有相同的底边,响应于左端点至所述底边的距离大于右端点至所述底边的距离,继续所述下一时刻的目标图像的表盘边界获取和构建三角形集合;响应于所述左端点至所述底边的距离大于所述右端点至所述底边的距离,获取前三个时刻的目标图像,并选择所述前三个时刻中所述左端点至所述底边的距离与所述右端点至所述底边的距离比例最小的目标图像作为仪表目标位置的识别图像。
6.一种基于机器人视觉的仪表读数识别方法,其特征在于,包括如权利要求1-5中任一项所述的基于机器人视觉的仪表位置识别方法,还包括:
S4:基于所述仪表目标位置的识别图像构建坐标系,并利用边缘检测算法获取指针图形,其中所述坐标系的x轴为所述识别图像中左右端点的连线,y轴为所述识别图像中上下端点的连线;
S5:计算所述指针图形与所述x轴之间的夹角,获取所述指针图形对应的刻度,即仪表读数。
7.根据权利要求6所述的基于机器人视觉的仪表读数识别方法,其特征在于,所述步骤S5还可以为:响应于所述指针图形与所述仪表目标位置的识别图像的右上端点的连线或左上端点具有交点,获取所述交点的坐标信息,利用所述交点所在的垂直线获取所述指针图形对应的刻度,即仪表读数。
8.一种计算机可读存储介质,其上存储有一或多个计算机程序,其特征在于,该一或多个计算机程序被计算机处理器执行时实施权利要求1至7中任一项所述的方法。
9.一种基于机器人视觉的仪表位置识别系统,其特征在于,所述系统包括:
目标图像获取单元:配置用于获取当前时刻的机器人视觉的目标图像,并对所述目标图像进行降噪处理,获取所述目标图像中的圆形表盘边界;
三角形集合构造单元:配置用于利用所述圆形表盘边界构造所述圆形表盘的三角形集合,并计算所述三角形集合中的所有三角形的面积,其中,所述三角形集合包括由所述圆形表盘的上左下端点构成的左侧三角形和上右下端点构成的右侧三角形;
目标位置判断单元:配置用于响应于所述左侧三角形的面积大于所述右侧三角形的面积,继续下一时刻的目标图像的表盘边界获取和构建三角形集合;响应于所述右侧三角形的面积大于所述左侧三角形的面积,获取前三个时刻的目标图像,并选择所述前三个时刻中所述左侧三角形与所述右侧三角形的面积比最小的目标图像作为仪表目标位置的识别图像。
10.一种基于机器人视觉的仪表读数识别系统,其特征在于,所述系统包括如权利要求9所述的一种基于机器人视觉的仪表位置识别 系统,还包括:
坐标系构建单元:基于所述仪表目标位置的识别图像构建坐标系,并利用边缘检测算法获取指针图形,其中所述坐标系的x轴为所述识别图像中左右端点的连线,y轴为所述识别图像中上下端点的连线;
仪表读数计算单元:计算所述指针图形与所述x轴之间的夹角,获取所述指针图形对应的刻度,即仪表读数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010380945.6A CN111598097B (zh) | 2020-05-08 | 2020-05-08 | 一种基于机器人视觉的仪表位置、读数识别方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010380945.6A CN111598097B (zh) | 2020-05-08 | 2020-05-08 | 一种基于机器人视觉的仪表位置、读数识别方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111598097A CN111598097A (zh) | 2020-08-28 |
CN111598097B true CN111598097B (zh) | 2023-03-24 |
Family
ID=72189340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010380945.6A Active CN111598097B (zh) | 2020-05-08 | 2020-05-08 | 一种基于机器人视觉的仪表位置、读数识别方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111598097B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113867366A (zh) * | 2021-11-02 | 2021-12-31 | 福建省海峡智汇科技有限公司 | 一种基于自适应网络模糊的移动机器人控制方法 |
CN114003042B (zh) * | 2021-11-02 | 2023-05-12 | 福建省海峡智汇科技有限公司 | 一种基于强化学习的移动机器人路径跟踪方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609712A (zh) * | 2012-02-24 | 2012-07-25 | 山东鲁能智能技术有限公司 | 用于移动机器人的类圆形指针式仪表读数方法 |
JP2013110692A (ja) * | 2011-11-24 | 2013-06-06 | Fuji Xerox Co Ltd | 画像処理装置および画像処理プログラム |
CN106339707A (zh) * | 2016-08-19 | 2017-01-18 | 亿嘉和科技股份有限公司 | 一种基于对称性特征的仪表指针图像识别方法 |
CN107038447A (zh) * | 2017-04-26 | 2017-08-11 | 大连理工大学 | 一种基于机器视觉的指针式仪表识别方法 |
-
2020
- 2020-05-08 CN CN202010380945.6A patent/CN111598097B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013110692A (ja) * | 2011-11-24 | 2013-06-06 | Fuji Xerox Co Ltd | 画像処理装置および画像処理プログラム |
CN102609712A (zh) * | 2012-02-24 | 2012-07-25 | 山东鲁能智能技术有限公司 | 用于移动机器人的类圆形指针式仪表读数方法 |
CN106339707A (zh) * | 2016-08-19 | 2017-01-18 | 亿嘉和科技股份有限公司 | 一种基于对称性特征的仪表指针图像识别方法 |
CN107038447A (zh) * | 2017-04-26 | 2017-08-11 | 大连理工大学 | 一种基于机器视觉的指针式仪表识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111598097A (zh) | 2020-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110322500B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
CN109360396B (zh) | 基于图像识别技术和NB-IoT技术的远程抄表方法及系统 | |
CN107481292B (zh) | 车载摄像头的姿态误差估计方法和装置 | |
CN111598097B (zh) | 一种基于机器人视觉的仪表位置、读数识别方法和系统 | |
CN109544628B (zh) | 一种指针式仪表的准确读数识别系统及方法 | |
CN115409881A (zh) | 图像处理方法、装置及设备 | |
CN110634137A (zh) | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 | |
WO2020093631A1 (zh) | 一种基于深度实例分割网络的天线下倾角测量方法 | |
CN111507204A (zh) | 倒计时信号灯的检测方法、装置、电子设备及存储介质 | |
CN113344906B (zh) | 车路协同中相机评估方法、装置、路侧设备和云控平台 | |
CN112419402A (zh) | 一种基于多光谱影像和激光点云的定位方法及系统 | |
CN113763466A (zh) | 一种回环检测方法、装置、电子设备和存储介质 | |
CN115861801A (zh) | 指针式仪表识别方法、系统、电子设备及可读存储介质 | |
CN111553342A (zh) | 一种视觉定位方法、装置、计算机设备和存储介质 | |
CN115908581A (zh) | 一种车载相机俯仰角标定方法、装置、设备及存储介质 | |
CN113112551A (zh) | 相机参数的确定方法、装置、路侧设备和云控平台 | |
CN115018926A (zh) | 车载相机的俯仰角确定方法、装置、设备和存储介质 | |
CN115375774A (zh) | 确定相机外参的方法、装置、设备及存储介质 | |
CN111223139B (zh) | 目标定位方法及终端设备 | |
CN112146834A (zh) | 结构振动位移测量方法及装置 | |
CN115409888B (zh) | 配网无人机巡检中杆塔智能定位的方法及装置 | |
CN117146739B (zh) | 用于光学瞄准镜的测角检定方法及系统 | |
CN113298869B (zh) | 距离测定方法、装置、计算机设备和存储介质 | |
CN114998426B (zh) | 机器人测距方法及装置 | |
CN115082572B (zh) | 一种雷达和相机联合自动标定方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |