CN116189166A - 一种仪表读数方法、装置及机器人 - Google Patents

一种仪表读数方法、装置及机器人 Download PDF

Info

Publication number
CN116189166A
CN116189166A CN202310104537.1A CN202310104537A CN116189166A CN 116189166 A CN116189166 A CN 116189166A CN 202310104537 A CN202310104537 A CN 202310104537A CN 116189166 A CN116189166 A CN 116189166A
Authority
CN
China
Prior art keywords
image
processed
determining
instrument
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310104537.1A
Other languages
English (en)
Other versions
CN116189166B (zh
Inventor
王勃然
罗清元
王福栋
刘伟堂
刘佳平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taizhou Bomei Technology Co ltd
Original Assignee
Taizhou Bomei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taizhou Bomei Technology Co ltd filed Critical Taizhou Bomei Technology Co ltd
Priority to CN202310104537.1A priority Critical patent/CN116189166B/zh
Publication of CN116189166A publication Critical patent/CN116189166A/zh
Application granted granted Critical
Publication of CN116189166B publication Critical patent/CN116189166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种仪表读数方法、装置及机器人，该方法包括：获取待处理图像；采用ORB特征识别算法对所述待处理图像和仪表模板图像进行匹配，确定所述待处理图像到所述仪表模板图像的仿射矩阵；根据所述仿射矩阵对所述仪表模板图像进行逆变换，确定目标仪表在所述待处理图像中的区域，生成目标仪表子图；通过采用强化学习算法训练得到的第一智能体从所述目标仪表子图中确定读数显示区域；对所述读数显示区域进行数字识别，确定所述待处理图像中所述目标仪表的读数。本发明提高了仪表读数的速度和准确率。

Description

一种仪表读数方法、装置及机器人
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种仪表读数方法、装置及机器人。
背景技术
仪表是测量和监控各种设备运行数据的关键设备，广泛应用于人们的日常生活和工业生产中。现有技术中主要由人工对仪表进行读数，但是对于部分应用在恶劣环境中的仪表，例如高温环境和放射性环境等，长时间停留会危害人体健康。
随着人工智能技术的不断发展，目前已出现通过机器人代替工作人员进入高危环境，进行仪表读数的方法。其中，机器人通过视觉系统拍摄仪表图像，通过人工智能技术识别仪表读数。但是，仪表所处的环境复杂，以及不同仪表的形状不尽相同，机器人拍摄的仪表图像通常还包括仪表的背景，背景增加了图像复杂度，导致仪表读数的速度较慢，且准确率较低。
发明内容
本发明解决的问题是如何提高仪表读数的速度和准确率。
为解决上述问题，本发明提供一种仪表读数方法、装置及机器人。
第一方面，本发明提供了一种仪表读数方法，包括：
获取待处理图像；
采用ORB特征识别算法对所述待处理图像和仪表模板图像进行匹配，确定所述待处理图像到所述仪表模板图像的仿射矩阵；
根据所述仿射矩阵对所述仪表模板图像进行逆变换，确定目标仪表在所述待处理图像中的区域，生成目标仪表子图；
通过采用强化学习算法训练得到的第一智能体从所述目标仪表子图中确定读数显示区域；
对所述读数显示区域进行数字识别，确定所述待处理图像中所述目标仪表的读数。
可选地，所述采用ORB特征识别算法对所述待处理图像和仅包括目标仪表的仪表模板图像进行匹配，确定所述待处理图像到所述仪表模板图像的仿射矩阵包括：
确定所述待处理图像中的至少一个第一特征点和所述仪表模板图像中的至少一个第二特征点，并计算各个所述第一特征点对应的第一描述子，以及各个所述第二特征点的对应的第二描述子；
采用Hamming距离匹配算法对所述第一描述子和所述第二描述子进行匹配，确定匹配点对；
根据所述匹配点对确定所述待处理图像到所述仪表模板图像的所述仿射矩阵。
可选地，所述通过采用强化学习算法训练得到的第一智能体从所述目标仪表子图中确定读数显示区域之前，所述仪表读数方法还包括：
第一获取步骤，获取ROI选框框选的当前区域；
将所述当前区域输入第一智能体，输出位置调整策略；
根据所述位置调整策略调整所述ROI选框的位置，更新所述ROI选框框选的所述当前区域，并根据第一奖励函数确定所述位置调整策略的第一奖励值，其中，所述第一奖励函数包括所述第一奖励值与所述当前区域包括仪表读数的完整度正相关；
根据所述第一奖励值更新所述第一智能体，返回执行所述第一获取步骤，循环迭代直至满足第一预设终止条件，获得训练好的第一智能体。
可选地，所述获取待处理图像之前，所述仪表读数方法还包括：
第二获取步骤，获取视觉装置拍摄的实时图像；
将所述实时图像输入第二智能体，输出位姿调整策略；
根据所述位姿调整策略调整所述视觉系统的位姿，控制所述视觉系统重新拍摄所述实时图像，并根据第二奖励函数确定所述位姿调整策略的第二奖励值，其中，所述第二奖励函数包括所述第二奖励值与所述实时图像的清晰度正相关；
根据所述第二奖励值更新所述第二智能体，返回执行所述第二获取步骤，循环迭代直至满足第二预设终止条件，获得训练好的第二智能体。
可选地，所述获取待处理图像包括：
通过所述训练好的第二智能体调节所述视觉装置的位姿，控制所述视觉装置拍摄所述待处理图像。
可选地，所述对所述读数显示区域进行数字识别，确定所述待处理图像中所述目标仪表的读数包括：
当所述目标仪表为数显式仪表时，对所述目标仪表子图进行预处理，获得预处理后的子图；
根据所述目标仪表上数位的位置对所述预处理后的子图进行剪裁，获得n个数字图像，其中，n为所述目标仪表上数位的数量；
将n个所述数字图像分别与预设的多个数字模板图像进行匹配，确定各个所述数字图像中的读数；
将各个所述数字图像中的读数按照对应的所述数位的位置进行组合，得到所述待处理图像中所述目标仪表的读数。
可选地，所述将n个所述数字图像分别与预设的多个数字模板图像进行匹配，确定各个所述数字图像中的读数包括：
对于任一所述数字图像，分别计算该数字图像与多个不同的所述数字模板图像之间的NCC值；
比对各个所述NCC值，根据比对结果确定所述NCC值最大的所述数字模板图像；
确定所述NCC值最大的所述数字模板图像对应的数字为该数字图像中的读数。
可选地，所述对所述读数显示区域进行数字识别，确定所述待处理图像中所述目标仪表的读数包括：
当所述目标仪表为指针式仪表时，确定所述读数显示区域中指针的位置；
根据所述指针的位置确定与指针相邻的刻度，以及所述指针和相邻的指针之间的角度；
根据所述相邻的刻度和所述角度确定所述待处理图像中所述目标仪表的读数。
第二方面，本发明提供了一种仪表读数装置，包括：
获取模块，用于获取待处理图像；
匹配模块，用于采用ORB特征识别算法对所述待处理图像和仪表模板图像进行匹配，确定所述待处理图像到所述仪表模板图像的仿射矩阵；
定位模块，用于根据所述仿射矩阵对所述仪表模板图像进行逆变换，确定目标仪表在所述待处理图像中的区域，生成目标仪表子图；通过采用强化学习算法训练得到的第一智能体从所述目标仪表子图中确定读数显示区域；
识别模块，用于对所述读数显示区域进行数字识别，确定所述待处理图像中所述目标仪表的读数。
第三方面，本发明提供了一种机器人，包括动作装置、视觉装置和控制装置，所述控制装置用于实现如上所述的仪表读数方法；
所述动作装置包括机械臂模块和末端执行器模块，所述末端执行器模块与所述机械臂模块的末端可拆卸连接，所述机械臂模块和所述末端执行器模块分别与所述控制装置电连接；
所述视觉装置与所述控制装置电连接，安装在所述机械臂模块和/或所述末端执行器模块上。
本发明的仪表读数方法、装置及机器人的有益效果是：获取包括目标仪表的待处理图像，通过ORB特征识别算法将待处理图像和仪表模板图像进行匹配，仪表模板图像指不包括背景仅包括目标仪表的图像，根据匹配结果建立待处理图像到仪表模板图像的仿射矩阵。根据仿射矩阵对仪表模板图像进行逆变换，确定待处理图像中目标仪表所在的区域，可通过裁剪获得目标仪表所在区域对应的目标仪表子图，目标仪表子图中去除了背景区域，能够避免背景区域对仪表读数识别造成干扰，并且能够降低后续图像识别的数据处理量。可预先通过强化学习算法训练第一智能体，通过训练好的第一智能体从目标仪表子图中确定读数显示区域，去除目标仪表上与读数无关的区域，以降低干扰和数据量，对读数显示区域进行数字识别时，没有背景区域和目标仪表上无关区域的干扰，且数据量更少，提高了确定待处理图像中目标仪表读数的速度和准确率。
附图说明
图1为本发明实施例的一种机器人的结构示意图；
图2为本发明实施例的动作装置的结构示意图；
图3为本发明实施例的一种仪表读数方法的流程示意图；
图4为本发明实施例的待处理图像和仪表模板图像匹配生成目标仪表子图的流程示意图；
图5为本发明实施例的一种仪表读数装置的结构示意图。
附图标记说明：
10-机械臂；20-夹爪。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。
需要说明的是，本文提供的坐标系XYZ中，X轴正向代表的右方，X轴的反向代表左方，Y轴的正向代表后方，Y轴的反向代表前方，Z轴的正向代表上方，Z轴的反向代表下方。
应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”；术语“可选地”表示“可选的实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本发明实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
如图1和图2所示，本发明实施例提供的一种机器人，包括动作装置、视觉装置和控制装置，所述控制装置用于实现如上所述的仪表读数方法；
所述动作装置包括机械臂模块和末端执行器模块，所述末端执行器模块与所述机械臂模块的末端可拆卸连接，所述机械臂模块和所述末端执行器模块分别与所述控制装置电连接；
所述视觉装置与所述控制装置电连接，安装在所述机械臂模块和/或所述末端执行器模块上。
具体地，本实施例的机器人可应用于实验室中，用于旋转瓶盖(拧开/拧紧)，移液(吸取/释放)，摇匀(固-液/液-液)，仪表盘读数，目标物体夹取，按键操作(实体物理按键/电阻式触摸屏)等，可在视觉伺服下进行，也可在非视觉伺服下按照预设动作路径进行。
如图2所示，机械臂模块可包括至少一个机械臂10，两个机械臂可对称设置在平台上，机械臂10可采用六轴机械臂和七轴机械臂等，例如可采用型号为UR3的双机械臂，UR3机械臂相比其他协作机械臂而言，末端关节可无限旋转，可安装于桌面，且编程调试过程简单。末端执行器模块可包括多种不同类型的夹爪20，例如型号为大寰PGE-50-26的二指夹爪及RGI-35-14的二指旋转夹爪，其具有张开宽度控制但不具有力反馈，为电动刚性夹爪，噪音小于气动夹爪，指尖可依据使用场景选用粘性橡胶指尖或弹性指尖，旋转夹爪相比普通夹爪而言更能胜任一些旋转动作如开启瓶盖等，本实施例中二指夹爪主要负责抓取，旋转夹爪主要应用于以拧盖为代表的旋转动作。图2中右侧机械臂可安装二指夹爪，左侧可安装具有无线角度旋转自由度的二指夹爪，末端执行器模块与机械臂模块的末端可拆卸连接，可根据不同的应用场景选择合适的夹爪，简单便捷。
示例性地，针对于实验室场景下，所需抓取操作的物体尺寸相对比较均匀，变化幅度不大且总体较小(不大于50mm)。此时如果使用较大行程的夹爪(例如行程达100mm的AG-95夹爪)，那么将有一半的行程是冗余的。值得注意此处的冗余行程可以增加抓取的容错性，但也会对抓取区域的空间特征提出更高要求。在本机器人中，最终通过实验调整，我们选取了行程区间与抓取物体尺寸区间较为接近的夹爪。另外对于夹爪指尖，我们选取了外层弹性材料配合内部刚性骨架的组合方案，外侧的弹性表面一方面可以提供较大的摩擦力，另一方面可以利用自身弹性贴合适应所要抓取的物体表面，二者结合从而提升抓取效果(例如对于圆形试管，原厂指尖为金属平面，二者接触面可近似看作一条线，面积小，摩擦系数低，抓取易打滑)。
视觉模块可包括全局摄像头和三目深度摄像头，三目深度摄像头可安装在机械臂的腕部，三目深度摄像头具体而言从左到右四个大小不一的圆依次是红外摄像头a，主动式红外散斑投射器，红外摄像头b和彩色摄像头，红外摄像头a与b之间明显有一段距离，这段距离对应着基线长度，这段距离也造成了摄像头a、b的视差。视觉模块采集的数据对应数据层中的深度图像数据与彩色图像数据，这些数据将通过网络层中的硬件传输给运行于系统层上的应用层中的具体功能。比如在标定过程中若干彩色图像数据将传给视觉定位功能模块，经过该模块的计算处理便可得到数据层中的标定结果。数据层中的机械臂及夹爪的姿态数据可以直接从对应的硬件读取。
具体地，对于腕部相机，首先考虑到三目深度摄像头存在距离盲区，通常在15cm左右，当目标物体与摄像头的距离小于该数值时无法取得可信的深度信息。其次考虑到夹爪20会对腕部摄像头的视野造成一定程度的遮挡，这需要调整相机与夹爪指尖的距离以及相机光轴与夹爪轴线间的夹角关系。减小相机与夹爪指尖的距离并增大两轴线夹角可以减少视野遮挡，但相机-指尖距离过小会进入深度摄像头盲区，两轴线夹角过大会使得拍摄到的目标物体畸变加重。对于全局相机，主要考虑视觉保护功能与所采用的全局相机性能特性来决定放置距离。全局摄像头可安装在机器人主体的垂直上方，用以俯瞰系统全局状况。一方面是为操作任务提供初级特征信息，进而调动机械臂与腕部摄像头；另一方面是为了确保操作过程的安全性。例如：在该机器人应用于实验室环境中时，机器人的操作对象可能涉及高危的生化核材料，对于人类健康有着严重危害，需要严格保持安全距离。此时便是由全局摄像头估算视野中的人与本机器人之间的距离值，当进入不同区间时做出不同程度的反应。更具体的来说，例如在机器人执行病原体相关操作时，人类距离5m时发出提醒，人类距离3m时发出警告，2m时启动保护性消杀程序。又例如当机器人在执行一些高速度的操作时，运行速度与人类距离成正相关，当小于一定阈值时直接暂停操作，当大于另一阈值时全速运转。
在一可选的实施例中，控制装置可包括人机交互模块和中继模块，人机交互模块可包括示教器和计算机，计算机可包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如下所述的仪表读数方法。中继模块可包括路由器和交换机。
具体地，人机交互模块用于接收用户输入的控制指令并能以可视化方式展示系统实时状态，中继模块用于负责不同硬件部分之间的通讯，示教器用于早期基础开发以及临时调试，计算机用于算法开发及测试。
本实施例中，可通过手眼标定确定机械臂末端所在的空间坐标系于相机视觉坐标系之间的转换关系，通过手动控制依次示教原点、x轴正半轴上的一点以及第一象限上的任一点，通过计算便可得到此次示教对应的平面。平面示教过程可以用于确定操作对象所处的水平位置，在此基础上，加上三目深度相机采集的垂直方向距离值，即空间中z轴的信息，从而能够完成定位。
如图3所示，本发明实施例提供的一种仪表读数方法，包括：
步骤S100，获取待处理图像。
具体地，通过视觉装置拍摄待读数的仪表，获得待处理图像。
步骤S200，采用ORB(Oriented FAST and Rotated BRIEF，快速特征提取描述算法)特征识别算法对所述待处理图像和仪表模板图像进行匹配，确定所述待处理图像到所述仪表模板图像的仿射矩阵。
具体地，仪表模板图像为去掉背景后仅包括目标仪表的图像，可预先拍摄目标仪表以获得。
步骤S300，根据所述仿射矩阵对所述仪表模板图像进行逆变换，确定目标仪表在所述待处理图像中的区域，生成目标仪表子图。
具体地，根据仿射矩阵对仪表模板图像进行仿射逆变换，可以根据仪表模板图像确定目标仪表在待处理图像中的区域，选定该区域就可得到目标仪表子图。
步骤S400，通过采用强化学习算法训练得到的第一智能体从所述目标仪表子图中确定读数显示区域。
具体地，可预先通过强化学习算法对第一智能体进行训练，获得训练好的第一智能体，用于确定读数显示区域。
步骤S500，对所述读数显示区域进行数字识别，确定所述待处理图像中所述目标仪表的读数。
具体地，可采用识别算法对读数显示区域内的数字进行识别，确定待处理图像中目标仪表的读数。
本实施例中，获取包括目标仪表的待处理图像，通过ORB特征识别算法将待处理图像和仪表模板图像进行匹配，仪表模板图像指不包括背景仅包括目标仪表的图像，根据匹配结果建立待处理图像到仪表模板图像的仿射矩阵。根据仿射矩阵对仪表模板图像进行逆变换，确定待处理图像中目标仪表所在的区域，可通过裁剪获得目标仪表所在区域对应的目标仪表子图，目标仪表子图中去除了背景区域，能够避免背景区域对仪表读数识别造成干扰，并且能够降低后续图像识别的数据处理量。可预先通过强化学习算法训练第一智能体，通过训练好的第一智能体从目标仪表子图中确定读数显示区域，去除目标仪表上与读数无关的区域，以降低干扰和数据量，对读数显示区域进行数字识别时，没有背景区域和目标仪表上无关区域的干扰，且数据量更少，提高了确定待处理图像中目标仪表读数的速度和准确率。
可选地，所述采用ORB特征识别算法对所述待处理图像和仪表模板图像进行匹配，确定所述待处理图像到所述仪表模板图像的仿射矩阵包括：
确定所述待处理图像中的至少一个第一特征点和所述仪表模板图像中的至少一个第二特征点，并计算各个所述第一特征点对应的第一描述子，以及各个所述第二特征点的对应的第二描述子。
具体地，可利用OpenCV里自带的检测器和描述子，检测所述待处理图像中的Oriented FAST角点位置(即第一特征点)，并且计算对应的BRIEF描述子(即第一描述子)，以及仪表模板图像中的Oriented FAST角点位置(即第二特征点)，并且计算对应的BRIEF描述子(即第二描述子)。
采用Hamming距离匹配算法对所述第一描述子和所述第二描述子进行匹配，确定匹配点对。
具体地，可采用OpenCV中自带的Hamming距离匹配算法(BruteForce-Hamming)对两组描述子进行匹配，可将各个匹配点对的Hamming距离于预设阈值进行对比，筛除Hamming距离大于预设阈值的匹配点对，预设阈值可为每次检测时匹配点对中最小Hamming距离的两倍，并且为了避免Hamming距离过小，还可根据经验值设置最小值，筛除Hamming距离小于最小值的匹配点对。
根据所述匹配点对确定所述待处理图像到所述仪表模板图像的所述仿射矩阵。
具体地，可通过cv::findHomography函数估计出待测图到模板图的单应矩阵(即仿射矩阵)。
本可选的实施例中，通过ORB特征识别算法可以快速建立待处理图像到仪表模板图像的仿射矩阵，通过仿射矩阵确定待处理图像中的读数显示区域，筛除背景区域，进而提高仪表读数的速度和准确率。
可选地，所述根据所述仿射矩阵对所述仪表模板图像进行逆变换，确定目标仪表在所述待处理图像中的区域，生成目标仪表子图包括：
根据仿射矩阵将仪表模板图像的四个角逆变换到待处理图像中，根据逆变换到待处理图像中的四个角确定最小外接矩形，该最小外接矩形就是待检测的ROI，即目标仪表在待处理图像中的区域。
示例性地，如图4所示以目标仪表为移液枪为例，图4中最左侧的移液枪为目标仪表模板图像，其包括ORB特征识别算法匹配后的所有特征点，但是其中一些特征点不是移液枪上的，在筛除部分特征点后得到图4中中间竖直的移液枪，通过仿射逆变换，最后得到目标仪表子图，即图4中最右侧竖直的移液枪。
本可选的实施例中，在仪表模板图像与待处理图像的拍摄环境基本一致时，不再受目标仪表在待处理图像中位置的限制，可不直接限定ROI区域，并且扩大了目标仪表在待处理图像中缩放和旋转等的容错。还可利用ROI区域设置三目深度相机的白平衡基准区域，以改善待处理图像中目标仪表的清晰度。
在一可选的实施例中，对于数显式仪表，可通过cv::warpPerspect函数利用仿射矩阵对待处理图像进行变换，对变换后的待处理图像进行剪裁，使其大小与仪表模板图像相匹配；
然后根据仪表模板图像中各个数位的位置，裁剪出变换后的待处理图像中各个数位位置处对应的子图；采用cv::Canny函数对各个子图进行处理，得到边缘二值图；
在通过cv::findContours函数(mode＝CV_RETR_TREE)，查找轮廓，获得层级关系；
若轮廓层级只有1层，则使用cv::fillContours函数将轮廓内填充白色，并通过匹配确定仪表读数。若轮廓层级有2层，则先用cv::fillContours函数将次底级轮廓填充白色，再将最底级轮廓填充黑色，并通过匹配确定仪表读数。
可选地，所述通过采用强化学习算法训练得到的第一智能体从所述目标仪表子图中确定读数显示区域之前，所述仪表读数方法还包括：
第一获取步骤，获取ROI(region of interest,感兴趣区域)选框框选的当前区域；
将所述当前区域输入第一智能体，输出位置调整策略；
根据所述位置调整策略调整所述ROI选框的位置，更新所述ROI选框框选的所述当前区域，并根据第一奖励函数确定所述位置调整策略的第一奖励值，其中，所述第一奖励函数包括所述第一奖励值与所述当前区域包括仪表读数的完整度正相关；
根据所述第一奖励值更新所述第一智能体，返回执行所述第一获取步骤，循环迭代直至满足第一预设终止条件，获得训练好的第一智能体。
具体地，第一智能体用于控制ROI选框准确地确定仪表的读数显示区域，避免框选到无关区域。第一智能体可采用免模型学习的基于Q-learning的DQN(Deep Q-learningNetwork，深度Q学习网络)算法，其易于实现。
先粗粒度地选取整个仪器的区域，得到目标仪表子图，其完整地包括了读数显示区域，通过训练好的第一智能体能够控制ROI选框框选读数显示区域。其中，可通过识别读数显示区域中的读数是否具有意义来判断框选数据的完整性，例如当框选得不完整时，字符识别结果中会出现低置信度结果或者非常见字符，此时奖励函数会给出负评分。
示例性地，假设实际数据为“200”，但因为框选不完整识别结果输出为“20u”，此处的字母u便是一个反常的符号。对于一个符号是否反常，可以通过统计一定数量的识别结果进行判断，标记那些低频符号为异常符号。
另外，对于ROI选框的优化，因为ROI选框会影响成像效果(可根据ROI来确定图像的白平衡)，也会影响字符识别结果(如上文所说的框选不完整情况)，所以也可以采用下述的第二奖励函数进行优化。
本可选的实施例中，通过强化学习算法训练第一智能体，训练好的第一智能体能够从目标仪表子图中准确确定出读数显示区域，筛除背景区域，以避免背景区域的干扰，降低数据处理量，进而提高仪表读数的速度和准确性。
可选地，所述获取待处理图像之前，所述仪表读数方法还包括：
第二获取步骤，获取视觉装置拍摄的实时图像；
将所述实时图像输入第二智能体，输出位姿调整策略；
根据所述位姿调整策略调整所述视觉系统的位姿，控制所述视觉系统重新拍摄所述实时图像，并根据第二奖励函数确定所述位姿调整策略的第二奖励值，其中，所述第二奖励函数包括所述第二奖励值与所述实时图像的清晰度正相关；
根据所述第二奖励值更新所述第二智能体，返回执行所述第二获取步骤，循环迭代直至满足第二预设终止条件，获得训练好的第二智能体。
具体地，第二智能体用于控制视觉装置尽可能清晰地拍摄到包括目标仪表地待处理图像，可采用免模型学习的基于Q-learning的DQN(Deep Q-learning Network，深度Q学习网络)算法。第二智能体能够控制视觉装置避开过远或过近的拍摄距离以及过于倾斜的拍摄角度，具体可通过控制机械臂以不同姿态移动以避开不良的拍摄姿态。第二奖励函数的设置是与成像质量相关，成像越清晰，识别读数的成功率及置信度就会越高，从而获得更高的打分。
可选地，所述获取待处理图像包括：
通过所述训练好的第二智能体调节所述视觉装置的位姿，控制所述视觉装置拍摄所述待处理图像。
本可选的实施例中，通过强化学习算法训练第二智能体，训练好的第二智能体用于控制视觉装置避开不良的拍摄姿态，拍摄清晰的待处理图像，清晰的待处理图像有助于提高仪表读数的准确率。
可选地，所述对所述读数显示区域进行数字识别，确定所述待处理图像中所述目标仪表的读数包括：
当所述目标仪表为数显式仪表时，对所述目标仪表子图进行预处理，获得预处理后的子图。
具体地，可对目标仪表子图进行缩放、剪裁、灰度化和高斯滤波等预处理。
根据所述目标仪表上数位的位置对所述预处理后的子图进行剪裁，获得n个数字图像，其中，n为所述目标仪表上数位的数量。
具体地，可根据仪表模板图像确定目标仪表上各个数位的位置，例如若预处理后的子图上的读数为3.578，则通过剪裁可获得4个数字图像，即n＝4，其中，小数点可直接识别，也可在数字模板图像中增加小数点模板图像，通过匹配确定小数点。
将n个所述数字图像分别与预设的多个数字模板图像进行匹配，确定各个所述数字图像中的读数。
具体地，数字模板图像包括10个数字的模板图像，具体为0、1、2、...、9，将各个数字图像分别与10个数字模板图像进行匹配，确定各个数字图像对应的读数。
将各个所述数字图像中的读数按照对应的所述数位的位置进行组合，得到所述待处理图像中所述目标仪表的读数。
具体地，按照各个数字图像对应的数位位置将各个读数进行组合，就可得到待处理图像中目标仪表的读数，当有小数点时，需要将识别的小数点按照对应的位置放进组合中。
本可选的实施例中，通过与数字模板图像进行匹配，能够快速确定数字图像对应的读数，进而确定待处理图像中目标仪表的读数。
可选地，所述将n个所述数字图像分别与预设的多个数字模板图像进行匹配，确定各个所述数字图像中的读数包括：
对于任一所述数字图像，分别计算该数字图像与多个不同的所述数字模板图像之间的NCC(Normalized cross-correlation，归一化互相关系数)值。
示例性地，假设预处理后的子图上的读数为3.578，则4个数字图像分别为3、5、7、8，对于数字图像3，分别计算其与0、1、2、...、9的数字模板图像之间的NCC值。将各个NCC值分别与预设阈值进行对比，筛除NCC值小于预设阈值的数字模板图像，保留NCC值大于或等于预设阈值的数字模板图像，NCC值大于或等于预设阈值表示匹配成功。
比对各个所述NCC值，根据比对结果确定所述NCC值最大的所述数字模板图像。
具体地，比对匹配成功的各个NCC值，确定NCC值最大的数字模板图像为正确匹配结果。
确定所述NCC值最大的所述数字模板图像对应的数字为该数字图像中的读数。
具体地，该数字模板图像对应的数字就是数字图像的读数，该示例中数字图像3与数字模板图像3之间的NCC值最大。
可选地，所述对所述读数显示区域进行数字识别，确定所述待处理图像中所述目标仪表的读数包括：
当所述目标仪表为指针式仪表时，确定所述读数显示区域中指针的位置；
根据所述指针的位置确定与指针相邻的刻度，以及所述指针和相邻的指针之间的角度；
根据所述相邻的刻度和所述角度确定所述待处理图像中所述目标仪表的读数。
在一可选的实施例中，可直接确定指针当前位置与初始位置之间的角度，通过预设的角度与读数之间的对应关系确定目标仪表的读数。
具体地，可通过识别算法确定指针在读数显示区域中的位置，通过判断指针与相邻的带数字大刻度、不带数字的中刻度以及小刻度之间的位置关系，就可确定仪表读数。在需要估读一位数字时，根据指针的当前位置与其左相邻可读之间的角度值，该角度值与两个最小刻度之间的夹角的比值，再乘以两个最小刻度的间距，就可确定该估读位的读数。其中，两个最小刻度之间的夹角值和间距是可以预先确定的常量。
如图5所示，本发明实施例提供的一种仪表读数装置，包括：
获取模块，用于获取待处理图像；
匹配模块，用于采用ORB特征识别算法对所述待处理图像和仪表模板图像进行匹配，确定所述待处理图像到所述仪表模板图像的仿射矩阵；
定位模块，用于根据所述仿射矩阵对所述仪表模板图像进行逆变换，确定目标仪表在所述待处理图像中的区域，生成目标仪表子图；通过采用强化学习算法训练得到的第一智能体从所述目标仪表子图中确定读数显示区域；
识别模块，用于对所述读数显示区域进行数字识别，确定所述待处理图像中所述目标仪表的读数。
本实施例的仪表读数装置用于实现如上所述的仪表读数方法，其相对于现有技术的优势与上述仪表读数方法相较于现有技术的优势相同，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种仪表读数方法，其特征在于，包括：
获取待处理图像；
采用ORB特征识别算法对所述待处理图像和仪表模板图像进行匹配，确定所述待处理图像到所述仪表模板图像的仿射矩阵；
根据所述仿射矩阵对所述仪表模板图像进行逆变换，确定目标仪表在所述待处理图像中的区域，生成目标仪表子图；
通过采用强化学习算法训练得到的第一智能体从所述目标仪表子图中确定读数显示区域；
对所述读数显示区域进行数字识别，确定所述待处理图像中所述目标仪表的读数。
2.根据权利要求1所述的仪表读数方法，其特征在于，所述采用ORB特征识别算法对所述待处理图像和仅包括目标仪表的仪表模板图像进行匹配，确定所述待处理图像到所述仪表模板图像的仿射矩阵包括：
确定所述待处理图像中的至少一个第一特征点和所述仪表模板图像中的至少一个第二特征点，并计算各个所述第一特征点对应的第一描述子，以及各个所述第二特征点的对应的第二描述子；
采用Hamming距离匹配算法对所述第一描述子和所述第二描述子进行匹配，确定匹配点对；
根据所述匹配点对确定所述待处理图像到所述仪表模板图像的所述仿射矩阵。
3.根据权利要求1所述的仪表读数方法，其特征在于，所述通过采用强化学习算法训练得到的第一智能体从所述目标仪表子图中确定读数显示区域之前，所述仪表读数方法还包括：
第一获取步骤，获取ROI选框框选的当前区域；
将所述当前区域输入第一智能体，输出位置调整策略；
根据所述位置调整策略调整所述ROI选框的位置，更新所述ROI选框框选的所述当前区域，并根据第一奖励函数确定所述位置调整策略的第一奖励值，其中，所述第一奖励函数包括所述第一奖励值与所述当前区域包括仪表读数的完整度正相关；
根据所述第一奖励值更新所述第一智能体，返回执行所述第一获取步骤，循环迭代直至满足第一预设终止条件，获得训练好的第一智能体。
4.根据权利要求1所述的仪表读数方法，其特征在于，所述获取待处理图像之前，所述仪表读数方法还包括：
第二获取步骤，获取视觉装置拍摄的实时图像；
将所述实时图像输入第二智能体，输出位姿调整策略；
根据所述位姿调整策略调整所述视觉系统的位姿，控制所述视觉系统重新拍摄所述实时图像，并根据第二奖励函数确定所述位姿调整策略的第二奖励值，其中，所述第二奖励函数包括所述第二奖励值与所述实时图像的清晰度正相关；
根据所述第二奖励值更新所述第二智能体，返回执行所述第二获取步骤，循环迭代直至满足第二预设终止条件，获得训练好的第二智能体。
5.根据权利要求4所述的仪表读数方法，其特征在于，所述获取待处理图像包括：
通过所述训练好的第二智能体调节所述视觉装置的位姿，控制所述视觉装置拍摄所述待处理图像。
6.根据权利要求1至5任一项所述的仪表读数方法，其特征在于，所述对所述读数显示区域进行数字识别，确定所述待处理图像中所述目标仪表的读数包括：
当所述目标仪表为数显式仪表时，对所述目标仪表子图进行预处理，获得预处理后的子图；
根据所述目标仪表上数位的位置对所述预处理后的子图进行剪裁，获得n个数字图像，其中，n为所述目标仪表上数位的数量；
将n个所述数字图像分别与预设的多个数字模板图像进行匹配，确定各个所述数字图像中的读数；
将各个所述数字图像中的读数按照对应的所述数位的位置进行组合，得到所述待处理图像中所述目标仪表的读数。
7.根据权利要求6所述的仪表读数方法，其特征在于，所述将n个所述数字图像分别与预设的多个数字模板图像进行匹配，确定各个所述数字图像中的读数包括：
对于任一所述数字图像，分别计算该数字图像与多个不同的所述数字模板图像之间的NCC值；
比对各个所述NCC值，根据比对结果确定所述NCC值最大的所述数字模板图像；
确定所述NCC值最大的所述数字模板图像对应的数字为该数字图像中的读数。
8.根据权利要求1至5任一项所述的仪表读数方法，其特征在于，所述对所述读数显示区域进行数字识别，确定所述待处理图像中所述目标仪表的读数包括：
当所述目标仪表为指针式仪表时，确定所述读数显示区域中指针的位置；
根据所述指针的位置确定与指针相邻的刻度，以及所述指针和相邻的指针之间的角度；
根据所述相邻的刻度和所述角度确定所述待处理图像中所述目标仪表的读数。
9.一种仪表读数装置，其特征在于，包括：
获取模块，用于获取待处理图像；
匹配模块，用于采用ORB特征识别算法对所述待处理图像和仪表模板图像进行匹配，确定所述待处理图像到所述仪表模板图像的仿射矩阵；
定位模块，用于根据所述仿射矩阵对所述仪表模板图像进行逆变换，确定目标仪表在所述待处理图像中的区域，生成目标仪表子图；通过采用强化学习算法训练得到的第一智能体从所述目标仪表子图中确定读数显示区域；
识别模块，用于对所述读数显示区域进行数字识别，确定所述待处理图像中所述目标仪表的读数。
10.一种机器人，其特征在于，包括动作装置、视觉装置和控制装置，所述控制装置用于实现如权利要求1至8所述的仪表读数方法；
所述动作装置包括机械臂模块和末端执行器模块，所述末端执行器模块与所述机械臂模块的末端可拆卸连接，所述机械臂模块和所述末端执行器模块分别与所述控制装置电连接；
所述视觉装置与所述控制装置电连接，安装在所述机械臂模块和/或所述末端执行器模块上。
CN202310104537.1A 2023-02-07 2023-02-07 一种仪表读数方法、装置及机器人 Active CN116189166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310104537.1A CN116189166B (zh) 2023-02-07 2023-02-07 一种仪表读数方法、装置及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310104537.1A CN116189166B (zh) 2023-02-07 2023-02-07 一种仪表读数方法、装置及机器人

Publications (2)

Publication Number Publication Date
CN116189166A true CN116189166A (zh) 2023-05-30
CN116189166B CN116189166B (zh) 2024-08-27

Family

ID=86448230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310104537.1A Active CN116189166B (zh) 2023-02-07 2023-02-07 一种仪表读数方法、装置及机器人

Country Status (1)

Country Link
CN (1) CN116189166B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886294A (zh) * 2014-03-24 2014-06-25 北京国网富达科技发展有限责任公司 基于图像的换流站用避雷器动作次数的识别方法以及系统
CN111260658A (zh) * 2020-01-10 2020-06-09 厦门大学 一种用于图像分割的新型深度强化学习算法
WO2020125528A1 (zh) * 2018-12-21 2020-06-25 广东美的白色家电技术创新中心有限公司 锚定物检测方法及装置、电子设备及存储介质
CN111814919A (zh) * 2020-08-31 2020-10-23 江西小马机器人有限公司 一种基于深度学习的仪表定位与识别系统
CN112348018A (zh) * 2020-11-16 2021-02-09 杭州安森智能信息技术有限公司 基于巡检机器人的数显式仪表读数识别方法
CN112699876A (zh) * 2021-03-24 2021-04-23 中海油能源发展股份有限公司采油服务分公司 一种用于集气站多类型仪表自动读数方法
CN112966719A (zh) * 2021-02-05 2021-06-15 深圳市优必选科技股份有限公司 识别仪表盘读数的方法、装置及终端设备
CN113378814A (zh) * 2021-06-09 2021-09-10 刘胜娃 一种仪表自动识别的方法和系统
CN114092728A (zh) * 2021-11-09 2022-02-25 国网智能科技股份有限公司 一种基于深度学习的指针式仪表智能识别方法及系统
CN114372921A (zh) * 2021-11-04 2022-04-19 华东理工大学 一种基于深度强化学习的仪表自动化标定方法
CN114663431A (zh) * 2022-05-19 2022-06-24 浙江大学 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
CN115331014A (zh) * 2022-10-17 2022-11-11 暨南大学 一种基于机器视觉的指针仪表读数方法及系统、存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886294A (zh) * 2014-03-24 2014-06-25 北京国网富达科技发展有限责任公司 基于图像的换流站用避雷器动作次数的识别方法以及系统
WO2020125528A1 (zh) * 2018-12-21 2020-06-25 广东美的白色家电技术创新中心有限公司 锚定物检测方法及装置、电子设备及存储介质
CN111260658A (zh) * 2020-01-10 2020-06-09 厦门大学 一种用于图像分割的新型深度强化学习算法
CN111814919A (zh) * 2020-08-31 2020-10-23 江西小马机器人有限公司 一种基于深度学习的仪表定位与识别系统
CN112348018A (zh) * 2020-11-16 2021-02-09 杭州安森智能信息技术有限公司 基于巡检机器人的数显式仪表读数识别方法
CN112966719A (zh) * 2021-02-05 2021-06-15 深圳市优必选科技股份有限公司 识别仪表盘读数的方法、装置及终端设备
CN112699876A (zh) * 2021-03-24 2021-04-23 中海油能源发展股份有限公司采油服务分公司 一种用于集气站多类型仪表自动读数方法
CN113378814A (zh) * 2021-06-09 2021-09-10 刘胜娃 一种仪表自动识别的方法和系统
CN114372921A (zh) * 2021-11-04 2022-04-19 华东理工大学 一种基于深度强化学习的仪表自动化标定方法
CN114092728A (zh) * 2021-11-09 2022-02-25 国网智能科技股份有限公司 一种基于深度学习的指针式仪表智能识别方法及系统
CN114663431A (zh) * 2022-05-19 2022-06-24 浙江大学 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
CN115331014A (zh) * 2022-10-17 2022-11-11 暨南大学 一种基于机器视觉的指针仪表读数方法及系统、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUANDOU WANG ET AL.: "Multi-Objective Workflow Scheduling With Deep-Q-Network-Based Multi-Agent Reinforcement Learning", 《DIGITAL OBJECT IDENTIFIER10.1109/ACCESS.2019.2902846》, 8 April 2019 (2019-04-08), pages 39974 - 39982 *
黄知坤 等: "基于DQN和 K-means聚类算法的天然气站场仪表智能识别研究", 《计算机测量与控制》, 3 January 2023 (2023-01-03), pages 1 - 12 *

Also Published As

Publication number Publication date
CN116189166B (zh) 2024-08-27

Similar Documents

Publication Publication Date Title
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
CN109015640B (zh) 抓取方法、系统、计算机装置及可读存储介质
CN107813310B (zh) 一种基于双目视觉多手势机器人控制方法
CN108595008B (zh) 基于眼动控制的人机交互方法
CN114952809B (zh) 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
TW201322058A (zh) 手勢辨識系統及方法
CN109590987B (zh) 半智能示教学习方法、智能机器人和存储介质
CN112287869A (zh) 一种图像数据检测方法及装置
CN116968022B (zh) 一种基于视觉引导的机械臂抓取目标物体方法及系统
CN116884095B (zh) 仿生机械手的手势识别控制方法、系统、设备和存储介质
CN117124302B (zh) 一种零件分拣方法、装置、电子设备及存储介质
CN114332927A (zh) 课堂举手行为检测方法、系统、计算机设备和存储介质
US20090122010A1 (en) Apparatus for operating objects and a method for identifying markers from digital image frame data
CN116985141B (zh) 一种基于深度学习的工业机器人智能控制方法及系统
CN116189166B (zh) 一种仪表读数方法、装置及机器人
CN113454684A (zh) 一种关键点标定方法和装置
JP2021026599A (ja) 画像処理システム
CN113807191B (zh) 一种非侵入式可视化测试脚本自动录制方法
CN111831135A (zh) 鼠标光标影像侦测比对与回馈状态判断方法
CN109895095B (zh) 一种训练样本的获取方法、装置和机器人
CN110471576B (zh) 一种单摄像头近屏幕触控方法、系统、平台及存储介质
CN113561172A (zh) 一种基于双目视觉采集的灵巧手控制方法及装置
CN113239882B (zh) 一种基于深度学习的人员计数方法及其系统
RU2800443C1 (ru) Способ выполнения манипуляции с объектом
CN115658544B (zh) 一种基于模拟点击的测试方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant