CN107370823A - 数据采集及远程控制方法、装置和计算机可读存储介质 - Google Patents

数据采集及远程控制方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN107370823A
CN107370823A CN201710681094.7A CN201710681094A CN107370823A CN 107370823 A CN107370823 A CN 107370823A CN 201710681094 A CN201710681094 A CN 201710681094A CN 107370823 A CN107370823 A CN 107370823A
Authority
CN
China
Prior art keywords
page
equipment
target component
parameter
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710681094.7A
Other languages
English (en)
Other versions
CN107370823B (zh
Inventor
徐祖峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Taiji Automation Technology Co Ltd
Original Assignee
Nanjing Taiji Automation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Taiji Automation Technology Co Ltd filed Critical Nanjing Taiji Automation Technology Co Ltd
Priority to CN201710681094.7A priority Critical patent/CN107370823B/zh
Publication of CN107370823A publication Critical patent/CN107370823A/zh
Application granted granted Critical
Publication of CN107370823B publication Critical patent/CN107370823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明提供数据采集及远程控制方法、装置和计算机可读存储介质。该方法包括下述步骤:接收来自中央控制平台的设备参数读取命令;解析该命令以确定待读取的目标参数;从人机交互显示屏幕显示的至少一个操作显示页面中获取目标参数所在的页面;从该页面识别目标参数的参数值;发送该参数值至中央控制平台;接收来自中央控制平台的与目标参数关联的设备控制命令;解析该命令以确定与该命令对应的命令执行控件;获取命令执行控件的句柄;通过对命令执行控件进行句柄操作来执行设备控制命令。通过本发明能够实现中央控制平台对各个设备的远程控制,无需对设备控制程序的修改以及对设备存储系统的操作,适用范围广,成本低。

Description

数据采集及远程控制方法、装置和计算机可读存储介质
技术领域
本发明涉及数据采集及远程控制技术领域,具体涉及一种基于图像识别及句柄操作的数据采集及远程控制方法、装置和计算机可读存储介质。
背景技术
随着以互联网、物联网技术为代表的各类高新技术的高速发展,各类电子产品的精细化程度及科技含量越来越高。作为核心的半导体/电子产业的产量需求十分旺盛。与此同时,劳动力成本正在逐渐增长,因此传统的劳动密集型流水线生产模式已经无法满足当前市场上高品质、高标准、低成本、低人力的目标。
由于生产设备的成本比较昂贵,为了最大化的利用设备,使设备正常的生产时间最大化,需要减少设备报警、停机、异常的时间。因此,若在设备连入互联网的情况下,可以实时分析及监控设备状态,及时对设备进行人工干预,则能够提高设备效率,进而提高产量。通过将设备联网,系统对于生产不同产品所涉及到的工艺配方参数、生产设备的状态参数能够进行实时的监控,从而能够避免操作工的误操作造成产品的不良,保障产品的高品质、高标准。
目前在制造企业中,在将远程中央控制平台与机台设备、即远程控制终端设备通讯联接来进行远程控制时,一种方法是开通SECS/GEM接口,根据厂商的协议规定来修改各机台设备的控制程序,采用这种方法对控制程序进行修改,虽然修改控制程序本身很简单,但是要想开通各种机台设备的接口,则周期长且费用高;另一种方法是直接对机台设备控制程序的存储系统、例如数据库、文件等进行操作,该方法需要对每个机台设备的控制程序及存储方式都非常熟悉,实现难度大。
综上所述,有必要提供一种通用的远程控制方法和控制装置,以简单可行的方式实现中央控制平台对各不同种类机台设备的远程控制,以解决现有技术存在的上述问题。
发明内容
发明所要解决的课题
本发明的目的是提供一种数据采集及远程控制方法、装置和计算机可读存储介质,本发明通过基于图像识别的数据采集动作和模拟人工对生产加工设备(例如:机台设备)控制界面操作的动作,能够实现中央控制平台对各个设备的远程控制,无需对设备的控制程序进行修改,也无需对设备控制程序的存储系统进行操作,适用范围广,使用人力、物力成本低。
用于解决课题的技术手段
依据本发明的一个方面,提供了一种数据采集及远程控制方法。
该方法用于从生产加工设备的人机交互显示屏幕采集数据并对所述设备进行远程控制,该方法包括下述步骤:接收来自中央控制平台的设备参数读取命令;解析所述设备参数读取命令以确定待读取的目标参数;从所述人机交互显示屏幕上显示的至少一个操作显示页面中获取所述目标参数所在的操作显示页面;从所述目标参数所在的操作显示页面上识别所述目标参数的参数值;发送所述目标参数的参数值至所述中央控制平台;接收来自所述中央控制平台的与所述目标参数相关联的设备控制命令;解析所述设备控制命令以确定与该设备控制命令对应的待操作的命令执行控件;获取所述待操作的命令执行控件的句柄;通过对所述待操作的命令执行控件进行句柄操作,执行所述设备控制命令。
进一步地,上述数据采集及远程控制方法还包括:预置所述设备对应的知识库的步骤,其中,所述设备的人机交互显示屏幕上包括多个操作显示页面,所述知识库中预存有所述设备的各个操作显示页面之间的页面转换路径、所述设备各参数与该各参数所处的操作显示页面之间的对应关系、以及所述设备各参数在其所处操作显示页面上的坐标位置。
进一步地,在上述数据采集及远程控制方法中,从所述人机交互显示屏幕上显示的至少一个操作显示页面中获取所述目标参数所在的操作显示页面的步骤包括:基于所述知识库中预存的所述对应关系,确定所述目标参数所处的操作显示页面、即目标页面;通过屏幕抓取技术获取所述人机交互显示屏幕上当前显示的操作显示页面、即当前页面;基于所述知识库中预存的所述页面转换路径,获得由所述当前页面跳转至所述目标页面的路径;根据由所述当前页面跳转至所述目标页面的路径,控制所述人机交互显示屏幕显示所述目标页面;以及通过屏幕抓取技术获取所述目标页面。
进一步地,在上述数据采集及远程控制方法中,从所述目标参数所在的操作显示页面上识别所述目标参数的参数值的步骤包括:基于所述知识库中预存的各参数的所述坐标位置,确定所述目标参数所对应的所述坐标位置、即目标坐标位置;通过屏幕抓取技术获取所述目标页面上所述目标坐标位置所对应的区域、即目标区域;识别所述目标区域内的字符串,从而得到所述目标参数的参数值。
进一步地,在上述数据采集及远程控制方法中,识别所述目标区域内的字符串,从而得到所述目标参数的参数值的步骤包括:根据所获取的所述目标区域的图像,基于预置的字符串数据库识别出该目标区域内的字符串,从而得到该字符串所表示的所述目标参数的参数值,其中,预置所述字符串数据库的步骤包括:在人工指导修正下,以使各所述坐标位置所对应区域的图像与该区域内的字符串相对应的方式建立字符串数据库,其中所述字符串表示其所在坐标位置对应的区域内的参数的参数值。
进一步地,在上述数据采集及远程控制方法中,获取所述待操作的命令执行控件的句柄的步骤包括:事先通过人工对所述人机交互显示屏幕上的所述操作显示页面中的操作按钮进行操作,逐一运行所述命令执行控件,并在所述知识库中以与各所述命令执行控件对应的方式记录该命令执行控件的操作按钮所在的操作显示页面及在该页面上的位置,根据该记录的页面及位置信息生成各所述操作按钮所对应的各所述命令执行控件的句柄。
进一步地,在上述数据采集及远程控制方法中,在从所述目标参数所在的操作显示页面上识别所述目标参数的参数值之后,所述方法还包括下述步骤:通过所述知识库中预存的所述设备的各个操作显示页面之间的页面转换路径,获得由所述目标页面跳转至所述当前页面的路径;根据由所述目标页面跳转至所述当前页面的路径,控制所述人机交互显示屏幕显示所述当前页面。
依据本发明的另一方面,提供了一种数据采集及远程控制装置。
该装置从生产加工设备的人机交互显示屏幕采集数据并对所述设备进行远程控制,该装置包括:命令接收模块,用于接收来自中央控制平台的设备参数读取命令和与目标参数相关联的控制命令;命令解析模块,用于解析所述设备参数读取命令以确定待读取的所述目标参数,还用于解析所述设备控制命令以确定待操作的命令执行控件;页面获取模块,用于从所述人机交互显示屏幕上显示的至少一个操作显示页面中获取所述目标参数所在的操作显示页面;参数识别模块,用于从所述目标参数所在的操作显示页面上识别所述目标参数的参数值;参数发送模块,用于向所述中央控制平台发送所述目标参数的参数值;句柄获取模块,用于获取所述待操作的命令执行控件的句柄;和命令执行模块,用于通过对所述待操作的命令执行控件进行句柄操作,执行所述设备控制命令。
进一步地,上述数据采集及远程控制装置还包括与所述设备对应的知识库和字符串数据库,所述设备的人机交互显示屏幕上包括多个操作显示页面,所述知识库中预存有:所述设备的各个操作显示页面之间的页面转换路径;所述设备各参数与该各参数所处的操作显示页面之间的对应关系;所述设备各参数在其所处操作显示页面上的坐标位置;以及以与各所述命令执行控件对应的方式记录的该命令执行控件的操作按钮所在的操作显示页面以及在该页面上的位置,各所述命令执行控件的所述句柄系根据该记录的页面及位置信息生成的;所述字符串数据库以使各所述目标参数所在区域的图像与该区域内的字符串相对应的方式存储表示所述目标参数的参数值的字符串。
依据本发明的再一方面,提供了一种计算机可读存储介质。
所述计算机可读存储介质中存储有计算机指令,所述计算机指令在执行时完成上述的数据采集及远程控制方法的各步骤。
发明的效果
通过本发明的方案,设置于生产加工设备一端的客户端在接收到设备参数读取命令后,通过识别人机交互显示屏幕的操作显示页面上参数的参数值,得到设备参数读取命令所要获得的设备参数的参数值,因此能够对设备的人机交互显示屏幕上的操作显示页面中任意位置的参数进行读取;在接收到设备控制命令后,获取执行设备控制命令时所需操作的命令执行控件的句柄,通过对命令执行控件的句柄操作,完成对设备控制命令的执行,因此能够模拟人工在人机交互显示屏幕的操作显示页面上的任意操作。
重要的是,由于执行该控制方法的客户端与具体部署的生产加工设备本身的特性无关联性要求,因此适用于任何能够实现句柄操作的操作系统下运行的设备,对设备的控制程序也即通讯协议等都无需修改,应用该方法实现中央控制平台对设备的控制时,成本低,部署方便。
附图说明
图1是本发明实施方式1的数据采集及远程控制方法的步骤流程框图;
图2是获取目标操作显示页面的步骤流程框图;
图3是识别参数的参数值的步骤流程框图;
图4是本发明实施方式3的数据采集及远程控制装置的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚。下面将对本发明的技术方案进行清楚完整的描述,显然所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明的实施例,本领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施方式1
本发明提供了一种数据采集及远程控制方法,该方法的执行主体可以为安装于自动化加工中心等生产加工设备(有时也称为“机台设备”)中的客户端,或者该方法的执行主体为设置于热插拔设备内的客户端,例如设置于USB设备内的客户端等,客户端通过对机台设备的人机交互显示屏幕的抓取以及对机台设备操作系统命令函数的调用,实现中央控制平台对机台设备的数据采集以及基于所采集数据进行的远程控制。具体参考图1所示,该实施例提供的远程控制方法包括如下的步骤101至步骤109。
步骤101:接收来自中央控制平台的机台设备参数读取命令。
中央控制平台为用于对一个或多个机台设备进行远程监测和控制的服务器,客户端与该服务器进行通讯交互。客户端通过有线或无线通讯方式,可接收中央控制平台下发的各种命令。其中,机台设备参数读取命令用于获取机台设备当前运行过程中的一个或多个参数的参数值。
步骤102:解析机台设备参数读取命令以确定待读取的目标参数。
机台设备参数读取命令中携带有待读取的目标参数的相关信息,客户端在接收到机台设备参数读取命令后,对命令进行解析,能够确定被指示读取的目标参数。
步骤103:从人机交互显示屏幕上显示的至少一个操作显示页面中获取目标参数所在的操作显示页面。
人机交互显示屏幕上显示有至少一个操作显示页面,操作显示页面上至少显示有机台设备一个参数的参数值,一般情况下,会显示机台设备多个参数的参数值,机台设备的操作用户可从操作显示页面上看到机台设备实时运行过程中各参数的参数值的变化过程。在解析机台设备参数读取命令之后,客户端可通过屏幕抓取技术等现有技术,获取机台设备的人机交互显示屏幕上显示的包含该目标参数的操作显示页面,得到包含该目标参数在内的操作显示页面的图片。
步骤104:从包含目标参数的操作显示页面上识别目标参数的参数值。
在得到包含目标参数在内的操作显示页面的图片之后,客户端利用图像识别技术,从操作显示页面上识别出目标参数的参数值。
步骤105:发送目标参数的参数值至中央控制平台。
通过上述步骤103和步骤104得到目标参数的参数值后,客户端将目标参数的参数值上传至中央控制平台。中央控制平台可通过目标参数的参数值远程了解到机台设备当前的运行状态。这一数据采集过程无需对机台设备控制程序做更改,只需在机台设备中运行客户端应用程序即可。
步骤106:接收来自中央控制平台的与目标参数相关联的机台设备控制命令。
一方面,客户端向中央控制平台上传当前运行状态下参数的参数值,另一方面,客户端能够执行中央控制平台根据其收到的参数值发出的机台设备控制命令,实现中央控制平台对机台设备的远程控制。中央控制平台在接收到目标参数的参数值后,例如根据目标参数的参数值情况,生成机台设备控制命令。换言之,机台设备控制命令与目标参数相关联,客户端接收该机台设备控制命令后,通过下面的各个步骤完成执行过程。
步骤107:解析机台设备控制命令以确定与该命令相对应的待操作的命令执行控件。
一种情况下,机台设备控制命令中携带有机台设备执行该机台设备控制命令时所需操作的一个或多个命令执行控件的标识信息,客户端解析机台设备控制命令后,能够确定待操作的命令执行控件;另一种情况下,在客户端一侧存储有机台设备控制命令与执行该机台设备控制命令时所需操作的一个或多个命令执行控件的标识信息的对应关系,客户端接收到机台设备控制命令,基于客户端本地存储的此对应关系确定待操作的命令执行控件。
其中,操作显示页面上显示有一个或多个命令执行控件,操作用户手动对这些命令执行控件进行操作,例如进行基于鼠标的点击操作、基于触屏的触摸操作等,可执行不同的机台设备控制命令。当然,也可以将不同命令控件与不同操作相结合,实现不同机台设备控制命令的执行。
步骤108:获取待操作的命令执行控件的句柄。
本发明的特点之一就是能够通过对人工操作的学习来模拟人工操作命令执行控件的动作。
例如,事先通过人工对人机交互显示屏幕上的操作显示页面中的所有操作按钮进行操作,逐一运行各个命令执行控件,通过显示屏幕对这些操作动作进行学习和记录。例如在知识库中以与各命令执行控件对应的方式记录该命令执行控件的操作按钮所在的操作显示页面及在该页面上的位置。根据该记录的页面及位置信息能够生成指向各操作按钮所对应的各命令执行控件的句柄。
在确定待操作的命令执行控件后,客户端通过该步骤能够确定待操作的命令执行控件的句柄。
步骤109:通过对待操作的命令执行控件进行句柄操作,执行机台设备控制命令。
通过该步骤,利用句柄操作的方式,模拟操作用户对操作显示页面上的命令执行控件的操作,执行机台设备控制命令。
采用该实施例提供的数据采集及远程控制方法,设置于机台设备一端的客户端在接收到机台设备参数读取命令后,通过识别人机交互显示屏幕的操作显示页面上参数的参数值,得到机台设备参数读取命令所要获得的机台设备参数的参数值,可对机台设备人机交互显示屏幕的操作显示页面中任意位置的参数进行读取;在接收到机台设备控制命令后,获取执行机台设备控制命令时所需操作的命令执行控件的句柄,通过对命令执行控件的句柄操作,完成对机台设备控制命令的执行,可模拟人工在人机交互显示屏幕的操作显示页面上的任意操作。重要的是,由于执行该控制方法的客户端与具体部署的机台设备特性无关联性要求,因此适用于任何能够实现句柄操作的操作系统下运行的机台设备设备,对机台设备的控制程序也即通讯协议等,都无需修改,应用该方法实现中央控制平台对机台设备的控制时,成本低,部署方便。
关于上述的步骤103:从人机交互显示屏幕上显示的至少一个操作显示页面中获取目标参数所在的操作显示页面,具体可以通过如下的步骤201至步骤208来实现。
步骤201:预置机台设备对应的知识库。
当客户端应用与某机台设备时,首先预置该机台设备所对应的知识库。其中,该机台设备的人机交互显示屏幕上包括多个操作显示页面,该知识库中预存有该机台设备的各个操作显示页面之间的页面转换路径、该机台设备各参数与该各参数所处的操作显示页面之间的对应关系、以及该机台设备各参数在其所处操作显示页面上的坐标位置。
步骤202:在接收中央控制平台下发的机台设备参数读取命令并解析出了基于该命令待读取的目标参数后,基于知识库中预存的对应关系,确定目标参数所处的操作显示页面、即目标页面。
步骤203:通过屏幕抓取技术获取人机交互显示屏幕上当前显示的操作显示页面、即当前页面。
在接收到机台设备参数读取命令后,即可截取人机交互显示屏幕上当前显示的操作显示页面得到当前页面,如果当前页面即为目标页面,可直接执行下述步骤206。如果当前页面不为目标页面,还需要通过下述步骤来找到目标页面。
步骤204:基于知识库中预存的页面转换路径,获得由当前页面跳转至目标页面的路径。
步骤205:根据由当前页面跳转至目标页面的路径,控制人机交互显示屏幕显示目标页面。
步骤206:通过屏幕抓取技术获取该目标页面。
在步骤206之后,还可以执行步骤207和步骤208。
步骤207:通过知识库中机台设备的各个操作显示页面之间的页面转换路径,获得由目标页面跳转至当前页面的路径。
步骤208:根据由目标页面跳转至当前页面的路径,控制人机交互显示屏幕返回到当前页面。
在完成目标页面的抓取步骤,也即步骤206之后,通过步骤207和步骤208,将目标页面跳转至前述的当前页面显示,清除了客户端在机台设备参数的参数值读取过程中对机台设备的操作痕迹。
通过这样的执行过程,能够对位于任意操作显示页面上的参数进行读取采集,使得本发明能够在广泛的使用范围内应用。而且,在完成目标页面的获取之后,再将目标页面返回至当前页面,清除参数值获取过程中对机台设备显示界面的影响,无需操作用户手动返回页面,用户体验更好;而且也为再一次定位目标页面提供便利。
关于上述的步骤104:从包含目标参数的操作显示页面上识别目标参数的参数值,具体可以通过如下的步骤301至步骤305来实现。
步骤301:预置机台设备对应的知识库。
当客户端应用与某机台设备时,首先预置该机台设备所对应的知识库。其中,该机台设备的人机交互显示屏幕上包括多个操作显示页面,该知识库中预存有该机台设备的各个操作显示页面之间的页面转换路径、该机台设备各参数与该各参数所处的操作显示页面之间的对应关系、以及该机台设备各参数在其所处操作显示页面上的坐标位置。
其中,操作显示页面被划分为多个坐标区域,每个坐标区域对应一个坐标,且每个坐标区域内显示有一个参数,因而,每个参数均对应唯一的一个坐标。
步骤302:预置所述字符串数据库。
在人工指导修正下,以使各坐标位置所对应区域的图像与该区域内的字符串相对应的方式建立字符串数据库,其中字符串表示其所在坐标位置对应的区域内的参数的参数值。为了提高字符串数据库的精准度,可以在人工指导下,反复进行基于所抓取图像识别出字符串的动作,从而对字符串的识别进行反复修正。
步骤303:基于上述知识库中预存的各参数的坐标位置,确定目标参数所对应的坐标位置、即目标坐标位置。
步骤304:通过屏幕抓取技术获取目标页面上目标坐标位置所对应的区域、即目标区域。
步骤305:根据所获取的目标区域的图像,基于预置的字符串数据库识别出该目标区域内的字符串,从而得到该字符串所表示的所述目标参数的参数值。
基于这样的步骤采集机台设备的参数值,只需利用图像捕捉及图像识别技术即可完成,采集过程及方式简单容易。而且,由于字符串数据库是在人工反复指导下建立的,精准度极高。
本实施方式提供的数据采集及远程控制方法,构建了一种基于设备屏幕图像识别(OCR)结合操作系统句柄操作的机台设备控制与参数读写的方案。该方案可对机台设备人机交互显示屏幕上的任意位置的参数进行读取,同时可模拟人工对人机交互显示屏幕上的任意操作。由于该方案与具体部署的机台设备特性无关联性要求,因此适用于任何能够实现句柄操作的操作系统下运行的生产设备,例如Windows操作系统,具体可在不同版本的Windows操作系统下运行,包括DOS、XP、Win200、Win7、Win10等。而且对系统资源的占用较少,不影响机台设备的正常生产,对机台设备系统的硬件要求较低。
此外,本实施方式提供的数据采集及远程控制方法可通过USB部署于机台设备,即:将数据采集及实现远程控制方法的客户端集成在USB硬件上,只需要接入机台设备的USB端口,便能够自动完成系统部署
通过本实施方式提供的数据采集及远程控制方法,能够对机台设备关键参数进行实时监控,保障机台设备生产的质量,减少人为失误,提供生产效率。通过本发明,不需要开通机台设备的专用标准通信协议,能够大量减少企业的改造成本,解决了制造企业的设备互联网化改造的需求。
实施方式2
本发明还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,计算机指令在执行时完成上述数据采集及远程控制方法的各步骤。
实施方式3
本发明还提供了一种数据采集及远程控制装置,该装置可以为安装于机台设备中的客户端,或者该装置为设置于热插拔设备内的客户端,例如设置于USB设备内的客户端等,客户端通过对机台设备的人机交互显示屏幕的抓取以及对机台设备操作系统命令函数的调用,实现中央控制平台对机台设备的远程控制。具体参考图4所示,该实施例提供的远程控制装置包括命令接收模块601、命令解析模块602、页面获取模块603、参数识别模块604、参数发送模块605、句柄获取模块606和命令执行模块607。
其中,命令接收模块601用于接收中央控制平台下发的机台设备参数读取命令和机台设备控制命令,其中,机台设备控制命令与目标参数相关联。命令解析模块602用于解析机台设备参数读取命令以确定待读取的目标参数,还用于解析机台设备控制命令以确定待操作的命令执行控件。页面获取模块603用于从人机交互显示屏幕上显示的至少一个操作显示页面中获取目标参数所在的操作显示页面。参数识别模块604用于从目标参数所在的操作显示页面上识别目标参数的参数值。参数发送模块605用于发送目标参数的参数值至中央控制平台。句柄获取模块606用于获取待操作的命令执行控件的句柄。命令执行模块607用于通过对待操作的命令执行控件进行句柄操作,执行机台设备控制命令。
优选地,页面获取模块603包括知识库预置子模块、目标页面确定子模块、当前页面截取子模块、路径获取子模块、目标页面显示子模块和目标页面截取子模块。
其中,知识库预置子模块用于预置机台设备对应的知识库(知识存储装置),其中,该机台设备的人机交互显示屏幕上包括多个操作显示页面,该知识库中预存有该机台设备的各个操作显示页面之间的页面转换路径、该机台设备各参数与该各参数所处的操作显示页面之间的对应关系、以及该机台设备各参数在其所处操作显示页面上的坐标位置。目标页面基于知识库中预存的对应关系,确定目标参数所处的操作显示页面、即目标页面。当前页面截取子模块用于通过屏幕抓取技术获取人机交互显示屏幕上当前显示的操作显示页面、即当前页面。路径获取子模块用于基于知识库中预存的页面转换路径,获得由当前页面跳转至目标页面的路径。目标页面显示子模块用于根据由当前页面跳转至目标页面的路径,控制人机交互显示屏幕显示目标页面。目标页面截取子模块用于通过屏幕抓取技术获取目标页面。
优选地,参数识别模块604包括字符串数据库预置子模块、目标坐标确定子模块、目标区域获取子模块和参数值识别子模块。
其中,字符串数据库预置子模块用于在人工指导修正下,以使各坐标位置所对应区域的图像与该区域内的字符串相对应的方式建立字符串数据库(字符串存储装置),其中字符串表示其所在坐标位置对应的区域内的参数的参数值。目标坐标确定子模块用于基于上述知识库中预存的各参数的坐标位置,确定目标参数所对应的坐标位置、即目标坐标位置。目标区域获取子模块用于通过屏幕抓取技术获取目标页面上目标坐标位置所对应的区域、即目标区域。参数值识别子模块用于根据所获取的目标区域的图像,基于预置的字符串数据库识别出该目标区域内的字符串,从而得到该字符串所表示的所述目标参数的参数值。
优选地,句柄获取模块606包括跟踪学习子模块和记录获取子模块,其如下获得命令执行控件的句柄。事先通过人工对人机交互显示屏幕上的操作显示页面中的所有操作按钮进行操作,逐一运行各个命令执行控件,跟踪学习子模块通过显示屏幕对这些操作动作进行跟踪学习和记录。记录获取子模块例如在知识库中以与各命令执行控件对应的方式记录该命令执行控件的操作按钮所在的操作显示页面及在该页面上的位置。根据该记录的页面及位置信息能够生成指向各操作按钮所对应的各命令执行控件的句柄。
优选地,该远程控制装置还包括当前页面返回模块,用于在从操作显示页面上识别目标参数的参数值之后,通过知识库中机台设备的各个操作显示页面之间的页面转换路径,获得由目标页面跳转至当前页面的路径,并根据由目标页面跳转至当前页面的路径,控制人机交互显示屏幕显示当前页面。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域的技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为根据本发明,某些步骤可以采用其他顺序或同时执行。其次,本领域技术人员也应该知悉,上述方法实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必需的。
对于前述的各装置实施例,为了简单描述,故将其都表述为一系列的模块组合,但是本领域的技术人员应该知悉,本发明并不受所描述的模块组合的限制,因为根据本发明,某些模块可以采用其他模块执行。其次,本领域技术人员也应该知悉,上述装置实施例均属于优选实施例,所涉及的模块并不一定是本发明所必须的。本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上对本发明所提供的一种数据采集及远程控制方法、数据采集及远程控制装置和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想,不应被理解为对本发明的限制。本领域技术人员知晓,在不超出本发明的发明主旨的范围内能够进行各种变更。

Claims (10)

1.一种数据采集及远程控制方法,其特征在于,该方法用于从生产加工设备的人机交互显示屏幕采集数据并对所述设备进行远程控制,该方法包括下述步骤:
接收来自中央控制平台的设备参数读取命令;
解析所述设备参数读取命令以确定待读取的目标参数;
从所述人机交互显示屏幕上显示的至少一个操作显示页面中获取所述目标参数所在的操作显示页面;
从所述目标参数所在的操作显示页面上识别所述目标参数的参数值;
发送所述目标参数的参数值至所述中央控制平台;
接收来自所述中央控制平台的与所述目标参数相关联的设备控制命令;
解析所述设备控制命令以确定与该设备控制命令对应的待操作的命令执行控件;
获取所述待操作的命令执行控件的句柄;
通过对所述待操作的命令执行控件进行句柄操作,执行所述设备控制命令。
2.根据权利要求1所述的数据采集及远程控制方法,其特征在于,还包括:
预置所述设备对应的知识库的步骤,其中,所述设备的人机交互显示屏幕上包括多个操作显示页面,所述知识库中预存有所述设备的各个操作显示页面之间的页面转换路径、所述设备各参数与该各参数所处的操作显示页面之间的对应关系、以及所述设备各参数在其所处操作显示页面上的坐标位置。
3.根据权利要求2所述的数据采集及远程控制方法,其特征在于,从所述人机交互显示屏幕上显示的至少一个操作显示页面中获取所述目标参数所在的操作显示页面的步骤包括:
基于所述知识库中预存的所述对应关系,确定所述目标参数所处的操作显示页面、即目标页面;
通过屏幕抓取技术获取所述人机交互显示屏幕上当前显示的操作显示页面、即当前页面;
基于所述知识库中预存的所述页面转换路径,获得由所述当前页面跳转至所述目标页面的路径;
根据由所述当前页面跳转至所述目标页面的路径,控制所述人机交互显示屏幕显示所述目标页面;以及
通过屏幕抓取技术获取所述目标页面。
4.根据权利要求3所述的数据采集及远程控制方法,其特征在于,从所述目标参数所在的操作显示页面上识别所述目标参数的参数值的步骤包括:
基于所述知识库中预存的各参数的所述坐标位置,确定所述目标参数所对应的所述坐标位置、即目标坐标位置;
通过屏幕抓取技术获取所述目标页面上所述目标坐标位置所对应的区域、即目标区域;
识别所述目标区域内的字符串,从而得到所述目标参数的参数值。
5.根据权利要求4所述的数据采集及远程控制方法,其特征在于,识别所述目标区域内的字符串,从而得到所述目标参数的参数值的步骤包括:
根据所获取的所述目标区域的图像,基于预置的字符串数据库识别出该目标区域内的字符串,从而得到该字符串所表示的所述目标参数的参数值,
其中,预置所述字符串数据库的步骤包括:在人工指导修正下,以使各所述坐标位置所对应区域的图像与该区域内的字符串相对应的方式建立字符串数据库,其中所述字符串表示其所在坐标位置对应的区域内的参数的参数值。
6.根据权利要求2所述的数据采集及远程控制方法,其特征在于,获取所述待操作的命令执行控件的句柄的步骤包括:
事先通过人工对所述人机交互显示屏幕上的所述操作显示页面中的操作按钮进行操作,逐一运行所述命令执行控件,并在所述知识库中以与各所述命令执行控件对应的方式记录该命令执行控件的操作按钮所在的操作显示页面及在该页面上的位置,根据该记录的页面及位置信息生成各所述操作按钮所对应的各所述命令执行控件的句柄。
7.根据权利要求3所述的数据采集及远程控制方法,其特征在于,在从所述目标参数所在的操作显示页面上识别所述目标参数的参数值之后,所述方法还包括下述步骤:
通过所述知识库中预存的所述设备的各个操作显示页面之间的页面转换路径,获得由所述目标页面跳转至所述当前页面的路径;
根据由所述目标页面跳转至所述当前页面的路径,控制所述人机交互显示屏幕显示所述当前页面。
8.一种数据采集及远程控制装置,其特征在于,该装置从生产加工设备的人机交互显示屏幕采集数据并对所述设备进行远程控制,该装置包括:
命令接收模块,用于接收来自中央控制平台的设备参数读取命令和与目标参数相关联的控制命令;
命令解析模块,用于解析所述设备参数读取命令以确定待读取的所述目标参数,还用于解析所述设备控制命令以确定待操作的命令执行控件;
页面获取模块,用于从所述人机交互显示屏幕上显示的至少一个操作显示页面中获取所述目标参数所在的操作显示页面;
参数识别模块,用于从所述目标参数所在的操作显示页面上识别所述目标参数的参数值;
参数发送模块,用于向所述中央控制平台发送所述目标参数的参数值;
句柄获取模块,用于获取所述待操作的命令执行控件的句柄;和
命令执行模块,用于通过对所述待操作的命令执行控件进行句柄操作,执行所述设备控制命令。
9.根据权利要求8所述的数据采集及远程控制装置,其特征在于,还包括与所述设备对应的知识库和字符串数据库,
所述设备的人机交互显示屏幕上包括多个操作显示页面,所述知识库中预存有:
所述设备的各个操作显示页面之间的页面转换路径;
所述设备各参数与该各参数所处的操作显示页面之间的对应关系;
所述设备各参数在其所处操作显示页面上的坐标位置;以及
以与各所述命令执行控件对应的方式记录的该命令执行控件的操作按钮所在的操作显示页面以及在该页面上的位置,各所述命令执行控件的所述句柄系根据该记录的页面及位置信息生成的;
所述字符串数据库以使各所述目标参数所在区域的图像与该区域内的字符串相对应的方式存储表示所述目标参数的参数值的字符串。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机指令,所述计算机指令在执行时完成权利要求1至7中任一项所述的数据采集及远程控制方法的各步骤。
CN201710681094.7A 2017-08-10 2017-08-10 数据采集及远程控制方法、装置和计算机可读存储介质 Active CN107370823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710681094.7A CN107370823B (zh) 2017-08-10 2017-08-10 数据采集及远程控制方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710681094.7A CN107370823B (zh) 2017-08-10 2017-08-10 数据采集及远程控制方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107370823A true CN107370823A (zh) 2017-11-21
CN107370823B CN107370823B (zh) 2023-05-26

Family

ID=60310466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710681094.7A Active CN107370823B (zh) 2017-08-10 2017-08-10 数据采集及远程控制方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN107370823B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002021A (zh) * 2018-08-02 2018-12-14 东南大学 基于ocr图像处理技术的半导体生产远程监控系统
CN110933169A (zh) * 2019-11-25 2020-03-27 北京北方华创微电子装备有限公司 半导体设备的远程群组控制系统
CN111737915A (zh) * 2020-06-18 2020-10-02 南京泰治自动化技术有限公司 一种led荧光粉配比的计算方法与装置
CN111857470A (zh) * 2020-07-15 2020-10-30 杭州真鹏科技有限公司 一种生产设备的无人值守控制方法、装置和控制器
CN114779996A (zh) * 2022-04-07 2022-07-22 厦门大学 一种设备运行参数获取装置和设备控制机

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176718A (zh) * 2011-12-20 2013-06-26 深圳市蓝韵网络有限公司 远程切换采集卡模式的实现方法
US20140056607A1 (en) * 2012-08-23 2014-02-27 Konica Minolta, Inc. Image forming apparatus, image forming system, application installation method, and non-transitory computer-readable recording medium encoded with application installation program
CN103941858A (zh) * 2014-03-11 2014-07-23 重庆风信科技有限公司 一种电子设备显示屏操作控制系统及控制方法
CN105718243A (zh) * 2014-12-01 2016-06-29 金蝶软件(中国)有限公司 Erp系统中数据批量操作的方法和系统
CN106094713A (zh) * 2016-08-09 2016-11-09 宜兴市中诚物联网科技有限公司 一种农业多功能物联网监控系统及监控方法
CN106250104A (zh) * 2015-06-09 2016-12-21 阿里巴巴集团控股有限公司 一种针对服务器的远程操作系统、方法及装置
CN106647401A (zh) * 2016-12-27 2017-05-10 杰克缝纫机股份有限公司 一种物联网缝纫机的控制方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176718A (zh) * 2011-12-20 2013-06-26 深圳市蓝韵网络有限公司 远程切换采集卡模式的实现方法
US20140056607A1 (en) * 2012-08-23 2014-02-27 Konica Minolta, Inc. Image forming apparatus, image forming system, application installation method, and non-transitory computer-readable recording medium encoded with application installation program
CN103941858A (zh) * 2014-03-11 2014-07-23 重庆风信科技有限公司 一种电子设备显示屏操作控制系统及控制方法
CN105718243A (zh) * 2014-12-01 2016-06-29 金蝶软件(中国)有限公司 Erp系统中数据批量操作的方法和系统
CN106250104A (zh) * 2015-06-09 2016-12-21 阿里巴巴集团控股有限公司 一种针对服务器的远程操作系统、方法及装置
CN106094713A (zh) * 2016-08-09 2016-11-09 宜兴市中诚物联网科技有限公司 一种农业多功能物联网监控系统及监控方法
CN106647401A (zh) * 2016-12-27 2017-05-10 杰克缝纫机股份有限公司 一种物联网缝纫机的控制方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002021A (zh) * 2018-08-02 2018-12-14 东南大学 基于ocr图像处理技术的半导体生产远程监控系统
CN110933169A (zh) * 2019-11-25 2020-03-27 北京北方华创微电子装备有限公司 半导体设备的远程群组控制系统
CN111737915A (zh) * 2020-06-18 2020-10-02 南京泰治自动化技术有限公司 一种led荧光粉配比的计算方法与装置
CN111737915B (zh) * 2020-06-18 2023-10-03 江苏泰治科技股份有限公司 一种led荧光粉配比的计算方法与装置
CN111857470A (zh) * 2020-07-15 2020-10-30 杭州真鹏科技有限公司 一种生产设备的无人值守控制方法、装置和控制器
CN111857470B (zh) * 2020-07-15 2022-02-22 杭州真鹏科技有限公司 一种生产设备的无人值守控制方法、装置和控制器
CN114779996A (zh) * 2022-04-07 2022-07-22 厦门大学 一种设备运行参数获取装置和设备控制机
CN114779996B (zh) * 2022-04-07 2023-11-21 厦门大学 一种设备运行参数获取装置和设备控制机

Also Published As

Publication number Publication date
CN107370823B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN107370823A (zh) 数据采集及远程控制方法、装置和计算机可读存储介质
CN106302008A (zh) 数据更新方法和装置
WO2018170663A1 (zh) 图像标注方法、装置及电子设备
CN108845930B (zh) 界面操作测试方法和装置、存储介质及电子装置
CN106776294B (zh) 安卓手机自动化测试方法和系统
CN107957940B (zh) 一种测试日志处理方法、系统及终端
CN104144184A (zh) 一种控制远端设备的方法及电子设备
CN110149551B (zh) 媒体文件播放方法和装置、存储介质及电子装置
CN111782635B (zh) 数据处理方法和装置、存储介质和电子装置
CN112669110A (zh) 服务器标签管理方法及相关设备
CN110377590A (zh) 基于物联网的数据采集系统、方法及计算机可读存储介质
CN106354843A (zh) 网络爬虫系统以及方法
CN110833693A (zh) 游戏运行方法和装置、存储介质及电子装置
CN114501501B (zh) 移动通信网络靶场的配置管理方法、装置、设备及介质
CN116303982B (zh) 基于rpa和自学习机制的智能应答与业务处理方法及系统
CN111782317A (zh) 页面的测试方法和装置、存储介质和电子装置
CN103933718A (zh) 一种足球战术设计与排演方法及系统
CN207099116U (zh) 数据采集及远程控制装置
CN105786693A (zh) 一种自测试执行系统及方法以及移动终端
US11223961B2 (en) Configuration method of wireless network system, configuration terminal and configuration system
CN110399723A (zh) 漏洞检测方法和装置、存储介质及电子装置
CN104506597A (zh) 用电客户信息的获取方法、装置及系统
CN109861874B (zh) 设备自动化测试系统
CN115756472A (zh) 云边协同的工业设备数字孪生运行监控方法和系统
CN110032503A (zh) 基于ui自动化和ocr的数据处理系统、方法、设备和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 210012 room 601-610, building 7, No. 57, Andemen street, Yuhuatai District, Nanjing, Jiangsu Province

Applicant after: Jiangsu Taizhi Technology Co.,Ltd.

Address before: 1514, Block B, Wanda Plaza, No. 59, Zhushan Road, Dongshan Street, Jiangning District, Nanjing City, Jiangsu Province, 211100

Applicant before: NANJING TAIZHI AUTOMATION TECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant