CN115309611A - 一种基于图像的通讯方法和相关设备 - Google Patents

一种基于图像的通讯方法和相关设备 Download PDF

Info

Publication number
CN115309611A
CN115309611A CN202211048953.6A CN202211048953A CN115309611A CN 115309611 A CN115309611 A CN 115309611A CN 202211048953 A CN202211048953 A CN 202211048953A CN 115309611 A CN115309611 A CN 115309611A
Authority
CN
China
Prior art keywords
monitoring
image
area
monitored
screenshot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211048953.6A
Other languages
English (en)
Inventor
周杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xfanic Technology Co Ltd
Original Assignee
Shenzhen Xfanic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xfanic Technology Co Ltd filed Critical Shenzhen Xfanic Technology Co Ltd
Priority to CN202211048953.6A priority Critical patent/CN115309611A/zh
Publication of CN115309611A publication Critical patent/CN115309611A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/16Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种基于图像的通讯方法和相关设备,方法包括:获取监听信息,其中,所述信监听信息包括监听对象和监听时间;对运行线程进行监听;当监听到所述监听对象启动时,根据所述监听时间,对所述显示屏幕进行截图,得到监听图像;对所述监听图像进行文字识别,得到初始文本;当所述初始文本与预设的期望序列匹配成功时,确定所述初始文本为目标文本并发送至预先连接的控制中心。本发明的适应性和兼容性强,减少开发和人工成本。

Description

一种基于图像的通讯方法和相关设备
技术领域
本发明涉及数据传输技术领域,特别涉及一种基于图像的通讯方法和相关设备。
背景技术
工厂生产主要是流水线作业,在每一个节点处理一项工作,当上一个节点处理完毕后再传递给下一个节点,原材料经过节点的一道道处理,得到成品。而在每一个节点,执行完某一操作后需要确定执行完成才可进入下一节点,或者下一节点执行的部分内容需要依赖于上一节点的信息。以常见的镭雕机为例,系统首先会生成需要依次镭雕的镭雕码,当需要镭雕时,系统向镭雕机发送镭雕码,镭雕码镭雕完成后,自动从系统获取下一个镭雕码,并刷新界面,以通知用户正在镭雕的镭雕码。在此过程中,镭雕机根据镭雕码进行镭雕,自动刷新结果,但是当前镭雕到哪一个镭雕码,用户需要在记事本上逐一对比,才可确定已经完成镭雕的镭雕码,以供下一节点使用。将镭雕成功的镭雕码发送至下一节点需要用户的手动操作,效率较低且出错率高。
为方便下游节点获取上游节点的信息,可采用接口获取的方式,即镭雕机开放接口,每当镭雕成功,就将镭雕成功的镭雕码主动反馈,但是这需要预先搭建通讯协议,针对不同的应用软件,需要专门定制,因此,前期需要大量的人力和时间,在应用软件版本更新后,需要适应性调整,成本较高。
发明内容
本发明要解决的技术问题在于下游节点信息获取不便,针对现有技术的不足,提供一种基于图像的通讯方法和相关设备。
为了解决上述技术问题,本发明所采用的技术方案如下:
一种基于图像的通讯方法,所述方法包括:
获取监听信息,其中,所述信监听信息包括监听对象和监听时间;
对运行线程进行监听;
当监听到所述监听对象启动时,根据所述监听时间,对所述显示屏幕进行截图,得到监听图像;
对所述监听图像进行文字识别,得到初始文本;
当所述初始文本与预设的期望序列匹配成功时,确定所述初始文本为目标文本并发送至预先连接的控制中心。
所述基于图像的通讯方法,其中,所述监听信息包括监听区域;所述当监听到所述监听对象启动时,根据所述监听时间,对所述显示屏幕进行截图,得到监听图像包括:
当监听到所述监听对象启动时,根据所述监听时间,对显示屏幕中与所述监听区域对应的区域进行截图,得到监听图像。
所述基于图像的通讯方法,其中,所述当监听到所述监听对象启动时,根据所述监听时间,对显示屏幕中与所述监听区域对应的区域进行截图,得到监听图像包括:
当监听到所述监听对象启动时,根据所述监听时间,对所述显示屏幕中与所述监听区域对应的区域进行连续截图,得到截取图像;
针对第N张截取图像,将第N张截取图像与第N-1张截取图像进行比较,确定第N张截取图像与第N-1张图像是否存在差异,其中,N为大于1的正整数,当N等于2时,第一截取图像为所述应用程序的启动界面;
若存在,则确定第N张截取图像为监听图像。
所述基于图像的通讯方法,其中,所述当监听到所述监听对象启动时,根据所述监听时间,对所述显示屏幕进行截图,得到监听图像包括:
当监听到所述应用程序启动时,显示预设的活动选框;
当检测到针对所述活动选框的监听坐标时,根据所述监听坐标,确定所述监听区域;
根据所述监听时间,对显示屏幕中与所述监听区域对应的区域进行截图,得到监听图像。
所述基于图像的通讯方法,其中,所述当检测到针对所述活动选框的监听坐标时,根据所述监听坐标,确定所述监听区域包括:
当检测到针对所述活动选框的移动指令时,根据所述移动指令,调整所述活动选框对应的活动坐标;
当检测到针对所述活动选框的确定指令时,将所述确定指令对应的活动坐标作为所述活动选框对应的监听坐标;
根据所述监听坐标,确定所述监听区域。
所述基于图像的通讯方法,其中,所述当所述初始文本与预设的期望序列匹配成功时,确定所述初始文本为目标文本包括:
根据预设的序列文件中所述处理序列的排列顺序,确定所述处理序列中的期望序列;
将所述初始文本与所述期望序列进行匹配;
当匹配成功时,将所述初始文本作为目标文本,并将所述期望序列删除;
当匹配失败时,显示预设的报警信息。
一种基于图像的通讯方法,包括:
获取模块,用于获取监听信息,其中,所述信监听信息包括监听对象、监听时间和监听区域;
监听模块,用于对运行线程进行监听;
截图模块,用于当监听到所述监听对象启动时,根据所述监听时间,对显示屏幕中与所述监听区域对应的区域进行截图,得到监听图像;
识别模块,用于对所述监听图像进行文字识别,得到初始文本;
确定模块,用于当所述初始文本与预设的期望序列匹配成功时,确定所述初始文本为目标文本;
发送模块,用于将所述目标文本发送至预先连接的控制中心。
一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上任一所述的基于图像的通讯方法中的步骤。
一种终端设备,其包括:处理器、存储器及通讯总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通讯总线实现处理器和存储器之间的连接通讯;
所述处理器执行所述计算机可读程序时实现如上任一所述的基于图像的通讯方法中的步骤。
一种基于图像的通讯系统,其中,所述通讯系统包括控制中心、操作设备和如上所述的终端设备,所述控制中心与所述终端设备通讯连接。
所述基于图像的通讯系统,其中,当检测到启动指令时,所述控制中心向所述终端设备发送序列文件;
当检测到所述序列文件时,根据所述序列文件中的处理序列,所述终端设备控制所述操作设备依次执行预设的操作。
有益效果:本发明提供一种基于图像的通讯方法和相关设备,首先获取监听对象、监听时间和监听区域,监听对象即所需要监听的应用程序,当该应用程序启动时,根据监听时间,按照一定频率对监听区域进行截图,得到监听图像。监听区域显示的是正在进行处理的序列,而应用程序是根据预设的期望序列执行操作。因此,识别监听图像的文本与期望序列进行比较,两者相同,则说明应用程序按照期望运行,可将文本发送至控制中心,以便下游节点进行获取。在此过程中,不需要为应用程序设置接口或设计其于控制中心的通讯协议,只要执行通讯方法的程序与控制中心通讯连接即可,不需要再迭代过程中频繁更新协议,也不需要人工传输,提高效率。
附图说明
图1为本发明提供的基于图像的通讯方法的流程图。
图2为本发明提供的基于图像的通讯方法的整体流程图。
图3为本发明提供的基于图像的通讯装置的结构示意图。
图4为本发明提供的终端设备的结构原理图。
图5为本发明提供的基于图像的通讯系统的结构示意图。
具体实施方式
本发明提供一种基于图像的通讯方法,为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本实施提供了一种基于图像的通讯方法,为方便说明,以安装于镭雕机连接的终端设备的通讯程序为执行主体进行描述,但是在其它需要根据序列号进行印刷、测试、雕刻等设备也可实现。终端设备还安装有用于操控镭雕机的应用程序。预先设定一个控制中心,该控制中心能够与不同节点的终端设备通讯连接,但是应用程序与终端设备之间无法有效通讯。因此当控制中心接收到启动指令时,控制中心向终端设备发送序列文件。序列文件中包含若干个处理序列。本实施例中,处理序列即为镭雕码,若操作设备为其他类型,处理序列为其对应的不同类型序列号。
启动应用程序后,应用程序逐一获取处理序列,并根据处理序列,操作设备逐一对器件进行预设的操作,例如镭雕机将镭雕码镭雕至器件上。在镭雕的期间后,应用程序显示该镭雕码,以提醒用户当前正在镭雕的处理序列。镭雕完成后,应用程序获取下一个处理序列,并重复上述步骤,直至结束运行或镭雕码用尽。其中,启动指令可以与扫描枪扫描器件的唯一识别码绑定,当扫码成功后,控制中心生成启动指令。
如图1和图2所示,基于图像的通讯方法包括以下步骤:
S10、获取监听信息。
具体地,首先获取监听信息,监听信息包括监听对象和监听时间。监听对象包括后续操作设备的应用程序,例如本实施例操作设备为镭雕机,应用程序安装于终端设备上,基于应用程序,设备终端控制镭雕机工作。监听时间为后续对屏幕进行监听的时间间隔。
S20、对运行线程进行监听。
具体地,由于通讯程序和应用程序之间不存在通讯连接,通讯程序无法获取应用程序具体的操作情况,因此通讯程序无法监听应用程序上的操作,但是由于应用程序和通讯程序都位于终端设备,因此应用程序可对终端设备的运行线程,确定应用程序是否启动。
S30、当监听到所述监听对象启动时,根据所述监听时间,对所述显示屏幕进行截图,得到监听图像。
具体地,当监听到监听对象,也就是应用程序,启动时,即可根据监听时间,对显示屏幕进行截图,得到一张张图像。
在第一种实现方式中,若操作设备对每一个期间进行操作加工的时间稳定,设置的监听时间的时间间隔可稳定跨越两次切换显示的镭雕码的时刻,因此每一次截图,都可截取到当前正在镭雕的镭雕码。
应用软件的操作界面一般包含多个模块或显示大量的信息,但是并非所有的信息都是需要传递到控制中心的信息,因此,在本实施例中,监听信息中还可包含监听区域,当监听到监听对象启动时,也就是需要开启截图时,根据监听时间,对显示屏幕中与监听区域对应的区域进行截图,将截图得到的图像作为监听图像。监听区域即包含用户需要传输至控制中心的信息所显示的区域。监听区域可预先由用户写入,例如直接输入监听区域的顶点坐标。为方便用户灵活选区监听区域,本实施例提供一种确定监听区域并截图的方式,包括:
A10、当监听到所述应用程序启动时,显示预设的活动选框。
具体地,预先设置一个活动选框,该活动选框的顶点、中点、每一个线段的中点等都为活动点,用户可点击活动点并移动,从而调整活动选框。当监听到应用程序启动时,显示活动选框。
A20、当检测到针对所述活动选框的监听坐标时,根据所述监听坐标,确定所述监听区域。
具体地,用户通过外接设备,调整活动选框中各个活动点的位置坐标,此过程通讯程序能够检测到针对活动选框的移动指令,根据移动指令,调整活动选框的活动点的坐标,即活动坐标。因此,用户能够将位置坐标范围内的区域仅限于其需要的内容所显示的位置,当用户确定调整合适后,可通过点击活动选框“确定”等操作生成针对活动选框的确定指令,将确定的活动坐标作为监听坐标发送通讯程序,通讯程序根据监听坐标,即可确定监听区域。
A30、根据所述监听时间,对显示屏幕中与所述监听区域对应的区域进行截图,得到监听图像。
具体地,最后根据监听时间,对显示屏幕中与监听区域对应的区域进行截图,得到仅包含用户所需要信息的图像,并将其作为监听图像,减少后续文字识别的任务量,提高处理效率。
值得注意的是,由于当应用程序的界面变化,内容显示的位置会出现偏移,因此当检测到应用程序的显示边框发生偏移时,根据应用程序的显示边框对应的偏移值,确定监听区域对应的调整区域。例如偏移值为向左移动三个像素,将监听区域的位置坐标向左移动三个单位,得到调整选框。同时,显示调整选框对应的活动点,以便用户对活动点对进行进一步的调整,得到调整坐标。当检测到针对调整选框对应的调整坐标,根据调整坐标,对监听区域进行更新,以便适应应用程序显示变化。
但是并非对每一个元件的镭雕时间都是一样的,为了保证能够截取更新的镭雕码,在第三种实现方式,连续截图,以获得监听图像,具体包括:
B10、当监听到所述监听对象启动时,根据所述监听时间,对所述显示屏幕中与所述监听区域对应的区域进行连续截图,得到截取图像。
具体地,当监听到监听对象启动时,先根据监听时间,对显示屏幕中与监听区域对应的区域连续截图,例如以启动为起点先截图第一张截取图像,每个5秒截图一张,10秒后得到启示时一张、五秒一张和10秒一张,共三张截取图像。
B20、针对第N张截取图像,将第N张截取图像与第N-1张截取图像进行比较,确定第N张截取图像与第N-1张图像是否存在差异,其中,N为大于1的正整数,当N等于2时,第一截取图像为所述应用程序的启动界面。
具体地,将前后两张截取图像进行比较,若两者之间存在差异,则说明显示屏幕上显示的镭雕码发生了变化;若两者之间无差异,则说明显示屏幕显示的镭雕码并未发生变化。
以N为2为例,将第二张截取图像和第一张截取图像进行比较,以确定两者之间是否存在差异。
在本实施例中,由于前后两图之间主要是镭雕码存在不同,镭雕码本身是文字,因此不需要采用文字识别,通过边缘特征提取,然后计算边缘特征之间的相似度值,当相似度值大于预设的相似度阈值,则确定这两张截取图像存在差异;当相似度值小于或等于所述相似度阈值,则确定这两张截取图像不存在差异。或者将两个截取图像做cross-correlation(互相关),得到内积值,将内积值与预先设定的内积阈值比较,当内积值大于所述内积阈值,则确定两张截取图像存在差异;当内积值小于或等于内积阈值,则确定两张截取图像不存在差异。
B30、若存在,则确定第N张截取图像为监听图像。
具体地,若存在,则将相互比较的两张截取图像中后得到的截取图像作为监听图像。
若不存在,可将之前得到的截取图像删除,减少空间占用。
S40、对所述监听图像进行文字识别,得到初始文本。
具体地,得到监听图像后,对监听图像进行文字识别,以获取用户需要的内容,即初始文本。
初始文本为当前正在处理的镭雕码的内容,如果初始文本所识别的内容是否与控制中心所期望处理的镭雕码的值相同,则说明镭雕机运行正常;若两者不同,则说明存在异常。
控制中心发送的序列文件中处理序列顺序排列,镭雕机依次获取处理序列并进行镭雕。根据序列文件中处理序列的排列顺序,依次确定处理序列中的期望序列。
例如得到第一次得到的初始文本对应的期望序列为序列文件中的第一个处理序列,第二次得到的初始文本对应的期望序列为序列文件中的第一处理序列。
将初始文本和期望序列进行匹配,匹配的方式可采用相似度计算的方式。例如基于余弦相似度算法,计算初始文本和期望序列之间的余弦相似度值,然后将余弦相似度值与预设的文本相似度阈值进行比较,当余弦相似度值大于或等于文本相似度阈值时,则确定初始文本与期望序列匹配成功,将初始文本作为目标文本,并将期望序列在序列文本中删除,以方便后续的初始文本的匹配。当余弦相似度小于文本相似度阈值时,则确定初始文本与期望序列匹配失败,显示预先设置的报警信息,以提示用户检查镭雕机是否正常。
S50、当所述初始文本与预设的期望序列匹配成功时,确定所述初始文本为目标文本并发送至预先连接的控制中心。
具体地,当初始文本与期望序列匹配成功后,说明当前镭雕机正在镭雕初始文本对应的镭雕码,通讯程序将镭雕码发送至控制中心,后续下游节点可直接从控制中心获取已经镭雕完毕的处理序列。该通讯程序并不会局限于某一个应用程序,具有较高的兼容性。同时,获取信息准确,实时性高。
基于上述基于图像的通讯方法,如图3所示,本发明还提供一种基于图像的通讯装置100,包括:
获取模块110,用于获取监听信息,其中,所述信监听信息包括监听对象、监听时间和监听区域;
监听模块120,用于对运行线程进行监听;
截图模块130,用于当监听到所述监听对象启动时,根据所述监听时间,对显示屏幕中与所述监听区域对应的区域进行截图,得到监听图像;
识别模块140,用于对所述监听图像进行文字识别,得到初始文本;
确定模块150,用于当所述初始文本与预设的期望序列匹配成功时,确定所述初始文本为目标文本;
发送模块160,用于将所述目标文本发送至预先连接的控制中心。
其中,所述监听信息包括监听区域;所述监听模块120包括监听单元,所述监听单元用于:
当监听到所述监听对象启动时,根据所述监听时间,对显示屏幕中与所述监听区域对应的区域进行截图,得到监听图像。
其中,所述监听单元包括:
第一截图子单元,用于当监听到所述监听对象启动时,根据所述监听时间,对所述显示屏幕中与所述监听区域对应的区域进行连续截图,得到截取图像;
比较子单元,用于针对第N张截取图像,将第N张截取图像与第N-1张截取图像进行比较,确定第N张截取图像与第N-1张图像是否存在差异,其中,N为大于1的正整数,当N等于2时,第一截取图像为所述应用程序的启动界面;
第一确定子单元,用于若存在,则确定第N张截取图像为监听图像。
其中,所述监听单元还包括:
显示单元,用于当监听到所述应用程序启动时,显示预设的活动选框;
第二确定子单元,用于当检测到针对所述活动选框的监听坐标时,根据所述监听坐标,确定所述监听区域;
第二截图子单元,用于根据所述监听时间,对显示屏幕中与所述监听区域对应的区域进行截图,得到监听图像。
其中,所述第二确定子单元具体用于:
当检测到针对所述活动选框的移动指令时,根据所述移动指令,调整所述活动选框对应的活动坐标;
当检测到针对所述活动选框的确定指令时,将所述确定指令对应的活动坐标作为所述活动选框对应的监听坐标;
根据所述监听坐标,确定所述监听区域。
其中,所述比对模块用于:
根据预设的序列文件中所述处理序列的排列顺序,确定所述处理序列中的期望序列;
将所述初始文本与所述期望序列进行匹配;
当匹配成功时,将所述初始文本作为目标文本,并将所述期望序列删除;
当匹配失败时,显示预设的报警信息。
基于上述基于图像的通讯方法,本发明还提供了一种终端设备,如图4所示,其包括至少一个处理器(processor)20;显示屏21;以及存储器(memory)22,还可以包括通讯接口(Communications Interface)23和总线24。其中,处理器20、显示屏21、存储器22和通讯接口23可以通过总线24完成相互间的通讯。显示屏21设置为显示初始设置模式中预设的用户引导界面。通讯接口23可以传输信息。处理器20可以调用存储器22中的逻辑命令,以执行上述实施例中的方法。
此外,上述的存储器22中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取计算机可读存储介质中。
存储器22作为一种计算机可读存储介质,可设置为存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序命令或模块。处理器20通过运行存储在存储器22中的软件程序、命令或模块,从而执行功能应用以及数据处理,即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器。例如,U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态计算机可读存储介质。
此外,上述计算机可读存储介质以及终端设备中的多条命令处理器加载并执行的具体过程在上述方法中已经详细说明,在这里就不再一一陈述。
如图4所示,本实施例还提供一种基于图像的通讯系统,该系统包括上述的控制中心、操作设备和终端设备。当检测到启动指令时,控制中心向终端设备发送序列文件。当检测到序列文件时,根据序列文件中的处理序列,终端设备依次执行预设的操作,例如前文例子中的镭雕。同时,终端设备还会控制操作设备,例如镭雕机,执行预设的操作。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于图像的通讯方法,其特征在于,所述方法包括:
获取监听信息,其中,所述信监听信息包括监听对象和监听时间;
对运行线程进行监听;
当监听到所述监听对象启动时,根据所述监听时间,对所述显示屏幕进行截图,得到监听图像;
对所述监听图像进行文字识别,得到初始文本;
当所述初始文本与预设的期望序列匹配成功时,确定所述初始文本为目标文本并发送至预先连接的控制中心。
2.根据权利要求1所述基于图像的通讯方法,其特征在于,所述监听信息包括监听区域;所述当监听到所述监听对象启动时,根据所述监听时间,对所述显示屏幕进行截图,得到监听图像包括:
当监听到所述监听对象启动时,根据所述监听时间,对显示屏幕中与所述监听区域对应的区域进行截图,得到监听图像。
3.根据权利要求2所述基于图像的通讯方法,其特征在于,所述当监听到所述监听对象启动时,根据所述监听时间,对显示屏幕中与所述监听区域对应的区域进行截图,得到监听图像包括:
当监听到所述监听对象启动时,根据所述监听时间,对所述显示屏幕中与所述监听区域对应的区域进行连续截图,得到截取图像;
针对第N张截取图像,将第N张截取图像与第N-1张截取图像进行比较,确定第N张截取图像与第N-1张图像是否存在差异,其中,N为大于1的正整数,当N等于2时,第一截取图像为所述应用程序的启动界面;
若存在,则确定第N张截取图像为监听图像。
4.根据权利要求2所述基于图像的通讯方法,其特征在于,所述当监听到所述监听对象启动时,根据所述监听时间,对所述显示屏幕进行截图,得到监听图像包括:
当监听到所述应用程序启动时,显示预设的活动选框;
当检测到针对所述活动选框的监听坐标时,根据所述监听坐标,确定所述监听区域;
根据所述监听时间,对显示屏幕中与所述监听区域对应的区域进行截图,得到监听图像。
5.根据权利要求1所述基于图像的通讯方法,其特征在于,所述当检测到针对所述活动选框的监听坐标时,根据所述监听坐标,确定所述监听区域包括:
当检测到针对所述活动选框的移动指令时,根据所述移动指令,调整所述活动选框对应的活动坐标;
当检测到针对所述活动选框的确定指令时,将所述确定指令对应的活动坐标作为所述活动选框对应的监听坐标;
根据所述监听坐标,确定所述监听区域。
6.一种基于图像的通讯装置,其特征在于,所述通讯装置包括:
获取模块,用于获取监听信息,其中,所述信监听信息包括监听对象、监听时间和监听区域;
监听模块,用于对运行线程进行监听;
截图模块,用于当监听到所述监听对象启动时,根据所述监听时间,对显示屏幕中与所述监听区域对应的区域进行截图,得到监听图像;
识别模块,用于对所述监听图像进行文字识别,得到初始文本;
确定模块,用于当所述初始文本与预设的期望序列匹配成功时,确定所述初始文本为目标文本;
发送模块,用于将所述目标文本发送至预先连接的控制中心。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1~5任意一项所述的基于图像的通讯方法中的步骤。
8.一种终端设备,其特征在于,包括:处理器、存储器及通讯总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通讯总线实现处理器和存储器之间的连接通讯;
所述处理器执行所述计算机可读程序时实现如权利要求1~5任意一项所述的基于图像的通讯方法中的步骤。
9.一种基于图像的通讯系统,其特征在于,所述通讯系统包括控制中心、操作设备和如权利要求8所述的终端设备,所述控制中心与所述终端设备通讯连接。
10.根据权利要求9所述基于图像的通讯系统,其特征在于,当检测到启动指令时,所述控制中心向所述终端设备发送序列文件;
当检测到所述序列文件时,根据所述序列文件中的处理序列,所述终端设备控制所述操作设备依次执行预设的操作。
CN202211048953.6A 2022-08-30 2022-08-30 一种基于图像的通讯方法和相关设备 Pending CN115309611A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211048953.6A CN115309611A (zh) 2022-08-30 2022-08-30 一种基于图像的通讯方法和相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211048953.6A CN115309611A (zh) 2022-08-30 2022-08-30 一种基于图像的通讯方法和相关设备

Publications (1)

Publication Number Publication Date
CN115309611A true CN115309611A (zh) 2022-11-08

Family

ID=83863831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211048953.6A Pending CN115309611A (zh) 2022-08-30 2022-08-30 一种基于图像的通讯方法和相关设备

Country Status (1)

Country Link
CN (1) CN115309611A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858255A (zh) * 2020-07-27 2020-10-30 中国平安财产保险股份有限公司 基于屏幕截图的用户行为采集方法及相关设备
US20220043544A1 (en) * 2019-04-25 2022-02-10 Vivo Mobile Communication Co., Ltd. Display control method and terminal device
CN114241190A (zh) * 2021-12-17 2022-03-25 上海洪朴信息科技有限公司 一种芯片生产智能化管控系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220043544A1 (en) * 2019-04-25 2022-02-10 Vivo Mobile Communication Co., Ltd. Display control method and terminal device
CN111858255A (zh) * 2020-07-27 2020-10-30 中国平安财产保险股份有限公司 基于屏幕截图的用户行为采集方法及相关设备
CN114241190A (zh) * 2021-12-17 2022-03-25 上海洪朴信息科技有限公司 一种芯片生产智能化管控系统及方法

Similar Documents

Publication Publication Date Title
EP1617351A2 (en) Character recognition method, method of processing correction history of character data, and character recognition system
CN112114903B (zh) 文件加载方法及装置
CN113486785A (zh) 基于深度学习的视频换脸方法、装置、设备及存储介质
CN110867243B (zh) 一种图像标注方法、装置、计算机系统及可读存储介质
CN110851303B (zh) 一种数据备份方法、系统及设备
CN115309611A (zh) 一种基于图像的通讯方法和相关设备
CN112395050A (zh) 一种虚拟机备份方法、装置、电子设备及可读存储介质
CN110244982B (zh) 数据恢复方法及装置
CN106204031A (zh) 卡应用处理方法及装置
CN114446226B (zh) Led显示屏动态显示远程监控系统
US20210181717A1 (en) Production system, recovery system, production method, and information storage medium
US11340590B2 (en) Data collection system, data collection method, and information storage medium
US20230305931A1 (en) Control device and non-transitory machine readable storage medium
CN114484761A (zh) 用于控制线控器的方法、装置及线控器
CN110007653B (zh) 一种焊接控制系统的配置方法、装置、设备及存储介质
CN109144450B (zh) 一种远程操作控制方法、移动终端及存储介质
CN114116253A (zh) 一种消息队列的消息处理方法及系统
CN114217831A (zh) 一种嵌入式系统的多功能软件升级方法及系统
CN112200412A (zh) 生产工单管理控制方法、装置、计算机设备和存储介质
CN111831307A (zh) 更新系统
CN113127260A (zh) 一种显示异常处理方法、装置、设备及介质
JP6603178B2 (ja) 表示制御システム、表示制御方法、および表示制御プログラム
CN117240711B (zh) 一种集群管理工具配置文件自动更新方法、装置及设备
CN112394705B (zh) 一种控制程序系统参数的异常处理方法及装置
CN115016846B (zh) 一种协同扫描方法、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination