CN116781771A - 一种使用ocr技术的工位机自动截屏图片解析方法 - Google Patents

一种使用ocr技术的工位机自动截屏图片解析方法 Download PDF

Info

Publication number
CN116781771A
CN116781771A CN202311050160.2A CN202311050160A CN116781771A CN 116781771 A CN116781771 A CN 116781771A CN 202311050160 A CN202311050160 A CN 202311050160A CN 116781771 A CN116781771 A CN 116781771A
Authority
CN
China
Prior art keywords
data
picture
screen
ocr
capturing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311050160.2A
Other languages
English (en)
Other versions
CN116781771B (zh
Inventor
王东明
芮实忠
刘金环
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Letstech Co ltd
Original Assignee
Nanjing Letstech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Letstech Co ltd filed Critical Nanjing Letstech Co ltd
Priority to CN202311050160.2A priority Critical patent/CN116781771B/zh
Publication of CN116781771A publication Critical patent/CN116781771A/zh
Application granted granted Critical
Publication of CN116781771B publication Critical patent/CN116781771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/51Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/1396Protocols specially adapted for monitoring users' activity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种使用OCR技术的工位机自动截屏图片解析方法,本方法包括:根据客户端请求自动截取工控机桌面图片,按照提供的数据坐标,保存目标数据小图,再使用OCR技术解析图片中的数据,解决因无法物联网中很多设备没有通讯协议而无法采集数据的难题。

Description

一种使用OCR技术的工位机自动截屏图片解析方法
技术领域
本发明属于OCR识别文字技术领域,具体涉及一种使用OCR技术的工位机自动截屏图片解析方法。
背景技术
目前,物联网采集终端设备数据的前提条件是确定通讯协议,另外需要确定各数据在终端设备中的地址,工业领域终端设备大都是PLC或Modbus或其他标准协议的非标设备。通常终端设备厂商或施工方可以提供终端设备的具体通讯协议,但也存在因各种原因许多设备或系统没有标准的协议或者不支持通讯,只能在工位机屏幕上面看到数据,如果遇到这种情况就会导致无法采集系统中的数据。
发明内容
技术目的:针对现有技术中存在的问题,本发明公开了一种使用OCR技术的工位机自动截屏图片解析方法,解决因无法与设备或系统通讯导致无法采集数据的问题。
技术方案:本发明采用如下技术方案:
一种使用OCR技术的工位机自动截屏图片解析方法,包括如下步骤:
S1、捕获桌面图片:
根据客户端发送的请求,自动截取工控机桌面全屏图片,保存在本地服务器,每一次请求都会自动截屏;
S2、根据坐标生成小图:
根据客户端对具体数据区域的坐标,针对截屏的全屏图片,再截取目标数据内的小小图片,保证数据的准确性;
S3、解析图片数据:
根据最终截取的小图,使用OCR技术进行图片解析,将图片中的文本信息提取出来,对解析后的数据进行校验,如果分值过低,重新解析图片,保证数据的准确性。
本发明公开了工控机自动截屏使用OCR技术解析图片数据方法,根据客户端请求自动截取工控机桌面图片,按照提供的数据坐标,保存目标数据小图,再使用OCR技术解析图片中的数据,解决因无法物联网中很多设备没有通讯协议而无法采集数据的难题。
附图说明
图1为本发明工控机自动截屏使用OCR技术解析图片数据的流程图。
图2为本发明工控机自动截屏OCR解析数据流程图。
具体实施方式
通过下面对实施例的描述,将更加有助于公众理解本发明,但不能也不应当将申请人所给出的具体的实施例视为对本发明技术方案的限制,任何对部件或技术特征的定义进行改变和/或对整体结构作形式的而非实质的变换都应视为本发明的技术方案所限定的保护范围。
如图1所示,一种工位机自动截屏使用OCR技术解析图片数据方法,包括如下步骤:
S1、捕获桌面图片:
根据客户端发送的请求,自动截取工控机桌面全屏图片,保存在本地服务器,每一次请求都会自动截屏;也可以使用默认图片;如果有多个页面,会根据请求识别对应的页面,进行截图,保证数据的准确性
S2、根据坐标生成小图:
根据客户端对具体数据区域的坐标,针对截屏的全屏图片,再截取目标数据内的小小图片,保证数据的准确性;
S3、解析图片数据:
根据最终截取的小图,使用OCR技术进行图片解析,将图片中的文本信息提取出来,对解析后的数据进行校验,如果分值过低,可重新解析图片,保证数据的准确性。
本申请基于描述工控机UI特点,页面规整,生产过程使用的用户实际操作的页面少,有效数据通常集中某个页面,而且这个页面长时间呈现,主要目的描述这种方案的适用场景。
工控机桌面截屏,图片清晰,不受外在因素干扰,可以保证数据的准确性;可以控制实时截屏,可以保证数据的有效实时性;针对数据处于图片中不同的位置,可根据数据坐标位置,解析所需要的数据,保证数据对排版问题。
优选的是,若工控机桌面图片有多个页面,不同页面的数据都需要采集,自动切换页面,截屏解析数据,保证解析不同类型的数据;
描述服务会自动获取不同页面id和对应页面的标题,用户根据标题提供对应的id,描述服务会根据id切换至对应的页面,开始截屏,解析图片数据。
优选的是,描述服务根据数据位置、数据类型、数据校验获取不同页面id。
优选的是,描述服务数据处理过程为:接收到客户端请求->截全屏幕保存位图->判断页面->遍历请求数据项->返回结果;
根据客户端提交的数据,判断当前页面是否是需要截屏的页面,如果是当前页面,截取全屏后保存图片;
客户端提交的数据中,根据数据坐标位置,重新截取目标数据图片,使用OCR识别数据,并以文本的形式返回;光学字符识别(Optical Character Recognition, OCR)是指对文本资料的图像文件进行分析识别处理,获取文字及版面信息的过程。亦即将图像中的文字进行识别,并以文本的形式返回。
所述遍历请求数据项为:根据数据位置从全位图重提取数据小图使用OCR识别数据;根据有效数据范围检测数据,数据异常重新识别;
遍历解析数据,提取所需要的数据;数据的属性中一个数值是该数据解析的分值,分值越高解析的数据越正确,如果分值过低,会重新解析;最后返回结果。
描述服务OCR采用的是开源模块 paddleocr,支持按照自己的模式训练数据,在准备好数据集和模型后,就可以将数据送入模型中启动训练评估了,包括如下步骤:
S11模型训练:训练包括多轮迭代(epoch),每轮迭代遍历一次训练数据集,并且每次从中获取一小批(mini-batch)样本,送入模型执行前向计算得到预测值,并计算预测值(predict_label)与真实值(true_label)之间的损失函数值(loss)。执行梯度反向传播,并根据设置的优化算法(optimizer)更新模型的参数。观察每轮迭代的 loss 值减小趋势,可判断模型训练效果。
S12 模型评估:将测试数据集送入训练好的模型进行评估,得到预测值,计算预测值与真实值之间的损失函数值(loss),并计算评价指标值(metric),便于评估模型效果
S13 模型推理:将待验证的数据(样本)送入训练好的模型执行推理,观察并验证推理结果(标签)是否符合预期。
优选的是,评估工控机特性,若长时间未操作,会进入屏保或进入休眠状态,截屏的图片发生改变,无法获取有效数据;描述服务增加禁用屏保功能和自动休眠功能,服务开启后会控制计算机不进入屏保或休眠状态,保证截屏图片都是实际桌面图片,提供真实有效数据的桌面作为支撑。
工控机通常都会设置屏幕和休眠时间,运行一定时间会,自动处于屏保状态,或者进入休眠状态;发生屏保或者休眠状态,截屏功能会失效,解析的都是空字符串。
描述服务增加禁用屏保功能和自动休眠功能,服务开启后会控制计算机不进入屏保或休眠状态。保证截屏图片都是实际桌面图片,可通过配置,是否开启,限制服务器屏幕进入屏保和休眠功能。
优选的是,评估工位机性能,提供两种服务部署形态,若工位机性能差,OCR分析过程放在采集服务器上;若工位机性能好,OCR分析过程放在工位机上。OCR解析图片的过程中,对计算机有一定的性能要求,如果采集的系统性能较差,可以将服务部署在采集工控机上面,远程控制截屏,本机解析图片中文本信息。
如图2所示,本发明公开了一种工位机自动截屏使用OCR技术解析图片数据方法,包括如下步骤:
S1、捕获桌面图片
S11、接受客户端请求;
S12、判断是否实时截屏,如果不是使用默认图片;
S13、判断客户端请求提交数据中的页面id或标题是否为实际已存在页面,如果不是返回错误信息;如果存在自动切换至对应桌面上的页面,进行截当前页面全屏;
S2、根据坐标生成小图
S21、接受客户端请求,获取数据坐标;
S22、判断数据坐标是否正确, 如果正确,开始截小图并保存,反之,返回错误信息;
S3、使用ocr技术解析图片中文本信息,循环遍历分析的数据
S31、使用第三方模块paddleocr,利用OCR技术解析图片中数据;
S32、循环遍历解析的数据,提取所需采集数据;
S32、判断列表中数据分值是否超过90分,如果达到,则返回解析的数据,反之,再重新解析数据,最多解析3次,如果3次都解析有问题,返回相关提示信息,提醒客户端检查桌面图片数据,如果少于3次,分值达到90分以上,则表示数据正常,直接返回解析的数据。

Claims (8)

1.一种使用OCR技术的工位机自动截屏图片解析方法,其特征在于包括如下步骤:
S1、捕获桌面图片:
根据客户端发送的请求,自动截取工控机桌面全屏图片,保存在本地服务器,每一次请求都会自动截屏;
S2、根据坐标生成小图:
根据客户端对具体数据区域的坐标,针对截屏的全屏图片,再截取目标数据内的小小图片,保证数据的准确性;
S3、解析图片数据:
根据最终截取的小图,使用OCR技术进行图片解析,将图片中的文本信息提取出来,对解析后的数据进行校验,如果分值过低,重新解析图片,保证数据的准确性。
2.根据权利要求1所述的使用OCR技术的工位机自动截屏图片解析方法,其特征在于,针对数据处于图片中不同的位置,根据数据坐标位置,解析所需要的数据,保证数据对排版问题。
3.根据权利要求1所述的使用OCR技术的工位机自动截屏图片解析方法,其特征在于,若工控机桌面图片有多个页面,不同页面的数据都需要采集,自动切换页面,截屏解析数据,保证解析不同类型的数据;
描述服务会自动获取不同页面id和对应页面的标题,用户根据标题提供对应的id,描述服务会根据id切换至对应的页面,开始截屏,解析图片数据。
4.根据权利要求3所述的使用OCR技术的工位机自动截屏图片解析方法,其特征在于,描述服务根据数据位置、数据类型、数据校验获取不同页面id。
5.根据权利要求3所述的使用OCR技术的工位机自动截屏图片解析方法,其特征在于,描述服务数据处理过程为:接收到客户端请求->截全屏幕保存位图->判断页面->遍历请求数据项->返回结果;
根据客户端提交的数据,判断当前页面是否是需要截屏的页面,如果是当前页面,截取全屏后保存图片;
客户端提交的数据中,根据数据坐标位置,重新截取目标数据图片,使用OCR识别数据,并以文本的形式返回;
所述遍历请求数据项为:根据数据位置从全位图重提取数据小图使用OCR识别数据;根据有效数据范围检测数据,数据异常重新识别;
遍历解析数据,提取所需要的数据;数据的属性中一个数值是该数据解析的分值,分值越高解析的数据越正确,如果分值过低,会重新解析;最后返回结果。
6.根据权利要求3所述的使用OCR技术的工位机自动截屏图片解析方法,其特征在于,所述描述服务包括如下步骤:
S11 模型训练:训练包括多轮迭代,每轮迭代遍历一次训练数据集,并且每次从中获取一小批样本,送入模型执行前向计算得到预测值,并计算预测值与真实值之间的损失函数值;执行梯度反向传播,并根据设置的优化算法更新模型的参数;观察每轮迭代的损失函数值减小趋势,判断模型训练效果;
S12 模型评估:将测试数据集送入训练好的模型进行评估,得到预测值,计算预测值与真实值之间的损失函数值,并计算评价指标值,用于评估模型效果;
S13 模型推理:将待验证的数据送入训练好的模型执行推理,观察并验证推理结果是否符合预期。
7.根据权利要求1所述的使用OCR技术的工位机自动截屏图片解析方法,其特征在于,评估工控机特性,若长时间未操作,会进入屏保或进入休眠状态,截屏的图片发生改变,无法获取有效数据;描述服务增加禁用屏保功能和自动休眠功能,服务开启后会控制计算机不进入屏保或休眠状态,保证截屏图片都是实际桌面图片。
8.根据权利要求1所述的使用OCR技术的工位机自动截屏图片解析方法,其特征在于,评估工位机性能,若工位机性能差,OCR分析过程放在采集服务器上;若工位机性能好,OCR分析过程放在工位机上。
CN202311050160.2A 2023-08-21 2023-08-21 一种使用ocr技术的工位机自动截屏图片解析方法 Active CN116781771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311050160.2A CN116781771B (zh) 2023-08-21 2023-08-21 一种使用ocr技术的工位机自动截屏图片解析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311050160.2A CN116781771B (zh) 2023-08-21 2023-08-21 一种使用ocr技术的工位机自动截屏图片解析方法

Publications (2)

Publication Number Publication Date
CN116781771A true CN116781771A (zh) 2023-09-19
CN116781771B CN116781771B (zh) 2023-11-17

Family

ID=87989802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311050160.2A Active CN116781771B (zh) 2023-08-21 2023-08-21 一种使用ocr技术的工位机自动截屏图片解析方法

Country Status (1)

Country Link
CN (1) CN116781771B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259866A1 (en) * 2004-05-20 2005-11-24 Microsoft Corporation Low resolution OCR for camera acquired documents
WO2008049403A2 (de) * 2006-10-25 2008-05-02 Sirvaluse Consulting Gmbh Computergestütztes verfahren zur ferngesteuerten erfassung des userverhaltens bei der rezeption von webseiten
CN103414751A (zh) * 2013-07-16 2013-11-27 广东工业大学 一种pc屏幕内容分享互动控制方法
US20160378297A1 (en) * 2015-06-25 2016-12-29 Medcpu Ltd. Smart Display Data Capturing Platform For Record Systems
CN108710880A (zh) * 2018-05-16 2018-10-26 深圳市众信电子商务交易保障促进中心 一种数据抓取方法及终端
CN112633270A (zh) * 2020-12-29 2021-04-09 平安银行股份有限公司 基于图片识别的骨架屏生成方法、装置、设备及存储介质
CN113723376A (zh) * 2021-11-02 2021-11-30 杭州未名信科科技有限公司 智能屏显数据采集方法、装置、设备及存储介质
CN113887442A (zh) * 2021-09-29 2022-01-04 招商银行股份有限公司 Ocr训练数据生成方法、装置、设备及介质
CN114896483A (zh) * 2022-04-27 2022-08-12 深圳Tcl数字技术有限公司 一种数据采集方法、系统和存储介质
CN115713757A (zh) * 2022-11-04 2023-02-24 张家口卷烟厂有限责任公司 终端设备通用的数据采集方法及其装置
CN116612480A (zh) * 2023-06-01 2023-08-18 南阳理工学院 一种屏幕截图式大数据采集方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259866A1 (en) * 2004-05-20 2005-11-24 Microsoft Corporation Low resolution OCR for camera acquired documents
WO2008049403A2 (de) * 2006-10-25 2008-05-02 Sirvaluse Consulting Gmbh Computergestütztes verfahren zur ferngesteuerten erfassung des userverhaltens bei der rezeption von webseiten
CN103414751A (zh) * 2013-07-16 2013-11-27 广东工业大学 一种pc屏幕内容分享互动控制方法
US20160378297A1 (en) * 2015-06-25 2016-12-29 Medcpu Ltd. Smart Display Data Capturing Platform For Record Systems
CN108710880A (zh) * 2018-05-16 2018-10-26 深圳市众信电子商务交易保障促进中心 一种数据抓取方法及终端
CN112633270A (zh) * 2020-12-29 2021-04-09 平安银行股份有限公司 基于图片识别的骨架屏生成方法、装置、设备及存储介质
CN113887442A (zh) * 2021-09-29 2022-01-04 招商银行股份有限公司 Ocr训练数据生成方法、装置、设备及介质
CN113723376A (zh) * 2021-11-02 2021-11-30 杭州未名信科科技有限公司 智能屏显数据采集方法、装置、设备及存储介质
CN114896483A (zh) * 2022-04-27 2022-08-12 深圳Tcl数字技术有限公司 一种数据采集方法、系统和存储介质
CN115713757A (zh) * 2022-11-04 2023-02-24 张家口卷烟厂有限责任公司 终端设备通用的数据采集方法及其装置
CN116612480A (zh) * 2023-06-01 2023-08-18 南阳理工学院 一种屏幕截图式大数据采集方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
殷永峰;刘斌;姜同敏;王晨;: "智能移动终端软件自动化测试平台研究", 计算机应用研究, no. 09, pages 2709 - 2712 *

Also Published As

Publication number Publication date
CN116781771B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN109905293B (zh) 一种终端设备识别方法、系统及存储介质
CN111915020B (zh) 检测模型的更新方法、装置及存储介质
CN107896170B (zh) 保险应用系统的监控方法及装置
CN105187408A (zh) 网络攻击检测方法和设备
US20190197140A1 (en) Automation of sql tuning method and system using statistic sql pattern analysis
CN111225299A (zh) 一种onu故障识别、修复方法和装置
CN111198815B (zh) 用户界面的兼容性测试方法及装置
CN111368867A (zh) 档案归类方法及系统、计算机可读存储介质
CN116894078A (zh) 一种信息交互方法、装置、电子设备及介质
CN111783786B (zh) 图片的识别方法、系统、电子设备及存储介质
CN116756576B (zh) 数据处理方法、模型训练方法、电子设备及存储介质
CN115984158A (zh) 缺陷分析方法、装置、电子设备及计算机可读存储介质
CN116781771B (zh) 一种使用ocr技术的工位机自动截屏图片解析方法
CN111696095A (zh) 用于检测物体表面缺陷的方法及装置
CN110825951A (zh) 网页处理方法、装置和电子设备
CN115905016A (zh) 一种BIOS Setup搜索功能测试方法、装置、电子设备及存储介质
CN112801130B (zh) 图像聚类簇质量评估方法、系统、介质及装置
CN111860526B (zh) 基于图像的判题方法、装置、电子设备和计算机存储介质
CN113628077A (zh) 生成不重复考题的方法、终端及可读存储介质
CN114444087A (zh) 一种越权漏洞检测方法、装置、电子设备及存储介质
CN111291259B (zh) 一种数据筛选方法、装置、电子设备和存储介质
CN113536031A (zh) 视频搜索的方法、装置、电子设备及存储介质
CN113010339A (zh) 联机交易测试中故障自动处理方法及装置
CN109753599A (zh) 推荐业务的方法和装置
CN111953544B (zh) 一种服务器的故障检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant