CN113936131A - 一种仪器数据采集方法、交互方法、系统及存储介质 - Google Patents

Abstract

本发明涉及数据采集领域，特别涉及一种仪器数据采集方法、交互方法、系统及存储介质。数据采集方法包括以下步骤：S1、在设定位置安装图像采集设备；S2、调整图像采集角度以及外界干扰因素，用于降低采集角度和外界干扰因素对图像效果的影响，所述外界干扰因素包括光源、噪声；S3、设定仪器用户界面的关键区域；S4、对关键区域内图像信息进行图像采集。本发明的有益效果在于：通过固定图像采集设备的采集位置以及角度，设定不同用户界面的关键区域，在进行图像处理时只处理关键区域的数据简化了传统OCR技术需要先确定读取框这一步骤，降低了图像处理算法的复杂程度同时加快了图像处理的速度。

Description

一种仪器数据采集方法、交互方法、系统及存储介质

技术领域

本发明涉及数据采集领域，特别涉及一种仪器数据采集方法、交互方法、系统及存储介质。

背景技术

在科学自动化中，我们经常会面对一个问题即如何与不支持自动化的仪器进行数据交互并使其实现自动化动作。

其中的一个细分问题是如何读取仪器设备所产生的信息，并将操作指令传递给仪器设备。后者可以通过机器人代替操作员手指模拟人工按键等操作，而前者通常需要使用到光学文本识别(OCR)技术。现代仪器越来越多使用触控屏显示仪器读数，由于用户界面具有一定的设计自由度，不同厂家用户界面可能差别较大，一方面同一屏幕下的图像元素逐渐增多，另一方面同一个仪器具有多个不同页面布局的界面，工作中往往在多个界面切换。这进一步细化为两个问题：1.传统的OCR技术需要先从图形中判定各个识别读框后再进行文本识别，如何复杂的界面下识别各位置的文本。2.如何从多个界面的环境下准确提取出自动化作业中所需要的特定界面的数据。问题1需要用于识别的软件系统兼容不同风格的用户界面，这就导致算法复杂度的增加，加大了前期开发的任务量同时降低了图像识别的速度；例如，CN112528992A-一种基于AI技术快速识别仪器仪表读数的装置和方法公开了一种利用AI辅助识别的方法，该方法依赖于算法和训练。此外，在自动作业领域，虽然经常使用机器人流程自动化(RPA)技术。该类技术经常从图像中选出特点的区域进行文本识别(区域OCR)用于指导业务流程，但针对的多数是在同一计算机系统内部生成的同屏幕的图像。RPA软件一般直接植入该主机，不能识别物理上分离的独立设备，而且必须要软件能够与所控制的机器的系统完成连接，这通常与被读取设备完成电气连接或其他连接以获取数据。在无法事先进入该设备的软件系统内时，RPA技术较难实现互动。作为一种改进，专利文件CN112990039A-一种以ODL为基础从医学图像中提取结构化文本信息的方法公开了一种结构化标记配合人工协助的方法，该文献指出直接使用区域OCR存在图像干扰问题，直接使用存在识别问题，因此需要其他层面的改进，例如使用硬件措施配合降低干扰。而该文献所设计的方法主要适用于医学图像的分析，不适于实时反馈的无人值守作业，同时也不能解决问题2。

发明内容

为了解决现有OCR技术在面对自由度高的用户界面时需要使用复杂的图像处理算法导致前期开发任务量增大同时降低图像处理效率的问题，本发明提供了一种仪器数据采集方法、交互方法、系统及存储介质，具体方案如下：

一种仪器数据采集方法，包括以下步骤：

S1、在设定位置安装图像采集设备；

S2、调整图像采集角度以及外界干扰因素，用于降低采集角度和外界干扰因素对图像效果的影响，所述外界干扰因素包括光源、噪声；

S3、设定仪器用户界面的关键区域；

S4、对关键区域内图像信息进行图像采集。

具体地说，所述关键区域包括用于区别不同用户界面的判定关键区域和用于选定数据读取框的读取关键区域。

使用上述的一种仪器数据采集方法的仪器交互方法，包括以下步骤：

A1、数据库准备，具体包括：设定用户界面表，包括：用户界面对应的编号；设定关键区域识别表，包括以下的一种或多种：关键区域的编号、关键区域对应的用户界面的编号、关键区域的位置信息、关键区域对应的图像处理方法、关键区域对应的特征信息；其中特征信息用于识别关键区域；

A2、用户界面判定，具体为根据所述关键区域识别表判断仪器当前用户界面的编号；

A3、使用权利要求1所述仪器数据采集方法采集当前用户界面读取关键区域位置的图像信息，对读取关键区域内图像信息进行图像处理，获取识别后的数据。

具体地说，所述图像处理包括光学文本识别、灰度处理。

具体地说，所述用户界面判定具体包括以下步骤：

A2.1、定义循环初始变量i，进行初始化，并定义初值i＝0；

A2.2、令i＝i+1，并使用权利要求1所述的仪器数据采集方法获取关键区域识别表第i个判定关键区域位置的图像信息；

A2.3、根据关键区域识别表所设定的图像处理方法进行图像处理后判断第i个判定关键区域的图像信息是否包括数据库中记录的第i个判定关键区域用于判定的特征信息；判断否返回步骤A2.2执行；判断是输出对应的用户界面编号，完成判定。

具体地说，在步骤S2.3输出对应的用户界面编号之前还包括：根据关键区域识别表判断该用户界面是否包括多个判定关键区域，判断是，输出对应的用户界面编号；判断否，根据关键区域识别表所设定的图像处理方法对该用户界面其它判定关键区域位置进行图像处理后判断其它判定关键区域的图像信息是否全部包括数据库中记录的对应的特征信息，判断否返回步骤A2.2执行；判断是输出对应的用户界面编号，完成判定。

使用上述的一种仪器交互方法的系统，包括：

数据库，用于存储包括设定的用户界面表、关键区域识别表；

图像采集单元，用于采集仪器用户界面图像信息；

控制单元，用于识别仪器用户界面，并进行图像处理获取识别后的数据。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求3至6任一项所述的一种仪器交互方法的步骤和或实现如权利要求1至2任意一项所述的一种仪器数据采集方法的步骤。

本发明的有益效果在于：

(1)通过固定图像采集设备的采集位置以及角度，设定不同用户界面的关键区域，在进行图像处理时只处理关键区域的数据简化了OCR技术需要先确定读取框这一步骤，降低了图像处理算法的复杂程度同时加快了图像处理的速度。

(2)通过根据仪器用户界面设定的交互用户界面识别数据集，在对仪器用户界面进行数据采集之前首先进行用户界面的判断，确定用户界面后读取该用户界面对应的关键区域内的信息，简化了与仪器交互时的步骤同时加快了与仪器交互式的速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为仪器数据采集方法的流程图；

图2为仪器当前用户界面状态判定的流程图；

图3为实施例仪器用户界面关键位置设定示意图；

图4为实施例仪器用户界面表；

图5为实施例仪器关键区域识别表。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明公开了一种仪器数据采集方法、交互方法、系统及存储介质，包括：

一种仪器数据采集方法，包括以下步骤：

S1、在设定位置安装图像采集设备；

S2、调整图像采集角度以及外界干扰因素，用于降低采集角度和外界干扰因素对图像效果的影响，所述外界干扰因素包括光源、噪声；

S3、设定仪器用户界面的关键区域；

S4、对关键区域内图像信息进行图像采集。

使用上述仪器数据采集方法的仪器交互方法，包括以下步骤：

A1、数据库准备，具体包括：设定用户界面表，包括：用户界面对应的编号；设定关键区域识别表，包括以下的一种或多种：关键区域的编号、关键区域对应的用户界面的编号、关键区域的位置信息、关键区域对应的图像处理方法、关键区域对应的特征信息；其中特征信息用于识别关键区域；

A2、用户界面判定，具体为根据所述关键区域识别表判断仪器当前用户界面的编号；

A3、使用权利要求1所述仪器数据采集方法采集当前用户界面读取关键区域位置的图像信息，对读取关键区域内图像信息进行图像处理，获取识别后的数据。

以翱艺仪器V-1000可见分光光度计的数据采集以及交互为例：

V-1000可见分光光度计的数据采集方法包括以下步骤：

S1、在设定位置安装图像采集设备；

S2、调整辅助光源及图像采集设备的图像采集角度并固化上述设置；

S3、如图3所示，设定V-1000可见分光光度计第一用户界面的关键区域，选定判定关键区域1，所述判定关键区域1包括区别于其它界面的特征信息字符“自检”；

设定V-1000可见分光光度计第二用户界面的关键区域，选定判定关键区域2、3，读取关键区域4、5，其中判定关键区域2包括区别于其它界面的特征信息字符“A”，判定关键区域3包括区别于其它界面的特征信息图像“A”，读取关键区域4、5包括待识别的文本框；

设定V-1000可见分光光度计第三用户界面的关键区域，选定判定关键区域6和读取关键区域7，其中判定关键区域6包括区别于其它界面的特征信息字符“输入”，读取关键区域7包括待识别的文本框；

设定V-1000可见分光光度计第四用户界面的关键区域，选定判定关键区域8和读取关键区域9，其中判定关键区域8包括区别于其它界面的特征信息字符“请”,读取关键区域9包括区别于其它界面的特征信息字符“等”。

S4、对关键区域内图像信息进行图像采集。

V-1000可见分光光度计的交互方法包括以下步骤：

A1、如图4、5所示进行数据库准备，具体包括：设定用户界面表，包括：用户界面对应的编号；设定关键区域识别表，包括以下的一种或多种：关键区域的编号、关键区域对应的用户界面的编号、关键区域的位置信息、关键区域对应的图像处理方法、关键区域对应的特征信息；其中特征信息用于识别关键区域；

A2、用户界面判定，具体为根据所述关键区域识别表判断仪器当前用户界面的编号；

由于设计的多变性，不同用户界面状态下，同一屏幕位置的信息完全可能表达完全不同的含义。因此，有效的数据获取必须先对当前处于哪个一个用户界面完成判定。所以，实际交互中，需要先进行界面判断再进行从屏幕中读取具体数据(目标数据的获取)的过程。

步骤A2具体包括以下步骤：

A2.1、定义循环初始变量i，进行初始化，并定义初值i＝0；

A2.2、令i＝i+1，并使用权利要求1所述的仪器数据采集方法获取关键区域识别表第i个判定关键区域位置的图像信息；

A2.3、根据关键区域识别表所设定的图像处理方法进行图像处理后判断第i个判定关键区域的图像信息是否包括数据库中记录的第i个判定关键区域用于判定的特征信息；判断否返回步骤A2.2执行；判断是输出对应的用户界面编号，完成判定。

如果该仪器交互界面复杂，某些界面仅通过1个判定关键区不足以唯一确定该界面，则需要在该界面预先设定多个判定关键区，同时通过特征信息判断，以完成用户界面。

A3、使用权利要求1所述仪器数据采集方法采集当前用户界面关键区域位置的图像信息，对关键区域内图像信息进行图像处理，获取识别后的数据。

例1

以V-1000可见分光光度计处于第二用户界面为例进行用户界面判定；

A1、准备数据库，如上；

A2.1、定义循环初始变量i；进行初始化，并定义初值i＝0。

A2.2、令i＝i+1即0+1＝1，并使用权利要求1所述的仪器数据采集方法获取关键区域识别表第1个判定关键区域(图5表格中的判定“ID”列等于1的记录)的位置(由坐标为x＝300,y＝400和坐标为x＝320，y＝450的两个像素点之间构成的矩形区域)的图像信息；

A2.3、如图5所示，第1个判定关键区域在数据表中对应“图像处理方法”列所标记的图像处理方法为“OCR识别”，即使用OCR对该区域的文本进行识别，同时该条记录对应的特征信息为字符“自检”；对第1个判定关键区域位置的图像信息进行OCR识别。由于第二用户界面在该区域(由坐标为x＝300,y＝400和坐标为x＝320，y＝450的两个像素点之间构成的矩形区域)无此字符，即未识别到对应的特征信息；返回步骤A2.2；

A2.2、令i＝i+1即1+1＝2，并使用权利要求1所述的仪器数据采集方法获取关键区域识别表第2个判定关键区域位置的图像信息；

A2.3、如图5所示，第2个判定关键区域(由坐标为x＝150,y＝250和坐标为x＝200，y＝289的两个像素点之间构成的矩形区域)在数据表所标记的图像处理方法为“灰度识别”，即根据该区域的总灰度值是否达到原定阈值以判定是否通过。本记录中的阈值是“特殊识别参数”列中的“37”。由于本条记录的特征判定不使用文本识别，所以不需要“关键词”列(该列的记录为“不适用/无”)。对第2个判定关键区域位置的图像信息进行灰度识别，本例中阈值大于37，通过判定。此时读取该判定关键区域的“所属界面ID”列，即“第二用户界面”。

根据关键区域识别表判断“第二用户界面”是否包括多个判定关键区域，如图5所示“第二用户界面”还包括ID为判定“3”的判定关键区域，根据关键区域识别表所设定的图像处理方法对第二用户界面另一判定关键区域位置(由坐标为x＝150,y＝290和坐标为x＝190，y＝350的两个像素点之间构成的矩形区域)进行图像处理(OCR处理)后判断该判定关键区域的图像信息是否包括数据库中记录的对应的特征信息(字符“A”)，判断是输出第2个关键区域的用户界面编号“第二用户界面”；完成判定。

A3、读取第二用户界面读取关键区域数据；

本例中需要读取第二界面下读取关键区域的数据即为由坐标为x＝280,y＝290和坐标为x＝500，y＝320的两个像素点之间构成的矩形区域。对于图3的示例，结果为0.239。

例2

以V-1000可见分光光度计处于第三用户界面为例进行用户界面判定；

A1、准备数据库，如上；

A2、当前界面判定：

A2.1、定义循环初始变量；进行初始化，并定义初值i＝0。

A2.2、令i＝i+1即0+1＝1，并使用权利要求1所述的仪器数据采集方法获取关键区域识别表第1个判定关键区域(图5表格中的判定“ID”列等于1的记录)的位置(由坐标为x＝300,y＝400和坐标为x＝320，y＝450的两个像素点之间构成的矩形区域)的图像信息；

A2.2、令i＝i+1即1+1＝2，并使用权利要求1所述的仪器数据采集方法获取关键区域识别表第2个判定关键区域位置的图像信息；

A2.3、如图5所示，第2个判定关键区域(由坐标为x＝150,y＝250和坐标为x＝200，y＝289的两个像素点之间构成的矩形区域)在数据表所标记的图像处理方法为“灰度识别”，即根据该区域的总灰度值是否达到原定阈值以判定是否通过。对第2个关键区域位置的图像信息进行灰度识别，未识达到原定阈值；返回步骤A2.2；

……

A2.2、令i＝i+1及3+1＝4，并使用权利要求1所述的仪器数据采集方法获取关键区域识别表第4个判定关键区域位置的图像信息；

A2.3、如图5所示，第4个判定关键区域的图像处理方法为OCR识别，对应的特征信息为字符“输入”；对第4个判定关键区域位置(由坐标为x＝100,y＝400和坐标为x＝280，y＝380的两个像素点之间构成的矩形区域)的图像信息进行OCR识别，识别到对应的特征信息；此时读取该判定关键区域的“所属界面ID”列，即“第三用户界面”。根据关键区域识别表判断“第三用户界面”是否包括多个判定关键区域，判断否，输出第4个判定关键区域的用户界面编号“第三用户界面”。

A3、读取第三用户界面读取关键区域数据；

本例中需要读取第三界面下读取关键区域的数据即为由坐标为x＝280,y＝270和坐标为x＝480，y＝310的两个像素点之间构成的矩形区域。对于图3的示例，结果为546.0nm。

使用上述的仪器交互方法的系统，包括：

数据库，用于存储包括设定的用户界面表、关键区域识别表；

图像采集单元，用于采集仪器用户界面图像信息；

控制单元，用于识别仪器用户界面，并进行图像处理获取识别后的数据。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的一种仪器交互方法的步骤和或实现如上述的一种仪器数据采集方法的步骤。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种仪器数据采集方法，其特征在于，包括以下步骤：

S1、在设定位置安装图像采集设备；

S2、调整图像采集角度以及外界干扰因素，用于降低采集角度和外界干扰因素对图像效果的影响，所述外界干扰因素包括光源、噪声；

S3、设定仪器用户界面的关键区域；

S4、对关键区域内图像信息进行图像采集。

2.根据权利要求1所述的一种仪器数据采集方法，其特征在于，所述关键区域包括用于区别不同用户界面的判定关键区域和用于选定数据读取框的读取关键区域。

3.使用权利要求1-2任意一项所述的一种仪器数据采集方法的仪器交互方法，其特征在于，包括以下步骤：

A1、数据库准备，具体包括：设定用户界面表，包括：用户界面对应的编号；设定关键区域识别表，包括以下的一种或多种：关键区域的编号、关键区域对应的用户界面的编号、关键区域的位置信息、关键区域对应的图像处理方法、关键区域对应的特征信息；其中特征信息用于识别关键区域；

A2、用户界面判定，具体为根据所述关键区域识别表判断仪器当前用户界面的编号；

A3、使用权利要求1所述仪器数据采集方法采集当前用户界面读取关键区域位置的图像信息，对读取关键区域内图像信息进行图像处理，获取识别后的数据。

4.根据权利要求3所述的一种仪器交互方法，其特征在于，所述图像处理包括光学文本识别、灰度处理。

5.根据权利要求3所述的一种仪器交互方法，其特征在于，所述用户界面判定具体包括以下步骤：

A2.1、定义循环初始变量i，进行初始化，并定义初值i＝0；

A2.2、令i＝i+1，并使用权利要求1所述的仪器数据采集方法获取关键区域识别表第i个判定关键区域位置的图像信息；

A2.3、根据关键区域识别表所设定的图像处理方法进行图像处理后判断第i个判定关键区域的图像信息是否包括数据库中记录的第i个判定关键区域用于判定的特征信息；判断否返回步骤A2.2执行；判断是输出对应的用户界面编号，完成判定。

6.根据权利要求5所述的一种仪器交互方法，其特征在于，在步骤S2.3输出对应的用户界面编号之前还包括：根据关键区域识别表判断该用户界面是否包括多个判定关键区域，判断是，输出对应的用户界面编号；判断否，根据关键区域识别表所设定的图像处理方法对该用户界面其它判定关键区域位置进行图像处理后判断其它判定关键区域的图像信息是否全部包括数据库中记录的对应的特征信息，判断否返回步骤A2.2执行；判断是输出对应的用户界面编号，完成判定。

7.使用权利要求3-6所述的一种仪器交互方法的系统，其特征在于，包括：

数据库，用于存储包括设定的用户界面表、关键区域识别表；

图像采集单元，用于采集仪器用户界面图像信息；

控制单元，用于识别仪器用户界面，并进行图像处理获取识别后的数据。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求3至6任一项所述的一种仪器交互方法的步骤和或实现如权利要求1至2任意一项所述的一种仪器数据采集方法的步骤。

Images