CN113723376B - 智能屏显数据采集方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种智能屏显数据采集方法、装置、设备及存储介质，所述方法包括：通过分屏器获取屏显视频数据，得到视频图像；通过预训练的光学字符识别模型对所述视频图像进行定位识别，得到图像中的鼠标位置以及字符数据；判断前后相邻的两张图像中的鼠标位置是否相同，若相同，则将所述字符数据转化成结构化表的形式并输出，将输出的结构化表进行数据融合，得到融合后的结构化表。根据本申请实施例提供的数据采集方法，可以采集任何操作系统上可通过鼠标点击显示的界面数据，无需解析复杂的协议，不影响设备的正常运行，能适应各种发生变化的场景。

Description

智能屏显数据采集方法、装置、设备及存储介质

技术领域

本发明涉及数据处理技术领域，特别涉及一种智能屏显数据采集方法、装置、设备及存储介质。

背景技术

在产业数字化过程中，大量的行业存在各式各样的信息化设备，如工业中的生产设备，政府部门的政务系统，医疗机构中的设备仪器等。由于近十年来信息化软件技术的高速发展，这些单位中存在大量的设备及系统来自于采购或第三方开发，而这些存在于系统及设备中的数据难以获取甚至无法获取，如制造业企业中大量的国外设备对我国进行数据封锁，政务系统中第三方开发的软件系统由于第三方公司不再维护等，都导致了严重的信息孤岛问题,整体阻碍了我国产业数字化的进程。以制造业企业为例，由于缺乏设备数据的支撑，大部分劳动密集型企业还得依靠人力对设备系统数据进行眼看手抄，完成产线作业情况汇聚，但是这种方式需要耗费大量的人力。而且不定时关停、检修、重启设备并记录，没有任何数据作为依据来支撑，纯凭人工经验；更重要的是手工录入数据至企业信息系统，容易产生录入错误的情况，导致最终报表失准，影响生产决策。

发明内容

本申请实施例提供了一种智能屏显数据采集方法、装置、设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本申请实施例提供了一种智能屏显数据采集方法，包括：

通过分屏器获取屏显视频数据，得到视频图像；

通过预训练的光学字符识别模型对视频图像进行定位识别，得到图像中的鼠标位置以及字符数据；

判断前后相邻的两张图像中的鼠标位置是否相同，若相同，则将字符数据转化成结构化表的形式并输出；

将输出的结构化表进行数据融合，得到融合后的结构化表。

在一个可选地实施例中，将输出的结构化表进行数据融合，得到融合后的结构化表，包括：

计算每两个结构化表行与行之间的相似度，得到相似度矩阵；

将相似度矩阵输入预设的线性规划算法，得到行与行之间的最佳匹配关系；

根据最佳匹配关系将匹配的行拼接，得到融合后的结构化表。

在一个可选地实施例中，计算每两个结构化表行与行之间的相似度，得到相似度矩阵，包括：

将结构化表中的每一行数据转化成特征向量；

通过余弦相似度公式计算每两个结构化表行与行之间的相似度，得到相似度矩阵。

在一个可选地实施例中，通过预训练的光学字符识别模型对视频图像进行定位识别之前，还包括：

获取多张截取的视频图像，对视频图像进行预处理；

对预处理后的视频图像中的鼠标位置以及字符类型进行标签化，得到包含鼠标位置信息以及字符类型信息的训练集和测试集；

通过训练集和测试集训练光学字符识别模型，得到训练好的光学字符识别模型。

在一个可选地实施例中，当前后相邻的两张图像中的鼠标位置不相同时，还包括：

暂停采集屏显视频数据，预设时间段后再开始采集屏显视频数据。

在一个可选地实施例中，通过分屏器获取屏显视频数据，得到视频图像包括：

接收分屏器采集的屏显视频数据；

根据预设的截屏算法进行截屏，得到视频图像。

在一个可选地实施例中，通过分屏器获取屏显视频数据，得到视频图像之前，还包括：

通过视频采集卡连接源主机；

安装模拟键鼠驱动，运行键鼠控制程序，控制源主机键鼠。

第二方面，本公开实施例提供了一种智能屏显数据采集装置，包括：

采集模块，用于通过分屏器获取屏显视频数据，得到视频图像；

数据识别模块，用于通过预训练的光学字符识别模型对视频图像进行定位识别，得到图像中的鼠标位置以及字符数据；

数据输出模块，用于判断前后相邻的两张图像中的鼠标位置是否相同，若相同，则将字符数据转化成结构化表的形式并输出；

数据融合模块，用于将输出的结构化表进行数据融合，得到融合后的结构化表。

第三方面，本公开实施例提供了一种智能屏显数据采集设备，包括处理器和存储有程序指令的存储器，处理器被配置为在执行程序指令时，执行上述实施例提供的智能屏显数据采集方法。

第四方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机可读指令，计算机可读指令被处理器执行以实现上述实施例提供的一种智能屏显数据采集方法。

本申请实施例提供的技术方案可以包括以下有益效果：

根据本申请实施例提供的智能屏显数据采集方法，易安装，易操作，可以采集任何操作系统上可通过鼠标点击显示的界面数据。只需存在信号HDMI/VGA/DP和USB接口，无需其他接口，无需解析协议，统一适用视频信号类数据采集场景。而且不影响设备稳定性，不影响设备正常使用。本申请实施例创造性地使用了智能数据关联融合技术，针对复杂结构的系统界面，能够关联数据并融合，解决数据关联性差的问题。而且允许系统界面中数据长度、高度发生变化，甚至能探测到鼠标发生移动而暂停自动化流程，适应各种会发生变化的场景。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种智能屏显数据采集方法的流程示意图；

图2是根据一示例性实施例示出的一种智能屏显数据采集方法框架图；

图3是根据一示例性实施例示出的一种智能屏显数据采集方法的另一流程示意图；

图4是根据一示例性实施例示出的一种智能屏显数据采集软硬件装置图；

图5是根据一示例性实施例示出的一种数据采集装置图；

图6是根据一示例性实施例示出的一种结构化表的示意图；

图7是根据一示例性实施例示出的一种智能屏显数据采集装置的结构示意图；

图8是根据一示例性实施例示出的一种智能屏显数据采集设备的结构示意图；

图9是根据一示例性实施例示出的一种计算机存储介质的示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。

通常，对于制造企业来说，产线上大量设备运行所产生的事件数据和能耗数据等是非常重要的，对于政府职能部门来说，政务民生数据需要牢牢的掌握在负责单位的手中。如何突破国外设备的数据封锁，实现工业生产的全流程数字化，帮助企业降本增效，是工业企业数字化转型进程中的重要一环；如何摆脱第三方软件开放商的系统束缚，实现政务数据的本地化是实现政府大数据治理的第一步。

现有技术中，有时利用传感器记录数据。比如传动机器履带设备上的光感节拍器，可以记录设备运行周期。传感器具有适应恶劣环境能力强、价格适中、适于大批量生产、稳定性和可靠性高的优势。但是传感器适用场景单一，需要根据机器来定制，因此没有通用性且采集的数据类型单一。

有时基于摄像智读技术进行数据采集。比如电表水表上的读数识别，用摄像头拍摄画面并用识别模型输出识别结果。这种数据采集解决方案不容易影响设备运行，不因为设备故障导致数据采集出错，视频技术相对比较成熟。但是摄像设备监控屏幕会产生波浪纹或放置积灰，画面不稳定，影响结果识别，降低准确率；无法完成同时监控并采集同一个机器上不同页面的数据；且采集的数据缺少关联性。

有时基于机器人流程自动化进行数据采集。比如纸质文件数据采集并自动写入excel文件。这种方式固化流程，代替人工繁琐的流程。机器人的优势是能够实现24小时全天候不间断工作，完成繁杂且枯燥的工作，减轻一线工作人员的工作压力，能够有效避免人为工作出现的疏忽，提升工作质量。但是流程固化，过程中一旦情况稍有变化，自动化流程便无法进行，如数据移位、尺寸发生变化等，会影响自动化流程，因此不适应变化场景。此外，设备上需要下载自动化软件，可能影响设备正常运作。

因此，本申请实施例提供了一种智能屏显数据采集方法，基于屏显信息在系统显示界面上采集数据，可以解决现有技术中存在的问题。

下面将结合附图对本申请实施例提供的智能屏显数据采集方法进行详细介绍。参见图1，该方法具体包括以下步骤。

S101通过分屏器获取屏显视频数据，得到视频图像。

在一种可能的实现方式中，将分屏器输入端连接视频信号源。将分屏器输出端两个接口中的一个连接原显示器，保障原设备操作不受影响。将分屏器输出端另一个接口通过转换器将信号转化为HDMI/VGA/DP信号中的任意一种，同时转化器上需要插入安卓供电线，保证信号正常输出。

进一步地，将输出的任意一种HDMI/VGA/DP信号输入视频采集卡，输出通过USB连接线接入微服务器。打开微服务器上的视频采集软件，得到源视频信号的画面，完成视频信号一分为二，同时不影响工作人员对原设备的操作。

进一步地，通过存储在微服务器上的截屏程序进行截屏，得到截取的视频图像。在一种可能的实现方式中，屏幕每隔10ms进行截屏，并存储截取的视频图像。

进一步地，本申请实施例提供了一种基于无驱动模拟键鼠的非侵入式的解决方案，通过模拟键鼠切换复杂系统界面。具体地，将USB主控端插入微服务器，被控端通过USB延长线插入源主机。在微服务器上安装模拟键鼠驱动，在微服务器上运行键鼠控制程序，控制源主机上的键鼠，达到切换界面、输入指定字符的目的。

根据本申请的实施方式，通过分屏器采集屏显数据，不影响原设备运行，接口简单，无需解析复杂协议。

S102通过预训练的光学字符识别模型对视频图像进行定位识别，得到图像中的鼠标位置以及字符数据。

在执行步骤S102之前，首先训练光学字符识别模型OCR（Optical CharacterRecognition，光学字符识别）。

具体地，获取多张截取的视频图像，对视频图像进行预处理，例如对图像进行裁剪、标准化等处理，得到预处理后的视频图像。

进一步地，对预处理后的视频图像中的字符类型进行标签化，得到包含字符类型信息的训练集和测试集，利用包含字符类型信息的训练集和测试集训练光学字符识别模型。

进一步地，采用预训练的光学字符识别模型对截取的图片中常见文本和字符进行定位与识别。若准确率达100%，则对光学字符识别模型中未囊括的符号，例如鼠标用打标工具进行标签化，将鼠标的位置用一个矩形框表示，矩形框的左上角坐标（x1,y1）和右下角坐标（x2,y2）即表示鼠标的位置信息。得到包含鼠标位置信息的训练集和测试集。利用包含鼠标位置信息的训练集和测试集对上一步预训练的光学字符识别模型进行调整，在保证字符类型识别和鼠标位置识别准确率都为100%的情况下，保存训练好的光学字符识别模型。

若采用预训练的光学字符识别模型对截取的图片中常见文本和字符进行定位与识别。准确率没有达到100%，则对所有文本、符号(包括鼠标)等数据用打标工具进行标签化，获得这些数据组成的训练与测试集，每个训练数据包含裁剪后的图片与对应的标签：鼠标位置、字符类别。然后将光学字符识别模型在训练集上进行训练，在测试集上进行测试，若测试的准确率为100%，则保存训练好的光学字符识别模型。

进一步地，利用训练好的光学字符识别模型对屏显视频图像进行定位识别，将待识别的图像输入光学字符识别模型，得到识别出来的鼠标位置以及字符类别数据。

S103判断前后相邻的两张图像中的鼠标位置是否相同，若相同，则将字符数据转化成结构化表的形式并输出。

在一种可能的实现方式中，得到光学字符识别模型的识别结果之后，判断识别出来的前后相邻的两张图像中的鼠标位置是否相同，可分析鼠标左上角坐标（x1,y1）和右下角坐标（x2,y2）是否发生变化，若发生变化，则不相同。若没有发生变化，则相同。当鼠标位置发生变化时，暂停采集屏显视频数据，预设时间段后再开始采集屏显视频数据。例如，先暂停3-5分钟，然后再采集屏显视频数据。根据该步骤，若源主机上有人正在操作，能探测到鼠标发生移动，先暂停自动化流程，从而适应各种会发生变化的场景。

若前后相邻的两张图像中的鼠标位置相同，则将模型输出的类别信息转化成对应的数据，模型输出的类别信息是one-hot向量，one-hot向量根据字典映射可转化为实际数据，最后将这些数据按指定顺序输入到结构化表中。图6是根据一示例性实施例示出的一种结构化表。如图6所示，本申请实施例提供的数据采集方法，可以将采集的数据进行分析，以结构化表的形式进行存储，更加直观。

S104将输出的结构化表进行数据融合，得到融合后的结构化表。

具体地，首先计算每两个结构化表行与行之间的相似度，得到相似度矩阵。将文本符号定位与输出的多张结构化表进行实体匹配，输出相似度矩阵。设表A有m行数据，表B有n行数据，先将表A与表B的每一行转化成特征向量，A表得到对应的特征向量矩阵为M，B表得到对应的特征向量矩阵为N，再用余弦相似度公式计算行与行之间的相似度，得到m×n尺寸的相似度矩阵

。

根据如下公式计算相似度：

其中，

是相似度矩阵

中第i行第j列元素,

是A表第i行特征向量,

是B表第j行特征向量。

将相似度矩阵输入预设的线性规划算法，得到行与行之间的最佳匹配关系。

在一种可能的实现方式中，常用匈牙利线性规划算法快速高效求解，输出行之间的最佳匹配。最佳匹配结果是一个min(m,n) × 2的结果，如下所示：

那么最佳匹配关系是：

根据上述最佳匹配关系可知，A表第一行与B表第一行匹配，A表第二行与B表第三行匹配，A表第四行与B表第二行匹配，A表第三行未能与B表数据匹配。最佳匹配为目标值(最大)：0.8+0.9+0.1=1.8。

根据最佳匹配关系将匹配的行拼接，得到融合后的结构化表。

在一种可能的实现方式中，将A表与B表根据最佳匹配关系将匹配的行拼接，例如，将A表第一行与B表第一行拼接成一行，将A表第二行与B表第三行拼接成一行，将A表第四行与B表第二行拼接成一行。删除重复数据和未匹配数据。若有多张结构化表，可以先两两融合，最后得到融合后的结构化表。

通过上述方式，针对复杂结构的系统界面，能够关联数据并融合，解决数据关联性差的问题。

为了便于理解本申请实施例提供的智能屏显数据采集方法，下面结合附图2进行说明。如图2所示，该智能屏显数据采集方法框架包括：

多源信号接入与分屏，例如可以接入工控系统数据、医疗系统数据、政务系统数据、金融系统数据、新闻系统数据、视频数据等。然后利用分屏器将数据以VGA、HDMI、DP信号中的任意一种形式传送到微服务器。将USB主控端插入微服务器，被控端通过USB延长线插入源主机。在微服务器上安装模拟键鼠驱动，在微服务器上运行键鼠控制程序，控制源主机上的鼠标移动，达到切换界面、输入指定字符的目的。然后利用微服务器中存储的截图程序，进行屏显数据截取，将截取的图像输入OCR模型，进行数据识别，得到识别出来的字符类型以及鼠标位置信息。将输出的字符类型转化成结构化表。最后，在每两个结构化表行与行之间进行实体匹配，得到相似度矩阵，利用线性规划算法得到行与行之间的最佳匹配关系，根据最佳匹配关系进行数据融合。

下面结合附图3进行说明。如图3所示，该智能屏显数据采集方法包括如下步骤：

将分屏器输入端连接视频信号源。将分屏器输出端两个接口中的一个连接原显示器，另一个接口通过转换器将信号转化为HDMI/VGA/DP信号中的任意一种，同时转化器上需要插入安卓供电线，保证信号正常输出。

进一步地，将HDMI信号输入视频采集卡，输出通过USB连接线接入微服务器。打开微服务器上的视频采集软件，得到源视频信号的画面。

进一步地，通过存储在微服务器上的截屏程序进行截屏，得到截取的视频图像。

进一步地，将USB主控端插入微服务器，被控端通过USB延长线插入源主机。在微服务器上安装模拟键鼠驱动，在微服务器上运行键鼠控制程序，控制源主机上的鼠标移动，达到切换界面、输入指定字符的目的。

然后训练光学字符识别模型。采用预训练的光学字符识别模型对截取的图片中常见文本和字符进行定位与识别。若准确率达100%，则对光学字符识别模型中非常见的数据进行打标，得到包含鼠标位置信息的训练集和测试集。利用包含鼠标位置信息的训练集和测试集对上一步预训练的光学字符识别模型进行微调，在保证字符类型识别和鼠标位置识别准确率都为100%的情况下，保存训练好的光学字符识别模型。

若采用预训练的光学字符识别模型对截取的图片中常见文本和字符进行定位与识别。准确率没有达到100%，则对所有数据用打标工具进行标签化，获得这些数据组成的训练与测试集，每个训练数据包含裁剪后的图片与对应的标签：鼠标位置、字符类别。然后将光学字符识别模型在训练集上进行训练，在测试集上进行测试，若测试的准确率为100%，则保存训练好的光学字符识别模型。

进一步地，在指定时间利用模拟键鼠模块对源主机进行页面切换，具体地，利用微服务器上安装的模拟键鼠驱动，在微服务器上运行键鼠控制程序，通过在微服务器上移动鼠标或输入字符，从而实现切换源主机上的页面。利用训练好的光学字符识别模型对屏显视频图像进行定位识别，将待识别的图像输入光学字符识别模型，得到识别出来的鼠标位置以及字符类别数据。

判断识别出来的前后相邻的两张图像中的鼠标位置是否相同，若不相同，暂停采集屏显视频数据，预设时间段后再开始采集屏显视频数据。若前后相邻的两张图像中的鼠标位置相同，则将模型输出的类别信息转化成对应的数据，将这些数据按指定顺序输入到结构化表中。

最后，在每两个结构化表行与行之间进行实体匹配，得到相似度矩阵，利用线性规划算法得到行与行之间的最佳匹配关系，根据最佳匹配关系进行数据融合，将融合后的数据存入数据库。

本申请实施例提供的智能屏显数据采集方法，需要软硬件共同支撑，如图4所示，包含软件层与硬件层。软件层在微服务器上，存有各种软件、工具和算法，包括模拟键鼠驱动、键鼠控制程序、截屏程序、视频采集软件、光学字符识别模型、实体匹配算法、实体融合算法、打标工具。硬件层为信号分屏和截屏做支撑，硬件层需要将硬件具体排布，基于此本申请给出了一套基于模拟键鼠、分屏器与采集卡集成的数据获取装置，如图5所示，数据获取装置包括分屏器，用于将信号源一分为二。包括转接头，用于将视频信号转化为HDMI信号。包括充电线，用于连接转接头，保证HDMI信号正常输出。包括视频采集卡，用于传输HDMI信号，将信号通过USB接口输入至微服务器侧。包括模拟键鼠USB，用于将主控端连接微服务器，被控端连接源设备，通过微服务器上的键鼠控制程序移动鼠标或输入字符进行复杂系统页面的切换和查询。

根据本申请实施例提供的智能屏显数据采集方法，是一种基于屏显信息在系统显示界面上采集数据的首次应用。包括以下5大主要部分：多源信号接入与分屏、模拟键鼠、屏显数据截取、智能数据识别、智能数据关联融合。

基于此方法的实用性装置，易安装，易操作，可以采集任何操作系统上可通过鼠标点击显示的界面数据。只需存在信号HDMI/VGA/DP和USB接口，无需其他接口，无需解析协议，统一适用视频信号类数据采集场景。而且不影响源设备稳定性，不影响源设备正常使用。本申请实施例创造性地使用了智能数据关联融合技术，针对复杂结构的系统界面，能够关联数据并融合，解决数据关联性差的问题。而且允许系统界面中数据长度、高度发生变化，甚至能探测到鼠标发生移动而暂停自动化流程，适应各种会发生变化的场景。

本申请实施例还提供一种智能屏显数据采集装置，该装置用于执行上述实施例的智能屏显数据采集方法，如图7所示，该装置包括：

采集模块701，用于通过分屏器获取屏显视频数据，得到视频图像；

数据识别模块702，用于通过预训练的光学字符识别模型对视频图像进行定位识别，得到图像中的鼠标位置以及字符数据；

数据输出模块703，用于判断前后相邻的两张图像中的鼠标位置是否相同，若相同，则将字符数据转化成结构化表的形式并输出；

数据融合模块704，用于将输出的结构化表进行数据融合，得到融合后的结构化表。

需要说明的是，上述实施例提供的智能屏显数据采集装置在执行智能屏显数据采集方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的智能屏显数据采集装置与智能屏显数据采集方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

本申请实施例还提供一种与前述实施例所提供的智能屏显数据采集方法对应的电子设备，以执行上述智能屏显数据采集方法。

请参考图8，其示出了本申请的一些实施例所提供的一种电子设备的示意图。如图8所示，电子设备包括：处理器800，存储器801，总线802和通信接口803，处理器800、通信接口803和存储器801通过总线802连接；存储器801中存储有可在处理器800上运行的计算机程序，处理器800运行计算机程序时执行本申请前述任一实施例所提供的智能屏显数据采集方法。

其中，存储器801可能包含高速随机存取存储器（RAM：Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口803（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线802可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。其中，存储器801用于存储程序，处理器800在接收到执行指令后，执行程序，前述本申请实施例任一实施方式揭示的智能屏显数据采集方法可以应用于处理器800中，或者由处理器800实现。

处理器800可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器800中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器800可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器801，处理器800读取存储器801中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的智能屏显数据采集方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施例还提供一种与前述实施例所提供的智能屏显数据采集方法对应的计算机可读存储介质，请参考图9，其示出的计算机可读存储介质为光盘900，其上存储有计算机程序（即程序产品），计算机程序在被处理器运行时，会执行前述任意实施例所提供的智能屏显数据采集方法。

需要说明的是，计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的智能屏显数据采集方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种智能屏显数据采集方法，其特征在于，包括：

通过分屏器获取屏显视频数据，得到视频图像；

通过预训练的光学字符识别模型对所述视频图像进行定位识别，得到图像中的鼠标位置以及字符数据；

判断前后相邻的两张图像中的鼠标位置是否相同，若相同，则将所述字符数据转化成结构化表的形式并输出；

计算每两个结构化表行与行之间的相似度，得到相似度矩阵，将所述相似度矩阵输入预设的线性规划算法，得到行与行之间的最佳匹配关系，根据所述最佳匹配关系将匹配的行拼接，得到融合后的结构化表。

2.根据权利要求1所述的方法，其特征在于，计算每两个结构化表行与行之间的相似度，得到相似度矩阵，包括：

将所述结构化表中的每一行数据转化成特征向量；

通过余弦相似度公式计算每两个结构化表行与行之间的相似度，得到相似度矩阵。

3.根据权利要求1所述的方法，其特征在于，通过预训练的光学字符识别模型对所述视频图像进行定位识别之前，还包括：

获取多张截取的视频图像，对所述视频图像进行预处理；

对预处理后的视频图像中的鼠标位置以及字符类型进行标签化，得到包含鼠标位置信息以及字符类型信息的训练集和测试集；

通过所述训练集和测试集训练所述光学字符识别模型，得到训练好的光学字符识别模型。

4.根据权利要求1所述的方法，其特征在于，当前后相邻的两张图像中的鼠标位置不相同时，还包括：

暂停采集所述屏显视频数据，预设时间段后再开始采集所述屏显视频数据。

5.根据权利要求1所述的方法，其特征在于，通过分屏器获取屏显视频数据，得到视频图像包括：

接收分屏器采集的所述屏显视频数据；

根据预设的截屏算法进行截屏，得到视频图像。

6.根据权利要求1所述的方法，其特征在于，通过分屏器获取屏显视频数据，得到视频图像之前，还包括：

通过视频采集卡连接源主机；

安装模拟键鼠驱动，运行键鼠控制程序，控制源主机键鼠。

7.一种智能屏显数据采集装置，其特征在于，包括：

采集模块，用于通过分屏器获取屏显视频数据，得到视频图像；

数据识别模块，用于通过预训练的光学字符识别模型对所述视频图像进行定位识别，得到图像中的鼠标位置以及字符数据；

数据输出模块，用于判断前后相邻的两张图像中的鼠标位置是否相同，若相同，则将所述字符数据转化成结构化表的形式并输出；

数据融合模块，用于计算每两个结构化表行与行之间的相似度，得到相似度矩阵，将所述相似度矩阵输入预设的线性规划算法，得到行与行之间的最佳匹配关系，根据所述最佳匹配关系将匹配的行拼接，得到融合后的结构化表。

8.一种智能屏显数据采集设备，其特征在于，包括处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至6任一项所述的智能屏显数据采集方法。

9.一种计算机可读介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令被处理器执行以实现如权利要求1至6任一项所述的一种智能屏显数据采集方法。

Images