CN109815100A - 一种利用图像对比分析对叫号宝软件的行为监控方法 - Google Patents

Abstract

本发明公开了一种利用图像对比分析对叫号宝软件的行为监控方法，它如下步骤：一、界面模板预存；二、获取Mask区域；三、图像对比；四、OCR识别；本发明能够自动监控叫号宝的软件界面，并同时从中提取有效信息，减少了人工操作，提高了工作效率。

Description

一种利用图像对比分析对叫号宝软件的行为监控方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种利用图像对比分析对叫号宝软件的行为监控方法。

背景技术

随着计算机技术、网络化、信息化、自动化、智能化的发展，计算机技术广泛应用到社会各方面，通过对用户操作界面分析从而对用户操控软件的行为进行分析，判断出用户操作的行为，这方面的需求会越来越多，比如家长通过检测每一个页面的时间和顺序来监控小孩玩电脑的行为；再比如通过监控操作界面的变化知道新学员学习某个软件的弱点，进行针对性的指导。

对于医疗操作软件来说，其往往有很多类型，其中叫号宝便是一种在医院中广泛应有的一个软件系统，用于病人的收费和登记信息等。如果人工去监控界面，以及从界面中获取病人的相关信息，十分繁琐。

传统方法只是对用户的操作界面进行监控，根据操作界面的变化来判断用户操作了哪些界面，但是对于用户在界面的操作行为，则无法判断。是一种静态监控方法，没法分析动态行为。

目前较先进的传统方法，对用户的操作行为与用户模型库中的用户预设行为进行对比，智能分析用户的后续操作，自动呈现用户所需界面，这种方法虽然动态分析了用户的行为并自动呈现用户所需界面，但是无法分析用户在界面操作中的内容，无法实现用户操作的内容识别和传送。

发明内容

本发明的目的在于针对现有技术的缺陷和不足，提供一种利用图像对比分析对叫号宝软件的行为监控方法。

为实现上述目的，本发明采用的技术方案是：它如下步骤：

一、界面模板预存：叫号宝软件主要由两个主要界面构成，即软件的收费界面和新农合界面，通过存储界面模块预先存储这两个界面；当打开这两个界面之后，这两个界面的图像都作为界面模板保存下来，并记录下这两个界面在医生电脑屏幕中的位置信息；

二、获取Mask区域：在模板图像中，姓名、收费类型、药品栏目、总费用的文本框的区域就是Mask区域，保存下这些Mask区域的位置信息；

三、图像对比：获取当前医生操作界面的截图，按照之前存储的界面模板区域的位置，从截图中获取软件界面部分，同时按照之前存储的Mask区域的位置信息，只保存非Mask区域，并和界面模板进行对比，获取最佳相似度所对应的界面，判断出该当前界面是收费界面还是新农合界面；

四、OCR识别：当确定当前截图的界面类型是收费界面还是新农合界面后，按照姓名、收费类型以及药品栏目这些文本框的位置信息，提取对应区域的图像内容，并进行OCR识别，从中获取详细的病人看病费用的文字信息。

采用上述方案后，本发明有益效果为：本发明所述的一种利用图像对比分析对叫号宝软件的行为监控方法，能够自动监控叫号宝的软件界面，并同时从中提取有效信息，减少了人工操作，提高了工作效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的整体流程图；

图2是图像对比流程图。

具体实施方式

下面结合附图，对本发明作进一步的说明。

本具体实施方式采用的技术方案是：参看图1所示，它如下步骤：

一、界面模板预存：叫号宝软件主要由收费界面和新农合界面这两个界面构成，将这两个界面作为重点监控对象，从界面中提取出相应的有效信息；

通过存储界面模块预先存储这两个界面；当打开这两个界面之后，分别记录下收费界面和新农合界面的矩形框在电脑屏幕中的位置，并依次表示为L1和L2；并依次保存这两个界面图像，并记为P1和P2，作为后续操作的对比模板；

二、获取Mask区域：在新农合界面和收费界面中，对于不同的病人，其有些信息是不一样的，比如病人的姓名、收费类型、药品栏目等；如果把这些参与到与模板对比中，则会对于当前界面的类型判断造成干扰，因此，需要将这些区域去除掉，则这些被去除的区域被称为Mask区域；具体操作步骤如下：

A、对于收费界面，记录下病人姓名文本框、收费类型矩形文本框的位置信息，将这些文本框区域作为Mask区域；

B、对于新农合界面，记录下费用总额以及中心端费用总额这两个文本框的位置信息，将这些文本框区域作为Mask区域；

三、图像对比：获取当前医生操作界面的截图，按照之前存储的模板区域的位置，从截图中获取软件界面部分，同时按照之前存储的Mask区域的位置信息，只保存非Mask区域，并和模板进行对比，获取最佳相似度所对应的界面，判断出该当前界面是收费界面还是新农合界面；

参看图2所示，图像对比的具体操作步骤如下：

(1)图像截屏：调用后台截屏程序，每隔1s，截下当前电脑界面的图像，记为Ti，其中i表示当前时刻；

(2)界面裁剪：由于不知道当前界面是那种类型，因此需要对保存的两个模板，依次进行对比；根据已经获取的两张模板分别在电脑屏幕中的位置信息，在当前图像Ti中，按照该位置信息，裁剪对应矩形区域，保存为T_l；

(3)Mask区域裁剪：由于Mask区域变化幅度较大，因此，对于模板对比会造成干扰，因此需对于Mask区域进行去除，降低干扰；

如果其按照收费界面实施，则对于保存的图像Ti获取Mask区域位置，并去除相应Mask区域，剩下的图像标记为Ai，如果其按照新农合界面实施，则去除相应Mask区域后，剩下的图像同样标记为Ai；此外，对于两张模板图像，同样分别去除对应的Mask区域，则两张模板图分别去除其对应的Mask区域之后，可标记为P1和P2；

(4)图像对比：根据图像Ai和界面模板进行对比，判断其属于的类型；具体实施步骤如下：

A、图像灰度化

不管是模板图像还是图像Ai，其均是输出彩色的三通道图像，对于图像匹配来说，实施起来相对复杂；而灰度图像属于单通道图像，匹配起来比较简单，且保留了原始图像的大部分信息，故可以很好地适用于图像的匹配；图像Ai、P1和P2经过灰度化操作之后，分别标记为Ai、P1和P2；

B、判断图像类型

i)按照收费界面的位置信息和其对应的Mask位置信息，进行裁剪，获取到图像Ai，其灰度化图像Ai和P1进行逐像素点的匹配，如果同一位置中，Ai和P1像素点的值不一样的像素点数目小于200，则说明匹配成功，该时刻对应的界面属于收费界面，持续监控，否则，继续进行步骤ii；

ii)按照新农合界面的位置信息和其对应的Mask位置信息，进行裁剪，获取到图像Ai，其灰度化图像Ai和P2进行逐像素点的匹配，如果同一位置中，Ai和P2像素点的值不一样的像素点数目小于200，则说明匹配成功，该时刻对应的界面属于新农合面，否则，该时刻的界面既不属于收费界面，也不属于新农合界面，继续持续监控；

(5)持续监控：由于已经获取到时刻为i的界面的类型，每隔1s执行步骤(1)-步骤(4)，从而实现对医生电脑界面的持续监控；

此外，在步骤(4)的图像对比中，由于已经知道上一个时刻的对应界面类型(第一次检测除外)，即收费界面、新农合界面或其他界面；则在当前时刻中，优先采用上一个时刻已经知道的界面类型所对应的模板进行匹配，非收费界面和新农合界面除外，从而提高检测效率；

四、OCR识别：当确定当前截图的界面类型是收费界面还是新农合界面后，按照姓名、收费类型以及药品栏目等文本框的位置信息，提取对应区域的图像内容，并进行OCR识别，从中获取详细的病人看病费用的文字信息；

对于时刻i，通过获取到其对应界面的类型，判断其界面类型，若界面类型属于收费界面或者是新农合界面，则执行OCR识别部分，否则继续执行下一刻的界面监控；

如果当前界面属于收费界面，根据收费界面获取到的Mask区域的位置信息，提取出相应的图像区域，这些区域则包括病人姓名文本框、收费类型等信息，接下来便调用已经公开的OCR识别程序，进行从这些区域中，以文字的形式，提取出病人的信息和收费类型等信息；

如果当前界面属于新农合界面，根据新农合界面获取到的Mask区域的位置信息，提取出相应的图像区域，这些区域则包括费用总额以及中心端费用总额等信息，接下来便调用已经公开的OCR识别程序，进行从这些区域中，以文字的形式，提取出病人的费用总额以及中心端费用总额等信息。

本具体实施方式具有以下优点：

1、采用模板匹配的方法，准确的得知叫号宝软件中当前界面的类型；

2、当获取到当前时刻的界面类型后，便可以从图中的相关位置(不同类型的界面中，不同有效信息在图像中的位置是不一样的)，以文字的形式，提取出病人的相关信息；

3、由于是实时监控叫号宝的软件界面，因此，可以知道某一个页面打开的时间，或者某一个页面跳转到另一个页面的时间，通过检测软件界面类型是否发生变化，判断页面是否发生跳转现象。

4、通过模板匹配的方法，极大地降低了界面类型判断的时间，提高了效率。

以上所述，仅用以说明本发明的技术方案,而非限制本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种利用图像对比分析对叫号宝软件的行为监控方法，其特征在于它如下步骤：

一、界面模板预存：叫号宝软件主要由两个主要界面构成，即软件的收费界面和新农合界面，通过存储界面模块预先存储这两个界面；当打开这两个界面之后，这两个界面的图像都作为界面模板保存下来，并记录下这两个界面在医生电脑屏幕中的位置信息；

二、获取Mask区域：在模板图像中，姓名、收费类型、药品栏目、总费用的文本框的区域就是Mask区域，保存下这些Mask区域的位置信息；

三、图像对比：获取当前医生操作界面的截图，按照之前存储的界面模板区域的位置，从截图中获取软件界面部分，同时按照之前存储的Mask区域的位置信息，只保存非Mask区域，并和界面模板进行对比，获取最佳相似度所对应的界面，判断出该当前界面是收费界面还是新农合界面；

四、OCR识别：当确定当前截图的界面类型是收费界面还是新农合界面后，按照姓名、收费类型以及药品栏目这些文本框的位置信息，提取对应区域的图像内容，并进行OCR识别，从中获取详细的病人看病费用的文字信息。

2.根据权利要求1所述的一种利用图像对比分析对叫号宝软件的行为监控方法，其特征在于步骤三中图像对比的具体操作步骤如下：

(1)图像截屏：调用后台截屏程序，每隔1s，截下当前电脑界面的图像，记为Ti，其中i表示当前时刻；

(2)界面裁剪：由于不知道当前界面是那种类型，因此需要对保存的两个模板，依次进行对比；根据已经获取的两张模板分别在电脑屏幕中的位置信息，在当前图像Ti中，按照该位置信息，裁剪对应矩形区域，保存为T_l；

(3)Mask区域裁剪：由于Mask区域变化幅度较大，因此，对于模板对比会造成干扰，因此需对于Mask区域进行去除，降低干扰；

如果其按照收费界面实施，则对于保存的图像Ti获取Mask区域位置，并去除相应Mask区域，剩下的图像标记为Ai，如果其按照新农合界面实施，则去除相应Mask区域后，剩下的图像同样标记为Ai；此外，对于两张模板图像，同样分别去除对应的Mask区域，则两张模板图分别去除其对应的Mask区域之后，可标记为P1和P2；

(4)图像对比：根据图像Ai和界面模板进行对比，判断其属于的类型；具体实施步骤如下：

A、图像灰度化

不管是模板图像还是图像Ai，其均是输出彩色的三通道图像，对于图像匹配来说，实施起来相对复杂；而灰度图像属于单通道图像，匹配起来比较简单，且保留了原始图像的大部分信息，故可以很好地适用于图像的匹配；图像Ai、P1和P2经过灰度化操作之后，分别标记为Ai、P1和P2；

B、判断图像类型

i)按照收费界面的位置信息和其对应的Mask位置信息，进行裁剪，获取到图像Ai，其灰度化图像Ai和P1进行逐像素点的匹配，如果同一位置中，Ai和P1像素点的值不一样的像素点数目小于200，则说明匹配成功，该时刻对应的界面属于收费界面，持续监控，否则，继续进行步骤ii；

ii)按照新农合界面的位置信息和其对应的Mask位置信息，进行裁剪，获取到图像Ai，其灰度化图像Ai和P2进行逐像素点的匹配，如果同一位置中，Ai和P2像素点的值不一样的像素点数目小于200，则说明匹配成功，该时刻对应的界面属于新农合面，否则，该时刻的界面既不属于收费界面，也不属于新农合界面，继续持续监控；

(5)持续监控：由于已经获取到时刻为i的界面的类型，每隔1s执行步骤(1)-步骤(4)，从而实现对医生电脑界面的持续监控；

此外，在步骤(4)的图像对比中，由于已经知道上一个时刻的对应界面类型(第一次检测除外)，即收费界面、新农合界面或其他界面；则在当前时刻中，优先采用上一个时刻已经知道的界面类型所对应的模板进行匹配，非收费界面和新农合界面除外，从而提高检测效率。