CN113515651A - 一种基于网格数据库的档案存储方法 - Google Patents

Abstract

本发明请求保护一种基于网格数据库的档案存储方法，结合图像处理和图像识别技术，设计出一种新型快速模板匹配方法，对原有方法识别速度进行了一定程度地优化，以新型快速模板匹配方法作为识别驱动，通过截图和界面的匹配实现对被测软件中GUI目标的识别，并且开发了一些列辅助功能，帮助进一步优化工具识别能力，提升了准确性、适应性和运行效率。基于图像模式识别的对象快速识别工具，应用于识别自动化测试中的GUI目标对象，具有一定地通用性，且适用于正在运行的软件。工具拥有自动抓取被测软件界面图、模板图自动拉伸和样式库等功能。通过图片方式快速获取GUI目标，而不需要调用多种复杂的接口和解析程序的源代码。

Description

一种基于网格数据库的档案存储方法

技术领域

本发明涉及数据库领域和数据处理领域，具体的，涉及一种基于网格数据库的档案存储方法。

背景技术

网格是下一代Internet上的计算平台，它的核心任务是管理分布在Internet广域环境中各种类型的软硬件资源，为基于Internet的分布式应用提供一个统一的、虚拟的共享资源计算平台。作为网格计算模型的一个重要组成部分，网格上的数据管理一直以来是网格研究的一个热点。目前网格数据管理的研究对象主要集中在基于文件的信息资源，很少涉及数据库资源，然而，来自于科学和商业领域的大量网格应用迫切需要数据库系统的支持，因此如何将数据库资源并入现有的网格架构，满足更加广泛的网格应用数据管理需求，已经成为一项亟待解决的新课题。

网格数据库是将数据库技术和网格技术相结合而形成的一个新的研究内容。目前国内外的研究主要集中在网格环境下数据库的访问和集成领域，即如何设计和实现网格应用与数据库系统的统一接口。用户能够以数据库无关的方式统一访问和管理存储在不同数据库中的数据，但对网格环境下分布式查询的支持很少。然而，与传统分布式数据库不同，在网格数据库中，分布式查询操作是进行在动态组成的虚拟数据库之上，每个节点上的数据库都只包含所需信息的一部分，查询操作还涉及到数据库异构性、通信开销等问题，这些都给网格环境下的分布式查询处理带来了新的困难。同时，在网格数据库的查询处理中还存在着局部代价参数不可得、不精确、不完全或变化的情况，使得传统的查询优化技术不能满足网格数据库的查询优化要求，需要采用适应性的查询处理AQP(adaptive queryprocessing)，即在查询执行期间，在网格环境参数发生变化的情况下，对查询计划中尚未进行的子查询进行适应性的动态优化调整，以保证最好的效率。

同时，GUI自动化测试技术的出现，有效地减少了测试资源的投入，提高了测试过程的整体效率，并且在保证了软件质量的基础上，减少软件开发迭代周期。对于所有GUI自动化测试工具而言，如何识别被测对象是其首要问题和关键技术。传统的控件识别方法是以开发框架和测试工具的API为基础的，非常依赖API的开放性，存在识别范围受限、灵活性低和成本高的缺点，且测试者需了解部分代码实现。如何结合实际测试需求，在该工具中增加相应的辅助功能，如自动抓取被测软件界面图、模板图自动拉伸和匹配结果存储等，以提升其适应性、识别效率、识别准确性以及使用便捷性成为亟待解决的问题。

发明内容

为了解决当前GUI档案图档案管理的识别效率、识别准确性以及使用便捷性问题，本发明请求保护一种基于网格数据库的档案存储方法，其特征在于，包括：

提供API接口，至少包括识别功能接口、匹配图抓取功能接口、模板图拉伸功能接口以及样式库存储读取功能接口；

完成匹配图自动抓取、模板图自动拉伸、样式库和调试；

采用新型快速模板匹配方法，至少包括核心的模板匹配主流程、灰度化算法、二值化算法和相似度计算函数；

获取档案元数据数据，所述档案元数据数据包括和存储路径相关的至少两个连续档案元数据，在所述至少两个连续档案元数据中具有最后的档案元数据；

获取档案画像数据，所述档案画像数据与所述至少两个连续档案元数据相关；

确定一个或多个候选档案图；

使用目标神经网络模型，基于所述档案元数据数据和档案画像数据，确定所述最后的档案元数据与所述一个或多个候选档案图中的每个候选档案图相匹配的匹配概率；以及将具有最高匹配概率的候选档案图指定为所述目标档案图；

在调用识别功能时，默认进行匹配图自动抓取的辅助功能，并且以二值图进行模板匹配，在识别成功后，会自动将匹配图、模板图和匹配结果存入样式库中对应目录。

进一步地，所述提供API接口，至少包括识别功能接口、匹配图抓取功能接口、模板图拉伸功能接口以及样式库存储读取功能接口，还包括：

所述识别功能接口：调用识别功能的函数，可直接调用识别驱动进行GUI目标识别，调用包含辅助功能的标准识别流程，具体调用的辅助功能可由函数参数控制；

当需要以本地档案图作为匹配图进行识别时，可置Tag_GetMatchArea参数为1，并指定本地档案图路径或Mat对象；当需要对匹配图和模板图进行存库时，可调用StorageImage接口，并指定档案图Mat对象和界面名称等参数即可在识别成功时对档案图存库；

所述匹配图抓取功能接口：单独调用匹配图自动抓取功能的函数，抓取指定窗口在屏幕区域的实时位图，抓取结果作为匹配图输出并存入样式库中；

所述模板图拉伸功能接口：单独调用档案图拉伸功能的函数，参数可指定被拉伸档案图，长宽拉伸比例可以与样式库已有档案图对比得出或由用户指定；

所述样式库存储读取功能接口：对匹配图、模板图和识别结果进行存储或读取的函数，加速工具的特殊情况下的识别速度。

进一步地，所述完成匹配图自动抓取、模板图自动拉伸、样式库和调试，还包括：

所述匹配图自动抓取：根据窗口名称对指定窗口界面图进行自动截图抓取；

所述模板图自动拉伸：提供自动或手动的模板图拉伸缩放功能，也可通过接口函数参数对其他指定档案图进行单独拉伸；

所述样式库：用于存储匹配图、模板图和匹配结果，可在其他功能使用时自动存储，或者单独调用对某档案图或匹配结果进行读写，也可以直接通过本地路径直接浏览；

所述调试模块：用于展示识别结果并给予用户选择识别方法的界面，方法使用者直接查看或调试当前调用的识别结果；

进一步地，所述采用新型快速模板匹配方法，至少包括核心的模板匹配主流程、灰度化算法、二值化算法和相似度计算函数，还包括：

所述模板匹配主流程：控制新型快速模板匹配流程的主函数，至少包括档案图尺寸校验、档案图类型校验、档案图类型转化、像素点对比和相似度计算步骤的执行逻辑；

所述灰度化算法：用于将彩色图转化成灰度图，采用加权平均法的灰度化算法，加权比重为0.30：0.59：0.11。

所述二值化算法：用于将灰度图转化成二值图，采用局部自适应阈值法的二值化算法，以局部均值来作为阈值。

所述相似度计算函数：衡量重叠区域与模板档案图的相似程度，算法中根据积分档案图快速计算区域像素点和，并利用卷积定理计算互相关系数，最后进一步求出归一化相关性系数作为相似度值。

进一步地，在调用识别功能时，默认进行匹配图自动抓取的辅助功能，并且以二值图进行模板匹配，在识别成功后，会自动将匹配图、模板图和匹配结果存入样式库中对应目录，还包括：

所述样式库为网格数据库；

所述网格数据库为分布的异构的数据库，采用基于OGSA的DAI作为底层支撑平台，至少包括数据库自动注册服务、数据库查询服务、XML文件解析服务，使用数据库连接缓冲池，集成不同的数据模块,主要是新增XML数据库与关系数据库的数据集成，提供一个统一的数据查询平台,实现局域网内多个异构数据库的数据查询与存储，利用OGSA-DAI提供的基础服务、组件和接口,构建高级的抽象服务,实现局域网内数据库的数据查询；

所述样式库的主要功能为存储，包括：匹配界面图存储、模板图存储和匹配结果存储；

通过样式库中存储的结果可加速工具的特殊情况下的识别速度，并赋予工具一定的易用性；

匹配界面图存储是将用户传入或工具自动获取的界面图进行存储，存储在库中的匹配界面图可由用户直接调用，作为匹配区域图的参数传入，或提供给固定获取方法时直接使用；

存储模板图，可用于存储用户截取的控件图，也可用于存储匹配成功的控件图，匹配结果的存储，是在匹配成功是进行自动存储的，会将匹配结果、匹配图和匹配区域图进行绑定；

所述存储的匹配结果信息目前主要为区域信息，支持扩充，用户可自行定义字段。

本发明结合图像处理和图像识别技术，设计出一种新型快速模板匹配方法，对原有方法识别速度进行了一定程度地优化，以新型快速模板匹配方法作为识别驱动，通过截图和界面的匹配实现对被测软件中GUI目标的识别，并且开发了一些列辅助功能，帮助进一步优化工具识别能力，提升了准确性、适应性和运行效率。基于图像模式识别的GUI对象快速识别工具，工具以设计出的快速识别方法为驱动，应用于识别自动化测试中的GUI目标对象，具有一定地通用性，且适用于正在运行的软件。工具拥有自动抓取被测软件界面图、模板图自动拉伸和样式库等功能。通过图片方式快速获取GUI目标，而不需要调用多种复杂的接口和解析程序的源代码。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所请求保护的一种基于网格数据库的档案存储方法的工作流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。

图1为本发明所请求保护的一种基于网格数据库的档案存储方法的工作流程图。本发明请求保护一种基于网格数据库的档案存储方法，其特征在于，包括：

提供API接口，至少包括识别功能接口、匹配图抓取功能接口、模板图拉伸功能接口以及样式库存储读取功能接口；

完成匹配图自动抓取、模板图自动拉伸、样式库和调试；

采用新型快速模板匹配方法，至少包括核心的模板匹配主流程、灰度化算法、二值化算法和相似度计算函数；

在调用识别功能时，默认进行匹配图自动抓取的辅助功能，并且以二值图进行模板匹配，在识别成功后，会自动将匹配图、模板图和匹配结果存入样式库中对应目录。

进一步地，所述提供API接口，至少包括识别功能接口、匹配图抓取功能接口、模板图拉伸功能接口以及样式库存储读取功能接口，还包括：

所述识别功能接口：调用识别功能的函数，可直接调用识别驱动进行GUI目标识别，调用包含辅助功能的标准识别流程，具体调用的辅助功能可由函数参数控制；

当需要以本地档案图作为匹配图进行识别时，可置Tag_GetMatchArea参数为1，并指定本地档案图路径或Mat对象；当需要对匹配图和模板图进行存库时，可调用StorageImage接口，并指定档案图Mat对象和界面名称等参数即可在识别成功时对档案图存库；

所述匹配图抓取功能接口：单独调用匹配图自动抓取功能的函数，抓取指定窗口在屏幕区域的实时位图，抓取结果作为匹配图输出并存入样式库中；

所述模板图拉伸功能接口：单独调用档案图拉伸功能的函数，参数可指定被拉伸档案图，长宽拉伸比例可以与样式库已有档案图对比得出或由用户指定；

所述样式库存储读取功能接口：对匹配图、模板图和识别结果进行存储或读取的函数，加速工具的特殊情况下的识别速度。

在进行模板匹配之前，需要先获取到窗口界面图作为匹配图。工具中设置匹配图的方式分为用户指定和自动获取两种。其中，用户指定是使用工具读取已有档案图，并以参数传入后续操作函数中；而自动获取是工具提供的一种便捷的获取方法，运用WindowsAPI对指定窗口进行识别并抓取窗口区域的位图。

根据抓取次数的不同，自动获取方式可分为实时获取和固定获取两种方法。考虑到在实际测试中，被测件窗口可能会被测试人员拖拽到屏幕上的任意档案元数据，以及被测界面可能有动态元素的情况，设计了实时获取的获取方式。该方法会在每次模板匹配中自动获取指定窗口的当前界面图。而固定获取方式对同个窗口，只会在第一次匹配中获取一次，并自动存储，在之后的匹配中直接使用存储的界面图进行匹配。而用户指定方式的主要目的是满足对整体自绘界面的进行控件识别的需求。例如QQ登录界面就是整体自绘的无窗口界面，不能通过窗口句柄进行抓取。此外，该方法可以方便用户在已有档案图时直接使用。

在实际的自动化测试中，测试工具需要先识别被测目标，再对其进行操作，这两个步骤都需要对被测软件窗口进行定位。在开发后续的自动化测试工具时，同样可采用自动抓取功能中使用的方法进行定位。

进一步地，所述完成匹配图自动抓取、模板图自动拉伸、样式库和调试，还包括：

所述匹配图自动抓取：根据窗口名称对指定窗口界面图进行自动截图抓取；

所述模板图自动拉伸：提供自动或手动的模板图拉伸缩放功能，也可通过接口函数参数对其他指定档案图进行单独拉伸；

所述样式库：用于存储匹配图、模板图和匹配结果，可在其他功能使用时自动存储，或者单独调用对某档案图或匹配结果进行读写，也可以直接通过本地路径直接浏览；

所述调试模块：用于展示识别结果并给予用户选择识别方法的界面，方法使用者直接查看或调试当前调用的识别结果；

匹配图的自动获取并不是获取整个屏幕界面，而是被测件窗口界面。其目的是为了而是过滤掉其他无效的屏幕区域，减少识别过程的计算量。对被测件窗口界面图的抓取，事实上是对被测件窗口在屏幕上的区域进行位图抓取。

窗口位图自动抓取功能的具体执行流程为：

(1)传入待抓取界面图的窗口名称；

(2)通过窗口名称获取对应的窗口句柄；若获取成功，则继续执行；若获取失败，

则提升获取失败，流程结束；

(3)通过窗口句柄获取窗口大小；

(4)通过窗口句柄获取对应的DC句柄；

(5)使用窗口句柄将窗口打开，并置于顶层中间显示；

(6)根据窗口DC创建相应的兼容位图；

(7)初始化用于存储位图数据的内存DC；

(8)将指定窗口DC中的像素进行位块转换，并传入内存兼容DC；

(9)初始化位图信息头，并给位图分配相应内存；

(10)将兼容位图的位制成设备无关位图DIB；

(11)将位图作为待抓取窗口界面图传出，并以PNG格式存于样式库中。

基于档案图模式识别的GUI目标快速识别工具中，窗口位图自动抓取的整个流程使用WindowsAPI和MFC库进行实现。比如通过FindWindow()由窗口名称获取窗口句柄、通过GetWindowRect()方法由窗口句柄获取窗口大小、通过BitBlt()指定窗口DC中的像素进行位块转换，并传送至内存兼容DC等等。需要注意的点是，若窗口展示不全或未展示在屏幕最上层，则窗口界面不能完全成像，故无法抓取到完整界面图。因此需要将窗口打开并完整显示在屏幕上再进行抓取。

进一步地，所述采用新型快速模板匹配方法，至少包括核心的模板匹配主流程、灰度化算法、二值化算法和相似度计算函数，还包括：

所述模板匹配主流程：控制新型快速模板匹配流程的主函数，至少包括档案图尺寸校验、档案图类型校验、档案图类型转化、像素点对比和相似度计算步骤的执行逻辑；

所述灰度化算法：用于将彩色图转化成灰度图，采用加权平均法的灰度化算法，加权比重为0.30：0.59：0.11。

所述二值化算法：用于将灰度图转化成二值图，采用局部自适应阈值法的二值化算法，以局部均值来作为阈值。

所述相似度计算函数：衡量重叠区域与模板档案图的相似程度，算法中根据积分档案图快速计算区域像素点和，并利用卷积定理计算互相关系数，最后进一步求出归一化相关性系数作为相似度值。

基于档案图模式识别的GUI目标快速识别工具中，采用了对模板图进行自动拉伸的方法，来实现对匹配界面图的分辨率自适应性，进而满足识别工具的分辨率自适应能力。模板图自动拉伸功能通常用于，因匹配界面分辨率发生变更而导致的控件大小改变的情况。对于第一次进行识别的编辑过程，模板图往往是从匹配图或者匹配源界面中获取，不会发生模板图和匹配界面分辨率有误的情况。在使用模板图自动拉伸的功能时，是否进行对比可通过接口参数进行选择，其缩放比例也可由接口直接指定。

模板图自动拉伸功能实现原理是，每次档案图匹配之前，将本次匹配图与之前识别成功的匹配图进行对比，计算两者比例；其中，之前识别成功的数据可以直接从样式库中读取。然后，根按比例对模板图进行缩放。具体流程如下：

(1)传入本次进行匹配的匹配图和模板图；

(2)判断拉伸比例获取模式，若选择的是自动判别，则继续执行；若选择的是指定比例，则跳转值步骤(5)；

(3)从样式库中读出模板图上次匹配结果，获取其中的匹配图分辨率记录；

(4)判断匹配图分辨率记录中的分辨率与本次匹配图分辨率是否相等，若不相等，则继续执行；若相等，则跳转值步骤(7)；

(5)使用本次匹配图分辨率长宽与匹配图分辨率记录中的长宽进行缩放比例计算；

(6)若长和宽的缩放比例都大于1，则对模板图进行拉伸操作；若都小于1，则对模

板图进行缩放操作；若长和宽的缩放比例分别处于1的两边，则以先长后宽对模板图依次进行拉伸或缩放操作；

(7)将拉伸或缩放后的档案图作为模板图传入识别驱动。

基于档案图模式识别的GUI控件目标快速识别工具中，使用OpenCV提供的cv::resize方法进行图片拉伸，包括放大和缩小。其中，图像放大使用立方插值算法(CV_INTER_CUBIC)，虽然算法速度略慢，但放大效果最好，放大图可以有效避免边缘出现锯齿的现象；档案图缩小使用像素关系重采样算法(CV_INTER_AREA)，算法速度同样略慢，但缩小效果最好，缩小图可以避免出现波纹。

在实际对GUI软件界面进行识别时，软件通常会以默认分辨率进行打开，即使跨机器也并不会导致分辨率的不同(默认以全屏显示除外)。并且，软件中大部分GUI元素是固定尺寸，不会因界面的大小变换而变换，而少部分是随整个窗口或某一区域的尺寸等比缩放。若是因机器分辨率不同而导致软件界面出现不同适配，或者是人为改变了界面尺寸时，对于固定尺寸的GUI元素，可以使用同一模板图即可在不同尺寸的界面上精准识别；而对于另一部分动态的元素，可以使用工具的模板图自动拉伸功能，即可满足对软件界面分辨率自适应的需求。需要注意的是，工具默认以窗口的缩放比例对模板图进行自动拉伸，若需要以窗口中某区域的缩放比例来实现，还需根据实际情况改写代码。

进一步地，在调用识别功能时，默认进行匹配图自动抓取的辅助功能，并且以二值图进行模板匹配，在识别成功后，会自动将匹配图、模板图和匹配结果存入样式库中对应目录，还包括：

所述样式库为网格数据库；

所述网格数据库为分布的异构的数据库，采用基于OGSA的DAI作为底层支撑平台，至少包括数据库自动注册服务、数据库查询服务、XML文件解析服务，使用数据库连接缓冲池，集成不同的数据模块,主要是新增XML数据库与关系数据库的数据集成，提供一个统一的数据查询平台,实现局域网内多个异构数据库的数据查询与存储，利用OGSA-DAI提供的基础服务、组件和接口,构建高级的抽象服务,实现局域网内数据库的数据查询；

所述样式库的主要功能为存储，包括：匹配界面图存储、模板图存储和匹配结果存储；

通过样式库中存储的结果可加速工具的特殊情况下的识别速度，并赋予工具一定的易用性；

匹配界面图存储是将用户传入或工具自动获取的界面图进行存储，存储在库中的匹配界面图可由用户直接调用，作为匹配区域图的参数传入，或提供给固定获取方法时直接使用；

存储模板图，可用于存储用户截取的控件图，也可用于存储匹配成功的控件图，匹配结果的存储，是在匹配成功是进行自动存储的，会将匹配结果、匹配图和匹配区域图进行绑定；

所述存储的匹配结果信息目前主要为区域信息，支持扩充，用户可自行定义字段。

元数据信息都存放在一个XML格式的文件中,整个元数据目录的管理也就是对这个XML文件的操作；本方法用"rg.w3c.dom程序包对该文档进行操作"；当数据源发布时,系统将数据源的信息转换为元数据,添加到元数据目录中,并且为其建立索引"ogsadai.metadata.叩eration.add包封装了以上操作；当访问数据源时,系统查询元数据目录并把数据源的访问信息返回给数据库数据库缓冲池的数据定位模块""gsadai.metadata.operation.query包封装了以上操作；当数据源发生改变时,系统将修改元数据目录中的内容，ogsadai.metadata.operation.uPdate包封装了以上操作。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

样式库的结构涉及为三层结构目录，分别为：Storage根目录层、被测软件二级目录层、界面级目录层。

样式库结构图充分展示了样式库的主要分层。需要注意的是，第二层目录下可以根据窗口是否子窗口和多种子区域再创建一集子目录，用于详细区分窗口不同的样式。样式库三层结构的存储内容分别为：(1)Storage根目录层。该层为工具样式库的根目录层，是第一级目录，存放以被测软件名称命名的二级目录，其每个目录即为一个第二层结构；(2)被测软件二级目录层。该层为样式库的第二层，默认以被测软件名称命令，包含Storage根目录下的二级目录和三级目录；其中，二级目录存放的是以窗口名称命名的三级目录，而三级目录存放的是以界面名称命名的四级目录；若某个窗口下没有多种界面，则三级目录直接为第三层，即界面级目录层；(3)界面级目录层。第三层是以界面名称命令的三级或四级目录，存放匹配区域图、匹配图和匹配结果数据。基于档案图模式识别的GUI目标快速识别工具中使用system()函数直接执行windows命令，来实现对样式库的创建和管理；例如用“mkdir目录名”来创建目录。

储存功能是样式库模块的核心功能，可将匹配图、模板图和匹配结果进行存储。而存于库中的档案图和数据主要提供两个方面的用处。其一，是在识别驱动前提供读库功能，便于从样式库中读取匹配图或匹配结果以节省流程中部分开销。其二，是对抓取的位图或识别成功的模板图和匹配结果进行存储，便于后续识别中使用。按照存储流程，可划分为匹配图存储功能和匹配结果存储功能，其中识别结果存储功能包括模板图和匹配结果存储。

(1)匹配图存储功能

匹配图即匹配界面的原图、灰度图、二值图。工具通过对其存储，来实现在同一界面重复识别时的快速匹配，即识别过程中仅需进行一次界面图的抓取、匹配图的灰度化和二值化。并且本地的界面图还可以方便用户截图。工具中使用OpenCV提供的imwrite方法对Mat类型的匹配图进行存储。

(2)识别结果存储功能

样式库提供对之前识别成功的模板图和匹配结果的存储功能，是否开启同样可由识别功能接口的参数控制，也可单独调用。存储的匹配结果内容包括匹配成功的模板图和对应的坐标点信息等数据。其匹配成功的模板图用于在测试脚本中复用。而匹配结果数据主要用于优化识别工具的识别流程，使其在重复识别同一模板图时能够快速输出结果，而不用重复匹配。

GUI目标识别时的读库流程具体为：

(1)传入待识别控件图、被测界面信息和软件信息；

(2)根据接口参数选择是否进行读库操作；若选择读取匹配结果，则继续；若选择

读取匹配图，则跳转④；若选择不读库则跳转至⑤；

(3)根据被测界面信息和模板图信息，查询样式库；若有识别结果，则返回匹配结

果中坐标和区域信息，并直接结束；若无识别结果，则跳转至⑤；

(4)根据被测软件信息和被测界面信息，查询样式库；若有对应匹配图，则读取已

进行预处理的匹配图，并跳转至⑥；若无对应匹配图，则继续执行；

(5)对截取或传入的匹配图继续预处理操作；

(6)对传入的模板图继续预处理操作；

(7)以模板图和匹配图，通过新型快速模板匹配算法继续匹配；

(8)返回匹配结果。

识别成功后的匹配结果数据会以xml文件的形式进行保存。在xml文件的根节点下，由界面图节点Area和控件图节点Control两个子部分组成，分别存储目录下的界面图信息和控件图信息。工具中通过tinyXml库实现对xml文件的读写操作。其中，界面图节点Area中存储的界面图信息包括：界面图名称、所属软件名称、所属窗口名称、档案图尺寸、存储路径、库深度和描述。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于网格数据库的档案存储方法，其特征在于，包括：

提供API接口，至少包括识别功能接口、匹配图抓取功能接口、模板图拉伸功能接口以及样式库存储读取功能接口；

完成匹配图自动抓取、模板图自动拉伸、样式库和调试；

采用新型快速模板匹配方法，至少包括核心的模板匹配主流程、灰度化算法、二值化算法和相似度计算函数；

获取档案元数据数据，所述档案元数据数据包括和存储路径相关的至少两个连续档案元数据，在所述至少两个连续档案元数据中具有最后的档案元数据；

获取档案画像数据，所述档案画像数据与所述至少两个连续档案元数据相关；确定一个或多个候选档案图；

使用目标神经网络模型，基于所述档案元数据数据和档案画像数据，确定所述最后的档案元数据与所述一个或多个候选档案图中的每个候选档案图相匹配的匹配概率，将具有最高匹配概率的候选档案图指定为所述目标档案图；

在调用识别功能时，默认进行匹配图自动抓取的辅助功能，并且以二值图进行模板匹配，在识别成功后，会自动将匹配图、模板图和匹配结果存入样式库中对应目录。

2.如权利要求1所述的一种基于网格数据库的档案存储方法，其特征在于，所述提供API接口，至少包括识别功能接口、匹配图抓取功能接口、模板图拉伸功能接口以及样式库存储读取功能接口，还包括：

所述识别功能接口：调用识别功能的函数，可直接调用识别驱动进行GUI目标识别，调用包含辅助功能的标准识别流程，具体调用的辅助功能可由函数参数控制；

当需要以本地档案图作为匹配图进行识别时，可置Tag_GetMatchArea参数为1，并指定本地档案图路径或Mat对象；当需要对匹配图和模板图进行存库时，可调用StorageImage接口，并指定档案图Mat对象和界面名称等参数即可在识别成功时对档案图存库；

所述匹配图抓取功能接口：单独调用匹配图自动抓取功能的函数，抓取指定窗口在屏幕区域的实时位图，抓取结果作为匹配图输出并存入样式库中；

所述模板图拉伸功能接口：单独调用档案图拉伸功能的函数，参数可指定被拉伸档案图，长宽拉伸比例可以与样式库已有档案图对比得出或由用户指定；

所述样式库存储读取功能接口：对匹配图、模板图和识别结果进行存储或读取的函数，加速工具的特殊情况下的识别速度。

3.如权利要求1所述的一种基于网格数据库的档案存储方法，其特征在于，所述完成匹配图自动抓取、模板图自动拉伸、样式库和调试，还包括：

所述匹配图自动抓取：根据窗口名称对指定窗口界面图进行自动截图抓取；

所述模板图自动拉伸：提供自动或手动的模板图拉伸缩放功能，也可通过接口函数参数对其他指定档案图进行单独拉伸；

所述样式库：用于存储匹配图、模板图和匹配结果，可在其他功能使用时自动存储，或者单独调用对某档案图或匹配结果进行读写，也可以直接通过本地路径直接浏览；

所述调试模块：用于展示识别结果并给予用户选择识别方法的界面，方法使用者直接查看或调试当前调用的识别结果。

4.如权利要求1所述的一种基于网格数据库的档案存储方法，其特征在于，所述采用新型快速模板匹配方法，至少包括核心的模板匹配主流程、灰度化算法、二值化算法和相似度计算函数，还包括：

所述模板匹配主流程：控制新型快速模板匹配流程的主函数，至少包括档案图尺寸校验、档案图类型校验、档案图类型转化、像素点对比和相似度计算步骤的执行逻辑；

所述灰度化算法：用于将彩色图转化成灰度图，采用加权平均法的灰度化算法，加权比重为0.30：0.59：0.11。

所述二值化算法：用于将灰度图转化成二值图，采用局部自适应阈值法的二值化算法，以局部均值来作为阈值。

所述相似度计算函数：衡量重叠区域与模板档案图的相似程度，算法中根据积分档案图快速计算区域像素点和，并利用卷积定理计算互相关系数，最后进一步求出归一化相关性系数作为相似度值。

5.如权利要求1所述的一种基于网格数据库的档案存储方法，其特征在于，

在调用识别功能时，默认进行匹配图自动抓取的辅助功能，并且以二值图进行模板匹配，在识别成功后，会自动将匹配图、模板图和匹配结果存入样式库中对应目录，还包括：

所述样式库为网格数据库；

所述网格数据库为分布的异构的数据库，采用基于OGSA的DAI作为底层支撑平台，至少包括数据库自动注册服务、数据库查询服务、XML文件解析服务，使用数据库连接缓冲池，集成不同的数据模块,主要是新增XML数据库与关系数据库的数据集成，提供一个统一的数据查询平台,实现局域网内多个异构数据库的数据查询与存储，利用OGSA-DAI提供的基础服务、组件和接口,构建高级的抽象服务,实现局域网内数据库的数据查询；

所述样式库的主要功能为存储，包括：匹配界面图存储、模板图存储和匹配结果存储；

通过样式库中存储的结果可加速工具的特殊情况下的识别速度，并赋予工具一定的易用性；

匹配界面图存储是将用户传入或工具自动获取的界面图进行存储，存储在库中的匹配界面图可由用户直接调用，作为匹配区域图的参数传入，或提供给固定获取方法时直接使用；

存储模板图，可用于存储用户截取的控件图，也可用于存储匹配成功的控件图，匹配结果的存储，是在匹配成功是进行自动存储的，会将匹配结果、匹配图和匹配区域图进行绑定；

所述存储的匹配结果信息目前主要为区域信息，支持扩充，用户可自行定义字段。

Images