CN112199254B - 数据模型的扫描方法、系统、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及应用程序埋点技术领域，公开了一种数据模型的扫描方法、系统、计算机设备及计算机存储介质，该方法包括：读取扫描配置文件获取待处理DB表；遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件；根据所述目标模型文件检测所述待处理DB表影响的数据模型，并扫描所述数据模型的全部数据报表；检测全部所述数据报表各自的使用状态，并整合所述使用状态生成所述数据模型的扫描结果。此外，本发明还涉及区块链技术，扫描配置文件可存储在区块链中。本发明不仅能省去大量人工扫描模型进行排查的繁琐工作，还可避免基于人工操作的不确定隐私导致的扫描错误，提升模型扫描的效率以及整体排查质量。

Description

数据模型的扫描方法、系统、计算机设备及存储介质

技术领域

本发明涉及应用程序埋点技术领域，尤其涉及一种移动APP(Application，应用程序)的数据埋点方法、系统、计算机设备以及计算机存储介质。

背景技术

时下，一些常用数据模型的底层数据大致可以包括DB(Database：数据库)表、模型文件以及报表等。在应用到该数据模型的产品的整个生命周期中，常常需要对该数据模型底层数据的DB表进行修改或者进行下线处理，如此，便需要扫描数据模型以准确分析该DB表在该数据模型的影响范围，以规避对该DB表的处理导致数据模型在产品中的运行出现错误。

现有针对数据模型进行扫描的方式，多是基于工作人员手动的遍历数据模型每个模型文件夹下的模型文件来进行搜索排查的，并且，基于模型文件结构的特殊性，工作人员在每一次扫描到模型文件中引用了需要进行修改或者下线处理的DB表的节点之后，还需要确定该节点是否为模型结构化语言。

综上，现有针对数据模型进行扫描的方式，通过人工遍历数据模型庞大的模型文件，整个扫描的过程非常繁琐且工作量非常大，数据模型扫描的整体效率低下且出错率高。

发明内容

本发明的主要目的在于提供一种数据模型的扫描方法、系统、计算机设备及计算机存储介质，旨在解决现有针对数据模型进行数据模型扫描的效率低下且出错率高的技术问题。

为实现上述目的，本发明实施例提供一种数据模型的扫描方法，所述数据模型的扫描方法包括：

读取扫描配置文件获取待处理DB表；

遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件；

根据所述目标模型文件检测所述待处理DB表影响的数据模型，并扫描所述数据模型的全部数据报表；

检测全部所述数据报表各自的使用状态，并整合所述使用状态生成所述数据模型的扫描结果。

优选地，在所述遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件的步骤之前，所述方法还包括：

读取所述扫描配置文件获取数据库信息，并根据所述数据库信息确定所述模型文件。

优选地，所述遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件的步骤，包括：

遍历所述模型文件以检测所述模型文件中是否包含有预设的结构化查询语句，其中，所述结构化查询语句中封装有所述待处理DB表的表名；

若是，则确定所述模型文件为引用待处理DB表的目标模型文件。

优选地，所述根据所述目标模型文件检测所述待处理DB表影响的数据模型，并扫描所述数据模型的全部数据报表的步骤，包括：

在所述目标模型文件符合预设条件时，读取所述目标模型文件中包含的模型名；

确定所述模型名所标识的数据模型为所述待处理DB表影响的数据模型；

扫描所述数据模型下的全部数据报表。

优选地，在所述在所述目标模型文件符合预设条件时，读取所述目标模型文件中包含的模型名的步骤之前，还包括：

检测所述目标模型文件是否符合预设条件；

所述检测所述目标模型文件是否符合预设条件的步骤，包括：

定位所述目标模型文件中预设的结构化查询语句的特定节点；

在识别到所述特定节点的上下节点为预设的数据结构时，确定所述目标模型文件符合预设条件，否则，确定所述目标模型文件不符合预设条件。

优选地，所述整合所述使用状态生成所述数据模型的扫描结果的步骤，包括：

确定所述待处理DB表、所述数据模型以及全部所述数据报表之间的对应关系；

整合所述对应关系与所述使用状态生成预设文档，并将所述预设文档作为所述数据模型的扫描结果。

优选地，所述扫描配置文件存储于区块链中，所述读取扫描配置文件以获取待处理DB表的步骤，包括：

从所述区块链中提取所述扫描配置文件，其中，所述扫描配置文件中封装有待处理DB表的表清单；

遍历所述表清单以获取所述待处理DB表。

此外，为实现上述目的，本发明还提供一种数据模型的扫描系统，所述数据模型的扫描系统包括：

读取模块，用于读取扫描配置文件获取待处理DB表；

遍历模块，用于遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件；

扫描模块，用于根据所述目标模型文件检测所述待处理DB表影响的数据模型，并扫描所述数据模型的全部数据报表；

生成模块，用于检测全部所述数据报表各自的使用状态，并整合所述使用状态生成所述数据模型的扫描结果。

此外，为实现上述目的，本发明还提供一种计算机设备，所述计算机设备包括：存储器、处理器，通信总线以及存储在所述存储器上的数据模型的扫描程序，

所述通信总线用于实现处理器与存储器间的通信连接；

所述处理器用于执行所述数据模型的扫描程序，以实现以下步骤：

读取扫描配置文件获取待处理DB表；

遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件；

根据所述目标模型文件检测所述待处理DB表影响的数据模型，并扫描所述数据模型的全部数据报表；

检测全部所述数据报表各自的使用状态，并整合所述使用状态生成所述数据模型的扫描结果。

此外，为实现上述目的，本发明还提供一种计算机存储介质，所述计算机存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个或者一个以上的处理器执行以用于：

读取扫描配置文件获取待处理DB表；

遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件；

根据所述目标模型文件检测所述待处理DB表影响的数据模型，并扫描所述数据模型的全部数据报表；

检测全部所述数据报表各自的使用状态，并整合所述使用状态生成所述数据模型的扫描结果。

本发明提供的数据模型的扫描方法、系统、计算机设备以及计算可读存储介质，通过读取扫描配置文件获取待处理DB表；遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件；根据所述目标模型文件检测所述待处理DB表影响的数据模型，并扫描所述数据模型的全部数据报表；检测全部所述数据报表各自的使用状态，并整合所述使用状态生成所述数据模型的扫描结果。本发明基于运行程序读取用户预先配置生成的配置文件以获取需要进行修改或者下线的待处理DB表，然后自动开始遍历模型文件以检测得到该待处理DB所影响的全部数据模型，并扫描得到该数据模型下的全部数据报表，逐一检测该数据报表各自的使用状态，最后，程序自动整合该使用状态以生成针对数据模型进行扫描排查的扫描结果并输出。

本发明实现了，开发或测试人员只需要配置要修改或者下线的待处理DB表形成配置文件，基于运行程序即可自动遍历扫描数据模型和解析模型文件，无需开发或测试人员根据需要修改或者进行下线的待处理DB表清单，手工遍历排查数据模型大量的模型文件，然后分析得出该待处理DB表影响的数据模型以及数据模型下的数据报表，不仅省去了大量人工扫描模型进行排查的繁琐工作，还避免了基于人工操作的不确定因素导致的扫描错误，极大程度上提升了模型扫描的效率以及整体排查质量。

附图说明

图1为本发明实施例方法涉及的计算机设备硬件运行环境的结构示意图；

图2为本发明数据模型的扫描方法一实施例的流程示意图；

图3为本发明数据模型的扫描系统的功能模块示意图。

本发明目的的实现、功能特点及优点将整合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：通过读取扫描配置文件获取待处理DB表；遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件；根据所述目标模型文件检测所述待处理DB表影响的数据模型，并扫描所述数据模型的全部数据报表；检测全部所述数据报表各自的使用状态，并整合所述使用状态生成所述数据模型的扫描结果。

时下，一些常用数据模型的底层数据大致可以包括DB(Database：数据库)表、模型文件以及报表等。在应用到该数据模型的产品的整个生命周期中，常常需要对该数据模型底层数据的DB表进行修改或者进行下线处理，如此，便需要扫描数据模型以准确分析该DB表在该数据模型的影响范围，以规避对该DB表的处理导致数据模型在产品中的运行出现错误。

现有针对数据模型进行扫描的方式，多是基于工作人员手动的遍历数据模型每个模型文件夹下的模型文件以查看哪个模型文件的特定节点引用了DB表，在该特定节点关联搜索模型名并基于该模型名到测试库查找该模型下都有哪些可用报表，从而，整个排查DB表影响范围的过程非常繁琐，需要遍历多个文件才能够实现，并且，基于模型文件结构的特殊性，工作人员在每一次扫描到模型文件中引用了需要进行修改或者下线处理的DB表的节点之后，还需要确定该节点是否为模型结构化语言。

综上，现有针对数据模型进行扫描的方式，通过人工遍历数据模型庞大的模型文件，整个扫描的过程非常繁琐且工作量非常大，数据模型扫描的整体效率低下且出错率高。

本发明提供的解决方案，基于运行程序读取用户预先配置生成的配置文件以获取需要进行修改或者下线的待处理DB表，然后自动开始遍历模型文件以检测得到该待处理DB所影响的全部数据模型，并扫描得到该数据模型下的全部数据报表，逐一检测该数据报表各自的使用状态，最后，程序自动整合该使用状态以生成针对数据模型进行扫描排查的扫描结果并输出。

本发明实现了，开发或测试人员只需要配置要修改或者下线的待处理DB表形成配置文件，基于运行程序即可自动遍历扫描数据模型和解析模型文件，无需开发或测试人员根据需要修改或者进行下线的待处理DB表清单，手工遍历排查数据模型大量的模型文件，然后分析得出该待处理DB表影响的数据模型以及数据模型下的数据报表，不仅省去了大量人工扫描模型进行排查的繁琐工作，还避免了基于人工操作的不确定因素导致的扫描错误，极大程度上提升了模型扫描的效率以及整体排查质量。

如图1所示，图1是本发明实施例方案涉及的计算机设备硬件运行环境的设备结构示意图。

本发明实施例计算机设备可以是PC、智能手机、平板电脑和便携计算机等终端设备。

如图1所示，该计算机设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，该计算机设备还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在设备移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的设备结构并不构成对计算机设备的限定，在其它实施方式当中，计算机设备还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据模型的扫描程序。

在图1所示的计算机设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据模型的扫描程序，并执行以下步骤：

读取扫描配置文件获取待处理DB表；

遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件；

根据所述目标模型文件检测所述待处理DB表影响的数据模型，并扫描所述数据模型的全部数据报表；

检测全部所述数据报表各自的使用状态，并整合所述使用状态生成所述数据模型的扫描结果。

进一步地，处理器1001可以用于调用存储器1005中存储的数据模型的扫描程序，在执行遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件之前，还执行以下步骤：

读取所述扫描配置文件获取数据库信息，并根据所述数据库信息确定所述模型文件。

进一步地，处理器1001可以用于调用存储器1005中存储的数据模型的扫描程序，还执行以下步骤：

遍历所述模型文件以检测所述模型文件中是否包含有预设的结构化查询语句，其中，所述结构化查询语句中封装有所述待处理DB表的表名；

若是，则确定所述模型文件为引用待处理DB表的目标模型文件。

进一步地，处理器1001可以用于调用存储器1005中存储的数据模型的扫描程序，还执行以下步骤：

在所述目标模型文件符合预设条件时，读取所述目标模型文件中包含的模型名；

确定所述模型名所标识的数据模型为所述待处理DB表影响的数据模型；

扫描所述数据模型下的全部数据报表。

进一步地，处理器1001可以用于调用存储器1005中存储的数据模型的扫描程序，在执行在所述目标模型文件符合预设条件时，读取所述目标模型文件中包含的模型名之前，还执行以下步骤：

检测所述目标模型文件是否符合预设条件；

所述检测所述目标模型文件是否符合预设条件的步骤，包括：

定位所述目标模型文件中预设的结构化查询语句的特定节点；

在识别到所述特定节点的上下节点为预设的数据结构时，确定所述目标模型文件符合预设条件，否则，确定所述目标模型文件不符合预设条件。

进一步地，处理器1001可以用于调用存储器1005中存储的数据模型的扫描程序，还执行以下步骤：

确定所述待处理DB表、所述数据模型以及全部所述数据报表之间的对应关系；

整合所述对应关系与所述使用状态生成预设文档，并将所述预设文档作为所述数据模型的扫描结果。

进一步地，所述扫描配置文件存储于区块链中，处理器1001可以用于调用存储器1005中存储的数据模型的扫描程序，还执行以下步骤：

从所述区块链中提取所述扫描配置文件，其中，所述扫描配置文件中封装有待处理DB表的表清单；

遍历所述表清单以获取所述待处理DB表。

本发明数据模型的扫描方法所涉及计算机设备的具体实施例与下述数据模型的扫描方法的各具体实施例基本相同，在此不作赘述，此外，为便于表述，后文中均以终端设备替代计算机设备进行阐述。

本发明提供一种数据模型的扫描方法。

请参照图2，图2为本发明数据模型的扫描方法第一实施例的流程示意图，在本实施例中，该数据模型的扫描方法包括：

步骤S100，读取扫描配置文件获取待处理DB表；

终端设备在接收到用户触发的针对数据模型进行扫描排查的启动运行指令时，获取用户预设定义生成的扫描配置文件并从该扫描配置文件当中读取需要进行修改或者下线处理的待处理DB表。

需要说明的是，在本实施例中，用户具体可以至针对数据模型进行开发或者测试的工作人员，工作人员基于自定义配置数据模型当中需要进行修改或者下线处理的DB表以及其他扫描配置信息(例如数据库连接串、用户名以及密码等数据库信息)，然后，工作人员将该DB表标记为待处理DB表，并连同其他扫描配置信息形成扫描配置文件，最后，工作人员将该扫描配置文件封装至针对数据模型进行扫描排查的启动运行指令中，以供执行数据模型扫描排查工作的终端设备接收该指令并解析得到扫描配置文件，进而读取得到需要进行修改或者下线处理的待处理DB表。

此外，针对数据模型进行开发或者测试的工作人员，还可以将自定义配置生成的扫描预先存储到一个稳定的存储空间(例如区块链)当中，从而，在终端设备接收到工作人员所触发的启动运行指令之后，该终端设备即可自动从该存储空间当中获取扫描配置文件，并读取待处理DB表。

进一步地，在一种可行的实施例中，扫描配置文件存储于区块链中，步骤S100，可以包括：

步骤S101，从所述区块链中提取所述扫描配置文件，其中，所述扫描配置文件中封装有待处理DB表的表清单；

步骤S102，遍历所述表清单以获取所述待处理DB表。

需要说明的是，在本实施例中，为了保证针对数据模型进行开发或者测试的工作人员，基于自定义配置形成的扫描配置文件，不会被错误修改或者移除，可以将扫描配置文件存储于一区块链的节点中，不仅确保了该扫描配置文件的稳定性，还确保了后续终端设备在获取该扫描配置文件时的响应积极性，以及读取该扫描配置文件以得到待处理DB表的准确性，进一步提升了针对数据模型进行扫描和排查的整体效率。

具体地，例如，终端设备在接收到开发工作人员触发的针对数据模型进行扫描排查的启动运行指令之后，该终端设备同步从开发工作人员预先指定一区块链的节点当中，提取出开发工作人员预先自主定义生成的扫描配置文件，然后，终端设备基于自身运行数据模型的扫描程序执行预先编写好的脚本语言：new loadConfig().getConfigs(configPath)(一种现有成熟的数据信息提取脚本)，自动获取该扫描配置文件当中封装的待处理DB表的表清单，进而识别得到工作人员预先自定义配置需要进行修改或者下线的待处理DB表的表名。

需要说明的是，在本实施例中，终端设备执行以用于自动获取扫描配置文件中待处理DB表的脚本语言(如new loadConfig().getConfigs(configPath))，具体可以预先由工作人员同步编写在扫描配置文件当中，并使终端设备在获取得到该扫描配置文件之后，首先解析得到该脚本语言以通过正在启动运行的数据模型的扫描程序开始执行。或者，该脚本语言还可以由工作人员预先编写好存储在终端设备上，以供终端设备在接收到启动运行指令并获取得到该扫描配置文件之后，由正在启动运行的数据模型的扫描程序在本端读取并执行该脚本语言。

步骤S200，遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件；

终端设备在获取得到扫描配置文件，并从该扫描配置文件当中读取得到待处理DB表之后，终端设备开始遍历该扫描配置文件所指定的全部的模型文件，以从该全部的模型文件当中检测得到引用到了待处理DB表的目标模型文件。

需要说明的是，在本实施例中，工作人员预先基于配置数据库信息来指定终端设备当前需要进行扫描排查的数据模型，从而，终端设备在获取得到扫描配置文件并自动读取该扫描配置文件当中的待处理DB表时，终端设备还同步或者异步的从该扫描配置文件当中读取工作人员预先自定义配置的数据库信息，然后基于该数据库信息确定当前需要进行扫描排查的数据模型，进而开始自动针对该数据模型下全部的模型文件进行扫描和排查。

进一步地，在一种可行的实施例中，在步骤S200之前，本发明数据模型的扫描方法，还可以包括：

步骤S500，读取所述扫描配置文件获取数据库信息，并根据所述数据库信息确定所述模型文件；

终端设备在从获取得到的扫描配置文件中自动读取待处理DB表时，同步或者异步的从该扫描配置文件当中读取工作人员预先自定义配置的数据库信息，然后基于该数据库信息确定当前需要进行排查的数据模型，并将该数据模型下全部的模型文件确定为需要进行遍历的模型文件。

具体地，例如，终端设备在基于自身运行数据模型的扫描程序执行预先编写好的脚本语言，以自动获取得到工作人员预先自定义配置需要进行修改或者下线的待处理DB表的表名的同时，终端设备同时基于现有成熟的自然语言处理技术，同步从该扫描配置文件当中解析识别出基于工作人员自定义配置生成的数据库连接串、用户名以及密码等数据库信息，然后，终端设备基于该确定当前需要进行扫描排查的数据模型，从而将该数据模型下全部的模型文件确定为当前需要遍历的模型文件。

进一步地，在一种可行的实施例中，上述步骤S200，遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件，可以包括：

步骤S201，遍历所述模型文件以检测所述模型文件中是否包含有预设的结构化查询语句，其中，所述结构化查询语句中封装有所述待处理DB表的表名；

终端设备在确定当前需要进行扫描排查的数据模型，进而确定该数据模型下全部的模型文件为当前需要遍历的模型文件之后，终端设备随即开始针对该全部的模型文件进行遍历，以逐一检测该全部的模型文件中任一模型文件内，是否存在封装了待处理DB表的表名的预设的结构化查询语句。

需要说明的是，在本实施例中，预设的结构化查询语句具体可以为SQL语句(如：<sql type＝"native">select*from xxx搜索的表名xxxxx</sql>)，该SQL语句当中封装有终端设备预先读取得到的需要进行修改或者下线处理的待处理DB表的表名(即上述SQL语句：<sql type＝"native">select*from xxx搜索的表名xxxxx</sql>中的“搜索的表名”)。

具体地，例如，终端设备通过DefaultHandler类(SAX2事件处理程序的默认基类)遍历数据格式为“.xml”的全部模型文件，从而逐一的检测该全部模型文件当中的任一模型文件内，是否存在预设的结构化查询语句-<sql type＝"native">select*from xxx搜索的表名xxxxx</sql>。

步骤S202，若是，则确定所述模型文件为引用待处理DB表的目标模型文件。

终端设备在遍历全部模型文件的过程中，若检测到当前模型文件当中存在封装了待处理DB表的表名的预设的结构化查询语句，则终端设备随即将当前模型文件确定为引用了待处理DB表的目标模型文件。

具体地，例如，终端设备在通过DefaultHandler类遍历全部模型文件的过程当中，若检测到当前遍历的模型文件内，存在预设的结构化查询语句-<sql type＝"native">select*from xxx搜索的表名xxxxx</sql>，则终端设备将当前模型文件确定为引用到了待处理DB表的目标模型文件。

步骤S300，根据所述目标模型文件检测所述待处理DB表影响的数据模型，并扫描所述数据模型的全部数据报表；

终端设备在通过遍历扫描配置文件所指定全部的模型文件，并从该全部的模型文件当中检测出引用到了待处理DB表的目标模型文件之后，终端设备进一步检测该目标模型文件是否符合预设条件，以确定出受到待处理DB表影响的数据模型，进而开始扫描该数据模型下的全部数据报表。

需要说明的是，在本实施例中，预设条件用于判断目标模型文件本身是否包含有标识数据模型的模型名，以便于终端设备根据该模型名确定受到待处理DB表影响的数据模型。

步骤S400，检测全部所述数据报表各自的使用状态，并整合所述使用状态生成所述数据模型的扫描结果。

终端设备在扫描受到待处理DB表影响的数据模型下全部的数据报表过程中，终端设备逐一检测该全部数据报表各自的使用状态，并基于该使用状态针对数据报表进行标记，待全部数据报表标记完成之后，终端设备随即将待处理DB表、符合预设条件的目标模型文件、受到待处理DB表影响的数据模型、该数据模型下的全部数据报表以及全部数据报表各自的使用状态，整合为预设数据格式的文档当中的各个特征元素，从而自动生成该预设数据格式的文档作为针对数据模型进行扫描排查的扫描结果。

需要说明的是，在本实施例中，预设数据格式具体可以为“excel”，从而预设数据格式的文档具体可以为包含有以待处理DB表、符合预设条件的目标模型文件、受到待处理DB表影响的数据模型、该数据模型下的全部数据报表以及全部数据报表各自的使用状态，作为特征元素的excel文档。应当理解的是，基于不同的设计需要，在其他实施方式当中，当然也可以采用其他数据格式的文档形成最终针对数据模型进行扫描的扫描结果，本发明数据模型的扫描方法，并不对预设数据格式以及预设数据格式的文档中所包含的特征元素的种类和个数等进行具体限定。

具体地，例如，终端设备在扫描受到待处理DB表影响的数据模型下全部的数据报表过程中，终端设备将检测到使用状态为可用的数据报表标记为可用，将检测到使用状态为已禁用的数据报表标记为已禁用，然后，终端设备将待处理DB表、符合预设条件的目标模型文件、受到待处理DB表影响的数据模型、该数据模型下的全部数据报表以及全部数据报表各自的使用状态，作为特征元素并梳理出相邻特征元素之间的对应关系，从而整合该对应关系与各个特征元素自动生成excel文档，并将该excel文档作为终端设备当前针对数据模型进行扫描排查的扫描结果。

进一步地，在一种可行的实施例中，步骤S400中，“整合所述使用状态生成所述数据模型的扫描结果”的步骤，可以包括：

步骤S401，确定所述待处理DB表、所述数据模型以及全部所述数据报表之间的对应关系；

终端设备在将待处理DB表、符合预设条件的目标模型文件、受到待处理DB表影响的数据模型以及该数据模型下的全部数据报表，均作为预设数据格式的文档中的特征元素之后，终端设备随即梳理得到相邻的特征元素之间的对应关系。

具体地，例如，终端设备在通过待处理DB表的表名确定引用了该待处理DB表的目标模型文件时，即将该待处理DB表的表名与目标模型文件进行关联并存储为数据格式为“.map”的“待处理DB表-目标模型文件map”文件，此外，终端设备在扫描受到待处理DB表影响的数据模型下的全部数据报表时，将该数据模型与全部数据报表进行关联并存储为数据格式为“.map”的“数据模型-数据报表”文件。

从而，终端设备在将该待处理DB表、符合预设条件的目标模型文件、受到待处理DB表影响的数据模型、以及该数据模型下的全部数据报表，均作为“excel”数据格式的文档中的特征元素之后，终端设备即可基于该“待处理DB表-目标模型文件map”文件梳理得到特征元素“待处理DB表”与特征元素“目标模型文件”之间的对应关系，并基于目标模型文件中包含的模型名得到特征元素“目标模型文件”与特征元素“数据模型”之间的对应关系，以及，基于“数据模型-数据报表”文件梳理得到特征元素“数据模型”与特征元素“数据报表”之间的对应关系。

步骤S402，整合所述对应关系与所述使用状态生成预设文档，并将所述预设文档作为所述数据模型的扫描结果。

终端设备在梳理得到相邻的特征元素之间的对应关系之后，进一步自动的将该该对应关系与特征元素-数据报表各自的使用状态整合填写如预设数据格式的文档，从而生成包含有全部特征元素以及数据报表各自的使用状态的文档作为针对数据模型进行扫描排查的扫描结果

具体地，例如，终端设备按照梳理得到的特征元素(待处理DB表、符合预设条件的目标模型文件、受到待处理DB表影响的数据模型以及该数据模型下的全部数据报表)相邻之间的对应关系，自动将待处理DB表的表名、该待处理DB表对应的符合预设条件的目标模型文件、该目标模型文件中模型名标识的受到待处理DB表影响的数据模型、该数据模型下的全部数据报表以及该全部数据报表各自的使用状态(可用或者已禁用)，对应填写至“excel”数据格式的文档中，从而自动生成整个excel文档作为终端设备当前针对数据模型进行扫描排查的扫描结果。

在本实施例中，通过终端设备在接收到用户触发的针对数据模型进行扫描排查的启动运行指令时，获取用户预设定义生成的扫描配置文件并从该扫描配置文件当中读取需要进行修改或者下线处理的待处理DB表；然后，终端设备开始遍历该扫描配置文件所指定的全部的模型文件，以从该全部的模型文件当中检测得到引用到了待处理DB表的目标模型文件；再然后，终端设备进一步检测该目标模型文件是否符合预设条件，以确定出受到待处理DB表影响的数据模型，进而开始扫描该数据模型下的全部数据报表；最后，终端设备随即将待处理DB表、符合预设条件的目标模型文件、受到待处理DB表影响的数据模型、该数据模型下的全部数据报表以及全部数据报表各自的使用状态，整合为预设数据格式的文档当中的各个特征元素，从而自动生成该预设数据格式的文档作为针对数据模型进行扫描排查的扫描结果。

本发明实现了，开发或测试人员只需要配置要修改或者下线的待处理DB表形成配置文件，基于运行程序即可自动遍历扫描数据模型和解析模型文件，无需开发或测试人员根据需要修改或者进行下线的待处理DB表清单，手工遍历排查数据模型大量的模型文件，然后分析得出该待处理DB表影响的数据模型以及数据模型下的数据报表，不仅省去了大量人工扫描模型进行排查的繁琐工作，还避免了基于人工操作的不确定因素导致的扫描错误，极大程度上提升了模型扫描的效率以及整体排查质量。

进一步地，在本发明数据模型的扫描方法第一实施例的基础上，提出数据模型的扫描方法第二实施例，在本实施例中，上述步骤S300，根据所述目标模型文件检测所述待处理DB表影响的数据模型，并扫描所述数据模型的全部数据报表，可以包括：

步骤S301，在所述目标模型文件符合预设条件时，读取所述目标模型文件中包含的模型名。

终端设备在检测到目标模型文件含有标识数据模型的模型名，从而确定该目标模型文件符合预设条件时，终端设备即识别并读取出该目标模型文件所包含的模型名。

进一步地，在一种可行的实施例中，在上述步骤S301之前，本发明数据模型的扫描方法，还可以包括：

步骤A，检测所述目标模型文件是否符合预设条件；

终端设备在确定出引用了待处理DB表的目标模型之后，进一步检测该模型文件中是否含有用于标识数据模型的模型名，从而对应确定该目标模型文件是否符合预设条件，即若检测到该目标模型文件含有模型名，则确定其符合预设条件，否则，确定其不符合预设条件。

需要说明的是，在本实施例中，终端设备预先基于模型文件当中是否含有预设的结构化查询语句：<sql type＝"native">select*from xxx搜索的表名xxxxx</sql>，来确定模型文件是否为引用了待处理DB表的目标模型文件，因此，基于模型文件整体结构考虑，数据模型中的模型文件整体结构为：

因此，终端设备可通过进一步检测已经确定为引用了待处理DB表的目标模型文件当中，是否进一步包含有模型名。

进一步地，在一种可行的实施例中，步骤A，可以包括：

步骤A1，定位所述目标模型文件中预设的结构化查询语句的特定节点；

步骤A2，在识别到所述特定节点的上下节点为预设的数据结构时，确定所述目标模型文件符合预设条件，否则，确定所述目标模型文件不符合预设条件。

需要说明的是，在本实施例中，预设的数据结构具体可以为封装有“模型名”的结构化查询语言(例如上述模型文件整体结构当中的“<name locale＝"zh">模型名</name>”)，以及用于标识模型文件整体结构完整性的结构化查询语言(例如上述模型文件整体结构当中的“</querySubject>”)。

具体地，例如，终端设备通过定位目标模型文件中，预设的结构化查询语句：<sqltype＝"native">select*from xxx搜索的表名xxxxx</sql>，在该目标模型文件整体结构当中的特定节点，然后，终端设备检测该目标模型文件的整体结构中，处于该特定节点之上的节点(自整体结构中“<querySubject status＝"valid">”所标识节点位置开始截止“<sql type＝"native">select*from xxx搜索的表名xxxxx</sql>”所在节点位置的范围)中是否含有封装有“模型名”的结构化查询语言：<name locale＝"zh">模型名</name>，以及，检测该目标模型文件的整体结构中，处于该特定节点之下的节点(自整体结构中“<sqltype＝"native">select*from xxx搜索的表名xxxxx</sql>”所标识节点位置开始截止下一个“<querySubject status＝"valid">”所在节点位置的范围)中是否含有标识模型文件整体性的结构化查询语言：“</querySubject>”。

从而，终端设备在检测到该特定节点之上的节点含有封装有“模型名”的结构化查询语言：<name locale＝"zh">模型名</name>，并且，该特定节点之下的节点也含有标识模型文件整体性的结构化查询语言：“</querySubject>”时，终端设备才确定当前目标模型文件为包含有“模型名”从而符合预设条件。相反的，终端设备在检测到该特定节点之上的节点未含有封装有“模型名”的结构化查询语言：<name locale＝"zh">模型名</name>，和/或者，该特定节点之下的节点未含有标识模型文件整体性的结构化查询语言：“</querySubject>”时，终端设备均确定当前目标模型文件不含有“模型名”从而不符合预设条件。

步骤S302，确定所述模型名所标识的数据模型为所述待处理DB表影响的数据模型；

步骤S302，扫描所述数据模型下的全部数据报表。

终端设备在从引用了待处理DB表的目标模型文件当中进一步确定出符合预设条件的目标模型文件，并从该目标模型文件当中识别并读取出模型名之后，终端设备随即将该模型名所标识的数据模型，确定为因为针对待处理DB进行修改或者下线处理而受到影响的数据模型，亦即需要终端设备当前进行扫描排查的数据模型，从而终端设备随即开始针对该数据模型下的全部数据报表进行扫描从而检测并标记各数据报表各自的使用状态，以供后续整合生成终端设备针对数据模型进行扫描排查的扫描结果文档。

在本实施例中，终端设备在确定出引用了待处理DB表的目标模型之后，进一步检测该模型文件中是否含有用于标识数据模型的模型名，从而对应确定该目标模型文件是否符合预设条件，即若检测到该目标模型文件含有模型名，则确定其符合预设条件，否则，确定其不符合预设条件；终端设备在检测到目标模型文件含有标识数据模型的模型名，从而确定该目标模型文件符合预设条件时，终端设备即识别并读取出该目标模型文件所包含的模型名；终端设备随即将该模型名所标识的数据模型，确定为因为针对待处理DB进行修改或者下线处理而受到影响的数据模型，亦即需要终端设备当前进行扫描排查的数据模型，从而终端设备随即开始针对该数据模型下的全部数据报表进行扫描从而检测并标记各数据报表各自的使用状态，以供后续整合生成终端设备针对数据模型进行扫描排查的扫描结果文档。

实现了，通过终端设备自动检测排查数据模型中引用了需要进行修改或者下线处理的DB表的模型文件，然后进一步检测该模型文件是否为模型结构化查询语言，以自动针对该模型文件所对应数据模型的全部数据报表进行自动扫描，使得终端设备在整体针对数据模型进行扫描排查的过程中，工作人员只需要花费极少的时间配置测试库信息和需要修改或者下线处理的DB表，省去了大量的繁琐重复操作，不仅节约了人工造数带来的人力资源成本以及时间成本，还规避了人为操作不确定性因素对数据模型扫描造成的错误，大大提升了模型扫描效率和质量。

此外，本发明还提供了数据模型的扫描系统，请参照图3，图3为本发明数据模型的扫描系统的功能模块示意图，该数据模型的扫描系统包括：

读取模块101，用于读取扫描配置文件获取待处理DB表；

遍历模块102，用于遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件；

扫描模块103，用于根据所述目标模型文件检测所述待处理DB表影响的数据模型，并扫描所述数据模型的全部数据报表；

生成模块104，用于检测全部所述数据报表各自的使用状态，并整合所述使用状态生成所述数据模型的扫描结果。

优选地，本发明数据模型的扫描系统的读取模块101，还用于读取所述扫描配置文件获取数据库信息，并根据所述数据库信息确定所述模型文件。

优选地，遍历模块102，包括：

遍历单元，用于遍历所述模型文件以检测所述模型文件中是否包含有预设的结构化查询语句，其中，所述结构化查询语句中封装有所述待处理DB表的表名；

第一确定单元，用于确定所述模型文件为引用待处理DB表的目标模型文件。

优选地，扫描模块103，包括：

读取单元，用于在所述目标模型文件符合预设条件时，读取所述目标模型文件中包含的模型名；

第二确定单元，用于确定所述模型名所标识的数据模型为所述待处理DB表影响的数据模型；

扫描单元，用于扫描所述数据模型下的全部数据报表。

优选地，扫描模块103，包括：

检测单元，用于检测所述目标模型文件是否符合预设条件；

定位子单元，用于定位所述目标模型文件中预设的结构化查询语句的特定节点；

确定子单元，用于在识别到所述特定节点的上下节点为预设的数据结构时，确定所述目标模型文件符合预设条件，否则，确定所述目标模型文件不符合预设条件。

优选地，生成模块104，包括：

第三确定单元，用于确定所述待处理DB表、所述数据模型以及全部所述数据报表之间的对应关系；

整合单元，用于整合所述对应关系与所述使用状态生成预设文档，并将所述预设文档作为所述数据模型的扫描结果。

优选地，所述扫描配置文件存储于区块链中，本发明数据模型的扫描系统的读取模块101，还用于从所述区块链中提取所述扫描配置文件，其中，所述扫描配置文件中封装有待处理DB表的表清单；以及遍历所述表清单以获取所述待处理DB表。

此外，本发明还提供了一种计算机存储介质，该计算机存储介质存储有一个或者一个以上程序，该一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于：

读取扫描配置文件获取待处理DB表；

遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件；

根据所述目标模型文件检测所述待处理DB表影响的数据模型，并扫描所述数据模型的全部数据报表；

检测全部所述数据报表各自的使用状态，并整合所述使用状态生成所述数据模型的扫描结果。

此外，该一个或者一个以上程序还可被一个或者一个以上的处理器执行还用于：

读取所述扫描配置文件获取数据库信息，并根据所述数据库信息确定所述模型文件。

此外，所述扫描配置文件存储于区块链中，该一个或者一个以上程序还可被一个或者一个以上的处理器执行还用于：

从所述区块链中提取所述扫描配置文件，其中，所述扫描配置文件中封装有待处理DB表的表清单；

遍历所述表清单以获取所述待处理DB表。

本发明计算机存储介质具体实施方式与上述数据模型的扫描方法各实施例基本相同，在此不再赘述。

需要说明的是，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。此外，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据模型的扫描方法，其特征在于，所述数据模型的扫描方法包括：

读取扫描配置文件获取待处理DB表；

遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件；

根据所述目标模型文件检测所述待处理DB表影响的数据模型，并扫描所述数据模型的全部数据报表；

检测全部所述数据报表各自的使用状态，并整合所述使用状态生成所述数据模型的扫描结果。

2.如权利要求1所述的数据模型的扫描方法，其特征在于，在所述遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件的步骤之前，所述方法还包括：

读取所述扫描配置文件获取数据库信息，并根据所述数据库信息确定所述模型文件。

3.如权利要求1或者2所述的数据模型的扫描方法，其特征在于，所述遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件的步骤，包括：

遍历所述模型文件以检测所述模型文件中是否包含有预设的结构化查询语句，其中，所述结构化查询语句中封装有所述待处理DB表的表名；

若是，则确定所述模型文件为引用待处理DB表的目标模型文件。

4.如权利要求1所述的数据模型的扫描方法，其特征在于，所述根据所述目标模型文件检测所述待处理DB表影响的数据模型，并扫描所述数据模型的全部数据报表的步骤，包括：

在所述目标模型文件符合预设条件时，读取所述目标模型文件中包含的模型名；

确定所述模型名所标识的数据模型为所述待处理DB表影响的数据模型；

扫描所述数据模型下的全部数据报表。

5.如权利要求4所述的数据模型的扫描方法，其特征在于，在所述目标模型文件符合预设条件时，读取所述目标模型文件中包含的模型名的步骤之前，还包括：

检测所述目标模型文件是否符合预设条件；

所述检测所述目标模型文件是否符合预设条件的步骤，包括：

定位所述目标模型文件中预设的结构化查询语句的特定节点；

在识别到所述特定节点的上下节点为预设的数据结构时，确定所述目标模型文件符合预设条件，否则，确定所述目标模型文件不符合预设条件。

6.如权利要求1所述的数据模型的扫描方法，其特征在于，所述整合所述使用状态生成所述数据模型的扫描结果的步骤，包括：

确定所述待处理DB表、所述数据模型以及全部所述数据报表之间的对应关系；

整合所述对应关系与所述使用状态生成预设文档，并将所述预设文档作为所述数据模型的扫描结果。

7.如权利要求1所述的数据模型的扫描方法，其特征在于，所述扫描配置文件存储于区块链中，所述读取扫描配置文件以获取待处理DB表的步骤，包括：

从所述区块链中提取所述扫描配置文件，其中，所述扫描配置文件中封装有待处理DB表的表清单；

遍历所述表清单以获取所述待处理DB表。

8.一种数据模型的扫描系统，其特征在于，所述数据模型的扫描系统包括：

读取模块，用于读取扫描配置文件获取待处理DB表；

遍历模块，用于遍历模型文件以检测所述模型文件中引用待处理DB表的目标模型文件；

扫描模块，用于根据所述目标模型文件检测所述待处理DB表影响的数据模型，并扫描所述数据模型的全部数据报表；

生成模块，用于检测全部所述数据报表各自的使用状态，并整合所述使用状态生成所述数据模型的扫描结果。

9.一种计算机设备，其特征在于，所述计算机设备包括：存储器、处理器，通信总线以及存储在所述存储器上的数据模型的扫描程序，

所述通信总线用于实现处理器与存储器间的通信连接；

所述处理器用于执行所述数据模型的扫描程序，以实现如权利要求1至7中任一项所述的数据模型的扫描方法的步骤。

10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有数据模型的扫描程序，所述数据模型的扫描程序被处理器执行时实现如权利要求1至7中任一项所述的数据模型的扫描方法的步骤。

Images