CN112241417B - 页面数据的验证方法、装置、介质及电子设备 - Google Patents
页面数据的验证方法、装置、介质及电子设备 Download PDFInfo
- Publication number
- CN112241417B CN112241417B CN201910651530.5A CN201910651530A CN112241417B CN 112241417 B CN112241417 B CN 112241417B CN 201910651530 A CN201910651530 A CN 201910651530A CN 112241417 B CN112241417 B CN 112241417B
- Authority
- CN
- China
- Prior art keywords
- data
- page
- page data
- format
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种页面数据的验证方法、页面数据的验证装置、计算机可读介质以及电子设备。本公开实施例中的页面数据的验证方法包括:从数据展示页面中获取待验证的页面数据,所述页面数据为所述数据展示页面中显示的业务数据;获取与所述页面数据相对应的原始数据,并确定与所述页面数据相关的业务计算规则;利用所述业务计算规则对所述原始数据进行计算处理后得到真实业务数据;将所述页面数据与所述真实业务数据进行对比,以验证所述页面数据是否正确。该方法不仅可以节约大量的人力成本,而且可以大幅提高数据验证效率和数据验证的准确性。
Description
技术领域
本公开涉及计算机技术领域,具体而言,涉及一种页面数据的验证方法、页面数据的验证装置、计算机可读介质以及电子设备。
背景技术
随着计算机及互联网技术的快速发展,不仅使得许多行业的商业模式发生了翻天覆地的变化,更使得很多原本很复杂很繁重的工作变得简单,很多工作与大数据技术相结合,为处理分析海量、丰富的数据信息提供了很大的便利。
利用计算机设备建立数据管理平台成为一种分析和处理数据业务的有效途径。由于业务的复杂性和计算规则的多样性,提高平台页面展示数据的准确性和有效性逐渐成为数据管理方面的重中之重。而如何对平台页面展示数据进行快速验证也成为目前亟待解决的问题。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种页面数据的验证方法、页面数据的验证装置、计算机可读介质以及电子设备,进而至少在一定程度上克服数据验证困难、数据准确性低等技术问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开实施例的一个方面,提供一种页面数据的验证方法,该方法包括:从数据展示页面中获取待验证的页面数据,所述页面数据为所述数据展示页面中显示的业务数据;获取与所述页面数据相对应的原始数据,并确定与所述页面数据相关的业务计算规则;利用所述业务计算规则对所述原始数据进行计算处理后得到真实业务数据;将所述页面数据与所述真实业务数据进行对比,以验证所述页面数据是否正确。
根据本公开实施例的一个方面,提供一种页面数据的验证装置,该装置包括:页面数据获取模块,被配置为从数据展示页面中获取待验证的页面数据,所述页面数据为所述数据展示页面中显示的业务数据;原始数据获取模块,被配置为获取与所述页面数据相对应的原始数据,并确定与所述页面数据相关的业务计算规则;原始数据计算模块,被配置为利用所述业务计算规则对所述原始数据进行计算处理后得到真实业务数据;数据对比验证模块,被配置为将所述页面数据与所述真实业务数据进行对比,以验证所述页面数据是否正确。
在本公开的一些实施例中,基于以上技术方案,所述页面数据获取模块包括:初始页面获取单元,被配置为获取数据展示页面,并从所述数据展示页面中获取基于目标数据交换格式的初始格式页面数据;转换页面获取单元,被配置为对所述初始格式页面数据进行解析处理后得到基于目标文本文件格式的转换格式页面数据;页面数据保存单元,被配置为将所述转换格式页面数据保存至二维数组中,并将所述二维数组作为待验证的页面数据。
在本公开的一些实施例中,基于以上技术方案,所述初始页面获取单元包括:页面获取请求生成子单元,被配置为获取存储在终端设备上的页面登录信息,并根据所述页面登录信息生成页面获取请求;数据展示页面获取子单元,被配置为所述终端设备将所述页面获取请求发送至服务器,以获得由所述服务器返回的数据展示页面。
在本公开的一些实施例中,基于以上技术方案,所述目标数据交换格式为JavaScript对象标记格式,所述目标文本文件格式为纯文本文件格式。
在本公开的一些实施例中,基于以上技术方案,所述原始数据获取模块包括:对象属性信息获取单元,被配置为从所述页面数据中获取与业务数据相关联的对象属性信息;原始数据查找单元,被配置为根据所述对象属性信息从数据库中查找与所述页面数据相对应的原始数据。
在本公开的一些实施例中,基于以上技术方案,所述数据展示页面为用于展示销售业绩的销售业绩数据展示页面;所述数据展示页面中所显示的业务数据包括与销售品牌信息相关的品牌业绩数据以及与销售活动信息或者销售渠道信息相关的效果业绩数据。
在本公开的一些实施例中,基于以上技术方案,所述装置还包括:训练样本集确定单元,被配置为将多个页面数据以及分别与各个所述页面数据相关联的验证结果组成训练样本集;模型训练单元,被配置为利用所述训练样本集训练得到用于验证页面数据的机器学习模型;全量数据验证单元,被配置为获取数据展示页面的全量页面数据,并将所述全量页面数据输入所述机器学习模型,以验证所述全量页面数据是否正确。
根据本公开实施例的一个方面,提供一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如以上技术方案中的页面数据的验证方法。
根据本公开实施例的一个方面,提供一种电子设备,该电子设备包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的页面数据的验证方法。
在本公开实施例提供的技术方案中,通过获取原始数据和业务计算规则可以计算得到真实业务数据,然后再将真实业务数据与待验证的页面数据进行对比可以对页面数据的准确性做出自动化验证,该方法不需要过多的人为干预,不仅可以节约大量的人力成本,而且可以大幅提高数据验证效率和数据验证的准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示意性地示出了在本公开的相关技术中数据准确性的验证流程框图;
图2示出了应用本公开技术方案的示例性系统架构示意图;
图3示意性地示出了本公开实施例中页面数据的验证的步骤流程图;
图4示意性地示出了在本公开的一些实施例中获取页面数据的步骤流程图;
图5示意性地示出了在本公开的一些实施例中获取数据展示页面的步骤流程图;
图6示意性地示出了在本公开的一些实施例中获取原始数据的步骤流程图;
图7示意性地示出了一种销售管理平台中销售业绩数据展示页面的数据组成框架;
图8示意性地示出了在销售管理平台中由原始数据生成销售业绩数据的流程框图;
图9示意性地示出了利用机器学习模型对全量数据进行验证的步骤流程图;
图10示意性地示出了在一应用场景下对页面数据进行自动化验证的步骤流程图;
图11示意性地示出了在本公开一些实施例中的页面数据的验证装置的结构框图;
图12示意性地示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
在本领域的相关技术中,为了对数据准确性做出验证,一般可以对数据进行抽样校验,然后根据抽样数据的验证结果预测全量数据的准确性。图1示意性地示出了一种数据准确性的验证流程框图。如图1所示,该验证流程可以包括以下步骤:
步骤S110.对数据管理平台的页面展示数据进行抽样,得到页面抽样数据。其中,数据管理平台例如可以是用于管理销售数据的销售管理平台,该销售管理平台上可以展示销售业绩数据。
步骤S120.从数据库中获取部分原始数据。
步骤S130.对获取到的部分原始数据按照业务计算规则计算得到业务数据。例如,可以利用业绩计算规则运用SQL语句计算销售业绩。
步骤S140.将步骤S110得到的页面抽样数据和步骤S130得到的业务数据进行对比,以得到数据准确性的验证结果。
如果数据对比一致,可以判定页面数据正确;而如果数据对比不一致,则判定页面数据错误。
以上数据验证流程依赖于人工计算,不仅需要耗费大量的人力成本和时间成本,而且由于数据计算规则复杂,整体的数据验证效率较低,也很容易出现错误。
基于以上方案存在的问题,本公开提供了一种能够实现自动化校验的页面数据的验证方法、页面数据的验证装置、计算机可读介质以及电子设备。图2示出了应用本公开技术方案的示例性系统架构示意图。
如图2所示,系统架构200可以包括客户端210、网络220和服务端230。客户端210可以包括手机、电脑等各种终端设备,客户端210上可以安装数据管理平台,并可以通过终端设备的显示界面为用户提供数据展示页面。服务端230可以包括网络服务器、应用服务器、数据库服务器等各种服务器设备。网络220可以是能够在客户端210和服务端230之间提供通信链路的各种连接类型的通信介质,例如可以是有线通信链路、无线通信链路或者光纤电缆等等。
根据实现需要,本公开实施例中的系统架构可以具有任意数目的客户端、网络和服务端。例如,服务端230可以是由多个服务器设备组成的服务器群组。另外,本公开实施例中的页面数据的验证方法可以应用于客户端210,也可以应用于服务端230,本公开对此不做特殊限定。
下面结合具体实施方式对本公开提供的页面数据的验证方法、页面数据的验证装置、计算机可读介质以及电子设备做出详细说明。
图3示意性地示出了本公开实施例中页面数据的验证的步骤流程图。如图3所示,该方法主要可以包括以下步骤:
步骤S310.从数据展示页面中获取待验证的页面数据,页面数据为数据展示页面中显示的业务数据。
数据展示页面可以是数据管理平台在终端设备的显示界面上所显示的应用页面或者网络页面,主要用于向用户展示数据管理平台中所涉及的业务数据。页面数据在数据展示页面中可以通过数据表格的形式呈现,另外也可以呈现为文本、图像等其他文件格式。除了页面数据的展示功能之外,数据展示页面中还可以提供数据分析、数据导出等其他数据处理功能。数据展示页面中所显示的页面数据可以是与具体业务相关的业务数据,例如可以是生产管理数据、销售业绩数据等等。本步骤可以从数据展示页面中获取部分或者全部的业务数据作为待验证的页面数据。数据获取方式例如可以是在数据展示页面中随机选取页面数据,也可以是根据数据选取指令选取指定的页面数据。
步骤S320.获取与页面数据相对应的原始数据,并确定与页面数据相关的业务计算规则。
数据展示页面中所显示的页面数据一般都是在原始数据的基础上进行加工处理后得到的。举例而言,通过各种数据采集方式直接采集到的销量数据、销售渠道信息、销售人员信息、销售群组信息、销售片区信息等各种数据作为原始数据,将这些原始数据按照不同的计算规则可以计算得到销售业绩、销售成本等各种不同的业务数据。在确定待验证的页面数据后,本步骤可以获取与页面数据相对应的原始数据,同时可以确定与页面数据相关的业务计算规则。其中,与页面数据相对应的原始数据可以是用于计算该页面数据的原始采集到的基础数据,也可以是在原始采集到的基础数据的基础上进行预先加工处理得到的中间数据。与页面数据相关的业务计算规则主要可以是由原始数据计算得到页面数据时所使用的相关计算规则。在一些可选的实施方式中,可以建立业务计算规则的规则库,然后将该规则库中的各项业务计算规则与各种不同种类的业务数据建立映射关系,在确定页面数据后便可以根据页面数据的业务数据类型以及预先建立的映射关系在规则库中查找到与该页面数据相关的业务计算规则。
步骤S330.利用业务计算规则对原始数据进行计算处理后得到真实业务数据。
根据步骤S320中获取到的原始数据以及所确定的业务计算规则,本步骤可以通过计算处理得到与页面数据相关的真实业务数据。对于一种业务数据而言,一般可以采用一种确定的业务计算规则对一项或者一组原始数据进行计算处理得到。而在一些可选的情形下,也可以通过采集相同的或者不同的原始数据,然后依据不同的业务计算规则计算得到同一种业务数据。在这种情况下,各种不同的业务计算规则之间可以起到相互验证的作用。因此,本步骤中所使用的原始数据和业务计算规则可以是与数据展示页面中所显示的页面数据具有相同计算路径的数据和规则,另外也可以是与数据展示页面中所显示的页面数据具有不同计算路径的数据和规则。
步骤S340.将页面数据与真实业务数据进行对比,以验证页面数据是否正确。
在由步骤S330获得与页面数据相对应的真实业务数据后,本步骤将对二者进行对比以验证页面数据的准确性。在一些可选的实施方式中,本步骤可以直接对页面数据和真实业务数据进行比较,当两组数据完全一致时,判定页面数据的验证结果为正确;而当两组数据不完全一致时,判定页面数据的验证结果为不正确。在其他一些实施方式中,本步骤也可以按照预设的数据比较规则对页面数据和真实业务数据进行比较,例如可以判断页面数据和真实业务数据是否满足预设的数据关系(数据一致是一种相对简单的数据关系),该数据关系可以体现为一种数学公式或者数学模型;当两组数据满足该数据关系时,判定页面数据的验证结果为正确;当两组数据不满足该数据关系时,判定页面数据的验证结果为不正确。
在本公开实施例提供的页面数据的验证方法中,通过获取原始数据和业务计算规则可以计算得到真实业务数据,然后再将真实业务数据与待验证的页面数据进行对比可以对页面数据的准确性做出自动化验证,该方法不需要过多的人为干预,不仅可以节约大量的人力成本,而且可以大幅提高数据验证效率和数据验证的准确性。
为了对页面数据的准确性做出验证,需要首先从数据展示页面中获取页面数据。与直接从数据库中获取数据所不同的是,由数据展示页面中获取的页面数据在经过一定的格式变换才能够更好地与原始数据的计算结果进行比较。
图4示意性地示出了在本公开的一些实施例中获取页面数据的步骤流程图。如图4所示,在以上各实施例的基础上,步骤S310中的从数据展示页面中获取待验证的页面数据,可以包括以下步骤:
步骤S410.获取数据展示页面,并从数据展示页面中获取基于目标数据交换格式的初始格式页面数据。
本步骤首先获取一个或者多个需要进行数据验证的数据展示页面,同时从数据展示页面中获取初始格式页面数据。为了方便数据在各种系统或媒介之间进行传输和转换,同时为了方便计算机读取和用户查看,数据展示页面中所显示的页面数据一般以各种类型的数据交换格式进行保存。因此,由数据展示页面中获取到的页面数据可以是基于目标数据交换格式的初始格式页面数据。在一些可选的实施方式中,目标数据交换格式可以是JavaScript对象标记格式(JavaScript Object Notation,JSON)。在其他一些实施方式中,目标数据交换格式也可以是XML(eXtensible Markup Language)或者YAML(YAML Ain'tMarkup Language)等其他数据交换格式。
步骤S420.对初始格式页面数据进行解析处理后得到基于目标文本文件格式的转换格式页面数据。
在获取到基于目标数据交换格式的初始格式页面数据之后,本步骤将对其进行解析处理以完成格式转换。通过解析处理可以将目标数据交换格式转换为目标文本文件格式,从而得到转换格式页面数据。在一些可选的实施方式中,目标文本文件格式可以是纯文本文件格式,即txt格式,相应得到的转换格式页面数据被保存为txt文本文件。在其他一些实施方式中,目标文本文件格式也可以是doc或者xls等其他文本文件格式,相应得到的转换格式页面数据可以被保存为word文档、excel表格等文本文件。
步骤S430.将转换格式页面数据保存至二维数组中,并将二维数组作为待验证的页面数据。
通过读取经数据格式转换后得到的文本文件,可以从中获得转换格式页面数据,本步骤再将转换格式页面数据保存至二维数组中,并将该二维数组作为待验证的页面数据,等待进行准确性验证。二维数组形式的页面数据可以在保持数据结构化的同时,提高进行数据一致性比对的便利性。
在本公开实施例中,通过对数据展示页面中获取到的页面数据进行格式转换,将原本便于数据交换和传输的数据格式转换为便于数据比对的数据格式,可以在一定程度上降低数据验证的复杂程度,提高数据验证的效率。
对于数据管理平台或者其他的数据展示形式而言,不同类型的大量的业务数据可以在多个数据展示页面中进行展示,以供用户查看和处理。各个数据展示页面可以是相互独立的由不同的视图控制模组进行显示和控制,也可以利用页面内提供的虚拟控件在多个相互关联的数据展示页面之间进行跳转。
图5示意性地示出了在本公开的一些实施例中获取数据展示页面的步骤流程图。如图5所示,在以上各实施例的基础上,步骤S410中的获取数据展示页面,可以包括以下步骤:
步骤S510.获取存储在终端设备上的页面登录信息,并根据页面登录信息生成页面获取请求。
在进行自动化的数据验证时,本步骤可以从直接显示数据展示页面的终端设备或者与之进行数据通信的其他终端设备上获取用于访问该数据展示页面的页面登录信息,当准确获取到页面登录信息后,再根据该页面登录信息生成页面获取请求。举例而言,页面获取请求可以是基于超文本传输协议(Hyper Text Transfer Protocol,HTTP)的请求消息,该请求消息一般由请求行(request line)、请求头(header)、空行和请求数据等四个部分组成。本步骤可以从终端上获取登录cookie,然后将该登录cookie添加至请求消息的请求头中,以生成对应于数据展示页面的页面获取请求。
步骤S520.终端设备将页面获取请求发送至服务器,以获得由服务器返回的数据展示页面。
终端设备可以通过网络链接与服务器进行数据通信,在终端设备上生成页面获取请求后,可以将其发送至服务器,然后由服务器向终端设备返回数据展示页面。该数据展示页面可以在终端设备的前端显示界面上进行显示,另外也可以不做显示,而直接在终端设备的后台执行后续的页面数据获取和验证等步骤。
在本公开实施例中,通过为数据展示页面设置一定的数据访问权限,例如只有准确输入指定的用户信息才可以获取相应的页面数据,可以在提高数据管理便利性的同时保证数据安全性,避免在数据验证过程中出现数据泄露的问题。
从数据展示页面中获取到的待验证的页面数据一般是众多业务数据中的部分样本数据,为了对其进行准确验证,需要从数据库中获取与之具有对应关系的原始数据。
图6示意性地示出了在本公开的一些实施例中获取原始数据的步骤流程图。如图6所示,在以上各实施例的基础上,步骤S320中的获取与页面数据相对应的原始数据,可以包括以下步骤:
步骤S610.从页面数据中获取与业务数据相关联的对象属性信息。
每一个待验证的页面数据,都会对应一种或者多种业务对象,该业务对象显示在数据展示页面中的业务数据可以包括对象属性信息和对象属性值两部分。以销售业务为例,对象属性信息可以包括具体的销售人员信息、销售组别信息、销售片区信息等等,而对象属性值则可以包括与不同销售人员、销售组别或者销售片区相对应的销售业绩、销售成本等数据。
步骤S620.根据对象属性信息从数据库中查找与页面数据相对应的原始数据。
存储原始数据的数据库可以采用结构化数据存储方式,根据步骤S610获取到的对象属性信息,可以从数据库中查找到相应的对象属性值,这部分对象属性值即为与页面数据相对应的原始数据。举例而言,待验证的业务数据是销售员A的当月销售业绩,那么可以根据销售员A的名字或者工号从数据库中查找其当月的销售收入、销售支出等数据作为与其销售业绩相对应的原始数据。
仍以销售业绩为例,本公开实施例中提供的页面数据的验证方法可以应用于对销售业绩进行数据验证,例如应用于销售管理平台的数据准确性验证中。在此基础上,数据展示页面为用于展示销售业绩的销售业绩数据展示页面;数据展示页面中所显示的业务数据包括与销售品牌信息相关的品牌业绩数据以及与销售活动信息或者销售渠道信息相关的效果业绩数据。
图7示意性地示出了一种销售管理平台中销售业绩数据展示页面的数据组成框架。如图7所示,在销售管理平台中,销售业绩数据通过MySQL数据库存储数据,并通过web页面将业绩数据展示给用户,页面中分别展示效果业绩和品牌业绩,而每种业绩又分层展示分片区业绩、总监业绩、小组业绩、销售员业绩等数据。
销售业绩数据展示页面中所展示的销售业绩是通过对原始的销售数据进行加工处理后得到的。如图8所示,销售管理平台的上游原始数据来源一般可以包括三个部分:品牌原始数据、效果原始数据以及其他原始数据。其中,品牌原始数据是根据销售品牌(例如产品品牌、经销商品牌等等)对销售数据进行采集和分类得到的原始数据,效果原始数据是根据销售活动(例如促销活动)或者销售渠道(例如网络商城)对销售数据进行采集和分类得到的原始数据,而其他原始数据指的是未按照品牌业绩或者效果业绩进行类别划分的其他一些原始数据,例如可以是来自独立运行的第三方销售平台提供的原始数据。这些上游原始数据经过业绩计算规则的处理后分别生成品牌业绩数据表、效果业绩数据表以及其他业绩数据表,再将这三个业绩数据表整合成品牌最终业绩数据表、效果最终业绩数据表,这两张表里分别存放用于在页面上展示的各项业绩指标的数据。
应用本公开实施例提供的技术方案可以对销售管理平台在销售业绩数据展示页面中所展示的销售业绩自动化地进行准确性验证,大大提高了数据验证效率。
除了对数据展示页面中的部分页面数据进行验证以外,本公开实施例还可以通过训练机器学习模型,以实现对全量数据的验证。机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
图9示意性地示出了利用机器学习模型对全量数据进行验证的步骤流程图。如图9所示,在本公开的一些实施例中,页面数据的验证方法还可以包括以下步骤:
步骤S910.将多个页面数据以及分别与各个页面数据相关联的验证结果组成训练样本集。
基于以上各实施例中提供的页面数据的验证方法,可以对数据展示页面中的多个页面数据分别进行验证以得到相应的验证结果,验证结果一般可以包括数据验证正确和数据验证错误两种类型。在将页面数据与相应的验证结果进行关联后可以作为训练样本组成训练样本集。
步骤S920.利用训练样本集训练得到用于验证页面数据的机器学习模型。
利用步骤S910中得到训练样本集可以对预先配置的机器学习模型进行训练以得到用于验证页面数据的模型。在训练机器学习模型时,以页面数据作为模型的输入参数,以与页面数据相关联的验证结果作为模型的目标输出参数,通过不断训练以提高模型验证页面数据的能力。本公开实施例中使用的机器学习模型例如可以是卷积神经网络模型(Convolutional Neural Network,CNN)或者循环神经网络模型(Recurrent NeuralNetwork,RNN)等等。
步骤S930.获取数据展示页面的全量页面数据,并将全量页面数据输入机器学习模型,以验证全量页面数据是否正确。
在完成机器学习模型的训练后,本步骤可以获取数据展示页面中的全量页面数据,然后将全量页面数据输入至训练得到的机器学习模型中,以得到由模型输出的对于全量页面数据的验证结果,对全量页面数据的准确性做出判断。
下面结合一具体应用场景对本公开实施例中提供的页面数据的验证方法做出详细说明。
如图10所示,在一应用场景下对页面数据进行自动化验证的过程可以包括以下步骤:
步骤S1010:获取用于登录数据展示页面的登录cookie,并将登录cookie添加至页面请求信息的请求头中;
步骤S1020:对数据展示页面进行页面数据取样,获取抽样数据用作对比验证;
步骤S1030:解析获取到的页面数据json串,将解析得到的数据存放到txt文件中;
步骤S1040:从txt文件中读取对应的业务数据存入二维数组DataArr;
步骤S1050:按照业务数据计算规则将从数据库中获取到的原始数据计算得到真实业务数据,并将其存入临时表中;
步骤S1060:分别取出二维数组DataArr和临时表中的数据进行对比校验,若结果一致则判定数据验证正确,若结果不一致则判定数据验证错误;
步骤S1070:引入机器学习技术,运用页面取样数据进行模型训练;
步骤S1080:经过模型训练,挖掘页面数据验证的深层业务规则;
步骤S1090:验证全量数据,预测页面数据结果的正确性。
将本公开实施例提供的页面数据的验证方法可以应用于销售管理平台中的销售业绩的自动化验证。人工方式数据验证准确率大约在90%,而使用本公开实施例中的自动化方式验证准确率可达到100%,有效提高了数据验证准确性。人工方式验证业绩数据,大约需要40小时/人,而使用本公开实施例中的自动化方式验证仅需要4小时/人,自动化方式验证较人工方式数据验证可节省接近90%的人力成本。
应当注意,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本公开的装置实施例,可以用于执行本公开上述实施例中的页面数据的验证方法。对于本公开装置实施例中未披露的细节,请参照本公开上述的页面数据的验证方法的实施例。
图11示意性地示出了在本公开一些实施例中的页面数据的验证装置的结构框图。如图11所示,页面数据的验证装置1100主要可以包括:页面数据获取模块1110、原始数据获取模块1120、原始数据计算模块1130和数据对比验证模块1140。
页面数据获取模块1110被配置为从数据展示页面中获取待验证的页面数据,页面数据为数据展示页面中显示的业务数据;原始数据获取模块1120被配置为获取与页面数据相对应的原始数据,并确定与页面数据相关的业务计算规则;原始数据计算模块1130被配置为利用业务计算规则对原始数据进行计算处理后得到真实业务数据;数据对比验证模块1140被配置为将页面数据与真实业务数据进行对比,以验证页面数据是否正确。
在本公开的一些实施例中,基于以上技术方案,页面数据获取模块包括:初始页面获取单元,被配置为获取数据展示页面,并从数据展示页面中获取基于目标数据交换格式的初始格式页面数据;转换页面获取单元,被配置为对初始格式页面数据进行解析处理后得到基于目标文本文件格式的转换格式页面数据;页面数据保存单元,被配置为将转换格式页面数据保存至二维数组中,并将二维数组作为待验证的页面数据。
在本公开的一些实施例中,基于以上技术方案,初始页面获取单元包括:页面获取请求生成子单元,被配置为获取存储在终端设备上的页面登录信息,并根据页面登录信息生成页面获取请求;数据展示页面获取子单元,被配置为终端设备将页面获取请求发送至服务器,以获得由服务器返回的数据展示页面。
在本公开的一些实施例中,基于以上技术方案,目标数据交换格式为JavaScript对象标记格式,目标文本文件格式为纯文本文件格式。
在本公开的一些实施例中,基于以上技术方案,原始数据获取模块包括:对象属性信息获取单元,被配置为从页面数据中获取与业务数据相关联的对象属性信息;原始数据查找单元,被配置为根据对象属性信息从数据库中查找与页面数据相对应的原始数据。
在本公开的一些实施例中,基于以上技术方案,数据展示页面为用于展示销售业绩的销售业绩数据展示页面;数据展示页面中所显示的业务数据包括与销售品牌信息相关的品牌业绩数据以及与销售活动信息或者销售渠道信息相关的效果业绩数据。
在本公开的一些实施例中,基于以上技术方案,页面数据的验证装置还包括:训练样本集确定单元,被配置为将多个页面数据以及分别与各个页面数据相关联的验证结果组成训练样本集;模型训练单元,被配置为利用训练样本集训练得到用于验证页面数据的机器学习模型;全量数据验证单元,被配置为获取数据展示页面的全量页面数据,并将全量页面数据输入机器学习模型,以验证全量页面数据是否正确。
本公开各实施例中提供的页面数据的验证装置的具体细节已经在对应的方法实施例中进行了详细的描述,因此此处不再赘述。
图12示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图12示出的电子设备的计算机系统1200仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示,计算机系统1200包括中央处理单元(Central Processing Unit,CPU)1201,其可以根据存储在只读存储器(Read-Only Memory,ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(Random Access Memory,RAM)1203中的程序而执行各种适当的动作和处理。在RAM 1203中,还存储有系统操作所需的各种程序和数据。CPU1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(Input/Output,I/O)接口1205也连接至总线1204。
以下部件连接至I/O接口1205:包括键盘、鼠标等的输入部分1206;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分1207;包括硬盘等的存储部分1208;以及包括诸如LAN(Local AreaNetwork,局域网)卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1210上,以便于从其上读出的计算机程序根据需要被安装入存储部分1208。
特别地,根据本公开的实施例,各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1209从网络上被下载和安装,和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(CPU)1201执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (7)
1.一种页面数据的验证方法,其特征在于,包括:
从数据展示页面中获取待验证的页面数据,所述页面数据为所述数据展示页面中显示的业务数据;
获取与所述页面数据相对应的原始数据,并确定与所述页面数据相关的业务计算规则;所述原始数据和所述业务计算规则是与所述页面数据具有不同计算路径的数据和规则;
利用所述业务计算规则对所述原始数据进行计算处理后得到真实业务数据;
将所述页面数据与所述真实业务数据进行对比,以验证所述页面数据是否正确;将多个页面数据以及分别与各个所述页面数据相关联的验证结果组成训练样本集;利用所述训练样本集训练得到用于验证页面数据的机器学习模型;获取数据展示页面的全量页面数据,并将所述全量页面数据输入所述机器学习模型,以验证所述全量页面数据是否正确;
其中,所述从数据展示页面中获取待验证的页面数据,包括:获取数据展示页面,并从所述数据展示页面中获取基于目标数据交换格式的初始格式页面数据;对所述初始格式页面数据进行解析处理后得到基于目标文本文件格式的转换格式页面数据;将所述转换格式页面数据保存至二维数组中,并将所述二维数组作为待验证的页面数据;
所述获取数据展示页面,包括:获取存储在终端设备上的页面登录信息,并根据所述页面登录信息生成页面获取请求;所述终端设备将所述页面获取请求发送至服务器,以获得由所述服务器返回的数据展示页面。
2.根据权利要求1所述的页面数据的验证方法,其特征在于,所述目标数据交换格式为JavaScript对象标记格式,所述目标文本文件格式为纯文本文件格式。
3.根据权利要求1所述的页面数据的验证方法,其特征在于,所述获取与所述页面数据相对应的原始数据,包括:
从所述页面数据中获取与业务数据相关联的对象属性信息;
根据所述对象属性信息从数据库中查找与所述页面数据相对应的原始数据。
4.根据权利要求1所述的页面数据的验证方法,其特征在于,所述数据展示页面为用于展示销售业绩的销售业绩数据展示页面;所述数据展示页面中所显示的业务数据包括与销售品牌信息相关的品牌业绩数据以及与销售活动信息或者销售渠道信息相关的效果业绩数据。
5.一种页面数据的验证装置,其特征在于,包括:
页面数据获取模块,被配置为从数据展示页面中获取待验证的页面数据,所述页面数据为所述数据展示页面中显示的业务数据;
原始数据获取模块,被配置为获取与所述页面数据相对应的原始数据,并确定与所述页面数据相关的业务计算规则;所述原始数据和所述业务计算规则是与所述页面数据具有不同计算路径的数据和规则;
原始数据计算模块,被配置为利用所述业务计算规则对所述原始数据进行计算处理后得到真实业务数据;
数据对比验证模块,被配置为将所述页面数据与所述真实业务数据进行对比,以验证所述页面数据是否正确;将多个页面数据以及分别与各个所述页面数据相关联的验证结果组成训练样本集;利用所述训练样本集训练得到用于验证页面数据的机器学习模型;获取数据展示页面的全量页面数据,并将所述全量页面数据输入所述机器学习模型,以验证所述全量页面数据是否正确;
其中,所述从数据展示页面中获取待验证的页面数据,包括:获取数据展示页面,并从所述数据展示页面中获取基于目标数据交换格式的初始格式页面数据;对所述初始格式页面数据进行解析处理后得到基于目标文本文件格式的转换格式页面数据;将所述转换格式页面数据保存至二维数组中,并将所述二维数组作为待验证的页面数据;
所述获取数据展示页面,包括:获取存储在终端设备上的页面登录信息,并根据所述页面登录信息生成页面获取请求;所述终端设备将所述页面获取请求发送至服务器,以获得由所述服务器返回的数据展示页面。
6.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的页面数据的验证方法。
7.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至4中任一项所述的页面数据的验证方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910651530.5A CN112241417B (zh) | 2019-07-18 | 2019-07-18 | 页面数据的验证方法、装置、介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910651530.5A CN112241417B (zh) | 2019-07-18 | 2019-07-18 | 页面数据的验证方法、装置、介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112241417A CN112241417A (zh) | 2021-01-19 |
CN112241417B true CN112241417B (zh) | 2023-10-27 |
Family
ID=74168414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910651530.5A Active CN112241417B (zh) | 2019-07-18 | 2019-07-18 | 页面数据的验证方法、装置、介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112241417B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113407411B (zh) * | 2021-06-17 | 2023-05-19 | 杭州遥望网络科技有限公司 | 一种直播场景中线上数据的准确性监测装置及方法 |
CN114579433A (zh) * | 2022-02-15 | 2022-06-03 | 北京达佳互联信息技术有限公司 | 页面参数校验方法、装置、电子设备、介质及程序产品 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105354237A (zh) * | 2015-10-09 | 2016-02-24 | 上海瀚之友信息技术服务有限公司 | 一种业务数据展示方法 |
CN107741951A (zh) * | 2017-09-08 | 2018-02-27 | 阿里巴巴集团控股有限公司 | 页面数据处理方法、装置及电子设备 |
CN109388570A (zh) * | 2018-10-12 | 2019-02-26 | 东软集团股份有限公司 | 业务逻辑检测方法、装置及计算机可读存储介质 |
-
2019
- 2019-07-18 CN CN201910651530.5A patent/CN112241417B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105354237A (zh) * | 2015-10-09 | 2016-02-24 | 上海瀚之友信息技术服务有限公司 | 一种业务数据展示方法 |
CN107741951A (zh) * | 2017-09-08 | 2018-02-27 | 阿里巴巴集团控股有限公司 | 页面数据处理方法、装置及电子设备 |
CN109388570A (zh) * | 2018-10-12 | 2019-02-26 | 东软集团股份有限公司 | 业务逻辑检测方法、装置及计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
关于系统页面上的数据与数据库中数据一致性的测试;佚名;https://blog.csdn.net/monchchi1118/article/details/56675950;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112241417A (zh) | 2021-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2992563C (en) | Method and system for applying probabilistic topic models to content in a tax environment to improve user satisfaction with a question and answer customer support system | |
US20190026656A1 (en) | System and method for defining and using different levels of ground truth | |
CN109960810B (zh) | 一种实体对齐方法及装置 | |
US10938738B2 (en) | Resource allocation in distributed processing systems | |
CN107491547A (zh) | 基于人工智能的搜索方法和装置 | |
US20190334979A1 (en) | System and method for providing more appropriate question/answer responses based upon profiles | |
CN105359141A (zh) | 支持基于流的etl和基于实体关系的etl的组合 | |
CN102930023A (zh) | 基于知识的数据质量解决方案 | |
CN111444181B (zh) | 知识图谱更新方法、装置及电子设备 | |
Anderson et al. | The crowd is the territory: Assessing quality in peer-produced spatial data during disasters | |
CN108255706A (zh) | 自动化测试脚本的编辑方法、装置、终端设备及存储介质 | |
CN112241417B (zh) | 页面数据的验证方法、装置、介质及电子设备 | |
CN112596731B (zh) | 一种融合智能教育的编程教学系统及方法 | |
Wu et al. | Research on the relationship between structural hole location, knowledge management and cooperative innovation performance in artificial intelligence | |
CN111859074B (zh) | 基于深度学习的网络舆情信息源影响力评估方法及系统 | |
CN115686280A (zh) | 深度学习模型管理系统、方法、计算机设备及存储介质 | |
Su | The study of physical education evaluation based on a fuzzy stochastic algorithm | |
CN112347338A (zh) | 一种用于农业信息服务的知识库检索系统 | |
US20230351153A1 (en) | Knowledge graph reasoning model, system, and reasoning method based on bayesian few-shot learning | |
CN111459943A (zh) | 一种数据处理方法、装置、系统、设备及存储介质 | |
YiFei | Design of network-assisted teaching of ideological and political courses for college students based on android system | |
CN115292516A (zh) | 基于区块链的分布式知识图谱构建方法、装置及系统 | |
Zhang | [Retracted] Design of the School‐Enterprise Cooperation Management Information Platform Based on the B/S Architecture | |
Lili | A mobile terminal-based college English teaching evaluation method | |
CN114968821A (zh) | 基于强化学习的测试数据生成方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |