CN109375923A - 变更数据处理方法、装置、存储介质、处理器及服务器 - Google Patents

变更数据处理方法、装置、存储介质、处理器及服务器 Download PDF

Info

Publication number
CN109375923A
CN109375923A CN201811261205.XA CN201811261205A CN109375923A CN 109375923 A CN109375923 A CN 109375923A CN 201811261205 A CN201811261205 A CN 201811261205A CN 109375923 A CN109375923 A CN 109375923A
Authority
CN
China
Prior art keywords
data
processing
change
storage region
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811261205.XA
Other languages
English (en)
Other versions
CN109375923B (zh
Inventor
徐龙
王彬
汪承佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201811261205.XA priority Critical patent/CN109375923B/zh
Publication of CN109375923A publication Critical patent/CN109375923A/zh
Application granted granted Critical
Publication of CN109375923B publication Critical patent/CN109375923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management
    • G06F8/71Version control; Configuration management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/362Software debugging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/40Transformation of program code
    • G06F8/41Compilation
    • G06F8/42Syntactic analysis
    • G06F8/427Parsing

Abstract

本发明公开了一种变更数据处理方法、装置、存储介质、处理器及服务器。该方法包括:获取变更数据;对变更数据进行数据预处理和关联处理,得到处理后数据;将处理后数据存储至与本地服务器对应的存储区域;调用中心服务器的预设接口对存储区域内的处理后数据进行差值运算,得到差异内容。本发明解决了相关技术中所提供的变更数据处理方式操作复杂度较高、数据存储安全性较差的技术问题。

Description

变更数据处理方法、装置、存储介质、处理器及服务器
技术领域
本发明涉及计算机领域,具体而言,涉及一种变更数据处理方法、装置、存储介质、处理器及服务器。
背景技术
在游戏项目的研发进程中,每天都会存在大量的数据需要提交至版本管理仓库(即SVN仓库),其包括但不限于:程序代码、EXCEL表格、美术资源。为此,需要确认这些变更操作是否存在异常,从而避免编程人员错误提交代码、策划人员错误修改表格、美术人员错误删除贴图文件所导致的严重后果。然而,如果单纯依靠黑盒功能测试是无法满足上述确认需求的。
为了能够确定测试的范围以及设计相应的测试用例,需要对每一次变更操作进行跟踪监控。而只有做到对每一次变更操作进行严格监控,才能够有效地避免因误操作所导致的严重后果。变更确认作为测试流程中至关重要的环节,测试人员需要对策划人员、编程人员、美术人员每一次变更操作进行严格把控。
目前,在相关技术中所提供的确认变更方案中,通常会对代码仓库提交日志进行检查或者采用特定工具对两个表格进行Diff变更操作。而目前现有的变更确认系统通常针对资源变更信息仅执行简单的确认,然后再由测试人员进行查看;或者仅支持代码变更信息收集,而缺少表格信息收集。
由此可见,相关技术中所提供的确认变更方案存在如下技术缺陷:
(1)变更确认或者查看差异数据的操作过程繁琐。
(2)仅支持对同一类型文件进行差异变更进行确认,而不支持对不同类型文件进行差异变更进行确认。
(3)需要开放相应的仓库权限,而且数据存储在同一个中心服务器,无法确保数据存储安全。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明至少部分实施例提供了一种变更数据处理方法、装置、存储介质、处理器及服务器,以至少解决相关技术中所提供的变更数据处理方式操作复杂度较高、数据存储安全性较差的技术问题。
根据本发明其中一实施例,提供了一种变更数据处理方法,包括:
获取变更数据;对变更数据进行数据预处理和关联处理,得到处理后数据;将处理后数据存储至与本地服务器对应的存储区域;调用中心服务器的预设接口对存储区域内的处理后数据进行差值运算,得到差异内容。
可选地,获取变更数据包括以下之一:在确定当前已开通版本管理变更权限的情况下,通过软件开发工具包(SDK)从版本管理仓库获取变更数据;在确定当前未开通版本管理变更权限的情况下,通过SDK从数据传输媒介中查找到变更数据。
可选地,对变更数据进行数据预处理,得到处理后数据包括:将不同类型的表格文件数据集成为单一数据流;获取非表格文件数据的版本管理差异数据流;对单一数据流进行解析,并对解析后表格数据中的空白行和空白列进行压缩处理,得到压缩后表格数据流。
可选地,对变更数据进行关联处理,得到处理后数据包括:按照预设过滤条件对版本管理差异数据流和压缩后表格数据流进行过滤处理,得到过滤后数据流;对过滤后数据流进行映射处理,并将过滤后数据流与任务协作单号进行关联,得到处理后数据,其中,映射处理用于确定过滤后数据流的版本号以及与过滤后数据流对应的用户名称。
可选地,将处理后数据存储至与本地服务器对应的存储区域包括:对处理后数据中的表格文件数据进行分片处理,并将分片后的表格文件数据存储至与存储区域;将处理后数据中的非表格文件数据以文件为单位存储至与存储区域。
可选地,调用预设接口对存储区域内的处理后数据进行差值运算,得到差异内容包括:采用与预设接口对应的通信协议向中心服务器发送请求消息,其中,请求消息用于请求中心服务器对存储区域内的处理后数据进行差值运算;接收来自于中心服务器的差异内容。
根据本发明其中一实施例,还提供了另一种变更数据处理方法,包括:
接收来自于远程服务器的请求消息;响应于请求消息,获取远程服务器的标识信息;通过标识信息从远程服务器对应的存储区域获取处理后数据,其中,处理后数据由远程服务器对变更数据进行数据预处理和关联处理而得到的数据;对处理后数据进行差值运算,得到差异内容。
可选地,对处理后数据进行差值运算,得到差异内容包括:采用表格差异算法对处理后数据中的表格文件数据执行差异运算,得到第一部分差异数据,对第一部分差异数据执行差异运算,得到第二部分差异数据;对处理后数据中的非表格文件数据执行差异运算,得到第三部分差异数据;将第二部分差异数据和第三部分差异数据确定为差异内容。
可选地,在对处理后数据进行差值运算,得到差异内容之后,还包括:对第二部分差异数据进行分片处理并将分片后的差异数据返回至存储区域,以及将第三部分差异数据返回至存储区域。
根据本发明其中一实施例,还提供了一种变更数据处理装置,包括:
获取模块,用于获取变更数据;第一处理模块,用于对变更数据进行数据预处理和关联处理,得到处理后数据;存储模块,用于将处理后数据存储至与本地服务器对应的存储区域;第二处理模块,用于调用中心服务器的预设接口对存储区域内的处理后数据进行差值运算,得到差异内容。
可选地,获取模块,用于在确定当前已开通版本管理变更权限的情况下,通过SDK从版本管理仓库获取变更数据;在确定当前未开通版本管理变更权限的情况下,通过SDK从数据传输媒介中查找到变更数据。
可选地,第一处理模块,用于将不同类型的表格文件数据集成为单一数据流,获取非表格文件数据的版本管理差异数据流,以及对单一数据流进行解析,并对解析后表格数据中的空白行和空白列进行压缩处理,得到压缩后表格数据流。
可选地,第一处理模块,用于按照预设过滤条件对版本管理差异数据流和压缩后表格数据流进行过滤处理,得到过滤后数据流,以及对过滤后数据流进行映射处理,并将过滤后数据流与任务协作单号进行关联,得到处理后数据,其中,映射处理用于确定过滤后数据流的版本号以及与过滤后数据流对应的用户名称。
可选地,存储模块,用于对处理后数据中的表格文件数据进行分片处理,并将分片后的表格文件数据存储至与存储区域,以及将处理后数据中的非表格文件数据以文件为单位存储至与存储区域。
可选地,第二处理模块,用于采用与预设接口对应的通信协议向中心服务器发送请求消息,其中,请求消息用于请求中心服务器对存储区域内的处理后数据进行差值运算;以及接收来自于中心服务器的差异内容。
根据本发明其中一实施例,还提供了另一种变更数据处理装置,包括:
接收模块,用于接收来自于远程服务器的请求消息;第一获取模块,用于响应于请求消息,获取远程服务器的标识信息;第二获取模块,用于通过标识信息从远程服务器对应的存储区域获取处理后数据,其中,处理后数据由远程服务器对变更数据进行数据预处理和关联处理而得到的数据;处理模块,用于对处理后数据进行差值运算,得到差异内容。
可选地,处理模块,用于采用表格差异算法对处理后数据中的表格文件数据执行差异运算,得到第一部分差异数据,对第一部分差异数据执行差异运算,得到第二部分差异数据;对处理后数据中的非表格文件数据执行差异运算,得到第三部分差异数据;将第二部分差异数据和第三部分差异数据确定为差异内容。
可选地,上述装置还包括:反馈模块,用于对第二部分差异数据进行分片处理并将分片后的差异数据返回至存储区域,以及将第三部分差异数据返回至存储区域。
根据本发明其中一实施例,还提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述任意一项的变更数据处理方法。
根据本发明其中一实施例,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述任意一项的变更数据处理方法。
根据本发明其中一实施例,还提供了一种服务器,包括:一个或多个处理器,存储器,显示装置以及一个或多个程序,其中,一个或多个程序被存储在存储器中,并且被配置为由一个或多个处理器执行,一个或多个程序用于执行上述任意一项的变更数据处理方法。
在本发明至少部分实施例中,采用对变更数据进行数据预处理和关联处理以得到处理后数据的方式,通过将处理后数据存储至与本地服务器对应的存储区域以及调用中心服务器的预设接口对存储区域内的处理后数据进行差值运算,得到差异内容,达到了通过多个本地服务器对变更数据进行分布式存储以及将不同类型的变更数据整合至中心服务器进行差异内容计算,以避免繁琐、复杂的操作同时还能够确保数据存储安全性的目的,从而实现了降低变更数据处理方式的操作复杂度、提升数据存储的安全性的技术效果,进而解决了相关技术中所提供的变更数据处理方式操作复杂度较高、数据存储安全性较差的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明其中一实施例的一种变更数据处理方法;
图2是根据本发明其中一实施例的另一种变更数据处理方法;
图3是根据本发明其中一实施例的一种变更数据处理装置的结构框图;
图4是根据本发明其中一实施例的另一种变更数据处理装置的结构框图;
图5是根据本发明其中一可选实施例的另一种变更数据处理装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明其中一实施例,提供了一种变更数据处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
该方法实施例可以在服务器或者类似的运算装置中执行。以运行在服务器上为例,服务器可以包括一个或多个处理器(处理器可以包括但不限于微处理器(MCU)或可编程逻辑器件(FPGA)等的处理装置)和用于存储数据的存储器。可选地,上述服务器还可以包括用于通信功能的传输装置以及输入输出设备。本领域普通技术人员可以理解,上述结构描述仅为示意,其并不对上述服务器的结构造成限定。例如,服务器还可包括比上述结构描述更多或者更少的组件,或者具有与上述结构描述不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的变更数据处理方法对应的计算机程序。处理器通过运行存储在存储器内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的变更数据处理方法。存储器可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器的通信供应商提供的无线网络。在一个实例中,传输装置包括一个网络适配器(NetworkInterface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述服务器的变更数据处理方法,图1是根据本发明其中一实施例的一种变更数据处理方法,如图1所示,该方法包括如下步骤:
步骤S10,获取变更数据;
步骤S12,对变更数据进行数据预处理和关联处理,得到处理后数据;
步骤S14,将处理后数据存储至与本地服务器对应的存储区域;
步骤S16,调用中心服务器的预设接口对存储区域内的处理后数据进行差值运算,得到差异内容。
通过上述步骤,可以采用对变更数据进行数据预处理和关联处理以得到处理后数据的方式,通过将处理后数据存储至与本地服务器对应的存储区域以及调用中心服务器的预设接口对存储区域内的处理后数据进行差值运算,得到差异内容,达到了通过多个本地服务器对变更数据进行分布式存储以及将不同类型的变更数据整合至中心服务器进行差异内容计算,以避免繁琐、复杂的操作同时还能够确保数据存储安全性的目的,从而实现了降低变更数据处理方式的操作复杂度、提升数据存储的安全性的技术效果,进而解决了相关技术中所提供的变更数据处理方式操作复杂度较高、数据存储安全性较差的技术问题。
可选地,在步骤S10中,获取变更数据可以包括以下执行步骤之一:
步骤S101,在确定当前已开通版本管理变更权限的情况下,通过软件开发工具包(SDK)从版本管理仓库获取变更数据;
步骤S102,在确定当前未开通版本管理变更权限的情况下,通过SDK从数据传输媒介中查找到变更数据。
在接入游戏项目的过程中,需要游戏项目组的本地服务器开放数据库(即上述存储区域)并开启相应的权限。然后,通过Diff前端配置连接数据库。前端提供界面供用户进行配置,并在配置完毕之后自动渲染到SDK中,然后在用户下载SDK之后便无需通过人工方式在CONFIG文件中再次进行配置。前端配置主要是提供一个友好的界面,包括:帮助提示和输入窗口,以便用户更加直观、便捷地完成配置操作。数据库可以向中心服务器发送地址信息,中心服务器通过地址信息自动为数据库创建相应的数据表。
用户配置并下载SDK到本地服务器。通过在本地服务中定时运行SDK推送邮件或SVN数据到本地数据库。邮件或SVN数据可以包括但不限于:记录版本管理仓库内的更变内容,更变文件,表格文件数据流,版本管理仓库的日志信息。通过对邮件或SVN数据进行过滤处理,以自动匹配的跟进人、提交人以及版本信息等数据。
收集数据通过SDK在本地服务器进行收集。收集数据的方式包括以下两种:
(1)SVN推送模式,支持从SVN仓库直接提取变更内容,其主要应用于已开通SVN变更权限的场景。用户在下载SDK到本地服务器之后,在本地服务器运行SDK并将提到的变更内容存储至本地数据库。
(2)数据传输媒介(例如:邮件)变更推送模式,支持从邮件中检索变更信息,而用户只需要提供一个邮箱用于收集变更信息即可,其主要应用于未开通SVN变更权限,而只开通邮件查看变更权限的项目。通过在用户的本地服务器上设置SDK能够避免泄露用户的账号和密码。
可选地,在步骤S12中,对变更数据进行数据预处理,得到处理后数据可以包括以下执行步骤:
步骤S121,将不同类型的表格文件数据集成为单一数据流;
步骤S122,获取非表格文件数据的版本管理差异数据流;
步骤S123,对单一数据流进行解析,并对解析后表格数据中的空白行和空白列进行压缩处理,得到压缩后表格数据流。
为了解决SVN仓库无法提取表格内具体内容的技术缺陷,SDK将xlrd、openpyxl、unicodecsv集成为统一的数据流进行读取并配合pysvn,用于统一解析和读取数据文件,因此,兼容各种表格类型(例如:xlsx、xls、xlsm、csv)的读取,对于非表格文件数据,则可以直接获取SVN差异内容。
上述变更数据需要经过预处理、分支过滤、周版本映射、用户映射并关联任务协作单号才能够完成数据处理与业务逻辑之间的绑定。
在预处理过程中,可以将xlsx、csv、xls、xlsm等不同类型表格文件数据流集成为单一数据流,以及获取Py、json、txt等非表格文件数据的SVN差异数据流。另外,在对表格数据流进行解析之后,对表格数据流中出现的空行和空列进行压缩处理,以节约空间、加快速度。
可选地,在步骤S12中,对变更数据进行关联处理,得到处理后数据可以包括以下执行步骤:
步骤S121,按照预设过滤条件对版本管理差异数据流和压缩后表格数据流进行过滤处理,得到过滤后数据流;
步骤S122,对过滤后数据流进行映射处理,并将过滤后数据流与任务协作单号进行关联,得到处理后数据,其中,映射处理用于确定过滤后数据流的版本号以及与过滤后数据流对应的用户名称。
对于分支过滤而言,假设扫描特定SVN仓库的链接为A/目录,但是实际上用户只需要监控A/A目录或者A/C目录,这样会通过设定过滤条件自动过滤其他目录;或者用户希望获取SVN的数据是A/B目录也会通过设定过滤条件自动过滤其他目录。邮件也采用类似的处理方式。再例如:用户不希望监控txt文件,而只希望监控PY文件,那么也可以采用分支过滤的方式来加以实现。
以采用周版本来表示上述版本号为例,周版本可以是不停机维护版本、热更修复版本、x年x月x日周开发版本等。在未关联预设任务协作平台之前,通过当前时间和用户先前配置的周版本时间用例,对周版本提交时间进行加1计算。在关联预设任务协作平台之后,首先根据日志中添加的#1234,其中,1234表示关联的预设任务协作平台版本号。然后通过预设任务协作平台,SQL获取关联预设任务协作平台单号,提交人以及跟进人,并与SVN仓库提交数据进行关联。由于用户名可能使用是代号(例如:汉语拼音),因此,还需要预先在用户的名字与代号之间配置映射关系,以便执行用户映射操作。此外,在关联预设任务协作平台之后,还可以获得单号指派人,以关联当前提交的SVN数据。
可选地,在步骤S14中,将处理后数据存储至与本地服务器对应的存储区域可以包括以下执行步骤:
步骤S141,对处理后数据中的表格文件数据进行分片处理,并将分片后的表格文件数据存储至与存储区域;
步骤S142,将处理后数据中的非表格文件数据以文件为单位存储至与存储区域。
对于表格文件数据可以进行分片处理。即,将每个表格划分成多个sheet,每个sheet划分成多片并按照分片形式存储至数据库中。而对于非表格文件数据则可以按照文件为单位(例如:一个txt文件)存储至数据库中。
分片处理的作用在于:经过分片处理的数据可以提高检索速度,在运行计算时可以分批加载数据,防止内存泄漏,而且根据sheet分片并行处理,还可以加快Diff算法的执行速率。
可选地,在步骤S16中,调用预设接口对存储区域内的处理后数据进行差值运算,得到差异内容可以包括以下执行步骤:
步骤S161,采用与预设接口对应的通信协议向中心服务器发送请求消息,其中,请求消息用于请求中心服务器对存储区域内的处理后数据进行差值运算;
步骤S162,接收来自于中心服务器的差异内容。
通过调用中心服务器的超文本传输协议(HTTP)接口执行当前提交文件Diff算法。在本地服务器的SDK将处理后数据存储至本地数据库之后,将会通过发送HTTP请求消息方式来请求中心服务器执行Diff算法,以获取差异内容。
在本实施例中提供了另一种运行于上述服务器的变更数据处理方法,图2是根据本发明其中一实施例的另一种变更数据处理方法,如图2所示,该方法包括如下步骤:
步骤S20,接收来自于远程服务器的请求消息;
步骤S22,响应于请求消息,获取远程服务器的标识信息;
步骤S24,通过标识信息从远程服务器对应的存储区域获取处理后数据,其中,处理后数据由远程服务器对变更数据进行数据预处理和关联处理而得到的数据;
步骤S26,对处理后数据进行差值运算,得到差异内容。
中心服务器采用Go语言的一个web服务框架加以实现。使用Go语言作为Diff系统后台,也作为远程调用执行算法异步处理中心。Diff算法采用GO的协程Goroutine和Channel实现并行化处理。
在游戏项目组的本地服务器(即上述远程服务器)的SDK将处理后数据存储至本地数据库之后,将会通过HTTP请求中心服务器执行Diff算法。中心服务器通过响应HTTP请求获取远程服务器的Key(即上述标识信息)。然后,中心服务器从游戏项目组的本地服务器内开启的数据库中获取当前SDK对应游戏项目组的Key所配置的处理后数据,并调用Diff算法计算上述处理后数据的差异内容。由此,各个游戏项目组的本地服务器相互隔离,互不影响,并支持并行操作。
可选地,在步骤S26中,对处理后数据进行差值运算,得到差异内容可以包括以下执行步骤:
步骤S261,采用表格差异算法对处理后数据中的表格文件数据执行差异运算,得到第一部分差异数据,对第一部分差异数据执行差异运算,得到第二部分差异数据;
步骤S262,对处理后数据中的非表格文件数据执行差异运算,得到第三部分差异数据;
步骤S263,将第二部分差异数据和第三部分差异数据确定为差异内容。
针对表格文件数据,中心服务器首先采用表格Diff算法执行Diff操作,得到第一部分差异数据;其次,针对匹配的单元格字符串级别的数据(即第一部分差异数据)再次执行Diff操作,得到第二部分差异数据。
针对非表格文件数据,中心服务器执行Diff操作并渲染Diff数据内容,得到第三部分差异数据。
可选地,在步骤S26,对处理后数据进行差值运算,得到差异内容之后,还可以包括以下执行步骤:
步骤S27,对第二部分差异数据进行分片处理并将分片后的差异数据返回至存储区域,以及对第三部分差异数据返回至存储区域。
无论是,然后再存储至本地服务器的数据库并返回给前端展示。
针对上述第二部分差异数据,需要进行数据分片处理,然后再将分片数据存储回游戏项目组的本地服务器的数据库中。针对上述第三部分差异数据,可以不再进行分片处理,而直接存储回游戏项目组的本地服务器的数据库中。
最后,游戏项目组的本地服务器需要将获得的数据展示在前端,不同游戏项目组的用户可以通过一个统一web可视化页面对数据进行查看、操作和联动。
对于变更确认,web可视化页面提供了三种类型视图,包括:经典视图、SVN视图和周版本视图。该web可视化页面集成有强大的筛选器和过滤器快速查找指定内容,提供右键多选指派跟进人,确认等功能。
所有数据展示和过滤均在后端分页筛选而成,极大地增加了前端加载速度,为前端大数据库快速加载提供可能。而且,后端还可以根据提交时间自动划分分支以及根据提交的日志自动分配跟进人。另外,后端还支持将提交数据按照时间段划分到各类别及分配到每个负责人名下,以便用户管理。
针对变更比对,区别于相关技术中所提供的查看工具缺乏对EXCEL表格的支持,只支持文本文件的变更查看,提供了表格变更查看功能。通过高度仿照EXCEL的数据展示页面,将变更的表格加载到页面上。在页面的第一显示区域(例如:右上方)展示修改的sheet。在与第一显示区域相邻的第二显示区域(例如:第一显示区域的下方)展示行列的增删情况,其中,第一颜色(例如:绿色)表示新增部分,第二颜色(例如:黄色)表示修改部分,第三颜色(例如:红色)表示删除部分。另外,还可以采用列表的方将变更部分列举出来,用户点击即可自动定位、跳转到变更部分。由此整个操作过程比在EXCEL中查看信息更加方便。
在一个可选实施例中,还支持表格变更查看增强功能与系统指定版本比对功能。即,在版本文件标签内可以查看该文件历史修改信息,并且支持与任一历史版本比对,以实现跨版本比对。用户可以在比对操作完成之后,批量确认结果。
在一个可选实施例中,还支持表格查看增强功能。为了使得用户更好地查看表格变更,通过启动详细模式diff查看(即关闭数据精简模式),可以查看详细diff,该模式可以查看修改sheet的所有内容。而精简模式则只展示修改部分的内容。另外,还可以通过使用冻结表头功能:可以选择冻结头1-10行表头,其用法与EXCEL一致。
在一个可选实施例中,还支持代码和文件对比功能,细化到字符级别的diff展示。区别于相关技术中所提供的变更确认方案,diff力度仅能够细化到行级别,其缺陷在于:对于一些数字,标点的变化,将难以辨认。相反地,通过细化到字符级别,可以自动将变更点细化到字符级别。
最终,通过一键发送邮件报告给所有工作用户,对近几周更新条目统计,确认条目统计,跟进确认统计等内容加以清晰展示。
通过上述分析可知,上述方法实施例可以达到如下技术效果:
(1)在流程管理方面,可以使得测试人员便于跟进编程人员、策划人员以及美术人员所提交的变更内容。通过diff内容确定回归范围,制定测试用例,并且可以通过diff查看提交的变更内容是否存在其他隐性漏洞。
(2)在节省人力成本方面,收集变更信息,分派变更确认人,查找变更,确认变更,归档diff信息,只需要执行简单的配置操作即可完成变更确认过程。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种变更数据处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明其中一实施例的一种变更数据处理装置的结构框图,如图3所示,该装置包括:获取模块10,用于获取变更数据;第一处理模块20,用于对变更数据进行数据预处理和关联处理,得到处理后数据;存储模块30,用于将处理后数据存储至与本地服务器对应的存储区域;第二处理模块40,用于调用中心服务器的预设接口对存储区域内的处理后数据进行差值运算,得到差异内容。
可选地,获取模块10,用于在确定当前已开通版本管理变更权限的情况下,通过SDK从版本管理仓库获取变更数据;在确定当前未开通版本管理变更权限的情况下,通过SDK从数据传输媒介中查找到变更数据。
可选地,第一处理模块20,用于将不同类型的表格文件数据集成为单一数据流,获取非表格文件数据的版本管理差异数据流,以及对单一数据流进行解析,并对解析后表格数据中的空白行和空白列进行压缩处理,得到压缩后表格数据流。
可选地,第一处理模块20,用于按照预设过滤条件对版本管理差异数据流和压缩后表格数据流进行过滤处理,得到过滤后数据流,以及对过滤后数据流进行映射处理,并将过滤后数据流与任务协作单号进行关联,得到处理后数据,其中,映射处理用于确定过滤后数据流的版本号以及与过滤后数据流对应的用户名称。
可选地,存储模块30,用于对处理后数据中的表格文件数据进行分片处理,并将分片后的表格文件数据存储至与存储区域,以及将处理后数据中的非表格文件数据以文件为单位存储至与存储区域。
可选地,第二处理模块40,用于采用与预设接口对应的通信协议向中心服务器发送请求消息,其中,请求消息用于请求中心服务器对存储区域内的处理后数据进行差值运算;以及接收来自于中心服务器的差异内容。
在本实施例中还提供了另一种变更数据处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明其中一实施例的另一种变更数据处理装置的结构框图,如图4所示,该装置包括:接收模块50,用于接收来自于远程服务器的请求消息;第一获取模块60,用于响应于请求消息,获取远程服务器的标识信息;第二获取模块70,用于通过标识信息从远程服务器对应的存储区域获取处理后数据,其中,处理后数据由远程服务器对变更数据进行数据预处理和关联处理而得到的数据;处理模块80,用于对处理后数据进行差值运算,得到差异内容。
可选地,处理模块80,用于采用表格差异算法对处理后数据中的表格文件数据执行差异运算,得到第一部分差异数据,对第一部分差异数据执行差异运算,得到第二部分差异数据;对处理后数据中的非表格文件数据执行差异运算,得到第三部分差异数据;将第二部分差异数据和第三部分差异数据确定为差异内容。
可选地,图5是根据本发明其中一可选实施例的另一种变更数据处理装置的结构框图,如图5所示,该装置除包括图4所示的所有模块外,还包括上述装置还包括:反馈模块90,用于对第二部分差异数据进行分片处理并将分片后的差异数据返回至存储区域,以及将第三部分差异数据返回至存储区域。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
步骤S1,获取变更数据;
步骤S2,对变更数据进行数据预处理和关联处理,得到处理后数据;
步骤S3,将处理后数据存储至与本地服务器对应的存储区域;
步骤S4,调用中心服务器的预设接口对存储区域内的处理后数据进行差值运算,得到差异内容。
可选地,存储介质还被设置为存储用于执行以下步骤的计算机程序:
步骤S1,接收来自于远程服务器的请求消息;
步骤S2,响应于请求消息,获取远程服务器的标识信息;
步骤S3,通过标识信息从远程服务器对应的存储区域获取处理后数据,其中,处理后数据由远程服务器对变更数据进行数据预处理和关联处理而得到的数据;
步骤S4,对处理后数据进行差值运算,得到差异内容。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种处理器,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
步骤S1,获取变更数据;
步骤S2,对变更数据进行数据预处理和关联处理,得到处理后数据;
步骤S3,将处理后数据存储至与本地服务器对应的存储区域;
步骤S4,调用中心服务器的预设接口对存储区域内的处理后数据进行差值运算,得到差异内容。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:
步骤S1,接收来自于远程服务器的请求消息;
步骤S2,响应于请求消息,获取远程服务器的标识信息;
步骤S3,通过标识信息从远程服务器对应的存储区域获取处理后数据,其中,处理后数据由远程服务器对变更数据进行数据预处理和关联处理而得到的数据;
步骤S4,对处理后数据进行差值运算,得到差异内容。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种变更数据处理方法,其特征在于,包括:
获取变更数据;
对所述变更数据进行数据预处理和关联处理,得到处理后数据;
将所述处理后数据存储至与本地服务器对应的存储区域;
调用中心服务器的预设接口对所述存储区域内的所述处理后数据进行差值运算,得到差异内容。
2.根据权利要求1所述的方法,其特征在于,获取所述变更数据包括以下之一:
在确定当前已开通版本管理变更权限的情况下,通过软件开发工具包SDK从版本管理仓库获取所述变更数据;
在确定当前未开通版本管理变更权限的情况下,通过SDK从数据传输媒介中查找到所述变更数据。
3.根据权利要求1所述的方法,其特征在于,对所述变更数据进行所述数据预处理,得到所述处理后数据包括:
将不同类型的表格文件数据集成为单一数据流;
获取非表格文件数据的版本管理差异数据流;
对所述单一数据流进行解析,并对解析后表格数据中的空白行和空白列进行压缩处理,得到压缩后表格数据流。
4.根据权利要求3所述的方法,其特征在于,对所述变更数据进行所述关联处理,得到所述处理后数据包括:
按照预设过滤条件对所述版本管理差异数据流和所述压缩后表格数据流进行过滤处理,得到过滤后数据流;
对所述过滤后数据流进行映射处理,并将所述过滤后数据流与任务协作单号进行关联,得到所述处理后数据,其中,所述映射处理用于确定所述过滤后数据流的版本号以及与所述过滤后数据流对应的用户名称。
5.根据权利要求3所述的方法,其特征在于,将所述处理后数据存储至与本地服务器对应的存储区域包括:
对所述处理后数据中的表格文件数据进行分片处理,并将分片后的表格文件数据存储至与所述存储区域;
将所述处理后数据中的非表格文件数据以文件为单位存储至与所述存储区域。
6.根据权利要求3所述的方法,其特征在于,调用所述预设接口对所述存储区域内的所述处理后数据进行差值运算,得到所述差异内容包括:
采用与所述预设接口对应的通信协议向所述中心服务器发送请求消息,其中,所述请求消息用于请求所述中心服务器对所述存储区域内的所述处理后数据进行差值运算;
接收来自于所述中心服务器的所述差异内容。
7.一种变更数据处理方法,其特征在于,包括:
接收来自于远程服务器的请求消息;
响应于所述请求消息,获取所述远程服务器的标识信息;
通过所述标识信息从所述远程服务器对应的存储区域获取处理后数据,其中,所述处理后数据由所述远程服务器对变更数据进行数据预处理和关联处理而得到的数据;
对所述处理后数据进行差值运算,得到差异内容。
8.根据权利要求7所述的方法,其特征在于,对所述处理后数据进行差值运算,得到所述差异内容包括:
采用表格差异算法对所述处理后数据中的表格文件数据执行差异运算,得到第一部分差异数据,对所述第一部分差异数据执行差异运算,得到第二部分差异数据;
对所述处理后数据中的非表格文件数据执行差异运算,得到第三部分差异数据;
将所述第二部分差异数据和所述第三部分差异数据确定为所述差异内容。
9.根据权利要求8所述的方法,其特征在于,在对所述处理后数据进行差值运算,得到所述差异内容之后,还包括:
对所述第二部分差异数据进行分片处理并将分片后的差异数据返回至所述存储区域,以及将所述第三部分差异数据返回至所述存储区域。
10.一种变更数据处理装置,其特征在于,包括:
获取模块,用于获取变更数据;
第一处理模块,用于对所述变更数据进行数据预处理和关联处理,得到处理后数据;
存储模块,用于将所述处理后数据存储至与本地服务器对应的存储区域;
第二处理模块,用于调用中心服务器的预设接口对所述存储区域内的所述处理后数据进行差值运算,得到差异内容。
11.一种变更数据处理装置,其特征在于,包括:
接收模块,用于接收来自于远程服务器的请求消息;
第一获取模块,用于响应于所述请求消息,获取所述远程服务器的标识信息;
第二获取模块,用于通过所述标识信息从所述远程服务器对应的存储区域获取处理后数据,其中,所述处理后数据由所述远程服务器对变更数据进行数据预处理和关联处理而得到的数据;
处理模块,用于对所述处理后数据进行差值运算,得到差异内容。
12.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至6中任意一项所述的变更数据处理方法或权利要求7至9中任意一项所述的变更数据处理方法。
13.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至6中任意一项所述的变更数据处理方法或权利要求7至9中任意一项所述的变更数据处理方法。
14.一种服务器,其特征在于,包括:一个或多个处理器,存储器,显示装置以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序用于执行权利要求1至6中任意一项所述的变更数据处理方法或权利要求7至9中任意一项所述的变更数据处理方法。
CN201811261205.XA 2018-10-26 2018-10-26 变更数据处理方法、装置、存储介质、处理器及服务器 Active CN109375923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811261205.XA CN109375923B (zh) 2018-10-26 2018-10-26 变更数据处理方法、装置、存储介质、处理器及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811261205.XA CN109375923B (zh) 2018-10-26 2018-10-26 变更数据处理方法、装置、存储介质、处理器及服务器

Publications (2)

Publication Number Publication Date
CN109375923A true CN109375923A (zh) 2019-02-22
CN109375923B CN109375923B (zh) 2022-05-03

Family

ID=65389752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811261205.XA Active CN109375923B (zh) 2018-10-26 2018-10-26 变更数据处理方法、装置、存储介质、处理器及服务器

Country Status (1)

Country Link
CN (1) CN109375923B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110231956A (zh) * 2019-06-20 2019-09-13 腾讯科技(深圳)有限公司 应用程序版本构建的方法、系统及装置
CN110297774A (zh) * 2019-07-02 2019-10-01 四川长虹电器股份有限公司 一种基于python的接口自动化测试方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2418576A1 (en) * 2010-08-11 2012-02-15 Sony Computer Entertainment Europe Ltd. Multi-platform development tool and method
US20140089562A1 (en) * 2012-09-27 2014-03-27 Hitachi, Ltd. Efficient i/o processing in storage system
CN105531698A (zh) * 2013-03-15 2016-04-27 美国结构数据有限公司 用于批量和实时数据处理的设备、系统和方法
CN106156142A (zh) * 2015-04-13 2016-11-23 深圳市腾讯计算机系统有限公司 一种文本聚类的处理方法、服务器及系统
CN107122182A (zh) * 2017-04-14 2017-09-01 努比亚技术有限公司 一种代码构建和发布的方法及系统
CN107305501A (zh) * 2016-04-25 2017-10-31 百度在线网络技术(北京)有限公司 一种多流流式数据的处理方法和系统
CN107817985A (zh) * 2017-10-30 2018-03-20 福建中金在线信息科技有限公司 应用程序的控制方法以及服务器
CN107894895A (zh) * 2017-11-06 2018-04-10 网易(杭州)网络有限公司 代码更新的处理方法、装置、存储介质、处理器及服务器
WO2018176207A1 (zh) * 2017-03-28 2018-10-04 深圳中兴力维技术有限公司 Web主题切换方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2418576A1 (en) * 2010-08-11 2012-02-15 Sony Computer Entertainment Europe Ltd. Multi-platform development tool and method
US20140089562A1 (en) * 2012-09-27 2014-03-27 Hitachi, Ltd. Efficient i/o processing in storage system
CN105531698A (zh) * 2013-03-15 2016-04-27 美国结构数据有限公司 用于批量和实时数据处理的设备、系统和方法
CN106156142A (zh) * 2015-04-13 2016-11-23 深圳市腾讯计算机系统有限公司 一种文本聚类的处理方法、服务器及系统
CN107305501A (zh) * 2016-04-25 2017-10-31 百度在线网络技术(北京)有限公司 一种多流流式数据的处理方法和系统
WO2018176207A1 (zh) * 2017-03-28 2018-10-04 深圳中兴力维技术有限公司 Web主题切换方法及系统
CN107122182A (zh) * 2017-04-14 2017-09-01 努比亚技术有限公司 一种代码构建和发布的方法及系统
CN107817985A (zh) * 2017-10-30 2018-03-20 福建中金在线信息科技有限公司 应用程序的控制方法以及服务器
CN107894895A (zh) * 2017-11-06 2018-04-10 网易(杭州)网络有限公司 代码更新的处理方法、装置、存储介质、处理器及服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHAUNCEY_CHEN: ""android增量更新--服务器端&客户端"", 《HTTPS://WWW.JIANSHU.COM/P/D2C55A443FE4》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110231956A (zh) * 2019-06-20 2019-09-13 腾讯科技(深圳)有限公司 应用程序版本构建的方法、系统及装置
CN110231956B (zh) * 2019-06-20 2022-06-14 腾讯科技(深圳)有限公司 应用程序版本构建的方法、系统及装置
CN110297774A (zh) * 2019-07-02 2019-10-01 四川长虹电器股份有限公司 一种基于python的接口自动化测试方法
CN110297774B (zh) * 2019-07-02 2022-08-19 四川长虹电器股份有限公司 一种基于python的接口自动化测试方法

Also Published As

Publication number Publication date
CN109375923B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN111680124A (zh) 基于rpa的大规模定制客户需求获取、查询方法
CN105373602A (zh) 一种政策推送管理系统
CN101459696A (zh) 移动机、内容发送系统和内容发送方法
CN108475268A (zh) 知识产权公文管理系统
CN109857936A (zh) 一种大数据采集分析与服务系统
CN106790487A (zh) 帮助信息的显示方法、装置及系统
CN106257480A (zh) 一种防止机器人工具恶意访问页面的方法及装置
CN109375923A (zh) 变更数据处理方法、装置、存储介质、处理器及服务器
CN110334276A (zh) 竞赛平台数据处理方法、装置、设备及存储介质
CN109325482A (zh) 基于图像识别的固定资产盘点方法及装置
CN106056501A (zh) 掌上图书馆系统
CN108734566A (zh) 征信数据查询方法、终端设备及介质
CN113270143A (zh) 基于大数据实现核酸样本全流程自动检测的系统、方法、装置、处理器及其计算机存储介质
JP2014026617A (ja) 情報処理システム、マニュアル閲覧装置、情報処理方法、及びプログラム
CN108604248A (zh) 利用基于人工智能的相关性计算的笔记提供方法及装置
CN106528566A (zh) 日志文件的输出方法、服务器及客户端
CN110852809A (zh) 一种数据处理方法、装置、设备及介质
CN111882113A (zh) 一种企业手机银行用户的预测方法和装置
CN111221509A (zh) 一种基于SpringCloud架构体系的可定制化线上缴费服务开发平台
CN106898096A (zh) 基于ibeacon打开智能快递柜的方法和智能快递柜系统
CN109801148A (zh) 可重复使用餐饮用具的推荐方法及装置
CN110297976A (zh) 基于云检索的推荐方法、装置、设备及可读存储介质
CN106372071B (zh) 数据仓库的信息获取方法和装置
CN111524003B (zh) 一种银行网点建议反馈方法和相关设备
CN105335470B (zh) 用户登录信息展现方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant