CN107679054A - 数据比对方法、装置及可读存储介质 - Google Patents

数据比对方法、装置及可读存储介质 Download PDF

Info

Publication number
CN107679054A
CN107679054A CN201710440984.9A CN201710440984A CN107679054A CN 107679054 A CN107679054 A CN 107679054A CN 201710440984 A CN201710440984 A CN 201710440984A CN 107679054 A CN107679054 A CN 107679054A
Authority
CN
China
Prior art keywords
comparing
data
data message
information
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710440984.9A
Other languages
English (en)
Other versions
CN107679054B (zh
Inventor
王莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201710440984.9A priority Critical patent/CN107679054B/zh
Priority to PCT/CN2017/111901 priority patent/WO2018227880A1/zh
Publication of CN107679054A publication Critical patent/CN107679054A/zh
Application granted granted Critical
Publication of CN107679054B publication Critical patent/CN107679054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries

Abstract

本发明公开了一种数据比对方法,包括以下步骤:当检测到数据比对请求时,显示数据比对窗口,以提示用户输入数据比对信息;基于用户输入数据比对信息确定数据比对范围,并比对对应范围包含的数据信息,当检测到数据信息比对完成时,将数据信息比对的结果输出。本发明还对应提出了一种数据比对装置和可读存储介质。本发明通过程序实现不同数据库之间的数据比对,快速准确地得到数据比对结果。

Description

数据比对方法、装置及可读存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据比对方法、装置及可读存储介质。
背景技术
随着数据库存储的数据量越来越大,不同的数据库存储不同类型的数据,各个数据类型之间相互关联,而各个数据库之间相互独立。
各个数据库之间存在数据信息的导入,而在数据库数据信息导入之后,涉及到确认导入数据信息是否正确,现通常采用筛选的方法确认导入数据是否正确,在筛选过后进行人眼的比对识别,这样的数据筛选比对识别的方式效率较低,正确率较低,针对不同的数据库数据比对显得更为复杂,需要用户登录不同的数据库进行数据的筛选比对,以此同时这样的筛选方式并不能针对不同的数据接口的数据,进行验证或者数据的逻辑比较。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种数据比对方法、装置及可读存储介质,旨在提高数据比对的效率和准确率。
为实现上述目的,本发明提供一种数据比对方法,数据比对方法包括以下步骤:
当检测到数据比对请求时,显示数据比对窗口,以提示用户输入数据比对信息;
基于用户输入数据比对信息确定数据比对范围,并比对对应范围包含的数据信息;
当检测到数据信息比对完成时,将数据信息比对的结果输出。
可选地,数据比对窗口用于显示数据比对文件和配置文件,所述数据比对文件由Excel表格中设置数据比对函数形成,
所述当检测到数据比对请求时,显示数据比对窗口,以提示用户输入数据比对信息的步骤之前包括:
获取预置数据库信息,并根据预置数据库信息中的数据库地址生成配置文件,以供用户根据数据比对需求设置配置文件形成指定配置文件;
建立数据比对文件的比对函数与指定配置文件之间的响应关联关系。
可选地,数据比对信息包含数据源、数据比对逻辑和数据输出格式,所述基于用户输入数据比对信息确定数据比对范围,并比对对应范围包含的数据信息的步骤之前包括:
获取数据比对文件中输入的数据比对信息,判断数据比对信息是否包含数据比对逻辑;
若数据比对信息包含数据比对逻辑,则根据数据比对逻辑比对数据信息;
若数据比对信息不包含数据比对逻辑,则将数据比对范围的数据信息认定为全量数据比对。
可选地,基于用户输入数据比对信息确定数据比对范围,并比对对应范围包含的数据信息的步骤包括:
根据数据比对信息中的数据源在响应关联关系中,确定数据信息的源数据库并从源数据库中提取数据信息,并判断是否存在数据比对逻辑;
若存在数据比对逻辑,则根据数据比对逻辑组合数据信息,形成数据信息比对组,并对比对应数据比对组中的数据信息。
可选地,根据数据比对信息中的数据源在响应关联关系中,确定数据信息的源数据库并从源数据库中提取数据信息,并判断是否存在数据比对逻辑的步骤之后还包括:
若不存在数据比对逻辑,则将源数据库中的全数据字段作为数据比对逻辑,并将数据库中的数据信息进行全量数据比对。
可选地,当检测到数据信息比对完成时,将数据信息比对的结果输出的步骤包括:
当检测到数据信息比对完成时,判断数据信息的数据量是否大于阈值;
若数据信息的数据量不大于阈值,则将数据比对结果按照数据输出格式输出;
若数据信息的数据量大于阈值,则将数据比对结果按照预设缺省格式输出。
可选地,当检测到数据信息比对完成时,将数据信息比对的结果输出的步骤之后包括:
基于输出的数据信息比对结果,调整数据比对文件中的数据比对函数,以优化数据比对文件。
可选地,当检测到数据信息比对完成时,将数据信息比对的结果输出步骤之后还包括:
若数据比对结果输出异常,则根据数据比对流程追溯数据比对异常因素,以提示用户修改数据输入信息。
为实现上述目的,本发明还提供一种数据比对装置,所述数据比对装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据比对程序,所述数据比对程序被所述处理器执行时实现上述的数据比对方法的任一项步骤。
此外,为实现上述目的,本发明还提供一种可读存储介质,所述可读存储介质上存储有数据比对程序,所述数据比对程序被处理器执行时实现上所述的数据比对方法的任一项步骤。
本发明通过当检测到数据比对请求时,显示数据比对窗口,以提示用户输入数据比对信息,基于用户输入数据比对信息确定数据比对范围,并比对对应范围包含的数据信息,当检测到数据信息比对完成时,将数据信息比对的结果输出。通过程序实现数据比对,由于程序支持同库、跨库的数据对比,无需登录不同的数据库,可支持自定义数据库,将数据源填写至数据比对窗口的对应位置中,按对比程序的对比语句实现大批量数据表两两对比,有效提高了数据对比效率,将人工进行反复筛选过滤的数据比对,转换为程序自动处理获取相同或者不同数据库的数据信息进行数据比对,可节省较大人力时间,并且减少人工处理过程中的错误导致的对比结果不准确,同时能快速准确地得到数据比对结果。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图;
图2为本发明数据比对方法第一实施例的流程示意图;
图3为本发明数据比对方法第二实施例的流程示意图;
图4为本发明数据比对方法第三实施例的流程示意图;
图5为图2中数据比对方法的步骤S20的细化流程示意图;
图6为图2中数据比对方法的步骤S30的细化流程示意图;
图7为本发明数据比对方法第四实施例的流程示意图;
图8为本发明数据比对方法各实施例结合的场景示意图;
图9为本发明数据比对方法数据比对输出设置场景示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的装置、终端结构示意图。
本发明实施例终端可以是PC,也可以是智能手机、平板电脑、、便携计算机等具有显示功能的可移动式终端设备。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,终端还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据比对应用程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的数据比对应用程序,并执行以下操作:
数据比对方法包括以下步骤:
当检测到数据比对请求时,显示数据比对窗口,以提示用户输入数据比对信息;
基于用户输入数据比对信息确定数据比对范围,并比对对应范围包含的数据信息;
当检测到数据信息比对完成时,将数据信息比对的结果输出。
进一步地,处理器1001可以调用存储器1005中存储的数据比对应用程序,还执行以下操作:
数据比对窗口用于显示数据比对文件和配置文件,所述数据比对文件由Excel表格中设置数据比对函数形成,
所述当检测到数据比对请求时,显示数据比对窗口,以提示用户输入数据比对信息的步骤之前包括:
获取预置数据库信息,并根据预置数据库信息中的数据库地址生成配置文件,以供用户根据数据比对需求设置配置文件形成指定配置文件;
建立数据比对文件的比对函数与指定配置文件之间的响应关联关系。
进一步地,处理器1001可以调用存储器1005中存储的数据比对应用程序,还执行以下操作:
数据比对信息包含数据源、数据比对逻辑和数据输出格式,所述基于用户输入数据比对信息确定数据比对范围,并比对对应范围包含的数据信息的步骤之前包括:
获取数据比对文件中输入的数据比对信息,判断数据比对信息是否包含数据比对逻辑;
若数据比对信息包含数据比对逻辑,则根据数据比对逻辑比对数据信息;
若数据比对信息不包含数据比对逻辑,则将数据比对范围的数据信息认定为全量数据比对。
进一步地,处理器1001可以调用存储器1005中存储的数据比对应用程序,还执行以下操作:
基于用户输入数据比对信息确定数据比对范围,并比对对应范围包含的数据信息的步骤包括:
根据数据比对信息中的数据源在响应关联关系中,确定数据信息的源数据库并从源数据库中提取数据信息,并判断是否存在数据比对逻辑;
若存在数据比对逻辑,则根据数据比对逻辑组合数据信息,形成数据信息比对组,并对比对应数据比对组中的数据信息。
进一步地,处理器1001可以调用存储器1005中存储的数据比对应用程序,还执行以下操作:
根据数据比对信息中的数据源在响应关联关系中,确定数据信息的源数据库并从源数据库中提取数据信息,并判断是否存在数据比对逻辑的步骤之后还包括:
若不存在数据比对逻辑,则将源数据库中的全数据字段作为数据比对逻辑,并将数据库中的数据信息进行全量数据比对。
进一步地,处理器1001可以调用存储器1005中存储的数据比对应用程序,还执行以下操作:
当检测到数据信息比对完成时,将数据信息比对的结果输出的步骤包括:
当检测到数据信息比对完成时,判断数据信息的数据量是否大于阈值;
若数据信息的数据量不大于阈值,则将数据比对结果按照数据输出格式输出;
若数据信息的数据量大于阈值,则将数据比对结果按照预设缺省格式输出。
进一步地,处理器1001可以调用存储器1005中存储的数据比对应用程序,还执行以下操作:
当检测到数据信息比对完成时,将数据信息比对的结果输出的步骤之后包括:
基于输出的数据信息比对结果,调整数据比对文件中的数据比对函数,以优化数据比对文件。
进一步地,处理器1001可以调用存储器1005中存储的数据比对应用程序,还执行以下操作:
当检测到数据信息比对完成时,将数据信息比对的结果输出步骤之后还包括:
若数据比对结果输出异常,则根据数据比对流程追溯数据比对异常因素,以提示用户修改数据输入信息。
参照图2,在本发明数据比对方法第一实施例中,数据比对方法包括:
步骤S10,当检测到数据比对请求时,显示数据比对窗口,以提示用户输入数据比对信息。
当终端检测到数据比对请求时,终端的显示屏出现数据比对窗口(具体地,当终端检测到数据比对请求时,可触发终端上数据比对的应用程序的执行,终端可调用数据比对底层接口的,从而在终端的显示界面上显示数据比对的窗口),在数据比对窗口对应显示数据比对文件和数据比对程序运行时需要的用户设置的配置文件,在数据比对文件和配置文件中需要用户填写的数据比对信息(数据比对信息:包括数据比对的数据源、数据库信息(数据库名称、数据库网络地址、数据库接口及对应的数据库中的数据文档信息)、数据比对逻辑(数据比对逻辑包含数据比对的逻辑主键和数据比对的逻辑组合键,具体地,可将数据比对主键理解为数据比对的参照量,数据比对的基准,逻辑主键,即,一个数据比对的参照量,逻辑组合键,即,两个数据比对的参照量)和数据比对结果对应的输出格式(数据比对输出格式:即,数据比对结果在xxx类型的文档中输出,文档的名称xxx))。
步骤S20,基于用户输入数据比对信息确定数据比对范围,并比对对应范围包含的数据信息。
获取用户输入的数据比对信息,根据数据比对信息确定数据库(本发明中可实现相同或者不同的数据库的数据信息比对),确定比对的数据信息的数据库后,进一步根据数据库的网络地址,查询数据接口,从数据接口中调用的数据信息,即确定数据信息的范围(从xxx数据库中调用xxx数据接口到xxx数据接口中的数据信息),将数据库对应范围的数据信息,按照数据比对程序中的数据比对sql语句(sql语句:在数据比对文件中设置,在Excel中运行,由程序开发者根据用户的使用情况开发得到,具体地可以是JAVA、python、VBA或者其他编程语言)进行数据比对。
步骤S30,当检测到数据信息比对完成时,将数据信息比对的结果输出。
用户可以设置数据输出的数据输出文档格式和对应文档的名称,数据比对装置上存储数据比对的程序,可基于数据比对范围中的数据进行比对,在数据比对范围中的数据比对完成时,数据比对程序停止执行,跳出数据比对语句,在检测到跳出数据比对语句时,即,在数据比对完成时,获取用户设置的数据比对结果的数据输出格式,将数据比对的结果输出显示,用户可以直观准确地看到数据比对的结果。
在本实施例中当检测到数据比对请求时,显示数据比对窗口,以提示用户输入数据比对信息,基于用户输入数据比对信息确定数据比对范围,并比对对应范围包含的数据信息,当检测到数据信息比对完成时,将数据信息比对的结果输出,通过程序实现数据比对,由于程序支持同库、跨库的数据对比,无需登录不同的数据库,可支持自定义数据库,将数据源填写至数据比对窗口的对应位置中,按对比程序的对比语句实现大批量数据表两两对比,有效提高了数据对比效率,将人工进行反复筛选过滤的数据比对,转换为程序自动处理获取相同或者不同数据库的数据信息进行数据比对,可节省较大人力时间,并且减少人工处理过程中的错误导致的对比结果不准确,同时能快速准确地得到数据比对结果。
参照图3,本发明数据比对方法第二实施例,所述数据比对窗口用于显示数据比对文件和配置文件,所述数据比对文件由Excel表格中设置数据比对函数形成,所述数据比对方法包括:
步骤S40,获取预置数据库信息,并根据预置数据库信息中的数据库地址生成配置文件,以供用户根据数据比对需求设置配置文件形成指定配置文件。
数据比对主要运用在不同或者相同的数据库数据信息的比对中(即,本发明主要应用在两个上下游数据库,下游数据库的数据信息是由上游数据库导入的,现有的方法主要是在数据导入的过程中进行数据的比对验证,或者数据导入后,登录数据库进行人工的数据比对,或者比对不同的数据口的数据信息相似度等),在本实施例中程序运开发时,获取预置数据库信息,(预置数据库信息,即,现有的不同的数据库的名称、数据库网络地址、数据库接口及对应的数据库中的数据文档信息),生成配置文件,以供用户根据数据比对需求设置配置文件形成指定配置文件,具体地,软件开发时生成数据比对配置文件,用户在数据比对时根据数据比对情况在配置文件中对应输入信息,形成指定配置文件,用户根据数据比对需求在配置文件中输入的信息可以包含用户名、密码和数据库网络地址信息。
步骤S50,建立数据比对文件的比对函数与指定配置文件之间的响应关联关系。
将用户根据数据比对需求进行信息输入,得到的数据比对指定配置文件与数据比对文件关联,数据比对文件的比对函数与指定配置文件之间的响应关联,即,用户在数据比对时触发数据比对文件中的数据比对指令,数据比对文件中的数据比对函数能调用配置文件中的配置信息进行数据比对程序的运行。
在本实施例中获取预置数据库信息,并根据预置数据库信息中的数据库地址生成配置文件,以供用户根据数据比需求设置配置文件形成指定配置文件,建立数据比对文件的比对函数与指定配置文件之间的响应关联关系。本实施例通过获取预置的数据库的信息,生成数据比对配置文件,以提示用户根据数据比对需求设置配置文件得到指定配置文件,并将指定配置文件与数据比对文件关联,用户触发数据比对指令时可根据指定配置文件中的数据库信息,运行数据比对文件中的数据比对程序,实现不同或者相同数据库中的批量数据信息的比对,无需用户登录不同的数据库信息数据的导入导出,人工数据比对,加快了数据比对的效率。
参照图4,本发明数据比对方法第三实施例,数据比对信息包含数据源、数据比对逻辑和数据输出格式,所述数据比对方法包括:
步骤S60,获取数据比对文件中输入的数据比对信息,判断数据比对信息是否包含数据比对逻辑。
在数据比对文件中需用户输入数据比对信息,结合图8,数据比对信息包含数据源(数据源:包含源数据库,数据库名称等信息),数据比对逻辑(数据比对逻辑:数据比对逻辑的逻辑主键和逻辑组合键)和数据输出格式,获取数据比对文件中输入的数据比对信息,进一步地确定用户是否输入数据比对逻辑,即,判断数据比对信息是否包含数据比对逻辑。如表1所示,“t3eginv”“t0egidw”为数据库名称数据库信息,“select securno,start_date,end_date,dividend_rate,data_state,isused from preferred_stock_float_ratewhere data_state='2'”为数据库中需要调用的数据比对范围,“PK_A”为数据比对表格输出信息输出格式的设置,在表1中用户没有包含数据比对逻辑。图8所示设置了数据比对逻辑。
表1
步骤S70,若数据比对信息包含数据比对逻辑,则根据数据比对逻辑比对数据信息。
若用户输入了数据比对逻辑,则确定数据比对范围之后,可根据用户输入的数据比对逻辑(数据比对逻辑:数据比对逻辑的逻辑主键和逻辑组合键)进行数据比对,具体地,获取数据信息比对的逻辑主键或者是数据比对的逻辑组合键(即,两个数据库中包含某一社区的居民用户信息,在数据比对时基于用户身份证号进行数据比对,则将用户身份证号作为此次数据比对的逻辑主键,同样的将两个数据库中的用户姓名和用户性别作为的数据比对的逻辑组合键,本发明还可实现设置不同的数据比对键,用于确定数据比对的先后顺序),根据数据比对逻辑比对数据源(相同或者不同数据库)中的数据信息。
步骤S80若数据比对信息不包含数据比对逻辑,则将数据比对范围的数据信息认定为全量数据比对。
在数据比对文件中,用户没有输入数据比对逻辑,将数据比对范围中数据信息中的所有数字作为数据比对逻辑,即,数据库中包含姓名、年龄、身份证号码、电话号码、性别家庭住址等信息,在用户端没有输入数据比对逻辑时,将年龄、身份证号码、电话号码这些数字作为数据比对逻辑,进行全量数据比对。
在本实施例中获取数据比对文件中输入的数据比对信息,判断数据比对信息是否包含数据比对逻辑,若数据比对信息包含数据比对逻辑,则根据数据比对逻辑比对数据信息,若数据比对信息不包含数据比对逻辑,则将数据比对范围的数据信息认定为全量数据比对。确定数据比对的数据比对逻辑,以得到用户需要的数据比对结果,不需要人工肉眼的数据比对,提高了数据比对的效率,以此同时,用户可自主地设置数据比对的逻辑主键,获得需要的数据比对结果,使数据比对更加高效便捷。
参照图5,在本实施例中数据比对方法,步骤S20包括:
步骤S21,根据数据比对信息中的数据源在响应关联关系中,确定数据信息的源数据库并从源数据库中提取数据信息,并判断是否存在数据比对逻辑。
根据用户输入的数据比对信息中的数据源(数据源:数据库名称、数据库网络地址,数据库接口信息)根据指定配置文件与数据比对文件,在指定配置文件中获取相应的数据信息,确定数据信息的数据库从数据库中提取数据信息,提取数据库中需要比对的数据信息(即,在本发明的数据比对时,用户不用登录数据库,根据用户输入的数据库名称等信息,调用数据库中对对应接口的数据信息(数据信息:包括数据文档信息,文档中的字符信息))。
步骤S22,若存在数据比对逻辑,则根据数据比对逻辑组合数据信息,形成数据信息比对组,并对比对应数据比对组中的数据信息。
将数据库中的数据信息按照数据比对逻辑组合,形成数据比对组(数据比对组:可理解为不同源数据库中的相同数字主键形成的数据组合,例如,一批学生的信息分别存储在教育局的教学系统A和学校的教学系统B中,将教育局的教学系统A和学校的教学系统B中的学生信息进行比对,将学生的学号作为数据比对的逻辑主键,则将教育局的教学系统A和学校的教学系统B中同一学号的学生信息组合在一起,会对应出现两个教学系统中同一学号学生的相关信息,将同一学号学生的相关信息作为数据信息比对组,比对对应数据比对组中的其他的学生信息,即,学号相同的两个系统中学生的联系方式、家长姓名等其他信息是否相同),如,下游的数据库中的数据信息与上游数据库中的数据信息相同,需要确定从上游数据库中导入下游数据库中的数据信息是否一致,则将数据库中的一个数据量作为数据比对的逻辑主键,具体地,商品销售系统的数据库中包含不同的子系统,每个子系统中包含不同的商品销售数据,则将同一个商品编号为基准(商品编号:数据比对的逻辑主键),将不同数据库中的同一商品编号的商品信息进行组合,比较同一商品的零售价是否相同,(可以理解为,本发明所述的数据比对不仅仅局限于两个数据库,可以实现多个数据库,两两比对,多次循环比对等情况)。
在本实施例中根据数据比对信息中的数据源在响应关联关系中,确定数据信息的源数据库并从源数据库中提取数据信息,并判断是否存在数据比对逻辑;若存在数据比对逻辑,则根据数据比对逻辑组合数据信息,形成数据信息比对组,并对比对应数据比对组中的数据信息。根据用户设置的数据比对逻辑进行数据比对,可保证数据比对程序的优化快速,根据用户设置比对数据信息,相比无数据比对逻辑而言,将数据信息按照数据比对逻辑组合可优化数据比对程序,提高数据比对的效率。
参照图5,在本实施例中数据比对方法中,步骤S21之后还包括:
步骤S23,若存在数据比对逻辑,则根据数据比对逻辑组合数据信息,形成数据信息比对组,并对比对应数据比对组中的数据信息。
数据比对文件中并不包含数据比对逻辑(即,用户并没有输入数据比对逻辑主键),考虑到不同数据库的情况,将数据信息进行全量数据比对,即,将源数据库中的全数据字段(全数据字段:经数据信息中所有的数字,即,身份号,电话号码和年龄作用一个数据比对逻辑)作为数据比对逻辑,将数据库中的数据信息进行全量数据比对,得到数据库信息中的其他数据信息的差异性。
本实施例中若存在数据比对逻辑,则根据数据比对逻辑组合数据信息,形成数据信息比对组,并对比对应数据比对组中的数据信息,在数据比对时,若用户没有设置数据比对逻辑,则将数据比对认定为全量数据比对,可以保证数据比对的全面性,以一个统一的基准进行数据信息的比对。
参照图6,在本实施例中数据比对方法中,步骤S30包括:
步骤S31,当检测到数据信息比对完成时,判断数据信息的数据量是否大于阈值。
在终端检测到数据信息比对完成,需要对比对结果进行输出,数据比对结果的输出可根据用户设置进行输出,但可能存在数据比对量较大,需要特定的文档进行数据输出,结合图9,确定数据比对的输出量是否大于最大数据量,本发明中采用xls、xlsx与csv格式进行数据输出,由于xls、xlsx表格的数据容量的限制(xls、xlsx表格适于存放数据量小于65525,若比对结果超过65525可采用csv格式输出),将因而需要判断比对数据信息的数据量是否大于阈值(阈值为65525)。
步骤S32,若数据信息的数据量不大于阈值,则将数据比对结果按照数据输出格式输出。
若数据信息量不大于阈值,可将数据比对的结果按照用户的设置输出(用户可以在数据比对的前期,数据比对过程中,或者数据比对结果输出时设置数据输出的名称,数据的输出格式等信息,用户设置的数据输出格式可以包含所有的数据格式,即xls、xlsx或csv)。
步骤S33,若数据信息的数据量大于阈值,则将数据比对结果按照预设缺省格式输出。
若数据信息的数据量大于阈值,需要将数据比对结果在csv格式的文档中输出,则将数据比对结果按照预设格式(预设缺省格式:数据量大于65525时,采用csv格式的文档)输出,用户可以自定义csv格式的文档的命名。
在本实施例中当检测到数据信息比对完成时,判断数据信息的数据量是否大于阈值,若数据信息的数据量不大于阈值,则将数据比对结果按照数据输出格式输出,若数据信息的数据量大于阈值,则将数据比对结果按照预设缺省格式输出。本实施例中通过对比对数据量的确认,进而对数据比对结果的输出做了限定,可使数据比对的结果按照用户定义输出,在数据量超过预设值时,采用预设的格式输出,减少了用户的操作,提高了数据比对的效率。
参照图7,在本发明数据比对方法的第四实施例中,数据比对方法还包括:
步骤S90,基于输出的数据信息比对结果,调整数据比对文件中的数据比对函数,以优化数据比对文件。
基于数据比对的结果输出,用户可以在终端上自定义设置sql语句,使不同的数据库的数据信息按照用户定义的sql语句进行数据比对,需要补充说明的是,数据比对的服务器可以根据基于输出的数据信息比对结果,对应调整数据比对文件中的数据比对的程序函数,使数据比对的结果显示更便于查看。
在本实施例中基于输出的数据信息比对结果,调整数据比对文件中的数据比对函数,以优化数据比对文件,用户可以自定义sql语句,满足用户的数据比对需求,或者数据比对后台根据输出的数据比对结果,自动调整设置数据比对程序,使数据比对的程序更优化。
进一步地,在本实施例中数据比对方法还包括:
若数据比对结果输出异常,则根据数据比对流程追溯数据比对异常因素,以提示用户修改数据输入信息。
在数据比对程序运用一段时间后,并没有得到需要的数据比对结果,即,数据比对出现异常,数据比对异常的处理方案:当录入的查询内容不符合格式时,输出'Data isincorrect,please check the document'(例如:数据库名称不存在配置文档中,SQL语句有语法错误,对比的逻辑主键数量不一致等等),或者其他异常处理:查询中存在其他异常情况时,则不会输出结果。即当发现结果文档缺少时,注意检查录入的查询条件是否有不符合要求的内容(例如:表字段数量是否不一致,缺少SQL语句等等)根据数据比对流程追溯数据比对异常因素,以提示用户修改数据输入信息。
在本实施例中若数据比对结果输出异常,则根据数据比对流程追溯数据比对异常因素,以提示用户修改数据输入信息,通过数据比对程序的执行,对应提示数据比对结果输出异常的因素,使用户根据数据比对逻辑提示用户检查的数据比对信息的输入是否正确。
本发明还提供一种数据比对装置。
本发明数据比对装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据比对程序,所述数据比对程序被所述处理器执行时实现上述的数据比对方法的任一步骤。
其中,数据比对程序被执行时所实现的方法可参照本发明数据比对方法的各个实施例,此处不再赘述。
本发明还提供一种可读存储介质。
本发明可读存储介质上存储有数据比对程序,所述数据比对程序被处理器执行时实现上述的数据比对方法的任一步骤。
其中,智数据比对程序被执行时所实现的方法可参照本发明数据比对方法的各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据比对方法,其特征在于,所述数据比对方法包括以下步骤:
当检测到数据比对请求时,显示数据比对窗口,以提示用户输入数据比对信息;
基于用户输入数据比对信息确定数据比对范围,并比对对应范围包含的数据信息;
当检测到数据信息比对完成时,将数据信息比对的结果输出。
2.如权利要求1所述的数据比对方法,其特征在于,所述数据比对窗口用于显示数据比对文件和配置文件,所述数据比对文件由Excel表格中设置数据比对函数形成,
所述当检测到数据比对请求时,显示数据比对窗口,以提示用户输入数据比对信息的步骤之前包括:
获取预置数据库信息,并根据预置数据库信息中的数据库地址生成配置文件,以供用户根据数据比需求设置配置文件形成指定配置文件;
建立数据比对文件的比对函数与指定配置文件之间的响应关联关系。
3.如权利要求2所述的数据比对方法,其特征在于,所述数据比对信息包含数据源、数据比对逻辑和数据输出格式,所述基于用户输入数据比对信息确定数据比对范围,并比对对应范围包含的数据信息的步骤之前包括:
获取数据比对文件中输入的数据比对信息,判断数据比对信息是否包含数据比对逻辑;
若数据比对信息包含数据比对逻辑,则根据数据比对逻辑比对数据信息;
若数据比对信息不包含数据比对逻辑,则将数据比对范围的数据信息认定为全量数据比对。
4.如权利要求3所述的数据比对方法,其特征在于,所述基于用户输入数据比对信息确定数据比对范围,并比对对应范围包含的数据信息的步骤包括:
根据数据比对信息中的数据源在响应关联关系中,确定数据信息的源数据库并从源数据库中提取数据信息,并判断是否存在数据比对逻辑;
若存在数据比对逻辑,则根据数据比对逻辑组合数据信息,形成数据信息比对组,并对比对应数据比对组中的数据信息。
5.如权利要求1至4任意一项所述的数据比对方法,其特征在于,所述根据数据比对信息中的数据源在响应关联关系中,确定数据信息的源数据库并从源数据库中提取数据信息,并判断是否存在数据比对逻辑的步骤之后还包括:
若不存在数据比对逻辑,则将源数据库中的全数据字段作为数据比对逻辑,并将数据库中的数据信息进行全量数据比对。
6.如权利要求1所述的数据比对方法,其特征在于,所述当检测到数据信息比对完成时,将数据信息比对的结果输出的步骤包括:
当检测到数据信息比对完成时,判断数据信息的数据量是否大于阈值;
若数据信息的数据量不大于阈值,则将数据比对结果按照数据输出格式输出;
若数据信息的数据量大于阈值,则将数据比对结果按照预设缺省格式输出。
7.如权利要求6所述的数据比对方法,其特征在于,所述当检测到数据信息比对完成时,将数据信息比对的结果输出的步骤之后包括:
基于输出的数据信息比对结果,调整数据比对文件中的数据比对函数,以优化数据比对文件。
8.如权利要求1所述的数据比对方法,其特征在于,所述当检测到数据信息比对完成时,将数据信息比对的结果输出步骤之后还包括:
若数据比对结果输出异常,则根据数据比对流程追溯数据比对异常因素,以提示用户修改数据输入信息。
9.一种数据比对装置,其特征在于,所述数据比对装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据比对程序,所述数据比对程序被所述处理器执行时实现如权利要求1至8中任一项所述的数据比对方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有数据比对程序,所述数据比对程序被处理器执行时实现如权利要求1至8中任意一项所述的数据比对方法的步骤。
CN201710440984.9A 2017-06-12 2017-06-12 数据比对方法、装置及可读存储介质 Active CN107679054B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710440984.9A CN107679054B (zh) 2017-06-12 2017-06-12 数据比对方法、装置及可读存储介质
PCT/CN2017/111901 WO2018227880A1 (zh) 2017-06-12 2017-11-20 数据比对方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710440984.9A CN107679054B (zh) 2017-06-12 2017-06-12 数据比对方法、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN107679054A true CN107679054A (zh) 2018-02-09
CN107679054B CN107679054B (zh) 2019-11-05

Family

ID=61134158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710440984.9A Active CN107679054B (zh) 2017-06-12 2017-06-12 数据比对方法、装置及可读存储介质

Country Status (2)

Country Link
CN (1) CN107679054B (zh)
WO (1) WO2018227880A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563618A (zh) * 2018-03-15 2018-09-21 链家网(北京)科技有限公司 一种纸质文件线上化方法和系统
CN109241500A (zh) * 2018-08-14 2019-01-18 中国平安人寿保险股份有限公司 文件批量比对方法、装置、计算机设备和存储介质
CN109582726A (zh) * 2018-12-18 2019-04-05 网易(杭州)网络有限公司 数据表的处理方法和装置
CN109634986A (zh) * 2018-10-29 2019-04-16 平安科技(深圳)有限公司 系统监测方法、装置、计算机及计算机可读存储介质
CN109783697A (zh) * 2018-12-14 2019-05-21 北京海数宝科技有限公司 数据处理方法、装置、计算机设备和存储介质
CN110069571A (zh) * 2019-03-18 2019-07-30 平安普惠企业管理有限公司 一种自动化数据对比方法及装置、电子设备
CN110109824A (zh) * 2019-04-09 2019-08-09 平安科技(深圳)有限公司 大数据自动回归测试方法、装置、计算机设备和存储介质
CN110287182A (zh) * 2019-05-05 2019-09-27 浙江吉利控股集团有限公司 一种大数据的数据对比方法、装置、设备及终端
CN111159234A (zh) * 2019-12-19 2020-05-15 中国建设银行股份有限公司 一种对比报表的方法和装置
CN111709073A (zh) * 2020-06-04 2020-09-25 黄淮学院 建筑结构动力分析用自振频率和振型的测定方法及系统
CN113138933A (zh) * 2021-05-13 2021-07-20 网易(杭州)网络有限公司 数据表的测试方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722521A (zh) * 2012-04-24 2012-10-10 深圳市神盾信息技术有限公司 监控数据比对的方法及系统
CN103796232A (zh) * 2014-02-10 2014-05-14 大唐移动通信设备有限公司 一种rnc数据比对方法和设备
CN104268291A (zh) * 2014-10-23 2015-01-07 税友软件集团股份有限公司 一种数据一致性处理方法和系统
EP2963568A1 (en) * 2012-03-26 2016-01-06 Good Red Innovation Pty Ltd Data selection and identification
CN105740465A (zh) * 2016-03-04 2016-07-06 浪潮软件集团有限公司 一种灵活的自定义比对方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2963568A1 (en) * 2012-03-26 2016-01-06 Good Red Innovation Pty Ltd Data selection and identification
CN102722521A (zh) * 2012-04-24 2012-10-10 深圳市神盾信息技术有限公司 监控数据比对的方法及系统
CN103796232A (zh) * 2014-02-10 2014-05-14 大唐移动通信设备有限公司 一种rnc数据比对方法和设备
CN104268291A (zh) * 2014-10-23 2015-01-07 税友软件集团股份有限公司 一种数据一致性处理方法和系统
CN105740465A (zh) * 2016-03-04 2016-07-06 浪潮软件集团有限公司 一种灵活的自定义比对方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563618A (zh) * 2018-03-15 2018-09-21 链家网(北京)科技有限公司 一种纸质文件线上化方法和系统
CN109241500A (zh) * 2018-08-14 2019-01-18 中国平安人寿保险股份有限公司 文件批量比对方法、装置、计算机设备和存储介质
CN109241500B (zh) * 2018-08-14 2023-02-03 中国平安人寿保险股份有限公司 文件批量比对方法、装置、计算机设备和存储介质
CN109634986A (zh) * 2018-10-29 2019-04-16 平安科技(深圳)有限公司 系统监测方法、装置、计算机及计算机可读存储介质
CN109634986B (zh) * 2018-10-29 2024-03-29 平安科技(深圳)有限公司 系统监测方法、装置、计算机及计算机可读存储介质
CN109783697B (zh) * 2018-12-14 2021-04-27 北京海数宝科技有限公司 数据处理方法、装置、计算机设备和存储介质
CN109783697A (zh) * 2018-12-14 2019-05-21 北京海数宝科技有限公司 数据处理方法、装置、计算机设备和存储介质
CN109582726A (zh) * 2018-12-18 2019-04-05 网易(杭州)网络有限公司 数据表的处理方法和装置
CN110069571A (zh) * 2019-03-18 2019-07-30 平安普惠企业管理有限公司 一种自动化数据对比方法及装置、电子设备
CN110109824A (zh) * 2019-04-09 2019-08-09 平安科技(深圳)有限公司 大数据自动回归测试方法、装置、计算机设备和存储介质
WO2020207014A1 (zh) * 2019-04-09 2020-10-15 平安科技(深圳)有限公司 大数据自动回归测试方法、装置、测试中心服务器和存储介质
CN110287182A (zh) * 2019-05-05 2019-09-27 浙江吉利控股集团有限公司 一种大数据的数据对比方法、装置、设备及终端
CN111159234A (zh) * 2019-12-19 2020-05-15 中国建设银行股份有限公司 一种对比报表的方法和装置
CN111709073A (zh) * 2020-06-04 2020-09-25 黄淮学院 建筑结构动力分析用自振频率和振型的测定方法及系统
CN113138933A (zh) * 2021-05-13 2021-07-20 网易(杭州)网络有限公司 数据表的测试方法、电子设备及存储介质

Also Published As

Publication number Publication date
WO2018227880A1 (zh) 2018-12-20
CN107679054B (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN107679054A (zh) 数据比对方法、装置及可读存储介质
US10282412B2 (en) Browser extension for field detection and automatic population
WO2015062410A1 (en) Method and device for processing progressive response
US20160132866A1 (en) Device, system, and method for creating virtual credit card
US11748756B2 (en) System and method for fraud detection
US10235449B1 (en) Extracting product facets from unstructured data
CN108197686A (zh) 物品条形码解析方法、装置及计算机可读存储介质
KR20190095099A (ko) 거래 시스템 에러 검출 방법, 장치, 저장 매체 및 컴퓨터 장치
US11004073B2 (en) Verification method and apparatus for user signing fast payment with bank card
US10867130B2 (en) Language classification system
KR20210006459A (ko) 거래 피드백의 처리
WO2020077836A1 (zh) 业务数据管理方法、装置、设备及计算机可读存储介质
CN110020358A (zh) 用于生成动态页面的方法和装置
KR102381436B1 (ko) 웹과 관련된 데이터에서 아이템을 검출하기 위한 전자 장치 및 방법
CN111125509A (zh) 语言分类系统
US10270771B1 (en) Mid-session live user authentication
US20230169207A1 (en) Standard compliant data collection during a communication session
CN108932146A (zh) 页面显示方法、装置以及计算机可读存储介质
CN109120509B (zh) 一种信息收集的方法及装置
US10860804B2 (en) Quick text classification model
EP3188417B1 (en) Information display method, terminal and server
CN111488180B (zh) 服务信息处理的方法、装置、电子设备及存储介质
CN112395138B (zh) 一种校验参数的方法和装置
CN111709843B (zh) 一种客户画像的生成方法、装置及电子设备
US20210021639A1 (en) Method and electronic device for displaying web page

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant