CN106066881B - 数据处理方法及装置 - Google Patents
数据处理方法及装置 Download PDFInfo
- Publication number
- CN106066881B CN106066881B CN201610379236.XA CN201610379236A CN106066881B CN 106066881 B CN106066881 B CN 106066881B CN 201610379236 A CN201610379236 A CN 201610379236A CN 106066881 B CN106066881 B CN 106066881B
- Authority
- CN
- China
- Prior art keywords
- data
- combined
- determined
- modified
- correct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法,所述数据处理方法包括:根据用户确定的提取范围提取各个待合并数据库中的原始数据作为待合并数据;采用预设规则遍历所述待合并数据,确定所述待合并数据中是否存在错误数据;在所述待合并数据中存在待确定数据时将所述待合并数据进行合并,并标记合并数据中的待确定数据。本发明还公开了一种数据处理装置。本发明能够对数据的正确性进行判断,并标识其中的待确定数据,从而方便用户对数据进行修改,能够避免合并数据出现错误。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据处理方法及装置。
背景技术
数据合并是指根据实际需要将内容相关或指定内容的数据进行整合。通过对合并后的数据进行处理、分析,根据数据处理及数据分析结果得出相应的结论或调整策略。
目前,对于大规模的数据存储,均是通过数据库来完成,而由于在进行数据合并时,所需要的数据很有可能存储于不同的数据库中,这样就需要从多个数据库中进行相关数据的读取和合并。
例如,由于现阶段各大公司大部分都采用了信息化管理,也就是说,将公司日常运营的相关数据存储于对应的数据库中,并根据数据库中相关数据的变化进行运营状况的分析和相关策略的调整。在公司的财务管理方面,可以将公司所有往来信息的一整套记录、会计报表和统计分析报表等设置为一个帐套,通常情况下,该帐套对应一个数据库。如果某公司有几个下属的独立核算的分支机构,则需要分别建立几个相互之间独立的帐套。这样,由于各个帐套之间均是独立存在的,总公司如果需要了解整个集团的运营状况,就必须调取各个分支机构的帐套中所存储的相关数据,并将该数据进行合并汇总。
目前在汇总过程中,不会对数据的正确性进行验证,从而导致汇总结果容易出错,同时可能由于其他原因导致数据读取错误,比如分支机构中数据正在被修改,使得读取的数据与修改后的数据不对应造成错误,从而使得汇总数据结果出错。
发明内容
本发明的主要目的在于提出一种数据处理方法及装置,旨在实现在数据合并时,对数据进行正确性验证,从而避免汇总数据出错。
为实现上述目的,本发明提供的一种数据处理方法,所述数据处理方法包括以下步骤:
根据确定的提取范围提取各个待合并数据库中的原始数据作为待合并数据;
采用预设规则遍历所述待合并数据,确定所述待合并数据中是否存在待确定数据,其中所述待确定数据包括无法确定正确的数据和错误数据;
在所述待合并数据中存在待确定数据时将所述待合并数据进行合并,并标记合并数据中的待确定数据。
可选地,所述方法还包括:
确定所述待确定数据中的错误数据,并将所述错误数据修改为正确的数据;
根据修改后的正确数据和预设规则重新确定与修改后的正确数据相关的其他数据,并标记其他数据中的错误数据。
可选地,所述根据修改后的正确数据和预设规则重新确定与修改后的正确数据相关的其他数据,并标记其他数据中的错误数据的步骤包括:
根据修改后的正确数据和预设规则计算获得与修改后数据相关的其他数据的对照值;
确定其他数据的值是否与所述对照值相同;
将其他数据的值中与所述对照值不相同的数据标记为错误数据。
可选地,所述确定所述待确定数据中错误数据,并将所述错误数据修改为正确的数据的步骤之后还包括:
将修改后的正确数据发送至与修改正确的数据对应的待合并数据库,以使得待合并数据库根据修改后的正确数据进行更新。
可选地,所述采用预设规则遍历所述待合并数据,确定所述待合并数据中是否存在待确定数据的步骤之后还包括:
在确定所述待合并数据中存在待确定数据时,将所述待确定数据与对应的待合并数据库中原始数据进行对比;
如果所述待确定数据与原始数据不同,则将所述待确定数据替换为原始数据。
此外,为实现上述目的,本发明还提供一种数据处理装置,所述数据处理装置包括:
提取模块,用于根据用户确定的提取范围提取各个待合并数据库中的原始数据作为待合并数据;
第一确定模块,用于采用预设规则遍历所述待合并数据,确定所述待合并数据中是否存在待确定数据,其中所述待确定数据包括无法确定正确的数据和错误数据;
合并模块,用于在所述待合并数据中存在待确定数据时将手势待合并数据进行合并,并标记合并数据中的待确定数据。
可选地,所述数据处理装置还包括:
修改模块,用于确定所述待确定数据中的错误数据,并将所述错误数据修改为正确的数据;
第二确定模块,用于根据修改后的正确数据和预设规则重新确定与修改后的正确数据相关的其他数据,并标记其他数据中的错误数据。
可选地,所述第二确定模块包括:
计算单元,用于根据修改后的正确数据和预设规则计算获得与修改后的正确数据相关的其他数据的对照值;
确定单元,用于确定其他数据的值是否与所述对照值相同;
标记单元,用于将其他数据的值中与所述对照值不相同的数据标记为错误数据。
可选地,所述数据处理装置还包括:
发送模块,用于将修改后的正确数据发送至与修改正确的数据对应的待合并数据库,以使得待合并数据库根据修改后的数据进行更新。
可选地,所述数据处理装置还包括:
对比模块,用于在确定所述待合并数据中存在待确定数据时,将所述待确定数据与对应的待合并数据库中原始数据进行对比;
替换模块,用于如果所述待确定数据与原始数据不同,则将所述待确定数据替换为原始数据。
本发明通过根据用户确定的提取范围提取各个待合并数据库中的原始数据作为待合并数据;采用预设规则遍历所述待合并数据,确定所述待合并数据中是否存在错误数据;在所述待合并数据中存在待确定数据时将所述待合并数据进行合并,并标记合并数据中的待确定数据。通过上述方式,本发明在合并数据的同时根据预设规则对其中的数据进行遍历,对数据的正确性进行判断,并标识其中的待确定数据,从而方便用户对数据进行修改,能够避免合并数据出现错误。
附图说明
图1为本发明数据处理方法第一实施例的流程示意图;
图2为本发明数据处理方法第二实施例的流程示意图;
图3为本发明实施例中根据修改后的正确数据和预设规则重新确定与修改后的正确数据相关的其他数据,并标记其他数据中的错误数据的一种流程示意图;
图4为本发明数据处理方法第三实施例的流程示意图;
图5为本发明数据处理方法第四实施例的流程示意图;
图6为本发明数据处理装置第一实施例的功能模块示意图;
图7为本发明数据处理装置第二实施例的功能模块示意图;
图8为本发明实施例中第二确定模块的细化功能模块示意图;
图9为本发明数据处理装置第三实施例的功能模块示意图;
图10为本发明数据处理装置第四实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种数据处理方法。
参照图1,图1为本发明数据处理方法第一实施例的流程示意图。
在本实施例中,该数据处理方法包括:
步骤S10,根据确定的提取范围提取各个待合并数据库中的原始数据作为待合并数据;
用户可以通过选择界面选择需要合并的数据库,作为待合并数据库,比如总公司在需要通过本年第一季度的财务情况时,用户通过选择界面选择总公司的下属分支机构的数据库,然后通过登录界面输入各下属分支结构对应的账套,从而获得各下属分支机构的数据库访问等权限。
用户可以通过输入装置输入需要提取的数据所对应的属性,比如收入、支出等确定提取范围,或者用户可以通过本发明进入对应的待合并数据库,在该数据库中选择提取的数据的范围,比如选择数据库中的销售数据。当然通过也可以事先预置属性,从而确定提取范围。
根据用户选择的提取范围对各个待合并数据库中的原始数据进行提取,将提取到的原始数据作为待合并数据。由于提取数据可能较多,为避免大量数据存储在内存中,导致内存占用过大,导致处理速度变慢或者处理错误,本实施例中将提取到的待合并数据存储在新建数据库中,以减少内存压力。
步骤S20,采用预设规则遍历所述待合并数据,确定所述待合并数据中是否存在待确定数据;
由于数据库中某些数据会存在特定的逻辑关系,比如某一列为另一列的整数倍,某一列比另一列大等等,或者多个数据之间存在相互逻辑关系,可以根据多个逻辑关系对数据进行验证,从而确定待确定数据,其中所述待确定数据包括无法确定正确的数据和错误数据。用户可以事先将对于的规则存储在运行本发明的设备中,具体实施中某些列的数据还可能通过在各待合并数据库中设置有对应的逻辑关系获得,比如价格等于单价乘以数量,此时还可以在获得待合并数据的同时,读取各数据对应的逻辑关系作为预设规则。
采用预设规则对根据步骤S10提取到的待合并数据进行遍历,采用预设规格对各个数据进行验证,确定获得的所述待合并数据中是否存在待确定数据。
步骤S30,在所述待合并数据中存在待确定数据时将所述待合并数据进行合并,并标记合并数据中的待确定数据。
对经过步骤S20处理过的待合并数据,进行合并,获得合并数据,具体地可以对提取的待合并数据进行整理,将属性相同的数据放置在同一列中,同时不打乱各个数据的与其他数据的逻辑关系,即原属于同一行的数据,合并后还位于同一行,方便后续操作,然后对合并数据中的待确定数据进行标记,方便用户根据标记对待确定数据进行确定或修改,从而避免合并数据出错。
本发明通过根据用户确定的提取范围提取各个待合并数据库中的原始数据作为待合并数据;采用预设规则遍历所述待合并数据,确定所述待合并数据中是否存在错误数据;在所述待合并数据中存在待确定数据时将所述待合并数据进行合并,并标记合并数据中的待确定数据。通过上述方式,本发明在合并数据的同时根据预设规则对其中的数据进行遍历,对数据的正确性进行判断,并标识其中的待确定数据,从而方便用户对数据进行修改,能够避免合并数据出现错误。
参照图2,图2为本发明数据处理方法第二实施例的流程示意图。
基于本发明数据处理方法第一实施例,数据处理方法还可以包括:
步骤S40,确定所述待确定数据中的错误数据,并将所述错误数据修改为正确的数据;
步骤S50,根据修改后的正确数据和预设规则重新确定与修改后的正确数据相关的其他数据,并标记其他数据中的错误数据。
本实施例中由于数据库中某个标记的错误数据与其他的数据关联关系比较少时,比如A列的值为A时,B列的值B必然为F(A),即B是关于A的函数,这种关联关系也会存储在对应的数据库中,则此时由于只获得一个关联关系,无法确定哪列数据为正确数据。此时可以通过交换界面与用户进行交互,用户可以通过标记识别出提取的数据中的错误数据,然后根据其他的资料,比如发票,对提取到的待合并数据进行修改,修改为正确的数据。
具体实施中如果某个错误数据与其他的数据的关系比较多或者某个错误数据相关的数据还与其他数据关联,从而能够推导出该错误数据的正确值,比如某数据A是关于错误数据B的函数,即A=F(B),A=F(C),此时可以根据两个逻辑关系中A的值相同,则基本可以确定A值正确,此时也可以确定待合并数据中的错误数据为B,然后根据A=F(B)推导出B的正确值,然后自动进行修改为正确值。
在修改完成后,再根据修改后的数据和预设规则重新确定与修改后数据相关的其他数据,并标记其他数据中的错误数据。
具体地,参阅图3,根据修改后的正确数据和预设规则重新确定与修改后的正确数据相关的其他数据,并标记其他数据中的错误数据的过程可以包括:
步骤S51,根据修改后的正确数据和预设规则计算获得与修改后的正确数据相关的其他数据的对照值;
步骤S52,确定其他数据的值是否与所述对照值相同;
步骤S53,将其他数据的值中与所述对照值不相同的数据标记为错误数据。
具体地,本实施例中将修改后的数据确定为正确数据,然后根据修改后的正确数据与预设规则重新对其他的数据进行计算,其中预设规则可以为用户事先预置的,也可以为读取数据时,读取到待合并数据库中的逻辑关系,计算获得与修改后的正确数据相关的其他数据的对照值,然后将参照值和其他数据的值进行对比,如果两者相同,则判断为正确的值,否则其他的数据则为错误的数据。比如上述例子中如果B=F(D),则可以根据B的值重新确定D的值是否正确,重新验证D,从而确保其他数据验证正确,如果D的值不正确,则标记数据D为错误数据。
参阅图4,图4为本发明数据处理方法第三实施例的流程示意图。
基于本发明数据处理方法第二实施例,数据处理方法还可以包括:
步骤S60,将修改后的正确数据发送至与修改正确的数据对应的待合并数据库,以使得待合并数据库根据修改后的正确数据进行更新。
本实施例中,如果某个数据确定为错误数据,则该数据的来源的待合并数据库中的对应的数据也可能为人为输入错误,此时可以将修改后的数据,即修改正确的数据发送至该待合并数据库,该待合并数据库接收到正确的数据,以及该正确数据所在的位置信息,对应根据修改后的数据进行更新,从而对待合并数据库的数据进行修复。需要特别说明的是为后续能够查找到对应的源数据,本实施例在提取和合并过程中需要建立合并后的数据的位置和对应的源数据的位置之间的关系,从而后续待合并数据库进行更新时,能够根据建立的关系查找到对应的源数据进行对应更新。
参阅图5,图5为本发明数据处理方法第四实施例的流程示意图。
基于本发明数据处理方法第一实施例,数据处理方法还可以包括:
步骤S70,在确定所述待合并数据中存在待确定数据时,将所述待确定数据与对应的待合并数据库中原始数据进行对比;
步骤S80,如果所述待确定数据与原始数据不同,则将所述待确定数据替换为原始数据。
由于采用预设规则进行判断的过程以及占用的资源比较多,同时可能由于待合并数据库正在被其他用户修改,从而导致提取到的数据错误,或者其他未知原因导致提取到的数据错误,从而此时导致提取的数据较乱,无法确定其正确性。本实施例中可以将待确定数据与提取到该数据的待合并数据库中原始数据进行对比,根据对比结果确定原始数据是否同样存在错误,如果待确定数据与原始数据相同,则确定原始数据同样存在错误,则可以对该待确定数据进行标记,重新执行与用户交互的步骤;如果待确定数据与原始数据不同,则确定原始数据不存在错误,此时将待确定数据替换为原始数据。具体实施中可能用户修改的时间较长,则可以在预设时间段后再将待确定数据与对应的待合并数据库中原始数据进行对比,当然也可以设置将待确定数据与对应的待合并数据库中原始数据进行对比预设次数,以排除用户修改导致提取数据错误的情况。通过上述方式,本实施例能减少资源的占用。
本发明进一步提供一种数据处理装置。
参照图6,图6为本发明数据处理装置第一实施例的功能模块示意图;
提取模块10,用于根据提取范围提取各个待合并数据库中的原始数据作为待合并数据;
用户可以通过选择界面选择需要合并的数据库,作为待合并数据库,比如总公司在需要通过本年第一季度的财务情况时,用户通过选择界面选择总公司的下属分支机构的数据库,然后通过登录界面输入各下属分支结构对应的账套,从而获得各下属分支机构的数据库访问等权限。
用户可以通过输入装置输入需要提取的数据所对应的属性,比如收入、支出等确定提取范围,或者用户可以通过本发明进入对应的待合并数据库,在该数据库中选择提取的数据的范围,比如选择数据库中的销售数据。当然通过也可以事先预置属性,从而确定提取范围。
根据用户选择的提取范围对各个待合并数据库中的原始数据进行提取,将提取到的原始数据作为待合并数据。由于提取数据可能较多,为避免大量数据存储在内存中,导致内存占用过大,导致处理速度变慢或者处理错误,本实施例中将提取到的待合并数据存储在新建数据库中,以减少内存压力。
第一确定模块20,用于采用预设规则遍历所述待合并数据,确定所述待合并数据中是否存在待确定数据,其中所述待确定数据包括无法确定正确的数据和错误数据;
由于数据库中某些数据会存在特定的逻辑关系,比如某一列为另一列的整数倍,某一列比另一列大等等,或者多个数据之间存在相互逻辑关系,可以根据多个逻辑关系对数据进行验证,从而确定待确定数据,其中所述待确定数据包括无法确定正确的数据和错误数据。用户可以事先将对于的规则存储在运行本发明的设备中,具体实施中某些列的数据还可能通过在各待合并数据库中设置有对应的逻辑关系获得,比如价格等于单价乘以数量,此时还可以在获得待合并数据的同时,读取各数据对应的逻辑关系作为预设规则。
采用预设规则对根据提取模块10提取到的待合并数据进行遍历,采用预设规格对各个数据进行验证,确定获得的所述待合并数据中是否存在待确定数据。
合并模块30,用于在所述待合并数据中存在待确定数据时将所述待合并数据进行合并,并标记合并数据中的待确定数据。
对经过第一确定模块20处理过的待合并数据,进行合并,获得合并数据,具体地可以对提取的待合并数据进行整理,将属性相同的数据放置在同一列中,同时不打乱各个数据的与其他数据的逻辑关系,即原属于同一行的数据,合并后还位于同一行,方便后续操作,然后对合并数据中的待确定数据进行标记,方便用户根据标记对待确定数据进行确定或修改,从而避免合并数据出错。
本发明通过根据用户确定的提取范围提取各个待合并数据库中的原始数据作为待合并数据;采用预设规则遍历所述待合并数据,确定所述待合并数据中是否存在错误数据;在所述待合并数据中存在待确定数据时将所述待合并数据进行合并,并标记合并数据中的待确定数据。通过上述方式,本发明在合并数据的同时根据预设规则对其中的数据进行遍历,对数据的正确性进行判断,并标识其中的待确定数据,从而方便用户对数据进行修改,能够避免合并数据出现错误。
图7为本发明数据处理装置第二实施例的功能模块示意图;
基于本发明数据处理装置第一实施例,数据处理装置还可以包括:
修改模块40,用于确定所述待确定数据中的错误数据,并将所述错误数据修改为正确的数据;
第二确定模块50,用于根据修改后的正确数据和预设规则重新确定与修改后的正确数据相关的其他数据,并标记其他数据中的错误数据。
本实施例中由于数据库中某个标记的错误数据与其他的数据关联关系比较少时,比如A列的值为A时,B列的值B必然为F(A),即B是关于A的函数,这种关联关系也会存储在对应的数据库中,则此时由于只获得一个关联关系,无法确定哪列数据为正确数据。此时可以通过交换界面与用户进行交互,用户可以通过标记识别出提取的数据中的错误数据,然后根据其他的资料,比如发票,对提取到的待合并数据进行修改,修改为正确的数据。
具体实施中如果某个错误数据与其他的数据的关系比较多或者某个错误数据相关的数据还与其他数据关联,从而能够推导出该错误数据的正确值,比如某数据A是关于错误数据B的函数,即A=F(B),A=F(C),此时可以根据两个逻辑关系中A的值相同,则基本可以确定A值正确,此时也可以确定待合并数据中的错误数据为B,然后根据A=F(B)推导出B的正确值,然后自动进行修改为正确值。
在修改完成后,再根据修改后的数据和预设规则重新确定与修改后数据相关的其他数据,并标记其他数据中的错误数据。
具体地,参阅图8,第二确定模块50可以包括:
计算单元51,用于根据修改后的正确数据和预设规则计算获得与修改后的正确数据相关的其他数据的对照值;
确定单元52,用于确定其他数据的值是否与所述对照值相同;
标记单元53,用于将其他数据的值中与所述对照值不相同的数据标记为错误数据。
具体地,本实施例中将修改后的数据确定为正确数据,然后根据修改后的正确数据与预设规则重新对其他的数据进行计算,其中预设规则可以为用户事先预置的,也可以为读取数据时,读取到待合并数据库中的逻辑关系,计算获得与修改后的正确数据相关的其他数据的对照值,然后将参照值和其他数据的值进行对比,如果两者相同,则判断为正确的值,否则其他的数据则为错误的数据。比如上述例子中如果B=F(D),则可以根据B的值重新确定D的值是否正确,重新验证D,从而确保其他数据验证正确,如果D的值不正确,则标记数据D为错误数据。
图9为本发明数据处理装置第三实施例的功能模块示意图;
基于本发明数据处理装置第二实施例,数据处理装置还可以包括:
发送模块60,用于将修改后的正确数据发送至与修改正确的数据对应的待合并数据库,以使得待合并数据库根据修改后的正确数据进行更新。
本实施例中,如果某个数据确定为错误数据,则该数据的来源的待合并数据库中的对应的数据可能也为人为输入错误,此时可以将修改后的数据,即修改正确的数据发送至该待合并数据库,该待合并数据库接收到正确的数据,以及该正确数据所在的位置信息,对应根据修改后的数据进行更新,从而对待合并数据库的数据进行修复。需要特别说明的是为后续能够查找到对应的源数据,本实施例在提取和合并过程中需要建立合并后的数据的位置和对应的源数据的位置之间的关系,从而后续待合并数据库进行更新时,能够根据建立的关系查找到对应的源数据进行对应更新。
图10为本发明数据处理装置第四实施例的功能模块示意图。
基于本发明数据处理装置第一实施例,数据处理装置还可以包括:
对比模块70,用于在确定所述待合并数据中存在待确定数据时,将所述待确定数据与对应的待合并数据库中原始数据进行对比;
替换模块80,用于如果所述待确定数据与原始数据不同,则将所述待确定数据替换为原始数据。
由于采用预设规则进行判断的过程以及占用的资源比较多,同时可能由于待合并数据库正在被其他用户修改,从而导致提取到的数据错误,或者其他未知原因导致提取到的数据错误,从而此时导致提取的数据较乱,无法确定其正确性。本实施例中可以将待确定数据与提取到该数据的待合并数据库中原始数据进行对比,根据对比结果确定原始数据是否同样存在错误,如果待确定数据与原始数据相同,则确定原始数据同样存在错误,则可以对该待确定数据进行标记,重新执行与用户交互的步骤;如果待确定数据与原始数据不同,则确定原始数据不存在错误,此时将待确定数据替换为原始数据。具体实施中可能用户修改的时间较长,则可以在预设时间段后再将待确定数据与对应的待合并数据库中原始数据进行对比,当然也可以设置将待确定数据与对应的待合并数据库中原始数据进行对比预设次数,以排除用户修改导致提取数据错误的情况。通过上述方式,本实施例能减少资源的占用。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种数据处理方法,其特征在于,所述数据处理方法包括以下步骤:
根据确定的提取范围提取各个待合并数据库中的对应的原始数据作为待合并数据;
采用预设规则遍历所述待合并数据,确定所述待合并数据中是否存在待确定数据,其中所述待确定数据包括无法确定正确的数据和错误数据;
在所述待合并数据中存在待确定数据时将所述待合并数据进行合并,并标记合并数据中的待确定数据;
所述方法还包括:
确定所述待确定数据中的错误数据,并将所述错误数据修改为正确的数据;
根据修改后的正确数据和预设规则重新确定与修改后的正确数据相关的其他数据,并标记其他数据中的错误数据;
其中,所述根据修改后的正确数据和预设规则重新确定与修改后的正确数据相关的其他数据,并标记其他数据中的错误数据的步骤包括:
根据修改后的正确数据和预设规则计算获得与修改后的正确数据相关的其他数据的对照值;
确定其他数据的值是否与所述对照值相同;
将其他数据的值中与所述对照值不相同的数据标记为错误数据。
2.如权利要求1所述的数据处理方法,其特征在于,所述确定所述待确定数据中错误数据,并将所述错误数据修改为正确的数据的步骤之后还包括:
将修改后的正确数据发送至与修改正确的数据对应的待合并数据库,以使得待合并数据库根据修改后的正确数据进行更新。
3.如权利要求1所述的数据处理方法,其特征在于,所述采用预设规则遍历所述待合并数据,确定所述待合并数据中是否存在待确定数据的步骤之后还包括:
在确定所述待合并数据中存在待确定数据时,将所述待确定数据与对应的待合并数据库中原始数据进行对比;
如果所述待确定数据与原始数据不同,则将所述待确定数据替换为原始数据。
4.一种数据处理装置,其特征在于,所述数据处理装置包括:
提取模块,用于根据用户确定的提取范围提取各个待合并数据库中的原始数据作为待合并数据;
第一确定模块,用于采用预设规则遍历所述待合并数据,确定所述待合并数据中是否存在待确定数据,其中所述待确定数据包括无法确定正确的数据和错误数据;
合并模块,用于在所述待合并数据中存在待确定数据时将所述待合并数据进行合并,并标记合并数据中的待确定数据;
所述数据处理装置还包括:
修改模块,用于确定所述待确定数据中的错误数据,并将所述错误数据修改为正确的数据;
第二确定模块,用于根据修改后的正确数据和预设规则重新确定与修改后的正确数据相关的其他数据,并标记其他数据中的错误数据;
其中,所述第二确定模块包括:
计算单元,用于根据修改后的正确数据和预设规则计算获得与修改后的正确数据相关的其他数据的对照值;
确定单元,用于确定其他数据的值是否与所述对照值相同;
标记单元,用于将其他数据的值中与所述对照值不相同的数据标记为错误数据。
5.如权利要求4所述的数据处理装置,其特征在于,所述数据处理装置还包括:
发送模块,用于将修改后的正确数据发送至与修改正确的数据对应的待合并数据库,以使得待合并数据库根据修改后的正确数据进行更新。
6.如权利要求4所述的数据处理装置,其特征在于,所述数据处理装置还包括:
对比模块,用于在确定所述待合并数据中存在待确定数据时,将所述待确定数据与对应的待合并数据库中原始数据进行对比;
替换模块,用于如果所述待确定数据与原始数据不同,则将所述待确定数据替换为原始数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610379236.XA CN106066881B (zh) | 2016-05-31 | 2016-05-31 | 数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610379236.XA CN106066881B (zh) | 2016-05-31 | 2016-05-31 | 数据处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106066881A CN106066881A (zh) | 2016-11-02 |
CN106066881B true CN106066881B (zh) | 2019-10-22 |
Family
ID=57420194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610379236.XA Active CN106066881B (zh) | 2016-05-31 | 2016-05-31 | 数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106066881B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108733347B (zh) * | 2017-04-20 | 2021-01-29 | 杭州海康威视数字技术股份有限公司 | 一种数据处理方法及装置 |
CN110349653A (zh) * | 2019-07-15 | 2019-10-18 | 杭州依图医疗技术有限公司 | 影像分析数据的显示方法、设备和存储介质 |
CN113094405A (zh) * | 2021-04-30 | 2021-07-09 | 平安普惠企业管理有限公司 | 资产数据合并拆分处理方法、装置、电子设备及存储介质 |
CN116797496A (zh) * | 2023-08-24 | 2023-09-22 | 深圳市图优医疗影像有限公司 | 图像增强功能方法及内窥镜成像装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101276364A (zh) * | 2007-03-30 | 2008-10-01 | 阿里巴巴公司 | 一种分布式计算数据合并方法、系统及其装置 |
CN101661507A (zh) * | 2009-09-25 | 2010-03-03 | 金蝶软件(中国)有限公司 | 一种数据合并的方法及系统 |
CN102043837A (zh) * | 2010-12-01 | 2011-05-04 | 北京迅捷英翔网络科技有限公司 | 数据整合系统和方法 |
CN104361139A (zh) * | 2014-12-10 | 2015-02-18 | 用友软件股份有限公司 | 数据导入装置和方法 |
CN104462082A (zh) * | 2013-09-12 | 2015-03-25 | 深圳中科金证科技有限公司 | 一种基于数据仓库的医疗数据整合方法及系统 |
-
2016
- 2016-05-31 CN CN201610379236.XA patent/CN106066881B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101276364A (zh) * | 2007-03-30 | 2008-10-01 | 阿里巴巴公司 | 一种分布式计算数据合并方法、系统及其装置 |
CN101661507A (zh) * | 2009-09-25 | 2010-03-03 | 金蝶软件(中国)有限公司 | 一种数据合并的方法及系统 |
CN102043837A (zh) * | 2010-12-01 | 2011-05-04 | 北京迅捷英翔网络科技有限公司 | 数据整合系统和方法 |
CN104462082A (zh) * | 2013-09-12 | 2015-03-25 | 深圳中科金证科技有限公司 | 一种基于数据仓库的医疗数据整合方法及系统 |
CN104361139A (zh) * | 2014-12-10 | 2015-02-18 | 用友软件股份有限公司 | 数据导入装置和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106066881A (zh) | 2016-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110348441B (zh) | 增值税发票识别方法、装置、计算机设备及存储介质 | |
TWI621077B (zh) | 理賠單據的字元識別方法及伺服器 | |
CN106066881B (zh) | 数据处理方法及装置 | |
US20140046954A1 (en) | Software tool for creation and management of document reference templates | |
CN109344831A (zh) | 一种数据表识别方法、装置及终端设备 | |
CN104123592B (zh) | 银行后台tps交易事件趋势预测方法及系统 | |
CN110222336A (zh) | 财务报告分析方法、装置、计算机设备和存储介质 | |
US10628403B2 (en) | Annotation system for extracting attributes from electronic data structures | |
US20120150825A1 (en) | Cleansing a Database System to Improve Data Quality | |
CN109408807A (zh) | Ocr识别正确率的自动化测试方法及测试设备 | |
CN111931845B (zh) | 一种确定用户组相似性的系统和方法 | |
CN105701876A (zh) | 用于处理多个记录策略的装置和方法 | |
CN103514092A (zh) | Atm机软件系统自动测试方法 | |
CN110147495A (zh) | 基于在线配置的页面响应方法、装置、设备及介质 | |
CN110069279B (zh) | 一种直流控制保护程序的校验方法、装置及存储介质 | |
CN112785357A (zh) | 一种基于ocr的发票查验及预警系统及方法 | |
US20220245591A1 (en) | Membership analyzing method, apparatus, computer device and storage medium | |
CN113627892B (zh) | 一种bom数据的识别方法及其电子设备 | |
CN113900955A (zh) | 自动化测试方法、装置、设备及存储介质 | |
CN109324963A (zh) | 自动测试收益结果的方法及终端设备 | |
CN107871128A (zh) | 一种基于svg动态图表的高鲁棒性图像识别方法 | |
CN113868219A (zh) | 账套数据的迁移方法、装置、电子设备及计算机存储介质 | |
CN111754352A (zh) | 一种观点语句正确性的判断方法、装置、设备和存储介质 | |
CN117216051A (zh) | 用于大语言模型训练的数据标注质量的确定方法、装置 | |
US20160027123A1 (en) | Automatic tagging of trial balance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 518057 Shenzhen Software Park, Nanshan District high tech Industrial Park, Guangdong, China,, 6 401-402 Applicant after: Yongxing Shenzhen Polytron Technologies Inc Address before: 518057 Shenzhen Software Park, Nanshan District high tech Industrial Park, Guangdong, China,, 6 401-402 Applicant before: Shenzhen Longrise Technology Co., Ltd. |
|
COR | Change of bibliographic data | ||
GR01 | Patent grant | ||
GR01 | Patent grant |