CN110597793A - 数据管理方法及装置、电子设备和计算机可读存储介质 - Google Patents
数据管理方法及装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110597793A CN110597793A CN201910692874.0A CN201910692874A CN110597793A CN 110597793 A CN110597793 A CN 110597793A CN 201910692874 A CN201910692874 A CN 201910692874A CN 110597793 A CN110597793 A CN 110597793A
- Authority
- CN
- China
- Prior art keywords
- data
- cleaned
- information
- item
- dimensional information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Abstract
本发明公开了一种数据管理方法及装置、电子设备和计算机可读存储介质,该方法包括:获取多项待清洗数据;根据多项所述待清洗数据的属性信息,确定每项所述待清洗数据的多维度信息;根据每项所述待清洗数据的多维度信息,按照预定映射关系映射得到每项所述待清洗数据对应的清洗规则;根据每项所述待清洗数据对应的清洗规则,对每项所述待清洗数据进行清洗处理。通过该技术方案,可并发进行大量数据的清洗工作,降低了数据清洗的整体耗时,提升了数据管理的效率,并且,对于任何一项待清洗数据都可准确匹配对应的清洗规则,从而实现了专项数据匹配专项规则,使得数据清洗工作更加准确可靠。
Description
技术领域
本发明涉及计算机检索技术领域,更具体地,涉及一种数据管理方法及装置、电子设备和计算机可读存储介质。
背景技术
随着科学技术的发展,各种业务所涉及的数据量逐渐增多,因此,对大量数据进行清洗,可保障数据的有效性,避免数据冗余。相关技术中,虽然可对少量数据进行清洗,但其数据清洗过程无法跨层级、跨业务,这就造成不同层级、不同业务类型的数据需要被单独清洗。大量数据清洗工作加大了人工成本和出错率,不利于数据管理效率的提升。
因此,如何提升数据管理的效率,成为目前亟待解决的技术问题,
发明内容
鉴于上述问题,本发明提出了一种数据管理方法及装置、电子设备和计算机可读存储介质,其针对相关技术中数据清洗过程复杂的技术问题,可并发清洗多源头多类型的数据。
第一方面,本发明实施例提供了一种数据管理方法,包括:获取多项待清洗数据;根据多项所述待清洗数据的属性信息,确定每项所述待清洗数据的多维度信息;根据每项所述待清洗数据的多维度信息,按照预定映射关系映射得到每项所述待清洗数据对应的清洗规则;根据每项所述待清洗数据对应的清洗规则,对每项所述待清洗数据进行清洗处理。
在本发明上述实施例中,可选地,所述多维度信息包括层级信息、地域信息、职能系统信息、部门信息和业务类型信息。
在本发明上述实施例中,可选地,在所述获取多项待清洗数据的步骤之前,还包括:每隔预定时间间隔,获取预定多维度信息;对所述预定多维度信息进行排列组合,得到多维度信息集合;根据清洗规则建立信息,为所述多维度信息集合中的每项目标多维度信息建立对应的清洗规则,并确定所述每项目标多维度信息与对应的清洗规则之间的预定映射关系。
在本发明上述实施例中,可选地,还包括:根据所述多维度信息集合,对数据库进行多维度划分,得到多个存储区域;将所述待清洗数据和/或清洗处理后的数据存储至所述多个存储区域中的对应存储区域。
第二方面,本发明实施例提供了一种数据管理装置,包括:待清洗数据获取单元,用于获取多项待清洗数据;第一获取单元,用于根据多项所述待清洗数据的属性信息,确定每项所述待清洗数据的多维度信息;清洗规则映射单元,用于根据每项所述待清洗数据的多维度信息,按照预定映射关系映射得到每项所述待清洗数据对应的清洗规则;数据清洗处理单元,用于根据每项所述待清洗数据对应的清洗规则,对每项所述待清洗数据进行清洗处理。
在本发明上述实施例中,可选地,所述多维度信息包括层级信息、地域信息、职能系统信息、部门信息和业务类型信息。
在本发明上述实施例中,可选地,还包括:第二获取单元,用于在所述第一获取单元获取所述多项待清洗数据之前,每隔预定时间间隔,获取预定多维度信息;排列组合单元,用于对所述预定多维度信息进行排列组合,得到多维度信息集合;清洗规则建立单元,用于根据清洗规则建立信息,为所述多维度信息集合中的每项目标多维度信息建立对应的清洗规则,并确定所述每项目标多维度信息与对应的清洗规则之间的预定映射关系。
在本发明上述实施例中,可选地,还包括:存储区域划分单元,用于根据所述多维度信息集合,对数据库进行多维度划分,得到多个存储区域;数据存储单元,用于将所述待清洗数据和/或清洗处理后的数据存储至所述多个存储区域中的对应存储区域。
第三方面,本发明实施例提供了一种电子设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序被配置为执行上述第一方面中任一项所述的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行上述第一方面中任一项所述的方法流程。
以上技术方案,针对相关技术中数据清洗过程复杂的技术问题,可并发清洗多源头多类型的数据,具体来说,在获取到大量的待清洗数据后,可首先确定待清洗数据的属性信息,这一属性信息包括但不限于待清洗数据内部的各种赋值,不同的赋值代表了待清洗数据的不同方面的属性,因此,可进一步通过待清洗数据的属性信息,确定待清洗数据的多维度信息。这里所述的待清洗数据的多维度信息包括但不限于层级信息、地域信息、职能系统信息、部门信息和业务类型信息。也就是说,可通过待清洗数据本身携带的属性信息确定待清洗数据所属的层级、地域、职能系统、部门和业务类型等不同维度的特性。
接着,对于单项待清洗数据来说,可通过其多维度信息与预定的多维度信息集合进行匹配,一旦在多维度信息集合内匹配到相同的一项多维度信息,则匹配到的该多维度信息对应的预定映射关系即为此单项待清洗数据的预定映射关系。通过预定映射关系和单项待清洗数据本身,可以映射得到待清洗数据对应的清洗规则。
最终,通过待清洗数据对应的清洗规则对其进行清洗处理。
通过以上技术方案,可并发进行大量数据的清洗工作,降低了数据清洗的整体耗时,提升了数据管理的效率,并且,对于任何一项待清洗数据都可准确匹配对应的清洗规则,从而实现了专项数据匹配专项规则,使得数据清洗工作更加准确可靠。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本发明一个实施例的数据管理方法的流程图。
图2示出了根据本发明另一个实施例的数据管理方法的流程图。
图3示出了根据本发明一个实施例的数据管理装置的框图。
图4示出了根据本发明一个实施例的电子设备的框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1示出了根据本发明一个实施例的数据管理方法的流程图。
如图1所示,根据本发明一个实施例的数据管理方法的流程包括:
步骤102,获取多项待清洗数据。
步骤104,根据多项所述待清洗数据的属性信息,确定每项所述待清洗数据的多维度信息。
在获取到大量的待清洗数据后,可首先确定待清洗数据的属性信息,这一属性信息包括但不限于待清洗数据内部的各种赋值,不同的赋值代表了待清洗数据的不同方面的属性,因此,可进一步通过待清洗数据的属性信息,确定待清洗数据的多维度信息。这里所述的待清洗数据的多维度信息包括但不限于层级信息、地域信息、职能系统信息、部门信息和业务类型信息。也就是说,可通过待清洗数据本身携带的属性信息确定待清洗数据所属的层级、地域、职能系统、部门和业务类型等不同维度的特性。
步骤106,根据每项所述待清洗数据的多维度信息,按照预定映射关系映射得到每项所述待清洗数据对应的清洗规则。
接着,对于单项待清洗数据来说,可通过其多维度信息与预定的多维度信息集合进行匹配,一旦在多维度信息集合内匹配到相同的一项多维度信息,则匹配到的该多维度信息对应的预定映射关系即为此单项待清洗数据的预定映射关系。通过预定映射关系和单项待清洗数据本身,可以映射得到待清洗数据对应的清洗规则。
步骤108,根据每项所述待清洗数据对应的清洗规则,对每项所述待清洗数据进行清洗处理。
最终,通过待清洗数据对应的清洗规则对其进行清洗处理。
通过以上技术方案,可并发进行大量数据的清洗工作,降低了数据清洗的整体耗时,提升了数据管理的效率,并且,对于任何一项待清洗数据都可准确匹配对应的清洗规则,从而实现了专项数据匹配专项规则,使得数据清洗工作更加准确可靠。
图2示出了根据本发明另一个实施例的数据管理方法的流程图。
如图2所示,根据本发明另一个实施例的数据管理方法的流程包括:
步骤202,每隔预定时间间隔,获取预定多维度信息。
由于数据在各维度的分类情况都有可能根据实际情况发生增删等变动,故可以周期性地对多维度分类情况进行检测,以便及时根据变化后的各维度的分类情况及时调整清洗规则和预定映射关系等内容。其中,每隔预定时间间隔可以为根据实际需要设置的任何时间间隔,可选为24h。
步骤204,对所述预定多维度信息进行排列组合,得到多维度信息集合。
各维度下都具有多种分类,通过排列组合可将数据应有的分类进行最为详细的划分,便于进一步的数据清洗和数据存储。
步骤206,根据清洗规则建立信息,为所述多维度信息集合中的每项目标多维度信息建立对应的清洗规则,并确定所述每项目标多维度信息与对应的清洗规则之间的预定映射关系。
也就是说,可根据用户输入的或系统自行确定是清洗规则建立信息,为数据详细分类下的每种分类确定对应的清洗规则及预定映射关系,以便在对单项待清洗数据进行清洗时可便捷地获取和使用预先设定的清洗规则及预定映射关系。
步骤208,获取多项待清洗数据。
步骤210,根据多项所述待清洗数据的属性信息,确定每项所述待清洗数据的多维度信息。
在获取到大量的待清洗数据后,可首先确定待清洗数据的属性信息,这一属性信息包括但不限于待清洗数据内部的各种赋值,不同的赋值代表了待清洗数据的不同方面的属性,因此,可进一步通过待清洗数据的属性信息,确定待清洗数据的多维度信息。这里所述的待清洗数据的多维度信息包括但不限于层级信息、地域信息、职能系统信息、部门信息和业务类型信息。也就是说,可通过待清洗数据本身携带的属性信息确定待清洗数据所属的层级、地域、职能系统、部门和业务类型等不同维度的特性。
步骤212,根据每项所述待清洗数据的多维度信息,按照预定映射关系映射得到每项所述待清洗数据对应的清洗规则。
接着,对于单项待清洗数据来说,可通过其多维度信息与预定的多维度信息集合进行匹配,一旦在多维度信息集合内匹配到相同的一项多维度信息,则匹配到的该多维度信息对应的预定映射关系即为此单项待清洗数据的预定映射关系。通过预定映射关系和单项待清洗数据本身,可以映射得到待清洗数据对应的清洗规则。
步骤214,根据每项所述待清洗数据对应的清洗规则,对每项所述待清洗数据进行清洗处理。
然后,通过待清洗数据对应的清洗规则对其进行清洗处理。
步骤216,根据所述多维度信息集合,对数据库进行多维度划分,得到多个存储区域。
步骤218,将所述待清洗数据和/或清洗处理后的数据存储至所述多个存储区域中的对应存储区域。
在前时,各维度下都具有多种分类,通过排列组合可将数据应有的分类进行最为详细的划分,便于进一步的数据清洗和数据存储。
而此时,即可按照在前划分的详细分类,对应将数据库划分为多个存储区域,以便将每个详细分类下的数据(包括待清洗数据和/或清洗处理后的数据)存储至对应详细分类下的存储区域,从而提升了数据库中数据的分布合理性,便于简洁高效地获取所需数据。当然,数据库中存储区域的划分,对应上述步骤202至步骤206中的多维度分类的更新,也可动态更新。
通过以上技术方案,可并发进行大量数据的清洗工作,降低了数据清洗的整体耗时,提升了数据管理的效率,并且,对于任何一项待清洗数据都可准确匹配对应的清洗规则,从而实现了专项数据匹配专项规则,使得数据清洗工作更加准确可靠。
图3示出了根据本发明一个实施例的数据管理装置的框图。
如图3所示,根据本发明一个实施例的数据管理装置300包括:包括:待清洗数据获取单元302,用于获取多项待清洗数据;第一获取单元304,用于根据多项所述待清洗数据的属性信息,确定每项所述待清洗数据的多维度信息;清洗规则映射单元306,用于根据每项所述待清洗数据的多维度信息,按照预定映射关系映射得到每项所述待清洗数据对应的清洗规则;数据清洗处理单元308,用于根据每项所述待清洗数据对应的清洗规则,对每项所述待清洗数据进行清洗处理。
在本发明上述实施例中,可选地,所述多维度信息包括层级信息、地域信息、职能系统信息、部门信息和业务类型信息。
在本发明上述实施例中,可选地,还包括:第二获取单元,用于在所述第一获取单元302获取所述多项待清洗数据之前,每隔预定时间间隔,获取预定多维度信息;排列组合单元,用于对所述预定多维度信息进行排列组合,得到多维度信息集合;清洗规则建立单元,用于根据清洗规则建立信息,为所述多维度信息集合中的每项目标多维度信息建立对应的清洗规则,并确定所述每项目标多维度信息与对应的清洗规则之间的预定映射关系。
在本发明上述实施例中,可选地,还包括:存储区域划分单元,用于根据所述多维度信息集合,对数据库进行多维度划分,得到多个存储区域;数据存储单元,用于将所述待清洗数据和/或清洗处理后的数据存储至所述多个存储区域中的对应存储区域。
图4示出了根据本发明一个实施例的电子设备的框图。
本发明实施例还提供了电子设备,如图4所示,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该电子设备可以为包括手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Pointof Sales,销售电子设备)、车载电脑等任意电子设备设备,以电子设备为手机为例:
图4示出的是与本发明实施例提供的电子设备相关的手机的部分结构的框图。参考图4,手机包括:射频(Radio Frequency,RF)电路410、存储器420、输入单元430、显示单元440、传感器450、音频电路460、无线保真(wireless-fidelity,Wi-Fi)模块470、处理器480、以及电源490等部件。本领域技术人员可以理解,图4中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图4对手机的各个构成部件进行具体的介绍:
RF电路410可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器480处理;另外,将设计上行的数据发送给基站。通常,RF电路410包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路410还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器420可用于存储软件程序以及模块,处理器480通过运行存储在存储器420的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元430可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元430可包括触控面板431以及其他输入设备432。触控面板431,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板431上或在触控面板431附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板431可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器480,并能接收处理器480发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板431。除了触控面板431,输入单元430还可以包括其他输入设备432。具体地,其他输入设备432可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元440可包括显示面板441,可选的,可以采用液晶显示器(Liquid CrystalDisplay,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板441。进一步的,触控面板431可覆盖显示面板441,当触控面板431检测到在其上或附近的触摸操作后,传送给处理器480以确定触摸事件的类型,随后处理器480根据触摸事件的类型在显示面板441上提供相应的视觉输出。虽然在图4中,触控面板431与显示面板441是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板431与显示面板441集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器450,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板441的亮度,接近传感器可在手机移动到耳边时,关闭显示面板441和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路460、扬声器461,传声器462可提供用户与手机之间的音频接口。音频电路460可将接收到的音频数据转换后的电信号,传输到扬声器461,由扬声器461转换为声音信号输出;另一方面,传声器462将收集的声音信号转换为电信号,由音频电路460接收后转换为音频数据,再将音频数据输出处理器480处理后,经RF电路410以发送给比如另一手机,或者将音频数据输出至存储器420以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图4示出了WiFi模块470,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器480是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器420内的软件程序和/或模块,以及调用存储在存储器420内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器480可包括一个或多个处理单元;优选的,处理器480可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器480中。
手机还包括给各个部件供电的电源490(比如电池),优选的,电源可以通过电源管理系统与处理器480逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本发明实施例中,该电子设备所包括的处理器480还具有以下功能:获取多项待清洗数据;根据多项所述待清洗数据的属性信息,确定每项所述待清洗数据的多维度信息;根据每项所述待清洗数据的多维度信息,按照预定映射关系映射得到每项所述待清洗数据对应的清洗规则;根据每项所述待清洗数据对应的清洗规则,对每项所述待清洗数据进行清洗处理。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上对本发明所提供的一种电子设备进行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种数据管理方法,其特征在于,包括:
获取多项待清洗数据;
根据多项所述待清洗数据的属性信息,确定每项所述待清洗数据的多维度信息;
根据每项所述待清洗数据的多维度信息,按照预定映射关系映射得到每项所述待清洗数据对应的清洗规则;
根据每项所述待清洗数据对应的清洗规则,对每项所述待清洗数据进行清洗处理。
2.根据权利要求1所述的数据管理方法,其特征在于,
所述多维度信息包括层级信息、地域信息、职能系统信息、部门信息和业务类型信息。
3.根据权利要求1或2所述的数据管理方法,其特征在于,在所述获取多项待清洗数据的步骤之前,还包括:
每隔预定时间间隔,获取预定多维度信息;
对所述预定多维度信息进行排列组合,得到多维度信息集合;
根据清洗规则建立信息,为所述多维度信息集合中的每项目标多维度信息建立对应的清洗规则,并确定所述每项目标多维度信息与对应的清洗规则之间的预定映射关系。
4.根据权利要求3所述的数据管理方法,其特征在于,还包括:
根据所述多维度信息集合,对数据库进行多维度划分,得到多个存储区域;
将所述待清洗数据和/或清洗处理后的数据存储至所述多个存储区域中的对应存储区域。
5.一种数据管理装置,其特征在于,包括:
待清洗数据获取单元,用于获取多项待清洗数据;
第一获取单元,用于根据多项所述待清洗数据的属性信息,确定每项所述待清洗数据的多维度信息;
清洗规则映射单元,用于根据每项所述待清洗数据的多维度信息,按照预定映射关系映射得到每项所述待清洗数据对应的清洗规则;
数据清洗处理单元,用于根据每项所述待清洗数据对应的清洗规则,对每项所述待清洗数据进行清洗处理。
6.根据权利要求5所述的数据管理装置,其特征在于,
所述多维度信息包括层级信息、地域信息、职能系统信息、部门信息和业务类型信息。
7.根据权利要求5或6所述的数据管理装置,其特征在于,还包括:
第二获取单元,用于在所述第一获取单元获取所述多项待清洗数据之前,每隔预定时间间隔,获取预定多维度信息;
排列组合单元,用于对所述预定多维度信息进行排列组合,得到多维度信息集合;
清洗规则建立单元,用于根据清洗规则建立信息,为所述多维度信息集合中的每项目标多维度信息建立对应的清洗规则,并确定所述每项目标多维度信息与对应的清洗规则之间的预定映射关系。
8.根据权利要求7所述的数据管理装置,其特征在于,还包括:
存储区域划分单元,用于根据所述多维度信息集合,对数据库进行多维度划分,得到多个存储区域;
数据存储单元,用于将所述待清洗数据和/或清洗处理后的数据存储至所述多个存储区域中的对应存储区域。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序被配置为执行权利要求1至4任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,存储有计算机可执行指令,所述计算机可执行指令用于执行如权利要求1至4中任一项所述的方法流程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910692874.0A CN110597793A (zh) | 2019-07-30 | 2019-07-30 | 数据管理方法及装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910692874.0A CN110597793A (zh) | 2019-07-30 | 2019-07-30 | 数据管理方法及装置、电子设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110597793A true CN110597793A (zh) | 2019-12-20 |
Family
ID=68853068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910692874.0A Pending CN110597793A (zh) | 2019-07-30 | 2019-07-30 | 数据管理方法及装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110597793A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111291029A (zh) * | 2020-01-17 | 2020-06-16 | 深圳市华傲数据技术有限公司 | 数据清洗方法及装置 |
CN111506567A (zh) * | 2020-04-24 | 2020-08-07 | 苏州达家迎信息技术有限公司 | 数据的跨库清洗方法、装置、计算机设备及介质 |
CN111522806A (zh) * | 2020-04-26 | 2020-08-11 | 陈文海 | 大数据清洗处理方法、装置、服务器及可读存储介质 |
CN111639066A (zh) * | 2020-05-14 | 2020-09-08 | 杭州数梦工场科技有限公司 | 一种数据清洗的方法和装置 |
CN112069161A (zh) * | 2020-09-01 | 2020-12-11 | 上海佰贝科技发展股份有限公司 | 一种数据清洗方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106294492A (zh) * | 2015-06-08 | 2017-01-04 | 深圳中兴网信科技有限公司 | 数据清洗方法及清洗引擎 |
CN106326248A (zh) * | 2015-06-23 | 2017-01-11 | 阿里巴巴集团控股有限公司 | 数据库数据的存储方法和装置 |
CN107229662A (zh) * | 2016-03-25 | 2017-10-03 | 阿里巴巴集团控股有限公司 | 数据清洗方法和装置 |
CN107239581A (zh) * | 2017-07-07 | 2017-10-10 | 小草数语(北京)科技有限公司 | 数据清洗方法及装置 |
CN108563789A (zh) * | 2018-04-28 | 2018-09-21 | 成都致云科技有限公司 | 基于Spark框架的数据清洗方法和装置 |
-
2019
- 2019-07-30 CN CN201910692874.0A patent/CN110597793A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106294492A (zh) * | 2015-06-08 | 2017-01-04 | 深圳中兴网信科技有限公司 | 数据清洗方法及清洗引擎 |
CN106326248A (zh) * | 2015-06-23 | 2017-01-11 | 阿里巴巴集团控股有限公司 | 数据库数据的存储方法和装置 |
CN107229662A (zh) * | 2016-03-25 | 2017-10-03 | 阿里巴巴集团控股有限公司 | 数据清洗方法和装置 |
CN107239581A (zh) * | 2017-07-07 | 2017-10-10 | 小草数语(北京)科技有限公司 | 数据清洗方法及装置 |
CN108563789A (zh) * | 2018-04-28 | 2018-09-21 | 成都致云科技有限公司 | 基于Spark框架的数据清洗方法和装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111291029A (zh) * | 2020-01-17 | 2020-06-16 | 深圳市华傲数据技术有限公司 | 数据清洗方法及装置 |
WO2021143463A1 (zh) * | 2020-01-17 | 2021-07-22 | 深圳市华傲数据技术有限公司 | 数据清洗方法及装置 |
CN111291029B (zh) * | 2020-01-17 | 2024-03-08 | 深圳市华傲数据技术有限公司 | 数据清洗方法及装置 |
CN111506567A (zh) * | 2020-04-24 | 2020-08-07 | 苏州达家迎信息技术有限公司 | 数据的跨库清洗方法、装置、计算机设备及介质 |
CN111506567B (zh) * | 2020-04-24 | 2022-10-28 | 苏州达家迎信息技术有限公司 | 数据的跨库清洗方法、装置、计算机设备及介质 |
CN111522806A (zh) * | 2020-04-26 | 2020-08-11 | 陈文海 | 大数据清洗处理方法、装置、服务器及可读存储介质 |
CN111522806B (zh) * | 2020-04-26 | 2023-07-07 | 上海聚均科技有限公司 | 大数据清洗处理方法、装置、服务器及可读存储介质 |
CN111639066A (zh) * | 2020-05-14 | 2020-09-08 | 杭州数梦工场科技有限公司 | 一种数据清洗的方法和装置 |
CN112069161A (zh) * | 2020-09-01 | 2020-12-11 | 上海佰贝科技发展股份有限公司 | 一种数据清洗方法和装置 |
CN112069161B (zh) * | 2020-09-01 | 2023-11-03 | 上海佰贝科技发展股份有限公司 | 一种数据清洗方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110597793A (zh) | 数据管理方法及装置、电子设备和计算机可读存储介质 | |
CN108021316B (zh) | 一种消息展示的方法及装置 | |
CN106453511B (zh) | 一种数据备份方法及设备 | |
CN106506321B (zh) | 一种群消息处理方法及终端设备 | |
CN106203459B (zh) | 图片处理方法及装置 | |
CN104699973A (zh) | 一种问卷逻辑控制方法,及装置 | |
CN106911848B (zh) | 输出提示消息的方法与终端设备 | |
CN104516886A (zh) | 一种展现数据分析结果的方法、移动终端以及服务器 | |
CN108984066B (zh) | 一种应用程序图标显示方法及移动终端 | |
CN108151716A (zh) | 飞行装置测绘作业区域规划方法、装置和终端 | |
CN108322897B (zh) | 卡套餐组合方法及装置 | |
CN107291326A (zh) | 图标处理方法、及终端 | |
CN110798511B (zh) | 目标app的日活跃用户数量预测方法及计算机设备 | |
CN106502827A (zh) | 一种数据备份方法及设备 | |
CN109309755B (zh) | 移动终端和app显示的方法、装置 | |
CN106777383B (zh) | 文件排序方法及智能终端 | |
CN110708673A (zh) | 一种位置确定方法和便捷式多功能设备 | |
CN108804434B (zh) | 一种消息查询方法、服务器及终端设备 | |
CN115904179A (zh) | 一种多屏桌面分屏显示方法、装置、设备及存储介质 | |
CN107105087B (zh) | 消息播放方法、装置及计算机设备 | |
CN106506623B (zh) | 一种数据传输方法及设备 | |
CN107390857A (zh) | 一种温控的方法和设备以及移动终端 | |
CN107800880B (zh) | 显示未读消息个数的方法、设备、移动终端及存储介质 | |
CN110809234A (zh) | 一种人物类别识别方法和终端设备 | |
CN106896896B (zh) | 省电方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191220 |
|
RJ01 | Rejection of invention patent application after publication |