CN106156178A - 一种数据处理方法和设备 - Google Patents
一种数据处理方法和设备 Download PDFInfo
- Publication number
- CN106156178A CN106156178A CN201510185981.6A CN201510185981A CN106156178A CN 106156178 A CN106156178 A CN 106156178A CN 201510185981 A CN201510185981 A CN 201510185981A CN 106156178 A CN106156178 A CN 106156178A
- Authority
- CN
- China
- Prior art keywords
- data
- attribute
- combined
- application demand
- basic data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开一种数据处理方法和设备,该方法包括:按照应用需求对基础数据进行组合处理;根据应用需求调用所述基础数据经组合处理得到的数据。与现有技术相比,本申请中的基础数据为不具有捆绑关系数据,因此通过调用所述基础数据经组合处理得到的数据,就可以满足不需要一一对应关系数据的情况。在此,本申请实现了根据应用需求将各份独立的数据进行自由组合,满足实际的数据处理需要,便于调用,方便管理,节省资源。
Description
技术领域
本申请涉及计算机领域,尤其涉及一种数据处理方法和设备。
背景技术
现有的数据处理中,对象、属性及其数据都是按预设的规则捆绑进行存储和使用的。“捆绑”指的是一个对象固有的属性连在一起是一个整体,例如学生这个对象有性别、年龄、学号等属性组成一个整体。即一个对象有其对应的各种属性。一般来说,捆绑式出现的数据具有其很大的现实意义,各数据及其属性间需具有一一对应的关系。例如,商品对象,其属性包括:所属类目、价格、所属卖家、名称、所属spu(Standard Product Unit,标准化产品单元)等;店铺对象,其属性包括:主营类目、卖家id、名称、星级等。
对数据的各种属性的处理都是按预设的规则进行组合并做统一应用,当需要其中的某种属性的时候就从组合里取出,单独应用数据或者整体应用数据。但是对于很多情况来说,这种一一对应关系是不必要的,当应用者只需要其中的部分属性,并且想自由组合的时候,例如应用场景并不要求商品对象里各个属性都是真实对应的,就必须从商品对象里将其所对应的各个属性都拿出来再进行自由组合,而且此时由于商品对象间的属性可能会有重合,处理起来将会比较复杂,比如在验证某些系统逻辑正确性的时候,只需要有数据即可。显然,这种捆绑式的数据已经成为数据处理的一大瓶颈。
发明内容
本申请的目的是提供一种数据处理方法和设备。
根据本申请的一个方面,提供了一种数据处理方法,包括:
按照应用需求对基础数据进行组合处理;
根据应用需求调用所述基础数据经组合处理得到的数据。
根据本申请的一个方面,提供了一种数据处理设备,包括:
第一装置,用于按照应用需求对基础数据进行组合处理;
第二装置,用于根据应用需求调用所述基础数据经组合处理得到的数据。
与现有技术相比,本申请中的基础数据为不具有捆绑关系数据,因此通过调用所述基础数据经组合处理得到的数据,就可以满足不需要一一对应关系数据的情况。在此,本申请实现了根据应用需求将各份独立的数据进行自由组合,满足实际的数据处理需要,便于调用,方便管理,节省资源。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个方面的一种数据处理设备的设备示意图;
图2示出根据本申请另一个方面的一种数据处理设备的设备示意图;
图3示出根据本申请一个方面的一种数据处理方法的流程示意图;
图4示出根据本申请另一个方面的一种数据处理方法的流程示意图;
图5示出根据本申请再一个方面的一种数据处理方法的流程示意图;
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
图1示出根据本申请一个方面的一种数据处理设备的设备示意图。本申请的数据处理设备1包括:
第一装置11,用于按照应用需求对基础数据进行组合处理;
第二装置12,用于根据应用需求调用所述基础数据经组合处理得到的数据。
在此,基础数据是指拆分数据的捆绑关系或者对应关系后形成的独立数据,例如经拆分对象后而由该对象的各个属性归类所形成的各份独立的数据。第二装置12的作用为:当应用进行调用时,只要输入应用需求的格式、数据及其个数,即可获取符合应用需求的数据,实现根据应用需求通过第二装置12对组合处理后的基础数据进行调用。例如,商品为对象,应用需求为获取商品对象的各个标识(ID),以进行后续的网站数据统计分析处理。当应用通过第二装置12调用数据时,应用输入为:“商品ID,逗号,4”。表示应用需求为:“需要4个商品ID,各商品的ID以逗号分隔”,根据该应用输入,第二装置12的相应返回为:“商品ID1,商品ID2,商品ID3,商品ID4”。
具体地,所述第一装置101包括:
第四单元114,用于对属性集合中的数据按照属性与属性的关系进行组合;
或者,第五单元115,用于对对象集合中的数据按照对象与对象的关系进行组合;
或者,第六单元116,用于对属性集合和对象集合中的数据按照属性与对象的关系进行组合。
在此,对属性集合中的数据按照属性与属性的关系进行组合是指按照应用需求,从属性集合中获取所需数目的数据,按照应用需求的格式进行拼装。对对象集合中的数据按照对象与对象的关系进行组合是指按照应用需求,从对象集合中获取所需数目的数据,按照应用需求的格式进行拼装。对属性集合和对象集合中的数据按照属性与对象的关系进行组合是指按照应用需求,分别从不同的属性集合和对象集合中获取所需数目的数据,按照应用需求的格式进行拼装,例如从一个属性集合和一个对象集合中获取数据,按照应用需求的格式进行两两拼装。第一装置11通过第四单元114、第五单元115或第六单元116对基础数据进行组合后,供第二装置12进行调用,从而实现根据应用需求将各份独立的数据进行自由组合,便于应用调用而且方便管理。
可选地,该数据处理设备1还包括:
第四装置14,用于对数据进行拆分处理得到所述基础数据。
具体地,所述第四装置14包括:
第一单元141,用于获取对象所对应的属性;
第二单元142,用于对所述属性进行归类处理;
第三单元143,用于对经所述归类处理的属性进行去重处理。
在此,获取对象所对应的属性是指将各个对象拆分,获取到相应的属性。对所述属性进行归类处理是指将对象拆分后的若干属性,按照相同类别的属性归为一类的方式进行归类,使原来的各个单独的属性按照类别形成与对象同一级别的数据。对经所述归类处理的属性进行去重处理是指对于归类处理后的、在同一类别的属性进行去重,从而保证每个属性的唯一性。例如,对象为商品,商品的属性包括:类目、spu、所属卖家等。类目对应类目ID数据,spu对应spuID数据,所属卖家对应所属卖家ID数据。每个商品都有其对应的类目ID、spuID、所属卖家ID。对于商品这一对象拆分时,按照属性的类别进行归类,即拆分后类目ID归为一类,spuID归为一类,所属卖家ID归为一类。当商品对象的属性被拆分出来后,商品对象也形成一个单独的类别。最后形成了商品集合、类目集合、spu集合和卖家集合,这四个集合都是相对独立的,相互间没有所属关系或捆绑关系。第四装置14将拆分获得的基础数据提供给第一装置11进行组合。
可选地,该数据处理设备还包括:
第五装置15,用于对所述基础数据进行更新。
在此,对所述基础数据进行更新是指对经过拆分处理后所形成的基础数据按类进行更新。拆分处理需要进行归类处理和去重处理,对拆分处理所形成的基础数据进行按类并行更新,可以大为提高数据更新效率。现有技术中,基于数据的捆绑关系,造成了数据更新时,需要沿对象、属性、数据的顺序进行更新,造成重复计算、浪费资源的问题。例如,当对商品这一对象的所有属性进行更新时,需要对每一对象逐步更新,因为无法提前知道哪些属性已经在某些商品对象里做了更新,并且每次更新都需要先从对象里单独取出每一个属性再做更新。对于海量数据中存在大量对象的情况,这种更新方式更加耗费计算资源和时间。然而通过拆分处理将对象拆分成一个个单独属性后,可以先去重,保证每个属性的唯一性,更新的时候对每个属性做并行更新,能够大为提高数据更新效率。
图2示出根据本申请另一个方面的一种数据处理设备的设备示意图。本申请的数据处理设备1包括:
第一装置11,用于按照应用需求对基础数据进行组合处理;
第二装置12,用于根据应用需求调用所述基础数据经组合处理得到的数据;
第三装置13,用于对所述基础数据进行组合处理得到对应的中间数据;
其中,第一装置11,还用于按照应用需求对所述基础数据及所述中间数据进行组合处理;
其中,第二装置12,还用于根据应用需求调用所述基础数据及所述中间数据经组合处理得到的数据。
在此,基础数据是指拆分数据的捆绑关系或者对应关系后形成的独立数据,例如经拆分对象后而由该对象的各个属性归类所形成的各份独立的数据;中间数据是指为了满足应用复杂需求,对基础数据进行进一步组合处理而形成的数据,例如,将属性与对象进行组合处理而得到的数据。可以根据应用需求通过第二装置12对组合处理后的数据进行调用。当应用需要调用数据时,只要向第二装置12输入应用需求的格式、数据及其个数,第二装置12相应返回基础数据和中间数据经过组合处理得到的数据,或者,第二装置12相应返回基础数据经组合处理得到的数据。例如,应用需求需调用对象与属性进行组合处理而得到的数据,以进行后续网络数据统计分析处理。对象为商品,商品的属性包括类目、spu、所属卖家等。应用输入:“类目ID,商品ID,冒号,逗号,分号,1,{2,3},2”,第二装置12相应的返回为:“类目ID1:商品ID1,商品ID2;类目ID2:商品ID3,商品ID4,商品ID5;”。从而符合了应用需求:“类目和商品按格式组装,组合的数据需要2个,组合之间以分号分隔,单类目对应多商品,第一个类目对应两个商品,第二个类目对应3个商品,类目与商品间冒号分隔,商品之间逗号分隔”。
具体地,所述第一装置11包括:
第四单元114,用于对属性集合中的数据按照属性与属性的关系进行组合;
或者,第五单元115,用于对对象集合中的数据按照对象与对象的关系进行组合;
或者,第六单元116,用于对属性集合和对象集合中的数据按照属性与对象的关系进行组合。
在此,对属性集合中的数据按照属性与属性的关系进行组合是指按照应用需求,从属性集合中获取所需数目的数据,按照应用需求的格式进行拼装。对对象集合中的数据按照对象与对象的关系进行组合是指按照应用需求,从对象集合中获取所需数目的数据,按照应用需求的格式进行拼装。对属性集合和对象集合中的数据按照属性与对象的关系进行组合是指按照应用需求,分别从不同的属性集合和对象集合中获取所需数目的数据,按照应用需求的格式进行拼装,例如从一个属性集合和一个对象集合中获取数据,按照应用需求的格式进行两两拼装。第一装置11通过第四单元114、第五单元115或第六单元116对数据进行组合后,供第二装置12进行调用,从而实现根据应用需求将各份独立的数据进行自由组合,便于应用调用而且方便管理。
可选地,该数据处理设备还包括:
第四装置14,用于对数据进行拆分处理得到所述基础数据。
具体地,所述第四装置包括:
第一单元141,用于获取对象所对应的属性;
第二单元142,用于对所述属性进行归类处理;
第三单元143,用于对经所述归类处理的属性进行去重处理。
在此,获取对象所对应的属性是指将各个对象拆分,获取到相应的属性。对所述属性进行归类处理是指将对象拆分后的若干属性,按照相同类别的属性归为一类的方式进行归类,使原来的各个单独的属性按照类别形成与对象同一级别的数据。对经所述归类处理的属性进行去重处理是指对于归类处理后的、在同一类别的属性进行去重,从而保证每个属性的唯一性。例如,对象为商品,商品的属性包括:类目、spu、所属卖家等。类目对应类目ID数据,spu对应spuID数据,所属卖家对应所属卖家ID数据。每个商品都有其对应的类目ID、spuID、所属卖家ID。对于商品这一对象拆分时,按照属性的类别进行归类,即拆分后类目ID归为一类,spuID归为一类,所属卖家ID归为一类。当商品对象的属性被拆分出来后,商品对象也形成一个单独的类别。最后形成了商品集合、类目集合、spu集合和卖家集合,这四个集合都是相对独立的,相互间没有所属关系或捆绑关系。对于归类处理后的数据进行去重,例如对于重复的类目ID,spuID,卖家ID进行去重。第四装置14将去重处理后的基础数据提供给第一装置11进行组合,或者,通过第三装置13得到中间数据后再提供给第一装置11进行组合。
可选地,该数据处理设备还包括:
第五装置15,用于对所述基础数据进行更新。
在此,对所述基础数据进行更新是指对经过拆分处理后所形成的基础数据按类进行更新。拆分处理需要进行归类处理和去重处理,对拆分处理所形成的基础数据进行按类并行更新,可以大为提高数据更新效率。现有技术中,基于数据的捆绑关系,造成了数据更新时,需要沿对象、属性、数据的顺序进行更新,造成重复计算、浪费资源的问题。例如,当对商品这一对象的所有属性进行更新时,需要对每一对象逐步更新,因为无法提前知道哪些属性已经在某些商品对象里做了更新,并且每次更新都需要先从对象里单独取出每一个属性再做更新。对于海量数据中存在大量对象的情况,这种更新方式更加耗费计算资源和时间。然而通过拆分处理将对象拆分成一个个单独属性后,可以先去重,保证每个属性的唯一性,更新的时候对每个属性做并行更新,能够大为提高数据更新效率。
可选地,该数据处理设备还包括:
第六装置16,用于当应用需求仅需要属性时,根据应用需求调用所述基础数据。
在此,当应用需求较为简单,仅需要属性时,不必对基础数据进行组合,直接调用基础数据即可,避免了不必要的计算,提高了系统运行效率。
图3示出根据本申请一个方面的一种数据处理方法的流程示意图。该数据处理方法包括:
步骤S301,按照应用需求对基础数据进行组合处理;
步骤S302,根据应用需求调用所述基础数据经组合处理得到的数据。
在此,基础数据是指拆分数据的捆绑关系或者对应关系后形成的独立数据,例如经拆分对象后而由该对象的各个属性归类所形成的各份独立的数据。步骤S302中,当应用进行调用时,只要输入应用需求的格式、数据及其个数,即可获取符合应用需求的数据。例如,商品为对象,应用需求为获取商品对象的各个标识(ID),以进行后续的网络数据统计分析处理。当应用调用数据时,应用输入为:“商品ID,逗号,4”。表示应用需求为:“需要4个商品ID,各商品的ID以逗号分隔”,根据该应用输入,相应返回为:“商品ID1,商品ID2,商品ID3,商品ID4”。
具体地,所述组合处理包括:
步骤S3011,对属性集合中的数据按照属性与属性的关系进行组合;
或者,步骤S3012,对对象集合中的数据按照对象与对象的关系进行组合;
或者,步骤S3013,对属性集合和对象集合中的数据按照属性与对象的关系进行组合。
在此,对属性集合中的数据按照属性与属性的关系进行组合是指按照应用需求,从属性集合中获取所需数目的数据,按照应用需求的格式进行拼装。对对象集合中的数据按照对象与对象的关系进行组合是指按照应用需求,从对象集合中获取所需数目的数据,按照应用需求的格式进行拼装。对属性集合和对象集合中的数据按照属性与对象的关系进行组合是指按照应用需求,分别从不同的属性集合和对象集合中获取所需数目的数据,按照应用需求的格式进行拼装,例如从一个属性集合和一个对象集合中获取数据,按照应用需求的格式进行两两拼装。对基础数据进行组合后,根据应用需求进行调用,从而实现根据应用需求将各份独立的数据进行自由组合,便于应用调用而且方便管理。
可选地,在步骤S301、按照应用需求对基础数据进行组合处理之前,该数据处理方法还包括:
步骤S303,对数据进行拆分处理得到所述基础数据。
具体地,拆分处理包括:
步骤S3031,获取对象所对应的属性;
步骤S3032,对所述属性进行归类处理;
步骤S3033,对经所述归类处理的属性进行去重处理。
在此,获取对象所对应的属性是指将各个对象拆分,获取到相应的属性。对所述属性进行归类处理是指将对象拆分后的若干属性,按照相同类别的属性归为一类的方式进行归类,使原来的各个单独的属性按照类别形成与对象同一级别的数据。对经所述归类处理的属性进行去重处理是指对于归类处理后的、在同一类别的属性进行去重,从而保证每个属性的唯一性。例如,对象为商品,商品的属性包括:类目、spu、所属卖家等。类目对应类目ID数据,spu对应spuID数据,所属卖家对应所属卖家ID数据。每个商品都有其对应的类目ID、spuID、所属卖家ID。对于商品这一对象拆分时,按照属性的类别进行归类,即拆分后类目ID归为一类,spuID归为一类,所属卖家ID归为一类。当商品对象的属性被拆分出来后,商品对象也形成一个单独的类别。最后形成了商品集合、类目集合、spu集合和卖家集合,这四个集合都是相对独立的,相互间没有所属关系或捆绑关系。
可选地,在对数据进行拆分处理得到所述基础数据之后,该数据处理方法还包括:
步骤S304,对所述基础数据进行更新。
在此,对所述基础数据进行更新是指对经过拆分处理后所形成的基础数据按类进行更新。拆分处理需要进行归类处理和去重处理,对拆分处理所形成的基础数据进行按类并行更新,可以大为提高数据更新效率。现有技术中,基于数据的捆绑关系,造成了数据更新时,需要沿对象、属性、数据的顺序进行更新,造成重复计算、浪费资源的问题。例如,当对商品这一对象的所有属性进行更新时,需要对每一对象逐步更新,因为无法提前知道哪些属性已经在某些商品对象里做了更新,并且每次更新都需要先从对象里单独取出每一个属性再做更新。对于海量数据中存在大量对象的情况,这种更新方式更加耗费计算资源和时间。然而通过拆分处理将对象拆分成一个个单独属性后,可以先去重,保证每个属性的唯一性,更新的时候对每个属性做并行更新,能够大为提高数据更新效率。
图4示出根据本申请另一个方面的一种数据处理方法的流程示意图。本申请的数据处理方法包括:
步骤S401,对所述基础数据进行组合处理得到对应的中间数据。
步骤S402,按照应用需求对所述基础数据及所述中间数据进行组合处理。
步骤S403,根据应用需求调用所述基础数据及所述中间数据经组合处理得到的数据。
在此,基础数据是指拆分数据的捆绑关系或者对应关系后形成的独立数据,例如经拆分对象后而由该对象的各个属性归类所形成的各份独立的数据;中间数据是指为了满足应用复杂需求,对基础数据进行进一步组合处理而形成的数据,例如,将属性与对象进行组合处理而得到的数据。可以根据应用需求对组合处理后的数据进行调用。当应用需要调用数据时,只要输入应用需求的格式、数据及其个数,相应返回基础数据和中间数据经过组合处理得到的数据。例如,应用需调用对象与属性进行组合处理而得到的数据,对象为商品,商品的属性包括类目、spu、所属卖家等。应用输入:“类目ID,商品ID,冒号,逗号,分号,1,{2,3},2”,相应的返回为:“类目ID1:商品ID1,商品ID2;类目ID2:商品ID3,商品ID4,商品ID5;”。从而符合了应用需求:“类目和商品按格式组装,组合的数据需要2个,组合之间以分号分隔,单类目对应多商品,第一个类目对应两个商品,第二个类目对应3个商品,类目与商品间冒号分隔,商品之间逗号分隔”。
具体地,所述组合处理包括:
对属性集合中的数据按照属性与属性的关系进行组合;
或者,对对象集合中的数据按照对象与对象的关系进行组合;
或者,对属性集合和对象集合中的数据按照属性与对象的关系进行组合。
在此,对属性集合中的数据按照属性与属性的关系进行组合是指按照应用需求,从属性集合中获取所需数目的数据,按照应用需求的格式进行拼装。对对象集合中的数据按照对象与对象的关系进行组合是指按照应用需求,从对象集合中获取所需数目的数据,按照应用需求的格式进行拼装。对属性集合和对象集合中的数据按照属性与对象的关系进行组合是指按照应用需求,分别从不同的属性集合和对象集合中获取所需数目的数据,按照应用需求的格式进行拼装,例如从一个属性集合和一个对象集合中获取数据,按照应用需求的格式进行两两拼装。对基础数据及中间数据进行组合后,根据应用需求进行调用,从而实现根据应用需求将各份独立的数据进行更加自由地组合,便于应用调用而且方便管理。
可选地,在步骤S401、对所述基础数据进行组合处理得到对应的中间数据之前,该数据处理方法还包括:
步骤S404,对数据进行拆分处理得到所述基础数据。
具体地,拆分处理包括:
步骤S4041,获取对象所对应的属性;
步骤S4042,对所述属性进行归类处理;
步骤S4043,对经所述归类处理的属性进行去重处理。
在此,获取对象所对应的属性是指将各个对象拆分,获取到相应的属性。对所述属性进行归类处理是指将对象拆分后的若干属性,按照相同类别的属性归为一类的方式进行归类,使原来的各个单独的属性按照类别形成与对象同一级别的数据。对经所述归类处理的属性进行去重处理是指对于归类处理后的、在同一类别的属性进行去重,从而保证每个属性的唯一性。例如,对象为商品,商品的属性包括:类目、spu、所属卖家等。类目对应类目ID数据,spu对应spuID数据,所属卖家对应所属卖家ID数据。每个商品都有其对应的类目ID、spuID、所属卖家ID。对于商品这一对象拆分时,按照属性的类别进行归类,即拆分后类目ID归为一类,spuID归为一类,所属卖家ID归为一类。当商品对象的属性被拆分出来后,商品对象也形成一个单独的类别。最后形成了商品集合、类目集合、spu集合和卖家集合,这四个集合都是相对独立的,相互间没有所属关系或捆绑关系。
可选地,在步骤S404、对数据进行拆分处理得到所述基础数据之后,该数据处理方法还包括:
步骤S405,对所述基础数据进行更新。
在此,对所述基础数据进行更新是指对经过拆分处理后所形成的基础数据按类进行更新。拆分处理需要进行归类处理和去重处理,对拆分处理所形成的基础数据进行按类并行更新,可以大为提高数据更新效率。现有技术中,基于数据的捆绑关系,造成了数据更新时,需要沿对象、属性、数据的顺序进行更新,造成重复计算、浪费资源的问题。例如,当对商品这一对象的所有属性进行更新时,需要对每一对象逐步更新,因为无法提前知道哪些属性已经在某些商品对象里做了更新,并且每次更新都需要先从对象里单独取出每一个属性再做更新。对于海量数据中存在大量对象的情况,这种更新方式更加耗费计算资源和时间。然而通过拆分处理将对象拆分成一个个单独属性后,可以先去重,保证每个属性的唯一性,更新的时候对每个属性做并行更新,能够大为提高数据更新效率。
可选地,在步骤S404、对数据进行拆分处理得到所述基础数据之后,该数据处理方法还包括:
步骤S406,当应用需求仅需要属性时,根据应用需求调用所述基础数据。
在此,当应用需求较为简单,仅需要属性时,不必对基础数据进行组合,直接调用基础数据即可,避免了不必要的计算,提高了系统运行效率。
图5示出根据本申请再一个方面的一种数据处理方法的流程示意图。该数据处理方法包括:
步骤S501、对数据进行拆分处理得到所述基础数据。
步骤S502、对所述基础数据进行组合处理得到对应的中间数据;
步骤S503、按照应用需求对所述基础数据及所述中间数据进行组合处理;
步骤S504、根据应用需求调用所述基础数据及所述中间数据经组合处理得到的数据。
具体地,所述拆分处理包括:
获取对象所对应的属性;
对所述属性进行归类处理;
对经所述归类处理的属性进行去重处理。
具体地,所述组合处理包括:
对属性集合中的数据按照属性与属性的关系进行组合;
或者,对对象集合中的数据按照对象与对象的关系进行组合;
或者,对属性集合和对象集合中的数据按照属性与对象的关系进行组合。
在此,例如针对商品对象,商品的属性包括:类目、spu、所属卖家等。每个商品都有其对应的类目ID、spuID、所属卖家ID。对于商品这一对象拆分时,按照属性的类别进行归类,即拆分后类目ID归为一类,spuID归为一类,所属卖家ID归为一类。当商品对象的属性被拆分出来后,商品对象也形成一个单独的类别。最后形成了商品集合、类目集合、spu集合和卖家集合,这四个集合都是相对独立的,相互间没有所属关系或捆绑关系。当应用需调用对象与属性进行组合处理而得到的数据时,应用输入:“类目ID,商品ID,冒号,逗号,分号,1,{2,3},2”,相应的返回为:“类目ID1:商品ID1,商品ID2;类目ID2:商品ID3,商品ID4,商品ID5;”。从而符合了应用需求:“类目和商品按格式组装,组合的数据需要2个,组合之间以分号分隔,单类目对应多商品,第一个类目对应两个商品,第二个类目对应3个商品,类目与商品间冒号分隔,商品之间逗号分隔”。
可选地,在步骤S501、对数据进行拆分处理得到所述基础数据之后,该数据处理方法还包括:
步骤S505、对所述基础数据进行更新。
可选地,在步骤S501、对数据进行拆分处理得到所述基础数据之后,该数据处理方法还包括:
步骤S506、当应用需求仅需要属性时,根据应用需求调用所述基础数据。
在此,例如类目属性,应用需求为获取类目属性的各个标识,应用输入为:“类目ID,逗号,4”。表示应用需求为:“需要4个类目ID,各类目的ID以逗号分隔”,根据该应用输入,相应返回为:“类目ID1,类目ID2,类目ID3,类目ID4”。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
Claims (14)
1.一种数据处理方法,其中,该方法包括:
按照应用需求对基础数据进行组合处理;
根据应用需求调用所述基础数据经组合处理得到的数据。
2.根据权利要求1所述的方法,其中,该方法还包括:
对所述基础数据进行组合处理得到对应的中间数据;
其中,所述按照应用需求对基础数据进行组合处理包括:
按照应用需求对所述基础数据及所述中间数据进行组合处理;
其中,所述根据应用需求调用所述基础数据经组合处理得到的数据包括:
根据应用需求调用所述基础数据及所述中间数据经组合处理得到的数据。
3.根据权利要求1或2所述的方法,其中,该方法还包括:
对数据进行拆分处理得到所述基础数据。
4.根据权利要求3所述的方法,其中,所述拆分处理包括:
获取对象所对应的属性;
对所述属性进行归类处理;
对经所述归类处理的属性进行去重处理。
5.根据权利要求1至4中任一项所述的方法,其中,所述组合处理包括:
对属性集合中的数据按照属性与属性的关系进行组合;
或者,对对象集合中的数据按照对象与对象的关系进行组合;
或者,对属性集合和对象集合中的数据按照属性与对象的关系进行组合。
6.根据权利要求1至5中任一项所述的方法,其中,该方法还包括:
对所述基础数据进行更新。
7.根据权利要求1至6中任一项所述的方法,其中,该方法还包括:
当应用需求仅需要属性时,根据应用需求调用所述基础数据。
8.一种数据处理设备,其中,该设备包括:
第一装置,用于按照应用需求对基础数据进行组合处理;
第二装置,用于根据应用需求调用所述基础数据经组合处理得到的数据。
9.根据权利要求8所述的设备,其中,该设备还包括:
第三装置,用于对所述基础数据进行组合处理得到对应的中间数据;
其中,所述第一装置还用于:按照应用需求对所述基础数据及所述中间数据进行组合处理;
其中,所述第二装置还用于:根据应用需求调用所述基础数据及所述中间数据经组合处理得到的数据。
10.根据权利要求8或9所述的设备,其中,该设备还包括:
第四装置,用于对数据进行拆分处理得到所述基础数据。
11.根据权利要求10所述的设备,其中,所述第四装置包括:
第一单元,用于获取对象所对应的属性;
第二单元,用于对所述属性进行归类处理;
第三单元,用于对经所述归类处理的属性进行去重处理。
12.根据权利要求8至11中任一项所述的设备,其中,所述第一装置包括:
第四单元,用于对属性集合中的数据按照属性与属性的关系进行组合;
或者,第五单元,用于对对象集合中的数据按照对象与对象的关系进行组合;
或者,第六单元,用于对属性集合和对象集合中的数据按照属性与对象的关系进行组合。
13.根据权利要求8至12中任一项所述的设备,其中,该设备还包括:
第五装置,用于对所述基础数据进行更新。
14.根据权利要求8至13中任一项所述的设备,其中,该设备还包括:
第六装置,用于当应用需求仅需要属性时,根据应用需求调用所述基础数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510185981.6A CN106156178A (zh) | 2015-04-17 | 2015-04-17 | 一种数据处理方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510185981.6A CN106156178A (zh) | 2015-04-17 | 2015-04-17 | 一种数据处理方法和设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106156178A true CN106156178A (zh) | 2016-11-23 |
Family
ID=58058483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510185981.6A Pending CN106156178A (zh) | 2015-04-17 | 2015-04-17 | 一种数据处理方法和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106156178A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1464436A (zh) * | 2002-06-26 | 2003-12-31 | 联想(北京)有限公司 | 嵌入式系统的数据存放及其查找组合方法 |
CN102354277A (zh) * | 2011-09-20 | 2012-02-15 | 中国民生银行股份有限公司 | 数据存储方法和装置 |
CN102663627A (zh) * | 2012-04-26 | 2012-09-12 | 焦点科技股份有限公司 | 个性化推荐方法 |
CN102946319A (zh) * | 2012-09-29 | 2013-02-27 | 焦点科技股份有限公司 | 网络用户行为信息分析系统及其分析方法 |
-
2015
- 2015-04-17 CN CN201510185981.6A patent/CN106156178A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1464436A (zh) * | 2002-06-26 | 2003-12-31 | 联想(北京)有限公司 | 嵌入式系统的数据存放及其查找组合方法 |
CN102354277A (zh) * | 2011-09-20 | 2012-02-15 | 中国民生银行股份有限公司 | 数据存储方法和装置 |
CN102663627A (zh) * | 2012-04-26 | 2012-09-12 | 焦点科技股份有限公司 | 个性化推荐方法 |
CN102946319A (zh) * | 2012-09-29 | 2013-02-27 | 焦点科技股份有限公司 | 网络用户行为信息分析系统及其分析方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107832407B (zh) | 用于生成知识图谱的信息处理方法、装置和可读存储介质 | |
US10402427B2 (en) | System and method for analyzing result of clustering massive data | |
US9466041B2 (en) | User selected flow graph modification | |
Ortmann et al. | Efficient orbit-aware triad and quad census in directed and undirected graphs | |
CN111046237A (zh) | 用户行为数据处理方法、装置、电子设备及可读介质 | |
CN102591855A (zh) | 一种数据标识方法及系统 | |
CN107832323B (zh) | 一种基于图数据库的分布式实现系统及方法 | |
CN110750530B (zh) | 一种业务系统及其数据核对方法 | |
US20150317336A1 (en) | Data reconstruction | |
CN107391533A (zh) | 生成图形数据库查询结果的方法及装置 | |
CN111506613A (zh) | 一种数据记录的关联关系的查询方法、系统、装置及设备 | |
CN108694664A (zh) | 业务系统的核对方法及装置、电子设备 | |
CN106886510B (zh) | 一种图表显示的方法及装置 | |
CN110020333A (zh) | 数据分析方法及装置、电子设备、存储介质 | |
US20210349920A1 (en) | Method and apparatus for outputting information | |
CN113094414B (zh) | 流转图谱生成方法及装置 | |
CN109901991A (zh) | 一种分析异常调用的方法、装置和电子设备 | |
CN109582476A (zh) | 数据处理方法、装置及系统 | |
CN107766230A (zh) | 一种基于配置文件进行测试的方法与设备 | |
US9286348B2 (en) | Dynamic search system | |
CN116186337A (zh) | 一种业务场景数据处理方法、系统及电子设备 | |
US9760655B2 (en) | Systems and methods for discovering temporal patterns in time variant bipartite graphs | |
Kılıç et al. | A cluster based system for analyzing ethereum blockchain transaction data | |
CN106156178A (zh) | 一种数据处理方法和设备 | |
CN108710658A (zh) | 一种数据记录的存储方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161123 |
|
RJ01 | Rejection of invention patent application after publication |