CN110888871B - 基于嵌套对象的数据存储方法、装置及计算机设备 - Google Patents

基于嵌套对象的数据存储方法、装置及计算机设备 Download PDF

Info

Publication number
CN110888871B
CN110888871B CN201910969438.3A CN201910969438A CN110888871B CN 110888871 B CN110888871 B CN 110888871B CN 201910969438 A CN201910969438 A CN 201910969438A CN 110888871 B CN110888871 B CN 110888871B
Authority
CN
China
Prior art keywords
image data
data set
nested
nested object
identification code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910969438.3A
Other languages
English (en)
Other versions
CN110888871A (zh
Inventor
邓煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN201910969438.3A priority Critical patent/CN110888871B/zh
Publication of CN110888871A publication Critical patent/CN110888871A/zh
Application granted granted Critical
Publication of CN110888871B publication Critical patent/CN110888871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了基于嵌套对象的数据存储方法、装置、计算机设备及存储介质。该方法包括接收第一数据集,根据第一数据集构建对应的第一画像数据集;将第一画像数据集中每一条画像数据存储至各自对应的嵌套对象中;其中,第一数据集中每一条数据的第一主键为用户唯一识别码;接收第二数据集,根据第二数据集构建对应的第二画像数据集;其中,第二数据集每一条数据的第二主键为汽车唯一识别信息;根据第二画像数据集中每一画像数据对应的第二主键搜索对应的嵌套对象;以及将第二画像数据集每一画像数据存储至对应的嵌套对象中。该方法实现了由嵌套对象存储同一用户的多类画像数据,不仅提高了了数据存储效率,而且便于用户查询,确保了数据查询效率。

Description

基于嵌套对象的数据存储方法、装置及计算机设备
技术领域
本发明涉及数据存储技术领域,尤其涉及一种基于嵌套对象的数据存储方法、装置、计算机设备及存储介质。
背景技术
目前,服务器在获取了海量用户数据并分析得到了用户画像数据后,在服务器中存储画像数据时,如人、车这种一对多的复杂关系,会采用数组的方式进行存储,存储后一般采用多索引联合查询。但采用上述方式存储,不仅存储效率低下,而且降低了查询效率。
发明内容
本发明实施例提供了一种基于嵌套对象的数据存储方法、装置、计算机设备及存储介质,旨在解决现有技术中存储用户画像数据时采用数组的方式进行存储,存储后一般采用多索引联合查询,导致存储效率低下,而且降低了查询效率的问题。
第一方面,本发明实施例提供了一种基于嵌套对象的数据存储方法,其包括:
接收第一数据集,根据所述第一数据集构建对应的第一画像数据集;其中,所述第一数据集中包括多条以用户唯一识别码为第一主键的用户信息数据;
将所述第一画像数据集中每一条画像数据存储至各自对应的嵌套对象中;
接收第二数据集,根据所述第二数据集构建对应的第二画像数据集;其中,所述第二数据集中包括多条以汽车唯一识别信息为第二主键的车辆信息;
根据所述第二画像数据集中每一画像数据对应的第二主键搜索对应的嵌套对象;以及
将所述第二画像数据集每一画像数据存储至对应的嵌套对象中。
第二方面,本发明实施例提供了一种基于嵌套对象的数据存储装置,其包括:
第一画像数据集获取单元,用于接收第一数据集,根据所述第一数据集构建对应的第一画像数据集;其中,所述第一数据集中包括多条以用户唯一识别码为第一主键的用户信息数据;
第一嵌套存储单元,用于将所述第一画像数据集中每一条画像数据存储至各自对应的嵌套对象中;
第二画像数据集获取单元,用于接收第二数据集,根据所述第二数据集构建对应的第二画像数据集;其中,所述第二数据集中包括多条以汽车唯一识别信息为第二主键的车辆信息;
嵌套对象定位单元,用于根据所述第二画像数据集中每一画像数据对应的第二主键搜索对应的嵌套对象;以及
第二嵌套存储单元,用于将所述第二画像数据集每一画像数据存储至对应的嵌套对象中。
第三方面,本发明实施例又提供了一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的基于嵌套对象的数据存储方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其中所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于嵌套对象的数据存储方法。
本发明实施例提供了一种基于嵌套对象的数据存储方法、装置、计算机设备及存储介质,将第一数据集中对应的用户信息数据及第二数据集中对应的车辆信息,存储在根据第一画像数据集中每一条画像数对应建立的嵌套对象中,实现了由嵌套对象存储同一用户的多类画像数据,不仅提高了了数据存储效率,而且便于用户查询,确保了数据查询效率。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于嵌套对象的数据存储方法的应用场景示意图;
图2为本发明实施例提供的基于嵌套对象的数据存储方法的流程示意图;
图3为本发明实施例提供的基于嵌套对象的数据存储方法的子流程示意图;
图4为本发明实施例提供的基于嵌套对象的数据存储方法的另一子流程示意图;
图5为本发明实施例提供的基于嵌套对象的数据存储方法的另一子流程示意图;
图6为本发明实施例提供的基于嵌套对象的数据存储方法的另一子流程示意图;
图7为本发明实施例提供的基于嵌套对象的数据存储装置的示意性框图;
图8为本发明实施例提供的基于嵌套对象的数据存储装置的子单元示意性框图;
图9为本发明实施例提供的基于嵌套对象的数据存储装置的另一子单元示意性框图;
图10为本发明实施例提供的基于嵌套对象的数据存储装置的另一子单元示意性框图;
图11为本发明实施例提供的基于嵌套对象的数据存储装置的另一子单元示意性框图;
图12为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1和图2,图1为本发明实施例提供的基于嵌套对象的数据存储方法的应用场景示意图;图2为本发明实施例提供的基于嵌套对象的数据存储方法的流程示意图,该基于嵌套对象的数据存储方法应用于服务器中,该方法通过安装于服务器中的应用软件进行执行。
如图2所示,该方法包括步骤S110~S150。
S110、接收第一数据集,根据所述第一数据集构建对应的第一画像数据集;其中,所述第一数据集中包括多条以用户唯一识别码为第一主键的用户信息数据。
在本实施例中,当服务器接收了上传端上传的第一数据集后,可以根据第一数据集中每一条数据对应构建用户画像。例如,第一数据集中的一条数据如下表1:
表1
在一实施例中,如图3所示,步骤S110包括:
S111、在预先构建的标签库中获取与第一数据集中每一条数据中各字段对应的标签转化策略;
S112、根据第一数据集中每一条数据中各字段对应的标签转化策略,将第一数据集中每一条数据中各字段对应转化为标签;
S113、由第一数据集中每一条数据中各字段对应转化的标签,组成与第一数据集中各条数据对应的画像数据,由各条数据对应的画像数据组成第一画像数据集。
在本实施例中,将第一数据集中的定性信息转化为定量分类是用户画像的一个重要工作环节,具有较高的业务场景要求。其主要目的是帮助企业将复杂数据简单化,将业务数据定性进行归类。
例如在设置标签转化策略时,可以将用户按照年龄区间分为学生,青年,中青年,中年,中老年,老年等人生阶段。源于各人生阶段的汽车需求不同,在寻找目标客户时,可以通过人生阶段进行目标客户定位。企业可以利用客户的收入、学历、资产等情况将客户分为低、中、高端客户,并依据其汽车服务需求,提供不同的售后服务。转化完成后,服务器先对所述第一数据集中的每一条数据进行缓存,以便于后续存储至嵌套对象中。
S120、将所述第一画像数据集中每一条画像数据存储至各自对应的嵌套对象中。
在本实施例中,当根据第一数据集对应构建第一画像数据集之后,将第一画像数据集中每一条画像数据存储至各自对应的嵌套对象中。其中嵌套对象为Elasticsearch的嵌套对象(Elasticsearch简记为ES,ES中的嵌套对象即nested对象),ElasticSearch是一个基于Lucene的搜索服务器,它提供了一个分布式多用户能力的全文搜索引擎。
在一实施例中,如图4所示,步骤S120包括:
S121、获取所述第一画像数据集中用户唯一识别码的第一总个数,构建与所述第一总个数有相同个数的嵌套对象;
S122、将所述第一画像数据集中与每一用户唯一识别码对应的画像数据存储至对应的嵌套对象中;其中,每一嵌套对象中存储的画像数据均对应唯一的一个用户唯一识别码。
在本实施例中,例如通过嵌套对象A存储第一画像数据集中的一条画像数据如下:
{
{<1>
“comment.label1”:[90后],
“comment.label2”:[律师],
“comment.label3”:[宝马],
}
{<2>
“comment.ID name”:[YY],
“comment.ID number”:[XXXXXXXXXXXXXXXXXX],
}
}
其中,上述嵌套对象A中<2>的内容对应表示用户唯一识别码的根文档,<1>对应一条画像数据,且每一个嵌套对象中存储中至少一条画像数据,具有相同用户唯一识别码的用户画像均存储于同一嵌套对象中。通过上述存储方式,能将同一用户的所有画像数据均存储于一个嵌套对象中,无需建立与第一画像数据集中画像数据总条数相同个数的嵌套对象,简化了存储结构。而且同一用户的所有画像数据均存储于一个嵌套对象中,便于在同一嵌套对像中检索同一用户的所有画像信息,无需在多个嵌套对象中检索,提高了检索效率。
在一实施例中,如图5所示,步骤S122包括:
S1221、判断在所述第一画像数据集中与各用户唯一识别码对应的画像数据的数据条数是否大于1;
S1222、若在所述第一画像数据集中有用户唯一识别码对应的画像数据的数据条数大于1,在用户唯一识别码对应的嵌套对象中构建与该画像数据的数据条数有相同个数的嵌套文档,将每一条画像数据存储至对应的一个嵌套文档中;
S1223、若在所述第一画像数据集中有用户唯一识别码对应的画像数据的数据条数等于1,在用户唯一识别码对应的嵌套对象中构建与一个嵌套文档,将对应的画像数据储至嵌套文档中。
在本实施例中,判断在所述第一画像数据集中与各用户唯一识别码对应的画像数据的数据条数是否大于1,是为了判断是否有同一用户对应多条画像数据。若同一用户对应1条以上的画像数据,例如用户A对应3条画像数据,则在该用户的用户唯一识别码对应的嵌套对象中创建3个嵌套文档,并创建一个根文档,在根文档中存储用户唯一识别码的信息,在3个嵌套文档中各自存储1条画像数据。
例如通过嵌套对象A存储第一画像数据集中的用户A的3条画像数据如下:
{
{<11>
“comment.label1”:[90后],
“comment.label2”:[律师],
“comment.label3”:[宝马],
}
{<12>
“comment.label11”:[手游玩家],
“comment.label12”:[XX传说],
}
{<13>
“comment.label21”:[随和],
}
{<14>
“comment.ID name”:[YY],
“comment.ID number”:[XXXXXXXXXXXXXXXXXX],
}
}
其中,<11>、<12>、<13>对应的3个嵌套文档中各自存储1条画像数据,<14>对应的根文档中存储用户唯一识别码的信息。可见,同一用户的所有画像数据均存储于一个嵌套对象中,便于在同一嵌套对像中检索同一用户的所有画像信息,无需在多个嵌套对象中检索,提高了检索效率。
S130、接收第二数据集,根据所述第二数据集构建对应的第二画像数据集;其中,所述第二数据集中包括多条以汽车唯一识别信息为第二主键的车辆信息。
在本实施例中,当服务器中接收了上传端上传的第二数据集后,可以根据第二数据集中每一条数据对应构建用户画像。例如,第二数据集中的一条数据如下表2:
表2
当获取了第二数据集中每一条数据后,均可根据预先构建的标签库将第二数据集中每一条数据转化为画像数据。
具体的,先在标签库中获取与第二数据集中每一条数据中各字段对应的标签转化策略;然后根据第二数据集中每一条数据中各字段对应的标签转化策略,将第二数据集中每一条数据中各字段对应转化为标签;最后由第二数据集中每一条数据中各字段对应转化为标签对应的标签,组成与第二数据集中各条数据对应的画像数据。
S140、根据所述第二画像数据集中每一画像数据对应的第二主键搜索对应的嵌套对象。
在本实施例中,当根据第二数据集对应构建第二画像数据集之后,由于每一台车均是对应唯一车主的,若根据第二画像数据集每一画像数据对应的主键(即车牌号)对应上了第一数据集中对应的数据,则将该第二画像数据对应的画像数据存储与该第一数据集中对应的数据对应的嵌套对象中,从而实现统一用户的所有用户画像数据存储于同一嵌套对象中。
在一实施例中,如图6所示,步骤S140包括:
S141、获取所述第二画像数据集每一画像数据对应的第二主键,并获取所述第二画像数据集每一画像数据对应的第二主键分别对应的第一主键;
S142、将所述第二画像数据集每一画像数据根据所对应的第一主键,获取该第一主键对应的嵌套对象。
在本实施例中,为了定位所述第二画像数据集每一画像数据所需存储的目标嵌套对象,此时根据所述第二画像数据集中每一画像数据对应的第二主键,以及第二主键与第一主键之间的对应关系,获取获取所述第二画像数据集每一画像数据对应的第二主键分别对应的第一主键。完成上述对应关系的检索后,即可获知所述第二画像数据集每一画像数据对应的第一主键,及该第一主键对应的嵌套对象,从而实现将所述第二画像数据集每一画像数据准确的分发存储至对应的嵌套对象中。
S150、将所述第二画像数据集每一画像数据存储至对应的嵌套对象中。
在本实施例中,当获知了所述第二画像数据集每一画像数据对应的第一主键,及该第一主键对应的嵌套对象,即可实现将所述第二画像数据集每一画像数据存储至对应的嵌套对象中。
在一实施例中,步骤S150之后还包括:
将各嵌套对象索引为一个隐藏的独立文档。
在本实施例中,当完成了将所述第二画像数据集每一画像数据存储至对应的嵌套对象中,还可进一步对个嵌套对象进行重新索引,以确保后续检索的准确性。此时对各嵌套对象重新索引时,是将各嵌套对象索引为一个隐藏的独立文档,也是为了满足嵌套对象的索引要求。
该方法实现了由嵌套对象存储同一用户的多类画像数据,不仅提高了了数据存储效率,而且便于用户查询,确保了数据查询效率。
本发明实施例还提供一种基于嵌套对象的数据存储装置,该基于嵌套对象的数据存储装置用于执行前述基于嵌套对象的数据存储方法的任一实施例。具体地,请参阅图7,图7是本发明实施例提供的基于嵌套对象的数据存储装置的示意性框图。该基于嵌套对象的数据存储装置100可以配置于服务器中。
如图7所示,基于嵌套对象的数据存储装置100包括第一画像数据集获取单元110、第一嵌套存储单元120、第二画像数据集获取单元130、嵌套对象定位单元140、第二嵌套存储单元150。
第一画像数据集获取单元110,用于接收第一数据集,根据所述第一数据集构建对应的第一画像数据集;其中,所述第一数据集中包括多条以用户唯一识别码为第一主键的用户信息数据。
在本实施例中,当服务器接收了上传端上传的第一数据集后,可以根据第一数据集中每一条数据对应构建用户画像。例如,第一数据集中的一条数据如上表1。
在一实施例中,如图8所示,第一画像数据集获取单元110包括:
策略获取单元111,用于在预先构建的标签库中获取与第一数据集中每一条数据中各字段对应的标签转化策略;
标签转化单元112,用于根据第一数据集中每一条数据中各字段对应的标签转化策略,将第一数据集中每一条数据中各字段对应转化为标签;
标签组合单元113,用于由第一数据集中每一条数据中各字段对应转化的标签,组成与第一数据集中各条数据对应的画像数据,由各条数据对应的画像数据组成第一画像数据集。
在本实施例中,将第一数据集中的定性信息转化为定量分类是用户画像的一个重要工作环节,具有较高的业务场景要求。其主要目的是帮助企业将复杂数据简单化,将业务数据定性进行归类。
例如在设置标签转化策略时,可以将用户按照年龄区间分为学生,青年,中青年,中年,中老年,老年等人生阶段。源于各人生阶段的汽车需求不同,在寻找目标客户时,可以通过人生阶段进行目标客户定位。企业可以利用客户的收入、学历、资产等情况将客户分为低、中、高端客户,并依据其汽车服务需求,提供不同的售后服务。转化完成后,服务器先对所述第一数据集中的每一条数据进行缓存,以便于后续存储至嵌套对象中。
第一嵌套存储单元120,用于将所述第一画像数据集中每一条画像数据存储至各自对应的嵌套对象中。
在本实施例中,当根据第一数据集对应构建第一画像数据集之后,将第一画像数据集中每一条画像数据存储至各自对应的嵌套对象中。其中嵌套对象为Elasticsearch的嵌套对象(Elasticsearch简记为ES,ES中的嵌套对象即nested对象),ElasticSearch是一个基于Lucene的搜索服务器,它提供了一个分布式多用户能力的全文搜索引擎。
在一实施例中,如图9所示,第一嵌套存储单元120包括:
嵌套对象构建单元121,用于获取所述第一画像数据集中用户唯一识别码的第一总个数,构建与所述第一总个数有相同个数的嵌套对象;
第一定位存储单元122,用于将所述第一画像数据集中与每一用户唯一识别码对应的画像数据存储至对应的嵌套对象中;其中,每一嵌套对象中存储的画像数据均对应唯一的一个用户唯一识别码。
在本实施例中,例如通过嵌套对象A存储第一画像数据集中的一条画像数据如下:
{
{<1>
“comment.label1”:[90后],
“comment.label2”:[律师],
“comment.label3”:[宝马],
}
{<2>
“comment.ID name”:[YY],
“comment.ID number”:[XXXXXXXXXXXXXXXXXX],
}
}
其中,上述嵌套对象A中<2>的内容对应表示用户唯一识别码的根文档,<1>对应一条画像数据,且每一个嵌套对象中存储中至少一条画像数据,具有相同用户唯一识别码的用户画像均存储于同一嵌套对象中。通过上述存储方式,能将同一用户的所有画像数据均存储于一个嵌套对象中,无需建立与第一画像数据集中画像数据总条数相同个数的嵌套对象,简化了存储结构。而且同一用户的所有画像数据均存储于一个嵌套对象中,便于在同一嵌套对像中检索同一用户的所有画像信息,无需在多个嵌套对象中检索,提高了检索效率。
在一实施例中,如图10所示,第一定位存储单元122包括:
数据条数判断单元1221,用于判断在所述第一画像数据集中与各用户唯一识别码对应的画像数据的数据条数是否大于1;
第一存储单元1222,用于若在所述第一画像数据集中有用户唯一识别码对应的画像数据的数据条数大于1,在用户唯一识别码对应的嵌套对象中构建与该画像数据的数据条数有相同个数的嵌套文档,将每一条画像数据存储至对应的一个嵌套文档中;
第二存储单元1223,用于若在所述第一画像数据集中有用户唯一识别码对应的画像数据的数据条数等于1,在用户唯一识别码对应的嵌套对象中构建与一个嵌套文档,将对应的画像数据储至嵌套文档中。
在本实施例中,判断在所述第一画像数据集中与各用户唯一识别码对应的画像数据的数据条数是否大于1,是为了判断是否有同一用户对应多条画像数据。若同一用户对应1条以上的画像数据,例如用户A对应3条画像数据,则在该用户的用户唯一识别码对应的嵌套对象中创建3个嵌套文档,并创建一个根文档,在根文档中存储用户唯一识别码的信息,在3个嵌套文档中各自存储1条画像数据。
例如通过嵌套对象A存储第一画像数据集中的用户A的3条画像数据如下:
{
{<11>
“comment.label1”:[90后],
“comment.label2”:[律师],
“comment.label3”:[宝马],
}
{<12>
“comment.label11”:[手游玩家],
“comment.label12”:[XX传说],
}
{<13>
“comment.label21”:[随和],
}
{<14>
“comment.ID name”:[YY],
“comment.ID number”:[XXXXXXXXXXXXXXXXXX],
}
}
其中,<11>、<12>、<13>对应的3个嵌套文档中各自存储1条画像数据,<14>对应的根文档中存储用户唯一识别码的信息。可见,同一用户的所有画像数据均存储于一个嵌套对象中,便于在同一嵌套对像中检索同一用户的所有画像信息,无需在多个嵌套对象中检索,提高了检索效率。
第二画像数据集获取单元,用于接收第二数据集,根据所述第二数据集构建对应的第二画像数据集;其中,所述第二数据集中包括多条以汽车唯一识别信息为第二主键的车辆信息。
在本实施例中,当服务器中接收了上传端上传的第二数据集后,可以根据第二数据集中每一条数据对应构建用户画像。例如,第二数据集中的一条数据如上表2。
当获取了第二数据集中每一条数据后,均可根据预先构建的标签库将第二数据集中每一条数据转化为画像数据。
具体的,先在标签库中获取与第二数据集中每一条数据中各字段对应的标签转化策略;然后根据第二数据集中每一条数据中各字段对应的标签转化策略,将第二数据集中每一条数据中各字段对应转化为标签;最后由第二数据集中每一条数据中各字段对应转化为标签对应的标签,组成与第二数据集中各条数据对应的画像数据。
嵌套对象定位单元140,用于根据所述第二画像数据集中每一画像数据对应的第二主键搜索对应的嵌套对象。
在本实施例中,当根据第二数据集对应构建第二画像数据集之后,由于每一台车均是对应唯一车主的,若根据第二画像数据集每一画像数据对应的主键(即车牌号)对应上了第一数据集中对应的数据,则将该第二画像数据对应的画像数据存储与该第一数据集中对应的数据对应的嵌套对象中,从而实现统一用户的所有用户画像数据存储于同一嵌套对象中。
在一实施例中,如图11所示,嵌套对象定位单元140包括:
主键对应关系获取单元141,用于获取所述第二画像数据集每一画像数据对应的第二主键,并获取所述第二画像数据集每一画像数据对应的第二主键分别对应的第一主键;
第二定位存储单元142,用于将所述第二画像数据集每一画像数据根据所对应的第一主键,获取该第一主键对应的嵌套对象。
在本实施例中,为了定位所述第二画像数据集每一画像数据所需存储的目标嵌套对象,此时根据所述第二画像数据集中每一画像数据对应的第二主键,以及第二主键与第一主键之间的对应关系,获取获取所述第二画像数据集每一画像数据对应的第二主键分别对应的第一主键。完成上述对应关系的检索后,即可获知所述第二画像数据集每一画像数据对应的第一主键,及该第一主键对应的嵌套对象,从而实现将所述第二画像数据集每一画像数据准确的分发存储至对应的嵌套对象中。
第二嵌套存储单元150,用于将所述第二画像数据集每一画像数据存储至对应的嵌套对象中。
在本实施例中,当获知了所述第二画像数据集每一画像数据对应的第一主键,及该第一主键对应的嵌套对象,即可实现将所述第二画像数据集每一画像数据存储至对应的嵌套对象中。
在一实施例中,基于嵌套对象的数据存储装置100还包括:
重建索引单元,用于将各嵌套对象索引为一个隐藏的独立文档。
在本实施例中,当完成了将所述第二画像数据集每一画像数据存储至对应的嵌套对象中,还可进一步对个嵌套对象进行重新索引,以确保后续检索的准确性。此时对各嵌套对象重新索引时,是将各嵌套对象索引为一个隐藏的独立文档,也是为了满足嵌套对象的索引要求。
该装置实现了由嵌套对象存储同一用户的多类画像数据,不仅提高了了数据存储效率,而且便于用户查询,确保了数据查询效率。
上述基于嵌套对象的数据存储装置可以实现为计算机程序的形式,该计算机程序可以在如图12所示的计算机设备上运行。
请参阅图12,图12是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器,服务器可以是独立的服务器,也可以是多个服务器组成的服务器集群。
参阅图12,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时,可使得处理器502执行基于嵌套对象的数据存储方法。
该处理器502用于提供计算和控制能力,支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行基于嵌套对象的数据存储方法。
该网络接口505用于进行网络通信,如提供数据信息的传输等。本领域技术人员可以理解,图12中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现本发明实施例公开的基于嵌套对象的数据存储方法。
本领域技术人员可以理解,图12中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定,在其他实施例中,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,在一些实施例中,计算机设备可以仅包括存储器及处理器,在这样的实施例中,存储器及处理器的结构及功能与图12所示实施例一致,在此不再赘述。
应当理解,在本发明实施例中,处理器502可以是中央处理单元(CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序,其中计算机程序被处理器执行时实现本发明实施例公开的基于嵌套对象的数据存储方法。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为逻辑功能划分,实际实现时可以有另外的划分方式,也可以将具有相同功能的单元集合成一个单元,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种基于嵌套对象的数据存储方法,其特征在于,包括:
接收第一数据集,根据所述第一数据集构建对应的第一画像数据集;其中,所述第一数据集中包括多条以用户唯一识别码为第一主键的用户信息数据;
将所述第一画像数据集中每一条画像数据存储至各自对应的嵌套对象中;
接收第二数据集,根据所述第二数据集构建对应的第二画像数据集;其中,所述第二数据集中包括多条以汽车唯一识别信息为第二主键的车辆信息;
根据所述第二画像数据集中每一画像数据对应的第二主键搜索对应的嵌套对象;以及
将所述第二画像数据集每一画像数据存储至对应的嵌套对象中;
其中,所述将所述第一画像数据集中每一条画像数据存储至各自对应的嵌套对象中,包括:
获取所述第一画像数据集中用户唯一识别码的第一总个数,构建与所述第一总个数有相同个数的嵌套对象;
将所述第一画像数据集中与每一用户唯一识别码对应的画像数据存储至对应的嵌套对象中;其中,每一嵌套对象中存储的画像数据均对应唯一的一个用户唯一识别码;
所述将所述第一画像数据集中与每一用户唯一识别码对应的画像数据存储至对应的嵌套对象中,包括:
判断在所述第一画像数据集中与各用户唯一识别码对应的画像数据的数据条数是否大于1;
若在所述第一画像数据集中有用户唯一识别码对应的画像数据的数据条数大于1,在用户唯一识别码对应的嵌套对象中构建与该画像数据的数据条数有相同个数的嵌套文档,将每一条画像数据存储至对应的一个嵌套文档中;
若在所述第一画像数据集中有用户唯一识别码对应的画像数据的数据条数等于1,在用户唯一识别码对应的嵌套对象中构建与一个嵌套文档,将对应的画像数据储至嵌套文档中;
所述根据所述第二画像数据集中每一画像数据对应的第二主键搜索对应的嵌套对象,包括:
获取所述第二画像数据集每一画像数据对应的第二主键,并获取所述第二画像数据集每一画像数据对应的第二主键分别对应的第一主键;
将所述第二画像数据集每一画像数据根据所对应的第一主键,获取该第一主键对应的嵌套对象。
2.根据权利要求1所述的基于嵌套对象的数据存储方法,其特征在于,所述根据所述第一数据集构建对应的第一画像数据集,包括:
在预先构建的标签库中获取与第一数据集中每一条数据中各字段对应的标签转化策略;
根据第一数据集中每一条数据中各字段对应的标签转化策略,将第一数据集中每一条数据中各字段对应转化为标签;
由第一数据集中每一条数据中各字段对应转化的标签,组成与第一数据集中各条数据对应的画像数据,由各条数据对应的画像数据组成第一画像数据集。
3.根据权利要求1所述的基于嵌套对象的数据存储方法,其特征在于,所述将所述第二画像数据集每一画像数据存储至对应的嵌套对象中之后,还包括:
将各嵌套对象索引为一个隐藏的独立文档。
4.一种基于嵌套对象的数据存储装置,其特征在于,包括:
第一画像数据集获取单元,用于接收第一数据集,根据所述第一数据集构建对应的第一画像数据集;其中,所述第一数据集中包括多条以用户唯一识别码为第一主键的用户信息数据;
第一嵌套存储单元,用于将所述第一画像数据集中每一条画像数据存储至各自对应的嵌套对象中;
第二画像数据集获取单元,用于接收第二数据集,根据所述第二数据集构建对应的第二画像数据集;其中,所述第二数据集中包括多条以汽车唯一识别信息为第二主键的车辆信息;
嵌套对象定位单元,用于根据所述第二画像数据集中每一画像数据对应的第二主键搜索对应的嵌套对象;以及
第二嵌套存储单元,用于将所述第二画像数据集每一画像数据存储至对应的嵌套对象中;
其中,所述第一嵌套存储单元,包括:
嵌套对象构建单元,用于获取所述第一画像数据集中用户唯一识别码的第一总个数,构建与所述第一总个数有相同个数的嵌套对象;
第一定位存储单元,用于将所述第一画像数据集中与每一用户唯一识别码对应的画像数据存储至对应的嵌套对象中;其中,每一嵌套对象中存储的画像数据均对应唯一的一个用户唯一识别码;
所述将所述第一画像数据集中与每一用户唯一识别码对应的画像数据存储至对应的嵌套对象中,包括:
判断在所述第一画像数据集中与各用户唯一识别码对应的画像数据的数据条数是否大于1;
若在所述第一画像数据集中有用户唯一识别码对应的画像数据的数据条数大于1,在用户唯一识别码对应的嵌套对象中构建与该画像数据的数据条数有相同个数的嵌套文档,将每一条画像数据存储至对应的一个嵌套文档中;
若在所述第一画像数据集中有用户唯一识别码对应的画像数据的数据条数等于1,在用户唯一识别码对应的嵌套对象中构建与一个嵌套文档,将对应的画像数据储至嵌套文档中;
所述根据所述第二画像数据集中每一画像数据对应的第二主键搜索对应的嵌套对象,包括:
获取所述第二画像数据集每一画像数据对应的第二主键,并获取所述第二画像数据集每一画像数据对应的第二主键分别对应的第一主键;
将所述第二画像数据集每一画像数据根据所对应的第一主键,获取该第一主键对应的嵌套对象。
5.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的基于嵌套对象的数据存储方法。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至3任一项所述的基于嵌套对象的数据存储方法。
CN201910969438.3A 2019-10-12 2019-10-12 基于嵌套对象的数据存储方法、装置及计算机设备 Active CN110888871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910969438.3A CN110888871B (zh) 2019-10-12 2019-10-12 基于嵌套对象的数据存储方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910969438.3A CN110888871B (zh) 2019-10-12 2019-10-12 基于嵌套对象的数据存储方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN110888871A CN110888871A (zh) 2020-03-17
CN110888871B true CN110888871B (zh) 2023-09-19

Family

ID=69746113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910969438.3A Active CN110888871B (zh) 2019-10-12 2019-10-12 基于嵌套对象的数据存储方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN110888871B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018228271A1 (zh) * 2017-06-13 2018-12-20 阿里巴巴集团控股有限公司 一种数据存储及调用方法及装置
CN109257764A (zh) * 2018-10-24 2019-01-22 北京小米移动软件有限公司 用户画像数据处理方法及装置
CN109408746A (zh) * 2018-09-26 2019-03-01 平安科技(深圳)有限公司 画像信息查询方法、装置、计算机设备和存储介质
CN109558399A (zh) * 2018-11-22 2019-04-02 北京邮电大学 一种数据存储方法及装置
CN110069573A (zh) * 2019-03-19 2019-07-30 深圳壹账通智能科技有限公司 产品数据集成方法、装置、计算机设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102329333B1 (ko) * 2014-11-12 2021-11-23 삼성전자주식회사 질의를 처리하는 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018228271A1 (zh) * 2017-06-13 2018-12-20 阿里巴巴集团控股有限公司 一种数据存储及调用方法及装置
CN109408746A (zh) * 2018-09-26 2019-03-01 平安科技(深圳)有限公司 画像信息查询方法、装置、计算机设备和存储介质
CN109257764A (zh) * 2018-10-24 2019-01-22 北京小米移动软件有限公司 用户画像数据处理方法及装置
CN109558399A (zh) * 2018-11-22 2019-04-02 北京邮电大学 一种数据存储方法及装置
CN110069573A (zh) * 2019-03-19 2019-07-30 深圳壹账通智能科技有限公司 产品数据集成方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110888871A (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
Zhuang et al. Progressive distributed and parallel similarity retrieval of large CT image sequences in mobile telemedicine networks
US20210209182A1 (en) Systems and methods for improved web searching
US11651036B2 (en) Integrated index blocks and searching in blockchain systems
US11334599B2 (en) Systems and methods for electronic data record synchronization
CN102402605B (zh) 用于搜索引擎索引的混合分布模型
CN109254966B (zh) 数据表查询方法、装置、计算机设备及存储介质
US7627613B1 (en) Duplicate document detection in a web crawler system
US20240025359A1 (en) System for controller area network payload decoding
US6898592B2 (en) Scoping queries in a search engine
US7840546B2 (en) Method and apparatus for conducting data queries using consolidation strings and inter-node consolidation
US20110125727A1 (en) Content oriented index and search method and system
US20120084291A1 (en) Applying search queries to content sets
Yu et al. SeqOthello: querying RNA-seq experiments at scale
EP2909752A1 (en) Profiling data with location information
WO2008121824A1 (en) Method and system for data exchange among data sources
CN112328741B (zh) 基于人工智能的智能关联答复方法、装置、计算机设备
Pasternack et al. Generalized fact-finding
Pan et al. Semi-supervised hashing with semantic confidence for large scale visual search
US20090222419A1 (en) Succinct index structure for xml
US20170147652A1 (en) Search servers, end devices, and search methods for use in a distributed network
CN108073641B (zh) 查询数据表的方法和装置
CN115576905A (zh) 档案文件管理方法、装置、电子设备和存储介质
CN110888871B (zh) 基于嵌套对象的数据存储方法、装置及计算机设备
EP3776258A1 (en) Iot enhanced search results
US20160321345A1 (en) Chain understanding in search

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant