CN110955646A - 一种数据存储、查询方法、装置、设备及介质 - Google Patents
一种数据存储、查询方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN110955646A CN110955646A CN201911205775.1A CN201911205775A CN110955646A CN 110955646 A CN110955646 A CN 110955646A CN 201911205775 A CN201911205775 A CN 201911205775A CN 110955646 A CN110955646 A CN 110955646A
- Authority
- CN
- China
- Prior art keywords
- data
- query
- tag
- value
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013500 data storage Methods 0.000 title claims abstract description 46
- 238000007726 management method Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000010586 diagram Methods 0.000 description 9
- 101100328884 Caenorhabditis elegans sqt-3 gene Proteins 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/221—Column-oriented storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开实施例提供一种数据存储、查询方法、装置、设备及介质,涉及数据处理技术领域,用于实现对象标签的规范化,节约存储空间。所述数据存储方法,包括:获取包含用于表征对象属性的对象标签和标签值的画像数据;对所述画像数据中的对象标签和标签值分别进行编码,其中,不同语义的对象标签对应的编码值不同;将编码后的画像数据存储至预先建立的面向列式数据的数据库管理系统。
Description
技术领域
本公开涉及数据处理技术领域,尤其涉及一种数据存储、查询方法、装置、设备及介质。
背景技术
画像数据是指根据对象的属性、偏好、生活习惯、行为等信息抽象出来的标签化模型。画像数据为对象信息的针对性推荐提供足够的信息基础,借助画像数据能够快速找到精准对象。
通常情况下,如果想快速高效地筛选和使用画像数据,如何处理画像数据便是工程上要解决的一个难点,特别是在数据量较大,对象标签较多,查询时间范围较广的情况下,处理画像数据的困难度指数级上升。
目前,主流互联网公司都有自己的画像数据处理系统,其实现方案主要依赖于大数据技术。现有画像数据处理技术主要依赖数据表之间的Join(连接)操作以及数据导入工具进行画像数据汇总,原始画像数据为了方便业务理解,其标签以及标签值都会带有业务含义,并且数据类型多样化,比如数值类型、字符串类型、数组类型、布尔类型等。当大量原始画像数据汇总在一起时,会出现标签混淆,标签值占用空间过大的问题,这不仅浪费了大量的存储资源,而且也会增加后期服务维护与扩展的成本。
发明内容
本公开实施例提供一种数据存储、查询方法、装置、设备及介质,用以实现对象标签的规范化,节约存储空间。
根据本公开实施例的第一方面,提供了一种数据存储处理方法,该方法包括:
获取包含用于表征对象属性的对象标签和标签值的画像数据;
对画像数据中的对象标签和标签值分别进行编码,其中,不同语义的对象标签对应的编码值不同;
将编码后的画像数据存储至预先建立的面向列式数据的数据库管理系统。
本公开实施例提供的数据存储方法,在将包含用于表征对象属性的对象标签和标签值的画像数据存储至预先建立的面向列式数据的数据库管理系统之前,对画像数据中的对象标签和标签值分别进行编码,用编码后的画像数据替代原画像数据存储至预先建立的面向列式数据的数据库管理系统,将对象标签进行编码,并且不同语义的对象标签对应的编码值不同,能有效解决对象标签混淆的问题,实现对象标签的规范化,将标签值以编码值形式进行存储,相较于存储原标签值,可以节约存储空间。
在一种可能的实施方式中,本公开实施例提供的上述方法中,对画像数据中的对象标签和标签值分别进行编码,包括:
针对对象标签,基于预先配置的对象标签与标签编码的对应关系,将对应关系中对象标签对应的标签编码确定为对象标签对应的编码值;
针对标签值,根据标签值的数据类型,依据预先设置的编码规则,将标签值转换为编码值。
在一种可能的实施方式中,本公开实施例提供的上述方法中,根据标签值的数据类型,依据预先设置的编码规则,将标签值转换为编码值,包括:
针对数据类型为数值类型的标签值,若确定标签值有效,将标签值作为编码值,若确定标签值无效,使用空值作为编码值;
针对数据类型为字符串类型的标签值,对字符串进行数值编码,得到每个标签值对应的编码值,数值编码是使用数字代替字符的编码方式;
针对数据类型为数组类型的标签值,若数组中的元素为数值,将数值作为编码值,若数组中的元素为字符串,对字符串进行数值编码,得到字符串对应的编码值;
针对数据类型为布尔类型的标签值,使用二进制编码方式进行编码,将布尔类型的标签值转换为二进制数值。
第二方面,本公开实施例提供一种数据查询方法,该方法包括:
接收终端输入的查询请求,查询请求中包含一个或多个查询条件,查询条件包括对象标签及标签值;
将查询条件中的对象标签和标签值分别转换为编码值,得到以编码值形式表示的中间查询条件;
基于中间查询条件,在本公开实施例提供的数据库管理系统中查询符合条件的对象;
将查询条件和符合条件的对象作为查询结果返回终端。
本公开实施例提供的数据查询方法,在接收终端输入的包含对象标签及标签值的查询请求后,分别对对象标签及标签值进行编码,得到以编码值形式表示的中间查询条件,基于中间查询条件在本公开上述实施例提供的数据存储方法中建立的数据库管理系统中查询符合条件的对象,并将查询条件和符合条件的对象作为查询结果返回终端,使用编码值形式的中间查询条件进行查询相较于使用原查询条件进行查询,可以提高查询语句的匹配速度,提高数据查询效率。
在一种可能的实施方式中,本公开实施例提供的上述方法中,将查询条件中的对象标签和标签值分别转换为编码值,包括:
针对查询条件中的对象标签,基于预先配置的对象标签与标签编码的对应关系,将对应关系中对象标签对应的标签编码确定为对象标签对应的编码值;
针对查询条件中的标签值,根据标签值的数据类型,依据预先设置的编码规则,将标签值转换为编码值。
在一种可能的实施方式中,本公开实施例提供的上述方法中,根据标签值的数据类型,依据预先设置的编码规则,将标签值转换为编码值,包括:
针对数据类型为数值类型的标签值,若确定标签值有效,将标签值作为编码值,若确定标签值无效,使用空值作为编码值;
针对数据类型为字符串类型的标签值,对字符串进行数值编码,得到每个标签值对应的编码值,数值编码是使用数字代替字符的编码方式;
针对数据类型为数组类型的标签值,若数组中的元素为数值,将数值作为编码值,若数组中的元素为字符串,对字符串进行数值编码,得到字符串对应的编码值;
针对数据类型为布尔类型的标签值,使用二进制编码方式进行编码,将布尔类型的标签值转换为二进制数值。
第三方面,本公开实施例提供一种数据存储装置,该装置包括:
获取模块,被配置为执行获取包含用于表征对象属性的对象标签和标签值的画像数据;
编码模块,被配置为执行对画像数据中的对象标签和标签值分别进行编码,其中,不同语义的对象标签对应的编码值不同;
存储模块,被配置为执行将编码后的画像数据存储至预先建立的面向列式数据的数据库管理系统。
在一种可能的实施方式中,本公开实施例提供的上述装置中,编码模块具体被配置为执行:
针对对象标签,基于预先配置的对象标签与标签编码的对应关系,将对应关系中对象标签对应的标签编码确定为对象标签对应的编码值;
针对标签值,根据标签值的数据类型,依据预先设置的编码规则,将标签值转换为编码值。
在一种可能的实施方式中,本公开实施例提供的上述装置中,编码模块具体被配置为执行:
针对数据类型为数值类型的标签值,若确定标签值有效,将标签值作为编码值,若确定标签值无效,使用空值作为编码值;
针对数据类型为字符串类型的标签值,对字符串进行数值编码,得到每个标签值对应的编码值,数值编码是使用数字代替字符的编码方式;
针对数据类型为数组类型的标签值,若数组中的元素为数值,将数值作为编码值,若数组中的元素为字符串,对字符串进行数值编码,得到字符串对应的编码值;
针对数据类型为布尔类型的标签值,使用二进制编码方式进行编码,将布尔类型的标签值转换为二进制数值。
第四方面,本公开实施例提供一种数据查询装置,该装置包括:
接收模块,被配置为执行接收终端输入的查询请求,查询请求中包含一个或多个查询条件,查询条件包括对象标签及标签值;
处理模块,被配置为执行将查询条件中的对象标签和标签值分别转换为编码值,得到以编码值形式表示的中间查询条件;
查询模块,被配置为执行基于中间查询条件,在本公开实施例提供的数据库管理系统中查询符合条件的对象;
发送模块,被配置为执行将查询条件和符合条件的对象作为查询结果返回终端。
在一种可能的实施方式中,本公开实施例提供的上述装置中,处理模块具体被配置为执行:
针对查询条件中的对象标签,基于预先配置的对象标签与标签编码的对应关系,将对应关系中对象标签对应的标签编码确定为对象标签对应的编码值;
针对查询条件中的标签值,根据标签值的数据类型,依据预先设置的编码规则,将标签值转换为编码值。
在一种可能的实施方式中,本公开实施例提供的上述装置中,处理模块具体被配置为执行:
针对数据类型为数值类型的标签值,若确定标签值有效,将标签值作为编码值,若确定标签值无效,使用空值作为编码值;
针对数据类型为字符串类型的标签值,对字符串进行数值编码,得到每个标签值对应的编码值,数值编码是使用数字代替字符的编码方式;
针对数据类型为数组类型的标签值,若数组中的元素为数值,将数值作为编码值,若数组中的元素为字符串,对字符串进行数值编码,得到字符串对应的编码值;
针对数据类型为布尔类型的标签值,使用二进制编码方式进行编码,将布尔类型的标签值转换为二进制数值。
第五方面,本公开实施例提供一种数据存储设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,处理器被配置为执行指令,以实现本公开实施例第一方面提供的数据存储方法。
第六方面,本公开实施例提供一种数据查询设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,处理器被配置为执行指令,以实现本公开实施例第二方面提供的数据查询方法。
第七方面,本公开实施例还提供一种存储介质,当存储介质中的指令由数据存储设备的处理器执行时,使得数据存储设备能够执行本公开实施例第一方面提供的数据存储方法。
第八方面,本公开实施例还提供一种存储介质,当存储介质中的指令由数据查询设备的处理器执行时,使得数据查询设备能够执行本公开实施例第二方面提供的数据查询方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是本公开实施例提供的数据存储方法的示意流程图;
图2是本公开实施例提供的对象标签信息的内容示意图;
图3是本公开实施例提供的数据查询方法的示意流程图;
图4是本公开实施例提供的数据存储装置的结构示意图;
图5是本公开实施例提供的数据查询装置的结构示意图;
图6是本公开实施例提供的数据存储设备的结构示意图;
图7是本公开实施例提供的数据查询设备的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
有鉴于现有画像数据处理技术方案中存在标签混淆,标签值占用空间过大的问题,本公开实施例提供了一种数据存储、查询方案,用以实现对象标签的规范化,节约存储空间。
下面结合附图以及具体实施例,对本公开提供的数据存储、查询方法、装置、设备及介质进行详细说明。
需要说明的是,本公开实施例提供的数据存储、查询方案中所提到的对象标签可以是用户标签、城市标签等,本公开实施例对此不做限定。本公开下述实施例中以用户标签为例进行详细说明。
如图1所示,本公开实施例提供的一种数据存储方法,其可以包括以下步骤:
步骤101,获取包含用于表征对象属性的对象标签和标签值的画像数据。
具体地,对象标签即对象的属性信息,以用户标签为例,用户画像数据中可以包含大量的用户标签,比如性别、年龄、籍贯、使用应用程序的时长以及粉丝数等。通常来说,用户画像数据中包含的用户标签可按照标签值的数值类型可以划分为两类:其中一类是离散数值,比如性别、年龄、籍贯等,其数值相对固定且可枚举;另一类是连续数值,比如使用应用程序的时长、粉丝数等,其数值较为随机,并且不可枚举。
在本公开实施例中,为了便于用户画像数据的存储,将用户画像数据中包含的用户标签按照标签值的数据类型进行如下划分:
(1)数值类型。比如年龄,25,即数值类型;比如使用应用程序的时长,3.6小时,也即数值类型。
(2)字符串类型。比如籍贯,山东省,即字符串类型;比如手机品牌,iPhone,也即字符串类型。
(3)数组类型。比如用户的兴趣爱好,唱歌、跳舞可以组合为数组类型。
(4)布尔类型。比如判断用户是否为日活用户,可以通过True和False来进行表示。
在具体实施中,本公开实施例将获取到的包含表征用户属性的用户标签和标签值的用户画像数据存储在Hive(数据仓库工具)中,其中标签值包括上述提到的四种数据类型。针对以上不同数据类型的标签值,本公开实施例在进行用户画像数据存储前会有相对应的不同的编码规则,来将标签值转换为编码值,将在下面实施例中进行详细说明。在本公开的其他实施例中,也可以对于获取到的包含表征用户属性的用户标签和标签值不作存储操作,直接进行下面实施例中所述的编码处理。
步骤102,对画像数据中的对象标签和标签值分别进行编码,其中,不同语义的对象标签对应的编码值不同。
具体实施中,用户画像数据中的用户标签和标签值是动态增加的,本公开实施例中对用户画像数据中的每一个用户标签进行编码。一个示例中,将性别这一用户标签编码为col1,将年龄这一用户标签编码为col2。用户标签使用统一的前缀和自增的编码,保证了用户标签编码值的统一性和规律性。为了方便使用者了解用户标签编码与标签含义的对应关系,将该对应关系在业务数据库MySQL(关系数据库管理系统)中进行存储。在本公开其他实施例中也可以使用其他业务数据库进行存储,并不仅限于业务数据库MySQL。
具体实施中,对于上述实施例中提到的四种数据类型的标签值,会有不同的编码规则,其编码规则具体如下:
(1)针对数据类型为数值类型的标签值,若确定标签值有效,将标签值作为编码值,若确定标签值无效,使用空值作为编码值;
(2)针对数据类型为字符串类型的标签值,对字符串进行数值编码,得到每个标签值对应的编码值,数值编码是使用数字代替字符的编码方式;
(3)针对数据类型为数组类型的标签值,若数组中的元素为数值,将数值作为编码值,若数组中的元素为字符串,对字符串进行数值编码,得到字符串对应的编码值;
(4)针对数据类型为布尔类型的标签值,使用二进制编码方式进行编码,将布尔类型的标签值转换为二进制数值。
本公开实施例将不同用户标签值和对应的用户标签值的含义存储到业务数据库MySQL中,方便后续工程查询使用,在本公开其他实施例中也可以使用其他业务数据库进行存储,并不仅限于业务数据库MySQL。
如图2所示,对用户画像数据中的用户标签和标签值进行编码之后,其用户标签信息的含义中,标签编码表征用户标签的业务含义以及该用户标签相关的辅助信息、标签值编码表征标签值的含义。
在一个示例中,以性别为例进行说明,将性别这一用户标签编码为col1,其标签编码含义为性别属性,将性别这一用户标签下的标签值中的男和女分别编码为1和2。那么性别这一用户标签将保留的标签信息包括:col1-性别;1-男,2-女;以及性别的辅助信息,包括该用户标签的准确率、覆盖率、数据源信息等。
本公开实施例中对用户画像数据中的用户标签和标签值分别进行编码,可以借助Airflow(可编程,调度和监控的工作流平台)来实现,在本公开其他实施例中也可以通过各类脚本来实现,比如Python脚本或者Shell脚本,其所能实现的功能都相同,其中使用Airflow更为便捷。
步骤103,将编码后的画像数据存储至预先建立的面向列式数据的数据库管理系统。
本公开实施例中可以借助现有的工具WaterDrop(海量数据处理产品)将编码后的画像数据存储至预先建立的面向列式数据的数据库管理系统,其中,ClickHouse为此处使用的面向列式的数据库管理系统。ClickHouse创建的数据表格式要按照编码后的用户标签值的数据类型进行创建,比如,性别对应的标签值编码后为数值类型,那么该数据表中的格式也为数值类型。
以上介绍了本公开实施例提供的数据存储方法,得到经过编码的画像数据之后,将编码后的画像数据存储至预先建立的面向列式数据的数据库管理系统。
本公开实施例还提供一种数据查询方法,用于在本公开实施例提供的数据存储方法中建立的数据库管理系统中查询,如图3所示,本公开实施例提供的一种数据查询方法,其可以包括以下步骤:
步骤301,接收终端输入的查询请求,查询请求中包含一个或多个查询条件,查询条件包括对象标签及标签值。
一个示例中,基于本公开实施例提出的数据查询方法,可应用于实际的应用场景,该应用提供基于浏览器的Web(万维网,World Wide Web)页面,支持对于用户画像数据进行查询的功能。具体实施中,基于Web页面可以输入一个或多个查询条件,其中,查询条件包括用户标签及标签值。
步骤302,将查询条件中的对象标签和标签值分别转换为编码值,得到以编码值形式表示的中间查询条件。
输入的查询条件经由查询语句构造器构造成可查询语句,本公开实施例中的提到的查询语句指的是SQL(Structured Query Language,结构化查询语句),查询语句构造器可以将查询条件构造成可被执行的SQL语句,其中查询条件中的用户标签和标签值分别转换为编码值形式的用户标签和标签值。
一个示例中,比如查询条件为性别是男性的用户数量,将用户标签和标签值进行编码后生成col1=1判断语句,并由查询语句构造器将上述判断语句拼接到SQL语句中。
步骤303,基于中间查询条件,在本公开实施例提供的数据库管理系统中查询符合条件的对象。
上述构造完成的SQL语句经由查询引擎可从ClickHouse中查询符合col=1的用户。
步骤304,将查询条件和符合条件的对象作为查询结果返回终端。
查询到符合条件的对象后,由图表信息构造器将该对象相关画像数据组织成容易理解和查看的图标样式之后,返回终端进行展示。一个示例中,从ClickHouse中查询到col1=1的对象数量为100,需要将上述语句解译为性别是男性的对象数目为100,并在终端上进行展示,方便查询用户理解和查看。
基于本公开实施例提出的数据存储、查询方案,在实际应用中可实现海量用户画像数据秒级响应,百亿级数据十几个用户标签的组合查询平均响应时间在4秒左右。
如图4所示,基于相同的发明构思,本公开实施例还提供了一种数据存储装置,该装置包括:
获取模块401,被配置为执行获取包含用于表征对象属性的对象标签和标签值的画像数据;
编码模块402,被配置为执行对画像数据中的对象标签和标签值分别进行编码,其中,不同语义的对象标签对应的编码值不同;
存储模块403,被配置为执行将编码后的画像数据存储至预先建立的面向列式数据的数据库管理系统。
在一种可能的实施方式中,编码模块402具体被配置为执行:
针对对象标签,基于预先配置的对象标签与标签编码的对应关系,将对应关系中对象标签对应的标签编码确定为对象标签对应的编码值;
针对标签值,根据标签值的数据类型,依据预先设置的编码规则,将标签值转换为编码值。
在一种可能的实施方式中,编码模块402具体被配置为执行:
针对数据类型为数值类型的标签值,若确定标签值有效,将标签值作为编码值,若确定标签值无效,使用空值作为编码值;
针对数据类型为字符串类型的标签值,对字符串进行数值编码,得到每个标签值对应的编码值,数值编码是使用数字代替字符的编码方式;
针对数据类型为数组类型的标签值,若数组中的元素为数值,将数值作为编码值,若数组中的元素为字符串,对字符串进行数值编码,得到字符串对应的编码值;
针对数据类型为布尔类型的标签值,使用二进制编码方式进行编码,将布尔类型的标签值转换为二进制数值。
如图5所示,基于相同的发明构思,本公开实施例还提供了一种数据查询装置,该装置包括:
接收模块501,被配置为执行接收终端输入的查询请求,查询请求中包含一个或多个查询条件,查询条件包括对象标签及标签值;
处理模块502,被配置为执行将查询条件中的对象标签和标签值分别转换为编码值,得到以编码值形式表示的中间查询条件;
查询模块503,被配置为执行基于中间查询条件,在如权利要求1-3中任一项的数据库管理系统中查询符合条件的对象;
发送模块504,被配置为执行将查询条件和符合条件的对象作为查询结果返回终端。
在一种可能的实施方式中,处理模块502具体被配置为执行:
针对查询条件中的对象标签,基于预先配置的对象标签与标签编码的对应关系,将对应关系中对象标签对应的标签编码确定为对象标签对应的编码值;
针对查询条件中的标签值,根据标签值的数据类型,依据预先设置的编码规则,将标签值转换为编码值。
在一种可能的实施方式中,处理模块502具体被配置为执行:
针对数据类型为数值类型的标签值,若确定标签值有效,将标签值作为编码值,若确定标签值无效,使用空值作为编码值;
针对数据类型为字符串类型的标签值,对字符串进行数值编码,得到每个标签值对应的编码值,数值编码是使用数字代替字符的编码方式;
针对数据类型为数组类型的标签值,若数组中的元素为数值,将数值作为编码值,若数组中的元素为字符串,对字符串进行数值编码,得到字符串对应的编码值;
针对数据类型为布尔类型的标签值,使用二进制编码方式进行编码,将布尔类型的标签值转换为二进制数值。
基于上述本公开实施例相同构思,图6是根据一示例性实施例示出的数据存储设备的框图,如图6所示,本公开实施例提供的数据存储设备600,包括:
处理器610;
用于存储处理器610可执行指令的存储器620;
其中,处理器610被配置为执行指令,以实现本公开实施例中数据存储方法。
基于上述本公开实施例相同构思,图7是根据一示例性实施例示出的数据存储设备的框图,如图7所示,本公开实施例提供的数据查询设备700,包括:
处理器710;
用于存储处理器710可执行指令的存储器720;
其中,处理器710被配置为执行指令,以实现本公开实施例中数据查询方法。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器620,上述指令可由数据存储设备的处理器610执行以完成上述方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
另外,在示例性实施例中,本公开实施例还提供了一种存储介质,当存储介质中的指令由上述数据存储设备的处理器执行时,使得上述数据存储装置能够实现本公开实施例中的数据存储方法。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器720,上述指令可由数据查询设备的处理器710执行以完成上述方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
另外,在示例性实施例中,本公开实施例还提供了一种存储介质,当存储介质中的指令由上述数据查询设备的处理器执行时,使得上述数据查询装置能够实现本公开实施例中的数据查询方法。
本领域技术人员在考虑说明书及实践这里发明的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种数据存储方法,其特征在于,包括:
获取包含用于表征对象属性的对象标签和标签值的画像数据;
对所述画像数据中的对象标签和标签值分别进行编码,其中,不同语义的对象标签对应的编码值不同;
将编码后的画像数据存储至预先建立的面向列式数据的数据库管理系统。
2.根据权利要求1所述的方法,其特征在于,所述对所述画像数据中的对象标签和标签值分别进行编码,包括:
针对对象标签,基于预先配置的对象标签与标签编码的对应关系,将所述对应关系中对象标签对应的标签编码确定为对象标签对应的编码值;
针对标签值,根据所述标签值的数据类型,依据预先设置的编码规则,将所述标签值转换为编码值。
3.一种数据查询方法,其特征在于,所述方法包括:
接收终端输入的查询请求,所述查询请求中包含一个或多个查询条件,所述查询条件包括对象标签及标签值;
将所述查询条件中的对象标签和标签值分别转换为编码值,得到以编码值形式表示的中间查询条件;
基于所述中间查询条件,在如权利要求1或2中所述的数据库管理系统中查询符合条件的对象;
将所述查询条件和符合条件的对象作为查询结果返回所述终端。
4.根据权利要求3所述的方法,其特征在于,所述将所述查询条件中的对象标签和标签值分别转换为编码值,包括:
针对所述查询条件中的对象标签,基于预先配置的对象标签与标签编码的对应关系,将所述对应关系中对象标签对应的标签编码确定为对象标签对应的编码值;
针对所述查询条件中的标签值,根据所述标签值的数据类型,依据预先设置的编码规则,将所述标签值转换为编码值。
5.一种数据存储装置,其特征在于,包括:
获取模块,被配置为执行获取包含用于表征对象属性的对象标签和标签值的画像数据;
编码模块,被配置为执行对所述画像数据中的对象标签和标签值分别进行编码,其中,不同语义的对象标签对应的编码值不同;
存储模块,被配置为执行将编码后的画像数据存储至预先建立的面向列式数据的数据库管理系统。
6.一种数据查询装置,其特征在于,包括:
接收模块,被配置为执行接收终端输入的查询请求,所述查询请求中包含一个或多个查询条件,所述查询条件包括对象标签及标签值;
处理模块,被配置为执行将所述查询条件中的对象标签和标签值分别转换为编码值,得到以编码值形式表示的中间查询条件;
查询模块,被配置为执行基于所述中间查询条件,在如权利要求1或2中所述的数据库管理系统中查询符合条件的对象;
发送模块,被配置为执行将所述查询条件和符合条件的对象作为查询结果返回所述终端。
7.一种数据存储设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1或2中所述的数据存储方法。
8.一种数据查询设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求3或4中所述的数据查询方法。
9.一种存储介质,其特征在于,当所述存储介质中的指令由数据存储设备的处理器执行时,使得所述数据存储设备能够执行如权利要求1或2中所述的数据存储方法。
10.一种存储介质,其特征在于,当所述存储介质中的指令由数据查询设备的处理器执行时,使得所述数据查询设备能够执行如权利要求3或4中所述的数据查询方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911205775.1A CN110955646A (zh) | 2019-11-29 | 2019-11-29 | 一种数据存储、查询方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911205775.1A CN110955646A (zh) | 2019-11-29 | 2019-11-29 | 一种数据存储、查询方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110955646A true CN110955646A (zh) | 2020-04-03 |
Family
ID=69979220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911205775.1A Pending CN110955646A (zh) | 2019-11-29 | 2019-11-29 | 一种数据存储、查询方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110955646A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111506594A (zh) * | 2020-04-17 | 2020-08-07 | 瑞纳智能设备股份有限公司 | 一种大数据查询平台及其管理方法和数据查询方法 |
CN111698165A (zh) * | 2020-04-30 | 2020-09-22 | 新华三信息安全技术有限公司 | 一种报文传输方法、装置、设备及机器可读存储介质 |
CN111782686A (zh) * | 2020-05-13 | 2020-10-16 | 北京三快在线科技有限公司 | 用户数据的查询方法、装置、电子设备及存储介质 |
CN112765259A (zh) * | 2021-01-20 | 2021-05-07 | 青岛海信网络科技股份有限公司 | 一种地铁线网中心的数据处理方法及装置 |
CN114331512A (zh) * | 2021-12-22 | 2022-04-12 | 重庆汇博利农科技有限公司 | 一种可视化数据建模及大数据画像的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005215915A (ja) * | 2004-01-29 | 2005-08-11 | Dainippon Printing Co Ltd | 個人情報配信システム |
US20140181784A1 (en) * | 2012-12-22 | 2014-06-26 | Oracle International Corporation | Dynamic user interface tag format |
CN109359171A (zh) * | 2018-08-21 | 2019-02-19 | 中国平安人寿保险股份有限公司 | 标签的管控方法、装置、计算机设备和存储介质 |
CN110020086A (zh) * | 2017-12-22 | 2019-07-16 | 中国移动通信集团浙江有限公司 | 一种用户画像查询方法及装置 |
CN110334279A (zh) * | 2019-07-09 | 2019-10-15 | 西安点告网络科技有限公司 | 广告投放方法、装置、服务器及存储介质 |
-
2019
- 2019-11-29 CN CN201911205775.1A patent/CN110955646A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005215915A (ja) * | 2004-01-29 | 2005-08-11 | Dainippon Printing Co Ltd | 個人情報配信システム |
US20140181784A1 (en) * | 2012-12-22 | 2014-06-26 | Oracle International Corporation | Dynamic user interface tag format |
CN110020086A (zh) * | 2017-12-22 | 2019-07-16 | 中国移动通信集团浙江有限公司 | 一种用户画像查询方法及装置 |
CN109359171A (zh) * | 2018-08-21 | 2019-02-19 | 中国平安人寿保险股份有限公司 | 标签的管控方法、装置、计算机设备和存储介质 |
CN110334279A (zh) * | 2019-07-09 | 2019-10-15 | 西安点告网络科技有限公司 | 广告投放方法、装置、服务器及存储介质 |
Non-Patent Citations (1)
Title |
---|
马晓雪 等, 北京:北京邮电大学出版社 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111506594A (zh) * | 2020-04-17 | 2020-08-07 | 瑞纳智能设备股份有限公司 | 一种大数据查询平台及其管理方法和数据查询方法 |
CN111506594B (zh) * | 2020-04-17 | 2023-03-24 | 瑞纳智能设备股份有限公司 | 一种大数据查询平台及其管理方法和数据查询方法 |
CN111698165A (zh) * | 2020-04-30 | 2020-09-22 | 新华三信息安全技术有限公司 | 一种报文传输方法、装置、设备及机器可读存储介质 |
CN111698165B (zh) * | 2020-04-30 | 2023-12-26 | 新华三信息安全技术有限公司 | 一种报文传输方法、装置、设备及机器可读存储介质 |
CN111782686A (zh) * | 2020-05-13 | 2020-10-16 | 北京三快在线科技有限公司 | 用户数据的查询方法、装置、电子设备及存储介质 |
CN112765259A (zh) * | 2021-01-20 | 2021-05-07 | 青岛海信网络科技股份有限公司 | 一种地铁线网中心的数据处理方法及装置 |
CN114331512A (zh) * | 2021-12-22 | 2022-04-12 | 重庆汇博利农科技有限公司 | 一种可视化数据建模及大数据画像的方法 |
CN114331512B (zh) * | 2021-12-22 | 2023-08-25 | 重庆汇博利农科技有限公司 | 一种可视化数据建模及大数据画像的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110955646A (zh) | 一种数据存储、查询方法、装置、设备及介质 | |
US11899681B2 (en) | Knowledge graph building method, electronic apparatus and non-transitory computer readable storage medium | |
CN111797210A (zh) | 基于用户画像的信息推荐方法、装置、设备及存储介质 | |
CN104850546B (zh) | 移动媒介信息的展示方法和系统 | |
CN110020086B (zh) | 一种用户画像查询方法及装置 | |
CN105574051B (zh) | 更新用户所满足的规则的方法及处理系统 | |
CN115039090A (zh) | 数据查询方法、装置、服务器及存储介质 | |
CN105005567B (zh) | 兴趣点查询方法和系统 | |
CN111143555A (zh) | 基于大数据的客户画像生成方法、装置、设备及存储介质 | |
CN107451280B (zh) | 数据打通方法、装置及电子设备 | |
CN108268512B (zh) | 一种标签查询方法及装置 | |
CN114066533A (zh) | 产品推荐方法、装置、电子设备及存储介质 | |
CN109145092B (zh) | 一种数据库更新、智能问答管理方法、装置及其设备 | |
CN107391533B (zh) | 生成图形数据库查询结果的方法及装置 | |
CN117149804A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN108549722B (zh) | 多平台数据发布方法、系统及介质 | |
CN114282119B (zh) | 一种基于异构信息网络的科技信息资源检索方法及系统 | |
CN103677810B (zh) | 业务移动应用系统及其应用方法 | |
Antunes et al. | Semantic-based publish/subscribe for M2M | |
CN113076395B (zh) | 语义模型训练、搜索显示方法、装置、设备及存储介质 | |
CN111639260B (zh) | 内容推荐方法及其装置、存储介质 | |
CN111310088B (zh) | 一种页面渲染方法及装置 | |
CN114356991A (zh) | 数据查询方法、数据聚合方法、装置、设备及介质 | |
CN114138821A (zh) | 一种数据库查询方法、系统和电子设备 | |
CN102799649B (zh) | 输入智能提示装置和输入智能提示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200403 |