CN109299089A - 一种画像标签数据的计算及存储方法和计算及存储系统 - Google Patents
一种画像标签数据的计算及存储方法和计算及存储系统 Download PDFInfo
- Publication number
- CN109299089A CN109299089A CN201810982952.6A CN201810982952A CN109299089A CN 109299089 A CN109299089 A CN 109299089A CN 201810982952 A CN201810982952 A CN 201810982952A CN 109299089 A CN109299089 A CN 109299089A
- Authority
- CN
- China
- Prior art keywords
- data
- portrait
- label
- level
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及画像数据计算及存储技术，为标签数据计算及存储方法和系统，其方法包括：获取并存储业务数据；对过程数据两级缓存：对业务数据按照时间周期汇总计算，获得并缓存一级过程数据，对一级过程数据按照时间窗口汇总计算，获得并缓存二级过程数据；对结果数据两级缓存：对二级过程数据根据机器学习算法计算，获得并缓存三级结果数据，对三级结果数据按照画像标签计算规则计算，获得并缓存四级画像标签数据；将四级画像标签数据转化为画像标签实时数据、画像标签历史数据及标签分析数据，对画像标签实时数据、画像标签历史数据进行存储并对标签分析数据进行缓存，并对数据查询请求进行判断处理。应用本发明，可提高标签数据查询效率。
Description
技术领域
本发明涉及画像数据的计算及存储技术，尤其涉及一种标签数据计算及存储方法和计算及存储系统。
背景技术
目前随着画像技术的广泛应用，以及数据资产的运营日趋成熟，画像技术有效支撑了数据资产的数据价值提炼，为客服人员与营销人员有效把握用户的行为属性提供了良好基础。
画像技术输出画像标签需要海量的数据资源作为基础支撑，根据业务需求，画像技术的计算过程包含了海量的临时数据，标签输入数据具有数据复杂、数据量庞大的特点，标签输出数据具有关联多样、调用需求多的特点。因此，画像标签计算及存储系统需要考虑标签输入数据、过程数据的临时存储，同时还要考虑标签历史数据的长期存储问题。
画像标签的输入数据包括诸如业务系统记录等的结构化数据、诸如客服工单等的半结构化数据以及诸如系统日志等的非结构化数据，计算画像标签完成后，其附带的许多相关数据，包括标签元数据、用户特征数据、用户策略数据等，同时，画像标签可以按照不同的实体对象建立不同的画像体系，画像标签相关数据多种多样。进一步，系统可以根据不同的数据查询请求，调用不同时间的标签，纵向分析标签数据情况，所以当前大部分画像标签计算及存储系统存在查询效率慢的问题。
综合考虑画像标签具备的特点，本发明人认为，有必要提出一种通过高效计算与存储的系统与方法，有效管理数据存储空间，迅速反馈业务应用端的标签数据查询请求。
发明内容
为了解决现有技术所存在的上述问题，本发明提供了一种画像标签数据的计算及存储方法，用以提高标签数据查询的效率。
本发明还提供了一种画像标签数据的计算及存储系统。
本发明的画像标签数据的计算及存储方法，包括以下步骤：
S1、获取并存储业务数据；
S2、对过程数据进行两级缓存：对业务数据按照时间周期汇总计算，获得并缓存一级过程数据，对一级过程数据按照时间窗口汇总计算，获得并缓存二级过程数据；
S3、对结果数据进行两级缓存：对二级过程数据根据机器学习算法计算，获得并缓存三级结果数据，对三级结果数据按照画像标签计算规则计算，获得并缓存四级画像标签数据；
S4、将四级画像标签数据转化为画像标签实时数据、画像标签历史数据及标签分析数据，对画像标签实时数据、画像标签历史数据进行存储并对标签分析数据进行缓存，并对数据查询请求进行判断处理。
优选地，步骤S2获取步骤S1的每条业务数据，根据设定的时间周期对业务数据进行预处理，将预处理后形成的一级过程数据发送出去进行缓存；还获取每条一级过程数据，按照设定的时间窗口对该一级过程数据进行集成处理，将集成处理后形成的二级过程数据发送出去进行缓存。
优选地，步骤S3获取二级过程数据后，利用机器学习算法对二级过程数据进行计算，并将计算后获得优选地，级结果数据进行计算，将计算后形成的四级画像标签数据发送出去进行缓存。
优选地，步骤S4对四级画像标签数据的更新时间进行判断，对最新的画像标签实时数据由关系型数据库存储，对小于最新更新时间的画像标签历史数据由非关系型数据库存储，对标签分析数据由应用缓存服务器缓存；并对数据查询请求进行判断，根据判断结果确定数据查询调用区域。
优选地，步骤S4根据查询请求，检查近期是否存在相同的查询请求，若有，直接从应用缓存服务器中返回数据；若无，则根据查询请求向关系型数据库或非关系型数据库发出查询请求，关系型数据库或非关系型数据库基于查询请求向应用缓存服务器返回查询的标签分析数据，并由应用缓存服务器返回数据，同时由应用缓存服务器根据设定周期缓存标签分析数据。
本发明的画像标签数据的计算及存储系统，包括：
数据仓库，用于获取并存储业务数据；
第一分布式缓存服务器集群，用于存储一级过程数据及二级过程数据，其包括：计算服务器和多个业务数据一级缓存服务器；计算服务器从数据仓库获取业务数据并按照时间周期汇总计算，获得并缓存一级过程数据到相应的业务数据一级缓存服务器，还对一级过程数据按照时间窗口汇总计算，获得并缓存二级过程数据到相应的业务数据一级缓存服务器；
第二分布式缓存服务器集群，用于存储三级结果数据及四级画像标签数据，其包括：计算服务器和多个业务数据二级缓存服务器；计算服务器对二级过程数据根据机器学习算法计算，获得并缓存三级结果数据到相应的业务数据二级缓存服务器，还对三级结果数据按照画像标签计算规则计算，获得并缓存四级画像标签数据到相应的业务数据二级缓存服务器；
第三分布式存储服务器集群，用于将四级画像标签数据转化为画像标签实时数据、画像标签历史数据及标签分析数据，其包括：存储画像标签实时数据的关系型数据库服务器、存储画像标签历史数据的非关系型数据库服务器和存储标签分析数据的应用缓存服务器，以及用于对数据查询请求进行判断处理的数据查询调用服务器。
优选地，所述数据查询调用服务器，用于接收到数据查询请求后，判断该查询请求在近期内是否有相同的查询请求，并根据判断结果对关系型数据库、非关系数据库或者应用缓存服务器进行数据调用。
可见，本发明的技术方案采用三级集群服务器计算并存储海量混合画像标签过程数据与结果：系统接收业务数据后，由第一级缓存服务器集群根据业务数据的画像对象类型的汇总周期与时间窗口进行集成合并，之后由第二级缓存服务器集群按照机器学习算法与画像标签规则对集成数据进行计算输出，由第三级存储服务器集群接收并存储在相应的关系型数据库中，同时对标签历史数据转入相应的非关系型数据库中，根据数据查询请求，迅速确定并返回需要查询的标签分析数据，提高了海量混合类型的画像标签数据查询效率。
附图说明
图1为本发明实施例提供的画像标签数据的计算及存储系统流程图；
图2为本发明实施例提供的画像标签数据的计算及存储物理流程图；
图3为本发明实施例提供的画像标签数据的查询方法流程示意图。
具体实施方式
以下将结合附图及实施例对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其他实施例，都属于本发明所保护的范围。
本申请使用的“模块”、“系统”等术语旨在包括与计算机相关的实体，例如但不限于硬件、固件、软硬件组合、软件或者执行中的软件。例如，模块可以是，但不仅限于：处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说，计算机设备上运行的应用程序和此计算设备都可以是模块。一个或多个模块可以位于执行中的一个进程和/或线程内，一个模块也可以位于一台计算机上和/或分布于两台或更多台计算机之间。
本实施例的技术方案中，采用三级集群服务器计算并存储海量混合画像标签过程数据与结果数据：计算及存储系统接收业务数据后，由第一级缓存服务器集群根据业务数据的画像对象类型的汇总周期与时间窗口进行集成合并，之后由第二级缓存服务器集群按照机器学习算法与画像标签规则对集成数据进行计算输出，由第三级存储服务器集群接收并存储在相应的关系型数据库中，同时对标签历史数据转入相应的非关系型数据库中，根据数据查询请求，迅速确定并返回需要查询的标签分析数据，提高了海量混合类型的画像标签数据查询效率。
下面结合附图详细说明本发明实施例的技术方案。本发明实施例提供的画像标签数据的计算及存储系统的结构如图1所示。包括：数据仓库101、第一分布式缓存服务器集群102、第二分布式缓存服务器集群103、第三分布式存储服务器集群104；
其中，数据仓库101用于获取并存储包含画像对象类型、画像对象标识、对象行为记录、行为记录时间的海量历史业务数据，表1示出了数据仓库101存储的业务数据。
表1
| 画像对象类型 | 画像对象标识 | 对象行为记录(计费电量) | 行为记录时间 |
| 用电客户 | 030600001 | 2350.12 | 2018-01-01 |
| 用电客户 | 030600001 | 234.68 | 2018-01-23 |
| 用电客户 | 030600001 | 4469.47 | 2018-02-01 |
上述画像对象类型包括：用户、设备、工单、员工等。
具体的，第一分布式缓存服务器集群102，用于存储一级过程数据及二级过程数据，其包括：计算服务器和多个业务数据一级缓存服务器；其中，一条一级过程数据包括：画像对象类型、画像对象标识、汇总时间周期、对象行为记录，表2示出了第一分布式缓存服务器集群102缓存的一级过程数据；一条二级过程数据包括：画像对象类型、画像对象标识、对象行为记录，表3示出了第一分布式缓存服务器集群102缓存的二级过程数据。
表2
| 画像对象类型 | 画像对象标识 | 汇总时间 | 对象行为记录(月用电量) |
| 用电客户 | 030600001 | 2018年1月 | 2584.80 |
| 用电客户 | 030600001 | 2018年2月 | 4469.47 |
表3
| 画像对象类型 | 画像对象标识 | 对象行为记录(近6月平均用电量) |
| 用电客户 | 030600001 | 3592.03 |
| 用电客户 | 030600002 | 1652.52 |
具体的，第二分布式缓存服务器集群103，用于存储三级结果数据及四级画像标签数据，其包括：计算服务器和多个业务数据二级缓存服务器；其中，一条三级结果数据包括：画像对象类型、画像对象标识、多个不同标签指标等，表4示出了第二分布式缓存服务器集群103缓存的三级结果数据；一条四级画像标签数据包括：画像对象类型、画像对象标识、画像标签指标，表5示出了第二分布式缓存服务器集群103缓存的四级画像标签数据。
表4
表5
| 画像对象类型 | 画像对象标识 | 电量类型 | 投诉类型 |
| 用电客户 | 030600001 | 高电量 | 经常投诉 |
| 用电客户 | 030600002 | 中电量 | 投诉沉默 |
具体的，第三分布式存储服务器集群104，将四级画像标签数据转化为画像标签实时数据、画像标签历史数据及标签分析数据，并存储画像标签实时数据、画像标签历史数据及标签分析数据，其包括：关系型数据库服务器、非关系型数据库服务器、数据查询调用服务器、应用缓存服务器；其中，一条画像标签实时数据包括：画像对象标识、画像对象名称、多个不同画像标签等，表6示出了第三分布式存储服务器集群104缓存的画像标签实时数据；一条画像标签历史数据包括：画像对象标识、画像对象名称、画像标签汇总、画像更新时间，表7示出了第三分布式存储服务器集群104缓存的画像标签历史数据；一条标签分析数据包括：画像标签标识、画像对象标识、多个画像分析指标，表8示出了第三分布式存储服务器集群104缓存的标签分析数据。
表6
| 画像对象类型 | 画像对象标识 | 画像标签汇总 | 画像更新时间 |
| 用电客户 | 030600001 | 高电量 | 2018-07-06 01:00:00 |
| 用电客户 | 030600002 | 经常投诉 | 2018-07-06 01:00:06 |
表7
表8
| 画像标签标识 | 画像对象标识 | 近6个月电费波动值 | 近3个月停电次数 |
| 000001001 | 030600001 | 0.43 | 0.86 |
| 000001002 | 030600001 | 0.27 | 1.03 |
具体的，数据查询调用服务器用于接收到数据查询请求后，判断该查询请求在短期历史内是否有相同的查询请求，并根据判断结果对关系型数据库、非关系数据库或者应用缓存服务器进行数据调用。
本发明实施例提供的画像标签数据的计算及存储方法的流程如图2所示。包括如下步骤：
S201、数据仓库从各大业务系统及互联网获取到业务数据后，根据数据结构设计长期存储方式，对海量业务数据进行存储；
本步骤中，历史业务数据由数据仓库存储，数据仓库通过ETL方式或者归档日志解析方式从业务系统获取数据，而外部数据则通过数据爬取方式从互联网获取。
S202、第一分布式缓存服务器集群对过程数据进行两级缓存，计算服务器对业务数据按照时间周期汇总计算，获得并缓存一级过程数据，计算服务器对一级过程数据按照时间窗口汇总计算，获得并缓存二级过程数据。
本步骤中，所述第一分布式缓存服务器集群的计算服务器用于从所述数据仓库获取每条业务数据，根据设定的时间周期对该业务数据进行预处理，将预处理后形成的一级过程数据发送到对应的一级过程数据缓存服务器进行缓存；所述计算服务器用于从所述一级过程数据缓存服务器获取每条一级过程数据，按照设定的时间窗口对该一级过程数据进行集成处理，将集成处理后形成的二级过程数据发送到对应的一级过程数据缓存服务器进行缓存；
S203、第二分布式缓存服务器集群对结果数据进行两级缓存，计算服务器对二级过程数据根据机器学习算法计算，获得并缓存三级结果数据，计算服务器对三级结果数据按照画像标签计算规则计算，获得并缓存四级画像标签数据。
本步骤中，所述第二分布式缓存服务器集群的计算服务器对于每个一级缓存服务器，获取该一级缓存服务器中缓存的二级过程数据后，根据实体对象编号利用机器学习算法对二级过程数据进行计算，并将计算后获得的三级结果数据发送至对应的二级缓存服务器进行缓存；所述计算服务器从二级缓存服务器获取每条三级结果数据，按照画像标签计算规则对该结果数据进行计算，将计算后形成的四级画像标签数据发送到对应的二级缓存服务器进行缓存；
S204、第三分布式存储服务器集群对画像数据进行存储、接收并处理查询请求，对画像分析数据进行缓存，关系型数据库对画像实时数据进行存储，非关系型数据库对画像历史数据进行存储，应用缓存服务器对标签分析数据进行存储，数据查询调用服务器对数据查询请求进行判断处理。
本步骤中，所述第三分布式存储服务器集群对四级画像标签数据的更新时间进行判断，对最新的标签实时数据由关系型数据库存储；对小于最新更新时间的标签历史数据由非关系型数据库存储；所述数据查询调用服务器对查询请求进行判断，根据判断结果确定数据查询调用区域，并将数据结果返回客户端。
本发明实施例提供的画像标签数据查询方法的流程如图3所示，包括如下步骤：
S301、数据查询调用服务器根据数据查询请求，对数据查询请求进行解析；
S302、数据查询调用服务器根据数据查询请求的解析结果，检查近期是否存在相同的查询请求，若有，直接将数据查询请求发送给应用缓存服务器，若无，则根据具体数据查询请求向关系型数据库或非关系型发出查询请求；
S303、关系型数据库或非关系型数据库基于查询请求，从数据库获取并按照查询请求计算数据；
S304、关系型数据库或非关系型数据库通过JDBC方式向应用缓存服务器推送查询的标签分析数据并由应用缓存服务器缓存，应用缓存服务器根据实际情况设置存储周期为1天，缓存标签分析数据；
S305、应用缓存服务器收到数据库推送的标签分析数据，并迅速返回数据给应用端。
如上所述，即可较好地实现本发明。
Claims (10)
1.一种画像标签数据的计算及存储方法，其特征在于，包括以下步骤：
S1、获取并存储业务数据；
S2、对过程数据进行两级缓存：对业务数据按照时间周期汇总计算，获得并缓存一级过程数据，对一级过程数据按照时间窗口汇总计算，获得并缓存二级过程数据；
S3、对结果数据进行两级缓存：对二级过程数据根据机器学习算法计算，获得并缓存三级结果数据，对三级结果数据按照画像标签计算规则计算，获得并缓存四级画像标签数据；
S4、将四级画像标签数据转化为画像标签实时数据、画像标签历史数据及标签分析数据，对画像标签实时数据、画像标签历史数据进行存储并对标签分析数据进行缓存，并对数据查询请求进行判断处理。
2.根据权利要求1所述的画像标签数据的计算及存储方法，其特征在于，步骤S2获取步骤S1的每条业务数据，根据设定的时间周期对业务数据进行预处理，将预处理后形成的一级过程数据发送出去进行缓存；还获取每条一级过程数据，按照设定的时间窗口对该一级过程数据进行集成处理，将集成处理后形成的二级过程数据发送出去进行缓存。
3.根据权利要求1所述的画像标签数据的计算及存储方法，其特征在于，步骤S3获取二级过程数据后，利用机器学习算法对二级过程数据进行计算，并将计算后获得的三级结果数据发送出去进行缓存；还获取每条三级结果数据，按照画像标签计算规则对该三级结果数据进行计算，将计算后形成的四级画像标签数据发送出去进行缓存。
4.根据权利要求1所述的画像标签数据的计算及存储方法，其特征在于，步骤S4对四级画像标签数据的更新时间进行判断，对最新的画像标签实时数据由关系型数据库存储，对小于最新更新时间的画像标签历史数据由非关系型数据库存储，对标签分析数据由应用缓存服务器缓存；并对数据查询请求进行判断，根据判断结果确定数据查询调用区域。
5.根据权利要求4所述的画像标签数据的计算及存储方法，其特征在于，步骤S4根据查询请求，检查近期是否存在相同的查询请求，若有，直接从应用缓存服务器中返回数据；若无，则根据查询请求向关系型数据库或非关系型数据库发出查询请求，关系型数据库或非关系型数据库基于查询请求向应用缓存服务器返回查询的标签分析数据，并由应用缓存服务器返回数据，同时由应用缓存服务器根据设定周期缓存标签分析数据。
6.根据权利要求1所述的画像标签数据的计算及存储方法，其特征在于，步骤S1中，针对历史业务数据，通过ETL方式或者归档日志解析方式获取，针对外部数据，通过数据爬取方式从互联网获取。
7.一种画像标签数据的计算及存储系统，其特征在于，包括：
数据仓库，用于获取并存储业务数据；
第一分布式缓存服务器集群，用于存储一级过程数据及二级过程数据，其包括：计算服务器和多个业务数据一级缓存服务器；计算服务器从数据仓库获取业务数据并按照时间周期汇总计算，获得并缓存一级过程数据到相应的业务数据一级缓存服务器，还对一级过程数据按照时间窗口汇总计算，获得并缓存二级过程数据到相应的业务数据一级缓存服务器；
第二分布式缓存服务器集群，用于存储三级结果数据及四级画像标签数据，其包括：计算服务器和多个业务数据二级缓存服务器；计算服务器对二级过程数据根据机器学习算法计算，获得并缓存三级结果数据到相应的业务数据二级缓存服务器，还对三级结果数据按照画像标签计算规则计算，获得并缓存四级画像标签数据到相应的业务数据二级缓存服务器；
第三分布式存储服务器集群，用于将四级画像标签数据转化为画像标签实时数据、画像标签历史数据及标签分析数据，其包括：存储画像标签实时数据的关系型数据库服务器、存储画像标签历史数据的非关系型数据库服务器和存储标签分析数据的应用缓存服务器，以及用于对数据查询请求进行判断处理的数据查询调用服务器。
8.根据权利要求7所述的画像标签数据的计算及存储系统，其特征在于，所述数据查询调用服务器，用于接收到数据查询请求后，判断该查询请求在近期内是否有相同的查询请求，并根据判断结果对关系型数据库、非关系数据库或者应用缓存服务器进行数据调用。
9.根据权利要求8所述的画像标签数据的计算及存储系统，其特征在于，数据查询调用服务器对数据查询请求进行判断处理的过程包括：
数据查询调用服务器对数据查询请求进行解析；
数据查询调用服务器根据解析结果，检查近期内是否存在相同的查询请求，若有，直接将数据查询请求发送给应用缓存服务器，若无，则根据数据查询请求向关系型数据库或非关系型发出查询请求；
关系型数据库或非关系型数据库基于查询请求，从数据库获取数据并按照查询请求计算数据；
关系型数据库或非关系型数据库通过JDBC方式向应用缓存服务器推送查询的标签分析数据并由应用缓存服务器缓存，应用缓存服务器根据实际情况设置存储周期，缓存标签分析数据；
应用缓存服务器收到关系型数据库或非关系型数据库推送的标签分析数据，并返回数据。
10.根据权利要求7所述的画像标签数据的计算及存储系统，其特征在于，计算及存储的数据中，一条业务数据包括：画像对象类型、画像对象标识、对象行为记录、行为记录时间；一条一级过程数据包括：画像对象类型、画像对象标识、汇总时间周期、对象行为记录；一条二级过程数据包括：画像对象类型、画像对象标识、对象行为记录；一条三级结果数据包括：画像对象类型、画像对象标识、标签计算指标等；一条四级画像标签数据包括：画像对象类型、画像对象标识、画像标签内容；一条实时数据包括：画像对象标识、画像对象名称、多个不同画像标签等；一条历史数据包括：画像对象标识、画像对象名称、画像标签汇总、画像更新时间；一条标签分析数据包括：画像标签标识、画像对象标签、多个画像分析指标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810982952.6A CN109299089B (zh) | 2018-08-27 | 2018-08-27 | 一种画像标签数据的计算及存储方法和计算及存储系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810982952.6A CN109299089B (zh) | 2018-08-27 | 2018-08-27 | 一种画像标签数据的计算及存储方法和计算及存储系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109299089A true CN109299089A (zh) | 2019-02-01 |
| CN109299089B CN109299089B (zh) | 2020-05-26 |
Family
ID=65165419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810982952.6A Active CN109299089B (zh) | 2018-08-27 | 2018-08-27 | 一种画像标签数据的计算及存储方法和计算及存储系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109299089B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112307019A (zh) * | 2020-10-09 | 2021-02-02 | 北京沃东天骏信息技术有限公司 | 数据处理方法、装置及非瞬时性计算机可读存储介质 |
| CN113761003A (zh) * | 2021-04-15 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 用户画像数据处理方法和装置、电子设备和可读存储介质 |
| CN114116827A (zh) * | 2022-01-28 | 2022-03-01 | 北京华品博睿网络技术有限公司 | 一种用户画像数据的查询系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103607463A (zh) * | 2013-11-25 | 2014-02-26 | 中国电信集团系统集成有限责任公司 | 定位数据存储系统和存储方法 |
| CN104462389A (zh) * | 2014-12-10 | 2015-03-25 | 上海爱数软件有限公司 | 基于分级存储的分布式文件系统实现方法 |
| CN105512336A (zh) * | 2015-12-29 | 2016-04-20 | 中国建设银行股份有限公司 | 一种基于Hadoop的海量数据处理方法和装置 |
| US20170177860A1 (en) * | 2015-12-18 | 2017-06-22 | Amazon Technologies, Inc. | Software container registry container image deployment |
| CN107193909A (zh) * | 2017-05-08 | 2017-09-22 | 杭州东方通信软件技术有限公司 | 数据处理方法及系统 |
| CN108021670A (zh) * | 2017-12-06 | 2018-05-11 | 中国南方航空股份有限公司 | 多源异构数据融合系统及方法 |
-
2018
- 2018-08-27 CN CN201810982952.6A patent/CN109299089B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103607463A (zh) * | 2013-11-25 | 2014-02-26 | 中国电信集团系统集成有限责任公司 | 定位数据存储系统和存储方法 |
| CN104462389A (zh) * | 2014-12-10 | 2015-03-25 | 上海爱数软件有限公司 | 基于分级存储的分布式文件系统实现方法 |
| US20170177860A1 (en) * | 2015-12-18 | 2017-06-22 | Amazon Technologies, Inc. | Software container registry container image deployment |
| CN105512336A (zh) * | 2015-12-29 | 2016-04-20 | 中国建设银行股份有限公司 | 一种基于Hadoop的海量数据处理方法和装置 |
| CN107193909A (zh) * | 2017-05-08 | 2017-09-22 | 杭州东方通信软件技术有限公司 | 数据处理方法及系统 |
| CN108021670A (zh) * | 2017-12-06 | 2018-05-11 | 中国南方航空股份有限公司 | 多源异构数据融合系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李存琛: "海量数据分布式存储技术的研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112307019A (zh) * | 2020-10-09 | 2021-02-02 | 北京沃东天骏信息技术有限公司 | 数据处理方法、装置及非瞬时性计算机可读存储介质 |
| CN112307019B (zh) * | 2020-10-09 | 2024-04-09 | 北京沃东天骏信息技术有限公司 | 数据处理方法、装置及非瞬时性计算机可读存储介质 |
| CN113761003A (zh) * | 2021-04-15 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 用户画像数据处理方法和装置、电子设备和可读存储介质 |
| CN114116827A (zh) * | 2022-01-28 | 2022-03-01 | 北京华品博睿网络技术有限公司 | 一种用户画像数据的查询系统及方法 |
| CN114116827B (zh) * | 2022-01-28 | 2022-05-17 | 北京华品博睿网络技术有限公司 | 一种用户画像数据的查询系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109299089B (zh) | 2020-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200184509A1 (en) | System and Method for Performing Cross-Platform Big Data Analytics | |
| US10754877B2 (en) | System and method for providing big data analytics on dynamically-changing data models | |
| CN108416620B (zh) | 一种基于大数据的画像数据的智能社交广告投放平台 | |
| US10395271B2 (en) | System and method for normalizing campaign data gathered from a plurality of advertising platforms | |
| CN102236851B (zh) | 基于用户赋权的多维信用体系实时计算的方法及系统 | |
| US11042899B2 (en) | System and method for tracking users across a plurality of media platforms | |
| US10824614B2 (en) | Custom query parameters in a database system | |
| CN105608188A (zh) | 数据处理方法和数据处理装置 | |
| CN108415964A (zh) | 数据表查询方法、装置、终端设备及存储介质 | |
| CN109656958B (zh) | 数据查询方法以及系统 | |
| CN104903894A (zh) | 用于分布式数据库查询引擎的系统和方法 | |
| US10740356B2 (en) | Dynamic incremental updating of data cubes | |
| CN103207919A (zh) | 一种MongoDB集群快速查询计算的方法及装置 | |
| CN109299089A (zh) | 一种画像标签数据的计算及存储方法和计算及存储系统 | |
| CN111177202A (zh) | 一种基于区块链的供应链金融系统数据查询优化方法及平台 | |
| WO2019076001A1 (zh) | 信息更新方法和装置 | |
| AU2011204831A1 (en) | Digital analytics platform | |
| CN109039817A (zh) | 一种用于流量监控的信息处理方法和装置 | |
| CN111552885A (zh) | 实现自动化实时消息推送运营的系统及其方法 | |
| CN112419044A (zh) | 信用审核的方法、设备、电子装置和存储介质 | |
| CN105138686A (zh) | 一种用于多级存储数据的即时应用方法 | |
| CN114971714A (zh) | 一种基于大数据标签的精准客户运营方法和计算机设备 | |
| CN111522918A (zh) | 数据汇聚方法、装置、电子设备及计算机可读存储介质 | |
| Liu et al. | Parallelizing uncertain skyline computation against n‐of‐N data streaming model | |
| CN109510859A (zh) | 一种推送消息的到达量的统计方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |