CN109284195A - 一种实时画像数据计算方法及系统 - Google Patents
一种实时画像数据计算方法及系统 Download PDFInfo
- Publication number
- CN109284195A CN109284195A CN201810983596.XA CN201810983596A CN109284195A CN 109284195 A CN109284195 A CN 109284195A CN 201810983596 A CN201810983596 A CN 201810983596A CN 109284195 A CN109284195 A CN 109284195A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- time
- server
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及画像数据的计算技术，具体涉及实时画像数据计算方法及系统，其方法包括：对日志数据进行实时采集、解析，形成数据采集链接；根据数据采集链接，按照数据类型对采集的日志数据进行划分，形成有序消息队列，将所采集的日志数据作为Kafka消息源，利用Kafka消息队列的异步通信机制将各层之间解耦转发出去；使用Strom集群，基于画像标签的计算规则实时计算数据流，输出实时画像标签；对计算输出的实时画像存储，供查询并返回数据，对短期查询的实时数据缓存，供短期高频查询使用；接收数据查询请求，调度处理数据，对实时画像标签数据有效整理，返回实时画像数据并可视化展示。本发明提高了实时画像数据的计算输出效率。
Description
技术领域
本发明涉及画像数据的计算技术，具体涉及一种实时画像数据计算方法及系统。
背景技术
随着大数据应用技术发展，企业在各个业务应用端产生了大量非结构化和半结构化数据，积累了海量数据。客户画像标签快速分析是企业的重要数据资产转化价值方式之一，可以帮助企业根据用户行为数据，分析客户特征，获取客户实时画像标签。
在构建用户画像的过程中，一般基于历史数据离线计算或者Hadoop的批处理系统进行计算，输出历史画像标签或者准实时标签。
在企业的客户服务中，大多数话务场景需要实时了解用户的背景现状与行为属性，画像技术在客服应用中，具有低延迟、增量计算的需求。但是无论针对上述哪种客户画像数据，均需等待一定时长后，才能构建用户画像，所以时效性较差。同时在构建用户画像时需进行海量数据的批量处理，处理过程耗时长、过程复杂且计算量大。因此，当前大多数画像构建方法存在实时画像标签输出低效、不及时的缺陷，难以向客户服务业务提供实时画像标签，帮助话务人员及时了解客户属性。
综上，本发明人认为，有必要提出一种基于Storm技术的流式计算方法与系统，实时地计算日志数据，提高实时画像输出效率。
发明内容
为了解决现有技术所存在的问题，本发明提供一种实时画像数据计算方法，采用三级集群服务器计算海量业务数据并输出实时画像标签，提高了实时画像数据的计算输出效率。
本发明还提供一种实时画像数据计算系统。
本发明的实时画像数据计算方法，包括步骤：
S1、实时数据采集，对日志数据进行实时采集，并对所采集的日志数据进行解析，形成数据采集链接；
S2、实时数据转发，根据数据采集链接，按照数据类型对采集的日志数据进行划分，形成有序消息队列；其中，将所采集的日志数据作为Kafka消息源，放进Kafka消息队列中，利用Kafka消息队列的异步通信机制将各层之间解耦转发出去，实现数据的分类管理和高并发接入；
S3、实时数据计算，根据有序消息队列，使用Strom集群，基于画像标签的计算规则实时计算数据流，输出实时画像标签；
S4、实时数据存储，对计算输出的实时画像存储，供客户端根据具体业务情形查询并返回数据，同时针对短期查询的实时数据进行应用缓存，供短期高频查询使用；
S5、实时数据展示，接收客户端的数据查询请求，根据数据查询请求调度处理数据，对实时画像标签数据有效整理，返回实时画像数据并可视化展示。
优选地，在步骤S3的实时数据计算过程中，使用Strom集群创建Spout，接收Kafka消息队列数据，并以数据流的形式发送给bolt，bolt负责转化所述数据流，在bolt中完成过滤。
优选地，步骤S3中使用Storm集群对实时数据进行计算，包括如下步骤：
S301、建立实时计算拓扑，将应用程序实现的逻辑封装进Strom流式计算平台中的实时计算拓扑Topology，实时计算拓扑Topology是一组由数据源节点spouts和数据操作节点bolts通过消息队列进行连接的拓扑结构；
S3011、数据源节点spouts从Kafka服务器的数据源中不间断地获取数据，并以元组的形式发送给相应的数据操作节点bolts；
S3012、数据操作节点bolts对接收到的流数据进行计算处理，最后输出实时画像数据；
S302、Storm集群管理，由zookeeper服务器协调集群中各个线程、进程和服务器；
S303、Storm集群的Master服务器根据系统运行情况分发代码，将任务分配给工作节点Worker服务器执行，同时监控任务和工作节点的运行情况；
S304、Worker服务器负责接收Master服务器分发的任务并运行，每一个Worker服务器上都运行着部分Topology程序；
S305、将Storm流中分析的最新实时画像数据缓存到缓存服务器Redis中；
S306、将Storm流中计算完成的实时画像数据存储到存储服务器Hbase中。
本发明的实时画像数据计算系统，包括：
业务系统，用于记录业务流程并产生、缓存用户行为数据；
分布式数据采集服务器集群，用于采集各个不同业务系统的原始数据并汇总，形成有序消息队列，将所采集的日志数据作为Kafka消息源，放进Kafka消息队列中，利用Kafka消息队列的异步通信机制将各层之间解耦转发至分布式实时数据计算服务器集群，实现数据的分类管理和高并发接入；
分布式实时数据计算服务器集群，用于对转发过来的数据进行实时计算，将计算结果传递至存储服务器与缓存服务器；
分布式实时数据调度服务器集群，用于存储分析数据并根据客户端查询请求返回数据并可视化展示。
优选地，所述分布式数据采集服务器集群包括：Flume服务器与Kafka服务器；其中，Flume服务器用于数据实时采集，将采集不同业务系统的日志数据并汇总；Kafka服务器用于有序管理所采集的日志数据，在日志数据汇总之后，将所采集的日志数据作为Kafka消息源，利用Kafka消息队列的异步通信机制将各层之间解耦转发至分布式实时数据计算服务器集群。
优选地，所述分布式实时数据调度服务器集群包括存储服务器Hbase、缓存服务器Redis及数据可视化服务系统；其中，存储服务器Hbase用于对海量结果数据存储，供后续分析使用；缓存服务器Redis用于临时缓存最新实时画像数据，供短时间内的实时画像的迅速响应，数据可视化服务系统根据查询请求返回相应的数据可视化展示图。
由以上技术方案可知，本发明采用三级集群服务器计算海量业务数据并输出实时画像标签：业务系统产生业务日志数据后，由第一级服务器集群采集实时采集业务日志数据并汇总，将数据形成有序的消息队列转发给第二服务器集群；之后由第二级服务器集群按照画像标签规则对消息队列进行计算输出，第二级服务器集群的实时计算技术的核心采用了Strom流式计算平台，Strom本质上是一个由处理者和消息队列组成的消息处理网络，是具有实时、分布式、高度容错等特点的实时计算平台；第二级服务器集群输出的实时画像数据由第三级服务器集群接收并存储在相应的数据库中，同时根据数据查询请求将实时画像标签返回实时画像数据，提高了实时画像标签的计算输出效率。
附图说明
图1为本发明实施例提供的实时画像数据计算系统结构框图；
图2为本发明实施例提供的实时画像数据计算方法流程图；
图3为本发明实施例中采用Storm流对实时数据计算的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将结合附图对本发明的技术方案进行清楚、完整的描述；显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其他实施例，都属于本发明所保护的范围。
本发明使用的“模块”、“系统”等术语旨在包括与计算机相关的实体，例如但不限于硬件、固件、软硬件组合、软件或者执行中的软件。例如，模块可以是，但不仅限于：处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说，计算机设备上运行的应用程序和此计算设备都可以是模块。一个或多个模块可以位于执行中的一个进程和/或线程内，一个模块也可以位于一台计算机上和/或分布于两台或更多台计算机之间。
本发明实施例提供的实时画像数据计算系统的结构如图1所示，包括：业务系统101、分布式数据采集服务器集群102、分布式实时数据计算服务器集群103和分布式实时数据调度服务器集群104。
其中，业务系统101用于记录业务流程并产生、缓存用户行为数据，具体包括：企业各个业务域的IT系统，如营销系统、生产系统、计量系统等，或者互联网中微博及其他公众性社交平台。
而分布式数据采集服务器集群102用于采集各个不同业务系统的原始日志数据并汇总，进一步有序管理、汇总日志数据并将汇总后的日志数据实时转发至分布式实时数据计算服务器集群；分布式数据采集服务器集群具体包括：Flume服务器与Kafka服务器；其中，Flume服务器用于日志数据实时采集，Flume服务器将采集不同业务系统的日志数据并汇总；Kafka服务器用于有序管理采集的日志数据，在日志数据汇总之后，将所采集的日志数据作为Kafka消息源，利用Kafka消息队列的异步通信机制将各层之间解耦转发至分布式实时数据计算服务器集群。
分布式实时数据计算服务器集群103是一种Storm实时计算系统，用于对转发过来的数据进行统计与计算，将过程数据存储至缓存服务器，将计算结果传递至存储服务器；具体包括：Zookeeper服务器、master服务器及worker服务器；其中，Storm实时计算系统进行数据的实时计算，对计算产生的过程数据采用Redis缓存策略进行缓存。
分布式实时数据调度服务器集群104用于存储分析数据，并根据客户端查询请求返回数据并可视化展示；具体包括：存储服务器Hbase、缓存服务器Redis及数据可视化服务系统；其中，存储服务器Hbase用于对海量计算结果数据存储，供后续分析使用；缓存服务器Redis用于临时缓存画像查询数据，供短时间内的相同查询操作使用；数据可视化服务系统根据查询请求返回相应的数据可视化展示图。
本发明实施例提供的实时画像数据计算方法的流程如图2所示。包括如下步骤：
S201、使用Flume服务器对业务系统的日志数据进行实时采集，并对采集的日志数据进行解析，形成数据采集链接。
S202、根据数据采集链接，使用Kafka服务器按照数据类型对采集的日志数据进行划分，形成有序消息队列；其中，将所采集的日志数据作为Kafka消息源，放进Kafka消息队列中，利用Kafka消息队列的异步通信机制将各层之间解耦转发出去，实现数据的分类管理和高并发接入。
S203、根据有序消息队列，使用Strom集群，基于画像标签计算规则实时计算数据流，按照提前设计的画像体系中的画像标签计算规则，输出实时画像标签；其中，使用Strom创建Spout，接收Kafka消息队列数据，并以数据流的形式发送给bolt，bolt负责转化这些数据流，在bolt中完成过滤。
S204、将计算输出的实时画像标签存储至存储服务器Hbase，同时将Storm流中针对最新的实时数据使用缓存服务器Redis进行缓存，供短期高频查询使用，供客户端根据具体业务情形查询并返回数据。在客服业务中，方便话务座席人员在接入客服来电后，迅速查询来电客户的画像标签。
S205、接收客户端数据查询请求，根据数据查询请求调度处理数据，首先查询缓存服务器Redis，若数据存在，直接从缓存服务器Redis获取数据,否则从存储服务器Hbase中获取，并对实时画像标签数据有效整理，向客户端返回实时画像数据并可视化展示，有效提高数据的查询检索速度，优化系统性能。客服话务根据实时画像返回结果，实时展示客户画像标签，为座席人员客服应答提供实时画像支撑。
其中，步骤S203中采用Storm集群对实时数据进行计算的流程如图3所示。包括如下步骤：
S301：建立实时计算拓扑，将应用程序实现的逻辑封装进Strom流式计算平台中的实时计算拓扑Topology，实时计算拓扑Topology是一组由数据源节点spouts和数据操作节点bolts通过消息队列进行连接的拓扑结构；
S3011、数据源节点spouts从Kafka服务器的数据源中不间断地获取数据，并以元组的形式发送给相应的数据操作节点bolts；
S3012、数据操作节点bolts对接收到的流数据进行计算处理，最后输出实时画像数据。
S302、Storm集群管理，由zookeeper服务器协调集群中各个线程、进程和服务器，保证大型集群的良好运行；
S303、Storm集群的Master服务器根据系统运行情况分发代码，将任务分配给工作节点Worker服务器执行，同时监控任务和工作节点的运行情况等；
S304、Worker服务器负责接收Master服务器分发的任务并运行，每一个Worker服务器上都会运行着部分Topology程序；
S305、将Storm流中分析的最新实时画像数据缓存到缓存服务器Redis中；缓存服务器Redis利用物理内存进行缓存，具有高性能操作和运算的特点，为数据展示层提供既方便又快捷的数据检索，但是其容量受到物理内存的限制，不能用作海量数据的高性能读写。
S306、将Storm流中计算完成的实时画像数据存储到存储服务器Hbase中，为后续的查询和离线分析提供数据支撑；存储服务器HBase采用大数据存储框架，在保证足够的存储空间的前提下，利用存储服务器HBase的分布式特点来提高数据的存取速度，解决数据的单点存储隐患，保障数据的高可用性。
如上所述，便可较好地实现本发明。
Claims (6)
1.一种实时画像数据计算方法，其特征在于，包括步骤：
S1、实时数据采集，对日志数据进行实时采集，并对所采集的日志数据进行解析，形成数据采集链接；
S2、实时数据转发，根据数据采集链接，按照数据类型对采集的日志数据进行划分，形成有序消息队列；其中，将所采集的日志数据作为Kafka消息源，放进Kafka消息队列中，利用Kafka消息队列的异步通信机制将各层之间解耦转发出去，实现数据的分类管理和高并发接入；
S3、实时数据计算，根据有序消息队列，使用Strom集群，基于画像标签的计算规则实时计算数据流，输出实时画像标签；
S4、实时数据存储，对计算输出的实时画像存储，供客户端根据具体业务情形查询并返回数据，同时针对短期查询的实时数据进行应用缓存，供短期高频查询使用；
S5、实时数据展示，接收客户端的数据查询请求，根据数据查询请求调度处理数据，对实时画像标签数据有效整理，返回实时画像数据并可视化展示。
2.根据权利要求1所述的实时画像数据计算方法，其特征在于，在步骤S3的实时数据计算过程中，使用Strom集群创建Spout，接收Kafka消息队列数据，并以数据流的形式发送给bolt，bolt负责转化所述数据流，在bolt中完成过滤。
3.根据权利要求1或2所述的实时画像数据计算方法，其特征在于，步骤S3中使用Storm集群对实时数据进行计算，包括如下步骤：
S301、建立实时计算拓扑，将应用程序实现的逻辑封装进Strom流式计算平台中的实时计算拓扑Topology，实时计算拓扑Topology是一组由数据源节点spouts和数据操作节点bolts通过消息队列进行连接的拓扑结构；
S3011、数据源节点spouts从Kafka服务器的数据源中不间断地获取数据，并以元组的形式发送给相应的数据操作节点bolts；
S3012、数据操作节点bolts对接收到的流数据进行计算处理，最后输出实时画像数据；
S302、Storm集群管理，由zookeeper服务器协调集群中各个线程、进程和服务器；
S303、Storm集群的Master服务器根据系统运行情况分发代码，将任务分配给工作节点Worker服务器执行，同时监控任务和工作节点的运行情况；
S304、Worker服务器负责接收Master服务器分发的任务并运行，每一个Worker服务器上都运行着部分Topology程序；
S305、将Storm流中分析的最新实时画像数据缓存到缓存服务器Redis中；
S306、将Storm流中计算完成的实时画像数据存储到存储服务器Hbase中。
4.一种实时画像数据计算系统，其特征在于，包括：
业务系统，用于记录业务流程并产生、缓存用户行为数据；
分布式数据采集服务器集群，用于采集各个不同业务系统的原始数据并汇总，形成有序消息队列，将所采集的日志数据作为Kafka消息源，放进Kafka消息队列中，利用Kafka消息队列的异步通信机制将各层之间解耦转发至分布式实时数据计算服务器集群，实现数据的分类管理和高并发接入；
分布式实时数据计算服务器集群，用于对转发过来的数据进行实时计算，将计算结果传递至存储服务器与缓存服务器；
分布式实时数据调度服务器集群，用于存储分析数据并根据客户端查询请求返回数据并可视化展示。
5.根据权利要求4所述的实时画像数据计算系统，其特征在于，所述分布式数据采集服务器集群包括：Flume服务器与Kafka服务器；其中，Flume服务器用于数据实时采集，将采集不同业务系统的日志数据并汇总；Kafka服务器用于有序管理所采集的日志数据，在日志数据汇总之后，将所采集的日志数据作为Kafka消息源，利用Kafka消息队列的异步通信机制将各层之间解耦转发至分布式实时数据计算服务器集群。
6.根据权利要求4所述的实时画像数据计算系统，其特征在于，所述分布式实时数据调度服务器集群包括存储服务器Hbase、缓存服务器Redis及数据可视化服务系统；其中，存储服务器Hbase用于对海量结果数据存储，供后续分析使用；缓存服务器Redis用于临时缓存最新实时画像数据，供短时间内的实时画像的迅速响应，数据可视化服务系统根据查询请求返回相应的数据可视化展示图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810983596.XA CN109284195A (zh) | 2018-08-27 | 2018-08-27 | 一种实时画像数据计算方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810983596.XA CN109284195A (zh) | 2018-08-27 | 2018-08-27 | 一种实时画像数据计算方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109284195A true CN109284195A (zh) | 2019-01-29 |
Family
ID=65183459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810983596.XA Pending CN109284195A (zh) | 2018-08-27 | 2018-08-27 | 一种实时画像数据计算方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109284195A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110908883A (zh) * | 2019-11-15 | 2020-03-24 | 江苏满运软件科技有限公司 | 用户画像数据监控方法、系统、设备及存储介质 |
| CN110990473A (zh) * | 2019-11-28 | 2020-04-10 | 北京海益同展信息科技有限公司 | 标签数据处理系统和方法 |
| CN111754268A (zh) * | 2020-06-29 | 2020-10-09 | 深圳市酷开软件技术有限公司 | 基于ott大数据的用户标签生成方法、管理系统及存储介质 |
| CN111881221A (zh) * | 2020-07-07 | 2020-11-03 | 上海中通吉网络技术有限公司 | 物流服务里客户画像的方法、装置和设备 |
| CN112035534A (zh) * | 2020-09-18 | 2020-12-04 | 上海依图网络科技有限公司 | 一种实时大数据处理方法、装置及电子设备 |
| CN112163060A (zh) * | 2020-09-16 | 2021-01-01 | 安徽龙运智能科技有限公司 | 一种大数据技术处理海量gps数据系统 |
| CN112269805A (zh) * | 2020-11-18 | 2021-01-26 | 杭州米雅信息科技有限公司 | 数据处理方法、装置、设备及介质 |
| CN112561559A (zh) * | 2020-09-04 | 2021-03-26 | 上海东普信息科技有限公司 | 商户画像模型生成方法、装置、设备及存储介质 |
| CN113344604A (zh) * | 2021-04-16 | 2021-09-03 | 广州迅捷微风信息科技有限公司 | 一种基于用户行为数据及流计算的用户细分方法 |
| CN113821407A (zh) * | 2021-09-15 | 2021-12-21 | 浙江网新恩普软件有限公司 | 一种Storm分布式实时计算方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512162A (zh) * | 2015-09-28 | 2016-04-20 | 杭州圆橙科技有限公司 | 一种基于Storm的流数据实时智能化处理框架 |
| CN105868075A (zh) * | 2016-03-31 | 2016-08-17 | 浪潮通信信息系统有限公司 | 一种实时监控分析大量日志的系统及方法 |
| CN107025298A (zh) * | 2017-04-20 | 2017-08-08 | 科技谷（厦门）信息技术有限公司 | 一种大数据实时计算处理系统及方法 |
-
2018
- 2018-08-27 CN CN201810983596.XA patent/CN109284195A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512162A (zh) * | 2015-09-28 | 2016-04-20 | 杭州圆橙科技有限公司 | 一种基于Storm的流数据实时智能化处理框架 |
| CN105868075A (zh) * | 2016-03-31 | 2016-08-17 | 浪潮通信信息系统有限公司 | 一种实时监控分析大量日志的系统及方法 |
| CN107025298A (zh) * | 2017-04-20 | 2017-08-08 | 科技谷（厦门）信息技术有限公司 | 一种大数据实时计算处理系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| H.S.JUNG: "Cloud computing platform based real-time processing for stream reasoning", 《2017 SIXTH INTERNATIONAL CONFERENCE ON FUTURE GENERATION COMMUNICATION TECHNOLOGIES》 * |
| 杨华辉: "分布式日志系统的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 赵必厦: "《从零开始学Storm（第二版）》", 31 July 2016 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110908883B (zh) * | 2019-11-15 | 2022-08-30 | 江苏满运软件科技有限公司 | 用户画像数据监控方法、系统、设备及存储介质 |
| CN110908883A (zh) * | 2019-11-15 | 2020-03-24 | 江苏满运软件科技有限公司 | 用户画像数据监控方法、系统、设备及存储介质 |
| CN110990473A (zh) * | 2019-11-28 | 2020-04-10 | 北京海益同展信息科技有限公司 | 标签数据处理系统和方法 |
| CN110990473B (zh) * | 2019-11-28 | 2023-11-03 | 京东科技信息技术有限公司 | 标签数据处理系统和方法 |
| CN111754268A (zh) * | 2020-06-29 | 2020-10-09 | 深圳市酷开软件技术有限公司 | 基于ott大数据的用户标签生成方法、管理系统及存储介质 |
| CN111881221A (zh) * | 2020-07-07 | 2020-11-03 | 上海中通吉网络技术有限公司 | 物流服务里客户画像的方法、装置和设备 |
| CN112561559A (zh) * | 2020-09-04 | 2021-03-26 | 上海东普信息科技有限公司 | 商户画像模型生成方法、装置、设备及存储介质 |
| CN112163060A (zh) * | 2020-09-16 | 2021-01-01 | 安徽龙运智能科技有限公司 | 一种大数据技术处理海量gps数据系统 |
| CN112035534A (zh) * | 2020-09-18 | 2020-12-04 | 上海依图网络科技有限公司 | 一种实时大数据处理方法、装置及电子设备 |
| CN112269805A (zh) * | 2020-11-18 | 2021-01-26 | 杭州米雅信息科技有限公司 | 数据处理方法、装置、设备及介质 |
| CN112269805B (zh) * | 2020-11-18 | 2023-06-02 | 杭州米雅信息科技有限公司 | 数据处理方法、装置、设备及介质 |
| CN113344604A (zh) * | 2021-04-16 | 2021-09-03 | 广州迅捷微风信息科技有限公司 | 一种基于用户行为数据及流计算的用户细分方法 |
| CN113821407A (zh) * | 2021-09-15 | 2021-12-21 | 浙江网新恩普软件有限公司 | 一种Storm分布式实时计算方法及系统 |
| CN113821407B (zh) * | 2021-09-15 | 2023-08-01 | 浙江浙大网新软件产业集团有限公司 | 一种Storm分布式实时计算方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109284195A (zh) | 一种实时画像数据计算方法及系统 | |
| US20220327149A1 (en) | Dynamic partition allocation for query execution | |
| US20200364279A1 (en) | Unified data processing across streaming and indexed data sets | |
| CN109643312B (zh) | 托管查询服务 | |
| US11461334B2 (en) | Data conditioning for dataset destination | |
| US11416528B2 (en) | Query acceleration data store | |
| CN102307206B (zh) | 基于云存储的快速访问虚拟机镜像的缓存系统的缓存方法 | |
| US20230350894A1 (en) | Distinct value estimation for query planning | |
| US20190230000A1 (en) | Intelligent analytic cloud provisioning | |
| US20190138639A1 (en) | Generating a subquery for a distinct data intake and query system | |
| US20190138642A1 (en) | Execution of a query received from a data intake and query system | |
| WO2017071134A1 (zh) | 分布式跟踪系统 | |
| CN104751359B (zh) | 用于支付清算的系统及方法 | |
| Yan et al. | Quegel: A general-purpose query-centric framework for querying big graphs | |
| CN108171971A (zh) | 基于Spark Streaming的车辆实时监控方法及系统 | |
| Gupta et al. | Comparative study of big data frameworks | |
| CN104903894A (zh) | 用于分布式数据库查询引擎的系统和方法 | |
| CN109240946A (zh) | 数据的多级缓存方法及终端设备 | |
| CN108121705A (zh) | 一种开放的多源二、三维地理信息数据聚合和发布系统 | |
| CN110390739A (zh) | 一种车辆数据处理方法及车辆数据处理系统 | |
| JP2021529367A (ja) | データ・キューブの動的増分更新 | |
| CN105260479A (zh) | 一种基于观察者模式的实时数据库实时数据发布方法 | |
| CN109903050A (zh) | 交易去重方法、交易构造方法、设备和存储介质 | |
| CN107528894A (zh) | 一种存储系统实时数据获取方法及平台 | |
| CN106599189A (zh) | 基于云计算的动态Skyline查询装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190129 |