CN115269921A - 一种图模型批流一体实时预测方法 - Google Patents

一种图模型批流一体实时预测方法 Download PDF

Info

Publication number
CN115269921A
CN115269921A CN202210913667.5A CN202210913667A CN115269921A CN 115269921 A CN115269921 A CN 115269921A CN 202210913667 A CN202210913667 A CN 202210913667A CN 115269921 A CN115269921 A CN 115269921A
Authority
CN
China
Prior art keywords
data
graph
real
time
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210913667.5A
Other languages
English (en)
Inventor
冯亚维
黄胜蓝
周玺
严伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Shiluhuitu Information Technology Co ltd
Original Assignee
Xi'an Shiluhuitu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Shiluhuitu Information Technology Co ltd filed Critical Xi'an Shiluhuitu Information Technology Co ltd
Priority to CN202210913667.5A priority Critical patent/CN115269921A/zh
Publication of CN115269921A publication Critical patent/CN115269921A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种图模型批流一体实时预测方法，所述方法包括数据的实时接入、图的实时更新、图的实时预测。本发明能够解决接入流、批数据的实时构图问题，使得每个业务图模型能保持一份最新的图数据，支撑图模型进行实时预测；同时，还能够支持对原始业务数据的时间窗口筛选、以及条件筛选能力，保证图数据是最新的、业务模型真正需要的；图模型实时预测通过对传入数据的子图进行预测，不仅保留的图模型需要的图结构信息，还能因数据量的精简做到低延迟的结果预测。

Description

一种图模型批流一体实时预测方法
技术领域
本发明涉及图模型技术领域，特别是一种图模型批流一体实时预测方法。
背景技术
由于图结构的强大表现力，用机器学习/深度学习方法分析图的研究越来越受重视。而图神经网络由于较好的性能和可解释性，已经成为一种广泛应用的图分析方法，更有不少人将它看作“深度学习的新一代技术”。
目前图模型在工业界大规模落地面临的挑战主要在于大规模图网络的训练和实时更新预测两方面。如果想做图实时预测，就需要在短时间内用新增的数据结合旧数据构一个图，然后做图上的计算进行预测，这是非常困难的。
现在的一些机器学习平台，仅支持传统的机器学习模型实时预测。传统机器学习模型的数据结构是基于结构化数据进行训练、预测，通常通过接入大量结构化样本数据学习数据本身的特征输出模型。因此，传统机器学习模型也仅需要单条数据本身信息即可进行预测。在这种情况下，机器学习模型完全能够提供实时的预测接口，通过训练好的模型，对传入的单条数据进行极低延迟的预测并返回预测结果。
但是，随着图的领域机器学习和深度学习的大力发展，图结构的信息能够使得模型在更少的样本数据上取得更好的预测效果。与此同时，图模型的预测必须依赖一定的图结构，无法像传统模型一样针对单条数据进行低延迟的实时预测。
发明内容
鉴于此，本发明提供一种图模型批流一体实时预测方法，以解决上述技术问题。
本发明公开了一种图模型批流一体实时预测方法，所述方法包括数据的实时接入、图的实时更新、图的实时预测。
进一步地，在数据接入方面，结合大数据流、批计算框架，提供数据源模块，并基于大数据流、批计算框架实现一套统一的数据处理逻辑，对接接入的批数据和流数据。
进一步地，所述数据源模块支持主流接入方式；所述主流接入方式包括对接数据库来源的批数据、kafka来源的流数据。
进一步地，在接入批流一体的数据后，支持定期对批数据进行图的构建，同时开启流数据的实时图更新，保证新增数据实时更新成图的顶点或边数据。
进一步地，在图数据的实时更新后，开始对图进行实时预测，并返回预测结果。
进一步地，实时预测时，提供接口，支持传入单条数据，低延迟的在图上查询基于传入数据的K阶子图进行预测。
进一步地，所述方法还支持滚动时间窗口的图数据更新。
进一步地，在配置接入数据时，所述方法支持配置图数据的时间窗口；定期使用时间窗口内的数据，即业务所需的较新的数据进行构图，剔除较旧的数据。
进一步地，所述图的实时预测通过对传入数据的子图进行预测。
由于采用了上述技术方案，本发明具有如下的优点：
本发明实现的图模型批流一体的实时预测功能，能够解决接入流、批数据的实时构图问题，使得每个业务图模型能保持一份最新的图数据，支撑图模型进行实时预测。同时，还能够支持对原始业务数据的时间窗口筛选、以及条件筛选能力，保证图数据是最新的、业务模型真正需要的。图模型实时预测通过对传入数据的子图进行预测，不仅保留的图模型需要的图结构信息，还能因数据量的精简做到低延迟的结果预测。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种数据源管理界面示意图；
图2为本发明实施例的一种配置界面示意图；
图3为本发明实施例的一种配置定时构图逻辑的示意图；
图4为本发明实施例的一种实时预测示意图。
具体实施方式
结合附图和实施例对本发明作进一步说明，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
本发明提供了一种图模型批流一体实时预测方法的实施例，该方法包括数据的实时接入、图的实时更新、图的实时预测。
本实施例中，在数据接入方面，结合大数据流、批计算框架，提供数据源模块，并基于大数据流、批计算框架实现一套统一的数据处理逻辑，对接接入的批数据和流数据。
本实施例中，数据源模块支持主流接入方式；主流接入方式包括对接数据库来源的批数据、kafka来源的流数据。
本实施例中，在接入批流一体的数据后，支持定期对批数据进行图的构建，同时开启流数据的实时图更新，保证新增数据实时更新成图的顶点或边数据。
本实施例中，在图数据的实时更新后，开始对图进行实时预测，并返回预测结果。
本实施例中，实时预测时，提供接口，支持传入单条数据，低延迟的在图上查询基于传入数据的K阶子图进行预测。
本实施例中，方法还支持滚动时间窗口的图数据更新。
本实施例中，在配置接入数据时，方法支持配置图数据的时间窗口；定期使用时间窗口内的数据，即业务所需的较新的数据进行构图，剔除较旧的数据。
本实施例中，图的实时预测通过对传入数据的子图进行预测。
为了便于理解，本发明给出了一个更为具体的实施例：
使用测试数据cora作为例子。
参见图1，首先，先配置好接入数据源，为保证数据的实时更新策略，配置kafka实时数据源。
参见图2，通过接入数据源的数据，配置时间窗口以及条件过滤，进行数据筛选。
参见图3，配置好接入数据后，配置定时构图逻辑，保证图模型对应的图数据是最新的时间窗口的数据，去掉不必要的老旧数据。
参见图4，配置完成后，可以上线图模型，然后通过接口传入数据进行实时预测。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (9)

1.一种图模型批流一体实时预测方法，其特征在于，所述方法包括数据的实时接入、图的实时更新、图的实时预测。
2.根据权利要求1所述的方法，其特征在于，在数据接入方面，结合大数据流、批计算框架，提供数据源模块，并基于大数据流、批计算框架实现一套统一的数据处理逻辑，对接接入的批数据和流数据。
3.根据权利要求2所述的方法，其特征在于，所述数据源模块支持主流接入方式；所述主流接入方式包括对接数据库来源的批数据、kafka来源的流数据。
4.根据权利要求1所述的方法，其特征在于，在接入批流一体的数据后，支持定期对批数据进行图的构建，同时开启流数据的实时图更新，保证新增数据实时更新成图的顶点或边数据。
5.根据权利要求1所述的方法，其特征在于，在图数据的实时更新后，开始对图进行实时预测，并返回预测结果。
6.根据权利要求5所述的方法，其特征在于，实时预测时，提供接口，支持传入单条数据，低延迟的在图上查询基于传入数据的K阶子图进行预测。
7.根据权利要求1所述的方法，其特征在于，所述方法还支持滚动时间窗口的图数据更新。
8.根据权利要求1所述的方法，其特征在于，在配置接入数据时，所述方法支持配置图数据的时间窗口；定期使用时间窗口内的数据，即业务所需的较新的数据进行构图，剔除较旧的数据。
9.根据权利要求1所述的方法，其特征在于，所述图的实时预测通过对传入数据的子图进行预测。
CN202210913667.5A 2022-08-01 2022-08-01 一种图模型批流一体实时预测方法 Pending CN115269921A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210913667.5A CN115269921A (zh) 2022-08-01 2022-08-01 一种图模型批流一体实时预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210913667.5A CN115269921A (zh) 2022-08-01 2022-08-01 一种图模型批流一体实时预测方法

Publications (1)

Publication Number Publication Date
CN115269921A true CN115269921A (zh) 2022-11-01

Family

ID=83746713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210913667.5A Pending CN115269921A (zh) 2022-08-01 2022-08-01 一种图模型批流一体实时预测方法

Country Status (1)

Country Link
CN (1) CN115269921A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117076508A (zh) * 2023-10-18 2023-11-17 江苏数兑科技有限公司 一种流数据处理系统支持批数据处理的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117076508A (zh) * 2023-10-18 2023-11-17 江苏数兑科技有限公司 一种流数据处理系统支持批数据处理的方法
CN117076508B (zh) * 2023-10-18 2023-12-29 江苏数兑科技有限公司 一种流数据处理系统支持批数据处理的方法

Similar Documents

Publication Publication Date Title
US11106567B2 (en) Combinatoric set completion through unique test case generation
CN107480789B (zh) 一种深度学习模型的高效转换方法及装置
CN112116059B (zh) 一种车辆故障诊断方法、装置、设备及存储介质
US20100080148A1 (en) Adaptive enterprise service bus (esb) runtime system and method
CN113392974B (zh) 模型训练方法、装置、电子设备以及存储介质
CN115269921A (zh) 一种图模型批流一体实时预测方法
CN111813814A (zh) 一种支持多种机器学习框架的通用模型管理方法和装置
CN117032938B (zh) 一种算子的并行调度方法、装置、电子设备及存储介质
CN112766596A (zh) 建筑能耗预测模型的构建方法、能耗预测方法及装置
CN111309751A (zh) 大数据处理方法及装置
CN112286521A (zh) 一种任务流程处理方法、存储介质及处理器
CN114691148A (zh) 模型推理加速方法、装置、电子设备及存储介质
CN115495095A (zh) 张量程序的整程序编译方法、装置、设备、介质及集群
CN114201397A (zh) 一种接口测试建模方法、装置、电子设备和存储介质
US20210304056A1 (en) Learning Parameter Sampling Configuration for Automated Machine Learning
CN112434785A (zh) 一种面向超级计算机的分布式并行深度神经网络性能评测方法
CN115186738B (zh) 模型训练方法、装置和存储介质
CN108021607A (zh) 一种基于大数据平台的无线城市审计数据离线分析方法
CN116932762A (zh) 一种小样本金融文本分类方法、系统、介质和设备
Li et al. Retriple: reduction of redundant rendering on android devices for performance and energy optimizations
CN110555732A (zh) 一种营销策略推送方法、装置及营销策略运营平台
CN112633516B (zh) 性能预测和机器学习编译优化方法及装置
CN105843735B (zh) 一种终端内存的消耗方法及装置
CN114897664A (zh) 图模型部署方法及装置、gpu和存储介质
CN114611609A (zh) 一种图网络模型节点分类方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination