CN111061711A - 一种基于数据处理行为的大数据流卸载方法和装置 - Google Patents

一种基于数据处理行为的大数据流卸载方法和装置 Download PDF

Info

Publication number
CN111061711A
CN111061711A CN201911190306.7A CN201911190306A CN111061711A CN 111061711 A CN111061711 A CN 111061711A CN 201911190306 A CN201911190306 A CN 201911190306A CN 111061711 A CN111061711 A CN 111061711A
Authority
CN
China
Prior art keywords
data
data processing
subdata
processing behavior
base point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911190306.7A
Other languages
English (en)
Other versions
CN111061711B (zh
Inventor
曾国荪
王顺
丁春玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201911190306.7A priority Critical patent/CN111061711B/zh
Publication of CN111061711A publication Critical patent/CN111061711A/zh
Application granted granted Critical
Publication of CN111061711B publication Critical patent/CN111061711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于数据处理行为的大数据流卸载方法和装置，所述方法包括以下步骤：S1：加载数据处理任务，构建建立数据处理行为自动机；S2：加载由多组子数据构成的流大数据；S3：从流大数据中获取一基点数据；S4：将各子数据和基点数据载入数据处理行为自动机中，获取各子数据和基点数据的数据处理行为；S5：根据数据处理行为，计算该子数据与基点数据的综合相似度；S6：根据综合相似度划分异常等价类和正常等价类；S7：重复执行步骤S5至S6，直至遍历流大数据中的子数据；S8：进行数据卸载。与现有技术相比，本发明将数据处理过程纳入数据相似性度量中来，提高了数据重要性识别能力，具有效率高，数据卸载效果好等优点。

Description

一种基于数据处理行为的大数据流卸载方法和装置
技术领域
本发明涉及数据处理领域，尤其是涉及一种基于数据处理行为的大数据流卸载方法和装置。
背景技术
所谓卸载是指当大量数据流到来时，由于计算资源处理能力有限，将价值不大的数据项抛弃，以便让有价值的数据项可以实时处理的过程。卸载技术是解决大数据流式计算中过载问题的一种关键技术。它的目标是保证任务处理实时性的前提下，提高流式大数据卸载的准确性。目前常见的卸载方法有随机卸载、基于欧氏距离相似的卸载、基于数据项频率的卸载等。这些技术主要从数据流的距离、统计特征等数据本身的特性角度度量数据间的差异，从而区分数据重要程度。
现有的卸载方法未区分数据项的重要程度，或者仅片面地从数据本身的角度度量数据的重要性，度量方法在实际应用中的准确性不高，导致卸载精确度不足。例如：随机卸载方法随机地选择部分数据丢弃，未考虑不同数据的重要性差异，会明显降低后续计算的精度；基于欧氏距离相似的卸载将数据看作空间中的点，以欧氏距离判断数据在空间中的分布，并以每个数据点到中心的欧氏距离作为重要性测度选择卸载数据，这在部分应用中是一种行之有效的方法，但未考虑数据处理过程，应用场景限；基于数据项频率的卸载以数据项出现的频率作为其重要性测度，也有较大局限。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种提高数据重要性识别能力的基于数据处理行为的大数据流卸载方法和装置。
本发明的目的可以通过以下技术方案来实现：
一种基于数据处理行为的大数据流卸载方法，该方法包括以下步骤：
S1：加载数据处理任务，构建建立数据处理行为自动机；
S2：初始化正常等价类和异常等价类，加载流大数据，该流大数据包括多组子数据；流数据是一组顺序、大量、快速、连续到达的数据序列，一般情况下，数据流可被视为一个随时间延续而无限增长的动态数据集合；
S3：从流大数据中获取一基点数据；
S4：将各子数据和基点数据载入数据处理行为自动机中，分别获取各子数据和基点数据的数据处理行为；
S5：获取基点数据和一子数据的数据处理行为，计算该子数据与基点数据的综合相似度；
S6：若综合相似度大于预设的阈值，则将对应的子数据归为异常等价类，否则将对应的子数据归为正常等价类；
S7：重复执行步骤S5至S6，直至遍历流大数据中的子数据；
S8：根据异常等价类和正常等价类，进行数据卸载，可根据应用场景的需要决定丢弃哪个等价类。
进一步地，所述步骤S5中，该子数据与基点数据的综合相似度的计算具体为，通过重叠度度量该子数据和基点数据的数据处理行为的相似度，获取该子数据与基点数据的综合相似度。
进一步地，所述步骤S1中，数据处理行为自动机的建立具体包括以下步骤：
S101：将流大数据的数据处理任务抽象划分为多个子任务；
S102：根据各子任务间的相互关系构建任务有向无环图；
S103：根据任务有向无环图，构建数据处理行为自动机。
进一步地，所述步骤S4中，数据处理行为的获取具体为，将一数据载入数据处理行为自动机中，记录该数据的状态转移路径，形成该数据的数据处理行为。数据的状态转移路径的形成由数据本身的内容以及数据处理任务确定。
进一步地，所述步骤S3中，基点数据的获取具体包括以下步骤：
S301：从流大数据中获取中心点数据；
S302：分别计算流大数据中各子数据与中心点数据的差异度；
S303：获取差异度最大的子数据，作为基点数据。
进一步地，所述步骤S302中，基于离异系数计算各子数据与中心点数据的差异度。差异度的计算可示意为：
Figure BDA0002293391710000031
式中，
Figure BDA0002293391710000032
为差异度，di为第i个子数据，dc为中心点数据。
进一步地，所述步骤S2中，按预设的时间周期，加载所述流大数据。
进一步地，所述步骤S6中，通过专家法按照实验和历史经验预先设定所述阈值。
本发明还提供一种基于数据处理行为的大数据流卸载装置，包括存储器和处理器，所述存储器存储有计算机程序，处理器调用所述计算机程序执行上述的方法的步骤。
与现有技术相比，本发明具有以下优点：
(1)本发明大数据流卸载方法首次提出了大数据流式处理行为的概念，以数据处理行为自动机对数据处理过程进行建模，并创新性地把数据处理过程的相似性纳入到数据相似度量中，使得数据相似度度量更加完整，具有较高的数据重要性识别能力，数据卸载的效果好。
(2)本发明大数据流卸载方法通过将数据处理任务抽象划分为多个子任务，构建子任务间的任务有向无环图，记录数据在此任务有向无环图的路径，从而获取数据的数据处理行为，并且该过程可在数据处理行为自动机中自动进行，方法有效且方便，提高了数据卸载效率。
附图说明
图1为本发明大数据流卸载方法的流程示意图；
图2为本发明大数据流卸载方法的数据卸载过程示意图；
图3为本发明数据处理行为示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
本实施例为一种基于数据处理行为的大数据流卸载方法，下面依次对本实施例方法的原理、步骤和实施方式进行详细描述：
1、大数据流卸载原理
如图2所示，图中的点表示数据流中的数据项，经过数据处理行为自动机的预处理后被划分成两个等价类，图中的灰色点和黑色点分别表示异常等价类和正常等价类，根据实际应用的需要卸载其中一个等价类。该方法包含以下4个核心步骤：
1.1、根据数据处理行为对处理过程建模
数据的作用和价值往往要通过分析处理来获得，数据分析和处理往往具有复杂的计算过程，一般包含多个计算子任务，它们互为因果，交互作用，它们的动态行为可抽象为有限状态自动机。不同的输入数据，在检测预处理任务程序中可能产生不同的状态转移过程，即不同类别的输入数据在分析处理时，对应的任务程序有不同处理过程或者行为。因此，以状态转移过程表示数据处理行为能够准确地反映数据处理过程。
如图3所示，Pi＝s0e1s1e3s3e5s4e6s5e8s8和Pj＝s0e2s2e4s3e5s4e7s6e9s7e10s8分别表示两个数据处理行为。
1.2、给出数据处理行为相似的定义和其度量方法
每个数据的处理行为体现了价值和功能，因而记录并比较动态每个数据的处理行为，可以判断出每个数据在该任务下的功能相似度。该步骤以数据处理行为自动机对数据过程建模构成状态图，则数据处理行为为该状态图上的路径，通过比较两条路径的重叠度度量相似程度。
1.3、构建预处理行为自动机
首先，对数据任务进行抽象，将一个流大数据处理任务划分成多个子任务，根据子任务之间的相互关系构建任务DAG图(有向无环图)。然后，根据DAG任务每个节点的状态转移条件编写数据处理行为自动机程序，记录每个数据到达时的状态转移路径，此即为通过预处理获取数据处理行为的基本方法。
1.4、基于数据处理行为划分等价类并卸载
比较一个时间窗口数据集的每个数据与基点数据的行为相似度。如果两个数据的行为相似度大于某个给定的阈值，则称它们之间具有等价关系。满足上述等价关系的数据构成的子集称为一个数据等价类。通过这种方式可将每个时间窗口数据集分成两个等价类：正常类和异常类。卸载时根据实际情况丢弃不需要的类。
以上方法充分考虑数据处理的过程，数据处理行为与实际处理过程结合紧密，能够有效判别数据之间的相似程度，从而更准确地区分数据的重要性。
2、具体步骤
如图1所示，本实施例基于数据处理行为的大数据流卸载方法包括以下步骤：
S1：加载数据处理任务，建立数据处理行为自动机；
数据处理行为自动机的建立具体包括以下步骤：
S101：将流大数据的数据处理任务抽象划分为多个子任务；
S102：根据各子任务间的相互关系构建任务有向无环图；
S103：根据任务有向无环图，构建数据处理行为自动机。
S2：初始化正常等价类和异常等价类，按预设的时间周期，按周期加载流大数据，流大数据包括多组子数据；
S3：从流大数据中获取一子数据作为基点数据；
步骤S3具体包括以下步骤：
S301：从流大数据中获取中心点数据；
中心点数据为数据集的中心点，即对所有子数据取平均值，得到最接近该平均值的子数据，即为中心点数据。子数据间的加减乘除计算为现有技术，例如基于欧式距离等数据计算方法。
S302：分别计算流大数据中各子数据与中心点数据的差异度；本实施例基于离异系数计算各子数据与中心点数据的差异度，差异度的计算可示意为：
Figure BDA0002293391710000051
式中，
Figure BDA0002293391710000052
为差异度，di为第i个子数据，dc为中心点数据。
S303：获取差异度最大的子数据，作为基点数据；
S4：将各子数据和基点数据载入数据处理行为自动机中，分别获取各子数据和基点数据的数据处理行为；数据处理行为的获取具体为，将各数据载入数据处理行为自动机中，记录各数据的状态转移路径，形成各数据的数据处理行为。
S5：获取基点数据和一子数据的数据处理行为，计算该子数据与基点数据的综合相似度；本实施例中通过重叠度度量该子数据和基点数据的数据处理行为的相似度，获取该子数据与基点数据的综合相似度。
S6：若综合相似度大于预设的阈值，则将对应的子数据归为异常等价类，否则将对应的子数据归为正常等价类；
S7：重复执行步骤S5至S6，直至遍历流大数据中的子数据；
S8：根据异常等价类和正常等价类，进行数据卸载。
3、具体实施方式
本实施例数据卸载方法的基本过程如下：在时间周期T0内到达的数据中，找出差异度最大的那个数据，以此作为基点，并且根据数据综合相似度划分成两个等价类，一个是异常等价类，另一个是正常等价类。根据应用场景的需要决定丢弃哪个等价类，这里以丢弃异常数据为例进行说明。同时，根据实验和历史经验，可以设定一个综合相似度的阈值η0，那么当流大数据中的单个数据的综合相似度大于阈值η0时，归为异常等价类。反之，归为正常等价类。算法的详细步骤如下：
输入：D＝{d1,d2,…,dn}，η0。其中D为流大数据，η0为综合相似度阈值；
输出：D'，D”。其中D'为异常等价类，D”为正常等价类；
S1：初始化：
Figure BDA0002293391710000061
S2：求中心点：dc←find_center_point(D)；
S3：
Figure BDA0002293391710000062
计算每个数据的差异度：
Figure BDA0002293391710000063
S4：求差异度最大的数据d*，
Figure BDA0002293391710000064
S5：计算
Figure BDA0002293391710000065
与d*的综合相似度：sim(dj,d*)←calculate_simulation(di,dj)；
S6：输出：D'，D”。
本实施例还提供一种基于数据处理行为的大数据流卸载装置，包括存储器和处理器，存储器存储有计算机程序，处理器调用计算机程序执行如上述基于数据处理行为的大数据流卸载方法的步骤。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.一种基于数据处理行为的大数据流卸载方法，其特征在于，该方法包括以下步骤：
S1：加载数据处理任务，构建建立数据处理行为自动机；
S2：初始化正常等价类和异常等价类，加载流大数据，该流大数据包括多组子数据；
S3：从流大数据中获取一基点数据；
S4：将各子数据和基点数据载入数据处理行为自动机中，分别获取各子数据和基点数据的数据处理行为；
S5：获取基点数据和一子数据的数据处理行为，计算该子数据与基点数据的综合相似度；
S6：若综合相似度大于预设的阈值，则将对应的子数据归为异常等价类，否则将对应的子数据归为正常等价类；
S7：重复执行步骤S5至S6，直至遍历流大数据中的子数据；
S8：根据异常等价类和正常等价类，进行数据卸载。
2.根据权利要求1所述的一种基于数据处理行为的大数据流卸载方法，其特征在于，所述步骤S5中，该子数据与基点数据的综合相似度的计算具体为，通过重叠度度量该子数据和基点数据的数据处理行为的相似度，获取该子数据与基点数据的综合相似度。
3.根据权利要求1所述的一种基于数据处理行为的大数据流卸载方法，其特征在于，所述步骤S1中，数据处理行为自动机的建立具体包括以下步骤：
S101：将流大数据的数据处理任务抽象划分为多个子任务；
S102：根据各子任务间的相互关系构建任务有向无环图；
S103：根据任务有向无环图，构建数据处理行为自动机。
4.根据权利要求1所述的一种基于数据处理行为的大数据流卸载方法，其特征在于，所述步骤S4中，数据处理行为的获取具体为，将一数据载入数据处理行为自动机中，记录该数据的状态转移路径，形成该数据的数据处理行为。
5.根据权利要求1所述的一种基于数据处理行为的大数据流卸载方法，其特征在于，所述步骤S3中，基点数据的获取具体包括以下步骤：
S301：从流大数据中获取中心点数据；
S302：分别计算流大数据中各子数据与中心点数据的差异度；
S303：获取差异度最大的子数据，作为基点数据。
6.根据权利要求5所述的一种基于数据处理行为的大数据流卸载方法，其特征在于，所述步骤S302中，基于离异系数计算各子数据与中心点数据的差异度。
7.根据权利要求1所述的一种基于数据处理行为的大数据流卸载方法，其特征在于，所述步骤S2中，按预设的时间周期，加载所述流大数据。
8.根据权利要求1所述的一种基于数据处理行为的大数据流卸载方法，其特征在于，所述步骤S6中，通过专家法预先设定所述阈值。
9.一种基于数据处理行为的大数据流卸载装置，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，处理器调用所述计算机程序执行如权利要求1～8任一所述的方法的步骤。
CN201911190306.7A 2019-11-28 2019-11-28 一种基于数据处理行为的大数据流卸载方法和装置 Active CN111061711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911190306.7A CN111061711B (zh) 2019-11-28 2019-11-28 一种基于数据处理行为的大数据流卸载方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911190306.7A CN111061711B (zh) 2019-11-28 2019-11-28 一种基于数据处理行为的大数据流卸载方法和装置

Publications (2)

Publication Number Publication Date
CN111061711A true CN111061711A (zh) 2020-04-24
CN111061711B CN111061711B (zh) 2023-09-01

Family

ID=70299198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911190306.7A Active CN111061711B (zh) 2019-11-28 2019-11-28 一种基于数据处理行为的大数据流卸载方法和装置

Country Status (1)

Country Link
CN (1) CN111061711B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021238455A1 (zh) * 2020-05-29 2021-12-02 中兴通讯股份有限公司 数据处理方法、设备及计算机可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014173505A1 (de) * 2013-04-23 2014-10-30 Db Systel Gmbh Verfahren zur gewährleistung der funktionsfähigkeit eines technischen systems im hinblick auf dessen konfiguration im rahmen einer installation bzw. beseitigung von komponenten
WO2017177953A1 (zh) * 2016-04-14 2017-10-19 华为技术有限公司 在存储服务器中为应用设置数据处理路径的方法及装置
CN108471355A (zh) * 2018-02-28 2018-08-31 哈尔滨工程大学 一种基于海云计算架构的物联网信息互操作方法
CN109145173A (zh) * 2018-07-26 2019-01-04 浙江省测绘科学技术研究院 一种基于相似度的矢量要素变化比对方法
CN109474603A (zh) * 2018-11-27 2019-03-15 平安科技（深圳）有限公司 数据抓包处理方法及终端设备
CN109697332A (zh) * 2019-01-14 2019-04-30 重庆邮电大学 一种基于非监督学习方法的流计算系统的异常监测方案
CN110019370A (zh) * 2018-07-10 2019-07-16 南京邮电大学 流式大数据处理方法
CN110058932A (zh) * 2019-04-19 2019-07-26 中国科学院深圳先进技术研究院 一种用于数据流驱动计算的存储方法和存储系统
CN110347708A (zh) * 2019-06-28 2019-10-18 深圳市元征科技股份有限公司 一种数据处理方法以及相关设备
CN110366210A (zh) * 2019-06-20 2019-10-22 华南理工大学 一种针对有状态数据流应用的计算卸载方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014173505A1 (de) * 2013-04-23 2014-10-30 Db Systel Gmbh Verfahren zur gewährleistung der funktionsfähigkeit eines technischen systems im hinblick auf dessen konfiguration im rahmen einer installation bzw. beseitigung von komponenten
WO2017177953A1 (zh) * 2016-04-14 2017-10-19 华为技术有限公司 在存储服务器中为应用设置数据处理路径的方法及装置
CN108471355A (zh) * 2018-02-28 2018-08-31 哈尔滨工程大学 一种基于海云计算架构的物联网信息互操作方法
CN110019370A (zh) * 2018-07-10 2019-07-16 南京邮电大学 流式大数据处理方法
CN109145173A (zh) * 2018-07-26 2019-01-04 浙江省测绘科学技术研究院 一种基于相似度的矢量要素变化比对方法
CN109474603A (zh) * 2018-11-27 2019-03-15 平安科技（深圳）有限公司 数据抓包处理方法及终端设备
CN109697332A (zh) * 2019-01-14 2019-04-30 重庆邮电大学 一种基于非监督学习方法的流计算系统的异常监测方案
CN110058932A (zh) * 2019-04-19 2019-07-26 中国科学院深圳先进技术研究院 一种用于数据流驱动计算的存储方法和存储系统
CN110366210A (zh) * 2019-06-20 2019-10-22 华南理工大学 一种针对有状态数据流应用的计算卸载方法
CN110347708A (zh) * 2019-06-28 2019-10-18 深圳市元征科技股份有限公司 一种数据处理方法以及相关设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021238455A1 (zh) * 2020-05-29 2021-12-02 中兴通讯股份有限公司 数据处理方法、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN111061711B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
US11694094B2 (en) Inferring digital twins from captured data
JP6771751B2 (ja) リスク評価方法およびシステム
US20190261204A1 (en) Method and system for abnormal value detection in lte network
US11561954B2 (en) Method and system to estimate the cardinality of sets and set operation results from single and multiple HyperLogLog sketches
CN113038302B (zh) 流量预测方法及装置、计算机可存储介质
CN115801463B (zh) 工业互联网平台入侵检测的方法、装置和电子设备
CN113743643A (zh) 一种确定商品数据预测准确率的方法、装置、设备和介质
CN116452333A (zh) 异常交易检测模型的构建方法、异常交易检测方法及装置
CN113837481B (zh) 一种基于区块链的金融大数据管理系统
CN111061711B (zh) 一种基于数据处理行为的大数据流卸载方法和装置
CN111737371B (zh) 可动态预测的数据流量检测分类方法及装置
CN114693052A (zh) 风险预测模型的训练方法、装置、计算设备和介质
CN116737373A (zh) 负载均衡方法、装置、计算机设备、存储介质
WO2023011093A1 (zh) 任务模型的训练方法、装置、电子设备及存储介质
WO2019192262A1 (zh) 一种评价商户的经营状况的方法、装置及设备
Karn et al. Criteria for learning without forgetting in artificial neural networks
US20210144171A1 (en) A Method of Digital Signal Feature Extraction Comprising Multiscale Analysis
CN113497732A (zh) 一种传输性能预测模型的训练方法及其相关设备
US11615345B2 (en) Systems and methods for optimizing a machine learning model
CN118196567B (zh) 基于大语言模型的数据评价方法、装置、设备及存储介质
US20220335310A1 (en) Detect un-inferable data
CN113590721B (zh) 一种区块链地址分类方法和装置
US20240256967A1 (en) Classifier training using synthetic training data samples
Álvarez et al. Impact of ML Optimization Tactics on Greener Pre-Trained ML Models
CN115510077A (zh) 基于消息传递的图数据更新方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant