CN112540861A - 数据采集方法、数据处理方法、装置及电子设备 - Google Patents

数据采集方法、数据处理方法、装置及电子设备 Download PDF

Info

Publication number
CN112540861A
CN112540861A CN202011461643.8A CN202011461643A CN112540861A CN 112540861 A CN112540861 A CN 112540861A CN 202011461643 A CN202011461643 A CN 202011461643A CN 112540861 A CN112540861 A CN 112540861A
Authority
CN
China
Prior art keywords
evaluation index
index value
machine learning
task
model evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011461643.8A
Other languages
English (en)
Other versions
CN112540861B (zh
Inventor
李晨曦
李年华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202011461643.8A priority Critical patent/CN112540861B/zh
Publication of CN112540861A publication Critical patent/CN112540861A/zh
Application granted granted Critical
Publication of CN112540861B publication Critical patent/CN112540861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例涉及一种数据采集方法、数据处理方法、装置及电子设备，所述数据采集方法包括：在执行机器学习模型训练任务的过程中，当检测到待采集的模型评价指标值时，基于所述模型评价指标值构建事件对象，将所述事件对象发送至机器学习平台，以使所述机器学习平台存储所述模型评价指标值。由此，可以实现将模型训练过程中的模型评价指标值即时地提供给用户。

Description

数据采集方法、数据处理方法、装置及电子设备
技术领域
本发明实施例涉及机器学习技术领域，尤其涉及一种数据采集方法、数据处理方法、装置及电子设备。
背景技术
在机器学习中，通过将模型训练过程中得到的模型评价指标值，比如Loss值、准确率等即时地提供给用户，可以使得用户基于实际情况对模型训练过程进行干预，提高模型训练的效率和精度。
进一步的，为提高机器学习模型的训练效率，通常采用专门为大规模数据处理而设计的计算框架，比如Spark来进行模型训练，而在诸如Spark的计算框架下，目前尚未提出有效的解决方案实现用于进行模型训练的设备将模型训练过程中的模型评价指标值即时地提供给用户。
发明内容
鉴于此，为解决在一些计算框架下，比如Spark计算框架下无法实现用于进行模型训练的设备将模型训练过程中的模型评价指标值即时地提供给用户的技术问题，本发明实施例提供一种数据采集方法、装置、电子设备及存储介质。
第一方面，本发明实施例提供一种数据采集方法，所述方法包括：
在执行机器学习模型训练任务的过程中，当检测到待采集的模型评价指标值时，基于所述模型评价指标值构建事件对象；
将所述事件对象发送至机器学习平台，以使所述机器学习平台存储所述模型评价指标值。
在一个可能的实施方式中，所述将所述事件对象发送至机器学习平台，包括：
将所述事件对象缓存至预设的事件队列中；
按照设定周期从所述事件队列中取出事件对象，将取出的所述事件对象发送至机器学习平台。
在一个可能的实施方式中，所述事件对象中还包括：
所述机器学习模型训练任务的任务标识，以使所述机器学习平台根据所述任务标识确定是否存储所述模型评价指标值。
第二方面，本发明实施例提供一种数据处理方法，所述方法包括：
接收外部设备在执行机器学习模型训练任务的过程中发送的事件对象，所述事件对象至少包括模型评价指标值；
从所述事件对象中解析出所述模型评价指标值；
将解析出的所述模型评价指标值存储至本地数据库。
在一个可能的实施方式中，还包括：
确定所述机器学习模型训练任务的第一任务标识；
向所述外部设备发送所述第一任务标识，以使所述外部设备基于所述机器学习模型训练任务的任务ID、模型评价指标值、以及所述第一任务标识构建事件对象；
在所述将解析出的所述模型评价指标值存储至本地数据库之前，还包括：
从所述事件对象中解析出任务ID和第二任务标识；
判断所述第二任务标识与解析出的所述任务ID是否满足设定的一致性校验条件；
如果满足，则执行所述将解析出的所述模型评价指标值存储至本地数据库的步骤；
如果不满足，则丢弃解析出的所述模型评价指标值。
在一个可能的实施方式中，所述确定所述机器学习模型训练任务的第一任务标识，包括：
将所述机器学习模型训练任务的任务ID和预设的密钥进行连接，得到一个字符串；
利用设定算法对所述字符串进行运算，将运算结果和所述机器学习模型训练任务的任务ID进行连接，得到所述第一任务标识。
在一个可能的实施方式中，所述事件对象中还包括：所述机器学习模型训练任务的任务ID、所述模型评价指标值对应的迭代轮数；
所述方法还包括：
从所述事件对象中解析出所述机器学习模型训练任务的任务ID和所述模型评价指标值对应的迭代轮数；
将解析出的所述任务ID、所述模型评价指标值对应的迭代轮数，以及所述模型评价指标值对应存储至所述本地数据库。
在一个可能的实施方式中，所述方法还包括：
当接收到用于指示查看模型评价指标值变化曲线的查看请求时，从所述本地数据库中读取指定任务ID对应的模型评价指标值和迭代轮数；
根据读取到的模型评价指标值和迭代轮数生成模型评价指标值变化曲线，以及通过可视化界面展示所述模型评价指标值变化曲线。
第三方面，本发明实施例提供一种数据处理方法，所述方法包括：
外部设备在执行机器学习模型训练任务的过程中，当检测到待采集的模型评价指标值时，基于所述模型评价指标值构建事件对象；将所述事件对象发送至机器学习平台；
机器学习平台接收外部设备在执行机器学习模型训练任务的过程中发送的事件对象，所述事件对象至少包括模型评价指标值；从所述事件对象中解析出所述模型评价指标值；将解析出的所述模型评价指标值存储至本地数据库。
第四方面，本发明实施例提供一种数据采集装置，所述装置包括：
事件构建模块，用于在执行机器学习模型训练任务的过程中，当检测到待采集的模型评价指标值时，基于所述模型评价指标值构建事件对象；
事件发送模块，用于将所述事件对象发送至机器学习平台，以使所述机器学习平台存储所述模型评价指标值。
第五方面，本发明实施例提供一种数据处理装置，所述装置包括：
事件接收模块，用于接收外部设备在执行机器学习模型训练任务的过程中发送的事件对象，所述事件对象至少包括模型评价指标值；
事件解析模块，用于从所述事件对象中解析出所述模型评价指标值；
数据存储模块，用于将解析出的所述模型评价指标值存储至本地数据库。
第六方面，本发明实施例提供一种电子设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的数据采集程序，以实现第一方面中任一项所述的数据采集方法；或者，
所述处理器用于执行所述存储器中存储的数据处理程序，以实现第二方面中任一项所述的数据处理方法。
第七方面，本发明实施例提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现第一方面中任一项所述的数据采集方法或第二方面中任一项所述的数据处理方法。
本发明实施例提供的技术方案，通过在执行机器学习模型训练任务的过程中，当检测到待采集的模型评价指标值时，基于模型评价指标值构建事件对象，将事件对象发送至机器学习平台，以使机器学习平台存储模型评价指标值，实现了基于事件监听机制，即时地将模型训练过程中的模型评价指标值提供给用户，并且事件监听机制部署方便，具有通用性，如此则可解决在一些计算框架下，比如Spark计算框架下无法实现用于进行模型训练的设备将模型训练过程中的模型评价指标值即时地提供给用户的技术问题。
附图说明
图1为本发明实施例提供的一种机器学习系统的架构示意图；
图2为本发明实施例提供的一种数据采集方法的实施例流程图；
图3为本发明实施例提供的一种数据处理方法的实施例流程图；
图4为本发明实施例提供的另一种数据处理方法的实施例流程图；
图5为Loss值变化曲线的一种示例；
图6为本发明实施例提供的一种数据采集装置的实施例框图；
图7为本发明实施例提供的一种数据处理装置的实施例框图；
图8为本发明实施例提供的一种的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为提高机器学习模型的训练效率，通常采用专门为大规模数据处理而设计的计算框架，比如Spark来进行模型训练。以Spark计算框架为例，Spark计算框架是一个围绕速度、易用性和复杂分析构建的大数据处理框架，其通过分布式并行来处理大数据，同时，Spark计算框架中也提供了机器学习库，比如MLlib库、ML库(目前，在Spark1.0中使用MLlib库，在Spark2.0+中使用MLlib库和ML库)等。机器学习库中包含了大部分常用的算法，分类、回归、聚类等等，基于此，借助于Spark计算框架的分布式特性，在机器学习中使用Spark计算框架能提高大数据处理速度。
参见图1，为本发明实施例提供的一种机器学习系统的架构示意图。如图1所示例的机器学习系统100中包括机器学习平台101和用于进行模型训练的设备102，且机器学习平台101和设备102通信连接。
其中，机器学习平台101可由单台电子设备或多台电子设备组成，图1中仅以单台电子设备为例。在应用中，上述电子设备可以是支持具有显示屏的各种设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、服务器等。
设备102则可以为应用大数据处理框架的单台设备或多台设备组成的集群，比如为应用Spark计算框架的Spark设备或Spark集群，本发明对此不做限制。
下面结合附图以具体实施例对本发明提供的数据采集方法和数据处理方法做进一步的解释说明，实施例并不构成对本发明实施例的限定。
首先结合附图以具体实施例对本发明提供的数据采集方法做进一步的解释说明：
参见图2，为本发明实施例提供的一种数据采集方法的实施例流程图，在一个例子中，该方法可应用于图1中所示例的设备102。如图2所示，该方法可包括以下步骤：
步骤201、在执行机器学习模型训练任务的过程中，当检测到待采集的模型评价指标值时，基于所述模型评价指标值构建事件对象。
步骤202、将所述事件对象发送至机器学习平台，以使机器学习平台存储所述模型评价指标值。
以下对步骤201～步骤202进行统一说明：
在应用中，可由其他设备，比如机器学习平台101向设备102下发机器学习模型训练任务。以机器学习平台101向设备102下发机器学习模型训练任务为例，作为一个可选的实现方式，用户可通过命令行的方式向机器学习平台101提交机器学习模型训练任务。作为另一个可选的实现方式，用户可通过JAVA API编程的方式向机器学习平台101提交机器学习模型训练任务。机器学习平台101接收到机器学习模型训练任务后，则可向设备102下发该机器学习模型训练任务。
作为一个实施例，上述机器学习模型训练任务可用于指示采用何种模型训练算法训练机器学习模型。上述模型训练算法包括但不限于：GBDT(Gradient Boosting DecisionTree，梯度下降树)算法、LR(Logistic Regression，逻辑回归)算法、FM(FactorizationMachines，分解机)算法等。
此外，作为一个实施例，其他设备还可确定上述机器学习模型训练任务的任务标识(为描述方便，以下称为第一任务标识)，将机器学习模型训练任务的任务标识、任务ID同上述机器学习模型训练任务一并发送至设备102。关于其他设备是如何确定上述机器学习模型训练任务的第一任务标识的，在下文图4所示流程中会有描述，这里先不详述。
由上述描述可知，设备102可接收到其他设备(比如机器学习平台101)发送的机器学习模型训练任务，如此设备102则可执行接收到的机器学习模型训练任务。设备102在执行机器学习模型训练任务过程中，可检测到模型评价指标值，比如Loss值、准确率等。
以机器学习模型训练任务用于指示利用GBDT算法训练出一个机器学习模型为例：GBDT算法的核心思想是通过多轮迭代，每轮迭代产生一个弱分类器，每个弱分类器在上一轮迭代产生的弱分类器的残差(即Loss值)基础上进行训练，最终得到一个比较精确的分类器。由此可见，设备102利用GBDT算法训练机器学习模型的过程中，当初始化完成第一棵训练树以及每轮迭代结束后，都将计算得到一个Loss值，如此设备102在执行机器学习模型训练任务的过程中可多次检测到Loss值。
再以机器学习模型训练任务用于指示利用回归算法训练出一个二分类机器学习模型为例：为保证最终训练得出的二分类机器学习模型的精度，通常采取迭代训练的方式，每完成一次迭代训练，则计算出当前训练得到的二分类机器学习模型的准确率，将该准确率与预设阈值进行比较，如果比较得出准确率小于预设阈值，则继续迭代训练，否则结束迭代训练，如此，设备102在执行机器学习模型训练任务的过程中可多次检测到准确率。
本发明实施例中，设备102检测到待采集的模型评价指标值时，可基于事件监听机制将检测到的模型评价指标值发送至机器学习平台101。具体的，设备102可基于检测到的模型评价指标值构建事件对象，将事件对象发送至机器学习平台101。进一步的，作为一个实施例，基于检测到的模型评价指标值构建事件对象和将事件对象发送至机器学习平台101可以是异步执行的。作为一个可选的实现方式，可通过以下过程实现这里所说的异步执行：设备102将事件对象缓存至预设的事件队列中，按照设定周期从该事件队列中取出事件对象，将取出的事件对象发送至机器学习平台101。
以Spark事件监听机制为例，在Spark事件监听机制下，事件监听由Spark事件总线，即ListenerBus组件负责，其中，事件源是定义的各种事件，事件对象也即是事件对应的Event，事件监听器则是负责处理事件的Listener。基于此，在本发明实施例中，可自定义检测到模型评价指标值这一事件类型的事件(需要说明的是，该事件继承Spark通用事件)，相应地，自定义一个用于监听该事件的事件监听器(为描述方便，以下称目标事件监听器)。基于此，设备102在从上述事件队列中取出事件对象之后，可调用设定的事件投递方法将取出的事件对象投递给已注册的目标事件监听器。上述事件投递方法包括但不限于：postToAll方法，doPostEvent方法，其中，postToAll方法的作用是将事件对象投递给所有的事件监听器，doPostEvent方法的作用是将事件对象投递给指定的事件监听器。
此外，作为一个实施例，上述事件对象中还可以包括：机器学习模型训练任务的任务标识和任务ID，以使机器学习平台根据任务标识和任务ID确定是否存储模型评价指标值。关于机器学习平台是如何根据任务标识确定是否存储模型评价指标值的，在下文图4所示流程中会有描述，这里先不详述。
作为一个实施例，上述事件对象中还可以包括：模型评价指标值对应的迭代轮数，以使机器学习平台根据模型评价指标值和模型评价指标值对应的迭代轮数生成模型评价指标值变化曲线。关于机器学习平台是如何根据模型评价指标值和模型评价指标值对应的迭代轮数生成模型评价指标值变化曲线的，在下文图4所示流程中会有描述，这里先不详述。
本发明实施例提供的技术方案，通过在执行机器学习模型训练任务的过程中，当检测到待采集的模型评价指标值时，基于模型评价指标值构建事件对象，将事件对象发送至机器学习平台，以使机器学习平台存储模型评价指标值，实现了基于事件监听机制，即时地将模型训练过程中的模型评价指标值提供给用户，并且事件监听机制部署方便，具有通用性，如此则可解决在一些计算框架下，比如Spark计算框架下无法实现用于进行模型训练的设备将模型训练过程中的模型评价指标值即时地提供给用户的技术问题。
其次结合附图以具体实施例对本发明提供的数据处理方法做进一步的解释说明：
参见图3，为本发明实施例提供的一种数据处理方法的实施例流程图，在一个例子中，该方法可应用于图1中所示例的机器学习平台101。如图3所示，该方法可包括以下步骤：
步骤301、接收外部设备在执行机器学习模型训练任务的过程中发送的事件对象，所述事件对象至少包括模型评价指标值。
上述外部设备是指除机器学习平台101以外的，用于进行模型训练的设备，比如图1中所示例的设备102。
步骤302、从事件对象中解析出模型评价指标值。
步骤303、将解析出的模型评价指标值存储至本地数据库。
以下对步骤301～步骤303进行统一说明：
由上述图2所示流程中的描述可知，机器学习平台101接收到的事件对象中至少包括外部设备在执行机器学习模型训练任务的过程中采集到的模型评价指标值，基于此，机器学习平台101接收到上述事件对象后可从事件对象中解析出模型评价指标值，将解析出的模型评价指标值存储至本地数据库。
本发明实施例提供的技术方案，通过接收外部设备在执行机器学习模型训练任务的过程中发送的事件对象，从事件对象中解析出模型评价指标值，将解析出的模型评价指标值存储至本地数据库，实现了基于事件监听机制，即时地获取模型训练过程中的模型评价指标值，以提供给用户，并且事件监听机制部署方便，具有通用性，如此则可解决在一些计算框架下，比如Spark计算框架下无法实现用于进行模型训练的设备将模型训练过程中的模型评价指标值即时地提供给用户的技术问题。
最后，为便于理解本发明实施例，继续示出图4所示例的数据处理方法，以从整体上对本发明做进一步的解释说明：
参见图4，为本发明实施例提供的另一种数据处理方法的实施例流程图，在一个例子中，该方法可应用于图1中所示例的机器学习系统100。如图4所示，该方法可包括以下步骤：
步骤401、机器学习平台将机器学习模型训练任务、所述机器学习模型训练任务的第一任务标识、任务ID发送至用于进行模型训练的外部设备。
作为一个实施例，机器学习平台可通过以下方式确定机器学习模型训练任务的第一任务标识：将机器学习模型训练任务的任务ID和预设的密钥进行连接，得到一个字符串，利用设定算法对该字符串进行运算，将运算结果和机器学习模型训练任务的任务ID进行连接，得到上述第一任务标识。可选的，上述设定算法为哈希算法，上述运算结果则为一个哈希值。上述哈希算法包括但不限于：MD5(MessageDigestAlgorithm MD5，消息摘要算法第五版)、SHA1(Secure Hash Algorithm，安全哈希算法)等。
步骤402、外部设备在执行接收到的机器学习模型训练任务的过程中，当检测到待采集的模型评价指标值时，基于模型评价指标值、模型评价指标值对应的迭代轮数、机器学习模型训练任务的第一任务标识、任务ID构建事件对象。
步骤403、外部设备将所述事件对象发送至机器学习平台。
步骤404、机器学习平台从接收到的事件对象中解析出模型评价指标值、模型评价指标值对应的迭代轮数、第二任务标识、任务ID。
以上步骤402～步骤404的描述可参见上述图2和图3所示流程中的相关描述，这里不再赘述。
步骤405、机器学习平台判断解析出第二任务标识和任务ID是否满足设定的一致性校验条件，如果满足，则执行步骤406；如果不满足，则执行步骤409。
作为一个实施例，机器学习平台可根据解析出的第二任务标识和任务ID判断解析出的模型评价指标值是否属于合法的机器学习模型训练任务。具体的，机器学习平台可判断解析出第二任务标识和任务ID是否满足设定的一致性校验条件，如果满足，则意味着解析出的模型评价指标值属于合法的机器学习模型训练任务，此时则可继续执行步骤406，将解析出的模型评价指标值存储至本地数据库；反之，如果不满足，则意味着解析出的模型评价指标值不属于合法的机器学习模型训练任务，此时则可执行步骤409，以丢弃解析出的模型评价指标值。
作为一个可选的实现方式，机器学习平台可通过以下过程判断解析出第二任务标识和任务ID是否满足设定的一致性校验条件：机器学习平台从解析出的第二任务标识中分离出一个哈希值(为描述方便，以下称为第一哈希值)，之后将预设的密钥与解析出的任务ID连接在一起，得到一个字符串，最后再利用哈希算法对该字符串进行运算，得到一个哈希值(为描述方便，以下称为第二哈希值)，比较第一哈希值与第二哈希值是否一致，若一致，则确定解析出的第二任务标识和任务ID满足设定的一致性校验条件，若不一致，则确定解析出的第二任务标识和任务ID不满足设定的一致性校验条件。
步骤406、机器学习平台将解析出的任务ID、模型评价指标值、模型评价指标值对应的迭代轮数对应存储至本地数据库。
步骤407、机器学习平台当接收到用于指示查看模型评价指标值变化曲线的查看请求时，从本地数据库中读取指定任务ID对应的模型评价指标值和迭代轮数。
步骤408、机器学习平台根据读取到的模型评价指标值和迭代轮数生成模型评价指标值变化曲线，以及通过可视化界面展示所述模型评价指标值变化曲线。
以下对步骤407～步骤408进行统一说明：
作为一个实施例，机器学习平台在接收到用户触发的用于指示展示模型评价指标值变化曲线的请求时，可从本地数据库中读取出指定任务ID对应的模型评价指标值和模型评价指标值对应的迭代轮数，然后根据读取到的模型评价指标值和模型评价指标值对应的迭代轮数生成模型评价指标值变化曲线。参见图5，为Loss值变化曲线的一种示例。
其中，作为一个可选的实现方式，上述指定任务ID为外部设备当前正在执行的机器学习模型训练任务的任务ID。由此可见，通过在外部设备执行机器学习模型训练任务的过程中，向用户展示模型评价指标值变化曲线，可以实现用户及时了解模型训练情况，进而能够根据实际的模型训练情况干预模型训练，提高模型训练速度和训练精度。
作为另一个可选的实现方式，上述指定任务ID为上述请求中携带的任务ID，该任务ID可以是已执行完成的机器学习模型训练任务的任务ID。如此，可实现用户根据实际需求灵活地查看任一模型训练过程的模型评价指标值变化曲线。
步骤409、丢弃解析出的模型评价指标值。
可以理解的是，通过在确定解析出的模型评价指标值不属于合法的机器学习模型训练任务时，丢弃解析出的模型评价指标值，可以有效过滤掉无关的模型评价指标值，还能够避免在恶意攻击情况下，攻击者伪造模型评价指标值以试图干扰合法机器学习模型训练任务的执行。
本发明实施例提供的技术方案，实现了将模型训练过程中的模型评价指标值即时地提供给用户，进而实现了用户能够及时了解模型训练情况，以根据实际的模型训练情况干预模型训练，提高模型训练速度和训练精度。
参见图6，为本发明实施例提供的一种数据采集装置的实施例框图，如图6所示，该装置可包括：事件构建模块61、事件发送模块62。
其中，事件构建模块61，用于在执行机器学习模型训练任务的过程中，当检测到待采集的模型评价指标值时，基于所述模型评价指标值构建事件对象；
事件发送模块62，用于将所述事件对象发送至机器学习平台，以使所述机器学习平台存储所述模型评价指标值。
在一个可能的实施方式中，所述事件发送模块62具体用于：
将所述事件对象缓存至预设的事件队列中；
按照设定周期从所述事件队列中取出事件对象，将取出的所述事件对象发送至机器学习平台。
在一个可能的实施方式中，所述事件对象中还包括：
所述机器学习模型训练任务的任务标识，以使所述机器学习平台根据所述任务标识确定是否存储所述模型评价指标值。
参见图7，为本发明实施例提供的一种数据处理装置的实施例框图，如图7所示，该装置可包括：事件接收模块71、事件解析模块72、数据存储模块73。
其中，事件接收模块71，用于接收外部设备在执行机器学习模型训练任务的过程中发送的事件对象，所述事件对象至少包括模型评价指标值；
事件解析模块72，用于从所述事件对象中解析出所述模型评价指标值；
数据存储模块73，用于将解析出的所述模型评价指标值存储至本地数据库。
在一个可能的实施方式中，所述装置还包括(图7未示出)：
标识确定模块，用于确定所述机器学习模型训练任务的第一任务标识；
标识发送模块，用于向所述外部设备发送所述第一任务标识，以使所述外部设备基于所述机器学习模型训练任务的任务ID、模型评价指标值、以及所述第一任务标识构建事件对象；
标识解析模块，用于在所述将解析出的所述模型评价指标值存储至本地数据库之前，从所述事件对象中解析出任务ID和第二任务标识；
判断模块，用于判断所述第二任务标识与解析出的所述任务ID是否满足设定的一致性校验条件；
所述数据存储模块73，用于如果所述第二任务标识与解析出的所述任务ID满足设定的一致性校验条件，则执行所述将解析出的所述模型评价指标值存储至本地数据库的步骤；
处理模块，用于如果所述第二任务标识与解析出的所述任务ID不满足设定的一致性校验条件，则丢弃解析出的所述模型评价指标值。
在一个可能的实施方式中，所述标识确定模块具体用于：
将所述机器学习模型训练任务的任务ID和预设的密钥进行连接，得到一个字符串；
利用设定算法对所述字符串进行运算，将运算结果和所述机器学习模型训练任务的任务ID进行连接，得到所述第一任务标识。
在一个可能的实施方式中，所述事件对象中还包括：所述机器学习模型训练任务的任务ID、所述模型评价指标值对应的迭代轮数；
所述装置还包括(图7未示出)：
轮数解析模块，用于从所述事件对象中解析出所述机器学习模型训练任务的任务ID和所述模型评价指标值对应的迭代轮数；
对应存储模块，用于将解析出的所述任务ID、所述模型评价指标值对应的迭代轮数，以及所述模型评价指标值对应存储至所述本地数据库。
在一个可能的实施方式中，所述装置还包括(图7未示出)：
读取模块，用于当接收到用于指示查看模型评价指标值变化曲线的查看请求时，从所述本地数据库中读取指定任务ID对应的模型评价指标值和迭代轮数；
生成模块，用于根据读取到的模型评价指标值和迭代轮数生成模型评价指标值变化曲线，以及通过可视化界面展示所述模型评价指标值变化曲线。
图8为本发明实施例提供的一种的电子设备的结构示意图，图8所示的电子设备800包括：至少一个处理器801、存储器802、至少一个网络接口804和其他用户接口803。电子设备800中的各个组件通过总线系统805耦合在一起。可理解，总线系统805用于实现这些组件之间的连接通信。总线系统805除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统805。
其中，用户接口803可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
可以理解，本发明实施例中的存储器802可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(StaticRAM，SRAM)、动态随机存取存储器(DynamicRAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM，DRRAM)。本文描述的存储器802旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器802存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统8021和应用程序8022。
其中，操作系统8021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序8022，包含各种应用程序，例如媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序8022中。
在本发明实施例中，通过调用存储器802存储的程序或指令，具体的，可以是应用程序8022中存储的程序或指令，处理器801用于执行各方法实施例所提供的方法步骤，例如包括：
在执行机器学习模型训练任务的过程中，当检测到待采集的模型评价指标值时，基于所述模型评价指标值构建事件对象；
将所述事件对象发送至机器学习平台，以使所述机器学习平台存储所述模型评价指标值。
或者，
接收外部设备在执行机器学习模型训练任务的过程中发送的事件对象，所述事件对象至少包括模型评价指标值；
从所述事件对象中解析出所述模型评价指标值；
将解析出的所述模型评价指标值存储至本地数据库。
上述本发明实施例揭示的方法可以应用于处理器801中，或者由处理器801实现。处理器801可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器801中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器801可以是通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(FieldProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器802，处理器801读取存储器802中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits，ASIC)、数字信号处理器(DigitalSignalProcessing，DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(ProgrammableLogicDevice，PLD)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本实施例提供的电子设备可以是如图8中所示的电子设备，可执行如图2～4中方法的所有步骤，进而实现图2～4所示方法的技术效果，具体请参照图2～4的相关描述，为简洁描述，在此不作赘述。
本发明实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中，存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。
当存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述在电子设备侧执行的数据采集方法或数据处理方法。
所述处理器用于执行存储器中存储的数据采集程序，以实现以下在电子设备侧执行的数据采集方法的步骤：
在执行机器学习模型训练任务的过程中，当检测到待采集的模型评价指标值时，基于所述模型评价指标值构建事件对象；
将所述事件对象发送至机器学习平台，以使所述机器学习平台存储所述模型评价指标值。
或者，所述处理器用于执行存储器中存储的数据处理程序，以实现以下在电子设备侧执行的数据处理方法的步骤：
接收外部设备在执行机器学习模型训练任务的过程中发送的事件对象，所述事件对象至少包括模型评价指标值；
从所述事件对象中解析出所述模型评价指标值；
将解析出的所述模型评价指标值存储至本地数据库。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种数据采集方法，其特征在于，所述方法包括：
在执行机器学习模型训练任务的过程中，当检测到待采集的模型评价指标值时，基于所述模型评价指标值构建事件对象；
将所述事件对象发送至机器学习平台，以使所述机器学习平台存储所述模型评价指标值。
2.根据权利要求1所述的方法，其特征在于，所述将所述事件对象发送至机器学习平台，包括：
将所述事件对象缓存至预设的事件队列中；
按照设定周期从所述事件队列中取出事件对象，将取出的所述事件对象发送至机器学习平台。
3.根据权利要求1所述的方法，其特征在于，所述事件对象中还包括：
所述机器学习模型训练任务的任务标识，以使所述机器学习平台根据所述任务标识确定是否存储所述模型评价指标值。
4.一种数据处理方法，其特征在于，所述方法包括：
接收外部设备在执行机器学习模型训练任务的过程中发送的事件对象，所述事件对象至少包括模型评价指标值；
从所述事件对象中解析出所述模型评价指标值；
将解析出的所述模型评价指标值存储至本地数据库。
5.根据权利要求4所述的方法，其特征在于，还包括：
确定所述机器学习模型训练任务的第一任务标识；
向所述外部设备发送所述第一任务标识，以使所述外部设备基于所述机器学习模型训练任务的任务ID、模型评价指标值、以及所述第一任务标识构建事件对象；
在所述将解析出的所述模型评价指标值存储至本地数据库之前，还包括：
从所述事件对象中解析出任务ID和第二任务标识；
判断所述第二任务标识与解析出的所述任务ID是否满足设定的一致性校验条件；
如果满足，则执行所述将解析出的所述模型评价指标值存储至本地数据库的步骤；
如果不满足，则丢弃解析出的所述模型评价指标值。
6.根据权利要求5所述的方法，其特征在于，所述确定所述机器学习模型训练任务的第一任务标识，包括：
将所述机器学习模型训练任务的任务ID和预设的密钥进行连接，得到一个字符串；
利用设定算法对所述字符串进行运算，将运算结果和所述机器学习模型训练任务的任务ID进行连接，得到所述第一任务标识。
7.根据权利要求4所述的方法，其特征在于，所述事件对象中还包括：所述机器学习模型训练任务的任务ID、所述模型评价指标值对应的迭代轮数；
所述方法还包括：
从所述事件对象中解析出所述机器学习模型训练任务的任务ID和所述模型评价指标值对应的迭代轮数；
将解析出的所述任务ID、所述模型评价指标值对应的迭代轮数，以及所述模型评价指标值对应存储至所述本地数据库。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
当接收到用于指示查看模型评价指标值变化曲线的查看请求时，从所述本地数据库中读取指定任务ID对应的模型评价指标值和迭代轮数；
根据读取到的模型评价指标值和迭代轮数生成模型评价指标值变化曲线，以及通过可视化界面展示所述模型评价指标值变化曲线。
9.一种数据处理方法，其特征在于，所述方法包括：
外部设备在执行机器学习模型训练任务的过程中，当检测到待采集的模型评价指标值时，基于所述模型评价指标值构建事件对象；将所述事件对象发送至机器学习平台；
机器学习平台接收外部设备在执行机器学习模型训练任务的过程中发送的事件对象，所述事件对象至少包括模型评价指标值；从所述事件对象中解析出所述模型评价指标值；将解析出的所述模型评价指标值存储至本地数据库。
10.一种数据采集装置，其特征在于，所述装置包括：
事件构建模块，用于在执行机器学习模型训练任务的过程中，当检测到待采集的模型评价指标值时，基于所述模型评价指标值构建事件对象；
事件发送模块，用于将所述事件对象发送至机器学习平台，以使所述机器学习平台存储所述模型评价指标值。
11.一种数据处理装置，其特征在于，所述装置包括：
事件接收模块，用于接收外部设备在执行机器学习模型训练任务的过程中发送的事件对象，所述事件对象至少包括模型评价指标值；
事件解析模块，用于从所述事件对象中解析出所述模型评价指标值；
数据存储模块，用于将解析出的所述模型评价指标值存储至本地数据库。
12.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的数据采集程序，以实现权利要求1～3中任一项所述的数据采集方法；或者，
所述处理器用于执行所述存储器中存储的数据处理程序，以实现权利要求4～8中任一项所述的数据处理方法。
13.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1～3中任一项所述的数据采集方法或4～8中任一项所述的数据处理方法。
CN202011461643.8A 2020-12-08 2020-12-08 数据采集方法、数据处理方法、装置及电子设备 Active CN112540861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011461643.8A CN112540861B (zh) 2020-12-08 2020-12-08 数据采集方法、数据处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011461643.8A CN112540861B (zh) 2020-12-08 2020-12-08 数据采集方法、数据处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112540861A true CN112540861A (zh) 2021-03-23
CN112540861B CN112540861B (zh) 2023-09-08

Family

ID=75018526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011461643.8A Active CN112540861B (zh) 2020-12-08 2020-12-08 数据采集方法、数据处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112540861B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150161237A1 (en) * 2012-05-18 2015-06-11 Tata Consultancy Services Limited System and method for creating structured event objects
US9501749B1 (en) * 2012-03-14 2016-11-22 The Mathworks, Inc. Classification and non-parametric regression framework with reduction of trained models
WO2019002603A1 (en) * 2017-06-30 2019-01-03 Royal Holloway And Bedford New College METHOD FOR MONITORING THE PERFORMANCE OF AN AUTOMATIC LEARNING ALGORITHM
CN110020425A (zh) * 2019-01-16 2019-07-16 阿里巴巴集团控股有限公司 模型运营方法和装置
CN110334126A (zh) * 2019-05-23 2019-10-15 平安科技（深圳）有限公司 基于Spring MVC的定时任务处理方法、装置和计算机设备
CN110825522A (zh) * 2019-10-31 2020-02-21 武汉联图时空信息科技有限公司 Spark参数自适应优化方法及系统
CN110956278A (zh) * 2019-11-26 2020-04-03 支付宝(杭州)信息技术有限公司 重新训练机器学习模型的方法和系统
CN111310052A (zh) * 2020-02-29 2020-06-19 平安国际智慧城市科技股份有限公司 用户画像构建方法、装置及计算机可读存储介质
US20200311541A1 (en) * 2019-03-28 2020-10-01 International Business Machines Corporation Metric value calculation for continuous learning system
US20200372403A1 (en) * 2019-05-24 2020-11-26 Bank Of America Corporation Real-time convergence analysis of machine learning population output in rapid changing and adversarial environments

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9501749B1 (en) * 2012-03-14 2016-11-22 The Mathworks, Inc. Classification and non-parametric regression framework with reduction of trained models
US20150161237A1 (en) * 2012-05-18 2015-06-11 Tata Consultancy Services Limited System and method for creating structured event objects
WO2019002603A1 (en) * 2017-06-30 2019-01-03 Royal Holloway And Bedford New College METHOD FOR MONITORING THE PERFORMANCE OF AN AUTOMATIC LEARNING ALGORITHM
CN110020425A (zh) * 2019-01-16 2019-07-16 阿里巴巴集团控股有限公司 模型运营方法和装置
US20200311541A1 (en) * 2019-03-28 2020-10-01 International Business Machines Corporation Metric value calculation for continuous learning system
CN110334126A (zh) * 2019-05-23 2019-10-15 平安科技（深圳）有限公司 基于Spring MVC的定时任务处理方法、装置和计算机设备
US20200372403A1 (en) * 2019-05-24 2020-11-26 Bank Of America Corporation Real-time convergence analysis of machine learning population output in rapid changing and adversarial environments
CN110825522A (zh) * 2019-10-31 2020-02-21 武汉联图时空信息科技有限公司 Spark参数自适应优化方法及系统
CN110956278A (zh) * 2019-11-26 2020-04-03 支付宝(杭州)信息技术有限公司 重新训练机器学习模型的方法和系统
CN111310052A (zh) * 2020-02-29 2020-06-19 平安国际智慧城市科技股份有限公司 用户画像构建方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN112540861B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN108073519B (zh) 测试用例生成方法和装置
CN107341098B (zh) 软件性能测试方法、平台、设备及存储介质
US20150169431A1 (en) Process for displaying test coverage data during code reviews
CN110442712B (zh) 风险的确定方法、装置、服务器和文本审理系统
CN107729227B (zh) 应用程序测试范围确定方法、系统、服务器和存储介质
JP2020522774A (ja) サーバ、金融時系列データの処理方法及び記憶媒体
US9612873B2 (en) Dynamically scalable data collection and analysis for target device
CN111563016B (zh) 日志采集分析方法、装置、计算机系统及可读存储介质
CN110474900B (zh) 一种游戏协议测试方法及装置
US10698962B2 (en) Analysis of data utilization
CN113076104A (zh) 页面生成方法、装置、设备及存储介质
CN112181835B (zh) 自动化测试方法、装置、计算机设备及存储介质
US20190114246A1 (en) Method for replicating production behaviours in a development environment
CN112015663A (zh) 测试数据录制方法、装置、设备及介质
CN111198797A (zh) 操作监控方法及装置、操作分析方法及装置
US11899770B2 (en) Verification method and apparatus, and computer readable storage medium
CN111835808B (zh) 数据存储方法及装置、数据读取方法及装置、存储介质
CN106127558B (zh) 一种账单生成方法及移动终端
CN112861013A (zh) 用户画像更新方法、装置、电子设备及存储介质
US20150358215A1 (en) Shared risk influence evaluation system, shared risk influence evaluation method, and program
CN112540861A (zh) 数据采集方法、数据处理方法、装置及电子设备
CN113282476B (zh) 接口性能测试方法、装置和电子设备
CN111741046B (zh) 数据上报方法、获取方法、装置、设备及介质
CN111190824B (zh) 监测方法、装置、终端设备及存储介质
CN113706131A (zh) 一种基于加密卡的区块链交易方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant