CN113449875A - 数据处理系统及数据处理方法 - Google Patents

数据处理系统及数据处理方法 Download PDF

Info

Publication number
CN113449875A
CN113449875A CN202010272693.5A CN202010272693A CN113449875A CN 113449875 A CN113449875 A CN 113449875A CN 202010272693 A CN202010272693 A CN 202010272693A CN 113449875 A CN113449875 A CN 113449875A
Authority
CN
China
Prior art keywords
machine learning
parameter
data processing
module
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010272693.5A
Other languages
English (en)
Inventor
江嘉振
李孟宇
陈俊宏
李振忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanta Computer Inc
Original Assignee
Quanta Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanta Computer Inc filed Critical Quanta Computer Inc
Publication of CN113449875A publication Critical patent/CN113449875A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种数据处理方法，包含：产生机器学习参数，并取得参数储存代码；接收机器学习参数及参数储存代码，并依据参数储存代码，将机器学习参数储存到储存空间，当机器学习参数被更改时，产生事件通知；以及依据事件通知产生加载要求，加载要求用以要求更改后的机器学习参数；其中，在产生加载要求后，从参数储存代码对应的储存空间下载更改后的机器学习参数。

Description

数据处理系统及数据处理方法
技术领域
本发明是关于一种处理系统，特别是关于一种数据处理系统及数据处理方法。
背景技术
一般而言，机器学习的数据训练步骤完成后，开发者需要手动的将参数汇出，并将参数放置在预测数据处理的程序可以存取得到的位置，才能够加载机器学习参数到机器学习模型中。当参数有异动的时候，需要再次手动汇出新的参数，并手动的停止预测数据处理程序，然后重载新的参数，才能作后续的数据预测，这方式对设计机器学习预测的系统相当的不方便。
因此，如何简化机器学习预测的处理流程，以快速且准确地处理更新或被调整过的参数，已成为本领域需解决的问题之一。
发明内容
为了解决上述的问题，本公开内容之一态样提供了一种数据处理系统，包含储存装置、机器学习训练模块、机器学习参数储存模块以及预测数据处理模块。储存装置用以提供储存空间。机器学习训练模块用以产生机器学习参数，并取得参数储存代码。其中，参数储存代码对应于储存空间。机器学习参数储存模块用以接收机器学习参数及参数储存代码，并依据参数储存代码，将机器学习参数储存到储存空间。当机器学习参数被更改时，机器学习参数储存模块传送事件通知。预测数据处理模块用以接收事件通知，依据事件通知传送加载要求，以向机器学习参数储存模块要求更改后的机器学习参数。其中，机器学习参数储存模块接收到加载要求后，从参数储存代码对应的储存空间下载更改后的机器学习参数，并传送更改后的机器学习参数到预测数据处理模块。
为了解决上述的问题，本公开内容之另一态样提供了一种数据处理方法，包含：产生机器学习参数，并取得参数储存代码；其中，参数储存代码对应于储存空间；接收机器学习参数及参数储存代码，并依据参数储存代码，将机器学习参数储存到储存空间，当机器学习参数被更改时，产生事件通知；以及依据事件通知产生加载要求，加载要求用以要求更改后的机器学习参数；其中，在产生加载要求后，从参数储存代码对应的储存空间下载更改后的机器学习参数。
由上述可知，藉由本案的数据处理系统及数据处理方法，预测数据处理模块与机器学习参数储存模块可以通过共享参数储存代码以得知机器学习参数对应的储存空间，并且在机器学习参数异动后，通过事件通知的机制，使预测数据处理模块重载异动后的新的或更改后的机器学习参数，以更新用以预测新的数据的机器学习参数，即使机器学习参数更新频繁，也能自动储存并加载最新版的机器学习参数，使预测数据处理模块使用最新版的机器学习参数进行后续应用，因此，藉由案的数据处理系统及数据处理方法可达到简化机器学习预测的处理流程的功效。
附图说明
图1是依照本发明一实施例绘示一种数据处理系统的框图。
图2是根据本发明之一实施例绘示一种数据处理方法的流程图。
图3是根据本发明之一实施例绘示一种数据处理方法的示意图。
具体实施方式
以下说明系为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
必须了解的是，使用于本说明书中的“包含”、“包括”等词，用以表示存在特定的技术特征、数值、方法步骤、作业处理、组件以及/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、组件、元件，或以上的任意组合。
权利要求中使用如“第一”、“第二”、“第三”等词用来修饰权利要求中的组件，并非用来表示之间具有优先权顺序，先行关系，或者是一个组件先于另一个组件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的组件。
请参照第1及2图，图1是依照本发明实施例绘示一种数据处理系统100的框图。图2是根据本发明之一实施例绘示一种数据处理方法200的流程图。
如图1所示，数据处理系统100适用于电子装置上，电子装置例如为计算机、手机、平板或其它具有运算功能的装置。在实施例中，数据处理系统100包含机器学习训练模块110、机器学习参数储存模块120、预测数据处理模块130及储存装置150。在实施例中，数据处理系统100还包含参数注册模块140。
在实施例中，储存装置150用以提供储存空间，储存装置150可被实作为只读存储器、闪存、软盘、硬盘、光盘、随身碟、磁带、可由网络存取的数据库或本领域技术人员可轻易思及具有相同功能的储存媒体。
在实施例中，机器学习训练模块110、机器学习参数储存模块120、预测数据处理模块130及参数注册模块140各自或一并可由体积电路如微控制单元(micro controller)、微处理器(microprocessor)、数字信号处理器(digital signal processor)、特殊应用集成电路(application specific integrated circuit，ASIC)或逻辑电路来实施。
在实施例中，机器学习训练模块110、机器学习参数储存模块120、预测数据处理模块130及参数注册模块140可以由容器(container)虚拟化技术实现，容器虚拟化技术属于操作系统层虚拟化，主要依赖操作系统内核(kernel)虚拟化的支持，让多个使用者空间列项(user-space instance)可以在主机操作系统(host operating system)的内核中各自独立运行，每个乘载使用者空间列项的资源空间称为容器，主机内核本身也具管理功能，使各容器之间隔离运行，使得每个容器之间的交互影响最小化。因此每个容器中所执行的程序所使用的运算、储存、记忆、网络等资源，就像是个别专用的一样。在实施例中，机器学习训练模块110、机器学习参数储存模块120、预测数据处理模块130及参数注册模块140是由一或多个的容器(每个容器可用以执行特定的程序)所组成。关于容器虚拟化技术的应用属于已知技术，例如已知的Docker容器技术、CoreOS rkt(Rocket)容器技术，此些已知技术为实现本发明的一种实施方式，故此处不赘述之。
在步骤210中，机器学习训练模块110产生机器学习参数，并取得参数储存代码；其中，参数储存代码对应于储存空间。
在实施例中，机器学习训练模块110可以包含神经网络模型，例如卷积神经网络(Convolutional neural network，CNN)、递归神经网络(Recurrent Neural Network，RNN)、生成对抗网络(Generative Adversarial Network，GAN)…等等，神经网络模型可以应用已知的模型实现。
在实施例中，通过输入大量的历史数据(或训练数据)到机器学习训练模块110中，机器学习训练模块110通过神经网络模型运算出机器学习参数，机器学习参数可包含隐藏层数、数以百计的各层参数、运行历史数据的次数、学习速度…等等参数。
在实施例中，机器学习参数为一个数据参数模型。
例如，使用者欲分析某一只股票的股价历史数据，此股价历史数据的数据量巨大，难以由人工计算出精准的股票参数模型，因此将此只股票的股价历史数据输入机器学习训练模块110，机器学习训练模块110中的神经网络模型藉由大量的股价历史数据进行训练，以输出关于此档股价的机器学习参数，机器学习参数可以视为股票预测模型，也可以被储存为一档案。机器学习参数可用以预测此只股票在未来某时点的股价。在实施例中，机器学习训练模块110可从网页下载、文件夹下载或其他输入方式取得此只股票的股价历史数据。
在实施例中，参数注册模块140在第一次接收到机器学习训练模块110所发出的机器学习参数后，会启动注册程序，产生对应此机器学习参数的参数储存代码，换句话说，参数注册模块140会将此机器学习参数与参数储存代码绑定。在实施例中，参数注册模块140可以随机数生成参数储存代码，或是依照接收次序产生参数储存代码(例如接收到的第一组机器学习参数对应到参数储存代码为1，接收到的第二组机器学习参数对应到参数储存代码为2)。
在实施例中，参数注册模块140接收到机器学习参数后，传送空间规划要求到机器学习参数储存模块120，促使机器学习参数储存模块120规划储存空间，用以储存机器学习参数；其中，机器学习参数储存模块120收到空间规划要求后，促使储存服务155(如图3所示)建立储存空间，参数注册模块140再将参数储存代码对应到此储存空间。
在实施例中，参数注册模块140产生此储存空间及参数储存代码之间的对应关系，并将参数储存码传送到机器学习训练模块110及预测数据处理模块130。
在实施例中，机器学习参数储存模块120收到空间规划要求后，促使储存服务155呼叫Kubernetes的应用程序编程接口(Application Programming Interface，API)以要求永续性磁盘区宣告(Persistent Volume Claim，PVC)，通过PVC动态布建一永续性磁盘区(Persistent Volume，PV)资源，此PV资源作为储存空间。其中，Kubernetes是用于自动部署、扩展和管理容器化(containerized)应用程序的开源系统，用以提供跨主机集群的自动部署、扩展以及运行应用程序容器的平台，可动态的建立储存空间，让机器学习参数可以有一个的存放位置，不需要先行设定好位置。Kubernetes中的PV资源可用于管理丛集中持久可用的储存空间，PV资源也可以搭配使用网络档案管理系统(Network File System，NFS)等其他类型的储存空间，PV资源的生命周期是由Kubernetes代管，PV资源可以动态布建；使用者不需要手动建立和删除辅助储存空间。Kubernetes中的PVC是向PV资源提出的请求和要求。PVC对象会请求PV资源的特定大小、存取模式及配置文件。如果符合该项请求的PV资源存在或可供布建，则PVC会系结至该PV资源。由于Kubernetes为已知技术，故此处不赘述之。
在实施例中，储存服务155可以通过Kubernetes、云端硬盘或其他已知方式建立储存空间。
在步骤220中，机器学习参数储存模块120接收机器学习参数及参数储存代码，并依据参数储存代码，将机器学习参数储存到储存空间，当此机器学习参数被更改时，机器学习参数储存模块120传送事件通知。
在实施例中，机器学习参数储存模块120会将对应到相同参数储存代码的机器学习参数作比对，例如，机器学习参数储存模块120先收到第一版本的机器学习参数，后收到第二版本的机器学习参数(例如，机器学习参数储存模块110收集到更多股价历史数据，产生更精准的机器学习参数)，机器学习参数储存模块120会比对第一版本的机器学习参数与第二版本的机器学习参数是否相同，若不同，则代表第二版本的机器学习参数有更被更改(更新、调整或异常都视为更改)，机器学习参数储存模块120传送事件通知到预测数据处理模块130。
在步骤230中，预测数据处理模块130用以接收事件通知，依据事件通知传送加载要求，以向机器学习参数储存模块120要求更改后的机器学习参数；其中，机器学习参数储存模块120接收到加载要求后，从参数储存代码对应的储存空间下载更改后的机器学习参数，并传送更改后的机器学习参数到预测数据处理模块130。
在实施例中，预测数据处理模块130依据事件通知产生加载要求，并将加载要求传送到机器学习参数储存模块120，加载要求用以要求机器学习参数储存模块120下载更改后的机器学习参数。
在实施例中，预测数据处理模块130取得更改后的机器学习参数可作其他应用，例如将新的数据通过更改后的机器学习参数进行分析或运算，以得到更准确的预测结果。
由此，预测数据处理模块130与机器学习参数储存模块120，可以通过共享参数储存代码以得知机器学习参数对应的储存空间，并且在机器学习参数异动后，通过事件通知的机制，使预测数据处理模块130重载异动后的新的或更改后的机器学习参数，以更新用以预测新的数据的机器学习参数。
图3是根据本发明之一实施例绘示一种数据处理方法300的示意图。
在步骤S1中，参数注册模块140接收机器学习参数。在实施例中，参数注册模块140接收机器学习参数后，传送空间规划要求到机器学习参数储存模块120。
在步骤S2中，机器学习参数储存模块120依据空间规划要求进行空间规划，并传送建立储存空间讯息到储存服务155。在实施例中，机器学习参数储存模块120收到空间规划要求后，传送建立储存空间讯息，以促使储存服务155建立储存空间。
在步骤S3中，储存服务155建立储存空间。
在实施例中，在步骤S2后可依序或同时或乱序执行步骤S3及S4。
在步骤S4中，参数注册模块140产生参数储存代码。
在实施例中，参数注册模块140产生此储存空间及参数储存代码之间的对应关系，并将参数储存码传送到机器学习训练模块110及预测数据处理模块130。
在步骤S5中，机器学习训练模块110设定参数储存码。
在步骤S6中，预测数据处理模块130设定参数储存码。
在实施例中，在步骤S4后可依序或同时或乱序执行步骤S3及S4。在执行完步骤S5～S6后，完成依据机器学习参数设定参数储存代码及储存空间的对应关系。在实施例中，步骤S1～S6可视为数据处理系统100的初始环境设定。
在步骤S7中，机器学习训练模块110产生机器学习参数。
在步骤S8中，机器学习参数储存模块120储存机器学习参数到对应的储存空间。
在实施例中，步骤S1的机器学习参数(例如称为第一版本的机器学习参数)与步骤S7所述的机器学习参数(例如称为第二版本的机器学习参数)的内容可能相同也可能不同，因此，在步骤S8中，机器学习参数储存模块120接收机器学习参数(即第二版本的机器学习参数)及其参数储存代码，当机器学习参数储存模块120比对出第一版的机器学习参数与第二版的机器学习参数对应到同一参数储存代码时，机器学习参数储存模块120进而比对第一版本的机器学习参数与第二版本的机器学习参数是否相同，若不同，则判断第二版本的机器学习参数被更改，将第二版本的机器学习参数视为更改后的机器学习参数，机器学习参数储存模块120传送事件通知(包含更改信息)到预测数据处理模块130，并将储存第二版本的机器学习参数到对应的储存空间(可以是覆盖第一版本的机器学习参数，或是当储存空间足够时，第二版本的机器学习参数与第一版本的机器学习参数并存于储存空间)。
若机器学习参数储存模块120比对第一版本的机器学习参数与第二版本的机器学习参数相同，则将储存第二版本的机器学习参数到对应的储存空间(可以是覆盖第一版本的机器学习参数，或是当储存空间足够时，第二版本的机器学习参数与第一版本的机器学习参数并存于储存空间，于一些例子中，由于两个版本的机器学习参数相同，机器学习参数储存模块120可不进行储存第二版本的机器学习参数)，并传送事件通知(包含未更改信息)到预测数据处理模块130。
在步骤S9中，预测数据处理模块130接收事件通知，依据事件通知传送加载要求到机器学习参数储存模块120。
在实施例中，预测数据处理模块130可由接收到的事件通知，可以从事件通知得知数据处理系统100中有新的(更改后的)机器学习参数可作运算，因此传送加载要求到机器学习参数储存模块120。
在步骤S10中，机器学习参数储存模块120收到加载要求后，由对应参数储存代码的储存空间下载更改后的机器学习参数。
在实施例中，机器学习参数储存模块120将更改后的机器学习参数传送到预测数据处理模块130。
在步骤S11中，预测数据处理模块130加载更改后的机器学习参数。
在实施例中，预测数据处理模块130可以将新的数据通过更改后的机器学习参数进行分析或运算，以得到更准确的预测结果。
由上述可知，藉由本案的数据处理系统及数据处理方法，预测数据处理模块与机器学习参数储存模块可以通过共享参数储存代码以得知机器学习参数对应的储存空间，并且在机器学习参数异动后，通过事件通知的机制，使预测数据处理模块重载异动后的新的或更改后的机器学习参数，以更新用以预测新的数据的机器学习参数，即使机器学习参数更新频繁，也能自动储存并加载最新版的机器学习参数，使预测数据处理模块使用最新版的机器学习参数进行后续应用，因此，藉由案的数据处理系统及数据处理方法可达到简化机器学习预测的处理流程的功效。
【符号说明】
100：数据处理系统
110：机器学习训练模块
120：机器学习参数储存模块
130：预测数据处理模块
140：参数注册模块
150：储存装置
200,300：数据处理方法
210～230,S1～S11：步骤
155：储存服务

Claims (10)

1.一种数据处理系统，包含：
储存装置，用以提供储存空间；
机器学习训练模块，用以产生机器学习参数，并取得参数储存代码；其中，该参数储存代码对应于该储存空间；
机器学习参数储存模块，用以接收该机器学习参数及该参数储存代码，并依据该参数储存代码，将该机器学习参数储存到该储存空间，当该机器学习参数被更改时，该机器学习参数储存模块传送事件通知；以及
预测数据处理模块，用以接收该事件通知，依据该事件通知传送加载要求，以向该机器学习参数储存模块要求更改后的该机器学习参数；
其中，该机器学习参数储存模块接收到该加载要求后，从该参数储存代码对应的该储存空间下载更改后的该机器学习参数，并传送更改后的该机器学习参数到该预测数据处理模块。
2.如权利要求1所述的数据处理系统，其中该机器学习训练模块用以接收多个训练数据，并将该些训练数据输入神经网络模型，以产生该机器学习参数。
3.如权利要求1所述的数据处理系统，其中该数据处理系统还包含：
参数注册模块，用以接收该机器学习参数，并产生对应该机器学习参数的该参数储存代码。
4.如权利要求2所述的数据处理系统，其中该参数注册模块接收到该机器学习参数后，传送空间规划要求，促使该机器学习参数储存模块规划该储存空间；
其中，该机器学习参数储存模块收到该空间规划要求后，促使储存服务建立该储存空间。
5.如权利要求2所述的数据处理系统，其中该参数注册模块产生该储存空间及该参数储存代码之间的对应关系，并将该参数储存码传送到该机器学习训练模块及该预测数据处理模块。
6.如权利要求1所述的数据处理系统，其中该机器学习参数储存模块呼叫Kubernetes的应用程序编程接口(Application Programming Interface，API)以要求一永续性磁盘区宣告(Persistent Volume Claim，PVC)，通过该PVC动态布建一永续性磁盘区(PersistentVolume,PV)资源，该PV资源作为该储存空间。
7.一种数据处理方法，包含：
产生机器学习参数，并取得参数储存代码；其中，该参数储存代码对应于储存空间；
接收该机器学习参数及该参数储存代码，并依据该参数储存代码，将该机器学习参数储存到该储存空间，当该机器学习参数被更改时，产生事件通知；以及
依据该事件通知产生加载要求，该加载要求用以要求更改后的该机器学习参数；
其中，在产生该加载要求后，从该参数储存代码对应的该储存空间下载更改后的该机器学习参数。
8.如权利要求7所述的数据处理方法，还包含：
接收多个训练数据，并将该些训练数据输入神经网络模型，以产生该机器学习参数。
9.如权利要求7所述的数据处理方法，还包含：
接收该机器学习参数，并产生对应该机器学习参数的该参数储存代码。
10.如权利要求9所述的数据处理方法，还包含：
接收到该机器学习参数后，传送空间规划要求，该空间规划要求用以要求储存服务建立该储存空间。
CN202010272693.5A 2020-03-24 2020-04-09 数据处理系统及数据处理方法 Pending CN113449875A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109109722 2020-03-24
TW109109722A TW202137078A (zh) 2020-03-24 2020-03-24 資料處理系統及資料處理方法

Publications (1)

Publication Number Publication Date
CN113449875A true CN113449875A (zh) 2021-09-28

Family

ID=77808305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010272693.5A Pending CN113449875A (zh) 2020-03-24 2020-04-09 数据处理系统及数据处理方法

Country Status (3)

Country Link
US (1) US11610155B2 (zh)
CN (1) CN113449875A (zh)
TW (1) TW202137078A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11592984B2 (en) * 2020-09-11 2023-02-28 Seagate Technology Llc Onboard machine learning for storage device
US11748251B2 (en) * 2021-01-08 2023-09-05 Microsoft Technology Licensing, Llc Storing tensors in memory based on depth
CN114389953B (zh) * 2021-12-30 2024-03-19 中国—东盟信息港股份有限公司 一种基于流量预测的Kubernetes容器动态扩缩容方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107111787A (zh) * 2014-09-08 2017-08-29 皮沃塔尔软件公司 流处理
CN108076224A (zh) * 2017-12-21 2018-05-25 广东欧珀移动通信有限公司 应用程序控制方法、装置及存储介质和移动终端
CN109271015A (zh) * 2018-10-10 2019-01-25 杭州电子科技大学 一种降低大规模分布式机器学习系统能耗的方法
US20190102693A1 (en) * 2017-09-29 2019-04-04 Facebook, Inc. Optimizing parameters for machine learning models
CN110689137A (zh) * 2019-09-24 2020-01-14 网易传媒科技（北京）有限公司 参数确定方法、系统、介质和电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9141916B1 (en) * 2012-06-29 2015-09-22 Google Inc. Using embedding functions with a deep network
US11112784B2 (en) * 2016-05-09 2021-09-07 Strong Force Iot Portfolio 2016, Llc Methods and systems for communications in an industrial internet of things data collection environment with large data sets
EP3460613B1 (en) * 2016-06-08 2020-10-07 Uisee Technologies (Beijing) Ltd Speed planning method and apparatus and calculating apparatus for automatic driving of vehicle
US11620471B2 (en) * 2016-11-30 2023-04-04 Cylance Inc. Clustering analysis for deduplication of training set samples for machine learning based computer threat analysis
TWI639091B (zh) 2017-12-08 2018-10-21 鐘振聲 Big data based automated analysis processing system
US11423425B2 (en) * 2019-01-24 2022-08-23 Qualtrics, Llc Digital survey creation by providing optimized suggested content
BR112021016621A2 (pt) * 2019-02-21 2021-11-03 Theator Inc Sistemas e métodos para análise de vídeos cirúrgicos
US20200371778A1 (en) * 2019-05-21 2020-11-26 X Development Llc Automated identification of code changes
US11243746B2 (en) * 2019-07-01 2022-02-08 X Development Llc Learning and using programming styles
US20210192321A1 (en) * 2019-12-18 2021-06-24 X Development Llc Generation and utilization of code change intents

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107111787A (zh) * 2014-09-08 2017-08-29 皮沃塔尔软件公司 流处理
US20190102693A1 (en) * 2017-09-29 2019-04-04 Facebook, Inc. Optimizing parameters for machine learning models
CN108076224A (zh) * 2017-12-21 2018-05-25 广东欧珀移动通信有限公司 应用程序控制方法、装置及存储介质和移动终端
CN109271015A (zh) * 2018-10-10 2019-01-25 杭州电子科技大学 一种降低大规模分布式机器学习系统能耗的方法
CN110689137A (zh) * 2019-09-24 2020-01-14 网易传媒科技（北京）有限公司 参数确定方法、系统、介质和电子设备

Also Published As

Publication number Publication date
US11610155B2 (en) 2023-03-21
TW202137078A (zh) 2021-10-01
US20210304068A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
US12032956B2 (en) Techniques to deploy an application as a cloud computing service
CN107766126B (zh) 容器镜像的构建方法、系统、装置及存储介质
CN109710236B (zh) 基于共享服务的业务开发和实现方法、装置、平台及介质
CN113449875A (zh) 数据处理系统及数据处理方法
US11171845B2 (en) QoS-optimized selection of a cloud microservices provider
CN112000348A (zh) 服务灰度发布的控制方法、装置、计算机设备
CN111984269B (zh) 提供应用构建服务的方法及应用构建平台
US20160299790A1 (en) Endpoint management system and virtual compute system
CN111176802A (zh) 任务处理方法、装置、电子设备及存储介质
CN108492005B (zh) 项目数据处理方法、装置、计算机设备和存储介质
CN110532025B (zh) 基于微服务架构的数据处理方法、装置、设备及存储介质
US11321322B2 (en) Lightweight DBMS based on functional microservices
CN113204368B (zh) 应用程序处理方法、服务器及存储介质
CN111988429A (zh) 算法调度方法以及系统
WO2021104132A1 (zh) 一种基于云虚拟机的数据访问方法及设备
CN111316230A (zh) 一种补丁包生成方法及设备
CN112085289B (zh) 程序维护任务处理方法、装置、设备及存储介质
CN114064079A (zh) 算法应用元的打包方法及装置、设备、存储介质
CN116880928B (zh) 模型部署方法、装置、设备及存储介质
CN116302448B (zh) 任务调度方法和系统
CN117908980A (zh) 基于Kubernetes资源对象的快速配置方法和系统
CN113485722A (zh) 应用商店的应用程序的上架方法、处理方法及计算机设备
US8595251B2 (en) Flexible interface module
CN115658287A (zh) 一种用于调度运行单元的方法、设备、介质及程序产品
US11321159B2 (en) Interchangeable plugins for detecting conflicts between server-side data and client-side data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination