CN109840591B - 模型训练系统、方法和存储介质 - Google Patents

模型训练系统、方法和存储介质 Download PDF

Info

Publication number
CN109840591B
CN109840591B CN201711227185.XA CN201711227185A CN109840591B CN 109840591 B CN109840591 B CN 109840591B CN 201711227185 A CN201711227185 A CN 201711227185A CN 109840591 B CN109840591 B CN 109840591B
Authority
CN
China
Prior art keywords
data
training
model
platform
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711227185.XA
Other languages
English (en)
Other versions
CN109840591A (zh
Inventor
陈普
廖乔勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN202110850132.3A priority Critical patent/CN113762504A/zh
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201711227185.XA priority patent/CN109840591B/zh
Priority to KR1020207018467A priority patent/KR102514325B1/ko
Priority to CA3091405A priority patent/CA3091405A1/en
Priority to PCT/CN2018/114082 priority patent/WO2019105189A1/zh
Priority to EP18883965.8A priority patent/EP3709226A4/en
Priority to AU2018374912A priority patent/AU2018374912B2/en
Priority to JP2020529143A priority patent/JP7144117B2/ja
Publication of CN109840591A publication Critical patent/CN109840591A/zh
Priority to US16/883,026 priority patent/US20200285978A1/en
Priority to JP2021121473A priority patent/JP7222036B2/ja
Application granted granted Critical
Publication of CN109840591B publication Critical patent/CN109840591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9017—Indexing; Data structures therefor; Storage structures using directory or table look-up
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0807—Network architectures or network communication protocols for network security for authentication of entities using tickets, e.g. Kerberos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0884—Network architectures or network communication protocols for network security for authentication of entities by delegation of authentication, e.g. a proxy authenticates an entity to be authenticated on behalf of this entity vis-à-vis an authentication entity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Bioethics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提供了一种模型训练系统、方法和存储介质，涉及机器学习领域。该模型训练系统，包括云数据存储平台和云模型训练平台；云数据存储平台用于存储训练数据，以及用于接收训练数据调用请求，根据训练数据调用请求，将与数据调用指令对应的训练数据导出至云模型训练平台；云模型训练平台用于接收模型训练创建指令，获取待训练模型，以及用于生成并向云数据存储平台发送训练数据调用请求，以及用于利用从云数据存储平台导出的训练数据，训练待训练模型，得到训练成果模型。利用本发明的技术方案能够降低训练数据发生泄露的风险。

Description

模型训练系统、方法和存储介质
技术领域
本发明涉及机器学习领域，尤其涉及一种模型训练系统、方法和存储介质。
背景技术
深度学习广泛应用于人工智能和计算机视觉等领域。深度学习需要进行模型训练，在模型训练过程中模型开发者需要设计好特定模型，利用数据集进行多次迭代训练，从而得到符合期望要求的深度学习模型。其中，数据集是决定训练出的模型的稳定性和精确度是否符合期望要求的关键。数据集可由数据提供者提供。
现阶段，用户可在数据提供商处购买下载数据权限。下载数据权限通过后，用户可将数据下载至本地保存。当需要进行模型训练时，将下载至本地保存的数据拷贝到模型训练系统中，实现模型训练。但是，下载至本地保存的数据发生泄漏的风险较大。
发明内容
本申请提供了一种模型训练系统、方法和存储介质，能够降低训练数据发生泄露的风险。
第一方面，本申请提供了一种模型训练系统，包括云数据存储平台和云模型训练平台；云数据存储平台用于存储训练数据，以及用于接收训练数据调用请求，根据训练数据调用请求，将与数据调用指令对应的训练数据导出至云模型训练平台；云模型训练平台用于接收模型训练创建指令，获取待训练模型，以及用于生成并向云数据存储平台发送训练数据调用请求，以及用于利用从云数据存储平台导出的训练数据，训练待训练模型，得到训练成果模型。
根据第一方面，在第一方面的第一种可能中，模型训练系统还包括检索数据平台和鉴权中心；云数据存储平台包括权限网关；检索数据平台用于根据数据提供者提供的训练数据，建立数据索引表，以及用于接收检索指令，根据检索指令在数据索引表中进行数据检索，并生成检索结果，以及用于接收用户终端针对检索结果的数据选取指令，根据数据选取指令向鉴权中心发起鉴权许可请求，鉴权许可请求包括训练数据的数据标识；鉴权中心用于接收鉴权许可请求，根据鉴权许可请求创建数据标识的数据令牌，并将数据令牌下发给权限网关和用户终端；云模型训练平台还用于向权限网关发送训练数据调用请求，训练数据调用请求包括鉴权中心下发至用户终端的数据令牌；权限网关用于建立第一对应关系，第一对应关系为数据标识与数据令牌一一对应的关系，以及用于接收训练数据调用请求，根据训练数据调用请求中的数据令牌，在第一对应关系中查找目标数据标识，目标数据标识为与训练数据调用请求中的数据令牌对应的数据标识，以及用于将目标数据标识对应的训练数据导出至云模型训练平台。
根据第一方面，在第一方面的第二种可能中，模型训练系统还包括检索数据平台和鉴权中心；云数据存储平台包括权限网关和至少一个数据存储服务器；检索数据平台用于根据数据提供者提供的训练数据，建立数据索引表，以及接收检索指令，根据检索指令在数据索引表中进行数据检索，并生成检索结果，以及用于接收用户终端针对检索结果的数据选取指令，根据数据选取指令向鉴权中心发起鉴权许可请求，鉴权许可请求包括训练数据的数据标识；鉴权中心用于接收鉴权许可请求，根据鉴权许可请求创建数据标识的数据令牌，并将数据令牌下发给权限网关和用户终端；云模型训练平台还用于向权限网关发送训练数据调用请求，训练数据调用请求包括鉴权中心下发至用户终端的数据令牌；权限网关用于建立第二对应关系，第二对应关系为数据令牌与数据路由的对应关系，数据路由包括训练数据的统一资源定位符路径，以及用于接收训练数据调用请求，根据训练数据调用请求中的数据令牌，在第二对应关系中查找目标数据路由，目标数据路由为与训练数据调用请求中的数据令牌对应的数据路由，以及用于访问目标数据存储服务器，以将目标数据存储服务器中目标数据路由指示的训练数据导出至云模型训练平台，目标数据存储服务器为与目标数据路由对应的数据存储服务器。
根据第一方面的第二种可能，在第一方面的第三种可能中，模型训练系统还包括访问路由器，权限网关通过访问路由器中预定的标准访问接口从目标数据存储服务器中导出目标数据路由指示的训练数据。
根据第一方面的第一种可能或第二种可能，在第一方面的第四种可能中，权限网关还用于获取更新判断参数，判断更新判断参数是否满足更新条件，以及用于若判定更新判断参数满足更新条件，向鉴权中心发送更新请求，以及用于与鉴权中心同步更新数据令牌；鉴权中心还用于接收更新请求，根据更新请求更新数据令牌。
根据第一方面的第四种可能，在第一方面的第五种可能中，更新判断参数包括对鉴权许可请求的拒绝次数；权限网关还用于监测鉴权中心对鉴权许可请求的处理过程，以及用于若监测到鉴权中心对鉴权许可请求的拒绝次数超出更新条件中的拒绝次数更新阈值，则向鉴权中心发送更新请求。
根据第一方面的第五种可能，在第一方面的第六种可能中，更新判断参数包括训练数据的调用次数；权限网关还用于获取一段时长内的训练数据的调用次数，以及用于若在一段时长内，同一训练数据的调用次数超出更新条件中的调用次数更新阈值，则向鉴权中心发送更新请求。
根据第一方面，在第一方面的第七种可能中，云模型训练平台还用于训练得到训练成果模型后，销毁云模型训练平台内训练训练成果模型所利用的训练数据和待训练模型。
根据第一方面，在第一方面的第八种可能中，模型训练系统还包括数据稽查系统；数据稽查系统用于对数据提供者上传的训练数据进行有效性认证，拒绝将有效性认证失败的训练数据存入云数据存储平台。
根据第一方面，在第一方面的第九种可能中，模型训练系统还包括云模型存储平台；云模型存储平台用于提供待训练模型，以及保存训练成果模型。
根据第一方面的第九种可能，在第一方面的第十种可能中，模型训练系统还包括镜像平台和模型推理平台；镜像平台用于存储模型推理运行环境；模型推理平台用于接收推理请求，推理请求包括待处理数据，以及从镜像平台加载模型推理运行环境，以及从云模型存储平台调用训练成果模型，将待处理数据导入训练成果模型进行模型推理。
第二方面，本申请提供了一种模型训练方法，包括：云模型训练平台接收模型训练创建指令，获取待训练模型；云模型训练平台生成并向云数据存储平台发出训练数据调用请求，以调用云数据存储平台中存储的训练数据；云数据存储平台接收训练数据调用请求，将与训练数据调用请求对应的训练数据导出至云模型训练平台；云模型训练平台利用从云数据存储平台导出的训练数据，训练待训练模型，得到训练成果模型。
根据第二方面，在第二方面的第一种可能中，上述模型训练方法还包括：检索数据平台根据数据提供者提供的训练数据，建立数据索引表；检索数据平台接收检索指令，根据检索指令在数据索引表中进行数据检索，并生成检索结果；检索数据平台接收用户终端的数据选取指令，根据数据选取指令向鉴权中心发起鉴权许可请求，鉴权许可请求包括训练数据的数据标识；鉴权中心接收鉴权许可请求，根据鉴权许可请求创建数据标识的数据令牌，并将数据令牌下发给权限网关和用户终端；权限网关根据下发得到的数据令牌，建立第一对应关系，第一对应关系为数据标识与数据令牌一一对应的关系。
根据第二方面的第一种可能，在第二方面的第二种可能中，云模型训练平台生成并向云数据存储平台发送训练数据调用请求，包括：云模型训练平台生成并向权限网关发送训练数据调用请求，训练数据调用请求包括鉴权中心下发至用户终端的数据令牌；云数据存储平台接收训练数据调用请求，将与训练数据调用请求对应的训练数据导出至云模型训练平台，包括：云数据存储平台中的权限网关接收训练数据调用请求，根据训练数据调用请求中的数据令牌，在第一对应关系中查找目标数据标识，并将目标数据标识对应的训练数据导出至云模型训练平台，目标数据标识为与训练数据调用请求中的数据令牌对应的数据标识。
根据第二方面，在第二方面的第三种可能中，上述模型训练方法还包括：检索数据平台根据数据提供者提供的训练数据，建立数据索引表；检索数据平台接收检索指令，根据检索指令在数据索引表中进行数据检索，并生成并发送检索结果；检索数据平台接收用户终端针对检索结果的数据选取指令，根据数据选取指令向鉴权中心发起鉴权许可请求，鉴权许可请求包括训练数据的数据标识；鉴权中心接收鉴权许可请求，根据鉴权许可请求创建数据标识的数据令牌，并将数据令牌下发给权限网关和用户终端；权限网关根据下发得到的数据令牌，建立第二对应关系，第二对应关系为数据令牌与数据路由的对应关系，数据路由包括训练数据的统一资源定位符路径。
根据第二方面的第三种可能，在第二方面的第四种可能中，云模型训练平台生成并向云数据存储平台发送训练数据调用请求，包括：云模型训练平台生成并向权限网关发送训练数据调用请求，训练数据调用请求包括鉴权中心下发至用户终端的数据令牌；云数据存储平台接收训练数据调用请求，将与训练数据调用请求对应的训练数据导出至云模型训练平台，包括：云数据存储平台中的权限网关接收训练数据调用请求，根据训练数据调用请求中的数据令牌，在第二对应关系中查找目标数据路由，目标数据路由为与训练数据调用请求中的数据令牌对应的数据路由；权限网关访问目标数据存储服务器，以将目标数据存储服务器中目标数据路由指示的训练数据导出至云模型训练平台，目标数据存储服务器为与目标数据路由对应的数据存储服务器。
根据第二方面或第二方面的第一种可能至第四种可能中的任意一种可能，在第二方面的第五种可能中，上述模型训练方法还包括：权限网关获取更新判断参数，判断更新判断参数是否满足更新条件；若判定更新判断参数满足更新条件，权限网关向鉴权中心发送更新请求；鉴权中心接收更新请求，根据更新请求更新数据令牌；权限网关与鉴权中心同步更新数据令牌。
根据第二方面的第五种可能，在第二方面的第六种可能中，更新判断参数包括对鉴权许可请求的拒绝次数；权限网关获取更新判断参数，判断更新判断参数是否满足更新条件，包括：权限网关监测鉴权中心对鉴权许可请求的处理过程，并获取鉴权中心对鉴权许可请求的拒绝次数，并判断鉴权中心对鉴权许可请求的拒绝次数是否超出更新条件中的拒绝次数更新阈值；若判定更新判断参数满足更新条件，权限网关向鉴权中心发送更新请求，包括：若监测到鉴权中心对鉴权许可请求的拒绝次数超出更新条件中的拒绝次数更新阈值，则向鉴权中心发送更新请求。
根据第二方面的第五种可能，在第二方面的第七种可能中，更新判断参数包括训练数据的调用次数；权限网关获取更新判断参数，判断更新判断参数是否满足更新条件，包括：权限网关获取一段时长内的训练数据的调用次数，判断在一段时长内，同一训练数据的调用次数是否超出更新条件中的调用次数更新阈值；若判定更新判断参数满足更新条件，权限网关向鉴权中心发送更新请求，包括：若在一段时长内，同一训练数据的调用次数超出更新条件中的调用次数更新阈值，则向鉴权中心发送更新请求。
根据第二方面，在第二方面的第八种可能中，在云模型训练平台利用从云数据存储平台导出的训练数据，训练待训练模型，得到训练成果模型之后，还包括：云模型训练平台销毁云模型训练平台内训练训练成果模型所利用的训练数据和待训练模型。
根据第二方面，在第二方面的第九种可能中，上述模型训练方法还包括：数据稽查系统对数据提供者上传的训练数据进行有效性认证；数据稽查系统拒绝将有效性认证失败的训练数据存入云数据存储平台。
根据第二方面，在第二方面的第十种可能中，在云模型训练平台利用从云数据存储平台导出的训练数据，训练待训练模型，得到训练成果模型之后，还包括：云模型存储平台保存训练成果模型。
根据第二方面的第十种可能，在第二方面的第十一种可能中，上述模型训练方法还包括：模型推理平台接收推理请求，推理请求包括待处理数据；模型推理平台从镜像平台加载模型推理运行环境，并从云模型存储平台调用训练成果模型，将待处理数据导入训练成果模型进行模型推理。
第三方面，本申请提供了一种存储介质，存储介质上存储有程序，程序被处理器执行时实现上述技术方案中的模型训练方法。
本申请提供了一种模型训练系统、方法和存储介质，可应用于深度学习场景中。模型训练系统可包括云数据存储平台和云模型训练平台。云数据存储平台存储训练数据。云模型训练平台接收用户的模型训练创建指令，触发执行模型训练。云模型训练平台通过向云数据存储平台发送训练数据调用请求，调用云数据存储平台存储的训练数据。云模型训练平台利用获取的待训练模型和从云数据存储平台导出的训练数据进行模型训练。在本申请中，云数据存储平台和云模型训练平台相互独立，将训练数据的存储与模型训练两种功能分离。云数据存储平台和云模型训练平台均以云系统为基础实现，模型训练过程在云系统中进行，进行模型训练的用户无法将训练数据下载至本地，训练数据存在于云数据存储平台和正在进行模型训练的云模型训练平台。也就是说，训练数据不会从本地的用户侧泄露，从而降低了训练数据发生泄露的风险。
附图说明
图1为本发明实施例的模型训练系统的应用场景示意图；
图2为本发明一实施例中一种模型训练系统的结构示意图；
图3为本发明另一实施例中一种模型训练系统的结构示意图；
图4为本发明又一实施例中一种模型训练系统的结构示意图；
图5为本发明一实施例中一种模型训练方法的流程图；
图6为本发明一实施例中一种模型训练方法的一种具体实现方式的流程图；
图7为本发明一实施例中一种模型训练方法的另一种具体实现方式的流程图。
具体实施方式
本发明实施例提供一种模型训练系统、方法和存储介质，可应用于深度学习(DeepLearning)的场景中，可实现对深度学习模型的训练，也可实现对深度学习模型的应用，比如，利用训练处的深度学习模型进行推理。本发明实施例的模型训练系统可在云端完成模型训练、模型推理等功能。图1为本发明实施例的模型训练系统的应用场景示意图。如图1所示，模型训练系统可在云服务系统上运行，云服务系统可由云系统以及向外提供访问接口的系统集群网关构成。用户可通过用户终端使用账号及密码通过网络连接到云系统。云系统包括多个内部网络互通的服务器。模型训练系统可通过数据模型仓库实现训练数据和训练模型的存储和提供。模型训练系统可通过深度学习数据库实现模型训练系统与用户的人机交互，可通过鉴权服务系统完成用户与模型训练系统的各项权利的鉴权，可通过训练推理系统完成模型的训练和推理。
图2为本发明一实施例中一种模型训练系统的结构示意图。如图2所示，模型训练系统包括云数据存储平台11和云模型训练平台12。
云数据存储平台11用于存储训练数据，以及用于接收训练数据调用请求，根据训练数据调用请求，将与数据调用指令对应的训练数据导出至云模型训练平台12。
训练数据为用于对训练模型所需的数据，云数据存储平台11可存储多个训练数据，训练数据可视为由多条数据形成的数据集。训练数据可包括图像、视频、音频等，在此并不限定。云数据存储平台11在存储训练数据时，可为训练数据分配数据标识，数据标识用于标识训练数据，可作为查找数据存储位置的标识符。在一个示例中，为了区分不同的训练数据，训练数据的数据标识具有唯一性，也就是说，不同的训练数据的数据标识不同。
云数据存储平台11可接收数据提供者上传的训练数据。示例性地，数据提供者可利用客户端通过超文本传输协议(HyperText Transfer Protocol，HTTP)连接到云系统的后端，从而与云数据存储平台11进行信息交互。在一个示例中，云数据存储平台11可向数据提供者提供上传训练数据的标准协议，标准协议中可包括数据格式、压缩格式以及数据类型等。云数据存储平台11可对数据提供者上传的训练数据进行检测，若确定数据提供者上传的训练数据不符合标准协议，则云数据存储平台11可拒绝存储不符合标准协议的训练数据。
云数据存储平台11中可设置一备份区域，该备份区域可用于对训练数据进行备份，避免数据出现意外，如数据误操作等导致无法恢复的情况。
训练数据调用请求是云模型训练平台12生成并发送的，根据训练数据调用请求可得知云模型训练平台12请求调用的训练数据。在一个示例中，训练数据调用请求可包括数据标识。云数据存储平台11接收训练数据调用请求，可查找训练数据调用请求需要调用的训练数据，并将请求调用的训练数据导出至云模型训练平台12，以供云模型训练平台12利用导出的训练数据进行模型训练。
云模型训练平台12用于接收模型训练创建指令，获取待训练模型，以及用于生成并向云数据存储平台11发送训练数据调用请求，以及用于利用从云数据存储平台11导出的训练数据，训练待训练模型，得到训练成果模型。
其中，云模型训练平台12可获取用户或模型提供者上传的待训练模型，也可从云系统中的模型数据库中获取待训练模型。
在一个示例中，示例性地，用户可利用用户终端20通过超文本传输协议连接到云系统的后端，从而与云模型训练平台12进行信息交互。用户可通过用户终端20向云模型训练平台12发送模型训练创建指令，以触发云模型训练平台12创建模型训练任务。云模型训练平台12可利用待训练模型和训练数据进行模型训练。示例性的，模型训练可指将训练数据导入待训练模型进行多次迭代训练，从而得到经训练后的模型即训练成果模型。
需要说明的是用户终端20的使用者可包括用户、数据提供者或模型提供者。
本发明实施例中的云数据存储平台11可视为图1中数据模型仓库的一部分。本发明实施例中的云模型训练平台12可视为图1中训练推理系统的一部分。
在本发明实施例中，云数据存储平台11和云模型训练平台12相互独立，将训练数据的存储与模型训练两种功能分离。云数据存储平台11和云模型训练平台12均以云系统为基础实现，模型训练过程在云系统中进行，进行模型训练的用户无法将训练数据下载至本地，训练数据存在于云数据存储平台11和正在进行模型训练的云模型训练平台12。也就是说，训练数据不会从本地的用户侧泄露，从而降低了训练数据发生泄露的风险。
图3为本发明另一实施例中一种模型训练系统的结构示意图。图3与图2的不同之处在于，图2中的云数据存储平台11还包括图3中的权限网关111；图3所示的模型训练系统还可包括检索数据平台13、鉴权中心14、数据稽查系统15、云模型存储平台16、镜像平台17和模型推理平台18。
检索数据平台13用于根据数据提供者提供的训练数据，建立数据索引表。用户可通过检索数据平台13对云数据存储平台11中存储的训练数据进行搜索查询。
在一个示例中，在数据提供者上传训练数据后，检索数据平台13可对训练数据进行分析处理，得到训练数据的数据集大小、数据集规模、数据所有者信息、数据上传日期等数据基本信息，便于用户了解训练数据的基本信息。
在一个示例中，云数据存储平台11还可要求数据提供者在上传训练数据时，提供训练数据的标签，训练数据的标签可表征训练数据的特征。具体的，训练数据的标签可以为训练数据表征的内容的关键词。比如，数据提供者在上传训练数据时，为训练数据标记的标签为“车牌”和“小型车”。检索数据平台13在建立数据索引表的过程中，也可将训练数据的标签添加入数据检索表，以便于用户在检索训练数据时，利用训练数据的特征进行检索。
检索数据平台13用于接收检索指令，根据检索指令在数据索引表中进行数据检索，并生成检索结果。具体的，检索指令中可包括一个或多个检索关键词，可根据检索关键词在数据索引表中的训练数据的标签中进行查找。检索结果可包括与检索指令中的检索关键词相关的训练数据的信息，比如训练数据的名称、编号、关键词以及训练数据中的部分数据示例等。在一个示例中，检索结果可包括按照与检索关键词的相关程度的大小依次排列的训练数据的信息，使用户能够更直观地得到与检索关键字最相关的训练数据。在另一个示例中，也可在根据检索关键词检索到的训练数据的信息中随机筛选固定数据的训练数据的信息提供给用户。比如，每次检索生成的检索结果包括十条训练数据的信息。检索数据平台13可将检索结果发送给用户终端20，用户终端20可显示检索结果。
用户接收到检索结果后，还可通过用户终端20针对检索结果发出数据选取指令。数据检索平台接收用户终端20针对检索结果的数据选取指令，根据数据选取指令向鉴权中心14发起鉴权许可请求。数据选取指令可用于指示选取检索结果中的一项或多项训练数据的信息，从而确定模型训练需要的训练数据。
确定模型训练需要的训练数据后，向鉴权中心14发起鉴权许可请求，鉴权许可请求可包括训练数据的数据标识，向鉴权中心14请求训练数据的调用权限。
本发明实施例中的检索数据平台13可视为图1中的深度学习数据库的至少一部分。
鉴权中心14用于接收鉴权许可请求，根据鉴权许可请求创建数据标识的数据令牌，并将数据令牌下发给权限网关111和用户终端20。
鉴权许可请求用于请求训练数据的调用权限。鉴权中心14可决定是否同意检索数据平台13发送来的鉴权许可请求。示例性的，鉴权许可请求可包括针对训练数据的付费信息，若付费信息表明用户对针对训练数据付费成功，鉴权中心14可同意鉴权许可请求，并创建数据标识的数据令牌。鉴权中心14同意鉴权许可请求后，还可生成并保存数据鉴权信息，数据鉴权信息可包括用户标识和数据标识。示例性的，数据鉴权信息可具有有效时长，即在有效时长内，若用户再次请求同样的训练数据时，鉴权许可请求可直接被鉴权中心14同意通过，不需要进行审核。有效时长可根据工作场景和工作需求设定，在此并不限定。比如，有效时长可为一年或永久。
数据令牌(即数据Token)可标识某个操作中的训练数据，作为数据调用的一种安全凭证使用。比如，数据令牌标识后续过程中数据调用操作中的训练数据。在一个示例中，数据令牌可实现为安全插件。鉴权中心14将创建的数据令牌下发给用户终端20，以使得用户终端20可利用数据令牌通过权限网关111从云数据存储平台11导出与数据令牌对应的训练数据。同时，鉴权中心14也将创建的数据令牌保存在鉴权中心14。
云模型训练平台12还用于向权限网关111发送训练数据调用请求，训练数据调用请求包括鉴权中心14下发至用户终端20的数据令牌。
比如，用户终端20在请求训练数据时，可将数据令牌添加入模型训练创建指令，云模型训练平台12可解析模型训练创建指令，得到下发至用户终端20的数据令牌，并将下发至用户终端20的数据令牌添加入训练数据调用请求中。云模型训练平台12通过训练数据调用请求中的数据令牌从云数据存储平台11调用与数据令牌对应的训练数据。
在一种实现方式中，云数据存储平台11具体可实现为第三方公用服务器。第三方公用服务器不属于数据提供者、模型提供者和用户，是一个公用的用于存储训练数据且能够导出训练数据的服务器。调用训练数据可利用数据令牌与数据标识的对应关系进行授权调用。
权限网关111用于建立第一对应关系，第一对应关系为数据标识与数据令牌的对应关系。数据标识与数据令牌一一对应，数据令牌也具有唯一性，也就是说，不同的数据标识对应不同的数据令牌。权限网关111在接收到训练数据调用请求时，根据训练数据调用请求中的数据令牌，在第一对应关系中查找目标数据标识，目标数据标识为与训练数据调用请求中的数据令牌对应的数据标识，并将目标数据标识对应的训练数据导出至云模型训练平台12。
当云数据存储平台11接收到训练数据调用请求后，权限网关111会对比训练数据调用请求中的数据令牌是否与权限网关111中存储的数据令牌；若训练数据调用请求中的数据令牌能够与权限网关111中存储的数据令牌匹配，则允许调用训练数据，并将与训练数据调用请求中的数据令牌对应的训练数据导出。
为了保障模型训练过程中的数据安全，避免训练数据被越权使用，可根据实际情况对数据令牌进行更新。权限网关111可用于获取更新判断参数，判断更新判断参数是否满足更新条件。若判定更新判断参数满足更新条件，权限网关111向鉴权中心14发送更新请求，以及用于与鉴权中心14同步更新数据令牌。鉴权中心14接收更新请求，根据更新请求更新数据令牌。
更新判断参数可包括对鉴权许可请求的拒绝次数、训练数据的调用次数、数据令牌的存在时长等参数中的一项或多项。
比如，更新判断参数包括对鉴权许可请求的拒绝次数。权限网关111可监测鉴权中心14对鉴权许可请求的处理过程，从而得到鉴权中心14对鉴权许可请求的拒绝次数。若权限网关111监测到鉴权中心14对鉴权许可请求的拒绝次数超出更新条件中的拒绝次数更新阈值，则向鉴权中心14发送更新请求。
拒绝次数更新阈值可根据工作场景和工作需求设定，在此并不限定。鉴权中心14删除原数据令牌，并生成新的数据令牌，并将新的数据令牌下发给客户终端和权限网关111，以使得权限网关111可以与鉴权中心14同步更新数据令牌。数据令牌在鉴权中心14和权限网关111中更新时，需要停止训练数据调用请求的执行，待鉴权中心14和权限网关111中的数据令牌更新完毕后，再执行训练数据调用请求。在数据令牌更新完毕后，若训练数据调用请求中包含的仍然是原数据令牌，训练数据调用请求中的原数据令牌失效，则无法调用训练数据。
又比如，更新判断参数包括训练数据的调用次数。权限网关111可获取一段时长内的训练数据的调用次数。若在一段时长内，权限网关111确定同一训练数据的调用次数超出更新条件中的调用次数更新阈值，则向鉴权中心14发送更新请求。统计训练数据的一段时长和调用次数更新阈值可根据工作场景和工作需求设定，在此并不限定。
还比如，更新判断参数包括数据令牌的存在时长。权限网关111可设置数据令牌的更新周期时长，并记录数据令牌的存在时长。若权限网关111确定数据令牌的存在时长达到更新周期时长，则向鉴权中心14发送更新请求。数据令牌的更新周期时长可根据工作场景和工作需求设定，在此并不限定。
需要说明的是，更新判断参数和更新条件并不限于上述举例。权限网关111也可接收用户的更新策略配置指令，根据更新策略配置指令设置更新判断参数和更新条件。
云模型存储平台16用于提供待训练模型，以及保存训练成果模型。云模型存储平台16中存储的模型可以是模型提供者上传的模型，也可以是云模型训练平台12训练得到的训练成果模型。
在一个示例中，上述云模型训练平台12在训练得到训练成果模型后，可将训练成果模型发送至云模型存储平台16保存，并销毁云模型训练平台12内训练训练成果模型所利用的训练数据和待训练模型，还可将云模型训练平台12内的训练成果模型销毁，以防止遗留在云模型训练平台12的训练数据和模型即待训练模型和训练成果模型泄露。
在一个示例中，数据稽查系统15先于云数据存储平台11接收到数据提供者上传的训练数据。数据稽查系统15用于对数据提供者上传的训练数据进行有效性认证，拒绝将有效性认证失败的训练数据存入云数据存储平台11。比如，若数据提供者上传的训练数据与云数据存储平台11存储的训练数据重复，或者数据提供者上传的数据的数据格式不符合云数据存储平台11的标准协议，则数据稽查系统15判定数据提供者上传的训练数据无效，即上传的训练数据有效性认证失败。若数据稽查系统15判定数据提供者上传的训练数据有效，则可通过检索数据平台13向云数据存储平台11发送存储指令，以使得云数据存储平台11将数据提供者上传的训练数据持久存储。
需要说明的是，对数据提供者上传的训练数据进行有效性认证的方式并不限于上述方式。数据稽查系统15可保证模型训练系统中所使用的训练数据的真实有效性。
镜像平台17用于存储模型推理运行环境。具体的，模型推理运行环境可包括系统环境和训练成果模型对应的运行框架环境。
模型推理平台18可接收推理请求，推理请求包括待处理数据。推理请求可由用户终端20发送。示例性的，用户终端20可通过应用程序编程接口(Application ProgrammingInterface，API)向模型推理平台18发送推理请求。模型推理平台18接收推理请求后，从镜像平台17加载模型推理运行环境，并从云模型存储平台16调用训练成果模型，将待处理数据导入训练成果模型进行模型推理。
本发明实施例中的数据检索平台可视为图1中深度学习数据库中的至少一部分。本发明实施例中的鉴权中心14可视为图1中鉴权服务系统中的至少一部分。本发明实施例中的模型推理平台18可视为图1中训练推理系统中的一部分。
图4为本发明又一实施例中一种模型训练系统的结构示意图。图4所示的模型训练系统与图3所示的模型训练系统的不同之处在于，云数据存储平台11可实现为数据提供者的至少一个私有服务器。
在云数据存储平台11包括权限网关111和至少一个数据存储服务器112即私有服务器的条件下，调用训练数据可利用数据令牌与数据路由的对应关系进行授权调用。
数据路由可包括训练数据的统一资源定位符(Uniform Resource Locator，URL)路径，还可包括数据访问方法和从云数据存储平台11导出训练数据的标准。数据提供者在上传训练数据的同时也可上传训练数据对应的数据路由至检索数据平台13。
检索数据平台13也可对数据路由进行合法性检测，若确定数据路由不合法，则拒绝存储数据路由。比如，检索数据平台13确定数据路由无法访问或数据路由的格式不符合模型训练系统中预设的标准，则拒绝存储数据路由。示例性的，检索数据平台13可向权限网关111和鉴权中心14发送拒绝指令，以使得权限网关111和鉴权中心14均拒绝存储路由数据。
权限网关111可建立第二对应关系，第二对应关系为数据令牌与数据路由的对应关系。示例性的，第二对应关系可实现为数据路由表。训练数据具有对应的数据路由，训练数据与数据令牌一一对应，数据令牌与数据路由也一一对应。在检索数据平台13建立数据索引表时，可将对应的数据路由保存在权限网关111中。
权限网关111接收训练数据调用请求后，根据训练数据调用请求中的数据令牌，在第二对应关系中查找目标数据路由。目标数据路由为与训练数据调用请求中的数据令牌对应的数据路由。权限网关111可根据与数据令牌对应的数据路由，访问目标数据存储服务器112，以将目标数据存储服务器112中目标数据路由指示的训练数据导出至云模型训练平台12。目标数据存储服务器112为与目标数据路由对应的数据存储服务器112。
为了保证数据存储服务器112即私有服务器中的训练数据的安全性，可建立安全加密远程访问。在一个实例中，模型训练系统还可包括访问路由器。权限网关111通过访问路由器中预定的标准访问接口从目标数据存储服务器112中导出目标数据路由指示的训练数据。比如，标准访问接口为restful访问接口，并可将restful访问接口的路径作为数据路由。
在一个示例中，为了进一步保证数据存储服务器112中的训练数据的安全性。权限网关111可随机选取数据令牌，并验证数据令牌的合法性。若权限网关111确定数据令牌非法，则可更新数据路由表，即更新第二对应关系，具体可实现为更新第二对应关系中的数据令牌。
图5为本发明一实施例中一种模型训练方法的流程图。该模型训练方法可适用于上述实施例中的模型训练系统。如图5所示，模型训练方法可包括步骤S201和步骤S204。
在步骤S201中，云模型训练平台接收模型训练创建指令，获取待训练模型；
在步骤S202中，云模型训练平台生成并向云数据存储平台发出训练数据调用请求，以调用云数据存储平台中存储的训练数据；
在步骤S203中，云数据存储平台接收训练数据调用请求，将与训练数据调用请求对应的训练数据导出至云模型训练平台；
在步骤S204中，云模型训练平台利用从云数据存储平台导出的训练数据，训练待训练模型，得到训练成果模型。
上述步骤S201至步骤S204的说明可参见上述实施例中的云模型训练平台和云数据存储平台的相关说明。
在本发明实施例中，云数据存储平台和云模型训练平台相互独立，将训练数据的存储与模型训练两种功能分离。云数据存储平台和云模型训练平台均以云系统为基础实现，模型训练过程在云系统中进行，进行模型训练的用户无法将训练数据下载至本地，训练数据存在于云数据存储平台和正在进行模型训练的云模型训练平台。也就是说，训练数据不会从本地的用户侧泄露，从而降低了训练数据发生泄露的风险。
图6为本发明一实施例中一种模型训练方法的一种具体实现方式的流程图。如图6所示，模型训练方法可包括步骤S301至步骤S315。
在步骤301中，数据稽查系统对数据提供者上传的训练数据进行有效性认证。
在步骤302中，数据稽查系统拒绝将有效性认证失败的训练数据存入云数据存储平台。
在步骤303中，检索数据平台根据数据提供者提供的训练数据，建立数据索引表。
在步骤304中，检索数据平台接收检索指令，根据检索指令在数据索引表中进行数据检索，并生成检索结果。
在步骤305中，检索数据平台接收用户终端的数据选取指令，根据数据选取指令向鉴权中心发起鉴权许可请求。
其中，鉴权许可请求包括训练数据的数据标识。
在步骤306中，鉴权中心接收鉴权许可请求，根据鉴权许可请求创建数据标识的数据令牌，并将数据令牌下发给云数据存储平台中的权限网关和用户终端。
在步骤307中，云数据存储平台中的权限网关根据下发得到的数据令牌，建立第一对应关系。
其中，第一对应关系为数据标识与数据令牌的对应关系。
在步骤308中，云模型训练平台接收模型训练创建指令，获取待训练模型。
在步骤309中，云模型训练平台生成并向云数据存储平台中的权限网关发送训练数据调用请求，以调用云数据存储平台中存储的训练数据。
其中，训练数据调用请求包括鉴权中心下发至用户终端的数据令牌。
在步骤310中，云数据存储平台中的权限网关接收训练数据调用请求，根据训练数据调用请求中的数据令牌，在第一对应关系中查找目标数据标识，并将目标数据标识对应的训练数据导出至云模型训练平台。
其中，目标数据标识为与训练数据调用请求中的数据令牌对应的数据标识。
在步骤311中，云模型训练平台利用从云数据存储平台导出的训练数据，训练待训练模型，得到训练成果模型。
在步骤312中，云模型存储平台保存训练成果模型。
在步骤313中，云模型训练平台销毁云模型训练平台内训练训练成果模型所利用的训练数据和待训练模型。
在步骤314中，模型推理平台接收推理请求，推理请求包括待处理数据。
在步骤315中，模型推理平台从镜像平台加载模型推理运行环境，并从云模型存储平台调用训练成果模型，将待处理数据导入训练成果模型进行模型推理。
图7为本发明一实施例中一种模型训练方法的另一种具体实现方式的流程图。图7与图6的不同之处在于，图6中的步骤S307可替换为图7中的步骤S316；图6中的步骤S310可替换为图7中的步骤S317和步骤S318。
在步骤S316中，云数据存储平台中的权限网关根据下发得到的数据令牌，建立第二对应关系。
其中，第二对应关系为数据令牌与数据路由的对应关系。数据路由包括训练数据的统一资源定位符路径。
在步骤S317中，云数据存储平台中的权限网关接收训练数据调用请求，根据训练数据调用请求中的数据令牌，在第二对应关系中查找目标数据路由。
其中，目标数据路由为与训练数据调用请求中的数据令牌对应的数据路由。
在步骤S318中，云数据存储平台中的权限网关访问目标数据存储服务器，以将目标数据存储服务器中目标数据路由指示的训练数据导出至云模型训练平台。
其中，目标数据存储服务器为与目标数据路由对应的数据存储服务器。
在一个示例中，还可以根据具体场景对数据令牌进行更新，从而保证训练数据的安全。权限网关获取更新判断参数，判断更新判断参数是否满足更新条件。若判定更新判断参数满足更新条件，权限网关向鉴权中心发送更新请求。鉴权中心接收更新请求，根据更新请求更新数据令牌。权限网关与鉴权中心同步更新数据令牌。
示例性的，更新判断参数包括对鉴权许可请求的拒绝次数。数据令牌更新过程可具体为：权限网关监测鉴权中心对鉴权许可请求的处理过程，并获取鉴权中心对鉴权许可请求的拒绝次数，并判断鉴权中心对鉴权许可请求的拒绝次数是否超出更新条件中的拒绝次数更新阈值；若监测到鉴权中心对鉴权许可请求的拒绝次数超出更新条件中的拒绝次数更新阈值，则向鉴权中心发送更新请求。
示例性的，更新判断参数包括训练数据的调用次数。数据令牌更新过程可具体为：权限网关获取一段时长内的训练数据的调用次数，判断在一段时长内，同一训练数据的调用次数是否超出更新条件中的调用次数更新阈值；若在一段时长内，同一训练数据的调用次数超出更新条件中的调用次数更新阈值，则向鉴权中心发送更新请求。
上述方法实施例中各步骤的说明内容可参照上述系统实施例中的相关说明。
本发明实施例还可提供一种存储介质，该存储介质上存储有程序，程序被处理器执行时实现上述实施例中的模型训练方法。

Claims (25)

1.一种提供云服务的模型训练系统，其特征在于，包括云数据存储平台、云模型训练平台和云模型存储平台；
所述云数据存储平台，用于存储训练数据，所述训练数据由数据提供者上传至所述云数据存储平台；
所述云模型存储平台，用于存储待训练模型；
所述云模型训练平台，用于接收用户输入的模型训练创建指令，根据所述模型训练创建指令从所述云模型存储平台获取所述待训练模型，调用所述云数据存储平台存储的所述训练数据，根据所述训练数据训练所述待训练模型，得到训练成果模型，其中，所述待训练模型由模型提供者或所述用户上传至所述云模型存储平台。
2.根据权利要求1所述的模型训练系统，其特征在于，所述模型训练系统还包括鉴权中心，
所述鉴权中心，用于接收所述用户输入的鉴权许可请求，所述鉴权许可请求用于确定所述训练数据的权限。
3.根据权利要求1所述的模型训练系统，其特征在于，
所述云数据存储平台，用于接收所述数据提供者提供的所述训练数据的标签，所述训练数据的标签用于表征所述训练数据的内容。
4.根据权利要求1所述的模型训练系统，其特征在于，所述系统还包括检索数据平台，
所述检索数据平台，用于获取所述训练数据的信息，所述训练数据的信息包括所述训练数据的数据所有者信息、所述训练数据的数据上传日期中的任意一种或全部。
5.根据权利要求4所述的模型训练系统，其特征在于，
所述检索数据平台，用于根据所述训练数据的标签和所述训练数据的信息中的至少一个建立所述训练数据的数据索引表；
所述检索数据平台，还用于接收所述用户输入的包括检索关键词的检索指令，根据所述检索关键词在所述数据索引表中进行查找以生成检索结果，所述检索结果包括与所述检索关键词相关的训练数据的信息或与所述检索关键词相关的训练数据的标签中的至少一个。
6.根据权利要求5所述的模型训练系统，其特征在于，
所述检索数据平台，还用于将所述检索结果发送给用户终端以显示给所述用户；
所述检索数据平台，还用于接收所述用户终端发送的针对所述检索结果的数据选取指令，所述数据选取指令用于指示所述数据检索平台从所述检索结果中确定所述训练数据。
7.根据权利要求1所述的模型训练系统，其特征在于，
所述云模型训练平台，用于得到所述训练成果模型后，将所述训练成果模型发送至所述云模型存储平台。
8.根据权利要求1至7任一项所述的系统，其特征在于，所述模型训练系统还包括数据稽查系统，
所述数据稽查系统，用于判定所述数据提供者上传的所述训练数据的有效性。
9.根据权利要求1至7任一项所述的系统，其特征在于，
所述云数据存储平台设置有访问接口，所述访问接口用于接收所述数据提供者上传的所述训练数据。
10.根据权利要求1至7任一项所述的系统，其特征在于，还包括模型推理平台；
所述模型推理平台，用于调用所述训练成果模型，将待处理数据导入所述训练成果模型进行模型推理。
11.根据权利要求1至7任一项所述的系统，其特征在于，所述训练数据设置有数据路由，所述云模型训练平台根据所述数据路由调用所述训练数据。
12.根据权利要求11所述的系统，其特征在于，所述数据路由包括所述训练数据的统一资源定位符路径。
13.一种模型训练方法，其特征在于，应用于提供云服务的模型训练系统，所述模型训练系统包括云数据存储平台、云模型训练平台和云模型存储平台，所述方法包括：
所述云数据存储平台存储训练数据，所述训练数据由数据提供者上传至所述云数据存储平台；
所述云模型存储平台存储待训练模型；
所述云模型训练平台接收用户输入的模型训练创建指令，根据所述模型训练创建指令从所述云模型存储平台获取所述待训练模型，调用所述云数据存储平台存储的所述训练数据，根据所述训练数据训练所述待训练模型，得到训练成果模型，其中，所述待训练模型由模型提供者或所述用户上传至所述云模型存储平台。
14.根据权利要求13所述的模型训练方法，其特征在于，所述模型训练系统还包括鉴权中心，所述方法还包括：
所述鉴权中心接收所述用户输入的鉴权许可请求，所述鉴权许可请求用于确定所述训练数据的权限。
15.根据权利要求13所述的模型训练方法，其特征在于，所述方法还包括：
所述云数据存储平台接收所述数据提供者提供的所述训练数据的标签，所述训练数据的标签用于表征所述训练数据的内容。
16.根据权利要求13所述的模型训练方法，其特征在于，所述模型训练系统还包括检索数据平台，所述方法还包括：
所述检索数据平台获取所述训练数据的信息，所述训练数据的信息包括所述训练数据的数据所有者信息、所述训练数据的数据上传日期中的任意一种或全部。
17.根据权利要求16所述的模型训练方法，其特征在于，所述方法还包括：
所述检索数据平台根据所述训练数据的标签和所述训练数据的信息中的至少一个建立所述训练数据的数据索引表；
所述检索数据平台接收所述用户输入的包括检索关键词的检索指令，根据所述检索关键词在所述数据索引表中进行查找以生成检索结果，所述检索结果包括与所述检索关键词相关的训练数据的信息或与所述检索关键词相关的训练数据的标签中的至少一个。
18.根据权利要求17所述的模型训练方法，其特征在于，所述方法还包括：
所述检索数据平台将所述检索结果发送给用户终端以显示给所述用户；
所述检索数据平台接收所述用户终端发送的针对所述检索结果的数据选取指令，所述数据选取指令用于指示所述数据检索平台从所述检索结果中确定所述训练数据。
19.根据权利要求13所述的模型训练方法，其特征在于，所述方法还包括
所述云模型训练平台在得到所述训练成果模型后，将所述训练成果模型发送至所述云模型存储平台。
20.根据权利要求13至19任一项所述的模型训练方法，其特征在于，所述模型训练系统还包括数据稽查系统，所述方法还包括：
所述数据稽查系统判定所述数据提供者上传的所述训练数据的有效性。
21.根据权利要求13至19任一项所述的模型训练方法，其特征在于，
所述云数据存储平台设置有访问接口，所述访问接口用于接收所述数据提供者上传的所述训练数据。
22.根据权利要求13至19任一项所述的模型训练方法，其特征在于，还包括模型推理平台；所述方法还包括：
所述模型推理平台调用所述训练成果模型，将待处理数据导入所述训练成果模型进行模型推理。
23.根据权利要求13至19任一项所述的模型训练方法，其特征在于，所述训练数据设置有数据路由，所述云模型训练平台根据所述数据路由调用所述训练数据。
24.根据权利要求23所述的模型训练方法，其特征在于，所述数据路由包括所述训练数据的统一资源定位符路径。
25.一种存储介质，其特征在于，所述存储介质上存储有程序，所述程序被处理器执行时实现如权利要求13至24中任意一项所述的模型训练方法。
CN201711227185.XA 2017-11-29 2017-11-29 模型训练系统、方法和存储介质 Active CN109840591B (zh)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CN201711227185.XA CN109840591B (zh) 2017-11-29 2017-11-29 模型训练系统、方法和存储介质
CN202110850132.3A CN113762504A (zh) 2017-11-29 2017-11-29 模型训练系统、方法和存储介质
CA3091405A CA3091405A1 (en) 2017-11-29 2018-11-06 Model training system and method, and storage medium
PCT/CN2018/114082 WO2019105189A1 (zh) 2017-11-29 2018-11-06 模型训练系统、方法和存储介质
EP18883965.8A EP3709226A4 (en) 2017-11-29 2018-11-06 MODEL LEARNING SYSTEM AND PROCESS AND INFORMATION SUPPORT
AU2018374912A AU2018374912B2 (en) 2017-11-29 2018-11-06 Model training system and method, and storage medium
KR1020207018467A KR102514325B1 (ko) 2017-11-29 2018-11-06 모델 훈련 시스템 및 방법과, 저장 매체
JP2020529143A JP7144117B2 (ja) 2017-11-29 2018-11-06 モデルトレーニングシステムおよび方法および記憶媒体
US16/883,026 US20200285978A1 (en) 2017-11-29 2020-05-26 Model training system and method, and storage medium
JP2021121473A JP7222036B2 (ja) 2017-11-29 2021-07-26 モデルトレーニングシステムおよび方法および記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711227185.XA CN109840591B (zh) 2017-11-29 2017-11-29 模型训练系统、方法和存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110850132.3A Division CN113762504A (zh) 2017-11-29 2017-11-29 模型训练系统、方法和存储介质

Publications (2)

Publication Number Publication Date
CN109840591A CN109840591A (zh) 2019-06-04
CN109840591B true CN109840591B (zh) 2021-08-03

Family

ID=66663796

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110850132.3A Pending CN113762504A (zh) 2017-11-29 2017-11-29 模型训练系统、方法和存储介质
CN201711227185.XA Active CN109840591B (zh) 2017-11-29 2017-11-29 模型训练系统、方法和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110850132.3A Pending CN113762504A (zh) 2017-11-29 2017-11-29 模型训练系统、方法和存储介质

Country Status (8)

Country Link
US (1) US20200285978A1 (zh)
EP (1) EP3709226A4 (zh)
JP (2) JP7144117B2 (zh)
KR (1) KR102514325B1 (zh)
CN (2) CN113762504A (zh)
AU (1) AU2018374912B2 (zh)
CA (1) CA3091405A1 (zh)
WO (1) WO2019105189A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019136429A (ja) * 2018-02-15 2019-08-22 株式会社三洋物産 遊技機
JP2019136431A (ja) * 2018-02-15 2019-08-22 株式会社三洋物産 遊技機
US10979416B2 (en) * 2018-03-26 2021-04-13 Nicira, Inc. System and method for authentication in a public cloud
KR102074353B1 (ko) * 2018-04-13 2020-02-06 한국전자통신연구원 제어시스템 분야의 실시간 사이버 보안 훈련 제공 장치 및 방법
CN112148205A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 数据管理方法及装置
CN112149139B (zh) * 2019-06-28 2024-08-09 杭州海康威视数字技术股份有限公司 权限管理方法及装置
CN111147603A (zh) * 2019-09-30 2020-05-12 华为技术有限公司 一种推理服务网络化的方法及装置
CN111092935B (zh) * 2019-11-27 2022-07-12 中国联合网络通信集团有限公司 一种用于机器学习的数据共享方法和虚拟训练装置
CN111064797B (zh) * 2019-12-20 2023-01-10 深圳前海微众银行股份有限公司 一种数据处理方法及装置
CN113128528A (zh) * 2019-12-27 2021-07-16 无锡祥生医疗科技股份有限公司 超声影像深度学习分布式训练系统和训练方法
CN112668016B (zh) * 2020-01-02 2023-12-08 华控清交信息科技(北京)有限公司 一种模型训练方法、装置和电子设备
CN113128686A (zh) * 2020-01-16 2021-07-16 华为技术有限公司 模型训练方法及装置
CN113554450B (zh) * 2020-04-24 2024-08-30 阿里巴巴集团控股有限公司 数据模型训练及数据处理方法、装置、设备及存储介质
CN115204256A (zh) * 2020-04-30 2022-10-18 华为技术有限公司 数据标注系统、方法和数据标注管理器
CN113762292B (zh) * 2020-06-03 2024-02-02 杭州海康威视数字技术股份有限公司 一种训练数据获取方法、装置及模型训练方法、装置
US11847544B2 (en) 2020-07-21 2023-12-19 International Business Machines Corporation Preventing data leakage in automated machine learning
CN112085208B (zh) * 2020-07-30 2024-08-20 北京聚云科技有限公司 一种利用云端进行模型训练的方法及装置
CN112102263A (zh) * 2020-08-31 2020-12-18 深圳思谋信息科技有限公司 缺陷检测模型生成系统、方法、装置和计算机设备
WO2022131663A1 (en) * 2020-12-18 2022-06-23 Samsung Electronics Co., Ltd. Method for preventing data leakage to machine learning engines available in electronic device
CN114254766B (zh) * 2021-12-10 2024-07-05 智己汽车科技有限公司 一种车云两端联合训练机器学习模型的方法及系统
WO2023151829A1 (en) * 2022-02-14 2023-08-17 Telefonaktiebolaget Lm Ericsson (Publ) Blockchain-enabled trusted data layer for artificial intelligence (ai) applications
WO2024062400A1 (en) * 2022-09-21 2024-03-28 Genxt Ltd Mediation systems and methods for a federated confidential computing environment
CN115618239B (zh) * 2022-12-16 2023-04-11 四川金信石信息技术有限公司 一种深度学习框架训练的管理方法、系统、终端及介质
CN117150025B (zh) * 2023-10-31 2024-01-26 湖南锦鳞智能科技有限公司 一种数据服务智能识别系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389719A (zh) * 2013-08-02 2013-11-13 临沂市拓普网络股份有限公司 基于云计算的智能家居监控系统及方法
US8706659B1 (en) * 2010-05-14 2014-04-22 Google Inc. Predictive analytic modeling platform
CN105575389A (zh) * 2015-12-07 2016-05-11 百度在线网络技术（北京）有限公司 模型训练方法、系统和装置
CN106204780A (zh) * 2016-07-04 2016-12-07 武汉理工大学 一种基于深度学习和云服务的人脸识别考勤系统及方法
CN106502889A (zh) * 2016-10-13 2017-03-15 华为技术有限公司 预测云软件性能的方法和装置
CN106856508A (zh) * 2017-02-08 2017-06-16 北京百度网讯科技有限公司 数据中心的云监控方法及云平台
CN107124276A (zh) * 2017-04-07 2017-09-01 西安电子科技大学 一种安全的数据外包机器学习数据分析方法
CN107195186A (zh) * 2017-06-07 2017-09-22 千寻位置网络有限公司 自动优化路口车辆通行速度的方法和系统

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005185560A (ja) 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び医用画像処理システム
US7869647B2 (en) * 2004-04-02 2011-01-11 Agilent Technologies, Inc. System and method for processing training data for a statistical application
US8521664B1 (en) * 2010-05-14 2013-08-27 Google Inc. Predictive analytical model matching
US8229864B1 (en) * 2011-05-06 2012-07-24 Google Inc. Predictive model application programming interface
US20130110675A1 (en) * 2011-10-31 2013-05-02 Microsoft Corporation Marketplace for Composite Application and Data Solutions
US9483740B1 (en) * 2012-09-06 2016-11-01 Go Daddy Operating Company, LLC Automated data classification
US9338157B1 (en) * 2013-03-15 2016-05-10 Microstrategy Incorporated Credential technology
WO2015179778A1 (en) 2014-05-23 2015-11-26 Datarobot Systems and techniques for predictive data analytics
US20160019324A1 (en) * 2014-07-15 2016-01-21 WikiModel LLC Analysis and sharing of custom defined computation models and experimental data
WO2017027031A1 (en) * 2015-08-12 2017-02-16 Hewlett Packard Enterprise Development Lp Assigning classifiers to classify security scan issues
WO2017027030A1 (en) * 2015-08-12 2017-02-16 Hewlett Packard Enterprise Development Lp Retraining a machine classifier based on audited issue data
US20170061311A1 (en) * 2015-08-27 2017-03-02 Li Liu Method for providing data analysis service by a service provider to data owner and related data transformation method for preserving business confidential information of the data owner
US10373069B2 (en) * 2015-09-26 2019-08-06 Intel Corporation Technologies for platform-targeted machine learning
JP6116650B1 (ja) * 2015-11-17 2017-04-19 エヌ・ティ・ティ・コムウェア株式会社 学習支援システム、学習支援方法、学習支援装置、および学習支援プログラム
EP3382609A4 (en) * 2015-11-27 2018-12-05 Fujitsu Limited Risk assessment method, risk assessment program, and information processing device
US10452705B2 (en) * 2015-11-30 2019-10-22 Walmart Apollo, Llc System, method, and non-transitory computer-readable storage media for evaluating search results
US10438132B2 (en) 2015-12-16 2019-10-08 Accenture Global Solutions Limited Machine for development and deployment of analytical models
US10733532B2 (en) * 2016-01-27 2020-08-04 Bonsai AI, Inc. Multiple user interfaces of an artificial intelligence system to accommodate different types of users solving different types of problems with artificial intelligence
EP3432227A4 (en) 2016-03-14 2019-07-10 Omron Corporation LEARNING SERVICE PROVISION DEVICE
JP2017187850A (ja) 2016-04-01 2017-10-12 株式会社リコー 画像処理システム、情報処理装置、プログラム
JP6151404B1 (ja) 2016-04-26 2017-06-21 ヤフー株式会社 学習装置、学習方法および学習プログラム
CA3024142A1 (en) * 2016-05-13 2017-11-16 Marcello DISPENSA Searching structured and unstructured data sets
CN110869947A (zh) * 2017-07-07 2020-03-06 索尼公司 提供装置、处理装置、信息处理方法及程序
CN111095233B (zh) * 2017-09-28 2023-09-26 深圳清华大学研究院 混合文件系统架构、文件存储、动态迁移及其应用
US20190156241A1 (en) * 2017-11-17 2019-05-23 Calgary Scientific Inc. Data analysis collaboration architecture and methods of use thereof
US12045693B2 (en) * 2017-11-22 2024-07-23 Amazon Technologies, Inc. Packaging and deploying algorithms for flexible machine learning
US11977958B2 (en) * 2017-11-22 2024-05-07 Amazon Technologies, Inc. Network-accessible machine learning model training and hosting system
US11537439B1 (en) * 2017-11-22 2022-12-27 Amazon Technologies, Inc. Intelligent compute resource selection for machine learning training jobs

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8706659B1 (en) * 2010-05-14 2014-04-22 Google Inc. Predictive analytic modeling platform
CN103389719A (zh) * 2013-08-02 2013-11-13 临沂市拓普网络股份有限公司 基于云计算的智能家居监控系统及方法
CN105575389A (zh) * 2015-12-07 2016-05-11 百度在线网络技术（北京）有限公司 模型训练方法、系统和装置
CN106204780A (zh) * 2016-07-04 2016-12-07 武汉理工大学 一种基于深度学习和云服务的人脸识别考勤系统及方法
CN106502889A (zh) * 2016-10-13 2017-03-15 华为技术有限公司 预测云软件性能的方法和装置
CN106856508A (zh) * 2017-02-08 2017-06-16 北京百度网讯科技有限公司 数据中心的云监控方法及云平台
CN107124276A (zh) * 2017-04-07 2017-09-01 西安电子科技大学 一种安全的数据外包机器学习数据分析方法
CN107195186A (zh) * 2017-06-07 2017-09-22 千寻位置网络有限公司 自动优化路口车辆通行速度的方法和系统

Also Published As

Publication number Publication date
AU2018374912A1 (en) 2020-06-18
US20200285978A1 (en) 2020-09-10
KR102514325B1 (ko) 2023-03-24
CN113762504A (zh) 2021-12-07
EP3709226A4 (en) 2021-01-06
JP7144117B2 (ja) 2022-09-29
WO2019105189A1 (zh) 2019-06-06
JP7222036B2 (ja) 2023-02-14
EP3709226A1 (en) 2020-09-16
CA3091405A1 (en) 2019-06-06
AU2018374912B2 (en) 2023-10-19
KR20200093007A (ko) 2020-08-04
JP2021504832A (ja) 2021-02-15
JP2022000757A (ja) 2022-01-04
CN109840591A (zh) 2019-06-04

Similar Documents

Publication Publication Date Title
CN109840591B (zh) 模型训练系统、方法和存储介质
JP2022000757A5 (zh)
CN108122109B (zh) 一种电子凭据身份管理的方法及装置
CN108351771B (zh) 维持对于在部署到云计算环境期间的受限数据的控制
US8572681B2 (en) Methods and systems for identity verification
CN108200050A (zh) 单点登录服务器、方法及计算机可读存储介质
CN109446259B (zh) 数据处理方法及装置、处理机及存储介质
US12050590B2 (en) Data verification in a distributed data processing system
CN106302332B (zh) 用户数据的访问控制方法、装置及系统
CN111797418B (zh) 在线服务的控制方法、装置、服务终端、服务器和存储介质
CN111625809A (zh) 数据授权方法及装置、电子设备、存储介质
CN110708335A (zh) 访问认证方法、装置及终端设备
CN112995357B (zh) 基于云托管服务的域名管理方法、装置、介质及电子设备
CN111382252A (zh) 基于用户请求的问题类别确定方法、装置、设备及介质
US20060059071A1 (en) Method and system for separating personal data accounts
EP3407241B1 (en) User authentication and authorization system for a mobile application
JP4805615B2 (ja) アクセス制御方法
CN108965335B (zh) 防止恶意访问登录接口的方法、电子设备及计算机介质
CN110719266B (zh) 信用数据处理方法及装置
US11983284B2 (en) Consent management methods
KR102666687B1 (ko) 닉네임에 따른 통신권한레벨을 부여함으로써 개인정보의 노출없이 qr코드를 이용한 안심전화 서비스를 제공하기 위한 운영 서버 및 그 동작 방법
CN112311771B (zh) 一种管理用户接入设备的方法、管理设备和网络设备
CN117216807A (zh) 基于区块链的服务调用方法、装置、设备、介质及产品
CN111614669A (zh) 用户信息操作请求的处理方法、装置、设备及存储介质
CN115150142A (zh) 一种数据访问处理方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220224

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Patentee after: Huawei Cloud Computing Technologies Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right