CN113947196A - 网络模型训练方法、装置和计算机可读存储介质 - Google Patents

网络模型训练方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN113947196A
CN113947196A CN202111239621.1A CN202111239621A CN113947196A CN 113947196 A CN113947196 A CN 113947196A CN 202111239621 A CN202111239621 A CN 202111239621A CN 113947196 A CN113947196 A CN 113947196A
Authority
CN
China
Prior art keywords
model
training
network
sample
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111239621.1A
Other languages
English (en)
Chinese (zh)
Inventor
栗伟清
韩炳涛
屠要峰
王永成
刘涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202111239621.1A priority Critical patent/CN113947196A/zh
Publication of CN113947196A publication Critical patent/CN113947196A/zh
Priority to PCT/CN2022/124171 priority patent/WO2023071743A1/fr
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)
CN202111239621.1A 2021-10-25 2021-10-25 网络模型训练方法、装置和计算机可读存储介质 Pending CN113947196A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111239621.1A CN113947196A (zh) 2021-10-25 2021-10-25 网络模型训练方法、装置和计算机可读存储介质
PCT/CN2022/124171 WO2023071743A1 (fr) 2021-10-25 2022-10-09 Procédé et appareil d'entraînement de modèle de réseau, et support de stockage lisible par ordinateur

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111239621.1A CN113947196A (zh) 2021-10-25 2021-10-25 网络模型训练方法、装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113947196A true CN113947196A (zh) 2022-01-18

Family

ID=79332117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111239621.1A Pending CN113947196A (zh) 2021-10-25 2021-10-25 网络模型训练方法、装置和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113947196A (fr)
WO (1) WO2023071743A1 (fr)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147680A (zh) * 2022-06-30 2022-10-04 北京百度网讯科技有限公司 目标检测模型的预训练方法、装置以及设备
CN115511059A (zh) * 2022-10-12 2022-12-23 北华航天工业学院 一种基于卷积神经网络通道解耦的网络轻量化方法
CN115879535A (zh) * 2023-02-10 2023-03-31 北京百度网讯科技有限公司 一种自动驾驶感知模型的训练方法、装置、设备和介质
WO2023071743A1 (fr) * 2021-10-25 2023-05-04 中兴通讯股份有限公司 Procédé et appareil d'entraînement de modèle de réseau, et support de stockage lisible par ordinateur
CN116091895A (zh) * 2023-04-04 2023-05-09 之江实验室 一种面向多任务知识融合的模型训练方法及装置
WO2023142918A1 (fr) * 2022-01-28 2023-08-03 华为云计算技术有限公司 Procédé de traitement d'image basé sur un grand modèle pré-appris, et appareil associé
CN116665025A (zh) * 2023-07-31 2023-08-29 福思(杭州)智能科技有限公司 数据闭环方法和系统
CN116681123A (zh) * 2023-07-31 2023-09-01 福思(杭州)智能科技有限公司 感知模型训练方法、装置、计算机设备和存储介质
CN117057413A (zh) * 2023-09-27 2023-11-14 珠高智能科技(深圳)有限公司 强化学习模型微调方法、装置、计算机设备及存储介质
CN117993468A (zh) * 2024-04-03 2024-05-07 杭州海康威视数字技术股份有限公司 一种模型训练方法、装置、存储介质和电子设备

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310667B (zh) * 2023-05-15 2023-08-22 鹏城实验室 联合对比损失和重建损失的自监督视觉表征学习方法
CN116663678A (zh) * 2023-06-20 2023-08-29 北京智谱华章科技有限公司 面向超大规模模型的蒸馏优化方法、装置、介质及设备
CN117373016B (zh) * 2023-10-20 2024-04-30 农芯(南京)智慧农业研究院有限公司 烟叶烘烤状态判别方法、装置、设备及存储介质
CN117493486B (zh) * 2023-11-10 2024-06-14 华泰证券股份有限公司 基于数据重放的可持续金融事件抽取系统及方法
CN117273821B (zh) * 2023-11-20 2024-03-01 阿里健康科技(杭州)有限公司 电子权益凭证的发放方法、训练方法以及相关装置
CN117436500B (zh) * 2023-12-19 2024-03-26 杭州宇谷科技股份有限公司 一种基于对比学习的电池数据处理模型的无监督训练方法
CN117973490B (zh) * 2024-01-23 2024-10-08 中国人民解放军国防科技大学 一种基于增量自监督学习的通信辐射源个体识别方法
CN117992220B (zh) * 2024-01-29 2024-07-19 厦门渊亭信息科技有限公司 一种基于改进ZeRO-Offload技术的大模型训练方法
CN117726884B (zh) * 2024-02-09 2024-05-03 腾讯科技（深圳）有限公司 对象类别识别模型的训练方法、对象类别识别方法及装置
CN117788836A (zh) * 2024-02-23 2024-03-29 中国第一汽车股份有限公司 图像处理方法、装置、计算机设备和存储介质
CN117892139B (zh) * 2024-03-14 2024-05-14 中国医学科学院医学信息研究所 基于层间比对的大语言模型训练和使用方法及相关装置
CN118093210B (zh) * 2024-04-29 2024-06-28 浙江鹏信信息科技股份有限公司 基于模型蒸馏的异构算力调度方法、系统及可读存储介质
CN118411512A (zh) * 2024-04-30 2024-07-30 应急管理部大数据中心 基于视觉大模型的煤矿井下目标检测方法及视频分析设备
CN118313435B (zh) * 2024-06-06 2024-08-16 蓝象智联(杭州)科技有限公司 一种基于侧网络的大模型微调训练方法、系统及装置
CN118379605B (zh) * 2024-06-24 2024-08-30 之江实验室 一种图像识别大模型的部署方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598216A (zh) * 2020-04-16 2020-08-28 北京百度网讯科技有限公司 学生网络模型的生成方法、装置、设备及存储介质
CN112508169A (zh) * 2020-11-13 2021-03-16 华为技术有限公司 知识蒸馏方法和系统
CN112507990A (zh) * 2021-02-04 2021-03-16 北京明略软件系统有限公司 视频时空特征学习、抽取方法、装置、设备及存储介质
CN112800053A (zh) * 2021-01-05 2021-05-14 深圳索信达数据技术有限公司 数据模型的生成方法、调用方法、装置、设备及存储介质
CN113011427A (zh) * 2021-03-17 2021-06-22 中南大学 基于自监督对比学习的遥感图像语义分割方法
CN113470695A (zh) * 2021-06-30 2021-10-01 平安科技（深圳）有限公司 声音异常检测方法、装置、计算机设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11620515B2 (en) * 2019-11-07 2023-04-04 Salesforce.Com, Inc. Multi-task knowledge distillation for language model
CN113947196A (zh) * 2021-10-25 2022-01-18 中兴通讯股份有限公司 网络模型训练方法、装置和计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598216A (zh) * 2020-04-16 2020-08-28 北京百度网讯科技有限公司 学生网络模型的生成方法、装置、设备及存储介质
CN112508169A (zh) * 2020-11-13 2021-03-16 华为技术有限公司 知识蒸馏方法和系统
CN112800053A (zh) * 2021-01-05 2021-05-14 深圳索信达数据技术有限公司 数据模型的生成方法、调用方法、装置、设备及存储介质
CN112507990A (zh) * 2021-02-04 2021-03-16 北京明略软件系统有限公司 视频时空特征学习、抽取方法、装置、设备及存储介质
CN113011427A (zh) * 2021-03-17 2021-06-22 中南大学 基于自监督对比学习的遥感图像语义分割方法
CN113470695A (zh) * 2021-06-30 2021-10-01 平安科技（深圳）有限公司 声音异常检测方法、装置、计算机设备及存储介质

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023071743A1 (fr) * 2021-10-25 2023-05-04 中兴通讯股份有限公司 Procédé et appareil d'entraînement de modèle de réseau, et support de stockage lisible par ordinateur
WO2023142918A1 (fr) * 2022-01-28 2023-08-03 华为云计算技术有限公司 Procédé de traitement d'image basé sur un grand modèle pré-appris, et appareil associé
CN115147680B (zh) * 2022-06-30 2023-08-25 北京百度网讯科技有限公司 目标检测模型的预训练方法、装置以及设备
CN115147680A (zh) * 2022-06-30 2022-10-04 北京百度网讯科技有限公司 目标检测模型的预训练方法、装置以及设备
CN115511059B (zh) * 2022-10-12 2024-02-09 北华航天工业学院 一种基于卷积神经网络通道解耦的网络轻量化方法
CN115511059A (zh) * 2022-10-12 2022-12-23 北华航天工业学院 一种基于卷积神经网络通道解耦的网络轻量化方法
CN115879535A (zh) * 2023-02-10 2023-03-31 北京百度网讯科技有限公司 一种自动驾驶感知模型的训练方法、装置、设备和介质
CN115879535B (zh) * 2023-02-10 2023-05-23 北京百度网讯科技有限公司 一种自动驾驶感知模型的训练方法、装置、设备和介质
CN116091895A (zh) * 2023-04-04 2023-05-09 之江实验室 一种面向多任务知识融合的模型训练方法及装置
CN116665025A (zh) * 2023-07-31 2023-08-29 福思(杭州)智能科技有限公司 数据闭环方法和系统
CN116665025B (zh) * 2023-07-31 2023-11-14 福思(杭州)智能科技有限公司 数据闭环方法和系统
CN116681123B (zh) * 2023-07-31 2023-11-14 福思(杭州)智能科技有限公司 感知模型训练方法、装置、计算机设备和存储介质
CN116681123A (zh) * 2023-07-31 2023-09-01 福思(杭州)智能科技有限公司 感知模型训练方法、装置、计算机设备和存储介质
CN117057413A (zh) * 2023-09-27 2023-11-14 珠高智能科技(深圳)有限公司 强化学习模型微调方法、装置、计算机设备及存储介质
CN117057413B (zh) * 2023-09-27 2024-03-15 传申弘安智能(深圳)有限公司 强化学习模型微调方法、装置、计算机设备及存储介质
CN117993468A (zh) * 2024-04-03 2024-05-07 杭州海康威视数字技术股份有限公司 一种模型训练方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
WO2023071743A1 (fr) 2023-05-04

Similar Documents

Publication Publication Date Title
CN113947196A (zh) 网络模型训练方法、装置和计算机可读存储介质
CN107391646B (zh) 一种视频图像的语义信息提取方法及装置
CN109816032B (zh) 基于生成式对抗网络的无偏映射零样本分类方法和装置
CN111741330B (zh) 一种视频内容评估方法、装置、存储介质及计算机设备
CN111079532A (zh) 一种基于文本自编码器的视频内容描述方法
CN111325664B (zh) 风格迁移方法、装置、存储介质及电子设备
CN110569359B (zh) 识别模型的训练及应用方法、装置、计算设备及存储介质
WO2023137911A1 (fr) Procédé et appareil de classification d'intentions sur la base d'un corpus de petits échantillons, et dispositif informatique
CN107544960A (zh) 一种基于变量绑定和关系激活的推理方法
JP2024522328A (ja) 言語モデルを使うマルチモーダル入力の処理
CN115511069A (zh) 神经网络的训练方法、数据处理方法、设备及存储介质
CN113569033A (zh) 政务问题生成方法及装置
CN113673622B (zh) 激光点云数据标注方法、装置、设备及产品
CN117609553B (zh) 基于局部特征增强和模态交互的视频检索方法及系统
CN117493486B (zh) 基于数据重放的可持续金融事件抽取系统及方法
CN113705402A (zh) 视频行为预测方法、系统、电子设备及存储介质
CN117058394A (zh) 一种零样本语义分割方法
WO2023225333A1 (fr) Entraînement de systèmes de réseau neuronal pour effectuer de multiples tâches d'apprentissage automatique
CN116227603A (zh) 一种事件推理任务的处理方法、设备及介质
CN118715525A (zh) 使用生成神经网络的计算有效率的提炼
CN116361138A (zh) 测试方法及设备
CN118505710B (zh) 一种基于迁移学习的绝缘子目标检测方法及系统
CN116665064B (zh) 基于生成蒸馏与特征扰动的城市变化图生成方法及其应用
CN114842246B (zh) 一种社交媒体压力类别检测方法及装置
CN116935102A (zh) 一种轻量化模型训练方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220118

RJ01 Rejection of invention patent application after publication