CN113947196A - 网络模型训练方法、装置和计算机可读存储介质 - Google Patents
网络模型训练方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN113947196A CN113947196A CN202111239621.1A CN202111239621A CN113947196A CN 113947196 A CN113947196 A CN 113947196A CN 202111239621 A CN202111239621 A CN 202111239621A CN 113947196 A CN113947196 A CN 113947196A
- Authority
- CN
- China
- Prior art keywords
- model
- training
- network
- sample
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Machine Translation (AREA)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111239621.1A CN113947196A (zh) | 2021-10-25 | 2021-10-25 | 网络模型训练方法、装置和计算机可读存储介质 |
PCT/CN2022/124171 WO2023071743A1 (fr) | 2021-10-25 | 2022-10-09 | Procédé et appareil d'entraînement de modèle de réseau, et support de stockage lisible par ordinateur |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111239621.1A CN113947196A (zh) | 2021-10-25 | 2021-10-25 | 网络模型训练方法、装置和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113947196A true CN113947196A (zh) | 2022-01-18 |
Family
ID=79332117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111239621.1A Pending CN113947196A (zh) | 2021-10-25 | 2021-10-25 | 网络模型训练方法、装置和计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113947196A (fr) |
WO (1) | WO2023071743A1 (fr) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115147680A (zh) * | 2022-06-30 | 2022-10-04 | 北京百度网讯科技有限公司 | 目标检测模型的预训练方法、装置以及设备 |
CN115511059A (zh) * | 2022-10-12 | 2022-12-23 | 北华航天工业学院 | 一种基于卷积神经网络通道解耦的网络轻量化方法 |
CN115879535A (zh) * | 2023-02-10 | 2023-03-31 | 北京百度网讯科技有限公司 | 一种自动驾驶感知模型的训练方法、装置、设备和介质 |
WO2023071743A1 (fr) * | 2021-10-25 | 2023-05-04 | 中兴通讯股份有限公司 | Procédé et appareil d'entraînement de modèle de réseau, et support de stockage lisible par ordinateur |
CN116091895A (zh) * | 2023-04-04 | 2023-05-09 | 之江实验室 | 一种面向多任务知识融合的模型训练方法及装置 |
WO2023142918A1 (fr) * | 2022-01-28 | 2023-08-03 | 华为云计算技术有限公司 | Procédé de traitement d'image basé sur un grand modèle pré-appris, et appareil associé |
CN116665025A (zh) * | 2023-07-31 | 2023-08-29 | 福思(杭州)智能科技有限公司 | 数据闭环方法和系统 |
CN116681123A (zh) * | 2023-07-31 | 2023-09-01 | 福思(杭州)智能科技有限公司 | 感知模型训练方法、装置、计算机设备和存储介质 |
CN117057413A (zh) * | 2023-09-27 | 2023-11-14 | 珠高智能科技(深圳)有限公司 | 强化学习模型微调方法、装置、计算机设备及存储介质 |
CN117993468A (zh) * | 2024-04-03 | 2024-05-07 | 杭州海康威视数字技术股份有限公司 | 一种模型训练方法、装置、存储介质和电子设备 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116310667B (zh) * | 2023-05-15 | 2023-08-22 | 鹏城实验室 | 联合对比损失和重建损失的自监督视觉表征学习方法 |
CN116663678A (zh) * | 2023-06-20 | 2023-08-29 | 北京智谱华章科技有限公司 | 面向超大规模模型的蒸馏优化方法、装置、介质及设备 |
CN117373016B (zh) * | 2023-10-20 | 2024-04-30 | 农芯(南京)智慧农业研究院有限公司 | 烟叶烘烤状态判别方法、装置、设备及存储介质 |
CN117493486B (zh) * | 2023-11-10 | 2024-06-14 | 华泰证券股份有限公司 | 基于数据重放的可持续金融事件抽取系统及方法 |
CN117273821B (zh) * | 2023-11-20 | 2024-03-01 | 阿里健康科技(杭州)有限公司 | 电子权益凭证的发放方法、训练方法以及相关装置 |
CN117436500B (zh) * | 2023-12-19 | 2024-03-26 | 杭州宇谷科技股份有限公司 | 一种基于对比学习的电池数据处理模型的无监督训练方法 |
CN117973490B (zh) * | 2024-01-23 | 2024-10-08 | 中国人民解放军国防科技大学 | 一种基于增量自监督学习的通信辐射源个体识别方法 |
CN117992220B (zh) * | 2024-01-29 | 2024-07-19 | 厦门渊亭信息科技有限公司 | 一种基于改进ZeRO-Offload技术的大模型训练方法 |
CN117726884B (zh) * | 2024-02-09 | 2024-05-03 | 腾讯科技(深圳)有限公司 | 对象类别识别模型的训练方法、对象类别识别方法及装置 |
CN117788836A (zh) * | 2024-02-23 | 2024-03-29 | 中国第一汽车股份有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN117892139B (zh) * | 2024-03-14 | 2024-05-14 | 中国医学科学院医学信息研究所 | 基于层间比对的大语言模型训练和使用方法及相关装置 |
CN118093210B (zh) * | 2024-04-29 | 2024-06-28 | 浙江鹏信信息科技股份有限公司 | 基于模型蒸馏的异构算力调度方法、系统及可读存储介质 |
CN118411512A (zh) * | 2024-04-30 | 2024-07-30 | 应急管理部大数据中心 | 基于视觉大模型的煤矿井下目标检测方法及视频分析设备 |
CN118313435B (zh) * | 2024-06-06 | 2024-08-16 | 蓝象智联(杭州)科技有限公司 | 一种基于侧网络的大模型微调训练方法、系统及装置 |
CN118379605B (zh) * | 2024-06-24 | 2024-08-30 | 之江实验室 | 一种图像识别大模型的部署方法、装置及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111598216A (zh) * | 2020-04-16 | 2020-08-28 | 北京百度网讯科技有限公司 | 学生网络模型的生成方法、装置、设备及存储介质 |
CN112508169A (zh) * | 2020-11-13 | 2021-03-16 | 华为技术有限公司 | 知识蒸馏方法和系统 |
CN112507990A (zh) * | 2021-02-04 | 2021-03-16 | 北京明略软件系统有限公司 | 视频时空特征学习、抽取方法、装置、设备及存储介质 |
CN112800053A (zh) * | 2021-01-05 | 2021-05-14 | 深圳索信达数据技术有限公司 | 数据模型的生成方法、调用方法、装置、设备及存储介质 |
CN113011427A (zh) * | 2021-03-17 | 2021-06-22 | 中南大学 | 基于自监督对比学习的遥感图像语义分割方法 |
CN113470695A (zh) * | 2021-06-30 | 2021-10-01 | 平安科技(深圳)有限公司 | 声音异常检测方法、装置、计算机设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11620515B2 (en) * | 2019-11-07 | 2023-04-04 | Salesforce.Com, Inc. | Multi-task knowledge distillation for language model |
CN113947196A (zh) * | 2021-10-25 | 2022-01-18 | 中兴通讯股份有限公司 | 网络模型训练方法、装置和计算机可读存储介质 |
-
2021
- 2021-10-25 CN CN202111239621.1A patent/CN113947196A/zh active Pending
-
2022
- 2022-10-09 WO PCT/CN2022/124171 patent/WO2023071743A1/fr unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111598216A (zh) * | 2020-04-16 | 2020-08-28 | 北京百度网讯科技有限公司 | 学生网络模型的生成方法、装置、设备及存储介质 |
CN112508169A (zh) * | 2020-11-13 | 2021-03-16 | 华为技术有限公司 | 知识蒸馏方法和系统 |
CN112800053A (zh) * | 2021-01-05 | 2021-05-14 | 深圳索信达数据技术有限公司 | 数据模型的生成方法、调用方法、装置、设备及存储介质 |
CN112507990A (zh) * | 2021-02-04 | 2021-03-16 | 北京明略软件系统有限公司 | 视频时空特征学习、抽取方法、装置、设备及存储介质 |
CN113011427A (zh) * | 2021-03-17 | 2021-06-22 | 中南大学 | 基于自监督对比学习的遥感图像语义分割方法 |
CN113470695A (zh) * | 2021-06-30 | 2021-10-01 | 平安科技(深圳)有限公司 | 声音异常检测方法、装置、计算机设备及存储介质 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023071743A1 (fr) * | 2021-10-25 | 2023-05-04 | 中兴通讯股份有限公司 | Procédé et appareil d'entraînement de modèle de réseau, et support de stockage lisible par ordinateur |
WO2023142918A1 (fr) * | 2022-01-28 | 2023-08-03 | 华为云计算技术有限公司 | Procédé de traitement d'image basé sur un grand modèle pré-appris, et appareil associé |
CN115147680B (zh) * | 2022-06-30 | 2023-08-25 | 北京百度网讯科技有限公司 | 目标检测模型的预训练方法、装置以及设备 |
CN115147680A (zh) * | 2022-06-30 | 2022-10-04 | 北京百度网讯科技有限公司 | 目标检测模型的预训练方法、装置以及设备 |
CN115511059B (zh) * | 2022-10-12 | 2024-02-09 | 北华航天工业学院 | 一种基于卷积神经网络通道解耦的网络轻量化方法 |
CN115511059A (zh) * | 2022-10-12 | 2022-12-23 | 北华航天工业学院 | 一种基于卷积神经网络通道解耦的网络轻量化方法 |
CN115879535A (zh) * | 2023-02-10 | 2023-03-31 | 北京百度网讯科技有限公司 | 一种自动驾驶感知模型的训练方法、装置、设备和介质 |
CN115879535B (zh) * | 2023-02-10 | 2023-05-23 | 北京百度网讯科技有限公司 | 一种自动驾驶感知模型的训练方法、装置、设备和介质 |
CN116091895A (zh) * | 2023-04-04 | 2023-05-09 | 之江实验室 | 一种面向多任务知识融合的模型训练方法及装置 |
CN116665025A (zh) * | 2023-07-31 | 2023-08-29 | 福思(杭州)智能科技有限公司 | 数据闭环方法和系统 |
CN116665025B (zh) * | 2023-07-31 | 2023-11-14 | 福思(杭州)智能科技有限公司 | 数据闭环方法和系统 |
CN116681123B (zh) * | 2023-07-31 | 2023-11-14 | 福思(杭州)智能科技有限公司 | 感知模型训练方法、装置、计算机设备和存储介质 |
CN116681123A (zh) * | 2023-07-31 | 2023-09-01 | 福思(杭州)智能科技有限公司 | 感知模型训练方法、装置、计算机设备和存储介质 |
CN117057413A (zh) * | 2023-09-27 | 2023-11-14 | 珠高智能科技(深圳)有限公司 | 强化学习模型微调方法、装置、计算机设备及存储介质 |
CN117057413B (zh) * | 2023-09-27 | 2024-03-15 | 传申弘安智能(深圳)有限公司 | 强化学习模型微调方法、装置、计算机设备及存储介质 |
CN117993468A (zh) * | 2024-04-03 | 2024-05-07 | 杭州海康威视数字技术股份有限公司 | 一种模型训练方法、装置、存储介质和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2023071743A1 (fr) | 2023-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113947196A (zh) | 网络模型训练方法、装置和计算机可读存储介质 | |
CN107391646B (zh) | 一种视频图像的语义信息提取方法及装置 | |
CN109816032B (zh) | 基于生成式对抗网络的无偏映射零样本分类方法和装置 | |
CN111741330B (zh) | 一种视频内容评估方法、装置、存储介质及计算机设备 | |
CN111079532A (zh) | 一种基于文本自编码器的视频内容描述方法 | |
CN111325664B (zh) | 风格迁移方法、装置、存储介质及电子设备 | |
CN110569359B (zh) | 识别模型的训练及应用方法、装置、计算设备及存储介质 | |
WO2023137911A1 (fr) | Procédé et appareil de classification d'intentions sur la base d'un corpus de petits échantillons, et dispositif informatique | |
CN107544960A (zh) | 一种基于变量绑定和关系激活的推理方法 | |
JP2024522328A (ja) | 言語モデルを使うマルチモーダル入力の処理 | |
CN115511069A (zh) | 神经网络的训练方法、数据处理方法、设备及存储介质 | |
CN113569033A (zh) | 政务问题生成方法及装置 | |
CN113673622B (zh) | 激光点云数据标注方法、装置、设备及产品 | |
CN117609553B (zh) | 基于局部特征增强和模态交互的视频检索方法及系统 | |
CN117493486B (zh) | 基于数据重放的可持续金融事件抽取系统及方法 | |
CN113705402A (zh) | 视频行为预测方法、系统、电子设备及存储介质 | |
CN117058394A (zh) | 一种零样本语义分割方法 | |
WO2023225333A1 (fr) | Entraînement de systèmes de réseau neuronal pour effectuer de multiples tâches d'apprentissage automatique | |
CN116227603A (zh) | 一种事件推理任务的处理方法、设备及介质 | |
CN118715525A (zh) | 使用生成神经网络的计算有效率的提炼 | |
CN116361138A (zh) | 测试方法及设备 | |
CN118505710B (zh) | 一种基于迁移学习的绝缘子目标检测方法及系统 | |
CN116665064B (zh) | 基于生成蒸馏与特征扰动的城市变化图生成方法及其应用 | |
CN114842246B (zh) | 一种社交媒体压力类别检测方法及装置 | |
CN116935102A (zh) | 一种轻量化模型训练方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220118 |
|
RJ01 | Rejection of invention patent application after publication |