JP2023011883A - 事前トレーニングモデルの生成方法、装置、電子機器、記憶媒体およびコンピュータプログラム - Google Patents
事前トレーニングモデルの生成方法、装置、電子機器、記憶媒体およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2023011883A JP2023011883A JP2022178057A JP2022178057A JP2023011883A JP 2023011883 A JP2023011883 A JP 2023011883A JP 2022178057 A JP2022178057 A JP 2022178057A JP 2022178057 A JP2022178057 A JP 2022178057A JP 2023011883 A JP2023011883 A JP 2023011883A
- Authority
- JP
- Japan
- Prior art keywords
- model structure
- task
- tasks
- search space
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012549 training Methods 0.000 title claims abstract description 34
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000004590 computer program Methods 0.000 title claims description 13
- 238000013210 evaluation model Methods 0.000 claims description 96
- 238000012545 processing Methods 0.000 claims description 31
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
Claims (21)
- 複数のタスクのうちの各タスクに対して、ハイパーネットワークに基づく探索空間に含まれる複数のモデル構造から特定される候補モデル構造集合に対応する性能指標集合を特定することと、
前記複数のタスクと一対一に対応する複数の性能指標集合に基づいて、前記候補モデル構造集合から、性能指標条件を満たすモデル構造である目標モデル構造を特定することと、
前記目標モデル構造を事前トレーニングモデルとして特定することと、を含む、
事前トレーニングモデルの生成方法。 - 複数のタスクのうちの各タスクに対して、前記タスクに対応するトレーニングセットを用いて前記タスクに対応するハイパーネットワークをトレーニングし、前記タスクに対応するトレーニングされたハイパーネットワークを取得することと、
前記複数のタスクに一対一に対応する複数のトレーニングされたハイパーネットワークに基づいて、前記探索空間を取得することと、をさらに含む、
請求項1に記載の方法。 - 前記複数のタスクのうちの各タスクに対して、候補モデル構造集合に対応する性能指標集合を特定することは、
前記複数のタスクのうちの各タスクに対して、前記タスクに対応する性能予測器を用いて前記候補モデル構造集合を処理し、前記候補モデル構造集合に対応する性能指標集合を取得することを含む、
請求項1又は2に記載の方法。 - 前記探索空間から評価モデル構造集合を特定することと、
前記評価モデル構造集合を用いて、前記複数のタスクに一対一に対応する複数の性能予測器を取得することと、をさらに含む、
請求項3に記載の方法。 - 前記評価モデル構造集合を用いて、前記複数のタスクに一対一に対応する複数の性能予測器を取得することは、
前記複数のタスクのうちの各タスクに対して、前記評価モデル構造集合を用いて前記タスクに対応する評価セットを処理し、前記評価モデル構造集合に対応する性能指標集合を取得することと、
前記複数のタスクのうちの各タスクに対して、前記評価モデル構造集合及び前記評価モデル構造集合に対応する性能指標集合を用いて、前記タスクに対応する性能予測器を取得することと、を含む、
請求項4に記載の方法。 - 前記評価モデル構造集合に対応する評価モデルコード集合を特定することをさらに含み、
前記複数のタスクのうちの各タスクに対して、前記評価モデル構造集合及び前記評価モデル構造集合に対応する性能指標集合を用いて、前記タスクに対応する性能予測器を取得することは、
前記複数のタスクのうちの各タスクに対して、前記評価モデル構造集合に対応する評価モデルコード集合及び性能指標集合を用いて、前記タスクに対応する性能予測器を取得することを含む、
請求項5に記載の方法。 - 前記探索空間から評価モデル構造集合を特定することは、
前記探索空間に含まれる複数のモデル構造のうちの各モデル構造に対応する情報エントロピーを特定することと、
前記探索空間に含まれる複数のモデル構造のうちの各モデル構造に対応する情報エントロピーに基づいて、前記探索空間から前記評価モデル構造集合を特定することと、を含む、
請求項4に記載の方法。 - 前記探索空間から評価モデル構造集合を特定することは、
前記探索空間に含まれる複数のモデル構造に基づいて、前記探索空間に対応する少なくとも1つのクラスタセンターを特定することと、
前記探索空間に対応する少なくとも1つのクラスタセンターに基づいて、前記探索空間から前記評価モデル構造集合を特定することと、を含む、
請求項4に記載の方法。 - 前記性能指標集合に含まれる複数の性能指標のうちの各性能指標は、
精度値、リコール率値、トレーニング速度値、予測速度値の少なくとも1つを含む、
請求項1又は2に記載の方法。 - 複数のタスクのうちの各タスクに対して、ハイパーネットワークに基づく探索空間に含まれる複数のモデル構造から特定される候補モデル構造集合に対応する性能指標集合を特定する第1の特定モジュールと、
前記複数のタスクと一対一に対応する複数の性能指標集合に基づいて、前記候補モデル構造集合から、性能指標条件を満たすモデル構造である目標モデル構造を特定する第2の特定モジュールと、
前記目標モデル構造を事前トレーニングモデルとして特定する第3の特定モジュールと、を含む、
事前トレーニングモデルの生成装置。 - 複数のタスクのうちの各タスクに対して、前記タスクに対応するトレーニングセットを用いて前記タスクに対応するハイパーネットワークをトレーニングし、前記タスクに対応するトレーニングされたハイパーネットワークを取得する第1の取得モジュールと、
前記複数のタスクに一対一に対応する複数のトレーニングされたハイパーネットワークに基づいて、前記探索空間を取得する第2の取得モジュールと、をさらに含む、
請求項10に記載の装置。 - 前記第1の特定モジュールは、
前記複数のタスクのうちの各タスクに対して、前記タスクに対応する性能予測器を用いて前記候補モデル構造集合を処理し、前記候補モデル構造集合に対応する性能指標集合を取得する第1の取得サブモジュールを含む、
請求項10又は11に記載の装置。 - 前記探索空間から評価モデル構造集合を特定する第4の特定モジュールと、
前記評価モデル構造集合を用いて、前記複数のタスクに一対一に対応する複数の性能予測器を取得する第3の取得モジュールと、をさらに含む、
請求項12に記載の装置。 - 前記第3の取得モジュールは、
前記複数のタスクのうちの各タスクに対して、前記評価モデル構造集合を用いて前記タスクに対応する評価セットを処理し、前記評価モデル構造集合に対応する性能指標集合を取得する第2の取得サブモジュールと、
前記複数のタスクのうちの各タスクに対して、前記評価モデル構造集合及び前記評価モデル構造集合に対応する性能指標集合を用いて、前記タスクに対応する性能予測器を取得する第3の取得サブモジュールと、を含む、
請求項13に記載の装置。 - 前記評価モデル構造集合に対応する評価モデルコード集合を特定する第5の特定モジュールをさらに含み、
前記第3の取得サブモジュールは、
前記複数のタスクのうちの各タスクに対して、前記評価モデル構造集合に対応する評価モデルコード集合及び性能指標集合を用いて、前記タスクに対応する性能予測器を取得する第1の取得ユニットを含む、
請求項14に記載の装置。 - 前記第4の特定モジュールは、
前記探索空間に含まれる複数のモデル構造のうちの各モデル構造に対応する情報エントロピーを特定する第1の特定サブモジュールと、
前記探索空間に含まれる複数のモデル構造のうちの各モデル構造に対応する情報エントロピーに基づいて、前記探索空間から前記評価モデル構造集合を特定する第2の特定サブモジュールと、を含む、
請求項13に記載の装置。 - 前記第4の特定モジュールは、
前記探索空間に含まれる複数のモデル構造に基づいて、前記探索空間に対応する少なくとも1つのクラスタセンターを特定する第3の特定サブモジュールと、
前記探索空間に対応する少なくとも1つのクラスタセンターに基づいて、前記探索空間から前記評価モデル構造集合を特定する第4の特定サブモジュールと、を含む、
請求項13に記載の装置。 - 前記性能指標集合に含まれる複数の性能指標のうちの各性能指標は、
精度値、リコール率値、トレーニング速度値、予測速度値の少なくとも1つを含む、
請求項10又は11に記載の装置。 - 少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサと通信接続されたメモリとを備え、
前記メモリには、前記少なくとも1つのプロセッサにより実行可能な命令が記憶されており、
前記命令は、前記少なくとも1つのプロセッサが請求項1又は2に記載の方法を実行することができるように、前記少なくとも1つのプロセッサにより実行される、
電子機器。 - コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ命令は、コンピュータに請求項1又は2に記載の方法を実行させる、
非一時的なコンピュータ可読記憶媒体。 - プロセッサにより実行される場合に、請求項1又は2に記載の方法を実現する
コンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111310437.1 | 2021-11-05 | ||
CN202111310437.1A CN114037058B (zh) | 2021-11-05 | 2021-11-05 | 预训练模型的生成方法、装置、电子设备以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023011883A true JP2023011883A (ja) | 2023-01-24 |
Family
ID=80143237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022178057A Ceased JP2023011883A (ja) | 2021-11-05 | 2022-11-07 | 事前トレーニングモデルの生成方法、装置、電子機器、記憶媒体およびコンピュータプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230145853A1 (ja) |
JP (1) | JP2023011883A (ja) |
CN (1) | CN114037058B (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020107042A (ja) * | 2018-12-27 | 2020-07-09 | Kddi株式会社 | 学習モデル生成装置、学習モデル生成方法、及びプログラム |
WO2021033791A1 (ko) * | 2019-08-19 | 2021-02-25 | 엘지전자 주식회사 | 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템 |
JP2021039640A (ja) * | 2019-09-05 | 2021-03-11 | 株式会社東芝 | 学習装置、学習システム、および学習方法 |
JP2021523430A (ja) * | 2018-05-10 | 2021-09-02 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 教師付き機械学習問題用のニューラルネットワークアーキテクチャの選択 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11074711B1 (en) * | 2018-06-15 | 2021-07-27 | Bertec Corporation | System for estimating a pose of one or more persons in a scene |
CN113128678A (zh) * | 2020-01-15 | 2021-07-16 | 华为技术有限公司 | 神经网络的自适应搜索方法及装置 |
CN113408692A (zh) * | 2020-03-16 | 2021-09-17 | 顺丰科技有限公司 | 网络结构的搜索方法、装置、设备及存储介质 |
CN111488971B (zh) * | 2020-04-09 | 2023-10-24 | 北京百度网讯科技有限公司 | 神经网络模型搜索方法及装置、图像处理方法及装置 |
CN111667057B (zh) * | 2020-06-05 | 2023-10-20 | 北京百度网讯科技有限公司 | 用于搜索模型结构的方法和装置 |
CN112784778B (zh) * | 2021-01-28 | 2024-04-09 | 北京百度网讯科技有限公司 | 生成模型并识别年龄和性别的方法、装置、设备和介质 |
CN113361578B (zh) * | 2021-05-31 | 2023-08-04 | 北京百度网讯科技有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
-
2021
- 2021-11-05 CN CN202111310437.1A patent/CN114037058B/zh active Active
-
2022
- 2022-11-03 US US17/980,095 patent/US20230145853A1/en not_active Abandoned
- 2022-11-07 JP JP2022178057A patent/JP2023011883A/ja not_active Ceased
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021523430A (ja) * | 2018-05-10 | 2021-09-02 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 教師付き機械学習問題用のニューラルネットワークアーキテクチャの選択 |
JP2020107042A (ja) * | 2018-12-27 | 2020-07-09 | Kddi株式会社 | 学習モデル生成装置、学習モデル生成方法、及びプログラム |
WO2021033791A1 (ko) * | 2019-08-19 | 2021-02-25 | 엘지전자 주식회사 | 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템 |
JP2021039640A (ja) * | 2019-09-05 | 2021-03-11 | 株式会社東芝 | 学習装置、学習システム、および学習方法 |
Also Published As
Publication number | Publication date |
---|---|
US20230145853A1 (en) | 2023-05-11 |
CN114037058A (zh) | 2022-02-11 |
CN114037058B (zh) | 2024-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021017679A1 (zh) | 地址信息解析方法、装置、系统及数据获取方法 | |
EP3451192A1 (en) | Text classification method and apparatus | |
KR20220113881A (ko) | 사전 훈련 모델의 생성 방법, 장치, 전자 기기 및 저장 매체 | |
WO2021068513A1 (zh) | 异常对象识别方法、装置、介质及电子设备 | |
KR20210132578A (ko) | 지식 그래프를 구축하는 방법, 장치, 기기 및 저장 매체 | |
CN110909222B (zh) | 基于聚类的用户画像建立方法、装置、介质及电子设备 | |
WO2023124029A1 (zh) | 深度学习模型的训练方法、内容推荐方法和装置 | |
CN111191825A (zh) | 用户违约预测方法、装置及电子设备 | |
CN111582645B (zh) | 基于因子分解机的app风险评估方法、装置和电子设备 | |
CN111191677B (zh) | 用户特征数据生成方法、装置及电子设备 | |
CN111582649B (zh) | 基于用户app独热编码的风险评估方法、装置和电子设备 | |
CN114036921A (zh) | 一种政策信息匹配方法和装置 | |
CN113612777B (zh) | 训练方法、流量分级方法、装置、电子设备以及存储介质 | |
US20220414095A1 (en) | Method of processing event data, electronic device, and medium | |
JP2023152270A (ja) | 人工知能によるデータラベリング方法、装置、電子デバイス、記憶媒体、及びプログラム | |
CN112818221B (zh) | 实体的热度确定方法、装置、电子设备及存储介质 | |
CN114037060A (zh) | 预训练模型的生成方法、装置、电子设备以及存储介质 | |
CN110852078A (zh) | 生成标题的方法和装置 | |
JP2023011883A (ja) | 事前トレーニングモデルの生成方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
CN115269315A (zh) | 一种异常检测方法、装置、设备、介质 | |
CN114565105A (zh) | 处理数据的方法和深度学习模型的训练方法、装置 | |
US10713585B2 (en) | Using template exploration for large-scale machine learning | |
CN113806541A (zh) | 情感分类的方法和情感分类模型的训练方法、装置 | |
CN112800315A (zh) | 数据处理方法、装置、设备及存储介质 | |
EP4109353A2 (en) | Method and apparatus of generating pre-training model, electronic device, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231214 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20240625 |