JP2019049975A - ディープラーニング分類モデルの訓練装置及び方法 - Google Patents
ディープラーニング分類モデルの訓練装置及び方法 Download PDFInfo
- Publication number
- JP2019049975A JP2019049975A JP2018165140A JP2018165140A JP2019049975A JP 2019049975 A JP2019049975 A JP 2019049975A JP 2018165140 A JP2018165140 A JP 2018165140A JP 2018165140 A JP2018165140 A JP 2018165140A JP 2019049975 A JP2019049975 A JP 2019049975A
- Authority
- JP
- Japan
- Prior art keywords
- training
- similar
- data
- target
- branch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】かかる訓練方法は、目標データの目標属性のために複数の関連属性を生成して、複数の関連訓練分岐を増やし;目標データに基づいて、類似データを生成して、類似訓練分岐を増やし;訓練主幹、類似訓練分岐、及び複数の関連訓練分岐に対して、それぞれ、訓練を行い;及び、それぞれ訓練された結果に基づいて、特徴抽出及び/又は属性分類のパラメーターに対して調整を行うことを含む。
【選択図】図1
Description
目標データの目標属性に基づいて複数の関連属性を生成するための属性生成ユニットであって、前記目標データの目標属性は、訓練主幹に対応し、前記目標データの前記複数の関連属性は、複数の関連訓練分岐に対応する、属性生成ユニット;
前記目標データ及び訓練データ集合に基づいて類似データを生成するためのデータ生成ユニットであって、前記類似データの目標属性は、類似訓練分岐に対応する、データ生成ユニット;
前記訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、特徴抽出及び属性分類を含む訓練を行うための訓練ユニット;及び
それぞれ訓練された結果に基づいて前記特徴抽出のパラメーター及び/又は前記属性分類のパラメーターに対して調整を行い、ネットワーク全体のモデルに対して訓練を行うためのパラメーター調整ユニットを含む。
目標データの目標属性に基づいて複数の関連属性を生成し、そのうち、前記目標データの目標属性は、訓練主幹に対応し、前記目標データの前記複数の関連属性は、複数の関連訓練分岐に対応し;
前記目標データ及び訓練データ集合に基づいて類似データを生成し、そのうち、前記類似データの目標属性は、類似訓練分岐に対応し;
前記訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、特徴抽出及び属性分類を含む訓練を行い;及び
それぞれ訓練された結果に基づいて前記特徴抽出のパラメーター及び/又は前記属性分類のパラメーターに対して調整を行い、ネットワーク全体のモデルに対して訓練を行うことを含む。
ステップ102:前記目標データ及び訓練データ集合に基づいて類似データを生成し、そのうち、前記類似データの目標属性は、類似訓練分岐に対応し;
ステップ103:前記訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、特徴抽出及び属性分類を含む訓練を行い;及び
ステップ104:それぞれ訓練された結果に基づいて前記特徴抽出のパラメーター及び/又は前記属性分類のパラメーターに対して調整を行い、ネットワーク全体のモデルに対して訓練を行う。
ステップ202:前記目標データ及び訓練データ集合に基づいて類似データを生成し、そのうち、前記類似データの目標属性は、1つの類似訓練分岐に対応し;
ステップ203:前記訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、特徴抽出及び属性分類を含む訓練を行う。
そのうち、βiは、Loss Biの加重係数であり、例えば、βi=Loss Bi/(Loss B1+……+Loss Bn)である。
データ生成ユニット402:前記目標データ及び訓練データ集合に基づいて類似データを生成し、そのうち、前記類似データの目標属性は、1つの類似訓練分岐に対応し;
訓練ユニット403:前記訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、特徴抽出及び属性分類を含む訓練を行い;及び
パラメーター調整ユニット404:それぞれ訓練された結果に基づいて、前記特徴抽出及び/又は前記属性分類のパラメーターに対して調整を行い、ネットワーク全体のモデルに対して訓練を行う。
閾値設定ユニット(図5に示されていない):前記特徴距離に基づいて類似度閾値を設定する。
Claims (10)
- ディープラーニング分類モデルの訓練装置であって、
目標データの目標属性に基づいて複数の関連属性を生成する属性生成ユニットであって、前記目標データの目標属性は、1つの訓練主幹に対応し、前記目標データの前記複数の関連属性は、複数の関連訓練分岐に対応する、属性生成ユニット;
前記目標データ及び訓練データ集合に基づいて類似データを生成するデータ生成ユニットであって、前記類似データの目標属性は、1つの類似訓練分岐に対応する、データ生成ユニット;
前記訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、特徴抽出及び属性分類を含む訓練を行う訓練ユニット;及び
前記訓練ユニットの訓練結果に基づいて、前記特徴抽出のパラメーター及び/又は前記属性分類のパラメーターに対して調整を行い、ネットワーク全体のモデルに対して訓練を行うパラメーター調整ユニットを含む、訓練装置。 - 請求項1に記載の訓練装置であって、
前記属性生成ユニットは、前記目標データにタグを増加させることで、前記複数の関連属性を取得し、
前記データ生成ユニットは、前記訓練データ集合のうちから複数のサンプルデータを選択することで、前記類似データを取得し、前記類似データ中の一部のサンプルデータの前記目標属性の値は、前記目標データ中の一部のサンプルデータの前記目標属性の値と同じである、訓練装置。 - 請求項1に記載の訓練装置であって、
前記訓練主幹について主幹ラベル集合を生成し、複数の前記関連訓練分岐について複数の関連ラベル集合を生成し、また、前記類似訓練分岐について類似ラベル集合を生成するラベル集合生成ユニットをさらに含む、訓練装置。 - 請求項3に記載の訓練装置であって、
前記訓練主幹、前記類似訓練分岐、及び前記関連訓練分岐において、複数の前記特徴抽出は、予め訓練された1つ又は複数の初期パラメーターを共有して使用する、訓練装置。 - 請求項3に記載の訓練装置であって、
前記類似訓練分岐中の前記属性分類の結果及び前記訓練主幹中の前記属性分類の結果に基づいて、前記目標データと前記類似データとの、前記目標属性についての類似度を計算する類似度計算ユニットをさらに含む、訓練装置。 - 請求項5に記載の訓練装置であって、
前記類似度及び前記類似ラベル集合に基づいて前記類似訓練分岐に対応する類似分岐損失を計算し、前記訓練主幹中の前記属性分類の結果及び前記主幹ラベル集合に基づいて前記訓練主幹に対応する主幹損失を計算し、また、前記関連訓練分岐中の前記属性分類の結果及び前記関連ラベル集合に基づいて前記関連訓練分岐に対応する関連分岐損失を計算する損失計算ユニットをさらに含む、訓練装置。 - 請求項6に記載の訓練装置であって、
前記類似分岐損失、前記主幹損失、及び複数の前記関連分岐損失に基づいて、加重後の損失値を計算する加重計算ユニットをさらに含み、
前記パラメーター調整ユニットは、さらに、前記加重後の損失値に基づいて、前記訓練主幹、複数の前記関連訓練分岐、及び前記類似訓練分岐中の前記特徴抽出のパラメーター及び/又は前記属性分類のパラメーターを更新する、訓練装置。 - 請求項5に記載の訓練装置であって、
前記訓練主幹の前記属性分類の結果に基づいて、前記目標属性を有するサンプルデータの間の特徴距離を計算する距離計算ユニット;及び
前記特徴距離に基づいて類似度閾値を設定する閾値設定ユニットをさらに含み、
前記類似度計算ユニットは、さらに、前記類似度閾値に基づいて、前記目標データと前記類似データとの、前記目標属性についての類似度を更新する、訓練装置。 - 請求項8に記載の訓練装置であって、
前記訓練ユニットは、さらに、異なる前記類似度閾値に基づいて、反復(iteration)により、前記ネットワーク全体のモデルに対して訓練を行う、訓練装置。 - ディープラーニング分類モデルの訓練方法であって、
目標データの目標属性に基づいて複数の関連属性を生成し、前記目標データの目標属性は、1つの訓練主幹に対応し、前記目標データの前記複数の関連属性は、複数の関連訓練分岐に対応し;
前記目標データ及び訓練データ集合に基づいて類似データを生成し、前記類似データの目標属性は、1つの類似訓練分岐に対応し;
前記訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、特徴抽出及び属性分類を含む訓練を行い;及び
前記訓練の結果に基づいて、前記特徴抽出のパラメーター及び/又は前記属性分類のパラメーターに対して調整を行い、ネットワーク全体のモデルに対して訓練を行うことを含む、訓練方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710798596.8 | 2017-09-07 | ||
CN201710798596.8A CN109472274B (zh) | 2017-09-07 | 2017-09-07 | 深度学习分类模型的训练装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019049975A true JP2019049975A (ja) | 2019-03-28 |
JP7225614B2 JP7225614B2 (ja) | 2023-02-21 |
Family
ID=65657599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018165140A Active JP7225614B2 (ja) | 2017-09-07 | 2018-09-04 | ディープラーニング分類モデルの訓練装置及び方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7225614B2 (ja) |
CN (1) | CN109472274B (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110232403A (zh) * | 2019-05-15 | 2019-09-13 | 腾讯科技(深圳)有限公司 | 一种标签预测方法、装置、电子设备及介质 |
CN111222553A (zh) * | 2019-12-30 | 2020-06-02 | 广州华多网络科技有限公司 | 机器学习模型的训练数据处理方法、装置和计算机设备 |
CN113143223A (zh) * | 2021-01-05 | 2021-07-23 | 长春理工大学 | 一种边缘人工智能婴幼儿监测方法 |
WO2023079810A1 (ja) * | 2021-11-04 | 2023-05-11 | 株式会社日立製作所 | 計算機システム及び装置条件の探索支援方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111814514A (zh) * | 2019-04-11 | 2020-10-23 | 富士通株式会社 | 号码识别装置、方法以及电子设备 |
CN110866118B (zh) * | 2019-10-31 | 2022-02-18 | 杭州电子科技大学 | 一种深度学习模型的超参数调优方法 |
CN111222454B (zh) * | 2020-01-03 | 2023-04-07 | 暗物智能科技(广州)有限公司 | 训练多任务目标检测模型、多任务目标检测的方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015186278A1 (ja) * | 2014-06-03 | 2015-12-10 | 日本電気株式会社 | 属性列挙システム、属性列挙方法および属性列挙プログラム |
US20170032035A1 (en) * | 2015-07-28 | 2017-02-02 | Microsoft Technology Licensing, Llc | Representation Learning Using Multi-Task Deep Neural Networks |
US20170132510A1 (en) * | 2015-11-05 | 2017-05-11 | Facebook, Inc. | Identifying Content Items Using a Deep-Learning Model |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679190B (zh) * | 2012-09-20 | 2019-03-01 | 富士通株式会社 | 分类装置、分类方法以及电子设备 |
CN104699685B (zh) * | 2013-12-04 | 2018-02-09 | 富士通株式会社 | 模型更新装置及方法、数据处理装置及方法、程序 |
CN106687993B (zh) * | 2014-09-03 | 2018-07-27 | 北京市商汤科技开发有限公司 | 用于图像数据分类的设备和方法 |
EP3166025A1 (en) * | 2015-11-05 | 2017-05-10 | Facebook, Inc. | Identifying content items using a deep-learning model |
CN106355248A (zh) * | 2016-08-26 | 2017-01-25 | 深圳先进技术研究院 | 一种深度卷积神经网络训练方法及装置 |
CN106503055B (zh) * | 2016-09-27 | 2019-06-04 | 天津大学 | 一种从结构化文本到图像描述的生成方法 |
CN106502988B (zh) * | 2016-11-02 | 2019-06-07 | 广东惠禾科技发展有限公司 | 一种目标属性抽取的方法和设备 |
-
2017
- 2017-09-07 CN CN201710798596.8A patent/CN109472274B/zh active Active
-
2018
- 2018-09-04 JP JP2018165140A patent/JP7225614B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015186278A1 (ja) * | 2014-06-03 | 2015-12-10 | 日本電気株式会社 | 属性列挙システム、属性列挙方法および属性列挙プログラム |
US20170032035A1 (en) * | 2015-07-28 | 2017-02-02 | Microsoft Technology Licensing, Llc | Representation Learning Using Multi-Task Deep Neural Networks |
US20170132510A1 (en) * | 2015-11-05 | 2017-05-11 | Facebook, Inc. | Identifying Content Items Using a Deep-Learning Model |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110232403A (zh) * | 2019-05-15 | 2019-09-13 | 腾讯科技(深圳)有限公司 | 一种标签预测方法、装置、电子设备及介质 |
CN111222553A (zh) * | 2019-12-30 | 2020-06-02 | 广州华多网络科技有限公司 | 机器学习模型的训练数据处理方法、装置和计算机设备 |
CN111222553B (zh) * | 2019-12-30 | 2023-08-29 | 广州方硅信息技术有限公司 | 机器学习模型的训练数据处理方法、装置和计算机设备 |
CN113143223A (zh) * | 2021-01-05 | 2021-07-23 | 长春理工大学 | 一种边缘人工智能婴幼儿监测方法 |
WO2023079810A1 (ja) * | 2021-11-04 | 2023-05-11 | 株式会社日立製作所 | 計算機システム及び装置条件の探索支援方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7225614B2 (ja) | 2023-02-21 |
CN109472274A (zh) | 2019-03-15 |
CN109472274B (zh) | 2022-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7225614B2 (ja) | ディープラーニング分類モデルの訓練装置及び方法 | |
US11537895B2 (en) | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks | |
WO2020042895A1 (en) | Device and method of tracking poses of multiple objects based on single-object pose estimator | |
CN110097606B (zh) | 面部合成 | |
Sagonas et al. | 300 faces in-the-wild challenge: The first facial landmark localization challenge | |
US20200184252A1 (en) | Deep Learning Network for Salient Region Identification in Images | |
Otálora et al. | Training deep convolutional neural networks with active learning for exudate classification in eye fundus images | |
Yin et al. | Joint multi-leaf segmentation, alignment, and tracking for fluorescence plant videos | |
He et al. | Image2audio: Facilitating semi-supervised audio emotion recognition with facial expression image | |
WO2017161233A1 (en) | Deep multi-task representation learning | |
US10127497B2 (en) | Interface engine for efficient machine learning | |
CN109271958A (zh) | 人脸年龄识别方法及装置 | |
CN113591918B (zh) | 图像处理模型的训练方法、图像处理方法、装置和设备 | |
CN109145783B (zh) | 用于生成信息的方法和装置 | |
JP6597914B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20200019758A1 (en) | Meta-learning for facial recognition | |
Baddar et al. | A deep facial landmarks detection with facial contour and facial components constraint | |
Su et al. | Spatio-temporal mitosis detection in time-lapse phase-contrast microscopy image sequences: A benchmark | |
Zhu et al. | Branched convolutional neural networks incorporated with jacobian deep regression for facial landmark detection | |
Jackowski et al. | Cost-sensitive splitting and selection method for medical decision support system | |
CN111723859A (zh) | 一种基于弱标签的目标定位方法及系统 | |
WO2022262337A1 (zh) | 视频标注方法、装置、计算设备和计算机可读存储介质 | |
Juhl et al. | Implicit neural distance representation for unsupervised and supervised classification of complex anatomies | |
WO2022236647A1 (en) | Methods, devices, and computer readable media for training a keypoint estimation network using cgan-based data augmentation | |
US11580645B2 (en) | Image processing apparatus, image processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220506 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230123 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7225614 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |