JP2021096848A - 深層距離学習方法およびシステム - Google Patents
深層距離学習方法およびシステム Download PDFInfo
- Publication number
- JP2021096848A JP2021096848A JP2020204341A JP2020204341A JP2021096848A JP 2021096848 A JP2021096848 A JP 2021096848A JP 2020204341 A JP2020204341 A JP 2020204341A JP 2020204341 A JP2020204341 A JP 2020204341A JP 2021096848 A JP2021096848 A JP 2021096848A
- Authority
- JP
- Japan
- Prior art keywords
- points
- point
- loss
- pair
- mining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000005065 mining Methods 0.000 claims abstract description 63
- 239000002131 composite material Substances 0.000 claims description 41
- 230000015572 biosynthetic process Effects 0.000 claims description 35
- 238000003786 synthesis reaction Methods 0.000 claims description 35
- 238000011176 pooling Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007786 learning performance Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
特徴表現(feature representation)を利用した類似性および距離に基づいて距離学習損失が利用されている。最も簡単な損失の1つがトリプレット損失(triplet loss)であるが、これは、固定された相対的余裕をもつポジティブペアよりもネガティブペアをより多く分離するためにサンプルのトリプレットが必要となる。トリプレット損失を利用する場合、効率的な訓練のためのサンプリングを提供するためには多くのサンプリングコストが必要となる。このような問題を解決するために、互いに異なるクラスのN−1ネガティブサンプルを考慮したNペア損失(N−pair loss)を提案する。Nペア損失と同じように、すべてのネガティブサンプルを一括的に統合して埋め込み機能を訓練させるために、リフテッド構造損失(lifted structure loss)を提案する。角度損失(angular loss)は、距離測定計が尺度に敏感であると見なしてサンプル間の2次情報だけを考慮したものであり、三角形のネガティブポイントで角度を制限する。
ハードネガティブペアマイニングは、深層距離学習を実行するのに必須となる役割を担う。ハードネガティブペアマイニング戦略の目的は、訓練過程でより多くの情報を提供するフォールスポジティブサンプル(false positive sample)を漸進的に選択することにある。例えば、オフラインハードネガティブペアマイニングは、以前に訓練されたモデルによって選択されたハードネガティブサンプルによってモデルを繰り返し微調整する方法である。オンラインハードネガティブペアマイニングは、トリプレット損失を計算するために一括的に最もハードなポジティブとネガティブを選択する方法である。セミハードネガティブペアマイニングは、最もハードなポジティブおよびネガティブのようにデータでノイズになり得る極めて紛らわしいサンプルを避けるための方法である。しかし、マイニング戦略は、選択された少数に焦点を合わせるが選択されなかった多数は見逃すものが殆どであるため、偏向的なモデルに繋がり得るという限界を抱えている。
近年、多数の容易なネガティブ要素を利用して特別な意味情報をもつモデルを訓練させるために、合成ハードサンプルが利用されている。例えば、深層敵対距離学習(DAML)フレームワークは、敵対的方式によって容易なネガティブサンプルから合成ハードサンプルを生成する。同じように、ハードトリプレット生成のための敵対ニューラルネットワークは、合成ハードサンプルによってモデルを訓練する。硬度認識深層距離学習(HDML)フレームワークは、オートエンコーダアーキテクチャを利用して埋め込みでラベル記録合成物を生成して硬度レベルを操作する。上述したような方法は、追加の生成ネットワークを必要するものであるが、より大きなモデル、より遅い訓練速度、より多くのハイパーパラメータをもたらす。
を、データ空間から深層ニューラルネットワークによってパラメータが指定された埋め込み空間へのマッピングであると定義する。各ポイントxiがラベルli∈{1,...,C}を有するとき、特徴点集合X=[x1,x2,...,xN]をサンプリングする。
)。このようにすれば、選択したネガティブペアに含まれたポジティブポイントが同一の類似性と距離をもつようになるため、生成されたポイントが損失のポジティブペアに影響を及ぼさない。
)によって同一するため、単純性のために、ポジティブペア(すなわち、
)に対してオリジナルポジティブポイントを使用してよい。距離学習損失と対称的な合成の組み合わせの式を利用してもよい。
クエリのイメージ特徴を考慮してみるとき、クエリと一致するデータベースからイメージ特徴の順位リストを検索し、オリジナルクエリとともに高い順位を検索したイメージ特徴を結合する。この後、結合されたイメージ特徴を再びクエリしてマッチングイメージの拡張集合を検索し、必要によってはプロセスを繰り返す。クエリ拡張と同じように、データベース拡大(DBA)は、イメージ特徴の品質を改善するために、データベースのすべてのイメージ特徴を自身の隣の組み合わせと替える。本実施形態に係る埋め込みポイント拡張は、このような概念、すなわち、隣の特徴を活用することにより、イメージ表現を拡張させるためのイメージ特徴の組み合わせを利用してよい。本実施形態に係る埋め込みポイント拡張は、後処理ではなく訓練段階で使用される。より具体的に説明すると、本実施形態は、距離学習損失に対するセマンティック情報を拡張させるために同一クラスで多数の組み合わせを生成する。
上述した距離学習損失(triplet、N−pair、angular、lifted structure loss)の他にも、新しい距離学習損失としてMS損失を利用してよい。
)になるであろう。しかし、高次元空間で有限長さのセグメント間の最短距離を計算するには計算的に多くのコストがかかる。この代りに、各クラスの内部分割ポイント間の距離を計算することにより、より少ない計算で問題を近似させることができる。2つ目の利点として、合成ポイントのラベルはクラスクラスタ内に含まれるため、高い確実性をもつ。従来のサンプル生成方法は、全結合層(fully connected layer)とソフトマックス(softmax)損失を利用して合成ポイントのラベルを制御していた反面、本発明に係るサンプル生成方法は、幾何学的関係(geometrical relation)を考慮して合成ポイントラベルの確実性を保障する。3つ目の利点として、本発明の合成ポイント生成方法は、埋め込み空間で簡単な線形補間法を実行するため、処理速度とメモリに影響を及ぼさない。
201:生成部
202:マイニング部
Claims (20)
- コンピュータシステムが実行する深層距離学習方法であって、
前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、
前記深層距離学習方法は、
前記少なくとも1つのプロセッサにより、埋め込み空間で与えられたオリジナルポイントを利用して合成ポイントを生成する段階、および
前記少なくとも1つのプロセッサにより、前記オリジナルポイントと前記合成ポイントを利用して距離学習に使用するためのハードネガティブペアをマイニングする段階
を含む、深層距離学習方法。 - 前記合成ポイントを生成する段階は、
1つのオリジナルポイントに他の1つのオリジナルポイントを投影したポイントを利用した代数計算によって前記合成ポイントを生成すること
を特徴とする、請求項1に記載の深層距離学習方法。 - 前記合成ポイントを生成する段階は、
前記オリジナルポイントの対称情報、または前記オリジナルポイントの組み合わせによる拡張情報を利用して前記合成ポイントを生成すること
を特徴とする、請求項1に記載の深層距離学習方法。 - 前記合成ポイントを生成する段階は、
同一クラスのオリジナルポイントを埋め込み空間に結合して距離学習損失に関する情報を拡張させることによって合成ポイント集合を生成すること
を特徴とする、請求項1に記載の深層距離学習方法。 - 前記合成ポイントを生成する段階は、
同一クラスの一対のオリジナルポイントが与えられると、オリジナルポイント間を線形補間によって分割し、分割地点に前記合成ポイントを生成することによって合成ポイント集合を生成すること
を特徴とする、請求項1に記載の深層距離学習方法。 - 前記ハードネガティブペアをマイニングする段階は、
前記オリジナルポイントと前記合成ポイントを利用して互いに異なる2つのクラス間の複数のネガティブペアを生成する段階、および
各ネガティブペアの類似性または距離に基づき、前記複数のネガティブペアのうちから最もハードなネガティブペアを選択して距離学習損失に使用する段階
を含む、請求項1に記載の深層距離学習方法。 - 前記複数のネガティブペアを生成する段階は、
ポジティブクラスの特徴点とネガティブクラスの特徴点を利用してポジティブポイントとネガティブポイント間の可能なネガティブペアを生成すること
を特徴とする、請求項6に記載の深層距離学習方法。 - 前記ハードネガティブペアをマイニングする段階は、
トリプレット損失またはリフテッド構造損失に対して最小プーリングを使用してハードネガティブペアマイニングを実行する段階
を含む、請求項1に記載の深層距離学習方法。 - 前記ハードネガティブペアをマイニングする段階は、
Nペア損失または角度損失に対して最大プーリングを使用してハードネガティブペアマイニングを実行する段階
を含む、請求項1に記載の深層距離学習方法。 - 前記ハードネガティブペアをマイニングする段階は、
前記オリジナルポイントと前記合成ポイントを利用してMS損失(multi−simiarity loss)に対してハードネガティブペアマイニングを実行する段階
を含む、請求項1に記載の深層距離学習方法。 - 請求項1〜10のうちのいずれか一項に記載の深層距離学習方法を前記コンピュータシステムに実行させる、コンピュータプログラム。
- 請求項1〜10のうちのいずれか一項に記載の深層距離学習方法をコンピュータに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体。
- コンピュータシステムであって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサ
を含み、
前記少なくとも1つのプロセッサは、
埋め込み空間で与えられたオリジナルポイントを利用して合成ポイントを生成する過程、および
前記オリジナルポイントと前記合成ポイントを利用して距離学習に使用するためのハードネガティブペアをマイニングする過程
を処理する、コンピュータシステム。 - 前記合成ポイントを生成する過程は、
1つのオリジナルポイントに他の1つのオリジナルポイントを投影したポイントを利用した代数計算によって前記合成ポイントを生成すること
を特徴とする、請求項13に記載のコンピュータシステム。 - 前記合成ポイントを生成する過程は、
前記オリジナルポイントの対称情報、または前記オリジナルポイントの組み合わせによる拡張情報を利用して前記合成ポイントを生成すること
を特徴とする、請求項13に記載のコンピュータシステム。 - 前記合成ポイントを生成する過程は、
同一クラスの一対のオリジナルポイントが与えられると、オリジナルポイント間を線形補間によって分割し、分割地点に前記合成ポイントを生成することによって合成ポイント集合を生成すること
を特徴とする、請求項13に記載のコンピュータシステム。 - 前記ハードネガティブペアをマイニングする過程は、
前記オリジナルポイントと前記合成ポイントを利用して互いに異なる2つのクラス間の複数のネガティブペアを生成する過程、および
各ネガティブペアの類似性または距離に基づき、前記複数のネガティブペアのうちから最もハードなネガティブペアを選択して距離学習損失に使用する過程
を含む、請求項13に記載のコンピュータシステム。 - 前記ハードネガティブペアをマイニングする過程は、
トリプレット損失またはリフテッド構造損失に対して最小プーリングを使用してハードネガティブペアマイニングを実行すること
を特徴とする、請求項13に記載のコンピュータシステム。 - 前記ハードネガティブペアをマイニングする過程は、
Nペア損失または角度損失に対して最大プーリングを使用してハードネガティブペアマイニングを実行すること
を特徴とする、請求項13に記載のコンピュータシステム。 - 前記ハードネガティブペアをマイニングする過程は、
前記オリジナルポイントと前記合成ポイントを利用してMS損失(multi−simiarity loss)に対してハードネガティブペアマイニングを実行すること
を特徴とする、請求項13に記載のコンピュータシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190167101A KR102365450B1 (ko) | 2019-12-13 | 2019-12-13 | 심층 지표 학습 방법 및 시스템 |
KR10-2019-0167101 | 2019-12-13 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021096848A true JP2021096848A (ja) | 2021-06-24 |
JP7041239B2 JP7041239B2 (ja) | 2022-03-23 |
Family
ID=76432117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020204341A Active JP7041239B2 (ja) | 2019-12-13 | 2020-12-09 | 深層距離学習方法およびシステム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7041239B2 (ja) |
KR (1) | KR102365450B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114625923A (zh) * | 2022-03-18 | 2022-06-14 | 北京百度网讯科技有限公司 | 视频检索模型的训练方法、视频检索方法、装置以及设备 |
-
2019
- 2019-12-13 KR KR1020190167101A patent/KR102365450B1/ko active IP Right Grant
-
2020
- 2020-12-09 JP JP2020204341A patent/JP7041239B2/ja active Active
Non-Patent Citations (1)
Title |
---|
ZHENG, W. ET. AL.: "Hardness-Aware Deep Metric Learning", 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, JPN6021043536, June 2019 (2019-06-01), ISSN: 0004632033 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114625923A (zh) * | 2022-03-18 | 2022-06-14 | 北京百度网讯科技有限公司 | 视频检索模型的训练方法、视频检索方法、装置以及设备 |
CN114625923B (zh) * | 2022-03-18 | 2024-01-09 | 北京百度网讯科技有限公司 | 视频检索模型的训练方法、视频检索方法、装置以及设备 |
Also Published As
Publication number | Publication date |
---|---|
KR102365450B1 (ko) | 2022-02-21 |
KR20210075709A (ko) | 2021-06-23 |
JP7041239B2 (ja) | 2022-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11138520B2 (en) | Ranking and updating machine learning models based on data inputs at edge nodes | |
US11605019B2 (en) | Visually guided machine-learning language model | |
CN107346326B (zh) | 用于信息检索的方法和系统 | |
US20200380027A1 (en) | Multi-Modal Differential Search with Real-Time Focus Adaptation | |
JP2021517295A (ja) | レコメンダシステムのための高効率畳み込みネットワーク | |
WO2020068624A1 (en) | Sound categorization system | |
JP2013519138A (ja) | アイテム関連付けのための結合埋込 | |
JP2023526787A (ja) | データ・レコードを処理するための方法およびシステム | |
WO2022166115A1 (en) | Recommendation system with adaptive thresholds for neighborhood selection | |
CN114329029B (zh) | 对象检索方法、装置、设备及计算机存储介质 | |
JP7172612B2 (ja) | データ拡張プログラム、データ拡張方法およびデータ拡張装置 | |
CN112307048B (zh) | 语义匹配模型训练方法、匹配方法、装置、设备及存储介质 | |
CN110825854A (zh) | 响应推断方法和设备 | |
WO2021026034A1 (en) | Artificial intelligence job recommendation neural network machine learning training based on embedding technologies and actual and synthetic job transition latent information | |
JP6230987B2 (ja) | 言語モデル作成装置、言語モデル作成方法、プログラム、および記録媒体 | |
JP7041239B2 (ja) | 深層距離学習方法およびシステム | |
KR20200044644A (ko) | Cnn 기반 이미지 검색 방법 및 장치 | |
KR102371487B1 (ko) | 명목형 데이터를 포함하는 데이터를 기반으로 하는 학습 방법 및 장치 | |
US11620550B2 (en) | Automated data table discovery for automated machine learning | |
US11853858B2 (en) | Chart building user interface providing machine learned chart recommendations | |
CN114239858B (zh) | 一种用于分布式图模型的图学习方法及设备 | |
CN117009539A (zh) | 知识图谱的实体对齐方法、装置、设备及存储介质 | |
WO2022252596A1 (zh) | 构建ai集成模型的方法、ai集成模型的推理方法及装置 | |
JP7492088B2 (ja) | 重み付き知識移転装置、方法、及びシステム | |
CN114595787A (zh) | 推荐模型的训练方法、推荐方法、装置、介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201209 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210414 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210412 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220310 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7041239 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |