JP2023017759A - セマンティック増強に基づく画像識別モデルのトレーニング方法およびトレーニング装置 - Google Patents
セマンティック増強に基づく画像識別モデルのトレーニング方法およびトレーニング装置 Download PDFInfo
- Publication number
- JP2023017759A JP2023017759A JP2022143457A JP2022143457A JP2023017759A JP 2023017759 A JP2023017759 A JP 2023017759A JP 2022143457 A JP2022143457 A JP 2022143457A JP 2022143457 A JP2022143457 A JP 2022143457A JP 2023017759 A JP2023017759 A JP 2023017759A
- Authority
- JP
- Japan
- Prior art keywords
- image
- loss function
- training
- image identification
- identification model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims description 11
- 230000003190 augmentative effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 230000003416 augmentation Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 238000012512 characterization method Methods 0.000 claims 4
- 230000006870 function Effects 0.000 description 50
- 238000012545 processing Methods 0.000 description 15
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
【課題】画像識別モデルを効果的、かつ、低コストでトレーニングする方法及び装置、画像識別方法及び装置、電子デバイス並びにコンピューター可読記憶媒体を提供する。
【解決手段】セマンティック増強に基づく画像識別モデルのトレーニング方法は、標識がなく、かつ、テキストの説明がない入力された第1の画像から、第1の画像の第1の特徴表現を抽出する段階と、第1の特徴表現に基づいて、第1の損失関数を計算する段階と、標識がなくかつ元のテキストの説明を有する入力された第2の画像から、第2の画像の第2の特徴表現を抽出する段階と、第2の特徴表現に基づいて、第2の損失関数を計算する段階と、第1の損失関数と第2の損失関数との融合に基づいて、画像識別モデルをトレーニングする段階と、を含む。
【選択図】図2
【解決手段】セマンティック増強に基づく画像識別モデルのトレーニング方法は、標識がなく、かつ、テキストの説明がない入力された第1の画像から、第1の画像の第1の特徴表現を抽出する段階と、第1の特徴表現に基づいて、第1の損失関数を計算する段階と、標識がなくかつ元のテキストの説明を有する入力された第2の画像から、第2の画像の第2の特徴表現を抽出する段階と、第2の特徴表現に基づいて、第2の損失関数を計算する段階と、第1の損失関数と第2の損失関数との融合に基づいて、画像識別モデルをトレーニングする段階と、を含む。
【選択図】図2
Description
本開示の実施例は、主に人工知能の技術分野に関し、具体的には、コンピューター視覚および深層学習の技術分野に関し、画像処理、画像識別等のシナリオに適用されることができる。より具体的には、セマンティック増強に基づく画像識別モデルのトレーニング方法およびトレーニング装置、画像識別のための方法および装置、電子デバイスならびにコンピューター可読記憶媒体に関する。
近年、コンピューターソフトウェアやハードウェア技術の発達に伴い、人工知能や機械学習の分野も大きく進歩している。当該技術も、画像処理および画像識別等のアプリケーションシナリオで広く使用される。これに対して、核心的な問題は、関連するモデルをより効率的、正確、かつ低コストでトレーニングする方法である。
現在のトレーニング方法は、主に教師ありトレーニングおよび教師なしトレーニングを含む。具体的に視覚画像の分野において、教師ありトレーニングは、入力画像として標識データを有する多数の画像を必要とする。しかしながら、画像の標識プロセスには多くの人件費がかかり、標識付きのそのような画像を購入することは、非常に高価である。相対的に、教師なしトレーニングは、標識コストを節約できるが、セマンティッカ監視情報が不足しているため、トレーニングされたモデルは、実際のダウンストリームタスクを解決する際の(例えば、画像分類およびオブジェクト検出等である)パフォーマンスが悪い。
本開示による例示的な実施例は、セマンティック増強に基づく画像識別モデルのトレーニングスキームを提供する。
本開示の第1の態様は、セマンティック増強に基づく画像識別モデルのトレーニング方法を提供する。当該方法は、標識がなくかつテキストの説明がない入力された第1の画像から、第1の画像の第1の特徴表現を抽出する段階と、第1の特徴表現に基づいて、第1の損失関数を計算する段階と、標識がなくかつ元のテキストの説明を有する入力された第2の画像から、第2の画像の第2の特徴表現を抽出する段階と、第2の特徴表現に基づいて、第2の損失関数を計算する段階と、および第1の損失関数と第2の損失関数との融合に基づいて、画像識別モデルをトレーニングする段階とを含む。
本開示の第2の態様は、画像識別のための方法を提供する。当該方法は、被識別画像を取得する段階と、画像識別モデルに基づいて、被識別画像を識別する段階とを含み、ここで、画像識別モデルは、本開示の第1の態様のセマンティック増強に基づく画像識別モデルのトレーニング方法によって得られる。
本開示の第3の態様は、セマンティック増強に基づく画像識別モデルのトレーニング装置を提供する。当該装置は、標識がなくかつテキストの説明がない入力された第1の画像から、第1の画像の第1の特徴表現を抽出するように構成される第1の特徴抽出モジュールと、第1の特徴表現に基づいて、第1の損失関数を計算するように構成される第1の計算モジュールと、標識がなくかつ元のテキストの説明を有する入力された第2の画像から、第2の画像の第2の特徴表現を抽出する第2の特徴抽出モジュールと、第2の特徴表現に基づいて、第2の損失関数を計算する第2の計算モジュールと、および第1の損失関数と第2の損失関数との融合に基づいて、画像識別モデルをトレーニングするように構成される融合トレーニングモジュールとを含む。
本開示の第4の態様は、画像識別のための装置を提供する。当該装置は、被識別画像を取得するように構成される画像取得モジュールと、画像識別モデルに基づいて、被識別画像を識別するように構成される画像識別モジュールとを含み、ここで、画像識別モデルは、本開示の第3の態様のセマンティック増強に基づく画像識別モデルのトレーニング装置によって得られる。
本開示の第5の態様は、電子デバイスを提供する。当該電子デバイスは、一つまたは複数のプロセッサ、および一つまたは複数のプログラムを記憶するための記憶装置を含み、一つまたは複数のプログラムが一つまたは複数のプロセッサによって実行される場合、一つまたは複数のプロセッサは、本開示による第1の態様および第2の態様の方法を実装するようにする。
本開示の第6の態様は、コンピューター可読記憶媒体を提供する。当該コンピューター可読記憶媒体にコンピュータープログラムが記憶される場合、当該プログラムがプロセッサによって実行される場合、本開示による第1の態様および第2の態様の方法を実装する。
本発明の内容部分に記載される内容は、本開示の実施例の核心的なまたは重要な特徴を限定することを意図するものではなく、本開示の範囲を限定することを意図するものでもないことを理解されたい。本開示の他の特徴は、以下の説明によって容易に理解されるであろう。
添付の図面と併せかつ以下の詳細な説明を参照すると、本開示の各実施例の上記および他の特徴、利点および態様は、より明らかになるであろう。図面において、同じまたは類似な参照番号は、同じまたは類似な要素を指す。
本開示の複数の実施例を実装することができるセマンティック増強に基づく画像識別モデルのトレーニングのシステムの模式図を示す。
本開示の複数の実施例を実装することができるセマンティック増強に基づく画像識別モデルのトレーニング方法のフローチャートを示す。
本開示のいくつかの実施例によるセマンティック増強に基づく画像識別モデルのトレーニングのアーキテクチャを示す。
本開示のいくつかの実施例による画像識別のための方法のフローチャートを示す。
本開示のいくつかの実施例によるセマンティック増強に基づく画像識別モデルのトレーニング装置のブロック図を示す。
本開示のいくつかの実施例による画像識別のための装置のブロック図を示す。
本開示の複数の実施例を実施することができるコンピューティングデバイスのブロック図を示す。
以下、添付の図面を参照して、本開示の実施例をより詳細に説明する。添付の図面には本開示の特定の実施例が示されているが、本開示は、様々な形態で実装することができ、本明細書に記載の実施例に限定されると解釈されるべきではなく、むしろこれらの実施例は、本開示をより明確かつ完全に理解するために提供されることを理解されたい。本開示の図面および実施例は、例示的な目的のみを目的としており、本開示の保護範囲を制限することを意図するものではないことを理解されたい。
本開示の実施例の説明において、「含む」という用語およびその類似な用語は、開放型包含、即ち「含むがこれらに限定されない」と理解されるべきである。「に基づく」という用語は、「少なくとも部分的に基づく」と理解されるべきである。「一実施例」または「当該実施例」という用語は、「少なくとも一つの実施例」と理解されるべきである。「第1の」および「第2の」等の用語は、異なるまたは同じオブジェクトを指すことができる。以下の明細書は、他の明示的および暗黙的な定義をさらに含むことができる。
画像に基づくモデルトレーニングにおいて、実行可能なスキームは、標識情報を有するサンプル画像の教師ありトレーニング方法を使用することであり、それは、多数の画像の特徴表現を抽出および要約し、特徴表現と標識情報との間の関連付けを構築する。しかしながら、教師ありトレーニング方法は、多数の標識データに依存され、画像標識には、多数の時間がかかり、これらのデータは、効果でありかつ容易に得られることはできない。
別の実行可能なスキームは、標識がないサンプル画像を使用する教師なしトレーニング方法であり、それは、より低い標識コストで比較的満足のいく結果を得ることができる。例えば、対照学習に基づく自己監視型トレーニングにおいて、標識がないサンプル画像の簡単な増強によって増強画像ペアを生成し、増強画像ペアに対する比較および要約によってトレーニングする。しかし、このようにトレーニングして得られた特徴表現は、関連するセマンティッカ情報が不足しているため、画像分類の処理またはオブジェクトの検出等のタスクの効果が良くない。
先行技術における一つまたは複数の技術的問題を解決するために、本開示による例示的な実施例は、セマンティック増強に基づく画像識別モデルのトレーニングスキームを提案する。具体的には、標識がなくかつテキストの説明がない入力された第1の画像から、第1の画像の第1の特徴表現を抽出して、第1の損失関数を計算し、また標識がなくかつ元のテキストの説明を有する入力された第2の画像から、第2の画像の第2の特徴表現を抽出して、第2の損失関数を計算することにより、第1の損失関数と第2の損失関数との融合に基づいて、画像識別モデルをトレーニングする。
本開示による実施例は、標識がないサンプル画像およびテキストの説明を有するサンプル画像を同時に使用してトレーニングモデルすることにより、標識がないサンプル画像のみを使用してトレーニングする方法と比較して、セマンティック増強を達成する。このような方法を通じて、標識がない画像と対応するテキストの説明とが相互に関連付けられることにより、セマンティッカ情報を有する特徴表現を得る。セマンティッカ情報を有するこのような特徴表現は、ダウンストリームタスクを処理する時に(例えば、画像分類またはオブジェクト検出等)より優れた効果を有する。同時に、画像に対して標識がある必要性が減り、これにより標識データのコストが高く、標識データの取得が難しい問題が克服される。
以下、添付の図面を参照して、本開示の実施例を具体的に説明する。
図1は、本開示の複数の実施例を実装することができるセマンティック増強に基づく画像識別モデルのトレーニングシステム100の模式図を示す。システム100において、コンピューティングデバイス110は、多数の画像を使用して画像識別モデル140をトレーニングして,トレーニングされた画像識別モデルを得るように構成される。画像識別モデル140は、例えば、画像を分類したり、オブジェクトを検出したりするように構築されることができる。本開示において、トレーニングに使用される画像は、二つのタイプ、即ち、標識がない画像およびテキストの説明を有する画像を含む。以下の説明の便宜上、標識がない画像は、第1の画像120と呼ばれ、テキストの説明を有する画像は、第2の画像130と呼ばれる。
コンピューティングデバイス110は、画像識別を実装するために適切なソフトウェアおよびハードウェアで構成されることができる。コンピューティングデバイス110は、任意のタイプのサーバーデバイス、モバイルデバイス、固定デバイスまたはポータブルデバイスであり得、サーバー、メインフレーム、計算ノード、エッジノード、携帯電話、インターネットノード、コミュニケーター、デスクトップ、ラップトップ、ノートブック、ネットブック、タブレットコンピューター、パーソナル通信システム(PCS)デバイス、マルチメディアコンピューター、マルチメディアタブレットまたはそれらの任意の組み合わせを含み、これらのデバイスの部品および周辺機器またはその任意の組み合わせを含む。
異なる画像120、130は、異なるオブジェクトを含むことができる。本明細書において、「オブジェクト」とは、任意のヒトまたは物を指すことができる。例えば、示される模式図において、第1の画像120は、歩行者122および自動車124を含み、第2の画像130は、歩行者132、自動車134および関連するテキストの説明136を含む。本明細書において、「テキストの説明」は、単語または複数の単語の組み合わせであってもよく、一つの文または複数の文であってもよい。さらに、「テキストの説明」は、言語によって制限されず、例えば、中国語や英語等であってもよく、文字または記号を含むこともできる。
画像識別モデル140は、機械学習アルゴリズムに基づいて構築することができ、例えば、一つまたは複数のタイプのニューラルネットワークまたは他の深層学習ネットワークを含むように構築されることができる。画像識別モデル140の具体的な構成および採用された機械学習アルゴリズムは、本開示において制限されない。画像識別の能力を取得するために、トレーニング画像120、130を使用してトレーニングプロセスを実行して、画像識別モデル140のパラメーターセットの値を決定する必要がある。パラメーターセットの値が決定された後の画像識別モデル140は、トレーニングされた画像識別モデル140と呼ばれる。
トレーニングして得られた画像識別モデル140の性能は、トレーニングデータセットに大きく依存する。トレーニングデータが変化可能な様々な証券をカバーする場合、トレーニングする時に画像識別モデルは、これらの条件下で特徴表現を抽出する能力を学習する可能性が高く、パラメーターセットの値がより正確になる。従って、本開示において、トレーニング効果およびサンプル取得コストのバランスをとるために、標識がない画像およびテキストの説明を有する画像を同時に使用することは、モデルのトレーニングに有利する。
図2は、本開示のいくつかの実施例によるセマンティック増強に基づく画像識別モデルのトレーニング方法200のフローチャートを示す。トレーニング方法200は、図1におけるコンピューティングデバイス110によって実装することができる。
ブロック202において、コンピューティングデバイス110は、標識がなくかつテキストの説明がない入力された第1の画像から、第1の画像の第1の特徴表現を抽出する。当該第1の特徴表現は、例えば、画像120に含まれる歩行者122および自動車124であってもよい。しかし、画像120は標識がないため、歩行者122および自動車124は、対応するテキストの説明を有さない。
いくつかの実施例において、第1の画像の第1の特徴表現を抽出することは、まず画像増強によって第1の画像の増強画像ペアを生成し、次に増強画像ペアからそれぞれ特徴表現を抽出することができる。本明細書において、「増強画像ペア」とは、一つの元の画像に基づいて異なる増強方法で生成された二つの増強後の画像を指す。増強方法は、例えば、画像のグレースケール、明るさ、コントラスト等の属性に対する処理および平滑化を含み、それによって画像の鮮明度を向上する。
ブロック204において、コンピューティングデバイス110は、抽出された第1の特徴表現に基づいて、第1の損失関数を計算する。
いくつかの実施例において、第1の損失関数を計算することは、増強画像ペアから抽出された特徴表現に基づいて、第1の損失関数を計算することができる。
ブロック206において、コンピューティングデバイス110は、標識がなくかつ元のテキストの説明を有する入力された第2の画像から、第2の画像の第2の特徴表現を抽出する。標識がなくかつ元のテキストの説明を有するこのような画像は、例えば、データマイニングによって取得できるため、手動で標識を付する必要はない。例えば、第2の特徴表現は、画像130における歩行者132および自動車134であってもよく、元のテキストの説明は、図130に対応する説明136、即ち、「歩行者が道路脇に駐車された自動車を通る」ことであってもよい。
ブロック208において、コンピューティングデバイス110は、抽出された第2の特徴表現に基づいて、第2の損失関数を計算する。
いくつかの実施例において、第2の損失関数を計算することは、まず第2の画像の第2の特徴表現から予測テキストの説明を生成し、次に予測テキストの説明および元のテキストの説明に基づいて、第2の損失関数を計算することができる。例えば、画像-言語翻訳機を使用して予測テキストの説明を取得することができる。図1に示される場合、このような「予測テキストの説明」は、「人」、「歩行者」、「通行人」、「車両」、「自動車」、「自動車両」等の単語またはそれらの組み合わせであってもよく、「人および自動車」、「人が自動車の横にいる」、「人が自動車を通る」等のフレーズであってもよく、「歩行している人および止められた自動車」等の修飾子を有する記述であってもよい。例えば、様々なアルゴリズムに基づいて、予測テキストの説明と元のテキストの説明との間の類似性を評価して、第2の損失関数を計算することができる。
ブロック210において、コンピューティングデバイス110は、第1の損失関数と第2の損失関数との融合に基づいて、画像識別モデルをトレーニングする。「融合」は、例えば、二つの関数の線形結合であり得る。
いくつかの実施例において、第1の損失関数と第2の損失関数との融合は、特定の重みで第1の損失関数および第2の損失関数を積み重ねる。二つの損失関数の重みは、同じでも異なってもいてもよい。
図3は、本開示の複数の実施例を実装することができるセマンティック増強に基づく画像識別モデルをトレーニングするためのアーキテクチャ300を示す。アーキテクチャ300は、標識がない画像に基づく自己監視型トレーニングブランチおよびテキストの説明を有する画像に基づく言語監視型トレーニングブランチを含む。本開示の実施例において、自己監視型トレーニングと言語監視型トレーニングとの二つのブランチの融合により、異種視覚トレーニングを実装し、最終的に高レベルのセマンティッカ情報を有する視覚的特徴表現を取得することができる。
図3の左側の自己監視型トレーニングブランチにおいて、入力されたのは、多数の標識がない画像310で構成されたデータセットである。データセット中の画像ごとに、画像増強によって二つの幅増強画像320、322を生成する。次に、増強画像320、322は、特徴抽出器に入力されて、それぞれ抽出して視覚的特徴表現330、332を取得する。複数の標識がない画像310中の同じ標識がない画像からの特徴表現は、一対の正のサンプルとして定義され、複数の標識がない画像310中の異なる標識がない画像からの特徴表現は、一対の負のサンプルとして定義される。
いくつかの実施例において、特徴抽出部分は、畳み込みニューラルネットワーク(CNN)に基づくモデルを利用して、画像の特徴抽出を実装する。CNNに基づくモデルにおいて、隠れ層は、通常入力に対して畳み込み操作を実行する一つまたは複数の畳み込み層を含む。畳み込み層に加えて、CNNに基づくモデル中の隠れ層は、励起関数を使用して入力に対して非線形マッピングを実行する一つまたは複数の励起層を含むこともできる。一般的に使用される励起関数は、例えば、修正線形ユニット(ReLu)、tanh関数等を含む。いくつかのモデルにおいて、一つまたは複数の畳み込み層の後に一つの励起層が接続される可能性がある。さらに、CNNに基づくモデル中の隠れ層は、データおよびパラメーターの量を圧縮して過剰適合を減少させるためのプーリング(pooling)層を含むこともできる。プーリング層は、最大プーリング(max pooling)層、平均プーリング(average pooling)層等を含むことができる。プーリング層は、連続する畳み込み層の中間に接続されることができる。さらに、CNNに基づくモデルは、完全接続層を含むことができ、完全接続層は、通常、出力層の上流に設置される。
CNNに基づくモデルは、深層学習の分野でよく知られている技術であり、ここでは繰り返さない。異なるモデルにおいて、畳み込み層、励起層および/またはプーリング層のそれぞれの数、各層の処理ユニットの数および構成、ならびに各層の間の相互接続関係は、異なる変化を有することができる。いくつかの例において、ResNet-50、inception_v3、GoogleNet等のCNN構造を利用して、画像の特徴抽出を実装することができる。もちろん、現在使用されているまたは将来開発される様々なCNN構造は、画像の特徴表現を抽出するために使用されることができることを理解されたい。本開示の実施例の範囲は、この態様に関しては制限されない。
いくつかの実施例において、画像識別モデルは、リカレントニューラルネットワーク(RNN)に基づくモデルを使用して実装することができる。RNNに基づくモデルにおいて、隠れ層の出力は、入力に関連するだけでなく、隠れ層の前の瞬間の出力にも関連する。RNNに基づくモデルは、記憶機能を有して、モデルの前(前のモーメント)の出力を記憶し、フィードバックを実行して現在の入力とともに現在のモーメントの出力を生成できる。隠れ層の中間出力は、中間状態または中間処理結果と呼ばれることもある。従って、隠れ層の最終出力は、現在の入力と過去の記憶との合計の処理結果と見なすことができる。RNNに基づくモデルが使用できる処理ユニットは、例えば、長短期記憶(LSTM)ユニット、ゲート付き回帰ユニット(GRU)等を含む。RNNに基づくモデルは、深層学習の分野でよく知られている技術であり、ここでは繰り返さない。選択されたリカレントアルゴリズムの異なりに応じて、RNNに基づくモデルは、異なる変形を有することができる。現在使用されているか、または将来開発される様々なRNN構造は、いずれも本開示の実施例に使用されることができることを理解されたい。
複数の標識がない画像310の正および負のサンプルペアに基づいて、自己監視型トレーニングブランチの第1の損失関数(対照損失関数とも呼ばれる)を計算することができる。例えば、InfoNCEを対照損失関数として使用することができる。
ここで、I[k≠i]は、評価インデックス関数を示し、kがiに等しくない場合は、1であり、かつkがiに等しい場合は、0であり、Kは、トレーニングデータセット中の標識がない画像の総数を表し、Ii
1およびIi
2は、トレーニングデータセット中の標識がない任意の画像Iiに対して画像増強を実行することによって二つの増強画像を取得することを表し、fi
1およびfi
2は、Ii
1およびIi
2からそれぞれ抽出された特徴表現を表し、一対の正のサンプルとして定義され、Ik
1およびIk
2は、トレーニングデータセット中の標識がない別の画像Ikに対して画像増強を実行することによって二つの増強画像を取得することを表し、fk
1およびfk
2は、Ik
1およびIk
2からそれぞれ抽出された特徴表現を表し、異なる画像からの特徴表現fi
xおよびfk
yは、一対の負のサンプルとして定義され、τは、温度パラメーターを表し、τが減少する場合、元の差が増幅され、差がより鮮明にかつ明白になる。
図3の右側の言語監視型トレーニングブランチにおいて、入力されたのは、元のテキストの説明を有する多数の画像312で構成されたデータセットであり、それは、画像部分324およびテキストの説明部分326を含む。画像312中のテキストの説明は、手動で標識を付する必要がなく、データマイニングを介してネットワーク中から取得することができる。このようなテキストの説明は、画像に関連するより豊富なセマンティッカ情報を提供することができ、画像のクラスラベルおよびバウンディングボックスの標識よりも簡単に収集することができる。特徴抽出器は、画像312の画像部分324から抽出して特徴表現334を取得する。
次に、当該特徴表現334は、画像-言語翻訳機に入力されることにより、予測テキストの説明340を取得する。具体的には、翻訳機は、注意力に基づくメカニズムを利用して、各時間段階で空間的に重み付けされたコンテキストベクトルを集約することができ、RNNデコーダーを利用して、各空間位置での前のデコーダーの状態と視覚的特徴との間の注意力の重みを計算する。重み付けされた2D特徴を合計して、最新のコンテキストベクトルを取得し、最新のデコーダー状態および予測単語を生成する。
例えば、ResNet-50をモデル構造として使用する場合、各段階でのsoft-maxによって予測単語の確率を出力する。図3に示されるように、視覚的特徴表現334giを入力として使用し、注意力に基づくメカニズムを利用して、空間的特徴を単語シーケンスy={yt}t=1Tに変換するために使用され、ここで、ytおよびTは、それぞれ埋め込み単語および文yの長さである。時間段階tでのデコードプロセスにおいて、注意力メカニズムおよびRNNデコーダーを利用して隠れ状態htを更新し、yt-1を入力として指定して、単語ytを予測する。次に完全接続層およびsoft-max損失関数を使用して、出力ytの確率を計算する。画像から言語への翻訳のための第2の損失関数(監視損失関数Lsとも呼ばれる)は、次のように定義することができる。
ここで、ctは、注意力メカニズムによって計算される時間段階tでのコンテキストベクトルを表し、giは、画像212の画像部分224から抽出された視覚的特徴表現を表し、ytは、埋め込み単語の長さを表し、Tは、文yの長さを表し、htは、時間段階tでのデコードプロセス中の隠れ状態を表し、ここで、入力としてyt-1が与えられる場合、画像部分224に関連する単語ytが予測される。
最後に、エンドツーエンドの方法で二つのブランチをトレーニングするために、本開示の実施例は、二つのトレーニングブランチの損失関数を融合し、例えば、視覚トレーニングブロックフレームワーク全体の最終損失関数は、次のように定義されることができる。
ここで、αは、自己監視型トレーニングブランチの対照損失LCおよび言語監視型トレーニングブランチの監視損失Lsを融合するためのパラメーターを表す。
本開示の実施例は、標識がない画像およびテキストの説明を有する画像を同時に使用してトレーニングして、セマンティッカ情報を有する特徴表現を取得することにより、標識がない画像のみを使用してトレーニングする方法と比較して、セマンティック増強を達成する。トレーニング画像のタイプが多様であるため、トレーニングされた画像識別モデルのロバストネスがより高く、性能がより良い。このようなモデルは、特徴表現を具体的なセマンティッカ情報と相関させることにより、様々なシナリオでの画像処理タスクをより正確に実行することができる。
本開示のモデルアーキテクチャを説明するために使用される上記の式およびモデルのタイプは、すべて例示的なものであり、損失関数の定義にも、他の変形が存在することができ、本開示の実施例の範囲は、この態様で制限されないことを理解されたい。
図4は、本開示のいくつかの実施例による画像識別のための方法400のフローチャートを示す。方法400は、図1におけるコンピューティングデバイス110によって実装される。
ブロック402において、コンピューティングデバイス110は、被識別画像を取得する。ブロック404において、コンピューティングデバイス110は、画像識別モデルに基づいて、被識別画像を識別し、ここで、画像識別モデルは、トレーニング方法200に基づいて取得される。
図5は、本開示のいくつかの実施例によるセマンティック増強に基づく画像識別モデルのトレーニング装置500のブロック図を示す。トレーニング装置500は、図1のコンピューティングデバイス110に含まれるか、またはコンピューティングデバイス110として実装されることができる。
図5に示されるように、トレーニング装置500は、標識がなくかつテキストの説明がない入力された第1の画像から、第1の画像の第1の特徴表現を抽出するように構成される、第1の特徴抽出モジュール502を含む。トレーニング装置500は、第1の特徴表現に基づいて、第1の損失関数を計算するように構成される、第1の計算モジュール504をさらに含む。トレーニング装置500は、標識がなくかつ元のテキストの説明を有する入力された第2の画像から、第2の画像の第2の特徴表現を抽出するように構成される、第2の特徴抽出モジュール506をさらに含む。トレーニング装置500は、第2の特徴表現に基づいて、第2の損失関数を計算するように構成される、第2の計算モジュール508をさらに含む。トレーニング装置500は、第1の損失関数と第2の損失関数との融合に基づいて、画像識別モデルをトレーニングするように構成される、融合トレーニングモジュール510をさらに含む。
いくつかの実施例において、融合トレーニングモジュールは、特定の重みで第1の損失関数および第2の損失関数に対して積み重ねるように構成されることもできる。
いくつかの実施例において、第1の特徴抽出モジュールは、画像増強により第1の画像の増強画像ペアを生成し、増強画像ペアからそれぞれ特徴表現を抽出するように構成されることもできる。
いくつかの実施例において、第1の計算モジュールは、増強画像ペアから抽出された特徴表現に基づいて、第1の損失関数を計算するように構成されることもできる。
いくつかの実施例において、第2の計算モジュールは、第2の画像の第2の特徴表現から予測テキストの説明を生成し、予測テキストの説明および元のテキストの説明に基づいて、第2の損失関数を計算するように構成されることもできる。
図6は、本開示のいくつかの実施例による画像識別のための装置600のブロック図を示す。装置600は、図1のコンピューティングデバイス110に含まれるか、またはコンピューティングデバイス110として実装されることができる。
図6に示されるように、装置600は、被識別画像を取得するように構成される、画像取得モジュール602を含む。装置600は、画像識別モデルに基づいて、被識別画像を識別するように構成される、画像識別モジュール604をさらに含み、ここで、画像識別モデルは、トレーニング装置500に基づいて取得される。
図7は、本開示の実施例を実施するために使用されることができる例示的なデバイス700の例示的なブロック図を示す。デバイス700は、図1のコンピューティングデバイス110を実装するために使用されることができる。図面に示されるように、デバイス700は、コンピューティングユニット701を含み、それは、読み取り専用メモリ(ROM)702に記憶されるか、または記憶ユニット708からランダムアクセスメモリ(RAM)703にロードされるコンピュータープログラム命令に従って、様々な適切な行為および処理を実行することができる。RAM703において、デバイス700の操作に必要な様々なプログラムおよびデータをさらに記憶することができる。コンピューティングユニット701、ROM702およびRAM703は、バス704を介して互いに接続される。入力/出力(I/O)インターフェース705も、バス704に接続される。
デバイス700の複数の部品がI/Oインターフェース705に接続され、例えば、キーボード、マウス等の入力ユニット706、様々なタイプのディスプレイ、スピーカー等の出力ユニット707、磁気ディスク、光ディスク等の記憶ユニット708、ならびにネットワークカード、モデム、無線通信トランシーバ等の通信ユニット709を含む。通信ユニット709は、デバイス700が、インターネットのコンピューターネットワークおよび/または様々な電気通信ネットワーク等の他のデバイスを介して情報/データを交換することを可能にする。
コンピューティングユニット701は、処理およびコンピューティング能力を有する様々な汎用および/または専用処理コンポーネントであり得る。コンピューティングユニット701のいくつかの例は、中央処理装置(CPU)、グラフィックス処理装置(GPU)、様々な専用人工知能(AI)コンピューティングチップ、機械学習モデルアルゴリズムを実行する様々なコンピューティングユニット、デジタルシグナルプロセッサ(DSP)、ならびに任意な適切なプロセッサ、コントローラ、マイクロコントローラ等を含むがこれらに限定されない。コンピューティングユニット701は、上記で説明された様々な方法および処理、例えば、方法500を実行する。例えば、いくつかの実施例において、方法500は、記憶ユニット708等の機械可読媒体上に具体的に含まれるコンピューターソフトウェアプログラムとして実装されることができる。いくつかの実施例において、コンピュータープログラムの一部または全部は、ROM702および/または通信ユニット709を介して、デバイス700にロードおよび/またはインストールされることができる。コンピュータープログラムがRAM703にロードされかつコンピューティングユニット701によって実行される場合、上記で説明された方法500の一つまたは複数の段階を実行することができる。選択可能に、他の実施例において、コンピューティングユニット701は、他の任意の適切な方法で(例えば、ファームウェアによって)方法500を実行するように構成されることができる。
本明細書において、上記で説明された機能は、少なくとも部分的に、一つまたは複数のハードウェア論理部品によって実行されることができる。例えば、非限定的には、使用できる例示的なタイプのハードウェアロジック部品は、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップシステム(SOC)、コンプレックスプログラマブルロジックデバイス(CPLD)等を含む。
本開示の方法を実施するためのプログラムコードは、一つまたは複数のプログラミング言語の任意の組み合わせでコードすることができる。これらのプログラムコードは、汎用コンピューター、専用コンピューターまたは他のプログラム可能なデータ処理装置のプロセッサまたはコントローラに提供して、プロセッサまたはコントローラによって実行される際に、プログラムコードがフローチャートおよび/またはブロック図に規定された機能/操作を実行させる。プログラムコードは、完全に機器で、一部の機器で、独立したソフトウェアパッケージとしての一部の機器で、部分的にリモート機器で、または完全にリモート機器で、またはサーバーで実行されることができる。
本開示のコンテキストにおいて、機械可読媒体は、有形媒体であってもよく、それは、命令実行システム、装置、デバイスによって使用されるか、または命令実行システム、装置、デバイスに結合して使用されるためのプログラムを含むかまたは記憶することができる。機械可読媒体は、機器可読信号媒体または機械可読記憶媒体であり得る。機械可読媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、または半導体システム、装置またはデバイス、または上記の内容の任意の組み合わせを含むことができるがこれらに限定されない。機械可読記憶媒体のより具体的な例としては、一つまたは複数のワイヤに基づく電気的接続、ポータブルコンピューターディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラム可能読み取り専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光ストレージデバイス、磁気ストレージデバイス、または上記の内容の任意の組み合わせを含むことができる。
さらに、特定の順序で操作を示したが、これは、そのような操作が示される特定の順序または連続した順序で実行されること、あるいは望ましい結果を達成するためにすべての示される操作が実行されるべきであることを要求することを理解されるべきである。一定の環境下で、マルチタスクおよび並列処理は、有利な場合がある。同様に、上記の議論は、いくつかの実装固有の詳細を含むが、これらは、本開示の範囲に対する制限として解釈されるべきでない。別個の実施例のコンテキストで説明された特定の特徴は、単一の実装で組み合わせて実装することができる。逆に、単一の実装のコンテキストで説明された様々な特徴は、複数の実装で、別個にまたは任意の適切なサブ組み合わせで実装することもできる。
構造的特徴および/または方法の論理的行為に固有の言語で主題を説明したが、添付の特許請求の範囲で定義される主題は、必ずしも上記の特定の特徴または行為に限定されないことを理解されたい。むしろ、上記で説明された特定の特徴および行為は、特許請求を実施するための単なる例示的な形態である。
Claims (15)
- セマンティック増強に基づく画像識別モデルのトレーニング方法であって、
標識がなくかつテキストの説明がない入力された第1の画像から、前記第1の画像の第1の特徴表現を抽出する段階と、
前記第1の特徴表現に基づいて、第1の損失関数を計算する段階と、
標識がなくかつ元のテキストの説明を有する入力された第2の画像から、前記第2の画像の第2の特徴表現を抽出する段階と、
前記第2の特徴表現に基づいて、第2の損失関数を計算する段階と、
前記第1の損失関数と前記第2の損失関数との融合に基づいて、画像識別モデルをトレーニングする段階と
を含んでなることを特徴とする、セマンティック増強に基づく画像識別モデルのトレーニング方法。 - 前記第1の損失関数と前記第2の損失関数との融合は、特定の重みで前記第1の損失関数および前記第2の損失関数に対して積み重ねることを含むことを特徴とする、請求項1に記載のセマンティック増強に基づく画像識別モデルのトレーニング方法。
- 前記第1の画像の第1の特徴表現を抽出する段階は、
画像増強によって前記第1の画像の増強画像ペアを生成する段階と、
前記増強画像ペアからそれぞれ特徴表現を抽出する段階と
を含むことを特徴とする、請求項1に記載のセマンティック増強に基づく画像識別モデルのトレーニング方法。 - 第1の損失関数を計算する段階は、
前記増強画像ペアから抽出された特徴表現に基づいて、前記第1の損失関数を計算する段階を含むことを特徴とする、請求項3に記載のセマンティック増強に基づく画像識別モデルのトレーニング方法。 - 第2の損失関数を計算する段階は、
前記第2の画像の第2の特徴表現から予測テキストの説明を生成する段階と、
前記予測テキストの説明および前記元のテキストの説明に基づいて、前記第2の損失関数を計算する段階と
を含むことを特徴とする、請求項1に記載のセマンティック増強に基づく画像識別モデルのトレーニング方法。 - 画像識別のための方法であって、
被識別画像を取得する段階と、
画像識別モデルに基づいて、前記被識別画像を識別する段階と
を含み、
ここで、前記画像識別モデルは、請求項1~5のいずれか一項に記載のセマンティック増強に基づく画像識別モデルのトレーニング方法に基づいて得られることを特徴とする、画像識別のための方法。 - セマンティック増強に基づく画像識別モデルのトレーニング装置であって、
標識がなくかつテキストの説明がない入力された第1の画像から、前記第1の画像の第1の特徴表現を抽出するように構成される第1の特徴抽出モジュールと、
前記第1の特徴表現に基づいて、第1の損失関数を計算するように構成される第1の計算モジュールと、
標識がなくかつ元のテキストの説明を有する入力された第2の画像から、前記第2の画像の第2の特徴表現を抽出するように構成される第2の特徴抽出モジュールと、
前記第2の特徴表現に基づいて、第2の損失関数を計算するように構成される第2の計算モジュールと、
前記第1の損失関数と前記第2の損失関数との融合に基づいて、画像識別モデルをトレーニングするように構成される融合トレーニングモジュールと
を含んでなることを特徴とする、セマンティック増強に基づく画像識別モデルのトレーニング装置。 - 前記融合トレーニングモジュールは、
特定の重みで前記第1の損失関数および前記第2の損失関数に対して積み重ねるようにさらに構成されることを特徴とする、請求項7に記載のセマンティック増強に基づく画像識別モデルのトレーニング装置。 - 前記第1の特徴抽出モジュールは、
画像増強によって前記第1の画像の増強画像ペアを生成し、
前記増強画像ペアからそれぞれ特徴表現を抽出する
ようにさらに構成されることを特徴とする、請求項7に記載のセマンティック増強に基づく画像識別モデルのトレーニング装置。 - 前記第1の計算モジュールは、
前記増強画像ペアから抽出された特徴表現に基づいて、前記第1の損失関数を計算するようにさらに構成されることを特徴とする、請求項9に記載のセマンティック増強に基づく画像識別モデルのトレーニング装置。 - 前記第2の計算モジュールは、
前記第2の画像の第2の特徴表現から予測テキストの説明を生成し、
前記予測テキストの説明および前記元のテキストの説明に基づいて、前記第2の損失関数を計算する
ようにさらに構成されることを特徴とする、請求項7に記載のセマンティック増強に基づく画像識別モデルのトレーニング装置。 - 画像識別のための装置であって、
被識別画像を取得するように構成される画像取得モジュールと、
画像識別モデルに基づいて、前記被識別画像を識別するように構成される画像識別モジュールと
を含んでなり、
ここで、前記画像識別モデルは、請求項7~11のいずれか一項に記載のセマンティック増強に基づく画像識別モデルのトレーニング装置に基づいて得られることを特徴とする、画像識別のための装置。 - 電子デバイスであって、
前記デバイスは、
一つまたは複数のプロセッサと、
一つまたは複数のプログラムを記憶するための記憶装置とを含み、前記一つまたは複数のプログラムが前記一つまたは複数のプロセッサによって実行される場合、前記一つまたは複数のプロセッサは、請求項1~6のいずれか一項に記載の方法を実装するものであることを特徴とする、前記電子デバイス。 - コンピューター可読記憶媒体であって、
コンピュータープログラムが記憶され、前記コンピュータープログラムがプロセッサによって実行される場合、請求項1~6のいずれか一項に記載の方法を実装することを特徴とする、コンピューター可読記憶媒体。 - コンピュータープログラムであって、
前記コンピュータープログラムがプロセッサによって実行されると、請求項1~6のいずれか一項に記載の方法を実現させるコンピュータープログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111306870.8 | 2021-11-05 | ||
CN202111306870.8A CN114120074B (zh) | 2021-11-05 | 2021-11-05 | 基于语义增强的图像识别模型的训练方法和训练装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023017759A true JP2023017759A (ja) | 2023-02-07 |
Family
ID=80380888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022143457A Pending JP2023017759A (ja) | 2021-11-05 | 2022-09-09 | セマンティック増強に基づく画像識別モデルのトレーニング方法およびトレーニング装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220392205A1 (ja) |
EP (1) | EP4071729A3 (ja) |
JP (1) | JP2023017759A (ja) |
CN (1) | CN114120074B (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114693995B (zh) * | 2022-04-14 | 2023-07-07 | 北京百度网讯科技有限公司 | 应用于图像处理的模型训练方法、图像处理方法和设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3557476B1 (en) * | 2018-04-17 | 2023-08-09 | Continental Autonomous Mobility Germany GmbH | Device for determining a caption for an unknown traffic sign |
CN108647350A (zh) * | 2018-05-16 | 2018-10-12 | 中国人民解放军陆军工程大学 | 一种基于双通道网络的图文关联检索方法 |
US11257493B2 (en) * | 2019-07-11 | 2022-02-22 | Soundhound, Inc. | Vision-assisted speech processing |
CN110647904B (zh) * | 2019-08-01 | 2022-09-23 | 中国科学院信息工程研究所 | 一种基于无标记数据迁移的跨模态检索方法及系统 |
CN111783870B (zh) * | 2020-06-29 | 2023-09-01 | 北京百度网讯科技有限公司 | 人体属性的识别方法、装置、设备及存储介质 |
CN112633276A (zh) * | 2020-12-25 | 2021-04-09 | 北京百度网讯科技有限公司 | 训练方法、识别方法、装置、设备、介质 |
CN113033566B (zh) * | 2021-03-19 | 2022-07-08 | 北京百度网讯科技有限公司 | 模型训练方法、识别方法、设备、存储介质及程序产品 |
CN113378833B (zh) * | 2021-06-25 | 2023-09-01 | 北京百度网讯科技有限公司 | 图像识别模型训练方法、图像识别方法、装置及电子设备 |
-
2021
- 2021-11-05 CN CN202111306870.8A patent/CN114120074B/zh active Active
-
2022
- 2022-08-19 EP EP22191209.0A patent/EP4071729A3/en active Pending
- 2022-08-22 US US17/892,669 patent/US20220392205A1/en not_active Abandoned
- 2022-09-09 JP JP2022143457A patent/JP2023017759A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4071729A3 (en) | 2023-03-15 |
CN114120074A (zh) | 2022-03-01 |
CN114120074B (zh) | 2023-12-12 |
EP4071729A2 (en) | 2022-10-12 |
US20220392205A1 (en) | 2022-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107977361B (zh) | 基于深度语义信息表示的中文临床医疗实体识别方法 | |
CN110135427B (zh) | 用于识别图像中的字符的方法、装置、设备和介质 | |
CN110188202B (zh) | 语义关系识别模型的训练方法、装置及终端 | |
CN108959482B (zh) | 基于深度学习的单轮对话数据分类方法、装置和电子设备 | |
CN114511906A (zh) | 基于跨模态动态卷积的视频多模态情感识别方法、装置及计算机设备 | |
CN113326380B (zh) | 基于深度神经网络的设备量测数据处理方法、系统及终端 | |
CN113344206A (zh) | 融合通道与关系特征学习的知识蒸馏方法、装置及设备 | |
CN114021582B (zh) | 结合语音信息的口语理解方法、装置、设备及存储介质 | |
CN116561592B (zh) | 文本情感识别模型的训练方法和文本情感识别方法及装置 | |
CN115114407B (zh) | 意图识别方法、装置、计算机设备及存储介质 | |
CN113836992A (zh) | 识别标签的方法、训练标签识别模型的方法、装置及设备 | |
CN115130591A (zh) | 一种基于交叉监督的多模态数据分类方法及装置 | |
JP2023017759A (ja) | セマンティック増強に基づく画像識別モデルのトレーニング方法およびトレーニング装置 | |
Belharbi et al. | Deep neural networks regularization for structured output prediction | |
CN114925693A (zh) | 一种基于多模型融合的多元关系抽取方法和抽取系统 | |
CN117725211A (zh) | 一种基于自构建提示模板的文本分类方法和系统 | |
CN113051910A (zh) | 一种用于预测人物角色情绪的方法和装置 | |
CN116579345A (zh) | 命名实体识别模型的训练方法、命名实体识别方法及装置 | |
CN117012370A (zh) | 多模态疾病辅助推理系统、方法、终端及存储介质 | |
CN114092931B (zh) | 场景文字识别方法、装置、电子设备及存储介质 | |
CN113806747B (zh) | 一种木马图片检测方法、系统及计算机可读存储介质 | |
CN116089605A (zh) | 基于迁移学习和改进词袋模型的文本情感分析方法 | |
CN116030295A (zh) | 物品识别方法、装置、电子设备及存储介质 | |
Wu et al. | CDText: scene text detector based on context-aware deformable transformer | |
CN113822689A (zh) | 广告转化率预估方法及装置、存储介质、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221101 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240423 |