JP2021117969A - ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法 - Google Patents

Abstract

【課題】ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法を提供する。
【解決手段】人物再同定方法は、人物再同定訓練ネットワークを構築するステップと、予め設定された訓練パラメータでネットワークハイパーパラメータ調整を行い、学習ネットワークを得るステップと、マルチスケール表現学習及びランダムバッチマスクブランチをブロックし、テストネットワークを得て、テストセットをテストネットワークに入力して、対応するテスト同定結果を得るステップと、テスト同定結果の正確率が所定値以上であるか否かを判断し、ＹＥＳと判断すると実際のデータセットを学習ネットワークに入力し、さもないとネットワークを再訓練するステップと、マルチスケール表現学習及びランダムバッチマスクブランチをブロックし、応用ネットワークを得て、照会画像を応用ネットワークに入力して、対応する同定結果を得るステップと、を備える。
【選択図】図１

Description

本発明はコンピュータのパターン同定及び画像処理の技術分野に関し、特にランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法に関する。

人物再同定（Ｐｅｒｓｏｎ Ｒｅ−ｉｄｅｎｔｉｆｉｃａｔｉｏｎ、ＰＲｅＩＤ）は、コンピュータビジョン技術を使用して画像又はビデオシーケンスに特定の人物が存在するか否かを判断する技術であり、画像検索のサブ課題の一つとして広く考えられており、１つの監視人物画像を与えると、機器間を跨いで該人物画像を自動で検索することができる。現在、都市では、公共治安分野で使用されるカメラは多数配置されており、ほぼ数十メートル〜数百メートルあたり１個程度になり、それにもかかわらず、異なるカメラの間にカバレッジできない領域が存在する。人物再同定の目的は、１つのカメラで撮影された対象が、カメラの視野を離れた後、どこへ行ったかを決定することであり、ややビデオ検索と似ており、つまり、ほかのカメラで収集されたビデオから対象を見つかることであり、人物再同定のタスクは、重複視野領域のない異なるカメラで収集された人物画像又はビデオサンプル同士の接続関係を構築する処理プロセスであり、すなわち、異なる位置のカメラで異なる時刻に撮影された人物が同一人物であるか否かを同定する。

従来の人物再同定研究はデータセットに基づいて行われ、つまり、複数のカメラを設置し、人物画像を収集し、その後、手動マーク又は自動マークを行う。これらの画像の一部は訓練及び学習用、一部は同定用である。同定精度を向上させるために、同定アルゴリズムは主に２つの部分に分けられ、一方は、より良好な画像特徴を抽出するためのものであり、他方は異なる特徴間の距離を効果的に計算比較するためのものである。

画像特徴を抽出する際に、従来の方式は、深層学習モデルを使用し、畳み込みニューラルネットワークに基づいて特徴を自動で学習し、且つアテンションメカニズムを使用して特徴を抽出することが多いが、このような方式は通常、画像中の顔特徴又はほかの突出した特徴のみを重点的に抽出し、手又は足等の抑制されたローカル特徴を抽出しない結果、これらの抑制された重要なローカル詳細特徴を効果的に抽出できないため、後続同定の正確率を確保できない。

中国特許出願公開第１０８６４７５８８号明細書

本発明は物品カテゴリ同定方法、装置、コンピュータ機器及び記憶媒体に関する。方法は、被同定物品画像を取得し、前記被同定物品画像のエッジマスク情報を抽出するステップと、前記エッジマスク情報に応じて、前記被同定物品画像をカット処理し、前記カット処理された被同定物品画像及び予め設定された物品カテゴリ同定モデルに応じて、前記被同定物品画像のカテゴリを同定し、同定結果を出力するステップと、を含み、前記予め設定された物品カテゴリ同定モデルは、訓練サンプル画像を訓練及び転移学習して得られたモデルであり、事前訓練及び転移学習して得られた物品カテゴリ同定モデルによって、物品の正確度の制御要件を向上させ、物品カテゴリ同定モデルを使用して被同定物品画像を同定することで、物品同定結果を正確に取得することができる。

本発明は、上記従来技術の欠陥を克服するためにランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法を提供することを目的とする。

本発明の目的は、以下の技術案によって実現できる。ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法であって、
基準データセットを取得し、基準データセットに対してデータ拡張を行うステップＳ１と、
データ拡張後の基準データセットを訓練セット及びテストセットに分けるステップＳ２と、
ＲｅｓＮｅｔ５０畳み込みニューラルネットワークに基づいて、順次接続されたアテンション学習モジュール、特徴抽出モジュール及び同定出力モジュールを含む人物再同定訓練ネットワークを構築し、特徴抽出モジュールは特徴処理ブランチ、マルチスケール表現学習ブランチ及びランダムバッチマスクブランチを含み、前記特徴処理ブランチはグローバル平均プーリング及びバッチ正規化処理を含むステップＳ３と、
訓練セットを人物再同定訓練ネットワークに入力し、予め設定された訓練パラメータでネットワークハイパーパラメータ調整を行い、人物再同定学習ネットワークを得るステップＳ４と、
人物再同定学習ネットワーク中の特徴抽出モジュールのマルチスケール表現学習ブランチ及びランダムバッチマスクブランチをブロックし、人物再同定テストネットワークを得て、テストセットを人物再同定テストネットワークに入力し、対応するテスト同定結果を出力するステップＳ５と、
テスト同定結果の正確率を計算し、同定結果の正確率が所定値以上であるか否かを判断し、ＹＥＳと判断すると、ステップＳ７を実行し、さもないと、ステップＳ４に戻るステップＳ６と、
実際のデータセットを取得し、実際のデータセットを人物再同定学習ネットワークに入力し、実際のデータセットに対応する画像特徴を学習するステップＳ７と、
人物再同定学習ネットワーク中の特徴抽出モジュールのマルチスケール表現学習ブランチ及びランダムバッチマスクブランチをブロックし、人物再同定応用ネットワークを得て、照会画像を人物再同定応用ネットワークに入力し、該照会対象に対応する同定結果を出力するステップＳ８と、を含む。

さらに、前記ステップＳ１では、データ拡張は具体的には、
基準データセットから複数の画像をランダムに抽出して水平反転処理を行うステップＳ１１と、
基準データセットから複数の画像をランダムに抽出してガウス、ごま塩ノイズ処理を行うステップＳ１２と、を含む。

さらに、前記ステップＳ３では、アテンション学習モジュールは対象の特徴表現を強化するように、３段階に分けられ、
前記特徴処理ブランチはラベル損失・ランク付けリスト損失合同訓練を採用し、画像のグローバル情報を取得し、
前記マルチスケール表現学習ブランチは２組のラベル損失訓練を採用し、画像中のローカル詳細特徴及び空間情報の相関性を取得し、
前記ランダムバッチマスクブランチはラベル損失訓練を採用し、画像中の抑制されるローカル特徴を捕捉する。

さらに、前記ランダムバッチマスクブランチは具体的には、サイズがランダムで且つ位置領域がランダムな遮蔽ブロックを設定し、該遮蔽ブロックで画像の一部を遮蔽することによって、遮蔽されていないローカル情報を捕捉する。

さらに、前記アテンション学習モジュールはチャネルアテンションモジュール及び空間アテンションモジュールを含み、前記チャネルアテンションモジュールは１層の平均プーリング演算、１層の多層パーセプトロン、１層の線形層及び１層のバッチ正規化層からなり、有効チャネルの重みを大きくし、無効チャネルの重みを小さくすることに用いられ、
前記空間アテンションモジュールは２個の１＊１畳み込み層及び２個の３＊３畳み込み層を含み、前記１＊１畳み込み層は畳み込み特徴マップの次元を減少させることに用いられ、前記３＊３畳み込み層は特徴を効果的に抽出することに用いられる。

さらに、前記アテンション学習モジュールは具体的には、

さらに、前記マルチスケール表現学習ブランチでは、２組のラベル損失訓練はそれぞれ小スケール特徴訓練及び大スケール特徴訓練である。

さらに、前記ラベル損失訓練は交差エントロピー損失関数

さらに、前記ランク付けリスト損失訓練はランク付けリスト損失トリプレット関数

さらに、前記特徴抽出モジュールの融合損失関数は具体的には、

従来技術に比べて、本発明は以下の利点を有する。

１、本発明はランダムバッチマスク方式を採用し、画像中の抑制されるローカル詳細特徴を学習することができ、マルチスケール表現学習方式を採用し、多スケール特徴ベクトル中の小スケール特徴及び大スケール特徴を分離訓練し、空間情報の相関性を効果的に強化でき、さらに特徴抽出の包括性及び信頼性を確保させ、後続同定の正確度の向上に寄与する。

２、本発明は特徴抽出モジュールに識別損失及びランク付けリストトリプレット損失の２種の損失関数を組み合わせて、特徴間の距離を計測し、画像の訓練又は学習中、クラス間距離を大きくするとともにクラス内距離を小さくすることができ、それにより画像特徴の有効性を向上させる。

３、本発明は、訓練又は学習では、特徴処理、ランダムバッチマスク及びマルチスケール表現学習の３ブランチの方式を採用して、画像特徴を効果的かつ全面的に抽出し、テスト又は実際の応用では、ブロックランダムバッチマスク及びマルチスケール表現学習ブランチの方式を採用して、同定正確率を確保するうえにネットワークオーバーヘッドを節約し、同定速度を向上させることができる。

本発明の方法の概略フローチャートである。 本発明のネットワークの全体ブロック図である。 人物再同定ネットワークの訓練又は学習の概略フローチャートである。 ランダムバッチマスクの設計アルゴリズムの概略図である。 人物再同定ネットワークのテスト又は応用の概略フローチャートである。

以下、図面及び具体的な実施例を参照しながら本発明を詳細説明する。

実施例
図１に示すように、ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法は、
基準データセットを取得し、基準データセットに対してデータ拡張を行うステップＳ１と、
データ拡張後の基準データセットを訓練セット及びテストセットに分けるステップＳ２と、
ＲｅｓＮｅｔ５０畳み込みニューラルネットワークに基づいて、順次接続されたアテンション学習モジュール、特徴抽出モジュール及び同定出力モジュールを含む人物再同定訓練ネットワークを構築し、特徴抽出モジュールは特徴処理ブランチ、マルチスケール表現学習ブランチ及びランダムバッチマスクブランチを含み、前記特徴処理ブランチはグローバル平均プーリング及びバッチ正規化処理を含むステップＳ３と、
訓練セットを人物再同定訓練ネットワークに入力し、予め設定された訓練パラメータでネットワークハイパーパラメータ調整を行い、人物再同定学習ネットワークを得るステップＳ４と、
人物再同定学習ネットワーク中の特徴抽出モジュールのマルチスケール表現学習ブランチ及びランダムバッチマスクブランチをブロックし、人物再同定テストネットワークを得て、テストセットを人物再同定テストネットワークに入力し、対応するテスト同定結果を出力するステップＳ５と、
テスト同定結果の正確率を計算し、同定結果の正確率が所定値以上であるか否かを判断し、ＹＥＳと判断すると、ステップＳ７を実行し、さもないと、ステップＳ４に戻るステップＳ６と、
実際のデータセットを取得し、実際のデータセットを人物再同定学習ネットワークに入力し、実際のデータセットに対応する画像特徴を学習するステップＳ７と、
人物再同定学習ネットワーク中の特徴抽出モジュールのマルチスケール表現学習ブランチ及びランダムバッチマスクブランチをブロックし、人物再同定応用ネットワークを得て、照会画像を人物再同定応用ネットワークに入力し、該照会対象に対応する同定結果を出力するステップＳ８と、を含む。

本発明はランダムバッチマスク（Ｒａｎｄｏｍ Ｂａｔｃｈ Ｆｅａｔｕｒｅ Ｍａｓｋ、ＲＢＦＭ）訓練戦略及びマルチスケール表現学習（Ｍｕｌｔｉ−ｓｃａｌｅ Ｆｅａｔｕｒｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ Ｌｅａｒｎｉｎｇ）方法を採用して人物画像中の、人物の空間相関性を含むより顕著で詳細な特徴情報を抽出し、ランダムバッチマスク学習ブランチ及びマルチスケール表現学習方法ブランチはネットワークの訓練及び学習段階のみで使用され、ネットワークのテスト及び実用段階ではブロックして使用せず、図２に示すように、本発明はＲｅｓＮｅｔ−５０を特徴抽出ネットワークとして採用し、ＲｅｓＮｅｔ５０の特徴抽出プロセスの段階１（Ｓｔａｇｅ １）、段階２（Ｓｔａｇｅ ２）、段階３（Ｓｔａｇｅ ３）では、まず、アテンション学習モジュール（Ａｔｔｅｎｔｉｏｎ Ｌｅａｒｎｉｎｇ Ｍｏｄｕｌｅ）を導入して対象の特徴表現を強化し、その後、ＲｅｓＮｅｔ５０の段階４（Ｓｔａｇｅ ４）の特徴ベクトルを特徴処理ブランチ、ランダムバッチマスク訓練学習ブランチ及びマルチスケール表現学習方法ブランチを経過させ、特徴処理ブランチは識別損失（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｌｏｓｓ）・ランク付けリスト損失（Ｒａｎｋｅｄ Ｌｉｓｔ Ｌｏｓｓ）合同訓練を採用して人物のグローバル情報を取得し、主にＧＡＰ（グローバル平均プーリング）及びＢＮ（バッチ正規化処理）を含み、ランダムバッチマスク学習ブランチはラベル損失訓練を採用して、抑制されるローカル特徴を捕捉し、それによって特徴抽出能力を向上させ、マルチスケール表現学習はラベル損失訓練を採用して人物画像中のローカル詳細特徴及び空間情報の相関性を取得し、このような革新的な学習戦略は、特徴抽出能力及び同定性能をさらに向上させることができ、３本のブランチは合計で４個の識別損失及び１個のランク付けリスト損失を採用して特徴間の距離を計測する。

具体的な応用では、まず、基準データセットを使用してネットワーク訓練及びテストを順次行い、ネットワーク訓練によって学習ネットワークを得て、学習ネットワーク中のランダムバッチマスクブランチ及びマルチスケール表現学習ブランチをブロックし、テストネットワークを得て、テストネットワークが同定正確度の所定値に達した後、実際のデータセットを学習ネットワークに入力して特徴学習を行い、その後、学習ネットワーク中のランダムバッチマスクブランチ及びマルチスケール表現学習ブランチをブロックし、応用ネットワークを得て、最後に、応用ネットワークによって被照会画像に対して人物再同定を行う。人物再同定ネットワークの訓練プロセスは図３に示され、基準データセットについて、以下のデータ前処理方式によってデータ拡張を行う必要がある。

１）データセットから複数の画像をランダムに抽出して水平反転処理を行う。
２）データセットから複数の画像をランダムに抽出してガウス、ごま塩ノイズ処理を行う。

基準データセットに対して、対応する組織及び上記データ処理を行った後、画像を畳み込みニューラルネットワーク中（ＲｅｓＮｅｔ５０）に入力して特徴抽出を行う。

ネットワーク訓練の全過程について、特徴抽出部分では、ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｌｏｓｓ（識別損失）とｒａｎｋｅｄ ｌｉｓｔ ｌｏｓｓ（ランク付けリスト損失）を融合する方式を使用して合同訓練を行い、３つのブランチの特徴学習構造を含み、各ブランチ特徴によって画像の特徴マップを抽出し、その後、合同した損失関数によってネットワーク訓練、重み更新を行う。

アテンション学習モジュール（Ａｔｔｅｎｔｉｏｎ Ｌｅａｒｎｉｎｇ Ｍｏｄｕｌｅ）について、チャネルアテンションモジュール及び空間アテンションモジュールを含み、チャネルアテンションの主なアイデアは有効チャネルの重みを大きくし、無効チャネルの重みを小さくすることであり、チャネルアテンションモジュールは１層の平均プーリング演算、１層の多層パーセプトロン、１層の線形層及び１層のバッチ正規化層からなり、平均プーリング演算は以下の式に示される。

採用される平均プーリング層、多層パーセプトロン及び線形層は各チャネルアテンション及び調整チャネルアテンションの寸法を評価するためのものであり、チャネルアテンションの式は以下のように示される。

一方、空間アテンションモジュールは画像中の位置情報に着目し、ネットワークに、特徴マップ中のどの部分が空間的により高い応答を有する可能性があるかを理解させ、空間アテンションモジュールは４個の畳み込み層を含み、そのうち、２個の畳み込み層は１＊１畳み込みで畳み込み特徴マップの次元を削減し、２個の３＊３畳み込みは次元削減後、特徴を効果的に抽出することに用いられ、空間アテンションは以下のように示される。

最終的なアテンション学習モジュールはチャネルアテンションと空間アテンションを組み合わせて、

ランダムバッチマスクブランチは主に、抑制されるローカル詳細特徴を学習し、モデルの特徴抽出能力を向上させ、ランダムバッチマスク訓練戦略は主に特徴ベクトルの訓練中、サイズがランダムで、位置領域がランダムな遮蔽ブロックを設定してローカル詳細情報を捕捉することであり、その設計アルゴリズムは図４に示される。

ネットワーク訓練及びネットワーク学習段階では、まず、ネットワークにおいて第４段階で出力されるＮ個の次元サイズがＣ×Ｈ×Ｗ（Ｃは特徴マップのチャネル数、Ｈ、Ｗはそれぞれ特徴マップの高さ及び幅である）の特徴マップに応じて、高さマスク比率値Ｒ_ｈ及び幅マスク比率値Ｒ_ｗをランダムに生成し、
その後、高さマスク比率値Ｒ_ｈと入力特徴マップの高さＨを乗算してマスク高さＨ_ｍを得て、幅マスク比率値Ｒ_ｗと入力特徴マップの幅Ｗを乗算してマスク幅Ｗ_ｎを得て、
さらに０〜（Ｈ−Ｈ_ｍ）数値の間にある整数Ｘ_ａ、及び０〜（Ｗ−Ｗ_ｎ）数値の間にある整数Ｙ_ｂをランダムに生成し、
Ｈ行Ｗ列の数値がすべて１のマトリックスＰを生成し、マトリックスＰ中のＸ_ａ〜Ｘ_ａ＋Ｈ_ｍ及びＹ_ｂ〜Ｙ_ｂ＋Ｗ_ｎの領域にすべて０を付値し、マスクマトリックスＰ’を得て、
最後に、得られたマスクマトリックスＰ’を入力されたＮ個の特徴マップと対応付けて乗算し、すなわち、入力されたＮ個の特徴マップに対応付けてマスク処理を行う。

ネットワークテスト及び実用段階では、ランダムバッチマスク学習ブランチをブロックする。

マルチスケール表現学習ブランチは、マルチスケールグループ畳み込み戦略を採用し、ＲｅｓＮｅｔ５０中のＳｔａｇｅ−４中の特徴ベクトルを分割し、複数のグループの畳み込みカーネルのサイズ３＊３でグループ特徴に対して特徴抽出を行い、マルチスケール特徴ベクトル中の小スケール特徴及び大スケール特徴を分離訓練し、それにより人物画像中のより顕著で詳細な特徴を抽出し、空間情報の相関性を強化することができる。

ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｌｏｓｓ（識別損失）は、一般な識別タスクで使用される損失関数と同じであり、一般には交差エントロピー損失関数を使用し、具体的な式は以下のように示される。

人物データセット中の訓練セットとテストセットが共通部分を有さないため、人物再同定はｏｎｅ−ｓｈｏｔ学習タスクとして考えられ、その結果、モデル訓練の過剰適合現象を引き起こしてしまう。一方、Ｌａｂｅｌ ｓｍｏｏｔｈｉｎｇは識別タスクで過剰適合を回避する一般的な方法である。

ｒａｎｋｅｄ ｌｉｓｔ ｌｏｓｓ（ランク付けリスト損失）について、陽性サンプルと陰性サンプルを区別するために、陰性サンプル間の距離をある閾値αよりも大きく設定し、且つ陽性サンプル間の距離をα−ｄよりも小さく設定し、すなわち、陽性サンプルと陰性サンプルの間に少なくとも間隔ｄを有する。

トリプレット損失、交差エントロピー損失を使用してネットワークの特徴抽出エネルギーを合同訓練し、融合された損失関数は以下のように表現される。

本実施例では、ネットワーク訓練プロセスの訓練パラメータは、訓練エポック（ｅｐｏｃｈ）を１２０、重み減衰パラメータ（ｗｅｉｇｈｔ ｄｅｃａｙ）を０．０００５、バッチサイズ（ｂａｔｃｈ ｓｉｚｅ）を３２に設定し、学習率更新方式は以下の通りである。

ネットワーク訓練を経て学習ネットワークを得て、学習ネットワーク中のランダムバッチマスクブランチ及びマルチスケール表現学習ブランチをブロックし、テストネットワークを得て、具体的なテストプロセスは５に示され、特徴抽出時、特徴処理ブランチのみを使用して特徴抽出を行う。本発明に係る方法を採用し、本実施例はＣＵＨＫ０３−Ｌａｂｅｌｅｄデータセットにおいてほかの同定方法と比較し、対応する同定結果は表１に示される。

表１のデータからわかるように、本発明に係る人物再同定方法は、従来のほかの同定方法よりもＲａｎｋ−１正確率値及びｍＡＰ値がいずれも優れ、本発明は画像特徴、特に画像中の抑制される重要なローカル詳細特徴を全面的かつ効果的に抽出することで、後続同定の正確度を向上させることができる。

Claims (10)

1. ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法であって、
   基準データセットを取得し、基準データセットに対してデータ拡張を行うステップＳ１と、
   データ拡張後の基準データセットを訓練セット及びテストセットに分けるステップＳ２と、
   ＲｅｓＮｅｔ５０畳み込みニューラルネットワークに基づいて、順次接続されたアテンション学習モジュール、特徴抽出モジュール及び同定出力モジュールを含む人物再同定訓練ネットワークを構築し、特徴抽出モジュールは特徴処理ブランチ、マルチスケール表現学習ブランチ及びランダムバッチマスクブランチを含み、前記特徴処理ブランチはグローバル平均プーリング及びバッチ正規化処理を含むステップＳ３と、
   訓練セットを人物再同定訓練ネットワークに入力し、予め設定された訓練パラメータでネットワークハイパーパラメータ調整を行い、人物再同定学習ネットワークを得るステップＳ４と、
   人物再同定学習ネットワーク中の特徴抽出モジュールのマルチスケール表現学習ブランチ及びランダムバッチマスクブランチをブロックし、人物再同定テストネットワークを得て、テストセットを人物再同定テストネットワークに入力し、対応するテスト同定結果を出力するステップＳ５と、
   テスト同定結果の正確率を計算し、同定結果の正確率が所定値以上であるか否かを判断し、ＹＥＳと判断すると、ステップＳ７を実行し、さもないと、ステップＳ４に戻るステップＳ６と、
   実際のデータセットを取得し、実際のデータセットを人物再同定学習ネットワークに入力し、実際のデータセットに対応する画像特徴を学習するステップＳ７と、
   人物再同定学習ネットワーク中の特徴抽出モジュールのマルチスケール表現学習ブランチ及びランダムバッチマスクブランチをブロックし、人物再同定応用ネットワークを得て、照会画像を人物再同定応用ネットワークに入力し、該照会対象に対応する同定結果を出力するステップＳ８と、を含むことを特徴とするランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。
2. 前記ステップＳ１では、データ拡張は具体的には、
   基準データセットから複数の画像をランダムに抽出して水平反転処理を行うステップＳ１１と、
   基準データセットから複数の画像をランダムに抽出してガウス、ごま塩ノイズ処理を行うステップＳ１２と、を含むことを特徴とする請求項１に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。
3. 前記ステップＳ３では、アテンション学習モジュールは対象の特徴表現を強化するように、３段階に分けられ、
   前記特徴処理ブランチはラベル損失・ランク付けリスト損失合同訓練を採用し、画像のグローバル情報を取得し、
   前記マルチスケール表現学習ブランチは２組のラベル損失訓練を採用し、画像中のローカル詳細特徴及び空間情報の相関性を取得し、
   前記ランダムバッチマスクブランチはラベル損失訓練を採用し、画像中の抑制されるローカル特徴を捕捉することを特徴とする請求項１に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。
4. 前記ランダムバッチマスクブランチは具体的には、サイズがランダムで且つ位置領域がランダムな遮蔽ブロックを設定し、該遮蔽ブロックで画像の一部を遮蔽することによって、遮蔽されていないローカル情報を捕捉することを特徴とする請求項３に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。
5. 前記アテンション学習モジュールはチャネルアテンションモジュール及び空間アテンションモジュールを含み、前記チャネルアテンションモジュールは１層の平均プーリング演算、１層の多層パーセプトロン、１層の線形層及び１層のバッチ正規化層からなり、有効チャネルの重みを大きくし、無効チャネルの重みを小さくすることに用いられ、
   前記空間アテンションモジュールは２個の１＊１畳み込み層及び２個の３＊３畳み込み層を含み、前記１＊１畳み込み層は畳み込み特徴マップの次元を減少させることに用いられ、前記３＊３畳み込み層は特徴を効果的に抽出することに用いられることを特徴とする請求項３に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。
6. 前記アテンション学習モジュールは具体的には、
   

   

   であることを特徴とする請求項５に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。
7. 前記マルチスケール表現学習ブランチでは、２組のラベル損失訓練はそれぞれ小スケール特徴訓練及び大スケール特徴訓練であることを特徴とする請求項３に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。
8. 前記ラベル損失訓練は交差エントロピー損失関数
   

   

   
   を採用することを特徴とする請求項７に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。
9. 前記ランク付けリスト損失訓練は、ランク付けリストトリプレット損失関数
   

   

   を採用することを特徴とする請求項８に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。
10. 前記特徴抽出モジュールの融合損失関数は具体的には、
    

    

    であることを特徴とする請求項９に記載のランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法。

Images