JP2020522077A - 画像特徴の取得 - Google Patents

Abstract

本発明は画像特徴の取得方法及び対応する装置を提供する。前記方法の一例によれば、予め設定されたカテゴリのトレーニング画像を用いて分類モデルをトレーニングすることができ、そして前記トレーニング画像に基づいて類似画像ペアを決定することができ、検証画像を用いて前記分類モデルの分類結果をテストすることにより、前記非類似画像ペアを決定することができ、前記類似画像ペアと前記非類似画像ペアに基づいて前記分類モデルを最適化する。このようにして、最適化された前記分類モデルによって画像の特徴を取得することができる。

Description

＜関連出願への相互参照＞
本出願は、２０１７年７月２０日に出願され、出願番号が２０１７１０５９８２２１．７であり、発明の名称が「画像特徴の取得方法及び装置、電子装置」である中国特許出願の優先権を主張し、該出願の全内容が引用により本明細書に組み込まれる。

本出願は画像特徴の取得に関する。

製品の画像特徴は、ビジネスロジック又は関連モデルのトレーニングへの参加に用いられてもよく、検索、推奨などの異なるサービスで広く応用されている。製品の画像特徴を取得する主な方法は分類モデルトレーニングである。例えば、分類モデルの特徴表現層から抽出された特徴を画像特徴とすることができる。製品画像の属するカテゴリの数が多い場合、分類モデルの精度が低くなるため、抽出された画像特徴が異なるカテゴリの製品画像に対する表現能力が弱くなる可能性がある。

本出願は、取得された画像特徴の画像に対する表現能力をできるだけ向上させるための方法を提供する。

上記問題を解決するために、本発明の第一の態様による画像特徴の取得方法は、予め設定されたカテゴリのトレーニング画像を用いて分類モデルをトレーニングすることと、検証画像を用いて前記分類モデルの分類結果をテストし、非類似画像ペアを決定することと、前記トレーニング画像に基づいて類似画像ペアを決定することと、前記類似画像ペアと前記非類似画像ペアに基づいて前記分類モデルを最適化することと、前記最適化された分類モデルを用いて画像特徴を取得することを含む。

本発明の第二の態様による画像特徴の取得装置は、予め設定されたカテゴリのトレーニング画像を用いて分類モデルをトレーニングするための分類モデルトレーニングモジュールと、検証画像を用い、前記分類モデルトレーニングモジュールによってトレーニングされた分類モデルの分類結果をテストし、非類似画像ペアを決定するための非類似画像ペア決定モジュールと、前記トレーニング画像に基づいて類似画像ペアを決定するための類似画像ペア決定モジュールと、前記類似画像ペアと前記非類似画像ペアに基づいて前記分類モデルを最適化するための分類モデル最適化モジュールと、最適化された前記分類モデルを用いて画像特徴を取得するための画像特徴の取得モジュールを備える。

本発明の第三の態様による電子装置は、メモリ、プロセッサ及び前記メモリに記憶され且つプロセッサで実行可能なコンピュータプログラムを備えるものであり、前記プロセッサによって前記コンピュータプログラムを実行する時に上記画像特徴の取得方法が実現されることを特徴とする。

本発明の第四の態様によるコンピュータプログラムを記憶するコンピュータ可読記憶媒体は、該プログラムがプロセッサによって実行される時に上記画像特徴の取得方法のステップが実現される。

本出願の実施例で開示される画像特徴の取得方法では、予め設定されたカテゴリのトレーニング画像を用いて分類モデルをトレーニングし、前記トレーニング画像を用いて類似画像ペアを決定し、検証画像を用いて前記分類モデルの分類結果をテストし、前記分類モデルが比較的混同しやすい非類似画像ペアを決定し、前記類似画像ペアと非類似画像ペアに基づいて前記分類モデルを最適化する。そして最適化された前記分類モデルを用いて画像特徴を取得することにより、取得された画像特徴の画像表現能力を効果的に向上させることができる。初期のトレーニングされた分類モデルによる検証画像の分類結果に基づき、混同しやすい製品画像カテゴリを決定し、混同しやすい製品画像カテゴリに基づいて非類似画像ペアを構成することにより、類似画像ペアと非類似画像ペアを前記トレーニングサンプルとして組み合わせて前記初期のトレーニングされた分類モデルを調整及び最適化することができ、それによって製品画像のより正確な特徴表現を取得することができる。

本出願の実施例における技術的解決策をより明確に説明するために、以下に実施例又は従来技術の説明に必要な図面を簡単に説明するが、明らかに、以下に説明される図面は本出願のいくつかの実施例のみであり、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面を取得することができる。
本出願の一実施例における画像特徴の取得方法のフローチャートである。 本出願の一実施例における生成された混同マトリックスの模式図である。 本出願の一実施例における画像特徴の取得装置の構造模式図である。 本出願の別の実施例における画像特徴の取得装置の構造模式図である。

以下に本出願の実施例の図面を組み合わせて本出願の実施例における技術的解決策を明確且つ完全に説明する。明らかに、説明される実施例は本出願の実施例の一部のみであり、全ての実施例ではない。本出願の実施例に基づき、当業者が創造的な労力を要せずに得られる他の実施例は、全て本出願の保護範囲に属する。

本実施例で開示される画像特徴の取得方法は、図１に示すように、ステップ１００〜ステップ１４０を含むことができる。

ステップ１００において、予め設定されたカテゴリのトレーニング画像によって分類モデルをトレーニングする。

例えば、ディープコンボリューションニューラルネットワークモデルに基づいて、分類モデルをトレーニングすることができる。分類モデルは、製品画像に基づいて製品のカテゴリを識別するモデルである。分類モデルをトレーニングする場合、多くのカテゴリの製品画像をトレーニング画像とすることができる。前記製品画像は料理注文プラットフォームの料理画像であってもよいし、衣料品販売プラットフォームの衣料品画像であってもよいし、旅行相談プラットフォームの景勝地画像などであってもよい。ディープコンボリューションニューラルネットワークのモデルに基づくトレーニング画像のフォーマットは（ｌａｂｅｌ、ｉｍａｇｅ）であってもよい。ここで、ｌａｂｅｌは画像のカテゴリラベルであり、ｉｍａｇｅは製品画像である。ディープコンボリューションニューラルネットワークに基づいて異なるカテゴリの画像を学習することにより、製品モデルのパラメータをトレーニングし、各トレーニング画像の最適な特徴表現を取得することができる。さらに、トレーニングして得られた分類モデルを用いて他の識別される画像を分類することができる。

ステップ１１０において、検証画像を用いて前記分類モデルの分類結果をテストすることにより、前記分類モデルが比較的混同しやすい非類似画像ペアを決定する。

トレーニングして得られた分類モデルは入力された製品画像を分類することに用いられてもよい。しかし、前記分類モデルをトレーニングする時に使用されるトレーニング画像はカテゴリラベルが手動で設定され、又はユーザによって製品画像をアップロードする時にカテゴリラベルが設定され、ラベルが正確ではない場合がある可能性がある。さらに、分類モデルをトレーニングする時にクラス間分散最大化のみを考慮する。したがって、トレーニングして得られた分類モデルは分類が正確ではないという現象がある可能性があり、検証データを用いて前記分類モデルを最適化する必要がある可能性がある。

前記検証画像はトレーニング画像と同じカテゴリ、例えば、５００個のカテゴリを有することができる。各カテゴリには複数の製品画像が含まれてもよく、各製品画像に真のカテゴリラベルが設定されてもよい。真のカテゴリラベルが設定された検証画像をステップ１００でトレーニングして得られた分類モデルに入力し、前記分類モデルによって各検証画像のカテゴリを識別する。その後、前記分類モデルから出力された各カテゴリの分類結果を分析し、混同マトリックスを構成することができる。混同マトリックスの各列は予測カテゴリを表し、各列の総数は該予測カテゴリとして識別された製品画像の数を表し、各行は製品画像の真のカテゴリを表し、各行の総数は該真のカテゴリに属する製品画像の数を表す。各列の値は該予測カテゴリとして識別された真のカテゴリの数を表す。混同マトリックスには、分類モデルによって混同されたカテゴリが記録される。

さらに、混同マトリックスにおけるデータに対してクラスタリング分析を行うことにより、前記分類モデルが混同しやすいカテゴリを取得することができる。その後、前記分類モデルが比較的混同しやすいカテゴリから画像を選択し、非類似画像ペアを２つずつ構成する。例えば、比較的混同しやすい２個のカテゴリにおける検証画像を選択して非類似画像ペアを構成することができる。

ステップ１２０では、前記予め設定されたカテゴリのトレーニング画像に基づいて類似画像ペアを決定する。

分類モデルをトレーニングする時に使用される訓練画像に基づき、類似画像ペアを取得することができる。例えば、各カテゴリの前記トレーニング画像から複数の画像をそれぞれランダムに選択し、類似画像ペアを２つずつ構成する。

ステップ１３０では、前記類似画像ペアと前記非類似画像ペアに基づいて前記分類モデルを最適化する。

前記類似画像ペアと前記非類似画像ペアを入力とすると、クラス間分散最大化且つクラス内分散最小化に基づいて前記分類モデルを最適化することができる。例えば、Ｉｎｃｅｐｔｉｏｎ及びｓｉａｍｅｓｅネットワークに基づくマルチタスクモデルを構成し、前記類似画像ペアと前記非類似画像ペアを用いてＩｎｃｅｐｔｉｏｎネットワークに基づく分類モデルのパラメータを微調整し、前記分類モデルの特徴表現能力を備える各層、例えば、特徴表現層ｆｃ１層又はカテゴリ出力層ｆｃ２層を最適化することができる。モデルトレーニングタスクが完了した場合、Ｉｎｃｅｐｔｉｏｎネットワークの各層のパラメータは最適であってもよい。言い換えれば、Ｉｎｃｅｐｔｉｏｎネットワークに基づく分類モデルの特徴表現層（即ち、ｆｃ１層）又はカテゴリ出力層（即ち、ｆｃ２層）は製品画像の特徴を最も良く表現することができる。

ステップ１４０では、最適化された前記分類モデルを用いて画像特徴を取得する。

処理される画像、即ち、特徴が抽出される画像が最適化された前記分類モデルに入力すると、前記分類モデルによって識別した後、分類モデルの各層が対応するパラメータを出力し、これにより、特徴表現能力を備える層のパラメータに基づいて前記処理される画像の画像特徴を決定することができる。

本出願の実施例で開示される画像特徴の取得方法では、予め設定されたカテゴリのトレーニング画像を用いて分類モデルをトレーニングし、検証画像を用いて前記分類モデルの分類結果をテストし、前記分類モデルが比較的混同しやすい非類似画像ペアを決定し、前記トレーニング画像に基づいて類似画像ペアを決定する。そして前記類似画像ペアと前記非類似画像ペアに基づいて前記分類モデルを最適化することにより、最適化された前記分類モデルを用いて画像特徴を取得することができ、それによって取得された画像特徴の画像表現能力を効果的に向上させることができる。ここで、検証画像に対する分類結果に基づき、初期のトレーニングされた分類モデルによって混同された製品画像を決定し、比較的混同しやすい製品画像カテゴリに基づいて非類似画像ペアを構成することにより、非類似画像ペアと類似画像ペアを組み合わせて前記初期のトレーニングされた分類モデルを調整及び最適化することができ、製品画像のより正確な特徴表現を取得することができる。

予め設定されたカテゴリのトレーニング画像によって分類モデルをトレーニングすることは、クラス間分散最大化の考えに基づき、予め設定されたカテゴリのトレーニング画像を用いてディープコンボリューションニューラルネットワークに基づく分類モデルをトレーニングすることを含むことができる。

例えば、５０００個のカテゴリのトレーニング画像を撮影でき、各カテゴリのトレーニング画像は１００００枚の製品画像を含む。各製品画像にカテゴリラベルが手動で設定された後、カテゴリラベルが設定された製品画像を（ｌａｂｅｌ、ｉｍａｇｅ）フォーマットのトレーニングデータとして生成して、ディープコンボリューションニューラルネットワークへの入力とすることができる。

同時に、クラス間分散最大化の考えに基づき、ディープコンボリューションニューラルネットワークに基づくマルチタスクモデルを構成し、分類モデルをトレーニングすることができる。例えば、インセプション（Ｉｎｃｅｐｔｉｏｎ）ディープ学習ネットワークに基づくマルチタスクモデルを用いて分類モデルをトレーニングし、ＳｏｆｔｍａｘＬｏｓｓをカテゴリ識別の損失関数として選択し、クラス間分散を増大させる観点から画像特徴を説明することができる。この場合、５０００個のカテゴリのトレーニング画像で構成されたトレーニングデータを入力とし、分類モデルをトレーニングすることができる。各トレーニング画像が該分類モデルを通過すると各層のパラメータを取得することができる。ここで、ｆｃ１層は特徴表現層とすることができ、例えば、２１８４１次元ベクトルであってもよく、ｆｃ２層はカテゴリ出力層とすることができ、例えば、５０００次元ベクトルであってもよい。各次元は該トレーニング画像が該カテゴリとして分類される確率を表す。インセプション（Ｉｎｃｅｐｔｉｏｎ）ディープ学習ネットワークに基づくマルチタスクモデルを用いて分類モデルをトレーニングする具体的な方法については、当業者によく知られている任意の関連技術を参照することができるので、ここでは詳細な説明を省略する。

前記ステップ１１０では、検証画像を用いて前記分類モデルの分類結果をテストすることにより、前記分類モデルが比較的混同しやすい非類似画像ペアを決定することは、前記分類モデルを用いて検証画像を分類することにより、混同マトリックスを取得することと、混同マトリックスに対してクラスタリング分析を行い、混同しやすいカテゴリを決定することと、決定された混同しやすいカテゴリに基づいて非類似画像ペアを構成することを含むことができる。

前記分類モデルを用いて検証画像を分類することにより、混同マトリックスを取得することは、前記分類モデルを用いて検証画像を分類することにより、各検証画像の予測カテゴリを取得することと、全ての検証画像の真のカテゴリと予測カテゴリに基づいて、混同マトリックスを構成することを含むことができる。ここで、前記混同マトリックスの各行における各値は、異なるカテゴリに分類される行に対応するカテゴリの検証画像の数である。

前記検証画像はトレーニング画像のカテゴリと同様のカテゴリを含むことができ、各カテゴリに複数の製品画像が含まれ、各製品画像に真のカテゴリラベルが設定される。トレーニング画像が５０００個のカテゴリを含むことを例にとると、検証画像は同様の５０００個のカテゴリを含み、各カテゴリに４０枚の画像があり、各画像に真のカテゴリラベルが設定される。真のカテゴリラベルが設定された検証画像を初期のトレーニングされた分類モデルに入力し、前記分類モデルによって各検証画像の予測カテゴリを識別することができる。

次に、各カテゴリにおける検証画像の分類結果を分析し、混同マトリックスを構成することができる。検証画像がＮ個のカテゴリを含む場合、前記混同マトリックスは一つのＮ＊Ｎのマトリックスである。混同マトリックスの各列は予測カテゴリを表し、各列の総数は該予測カテゴリとして識別された検証画像の数を表し、各行は検証画像の真のカテゴリを表し、各行の総数は該カテゴリの検証画像の数を表す。各列の値は該予測カテゴリとして識別された真のカテゴリの数を表すことができる。

検証画像が５０００個のカテゴリを含み、カテゴリラベルが１−５０００であることを例にとる。各カテゴリに４０枚の検証画像が含まれると仮定すると、図２に示すように、混同マトリックスは一つの５０００＊５０００のマトリックスである。ここで、列２１０は検証画像の真のカテゴリラベルを表し、行２２０は分類モデルによって検証画像を識別して得られた予測カテゴリラベルを表す。各カテゴリに合計４０枚の検証画像があるため、各行の和は４０である。マトリックス要素２３０は真のカテゴリが１で、予測カテゴリが１である検証画像の数が２５であることを表す。混同マトリックスには、分類モデルによって混同されたカテゴリが記録される。

混同マトリックスに対してクラスタリング分析を行い、混同しやすいカテゴリを決定することは、スペクトルクラスタリング方法により前記混同マトリックスをクラスタリングし、複数のクラスターを取得することを含むことができる。ここで、スペクトルクラスタリングの基本的な考えは、サンプルデータ間の類似度マトリックス（ラプラスマトリックス）を用いて特徴分解を行うことである。各クラスターには少なくとも一個のカテゴリが含まれ、そして少なくとも２個のカテゴリを含むクラスターにおけるカテゴリを互いに混同しやすいカテゴリとして決定することができる。

混同マトリックスＦを例にとると、混同マトリックスに対してクラスタリング分析を行うプロセスは以下のように具体的に説明される。まず、混同マトリックスＦを用いて距離マトリックスＭを構成することができる。式は以下のとおりである。
ここで、Ｉは単位マトリックスである。

次に、距離マトリックスＭを用いてラプラシアンマトリックス（Ｌａｐｌａｃｉａｎ Ｍａｔｒｉｘ）Ｌを構成することができる。

ラプラシアンマトリックスＬを構成する時に、先に距離マトリックスＭを用いて隣接マトリックスＷを構成することができ、

ここで、ｔは距離マトリックスＭにおける距離が最も小さい先頭のｔ個の位置情報のみを残し、その他をいずれも０にすることを表す。距離値が小さいほど、混同マトリックスＦにおける対応する値が大きくなり、分類モデルに混同される確率が大きくなることを意味する。例えば、予測カテゴリＢとして識別された真のカテゴリＡのサンプルの数は多い。
次に、隣接マトリックスＷの各列の要素を加算してＮ個の数を取得することができる。ここで、Ｎは分類モデルをトレーニングする時に使用されるトレーニング画像のカテゴリ数に等しい。このＮ個の数を次数マトリックスＤの対角線に置き、次数マトリックスＤの他の位置の要素をいずれも０にすることにより、一つのＮ×Ｎの対角マトリックスを取得する。

次に、隣接マトリックスＷと次数マトリックスＤで構成してラプラシアンマトリックスＬを取得することができる。式は以下のとおりである。

次に、ラプラシアンマトリックスＬに対して特徴分解を行うことにより、Ｌの先頭のｋ個の特徴値
及び対応する特徴ベクトル
を求めることができる。ｋ個の特徴ベクトルを一緒に配列して一つのＮ×ｋのマトリックスを構成し、その中の各行をｋ次元スペースにおける一つのベクトルと見なされる。即ち、各行を一つのＫ次元ベクトルとし、Ｎ個の特徴ベクトルを一緒に配列してＮ個のＫ次元ベクトルを取得する。ここで、ＮはラプラシアンマトリックスＬの行数であり、分類モデルをトレーニングする時に使用されるトレーニング画像のカテゴリ数に等しい。

ラプラシアンマトリックスに対して特徴分解を行う場合、次元削減方式で次元を削減することができる。最大特徴値に対応する特徴ベクトル方向に最も多くの情報が含まれる。いくつかの特徴ベクトル方向における情報量が少ない場合、次元削減を行うことができる。例えば、特徴値が最も小さい特徴ベクトル方向におけるデータを削除し、特徴値が大きい特徴ベクトル方向におけるデータのみを残すことができるので、有用な情報の量は大きく変化しない。その後、Ｋ−ｍｅａｎｓアルゴリズムを用いてＮ個のＫ次元ベクトルをクラスタリングし、最初のＮ個のカテゴリを異なるクラスターにマッピングすることができる。

混同マトリックスに対してスペクトルクラスタリング分析を行うことにより、画像が混同しやすいカテゴリを１個のカテゴリとしてクラスタリングすることができる。クラスタリング結果が２３０個のクラスターであることを例にとると、各クラスターに少なくとも一個のカテゴリが含まれる。各クラスターにおけるカテゴリは製品画像を識別する時に互いに混同しやすいカテゴリである。例えば、あるクラスターにカテゴリ１、カテゴリ５００が含まれる場合、カテゴリ１の製品画像はカテゴリ５００として分類モデルによって容易に識別される。

決定された混同しやすいカテゴリに基づいて非類似画像ペアを構成する。

スペクトルクラスタリング方法により混同マトリックスに対してクラスタリング分析を行うことにより、複数のクラスターのクラスタリング結果、例えば、２３０個のクラスターを取得することができる。各クラスターにおけるカテゴリが製品画像を分類して識別する時に互いに混同しやすいカテゴリであるため、同一のクラスターにおける混同しやすいカテゴリに属する検証画像を用いて非類似画像ペアを構成することができる。

クラスタリングして得られたクラスターがクラスター１、クラスター２とクラスター３を含み、クラスター１に１個のカテゴリが含まれ、クラスター２に４個のカテゴリが含まれ、クラスター３に５個のカテゴリが含まれることを例として、非類似画像ペアを構成するために発生する可能性がある以下の２つのケースを説明する。

第一のケースでは、カテゴリ数が２よりも大きいクラスターに対して、該クラスターにおける異なるカテゴリの画像を選択して非類似画像ペアを構成することができる。例えば、まず該クラスターにおける異なるカテゴリを選択してカテゴリペアを構成し、次にカテゴリごとに少なくとも一枚の検証画像をランダムに選択し、異なるカテゴリの２枚の検証画像で一つの非類似画像ペアを構成することができる。クラスター２に含まれる４個のカテゴリがカテゴリ３、カテゴリ４、カテゴリ７、カテゴリ３０である場合、クラスター２に対して６個のカテゴリペア（３、４）、（３、７）、（３、３０）、（４、７）、（４、３０）と（７、３０）を取得することができる。その後、得られた６個のカテゴリペアに対して、その中の各カテゴリに対応する少なくとも一枚の検証画像をそれぞれ取り、異なるカテゴリの２枚の検証画像で一つの非類似画像ペアを構成する。例えば、カテゴリペア（３、４）に対して、検証画像におけるカテゴリ３の画像１と画像２を撮影し、検証画像におけるカテゴリ４の画像１５と画像８を撮影し、その後、画像１と画像１５で一つの非類似画像ペアを構成し、画像２と画像８で一つの類似画像ペアを構成することができる。

第二のケースでは、一個のカテゴリのみを含むクラスターに対して、該クラスターにおけるカテゴリと他のカテゴリにおけるランダムに選択されたＱ個のカテゴリの画像を選択して非類似画像ペアを構成することができる。ここで、Ｑは具体的なニーズに応じて決定されてもよい。例えば、あるクラスターにおけるカテゴリがＱ個よりも少ない場合、該クラスターにおける全てのカテゴリを取ることができる。Ｑが１０であることを例にとる。クラスター１がカテゴリ５を含むと仮定すると、クラスター１におけるカテゴリ５の検証画像とクラスター２におけるカテゴリ３、カテゴリ４、カテゴリ７、カテゴリ３０の検証画像を選択して非類似画像ペアを構成することができる。

前記ステップ１２０では、前記トレーニング画像に基づいて類似画像ペアを決定する場合、前記各カテゴリのトレーニング画像から複数の画像をそれぞれランダムに選択し、類似画像ペアを２つずつ構成することができる。トレーニング画像が５０００個のカテゴリを含むことを例にとると、カテゴリごとに６０枚の画像をランダムに選択し、類似画像ペアを２つずつ構成し、各カテゴリでは３０個の類似画像ペアを取得することができる。５０００個のカテゴリのトレーニング画像に基づき、１５００００個の類似画像ペアを取得することができる。

次に、前記類似画像ペアと前記非類似画像ペアを用いて前記分類モデルを最適化し、最適化された前記分類モデルによって画像特徴を取得することができる。

前記ステップ１３０では、前記類似画像ペアと前記非類似画像ペアに基づいて前記分類モデルを最適化することは、前記類似画像ペアと前記非類似画像ペアを用い、クラス間分散最大化且つクラス内分散最小化の考えに基づいて、前記分類モデルを最適化することを含むことができる。まず画像ペアに基づくディープコンボリューションニューラルネットワークモデル、例えば、Ｉｎｃｅｐｔｉｏｎ及びｓｉａｍｅｓｅネットワークに基づくマルチタスクモデルを構成することができる。ｓｏｆｔｍａｘＬｏｓｓは分類に応用され、得られた予測カテゴリと画像の真のカテゴリの間の距離を測定することができる。例えば、インセプション（Ｉｎｃｅｐｔｉｏｎ）モデルの初期パラメータは前記分類モデルのパラメータであってもよい。ＣｏｎｔｒａｓｔｉｖｅＬｏｓｓはｓｉａｍｅｓｅに応用され、画像ペアの予測カテゴリの類似度と真の類似度の間の距離を測定することができる。インセプション（Ｉｎｃｅｐｔｉｏｎ）ネットワークモデルは、ＳｏｆｔｍａｘＬｏｓｓをカテゴリ識別の損失関数として選択し、クラス間分散を増大させる観点から画像特徴を説明することができる。

ｓｉａｍｅｓｅネットワークモデルの基本モデルは依然としてインセプション（Ｉｎｃｅｐｔｉｏｎ）ネットワークである。そのため、ｓｉａｍｅｓｅネットワークモデルの一部の層の初期パラメータはインセプション（Ｉｎｃｅｐｔｉｏｎ）モデルの初期パラメータと同じであってもよく、ｓｉａｍｅｓｅネットワークモデルの固有の層の初期パラメータはランダムに初期化されてもよい。ｓｉａｍｅｓｅネットワークモデルはＣｏｎｔｒａｓｔｉｖｅＬｏｓｓ損失関数を用いることができ、これにより非類似画像ペアの距離を測定する以外に、類似画像ペアの距離を測定する。ＳｏｆｔｍａｘＬｏｓｓのみを用いて異なるカテゴリの間の画像距離を測定するインセプション（Ｉｎｃｅｐｔｉｏｎ）ネットワークモデルと比較して、ｓｉａｍｅｓｅネットワークモデルはクラス内分散を縮小させる観点から画像間の類似度をさらに説明することができる。

前記分類モデルを最適化するプロセスは、前記分類モデルで得られた各層のパラメータに基づいて二回のトレーニングを行うプロセス、即ち、前記分類モデルの各層のパラメータをさらにトレーニングし、調整及び最適化するプロセスと考えてもよい。例えば、各類似画像ペアと各非類似画像ペアは、それぞれフォーマット（ｉｍｇ１、ｌａｂｅｌ１；ｉｍｇ２、ｌａｂｅｌ２；ｉｆ＿ｓｉｍｉｌａｒ）のトレーニングデータを生成し、インセプション（Ｉｎｃｅｐｔｉｏｎ）ネットワークとｓｉａｍｅｓｅネットワークに基づくマルチタスクモデルに入力することができる。ここで、前記マルチタスクモデルのタスクは、インセプション（Ｉｎｃｅｐｔｉｏｎ）ネットワークの損失関数（ＳｏｆｔｍａｘＬｏｓｓ）とｓｉａｍｅｓｅネットワークの損失関数（ＣｏｎｔｒａｓｔｉｖｅＬｏｓｓ）を最小にすることである。

モデルトレーニングタスクが完了した場合、インセプション（Ｉｎｃｅｐｔｉｏｎ）ネットワークの各層のパラメータは最適であってもよい。ここで、インセプション（Ｉｎｃｅｐｔｉｏｎ）ネットワークモデルの特徴表現層（即ち、ｆｃ１層）のパラメータが最適化された場合、インセプション（Ｉｎｃｅｐｔｉｏｎ）ネットワークモデルの特徴表現層から出力された特徴ベクトルの製品画像に対する特徴表現能力が最適であることを示すことができる。インセプション（Ｉｎｃｅｐｔｉｏｎ）ネットワークモデルのカテゴリ出力層（即ち、ｆｃ２層）のパラメータが最適化された場合、インセプション（Ｉｎｃｅｐｔｉｏｎ）ネットワークモデルのカテゴリ出力層から出力された特徴ベクトルで表現される製品画像分類結果が最適であることを示すことができる。

上記ステップ１４０では、最適化された前記分類モデルによって画像特徴を取得することは、処理される画像が最適化された分類モデルの入力とし、前記最適化された分類モデルの特徴表現能力を備える層の出力に基づいて前記処理画像の特徴を取得することを含むことができる。最適化された前記分類モデルの特徴表現能力を備える層の出力に基づいて、入力画像の画像特徴を決定することができる。例えば、５０００個のカテゴリの画像ペアを入力とすることを例にとると、モデルトレーニングタスクが完了した場合、ｆｃ１層の出力を選択して入力画像の画像特徴を決定すると、インセプション（Ｉｎｃｅｐｔｉｏｎ）ネットワークのｆｃ１層から出力された２１８４次元の特徴ベクトルを入力画像の画像特徴とすることができ、ｆｃ２層の出力に基づいて入力画像の画像特徴を決定することを選択する場合、ｆｃ２層から出力された５０００次元の特徴ベクトルを入力画像の画像特徴とすることができる。前記５０００次元の特徴ベクトルの各次元は、入力画像が該カテゴリに分類される確率を表す。また、具体的なサービスニーズに応じて、インセプション（Ｉｎｃｅｐｔｉｏｎ）ネットワークのｆｃ１層又はｆｃ２層の出力に基づいて製品の画像特徴を決定することを選択することができる。

本出願の実施例で開示される画像特徴の取得方法では、まず、大規模の製品画像を用いてディープコンボリューションニューラルネットワークに基づく分類モデルを予めトレーニングし、クラス間分散が大きい画像特徴表現を取得し、次に、予めトレーニングされた分類モデルの検証データセットにおける分類結果を用いて構成された混同マトリックスに対してスペクトルクラスタリング分析を行うことにより、混同しやすい製品カテゴリを一個のクラスターにクラスタリングする。そして同一のクラスターにおける混同しやすい製品カテゴリを用いて非類似画像ペアを構成し、同一のカテゴリのトレーニング画像を用いて類似画像ペアを構成することができ、次に、類似画像ペアと非類似画像ペアを用いて分類及び類似度比較のためのマルチタスクモデルの共同最適化を行う。このようにして、混同しやすいカテゴリのクラス間分散をさらに増大させるとともに、類似画像ペアを用いてディープコンボリューションニューラルネットワークの共有パラメータに対する更新及び学習を実現することができ、それによってクラス内分散を効果的に縮小させ、画像の分類モデルの画像特徴表現能力を向上させることができる。

本実施例で開示される画像特徴の取得装置では、図３に示すように、前記装置は、予め設定されたカテゴリのトレーニング画像に基づいて分類モデルをトレーニングするための分類モデルトレーニングモジュール３００と、検証画像を用い、前記分類モデルトレーニングモジュール３００によってトレーニングされた分類モデルの分類結果をテストすることにより、前記分類モデルが比較的混同しやすい非類似画像ペアを決定するための非類似画像ペア決定モジュール３１０と、前記トレーニング画像に基づいて類似画像ペアを決定するための類似画像ペア決定モジュール３２０と、前記類似画像ペアと前記非類似画像ペアに基づいて前記分類モデルを最適化するための分類モデル最適化モジュール３３０と、最適化された前記分類モデルを用いて入力画像の画像特徴を取得するための画像特徴の取得モジュール３４０を備える。

図４に示すように、前記非類似画像ペア決定モジュール３１０は前記分類モデルを用いて検証画像を分類することにより、混同マトリックスを取得するための混同マトリックス取得ユニット３１０１と、混同マトリックスに対してクラスタリング分析を行い、混同しやすいカテゴリを決定するための混同しやすいカテゴリの決定ユニット３１０２と、前記混同しやすいカテゴリに属する検証画像に基づき、非類似画像ペアを構成するための非類似画像構成ユニット３１０３とを含むことができる。

前記混同マトリックス取得ユニット３１０１はさらに前記分類モデルを用いて検証画像を分類することにより、各検証画像の予測カテゴリを取得し、全ての検証画像の真のカテゴリと予測カテゴリに基づいて、混同マトリックスを構成するために用いられてもよい。ここで、前記混同マトリックスの各行における各列の値は、異なるカテゴリに区分される該行に対応するカテゴリの検証画像の数である。

前記混同しやすいカテゴリの決定ユニット３１０２は、さらに前記混同マトリックスをクラスタリングし、複数のクラスターを取得する。ここで、各クラスターに少なくとも一個のカテゴリが含まれ、そして少なくとも２個のカテゴリを含むクラスターにおけるカテゴリを互いに混同しやすいカテゴリとして決定するために用いられてもよい。

前記分類モデル最適化モジュール３３０は、さらに前記類似画像ペアと前記非類似画像ペアを用い、クラス間分散最大化且つクラス内分散最小化の考えに基づいて前記分類モデルを最適化するために用いられてもよい。

前記分類モデルトレーニングモジュール３００は、さらにクラス間分散最大化の考えに基づき、予め設定されたカテゴリのトレーニング画像を用いてディープコンボリューションニューラルネットワークに基づく分類モデルをトレーニングするために用いられてもよい。

前記画像特徴の取得モジュール３４０は、さらに処理される画像が最適化された分類モデルの入力とし、前記最適化された分類モデルの特徴表現能力を備える層の出力を前記処理される画像の特徴として取得するために用いられてもよい。

本出願の実施例で開示される画像特徴の取得装置では、予め設定されたカテゴリのトレーニング画像を用いて分類モデルをトレーニングし、検証画像を用いて前記分類モデルの分類結果をテストし、前記分類モデルが比較的混同しやすい非類似画像ペアを決定し、前記トレーニング画像を用いて決定された類似画像ペアと前記非類似画像ペアに基づいて前記分類モデルを最適化することにより、最適化された前記分類モデルを用いて画像特徴を取得し、さらに取得された画像特徴の画像表現能力を効果的に向上させることができる。

本出願の実施例で開示される画像特徴の取得装置では、大規模の製品画像を用いてディープコンボリューションニューラルネットワークに基づく分類モデルを予めトレーニングすることにより、クラス間分散が大きい画像特徴表現を取得することができる。ディープコンボリューションニューラルネットワークに基づく分類モデルの検証データセットにおける分類結果に対して構成された混同マトリックスに対してスペクトルクラスタリング分析を行い、混同しやすい製品カテゴリを一個のクラスターにクラスタリングする。そして同一のクラスターにおける混同しやすい製品カテゴリを用いて非類似画像ペアを構成することにより、同一のカテゴリのトレーニング画像を用いて構成された類似画像ペアと前記非類似画像ペアに対してマルチタスクモデルの共同最適化を行うことができ、それによって混同しやすいカテゴリのクラス間分散をさらに増大させるとともに、クラス内分散を縮小させることができ、さらに分類モデルの画像に対する特徴表現能力を効果的に向上させることができる。

それに対応して、本出願による電子装置は、メモリ、プロセッサ及び前記メモリに記憶され且つプロセッサで実行可能なコンピュータプログラムを備え、前記プロセッサが前記コンピュータプログラムを実行する時に上述した画像特徴の取得方法が実現される。前記電子装置はＰＣ、移動端末、パーソナルデジタルアシスタント、タブレットコンピュータなどであってもよい。

本出願によるコンピュータ可読記憶媒体は、コンピュータプログラムを記憶し、該コンピュータプログラムがプロセッサによって実行される時に上述した画像特徴の取得方法のステップが実現される。

本明細書における各実施例は漸進的に説明されており、各実施例において主に説明された内容は他の実施例との相違点であり、各実施例の間の類似する部分は互いに参照すればよい。装置の実施例については、それは方法の実施例とほぼ同じであるため、説明は比較的簡単であるので、関連する内容は方法の実施例の部分の説明を参照すればよい。

以上、本出願による画像特徴の取得方法及び装置を詳しく説明し、本明細書において具体的な例を応用して本出願の原理及び実施形態を説明した。以上の実施例の説明は本出願の方法及びそのコア思想の理解を助けるためのものだけに使用される。同時に、当業者であれば、本出願の思想に基づき、具体的な実施形態及び応用範囲において変更を行うことができ、上述したように、本明細書の内容は本出願を限定するものと理解すべきではない。

当業者は、以上の実施形態の説明により、各実施形態がソフトウェアと必要な汎用ハードウェアプラットフォームを組み合わせることで実現されてもよく、当然のことながら、ハードウェアで実現されてもよいことを明確に理解することができる。このような理解に基づき、上記技術的解決策は実質的に、又は従来技術に寄与する部分はソフトウェア製品の形態で表現されてもよく、該コンピュータソフトウェア製品がコンピュータ可読記憶媒体、例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスクなどに記憶されてもよく、コンピュータ装置（パーソナルコンピュータ、サーバ、又はネットワーク装置などであってもよい）に各実施例又は実施例のいくつかの部分に記載の方法を実行させるための複数のコマンドを含む。

Claims (10)

1. 画像特徴の取得方法であって、
   予め設定されたカテゴリのトレーニング画像を用いて分類モデルをトレーニングすることと、
   検証画像を用いて前記分類モデルの分類結果をテストすることにより、非類似画像ペアを決定することと、
   前記トレーニング画像に基づいて類似画像ペアを決定することと、
   前記類似画像ペアと前記非類似画像ペアに基づいて前記分類モデルを最適化することと、
   前記最適化された分類モデルを用いて画像特徴を取得することを含む、前記画像特徴の取得方法。
2. 前記検証画像を用いて前記分類モデルの分類結果をテストすることにより、非類似画像ペアを決定することは、
   前記分類モデルを用いて前記検証画像を分類することにより、混同マトリックスを取得することと、
   前記混同マトリックスに対してクラスタリング分析を行い、混同しやすいカテゴリを決定することと、
   前記混同しやすいカテゴリに属する前記検証画像に基づき、前記非類似画像ペアを構成することを含むことを特徴とする
   請求項１に記載の方法。
3. 前記分類モデルを用いて前記検証画像を分類することにより、前記混同マトリックスを取得することは、
   前記分類モデルを用いて前記検証画像を分類することにより、各前記検証画像の予測カテゴリを取得することと、
   各前記検証画像の真のカテゴリと予測カテゴリに基づき、前記混同マトリックスを構成することを含み、
   ここで、前記混同マトリックスの各行における各列の値は、異なるカテゴリに分類される行に対応するカテゴリの検証画像の数であることを特徴とする
   請求項２に記載の方法。
4. 前記混同マトリックスに対してクラスタリング分析を行い、前記混同しやすいカテゴリを決定するステップは、
   前記混同マトリックスに対しスペクトルクラスタリング分析を行うことにより、各クラスターに少なくとも一個のカテゴリが含まれる複数のクラスターを取得することと、
   少なくとも２個のカテゴリを含むクラスターにおけるカテゴリを前記混同しやすいカテゴリとして決定することを含むことを特徴とする
   請求項２に記載の方法。
5. 前記類似画像ペアと前記非類似画像ペアに基づいて前記分類モデルを最適化することは、
   クラス間分散最大化且つクラス内分散最小化の考えに基づき、前記類似画像ペアと前記非類似画像ペアを用いて前記分類モデルを最適化することを含むことを特徴とする
   請求項１に記載の方法。
6. 予め設定された前記トレーニング画像を用いて前記分類モデルをトレーニングすることは、
   クラス間分散最大化の考えに基づき、予め設定されたカテゴリの前記トレーニング画像を用いてディープコンボリューションニューラルネットワークに基づく分類モデルをトレーニングすることを含むことを特徴とする
   請求項１に記載の方法。
7. 前記最適化された分類モデルを用いて画像特徴を取得することは、
   処理される画像を前記最適化された分類モデルの入力とすることと、
   前記最適化された分類モデルの特徴表現能力を備える層の出力を前記処理される画像の特徴として取得することを含むことを特徴とする
   請求項１に記載の方法。
8. 画像特徴の取得装置であって、
   予め設定されたカテゴリのトレーニング画像を用いて分類モデルをトレーニングするための分類モデルトレーニングモジュールと、
   検証画像を用い、前記分類モデルトレーニングモジュールによってトレーニングされた分類モデルの分類結果をテストし、非類似画像ペアを決定するための非類似画像ペア決定モジュールと、
   前記トレーニング画像に基づいて類似画像ペアを決定するための類似画像ペア決定モジュールと、
   前記類似画像ペアと前記非類似画像ペアに基づいて前記分類モデルを最適化するための分類モデル最適化モデルと、
   最適化された前記分類モデルを用いて画像特徴を取得するための画像特徴の取得モジュールを備える、前記画像特徴の取得モジュール。
9. メモリ、プロセッサ及び前記メモリに記憶され且つプロセッサで実行可能なコンピュータプログラムを備える電子装置であって、前記プロセッサが前記コンピュータプログラムを実行する時に請求項１−７のいずれか一項に記載の画像特徴の取得方法が実現される、前記電子装置。
10. コンピュータプログラムを記憶するコンピュータ可読記憶媒体であって、前記プログラムがプロセッサによって実行される時に請求項１−７のいずれか一項に記載の画像特徴の取得方法のステップが実現される前記コンピュータ可読記憶媒体。