JP6767966B2 - 微視的差異からの機械学習を使用する物体の真贋鑑定 - Google Patents

Description

関連出願の相互参照
本願は、２０１４年４月９日に出願された米国仮特許出願第６１／９７７，４２３号明細書に基づき、この仮特許出願の内容全体は参照により本明細書に援用される。

本開示は、物体の真贋鑑定に関し、より詳細には、微視的差異からの機械学習を使用して物体の真贋を鑑定することに関する。

物理的製品の偽造は世界的な問題である。世界貿易の７％が偽造品に関わると推定されている。何年にもわたり、ホログラム及びバーコード等の顕在的技術からタガントのような隠在的技術まで、偽造品の問題を軽減しようとする様々な技術的解決策が存在した。しかし、これらの解決策は、最終消費者が物体を真贋鑑定するのに役立つことにおいて限られた価値を提供し、一般に、ＲＦＩＤマイクロチップ等の埋め込みタガントの使用を含む。

製品を真贋鑑定する他の手法は、真正品を高品質複製から区別する傾向を有する微妙な差異に精通した熟練した専門家の技能を利用することを含み得る。しかし、これら等の技能は不足し得、販売場所では容易に利用可能ではないことがある。さらに、製品が真正であると鑑定された後であっても、真贋鑑定士は、真正性の証明書を提供し得るが、これも偽造されるおそれがある。

市場で偽造品が広まると、正当な製造業者の収入は低減し得、真正品の価格は上昇し得、中古市場等での高級品の中古市場が阻害され得る。したがって、偽造品の広まりは、製造業者、消費者、及び世界経済にとって悪である。

第１の物体の少なくとも一部分を真贋鑑定する例示的なシステムは、第１の物体の少なくとも一部分の少なくとも１つの第１の顕微鏡画像を受信することを含む。任意選択的に製造プロセス又は仕様に基づいてクラスが関連付けられた少なくとも１つの第２の物体の少なくとも一部分の少なくとも１つの顕微鏡画像を含むラベルデータが、受信される。数学的関数を含む機械学習技法は、ラベルデータをトレーニング入力又は比較入力として使用して物体のクラスを認識するようにトレーニングされ、第１の顕微鏡画像は、機械学習技法へのテスト入力として使用されて、第１の物体のクラスを判断する。

例示的な真贋鑑定システムは、低、中、及び高レベル微視的差異及び特徴を捕捉する畳み込み層及びサブサンプリング層を有するｎステージ畳み込みニューラルネットワークベースの分類器を使用し得る。

例示的な真贋鑑定システムは、特徴抽出、勾配方向ヒストグラムによるキーポイント記述子生成、及びバッグオブビジュアルワードベースの分類器を含むサポートベクターマシンベースの分類器を使用し得る。本システムは、クラスタの密度推定に基づいて物体を分類する異常検出システムを使用することもできる。顕微鏡画像は、物体の識別に必須の曲線、ブロブ、及び他の特徴を含み得る。

物体は、ハンドバッグ、靴、アパレル、ベルト、時計、ワインボトル、アーティストのサイン、スポーツ用品、ゴルフクラブ、ジャージ、化粧品、薬錠、電子デバイス、電子部品、電子チップ、電子回路、電池、電話、自動車部品、玩具、自動車部品、エアバッグ、航空機部品、ファスナー、通貨、紙幣、マネーオーダー、又は偽造され得る任意の他の物品のうちの任意の１つであり得る。

例示的なシステムは、サポートベクターマシンと、ニューラルネットワークと、異常検出技法との組合せを使用して、物品を真贋鑑定することもできる。幾つかの例示的な実施形態によれば、真贋鑑定は、ハンドヘルド計算デバイス又は顕微鏡装置を有する携帯電話を使用して実行し得る。

本開示の例示的な実施形態のこれら及び他の目的、特徴、並びに態様は、添付される段落と併せて解釈される場合、本開示の例示的な実施形態の以下の詳細な説明を読んだ上で明らかになる。

本開示の更なる目的、特徴、及び態様は、本開示の例示的な実施形態を示す添付図と併せて解釈される以下の詳細な説明から明らかになる。

本開示の例示的な実施形態により、バッグオブビジュアルワードを使用して顕微鏡画像から物体を分類し真贋鑑定する例示的な方法を示すフローチャートである。 本開示の例示的な実施形態により、バッグオブビジュアルワード、畳み込みニューラルネットワーク、及び異常検出に基づく投票処理を使用して、顕微鏡画像から物体を分類し真贋鑑定する例示的な方法を示すフローチャートである。 本開示の例示的な実施形態により、物体から顕微鏡画像を抽出し、機械学習システムから数学的モデルを生成することにより、機械学習システムをトレーニングする例示的な方法を示すフローチャートである。 本開示の例示的な実施形態による、トレーニングされた数学的モデルを使用することによるシステムのテストフェーズの例示的な図を示すフローチャートである。 本開示の例示的な実施形態による例示的な８層畳み込みニューラルネットワークを示すブロック図である。 本開示の例示的な実施形態による例示的な１２層畳み込みニューラルネットワークを示すブロック図である。 本開示の例示的な実施形態による例示的な１６層畳み込みニューラルネットワークを示すブロック図である。 本開示の例示的な実施形態による例示的な２０層畳み込みニューラルネットワークを示すブロック図である。 本開示の例示的な実施形態による例示的な２４層畳み込みニューラルネットワークを示すブロック図である。 本開示の例示的な実施形態による偽物画像の第１及び第３の畳み込み層を示す例示的な畳み込みニューラルネットワークパイプラインを示す画像である。 本開示の例示的な実施形態による真正画像の第１及び第３の畳み込み層を示す例示的な畳み込みニューラルネットワークパイプラインを示す画像である。 本開示の例示的な実施形態による真正画像及び偽物画像の例示的な全結合層６を示す画像である。 本開示の例示的な実施形態による真正画像及び偽物画像の例示的な全結合層７を示すグラフである。 複数の畳み込みネットにわたる例示的なマルチスケール処理及び分類を示すブロック図である。 本開示の例示的な実施形態による畳み込みネットワークのアンサンブルにわたり顕微鏡画像を分類する例示的なアンサンブル解決策を示すブロック図である。 本開示の例示的な実施形態による物体を真贋鑑定するモバイルアプリケーションを示す図である。 本明細書に記載される様々な実施形態によるシステム内又はスタンドアロンで使用し得るサーバの例を示す概略図である。 本明細書に記載される様々な実施形態によるクライアントデバイスを示すブロック図である。

図面全体を通して、同じ参照番号及び文字は、示される実施形態の同様の特徴、要素、構成要素、又は部分を示すために使用し得る。さらに、本開示について図を参照してこれより詳細に説明するが、本開示は例示的な実施形態に関連して説明され、図に示される特定の実施形態により限定されない。

本開示の例示的な実施形態による例示的なシステム、方法、及びコンピュータアクセス可能媒体は、微視的差異からの機械学習を使用して物体を真贋鑑定し得る。例示的なシステム、方法、及びコンピュータアクセス可能媒体は、規定又は標準化された方法を使用して製造された物体は、通常は偽造品である非規定の方法で製造される物と比較して顕微鏡レベルで同様の視覚的特徴を有する傾向があるという概念に基づき得る。これらの特徴を使用して、物体の別個のグループを真正又は非真正として分類し区別し得る。

本発明の例示的な実施形態は、ハンドヘルドで低コストのデバイスを使用して、様々な物体の顕微鏡画像を捕捉し得る。次に、微視的領域において、新規の教師付き学習技法を使用し、デバイスから抽出される顕微鏡画像を分類することにより、物体を真贋鑑定し得る。教師付き学習技法の組合せを使用し得る。これらの技法は、以下のうちの１つ又は複数を含み得る：（ｉ）勾配方向ヒストグラムに基づいて特徴を抽出することによりバッグオブビジュアルワードを使用するＳＶＭベースの分類、（ｉｉ）カーネル（フィルタ）、サブサンプリング層、及びプーリング層を変更することによりマルチステージ畳み込みニューラルネットワークを使用する分類、ここでは、異なるアーキテクチャ（例えば、ステージの構成）を使用して、テスト誤差率を低減し得る、及び（ｉｉｉ）基底ベクトルからの最近傍距離に対応するベクトルをランク付けることにより異常検出技法を使用する分類。

例示的なバッグオブビジュアルワード
本開示の例示的な実施形態によるシステムは、物品の顕微鏡画像を分類して、真正を確認するに当たり、５段階プロセスを含み得る：（ｉ）パッチ、コーナー、又はブロブベースの画像記述子を使用して特徴を抽出し、（ｉｉ）最近傍が、ビジュアルワードを形成する同じ又は付近の領域（バッグ）に入るように、記述子を量子化し、これがビジュアルワードを形成し、（ｉｉｉ）顕微鏡画像候補内のビジュアルワードをヒストグラム化し、（ｉｖ）カーネルマップ及び線形ＳＶＭを使用して、真正として画像をトレーニング（又は画像を真正としてラベリング）し、（ｖ）テストフェーズ中、同じ手順を使用して新しい顕微鏡画像を分類して、物品の画像、ひいては物品が真正であるか否かを検証し得る。量子化のレベル、特徴抽出パラメータ、及びビジュアルワード数は、微視的差異を探し、顕微鏡レベルで物品の画像を分類する場合、重要であり得る。

例示的な特徴抽出
物品の画像が、顕微鏡撮像ハードウェアを使用して捕捉されると、画像は、処理のためにより小さな画像チャンクに分割し得る。画像をより小さなチャンクに分割することは、（ｉ）顕微鏡撮像ハードウェアの視野が約１２ｍｍ×１０ｍｍと広い（他のオフセルフ顕微鏡撮像ハードウェアと比較して）ことを含め、複数の利点を提供し得る。幾つかの例示的な実施形態によれば、微視的差異は、１０μｍ範囲で解析し得、したがって、好ましくは、画像は、これらの差異の処理を支援するために、より小さな画像に分割し得る。（ｉｉ）画像をより小さなチャンクに分割することは、ビジュアルボキャブラリを構築し、微小な差異を説明するのに役立ち得る。

次に、各画像チャンク又はパッチは、異なるスケール（スケール不変性のため）でガウスフィルタのラプラシアンを使用して処理され、ロバストなキーポイント又はブロブ領域を見つけ得る。キーポイント周囲のピクセルの正方形近傍（例えば、幾つかの実施形態では、８×８、１６×１６、３２×３２）が選択されて、勾配方向ヒストグラムを計算し得る。回転不変性を達成するために、ヒストグラムは、勾配の主方向の向きに基づいて計算し得る。画像が回転される場合、勾配の主方向は、同じままであり、近傍ヒストグラムの他のあらゆる要素は、非回転画像と同じままである。記述子又はヒストグラムベクトルは、例えば、１２８次元数であり得、記述子はあらゆるキーポイントについて計算し得、スケール又は回転の変化にロバストな画像の記述子が計算されることになる（記述子又はヒストグラムベクトルはｎ次元数であり得る）。

ガウスのラプラシアンは実行時間に関して低速であるため、ＦＡＳＴコーナー検出アルゴリズムを使用して、キーポイントの発見プロセスを加速化することもできる。コーナーは、ＦＡＳＴにより良好に表され、エッジ及びブロブは考慮されない。この問題を軽減するために、画像は、重複しない等しい窓に分割され、次に、ＦＡＳＴ検出器にこれらの各窓内のキーポイントを強制的に発見させ、それにより、動作するキーポイントの密な格子を与え得る。キーポイントが識別されると、プロセスは、勾配方向ヒストグラムを計算して、１組の記述子を得ることを含む。

例示的な量子化
記述子は、ビジュアルワードの数に基づいて、ｋ平均クラスタリングを使用してクラスタ化し得る。基本的にクラスタの数であるビジュアルワード数を使用して、ビジュアルボキャブラリの形成において必要とされる粒度を制御し得る。例えば、階層画像分類では、物体間分類を用いる高レベルほど、ボキャブラリは小さくすることができ、一方、本発明のような微細粒度画像分類では、ボキャブラリは、異なる微視的差異に対応するために、大きいサイズのものである必要がある。したがって、幾つかの実施形態では、微視的差異の多様性を捕捉し得るように、固定数のビジュアルワードが使用されず、代わりに範囲を使用し得る。例えば、ｋ平均クラスタリングは、固定サイズのクラスタの代わりにある範囲のクラスタに対して実行し得る。ｋ平均クラスタ中心はここで、参照画像が、真正（又は非真正）として分類するのに十分なワードとして否かを見つけることにおいて使用されるビジュアルボキャブラリ又はコードブックを形成する。

例示的なビジュアルワードヒストグラム
アルゴリズムでの次のステップは、画像チャンク内のビジュアルワードのヒストグラムを計算することを含み得る。キーポイント記述子は、クラスタ中心（又はビジュアルワード）にマッピングし得、ヒストグラムは、ビジュアルワードの頻度に基づいて形成し得る。ビジュアルワードのヒストグラムが与えられると、ある物品の画像のビジュアルワードをここで、別の物品の画像と照合しようとし得る。真正又は非真正として分類する必要がある物品の画像候補のビジュアルワードをベースライン又はトレーニング画像（それ自体のビジュアルワードセットを有する）と比較して、画像候補を分類することができる。プロセスは自動化し得、したがって、幾つかの例示的な実施形態では、ＳＶＭベースの分類器を使用し得る。

例示的なＳＶＭ分類器
１つ又は複数のトレーニング画像のビジュアルワードが得られると、サポートベクターマシン（ＳＶＭ）を使用して、システムをトレーニングし得る。幾つかの例示的な実施形態によれば、（ｉ）線形ＳＶＭ、（ｉｉ）非線形放射基底関数カーネルＳＶＭ、及び（ｉｉｉ）２線形ｘ^２ＳＶＭを含む３つのタイプのＳＶＭを使用し得る。線形ＳＶＭは、トレーニングがより高速であるが、非線形及び２線形ｘ^２ＳＶＭは、多数のカテゴリを分類する場合、優れた分類結果を提供し得る。幾つかの実施形態では、システムは、一対多分類を使用して、画像を用いてトレーニングし得るが、この手法は、トレーニングセットが増大する（例えば、カテゴリの数が増大する）につれて、拡張できなくなり得る。他の実施形態では、カテゴリ対が分類される一対一手法等の別の手法。幾つかの例示的な実施形態では、両手法を利用し得、両方とも、異なる状況下で妥当な性能を提供する。

アルゴリズムの第１段階中、特徴抽出前、画像はチャンクに分割し得る。分割又は分離窓のステップサイズは、分割された画像を重複させないか、又は重複させ得る。分割は、様々な窓サイズで実行し得、例示的な学習結果を以下に詳細に示す。

例示的な畳み込みニューラルネットワーク
例示的な畳み込みニューラルネットワークは、教師が殆どいない状態で、画像カテゴリ、ビデオサンプル、及び他の複雑なタスクを分類することにおいて成功し得る。技術的現況の機械認識システムは、何らかの形態の畳み込みニューラルネットワークを使用し、技法は、Ｃａｌｔｅｃｈ−１０１、ＣＩＦＡＲ、及びＩｍａｇｅＮｅｔ等の標準的なビジョンデータベースに適用される場合、今までで最良の結果を達成している。

畳み込みニューラルネットワーク（コンボリューションネット）では、各ステージは、畳み込み手順及びサブサンプリング手順を含み得る。２つ以上のステージが分類を改善し得る場合、ステージ数は分類タスクに基づく。あらゆる分類タスクに適する最適なステージ数はない。したがって、幾つかの例示的な実施形態によれば、１ステージ、２ステージ、及び３ステージコンボリューションネットが、分類精度に基づいて選択される最良ステージと併用し得る。

１ステージコンボリューションネットは、畳み込み層及びサブサンプリング層を含み得、その後、出力は全結合ニューラルネットであり、逆伝搬を使用してトレーニングされる。１ステージコンボリューションネットに伴う問題は、勾配ベースの学習手法が、エッジ、コーナー、及び低レベル特徴を識別するが、ブロブ、曲線、及び他の複雑なパターン等のより高レベルの特徴を学習することができないことである。分類正確率は、より高レベルの特徴が捕捉されないことがあるため、８０％超であり得、その上、１ステージコンボリューションネットは、場合によっては、最適未満であるように見え得るが、他の例示的な実施形態において使用し得る。

２ステージコンボリューションネットは、２組の交互になった畳み込み層及びサブサンプリング層を含み得る。最後の２層は、全結合し得、逆伝搬アルゴリズムを使用してトレーニングし得る。２ステージコンボリューションネットは、微視的領域で重要な分類キューであるブロブ、曲線、及び特徴を識別する。表面の顕微鏡画像を観測する場合、エッジ及びコーナーから離れた際立った特徴は、複雑な曲線、ブロブ、及び形状である。これらの特徴は、２ステージコンボリューションネットが使用されたことだけを理由として、捕捉されない。それを達成するには、適切な畳み込み及びサンプリング技法が必要であり得、これについて、このセクションにおいてより詳細に説明する。２ステージコンボリューションネットを用いる場合、９０％超の分類精度を達成し得る。

３ステージコンボリューションネットは、３組の交互になった畳み込み層及びサブサンプリング層並びに全結合される２つの最終層を含む。ネットワーク全体は、逆伝搬アルゴリズムを使用してトレーニングし得る。３ステージコンボリューションネットの性能は、分類精度約７５％で、１ステージ及び２ステージコンボリューションネットよりも悪い性能であり得る。この挙動の一理由は、複雑な曲線及び形状後に微視的領域により高レベルの特徴がないことである。一般的な画像分類タスクでは、例えば、犬と猫とを分類する場合、２ステージコンボリューションネットは、曲線及び幾つかの形状を識別するが、単なる曲線よりも高いレベルにある鼻、耳、目を識別することは決してできない。これらの分類タスクでは、３ステージ（又は時には４又は５ステージ）コンボリューションネットを使用して、より高レベルの特徴を識別することが好ましいことがある。幾つかの実施形態では、微視的パターンが特定の構造を有さないため、３ステージコンボリューションネットは最適未満であり得るが、他の例示的な実施形態では使用し得る。実際には、最終ステージ（畳み込み及びサブサンプリング）に起因して、分類で必要な特徴の幾つかは失われ得る。

例示的な畳み込み層
バッグオブビジュアルワード法を使用しての物体認識タスクでの特徴抽出は、特徴の識別区別を含み得る。スケール不変性特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、及び他の技法を使用したハンドクラフト特徴抽出を使用し得る。画像統計が既に分かっている場合、ハンドクラフト特徴が特によく適し得る。しかし、画像統計が未知の場合、ハンドクラフト特徴は問題であり得、その理由は、何が示差的特徴セット−−画像の分類に役立つ特徴セット−−であるかが不明確であるためである。この問題を回避するために、複数の畳み込みを画像候補に対して実行して、異なるタイプの特徴を抽出又は捕捉し得る。幾つかの実施形態では、９６タイプの畳み込みカーネルを画像候補に対して使用して、畳み込み層の一部として、サイズ９６の特徴マップを生成し得る。これらの畳み込みは、顕微鏡画像で生じ得る多様な歪みを捕捉する。画像は物体表面の画像捕捉及び改竄からの変動及び歪みを受けるため、畳み込みを画像に適用して、そのような歪みに対してネットワークをロバストにし得る。また、これらの組のフィルタはトレーニング可能であり、したがって、畳み込み層内のフィルタは、顕微鏡画像に基づいてトレーニングし得る。トレーニング可能なフィルタは、分類アルゴリズムが一定の組のフィルタ／畳み込みに依存しないようにするために必須である。フィルタをトレーニング可能にするために、トレーニング可能なスカラー項は、ｉ番目の特徴マップがｍ_ｉ＝ｇ_ｉｔａｎｈ（ｆ_ｉ ^＊ｘ_ｉ）であるような非線形関数と共に使用し得、式中、ｇ_ｉはスカラー項であり、ｔａｎｈは非線形関数であり、ｆ_ｉはフィルタであり、ｘ_ｉは画像である。

例示的なサブサンプリング層
畳み込みが画像に対して実行されると、出力は、１組の特徴マップを含み得る。各特徴マップは次に、最大プーリングされ、コントラスト正規化されて、サイズが低減された特徴マップを生成し得る。これは、サブサンプリングプロセスであり、大きなずれへのロバスト性の改善と共に、特徴マップの次元を低減するために行われ得る。畳み込みは歪みへのロバスト性を提供するが、サブサンプリングは、シフト、並進移動、及び微小な歪みよりも大きな変動に関してのロバスト性を提供する。ステップが４である４×４〜１６×１６ピクセルのサイズ範囲のスライド窓を使用して、これらの窓パッチの最大プールを計算して、サブサンプリング特徴マップを形成し得る。特徴マップは次に、ガウス窓を使用してコントラスト正規化されて、疑似特徴の影響を低減する。窓サイズ（及びステップサイズ）を変更すると、テスト誤差率が大幅に変化する。窓サイズが増大するにつれて、テスト誤差率は増大する。これは部分的に、小さなエリアとは対照的に大きなエリアから最大プーリングされる場合、より高レベルの特徴が失われるためである。また、局所コントラスト正規化により実行される「平均処理」は、区別可能な特徴がないフラットな特徴を増大生じさせる。したがって、好ましい実施形態では、窓サイズは、サブサンプリング層において特定の限度（例えば、４×４、８×８、又は１６×１６）内に保たれる。

平均プーリングは、微小な歪み及び疑似特徴の影響を正規化するために実行することもできる。プーリング手順は、視覚認知での複雑な脳細胞をモデリングし、局所コントラスト正規化は特定の神経科学モデルに従う。

最後の２層は全結合され、線形分類器を使用して、最終的な出力値を分類し得る。最後の２層は、隠れ層と、分類のためのロジスティック回帰とを有する多層ニューラルネットワークとして機能する。最終層では、ソフトマックス基準又は交差エントロピーベースの基準を分類に使用することができる。ＳＶＭベースの技法を使用して、最終層の出力を分類することもできる。全体が２ステージ８層のコンボルーションネットの例を図５に提示する。図５では、第１のステージは５０１、５０２、５０３、５０４、及び５０５であり、５０６、５０７、５０８は第２のステージである。

バッグオブビジュアルワード法を使用する物体認識タスクでの特徴抽出は、示差的特徴の識別を含む。ＤＳＩＦＴ、ＤＡＩＳＹ、及び他の技法を使用するハンドクラフト特徴抽出を使用し得る。画像統計が既に分かっている場合、ハンドクラフト特徴を使用し得る。しかし、画像統計が未知の場合、ハンドクラフト特徴は問題であり、その理由は、何が示差的特徴セット−−画像の分類に役立つ特徴セット−−であるかが不明確であるためである。画像内の微細粒度特徴及びマクロ特徴の両方が失われるおそれがあり、その理由は、ハンドクラフト特徴画、それらを関心領域又は関心点として識別することができないことがあるためである。顕微鏡画像の分類においてこの問題を回避するために、畳み込みニューラルネットワーク（ＣＮＮ）を使用し得る。

ＣＮＮは、画像に対して実行される動作の層である。一般に、使用される層が多いほど、ＣＮＮモデルの性能又は精度はよくなる。ＣＮＮの深度は、複雑な特徴の分類又は学習の精度を決め得る重要なハイパーパラメータである。表面の顕微鏡画像を観測する場合、エッジ及びコーナーから離れて際立つ特徴は、複雑な曲線、ブロブ、及び形状である。これらのより高レベルの特徴は、特徴検出器、量子化、及びＳＶＭ又はｋ−ＮＮ分類器からなる従来のコンピュータビジョンパイプラインでは捕捉されない。浅い層畳み込みネットは、点及びエッジ等の特徴を学習するが、ブロブ及び形状等の中〜高レベルの特徴を学習しない。微視的特徴は、多様な特徴を有する傾向があり、様々なレベル（中〜高レベル）の粒度でこれらの特徴を学習する重要である。ネットワークにこれらのより高レベルの特徴を学習させるために、複数の層を有する十分に深いＣＮＮを使用し得る。

本発明の幾つかの例示的な実施形態によれば、３つのタイプの畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャを使用して、材料の様々な顕微鏡画像のデータセットにわたり高レベルの精度を達成し得る。第１のアーキテクチャは、畳み込み層、プーリング層、及び全結合層の８層ネットワークである。第２のアーキテクチャでは、全結合層の１つを削除するが、第１の畳み込み層でのフィルタサイズ及びストライドを低減して、微細粒度特徴の分類を支援する。第３のアーキテクチャ又は技法は、領域ベースのＣＮＮ（Ｒ−ＣＮＮ）を使用して画像内の領域を識別するためのものである。領域選択器が、画像内に約２０００の領域候補を提供する画像にわたり実行される。次に、各領域は、分類のためにＣＮＮに渡される。

第１のネットワークアーキテクチャは、３つの最大プーリング層及びＲｅＬＵ（正規化線形関数）と共に３つの畳み込み層、その後に続く、２つの独立畳み込み層（最大プーリング層を有さない）及び最終セクションでの３つの全結合層からなる。最終分類器は、全てのクラスにわたるスコア又は確率を与えるソフトマックス関数である。このアーキテクチャを図５に提示する。入力ＲＧＢ（３チャネル）画像５０１は、２５６×２５６×３にダウンサンプリングされ、次に、２２７×２２７×３に中心クロッピングされてから、ネットワークに入る。第１の畳み込み層において、入力画像は、ｘ方向及びｙ方向の両方においてカーネルサイズ１１及びストライド４を有する９６の異なるフィルタを用いて畳み込まれる。出力である１１０×１１０×９６の特徴マップ５０２が、ＲｅＬＵを使用して処理され、カーネルサイズ３、ストライド２を用いて最大プーリングされ、局所反応正規化を使用して正規化され、５５×５５×９６の特徴マップを取得する。後続する層で、特徴マップに対して同様の演算を実行し得る。層２において、特徴マップは畳み込まれ、ＲｅＬＵを使用して処理され、最大プーリングされ、正規化されて、サイズ２６×２６×２５６の特徴マップ５０３を取得する。次の２層（層３、層４）５０４及び５０５は、ＲｅＬＵを有するが、最大プーリング及び正規化を有さない畳み込み層である。出力特徴マップのサイズは１３×１３×３８４である。層５は、畳み込み演算、ＲｅＬＵ演算、最大プーリング演算、及び正規化演算からなり、サイズ６×６×２５６の特徴マップ５０６を取得する。次の２層（層６、層７）５０７は全結合し得、４０９６次元ベクトルを生成し得る。最終層は、Ｃクラスにわたる確率を出力するＣ元ソフトマックス関数５０８である。

様々なタイプの畳み込みカーネルを画像候補に対して使用して、畳み込み層の一部として、異なるサイズの特徴マップを生成し得る。これらの畳み込みは、顕微鏡画像で生じ得る多様な歪みを捕捉する。画像は物体表面の画像捕捉及び改竄からの変動及び歪みを受けるため、畳み込みを画像に適用して、そのような歪みに対してネットワークをロバストにし得る。また、これらの組のフィルタはトレーニング可能であり、したがって、畳み込み層内のフィルタは、顕微鏡画像に基づいてトレーニングし得る。トレーニング可能なフィルタは、分類アルゴリズムが一定の組のフィルタ／畳み込みに依存しないようにするために特に有用であり得る。

畳み込みが画像に対して実行されると、出力は１組の特徴マップであり得る。次に、各特徴マップは、最大プーリングされ、正規化されて、サイズが低減された特徴マップを生成する。これはサブサンプリングのプロセスであり、サブサンプリングは基本的に、大きなずれへのロバスト性の改善と共に、特徴マップの次元を低減するために行われる。畳み込みは、歪みへのロバスト性を提供するが、サブサンプリングは、シフト、並進移動、及び微小な歪みよりも大きな変動に関してのロバスト性を提供する。窓サイズ（及びステップサイズ）を変更すると、テスト誤差率が大幅に変化する。これは部分的に、小さなエリアとは対照的に大きなエリアから最大プーリングされる場合、より高レベルの特徴が失われるためである。また、局所反応正規化により実行される「平均処理」は、区別可能な特徴がないフラットな特徴を増大生じさせる。したがって、窓サイズは、サブサンプリング層において特定の限度内に保たれる。平均プーリングは、微小な歪み及び疑似特徴の影響を正規化するために実行することもできる。

第２のアーキテクチャでは、フィルタサイズ及びストライドは、第１の畳み込み層において低減し得る。カーネルサイズ１１の代わりに、カーネルサイズ８を使用し得、ストライド４の代わりに、ストライド２を使用し得る。この変更は、パラメータ数を増大させ、したがって、トレーニングは、はるかに少数のバッチサイズで実行し得る。トレーニングバッチサイズは、２５０枚の画像から５０枚の画像に低減し得る。フィルタサイズを低減し、ストライドを低減するこのタイプの技法は、微細粒度特徴の認識／分類を増大させるために行われる。第１のアーキテクチャと比較した第２のアーキテクチャでの唯一の変更は、第１の畳み込み層でのフィルタ及びストライドサイズの低減である。第１の層が異なるため、予めトレーニングされた重みは使用されない。むしろ、新しい組の重み初期化、バイアス、学習率、及びバッチサイズを使用して、ネットワーク全体を最初からトレーニングし得る。ネットワークの深度に起因して、過剰適合を生じさせやすいため、データ拡張を使用して、データセット内の画像数を増大させ得る。並進移動、シフト、水平及び垂直反転、２２７×２２７領域（例えば、元の２５６×２５６からの）のランダムクロッピング、及び回転等のラベル保存データ拡張技法を使用し得る。これらの拡張技法を使用して、データセットを５０倍、増大させ得る。また、ランダムドロップアウトを最後の２層に使用して、過剰適合を正規化し、低減し得る。

８層ＣＮＮは、１２層、１６層、２０層、及び２４層深層ＣＮＮに拡張し得る。層の数が増大するにつれて、ネットワークは、互いから２つ以上のクラスを区別する微細粒度特徴を学習する。１２層ＣＮＮのアーキテクチャを図６に提示する。最初の２層６０１は、最大プーリング層及びＲｅＬＵ（正規化線形関数）と共に畳み込み層、その後に続く４つの独立畳み込み層６０２（最大プーリング層を有さない）からなる。この後、３組の畳み込み層、最大プーリング層、及びＲｅＬＵ層６０３及び最終セクション内の２つの全結合層が続く。最終分類器は、全てのクラスにわたるスコア又は確率を与えるソフトマックス関数である。

１６層ＣＮＮのアーキテクチャを図７に提示する。１２層ＣＮＮは、最初の２つの１１０×１１０×９６層７０２の後に２つの畳み込み層を追加することにより拡張され、２６×２６×２５６層７０３は１２層ＣＮＮと同じままであり、２つの追加の畳み込み層１３×１３×３８４が追加される（７０４）。

２０層ＣＮＮは、図８に提示される１６層ＣＮＮの拡張である。追加の１１０×１１０×９６層８０１、２６×２６×２５６層８０２、並びに１３×１３×３８４層８０３及び８０４、１つの追加の全結合層８０５が追加されて、アーキテクチャを２０層ＣＮＮに拡張する。

図９に提示される２４層ＣＮＮでは、５つの１１０×１１０×９６層９０１、５つの２６×２６×２５６層９０２、５つの１３×１３×２５６層９０３、４つの６×６×２５６層９０４、４つの全結合層９０５、及び最後にソフトマックス関数があり得る。一般に、顕微鏡画像を分類することができるｎ層ＣＮＮを使用し得る。

上記提示された各アーキテクチャ（８層、１２層、１６層、２０層、２４層）を用いて、マルチスケール手法を使用して、異なるスケール及び画像分解能で顕微鏡画像を処理し得る。マルチスケール手法を図１４に提示する。画像は、複数のスケール、分解能、及び画像サイズで畳み込みネットワークに導入される（１４０１）。畳み込み層でのカーネル（フィルタサイズ）及びストライドは、１４０２において、１×１から１５×１５まで複数のストライド（１〜８）で適用され、したがって、画像スケールの変動をこれらの畳み込み層により捕捉する。

ＣＮＮアーキテクチャ又はモデルは、画像を分類し、フィルタがネットワーク全体にわたり学習可能であることを示すことができる。また、異なるアーキテクチャを組み合せ得、ソフトマックス確率をこれらのアーキテクチャにわたりプーリングして、画像のクラスを決定し得る。図１５に示されるこのアンサンブル手法は、異なるモデル／アーキテクチャにわたる学習特徴を集計し（１５０２）、画像を分類する包括的な手法を提供する。例えば、最初の８層モデルが曲線を学習して、画像１５０１を区別する場合、１２層モデルは、ブロブ、コーナーを学習して、クラス間の画像を区別し得る。複数のモデルからの結果を結合するこのアンサンブル手法は、複数の特徴にわたり画像クラスを区別するに当たり使用し得る。最終結果は、アンサンブル全体にわたる結果のアベレージ又は平均である。

図１０、図１１、図１２、及び図１３は、２枚の画像を分類する動作でのＣＮＮパイプラインを示す。一方は、真正ルイヴィトンモノグラムバッグの表生地の顕微鏡画像１００１であり、他方は、偽造ルイヴィトンモノグラムバッグの表生地の顕微鏡画像１１０１である。裸眼には、両画像とも略同じに見えるため、真正画像と偽物画像とを区別することが難しいことがある。しかし、ＣＮＮは、画像を真正クラス及び偽物クラスに区別／分類することに成功する。畳み込み層１ １００２及び１１０２は、各画像の最初の３６のフィルタ（９６のうちの）を示し、畳み込み層３ １００３及び１１０３は、各画像の３８４のフィルタを示す。両画像とも同様に見えるが、微小な違いがある。全結合層６（ｆｃ６）１２０１及び１２０２では、各画像の４０９６次元ベクトルは異なる。同様に、全結合層７（ｆｃ７）１３０１及び１３０２では、各画像に対応する４０９６個のベクトルは異なる（ここで、２つのベクトルを区別することができ、それにより、画像を区別し得る）。ｆｃ７後、ソフトマックス関数は、４０９６ベクトルを入力としてとり、各クラスのスコア／確率を出力する。

並進移動、剪断、回転、反転、鏡像、歪み（狭い窓及び大きい窓内）、膨張、及び複数のカーネルにわたる画像を変換する−−ラベル保存変換−−等のデータ拡張技法を使用して、データセットサイズを増大させ得る。これは、画像のより多くの変換がトレーニングセットの部分であるため、モデルの過剰適合を回避するのに役立つ。

領域ベースのＣＮＮ：第３のタイプのアーキテクチャでは、画像の領域候補を取得するＲ−ＣＮＮを使用し得、これらの画像候補は、ＣＮＮへの入力として使用される。選択的選択技法を使用して、画像内の領域としてバウンディングボックスを取得し得る。これらの領域候補が識別されると、これらの領域は、画像として抽出し得、ＣＮＮへの入力に必要とされる寸法である２５６×２５６にスケーリングし得る。選択的選択技法は、画像毎に約２０００の領域を与え、したがって、データセットは２０００倍、増大する。トレーニングセットの大量の増大に起因して、第１の「微細調整」ＣＮＮアーキテクチャを使用して、画像をトレーニングする。領域ベースのＣＮＮの論拠は以下である。一方が真正であり、他方が偽物である２枚の顕微鏡画像が、画像内の特定の一エリアのみで異なる場合、２枚の画像を分類するために、非常に深いネットワークが必要であり得る。代わりに、現在の枠組み又はアーキテクチャを使用し得、領域ベースの選択技法を使用して、領域を識別し、それに従って画像を分類し得る。

このシステムは、以下の物体及び材料にわたり広がる１２０万の顕微鏡画像で評価し得る：（１）皮：３０，０００枚の顕微鏡画像を２０タイプの皮から捕捉し得る。（２）布地：６，０００枚の画像を１２０タイプの布地から抽出し得る。（３）高級品デザイナーバッグ：２０，０００枚の画像をオンライン高級品小売サイトから得られた１００の高級品デザイナーバッグから抽出し得る。通りの行商人及びオンライン偽物高級品サイトから購入した幾つかの偽物ハンドバッグも使用し得る。これらは、オリジナルのバッグにかなり類似するが、特定の領域で小量だけ異なり得る、いわゆる「スーパーフェイク」を含む。これらの高品質の偽物に起因して、顕微鏡画像をハンドル、他の表面、トリム、裏地、縫い目、ジッパー、内表面、金属ロゴ、及び金属ハードウェアリンク等のバッグのあらゆる領域から抽出し得る。（４）プラスチック：２０００枚の画像を１５タイプのプラスチック表面から抽出し得る。（５）２０００枚の画像を１０タイプの紙から抽出し得る。（６）ジャージ：５００枚の画像をＮＦＬ店から購入した２つの真正ＮＦＬジャージ及び通りの行商人から取得した２つの偽物ＮＦＬジャージから抽出し得る。（７）錠剤：２００枚の画像を幾つかの薬錠剤から抽出して、差異及び分類結果を示し得る。

トレーニングセットが画像の７０％を含み、検証セットが画像の２０％を含み、テストセットが画像の１０％を含むように、各物体／材料データベースを３つのセット：トレーニングセット、検証セット、テストセットにランダムに分割し得る。アルゴリズムをトレーニングセットに対して実行し、検証精度が検証セットでテストされる。学習サイクル（トレーニング、検証）が完了する（早期停止により、又は最大反復に達するまで）と、アルゴリズムをテストセットに対して実行して、テストセット精度を特定する。１０分割交差検証精度をテストセットで提供し得る。（データセットはトレーニングセット、検証セット、テストセットに１０回分割され、その都度、精度が特定される。１０分割交差検証精度は、１０回の試行にわたる平均テスト精度である）。

バッグオブビジュアルワードの視点から、４タイプの分類方法を適用し得る。（ｉ）密度特徴抽出にはＤＳＩＦＴ、量子化にはｋ平均、及び最終分類にはＳＶＭ、（ｉｉ）密度特徴抽出にはＤＡＩＳＹ、量子化にはｋ平均、及び最終分類にはＳＶＭ。残りでは、最終ステップにおいてＳＶＭの代わりにｋ−ＮＮを使用し得る。

ＣＮＮでは、過剰適合を回避し、良好なテスト精度を得るために、データセットのサイズは、４回転、各回転での反転、１２の並進移動（サイドラップ及びサイドアップ）、及び２５６×２５６入力画像の３０のランダムにクロッピングされた２２７×２２７領域へのクロッピング等のラベル保存歪みを生成することにより、人為的に増大させ得る。これは、データセットサイズを５０倍増大させ、３００万枚にする。（なお、このデータ拡張は、データセットがトレーニングセット、検証セット、及びテストセットに分割されると実行される。その他の場合、検証／テストは、同じトレーニングセットの異なる歪みに対して実行される）。

ＣＮＮのトレーニングパラメータは以下であり得る。ＣＮＮでは、学習率は０．００１であり、ステップサイズは２００００であり、重み減衰は０．０００５であり、モーメンタムは０．９であり、バッチサイズは５０である。より深層のＣＮＮでは、学習率は０．０００１であり、ステップサイズは２０００００である。１２層、１６層、２０層、２４層ＣＮＮは、最初からトレーニングされるため、８層ＣＮＮよりも学習率は大幅に低く、ステップサイズは高い。

皮：３０，０００の皮サンプルにわたるテスト精度は以下であり得る。（データ拡張後、データセットのサイズは１５０万枚の画像に増大し得る）。バッグオブビジュアルワードモデルでは、１０分割交差検証後の平均テスト精度は約９３．８％であり得る。ｋ−ＮＮベースの方法は、ＳＶＭベースの方法よりも性能が低い傾向があり、ＤＳＩＦＴの性能はＤＡＩＳＹ記述子よりもわずかによい。ＤＡＩＳＹでの記述子サイズが増大する場合、より高い精度率が達成可能であり得る。ＣＮＮでは、平均テスト精度は９８．１％であり得る。最後の層は、２０タイプの皮を分類する２０元ソフトマックス分類器である。

布地：バッグオブワードモデルでの平均テスト精度は９２％であり得る。皮サンプルと比較して精度率が低減する理由の１つは、クラスサイズの増大に起因し得る。ＣＮＮでのテスト精度は９８．３％であり得る。データ拡張及びドロップアウト技法は、バッグオブビジュアルワードモデルと比較して精度率を増大させる。データ拡張に起因して、データセットは３００，０００枚の画像に増大する。

バッグ：画像は、ブランド毎に分類し得る。データセット内のブランドは、ＬＶ、シャネル、グッチ、プラダ、コーチ、マイケルコース、及びクロエであり得る。７元分類器が可能であるが、各ブランドの真正バッグ及び偽物バッグを使用し得るため、二項分類を実行し得る。特定のブランドのバッグの入力画像を所与として、それぞれがそのブランドの真正版であるか、それとも偽物版であるかを判断し得る。マルチクラス分類の代わりに二項分類を使用し得る理由は、以下である。（ｉ）異なるブランドのバッグは同じ材料を使用し得る。したがって、異なるブランドにわたる同じ材料を分類することは、一貫しない結果を生じさせる。（ｉｉ）行われた実験は、現実世界の状況を模倣しようとし得る。人は、特定のブランドの高級品デザイナーバッグを購入した場合、ブランド名が与えられたそのバッグの真贋を知りたい。したがって、バッグを全てのブランドにわたり分類する代わりに、二項分類（真正又は偽物）をブランド毎に実行し得る。

２０，０００枚の画像（データ拡張後、データセットは１００万枚の画像に増大する）にわたり、バッグオブビジュアルワードモデルのテスト精度は９２．４％であり得る。したがって、ＳＶＭベースの方法は、ｋ−ＮＮベースの方法よりもよりよく機能し得る。ＣＮＮでは、平均テスト精度は９８．５％であり得る。バッグは、皮、布地、カンバスから金属ロゴ、金めっきロゴ、ジッパー等まで及ぶ様々なタイプの表面を有する。データ拡張技法及びＣＮＮの深層アーキテクチャは、精度率の増大に役立つ。

プラスチック：これは、１０の異なるタイプのプラスチック材料にわたる１０元分類であり得る。バッグオブワードモデルでの平均テスト精度は９２．５％であり得る。ＣＮＮでは、平均テスト精度は９５．３％であり得る。

紙：２０００枚の画像及び１０タイプの紙にわたる紙の平均テスト精度は、バッグオブワードモデルでは９４．３％であり得、ＣＮＮでは９５．１％であり得る。バッグオブワード及びＣＮＮ両方の結果は、紙サンプルの分類に関しては同等である。

ジャージ：ＮＦＬジャージを用いても、二項分類を実行し得る。入力画像を所与として、画像が真正であるか、それとも偽物であるかを判断し得る。バッグオブワードモデルでの平均テスト精度は９４％であり得、ＣＮＮは９８．８％であり得る。深層ＣＮＮは、画像の幾つかで微細粒度細部を捕捉することが可能であり得、これは、残りの方法と比較して優れた性能を与え得る。

錠剤：このデータセットでは、偽物の錠剤を使用する必要がないため、２つの異なるタイプの錠剤の分類に二項分類を使用し得る。バッグオブワードモデルでの平均テスト精度は９６．８％であり得、ＣＮＮでは９８．５％であり得る。

Ｒ−ＣＮＮ：Ｒ−ＣＮＮを用いる場合、画像毎に２０００の領域を取得し得るため、テストを１０００のバッグに対して実行し得る。（なお、ここでデータセットが２００万枚の画像である）。１０分割交差検証テスト精度は９８．９であり、これは８層及び１２層ＣＮＮよりも高い。これは、Ｒ−ＣＮＮが、８層及び１２層の両方が見逃す微細粒度特徴を分類可能なことを示す。

トレーニングフェーズ：トレーニングフェーズでは、顕微鏡画像を様々な製品又は製品のクラスから抽出して、トレーニングセットを形成し得る。次に、画像はトレーニングされテストされて、真贋鑑定に使用可能なモデルを生成し得る。高級ハンドバッグを真贋鑑定する場合、特定に一ブランドのバッグを取得し得、本明細書に記載されるデバイスを使用して、複数の顕微鏡画像を抽出し得る。ハンドバックのあらゆる領域をスキャンし得る：ダストバッグ、表材料、表の縫い目、内側の皮、内側のジッパー、内側のロゴ、表の皮のトリム、表のジッパー、内側のライナー。画像は、バックエンドサーバにアップロードされ、処理され、トレーニングし得る。この手順は、真正バッグ及び偽造バッグの両方に対して行い得る。トレーニングされると、交差検証されテストされたモデルは、真贋鑑定フェーズに使用可能になり得る。

図１６に示されるように、真贋鑑定フェーズ中、ステップは以下のように実行し得る。（ｉ）ユーザはモバイルアプリを開き、物体上にデバイスを配置し、（ｉｉ）デバイスは、１６０１において、ＷｉＦｉを介して物体の微視的表面のライブビデオをアプリにストリーミングし、（ｉｉｉ）ユーザは、１６０２において、アプリを使用して画像（又は複数の画像）を捕捉し、それをサーバにアップロードし、（ｉｖ）数秒で、サーバは、１６０３において、物体が「真正」又は「偽物」であったことを伝えるメッセージで応答する。デバイス及びサーバとインターフェースする、ＡＰＰＬＥ，ＩＮＣ．により提供されるモバイルオペレーティングシステムであるＩＯＳ向けに設計されたモバイルアプリ等のモバイルアプリを真贋鑑定フェーズで使用し得る。ハンドバッグ等の場合、ユーザは、真贋をチェックするために、バッグの様々な領域からの複数の画像をアップロードする。いわゆる「スーパーフェイク」バッグが、幾つかの領域で同じ材料を使用する傾向があるため、複数の領域から画像を捕捉し、真贋についてチェックし得る。

本発明の例示的な実施形態は、３つの重要な点で既知の手法と異なり得る。（ｉ）顕在的／隠在的技法では、製品の製作源又は製造源でそれらの技法を適用する必要がある。それに対して、本事例では、テストは製品の製造源で実行する必要がない。インク、バーコード、ホログラム、微細構造等の顕在的技術とは異なり、本発明の例示的な実施形態は、製品又は物体内にいかなる物質も埋め込む必要がない。

本明細書に記載される技法は、非侵襲的であり得、物体を決して変更しない。（ｉｉ）一つ一つの物品にタグ付けする必要がない。オリジナル及び複製の分類は、画像から得られる微視的差異に基づき得る。（ｉｉｉ）現在の顕在的／隠在的真贋鑑定技法は、物体を真贋鑑定することができない先にタグ付けされていなかった。本手法では、機械学習技法が使用されるため、物体の新しいインスタンスを真贋鑑定し得る。（ｉｖ）ナノプリント、マイクロタガント等の大半の技法は、製品に埋め込むことが高価である。それに加えて、消費者／企業での採用の問題である専用の高価な微視的ハンドヘルドデバイスに基づいて検出。本発明の例示的な実施形態は、携帯電話を用いて機能し、低コストであり、使いやすいデバイス及びクラウドベースの真贋鑑定解決策を使用し得る。

教師付き機械学習、半教師付き学習、及び教師なし学習技法を使用する画像分類は、大規模な画像分類に使用される。ＳＶＭ及び畳み込みニューラルネットワークは、大規模画像分類で重要な２つの技法である。本発明の例示的な実施形態は、少なくとも３つの点でこれらの手法と異なる：（ｉ）特徴検出及び微視的差異を識別するようなトレーニング、（ｉｉ）中レベル及び微細粒度特徴に基づく物体の顕微鏡画像の分類、並びに（ｉｉｉ）複数の技法の組合せ（例えば、ＢｏＷ、深層コンボリューションネット）及び顕微鏡的撮像ハードウェアを使用しての物体の真贋鑑定。

例示的な異常／ノベルティ検出
入力画像は、様々なサイズのスライド窓を使用して、より小さなチャンクに分割し得る。特徴抽出は各チャンクに対して実行し得る：キーポイントを検出するガウスのラプラシアン及びキーポイントから示差的な記述子を生成する勾配方向ヒストグラム。

幾つかの実施形態では、各記述子は１２８次元空間でのベクトルであり得る。様々な窓サイズから得られる全ての画像チャンクは、１２８次元ベクトル空間に射影し得る。同様に、トレーニングセットからの全ての画像も、ベクトル空間に射影し得、テストフェーズ中の後の時点でベクトル候補と比較することができるベクトルのトレーニングセットを形成する。

幾つかの実施形態では、ＯＰＴＩＣＳアルゴリズム（点を順序付けてクラスタリング構造を識別）を使用することにより、トレーニングベクトルの密度を特定し得る。ＯＰＴＩＣＳアルゴリズムは、トレーニングセット内でクラスタを見つけ、トレーニングセット内の全てのサブクラスタの密度を結合することにより、トレーニングセット全体は、１つのクラスタとして扱い得る。

トレーニングセットでのクラスタ及びその密度がトレーニングされると、テストフェーズを開始し得る。真正又は非真正として分類する必要がある物品の画像候補は、顕微鏡的撮像に使用されたハードウェアを使用して抽出し得る。特徴抽出アルゴリズムを使用して、記述子ベクトルを生成し得、ベクトルは１２８次元空間に射影される。これらのテストベクトルの密度は、ＯＰＴＩＣＳアルゴリズムを使用して計算し得る。

密度比較：トレーニングセット及びテストセットの密度を所与として、閾値を設定して、テストセットがトレーニングの一部であるか否かを判断し得る。これは、トレーニングセットとテストセットとの重複量を特定することもできる。本発明の幾つかの例示的な実施形態によれば、重複が多いほど、テストベクトルが元のトレーニングセットに近い確率が高くなる。

マルチクラス分類では、異常検出技法を使用することが可能ではないことがあり、その理由は、異常検出技法が２クラス分類問題を伴うためである。異常検出技法は、トレーニングデータ内でクラスタを見つけることができるが、分類にはＳＶＭ（上述したバッグオブビジュアルワード技法と同様）が使用される。本発明の例示的な実施形態は主に、偽物画像から真正画像を検出し得、したがって、２クラス問題であり、この場合、異常検出は上手く機能し得る。

例示的なシステム
物体を真贋鑑定する全体システムは、複数の学習技法の組合せを使用する。幾つかの実施形態では、ステップは以下を含み得る。

トレーニングフェーズ：トレーニングフェーズでは、顕微鏡画像を様々な製品又は製品のクラスから抽出して、トレーニングセットを形成し得る。抽出された顕微鏡画像はチャンク（重複又は非重複）に分割し得、これらのチャンクは、分類システムへのトレーニングデータセットとして使用し得る。トレーニングデータセットは、製品を記述するクラス又はクラス定義も含む。クラス定義は、製品仕様（名称、製品ライン、ブランド、出所、及びラベル）に基づき得るか、又は製品の製造プロセスに関連し得る。例えば、バッグ、時計のブランド、電子チップの仕様等）であることができる。

画像チャンクは、ＳＶＭ、コンボリューションネット、及び異常検出システムへの入力として与え得、それに従って分類される。

テストフェーズ：図４において参照されるテストフェーズ又は真贋鑑定フェーズでは、物体の１つ又は複数の顕微鏡画像を抽出し得る。用途に基づいて、物体の様々な領域からの画像を抽出して、多様な画像セットを与え得る。物体の様々な領域からの画像抽出はまた、偽造品を抑止し、偽造品検出率を増大させる。偽造品は、物体の一部分を複製することが可能であり得るが、物体の様々な部分の複製は、経済的に実現不可能であり得る。

図２に示されるように、第１の顕微鏡画像をデバイスから抽出し得る（２００１）。抽出された顕微鏡画像は、チャンク（例えば、重複又は非重複）に分割し得る（２００２）。各チャンクは、バッグオブビジュアルワードシステム２００３、コンボリューションネット２００４、及び異常検出２００５システムへの入力として使用し得る。

各システムの結果（例えば、分類出力）は、表化し得、過半数がある（２：１以上）場合のみ（２００６）、その画像又はチャンクは真正であると見なされる（過半数が示されない場合、画像は非真正として見なされる）。幾つかの実施形態では、閾値は、画像内の真正チャンク数に対して指定し得る。画像内の真正チャンク数が閾値を超える場合、その画像は真正と見なされ、その他の場合、非真正と見なし得る。いずれの場合でも、結果は提供される（２００７）。

クラス数が２（例えば、真正又は非真正）よりも大きいマルチクラス分類問題がある幾つかの実施形態では、システムはクラス名を出力し得る。先に述べたように、クラスは、製品名、製品ライン、製品のラベル、ブランド等の製品仕様に基づき得るか、又は製品の製造プロセス（材料、製造工程）に関連し得る。例えば、トレーニングデータセット内に１０のクラス／ブランドのバッグがある場合、テストフェーズにおいて、システムは、分類システムの答えとして、１０のクラスの中から１つのクラスを出力し得る。

図１は、本発明の例示的な実施形態によるバッグオブビジュアルワードを使用する例示的な分類システムを示す。画像は、物体の部分から、デバイスを使用して抽出され（１０１）、チャンクに分割し得る（１０２）。次に、特徴ベクトルが、勾配ヒストグラム及び他の例示的な特徴検出技法を使用して計算され（１０３）、特徴ベクトルは、ｋ平均クラスタリングを使用してクラスタ化され（１０４）、画像の特徴ベクトルに対応するクラスタ中心が識別され（１０５）、空間ヒストグラムが計算され（１０６）、最後に、これらのヒストグラム特徴は、サポートベクターマシン分類器への入力として使用される（１０７）。

図３は、機械学習技法に基づく例示的な分類システムを示す。１つ又は複数の顕微鏡画像３０５が、物体の部分３０３から抽出され、機械学習技法のトレーニングデータ３０６使用されるである。物体のブランド、製品ライン、ラベル、製造プロセス、又は仕様に対応するクラス定義３０４が、トレーニングデータに追加される。機械学習技法は、トレーニングデータを使用して、数学的モデル３０７を生成し、トレーニングデータ３０８に合うモデルを計算する。

図４は、機械学習技法に基づく分類システムの例示的なテストフェーズを示す。１つ又は複数の顕微鏡画像４０２が、物体の部分４０１から抽出される。この情報は、機械学習技法のテストフェーズ４０３に供給される。テストフェーズは、トレーニングされた数学的モデル４０４を使用して、物体４０５のクラスを予測する。物体のクラスは、ブランド、製品ライン、又は仕様４０６であり得る。

本発明の例示的な実施形態は、高級品市場において実用性を有する。高級品市場では、偽造品はかなり蔓延している。本明細書に記載のシステムは、ハンドバッグ、靴、アパレル、ベルト、時計、ワインボトル、包装、及び他の付属品の真贋鑑定に役立つことができる。

本発明の例示的な実施形態は、スポーツ用品市場に実用性を有する。スポーツ用品では、本システムは、ジャージ、スポーツアパレル、ゴルフクラブ、及び他のスポーツ付属品を真贋鑑定することができる。

本発明の例示的な実施形態は、化粧品市場に実用性を有する。最近、ＭＡＣメイクアップキットが偽造されている。本システムは、ＭＡＣメイクアップキット並びに他のヘルス・ビューティー製品の真贋鑑定に使用し得る。

本発明の例示的な実施形態は、医薬業界に実用性を有する。薬／薬剤の偽造は、世界中で大きな問題である。バイアグラ、シアリス等の処方薬、ジスロマック、タミフル、ＰＲＥＶＮＡＲ等の抗生物質、ＬＩＰＩＴＯＲ、ＮＯＲＶＡＳＣ、ＰＬＡＶＩＸ等の心臓脈管薬、及びＣＬＡＲＩＴＩＮ、ＣＥＬＥＢＲＥＸ、ＶＩＣＯＤＩＮ等の他の店頭販売薬は、日常的に偽造されている。本システムを使用することにより、ユーザ／患者は、薬が真正であるか、それとも偽物であるかをチェックすることができる。

本発明の例示的な実施形態は、消費者及び産業電子機器市場で実用性を有する。電子機器の偽造は、基準未満の部品の製造からのみならず、ブラックトッピング及び他のプロセスによりオリジナルの部品を再使用することからも生じる。高価なスマートフォン、電池から、電子チップ及び回路まで。本システムは、サプライチェーンの一部であることができ、電子機器がサプライチェーン内で異なるベンダーを渡る際、電子機器を真贋鑑定することができる。ブラックトッピングされた電子部品及び回路を識別し、分類することができる。

本発明の例示的な実施形態は、自動車及び航空機の部品の市場に実用性を有する。自動車部品業界は常に、偽造部品に悩まされている。ホログラム、ラベル、及びバーコードが、製造業者及びベンダーにより使用されるが、偽造品は常にその裏をかく。航空機部品、エアバッグ、及びバッテリは、市場で最も偽造される部品の幾つかである。

本発明の例示的な実施形態は子供の玩具の分野で実用性を有する。基準未満の玩具は、玩具で遊ぶ子供にとって有害であり得る。安価な玩具の製造には鉛が使用されており、これは重大な健康問題を生じさせるおそれがある。本システムは、玩具の真正をチェッすることができ、それにより、親（又は子供）が偽造ではない本物の玩具を選択するのに役立つ。

本発明の例示的な実施形態は、金融・紙幣の分野で実用性を有する。金融システムは、偽造及び偽物の問題で満ちている。本システムは、通貨、小切手、マネーオーダー、及び他の紙関連偽造問題を偽造についてチェックすることができる。紙表面、文字、インクブロブ、曲線での微視的類似性及び非類似性を調べることにより、物品を真正又は非真正として分類し得る。

幾つかの実施形態では、物体真贋鑑定スペース、関連作業は、２つの組に分類することができる。（ｉ）顕在的及び隠在的技術を使用しての物体真贋鑑定並びに（ｉｉ）機械学習を使用する画像分類。

図１７を参照すると、例示的な実施形態では、ブロック図はサーバ１７００を示し、サーバは、システム３０６内で使用されてもよく、他のシステムで使用されてもよく、又はスタンドアロンであってもよい。サーバ１７００は、ハードウェアアーキテクチャに関して、一般にプロセッサ１７０２と、入／出力（Ｉ／Ｏ）インターフェース１７０４と、ネットワークインターフェース１７０６と、データストア１７０８と、メモリ１７１０とを含むデジタルコンピュータであり得る。図１７が、サーバ１７００を過度に簡易化して示し、実際の実施形態が、追加の構成要素を含み、本明細書に詳細に記載されない既知又は従来の動作特徴をサポートする処理論理が適宜構成され得ることが当業者には理解されるはずである。構成要素（１７０２、１７０４、１７０６、１７０８、及び１７１０）は、ローカルインターフェース１７１２を介して通信可能に結合される。ローカルインターフェース１７１２は、限定ではなく例として、当分野で既知のように、１つ若しくは複数のバス又は他の有線若しくは無線接続であり得る。ローカルインターフェース１７１２は、簡潔にするために省かれている、通信を可能にする、特に、コントローラ、バッファ（キャッシュ）、ドライバ、リピータ、及び受信器等の追加の要素を有し得る。さらに、ローカルインターフェース１７１２は、上記構成要素の間での適切な通信を可能にするアドレス接続、制御接続、及び／又はデータ接続を含み得る。

プロセッサ１７０２は、ソフトウェア命令を実行するハードウェアデバイスである。プロセッサ１７０２は、任意のカスタムメード若しくは市販のプロセッサ、中央演算処理装置（ＣＰＵ）、サーバ１７００に関連付けられた幾つかのプロセッサの中でも補助プロセッサ、半導体ベースのマイクロプロセッサ（マイクロチップ又はチップセットの形態で）、又は一般にソフトウェア命令を実行する任意のデバイスであり得る。サーバ１７００が動作中である場合、プロセッサ１７０２は、メモリ１７１０内に記憶されたソフトウェアを実行し、データをメモリ１７１０とやりとりし、一般にソフトウェア命令に従ってサーバ１７００の動作を制御するように構成される。Ｉ／Ｏインターフェース１７０４は、１つ又は複数のデバイス又は構成要素からユーザ入力を受信し、及び／又はシステム出力を提供するのに使用し得る。ユーザ入力は、例えば、キーボード、タッチパッド、及び／又はマウスを介して提供し得る。システム出力は、表示デバイス及びプリンタ（図示せず）を介して提供し得る。Ｉ／Ｏインターフェース１７０４は、例えば、シリアルポート、パラレルポート、小型コンピュータシステムインターフェース（ＳＣＳＩ）、シリアルＡＴＡ（ＳＡＴＡ）、ファイバチャネル、Ｉｎｆｉｎｉｂａｎｄ、ｉＳＣＳＩ、ＰＣＩエクスプレスインターフェース（ＰＣＩ−ｘ）、赤外線（ＩＲ）インターフェース、無線周波数（ＲＦ）インターフェース、及び／又はユニバーサルシリアルバス（ＵＳＢ）インターフェースを含み得る。

ネットワークインターフェース１７０６は、サーバ１７００が、インターネット、広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）等のネットワークで通信できるようにするために使用し得る。ネットワークインターフェース１７０６は、例えば、Ｅｔｈｅｒｎｅｔカード若しくはアダプタ（例えば、１０ＢａｓｅＴ、高速Ｅｔｈｅｒｎｅｔ、ギガビットＥｔｈｅｒｎｅｔ、１０ＧｂＥ）又は無線ローカルエリアネットワーク（ＷＬＡＮ）カード若しくはアダプタ（例えば、８０２．１１ａ／ｂ／ｇ／ｎ）を含み得る。ネットワークインターフェース３０６は、アドレス接続、制御接続、及び／又はデータ接続を含み得、ネットワークでの適切な通信を可能にする。データストア１７０８を使用して、データを記憶し得る。データストア１７０８は、任意の揮発性メモリ要素（例えば、ランダムアクセスメモリ（ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭ等のＲＡＭ））、不揮発性メモリ要素（例えば、ＲＯＭ、ハードドライブ、テープ、ＣＤＲＯＭ等）、及びそれらの組合せを含み得る。さらに、データストア１７０８は、電子媒体、磁気媒体、光学媒体、及び／又は他のタイプの記憶媒体を組み込み得る。一例では、データストア１７０８は、例えば、サーバ１７００内のローカルインターフェース１７１２に接続された内部ハードドライブ等、サーバ１７００の内部に配置し得る。さらに、別の実施形態では、データストア１７０８は、例えば、Ｉ／Ｏインターフェース１７０４に接続された外部ハードドライブ（例えば、ＳＣＳＩ又はＵＳＢ接続）等、サーバ１７００の外部に配置し得る。更なる実施形態では、データストア１７０８は、例えば、ネットワーク接続ファイルサーバ等、ネットワークを通してサーバ１７００に接続し得る。

メモリ１７１０は、任意の揮発性メモリ要素（任意の揮発性メモリ要素（例えば、ランダムアクセスメモリ（ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭ等のＲＡＭ））、不揮発性メモリ要素（例えば、ＲＯＭ、ハードドライブ、テープ、ＣＤＲＯＭ等）、及びそれらの組合せを含み得る。さらに、メモリ１７１０は、電子媒体、磁気媒体、光学媒体、及び／又は他のタイプの記憶媒体を組み込み得る。なお、メモリ１７１０は分散アーキテクチャを有し得、その場合、様々な構成要素は互いからリモートに配置されるが、プロセッサ１７０２によりアクセスすることができる。メモリ１７１０内のソフトウェアは、１つ又は複数のソフトウェアプログラムを含み得、各ソフトウェアプログラムは、論理機能を実施する実行可能命令の順序付きリストを含む。メモリ１７１０内のソフトウェアは、適するオペレーティングシステム（Ｏ／Ｓ）１７１４及び１つ又は複数のプログラム１７１６を含む。オペレーティングシステム１７１４は基本的に、１つ又は複数のプログラム１７１６等の他のコンピュータプログラムの実行を制御し、スケジューリング、入出力制御、ファイル及びデータ管理、メモリ管理、並びに通信制御及び関連サービスを提供する。１つ又は複数のプログラム１７１６は、本明細書に記載される様々なプロセス、アルゴリズム、方法、技法等を実施するように構成し得る。

図１８を参照すると、例示的な実施形態では、ブロック図は、システム１８００等で使用し得るクライアントデバイス又は時にはモバイルデバイス１８００を示す。モバイルデバイス１８００は、ハードウェアアーキテクチャに関して、一般にプロセッサ１８０２、入／出力（Ｉ／Ｏ）インターフェース１８０４、無線１８０６、データストア１８０８、及びメモリ１８１０を含むデジタルデバイスであることができる。図１８が、過度に簡易化してモバイルデバイス１８００を示しており、実際の実施形態が、本明細書に詳述されていない既知又は従来の動作特徴をサポートする追加の構成要素及び適宜構成された処理論理を含み得ることが当業者には理解されるはずである。構成要素（１８０２、１８０４、１８０６、１８０８、及び１８１０）は、ローカルインターフェース１８１２を介して通信可能に結合される。ローカルインターフェース１８１２は、限定ではなく例として、当分野で既知のように、１つ若しくは複数のバス又は他の有線若しくは無線接続であることができる。ローカルインターフェース１８１２は、簡潔にするために省かれている、通信を可能にする、特に、コントローラ、バッファ（キャッシュ）、ドライバ、リピータ、及び受信器等の追加の要素を有し得る。さらに、ローカルインターフェース１８１２は、上記構成要素の間での適切な通信を可能にするアドレス接続、制御接続、及び／又はデータ接続を含み得る。

プロセッサ１８０２は、ソフトウェア命令を実行するハードウェアデバイスである。プロセッサ１８０２は、任意のカスタムメード若しくは市販のプロセッサ、中央演算処理装置（ＣＰＵ）、モバイルデバイス１８００に関連付けられた幾つかのプロセッサの中でも補助プロセッサ、半導体ベースのマイクロプロセッサ（マイクロチップ又はチップセットの形態で）、又は一般にソフトウェア命令を実行する任意のデバイスであり得る。モバイルデバイス１８００が動作中である場合、プロセッサ１８０２は、メモリ１８１０内に記憶されたソフトウェアを実行し、データをメモリ１８１０とやりとりし、一般にソフトウェア命令に従ってモバイルデバイス１８００の動作を制御するように構成される。例示的な実施形態では、プロセッサ１８０２は、消費電力及びモバイルアプリケーションに向けて最適化される等、モバイル最適化されたプロセッサを含み得る。Ｉ／Ｏインターフェース１８０４は、からユーザ入力を受信し、及び／又はシステム出力を提供するのに使用することができる。ユーザ入力は、例えば、キーボード、タッチスクリーン、スクロールボール、スクロールバー、ボタン、バーコードスキャナ等を介して提供することができる。システム出力は、液晶ディスプレイ（ＬＣＤ）、タッチスクリーン等の表示デバイスを介して提供することができる。Ｉ／Ｏインターフェース１８０４は、例えば、シリアルポート、パラレルポート、小型コンピュータシステムインターフェース（ＳＣＳＩ）、赤外線（ＩＲ）インターフェース、無線周波数（ＲＦ）インターフェース、ユニバーサルシリアルバス（ＵＳＢ）インターフェース等を含むこともできる。Ｉ／Ｏインターフェース１８０４は、ユーザがモバイルデバイス１８００と対話できるようにするグラフィカルユーザインターフェース（ＧＵＩ）を含むことができる。さらに、Ｉ／Ｏインターフェース４０４は、撮像デバイス、すなわち、カメラ、ビデオカメラ等を更に含み得る。

無線１８０６は、外部アクセスデバイス又はネットワークとの無線通信を可能にする。限定ではなく、ＲＦ、ＩｒＤＡ（赤外線）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（及びＩＥＥＥ８０２．１５プロトコルの他の変形）、ＩＥＥＥ８０２．１１（任意の変形）、ＩＥＥＥ８０２．１６（ＷｉＭＡＸ又は任意の他の変形）、直接シーケンススペクトラム拡散、周波数ホッピングスペクトル拡散、ロングタームエボリューション（ＬＴＥ）、セルラ／無線／コードレス電気通信プロトコル（例えば、３Ｇ／４Ｇ等）、無線ホームネットワーク通信プロトコル、ページングネットワークプロトコル、磁気誘導、衛星データ通信プロトコル、ＷＭＴＳ帯で動作する等の無線病院又はヘルスケア設備ネットワークプロトコル、ＧＰＲＳ、無線ＵＳＢの変形等のプロプライエタリ無線データ通信プロトコル、及び無線通用の任意の他のプロトコルを含め、任意の数の適する無線データ通信プロトコル、技法、又は方法論を無線１８０６によりサポートすることができる。データストア１８０８を使用して、データを記憶し得る。データストア１８０８は、任意の揮発性メモリ要素（例えば、ランダムアクセスメモリ（ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭ等のＲＡＭ））、不揮発性メモリ要素（例えば、ＲＯＭ、ハードドライブ、テープ、ＣＤＲＯＭ等）、及びそれらの組合せを含み得る。さらに、データストア１８０８は、電子媒体、磁気媒体、光学媒体、及び／又は他のタイプの記憶媒体を組み込み得る。

メモリ１８１０は、任意の揮発性メモリ要素（例えば、ランダムアクセスメモリ（ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭ等のＲＡＭ））、不揮発性メモリ要素（例えば、ＲＯＭ、ハードドライブ等）、及びそれらの組合せを含み得る。さらに、メモリ１８１０は、電子媒体、磁気媒体、光学媒体、及び／又は他のタイプの記憶媒体を組み込み得る。なお、メモリ１８１０は分散アーキテクチャを有し得、その場合、様々な構成要素は互いからリモートに配置されるが、プロセッサ１８０２によりアクセスすることができる。メモリ１８１０内のソフトウェアは、１つ又は複数のソフトウェアプログラムを含み得、各ソフトウェアプログラムは、論理機能を実施する実行可能命令の順序付きリストを含む。図１８の例では、メモリ１８１０内のソフトウェアは、適するオペレーティングシステム（Ｏ／Ｓ）１８１４及びプログラム１８１６を含む。オペレーティングシステム１８１４は基本的に、他のコンピュータプログラムの実行を制御し、スケジューリング、入出力制御、ファイル及びデータ管理、メモリ管理、並びに通信制御及び関連サービスを提供する。プログラム１８１６は、モバイルデバイス１８００を用いたエンドユーザ機能を提供するように構成された様々なアプリケーション、アドオン等を含み得る。例えば、例示的なプログラム１８１６は、ウェブブラウザ、ソーシャルネットワーキングアプリケーション、ストリーミングメディアアプリケーション、ゲーム、マッピング及びロケーションアプリケーション、電子メールアプリケーション、金融アプリケーション等を含み得るが、これらに限定されない。典型的な例では、エンドユーザは通常、システム３０６等のネットワークと共にプログラム１８１６のうちの１つ又は複数を使用する。

上記は単に、本開示の原理を示す。記載される実施形態への様々な変更及び代替が、本明細書での教示に鑑みて当業者に明らかになる。したがって、当業者が、本明細書に明示的に示され、又は説明されていないが、本開示の原理を具現し、したがって、本開示の趣旨及び範囲内にあることができる多くのシステム、構成、及び手順を考案可能なことが理解される。当業者に理解されるはずであるように、様々な異なる例示的な実施形態を互いと一緒に、及び相互交換可能に使用することができる。

Claims (51)

1. 顕微鏡画像を分類する方法であって、
   物体から抽出された少なくとも１つの顕微鏡画像を含むトレーニングデータセットと、前記物体に対応する製品仕様に基づく、前記少なくとも１つの顕微鏡画像の関連クラス定義とを受信することと、
   前記トレーニングデータセットに基づいて、前記少なくとも１つの顕微鏡画像を１つ又は複数のクラスに分類するモデルを構築するように、複数の機械学習分類器をトレーニングすることと、
   前記製品仕様に基づいて、前記構築されたモデルを使用して前記少なくとも１つの顕微鏡画像を１つ又は複数のクラスに分類するために、前記少なくとも１つの顕微鏡画像を受信することと、
   受信した前記顕微鏡画像を複数のチャンクに分割することと、
   前記複数の機械学習分類器へのテスト入力として前記複数のチャンクを使用することと、
   前記複数の機械学習分類器に基づく投票処理を使用して、前記チャンクを１つ又は複数のクラスに分類することと、
   を含み、
   前記製品仕様は、ブランド名、製品ライン、又は前記物体のラベル上の他の詳細を含む、方法。
2. 前記クラス定義は、前記物体がオリジナルであるか、それとも偽造品であるかについての情報を含む、請求項１に記載の方法。
3. 前記クラス定義は、前記物体の品質についての情報を含む、請求項１に記載の方法。
4. 前記物体の製造プロセスは、投入原料及び製造パラメータについての情報を含む、請求項１に記載の方法。
5. 前記顕微鏡画像は、ハンドヘルドコンピュータデバイス又は顕微鏡を有する携帯電話を含む装置を使用して抽出される、請求項１に記載の方法。
6. 前記顕微鏡画像は、前記物体の識別情報の一部である曲線、ブロブ、又は特徴を含む、請求項１に記載の方法。
7. 前記機械学習分類器は、特徴抽出、勾配方向ヒストグラムによるキーポイント記述子生成、及びバッグオブビジュアルワードベースの分類器で構成されるサポートベクターマシンベースの分類器を含む、請求項１に記載の方法。
8. 前記バッグオブビジュアルワード分類器は、ｋ平均クラスタリング技法、画像記述子をｋ中心としてインデックス付けること、及び空間ヒストグラム生成を含む、請求項７に記載の方法。
9. 最終分類器は、ベクターマシン又はｋ最近傍ベースの分類器をサポートする、請求項８に記載の方法。
10. 前記機械学習分類器は、クラスタの密度推定に基づいて前記物体を分類する異常検出システムを含む、請求項１に記載の方法。
11. 前記機械学習分類器は、サポートベクターマシンと、ニューラルネットワークと、異常検出技法との組合せを含む、請求項１に記載の方法。
12. 前記機械学習分類器は、ｎ層畳み込みニューラルネットワークベースの分類器であり、
    低、中、及び高レベル微視的差異及び特徴を捕捉する畳み込み層、サブサンプリング層、最大プーリング層、平均プーリング層、活性化関数を生成することと、
    逆伝搬技法を使用する確率的共役勾配降下を使用して、前記ネットワークをトレーニングすることと、
    畳み込みネットワークでの最終層の１つとして、ソフトマックス関数を使用して、クラス確率を生成することと、
    前記畳み込みニューラルネットワークでのあらゆる層の出力として、トレーニング特徴を生成することと
    を含む、請求項１に記載の方法。
13. 前記機械学習分類器は、並進移動、回転、剪断、反転、鏡像、異なる領域にわたるクロッピング又は様々なカーネルを用いての膨張、及び他のラベル保存歪みにより、前記トレーニングセットを拡張するデータを含む、請求項１に記載の方法。
14. 前記機械学習分類器は、低、中、高、及び微細粒度特徴を識別するマルチスケールの畳み込み、フィルタ、及びストライドを含む、請求項１に記載の方法。
15. 前記機械学習分類器は、前記ｎ層の深度に基づいて示差的特徴を学習するｎ層畳み込みニューラルネットワークを含む、請求項１に記載の方法。
16. 前記機械学習分類器は、画像内の特定の領域候補を識別し、少なくとも１つのｎ層畳み込みニューラルネットワークを使用して前記画像候補を分類する領域ベースの畳み込みニューラルネットワークを含む、請求項１に記載の方法。
17. 前記機械学習分類器は、ｎ層畳み込みニューラルネットワークを組み立て、前記ｎ層畳み込みネットワークのそれぞれの出力確率の組合せとして前記画像を分類することを含む、請求項１に記載の方法。
18. 前記分類は前記物体の真贋を判断し、前記物体は、ハンドバッグ、靴、アパレル、ベルト、時計、ワインボトル、包装、ラベル、アクセサリー、ジャージ、スポーツアパレル、ゴルフクラブ、化粧品、医薬品、薬剤、電子チップ、回路、電話、電池、自動車部品、航空機部品、エアバッグ、紙幣、紙文書、玩具、及び食品のうちの１つ又は複数を含む、請求項１に記載の方法。
19. 前記顕微鏡画像は、紙、プラスチック、金属、合金、皮、ガラス、木、磁器、及び粘土のうちの１つ又は複数の顕微鏡画像を含む、請求項１に記載の方法。
20. 前記ｎ層畳み込みニューラルネットワークは、８層、１２層、１６層、２０層、又は２４層ネットワークである、請求項１２に記載の方法。
21. 前記８層畳み込みニューラルネットワークは、３つの最大プーリング層及びＲｅＬＵ（正規化線形関数）と共に３つの畳み込み層、その後に続く、２つの独立畳み込み層（最大プーリング層を有さない）及び最終セクションでの３つの全結合層、その後に続く、全てのクラスにわたるスコア又は確率を与えるソフトマックス関数を含む、請求項２０に記載の方法。
22. 前記１２層畳み込みニューラルネットワークは、最大プーリング層及びＲｅＬＵ（正規化線形関数）と共に畳み込み層からなる２つの層、その後に続く、４つの独立畳み込み層（最大プーリング層を有さない）、その後に続く、最終セクションでの３組の畳み込み層、最大プーリング層、及びＲｅＬＵ層並びに２つの全結合層を含む、請求項２０に記載の方法。
23. 前記１６層畳み込みニューラルネットワークは、第１の組の畳み込み層後に２つの畳み込み層が追加され、前記畳み込みネットワークの後部において、２つの追加の畳み込み層を追加した、８層の畳み込みニューラルネットワークを含む、請求項２０に記載の方法。
24. 前記２０層畳み込みニューラルネットワークは、８層のＣＮＮ、畳み込み層、最大プーリング層、及びＲｅＬＵ層からなる別の組の８層、その後に続く４つの全結合層及びソフトマックス関数を含む、請求項２０に記載の方法。
25. 前記２４層畳み込みニューラルネットワークは、１つの最後の全結合層と組み合わせられた３組の８層ネットワークを含む、請求項２０に記載の方法。
26. 顕微鏡画像を分類するシステムであって、
    物体から抽出された少なくとも１つの顕微鏡画像を含むトレーニングデータセットと、製品仕様又は製造プロセス仕様に基づく関連クラス定義とを記憶するトレーニングデータセットユニットと、
    前記トレーニングデータセットを使用して物体のクラスを認識するように複数の機械学習分類器をトレーニングし、前記少なくとも１つの顕微鏡画像を受信し、受信した前記顕微鏡画像を複数のチャンクに分割し、前記複数の機械学習分類器へのテスト入力として前記複数のチャンクを使用し、前記複数の機械学習分類器に基づく投票処理を使用して前記チャンクを分類して前記物体のクラスを特定するように構成される計算デバイスと
    を備える、システム。
27. 前記製品仕様は、ブランド名、製品ライン、又は前記物体のラベルに含まれる詳細を含む、請求項２６に記載のシステム。
28. 前記クラス定義は、前記物体がオリジナルであるか、それとも偽造品であるかについての情報を含む、請求項２６に記載のシステム。
29. 前記クラス定義は、前記物体の品質についての情報を含む、請求項２６に記載のシステム。
30. 前記製造プロセスは、投入原料及び前記物体を製造するパラメータについての情報を含む、請求項２６に記載のシステム。
31. 前記計算デバイスは、ハンドヘルド計算デバイス又は携帯電話と顕微鏡との装置を含む、請求項２６に記載のシステム。
32. 前記顕微鏡画像は、前記物体の識別情報の一部である曲線、ブロブ、又は特徴を含む、請求項２６に記載のシステム。
33. 前記機械学習分類器は、特徴抽出、勾配方向ヒストグラムによるキーポイント記述子生成、及びバッグオブビジュアルワードベースの分類器で構成されるサポートベクターマシンベースの分類器を含む、請求項２６に記載のシステム。
34. 前記バッグオブビジュアルワード分類器は、ｋ平均クラスタリング技法、画像記述子をｋ中心としてインデックス付けること、及び空間ヒストグラム生成を含む、請求項２６に記載のシステム。
35. 最終分類器は、サポートベクターマシン又はｋ最近傍ベースの分類器である、請求項３３に記載のシステム。
36. 前記機械学習分類器は、クラスタの密度推定に基づいて前記物体を分類する異常検出システムを含む、請求項２６に記載のシステム。
37. 前記機械学習分類器は、サポートベクターマシンと、ニューラルネットワークと、異常検出技法との組合せを含む、請求項２６に記載のシステム。
38. 前記機械学習分類器は、ｎ層畳み込みニューラルネットワークベースの分類器を含み、
    低、中、及び高レベル微視的差異及び特徴を捕捉する１つ又は複数の畳み込み層、サブサンプリング層、最大プーリング層、平均プーリング層、活性化関数と、
    逆伝搬技法を使用する確率的共役勾配降下を使用して、前記ネットワークをトレーニングするように構成される計算デバイスと、
    １組の最終層の１つとして、クラス確率を生成するソフトマックス関数と、
    前記畳み込みネットワークでのあらゆる層の出力としてのトレーニング特徴と
    を備える、請求項２６に記載のシステム。
39. 前記機械学習分類器は、並進移動、回転、剪断、反転、鏡像、異なる領域にわたるクロッピング又は様々なカーネルを用いての膨張、及び他のラベル保存歪みにより、前記トレーニングセットを拡張するデータを含む、請求項２６に記載のシステム。
40. 前記機械学習分類器は、低、中、高、及び微細粒度特徴を識別するマルチスケールの畳み込み、フィルタ、及びストライドを含む、請求項２６に記載のシステム。
41. 前記機械学習分類器は、前記ｎ層の深度に基づいて示差的特徴を学習するｎ層畳み込みニューラルネットワークを含む、請求項２６に記載のシステム。
42. 前記機械学習分類器は、画像内の特定の領域候補を識別し、少なくとも１つのｎ層畳み込みニューラルネットワークを使用して前記画像候補を分類する領域ベースの畳み込みニューラルネットワークを含む、請求項２６に記載のシステム。
43. 前記機械学習分類器は、ｎ層畳み込みニューラルネットワークの組み立てを含み、前記画像の前記分類は、前記ｎ層畳み込みネットワークのそれぞれの出力確率の組合せである、請求項２６に記載のシステム。
44. 前記分類は、ハンドバッグ、靴、アパレル、ベルト、時計、ワインボトル、包装、ラベル、アクセサリー、ジャージ、スポーツアパレル、ゴルフクラブ、化粧品、医薬品、薬剤、電子チップ、回路、電話、電池、自動車部品、航空機部品、エアバッグ、紙幣、紙文書、玩具、及び食品等の前記物体の真贋を判断する、請求項２６に記載のシステム。
45. 前記顕微鏡画像は、紙、プラスチック、金属、合金、皮、ガラス、木、磁器、及び粘土の顕微鏡画像を含む、請求項２６に記載のシステム。
46. 前記ｎ層畳み込みニューラルネットワークは、８層、１２層、１６層、２０層、又は２４層ネットワークである、請求項３８に記載のシステム。
47. 前記８層畳み込みニューラルネットワークは、３つの最大プーリング層及びＲｅＬＵ（正規化線形関数）と共に３つの畳み込み層、その後に続く、２つの独立畳み込み層（最大プーリング層を有さない）及び最終セクションでの３つの全結合層、その後に続く、全てのクラスにわたるスコア又は確率を与えるソフトマックス関数を含む、請求項４６に記載のシステム。
48. 前記１２層畳み込みニューラルネットワークは、最大プーリング層及びＲｅＬＵ（正規化線形関数）と共に畳み込み層からなる２つの層、その後に続く、４つの独立畳み込み層（最大プーリング層を有さない）、その後に続く、最終セクションでの３組の畳み込み層、最大プーリング層、及びＲｅＬＵ層並びに２つの全結合層を含む、請求項４６に記載のシステム。
49. 前記１６層畳み込みニューラルネットワークは、第１の組の畳み込み層後に２つの畳み込み層が追加され、前記畳み込みネットワークの後部において、２つの追加の畳み込み層を追加した、８層の畳み込みニューラルネットワークを含む、請求項４６に記載のシステム。
50. 前記２０層畳み込みニューラルネットワークは、８層のＣＮＮ、畳み込み層、最大プーリング層、及びＲｅＬＵ層からなる別の組の８層、その後に続く４つの全結合層及びソフトマックス関数を含む、請求項４６に記載のシステム。
51. 前記２４層畳み込みニューラルネットワークは、１つの最後の全結合層と組み合わせられた３組の８層ネットワークを含む、請求項４６に記載のシステム。
    

Images