JP2015506023A - 画像内の特徴を自動的に検出する方法および装置、並びに装置をトレーニングする方法 - Google Patents

Abstract

本明細書で説明される１つまたは複数の実施形態において、装置をトレーニングする方法が提供される。方法は、画像内の関心事の特徴を自動的に検出するように装置をトレーニングする。画像が受け取られ、画像は検査用の少なくとも１つの物体の画像であり、各画像は複数のピクセルを備える。画像は、複数のスーパーピクセルへ区分化され、各スーパーピクセルは複数のピクセルを備え、各ピクセルは相互に類似の画像データ属性を有する。スーパーピクセルの１つまたは複数において関心事の少なくとも１つの特徴を同定するユーザ入力に応答して、スーパーピクセルは少なくとも２つのクラスへ分類される。画像データ属性のライブラリから、画像データ属性の部分集合が決定される。部分集合は、少なくとも２つのクラスの間の選好区別を提供する。次いで、装置は、画像データ属性の前記決定された部分集合を使用してトレーニングされ、これによって装置は、画像のスーパーピクセルを少なくとも２つのクラスへ分類することを可能にされる。【選択図】図２

Description

本発明は、画像解析装置をトレーニングする方法、および、そのような画像解析用に構成された装置に関する。

物体の画像を解析する自動検査システムおよび装置は、様々な応用で広く使用されている。これらの応用は、食品の仕分け、等級づけ、または品質解析、および検査される物体の欠陥、異常、傷、または関心事となる他の特徴を同定することを含む。

これらの自動検査システムの基本的要件は、画像の中または画像内目標物体の中の関心事となる特徴を同定するようにプログラムまたは教育され得ることである。たとえば、野菜産物の検査で使用されるマシン・ビジョン・システムは、関心事の特徴、たとえば根、腐敗部分、凹み、切れ目、病気の徴候、その他を見分けるように教育され得る。そのような特徴は手作業ユーザによって関心事の特徴として同定され、自動システムは、ユーザの監視なしに、これらの特徴を自動的に見分けるようにトレーニングされ得る。自動検査システムのトレーニングは、時間のかかる複雑なプロセスである。

典型的な自動検査システムは、幾つかの大きなステップを使用する。これらのステップは、画像を前処理すること、たとえば、画像内で関心事の物体を背景から区分化すること、物体の重要な品質を要約する画像データ属性を抽出すること、パターン認識システムを使用して入力データをカテゴリー化すること、などを含む。たとえば、異なるタイプの果物および野菜を分類するため、色および質感ヒストグラムが使用される。他の例は、フーリエ調波を使用して、関心事の物体、たとえばジャガイモの形状を記述すること、およびジャガイモの輪郭の最初の幾つかのフーリエ調波に基づく計量を形成して分類方法を開発することを含む。

典型的なマシン・ビジョン・システムの制約は、パターン認識用の画像特徴の集合が、システムエンジニアによって設計され、産物の特定の構成、特定の撮像システム（たとえば、カメラベースシステム）、および特定の動作条件（たとえば、ライティング、背景環境）と共に働くようにされなければならないことである。そのようなシステムは、典型的には、他の構成へ一般化されない。他の構成では、要求される画像特徴が、元のシステムを設計するために使用された画像特徴とは異なる。

それゆえに、特定のパターン認識タスクについて良好な画像データ属性を自動的に選択するため、適応アルゴリズムを使用することが望ましい。画像データ属性の最小の集合は、画像データ属性の非常に大きな集合から選択され、画像データ属性は、所与のピクセルを取り巻く画像領域の色および質感分布および／または形状の統計的特性の尺度である。ゆえに、最終的パターン認識システムを構築するために使用される選択された画像データ属性は、実例から学習することによって特定の応用へ最適化され、システムは、異なった多様な産物、季節的変動などに順応するために画像データ属性の異なる集合を選択するように再トレーニングされ得る。

本発明の目的は、自動検査システムを新しい画像解析タスクへ適応させる迅速および効率的な方途を提供することである。この適応タスクは、自動検査システムのトレーニングと呼ばれる。

第１の態様によれば、画像内の関心事の特徴を自動的に検出するため、装置をトレーニングする方法が提供される。方法は、
検査用の少なくとも１つの物体の画像を受け取り、各画像は複数のピクセルを備えることと、
画像を複数のスーパーピクセルへ区分化し、各スーパーピクセルは複数のピクセルを備え、各ピクセルは相互に類似の画像データ属性を有することと、
スーパーピクセルの１つまたは複数において関心事の少なくとも１つの特徴を同定するユーザ入力に応答して、スーパーピクセルを少なくとも２つのクラスへ分類することと、
画像データ属性のライブラリから、少なくとも２つのクラスの間の選好区別を提供する画像データ属性の部分集合を決定することと、
画像データ属性の前記決定された部分集合を使用して装置をトレーニングし、これによって装置が、画像のスーパーピクセルを少なくとも２つのクラスへ自動的に分類することを可能にされることと、
を備える。

各々が既に類似の画像データ属性を有する複数のスーパーピクセルへ画像を区分化することによって、画像は、類似の属性を有するピクセルの有意味な収集物へグループ化されている。これから、幾つかのスーパーピクセルが１つのクラスに属し、他のスーパーピクセルが他のクラスに属することをユーザが手作業で同定するとき、画像解析のための画像領域の有意味な比較が、現在公知の方法を使用して遂行されるよりも、はるかに迅速なやり方で遂行され得る。

前記少なくとも２つのクラスの少なくとも１つは、関心事の特定の特徴を有するスーパーピクセルに対応する。

特定のスーパーピクセルを特定のクラスとして分類することは、これらの特定のスーパーピクセルが特定の関心事の特徴を有しないとして同定するユーザ入力に応答して遂行されてもよい。

分類することは、
ユーザ入力によって能動的に選択されたスーパーピクセルを１つまたは複数の対応するクラスへ割り当てることと、
ユーザ入力によって能動的に選択されなかった全てのスーパーピクセルをさらなるクラスへ割り振ることと、
を備えてもよい。

画像データ属性の部分集合は、少なくとも２つのクラスのスーパーピクセルの間の最大区別を提供する画像データ属性の部分集合を備えてもよい。

画像データ属性の部分集合は、スーパーピクセルの１つまたは複数について正しいクラスを予測するための最良の信号対雑音比を提供する画像データ属性を備えてもよい。

方法は、画像データ属性のライブラリから、各々が少なくとも２つのクラスの間の選好区別の特定のタイプを提供する画像データ属性の複数の部分集合を決定することを備えてもよい。

受け取られた画像の区分化は、
− 特定の受け取られた画像の複数のピクセルをシードすることと、
− 各シードピクセルから対応するスーパーピクセルを成長させて、類似の画像データ属性を有する近隣ピクセルを包含し、非類似の画像データ属性を有する近隣ピクセルを排除することと、
を備えてもよい。

各スーパーピクセルのピクセルは、類似尺度に関して相互に類似してもよい。

類似尺度は、１つまたは画像データ属性に基づいてもよい。

ユーザ入力は、スーパーピクセルの手作業選択によって提供されてもよい。手作業選択は、スーパーピクセルのラベルづけ、カテゴリー化、および／または分類を指示してもよい。

本明細書で説明される第２の態様では、トレーニングされた装置によって画像内の関心事の特徴を自動的に検出する方法が提供される。方法は、
検査用の少なくとも１つの物体の画像を受け取り、各画像は複数のピクセルを備えることと、
画像を複数のスーパーピクセルへ区分化し、各スーパーピクセルは複数のピクセルを備え、各ピクセルは相互に類似の画像データ属性を有することと、
画像データ属性のライブラリから決定され、少なくとも２つのクラスの間の選好区別を提供する画像データ属性の所定の部分集合に従って、画像のスーパーピクセルを少なくとも２つのクラスへ分類することと、
分類されたスーパーピクセルに基づいて、検査される少なくとも１つの物体の上で関心事の特徴を同定することと、
を備える。

分類することは、
スーパーピクセルの画像データ属性を決定することと、
スーパーピクセルの対応する画像データ属性と、画像データ属性の所定の部分集合とを比較することと、
前記比較に基づいて、どのクラスに各スーパーピクセルが対応するかを確認することと、
各スーパーピクセルを対応するクラスの中に置くことと、
を備えてもよい。

方法は、各々が少なくとも２つのクラスの間の選好区別の特定のタイプを提供する画像データ属性の複数の部分集合に従って、前記スーパーピクセルを分類することを備えてもよい。

スーパーピクセルの区分化は、
− 特定の受け取られた画像の複数のピクセルをシードすることと、
− 各シードピクセルから対応するスーパーピクセルを成長させて、類似の画像データ属性を有する近隣ピクセルを包含し、非類似の画像データ属性を有する近隣ピクセルを排除することと、
を備えてもよい。

本明細書で説明される第３の態様では、装置が提供される。装置は、第１の態様の方法によってトレーニングされており、第２の態様の方法を遂行する。

本明細書で説明される第４の態様では、記憶されたコンピュータ・プログラム・コードを備えるコンピュータ読み取り可能メディアが提供される。コンピュータ・プログラム・コードは、プロセッサで実行されたとき、第１の態様の方法および／または第２の態様の方法を遂行するように構成されている。

本明細書で示される他の態様では、さらに、図２および図３のいずれかで描かれるような方法が提供される。

今から、例を挙げて、および添付の図面を参照して、本開示の実施形態を説明する。

当業者に公知のスーパーピクセル化の方法を示す。 本開示の第１の方法に従ったフローチャートを示す。 本開示の第２の方法に従ったフローチャートを示す。

図１は、画像の「スーパーピクセル化」のプロセスを示す。このプロセスは、当業者に公知のプロセスである。スーパーピクセル化は、画像（画像（ａ））を多数のピクセルグループ（画像（ｆ）を参照）へ区分化することを伴う。ここで、各グループの中の各ピクセルは、相互に類似の画像データ属性を有する。スーパーピクセルとは、複数の隣接するピクセルから成る均質な画像領域を備えるものと理解され得る。

そのようなスーパーピクセル化を遂行する多数の異なるアルゴリズムが存在するが、一般的に、プロセスは、多数のシードピクセルが画像から選択されることを伴い（たとえば、シードピクセルは画像を横切って一様に分布される − 図１の（ｂ）を参照）、次いでスーパーピクセルは各シードピクセルから「成長」させられる（図１の（ｃ）を参照）。各スーパーピクセルは、類似の画像データ属性を有する近隣ピクセルを包含し、非類似の画像データ属性を有する近隣ピクセルを排除するように成長する（図１の（ｄ）および（ｅ）を参照）。これは、所与のスーパーピクセルの画像データ属性から逸脱する画像データ属性を有する近隣ピクセルの方向で、スーパーピクセルの成長が妨害され、前記所与のスーパーピクセルの画像属性に類似したままの画像属性を有する近隣ピクセルの方向で、成長が継続することを意味する。

各シードピクセルは、多数の他のスーパーピクセルに当接するスーパーピクセルを形成するように成長し（図１の（ｅ）および（ｆ）を参照）、それぞれのスーパーピクセル内のピクセルは、類似尺度、たとえば色、明るさ、グレイレベルなどに関して、相互に類似する。

このスーパーピクセル化の原理は、画像内の関心事の特徴を自動的に検出するように装置をトレーニングする改善された方法の一部分として利用され得る。

本明細書で説明される１つまたは複数の実施形態では、装置をトレーニングする方法が提供される。方法は、画像内の関心事の特徴を自動的に検出するように装置をトレーニングする。画像が受け取られ、この画像は検査用の少なくとも１つの物体の画像であり、各画像は複数のピクセルを備える。画像は複数のスーパーピクセルへ区分化され、各スーパーピクセルは複数のピクセルを備え、各ピクセルは相互に類似の画像データ属性を有する。次いで、スーパーピクセル化された画像は、ディスプレイの上でユーザへ提示される。ユーザは、関心事の特徴、たとえば野菜の傷または包装の欠陥封止に対応するスーパーピクセルを選択する。これらの選択されたスーパーピクセルは、スーパーピクセルの少なくとも１つのクラスを定義するために使用される。さらに、ユーザは、関心事の特徴を有しないスーパーピクセル、たとえば野菜の傷のない区域、または包装の正しく封止された領域、などのクラスに属するとして、スーパーピクセルを選択する。これらの「関心事の特徴あり」に対する「関心事の特徴なし」の少なくとも２つのクラスは、画像からの関心事の特徴の区別の確立を助けるために必要な最小の比較を提供する。

他の実施形態では、ユーザ／ユーザ入力によって能動的に選択されなかった全てのスーパーピクセルが、他のクラスを自動的に定義する。たとえば、ユーザは、野菜の様々な傷のタイプを指し示す１つまたは複数のクラスに属するとして、幾つかのスーパーピクセルを能動的に選択し、野菜の健全な部分を指し示すさらなるクラスに属するとしてスーパーピクセルを能動的に選択しない。ゆえに、方法は、野菜の健全な領域を指し示す前記さらなるクラスへ、全ての残りの選択されなかったピクセルを割り振る。

代替として、方法は、選択されなかったスーパーピクセルが分類されないで方法の残りで使用されないことを指し示すさらなるクラスへ、全ての残りの選択されなかったピクセルを割り振ることができる。

画像データ属性のライブラリから、少なくとも２つのクラスのスーパーピクセルの間の選好区別を提供する画像データ属性の部分集合が決定される。次いで、装置は、画像データ属性の前記決定された部分集合を使用してトレーニングされ、これによって装置は、画像のスーパーピクセルを少なくとも２つのクラスへ分類することを可能にされる。トレーニングされた装置は、他の新しい画像の上で動作するか、トレーニング方法の一部分として使用されなかった元の画像の他の部分の上で動作して、分類されなかったスーパーピクセルをさらに分類することができる。

本開示の方法は、図２を参照して、下記で説明される。

ステップ１： 画像キャプチャおよび物体同定

検査用の少なくとも１つの物体を描いている画像が受け取られる（ステップ２０）。画像は複数のピクセルを備え、スーパーピクセル化および後の解析を許す。この例において、入力画像は、ＣＣＤまたはＣＭＯＳベース画像キャプチャデバイスを介して取得されたディジタル画像である。他の例において、画像は、たとえば、レーザ散乱撮像または偏光ストレス解析テストから受け取られ得る。画像は、電磁放射の記録を介して取得された物体の任意の図形表現であり得ることが、当業者によって了解されるであろう。

さらに、このステップは、任意選択的に、検査用の１つまたは複数の物体を画像から同定することを含み得る（ステップ２１）。これは、個々の物体を他の物体から識別すること、または特定の物体を画像の背景から分離することを伴い得る。そのような分離を遂行する方法は、当技術分野で公知であり、たとえば標準の画像処理手法を使用する（手法は、選ばれた応用に従って、または特定の撮像システムに従って、選択または変更され得る）。

ステップ２： スーパーピクセルの区分化／過剰区分化

このステップは、関心事の物体内の画像ピクセルを特定の領域へグループ化し、領域内の全てのピクセルが或る種の類似尺度に関して類似するようにすることを伴う（ステップ２２）。当業者に公知であるように、多数のシードピクセルが「植え付けられ」、結果のスーパーピクセルグループは、これらのピクセルから成長させられる。ここで、ピクセルがシードピクセルまたは全体としてのグループに十分類似しない方向で、成長が制限または妨害される。さらに、当技術分野で公知であるように、過剰区分化とは、関心事の物体を有する画像が、関心事の個々の物体の中へスーパーピクセル化されるだけでなく、さらに従属成分の中へスーパーピクセル化されることを意味する。これからの論述は、区分化プロセスおよび過剰区分化プロセスの双方を包含する区分化を論述する。

スーパーピクセル化は、（必ずというわけではなく）一般的に、不規則な形状のスーパーピクセルを生じる。それゆえに、このステップは、区分化されない画像の解析よりもコンパクトな解析を許し、さらに画像のピクセル解像度から独立であると見られ得る物体表現を取得する。これは、画像または選択された領域内の単一ピクセルごとに画像データ属性を解析または考慮する必要性を削除する。というのは、各スーパーピクセルは、共通の画像データ属性を有するピクセルを表すからである。当業者に公知の多くの異なるアルゴリズムが存在し、このスーパーピクセル化ステップを遂行するために使用され得る。このステップは、各グループのピクセルが相互に類似する場合のピクセルの論理的グループ化を達成することであるから、任意のそのようなプロセスが使用され得る。そのようなものとして、スーパーピクセル化プロセスは、スーパーピクセル区分化の特定のアルゴリズムから独立であると理解され得る。

ステップ３： 選択されたスーパーピクセルの手作業カテゴリー化

ユーザは、ディスプレイの上で、画像のスーパーピクセル化されたレンダリングを提示される。次いで、ユーザはスーパーピクセルの１つまたは複数を手作業で選択し、どのスーパーピクセルが関心事の特徴を含むかを同定するユーザ入力を提供する（ステップ２３）。

次いで、画像解析装置は、ユーザ選択に従って、スーパーピクセルを２つ以上のクラスＫへ自動的に分類する（たとえば、ラベルづけ、またはカテゴリー化によって）。どのような応用でも、クラスＫ（またはカテゴリー）の最小数は常に２である。第１のクラスは関心事の特徴を含む領域に対応し、さらに関心事の特徴を含まない領域に対応する第２のクラスが存在しなければならない。

たとえば、野菜産物の場合、販売される各野菜品目は、欠陥または異常のないことが望ましい。それゆえに、これは「異常」および「非異常」野菜品目の少なくとも２つのクラスに対応し得る。同様に、２つを超えるカテゴリーを提供して、異常の特定のタイプを指定し（たとえば、「非異常」、「異常タイプ１」、「異常タイプ２」などに対応）、または、一層正確に分類するため、さらなるクラスを提供し得る。関心事の特定の特徴ごとに、異なるクラスが対応的に関連づけられることが了解されるであろう。

関心事の特徴の可能なクラスを一層良好に分別するため、そのようなクラスＫは、ユーザによって、および／または、この方法を実現する装置によって、創出、修正、および／または指定され得る。

ユーザは、幾つかのスーパーピクセルを、関心事の特徴を有するとして能動的に選択してもよいが、さらに、スーパーピクセルが関心事の特徴を有しないことを積極的に指示し得る。さらに了解されるように、指示の不在（たとえば、消極的選択）は、所与のスーパーピクセルが関心事の特徴を含まないことを消極的に指示するものと理解され得る。

とにかく、スーパーピクセルの１つまたは複数において関心事の少なくとも１つの特徴を同定するユーザ入力に応答して、方法は、それぞれのスーパーピクセルを、少なくとも２つ（または、それよりも多い）対応するクラスＫへ自動的に分類する。方法が、ユーザによって能動的に選択されなかったスーパーピクセルを、さらなるクラスに所属するとして自動的に割り振ることが可能である。そのさらなるクラスは、関心事の特徴を有しないスーパーピクセルを含むと理解されるクラスであってもよく、これらのスーパーピクセルは、他のクラスと比較するため方法の残りで使用される。そのさらなるクラスは、代わりに、割り当てられなかったスーパーピクセルを表すクラスであってもよく、これらのスーパーピクセルは、方法の残りで使用されず、すなわち無視される。

ステップ４： 属性抽出

スーパーピクセル内の各ピクセルは、或る類似尺度に関して、全ての他のピクセルに類似する。それゆえに、各スーパーピクセルは、その中に含まれるピクセルのそれぞれの属性の有意味な表現を提供する。特定の属性、たとえば色、明るさなどの値の限定範囲は、所与のスーパーピクセル内のピクセルについて容易に計算され得る（ステップ２４）。

画像データ属性は、赤チャネル、緑チャネル、青チャネル、平均ピクセル値、中央ピクセル値、最小ピクセル値、最大ピクセル値、スキュー、ピクセル値の標準偏差、エッジ、これらの列挙された属性の範囲および／またはエッジ正規化値、レーザ散乱画像値、偏光ストレス値などの１つまたは複数を含み得る。１つの実現における属性のリストは、平均の赤、標準偏差の赤、スキューの赤、平均の青、標準偏差の青、スキューの青、平均の緑、標準偏差の緑、スキューの緑、平均正規化の赤、標準偏差正規化の赤、スキュー正規化の赤、平均正規化の青、標準偏差正規化の青、スキュー正規化の青、平均正規化の緑、標準偏差正規化の緑、スキュー正規化の緑、平均強度、標準偏差強度、スキュー強度、平均エッジ強度、標準偏差エッジ強度、スキューエッジ強度、平均範囲、標準偏差範囲、スキュー範囲、ソーベルエッジの長さ、ソーベルエッジのカウント、範囲エッジの長さ、および範囲エッジのカウントの属性を備える。このリストは全てを尽くすものではなく、単に例を与えることが了解されるであろう。画像データの態様を記述する手段として使用され得る他の属性は、用語「画像データ属性」によって包含されると理解され得る。

それゆえに、画像を横切るピクセルごとに同じプロセスが反復されたとした場合に要求されるよりも少ない処理力を使用して、各スーパーピクセルについて多数の異なる画像データ属性が計算され得る。画像データ属性は、さらに候補特徴とも呼ばれ得る。これらの画像データ属性／候補特徴を取得する１つの方法は、スーパーピクセル内に含まれる個々のピクセルの属性の統計的要約、たとえば、分布の最初のｎモーメントを計算することである（たとえば、平均ピクセル値、ピクセル値の標準偏差、ピクセル値のスキューなどに基づき）。

さらに、多様なピクセル属性を生成するために画像フィルタの列が元の画像へ適用され、ピクセル属性は上記で説明されたようにスーパーピクセルグループごとに要約され得る。例示的な画像フィルタは、異なる色空間の間の変換、画像鮮明化操作、画像ぼかし操作などを含む。他の候補特徴は、スーパーピクセルの巨視的性質、たとえば、スーパーピクセルの形状、サイズ、または境界を記述する属性を含んでもよい。

各スーパーピクセルは、ピクセルのグループについて画像データ属性を要約するように使用され得る。画像の区分化は、区分化がないときに現在の方法で必要とされる全体的計算複雑度を低減する助けとなる。これは、所与のシステムについて、計算速度の増加が可能であることを意味し、さらに、区分化がないときに（既存の方法のもとで）画像内のピクセルごとに遂行するのに実用的な属性の数よりも、多数の属性が所与のスーパーピクセルについて決定されることを許し得る。

ステップ５： 属性選択

一度、各スーパーピクセルの画像データ属性が計算されると、各スーパーピクセルの画像データ属性は、１つのクラスのスーパーピクセルと他のクラスのスーパーピクセルとの間を区別するためには、どの属性が最も有用であるかを確立するため、機械学習アルゴリズムによって再検討され得る（ステップ２５）。ステップ２３からのユーザ入力は、方法のこの部分の入力として使用される。

機械学習アルゴリズムは、画像上のスーパーピクセルについて利用可能な画像データ属性のライブラリＭから画像データ属性の部分集合Ｎを選択するために採用される。ここでＮ＜＜Ｍである。画像データ属性の、この部分集合Ｎは、理想的には、異なるクラスの間を区別する有用な方途を提供する或る種の計量を反映すべきである。たとえば、第１のクラスのスーパーピクセルと、第２のクラスのスーパーピクセルとの間には、各クラスの赤チャネルのスーパーピクセル画像データ属性値に著しい差が存在するかも知れない。これは、将来の画像内のスーパーピクセルを１つのクラスまたは他のクラスとして区別することを助けるための、部分集合内の少なくとも１つの画像データ属性として使用され得る。クラス間で最強の区別を示す画像データ属性は、画像データ属性間の差の大きさに従ってランクづけされ得る。

このランクづけは、画像データ属性が、所与のスーパーピクセルの正しい出力カテゴリーを予測するうえで最高の信号対雑音比を有することに従ってもよい。クラス間の選好区別に使用可能なトップの画像データ属性を含む部分集合Ｎが存在するであろう。この部分集合Ｎから、クラス間の選好区別の特定のタイプを提供するため、属性の異なる選択が行われ得る。たとえば、トップの画像データ属性の部分集合Ｎからの３つの画像データ属性（これは、必ずしもトップの３つの属性ではない）の特定の選択は、第１のクラスと第２のクラスとの間の良好な区別を提供し得るが、第２のクラスと第３のクラスとの間を区別するには有用でない（または、より有用でない）かも知れない。それゆえに、これらの３つの選択された属性は、区別の特定のタイプを提供する。選好区別のそのようなタイプ、および、選好区別のこれらの異なるタイプを提供する部分集合Ｎからの１つまたは複数の属性は、部分集合Ｎの同定された様々な属性から明らかであろう。

機械学習アルゴリズムは、さらに、パターン分類機能を学習し得る。パターン分類機能は、出力カテゴリー（少なくとも２つの、前に定義されたカテゴリーの１つ）を、所与のスーパーピクセルに対応する入力特徴の集合へ割り当てて、スーパーピクセルをクラスＫへ分類することを許す（ステップ２６）。

このステップを達成する１つの方法は、機械学習アルゴリズム（たとえば、ＡｄａＢｏｏｓｔアルゴリズムのような適応ブースティングアルゴリズム）を採用して、選好（または最良）特徴の選択、および、これらの特徴を使用する分類器のトレーニング、の双方を行うことである。ＡｄａＢｏｏｓｔアルゴリズムは、トレーニングの実例へ加重を適応的に割り当てて、弱い分類器およびそれらの対応する加重または重要度を分類機能の中で反復学習することによって働く。弱い分類器の広く使用されるタイプは、決定株の使用を伴う（１レベル決定木は、単一の候補特徴および決定閾値に対応する）。

ステップ６： グラフィカル・ユーザ・インタフェースを用いる会話型増分トレーニング

ＧＵＩの中の結果を観察した後、人間オペレータは、もし望むならば、選択されたスーパーピクセルをＫクラスの各々について修正し、画像データ属性の決定された部分集合Ｎを修正することができる。ユーザは、画像データ属性の部分集合Ｎの選択およびパターン分類機能を修正（たとえば改善または精練）するため、好きなだけ何回でも、これを行い得る。トレーニングされたシステムは、さらに、上記のステップ１で定義された同じプロセスを用いてキャプチャされた新しい画像の上でテストされ、上記で説明されたように、人間オペレータによって特徴選択およびパターン分類機能のさらなる精練へ供され、最終的なスーパーピクセルのラベルづけ／カテゴリー化を提供してもよい（ステップ２７）。これは、ユーザの反復監視と共にオンライン物体解析を介して遂行され得る。これは、ユーザがスーパーピクセルを選択／非選択して、生成された結果を修正することを伴い得るが、さらに、前の結果を増分的にトレーニングおよび記憶して、さらに装置をトレーニングすることを伴い得る。

これは、分類性能の所望のレベルが取得されるまで、システムが、グラフィカル・ユーザ・インタフェース（ＧＵＩ）を使用する人間オペレータによって、会話型方式で増分的にトレーニングされ得るという点で、上記のプロセスを介して取得される計算スピードアップによって可能にされた重要な革新である。

計算複雑度は、少なくともスーパーピクセル化の事前グループ化ステップを介して大きく低減されるので、分／時間の長い期間よりもリアルタイムで反復学習および監視を遂行することが可能である。遂行され得る反復再検討は、この方法の低減された計算負荷に起因してリアルタイムで見られ得る。これは、さらに、装置の教育／トレーニングへの一般化されたアプローチを許す。というのは、上記で説明された方法は、１つの分野に特定されないからである。

ステップ７： トレーニングされた分類器の配置

図３は、図２で説明したようにトレーニングされた装置の配置（または配置モード）を一層詳細に示す。

画像データ属性の部分集合が決定された後、画像解析装置は、画像データ属性の決定された部分集合Ｎを使用してスーパーピクセルを自動的に認識してクラスＫへ分類する（ステップ３６）ために配置され得る。「装置をトレーニングする」行為は、実際には「装置を構成する」ことを包含すると理解され、さらには、単一の装置が自分自身を「自己構成して」、自分自身が画像解析用にトレーニングされることを包含すると理解され得る。そのようにトレーニングされた装置の動作は、下記で図３を参照して説明される。

本質的に、配置モードの一部分として図２の方法が反復されるが、例外として、関心事の特徴を有するスーパーピクセルを指し示す入力をユーザが提供する代わりに、トレーニングされた装置が、少なくとも２つのクラスＫの間の選好区別を提供するために画像データ属性のライブラリから決定された画像データ属性の所定の部分集合に従って、画像のスーパーピクセルを少なくとも２つのクラスへ（自動的に）分類する（ステップ３６）。

図３の方法は、画像データ属性の所定の部分集合を使用して、解析される画像のスーパーピクセルの画像データ属性を計算し（画像データ属性の計算は、上記で既に説明された）、次いで、これらの計算されたスーパーピクセル画像データ属性と、画像データ属性の所定の部分集合とを比較する。計算に必要とされる一層臨界的な画像データ属性は、画像データ属性の所定の部分集合から知られるので、方法は、所定の部分集合と比較されるスーパーピクセル画像データ属性を計算する必要があるだけである。

この時点の後、前記比較に基づいて、どのクラスに各スーパーピクセルが対応するかを確認し、方法が各スーパーピクセルを対応するクラスへ置き得るようにすることが必要である。これは、所与の画像データ属性が、画像データ属性の所定の部分集合によって提供された特定の閾値と合致する、または超過する、または超過しないかどうかを確認すること、または、値を比較して結論に達する他の方途を伴う。方法は、各スーパーピクセルを特定のクラスの中に置くことによって、各スーパーピクセルの分類を完了する。トレーニングされた装置の動作は、さらに、トレーニング方法の一部分として前に使用された画像の他の部分のスーパーピクセルを分類するために使用され得る。

これから、方法は、スーパーピクセルが割り当てられたクラスに基づいて、どのスーパーピクセルが、検査されている物体の関心事の特定の特徴を指し示すかを同定し得る。それゆえに、物体の特定の領域または物体それ自身が、異常／非異常として、または特定の応用が要求する何らかの特性を同定され得る。

これらの方法は、同一または異なる装置で実現され得る。たとえば、選好区別の部分集合として使用される画像データ属性の決定を遂行するため、１つの装置が使用され得る。画像データ属性のこの部分集合（追加のトレーニングデータを有するか有しない）は、トレーニング方法を介して確立されたトレーニングを反映する。ゆえに、この情報は、類似の動作を遂行する他の装置へ移植され得る。そのようなものとして、類似のタスクを遂行するために装置を個々にトレーニングすることは必要でない。というのは、同じデータが装置の間で移植され得るからである。

他の実施形態は、意図的に、添付の特許請求の範囲の中にある。

Claims (17)

1. 画像内の関心事の特徴を自動的に検出する装置をトレーニングする方法であって、
   検査用の少なくとも１つの物体の画像を受け取り、各画像は複数のピクセルを備えることと、
   前記画像を複数のスーパーピクセルへ区分化し、各スーパーピクセルは複数のピクセルを備え、各ピクセルは相互に類似の画像データ属性を有することと、
   スーパーピクセルの１つまたは複数において関心事の少なくとも１つの特徴を同定するユーザ入力に応答して、前記スーパーピクセルを少なくとも２つのクラスへ分類することと、
   画像データ属性のライブラリから、前記少なくとも２つのクラスの間の選好区別を提供する画像データ属性の部分集合を決定することと、
   画像データ属性の前記決定された部分集合を使用して前記装置をトレーニングし、これによって前記装置が、画像のスーパーピクセルを前記少なくとも２つのクラスへ自動的に分類することを可能にされることと、
   を備える方法。
2. 前記少なくとも２つのクラスの少なくとも１つは、関心事の特定の特徴を有するスーパーピクセルに対応する、請求項１に記載の方法。
3. 特定のスーパーピクセルが関心事の特定の特徴を有しないとして同定する前記ユーザ入力に応答して、それらの特定のスーパーピクセルを特定のクラスへ分類することを備える、請求項１に記載の方法。
4. 前記分類するステップは、
   ユーザ入力によって能動的に選択されたスーパーピクセルを１つまたは複数の対応するクラスへ割り当てることと、
   ユーザ入力によって能動的に選択されなかった全てのスーパーピクセルをさらなるクラスへ割り振ることと、
   を備える、請求項３に記載の方法。
5. 前記画像データ属性の部分集合は、前記少なくとも２つのクラスのスーパーピクセルの間の最大区別を提供する画像データ属性の部分集合を備える、請求項１に記載の方法。
6. 前記画像データ属性の部分集合は、前記スーパーピクセルの１つまたは複数について正しいクラスを予測するための最良の信号対雑音比を提供する画像データ属性を備える、請求項１に記載の方法。
7. 画像データ属性のライブラリから、各々が前記少なくとも２つのクラスの間の選好区別の特定のタイプを提供する画像データ属性の複数の部分集合を決定することを備える、請求項１に記載の方法。
8. 前記受け取られた画像の前記区分化は、
   − 特定の受け取られた画像の複数のピクセルをシードすることと、
   − 各シードピクセルから対応するスーパーピクセルを成長させて、類似の画像データ属性を有する近隣ピクセルを包含し、非類似の画像データ属性を有する近隣ピクセルを排除することと、
   を備える、請求項１に記載の方法。
9. 前記ユーザ入力は、スーパーピクセルの手作業選択によって提供される、請求項１に記載の方法。
10. トレーニングされた装置によって画像内の関心事の特徴を自動的に検出する方法であって、
    検査用の少なくとも１つの物体の画像を受け取り、各画像は複数のピクセルを備えることと、
    前記画像を複数のスーパーピクセルへ区分化し、各スーパーピクセルは複数のピクセルを備え、各ピクセルは相互に類似のデータ属性を有することと、
    画像データ属性のライブラリから決定され、前記少なくとも２つのクラスの間の選好区別を提供する画像データ属性の所定の部分集合に従って、前記画像のスーパーピクセルを少なくとも２つのクラスへ分類することと、
    前記分類されたスーパーピクセルに基づいて、検査される前記少なくとも１つの物体の上で関心事の特徴を同定することと、
    を備える方法。
11. 前記分類することは、
    前記スーパーピクセルの画像データ属性を決定することと、
    前記スーパーピクセルの対応する画像データ属性と、画像データ属性の前記所定の部分集合とを比較することと、
    前記比較に基づいて、どのクラスに各スーパーピクセルが対応するかを確認することと、
    各スーパーピクセルを対応するクラスの中に置くことと、
    を備える、請求項１０に記載の方法。
12. 各々が前記少なくとも２つのクラスの間の選好区別の特定のタイプを提供する画像データ属性の複数の部分集合に従って、前記スーパーピクセルを分類することを備える、請求項１１に記載の方法。
13. 前記スーパーピクセルの区分化は、
    − 特定の受け取られた画像の複数のピクセルをシードすることと、
    − 各シードピクセルから対応するスーパーピクセルを成長させて、類似の画像データ属性を有する近隣ピクセルを包含し、非類似の画像データ属性を有する近隣ピクセルを排除することと、
    を備える、請求項１２に記載の方法。
14. 請求項１０に記載の方法を遂行するため、請求項１に記載の方法によってトレーニングされた装置。
15. 記憶されたコンピュータ・プログラム・コードを備えるコンピュータ読み取り可能メディアであって、前記コンピュータ・プログラム・コードは、プロセッサで実行されたとき、請求項１および／または請求項１０に記載の方法を遂行するように構成されているコンピュータ読み取り可能メディア。
16. 図２および図３のいずれかで描かれている方法。
17. 請求項１から９のいずれか一項に記載のステップを遂行するように構成された装置。

Images