JP2010503902A - 個体性のある分類器を生成するシステム及び方法 - Google Patents

Abstract

本明細書で説明される本発明のシステム及び方法は、各々がそれ自体の区別できる行動を示す分類器を生成することによって分類精度を向上させる。１つの例示的な実施形態よる方法は、特徴ベクトルのサブセットを無作為に選択し、無作為に選択された特徴ベクトルのサブセットを、分類器の設計に用いることによって、各々の分類器を生成する。特徴ベクトルの異なるサブセットが、各々の分類器に対して用いられるので、各々の分類器はそれ自体の区別できる行動を示す。分類器は、例えば分類器アレイで分類器として用いられるとき、分類精度を向上させる。これは、分類器の１つが犯す誤分類は、アレイ内の他の分類器が繰り返すことがないので、分類器アレイ全体の精度が向上する。

Description

本発明の技術分野は、分類器に関し、特に、個体性のある分類器を生成するシステム及び方法に関する。

パターン認識分野では、分類器が、オブジェクトを多くの定義済みクラス又はカテゴリの１つに分類するのに用いられる。例えば、分類器は、融資申込者が高リスクであるか、低リスクであるかを分類するのに用いることができる。分類器の他の用途には、言語認識、顔認識、画像処理及び医療診断が含まれる。

分類器は、画像におけるピクセル又は領域を、多くの定義済みクラスの１つに分類するための画像処理で用いられる。例えば、分類器は、自然風景の画像内の領域を、葉、芝生又は空などの多くのクラスの１つに分類するのに用いることができる。医療分野では、分類器は、患者の画像における領域を、異なる組織の種類、例えば異常組織、病変組織、正常組織に分類するのに用いられる。

分類は通常、特徴ベクトルと呼ばれるオブジェクトの１組の特徴を抽出することを含む。特徴は、オブジェクトのクラスの有用な情報を提供するオブジェクトの特性又は属性でもよい。特徴は、オブジェクトの特性又は属性の数値測定値形態であり得る。例えば、融資申込者の特徴は、申込者の月収でもよい。分類器は、オブジェクトを、多くの定義済みクラス又はカテゴリの１つに分類するのに、オブジェクトの特徴ベクトルを用いる。

分類器は、特定のクラスを識別するように分類器を訓練することによって、特定の分類課題のためにカスタマイズすることができる。これには大抵、分類器に、既知のクラスを代表する１組の例示的なオブジェクトが提示される訓練段階を含む。分類器は、例示的なオブジェクトの特徴を抽出し、そうした特徴を、関連法則に基づいて、既知のオブジェクトクラスと関連付けることを学習する。分類器が、クラスを識別することを訓練されると、新たなオブジェクト内でのそうしたクラスの出現を識別するのに用いることができる。

実際には、分類器は時々、オブジェクトを誤分類する。従って、分類精度を向上させる必要性がある。

本明細書で説明される本発明のシステム及び方法は、各々がそれ自体の区別できる行動を示す、個体性のある分類器を生成することにより、分類制度を向上させる。１つの例示的な実施形態による方法は、特徴ベクトルのサブセットを無作為に選択し、無作為に選択された特徴ベクトルのサブセットを、分類器の設計に用いることによって、個体性のある各々の分類器を生成する。特徴ベクトルの異なるサブセットが、各々の分類器に用いられるので、各々の分類器は、それ自体の区別できる行動又は個体性を示す。

個体性のある分類器は、例えば分類器アレイで分類器として用いられるとき、分類精度を向上させる。これは、アレイにある分類器間の個体性が、分類器の１つが犯す誤分類は、アレイにある他の分類器が繰り返すことはないことを保証するからであり、それにより、分類器アレイの全体的な精度が向上する。

本発明の他のシステム、方法、特徴及び利点は、以下の図面及び詳細な説明を考察すればに、当業者には明らかである又は明らかになるであろう。そうした付加的なシステム、方法、特徴及び利点のすべては、本説明に含まれ、本発明の範囲内に含まれ、特許請求の範囲により保護されることが意図される。本発明は、さらに、例示的な実施形態の詳細を要求することに限定されないことが意図される。

本発明の詳細は、添付の図面を調べることによって一部を取得することができ、図面では同じ参照番号は、同じセグメントを指す。
本発明は、個体性のある分類器を設計するシステム及び方法を提供し、各々の分類器は、それ自体の区別できる行動を示す。

個体性のある分類器を設計する、１つの例示的な方法のブロック図を示す。 個体性のある分類器を設計する、１つの例示的な方法のブロック図を示す。 個体性のある分類器を含む分類器アレイの線図である。 個体性のある分類器を含む動的分類器の機能ブロック図である。 超音波撮像用途のための、個体性のある分類器を設計する、１つの例示的な方法のブロック図を示す。 超音波撮像用途のための、個体性のある分類器を設計する、１つの例示的な方法のブロック図を示す。

図１Ａ及び図１Ｂは、個体性のある分類器を設計する１つの例示的な方法のブロック図を示す。ステップ１１０において、特徴の第１サブセットを、特徴ベクトルから無作為に選択する。例えば、ｎ次元の特徴ベクトルｘは、
特徴ベクトルｘ＝［ｘ₁、ｘ₂、・・・、ｘ_n］
と表すことができ、ｘ₁、ｘ₂、・・・、ｘ_nは、特徴ベクトルを構成する１組の特徴を表す。ステップ１１０において、特徴ベクトルの特徴ｘ₁、ｘ₂、・・・、ｘ_nのサブセットを選択する。

ステップ１２０において、第１分類器、例えば線形分類器を、特徴ベクトルの第１サブセットを用いてオブジェクトを分類するように訓練する。これは、第１分類器に、既知のクラスの１組の例示的なオブジェクトを与えることにより行うことができる。第１分類器は、オブジェクトから特徴ベクトルの第１サブセットを抽出し、オブジェクトの特徴ベクトルの第１サブセットを、既知のオブジェクトクラスと関連付けることを学習する。

ステップ１２５において、第１分類器の精度を確認し、これは、例えば第１分類器に１組の例示的なオブジェクトを与え、第１分類器が、どのオブジェクトを正確に分類し、どのオブジェクトを誤分類するかを記録することによって行われる。

ステップ１３０において、特徴の第２サブセットを、特徴ベクトルから無作為に選択する。第２サブセットは、第１サブセットと同じ数の特徴を有してもよく、そうでなくてもよい。

ステップ１４０において、重み付け入力をもつ第２分類器を、特徴ベクトルの第２サブセットを用いて、オブジェクトを分類するように訓練する。第２分類器を、第１分類器を訓練するのに用いたのと同じ組の例示的なオブジェクトで訓練することもできる。第２分類器の入力を、第１分類器が正確に分類したオブジェクトよりも、第１分類器が誤分類したオブジェクトに、より重みを与えるように重み付けされることが好ましい。例えば、第２分類器は、第１分類器が誤分類したオブジェクトに８０％の重み付けを与え、第１分類器が正確に分類したオブジェクトに２０％の重み付けを与えることができる。これは、第２分類器が、第１分類器の犯した間違いを訂正しようと試行することを保証する。

ステップ１５０において、第１分類器と第２分類器を組み合わせる。これは、当技術分野で知られる２つの分類器の融合、又は当技術分野で知られるいずれかの他の技術によって行うことができる。

ステップ１５５において、組み合わされた複合分類器の精度を確認し、これは、例えば複合分類器に１組の例示的なオブジェクトを与え、複合分類器が、どのオブジェクトを正確に分類し、オブジェクトを誤分類するかを記録することによって行われる。

ステップ１６０において、特徴の第３サブセットを、特徴ベクトルから無作為に選択する。

ステップ１７０において、重み付き入力をもつ第３分類器を、特徴ベクトルの第３サブセットを用いて、オブジェクトを分類するように訓練する。第３分類器を、第１分類器及び第２分類器を訓練するのに用いられたのと同じ組の例示的なオブジェクトで訓練することができる。第３分類器の入力は、複合分類器が正確に分類したオブジェクトよりも、複合分類器が誤分類したオブジェクトに、より重みを与えるように重み付けされることが好ましい。これによって、第３分類器が、ステップ１５０の複合分類器が犯した間違いを訂正しようと試行することを保証する。

ステップ１８０において、第３分類器を、ステップ１５０の複合分類器と組み合わせ、新たな複合分類器を生成する。新たな複合分類器は、例えば、第１分類器、第２分類器及び第３分類器間で票決することによって実現でき、その分類器では、オブジェクトは、分類器の大部分によってオブジェクトに割り当てられた分類に基づいて分類される。

ステップ１８５において、新たな複合分類器の精度を確認し、これは、例えば新たな複合分類器に１組の例示的なオブジェクトを与え、分類精度率を求めることによって行われる。

ステップ１９０において、新たな複合分類器の精度を、達成目標、例えば９０％の分類精度のような達成目標と比較する。達成目標に達した場合には、設計が完了し、ステップ１８０の新たな複合分類器が、個体性のある分類器となる。達成目標に達しない場合には、ステップ１６０からステップ１９０を繰り返し、別の分類器を追加する。ステップ１６０からステップ１９０を、達成目標に達するまで、又はより多くの分類器を追加することによる大幅な精度の向上が見られなくなるまで、繰り返してもよい。

第１分類器、第２分類器、第３分類器は各々、特徴ベクトルの異なる無作為のサブセットを調べるため、その結果生じる複合分類器は、特有の行動又は個体性を有する。複合分類器は、１つの個体性のある分類器として用いられる。

図１Ａ及び図１Ｂの方法は、個体性のある分類器を設計するための１つの実施形態である。他の実施形態において、第２分類器及び第３分類器は、重み付け入力を有する代わりに、すべてのオブジェクトを均等に重み付けしてもよい。また、特徴ベクトルのサブセットの無作為な選択は、完全に無作為である必要はない。例えば、所望の効果を実現するため、特定の規則を、無作為の選択に組み込んでもよい。

個体性のある分類器を、分類精度を向上させるために、分類器のアレイで用いることができる。図２は、個体性のある分類器２２０−１から２１０−ｎ（「２２０−１−ｎ」）を含む、分類器アレイ２１０の線図である。１つの実施形態において、オブジェクトは、アレイ２１０内の各々の分類器２２０−１−ｎに、オブジェクトを個別に分類させ、アレイ２１０内の分類器２２０−１−ｎ間で票決し、分類器２２０−１−ｎの大部分によってオブジェクトに割り当てられた分類に基づき、オブジェクトを分類する、ことによって分類される。分類器アレイ２１０内の各々の分類器２２０−１−ｎは、本発明の方法を用いて設計され、ここで特徴ベクトルの異なるサブセットは、各々の分類器２２０−１−ｎに対して、無作為に選択される。代替的に、個体性のある分類器と従来の分類器の組み合わせを、アレイで用いることができる。

各々の分類器２２０−１−ｎは、分類タスクに独自の専門知識を取り込むので、個体性のある分類器２２０−１−ｎは、分類器アレイ２１０の精度を高める。アレイ２１０内の分類器２２０−１−ｎの間の個体性は、分類器２２０−１−ｎの１つが犯した誤分類を、アレイ２１０内の他の分類器２２０−１−ｎが繰り返すことがないよう保証し、したがって、他の分類器２２０−１−ｎによって「否決」される。

個体性のある分類器を、動的分類器で用いることもでき、これは、明細書の全体を援用する、２００４年９月１３日出願の「Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｐｒｏｄｕｃｉｎｇ Ａ Ｄｙｎａｍｉｃ Ｃｌａｓｓｉｆｉｅｄ Ｉｍａｇｅ」の名称の特許出願第１０／９４０３５９号で説明されている。図３は、個体性のある分類器を用いた動的分類器３１０の機能ブロック図である。動的分類器３１０は、画像入力３１５と、複数の個体性のある分類器又は個体性のある分類器のアレイ３２０−１から３２０−ｎ（「３２０−１−ｎ」）と、動的分類画像処理装置３３０とを含む。画像入力３１５は、撮像装置、コンピュータメモリ、画像処理装置などから得てももよい。

動作中、個体性のある分類器３２０−１−ｎの各々は、入力画像３１５を、分類画像３２５−１−ｎに分類し、ここで入力画像３１５の領域が分類される。例えば、各分類画像３２５−１−ｎは、色分けすることができ、その場合、異なるクラスは異なる色で表される。分類画像３２５−１−ｎは、動的分類画像処理装置３３０に入力され、この装置は、分類画像３２５−１−ｎを、表示装置（図示せず）に順次的、連続的に出力する。分類画像３２５−１−ｎの順次的な表示は、動的分類画像３３５を生成し、その画像中では、入力画像３１５の分類は、分類画像３２５−１−ｎのうちどれが、ある所与の瞬間に表示されるかによって、時間とともに変化する。動的分類画像処理装置３３０は、例えば１秒当たり１０枚から３０枚の分類画像３２５−１−ｎという速さで、分類画像３２５−１−ｎを継続的に１サイクル行うことができる。

分類器３２０−１−ｎ及び動的分類画像処理装置３３０は、異なるプロセッサ、同じプロセッサ、又はその組み合わせにおいて実施できる。例えば、分類器３２０−１−ｎを、１組のプログラムとして実施することができ、各プログラムは、分類器３２０−１−ｎの１つに対する計算手順を定める。分類器３２０−１−ｎ及び動的分類画像処理装置３３０は、次にプロセッサに、分類器３２０−１−ｎの各々に対してプログラムを順次的に実行させることにより、同じプロセッサ上で実施することができる。この実施において、異なる分類器３２０−１−ｎは、プロセッサによって入力画像３１５に順次的に与えられる。

動的分類画像３３５は、人間の観察者の視覚系が、時折発生する分類エラーを少数の分類画像３２５−１−ｎから除き、分類画像３２５−１−ｎの大部分からの一般に正しい分類を保持するよう働きかける動的刺激を与える。分類器３２０−１−ｎ間の個体性は、分類器３２０−１−ｎの１つが犯す誤分類を、動的分類器３１０内の他の分類器３２０−１−ｎが繰り返さないことを保証する。

本発明の方法は、血管内超音波（ＩＶＵＳ）撮像の分野にも応用できる。ＩＶＵＳ撮像において、超音波変換器は体内で超音波を発し、超音波は、体内の組織によって変換器まで反射して戻る。変換器は、反射した超音波を電気信号に変換し、電気信号は、超音波システムによって処理され、体の超音波画像になる。異なる種類の組織と関連付けられた電気信号は、異なる無線周波数（ＲＦ）スペクトルを示す。従って、組織のＲＦスペクトルは、組織の種類についての有益な情報を提供し、分類器が組織を分類するのに用いることができる。

例えば、組織のＲＦスペクトルは、６４の測定値を含んでもよく、各測定値は、異なる周波数帯域での、反射した超音波のエネルギーを表す。測定値は、周波数ビンに群分けすることができ、各周波数ビンは、異なる周波数帯域に対応する。

図４Ａ及び図４Ｂは、超音波撮像用途の、個体性のある分類器を設計する１つの例示的な方法のブロック図を示す。ステップ４１０において、周波数ビンの第１サブセットを、ＲＦスペクトルから無作為に選択する。例えば、ＲＦスペクトルの第１サブセットは、３つの周波数ビンを含むことができ、全ＲＦスペクトルは、６４の周波数ビンを含むことができる。

ステップ４２０において、第１分類器、例えば線形分類器を、ＲＦスペクトルの第１サブセット、例えば３つの周波数ビンを用いて組織を分類するよう訓練する。これは、第１分類器に、既知のクラスの例示的な組織の１組のＲＦスペクトルを与えることで行うことができる。第１分類器は、ＲＦスペクトルの第１サブセットを用いるので、第１分類器は、第１サブセットに対応する例示的な組織のＲＦスペクトルの一部だけを調べる。

ステップ４２５において、第１分類器の精度を確認し、これは、例えば第１分類器に、例示的な組織の１組のＲＦスペクトルを与え、第１分類器が、どのオブジェクトを正確に分類し、どのオブジェクトを誤分類するかを記録することによって行われる。

ステップ４３０において、例えば３つの周波数ビンのような第２のサブセットの周波数ビンを、ＲＦスペクトルから無作為に選択する。

ステップ４４０において、重み付け入力をもつ第２分類器を、ＲＦスペクトルの第２サブセットを用いて、組織を分類するように訓練する。第２分類器は、第１分類器を訓練するのに用いた例示的な組織の同じ組のＲＦスペクトルで訓練することができる。第２分類器の入力を、第１分類器が正確に分類した組織よりも、第１分類器が誤分類した組織に、より重みを与えるように重み付けすることが好ましい。これは、第２分類器が、第１分類器の犯した間違いを訂正しようと試行することを保証する。

ステップ４５０において、第１分類器と第２分類器を組み合わせる。これは、当技術分野で知られる２つの分類器の融合、又は当技術分野で知られる任意の他の技術によって行うことができる。

ステップ４５５において、複合分類器の精度を確認し、これは、例えば複合分類器に例示的な組織の１組のＲＦスペクトルを与え、複合分類器が、どの組織を正確に分類するか、及びどの組織を誤分類するかを記録することによって行われる。

ステップ４６０において、例えば３つの周波数ビンのような第３のサブセットの周波数ビンを、ＲＦスペクトルから無作為に選択する。

ステップ４７０において、重み付け入力をもつ第３分類器を、ＲＦスペクトルの第３サブセットを用いて、組織を分類するように訓練する。第３分類器は、第１分類器及び第２分類器に訓練するのに用いた例示的な組織の同じ組のＲＦスペクトルで訓練することができる。第３分類器の入力を、複合分類器が正確に分類した組織よりも、複合分類器が誤分類した組織に、より重みを与えるように重み付けすることが好ましい。これは、第３分類器が、ステップ４５０の複合分類器の犯した間違いを訂正しようと試行することを保証する。

ステップ４８０において、第３分類器を、ステップ４５０の複合分類器と組み合わせ、新たな複合分類器を生成する。新たな複合分類器は、例えば、第１分類器、第２分類器及び第３分類器間で票決することによって実現でき、その分類器では、組織は、分類器の大部分によって組織に割り当てられた分類に基づいて分類される。

ステップ４８５において、新たな複合分類器の精度を確認し、これは、例えば新たな複合分類器に例示的な組織の１組のＲＦスペクトルを与え、分類精度率を求めることによって行われる。

ステップ４９０において、新たな複合分類器の精度を、達成目標と比較する。達成目標に達した場合には、設計が完了し、ステップ４８０の新たな複合分類器が、個体性のある分類器となる。達成目標に達しない場合には、ステップ４６０からステップ４９０を、達成目標に達するまで、又はより多くの分類器を追加することによる大幅な精度の向上が見られなくなるまで、繰り返す。

上記の明細書において、本発明は、特定の実施形態を参照して説明してきた。しかし、本発明の広範な精神及び範囲から逸脱することなく、様々な修正及び変更を加えることができるのは明白となる。例えば、１つの実施形態の各々の特徴は、他の実施形態に示される他の特徴と混合及び適合させることができる。例えば、分類器アレイ又は動的分類器は、個体性のある分類器と従来の分類器との組み合わせを用いることができる。当業者に既知の特徴及び処理も、希望に応じて同様に組み込むことができる。さらに、希望に応じて特徴を加える又は除去することができるのは明白である。従って、本発明は、添付の特許請求の範囲及びその均等物を考慮した場合を除き、制限されるのもではない。

Claims (17)

1. 個体性のある分類器を生成する方法であって、
   特徴ベクトルの第１サブセットを無作為に選択するステップと、
   前記特徴ベクトルの前記第１サブセットを用いてオブジェクトを分類するように第１分類器を訓練するステップと、を含む
   ことを特徴とする方法。
2. 前記第１分類器は線形分類器であることを特徴とする、請求項１に記載の方法。
3. 前記特徴ベクトルは無線周波数スペクトルであることを特徴とする、請求項１に記載の方法。
4. 前記無線周波数スペクトルは超音波信号から得られることを特徴とする、請求項３に記載の方法。
5. 前記特徴ベクトルの第２サブセットを無作為に選択するステップと、
   前記特徴ベクトルの前記第２サブセットを用いてオブジェクトを分類するように第２分類器を訓練するステップと、
   前記第１分類器と前記第２分類器を組み合わせて複合分類器を生成するステップと、をさらに含むことを特徴とする、請求項１に記載の方法。
6. 前記特徴ベクトルは無線周波数スペクトルであることを特徴とする、請求項５に記載の方法。
7. 前記無線周波数スペクトルは超音波信号から得られることを特徴とする、請求項６に記載の方法。
8. オブジェクトを分類する際の前記第１分類器の精度を確認するステップと、
   前記第１分類器が正確に分類するオブジェクトよりも、前記第１分類器が誤分類するオブジェクトに対して、より大きい重みを与えるように、前記第２分類器の入力を重み付けするステップと、をさらに含むことを特徴とする、請求項５に記載の方法。
9. 前記特徴ベクトルの第３サブセットを無作為に選択するステップと、
   前記特徴ベクトルの前記第３サブセットを用いてオブジェクトを分類するように第３分類器を訓練するステップと、
   前記第３分類器を、前記複合分類器と組み合わせるステップと、をさらに含むことを特徴とする、請求項５に記載の方法。
10. オブジェクトを分類する際の前記複合分類器の精度を確認するステップと、
    前記複合分類器が正確に分類するオブジェクトよりも、前記複合分類器が誤分類するオブジェクトに対して、より大きい重みを与えるように、前記第３分類器の入力を重み付けするステップと、をさらに含む、請求項９に記載の方法。
11. 分類器のアレイを生成するための方法であって、
    複数の分類器の各々に対して、特徴ベクトルのサブセットを無作為に選択するステップと、
    前記特徴ベクトルのそれぞれのサブセットを用いて、オブジェクトを分類するように前記複数の分類器の各々を訓練するステップと、を含むことを特徴とする方法。
12. 前記複数の分類器は線形分類器であることを特徴とする、請求項１１に記載の方法。
13. 前記特徴ベクトルは無線周波数スペクトルであることを特徴とする、請求項１１に記載の方法。
14. 前記無線周波数スペクトルは超音波信号から発生することを特徴とする、請求項１３に記載の方法。
15. 動的分類器システムであって、
    共通の入力画像を処理するように構成された複数の分類器であって、各分類器が、前記共通の入力画像に基づいて分類画像を生成し、各分類器が、前記共通の入力画像を分類するため、特徴ベクトルの異なるサブセットを用いる、複数の分類器と、
    前記複数の分類器に結合された動的分類画像処理装置であって、前記動的分類画像処理装置が、前記複数の分類器から前記分類画像を順次的に出力する、動的分類画像処理装置と、を含むことを特徴とするシステム。
16. 前記動的分類画像処理装置は、１秒当たり１０枚から３０枚の間の速度で分類画像を順次的に表示するようなっていることを特徴とする、請求項１５に記載のシステム。
17. 前記動的処理装置は、前記分類画像を無作為の順番で表示することを特徴とする、請求項１５に記載のシステム。

Images