JP2017054331A - 画像分類方法、分類器の構成方法および画像分類装置 - Google Patents

Abstract

【課題】画像を自動分類するための教師画像を用いた分類器の構成に際し、任意の機械学習アルゴリズムに適用して優れた性能の分類器を構成する。【解決手段】教師画像から求めた特徴ベクトルを用いた事例学習により分類器Ｃ（ｉ）を構成し（ステップＳ３０５）、得られた分類器Ｃ（ｉ）により教師画像を分類する（ステップＳ３０６）。各教師画像の分類結果に応じて定められる新たな特徴量が特徴ベクトルに追加されることで、各教師画像の特徴ベクトルが更新される（ステップＳ３０８）。更新後の特徴ベクトルを入力ベクトルとして分類器Ｃ（ｉ＋１）を構成する。これを繰り返すことで複数組の分類器を取得し、それらの分類器で未知の画像を分類し、得られた結果の中から最終結果を選出する。【選択図】図４

Description

この発明は、教師画像を用いた機械学習により分類器を構成し、画像を自動分類する技術に関するものである。

複数の画像を画像相互の類似度に応じて複数のカテゴリに自動分類する技術として、教師あり学習を用いたものがある。この技術では、事前に収集された教師画像の特徴量分布から各分類カテゴリの特徴量分布を推定し、誤分類を最小にするようなカテゴリ間境界を求めることで分類器を構築する。代表的な例としては、線形判別法やニューラルネットワーク、サポートベクタマシン（ＳＶＭ）などが知られている。例えば特許文献１に記載の技術は、半導体基板やプリント基板等の欠陥を自動分類するものであり、予め用意された教師データに基づく機械学習によって生成された判別関数を用いて欠陥分類を行う。

このような自動分類技術において誤分類を完全になくすことは困難であり、分類精度を向上させるための技術も種々提案されている。

特開２００３−３１７０８３号公報

分類精度を向上させる手法の例として、複数の弱分類器を組み合わせたアンサンブル学習があり、例えばＡｄａＢｏｏｓｔアルゴリズムがよく知られている。ＡｄａＢｏｏｓｔでは、学習に用いる事例の重みを適応的に更新してゆくことで汎化性能を高めることができるが、従来の学習アルゴリズムのうち各事例に対してこのような重み付けが可能なものは限定的であり、分類の目的に応じた任意の機械学習アルゴリズムに適用することができるものではない。

この発明は上記課題に鑑みなされたものであり、画像を自動分類するための教師画像を用いた分類器の構成に際し、任意の機械学習アルゴリズムに適用して優れた性能の分類器を構成することのできる技術を提供することを目的とする。

この発明の一の態様は、Ｐ（Ｐは自然数）次元の特徴ベクトルによって表される教師画像と当該教師画像に付与される分類カテゴリとに関する情報を含む教師データを用いた機械学習の結果に基づき画像を自動分類する画像分類方法であって、上記目的を達成するため、複数の分類カテゴリの各々に、固有の識別番号を付与し、複数の前記教師画像に対応する前記教師データを用いた機械学習アルゴリズムを実行して分類器を構成する第１工程と、前記第１工程で構成された分類器により、前記教師画像の各々を複数の分類カテゴリに分類する第２工程と、前記教師画像の各々について、前記第２工程で付与された分類カテゴリと前記教師データにおいて予め付与されている分類カテゴリとを比較し、その結果に応じた数値を新たな特徴量として特徴ベクトルに追加することで、当該教師画像の特徴ベクトルの次元数を１増加させる第３工程とをこの順番でＭ（Ｍは２以上の整数）回実行して、入力ベクトルの次元が１ずつ異なるＭ組の分類器を準備し、ここで、前記第３工程では、前記第２工程で付与された分類カテゴリと前記教師データにおいて予め付与されている分類カテゴリとが異なる場合には、前記第２工程で付与された分類カテゴリの前記識別番号を前記新たな特徴量とし、前記第２工程で付与された分類カテゴリと前記教師データにおいて予め付与されている分類カテゴリとが一致する場合には、当該分類カテゴリの前記識別番号を中心とする所定の数値範囲内の不規則な数値を前記新たな特徴量とし、分類対象の画像について、Ｐ次元の特徴ベクトルをなすＰ種の特徴量を求め、当該画像の特徴ベクトルを、当該特徴ベクトルと同次元の入力ベクトルに対応する前記分類器により前記分類カテゴリのいずれかに分類する第４工程と、前記第４工程で分類された分類カテゴリの前記識別番号を新たな特徴量として特徴ベクトルに追加することで、当該画像の特徴ベクトルの次元数を１増加させる第５工程とをこの順番でＭ回実行して、Ｍ組の分類結果を取得し、前記Ｍ組の分類結果から選出した一の分類結果を、当該画像の分類結果として出力する。

また、この発明の他の態様は、画像を複数の分類カテゴリに自動分類するための分類器の構成方法であって、上記目的を達成するため、前記複数の分類カテゴリの各々に、固有の識別番号を付与し、Ｐ（Ｐは自然数）次元の特徴ベクトルによって表される複数の教師画像と、各教師画像に付与される分類カテゴリとに関する情報を含む教師データを取得し、前記教師画像に対応する前記教師データを用いた機械学習アルゴリズムを実行して分類器を構成する第１工程と、前記第１工程で構成された分類器により、前記教師画像の各々を複数の分類カテゴリに分類する第２工程と、前記教師画像の各々について、前記第２工程で付与された分類カテゴリと前記教師データにおいて予め付与されている分類カテゴリとを比較し、その結果に応じた数値を新たな特徴量として特徴ベクトルに追加することで、当該教師画像の特徴ベクトルの次元数を１つ増加させる第３工程とをこの順番でＭ（Ｍは２以上の整数）回実行して、入力ベクトルの次元が１ずつ異なるＭ組の分類器を構成し、前記第３工程では、前記第２工程で付与された分類カテゴリと前記教師データにおいて予め付与されている分類カテゴリとが異なる場合には、前記第２工程で付与された分類カテゴリの前記識別番号を前記新たな特徴量とし、前記第２工程で付与された分類カテゴリと前記教師データにおいて予め付与されている分類カテゴリとが一致する場合には、当該分類カテゴリの前記識別番号を中心とする所定の数値範囲内の不規則な数値を前記新たな特徴量とする。

このように構成された発明では、教師データを用いて学習した分類器によって教師画像自体が分類され、予め付与された分類カテゴリと異なる、つまり誤った分類結果が得られた教師画像については、その誤った分類カテゴリを示す識別番号が新たな特徴量として特徴ベクトルに追加される。一方、分類結果が予め付与された分類カテゴリと一致した場合には、当該分類カテゴリを示す識別番号の数値を中心とする所定数値範囲内の不規則な数値が新たな特徴量として特徴ベクトルに追加される。

新たな特徴量を創出して特徴ベクトルの次元を増やすのに際し、分類結果が誤っていた場合にはその誤った分類結果をそのまま新たな特徴量の値とする一方、分類結果が正しければその分類結果に若干の揺らぎを与えて新たな特徴量の値とすることで、誤分類の結果が分類性能の向上に寄与する特徴量として有効に機能することを本願発明者は見出した。誤分類結果を明確に後の学習に伝搬させる一方、正しい分類結果についてはより曖昧な形で伝搬させることで、間接的に事例に対する重み付けを行ったような効果が得られていると考えられる。

このように、分類結果に応じた新たな特徴量を教師データの特徴ベクトルに追加しながら繰り返し学習を実行するという方法は、どのような学習アルゴリズムにも適用可能なものである。そして、このようにして機械学習を実行することにより、分類性能の優れた、より正確には汎化能力の高い分類器を構成することが可能となり、こうして得られた分類器を用いることで、未知の画像についても分類精度を高めることができる。

また、この発明のさらに他の態様は、教師画像となる複数の画像および分類対象となる画像を取得する画像取得手段と、上記した画像分類方法を実行して画像を分類する分類手段あるいは上記した分類器の構成方法により構成された分類器を用いて、画像を分類する分類手段と、出力された分類結果をユーザに報知する報知手段とを備える画像分類装置である。このように構成された発明では、上記方法により従来よりも分類性能が向上した分類器を用いて画像を分類することで、より高い分類精度で種々の画像を分類することが可能である。

以上のように、本発明によれば、教師あり学習により得られた分類器を用いて教師データを分類し、分類結果に応じた特徴量を各教師データに追加してさらに学習を実行することで、構成される分類器の分類性能を向上させることができる。この方法は任意の機械学習アルゴリズムに対し適用可能であり、当該アルゴリズムを用いた自動分類における分類精度を向上させることができる。

この発明を好適に適用可能な検査システムの概略構成を示す図である。 欠陥検出装置の動作を示すフローチャートである。 欠陥分類装置の動作を示すフローチャートである。 欠陥分類装置により実行される事前学習処理を示すフローチャートである。 特徴ベクトル更新処理を示すフローチャートである。 未分類の欠陥画像に対する分類処理を示すフローチャートである。 本実施形態の効果を例示する図である。

図１はこの発明を好適に適用可能な検査システムの概略構成を示す図である。この検査システム１は、検査対象である半導体基板Ｓの外観に現れたピンホールや異物等の欠陥検査を行い、検出された欠陥の自動分類を行う検査システムである。検査システム１は、基板Ｓ上の検査対象領域から欠陥を検出する欠陥検出装置２と、欠陥検出装置２により検出された欠陥をより詳細に分析して欠陥の種類を特定する欠陥分類装置３とを備えている。欠陥検出装置２は基板Ｓの製造ラインに組み込まれ、検査システム１はいわゆるインライン型のシステムとなっている。

欠陥検出装置２は、基板Ｓ上の検査対象領域の画像を取得する画像取得ユニット２０と、画像取得ユニット２０からの画像データを解析して欠陥検出を行う検出ユニット２１とを備えている。画像取得ユニット２０は、例えばＣＣＤセンサまたはＣＭＯＳセンサなどの撮像素子を有し基板Ｓ上の検査対象領域を撮像することにより画像データを取得する撮像部２０１、基板Ｓを保持するステージ２０２、および、撮像部２０１に対してステージ２０２を相対的に移動させるステージ駆動部２０３を備えている。ステージ駆動部２０３はボールねじ、ガイドレールおよびモータなどにより構成される。撮像部２０１およびステージ駆動部２０３は検出ユニット２１に設けられた機構制御部２１１により制御されており、機構制御部２１１からの制御指令に応じて動作することで、基板Ｓ上の検査対象領域を撮像する。

撮像部２０１による撮像で得られた画像データに対して欠陥検出部２１２が適宜のデータ処理を施して欠陥検出を行う。欠陥検出部２１２は、撮像部２０１から与えられた画像データに対して適宜のデータ処理、例えばノイズ除去処理や平滑化処理などを施し、こうして処理された画像データに基づき欠陥検出を行う。より具体的には、実際の基板Ｓにおいて撮像された画像と、記憶部２１３に予め記憶された無欠陥の基板の画像とを比較して、その差異が予め定められた基準を超える場合には当該画像に欠陥が含まれると判定する。欠陥検出部２１２は、検出した欠陥の画像データをインターフェース（Ｉ／Ｆ）２１４を介して欠陥分類装置３に送信する。

欠陥分類装置３は、欠陥検出装置２から与えられる欠陥データに基づき、検出された欠陥の種別を判定する。すなわち、欠陥分類装置３は欠陥検出装置２から与えられる欠陥画像データに基づいて当該欠陥が属すべき分類カテゴリへと欠陥を自動分類（ＡＤＣ；Automatic Defect Classification）する機能を有している。この欠陥分類装置３は、この発明にかかる画像分類装置の一実施形態を実装した装置である。以下に説明するように、一般的なパーソナルコンピュータが有するハードウェア資源を用いて、本発明にかかる各処理を記述した制御プログラムを実行させることにより、欠陥分類装置３としての機能を実現することが可能である。

欠陥分類装置３は、予め読み込まれた制御プログラムを実行することにより、図１に示す各機能ブロックをハードウェアおよびソフトウェアにより実現し、後述する各種処理を実行する。欠陥分類装置３は、欠陥検出装置２から欠陥画像データを受信するためのインターフェース（Ｉ／Ｆ）３１、欠陥画像データに基づく自動分類により、当該欠陥の種別を判定する欠陥分類部（ＡＤＣ）３２を備えている。インターフェース３１は例えばＬＡＮ（Local Area Network）を介して他の外部機器と通信が可能となっている。

欠陥検出装置２から与えられる画像データおよび欠陥分類部３２における処理過程で生じる種々の処理データは必要に応じて記憶部３３に随時保存される。欠陥分類部３２は、与えられた欠陥画像データに基づき特徴量算出部３４が算出した複数種の特徴量の値に基づき、当該欠陥画像を、欠陥種別に対応して予め設定された複数の分類カテゴリのいずれかに分類する。

さらに、欠陥分類装置３は、ユーザからの操作入力を受け付けるキーボードおよびマウスなどの入力受付部３５および操作手順や処理結果等のユーザ向け視覚情報を表示する表示部３６を備えている。

欠陥分類部３２は、検出された欠陥をＳＶＭ（サポートベクタマシン；Support Vector Machine）、ニューラルネットワーク、決定木、判別分析、ロジスティック回帰等適宜の学習アルゴリズムを利用して分類する処理をソフトウェア的に実行する。具体的には、欠陥検査装置２または他の外部装置から与えられて記憶部３３に記憶保存された欠陥画像データと、当該欠陥画像が分類されるべき分類カテゴリに関するユーザからの教示情報とに基づいて予め適宜の学習アルゴリズムによる機械学習を行っておく。そして、未分類の欠陥画像に対応する画像データが新たに与えられると、学習結果に基づく自動分類を行って新たな欠陥画像をいずれかの分類カテゴリに分類する。

図２は欠陥検出装置の動作を示すフローチャートである。欠陥検出装置２は、検査対象基板Ｓを撮像し、その撮像結果から欠陥を検出するための動作として以下の欠陥検出処理を実行する。最初に検査対象基板Ｓが画像取得ユニット２０のステージ２０２にロードされると（ステップＳ１０１）、機構制御部２１１が撮像部２０１およびステージ駆動部２０３を制御して、基板Ｓ上の所定の検査対象位置を撮像し画像を取得する（ステップＳ１０２）。こうして得られた画像データに対して、欠陥検出部２１２は、必要に応じて例えば輝度調整やノイズ除去等の処理を行う。さらに、予め記憶部２１３に記憶されている無欠陥の基板の画像（基準画像）のうち、当該検査対象位置に対応する部分の画像データを読み出して、撮像により得られた画像データとの画素単位の差分を算出する（ステップＳ１０３）。

撮像された画像に欠陥が含まれなければ予め記憶されていた無欠陥の画像との差は小さい一方、欠陥が含まれていれば大きな差異が現れる。このことを利用して、両者の差分を求めることで欠陥の有無を判定することが可能である。具体的には、得られた差分画像に対して適宜の平滑化処理および二値化処理を行って（ステップＳ１０４）、有意な差が認められる領域があればその部分を欠陥部分として抽出する（ステップＳ１０５）。欠陥が検出された画像については（ステップＳ１０６）、当該画像を欠陥画像として、インターフェース２１４を介して欠陥分類装置３に送信する（ステップＳ１０７）。上記処理を、検査対象位置を順次変えながら基板Ｓの全体について行うことで（ステップＳ１０８）、基板Ｓの検査が完了する。

欠陥検出装置２は、検査対象基板Ｓの各位置を検査して欠陥の有無を判定する。一方、欠陥分類装置３は、検出された欠陥の種別を判定して、欠陥の発生傾向を分析してその結果を製造ラインにフィードバックしたり、欠陥検出装置２による欠陥検出処理の処理内容の調整を行うのに用いられる。検出された欠陥の分析を欠陥分類装置３により行うことで、欠陥検出装置２は欠陥検出に特化した処理を実行することができるので、高速での欠陥検出が可能となる。

図３は欠陥分類装置の動作を示すフローチャートである。上記した通り、欠陥分類装置３は欠陥検出装置２から出力される欠陥画像を、その欠陥種別に応じた分類カテゴリに分類する。より具体的には、欠陥分類部３２が予め収集された欠陥画像データに基づき事前学習（後述）を行っておき（ステップＳ２０１）、未分類の欠陥画像が欠陥検出装置２から新たに与えられると（ステップＳ２０２）、特徴量算出部３４が当該欠陥画像を特徴付ける複数の特徴量の値を算出する（ステップＳ２０３）。そして、欠陥分類部３２が、算出された特徴量の値に基づき、事前学習により構成された分類器を用いて当該欠陥画像を複数の分類カテゴリのいずれかに分類する（ステップＳ２０４）。

分類カテゴリは当該基板Ｓにおいて発生し得る複数の欠陥種別に対応して複数種が予め設定されており、例えば異物、傷、気泡、ピンホール、パターン断線、短絡などが代表的なものであるが、これらに限定されるものではない。以下の処理において、分類カテゴリは上記した欠陥種別の名称ではなく、分類カテゴリと１対１に対応させて予め付与されたカテゴリ番号によって特定されるものとする。カテゴリ番号としては整数列における連番が用いられる。例えば、欠陥種別「異物」、「傷」、「気泡」、…に対応する各分類カテゴリに対し、それぞれカテゴリ番号「１」、「２」、「３」、…を付すことで、これらが区別される。

図４は欠陥分類装置により実行される事前学習処理を示すフローチャートである。事前学習処理は、種々の欠陥を撮像した教師画像と、ユーザから教示される、当該教師画像がどの分類カテゴリに分類すべきものであるかを示す教示情報とに基づいて行われる。欠陥の典型的な外観を示す教師画像が多いほど学習効果が向上し、分類精度を高めることが可能である。

最初に、教師画像として用いられる複数の欠陥画像が収集される（ステップＳ３０１）。ここでは欠陥検出装置２から出力される欠陥画像を教師画像としてこれを順次記憶部３３に保存することで収集を行うものとするが、例えば予め用意された画像ライブラリや外部のストレージに収集された教師画像データを取得する態様であってもよい。当然ながら、欠陥画像は、分類すべきカテゴリの数よりも多数が必要である。以下では、収集された教師画像の総数をＮとし、教師画像のそれぞれに符号Ｔ（１），Ｔ（２），…，Ｔ（Ｎ）を付してこれらを区別することとする。

次に、収集された教師画像の各々について、当該教師画像が分類されるべき分類カテゴリを指定するための教示入力をユーザから受け付ける（ステップＳ３０２）。ユーザからの入力は入力受付部３５により受け付けられる。これにより、教師画像と教示された分類カテゴリとが対応付けられた教師データが作成される。

全ての教師画像に対し教示入力がなされると、各教師画像の特徴ベクトルが算出される（ステップＳ３０３）。具体的には、教師画像の外観的特徴を表す特徴量が複数種算出され、これら複数の特徴量からなる特徴ベクトルが求められる。以下、教師画像Ｔ（ｎ）を表す特徴ベクトルを符号Ｖ（ｎ）により表すこととする（ｎ＝１，２，…，Ｎ）。また、このときの特徴ベクトルの次元を符号Ｐ（Ｐは２以上の整数）とする。つまり、各教師画像はＰ種の特徴量により表される。なお、教示入力の受付および特徴ベクトル算出の処理順序は上記の逆でもよい。

続いて、ループ処理のための内部パラメータｉの値が０に設定され（ステップＳ３０４）、ステップＳ３０５〜Ｓ３０９のループ処理が実行される。まず、ＳＶＭ、ニューラルネットワーク、決定木、判別分析、ロジスティック回帰等の適宜の学習アルゴリズムにより、教師データを用いた事例学習が実行されて分類器が構成される。この分類器を符号Ｃ（ｉ）により表す（ステップＳ３０５）。第１回目のループでは、分類器Ｃ（０）が構成される。

次に、構成された分類器Ｃ（ｉ）により、当該分類器Ｃ（ｉ）自身を構成するのに用いられた教師画像が分類される（ステップＳ３０６）。理想的には、各教師画像はユーザが教示入力により付与した分類カテゴリに分類されるはずである。しかしながら、収集された教師画像およびユーザによる教示入力、分類に用いる特徴量の選択などの適否により、分類結果は必ずしもそうならない。すなわち、分類器による分類結果の正答率は、一般には１００％に満たない。つまり、１回の事例学習で最適な分類器が得られる可能性は必ずしも高くない。

ステップＳ３０５〜Ｓ３０９のループ処理に対して、ループを脱出するための脱出条件が予め定められている（ステップＳ３０７）。脱出条件としては例えば、予め教示された分類に対する分類器による分類結果の正答率が所定値以上であること、ループ処理を実行しても分類結果に有意な変化がない（例えば誤答数の変化がない）こと、ループ処理の実行回数が予め設定された上限回数に達したことなどが適用可能であり、これらのいずれかの要件が満たされたとき、脱出条件が成立したものとされる。なお脱出条件はこれらに限定されるものではない。

脱出条件が成立すると（ステップＳ３０７においてＹＥＳ）、ループ処理は終了する。上記したように、実際には１回目の処理で脱出条件が成立することはほとんどないと考えられる。脱出条件が未成立であれば（ステップＳ３０７においてＮＯ）、各教師画像の特徴ベクトルが、分類結果に基づく後述する方法により更新される（ステップＳ３０８）。そして、パラメータｉが１つインクリメントされ（ステップＳ３０９）、処理はステップＳ３０５に戻る。

脱出条件が成立するまで上記のループ処理が繰り返し実行される。ステップＳ３０７において脱出条件が成立していたとき、そのときのパラメータｉから１を減じた値がパラメータＭとして保存されて（ステップＳ３１０）、事前学習処理は完了する。

０を初期値としてループ処理の実行ごとにインクリメントされるパラメータｉの値は、ステップＳ３０５が実行された回数に１を加えた値となっている。したがって、これから１を減じたパラメータＭの値は、ステップＳ３０５の実行回数に対応する。ステップＳ３０５を実行する度に分類器Ｃ（ｉ）が構成されるため、全体では符号Ｃ（０）〜Ｃ（Ｍ−１）で表されるＭ組の分類器が構成されることとなる。教師データが同一であればこれらの分類器も全て同じとなるが、教師データに含まれる特徴ベクトルが都度更新されているため、分類器Ｃ（ｉ）（ｉ＝０，１，…，Ｍ−１）は互いに異なる。

図５は特徴ベクトル更新処理を示すフローチャートである。この特徴ベクトル更新処理は、図４のフローチャートにおけるステップＳ３０８に対応する処理であり、ループ処理の実行回数に応じてパラメータｉは種々の値を取り得るが、図４から明らかなように、図５に示す一連の処理においてはパラメータｉの値は固定されている。また、以下では、分類器Ｃ（ｉ）により分類された分類カテゴリに対応するカテゴリ番号を符号Ｌ（ｉ）により表す。

最初に、処理に用いられる閾値が０以上１未満の範囲で適宜に設定される（ステップＳ４０１）。閾値の適切な決め方については後述する。次に、教師画像を特定するための内部パラメータｎの値が１に設定され（ステップＳ４０２）、収集された教師画像のうち１つの画像Ｔ（ｎ）が選択される（ステップＳ４０３）。この時点では、Ｎ枚の教師画像のうち符号Ｔ（１）が付与されたものが選択される。選択された教師画像Ｔ（ｎ）について、予めユーザにより付与された分類カテゴリと、分類器Ｃ（ｉ）を用いた自動分類の結果とが比較される（ステップＳ４０４）。

自動分類により付与された分類カテゴリがユーザにより付与された分類カテゴリと一致しない、すなわち分類結果が誤っていたときには（ステップＳ４０４においてＮＯ）、分類器Ｃ（ｉ）が出力した分類カテゴリのカテゴリ番号Ｌ（ｉ）が新たな特徴量の値として設定され（ステップＳ４１２）、この特徴量が、当該教師画像Ｔ（ｎ）の特徴ベクトルＶ（ｎ）に新たな要素として追加される（ステップＳ４０９）。これにより、特徴ベクトルＶ（ｎ）の次元は１つ増加する。

一方、自動分類により付与された分類カテゴリがユーザにより付与された分類カテゴリと一致する、すなわち分類結果が正答であったときには（ステップＳ４０４においてＹＥＳ）、０以上１未満の乱数が発生され（ステップＳ４０５）、その乱数が予め定められた閾値と比較される（ステップＳ４０６）。発生された乱数が閾値より小さい場合には（ステップＳ４０６においてＹＥＳ）、誤分類であった場合と同様に、分類器Ｃ（ｉ）が出力した分類カテゴリのカテゴリ番号Ｌ（ｉ）が新たな特徴量の値とされ（ステップＳ４１１）、当該教師画像Ｔ（ｎ）の特徴ベクトルＶ（ｎ）に新たな要素として追加される（ステップＳ４０９）。

発生された乱数が閾値以上である場合には（ステップＳ４０６においてＮＯ）、さらに（−１）以上（＋１）未満の乱数が発生され（ステップＳ４０７）、分類器Ｃ（ｉ）が出力した分類カテゴリのカテゴリ番号Ｌ（ｉ）にこの乱数が加算された値が新たな特徴量の値とされ（ステップＳ４０８）、当該特徴量が特徴ベクトルＶ（ｎ）の新たな要素として追加される（ステップＳ４０９）。このとき追加される特徴量の値は、分類器Ｃ（ｉ）が出力した分類カテゴリのカテゴリ番号の値Ｌ（ｉ）を中心とする区間［Ｌ（ｉ）−１，Ｌ（ｉ）＋１）内の乱数となる。

なお、ステップＳ４０１、Ｓ４０５〜Ｓ４０６の処理は、新たな特徴量の値を決定するための２つのルールを一定の確率で選択的に適用するためのものである。すなわち、分類器Ｃ（ｉ）による分類結果が正答であったとき、特徴ベクトルに追加される新たな特徴量の値を決める際のルールとしては、出力されたカテゴリ番号Ｌｉをそのまま特徴量の値とする、または、出力されたカテゴリ番号Ｌｉを中心とする所定範囲内の乱数とする、という２種類がある。ステップＳ４０５において発生される乱数と閾値との大小関係に応じて一方のルールが選択されるため、これら２つのルールがどのような確率で適用されるかが、閾値の設定値により決まることとなる。

つまり、２つのルールの適用確率を調整するためのパラメータとして閾値が設定され乱数が用いられているが、閾値と乱数との大小関係に物理的な意味はない。したがって、ステップＳ４０６における「ＹＥＳ」と「ＮＯ」とは逆であってもよいし、上記のように２つのルールが一定の確率で選択的に適用され、かつその確率を変化させることが可能であれば、その具体的手法は任意である。

このように、教師画像Ｔ（ｎ）を表す特徴ベクトルＶ（ｎ）は、分類器Ｃ（ｉ）が出力した分類結果に応じた数値を有する新たな特徴量が要素として追加されることで、次元が１つ増加した新たな特徴ベクトルに更新される。

パラメータｎが教師画像の総数Ｎとなるまで（ステップＳ４１０）、パラメータｎの値を１ずつインクリメントしながら（ステップＳ４１２）、ステップＳ４０３〜Ｓ４０９のループ処理を繰り返すことにより、Ｎ枚の教師画像Ｔ（１）〜Ｔ（Ｎ）に対応する特徴ベクトルＶ（１）〜Ｖ（ｎ）がそれぞれ更新される。

必要に応じて閾値を修正することが可能となっており（ステップＳ４１３）、閾値の修正が必要であれば、ステップＳ４０１に戻って上記処理が再実行される。このとき、先の閾値設定に基づき実行された特徴ベクトルの更新結果は破棄され、もとの次元数の特徴ベクトルに対して新たな更新処理が行われる。

上記のように、特徴ベクトル更新処理が実行されることにより、特徴ベクトルＶ（ｎ）の次元が１つ増加する。したがって、図４に示されるループ処理において、第ｉ回目の処理と第（ｉ＋１）回目の処理との間では、ステップＳ３０５の事例学習に与えられる入力ベクトルの次元が１つ異なっている。そのため、分類器Ｃ（ｉ）と分類器Ｃ（ｉ＋１）とは、それぞれ異なる次元の入力ベクトルに対応した異なる分類器となっている。

分類器Ｃ（ｉ）と比較すると、分類器Ｃ（ｉ＋１）では対応する入力ベクトルの要素が１つ増えており、増やされた要素は分類器Ｃ（ｉ）が出力した分類結果（カテゴリ番号）に基づく値を有する特徴量である。つまり、分類器Ｃ（ｉ＋１）に教師データとして与えられる特徴ベクトルは、直前に構成された分類器Ｃ（ｉ）による分類結果に関する情報を特徴量として含む。そのため、ステップＳ３０５における事例学習では、それまでに実行された分類結果が特徴量として伝搬している。

分類器Ｃ（ｉ＋１）を構成するための事例学習においては、過去に構成された分類器Ｃ（０）〜Ｃ（ｉ）における教師画像Ｔ（ｎ）それぞれの分類結果を反映した特徴量を含む特徴ベクトルＶ（ｎ）が、教師データとして用いられる。分類結果に基づき追加される特徴量の値は、ユーザによる教示と異なる誤答であった場合には誤った分類結果そのものを表すカテゴリ番号である一方、正答であった場合には、分類されたカテゴリ番号を中心として一定の揺らぎを有する値である。

このため、誤った分類結果は以後の事例学習に対し強い特徴量として伝搬する一方、正しい分類結果はより弱い特徴量として伝搬する。これにより、事例学習を繰り返すに際して各事例に重み付けをしたような効果が間接的に得られるため、分類器の性能が向上することが期待される。本願発明者の実験によれば、分類結果が正答であった場合の特徴量の値への揺らぎの与え方、より具体的にはステップＳ４０１（図５）における閾値の設定を適切なものとすることにより、優れた分類性能を有する分類器を得ることが可能であることがわかっている。

原理的には、次のようにして閾値を最適化することができる。分類器Ｃ（ｉ）による教師画像の分類後に特徴ベクトル更新処理（図５）を実行し、更新された特徴ベクトルを用いて事例学習を行うことで分類器Ｃ（ｉ＋１）を得る。得られた分類器Ｃ（ｉ＋１）を用いて教師画像を分類し、その分類成績を評価する。具体的には、Ｎ枚の教師画像のうち分類器Ｃ（ｉ＋１）がユーザ教示と一致する分類結果を出力したものの割合（正答率）を求める。このような処理を、特徴ベクトル更新処理における閾値の設定値を種々に変更しながら繰り返し実行し、分類器Ｃ（ｉ＋１）の分類成績が最良となる閾値の設定値を決定する。

なお、以下のようにすることで、最良に近い分類性能をより簡便に得られることがわかっている。すなわち、本願発明者の知見によれば、図５に示す特徴ベクトル更新処理において、ステップＳ４０４において「ＮＯ」と判断された教師画像の数と、ステップＳ４０６において「ＹＥＳ」と判断された教師画像の数とがほぼ同数であるとき、分類器Ｃ（ｉ＋１）の分類成績が最良となる傾向が見られる。つまり、分類器Ｃ（ｉ）の分類結果が正しかった教師画像のうち、分類されたカテゴリ番号そのものが特徴量の値とされるケースと、分類器Ｃ（ｉ）の分類結果が誤っていたために誤ったカテゴリ番号が特徴量の値とされるケースとがほぼ同数となるようにすればよい。

分類器Ｃ（ｉ）の分類結果が正しかったとき、分類されたカテゴリ番号そのものが特徴量の値とされるケースと、該カテゴリ番号に乱数を加えた値が特徴量の値とされるケースとの比率は、ステップＳ４０１で設定される閾値に依存する。したがって、分類されたカテゴリ番号が特徴量の値とされるケースが誤答数とほぼ等しくなるように閾値を調節することで、閾値を最適化することができる。

実際の運用は例えば以下の通りである。図５の特徴ベクトル更新処理において、ステップＳ４０１で閾値を適宜の値に仮設定してステップＳ４０２〜Ｓ４１２を実行する。このとき、ステップＳ４０３において分類結果が教示と一致しないと判断された事例の数、つまり誤答数と、分類結果が教示と一致する正答のうちステップＳ４０６において乱数が閾値より小さいと判断された事例の数とをそれぞれ計数しておく。

ステップＳ４１３では、上記の両事例の数を比較し、その差（または比）が所定の許容範囲以内であれば閾値の修正は不要と判断される（ステップＳ４１３においてＮＯ）。一方、許容範囲を超える差異がある場合には閾値の修正が必要と判断され（ステップＳ４１３においてＹＥＳ）、ステップＳ４０１に戻って閾値の値が変更されて再度処理が実行される。閾値は、ステップＳ４０６において「ＹＥＳ」と判断される事例が誤答数よりも多ければより小さな値に、誤答数よりも少ない場合にはより大きな値に変更される。このようにすることで、分類結果が教示と一致する正答のうちステップＳ４０６において乱数が閾値より小さいと判断される事例の数が誤答数とほぼ一致することとなり、閾値が最適化される。

引き続き実行される事例学習では、分類器Ｃ（ｉ）よりも分類性能が改善された分類器Ｃ（ｉ＋１）を得ることができる。図４のループ処理でこのような改善を繰り返すことにより、より分類性能の優れた分類器を得ることが可能である。しかしながら、ループ処理の実行回数が増えるにつれて処理に要する時間も長くなるのに対し、分類性能の改善度合いは一般には次第に頭打ちとなる。このため、ある程度の改善効果が得られた時点でループ処理が終了するように、ステップＳ３０７における脱出条件が前述のように定められている。

上記のようにして、本実施形態の事前学習処理では、入力ベクトルの次元が１ずつ異なるＭ組の分類器Ｃ（０）〜Ｃ（Ｍ−１）が構成される。このうち分類器Ｃ（０）はステップＳ３０３（図４）で求められた教師画像の特徴ベクトルと同じＰ次元の入力ベクトルに対応しており、他の分類器Ｃ（１）、Ｃ（２）、…、Ｃ（Ｍ−１）はそれぞれ（Ｐ＋１）、（Ｐ＋２）、…、（Ｐ＋Ｍ−１）次元の入力ベクトルに対応するものとなっている。このように構成されたＭ組の分類器を用いて未分類の欠陥画像を分類する方法について、次に説明する。

図６は未分類の欠陥画像に対する分類処理を示すフローチャートである。図６に示す処理は、図３のステップＳ２０２〜Ｓ２０４に相当するものである。まず、分類対象となる未分類の欠陥画像を取得する（ステップＳ５０１）。この処理ステップは図３のステップＳ２０２に相当する。以下、取得された分類対象画像を符号Ｉｘにより表す。例えば、欠陥検出装置２により検査対象基板Ｓにおいて検出された欠陥を含む画像が、分類対象画像Ｉｘとされる。

次に、分類対象画像Ｉｘの特徴ベクトルＶｘが求められる（ステップＳ５０２）。この処理ステップは図３のステップＳ２０３に相当するものであり、分類対象画像Ｉｘについて教師画像と同じＰ種類の特徴量が算出され、Ｐ次元の特徴ベクトルＶｘが特定される。

続くステップＳ５０３〜Ｓ５０９が、図３のステップＳ２０４に相当している。ステップＳ５０３では、Ｍ組の分類器から１つを選択するための内部パラメータｊの値が初期値０に設定され（ステップＳ５０３）、これにより特定される分類器Ｃ（ｊ）、この場合には分類器Ｃ（０）を用いて分類対象画像Ｉｘが分類される（ステップＳ５０４）。そして、分類器Ｃ（ｊ）が出力した分類結果、すなわち当該分類対象画像Ｉｘが分類されるべき分類カテゴリに対応するカテゴリ番号が、分類対象画像Ｉｘを表す特徴ベクトルＶｘに新たな要素として追加される（ステップＳ５０５）。これにより、特徴ベクトルＶｘが更新され、その次元が１つ増加する。

パラメータｊの値を１ずつインクリメントしながら（ステップＳ５０６）、パラメータｊの値が分類器の数Ｍに達するまで（ステップＳ５０７）、ステップＳ５０４、Ｓ５０５が繰り返される。分類器Ｃ（ｊ）による分類が行われる度に、その結果が（Ｐ＋ｊ）次元の特徴ベクトルＶｘに新たな特徴量として追加され、特徴ベクトルは次元が１増加して（Ｐ＋ｊ＋１）次元となる。そして、（Ｐ＋ｊ＋１）次元の入力ベクトルに対応する分類器Ｃ（Ｊ＋１）に入力されて再度分類される。

このような処理が繰り返されることで、Ｍ組の分類器から出力されたＭ組の分類結果が得られる。各分類器の分類性能が異なるため、これらＭ組の分類結果は必ずしも同じとはならない。これらの分類結果の中からいずれかが、最終的な分類結果として選出され（ステップＳ５０８）、ユーザに対し報知出力される（ステップＳ５０９）。最終結果の選出方法としては、例えば次のようにすることができる。

第１に、最後の分類器Ｃ（Ｍ−１）により出力された分類結果を最終結果とすることが考えられる。前記したように、分類結果に応じて特徴ベクトルを更新しながら新たな分類器を構成してゆくことで、分類器の分類性能が次第に向上する。したがって、一般には後に構成される分類器ほど優れた分類性能を有していると期待される。このことから、最後の分類器Ｃ（Ｍ−１）が分類した分類カテゴリを最終結果とすることが考えられる。

第２に、Ｍ組の分類結果において最も出現頻度の高い分類カテゴリを最終結果とすることが考えられる。つまり、Ｍ組の分類器による分類結果の多数決を取ることで最終結果を決定する方法である。分類結果として特定の分類カテゴリが多数回出現することは、当該分類カテゴリの妥当性を示すものと言えるからである。

第３に、Ｍ組の分類結果それぞれに適宜の重み付けを与え、重みの合計が最も大きい分類カテゴリを最終結果とすることが考えられる。具体的には、Ｍ組の分類器それぞれについて教師データに対する正答率、すなわちＮ枚の教師画像のうちユーザによる教示と一致する分類結果が出力されたものの割合を評価する。そして、正答率の高い分類器ほど大きくなるような重み付けを各分類器に与え、分類カテゴリごとに、当該分類カテゴリを分類結果として出力した分類器の重みを合計する。合計値が最も大きい分類カテゴリが、最終的な分類結果となる。正答率の高い分類器が出力した結果は比較的信頼性が高いと推定されるから、このような重みを合計する方法で最終結果を選出することも合理的と言える。

なお、本願発明者の知見では、特徴ベクトル更新処理において閾値が適切に設定されていれば、後に例示するように、上記した第１の方法で十分に高精度な分類結果を得ることが可能である。

また、ステップＳ５０９における報知出力の態様は任意であるが、例えば、最終的な分類結果（カテゴリ番号）に対応する欠陥種別を当該分類対象画像とともに表示部３６に表示することで、分類結果をユーザに報知することができる。

図７は本実施形態の効果を例示する図である。図７（ａ）〜図７（ｃ）は、事例学習により構成された分類器による分類結果をユーザが事前に教示した分類カテゴリと比較対照した表であり、コンフュージョン・マトリクスとも呼ばれるものである。本願発明者は、５１１５枚の欠陥画像を用い、これらを教師画像として線形判別分析を行って得た分類器により、教師画像の再分類を行った。このときに構成された分類器は上記実施形態における分類器Ｃ（０）に相当する。再分類の結果をコンフュージョン・マトリクスとして図７（ａ）に示す。

表中左端の「教示」と記載された行見出しはユーザにより教示されたカテゴリ番号を示し、最上段の「ＡＤＣ」と記載された列見出しは分類器により分類されたカテゴリ番号を示している。数字「１」、「２」、「３」は３種類の分類カテゴリのそれぞれに付されたカテゴリ番号である。ユーザがカテゴリ番号「１」と教示した画像が１５７８枚あり、そのうち分類器Ｃ（０）がユーザの教示通りに正しく分類した正答数が１４２７枚である。したがって、ユーザ教示によるカテゴリ番号「１」に対する分類器Ｃ（０）の再現率（Recall）は９０．４％である。分類器Ｃ（０）は、他の画像のうち１５０枚をカテゴリ番号「２」に、１枚をカテゴリ番号「３」に誤分類した。

同様に、ユーザがカテゴリ番号「２」を付与した２８４９枚の画像のうち分類器Ｃ（０）による正答数は２３５４枚であり、再現率は８２．６％である。また、ユーザがカテゴリ番号「３」を付与した６８８枚の画像のうち分類器Ｃ（０）による正答数は６４４枚であり、再現率は９３．９％である。表を横方向に見ることでこれらのことがわかる。

一方、表を縦方向に見て分類器Ｃ（０）が出力した分類結果に着目すると、分類器Ｃ（０）がカテゴリ番号「１」に分類した画像は１６９２枚あり、そのうちユーザ教示と一致したのが１４２７枚である。したがって、カテゴリ番号「１」に対する精度（precision）は８４．３％である。同様に、カテゴリ番号「２」、カテゴリ番号「３」に対する精度はそれぞれ９２．５％、７３．７％である。そして、全５１１５枚の画像のうちユーザ教示と分類結果とが一致した正答数は４４２７枚であり、正確度（accuracy）は８６．５％である。

次に、分類器Ｃ（０）により出力された分類結果（カテゴリ番号）の正誤に応じた特徴ベクトル更新処理（図５）によって各教師画像の特徴ベクトルに新たな特徴量を追加し、これを教師データとして線形判別分析により新たな分類器を構成した。この分類器は上記実施形態における分類器Ｃ（１）に相当する。分類器Ｃ（１）を用いて教師画像を再分類した結果を図７（ｂ）に示す。再現率および精度を見ると低下する項目もあるが全体としては図７（ａ）よりも改善されており、正確度については図７（ａ）に示す結果に対し０．４ポイントの向上が見られる。

さらに、分類器Ｃ（１）により出力された分類結果（カテゴリ番号）に基づいて特徴ベクトル更新処理を実行して各教師画像の特徴ベクトルに新たな特徴量を追加し、これを教師データとして線形判別分析により新たな分類器を構成した。この分類器は上記実施形態における分類器Ｃ（２）に相当する。分類器Ｃ（２）を用いて教師画像を分類した結果を図７（ｃ）に示す。図７（ｂ）に示す結果に比べ、正確度がさらに０．４ポイント向上している。

このように、分類器により分類された結果に基づく新たな特徴量を追加することで教師データを更新し、それに基づく事例学習により新たな分類器を構成するという分類器の構成方法を採ることで、より分類性能の高い分類器が得られることがわかる。このような手法を採り入れるに際して学習アルゴリズムそのものを変更する必要はないため、種々の機械学習アルゴリズムに対してこの手法を適用することが可能である。

以上説明したように、上記実施形態では、図４のステップＳ３０５、Ｓ３０６、Ｓ３０８がそれぞれ本発明の「第１工程」、「第２工程」、「第３工程」に相当している。また、図６のステップＳ５０４、Ｓ５０５がそれぞれ本発明の「第４工程」、「第５工程」に相当している。また、分類カテゴリを表すカテゴリ番号が、本発明の「識別番号」に相当している。

また、上記実施形態の検査システム１が本発明の「画像分類装置」に相当しており、欠陥検出装置２および欠陥分類装置３がそれぞれ本発明の「画像取得手段」および「分類手段」として機能している。また、欠陥分類装置３が単独でも本発明の「画像分類装置」としての機能を有しており、この場合、インターフェース３１が本発明の「画像取得手段」として機能し、欠陥分類部３２が本発明の「分類手段」として機能する。また、表示部３６が本発明の「報知手段」として機能している。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では半導体基板を撮像して得られた欠陥画像の分類に本発明を適用しているが、本発明の手法に基づく分類対象となる画像は、このような基板上の欠陥を撮像したものに限定されず任意である。例えば、培地中で培養された細胞や細菌等を撮像した画像の分類にも、本発明を適用することが可能である。

また例えば、上記実施形態の検査システム１では、欠陥検出装置２と欠陥分類装置３とが別体として構成されているが、これらは一体のものであってもよい。また、上記実施形態の欠陥分類装置３では、教師画像に基づく事例学習と、その結果に基づく未知の画像の分類とが同一の装置により実行されているが、これらは個別の装置で実行されてもよい。この場合、１つの装置で行われた事例学習により構成された分類器が他の装置に実装されて画像の分類が行われることになる。

また例えば、上記実施形態の検査システムは撮像機能を有する欠陥検出装置２を備えるが、自らは撮像機能を備えず、専ら外部から画像データを受け取って処理を行う装置にも、本発明を適用することが可能である。

以上、具体的な実施形態を例示して説明してきたように、この発明にかかる画像分類方法では、例えば、Ｍ組の分類器を用いて求められたＭ組の分類結果のうちＭ回目に取得された分類結果を出力するように構成することができる。先の分類結果を特徴量に加えながら事例学習を繰り返すことで、分類器の分類性能が次第に向上することが期待される。よって、最後に取得された分類器の結果を最終的な分類の結果として出力することで、良好な分類精度を得ることができる。

また例えば、Ｍ組の分類結果の多数決により決定される分類結果を出力とするように構成されてもよい。分類器それぞれの分類結果は信頼性が低いものであったとしても、それらの多数決により出力が決定されることで、より精度の高い分類結果を安定して得ることができる。

また例えば、複数の分類カテゴリの各々に、整数列において連続する数値が識別番号として付与され、数値範囲の広さが２より小さくなるように設定されてもよい。連続する整数が識別番号として用いられる場合、隣り合う識別番号間の差は１である。この場合、特徴量として正しい分類結果に加える揺らぎの範囲が２より大きいと、元の分類結果が何であったかがわからなくなり、特徴量として適切に機能しなくなるおそれがある。揺らぎの範囲が２より小さくなるようにすることで、元の分類結果に関する情報が失われることなく後の学習に伝搬されることになり、分類性能の向上に寄与することができる。

また例えば、第３工程において、第２工程で付与された分類カテゴリと教師データにおいて予め付与されている分類カテゴリとが一致する場合、当該分類カテゴリの識別番号と同じ数値に先述の数値範囲内で発生させた乱数を加えた値を新たな特徴量としてもよい。こうすることで、特徴量の値に適切かつ不規則な揺らぎを与え、分類器の分類性能の向上を図ることができる。

また例えば、第３工程において、第２工程で付与された分類カテゴリと教師データにおいて予め付与されている分類カテゴリとが一致する場合、所定の確率で、当該分類カテゴリの識別番号と同じ数値を新たな特徴量とするように構成されてもよい。本願発明者の知見によれば、分類器により求められた分類カテゴリと教示された分類カテゴリとが一致する場合でも、一定の割合で当該分類カテゴリに対応する識別番号をそのまま新たな特徴量の値とすることで、分類性能を効果的に向上させることが可能である。

また例えば、第２工程において、教師画像のうち予め付与されている分類カテゴリとは異なる分類結果となった画像の数を誤答数と呼ぶとき、第２工程における誤答数が、前回に実行した第２工程における誤答数と同じになれば、第１ないし第３工程の繰り返しを終了するように構成されてもよい。第１工程ないし第３工程を繰り返し実行することで分類性能の向上が見込めるが、処理時間も長くなる。誤答数の変化がなくなったことを以って繰り返しを終了することで、処理時間をむやみに長くすることなく一定以上の分類性能の分類器を得ることが可能である。

また、この発明にかかる画像分類装置では、例えば、画像取得手段が撮像機能を有するものであってもよい。このような構成によれば、画像の取得から分類までを一体の装置で実現することが可能である。

この発明は、教師画像を用いた機械学習により分類器を構成し、該分類器を用いて未知の画像を分類する技術分野に好適に適用可能であり、適用対象となる学習アルゴリズムとしては任意のものを使用可能である。

１ 検査システム（画像分類装置）
２ 欠陥検出装置（画像取得手段）
３ 欠陥分類装置（分類手段、画像分類装置）
３１ インターフェース（画像取得手段）
３２ 欠陥分類部（分類手段）
３６ 表示部（報知手段）
Ｓ３０５（第１工程）
Ｓ３０６（第２工程）
Ｓ３０８（第３工程）
Ｓ５０４（第４工程）
Ｓ５０５（第５工程）

Claims (11)

1. Ｐ（Ｐは自然数）次元の特徴ベクトルによって表される教師画像と当該教師画像に付与される分類カテゴリとに関する情報を含む教師データを用いた機械学習の結果に基づき画像を自動分類する画像分類方法において、
   複数の分類カテゴリの各々に、固有の識別番号を付与し、
   複数の前記教師画像に対応する前記教師データを用いた機械学習アルゴリズムを実行して分類器を構成する第１工程と、
   前記第１工程で構成された分類器により、前記教師画像の各々を複数の分類カテゴリに分類する第２工程と、
   前記教師画像の各々について、前記第２工程で付与された分類カテゴリと前記教師データにおいて予め付与されている分類カテゴリとを比較し、その結果に応じた数値を新たな特徴量として特徴ベクトルに追加することで、当該教師画像の特徴ベクトルの次元数を１増加させる第３工程と
   をこの順番でＭ（Ｍは２以上の整数）回実行して、入力ベクトルの次元が１ずつ異なるＭ組の分類器を準備し、
   ここで、前記第３工程では、前記第２工程で付与された分類カテゴリと前記教師データにおいて予め付与されている分類カテゴリとが異なる場合には、前記第２工程で付与された分類カテゴリの前記識別番号を前記新たな特徴量とし、前記第２工程で付与された分類カテゴリと前記教師データにおいて予め付与されている分類カテゴリとが一致する場合には、当該分類カテゴリの前記識別番号を中心とする所定の数値範囲内の不規則な数値を前記新たな特徴量とし、
   分類対象の画像について、Ｐ次元の特徴ベクトルをなすＰ種の特徴量を求め、
   当該画像の特徴ベクトルを、当該特徴ベクトルと同次元の入力ベクトルに対応する前記分類器により前記分類カテゴリのいずれかに分類する第４工程と、
   前記第４工程で分類された分類カテゴリの前記識別番号を新たな特徴量として特徴ベクトルに追加することで、当該画像の特徴ベクトルの次元数を１増加させる第５工程と
   をこの順番でＭ回実行して、Ｍ組の分類結果を取得し、
   前記Ｍ組の分類結果から選出した一の分類結果を、当該画像の分類結果として出力する画像分類方法。
2. 前記Ｍ組の分類結果のうちＭ回目に取得された分類結果を出力する請求項１に記載の画像分類方法。
3. 前記Ｍ組の分類結果の多数決により決定される分類結果を出力とする請求項１に記載の画像分類方法。
4. 複数の前記分類カテゴリの各々に、整数列において連続する数値が前記識別番号として付与され、前記数値範囲の広さが２より小さい請求項１ないし３のいずれかに記載の画像分類方法。
5. 前記第３工程において、前記第２工程で付与された分類カテゴリと前記教師データにおいて予め付与されている分類カテゴリとが一致する場合、当該分類カテゴリの前記識別番号と同じ数値に前記数値範囲内で発生させた乱数を加えた値を前記新たな特徴量とする請求項１ないし４のいずれかに記載の画像分類方法。
6. 前記第３工程において、前記第２工程で付与された分類カテゴリと前記教師データにおいて予め付与されている分類カテゴリとが一致する場合、所定の確率で、当該分類カテゴリの前記識別番号と同じ数値を前記新たな特徴量とする請求項１ないし５のいずれかに記載の画像分類方法。
7. 前記第２工程において、前記教師画像のうち予め付与されている分類カテゴリとは異なる分類結果となった画像の数を誤答数と呼ぶとき、
   前記第２工程における誤答数が、前回に実行した前記第２工程における誤答数と同じになれば、前記第１ないし前記第３工程の繰り返しを終了する請求項１ないし６のいずれかに記載の画像分類方法。
8. 画像を複数の分類カテゴリに自動分類するための分類器の構成方法において、
   前記複数の分類カテゴリの各々に、固有の識別番号を付与し、
   Ｐ（Ｐは自然数）次元の特徴ベクトルによって表される複数の教師画像と、各教師画像に付与される分類カテゴリとに関する情報を含む教師データを取得し、
   前記教師画像に対応する前記教師データを用いた機械学習アルゴリズムを実行して分類器を構成する第１工程と、
   前記第１工程で構成された分類器により、前記教師画像の各々を複数の分類カテゴリに分類する第２工程と、
   前記教師画像の各々について、前記第２工程で付与された分類カテゴリと前記教師データにおいて予め付与されている分類カテゴリとを比較し、その結果に応じた数値を新たな特徴量として特徴ベクトルに追加することで、当該教師画像の特徴ベクトルの次元数を１つ増加させる第３工程と
   をこの順番でＭ（Ｍは２以上の整数）回実行して、入力ベクトルの次元が１ずつ異なるＭ組の分類器を構成し、
   前記第３工程では、前記第２工程で付与された分類カテゴリと前記教師データにおいて予め付与されている分類カテゴリとが異なる場合には、前記第２工程で付与された分類カテゴリの前記識別番号を前記新たな特徴量とし、前記第２工程で付与された分類カテゴリと前記教師データにおいて予め付与されている分類カテゴリとが一致する場合には、当該分類カテゴリの前記識別番号を中心とする所定の数値範囲内の不規則な数値を前記新たな特徴量とする、分類器の構成方法。
9. 教師画像となる複数の画像および分類対象となる画像を取得する画像取得手段と、
   請求項１ないし７のいずれかに記載の画像分類方法を実行して画像を分類する分類手段と、
   出力された分類結果をユーザに報知する報知手段と
   を備える画像分類装置。
10. 分類対象となる画像を取得する画像取得手段と、
    請求項８に記載の分類器の構成方法により構成された分類器を用いて画像を分類する分類手段と、
    出力された分類結果をユーザに報知する報知手段と
    を備える画像分類装置。
11. 前記画像取得手段が撮像機能を有する請求項９または１０に記載の画像分類装置。

Images