JP2020013378A - 画像分類方法及び画像分類装置 - Google Patents

Abstract

【課題】自己組織化マップを用いた画像のクラスタリングの精度を向上させる。【解決手段】ステップＳ１においてコンピュータは、複数の画像がそれぞれ有する特徴群に基づき、複数の画像間の類似度に応じた間隔で複数の画像が配置された自己組織化マップを生成する。ステップＳ２においてコンピュータは、自己組織化マップに基づき複数の画像のクラスタリングを行う。ステップＳ２においてコンピュータは、操作部及び表示部を含むユーザーインターフェイスの表示部に、自己組織化マップの任意の座標に配置された画像を当該画像のクラスと共に、操作部に対する入力操作に従って個別に表示し、当該画像のクラスを、前記操作部に対する入力操作に従って指定されたクラスに設定又は変更する。【選択図】図１

Description

本発明は、自己組織化マップを用いて画像のクラスタリングを行う画像分類方法及び画像分類装置に関する。

イメージング技術の急速な発達にともない、近年、画像データの多様化と大規模化が急速に進んでいる。

しかし、多様なイメージング機器から得られる画像データは複雑なため、画像の分類は困難である。

そこで、自己組織化マップを用いて自動的に画像のクラスタリングを行う画像分類技術が提案されている（特許文献１参照）。

特許第４６８８９５４号公報

特許文献１の方法では、自己組織化マップの同じ領域（座標）に配置された画像データは同じクラス（カテゴリ）を持つと判定しているが、実際には互いに異なるクラスを持つ複数の画像データが自己組織化マップの同じ領域に配置されている場合も多い。そのような自己組織化マップを用いて画像のクラスタリングを行うと、クラスタリングの精度が悪くなるいう問題が生じてしまう。

本発明は、以上の問題を解決しようとするものであって、その主な目的は、自己組織化マップを用いた画像のクラスタリングの精度を向上させることができる画像分類方法及び画像分類装置を提供することにある。

前述の目的を達成するために、本発明に係る画像分類方法は、コンピュータを用いて、複数の画像がそれぞれ有する特徴群に基づき、前記複数の画像間の類似度に応じた間隔で前記複数の画像が配置された自己組織化マップを生成する工程Ａと、前記コンピュータを用いて、前記自己組織化マップに基づき前記複数の画像のクラスタリングを行う工程Ｂとを備え、前記工程Ｂで前記コンピュータは、操作部及び表示部を含むユーザーインターフェイスの前記表示部に、前記複数の画像のうち前記自己組織化マップの任意の座標に配置された画像を前記操作部に対する入力操作に従って個別に表示し、前記工程Ｂで前記コンピュータは、前記複数の画像のうち前記表示部に表示されている画像のクラスを当該画像と共に前記表示部に表示し、当該画像のクラスを、前記操作部に対する入力操作に従って指定されたクラスに設定又は変更する。

また、本発明に係る画像分類装置は、複数の画像がそれぞれ有する特徴群に基づき、前記複数の画像間の類似度に応じた間隔で前記複数の画像が配置された自己組織化マップを生成し、当該自己組織化マップに基づき前記複数の画像のクラスタリングを行う制御部と、操作部及び表示部を含むユーザーインターフェイスとを備え、前記制御部は、前記複数の画像のうち前記自己組織化マップの任意の座標に配置された画像を前記操作部に対する入力操作に従って前記表示部に個別に表示し、前記制御部は、前記複数の画像のうち前記表示部に表示されている画像のクラスを当該画像と共に前記表示部に表示し、当該画像のクラスを、前記操作部に対する入力操作に従って指定されたクラスに設定又は変更する。

本発明によると、ユーザーインターフェイスの表示部に、自己組織化マップの任意の座標に配置された画像が当該画像のクラスと共に個別に表示される。このため、互いに異なるクラスを持つ画像が自己組織化マップの同じ座標に配置されている場合に、各画像を確認して画像毎に正しいクラスを設定することができる。従って、自己組織化マップを用いた画像のクラスタリングの精度を向上させることができる。

本発明の一実施形態に係る画像分類方法を示すフローチャートである。 本発明の一実施形態の変形例に係る画像分類方法を示すフローチャートである。 本発明の一実施形態に係る画像分類装置を備える異物検査システムの構成を示すブロック図である。 本発明の一実施形態に係る画像分類方法において表示部に表示される画面構成の一例を示す図である。 本発明の一実施形態に係る画像分類方法において表示部に表示される画面構成の一例を示す図である。 本発明の一実施形態に係る画像分類方法において表示部に表示される画面構成の一例を示す図である。 本発明の一実施形態に係る画像分類方法の一操作時における重なり画像のクラスの状態を示す図である。 本発明の一実施形態に係る画像分類方法の一操作時における表示画面の状態を示す図である。 本発明の一実施形態に係る画像分類方法の一操作時における重なり画像のクラスの状態を示す図である。 本発明の一実施形態に係る画像分類方法の一操作時における表示画面の状態を示す図である。 本発明の一実施形態に係る画像分類方法の一操作時における重なり画像のクラスの状態を示す図である。 本発明の一実施形態に係る画像分類方法の一操作時における表示画面の状態を示す図である。 本発明の一実施形態に係る画像分類方法の一操作時における重なり画像のクラスの状態を示す図である。 本発明の一実施形態に係る画像分類方法の一操作時における表示画面の状態を示す図である。 本発明の一実施形態に係る画像分類方法の一操作時における重なり画像のクラスの状態を示す図である。 本発明の一実施形態に係る画像分類方法における自己組織化マップ生成、仮分類及びクラス修正に用いられるデータテーブルの一例を示す図である。 本発明の一実施形態に係る画像分類方法における自己組織化マップ生成及び仮分類のための欠陥カテゴリの入力データの一例を示す図である。 本発明の一実施形態に係る画像分類方法における自己組織化マップ生成、仮分類及びクラス修正に用いられるデータテーブルの一例を示す図である。 本発明の一実施形態に係る画像分類方法における自己組織化マップ生成、仮分類及びクラス修正に用いられるデータテーブルの一例を示す図である。 本発明の一実施形態に係る画像分類方法における自己組織化マップ生成及び仮分類のための欠陥カテゴリの入力データの一例を示す図である。

以下、本発明の実施形態について図面を参照しながら詳細に説明する。尚、本発明は、以下の実施形態に限定されるものではない。また、本発明の効果を奏する範囲を逸脱しない範囲で適宜変更は可能である。

（画像分類方法）
図１は、本発明の一実施形態に係る画像分類方法を示すフローチャートである。

まず、ステップＳ１において、コンピュータを用いて、複数の画像がそれぞれ有する特徴群に基づき、各画像間の類似度に応じた間隔で各画像が配置された自己組織化マップを生成する。ここで、特徴群を構成する各特徴の種類は、画像に含まれる撮像対象に応じて特に制限無く選択可能であるが、代表的な特徴としては、例えば、面積、平均輝度、色、形態、長さ、幅、長さと幅の比、基準線に対する傾き角などがある。

次に、ステップＳ２において、コンピュータを用いて、ステップＳ１で生成された自己組織化マップに基づき各画像のクラスタリングを行う。

ステップＳ１及びＳ２では、予め幾つかの画像に対しクラスを設定しておき、これらのクラス付き画像を教師データとして、自己組織化マップを生成し、当該自己組織化マップ及び各画像の特徴群に基づき、その他の画像について暫定的なクラス設定（以下、仮分類ということもある）を行う。ここで、教師データだけではクラス判定できない画像については、クラス設定は行われない。

また、本実施形態においては、ステップＳ２でコンピュータは、ユーザーインターフェイスの表示部に、仮分類の結果と合わせて自己組織化マップを表示する。このとき、ユーザーインターフェイスの操作部に対する入力操作に従って、自己組織化マップの任意の座標に配置された画像を当該画像のクラスと共に表示部に個別に表示する。また、自己組織化マップの同じ座標に２つ以上重なって配置された画像（以下、重なり画像と称することもある）についても、操作部に対する入力操作に従って表示部に個別に表示する。

本実施形態の画像分類方法によると、ユーザーインターフェイスの表示部に、自己組織化マップの任意の座標に配置された画像が当該画像のクラスと共に個別に表示される。このため、前述の仮分類では同じクラスに設定されているものの実際には互いに異なるクラスを持つ画像が自己組織化マップの同じ座標に配置されている場合に、各画像を確認して画像毎に正しいクラスの設定（以下、クラス修正ということもある）を行うことができる。また、仮分類ではクラス設定されなかった画像についても、当該画像を個別表示しながら、正しいクラスの設定（以下、この場合も含めてクラス修正ということもある）を行うことができる。従って、自己組織化マップを用いた画像のクラスタリングの精度を向上させることができる。

尚、本実施形態の画像分類方法において、前述の複数の画像を画像分類基準を決めるための学習用画像として取り扱い、図２に示すように、ステップＳ２の後に、コンピュータを用いて、各学習用画像の特徴群及びステップＳ２でクラス修正されたクラスタリング結果に基づき、画像分類基準を決定してもよい（ステップＳ３）。さらに、ステップＳ３の後に、コンピュータを用いて、ステップＳ３で得られた画像分類基準と、新たな画像（クラスが未知の画像）が有する特徴群とに基づいて、当該画像の分類（クラス設定）を行ってもよい（ステップＳ４）。ステップＳ４で分類する画像の数は、コンピュータの処理能力の許容範囲内であれば特に限定されない。

また、本実施形態の画像分類方法において、ステップＳ２でクラス修正された画像を新たな教師データとして、再度、ステップＳ１及びＳ２、つまり、自己組織化マップの生成及び仮分類と、画像の個別表示を用いたクラス修正とを行うことにより、画像クラスタリングの精度をさらに向上させてから、ステップＳ３を実施してもよい。あるいは、画像のクラスタリングの精度が所望のレベルに達するまで、ステップＳ１及びＳ２を繰り返し実施してから、ステップＳ３を実施してもよい。

以下、例えば半導体ウェハ等を対象とする異物検査において異物を撮像した画像を欠陥カテゴリ毎に分類するために本発明を適用する場合について詳述する。

（画像分類装置）
図３は、前述の本実施形態に係る画像分類方法を実施するための画像分類装置を備える異物検査システムの構成を示すブロック図である。図３に示す異物検査システムは、異物の画像を撮影するためのカメラ等の撮像装置１０と、撮像装置１０により得られた異物画像を欠陥カテゴリ毎に分類する画像分類装置２０を備えている。画像分類装置２０は、制御部２１と、操作部２２Ａ及び表示部２２Ｂを含むユーザーインターフェイス２２とを備えている。

制御部２１は、予め準備されている複数の画像がそれぞれ有する特徴群に基づき、各画像間の類似度に応じた間隔で各画像が配置された自己組織化マップを生成し、当該自己組織化マップに基づき各画像のクラスタリングを行う。具体的には、予めクラス（欠陥カテゴリ）が与えられた画像（教師データ）を含む複数の画像の画像データを入力データとして、制御部２１は、自己組織化マップを生成し、各画像の仮分類（暫定的なクラス設定）を行う。ここで、制御部２１は、撮像装置１０からの画像データ（アナログ信号）をＡ／Ｄ変換してディジタル画像を生成し、当該ディジタル画像を画像解析することによって、撮像対象の形態や色調等に関する特徴、つまり画像の特徴群を抽出してもよい。また、制御部２１は、教師データだけではクラス判定できない画像については、クラス設定は行わない。

また、制御部２１は、自己組織化マップの任意の座標に配置された画像（同じ座標に２つ以上重なって配置された重なり画像も含む）を当該画像のクラスと共に操作部２２に対する入力操作に従って表示部２１に個別に表示し、表示部２１に個別に表示された画像について、操作部２２に対する入力操作に従ってクラス修正を行う。

また、制御部２１は、前述の複数の画像を画像分類基準を決めるための学習用画像として取り扱い、各学習用画像の特徴群及びクラス修正されたクラスタリング結果に基づき、画像分類基準を決定してもよい（前述のステップＳ３）。具体的には、制御部２１は、各学習用画像の特徴群の値とクラス（欠陥カテゴリ）との対応関係に基づいて、画像分類のための分類基準を生成し、当該分類基準を記憶する。分類基準の生成には、決定木、ランダムフォレスト、線形ＳＶＭ（サポートベクターマシン）、非線形ＳＶＭ、ディープラーニングなどを用いてもよい。

また、制御部２１は、撮像装置１０により得られた新たな画像の画像データを入力として、当該画像の特徴群と前述のように決定した画像分類基準とに基づき、当該画像の分類つまり当該画像のクラス（欠陥カテゴリ）設定を行ってもよい（前述のステップＳ４）。

尚、制御部２１はコンピュータを備えており、当該コンピュータがプログラムを実行することによって、前述の本実施形態に係る画像分類方法が実施される。コンピュータは、プログラムに従って動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わないが、例えば半導体集積回路（ＩＣ）又はＬＳＩ（large scale integration）を含む一つ又は複数の電子回路により構成されていてもよい。複数の電子回路は、一つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは一つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。

また、操作部２２Ａとしては、キーボード、マウス、タッチパッド等を用いてもよく、表示部２２Ｂとしては、例えばＣＲＴや液晶ディスプレイ等の画像表示可能なモニタを用いてもよい。

（表示部に表示される画面）
図４は、本実施形態に係る画像分類方法において表示部２２Ｂに表示される画面構成の一例である。表示対象の自己組織化マップは、例えば７×７の領域（タイル）に分割されており、各画像はいずれかのタイルに配置されており、各タイル毎に画像の一つが表示されている。表示画面１００は、操作部２２Ａに対する入力操作（例えばスライダ操作）に従って、７×７のタイルのうち、例えば任意の５×５のタイルを選択表示可能である。尚、タイル数は、クラスタリング対象の画像の数によって適宜調整することができる。また、自己組織化マップ上では、類似した画像は基本的に同じ又は近傍のタイル上に配置される。類似性の尺度は、画像の特徴群によって規定される。

各タイルには、画面横方向（Ｘ方向）、縦方向（Ｙ方向）にそれぞれ、０〜６までの整数で座標が付与されており、表示画面１００の右上部には、画像を確認したいタイル座標（Ｘ座標１０１ａ、Ｙ座標１０１ｂ）の表示領域１０１が設けられている。ここで、操作部２２Ａを用いて例えばドロップダウンリスト選択によりＸ座標１０１ａ、Ｙ座標１０１ｂを指定すると、制御部２１が、当該座標に配置された画像１１０（当該座標に重なり画像が配置されている場合には当該重なり画像のうちの一画像１１０）を表示部２２Ｂに表示してもよい。表示画面１００は、Ｘ座標１０１ａ、Ｙ座標１０１ｂがそれぞれ０に指定された様子を示している。このようにタイル座標が指定されると、当該座標に配置された画像（重なり画像については当該重なり画像のうちの一つの画像）が表示されるので、どのタイル（つまり互いに類似した画像群）が選択されているのかを把握しやすくなる。

このように操作部２２Ａを用いてドロップダウンリスト選択によりＸ座標１０１ａ、Ｙ座標１０１ｂを指定した場合に、制御部２１が、選択されたタイル１０２を目立たせるような表示をしてもよいし、また、タイル座標の指定が変更された場合には当該目立たせる表示を移動してもよい。表示画面１００は、選択されたタイル１０２を目立たせるために、制御部２１が、選択されたタイル１０２の周囲に太枠１１１（色付きでもよい）を表示している様子を示している。これ以外にも、制御部２１が、例えば、選択されたタイル１０２の背景の色や模様を他のタイルとは違う色や模様に設定したり、或いは、選択されたタイル１０２の角部等に丸円やｖ字状の図形等を表示してもよい。

本実施形態において、操作部２２Ａに対する入力操作を行うための表示領域１０１は後述する表示領域１０４及び１０６と共に、表示部２２Ｂの一部（表示画面１００の例では画面右上）に集合配置してもよい。このようにすると、タイル座標の指定やクラス修正を行うたびに、表示部２２Ｂに表示される画面の端から端まで、例えばマウスポインタを移動させることなく、狭い表示領域内でのマウスポインタ移動によって画像選択やクラス修正の作業を完了させることができるので、作業効率が向上する。

また、操作部２２Ａ、例えばマウスやタッチパネル等を用いた入力操作により、表示部２２Ｂに表示されている画像１１０の１つを指定すると、制御部２１が、当該画像１１０の座標をＸ座標１０１ａ、Ｙ座標１０１ｂに表示してもよい。例えば、表示画面１００においてタイル１０２が指定されると、Ｘ座標１０１ａ、Ｙ座標１０１ｂがそれぞれ０と表示され、さらに、前述のように、選択されたタイル１０２を目立たせる太枠１１１が表示される。このようにすると、視覚的にクラス修正が必要と判断されるタイルの選択を容易に行うことができる。

本実施形態において、表示画面１００には、表示されている画像１１０のクラス（黒欠陥、白欠陥等の欠陥カテゴリ）が各タイル毎に表示されている。このとき、表示画面１００のように、各タイル毎に画面表示されている画像１１０及び「表示画像番号／重なり枚数」１０３の下側に、当該画像１１０の「クラス」１０５を表示してもよい。

尚、表示画面１００では、全てのタイルに重なり画像が配置されている場合を示しているが、自己組織化マップにおいて一部のタイルに重なり画像が存在しないこと（つまり一部のタイルに画像が全く配置されないか、１枚の画像しか配置されないこと）もある。そのような場合は、表示画面の当該タイルには画像が表示されないか、又は１枚だけ配置された画像がそのまま表示される。

また、本実施形態において、各タイル毎に重なり画像の重なり枚数を表示してもよい。このとき、重なり画像のそれぞれに番号を付与して、表示画面１００のように、各タイル毎に表示されている画像１１０の下側に重なり枚数を、表示されている画像１１０の番号と共に「表示画像番号／重なり枚数」１０３のように表示してもよい。重なり画像は、例えばタイル内で割合の多い欠陥カテゴリを持つ画像から順（以下、カテゴリ昇順という）に重ねて番号を付与してもよいし、逆に、割合の少ない欠陥カテゴリを持つ画像から順（以下、カテゴリ降順という）に重ねて番号を付与してもよい。重なり画像に対して、カテゴリ昇順で番号を付与した場合、タイル内で主要な欠陥カテゴリを簡単に把握することができる。また、重なり画像に対して、カテゴリ降順で番号を付与した場合、タイル内で少数派の欠陥カテゴリ（クラス）に仮分類されている画像について優先的にクラス修正を行って正しいクラスに設定又は変更することができる。このため、重なり画像の確認やクラス修正の作業を行うための時間が制限されている場合（つまり重なり画像を全数確認できない場合）でも、画像のクラスタリングの精度を向上させることができる。

或いは、重なり画像は、画像分類装置２０に画像データを読み込ませた際の順番（以下、データリスト昇順という）又はその逆の順番（以下、データリスト降順という）に重ねて番号を付与してもよい。

また、表示画面１００の表示領域１０１の下側に、Ｘ座標１０１ａ、Ｙ座標１０１ｂで指定された座標の重なり画像に関し、重なり画像の重ね方１０４ａ、表示させたい画像の番号（以下、画像番号ということもある）１０４ｂ、重なり画像の順送り／順戻しボタン１０４ｃの表示領域１０４を設けてもよい。このようにすると、操作部２２Ａを用いて、例えば、画像番号１０４ｂのキーボード入力や重なり画像の順送り／順戻しボタン１０４ｃのマウスを用いたクリック（ボタン押下）により、重なり画像（Ｘ座標１０１ａ、Ｙ座標１０１ｂで指定された座標の重なり画像）の中から表示させたい画像を簡単に指定することができる。ここで、画像番号１０４ｂと合わせて、当該画像を含む重なり画像の重なり枚数を表示してもよい。また、重なり画像の順送り／順戻しボタン１０４ｃとして、例えば「＜＜」は１０戻り、「＜」は１戻り、「＞」は１送り、「＞＞」は１０送りのように複数のボタンを設けてもよい。また、重なり画像の重ね方（つまり重なり画像の重なり順）は、操作部２２Ａを用いて例えばドロップダウンリスト選択により重ね方１０４ａを指定することにより、容易に変更可能である。

また、表示画面１００のように、表示領域１０４の下側に、表示領域１０４で指定された画像に関し、当該画像の現時点のクラス（変更前クラス）１０６ａ、当該画像の変更後クラス１０６ｂ、当該画像のみの個別変更ボタン１０６ｃ、当該画像を含む重なり画像（タイル内画像）の一括変更ボタン１０６ｄの表示領域１０６を設けてもよい。このようにすると、操作部２２Ａ、例えばマウスを用いて、ドロップダウンリスト選択により変更後クラス１０６ｂを指定し、個別変更ボタン１０６ｃ又は一括変更ボタン１０６ｄのクリック（ボタン押下）を行うことにより、重なり画像それぞれのクラスを個別に又は一括して設定又は変更することができる。

尚、表示画面１００では、画像１１０の「クラス」１０５を、画像１１０及び「表示画像番号／重なり枚数」１０３の下側に表示したが、これに限らず、画像１１０の「クラス」１０５を、画像１１０の上方、右方若しくは左方、又は角部等の周辺近傍に表示してもよい。

さらに、表示画面１００には、画像表示領域の下方に、自己組織化マップ全体を表示させる全体図表示ボタン１０７、保存終了ボタン１０８、終了ボタン１０９が表示されていてもよい。操作部２２Ａ、例えばマウスを用いて、全体図表示ボタン１０７がクリックされると、図５に示すような画像マップ（全タイルの代表画像の表示）や図６に示すようなカテゴリマップ（全タイルの代表クラスの表示）が表示される。いずれのマップを表示するかは、例えば、各マップ表示画面の左上のラジオボタンの選択により切り替えられるようにしてもよい。また、個別変更ボタン１０６ｃや一括変更ボタン１０６ｄを用いた画像クラスの変更結果を保存して操作を終了したい場合は、操作部２２Ａ、例えばマウスを用いて保存終了ボタン１０８をクリックし、そうでない場合は、終了ボタン１０９をクリックすればよい。

尚、本実施形態においては、操作部２２Ａに対する入力操作として、ボタン押下、ドロップダウンリスト、スライダ等を例示したが、もちろんこれらに限らず、ホイール回転、スワイプ、タップ等の入力操作も利用可能である。

また、本実施形態においては、表示画面１００の各タイルに１枚だけ画像１１０を表示したが、各タイルに重なり画像のうちの複数の画像を表示できるようにしてもよい。

また、本実施形態においては、個別変更ボタン１０６ｃ又は一括変更ボタン１０６ｄを用いて、重なり画像のクラスを個別に又は一括して設定又は変更したが、重なり画像のうちの複数の画像を選択して当該選択された画像のクラスを一括して設定又は変更できるようにしてもよい。

（ユーザーインターフェイスの操作）
以下、本実施形態に係る画像分類方法におけるユーザーインターフェイスの操作について、図面を参照しながら例示する。図７、図９、図１１、図１３、図１５はそれぞれ、重なり画像の重なり順及びクラス（欠陥カテゴリ）が操作に伴って更新されていく様子を示している。また、図８、図１０、図１２、図１４はそれぞれ、各操作時における図４に示す表示画面１００の状態を画面の一部を抜粋して示している。尚、図８、図１０、図１２、図１４において、図４に示す表示画面１００と同じ要素には同じ符号を付している。

図７は、ステップＳ１及びＳ２で自己組織化マップ生成及び仮分類が実施された時点におけるタイル座標（Ｘ：０、Ｙ：０）の重なり画像の重なり順（データリスト昇順）と各画像の欠陥カテゴリを示している。尚、自己組織化マップのタイル座標（Ｘ：０、Ｙ：０）には、１０枚の画像が重なっており、仮分類によって１０枚の画像の全てについて、図７に示す欠陥カテゴリが暫定的に設定されている。

このとき、図８に示すように、座標（Ｘ：０、Ｙ：０）のタイル１０２には、「クラス（欠陥カテゴリ）」１０５が「キズ」である画像（図７に示す重なり画像の１番目の画像）１１０が表示されている。ここで、表示領域１０４の重ね方１０４ａを、図８に示すように、「カテゴリ昇順」に指定して、図９に示すように重なり画像の並べ替えを行う。図９に示す重なり画像では、画像数の多い順に、「キズ」画像（５枚）、「異物Ｂ」画像（３枚）、「異物Ａ」画像（２枚）の順に画像が重ねられている。

続いて、図１０に示すように、画像番号１０４ｂを「１／１０」、「２／１０」、「３／１０」に順次指定し、指定した番号の各画像に対して変更後クラス１０６ｂを「異物Ａ」に指定して個別変更ボタン１０６ｃを押下する。これによって、図１１に示すように、重なり画像の１〜３番目までの画像の欠陥カテゴリが「キズ」から「異物Ａ」に修正される。尚、図１０は、画像番号１０４ｂが「３／１０」に指定され、座標（Ｘ：０、Ｙ：０）のタイル１０２に、「クラス（欠陥カテゴリ）」１０５が「異物Ａ」に修正された画像（図１１に示す重なり画像の３番目の画像）１１０が表示されている様子を示している。

続いて、表示領域１０４の重ね方１０４ａを、図１２に示すように、「カテゴリ昇順」に指定し直して、図１３に示すように重なり画像の並べ替えを行う。図１３に示す重なり画像では、画像数の多い順に、「異物Ａ」画像（５枚）、「異物Ｂ」画像（３枚）、「キズ」画像（２枚）の順に画像が重ねられている。このとき、図１２の座標（Ｘ：０、Ｙ：０）のタイル１０２には、図１０と同じ画像（図１３に示す重なり画像の３番目の画像）１１０が表示されており、画像番号１０４ｂも「３／１０」のままである。

その後、表示領域１０４の重ね方１０４ａを、図１４に示すように、「カテゴリ降順」に指定し直して、図１５に示すように重なり画像の並べ替えを行う。図１５に示す重なり画像では、画像数の少ない順に、「キズ」画像（２枚）、「異物Ｂ」画像（３枚）、「異物Ａ」画像（５枚）の順に画像が重ねられている。このとき、図１４の座標（Ｘ：０、Ｙ：０）のタイル１０２には、図１２と同じ画像（図１５に示す重なり画像の８番目の画像）１１０が表示されているが、画像番号１０４ｂは、図１５に示す重なり画像の並べ替えに伴って、「８／１０」に変更されている。

（自己組織化マップ生成、仮分類及びクラス修正）
以下、本実施形態に係る画像分類方法における自己組織化マップ生成、仮分類及びクラス修正について、図面を参照しながら例示する。図１６、図１８及び図１９は、自己組織化マップ生成、仮分類及びクラス修正に用いられるデータテーブルの一例を示している。また、図１７及び図２０は、自己組織化マップ生成及び仮分類のための欠陥カテゴリの入力データ（教師データ）の一例を示している。尚、説明を分かりやすくするため、各図においてはＮｏ．０〜７までの８個の画像を対象として例示している。また、図１６、図１８、図１９において、「ＭＤＣ（manual defect classification：手動欠陥分類）」は、自己組織化マップ生成及び仮分類の初期値（教師データ）として与えられる欠陥カテゴリであり、「ＳＯＭ（自己組織化マップ）」は、仮分類又はクラス修正で設定された欠陥カテゴリであり、「flag」は自己組織化マップ生成及び仮分類の実施時に「ＭＤＣ」、「ＳＯＭ」のいずれを参照するか（「flag」＝０は「ＭＤＣ」参照、「flag」＝１は「ＳＯＭ」参照）を示すフラグであり、「Tile-X」、「Tile-Y」はそれぞれ対象画像が配置された自己組織化マップのタイルのＸ座標、Ｙ座標である。

図１６は、自己組織化マップ生成及び仮分類の実施前に画像Ｎｏ．０〜３について「ＭＤＣ」が設定された様子を示している。図１６に示すように、画像Ｎｏ．０〜３の「ＭＤＣ」はそれぞれ「異物Ａ」、「キズ」、「異物Ａ」、「異物Ｂ」である。画像Ｎｏ．４〜７については「ＭＤＣ」は設定されておらず、空欄となっている。この時点では「flag」は全画像について「０」に設定されている。従って、画像Ｎｏ．０〜３について設定された「ＭＤＣ」がそのまま、図１７に示すように、自己組織化マップ生成及び仮分類の入力データ（教師データ）となる。

図１８は、自己組織化マップ生成及び仮分類の実施後に、「ＭＤＣ」が設定されていない画像Ｎｏ．４〜７について仮分類結果として「ＳＯＭ」が設定された様子を示している。図１８に示すように、画像Ｎｏ．４〜７の「ＳＯＭ」はそれぞれ「異物Ａ」、「異物Ｂ」、「異物Ａ」、「異物Ｂ」である。尚、この時点では、画像Ｎｏ．０〜３の「ＳＯＭ」には「ＭＤＣ」の内容がそのまま設定されている。また、図１８は、画像Ｎｏ．０〜７がそれぞれ配置された自己組織化マップのタイル座標も示している。図１８に示すように、画像Ｎｏ．０、１、４、５はそれぞれタイル座標（Ｘ：０、Ｙ：０）に配置され、画像Ｎｏ．２、３、６、７はそれぞれタイル座標（Ｘ：０、Ｙ：１）に配置されている。

図１９は、図１８に示すデータテーブルを対象としてクラス修正を行った様子を示している。具体的には、図１９に示すように、タイル座標（Ｘ：０、Ｙ：０）の重なり画像（画像Ｎｏ．０、１、４、５）のクラスを全て「キズ」に一括変更している。当該一括変更により、画像Ｎｏ．０、１、４、５の「flag」は全て「１」に設定されている。

図２０は、図１９に示すようにクラス修正された画像を新たな教師データとして自己組織化マップ生成及び仮分類を再実施する場合の欠陥カテゴリの入力データを示している。図２０に示すように、「flag」＝「１」の画像Ｎｏ．０、１、４、５の「ＳＯＭ」と、「flag」＝「０」の画像Ｎｏ．２、３の「ＭＤＣ」が新たな入力データとして用いられる。

（評価）
以下、本実施形態に係る画像分類方法を半導体ウェハの欠陥分類に用いた結果について説明する。

まず、半導体ウェハの異物検査を行い、異物が撮像された画像を２２１５枚取得し、これらの画像に対して本実施形態に係る画像分類方法のステップＳ１及びＳ２（自己組織化マップ生成、仮分類、クラス修正）を実施することにより、画像のクラスタリングを行った。クラスタリングの結果は、黒欠陥（反射率が低い異物）を持つ画像が５０３枚、白欠陥（反射率が高い異物）を持つ画像が１５５枚、灰欠陥（反射率が中程度の異物）を持つ画像が９１９枚、スプリット（２つに分離した異物（反射率は問わない））を持つ画像が４１４枚、汚れ（群をなす異物）を持つ画像が２２４枚であった。

次に、５種類の欠陥カテゴリが設定された各画像の中から、欠陥カテゴリ毎に画像を１５０枚ずつ抽出した。さらに、欠陥カテゴリ毎に、抽出された１５０枚の画像を５０枚ずつ３つのグループＡ〜Ｃに分けて、各欠陥カテゴリのグループＡを集めて２５０枚の画像からなる画像群Ａを構成し、各欠陥カテゴリのグループＢを集めて２５０枚の画像からなる画像群Ｂを構成し、各欠陥カテゴリのグループＣを集めて２５０枚の画像からなる画像群Ｃを構成した。

次に、画像群Ａ、Ｂを学習用画像として、本実施形態に係る画像分類方法のステップＳ３を実施して画像分類基準を決定し、その後、決定した画像分類基準を用いて本実施形態に係る画像分類方法のステップＳ４を画像群Ｃに対して実施し、画像群Ｃを分類した後、その分類結果と、画像群Ｃの実際の欠陥カテゴリとを照合した。同様の方法により、画像群Ａ、Ｃを画像分類基準を決めるための学習用画像として用いて、画像群Ｂの分類結果と、画像群Ｂの実際の欠陥カテゴリとを照合し、画像群Ｂ、Ｃを画像分類基準を決めるための学習用画像として用いて、画像群Ａの分類結果と、画像群Ａの実際の欠陥カテゴリとを照合した。

以上の３回の照合より得られた平均正答率は、ステップＳ３で分類基準の生成にランダムフォレスト、線形ＳＶＭ、非線形ＳＶＭ、ディープラーニングをそれぞれ用いた場合について、８７．８７％、８７．２０％、８７．４７％、８５．６７％であった。尚、正答率は、学習用画像の枚数を増やすことによって向上させることが可能である。また、以上に説明した欠陥分類に要した時間は、ステップＳ１及びＳ２に１３分、ステップＳ３に３分、ステップＳ４に１分であった。

一方、比較例として、同じ２２１５枚の画像から、手動欠陥分類（ＭＤＣ）を用いて、欠陥カテゴリ毎に画像を１５０枚ずつ抽出し、前述と同様の方法により、それぞれ２５０枚の画像からなる画像群I〜IIIを用意した。次に、画像群I 、IIを分類条件を決めるための画像として、自己組織化マップを用いない公知の自動欠陥分類を画像群III に対して実施したところ、正答率は７２．４％であった。また、比較例では、ＭＤＣによる欠陥カテゴリ毎の画像抽出に２４０分、分類条件の決定及び欠陥分類に１２０分を要した。

以上に説明したように、本実施形態の画像分類方法を用いることにより、画像分類に要する時間を短縮しつつ、画像分類の精度を向上させることができる。

尚、本実施形態について異物検査の欠陥分類に適用する場合を例として説明してきたが、本発明はこれに限られるものではなく、各種の撮像装置により取得された画像の分類が行われる他の用途にも適用可能である。また、画像以外の分類対象、例えば文字や数値などを対象として、本発明を転用した自動分類を行うことも可能である。

また、本実施形態では２次元の自己組織化マップを生成したが、本発明において自己組織化マップの次元数は特に限定されるものではなく、例えば１次元や３次元の自己組織化マップを生成してもよい。

１０ 撮像装置
２０ 画像分類装置
２１ 制御部
２２ ユーザーインターフェイス
２２Ａ 操作部
２２Ｂ 表示部
１００ 表示画面
１０１ 表示領域
１０１ａ Ｘ座標
１０１ｂ Ｙ座標
１０２ タイル
１０３ 表示画像番号／重なり枚数
１０４ 表示領域
１０４ａ 重なり画像の重ね方
１０４ｂ 画像番号
１０４ｃ 重なり画像の順送り／順戻しボタン
１０５ クラス（欠陥カテゴリ）
１０６ 表示領域
１０６ａ 変更前クラス
１０６ｂ 変更後クラス
１０６ｃ 個別変更ボタン
１０６ｄ 一括変更ボタン
１０７ 全体図表示ボタン
１０８ 保存終了ボタン
１０９ 終了ボタン
１１０ 画像
１１１ 太枠

Claims (18)

1. コンピュータを用いて、複数の画像がそれぞれ有する特徴群に基づき、前記複数の画像間の類似度に応じた間隔で前記複数の画像が配置された自己組織化マップを生成する工程Ａと、
   前記コンピュータを用いて、前記自己組織化マップに基づき前記複数の画像のクラスタリングを行う工程Ｂとを備え、
   前記工程Ｂで前記コンピュータは、操作部及び表示部を含むユーザーインターフェイスの前記表示部に、前記複数の画像のうち前記自己組織化マップの任意の座標に配置された画像を前記操作部に対する入力操作に従って個別に表示し、
   前記工程Ｂで前記コンピュータは、前記複数の画像のうち前記表示部に表示されている画像のクラスを当該画像と共に前記表示部に表示し、当該画像のクラスを、前記操作部に対する入力操作に従って指定されたクラスに設定又は変更する、画像分類方法。
2. 請求項１において、
   前記工程Ｂで前記コンピュータは、前記複数の画像のうち前記自己組織化マップの同じ座標に２つ以上重なって配置された重なり画像を前記操作部に対する入力操作に従って前記表示部に個別に表示する、画像分類方法。
3. 請求項２において、
   前記工程Ｂで前記コンピュータは、前記操作部に対する入力操作に従って前記重なり画像の順送り及び／又は順戻しを行うことにより、前記重なり画像のうちの一画像を前記表示部に表示する、画像分類方法。
4. 請求項２において、
   前記工程Ｂで前記コンピュータは、前記重なり画像のそれぞれに番号を付与し、前記操作部に対する入力操作に従って当該番号の１つが指定されると、指定された前記番号と対応する画像を前記表示部に表示する、画像分類方法。
5. 請求項２〜４のいずれか１項において、
   前記工程Ｂで前記コンピュータは、前記操作部に対する入力操作に従って前記自己組織化マップの座標が指定されると、当該座標に配置された前記重なり画像のうちの一画像を前記表示部に表示する、画像分類方法。
6. 請求項２〜５のいずれか１項において、
   前記工程Ｂで前記コンピュータは、前記操作部に対する入力操作に従って、前記表示部に表示されている前記重なり画像のうちの一画像が指定されると、当該一画像の座標を前記表示部に表示する、画像分類方法。
7. 請求項２〜６のいずれか１項において、
   前記工程Ｂで前記コンピュータは、前記自己組織化マップの各座標における前記重なり画像の重なり枚数を前記表示部に表示する、画像分類方法。
8. 請求項２〜７のいずれか１項において、
   前記工程Ｂで前記コンピュータは、前記操作部に対する入力操作に従って前記重なり画像の重なり順を変更する、画像分類方法。
9. 請求項２〜８のいずれか１項において、
   前記工程Ｂで前記コンピュータは、前記重なり画像それぞれのクラスを、前記操作部に対する入力操作に従って指定されたクラスに個別に又は一括して設定又は変更する、画像分類方法。
10. 請求項１〜９のいずれか１項において、
    前記工程Ｂで前記コンピュータは、前記操作部に対する入力操作に従って前記自己組織化マップ全体を前記表示部に表示する、画像分類方法。
11. 請求項１〜１０のいずれか１項において、
    前記工程Ｂの後に、前記コンピュータを用いて、前記複数の画像の前記特徴群及び前記クラスタリング結果に基づき、画像分類基準を決定する工程Ｃをさらに備えている、画像分類方法。
12. 請求項１１において、
    前記工程Ｃの後に、前記コンピュータを用いて、他の画像が有する特徴群及び前記画像分類基準に基づき、前記他の画像の分類を行う工程Ｄをさらに備えている、画像分類方法。
13. 請求項１〜１２のいずれか１項に記載の画像分類方法をコンピュータに実行させるためのコンピュータプログラム。
14. 請求項１〜１２のいずれか１項に記載の画像分類方法をコンピュータに実行させるためのコンピュータプログラムを記録した記録媒体。
15. 複数の画像がそれぞれ有する特徴群に基づき、前記複数の画像間の類似度に応じた間隔で前記複数の画像が配置された自己組織化マップを生成し、当該自己組織化マップに基づき前記複数の画像のクラスタリングを行う制御部と、
    操作部及び表示部を含むユーザーインターフェイスとを備え、
    前記制御部は、前記複数の画像のうち前記自己組織化マップの任意の座標に配置された画像を前記操作部に対する入力操作に従って前記表示部に個別に表示し、
    前記制御部は、前記複数の画像のうち前記表示部に表示されている画像のクラスを当該画像と共に前記表示部に表示し、当該画像のクラスを、前記操作部に対する入力操作に従って指定されたクラスに設定又は変更する、画像分類装置。
16. 請求項１５において、
    前記制御部は、前記複数の画像のうち前記自己組織化マップの同じ座標に２つ以上重なって配置された重なり画像を前記操作部に対する入力操作に従って前記表示部に個別に表示する、画像分類装置。
17. 請求項１５又は１６において、
    前記制御部は、前記複数の画像の前記特徴群及び前記クラスタリング結果に基づき、画像分類基準を決定する、画像分類装置。
18. 請求項１７において、
    前記制御部は、他の画像が有する特徴群及び前記画像分類基準に基づき、前記他の画像の分類を行う、画像分類装置。