JP2004185259A - 蓄積画像管理装置及びプログラム - Google Patents

Abstract

【課題】対象の外観画像に基づく検査システムでは、従来、事前に良品の収集、基準値、閾値の設定等が必要であり、新規対象に対する検査の迅速な立ち上げの障害となった。また、大量に蓄積された検査履歴画像を効率的に運用することも困難であった。
【解決手段】検査画像を逐次的に登録する際に、画像中の画素ごとの平均および分散を逐次的に更新する。一方、検査履歴中の各画像について、各画素値をその時点での平均および標準偏差で正規化したものを各画素の異常性の統計的推定値とし、これを画素値とする異常値画像を構成する。本異常値画像から画像特徴量を抽出することによって、検査履歴データを対象とする、異常データの検索、分類・仕分け機能を実現する。また、異常値画像を擬似色画像に変換したものをユーザに対して提示する。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明は、計算機上での蓄積された画像データの管理、特徴量の評価、検索、表示装置及びその実現のためのプログラムに関する。
【０００２】
【従来の技術】
半導体外観検査を始めとする各種検査システムでは、各種測定装置によって多様な画像が測定データとして取得される。近年、大規模容量の外部記憶装置が一般的となり、これら取得された画像を、外部記憶装置上に検査履歴情報として大量に蓄積することが可能である。
【０００３】
一方、従来の検査システムでは、実際の検査前に、正常パターンの登録、異常値検出のための閾値設定等の事前処理が必要である。また、異常パターンを分類するためには、各分類カテゴリの典型例の事前登録が必要となる。
【０００４】
特許文献１では、良品の画像の集合を事前に準備し、本集合中の各画素値の平均、および、標準偏差を求め、平均画像と標準偏差画像を構成する。検査時には、検体の各画素値と平均画像の画素値との差を標準偏差画像の画素値で割ったものの絶対値の大小に基づき良品との差異を評価し、各検体の良否を判定する。
【０００５】
一方、蓄積画像の管理は、リレーショナルデータベースシステムで行われるのが一般的である。リレーショナルデータベースシステムでは、検査対象の製品の種類、検査日時等の書誌的属性により検索が行われる。異常値を含むデータを検索しようとする場合は、登録時に良否の判定を行い、その判定結果を書誌的属性として登録する。
【特許文献１】特開平１０−１２３０６４号公報
【発明が解決しようとする課題】
大量に蓄積された検査装置の出力画像を有効に使うためには、保存画像を効率的に検索する機能、効率的に閲覧する機能が必要である。特に重要なのは、異常値を含むデータの検索である。リレーショナルデータベースシステムによる検索では、異常か否かを登録時に判定する。そのためには、事前処理において、正常パターンを十分に学習する必要があり、十分な学習のためには、正常と考えられるデータを多数個用意する必要がある。新規の製品を検査対象として投入する時点で、正常データを十分な数用意することは困難であり、本作業は、検査装置担当者に対して多大な負担となる。特に、寿命が短い多品種の製品を扱う場合、新規製品に対する検査を迅速に立ち上げる必要がある。従って、事前処理の作業量を最小化することが必要である。
【０００６】
異常値を含むデータを収集した後は、さらにそれらのデータを分類し検討することが必要である。データを分類するためには、事前に分類用の各カテゴリの典型例をシステムに学習させる必要がある。新規製品投入時には、如何なる種類の異常データが出現するか未知な場合が多く、この作業は、正常パターンの学習以上に困難である。
【０００７】
次に、検査履歴データの閲覧時の課題を述べる。閲覧時には、各データを分かりやすく表示する必要がある。ところが、検査出力画像は、基本的には、異常データを含め互いに類似性が高い。類似性が高いデータ中から異常なデータを発見することは困難である。さらに、目視による区別が困難なデータを順番に眺めていくことは、人間にとって非常に苦痛な作業である。従って、異常なデータが存在した場合、それを分かりやすく提示する必要がある。
【０００８】
次に、検査履歴データ間の検索における課題を述べる。リレーショナルデータベースによる検索では、書誌的属性による検索は可能であるが、画像自体が持つパターン情報による検索は行えない。従って、任意のデータを選択し、それと類似したデータを検索する、といった機能は実現できない。
【０００９】
【課題を解決するための手段】
本願の開示する発明の代表的なものの概要は以下の通りである。
検査対象の撮像画像を逐次入力する入力手段と、入力された撮像画像を記録する第１の記録手段と、上記第１の記録手段に記憶されている全撮像画像に基づいた平均画像及び２次の統計量画像を繰り返し算出する第１の算出手段と、上記算出された平均画像及び２次の統計量画像の情報を更新記録する第２の記録手段と、上記入力手段を介して入力される撮像画像の特徴量を、上記第２の更新記録されている情報を用いて算出する第２の算出手段とを有することを特徴とする蓄積画像管理装置。
【００１０】
【発明の実施の形態】
検査装置出力画像を登録する際に、入力画像中の画素ごとの統計量を逐次的に更新する。画素ごとの統計量は、画素の平均を画像状に配置した平均画像、画素の２次の統計量を画像状に配置した２次統計量画像で構成される。ここで、平均画像とは、白黒濃淡画像の場合は、画素値の平均より構成され、カラー画像の場合は、画素の色ベクトルの平均ベクトルより構成される。また、２次統計量画像とは、白黒濃淡画像の場合は、画素値の分散値、あるいは、分散値に標本数をかけた偏差平方和、あるいは、分散値の平方根である標準偏差より構成され、カラー画像の場合は、色ベクトルの分散共分散行列、あるいは、分散共分散行列に標本数をかけた偏差平方和行列、あるいは、分散共分散行列の固有値の平方根の逆数を要素とする対角要素とする対角行列に、固有ベクトルを列ベクトルとする固有ベクトル行列を右から掛け、固有値ベクトル行列の転置行列を左から掛けることによって算出される色変換行列より構成される。
【００１１】
一方、検査履歴中の各画像について、各画素値をその時点での平均および標準偏差で正規化したものを各画素の異常性の統計的推定値とし、これを画素値とする画像を構成する。以下、本画像を異常値画像と呼ぶ。異常値画像より各種画像特徴量を抽出することによって、類似性検索機能を実現する。
【００１２】
本手法では、その時点での平均画像を正常パターンの推定値として採用する。従って、正常パターンの異常値画像は、統計量の具体的な値とは無関係に全画素値が０の画像となる。正常パターンとの類似性が低い画像を検索することによって、異常性が高いデータを検索することが実現できる。
【００１３】
また、データ閲覧時に、異常値画像を画面表示可能な通常の画像に変換する際には、画像中の異常値を際立たせた画像をユーザに対して提示する。これによって、ユーザにとってデータの異常性の理解が容易なデータ閲覧を実現する。
（実施例１）
本実施例は、半導体検査において、検体全体を光学的に測定する装置が出力するデータを処理するためのシステムである。本測定装置は、一つの検体に対して、干渉光、回折光の２系統の光についての撮像系を持つ。従って、出力される画像データは、各検体につき２種類である。なお、装置自体の仕様については、特開平９−６１３６５に詳しい。
【００１４】
なお、本実施例は、１検体に対して２種類の画像を用いた場合について記述するが、１検体に対して１種類、あるいは、２種類以上の画像が対応する場合にも、同様の処理を行うことができる。本実施例は、２種類の画像を用いることによって、より精度の高い検査を可能とするものである。
【００１５】
図１は、本実施例の装置構成である。光学的測定装置１１０による測定結果は、装置制御用計算機１２０を経由して、電子的データとしてサーバ用計算機１３０に送信される。サーバ用計算機１３０の持つ大規模容量の外部記憶装置１３５には、測定結果の画像をはじめとする種々のデータが格納される。データ解析用計算機１５０は、ＬＡＮ１４０によってサーバ用計算機１３０に接続される。
【００１６】
図２は、本実施例のソフトウェア構成である。２１０は、サーバプログラムで、データ管理、検索処理、データ配信等の処理を行う。サーバプログラムは、大規模容量の外部記憶装置２２１上で、各種データの管理を行う。２２０は、制御用クライアントプログラムで、光学的測定装置２２１との入出力を行うインタフェースモジュール２２２を持ち、測定装置２２１の制御、２２１からの画像データの取得を行う。取得されたデータは、制御用クライアントプログラム２２０によってサーバプログラム２１０に送信され、新規データとして登録が行われる。なお、登録データの製品および工程に関する情報は、制御用クライアントプログラム２２０に対する設定情報として、ユーザによって付与される。制御用クライアントプログラム２２０は、各測定装置に対して１つずつ用意される。一方、２３０は、解析用クライアントプログラムである。解析用クライアントプログラム２３０は、サーバプログラム２１０に対して検索要求等を発行し、ユーザに対して検索結果の閲覧等の機能を提供する。なお、これらのプログラム２１０、２２０、２３０は、同一の計算機上に存在しても、ネットワーク経由で接続される相異なる計算機上に存在していてもよい。
【００１７】
図３に、光学的測定装置からの出力されたデータの処理フローを示す。本処理は、制御用クライアントプログラム２２０からの要求をトリガーとして、サーバプログラム２３０内で行われる。
【００１８】
先ず、新規データ登録時の処理について説明する。
【００１９】
装置からは、干渉光測定結果に対応する白黒濃淡値画像、および、回折光測定結果に対応する白黒濃淡値画像が出力される。システムは、出力された２画像３０１０を検査履歴データ３０３０としてハードディスク上に保存する３０２０。次に、２画像３０１０に対して、輝度値の正規化処理３０４０を行う。本処理によって、両画像は、それぞれの画像内の輝度分布が平均０、分散が１である正規化画像３０５０に変換される。
【００２０】
本正規化画像を用いて、検査対象画像集合の統計量が更新される３０６０。図１４に、処理３０６０のフローチャートを示す。検査画像集合の統計量３０７０は、画素ごとの平均を格納する平均画像、画素ごとの偏差平方和を格納する偏差平方和画像から構成される１４０１。新規データの全画素について、平均および偏差平方和を求め１４０２、その後、データ数を更新し１４０３、本処理を終了する１４０４。ただし、本実施例の装置の場合、干渉光画像、回折光画像それぞれについて平均画像と偏差平方和画像が算出される。
【００２１】
一方、画像３０５０は、統計量３０９０を用いることによって、異常値画像３１１０に変換される３１００。統計量３０９０は、平均画像と標準偏差画像から構成される。統計量３０７０と統計量３０９０の関係については後述する。本処理３１００では、干渉光画像、回折光画像それぞれについて、次式のような画素値の変換を行う。
【００２２】
【数１】

ここで、ｆ（ｘ，ｙ）は画像３０５０の画素値、ｇ（ｘ，ｙ）は異常値画像３１１０の画素値、μ（ｘ，ｙ）は平均画像の画素値、σ（ｘ，ｙ）は標準偏差画像の画素値である。本処理によって生成された異常値画像３１１０は、ブラウジング用データ３１３０としてハードディスク上に保存される３１２０。一方、異常値画像３１１０に対して、各種特徴量抽出アルゴリズムを適用することによって、類似性検索を行うための画像特徴量３１５０を構成する３１４０。構成された画像特徴量３１５０は、画像特徴量データベース３１７０に登録される３１６０。
【００２３】
図１５は、新規データ登録時の処理のフローチャートである。ただし、簡単のために、１つの画像に関する処理のみを記述した。本処理は、新規登録画像を入力として開始する１５０１。まず、新規登録画像を検査履歴データとして保存する１５０２。次に、当該画像内の画素値の平均と標準偏差を求め１５０３、これを用いて正規化処理を行う１５０４。続いて、統計量３０７０の更新１５０６、異常値画像の構成１５０７の順序で処理を行い、異常値画像を外部記憶装置に保存する１５０７。続いて、異常値画像より画像特徴量を抽出し１５０８、画像特徴量を外部記憶装置に保存し１５０９、本処理を終了する１５１０。
【００２４】
次に、検索画像集合に関する２種類の統計量３０７０と３０９０について説明する。上述したように、統計量３０７０は、蓄積画像の統計量を逐次更新可能な形式で保持するための統計量である。一方、統計量３０９０は、異常値画像を導出するのに必要な平均と標準偏差を算出するために必要な情報を保持するための統計量であって、２次の統計量については、標準偏差そのもの、あるいは、分散値でもよい。基準となる値が毎回の処理において異なるのは望ましくないため、３０９０の更新は所定のタイミング若しくはユーザからの指示に基づいて行うのが望ましい。又、３０７０に記憶する値は、最終的に異常値画像を算出するのみ用いる値の途中結果であっても良い。以下に、３０７０と３０９０との関係について記述する。
【００２５】
上記のデータ登録の処理とは独立に、制御用クライアントプログラム２２０の要求によって、統計量３０９０は更新される３０８０。更新の際は、統計量３０７０の平均画像を統計量３０９０の平均画像へと複製し、統計量３０７０の偏差平方和画像の各画素値をデータ数で割り、さらに平方根を取ることによって、統計量３０９０の標準偏差画像を算出する。
【００２６】
統計量３０９０更新前に蓄積された検査データについては、更新された統計量に基づいた特徴量等の更新を行う。本処理も、制御用クライアントプログラム２２０の要求によって実行される。以下、この場合の処理の流れを説明する。
【００２７】
検査履歴データ３０３０よりデータ３０１０を逐次的に取り出し３１８０、新規データ登録の場合と同一の処理３０４０を経て、データ３０５０を導出する。データ３０５０および統計量３０９０によって、異常値画像３１１０を構成する。この際、新規データ登録の場合とは異なり、統計量３０７０の更新３０６０は行わない。異常値画像３１１０を構成した後の処理は、新規データ登録の場合と同一である。図１６に本処理のフローチャートを示す。ただし、簡単のために、１つの画像に関する処理のみを記述した。本処理は、更新の対象となる蓄積済み画像を指定されて開始する１６０１。まず、蓄積済み画像を外部記憶装置から読み出す１６０２。次に、当該画像内の画素値の平均と標準偏差を求め１６０３、これを用いて正規化処理を行う１６０４。続いて、異常値画像を構成し１６０５、本異常値画像を外部記憶装置に保存する１６０６。続いて、異常値画像より画像特徴量を抽出し１６０７、画像特徴量を外部記憶装置に保存し１６０８、本処理を終了する１６０９。
【００２８】
次に、統計量の管理について説明する。
【００２９】
各データは、製品および工程の違いを表現するカテゴリという属性を持つ。本属性に基づいて、カテゴリごとの統計量を算出し、その統計量から異常値画像を導出することによって、製品、あるいは、工程の差異によるデータの平均的な変動の異常値画像に対する効果を低減することができる。また、異なる製品、工程での検査データ間での比較も可能となり、より多様視点から不良品の解析を行うことがでいる。本属性は、データ登録時に、制御用クライアント２２０によって、画像データの付加情報として、サーバプログラムに対して送付される。サーバプログラムは、本属性を画像データ一組一組が持つ属性として保存する。
【００３０】
統計量３０７０および３０９０は、本カテゴリごとに定義される。また、各データは、統計量３０７０用のカテゴリ属性と、統計量３０９０用のカテゴリ属性を持つ。通常のデータでは、両カテゴリは同一である。統計量３０７０の更新３０６０では、統計量３０７０用のカテゴリ属性が定義されていたなら、対応するカテゴリの統計量を更新する。一方、異常値画像３１１０の構成３１００では、統計量３０９０用のカテゴリ属性が定義されていたなら、対応するカテゴリの統計量を用いて異常値画像３１１０を構成する。統計量３０９０用のカテゴリ属性が未定義の場合は、異常値画像３１１０には、画像３０５０の内容が複製される。
【００３１】
あるデータが統計量算出に用いられるべきでないと判断された場合は、そのデータの統計量３０７０用のカテゴリ属性を未定義の状態に設定する。本設定によって、当該データは、その後、統計量算出に寄与することがなくなる。これは、極端な例外データを統計量算出から除外し、異常性の推定精度を高めるために行われる。その上で、対応するカテゴリの統計量３０７０の再計算し、その再計算の結果を統計量３０９０に反映させ、その後、統計量３０９０用のカテゴリ属性が当該カテゴリ一致する全履歴データについて画像特徴量等の更新処理を実行する。
【００３２】
なお、データが十分多く蓄積された状態では、データの新規登録、あるいは、上記の特定データの統計量計算からの除外による、統計量の値に対して大きな影響を与えない。従って、統計量３０９０の更新、および、それに続く履歴データの画像特徴量等の更新の頻度は、履歴データの増大に伴って、少なくしていくことができる。本更新頻度の調整は、定常的には自動的にスケジュール管理されるが、必要な場合には、管理者が、統計量３０９０の更新、および、履歴データの画像特徴量等の更新を、強制的に実行することができる。
【００３３】
次に、本実施例のシステムにおける検索機能について説明する。
【００３４】
本実施例のシステムは、画像特徴量のベクトル空間上での距離に基づきデータ間の類似性を定義し、その類似性に基づいて検索を行う機能を持つ。本機能は、解析用クライアントプログラム２３０からの要求に応じて、サーバプログラム２１０が検索を実行することによって実現される。
【００３５】
本システムにおいて用いる画像特徴量について図４に沿って説明する。本願ではこの特徴量を用いて入力された画像の評価・検索等を行う。
【００３６】
本システムでは、以下の２種類の画像特徴量を用いる。第１の特徴量は、輝度分布のヒストグラムに基づく特徴量４２５である。図３の３１１０に対応する異常値画像４１０を４×４の矩形領域に分割し４２０、各矩形領域ごとに４１０の輝度値分布のヒストグラム４２１を算出する。これらの矩形領域ごとのヒストグラムを全矩形領域について合わせた集合を特徴量とする４２５。第２の特徴量は、輝度変化方向分布に基づく特徴量４３５である。まず、異常値画像４１０を多重解像度化する。各解像度の画像４３０について、輝度値に関する２次元の空間微分を行うことによって、各画素に対して輝度勾配ベクトルが定義された輝度勾配ベクトル画像４３１を構成する。次に、輝度勾配ベクトル画像４３１を４×４の矩形領域に分割し、各矩形領域における輝度勾配ベクトルの方向の分布から特徴量を構成する４３２。本特徴量の構成は、輝度勾配ベクトルの方向を離散化し、各画素上の輝度勾配ベクトルのノルムを対応する離散化されたベクトル方向に対応するビンに加算することによって求める。全解像度の全矩形領域について本計算の結果を合わせた集合を特徴量とする４３５。
【００３７】
なお、干渉光測定画像、回折光測定画像、それぞれについて、これら２種類の特徴量が算出される。また、画像特徴量抽出方法の詳細については、Ｈｉｒｏｉｋｅ， Ａ．， Ｍｕｓｈａ， Ｙ．， ｅｔ．ａｌ．， ”Ｖｉｓｕａｌｉｚａｔｉｏｎ ｏｆ ｉｎｆｏｒｍａｔｉｏｎ ｓｐａｃｅｓ ｔｏ ｒｅｔｒｉｅｖｅ ａｎｄ ｂｒｏｗｓｅ ｉｍａｇｅ ｄａｔａ，” Ｔｈｉｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｖｉｓｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ， Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ， １５５−１６２， １９９９を参照されたい。また、画像の特徴量抽出方法としては、上述の方法以外にも多様な方法を用いることができる。
【００３８】
上記の各種特徴量は数値ベクトルとして表現される。与えられた２データ間の類似性は、これらの数値ベクトル間の２乗距離を重み付きで合算したものに基づき定義する。次式は、合算された２乗距離の定義式である。式中のＭは、特徴量の種類数、Ｎ＿ｉはｉ番目の種類の特徴量の次元数、ｗ＿ｉはｉ番目の種類の特徴量の重み、ｆ＿ｉｊ、ｇ＿ｉｊは、それぞれ、２つのデータのｉ番目の種類の特徴量のｊ番目の要素の値である。
【００３９】
【数２】

類似性に基づく検索では、サーバプログラムが、指定されたデータ集合中より、検索キーとして選択されたデータと類似したデータを、指定された件数分、又は設定値に基づき類似性が高い順序でクライアントに通知する。一方、検索キーは、非類似性に基づく検索では、サーバプログラムが、指定されたデータ集合中より、検索キーとして選択されたデータと類似していないデータを、指定された件数分、若しくは設定数に基づいて類似性が低い順序でクライアントに通知する。一般には、検索キーは複数個選択することが可能である。複数個の検索キーが選択された場合には、類似性の値、あるいは、非類似性の値が最も大きい検索キーとの類似性、あるいは、非類似性の値を検索結果の順位付けのための基準値として採用する。次式は、Ｌ個の検索キーが選択された場合の基準値の定義式である。α＿ｉは、ｉ番目の検索キーに付与された重みで、α＿ｉが大な程、ｉ番目の検索キーとの２乗距離が大きく評価される。すなわち、α＿ｉが大な程、ｉ番目の検索キーとの類似性、ないしは、非類似性が大きく評価される。等号右辺の上段が、ｉ番目の検索キーが類似性に基づく検索を行うためのものとして定義された場合の基準値、等号右辺の下段が、ｉ番目の検索キーが非類似性に基づく検索を行うためのものとして定義された場合の基準値の定義式である。
【００４０】
【数３】

以下、本式で定義される値を検索基準値と呼ぶ。
【００４１】
本システムでは、検査履歴中のデータ以外に、正常事例の典型パターンを検索キーとして用いることができる。本システムでは、異常値画像３１１０より画像特徴量が抽出される。正常事例の典型パターンは、入力データ３０１０が平均画像と完全に一致し、異常値画像３１１０の全ての画素値が０であるデータとして定義される。正常事例の典型パターンは、実際の検査履歴から構成されるものではなく、数学的な定義によって得られるデータである。
【００４２】
次に、解析用クライアントプログラム上で提供される機能について説明する。
【００４３】
図５は、画面上に表示されるパネルである。以下、パネル上のグラフィカルユーザインタフェース部品について説明する。５０１は、検索対象となる製品を選択するための部品、５０２は、検索対象となる製造工程を選択するための部品である。５０３は、類似画像検索において選択したキー画像を表示するための部品である。５０４は、正常事例の典型パターンを検索キーとして登録するためのボタンである。５０５は、正常事例の典型パターンが検索キーとして登録されている場合に、その検索キーに対応する検索基準値数３中のα＿ｉの値を調整するためのスライダである。スライダを右に動かすと、α＿ｉの値が小さくなり２乗距離が小さく評価され、左に動かすと、α＿ｉの値が大きくなり２乗距離が大きく評価される。５０６は、その検索キーに基づく検索が、類似性に基づく検索か、非類似性に基づく検索かを指定するためのチェックボックスである。５０６がチェックされている場合、非類似性に基づく検索、そうでない場合は、類似性に基づく検索となる。
【００４４】
検索結果は、サムネール画像の集合として表示領域５１４に表示される。５０９は５１４に表示するデータの件数を指定する部品、５０７の数値入力用フィールド、５０８のスライダは、検索結果中の何件目から表示するかを指定する部品である。５１０、５１１、５１２、５１３は、同じく検索結果中の何件目から表示するかを指定する部品である。ボタン５１０をクリックすると、１件目のデータから表示される。ボタン５１１をクリックすると、現在表示されている先頭データより、５０９で指定された表示件数分だけ遡ったデータから表示される。ボタン５１２をクリックすると、現在表示されている先頭データより、５０９で指定された表示件数分だけ先のデータが表示される。ボタン５１３をクリックすると、末尾のデータから５０９で指定された表示件数分だけ遡ったデータから表示される。５１０、５１１、５１２、５１３を操作した結果は、５０７、５０８に反映される。
【００４５】
検索結果の表示領域５１４では、リスト方式、２次元散布図方式の２種類の表示方式が提供される。５１８と５１９は、表示方式を切り替えるためのボタンである。リスト方式では、検索結果が左上から順番に配列される。図５の表示例は、リスト方式が選択された状態である。ここで、５１６は、表示される画像のサイズを指定する部品、５１７は、表示する際の列の数を指定するための部品である。２次元散布図方式については後述する。
【００４６】
図６は、正常事例の典型パターンを検索キーとして選択し、非類似性検索を行った結果の表示例である。選択された検索キーは、６１０に示されている。対応する検索結果は、６２０に表示されている。本検索結果は、全件データ中から異常性が高いと推定されるデータを順番に取り出したものである。ユーザは、必要に応じて、表示画像を選択することによって、統計量算出から除外するデータとして指定することができる。指定されたデータは、以降統計量の再算出が行われる際には、対象データから除外される。
【００４７】
図７は、異常値画像３１１０を実際に表示する画像に変換するためのパネルである。異常値画像３１１０は、干渉光画像の異常値画像と回折光画像の異常値画像の２つから構成される。７１０、７２０、７３０の３つのチェックボックスは、何れか１つがチェック可能なように排他的に動作する。７１０をチェックすると、干渉光画像の異常値画像が、７２０をチェックすると、回折光画像の異常値画像が、７３０をチェックすると、両者を混合した画像が表示される。
【００４８】
異常値画像を表示可能な通常の画像に変換する処理を以下説明する。
【００４９】
異常値画像の画素値は、基準値０を中心に正負に分布する。本画素値を通常のＲＧＢ値に変換する処理は、基準値０に対応するＲＧＢ値、正に振れた場合の基準値に対応するＲＧＢ値からの色空間中での変異方向を定義するベクトル、負に振れた場合の基準値に対応するＲＧＢ値からの色空間中での変異方向を定義するベクトル、および、異常値画像の画素値の差を色空間中での画素値の距離に変換するためのスケーリングファクタをパラメータとして持つ。なお、変換後のＲＧＢ値が色空間の定義域を超えた場合は、基準値に対応するＲＧＢ値と変換後のＲＧＢ値が作る線分と、色空間の境界面との交点をＲＧＢ値として用いる。また、干渉光画像、回折光画像両者の異常値画像を混合して表示する場合は、両者の変異方向ベクトルの和ベクトルを基準値に対応するＲＧＢ値からの変異方向ベクトルとする。
【００５０】
上記パラメータは、以下に述べるようにユーザによって自由に設定可能であるが、通常は、システム側で見易さを重視した設定を予め用意している。
【００５１】
図７の７１１と７１２は、それぞれ、干渉光画像の異常値画像の画素値が正、あるいは、負に振れた場合の変異方向を指定するためのスライダである。一方、７２１と７２２は、それぞれ、回折光画像の異常値画像の画素値が正、あるいは、負に振れた場合の変異方向を指定するためのスライダである。本実施例では、色空間境界面上の色を指定することによって、変異方向を指定する。７５０には、上部のスライダに対応する色が帯状に表示されている。７６１、７６２、７６３は、基準値に対応する色のＲＧＢ値を指定するスライダで、指定された色は、７６０に表示される。その右のチェックボックス７６４がチェックされている場合、基準値に対応する色は常にＲＧＢ値が等しい灰色となり、その明度のみが調整可能となる。７６４のチェックが外れている場合、ＲＧＢ値を独立に指定することができる。７７０は、異常値画像の画素値の差を色空間中での画素値の距離に変換するためのスケーリングファクタを指定するためのスライダである。本スライダは、対数尺度で表示されている。スライダ下部についた目盛は、標準偏差を単位として表示となっている。スライダ７７０を右に動かすと、より大きな値で異常値画像の画素値の差が除算された上で、色空間上の値として変換される。従って、より微妙な値の差異を見ることができる。逆に、左に動かすと、より小さな値で異常値画像の画素値の差が除算された上で、色空間上の値として変換される。従って、大きな値は飽和して色空間境界面上の色になる。
【００５２】
７１０、７２０、７３０、および、７７０による設定は、即座に表示に反映される。それ以外設定は、ボタン７４０をクリックすることによって、表示に反映される。
【００５３】
図８は、検索結果を２次元散布図方式で表示した例である。検索結果画像が表示される２次元散布図上のｘ座標、ｙ座標は、画像特徴量空間から構成される。本２次元散布図おける表示用座標系の構成方法について以下説明する。
【００５４】
今、Ｌ個の検索キーが選択されているものとし、表示対象となる検索結果の集合をＬ個の部分集合に分類する。本分類は、数３の検索基準値が最も大きい検索キーを選択することによって行う。分類されたデータ集合に対して以下の統計量を算出する。
【００５５】
【数４】

【数５】

ここで、簡単のため特徴量ベクトルの種類は１つとし、ｆ＿ｉｊは、ｉ番目の部分集合のｊ番目の要素の特徴量ベクトル、ｎ＿ｉは、ｉ番目の部分集合の要素数、Ｎは、検索結果全体の要素数、μ＿ｉは、ｉ番目の部分集合の特徴量ベクトルの平均、μは、検索結果全体での特徴量ベクトルの平均である。一方、Ｗは、各部分集合ごとの分散共分散行列を合算したもので、統計学において、群内分散共分散行列と呼ばれるものである。また、Ｂは、部分集合平均間の分散共分散行列で、統計学において、群間分散共分散行列と呼ばれるものである。ここで、次式数６の分散比φを最大化するベクトルは、判別主成分と呼ばれ、部分集合間の差異を効率よく表現する座標軸を与えるものである。
【００５６】
【数６】

また、上記分散比φを最大化するベクトルの算出は、次式の固有値問題に帰着することが知られている。
【００５７】
【数７】

データ数が特徴量の次元数より大きい場合、上式の０でない固有値は、Ｌ−１個存在する。図８の表示例では、８１０に示されているように３つの検索キーが選択されている。従って、２個の判別主成分が存在し、図８の表示例は、ｘ軸に第１主成分、ｙ軸に第２主成分を用いて、データを配置している。なお、表示されているサムネール画像の大きさに大小が存在するのは、数３の検索基準値の大小に応じて、画像サイズが変えて表示しているためのである。
【００５８】
図８の８３１、８３２は、表示用の座標系を変更するための部品である。本実施例では、表示用座標軸を構成する元データとして、全特徴量を合わせたものを用いる方式、干渉光画像から抽出された特徴量のみを用いる方式、干渉光画像から抽出された特徴量のみを用いる方式の３つの方式を用意しており、ユーザは、ｘ軸、ｙ軸それぞれについて、何れかの方式を独立に選択可能である。さらに、ユーザは、判別主成分、群内分散共分散行列Ｗの主成分、表示データ全体の分散共分散行列の主成分の中から、データの分布を解析する際に適切と考えられる軸を選択することができる。
【００５９】
８３３は、表示画像の大きさを調整するための部品で、中にある矩形の小ボタンを左右にドラッグすると、数３の検索基準値の表示の大きさに及ぼす効果を調整することができる。小ボタンを右に動かすと、検索基準値の効果が大きくなり、検索基準値の値が小さいデータは表示されなくなる。逆に、小ボタンを左端まで動かすと、全てのデータが同一の大きさで表示される。一方、小ボタンを上下に動かすと、画像全体の大きさが一様に調整される。小ボタンを上に動かすと、画像が一様に大きく、小ボタンを下に動かすと、画像が一様に小さく表示される。
【００６０】
８３４の３つのボタンは、分布の大きさを調整するための部品、８３５の９つのボタンは、表示位置を調整するための部品である。８３４中の上矢印のボタンを押すと、画像の大きさは変わらないまま、分布が大きく表示されるようになる。一方、８３４中の下矢印のボタンを押すと、分布が小さく表示されるようになる。分布表示の大きさを初期状態に戻したい場合は、８３４中央のボタンを押す。８３５の８つの矢印の付いたボタンを押すと、分布表示の位置がその方向に移動する。表示位置を初期状態に戻したい場合は、８３５の中央のボタンを押す。
【００６１】
８３６は、表示の際に、数３の検索基準値が大きい順序で検索結果に対応するサムネール画像を描画するか、大きい順序で描画するかを切り替えるためのボタンである。
【００６２】
次に、本システムを用いて、異常データをユーザが仕分けしていく過程を説明する。図９は、正常事例の典型パターンを検索キーとする非類似性検索の結果を画像特徴量から構成された３次元的可視化空間中に表示した表示例である。多数の未分類の異常データが３次元空間中に島９１０を形成している。島は、板状の３次元オブジェクトで構成されており、各オブジェクトには、データに対応した画像が貼り付けられている。また、異常性が高いと推定されるデータほど、３次元オブジェクトとして大きく表示されている。なお、３次元的可視化空間中での表示方法、および、各種操作方法については、特願平１０−１９３８３８、特願２０００−０１０１４１を参照されたい。
【００６３】
本表示例の設定では、検索結果の上限を１０００件に指定しており、未分類異常データの島９１０は１０００件のデータから構成されている。島９１０中から着目するデータを検索キーとして選択すると、新たな類似検索処理が実行され、表示が、図１０のように更新される。図１０では、島９１０が、未分類異常データの島１０１０と、選択された検索キーと類似性が高いデータが形成する島１０２０の２つ分かれている。図９の状態から図１０の状態への移行では、まず、島９１０中のデータで、選択されて検索キー、および、それと類似性が高いデータが、島９１０から分離していく。次に、島９１０中のデータの内、新規の検索結果１０００件に含まれないデータは、可視化空間中から消滅し、一方、新規の検索結果の内、島９１０中に含まれないデータは、選択された検索キーの周辺に出現する。さらに、島１０１０中の他のデータを検索キーとして選択すると、同様に再検索が実行され、選択したデータと類似したデータが新たな島を形成し、図１１に示すような状態になる。図１０の島１０１０は、図１１では、２つの島１１１０と１１３０とに分離している。また、島１１２０は、島１０２０の島と対応している。図１０の状態から図１１の状態への移行では、まず、選択されて検索キー、および、それと類似性が高いデータが、島１０１０の中から、分離していく。また、島１０２０中のデータで、新規の検索キーとの類似性が、島１０２０を形成する検索キーの類似性よりも大きいデータは、島１０２０から離れ、新たな島の方に移動する。島１０１０および１０２０中のデータで、新規の検索結果１０００に含まれないデータは、可視化空間から消滅する。また、新規の検索結果の内、島１０１０および１０２０の中に含まれないデータは、新たに選択された検索キーの周辺に出現する。
【００６４】
以上のような手順で、ユーザは、異常データの集合を仕分け、分類していく。分類された結果のデータ集合について、各種履歴情報と対応付けることによって、例えば、製造した装置による不良パターンの出方に差の有無等を検討することによって、異常データを生み出した原因を解明していく。
（実施例２）
本実施例は、複数の監視カメラから取得される映像を処理するためのシステムである。
【００６５】
図１２に、本実施例の機器構成図を示す。サーバ用計算機１２２０内のプログラム１２２１は、複数個設置された監視カメラ１２１０からの映像入力を常時取得する。プログラム１２２１は、取得した映像から一定時間ごとにフレーム画像を取り出し、サーバプログラム１２２２に送信し、新規データとして登録する。サーバプログラム１２２２は、大規模容量の外部記憶装置１２２３上に本画像を格納する。サーバプログラム１２２１用のブラウジング用クライアントがインストールされた端末計算機１２４０は、ＬＡＮによってサーバ用計算機１２３０に接続される。
【００６６】
図１３は、本実施例の処理の流れである。基本的な流れは、図３と同様である。
【００６７】
新規登録時、フレーム画像１３００は、監視履歴データ１３０３としてハードディスク上に保存される１３０１。次に、本フレーム画像１３００を用いて、統計量１３０５の更新を行う１３０４。一方、本フレーム画像は、統計量１３０７を用いて異常値画像１３０９に変換される１３０８。本処理によって生成された異常値画像１３０９は、ブラウジング用データ１３１１としてハードディスク上に保存される１３１０。次に、異常値画像３１１０に対して、各種特徴量抽出アルゴリズムを適用することによって、類似性検索を行うための画像特徴量１３１３を構成する１３１２。構成された画像特徴量１３１３は、画像特徴量データベース１３１５に登録される１３１４。
【００６８】
本実施例は、入力データがカラー画像のため統計量１３０５と１３０７は、図３の３０７０と３０９０とは内容が異なる。まず、統計量１３０５は、各画素ごとのＲＧＢ値の平均を求めた平均ベクトル画像、および、各画素ごとのＲＧＢ値の分散共分散行列にデータ数を掛けた行列を画素とする偏差平方和行列画像で構成される。図１７に、統計量１３０５の更新処理１３０４のフローチャートを示す。本処理は、入力データが指定されることによって開始する１７０１。入力データの全画素について、平均ベクトル、および、偏差平方和行列を更新し１７０２、その後、データ数を更新し１７０３、処理を終了する１７０４。
【００６９】
一方、フレーム画像１３００から異常値画像１３０９への変換１３０８は次式のように行われる。
【００７０】
【数８】

ここで、ｆ（ｘ，ｙ） は、フレーム画像１３００の画素（ｘ，ｙ）の色ベクトル、ｇ（ｘ，ｙ）は、異常値画像１３０９の画素（ｘ，ｙ）の色ベクトル、画素値μ（ｘ，ｙ）は、画素（ｘ，ｙ）の平均ベクトル、Ａ（ｘ，ｙ）は、画素（ｘ，ｙ）の分散共分散行列の固有値の平方根を要素とする対角行列、Ｖ（ｘ，ｙ）は、画素（ｘ，ｙ）の分散共分散行列の固有ベクトルを列ベクトルとする固有ベクトル行列である。統計量１３０７は、平均ベクトルμ（ｘ，ｙ）、および、数８右辺の、Ａ（ｘ，ｙ）の左右からＶ（ｘ，ｙ）を掛けた色変換行列で構成される。統計量１３０７を用いた統計量１３０９の更新１３０８では、各画素の偏差平方和行列をデータ数で割った分散共分散行列より固有値、固有ベクトルを算出した後、各画素に対して上記の色変換行列を算出する。
【００７１】
また、本実施例では、統計量は、カメラごと、および、時間帯ごとにカテゴリに分けて算出される。これによって、カメラごとのフレーム画像の差異、および、時間帯ごとのフレーム画像の差異の効果を低減した、異常値画像１３０９の構成を実現している。
【００７２】
統計量１３０７更新に伴う、蓄積フレーム画像１３０３に関する、異常値画像１３０９および画像特徴量１３１３の更新は、図３の処理と同様である。蓄積フレーム画像１３０３より各フレーム画像１３００を逐次的に取り出し１３０２、統計量１３０７を用いて、異常値画像１３０９を構成する。この際、統計量１３０５の更新処理１３０４は行わない。異常値画像１３０９を構成した後の処理は、新規データ登録の場合と同一である。
【００７３】
画像特徴量１３１３は、図４に示した半導体検査における特徴量とほぼ同様であるが、輝度分布のヒストグラムの代りに、色分布のヒストグラムを算出し、画像特徴量として用いている点が異なる。すなわち、第１に、異常値画像１３０９を複数の矩形領域に分割する。次に、色空間を立方体上の領域に離散化することによって、各矩形領域ごとの色分布ヒストグラムを算出する。これらのヒストグラムを合わせた集合を特徴量とする。一方、輝度変化方向分布に基づく特徴量の算出では、事前に異常値画像１３０９を白黒濃淡画像に変換した後、図３と全く同一の計算方法で特徴が算出される。
【００７４】
蓄積フレーム画像の検索処理は、前記の半導体検査装置用システムと同様である。また、ユーザインタフェースは、図５、図６、図８、図９、図１０、図１１に図示した半導体検査装置用システムのユーザインタフェースと同様である。
以上本願をまとめる。
逐次的に蓄積される画像集合の管理において、画像中の各位置の画素値の蓄積画像集合における統計量ＡとＢを保持し、新規に蓄積される画像を用いて該統計量Ａを更新する機能と、該統計量Ａを用いて該統計量Ｂを更新する機能と、
該統計量Ｂを用いて蓄積済み画像、あるいは、新規に蓄積される画像中の各位置の画素値の異常性を定量的に推定する機能を持つことを特徴とする蓄積画像管理装置。
上記蓄積画像管理装置の機能に加え、上記画像の画素値の異常性の推定値とする機能によって取得される異常値の推定値を画像状に配列することによって異常値画像を構成する機能と、異常値の推定値が全て０である擬似的な異常値画像を正常値画像として登録する機能と、前記の異常値画像および正常値画像より画像特徴量を抽出する機能と、該正常値画像との画像特徴量の差異が小さい順序でユーザに対して画像を提示する機能を持つことを特徴とする正常データ検索装置。
又、上記画像の画素値の異常性の推定値とする機能によって取得される異常値の推定値を画像状に配列することによって異常値画像を構成する機能と、異常値の推定値が全て０である擬似的な異常値画像を正常値画像として登録する機能と、前記の異常値画像および正常値画像より画像特徴量を抽出する機能と、検索のキーとして、０個あるいは１個の正常値画像、および、０個あるいは１個あるいは複数個の異常値画像あるいは異常値画像の集合の平均を選択することによって、検索キーの集合を構成し、検索対象である異常値画像について、検索キーである正常値画像との画像特徴量の差異の大きさと検索キーである異常値画像あるいは異常値画像の集合の平均との画像特徴量の差異の小ささとに、検索結果に含めることの妥当性を測る同一の基準値を与え、検索対象である異常値画像と、最も高い該基準値を与える該検索キー集合中の検索キーとの該基準値を該検索対象である異常値画像の検索結果としての適合度と定義し、画像集合中から該適合度が大きい画像を検索結果として取得する機能と、前記検索結果を、前記基準値が最も高い検索キーごとに分類してユーザに対して提示する機能を持つことを特徴とする異常データ検索分類装置。
【００７５】
【発明の効果】
本発明により、逐次的に蓄積される大量の検査データを管理するにあたって、導入時の事前設定作業における負荷を低減し、頻繁な変動する検査対象に対して、効率的、かつ、有効に運用できるシステムが実現された。
【図面の簡単な説明】
【図１】半導体外観検査システムの機器構成図。
【図２】半導体外観検査システムのシステム構成図。
【図３】半導体外観検査システムのデータ処理の流れ。
【図４】半導体外観検査システムでの画像特徴量の抽出。
【図５】ユーザインタフェース部品の説明。
【図６】異常データの検索例。
【図７】擬似カラー画像のパラメータ設定画面。
【図８】２次元散布図の表示例。
【図９】３次元可視化表現の表示例（１）。
【図１０】３次元可視化表現の表示例（２）。
【図１１】３次元可視化表現の表示例（３）。
【図１２】監視カメラシステムの構成図。
【図１３】監視カメラシステムのデータ処理の流れ。
【図１４】白黒濃淡画像の場合の統計量の逐次更新処理。
【図１５】新規画像の登録処理。
【図１６】蓄積済み画像の更新処理。
【図１７】カラー画像の場合の統計量の逐次更新処理。
【符号の説明】
１１０：撮像装置。
１２０：制御用コンピュータ。
１３０：サーバ用コンピュータ。
１３５：大容量外部記憶装置。
１４０：ＬＡＮ。
１５０：解析用コンピュータ。
２１０：サーバプログラム。
２１１： 大容量外部記憶装置。
２２０：制御用クライアントプログラム。
２２１：撮像装置コントローラ。
２２２：撮像装置。
２３０：解析用クライアント。
３０１０：元データ。
３０２０：検査履歴データの保存。
３０３０：検査履歴データ。
３０４０：画像内の統計的な輝度の正規化処理。
３０５０：輝度値正規化画像。
３０６０：統計量の更新。
３０７０：統計量Ａ。
３０８０：統計量Ａを用いた統計量Ｂの更新。
３０９０：統計量Ｂ
３１００：異常値画像構成処理。
３１１０：異常値画像。
３１２０：ブラウジング用データの保存。
３１３０：ブラウジングデータ。
３１４０：特徴量抽出。
３１５０：画像特徴量。
３１６０：画像特徴量データベース。
３１７０：画像特徴量の保存。
４１０：異常値画像。
４２０：矩形領域分割。
４２１：輝度ヒストグラム。
４２５：輝度分布に基づく特徴量。
４３０：画像の多重解像度化。
４３１： 多重解像度化された画像の矩形領域分割。
４３２： 輝度変化方向分布のヒストグラム。
４３５： 輝度変化方向分布に基づく特徴量。
５０１：製品を選択するための部品。
５０２：工程を選択するための部品。
５０３：検索キーの表示領域。
５０４：正常事例を検索キーとして登録するためのボタン。
５０５：正常事例の検索キーとしての重みを調整するスライダ。
５０６：正常事例の類似・非類似検索を切り替えるチェックボックス。
５０７：先頭表示データの検索結果内順位を表示・指定する部品。
５０８：先頭表示データの検索結果内順位を表示・指定するスライダ。
５０９：表示データ数を表示・指定する部品。
５１０：先頭データからの表示を指定するボタン。
５１１：順位を１画面分前に戻した表示を指定するボタン。
５１２：順位を１画面分先に進めた表示を指定するボタン。
５１３：末尾データまでの表示を指定するボタン。
５１４：検索結果表示用の領域。
５１５：リスト表示用の領域。
５１６：画像サイズを指定する部品。
５１７：リストの桁数を指定する部品。
５１８：リスト方式の表示を選択するボタン。
５１９： ２次元散布図方式の表示を選択するボタン。
６１０：検索キー。
６２０：検索された異常データ。
７１０：干渉光画像の異常値画像を表示する部品。
７１１：干渉光画像の異常値画像の正に振れた値の色を指定するスライダ。
７１２：干渉光画像の異常値画像の負に振れた値の色を指定するスライダ。
７２０：回折光画像の異常値画像を表示する部品。
７２１：回折光画像の異常値画像の正に振れた値の色を指定するスライダ。
７２３：回折光画像の異常値画像の負に振れた値の色を指定するスライダ。
７３０：干渉光画像と回折光画像とを混合した画像を表示する部品。
７４０：色指定を有効化するためのボタン。
７５０：指定される色が表示されている帯。
７６０：基準値の色を表示する部品。
７６１：基準値の色のＲ成分を指定するスライダ。
７６２：基準値の色のＧ成分を指定するスライダ。
７６３：基準値の色のＢ成分を指定するスライダ。
７６４：基準値を白黒濃淡値のみに制約するためのチェックボックス。
７７０：異常値の差と色空間中の距離を対応付けるスケールを指定するスライダ。
８１０：検索キー表示領域。
８２０：２次元散布図表示領域。
８３１：ｘ軸選択用部品。
８３２：ｙ軸選択用部品。
８３３：画像の表示サイズを調整するための部品。
８３４：表示領域の拡大・縮小用のボタン。
８３５：表示領域の移動用のボタン。
８３６：表示順序を反転させるボタン。
９１０：未分類の異常データ。
１０１０：未分類の異常データ。
１０２０：分類された異常データ。
１１１０：未分類の異常データ。
１１２０：分類された異常データ。
１１３０：もう一つの分類された異常データ。
１２１０：監視カメラ。
１２２０：サーバ用計算機。
１２２１：フレーム画像を取得するプログラム。
１２２２：サーバプログラム。
１２２３：大容量外部記憶装置。
１２３０：ＬＡＮ。
１２４０：端末用計算機。
１３００：フレーム画像。
１３０１：フレーム画像の蓄積。
１３０２：蓄積データからのフレーム画像の取り出し。
１３０３：蓄積データ。
１３０４：統計量の更新。
１３０５：統計量Ａ。
１３０６：統計量Ａを用いた統計量Ｂの更新。
１３０７：統計量Ｂ。
１３０８：異常値画像の算出処理。
１３０９：異常値画像。
１３１０：異常値画像の保存。
１３１１：ブラウジング用データ。
１３１２：画像特徴量の抽出。
１３１３：画像特徴量。
１３１４：画像特徴量の保存。
１３１５：画像特徴量データベース。
１４０１：白黒濃淡画像における統計量の定義。
１４０２：統計量の更新処理。
１４０３：データ数の更新。
１４０４：処理の終了。
１５０１：新規登録画像に対する処理の開始。
１５０２：新規登録画像の保存。
１５０３：新規登録画像の統計量の算出。
１５０４：正規化画像の構成。
１５０５：統計量３０７０の更新。
１５０６：異常値画像の構成。
１５０７：異常値画像の保存。
１５０８：異常値画像からの画像特徴量抽出。
１５０９：画像特徴量の保存。
１５１０：処理の終了。
１６０１：蓄積済み画像に対する処理の開始。
１６０２：蓄積済み画像の読み出し。
１６０３：蓄積済み画像の統計量の算出。
１６０４：正規化画像の構成。
１６０５：異常値画像の構成。
１６０６：異常値画像の保存。
１６０７：異常値画像からの画像特徴量抽出。
１６０８：画像特徴量の保存。
１６０９：処理の終了。
１７０１：色画像における統計量の定義。
１７０２：統計量の更新処理。
１７０３：データ数の更新。
１７０４：処理の終了。

Claims (11)

1. 検査対象の撮像画像を逐次入力する入力手段と、
   上記入力された撮像画像を記録する第１の記録手段と、
   上記第１の記録手段に記憶されている全撮像画像に基づいた平均画像及び２次の統計量画像を算出する第１の算出手段と、
   上記算出された平均画像及び２次の統計量画像の情報を記録する第２の記録手段と、
   上記入力手段を介して入力される撮像画像の特徴量を、上記第２の記録されている情報を用いて算出する第２の算出手段とを有し、
   上記第１の算出手段は繰り返し実行され、上記第２の記録手段に記録される情報を更新することを特徴とする蓄積画像管理装置。
2. さらに第３の記憶手段を有し、
   上記第１の算出手段は、上記入力手段を介して新たな撮像画像が入力される度に外撮像画像の算出した上記平均画像及び上記２次の統計量画像を算出するために求める情報を上記第３の記録手段に記録し、所定のタイミングで上記第３の記録手段に記録される値から算出した情報上記第２の記録手段に記録することを特徴とする請求項１記載の蓄積画像管理装置。
3. 上記第２の算出手段は、上記第１の記憶手段に記憶される撮像画像を読み出して前記特徴量を算出することを特徴とする請求項１又は２に記載の蓄積画像管理装置。
4. 上記第２の算出手段は、上記第２の記憶手段記憶される情報を用いて作成した上記入力手段を介して入力される撮像画像の異常値画像を算出し、表示手段に表示させることを特徴とする請求項１乃至３の何れかに記載の蓄積画像管理装置。
5. 上記第２の算出手段は、上記異常値画像のデータから上記撮像画像の特徴量を算出し、前記特徴量を用いた上記入力画像の評価を行うことを特徴とする請求項１乃至４の何れかに記載の蓄積画像管理装置。
6. 指示手段をさらに有し、
   上記指示手段を介して、上記異常値画像の画素データと基準値との差が正及び負である各々場合の、表示色、該色空間中での変位方向、上記画素値と基準値との差と色空間中の距離を対応付ける係数を指定を受け、
   表示手段に、上記画素データを上記指定に基づいて変換して表示する個とを特徴とする請求項４又は５に記載の蓄積画像管理装置。
7. 上記異常値画像が複数ある場合に、
   上記複数の異常値画像各々の対応する画素値を加算して表示手段に表示させることを特徴とする請求項６記載の蓄積画像管理装置。
8. 上記入力手段は、上記撮像画像とともに、該撮像対象のカテゴリを示す識別子の入力を受け、
   上記識別子ごとに上記撮像画像を分類して上記分類毎に上記処理を行うことを特徴とする請求項１乃至７何れかに記載の蓄積画像管理装置。
9. 前記異常値画像の全画素値が０である正常値画像と前記複数の撮像画像の特徴量各々とを比較する手段をさらに有し、表示手段に前記正常値画像との差異が大きい順若しくは小さい順に、又は、上記差異に応じて上記異常値画像を表示することを特徴とする請求項５記載の蓄積画像管理装置。
10. 前記入力手段を介して表示手段に表示される複数の異常値画像の指定を受け、
    前記表示される異常値画像の前記特徴量を各々、前記異常値画像の全画素値が０である正常値画像及び前記指定された異常値画像の特徴量と比較する手段をさらに有し、
    前記指定された異常値画像又は上記正常値画像の何れか類似する方にグループ化して前記異常値画像を表示することを特徴とする請求項５記載の蓄積画像管理装置。
11. 指示手段と、表示手段と、異常値画像を記憶した記憶手段とを有するコンピュータに、
    上記指示手段を介して、上記異常値画像の画素データと基準値との差が正及び負である各々場合の、表示色、該色空間中での変位方向、上記画素値と基準値との差と色空間中の距離を対応付ける係数を指定を受けるステップと、
    上記記憶手段に記憶される異常値画像の画素データを上記指定に基づいて変換するステップと、
    上記変換された異常値画像を上記表示手段に表示するステップと、を有することを特徴とするプログラム。

Images