JP2001175878A - 画像特徴抽出装置、画像特徴抽出方法、監視検査システム、半導体露光システム、およびインターフェースシステム - Google Patents

Abstract

(57)【要約】 【課題】 撮像画像に基づいて被写界を監視する画像特
徴抽出装置において、被写界内の物体の特徴を高速かつ
簡易に抽出することを目的とする。 【解決手段】 被写界を撮像して微分画像信号を生成す
る。この微分画像信号を行毎に処理して被写界内の左端
エッジおよび右端エッジを検出する。検出された左端エ
ッジおよび右端エッジに対して、膨張収縮処理を行って
点雑音やかすれ雑音を除去する。このように雑音除去し
た両端エッジから物体面積や物体位置などの算出値を求
め、この算出値から被写界内の異常判定を行う。これら
の一連の処理は、１行当たりたかだか２点の両端エッジ
を対象にした処理である。したがって、画素単位の処理
に比べて情報処理量が格段に少なく、高速かつ簡易な処
理が実現する。その結果、動画像のリアルタイム監視な
どに特に好適な画像特徴抽出装置が実現する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写界を撮像した
画像信号から特徴を抽出する画像特徴抽出装置、および
画像特徴抽出方法に関する。また、本発明は、画像特徴
抽出装置を備えた監視検査システム、半導体露光システ
ム、およびインターフェースシステムに関する。

【０００２】

【従来の技術】従来より、被写界を撮像した画像信号に
基づいて、被写界の特徴を抽出する画像特徴抽出装置が
知られている。このような画像特徴抽出装置は、侵入者
を発見するなどの監視用途、半導体製造時におけるパタ
ーン検査用途、工場の製造ラインで部品位置を特定する
用途など、多種多様な場面において使用されている。

【０００３】図１１は、この種の画像特徴抽出装置の一
例を示すブロック図である。このような構成の画像特徴
抽出装置６１では、ビデオカメラ６２で撮像された画像
信号が、Ａ／Ｄ変換器６３を介してディジタル化された
後、フレームメモリ６４に一旦蓄積される。微分回路６
５は、このフレームメモリ６４内の画像信号に対して空
間微分をとり、微分画像信号（画像エッジなどを抽出し
た画像信号）を生成する。微分回路６５は、生成した微
分画像信号を、バス６６ａを介して微分画像メモリ６６
に一旦蓄積する。

【０００４】塗りつぶし処理部６７は、微分画像メモリ
６６から微分画像信号を読み出し、画像エッジ−画像エ
ッジ間に相当する平坦部分を塗りつぶすことにより、被
写界内の物体を二値で単純表現した二値化画像信号を生
成する。塗りつぶし処理部６７は、この二値化画像信号
を、微分画像メモリ６６に一旦蓄積する。続いて、画素
単位雑音除去部６８は、微分画像メモリ６６から二値化
画像信号を画素単位に読み出し、画素単位に収縮処理お
よび膨張処理を実行する。

【０００５】なお、ここでの収縮処理では、処理画素
（処理対象の画素）について周囲画素の参照を行い、１
画素でも物体以外の画素（例えば画素値『０』）があれ
ば、当該処理画素を消去するという処理を施す。このよ
うな収縮処理によって、周辺画素と連続していない孤立
点などの雑音成分が除去される。また、ここでの膨張処
理では、まず、処理画素（処理対象の画素）の周囲画素
を参照する。そして、これら周辺画素の中に１画素でも
物体を示す画素（例えば画素値『１』）があれば、その
処理画素を『物体を示す画素』に置き換える。このよう
な膨張処理により物体を示す画素が四方に膨張して、画
面内のかすれ雑音が除去される。画素単位雑音除去部６
８は、このように雑音除去を完了した二値化画像信号
を、微分画像メモリ６６に再び蓄積する。次に、画像識
別部６９は、雑音除去を完了した二値化画像信号を画素
単位に処理して、物体の識別や人体検知などを実行す
る。

【０００６】

【発明が解決しようとする課題】ところで、このような
従来例では、上述した塗りつぶし処理部６７、画素単位
雑音除去部６８および画像識別部６９の各工程におい
て、画素単位に処理が実行される。その結果、画像を構
成する数万〜数百万画素の画素一つ一つについて処理が
繰り返されることとなり、装置全体の情報処理量が膨大
になるという問題点があった。

【０００７】特に、画素単位雑音除去部６８では、画素
一つ一つについて複雑な二次元画像処理を逐一実行しな
ければならず、情報処理の負荷が極端に集中する。その
ため、処理工程全体のスループットを大きく下げてしま
うという問題点があった。またさらに、この画素単位雑
音除去部６８では、二次元画像処理を行うために、処理
前の画素値を適時参照しなければならない。そのため、
二次元画像処理の前後の画像データを別々に保存しなけ
ればならず、複数フレーム分のメモリが必要となる。

【０００８】このような理由から、従来例の画像特徴抽
出装置６１では、高速な情報処理装置や大容量かつ高速
なメモリが必須となり、装置全体が高コスト化してしま
うという問題点があった。また特に、人体検知などの監
視用途においては、動画像の処理が要求される。そのた
め、次々に撮像される多数枚の画像を遅滞なく（リアル
タイムに）処理しなければならない。したがって、この
ような用途においては、画像処理の大幅な高速化が強く
要望されていた。

【０００９】そこで、本発明では、処理速度を高速化
し、かつ必要なメモリ容量を格段に少なくすることが可
能な画像特徴抽出装置を提供することを目的とする。ま
た、本発明では、このような画像特徴抽出装置を備え
た、監視検査システム、半導体露光システム、インター
フェースシステムを提供することを目的とする。

【００１０】

【課題を解決するための手段】《請求項１》請求項１に
記載の画像特徴抽出装置は、被写界を撮像して微分画像
信号を生成する微分画像信号生成部と、微分画像信号生
成部から出力される微分画像信号を行毎に処理し、被写
界内の左端エッジおよび右端エッジを検出するエッジ座
標検出部と、エッジ座標検出部で行毎に検出された、左
端エッジおよび右端エッジの情報を、被写界内の物体の
特徴として保存するエッジ座標記憶部とを備えたことを
特徴とする。

【００１１】上記構成では、微分画像信号生成部におい
て、被写界の撮像画像に対して空間的または時間的に微
分処理が施され、微分画像信号が生成される。エッジ座
標検出部は、この微分画像信号を行（画面の座標空間上
の所定方向のこと）毎に処理して、各行における左端エ
ッジと右端エッジを検出する。エッジ座標記憶部は、存
在する左端エッジと右端エッジについて、座標値その他
の情報を物体の特徴量として保存する。

【００１２】このような動作では、微分画像信号から両
端エッジを検出するという比較的簡易な処理（例えば、
微分画像信号の閾値判別や論理回路などで十分可能）が
中心であり、従来例に比べて高速に画像を処理すること
が可能となる。また、このように求めた両端エッジの情
報は、従来例のような画素単位に情報を扱う場合に比べ
て、極端に少ない情報量となる。したがって、画像処理
に必要なメモリ容量を大幅に削減することも可能とな
る。さらに、このように求めた両端エッジの情報から
は、後述するように、被写界内の物体の大きさや物体の
位置など、重要な物体情報を容易に求めることができ
る。したがって、上記構成の画像特徴抽出装置を基本構
成とすることにより、これら多種多様な物体情報を得る
装置を発展的に構成することが可能となる。

【００１３】《請求項２》請求項２に記載の画像特徴抽
出装置は、請求項１に記載の画像特徴抽出装置におい
て、エッジ座標検出部で検出された、左端エッジおよび
右端エッジに対して雑音成分の除去を行う雑音除去部を
備えたことを特徴とする。

【００１４】上記構成では、両端エッジを対象に雑音除
去を行う。したがって、従来例のように１画素単位に雑
音除去を逐一行う必要がなく、雑音除去を高速に完了す
ることが可能となる。その上、両端エッジを対象とした
雑音除去のため、処理途中に必要なメモリ容量も非常に
少なく、使用するメモリ容量を大幅に削減することも可
能となる。なお例えば、この種の簡単な雑音除去として
は、隣接する行（または連続するフレーム）の間でエッ
ジの連続性やエッジの連続方向を判断して、滑らかに連
続しないエッジを削除したり、滑らかに連続するように
エッジを移動（追加）するなどの処理がある。また例え
ば、この種の簡単な雑音除去としては、多数のエッジが
ランダムに集中する場合、ディテールや模様などの凹凸
であって主要なエッジでないと判断して削除するなどの
処理がある。

【００１５】《請求項３》請求項３に記載の画像特徴抽
出装置は、請求項２に記載の画像特徴抽出装置におい
て、雑音除去部は、処理行（雑音除去の対象行）を含ん
で近接する複数行に左端エッジが存在する場合、複数行
について左端エッジの最左端を求め、その最左端の更に
左側位置を処理行の左端エッジとする左端膨張処理部
と、複数行に右端エッジが存在する場合、複数行につい
て右端エッジの最右端を求め、その最右端の更に右側位
置を、処理行の右端エッジとする右端膨張処理部と、複
数行に左端エッジの欠損がある場合は、処理行の左端エ
ッジを消去し、それ以外の場合は、複数行について左端
エッジの最右端を求め、その最右端の更に右側位置を処
理行の左端エッジとする左端収縮処理部と、複数行に右
端エッジの欠損がある場合は、処理行の右端エッジを消
去し、それ以外の場合は、複数行について右端エッジの
最左端を求め、その最左端の更に左側位置を処理行の右
端エッジとする右端収縮処理部とを有して構成され、こ
れらの処理部を介して、両端エッジに膨張および収縮を
施すことにより、雑音除去を行うことを特徴とする。

【００１６】上記構成では、左端膨張処理部および右端
膨張処理部によって、両端エッジが上下左右および斜め
の８方向へそれぞれ膨張する。このとき、エッジのかす
れは、近接するエッジの膨張によってきれいに埋められ
る。また一方、左端収縮処理部および右端収縮処理部に
よって、両端エッジが上下左右および斜めの８方向へそ
れぞれ収縮する。このとき、エッジの点雑音（孤立点）
は、収縮によってきれいに除去される。

【００１７】《請求項４》請求項４に記載の画像特徴抽
出装置は、請求項１ないし請求項３のいずれか１項に記
載の画像特徴抽出装置において、エッジ座標記憶部に行
毎に保存された物体の右端エッジと左端エッジとに基づ
いて、物体の画面内面積、物体の中心位置、または物体
の寸法の少なくとも一つを算出する特徴演算部を備えた
ことを特徴とする。

【００１８】《請求項５》請求項５に記載の画像特徴抽
出装置は、請求項４に記載の画像特徴抽出装置におい
て、特徴演算部の算出値が、予め設定された許容の範囲
にあるか否かを監視し、許容の範囲を外れた場合に異常
状態を通知する異常信号出力部を備えたことを特徴とす
る。

【００１９】《請求項６》請求項６に記載の画像特徴抽
出装置は、請求項１ないし請求項５のいずれか１項に記
載の画像特徴抽出装置において、微分画像信号生成部
は、被写界を結像する光学系と、被写界像を撮像する固
体撮像素子とから構成され、固体撮像素子は、受光面上
にマトリックス配列され、入射光に応じた画素出力を生
成する複数の受光部と、複数の受光部から画素出力を順
次に転送する画素出力転送部と、画素出力転送部を転送
中の画素出力について時間的または空間的な差異を求め
て微分画像信号を生成する微分処理部とを有して構成さ
れることを特徴とする。

【００２０】《請求項７》請求項７に記載の画像特徴抽
出方法は、被写界を撮像して、被写界内の物体エッジを
示す微分画像信号を生成し、微分画像信号を行毎に処理
して、物体の左端エッジおよび右端エッジを検出し、左
端エッジおよび右端エッジの情報を、物体の特徴量とし
て保存することを特徴とする。

【００２１】《請求項８》請求項８に記載の監視検査シ
ステムは、被写界を監視して正常／異常を判定する監視
検査システムであって、請求項１ないし請求項６のいず
れか１項に記載の画像特徴抽出装置と、前記画像特徴抽
出装置において抽出される被写界の特徴に基づいて、被
写界の正常／異常を判定する監視部とを備えたことを特
徴とする。

【００２２】《請求項９》請求項９に記載の半導体露光
システムは、請求項１ないし請求項６のいずれか１項に
記載の画像特徴抽出装置を用いて半導体のアライメント
マークを撮像し、抽出される被写界の特徴に基づいて、
半導体のアライメントマークの位置検出を行うアライメ
ント検出部と、前記アライメント検出部により位置検出
されたアライメントマークに応じて前記半導体の位置決
めを行う位置制御部と、前記位置制御部により位置決め
された前記半導体に対して露光パターンを投影する露光
部とを備えたことを特徴とする。

【００２３】《請求項１０》請求項１０に記載のインタ
ーフェースシステムは、人間の姿勢や動きなどの被写界
から得られる情報に基づいて、入力信号を生成するイン
ターフェースシステムであって、請求項１ないし請求項
６のいずれか１項に記載の画像特徴抽出装置と、前記画
像特徴抽出装置において検出される被写界の特徴に基づ
いて認識処理を行い、被写界の特徴に応じた入力信号を
生成する認識処理部とを備えたことを特徴とする。

【００２４】

【発明の実施の形態】《第１の実施形態》第１の実施形
態は、請求項１〜８に記載の発明に対応する実施形態で
ある。 ［第１の実施形態の全体構成］図１は、第１の実施形態
における監視検査システム１０（画像特徴抽出装置１１
を含む）の構成を示すブロック図である。なお、本図で
は、説明の都合上、ソフトウェア処理などで実現される
マイクロプロセッサ１５の内部機能についても機能ブロ
ックとして図示している。

【００２５】図１において、監視検査システム１０に
は、撮影レンズ１２が装着される。この撮影レンズ１２
の像空間側には、固体撮像素子１３の撮像面が配置され
る。この固体撮像素子１３から出力される画像信号は、
録画装置１４に供給される。また、固体撮像素子１３か
ら出力される微分画像信号は、画像処理用のマイクロプ
ロセッサ１５に供給される。

【００２６】このマイクロプロセッサ１５は、下記の機
能ブロックを有して構成される。 エッジ座標検出部１６・・微分画像信号から両端エッ
ジを検出して、両端エッジの座標情報をシステムメモリ
２０に蓄積する。 雑音除去部１７・・システムメモリ２０に蓄積された
両端エッジの座標情報から雑音成分を除去する。 面積演算部１８・・システムメモリ２０に蓄積された
両端エッジから物体の画面内面積を算出する。 異常信号出力部１９・・物体の画面内面積が、予め定
められた許容の範囲内か否かを判定し、許容の範囲を外
れている場合に異常状態を通知する。この通知は、録画
装置１４および警報装置２１に伝達される。

【００２７】［固体撮像素子１３の内部構成］図２は、
固体撮像素子１３の内部構成を示す図である。図２にお
いて、固体撮像素子１３には、単位画素１が、ｎ行ｍ列
でマトリックス配列される。これらの単位画素１は、光
電変換を行うホトダイオードＰＤと、電荷転送用のＭＯ
ＳスイッチＱＴと、電荷リセット用のＭＯＳスイッチＱ
Ｐと、行選択用のＭＯＳスイッチＱＸと、接合型電界効
果トランジスタからなる増幅素子ＱＡとから構成されて
いる。

【００２８】このような単位画素１の出力は、垂直列ご
とに共通接続され、ｍ本分の垂直読み出し線２を形成す
る。また、固体撮像素子１３には、垂直シフトレジスタ
３が設けられる。この垂直シフトレジスタ３は、制御パ
ルスφＴＧ１，φＰＸ１，φＲＧ１によりＭＯＳスイッ
チＱＴ，ＱＰ，ＱＸを開閉制御し、単位画素１の画素出
力を垂直読み出し線２上に出力する。これらの垂直読み
出し線２には、電流源４がそれぞれ接続される。

【００２９】さらに、これらの垂直読み出し線２は、差
分処理回路５をそれぞれ介して、水平読み出し線７に接
続される。この水平読み出し線７には、リセット用のＭ
ＯＳスイッチＱＲＳＨが接続される。これらのＭＯＳス
イッチＱＲＳＨには、水平シフトレジスタ８などからリ
セット用の制御パルスφＲＳＨが供給される。一方、上
述した差分処理回路５は、電荷保持用のコンデンサＣＶ
と、コンデンサの充電路を形成するためのＭＯＳスイッ
チＱＶと、水平転送用のＭＯＳスイッチＱＨとから構成
される。これらのＭＯＳスイッチＱＨには、水平シフト
レジスタ８のパラレル出力φＨ１〜φＨｍがそれぞれ接
続される。また、差分処理回路５には、電荷保持のタイ
ミングを決定するための制御パルスφＶが垂直シフトレ
ジスタ３などから供給される。

【００３０】さらに、垂直読み出し線２には、異値検出
回路６がそれぞれ接続される。これらの異値検出回路６
は、垂直転送される新旧の画素出力を比較する回路であ
り、例えば、標本回路とその標本回路の出力に基づいて
新旧の画素出力を比較する比較回路などから構成され
る。この異値検出回路６には、標本タイミングを決定す
るための制御パルスφＳＡが垂直シフトレジスタ３など
から供給される。

【００３１】このような異値検出回路６の各出力は、シ
フトレジスタ９のパラレル入力Ｑ１〜Ｑｍにそれぞれ接
続される。このシフトレジスタ９には、パラレル入力の
取り込みタイミングを決定するための制御パルスφＬＤ
と、シリアル転送の転送クロックφＣＫとが入力され
る。これらのパルスφＬＤ，φＣＫは、例えば水平シフ
トレジスタ８などから供給される。

【００３２】［第１の実施形態と請求項に記載する事項
との対応関係］以下、第１の実施形態と請求項との対応
関係について説明する。請求項１に記載の発明と第１の
実施形態との対応関係については、微分画像信号生成部
は撮影レンズ１２および固体撮像素子１３に対応し、エ
ッジ座標検出部はエッジ座標検出部１６に対応し、エッ
ジ座標記憶部はシステムメモリ２０に対応する。請求項
２に記載の発明と第１の実施形態との対応関係について
は、雑音除去部は雑音除去部１７に対応する。請求項３
に記載の発明と第１の実施形態との対応関係について
は、左端膨張処理部は雑音除去部１７の『左端膨張処理
（図４Ｓ２２〜２６）を行う機能』に対応し、右端膨張
処理部は雑音除去部１７の『右端膨張処理（図４Ｓ２２
〜２６）を行う機能』に対応し、左端収縮処理部は雑音
除去部１７の『左端収縮処理（図５Ｓ４２〜４７）を行
う機能』に対応し、右端収縮処理部は雑音除去部１７の
『右端収縮処理（図５Ｓ４２〜４７）を行う機能』に対
応する。請求項４に記載の発明と第１の実施形態との対
応関係については、特徴演算部は面積演算部１８に対応
する。請求項５に記載の発明と第１の実施形態との対応
関係については、異常信号出力部は異常信号出力部１９
に対応する。請求項６に記載の発明と第１の実施形態と
の対応関係については、光学系は撮影レンズ１２に対応
し、固体撮像素子は固体撮像素子１３に対応し、受光部
はホトダイオードＰＤに対応し、画素出力転送部は垂直
シフトレジスタ３、垂直読み出し線２、水平読み出し線
７、水平シフトレジスタ８およびＭＯＳスイッチＱＴ、
ＱＸ、ＱＡに対応し、微分処理部は異値検出回路６およ
びシフトレジスタ９に対応する。請求項７に記載の発明
と第１の実施形態との対応関係については、微分画像信
号を生成する工程は固体撮像素子１３の内部において微
分画像信号を生成する動作に対応し、両端エッジを検出
する工程はエッジ座標検出部１６において両端エッジを
検出する動作に対応し、両端エッジに関する情報を保存
する工程はエッジ座標検出部１６がシステムメモリ２０
に両端エッジの座標情報を記録する動作に対応する。請
求項８に記載の発明と第１の実施形態との対応関係につ
いては、画像特徴抽出装置は、撮影レンズ１２、固体撮
像素子１３、エッジ座標検出部１６、雑音除去部１７、
面積演算部１８およびシステムメモリ２０に対応し、監
視部は、異常判定部１９、警報装置２１および録画装置
１４に対応する。

【００３３】［固体撮像素子１３における撮像動作の説
明］まず、監視検査システム１０全体の動作説明に先立
って、固体撮像素子１３の撮像動作について説明する。
撮影レンズ１２は、被写界の光像を固体撮像素子１３の
撮像面上に結像する。垂直シフトレジスタ３は、このと
き電荷転送用のＭＯＳスイッチＱＴをオフ状態に設定し
てホトダイオードＰＤをフローティング状態に維持す
る。そのため、ホトダイオードＰＤでは、光像が画素単
位に光電変換され、受光量に対応した信号電荷がホトダ
イオードＰＤに逐次蓄積される。

【００３４】このような信号電荷の蓄積動作に併行し
て、垂直シフトレジスタ３は、読み出し行のＭＯＳスイ
ッチＱＸを選択的にオン状態にし、読み出し行の増幅素
子ＱＡを垂直読み出し線２に接続してバイアス電流ＩＢ
を供給する。このとき、読み出し行のＭＯＳスイッチＱ
Ｔ、ＱＰはオフ状態にあるため、増幅素子ＱＡのゲート
容量には、前回読み出しを行った際の信号電荷が残留す
る。そのため、読み出し行の増幅素子ＱＡからは、前コ
マの画素出力が垂直読み出し線２に出力される。異値検
出回路６は、この前コマの画素出力を取り込み、保持す
る。

【００３５】次に、垂直シフトレジスタ３は、読み出し
行のＭＯＳスイッチＱＰを一時的にオン状態にして、ゲ
ート容量の残留電荷を一旦リセットする。この状態で、
読み出し行の増幅素子ＱＡから垂直読み出し線２には、
暗信号が出力される。この暗信号は、リセット時の雑音
（いわゆるｋＴＣ雑音）や、増幅素子ＱＡにおけるゲー
ト−ソース間電圧のバラツキを含んだ信号である。

【００３６】差分処理回路５は、ＭＯＳスイッチＱＶを
一時的にオン状態にして、この暗信号をコンデンサＣＶ
に保持する。続いて、垂直シフトレジスタ３は、読み出
し行のＭＯＳスイッチＱＴを一時的にオン状態にして、
ホトダイオードＰＤの信号電荷を増幅素子ＱＡのゲート
容量に転送する。その結果、垂直読み出し線２には、最
新の画素出力が増幅素子ＱＡから出力される。

【００３７】異値検出回路６は、直前に保持した前コマ
の画素出力と、この最新の画素出力とが所定範囲内で一
致するか否かの判定を行い、その判定結果を出力する。
シフトレジスタ９は、これらの判定結果をパラレル入力
端子Ｑ１〜Ｑｍを介して行単位に取り込む。一方、この
最新の画素出力は、暗信号を保持したコンデンサＣＶの
一端側に印加される。その結果、コンデンサＣＶの他端
側には、暗信号を除いた真の画素出力が出力される。

【００３８】この状態で、シフトレジスタ９および水平
シフトレジスタ８には、同一の転送クロックφＣＫが入
力される。すると、シフトレジスタ９は、微分画像信号
を１行分だけシリアル出力する。一方、水平シフトレジ
スタ８は、水平転送用のＭＯＳスイッチＱＨを順番にオ
ン状態に設定し、１行分の画素出力を水平読み出し線７
へ順次出力する。以上のような動作を、読み出し行を１
行ずつずらしながら繰り返すことにより、通常の画像信
号と、時間的に微分された微分画像信号とが固体撮像素
子１３から順次出力される。

【００３９】［両端エッジ検出の動作説明］次に、エッ
ジ座標検出部１６（実際にはマイクロプロセッサ１５）
による両端エッジの検出動作について説明する。図３
は、両端エッジの検出動作を説明する流れ図である。以
下、図３のステップ番号に沿って説明する。

【００４０】ステップＳ１： まず、エッジ座標検出部
１６は、現在処理中の画素位置を示す変数ｉ，ｊを１に
初期化する。さらに、エッジ座標検出部１６は、要素数
（ｎ＋１）個の整数配列Ｌ（ｘ）、Ｒ（ｘ）をシステム
メモリ２０上に確保する。エッジ座標検出部１６は、こ
の整数配列Ｌ（ｘ）、Ｒ（ｘ）に対して、下記のような
初期化を実行する。 Ｌ（ｘ）＝ｍ，Ｒ（ｘ）＝１ ［ただしｘ＝１〜ｎ］ ・・・（１）

【００４１】ステップＳ２： 次に、エッジ座標検出部
１６は、固体撮像素子１３の読み出しパルスに同期し
て、ｉ行ｊ列目の微分画像信号Ｄ（ｉ，ｊ）を取り込
む。エッジ座標検出部１６は、この微分画像信号Ｄ
（ｉ，ｊ）が『１』ならば、時間的に変化した画素（い
わゆる動体エッジ）であると判断して、ステップＳ３に
動作を移行する。一方、微分画像信号Ｄ（ｉ，ｊ）が
『ゼロ』ならば、時間的に変化していない画素であると
判断して、ステップＳ６に動作を移行する。

【００４２】ステップＳ３： 微分画像信号Ｄ（ｉ，
ｊ）は、ｉ行目で最初に検出された動体エッジか否かを
判定する。ｉ行目で最初に検出された動体エッジの場
合、エッジ座標検出部１６は、左端エッジであると判断
して、ステップＳ４に動作を移行する。一方、それ以外
の場合、エッジ座標検出部１６は、ステップＳ５に動作
を移行する。

【００４３】ステップＳ４： エッジ座標検出部１６
は、左端エッジの判断に従って、整数配列Ｌ（ｉ）にｉ
行目の左端エッジの画素位置ｊを格納する。

【００４４】ステップＳ５： エッジ座標検出部１６
は、整数配列Ｒ（ｉ）に、ｉ行目の動体エッジの画素位
置ｊをとりあえず格納する。

【００４５】ステップＳ６： エッジ座標検出部１６
は、ｊ＝ｍか否かを判定する。ここで、ｊ≠ｍの場合、
エッジ座標検出部１６は、ｉ行目の処理がまだ完了して
いないと判断して、ステップＳ７に動作を移行する。一
方、ｊ＝ｍの場合、エッジ座標検出部１６は、ｉ行目の
処理が完了したと判断して、ステップＳ８に動作を移行
する。

【００４６】ステップＳ７： ここでは、ｉ行目の処理
がまだ完了していないので、エッジ座標検出部１６は、
ｊを１だけ増加してステップＳ２に動作を戻す。

【００４７】ステップＳ８： エッジ座標検出部１６
は、ｉ行目の処理を完了したとの判断に従って、ｉ＝ｎ
か否かを判定する。ここで、ｉ≠ｎの場合、エッジ座標
検出部１６は、１画面分の処理がまだ完了していないと
判断して、ステップＳ９に動作を移行する。一方、ｉ＝
ｎの場合、エッジ座標検出部１６は、１画面分の処理が
完了したと判断して、動作を終了する。（なお、動画像
を処理している場合は、ステップＳ１に戻って、次コマ
の処理を開始する）

【００４８】ステップＳ９： ここでは、１画面分の処
理がまだ完了していないので、エッジ座標検出部１６
は、次行の処理に移るため、ｉを１だけ増加し、かつｊ
を１に戻した後、ステップＳ２に動作を戻す。以上説明
した一連の動作により、整数配列Ｌ（ｘ）には、ｘ行目
の左端エッジが格納される。また、整数配列Ｒ（ｘ）に
は、ｘ行目の右端エッジが格納される。

【００４９】［両端エッジの膨張化処理］次に、雑音除
去部１７（実際にはマイクロプロセッサ１５）による両
端エッジの膨張化処理について説明する。図４は、両端
エッジの膨張化処理を説明する流れ図である。以下、図
４のステップ番号に沿って説明する。

【００５０】ステップＳ２１： まず、雑音除去部１７
は、下記のように変数を初期化する。 ｉ＝１ Ｌｂ＝ｍ，Ｌ（ｎ＋１）＝ｍ ・・・（２） Ｒｂ＝１，Ｒ（ｎ＋１）＝１ ・・・（３）

【００５１】ステップＳ２２： 雑音除去部１７は、処
理対象であるｉ行目を含んで近接する複数行（ここでは
３行）についてエッジが存在するか否かを、変数Ｒｂ、
Ｒ（ｉ）、Ｒ（ｉ＋１）の値に基づいて判定する。ここ
で、複数行の中にエッジが存在しなかった場合、雑音除
去部１７は、動作をステップＳ２３に移行する。一方、
複数行の中にエッジが存在した場合、雑音除去部１７
は、動作をステップＳ２４に移行する。

【００５２】ステップＳ２３： 雑音除去部１７は、ｉ
行目を含む複数行にエッジが存在しないので、ｉ行目に
ついてエッジの膨張化処理を行わない。そこで、次行の
処理に備えて、変数Ｌｂ，Ｒｂを下記のように更新する
のみで、ステップＳ２７に動作を移行する。 Ｌｂ＝Ｌ（ｉ），Ｒｂ＝Ｒ（ｉ） ・・・（４）

【００５３】ステップＳ２４： 雑音除去部１７は、ｉ
行目を含む複数行にエッジが存在するので、下式を実行
してｉ行目について両端エッジを膨張化させる。 Ｌｘ＝ｍｉｎ［Ｌｂ，Ｌ（ｉ），Ｌ（ｉ＋１）］−１ ・・・（５） Ｒｘ＝ｍａｘ［Ｒｂ，Ｒ（ｉ），Ｒ（ｉ＋１）］＋１ ・・・（６） この（５）式では、複数行中の左端エッジから最左端を
求め、その最左端よりもさらに１画素分だけ左側の位置
を、Ｌｘとしている。また、（６）式では、複数行中の
右端エッジから最右端を求め、その最右端よりもさらに
１画素分だけ右側の位置を、Ｒｘとしている。

【００５４】ステップＳ２５： 雑音除去部１７は、ス
テップＳ２３と同様に、次行の処理に備えて変数Ｌｂ，
Ｒｂを下記のように更新する。 Ｌｂ＝Ｌ（ｉ），Ｒｂ＝Ｒ（ｉ） ・・・（４）

【００５５】ステップＳ２６： 雑音除去部１７は、上
記の（５）（６）式で算出したＬｘ，Ｒｘを、ｉ行目の
両端エッジとしてＬ（ｉ），Ｒ（ｉ）に代入する。

【００５６】ステップＳ２７： 雑音除去部１７は、ｉ
＝ｎか否かを判定する。ここで、ｉ≠ｎの場合、雑音除
去部１７は、１画面分の処理がまだ完了していないと判
断して、ステップＳ２８に動作を移行する。一方、ｉ＝
ｎの場合、雑音除去部１７は、１画面分の処理が完了し
たと判断して、１回分の膨張化処理を終了する。

【００５７】ステップＳ２８： ここでは、１画面分の
処理がまだ完了していないので、雑音除去部１７は、次
行の処理に移るため、ｉを１だけ増加した後、ステップ
Ｓ２２に動作を戻す。以上説明した一連の動作により、
整数配列Ｌ（ｘ），Ｒ（ｘ）に格納された両端エッジを
上下斜め方向に１画素分だけ膨張化する処理が実行され
る。

【００５８】［両端エッジの収縮化処理］次に、雑音除
去部１７（実際にはマイクロプロセッサ１５）による両
端エッジの収縮化処理について説明する。図５は、両端
エッジの収縮化処理を説明する流れ図である。以下、図
５のステップ番号に沿って説明する。

【００５９】ステップＳ４１： まず、雑音除去部１７
は、下記のように変数を初期化する。 ｉ＝１ Ｌｂ＝１，Ｌ（ｎ＋１）＝１ ・・・（７） Ｒｂ＝ｍ，Ｒ（ｎ＋１）＝ｍ ・・・（８）

【００６０】ステップＳ４２： 雑音除去部１７は、処
理対象であるｉ行目を含んで近接する複数行（ここでは
３行）についてエッジ欠損があるか否かを、変数Ｒｂ、
Ｒ（ｉ）、Ｒ（ｉ＋１）の値に基づいて判定する。ここ
で、複数行の中にエッジ欠損があった場合、雑音除去部
１７は、動作をステップＳ４３に移行する。一方、複数
行の中にエッジ欠損がない場合、雑音除去部１７は、動
作をステップＳ４５に移行する。

【００６１】ステップＳ４３： 雑音除去部１７は、次
行の処理に備えて、変数Ｌｂ，Ｒｂを下記のように更新
する。 Ｌｂ＝Ｌ（ｉ），Ｒｂ＝Ｒ（ｉ） ・・・（９）

【００６２】ステップＳ４４： 雑音除去部１７は、ｉ
行目を含む複数行にエッジ欠損があったので、下式を実
行してｉ行目のエッジを削除し、ステップＳ４８に動作
を移行する。 Ｌ（ｉ）＝ｍ，Ｒ（ｉ）＝１ ・・・（１０）

【００６３】ステップＳ４５： 雑音除去部１７は、ｉ
行目を含む複数行にエッジ欠損がないので、下式を実行
してｉ行目について両端エッジを収縮化させる。 Ｌｘ＝ｍａｘ［Ｌｂ，Ｌ（ｉ），Ｌ（ｉ＋１）］＋１ ・・・（１１） Ｒｘ＝ｍｉｎ［Ｒｂ，Ｒ（ｉ），Ｒ（ｉ＋１）］−１ ・・・（１２） この（１１）式では、複数行中の左端エッジから最右端
を求め、その最右端よりもさらに１画素分だけ右側の位
置を、Ｌｘとしている。また、（１２）式では、複数行
中の右端エッジから最左端を求め、その最左端よりもさ
らに１画素分だけ左側の位置を、Ｒｘとしている。

【００６４】ステップＳ４６： 雑音除去部１７は、ス
テップＳ４３と同様に、次行の処理に備えて変数Ｌｂ，
Ｒｂを下記のように更新する。 Ｌｂ＝Ｌ（ｉ），Ｒｂ＝Ｒ（ｉ） ・・・（９）

【００６５】ステップＳ４７： 雑音除去部１７は、上
記の（１１）（１２）式で算出したＬｘ，Ｒｘを、ｉ行
目の両端エッジとしてＬ（ｉ），Ｒ（ｉ）に代入する。

【００６６】ステップＳ４８： 雑音除去部１７は、ｉ
＝ｎか否かを判定する。ここで、ｉ≠ｎの場合、雑音除
去部１７は、１画面分の処理がまだ完了していないと判
断して、ステップＳ４９に動作を移行する。一方、ｉ＝
ｎの場合、雑音除去部１７は、１画面分の処理が完了し
たと判断して、１回分の収縮化処理を終了する。

【００６７】ステップＳ４９： ここでは、１画面分の
処理がまだ完了していないので、雑音除去部１７は、次
行の処理に移るため、ｉを１だけ増加した後、ステップ
Ｓ４２に動作を戻す。以上説明した一連の動作により、
整数配列Ｌ（ｘ），Ｒ（ｘ）に格納された両端エッジを
上下斜め方向に１画素分だけ収縮化する処理が実行され
る。

【００６８】［膨張処理および収縮処理による雑音除去
効果について］上述した膨張処理および収縮処理による
雑音除去効果について具体的に説明する。図６は、膨張
処理および収縮処理による雑音除去効果を示す図であ
る。図６（ａ）に示すように、微分画像信号には、雑音
成分として点雑音Ｐや、かすれ雑音Ｑがわずかながらに
混入する。図６（ｂ）に示すように、両端エッジ検出に
際して、これらの雑音成分は、誤認エッジＰｅや、分断
エッジＱｅを生じる。そのため、物体の外縁形状は部分
的に変形し、物体の形状認識や面積算出などに支障を生
じる。図６（ｃ）は、このように雑音成分の混入した両
端エッジに対して、上述した膨張処理を１〜数回かけた
状態を示す図である。両端エッジが上下斜め方向に数画
素分だけ膨張することにより、図６（ｂ）に見られた分
断エッジＱｅが、周辺から埋められる。その結果、分断
エッジＱｅによる外縁形状の変形が、確実に除去され
る。

【００６９】図６（ｄ）は、膨張処理を施した両端エッ
ジに対して、上述した収縮処理を１〜数回かけた状態を
示す図である。この場合、両端エッジが上下斜め方向に
数画素分だけ収縮することにより、図６（ｃ）に残存し
ていた誤認エッジＰｅが、削られる。その結果、誤認エ
ッジＰｅによる外縁形状の変形が、確実に除去される。
なお、膨張処理および収縮処理の繰り返し回数や順番に
ついては、画像の解像度や雑音状況に応じて決定するこ
とが好ましい。ちなみに、かすれ雑音が比較的多くて、
物体エッジが細かく分断されているような雑音状況で
は、物体エッジを復元するために、膨張処理を先に実行
することが好ましい。また、点雑音が比較的多い雑音状
況では、点雑音の集合を物体と誤認しないように、収縮
処理を先に実行することが好ましい。

【００７０】［面積演算および異常判定処理］次に、面
積演算部１８および異常信号出力部１９（実際には両方
ともマイクロプロセッサ１５）による、面積演算および
異常判定処理について説明する。図７は、面積演算およ
び異常判定処理を説明する流れ図である。以下、図７の
ステップ番号に沿って説明する。

【００７１】ステップＳ６１： まず、面積演算部１８
は、下記のように変数を初期化する。 ｉ＝１ Ｓ＝０

【００７２】ステップＳ６２： 面積演算部１８は、下
式に従って、ｉ行目の両端エッジの間隔を面積Ｓに累積
する。 Ｓ＝Ｓ＋ｍａｘ［０，Ｒ（ｉ）−Ｌ（ｉ）＋１］ ・・・（１３）

【００７３】ステップＳ６３： 面積演算部１８は、ｉ
＝ｎか否かを判定する。ここで、ｉ≠ｎの場合、面積演
算部１８は、１画面分の処理がまだ完了していないと判
断して、ステップＳ６４に動作を移行する。一方、ｉ＝
ｎの場合、面積演算部１８は、１画面分の処理が完了し
たと判断して、ステップＳ６５に動作を移行する。

【００７４】ステップＳ６４： ここでは、１画面分の
処理がまだ完了していないので、面積演算部１８は、次
行の処理に移るため、ｉを１だけ増加した後、ステップ
Ｓ６２に動作を戻す。

【００７５】ステップＳ６５： 上記の処理Ｓ６１〜６
４によって、両端エッジに囲まれた物体の画面内面積Ｓ
（ここでは物体が占める画素数に相当する）が算出され
る。異常信号出力部１９は、この画面内面積Ｓと、人間
と小動物等との区別をするために予め定めた許容値Ｓｅ
とを大小比較する。例えば、２０万画素の固体撮像素子
１３を用い、かつ被写界を３ｍ×３ｍの範囲に設定した
場合、１画素に相当する面積は４５ｍｍ²になる。ここ
で、人体の大きさを１７０ｃｍ×５０ｃｍ仮定し、小動
物としてネズミの大きさを２０ｃｍ×１０ｃｍと仮定す
ると、人体の大きさは、おおよそ１万９千画素に相当
し、ネズミの大きさは４００画素に相当する。このよう
な場合、許容値Ｓｅを４０００画素程度に設定すること
により、人間と小動物とを区別することが可能となる。
ここで、画面内面積Ｓが許容値Ｓｅ以下の場合、異常信
号出力部１９は、画面内にはネズミなどの小動物が存在
するのみと判断して、異常通知を実行しない。一方、画
面内面積Ｓが許容値Ｓｅを上回っている場合、異常信号
出力部１９は、画面内に人間などの比較的大きな動体が
いると判断し、ステップＳ６６に動作を移行する。

【００７６】ステップＳ６６： 異常信号出力部１９
は、外部に異常通知を実行する。この異常通知に呼応し
て、録画装置１４は、画像信号の録画を開始する。警報
装置２１は、通信回線などを介して遠方の監視センター
に緊急警報を送信する。

【００７７】［第１の実施形態の効果など］以上説明し
た動作により、第１の実施形態では、両端エッジの情報
処理により人間以上の大きさの動体を的確に識別し、正
確な異常通知を実行することが可能となる。特に、第１
の実施形態では、両端エッジの処理を中心とするため、
システムメモリ２０上に、たかだか要素数（ｎ＋１）個
程度の整数配列Ｌ（ｘ），Ｒ（ｘ）を確保すればよい。
そのため、画像特徴抽出装置１１に必要なメモリ容量
は、画素単位のフレームメモリを必要とする従来例に比
べて極端に少なくなる。

【００７８】さらに、第１の実施形態では、両端エッジ
の処理を中心とするため、雑音除去や面積演算について
も、たかだか行単位の速度で実行すればよい。そのた
め、画素単位の処理が中心の従来例と比較して、処理速
度に格段な余裕が生じる。したがって、第１の実施形態
により、動画像をリアルタイムに監視して異常通知を行
う画像特徴抽出装置を容易に実現することができる。次
に、別の実施形態について説明する。

【００７９】《第２の実施形態》第２の実施形態は、請
求項８に対応した監視検査システムの実施形態である。
図８は、工場のラインなどで使用される、パターン検査
用途の監視検査システム３０を示す図である。なお、請
求項８に記載の構成要素と、図８に示す各構成との対応
関係については、画像特徴抽出装置は画像特徴抽出装置
３１に対応し、監視部は比較処理部３３および参照情報
記憶部３４に対応する。

【００８０】図８において、画像特徴抽出装置３１の被
写界には、検査対象３２が配置される。この画像特徴抽
出装置３１で検出されたエッジの座標情報は、比較処理
部３３に与えられる。この比較処理部３３は、このエッ
ジの座標情報と、参照情報記憶部３４に記録された情報
（例えば、良品のエッジの座標情報）とを比較して、部
品欠損や傷や半田不良があるか否かなどの良否判定を行
う。以上のような動作では、エッジの座標情報という少
ない情報量について良否判定を行えばよい。したがっ
て、良否判定の情報処理量が全体的に少なく、良品検査
を高速化できるという利点がある。その結果、作業速度
の高速化が要求される工場ラインや半導体製造ラインな
どに特に適した監視検査システムとなる。

【００８１】《第３の実施形態》第３の実施形態は、請
求項９に対応した半導体露光システムの実施形態であ
る。図９は、半導体製造に使用される、半導体露光シス
テム４０を示す図である。なお、請求項９に記載の構成
要素と、図９に示す各構成との対応関係については、画
像特徴抽出装置は画像特徴抽出装置４４ａ〜ｃに対応
し、アライメント検出部はアライメント検出部４５に対
応し、位置制御部は位置制御部４６に対応し、露光部は
露光部４３に対応する。

【００８２】図９において、ステージ４１の上には、ウ
ェハ状の半導体４２が配置される。この半導体４２の上
方には、露光部４３の露光光学系が配置される。この露
光光学系を介して半導体４２上のアライメントマークを
撮像するように、画像特徴抽出装置４４ａ〜ｂが配置さ
れる。また、半導体４２上のアライメントマークを直接
的に撮像するように、画像特徴抽出装置４４ｃが配置さ
れる。

【００８３】これらの画像特徴抽出装置４４ａ〜ｃで検
出されたエッジの座標情報は、アライメント検出部４５
に与えられる。このアライメント検出部４５は、エッジ
の座標情報からアライメントマークの位置検出を行う。
位置制御部４６は、このアライメントマークの位置情報
に基づいてステージ４１を位置制御し、半導体４２の位
置決めを行う。このようにして位置決めされた半導体４
２に対して、露光部４３は所定の半導体回路パターンを
投影する。

【００８４】以上のような動作では、エッジの座標情報
という少ない情報量に基づいてアライメントマークの位
置検出を行えばよい。したがって、位置検出の情報処理
量が全体的に少なく、高速に位置検出を行えるという利
点がある。その結果、作業速度の高速化が要求される半
導体製造ラインに特に好適な半導体露光システムとな
る。

【００８５】《第４の実施形態》第４の実施形態は、請
求項１０に対応したインターフェースシステムの実施形
態である。図１０は、コンピュータ５３に人間の姿勢情
報を入力するインターフェース５０を示す図である。な
お、請求項１０に記載の構成要素と、図１０に示す各構
成との対応関係については、画像特徴抽出装置は画像特
徴抽出装置５１に対応し、認識処理部は認識処理部５２
に対応する。

【００８６】図１０において、ステージ上の人間を撮像
する位置に、画像特徴抽出装置５１が配置される。この
画像特徴抽出装置５１で検出されたエッジの座標情報
は、認識処理部５２に与えられる。この認識処理部５２
は、エッジの座標情報について認識処理を行い、人間の
姿勢をパターン分類する。認識処理部５２は、このよう
にパターン分類した結果を人間の姿勢情報として、コン
ピュータ５３に入力する。

【００８７】コンピュータ５３内では、この人間の姿勢
情報を反映してゲーム画像などを生成し、モニタ画面５
４上に表示する。以上のような動作では、エッジの座標
情報という少ない情報量に基づいて人間の姿勢情報を認
識すればよい。したがって、画像認識の情報処理量が全
体的に少なく、高速に画像認識を行えるという利点があ
る。その結果、高速処理の要求されるゲームマシンなど
に特に好適なインターフェースシステムとなる。なお、
本実施形態では、人間の姿勢入力について説明したが、
これに限定されるものではない。本実施形態のインター
フェースシステムは、手のジェスチャー入力（手話入
力）などにも適用できる。

【００８８】《実施形態の補足事項》なお、上述した実
施形態では、固体撮像素子１３において微分画像信号を
時間微分に基づいて生成している。このような動作は、
背景などの静止画像と区別して、動体を監視できる点
で、非常に優れた動作である。しかしながら、この動作
に限定されるものではない。例えば、微分画像信号を隣
接画素間の差分（空間微分）から生成してもかまわな
い。このような空間微分による微分画像信号を生成可能
な固体撮像素子としては、特開平１１−２２５２８９号
公報に記載のエッジ検出用固体撮像装置や、特開平６−
１３９３６１号公報に記載の装置や、特開平８−２７５
０５９号公報に記載の受光素子回路アレイなどが使用可
能である。

【００８９】なお、上述した実施形態では、両端エッジ
の情報から物体の画面内面積を求めて、この画面内面積
に基づいて異常通知を行っている。このような動作は、
物体の大きさを識別する上で、優れた動作である。しか
しながら、この動作に限定されるものではない。例え
ば、マイクロプロセッサ１５が、両端エッジの情報に基
づいて、物体の中心位置を求めてもよい。この場合、マ
イクロプロセッサ１５において、物体の中心位置が画面
内の侵入禁止域内にあるか否かなどが判定可能となる。
したがって、画面内の侵入禁止域に入った侵入者に対し
て、的確に警報を発するなどの動作が実現可能となる。
また例えば、マイクロプロセッサ１５が、両端エッジか
ら物体の寸法を求めてもよい。この場合、マイクロプロ
セッサ１５において、画面内を通過した大人と子供とを
区別して数えるなどの動作が可能となる。

【００９０】

【発明の効果】請求項１または請求項７に記載の発明で
は、微分画像信号から両端エッジを検出する処理が中心
となる。この場合、１行当たりたかだか２点の両端エッ
ジを処理すればよく、画素単位の処理に比べて情報処理
量が格段に少なくなる。したがって、高速かつ簡易な画
像処理が実現し、メモリ必要量や処理時間が大幅に削減
される。その結果、動画像のリアルタイム監視などに特
に好適な画像特徴抽出装置が実現する。

【００９１】請求項２に記載の発明では、両端エッジを
対象に雑音除去を行う。したがって、従来例のような画
素単位の複雑処理が不要となり、メモリ必要量や処理時
間をさらに削減することが可能となる。

【００９２】請求項３に記載の発明では、両端エッジを
対象に膨張および収縮を施すことにより、雑音除去を行
う。したがって、従来例のような画素単位の膨張収縮処
理が不要となり、メモリ必要量や処理時間をさらに削減
することが可能となる。

【００９３】請求項４に記載の発明では、求めた両端エ
ッジの情報を基礎にして、物体の画面内面積、物体の中
心位置、または物体の寸法の少なくとも一つを算出す
る。これらの算出値は、いずれも物体の特徴を示す有効
な情報であり、このような算出値に基づいて、被写界内
の物体の変化などを客観的かつ的確に判別することが可
能となる。

【００９４】請求項５に記載の発明では、特徴演算部の
算出値に基づいて異常状態を的確に判別して通知するこ
とができる。

【００９５】請求項６に記載の微分画像信号生成部で
は、微分画像信号の生成時に、外部の画像メモリが一切
不要となる。したがって、上記した請求項１〜５の発明
の構成と併せることにより、１画面分の画像メモリなど
が一切不要となり、極めて少容量のメモリ容量しか使用
しない画像特徴抽出装置を実現することが可能となる。

【００９６】請求項８〜１０に記載の各システムでは、
エッジの座標情報を処理するので情報処理量が全体的に
少なく、処理を高速化することができる。

【図面の簡単な説明】

【図１】監視検査システム１０の構成を示すブロック図
である。

【図２】固体撮像素子１３の内部構成を示す図である。

【図３】両端エッジの検出動作を説明する流れ図であ
る。

【図４】両端エッジの膨張化処理を説明する流れ図であ
る。

【図５】両端エッジの収縮化処理を説明する流れ図であ
る。

【図６】膨張処理および収縮処理による雑音除去効果を
示す説明図である。

【図７】面積演算と異常判定処理を説明する流れ図であ
る。

【図８】監視検査システム３０の構成を示す図である。

【図９】半導体露光システム４０の構成を示す図であ
る。

【図１０】インターフェースシステム５０の構成を示す
図である。

【図１１】画像特徴抽出装置の従来例を示すブロック図
である。

【符号の説明】

ＰＤ ホトダイオード ＱＴ 電荷転送用のＭＯＳスイッチ ＱＰ 電荷リセット用のＭＯＳスイッチ ＱＨ 水平転送用のＭＯＳスイッチ ＱＶ コンデンサの充電路を形成するためのＭＯＳスイ
ッチ ＣＶ 電荷保持用のコンデンサ ＱＸ 行選択用のＭＯＳスイッチ ＱＲＳＨ リセット用のＭＯＳスイッチ ＱＡ 接合型電界効果トランジスタからなる増幅素子 １ 単位画素 ２ 垂直読み出し線 ３ 垂直シフトレジスタ ５ 差分処理回路 ６ 異値検出回路 ７ 水平読み出し線 ８ 水平シフトレジスタ ９ シフトレジスタ １０，３０ 監視検査システム １１，３１，４４ａ〜ｃ，５１ 画像特徴抽出装置 １２ 撮影レンズ １３ 固体撮像素子 １５ マイクロプロセッサ １６ エッジ座標検出部 １７ 雑音除去部 １８ 面積演算部 １９ 異常信号出力部 ２０ システムメモリ ２１ 警報装置 ３３ 比較処理部 ３４ 参照情報記憶部 ４０ 半導体露光システム ５０ インターフェースシステム

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA03 AA19 CE02 CF02 DA03 DA15 DB02 DC03 DC04 DC06 DC16 5L096 BA02 BA03 DA03 EA02 EA05 FA06 FA59 FA62 FA64 GA02

Claims (10)

【特許請求の範囲】
1. 【請求項１】 被写界を撮像して微分画像信号を生成す
   る微分画像信号生成部と、 前記微分画像信号生成部から出力される微分画像信号を
   行毎に処理し、前記被写界内の左端エッジおよび右端エ
   ッジを検出するエッジ座標検出部と、 前記エッジ座標検出部で行毎に検出された、左端エッジ
   および右端エッジの情報を、被写界内の物体の特徴とし
   て保存するエッジ座標記憶部とを備えたことを特徴とす
   る画像特徴抽出装置。
2. 【請求項２】 請求項１に記載の画像特徴抽出装置にお
   いて、 前記エッジ座標検出部で検出された、左端エッジおよび
   右端エッジに対して雑音成分の除去を行う雑音除去部を
   備えたことを特徴とする画像特徴抽出装置。
3. 【請求項３】 請求項２に記載の画像特徴抽出装置にお
   いて、 前記雑音除去部は、 処理行（雑音除去の対象行）を含んで近接する複数行に
   左端エッジが存在する場合、前記複数行について左端エ
   ッジの最左端を求め、その最左端の更に左側位置を前記
   処理行の左端エッジとする左端膨張処理部と、 前記複数行に右端エッジが存在する場合、前記複数行に
   ついて右端エッジの最右端を求め、その最右端の更に右
   側位置を、前記処理行の右端エッジとする右端膨張処理
   部と、 前記複数行に左端エッジの欠損がある場合は、前記処理
   行の左端エッジを消去し、それ以外の場合は、前記複数
   行について左端エッジの最右端を求め、その最右端の更
   に右側位置を前記処理行の左端エッジとする左端収縮処
   理部と、 前記複数行に右端エッジの欠損がある場合は、前記処理
   行の右端エッジを消去し、それ以外の場合は、前記複数
   行について右端エッジの最左端を求め、その最左端の更
   に左側位置を前記処理行の右端エッジとする右端収縮処
   理部とを含み、 前記雑音除去部は、これらの処理部によって両端エッジ
   に膨張および収縮を施して、雑音除去を行うことを特徴
   とする画像特徴抽出装置。
4. 【請求項４】 請求項１ないし請求項３のいずれか１項
   に記載の画像特徴抽出装置において、 前記エッジ座標記憶部に行毎に保存された物体の右端エ
   ッジと左端エッジとに基づいて、物体の画面内面積、物
   体の中心位置、または物体の寸法の少なくとも一つを算
   出する特徴演算部を備えたことを特徴とする画像特徴抽
   出装置。
5. 【請求項５】 請求項４に記載の画像特徴抽出装置にお
   いて、 前記特徴演算部の算出値が、予め設定された許容の範囲
   にあるか否かを監視し、許容の範囲から外れた場合に異
   常状態を通知する異常信号出力部を備えたことを特徴と
   する画像特徴抽出装置。
6. 【請求項６】 請求項１ないし請求項５のいずれか１項
   に記載の画像特徴抽出装置において、 前記微分画像信号生成部は、被写界を結像する光学系
   と、被写界像を撮像する固体撮像素子とから構成され、 前記固体撮像素子は、 受光面上にマトリックス配列され、入射光に応じた画素
   出力を生成する複数の受光部と、 前記複数の受光部から画素出力を順次に転送する画素出
   力転送部と、 前記画素出力転送部を転送中の画素出力について時間的
   または空間的な差異を求めて微分画像信号を生成する微
   分処理部とを有して構成されることを特徴とする画像特
   徴抽出装置。
7. 【請求項７】 被写界を撮像して、前記被写界内の物体
   エッジを示す微分画像信号を生成し、 前記微分画像信号を行毎に処理して、物体の左端エッジ
   および右端エッジを検出し、 前記左端エッジおよび前記右端エッジの情報を、物体の
   特徴量として保存することを特徴とする画像特徴抽出方
   法。
8. 【請求項８】 被写界を監視して正常／異常を判定する
   監視検査システムであって、 請求項１ないし請求項６のいずれか１項に記載の画像特
   徴抽出装置と、 前記画像特徴抽出装置において抽出される被写界の特徴
   に基づいて、被写界の正常／異常を判定する監視部とを
   備えたことを特徴とする監視検査システム。
9. 【請求項９】 半導体の露光システムであって、 請求項１ないし請求項６のいずれか１項に記載の画像特
   徴抽出装置を用いて半導体のアライメントマークを撮像
   し、抽出される被写界の特徴に基づいて、半導体のアラ
   イメントマークの位置検出を行うアライメント検出部
   と、 前記アライメント検出部により位置検出されたアライメ
   ントマークに応じて前記半導体の位置決めを行う位置制
   御部と、 前記位置制御部により位置決めされた前記半導体に対し
   て露光パターンを投影する露光部とを備えたことを特徴
   とする半導体露光システム。
10. 【請求項１０】 人間の姿勢や動きなどの被写界から得
    られる情報に基づいて、入力信号を生成するインターフ
    ェースシステムであって、 請求項１ないし請求項６のいずれか１項に記載の画像特
    徴抽出装置と、 前記画像特徴抽出装置において検出される被写界の特徴
    に基づいて認識処理を行い、被写界の特徴に応じた入力
    信号を生成する認識処理部とを備えたことを特徴とする
    インターフェースシステム。