JP2004199532A

JP2004199532A - 画像処理装置及び画像処理システム

Info

Publication number: JP2004199532A
Application number: JP2002369162A
Authority: JP
Inventors: Koji Ikeda; 光二池田; Yasutaka Toyoda; 康隆豊田; Masaji Wada; 正司和田; Takako Fujisawa; 貴子藤沢
Original assignee: Hitachi High Technologies Corp; Hitachi High Tech Corp
Current assignee: Hitachi High Tech Corp
Priority date: 2002-12-20
Filing date: 2002-12-20
Publication date: 2004-07-15

Abstract

【課題】画像データの転送方法を工夫することにより、トータルで従来の画像処理装置よりも高速な画像処理を行う画像処理装置を提供する。
【解決手段】少なくとも画像を格納するメモリと、前記画像の部分領域ごとに画像処理を行うことができる複数のプログラマブルな第一のプロセッサと、前記画像を該メモリから読み出し、演算器の物理的な並びによるパイプライン処理によって特定の画像処理を行う第二のプロセッサをもたせた画像処理装置とする。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、高速に画像処理を行う画像処理装置及びそれを用いた画像処理システムに関するものである。
【０００２】
【従来の技術】
イメージセンサ装置によって画像を取り込み、取り込んだ画像を処理する画像処理装置としては、ＯＡシステム，半導体製造装置，半導体検査装置，医療システムなどが知られている。画像の高速処理を行う画像処理装置として、複数のスレーブプロセッサと、画像を分割し、処理単位ごとに分割した画像データをスレーブプロセッサに転送するマスタプロセッサと、マスタプロセッサとスレーブプロセッサを接続するバスと、マスタプロセッサが１つのスレーブプロセッサに分割された画像データを転送するとともに、他のスレーブプロセッサが画像処理を行うためにバスと分離するバス分離手段を有した画像処理装置が従来から知られている。本構成の画像処理装置は、任意の画像処理をほぼスレーブプロセッサの台数分高速化することができる（例えば引用特許文献１参照）。
【０００３】
【特許文献１】
特開平１１−３２８３８３号公報
【０００４】
【発明が解決しようとする課題】
従来の画像処理装置は、並列に画像処理を行うためには画像データをスレーブプロセッサに転送する必要があるため、演算の単純な画像処理においても、少なくとも画像データを転送する時間が必要になる。
【０００５】
本発明の課題は、演算の単純な画像処理も含めて、高速なトータルの画像処理を実施できる画像処理装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、少なくとも画像を格納するメモリと、該画像の部分領域ごとに画像処理を行うことができる複数のプログラマブルな第一のプロセッサと、該画像を該メモリから読み出し、演算器の物理的な並びによるパイプライン処理によって特定の画像処理を行う第二のプロセッサをもたせる。
【０００７】
【発明の実施の形態】
以下、本発明の一実施例について図１から図４を用いて説明する。
【０００８】
図１は、画像処理システムの一例であるイメージセンサとして走査型電子顕微鏡をもつ半導体検査装置の模式図である。図１において、１００は画像処理装置、１０１は走査型電子顕微鏡、１０２はホストコンピュータである。走査型電子顕微鏡１０１で得られた画像は、信号線１０３を経由して画像処理装置１００に入力される。画像処理装置１００は、ホストコンピュータ１０２から信号線104を経由して信号を受信し、あらかじめ指定された半導体検査に必要な画像処理を、走査型電子顕微鏡１０１から入力された画像を用いて実行する。処理された画像は必要に応じて信号線１０５を経由してホストコンピュータ１０２に送信され、ホストコンピュータ１０２のディスプレイに表示される。
【０００９】
なお図１の画像処理システムにおいて、走査型電子顕微鏡の代わりにＣＣＤセンサをもつ光学顕微鏡を用いた構成や、走査型電子顕微鏡とＣＣＤセンサをもつ光学顕微鏡の両者を有し、それらの信号を選択して画像処理装置に入力する構成なども考えられる。
【００１０】
画像処理装置１００の一例を図２に示す。図２において、２００は全体処理の制御等を行うマスタプロセッサ、２０１はマスタプロセッサ２００が実行するプログラム及び画像を格納するメモリ、２０２，２０３は分割された画像データ等の画像処理を行うスレーブプロセッサ、２０４は線形フィルタ，画像間算術演算，正規化相関演算のための要素項を求めるための複数個の演算器を並列に設け、演算器の数よりも少ないクロック数で処理を行うパイプライン型画像処理プロセッサ、２０５はマスタプロセッサ２００，メモリ２０１，スレーブプロセッサ２０２，２０３，パイプライン型画像処理プロセッサ２０４を接続するローカルバス、２０６は画像データを外部と送受信する画像インタフェース回路、２０７は制御情報や処理結果を外部と送受信する上位インタフェース回路である。画像インターフェース回路２０６は、走査型電子顕微鏡１０１の出力をデジタル化してメモリ２０１に格納する働きも行う。
【００１１】
なお、ローカルバス２０５は図２ではシングルバスで表しているが、クロスバースイッチを用いても良い。
【００１２】
スレーブプロセッサ２０２，２０３の構成例を図３に示す。図３において、
３０２は汎用マイコン、３０１はローカルメモリ、３０３はバススイッチである。なお、汎用マイコン３０２の代わりにデジタルシグナルプロセッサ（ＤＳＰ）やメディアプロセッサでもよい。
【００１３】
パイプライン型画像処理プロセッサ２０４の構成例を図４に示す。パイプライン型画像処理プロセッサ２０４は、演算回路４００と、外部メモリからバーストアクセスにより画像データを入出力すると共にクロックに同期して画像データを演算回路４００に入出力するバスインタフェース回路４０１と、バス権を制御するためのバス権制御回路４０２を有している。
【００１４】
更に、演算回路４００は、第一の入力信号線４１０１，第二の入力信号線4102，第一の入力信号線４１０１の信号を入力するラインメモリ４００１，ラインメモリ出力レジスタファイル４００２，定数レジスタファイル４００３，ラインメモリ出力レジスタファイル４００２と定数レジスタファイル４００３の内積を計算する積和演算器４００４，第一の入力信号線４１０１の信号と第二の入力信号線４１０２の信号を加算する加算器４００５，第一の入力信号線４１０１の信号と第二の入力信号線４１０２の信号を減算する減算器４００６，ラインメモリ出力レジスタファイル４００２の各レジスタの出力を個別に加算累積する加算累積レジスタファイル４００７，ラインメモリ出力レジスタファイル４００２の各レジスタの出力を個別に二乗加算累積する二乗加算累積レジスタファイル４００８，ラインメモリ出力レジスタファイル４００２の各レジスタの出力と第二入力信号線４１０２の信号を個別に掛け合わせて加算累積する相互積和レジスタファイル４００９，実行する演算種を選択する演算選択レジスタ４０１０，演算選択レジスタ４０１０により演算結果を選択するセレクタ４０１１を有している。
【００１５】
本実施例では、パイプライン型画像処理プロセッサで実行できる画像処理として、線形フィルタ，画像間算術演算，正規化相関演算のための要素項をあげたが、実現したい応用プログラムやプロセッサのサイズ等に応じて変更しても良い。例えば、整数演算はパイプライン型画像処理プロセッサで行い、浮動小数点演算はプログラマブルなマルチプロセッサで行う、という機能分担でも良い。また、演算時間と画像転送時間を比較して、プログラマブルなマルチプロセッサでは画像転送時間が支配的になる画像処理に対してはパイプライン型画像処理プロセッサで実現するようにしても良い。
【００１６】
パイプライン型画像処理プロセッサ２０４をフィールドプログラマブルゲートアレイ（ＦＰＧＡ）で実現する場合、実現する演算を応用等に応じて静的あるいは動的に変更しても良い。
【００１７】
図２の画像処理装置において線形フィルタを実施する場合、マスタプロセッサ２００は線形フィルタの演算コード，積和演算させる定数値系列，入力画像の領域，出力画像の領域などをパイプライン型画像処理プロセッサ２０４に設定し、パイプライン型画像処理プロセッサ２０４を起動する。パイプライン型画像処理プロセッサ２０４はバス権制御回路４０２を用いてバス権を取得し、入力画像をメモリ２０１からバーストアクセスして線形フィルタ処理を行いながら、線形フィルタ処理した画像を出力画像領域にバーストアクセスする。一連の処理を終了すると、バス権制御回路４０２により、バス権をマスタプロセッサに返還する。
【００１８】
画像間加算を実施する場合、マスタプロセッサ２００は画像間加算の演算コード，入力画像１及び入力画像２の領域，出力画像の領域などをパイプライン型画像処理プロセッサ２０４に設定し、パイプライン型画像処理プロセッサ２０４を起動する。パイプライン型画像処理プロセッサ２０４はバス権制御回路４０２を用いてバス権を取得し、入力画像１及び入力画像２をメモリ２０１からバーストアクセスして画像間加算処理を行いながら、画像間加算処理した画像を出力画像領域にバーストアクセスする。一連の処理を終了すると、バス権制御回路４０２により、バス権をマスタプロセッサ２００に返還する。
【００１９】
図２から図４に示した画像処理装置を用いて、正規化相関を用いたテンプレートマッチングを行う場合を説明する。正規化相関は、２つの画像Ａ，Ｂの類似度を表す尺度として用いられるもので、画像Ａの画素値の総和及び二乗和をそれぞれＳＵＭＡ及びＳＱＳＵＭＡ，画像Ｂの画素値の総和及び二乗和をそれぞれSUMB及びＳＱＳＵＭＢ，画像Ａと画像Ｂの対応する画素値の積和をＣＲＳＵＭと表したとき、下記の式１で表される−１から１までの値Ｒである。
【００２０】
【数１】

【００２１】
テンプレートマッチングとは、テンプレートと呼ぶ画像Ｃとテンプレートより大きい画像Ｄに対して、画像Ｃに類似した領域を画像Ｄから検出することである。ここでは、類似度として画像の線形変動にロバストな正規化相関を用いる。
【００２２】
テンプレートマッチングを実行するとき、まず、画像Ｄにおける画像Ｃと同一サイズの各領域に対して類似度を求め、次に、その中から類似度の高い領域の情報を選択する。ここで、処理時間の掛かる画像Ｄにおける画像Ｃと同一サイズの各領域に対して類似度を求める処理の実施について説明する。
【００２３】
画像Ｃの画素値の総和及び二乗和を求めるため、マスタプロセッサ２００は、正規化相関の演算コード，画像Ｃの領域などをパイプライン型画像処理プロセッサ２０４に設定し、パイプライン型画像処理プロセッサ２０４を起動する。パイプライン型画像処理プロセッサ２０４はバス権制御回路４０２を用いてバス権を取得し、画像Ｃをメモリ２０１からバーストアクセスして総和及び二乗和処理を行う。一連の処理を終了すると、バス権制御回路４０２により、バス権をマスタプロセッサ２００に返還するので、マスタプロセッサ２００からパイプライン型画像処理プロセッサ２０４の加算累積レジスタファイル４００７及び二乗加算累積レジスタファイル４００８をリードして、画像Ｃの画素値の総和及び二乗和を得る。
【００２４】
次に、マスタプロセッサ２００は、正規化相関の演算コード，画像Ｄの始点から画像Ｃより縦横各２画素ずつ大きい領域，画像Ｃを縦横各２画素拡大した領域などをパイプライン型画像処理プロセッサ２０４に設定し、パイプライン型画像処理プロセッサ２０４を起動する。パイプライン型画像処理プロセッサ２０４はバス権制御回路４０２を用いてバス権を取得し、画像Ｄの部分画像及び画像Ｃの拡張画像をメモリ２０１からバーストアクセスして、画像Ｄの部分画像における画像Ｃと同一サイズの９箇所の総和及び二乗和処理と、上記９箇所の領域と画像Ｃとの９個の内積を求める処理を行う。一連の処理を終了すると、バス権制御回路４０２により、バス権をマスタプロセッサに返還する。
【００２５】
続いて、マスタプロセッサ２００は、画像Ｃの画素値の総和及び二乗和をスレーブプロセッサ２０２，２０３に送出すると共に、パイプライン型画像処理プロセッサ２０４の加算累積レジスタファイル４００７，二乗加算累積レジスタファイル４００８及び相互積和レジスタファイル４００９のデータをスレーブプロセッサ２０２，２０３に転送し、スレーブプロセッサ２０２，２０３で並列に正規化相関計算を実行させる。
【００２６】
スレーブプロセッサ２０２，２０３で正規化相関計算を実行している間、マスタプロセッサ２００は、次の画像Ｄの領域に対する正規化相関の要素項演算を行うため、正規化相関の演算コード，画像Ｄの始点から３画素ずれた位置から画像Ｃより縦横各２画素ずつ大きい領域，画像Ｃを縦横各２画素拡大した領域などをパイプライン型画像処理プロセッサ２０４に設定し、パイプライン型画像処理プロセッサ２０４を起動する。パイプライン型画像処理プロセッサ２０４はバス権制御回路４０２を用いてバス権を取得し、画像Ｄの部分画像及び画像Ｃの拡張画像をメモリ２０１からバーストアクセスして、画像Ｄの部分画像における画像Ｃと同一サイズの９箇所の総和及び二乗和処理と、上記９箇所の領域と画像Ｃとの９個の内積を求める処理を行う。一連の処理を終了すると、バス権制御回路402により、バス権をマスタプロセッサに返還する。
【００２７】
この後、スレーブプロセッサ２０２，２０３で正規化相関計算を、パイプライン型画像処理プロセッサ２０４で正規化相関の要素項計算を順次行い、また、計算された正規化相関を適当なタイミングでマスタプロセッサ２００に転送することにより、画像Ｄのすべての領域における正規化相関結果を取得する。
【００２８】
上記テンプレートマッチングにおいて、正規化相関の要素項をスレーブプロセッサ２０２，２０３に転送するとき、マスタプロセッサ２００のプログラム転送で実現しても良いし、マスタプロセッサ２００がＤＭＡＣ（ダイレクトメモリアクセスコントローラ）をもっていればＤＭＡ転送を行っても良い。また、ローカルバス２０５上にＤＭＡＣがあれば、そのＤＭＡＣを用いてＤＭＡ転送を行っても良い。
【００２９】
上述の例では、正規化相関計算をスレーブプロセッサ２０２，２０３で行ったが、マスタプロセッサ２００で行っても良い。その場合、マスタプロセッサ200はパイプライン型画像処理プロセッサ２０４の正規化相関の要素項をリードした後、マスタプロセッサ２００において正規化相関計算を行い、正規化相関計算終了後、次の正規化相関の要素項計算をパイプライン型画像処理プロセッサ２０４に実行させる。
【００３０】
上記システムにパイプライン型画像処理プロセッサ２０４を用いるモードと用いないモードを設定してもよい。このためには、パイプライン型画像処理プロセッサ２０４で実行可能な画像処理をスレーブプロセッサ２０２，２０３で実行するプログラムをあらかじめ作成しておき、上記モードに応じて、パイプライン型画像処理プロセッサ２０４を用いるプログラムを実行するかスレーブプロセッサ２０２，２０３で実行するプログラムを実行するかを選択する。
【００３１】
本発明の他の実施例を図５を用いて説明する。図５は図２に示した画像処理装置構成の代案である。図２が分散メモリ型のマルチプロセッサであるのに対して、図５は共有メモリ型のマルチプロセッサである。
【００３２】
図５において、５００，５０２，５０３はプログラマブルな汎用プロセッサ、５０１は汎用プロセッサ５００，５０２，５０３が実行するプログラム及び画像を格納するメモリ、５０４は線形フィルタ，画像間算術演算，正規化相関演算のための要素項を求めるための演算器の物理的な並びをもつパイプライン型画像処理プロセッサ、５０５は汎用プロセッサ５００，５０２，５０３，メモリ５０１，パイプライン型画像処理プロセッサ５０４を接続するローカルバス、５０６は画像データを外部と送受信する画像インタフェース回路、５０７は制御情報や処理結果を外部と送受信する上位インタフェース回路である。
【００３３】
汎用プロセッサ５００，５０２，５０３は汎用マイコン、ＤＳＰまたはメディアプロセッサで実現されており、図示しないバス調停器及びバス調停信号線によって、バスアクセスが競合しないように制御されている。
【００３４】
メモリ５０１，パイプライン型画像処理プロセッサ５０４，ローカルバス505，画像インタフェース回路５０６，上位インタフェース回路５０７は、それぞれ図２で示したメモリ２０１，パイプライン型画像処理プロセッサ２０４，ローカルバス２０５，画像インタフェース回路２０６，上位インタフェース回路２０７と同じものとする。
【００３５】
図５の画像処理装置を用いたときの画像処理について説明する。線形フィルタを実施する場合、汎用プロセッサ５００は線形フィルタの演算コード，積和演算させる定数値系列，入力画像の領域，出力画像の領域などをパイプライン型画像処理プロセッサ５０４に設定し、パイプライン型画像処理プロセッサ５０４を起動する。パイプライン型画像処理プロセッサ５０４はバス権制御回路４０２を用いて図示しないバス調停器にアクセスしてバス権を取得し、入力画像をメモリ５０１からバーストアクセスして線形フィルタ処理を行いながら、線形フィルタ処理した画像を出力画像領域にバーストアクセスする。一連の処理を終了すると、バス権制御回路４０２により、バス権をバス調停器に返還する。
【００３６】
次に、正規化相関を用いたテンプレートマッチングを行う場合の、画像Ｄにおける画像Ｃと同一サイズの各領域に対して類似度を求める処理について説明する。
【００３７】
画像Ｃの画素値の総和及び二乗和を求めるため、汎用プロセッサ５００は正規化相関の演算コード，画像Ｃの領域などをパイプライン型画像処理プロセッサ５０４に設定し、パイプライン型画像処理プロセッサ５０４を起動する。パイプライン型画像処理プロセッサ５０４はバス権制御回路４０２を用いてバス権を取得し、画像Ｃをメモリ５０１からバーストアクセスして総和及び二乗和処理を行う。一連の処理を終了すると、バス権制御回路４０２により、バス権をバス調停器に返還するので、汎用プロセッサ５００からパイプライン型画像処理プロセッサ５０４の加算累積レジスタファイル及び二乗加算累積レジスタファイルをリードして、画像Ｃの画素値の総和及び二乗和を得る。
【００３８】
次に、汎用プロセッサ５００は、正規化相関の演算コード，画像Ｄの始点から画像Ｃより縦横各２画素ずつ大きい領域，画像Ｃを縦横各２画素拡大した領域などをパイプライン型画像処理プロセッサ５０４に設定し、パイプライン型画像処理プロセッサ５０４を起動する。パイプライン型画像処理プロセッサ５０４はバス権制御回路４０２を用いてバス権を取得し、画像Ｄの部分画像及び画像Ｃの拡張画像をメモリ５０１からバーストアクセスして、画像Ｄの部分画像における画像Ｃと同一サイズの９箇所の総和及び二乗和処理と、上記９箇所の領域と画像Ｃとの９個の内積を求める処理を行う。一連の処理を終了すると、バス権制御回路４０２により、バス権をバス調停器に返還する。
【００３９】
続いて、汎用プロセッサ５００は、画像Ｃの画素値の総和及び二乗和を汎用プロセッサ５０２，５０３に送出すると共に、パイプライン型画像処理プロセッサ５０４の加算累積レジスタファイル，二乗加算累積レジスタファイル及び相互積和レジスタファイルのデータをメモリ５０１に転送し、汎用プロセッサ５００，５０２，５０３で並列に正規化相関計算を実行させる。
【００４０】
正規化相関計算を終えた後、汎用プロセッサ５００は、次の画像Ｄの領域に対する正規化相関の要素項演算を行い、以降、画像Ｄのすべての領域における正規化相関結果を取得するまで、同様の処理を繰り返す。
【００４１】
本発明の欠陥検査を行う実施例を図１及び図２を用いて説明する。ここで挙げる欠陥検査は、参照画像と検査画像を取得し、それぞれ平滑化した後、位置合わせを行い、画像間の差分を計算して、欠陥の有無を判定するものである。
【００４２】
まず、試料から参照画像を取得するため、試料台を移動するなどして対象領域の画像を取得する。このとき、電子顕微鏡１０１の図示しないものも含めた３種類の検出器から別々に得られた画像を式２で表す線形演算して参照画像を取得するものとする。
【００４３】
【数２】
画像１×ａ＋画像２×ｂ＋画像３×ｃ（ａ，ｂ，ｃは実数） …式２
電子顕微鏡１０１の検出器からの信号を画像処理装置１００に入力する。画像処理装置１００の構成は図２のようになっており、画像インタフェース２０６を経由してメモリ２０１に画像１，画像２及び画像３として格納する。
【００４４】
次に、画像１，画像２及び画像３の領域をそれぞれ上下に２分割した分割画像，画像１上，画像１下，画像２上，画像２下，画像３上，画像３下を考え、まず、マスタプロセッサ２００が画像１上の第一ライン，画像２上の第一ライン、及び、画像３上の第一ラインの画像をメモリ２０１からスレーブプロセッサ２０２に順に転送し、スレーブプロセッサ２０２が１ライン分の式２の線形演算を行う。
【００４５】
スレーブプロセッサ２０２が線形演算をしている間、マスタプロセッサ２００は画像１下の第一ライン，画像２下の第一ライン、及び、画像３下の第一ラインの画像をメモリ２０１からスレーブプロセッサ２０３に順に転送し、スレーブプロセッサ２０３が１ライン分の式２の線形演算を行う。
【００４６】
マスタプロセッサ２００はスレーブプロセッサ２０２の演算が終了していれば、演算結果の画像をスレーブプロセッサ２０２からメモリ２０１の出力画像上の第一ラインの領域に転送し、続いて、画像１上の第二ライン，画像２上の第二ライン、及び、画像３上の第二ラインの画像をメモリ２０１からスレーブプロセッサ２０２に順に転送し、スレーブプロセッサ２０２が１ライン分の式２の線形演算を行う。
【００４７】
スレーブプロセッサ２０２が線形演算をしている間、マスタプロセッサ２００はスレーブプロセッサ２０３の演算が終了していれば、演算結果の画像をスレーブプロセッサ２０３からメモリ２０１の出力画像下の第一ラインの領域に転送し、続いて、画像１下の第二ライン，画像２下の第二ライン、及び、画像３下の第二ラインの画像をメモリ２０１からスレーブプロセッサ２０３に順に転送し、スレーブプロセッサ２０３が１ライン分の式２の線形演算を行う。
【００４８】
以降同様の処理を繰返し、全ラインの線形演算処理を終了する。
【００４９】
上記の処理で取得された参照画像に対して、次にパイプライン型画像処理プロセッサ２０４の線形フィルタ演算器を用いてガウスフィルタを実施し、参照画像の高周波ノイズを低減した画像をメモリ２０１に格納しておく。
【００５０】
続いて、電子顕微鏡１０１の試料台を移動し、参照画像と同様の要領で検査画像を取得した後、参照画像同様、パイプライン型画像処理プロセッサ２０４の線形フィルタ演算器を用いてガウスフィルタを実施し、検査画像の高周波ノイズを低減した画像をメモリ２０１に格納しておく。
【００５１】
次に、参照画像と検査画像の位置合わせを行うため、高周波ノイズを低減した参照画像中央部の画像をテンプレートとし、高周波ノイズを低減した検査画像を対象に、前述のテンプレートマッチングを実施する。
【００５２】
最後に、テンプレートマッチングで得られた座標に基づいて位置合わせを行った高周波ノイズを低減した参照画像と高周波ノイズを低減した検査画像を入力とし、前述の画像間算術演算を実施する事により、参照画像と検査画像の差分画像を取得し、欠陥の有無を判定する。
【００５３】
本発明の他の実施例を図６を用いて説明する。図６は本発明を適用した半導体製造装置である電子線描画装置の例である。６００は画像処理装置、６０１は電子線描画機、６０２はコントローラである。電子線描画機６０１で得られた画像は信号線６０３を経由して画像処理装置６００に入力される。画像処理装置100では、コントローラ６０２から信号線６０４を経由して制御信号を受信し、あらかじめ指定された位置合わせ処理などの画像処理を、電子線描画機６０１から入力された画像を用いて実行する。コントローラ６０２は処理結果に応じて信号線６０５を経由して電子線描画機６０１を制御する。画像処理装置６００の構成は、図２もしくは図５に示したものを用いることとする。
【００５４】
なお、本実施例においても、電子線描画機６０１の他にＣＣＤセンサをもつ光学顕微鏡をもち、電子線描画機とＣＣＤセンサの信号を選択して画像処理装置に入力する構成も考えられる。
【００５５】
本発明の他の実施例を図７を用いて説明する。図７は本発明を適用したＯＡシステムであるＯＡ複合機の例である。７００は画像処理装置、７０１はラインＣＣＤセンサ、７０２はコントローラ、７０６は印刷機、７０７はモデムである。ラインＣＣＤセンサ７０１で得られた画像は、信号線７０３を経由して画像処理装置７００に入力される。画像処理装置７００は、コントローラ７０２から信号線７０４を経由してあらかじめ指定された画像の拡大縮小や二値化などの画像処理を、ラインＣＣＤセンサ７０１から入力された画像を用いて実行する。処理された画像は必要に応じて信号線７０８を経由して印刷機７０６に出力されたり、信号線７０９を経由してモデム７０７により外部に接続された図示しない機器にＦＡＸ送信される。画像処理装置７００の構成は、図２もしくは図５に示したものを用いることとする。
【００５６】
本発明の他の実施例を図８を用いて説明する。図８は本発明を適用した医療システムであるＸ線ＣＴスキャナの例である。図８において、８００は画像処理装置、８０１はＸ線センサ、８０２はホストコンピュータである。Ｘ線センサ801で得られた画像は信号線８０３を経由して画像処理装置８００に入力される。画像処理装置８００は、ホストコンピュータ８０２から信号線８０４を経由して信号を受信し、あらかじめ指定されたノイズ除去などの画像処理を、Ｘ線センサ８０１から入力された画像を用いて実行する。処理された画像は必要に応じて信号線８０５を経由してホストコンピュータ８０２のディスプレイに表示される。画像処理装置８００の構成は、図２もしくは図５に示したものを用いることとする。
【００５７】
本発明の他の実施例を図９を用いて説明する。図９は本発明を適用した医療システムであるＭＲＩ（磁気共鳴画像装置）の例である。図９において、９００は画像処理装置、９０１は磁気センサ、９０２はホストコンピュータである。磁気センサ９０１で得られた画像は信号線９０３を経由して画像処理装置９００に入力される。画像処理装置９００は、ホストコンピュータ９０２から信号線９０４を経由して信号を受信し、あらかじめ指定された周波数変換などの画像処理を、磁気センサ９０１から入力された画像を用いて実行する。処理された画像は必要に応じて信号線９０５を経由してホストコンピュータ９０２のディスプレイに表示される。画像処理装置９００の構成は、図２もしくは図５に示したものを用いることとする。
【００５８】
本発明により、線形フィルタや画像間算術演算など頻繁に用いられ、且つ、ハードウェアによる実現が容易な処理は、バスクロック当たりほぼ１画素の計算時間で求めることができ、一方、浮動小数点演算などハードウェアによる実現が容易でない処理は、プログラマブルな汎用プロセッサのマルチプロセッサにより、シングルプロセッサで実現する場合のほぼプロセッサ台数倍高速化することができる。これにより、トータルで高速な画像処理を実現することができる。
【００５９】
【発明の効果】
本発明によれば、演算の種類によらず、高速な画像処理を行う画像処理装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施例の画像処理システムを示す模式図である。
【図２】本発明の一実施例の画像処理装置を示すブロック図である。
【図３】スレーブプロセッサのブロック図である。
【図４】パイプライン型画像処理プロセッサのブロック図である。
【図５】本発明の他の実施例の画像処理装置を示すブロック図である。
【図６】本発明の他の実施例の画像処理システムを示す模式図である。
【図７】本発明の他の実施例の画像処理システムを示す模式図である。
【図８】本発明の他の実施例の画像処理システムを示す模式図である。
【図９】本発明の他の実施例の画像処理システムを示す模式図である。
【符号の説明】
１００…画像処理装置、１０１…走査型電子顕微鏡、１０２…ホストコンピュータ、２００…マスタプロセッサ、２０１…メモリ、２０２，２０３…スレーブプロセッサ、２０４…パイプライン型画像処理プロセッサ。

Claims

画像を格納するメモリと、前記画像の部分領域ごとに画像処理を行う複数のプログラマブルな第一のプロセッサを有する画像処理装置において、
前記画像を前記メモリから読み出し、複数個の演算器を配置し、前記演算器の数よりも少ない数のクロック数で処理するパイプライン処理によって画像処理を行う第二のプロセッサを設けたことを特徴とする画像処理装置。
複数のプログラマブルな第一のプロセッサは、複数のプログラマブルなスレーブプロセッサと、画像を分割し、処理単位ごとに前記スレーブプロセッサに前記分割した画像データを転送するマスタプロセッサを有することを特徴とする請求項１記載の画像処理装置。
第二のプロセッサは、線形フィルタ処理を行うための演算器を有することを特徴とする請求項１記載の画像処理装置。
第二のプロセッサは、画像間算術演算を行うための演算器を有することを特徴とする請求項１記載の画像処理装置。
第二のプロセッサは、前記メモリに格納された第一の画像の連続する複数画像領域の画素値の総和及び二乗和と、前記連続する複数画像領域に対応する前記メモリに格納された第二の画像の連続する複数画像領域との内積とを計算するための演算器を有することを特徴とする請求項１記載の画像処理装置。
第二のプロセッサは、前記メモリをバーストアクセスすると共に、前記演算器に対して連続して画素値を送出するインタフェースを有することを特徴とする請求項１記載の画像処理装置。
浮動小数点演算に関しては、前記第一のプロセッサで実施することを特徴とする請求項１記載の画像処理装置。
画像を格納するメモリと、前記画像の部分領域ごとに画像処理を行う複数のプログラマブルな第一のプロセッサと、前記画像を前記メモリから読み出し、複数個の演算器を配置し、前記演算器の数よりも少ない数のクロック数で処理するパイプライン処理によって画像処理を行う第二のプロセッサを有する画像処理装置と、
画像を取り込むイメージセンサ装置と、
前記イメージセンサ装置の出力をデジタル化して前記メモリに格納する手段と、
前記画像処理装置で処理された画像を表示する表示装置を備えたことを特徴とする画像処理システム。
前記イメージセンサ装置は、ＣＣＤもしくはＣＭＯＳセンサを有することを特徴とする請求項８記載の画像処理システム。
前記イメージセンサ装置は、荷電粒子の検出器を有することを特徴とする請求項８記載の画像処理システム。
前記イメージセンサ装置は、磁気センサを有することを特徴とする請求項８記載の画像処理システム。
画像を格納するメモリと、前記画像の部分領域ごとに画像処理を行う複数のプログラマブルな第一のプロセッサと、前記画像を前記メモリから読み出し、複数個の演算器を配置し、前記演算器の数よりも少ない数のクロック数で処理するパイプライン処理によって画像処理を行う第二のプロセッサを有する画像処理装置と、
画像を取り込むイメージセンサ装置と、
前記イメージセンサ装置の出力をデジタル化して前記メモリに格納する手段と、
前記イメージセンサ装置と前記画像処理装置を制御する制御装置を備えたことを特徴とする画像処理システム。
前記イメージセンサ装置は、ＣＣＤもしくはＣＭＯＳセンサを有することを特徴とする請求項１２記載の画像処理システム。
前記イメージセンサ装置は、荷電粒子の検出器を有することを特徴とする請求項１２記載の画像処理システム。
前記イメージセンサ装置は、磁気センサを有することを特徴とする請求項１２記載の画像処理システム。