JP2005301858A - 画像処理装置および電子ビーム装置 - Google Patents

Abstract

【課題】同一構成でありながら並列方式およびパイプライン方式を適宜切り替えて処理させることができ、要求する処理性能、画像処理アルゴリズムに柔軟に対応できる画像処理装置を提供すること。
【解決手段】複数のノードブロックの画像処理装置にあって、複数のノードブロックのうちのひとつのノードブロックは、画像データ処理部と、画像データの送受を行うノード部と、このノード部と前記画像データ処理部とを接続する共有バスとを有すること。
【選択図】図１

Description

本発明は、画像データを処理する画像処理装置および、電子ビーム装置に関する。

電子ビーム装置等で行われる画像処理の分野では、リアルタイムな表現のために、大容量の画像データを高速に処理することが求められている。画像処理装置の高速化手法としては、一般的に、並列方式とパイプライン方式がある。

並列方式での大容量の画像データの高速な処理に関する技術としては、例えば、特許文献１に記載されている画像処理装置がある。この画像処理装置は、マスタプロセッサと、画像データを記憶したグローバルメモリがバスに接続され、更にこのバスにはバススイッチを介して複数のスレーブプロセッサが接続されている。マスタプロセッサはグローバルメモリに格納されている画像データを分割し、１つのスレーブプロセッサをバスに接続して分割した画像データを転送する構成である。

また、複数プロセッサによるパイプライン方式としては、例えば、特許文献２に記載されている画像処理装置がある。この画像処理装置では、Ｎ個のプロセッサを単方向のリング状バスで接続し、各プロセッサ間でデータの転送を可能とし、リングに沿った順序で各プロセッサに接続されたローカルメモリに対し、連続する時系列画像を順次入力させるように制御する画像入力制御を設けた構成である。

特開平１１−３２８３８３号公報

特開平１０−１６２１２９号公報

しかしながら、特許文献１に記載されている技術では、分割した画像データをマスタプロセッサが分配、収集する必要があり、マスタプロセッサの処理能力に依存してしまう。そのため、スループットが要求されるような、時系列に連続して入力してくる画像に対する画像処理については、考慮されていない。

また、特許文献２に記載されている技術では、単方向のリングバスを使用するため、一つ前のプロセッサに直接、画像を転送することが困難である。そのため、応答時間が要求されるような単一画像に対する処理については、考慮されていない。

本発明は、上記問題点に鑑み、同一の回路構成でありながら並列方式およびパイプライン方式を適宜切り替えて処理させることができ、要求する処理性能、画像処理アルゴリズムに柔軟に対応できる画像処理装置を提供することである。

本発明は、複数のノードブロックを有する画像処理装置において、前記複数のノードブロックのうちのひとつのノードブロックは、画像データ処理部と、画像データの送受を行うノード部と、このノード部と前記画像データ処理部とを接続する共有バスとを有し、前記画像データ処理部は、前記画像データの入出力をノードブロックの外部と行う入出力回路と、前記画像データに対して必要な処理を行うプロセッサと、該処理を実行させる画像処理プログラムや前記画像データが書き込まれるローカルメモリ等とを有し、前記ノード部は、少なくとも一つのシャドウライトメモリと、複数のシャドウメモリと、前記シャドウライトメモリの書き込み端側に接続される書込み監視回路と、この書込み監視回路の出力端側に接続される送信回路と、前記複数のシャドウメモリの書き込み端側に各々接続される複数の書込み回路と、この書込み回路の入力端側に各々接続される複数の受信回路とを有し、前記シャドウライトメモリおよび前記シャドウメモリの読み出し端側を前記共有バスに接続し、かつシャドウライトメモリの書き込み端側を前記共有バスに接続し、前記送信回路の出力端側を前記複数のノードブロックのうちの他のノードブロックに備わる複数の受信回路の入力端側に接続したことを特徴とする。

本発明によれば、同一の回路構成でありながら並列方式およびパイプライン方式を適宜切り替えて処理させることができ、要求する処理性能、画像処理アルゴリズムに柔軟に対応できる。

以下、本発明の実施例について図面に従って説明する。

図１は、ノードブロック内の構成を示したものである。このノードブロックが複数組み合わされて画像処理装置が構成される。

ノードブロックは、画像データ処理部（Ａ）と、画像データの送受信を行うノード部（Ｂ）と、このノード部（Ｂ）と前記画像データ処理部（Ａ）とを接続する共有バス１００を有する。

画像データ処理部（Ａ）は、入出力回路であるＩ／Ｏ１０１、ＤＭＡ１０２、ＣＰＵ１０３、演算アクセラレータ１０４、ローカルメモリ１０５を有し、共有バス１００に接続される。ローカルメモリ１０５に画像処理プログラムや前記画像データが書き込まれる。

このノード部（Ｂ）は、読み出しポート、および書き込みポートをそれぞれ持つシャドウライトメモリ１０６ａとシャドウメモリ１０６ｂ〜ｅを有する。

またノード部（Ｂ）は、シャドウライトメモリ１０６ａの書き込み端側に接続される書込み監視回路１０７と、書込み監視回路１０７の出力端側に接続される送信回路１０９を有する。

さらにノード部（Ｂ）は、シャドウメモリ１０６ｂ〜ｅの書き込み端側に接続される書込み回路１０８ａ〜ｄと、書込み回路１０８ａ〜ｄの入力端側に接続される受信回路１１０ａ〜ｄを有する。そして、シャドウライトメモリ１０６ａおよびシャドウメモリ１０６ｂ〜ｅの読み出し端側を共有バス１００に接続し、かつシャドウライトメモリ１０６ａの書き込み端側も共有バス１００に接続する。送信回路１０９の出力端側は他のノードブロックに備わる受信回路１１０ａ〜ｄの入力端側に接続する。

送信回路１０９の出力端側の符号１１１ａと、受信回路１１０ａ〜ｄの入力端側の符号１１１ｂ〜ｅは伝送路である。

シャドウライトメモリ１０６ａの書き込み端側にＣＰＵ１０３またはＤＭＡ１０２による書き込みがあった場合、そのアドレスと画像データを送信回路１０９を介してブロードキャストする。この画像データの放出に際し、送信回路１０９は、パラレル−シリアル変換を行い送信する。

シャドウメモリ１０６ｂ〜ｅの書き込み端側は、それぞれ、書込み回路１０８ａ〜ｄが接続され、受信回路１１０ａ〜ｄで受けたアドレスに従い、データをシャドウメモリに書き込む。伝送路に流れて受信回路に受信されるシリアルの信号は、受信回路１１０ａ〜ｄでパラレルに変えられ書き込み回路１０８ａ〜ｄに送られる。

図２は、本発明の画像処理装置のノードブロック２００ａ〜２００ｅ間の接続を示した全体構成図である。本実施例では、５個のノードブロックの場合について説明しているが、２個以上のノードブロックで構成されていれば良い。ノードブロック２００ａがマスタノード、残りのノードブロック２００ｂ〜ｅがスレードノードになる。

図３は、図２のマスタノード０（ノードブロック２００ａ）とスレーブノード１（２００ｂ）のメモリマップである。ローカルメモリ１０５のアドレスは、各ノードブロックで独立に持つが、シャドウメモリ１０６ａ〜ｅ（シャドウメモリ０〜４）のアドレスは、画像処理装置全体で共通である。シャドウメモリ１０６ａ〜ｅ（シャドウメモリ０〜４）は、ノードブロックの数の領域に分けられるが、書込みが出来るのは、割り当てられた領域のみである。プロセッサから見て、シャドウライトメモリが書き込み／読み込みができ、シャドウメモリはプロセッサから見て読み込みのみになっているためである。

書込み出来る領域は、図２、図３に示すように各ノードブロックで違えてあり、書込み可能なシャドウメモリの割り当ては、重ならないように、別々にする。その他の領域は読み出し側のみで、他ノードブロックでの書込みに割り当てられたシャドウメモリへの書込み内容を反映する。

ノードブロック数が増えた場合、シャドウメモリ空間も、それに伴い、増える。シャドウメモリ内は、図３に示すように画像データ領域とコマンドまたは状態領域に分けられ、画像データの書込み後、状態領域に書込み完了フラグを設定することで、他ノードブロックのプロセッサに、処理の完了を通知し、画像処理装置全体での同期を取ることが可能である。

図４は、ノードブロック間で行う、１個の書込みデータの転送内容を示す。転送の構成は、通常何も転送すべきデータが無い場合、Ｉｄｌｅパターンとしてある決まった繰り返しパターンのビット列が伝送線路上を流れるようになっている。ここで、シャドウメモリへの書込みがあると、伝送線路上には、識別ＴＡＧとなる識別ＴＡＧパターンのビット列を先頭に付加して書込みアドレスとデータをパラレルからシリアルのビット列に変換して送信し、このＩｄｌｅパターンから識別ＴＡＧパターンへの変化を受信回路１１０ａ〜ｄが検出してビット列をシリアルからパラレルに変換し、アドレスとデータを切り出して書込み回路１０８ａ〜ｄが、シャドウメモリの対応するアドレスにデータを書き込む。

図５は、並列方式による画像処理装置の構成である。また、下方の図は、その動作を示した概略のタイムチャートである。

並列方式は、処理する画面を複数に分割し、分割画面について画像処理の全てを行う方式を言う。これに対し、パイプライン方式は処理する画面の全域に亘って一つの処理（一定の処理）を行い、他の処理を次の処理ステップに回す方式を言う。

さて、画像処理は、単一画像に対する処理で、処理開始から処理終了までの応答時間が要求される場合である。このような画像処理の要求に対し、本実施例では、まず、マスタノードブロック２００ａのＩ／Ｏ１０１から入力された画像データをシャドウライトメモリに書込み、その画像データは書き込み監視回路により、各ノードブロック２００ｂ〜ｅにブロードキャストされる。

画像データのブロードキャストが終わると、画像処理開始のコマンドを書込でブロードキャストする。各ノードブロックのプロセッサは、そのコマンド状態を見て、処理を開始する。各ノードブロックのプロセッサ処理では、処理途中の内容をシャドウメモリ１０６ｂ〜ｅに書き込み、書込み監視回路１０７がプロセッサの処理と平行にブロードキャストすることで、プロセッサの処理と画像データ転送が同時に行われる。

スレーブノードのノードブロックでの処理が終了すると、スレーブノードのプロセッサは終了ステータスまたは終了コマンドを書込み、ブロードキャストする。これにより、マスタノードは、各ノードブロックの状態を把握できる。そして、全てのスレーブノードの終了ステータスを受けた時点で、処理済み画像データは、シャドウメモリ上に格納されている。スレーブノードで処理する内容を逐次シャドウメモリに書き込むことで、各ノードブロックは、他のノードブロックの処理途中の画像データを使用することが出来る。また、画像データだけでは無く、数値データある場合には必要に応じ数値データをブロードキャストしてもよい。

以上の構成により、画像データの分割並列処理が行え、さらに、スレーブノードでの画像処理と画像転送が同時処理され、マスタノードでは無く、スレーブノードが自身が処理結果を送ることで、マスタノードへの処理能力ヘの依存を減らせる。なお、分りやすいように、図中では上記処理に関係しない配線は省略している。

図６は、パイプライン方式による画像処理装置の構成である。時系列に連続的に入力される画像処理には、単位時間当たりの処理能力、スループットが要求される。

このような、処理要求の場合、本実施例では、マスタノードブロック２００ａのＩ／Ｏ１０１から入力された画像データが、シャドウライトメモリ０に書き込まれ、ブロードキャストされる。ブロードキャストされた画像データは、スレーブノードブロック（１）２００ｂのシャドウメモリ０上に格納されており、転送終了ステータスの受診後にスレーブ１のプロセッサが、シャドウメモリ０上の画像データを処理し、処理結果をシャドウメモリ１に書き込み、続いて、処理終了ステータスを書き込むことでスレーブノード１のノードブロックでの処理が完了する。

この処理終了ステータスにより、マスタノードブロック２００は、次の画像データをシャドウメモリ０に書込みブロードキャストし、開始コマンドを発行することを繰り返す。このとき、スレーブノードブロック（２）２００ｃは、スレーブノード１からの処理終了ステータスを受けて、シャドウメモリ１のデータに対し処理を実行し、結果をシャドウメモリ２に書き込み、処理終了ステータスを書き込むことを繰り返す。

このように、終了ステータスをトリガーにし、次々と時系列画像データを処理することで、単位時間当たりの処理量、つまり、スループットを向上させることが出来る。終了ステータスの伝播を処理開始の起動とすることで、複雑な処理タイミング制御を不要としている。なお、分りやすいように、図中では上記処理に関係しない配線を省略している。

図７は、複数入力を同時取り込む場合の構成を示す。

各スレーブノードブロック２００ｂ〜ｅには画像データを取り込むＩ／Ｏ１０１があり、マスタノードブロック２００ａによる開始コマンドのブロードキャストで、同時に画像が取り込まれ、各スレーブノードブロック２００ｂ〜ｅのシャドウメモリに書き込まれる。これにより、同時タイミングで取り込んだ画像データがマスタノードブロック２００ａのシャドウメモリに転写される。そして、終了ステータスの確認で複数画像同時取り込みは、マスタノードブロック２００ａのシャドウメモリからＩ／Ｏ１０１に出力することで完了する。なお、分りやすいように、図中では上記処理に関係しない配線を省略している。

図８は、複数入力の同時取り込みと複数画像を使用した画像処理を並列に行う構成を示す。

マスタノードブロック２００ａからの取り込み開始コマンドのブロードキャストにより、Ｉ／Ｏ１０１の入力からスレーブノードブロック２００ｂ〜ｅのシャドウメモリにデータ書込みを行い画像データのブロードキャストを行う。各終了ステータスの到着後、マスタノードブロック２００ａは、処理開始コマンドのブロードキャストを発行する。この時点では、スレーブノードブロックには各ノードブロックでの取り込み画像がシャドウメモリ上に格納されている。処理開始コマンドの発行で、各ノードブロックでは、複数画像を使用して、並列に画像処理を行い、マスタノードブロック２００ａのシャドウメモリより収集処理される。

図９は、ノードブロックより構成された画像処理装置を、共有バス上で接続して、ネットワークを構成したものを示す。このノードブロックのネットワークにより、さらに処理能力が向上する。応用として、ノードブロックより構成された画像処理装置をワンチップのＬＳＩ上に作製して、このＬＳＩを相互に接続して構成しても良い。

図１０は、上記実施例の画像処理装置を電子ビーム装置の一例である電子顕微鏡に使用した応用例の構成図である。

電子顕微鏡は、電子銃１０００から照射させた電子ビーム１００１を、スキャンコントロール１００２で偏向レンズ１００３を制御し、試料１００４上で電子ビームを走査することにより、２次電子１００５と反射電子１００６が生ずる。生じた２次電子または反射電子を検出器１００７ａ〜ｄで電気信号に変換し、各ノードブロックで同時に取り込む。

試料から発生する電子は、そのエネルギーレベルにより、それぞれ、特徴的な画像を提供する。この違いを利用して、半導体検査装置では、異物の検出精度の向上に利用している。４つの異なる特徴を持つ画像同士の輝度レベル調整や加算、差分や相関などの画像処理および解析を行い、高速で処理する必要がある。そのため、４画像を使用した画像処理を並列に処理する必要がある。

画像処理のノードブロック網は、図８に示した構成と同様であり、同時取り込みで、シャドウメモリにブロードキャストする構成である。

各ノードブロックでは、各特徴を持った４画像を使用して、各ノードブロックで別々の処理を行い、その結果をブロードキャストすることで、複数画像の同時取り込みと、別々の画像処理を同時に行うことが出来る。さらに、処理結果は、シャドウメモリに格納されているため、マスタノードのプロセッサにより、それぞれの結果を合成して、出力することも可能である。

このように上記実施例によれば、同一の回路構成のノードブロックを使用しながら、その処理手順をソフトウェアで変更することで、並列方式とパイプライン方式のマルチプロセッサ処理を適宜切り替えることが可能であり、要求する処理性能、画像処理アルゴリズムに対し、柔軟に対応できる。

また、複数画像の同時取り込みと複数画像を使用した並列画像処理を、複雑な画像転送制御を必要としないで実現できるため、処理性能が向上する。

本発明の実施例を示すもので、画像処理装置に係わるノードブロックの構成を示した図である。 本発明の実施例を示すもので、ノードブロックの接続関係を示した全体構成図である。 本発明の実施例を示すもので、ノードブロックのメモリマップを示した構成図である。 本発明の実施例を示すもので、ノードブロック間の伝送路上を流れるデータを示した構成図である。 本発明の実施例を示すもので、並列方式の画像処理を示した構成図である。 本発明の実施例を示すもので、パイプライン方式の画像処理を示した構成図である。 本発明の実施例を示すもので、複数の入力画像データを取り込む処理を示した構成図である。 本発明の実施例を示すもので、複数入力の同時取り込みと複数画像を使用した並列画像処理を示した構成図である。 本発明の実施例を示すもので、ノードブロックの画像処理装置をネットワーク状に接続した構成図である。 本発明の実施例を示すもので、ノードブロックの画像処理装置とを使用した電子顕微鏡の構成図である。

符号の説明

１００…共有バス、１０１…Ｉ／Ｏ、１０２…ＤＭＡ、１０３…ＣＰＵ、１０４…演算アクセラレータ、１０５…ローカルメモリ、１０６ａ…シャドウライトメモリ、１０６ｂ〜１０６ｅ…シャドウメモリ、１０７…書込み監視回路、１０８ａ〜１０８ｄ…書込み回路、１０９…送信回路、１１０ａ〜１１０ｄ…受信回路、１１１ａ〜１１１ｅ…伝送路、２００ａ〜２００ｅ…ノードブロック、１０００…電子銃、１００１…電子ビーム、１００２…スキャンコントロール、１００３…偏向レンズ（偏向手段）、１００４…試料、１００５…２次電子、１００６…反射電子、１００７ａ〜１００７ｄ…検出器。

Claims (6)

1. 複数のノードブロックを有する画像処理装置において、
   前記複数のノードブロックのうちのひとつのノードブロックは、画像データ処理部と、画像データの送受を行うノード部と、このノード部と前記画像データ処理部とを接続する共有バスとを有し、
   前記画像データ処理部は、前記画像データの入出力をノードブロックの外部と行う入出力回路と、前記画像データに対して必要な処理を行うプロセッサと、該処理を実行させる画像処理プログラムや前記画像データが書き込まれるローカルメモリ等とを有し、
   前記ノード部は、少なくとも一つのシャドウライトメモリと、複数のシャドウメモリと、前記シャドウライトメモリの書き込み端側に接続される書込み監視回路と、この書込み監視回路の出力端側に接続される送信回路と、前記複数のシャドウメモリの書き込み端側に各々接続される複数の書込み回路と、この書込み回路の入力端側に各々接続される複数の受信回路とを有し、
   前記シャドウライトメモリおよび前記シャドウメモリの読み出し端側を前記共有バスに接続し、かつシャドウライトメモリの書き込み端側を前記共有バスに接続し、
   前記送信回路の出力端側を前記複数のノードブロックのうちの他のノードブロックに備わる複数の受信回路の入力端側に接続したことを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記送信回路は、前記書込み監視回路により検出された前記画像データの信号を他のノードブロックの受信回路にパラレルからシリアルの信号に換えてブロードキャストすることを特徴とする画像処理装置。
3. 請求項２記載の画像処理装置において、
   前記送信回路は、送信すべきデータがないときはアイドルパターンのビット列の信号を送信し、前記シャドウメモリに書込みがあった場合には、識別ＴＡＧパターンのビット列を先頭に付加して、書込みアドレスとデータをパラレルからシリアルのビット列に変換して送信し、前記受信回路は前記ビット列をシリアルからパラレルに変換し、識別ＴＡＧパターンでアドレスとデータを切り出し、前記書込み回路はシャドウメモリにデータを書き込むことを特徴とする画像処理装置。
4. 請求項１記載の画像処理装置において、
   前記複数のノードブロックは、それぞれノードブロックの数のシャドウメモリを有し、各シャドウメモリは画像データを保持する画像メモリ領域とコマンドまたは状態を保持する状態領域とに分割したことを特徴とする画像処理装置。
5. 請求項１記載の画像処理装置において、
   前記ノードブロックの一つをマスタのノードブロックとし、残りをスレードのノードブロックとしたことを特徴とする画像処理装置。
6. 試料に向けて電子ビームを照射する電子銃と、電子ビームの照射方向に偏向を加える偏向レンズを含む偏向手段と、前記試料から生ずる二次電子または反射電子を検出する検出器と、この検出器が検出する信号を画像化処理する画像処理装置とを有する電子顕微鏡を含む電子ビーム装置において、
   前記画像処理装置は、複数のノードブロックを有することを特徴とする電子ビーム装置。
   

Images