JP2017162391A - 画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】結像光学系を有する高分解能の電子顕微鏡により取得した画像データにおいても、輪郭抽出や領域分割が可能となる画像処理方法を提供する。【解決手段】一実施形態に係る画像処理方法は、まず、検索ラインの始点として入力画像データ上の１点を外部入力により指定する。次に、前記検索ラインの終点として前記入力画像データ上の前記始点とは異なる１点を外部入力により指定する。次に、前記検索ライン上の階調値の累積和を算出して前記検索ラインの累積ラインプロファイルを作成する。次に、前記検索ラインの前記累積ラインプロファイルに基づいて前記検索ライン上におけるエッジの位置を算出する。【選択図】図３

Description

本発明の実施形態は、画像処理方法及び画像処理プログラムに関する。

収差補正技術の進展と相まって、結像光学系を有する透過型電子顕微鏡（ＴＥＭ：Transmission Electron Microscope）や走査透過型電子顕微鏡（ＳＴＥＭ：Scanning Transmission Electron Microscope）が半導体集積回路の観察をする装置として活用されている。これらの装置で観測される画像データには、様々な要因によりノイズが混入する。したがって、これらの装置で観測される画像データから、物体の境界位置を検出する処理や形状パラメータを数値化する処理の前処理として、ノイズの発生要因に応じたノイズ除去処理やノイズ低減処理が必要となる。

しかしながら、これらのノイズの中には、２次元空間上にランダムに発生するものでありながら、一般には明部又は暗部が数ピクセルにわたる広がりを持ち、かつ、撮影条件により２次元空間上の分布が決まっているものが存在する。このため、走査型電子顕微鏡（ＳＥＭ：Scanning Electron Microscope）等により取得した画像データの前処理として一般的に行われるメディアンフィルタや時間平均等のフィルタ処理により除去することが困難である。

米国特許第５７４８７７８号明細書

そこで、本発明の実施形態は、結像光学系を有する高分解能の電子顕微鏡により取得したノイズが混入している画像データにおいても、輪郭抽出や領域分割が可能となる画像処理方法を提供する。

一実施形態に係る画像処理方法は、まず、検索ラインの始点として入力画像データ上の１点を外部入力により指定する。次に、前記検索ラインの終点として前記入力画像データ上の前記始点とは異なる１点を外部入力により指定する。次に、前記検索ライン上の階調値の累積和を算出して前記検索ラインの累積ラインプロファイルを作成する。次に、前記検索ラインの前記累積ラインプロファイルに基づいて前記検索ライン上におけるエッジの位置を算出する。

第１実施形態に係る画像処理装置の概略を示すブロック図。 入力画像の一例を示す図。 第１実施形態に係る画像処理のフローを示すフローチャート。 第１実施形態に係る検索ラインとエッジ位置の一例を示す図。 第１実施形態に係る累積ラインプロファイル作成部の概略を示す図及びその処理を示すフローチャート。 ラインプロファイルの一例を示す図。 累積ラインプロファイルの一例を示す図。 累積ラインプロファイルの別の例を示す図。 第１実施形態の変形例１に係る累積ラインプロファイル作成部の概略を示す図及びその処理を示すフローチャート。 エッジ検出の一例を示すモデル図。 第１実施形態の変形例２に係る累積ラインプロファイル作成部の概略を示す図及びその処理を示すフローチャート。 第１実施形態の変形例３に係る画像処理装置の概略を示すブロック図。 第１実施形態の変形例３に係る画像処理方法の処理を示すフローチャート。 第２実施形態に係る累積ラインプロファイル作成部の概略を示す図及び画像処理のフローを示すフローチャート。 第２実施形態に係る累積和画像の作成例を示す図。 累積和画像の一例を示すモデル図。

以下、図面を参照して、本発明の実施形態について説明する。本実施形態は、本発明を限定するものではない。

（第１実施形態）
本実施形態に係る画像処理方法は、入力画像データ上で選択された検索ラインにおける階調値の累積値を求め、この累積値の勾配の変化する点を算出することにより、検索ライン上におけるエッジの位置を抽出し、物体の輪郭の抽出を可能とするものである。より詳しく、以下に説明する。

図１は、本実施形態に係る画像処理システムの概略を示すブロック図である。画像処理システムは、画像処理装置１と、撮像装置２とを備えて構成される。画像処理装置１は、撮像装置２から図示しない入力Ｉ／Ｆ（Interface）を通じて入力画像データが入力され、エッジデータを算出する。この画像処理装置１は、データ格納部１０と、画像処理部２０とを備えて構成される。撮像装置２は、ＴＥＭやＳＴＥＭといった撮像装置を備えて構成され、入力画像データを画像処理装置１へと出力する。また、入力画像データだけではなく、種々のパラメータ等を入力画像データとともに出力してもよい。

データ格納部１０は、画像処理装置１の入出力データや、画像処理中に必要なデータを格納する。このデータ格納部１０は、入力画像データ格納部１２と、エッジデータ格納部１４とを備えて構成される。データ格納部１０には、ＨＤＤや半導体メモリなどの記憶装置を用いる。画像処理部２０は画像処理装置１のマイクロプロセッサ上でソフトウェアモジュールを実行させることで実現する。

入力画像データ格納部１２は、撮像装置２が出力した画像データを入力画像データとして格納する。エッジデータ格納部１４は、画像処理部２０により入力画像データから抽出されたエッジデータを格納する。これらの格納部は、必要な時間、記憶可能なものであればどのようなものでもよく、揮発性のメモリや不揮発性のメモリにより構成される。

図２は、本実施形態に係る画像処理方法の入力画像３の一例を示す図である。この図２では、入力画像３は、物体４０内に物体４２が存在している様子を示している。物体４２と物体４０は、異なる物性を有するため、物体４０は、暗い領域として撮像され、物体４２は、物体４０に比較すると明るい領域として撮像される。この入力画像３のような画像が撮像装置２により撮影され、画像処理装置１の入力画像データ格納部１２へと入力される。画像処理部２０により物体４２と物体４０との境界であるエッジデータ５０が抽出され、エッジデータ格納部１４にこのエッジデータが格納される。

図１に戻り、画像処理部２０は、入力画像データ格納部１２に格納されている入力画像データからエッジデータを抽出する。この画像処理部２０は、検索始点指定部２２と、検索終点指定部２４と、累積ラインプロファイル作成部２６と、エッジ位置算出部２８とを備えて構成される。

検索始点指定部２２は、検索ラインの始点として入力画像データ上の１点を外部入力により指定する。検索ラインとは、エッジを求めるための線分であり、入力画像３において異なる物性を有する領域間を越えるように設定される線分である。この始点は、外部入力として、ユーザにより指定するようにしてもよいし、あらかじめ決められた手順で指定されるようにしてもよい。例えば、画像の中心あたりに物体があると仮定し、プログラムにより入力画像の中心が始点として指定されるようにしてもよい。ユーザによる外部入力は、図示しない入力Ｉ／Ｆを通じて行われる。

検索終点指定部２４は、検索ラインの終点として入力画像データ上の始点とは異なる１点を外部入力により指定する。終点は、始点に対し、異なる物性を有する領域の境界を越えるように指定される。終点の指定も、始点の指定と同様に、外部入力としてユーザにより指定するようにしてもよいし、あらかじめ決められた手順で指定されるようにしてもよい。

累積ラインプロファイル作成部２６は、入力画像３において検索ライン上にある画素の階調値に基づいて検索ラインの累積ラインプロファイルを作成する。ここで、累積ラインプロファイルとは、検索ラインの始点から終点に向かって所定の区間ごとに、検索ライン上の階調値の累積和を抽出したものである。

エッジ位置算出部２８は、累積ラインプロファイルに基づいて検索ライン上のエッジの位置を算出する。そして、算出されたエッジの位置をエッジデータとして、エッジデータ格納部１４へと格納する。具体的には、検索ラインの累積ラインプロファイルの折れ曲がり位置を算出することにより、この折れ曲がり位置をエッジの位置として算出する。

次に、本実施形態に係る画像処理方法について説明する。図３は、本実施形態に係る画像処理方法における処理フローを示すフローチャートである。また、図４は、入力画像データにおいて、検索ライン等を示す図である。

まず、図３に示すように撮像装置２により撮像された画像データは、画像処理装置１に入力画像データとして入力される（ステップＳ１０）。この入力画像データは、入力画像データ格納部１２へ格納される。例えば、図２の入力画像３のような画像が入力画像データとして入力される。

次に、検索始点指定部２２は、検索ラインの始点を指定する（ステップＳ２０）。例えば、始点として図４の始点Ｓを指定する。

次に、検索終点指定部２４は、検索ラインの終点を指定する（ステップＳ３０）。例えば、終点として図４の終点Ｅ１を指定する。この始点Ｓと終点Ｅ１を指定することにより、検索ラインＬ１が指定されることとなる。

次に、累積ラインプロファイル作成部２６は、検索ラインＬ１の累積ラインプロファイルを作成する（ステップＳ４０）。本実施形態におけるこの累積ラインプロファイル作成処理を具体的に以下に説明する。

図５（ａ）は、本実施形態に係る累積ラインプロファイル作成部２６のブロック図である。この図５（ａ）に示すように、累積ラインプロファイル作成部２６は、ラインプロファイル作成部２６０と、累積ラインプロファイル算出部２７０とを備えて構成される。また、図５（ｂ）は、本実施形態に係る累積ラインプロファイル作成処理の処理フローを示すフローチャートである。

累積ラインプロファイル作成処理において、まず、ラインプロファイル作成部２６０は、検索ラインＬ１のラインプロファイルを作成する（ステップＳ４００）。ここで、ラインプロファイルとは、入力画像３上で検索ラインＬ１が通過する画素の階調値を抽出したものである。図６は、図４の検索ラインＬ１のラインプロファイルを抽出したものである。横軸は、始点Ｓからの画素数を仮想的に示すインデクスであり、縦軸は、階調値である。また、点線は、エッジの位置を示すものである。

ラインプロファイルは、検索ラインＬ１上において始点から、画素の幅である１インデクスずつ移動した場所における画素の階調値を取得するようにしてもよいし、その画素の階調値と周囲の画素の階調値に基づいて平均値や重み付け平均値を算出するなどの処理をして補間したものでもよい。また、階調値は、１インデクスごとに抽出したものには限られず、サブピクセル単位で取得してもよい。

図５に戻り、次のステップの説明をする。累積ラインプロファイル算出部２７０は、検索ラインの累積ラインプロファイルを算出する（ステップＳ４０２）。本実施形態においては、ラインプロファイルが作成されているので、このラインプロファイルを利用して累積ラインプロファイルを算出する。

図６に示すラインプロファイルの階調値を、始点Ｓから終点Ｅ１へと向かって、所定の区間、例えば１画素（１インデクス）ごとに、累積和を求める。具体的には、始点Ｓにおいては、始点Ｓにおける画素の階調値が累積ラインプロファイルの値となり、検索ラインＬ１上に１インデクス移動した場所における累積ラインプロファイルの値は、この始点Ｓにおける累積ラインプロファイルの値と、１インデクス移動したラインプロファイルの階調値とを足し併せた値となる。さらに１インデクス移動した場所における累積ラインプロファイルの値は、上記の始点Ｓから１インデクス移動した累積ラインプロファイルの値に、始点Ｓから２インデクス移動した場所におけるラインプロファイルの値を足した値となる。

すなわち、始点のインデクスを０とし、インデクスｉにおけるラインプロファイルの階調値の値をｌ（ｉ）としたとき、インデクスｉにおける累積ラインプロファイルの値ｓ（ｉ）は、
ｓ（ｉ）＝ｌ（０）＋ｌ（１）＋・・・＋ｌ（ｉ） 式（１）
となる。この式（１）に従い累積ラインプロファイル算出部２７０は、累積ラインプロファイルを算出する。なお、所定の区間は、１インデクスである必要はなく、サブピクセル単位としてもよいし、サブピクセル単位とする場合、ラインプロファイルの値を抽出する際に、ラインプロファイルの階調値の平均値や重み付け平均値を算出し、補間してもよい。

図７（ａ）は、算出された累積ラインプロファイルの一例を示すグラフである。縦軸には、累積ラインプロファイルにおける累積された階調値、横軸はインデクスを表している。累積和をとることにより、図６に示すラインプロファイルにおける階調値の揺らぎが平滑化され、階調値の変化がおおまかに表される。

このように、累積ラインプロファイル算出部２７０が累積ラインプロファイルを算出することにより、累積ラインプロファイル作成部２６は、累積ラインプロファイルを作成する（図３のステップＳ４０）。以降のステップを図３に戻り説明する。

累積ラインプロファイルが作成されると、次に、エッジ位置算出部２８は、エッジの位置を算出する（ステップＳ５０）。このエッジの位置の算出は、図７（ａ）に示す累積ラインプロファイルの折れ曲がり位置を算出することにより行われる。例えば、エッジ位置算出部２８は、最小二乗法により折れ線を近似することによって、残差が最小となる折れ曲がり位置を得ることにより算出する。

具体的には、
ε（ｉ）＝ｓ（ｉ）−ｃ−ａ（ｉ−ｉ０） （ｉ＜ｉ０） 式（２）
ε（ｉ）＝ｓ（ｉ）−ｃ−ｂ（ｉ−ｉ０） （ｉ≧ｉ０） 式（３）
ＳＵＭ＝ε（１）^２＋ε（２）^２・・・＋ε（ｉ）^２ 式（４）
として、ｉ０＝１，２，・・・，ｉと変化させたときに各々のｉ０に対してａ，ｂ，ｃを最小二乗法により算出し、それらのａ，ｂ，ｃを用いたときに、残差ＳＵＭが最も小さくなるｉ０を算出することにより、折れ曲がり位置ｉ０を求めることができる。なお、ｉ０をサブピクセルの分解能で得るためには、区間［１，ｉ］を、ｉ＋１以上の数値で分割して上記の式に従いエッジの位置を算出するか、又は、二分法などにより所望の桁数まで計算を実行することにより簡単に実現できる。

図７（ｂ）は、図７（ａ）に示す累積ラインプロファイルに対して上記の処理を行い、折れ曲がり位置を求めたものである。図中の点線は、折れ曲がり位置を示している。また、破線は、折れ曲がり位置において累積ラインプロファイルを２分したときに、それぞれの領域において累積ラインプロファイルのグラフを直線で近似したものである。この図７（ｂ）に示すように、累積ラインプロファイルは、折れ曲がり位置の左右で直線により近似される。１つの検索ラインＬ１に対してエッジ位置、すなわち物体の境界点Ｂ１が求められると、このエッジデータは、エッジデータ格納部１４へと格納される。

次に、図３に示すように、所定の数の終点に対してエッジ位置を求めたかどうかを判定する（ステップＳ６０）。所定の数の終点が指定され、それぞれの終点に対して上記の処理をし、エッジの位置が算出されている場合、エッジ算出処理は終了する（ステップＳ６０：Ｙｅｓ）。

所定の数の終点に対して処理が為されていない場合（ステップＳ６０：Ｎｏ）、終点の位置を終点Ｅ１の位置から少しずらすことにより検索ラインを変更し、次のエッジ位置の算出を行う（ステップＳ６０）。例えば、検索ラインＬ１と次の検索対象となる検索ラインの為す角が１°となるように次の終点を指定してもよいし、これに限られず適切に境界の情報が得られるのであれば他の指定方法であってもよい。

新たな検索ラインが指定されると、ステップＳ１０乃至ステップＳ５０の処理が当該検索ラインに施される。すなわち、新たな検索ライン上のエッジ位置を算出することにより、当該検索ライン上の境界点が求められる。そして、検索ラインを所定の数だけ指定するまでこれらのステップが反復され、必要な分だけエッジデータを得る。例えば、先ほどの例でいうと、始点Ｓに対して終点を３６０°走査させ、各々の検索ラインにおいてエッジデータを算出する。

以上の構成及びステップは、ハードウェアに実装されて実行されるものであってもよいし、ソフトウェアにより各ステップをコンピュータに実行させるものであってもよい。例えば、ＦＰＧＡ（Field-Programmable Gate Array）に実装してもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）に実装してもよい。

以上のように、本実施形態に係る画像処理方法によれば、ＳＥＭやＳＴＥＭにより撮像されたノイズのある入力画像データにおいて、始点と終点を指定することにより適当な検索ラインを指定し、当該検索ラインの階調値の折れ曲がり位置をエッジデータとして算出することにより、異なる物性を有する物体の境界情報を得ることが可能である。

図８（ａ）及び図８（ｂ）は、本実施形態における別の実験結果を示すグラフである。図８（ａ）は、ＳＮ（Signal to Noise）比が０．１（＝−１０ｄＢ）の入力画像の一検索ライン上のラインプロファイルを示す図である。横軸は、検索ライン上の単位となるインデクスを表し、縦軸は、階調値を表す。これに対して、図８（ｂ）は、この図８（ａ）に示す入力画像データに対して本実施形態のステップＳ５０までの処理により算出された累積ラインプロファイルを示すグラフである。横軸は、同じく検索ライン上の単位となるインデクスを表し、縦軸は、累積階調値を表す。

図８（ｂ）に示す累積ラインプロファイルは、図８（ａ）に示すラインプロファイルに比べると、ノイズが取り除かれて平滑化されている。点線は、累積ラインプロファイルに対して、最小二乗法を適用することにより求められたエッジの位置を示し、破線はエッジ位置により分割された累積ラインプロファイルのそれぞれの領域における近似直線を示すものである。このような、非常にノイズの高い検索ラインにおいてもエッジ位置が容易に算出可能である。

なお、本実施形態において２つの領域のエッジを求めることとしたが、これに限られず３以上の複数の領域間のエッジを求めることとしてもよい。この場合、それぞれの領域間のエッジの位置は同様に折れ曲がり位置を算出することにより抽出される。例えば、最小二乗法で算出する場合は、領域の数がパラメータとして必要になるが、これは外部入力として、人間が入力するものであってもよいし、他の手法により自動判別できるようにしてもよい。

（第１実施形態の変形例１）
上述した第１実施形態においては、検索ラインのラインプロファイルを求め、このラインプロファイルから累積ラインプロファイルを作成するものとしたが、本変形例においては、累積ラインプロファイルを作成する前にラインプロファイルを先んじて平滑化しようとするものである。以下、上述した第１実施形態と異なる部分について詳しく説明する。なお、同じ符号が付された要素は上述した第１実施形態において説明した要素と同等のものであるので、詳しい説明は省略する。

図９（ａ）は、本変形例に係る累積ラインプロファイル作成部２６の構成の概略を示すブロック図である。本変形例において、累積ラインプロファイル作成部２６は、ラインプロファイル作成部２６０と、ラインプロファイル更新部２６２と、累積ラインプロファイル算出部２７０と、を備える。

ラインプロファイル更新部２６２は、着目している検索ラインＬ１のラインプロファイル及びこの検索ラインＬ１の始点Ｓを共有し、検索ラインＬ１の終点Ｅ１の近傍にある１点を終点とするライン（以下、近傍検索ラインと呼ぶ）のラインプロファイルとに基づいて検索ラインＬ１のラインプロファイルを更新する。累積ラインプロファイル算出部２７０は、ラインプロファイル更新部２６２により更新されたラインプロファイルに基づいて累積ラインプロファイルを算出する。

図９（ｂ）は、本変形例に係る累積ラインプロファイル作成の処理フローを示すフローチャートである。また、図１０は、入力画像３において始点をＳとし、終点Ｅ１の近傍の終点Ｅ２、Ｅ３、Ｅ４、Ｅｎ−２、Ｅｎ−１、Ｅｎとした場合に対応する近傍検索ラインＬ２、・・・、Ｌｎの一例を示す図である。また、境界点Ｂ２、・・・、Ｂｎは、近傍検索ラインＬ２、・・・、Ｌｎ上における物体４２と物体４０との境界を示す点である。以下、これらの図を用いて本変形例における累積ラインプロファイル作成処理について説明する。以下、これらの図９（ｂ）及び図１０を参照しながら本変形例に係る画像処理方法を説明する。

まず、着目している検索ラインＬ１のラインプロファイルを算出する（ステップＳ４１０）。このステップは、上述した第１実施形態におけるステップＳ４００と同じであるので説明は省略する。以下、一例として、近傍検索ラインとして近傍検索ラインＬ２、Ｌｎを抽出する場合について説明するが、１本の近傍検索ラインＬ２のみを抽出するものとしてもよいし、３本以上の近傍検索ライン、例えば、近傍検索ラインＬ２、Ｌ３、Ｌｎ−１、Ｌｎの４本を抽出するものとしてもよい。

次に、ラインプロファイル作成部２６０は、近傍検索ラインのラインプロファイルを算出する（ステップＳ４１２）。具体的には、ラインプロファイル作成部２６０は、近傍検索ラインＬ２、Ｌｎのラインプロファイルを算出する。この近傍検索ラインＬ２、Ｌｎのラインプロファイルの算出に関しても、検索ラインＬ１のラインプロファイルの算出と同じ処理で行う。近傍検索ラインＬ２、Ｌｎの終点Ｅ２、Ｅｎは、例えば、始点Ｓ及びラインの長さを固定し、終点Ｅ１から＋１°の位置に終点Ｅ２を指定し、終点Ｅ１から−１°の位置に終点Ｅｎを指定するようにしてもよいし、適切に終点Ｅ１の近傍点を得られるのであれば他の方法を用いてもよい。

次に、ラインプロファイル更新部２６２は、検索ラインＬ１及び近傍検索ラインＬ２、Ｌｎのそれぞれのラインプロファイルを用いて検索ラインＬ１のラインプロファイルを更新する（ステップＳ４１４）。ラインプロファイルの更新方法としては、例えば、上記の３つのラインプロファイルの単純平均を算出するものとしてもよいし、検索ラインＬ１からの距離又は角度に基づいた重み付け平均を算出するものとしてもよい。

そして、累積ラインプロファイル算出部２７０は、ステップＳ４１４で更新された検索ラインＬ１のラインプロファイルを用いて検索ラインＬ１の累積ラインプロファイルを作成する（ステップＳ４１６）。ラインプロファイルから累積ラインプロファイルを作成する手順は、第１実施形態と同様であるので詳しい説明は省略する。

以上のように、本変形例によっても、ＳＥＭやＳＴＥＭにより撮像されたノイズのある入力画像データにおいて、異なる物性を有する物体の境界情報を得ることが可能である。さらに、本変形例によれば、累積ラインプロファイルを作成する前にラインプロファイルを検索ラインの近傍にある近傍検索ラインのラインプロファイルに基づいて更新することにより、空間的に広がるノイズを平滑化し、より精度の高い累積ラインプロファイルを作成することが可能となる。

なお、更新される前の検索ラインのラインプロファイル及び近傍検索ラインとして抽出されたラインのラインプロファイルは、データ格納部１０に格納しておいてもよい。このようにすることにより、例えば、検索ラインＬ１に基づき境界点Ｂ１が求められた後に、次の終点としてＥ２が選択された場合に、既に算出されているＬ１、Ｌ２のラインプロファイルを用いて処理時間の短縮を図ることも可能である。

（第１実施形態の変形例２）
上述した第１実施形態の変形例１では、ラインプロファイルを更新することとしたが、本変形例は、検索ライン及び近傍検索ラインのラインプロファイルからそれぞれの累積ラインプロファイルを算出し、これら算出された累積ラインプロファイルに基づいて検索ラインの累積ラインプロファイルを更新することにより、累積ラインプロファイルを作成しようとするものである。以下、上述した第１実施形態の変形例１と異なる部分について詳しく説明する。

図１１（ａ）は、本変形例に係る累積ラインプロファイル作成部２６の概略を表すブロック図である。累積ラインプロファイル作成部２６は、ラインプロファイル作成部２６０と、累積ラインプロファイル算出部２７０と、累積ラインプロファイル更新部２７２とを備える。累積ラインプロファイル更新部２７２は、検索ライン及び近傍検索ラインの累積ラインプロファイルから、検索ラインの累積ラインプロファイルを更新する。

図１１（ｂ）は、本変形例に係る累積ラインプロファイル作成ステップの処理フローを示すフローチャートである。以下、検索ラインをＬ１とし、近傍検索ラインをＬ２及びＬｎとして本変形例に係る累積ラインプロファイル作成手順を説明するが、上述した説明と同様にこれは発明を限定するものではなく、一例として挙げているものである。

まず、ラインプロファイル作成部２６０は、検索ラインＬ１及び検索近傍ラインＬ２、Ｌｎのラインプロファイルを作成する（ステップＳ４２０）。続いて、累積ラインプロファイル算出部２７０は、作成されたそれぞれのラインプロファイルから、検索ラインＬ１及び検索近傍ラインＬ２、Ｌｎの累積ラインプロファイルを算出する（ステップＳ４２２）。

次に、累積ラインプロファイル更新部２７２は、算出された検索ラインＬ１、近傍検索ラインＬ２、Ｌｎの累積ラインプロファイルに基づいて検索ラインＬ１の累積ラインプロファイルを更新する（ステップＳ４２４）。この更新は、前述した変形例１におけるラインプロファイルの更新と同様に、平均値を算出することや、重み付け平均値を算出することにより行われる。この更新された累積ラインプロファイルを検索ラインＬ１の累積ラインプロファイルとして、エッジの位置を算出することが可能である。

以上のように、本変形例によっても、ＳＥＭやＳＴＥＭにより撮像されたノイズのある入力画像データにおいて、異なる物性を有する物体の境界情報を得ることが可能である。前述した変形例１とほぼ同じ結果を得ることが可能であるので、画像処理の経過において必要となる情報に応じて、適宜、変形例１と本変形例の実装を選択することができる。例えば、後述する第２実施形態においては、本変形例を容易に実装することが可能である。

（第１実施形態の変形例３）
上述した第１実施形態の２つの変形例では、ラインプロファイルや累積ラインプロファイルを更新し、エッジの位置を求めることとしたが、本変形例においては、算出されたエッジの位置と、その近傍で算出されたエッジの位置により、着目するエッジの位置を更新することにより、エッジの位置を調整しようとするものである。以下、上述した第１実施形態と異なる部分について詳しく説明する。

図１２は、本変形例に係る画像処理装置１の概略を示すブロック図である。この図１２に示すように、本変形例に係る画像処理装置１が、データ格納部１０と、画像処理部２とを備え、データ処理部１０が、入力画像データ格納部１２と、エッジデータ格納部１４とを備える点において上述した第１実施形態と同様の構成である。

画像処理部２０は、検索始点指定部２２と、検索終点指定部２４と、累積ラインプロファイル作成部２６と、エッジ位置算出部２８を備える点において第１実施形態と同じ構成であるが、さらに、エッジ位置更新部３０を備える。エッジ位置更新部３０は、エッジの位置を更新し、エッジデータ格納部１４へ更新されたエッジの位置を格納する。

図１３は、本変形例に係る画像処理方法の処理フローを示すフローチャートである。ステップＳ１０乃至ステップＳ７０は、第１実施形態と同様である。また、累積ラインプロファイルを作成するステップＳ４０については、上述した第１実施形態の２つの変形例に係る処理手順とすることも可能であり、それぞれの場合において、累積ラインプロファイル作成部２６の構成は上述した説明のような構成となる。

ステップＳ６０において、所定数のエッジ位置を算出した後、エッジ位置更新部３０は、これらの算出されたエッジ位置に基づいてエッジ位置の更新を行う。例えば、始点Ｓを固定した上で１°ごとに３６０°分のエッジデータが算出された後、これらの求められたエッジ位置に基づいてエッジ位置の更新を行う。

図１０を用いて、この処理の一例を説明する。検索ラインＬ１においてエッジ位置を算出することにより、境界点Ｂ１が得られたとする。エッジ位置更新部３０は、境界点Ｂ１を示すエッジ位置を境界点Ｂ１及び近傍の境界点Ｂ２、Ｂｎを用いて更新する。更新方法に関しては、横方向、縦方向を示す座標の単純平均値を算出する方法や、ラインＬ１、Ｌ２、Ｌｎにおいて、ラインＬ１からの距離や角度に応じて重み付け平均値を算出する方法などでもよいし、適切に補正できる他の方法であってもよい。

また、着目境界点Ｂ１に対して、境界点Ｂ１と境界点Ｂ２のみにより更新してもよいし、境界点Ｂ１、Ｂ２、Ｂ３、Ｂｎ−１、Ｂｎのように４点以上を用いて更新してもよい。このエッジ位置の更新は、全ての検出された境界点に施されてもよいし、他の境界点と比較した場合に、大きく位置のずれる境界点のみに施されるようにしてもよい。

以上のように、本変形例によっても、ＳＥＭやＳＴＥＭにより撮像されたノイズのある入力画像データにおいて、異なる物性を有する物体の境界情報を得ることが可能である。さらに、本変形例によれば、所定の数の境界点が抽出された後に着目している境界点の近傍にある境界点により補正をすることが可能であるため、物体間の境界をよりなめらかに検出することが可能となる。

（第２実施形態）
上述した第１実施形態及びその変形例においては、累積ラインプロファイルについては、検索ラインを指定することにより作成していたが、本実施形態においては、この累積ラインプロファイルを入力画像において始点Ｓを中心とした累積和を演算し、この累積和データを作成することにより、全ての方向においてまとめて作成する方法について説明する。

図１４は、本実施形態に係る累積ラインプロファイル作成部２６の概要を示すブロック図である。この図１４に示すように、累積ラインプロファイル作成部２６は、累積和画像算出部２７４と、累積ラインプロファイル抽出部２７６とを備えて構成される。

累積和画像算出部２７４は、始点Ｓから入力画像の縁方向へ向かって累積和を演算し、この累積和の値を画素の階調値とする累積和画像を算出する。累積ラインプロファイル抽出部２７６は、累積和画像の各画素の階調値を抽出することにより、検索ラインの累積ラインプロファイルを抽出する。

図１４（ｂ）は、本実施形態に係る画像処理方法の処理フローを示すフローチャートである。一例として図１０に示すモデル図について累積和画像を作成する処理を説明する。

まず、撮像装置２により撮像された画像データは、画像処理装置１に入力画像データとして入力される（ステップＳ１０）。この場合、図１０の入力画像３の画像が入力画像データとして入力される。次に、前述した第１実施形態と同様に始点Ｓを指定する（ステップＳ２０）。この始点Ｓが累積和画像の基準となる画素となる。

次に、累積和画像算出部２７４は、累積和画像を算出する（ステップＳ８０）。一例として、始点Ｓを中心として４連結の画素を考慮した場合について説明する。図１５（ａ）乃至（ｄ）は、累積和画像が作成される過程を示す模式図である。

まず、累積和画像として、入力画像のデータをコピーする。図１５（ａ）に示すように、始点Ｓの階調値をＰ０とする。図１５（ｂ）に示すように、始点Ｓの上に隣接する画素の階調値をＰ１とするとき、Ｐ１＝Ｐ１＋Ｐ０として更新される。同様に、Ｐ２＝Ｐ２＋Ｐ０、Ｐ３＝Ｐ３＋Ｐ０、Ｐ４＝Ｐ４＋Ｐ０として始点Ｓの上下左右に隣接する画素の階調値を計算する。

次に、図１５（ｃ）に示すように、さらに４連結により画素値を求める。すなわち、Ｐ１の上に隣接する画素の画素値Ｐ５を、Ｐ５＝Ｐ５＋Ｐ１として更新する。そして、Ｐ６＝Ｐ６＋Ｐ１＋Ｐ２−Ｐ０、Ｐ７＝Ｐ７＋Ｐ２、Ｐ８＝・・・、として更新する。

次に、図１５（ｄ）に示すように、図１５（ｃ）のさらに外側の画素値を４連結により求める。すなわち、Ｐ１３＝Ｐ１３＋Ｐ５、Ｐ１４＝Ｐ１４＋Ｐ５＋Ｐ６−Ｐ１、Ｐ１５＝・・・、として更新する。

累積和画像算出部は、このように、始点Ｓから開始して画像の端部へ向かって逐次的に累積和を求め、累積和画像を算出する。なお、上記では、一例として４連結としたが、８連結として累積和を算出してもよいし、横軸及び縦軸と、始点と着目ピクセルとの角度や始点Ｓからの距離などに基づき隣接する画素の画素値の重み付けの和を求めるようにしてもよい。また、説明のために入力画像をコピーするものとしたが、画像のコピーの時間を短縮したいような場合には、コピーをせずに入力画像の画素値を参照しつつ、累積和画像の各画素の画素値を算出することとしてもよい。

図１６は、一例として、図１２に示されるモデルについて累積和画像４を算出したものである。この図１６に示すように、始点Ｓから境界に向かって画素値が高く（明るく）なり、境界５０をまたぐと画素値の高くなる割合が低くなるような累積和画像が得られる。

累積和画像が算出されると、累積ラインプロファイル抽出部２７６は、累積ラインプロファイルを抽出する（ステップＳ９０）。本実施形態においては、ある検索ラインについて、累積和画像のラインプロファイルを抽出することにより、当該検索ラインの入力画像の累積ラインプロファイルを抽出することができる。すなわち、前述した第１実施形態において、ラインプロファイル作成部２６０が検索ラインのラインプロファイルを作成した手順と同じ手順を、累積和画像に対して行うことにより、累積ラインプロファイル抽出部２７６は、累積ラインプロファイルを抽出することができる。そして、抽出された累積ラインプロファイルのエッジ位置を算出することにより（ステップＳ１００）、入力画像における境界点を求めることができる。

以上のように、本実施形態によっても、ＳＥＭやＳＴＥＭにより撮像されたノイズのある入力画像データにおいて、累積ラインプロファイルのエッジ位置を算出することにより入力画像の境界を算出することが可能となる。さらに、累積和画像４を算出することにより、累積ラインプロファイルの抽出を容易に行うことが可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、当然のことながら、本発明の要旨の範囲内で、これらの実施の形態を部分的に適宜組み合わせることも可能である。

１：画像処理装置、１０：データ格納部、１２：入力データ格納部、１４：エッジデータ格納部、２０：画像処理部、２２：検索始点指定部、２４検索終点指定部、２６：累積ラインプロファイル作成部、２８：エッジ位置算出部、３０：エッジ位置更新部

Claims (9)

1. 検索ラインの始点として入力画像データ上の１点を指定し、
   前記検索ラインの終点として前記入力画像データ上の前記始点とは異なる１点を指定し、
   前記検索ライン上の階調値の累積和を算出して前記検索ラインの累積ラインプロファイルを作成し、
   前記検索ラインの前記累積ラインプロファイルに基づいて前記検索ライン上におけるエッジの位置を算出する、
   画像処理方法。
2. 前記累積ラインプロファイルを作成する際に、
   前記検索ライン上の階調値を抽出したラインプロファイルを作成し、
   前記始点から前記終点に向かって所定の区間ごとに、前記検索ラインのラインプロファイルの階調値の累積和を演算した前記検索ラインの前記累積ラインプロファイルを算出する、
   請求項１に記載の画像処理方法。
3. 前記検索ラインの前記累積ラインプロファイルを作成する際に、
   さらに、前記検索ラインの前記ラインプロファイルと、前記終点の１又は複数の近傍点と前記始点とを結ぶ１又は複数の近傍検索ラインのラインプロファイルとに基づいて、前記検索ラインの前記ラインプロファイルを更新し、
   更新された前記検索ラインの前記ラインプロファイルに基づいて前記検索ラインの前記累積ラインプロファイルを算出する、
   請求項２に記載の画像処理方法。
4. 前記検索ラインの前記累積ラインプロファイルを作成する際に、さらに、前記検索ラインの前記累積ラインプロファイルと、前記終点の１又は複数の近傍点と前記始点とを結ぶ１又は複数の近傍検索ラインの累積ラインプロファイルとに基づいて、前記検索ラインの前記累積ラインプロファイルを更新し、
   前記エッジの位置を算出する際に、更新された前記検索ラインの前記累積ラインプロファイルに基づいて前記検索ライン上におけるエッジの位置を算出する、
   請求項２に記載の画像処理方法。
5. 所定数の終点を指定し、前記始点と前記所定数の前記終点とを結ぶ各々の前記累積ラインプロファイルに基づいて、前記所定数のエッジの位置を算出する請求項１乃至４のいずれかに記載の画像処理方法。
6. さらに、算出された前記所定数のエッジのうち着目エッジの位置及び前記着目エッジの近傍にあるエッジの位置に基づいて、前記着目エッジの位置を更新する、請求項５に記載の画像処理方法。
7. 前記検索ラインの前記累積ラインプロファイルを作成する際に、
   前記始点から入力画像データの端部へ向かって逐次的に画素値の累積和を演算して累積和画像を算出し、
   前記累積和画像における前記検索ラインの階調値を抽出する、
   請求項１に記載の画像処理方法。
8. 前記検索ライン上におけるエッジの位置を算出する際に、前記検索ラインの前記累積ラインプロファイルの折れ曲がり位置を算出し、前記折れ曲がり位置をエッジの位置とする請求項１乃至７のいずれかに記載の画像処理方法。
9. 入力Ｉ／Ｆから入力される撮像装置で撮像された画像を、入力画像として記憶装置に格納し、
   検索ラインの始点として入力画像データ上の１点を入力Ｉ／Ｆを通じた外部入力により指定し、
   前記検索ラインの終点として前記入力画像データ上の前記始点とは異なる１点を入力Ｉ／Ｆを通じた外部入力により指定し、
   前記検索ライン上の階調値に基づいて前記検索ラインの累積ラインプロファイルを作成し、
   前記検索ラインの前記累積ラインプロファイルに基づいて前記検索ライン上のエッジの位置を算出し、
   算出された前記エッジの位置を前記記憶装置に格納する、
   画像処理プログラム。