JP2009295028A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】２値化画像におけるノイズ部分を判別でき、結晶粒界部分と、結晶粒界ではない部分とを見分けることができる画像処理方法及び画像処理装置を提供すること。
【解決手段】撮像装置によって標本を撮像する工程と、標本画像の画像信号を記憶手段に記憶する工程と、画像信号に対して閾値設定手段により閾値を設定し、この閾値により標本画像から２値化画像を生成する工程と、演算部が記憶手段に記憶された標本画像の画像信号を参照する工程と、演算部が画像信号を参照した結果により２値化画像におけるノイズ部分を判別し、２値化画像からノイズ部分を除去する工程とを含む画像処理方法。
【選択図】図１

Description

本発明は、画像処理方法及び画像処理装置に関する。

従来、金属結晶組織をカメラで撮像し、撮像された画像の結晶粒界を２値化することで粒子の平均粒径等を計測する方法、および装置が提案されている（例えば、特許文献１参照）。
特開平８−１０１１１４号公報

従来の方法では、２値化画像には、金属組織の結晶粒界とこの結晶粒界に接して表れたノイズ部分とを含むため、真の粒界を判別することができないという問題がある。

上記課題を解決するため、本発明に係る画像処理方法は、撮像装置によって標本を撮像し、標本画像を形成する工程と、前記標本画像の画像情報を記憶手段に記憶する工程と、前記画像情報に対して閾値設定手段により閾値を設定し、該閾値により前記標本画像から２値化画像を生成する工程と、演算部が前記画像情報を参照し、前記２値化画像と比較する工程と、前記演算部が前記画像情報を参照し、前記２値化画像と比較した結果により前記２値化画像におけるノイズ部分を判別する工程とを含むことを特徴とする。

また、本発明に係る画像処理装置は、標本を撮像する撮像装置と、前記撮像装置の信号から標本画像を形成する画像処理部と、前記標本画像の画像情報を記憶する記憶手段と、前記画像情報に対して閾値を設定する閾値設定手段と、該閾値により前記標本画像から２値化画像を生成し、前記画像情報を参照し、前記２値化画像と比較した結果により前記２値化画像におけるノイズ部分を判別する演算部とを備えたことを特徴とする。

本発明によれば、金属結晶組織の解析において、２値化画像に含まれるノイズ部分を判別して除去することができる画像処理方法および画像処理装置を提供することができる。

以下、本発明の一実施形態を、図面を参照して説明する。本実施形態では解析を行う標本として鉄を用いている。

図１は、本発明の一実施形態に係る画像処理装置１００の概略構成例を示す図である。
図１において、標本１の鉄は顕微鏡２のステージ６に載置されている。顕微鏡２の鏡筒部には標本１の像を撮像する撮像装置３が取付けられている。本実施形態では撮像装置３はデジタルカメラを用いている。撮像装置３で撮像された標本１の画像は、画像処理部４（本実施形態ではパーソナルコンピュータ）に取り込まれる。画像処理部４に取り込まれた画像情報や画像処理部４で画像処理された画像情報は、モニタ５に表示することができる。

画像処理部４は、取り込んだ画像情報や画像処理した画像情報を記憶するメモリ４ａ、取り込んだ画像情報を２値化するための閾値を設定する閾値設定手段４ｂ、２値化画像に表れたノイズ部分を判別し、除去する演算部４ｃ等を内蔵している。

図２は、撮像装置３で撮像された標本１の画像情報（以下、標本画像という）の模式図である。

図２において、標本画像ＩＭには、輝度値の異なる結晶粒子２０、２１、２２（以下、単に粒子という）が表示されている。また、標本画像ＩＭには、粒子２０と粒子２１との結晶粒界Ａ（以下、境界Ａという）、粒子２０と粒子２２との結晶粒界Ｂ（以下、境界Ｂという）、粒子２１と粒子２２との結晶粒界Ｃ（以下、境界Ｃという）が表示されている。境界Ａ、Ｂ、Ｃは、周囲に比べて輝度値が低いため、最も暗く表示されている。この標本画像ＩＭは画像処理部４のメモリ４ａに記憶される。このとき、標本画像ＩＭは、画像処理部４により標本画像ＩＭを構成する各画素における輝度値に対応した輝度情報（例えば０〜２５５段階のビット情報）に変換されメモリ４ａに記憶される。

また、製造段階において鉄の粒子の大きさは制御されることから、製造される鉄の最小の粒子の大きさ（以下、最小セグメントという）の面積を予め設定し、メモリ４ａに記憶させる。後述する２値化画像において、この最小セグメントと比較し、これよりも明らかに小さい粒子を構成するように表れた黒い線は、結晶粒界ではないことが明らかであるので、結晶粒界と結晶粒界ではない黒い線との判別が可能になる。

次に、この標本画像ＩＭを解析して、結晶粒界を取得する方法について説明する。

メモリ４ａに記憶された標本画像ＩＭの各画素の輝度情報（０〜２５５段階のビット情報）に対して、閾値設定手段４ｂにより、粒子と結晶粒界とを識別する値の閾値Ｄを設定し、標本画像ＩＭを２値化する。図３は、輝度値が０〜２５５の間で粒子と結晶粒界とを識別する閾値Ｄの一例を示している。標本画像ＩＭの各画素の輝度値が、設定した閾値Ｄ以下の領域を黒、設定した閾値よりも大きい領域を白として、２値化画像ＩＭ２を取得する。図４は、このようにして取得された標本画像ＩＭの２値化画像ＩＭ２の模式図である。

次に、図４の２値化画像ＩＭ２にセグメンテーションを施し、個々の粒子（以下、セグメントともいう）を抽出する。セグメントを抽出するには、粒子同士の境界（粒界）を正確に検出する必要がある。

図４の２値化画像ＩＭ２には、本来境界が存在しない領域に小さな黒い点１５、あるいは孤立した一つの粒子を構成するような閉じた領域を形成する黒い線１６がノイズとして表れる。これらは粒子の表面の微妙な違いや明るさの違い、あるいは汚れによって表面の他の部分よりも輝度値が低く、２値化するために設定された閾値Ｄよりも輝度値が低いために、２値化した際に黒となったものである。これらのノイズは、結晶粒界部分とは接していない。また、予め設定し、メモリ４ａに記憶させた最小セグメントと比較した場合、これよりも面積が小さいものである。したがってこれらはノイズによって形成された偽の粒子（以下、偽セグメントという）であり、これら偽セグメントを構成する点１５、線１６は結晶粒界でないことは容易に判断でき、操作者が演算部４ｃにノイズ部分を除去する指示を出して２値化画像ＩＭ２から除去することができる。

これらのノイズとは別に、図４の２値化画像ＩＭ２と比較した場合、粒子２０の領域中に、図２の標本画像ＩＭには存在しなかった黒い線Ｆが表れており、線Ｆの両端はそれぞれ境界Ａと境界Ｂとに接している。また、境界Ａと境界Ｂと境界Ｃとが接している三叉部Ｓから境界Ａと線Ｆとが接しているところまでの境界Ａ１と、三叉部Ｓから境界Ｂと線Ｆとが接しているところまでの境界Ｂ１と、線Ｆとで囲まれた領域２５は、一つの粒子を構成している。つまり、図４の２値化画像ＩＭ２において、線Ｆは領域２５と粒子２０との境界を形成している。なお、上述した黒い点１５等あるいは領域２５のような部分が偽セグメントであるか否かの判断は、予め設定した最小セグメントの大きさから演算部４ｃが機械的に判断しても良いし、例えば標本画像ＩＭと２値化画像ＩＭ２とをモニタ上に重ねて表示して操作者が目視で判断しても良い。ここでは、領域２５は、予め設定された最小セグメントよりも小さな領域であり、ノイズによって形成された偽セグメントであると判断できる。

線Ｆは、上述した黒い点１５等と同様に、粒子２０の表面の微妙な違いや明るさの違い、あるいは汚れによって表面の他の部分よりも輝度値が低く、閾値Ｄよりも輝度値が低いために、２値化した際に黒となったものである。したがって線Ｆは結晶粒界ではなくノイズである。

２値化画像ＩＭ２において粒子２０を抽出するためには、この偽セグメントを形成している線Ｆを除去し、粒子２０と領域２５とを一体化する必要がある。この一体化のためには、ノイズである線Ｆを除去し、かつ、境界Ａの一部である境界Ａ１および境界Ｂの一部である境界Ｂ１は除去せずに２値化画像ＩＭ２に残しておく必要がある。

線Ｆと境界Ａ１および境界Ｂ１とは、標本画像ＩＭを２値化する際に閾値Ｄよりも輝度値が低い領域として識別された領域である。したがって、２値化画像ＩＭ２において線Ｆと境界Ａ１と境界Ｂ１とは閾値Ｄよりも輝度値が低いという情報に基づいてモニタ５に表示されている。領域２５が最小セグメントよりも小さい粒子であるとして、上述した点１５、線１６と同様に演算部４ｃにノイズ部分を除去する指示を出すと、境界Ｆと共に結晶粒界である境界Ａ１と境界Ｂ１も同時に除去されてしまい、好ましくない。図５は、境界Ｆと共に誤って結晶粒界である境界Ａ１と境界Ｂ１も同時に除去された２値化画像ＩＭ３を示している。

そこで、演算部４ｃに、ノイズ部分を除去する指示を出す前に、メモリ４ａに記憶されている標本画像ＩＭの画像情報を参照するように指示を出す。演算部４ｃは、メモリ４ａに記憶された標本画像ＩＭの輝度情報を参照して、結晶粒界Ａ、Ｂ、Ｃとノイズ部分Ｆとを判別する。標本画像の輝度情報を参照することにより、誤って結晶粒界部分である境界Ａ１および境界Ｂ１を除去して、図５に示すような２値化画像ＩＭ３となってしまうことを防止している。

演算部４ｃにおけるノイズ除去の詳細は、以下に説明する。

画像処置部４の演算部４ｃは、メモリ４ａに記憶された標本画像ＩＭにおける各画素の輝度情報のうち、境界Ａ１部分を構成する各画素に対応する輝度情報を参照し、これらの輝度値を平均して境界Ａ１部分の平均の輝度値を求める。また、境界Ｂ１部分および線Ｆ部分についても同様に平均の輝度値を求める。このようにして求められた境界Ａ１部分、境界Ｂ１部分および線Ｆ部分の各平均の輝度値を比較し、最も平均の輝度値が大きい部分をノイズと判定する。

ここで最も平均の輝度値（０〜２５５の間の値）が大きい部分をノイズと判定する理由を説明する。

標本画像ＩＭにおいて結晶粒界部分Ａ、Ｂ、Ｃは光の反射が周囲に比べて少ないため、輝度値は小さい値である。粒子の部分２０、２１、２２は光を多く反射するので結晶粒界部分と比較して輝度値は大きい値になる。このような標本画像ＩＭを２値化した２値画像ＩＭ２に表れたノイズは、標本画像ＩＭにおける粒子部分に表れている。そこで、結晶粒界部分Ａ、Ｂに接して表れたノイズ部分Ｆと、ノイズ部分Ｆが接している結晶粒界部分Ａ、Ｂとの標本画像ＩＭにおける輝度値を比較した場合、ノイズ部分Ｆの輝度値の方が結晶粒界部分Ａ、Ｂよりも輝度値が大きい。したがって最も輝度値の大きい部分をノイズと判定することができる。ここで、ノイズ部分Ｆも結晶粒界部分Ａ、Ｂも、面積をもって２値化画像ＩＭ２に存在しているので、これら各部分の平均の輝度値を求め、比較する。

本実施形態においては、２値化画像ＩＭ２における境界Ａ１部分および境界Ｂ１部分は、標本画像ＩＭにおける結晶粒界に対応する部分であり、輝度値が小さな領域である。線Ｆ部分は標本画像ＩＭにおける粒子２０の部分であり、結晶粒界部分と比較して輝度値が大きい領域である。したがって、境界Ａ１部分および境界Ｂ１部分と比較して、線F部分の平均輝度値が最も大きい値となるので、演算部４ｃは線F部分がノイズであると判別できる。その結果、演算部４ｃは結晶粒界である境界Ａ１部分および境界Ｂ１部分を誤って除去することなくノイズ部分の線Ｆのみを除去することができ、偽セグメントである領域２５と粒子２０と一体化することができる。図６は、このようにしてノイズ部分である線Ｆのみを除去し、本来のセグメント２０、２１，２２が抽出された図の模式図ＩＭ３である。

このように、本発明の画像処理方法によれば、２値化画像におけるノイズ部分を判別でき、結晶粒界と、結晶粒界ではない部分とを見分けることができる。その結果、誤って結晶粒界を除去してしまうことがなくなり、正確に粒子の境界を取得することができる。
なお、上記実施形態においては、標本画像における輝度値が設定した閾値以下の領域を黒、設定した閾値よりも大きい領域を白として２値化画像を生成したが、設定した閾値以下の領域を白、設定した閾値よりも大きい領域を黒として２値化画像を生成しても良い。

また、上記実施形態では標本画像の輝度情報を参照して画像処理を行ったが、例えば標本画像の色の違いを参照して画像処理を行っても良い。

また、上記実施形態は鉄の解析を例に説明したが、本発明は鉄に限らず他の粒子の解析に用いることができる。

このように、本発明は上記実施形態の構成や形状に限定されるものではなく、本発明の範囲内において適宜修正、変更が可能である。

本発明の実施形態に用いた画像処理装置の構成を示す図である。 撮像装置で撮像された標本の画像の模式図である。 粒子と境界とを識別する値の閾値Ｄの例である。 図２の標本画像から生成した２値化画像の模式図である。 図４の２値化画像から誤って結晶粒界を除去してしまった図である。 図４の２値化画像からノイズ部分を除去した図である。

符号の説明

１ 標本
２ 顕微鏡
３ 撮像装置
４ 画像処理部
４ａ メモリ
４ｂ 閾値設定手段
４ｃ 演算部
５ モニタ
６ ステージ
２０、２１、２２ 粒子
１５、１６、２５ 偽セグメント
１００ 画像処理装置

Claims (7)

1. 撮像装置によって標本を撮像し、標本画像を形成する工程と、
   前記標本画像の画像情報を記憶手段に記憶する工程と、
   前記画像情報に対して閾値設定手段により閾値を設定し、該閾値により前記標本画像から２値化画像を生成する工程と、
   演算部が前記画像情報を参照し、前記２値化画像と比較する工程と、
   前記演算部が前記画像情報を参照し、前記２値化画像と比較した結果により前記２値化画像におけるノイズ部分を判別する工程とを含むことを特徴とする画像処理方法。
2. 前記演算部が前記２値化画像から前記ノイズ部分を除去する工程を含むことを特徴とする請求項１に記載の画像処理方法。
3. 前記演算部が参照する前記画像情報は、前記２値化画像における前記ノイズ部分に対応する領域の前記画像情報と前記ノイズ部分以外の部分に対応する領域の前記画像情報とであることを特徴とする請求項１又は２に記載の画像処理方法。
4. 前記標本は金属結晶組織であり、前記ノイズ部分は、前記２値化画像における前記金属の結晶粒界部分に両端が接している線状の領域であり、前記ノイズ部分以外の部分は、前記２値化画像における前記結晶粒界部分であることを特徴とする請求項３に記載の画像処理方法。
5. 前記画像情報は、前記標本画像の各画素の輝度値であることを特徴とする請求項１〜４の何れか一項に記載の画像処理方法。
6. 前記演算部が参照する前記画像情報は、前記記憶手段に記憶された前記ノイズ部分に対応する領域における各画素の前記輝度値の平均値と、前記結晶粒界部分に対応する領域における各画素の前記輝度値の平均値とであり、平均値が最も大きい領域をノイズ部分として前記２値化画像から除去することを特徴とする請求項５に記載の画像処理方法。
7. 標本を撮像する撮像装置と、
   前記撮像装置の信号から標本画像を形成する画像処理部と、
   前記標本画像の画像情報を記憶する記憶手段と、
   前記画像情報に対して閾値を設定する閾値設定手段と、
   該閾値により前記標本画像から２値化画像を生成し、前記画像情報を参照し、前記２値化画像と比較した結果により前記２値化画像におけるノイズ部分を判別する演算部とを備えたことを特徴とする画像処理装置。

Images