JP2007058354A - 画像解析装置、画像解析方法、及び画像解析処理のためのプログラム - Google Patents

Abstract

【課題】背景に濃淡むらのある画像から２値化によって計測対象物の画像を画面全体に亘って抽出する。
【解決手段】画像処理部４５は、原画像データを入力する入力部４４１と入力部４４１から供給された原画像データを構成する画素に対する輝度レベルを表す波形を水平方向に多項式近似した画像データを生成する多項式近似部４４２と、近似波形の輝度レベルが最大又は最小の画素を選択するフィルタ処理を行うフィルタ部４４３と、フィルタ処理された画像データを用いて原画像データを画像処理して検出対象物の画像データを抽出する差分演算部４４４とを備え、原画像データと該原画像データから背景画像を生成し、これらの差分演算により原画像における背景画像を除去して濃淡むらのある原画像から検出対象物の画像を抽出する画像解析を行っている。
【選択図】図３

Description

本発明は、シート上の粒子を撮影した粒子画像の画像解析を行う画像解析装置及びその画像解析方法、また、シート上の粒子を撮影した粒子画像の画像解析処理をコンピュータに実行させるためのプログラムに関する。

近年、レーザ走査型顕微鏡より取得した画像中に点在する細胞に対して粒子解析技術を駆使して粒子の特徴量（輝度値の総和、ピーク値、面積、長径、短径、周囲長など）を検出し、その統計量をオペレータに提示する光学式のサイトメータがある。このような光学式サイトメータにより生成される粒子画像は、照射レーザのスポット位置による光量ムラなどにより画像中に輝度ムラが発生しやすく、この輝度ムラが粒子抽出処理や粒子の特徴量に影響を及ぼして統計精度を著しく低下させることがあった。そのため、上述したサイトメータのような画像解析により対象物の特徴を検出する装置では、種々の対応策が採られている。

撮影した画像データの輝度ムラによる特徴検出精度の低下等の不都合を解決するものとして、画像の低周波成分をフィルタで抽出し、これを背景情報として原画像から差し引くことにより輝度ムラを削除する方法、またはオペレータが目視によって確認した粒子画像の背景位置とその輝度情報、または自動的にサンプリングした背景位置とその輝度情報から最小自乗法により２次曲面式を求めて、この２次曲線により計算される画像を背景情報として原画像から差し引くことにより輝度ムラを削除する方法などが考えられている。

また、１枚の原画像の一定方向の輝度データの断面波形を多数加算平均し、得られた波形と原画像の各断面波形との差分により背景を均一化する方法、多数の原画像の加算平均画像を作成し、加算平均画像と原画像の差分により背景を均一化する方法もまた一般的である。

更にまた、例えば、背景モデル関数の係数を数値解析的に原画像と背景モデル関数により作られる背景画像の自乗誤差が最小になる値を最適値として求め、求められた係数を背景モデル関数に当て嵌めて背景画像を作成し、作成された背景画像で原画像を画像演算して背景除去画像を作成する方法が提案されている（特許文献１参照）。

特開２００２−９２５８６号公報

ところが、上述した断面波形の加算平均により背景画像を作成し原画像との差分を取る方法は、被検出対象物を撮影した１枚の画像データから除去するための背景画像を作成できるという利点があるが、対象物が画像データのうち対象物が占める割合が大きく背景領域の占める割合が小さい場合には特に、平均処理によって背景画像を生成することができない。また、被検出対象物である粒子が周期的に配列されていることも背景画像を生成できない理由の１つである。

また、多数の画像の加算平均により背景画像を作成する例では、背景の濃淡むらが一定の場合に効果大であるが、背景画像が一定でなく常時変化する場合には効果が小さい。例えば、搬送ベルト等に乗って搬送される粒子に対する特徴検出等には適用できない。また、背景画像が不均一な場合、画面全域に亘って一様に最適な濃淡で２値化することができないという問題点があった。

そこで本発明は、このような従来の実情に鑑みて提案されたものであり、背景に濃淡むらのある画像から、２値化によって計測対象物の画像を画面全体に亘って抽出する画像解析装置、画像解析方法、及び画像解析処理のためのプログラムを提供することを目的とする。

上述した課題を解決するために、本発明に係る画像解析装置は、原画像データを構成する画素に対する輝度レベルを表す波形を水平方向に多項式近似した画像データを生成する近似画像生成手段と、近似画像生成手段において生成した近似波形の輝度レベルが最大又は最小の画素を選択するフィルタ処理を行うフィルタ手段と、フィルタ手段によりフィルタ処理された画像データを用いて原画像データを画像処理して上記検出対象物の画像データを抽出する画像処理手段とを備え、原画像と該原画像から生成される背景画像との差分演算により原画像における背景画像を除去することにより濃淡むらのある原画像から検出対象物の画像を抽出する。ここで、画像処理手段は、フィルタ手段によりフィルタ処理された画像データと原画像データとの差分画像データを２値化処理して検出対象物の画像データを抽出する。また、多項式近似画像としては、特に８次式近似画像を使用することが好ましい。特に、検出対象物が粒子であるとき好適である。

また、上述した課題を解決するために、本発明に係る画像解析方法は、原画像データを構成する画素に対する輝度レベルを表す波形を水平方向に多項式近似した画像データを生成する近似画像生成工程と、近似画像生成工程で生成した近似波形の輝度レベルが最大又は最小の画素を選択するフィルタ処理を行うフィルタ工程と、フィルタ処理された画像データを用いて原画像データを画像処理して検出対象物の画像データを抽出する画像処理工程とを有し、原画像と該原画像から生成される背景画像との差分演算により原画像における背景画像を除去することにより濃淡むらのある原画像から検出対象物の画像を抽出する。特に、検出対象物が粒子であるときに好適である。

また、上述した課題を解決するために、本発明に係る画像解析処理のためのプログラムは、コンピュータによって制御され、原画像データを入力する手段と、該原画像データに対して所定の画像処理を施す手段とを備え、コンピュータによって制御されて原画像から検出対象物の画像を抽出する画像解析処理が実行される情報処理機器に対して、所定の画像解析処理を実行させるプログラムにおいて、原画像データを構成する画素に対する輝度レベルを表す波形を水平方向に多項式近似した画像データを生成する近似画像生成工程と、近似画像生成工程で生成した近似波形の輝度レベルが最大又は最小の画素を選択するフィルタ処理を行うフィルタ工程と、フィルタ処理された画像データを用いて原画像データを画像処理して検出対象物の画像データを抽出する画像処理工程とを有し、原画像と該原画像から生成される背景画像との差分演算により原画像における背景画像を除去するとともに濃淡むらのある原画像から検出対象物の画像を抽出する画像解析処理を情報処理機器に実行させることを特徴とする。

本発明によれば、画像全体の面積に対して背景領域の占める割合が小さい場合、抽出対象物が周期的に配列されている場合、また背景画像が変化するために基準となる背景画像差分を決められない場合であっても、背景画像を効率よく除去し対象物の画像をむら無く抽出することができる。

本発明の実施の形態として示す画像解析装置を図面を参照して詳細に説明する。画像解析装置は、粒子状材料、粉体粒子等の特徴量を抽出するための画像解析を行う装置である。以下、本発明の実施の形態として示す画像解析装置について図面を参照して詳細に説明する。図１は、画像解析装置を適用した粒子検査装置を示している。粒子検査装置１は、主として、粒子状材料５を製造する造粒装置２と、製造された粒子５を観測する観測系３と、粒子の特徴量を抽出する画像解析装置４とからなる。

造粒装置２は、熱可塑性樹脂ペレット、或いは粉体粒子、粒子状材料等の粒子５を製造し、観測系３に延長される搬送ベルト３１上に排出する。本実施の形態に適用可能な粒子としては、例えば、メタクリル樹脂、メタクリル酸メチル−スチレン共重合体（ＭＳ樹脂）、ポリエチレン（ＰＥ）、ポリプロピレン（ＰＰ）等のポリオレフィン、ポリカーボネイト（ＰＣ）、ポリ塩化ビニル（ＰＶＣ）、ポリスチレン（ＰＳ）等の熱可塑性樹脂の粒子、肥料等の有機化合物の粒子、硫安等の無機化合物等の粒子である。

観測系３は、造粒装置２で製造された粒子状材料又は粉体粒子５を搬送する搬送ベルト３１と、搬送ベルト３１上を搬送される粒子５を観測するための観測窓３２を備えている。観測窓３２には、一例として、カメラ４１が向けられている。カメラ４１としては、ＣＣＤラインセンサ、ＣＣＤエリアセンサ等が使用可能であるが、以下では、ＣＣＤエリアセンサを用いた例について説明する。

画像解析装置４は、観測系３を搬送される粒子５の特徴量を抽出するための画像解析を行っている。図２に画像解析装置４の構成を示す。画像解析装置４は、ＣＣＤエリアセンサ４１と、ＣＣＤエリアセンサ４１において取得した画像データを入力するインタフェイス部４２と、画像データをメモリ４４に保存する又はメモリから読み出す制御を行うメモリドライバ４３と、ＣＣＤエリアセンサ４１によって取得されメモリ４４に格納された原画像データから背景画像を算出し検出対象物を抽出する画像処理を行う画像処理部４５とを備えており、これらの各構成が制御部４６によって統括され制御されている。

画像解析装置４は、このほかにユーザによって操作入力が行われる操作パネル４７、検査に関連するメッセージや検査結果を表示するための表示デバイスドライバ４８及び表示デバイス４９を備えている。画像解析装置４は、画像処理演算が実行可能なパーソナルコンピュータ等の情報処理機器であってもよい。

ＣＣＤエリアセンサ４１は、一例として、幅方向に５１２×４８０画素程度のセンサであり、マクロレンズを通して光が入射する。図示しないが、同一センサを適宜並列することにより、搬送ベルト３１の幅（すなわち観測領域）に対応させている。また、光学式サイトメータのためのレーザ発生装置、走査型顕微鏡等であってもよい。

インタフェイス部４２は、ＣＣＤエリアセンサ４１から送られた画像データにＡ／Ｄ変換器等を施して、後段の画像処理で扱うデータ形式に変換している。

メモリ４４は、インタフェイス部４２から入力した画像データを一時的に格納する。または、本実施の形態によって抽出された検出対象物としての粒子の画像を格納する。一連の画像処理における作業領域として使用されてもよい。

画像処理部４５は、原画像データと該原画像データから背景画像を生成し、これらの差分演算により原画像における背景画像を除去して濃淡むらのある原画像から検出対象物の画像を抽出する画像解析を行っている。図３に画像処理部４５の構成を示す。画像処理部４５は、原画像データを入力する入力部４４１と入力部４４１から供給された原画像データを構成する画素に対する輝度レベルを表す波形を水平方向に多項式近似した画像データを生成する多項式近似部４４２と、近似波形の輝度レベルが最大又は最小の画素を選択するフィルタ処理を行うフィルタ部４４３と、フィルタ処理された画像データを用いて原画像データを画像処理して検出対象物の画像データを抽出する差分演算部４４４とを備えている。差分演算部４４４において比較される原画像は、遅延部４４５を介して入力部４４１から供給されている。

原画像において検出対象物である粒子５に対する背景のむらは、搬送ベルト３１によって流れ運ばれる粒子画像の変化周期よりも緩やかに変化する。これは、すなわち多項式で背景曲線を表現可能であることを示している。しかし、粒子画像の周期性により多項式のオフセットが変動する。そのため、多項式により近似した後、この変動を除去できれば背景画像を作成可能である。そこで、本実施の形態では、フィルタ部４４３において、近似波形の輝度レベルが最大又は最小の画素を選択するフィルタ処理を行っている。なお、多項式として８次式を例にして述べたが、本発明はこれに限定されるものではない。定にしたが、以下では、画像処理部４５における画像処理を図面を用いて詳細に説明する。

図４に、入力部４４１に供給された原画像を示す。図４の原画像データが多項式近似部４４２に供給され多項式近似される。図５（ａ）には、原画像の粒の中心を通るラインＬ１上の画素に対する輝度レベルの断面波形及び８次式近似変形を示す。図５（ｂ）には、原画像の背景を多く通るラインＬ２上の画素に対する輝度レベルの断面波形及び８次式近似波形を示す。図６には、図４の原画像データの画素に対する輝度レベルの断面波形に対して８次式近似した波形から生成される近似画像を示す。

フィルタ部４４３は、多項式近似部４４２で生成された図６に示す近似画像の輝度レベルが最大（又は最小）の画素を選択するフィルタ処理を行う。フィルタ処理の結果を図７に示す。フィルタ部４４３は、フィルタ処理された画像データを差分演算部４４４に供給する。差分演算部４４４は、フィルタ処理された図７に示す画像データと図４に示す原画像データとの差分画像データを算出する。更にまた、この差分画像データを２値化処理して検出対象物の画像データを抽出する。差分画像を図８に、また最終的な粒子５の２値化データを図９に示す。

以上説明したように、本発明の実施の形態である画像解析装置４は、ＣＣＤエリアセンサ４１で撮影されインタフェイス部４２を介して取得した原画像データを入力し、多項式近似部４４２において入力部４４１から供給された原画像データを構成する画素に対する輝度レベルを表す波形を水平方向に多項式近似した画像データを生成し、フィルタ部４４３において近似波形の輝度レベルが最大又は最小の画素を選択するフィルタ処理を行い、フィルタ処理された画像データを用いて差分演算部４４４において原画像と該原画像から生成される背景画像との差分演算により原画像における背景画像を除去することにより、濃淡むらのある原画像から検出対象物の鮮明な２値化画像を抽出することができる。

なお、画像処理部４５における各構成で実行される処理は、制御部４６によって実行されるソフトウェアモジュールとして、通常、実現される。デバイス制御、マルチタスク動作環境、タイマ等の機能をもった一般的なマルチタスクＯＳ上で、図３において各回路構成の繋がりで達成される一連の画像解析処理を実行するプログラムによって各ソフトウェアモジュールを動作させることで実現することができる。

以下では、従来の（１）２値化法、（２）断面波形の加算平均法、（３）２０枚の原画像を加算した加算平均法、（４）原画像データを構成する画素に対する輝度レベルを表す波形を水平方向に多項式（８次式）近似した画像データを生成し、生成した近似波形の輝度レベルが最大又は最小の画素を選択するフィルタ処理を行い、フィルタ処理された画像データを用いて原画像データを画像処理して検出対象物の画像データを抽出する本実施の形態における方法のそれぞれを用いて、画像解析を行った例について比較する。

上記（１）〜（４）の方法に対して、（Ａ）１画面に抽出された抽出塊（粒子数と略同数）（但し、１画面における面積が１０画素以上連結したものを１塊単位とした。）、（Ｂ）全抽出塊によって占められる面積の平均、（Ｂ）標準偏差、（Ｃ）抽出塊によって占められる最大面積を算出した。抽出された粒子画像の結果を図１１〜図１４に示す。なお、図１０は、原画像データを示し、図１５は、抽出塊によって占められる面積の度数分布を各方法毎に示す。

図１１は、直接２値化法によって算出された粒子画像の２値化データを示している。このとき、（Ａ）２５６個、（Ｂ）９６画素、（Ｂ）５５９９、（Ｃ）８９６６２であった。また、図１２は、断面波形の加算平均法によって算出された粒子画像の２値化データを示している。このとき、（Ａ）１４４個、（Ｂ）１１０９画素、（Ｂ）９４９０、（Ｃ）１１３２００であった。図１３は、２０枚の画像を加算した加算平均法によって算出された粒子画像の２値化データを示している。このとき、（Ａ）２５６個、（Ｂ）５１７画素、（Ｂ）４４５４、（Ｃ）７１３３５であった。また、図１４には、本発明の実施の形態として示す方法によって算出された粒子画像の２値化データを示す。本実施の形態の場合、（Ａ）２５６個、（Ｂ）１０９画素、（Ｂ）７６、（Ｃ）５０１であった。

したがって、本実施の形態の画像解析装置４によれば、粒子の中心を通る断面と背景を多く通過する断面とで輝度に差が生じるため、多項式（ここでは８次式）近似画像を用いることにより粒子による輝度変化を無視して背景の変化のみを表現することができる。

また、断面が粒子を通るか通らないかによって近似波形の平均レベルが大きく変動するため、近似後の画像は、輝度が周期的に変化する画像になる。そこで、この１周期に相当する範囲内で最も輝度が低い（または高い）画素を選択するようなフィルタ処理（最小値フィルタ、最大値フィルタ）を行うことにより、この変動を除去することができる。

このようにして生成した背景画像と原画像との差分をとることで、背景のむらを効果的に除去できることが実証された。また、粒子画像の２値化データをみると、従来の（１）〜（３）の２値化データと比べて背景除去効果が大幅に改善されている。

本発明の実施の形態として示す粒子検査装置を説明する概略図である。 上記粒子検査装置における画像解析装置を説明する構成図である。 上記画像解析装置における画像処理部を説明する構成図である。 ＣＣＤエリアセンサで取得された原画像を示す図である。 （ａ）は、原画像の粒の中心を通るラインＬ１上の画素に対する輝度レベルの断面波形及び８次式近似変形を示す波形図であり、（ｂ）は、原画像の背景を多く通るラインＬ２上の画素に対する輝度レベルの断面波形及び８次式近似波形を示す波形図である。 図４の原画像データの画素に対する輝度レベルの断面波形に対して８次式近似した波形から生成される近似画像を示す図である。 近似画像の輝度レベルが最大（又は最小）の画素を選択するフィルタ処理の結果を示す図である。 フィルタ処理された図７に示す画像データと図４に示す原画像データとの差分画像データを示す図である。 最終的な抽出される粒子の２値化データを示す図である。 原画像データを示す図である。 直接２値化法によって算出された粒子画像の２値化データを示す図である。 断面波形の加算平均法によって算出された粒子画像の２値化データを示す図である。 ２０枚の画像を加算した加算平均法によって算出された粒子画像の２値化データを示す図である。 本発明の実施の形態として示す方法によって算出された粒子画像の２値化データを示す図である。 抽出塊によって占められる面積の度数分布を各方法毎に示した分布図である。

符号の説明

１ 粒子検査装置、 ２ 造粒装置、 ３ 観測系、 ４ 画像解析装置、 ５ 粒子、 ３１ 搬送ベルト、 ３２ 観測窓、 ４１ カメラ、 ４２ インタフェイス部、 ４３ メモリドライバ、 ４４ メモリ、 ４５ 画像処理部、 ４６ 制御部、 ４７ 操作パネル、 ４８ 表示デバイスドライバ、 ４９ 表示デバイス

Claims (9)

1. 原画像と該原画像から生成される背景画像との差分演算により原画像における背景画像を除去することにより濃淡むらのある原画像から検出対象物の画像を抽出する画像解析装置において、
   上記原画像データを構成する画素に対する輝度レベルを表す波形を水平方向に多項式近似した画像データを生成する近似画像生成手段と、
   上記近似画像生成手段において生成した近似波形の輝度レベルが最大又は最小の画素を選択するフィルタ処理を行うフィルタ手段と、
   上記フィルタ手段によりフィルタ処理された画像データを用いて上記原画像データを画像処理して上記検出対象物の画像データを抽出する画像処理手段と
   を備えることを特徴とする画像解析装置。
2. 上記多項式近似画像は、８次式近似画像であることを特徴とする請求項１記載の画像解析装置。
3. 上記画像処理手段は、上記フィルタ手段によりフィルタ処理された画像データと上記原画像データとの差分画像データを２値化処理して上記検出対象物の画像データを抽出することを特徴とする請求項１記載の画像解析装置。
4. 上記検出対象物が粒子であることを特徴とする請求項１記載の画像解析装置。
5. 原画像と該原画像から生成される背景画像との差分演算により原画像における背景画像を除去することにより濃淡むらのある原画像から検出対象物の画像を抽出する画像解析方法において、
   上記原画像データを構成する画素に対する輝度レベルを表す波形を水平方向に多項式近似した画像データを生成する近似画像生成工程と、
   上記近似画像生成工程で生成した近似波形の輝度レベルが最大又は最小の画素を選択するフィルタ処理を行うフィルタ工程と、
   上記フィルタ処理された画像データを用いて上記原画像データを画像処理して上記検出対象物の画像データを抽出する画像処理工程と
   を有することを特徴とする画像解析方法。
6. 上記多項式近似画像は、８次式近似画像であることを特徴とする請求項５記載の画像解析方法。
7. 上記画像処理工程は、上記フィルタ処理された画像データと上記原画像データとの差分画像データを２値化処理して上記検出対象物の画像データを抽出することを特徴とする請求項５記載の画像解析方法。
8. 上記検出対象物が粒子であることを特徴とする請求項５記載の画像解析方法。
9. コンピュータによって制御され、原画像データを入力する手段と、該原画像データに対して所定の画像処理を施す手段とを備え、コンピュータによって制御されて原画像から検出対象物の画像を抽出する画像解析処理が実行される情報処理機器に対して、所定の画像解析処理を実行させるプログラムにおいて、
   上記原画像データを構成する画素に対する輝度レベルを表す波形を水平方向に多項式近似した画像データを生成する近似画像生成工程と、
   上記近似画像生成工程で生成した近似波形の輝度レベルが最大又は最小の画素を選択するフィルタ処理を行うフィルタ工程と、
   上記フィルタ処理された画像データを用いて上記原画像データを画像処理して上記検出対象物の画像データを抽出する画像処理工程とを有し、
   原画像と該原画像から生成される背景画像との差分演算により原画像における背景画像を除去するとともに濃淡むらのある原画像から検出対象物の画像を抽出する画像解析処理を上記情報処理機器に実行させることを特徴とするプログラム。

Images