JP2009276902A - マルチスペクトル画像の処理装置、処理方法及び処理プログラム - Google Patents

Abstract

【課題】マルチスペクトル画像中の背景部とは異なるスペクトルを持つ特異部位を容易に且つ安定して抽出することができるマルチスペクトル画像の処理装置を提供する。
【解決手段】マルチスペクトルカメラ１で撮像されたマルチスペクトル画像が画像入力部２により入力されてメモリ５に保存される。特異部位が存在しない教師用マルチスペクトル画像に対して注目する複数の背景部が互いに等しいスペクトルとなるように画像を変換するための変換パラメータが変換パラメータ算出部６で算出され、算出された変換パラメータを用いて画像入力部２で取り込まれたマルチスペクトル画像が画像変換部３により変換される。画像変換部３で変換された変換画像に対してしきい値処理を施すことで特異部位抽出部４により特異部位が抽出される。
【選択図】図１

Description

この発明は、マルチスペクトル画像の処理装置に係り、特にマルチスペクトル画像中の背景部分と異なるスペクトルを持つ特異部位を抽出する装置に関する。
また、本発明は、このようなマルチスペクトル画像の処理を行う処理方法及び処理プログラムにも関している。

近年、画像の色情報を表現する手段として、いわゆるマルチスペクトル画像が使用されている。このマルチスペクトル画像は、画像の各画素毎に複数の波長帯に分割された分光情報を備え、画像中の目標抽出やリモートセンシングにおける領域分割等に利用されている（例えば、下記特許文献１参照）。
従来は、欠陥、異物等の目標を抽出する場合に、マルチスペクトル画像からスペクトルで領域分けすることにより特徴のある各領域に分割して目標を抽出していた。例えば、互いに異なる特徴を持つＮ個の領域に分割し、これらの領域の中から、注目する特徴を持つ領域が抽出される。
特開２０００−１１３１５９号公報

しかしながら、この方法ではＮ個の領域のパラメータが必要になり、目標抽出の処理が煩雑になってしまう。
また、互いに異なる領域の境界部分では、ひとつの画素内に複数の波長帯の光が含まれることから中間色が生成されるため、目標の抽出が不安定になるおそれがあると共に、抽出した目標の画像にエッジ強調などの処理を施す場合には、境界部分の処理が不安定になるという問題があった。
この発明は、このような問題点を解消するためになされたもので、マルチスペクトル画像中の背景部とは異なるスペクトルを持つ特異部位を容易に且つ安定して抽出することができるマルチスペクトル画像の処理装置、処理方法及び処理プログラムを提供することを目的とする。

この発明に係るマルチスペクトル画像の処理装置は、互いにスペクトルが異なる複数の背景部を有するマルチスペクトル画像からこれら複数の背景部とは異なるスペクトルを有する特異部位を抽出する装置であって、マルチスペクトル画像を複数の波長帯毎の各画素の明度を表す入力画像として取り込む画像入力部と、
特異部位が存在しない教師用マルチスペクトル画像に対して変換を施した画像中の注目する複数の背景部が互いに等しい値となるように画像を変換するための変換パラメータを算出する変換パラメータ算出部と、変換パラメータ算出部で算出された変換パラメータを用いて前記画像入力部で取り込まれた入力画像を変換する画像変換部と、画像変換部で変換された変換画像に対してしきい値処理を施すことにより特異部位を抽出する特異部位抽出部とを備えたものである。

この発明に係るマルチスペクトル画像の処理方法は、互いにスペクトルが異なる複数の背景部を有するマルチスペクトル画像からこれら複数の背景部とは異なるスペクトルを有する特異部位を抽出する方法であって、マルチスペクトル画像を複数の波長帯毎の各画素の明度を表す入力画像として取り込み、特異部位が存在しない教師用マルチスペクトル画像に対して注目する複数の背景部が互いに等しいスペクトルとなるように画像を変換するための変換パラメータを算出し、算出された変換パラメータを用いて取り込まれた入力画像を変換し、変換された画像に対してしきい値処理を施すことにより特異部位を抽出する方法である。

この発明に係るマルチスペクトル画像の処理プログラムは、互いにスペクトルが異なる複数の背景部を有するマルチスペクトル画像からこれら複数の背景部とは異なるスペクトルを有する特異部位を抽出するプログラムであって、マルチスペクトル画像を複数の波長帯毎の各画素の明度を表す入力画像として取り込むステップと、特異部位が存在しない教師用マルチスペクトル画像に対して変換を施した画像中の注目する複数の背景部が互いに等しい値となるように画像を変換するための変換パラメータを算出するステップと、算出された変換パラメータを用いて取り込まれた入力画像を変換するステップと、変換された画像に対してしきい値処理を施すことにより特異部位を抽出するステップとをコンピュータに実行させるものである。

この発明によれば、特異部位が存在しない教師用マルチスペクトル画像に対して変換を施した画像中の注目する複数の背景部が互いに等しい値となるように画像を変換するための変換パラメータを算出し、算出された変換パラメータを用いて取り込まれた入力画像を変換するので、変換画像において、背景部とは異なるスペクトルを持つ特異部位が強調され、この特異部位を容易に且つ安定して抽出することが可能となる。

以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態１
図１に実施の形態１に係るマルチスペクトル画像の処理装置の構成を示す。マルチスペクトルカメラ１に画像入力部２が接続され、画像入力部２に画像変換部３が接続され、さらに画像変換部３に特異部位抽出部４が接続されている。また、画像入力部２にメモリ５が接続され、メモリ５に変換パラメータ算出部６が接続されると共に、変換パラメータ算出部６に画像変換部３が接続されている。

マルチスペクトルカメラ１は、撮像レンズを通過した光を複数の波長帯λｉ（ｉ＝１〜ｎλ）に分解し、分解されたそれぞれの光を２次元センサ面上に結像することにより、マルチスペクトル画像を表す映像信号を得るものである。ここでは、ＲＧＢの３波長帯を利用する、いわゆるカラーカメラもマルチスペクトルカメラ１に含まれるものとする。
画像入力部２は、マルチスペクトルカメラ１からの映像信号をデジタル信号として入力してメモリ５に保存するもので、この画像入力部２によりマルチスペクトル画像が複数の波長帯λｉ毎の各画素の明度を表す入力画像として取り込まれる。

変換パラメータ算出部６は、特異部位が存在しない教師用マルチスペクトル画像に対して注目する複数の背景部が互いに等しい値を有する低コントラスト画像となるように画像を変換するための変換パラメータαｉ（ｉ＝１〜ｎλ）を算出するものである。
画像変換部３は、変換パラメータ算出部６で算出された変換パラメータαｉを用いて入力画像を変換するものである。
さらに、特異部位抽出部４は、画像変換部３で変換された画像に対してしきい値を設定することにより特異部位を抽出する。
なお、画像入力部２、画像変換部３、特異部位抽出部４、メモリ５、変換パラメータ算出部６は、コンピュータにより構成することができる。

次に、図２のフローチャートを参照して実施の形態１の作用について説明する。
ステップＳ１で、入力画像を変換するための変換パラメータを算出する変換パラメータ算出処理が行われる。図３に示されるように、この変換パラメータ算出処理においては、まず、画像入力部２によりマルチスペクトルカメラ１から特異部位が存在しない教師用マルチスペクトル画像が入力される。教師用マルチスペクトル画像は、複数の波長帯λｉ（ｉ＝１〜ｎλ）における座標（ｘ，ｙ）の画素の明度を表す入力画像Ｆ（ｘ、ｙ；λｉ）として入力され、メモリ５に保存される。

次に、特異部位を抽出するために注目すべき複数の背景部Ｃｊ（ｊ＝１〜ｎ_C）の指定が行われると共に、特異部位抽出のために入力画像を変換する変換式が変換パラメータαｉ（ｉ＝１〜ｎλ）を用いて以下のように定められる。
Ｉ（ｘ、ｙ）＝α１・Ｆ（ｘ、ｙ；λ１）＋α２・Ｆ（ｘ、ｙ；λ２）
＋・・・＋αｎλ・Ｆ（ｘ、ｙ；λｎλ）
＝Σαｉ・Ｆ（ｘ、ｙ；λｉ） ・・・（１）
この変換式は、各画素において、複数の波長帯λｉに対する入力画像Ｆ（ｘ、ｙ；λｉ）を合成して濃淡のみを有する変換画像Ｉ（ｘ、ｙ）に変換するものである。ここで、変換パラメータ算出部６は、Ｉ₀を所定値としてＩ（ｘ、ｙ）＝Ｉ₀、（ｘ、ｙ）⊂｛Ｃ１∪Ｃ２∪・・・∪Ｃｎ_C｝となるように、最小自乗法により最適な変換パラメータαｉ（ｉ＝１〜ｎλ）を算出する。すなわち、注目する背景部Ｃｊが互いに等しい値を有する低コントラスト画像となるように変換パラメータαｉが算出される。

このようにして変換パラメータαｉが算出されると、図２のステップＳ２で、入力画像を変換する画像変換処理が行われる。図４に示されるように、この画像変換処理においては、処理対象となるマルチスペクトル画像がマルチスペクトルカメラ１で取得され、画像入力部２により入力されてメモリ５に保存される。このマルチスペクトル画像は、上述した教師用マルチスペクトル画像と同様に、複数の波長帯λｉ（ｉ＝１〜ｎλ）における座標（ｘ，ｙ）の画素の明度を表す入力画像Ｆ（ｘ、ｙ；λｉ）として入力される。
画像変換部３は、変換パラメータ算出部６で算出された変換パラメータαｉを用い、上記の変換式（１）により入力画像Ｆ（ｘ、ｙ；λｉ）を変換して変換画像Ｉ（ｘ、ｙ）を得る。

この変換画像Ｉ（ｘ、ｙ）は、各画素において、複数の波長帯λｉに対する入力画像Ｆ（ｘ、ｙ；λｉ）を合成して濃淡のみを有する濃淡画像となっているが、ステップＳ１で算出された変換パラメータαｉを用いて入力画像Ｆ（ｘ、ｙ；λｉ）を変換したものであるため、注目する複数の背景部Ｃｊが互いに等しい値を有している。ところが、入力画像Ｆ（ｘ、ｙ；λｉ）に背景部Ｃｊとは異なるスペクトルを持つ特異部位が存在する場合には、その特異部位は、ステップＳ１で算出された変換パラメータαｉを用いた変換では背景部Ｃｊと等しい値にはなり得ない。したがって、互いに等しい値となった複数の背景部Ｃｊに対して、特異部位のみが異なる明度を有し、強調されることとなる。

そこで、図２のステップＳ３で、明度の差異を利用して変換画像Ｉ（ｘ、ｙ）から特異部位を抽出する特異部位抽出処理が行われる。上述したように、変換画像Ｉ（ｘ、ｙ）においては、注目する複数の背景部Ｃｊの明度に対して特異部位の明度が異なるので、明度に関するしきい値処理を施すことにより、特異部位を抽出することが可能となる。

実施の形態２
上記の実施の形態１では、変換パラメータ算出部６が、注目する複数の背景部Ｃｊ内の任意の画素に対する変換画像Ｉ（ｘ、ｙ）の値が互いに等しい値となるように最小自乗法により変換パラメータαｉを算出したが、これに限るものではなく、各背景部Ｃｊ内の入力画像Ｆ（ｘ、ｙ；λｉ）の平均を利用して変換パラメータαｉを算出することもできる。
すなわち、変換パラメータ算出部６は、画像入力部２により入力された教師用マルチスペクトル画像の注目すべき背景部Ｃｊ（ｊ＝１〜ｎ_C）毎に入力画像Ｆ（ｘ、ｙ；λｉ）の平均Ｇｉｊ（ｉ＝１〜ｎλ、ｊ＝１〜ｎ_C）を算出する。
Ｇｉｊ＝ΣＦ（ｘ、ｙ；λｉ）／Ｃｊ内の画素数

ここで、平均ベクトルＧｊ＝（Ｇ１ｊ、Ｇ２ｊ、・・・、Ｇｎλｊ）と変換パラメータベクトルα＝（α１、α２、・・・、αｎλ）を定義し、ベクトルＧｊが互いに直交するように変換パラメータベクトルαを算出する。具体的には、
α・（Ｇ２−Ｇ１）＝０
α・（Ｇ３−Ｇ１）＝０
・・・
α・（Ｇｎ_C−Ｇ１）＝０
をすべて満たす変換パラメータベクトルα＝（α１、α２、・・・、αｎλ）を求める。これにより、背景部Ｃｊ内の任意の画素に対する変換画像Ｉ（ｘ、ｙ）の値が互いに等しい値となるような最適な変換パラメータαｉ（ｉ＝１〜ｎλ）が算出される。
このようにして算出された変換パラメータαｉを用いて上記の変換式（１）により入力画像Ｆ（ｘ、ｙ；λｉ）を変換した後、しきい値処理を施すことにより、特異部位を抽出することができる。

上記の実施の形態１及び２では、注目する複数の背景部が互いに等しい値を有する低コントラスト画像となるように画像変換を行ったが、これに限るものではなく、注目する複数の背景部が互いに等しいスペクトルとなるように画像を変換すれば、特異部位を強調させて抽出することが可能となる。

この発明においては、互いにスペクトルの異なる複数の背景部が互いに等しいスペクトルとなるようにマルチスペクトル画像を変換するので、文字・マークの印刷や複雑な背景部が存在する場合でも、特異部位と背景部のコントラストを高めることができ、これにより高精度に安定して特異部位を抽出することができる。この発明は、マルチスペクトル画像中の欠陥検出・異物検出、リモートセンシングにおける領域分割等に幅広く適用することができる。

なお、上記の実施の形態１及び２で示したフローチャートやステップに示された各動作をコンピュータにより実行させるプログラムを提供することにより、この発明に係るマルチスペクトル画像の処理プログラムを提供することができる。このプログラムは、コンピュータにより読取可能な媒体、例えばＣＤ−ＲＯＭ、フレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、データベース等に記録されてコンピュータにより実行させることができる。

（実施例１）
合成樹脂シートの成形凹部内に錠剤等の医薬品を収納し、その上にアルミニウムフィルムを熱接着して成る、いわゆるＰＴＰシートの外観検査にこの発明に係るマルチスペクトル画像の処理装置を適用した。
図５に示されるように、互いにスペクトルの異なる２つの領域Ｒ１及びＲ２を有する医薬品がＰＴＰシートに収容されており、このＰＴＰシートをマルチスペクトルカメラで撮像した画像を教師用マルチスペクトル画像とし、領域Ｒ１及びＲ２内に注目すべき背景部Ｃ１及びＣ２を指定して、最適な変換パラメータを算出した。算出された変換パラメータを用いて教師用マルチスペクトル画像を画像変換したところ、２つの領域Ｒ１及びＲ２が互いに等しい値を有する低コントラスト画像となり、双方の領域Ｒ１及びＲ２間の区別がつかなくなった。

次に、図６に示されるように、医薬品の領域Ｒ１上に異物Ｓ１が存在するＰＴＰシートをマルチスペクトルカメラで撮像したマルチスペクトル画像に対して、算出された変換パラメータを用いて画像変換を行ったところ、領域Ｒ１及びＲ２が互いに等しい値となって区別がつかなくなる一方、異物Ｓ１のみが異なる明度を有して強調されることとなった。
領域Ｒ１及びＲ２の明度と異物Ｓ１の明度の間にしきい値を設定することにより、異物Ｓ１を抽出することができた。
同様にして、ＰＴＰシート及び医薬品の割れ、欠け、欠錠、汚れ等を検出することが可能となる。

（実施例２）
図７に示されるように、印刷面となる領域Ｒ３の上に文字を構成する領域Ｒ４が印刷された印刷物にこの発明に係るマルチスペクトル画像の処理装置を適用した。
領域Ｒ３と領域Ｒ４は互いに異なるスペクトルを有しており、この印刷物をマルチスペクトルカメラで撮像した画像を教師用マルチスペクトル画像とし、領域Ｒ３及びＲ４内に注目すべき背景部Ｃ３及びＣ４を指定して、最適な変換パラメータを算出した。算出された変換パラメータを用いて教師用マルチスペクトル画像を画像変換したところ、２つの領域Ｒ３及びＲ４が互いに等しい値を有する低コントラスト画像となり、文字が消えた。

図８に示されるように、異物Ｓ２が存在する印刷物をマルチスペクトルカメラで撮像したマルチスペクトル画像に対して、算出された変換パラメータを用いて画像変換を行ったところ、領域Ｒ３及びＲ４が互いに等しい値となって文字が消える一方、異物Ｓ２のみが異なる明度を有して強調されることとなった。
領域Ｒ３及びＲ４の明度と異物Ｓ２の明度の間にしきい値を設定することにより、異物Ｓ２を抽出することができた。
同様にして、印刷色の数がスペクトル画像数より少ない、または等しい場合の印刷面の異物検査を行うことができる。

この発明の実施の形態１に係るマルチスペクトル画像の処理装置の構成を示すブロック図である。 実施の形態１の作用を示すフローチャートである。 変換パラメータ算出処理を示す機能ブロック図である。 画像変換処理を示す機能ブロック図である。 実施例１において教師用マルチスペクトル画像を画像変換した様子を示す図である。 実施例１において異物を含むマルチスペクトル画像を画像変換した様子を示す図である。 実施例２において教師用マルチスペクトル画像を画像変換した様子を示す図である。 実施例２において異物を含むマルチスペクトル画像を画像変換した様子を示す図である。

符号の説明

１ マルチスペクトルカメラ、２ 画像入力部、３ 画像変換部、４ 特異部位抽出部、５ メモリ、６ 変換パラメータ算出部、Ｒ１〜Ｒ４ 領域、Ｃ１〜Ｃ４ 背景部、Ｓ１，Ｓ２ 異物。

Claims (8)

1. 互いにスペクトルが異なる複数の背景部を有するマルチスペクトル画像からこれら複数の背景部とは異なるスペクトルを有する特異部位を抽出する装置であって、
   マルチスペクトル画像を複数の波長帯毎の各画素の明度を表す入力画像として取り込む画像入力部と、
   特異部位が存在しない教師用マルチスペクトル画像に対して変換を施した画像中の注目する複数の背景部が互いに等しい値となるように画像を変換するための変換パラメータを算出する変換パラメータ算出部と、
   前記変換パラメータ算出部で算出された変換パラメータを用いて前記画像入力部で取り込まれた入力画像を変換する画像変換部と、
   前記画像変換部で変換された変換画像に対してしきい値処理を施すことにより特異部位を抽出する特異部位抽出部と
   を備えたことを特徴とするマルチスペクトル画像の処理装置。
2. 前記変換パラメータ算出部は、注目する複数の背景部が互いに等しい値を有する低コントラスト画像となるように変換パラメータを算出する請求項１に記載のマルチスペクトル画像の処理装置。
3. 前記画像入力部で取り込まれたマルチスペクトル画像を保存するメモリを備え、
   前記変換パラメータ算出部は、前記メモリに保存された教師用マルチスペクトル画像に基づいて変換パラメータを算出し、
   前記画像変換部は、前記メモリに保存されたマルチスペクトル画像を変換する請求項１または２に記載のマルチスペクトル画像の処理装置。
4. 前記画像変換部は、波長帯λｉ（ｉ＝１〜ｎλ）における座標（ｘ，ｙ）の画素の明度を表す入力画像Ｆ（ｘ、ｙ；λｉ）に対し、変換パラメータをαｉ（ｉ＝１〜ｎλ）として、変換画像Ｉ（ｘ、ｙ）＝Σαｉ・Ｆ（ｘ、ｙ；λｉ）を得る請求項１乃至請求項３のいずれかに記載のマルチスペクトル画像の処理装置。
5. 前記変換パラメータ算出部は、注目する複数の背景部内の任意の画素に対する変換画像Ｉ（ｘ、ｙ）の値が互いに等しい値となるように最小自乗法により変換パラメータαｉを算出する請求項４に記載のマルチスペクトル画像の処理装置。
6. 前記変換パラメータ算出部は、注目する背景部Ｃｊ（ｊ＝１〜ｎ_C）毎に入力画像Ｆ（ｘ、ｙ；λｉ）の平均Ｇｉｊ（ｉ＝１〜ｎλ、ｊ＝１〜ｎ_C）を算出し、ベクトルＧｊ＝（Ｇ１ｊ、Ｇ２ｊ、・・・、Ｇｎλｊ）が互いに直交するように変換パラメータベクトルα＝（α１、α２、・・・、αｎλ）を算出する請求項４に記載のマルチスペクトル画像の処理装置。
7. 互いにスペクトルが異なる複数の背景部を有するマルチスペクトル画像からこれら複数の背景部とは異なるスペクトルを有する特異部位を抽出する方法であって、
   マルチスペクトル画像を複数の波長帯毎の各画素の明度を表す入力画像として取り込み、
   特異部位が存在しない教師用マルチスペクトル画像に対して変換を施した画像中の注目する複数の背景部が互いに等しい値となるように画像を変換するための変換パラメータを算出し、
   算出された変換パラメータを用いて取り込まれた入力画像を変換し、
   変換された画像に対してしきい値処理を施すことにより特異部位を抽出する
   ことを特徴とするマルチスペクトル画像の処理方法。
8. 互いにスペクトルが異なる複数の背景部を有するマルチスペクトル画像からこれら複数の背景部とは異なるスペクトルを有する特異部位を抽出するプログラムであって、
   マルチスペクトル画像を複数の波長帯毎の各画素の明度を表す入力画像として取り込むステップと、
   特異部位が存在しない教師用マルチスペクトル画像に対して変換を施した画像中の注目する複数の背景部が互いに等しい値となるように画像を変換するための変換パラメータを算出するステップと、
   算出された変換パラメータを用いて取り込まれた入力画像を変換するステップと、
   変換された画像に対してしきい値処理を施すことにより特異部位を抽出するステップと
   をコンピュータに実行させることを特徴とするマルチスペクトル画像の処理プログラム。

Images