JP2012256175A - 画像処理方法、画像処理装置およびこれらを用いた創薬支援装置 - Google Patents

Abstract

【課題】固定パターンではないランダムなノイズのうち、特に規則性がないごま塩状のノイズに対して、信号成分への影響は極力小さくしながら、ノイズのみを選択的に除去できる画像処理方法、画像処理装置およびこれらを用いた創薬支援装置を実現すること。
【解決手段】出現場所が予測不可能なランダムなノイズの画素値分布に基づき、前記ノイズを除去するためのフィルタ処理演算を制御することを特徴とする画像処理方法、画像処理装置およびこれらを用いた創薬支援装置である。
【選択図】 図１

Description

本発明は、画像処理方法、画像処理装置およびこれらを用いた創薬支援装置に関し、詳しくは、画像処理にあたり、雑音成分のみを効率的に除去できる画像処理方法、画像処理装置およびこれらを用いた創薬支援装置に関するものである。

たとえば新薬の開発にあたっては、新薬の候補となる数十万から数百万もの化合物の中から有望なものを選別することが行われている。このような新薬開発の効率を高めるための開発支援システムとして、有望な化合物の選別を自動的に実行処理する創薬支援システムが実用化されている（非特許文献１）。

非特許文献１に記載されているシステムは、蛍光染色された生きている細胞に薬の候補となる化合物を投与するとともにレーザー光を照射して細胞内の変化などの共焦点画像をカメラで撮影し、得られた細胞の共焦点顕微鏡画像を処理して化合物の投与により細胞が受ける影響や化合物の投与に対する細胞の反応を確認してレポートを作成するまでの一連の処理を自動的に高速で行うように構成されている。

ところで、カメラで取得した画像には、何らかのノイズが存在する。それらのうち、特定の位置に固定的に現れるノイズは「固定パターンノイズ」と呼べるものであって、そのパターンをバックグラウンドとすることにより、記録して減算（場合により除算）することで効率良く取り除くことができる。

これに対し、ノイズのパターンが固定されていなくてランダムに現れる場合には、これらのノイズを除去することは困難である。

近年、ＣＭＯＳセンサの分野において、ランダムノイズを減少させる技術が提案されているが、完全に除去できるわけではない。ここでは、ランダムに現れる「ごま塩ノイズ」に着目する。

「ごま塩ノイズ」とは、画像において、周辺画素よりも著しく画素値が高い（グレースケール表示で白色）、または、画素値が低い（グレースケール表示で黒色）ようなランダムなノイズのことである。白黒のパターンがランダムに現れることから、画像処理分野ではしばしば「ごま塩」（英語文献ではSalt and pepper）と呼ばれる。また、画素値が高い画素をホットピクセル、ホットスポットと呼んだり、画素値が低い画素をデッドピクセルと呼んだりすることもある。

ごま塩ノイズを減少させる典型的な従来技術として、メジアンフィルタを用いる方法がある。メジアンフィルタは、着目画素とその周辺画素（４近傍、８近傍、またはより広い近傍領域）を比較し、着目画素を自分自身を含む着目領域内の画素値のメジアン（中央値）で置換する。この処理により、極端に高い画素値を持つ白色のノイズや、極端に低い画素値を持つ黒色のノイズを除去することができる。

メジアンフィルタを用いる場合の問題点は、メジアンフィルタによる処理が画像内の全画素に均等に適用されることである。すなわち、画像内のノイズ以外の信号の領域にもメジアンフィルタが適用されるため、画像はフィルタのマスク領域で平滑化されてしまい、信号に存在する空間的に鋭い構造が鈍ってしまう。つまり、ノイズは除去できるものの画像信号にもフィルタの影響が出てしまう。

メジアンフィルタ以外のごま塩ノイズの除去方法としては、特許文献１に記載されているように、背景判別手段と局所的二値化手段を備え、多値画像を入力とし、各画素毎に背景判別手段が背景画素であるか否かを判別し、背景でなかった場合にのみ局所的二値化手段が局所的二値化を行い、背景かまたは文字、罫線などを構成するストロークであるかを判別して、二値画像を出力するように構成することが提案されている。

このような方法によれば、局所的二値化を行う前に、背景判別手段が大まかに対象画素が背景であるか否かを判別するため、低い計算コストでごま塩状ノイズの発生を抑制することができる。

新製品紹介、「ハイスループット細胞機能探索システムＣｅｌｌ Ｖｏｙａｇｅｒ ＣＶ６０００」、横河技報、横河電機株式会社、２０１０年、Ｖｏｌ．５３ Ｎｏ．１（２０１０） ｐ．６２

特開２００１−１５５１４６号公報

しかし、特許文献１に記載されている技術は、筆記された文字や数字の認識を主目的とするものであって、多値画像（グレースケール画像）を２値化する際に利用する技術であり、入力と出力がともに多値画像の場合の画像処理にそのまま適用することは困難と思われる。

本発明は、このような課題を解決するものであり、その目的は、固定パターンではないランダムなノイズのうち、特に規則性がないごま塩状のノイズに対して、信号成分への影響は極力小さくしながら、ノイズのみを選択的に除去できる画像処理方法、画像処理装置およびこれらを用いた創薬支援装置を実現することにある。

このような課題を解決するために、請求項１の発明は、
出現場所が予測不可能なランダムなノイズの画素値分布に基づき、前記ノイズを除去するためのフィルタ処理演算を制御することを特徴とする画像処理方法である。

請求項２の発明は、
信号成分が存在しない状態でバックグラウンドデータを取得するデータ取込部と、
前記データ取込部で取得したバックグラウンドデータからノイズの画素値の分布度を求めるノイズ分布度演算部と、
前記ノイズ分布度演算部で求めたノイズの画素値の分布度に基づき該当する画素に対するノイズを除去するためのフィルタ処理演算を行うフィルタ処理演算部、
を備えたことを特徴とする画像処理装置である。

請求項３の発明は、請求項２に記載の画像処理装置において、
さらに前記ノイズの評価をスコアで算出するノイズスコア演算部を設け、ノイズスコアが高い順に前記ノイズ分布度演算部で求めた一定の割合の画素に対して前記フィルタ処理演算部によるフィルタ処理演算を行うことを特徴とする。

請求項４の発明は、
蛍光染色された生きている細胞に薬の候補となる化合物を投与するとともに光源からの光を照射して細胞内の変化などの画像をカメラで撮影し、得られた細胞の画像を処理して化合物の投与により細胞が受ける影響や化合物の投与に対する細胞の反応を確認する創薬支援装置において、
前記画像を処理する画像処理方法として、前記請求項１記載の画像処理方法を用いることを特徴とする。

請求項５の発明は、
蛍光染色された生きている細胞に薬の候補となる化合物を投与するとともに光源からの光を照射して細胞内の変化などの画像をカメラで撮影し、得られた細胞の画像を処理して化合物の投与により細胞が受ける影響や化合物の投与に対する細胞の反応を確認する支援装置において、
前記画像を処理する画像処理装置として、前記請求項２または請求項３記載の画像処理装置を用いることを特徴とする。

これらの構成により、特に規則性がないごま塩状のノイズに対して、信号成分への影響は極力小さくしながら、ノイズのみを選択的に除去できる。

そしてこのような画像処理方法や画像処理装置を、蛍光染色された細胞の反応を観察確認する創薬支援装置の画像処理に適用することにより、蛍光の光量を正確に測定できるようになるため、より正確な薬効の判定が行える。

本発明の一実施例を示すブロック図である。 図１の構成における動作の流れを説明するフローチャートである。 バックグラウンド出力データの画素値のヒストグラム例である。 図１の構成における動作の流れを説明するフローチャートである。 図１の構成における動作の流れを説明するフローチャートである。 正負のノイズと信号と背景が画素値としてどの領域になるかを概念的に２次元で表示した領域説明図である。

以下、本発明の実施形態について詳細に説明する。図１は本発明の一実施例を示すブロック図である。図１において、データ取込部１は、バックグラウンドデータや画像データを取り込み、データ格納部２に格納する。

ヒストグラム演算部３は、データ取込部１で取り込まれたバックグラウンドデータにおけるノイズ分布のヒストグラムを演算し、その演算結果をヒストグラム格納部４に格納する。

バックグラウンドとノイズ成分の識別にあたっては、正規分布の標準偏差などを用いてもよいが、着目画素が周辺画素からどれだけ突出して画素値が高いかまたは低いかをたとえば次式に基づいて演算できるノイズスコアを用いてもよい。
（着目画素のノイズスコア）＝（着目画素の画素値）−（周辺画素の画素値の代表値）
ここで、代表値としては、４近傍、８近傍、または周辺領域内のメジアン、平均、その他の統計データを用いる。

ノイズスコア演算部５は、データ取込部１で取り込まれたバックグラウンドデータに基づき、全画素の正負のノイズスコアを演算し、その演算結果をノイズスコア格納部６に格納する。

ノイズ分布度演算部７は、ヒストグラム演算部３で演算されたノイズ分布のヒストグラムまたはノイズスコア演算部５で演算された全画素の正負のノイズスコアに基づき、全画素の正負のノイズの分布度を演算し、その演算結果をノイズ分布度格納部８に格納する。

フィルタ選択部９は、フィルタ処理演算部１１がフィルタ処理演算に用いる適切なフィルタをフィルタ格納部１０から選択する。

フィルタ処理演算部１１は、データ格納部２に格納されている画像データに対し、フィルタ選択部９で選択されたフィルタを用いて、ノイズ分布度演算部５で演算されたノイズ分布度に基づき、該当する画素の出力データに含まれているノイズ成分を除去するためのフィルタ処理演算を行い、その演算結果をフィルタ処理演算結果格納部１２に格納する。

なお、バックグラウンドデータを取得することが困難な場合には、実データの中で観察対象が写っていない領域を用いてノイズの分布を推定するようにしてもよい。

図２は図１の構成における動作の流れを説明するフローチャートであり、対象とする画像データの取得や読込みに先立って、事前に対象とする検出器（ＣＣＤやＣＭＯＳなどの受光素子、またはＸ線画像取得装置など）のノイズの分布を調査して情報を取得する動作の流れを示している。

ステップＳ１において、データ取込部１は、入力信号がない状態で、検出器単体のバックグラウンド出力データを取り込む。この状態におけるバックグラウンド出力データの画素値は、入力信号がないことからノイズ成分のみになり、事前情報としてノイズ成分情報を取得できる。このバックグラウンドデータから、別途作成した基準となるバックグラウンドデータ（バックグラウンドのバックグラウンドデータ、またはバイアスデータ）を減算してもよい。

ステップＳ２において、ヒストグラム演算部３は、取り込まれたカメラのバックグラウンド出力データの画素値のヒストグラムを演算する。

バックグラウンド出力データの画素値のヒストグラムは、理想的にはアンプのノイズや熱雑音などに起因する素性が良い小さなノイズのみが存在するので、その場合のヒストグラムは図３に示すような単一の正規分布で表される。

図３において、横軸は画素値、縦軸はその画素値を持つ画素数のヒストグラムを示す。バックグラウンドデータでは大多数の画素は背景領域であり、ほぼ単一の正規分布で表現できるが、それより左側には画素値が著しく低いノイズ、右側には画素値が著しく高いノイズが存在する場合がある。

なお、図３の例では、背景領域のみのヒストグラムを表示していて、ノイズ成分のヒストグラムは表示していない。もし、バックグラウンド出力データにごま塩ノイズ成分が存在すれば、それは図３の正規分布から外れた正負の分布となって現れるので容易に検出できる。

図２のステップＳ３では、ノイズ分布度演算部７は、ステップＳ２で演算されたヒストグラムに基づいてそれらごま塩ノイズ成分を検出し、その画素値と出現頻度（全画素のうち正のノイズと負のノイズの割合はどれだけが）の分布度を演算する。この分布度を演算するためには、バックグラウンドデータは複数枚分取得することが望ましい。

図４も図１の構成における動作の流れを説明するフローチャートであり、対象とする画像データの取得や読込みに先立って、事前に対象とする検出器のノイズの分布を調査して情報を取得する他の動作の流れを示している。

ステップＳ１において、データ取込部１は、図２と同様に、入力信号がない状態で、検出器単体のバックグラウンド出力データを取り込む。

ステップＳ２において、ノイズスコア演算部５は、前述のように、取り込まれたカメラのバックグラウンド出力データの各画素と周辺画素の画素値の分布に基づき正負（白黒）のノイズスコアを各々演算する。

ステップＳ３において、ノイズ分布度演算部７は、全画素の正負のノイズスコアに基づき、全画素の正（白）負（黒）のノイズの分布度を演算する。

図５も図１の構成における動作の流れを説明するフローチャートであり、図２や図４のフローチャートの動作により対象とする画像データの取得や読込みに先立って事前に取得した対象とする検出器のノイズ分布情報に基づき所定のフィルタ処理演算を行うことにより画像データのノイズ成分を除去する動作の流れを示している。

信号が存在しても、センサの温度、露光時間、アンプのゲインが同等であれば、ごま塩ノイズは同等の頻度、同等の画素値（電荷量）で分布すると仮定できる。そこで、単純には、ある着目画素の画素値が、その周辺画素の代表画素値（平均や中央値）に対してどれだけ正または負の側に突出しているかを「ノイズスコア」として記録する。

ごま塩ノイズのように正と負の両方のノイズに着目する場合は、ノイズスコアは正のノイズ用と負のノイズ用に個別に演算してもよい。すべての画素について「ノイズスコア」を演算した後、ノイズスコアが高い順から、前述の事前情報として取得した一定の割合が本当のノイズであると考えてそれらの画素にはフィルタを適用する。

ステップＳ１において、データ取込部１は、ノイズ除去の対象とする画像データを取得または取り込む。

ステップＳ２において、フィルタ選択部９は、図２や図４のフローチャートの動作により求めた対象とする検出器のノイズ分布度に基づき、フィルタ処理演算に適したフィルタを選択する。

そして、ステップＳ３において、フィルタ処理演算１１は、フィルタ選択部９で選択されたフィルタを用いて、ステップＳ１で取得または取り込まれた画像データに対する所定のフィルタ処理演算を行う。

具体的には、たとえば前述の正側のノイズが１万画素（１％）である１００万画素のカメラの場合には、これら１万画素（１％）の画素について、選択的にフィルタ処理演算を行う。フィルタとしては、単純にはメジアンフィルタや平均値フィルタでもよいし、より複雑なフィルタを適用してもよい。

これらフィルタは、該当する着目画素の周辺画素を利用して該当（着目）画素を補間することにより、実質的にノイズ成分を選択的に低減するように機能する。

なお、上記実施例では、着目画素とその周辺画素という画素単位でノイズ成分を低減する例について説明したが、以下のようにＰＳＦ（Point Spread Function：点広がり関数、光学系で決まる点像応答関数）のパターンに着目してノイズ成分を低減するようにしてもよい。

すなわち、画像を形成する光学系のサンプリングが適切であって極端なアンダーサンプリング状態でなければ、画像のパターンは少なくともＰＳＦの広がりを持つ。逆に、ＰＳＦより細かい構造があるなら、それはノイズ成分と考えられる。そこで、ＰＳＦのパターンを画像のｘ，ｙ座標で偏微分した∂ＰＳＦ／∂ｘ，∂ＰＳＦ／∂ｙなどの媒介変数に着目し、この媒介変数の絶対値の最大値（＝理論的に現れ得る最も鋭い構造）で規格化したスコアを演算、利用してもよい。

本発明の実施にあたっては、一旦取得してハードディスクなどに保存した画像データを読み出し、オフラインで解析する段階で適用することを想定しているが、上記フローチャートのアルゴリズムをＤＳＰ(Digital Signal Processor)などに実装してリアルタイムに演算を行うことも考えられる。特に、周辺画素に対する画素値の突出度演算（減算）、ノイズスコアが高い画素の選択、補間などは比較的単純な処理であり、ＤＳＰやＦＰＧＡ（Field-Programmable Gate Array）への実装も容易である。

なお、図１の実施例では、ヒストグラム演算部３、ヒストグラム格納部４、ノイズスコア演算部５、ノイズスコア格納部６、ノイズ分布度演算部７およびノイズ分布度格納部８を個別に設ける例を示しているが、ヒストグラム演算部３とノイズスコア演算部５とを組み合わせることでノイズ分布度演算部７と同等の機能を得ることができ、ヒストグラム格納部４とノイズスコア格納部６とを組み合わせることでノイズ分布度格納部８と同等の機能を得ることができるものの、ノイズ分布度演算部７やノイズ分布度格納部８を個別に設けることで、ノイズ分布度の結果に基づいて測定データの要否判断を迅速に行える。

また、上記実施例では、ノイズのスコアを、周辺画素に対する画素値の突出度として演算し、１つのスカラー量として表したが、着目画素値や周辺画素値に応じてスコアの演算方法を変更することも考えられる。

たとえば、あるカメラのノイズは必ず周辺画素に対して一定範囲（たとえば＋２０００から＋３０００ＡＤＵ）の突出度を持つという既存知識があれば、その範囲に対してノイズスコアの重みを高くすればよい。

図６は正負のノイズと信号と背景が画素値としてどの領域になるかを概念的に２次元で表示した領域説明図であり、横軸は周辺画素の代表画素値、縦軸は着目画素の画素値を示している。背景領域では着目画素の画素値が低く、周辺の画素値も低い。信号領域では着目画素も周辺画素も画素値は高い。一方、着目画素が周辺と比較して著しく高いかまたは著しく低い画素を持つ場合は、ノイズである可能性が高い。

この２次元内を曲線や直線で４分割し、フィルタによる補正を適用するかしないかを決定してもよいが、スコアの与え方を単に着目画素と周辺領域の画素値との差という線形演算ではなく、ＰＳＦの形状や画素値の突出度に応じた非線形関数にすることで、より高精度に「ノイズであると推定できるもっともらしさ」を推定することが可能になる。

たとえば、ノイズ成分の画素値の分布（ヒストグラム）を知っていれば、ノイズの疑いがある画素の画素値にその分布関数を積算すれば、ヒストグラム空間でパターンマッチ（相関演算）を行ったことに相当するので、最も高感度にスコアを演算できる。ＸＹ空間についても同様で、カメラの視野内の位置に応じてノイズの発生頻度が異なれば、その分布関数を積算することで最高感度の検出が可能になる。

本発明に基づく画像処理方法や画像処理装置は、蛍光染色された細胞の反応を観察確認する創薬支援装置における画像処理に好適である。

すなわち、前述のように、特に規則性がないごま塩状のノイズに対して、信号成分への影響は極力小さくしながらノイズのみを選択的に除去できることから、蛍光染色された細胞の反応を観察確認するのにあたり、蛍光の光量を正確に測定できて、より正確な薬効の判定が行える。

以上説明したように、本発明によれば、全画素に対して一様にフィルタ（メジアン、平均値、その他）を適用する場合と比較すると、信号が存在する領域への影響を抑制しながら、雑音成分のみを効率よく除去することができる。

そして、雑音成分のみを効率的に除去できることにより、画像の見た目が美しくなる効果に加え、蛍光染色された細胞の反応を観察確認する創薬支援装置の画像処理に適用することにより蛍光の光量を正確に測定できるようになるため、より正確な薬効の判定が行える。

１ データ取込部
２ データ格納部
３ ヒストグラム演算部
４ ヒストグラム格納部
５ ノイズスコア演算部
６ ノイズスコア格納部
７ ノイズ分布度演算部
８ ノイズ分布度格納部
９ フィルタ選択部
１０ フィルタ格納部
１１ フィルタ処理演算部
１２ フィルタ処理演算結果格納部

Claims (5)

1. 出現場所が予測不可能なランダムなノイズの画素値分布に基づき、前記ノイズを除去するためのフィルタ処理演算を制御することを特徴とする画像処理方法。
2. 信号成分が存在しない状態でバックグラウンドデータを取得するデータ取込部と、
   前記データ取込部で取得したバックグラウンドデータからノイズの画素値の分布度を求めるノイズ分布度演算部と、
   前記ノイズ分布度演算部で求めたノイズの画素値の分布度に基づき該当する画素に対するノイズを除去するためのフィルタ処理演算を行うフィルタ処理演算部、
   を備えたことを特徴とする画像処理装置。
3. さらに前記ノイズの評価をスコアで算出するノイズスコア演算部を設け、ノイズスコアが高い順に前記ノイズ分布度演算部で求めた一定の割合の画素に対して前記フィルタ処理演算部によるフィルタ処理演算を行うことを特徴とする請求項２に記載の画像処理装置。
4. 蛍光染色された生きている細胞に薬の候補となる化合物を投与するとともに光源からの光を照射して細胞内の変化などの画像をカメラで撮影し、得られた細胞の画像を処理して化合物の投与により細胞が受ける影響や化合物の投与に対する細胞の反応を確認する創薬支援装置において、
   前記画像を処理する画像処理方法として、前記請求項１記載の画像処理方法を用いることを特徴とする創薬支援装置。
5. 蛍光染色された生きている細胞に薬の候補となる化合物を投与するとともに光源からの光を照射して細胞内の変化などの画像をカメラで撮影し、得られた細胞の画像を処理して化合物の投与により細胞が受ける影響や化合物の投与に対する細胞の反応を確認する創薬支援装置において、
   前記画像を処理する画像処理装置として、前記請求項２または請求項３記載の画像処理装置を用いることを特徴とする創薬支援装置。