JP2012049867A - 画像処理装置および方法、アスベスト観察装置、並びに、プログラム - Google Patents

Abstract

【課題】アスベストを含む試料を撮影した画像において、アスベストが所望の色で表示され、かつ、目立つようにする。
【解決手段】ステップＳ１において、照明光が照射された試料を透過する光のうち試料を透過する際に直進する光を除いた分散光による像が撮像され、ステップＳ２において、得られた画像データのホワイトバランスが調整される。ステップＳ６において、ホワイトバランス調整後の画像データにおける照明光の色を実際の照明光の色温度に応じた色に設定するゲインを用いて、ステップ４において有彩色であると判定された画素、および、ステップＳ５において輝度値が所定の閾値を超えていると判定された画素のホワイトバランスが補正される。本発明は、例えば、アスベストを観察するための顕微鏡システムに適用できる。
【選択図】図５

Description

本発明は、画像処理装置およびアスベスト観察装置に関し、特に、アスベストを撮影した画像を観察する場合に用いて好適な画像処理装置およびアスベスト観察装置に関する。

日本産業環境測定協会では、アスベストを含む試料を観察する際、所定の範囲のワット数のハロゲンランプを用いて試料に照明光を照射し、かつ、NCB（Neutral Color Balance）フィルタを介さずに分散対物レンズを用いて観察することを推奨している。

図９は、図内に示される屈折率の浸液に浸し、かつ、上記の条件下において観察される各種のアスベストの分散色を示している。例えば、クリソタイルは、屈折率1.55の浸液に浸し、かつ、上記の条件下において、赤紫から青の分散色で観察される。

また、ハロゲンランプの照明光は、白色よりも少し黄色味を帯びている。従って、上記の条件下で接眼レンズを介して試料を目視した場合、アスベストの周囲の背景の色が、黒色から少し黄色味を帯びたダークイエローとなる。

これに対して、上記の条件下でデジタルカメラを用いて試料を撮影した場合、通常のホワイトバランス調整を行うと、ハロゲンランプの照明光の色を白くするような補正が行われる。その結果、得られた画像において、アスベストの色が、図９に示される色と異なる色になってしまう。

一方、アスベストが図９に示される色となるようにホワイトバランスを調整すると、アスベストの周囲の背景の色が、目視で観察する場合と同様にダークイエローとなる。しかし、画像上では、アスベストがより目立つように、背景を出来るだけ暗くし、アスベストが浮き上がって見えるようにすることが望まれる。

ところで、従来、画像内の画素を有彩色域に含まれる画素と無彩色域に含まれる画素とに分類し、無彩色域に含まれる画素を無彩色として色変換する技術が提案されている（例えば、特許文献１参照）。

特開２００９−１５３０１９号公報

しかしながら、特許文献１には、上述したアスベストを含む試料を撮影した画像において、アスベストが所望の色で表示され、かつ、目立つようにする技術については開示されていない。

本発明は、このような状況に鑑みてなされたものであり、アスベストを含む試料を撮影した画像において、アスベストが所望の色で表示され、かつ、目立つようにするものである。

本発明の第１の側面の画像処理装置は、照明光が照射された試料を透過する光のうち前記試料を透過する際に直進する光を除いた分散光による像を撮像することにより得られる画像データのホワイトバランスを調整するホワイトバランス調整手段と、ホワイトバランス調整後の前記画像データにおける前記照明光の色を実際の前記照明光の色温度に応じた色に設定するゲインを用いて、ホワイトバランス調整後の前記画像データの有彩色の画素および輝度値が所定の閾値を超える画素のホワイトバランスを補正する補正手段とを備える。

本発明の第１の側面の画像処理方法は、照明光が照射された試料を透過する光のうち前記試料を透過する際に直進する光を除いた分散光による像を撮像することにより得られる画像データの画像処理を行う画像処理装置が、前記画像データのホワイトバランスを調整し、ホワイトバランス調整後の前記画像データにおける前記照明光の色を実際の前記照明光の色温度に応じた色に設定するゲインを用いて、ホワイトバランス調整後の前記画像データの有彩色の画素および輝度値が所定の閾値を超える画素のホワイトバランスを補正するステップを含む。

本発明の第１の側面のプログラムは、照明光が照射された試料を透過する光のうち前記試料を透過する際に直進する光を除いた分散光による像を撮像することにより得られる画像データのホワイトバランスを調整し、ホワイトバランス調整後の前記画像データにおける前記照明光の色を実際の前記照明光の色温度に応じた色に設定するゲインを用いて、ホワイトバランス調整後の前記画像データの有彩色の画素および輝度値が所定の閾値を超える画素のホワイトバランスを補正するステップを含む処理をコンピュータに実行させる。

本発明の第２の側面のアスベスト観察装置は、試料に照明光を照射する照明光学系と、照明光が照射された試料を透過する光のうち前記試料を透過する際に直進する光を除いた分散光による像を結像させる結像光学系と、前記結像光学系により結像された前記試料の像を撮像する撮像手段と、前記撮像手段により得られた画像データのホワイトバランスを調整するホワイトバランス調整手段と、ホワイトバランス調整後の前記画像データにおける前記照明光の色を実際の前記照明光の色温度に応じた色に設定するゲインを用いて、ホワイトバランス調整後の前記画像データの有彩色の画素および輝度値が所定の閾値を超える画素のホワイトバランスを補正する補正手段とを備える。

本発明の第１の側面においては、照明光が照射された試料を透過する光のうち前記試料を透過する際に直進する光を除いた分散光による像を撮像することにより得られる画像データのホワイトバランスが調整され、ホワイトバランス調整後の前記画像データにおける前記照明光の色を実際の前記照明光の色温度に応じた色に設定するゲインを用いて、ホワイトバランス調整後の前記画像データの有彩色の画素および輝度値が所定の閾値を超える画素のホワイトバランスが補正される。

本発明の第２の側面においては、試料に照明光が照射され、照明光が照射された試料を透過する光のうち前記試料を透過する際に直進する光を除いた分散光による像が結像され、結像された前記試料の像が撮像され、得られた画像データのホワイトバランスが調整され、ホワイトバランス調整後の前記画像データにおける前記照明光の色を実際の前記照明光の色温度に応じた色に設定するゲインを用いて、ホワイトバランス調整後の前記画像データの有彩色の画素および輝度値が所定の閾値を超える画素のホワイトバランスが補正される。

本発明の第１の側面または第２の側面によれば、アスベストを含む試料を撮影した画像において、アスベストが所望の色で表示され、かつ、目立つようにすることができる。

本発明を適用した光学顕微鏡を模式的に示す全体構成図である。 本発明を適用した光学顕微鏡の概略的な光路図である。 光学顕微鏡を用いた顕微鏡システムの構成を模式的に示す全体構成図である。 デジタルカメラの機能の第１の構成例を示すブロック図である。 顕微鏡システムにより実行される画像処理の第１の実施の形態について説明するためのフローチャートである。 有彩色の画素と無彩色の画素の判定方法について説明するための図である。 デジタルカメラの機能の第２の構成例を示すブロック図である。 顕微鏡システムにより実行される画像処理の第２の実施の形態について説明するためのフローチャートである。 各種のアスベストを観察する際の分散色を示す図である。

以下、本発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（ホワイトバランスを補正してから色調整を行う例）
２．第２の実施の形態（ホワイトバランスの補正と色調整を同時に行う例）
３．変形例

＜１．実施の形態＞
［光学顕微鏡の構成例］
まず、図１および図２を参照して、本発明を適用した光学顕微鏡の一実施の形態について説明する。なお、図１は、本発明を適用した光学顕微鏡１を模式的に示す全体構成図であり、図２は、光学顕微鏡１の概略的な光路図である。

光学顕微鏡１は、例えば、アスベストの観察に用いられる。光学顕微鏡１は、正立型であり、基台１１、直立ベース１２、アーム１３、照明レンズユニット１４、試料ステージ１５、ステージ駆動部１６、レボルバ１７、分散対物レンズ１８、観察鏡筒１９および接眼レンズ鏡筒２０を備える。基台１１には、直立ベース１２が立設され、直立ベース１２の上部には、アーム１３が水平に延出している。基台１１の後面（図中、左側）には、光源部１１ａが設けられている。直立ベース１２の前面には、照明レンズユニット１４とステージ駆動部１６が固設されている。ステージ駆動部１６は、試料Ｓを載置する試料ステージ１５を光軸ＡＸ方向に上下させるとともに、光軸ＡＸ回りに回転可能に保持している。アーム１３の先端下部には、分散対物レンズ１８を光路に挿脱するレボルバ１７が設けられ、アーム１３の先端上部には、観察鏡筒１９が設けられている。観察鏡筒１９の先端部には、接眼レンズ鏡筒２０が接続されている。

以下、光路に沿って光学系の配置を説明する。光源部１１ａには、ハロゲンランプにより構成される光源２１が収納されており、光源２１から発せられる照明光は、白色よりも少し黄色味を帯びた色となる。基台１１の内部には、コリメータレンズ２２と照明光を上方へ反射するミラー２３が収納されている。照明レンズユニット１４には、リング絞り２４とコンデンサレンズ２５が保持されている。なお、光源２１からコンデンサレンズ２５までが照明装置（照明光学系）に含まれる。

分散対物レンズ１８は、レンズ２６と遮光リング２７を有している。観察鏡筒１９には、アナライザ２８、デポラライザ２９、結像レンズ３０およびプリズム３１が配設されている。なお、アナライザ２８は、光軸ＡＸ回りに回転自在に設けられている。また、プリズム３１は、プリズム３１に到達した光を２つに分離して、一方を接眼レンズ３２へ、他方をデジタルカメラ１１１（図３）へ導くように配設されている。また、分散対物レンズ１８から結像レンズ３０までにより結像光学系が構成される。

ここで、図２を参照して、光学顕微鏡１の光学系の作用を説明する。光源２１から射出した照明光Ｌ１は、コリメータレンズ２２により平行光束となり、リング絞り２４に入射する。リング絞り２４は、図２（ｂ）に示されるように、輪帯状（リング状）の開口部２４ａを有する。照明光Ｌ１は、リング絞り２４の開口部２４ａを通過した後に、コンデンサレンズ２５により試料Ｓに向かい、試料Ｓをケーラー照明する。照明光Ｌ１が試料Ｓを照明することにより、試料Ｓを直接透過する透過光（０次の分散光ともいう）および試料Ｓにより分散される分散光が生じる。すなわち、試料Ｓからの光Ｌ２としては、透過光および分散光があり、図中、透過光を破線で、分散光を実線で表わす。なお、符号ＡＸは、試料Ｓからの光Ｌ２の光軸を表わす。

試料Ｓからの光Ｌ２、すなわち透過光および分散光は、レンズ２６に入射し、リング絞り２４と共役な位置に配置された遮光リング２７に入射する。遮光リング２７には、図２（ｃ）に示されるように、リング絞り２４の開口部２４ａに対応する位置に遮光部２７ａが形成されている。

対物レンズ内に遮光リング２７を設けたものは、分散対物レンズと呼ばれ、通常の位相差対物レンズに用いられる位相リングの透過率を０％としたものである。なお、この分散対物レンズ１８には、試料Ｓの像を無限遠に結像する対物レンズを用いている。従って、透過光、すなわち、リング絞り２４の開口部２４ａを通過した照明光のうち、試料Ｓを透過する際に分散せずに直進する光は、遮光リング２７の遮光部２７ａでカットされ、分散光のみが遮光リング２７を透過して、アナライザ２８へ入射する。

アナライザ２８は、分散光の中から特定の振動方向の光のみを透過させる。すなわち、アナライザ２８を光軸ＡＸ回りに回転させることにより、様々な振動方向の入り混じった光から特定の回転角で特定の直線偏光の光のみを分離選択することができる。従って、アナライザ２８を介して分散光を１次像面Ｉに結像し、接眼レンズ３２によって観察すれば、試料Ｓの特定の振動方向での状態（色調、形状など）を明瞭に知ることができる。なお、アナライザ２８は、光路に沿って試料Ｓよりも後方であれば任意の位置に配設することができるが、平行光束となっている分散対物レンズ１８と結像レンズ３０の間に配設するのが望ましい。

アナライザ２８を透過した直線偏光の分散光は、デポラライザ２９に入射する。デポラライザ２９は、直線偏光の分散光の偏光面を回転し、円偏光とする。デポラライザ２９を配設することによって、直線偏光光の振動方向に依存する光学特性の差を解消して等方的とすることができる。例えば、プリズム３１の反射率は振動方向により異なるが、直線偏光光を円偏光光とすることによって、振動方向に依存せずに試料像を観察することができる。デポラライザ２９は、分散光の進行方向において、アナライザ２８の後ろ側の任意の位置に配設できるが、アナライザ２８と結像レンズ３０の間に配設するのが望ましい。

デポラライザ２９を透過した円偏光または楕円偏光の分散光は、結像レンズ３０により１次像面Ｉ上に結像する。ゆえに、試料Ｓと１次像面Ｉとが共役となる。この試料像を接眼レンズ３２によって観察すれば、上述したように試料Ｓに含まれるアスベストなどの特定の繊維状粒子が分散色により染色されたように見える。

観察者は、微小な繊維状粒子を拡大して伸張方向が把握できる状態で、繊維状粒子の伸張方向に平行な方向および直交する方向にアナライザ２８の偏光方向を調整しながら、各繊維状粒子の分散色を観察し、試料Ｓに含まれるアスベストの同定を行う。

［顕微鏡システムの構成例］
図３は、光学顕微鏡１を用いた顕微鏡システム１０１の構成を模式的に示す全体構成図である。

顕微鏡システム１０１は、光学顕微鏡１に、デジタルカメラ１１１、回転機構１１２、制御演算装置１１３、画像処理装置１１４およびディスプレイ１１５を付加して構成される。デジタルカメラ１１１は、観察鏡筒１９に搭載され、観察面Ｉに結像した像を波長域選択フィルタ１１１ａを通して撮像し、画像信号を画像処理装置１１４へ送出する。また、デジタルカメラ１１１は、制御演算装置１１３からの制御信号により所定のタイミングで撮影できるように制御される。回転機構１１２は、アナライザ２８を光軸ＡＸ廻りに回転駆動する。ステージ駆動部１６は、試料Ｓを載置する試料ステージ１５を光軸ＡＸ廻りに回転駆動する。回転機構１１２による回転駆動もステージ駆動部１６による回転駆動も制御演算装置１１３からの駆動信号により制御される。

アナライザ２８を通して見るとき、ある回転角で例えば赤色に見えるアスベストの場合には、波長域選択フィルタ１１１ａとして赤色を透過するフィルタを使用すると、ある回転角では、フィルタ１１０ａを透過する赤色光の強度（輝度）は最大となる。この回転角からアナライザ２８を回転すると、赤色光の強度は徐々に弱くなり、光強度が最大の角度から９０°回転したところでは、光強度が最小（理想的には０）になる。さらにアナライザ２８を回転すると、徐々に光強度が強くなり、また最大となる。光強度が最大となる角度は、アスベスト粒子の向き（結晶軸の方位）に依存しているので、アナライザ２８を回転していくと、視野内の個々のアスベスト粒子からの分散色の明るさがランダムに変化する。つまり、ある回転角では、あるアスベスト粒子からの光強度が最大となり、別の回転角では、そのアスベスト粒子からの光強度が減少する一方で別のアスベスト粒子からの光強度が最大となる。アナライザ２８を回転しながら、点滅して見えるアスベスト粒子の数を計数することによって、定量分析ができる。

画像処理装置１１４は、デジタルカメラ１１１からの画像信号を不図示のフレームメモリに入力して、例えば、複数フレームの画像を重ね合わせたり、所定の輝度レベル以上の像のみを強調するような処理を行う。また、画像処理装置１１４は、処理前の画像や処理済の画像をディスプレイ１１５に表示させたり、処理済の画像信号を制御演算装置１１３へ送出する。制御演算装置１１３は、その画像信号に基づいて、重ね合わされた１フレームの画像内で所定輝度以上の像の数を計数する。

［デジタルカメラの機能の第１の構成例］
図４は、デジタルカメラ１１１の機能の第１の構成例を示すブロック図である。

撮像部２０１は、例えば、CCD（Charge Coupled Device Image Sensor）イメージセンサ、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を備えており、観察面Ｉに結像した試料Ｓの像を波長域選択フィルタ１１１ａを通して撮像する。また、撮像部２０１は、撮像の結果得られたアナログの画像信号に対して、CDS（相関２重サンプリング）等のノイズ除去処理およびA/D（アナログ／デジタル）変換を行い、デジタルの画像データを画像処理部２０２のホワイトバランス調整部２１１に供給する。

なお、以下、撮像部２０１が備える撮像素子が単板方式であり、撮像部２０１から出力される画像データの画素配列がベイヤー配列であるものとする。

ホワイトバランス調整部２１１は、図５を参照して後述するように、画像データのホワイトバランスを調整する。そして、ホワイトバランス調整部２１１は、ホワイトバランスを調整した画像データをホワイトバランス補正部２１２に供給する。

ホワイトバランス補正部２１２は、図５を参照して後述するように、画像データ内の有彩色の画素および輝度が所定の閾値を超える画素のホワイトバランスを補正する。そして、ホワイトバランス補正部２１２は、ホワイトバランスを補正した画像データをベイヤー補間部２１３に供給する。

ベイヤー補間部２１３は、画像データのベイヤー補間を行い、ベイヤー補間を行った画像データを色調整部２１４に供給する。

なお、撮像部２０１が備える撮像素子が３板方式であり、画像データの各画素が赤、緑、青の３色の画素値を有する場合、このベイヤー補間部２１３を省略することができる。

色調整部２１４は、図５を参照して後述するように、例えば、ディスプレイ１１５での表示に適した色になるように画像データの色を調整する。そして、色調整部２１４は、色調整を行った画像データを画像処理装置１１４に供給する。

［画像処理の第１の実施の形態］
次に、図５のフローチャートを参照して、顕微鏡システム１０１により実行される画像処理について説明する。

ステップＳ１において、デジタルカメラ１１１の撮像部２０１は、観察面Ｉに結像した試料Ｓの像を波長域選択フィルタ１１１ａを通して撮像する。また、撮像部２０１は、撮像の結果得られたアナログの画像信号に対して、CDS等のノイズ除去処理およびA/D変換を行い、デジタルの画像データをホワイトバランス調整部２１１に供給する。

ステップＳ２において、ホワイトバランス調整部２１１は、ホワイトバランスを調整する。具体的には、ホワイトバランス調整部２１１は、画像データの各画素の画素値に、ホワイトバランスゲインを乗じる。例えば、ホワイトバランス調整前の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画素値をそれぞれR、G、Bとし、赤、緑、青の画素値に対するホワイトバランス調整用のゲインをそれぞれWBr、WBg、WBbとすると、ホワイトバランス調整後の赤、緑、青の画素値R_wb、G_wb、B_wbは、以下の式（１）乃至（３）で表される。

R_wb＝R×WBr ・・・（１）
G_wb＝G×WBg ・・・（２）
B_wb＝B×WBb ・・・（３）

このように、画像データ内の指定された領域（以下、基準領域と称する）が平均して無彩色になるように、撮像部２０１の特性に応じて画像データの色が調整される。なお、基準領域には、例えば、光源２１からの照明光を照射し、明視野対物レンズを使用した状態で、直接光源色を観察できる領域が指定される。ない状態で白く見える領域が指定される。また、このホワイトバランス調整により、画像データ内の無彩色と判断された領域の赤、緑、青の画素値R_wb、G_wb、B_wbは、全て同じ値になるように調整される。

このホワイトバランス調整を行った後の画像データにおいては、試料Ｓ内のアスベストの分散色が、接眼レンズ３２を介して観察する場合の色、すなわち、図９に示される色と異なる色になる。また、アスベストのエッジ付近の明るく光っている部分が、接眼レンズ３２を介して観察する場合と異なる色になる。一方、アスベストの周囲の背景の色はほぼ黒色になる。

そして、ホワイトバランス調整部２１１は、ホワイトバランスを調整した画像データをホワイトバランス補正部２１２に供給する。

ステップＳ３において、ホワイトバランス補正部２１２は、注目画素を選択する。例えば、ホワイトバランス補正部２１２は、画像データ内の画素を１つずつラスタ順に注目画素として選択する。

ステップＳ４において、ホワイトバランス補正部２１２は、注目画素が有彩色であるか否かを判定する。具体的には、まず、ホワイトバランス補正部２１２は、注目画素を中心とする３×３画素の領域内の赤、緑、青の各画素値の平均値を算出する。

例えば、図６の左側に示される３×３画素の領域Ａ内の中心の赤色の画素Ｐが注目画素である場合について考える。例えば、領域Ａ内の１行目の画素値を左からB0_wb，G0_wb，B1_wbとし、２行目の画素値を左からG1_wb，R0_wb，G2_wbとし、３行目の画素値を左からB2_wb，G3_wb，B3_wbとすると、領域Ａ内の赤、緑、青の平均画素値R_ave，G_ave，B_aveは、それぞれ次式（４）乃至（６）により算出される。

R_ave＝R0_wb ・・・（４）
G_ave＝（G0_wb＋G1_wb＋G2_wb＋G3_wb）／4 ・・・（５）
B_ave＝（B0_wb＋B1_wb＋B2_wb＋B3_wb）／4 ・・・（６）

そして、ホワイトバランス補正部２１２は、算出した平均画素値R_ave，G_ave，B_aveのうちの最大値と最小値との差が、所定の閾値Thcを超える場合、注目画素は有彩色であると判定し、閾値Thc以下である場合、注目画素は無彩色であると判定する。

なお、撮像部２０１が備える撮像素子が３板方式であり、画像データの各画素が赤、緑、青の３色の画素値を有する場合、ホワイトバランス補正部２１２は、注目画素のホワイトバランス調整後の画素値R_wb、G_wb、B_wbのうちの最大値と最小値との差が、閾値Thcを超えるとき、注目画素は無彩色であると判定し、閾値Thc以下であるとき、注目画素は無彩色であると判定する。

そして、注目画素が無彩色であると判定された場合、処理はステップＳ５に進む。

ステップＳ５において、ホワイトバランス補正部２１２は、注目画素の輝度値が所定の閾値を超えているか否かを判定する。具体的には、ホワイトバランス補正部２１２は、次式（７）を用いて、注目画素の輝度値Yを算出する。

Y＝29.891×R_ave＋58.661×G_ave＋11.448×B_ave ・・・（７）

なお、撮像部２０１が備える撮像素子が３板方式の場合、ホワイトバランス補正部２１２は、注目画素のホワイトバランス調整後の画素値R_wb、G_wb、B_wbを用いて、次式（８）により注目画素の輝度値Yを算出する。

Y＝29.891×R_wb＋58.661×G_wb＋11.448×B_wb ・・・（８）

そして、ホワイトバランス補正部２１２が、算出した輝度値Yが所定の閾値Thyを超えていると判定した場合、処理はステップＳ６に進む。

一方、ステップＳ４において、注目画素が有彩色であると判定された場合、ステップＳ５の処理はスキップされ、処理はステップＳ６に進む。

ステップＳ６において、ホワイトバランス補正部２１２は、ホワイトバランスを補正する。具体的には、ホワイトバランス補正部２１２は、注目画素のホワイトバランス調整後の画素値に、ホワイトバランス補正用のゲインを乗算する。なお、赤、緑、青の画素値に対するホワイトバランス補正用のゲインをそれぞれWr、Wg、Wbとすると、ホワイトバランス補正後の赤、緑、青の画素値R_wbc、G_wbc、B_wbcは、それぞれ次式（９）乃至（１１）で表される。

R_wbc＝R_wb×Wr（＝R×WBr×Wr） ・・・（９）
G_wbc＝G_wb×Wg（＝G×WBg×Wg） ・・・（１０）
B_wbc＝B_wb×Wb（＝R×WBb×Wb） ・・・（１１）

このホワイトバランス補正用のゲインは、ホワイトバランス調整後の画像データにおける照明光の色を、実際の光源２１の照明光の色温度に応じた色に設定するためのゲイン、すなわち、元々の照明光の色に戻すためのゲインである。換言すれば、このホワイトバランス補正用のゲインは、ホワイトバランスを調整した後の画像データの白色の画素の色を光源２１の照明光の色に設定するためのゲインである。

これにより、ホワイトバランスを調整した後の画像データの有彩色の画素および明るい画素の色が、接眼レンズ３２を介して観察する場合とほぼ同じ色になるように補正される。その結果、試料Ｓ内のアスベストおよびアスベストのエッジ付近の光っている部分、並びに、アスベスト近傍以外の有彩色の領域および明るい領域の色が、接眼レンズ３２を介して観察する場合とほぼ同じ色になる。

その後、処理はステップＳ７に進む。

一方、ステップＳ５において、注目画素の輝度値が閾値Thy以下であると判定された場合、ステップＳ６の処理はスキップされ、処理はステップＳ７に進む。すなわち、無彩色かつ輝度値が閾値Thy以下の画素については、ホワイトバランスの補正は行われない。これにより、ホワイトバランスを調整した後の画像データの無彩色で暗い領域の色が補正されずにそのまま保たれる。その結果、アスベストの周囲の背景の色が、輝度値が閾値Thy以下の暗い無彩色のまま保たれる。

ステップＳ７において、ホワイトバランス補正部２１２は、全ての画素について処理したか否かを判定する。まだ全ての画素について処理していないと判定された場合、処理はステップＳ３に戻り、ステップＳ７において、全ての画素について処理したと判定されるまで、ステップＳ３乃至Ｓ７の処理が繰返し実行される。これにより、ホワイトバランス調整後の画像データの画素のうち、有彩色の画素および輝度値が閾値Thyを超えている画素のホワイトバランスが補正される。

ステップＳ８において、ベイヤー補間部２１３は、ベイヤー補間を行う。具体的には、まず、ホワイトバランス補正部２１２は、ホワイトバランスを補正した画像データをベイヤー補間部２１３に供給する。そして、ベイヤー補間部２１３は、所定の手法を用いて、画像データのベイヤー補間を行い、ベイヤー補間後の画像データを色調整部２１４に供給する。

なお、ベイヤー補間の手法は、特に限定されるものではなく、任意の手法を採用することができる。また、撮像部２０１が備える撮像素子が３板方式である場合、ステップＳ８の処理は省略される。

ステップＳ９において、色調整部２１４は、画像データに色調整パラメータを適用する。具体的には、色調整部２１４は、次式（１２）に示されるように、ベイヤー補間後の画像データの各画素の画素値R_bi、G_bi、B_biに対して３×３の色調整マトリックスを適用し、赤、緑、青の画素値R_o、G_o、B_oを算出する。

なお、式（１２）の色調整マトリックスにおいて、画素値R_o用のパラメータの合計値Prr＋Prg＋Prb、画素値G_o用のパラメータの合計値Pgr＋Pgg＋Pgb、画素値B_o用のパラメータの合計値Pbr＋Pbg＋Pbbは、全て１になることで、有彩色のみ色調整を行うことが可能になる。

ステップＳ９の色調整、並びに、コントラスト調整（明るさ調整）を行うことで、例えば、人間の目に自然に見える色合いに調整することや、ディスプレイ１１５での表示に適した色や明るさになるように画像データを調整することが可能になる。

なお、撮像部２０１が備える撮像素子が３板方式の場合についても同様に、色調整部２１４は、ホワイトバランス補正後の画像データの各画素の赤、緑、青の画素値に、式（１２）の色調整マトリックスを適用し、かつコントラスト調整を行い、画像データの色や明るさを調整する。

そして、色調整部２１４は、色調整を行った画像データを画像処理装置１１４に供給する。

ステップＳ１０において、ディスプレイ１１５は、画像処理装置１１４の制御の基に、画像を表示する。例えば、画像処理装置１１４は、デジタルカメラ１１１からの画像データを不図示のフレームメモリに入力して、複数フレームの画像を重ね合わせたり、所定の輝度レベル以上の像のみを強調するような処理を行う。そして、画像処理装置１１４は、処理前の画像や処理済の画像をディスプレイ１１５に表示させる。

その後、画像処理は終了する。

このようにして、アスベストを含む試料Ｓを撮影した画像において、アスベストが図９に示される分散色で表示されるようになる。また、アスベストの周辺の背景が、輝度値が低く無彩色になり、アスベストが浮き上がって見え、目立つようになる。さらに、アスベストのエッジ付近の明るい部分、並びに、アスベスト近傍以外の有彩色の領域および明るい領域の色も、接眼レンズ３２を介して観察する場合とほぼ同じ色になり、観察者に違和感を与えずにすむ。

＜２.第２の実施の形態＞
次に、図７および図８を参照して、本発明の第２の実施の形態について説明する。

なお、第２の実施の形態では、第１の実施の形態と比較して、デジタルカメラ１１１の構成例が異なり、その他の構成は同じである。

［デジタルカメラの機能の第２の構成例］
図７は、デジタルカメラ１１１の機能の第２の構成例を示すブロック図である。なお、図中、図４と対応する部分には、同じ符合を付してあり、処理が同じ部分については、その説明は省略する。

図７のデジタルカメラ１１１の構成を、図４のデジタルカメラ１１１の構成と比較すると、撮像部２０１が設けられている点で一致し、画像処理部２０２の代わりに画像処理部３０１が設けられている点が異なる。また、画像処理部３０１を画像処理部２０２と比較すると、ホワイトバランス調整部２１１およびベイヤー補間部２１３が設けられている点で一致し、ホワイトバランス補正部２１２および色調整部２１４の代わりに、色調整部３１１が設けられている点で一致する。

色調整部３１１は、図８を参照して後述するように、画像データのホワイトバランスの補正および色調整を同時に行う。そして、色調整部３１１は、ホワイトバランスの補正および色調整を行った画像データを画像処理装置１１４に供給する。

［画像処理の第２の実施の形態］
次に、図８のフローチャートを参照して、図７のデジタルカメラ１１１を備える顕微鏡システム１０１により実行される画像処理について説明する。

ステップＳ５１において、図５のステップＳ１の処理と同様に、試料Ｓの像が撮像される。

ステップＳ５２において、図５のステップＳ２の処理と同様に、画像データのホワイトバランスが調整される。

ステップＳ５３において、図５のステップＳ８の処理と同様に、ベイヤー補間が行われる。すなわち、本実施の形態では、ホワイトバランスの補正が行われる前に、ベイヤー補間が行われる。

なお、撮像部２０１が備える撮像素子が３板方式である場合、ステップＳ５３の処理は省略される。

ステップＳ５４において、図５のステップＳ３の処理と同様に、注目画素が選択される。

ステップＳ５５において、赤、青、緑の画素値の最大値と最小値の差が所定の閾値を超えるか否かによって、注目画素が有彩色であるか否かが判定され、注目画素が無彩色であると判定された場合、処理はステップＳ５６に進む。

ステップＳ５６において、図５のステップＳ５の処理と同様に、注目画素の輝度値が所定の閾値を超えているか否かが判定され、注目画素の輝度値が所定の閾値を超えていると判定された場合、処理はステップＳ５７に進む。

一方、ステップＳ５５において、注目画素が有彩色であると判定された場合、ステップＳ５６の処理はスキップされ、処理はステップＳ５７に進む。

ステップＳ５７において、色調整部３１１は、注目画素に有彩色用の色調整パラメータを適用する。具体的には、色調整部３１１は、次式（１３）に示されるように、ホワイトバランス調整後の注目画素の赤、緑、青の画素値R_wb、G_wb、B_wbに対して、有彩色用の３×３の色調整マトリックスを適用し、赤、緑、青の画素値R_o、G_o、B_oを算出する。

なお、式（１３）の色調整マトリックスは、通常の色調整マトリックスに各色のホワイトバランス補正用のゲインを乗じたマトリックスとなる。例えば、式（１３）の色調整マトリックスにおいて、画素値R_o用のパラメータの合計値Pc_rr＋Pc_rg＋Pc_rb、画素値G_o用のパラメータの合計値Pc_gr＋Pc_gg＋Pc_gb、画素値B_o用のパラメータの合計値Pc_br＋Pc_bg＋Pc_bbは、それぞれ図５のステップＳ６の処理で用いたホワイトバランス補正用のゲインWr、Wg、Wrとほぼ等しくなる。これにより、例えば、ディスプレイ１１５での表示に適した色になるように注目画素の色が調整されると同時に、注目画素のホワイトバランスの補正が行われる。具体的には、式（１３）のマトリックスに対して、次式（１４）のようなマトリックスとなる。

その後、処理はステップＳ５９に進む。

一方、ステップＳ５６において、注目画素の輝度値が所定の閾値を超えていないと判定された場合、すなわち、注目画素が無彩色かつ輝度値が閾値Thy以下である場合、処理はステップＳ５８に進む。

ステップＳ５８において、色調整部３１１は、注目画素に無彩色用の色調整パラメータを適用する。具体的には、色調整部３１１は、次式（１５）に示されるように、ホワイトバランス調整後の注目画素の赤、緑、青の画素値R_wb、G_wb、B_wbに対して、無彩色用の３×３の色調整マトリックスを適用し、赤、緑、青の画素値R_o、G_o、B_oを算出する。

なお、式（１５）の色調整マトリックスにおいて、式（１２）の色調整マトリックスと同様に、画素値R_o用のパラメータの合計値Pwb_rr＋Pwb_rg＋Pwb_rb、画素値G_o用のパラメータの合計値Pwb_gr＋Pwb_gg＋Pwb_gb、画素値B_o用のパラメータの合計値Pwb_br＋Pwb_bg＋Pwb_bbは、全て１になることで、有彩色のみ色調整を行うことが可能になる。なお、式（１５）の色調整マトリックスに、式（１２）と同じ色調整マトリックスを適用することも可能である。

その後、処理はステップＳ５９に進む。

ステップＳ５９において、色調整部３１１は、全ての画素について処理したか否かを判定する。まだ全ての画素について処理していないと判定された場合、処理はステップＳ５４に戻り、ステップＳ５９において、全ての画素について処理したと判定されるまで、ステップＳ５４乃至Ｓ５９の処理が繰返し実行される。これにより、画像データの画素のうち、有彩色の画素および輝度値が閾値Thyを超えている画素に対して、ホワイトバランスの補正および色調整が行われ、無彩色で輝度値が閾値Thy以下の画素に対して、色調整のみが行われる。

一方、ステップＳ５９において、全ての画素について処理したと判定された場合、処理はステップＳ６０に進む。

ステップＳ６０において、図５のステップＳ１０の処理と同様に、画像が表示され、画像処理は終了する。

このようにして、第１の実施の形態と同様に、アスベストを含む試料Ｓを撮影した画像において、アスベストが図９に示される分散色で表示されるようになる。また、アスベストの周辺の背景がほぼ輝度値が低く無彩色になり、アスベストが浮き上がって見え、目立つようになる。さらに、アスベストのエッジ付近の明るい部分、並びに、アスベスト近傍以外の有彩色の領域および明るい領域の色も、接眼レンズ３２を介して観察する場合とほぼ同じ色になり、観察者に違和感を与えずにすむ。

さらに、この第２の実施の形態では、第１の実施の形態と比較して、画像データの画素配列がベイヤー配列である場合、ベイヤー補間後に、ホワイトバランスの補正が行われる。従って、より適切にホワイトバランスの補正を行うことができ、よりアスベストの観察に適した画像データを生成することができる。

また、ホワイトバランスの補正と色調整を同時に行うことができるため、処理時間を短縮することができる。

＜３．変形例＞
図４の画像処理部２０２および図７の画像処理部３０１は、必ずしもデジタルカメラ１１１に設ける必要はなく、例えば、その一部または全部を画像処理装置１１４に設けるようにしてもよい。

また、以上の説明では、ハロゲンランプを照明に用いる例を示したが、本発明は、他の種類の照明を用いる場合にも適用することが可能である。

さらに、図８のステップＳ５８の処理は必ずしも行う必要はなく、省略することも可能である。

また、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、例えば、デジタルカメラ１１１や画像処理装置１１４などのコンピュータにインストールされる。

ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

また、コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディアに記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１ 光学顕微鏡， １５ 試料ステージ， １６ ステージ駆動部， １８ 分散対物レンズ， ２１ 光源， ２４ リング絞り， ２６ レンズ， ２７ 遮光リング， ２８ アナライザ， ２９ デポラライザ， ３０ 結像レンズ， ３２ 接眼レンズ， １０１ 顕微鏡システム， １１１ デジタルカメラ， １１２ 回転機構， １１３ 制御演算装置， １１４ 画像処理装置， １１５ ディスプレイ， ２０１ 撮像部， ２０２ 画像処理部， ２１１ ホワイトバランス調整部， ２１２ ホワイトバランス補正部， ２１３ ベイヤー補間部， ２１４ 色調整部， ３０１ 画像処理部， ３１１ 色調整部

Claims (6)

1. 照明光が照射された試料を透過する光のうち前記試料を透過する際に直進する光を除いた分散光による像を撮像することにより得られる画像データのホワイトバランスを調整するホワイトバランス調整手段と、
   ホワイトバランス調整後の前記画像データにおける前記照明光の色を実際の前記照明光の色温度に応じた色に設定するゲインを用いて、ホワイトバランス調整後の前記画像データの有彩色の画素および輝度値が所定の閾値を超える画素のホワイトバランスを補正する補正手段と
   を備える画像処理装置。
2. 前記補正手段は、前記画像データの色を調整するための色調整マトリックスに前記ゲインを乗じたマトリックスを、ホワイトバランス調整後の前記画像データの有彩色の画素および輝度値が所定の閾値を超える画素に適用する
   請求項１に記載の画像処理装置。
3. 前記画像データの画素配列がベイヤー配列である場合に、ホワイトバランス調整後の前記画像データのベイヤー補間を行うベイヤー補間手段をさらに備え、
   前記補正手段は、ベイヤー補間後の前記画像データに前記マトリックスを適用する
   請求項２に記載の画像処理装置。
4. 照明光が照射された試料を透過する光のうち前記試料を透過する際に直進する光を除いた分散光による像を撮像することにより得られる画像データの画像処理を行う画像処理装置が、
   前記画像データのホワイトバランスを調整し、
   ホワイトバランス調整後の前記画像データにおける前記照明光の色を実際の前記照明光の色温度に応じた色に設定するゲインを用いて、ホワイトバランス調整後の前記画像データの有彩色の画素および輝度値が所定の閾値を超える画素のホワイトバランスを補正する
   ステップを含む画像処理方法。
5. 照明光が照射された試料を透過する光のうち前記試料を透過する際に直進する光を除いた分散光による像を撮像することにより得られる画像データのホワイトバランスを調整し、
   ホワイトバランス調整後の前記画像データにおける前記照明光の色を実際の前記照明光の色温度に応じた色に設定するゲインを用いて、ホワイトバランス調整後の前記画像データの有彩色の画素および輝度値が所定の閾値を超える画素のホワイトバランスを補正する
   ステップを含む処理をコンピュータに実行させるためのプログラム。
6. 試料に照明光を照射する照明光学系と、
   照明光が照射された試料を透過する光のうち前記試料を透過する際に直進する光を除いた分散光による像を結像させる結像光学系と、
   前記結像光学系により結像された前記試料の像を撮像する撮像手段と、
   前記撮像手段により得られた画像データのホワイトバランスを調整するホワイトバランス調整手段と、
   ホワイトバランス調整後の前記画像データにおける前記照明光の色を実際の前記照明光の色温度に応じた色に設定するゲインを用いて、ホワイトバランス調整後の前記画像データの有彩色の画素および輝度値が所定の閾値を超える画素のホワイトバランスを補正する補正手段と
   を備えるアスベスト観察装置。

Images