JP2014103548A - 撮像装置および顕微鏡システム - Google Patents

Abstract

【課題】ゲイン設定に応じて自動で適切なノイズ抑制処理を選択する指標を提供し、適切なノイズ抑制処理によって高品位な画像を取得する。
【解決手段】撮像素子１０ａで取得された信号を増幅する増幅部１０ｂを有する撮像部１０と、該撮像部１０から出力された画像信号の画像処理を行う処理部１１ｂと、増幅部１０ｂの増幅率と、処理部１１ｂで行う画像処理とを制御する制御部１１ａとを備え、制御部１１ａが、増幅率から輝度信号および光電子数を換算する変換係数を算出し、算出された変換係数が大きいほどよりノイズ低減処理を強化するよう処理部１１ｂを制御する撮像装置１を提供する。
【選択図】図２

Description

本発明は撮像装置および顕微鏡システムに関するものである。

従来、暗い蛍光画像等を撮影する際に高いゲイン設定を使用し、その際ローパスフィルタなどのノイズ抑制処理でノイズを低減する技術がある（例えば、特許文献１〜３参照。）。

特開２０１０−１５７７９１号公報 特開２００３−２１９２１０号公報 特許第４９７６８３２号公報

しかしながら、特許文献１に記載の技術ではノイズ抑制処理をどのように選択するかの基準が明確になっていない。また、特許文献２に記載の技術では観察する標本の構造に依存してノイズの算出量が変化するため、観察対象によっては適切なノイズ抑制処理が選択できないという不都合がある。また、特許文献３には、ゲイン設定に応じて固定パターンノイズのパターンが異なることに対して適切なノイズ除去処理を選択する技術が開示されているが、固定パターンノイズ以外の低減方法に関しては説明されていない。

本発明は上述した事情に鑑みてなされたものであって、ゲイン設定に応じて自動で適切なノイズ抑制処理を選択する指標を提供し、適切なノイズ抑制処理によって高品位な画像を取得することができる撮像装置および顕微鏡システムを提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、撮像素子で取得された信号を増幅する増幅部を有する撮像部と、該撮像部から出力された画像信号の画像処理を行う処理部と、前記増幅部の増幅率と、前記処理部で行う画像処理とを制御する制御部とを備え、前記制御部が、前記増幅率から輝度信号および光電子数を換算する変換係数を算出し、算出された変換係数が大きいほどよりノイズ低減処理を強化するよう前記処理部を制御する撮像装置を提供する。

上記態様においては、前記処理部による画像処理が、ローパスフィルタを用いた処理であってもよい。
また、上記態様においては、前記制御部が、前記ローパスフィルタを用いた処理をデモザイキング処理の前あるいはデモザイキング処理時に行ってもよい。
また、上記態様においては、前記制御部が、前記変換係数に応じて前記ローパスフィルタの係数を切り替えてもよい。

また、上記態様においては、前記制御部が、光学設定情報を取得し、取得された光学設定情報に応じて前記処理部による画像処理を制御してもよい。
また、上記態様においては、前記処理部による画像処理が、ローパスフィルタを用いた処理であり、前記制御部が、前記光学設定情報に応じて前記ローパスフィルタの幅を決定し、前記変換係数に応じて前記ローパスフィルタの幅以外の形状を決定してもよい。

また、上記態様においては、前記変換係数が、画像内の領域毎に個別の値であり、前記制御部が、前記処理部により画像内の領域毎に個別の画像処理を行ってもよい。
また、上記態様においては、前記制御部が、前記画像処理の制御を処理対象画素の輝度と前記変換係数とに基づいて決定してもよい。

また、上記態様においては、前記制御部が、前記処理部の処理を、前記変換係数の平方根を画像のコントラストで除算した結果に基づいて制御してもよい。
また、上記態様においては、前記ローパスフィルタの処理対象画素にかける係数が、前記変換係数を用いて決定した分散σ１を有する正規分布を用いて決定し、それ以外の係数を前記分散σ１より大きい分散σ２を有する正規分布を用いて、ローパスフィルタの係数の総和が１となるように決定してもよい。

上記態様においては、前記変換係数が、予め撮像装置に記録されていてもよい。
また、本発明は上記いずれかの撮像装置を備える顕微鏡システムを提供する。

本発明によれば、ゲイン設定に応じて自動で適切なノイズ抑制処理を選択する指標を提供し、適切なノイズ抑制処理によって高品位な画像を取得することができるという効果を奏する。

本発明の第１の実施形態に係る撮像装置を使用する顕微鏡システムの模式図である。 図１の撮像装置を示す模式図である。 図１の撮像装置の撮像部を説明する模式図である。 図１の撮像装置による撮像動作を説明するフローチャートである。 図１の撮像装置の画像処理部による処理を説明するフローチャートである。 図１の撮像装置によるノイズ抑制処理を説明するフローチャートである。 図１の撮像装置におけるローパスフィルタの係数算出手順を説明するフローチャートである。 図１の撮像装置の変形例による画像処理を説明するフローチャートである。 本発明の第２の実施形態に係る撮像装置によるローパスフィルタの生成方法を説明するフローチャートである。 本発明の第３の実施形態に係る撮像装置によるノイズ抑制処理を説明するフローチャートである。 本発明の第４の実施形態に係る撮像装置によるノイズ抑制処理を説明するフローチャートである。 本発明の第５の実施形態に係る撮像装置によるローパスフィルタの係数算出処理を説明するフローチャートである。 図１２の撮像装置におけるローパスフィルタ形状と、従来のガウシアンフィルタ形状の違いを説明する模式図である。

（第１の実施形態）
本発明の第１の実施形態に係る撮像装置１および顕微鏡システム２について、図面を参照して以下に説明する。
本実施形態に係る撮像装置１は、図１に示される顕微鏡システム２に装備される。

本実施形態に係る顕微鏡システム２は、顕微鏡２１と、撮像装置１と、コンピュータ（ＰＣ）２２とを備えている。顕微鏡２１と撮像装置１は、光学的かつ機械的に接続されており、撮像装置１とコンピュータ２２は電気的に接続されている。
顕微鏡システム２の使用者は、顕微鏡２１で観察する画像を撮像装置１で取得し、コンピュータ２２で観察および保存する。

顕微鏡２１は、レボルバ２１ａと、ステージ２１ｂと、コンデンサ２１ｃと、コレクタ２１ｄと、光源２１ｅと、３眼鏡筒２１ｆと、筐体２１ｇと、アダプタ２１ｈと、対物レンズ２１ｉと、接眼レンズ２１ｊとを備えている。撮像装置１は、図２に示されるように、撮像部１０と、処理部１１と、通信部材１２とを備え、アダプタ２１ｈによって顕微鏡２１に接続されている。

撮像部１０と処理部１１とは通信部材１２で接続されている。コンピュータ２２はコンピュータ本体２２ａとモニタ２２ｂとを備え、処理部１１はコンピュータ本体２２ａ内でコンピュータ本体２２ａに電気的に接続されている。

撮像部１０は、撮像素子１０ａと、駆動部１０ｂと、読み出し部１０ｃとを備えている。処理部１１は、制御部１１ａと、画像処理部１１ｂとを備えている。駆動部１０ｂは、制御部１１ａと通信部材１２によって電気的に接続されている。読み出し部１０ｃは、制御部１１ａおよび画像処理部１１ｂと通信部材１２によって電気的に接続されている。

制御部１１ａと画像処理部１１ｂは、コンピュータ本体２２ａと電気的に接続されている。制御部１１ａは、駆動部１０ｂ、読み出し部１０ｃおよび画像処理部１１ｂに電気的に接続されている。

撮像素子１０ａは、図３に示されるように、電荷読み出し部１０１と、受光部１０２と、垂直転送部材１０３と、水平転送部材１０４とを備えている。読み出し部１０ｃはアンプ部２０１と、変換部２０２を備えている。変換部２０２は、画像処理部１１ｂに電気的に接続されている。

次に、顕微鏡システム２を用いて標本画像を撮影および観察する際の動作について説明する。
顕微鏡システム２の使用者は、ステージ２１ｂ上に観察対象の標本を設置する。

光源２１ｅは、例えば、ハロゲンランプであり、光源２１ｅから出た光は、筐体２１ｇ内を通り、コレクタ２１ｄに設けられた図示しない視野絞りで適切に絞られ、垂直上方（対物レンズ２１ｉの光軸方向）に照射される。コレクタ２１ｄから出た光はコンデンサ２１ｃで集光され、またコンデンサ２１ｃ内の図示しない視野絞りで適切に絞られ、ステージ２１ｂ上の標本に照射される。

標本を透過した光は対物レンズ２１ｉで集光され、３眼鏡筒２１ｆに導かれる。３眼鏡筒２１ｆには図示しない光路切替機構が設けられており、対物レンズ２１ｉから導かれた光を接眼レンズ２１ｊ、あるいはアダプタ２１ｈ、あるいはその両方に分配して導くことができる。

顕微鏡システム２の使用者は、接眼レンズ２１ｊを用いて観察を行う際にはこの光路を接眼レンズ２１ｊ側に切り替える。顕微鏡システム２の使用者は撮像装置１を用いた観察のみを行う場合にはこの光路をアダプタ２１ｈ側に切り替える。

アダプタ２１ｈに導かれた光は、アダプタ２１ｈにより撮像部１０に入射し、撮像部１０内に設けられた図示しないＩＲカットフィルタで赤外波長成分を切り落とされた後に、撮像素子１０ａの図示しない受光面で焦点を結ぶ。アダプタ２１ｈは、例えば一定の倍率を有するアダプタである。

図１では、レボルバ２１ａに対物レンズ２１ｉが1つ設置されている例を示しているが、レボルバ２１ａには図示しない他の対物レンズ２１ｉが設置されており、レボルバ２１ａの回転によって対物レンズ２１ｉを切り替えることができる。
筐体２１ｇには図示しない複数種類のＮＤフィルタが設けられており、顕微鏡システム２の使用者は標本に照射される光量を適切に調整できる。筐体２１ｇには図示しないカラーフィルタが設けられており、顕微鏡システム２の使用者は光源２１ｅの分光スペクトルを適切に調整できる。

次に、図４に示されるフローチャートを用いて撮像装置１による撮像動作を説明する。顕微鏡システム２の使用者はコンピュータ２２を通して露光時間、ゲイン設定などの撮像装置１の撮像条件を設定する。制御部１１ａは使用者の設定に応じて駆動部１０ｂの駆動条件、読み出し部１０ｃの駆動条件および画像処理部１１ｂの処理内容を制御する。

駆動部１０ｂは、制御部１１ａの制御に従って撮像素子１０aと、読み出し部１０ｃと、を制御する。撮像素子１０ａの受光部１０２に光が入射すると、光電効果によって内部に光電子が発生する。駆動部１０ｂが受光部１０２に印加する電圧を制御すると、設定された露光時間のみ発生した光電子が蓄積される（動作１）。

光電子が蓄積されると制御部１１ａは、受光部１０２および垂直転送部１０３に印加する電圧を制御し、蓄積された光電子を、垂直転送部１０３を用いて順に水平転送部１０４方向に転送する。また、同時に水平転送部１０４に印加する電圧を制御し、受光部１０２の１画素毎の蓄積された光電子を順に電荷読み出し部１０１に転送する（動作２）。

電荷読み出し部１０１では、図示しないコンデンサによって光電子の電荷が電圧信号に変換される（動作３）。変換された電気信号は、アンプ部２０１に転送され、アンプ部２０１で光電子の電荷量に比例した値となるよう駆動部１０ｂの駆動に従って変換および増幅される（動作４）。

この際の増幅率をＡＦＥゲインと呼ぶ。ＡＦＥゲインの値は、制御部１１ａによって制御される。アンプ部２０１で増幅された電圧信号は変換部２０２でデジタル信号に変換される（動作５）。

変換されたデジタル信号は、画像処理部１１ｂで処理され（動作６）、コンピュータ本体２２ａに転送される（動作７）。転送された画像データは、コンピュータ２２のアプリケーションにより、モニタ２２ｂに表示され、あるいは顕微鏡システム２の使用者の指示に従ってファイルとして保存される。

撮像素子１０ａは、例えばカラーＣＣＤ素子である。読み出し部１０ｃは例えばＡＦＥであり、アンプ部２０１で行う変換処理は、相関２重サンプリングであり、変換部２０２はＡＤＣ素子である。処理部１１は、例えば、ＰＣＩｅバスでコンピュータに接続されたＰＣＩｅボードであり、制御部１１ａはＰＣＩｅボードのＦＷとして実装された機能であり、画像処理部１１ｂはＰＣＩｅボード上のＦＰＧＡ内に実装された機能である。画像の保存形式は例えば１４ｂｉｔ−Ｔｉｆｆファイルや、８ｂｉｔ−Ｔｉｆｆファイルである。

図５を用いて、本実施形態に係る撮像装置１の画像処理部１１ｂを用いた画像処理について説明する。図５は、画像処理部１１ｂによる処理内容を説明するフローチャートである。

画像処理部１１ｂにデジタル信号が転送されると、画像処理部１１ｂでは制御部１１ａの制御に従い、画素欠陥補正処理を行う（処理２１）。画素欠陥補正処理とは、例えば欠陥画素情報を元に、欠陥画素の輝度を周辺画素から算出した輝度で置換する処理である。欠陥補正後のデータには必要に応じてＷＢ処理、ＢＢ処理がかけられる（処理２２）。

ＷＢ処理とは、例えばコンピュータ２２を通じて使用者が指定した画像範囲から算出したカラーチャネルごとのゲインを用いて、カラーチャネル毎に異なる一定のゲインをかけてカラーチャネル間のホワイトバランスをとる処理である。ＢＢ処理は、例えば画像データから黒レベルを減算する処理である。

ＢＢ処理およびＷＢ処理の後、信号は、ノイズ抑制処理のためのローパスフィルタにかけられる（処理２３）。ノイズ抑制処理の内容については後述する。ノイズ抑制処理後の信号は、デモザイキング処理（処理２４）によってＲＧＢデータに変換され、色変換（処理２５）の後、レベル補正される（処理２６）。また、ノイズ抑制処理後の信号は処理２４〜２６とは別に、レベル補正され（処理１１）、輪郭検出され（処理１２）、ゲイン調整される（処理１３）。処理２７の輪郭強調処理によって処理２６の出力データに処理１３の出力データが合成され、画像の輪郭が強調された後に出力される。

次に、図６を用いて本発明のノイズ抑制処理の手順を説明する。図６は本発明で使用するノイズ抑制処理を説明するフローチャートである。
図６（ａ）においては、制御部１１ａは、撮像条件が設定されたときにゲイン設定を読み出し（処理１１１）、ゲイン設定の内容からアンプゲイン係数を算出する（処理１１２）。アンプゲイン係数とは１個の光電子が何ＬＳＢの信号に対応するかを示す係数であり、単位はＬＳＢ／ｅ⁻である。

アンプゲイン係数は、電荷読み出し部１０１のコンデンサ容量と増幅率、アンプ部２０１の増幅率および画像処理部１１ｂによるＷＢ処理のゲインによって決まる量であり、撮像装置１製造時に撮像装置１の特性として測定できる。
アンプゲイン係数αは、例えば、撮像装置１の設定可能な最低のゲイン設定でＮＤフィルタなどによって撮像装置１に入射する光量を変えて複数の輝度の画像を撮影し、撮影した画像の輝度配列ＡＶＧ［ｉ］と輝度分散の配列Ｓｔｄｅｖ［ｉ］を用いて次式で算出できる。

処理１１２のアンプゲイン係数算出処理は、例えば撮像装置１の生産時に使用可能なゲイン設定それぞれについて値α［ＬＳＢ／ｅ⁻］を撮像装置１内に記録しておき、このパラメータをゲイン設定に応じて読み出す処理である。制御部１１ａは、アンプゲイン係数に応じて、ローパスフィルタの係数を算出する（処理１１３）。

図７のフローチャートを用いて、本実施形態に係る撮像装置１のローパスフィルタの係数算出の手順を説明する。制御部１１ａは、ローパスフィルタとしてガウシアンフィルタを使用する場合に、ガウシアンフィルタの分散σ［画素］の関数として、分布全体の積分面積に対する中央１画素の割合の比がどのような量になるのかを予め計算しておく（処理１５１）。計算式を以下に示す。

上式でｘは画素位置である。値を２乗しているのは、カッコ内の式が１次元正規分布の積分であるため、２次元のフィルタを考える場合の比率は２乗になるためである。関数Ｆ＿光電子数倍率は、ルックアップテーブル（ＬＵＴ）でもよいし、予めσの関数としてＦ＿光電子数倍率を計算した結果を２次関数でフィッティングした値でもよい。

次に、制御部１１ａは処理１１２で算出したアンプゲイン係数α［ＬＳＢ／ｅ⁻］と、代表輝度Ｘ［ＬＳＢ］とから光ショットノイズのＳＮ比ＳＮ＿ｍｅｓ［ｄＢ］を算出する（処理１５２）。代表輝度Ｘ［ＬＳＢ］とは、顕微鏡システム２の使用者が観察する画像の代表的な輝度値であり、例えば、１４ｂｉｔの画像を取得する場合には１２８００ＬＳＢなどの値を設定する。ＳＮ＿ｍｅｓ［ｄＢ］の計算式を以下に示す。

ここでＸ＿ｒａｗ［ＬＳＢ］とは、処理２６で行うレベル補正の逆変換によってＸ［ＬＳＢ］から求めた、レベル補正前の代表輝度である。制御部１１ａは、予め撮像装置１に設定された目標ＳＮ比ＳＮ＿ｔａｒｇｅｔ［ｄＢ］を読み出す（処理１５３）。目標ＳＮ比ＳＮ＿ｔａｒｇｅｔ［ｄＢ］とは、撮像装置１で取得する画像内の微小な構造が、ノイズによってつぶれてしまい見えなくなる限界のＳＮ比であり、例えば２０［ｄＢ］などの値に設定しておくことができる。

制御部１１ａは処理１５２で推定したＳＮ比ＳＮ＿ｍｅｓ［ｄＢ］と、目標ＳＮ比ＳＮ＿ｔａｒｇｅｔ［ｄＢ］を達成するために、何倍の光電子統計が必要かの倍率Ｇ［倍］を求める（処理１５４）。倍率Ｇの計算方法を次式に示す。

処理部１１は、倍率Ｇを関数Ｆ＿光電子数倍率（σ）の逆変換にかけてローパスフィルタの分散σを求める（処理１５５）。例えば、関数Ｆ＿光電子数倍率（σ）を２次の近似関数Ｆ（σ）＝ａＸ^２＋ｂＸ＋ｃとして求めていた場合、処理１５５で算出する分散σは次式で表せる。

こうして求めた分散σ［画素］を用いて、制御部１１ａは、処理１０１で使用するローパスフィルタの係数を算出する（処理１５６）。ローパスフィルタは、例えば３×３のガウシアンフィルタである。ここでは、処理１１２で求めたアンプゲイン係数α［ＬＳＢ／ｅ⁻］を用いて制御部１１ａが処理１５６で使用する分散σを計算する例を示したが、処理１５１〜処理１５５は、撮像装置１の製造時に予め行っておいてもよい。

この場合は撮像装置１にアンプゲイン係数α［ＬＳＢ／ｅ⁻］と適切な分散σ［画素］の関係を予め書き込んでおき、処理１１３でローパスフィルタの係数を計算する際には、この記録されている関係式に従って分散σを決定し、処理１５６でローパスフィルタの係数を決定することもできる。

撮影を行い、画像データが画像処理部１１ｂのノイズ抑制処理過程に来ると、図６（ｂ）に示されるように、画像処理部１１ｂは処理１１３で算出された係数を用いて画像データにローパスフィルタをかける（処理１０１）。
処理２５の色変換とは、例えば３×３の色行列をかけ合わせる行列計算である。処理２６および処理１１のレベル補正とは例えばγ補正である。γ補正の例を次式に示す。

（出力データ／出力データ最大輝度）＝（入力データ）^１／ｒ×出力データ最大輝度

処理１２の輪郭検出とは、例えばラプラシアンフィルタ処理である。
処理２７の輪郭強調とは、例えば加算処理である。

なお、上記説明ではノイズ抑制処理としてガウシアン型のローパスフィルタを例に挙げて説明したが、必ずしもこの限りではない。別のフィルタ形状でもよい。
処理２６および処理１１のレベル補正がγ補正である場合を例に挙げて説明したが、必ずしもこの限りではない。予め設定された複数のＬＵＴを用いた変換であってもよい。

上記の例では画像処理部１１ｂの行う処理として図５のフローを挙げたが、必ずしもこの限りではない。ここで説明していないノイズ抑制処理、エッジ強調処理、色変換処理、を行ってもよい。

上記では撮像素子としてカラーＣＣＤを例に挙げたが必ずしもこの限りではない。ＣＭＯＳ、光電子増倍管、ＡＰＤあるいはＳＳＤ等のその他の受光素子であってもよい。
上記ではローパスフィルタの係数を、アンプゲイン係数αを用いて算出する例を示したが必ずしもこの限りではない。ローパスフィルタの係数は撮像装置１の製造時に予め撮像装置１内に記録しておき、アンプゲイン係数αの値に従って保存された係数を読み出して使用してもよい。

上記ではローパスフィルタによる光電子統計の増加の効果を関数Ｆ＿光電子倍率（σ）で見積もったが、この関数形はこの限りではない。ローパスフィルタが３×３ないし５×５などの大きさを持っている場合、この大きさを考慮して関数Ｆ＿光電子倍率（σ）を作成する方法もある。
上記ではノイズ抑制処理後の信号がデモザイキング処理によってＲＧＢデータに変換される例を示したが、この限りではない。デモザイキング処理時に使用するフィルタがノイズ抑制処理を兼ねる場合もある。

このように、本実施形態に係る撮像装置１によれば、低いゲインが設定されて、１ＬＳＢ当たりの光電子数が多く、光電子数の統計ばらつきが小さい場合には、小さな分散のガウシアンフィルタが使用されて、画像の高周波成分を失わずに撮影ができる。一方、高いゲインが設定されて、１ＬＳＢ当たりの光電子数が少なく、光電子数の統計ばらつきが大きい場合には、大きな分散のガウシアンフィルタが使用され、目標ＳＮ比を達成するようノイズが低減された画像が取得できる。これによりそれぞれのゲイン設定に応じて適切なノイズ抑制処理が選択され、高い品位の画像を得ることができるという利点がある。

また、本実施形態に係る撮像装置１ではゲインの設定値そのものではなく、アンプゲイン係数αを基準としてノイズ抑制処理を選択するため、従来のようにゲイン設定に応じてノイズ抑制処理を選択する場合と比較して、電荷読み出し部１０１やアンプ部２０１の素子固体の特性ばらつきやＷＢ処理時のゲインの違いの影響を受けずに適切なノイズ抑制処理が選択できるというメリットがある。

なお、本実施形態の第１の変形例に係る撮像装置１は、撮像素子１０ａとしてカラーＣＣＤではなく、白黒ＣＣＤを使用してもよい。
本変形例の特徴である画像処理部１１ｂにおける処理について図８を用いて説明する。図８は本変形例の画像処理を説明するフローチャートである。

撮影を行い、画像データが画像処理部１１ｂに入力されると、画像処理部１１ｂは制御部１１ａの制御に従って欠陥画素のデータを補正する（処理３１）。欠陥補正後のデータはノイズ抑制処理（処理３２）された後、出力される。処理３２は、例えば、処理２３で説明した処理と同じ処理である。
このようにすることで、本実施形態に係る撮像装置１は、カラー情報を区別しない撮像素子に対しても適用可能である。

（第２の実施形態）
次に、本発明の第２の実施形態に係る撮像装置１について説明する。
本実施形態は、顕微鏡システム２は図示しない通信方法によって顕微鏡２１の対物レンズ２１ｉの設定をコンピュータ２２で取得可能な点が第１の実施形態と相違している。

本実施形態に係る撮像装置１は、ノイズ抑制処理で使用するローパスフィルタの係数算出方法が第１の実施形態と相違している。図９のフローチャートを用いて本実施形態の特徴であるローパスフィルタの係数計算方法について説明する。

制御部１１ａは、撮像条件が設定されたときにゲイン設定を読み出し（処理１４１）、ゲイン設定の内容からアンプゲイン係数α［ＬＳＢ／ｅ⁻］を算出する（処理１４２）。制御部１１ａは、アンプゲイン係数α［ＬＳＢ／ｅ⁻］から分散σ［ｐｉｘｅｌ］＝ｋ×αの正規分布ｆ１を計算する（処理１４３）。この際、正規分布ｆ１は、１画素未満の画素位置（例えば０．１画素毎）に対する係数分布として計算する。

また、制御部１１ａは、顕微鏡の設定を読み出す（処理１４４）。ここで、顕微鏡の設定とは、対物レンズ２１ｉの倍率Ｍ（ＯＢＪ）、対物レンズ２１ｉの開口数ＮＡおよびアダプタ２１ｈの倍率Ｍ（ＴＶ）である。これらの設定は、コンピュータ２２の使用者がアプリケーション上で設定した値でもよいし、顕微鏡２１がコンピュータ２２と通信可能であり、設定の情報をコンピュータ２２に送信できる場合は、顕微鏡２１から送信された情報でもよい。

制御部１１ａは、像側開口数ＮＡ’をＮＡ’＝ＮＡ／（Ｍ（ＯＢＪ）×Ｍ（ＴＶ））で計算し、この値を用いて光学分解能σ（ｏｐｔ）［ｐｉｘｅｌ］＝Ｃ×λ／ＮＡ’を算出する（処理１４５）。ここで、符号Ｃは比例係数、λ［ｎｍ］は顕微鏡２１で使用する観察波長を代表する値である。制御部１１ａは、算出した光学分解能σ（ｏｐｔ）を用いて矩形分布ｆ２を計算する（処理１４６）。矩形分布ｆ２の計算式は、例えば次式のとおりである。

制御部１１ａは、関数ｆ１，ｆ２を乗算してローパスフィルタを表す関数ｆ３を計算し（処理１４７）、関数ｆ３を用いてローパスフィルタの係数を算出する（処理１４８）。係数の算出方法は、例えば次式のとおりである。

この式でｘ，ｙとはフィルタをかける対象画素を（０，０）とした場合の画素位置である。上記積分を数値計算する場合は、ｘ，ｙそれぞれは１画素未満（例えば０．１画素）刻みのデータとして扱い、積分する。

なお、上記では光学分解能σ（ｏｐｔ）を対物レンズ２１ｉの倍率、開口数およびアダプタ２１ｈの倍率を用いて算出する例を説明したが、必ずしもこの限りではない。処理１４４において顕微鏡２１の設定を読み出す際に観察方法（例えば、明視野、暗視野の設定）を読み出し、この情報を考慮して光学分解能を算出してもよい。

上記では矩形分布ｆ２の構造をσ（ｏｐｔ）のみによって決める例を示したが必ずしもこの限りではない。矩形分布の最低幅Ｗ＿ｍｉｎ［画素］を設定しておき、次式で分布の形状を決定してもよい。

このようにすることで、本実施形態に係るノイズ抑制処理によれば、光学分解能に応じてローパスフィルタで使用する画素の範囲を決定できる。このため、光学分解能が低く複数の画素に入射する光量の相違が少なくローパスフィルタをかけても画質が低下し難い場合には分散の大きなローパスフィルタによってノイズが低減され、光学分解能が高く画素毎に入射する光量差が大きな場合にはローパスフィルタの分散を低減することで元々の画像の持つ高周波成分を失わずに済むという利点がある。

第１の実施形態とは異なり、アンプゲイン係数α［ＬＳＢ／ｅ⁻］に応じて画素毎の情報の平均化の程度を変更し、光学分解能に応じて平均化する範囲を変更することで、より画像情報の劣化の少ないノイズ低減を行うことが出来る。

（第３の実施形態）
本実施形態に係る撮像装置１は、ノイズ抑制処理が第１の実施形態と相違している。図１０のフローチャートを用いて本実施形態の特徴であるノイズ抑制処理について説明する。

図１０（ａ）において、制御部１１ａは撮像条件が設定されたときにゲイン設定を読み出し（処理１２１）、ゲイン設定の内容からアンプゲイン係数αを算出する（処理１２２）。制御部１１ａはアンプゲイン係数αから閾輝度Ｔｈ［ＬＳＢ］を算出する（処理１２３）。閾輝度Ｔｈとは、処理１２２で算出したアンプゲイン係数と予め設定された光電子数Ｎ個から計算される値であり、その計算式はＴｈ［ＬＳＢ］＝アンプゲイン係数α［ＬＳＢ／ｅ⁻］×N［個］ である。閾輝度Ｔｈはある画素で蓄積された光電子の個数が十分多いかどうかを判定するための閾値である。

次に、制御部１１ａは処理１２２で算出したアンプゲイン係数を元に、σ１［画素］の分散を持つガウシアンフィルタである第１のローパスフィルタの係数を選択する（処理１２４）。また、同様にσ2［画素］の分散を持つガウシアンフィルタである第２のローパスフィルタの係数を選択する（処理１２５）。ここで、σ１＞σ２である。

撮影を行い、画像データが画像処理部１１ｂのノイズ抑制処理過程に来ると、画像処理部１１ｂは、図１０（ｂ）に示されるように、まず、処理する対象の画素を選択し（処理１３１）、対象画素の輝度値Ｘ［ＬＳＢ］を取得する（処理１３２）。ここで、輝度値Ｘとは、黒レベルを減算した値であり、該当画素に蓄積された光電子数に比例する値である。

画像処理部１１ｂは、Ｘ＜Ｔｈ（判定１３１）ならば、第１のローパスフィルタを用いて画像処理を行い（処理１３３）、そうでなければ第２のローパスフィルタを用いて画像処理を行う（処理１３４）。算出したデータは処理前の画像とは異なるメモリに蓄積する。処理１３１以降の処理を、全画素に対して行うまで、画像処理部１１ｂは処理を繰返す（判定１３２が否ならば処理１３１に戻る）。全画素を処理すれば算出したデータを出力データとしてノイズ抑制処理を終了する。

なお、上記では２種類のガウシアンフィルタを使い分ける例を挙げたが、必ずしもこの限りではない。３種類以上のフィルタを使い分けてもよい。あるいはガウシアンフィルタ以外のフィルタを使い分けてもよい。また、上記例ではアンプゲイン係数を元に閾輝度を予め計算し、この閾輝度を判定に使用してフィルタを選択する場合を説明したが、必ずしもこの限りではない。処理対象画素の輝度とアンプゲイン係数から個々の画素で蓄積された光電子の数を計算し、この個数から直接フィルタの係数を算出してもよい。

このように、本実施形態に係る撮像装置１によれば、処理対象の画素に蓄積された光電子数に応じて使用するローパスフィルタの係数を切り替えるため、入射光量が多く明るい画素では高周波の信号を減衰させず高解像度を維持し、入射光量が少なく暗い画素ではローパスフィルタによって光電子の個数の統計ばらつきによるノイズを抑制し、より高品位の画像を取得できるという利点がある。

（第４の実施形態）
本実施形態に係る撮像装置１は、ノイズ抑制処理において第１の実施形態と相違している。図１１のフローチャートを用いて本実施形態の特徴であるノイズ抑制処理について説明する。
画像処理部１１ｂは、まず処理する対象の画素を選択し（処理１７１）、対象画素の輝度値Ｘ［ＬＳＢ］を取得する（処理１７２）。処理１７１および処理１７２は、例えば処理１３１、処理１３２と同じ処理である。画像処理部１１ｂは処理１７１で選択した処理対象の画素周辺の輝度情報から、コントラストの程度を表す係数Ｃｏｎｔを算出する（処理１７３）。

Ｃｏｎｔは、例えば処理１７１で選択した画素の周辺３×３画素の範囲の輝度値の分散であってもよいし、この範囲内の最高輝度と最低輝度の差分であっても良い。次に画像処理部１１ｂは処理１７２で取得した輝度値Ｘ［ＬＳＢ］と処理１７３で取得したコントラストの程度を表す係数Ｃｏｎｔからローパスフィルタの分散σを計算する（処理１７４）。計算式は例えば次式である。

ここで、ｋは比例係数である。画像処理部１１ｂは処理１７４で算出したσに基づき、予め撮像装置１内に記録された複数のフィルタ係数から適切なフィルタ係数を選択する（処理１７５）。例えば、次式のような選択方法が考えられる。

画像処理部１１ｂは、選択した係数を用いたフィルタ処理によって、処理１７１で選択した画素の輝度を算出する（処理１７６）。処理１７１〜処理１７６が全画素分終了すれば（判定１７１）、画像処理部１１ｂは画像データを出力する。

なお、上記では画像処理部１１ｂで処理する画素のそれぞれについて輝度Ｘ［ＬＳＢ］を求め、この輝度値を用いてローパスフィルタの分散を算出する例を挙げたが、必ずしもこの限りではない。輝度は画素毎に求めず、第１の実施形態で述べたようなアンプゲイン係数αに応じた代表輝度値を用いてもよい。上記では処理１７５でフィルタ係数を選択する例を説明したが必ずしもこの限りではない。処理１７４で算出した分散σを用いて、画素毎にフィルタ係数を計算してもよい。

本実施形態に係る撮像装置１は、取得する画像のコントラストに応じてローパスフィルタの形状を決定するため、画像のコントラストが高くノイズが目立ち難い場合にはローパスフィルタの分散を低減して画像の高周波成分を劣化させないようにし、画像のコントラストが低くノイズに画像内の構造が埋もれているような場合には分散の大きなローパスフィルタを使用することノイズを低減してより高品位な画像を取得する。コントラストが低く、画像の構造がノイズに埋もれている場合には、分散の大きなローパスを使用することによる情報の劣化は少ないので問題はない。

第１の実施形態とは異なり、本実施形態のノイズ抑制処理を用いることで、画像の高周波成分の劣化を抑えて適切なノイズ抑制が行われ、画像の品位を向上させることができる。

（第５の実施形態）
本実施形態に係る撮像装置１は第１の実施形態に記載の方法でアンプゲイン係数αを用いてガウシアンの分散σを決定した後、ローパスフィルタの係数を計算する工程においてが第１の実施形態と相違している。図１２を用いて本実施形態の特徴であるローパスフィルタの係数計算方法について説明する。

図１２は本実施形態で行うローパスフィルタの係数計算方法を説明するフローチャートである。図１２に記載した処理の前段には図７に記載した処理１５１〜処理１５５までを行う。ここでは、処理１５５以降の特徴部分について説明する。

制御部１１ａは、第１の実施形態に記載の方法でローパスフィルタの分散σを算出する（処理１５５）。次に、制御部１１ａは分散σのガウシアンフィルタを仮定してローパスフィルタ処理対象画素の輝度にかける係数ｋ（０，０）を算出する（処理１８１）。係数ｋ（０，０）の計算式は以下である。

次に、制御部１１ａは、分散σよりも大きな分散σ2を持つ正規分布ｆ４を用いて係数ｋ４（ｘ，ｙ）を計算し（処理１８２）、分散σよりも小さな分散σ３を持つ正規分布ｆ５を用いて係数ｋ５（ｘ，ｙ）を計算する（処理１８３）。係数ｋ４（ｘ，ｙ）、ｋ５（ｘ，ｙ）とは、それぞれローパスフィルタの処理対象画素を座標（０，０）とした場合の、座標（ｘ，ｙ）の画素輝度に対してかけ合わせる係数であり、計算式は、例えば次式のとおりである。

次に、制御部１１ａは、例えば第２の実施形態に記載の方法で取得した光学分解能の情報を用いて、顕微鏡システム２の光学分解能が予め定めた閾値以上かを判定する（判定１８１）。光学分解能が閾値以上ならば（ｘ、ｙ）＝（０，０）以外のローパスフィルタの係数をｋ４（ｘ，ｙ）を用いて決定し（処理１８４）、光学分解能が閾値未満ならば（ｘ、ｙ）＝（０，０）以外のローパスフィルタの係数はｋ５（ｘ，ｙ）を用いて決定する（処理１８５）。ｋ（０，０）の値はどちらの場合でも処理１８１で求めた値から変更しない。ｋ４（ｘ，ｙ），ｋ５（ｘ，ｙ）の値からローパスフィルタ係数ｋ（ｘ、ｙ）を算出する式としては、例えば、次式を用いることができる。

以上の処理によって算出した係数ｋ（ｉ）と、ガウシアンフィルタとして計算した係数との違いを説明する模式図を図１３に示す。図１３は、本実施形態の方法で計算したローパスフィルタの係数を、ある１次元の軸方向について示したものである。

この図に示した３種類のローパスフィルタは、係数和が１であり、かつ中央画素（ローパスフィルタ処理対象画素）の輝度にかける係数が等しい。つまり、ローパスフィルタ処理によるノイズ低減の程度が等しい。しかし、図１３に示したように、本実施形態の方法で計算したローパスフィルタの係数はガウシアンフィルタとは形状が異なる。

これにより本実施形態では顕微鏡システム２の光学分解能が高い場合には、中央画素に対する重みが大きくなるようにフィルタをかけ、光学分解能が低い場合には中央画素よりも周辺画素に対する重みが大きくなるようにフィルタをかけることになり、従来の正規分布を用いたローパスフィルタよりも画像の構造情報を保持したまま、同じ割合でノイズを低減することができる。

なお、上記例では顕微鏡システム２の光学分解能情報を取得し、ローパスフィルタ係数を設定する例を示したが、必ずしもこのとおりの処理でなくともよい。例えば、光学分解能の如何に関わらず、正規分布ｆ４（ｘ，ｙ）を用いて（ｘ、ｙ）≠（０，０）以外の係数を計算してもよい。この場合には、従来と同程度のノイズ低減割合を実現し、かつ従来のフィルタ処理よりも画像の構造情報を保持するローパスフィルタ処理を行うことができる。

このようにすることで、従来の正規分布を用いたローパスフィルタと比較して、画像の持つ構造情報をより多く保持したまま、従来のフィルタと同じノイズ低減効果を得るローパスフィルタ処理を行うことができるという利点がある。

１ 撮像装置
２ 顕微鏡システム
１０ 撮像部
１０ａ 撮像素子
１０ｂ 駆動部（増幅部）
１０ｃ 読み出し部
１１ 処理部
１１ａ 制御部
１１ｂ 画像処理部（処理部）
１２ 通信部材
２１ 顕微鏡
２１ａ レボルバ
２１ｂ ステージ
２１ｃ コンデンサ
２１ｄ コレクタ
２１ｅ 光源
２１ｆ ３眼鏡筒
２１ｇ 筐体
２１ｈ アダプタ
２１ｉ 対物レンズ
２１ｊ 接眼レンズ
２２ コンピュータ
２２ａ コンピュータ本体
２２ｂ モニタ
１０１ 電荷読み出し部
１０２ 受光部
１０３ 垂直転送部材
１０４ 水平転送部材
２０１ アンプ部
２０２ 変換部

Claims (12)

1. 撮像素子で取得された信号を増幅する増幅部を有する撮像部と、
   該撮像部から出力された画像信号の画像処理を行う処理部と、
   前記増幅部の増幅率と、前記処理部で行う画像処理とを制御する制御部とを備え、
   前記制御部が、前記増幅率から輝度信号および光電子数を換算する変換係数を算出し、算出された変換係数が大きいほどよりノイズ低減処理を強化するよう前記処理部を制御する撮像装置。
2. 前記処理部による画像処理が、ローパスフィルタを用いた処理である請求項１に記載の撮像装置。
3. 前記制御部が、前記ローパスフィルタを用いた処理をデモザイキング処理の前あるいはデモザイキング処理時に行う請求項２に記載の撮像装置。
4. 前記制御部が、前記変換係数に応じて前記ローパスフィルタの係数を切り替える請求項２または請求項３に記載の撮像装置。
5. 前記制御部が、光学設定情報を取得し、取得された光学設定情報に応じて前記処理部による画像処理を制御する請求項１から請求項４のいずれかに記載の撮像装置。
6. 前記処理部による画像処理が、ローパスフィルタを用いた処理であり、
   前記制御部が、前記光学設定情報に応じて前記ローパスフィルタの幅を決定し、前記変換係数に応じて前記ローパスフィルタの幅以外の形状を決定する請求項５に記載の撮像装置。
7. 前記変換係数が、画像内の領域毎に個別の値であり、
   前記制御部が、前記処理部により画像内の領域毎に個別の画像処理を行う請求項１から請求項６のいずれかに記載の撮像装置。
8. 前記制御部が、前記画像処理の制御を処理対象画素の輝度と前記変換係数とに基づいて決定する請求項７に記載の撮像装置。
9. 前記制御部が、前記処理部の処理を、前記変換係数の平方根を画像のコントラストで除算した結果に基づいて制御する請求項１から請求項８のいずれかに記載の撮像装置。
10. 前記ローパスフィルタの処理対象画素にかける係数が、前記変換係数を用いて決定した分散σ１を有する正規分布を用いて決定し、それ以外の係数を前記分散σ１より大きい分散σ２を有する正規分布を用いて、ローパスフィルタの係数の総和が１となるように決定する請求項２に記載の撮像装置。
11. 前記変換係数が、予め撮像装置に記録されている請求項１から請求項１０のいずれかに記載の撮像装置。
12. 請求項１から請求項１１のいずれかに記載の撮像装置を備える顕微鏡システム。

Images