JP2014241580A - 撮像装置 - Google Patents

Abstract

【課題】イメージファイバーによって撮像素子に光を導く構成の撮像装置において、画質のさらなる向上を図るための技術を提供する。
【解決手段】本発明に係る撮像装置は、結像光学系と、複数の画素を有する撮像素子と、前記結像光学系からの光を前記撮像素子へと導く複数の光ファイバーから構成されるイメージファイバーと、前記イメージファイバーに起因する前記撮像素子の照度ムラを補償する処理を施す処理部と、を備え、第一の光ファイバーを伝播する光の少なくとも一部と、第二の光ファイバーを伝播する光の少なくとも一部とが、１つの画素に導かれる。
【選択図】図１

Description

本発明は、結像光学系と撮像素子の間の光をイメージファイバーによって伝送する撮像装置に関する。

様々な種類の撮像装置において、結像光学系からの光をイメージファイバーによって伝送し、撮像素子で撮影する構成が取り入れられている。例えば、蛍光イメージング装置、産業用微弱光検出装置、天体観測装置の様に微弱な光をイメージファイバー内部で増幅し、高輝度画像を取得する技術などが知られている。イメージファイバーとは、多数の光ファイバーを束ねたファイバー束によって２次元の光像を伝送可能にした光学装置である。

結像光学系からの光をイメージファイバーによって撮像素子へ伝送する構成の撮像装置では、撮影画像の品質が様々な要因により劣化することがある。この劣化画像を高画質化する手法はいくつか知られている。例えば、イメージファイバーのコアとクラッドの屈折率差が小さいと光がクラッド部にしみだしてしまい、コントラストの低下を招くという問題がある。この課題を解決するために、特許文献１では、クラッドを通過してきた光を平均的な光強度だとして測定し、その値を画面全体から引くことにより高コントラストの画像を得る方法が開示されている。また特許文献２では、イメージファイバーと撮像素子の光軸方向の間隔を適当に調節し、折り返しを抑制することにより高画質化を可能にする方法が開示されている。さらに特許文献３では、光軸に垂直な方向のイメージファイバーの整列方向と撮像素子の整列方向を適当に調節することによって、モアレを抑制することにより高画質化を可能にする方法が開示されている。

特開昭６１−２８０１８５号公報 特開２００５−３３８３４１号公報 特開平９−３１２３８５号公報

本発明者らは、イメージファイバーによって撮像素子に光を導く構成の撮像装置においては、画素毎の受光量のばらつきに起因して画像の照度ムラが発生するという課題を見出した。受光量のばらつきが起こる原因の一つは、イメージファイバーと撮像素子の構造の違いにあると考えられる。イメージファイバーを構成する各光ファイバーと撮像素子を構成する各画素とは、通常、形状や大きさが異なっている。例えば、光ファイバーの出射端面の形状は円形であり、画素の形状は矩形であることが多い。それゆえ、光ファイバーと画素とを一対一で対応させることは難しく、また、光ファイバーの出射端面と画素の位置関係（重なり度合い）も画素毎に異なってしまう。光ファイバーの形状が円形の場合は、光ファイバーを最密に束ねても、光ファイバー間に隙間が生じる。また、光ファイバーは光を効率よく伝送するためにコア部とクラッド部から構成されているが、クラッド部はほとんど光を通さない。したがって、結像光学系で形成される光像のうち、光ファイバーの隙間またはクラッド部に結像した光は、撮像素子の画素へ伝送されない。言い換えると、光ファイバーの隙間やクラッド部があるために撮像素子に導かれる光の照度が低下し、その照度の低下量が、光ファイバーのコア部の出射端面と画素の位置関係（重なり度合い）に依存して画素毎に異なるのである。このような理由により、一様な照度を持つ被写体を撮影した場合であっても、撮像素子の各画素の出力値にばらつきがでる。これが画像の照
度ムラ（輝度ムラ）となって現れるのである。さらに、光ファイバーの内部を伝送される光の強度分布が一様でない場合もある。このような場合も、光ファイバーの出射端面と画素の位置関係に応じて、画素が受光する照度が異なってしまい、照度ムラができてしまう。

本発明は上記実情に鑑みてなされたものであって、イメージファイバーによって撮像素子に光を導く構成の撮像装置において、画質のさらなる向上を図るための技術を提供することを目的とする。

本発明に係る撮像装置は、結像光学系と、複数の画素を有する撮像素子と、前記結像光学系からの光を前記撮像素子へと導く複数の光ファイバーから構成されるイメージファイバーと、前記イメージファイバーに起因する前記撮像素子の照度ムラを補償する処理を施す処理部と、を備え、第一の光ファイバーを伝播する光の少なくとも一部と、第二の光ファイバーを伝播する光の少なくとも一部とが、１つの画素に導かれることを特徴とする。

本発明によれば、イメージファイバーによって撮像素子に光を導く構成の撮像装置において、画質のさらなる向上を図ることができる。

撮像装置の構成を示す模式図。 第１実施形態の補正値設定処理及び照度ムラ補正処理のフローチャート。 照度ムラ補正の効果を説明する模式図。 実施例１の画素配列と照度ムラを説明する図。 実施例１の照度ムラと補正の結果の一例。 イメージファイバー構造と実施例２及び３の補正の結果の一例。 第２実施形態の光ファイバーのコア部と画素の重なりを説明する模式図。 実施例４及び５の補正の結果の一例。 第３実施形態の光ファイバーのコア部と画素の重なりを説明する模式図。 実施例６及び７の補正の結果の一例。 第４実施形態の撮像素子のカラーフィルターを示す模式図。 第４実施形態の補正値設定処理のフローチャート。 第４実施形態の照度ムラ補正処理のフローチャート。 実施例８の補正の結果の一例。 撮像素子とイメージファイバーとの配置を示す模式図。

本発明は、結像光学系からの光をイメージファイバーによって撮像素子へと導く構成の撮像装置に関し、詳しくは、イメージファイバーに起因する照度ムラを補正し、高画質の画像を取得するための技術に関するものである。イメージファイバーに起因する照度ムラは、イメージファイバーを構成する光ファイバーのコア部の出射端面と画素との位置関係が画素毎に異なることにより、イメージファイバーに因る照度の低下度合いが画素毎に異なるために生じる。これを改善するために、本発明では、撮像素子を構成する各画素の出力値に対し、イメージファイバーに起因する画素毎の照度の低下を補償する処理を施す。これにより、画素毎の照度の低下度合いのばらつきが小さくなり、結果として画像の照度ムラ（輝度ムラ）を改善することができる。出力値の補正方法としては、出力値に補正値を乗じる方法、出力値に補正値を加算する方法、関数またはＬＵＴにより補正後の出力値を得る方法など、いかなる方法を採ってもよい。また、補正値の決定（設定）についてもいかなる方法を採ることができる。例えば、照度分布が既知の被写体（キャリブレーショ
ン用の白板など）を撮影したときに各画素から得られる出力値に基づいて、各画素の補正値を決定してもよい（この方法はキャリブレーションや学習とも呼ばれる）。あるいは、光ファイバーと画素との幾何学的位置関係から計算により照度の低下度合いを推定し、それに基づいて補正値を決定することもできる。いずれの方法の場合も、撮像装置の機体毎に補正値を決定する方が高精度な補正が期待できる。同じ機種であっても、厳密には、イメージファイバーと撮像素子の位置関係が機体毎に異なり、照度ムラの現れ方が異なる可能性があるからである。ただし、機体差が無視できるレベルであれば、同じ機種あるいは同じロットの間で同じ補正値を利用しても構わない。

本発明は、撮像素子に光を導く光学装置としてイメージファイバーを利用する構成の撮像装置であれば、いかなる種類の撮像装置にも適用できる。例えば、微弱な光を光源として用いる、蛍光イメージング装置、産業用微弱光検出装置、天体観測装置などは、イメージファイバー内部で光を増幅できるため、本発明の好ましい適用例の一つである。また、ボールレンズを用いた場合のように、結像面が非平面（曲面）となる場合も、非平面である結像面から平面である撮像素子まで光を導く方法としてイメージファイバーが有効であるため、このような撮像装置も本発明の好ましい適用例の一つである。
以下に、本発明の好ましい実施形態を添付の図面に基づいて詳細に説明する。

＜第１実施形態＞
本発明の第１実施形態を説明する。第１実施形態では、照度分布が既知の被写体を撮影することで、各画素の補正値を決定する方法について説明する。

図１（Ａ）は、撮像装置の構成を模式的に示している。１は撮影する被写体である。２は被写体１の１点から出た光束である。３は結像光学系である。４は結像光学系３により光束２が集光された光束である。５はイメージファイバーである。６は撮像素子である。１００は撮像素子から得られる画像データに対し画像処理を施す処理装置（処理部）であり、１０１は撮影した画像データや画像処理に利用するパラメータ（補正値、係数など）を記憶する記憶装置である。

被写体１から出た光束２は結像光学系３によりイメージファイバー５の入射端面に結像される。光はイメージファイバー５内部を伝播し、イメージファイバー５の出射端面から射出され、撮像素子６で受光される。撮像素子６から出力される画像データは、処理装置１００において所定の画像処理が行われた後、記憶装置１０１に格納される。

イメージファイバー５は、複数の光ファイバーを束ねたファイバー束によって２次元の光像を伝送可能にした光学装置である。撮像素子６は、複数の画素（光電変換素子）を２次元的に配列したイメージセンサであり、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどを利用できる。処理装置１００は、例えば、デモザイキング、黒補正、ホワイトバランス、ノイズ除去、シャープネス、輝度補正、色補正、合成、圧縮符号化などの処理を行う装置である。イメージファイバー５に起因する照度ムラの補正も処理装置１００によって実行される。処理装置１００が提供する処理は、撮像装置の用途や機能に応じて適宜設計することができる。処理装置１００は、ＡＳＩＣ（エーシック）のような専用の回路で実現することもできるし、コンピュータとプログラムにより実現することもできる。記憶装置１０１としては、例えば半導体メモリなど、不揮発性の記憶装置を好ましく利用できる。
図１５にイメージファイバー５と撮像素子６を結像光学系３側からみた様子を示す。イメージファイバー５の光ファイバーのピッチＰ_ｆ、撮像素子６の画素ピッチＰ_ｓは、下記式（１）を満たしている。Ｐ_ｆ／Ｐ_ｓが０．５未満では、撮像素子６の解像力が低下し、Ｐ_ｆ／Ｐ_ｓが２．０より大きくなるとイメージファイバー５の解像力が低下する。好まし
くは、下記式（２）を満たすことがよく、さらには、Ｐ_ｆ／Ｐ_ｓが１であることがより好ましい。
０．５≦Ｐ_ｆ／Ｐ_ｓ≦２．０ ・・・（１）
０．８≦Ｐ_ｆ／Ｐ_ｓ≦１．２ ・・・（２）
この構成により、撮像素子６の１つの画素と、イメージファイバー５の複数の光ファイバーのコア部とが対応することになる。つまり、ある一つの光ファイバーを伝播する光の少なくとも一部と別の光ファイバーを伝播する光の少なくとも一部が、撮像素子６の１つの画素に導かれる。

照度ムラを補正するには、初めにイメージファイバー５による撮像素子６の各画素の照度低下を補償するための補正値を求め、その補正値を記憶装置１０１に記憶しておく必要がある。本実施形態では、各画素の照度低下率を知るために、照度分布が既知である被写体を撮影するという方法を採る。この操作は、撮像装置の工場出荷時に一度行えば十分である。その後、撮像装置を用いて被写体を撮影する時には、処理装置１００が記憶装置１０１から補正値を読み出し、撮像素子６の各画素の出力値を補正することにより、イメージファイバー５による照度低下を補償する。

図１（Ｂ）と図２（Ｂ）を用いて、第１実施形態における補正値の設定手順を説明する。図１（Ｂ）は、補正値を設定するために用意された、照度分布が既知である被写体７を撮影するときの様子を模式的に示している。本実施形態では、被写体７の全面にわたって均一な照度を有する被写体（例えば白板など）を用いる。均一な照度を有する被写体７を撮影したときの各画素の理想的な出力値（照度低下がない場合の出力値）は同じ値になるので、イメージファイバー５による照度低下を容易に把握できるからである。ただし、照度分布が予め分かっていれば（つまり、各画素の理想的な出力値が予め分かっていれば）、イメージファイバー５による照度低下の把握は可能であるため、被写体７の照度は必ずしも均一である必要はない。

図２（Ｂ）は、撮像装置による補正値の設定処理のフローチャートである。ステップ２１で被写体７の撮影が行われ、撮像素子６の各画素の出力値のデータが処理装置１００に取り込まれる。処理装置１００は、ステップ２２〜２４で、撮像素子６の各画素の出力値に基づいて補正値を決定し記憶装置１０１に格納する処理を、すべての画素について実行する。ステップ２２、２４は、撮像素子６の各画素に対する処理を一つずつ実行するためのループを示している。

ステップ２３では、下記式のように、各画素の理想的な出力値（照度低下がない場合の出力値）Ｉ_０に対する実際に得られた出力値（実測値）Ｉの比Ｉ／Ｉ_０、すなわち照度の低下率を計算し、この照度の低下率ΔＩ（＝Ｉ／Ｉ_０）を補正値として用いる。なお、照度が均一な被写体７を用いた場合は、Ｉ_０はすべての画素で同じ値となる。

次に、図１（Ａ）と図２（Ａ）を用いて、第１実施形態における照度ムラの補正手順を説明する。図２（Ａ）に示す補正処理は、被写体１を撮影する時に処理装置１００が毎回行う処理である。ステップ１１で被写体１の撮影が行われ、撮像素子６の各画素の出力値のデータが処理装置１００に取り込まれる。処理装置１００は、ステップ１２〜１４で、記憶装置１０１に記憶された補正値を用いて各画素の出力値を補正する処理を、撮像素子６のすべての画素について実行する。

ステップ１３では、下記式のように補正の対象となる対象画素の出力値Ｉに対し補正値ΔＩを乗じることにより出力値（照度）の補正を行う。

図３（Ａ）から図３（Ｃ）を用いて、本実施形態の照度ムラ補正の効果について説明する。図３（Ａ）は照度分布が既知である被写体７を撮影したときに得られた画像であり、図３（Ｂ）は所望の被写体１を撮影したときに得られた画像であり、図３（Ｃ）は照度ムラ補正後の画像である。１マスが撮像素子の１画素を表す。図示の便宜のため、６×６の３６個の画素の例を示しているが、実際の撮像装置では数万から数百万個の画素が存在する。

前述のように均一な照度をもつ被写体７を撮影した場合、理想的にはすべての画素の出力値が同じ値になるはずである。しかしながら、イメージファイバー５に起因する照度低下により、図３（Ａ）のような照度ムラが発生する。所望の被写体１を撮影した場合も、図３（Ｂ）に示すように、画像全体にイメージファイバー５による照度ムラが付加された画像となる。そこで、図３（Ａ）の画像から算出した補正値（照度低下率）を用いて、図３（Ｂ）の撮影画像を補正する。その結果が図３（Ｃ）の画像であり、照度ムラが改善されていることが分かる。

なお、照度ムラが完全になくなるように補正できれば望ましいが、実際には補正誤差やノイズの影響があるため照度ムラをゼロにすることは難しい。本発明者らの実験によれば、撮像素子の補正後の各画素の照度が全画素の照度の平均値の±１０％程度の範囲内に収まれば、照度ムラはほとんど検知できない。すなわち、各画素の照度の補正としては、均一な照度をもつ被写体７を撮影した場合で、撮像素子の補正後の各画素の照度が、補正後の全画素の照度の平均値の±１０％の範囲内に収まるように行うことが好ましい。

（実施例１）
第１実施形態の照度ムラ補正の有効性をシミュレーションで検証した。以下のシミュレーションでは、撮像装置及び被写体をモデル化し理想的な条件に近似して計算機によって計算しているが、現実の撮像装置との結果の差異は少ない。

照度分布が既知である被写体７は図４（Ｂ）に示した様に全面に渡って一様な白色画像を用いることとする。また、結像光学系３は理想的なレンズであり、画質劣化なしに被写
体の像をイメージファイバー入口に作ることができると仮定し、結像光学系３の効果は計算には入れないこととする。つまり、被写体となる画像データを直接イメージファイバー５への入力値として使用する。さらに、撮像素子６は図４（Ａ）に示した様に画素が２次元的に密に配列した構造であるとする。１１は撮像素子６の１画素を示している。画素１１の形状は正方形であり、画素１１の１辺の長さを画素サイズと呼ぶ。以上の条件は以下全ての実施例で共通であるとする。断りがない限り、撮像素子６の各画素はＲ（赤）、Ｇ（緑）、Ｂ（青）の３色に相当する全ての波長を受光できる理想的なものと仮定し、パラメータは表１に示したものを用いた。

また、イメージファイバー５による照度ムラの発生は、撮像素子６の各画素１１にランダムに照度の低下を与えることで表現した。図４（Ｂ）は照度分布が既知である被写体７を表す画像であり、ｎ番目の画素の照度はＩ_ｉｎ（ｎ）＝１．０となっている。図４（Ｃ）は図４（Ｂ）を撮像装置で撮影して得られる画像（撮像素子６の各画素１１の出力値）を示している。イメージファイバーによる照度低下が原因で画像全体が暗くなっているのが分かる。また照度低下率が画素毎に異なるため、照度ムラが生じ、画質が低下していることも分かる。図４（Ｃ）の画像のｎ番目の画素の照度Ｉ_ｃ（ｎ）（＝ΔＩ（ｎ））を記憶しておく。

次に図５（Ａ）に示した正弦波チャートを、所望の被写体１とした。図５（Ｂ）は図５（Ａ）を撮像装置で撮影して得られる画像であり、イメージファイバー５による照度低下が原因で画像全体が暗くなっており、照度ムラが原因で画質が低下しているのが分かる。図５（Ｂ）の画像のｎ番目の画素の照度Ｉ（ｎ）を記憶しておく。図５（Ｃ）は図５（Ｂ）の画像のｎ番目の画素の照度Ｉ（ｎ）を、Ｉ_ｈ（ｎ）＝Ｉ_ｉｎ（ｎ）／Ｉ_ｃ（ｎ）×Ｉ（ｎ）（＝Ｉ（ｎ）／ΔＩ（ｎ））により補正したものである。図５（Ｂ）の画像と比べて、図５（Ｃ）の画像では照度ムラがなくなっているのが分かる。本シミュレーションでは、図５（Ｃ）の画像の全ての画素の出力値は図５（Ａ）のものと一致した。この結果により、第１実施形態の照度ムラ補正の有効性を確認できた。

（実施例２）
実施例１では、イメージファイバーによる照度低下をランダムパターンで仮定した。これに対し、実施例２ではイメージファイバーの形状を与えて、計算により照度低下及び照度ムラをシミュレートする。イメージファイバーは図６（Ａ）に示した様に光軸方向から見た場合には円形の光ファイバーが最密に配置された構造となっているものとする。１２は光ファイバーのコア部、１３は光ファイバーのクラッド部である。コア部１２以外の部分は光を通さないとする。被写体画像がイメージファイバー５の入口に結像し、その光像のうちコア部１２の入射端面と重なっている面積に対応する光がイメージファイバー５内に取り込まれると仮定した。また、取り込まれた光はイメージファイバー５内部では均一な光強度分布を保ったまま伝播され、イメージファイバー５の出口から出力されると仮定した。さらに、撮像素子６の画素１１がコア部１２の出射端面と重なっている面積に対応する光を受光すると仮定した。ここで、コア部１２の端面と画素との重なりとは、コア部１２の端面と画素（の受光部）とをそれぞれ光ファイバーの光軸に垂直な投影面に投影した場合における重なりを意味する。

以下の全ての実施例で図６（Ａ）の構成のイメージファイバーを用いるとする。パラメータは表２に示したものを用いた。

図６（Ｂ）は実施例１と同一の手順で計算した結果得られた照度ムラ補正後の画像である。図６（Ｂ）の画像の全ての画素の出力値は図５（Ａ）のものと一致し、第１の実施形態の照度ムラ補正の有効性が確認できた。

（実施例３）
次に、照度ムラ補正に予期しない誤差が生じた場合を想定したシミュレーションを行った。計算条件は実施例２と同一であるが、各画素の出力値補正時に１０％以下の誤差をランダムに与えた。つまり、ｎ番目の画素をＩ_ｈ（ｎ）＝ｅ_ｎ×Ｉ_ｉｎ（ｎ）／Ｉ_ｃ（ｎ）×Ｉ（ｎ）として補正した。ただし、ｅ_ｎは０．９≦ｅ_ｎ≦１．１を満たす乱数である。図６（Ｃ）は誤差を加えた照度ムラ補正後の画像である。各画素の出力値補正時に誤差がある分だけ、図６（Ｂ）の誤差がない時の画像と比べて照度ムラが残るものの、人による目視においては遜色ない画質が得られている。

＜第２実施形態＞
次に、本発明の第２実施形態に係る照度ムラ補正について説明する。第１実施形態では、照度分布が既知である被写体を撮像装置で撮影したときに各画素から得られた出力値に基づいて画素毎の補正値を設定したが、第２実施形態では、光ファイバーのコア部の出射端面と画素の重なりの割合に基づき計算により補正値を設定する。それ以外の構成は第１実施形態のものと同じであるので、詳しい説明は省略する。第２実施形態の方法は、イメージファイバー５を構成する光ファイバーの形状と配列、撮像素子６の画素の形状と配列が全て分かっている時に好ましく適用することができる。

本実施形態の補正値設定処理では、図２（Ｂ）のステップ２１において、既知の被写体７を撮影する代わりに、処理装置１００がイメージファイバー５と撮像素子６の形状及び配列の情報を取得する（読み込む）。この情報は、例えば、撮像装置の設計情報（例えばＣＡＤ情報）などを利用できる。そして、図２（Ｂ）のステップ２３において、処理装置１００が、撮像素子６の各画素について、イメージファイバー５のコア部の出射端面との重なりの面積を計算する。ここでは、下記式のように、画素の面積Ｓ_ｓに対する、画素とコア部の出射端面との重なりの総面積Ｓ_ｆの比Ｓ_ｆ／Ｓ_ｓ、すなわち受光率を計算し、この受光率ΔＳ（＝Ｓ_ｆ／Ｓ_ｓ）を補正値として用いる。他の処理は第１実施形態と同様である。

なお、上記の式は、受光率と画素の出力値（照度）とがリニアな関係にあることを前提としている。ただし、受光率と画素の出力値とが非線型である場合には、関数やＬＵＴなどを用いて面積Ｓ_ｆ又は受光率ΔＳから補正値を決定してもよい。

図７にイメージファイバー５のコア部と撮像素子６の画素が重なる様子を示す。１４は撮像素子６の画素を光軸方向から見た図であり、１５はイメージファイバー５を構成する各光ファイバーのコア部の出射端面を光軸方向から見た図である。１６の斜線部は、光ファイバーのコア部の出射端面と撮像素子の画素の重なりを示している。重なり１６は、光軸に垂直な面内の重なり、すなわち、コア部の出射端面と画素とを光軸に垂直な投影面に投影した場合における投影面上でのコア部の出射端面と画素との重なりを指す。重なりの総面積Ｓ_ｆとは、対象画素が複数の光ファイバーのコア部と重なりをもつ場合には、全ての光ファイバーのコア部との重なり部分の面積の合計を表す。図７の例では、２つの斜線部の合計面積が、重なりの総面積Ｓ_ｆである。

所望の被写体１を撮影した時に行う照度ムラの補正手順については、第１実施形態で述べたもの（図２（Ａ）参照）と同様である。ステップ１３で用いる補正値が、上記の式により決定したΔＳである点が異なる。
なお、本実施形態においても、各画素の照度の補正としては、均一な照度をもつ被写体を撮影した場合で、撮像素子の補正後の各画素の照度が、補正後の全画素の照度の平均値の±１０％の範囲内に収まるように行うことが好ましい。

（実施例４）
第２実施形態の照度ムラ補正の有効性をシミュレーションで検証した。計算条件は実施例２と同一である。

光ファイバーのコア部の出射端面と撮像素子の画素との重なり面積に基づいて各画素の補正値を決定し、この補正値を用いて画像の照度ムラ補正を行った。図８（Ａ）は照度ムラ補正後の画像である。本シミュレーションでは、図８（Ａ）の画像の全ての画素の出力値は図５（Ａ）のものと一致した。この結果により、第２実施形態の照度ムラ補正の有効性を確認できた。

（実施例５）
次に、照度ムラ補正に予期しない誤差が生じた場合を想定したシミュレーションを行った。計算条件は実施例４と同一であるが、各画素の出力値補正時に１０％以下の誤差をランダムに与えた。つまり、ｎ番目の画素をＩ_ｈ（ｎ）＝ｅ_ｎ×Ｓ_ｓ（ｎ）／Ｓ_ｆ（ｎ）×Ｉ（ｎ）として補正した。ただし、ｅ_ｎは０．９≦ｅ_ｎ≦１．１を満たす乱数である。図８（Ｂ）は誤差を加えた照度ムラ補正後の画像である。各画素の出力値補正時に誤差がある分だけ、図８（Ａ）の誤差がない時の画像と比べて照度ムラが残るものの、人による目
視においては遜色ない画質が得られている。

＜第３実施形態＞
次に、本発明の第３実施形態に係る照度ムラ補正について説明する。第１実施形態では、対象画素の出力値と補正値を用いて対象画素の照度補正を行ったが、第３実施形態では、対象画素の出力値だけでなく、対象画素の近隣画素（近傍画素、隣接画素ともいう）の出力値も用いて対象画素の照度補正を行う。近隣画素の出力値を用いる理由は、イメージファイバーに起因する照度の低下分（つまり、光ファイバー同士の隙間や光ファイバーのクラッド部により遮られた光量）を近隣画素の出力値を用いて推定するためである。

本実施形態の照度ムラ補正を図を用いて解説する。図９はイメージファイバーと撮像素子を光軸方向から見た図である。１７は照度を補正したい撮像素子の対象画素であり、１８、１９、２０、２１、２２、２３、２４、２５は対象画素１７の近隣画素である。対象画素１７の照度補正に用いるのは、８近傍の近隣画素１８〜２５でもよいし、４近傍の近隣画素１９、２１、２２、２４でもよい。２６は対象画素１７と重なる光ファイバーであり、２７は対象画素１７と光ファイバー２６との光軸方向に垂直な面内での重なり部分である。対象画素１７は光ファイバー２６から伝送された光を受光するが、重なり部分２７以外の光は遮られるため照度が低下している。そして、その低下量が画素毎に異なるため撮像素子全体として照度ムラが発生する。この照度低下及び照度ムラを、対象画素と近隣画素群の出力値を用いて補正する。

補正のやり方としては、大きく２つの方法がある。第１の方法は、他の実施形態で述べた補正（すなわち、対象画素の出力値のみを用いた補正）を全ての画素に適用することで初期的な補正を行った後、対象画素の補正照度と近隣画素の補正照度とを用いて最終的な補正照度を得るという二段階の補正方法である。最終的な補正照度を計算する方法としては、例えばデモザイキング処理と同じような方法や、対象画素と近隣画素の補正照度を平均（重み付け平均でもよい）する方法などを用いることができる。

第２の方法は、対象画素の出力値と近隣画素の出力値とから最終的な補正照度を得るという方法である。例えば、下記式のように最終的な補正照度Ｉ_ｈを計算してもよい。すなわち、対象画素の照度の低下を補償するための補正値を、複数の近隣画素の出力値を補間した値Ｉ_ｄに、対象画素に対応する係数Ｃを乗じることにより決定し、その補正値（Ｃ×Ｉ_ｄ）を対象画素の出力値Ｉに加算するのである。値Ｉ_ｄの計算には、最近傍補間、線形補間、２次補間、多項式補間、キュービック補間、スプライン補間などどのような補間方法を用いてもよい。

なお、対象画素に対応する係数Ｃは、対象画素の照度の低下率に応じて決めるとよい。詳しくは、照度の低下率が小さいほど係数Ｃが小さく、逆に照度の低下率が大きいほど係数Ｃが大きくなるように、係数Ｃを設計するとよい。例えば、下記式のような係数Ｃを好
ましく用いることができる。ここで、ΔＩは第１実施形態で述べた照度の低下率である。

第２実施形態で述べたように、対象画素と光ファイバー（コア部）との重なり部分の面積は対象画素の照度の低下率と相関を有するので、対象画素と光ファイバーの重なり部分の面積に応じて係数Ｃを決めてもよい。この場合、重なり部分の面積が大きいほど係数Ｃが小さく、逆に重なり部分の面積が小さいほど係数Ｃが大きくなるように、係数Ｃを設計するとよい。例えば、下記式のような係数Ｃを好ましく用いることができる。ここで、ΔＳは第２実施形態で述べた受光率である。

なお、本実施形態においても、各画素の照度の補正としては、均一な照度をもつ被写体を撮影した場合で、撮像素子の補正後の各画素の照度が、補正後の全画素の照度の平均値の±１０％の範囲内に収まるように行うことが好ましい。

（実施例６）
第３実施形態の照度ムラ補正の有効性をシミュレーションで検証した。パラメータは表３に示したものを用いた。

図１０（Ａ）は第１実施形態の計算で得られた照度ムラ補正後の画像である。図１０（Ｂ）は第３実施形態の計算で（つまり対象画素と近隣画素の出力値を用いて）得られた照度ムラ補正後の画像である。図１０（Ｂ）の画像の方が図１０（Ａ）の画像よりも元画像（図５（Ａ））に近い。ＳＳＩＭによる評価では図１０（Ａ）の画像が約０．３７であるのに対して図１０（Ｂ）の画像は約０．６１となっており、より被写体に近づいていることが分かる。ただし、ＳＳＩＭには以下の式を用いた。被写体はグレースケールであるため、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のうちどの色を用いて評価しても結果は同じである。

ただし、μ_１は被写体の画像の階調を全画素に渡って平均した値、μ_２は照度ムラ補正後の画像の階調を全画素に渡って平均した値である。σ_１は被写体の画像の階調の全画素に渡る標準偏差、σ_２は照度ムラ補正後の画像の階調の全画素に渡る標準偏差、σ_１２は被写体の画像の階調と照度ムラ補正後の画像の階調の積の全画素に渡る標準偏差である。また、Ｃ＝６．５、Ｄ＝５８．５という値を用いた。

（実施例７）
次に、何らかの要因により照度ムラ補正に誤差が生じた場合を想定したシミュレーションを行った。計算条件は実施例６と同一であるが、各画素の出力値補正時に１０％以下の誤差をランダムに与えた。つまり、ｎ番目の画素をＩ_ｈ（ｎ）＝ｅ_ｎ×（Ｉ（ｎ）＋Ｃ（ｎ）×Ｉ_ｄ（ｎ））として補正した。ただし、ｅ_ｎは０．９≦ｅ_ｎ≦１．１を満たす乱数である。図１０（Ｃ）は誤差を加えた照度ムラ補正後の画像である。各画素の出力値補正時に誤差がある分だけ、図１０（Ｂ）の誤差がない時の画像と比べて照度ムラが残るものの、人による目視においては遜色ない画質が得られている。

＜第４実施形態＞
次に、本発明の第４実施形態に係る照度ムラ補正について説明する。第４実施形態では、撮像素子にカラーフィルターが備え付けられて、各画素がＲ（赤）、Ｇ（緑）、Ｂ（青）の３色のいずれかの色のみを受光する場合の照度ムラ補正を示す。図１１は撮像素子の画素構成を示す模式図である。２８はＧ（緑）の光を受光する画素、２９はＲ（赤）の光を受光する画素、３０はＢ（青）の光を受光する画素である（以下、Ｇ画素、Ｒ画素、Ｂ画素と略記する）。図１１はＢａｙｅｒ配列を表しているが、カラーフィルターの配列はＢａｙｅｒ配列以外の配列でもよい。また、Ｒ、Ｇ、Ｂの３色でなく、２色、又は、４色以上のカラーフィルターを用いてもよい。

図１２は、撮像素子にカラーフィルターが備え付けられている時の補正値の設定処理のフローチャートである。この処理は、撮像装置の製造時に一度だけ行えばよいものである。ステップ３１で照度分布が既知である被写体（例えば白板など）を撮影する。ステップ３２、３８のループによって、撮像素子の各画素に対しステップ３３〜３７の処理を実施する。ステップ３３では、処理装置１００が、対象画素がＧ画素か否かを判定し、そうである場合にはステップ３４に進み、そうでない場合にはステップ３５に進む。ステップ３４では、処理装置１００が、対象画素（Ｇ画素）の照度低下率を計算し、その値を対象画素の補正値として記憶装置１０１に格納する。具体的な計算方法は前述した実施形態で述べたのと同じである。ステップ３５では、処理装置１００が、対象画素がＲ画素か否かを判定し、そうである場合にはステップ３６に進み、そうでない場合にはステップ３７に進む。ステップ３６では、処理装置１００が、対象画素（Ｒ画素）の照度低下率を計算し、その値を対象画素の補正値として記憶装置１０１に格納する。ステップ３７では、処理装置１００が、対象画素（Ｂ画素）の照度低下率を計算し、その値を対象画素の補正値として記憶装置１０１に格納する。本実施形態では、画素の色にかかわらず同じ計算式により補正値を決定しているが、色ごとに補正値の決定方法を異ならせてもよい。カラーフィルターの透過率や画素の受光特性などが色ごとに異なる場合があるからである。また、第２実施形態のように、光ファイバーのコア部と画素の重なり面積から補正値を決定してもよい。
なお、本実施形態においては、各画素の照度の補正としては、均一な照度をもつ白色の被写体（例えば、白色板）を撮影した場合で、撮像素子の補正後のＲ画素、Ｇ画素、Ｂ画
素とで表される白色の照度が、補正後の全画素の照度の平均値の±１０％の範囲内に収まるように行うことが好ましい。
また、Ｒ画素の照度の補正としては、均一な照度をもつ赤色の被写体を撮影した場合で、撮像素子の補正後のＲ画素の照度が、補正後の全Ｒ画素の照度の平均値の±１０％の範囲内に収まるように行うことがより好ましい。
そして、Ｇ画素の照度の補正としては、均一な照度をもつ緑色の被写体を撮影した場合で、撮像素子の補正後のＧ画素の照度が、補正後の全Ｇ画素の照度の平均値の±１０％の範囲内に収まるように行うことが好ましい。
そして、Ｂ画素の照度の補正としては、均一な照度をもつ青色の被写体を撮影した場合で、撮像素子の補正後のＢ画素の照度が、補正後の全Ｂ画素の照度の平均値の±１０％の範囲内に収まるように行うことが好ましい。

図１３（Ａ）は、撮像素子にカラーフィルターが備え付けられている時の照度ムラ補正のフローチャートである。この処理は、撮影する時に毎回行う処理である。図１３（Ａ）に示す処理では、各画素が受光した色の照度だけを補正する。ステップ４１で被写体を撮影する。ステップ４２、４８のループによって、撮像素子の各画素に対しステップ４３〜４７の処理を実施する。ステップ４３では、処理装置１００が、対象画素がＧ画素か否かを判定し、そうである場合にはステップ４４に進み、そうでない場合にはステップ４５に進む。ステップ４４では図１２のステップ３４で記憶した対象画素（Ｇ画素）の補正値（照度低下率）を用いて、対象画素の出力値を補正する。ステップ４５では、処理装置１００が、対象画素がＲ画素か否かを判定し、そうである場合にはステップ４６に進み、そうでない場合にはステップ４７に進む。ステップ４６では図１２のステップ３６で記憶した対象画素（Ｒ画素）の補正値を用いて、対象画素の出力値を補正する。ステップ４７では図１２のステップ３７で記憶した対象画素（Ｂ画素）の補正値を用いて、対象画素の出力値を補正する。これにより、イメージファイバーに起因する各画素の照度の低下が補正される。

図１３（Ｂ）は、撮像素子にカラーフィルターが備え付けられている時のデモザイキング処理のフローチャートである。この処理は、図１３（Ａ）の処理の後に実行されるものであり、各画素が受光した色の照度がすでに補正されており、その補正照度を用いて受光していない色の照度を補間するためのフローチャートである。ステップ５１、５７のループによって、撮像素子の各画素に対しステップ５２〜５６の処理を実施する。ステップ５２では、処理装置１００が、対象画素がＧ画素か否かを判定し、そうである場合にはステップ５３に進み、そうでない場合にはステップ５４に進む。ステップ５３では、処理装置１００が、対象画素（Ｇ画素）のＲ（赤）の照度を、対象画素の近隣のＲ画素の補正照度を補間することにより求める。同様に、処理装置１００は、対象画素（Ｇ画素）のＢ（青）の照度を、対象画素の近隣のＢ画素の補正照度を補間することにより求める。ステップ５４では、処理装置１００が、対象画素がＲ画素か否かを判定し、そうである場合にはステップ５５に進み、そうでない場合にはステップ５６に進む。ステップ５５では、処理装置１００が、対象画素（Ｒ画素）のＧ（緑）の照度を、対象画素の近隣のＧ画素の補正照度を補間することにより求める。同様に、処理装置１００は、対象画素（Ｒ画素）のＢ（青）の照度を、対象画素の近隣のＢ画素の補正照度を補間することにより求める。ステップ５６では、処理装置１００が、対象画素（Ｂ画素）のＧ（緑）の照度を、対象画素の近隣のＧ画素の補正照度を補間することにより求める。同様に、処理装置１００は、対象画素（Ｂ画素）のＲ（赤）の照度を、対象画素の近隣のＲ画素の補正照度を補間することにより求める。以上の処理によって、全ての画素についてＲ（赤）、Ｇ（緑）、Ｂ（青）の照度が得られる。なお、補間には、最近傍補間、線形補間、２次補間、多項式補間、キュービック補間、スプライン補間などどのような補間方法を用いてもよい。

（実施例８）
第４実施形態の照度ムラ補正の有効性をシミュレーションで検証した。カラーフィルターの配列は図１１に示したＢａｙｅｒ配列とした。各パラメータは表２に示したものを使用した。Ｇ画素のＲ（赤）の照度は、Ｇ画素の最近接のＲ画素（左右の２つのＲ画素）の補正照度の平均値とした。他の色の照度も同じように求めた。ただし、Ｒ画素のＧ（緑）の照度とＢ画素のＧ（緑）の照度は、最近接の上下左右の４つのＧ画素の補正照度の平均値とした。図１４が本実施例の照度ムラ補正後の画像である。人による目視においては遜色ない画質が得られることが確認できた。

１：被写体
３：結像光学系
５：イメージファイバー
６：撮像素子
７：照度分布が既知である被写体
１００：処理装置
１０１：記憶装置

Claims (11)

1. 結像光学系と、
   複数の画素を有する撮像素子と、
   前記結像光学系からの光を前記撮像素子へと導く複数の光ファイバーから構成されるイメージファイバーと、
   前記イメージファイバーに起因する前記撮像素子の照度ムラを補償する処理を施す処理部と、
   を備え、
   第一の光ファイバーを伝播する光の少なくとも一部と、第二の光ファイバーを伝播する光の少なくとも一部とが、１つの画素に導かれることを特徴とする撮像装置。
2. 前記照度ムラは、光ファイバーのコア部の出射端面と画素との位置関係が画素毎に異なることに起因して生じるものである
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記処理部は、補正の対象となる対象画素の出力値に対し、前記対象画素に対応する補正値を乗じることによって、前記対象画素の照度を補正する
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記対象画素に対応する補正値は、前記撮像装置によって照度分布が既知である被写体を撮影したときに、前記対象画素から得られた出力値に基づいて設定される
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記対象画素に対応する補正値は、光ファイバーのコア部の出射端面と前記対象画素とを光軸に垂直な投影面に投影した場合における、コア部の出射端面と前記対象画素との重なりの割合に基づいて設定される
   ことを特徴とする請求項３に記載の撮像装置。
6. 前記処理部は、補正の対象となる対象画素の出力値と、前記対象画素の近隣画素の出力値とを用いて、前記対象画素の照度を補正する
   ことを特徴とする請求項１または２に記載の撮像装置。
7. 前記処理部は、前記照度ムラを補償するための補正値を、複数の近隣画素の出力値を補間した値を用いて決定する
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記対象画素の補正値は、前記複数の近隣画素の出力値を補間した値に対し、前記対象画素に対応する係数を乗じることによって、決定される
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記対象画素に対応する係数は、前記撮像装置によって照度分布が既知である被写体を撮影したときに、前記対象画素から得られた出力値に基づいて設定される
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記照度分布が既知である被写体は、均一な照度を有する被写体である
    ことを特徴とする請求項４または９に記載の撮像装置。
11. 前記処理部は、均一な照度をもつ被写体を撮影した場合で、補正後の各画素の照度が、補正後の全画素の照度の平均値の±１０％の範囲内に収まるように、各画素の出力値を補
    正する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。

Images