JP2016158940A - 撮像装置及びその作動方法 - Google Patents

Abstract

【課題】異なる色同士の画素加算を行う撮像素子についても、十分な画質が得られるゲイン値設定を容易に行う。
【解決手段】 撮像装置は、撮像素子と、リニア飽和値を記憶する記憶部と、前記撮像素子の画素のうち画素値が最大値となった画素に対応する第１の色及び前記最大値である第１の画素値を判定する第１の判定部と、画素加算モードにおいて前記第１の色の画素に対して加算の組である第２の色の画素の第２の画素値を判定する第２の判定部と、前記第１及び第２の画素値に基づいて、前記第１の色の画素と前記第２の色の画素との感度比を判定する第３の判定部と、前記リニア飽和値と前記感度比とに基づいて、前記画素加算モードにおける画素値の加算結果が露光量に対して線形を維持する出力範囲の上限値であるキャリア飽和値を求める第４の判定部と、前記キャリア飽和値に基づいて前記撮像素子の出力に与えるゲイン値を決定するゲイン決定部とを具備する。
【選択図】図１

Description

本発明は、画素加算モードでの動作が可能な撮像装置及びその作動方法に関する。

近年、電荷結合素子（ＣＣＤ）等の撮像素子を用いた撮像装置が様々な分野で利用されている。例えば、医療分野においては、診断や処置具を用いた治療等に用いる内視鏡装置として、撮像装置を用いた電子内視鏡装置が採用されることがある。撮像素子からの出力レベルは比較的小さく、撮像素子出力は増幅された後、後段の回路に供給される。この場合、撮像素子出力に与えるゲイン値は、小さい程Ｓ／Ｎが良好となって画質が向上する。そこで、このゲイン値は、後段の回路の入力レンジに応じた値に設定するようになっている。例えば、撮像素子出力をＡ／Ｄ変換回路に供給する場合には、撮像素子出力の最大値がＡ／Ｄ変換回路の入力レンジに一致するように、ゲイン値が設定される。

撮像素子は、蓄積可能な電荷の量に上限がある。露光量（明るさ）を大きくしていくと、撮像素子に蓄積される電荷は露光量に比例して増加する。しかし、更に、露光量を大きくしていくと、露光量に対する撮像素子出力は非線形となり、最後には飽和してしまう。露光量に対して線形の出力が得られる出力の範囲（以下、線形出力範囲という）の上限値をリニア飽和値とよび、このリニア飽和値が撮像素子出力の最大値と考えて、上述したゲイン値を決定すればよい。

例えば、特許文献１においては、複数フィールドでの読み出しを行う撮像素子において、最後に読み出すフィールドのリニア飽和値に基づいてゲイン値を設定する技術が開示されている。

リニア飽和値は撮像素子毎に異なるので、一般的には、各素子毎にリニア飽和値を測定して、各素子に対応するゲイン値を工場出荷時に決定するようになっている。これにより、飽和することなく十分なレベルの撮像素子出力を後段の回路に供給することができ、十分な画質を得ることが可能となる。

特許第４５００１０６号公報

ところで、カラーの撮像画像を出力する撮像素子には、画素に対応して所定の色配列を有するカラーフィルタが配置されている。撮像素子においては、異なる色のフィルタに対応した画素（以下、異なる色の画素ともいう）の画素値同士を加算して画素加算結果を出力する、所謂画素加算モードで動作するものがある。この場合、露光量に対して画素加算出力が線形である範囲（以下、この場合も線形出力範囲という）の上限値（以下、キャリア飽和値という）を撮像素子出力の最大値に設定する必要がある。

ところが、キャリア飽和値は光源（照明）の種類によって変化してしまうことから、ゲイン値を工場出荷時に決定することはできない。そこで、実使用時に光源に対応したキャリア飽和値を求めてゲイン値を設定する方法が考えられるが、この方法ではゲイン値の設定に長時間を要し実用的ではない。そこで、異なる色同士の画素加算を行う撮像素子を採用する場合には、撮像素子出力の最大値を所定の固定値に仮定する方法も考えられる。

この場合、確実に線形性を保つためには、仮定する撮像素子出力の最大値として比較的低い固定値を設定して比較的大きいゲイン値を設定する必要がある。しかしこの場合には、撮像素子出力のダイナミックレンジが小さくなりノイズの影響により画質が低下するという問題があった。なお、仮定する撮像素子出力の最大値として比較的高い固定値を設定すると、線形性を維持することができなくなる可能性が高くなる。

本発明は、異なる色同士の画素加算を行う撮像素子についても実使用時に線形出力を維持する撮像素子出力の最大値を簡単に求めることを可能にして、十分な画質が得られるゲイン値設定を容易に行うことができる撮像装置及びその作動方法を提供することを目的とする。

本発明に係る撮像装置は、画素に対応して所定の色配列を有するカラーフィルタが配置された撮像素子と、前記撮像素子の出力が露光量に対して線形を維持する出力範囲の上限値であるリニア飽和値を記憶する記憶部と、前記撮像素子の画素のうち画素値が最大値となった画素に対応する前記カラーフィルタの第１の色及び前記最大値である第１の画素値を判定する第１の判定部と、前記撮像素子の画素値を加算する画素加算モードにおいて前記第１の色の画素に対して加算の組である前記カラーフィルタの第２の色の画素の第２の画素値を判定する第２の判定部と、前記第１の画素値と前記第２の画素値とに基づいて、前記第１の色の画素と前記第２の色の画素との感度比を判定する第３の判定部と、前記記憶部に記憶された前記リニア飽和値と前記感度比とに基づいて、前記画素加算モードにおける画素値の加算結果が露光量に対して線形を維持する出力範囲の上限値であるキャリア飽和値を求める第４の判定部と、前記キャリア飽和値に基づいて前記撮像素子の出力に与えるゲイン値を決定するゲイン決定部とを具備する。

また、本発明に係る撮像装置の作動方法は、画素に対応して所定の色配列を有するカラーフィルタが配置された撮像素子から所定の露光量における画素値を取得し、前記撮像素子の出力が露光量に対して線形を維持する出力範囲の上限値であるリニア飽和値を記憶部から読み出し、前記撮像素子から取得した画素値が最大値となった画素に対応する前記カラーフィルタの第１の色及び前記最大値である第１の画素値を判定する第１の判定処理を行い、前記撮像素子の画素値を加算する画素加算モードにおいて前記第１の色の画素に対して加算の組である前記カラーフィルタの第２の色の画素の第２の画素値を判定する第２の判定処理を行い、前記第１の画素値と前記第２の画素値とに基づいて、前記第１の色の画素と前記第２の色の画素との感度比を判定する第３の判定処理を行い，
前記記憶部から読み出した前記リニア飽和値と前記感度比とに基づいて、前記画素加算モードにおける画素値の加算結果が露光量に対して線形を維持する出力範囲の上限値であるキャリア飽和値を求める第４の判定処理を行い、前記キャリア飽和値に基づいて前記撮像素子の出力に与えるゲイン値を決定する。

本発明によれば、異なる色同士の画素加算を行う撮像素子についても実使用時に線形出力を維持する撮像素子出力の最大値を簡単に求めることを可能にして、十分な画質が得られるゲイン値設定を容易に行うことができるという効果を有する。

本発明の第１の実施の形態に係る撮像装置を有する内視鏡装置を示すブロック図。 撮像素子１２に設けられたカラーフィルタの色配列を説明するための説明図。 図１中のＡＦＥの具体的な構成の一例を示すブロック図。 横軸に露光量をとり縦軸に出力レベルをとって、露光量に対する撮像素子出力の変化を示すグラフ。 同じ色同士の画素値を加算する撮像素子における撮像素子出力の最大値を説明するための説明図。 異なる色同士の加算を行う撮像素子において撮像素子出力の最大値が光源の種類毎に変化することを説明するための説明図。 キャリア飽和値の求め方を説明するためのフローチャート。 キャリア飽和値の求め方を説明するための説明図。 第１の実施の形態におけるキャリア飽和値の求め方を示すフローチャート。 第１の実施の形態におけるキャリア飽和値の求め方を示す説明図。 変形例を示すフローチャート。 変形例を示すフローチャート。 他の変形例を示すフローチャート。 本発明の第２の実施の形態において採用されるフローチャート。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮像装置を有する内視鏡装置を示すブロック図である。本実施の形態は撮像装置を内視鏡装置に適用した例を示しているが、内視鏡装置に限らず、異なる色同士の加算を行う撮像素子を用いた種々の撮像装置に適用可能である。

先ず、図４乃至図８を参照して、線形出力を維持する撮像素子出力の最大値を求める手法について説明する。図４乃至図６は、異なる色同士の加算を行う撮像素子において撮像素子出力の最大値が光源の種類毎に変化することを説明するための説明図である。

図４は横軸に露光量をとり縦軸に出力レベルをとって、露光量に対する撮像素子出力の変化を示すグラフである。また、図５は同じ色同士の画素値を加算する撮像素子における撮像素子出力の最大値を説明するための説明図である。

図４は撮像素子への入射光量を変化させたり、露光時間を変化させたりすることによって撮像素子の露光量を変化させた場合における撮像素子出力を示している。図４の例では露光量がＬ１に到達するまでは露光量に対する撮像素子出力はリニアに変化することを示している。露光量Ｌ１における撮像素子出力の値がリニア飽和値であり、素子毎に異なる値である。露光量がＬ１よりも大きくなると、撮像素子出力は露光量に対して非線形となり、露光量Ｌ２において飽和値に達する。

図５（ａ），（ｂ）は同一撮像素子の異なる位置の同一色の画素の撮像出力を示している。同一撮像素子におけるリニア飽和値は、いずれの画素についても同一と考えることができ、また、同一色の画素同士は同一の出力特性を有しているので、図５（ａ），（ｂ）に示すように、各色の画素からの撮像出力はいずれも同一の露光量Ｌ１においてリニア飽和値に達する。

図５（ｃ）は撮像素子から図５（ａ），（ｂ）にて示す同一色の画素の画素値を加算して出力する場合の撮像素子出力を示している。同一撮像素子の同一色の画素の出力特性は同一であるので、画素加算結果の撮像素子出力は、露光量Ｌ１において線形出力を維持する撮像素子出力の最大値に到達する。

図６は異なる色の画素の画素値を加算する撮像素子における撮像素子出力の最大値を説明するための説明図である。図６（ａ），（ｂ）は同一撮像素子の異なる位置の相互に異なる色の画素Ｐ１，Ｐ２の撮像出力を示している。また、図６（ｃ）は画素Ｐ１，Ｐ２の画素値同士を加算して出力する場合の撮像素子出力を示している。

図６（ａ）は画素Ｐ１については露光量Ｌ１においてリニア飽和値Ｒ１に到達することを示している。一方、図６（ｂ）は画素Ｐ２が露光量Ｌ２においてリニア飽和値Ｒ１に到達することを示している。上述したように、リニア飽和値は素子毎に決まる値であり、同一素子では異なる位置の画素であっても略同一であると考えられる。しかし、各色フィルタの感度は色毎に異なり、色毎に線形範囲の変化の度合い（傾き）が異なる。このため、各色毎に出力特性は異なり、リニア飽和値Ｒ１に到達するのに必要な露光量が色毎に異なる。このため、図６（ａ），（ｂ）の特性の画素出力を加算すると、図６（ｃ）に示すように、加算結果の撮像素子出力は、露光量Ｌ１に対応する出力値Ｃ１及び露光量Ｌ２に対応する出力値Ｃ２の２箇所で変化点を有する特性となる。この場合には、露光量に対して線形出力を維持する出力値Ｃ１がキャリア飽和値であり、このキャリア飽和値を撮像素子出力の最大値と考えてゲイン値を設定する必要がある。

このように、異なる色の画素値を加算する画素加算モードにおいては、ゲイン値を決定するための撮像素子出力の最大値としては、リニア飽和値に代えてキャリア飽和値を採用する。即ち、キャリア飽和値は、異なる色の画素の画素加算において、露光量に対して加算値がリニアに変化する線形出力範囲の最大値のことである。このキャリア飽和値に基づいてゲイン値を設定することにより、異なる色の画素加算を行う撮像素子を採用する場合でも、再現性に優れた画像を得ることができる。

光源（照明）の種類が変化すると、図５及び図６に示す露光量−出力の特性（傾き）は変化する。この場合でも、同一色の画素同士では露光量−出力特性の傾きは同一であり、画素加算した場合でも、加算結果の撮像素子出力の最大値はリニア飽和値を例えば２倍することで簡単に求めることができる。

一般的なデジタルカメラ等においては、ベイヤー配列等の原色フィルタが採用されることが多く、画素加算する場合には、通常同一色の画素同士の画素値の加算が行われる。従って、デジタルカメラでは、リニア飽和値に基づいて線形出力を維持する撮像素子出力の最大値が簡単に求められるので、工場出荷時に素子毎のリニア飽和値を求めてゲイン値を設定しておけばよい。

ところが、このようなゲイン値の設定方法は、電子内視鏡に用いる撮像装置では採用することができないことがある。電子内視鏡では、明るい画像が得られる等の理由からマゼンタＭｇ、シアンＣｒ、イエローＹｅ、緑Ｇｒ等による補色フィルタが採用されることがある。そして、インタレース方式では、撮像素子の上下の位置の画素の画素値を加算して出力する画素加算が行われる。補色フィルタにおける画素加算では、異なる色同士の画素の画素値の加算が行われることが一般的である。

光源の色温度や明るさ等が変化すると、線形出力が得られる範囲の露光量-出力特性の傾きも変化する。この場合、異なる色の画素では変化量が異なり、画素毎にリニア飽和値に達する露光量が変化する。図６（ｄ）はこの場合の例を示しており、破線は図６（ａ），（ｂ）とは異なる光源を用いた場合の画素Ｐ１，Ｐ２の画素値の変化を示している。図６（ｄ）の例では、画素Ｐ１は露光量Ｌ３でリニア飽和値に到達し、画素Ｐ２は露光量Ｌ４でリニア飽和値に到達する。この場合、画素Ｐ１，Ｐ２の画素加算結果は、図６の実線に示すように、露光量Ｌ３に対応する出力値Ｃ３及び露光量Ｌ４に対応する出力値Ｃ４の２箇所で変化点を有する特性となる。この場合には、出力値Ｃ３がキャリア飽和値となる。

図６（ｃ），（ｄ）に示すように、光源が変化すると、異なる色の画素加算においては、キャリア飽和値が異なる。従って、一般的に実使用時の光源は不明であることから、工場出荷時に予めキャリア飽和値を求め、このキャリア飽和値に基づいてゲイン値を設定しておくことはできない。なお、実使用時において、撮像装置に用いる光源（照明）が決定した後キャリア飽和値を求めてゲイン値を設定することが考えられる。ところが、リニア飽和値及びキャリア飽和値の測定は、露光量を変化させながら出力を監視し、線形出力範囲を求めて得られる値であり、測定には長時間を要する。

図７はこのようなキャリア飽和値の求め方を説明するためのフローチャートであり、図８はその説明図である。図７は例えば工場出荷時における検査工程で実施されるものである。

図７のステップＳ１において、撮像素子は、画素加算モードで駆動される。例えば、撮像素子にマゼンタＭｇ、シアンＣｒ、イエローＹｅ、緑Ｇｒによる補色フィルタが採用されているものとして、画素加算によってマゼンタとシアンの画素の画素値が加算され、イエローと緑の画素の画素値が加算されるものとする。ステップＳ２では、露光量、即ち、光源の明るさ及び露光時間が初期化される。なお、撮像素子が画素加算結果を出力する機能を有する場合と、撮像素子からの画素値を加算して画素加算結果を出力する場合とが考えられるが、画素加算モードはこれらの両方の場合を含むものとする。

キャリア飽和値は加算する画素の組毎に求められるが、通常撮像素子の全画素について共通のゲイン値が設定されるので、加算する画素の組のうち露光量−出力特性の傾きが最も大きい色の画素を含む組についてのみキャリア飽和値を求めればよい。

ステップＳ３では、撮像素子の各画素値が比較されて、最大出力（画素値）が得られる画素フィルタが特定される。次のステップＳ４では、画素加算においてステップＳ３において特定された画素フィルタと対になる画素フィルタが特定される。例えば、ステップＳ３において緑の画素フィルタが特定され、画素加算において緑とイエローの画素が加算されるものとすると、ステップＳ４ではイエローの画素フィルタが特定される。

次に、ステップＳ５では、ステップＳ３，Ｓ４において特定された画素フィルタに対応する画素値の差分値Ｄａが求められる。次に、ステップＳ６において露光量を所定量増加させ、ステップＳ７においてステップＳ３，Ｓ４において特定された画素フィルタに対応する画素値の差分値Ｄｂが求められる。

ステップＳ８では、差分値Ｄｂが差分値Ｄａよりも大きいか否かが判定される。差分値Ｄｂが差分値Ｄａよりも大きい場合には、ステップＳ９においてＤａにＤｂの値を代入し、処理をステップＳ６に戻して露光量を所定量増加させる。

以後、ステップＳ８において、差分値Ｄｂが差分値Ｄａよりも小さくなるまで、ステップＳ６〜Ｓ９の処理が繰り返される。

図８はステップＳ３において特定された画素フィルタに対応する画素Ｐ１と、ステップＳ４において特定された画素フィルタに対応する画素Ｐ２との露光量−出力特性を示している。画素Ｐ１は露光量Ｌ３でリニア飽和値Ｒ１に達し、画素Ｐ２は露光量Ｌ４でリニア飽和値Ｒ１に達する。露光量がＬ３に到達するまでは、即ち、画素Ｐ１の出力がリニア飽和値Ｒ１に到達するまでは、差分値は次第に大きくなり、露光量がＬ３よりも大きくなると、差分値は小さくなる。従って、ステップＳ８の判定によって、最も露光量−出力特性の傾きが大きい画素値、即ち、最大出力が得られる画素フィルタに対応した画素の画素値が、リニア飽和値に達する露光量になったか否かを判定することができる。この露光量における１対の出力の加算値がキャリア飽和値に相当する。ステップＳ１０では、キャリア飽和値が求められる。

このように、キャリア飽和値を求めるためには、露光量を少しずつ変化させながら出力測定を行う必要があり、極めて長時間を要し、実使用時にリニア飽和値及びキャリア飽和値を求めてゲイン値を設定することは現実的ではない。

このため、電子内視鏡において採用される撮像装置では、上述したように、線形出力を維持する撮像素子出力の最大値を所定の固定値に仮定し、この固定値を用いてゲイン値を工場出荷時に設定する方法が採用されることが考えられる。しかし、この仮の固定値はキャリア飽和値と異なるものであり、仮に、この固定値がキャリア飽和値よりも高い場合には、撮像素子出力の非線形領域が使用される可能性があり、画質が低下する虞がある。逆に、固定値をキャリア飽和値よりも低く設定すると、撮像素子の出力の線形領域を十分に用いることができず、画質が劣化する場合がある。

そこで、本実施の形態においては、キャリア飽和値が、リニア飽和値と、色毎の露光量−出力特性の傾きの比、つまり感度比とに基づいて決まることを利用し、計測に比較的長時間を有するが、光源に拘わらず素子毎に一定の値となるリニア飽和値については、工場出荷時に求めてメモリに記憶させておく、一方、光源毎に異なる値ではあるが、短時間で算出できる感度比については実使用時、例えば、電源投入時等に求める。そして、求めた感度比とメモリに記憶されているリニア飽和値とに基づいて、キャリア飽和値を求めてゲイン値を決定する。これにより、実使用時においても短時間にキャリア飽和値を求めてゲイン値を設定することができる。こうして、異なる色の画素加算を行う場合でも、キャリア飽和値を用いたゲイン値設定により高画質化を図ることができる。

図１において、内視鏡装置１は光源２、撮像装置１１及びプロセッサ６によって構成されている。撮像装置１１にはＣＣＤ等によって構成された撮像素子１２が設けられている。光源２は被写体に照明光を照射することができるようになっている。撮像素子１２は、光源２からの被写体反射光が図示しない光学系を介して撮像面に入射するようになっている。撮像素子１２には撮像面に構成された各画素に対応した色配列を有する図示しないカラーフィルタが設けられており、被写体からのカラーの光学像が撮像面に結像される。撮像素子１２は各画素に入射した光を光電変換してアナログ映像信号を出力することができるようになっている。

図２は撮像素子１２に設けられたカラーフィルタの色配列を説明するための説明図である。図２の例はマゼンタＭｇ、シアンＣｒ、イエローＹｅ、緑Ｇｒによる補色フィルタを採用した例であり、撮像面の垂直方向に、マゼンタ、シアン、マゼンタ、シアン・・が交互に配列されると共に、イエロー、緑、イエロー、緑・・が交互に配列された補色フィルタ配列で構成されている。

撮像素子１２は単画素モード及び画素加算モードでの駆動が可能であり、単画素モードでは各画素の画素値をそのまま出力し、画素加算モードでは上下に隣接する２つの画素の画素値を加算して出力する。例えば、インターレース方式では、画素加算モードの撮像素子出力が出力されるようになっている。撮像素子１２の出力はＡＦＥ（アナログフロントエンド）１３に与えられる。

図３は図１中のＡＦＥの具体的な構成の一例を示すブロック図である。撮像素子１２からのアナログ映像信号は、ＣＤＳ（Correlated Double Sampling）回路２１に与えられる。ＣＤＳ回路２１は入力されたアナログ信号を相関二重サンプリング処理してアンプ２２に与える。アンプ２２はＣＤＳ回路２１の出力を増幅してアナログ／デジタル変換器（ＡＤＣ）２３に出力する。

ＣＤＳ回路２１は相関二重サンプリング処理に際して入力されたアナログ映像信号を増幅する。このＣＤＳ回路２１のゲイン値及びアンプ２２のゲイン値は、後述するゲイン制御信号によって調整可能であり、これらのゲイン値の和を以下、ＡＦＥゲイン値ともいう。本実施の形態においては、撮像素子１２の撮像素子出力の最大値をＡＤＣ２３の入力レンジに一致させるようにＡＦＥゲイン値を決定するようになっている。

ＡＤＣ２３は入力されたアナログ映像信号をデジタル信号に変換して出力する。この出力はクランプ回路２４を介してＡＤＣ２３の入力端に戻される。クランプ回路２４によって、撮像素子１２のＯＢ（オプティカルブラック）部分のＯＢレベルを黒レベルにクランプすることで、暗電流ノイズを除去する。ＡＦＥ１３からのデジタル映像信号はＦＰＧＡ（Field Programmable Gate Array）１４に供給される。

ＦＰＧＡ１４は、入力されたデジタル映像信号を後段の回路に伝送するための各種信号処理を行って、映像信号を出力する。更に、ＦＰＧＡ１４は、撮像素子１２を駆動するために必要なクロック等を含む各種信号の生成、ＡＦＥ１３の各部を動作させるのに必要なクロック等を含む各種信号の生成等を行う。

撮像装置１１を内視鏡装置に適用した場合には、ＦＰＧＡ１４からの映像信号はプロセッサ６に供給される。プロセッサ６の画像処理部７は、入力された映像信号に対して、色信号を生成する色信号処理、ガンマ補正処理、電子ズーム処理、ホワイトバランス（Ｗ／Ｂ）処理等の各種信号処理を施して映像出力部８に出力する。映像出力部８は、入力された映像信号をモニタ装置１０に表示可能な形式に変換してモニタ装置１０に出力する。こうして、モニタ装置１０の表示画面上において、撮像素子１２によって撮像された被写体画像が表示される。なお、プロセッサ６の動作制御部９は、ＦＰＧＡ１４の動作を制御するための制御信号をＦＰＧＡ１４に与えるようになっている。

本実施の形態においては、ＦＰＧＡ１４は、メモリ１５が保持しているリニア飽和値の情報を用いてＡＦＥゲイン値を求め、求めたＡＦＥゲイン値を設定するためのゲイン制御信号をＡＦＥ１３に供給するようになっている。

本実施形態においては、メモリ１５は例えばフラッシュメモリによって構成することができ、例えば撮像装置１１の工場出荷時において撮像素子１２のリニア飽和値が書込まれるようになっている。撮像素子１２のリニア飽和値は検査装置５によって測定される。リニア飽和値の測定方法は、上述したキャリア飽和値の測定方法と同様であり、露光量を少しずつ増加させながら撮像素子１２の出力を監視して線形出力範囲を求めることで得られる。上述したように、リニア飽和値は撮像素子１２の全ての画素において略同一であるか又は撮像面の所定のエリア毎に略同一である。検査装置５は、各撮像素子毎に１つのリニア飽和値又は各撮像素子の各エリア毎にリニア飽和値を求める。検査装置５は工場出荷時においてリニア飽和値をメモリ１５に書込んで保持させる。

（キャリア飽和値の求め方）
次に、図９及び図１０を参照してキャリア飽和値の求め方を説明する。図９は第１の実施の形態におけるキャリア飽和値の求め方を示すフローチャートであり、図１０はその説明図である。

図９のステップＳ１１において、ＦＰＧＡ１４は撮像素子１２を単画素モードで駆動する。単画素モードでは、各画素からの画素値は、そのまま出力される。次に、ステップＳ１２においては露光量が初期化される。なお、本実施の形態においては、露光量を変化させる必要はなく、光源２の照明光量が適宜の値になっていればよい。従って、必ずしもステップＳ１２の処理は必要ではなく光源２を制御する必要はない。

次のステップＳ１３において、ＦＰＧＡ１４は、各画素の画素値を求める。撮像素子１２からのアナログ映像信号は、ＡＦＥ１３を介してＦＰＧＡ１４に供給される。ＦＰＧＡ１４は、ゲイン制御信号によって設定しているＡＦＥゲイン値を考慮して各画素の画素値を求める。

上述したように、キャリア飽和値は、露光量−出力特性の傾きが最も大きく、小さい露光量でリニア飽和値に到達する色の画素、即ち、感度が最も高い色の画素に基づいて求めればよい。

そこで、次のステップＳ１４において、ＦＰＧＡ１４は、第１の判定処理として、求めた画素値のうち最大出力が得られている画素に対応するフィルタ（色）を特定する。次に、ＦＰＧＡ１４は、第２の判定処理として、画素加算においてステップＳ３において特定された画素フィルタと対になる画素フィルタを特定する。次に、ＦＰＧＡ１４は、第３の判定処理として、ステップＳ１５において、一方の画素値を基準に感度比を求める。

図１０はステップＳ１４において特定された画素フィルタに対応する色の画素Ｐｇと、ステップＳ１５において特定された画素フィルタに対応する色の画素Ｐｙとの露光量−出力特性を示している。画素Ｐｇは露光量Ｌｇでリニア飽和値Ｒ１に達し、画素Ｐｙは露光量Ｌｙでリニア飽和値Ｒ１に達する。画素Ｐｇがリニア飽和値Ｒ１に達する露光量Ｌｇにおける画素Ｐｇ，Ｐｙの画素値の加算値がキャリア飽和値Ｃとなる。露光量Ｌｇにおける画素Ｐｙの画素値は、画素Ｐｇ，Ｐｙの露光量−出力特性の傾き、即ち、画素Ｐｇ，Ｐｙの感度の比によって求めることができる。露光量Ｌｇ以下であれば、画素Ｐｇ，Ｐｙの画素値はいずれも線形性を有しているので、感度比は画素Ｐｇ，Ｐｙの画素値の比によって求めることができる。

いま、画素Ｐｇの画素値をＰｇｖ、画素Ｐｙの画素値をＰｙｖとすると、画素Ｐｇの画素値を基準にした画素Ｐｇ，Ｐｙの感度比は、Ｐｙｖ／Ｐｇｖによって与えられる。従って、露光量Ｌｇにおける画素Ｐｙの画素値は、感度比（＝Ｐｙｖ／Ｐｇｖ）×Ｒ１で与えられる。ＦＰＧＡ１４は、第４の判定処理として、露光量Ｌｇにおける画素Ｐｇ，Ｐｙの画素値の加算値、即ち、キャリア飽和値Ｃを下記（１）式によって求める（ステップＳ１８）。
Ｃ＝Ｒ１（１＋感度比） ・・・（１）
このように、ＦＰＧＡ１４は、メモリ１５に記憶された撮像素子１２のリニア飽和値と、露光量Ｌｇ以下の露光量で取得した各画素の画素値とを用いて、演算によってキャリア飽和値を算出することができる。各画素の画素値は１回の露光によって求めることができ、極めて短時間にキャリア飽和値を求めることができる。なお、上述したＦＰＧＡ１４による第１乃至第４の判定処理は、それぞれハードウェアによって構成された第１乃至第４の判定部によって実現することも可能である。

このように構成された実施の形態においては、例えば工場出荷時において、検査装置５によって撮像素子１２のリニア飽和値が求められる。リニア飽和値は撮像素子１２に固有の値であり、撮像素子１２を画素加算モードで駆動し光源が変化する場合でもリニア飽和値は変化しない。検査装置５が求めたリニア飽和値は、メモリ１５に書込まれて保持される。

実使用時において、例えば、電源投入時等において、ＦＰＧＡ１４は、メモリ１５からリニア飽和値を読み出して、キャリア飽和値を算出する。即ち、ＦＰＧＡ１４は、光源２によって既知の被写体を照明した状態で、撮像素子１２を単画素モードで駆動し、画素値を取り込む。なお、光源２は、最も感度が高い色の画素においてリニア飽和値に到達する露光量以下の露光量となるように照明を行う。

ＦＰＧＡ１４は、図９のフローを実行して、キャリア飽和値を求め、このキャリア飽和値をＡＦＥ１３のＡＤＣ２３の入力レンジに一致させるために必要なＡＦＥゲイン値を求める。ＦＰＧＡ１４は、このＡＦＥゲイン値が得られるように、ＣＤＳ回路２１及びアンプ２２のゲイン値を求め、これらのゲイン値を設定するためのゲイン制御信号をＡＦＥ１３に出力する。なお、ＦＰＧＡ１４は、求めたＡＦＥゲイン値の情報をメモリ１５に与えて記憶させる。

これにより、以後、ＦＰＧＡ１４は、図９のフローを実施することなく、メモリ１５に記憶させたＡＧＥゲイン値の情報を用いて、ＡＦＥゲイン値の設定を行う。

なお、ＦＰＧＡ１４は、電源投入時に限らず、所定のタイミングでキャリア飽和値を算出してＡＦＥゲイン値を更新するようにしてもよい。例えば、所定の期間毎、光源セットが変更された場合、光源の調整を行った場合、光源の調整を行った後所定期間が経過する毎等において、キャリア飽和値の算出及びＡＦＥゲイン値の更新を行ってもよい。

このように本実施の形態においては、測定に比較的長時間を要するリニア飽和値については例えば工場出荷時に求めてメモリに記憶させておくと共に、比較的短時間に求めることができる各色の画素の感度比については実使用時に求める。そして、この感度比とメモリに記憶されたリニア飽和値とを用いてキャリア飽和値を求める。感度比は比較的短時間に求めることができ、実使用時において短時間に且つ簡単にキャリア飽和値を求めることができる。これにより、異なる色の画素同士の加算を行う撮像素子を採用する場合であっても、キャリア飽和値に基づくゲイン値を設定することができ、高画質化を図ることができる。

なお、撮像素子において画素加算出力を出力可能な例を説明したが、撮像素子から単画素の画素値を出力し、後段の回路において画素加算値を出力する画素加算モードで動作させる撮像装置についても本実施の形態を同様に適用可能である。

（変形例）
図１１及び図１２は変形例を示すフローチャートである。図１１は例えば工場出荷時における検査工程を示しており、図１２はＦＰＧＡ１４によるゲイン値の設定を示している。図１２において図１０と同一の手順については同一符号を付して説明を省略する。

光源２の照明光量が小さい場合、露光時間が短い場合、撮像素子１２の感度が低い場合等においては、撮像装置１１から出力される画像の明るさが比較的暗い場合がある。この場合には、例えば、撮像装置１１の後段の回路等において画像を明るくするために比較的大きなゲイン値で映像信号を増幅することがある。そうすると、ノイズ成分についても増幅され、結果的にＳ／Ｎが低下してしまうことがある。上述したように、従来画素加算を行う撮像素子であっても、キャリア飽和値に基づいてゲイン値を決定することなく、線形出力を維持する撮像素子出力の最大値を比較的低い固定値に仮定し、この低い固定値に基づいてゲイン値を設定することが考えられた。この場合には、比較的大きなゲイン値が設定されることになり、画像の明るさを確保し易くなり、結果的にある程度のＳ／Ｎを得ることができることもある。これに対し、上述したキャリア飽和値に基づいて求めたゲイン値が低い固定値に基づいて求めたゲイン値よりも低い値になることがある。この場合には、撮像装置１１から十分な明るさの画像が得られないことがある。

そこで、本変形例では、撮像素子１２の感度又は撮像素子１２によって得られる画像の明るさに基づいて、設定すべきゲイン値の最低値（最小ゲイン値）を求めることで、キャリア飽和値に基づいて求めたゲイン値が極めて低い値の場合でも、十分な明るさの画像が得られなくなることを防止するようになっている。例えば、電子内視鏡においては、挿入部を管腔内に進入させる場合に、管腔内を撮像して得た画像は一般に周辺が明るく、中央は暗くなる。しかし、画像の中央部は、挿入部の進行方向を確認するために十分な明るさで撮像されていた方がよいと考えられる。電子内視鏡における観察画像の明るさは、
明るさ＝レンズ特性×撮像素子の感度×ゲインによって表される。従って、最小ゲイン値以上のゲイン値を設定することで、十分な明るさの観察画像を確保することができる。

工場出荷時には、図１１のステップＳ２１において、撮像素子１２が単画素モードで駆動される。次のステップＳ２２では、光源の明るさ、色温度が所定の値に初期化される。次に、ステップＳ２３において、撮像素子１２の各色の画素の画素値の平均値が求められる。補色フィルタを採用した場合には、各色の画素の画素値の平均値は、輝度情報、即ち、画像の明るさに対応し、各画素の感度に基づくものとなる。工場では、光源の光量は既知であり、画素値の平均値（画像の明るさ）から感度を求めることもできる。次のステップＳ２４において、リニア飽和値が求められる。なお、ステップＳ２１乃至Ｓ２４の処理は検査装置５によって実施可能である。次に、検査装置５は、リニア飽和値及び画素値の平均値の情報をメモリ１５に書込んで記憶させる（ステップＳ２５）。

なお、撮像装置１１を内視鏡装置に用いる場合には、可視光を用いた白色光観察（ＷＬＩ）モード及び狭帯域光を用いた狭帯域光観察（ＮＢＩ）モードを考慮して、光源からＷＬＩ，ＮＢＩの各モードで用いる２種類の照明光を被写体に照射させて、各照明光下での画素値の平均値を求めて、メモリ１５に記憶させた方がよい。

実使用時において、撮像装置１１は、図１２のフローに従ってＡＦＥゲイン値を求める。本変形例では、ＦＰＧＡ１４は、ステップＳ３１において、最小ゲイン値を算出する。即ち、ＦＰＧＡ１４は、メモリ１５から画素値の平均値の情報を読み出す。測定時における光源の明るさが既知であれば、画素値の平均値の情報に基づいて、撮像素子１２の各色の画素の感度を求めることができる。線形出力を維持する撮像素子出力の最大値は、画素の感度に応じたものであり、画素の感度に基づいて最小ゲイン値を設定することができる。

ＦＰＧＡ１４は、ステップＳ１１〜Ｓ１８においてキャリア飽和値を求めてゲイン値を算出する。本変形例では、ＦＰＧＡ１４は、ステップＳ３２において、キャリア飽和値に基づいて算出したゲイン値が最小ゲイン値よりも大きいか否かを判定する。大きい場合には、ＦＰＧＡ１４は、ステップＳ３３においてキャリア飽和値に基づいて求めたゲイン値をＡＦＥゲイン値とする。また、ＦＰＧＡ１４は、キャリア飽和値に基づいて算出したゲイン値が最小ゲイン値以下である場合には、ステップＳ３４において最小ゲイン値をＡＦＥゲイン値とする。

こうして、本変形例では、撮像素子の感度に基づいて設定した最小ゲイン値以上のゲイン値を設定することができ、明るい被写体であっても暗い被写体であっても十分なＳ／Ｎの画像を得ることができる。

なお、上記説明では、メモリ１５に画素値の平均値を記憶させるものと説明したが、工場出荷時に画素値の平均値から感度を求めて求めた感度をメモリ１５に記憶させてもよく、更に、感度に基づいて求めた最小ゲイン値をメモリ１５に記憶させてもよい。ＦＰＧＡ１４は、メモリ１５に記憶された画素値の平均値、感度又は最小ゲイン値を利用してＡＦＥゲイン値の最小値を設定すればよい。

（他の変形例）
図１３は他の変形例を示すフローチャートである。上述した説明では、キャリア飽和値を例えば電源投入時に求める例を説明した。本変形例はキャリア飽和値を、ホワイトバランス係数（ＷＢ係数）を求めるホワイトバランス調整時に求める例を示している。

電子内視鏡においては、例えば、被写体を撮像して得られる画像の色合いを、当該被写体を肉眼で見た場合と同様の自然な色合いに近づけるためのホワイトバランス調整が行われる。キャリア飽和値を求めるために必要な感度は、実使用時に用いる光源（照明）を用いて求める必要がある。ホワイトバランス調整時においても実使用時に用いる照明光を利用してホワイトバランス係数（ＷＢ係数）を求めるようになっているので、本変形例ではホワイトバランス調整作業時に同時に感度及びキャリア飽和値を求めてＡＦＥゲインを設定することで、作業効率を向上させるようになっている。

即ち、ステップＳ４１では、ＷＬＩモードで用いる照明光を用いてホワイトバランス係数（ＷＢ係数）を求める。ステップＳ４２では、ステップＳ４１で用いた照明光と同じ照明光を用いてキャリア飽和値を取得する。ステップＳ４３では、ＮＢＩモードで用いる照明光を用いてホワイトバランス係数（ＷＢ係数）を求める。ステップＳ４４では、ステップＳ４３で用いた照明光と同じ照明光を用いてキャリア飽和値を取得する。

（第２の実施の形態）
図１４は本発明の第２の実施の形態において採用されるフローチャートを示している。図１４において図９と同一の手順には同一符号を付して説明を省略する。

第２の実施の形態においては、キャリア飽和値は、リニア飽和値と各色の画素の感度比とに基づいて求めた。しかし、実際にはキャリア飽和値は画像の明るさの影響も受ける。そこで、本実施の形態においては画像の明るさに基づいてキャリア飽和値を補正することにより、高精度にキャリア飽和値を求めることを可能にする。

本実施の形態においては、画像の明るさの基準としては、工場出荷検査において求めた明るさを用いる。即ち、図１１のステップＳ２３において求めた画素値の平均値をメモリ１５に書込んで記憶させる。そして、図１４のステップＳ５２において、ＦＰＧＡ１４は、各色の画素の画素値の平均値を求める。

なお、撮像素子１２に基づく明るさの比較を可能にするために、ステップＳ１２において光源の明るさは実使用時の明るさ、例えば、電子内視鏡の場合には、ＷＬＩ，ＮＢＩの各モードで用いる明るさに設定すると共に、露光時間及びゲイン値は工場出荷検査時と同一の時間及びゲイン値に設定する。

なお、図１０で説明した電子内視鏡のホワイトバランス調整時には、体外において、自照明光以外の外光を遮断した環境下で白色の被写体を撮像することを可能にする専用の器具、例えばホワイトバランス調整用補助具等を用いた作業が行われることが多い。従って、照明光量の設定が容易であり、図１１で示した工場出荷検査時における露光時間と同じ露光時間での感度測定を簡単に行うことができる。従って、本実施の形態においても、キャリア飽和値の算出は、ホワイトバランス調整時に実施すると作業が容易となる。

ＦＰＧＡ１４は、ステップＳ５２において、キャリア飽和明るさ係数αを算出する。工場出荷検査時に求めた明るさをＥ１とし、ステップＳ５１において求めた明るさをＥ２とすると、キャリア飽和明るさ係数αは、例えば、α＝Ｅ２／Ｅ１で求めることができる。

次のステップＳ５３において、ＦＰＧＡ１４は、キャリア飽和値を算出する。この場合には、ＦＰＧＡ１４は、例えば、図９のステップＳ１７において求めたキャリア飽和値にキャリア飽和明るさ係数αを乗算することで、明るさに応じて補正したキャリア飽和値を得る。即ち、この場合のキャリア飽和値Ｃは、下記（２）式によって与えられる。

Ｃ＝αＲ１（１＋感度比） ・・・（２）
ＦＰＧＡ１４は、上記（２）式によって与えられるキャリア飽和値を用いてＡＦＥゲインを求める（ステップＳ１８）。他の作用は第１の実施の形態と同様である。

このように本実施の形態においては、画像の明るさに応じてキャリア飽和値を補正してＡＦＥゲインを求めており、高精度のゲイン調整が可能である。これにより、より高画質の画像を取得することが可能となる。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい

１…内視鏡装置、２…光源、６…プロセッサ、１０…モニタ装置、１１…撮像装置、１２…撮像素子、１３…ＡＦＥ、１４…ＦＰＧＡ、１５…メモリ。

Claims (11)

1. 画素に対応して所定の色配列を有するカラーフィルタが配置された撮像素子と、
   前記撮像素子の出力が露光量に対して線形を維持する出力範囲の上限値であるリニア飽和値を記憶する記憶部と、
   前記撮像素子の画素のうち画素値が最大値となった画素に対応する前記カラーフィルタの第１の色及び前記最大値である第１の画素値を判定する第１の判定部と、
   前記撮像素子の画素値を加算する画素加算モードにおいて前記第１の色の画素に対して加算の組である前記カラーフィルタの第２の色の画素の第２の画素値を判定する第２の判定部と、
   前記第１の画素値と前記第２の画素値とに基づいて、前記第１の色の画素と前記第２の色の画素との感度比を判定する第３の判定部と、
   前記記憶部に記憶された前記リニア飽和値と前記感度比とに基づいて、前記画素加算モードにおける画素値の加算結果が露光量に対して線形を維持する出力範囲の上限値であるキャリア飽和値を求める第４の判定部と、
   前記キャリア飽和値に基づいて前記撮像素子の出力に与えるゲイン値を決定するゲイン決定部と
   を具備したことを特徴とする撮像装置。
2. 前記画素加算モードにおいて加算される各画素の前記第１の色と前記第２の色とは相互に異なる色である
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記カラーフィルタは、補色フィルタである
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記リニア飽和値は、前記撮像素子の出荷時に前記記憶部に記憶される
   ことを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
5. 前記第１乃至第４の判定部は、前記第１の画素値が前記リニア飽和値に到達する露光量よりも小さい露光量における前記撮像素子の出力を用いて判定を行う
   ことを特徴とする請求項１乃至４のいずれか１つに記載の撮像装置。
6. 前記第１乃至第４の判定部は、前記撮像素子の撮像対象である被写体を照明する照明の色温度が変化する毎又は変化から所定期間経過する毎に判定を実施する
   ことを特徴とする請求項１乃至５のいずれか１つに記載の撮像装置。
7. 前記撮像素子が電子内視鏡の撮像部として用いられた場合には、
   前記第１乃至第４の判定部は、前記電子内視鏡のホワイトバランス調整時に前記電子内視鏡の実使用時に採用する光源を用いて前記判定を実施する
   ことを特徴とする請求項１乃至５のいずれか１つに記載の撮像装置。
8. 前記記憶部は、前記リニア飽和値の測定時に前記撮像素子によって得られる画像の明るさの情報を、前記撮像素子の出荷時に記憶し、
   前記ゲイン決定部は、前記記憶部から読み出した前記画像の明るさの情報に基づいて前記撮像素子の出力に与える最小ゲイン値を求め、前記キャリア飽和値に基づくゲイン値が前記最小ゲイン値よりも小さい場合には前記撮像素子の出力に与えるゲイン値として前記最小ゲイン値を決定する
   ことを特徴とする請求項１乃至７のいずれか１つに記載の撮像装置。
9. 前記記憶部は、前記リニア飽和値の測定時に前記撮像素子によって得られる画像の明るさの情報を、前記撮像素子の出荷時に記憶し、
   前記ゲイン決定部は、前記記憶部から読み出した前記画像の明るさの情報と前記第１の判定部の判定処理時に前記撮像素子によって得られる画像の明るさの情報とに基づいて前記キャリア飽和値を補正し、補正した前記キャリア飽和値に基づいて前記撮像素子の出力に与えるゲイン値を決定する
   ことを特徴とする請求項１乃至８のいずれか１つに記載の撮像装置。
10. 画素に対応して所定の色配列を有するカラーフィルタが配置された撮像素子から所定の露光量における画素値を取得し、
    前記撮像素子の出力が露光量に対して線形を維持する出力範囲の上限値であるリニア飽和値を記憶部から読み出し、
    前記撮像素子から取得した画素値が最大値となった画素に対応する前記カラーフィルタの第１の色及び前記最大値である第１の画素値を判定する第１の判定処理を行い、
    前記撮像素子の画素値を加算する画素加算モードにおいて前記第１の色の画素に対して加算の組である前記カラーフィルタの第２の色の画素の第２の画素値を判定する第２の判定処理を行い、
    前記第１の画素値と前記第２の画素値とに基づいて、前記第１の色の画素と前記第２の色の画素との感度比を判定する第３の判定処理を行い，
    前記記憶部から読み出した前記リニア飽和値と前記感度比とに基づいて、前記画素加算モードにおける画素値の加算結果が露光量に対して線形を維持する出力範囲の上限値であるキャリア飽和値を求める第４の判定処理を行い、
    前記キャリア飽和値に基づいて前記撮像素子の出力に与えるゲイン値を決定する
    ことを特徴とする撮像装置の作動方法。
11. 前記リニア飽和値は、前記撮像素子の出荷時に前記メモリに記憶させ、
    前記画素値の取得及び前記第１乃至第４の判定処理を実使用時に行う
    ことを特徴とする撮像装置の作動方法。

Images