JP2015033027A - 輝度制御装置 - Google Patents

Abstract

【課題】増幅部の焼き付きを防止することが可能な輝度制御装置を提供する。【解決手段】この輝度制御装置１００は、入射光を増幅する増幅部１と、増幅部１により増幅された出力光に基づいて画像を撮像する撮像部２と、撮像部２により撮像された画像の解析結果に基づいて、増幅部１および撮像部２を制御する制御部３とを備える。【選択図】図１

Description

この発明は、撮像部を備える輝度制御装置に関する。

従来、撮像部を備える輝度制御装置が知られている（たとえば、特許文献１参照）。

上記特許文献１には、入射光に基づいて被写体を撮像する撮像部と、入射光に基づいて撮像部の絞り値、シャッタスピードおよび利得（ゲイン）を制御する制御部とを備える輝度制御装置が開示されている。

また、従来では、入射光を増幅する増幅装置が知られている。このような増幅装置を上記特許文献１による輝度制御装置に適用することも考えられる。

特開平６−２４５１３９号公報

しかしながら、上記特許文献１の輝度制御装置において従来の入射光を増幅する増幅装置を設けた場合、入射光に基づいて撮像部の絞り値、シャッタスピードおよび利得（ゲイン）を制御する輝度制御が行われると、入射光が増幅装置に入射した後に増幅装置によって光が過大に増幅された場合には、増幅装置が焼き付きを起こしてしまうという問題点が発生すると考えられる。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、増幅部の焼き付きを防止することが可能な輝度制御装置を提供することである。

上記目的を達成するために、この発明の一の局面における輝度制御装置は、入射光を増幅する増幅部と、増幅部により増幅された出力光に基づいて画像を撮像する撮像部と、撮像部により撮像された画像の解析結果に基づいて、増幅部および撮像部を制御する制御部とを備える。

この発明の一の局面による輝度制御装置では、上記のように、増幅部により増幅された出力光に基づく画像の解析結果に基づいて増幅部および撮像部を制御する制御部を設けることによって、増幅部により増幅された出力光に基づいて増幅部を制御することができるので、入射光が増幅部によって過大に増幅されるのを防止することができる。これにより、増幅部が焼き付きを起こすのを防止することができる。

上記一の局面による輝度制御装置において、好ましくは、制御部は、増幅部により増幅された出力光の輝度を、撮像部により撮像された画像と撮像部の撮像パラメータとに基づいて取得するとともに、出力光の輝度に基づいて、増幅部および撮像部を制御するように構成されている。このように構成すれば、別途増幅部の出力光の輝度を測定する部品を設ける必要がないので、部品点数の増加および装置構成の複雑化を抑制することができる。

この場合、好ましくは、撮像部の撮像パラメータは、増幅度を含む。このように構成すれば、撮像部の増幅度および撮像された画像に基づいて、増幅部により増幅された出力光を容易に算出して取得することができる。

上記一の局面による輝度制御装置において、好ましくは、制御部は、撮像部により撮像された画像のヒストグラムを解析するヒストグラム解析部を含むとともに、ヒストグラム解析部の解析結果に基づいて増幅部の出力光の輝度を取得するように構成されている。このように構成すれば、画像のヒストグラムに基づいて、画像の局所（輝度の高い部分）の輝度を算出することができるので、増幅部が局所的に焼き付くのを防止することができる。

上記一の局面による輝度制御装置において、好ましくは、制御部は、増幅部の出力光の輝度が所定の輝度未満となるように増幅部を制御するように構成されている。このように構成すれば、所定の輝度値を増幅部が焼き付きを起こす輝度に設定すれば、増幅部の局所的な焼き付きを確実に防止することができる。

この場合、好ましくは、所定の輝度が増幅部の増幅限界値に基づいて設定されている。このように構成すれば、所定の輝度を増幅限界値に基づいて安全を考慮して増幅限界値より低めに設定すれば、増幅部の局所的な焼き付きをより確実に防止することができる。

上記一の局面による輝度制御装置において、好ましくは、増幅部の全出力光量を第１光量以下に制限する制限部をさらに備え、制御部は、全出力光量に基づいて、制限部と協調して、増幅部および撮像部を制御するように構成されている。このように構成すれば、全出力光量が第１光量を超えることがないので、増幅部の全体的な焼き付きを制限部により効果的に防止することができる。また、増幅部が制限部により制限されている場合でも、制限部および制御部を協調して制御することによって、制限部および制御部を競合させることなく、輝度調整をスムーズに行うことができる。

上記制限部を備える構成において、好ましくは、制御部は、増幅部の全出力光量を、撮像部により撮像された画像と撮像部の撮像パラメータとに基づいて取得するように構成されている。このように構成すれば、別途増幅部の全出力光量を測定する部品を設ける必要がないので、部品点数の増加および装置構成の複雑化を抑制することができる。

上記制限部を備える構成において、好ましくは、制御部は、撮像部により撮像された画像のヒストグラムを解析するヒストグラム解析部を含むとともに、ヒストグラム解析部の解析結果に基づいて増幅部の全出力光量を取得するように構成されている。このように構成すれば、ヒストグラムを解析することにより容易に増幅部の全出力光量を算出することができる。

上記制限部を備える構成において、好ましくは、制御部は、増幅部の全出力光量が第１光量より小さい第２光量以下となるように増幅部を制御するように構成されている。このように構成すれば、制限部が増幅部を制限し始める第１光量より小さい第２光量以下に増幅部の全出力光量を制御することができるので、制限部による増幅部の制限を効果的に抑制することができる。これにより、制限部による増幅部の制限がない状態で増幅部および撮像部を制御することができるので、制御部と制限部が競合することなく、輝度調整を容易にスムーズに行うことができる。

この場合、好ましくは、第２光量が第１光量に基づいて設定されている。このように構成すれば、第２光量を第１光量に基づいて容易に設定して、輝度調整を容易にスムーズに行うことができる。

上記一の局面による輝度制御装置において、好ましくは、制御部は、撮像部により撮像された画像の輝度としての画素値のうち代表画素値が所定の画素値となるように増幅部および撮像部を制御するように構成されている。このように構成すれば、輝度としての代表画素値を所定の画素値になるように制御して、画像の輝度を適切に保つことができる。

この場合、好ましくは、制御部は、撮像部により撮像された画像のヒストグラムを解析するヒストグラム解析部を含むとともに、ヒストグラム解析部の解析結果に基づいて代表画素値を取得するように構成されている。このように構成すれば、ヒストグラムを解析することにより容易に代表画素値を算出して取得することができるので、画像の輝度を容易に適切に保つことができる。

上記ヒストグラム解析部の解析結果に基づいて代表画素値を取得する構成において、好ましくは、ヒストグラム解析部は、画素値の大きい側からヒストグラムを順に累算し、累算値が所定の画素数に達した時の画素値を基準画素値として算出するように構成されており、制御部は、基準画素値を代表画素値として増幅部および撮像部を制御するように構成されている。このように構成すれば、輝度が高い画素値付近のノイズを効果的に取り除くことができるので、輝度制御を安定して行うことができる。

この場合、好ましくは、ヒストグラム解析部は、基準画素値が最大画素値である場合に、画像のヒストグラムは飽和していると判定するとともに、ヒストグラム飽和領域の幅である推定飽和幅を推定し、最大画素値に推定飽和幅を加えて推定基準画素値を算出するように構成されおり、制御部は、推定基準画素値を代表画素値として増幅部および撮像部を制御するように構成されている。このように構成すれば、ヒストグラムが飽和している場合でも、推定基準画素値を代表画素値とすることにより、画像の輝度を適切に保つことができる。

上記推定飽和幅を推定する構成において、好ましくは、ヒストグラム解析部は、画像のヒストグラムの飽和領域の形状を正方形で推定したときの正方形の幅、または、画像のヒストグラムの飽和領域の形状を長方形で推定したときの長方形の幅を、推定飽和幅として推定するように構成されている。このように構成すれば、推定飽和幅を正方形または長方形を用いて容易に推定することができる。

上記一の局面による輝度制御装置において、好ましくは、制御部は、増幅部および撮像部を比例制御により制御するように構成されている。このように構成すれば、輝度調整の制御処理にタイムラグがある場合でも安定した比例制御によりスムーズな輝度変化の輝度制御を行うことができる。

上記一の局面による輝度制御装置において、好ましくは、制御部は、増幅部および撮像部の制御パラメータを変化させる制御量が第１制御量以上の場合に、制御量を第１制御量に固定するように構成されている。このように構成すれば、制御量が過大となるのを抑制して、オーバーシュートを抑制することができる。

上記一の局面による輝度制御装置において、好ましくは、制御部は、増幅部および撮像部の制御パラメータを変化させる制御量が第２制御量以下の場合に、制御量を０に固定するように構成されている。このように構成すれば、制御目標値近傍での輝度の振動を抑制して、画像がチラつくのを抑制することができる。

上記一の局面による輝度制御装置において、好ましくは、制御部は、増幅部および撮像部のうち少なくとも１つを、制御量が離散的な第１制御パラメータと、制御量が連続的な第２制御パラメータとで制御するとともに、第１制御パラメータの制御量の離散化誤差を制御量が連続的な第２制御パラメータで補償するように構成されている。このように構成すれば、第１制御パラメータと第２制御パラメータとにより画像の輝度を滑らかに変化させる輝度制御を行うことができる。

この場合、好ましくは、制御部は、撮像部を、制御量が離散的な第１制御パラメータとしての増幅度と、制御量が連続的な第２制御パラメータとしての露光時間とで制御するとともに、増幅度の制御量の離散化誤差を制御量が連続的な露光時間で補償するように構成されている。このように構成すれば、制御量が離散的な増幅度と制御量が連続的な露光時間との制御により撮像部を制御して、画像の輝度を容易に滑らかに変化させる輝度制御を行うことができる。

本発明によれば、上記のように、増幅部の焼き付きを防止することができる。

本発明の第１実施形態による輝度制御装置の全体構成を示した図である。 本発明の第１実施形態および第２実施形態による輝度制御装置の非飽和状態のヒストグラムを示した図である。 本発明の第１実施形態および第２実施形態による輝度制御装置の飽和状態のヒストグラムを示した図である。 本発明の第１実施形態および第２実施形態による輝度制御装置の推定飽和幅の正方形モデルを説明するためのヒストグラムを示した図である。 本発明の第１実施形態および第２実施形態による輝度制御装置の推定飽和幅の長方形モデルを説明するためのヒストグラムを示した図である。 本発明の第１実施形態および第２実施形態による輝度制御装置の注目視野重みを説明するための図である。 本発明の第１実施形態および第２実施形態による輝度制御装置の制御部のブロック線図を示した図である。 本発明の第１実施形態および第２実施形態による輝度制御装置の画像輝度のステップ応答を説明するための図である。 本発明の第１実施形態および第２実施形態による輝度制御装置の輝度制御処理を説明するためのフローチャートである。 本発明の第１実施形態および第２実施形態による輝度制御装置のヒストグラム解析処理を説明するためのフローチャートである。 本発明の第１実施形態による輝度制御装置の制御目標値算出処理を説明するためのフローチャートである。 本発明の第１実施形態および第２実施形態による輝度制御装置の比例制御処理を説明するためのフローチャートである。 本発明の第１実施形態および第２実施形態による輝度制御装置の離散化誤差補償処理を説明するためのフローチャートである。 本発明の第２実施形態による輝度制御装置の全体構成を示した図である。 本発明の第２実施形態による輝度制御装置の制御目標値算出処理を説明するためのフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

（第１実施形態）
まず、図１〜図８を参照して、本発明の第１実施形態による輝度制御装置１００の構成について説明する。輝度制御装置１００は、たとえば、暗視装置などに用いられる。

図１に示すように、輝度制御装置１００は、増幅部１と、撮像部２と、制御部３と、レンズ４とを備える。

増幅部１は、たとえば、イメージ・インテンシファイアなどを含む。また、増幅部１は、レンズ４を介して入射する光を増幅して撮像部２に出力するように構成されている。また、増幅部１は、ゲインを制御することにより、入射光に対する出力光の増幅度が調整されるように構成されている。

撮像部２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサまたはＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサなどを含む。また、撮像部２は、増幅部１により増幅された出力光に基づいて画像を撮像するように構成されている。また、撮像部２は、ゲインおよび露出時間を含む撮像パラメータが制御されて、撮像する画像の輝度が調整されるように構成されている。

制御部３は、輝度制御装置１００の各部を制御するように構成されている。また、制御部３は、ヒストグラム解析部３１を含む。また、制御部３は、撮像部２により撮像された画像の解析結果に基づいて、増幅部１および撮像部２を制御するように構成されている。具体的には、制御部３は、撮像部２により撮像された画像から増幅部１の出力光の輝度を算出して、撮像する画像の輝度が最適となるように増幅部１のゲインを制御するとともに、撮像部２のゲインおよび露出時間を制御するように構成されている。

また、制御部３は、撮像部２により撮像された画像と、撮像部２のゲインおよび露出時間を含む撮像パラメータとに基づいて増幅部１の出力光の輝度を取得するように構成されている。具体的には、制御部３は、ヒストグラム解析部３１の解析結果に基づいて増幅部１の出力光の輝度を取得するように構成されている。

また、制御部３は、増幅部１の出力光の輝度が所定の輝度未満となるように増幅部１を制御するように構成されている。なお、所定の輝度は、たとえば、増幅部１が局所的な焼き付きを起こす出力光の輝度が設定されている。つまり、所定の輝度は、増幅部１の増幅限界値に基づいて設定されている。

また、制御部３は、撮像部２により撮像された画像の輝度としての画素値のうち代表画素値が所定の画素値となるように増幅部１および撮像部２を制御するように構成されている。具体的には、制御部３は、ヒストグラム解析部３１の解析結果に基づいて代表画素値を取得するように構成されている。この際、図２に示すように、ヒストグラム解析部３１は、画素値の大きい側からヒストグラムを順に累算して、累算値が所定の画素数に達した時の画素値を基準画素値として算出する。そして、制御部３は、基準画素値を代表画素値として取得する。

また、図３に示すように、ヒストグラム解析部３１は、基準画素値が最大画素値である場合に、画像のヒストグラムは飽和していると判定するように構成されている。また、ヒストグラム解析部３１は、画像のヒストグラムが飽和している場合、ヒストグラム飽和領域の幅である推定飽和幅を推定し、最大画素値に推定飽和幅を加えて代表画素値としての推定基準画素値を算出するように構成されている。

具体的には、図４に示すように、ヒストグラム解析部３１は、画像のヒストグラムの飽和領域の形状を正方形で推定したときの正方形の幅Ｗ１を推定飽和幅として推定するように構成されている。また、図５に示すように、ヒストグラム解析部３１は、画像のヒストグラムの飽和領域の形状を長方形で推定したときの長方形の幅Ｗ２を、推定飽和幅として推定するように構成されている。そして、制御部３は、正方形の幅として推定した推定飽和幅と、長方形の幅として推定した推定飽和幅とのうち大きい方を推定飽和幅として採用するように構成されている。

また、制御部３は、増幅部１および撮像部２を比例制御により制御するように構成されている。また、制御部３は、増幅部１および撮像部２の制御パラメータを変化させる制御量が第１制御量以上の場合に、制御量を第１制御量に固定するように構成されている。また、制御部３は、増幅部１および撮像部２の制御パラメータを変化させる制御量が第１制御量より小さい第２制御量以下の場合に、制御量を０に固定するように構成されている。なお、比例制御の処理についての詳細は後述する。

また、制御部３は、撮像部２を、制御量が離散的な第１制御パラメータと、制御量が連続的な第２制御パラメータとで制御するとともに、第１制御パラメータの制御量の離散化誤差を制御量が連続的な第２制御パラメータで補償するように構成されている。具体的には、制御部３は、撮像部２を、制御量が離散的な第１制御パラメータとしてのゲイン（増幅度）と、制御量が連続的な第２制御パラメータとしての露光時間とで制御するように構成されている。また、制御部３は、ゲインの制御量の離散化誤差を制御量が連続的な露光時間で補償するように構成されている。なお、離散化誤差を補償する処理についての詳細は後述する。

（ヒストグラム解析）
次に、ヒストグラム解析部３１によるヒストグラム解析処理について説明する。

ヒストグラムは、増幅部視野全体および注目視野（たとえば、画像の中心付近など）の２種類が得られる。各ヒストグラムを解析して各ヒストグラム情報を得るアルゴリズムについて説明する。ヒストグラム情報は、ヒストグラム幅histogramWidth、推定飽和幅intSaturation、全出力光量totalIntensity、平均輝度aveBrightness、最大スポット光輝度spotBrightness、および、スポット光推定飽和幅spotSaturationの６つを含む。

図２に示すように、ヒストグラム幅histogramWidthは、画素値０から有意な（ノイズを除いた）画像情報が含まれる最大の画素値までの幅である。具体的には、暗視装置などで撮像する低照度画像はノイズが多く、ヒストグラム幅histogramWidthが不安定になりやすい。そこで、閾値Ｔ１を設定して、ヒストグラムを画素値の大きい側（最大画素値）から積分していき、累積ヒストグラム（積分値）が閾値Ｔ１を超えた画素値をヒストグラム幅histogramWidthとする。なお、閾値Ｔ１は画像の特性に応じて適切に設定する。たとえば、閾値Ｔ１は、全画素数の１％の画素数が設定される。これにより、ノイズが多い場合、または、部分的に飽和している場合でも比較的安定してヒストグラム幅を算出することが可能である。

推定飽和幅intSaturationは、画素値が飽和した時、すなわち、ヒストグラム幅histogramWidthが最大画素値に等しい時の飽和領域の推定幅である。なお、飽和していない時には推定飽和幅intSaturation＝０となる。推定飽和幅intSaturationは、飽和領域のヒストグラムを正方形（図４参照）または長方形（図５参照）と仮定して、それぞれ推定される。なお、飽和領域の面積は、ヒストグラムの最大画素値maxPixValueの画素数Histogram[maxPixValue]に等しい。ただし、ヒストグラム幅histogramWidthの算出と同様に閾値Ｔ１を超えた画素値を飽和領域の幅と推定するため、飽和領域の面積はHistogram[maxPixValue]−Ｔ１として扱う。

図４に示すように、正方形モデルで推定する場合、下記の式（１）に示すように、飽和領域の面積Histogram[maxPixValue]−Ｔ１の平方根をとることで、正方形の辺の長さとして推定飽和幅Ｗ１が推定される。

図５に示すように、長方形モデルで推定する場合、下記の式（２）に示すように、長方形の高さhightを求める。この際、ノイズが多い場合でも安定した値となるように、閾値Ｔ２を設定して、ヒストグラムの最大画素値maxPixValueの１つ前の画素値から積分する。そして、閾値Ｔ２を超えたときの累積ヒストグラム面積areaを積分区間幅widthで除算することで、平均値として高さhightが算出される。なお、閾値Ｔ２は画像の特性に応じて適切に設定する。たとえば、閾値Ｔ２は、全画素数の１％の画素数が設定される。また、下記の式（３）に示すように、飽和領域の面積Histogram[maxPixValue]−Ｔ２（ヒストグラムの最大画素値の画素数）を高さhightで除算することで、長方形の横辺の長さとして推定飽和幅Ｗ２が推定される。

正方形モデルおよび長方形モデルにおいてそれぞれ推定された推定飽和幅Ｗ１およびＷ２のうち、大きい方が最終的な推定飽和幅intSaturationとして採用される。つまり、正方形モデルの推定飽和幅Ｗ１は飽和量が大きい時に過小評価され、逆に長方形モデルの推定飽和幅Ｗ２は飽和量が小さい時に過小評価されるので、推定飽和幅Ｗ１およびＷ２のうち大きな方を採用することで、飽和量によらず安定して精度の高い推定飽和幅intSaturationを推定することが可能である。

全出力光量totalIntensityは、ヒストグラム解析領域における光量の総和である。ここで、飽和状態で無い場合には局所出力光量∝（画素値i／撮像部ゲインCMGain）となるので、全出力光量totalIntensity∝Σ{画素数Histogram[i]×画素値i／撮像部ゲインCMGain }となる。したがって、全出力光量totalIntensityは、下記の式（４）により算出される。

平均輝度aveBrightnessは、ヒストグラム解析領域の平均輝度である。したがって、平均輝度aveBrightnessは、下記の式（５）に示すように、全出力光量totalIntensityをヒストグラム全面積ROIArea（＝ヒストグラム解析領域の面積（画素数））で除算して算出される。

最大スポット光輝度spotBrightnessは、光源などにより局所的に輝度が高い部分の最大の画素値である。また、最大スポット光輝度spotBrightnessは、画素値０から局所的に輝度が高い部分の最大の画素値までの幅である。したがって、最大スポット光輝度spotBrightnessは、上記ヒストグラム幅histogramWidthと同じアルゴリズムにより算出される。ただし、閾値Ｔ３は、閾値Ｔ１より小さい値に設定する。また、最大スポット光輝度spotBrightnessは、増幅部１の出力光の輝度の絶対値が必要となるので、撮像部ゲインCMGainで除算して正規化される。なお、閾値Ｔ３は画像の特性に応じて適切に設定する。たとえば、閾値Ｔ３は、全画素数の０．１％の画素数が設定される。

スポット光推定飽和幅spotSaturationは、光源などにより局所的に輝度が高い部分の画素値が飽和した時、すなわち、最大スポット光輝度spotBrightnessが最大画素値に等しい時の飽和領域の推定幅である。したがって、スポット光推定飽和幅spotSaturationは、推定飽和幅intSaturationと同じアルゴリズムにより算出される。また、スポット光推定飽和幅spotSaturationは、増幅部１の出力光の輝度の絶対値が必要となるので、撮像部ゲインCMGainで除算して正規化される。以上により、ヒストグラム情報の６つのパラメータがヒストグラムから算出される。これにより、ヒストグラムを取得すれば、ヒストグラム情報の６つのパラメータが算出可能であり、パラメータ算出のために改めて画像にアクセスする必要がない。

（制御目標値算出）
次に、制御部３による制御目標値算出処理について説明する。

制御目標値は、増幅部視野全体と注目視野（たとえば、画像の中心付近など）の各ヒストグラム情報を統合して算出される。制御目標値は、制御パラメータの目標値である。また、制御目標値は、目標増幅部ゲイン制御値Tgt.APGainValue、目標増幅部ゲートTgt.APGateWid、目標撮像部ゲイン番号Tgt.CMGainNum、および、目標撮像部露出時間Tgt.CMExpTimeの４つを含む。

目標増幅部ゲイン制御値Tgt.APGainValueおよび目標撮像部ゲイン番号Tgt.CMGainNumは、それぞれ、増幅部１および撮像部２のゲインの制御値である。また、目標全ゲインが算出された後に、全ゲインが目標増幅部ゲイン制御値Tgt.APGainValueおよび目標撮像部ゲイン番号Tgt.CMGainNumに振り分けられる。そこで、まずは目標全ゲインの算出アルゴリズムから説明する。

目標全ゲインは、制御前ゲインにさらに目標倍率を乗算した値となる。目標倍率は、制御全ゲインから制御目標全ゲインまでの相対ゲインを表し、ヒストグラム幅目標倍率WidGainと増幅部局所飽和回避目標倍率LclGainとの２つの観点からそれぞれ算出される。

ヒストグラム幅目標倍率WidGainは、ヒストグラム幅が撮像部２のダイナミックレンジ内の最大幅になるようにするための倍率である。また、ヒストグラム幅目標倍率WidGainは、増幅部視野全体ヒストグラム幅目標倍率AllGainと注目領域ヒストグラム幅目標倍率ROIGainとを合成して算出される。ここでは、増幅部視野全体ヒストグラム幅目標倍率AllGainについて説明する。なお、注目領域ヒストグラム幅目標倍率ROIGainも同様の計算で算出される。

まず、ヒストグラム目標幅IdealHistWidthをヒストグラム最大幅（＝最大画素値）に対して少し小さくなるように設定する。たとえば、ヒストグラム目標幅IdealHistWidth、をヒストグラム最大幅に対して０．９倍に設定する。次に、下記の式（６）および式（７）に示すように、ヒストグラム幅AllWidを目標幅IdealHistWidthに拡大または縮小する倍率AllGainがそれぞれ算出される。なお、ヒストグラム幅AllWidは、飽和領域も含むため、ヒストグラム情報のヒストグラム幅histogramWidthと推定飽和幅intSaturationとの和になる。

ここで、増幅部視野全体ヒストグラム幅目標倍率AllGainと注目領域ヒストグラム幅目標倍率ROIGainとを重みづけ加算するためのヒストグラム幅目標倍率の注目視野重みmixCoefが算出される。重みは増幅部視野全体平均輝度All.aveBrightnessと注目領域平均輝度ROI.aveBrightnessから輝度差subBrightを算出し、輝度差subBrightから図６に示すような注目視野重みmixCoefに変換する。なお、輝度差subBrightから注目視野重みmixCoefへの変換は各輝度差subBrightにおいて予め設定されている。

そして、下記の式（８）に示すように、算出したヒストグラム幅目標倍率の注目視野重みmixCoefを基に、増幅部視野全体ヒストグラム幅目標倍率AllGainと注目領域ヒストグラム幅目標倍率ROIGainを重みづけ加算して、ヒストグラム幅目標倍率WidGainが算出される。ここで、ヒストグラム幅目標倍率WidGainは、撮像部ゲインを最大値にした場合での倍率として算出される。このため、直前フレームでの撮像部ゲイン番号Pre.CMGainNumと最大撮像部ゲインMaxCMGainとを用いて撮像部ゲインの最大が基準の１倍に正規化される。なお、CMGainLUT[]は事前に測定した撮像部ゲイン番号−撮像部ゲイン変換ＬＵＴ（ルックアップテーブル）である。

これにより、輝度差が大きい時は、注目領域ヒストグラムを重視し、輝度差が小さい時は増幅部視野全体ヒストグラムが重視される。その結果、注目領域外に高輝度領域があった場合に、注目領域が過度に黒つぶれするのを抑制するとともに、逆に注目領域内に高輝度領域があった場合に、注目領域が過度に白飛びするのを抑制することが可能である。たとえば、撮影シーンが逆光の場合などは、増幅部視野全体ではなく、注目領域の輝度が最適になるように制御される。

増幅部局所飽和回避目標倍率LclGainは、増幅部１の局所飽和が起こらない最大の倍率である。この倍率以下にしておけば、局所飽和が起こらないとともに、同時にスポット光などの局所的に明るい光による増幅部１の局所的な焼き付きを防ぐことが可能である。具体的には、増幅部１に局所的に高輝度光が入射すると、増幅部１の特性によっては、焼き付きに至る前に、局所的な飽和が発生し、その結果入射光量に対する出力光輝度の線形性が崩れ始める場合がある。線形性が崩れると、輝度制御上も安定しなくなるため、局所的飽和が起きないように制御することで、同時に増幅部１の局所的な焼き付きを防ぐことが可能である。

まず、目標最大局所出力光量IdealLocalIntensityを予め測定した局所飽和出力光量を用いて適切な値に設定する。たとえば、目標最大局所出力光量IdealLocalIntensityを予め測定した局所飽和出力光量の０．５倍に設定する。次に、下記の式（９）に示すように、増幅部視野全体最大局所出力光量AllSpotが算出される。ヒストグラム幅と同様に、最大局所出力光量AllSpotは、飽和領域も含むため、ヒストグラム情報の最大スポット光輝度spotBrightnessとスポット光推定飽和幅spotSaturationとの和になる。注目領域最大局所出力光量ROISpotについても最大局所出力光量AllSpotと同様に算出される。

そして、増幅部視野全体最大局所出力光量AllSpotと注目領域最大局所出力光量ROISpotとのうち大きな方を最大局所出力光量maxSpotとし、下記の式（１０）に示すように、最大局所出力光量maxSpotを目標最大局所出力光量IdealLocalIntensityに拡大または縮小する倍率LclGainが算出される。

次に、下記の式（１１）、式（１２）および式（１３）に示すように、目標全ゲインが増幅部ゲインと撮像部ゲインに振り分けられる。全ゲインの基準は、増幅部ゲイン最低値で撮像部ゲイン最大値を１倍としている。式（１１）に示すように、制御前全ゲインAllGainは、制御前、すなわち直前フレームでの全ゲインであり、直前フレームでの増幅部ゲイン制御値Pre.APGainValueから逆算される。なお、APGainLUT[]は事前に測定した増幅部ゲイン制御値−増幅部ゲイン変換ＬＵＴである。また、式（１２）に示すように、ヒストグラム幅目標全ゲインTgtWidGainは、ヒストグラム幅から算出した目標全ゲインであり、制御前全ゲインAllGainにヒストグラム幅目標倍率WidGainを乗じて算出される。また、式（１３）に示すように、増幅部局所飽和回避目標全ゲインTgtLclGainは、増幅部局所飽和から算出された目標全ゲインであり、制御前全ゲインAllGainに増幅部局所飽和回避目標倍率LclGainを乗じて算出される。

ここで、増幅部ゲインおよび撮像部ゲインの振り分けについて、増幅部１の焼き付きや寿命劣化を防ぐため、増幅部ゲインが優先的に下げられる。そして、増幅部ゲインが最低値の場合でも飽和する時は、撮像部ゲインを下げるように制御される。つまり、撮像部ゲインは基本的に最大となる。そこで、全ゲインの基準は増幅部ゲイン最低値で撮像部ゲイン最大値を１倍（基準）としている。また、増幅部局所飽和が起こっているか否かで、振り分けアルゴリズムを変える必要があるので、ヒストグラム幅目標倍率WidGainが増幅部局所飽和回避目標倍率LclGainより大きいか否かに基づいて、増幅部局所飽和が起こっているか否かを判定する。

増幅部局所飽和が起きていない時（WidGain < LclGain）は、ヒストグラム幅を最大化するだけでよいので、ヒストグラム幅目標全ゲインTgtWidGainが増幅部ゲインおよび撮像部ゲインの両方に振り分けられる。具体的には、下記の式（１４）に示すように、ヒストグラム幅目標全ゲインTgtWidGainが最小増幅部ゲインMinAPGain以上であれば、目標増幅部ゲインTgtAPGainをヒストグラム幅目標全ゲインTgtWidGainとする。また、目標撮像部ゲインTgtCMGainを最大撮像部ゲインMaxCMGainとする。一方、増幅部ゲインの制御ダイナミックレンジを超え、ヒストグラム幅目標全ゲインTgtWidGainが最小増幅部ゲインMinAPGain未満であれば、増幅部ゲインで下げきれなかったゲインを目標撮像部ゲインTgtCMGainに振り分けられる。具体的には、目標増幅部ゲインTgtAPGainを最小増幅部ゲインMinAPGainとする。また、目標撮像部ゲインTgtCMGainをMaxCMGain×TgtWidGain/MinAPGainとする。

増幅部局所飽和が起きている時（WidGain >= LclGain）は、局所飽和を回避するように増幅部ゲインを下げる必要がある。一方、撮像部ゲインは局所飽和とは関係ないので、ヒストグラム幅を最大化するように制御される。したがって、制御目標の基準が増幅部ゲインと撮像部ゲインとで異なり、増幅部ゲインは増幅部局所飽和回避目標全ゲインTgtLclGain、撮像部ゲインはヒストグラム幅目標全ゲインTgtWidGainとなる。

下記の式（１５）に示すように、増幅部局所飽和回避目標全ゲインTgtLclGainが最小増幅部ゲインMinAPGain以上であれば、目標増幅部ゲインTgtAPGainを増幅部局所飽和回避目標全ゲインTgtLclGainとする。また、目標撮像部ゲインTgtCMGainを最大撮像部ゲインMaxCMGainとする。一方、増幅部局所飽和回避目標全ゲインTgtLclGainが最小増幅部ゲインMinAPGain未満であれば、増幅部ゲインで下げきれなかったゲインを目標撮像部ゲインTgtCMGainに振り分ける。具体的には、目標増幅部ゲインTgtAPGainを最小増幅部ゲインMinAPGainとする。また、目標撮像部ゲインTgtCMGainをMaxCMGain×TgtWidGain/MinAPGainとする。

その後、下記の式（１６）に示すように、振り分けられた目標増幅部ゲインTgtAPGainを、対応する目標増幅部ゲイン制御値Tgt.APGainValueに変換する。なお、APGainValueLUT[]は、事前に測定した増幅部ゲインＬＵＴに基づく増幅部ゲイン−増幅部ゲイン制御値変換ＬＵＴである。

目標増幅部ゲート幅Tgt.APGateWidは、この段階の輝度制御には用いない。したがって、下記の式（１７）に示すように、目標増幅部ゲート幅Tgt.APGateWidには、１フレーム前の制御後増幅部ゲート幅Pre.APGateWidが代入され、初期値に固定される。

目標撮像部ゲイン番号Tgt.CMGainNumは、上記式（１４）および式（１５）に示したように、増幅部ゲインで下げきれなかった分を撮像部ゲインで下げるために設定される。下記の式（１８）に示すように、振り分けられた目標撮像部ゲインTgtCMGainが、対応する目標撮像部ゲイン番号Tgt.CMGainNumに変換される。なお、CMGainNumLUT[]は、カタログ値の撮像部ゲインＬＵＴに基づく撮像部ゲイン−撮像部ゲイン番号変換ＬＵＴである。なお、この段階において、撮像部ゲイン番号は整数に離散化しない。

目標撮像部露出時間Tgt.CMExpTimeは、この段階の輝度制御には用い。したがって、式（１９）に示すように、目標撮像部露出時間Tgt.CMExpTimeには、１フレーム前の制御後撮像部露出時間Pre.CMExpTimeが代入され、初期値に固定される。

（比例制御）
次に、制御部３による比例制御処理について説明する。

まず、各目標値から、１フレーム前の各制御後制御パラメータの差分をとり、偏差が算出される。各偏差に比例制御ゲインＫを乗算することで制御量が算出される。すなわち、制御量が偏差に比例する比例制御となる。そして、１フレーム前の各制御後制御パラメータに各制御量を加えることで、各制御後制御パラメータが算出される。もし偏差＝０ならば制御されないことになる。

ここでは、増幅部ゲイン制御値を例にアルゴリズムを詳細に説明する。下記の式（２０）に示すように、増幅部ゲイン制御値の目標値Tgt.APGainValueから、１フレーム前の制御後増幅部ゲイン制御値Pre.APGainValueの差分をとり、偏差subAPGainValueが算出される。

また、式（２１）に示すように、上限閾値MaxSpeedを設定し、偏差subAPGainValueの絶対値が制御速度上限値以上のときは、偏差subAPGainValueを上限閾値MaxSpeedに置き換え、制御速度が制限される。なお、sign()は符号を取り出す関数であり、正の値に対しては１、負の値に対しては−１、ゼロに対しては０を返す。また、同様に下限閾値MinSpeedを設定し、制御速度下限以下のときは、偏差subAPGainValueを０に置き換え、制御されないようにする。これにより、制御速度を制限することで、過度に急激な制御によるオーバーシュートを防ぐとともに、目標値付近での細かい振動を防ぐことが可能である。

下記の式（２２）に示すように、偏差subAPGainValueに比例制御ゲインＫを乗算することで、制御量が算出される。そして、１フレーム前の制御後増幅部ゲイン制御値Pre.APGainValueに制御量を加えることで、制御後増幅部ゲイン制御値Pre.APGainValueが算出される。

撮像部ゲイン番号Pre.CMGainNumについては、制御速度制限値が異なるだけで全く同じアルゴリズムである。また、制御速度制限値は各デバイスに適した値が設定される。なお、増幅部ゲート幅Pre.APGateWidと撮像部露出時間Pre.CMExpTimeについては、制御目標値が常に初期値で等しいため、偏差は常に０となり、実質的に制御されない。また、後述するように、撮像部ゲインは離散化するため、離散化誤差が撮像部露出時間で補償される。また、比例制御に離散化の影響が及ぶと振動に繋がるため、補償前制御後制御パラメータPreCtrPrmも記憶しておき、偏差の計算には補償前制御後制御パラメータPreCtrPrmを用いて比例制御される。

（離散化補償）
次に、制御部３による離散化補償処理について説明する。

増幅部ゲイン制御値はアナログなので、制御後増幅部ゲイン制御値Pre.APGainValueは離散化せずに、そのまま補償後制御後増幅部ゲイン制御値Ctr.APGainValueとして用いることができる。また、増幅部ゲート幅と撮像部露出時間についても同様にアナログの制御値であり、離散化しない。一方、制御後撮像部ゲイン番号Pre.CMGainNumは実数で算出されるものの、撮像部２は整数の撮像部ゲイン番号しか設定できないので、各ゲイン番号に対応するゲインも離散的となる。そこで、下記の式（２３）に示すように、実際には制御後撮像部ゲイン番号Pre.CMGainNumを整数に離散化した補償後制御後撮像部ゲイン番号Ctr.CMGainNumが設定される。なお、ceil()は整数に切り上げる関数である。

しかし、離散化誤差の分だけゲインにも誤差AdjCMGainが生じるため、滑らかな制御ができず、振動が起こってしまう。そこで、撮像部ゲインの離散化誤差AdjCMGainを撮像部露出時間で補償する。離散化誤差補償を撮像部露出時間で行う理由は、離散化誤差補償を撮像部内で完結できるからである。なお、離散化誤差補償は、増幅部ゲインなどを用いて行ってもよい。この場合、制御遅れが小さいまたは０であることが好ましい。

下記の式（２４）に示すように、離散化誤差AdjCMGain（＝撮像部露出時間補償量）は離散化前後で撮像部ゲイン値を除算することで得られる。なお、CMGainLUT []は、事前に測定した撮像部ゲインＬＵＴに基づく撮像部ゲイン番号−撮像部ゲイン変換ＬＵＴである。また、下記の式（２５）に示すように、離散化誤差AdjCMGainを制御後撮像部露出時間Pre.CMExpTimeに乗じて、補償後制御後撮像部露出時間Ctr.ExpTimeが算出される。これにより、撮像部ゲインが離散的であった場合でも、撮像装置全体としては滑らかにゲインが変わっているように制御することが可能である。

次に、図７および図８を参照して、第１実施形態の輝度制御装置１００の制御部３による輝度制御の概要について説明する。

制御部３は、安定した制御を行うために、フィードバック制御を行う。制御系を、図７に示すように、ブロック線図で近似する。つまり、画像解析に伴う制御遅れをむだ時間要素Ｇ（ｓ）、増幅部ゲインの応答性を一次遅れ要素Ｐ（ｓ）と近似する。Ｃ（ｓ）は制御器で目標値に対する偏差に基づく比例制御を行う。各要素の伝達関数は下記の式（２６）、式（２７）および式（２８）のように表される。また、画像輝度のステップ応答は図８に示すような挙動を示す。

次に、図９〜図１３を参照して、第１実施形態の輝度制御装置１００の制御部３による輝度制御処理について説明する。

図９のステップＳ１において、撮像部２により撮像された画像が取得される。ステップＳ２において、ヒストグラム解析部３１により、増幅部視野全体ヒストグラム解析処理が行われる。具体的には、取得された画像から画像全体のヒストグラム情報（ヒストグラム幅histogramWidth、推定飽和幅intSaturation、全出力光量totalIntensity、平均輝度aveBrightness、最大スポット光輝度spotBrightness、および、スポット光推定飽和幅spotSaturation）が算出される。また、ステップＳ２と並行して、ステップＳ３において、ヒストグラム解析部３１により、注目視野ヒストグラム解析処理が行われる。具体的には、取得された画像から注目視野（たとえば、画像の中心付近など）のヒストグラム情報が算出される。なお、ステップＳ２およびステップＳ３の詳細な動作については後述する。

ステップＳ４において、制御目標値が算出される。具体的には、増幅部視野全体と注目視野の各ヒストグラム情報を統合して制御目標値（目標増幅部ゲイン制御値Tgt.APGainValue、目標増幅部ゲートTgt.APGateWid、目標撮像部ゲイン番号Tgt.CMGainNum、および、目標撮像部露出時間Tgt.CMExpTime）が算出される。なお、ステップＳ４の詳細な動作については後述する。

ステップＳ５において、増幅部ゲイン、増幅部ゲート、撮像部ゲインおよび撮像部露出時間が比例制御される。ステップＳ６において、撮像部ゲインの離散化誤差が撮像部露出時間により補償される制御が行われる。ステップＳ７において、最適な画像輝度となるように、増幅部１および撮像部２が制御される。その後、ステップＳ１に戻って繰り返すことで、動画像が連続的に輝度制御処理される。なお、画像取得から増幅部１および撮像部２の制御までの応答遅れがある場合は、応答遅れが考慮される。たとえば、２フレームの遅れがある場合は、２フレーム前の画像を基に目標値算出が行われる。なお、ステップＳ５およびステップＳ６の詳細な動作については後述する。

次に、図９のステップＳ２およびステップＳ３におけるヒストグラム解析処理について、図１０を参照して詳しく説明する。

図１０のステップＳ１１において、取得した画像に基づいてヒストグラム（図２〜図５参照）が作成される。ステップＳ１２において、ヒストグラム幅histogramWidthが算出される。ステップＳ１３において、ヒストグラムが飽和しているか否かが判断される。具体的には、基準画素値が最大画素値であるか否かが判断される。ヒストグラムが飽和していれば、ステップＳ１４において、飽和量が推定されて、推定飽和幅intSaturationが算出される。その後、ステップＳ１８に進む。ヒストグラムが飽和していなければ、そのままステップＳ１８に進む。

ステップＳ１２〜ステップＳ１４と並行して、ステップＳ１５において、最大スポット光輝度spotBrightnessが算出される。ステップＳ１６において、ヒストグラムが飽和しているか否かが判断される。ヒストグラムが飽和していれば、ステップＳ１７において、飽和量が推定されて、スポット光推定飽和幅spotSaturationが算出される。その後、ステップＳ１８に進む。ヒストグラムが飽和していなければ、そのままステップＳ１８に進む。

ステップＳ１８において、全出力光量totalIntensityが算出される。ステップＳ１９において、平均輝度aveBrightnessが算出される。その後、ヒストグラム解析処理が終了される。

次に、図９のステップＳ４における制御目標値算出処理について、図１１を参照して詳しく説明する。

図１１のステップＳ２１において、ヒストグラム幅の目標倍率が算出される。また、ステップＳ２１と並行して、ステップＳ２２において、局所飽和回避のための目標倍率が算出される。

ステップＳ２３において、ヒストグラム幅の目標倍率および局所飽和回避のための目標倍率に基づいて、目標全ゲインが算出される。また、目標全ゲインが、増幅部ゲインおよび撮像部ゲインに振り分けられる。

ステップＳ２４において、振り分けられた目標増幅部ゲインが算出される。ステップＳ２５において、目標増幅部ゲインを得るための制御値が算出される。ステップＳ２４およびステップＳ２５と並行して、ステップＳ２６において、振り分けられた目標撮像部ゲインが算出される。ステップＳ２７において、目標撮像部ゲインを得るためのゲイン番号が算出される。その後、制御目標値算出処理が終了される。

次に、図９のステップＳ５における比例制御処理について、図１２を参照して詳しく説明する。

図１２のステップＳ３１において、各目標値から、１フレーム前の各制御後制御パラメータの差分をとり、偏差が算出される。ステップＳ３２において、各制御パラメータの制御量が算出される。

ステップＳ３３において、制御量が最大制御速度以上か否かが判断される。最大制御速度以上であれば、ステップＳ３４において、制御量が最大制御速度に制限される。その後、ステップＳ３５に進む。最大制御速度未満であれば、そのまま、ステップＳ３５に進む。

ステップＳ３５において、制御量が最小制御速度以下か否かが判断される。最小制御速度以下であれば、ステップＳ３６において、制御量が最小制御速度（＝０）に制限される。その後、ステップＳ３７に進む。最小制御速度より大きければ、そのまま、ステップＳ３７に進む。

ステップＳ３７において、離散化補償前の制御量が算出される。その後、比例制御処理が終了される。

次に、図９のステップＳ６における離散化誤差補償処理について、図１３を参照して詳しく説明する。

図１３のステップＳ４１において、離散化補償前の制御量に基づいて、撮像部ゲイン番号が算出される。なお、ゲイン番号は、整数で設定されるため、制御値は離散化する。ステップＳ４２において、補償後撮像部ゲイン番号が算出される。

ステップＳ４２と並行して、ステップＳ４３において、撮像部ゲインの離散化誤差が算出される。ステップＳ４４において、撮像部ゲインの離散化を補償するために、撮像部露出時間を制御する制御量が算出される。その後、離散化誤差補償処理が終了される。

第１実施形態では、上記のように、増幅部１により増幅された出力光に基づく画像の解析結果に基づいて増幅部１および撮像部２を制御する制御部３を設けることによって、増幅部１により増幅された出力光に基づいて増幅部１を制御することができるので、入射光が増幅部１によって過大に増幅されるのを防止することができる。これにより、増幅部１が焼き付きを起こすのを防止することができる。

また、第１実施形態では、上記のように、制御部３を、増幅部１により増幅された出力光の輝度を、撮像部２により撮像された画像と撮像部２の撮像パラメータとに基づいて取得するとともに、出力光の輝度に基づいて、増幅部１および撮像部２を制御するように構成する。これにより、別途増幅部１の出力光の輝度を測定する部品を設ける必要がないので、部品点数の増加および装置構成の複雑化を抑制することができる。

また、第１実施形態では、上記のように、制御部３を、ヒストグラム解析部３１の解析結果に基づいて増幅部１の出力光の輝度を取得するように構成する。これにより、画像のヒストグラムに基づいて、画像の局所（輝度の高い部分）の輝度を算出することができるので、増幅部１が局所的に焼き付くのを防止することができる。

また、第１実施形態では、上記のように、制御部３を、増幅部１の出力光の輝度が所定の輝度未満となるように増幅部１を制御するように構成する。これにより、所定の輝度値を増幅部１が局所的な焼き付きを起こす輝度に設定して、増幅部１の局所的な焼き付きを確実に防止することができる。

また、第１実施形態では、上記のように、所定の輝度を増幅部１の増幅限界値に基づいて設定する。これにより、所定の輝度を増幅限界値に基づいて安全を考慮して増幅限界値より低めに設定して、増幅部１の局所的な焼き付きをより確実に防止することができる。

また、第１実施形態では、上記のように、制御部３を、撮像部２により撮像された画像の輝度としての画素値のうち代表画素値が所定の画素値となるように増幅部１および撮像部２を制御するように構成する。これにより、輝度としての代表画素値を所定の画素値になるように制御して、画像の輝度を適切に保つことができる。

また、第１実施形態では、上記のように、制御部３を、ヒストグラム解析部３１の解析結果に基づいて代表画素値を取得するように構成する。これにより、ヒストグラムを解析することにより容易に代表画素値を算出して取得することができるので、画像の輝度を容易に適切に保つことができる。

また、第１実施形態では、上記のように、ヒストグラム解析部３１を、画素値の大きい側からヒストグラムを順に累算し、累算値が所定の画素数に達した時の画素値を基準画素値として算出するように構成する。これにより、輝度が高い画素値付近のノイズを効果的に取り除くことができるので、輝度制御を安定して行うことができる。

また、第１実施形態では、上記のように、ヒストグラム解析部３１を、基準画素値が最大画素値である場合に、画像のヒストグラムは飽和していると判定するとともに、ヒストグラム飽和領域の幅である推定飽和幅を推定し、最大画素値に推定飽和幅を加えて推定基準画素値を算出するように構成する。これにより、ヒストグラムが飽和している場合でも、推定基準画素値を代表画素値とすることにより、画像の輝度を適切に保つことができる。

また、第１実施形態では、上記のように、ヒストグラム解析部３１を、画像のヒストグラムの飽和領域の形状を正方形で推定したときの正方形の幅、または、画像のヒストグラムの飽和領域の形状を長方形で推定したときの長方形の幅を、推定飽和幅として推定するように構成する。これにより、推定飽和幅を正方形または長方形を用いて容易に推定することができる。

また、第１実施形態では、上記のように、制御部３を、増幅部１および撮像部２を比例制御により制御するように構成する。これにより、輝度調整の制御処理にタイムラグがある場合でも安定した比例制御によりスムーズな輝度変化の輝度制御を行うことができる。

また、第１実施形態では、上記のように、制御部３を、増幅部１および撮像部２の制御パラメータを変化させる制御量が第１制御量以上の場合に、制御量を第１制御量に固定するように構成する。これにより、制御量が過大となるのを抑制して、オーバーシュートを抑制することができる。

また、第１実施形態では、上記のように、制御部３を、増幅部１および撮像部２の制御パラメータを変化させる制御量が第２制御量以下の場合に、制御量を０に固定するように構成する。これにより、制御目標値近傍での輝度の振動を抑制して、画像がチラつくのを抑制することができる。

また、第１実施形態では、上記のように、制御部３を、撮像部２を、制御量が離散的な第１制御パラメータとしてのゲイン（増幅度）と、制御量が連続的な第２制御パラメータとしての露光時間とで制御するとともに、ゲインの制御量の離散化誤差を制御量が連続的な露光時間で補償するように構成する。これにより、制御量が離散的なゲインと制御量が連続的な露光時間との制御により撮像部２を制御して、画像の輝度を容易に滑らかに変化させる輝度制御を行うことができる。

（第２実施形態）
次に、図１４および図１５を参照して、本発明の第２実施形態による輝度制御装置２００について説明する。第２実施形態では、ヒストグラム幅および局所飽和に基づいて、制御目標値を算出する構成の上記第１実施形態とは異なり、ヒストグラム幅および局所飽和に加えて、全出力光量飽和にも基づいて制御目標値を算出する構成について説明する。

図１４に示すように、第２実施形態による輝度制御装置２００は、増幅部５と、撮像部２と、制御部３と、レンズ４とを備える。

増幅部５は、たとえば、イメージ・インテンシファイアなどを含む。また、増幅部５は、レンズ４を介して入射する光を増幅して出力するように構成されている。また、増幅部５は、ゲインおよびゲートを制御することにより、入射光に対する出力光の増幅度が調整されるように構成されている。また、増幅部５は、ＡＢＣ（自動輝度調整）回路５１を含む。なお、ＡＢＣ回路５１は、本発明の「制限部」の一例である。

ＡＢＣ回路５１は、増幅部５に入射する光量をゲートを制御して調整するように構成されている。また、ＡＢＣ回路５１は、増幅部５の全出力光量を第１光量以下に制限するように構成されている。具体的には、増幅部５が全体的な焼き付きを起こす出力光量が、第１光量として設定されている。つまり、増幅部５の全出力光量が第１光量より大きくなった場合に、ＡＢＣ回路５１が動作するように構成されている。画像のフレーム単位で間欠的に出力光量を制御する制御部３に対して、ＡＢＣ回路５１は連続的に出力光量を制御するため、入射光量が１フレーム以下の時間で急増した場合でも、増幅部５の全体的な焼き付きを効果的に防止することができる。

制御部３は、全出力光量に基づいて、ＡＢＣ回路５１と協調して、増幅部５および撮像部２を制御するように構成されている。また、制御部３は、増幅部５の全出力光量を、撮像部２により撮像された画像と撮像部２の撮像パラメータとに基づいて取得するように構成されている。具体的には、制御部３は、ヒストグラム解析部３１の解析結果に基づいて増幅部５の全出力光量を取得するように構成されている。

また、制御部３は、増幅部５の全出力光量が第１光量より小さい第２光量以下となるように増幅部５を制御するように構成されている。なお、第２光量は、第１光量に基づいて設定されている。たとえば、第２光量は、第１光量の９０％の光量に設定されている。

次に、制御部３による増幅部全出力光量飽和回避目標倍率の算出処理について説明する。

増幅部５のＡＢＣ回路５１動作時に増幅部ゲインを制御した場合、その分を打ち消すだけＡＢＣ回路５１により増幅部ゲート幅が直ちに調整されて、制御部３と、ＡＢＣ回路５１の制御とが競合してしまう。競合により、制御部３が不安定となることを抑制するために、ＡＢＣ回路５１動作時には、増幅部ゲインを下げて、ＡＢＣ回路５１の動作状態から脱するように制御される。

増幅部全出力光量飽和回避目標倍率TtlGainは、増幅部５の全出力光量飽和、すなわちＡＢＣ回路５１が動作しない最大の倍率である。この倍率以下にしておけば、全出力光量飽和によるＡＢＣ回路５１の制御が起こらず、制御部３と、ＡＢＣ回路５１との競合を防ぐことが可能である。

まず、目標最大全出力光量飽和値IdealTotalIntensityを予め測定した飽和出力光量値に基づいて設定する。そして、増幅部視野全体の全出力光量飽和量totalIntensityを増幅部全出力光量飽和量AllTotalIntensityとする。下記の式（２９）に示すように、増幅部全出力光量飽和量AllTotalIntensityを目標最大全出力光量飽和値IdealTotalIntensityに拡大または縮小する倍率TtlGainが算出される。なお、増幅部視野全体の全出力光量飽和量totalIntensityは、画像が飽和している面積が大きい場合、実際の全出力光量飽和量を過小評価してしまう。しかし、そのような場合はヒストグラム幅を小さくするような制御が行われるので、結果的にゲインを下げる方向の制御となり、制御部３とＡＢＣ回路５１との競合は起こらない。なお、増幅部全出力光量飽和量AllTotalIntensityは、増幅部５の回路から直接全出力光量飽和量に対応する電流値または電圧値などをモニタしてもよい。

そして、目標全ゲインが増幅部ゲインと撮像部ゲインに振り分けられる。全ゲインの基準は、増幅部ゲイン最低値で撮像部ゲイン最大値を１倍としている。制御前全ゲインAllGainは、制御前、すなわち直前フレームでの全ゲインである。また、下記の式（３０）に示すように、制御前全ゲインAllGainは、直前フレームでの増幅部ゲイン制御値Pre.APGainValueから逆算される。なお、APGainLUT[]は事前に測定した増幅部ゲイン制御値−増幅部ゲイン変換ＬＵＴである。下記の式（３１）に示すように、ヒストグラム幅目標全ゲインTgtWidGainは、ヒストグラム幅から算出された目標全ゲインであり、制御前全ゲインAllGainにヒストグラム幅目標倍率WidGainを乗じて算出される。同様に、下記の式（３２）に示すように、増幅部局所飽和回避目標全ゲインTgtLclGainは、増幅部局所飽和から算出された目標全ゲインであり、制御前全ゲインAllGainに増幅部局所飽和回避目標倍率LclGainを乗じて算出される。同様に、下記の式（３３）に示すように、増幅部全出力光量飽和値飽和回避目標全ゲインTgtTtlGainは、増幅部全出力光量飽和から算出された目標全ゲインであり、制御前全ゲインAllGainに増幅部全出力光量領域飽和回避目標倍率TtlGainを乗じて算出される。

次に、図９のステップＳ４における制御目標値算出処理について、図１５を参照して詳しく説明する。なお、図９のステップＳ１〜ステップＳ３およびステップＳ５〜ステップＳ７は、第１実施形態と同様である。

図１５のステップＳ５１において、ヒストグラム幅の目標倍率が算出される。また、ステップＳ５１と並行して、ステップＳ５２において、局所飽和回避のための目標倍率が算出される。また、ステップＳ５１およびステップＳ５２と並行して、ステップＳ５３において、全出力光量飽和回避のための目標倍率が算出される。

ステップＳ５４において、ヒストグラム幅の目標倍率、局所飽和回避のための目標倍率および全出力光量飽和回避のための目標倍率に基づいて、目標全ゲインが算出される。また、目標全ゲインが、増幅部ゲインおよび撮像部ゲインに振り分けられる。

ステップＳ２４において、振り分けられた目標増幅部ゲインが算出される。ステップＳ２５において、目標増幅部ゲインを得るための制御値が算出される。ステップＳ２４およびステップＳ２５と並行して、ステップＳ２６において、振り分けられた目標撮像部ゲインが算出される。ステップＳ２７において、目標撮像部ゲインを得るためのゲイン番号が算出される。その後、制御目標値算出処理が終了される。

なお、第２実施形態のその他の構成は、上記第１実施形態と同様である。

第２実施形態の構成においても、上記第１実施形態と同様に、増幅部５により増幅された出力光に基づく画像の解析結果に基づいて増幅部５および撮像部２を制御する制御部３を設けることによって、増幅部５が局所的な焼き付きを起こすのを防止することができる。

また、第２実施形態では、上記のように、増幅部５の全出力光量を第１光量以下に制限するＡＢＣ回路５１を設けることによって、全出力光量が第１光量を超えることがないので、入射光量が１フレーム以下の時間で急増した場合でも、増幅部５の全体的な焼き付きを効果的に防止することができる。また、制御部３を、全出力光量に基づいて、ＡＢＣ回路５１と協調して、増幅部５および撮像部２を制御するように構成する。これにより、増幅部５がＡＢＣ回路５１により制限されている場合でも、制御部３とＡＢＣ回路５１とを協調して、増幅部５および撮像部２を制御することによって、制御部３およびＡＢＣ回路５１を競合させることなく、輝度調整をスムーズに行うことができる。

また、第２実施形態では、上記のように、制御部３を、増幅部５の全出力光量を、撮像部２により撮像された画像と撮像部２の撮像パラメータとに基づいて取得するように構成する。これにより、別途増幅部５の全出力光量を測定する部品を設ける必要がないので、部品点数の増加および装置構成の複雑化を抑制することができる。

また、第２実施形態では、上記のように、制御部３を、ヒストグラム解析部３１の解析結果に基づいて増幅部５の全出力光量を取得するように構成する。これにより、ヒストグラムを解析することにより容易に増幅部５の全出力光量を算出することができる。

また、第２実施形態では、上記のように、制御部３を、増幅部５の全出力光量が第１光量より小さい第２光量以下となるように増幅部５を制御するように構成する。これにより、ＡＢＣ回路５１が増幅部５を制限し始める第１光量より小さい第２光量以下に増幅部５の全出力光量を制御することができるので、ＡＢＣ回路５１による増幅部５の制限を効果的に抑制することができる。その結果、ＡＢＣ回路５１による増幅部５の制限がない状態で増幅部５および撮像部２を制御することができるので、制御部３とＡＢＣ回路５１が競合することなく、輝度調整を容易にスムーズに行うことができる。

なお、第２実施形態のその他の効果は、上記第１実施形態と同様である。

なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態および実施例の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。

たとえば、上記第１および第２実施形態では、本発明の輝度制御装置を暗視装置に適用する構成の例を示したが、本発明はこれに限られない。本発明では、輝度制御装置を、撮影装置や医療用検査装置などに適用してもよい。

また、上記第１および第２実施形態では、増幅部がイメージ・インテンシファイアを含む例を示したが、本発明はこれに限られない。本発明では、入射光を増幅することができれば、増幅部がイメージ・インテンシファイア以外であってもよい。

また、第２実施形態では、制限部（ＡＢＣ回路）が増幅部に内蔵される例を示したが、本発明はこれに限られない。本発明では、増幅部の全出力光量を制限することができれば、制限部が増幅部の外部や制御部に内蔵されていてもよい。

また、上記第１および第２実施形態では、制御部が増幅部ゲインおよび撮像部ゲインを制御する例を示したが、本発明はこれに限られない。本発明では、増幅部の出力光の輝度および画像の輝度を制御することができれば、制御部が増幅部ゲートおよび撮像部露出時間を制御してもよい。

また、上記第１および第２実施形態では、増幅部および撮像部を比例制御により制御する構成の例を示したが、本発明はこれに限られない。本発明では、増幅部および撮像部を比例制御以外の制御により制御してもよい。たとえば、ＰＩＤ（Ｐｒｏｐｏｒｔｉｏｎａｌ Ｉｎｔｅｇｒａｌ Ｄｅｒｉｖａｔｉｖｅ）制御など、他の制御方法により制御してもよい。

また、上記第１および第２実施形態では、制御部が、撮像部を、制御量が離散的な第１制御パラメータとしての増幅度と、制御量が連続的な第２制御パラメータとしての露光時間とで制御するとともに、増幅度の制御量の離散化誤差を制御量が連続的な露光時間で補償する構成の例を示したが、本発明はこれに限られない。本発明では、制御部は、増幅部および撮像部のうち少なくとも１つを、制御量が離散的な第１制御パラメータと、制御量が連続的な第２制御パラメータとで制御するとともに、第１制御パラメータの制御量の離散化誤差を制御量が連続的な第２制御パラメータで補償するように構成されていればよい。

また、上記第１および第２実施形態では、説明の便宜上、本発明の制御部の処理を処理フローに沿って順番に処理を行うフロー駆動型のフローチャートを用いて説明したが、本発明はこれに限られない。本発明では、制御部の処理動作を、イベント単位で処理を実行するイベント駆動型（イベントドリブン型）の処理により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。

１、５ 増幅部
２ 撮像部
３ 制御部
３１ ヒストグラム解析部
５１ ＡＢＣ回路（制限部）
１００、２００ 輝度制御装置

Claims (21)

1. 入射光を増幅する増幅部と、
   前記増幅部により増幅された出力光に基づいて画像を撮像する撮像部と、
   前記撮像部により撮像された画像の解析結果に基づいて、前記増幅部および前記撮像部を制御する制御部とを備える、輝度制御装置。
2. 前記制御部は、前記増幅部により増幅された前記出力光の輝度を、前記撮像部により撮像された画像と前記撮像部の撮像パラメータとに基づいて取得するとともに、前記出力光の輝度に基づいて、前記増幅部および前記撮像部を制御するように構成されている、請求項１に記載の輝度制御装置。
3. 前記撮像部の撮像パラメータは、増幅度を含む、請求項２に記載の輝度制御装置。
4. 前記制御部は、前記撮像部により撮像された画像のヒストグラムを解析するヒストグラム解析部を含むとともに、前記ヒストグラム解析部の解析結果に基づいて前記増幅部の前記出力光の輝度を取得するように構成されている、請求項１〜３のいずれか１項に記載の輝度制御装置。
5. 前記制御部は、前記増幅部の前記出力光の輝度が所定の輝度未満となるように前記増幅部を制御するように構成されている、請求項１〜４のいずれか１項に記載の輝度制御装置。
6. 前記所定の輝度が前記増幅部の増幅限界値に基づいて設定されている、請求項５に記載の輝度制御装置。
7. 前記増幅部の全出力光量を第１光量以下に制限する制限部をさらに備え、
   前記制御部は、前記全出力光量に基づいて、前記制限部と協調して、前記増幅部および前記撮像部を制御するように構成されている、請求項１〜６のいずれか１項に記載の輝度制御装置。
8. 前記制御部は、前記増幅部の全出力光量を、前記撮像部により撮像された画像と前記撮像部の撮像パラメータとに基づいて取得するように構成されている、請求項７に記載の輝度制御装置。
9. 前記制御部は、前記撮像部により撮像された画像のヒストグラムを解析するヒストグラム解析部を含むとともに、前記ヒストグラム解析部の解析結果に基づいて前記増幅部の全出力光量を取得するように構成されている、請求項７または８に記載の輝度制御装置。
10. 前記制御部は、前記増幅部の全出力光量が前記第１光量より小さい第２光量以下となるように前記増幅部を制御するように構成されている、請求項７〜９のいずれか１項に記載の輝度制御装置。
11. 前記第２光量が前記第１光量に基づいて設定されている、請求項１０に記載の輝度制御装置。
12. 前記制御部は、前記撮像部により撮像された画像の輝度としての画素値のうち代表画素値が所定の画素値となるように前記増幅部および前記撮像部を制御するように構成されている、請求項１〜１１のいずれか１項に記載の輝度制御装置。
13. 前記制御部は、前記撮像部により撮像された画像のヒストグラムを解析するヒストグラム解析部を含むとともに、前記ヒストグラム解析部の解析結果に基づいて前記代表画素値を取得するように構成されている、請求項１２に記載の輝度制御装置。
14. 前記ヒストグラム解析部は、画素値の大きい側からヒストグラムを順に累算し、累算値が前記所定の画素数に達した時の画素値を基準画素値として算出するように構成されており、
    前記制御部は、前記基準画素値を前記代表画素値として前記増幅部および前記撮像部を制御するように構成されている、請求項１３に記載の輝度制御装置。
15. 前記ヒストグラム解析部は、前記基準画素値が最大画素値である場合に、画像のヒストグラムは飽和していると判定するとともに、ヒストグラム飽和領域の幅である推定飽和幅を推定し、前記最大画素値に前記推定飽和幅を加えて推定基準画素値を算出するように構成されおり、
    前記制御部は、前記推定基準画素値を前記代表画素値として前記増幅部および前記撮像部を制御するように構成されている、請求項１４に記載の輝度制御装置。
16. 前記ヒストグラム解析部は、前記画像のヒストグラムの飽和領域の形状を正方形で推定したときの正方形の幅、または、前記画像のヒストグラムの飽和領域の形状を長方形で推定したときの前記長方形の幅を、前記推定飽和幅として推定するように構成されている、請求項１５に記載の輝度制御装置。
17. 前記制御部は、前記増幅部および前記撮像部を比例制御により制御するように構成されている、請求項１〜１６のいずれか１項に記載の輝度制御装置。
18. 前記制御部は、前記増幅部および前記撮像部の制御パラメータを変化させる制御量が第１制御量以上の場合に、制御量を前記第１制御量に固定するように構成されている、請求項１〜１７のいずれか１項に記載の輝度制御装置。
19. 前記制御部は、前記増幅部および前記撮像部の制御パラメータを変化させる制御量が第２制御量以下の場合に、制御量を０に固定するように構成されている、請求項１〜１８のいずれか１項に記載の輝度制御装置。
20. 前記制御部は、前記増幅部および前記撮像部のうち少なくとも１つを、制御量が離散的な第１制御パラメータと、制御量が連続的な第２制御パラメータとで制御するとともに、第１制御パラメータの制御量の離散化誤差を制御量が連続的な第２制御パラメータで補償するように構成されている、請求項１〜１９のいずれか１項に記載の輝度制御装置。
21. 前記制御部は、前記撮像部を、制御量が離散的な第１制御パラメータとしての増幅度と、制御量が連続的な第２制御パラメータとしての露光時間とで制御するとともに、増幅度の制御量の離散化誤差を制御量が連続的な露光時間で補償するように構成されている、請求項２０に記載の輝度制御装置。

Images