JP2017028490A - 撮像センサ及びセンサモジュール - Google Patents

Abstract

【課題】従来の撮像センサは、ＨＤＲ処理された合成画像の画質調整ができない問題があった。【解決手段】一実施の形態によれば、撮像センサ及びセンサモジュールは、撮像センサが、第１の露光時間で取得した第１の画像情報の輝度情報を示す第１の輝度情報と、第２の露光時間で取得した第２の画像情報の輝度情報を示す第２の輝度情報と、を第１の画像情報と第２の画像情報とを合成した合成画像とは別に出力し、第１の輝度情報と第２の輝度情報に基づき外部で生成された露光時間設定値に基づき第１の露光時間と第２の露光時間とを更新し、かつ、第１の輝度情報と第２の輝度情報に基づき外部で生成された露光時間設定値に基づき合成画像の合成に用いる合成設定値を変更する。【選択図】図１

Description

本発明は撮像センサ及びセンサモジュールに関し、例えば撮像センサと撮像センサを制御する演算装置とが個別に設けられる撮像センサ及びセンサモジュールに関する。

近年、撮像センサで取得される画像のダイナミックレンジ拡大への要求が高まっている。画像のダイナミックレンジを拡大する技術としてＨＤＲ（High Dynamic Range）技術がある。ＨＤＲ技術では、短い露光時間で取得した高輝度側画像と長い露光時間で取得した低輝度側画像とを合成することで画像のダイナミックレンジを拡大する。そこで、ＨＤＲ技術に関する先行技術が特許文献１、２に開示されている。

特許文献１では、撮像素子において異なる露光時間に基づき取得された２つの画像信号を同時に読み出し、合成回路によって画像を合成する。ここで、特許文献１の合成回路では、露光量の多い方の信号が飽和した場合に、その信号が読み出された画素に隣接した画素から読み出された、露光量の少ない方の信号を増幅する。また、特許文献１の合成回路は、信号が飽和しなかった画素については、露光量の多い方の信号を用い、信号が飽和した画素については、増幅した信号を用いて、画素毎の信号を合成し、一枚の画像を構成する画像信号を生成する。

特許文献２では、短い露光時間で取得した短秒露光画像データと、長い露光時間で取得した長秒露光画像データと、を合成する場合に出力画像のフォーマットをＨＤＲ処理の無い画像と同じフォーマットとする技術が開示されている。

特開２００６−３１１２４０号公報 米国特許出願公開第２０１１／０２８５７３７号明細書

特許文献１、２を用いることで、ＨＤＲ処理を施した画像を、撮像センサを採用したユーザーに提供することができる。しかしながら、ＨＤＲ処理後の画像では、２つの露光時間に関する設定を読み取ることはできず、画像の品質に応じて、ユーザーが露光時間を調整して出力画像を高画質化することができない問題がある。

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

一実施の形態によれば、撮像センサ及びセンサモジュールは、撮像センサが、第１の露光時間で取得した第１の画像情報の輝度情報を示す第１の輝度情報と、第２の露光時間で取得した第２の画像情報の輝度情報を示す第２の輝度情報と、を第１の画像情報と第２の画像情報とを合成した合成画像とは別に出力し、第１の輝度情報と第２の輝度情報に基づき外部で生成された露光時間設定値に基づき第１の露光時間と第２の露光時間とを更新し、かつ、第１の輝度情報と第２の輝度情報に基づき外部で生成された露光時間設定値に基づき合成画像の合成に用いる合成設定値を変更する。

前記一実施の形態によれば、撮像センサから取得した第１の輝度情報及び第２の輝度情報に基づきユーザーが合成画像の画質を調整することができる。

実施の形態１にかかるセンサモジュールのブロック図である。 実施の形態１にかかるセンサモジュールにおけるＨＤＲ制御のフローチャートである。 実施の形態１にかかるセンサモジュールにおける折れ線パラメータの一例である。 実施の形態２にかかるセンサモジュールのブロック図である。 実施の形態３にかかるセンサモジュールのブロック図である。 実施の形態３にかかるセンサモジュールにおけるプログラムの構成を説明する図である。 実施の形態４にかかるセンサモジュールにおけるフリッカ低減処理のフローチャートである。 実施の形態５にかかるカメラシステムのブロック図である。

説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

実施の形態１
実施の形態１にかかるセンサモジュール１は、カメラシステムにおける撮像センサと、撮像センサを制御する演算部と、撮像センサから取得される画像データに画像処理を施す画像処理プロセッサとを有するものである。そこで、実施の形態１にかかるセンサモジュール１のブロック図を図１に示す。

図１に示すように、実施の形態１にかかるセンサモジュール１は、撮像センサ１０、演算装置（例えば、演算部２０）、画像処理プロセッサ３０を有する。

撮像センサ１０は、カメラシステムのレンズを介して入射される光情報を電気情報に変換し、当該電気情報をさらに画像データに変換して出力する。また、撮像センサ１０は、取得した画像に対してダイナミックレンジ拡大処理を施すＨＤＲ（High Dynamic Range）処理を行う機能を有する。以下の説明では、撮像センサ１０が出力する画像データを、ＨＤＲ処理が施されているか否かにかかわらず合成画像Ｄｃｏｍｐと称す。

また、撮像センサ１０は、ＨＤＲ画像を生成するモードでは、異なる露光時間で複数の画像データ（以下の説明では２つの画像データとする）を取得し、この２つの画像データを合成することで合成画像Ｄｃｏｍｐを生成する。撮像センサ１０は、２つの画像データのそれぞれについて、取得した画像データの輝度情報を生成し、この輝度情報を第１の輝度情報ＬＥＤ、第２の輝度情報ＳＥＤとして出力する。

また、撮像センサ１０は、外部から露光時間の設定値を示す露光時間設定値及び合成画像Ｄｃｏｍｐを生成する際に用いる合成設定値が入力される。撮像センサ１０は、露光時間設定値に応じて露光時間の長さを変更する。撮像センサ１０は、合成設定値に応じて２つの画像データの合成処理の処理設定を変更する。

上記機能を実現するために、実施の形態１にかかる撮像センサ１０は、画素アレイ１１、画素制御部１２、第１の輝度情報生成部１３、第２の輝度情報生成部１４、画像合成部１５を有する。なお、撮像センサ１０は、図１では図示を省略した、アナログデジタル変換回路、バッファ回路等を有する。

画素アレイ１１は、入射光情報に基づき画像情報を出力する。画素アレイ１１には、光情報を電気情報に変換する画素が格子状に配置されている。画素アレイ１１から取得できる電気情報は、画素に蓄積された電荷量に応じて電圧が変化するアナログ電圧値である。そこで、撮像センサ１０では、画素アレイ１１から取得する電気情報を、アナログデジタル変換回路を用いてデジタル値に変換する。そして、撮像センサ１０では、デジタル値で表される画素値により構成される画像データに基づき輝度情報の生成及び合成画像Ｄｃｏｍｐの生成を行う。

画素制御部１２は、画素アレイ１１に配置される画素の露光時間を制御する。画素制御部１２には、外部端子Ｔ５を介して制御信号ＣＳ１が入力される。制御信号ＣＳ１には、露光時間設定値が含まれ、画素制御部１２は、当該露光時間設定値に応じた時間で画素の露光制御を行う。以下の説明では、ＨＤＲ処理を行うことで１枚の合成画像Ｄｃｏｍｐを生成する際に、画素制御部１２が、画素を異なる露光時間で露光させることで２つの画像情報を生成する例について説明する。例えば、撮像センサ１０は、画素制御部１２が第１の露光時間で画素を露光させることで画素アレイ１１から第１の画像情報（例えば、長秒露光画像データＤＬ）を出力し、第１の露光時間よりも短い時間の第２の露光時間で画素を露光させることで画素アレイ１１から第２の画像情報（例えば、短秒露光画像データＤＳ）を出力する。

第１の輝度情報生成部１３は、第１の露光時間で画素アレイ１１が取得した入射光情報に基づき生成された第１の画像情報（例えば、長秒露光画像データＤＬ）から第１の輝度情報ＬＥＤを生成する。第２の輝度情報生成部１４は、第１の露光時間よりも短い第２の露光時間で画素アレイ１１が取得した入射光情報に基づき生成された第２の画像情報（例えば、短秒露光画像データＤＳ）から第２の輝度情報ＳＥＤを生成する。ここで、第１の輝度情報ＬＥＤ及び第２の輝度情報ＳＥＤは、各情報に対応する画像データのヒストグラム、輝度ピーク値及び平均輝度の少なくとも１つを含む。また、第１の輝度情報ＬＥＤは、外部端子Ｔ３を介して出力され、第２の輝度情報ＳＥＤは、外部端子Ｔ４を介して出力される。

画像合成部１５は、第１の画像情報（例えば、長秒露光画像データＤＬ）と第２の画像情報（例えば、短秒露光画像データＤＳ）とを合成して合成画像Ｄｃｏｍｐを出力する。合成画像Ｄｃｏｍｐは、外部端子Ｔ１を介して出力される。ここで、画像合成部１５には、外部端子Ｔ２に入力される制御信号ＣＳ２により合成設定値が与えられる。画像合成部１５は、合成設定値に基づき長秒露光画像データＤＬと短秒露光画像データＤＳとを用いてどのような合成処理を行うかを変更する。合成設定値の詳細については後述する。

演算部２０は、撮像センサ１０から取得した長秒露光輝度データＬＥＤ及び短秒露光輝度データＳＥＤに基づき露光時間設定値及び合成設定値を生成する。この演算部２０は、例えば、マイクロプロセッサのような演算機能を有する半導体装置であり、取得したデータから各種設定値を演算する。演算部２０における露光時間設定値及び合成設定値の演算方法の詳細は後述する。なお、演算部２０における露光時間設定値及び合成設定値の演算は、論理回路等によるハードウェア処理によって実現することも、演算回路でプログラムを実行させることによって実現することもできる。

画像処理プロセッサ２１は、合成画像Ｄｃｏｍｐに対して色補正、シャープネス補正等の画像処理を施して出力画像Ｄｏｕｔを出力する。この出力画像Ｄｏｕｔは、図示しない記憶装置に格納される。また、出力画像Ｄｏｕｔは、カメラシステムに搭載された表示部に表示される。

続いて、実施の形態１にかかるセンサモジュール１の動作について説明する。以下の説明では、センサモジュール１の動作のうちＨＤＲ制御を行う場合のセンサモジュール１の動作について主に説明する。そこで、実施の形態１にかかるセンサモジュール１の動作を説明するフローチャートを図２に示す。なお、図２に示すフローチャートは、演算部２０における処理に関するものであり、演算部２０が図２に示すフローチャートに従って生成した露光時間設定値及び合成設定値を撮像センサ１０の動作に反映させることで実施の形態１にかかるセンサモジュール１は動作する。

実施の形態１にかかるセンサモジュール１は、撮像センサ１０において、取得した画像データから取得した画像の輝度に関する情報を抽出した輝度情報（例えば、長秒露光輝度データＬＥＤ及び短秒露光輝度データＳＥＤ）を出力する。この輝度情報を用いて演算部２０は露光時間設定値及び合成設定値を算出する。

図２に示すように、演算部２０は、まず、撮像センサ１０から長秒露光画像データＤＬの輝度の情報を含む長秒露光輝度データＬＥＤと、短秒露光画像データＤＳの輝度情報を含む短秒露光輝度データＳＥＤと、を取得する（ステップＳ１）。ステップＳ１の輝度データ取得処理は、撮像センサ１０が１画面分のデータを取得する毎、あるいは、複数の画面取得に対して１回行う。つまり、輝度データ取得処理の頻度はセンサモジュール１の設計仕様に応じて適宜変更可能である。

ここで、演算部２０は、取得したデータに基づき長秒露光時の画像の平均輝度値、短秒露光時の輝度ピーク値、及び全画面輝度ヒストグラムを生成する。なお、全画面輝度ヒストグラムは、長秒露光画像データＤＬ、短秒露光画像データＤＳ及び合成画像Ｄｃｏｍｐのいずれか１つの全画面の輝度のヒストグラムである。合成画像Ｄｃｏｍｐの全画面ヒストグラムは、演算部２０が動作開始時、或いは、前処理サイクルで後述するステップＳ７の処理を行った際に撮像センサ１０に対して設定している合成設定値と、長秒露光輝度データＬＥＤと、短秒露光輝度データＳＥＤに基づき算出することができる。

続いて、演算部２０は、撮像センサ１０にＨＤＲ動作を行わせる必要があるか否かを判定するＨＤＲ有効化判定処理を行う（ステップＳ２）。ＨＤＲ有効化処理では、例えば、全場面ヒストグラムを参照して、画素値が飽和している領域が画面全体に占める割合が想定される割合以上になっている場合にはＨＤＲ動作が必要と判断する。また、ＤＨＲ有効化処理は、全画面ヒストグラムから算出される平均輝度が想定される輝度値以上ある場合にＨＤＲ動作が必要と判断することもできる。なお、想定される割合、或いは、想定される輝度値は、プリセット値として設定することもできるし、ユーザーからの指示に基づき設定することもできる。ＨＤＲ動作が必要であるかの判断は、主にステップＳ２の処理で行われる。

一方、演算部２０は、長秒露光輝度データＬＥＤの輝度ピーク値が画素の輝度を表す出力コード値の最大値よりも小さければＨＤＲ動作は不要と判断する。この場合、実施の形態１では、演算部２０が画素制御部１２に対して１回露光の動作を指示する制御信号ＣＳ１を出力して、画素制御部１２に１回露光による通常露光制御を行うことを指示する（ステップＳ３）

続いて、ステップＳ２でＨＤＲ動作が必要であると判断された場合、演算部２０は、ステップＳ４〜Ｓ７の動作を行う。ステップＳ４では、演算部２０は、第１の露光時間（例えば、長秒露光の露光時間）と第２の露光時間（例えば、短秒露光の露光時間）を算出する。ステップＳ４の露光時間算出処理では、長秒露光の露光時間と、短行露光の露光時間とを以下の計算により算出する。長秒露光の露光時間は、長秒露光輝度データＬＥＤの平均輝度が目標とする輝度になるように長さが計算される。この目標とする輝度は、予め設定することもできるし、外部からの指示に基づき設定することもできる。また、目標とする輝度は、短秒露光画像データＤＳの画面において所定の割合の領域の画素値が最大出力コード以下の値を示す輝度値から類推される画面の平均輝度である。短秒露光の露光時間は、短秒露光輝度データＳＥＤの輝度ピーク値が画素値の取り得る最大出力コード以下となるように長さが設定される。

続いて、ステップＳ５では、演算部２０が、合成設定値を算出する。この合成設定値は、例えば折れ線パラメータである。ここで、折れ線パラメータについて説明する。図３に実施の形態１にかかるセンサモジュールにおける折れ線パラメータの一例を示す。

図３に示すように、実施の形態１にかかる撮像センサ１０では、長秒露光画像データＤＬは、比較的低い輝度で出力コードが最大出力コードに達する輝度グラフを描く。また、長秒露光画像データＤＬは、撮影対象の最大輝度が最大出力コードとなる輝度グラフを描く。そして、合成画像Ｄｃｏｍｐは、撮影対象の輝度がある輝度に達するとグラフの傾きがなだらかになる輝度グラフを描く。つまり、実施の形態１にかかる撮像センサ１０では、長秒露光画像データＤＬと短秒露光画像データＤＳとを取得し、合成画像Ｄｃｏｍｐの出力コードが合成設定値に含まれる出力コード閾値に達するまでの画素成分として長秒露光画像データＤＬを用い、出力コード閾値よりも大きな画素成分として短秒露光画像データＤＳを用いる。画像合成部１５は、このように出力コード閾値を境にして長秒露光画像データＤＬと短秒露光画像データＤＳとを使い分けることで画像の合成を行うことで、低輝度部分のコントラストと高輝度部分のコントラストとを共に両立させた画像を合成する。合成設定値（例えば、折れ線パラメータ）には、出力コード閾値と、短秒露光画像データＤＳの圧縮率を示す値とが含まれる。なお、短秒露光画像データＤＳの最大出力コードを長秒露光画像データＤＬの最大出力コードのビット数よりも小さくすることで、折れ線パラメータから短秒露光画像データＤＳの圧縮率の値を省略することもできる。

演算部２０は、長秒露光輝度データＬＥＤ及び短秒露光輝度データＳＥＤに基づき合成画像Ｄｃｏｍｐの最大輝度の画素の出力コードが画素の輝度値の最大値に対応する最大出力コード以下になるように露光時間設定値及び合成設定値を出力する。

また、演算部２０における折れ線パラメータの決定は、以下の手順で行われる。演算部２０は、長秒露光輝度データＬＥＤ及び短秒露光輝度データＳＥＤに含まれるヒストグラムパターン（以下、撮像ヒストグラムパターンと称す）と、予め用意した複数のヒストグラムパターン（以下、候補ヒストグラムパターンと称す）とを比較する。そして演算部２０は、撮像ヒストグラムパターンに最も近い候補ヒストグラムパターンに対応付けられた折れ線パラメータを画像合成部１５に適用する折れ線パラメータとして選択する。

続いて、演算部２０は、ステップＳ４で算出した露光時間設定値を画素制御部１２に与え、画素制御部１２の露光時間設定値を更新する（ステップＳ６）。また、演算部２０は、ステップＳ５で算出した折れ線パラメータを画像合成部１５に与え、画像合成部１５の合成設定を更新する（ステップＳ７）。実施の形態１にかかるセンサモジュール１では、ステップＳ１〜Ｓ７の処理を繰り返し実行することで、合成画像Ｄｃｏｍｐの画質を維持する。

上記説明より、実施の形態１にかかるセンサモジュール１では、撮像センサ１０がＨＤＲ動作で用いる２つの画像の輝度情報を出力する。これにより、実施の形態１にかかるセンサモジュール１では、演算部２０で撮像センサ１０から出力される輝度情報を参照して露光時間設定値及び合成設定値を調整して、出力コードを飽和させることなく画面全体で高いコントラストを有する合成画像Ｄｃｏｍｐを得ることができる。つまり、実施の形態１にかかるセンサモジュール１では、合成画像Ｄｃｏｍｐからでは把握できない２回の露光で得られる画像を、演算部２０が２つの輝度情報に基づいてそれぞれ最適化することで合成画像Ｄｃｏｍｐの画質を高めることができる。

ここで、演算部２０は、撮像センサ１０とは別に設けられ、かつ、どのような露光設定及び合成設定としてどのような処理を行うかを回路或いはプログラムにより調整できる。演算部２０を撮像センサ１０内に内蔵した場合、撮像センサ１０内のノイズが大きくなり画質が劣化する問題が生じる。これは、演算部２０が多くの演算を行うため、回路規模が大きくかつ消費電力も大きいため、電源ノイズ等により画素アレイ１１から出力されるアナログ電圧値にズレが生じるためである。つまり、実施の形態１にかかるセンサモジュール１では、撮像センサ１０のノイズによる画質劣化を抑制しながら、柔軟なＨＤＲ合成処理の調整を行うことができる。また、実施の形態１にかかるセンサモジュール１は、センサモジュール１のユーザーの要望に応じて合成画像Ｄｃｏｍｐとしてどのような画像を提供するかを変更することが容易に行うことができる。

また、実施の形態１にかかるセンサモジュール１では、演算部２０を撮像センサ１０及び画像処理プロセッサ２１とは別に設けた。ユーザーによっては、既に開発済みの画像処理プロセッサ２１を有している場合がある。このような場合においても、センサモジュール１では、演算部２０により撮像センサ１０から出力される合成画像Ｄｃｏｍｐの画質を調整した上で、撮像センサ１０と演算部２０とを組にしてユーザーに提供することができる。これにより、ユーザーは、すでに開発済みの画像処理プロセッサ２１を有効に利用して新たなセンサモジュール１を採用することができる。

実施の形態２
実施の形態２では、実施の形態１にかかるセンサモジュール１の別の形態となるセンサモジュール２について説明する。そこで、図２に実施の形態２にかかるセンサモジュール２のブロック図を図４に示す。なお、実施の形態２の説明において、実施の形態１と同じ構成要素については、実施の形態１と同じ符号を付して説明を省略する。

図４に示すように、実施の形態２にかかるセンサモジュール２は、演算部２０及び画像処理プロセッサ２１に代えて、画像処理プロセッサ３０を有する。画像処理プロセッサ３０は、演算部３１を有する。つまり、実施の形態２にかかるセンサモジュール２では、画像処理プロセッサ３０に内蔵されるＣＰＵ（Central Processing Unit）等の演算装置を演算部２０に代わりに用いる。

上記説明より、実施の形態２にかかるセンサモジュール２では、画像処理プロセッサ３０に内蔵された演算部３１を用いることで実施の形態１にかかるセンサモジュール１と同じ処理を行うことができる。これにより、画像処理プロセッサ３０が既に決定している場合でも、画像処理プロセッサ３０に演算部２０と同じ動作を行わせることで、ユーザーはＨＤＲ機能を有する撮像センサ１０を採用することができる。

実施の形態３
実施の形態３では、実施の形態２にかかるセンサモジュール２の別の形態について説明する。そこで、実施の形態３にかかるセンサモジュール３のブロック図を図５に示す。なお、実施の形態３の説明において、実施の形態１、２と同じ構成要素については、実施の形態１と同じ符号を付して説明を省略する。

図５に示すように、実施の形態３にかかるセンサモジュール３は、演算部３１に代えて、演算部３２を有する。演算部３２は、プログラム格納部を有する。プログラム格納部には、ＯＳ（Operating System）、デバイスドライバ、ミドルウェア、ユーザーインタフェースアプリケーション等がソフトウェアとして格納されている。また、プログラム格納部に格納されたソフトウェアは、追加削除が可能なものである。例えば、実施の形態１、２で説明したＨＤＲ機能は、ミドルウェアとして提供されるものである。

そこで、プログラム格納部に格納されるプログラムの構成について説明する。そこで、図６に実施の形態３にかかるセンサモジュールにおけるプログラムの構成を説明する図を示す。図６に示すように、プログラム格納部に格納されるプログラムの構成の一例では、ＯＳ／ドライバ層のソフトウェアとして、ＯＳ、センサ制御ドライバ、モータドライバ、評価データ取得ドライバ等が搭載される。ＯＳは、ドライバ、ミドルウェア等のソフトを動作させる基本ソフトである。センサ制御ドライバは、撮像センサ１０の基本的な制御を行うためのソフトウェアである。モータドライバは、センサモジュール３が搭載されるカメラシステムのレンズ等を駆動するモータを制御するためのソフトウェアである。評価データ取得ドライバは、撮像センサ１０から輝度情報を受信して画像質を評価するソフトウェアである。

また、ＡＰ／ミドルウェア層のソフトとしては、自動露出制御（ＡＥ）ソフト、自動フォーカス制御（ＡＦ）ソフト、コマンドインタフェースソフト、電源管理ソフト、自動ホワイトバランス制御（ＡＷＢ）ソフト、ＨＤＲ制御ソフト、画像サイズ・フレームレート設定ソフト、ブート制御ソフト等が含まれる。自動露出制御ソフトは、センサモジュール３が搭載されるカメラシステムの光学機構内の絞りを制御するソフトである。自動フォーカス制御ソフトは、センサモジュール３が搭載されるカメラシステムのレンズを移動させて被写体に対するフォーカスを調節する制御ソフトである。コマンドインタフェースソフトは、ソフトウェア間で送受信されるコマンドを仲介するソフトである。電源管理ソフトは、カメラシステムの電源を管理するためのソフトである。自動ホワイトバランス制御ソフトは、画像処理プロセッサ３０を制御して出力画像Ｄｏｕｔのホワイトバランスを調整するためのソフトである。ＨＤＲ制御ソフトは、実施の形態１で説明した露出時間設定値及び合成設定値の演算を行うためのソフトである。画像サイズ・フレームレート設定ソフトは、合成画像Ｄｃｏｍｐの画像サイズと、撮像センサ１０のフレームレートを制御するためのソフトである。ブートソフトは、カメラシステムの起動処理を行うソフトである。

また、ユーザーＡＰ／ＡＰＩ層のソフトとしては、ユーザーインタフェースを提供するＷｅｂアプリケーションソフト等が含まれる。

図６に示したようなソフトウェア構成を取ることで、ドライバ、ミドルウェア、ユーザーソフトを追加或いは削除することもできる。また、図６に示したようなソフトウェア構成を取ることで、ソフトウェアの機能のアップデートも行うことができる。

ソフトウェアの機能アップデートとしては、例えば、ＨＤＲ制御ソフトに逆光状態において画質を向上させる逆光時対応機能を追加することができる。逆光状態では、短秒露光画像データＤＳに含まれる低輝度領域と、長秒露光画像データＤＬに含まれる低輝度領域と、がいずれも面積が小さいため、長秒露光時間と短秒露光時間との間の時間差が小さくなる。このような状態で、低輝度領域のコントラストを高めるためには、長秒露光時間を強制的に長くする補正を行うことが考えられる。しかしながら、長秒露光時間の長さはフレームレートによる制限によって最長時間が制限される。そこで、実施の形態３で追加する逆光時対応機能では、折れ線パラメータにおける出力コード閾値を調節することで低輝度領域に用いる長秒露光画像データＤＬの増幅率を変化させる。これにより、実施の形態３で追加する逆光時対応機能では、逆光状態での画質を高めることができる。

また、実施の形態３にかかるセンサモジュール３では、逆光時対応機能と対となる機能としてシーン判定機能をミドルウェアとして追加することもできる。シーン判定機能では、合成画像Ｄｃｏｍｐの輝度情報を元に逆光状態を判定する。このシーン判定機能を追加することで、画像処理プロセッサ３０の機能としてシーン判定機能を有していない場合であっても、逆光状態を検出してＨＤＲ機能の逆光時対応機能を動作させることで逆光時の画質を向上させることができる。なお、実施の形態１にかかる撮像センサ１０では、長秒露光輝度データＬＥＤ及び短秒露光輝度データＳＥＤを出力する機能を有しているため、この長秒露光輝度データＬＥＤ及び短秒露光輝度データＳＥＤを用いたシーン判定機能を実装する場合、シーン判定機能はＨＤＲ機能に組み込むことで実装することもできる。

上記説明より、実施の形態３にかかるセンサモジュール３では、演算部３２がプログラム格納部を有し、当該プログラム格納部に格納するプログラムを追加或いは削除することで、センサモジュール３の機能を変更することができる。

また、プログラムを後から追加或いは削除することが可能になることで、実施の形態３にかかるセンサモジュール３を用いるユーザーは、自社で保有していない技術ノウハウを含む機能を撮像センサ１０の供給者から提供を受けることが可能になる。

実施の形態４
実施の形態４では、ソフトウェアとして追加可能な機能の一例を説明する。実施の形態４で説明する機能は、フリッカ除去機能である。蛍光灯等の商用電源に基づき点灯する光源は、商用電源の周波数に応じた周期で明滅する。フリッカ現象は、撮影フレームレートが光源の明滅周期と同期してしまうと画面内に横縞が発生するものである。

実施の形態４にかかるフリッカ除去機能は、ミドルウェアとしてプログラム格納部に追加される。このフリッカ除去機能の動作を示すフローチャートを図７に示す。図７に示す例は、実施の形態１にかかるセンサモジュール１を用いた場合のフリッカ除去機能の動作を示すものである。

図７に示すように、実施の形態４にかかるフリッカ除去機能は、長秒露光輝度データＬＥＤを参照して、演算部２０がフリッカの有無を確認する（ステップＳ１１）。続いて、演算部２０がステップＳ１１の結果に基づきフリッカの有無を判定し（ステップＳ１２）、フリッカがあると判定した場合、長秒露光の周期を変更することを画素制御部１２に指示する（ステップＳ１３）。つまり、実施の形態４にかかるフリッカ除去機能が追加されたセンサモジュール１は、長秒露光輝度データＬＥＤに基づき短秒露光画像データＤＳにフリッカが発生していることを検出した場合に、第１の露光時間による露光を行う周期を変更する。

例えば、室内から明るい屋外を撮影し場合、室内は商用電源を用いた照明に基づく像が撮影され、屋外は太陽光に基づく像が撮影される。このような場合に合成後の画像が空室内のフリッカを検出しようとした場合、屋外の光が強いため合成画像Ｄｃｏｍｐの平均輝度が屋外の太陽光により大きくされてしまい、室内のフリッカを検出することができない。そこで、実施の形態４にかかるフリッカ除去機能では、長秒露光画像データＤＬの平均輝度を用いてフリッカ検出を行う。これにより、実施の形態４にかかるフリッカ除去機能では、屋外の太陽光により室内のフリッカの検出が妨げられることを防止することができる。

また、例えば、車両に搭載されるドライブレコーダーでは、トンネル内を走行する場合、トンネル内照明によるフリッカが発生することがある。このような場合に、合成画像Ｄｃｏｍｐに基づくフリッカ除去処理をおこなうと、フリッカの発生がない車内にフリッカが発生する問題が生じる。しかしながら、実施の形態４にかかるフリッカ除去機能では、長秒露光画像データＤＬに対応する長秒露光輝度データＬＥＤのみに基づきフリッカ除去を行う。長秒露光輝度データＬＥＤでは、トンネル内照明に基づく光は飽和した状態となる。そのため、実施の形態４にかかるフリッカ除去機能を用いることで、フリッカ除去機能により車内を撮影した部分にフリッカが発生する問題を解消することができる。

実施の形態５
実施の形態５では、実施の形態１にかかるセンサモジュール１を含むカメラシステム４について説明する。そこで、実施の形態５にかかるカメラシステム４のブロック図を図８に示す。なお、実施の形態５の説明において、上記実施の形態で説明した構成要素と同じ構成要素については、上記実施の形態と同じ符号を付して説明を省略する。

図８に示すカメラシステム５は、実施の形態１にかかるセンサモジュール１を含むものである。図８に示す例では、撮像センサ１０、演算部２０、画像処理プロセッサ２１がセンサモジュール１に相当する。なお、実施の形態５では、演算部２０がＯＳ、ドライバ等のソフトウェアが格納されるプログラム格納部を有するものとする。また、実施の形態５では、演算部２０が各種レンズを制御する機能を有するものとする。図８に示す例では、撮像センサ制御部４０を演算部２０及び画像処理プロセッサ２１で構成した。実施の形態５にかかるカメラレンズシステム５は、センサモジュール１に、光学系機構５０、モニタ６１及び記憶装置６２を追加したものである。実施の形態５にかかるカメラシステム４では、撮像センサ制御部４０により撮像センサ１０、光学系機構５０を制御する。

実施の形態５にかかるカメラシステム４では、光学系機構５０及び撮像センサ１０により合成画像Ｄｃｏｍｐを生成するが、この合成画像Ｄｃｏｍｐは動画である場合を含むものとする。実施の形態５にかかるカメラシステム４は、撮像センサ１０及び光学系機構５０により撮影された合成画像Ｄｃｏｍｐを画像処理プロセッサ２１で取得し、画像処理プロセッサ２１が合成画像Ｄｃｏｍｐに画像処理を施して出力画像Ｄｏｕｔを出力する。そして、実施の形態５にかかるカメラシステム４では、出力画像Ｄｏｕｔをモニタ６１に映すと共に記憶装置６２に保存する。ここで、実施の形態５にかかるカメラシステム４では、演算部２０がオートフォーカス処理及び自動露出制御の具体的な処理を行い、画像処理プロセッサ２１側ではオートフォーカス処理及び自動露出制御の具体的な処理を行わないことを特徴の１つとする。つまり、実施の形態５にかかるカメラシステム４では、画像処理プロセッサ２１側にオートフォーカス処理及び自動露出制御に関する制御プログラムが搭載されていない。なお、実施の形態５にかかるカメラシステム４では、演算部２０における処理としてオートフォーカス処理と自動露出制御とのいずれか一方の処理のみが行われる構成とすることも可能である。以下で、実施の形態５にかかるカメラシステム４の具体的な構成及び動作について詳細に説明する。

光学系機構５０は、ズームレンズ５１、絞り機構５２、固定レンズ５３、フォーカスレンズ５４、ズームアクチュエータ５５、フォーカスアクチュエータ５６を有する。そして、光学系機構５０は、各種アクチュエータによりレンズを移動させることでフォーカスを変更し、かつ、絞り機構１２を動作させることで入射光量を変更する。

ズームアクチュエータ５５は、ズームレンズ５１を移動させて、ズーム倍率を変更する。ズームアクチュエータ５５は、演算部２０が出力するズーム制御信号ＳＺＣに基づきズームレンズ５１を移動させる。フォーカスアクチュエータ５６は、フォーカスレンズ５４を移動させて、撮像センサ１０で撮影される画像のフォーカスを変更する。フォーカスアクチュエータ５６は、演算部２０が出力するフォーカス制御信号ＳＦＣに基づきフォーカスレンズ５４を移動させる。絞り機構５２は、レンズ群を介して撮像センサ１０に届く入射光の光量を調節する。絞り機構５２は、演算部２０が出力する絞り制御信号ＳＤＣにより絞り量を調節する。

ここで、実施の形態５にかかるカメラシステム４では、演算部２０が実施の形態１で説明したＨＤＲ制御に加えて、オートフォーカス制御、自動露出制御及びズーム制御を行う。このオートフォーカス制御及び自動露出制御は、撮像センサ１０が出力する長秒露光輝度データＬＥＤ、短秒露光輝度データＳＥＤ、合成画像Ｄｃｏｍｐの解像度情報（不図示）に基づき行う。また、ズーム制御は、演算部２０が外部からズーム指示を受けて行う。

また、画像処理プロセッサ２１は、撮像センサ１０から受信した合成画像Ｄｃｏｍｐに画像補正等の画像処理を施して出力画像Ｄｏｕｔを出力する。画像処理プロセッサ２１は、受信した画像情報Ｄｏを解析して色空間情報ＤＣＤを出力する。色空間情報ＤＣＤには、例えば、画像情報Ｄｏの輝度情報、及び、色情報が含まれる。演算部２０は、画像処理プロセッサ２１から取得した色空間情報ＤＣＤとユーザーから与えられた情報との差分に基づき色空間制御信号ＳＩＣを生成する。そして、演算部２０は、ユーザーからの指示に基づき出力画像Ｄｏｕｔの輝度或いは色を調整する色空間制御信号ＳＩＣを出力する。

また、演算部２０は、カメラシステム４の起動処理、終了処理、取得する画像の種類の変更、ズーム倍率の変更等のカメラシステム全体の動作を制御する。

上記説明より、実施の形態１にかかるセンサモジュール１を用いた実施の形態５にかかるカメラシステム４は、ＨＤＲ処理に関するノウハウを有していないユーザーであっても撮像センサ１０及び演算部２０に搭載されるＨＤＲ機能を採用するのみで、高品質な合成画像Ｄｃｏｍｐを得ることができる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

１〜３ センサモジュール
４ カメラシステム
１０ 撮像センサ
１１ 画素アレイ
１２ 画素制御部
１３ 第１の輝度情報生成部
１４ 第２の輝度情報生成部
１５ 画像合成部
２０、３１、３２ 演算部
２１、３０ 画像処理プロセッサ
４０ 撮像センサ制御部
５０ 光学系機構
５１ ズームレンズ
５２ 絞り機構
５３ 固定レンズ
５４ フォーカスレンズ
５５ ズームアクチュエータ
５６ フォーカスアクチュエータ
６１ モニタ
６２ 記憶装置
ＬＥＤ 長秒露光輝度データ
ＳＥＤ 短秒露光輝度データ
ＣＳ１ 制御信号
ＣＳ２ 制御信号
ＤＬ 長秒露光画像データ
ＤＳ 短秒露光画像データ
Ｄｃｏｍｐ 合成画像
Ｄｏｕｔ 出力画像
ＳＺＣ ズーム制御信号
ＳＤＣ 絞り制御信号
ＳＦＣ フォーカス制御信号
ＤＣＤ 色空間情報
ＳＩＣ 色空間制御信号

Claims (8)

1. 入射光情報に基づき画像情報を出力する画素アレイと、
   前記画素アレイに配置された画素の露光時間を制御する画素制御部と、
   第１の露光時間で前記画素アレイが取得した入射光情報に基づき生成された第１の画像情報から第１の輝度情報を生成する第１の輝度情報生成部と、
   前記第１の露光時間よりも短い第２の露光時間で前記画素アレイが取得した入射光情報に基づき生成された第２の画像情報から第２の輝度情報を生成する第２の輝度情報生成部と、
   前記第１の画像情報と前記第２の画像情報とを合成して合成画像を出力する画像合成部と、を有し、
   前記画素制御部は、前記第１の輝度情報と前記第２の輝度情報とに基づき外部で生成される露光時間設定値に基づき前記第１の露光時間と前記第２の露光時間を更新し、
   前記画像合成部は、前記第１の輝度情報と前記第２の輝度情報とに基づき外部で生成される合成設定値に基づき前記第１の画像情報と前記第２の画像情報とを合成する条件を更新する撮像センサ。
2. 前記第１の輝度情報は、前記第１の画像情報のヒストグラムを少なくとも含み、
   前記第２の輝度情報は、前記第２の画像情報のヒストグラムを少なくとも含む請求項１に記載の撮像センサ。
3. 前記画像合成部は、前記合成設定値に含まれる出力コード閾値以下の前記第１の画像情報を用いて前記合成画像の低輝度部分の画素を生成し、前記合成設定値に含まれる出力コード閾値よりも大きな出力コード前記第２の画像情報を用いて前記合成画像の高低輝度部分の画素を生成する画像合成処理を実施する請求項１に記載の撮像センサ。
4. 撮像センサと、
   前記撮像センサとは別に設けられ、前記撮像センサが出力する第１の輝度情報と第２の輝度情報とに基づき露光時間設定値及び合成設定値を生成する演算装置と、を有し、
   前記撮像センサは、
   入射光情報に基づき画像情報を出力する画素アレイと、
   前記画素アレイ上に配置された画素の露光時間を制御する画素制御部と、
   第１の露光時間で前記画素アレイが取得した入射光情報に基づき生成された第１の画像情報から前記第１の輝度情報を生成する第１の輝度情報生成部と、
   前記第１の露光時間よりも短い第２の露光時間で前記画素アレイが取得した入射光情報に基づき生成された第２の画像情報から第２の輝度情報を生成する第２の輝度情報生成部と、
   前記第１の画像情報と前記第２の画像情報とを合成して合成画像を出力する画像合成部と、を有し、
   前記画素制御部は、前記第１の輝度情報と前記第２の輝度情報とに基づき前記演算装置で生成される前記露光時間設定値に基づき前記第１の露光時間と前記第２の露光時間を更新し、
   前記画像合成部は、前記第１の輝度情報と前記第２の輝度情報とに基づき前記演算装置で生成される前記合成設定値に基づき前記第１の画像情報と前記第２の画像情報とを合成する条件を更新するセンサモジュール。
5. 前記演算装置は、前記第１の輝度情報及び前記第２の輝度情報に基づき前記合成画像の最大輝度の画素の出力コードが画素の輝度値の最大値に対応する最大出力コード以下になるように前記露光時間設定値及び前記合成設定値を出力する請求項４に記載のセンサモジュール。
6. 前記演算装置は、前記合成画像に対して画像処理を施す画像処理プロセッサに組み込まれる請求項４に記載のセンサモジュール。
7. 前記演算装置は、前記第１の輝度情報に基づき前記第１の画像情報にフリッカが発生していることを検出した場合に、前記第１の露光時間による露光を行う周期を変更する請求項４に記載のセンサモジュール。
8. 前記演算装置は、プログラム格納部を有し、
   当該プログラム格納部に格納されたソフトウェアに対して追加されるファームウェア或いはドライバソフトにより前記露光時間設定値及び前記合成設定値を出力する機能が実装される請求項４に記載のセンサモジュール。

Images