JP2010098616A

JP2010098616A - 画像処理回路

Info

Publication number: JP2010098616A
Application number: JP2008269201A
Authority: JP
Inventors: Hiroyuki Haji; 宏之土師
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2008-10-17
Filing date: 2008-10-17
Publication date: 2010-04-30

Abstract

【構成】互いに異なる複数の露光量にそれぞれ対応する複数の被写界像は、ＣＤＳ回路１４ａ〜Ａ／Ｄ変換器１８ａおよびＣＤＳ回路１４ｂ〜Ａ／Ｄ変換器１８ｂによってそれぞれ取り込まれる。取り込まれた複数の被写界像の輝度特性は、画像合成回路２０におけるビットシフト処理，係数乗算処理またはビット拡張処理によって調整される。また、調整された輝度特性を有する複数の被写界像は、画像合成回路２０におけるミックス処理によって合成される。ミックス処理によって作成された合成被写界像のゲインは、ゲイン調整回路２０によって増大される。
【効果】合成前の段階でのノイズの増大量が抑制され、合成被写界像の品質を改善することができる。
【選択図】図１

Description

この発明は、画像処理回路に関し、特に監視カメラなどのビデオカメラに適用され、互いに異なる複数の露光量にそれぞれ対応する複数の被写界像を合成する、画像処理回路に関する。

この種の回路の一例が、特許文献１に開示されている。この背景技術によれば、長時間露光および短時間露光にそれぞれ対応する２フィールドの映像信号が、撮像素子から出力される。このうち、短時間露光に対応する映像信号は、合成前の段階で白バランス調整を施される。調整された白バランスを有する映像信号はその後、長時間露光に対応する映像信号と合成される。
特開平１１−３１７９６０号公報

しかし、合成前の段階での白バランス調整は映像信号に重畳されたノイズの増大を引き起こし、これによって合成後の映像信号の品質が劣化するおそれがある。

それゆえに、この発明の主たる目的は、合成被写界像の品質を改善することができる、画像処理回路を提供することである。

この発明に従う画像処理回路(10：実施例で相当する参照符号。以下同じ)は、互いに異なる複数の露光量にそれぞれ対応する複数の被写界像を取り込む取り込み手段(14a~18a, 14b~18b)、取り込み手段によって取り込まれた複数の被写界像の輝度特性を調整する調整手段(52~56)、調整手段によって調整された輝度特性を有する複数の被写界像を互いに合成する合成手段(58)、および合成手段によって作成された合成被写界像のゲインを増大させる第１ゲイン調整手段(22)を備える。

取り込み手段は、互いに異なる複数の露光量にそれぞれ対応する複数の被写界像を取り込む。取り込み手段によって取り込まれた複数の被写界像の輝度特性は、調整手段によって調整される。合成手段は、調整手段によって調整された輝度特性を有する複数の被写界像を互いに合成する。合成手段によって作成された合成被写界像のゲインは、第１ゲイン調整手段によって増大される。

合成被写界像が作成された後にゲインを増大させることで、合成前の被写界像のゲインを増大させる必要性が低減される。これによって、合成前の段階でのノイズの増大量が抑制され、合成被写界像の品質を改善することができる。

好ましくは、第１ゲイン調整手段は合成被写界像のゲインを第１量ずつ増大させ、取り込み手段は複数の被写界像の各々のゲインを第１量よりも小さい第２量ずつ調整する第２ゲイン調整手段(16a, 16b)を含む。

好ましくは、取り込み手段は複数の被写界像の各々の表現形式をディジタル形式に変換する変換手段(18a, 18b)を含み、調整手段は、複数の被写界像の１つの輝度特性をビットシフト処理および係数乗算処理の一方を利用して調整する第１輝度特性調整手段(52)、および第１調整手段から出力された被写界像の輝度特性をビットシフト処理および係数乗算処理の他方を利用して調整する第２輝度特性調整手段(54)を含む。

或る局面では、係数乗算処理による調整量はビットシフトによる調整量よりも小さい。

他の局面では、合成手段は第２調整手段から出力された被写界像を複数の被写界像の他の１つに合成する。

好ましくは、上述の画像処理回路はビデオカメラに設けられる。

この発明によれば、合成被写界像が作成された後にゲインを増大させることで、合成前の被写界像のゲインを増大させる必要性が低減される。これによって、合成前の段階でのノイズの増大量が抑制され、合成被写界像の品質を改善することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例の監視カメラ１０は、ＣＭＯＳセンサ１２を含む。被写界を表す光学像は、図示しないレンズを経てＣＭＯＳセンサ１２の撮像面に照射される。撮像面には複数の画素が２次元に配置され、撮像面は図示しない原色フィルタによって覆われる。複数の画素の各々では、Ｒ(Red)，Ｇ(Green)またはＢ(Blue)の色情報を有する電荷が光電変換によって生成される。こうして生成された電荷に基づく生画像信号は、周期的に発生する垂直同期信号に応答して、ＣＭＯＳセンサ１２から繰り返し出力される。

後段で詳しく説明するように、ＣＭＯＳセンサ１２は、垂直同期信号が発生する毎に２回の露光動作を実行する。１回目の露光は短時間露光に相当し、２回目の露光は長時間露光に相当する。短時間露光によって生成された電荷に基づく生画像信号は、チャネルＣＨ１から出力される。一方、長時間露光によって生成された電荷に基づく生画像信号は、基準被写界像としてチャネルＣＨ２から出力される。

ＣＤＳ１４ａは、チャネルＣＨ１から出力された各フレームの生画像信号に相関二重サンプリングを施し、ＡＧＣ回路１６ａは、ＣＤＳ回路１４ａから出力された生画像信号のゲインを調整する。Ａ／Ｄ変換器１８ａは、ＡＧＣ回路１６ａから出力された生画像信号を、ディジタル形式で表現された１２ビットの生画像データを出力する。

同様に、ＣＤＳ１４ｂは、チャネルＣＨ２から出力された各フレームの生画像信号に相関二重サンプリングを施し、ＡＧＣ回路１６ｂは、ＣＤＳ回路１４ｂから出力された生画像信号のゲインを調整する。Ａ／Ｄ変換器１８ｂは、ＡＧＣ回路１６ｂから出力された生画像信号を、ディジタル形式で表現された１２ビットの生画像データを出力する。

ここで、ＡＧＣ回路１６ａおよび１６ｂの各々は、０．３ｄＢ毎にゲインを調整する。つまり、ＡＧＣ回路１６ａおよび１６ｂの各々から出力される生画像信号は、０．３ｄＢ毎に調整されたゲインを有する。

画像合成回路２０は、こうしてＡ／Ｄ変換器１８ａおよび１８ｂから出力された２フレームの生画像データを互いに合成し、１６ビットの合成生画像データを生成する。生成された合成生画像データのゲインは、ゲイン調整回路２２で調整される。また、調整されたゲインを有する合成生画像データの白バランスは、白バランス調整回路２４によって調整される。

白バランス調整回路２４から出力された合成生画像データは、ＨＰＦ２６を経て色分離回路２８に与えられ、各画素がＲ，ＧおよびＢの全ての色情報を有する合成画像データに変換される。変換された合成画像データは、画像出力回路３０を経て図示しない表示装置ないし記録装置に向けて出力される。

図２を参照して、ＣＭＯＳセンサ１２は、マトリクス状に配置された複数のセル３２，３２，…を有する。各々のセル３２には、上述の画素に相当する受光素子３４に加えて、スイッチ３６，３８およびキャパシタＣ１，Ｃ２が設けられる。スイッチ３６および３８の一方端は受光素子３４に共通的に接続され、スイッチ３６の他方端およびスイッチ３８の他方端はキャパシタＣ１の一方端およびキャパシタＣ２の一方端にそれぞれ接続される。また、キャパシタＣ１およびＣ２の各々の他方端は、基準電位面に接続される。

キャパシタＣ１の一方端はまた、スイッチ４２を介してディフュージョンアンプ４８の入力端に接続される。同様に、キャパシタＣ１の一方端は、スイッチ４４を介してディフュージョンアンプ５０の入力端に接続される。スイッチ４２の数はキャパシタＣ１の数と一致し、スイッチ４４はキャパシタＣ１に１対１の態様で接続される。同様に、スイッチ４４の数はキャパシタＣ２の数と一致し、スイッチ４４はキャパシタＣ２に１対１の態様で接続される。

垂直同期信号に応答して実行される２回の露光動作は、図３に示す要領で実行される。つまり、まず時間Ｔ＿Ｓに相当する短時間露光が実行され、続いて時間Ｔ＿Ｌに相当する長時間露光が実行される。ここで、時間Ｔ＿Ｌの長さは時間Ｔ＿Ｓの長さの２０倍に相当する。

図２に戻って、露光制御回路４０は、短時間露光の開始時に受光素子３４，３４，…をリセットし、短時間露光に対応してスイッチ３６，３６，…をオンし、そして長時間露光に対応してスイッチ３８，３８，…をオンする。短時間露光によって生成された電荷は受光素子３４からキャパシタＣ１に移動し、長時間露光によって生成された電荷は受光素子３４からキャパシタＣ２に移動する。

読み出し制御回路４６は、複数のスイッチ４２，４２，…をラスタ走査態様でオンするとともに、複数のスイッチ４４，４４，…をラスタ走査態様でオンする。キャパシタＣ１，Ｃ１，…に蓄積された電荷は、アンプデフュージョンアンプ４８を介して、短時間露光に対応する生画像信号としてチャネルＣＨ１から出力される。また、キャパシタＣ２，Ｃ２，…に蓄積された電荷は、アンプデフュージョンアンプ５０を介して、長時間露光に対応する生画像信号としてチャネルＣＨ２から出力される。

上述のような露光時間の相違から、短時間露光によって生成された電荷量は被写界の照度に対応して図６に示す電荷特性ＥＸＰ＿Ｓを有し、長時間露光によって生成された電荷量は被写界の照度に対応して図６に示す電荷特性ＥＸＰ＿Ｌを有する。同様に、短時間露光に対応する生画像データの輝度は被写界の照度に対応して図６に示す輝度特性ＤＴ＿Ｓを有し、長時間露光に対応する生画像データの輝度は被写界の照度に対応して図６に示す輝度特性ＤＴ＿Ｌを有する。図６から分かるように、長時間露光に対応する電荷量ないし輝度レベルは、受光素子３４のダイナミックレンジの最大値に対応して飽和する。

画像合成回路２０は、図４に示すように構成される。チャネルＣＨ１の生画像データはビットシフト回路５２に与えられ、チャネルＣＨ２の生画像データはビット拡張回路５６に与えられる。ビットシフト回路５２は、データ値を上位にシフトさせるべく、与えられた生画像データの下位に図５（Ａ）に示す要領で４ビットのＮＵＬＬコードを付加する。一方、ビット拡張回路５６は、与えられた画像データの上位に図５（Ｂ）に示す要領で４ビットのＮＵＬＬコードを付加する。

この結果、１６倍（＝＋２４ｄＢ）のゲインを有する１６ビットの生画像データがビットシフト回路５２から出力され、１倍のゲインを有する１６ビットの生画像データがビット拡張回路５６から出力される。つまり、図７に示すように、長時間露光に対応する生画像データの輝度特性は“ＤＴ＿Ｌ”を維持する一方、短時間露光に対応する生画像データの輝度特性は“ＤＴ＿Ｓ”から“ＤＴ＿ＳＳ”に遷移する。

なお、上述のように、長時間露光に相当する時間Ｔ＿Ｌの長さは短時間露光に相当する時間Ｔ＿Ｓの長さの２０倍であるため、ＣＭＯＳセンサ１２のダイナミックレンジに起因する飽和部分を除いて、輝度特性ＤＴ＿ＳＳの傾きは輝度特性ＤＴ＿Ｌの傾きよりも小さい。

図４に戻って、乗算器５４は、ビットシフト回路５２から出力された生画像データに係数α（＝１．２５）を乗算する。この結果、１．２５倍のゲインを有する生画像データが乗算器５４から出力される。出力された生画像データは、被写界の照度に対して図８に示す輝度特性ＤＴ＿ＳＳＧを有する。

このように、チャネルＣＨ１の生画像データのゲインは、ビットシフト回路５２および乗算器５４によって２０倍に増大する。これによって、チャネルＣＨ１の生画像データの輝度特性ＤＴ＿ＳＳＧは、ＣＭＯＳセンサ１２のダイナミックレンジに起因する飽和部分を除いて、チャネルＣＨ２の生画像データの輝度特性ＤＴ＿Ｌと一致する。

図４に示すミキサ５８は、乗算器５４から出力されたチャネルＣＨ１の生画像データをビット拡張回路５６から出力されたチャネルＣＨ２の生画像データにミックスする。具体的には、閾値ＴＨ１未満の輝度に対応してチャネルＣＨ２の生画像データを選択し、閾値ＴＨ２以上の輝度に対応してチャネルＣＨ１の生画像データを選択し、そして閾値ＴＨ１以上でかつ閾値ＴＨ２未満の輝度に対応してチャネルＣＨ１の生画像データおよびチャネルＣＨ２の生画像データを加重加算する。

ここで、閾値ＴＨ１は閾値ＴＨ２を下回り、かつ閾値ＴＨ２はチャネルＣＨ２の生画像データが飽和する輝度を下回る（図８参照）。これによって、図９に示す輝度特性ＤＴ＿ＣＭＰを有する合成画像データがミキサ５８つまり画像合成回路２０から出力される。合成画像データのゲインはさらに図１に示すゲイン調整回路２２によって増幅され（ゲイン調整は６ｄＢ毎）、これによって図１０に示す輝度特性ＤＴ＿ＣＭＰＧを有する合成画像データが得られる。

以上の説明から分かるように、互いに異なる複数の露光量にそれぞれ対応する複数の被写界像は、ＣＤＳ回路１４ａ〜Ａ／Ｄ変換器１８ａおよびＣＤＳ回路１４ｂ〜Ａ／Ｄ変換器１８ｂによってそれぞれ取り込まれる。取り込まれた複数の被写界像の輝度特性は、ビットシフト回路５２，乗算器５４およびビット拡張回路５６によって調整される。ミキサ５８は、こうして調整された輝度特性を有する複数の被写界像を互いに合成する。ミキサ５８によって作成された合成被写界像のゲインは、ゲイン調整回路２０によって増大される。

また、チャネルＣＨ１の被写界像のゲインは、ビットシフト処理によって大幅に変更され、係数乗算処理によって小幅に変更される。したがって、ビットシフト処理および係数乗算処理を併用することで、被写界像の輝度特性をチャネルＣＨ１およびＣＨ２の間で合わせることができる（チャネル間での輝度特性のずれを抑制できる）。

なお、この実施例では、チャネルＣＨ１の生画像データのゲインを調整するために、まずビットシフト処理を実行し、次に係数乗算処理を実行している。しかし、まず係数乗算処理を実行し、次にビットシフト処理を実行するようにしてもよい。

また、この実施例では、単一のＣＭＯＳセンサ１２を用いて１フレーム期間に短時間露光および長時間露光の両方を実行するようにしている。しかし、２つのイメージセンサを準備し、一方のイメージセンサによって長時間露光を実行するとともに、他方のイメージセンサによって短時間露光を実行するようにしてもよい。また、１つのイメージセンサを用いて短時間露光および長時間露光を１フレーム期間毎に交互に実行するようにしてもよい。

さらに、この実施例では、短時間露光に対応するチャネルＣＨ１の生画像データにビットシフト処理および係数乗算処理を施すようにしているが、これに代えて、長時間露光に対応するチャネルＣＨ２の生画像データにビットシフト処理および係数乗算処理を施すようにしてもよい。この場合、チャネルＣＨ２の生画像データのゲインは抑制する必要があり、チャネルＣＨ２の生画像データのビットシフト方向は下位方向となる。下位方向へのビットシフトの結果、高周波成分が欠落するものの、チャネルＣＨ１およびＣＨ２の間の輝度特性のずれは抑制される。

また、この実施例では、監視カメラを想定しているが、この発明は民生用のディジタルビデオカメラにも適用することができる。

さらに、この実施例では、図２に示すＣＭＯＳセンサセンサ１２を用いているが、これに代えて、２００８年９月４日付けで出願公開された特開２００８−２０５６３８号公報に開示されているＣＭＯＳセンサを用いるようにしてもよい。

この発明の一実施例の構成を示すブロック図である。図１実施例に適用されるＣＭＯＳセンサの構成の一例を示す図解図である。短時間露光動作および長時間露光動作の一例を示すタイミング図である。図１実施例に適用される画像合成回路の構成の一例を示すブロック図である。（Ａ）は図４実施例に適用されるビットシフト回路の動作の一例を示す図解図であり、（Ｂ）は図４実施例に適用されるビット拡張回路の動作の一例を示す図解図である。被写界の照度とＣＭＯＳセンサで生成される電荷量ないし画像データの輝度レベルの関係の一例を示すグラフである。被写界の照度と画像データの輝度レベルの関係の他の一例を示すグラフである。被写界の照度と画像データの輝度レベルの関係のその他の一例を示すグラフである。被写界の照度と合成画像データの輝度レベルの関係の一例を示すグラフである。被写界の照度と合成画像データの輝度レベルの関係の他の一例を示すグラフである。

符号の説明

１０ …監視カメラ
１２ …ＣＭＯＳセンサ
１４ａ，１４ｂ …ＣＤＳ／ＡＧＣ／ＡＤ回路
１６ …画像合成回路
１８ …ゲイン調整回路

Claims

互いに異なる複数の露光量にそれぞれ対応する複数の被写界像を取り込む取り込み手段、
前記取り込み手段によって取り込まれた複数の被写界像の輝度特性を調整する調整手段、
前記調整手段によって調整された輝度特性を有する複数の被写界像を互いに合成する合成手段、および
前記合成手段によって作成された合成被写界像のゲインを増大させる第１ゲイン調整手段を備える、画像処理回路。
前記第１ゲイン調整手段は前記合成被写界像のゲインを第１量ずつ増大させ、
前記取り込み手段は前記複数の被写界像の各々のゲインを前記第１量よりも小さい第２量ずつ調整する第２ゲイン調整手段を含む、請求項１記載の画像処理回路。
前記取り込み手段は前記複数の被写界像の各々の表現形式をディジタル形式に変換する変換手段を含み、
前記調整手段は、前記複数の被写界像の１つの輝度特性をビットシフト処理および係数乗算処理の一方を利用して調整する第１輝度特性調整手段、および前記第１調整手段から出力された被写界像の輝度特性を前記ビットシフト処理および前記係数乗算処理の他方を利用して調整する第２輝度特性調整手段を含む、請求項１または２記載の画像処理回路。
前記係数乗算処理による調整量は前記ビットシフトによる調整量よりも小さい、請求項３記載の画像処理回路。
前記合成手段は前記第２調整手段から出力された被写界像を前記複数の被写界像の他の１つに合成する、請求項３または４記載の画像処理回路。
請求項１ないし５のいずれかに記載の画像処理回路を備える、ビデオカメラ。