JP2008236300A - 撮像装置 - Google Patents

Abstract

【課題】点滅照明下で、動きがある画像においても効果のあるフリッカ抑制を図る撮像装置を提供する。
【解決手段】平均レベル記憶部２は、１フィールド期間分の平均レベルを記憶する。フィールド方向積算部３は、３フィールド分の平均レベルを計算する。フィールド方向積算記憶部１０は、フィールド方向積算部３出力平均レベルを記憶する。フリッカゲイン計算部５は、フリッカ補正信号を作成する。動き検出部４は、フィールド方向積算値からフィールド間における動きを検出する。フリッカゲイン記憶部６は、フリッカゲイン計算部５からのフリッカゲインを記憶するとともに動き検出部４出力に応じて書き換えをする。フリッカゲイン移動部７は、動き検出に応じて動きのある領域に以前の動きのない領域部分のフリッカゲインを置き換える。切替スイッチ８は、動き検出に応じてフリッカゲイン計算部５からの出力とフリッカゲイン移動部７からの出力とを切り替える。
【選択図】図１

Description

本発明は、イメージセンサにより構成される撮像装置において、動きが発生した領域においてもフリッカ補正状態を正常に保つことができる撮像装置に関する。

従来のＭＯＳ型イメージセンサなどで構成された撮像装置においては、画素への信号蓄積時間帯を画素毎にシフトさせるローリングシャッター方式のため、点滅照明等の影響により画面上に縞模様が発生する。まず、点滅照明に関して説明する。図８に、点滅照明の例として、５０Ｈｚ蛍光灯の光強度波形を示す。５０Ｈｚ電源による蛍光灯の発光は、１００Ｈｚ周期の光強度を発生する。ＭＯＳ型イメージセンサによって、５０Ｈｚ蛍光灯の影響を受けた画像を入力する場合、蛍光灯周期の整数倍期間を画素の蓄積時間として設定すれば、蓄積される光強度は各画素で等しくなり、点滅照明の影響を受けることは無い。

しかし、整数倍の関係が崩れることにより、点滅照明の影響を受けるようになる。図９に、点滅照明の影響を受けているフラットな壁状の画像で、５０Ｈｚ蛍光灯の発光周期の１／２の時間で蓄積した場合の画像信号を示す。図９における垂直期間は、３３ｍｓｅｃ設定としている。第１フィールドから第３フィールドまでの変化に見られるように、この画像信号によれば、画面上を横縞模様が流れることになる。図１０に、図９の３フィールドの信号を平均化した信号の状態を示す。３フィールド分の平均信号がフラットになることを利用して、各フィールドの信号レベルが平均レベルになるように補間係数を乗算して、縞模様が発生することを抑制する。但し、静止画状態においては、３フィールド毎のレベルが安定しているため問題はないが、入力映像に動きを持つ部分が入ると補正が効かなくなる。このような場合の縞模様を抑制する方式として、例えば、特許文献１に記載されているようなものがあった。

図１１は、前記特許文献に記載された従来の撮像装置の構成を示すブロック図である。総和レベル計算部３１は、領域毎に撮像素子からの入力信号を積分した値を出力する。領域選択信号生成部３３は、入力信号がどの領域に属するかを選択する信号を生成し、切替スイッチ３２に出力する。切替スイッチ３２は、領域選択信号生成部３３からの信号に応じて総和レベル計算部３１からの信号を切り替え、総和レベル記憶部３４に出力する。総和レベル記憶部３４は、３個のシフトレジスタ等で構成されており、１フィールド前から３フィールド前の総和レベルを出力する。フリッカゲイン計算部３５は、平均加算回路と除算回路から構成され、フリッカゲインを計算して出力する。フリッカゲイン記憶部３６は、複数段のシフトレジスタ等で構成され、過去の複数フィールドのフリッカゲインを記憶しており、動き検出部３８とフリッカゲイン補間部３７に出力する。動き検出部３８は、現フィールドのフリッカゲインと過去フィールドのフリッカゲインの変化量から動きの有無を検出する。フリッカゲイン補間部３７は、過去のフィールドから補間した補間ゲインを出力する。切替スイッチ４０は、動き検出に応じて、出力を選択する。切替スイッチ４１は、領域選択信号生成部３３からの信号に応じて出力を選択する。乗算部３９は、入力信号に切替スイッチ４１から出力された補間ゲインを乗算して出力する。

このように、従来例においては動きを検出した領域に対して、過去のフィールドにおけるフリッカゲインから作成した新たなフリッカゲインを割り当てることにより、動き領域においてもフリッカ抑制を保つとされる。

特開平１１−２５２４４６号公報

しかしながら、従来の構成および制御方法では、動きの影響が数フィールド以上に亘る場合、安定したフリッカ補正を保持することができない。従来例においては、記憶されるフリッカゲインに対して動きの有無状態を記憶する部分は無い。そのため、単発的な動きに対しては、動き検出部からの出力に応じて動きの無い過去のフリッカゲインに置換えるなどで効果は得られるが、その後、動きが継続した場合、補間されるフリッカゲインは動きを伴った値による算出となるため、正常なフリッカ補正にはならない。

本発明の目的は、前記従来の課題を解決するもので、継続した動きを持つ被写体においても安定したフリッカ補正を図ることができる撮像装置を提供することである。

前記従来の課題を解決するために、本発明の撮像装置は、ＭＯＳによって構成されるイメージセンサにより画像を入力する撮像装置であって、水平ライン毎に平均信号レベルを計算する平均レベル計算部と、前記平均レベル計算部からの出力により１フィールド期間分の平均レベルを記憶する平均レベル記憶部と、前記平均レベル記憶部からの出力により３フィールド分の平均レベルを計算するフィールド方向積算部と、前記フィールド方向積算部から出力される平均レベルを記憶するフィールド方向積算記憶部と、フリッカ補正をするための補正信号を作成するフリッカゲイン計算部と、フィールド方向積算値からフィールド間における動きを検出する動き検出部と、前記フリッカゲイン計算部からのフリッカゲインを記憶するとともに、前記動き検出部からの情報に応じて書き換えをするフリッカゲイン記憶部と、前記動き検出に応じて動きのある部分に、以前の動きのない部分のフリッカゲインを置き換えるフリッカゲイン移動部と、前記動き検出に応じて前記フリッカゲイン計算部からの出力と前記フリッカゲイン移動部からの出力とを切り替える切替スイッチと、入力信号に対して前記切替スイッチからの信号を乗算してフリッカ補正をする乗算部と、を備える。

また、本発明の撮像装置は、イメージセンサにより画像を入力する撮像装置であって、水平ライン毎に平均信号レベルを計算する平均レベル計算部と、前記平均レベル計算部からの出力により１フィールド期間分の平均レベルを記憶する平均レベル記憶部と、前記平均レベル記憶部からの出力により３フィールド分の平均レベルを計算するフィールド方向積算部と、前記フィールド方向積算部から出力される平均レベルを記憶するフィールド方向積算記憶部と、フリッカ補正をするための補正信号を作成するフリッカゲイン計算部と、フィールド方向積算値からフィールド間における動きを検出する動き検出部と、前記フリッカゲイン計算部からのフリッカゲインを記憶するとともに、前記動き検出部からの情報に応じて書き換えをするフリッカゲイン記憶部と、前記動き検出に応じて動きのある部分に以前の動きのない部分のフリッカゲインを置き換える切替スイッチと、入力信号に対して前記切替スイッチからの信号を乗算してフリッカ補正をする乗算部と、を備える。

また、本発明の撮像装置は、イメージセンサにより画像を入力する撮像装置であって、水平ライン毎に平均信号レベルを計算する平均レベル計算部と、前記平均レベル計算部からの出力により１フィールド期間分の平均レベルを記憶する平均レベル記憶部と、前記平均レベル記憶部からの出力により３フィールド分の平均レベルを計算するフィールド方向積算部と、フリッカ補正をするための補正信号を作成するフリッカゲイン計算部と、前記フリッカゲイン計算部からのフリッカゲインを記憶するフリッカゲイン記憶部Ａと、前記フィールド方向積算部からの出力と前記フリッカゲイン記憶部Ａからの出力によりフィールド間における動きを検出する動き検出部と、前記フリッカゲイン記憶部Ａからのフリッカゲインを記憶するとともに、前記動き検出部からの情報に応じて書き換えをするフリッカゲイン記憶部Ｂと、前記動き検出に応じて動きのある部分に、以前の動きのない部分のフリッカゲインを置き換えるフリッカゲイン移動部と、前記動き検出に応じて前記フリッカゲイン計算部からの出力と前記フリッカゲイン移動部からの出力とを切り替える切替スイッチと、入力信号に対して前記切替スイッチからの信号を乗算してフリッカ補正をする乗算部と、を備える。

また、本発明の撮像装置は、イメージセンサにより画像を入力する撮像装置であって、水平ライン毎に平均信号レベルを計算する平均レベル計算部と、前記平均レベル計算部からの出力により１フィールド期間分の平均レベルを記憶する平均レベル記憶部と、前記平均レベル記憶部からの出力により３フィールド分の平均レベルを計算するフィールド方向積算部と、フリッカ補正をするための補正信号を作成するフリッカゲイン計算部と、前記フリッカゲイン計算部からのフリッカゲインを記憶するフリッカゲイン記憶部Ａと、前記フィールド方向積算部からの出力と前記フリッカゲイン記憶部Ａからの出力によりフィールド間における動きを検出する動き検出部と、前記フリッカゲイン記憶部Ａからのフリッカゲインを記憶するとともに、前記動き検出部からの情報に応じて書き換えをするフリッカゲイン記憶部Ｂと、前記動き検出に応じて動きのある部分に、以前の動きのない部分のフリッカゲインを置き換える切替スイッチと、入力信号に対して前記切替スイッチからの信号を乗算してフリッカ補正をする乗算部と、を備える。

本発明の撮像装置によれば、点滅照明の影響を受けている画像入力に対してフリッカ補正を施す場合、継続した期間の動きがある画像入力においてもフリッカ補正を安定した状態で保持するという格別な効果を奏する。

以下、本発明の実施の形態に係る撮像装置について、添付図面を用いて説明する。なお、図面において実質的に同一の部材には同一の符号を付している。

（実施の形態１）
図１は、本発明の実施の形態１における撮像装置の構成を示すブロック図である。この撮像装置は、ＭＯＳによって構成されるイメージセンサにより画像を入力する撮像装置であって、水平ライン毎に平均信号レベルを計算する平均レベル計算部１と、平均レベル計算部１からの出力により１フィールド期間分の平均レベルを記憶する平均レベル記憶部２と、平均レベル記憶部２からの出力により３フィールド分の平均レベルを計算するフィールド方向積算部３と、フィールド方向積算部３から出力される平均レベルを記憶するフィールド方向積算記憶部１０と、フリッカ補正をするための補正信号を作成するフリッカゲイン計算部５と、フィールド方向積算値からフィールド間における動きを検出する動き検出部４と、フリッカゲイン計算部５からのフリッカゲインを記憶するとともに動き検出部４からの情報に応じて書き換えをするフリッカゲイン記憶部６と、動き検出に応じて動きのある部分に以前の動きのない部分のフリッカゲインを置き換えるフリッカゲイン移動部７と、動き検出に応じてフリッカゲイン計算部５からの出力とフリッカゲイン移動部７からの出力とを切り替える切替スイッチ８と、入力信号に対して切替スイッチ８からの信号を乗算してフリッカ補正をする乗算部９と、を備えた構成となっている。

平均レベル計算部１は、垂直期間方向の信号特徴を検出し、平均レベル記憶部２へ出力する。図２は、平均レベル計算部１における検出状態を示す図である。平均レベル計算部１においては、所定の水平期間内に平均値検出範囲を設け、ライン単位で平均値を計算する。計算された出力は、垂直期間方向において図２の右側部分の波形となる。このようにすれば、画面全体のデータを記憶して処理することなく、簡易な回路で画像信号の垂直期間方向における信号の特徴を検出することが可能となる。

フリッカゲイン計算部５は、フィールド方向積算部３からの３フィールド分の平均値と現フィールド信号からフリッカを補正するためのフリッカゲイン信号を作成する。フリッカゲイン信号により、現信号レベルを３フィールド平均値レベルに変化させて、縞模様発生を抑制する。

動き検出部４は、フィールド方向積算部３から出力される現在の平均信号と、フィールド方向積算記憶部１０から出力される過去の平均信号の差分を比較して、動き発生を検出する。フリッカゲイン記憶部６は、動きが検出されない領域は新しいフリッカゲイン信号に書き換えて記憶し、動きが検出された領域は過去のフリッカゲイン信号を保持する。

図３に、フリッカゲイン移動部７における他のフィールドのフリッカゲインに置き換える動作状態を示す。領域（８）から（１０）を含むフィールドにおいて、フィールド前半は（５）から（７）の領域のフリッカゲイン信号に置き換え、後半は（１）から（２）領域のフリッカゲイン信号に置き換える。例えば、フィールド前半領域のみに動きが検出された場合、他フィールドの後半領域は動きのない領域であるためにフリッカゲイン信号を置き換えることにより、フリッカを抑制することが可能となる。他のフィールドにおいても、同様に領域置き換えを施すことにより、実現できる。図において、（８）の部分に（６）を置き換え、（９）の部分に（７）や（１）を置き換えているのは、５０Ｈｚ蛍光灯における全波整流波形が奇数波と偶数波で大きさが異なる場合に有効である。

図４は、領域移動を施さずに、動きが発生した領域に対して過去の同位置のフリッカゲイン信号を置き換える構成のブロック図である。図１の構成と比較すると、フリッカゲイン移動部７を除いた構成となっている。フリッカゲイン記憶部６に対して動き検出情報が送られることにより、動きのある領域のフリッカゲイン信号を書き換えることなく、以前のフリッカゲイン信号を保持することが可能となる。

図５は、同位置のフリッカゲイン信号を置き換える動作状態を示す図である。（１１）から（１３）のフィールドにおいて、Ｂで示した期間に動きが発生した場合、３フィールド前のＡ期間に当たる（１）から（２）の領域のフリッカゲイン信号を置き換える。上記述べたように、動きの発生した領域の信号は動きの無い時のフリッカゲイン信号を保持するため、連続した動きが発生した場合でも安定したフリッカ抑制が可能となる。

図６および図７に、動き検出を平均信号の差分で判断するのではなく、フリッカゲイン信号の差分から検出する別の構成のブロック図を示す。図６は、図１同様にフリッカゲイン移動部７における他のフィールドのフリッカゲインに置き換える動作を実現する。この撮像装置は、水平ライン毎に平均信号レベルを計算する平均レベル計算部１と、平均レベル計算部１からの出力により１フィールド期間分の平均レベルを記憶する平均レベル記憶部２と、平均レベル記憶部２からの出力により３フィールド分の平均レベルを計算するフィールド方向積算部３と、フリッカ補正をするための補正信号を作成するフリッカゲイン計算部５と、フリッカゲイン計算部５からのフリッカゲインを記憶するフリッカゲイン記憶部Ａ１１と、フィールド方向積算部３からの出力とフリッカゲイン記憶部Ａ１１からの出力によりフィールド間における動きを検出する動き検出部４と、フリッカゲイン記憶部Ａ１１からのフリッカゲインを記憶するとともに動き検出部４からの情報に応じて書き換えをするフリッカゲイン記憶部Ｂ１２と、動き検出に応じて動きのある部分に以前の動きのない部分のフリッカゲインを置き換えるフリッカゲイン移動部７と、動き検出に応じてフリッカゲイン計算部５からの出力とフリッカゲイン移動部７からの出力とを切り替える切替スイッチ８と、入力信号に対して切替スイッチ８からの信号を乗算してフリッカ補正をする乗算部９と、を備える。また、図７に示されたさらに別の構成によれば、図４と同様に領域移動を施さずに、動きが発生した領域に対して過去の同位置のフリッカゲイン信号を置き換える動作を実現することができる。

本発明に係る撮像装置は、点滅照明の影響を受けている画像入力に対してフリッカ補正を施す画像信号において、画像に動きが発生した場合でも効果のあるフリッカ抑制を図る撮像装置等として有用である。

本発明の実施の形態１に係る撮像装置の構成の概略を示すブロック図である。 本発明の実施の形態１における平均レベル計算部における検出状態を示す図である。 フリッカゲイン移動部において、他のフィールドのフリッカゲインを置き換える動作状態を示す図である。 同位置のフリッカゲイン信号を置き換える構成のブロック図を示す図である。 同位置のフリッカゲイン信号を置き換える動作状態を示す図である。 フリッカゲイン信号の差分から動き検出する構成を示すブロック図の一例である。 フリッカゲイン信号の差分から動き検出する構成を示すブロック図の一例である。 ５０Ｈｚ蛍光灯の光強度波形を示す図である。 発光周期の１／２の時間で蓄積した場合の画像信号を示す図である。 ３フィールドの信号を平均化した信号の状態を示す図である。 従来の撮像装置を示すブロック図である。

符号の説明

１ 平均レベル計算部
２ 平均レベル記憶部
３ フィールド方向積算部
４ 動き検出部
５ フリッカゲイン計算部
６ フリッカゲイン記憶部
７ フリッカゲイン移動部
８ 切替スイッチ
９ 乗算器
１０ フィールド方向積算記憶部
１１ フリッカゲイン記憶部Ａ
１２ フリッカゲイン記憶部Ｂ
３１ 総和レベル計算部
３２ 切替スイッチ
３３ 領域選択信号生成部
３４ 総和レベル記憶部
３５ フリッカゲイン計算部
３６ フリッカゲイン記憶部
３７ フリッカゲイン補間部
３８ 動き検出部
３９ 乗算器
４０ 切替スイッチ
４１ 切替スイッチ

Claims (7)

1. ＭＯＳによって構成されるイメージセンサにより画像を入力する撮像装置であって、
   水平ライン毎に平均信号レベルを計算する平均レベル計算部と、
   前記平均レベル計算部からの出力により１フィールド期間分の平均レベルを記憶する平均レベル記憶部と、
   前記平均レベル記憶部からの出力により３フィールド分の平均レベルを計算するフィールド方向積算部と、
   前記フィールド方向積算部から出力される平均レベルを記憶するフィールド方向積算記憶部と、
   フリッカ補正をするための補正信号を作成するフリッカゲイン計算部と、
   フィールド方向積算値からフィールド間における動きを検出する動き検出部と、
   前記フリッカゲイン計算部からのフリッカゲインを記憶するとともに、前記動き検出部からの情報に応じて書き換えをするフリッカゲイン記憶部と、
   前記動き検出に応じて動きのある部分に、以前の動きのない部分のフリッカゲインを置き換えるフリッカゲイン移動部と、
   前記動き検出に応じて前記フリッカゲイン計算部からの出力と前記フリッカゲイン移動部からの出力とを切り替える切替スイッチと、
   入力信号に対して前記切替スイッチからの信号を乗算してフリッカ補正をする乗算部と、
   を備えたことを特徴とする撮像装置。
2. イメージセンサにより画像を入力する撮像装置であって、
   水平ライン毎に平均信号レベルを計算する平均レベル計算部と、
   前記平均レベル計算部からの出力により１フィールド期間分の平均レベルを記憶する平均レベル記憶部と、
   前記平均レベル記憶部からの出力により３フィールド分の平均レベルを計算するフィールド方向積算部と、
   前記フィールド方向積算部から出力される平均レベルを記憶するフィールド方向積算記憶部と、
   フリッカ補正をするための補正信号を作成するフリッカゲイン計算部と、
   フィールド方向積算値からフィールド間における動きを検出する動き検出部と、
   前記フリッカゲイン計算部からのフリッカゲインを記憶するとともに、前記動き検出部からの情報に応じて書き換えをするフリッカゲイン記憶部と、
   前記動き検出に応じて動きのある部分に、以前の動きのない部分のフリッカゲインを置き換える切替スイッチと、
   入力信号に対して前記切替スイッチからの信号を乗算してフリッカ補正をする乗算部と、
   を備えたことを特徴とする撮像装置。
3. イメージセンサにより画像を入力する撮像装置であって、
   水平ライン毎に平均信号レベルを計算する平均レベル計算部と、
   前記平均レベル計算部からの出力により１フィールド期間分の平均レベルを記憶する平均レベル記憶部と、
   前記平均レベル記憶部からの出力により３フィールド分の平均レベルを計算するフィールド方向積算部と、
   フリッカ補正をするための補正信号を作成するフリッカゲイン計算部と、
   前記フリッカゲイン計算部からのフリッカゲインを記憶するフリッカゲイン記憶部Ａと、
   前記フィールド方向積算部からの出力と前記フリッカゲイン記憶部Ａからの出力によりフィールド間における動きを検出する動き検出部と、
   前記フリッカゲイン記憶部Ａからのフリッカゲインを記憶するとともに前記動き検出部からの情報に応じて書き換えをするフリッカゲイン記憶部Ｂと、
   前記動き検出に応じて動きのある部分に、以前の動きのない部分のフリッカゲインを置き換えるフリッカゲイン移動部と、
   前記動き検出に応じて前記フリッカゲイン計算部からの出力と前記フリッカゲイン移動部からの出力とを切り替える切替スイッチと、
   入力信号に対して前記切替スイッチからの信号を乗算してフリッカ補正をする乗算部と、
   を備えたことを特徴とする撮像装置。
4. イメージセンサにより画像を入力する撮像装置であって、
   水平ライン毎に平均信号レベルを計算する平均レベル計算部と、
   前記平均レベル計算部からの出力により１フィールド期間分の平均レベルを記憶する平均レベル記憶部と、
   前記平均レベル記憶部からの出力により３フィールド分の平均レベルを計算するフィールド方向積算部と、
   フリッカ補正をするための補正信号を作成するフリッカゲイン計算部と、
   前記フリッカゲイン計算部からのフリッカゲインを記憶するフリッカゲイン記憶部Ａと、
   前記フィールド方向積算部からの出力と前記フリッカゲイン記憶部Ａからの出力によりフィールド間における動きを検出する動き検出部と、
   前記フリッカゲイン記憶部Ａからのフリッカゲインを記憶するとともに前記動き検出部からの情報に応じて書き換えをするフリッカゲイン記憶部Ｂと、
   前記動き検出に応じて動きのある部分に、以前の動きのない部分のフリッカゲインを置き換える切替スイッチと、
   入力信号に対して前記切替スイッチからの信号を乗算してフリッカ補正をする乗算部と、
   を備えたことを特徴とする撮像装置。
5. 前記平均レベル計算部は、水平期間内の所定期間における信号の平均レベルを計算することを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
6. 前記動き検出部は、フィールド間において所定レベル以上の差分を検出することにより、動きを検出したと判断することを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
7. 前記フリッカゲイン記憶部Ｂは、動きが検出された部分に関して、書き換えをしないことを特徴とする請求項３又は４に記載の撮像装置。