JP2003250093A - 映像補正装置 - Google Patents

Abstract

(57)【要約】 【課題】 カメラの固定パターンノイズ補正において、
輝度勾配が平坦な対象を撮影してノイズ計測していた
が、対象物として、カメラにシャッタを設けるか、一様
な背景にカメラを向けデフォーカス動作をさせる等、操
作性に問題があった。 【解決手段】 撮像画像に対し所定のタイミングで取り
込む基準画像を記憶する第１の画像メモリと、基準画像
に対して撮像画像の位置合わせを行う位置合わせ部と、
位置合わせ手段により安定化される画像をフレーム積分
する第１の積分部と、位置合わせ手段における変動量に
基づき、積分手段により積分される画像を座標変換する
座標変換部と、撮像画像から座標変換される背景画像成
分を減算する減算部と、減算される固定パターンノイズ
成分を積分する第２の積分部と、固定パターンノイズを
記憶する第２の画像メモリと、第２の画像メモリに記憶
される補正用の固定パターンノイズ成分情報を除去する
補正部を備えた。

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】この発明は、撮像装置の映像
補正について、特に撮像装置の固定パターンノイズを補
正する映像補正装置に関するものである。 【０００２】 【従来の技術】図９は、従来の映像補正装置の構成例を
示したブロック図であり、特に、シャッタ機構を設けた
事例である。図９において、１は撮像部、２は撮像部１
からの出力を積分する積分手段、３は固定パターンノイ
ズ成分を記憶しておく記憶手段、４は記憶手段３に格納
された固定パターンノイズ成分を用いて撮像部１からの
出力画像を補正する補正手段、５は固定パターンノイズ
成分を取得するためのシャッタ機構である。 【０００３】従来の映像補正装置は、固定パターンノイ
ズ成分を計測する動作状態と通常の撮像を行う動作状態
を有している。そして、固定パターンノイズ成分を計測
する動作状態では、シャッタ機構５を閉じて撮像対象物
の信号成分を遮断した状態で撮像を行い、固定パターン
ノイズ成分を撮像部１から出力させている。この時の固
定パターンノイズ成分にはランダムノイズが含まれてお
り、この時の撮像部１の出力をフレーム積分することに
より、ランダムノイズを除去し、撮像部１に固有の固定
パターンノイズ成分のみを抽出する。抽出した固定パタ
ーンノイズ成分は、記憶手段３等の記憶媒体に記憶して
おく方法を行っている。 【０００４】次に、通常の撮像を行う動作状態では、シ
ャッタ機構５を開けると、撮像部１からは撮影対象の信
号成分と撮像部１に起因する固定パターンノイズ成分が
加算された映像信号が出力される。補正手段４は、この
映像信号から予め記憶しておいた固定パターンノイズ成
分を減算する機能を持ち、固定パターンノイズ成分が補
正された映像信号を得ることができる。 【０００５】さて、この固定パターンノイズは、撮像部
１の検知画素の特性差により生じ、フレーム周期と比較
して長時間で変化し、撮影対象が変化しても空間的に同
じ場所に現れるオフセットノイズである。図１０は、従
来の映像補正装置の固定パターンノイズの画面上の位置
と信号強度の関連を示した図であり、撮影対象物の信号
成分（真の背景画像成分）と、この固定パターンノイズ
成分が加算された信号が撮像部からの映像信号として出
力される。 【０００６】 【発明が解決しようとする課題】従来、固定パターンノ
イズを補正する場合、輝度勾配が平坦な対象を撮影し
て、固定パターンノイズ成分を計測していた。この場
合、輝度勾配が平坦な対象として、撮像装置にシャッタ
機構を設けるか、あるいは比較的平坦な背景にカメラを
向けてデフォーカス動作をさせる等、極めて煩わしい操
作が必要であるという課題があった。 【０００７】この発明は、上記の様な課題を解決するた
めになされたものであり、煩わしいい操作を行うことな
く、固定パターンノイズ成分のみを抽出し、補正可能な
映像補正装置および映像補正方法を提供することを目的
とする。 【０００８】 【課題を解決するための手段】第１の発明に係る映像補
正装置は、連続する撮像画像において所定のタイミング
で取り込む基準画像を記憶する第１の記憶手段と、基準
画像に対して上記連続する撮像画像の位置合わせを行う
位置合わせ手段と、位置合わせ手段により安定化される
画像をフレーム積分する第１の積分手段と、位置合わせ
手段における変動量に基づいて、フレーム積分手段によ
り積分される画像を座標変換する座標変換手段と、連続
する撮像画像からこの座標変換される背景画像成分を減
算する減算手段と、減算手段により減算される固定パタ
ーンノイズ成分を積分する第２の積分手段と、積分され
る固定パターンノイズ成分情報を記憶する第２の記憶手
段と、連続する撮像画像に対して第２の記憶手段に記憶
される補正用の固定パターンノイズ成分情報を除去する
補正手段を備えたものである。 【０００９】 【発明の実施の形態】実施の形態１．図１は、この発明
の実施の形態１による映像補正装置の構成を示す図であ
る。また、図２は、撮像部からの出力である補正前画像
を示した図であり、図３は空間安定化された撮像画像を
示す図であり、図４は空間安定化された背景画像を示す
図であり、図５は背景画像を示す図であり、図６は固定
パターンノイズを示す図であり、図７は移動物体を含む
補正前画像を示す図であり、図８は補正後の画像を示す
図である。 【００１０】ここで、１は撮像部、４は撮像部１からの
撮像画像を補正する補正手段、６は撮像部１からの撮像
画像を記憶する第１の記憶手段、７は撮像部１からの撮
像画像に対する位置合わせ手段、８は位置合わせ手段７
からの画像に対して積分する第１の積分手段、９は位置
合わせ手段７からの動き量に基づいて第１の積分手段８
の座標を変換する座標変換手段、１０は撮像部１からの
撮像画像に対して座標変換手段９からの処理画像を減算
する減算手段、１１は減算手段１０において減算された
画像を積分する第２の積分手段、１２は第２の積分手段
１１から積分された画像を記憶する第２の記憶手段であ
る。 【００１１】また、１３は撮像部１から撮像された画面
あるいは各々の処理画像を示す画面であり、１４は画面
１３のオフセット・ノイズとなる固定パターンノイズ成
分であり、これに対して、撮影対象を含む画面全体の景
色をここでは背景画像１５とし、１６は移動物体であ
る。 【００１２】以下、この実施の形態１の動作を説明す
る。図２に示すように、撮像部１を左方向（以下、Ｌ方
向という）にパンさせながら撮像すると、固定パターン
ノイズ１４は画面１３上の同じ位置に現れるのに対し
て、背景画像１５は撮像部１の動きとは逆の矢印で図示
された右方向（以下、Ｒ方向という）に画面上を移動し
て見える。一方、撮像部１をＲ方向にパンすると、背景
画像１５はその逆に画面上をＬ方向に移動して見える。 【００１３】連続して入力する動画像に対してある時点
で、基準となる画像を第1の記憶手段６に記憶してお
く。そして、この基準画像に対して、連続して入力する
動画像の位置合わせを行う機能を位置合わせ手段７に持
たせることにより、背景画像１５を空間的に安定化する
ことができる。 【００１４】ここで、連続して入力する２画面の位置ず
れ量は、相関処理技術あるいは時空間勾配に基づく動き
推定技術などにより求めて、その位置ずれ量をアフィン
変換等の座標変換を行うことにより補正して、位置合わ
せを行う。 【００１５】この時、撮像部１をパンさせると、固定パ
ターンノイズ成分１４に対して信号強度の強い背景画像
１５は、画面１３上に静止して見えると共に、固定パタ
ーンノイズ成分１４は、図３に示すように背景画像１５
に対して撮像部１をパンさせた方向に移動して見える。
この時の背景画像１５は、移動物体１６の存在しない景
色を撮影する。この動画像をフレーム積分する第１の積
分手段８を設けてフレーム積分すると、移動して見える
固定パターンノイズ成分１４が平滑化されて低減され、
図４に示すように、空間安定化された背景成分のみの画
像になる。 【００１６】次に座標変換手段９は、空間安定化された
背景画像１５を、入力画像の動き量だけ移動するように
座標変換し、図５に示すように入力画像の動きに合った
背景画像１５を生成する。入力画像から固定パターンノ
イズ成分１４のみを抽出するためには、入力画像から背
景画像成分を減算手段１０で減算すれば、入力画像から
固定パターンノイズ成分１４のみを抽出することができ
る。 【００１７】なお、この座標変換は、以下に示すアフィ
ン変換に従って適用される。この変換により、画像を平
行移動、回転、スケール変換等を行うことが出来る。座
標変換前の座標を（ｘ，ｙ）、変換後の座標を（ｘ^'，
ｙ^'）とすれば、 ｘ^'＝ａｘ＋ｂｙ＋ｃ ｙ^'＝ｄｘ＋ｅｙ＋ｆ ここで、ａ、ｂ、ｃ、ｄ、ｅ、ｆは変換係数を示す。 【００１８】このように抽出した固定パターンノイズ成
分１４には、時間的にランダムなノイズ成分が含まれる
ので、ランダムノイズ成分を除去するために、抽出した
固定パターンノイズ成分１４を第２の積分手段１１によ
りフレーム積分し、補正用の固定パターンノイズ成分１
４としてフラッシュメモリやRAM（ランダムアクセクメ
モリ）などの記憶媒体である第２の記憶手段１２に記憶
しておく。 【００１９】固定パターンノイズ補正は、常時実施され
るが、連続する撮像画像において所定のタイミングでの
基準画像の取り込みと，基準画像に対して連続する撮像
画像の位置合わせと、安定化される画像のフレーム積分
と，積分される画像の座標変換と、連続する撮像画像か
らこの座標変換される背景画像成分の減算と、減算され
る固定パターンノイズ成分の積分と、補正用の固定パタ
ーンノイズ成分情報の記憶は，ノイズ計測を要する時に
実施される。 【００２０】そして、撮像された入力画像から常時実施
される固定パターンノイズ補正は、この第２の記憶手段
１２に記憶した固定パターンノイズ成分１４を入力画像
から減算することにより、固定パターンノイズ成分１４
が補正された動画像を得ることができる。この時の動画
像は、図７に示すように移動物体が移った画像からも、
図８に示すような補正後画像を得ることができる。 【００２１】すなわち、このように構成することによ
り、シャッタや補正板を使わずに、移動物体を含まない
背景に向けて、撮像部１を少しパンさせるだけで、固定
パターンノイズ成分（オフセット成分）のみを抽出し、
固定パターンノイズを補正することを可能にする。 【００２２】 【発明の効果】この発明によれば、シャッタや補正板を
使わずに、移動物体を含まない背景に向けて撮像部をパ
ンさせるだけで、固定パターンノイズ成分（オフセット
成分）のみを抽出して、固定パターンノイズを容易に補
正することが出来る。

【図面の簡単な説明】 【図１】 この発明の実施の形態１による映像補正装置
の構成を示す図である。 【図２】 この発明の実施の形態１による映像補正装置
の補正前の画像を示す図である。 【図３】 この発明の実施の形態１による映像補正装置
の空間安定化された撮像画像を示す図である。 【図４】 この発明の実施の形態１による映像補正装置
の空間安定化された背景画像を示す図である。 【図５】 この発明の実施の形態１による映像補正装置
の背景画像を示す図である。 【図６】 この発明の実施の形態１による映像補正装置
の固定パターンノイズを示す図である。 【図７】 この発明の実施の形態１による映像補正装置
の移動物体を含む補正前画像を示す図である。 【図８】 この発明の実施の形態１による映像補正装置
の補正後の画像を示す図である。 【図９】 従来の映像補正装置の構成例を示したブロッ
ク図である。 【図１０】 従来の映像補正装置の固定パターンノイズ
の画面上の位置と信号強度の関連を示した図である。 【符号の説明】 １ 撮像部、２ 積分手段、３ 記憶手段、４ 補正手
段、５ シャッタ機構、６ 第１の記憶手段 ７ 位置
合わせ手段、８ 第１の積分手段、９ 座標変換手段、
１０ 減算手段、１１ 第２の積分手段、１２ 第２の
記憶手段、１３画面、１４ 固定パターンノイズ、１５
背景画像、１６ 移動物体。

Claims (1)

1. 【特許請求の範囲】 【請求項１】 連続する撮像画像を生成する撮像手段
   と、この連続する撮像画像において所定のタイミングで
   取り込む基準画像を記憶する第１の記憶手段と、 この基準画像に対して上記連続する撮像画像の位置合わ
   せを行う位置合わせ手段と、 この位置合わせ手段により安定化される画像をフレーム
   積分する第１の積分手段と、 上記位置合わせ手段における上記連続する撮像画像の位
   置ずれ量に基づいて、この第１のフレーム積分手段によ
   りフレーム積分される画像を座標変換する座標変換手段
   と、 上記連続する撮像画像からこの座標変換される背景画像
   成分を減算する減算手段と、 この減算手段により減算される固定パターンノイズ成分
   を積分する第２の積分手段と、 積分される上記固定パターンノイズ成分情報を記憶する
   第２の記憶手段と、 上記連続する撮像画像に対して、この第２の記憶手段に
   記憶される上記固定パターンノイズ成分情報を除去する
   補正手段と、 を備え、 上記撮像手段をパンさせることにより、上記固定パター
   ンノイズを補正することを特徴とする映像補正装置。