JP2011109219A - 画像信号処理装置及び方法 - Google Patents

Abstract

【課題】撮像装置の構成に依存せず、信号処理で複数の画素の加算を行うことにより高感度化を実現するとともに、かつ、画素加算に伴う解像度の低下が少ない画像信号処理装置を提供する。
【解決手段】入力画像（Ｄｉｎ）は、画素加算手段（１）においてフレーム毎に異なる画素ブロックの画素加算パターンで加算され、画素ブロック毎の画素加算値を画素値とする選択画素と、画素値がゼロの欠落画素からなる画素加算画像（Ｄ１）に変換される。入力画像（Ｄｉｎ）の動きを検出する動き検出手段５により動きがないと判定された画素では、画素加算画像（Ｄ１）と、画素加算画像をフレーム遅延させた画像とが時空間画素補間手段（３）により加算され、高感度出力画像（Ｄｏｕｔ）として出力され、動きがあると判定された画素では、時空間画素補間手段（３）において、同じフレーム内の画素加算画像を用いたフレーム内補間が行われる。
【選択図】図１

Description

本発明は、画像信号処理装置及び方法に関するものであり、特に、撮像装置の高感度化を実現する画像信号処理に関する。

監視カメラや車載カメラなどに用いられる撮像装置では、暗所においても良好な視認性が得られるようにするため、感度が重要視される。近年、撮像素子の高画素化に伴い、画素サイズの微細化が進んでおり、画素あたりの集光量が減少することによる感度の低下が課題となっている。

撮像素子の感度が低くなると、撮像素子の出力を電気的に増幅することで信号量を確保する必要があるが、この場合、ノイズもいっしょに増幅してしまうため、ＳＮ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ）比が低下するという問題があった。

従来から、撮像素子の感度不足を補うために、露光時間を長くすることにより感度を高める方式（長時間露光方式）が用いられている（例えば、特許文献１参照）。この方式では、露光時間を長くして信号量を増やすことで、ＳＮ比を低下させることなく感度を向上させている。

しかし、上記のような長時間露光方式では、露光時間が長くなるにつれて、動きのある被写体がぶれたり（動体ぶれ）、動きの滑らかさが低下したりして動画像の画質劣化を生じるという問題があった。

また、上記のような動画像の画質劣化を生じさせない高感度化方式として、複数の画素の信号を加算することにより感度を向上させる方式（複数画素加算方式）がある（例えば、特許文献２参照）。特許文献２に記載された従来技術では、撮像素子の駆動方法を工夫して、複数の画素に蓄積した画像信号を垂直方向に混合して出力する混合読み出しを行い、混合した画素数分だけ信号量を増やすことにより感度を向上させている。

しかし、上記のような複数画素加算方式では、複数の画素の信号を混合することにより画素数が減少し、全画素を使った撮影よりも解像度が低下するという問題がある。

一般に、ＳＮ比を低下させることなく露光量を確保するためには、長時間露光方式のように時間方向に画素信号を加算するか、複数画素加算方式のように空間方向に画素信号を加算する必要がある。しかし、時間方向の加算では動きのある被写体に対して動体ぶれを生じ、空間方向の加算では解像度の低下が生じるというトレードオフがある。

そこで、それぞれの欠点を補うべく、両者を組み合わせたような方法も提案されている（特許文献３参照）。特許文献３に記載された従来技術では、撮像素子から信号を読み出す際に複数の画素の信号を加算して読み出した高感度低解像度画像と、全画素の信号を独立に読み出した低感度高解像度画像とを加算することで、画素加算によって低下した解像度を高解像度画像によって補い、高感度でかつ高解像度な撮像を両立している。

ここで、画素数が少なく読み出しが高速になる高感度低解像度画像の読み出しを先に行うことで、２回の露光により生成される高感度低解像度画像と低感度高解像度画像の画面間の時間的なずれを小さくしているが、時間的に異なるタイミングで露光された２種類の画像を合成するため、動きのある被写体に対して動体ぶれが発生することは避けられない。

また、特許文献２、３に記載された従来技術は、撮像素子の駆動方法の制御により複数の画素の信号を加算することにより高感度化を実現するものであって、所望の駆動方法に対応した撮像素子が必要になるなど、その実現は撮像装置の構成に依存している。

特開２０００−１９６９６６号公報（段落０００２〜０００７、図１３及び図１４） 特開２００２−１４２１５１号公報（請求項１、段落００２０〜００２９、図１及び図４） 特開２００７−１０４４０８号公報（請求項１、段落００８５〜０１２５、図９〜１１）

本発明は上述した課題を解決するためになされたもので、撮像装置の構成に依存せず、信号処理で複数の画素の加算を行うことにより高感度化を実現するとともに、かつ、画素加算に伴う解像度の低下が少ない画像信号処理装置を提供することを目的とする。

本発明の画像信号処理装置は、
入力画像の各フレーム又はフィールドを構成する複数の画素を互いに重複しないように水平方向に隣接するｍ画素、垂直方向に隣接するｎ画素の合計ｎ×ｍ画素（ｍ、ｎは正の整数で、少なくとも一方は２以上）ごとのブロックに分割し、前記各ブロックにおいてｎ×ｍ画素の信号を加算して、加算した値を前記各ブロックの重心位置に対して特定の相対位置にある選択画素の画素値とし、前記選択画素以外の画素を欠落画素とした画素加算画像を出力し、かつ、前記入力画像の１フレーム又はフィールドごとに前記ブロックへの分割の仕方を切り替えることによって、加算する前記ｎ×ｍ画素の組合せと各フレーム又はフィールド内における前記選択画素と前記欠落画素の位置を前記入力画像の１フレーム又はフィールドごとに変化させる画素加算手段と、
前記画素加算手段が出力する画素加算画像を最大（ｎ×ｍ−１）フレーム又はフィールドまで遅延させる遅延手段と、
単一フレーム又はフィールドの前記画素加算画像を用いて、或いは前記単一フレーム又はフィールドの前記画素加算画像と、前記単一フレーム又はフィールドの前記画素加算画像を前記遅延手段により最大で（ｎ×ｍ−１）フレーム又はフィールドまで遅延させた複数フレーム又はフィールドの遅延画素加算画像を用いて、前記単一フレーム又はフィールドの画素加算画像の前記欠落画素の値を補間して出力画像を生成する時空間画素補間手段と
を備えたことを特徴とする。

本発明の画像信号処理方法は、
入力画像の各フレーム又はフィールドを構成する複数の画素を互いに重複しないように水平方向に隣接するｍ画素、垂直方向に隣接するｎ画素の合計ｎ×ｍ画素（ｍ、ｎは正の整数で、少なくとも一方は２以上）ごとのブロックに分割し、前記各ブロックにおいてｎ×ｍ画素の信号を加算して、加算した値を前記各ブロックの重心位置に対して特定の相対位置にある選択画素の画素値とし、前記選択画素以外の画素を欠落画素とした画素加算画像を出力し、かつ、前記入力画像の１フレーム又はフィールドごとに前記ブロックへの分割の仕方を切り替えることによって、加算する前記ｎ×ｍ画素の組合せと各フレーム又はフィールド内における前記選択画素と前記欠落画素の位置を前記入力画像の１フレーム又はフィールドごとに変化させる画素加算ステップと、
前記画素加算ステップが出力する画素加算画像を最大（ｎ×ｍ−１）フレーム又はフィールドまで遅延させる遅延ステップと、
単一フレーム又はフィールドの前記画素加算画像を用いて、或いは前記単一フレーム又はフィールドの前記画素加算画像と、前記単一フレーム又はフィールドの前記画素加算画像を前記遅延ステップにより最大で（ｎ×ｍ−１）フレーム又はフィールドまで遅延させた複数フレーム又はフィールドの遅延画素加算画像を用いて、前記単一フレーム又はフィールドの画素加算画像の前記欠落画素の値を補間して出力画像を生成する時空間画素補間ステップと
を備えたことを特徴とする。

本発明によれば、入力画像の隣接する複数の画素を加算することで高感度化を実現することができるとともに、画素加算を行うｎ×ｍ画素のブロックへの分割位置と、各フレーム又はフィールド内における選択画素と欠落画素の位置をフレーム又はフィールド毎に切り替え、各フレーム又はフィールドにおける欠落画素を複数フレーム又はフィールドの画素加算画像を用いて補間することで、画素加算に伴う解像度の低下を抑えた高解像度の出力画像を得ることができる。

本発明の実施の形態１の画像信号処理装置の全体的構成を示すブロック図である。 図１の画素加算手段１における第１の画素加算パターンＰＱ１を示す図である。 図１の画素加算手段１における第２の画素加算パターンＰＱ２を示す図である。 図１の画素加算手段１における第３の画素加算パターンＰＱ３を示す図である。 図１の画素加算手段１における第４の画素加算パターンＰＱ４を示す図である。 図１の時空間画素補間手段３の内部構成の一例を示すブロック図である。 （ａ）及び（ｂ）は、図６のフレーム内補間手段３１によるフレーム内補間の処理を示す図である。 （ａ）〜（ｄ）は、フレーム内補間手段３１における補間対象画素の周辺の画素が選択画素か否かを示す図であり、（ｅ）は、フレーム内補間手段３１におけるフィルタ演算の重み付け係数を示す図である。 （ａ）及び（ｂ）は、図６のフレーム間加算手段３２におけるフレーム間加算の処理を示す図である。 図１の動き検出手段５の内部構成の一例を示すブロック図である。 （ａ）〜（ｆ）は、従来の画素加算と本発明の画素加算手段１による画素加算のそれぞれによる解像度の低下を比較して説明するための概念図である。 図１の時空間画素補間手段３の内部構成の他の例を示すブロック図である。 （ａ）〜（ｄ）は、２フレーム間加算の結果得られる画像のパターンを示す図であり、（ｅ）は、フレーム内補間におけるフィルタ演算の重み付け係数を示す図である。 図１の時空間画素補間手段３の内部構成のさらに他の例を示すブロック図である。 本発明の実施の形態２の画像信号処理装置の全体的構成を示すブロック図である。 本発明の実施の形態２の画像信号処理方法のフローを表す図である。

実施の形態１．
図１は本発明の実施の形態１の画像信号処理装置の構成を示すブロック図である。
図１に示した画像信号処理装置は、入力画像Ｄｉｎをフレーム単位で処理して出力画像Ｄｏｕｔを出力する。入力画像Ｄｉｎは、１フレームが水平垂直方向に複数の画素（例えば、６４０×４８０画素や１９２０×１０８０画素など）からなる輝度信号や色差信号、あるいは３原色信号Ｒ、Ｇ、Ｂなどのコンポーネント信号などの映像信号である。

入力画像Ｄｉｎは、画素加算手段１においてフレーム毎に異なる画素ブロックを持つ画素加算パターンで加算され、画素ブロック毎の画素加算値を画素値とする選択画素と、画素値がゼロの欠落画素からなる画素加算画像Ｄ１に変換される。
ここで言う「画素加算パターン」については後に詳しく説明する。

また、入力画像Ｄｉｎは、フレーム遅延手段４１、４２、４３により順次遅延され、それぞれ１フレーム遅延画像Ｄ４１、２フレーム遅延画像Ｄ４２、３フレーム遅延画像Ｄ４３が生成される。入力画像Ｄｉｎと、遅延画像Ｄ４１、Ｄ４２、Ｄ４３、即ち、４フレームの画像から動き検出手段５により各画素について動きが検出され、動き検出結果Ｄ５が出力され、時空間画素補間手段５に供給される。

画素加算画像Ｄ１は、フレーム遅延手段２１、２２、２３により順次遅延されて１フレーム遅延画素加算画像Ｄ２１、２フレーム遅延画素加算画像Ｄ２２、３フレーム遅延画素加算画像Ｄ２３が生成され、画素加算画像Ｄ１及び遅延画素加算画像Ｄ２１、Ｄ２２、Ｄ２３が時空間画素補間手段３に供給される。
時空間画素補間手段３は、画素加算手段１から出力される画素加算画像Ｄ１及び遅延画素加算画像Ｄ２１、Ｄ２２、Ｄ２３を受けて、各フレーム内の欠落画素の画素値を補間する。補間に当たり、動き検出手段５により動きがないと判定された画素については画素加算画像Ｄ１及び遅延画素加算画像Ｄ２１、Ｄ２２、Ｄ２３の４フレームの画像を加算し、加算結果を出力画像Ｄｏｕｔとして出力する。
一方、動き検出手段５により動きがあると判定された画素については、時空間画素補間手段３は、画素加算画像Ｄ１の欠落画素と同じフレーム内の近傍の画素から補間(フレーム内補間)を行ない、補間結果を、出力画像Ｄｏｕｔとして出力する。
以下、各構成要素の動作について詳細に説明する。

まず、画素加算手段１は、入力画像Ｄｉｎの１フレームを構成する複数の画素を互いに重複しないように、かつすべての画素（但し各フレームの端部に位置するものを除く）がいずれかのブロックに属するように、例えば、水平方向に隣接する２画素、垂直方向に隣接する２画素の合計４画素ごとのブロックに分割し、各ブロックにおいて４画素の信号を加算して、加算した値を各ブロックの重心位置幾何学的重心位置に対して特定の相対位置にある選択された画素（以下、「選択画素」と呼ぶ）の画素値とした画素加算画像Ｄ１を出力する。なお、選択画素以外の画素は画素値がゼロの欠落画素として出力される。即ち、４画素ブロック加算の場合、画素加算画像Ｄ１は各ブロックにつき１つの選択画素と３つの欠落画素を含むことになる。ここで、上記のブロックへの分割の仕方は、入力画像Ｄｉｎの１フレームが終了するごとに切り替えるものとする。４画素ブロック加算の場合、隣接する２×２画素の選び方として４通りのパターンがあり、これらのパターンを４フレーム単位で交互に切り替える。その結果、加算される画素の組合せとフレーム内における選択画素と欠落画素の位置がフレームごとに変化し、各フレーム内の各画素は、４フレーム間に１回のみ選択されて選択画素となる。上記の加算される画素の組合せおよび選択画素と欠落画素の位置を決定するブロックへの分割の仕方のパターンを「画素加算パターン」と呼び、以降その詳細について説明する。

図２〜図５は、画素加算手段１により４画素加算を行う場合の４フレームの画素加算パターンを示している。これらの図において、縦方向がｖ座標で、横方向がｈ座標で表され、左側の縁に沿う「Ｒｖ」（ｖ＝１、２、３、…）は画素の行番号を示し、上側の縁に沿う「Ｃｈ」（ｈ＝１、２、３、…）は列番号を示し、画素は各行、各列に沿ってマトリクス状に配列されている。以下、行Ｒｖ、列Ｃｈに属する画素をＰ（ｈ，ｖ）で表す。

画素加算手段１は、図２〜図５に示すように、点線で示したブロック分けにしたがって、ブロック内の４画素の信号を加算し、その加算結果を、選択画素（クロスハッチングを施した四角記号で表わす）の画素信号として出力する。ここで、選択画素以外の画素（白抜きの四角記号で表わす）についてはゼロを出力し、欠落画素として扱う。

点線で示したブロック分けはフレームごとに変化し、時刻ｔのフレームにおいて図２に示す第１の画素加算パターンＰＱ１の画素加算を行い、時刻（ｔ＋Δｔ）のフレームにおいて図３に示す第２の画素加算パターンＰＱ２の画素加算を行い、時刻（ｔ＋２・Δｔ）のフレームにおいて図４に示す第３の画素加算パターンＰＱ３の画素加算を行い、時刻（ｔ＋３・Δｔ）フレームにおいて図５に示す第４の画素加算パターンＰＱ４の画素加算を行う。フレーム（ｔ＋４・Δｔ）以降においても、第１乃至第４の画素加算パターンＰＱ１〜ＰＱ４の４フレームシーケンスを繰り返す。ここで、Δｔはフレーム間の時間間隔を表す。

第１の画素加算パターンＰＱ１において加算される４つの画素がＰ（ｈ，ｖ）、Ｐ（ｈ＋１，ｖ）、Ｐ（ｈ，ｖ＋１）、Ｐ（ｈ＋１，ｖ＋１）で表されるとすると、第２の画素加算パターンＰＱ２で加算される４つの画素は、Ｐ（ｈ，ｖ＋１）、Ｐ（ｈ＋１，ｖ＋１）、Ｐ（ｈ，ｖ＋２）、Ｐ（ｈ＋１，ｖ＋２）で表され、第３の画素加算パターンＰＱ３で加算される４つの画素は、Ｐ（ｈ＋１，ｖ）、Ｐ（ｈ＋２，ｖ）、Ｐ（ｈ＋１，ｖ＋１）、Ｐ（ｈ＋２，ｖ＋１）で表され、第４の画素加算パターンＰＱ４で加算される４つの画素は、Ｐ（ｈ＋１，ｖ＋１）、Ｐ（ｈ＋２，ｖ＋１）、Ｐ（ｈ＋１，ｖ＋２）、Ｐ（ｈ＋２，ｖ＋２）で表される。
言い換えると、第２の画素加算パターンＰＱ２で加算される４つの画素は、第１の画素加算パターンＰＱ１において加算される４つの画素に対して、垂直方向下方に１画素ずつずれた位置にある画素であり、第３の画素加算パターンＰＱ３で加算される４つの画素は、第１の画素加算パターンＰＱ１において加算される４つの画素に対して、水平方向右方に１画素ずつずれた位置にある画素であり、第４の画素加算パターンＰＱ４で加算される４つの画素は、第１の画素加算パターンＰＱ１において加算される４つの画素に対して、垂直方向下方に１画素ずつずれ、かつ水平方向右方に１画素ずつずれた位置にある画素である。
また、第２の画素加算パターンＰＱ２における選択画素は、第１の画素加算パターンＰＱ１における選択画素に対して、垂直方向下方に１画素分（１行）ずれた位置にある画素であり、第３の画素加算パターンＰＱ３における選択画素は、第１の画素加算パターンＰＱ１における選択画素に対して、水平方向右方に１画素分（１列）ずれた位置にある画素であり、第４の画素加算パターンＰＱ４における選択画素は、第１の画素加算パターンＰＱ１にける選択画素に対して、垂直方向下方に１画素分（１行）ずれ、かつ水平方向右方に１画素分（１列）ずれた位置にある画素である。

なお、上記４フレームシーケンスにおける画素加算パターンの繰り返しの順番は、ＰＱ１、ＰＱ２、ＰＱ３、ＰＱ４の順番に限定されない。例えば、ＰＱ１、ＰＱ３、ＰＱ４、ＰＱ２の順番や、ＰＱ１、ＰＱ４、ＰＱ２、ＰＱ３の順番や、ＰＱ１、ＰＱ３、ＰＱ２、ＰＱ４の順番や、ＰＱ１、ＰＱ４、ＰＱ３、ＰＱ２の順番などであってもよい。４！＝２４通りの全ての順番が可能である。

また、図２〜図５では、選択画素は、各ブロックの右下隅に位置する画素としている。ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアで処理する場合、入力画像Ｄｉｎはラスタースキャン順に画素単位で入力されるため、各ブロックにおいて右下に位置する画素が入力された時点で４画素加算した結果を同画素の出力信号として出力するのが都合がよい。ソフトウェアで処理する場合など、１フレームずつ蓄積された画像に対して画素加算処理を行う場合、選択画素は必ずしも各ブロックの右下に位置する画素に限定されない。
ただし、各ブロックの重心位置に対する選択画素の位置は、すべてのフレームシーケンスで同じである必要がある。

以上で説明したように、画素加算手段１は、４フレームシーケンスで異なる画素加算パターンによる画素加算を行って、画素加算画像Ｄ１を生成する。画素加算画像Ｄ１は、それぞれのフレームの選択画素において画素加算した値を有し、それ以外の画素において値が欠落した（ゼロとなった）画像である。

次に、フレーム遅延手段２１は、画素加算画像Ｄ１を１フレーム遅延した画素加算画像Ｄ２１を出力する。フレーム遅延手段２２は、画像Ｄ２１をさらに１フレーム遅延した画素加算画像Ｄ２２を出力する。フレーム遅延手段２３は、画像Ｄ２２をさらに１フレーム遅延した画素加算画像Ｄ２３を出力する。すなわち、フレーム遅延手段２１、２２、２３により、１フレーム遅延した画素加算画像Ｄ２１、２フレーム遅延した画素加算画像Ｄ２２、３フレーム遅延した画素加算画像Ｄ２３が得られる。したがって、画素加算画像Ｄ１、Ｄ２１、Ｄ２２、Ｄ２３の４フレーム分の画像には、図２〜図５で示した４つの画素加算パターンＰＱ１〜ＰＱ４を用いて画素加算された画像がすべて含まれる。

次に、時空間画素補間手段３は、上記のように、フレーム内補間又はフレーム間加算により、各フレームの欠落画素の画素値を求める。フレーム内補間は、単一フレームの画素加算画像Ｄ１内の、各欠落画素の近傍に位置する画素を用いて行なわれる。フレーム間加算は、上記単一のフレームの画素加算画像Ｄ１と、該単一のフレームに対して最大３フレームまで遅延された複数のフレームの画素加算画像（Ｄ２１、Ｄ２２、Ｄ２３）内の、上記欠落画素（と同一の位置の画素）の近傍に位置する画素を用いて行なわれる。各画素についてフレーム内補間を行なうかフレーム間加算を行なうかは、動き検出手段５の当該画素についての動き検出結果Ｄ５に基づいて決められる。
なお、以下で説明するように、補間処理においては、欠落画素の画素値を補間する過程で、画素値が既知の画素についても同様の処理を行なって、既知の画素値自体を補間値として出力する場合もあるので、以下では、「欠落画素（の画素値）の補間」と言う代わりに「補間対象画素（の画素値）の補間」と言うことがある。

図６は、時空間画素補間手段３の構成例を示すブロック図である。図６に示した時空間画素補間手段３は、フレーム内補間手段３１、フレーム間加算手段３２、及び選択手段３３を備える。

まず、フレーム内補間手段３１について説明する。フレーム内補間手段３１は、画素加算画像Ｄ１の補間対象画素の値を、同フレーム内の該補間対象画素の近傍領域内の画素の値を用いて補間し、フレーム内補間画像Ｄ３１を出力する。

図７（ａ）及び（ｂ）は、フレーム内補間手段３１の動作を説明するための概念図である。図７（ａ）は、相連続するフレームの画素加算画像Ｄ１の一部分（３×３画素分）を時間方向に沿って並べた時系列を示している。時刻ｔに対応するフレームが画素加算パターンＰＱ１にしたがって画素加算された画像であるとすると、時刻（ｔ＋Δｔ）に対応するフレームは画素加算パターンＰＱ２にしたがって画素加算された画像、時刻（ｔ＋２・Δｔ）に対応するフレームは画素加算パターンＰＱ３にしたがって画素加算された画像、時刻（ｔ＋３・Δｔ）及び時刻（ｔ−Δｔ）に対応するフレームは画素加算パターンＰＱ４にしたがって画素加算された画像である。ここで、Δｔはフレーム間の時間間隔を表す。各フレームにおいてクロスハッチングを施した丸印で示した画素は、対応する画素加算パターンにおける選択画素を意味している。

図７（ｂ）は、図７（ａ）の各フレームの画素加算画像Ｄ１からフレーム内補間画像Ｄ３１を生成する動作を概念的に示している。図中、補間によって求められる画素がハッチングを施した丸印で示されている。時刻（ｔ＋２・Δｔ）におけるフレーム内補間画像Ｄ３１は、時刻（ｔ＋２・Δｔ）の画素加算画像Ｄ１から、欠落画素（補間対象画素）の値をフレーム内で補間することによって求められる。また、時刻（ｔ＋３・Δｔ）のフレーム内補間画像Ｄ３１は、時刻（ｔ＋３・Δｔ）の画素加算画像Ｄ１から、欠落画素（補間対象画素）の値をフレーム内で補間することによって求められる。ここで、フレーム内補間とは、補間対象画素（図中ハッチングを施した丸印で示す）の値を、同じフレーム内の近傍でかつ値が定義されている（画素値が既知である）選択画素（図中のクロスハッチングを施した丸印で示す）から推測して補間することである。

フレーム内補間の演算は例えば以下のように行う。図８（ａ）〜（ｄ）は、画素加算画像Ｄ１の補間対象画素を中心とする近傍３×３画素の領域を取り出したものである。選択画素はクロスハッチングを施した四角で表わされ、欠落画素は白抜きの四角で表わされている。補間対象画素を中心とする選択画素（クロスハッチングを施した四角印）の相対位置は、画素加算パターンにがいずれであるかによらず、図８（ａ）〜（ｄ）のいずれかしかない。

図８（ａ）の場合、補間対象画素自身に値が存在している(既知である)ため、その画素の値をそのまま補間値として用いる。図８（ｂ）〜（ｄ）の場合、中央の補間対象画素の値は欠落している。
図８（ｂ）の場合、上下に隣接する選択画素の値から補間する。補間後の画素値は、上下に隣接する２つの選択画素の値の平均値（１／２の重み付けで加算したもの）を求めることで得られる。
図８（ｃ）の場合は、左右に隣接する２つの選択画素の値の平均値（１／２の重み付けで加算したもの）を求めることによって補間する。
図８（ｄ）の場合は、斜め方向に隣接する４つの選択画素の値の平均値（１／４の重み付けで加算したもの）を求めることによって補間する。
ここで、欠落画素の値はゼロであるので、上記の補間処理は、画素加算画像Ｄ１の各画素に対して図８（ｅ）に示す３×３画素のフィルタ演算を行うことと等価である。したがって、フレーム内補間手段３１は、画素加算画像Ｄ１の全ての画素に対して、図８（ｅ）に示す３×３画素のフィルタ演算（各画素の画素値に対して図８（ｅ）に示す係数を乗算し、それぞれの積の総和を求める演算）を行うものとしてもよい。

なお、フレーム内補間手段３１による補間処理は、上述した線形補間に限定されず、例えば最近傍法やバイキュービック法などを用いてもよい。

以上で説明したように、フレーム内補間手段３１は、画素加算画像Ｄ１の単一フレーム内で空間方向に沿って選択画素を参照することで欠落画素の補間を行う。

次に、フレーム間加算手段３２について説明する。フレーム間加算手段３２は、画素加算画像Ｄ１、１フレーム遅延された画素加算画像Ｄ２１、２フレーム遅延された画素加算画像Ｄ２２、３フレーム遅延された画素加算画像Ｄ２３の４フレーム分の画像の、互いに同じ画素位置の画素（各フレーム内の位置が互いに同じ画素）の画素値を加算し、フレーム間加算画像Ｄ３２を出力する。

図９（ａ）及び（ｂ）は、フレーム間加算手段３２の動作を説明するための概念図である。図７（ａ）と同様、図９（ａ）は、相連続するフレームの画素加算画像Ｄ１の一部分（３×３画素分）を時間方向に沿って並べた時系列を示しており、
図９（ｂ）は、図９（ａ）に示される複数のフレームの画素加算画像Ｄ１からフレーム間加算画像Ｄ３２を生成する動作の概念図を示している。図９（ｂ）でも、加算によって求められる画素がクロスハッチングを施した丸印で示されている。図中、時刻（ｔ＋２・Δｔ）におけるフレーム間加算画像Ｄ３２は、時刻（ｔ＋２・Δｔ）の画素加算画像Ｄ１に、時刻（ｔ−Δｔ）、時刻ｔ、時刻（ｔ＋Δｔ）の過去３フレームの画素加算画像Ｄ１を加算することにより求められる。また、時刻（ｔ＋３・Δｔ）におけるフレーム間加算画像Ｄ３２は、時刻（ｔ＋３・Δｔ）の画素加算画像Ｄ１に、時刻ｔ、時刻（ｔ＋Δｔ）、時刻（ｔ＋２・Δｔ）の過去３フレームの画素加算画像Ｄ１を加算することにより求められる。ここで、加算の対象となる４フレームの画素加算画像（Ｄ１、Ｄ２１、Ｄ２２、Ｄ２３）は、互いに異なる画素加算パターンにしたがって画素加算されたものであり、これらの画像で値が定義されている選択画素（図中のクロスハッチングを施した丸印で示す）の位置は互いにオーバーラップしない（異なる画素位置のものである）。したがって、この４フレームの画像を加算することにより、欠落画素の値を他のフレームの選択画素の値を用いて補間することができる。

以上で説明したように、フレーム間加算手段３２は、画素加算画像Ｄ１の複数フレームにわたって時間方向に沿って選択画素を参照することで欠落画素の補間を行う。なお、図７（ｂ）では、図示された３×３画素の領域の中心の画素が補間対象画素であり、該補間対象画素を中心とする３×３画素の領域内の他の画素（又は当該中心の画素自体）を用いて補間が行われたが、フレーム間加算においては、各フレーム内の各画素の補間は、他のフレーム内の同じ画素位置の画素（又は当該画素自体）を用いて補間が行われる。

次に、選択手段Ｄ３３は、動き検出手段５の各画素についての動き検出結果Ｄ５に応じて、フレーム内補間画像Ｄ３１又はフレーム加算画像Ｄ３２のいずれかを画素ごとに選択して出力する。動き検出手段５の動作については後述するが、選択手段３３は、動き検出手段５において動きありと判定された画素ではフレーム内補間画像Ｄ３１の画素値を出力し、動き検出手段５において動きなしと判定された画素ではフレーム間加算画像Ｄ３２の画素値を出力する。最終的に、選択手段３３の出力を、時空間画素補間手段３の出力画像（補間画像）Ｄ３とする。

以上が、図６に示した時空間画素補間手段３の説明である。上述したように、時空間画素補間手段３は、画素加算画像Ｄ１の空間方向及び／又は時間方向の補間処理によって欠落画素の値を補間し、後述する動き検出手段５の各画素についての動き検出結果Ｄ５に応じて、空間方向の補間画像と時間方向の補間画像を適応的に切り替えることを特徴とする。

次に、動き検出手段５の動作について説明する。
フレーム遅延手段４１は、入力画像Ｄｉｎを１フレーム分遅延した画像Ｄ４１を出力する。フレーム遅延手段４２は、画像Ｄ４１をさらに１フレーム分遅延した画像Ｄ４２を出力する。フレーム遅延手段４３は、画像Ｄ４２をさらに１フレーム分遅延した画像Ｄ４３を出力する。すなわち、フレーム遅延手段４１、４２、４３により、入力画像Ｄｉｎを１フレーム遅延した画像Ｄ４１、２フレーム遅延した画像Ｄ４２、３フレーム遅延した画像Ｄ４３が得られる。

動き検出手段５は、入力画像Ｄｉｎ、１フレーム遅延画像Ｄ４１、２フレーム遅延画像Ｄ４２、３フレーム遅延画像Ｄ４３の４フレーム分の画像から、該４フレーム期間の画像内の各画素についての動きを検出する。動き検出手段５の構成例を図１０に示す。

図１０に示す動き検出手段５は、フィルタ手段５１Ａ〜５１Ｄ、差分絶対値算出手段５２Ａ〜５２Ｃ、閾値処理手段５３Ａ〜５３Ｃ、及びＯＲ手段(論理和手段)５４からなる。フィルタ手段５１Ａ、５１Ｂ、５１Ｃ、５１Ｄは、それぞれ、各画素を中心とするＮ×Ｎ画素（Ｎは２以上の整数）の平滑化フィルタを用いて(即ちＮ×Ｎ画素に対してフィルタリングを行なって)画像Ｄｉｎ、Ｄ４１、Ｄ４２、Ｄ４３を平滑化した画像(各画素についての平滑化値)Ｄ５１Ａ、Ｄ５１Ｂ、Ｄ５１Ｃ、Ｄ５１Ｄを出力する。

差分絶対値算出手段５２Ａは、画像Ｄ５１Ａと画像Ｄ５１Ｂの(各画素についての平滑化値の)差分の絶対値をとって差分画像(当該画素についての差分値)Ｄ５２Ａを出力する。同様に、差分絶対値算出手段５２Ｂは画像Ｄ５１Ｂと画像Ｄ５１Ｃの(各画素についての平滑化値の)差分の絶対値をとって差分画像(当該画素についての差分値)Ｄ５２Ｂを出力し、差分絶対値算出手段５２Ｃは画像Ｄ５１Ｃと画像Ｄ５１Ｄの(各画素についての平滑化値の)差分の絶対値をとって差分画像(当該画素についての差分値)Ｄ５２Ｃを出力する。
閾値処理手段５３Ａ、５３Ｂ、５３Ｃは、各画素についての差分画像(各画素についての差分値)Ｄ５２Ａ、Ｄ５２Ｂ、Ｄ５２Ｃの差分値が所定の閾値以上かどうかを判別し、閾値以上であれば当該画素に関し動きありと判定して「１」、閾値未満であれば動きなしと判定して「０」とする二値化処理を行って二値画像(各画素についての判定結果を示す値)Ｄ５３Ａ、Ｄ５３Ｂ、Ｄ５３Ｃを生成する。
ＯＲ手段５４は、二値画像Ｄ５３Ａ、Ｄ５３Ｂ、Ｄ５３Ｃの論理和をとって、各画素についての動き検出結果Ｄ５４を得る。最終的には動き検出結果Ｄ５４を動き検出手段５の出力Ｄ５として出力する。

図１０に示す動き検出手段５は、まず、フィルタ手段５１Ａ〜５１Ｄにおいて、動き検出の対象となる４フレームの画像を、各画素を中心として、Ｎ×Ｎ画素の領域毎に平滑化し、簡易的なノイズ除去を行う。これにより、ノイズによる動きの誤検出を防止する。平滑化フィルタのサイズは、例えば３×３画素や７×７画素とする（３×３画素や７×７画素を用いてフィルタリングを行なう）ものであるが、入力画像Ｄｉｎのノイズ量によって変えてもよい。

次に、差分絶対値算出手段５２Ａ〜５２Ｃにおいて、平滑化後の４フレームの画像のそれぞれについて隣接するフレーム間の差分絶対値を算出する。差分絶対値は、動きのある部分では差分絶対値は大きな値となり、動きがない部分では差分絶対値は小さな値となる。

次に、閾値処理手段５３Ａ〜５３Ｃにおいて、差分絶対値が所定の閾値以上であれば、当該画素に関し、動きありと判定し、閾値未満であれば動きなしと判定する。閾値は、ノイズによる動きの誤検出を防止し、かつ、動きのある部分で検出漏れが起きないように経験則的に決定する。また、閾値処理手段５３Ａ、５３Ｂ、５３Ｃのそれぞれの閾値は、これら３つの手段で同じ値を用いてもよいし、異なる値を用いてもよい。

最後に、ＯＲ手段５４において、４フレームの画像の隣接フレーム間で検出した動き検出結果Ｄ５３Ａ、Ｄ５３Ｂ、Ｄ５３Ｃの論理和をとることで、４フレーム期間中のいずれかで動きのあった画素については、動きありを示す動き検出結果（信号）Ｄ５を出力する。ここで、論理和をとっているのは、例えば、現在のフレームの画像と１フレーム前の画像の間では動きなしと判定されたが、２フレーム前の画像と３フレーム前の画像の間では動きありと判定された場合に、４フレーム期間を総合して動きありと判定されるようにするためである。
以上が、動き検出手段５の動作の説明である。

なお、動き検出手段５は、図１０で示した構成に限定されず、既に公知となっている種々の動き検出方法を用いてもよい。

動き検出手段５による動き検出結果Ｄ５は、動きのある画素については第１の値、例えば「１」、動きがない画素については第２の値、例えば「０」で表した二値データとして、時空間画素補間手段３に供給され、上述した動きのある領域と動きのない領域で適応的に処理を切り替える目的のために用いられる。

以下、本発明における画像信号処理装置の作用、効果について説明する。
本発明の実施の形態１による画像信号処理装置は、画素加算手段１において複数の画素の信号を加算することで１画素の信号量を増やすことができるので、ノイズを増幅することなく感度を向上させることができる。水平方向に２画素、垂直方向に２画素の合計４画素の加算を行う場合、感度は４倍となる。この作用により、入力画像Ｄｉｎを生成する撮像装置（図示せず）のアナログ利得を小さく設定することができ、出力画像ＤｏｕｔのＳＮ比を向上することができる。

また、動き検出手段５において画像中の動きを検出し、動きのない領域では時空間画素補間手段３において画素加算画像Ｄ１の複数フレームの画素の画素値を加算して出力することで、解像度の低下を抑えた高解像度な画像を得ることができる。

一方、動きのある領域では時空間画素補間手段３において画素加算画像Ｄ１の各フレーム内の画素を同じフレーム内の画素で補間して出力することで、動きによって生じる弊害を防止することができる。

以下、まず、本発明の画像信号処理装置が、画素加算に伴う解像度の低下を抑えることができる理由についてさらに詳しく説明する。

図１１（ａ）〜（ｆ）は、４画素加算を行う場合について、従来の画素加算と本発明の画素加算手段１による画素加算のそれぞれによる解像度の低下を比較説明するための図である。図１１（ａ）は、入力画像の４×４画素の領域について、従来の画素加算を模式的に示す図である。太線の枠は加算する４画素の組を表し、クロスハッチングを施した画素は加算結果が出力される画素を表している。

図１１（ａ）に示すように、従来の画素加算では、入力画像の水平４画素、垂直４画素につき（４×４画素の領域内において）、水平２画素、垂直２画素の画素加算結果が４個得られる。そのため、従来の画素加算で４画素加算を行う場合、水平解像度、垂直解像度はともに１／２に低下する。

一方、図１１（ｂ）〜（ｆ）は、入力画像の４×４画素の領域について本発明の画素加算手段１による画素加算を模式的に示す図である。図１１（ａ）と同様に、太線の枠は加算する４画素の組を表し、クロスハッチングを施した画素は加算結果が出力される画素を表している。なお、説明の都合上、太線の枠やクロスハッチングは、中央の２×２画素（図で上から２行目、及び３行目で左から２列目及び３列目の画素）の画素加算結果を出力するのに関係する画素についてのみ示している。本発明の画素加算手段１による画素加算では、フレームごとに画素加算パターンＰＱ１、ＰＱ２、ＰＱ３、ＰＱ４が切り替わり、時空間画素補間手段３において、これら４つの画素加算パターンにより画素加算された４フレームの画素加算画像（図１１（ｂ）〜（ｅ））を統合することで図１１（ｆ）に示す出力画像（ＰＱ１＋ＰＱ２＋ＰＱ３＋ＰＱ４）を得る。図１１（ｆ）に示すように、統合後の出力画像において中央の２×２画素の画素加算結果を得るために必要な入力画像の画素数は、太線の枠で示した領域の和集合をとって３×３画素である。すなわち、入力画像の水平３画素、垂直３画素につき、水平２画素、垂直２画素の画素加算結果が得られることになる。したがって、本発明の画素加算手段１による画素加算では、水平解像度、垂直解像度の低下を、画素数換算で２／３程度に抑えることができる。

以上で説明したように、本発明の画像信号処理装置は、画素加算に伴う解像度の低下を抑えることができる。

一方、４フレームの期間中に被写体に動きがあった場合、上述した方法で４フレームの画像を時間方向に統合すると動画像の画質劣化を生じる。以下、被写体の動きによって生じる動画像の画質劣化とそれを防止する本発明の効果について説明する。

統合の対象となる４フレームの期間中に被写体が動いた場合、この４フレームの画像の間で被写体の位置にずれが生じ、これらの画像を統合すると動体ぶれが発生する。この動体ぶれは、過去のフレームの画像が現在のフレームの画像に重ね合わせられることによって動きの軌跡に沿って残像が現れることによって生じる。また、重ね合わせられる４フレームの画像のそれぞれは、画素加算により欠落画素を含んだモザイク状の画像であるので、出力画像にはモザイク状の残像が付随し、大きな画質劣化となる。

そこで、本発明の画像信号処理装置では、動き検出手段５において、入力画像Ｄｉｎの４フレームを用いて該４フレーム期間中の動きを検出し、動きがある領域では、時空間画素補間手段３において各フレームの画素加算画像Ｄ１の画素をフレーム内の画素で補間して出力することで、過去のフレームの画像が出力画像に重ね合わせられないようにしてモザイク状の残像による画質劣化を防止する。

ここで、フレーム内補間は、水平解像度１／２、垂直解像度１／２となった各フレームの画素加算画像のみを用いて、３×３画素の線形補間フィルタ演算などの補間処理により出力画像を生成するので、これを画面全体に行うと解像度の低下につながる。しかし、人間の視覚特性上、動き部分の解像力は静止部分のそれより劣るため、本発明のように動き部分のみでフレーム内補間が動作するようにすることで、静止部分は時間方向に複数フレームを統合することで解像度の低下を抑えつつ、動き部分は動体ぶれを防止するフレーム内補間を用いることで、解像度の低下も視認されにくい。

以上で説明したように、本発明の画像信号処理装置は、画素加算に伴う解像度の低下を抑えることができるとともに、被写体の動きによって生じる動画像の画質劣化を防止することができる。

さらに、本発明の画像信号処理装置では、動きがない部分において、出力画像Ｄｏｕｔの互いに隣り合う画素の信号を時間的に異なるフレームの画像信号から生成することとしたので、ノイズの粒状感が小さくなった好ましい画像を得ることができる。

入力画像Ｄｉｎを生成する撮像装置（図示せず）においては、ベイヤー配列のＲＡＷ画像データ（ロー画像データ）からＲＧＢ画像を作るため、ＲＧＢ画像の各画素を、周辺の画素との重み付け加算によって作り出す色同時化処理を行うことが多い。
入力画像Ｄｉｎがこの色同時化処理を経て生成されたものとすると、１つの画素で発生したノイズは周辺画素に伝播し、フレーム内の隣接画素間で相関をもった粒状感の大きいノイズをもつことになる。粒状感の大きい低周波のノイズは人間の視覚特性上目立ちやすく、粒状感の小さい高周波のノイズよりも気になる。そこで、本発明の画像信号処理装置では、上記のような粒状感の大きいノイズの特性をもった入力画像Ｄｉｎが入力された場合、動きのない部分において、出力画像Ｄｏｕｔの互いに隣り合う画素の信号を互いに補間のために用いることなく、各画素の信号を時間的に異なるフレームの画像信号から生成することにより、入力画像Ｄｉｎのフレーム内の隣接画素間の相関をなくすことができる。隣接画素間の相関がなくなれば、ノイズの粒状感は小さくなるため、人間の視覚特性上、好ましい画像が得られる。

なお、上記の実施の形態１では、動き検出手段５による動き検出結果Ｄ５を動きありを示す値又は動きなしを示す値の二値であるとし、時空間画素補間手段３において、動きのある領域では単一フレームの画素加算画像を用いて出力画像を生成し、動きのない領域では４フレームの画素加算画像を用いて出力画像を生成することとしたが、本発明は動き検出手段５による動き検出結果Ｄ５を二値、時空間画素補間手段３による出力画像の生成方法を二通りとする構成に限定されない。例えば、動き量に応じて、動き検出結果Ｄ５を多段階、あるいは連続的に変化する値としてもよい。

例えば、動き検出手段５の動き検出結果Ｄ５として、動きありと動きなしの間に中間レベルを設け、時空間画素補間手段３において、前記中間レベルでは２フレーム、例えば各フレームとその直前のフレームの画素加算画像を用いて出力画像を生成することとしてもよい。その場合には、時空間補間手段３として、図６に示すものの代わりに例えば図１２に示すものを用いる。図１２に示す時空間画素補間手段３は、フレーム内補間手段３１と、第１のフレーム間加算手段３２と、第２のフレーム間加算手段３４と、選択手段３５とを有する。フレーム内補間手段３１は図６に示すフレーム内補間手段３１と同じものである。

第１のフレーム間加算手段３２は、図６のフレーム間加算手段３２と同じものであり、第１のフレーム間加算手段３２が出力する第１のフレーム間加算画像Ｄ３２は、図６のフレーム間加算画像Ｄ３２と同じものである。

第２のフレーム間加算手段３４は、画素加算画像Ｄ１、及び１フレーム遅延された画素加算画像（画素加算画像Ｄ１のフレームの直近のフレームの画像）Ｄ２１の２フレーム分の画像を加算し、第２のフレーム間加算画像Ｄ３４を出力する。

動き検出手段５としては（図１の動き検出手段５の代わりに）、動きありを示す第１の値、動きなしを示す第２の値のほか、動きの程度が中間レベルであるかを示す第３の値を持つ動き検出結果Ｄ５を出力するものを用いる。

選択手段３５は、動き検出手段（５）の動き検出結果Ｄ５が、上記第１の値を持つときは、フレーム内補間手段３１の出力Ｄ３１を選択し、上記第２の値を持つときは、第１のフレーム間加算手段３２の出力Ｄ３２を選択し、上記第３の値を持つときは、第２のフレーム間加算手段３４の出力Ｄ３４を選択し、選択した画像を、補間画像Ｄ３として出力する。

第１の値、第２の値のほか、第３の値を持つ動き検出結果Ｄ５を出力する動き検出手段５は例えば、図１０に示す動き検出手段５に、閾値処理手段５３Ａ、５３Ｂ、５３Ｃに加えてより小さな閾値を持つ付加的閾値処理手段を設け、これらの付加的閾値処理手段のいずれかにおいて閾値以上であることが検出され、かつ図１０の閾値処理手段５３Ａ、５３Ｂ、５３Ｃのすべてにおいて、閾値未満であるときに、動きの程度の中間レベルであると判定するものを用いることができる。

また、図１０に示す動き検出手段５において、閾値処理手段５３Ａの出力が「動きなし」を示し、他の閾値処理手段５３Ｂ、５３Ｃのいずれかが、「動きあり」を示す場合には、動きの程度が中間レベルであると判定することとしても良い。このようにして、直近のフレームで動きがないという条件を動き検出手段５における前記中間レベルの検出条件として加えれば、２フレームを合成することで残像が生じることはなく、また、２フレームの画素加算画像を参照すると、１フレーム内で補間するよりも小さいサイズの（周波数特性のよい）フィルタで欠落画素の補間ができるため、周波数特性が改善され解像感が上がるという効果が得られる。

なお、２フレームのフレーム間加算を行った場合には、全ての画素について画素値が得られるわけではないが、その場合には、フレーム間加算の後で、補間などを含む合成処理により、すべての画素について画素値を得ることとすれば良い。例えば、フレーム間加算に当たっては、図２〜図５のパターンＰＱ１とパターンＰＱ２の加算、パターンＰＱ１とパターンＰＱ４の加算、パターンＰＱ２とパターンＰＱ３の加算、又はパターンＰＱ３とパターンＰＱ４の加算を行うこととする（即ち、パターンＰＱ１とパターンＰＱ３を加算、及びパターンＰＱ２とパターンＰＱ４を加算を行わないこととする）。この場合、２フレーム加算の結果得られる画像のパターンは図１３（ａ）〜（ｄ）のいずれかとなる。そこで、図１３（ａ）〜（ｄ）の各々の太線枠の画素（各図の中心に位置する画素）を補間対象画素とすると、図１３（ａ）、図１３（ｂ）の場合には、補間対象画素の画素値は既知であるためそのままの値を用い、図１３（ｃ）、図１３（ｄ）の場合には、補間対象画素の画素値を左右に隣接する画素のみから補間する。これは、２フレーム加算後の画像に対して、図１３（ｅ）に示す１次元のフィルタ演算を行うことと等価である。１次元フィルタ演算と等価な処理を行うことにより、２フレーム加算を行った後に、１フレーム内で２次元フィルタを用いて補間をする場合に比べて垂直解像度の低下を抑えることができる。

なお、上記の例では、動き検出手段５による動き検出結果に応じて時空間補間手段３が、出力画像Ｄｏｕｔの生成のために用いられる画素加算画像のフレーム数が、４又は２又は１に変更されていると言える。しかし、本発明はこのような、フレーム数に限定されず、時空間補間手段３が、出力画像Ｄｏｕｔの生成のために用いられる画素加算画像のフレーム数を、動き検出結果に応じて変化させるものであれば良い。

また、動き検出手段５の動き検出結果Ｄ５として、動き量に応じて連続的に変化する値としてもよい。この場合は、図１４に示すように、時空間画素加算手段３における選択手段３３の代わりに混合手段３６を用い、混合手段３６が、動き検出結果Ｄ５により示される動き量に応じて、フレーム内補間画像Ｄ３１とフレーム間加算画像Ｄ３２の混合の割合を変化させるような構成とすることが可能である。動き量の大きい領域では、フレーム間加算画像Ｄ３２の混合の割合を小さくし、フレーム内加算画像Ｄ３１の混合の割合を大きくすることで、残像を目立ちにくくすることができる。一方、動き量の小さい領域では、フレーム間加算画像Ｄ３２の混合の割合を大きくし、フレーム内加算画像Ｄ３１の混合の割合を小さくすることで、解像度の低下を抑えることができる。

また、本実施の形態１では、画素加算手段１で水平方向に２画素、垂直方向に２画素の合計４画素の画素を加算するものとし、画素加算パターンを４フレームシーケンスで切り替えるものとした。また、時空間画素補間手段３で４フレーム分の画素加算画像Ｄ１を統合して出力画像Ｄｏｕｔを生成するものとした。しかし、加算する画素の数は、必ずしも水平方向に２画素、垂直方向に２画素に限定されない。画素加算する画素数は、画素加算パターンのシーケンス数、及び出力画像の生成に用いる画素加算画像のフレーム数と同じにすることを条件として、任意である。

例えば、水平方向に１画素、垂直方向に２画素の合計２画素の加算を行う場合には、画素加算パターンを２フレームシーケンスで切り替え、画素加算画像の２フレームを統合して出力画像を生成するものとすればよい。また、水平方向に３画素、垂直方向に３画素の合計９画素の加算を行う場合には、画素加算パターンを９フレームシーケンスで切り替え、画素加算画像の９フレームを統合して出力画像を生成するものとすればよい。水平方向に１画素、垂直方向に２画素の合計２画素の加算を行う場合には、感度は２倍しか得られないが、水平方向の解像度の劣化がなく、かつ、２フレーム分の画素加算画像により出力画像を生成することができるので、必要なフレームメモリの容量を削減することができる。一方、水平方向に３画素、垂直方向に３画素の合計９画素の加算を行う場合には、４画素加算を行う場合に比べて水平方向、垂直方向の解像度の劣化が大きくなり、また出力画像の生成に９フレーム分の画素加算画像が必要になることから必要なフレームメモリの容量が増大するが、９倍もの感度を得ることができる。

一般化すれば、画素加算手段として（図１の画素加算手段１の代わりに）、入力画像Ｄｉｎの各フレームを構成する複数の画素を互いに重複しないように水平方向に隣接するｍ画素、垂直方向に隣接するｎ画素の合計ｎ×ｍ画素（ｍ、ｎは正の整数で、少なくとも一方は２以上）ごとのブロックに分割し、ブロックのそれぞれにおいてｎ×ｍ画素の信号を加算して、加算した値をブロックの中から選択された選択画素の画像信号とし、選択画素以外の画素は画素値がゼロの欠落画素とする画素加算画像を出力し、かつ、前記ｎ×ｍ画素の組を決定する前記ブロックへの分割位置と、フレーム内における選択画素と欠落画素の位置を表す画素加算パターンを、入力画像の１フレームが終了するごとに切り替えるものを用い得る。

この場合、フレーム遅延手段として（図１のフレーム遅延手段２１、２２、２３の代わりに）、画素加算手段（１）が出力する画素加算画像（Ｄ１）を最大（ｎ×ｍ−１）フレームまで遅延させて、１フレーム遅延画素加算画像から（ｎ×ｍ−１）フレーム遅延画像までを生成するものを用いる。
また、時空間画素補間手段として（図１の時空間画素補間手段３の代わりに）、画素加算手段１が出力する単一フレームの画素加算画像Ｄ１のみを用いて、或いは該単一フレームの画素加算画像と、フレーム遅延手段が出力する１フレーム遅延画像から（ｎ×ｍ−１）フレーム遅延画像までを用いて、画素加算画像Ｄ１の欠落画素の補間を行なって、出力画像Ｄｏｕｔを生成するものを用いる。

さらに、本実施の形態１では、入力画像Ｄｉｎはフレーム単位で入力されるものとしたが、これをフィールド単位で入力されるものとしてもよい。入力画像Ｄｉｎがインターレース方式の映像信号として入力される場合、フレームごとに処理を行っても、フィールドごとに処理を行っても、同様の効果が得られる。

また、本実施の形態１では、入力画像Ｄｉｎは図示しない撮像装置により生成され、図示しない撮像装置の高感度化を実現するものとして説明したが、必ずしも撮像装置を構成要件とする必要はなく、フレーム又はフィールドごとに順次入力される一般的な映像信号に対して処理を適用し、同様の効果を得ることができる。

実施の形態２．
実施の形態１では、本発明をハードウェアにより実現するものとして説明したが、図１に示される構成の一部又は全部をソフトウェアにより実現することも可能である。その場合の処理を図１５及び図１６を参照して説明する。

図１５は、実施の形態２の画像信号処理装置を示す。図示の画像信号処理装置は、ＣＰＵ１１と、プログラムメモリ１２と、データメモリ１３と、第１のインターフェース１４と、第２のインターフェース１５と、これらを接続するバス１６を有し、例えば図１に示す画像信号処理装置の代わりに用いることができる。

ＣＰＵ１１は、プログラムメモリ１２に記憶されたプログラムに従って動作する。動作の過程で種々のデータをデータメモリ１３に記憶させる。例えば、図１に示されるのと同じ入力画像Ｄｉｎがインターフェース１４を介して供給され、ＣＰＵ１１において、図１の画像信号処理装置と同様の処理を行ない、処理の結果生成される出力画像Ｄｏｕｔがインターフェース１５を介して出力される。

以下、ＣＰＵ１１により実施される処理、すなわち画像信号処理方法を、図１６を参照して説明する。

図１６は、本実施の形態の画像信号処理方法のフローを表す図であり、図示の画像処理方法は、画像入力ステップＳＴ１１、画素加算ステップＳＴ１２、画像記憶ステップＳＴ１３、フレーム数判定ステップＳＴ１４、動き検出ステップＳＴ１５、時空間補間ステップＳＴ１６、画像出力ステップＳＴ１７、及び終了判定ステップＳＴ１８を含む。

画像入力ステップＳＴ１１では、入力画像Ｄｉｎが１フレーム分インターフェース１４を介して入力される。

画素加算ステップＳＴ１２では、入力画像Ｄｉｎの画素加算が行われる。即ち、入力画像Ｄｉｎの１フレームを構成する複数の画素を互いに重複しないように水平方向に２画素、垂直方向に２画素の合計４画素ごとのブロックに分割し、各ブロックにおいて４画素分の信号を加算し、加算した値をブロックの中から選択された画素（選択画素）の画像信号として出力する。ここで、加算する４画素の組を決定するブロックへの分割位置及び画像信号が出力される選択画素のフレーム内における位置（画素加算パターン）を入力画像Ｄｉｎの１フレーム分が終了するごとに切り替える。従って、現在のフレームがフレームシーケンスの何番目のフレームかによって、上記のブロックへの分割位置及び選択画素のフレーム内における選択画素の位置が異なる。
画素加算ステップＳＴ１２の動作は、実施の形態１の画素加算手段１と同等であるので詳細な説明は省略する。

画像記憶ステップＳＴ１３では、１フレーム分の入力画像Ｄｉｎ及び１フレーム分の加算画像Ｄ１がデータメモリ１３に保存される。
所定フレーム数判定ステップＳＴ１４では、データメモリ１３に所定数、例えば３フレーム分の入力画像及び加算画像が蓄積されたかどうかの判定を行う。
動作開始直後は判定結果がＮＯとなり、その場合ステップＳＴ１１に戻る。判定結果がＹＥＳであればステップＳＴ１５に進む。
入力画像Ｄｉｎは、データメモリ１３に記憶されてから（書き込まれてから）１フレーム期間経過後には、１フレーム遅延画像Ｄ４１となり、２フレーム期間経過後には、２フレーム遅延画像Ｄ４２となり、３フレーム期間経過後には、３フレーム遅延画像Ｄ４３になる。
同様に、画素加算画像Ｄ１は、データメモリ１３に記憶されてから（書き込まれてから）１フレーム期間経過後には、１フレーム遅延画素加算画像Ｄ２１となり、２フレーム期間経過後には、２フレーム遅延画素加算画像Ｄ２２となり、３フレーム期間経過後には、３フレーム遅延画素加算画像Ｄ２３になる。
このようにデータメモリ１３及びその書込み及び読出しを制御するＣＰＵ１１が、入力画像Ｄｉｎ及び画素加算画像Ｄ１に対するフレーム遅延手段として作用する。
入力画像Ｄｉｎ、加算画像Ｄ１はともに、データメモリ１３に記憶されてから（書き込まれてから）、４フレーム期間経過後は不要となるので、消去される。

動き検出ステップＳＴ１５では、動き検出を行なう。即ち、現在のフレームの入力画像Ｄｉｎと、データメモリ１３に記憶されている１フレーム前の画像（１フレーム遅延画像）Ｄ４１、２フレーム前の画像（２フレーム遅延画像）Ｄ４２、３フレーム前の画像（３フレーム遅延画像）Ｄ４３の４フレーム分の画像から、該４フレーム期間の画像内の動きを検出する。
動き検出ステップＳＴ１５の動作は、実施の形態１の動き検出手段５と同等であるので詳細な説明は省略する。

時空間画素補間ステップＳＴ１６では、動き検出ステップＳＴ１５の動き検出結果Ｄ５に応じて、画素加算ステップＳＴ１２により生成された画素加算画像Ｄ１の現在のフレームの近傍の画素を用いて、或いは現在のフレーム及び最大３フレーム前までの複数フレームの画像の近傍の画素を用いて、画素加算画像Ｄ１の欠落画素の値を補間し、出力画像Ｄｏｕｔを生成する。
時空間画素補間ステップＳＴ１６の動作は、実施の形態１の時空間画素補間手段３と同等であるので詳細な説明は省略する。

画像出力ステップＳＴ１７では、出力画像がＤｏｕｔを、インターフェース１５を介して出力する。
このようにして１フレーム分の処理が終了した後、さらに処理すべきフレームがあるかどうか、即ち動作を終了すべきかどうかの判定がステップＳＴ１８で行われ、ＮＯであれば、ステップＳＴ１１に戻り、ステップＳＴ１１で次のフレームの入力画像Ｄｉｎが入力される。このようにして、入力画像Ｄｉｎがフレーム毎に入力される入力画像Ｄｉｎに対してステップＳＴ１１〜ＳＴ１７の処理が繰り返される。ステップＳＴ１８でＹＥＳであれば処理を終了する。
以上が本発明における画像信号処理方法の動作である。

本発明における画像信号処理方法の動作はその説明から明らかなように、本発明の実施の形態１における画像信号処理装置と同等である。したがって本発明における画像処理方法は、本発明の実施の形態１における画像信号処理装置と同様の効果を持つ。

１ 画素加算手段、 ２１、２２、２３ フレーム遅延手段、 ３ 時空間画素補間手段、 ３１ フレーム内補間手段、 ３２ フレーム間加算手段、 ３３ 選択手段、 ４１、４２、４３ フレーム遅延手段、 ５ 動き検出手段、 ＳＴ１１ 画像入力ステップ、 ＳＴ１２ 画素加算ステップ、 ＳＴ１３ 画像記憶ステップ、 ＳＴ１４ フレーム数判定ステップ、 ＳＴ１５ 動き検出ステップ、 ＳＴ１６ 時空間補間ステップ、 ＳＴ１７ 画像出力ステップ、 ＳＴ１８ 終了判定ステップ。

Claims (6)

1. 入力画像の各フレーム又はフィールドを構成する複数の画素を互いに重複しないように水平方向に隣接するｍ画素、垂直方向に隣接するｎ画素の合計ｎ×ｍ画素（ｍ、ｎは正の整数で、少なくとも一方は２以上）ごとのブロックに分割し、前記各ブロックにおいてｎ×ｍ画素の信号を加算して、加算した値を前記各ブロックの重心位置に対して特定の相対位置にある選択画素の画素値とし、前記選択画素以外の画素を欠落画素とした画素加算画像を出力し、かつ、前記入力画像の１フレーム又はフィールドごとに前記ブロックへの分割の仕方を切り替えることによって、加算する前記ｎ×ｍ画素の組合せと各フレーム又はフィールド内における前記選択画素と前記欠落画素の位置を前記入力画像の１フレーム又はフィールドごとに変化させる画素加算手段と、
   前記画素加算手段が出力する画素加算画像を最大（ｎ×ｍ−１）フレーム又はフィールドまで遅延させる遅延手段と、
   単一フレーム又はフィールドの前記画素加算画像を用いて、或いは前記単一フレーム又はフィールドの前記画素加算画像と、前記単一フレーム又はフィールドの前記画素加算画像を前記遅延手段により最大で（ｎ×ｍ−１）フレーム又はフィールドまで遅延させた複数フレーム又はフィールドの遅延画素加算画像を用いて、前記単一フレーム又はフィールドの画素加算画像の前記欠落画素の値を補間して出力画像を生成する時空間画素補間手段と
   を備えたことを特徴とする画像信号処理装置。
2. 前記入力画像の画像内の動きを検出する動き検出手段をさらに備え、
   前記時空間画素補間手段は、前記動き検出手段によって検出された動き検出結果に応じて、前記出力画像を生成するために用いる前記画素加算画像のフレーム又はフィールド数を変化させる
   ことを特徴とする請求項１に記載の画像信号処理装置。
3. 前記入力画像の画像内の動きを検出する動き検出手段をさらに備え、
   前記時空間画素補間手段は、前記動き検出手段によって動きありと検出された領域において、単一フレーム又はフィールドの前記画素加算画像を用いて、前記画素加算画像において欠落している画素の値を補間して出力する
   ことを特徴とする請求項１又は２に記載の画像信号処理装置。
4. 前記時空間画素補間手段は、
   前記画素加算画像において欠落している画素の値を、単一フレーム又はフィールド内の前記欠落している画素の近傍の領域内の画素の値を用いて補間して出力するフレーム内補間手段と、
   前記画素加算画像において欠落している画素の値を、前記フレーム又はフィールド遅延手段によって最大（ｎ×ｍ−１）フレーム又はフィールドまで遅延された画素加算画像を加算することにより補間を行なって出力するフレーム間加算手段と、
   前記動き検出手段の動き検出結果に応じて、前記フレーム内補間手段が出力する画像信号と、前記フレーム間加算手段が出力する画像信号のいずれかを画素ごとに選択して出力する選択手段とを有する
   ことを特徴とする請求項２又は３に記載の画像信号処理装置。
5. 前記ｍ、ｎはともに２であることを特徴とする
   請求項１乃至４のいずれかに記載の画像信号処理装置。
6. 入力画像の各フレーム又はフィールドを構成する複数の画素を互いに重複しないように水平方向に隣接するｍ画素、垂直方向に隣接するｎ画素の合計ｎ×ｍ画素（ｍ、ｎは正の整数で、少なくとも一方は２以上）ごとのブロックに分割し、前記各ブロックにおいてｎ×ｍ画素の信号を加算して、加算した値を前記各ブロックの重心位置に対して特定の相対位置にある選択画素の画素値とし、前記選択画素以外の画素を欠落画素とした画素加算画像を出力し、かつ、前記入力画像の１フレーム又はフィールドごとに前記ブロックへの分割の仕方を切り替えることによって、加算する前記ｎ×ｍ画素の組合せと各フレーム又はフィールド内における前記選択画素と前記欠落画素の位置を前記入力画像の１フレーム又はフィールドごとに変化させる画素加算ステップと、
   前記画素加算ステップが出力する画素加算画像を最大（ｎ×ｍ−１）フレーム又はフィールドまで遅延させる遅延ステップと、
   単一フレーム又はフィールドの前記画素加算画像を用いて、或いは前記単一フレーム又はフィールドの前記画素加算画像と、前記単一フレーム又はフィールドの前記画素加算画像を前記遅延ステップにより最大で（ｎ×ｍ−１）フレーム又はフィールドまで遅延させた複数フレーム又はフィールドの遅延画素加算画像を用いて、前記単一フレーム又はフィールドの画素加算画像の前記欠落画素の値を補間して出力画像を生成する時空間画素補間ステップと
   を備えたことを特徴とする画像信号処理方法。

Images