JP2009010823A

JP2009010823A - 画像処理装置および画像処理方法、記録媒体、並びに、プログラム

Info

Publication number: JP2009010823A
Application number: JP2007171674A
Authority: JP
Inventors: Seiji Kobayashi; 誠司小林; Tomoshi Okuda; 知史奥田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-06-29
Filing date: 2007-06-29
Publication date: 2009-01-15

Abstract

【課題】高フレームレートの撮像データのノイズを低減する。
【解決手段】平滑化処理部２６１−１乃至２６１−４は、入力ＲＡＷデータのランダムノイズを低減するために空間フィルタ処理を行い、フィルタリング後のデータを静止領域判定処理部２６２に供給する。静止領域判定処理部２６２は、平滑化されノイズが低減された連続する４フレーム分のＲＡＷデータを受け取り、各フレーム間での画素値の差を計算することにより静止領域を判定し、判定結果を加算処理部２６３に供給する。加算処理部２６３は、撮像素子２２による撮像のフレームレートにおいて連続する４フレームの平滑化されていないＲＡＷデータの入力を受け、静止領域判定処理部２６２による静止領域の判定結果を基に、必要に応じて、４つの入力ＲＡＷデータのうちの少なくとも一部を加算処理することにより、適応的なノイズ低減を実現する。本発明は、撮像装置に適用できる。
【選択図】図１８

Description

本発明は、画像処理装置および画像処理方法、記録媒体、並びに、プログラムに関し、特に、高速なフレームレートで動画像を撮像する場合に用いて好適な、画像処理装置および画像処理方法、記録媒体、並びに、プログラムに関する。

近年、通常のビデオフレームレート（６０フレーム毎秒、５０フレーム毎秒、または２４フレーム毎秒など）よりも高速な撮像を行うことを可能にした高速度撮像装置が広く用いられるようになってきている。

高フレームレートにおける撮像および記録を実現するために、例えば、１フレーム内において固体撮像素子から読み出す画素数を少なくし、後段の処理速度を上げることなく高速度撮像を実現することができるようにした高速度撮像装置がある。このような高速度撮像装置では、標準ビデオ信号の１フレーム内に画像数を減少させた複数のフレーム画像を貼り合わせるようにして記録する技術（例えば、特許文献１参照）や、専用の圧縮方式や画像フォーマットを用いて半導体メモリに記録する技術（例えば、特許文献２参照）が用いられている。

特開平８−８８８３３号公報

特開２００６−３１９５１３号公報

また、固体撮像素子を高速に駆動して出力した撮像データをそのまま半導体メモリに記録することにより高速度撮像を実現する高速度撮像装置がある。このような高速度撮像装置では、固体撮像素子から出力される撮像データが非常に高速になり、後段の信号処理が間に合わないため、非圧縮のＲＡＷデータをそのまま記録しているものが多い。このような高速度撮像装置は、主に工業試験用として市販されている。

そして、また、１フレームの画像を空間的に分割し、それぞれの領域を並列処理することにより高速度撮像を実現する高速度撮像装置がある。このような高速度撮像装置には、固体撮像素子から水平ライン単位で出力を分配し、並列処理を行う技術（例えば、特許文献３参照）や、入射した光をプリズムにより分光して、複数の固体撮像素子に供給し、それらの固体撮像素子の出力信号を並列処理する技術（例えば、特許文献４参照）が用いられている。

特開平１−２８６５８６号公報

特開平５−３１６４０２号公報

ところで、高速撮像可能な撮像装置では、固体撮像素子による露光時間がフレームレートに応じて短くなるため、感度が低下し、ノイズの影響を受けやすい。撮像装置におけるノイズ低減方法としては、１フレーム内で空間的なノイズ低減フィルタを施す方法が知られている。しかしながら、この方法では、空間解像度の低下を伴うという問題がある。

一方、例えば、フレームメモリを持ち、時間的な循環フィルタ処理を行う撮像装置が提案されている（例えば、特許文献５参照）。

特開２００５−１７５８６４号公報

しかしながら、固体撮像素子からの読み出し画素数を減少させてしまった場合、高い空間解像度を得ることが出来ない。また、複数フレームを貼り合わせた画像を記録すると、再生時に画像変換処理が必要となってしまい、処理が複雑になってしまう。

また、固体撮像素子を高速に駆動して出力した撮像データをそのまま半導体メモリに記録することにより高速度撮像を実現した場合、高解像度、かつ高フレームレートの撮像が可能であるが、固体撮像素子から出力される撮像データが非常に高速になるため、記録装置として半導体メモリを使わざるを得ない。しかしながら、撮像装置に搭載できる半導体メモリの容量には限界があるため、長時間の記録が困難であった。

また、高速な画像処理を行うために空間的に画像を分割して並列に処理を行えば、高解像度、かつ高フレームレートの画像を長時間記録することが可能である。しかしながら、分割記録された各画像データは水平方向、または垂直方向に短冊状、または矩形領域状に分割された画像であるため、再生時にこれらの画像を合成処理する必要があり、処理が複雑となってしまう。また、分割記録された各画像は、実際のフレームの空間的な一部を記録したものであるため、分割記録された各画像を個別に再生することは無意味であった。換言すれば、分割記録された各画像データは、そのままで利用することはできないデータとなってしまっていた。

また、ノイズの低減のために、上述した特許文献５の技術を適用した場合、高速な画像データを処理する場合には、加算処理などの処理に時間がかかってしまうため、処理が間に合わなくなったり、高速な処理を行うことが可能な高価な演算部を用いる必要が生じてしまっていた。

本発明はこのような状況に鑑みてなされたものであり、高解像度、かつ高フレームレートで撮像された画像を、容易に処理することができるようにするとともに、簡易な回路構成で、時間加算によるノイズ低減処理を行うことにより、画質向上を実現する撮像装置を提供するものである。

本発明の一側面の画像処理装置は、第１のレートの動画像データがフレーム単位でＮ分割されて生成された、前記第１のレートの１/Ｎ（Ｎは正の整数）のレートである第２のレートのＮ系列の動画像データを処理する画像処理装置であって、Ｎ系列の前記動画像データのうちの任意の２つ以上の系列における所定の画素位置の画素値の差分値を算出する算出手段と、前記算出手段により算出された差分値に基づいて、前記動画像データのうちの動きの少ない部分を検出し、加算平均処理を行うノイズ低減処理手段とを備える。

前記算出手段には、Ｎ系列の前記動画像データのうちの時間的に隣り合うフレームにより構成される２つの系列における所定の画素位置の画素値の差分値であるＮ−１個の第１の値を算出する第１の算出手段と、Ｎ系列の前記動画像データの所定の画素位置における画素値の差分値の総和である第２の値を算出する第２の算出手段とを備えさせるようにすることができ、前記ノイズ低減処理手段は、前記第１の算出手段により算出された前記第１の値、および、前記第２の算出手段により算出された前記第２の値に基づいて、前記動画像データのうちの動きの少ない部分を検出し、加算平均処理を行わせるようにすることができる。

前記ノイズ低減処理手段には、前記第２の算出手段により算出された前記第２の値が所定の閾値よりも小さかった場合、Ｎ系列の前記動画像データの所定の画素位置における画素値の加算平均値を、Ｎ系列の前記動画像データの所定の画素位置における画素値として出力させるようにすることができ、前記第２の算出手段により算出された前記第２の値が所定の閾値よりも大きかった場合、前記第１の算出手段により算出された前記第１の値のいずれかが所定の閾値よりも小さければ、前記第１の値を算出するために用いた系列の所定の画素位置における画素値の加算平均値を、前記第１の値を算出するために用いた系列の所定の画素位置における画素値として出力させるようにすることができ、前記第１の算出手段により算出されたあるフレームに対して算出される前記第１の値の全てが所定の閾値よりも大きければ、前記第１の値を算出するために用いた系列の所定の画素位置における入力された画素値を出力させるようにすることができる。

Ｎ系列の前記動画像データをフレーム内平滑化するＮ個の平滑化処理手段を更に備えさせるようにすることができ、前記第１の算出手段および前記第２の算出手段には、Ｎ個の前記平滑化処理手段により平滑化された画素値を用いて、前記第１の値および前記第２の値を算出させるようにすることができる。

第１のレートの撮像データを得る撮像手段と、前記撮像手段により撮像された前記第１のレートの撮像データを、フレーム単位で分配し、前記第１のレートの１/Ｎ（Ｎは正の整数）のレートである第２のレートのＮ系列の動画像データに分割するデータ分割手段とを更に備えさせるようにすることができ、前記第１の算出手段および前記第２の算出手段には、前記分割手段により分割されたＮ系列の前記動画像データを用いて、前記第１の値および前記第２の値を算出させるようにすることができる。

前記ノイズ低減処理手段により処理されたＮ系列の前記動画像データを出力する出力手段を更に備えさせるようにすることができ、前記出力手段には、出力される動画像データのレートに基づいて、Ｎ系列の前記動画像データのうちのいずれか１系統のみを出力させるか、または、Ｎ系列の前記動画像データのうちの少なくとも一部をフレーム合成し出力させるようにすることができる。

前記ノイズ低減処理手段により処理されたＮ系列の前記動画像データを記録する記録手段を更に備えさせるようにすることができ、前記出力手段には、前記記録手段に記録された前記Ｎ系列の前記動画像データのうちの少なくとも一部を出力させるようにすることができる。

前記記録手段には、Ｎ個備えられるか、または、Ｎ個の領域に分割され、前記ノイズ低減処理手段により処理されたＮ系列の前記動画像データをそれぞれ記録させるようにすることができる。

前記第２のレートは、６０フレーム毎秒であるものとすることができる。

前記第２のレートは、５０フレーム毎秒であるものとすることができる。

前記第２のレートは、２４フレーム毎秒であるものとすることができる。

前記Ｎ系列は、４系列であるものとすることができる。

前記Ｎ系列は、２系列であるものとすることができる。

前記第１のレートは、２４０フレーム毎秒であるものとすることができる。

前記ノイズ低減処理手段により処理されたＮ系列の前記動画像データを記録する記録手段を更に備えさせるようにすることができる。

前記ノイズ低減処理手段により処理されたＮ系列の前記動画像データを符号化する符号化手段を更に備えさせるようにすることができ、前記記録手段には、前記符号化手段により符号化されたＮ系列の前記動画像データを記録させるようにすることができる。

前記符号化手段により符号化されて前記記録手段により記録されたＮ系列の前記動画像データを復号する復号手段と、前記復号手段により復号されたＮ系列の前記動画像データを出力する出力手段とを更に備えさせるようにすることができ、前記復号手段には、出力される動画像データのレートに基づいて、Ｎ系列の前記動画像データのうちのいずれか１系統のみを復号するか、または、Ｎ系列の前記動画像データのうちの少なくとも一部を復号させるようにすることができ、前記出力手段には、出力される動画像データのレートに基づいて、前記復号手段により復号されたＮ系列の前記動画像データのうちのいずれか１系統を出力させるか、または、Ｎ系列の前記動画像データのうちの少なくとも一部をフレーム合成させ、出力させるようにすることができる。

本発明の一側面の画像処理方法は、第１のレートの動画像データがフレーム単位でＮ分割されて生成された、前記第１のレートの１/Ｎ（Ｎは正の整数）のレートである第２のレートのＮ系列の動画像データを処理する画像処理装置の画像処理方法であって、Ｎ系列の前記動画像データのうちの時間的に隣り合うフレームにより構成される２つの系列における、所定の画素位置の画素値の差分値であるＮ−１個の第１の値を算出し、Ｎ系列の前記動画像データの所定の画素位置における画素値の差分値の総和である第２の値を算出し、算出された前記第２の値が所定の閾値よりも小さかった場合、Ｎ系列の前記動画像データの所定の画素位置における画素値の加算平均値を、Ｎ系列の前記動画像データの所定の画素位置における画素値として出力し、前記第２の値が所定の閾値よりも大きく、かつ、前記第１の値のいずれかが所定の閾値よりも小さい場合、前記第１の値を算出するために用いた系列の所定の画素位置における画素値の加算平均値を、前記第１の値を算出するために用いた系列の所定の画素位置における画素値として出力し、前記第２の値が所定の閾値よりも大きく、かつ、あるフレームに対して算出される前記第１の値の全てが所定の閾値よりも大きい場合、前記第１の値を算出するために用いた系列の所定の画素位置における入力された画素値を出力するステップを含む。

本発明の一側面のプログラムは、第１のレートの動画像データがフレーム単位でＮ分割されて生成された、前記第１のレートの１/Ｎ（Ｎは正の整数）のレートである第２のレートのＮ系列の動画像データの処理をコンピュータに実行させるためのプログラムであって、Ｎ系列の前記動画像データのうちの時間的に隣り合うフレームにより構成される２つの系列における、所定の画素位置の画素値の差分値であるＮ−１個の第１の値を算出し、Ｎ系列の前記動画像データの所定の画素位置における画素値の差分値の総和である第２の値を算出し、算出された前記第２の値が所定の閾値よりも小さかった場合、Ｎ系列の前記動画像データの所定の画素位置における画素値の加算平均値を、Ｎ系列の前記動画像データの所定の画素位置における画素値として出力し、前記第２の値が所定の閾値よりも大きく、かつ、前記第１の値のいずれかが所定の閾値よりも小さい場合、前記第１の値を算出するために用いた系列の所定の画素位置における画素値の加算平均値を、前記第１の値を算出するために用いた系列の所定の画素位置における画素値として出力し、前記第２の値が所定の閾値よりも大きく、かつ、あるフレームに対して算出される前記第１の値の全てが所定の閾値よりも大きい場合、前記第１の値を算出するために用いた系列の所定の画素位置における入力された画素値を出力するステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、第１のレートの動画像データがフレーム単位でＮ分割されて生成された、第１のレートの１/Ｎ（Ｎは正の整数）のレートである第２のレートのＮ系列の動画像データを処理するために、Ｎ系列の動画像データのうちの時間的に隣り合うフレームにより構成される２つの系列における、所定の画素位置の画素値の差分値であるＮ−１個の第１の値が算出され、Ｎ系列の動画像データの所定の画素位置における画素値の差分値の総和である第２の値が算出され、算出された第２の値が所定の閾値よりも小さかった場合、Ｎ系列の動画像データの所定の画素位置における画素値の加算平均値が、Ｎ系列の動画像データの所定の画素位置における画素値として出力され、第２の値が所定の閾値よりも大きく、かつ、第１の値のいずれかが所定の閾値よりも小さい場合、第１の値を算出するために用いた系列の所定の画素位置における画素値の加算平均値が、第１の値を算出するために用いた系列の所定の画素位置における画素値として出力され、第２の値が所定の閾値よりも大きく、かつ、あるフレームに対して算出される第１の値の全てが所定の閾値よりも大きい場合、第１の値を算出するために用いた系列の所定の画素位置における入力された画素値が出力される。

ネットワークや伝送路とは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークや伝送路を介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。

また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。

撮像装置や画像変換処理装置などの画像処理装置は、独立した装置であっても良いし、情報処理装置や記録再生装置などのうちの画像処理を行うブロックであっても良い。

以上のように、本発明の一側面によれば、画像を必要に応じて変換して出力することができ、特に、連続するフレーム間での動きの有無に基づいて、加算平均によりノイズを除去することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置は、第１のレートの動画像データがフレーム単位でＮ分割されて生成された、前記第１のレートの１/Ｎ（Ｎは正の整数）のレートである第２のレートのＮ系列の動画像データを処理する画像処理装置であって、Ｎ系列の前記動画像データのうちの任意の２つ以上の系列における所定の画素位置の画素値の差分値を算出する算出手段（例えば、図２２の第１の差分（ｄ_N）検出部２８１、第２の差分（ｄ_N+1）検出部２８２、第３の差分（ｄ_N+2）検出部２８３、および、図２２の差分（ｄ_all）検出部２８４）と、前記算出手段により算出された差分値に基づいて、前記動画像データのうちの動きの少ない部分を検出し、加算平均処理を行うノイズ低減処理手段（例えば、図１８の加算処理部２６３および図２２の閾値処理部２８５）とを備える。

前記算出手段は、Ｎ系列の前記動画像データのうちの時間的に隣り合うフレームにより構成される２つの系列における所定の画素位置の画素値の差分値であるＮ−１個の第１の値を算出する第１の算出手段（例えば、図２２の第１の差分（ｄ_N）検出部２８１、第２の差分（ｄ_N+1）検出部２８２、および、第３の差分（ｄ_N+2）検出部２８３）と、Ｎ系列の前記動画像データの所定の画素位置における画素値の差分値の総和である第２の値を算出する第２の算出手段（例えば、図２２の差分（ｄ_all）検出部２８４）とを備えることができ、前記ノイズ低減処理手段は、前記第１の算出手段により算出された前記第１の値、および、前記第２の算出手段により算出された前記第２の値に基づいて、前記動画像データのうちの動きの少ない部分を検出し、加算平均処理を行うことができる。

Ｎ系列の前記動画像データをフレーム内平滑化するＮ個の平滑化処理手段（例えば、図１８の平滑化処理部２６１）を更に備えることができ、前記第１の算出手段および前記第２の算出手段は、Ｎ個の前記平滑化処理手段により平滑化された画素値を用いて、前記第１の値および前記第２の値を算出することができる。

第１のレートの撮像データを得る撮像手段（例えば、図１６の撮像素子２２または図２３の撮像素子１２１乃至１２３）と、前記撮像手段により撮像された前記第１のレートの撮像データを、フレーム単位で分配し、前記第１のレートの１/Ｎ（Ｎは正の整数）のレートである第２のレートのＮ系列の動画像データに分割するデータ分割手段（例えば、図１６のメモリ制御部２３または図２３のメモリ制御部１２４）とを更に備えることができ、前記第１の算出手段および前記第２の算出手段は、前記分割手段により分割されたＮ系列の前記動画像データを用いて、前記第１の値および前記第２の値を算出することができる。

前記ノイズ低減処理手段により処理されたＮ系列の前記動画像データを出力する出力手段（例えば、図１６または図２３のビデオ出力部２６）を更に備えることができ、前記出力手段は、出力される動画像データのレートに基づいて、Ｎ系列の前記動画像データのうちのいずれか１系統のみを出力するか、または、Ｎ系列の前記動画像データのうちの少なくとも一部をフレーム合成し出力することができる。

前記ノイズ低減処理手段により処理されたＮ系列の前記動画像データを記録する記録手段（例えば、図１６または図２３の記録部２９）を更に備えることができ、前記出力手段は、前記記録手段に記録された前記Ｎ系列の前記動画像データのうちの少なくとも一部を出力することができる。

前記ノイズ低減処理手段により処理されたＮ系列の前記動画像データを記録する記録手段（例えば、図１６または図２３の記録部２９）を更に備えることができる。

前記ノイズ低減処理手段により処理されたＮ系列の前記動画像データを符号化する符号化手段（例えば、図１６または図２３のコーデック部２８）を更に備えることができ、前記記録手段は、前記符号化手段により符号化されたＮ系列の前記動画像データを記録することができる。

前記符号化手段により符号化されて前記記録手段により記録されたＮ系列の前記動画像データを復号する復号手段（例えば、図１６または図２３のコーデック部２８）と、前記復号手段により復号されたＮ系列の前記動画像データを出力する出力手段（例えば、図１６または図２３のビデオ出力部）とを更に備えることができ、前記復号手段は、出力される動画像データのレートに基づいて、Ｎ系列の前記動画像データのうちのいずれか１系統のみを復号するか、または、Ｎ系列の前記動画像データのうちの少なくとも一部を復号することができ、前記出力手段は、出力される動画像データのレートに基づいて、前記復号手段により復号されたＮ系列の前記動画像データのうちのいずれか１系統を出力するか、または、Ｎ系列の前記動画像データのうちの少なくとも一部をフレーム合成し、出力することができる。

本発明の一側面の画像処理方法は、第１のレートの動画像データがフレーム単位でＮ分割されて生成された、前記第１のレートの１/Ｎ（Ｎは正の整数）のレートである第２のレートのＮ系列の動画像データを処理する画像処理装置の画像処理方法であって、Ｎ系列の前記動画像データのうちの時間的に隣り合うフレームにより構成される２つの系列における、所定の画素位置の画素値の差分値であるＮ−１個の第１の値を算出し（例えば、図２５のステップＳ１５１乃至ステップＳ１５３の処理）、Ｎ系列の前記動画像データの所定の画素位置における画素値の差分値の総和である第２の値を算出し（例えば、図２５のステップＳ１５４の処理）、算出された前記第２の値が所定の閾値よりも小さかった場合、Ｎ系列の前記動画像データの所定の画素位置における画素値の加算平均値を、Ｎ系列の前記動画像データの所定の画素位置における画素値として出力し（例えば、図２５のステップＳ１５６の処理）、前記第２の値が所定の閾値よりも大きく、かつ、前記第１の値のいずれかが所定の閾値よりも小さい場合、前記第１の値を算出するために用いた系列の所定の画素位置における画素値の加算平均値を、前記第１の値を算出するために用いた系列の所定の画素位置における画素値として出力し（例えば、図２５のステップＳ１５８、Ｓ１６１、Ｓ１６３、Ｓ１６６、Ｓ１６８、または、Ｓ１７１の処理）、前記第２の値が所定の閾値よりも大きく、かつ、あるフレームに対して算出される前記第１の値の全てが所定の閾値よりも大きい場合、前記第１の値を算出するために用いた系列の所定の画素位置における入力された画素値を出力する（例えば、図２５のステップＳ１５９、Ｓ１６４、Ｓ１６９、または、Ｓ１７２の処理）ステップを含む。

本発明の一側面のプログラムは、第１のレートの動画像データがフレーム単位でＮ分割されて生成された、前記第１のレートの１/Ｎ（Ｎは正の整数）のレートである第２のレートのＮ系列の動画像データの処理をコンピュータに実行させるためのプログラムであって、Ｎ系列の前記動画像データのうちの時間的に隣り合うフレームにより構成される２つの系列における、所定の画素位置の画素値の差分値であるＮ−１個の第１の値を算出し（例えば、図２５のステップＳ１５１乃至ステップＳ１５３の処理）、Ｎ系列の前記動画像データの所定の画素位置における画素値の差分値の総和である第２の値を算出し（例えば、図２５のステップＳ１５４の処理）、算出された前記第２の値が所定の閾値よりも小さかった場合、Ｎ系列の前記動画像データの所定の画素位置における画素値の加算平均値を、Ｎ系列の前記動画像データの所定の画素位置における画素値として出力し（例えば、図２５のステップＳ１５６の処理）、前記第２の値が所定の閾値よりも大きく、かつ、前記第１の値のいずれかが所定の閾値よりも小さい場合、前記第１の値を算出するために用いた系列の所定の画素位置における画素値の加算平均値を、前記第１の値を算出するために用いた系列の所定の画素位置における画素値として出力し（例えば、図２５のステップＳ１５８、Ｓ１６１、Ｓ１６３、Ｓ１６６、Ｓ１６８、または、Ｓ１７１の処理）、前記第２の値が所定の閾値よりも大きく、かつ、あるフレームに対して算出される前記第１の値の全てが所定の閾値よりも大きい場合、前記第１の値を算出するために用いた系列の所定の画素位置における入力された画素値を出力する（例えば、図２５のステップＳ１５９、Ｓ１６４、Ｓ１６９、または、Ｓ１７２の処理）ステップを含む処理をコンピュータに実行させる。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した撮像装置１の構成を示すブロック図である。

撮像装置１は、カメラ制御部１１、撮像光学系２１、撮像素子２２、メモリ制御部２３、フレームメモリ２４、＃１カメラ信号処理部２５−１、＃２カメラ信号処理部２５−２、＃３カメラ信号処理部２５−３、および、＃４カメラ信号処理部２５−４、ビデオ出力部２６、ファインダ出力部２７、＃１コーデック部２８−１、＃２コーデック部２８−２、＃３コーデック部２８−３、および、＃４コーデック部２８−４、並びに、＃１記録部２９−１、＃２記録部２９−２、＃３記録部２９−３、および、＃４記録部２９−４を含んで構成されている。

カメラ制御部１１は、撮像装置１の処理全体を制御するものである。

撮像装置１は、メカニカルシャッタ、レンズなどの撮像光学系２１を介して入射される光を撮像素子２２で受光する。撮像素子２２は、高解像度（ここでは、例えば、HD解像度）、かつ、高フレームレート（ここでは、例えば、２４０フレーム毎秒、すなわち、２４０Ｈｚとする）の撮像を行うことができる固体撮像素子であり、図示しないＡＤ変換器を介してデジタル変換された撮像データ、すなわち、図中ａで示される撮像素子出力データを出力する。ここで、ＡＤ変換器は、撮像素子２２がＣＭＯＳ型固体撮像素子である場合などにおいては、素子上に実装されていてもよいし、または、撮像素子２２がＣＭＯＳ型固体撮像素子以外の固体撮像素子であるときなどにおいては、撮像素子２２の外部に配置されているものであってもよい。また、図１を用いて説明する撮像装置１の撮像素子２２は、受光面に、画素ごとに異なる波長域を透過するカラーフィルタを持つ単板カラー方式の固体撮像素子である。

撮像素子２２から出力される撮像データは、単板カラー方式の固体撮像素子により出力される、所謂ＲＡＷデータであるため、図２に示すようなベイヤー（Bayer）配列に従った色配列の画素データで構成され、メモリ制御部２３に供給される。そして、メモリ制御部２３において、複数の画素データが、一度にフレームメモリ２４と授受可能な１ブロック（例えば、複数個の画素データをまとめた６４ビットや１２８ビットなどの所定の量のデータや、１ラインのデータなど）単位にまとめられて、フレームメモリ２４に記憶される。メモリ制御部２３は、撮像素子２２から入力される撮像データをフレームメモリ２４へ書き込むのと同時に、フレームメモリ２４から過去フレームの撮像データを読み出し、図中ｂ乃至ｅで示されるビデオ画像データとして、１フレームごとに、＃１カメラ信号処理部２５−１、＃２カメラ信号処理部２５−２、＃３カメラ信号処理部２５−３、および、＃４カメラ信号処理部２５−４へ同時に出力する。

撮像素子２２からメモリ制御部２３に入力される撮像データ、すなわち、図中ａで示される撮像素子出力データが、ＨＤ解像度、２４０フレーム毎秒の撮像データであるとき、＃１カメラ信号処理部２５−１、＃２カメラ信号処理部２５−２、＃３カメラ信号処理部２５−３、および、＃４カメラ信号処理部２５−４には、ＨＤ解像度、６０フレーム毎秒の撮像データである、図中ｂ乃至ｅで示されるビデオ画像データが出力される。ここで、フレームメモリ２４は、少なくとも８フレーム分の撮像データを記憶する容量を有している。メモリ制御部２３の動作の詳細については、図３、および、図４を参照して後述する。

＃１カメラ信号処理部２５−１は、メモリ制御部２３から出力されるＨＤ解像度、６０フレーム毎秒の撮像データ（ＲＡＷデータ）を取得し、信号処理を行って、信号処理後のビデオ信号を、＃１コーデック部２８−１およびファインダ出力部２７に出力する。＃２カメラ信号処理部２５−２は、メモリ制御部２３から出力されるＨＤ解像度、６０フレーム毎秒の撮像データを取得し、信号処理を行って、信号処理後のビデオ信号を、＃２コーデック部２８−２に出力する。＃３カメラ信号処理部２５−３は、メモリ制御部２３から出力されるＨＤ解像度、６０フレーム毎秒の撮像データを取得し、信号処理を行って、信号処理後のビデオ信号を、＃３コーデック部２８−３に出力する。＃４カメラ信号処理部２５−４は、メモリ制御部２３から出力されるＨＤ解像度、６０フレーム毎秒の撮像データを取得し、信号処理を行って、信号処理後のビデオ信号を＃４コーデック部２８−４に出力する。

以下の説明においては、＃１カメラ信号処理部２５−１、＃２カメラ信号処理部２５−２、＃３カメラ信号処理部２５−３、および、＃４カメラ信号処理部２５−４を個々に区別する必要がない場合、単に、カメラ信号処理部２５と称する。カメラ信号処理部２５は、一般的な６０フレーム毎秒の撮像データを処理するので、撮像装置１においては、２４０フレーム毎秒の撮像データを処理する能力を有する高速な信号処理部を用いる必要はない。カメラ信号処理部２５の更に詳細な構成については、図５を参照して後述する。

＃１コーデック部２８−１は、＃１カメラ信号処理部２５−１から出力されるビデオ信号を取得し、画像符号化処理を行う。＃２コーデック部２８−２は、＃２カメラ信号処理部２５−２から出力されるビデオ信号を取得し、画像符号化処理を行う。＃３コーデック部２８−３は、＃３カメラ信号処理部２５−３から出力されるビデオ信号を取得し、画像符号化処理を行う。＃４コーデック部２８−４は、＃４カメラ信号処理部２５−４から出力されるビデオ信号を取得し、画像符号化処理を行う。

＃１コーデック部２８−１は、画像符号化後のストリーム画像データを、＃１記録部２９−１に出力する。＃２コーデック部２８−２は、画像符号化後のストリーム画像データを、＃２記録部２９−２に出力する。＃３コーデック部２８−３は、画像符号化後のストリーム画像データを、＃３記録部２９−３に出力する。＃４コーデック部２８−４は、画像符号化後のストリーム画像データを、＃４記録部２９−４に出力する。

更に、＃１コーデック部２８−１は、＃１記録部２９−１から圧縮符号化されたストリーム画像データを取得し、復号して、図中ｆで示される復号後のビデオ画像データを、ビデオ出力部２６に出力するとともに、同様にして、復号後のビデオ画像データを、ファインダ出力部２７に出力する。＃２コーデック部２８−２は、＃２記録部２９−２から圧縮符号化されたストリーム画像データを取得し、復号して、図中ｇで示される復号後のビデオ画像データを、ビデオ出力部２６に出力する。＃３コーデック部２８−３は、＃３記録部２９−３から圧縮符号化されたストリーム画像データを取得し、復号して、図中ｈで示される復号後のビデオ画像データを、ビデオ出力部２６に出力する。＃４コーデック部２８−４は、＃４記録部２９−４から圧縮符号化されたストリー画像データを取得し、復号して、図中ｉで示される復号後のビデオ画像データを、ビデオ出力部２６に出力する。

ここで、＃１コーデック部２８−１、＃２コーデック部２８−２、＃３コーデック部２８−３、および、＃４コーデック部２８−４が実行する画像符号化処理としては、フレーム内圧縮を行うJPEG2000 CODECや、フレーム間圧縮を行うMPEG2やH.264 CODECなどが用いられる。以下の説明においては、＃１コーデック部２８−１、＃２コーデック部２８−２、＃３コーデック部２８−３、および、＃４コーデック部２８−４を個々に区別する必要がない場合、単に、コーデック部２８と称する。コーデック部２８は、一般的な６０フレーム毎秒のデータを処理するので、撮像装置１においては、２４０フレーム毎秒のデータを処理する能力を有する高速なコーデック部を用いる必要はない。また、ここでは、コーデック部２８が符号化および復号を行うものとして説明したが、コーデック部２８に代わって、デコーダおよびエンコーダをそれぞれ個別に設けてもよいことは言うまでもない。

＃１記録部２９−１、＃２記録部２９−２、＃３記録部２９−３、および、＃４記録部２９−４は、コーデック部２８からそれぞれ出力される圧縮符号化された、６０フレーム毎秒のストリーム画像データを取得して記録する。すなわち、＃１記録部２９−１、＃２記録部２９−２、＃３記録部２９−３、および、＃４記録部２９−４は、それぞれがＨＤ解像度、６０フレーム毎秒のビデオ信号の圧縮符号化されたストリーム画像データを記録する。

図１においては、＃１記録部２９−１、＃２記録部２９−２、＃３記録部２９−３、および、＃４記録部２９−４を、それぞれ独立した記録部として記載しているが、＃１記録部２９−１、＃２記録部２９−２、＃３記録部２９−３、および、＃４記録部２９−４は、１つの記録部の異なる記憶領域を示すものであってもよい。以下の説明においては、＃１記録部２９−１、＃２記録部２９−２、＃３記録部２９−３、および、＃４記録部２９−４を個々に区別する必要がない場合、単に、記録部２９と称する。記録部２９には、例えば、光ディスクなどのリムーバブルメディアが装着されたドライブ、ハードディスクドライブ、または、半導体メモリなどを用いることができる。

ファインダ出力部２７は、＃１カメラ信号処理部２５−１または＃１コーデック部２８−１から出力されるビデオ信号を受け取り、ファインダで表示可能な信号に変換する。図示しないファインダは、撮影中の画像または再生出力中の画像を確認するための表示部であり、撮像装置１に内蔵されていても、外部に備えられていても良く、例えば、ビデオ信号（ＹＣｂＣｒ４：２：２）を表示する液晶表示装置により構成される。ファインダの解像度は、通常ＨＤ解像度よりも低いことが多く、また、同様にフレームレートが低いこともあり、ファインダ出力部２７は、ファインダの解像度に合わせて解像度変換処理を行ったり、フレームレートの変換処理を行う。さらに、ファインダの入力信号がＲＧＢ信号である場合には、＃１カメラ信号処理部２５−１において色空間変換処理を行う前の、γ変換後の画像信号を、ファインダ出力部２７が直接取得する構成にしても構わない。

ビデオ出力部２６は、カメラ信号処理部２５から信号処理後のビデオ信号を取得するか、または、コーデック部２８から復号後の再生画像データを取得し、必要に応じてフレーム合成を行って、所定のフレームレートのビデオ信号を生成し、図中ｋで示されるビデオ出力として、所定のフレームレートのビデオ信号を、例えば、外部の記録装置や表示装置、または、所定の信号伝送路などに出力する。

撮像装置１における出力されるビデオ画像データのフレーム合成の詳細については、図６および図７を用いて後述する。

次に、図３を参照して、撮像装置１における撮像画像と、処理および記録される画像フレームの関係について説明する。

撮像装置１の撮像素子２２は、ここでは、ＨＤ解像度、２４０フレーム毎秒の撮像を行うものとして説明する。従って、図１において図中ａで示された撮像素子出力データは、ＨＤ解像度の画像データが時間方向に毎秒２４０枚出力されるものである。図２においては、撮像素子出力データａとして、Ｎフレーム乃至（Ｎ＋１１）フレームの１２フレームが撮像素子２２から出力される場合のフレーム分配を示す。

撮像素子出力データａは、上述したように、メモリ制御部２３により、一時的にフレームメモリ２４に記憶される。撮像素子２２からＮフレーム目が出力される時刻ｔ１のタイミングにおいて、少なくとも８フレーム分の記録容量を有するフレームメモリ２４には、（Ｎ−４）フレーム乃至（Ｎ−１）フレームの４フレーム分の画像データが保持されている。撮像素子２２から出力された、Ｎフレーム、（Ｎ＋１）フレーム、（Ｎ＋２）フレーム、（Ｎ＋３）フレームの４フレーム分の画像データがフレームメモリ２４に順次供給されて記録される時刻ｔ２までの間、具体的には、４／２４０秒の間に、メモリ制御部２３は、フレームメモリ２４に記憶された（Ｎ−４）フレーム乃至（Ｎ−１）フレームの４フレーム分の画像データを、並列的に読み出して、（Ｎ−４）フレーム目を＃１カメラ信号処理部２５−１に、（Ｎ−３）フレーム目を＃２カメラ信号処理部２５−２に、（Ｎ−２）フレーム目を＃３カメラ信号処理部２５−３に、（Ｎ−１）フレーム目を＃４カメラ信号処理部２５−４に分配する。

そして、撮像素子２２から（Ｎ＋４）フレーム目が出力される時刻ｔ２のタイミングにおいて、フレームメモリ２４には、Ｎフレーム乃至（Ｎ＋３）フレームの４フレーム分の画像データが保持されている。撮像素子２２から出力された、（Ｎ＋４）フレーム、（Ｎ＋５）フレーム、（Ｎ＋６）フレーム、（Ｎ＋７）フレームの４フレーム分の画像データがフレームメモリ２４に順次供給されて記録される時刻ｔ３までの間、具体的には、４／２４０秒の間に、メモリ制御部２３は、フレームメモリ２４に記憶されたＮフレーム乃至（Ｎ＋３）フレームの４フレーム分の画像データを、並列的に読み出して、Ｎフレーム目を＃１カメラ信号処理部２５−１に、（Ｎ＋１）フレーム目を＃２カメラ信号処理部２５−２に、（Ｎ＋２）フレーム目を＃３カメラ信号処理部２５−３に、（Ｎ＋３）フレーム目を＃４カメラ信号処理部２５−４に分配する。

続いて、撮像素子２２から（Ｎ＋８）フレーム目が出力される時刻ｔ３のタイミングにおいて、フレームメモリ２４には、（Ｎ＋４）フレーム乃至（Ｎ＋７）フレームの４フレーム分の画像データが保持されている。撮像素子２２から出力された、（Ｎ＋８）フレーム、（Ｎ＋９）フレーム、（Ｎ＋１０）フレーム、（Ｎ＋１１）フレームの４フレーム分の画像データがフレームメモリ２４に順次供給されて記録されるまでの間、具体的には、４／２４０秒の間に、メモリ制御部２３は、フレームメモリ２４に記憶された（Ｎ＋４）フレーム乃至（Ｎ＋７）フレームの４フレーム分の画像データを、並列的に読み出して、（Ｎ＋４）フレーム目を＃１カメラ信号処理部２５−１に、（Ｎ＋５）フレーム目を＃２カメラ信号処理部２５−２に、（Ｎ＋６）フレーム目を＃３カメラ信号処理部２５−３に、（Ｎ＋７）フレーム目を＃４カメラ信号処理部２５−４に分配する。

すなわち、撮像素子２２から供給される撮像素子出力データａは、４フレーム遅延してフレームメモリ２４から読み出されてカメラ信号処理部２５のいずれかに供給される。フレームメモリ２４から読み出されるビデオ画像データｂ乃至ｅのそれぞれは、撮像素子出力データａに対してフレームレートが１／４となっており、例えば撮像素子出力データａがＨＤ解像度、２４０フレーム毎秒の画像データであるとき、ビデオ画像データｂ乃至ｅのそれぞれは、ＨＤ解像度、６０フレーム毎秒の画像データである。

次に、図４を参照して、撮像装置１における撮像画像フレームと、処理および記録される画像フレームの入出力タイミングについて説明する。

図１に示した撮像素子出力データａには、それぞれの撮像画像フレームを構成する画素データに加えて、それぞれのフレームに対応して、各フレームの先頭を表す同期信号である垂直同期信号Ａ、フレームを構成する水平ラインごとに発生する水平同期信号、および、イネーブル信号が含まれている。ここで、撮像素子出力データａが、ＨＤ解像度、２４０フレーム毎秒であるとき、垂直同期信号Ａは、１／２４０秒ごとにアクティブになる信号である。画素データは、１フレーム期間（１／２４０秒）内にブランキング期間も含めた全画素データ（たとえば２２００画素×１１２５ラインの画素）が時系列に並んだ信号である。

そして、撮像素子出力データａは、順次フレームメモリ２４に供給されて記憶され、その記憶処理と並行して、既にフレームメモリ２４に記憶されていたビデオ画像データが４フレーム分並列して、すなわち、所定の読み出し単位ごとに交互に読み出される。並列して読み出されるビデオ画像データｂ乃至ｅは、上述したように、ＨＤ解像度、６０フレーム毎秒の画像データである。読み出し単位は、例えば、フレームメモリ２４に１回アクセスするごとに授受可能なデータ量に基づいて決められるものであり、例えば、所定ビット数のデータや、画像１フレーム内の１ライン、または、所定の複数ラインのデータであるものとすることができる。

＃１カメラ信号処理部２５−１に供給されるビデオ画像データｂの先頭を示す同期信号である垂直同期信号Ｂ−１は、１／６０秒ごとにアクティブになる信号である。ビデオ画像データｂを構成する画素データは、ブランキング期間を含めた全画素データ（たとえば２２００画素×１１２５ラインの画素）が１フレーム期間（１／６０秒）内に時系列に並んだ信号である。

以下、同様に、＃２カメラ信号処理部２５−２に供給されるビデオ画像データｃの先頭を示す同期信号である垂直同期信号Ｂ−２は、１／６０秒ごとにアクティブになる信号である。ビデオ画像データｃを構成する画素データは、ブランキング期間を含めた全画素データ（たとえば２２００画素×１１２５ラインの画素）が１フレーム期間（１／６０秒）内に時系列に並んだ信号である。そして、＃３カメラ信号処理部２５−３に供給されるビデオ画像データｄの先頭を示す同期信号である垂直同期信号Ｂ−３は、１／６０秒ごとにアクティブになる信号である。ビデオ画像データｄを構成する画素データは、ブランキング期間を含めた全画素データ（たとえば２２００画素×１１２５ラインの画素）が１フレーム期間（１／６０秒）内に時系列に並んだ信号である。また、＃４カメラ信号処理部２５−４に供給されるビデオ画像データｅの先頭を示す同期信号である垂直同期信号Ｂ−４は、１／６０秒ごとにアクティブになる信号である。ビデオ画像データｅを構成する画素データは、ブランキング期間を含めた全画素データ（たとえば２２００画素×１１２５ラインの画素）が１フレーム期間（１／６０秒）内に時系列に並んだ信号である。

メモリ制御部２３の処理によりフレームメモリ２４から読み出されたビデオ画像データｂ乃至ｅは、それぞれが、ＨＤ解像度、６０フレーム毎秒のビデオ画像データとして、独立に処理または表示することが可能なものであり、＃１カメラ信号処理部２５−１、＃２カメラ信号処理部２５−２、＃３カメラ信号処理部２５−３、および、＃４カメラ信号処理部２５−４のうちの対応するものに供給されて処理される。

図５は、カメラ信号処理部２５の詳細な構成を示すブロック図である。

ＷＢ（white balance）補正部５１は、ＲＡＷデータの各色成分のバランスを補正し、無彩色の領域において赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）の輝度値が等しくなるようなホワイトバランス調整を行う。

ＲＧＢ補間同時化処理部５２は、各画素においてＲ，Ｇ，Ｂのいずれかの色成分しか持たないＲＡＷデータに対して、周囲の画素データからの補間処理、すなわち、所謂デモザイク処理を行い、各画素において全ての色成分が揃った画素データとして出力する。例えば、図２に示されるベイヤー配列を有する撮像データにおいて、画素位置（ｘ＝２、ｙ＝２）の画素Ｂ₂₂はＢ成分しか持たないため、周囲画素を用いた補間処理によりＲ成分とＧ成分を生成し、それぞれＲ₂₂、Ｇ₂₂として出力する。撮像データとしてＲ成分のみの存在する画素（たとえばｘ＝１、ｙ＝１）についても、Ｇ成分のみが存在する画素（たとえばｘ＝２、ｙ＝１）についても同様である。

マトリクス処理部５３は、３×３行列を用いた色補正処理回路である。この処理により、撮像素子の色空間、および撮影環境によって左右される色バランスを、本来の信号規格に合わせた色空間に近づける。

ガンマ（γ）補正部５４は、入出力の階調数に応じたルックアップテーブル処理によりビデオ信号規格に従ったガンマ補正処理を行う。

色空間変換部５５は、ＲＧＢ色空間による画素データをＹＣｂＣｒ色空間に変換する。ここで、変換後の色空間は、ビデオ信号の標準化規格で定められているものであり、例えばＨＤＴＶ規格はITU-R.BT709で規定されている。さらに、色空間変換部５５は、色差信号Ｃｂ、Ｃｒについては縮退処理を行い、４：２：２フォーマットに変換してから変換後のビデオ信号（ＹＣｂＣｒ４：２：２）を出力する。

このようにして、カメラ信号処理部２５のそれぞれからは、ＨＤ解像度、６０フレーム毎秒のビデオ信号（ＹＣｂＣｒ４：２：２）が出力される。

カメラ信号処理部２５により処理されたビデオ画像データが、圧縮符号化されたのち、記録部２９に記録される場合、＃１カメラ信号処理部２５−１、＃２カメラ信号処理部２５−２、＃３カメラ信号処理部２５−３、および、＃４カメラ信号処理部２５−４により処理されたビデオ画像データが、＃１コーデック部２８−１、＃２コーデック部２８−２、＃３コーデック部２８−３、および、＃４コーデック部２８−４のうちのそれぞれ対応するものに供給されて、圧縮符号化され、圧縮符号化されているストリーム画像データが、＃１記録部２９−１、＃２記録部２９−２、＃３記録部２９−３、および、＃４記録部２９−４にそれぞれ供給されて、記録される。

そして、記録部２９に記録された圧縮符号化されたストリーム画像データが再生出力される場合、カメラ制御部１１は、ビデオ出力部２６から出力されるビデオ画像データのフレームレートに基づいて、所定の記録部２９から圧縮符号化データを読み出して、コーデック部２８により復号させ、ビデオ出力部２６に供給させる。ビデオ出力部２６は、供給された復号後のビデオ画像データに対して必要に応じてフレーム合成を行い、生成されたビデオ画像データをビデオ出力ｋとして外部に供給する。

また、撮像された映像をそのまま出力する場合においても、カメラ制御部１１は、ビデオ出力部２６から出力されるビデオ画像データのフレームレートに基づいて、所定のカメラ信号処理部２５から処理後のビデオ画像データをビデオ出力部２６に供給させる。ビデオ出力部２６は、供給されたビデオ画像データのフレーム合成を行い、生成されたビデオ画像データをビデオ出力ｋとして外部に供給する。

記録部２９に記録されていた圧縮符号化されたストリーム画像データを再生する場合を例として、出力フレームレートとフレーム合成について、図６および図７を用いて説明する。

記録部２９のそれぞれには、高解像度（ここではＨＤ解像度）、かつ高フレームレート（ここでは２４０フレーム毎秒）の動画像がフレーム単位で４分割された後、圧縮符号化されて生成されたストリーム画像データが記録されている。換言すれば、記録部２９のそれぞれに記録されているストリーム画像データは、それぞれがＨＤ解像度、６０フレーム毎秒の動画像であり、かつ、２４０フレーム毎秒に撮像画像を基準として時間的に１フレームずつずれている。具体的には、＃１記録部２９−１に記録されているストリーム画像データは、２４０フレーム毎秒の動画像のうち、４枚に１枚を抜き出した６０フレーム毎秒の動画像であり、＃２記録部２９−２に記録されているストリーム画像データは、＃１記録部２９−１に記録されているストリーム画像データよりも時間的に１フレーム遅延した６０フレーム毎秒の画像データとなっており、同様に、＃３記録部２９−３に記録されているストリーム画像データは、＃１記録部２９−１に記録されているストリーム画像データよりも時間的に２フレーム遅延した６０フレーム毎秒の画像データとなっており、＃４記録部２９−４に記録されているストリーム画像データは、＃１記録部２９−１に記録されているストリーム画像データよりも時間的に３フレーム遅延した６０フレーム毎秒の画像データとなっている。

記録部２９に記録された圧縮符号化データが再生出力される場合、カメラ制御部１１からの制御により、記録されているストリーム画像データが指定されたフレームから順次読み出されて、コーデック部２８のうちの対応するものにより復号されて再生される。

図６は、２４０フレーム毎秒のビデオ画像データが出力される場合のフレーム合成を示している。

２４０フレーム毎秒出力の再生動作が指令された場合、カメラ制御部１１は、記録部２９のそれぞれを制御し、記録されている圧縮符号化されたストリーム画像データを指定の開始フレームから読み出させる。再生された４つのストリーム画像データは、それぞれ、コーデック部２８において復号され、ＨＤ解像度、６０フレーム毎秒であって、それぞれが１/２４０秒ずつ、すなわち、２４０フレーム毎秒のビデオ画像データにおける１フレーム分ずれている４つのビデオ画像データｆ乃至ｉが、ビデオ出力部２６に入力される。

ビデオ出力部２６は、４つのビデオ画像データｆ乃至ｉを図示しないフレームメモリに一時記憶し、ＨＤ解像度、２４０フレーム毎秒のフレームレートとなるように並べて、図６に示すフレーム順、すなわち、２４０フレーム毎秒の撮像時と同一のフレーム順にて読出しを行い、ビデオ信号として出力する。図６においてフレーム順を示すＮ，Ｎ＋１，Ｎ＋２・・・は、２４０フレーム毎秒のビデオ画像データにおける場合のフレーム順を示す。すなわち、図６においてフレーム順を示すＮ，Ｎ＋１，Ｎ＋２・・・は、図３を用いて説明した、撮像された２４０フレーム毎秒のビデオ画像データにおける場合のフレーム順と基本的に同様にして、１／２４０秒だけずれたフレームの並び順を示すものである。

具体的には、＃１コーデック部２８−１からビデオ画像データｆのＮフレーム目が出力され、＃２コーデック部２８−２からビデオ画像データｇの（Ｎ＋１）フレーム目が出力され、＃３コーデック部２８−３からビデオ画像データｈの（Ｎ＋２）フレーム目が出力され、＃４コーデック部２８−４からビデオ画像データｉの（Ｎ＋３）フレーム目が出力され、ビデオ出力部２６に供給される。そして、ビデオ出力部２６は、Ｎフレーム目から（Ｎ＋３）フレーム目までの４フレームを図示しないフレームメモリに保持する。

そして、次に、＃１コーデック部２８−１からビデオ画像データｆの（Ｎ＋４）フレーム目が出力され、＃２コーデック部２８−２からビデオ画像データｇの（Ｎ＋５）フレーム目が出力され、＃３コーデック部２８−３からビデオ画像データｈの（Ｎ＋６）フレーム目が出力され、＃４コーデック部２８−４からビデオ画像データｉの（Ｎ＋７）フレーム目が出力され、ビデオ出力部２６に供給される。ビデオ出力部２６は、（Ｎ＋４）フレーム目から（Ｎ＋７）フレーム目までの４フレームを図示しないフレームメモリに保持するとともに、既にフレームメモリに保持されているＮフレーム目から（Ｎ＋３）フレーム目までの４フレームをフレーム順に並べて、ビデオ出力ｋとして出力する。すなわち、ビデオ出力ｋは、ビデオ画像データｇ乃至iの、ビデオ出力部２６への供給開始タイミングに対して少なくとも４フレーム分遅れて出力されている。

このようにして、ビデオ出力部２６から出力されるビデオ信号ｋは、ＨＤ解像度、２４０フレーム毎秒での画像表示が可能である。このようにすることにより、撮像装置１により撮像された動画像は、複雑な処理を行うことなく、例えば、６０フレーム毎秒などの通常フレームレートに比較して、高速な動画像表示を実現することが出来る。

ここで、ビデオ出力部２６からは、ＨＤ解像度、２４０フレーム毎秒のビデオ信号を、広帯域な１系統のビデオ伝送路で出力するものとして説明したが、ビデオ出力部２６は、出力されるビデオ信号ｋを取得する図示しない表示装置の仕様に合わせて、フレーム合成する前の、４系統のＨＤ解像度、６０フレーム毎秒のビデオ信号を、４系統のビデオ伝送路を介して図示しない表示部に出力するものとしても良い。このようにした場合、４系統のＨＤ解像度、６０フレーム毎秒のビデオ信号を取得する表示装置において、４系統のＨＤ解像度６０フレーム毎秒の入力ビデオ信号からＨＤ解像度２４０フレーム毎秒のビデオ信号を生成するためのフレーム合成を、図６を用いて説明した場合と同様に実行する必要がある。また、この場合には、ビデオ出力部２６は、フレーム合成をせずに、ＨＤ解像度、６０フレーム毎秒のビデオ画像データｆ乃至ｉをそのまま４系統のビデオ信号として出力すれば良い。

次に、図７を参照して、１２０フレーム毎秒での再生動作について説明する。

例えば、表示装置が１２０フレーム毎秒までしか対応していない、または、ビデオ信号の伝送路が１２０フレーム毎秒までしか対応していないなどの理由により、ＨＤ解像度１２０フレーム毎秒のビデオ信号出力を行う場合、カメラ制御部１１は、記録部２９のうち、記録されている圧縮符号化されたストリーム画像データが２４０フレーム毎秒の動画フレームにおける２フレーム分ずれている２つの記録部２９から、記録されている圧縮符号化されたストリーム画像データをコーデック部２８に供給させる。再生された２つのストリーム画像データは、それぞれ、コーデック部２８において復号される。そして、ＨＤ解像度、６０フレーム毎秒であって、それぞれのビデオ画像データが、２/２４０秒ずつ、すなわち、２４０フレーム毎秒のビデオ画像データにおける２フレーム分それぞれずれている２つのビデオ画像データｆおよびビデオ画像データｈ（または、ビデオ画像データｇおよびビデオ画像データｉ）が、ビデオ出力部２６に入力される。

ビデオ出力部２６は、２つのビデオ画像データｆおよびビデオ画像データｈを図示しないフレームメモリに一時記憶し、ＨＤ解像度、１２０フレーム毎秒のフレームレートとなるように並べて、図７に示すフレーム順にて読出しを行い、ビデオ信号として出力する。図７においても、フレーム順を示すＮ，Ｎ＋２，Ｎ＋４・・・は、２４０フレーム毎秒のビデオ画像データにおける場合のフレーム順を示す。すなわち、フレーム合成されたビデオ画像データのフレーム順は、Ｎ，Ｎ＋２，Ｎ＋４・・・であるので、フレーム合成後のビデオ画像データは、２４０フレーム毎秒のビデオ画像データを１／２間引きした１２０フレーム毎秒のビデオ画像データとなる。

このようにして、ビデオ出力部２６からは、複雑な処理を行うことなく、ＨＤ解像度、２４０フレーム毎秒での画像表示が可能なビデオ出力ｋのみならず、ＨＤ解像度、１２０フレーム毎秒での画像表示が可能なビデオ出力ｋを出力することが可能である。このようにすることにより、撮像装置１は、容易に複数のフレームレートのビデオ画像データを生成して出力することができる。

ここで、ビデオ出力部２６からは、出力されるビデオ信号ｋを取得する図示しない表示装置の仕様に合わせて、ＨＤ解像度、１２０フレーム毎秒のビデオ信号を、広帯域な１系統のビデオ伝送路で出力するものとして説明したが、ビデオ出力部２６は、例えば、２系統のＨＤ解像度、６０フレーム毎秒のビデオ信号を、２系統のビデオ伝送路を介して図示しない表示部に出力するものとしても良い。このようにした場合、２系統のＨＤ解像度、６０フレーム毎秒のビデオ信号を取得する表示装置において、２系統のＨＤ解像度６０フレーム毎秒の入力ビデオ信号からＨＤ解像度１２０フレーム毎秒のビデオ信号を生成するためのフレーム合成を、図７を用いて説明した場合と同様に実行する必要がある。また、この場合には、ビデオ出力部２６は、フレーム合成をせずに、ＨＤ解像度、６０フレーム毎秒のビデオ画像データｆおよびビデオ画像データｈをそのまま２系統のビデオ信号として出力すれば良い。

図示は省略するが、さらに、表示装置が通常のフレームレートである６０フレーム毎秒しか対応しない場合、または、伝送路が６０フレーム毎秒しか対応しない場合などにおいては、カメラ制御部１１は、記録部２９のうちのいずれか１つから圧縮符号化されたストリーム画像データが読み出されて、コーデック部２８のうちの対応するものにおいて復号され、６０フレーム毎秒のビデオ画像データがビデオ出力部２６に供給されるように、各部を制御する。ビデオ出力部２６は、供給されたＨＤ解像度６０フレーム毎秒のビデオ画像データを出力する。

このようにして、撮像装置１においては、高解像度、かつ高フレームレートでの撮像を行い、撮像された動画像をフレーム単位で分割し、分割後のデータに対して並列処理を行うことにより、動画像データの画像処理、コーデック、または記録処理は、通常フレームレート（例えば、撮像が２４０フレーム毎秒であるのに対して、６０フレーム毎秒）で実行することができ、再生時には、複雑な処理を行うことなく、複数の出力フレームレートでビデオデータを出力することが可能となる。

また、撮像画像が図示しないファインダに出力されて表示される場合、＃１カメラ信号処理部２５−１により処理された画像データが、ファインダ出力部２７に出力される。さらに、ビデオ出力される画像データが図示しないファインダに出力されて表示される場合、＃１コーデック部２８−１により復号された画像データが、ファインダ出力部２７に出力される。換言すれば、ファインダに出力される画像データのフレームレートは、６０フレーム毎秒である。

これに対して、例えば、ファインダが１２０フレーム毎秒のフレームレートの動画像の表示能力を有している場合、＃１カメラ信号処理部２５−１により処理された画像データに加えて＃３カメラ信号処理部２５−３により処理された画像データがファインダ出力部２７に出力されるか、または、＃１コーデック部２８−１により復号された画像データに加えて＃３コーデック部２８−３により復号された画像データがファインダ出力部２７に出力されて、フレーム合成されて出力されるようにしても良い。

また、ファインダが２４０フレーム毎秒のフレームレートの動画像の表示能力を有している場合、カメラ制御部１１の制御により、カメラ信号処理部２５の全てから処理後の６０フレーム毎秒の４つのビデオ画像データがビデオ出力部２６に供給されるか、記録部２９のうちの全てから圧縮符号化されたストリーム画像データが読み出されて、コーデック部２８のそれぞれにおいて復号され、６０フレーム毎秒の４つのビデオ画像データがビデオ出力部２６に供給されて、フレーム合成されて表示させるようにしてもよいことは言うまでもない。

また、撮像され処理された画像データが、一旦圧縮されて記録されることなく外部に出力される場合、出力されるビデオ画像データのフレームレートに基づいて、＃１カメラ信号処理部２５−１、＃２カメラ信号処理部２５−２、＃３カメラ信号処理部２５−３、および、＃４カメラ信号処理部２５−４のうちの所定のカメラ信号処理部２５により処理されたビデオ画像データがビデオ出力部２６に供給される。

具体的には、出力されるビデオ画像データのフレームレートが２４０フレーム毎秒である場合、＃１カメラ信号処理部２５−１、＃２カメラ信号処理部２５−２、＃３カメラ信号処理部２５−３、および、＃４カメラ信号処理部２５−４の全てからビデオ画像データがビデオ出力部２６に供給される。そして、出力されるビデオ画像データのフレームレートが１２０フレーム毎秒である場合、＃１カメラ信号処理部２５−１、＃２カメラ信号処理部２５−２、＃３カメラ信号処理部２５−３、および、＃４カメラ信号処理部２５−４のうち、処理するフレームが２４０フレーム毎秒の動画フレームにおける２フレーム分ずれている２つのカメラ信号処理部２５からビデオ画像データがビデオ出力部２６に供給される。また、出力されるビデオ画像データのフレームレートが６０フレーム毎秒である場合、＃１カメラ信号処理部２５−１、＃２カメラ信号処理部２５−２、＃３カメラ信号処理部２５−３、および、＃４カメラ信号処理部２５−４のうちのいずれか１つからビデオ画像データがビデオ出力部２６に供給される。

上述した撮像装置１においては、一般的に動画像を撮像する場合に広く用いられる６０フレーム毎秒の４倍の２４０フレーム毎秒で、動画像を撮像し、撮像された動画像データを４つにフレームごとに分割して、４系統の６０フレーム毎秒の動画像データを生成して、各種処理を行い、６０フレーム毎秒、１２０フレーム毎秒、または、２４０フレーム毎秒の動画像を再生可能なようになされているが、撮像のフレームレートや、撮像された動画像データの分割数は、これ以外のものであってもかまわないことはいうまでもない。

具体的には、例えば、２４０フレーム毎秒で撮像した動画像を２分割や３分割するようにしても良いし、１２０フレーム毎秒で撮像した動画像を２分割や３分割するようにしても良い。また、２００フレーム毎秒で撮像した動画像を４分割したり、１００フレーム毎秒で撮像した動画像を２分割するようにしても良いし、９６フレーム毎秒で撮像した動画像を４分割したり、４８フレーム毎秒で撮像した動画像を２分割するようにしても良い。

このとき、分割された各系統の動画像データが、例えば、６０フレーム毎秒、５０フレーム毎秒、または、２４フレーム毎秒など、一般的に動画像を撮像する場合に広く用いられているフレームレートであると、例えば、信号処理やコーデックに必要な回路等に汎用品を用いることができ、コストを抑制することができるので好適である。しかしながら、分割された各系統の動画像データのフレームレートは、これ以外の値であってもかまわない。

また、ここでは、分割された各系統のフレームレートが等しい場合を例として説明したが、分割された各系統のフレームレートが異なっていてもよいことは言うまでもない。例えば、２４０フレーム毎秒で撮像した動画像を、１２０フレーム毎秒の１系統と、６０フレーム毎秒の２系統に分割するようにしても良い。

なお、記録部２９の容量が大きく、かつ、記録レートが高速な場合や、コーデックによる画像の劣化を防ぎたい場合など、コーデック部２８を省略し、圧縮符号化しないビデオ画像データを記録部２９に記録するようにしても良いことは言うまでもない。

このように、撮像装置１は、例えば、６０フレーム毎秒、５０フレーム毎秒、または、２４フレーム毎秒など、一般的に動画像を撮像する場合に広く用いられているフレームレートのＮ倍（ここでは４倍）のフレームレートで撮像した画像データを、フレーム単位で、時間方向にＮ分割することにより、高フレームレートのビデオ画像データを、Ｎ個の通常のフレームレートにおける画像データとして処理したり記録することができ、更に、複雑な処理を行うことなく、複数のフレームレートで動画像データを出力することができる。

また、撮像装置１は、撮像素子２２として、受光面に画素ごとに異なる波長域を透過するカラーフィルタを持つ単板カラー方式の固体撮像素子を有していたが、撮像方法は、これ以外の方式であっても良いことはいうまでもない。例えば、単板カラー方式ではなく、三板式の撮像装置においても、本発明は適用可能である。

図９は、固体撮像素子を３つ使用する三板式の撮像装置１０１の構成を示すブロック図である。

なお、図１の撮像装置１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、撮像装置１０１は、カメラ制御部１１に代わってカメラ制御部１１１が設けられ、撮像素子２２に代わって、撮像素子１２１乃至１２３が設けられ、メモリ制御部２３に代わってメモリ制御部１２４が設けられ、フレームメモリ２４に代わってフレームメモリ１２５が設けられ、＃１カメラ信号処理部２５−１、＃２カメラ信号処理部２５−２、＃３カメラ信号処理部２５−３、および、＃４カメラ信号処理部２５−４に代わって、＃１カメラ信号処理部１２６−１、＃２カメラ信号処理部１２６−２、＃３カメラ信号処理部１２６−３、および、＃４カメラ信号処理部１２６−４が設けられ、新たに、撮像光学系２１を介して入射される光を分光するダイクロイックプリズム１２０が備えられている以外は、図１を用いて説明した撮像装置１と基本的に同様の構成を有するものである。

以下の説明においては、＃１カメラ信号処理部１２６−１、＃２カメラ信号処理部１２６−２、＃３カメラ信号処理部１２６−３、および、＃４カメラ信号処理部１２６−４を個々に区別する必要がない場合、単に、カメラ信号処理部１２６と称する。

カメラ制御部１１１は、撮像装置１０１の各部の動作を制御する。

撮像素子１２１、１２２、および１２３は、撮像光学系２１を介して入射され、ダイクロイックプリズム１２０より赤色成分（Ｒ）、緑色成分（Ｇ）、および、青色成分（Ｂ）に分光された光を受光する。ここで、撮像素子１２１は、赤色成分（Ｒ）を中心とした波長域の光を受光し、撮像素子１２２は、緑色成分（Ｇ）を中心とした波長域の光を受光し、撮像素子１２３は、青色成分（Ｂ）を中心とした波長域の光を受光するものとする。

メモリ制御部１２４は、カメラ制御部１１１の制御に基づいて、撮像素子１２１、１２２、および１２３から供給された、ＲＧＢそれぞれの色成分を中心とした波長域に対応する撮像データを、３色で１フレームとしてフレームメモリ１２５に供給するとともに、フレームメモリ１２５に記録されている、３色で１フレームの撮像データの４フレーム分を、図３および図４を用いて説明した場合と同様の処理によりフレーム単位で分割し、カメラ信号処理部１２６にそれぞれ供給する。フレームメモリ１２５は、少なくとも、ＲＧＢ３色で１フレームの撮像データを８フレーム分保持することが可能な記憶容量を有する。

したがって、三板式の撮像素子を用いて撮像を行う撮像装置１０１では、各画素位置においてＲ，Ｇ，Ｂのそれぞれの撮像データが得られているため、カメラ信号処理部１２６のそれぞれにおいては、ＲＧＢ補間同時化処理を行う必要がない。

カメラ信号処理部１２６の構成を図９に示す。

なお、図５のカメラ信号処理部２５と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、カメラ信号処理部１２６は、ＲＧＢ補間同時化処理部５２が省略され、ＷＢ補正部５１に代わってＷＢ補正部１５１が設けられている以外は、図５のカメラ信号処理部２５と基本的に同様の構成を有するものである。

ＷＢ補正部１５１は、各画素ごとにＲ，Ｇ，Ｂが揃った画像信号の供給を受け、各画素毎にＲ，Ｇ，Ｂ間での色バランス調整を行い、調整後の画像信号（Ｒ，Ｇ，Ｂ）をマトリクス処理部５３に供給する。マトリクス処理以降の信号処理については、図５を用いて説明したカメラ信号処理部２５と基本的に同様である。

このように、撮像装置１０１においても、一般的に動画像を撮像する場合に広く用いられる６０フレーム毎秒の４倍の２４０フレーム毎秒で、動画像を撮像し、撮像された動画像データを４つにフレームごとに分割して、４系統の６０フレーム毎秒の動画像データを生成して、各種処理を行い、６０フレーム毎秒、１２０フレーム毎秒、または、２４０フレーム毎秒の動画像を再生可能なようになされているが、撮像のフレームレートや、撮像された動画像データの分割数は、これ以外のものであってもかまわないことはいうまでもない。

また、ここでも、分割された各系統のフレームレートが等しい場合を例として説明したが、分割された各系統のフレームレートが異なっていてもよいことは言うまでもない。例えば、２４０フレーム毎秒で撮像した動画像を、１２０フレーム毎秒の１系統と、６０フレーム毎秒の２系統に分割するようにしても良い。

なお、撮像装置１０１においても、記録部２９の容量が大きく、かつ、記録レートが高速な場合や、コーデックによる画像の劣化を防ぎたい場合など、コーデック部２８を省略し、圧縮符号化しないビデオ画像データを記録部２９に記録するようにしても良いことは言うまでもない。

このように、撮像装置１０１も、撮像装置１と同様に、例えば、６０フレーム毎秒、５０フレーム毎秒、または、２４フレーム毎秒など、一般的に動画像を撮像する場合に広く用いられているフレームレートのＮ倍（ここでは４倍）のフレームレートで撮像した画像データを、フレーム単位で、時間方向にＮ分割することにより、高フレームレートのビデオ信号を、Ｎ個の通常のフレームレートにおける画像データとして処理したり記録することができ、更に、複雑な処理を行うことなく、複数のフレームレートで動画像データを出力することができる。

次に、図１０のフローチャートを参照して、撮像装置１または撮像装置１０１が実行する、撮像・記録・出力処理について説明する。

なお、図１０のフローチャートにおいては、撮像・記録・出力のそれぞれの処理を、分かりやすくするために、個別のステップで説明しているが、これらの処理は、撮像装置１または撮像装置１０１において、並列的に実行することが可能であることは言うまでもない。

ステップＳ１において、カメラ制御部１１またはカメラ制御部１１１は、図示しない操作入力部などから、動画像の撮像開始が指令されたか否かを判断する。ステップＳ１において、動画像の撮像開始が指令されていないと判断された場合、処理は、後述するステップＳ１３に進む。

ステップＳ１において、動画像の撮像開始が指令されたと判断された場合、ステップＳ２において、カメラ制御部１１またはカメラ制御部１１１は、撮像処理を実行するために、各部を制御する。

具体的には、カメラ制御部１１は、撮像光学系２１を制御して、撮像される画像に対応する光を撮像素子２２に入射させる。撮像素子２２は、カメラ制御部１１の制御に基づいて、高解像度（ここでは、例えば、HD解像度）、かつ、高フレームレート（ここでは、例えば、２４０フレーム毎秒、すなわち、２４０Ｈｚとする）で、図２に示すようなベイヤー（Bayer）配列に従った色配列の画素データで構成される画像信号を取得し、メモリ制御部２３に供給する。また、カメラ制御部１１１は、撮像光学系２１を制御して、撮像される画像に対応する光をダイクロイックプリズム１２０により赤色成分（Ｒ）、緑色成分（Ｇ）、および、青色成分（Ｂ）に分光させた後、撮像素子１２１乃至１２３にそれぞれ入射させる。撮像素子１２１乃至１２３は、カメラ制御部１１１の制御に基づいて、高解像度（ここでは、例えば、HD解像度）、かつ、高フレームレート（ここでは、例えば、２４０フレーム毎秒、すなわち、２４０Ｈｚとする）で、ＲＧＢそれぞれの色成分の波長域に対応する光を受光することにより画像信号を取得し、メモリ制御部２３に供給する。

ステップＳ３において、カメラ制御部１１またはカメラ制御部１１１は、撮像データを分割する処理を開始または継続するために各部を制御する。

具体的には、カメラ制御部１１またはカメラ制御部１１１の制御に基づいて、メモリ制御部２３またはメモリ制御部１２４は、図３および図４を用いて説明したように、撮像素子２２、または、撮像素子１２１、１２２、および１２３から供給された撮像データをフレーム単位で分割し、カメラ信号処理部２５またはカメラ信号処理部１２６にそれぞれ供給する。

ステップＳ４において、カメラ信号処理部２５またはカメラ信号処理部１２６は、カメラ制御部１１またはカメラ制御部１１１の制御に基づいて、信号処理を実行する。

具体的には、カメラ信号処理部２５は、図５を用いて説明したように、供給されたRAWデータのホワイトバランスを補正し、RGB補間同時化、すなわち、デモザイク処理を実行し、マトリクス処理およびγ補正を行った後、色空間変換を行って、生成されたＨＤ解像度、６０フレーム毎秒のビデオ信号（ＹＣｂＣｒ４：２：２）を出力する。また、カメラ信号処理部１２６は、図９を用いて説明したように、RGBそれぞれの成分により構成される画像データのホワイトバランスを補正し、マトリクス処理およびγ補正を行った後、色空間変換を行って、生成されたＨＤ解像度、６０フレーム毎秒のビデオ信号（ＹＣｂＣｒ４：２：２）を出力する。

ステップＳ５において、カメラ制御部１１またはカメラ制御部１１１は、撮像中の画像の、ファインダへの出力が指令されているか否かを判断する。

ステップＳ５において、ファインダへの出力が指令されていると判断された場合、ステップＳ６において、カメラ制御部１１またはカメラ制御部１１１は、信号処理されたビデオデータをファインダに出力する処理を制御する。

具体的には、ファインダ出力部２７は、カメラ制御部１１またはカメラ制御部１１１の制御に基づいて、＃１カメラ信号処理部２５−１または＃１カメラ信号処理部１２６−１から出力されるビデオ信号を取得し、ファインダで表示可能な信号に変換した後、図示しないファインダに出力して６０フレーム毎秒のフレームレートの動画像を表示させる。

なお、ファインダの入力信号がＲＧＢ信号である場合には、＃１カメラ信号処理部２５−１または＃１カメラ信号処理部１２６−１において色空間変換処理を行う前のＲＧＢ信号を、ファインダ出力部２７が直接取得する構成にしても構わない。また、ファインダが表示可能な動画像のフレームレートが、例えば、１２０フレーム毎秒のフレームレートであるとき、ファインダ出力部２７は、＃１カメラ信号処理部２５−１および＃３カメラ信号処理部２５−３、または、＃１カメラ信号処理部１２６−１および＃３カメラ信号処理部１２６−３（もしくは、＃２カメラ信号処理部２５−２および＃４カメラ信号処理部２５−４、または、＃２カメラ信号処理部１２６−２および４カメラ信号処理部１２６−４）から出力されるビデオ信号を取得し、フレーム合成して、図示しないファインダに出力するようにしても良いし、ファインダが表示可能な動画像のフレームレートが、例えば、２４０フレーム毎秒のフレームレートであるとき、ファインダ出力部２７は、カメラ信号処理部２５の全て、または、カメラ信号処理部１２６の全てから出力されるビデオ信号を取得し、フレーム合成して、図示しないファインダに出力するようにしても良い。

ステップＳ５において、ファインダへの出力が指令されていないと判断された場合、または、ステップＳ６の処理の終了後、ステップＳ７において、カメラ制御部１１またはカメラ制御部１１１は、撮像中の画像のビデオ出力が指令されているか否かを判断する。

ステップＳ７において、撮像中の画像のビデオ出力が指令されていると判断された場合、ステップＳ８において、カメラ制御部１１またはカメラ制御部１１１は、ビデオ出力処理を開始する。

具体的には、ビデオ出力部２６は、カメラ制御部１１またはカメラ制御部１１１の制御に基づいて、カメラ信号処理部２５またはカメラ信号処理部１２６から信号処理後のビデオ信号を取得し、必要に応じてフレーム合成を行って所定のフレームレートのビデオ信号を生成し、図中ｋで示されるビデオ出力として、例えば、外部の記録装置や表示装置、または、所定の信号伝送路などに出力する。

このとき、ビデオ出力部２６は、カメラ制御部１１またはカメラ制御部１１１の制御に基づいて、出力されるビデオ信号のフレームレートに基づいたビデオデータをカメラ信号処理部２５またはカメラ信号処理部１２６から取得してフレーム合成を行う。

具体的には、フレームレート６０フレーム毎秒の動画像データが出力される場合、カメラ信号処理部２５またはカメラ信号処理部１２６のうちのいずれか１つから、処理後の６０フレーム毎秒のビデオ画像データがビデオ出力部２６に供給されて、ビデオ出力部２６に供給される。ビデオ出力部２６は、供給された６０フレーム毎秒のビデオ画像データを出力する。

また、フレームレート１２０フレーム毎秒の動画像データが出力される場合、カメラ信号処理部２５またはカメラ信号処理部１２６のうち、処理するフレームが２４０フレーム毎秒の動画フレームにおける２フレーム分ずれている２つのカメラ信号処理部２５から、処理後の６０フレーム毎秒の２系統のビデオ画像データがビデオ出力部２６に供給される。ビデオ出力部２６は、図７を用いて説明したように、供給された６０フレーム毎秒の２系統のビデオ画像データが１フレームずつ交互に配置されるようにフレーム合成を行って、合成されたビデオ画像データを出力する。

また、フレームレート２４０フレーム毎秒の動画像データが出力される場合、カメラ信号処理部２５またはカメラ信号処理部１２６の全てから、処理後の６０フレーム毎秒の４系統のビデオ画像データがビデオ出力部２６に供給される。ビデオ出力部２６は、図６を用いて説明したように、供給された６０フレーム毎秒の４系統のビデオ画像データが１フレームずつ順次配置されるようにフレーム合成を行って、合成されたビデオ画像データを出力する。

ステップＳ７において、ビデオ出力が指令されていないと判断された場合、または、ステップＳ８の処理の終了後、ステップＳ９において、カメラ制御部１１またはカメラ制御部１１１は、撮像データの記録が指令されているか否かを判断する。

ステップＳ９において、撮像データの記録が指令されていると判断された場合、ステップＳ１０において、コーデック部２８は、カメラ制御部１１またはカメラ制御部１１１の制御に基づいて、カメラ信号処理部２５またはカメラ信号処理部１２６から供給された信号処理済みのビデオ画像データの符号化処理を実行する。

ステップＳ１１において、コーデック部２８は、圧縮符号化されたストリーム画像データを記録部２９に供給して記録させる。

ステップＳ９において、撮像データの記録が指令されていないと判断された場合、または、ステップＳ１１の処理の終了後、ステップＳ１２において、カメラ制御部１１またはカメラ制御部１１１は、動画像の撮像終了が指令されたか否かを判断する。ステップＳ１２において、動画像の撮像終了が指令されていないと判断された場合、処理は、ステップＳ２に戻り、それ以降の処理が繰り返される。

ステップＳ１において、動画像の撮像開始が指令されていないと判断された場合、または、ステップＳ１２において、動画像の撮像終了が指令されたと判断された場合、ステップＳ１３において、カメラ制御部１１またはカメラ制御部１１１は、記録部２９に記録された動画像の再生出力が指令されたか否かを判断する。

ステップＳ１３において、記録部２９に記録された動画像の再生出力が指令されたと判断された場合、ステップＳ１４において、カメラ制御部１１またはカメラ制御部１１１は、ビデオ出力処理を開始する。

具体的には、ビデオ出力部２６は、図６および図７を用いて説明したように、カメラ制御部１１またはカメラ制御部１１１の制御に基づいて、コーデック部２８から復号後の再生画像データを取得し、必要に応じてフレーム合成を行って所定のフレームレートのビデオ信号を生成し、図中ｋで示されるビデオ出力として、例えば、外部の記録装置や表示装置、または、所定の信号伝送路などに出力する。

このとき、ビデオ出力部２６は、カメラ制御部１１またはカメラ制御部１１１の制御に基づいて、出力されるビデオ信号のフレームレートに基づいたビデオデータをコーデック部２８から取得してフレーム合成を行う。

具体的には、フレームレート６０フレーム毎秒の動画像データが出力される場合、記録部２９のうちのいずれか１つから、圧縮符号化されたストリーム画像データが読み出されて、コーデック部２８のうちの対応するものにおいて復号され、６０フレーム毎秒のビデオ画像データがビデオ出力部２６に供給される。ビデオ出力部２６は、供給された６０フレーム毎秒のビデオ画像データを出力する。

また、フレームレート１２０フレーム毎秒の動画像データが出力される場合、記録部２９のうち記録されている圧縮符号化されたストリーム画像データが２４０フレーム毎秒の動画フレームにおける２フレーム分ずれている２つの記録部２９から、圧縮符号化されたストリーム画像データが読み出されて、コーデック部２８のうちの対応するものにおいて復号され、６０フレーム毎秒の２つのビデオ画像データがビデオ出力部２６に供給される。ビデオ出力部２６は、図７を用いて説明したように、供給された６０フレーム毎秒の２つのビデオ画像データが１フレームずつ交互に配置されるようにフレーム合成を行って、合成されたビデオ画像データを出力する。

また、フレームレート２４０フレーム毎秒の動画像データが出力される場合、記録部２９のうちの全てから、圧縮符号化されたストリーム画像データが読み出されて、コーデック部２８のそれぞれにおいて復号され、６０フレーム毎秒の４つのビデオ画像データがビデオ出力部２６に供給される。ビデオ出力部２６は、図６を用いて説明したように、供給された６０フレーム毎秒の４つのビデオ画像データが１フレームずつ順次配置されるようにフレーム合成を行って、合成されたビデオ画像データを出力する。

さらに、再生出力される動画像のファインダ出力が指令されているとき、ファインダ出力部２７は、カメラ制御部１１またはカメラ制御部１１１の制御に基づいて、＃１コーデック部２８−１から出力されるビデオ信号を受け取り、ファインダで表示可能な信号に変換した後、図示しないファインダに出力して６０フレーム毎秒のフレームレートの動画像を表示させる。

ステップＳ１５において、カメラ制御部１１またはカメラ制御部１１１は、記録された動画像の再生出力終了が指令されたか否かを判断する。ステップＳ１５において、記録された動画像の再生出力終了が指令されていないと判断された場合、処理は、ステップＳ１４に戻り、それ以降の処理が繰り返される。

ステップＳ１３において、記録された動画像の再生出力が指令されていないと判断された場合、または、ステップＳ１５において、記録された動画像の再生出力終了が指令されたと判断された場合、処理が終了される。

このような処理により、撮像装置１または撮像装置１０１においては、フレームレートの高い動画が撮像されて、撮像されたデータがフレーム単位で分割されることにより、複雑な処理や高速な信号処理回路を用いることなく、フレームレートの高い動画像データに対して、信号処理や符号化が施されて、記録される。

更に、ファインダの表示能力に合致したフレームレートが撮像されるフレームレートよりも遅くても、複雑な処理を行うことなく、ファインダの表示能力に合致したフレームレートで撮像された動画をファインダに表示させることができる。また、要求される出力データのフレームレートが、記録されているデータのフレームレートと異なる場合であっても、複雑な処理を行うことなく、所定のフレームレートのデータを出力することが可能となる。

次に、図１１および図１２のフローチャートを参照して、撮像装置１または撮像装置１０１において実行される、撮像データ分割処理について説明する。

ステップＳ４１において、カメラ制御部１１またはカメラ制御部１１１は、メモリ制御部２３からフレームメモリ２４に、または、メモリ制御部１２４からフレームメモリ１２５に書き込まれる撮像データの書き込み開始アドレスを設定する。

ステップＳ４２において、カメラ制御部１１またはカメラ制御部１１１は、メモリ制御部２３からフレームメモリ２４への、または、メモリ制御部１２４からフレームメモリ１２５への撮像データのブロック書き込みを開始または継続する。ここでブロックとは、フレームメモリ２４またはフレームメモリ１２５に一度アクセスすることにより授受可能なデータ単位であり、ここでは１ライン分の画素データとする。

ステップＳ４３において、カメラ制御部１１またはカメラ制御部１１１は、フレームメモリ２４またはフレームメモリ１２５に４フレームの撮像データが書き込まれたか否かを判断する。ステップＳ４３において、４フレームの撮像データが書き込まれていないと判断された場合、処理は、ステップＳ４２に戻り、それ以降の処理が繰り返される。

ステップＳ４３において、４フレームの撮像データが書き込まれたと判断された場合、ステップＳ４４において、カメラ制御部１１またはカメラ制御部１１１は、フレームメモリ１２５から読み出される撮像データの読み出し開始アドレスを４フレーム分設定する。ここでは、フレームメモリ２４またはフレームメモリ１２５から読み出される撮像データの読み出し開始アドレスは、フレームメモリ２４またはフレームメモリ１２５に書き込まれている４フレームの撮像データのそれぞれのフレームの先頭アドレスと一致する。すなわち、ステップＳ４１または後述するステップＳ４６の処理により設定された書き込み開始アドレスに基づいてフレームメモリ２４またはフレームメモリ１２５へ書き込まれた４フレーム分の撮像データが、並列して順次読み出されるように、４フレーム分の撮像データの読み出し開始アドレスが設定される。

ステップＳ４５において、カメラ制御部１１またはカメラ制御部１１１は、フレームメモリ２４またはフレームメモリ１２５から読み出された撮像データの供給先を決めるために用いられるカウンタＣの値を初期化する。

ステップＳ４６において、カメラ制御部１１またはカメラ制御部１１１は、メモリ制御部２３からフレームメモリ２４に、または、メモリ制御部１２４からフレームメモリ１２５に次に書き込まれる撮像データの書き込み開始アドレスを設定する。ステップＳ４６においては、現在フレームメモリ２４またはフレームメモリ１２５に書き込まれている４フレーム分の撮像データの記録領域とは異なる領域に、新たな４フレーム分の撮像データを書き込むための書き込み開始アドレスが設定される。

ステップＳ４７において、カメラ制御部１１またはカメラ制御部１１１は、ステップＳ４６において設定された書き込みアドレス、または、後述する処理においてインクリメントされる書き込みアドレスの値に基づいて、メモリ制御部２３からフレームメモリ２４への、または、メモリ制御部１２４からフレームメモリ１２５への撮像データのブロック書き込みを開始または継続する。

ステップＳ４８において、カメラ制御部１１またはカメラ制御部１１１は、フレームメモリ２４またはフレームメモリ１２５から読み出された撮像データの供給先を決めるために用いられるカウンタＣの値が、Ｃ＝０であるか否かを判断する。

ステップＳ４８において、カウンタＣの値がＣ＝０であると判断された場合、ステップＳ４９において、カメラ制御部１１またはカメラ制御部１１１は、フレームメモリ２４またはフレームメモリ１２５に書き込まれている、すなわち、読み出しアドレスが設定されている４フレームの撮像データのうちの時間的に一番早いフレームの読み出しアドレスに基づいて、フレームメモリ２４からメモリ制御部２３へ、または、フレームメモリ１２５からメモリ制御部１２４へ、撮像データをブロック読み出しさせる。メモリ制御部２３またはメモリ制御部１２４は、カメラ制御部１１またはカメラ制御部１１１の制御に基づいて、読み込まれた１ブロックの撮像データを、＃１カメラ信号処理部２５−１に、または、＃１カメラ信号処理部１２６−１に供給し、処理は、ステップＳ５５に進む。

ステップＳ４８において、カウンタＣの値がＣ＝０ではないと判断された場合、ステップＳ５０において、カメラ制御部１１またはカメラ制御部１１１は、フレームメモリ２４またはフレームメモリ１２５から読み出された撮像データの供給先を決めるために用いられるカウンタＣの値が、Ｃ＝１であるか否かを判断する。

ステップＳ５０において、カウンタＣの値がＣ＝１であると判断された場合、ステップＳ５１において、カメラ制御部１１またはカメラ制御部１１１は、フレームメモリ２４またはフレームメモリ１２５に書き込まれている、すなわち、読み出しアドレスが設定されている４フレームの撮像データのうちの時間的に２番目に早いフレームの読み出しアドレスに基づいて、フレームメモリ２４からメモリ制御部２３へ、または、フレームメモリ１２５からメモリ制御部１２４へ、撮像データをブロック読み出しさせる。メモリ制御部２３またはメモリ制御部１２４は、カメラ制御部１１またはカメラ制御部１１１の制御に基づいて、読み込まれた１ブロックの撮像データを、＃２カメラ信号処理部２５−２に、または、＃２カメラ信号処理部１２６−２に供給し、処理は、ステップＳ５５に進む。

ステップＳ５０において、カウンタＣの値がＣ＝１ではないと判断された場合、ステップＳ５２において、カメラ制御部１１またはカメラ制御部１１１は、フレームメモリ２４またはフレームメモリ１２５から読み出された撮像データの供給先を決めるために用いられるカウンタＣの値が、Ｃ＝２であるか否かを判断する。

ステップＳ５２において、カウンタＣの値がＣ＝２であると判断された場合、ステップＳ５３において、カメラ制御部１１またはカメラ制御部１１１は、フレームメモリ２４またはフレームメモリ１２５に書き込まれている、すなわち、読み出しアドレスが設定されている４フレームの撮像データのうちの時間的に３番目に早いフレームの読み出しアドレスに基づいて、フレームメモリ２４からメモリ制御部２３へ、または、フレームメモリ１２５からメモリ制御部１２４へ、撮像データをブロック読み出しさせる。メモリ制御部２３またはメモリ制御部１２４は、カメラ制御部１１またはカメラ制御部１１１の制御に基づいて、読み込まれた１ブロックの撮像データを、＃３カメラ信号処理部２５−３に、または、＃３カメラ信号処理部１２６−３に供給し、処理は、ステップＳ５５に進む。

ステップＳ５２において、カウンタＣの値がＣ＝２ではないと判断された場合、カウンタＣの値は、Ｃ＝３であるので、ステップＳ５４において、カメラ制御部１１またはカメラ制御部１１１は、フレームメモリ２４またはフレームメモリ１２５に書き込まれている、すなわち、読み出しアドレスが設定されている４フレームの撮像データのうちの時間的に最も遅いフレームの読み出しアドレスに基づいて、フレームメモリ２４からメモリ制御部２３へ、または、フレームメモリ１２５からメモリ制御部１２４へ、撮像データをブロック読み出しさせる。メモリ制御部２３またはメモリ制御部１２４は、カメラ制御部１１またはカメラ制御部１１１の制御に基づいて、読み込まれた１ブロックの撮像データを、＃４カメラ信号処理部２５−４に、または、＃４カメラ信号処理部１２６−４に供給し、処理は、ステップＳ５５に進む。

ステップＳ４９、ステップＳ５１、ステップＳ５３、または、ステップＳ５４の処理の終了後、ステップＳ５５において、カメラ制御部１１またはカメラ制御部１１１は、フレームメモリ２４またはフレームメモリ１２５から読み出された撮像データの供給先を決めるために用いられるカウンタＣの値をインクリメントする。ここで、カウンタＣの値が３であるとき、カウンタＣは０に初期化される。

ステップＳ５６において、カメラ制御部１１またはカメラ制御部１１１は、読み出しアドレスが設定された４フレームの読み出しが終了したか否かを判断する。ステップＳ５６において、読み出しアドレスが設定された４フレームの読み出しが終了したと判断された場合、処理は、ステップＳ４４に戻り、それ以降の処理が繰り返される。

ステップＳ５６において、読み出しアドレスが設定された４フレームの読み出しが終了していないと判断された場合、ステップＳ５７において、カメラ制御部１１またはカメラ制御部１１１は、ステップＳ４９、ステップＳ５１、ステップＳ５３、または、ステップＳ５４の処理によって読み出されたフレームに対応する読み出しアドレスをインクリメントする。

ステップＳ５８において、カメラ制御部１１またはカメラ制御部１１１は、ステップＳ４６において書き込み開始アドレスが設定された、フレームメモリ２４またはフレームメモリ１２５への１フレームの書き込みが終了したか否かを判断する。ステップＳ５８において、１フレームの書き込みが終了したと判断された場合、処理は、ステップＳ４６に戻り、それ以降の処理が繰り返される。

ステップＳ５８において、１フレームの書き込みが終了していないと判断された場合、ステップＳ５９において、カメラ制御部１１またはカメラ制御部１１１は、書き込みアドレスをインクリメントする。

ステップＳ６０において、カメラ制御部１１またはカメラ制御部１１１は、撮像の終了が指令されたか否かを判断する。

ステップＳ６０において、撮像の終了が指令されていないと判断された場合、処理は、ステップＳ４７に戻り、それ以降の処理が繰り返される。ステップＳ６０において、撮像の終了が指令されたと判断された場合、処理は終了される。

このような処理により、撮像されたビデオ画像データは、撮像のフレームレートの４分の１のフレームレートの４つのビデオ画像データに分割され、４つのカメラ信号処理部のそれぞれに並行して供給される。換言すれば、撮像されたビデオ画像データは、フレームごとに４つのカメラ信号処理部のそれぞれに供給されるように、各フレームを構成するデータの一部ずつが、４つのカメラ信号処理部に並列に順次供給される。したがって、撮像装置１および撮像装置１０１は、高解像度、かつ、一般的に動画像を撮像する場合に広く用いられているフレームレート（例えば、６０フレーム毎秒）のＮ倍（例えば、４倍）の高フレームレートの撮像データをＮ並列化することにより、通常のフレームレートで撮像した場合と同様の信号処理、画像圧縮処理、および、記録処理を行うことができる。

また、撮像装置１または撮像装置１０１においては、図１０のステップＳ８の処理において、撮像データをビデオ出力したり、図１０のステップＳ１４の処理において、記録されたデータをビデオ出力することができる。上述したように、ビデオ出力に求められるフレームレートは、撮像のフレームレートと異なるものであっても良い。具体的には、撮像のフレームレートが４Ｍフレーム毎秒（Ｍは、例えば、一般的に動画像を撮像する場合に広く用いられているフレームレートに対応する値）である場合、出力されるビデオ信号のフレームレートは、Ｍフレーム毎秒、２Ｍフレーム毎秒、または、４Ｍフレーム毎秒のうちのいずれであっても良い。

次に、図１３および図１４のフローチャートを参照して、撮像装置１または撮像装置１０１において実行される、ビデオ出力処理について説明する。

ステップＳ１０１において、カメラ制御部１１またはカメラ制御部１１１は、出力フレームレートの設定値を取得する。ここでは、２４０フレーム毎秒のフレームレートで撮像され、４分割されたデータをフレーム合成し、２４０フレーム毎秒で出力する場合について説明する。

ステップＳ１０２において、カメラ制御部１１またはカメラ制御部１１１は、出力フレームレートの設定値に基づいて、ストリーム画像データの読み出しを行う記録部２９、または、カメラ信号処理部２５もしくは１２６を決定する。

具体的には、撮像装置１または撮像装置１０１において２４０フレーム毎秒のフレームレートで撮像されたデータが４分割されている場合、出力フレームレートが６０フレーム毎秒なら、４つの記録部２９、または、カメラ信号処理部２５もしくは１２６のうちのいずれか１つがストリーム画像データの読み出しを行う対象として選択され、出力フレームレートが１２０フレーム毎秒なら、４つの記録部２９、または、カメラ信号処理部２５もしくは１２６のうち、それぞれ連続していない（２フレームずれた）フレームのデータを有する２つがストリーム画像データの読み出しを行う対象として選択され、出力フレームレートが２４０フレーム毎秒なら、４つの記録部２９、または、カメラ信号処理部２５もしくは１２６の全てがストリーム画像データの読み出しを行う対象として選択される。

ステップＳ１０３において、カメラ制御部１１またはカメラ制御部１１１は、ビデオ出力が記録部２９に記録されているデータの出力処理であるとき、所定の記録部２９からのストリーム画像データの読み出しと、コーデック部２８による復号処理の制御を開始する。

ステップＳ１０４において、カメラ制御部１１またはカメラ制御部１１１は、ビデオ出力部２６の図示しないフレームメモリに書き込まれるビデオ画像データの書き込み開始アドレスを４フレーム分設定する。

ステップＳ１０５において、カメラ制御部１１またはカメラ制御部１１１は、ビデオ出力部２６の図示しないフレームメモリに書き込むデータを取得するコーデック部２８、または、カメラ信号処理部２５もしくは１２６を決定するためのカウンタＣの値を初期化する。

ここでは、２４０フレーム毎秒のフレームレートで撮像され、４分割されたデータをフレーム合成し、２４０フレーム毎秒で出力するものとして説明するので、カウンタＣの値は、０乃至３の間でインクリメントされるものとする。これに対して、４系統に分割されたデータのうちの２系統の６０フレーム毎秒のビデオ画像データを構成するフレームを合成し、１２０フレーム毎秒で出力するようになされている場合、カウンタＣの値は、０と２とを交互に取るか、または、１と３とを交互に取るようになされる。また、６０フレーム毎秒でビデオ画像データを出力するようになされている場合、カウンタＣの値はインクリメントされず、０乃至３のいずれか一定の値となる。

ステップＳ１０６において、カメラ制御部１１またはカメラ制御部１１１は、ビデオ出力部２６の図示しないフレームメモリから出力のために読み出されるビデオ画像データの読み出し開始アドレスを、既にフレームメモリに記録されている４フレームのビデオ画像データのうち、次に読み出されるフレームの先頭ラインに設定する。

ステップＳ１０７において、カメラ制御部１１またはカメラ制御部１１１は、図示しないフレームメモリに書き込むデータを取得するコーデック部２８、または、カメラ信号処理部２５もしくは１２６を決定するためのカウンタＣの値が、Ｃ＝０であるか否かを判断する。

ステップＳ１０７において、Ｃ＝０であると判断された場合、ステップＳ１０８において、カメラ制御部１１またはカメラ制御部１１１は、＃１コーデック部２８−１、または、＃１カメラ信号処理部２５−１もしくは１２６−１から供給されたビデオ画像データを、４フレーム分のうち時間的に最も早い第１のフレームの書き込みアドレスに基づいて、フレームメモリに、例えば、１ラインごとにブロック書き込みし、処理は、ステップＳ１１４に進む。

ステップＳ１０７において、Ｃ＝０ではないと判断された場合、ステップＳ１０９において、カメラ制御部１１またはカメラ制御部１１１は、図示しないフレームメモリに書き込むデータを取得するコーデック部２８、または、カメラ信号処理部２５もしくは１２６を決定するためのカウンタＣの値が、Ｃ＝１であるか否かを判断する。

ステップＳ１０９において、Ｃ＝１であると判断された場合、ステップＳ１１０において、カメラ制御部１１またはカメラ制御部１１１は、＃２コーデック部２８−２、または、＃２カメラ信号処理部２５−２もしくは１２６−２から供給されたビデオ画像データを、４フレーム分のうちの時間的に２番目に早い第２のフレームの書き込みアドレスに基づいて、フレームメモリに、例えば、１ラインごとにブロック書き込みし、処理は、ステップＳ１１４に進む。

ステップＳ１０９において、Ｃ＝１ではないと判断された場合、ステップＳ１１１において、カメラ制御部１１またはカメラ制御部１１１は、図示しないフレームメモリに書き込むデータを取得するコーデック部２８、または、カメラ信号処理部２５もしくは１２６を決定するためのカウンタＣの値が、Ｃ＝２であるか否かを判断する。

ステップＳ１１１において、Ｃ＝２であると判断された場合、ステップＳ１１２において、カメラ制御部１１またはカメラ制御部１１１は、＃３コーデック部２８−３、または、＃３カメラ信号処理部２５−３もしくは１２６−３から供給されたビデオ画像データを、４フレーム分のうちの時間的に３番目に早い第３のフレームの書き込みアドレスに基づいて、フレームメモリに、例えば、１ラインごとにブロック書き込みし、処理は、ステップＳ１１４に進む。

ステップＳ１１１において、Ｃ＝２ではないと判断された場合、Ｃ＝３であるので、ステップＳ１１３において、カメラ制御部１１またはカメラ制御部１１１は、＃４コーデック部２８−４、または、＃４カメラ信号処理部２５−４もしくは１２６−４から供給されたビデオ画像データを、４フレーム分のうち時間的に最も遅い第４のフレームの書き込みアドレスに基づいて、ビデオ出力部２６の図示しないフレームメモリに、例えば、１ラインごとにブロック書き込みし、処理は、ステップＳ１１４に進む。

ステップＳ１０８、ステップＳ１１０、ステップＳ１１２、または、ステップＳ１１３の処理の終了後、ステップＳ１１４において、カメラ制御部１１またはカメラ制御部１１１は、カウンタＣの値をインクリメントする。ここで、カウンタＣの値が３であるとき、カウンタＣは０に初期化される。

ステップＳ１１５において、カメラ制御部１１またはカメラ制御部１１１は、ステップＳ１０４において書き込みアドレスが設定された４フレームの書き込みが終了したか否かを判断する。ステップＳ１１５において、４フレームの書き込みが終了したと判断された場合、処理は、ステップＳ１０４に戻り、それ以降の処理が繰り返される。

ステップＳ１１５において、４フレームの書き込みが終了していないと判断された場合、ステップＳ１１６において、カメラ制御部１１またはカメラ制御部１１１は、ステップＳ１０８、ステップＳ１１０、ステップＳ１１２、または、ステップＳ１１３の処理により書き込みが行われたフレームに対応する書き込みアドレスをインクリメントする。

ステップＳ１１７において、カメラ制御部１１またはカメラ制御部１１１は、読み出しアドレスに基づいて、ビデオ出力部２６の図示しないフレームメモリに記録されている撮像データをブロック読み出しする。

ステップＳ１１８において、カメラ制御部１１またはカメラ制御部１１１は、１フレームの読み出しが終了したか否かを判断する。ステップＳ１１８において、１フレームの読み出しが終了したと判断された場合、処理は、ステップＳ１０６に戻り、それ以降の処理が繰り返される。

ステップＳ１１８において、１フレームの読み出しが終了していないと判断された場合、ステップＳ１１９において、カメラ制御部１１またはカメラ制御部１１１は、読み出しアドレスをインクリメントする。

ステップＳ１２０において、カメラ制御部１１またはカメラ制御部１１１は、ビデオ出力の終了が指令されたか否かを判断する。ステップＳ１２０において、ビデオ出力の終了が指令されていないと判断された場合、処理は、ステップＳ１０７に戻り、それ以降の処理が繰り返される。ステップＳ１２０において、ビデオ出力の終了が指令されたと判断された場合、処理が終了される。

このような処理により、４つのビデオ画像データに分割された、撮像のフレームレートの４分の１のフレームレートのビデオ画像データをフレーム合成して出力することが可能となる。

なお、ここでは、２４０フレーム毎秒の撮像画像を４つに分割し、６０フレーム毎秒の動画像データとして処理し、記録するとともに、再生出力時には、必要に応じてフレーム合成を行うものとして説明したが、撮像画像のフレームレートと分割数は、これ以外であってもよいことはいうまでもない。

このとき、分割された各系統の動画像データが、例えば、６０フレーム毎秒、５０フレーム毎秒、または、２４フレーム毎秒など、一般的に動画像を撮像する場合に広く用いられているフレームレートであると、例えば、信号処理やコーデックに必要な回路等に汎用品を用いることができ、コストを抑制することができる。

また、ここでは、分割された各系統のフレームレートが等しい場合を例として説明したが、分割された各系統のフレームレートが異なっていてもよいことは言うまでもない。

さらに、以上の説明においては、ＨＤ解像度の画像を撮像する場合について説明したが、異なる解像度の画像を撮像する場合や、インタレース方式で画像を表示するようになされている場合であっても、本発明は適用可能であることは言うまでもない。

すなわち、本発明を適用した撮像装置は、一般的に動画像を撮像する場合に広く用いられているフレームレートのＮ倍のフレームレートでの撮像が可能な固体撮像素子を備え、フレーム単位でＮ分割して、撮像のフレームレートの１/Ｎのフレームレートの動画像データをＮ系列生成し、Ｎ個の並列処理回路により、それぞれを並列して処理し、記録することができる。そして、本発明を適用した撮像装置は、複雑な処理を行うことなく、高解像度、かつ高フレームレートの撮像信号を処理したり、長時間記録することが可能である。

さらに、本発明を適用した撮像装置においては、並列的に記録された動画像データは、撮像のフレームレートの１/Ｎのフレームレート、すなわち、一般的に動画像を撮像する場合に広く用いられている通常のフレームレートの動画像データであり、１系統を単独で再生することで通常フレームレートの動画像、２系統再生することで通常フレームレートの２倍のフレームレートの動画像、Ｎ系統再生することで通常フレームレートのＮ倍のフレームレートの画像を再生することが可能となる。

また、本発明においては、処理を並列で実行するために、また、高解像度、かつ高フレームレートの画像を長時間記録するために、撮像データのそれぞれの１フレームを、例えば、スライスごとや所定矩形範囲で複数に分割することなく、最小単位をフレーム単位として分割を行った。これにより、分割されて生成された各系統の動画像データは、それぞれ、単独で再生表示可能なものとなり、更に、合成される数を変更することにより、異なるフレームレートの再生出力を容易に行うことを可能とした。また、撮像データのフレームレートよりも低いフレームレートで記録された動画像の再生出力などを行う場合、表示されない系列のコーデックは全く行わなくても良い。

このようにすることにより、高解像度、かつ高フレームレートの画像を長時間記録することが可能で、それぞれ分割されて記録された動画像データを用いて、複雑な処理を行うことなく、必要に応じてフレームを並べ替えることで、複数のフレームレートの再生データを出力することができる撮像装置を提供することができる。

なお、動画像を表示させる場合、フレームレートまたはフィールドレートが高くなるにともなって、ジャーキネスや動きぼけに関して、表示される画像を見る観察者からの評価値が向上する。図１５に、複数ユーザを対照として、動画のフレームレートと画質の５段階評価を行った場合の評価値との関係の一例を示す。

ジャーキネスに関しても動きぼけに関しても、１５０フレーム毎秒前後で、５段階評価のうち平均して４以上の評価を得ることができ、２５０フレーム毎秒近辺までは評価値が向上するが、更に高いフレームレートまたはフィールドレートでは、評価値はあまり向上しないという傾向が示される（例えば、特開２００４−２６６８０８号公報参照）。

現在広く用いられている映像リソースは、５０フレーム毎秒や６０フレーム毎秒のものが多いので、その整数倍の周波数である２４０フレーム毎秒や２００フレーム毎秒が、映像リソースの有効性を考慮した場合の理想周波数であり、出力フィールドレートがこれらの値であるとき、表示される画像を見る観察者からは、フリッカが視認されないのみならず、ジャーキネスや動きボケもほとんど感じられないため、好適である。また、現在広く用いられている映像リソースに５０フレーム毎秒や６０フレーム毎秒のものが多いので、分割後のフレームレートが５０フレーム毎秒や６０フレーム毎秒であるとき、信号処理やコーデックを行う回路に汎用品を用いることができるので、コストを抑えることが可能となる。

ところで、上述した撮像装置１または撮像装置１０１などの高速撮像可能な撮像装置では、固体撮像素子による露光時間がフレームレートに応じて短くなるため、感度が低下し、ノイズの影響を受けやすい。

撮像装置におけるノイズ低減方法としては、１フレーム内で空間的なノイズ低減フィルタを施す方法が知られている。しかしながら、この方法では、空間解像度の低下を伴うという問題がある。また、フレームメモリを持ち、時間的な循環フィルタ処理を行う場合には、加算処理などの処理に時間がかかってしまうため、処理が間に合わなくなったり、高速な処理を行うことが可能な高価な演算部を用いる必要が生じてしまっていた。

そこで、時間加算によるノイズ低減処理を簡易な回路構成により実現することができる撮像装置の一例として、図１６のブロック図を参照して、撮像装置２０１の構成について説明する。

なお、図１の撮像装置１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、撮像装置２０１は、＃１カメラ信号処理部２５−１、＃２カメラ信号処理部２５−２、＃３カメラ信号処理部２５−３、および、＃４カメラ信号処理部２５−４に代わって、カメラ信号処理部２２１が設けられている以外は、図１を用いて説明した撮像装置１と基本的に同様の構成を有するものである。

カメラ信号処理部２２１は、図１の撮像装置１のカメラ信号処理部２５と同様に、メモリ制御部２３の処理により４系統に分割された４つの入力ＲＡＷデータのそれぞれに対して、ホワイトバランスを補正し、ＲＧＢの補間同時化を行い、マトリクス処理を行い、γ補正を行い、色空間を変換するとともに、４つの入力ＲＡＷデータに対して適応的にフレーム加算処理を行い、撮像データに存在するランダムノイズの低減を行う。

図１７は、カメラ信号処理部２２１の更に詳細な構成を示すブロック図である。

なお、図５を用いて説明したカメラ信号処理部２５と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、カメラ信号処理部２２１には、メモリ制御部２３の処理により４系統に分割された４つの入力ＲＡＷデータのそれぞれに対して、ホワイトバランスを補正するＷＢ補正部５１−１乃至５１−４、ＲＧＢの補間同時化を行うＲＧＢ補間同時化処理部５２−１乃至５２−４、マトリクス処理を行うマトリクス処理部５３−１乃至５３−４、γ補正を行うγ補正部５４−１乃至５４−４、および、色空間を変換する色空間変換部５５−１乃至５５−４に加えて、ＷＢ補正部５１−１乃至５１−４によりホワイトバランスが補正された４つの入力ＲＡＷデータに対して適応的にフレーム加算処理を行うことにより、撮像データに存在するランダムノイズの低減を行って、ノイズ低減後のデータをＲＧＢ補間同時化処理部５２−１乃至５２−４に出力する、ノイズ低減処理部２４１を備えている。

ノイズ低減処理部２４１は、図３および図４を用いて説明したようにしてフレーム分配された連続する４フレームの画像データに対して、適応的なフレーム加算処理を行うことによりノイズ低減を実現する。

ノイズ低減処理部２４１は、ＷＢ補正部５１−１乃至５１−４から出力される４系統のＲＡＷデータを取得する。ここで、ＷＢ補正部５１−１乃至５１−４から同時に出力される（または、ほぼ同時に出力されて、フレームごとの垂直同期信号などにより同期を取ることが可能な）４つのＲＡＷデータは、ハイフレームレートの撮像データの連続する４フレームに相当し、かつ、各フレームにおいて空間的に同じ位置に相当する、すなわち、同一画素位置の画素データである。したがって、ノイズ低減処理部２４１に同時に存在する４つのＲＡＷデータを加算することにより、時間的に連続な４フレーム間での加算が実現する。

図１８は、ノイズ低減処理部２４１の更に詳細な構成を示すブロック図である。

ノイズ低減処理部２４１は、平滑化処理部２６１−１乃至２６１−４、静止領域判定処理部２６２、および、加算処理部２６３を含んで構成される。

平滑化処理部２６１−１乃至２６１−４は、入力ＲＡＷデータに存在するランダムノイズを低減するために空間フィルタ処理を行い、フィルタリング後のデータを静止領域判定処理部２６２に供給する。この処理は、後段の静止領域判定処理部２６２において、ランダムノイズの影響を受けて誤判定を引き起こさないようにするものである。

平滑化処理部２６１−１乃至２６１−４において実行される平滑化処理は、例えば、ＲＡＷデータの所定の画素に対し、隣接する同じ色成分画素との間で加算平均処理を行うものである。ＲＡＷデータの注目画素がＲまたはＢである場合には、例えば、図１９に示すような係数を持つ５×５画素の空間フィルタ処理、すなわち、具体的には、次の式（１）に示される演算処理を実行する。

なお、式（１）において、S(x,y)は、画素位置（ｘ，ｙ）におけるＲＡＷデータの画素値を表しており、SA(x,y)は、画素位置（ｘ，ｙ）における平滑化された画素値を表している。

また、平滑化処理部２６１−１乃至２６１−４は、ＲＡＷデータの注目画素がＧである場合には、例えば、図２０に示すような係数を持つ５×５画素の空間フィルタ処理、すなわち、具体的には、次の式（２）に示される演算処理を実行する。

なお、式（２）においても、S(x,y)は、画素位置（ｘ，ｙ）におけるＲＡＷデータの画素値を表しており、SA(x,y)は、画素位置（ｘ，ｙ）における平滑化された画素値を表している。

または、平滑化処理部２６１−１乃至２６１−４において実行される平滑化処理は、例えば、ＲＡＷデータの所定の画素に対し、隣接する異なる色成分画素も含めて加算平均処理を行っても良い。平滑化処理部２６１−１乃至２６１−４は、例えば、図２１に示すような係数を持つ５×３画素の空間フィルタ処理、すなわち、具体的には、次の式（３）に示される演算処理を実行することができる。

なお、式（３）において、S(x,y)は、画素位置(x,y)におけるＲＡＷデータの画素値を表しており、SA(x,y)は、画素位置(x,y)における平滑化された画素値を表している。

式（３）に基づく平滑化により、ＲＡＷデータの所定の画素に対して、次の式（４）で示される輝度値を得ることが出来る。

なお、式（４）において、Ｙ（ｘ，ｙ)は、画素位置（ｘ，ｙ）における輝度値を表しており、Ｒ（ｘ，ｙ）は、画素位置（ｘ，ｙ）において周囲の画素から平均化されたＲ信号値を表し、Ｇ（ｘ，ｙ）は、画素位置（ｘ，ｙ）において周囲の画素から平均化されたＧ信号値を表し、Ｂ（ｘ，ｙ）は、画素位置（ｘ，ｙ）において周囲の画素から平均化されたＢ信号値を表している。

静止領域判定処理部２６２は、平滑化されノイズが低減された連続する４フレーム分のＲＡＷデータを受け取り、各フレーム間での画素値の差を計算することにより静止領域を判定し、判定結果を加算処理部２６３に供給する。静止領域判定処理部２６２の更に詳細な構成については、図２２を参照して後述する。

加算処理部２６３は、メモリ制御部２３の処理により４系統に分割された４つの入力ＲＡＷデータ、すなわち、平滑化されていないデータであって、撮像素子２２による撮像のフレームレートにおいて連続する４フレームのＲＡＷデータの入力を受け、静止領域判定処理部２６２による静止領域の判定結果を基に、必要に応じて、４つの入力ＲＡＷデータのうちの少なくとも一部を加算処理することにより、連続する４フレームの画像データに対して、適応的なノイズ低減を実現する。

次に、図２２は、静止領域判定処理部２６２の更に詳細な構成を示すブロック図である。

静止領域判定処理部２６２は、第１の差分（ｄ_N）検出部２８１、第２の差分（ｄ_N+1）検出部２８２、第３の差分（ｄ_N+2）検出部２８３、差分（ｄ_all）検出部２８４、および、閾値処理部２８５を含んで構成されている。

第１の差分（ｄ_N）検出部２８１は、４系統に分割された４つの入力ＲＡＷデータのうち、ＷＢ補正部５１−１から供給される時間的に最も早いフレーム（以下、Ｎフレームとも称する）と、ＷＢ補正部５１−２から供給される時間的に２番目となるフレーム（以下、（Ｎ＋１）フレームとも称する）との差分（ｄ_N）を、次の式（５）に従って検出し、その結果を閾値処理部２８５に供給する。

第２の差分（ｄ_N+1）検出部２８２は、４系統に分割された４つの入力ＲＡＷデータのうち、ＷＢ補正部５１−２から供給される時間的に２番目となるフレームと、ＷＢ補正部５１−３から供給される時間的に３番目となるフレーム（以下、（Ｎ＋２）フレームとも称する）との差分（ｄ_N+1）を、上述した式（５）に従って検出し、その結果を閾値処理部２８５に供給する。

第３の差分（ｄ_N+2）検出部２８３は、４系統に分割された４つの入力ＲＡＷデータのうち、ＷＢ補正部５１−３から供給される時間的に３番目となるフレームと、ＷＢ補正部５１−４から供給される時間的に４番目、すなわち、最後となるフレーム（以下、（Ｎ＋３）フレームとも称する）との差分（ｄ_N+2）を、上述した式（５）に従って検出し、その結果を閾値処理部２８５に供給する。

差分（ｄ_all）検出部２８４は、４系統に分割された４つの入力ＲＡＷデータの各画素間の差分値の総和ｄ_allを、次の式（６）を用いて求め、その結果を閾値処理部２８５に供給する。

なお、式（６）において、SA_N(x,y)は、４系統に分割された４つの入力ＲＡＷデータのうち、時間的にＮ番目となるフレームの画素位置（ｘ，ｙ）における平滑化された画素値を表している。

閾値処理部２８５は、差分（ｄ_all）検出部２８４から出力される差分値ｄ_allと、第１の差分（ｄ_N）検出部２８１、第２の差分（ｄ_N+1）検出部２８２、および、第３の差分（ｄ_N+2）検出部２８３から出力される差分値ｄ_N、ｄ_N+1、およびｄ_N+2の供給を受け、これらと、所定の値の閾値とを比較する比較判定処理により、連続する４フレームのＲＡＷデータの各画素に対する加算処理の制御を決定し、加算処理部２６３による加算処理を制御する。

４フレーム間の差分の総和ｄ_allとの比較に用いられる閾値は、４フレーム間の差分の総和ｄ_allに基づいて、４フレームの途中で大きく動きがあるか否かを判定可能な所定の値であればよく、経験的実験的に求められる所定の定数であっても良いし、設定可能な変数であっても良い。また、差分値ｄ_N、ｄ_N+1、およびｄ_N+2との比較に用いられる閾値は、それぞれの差分値に基づいて、２つのフレーム間で大きく動きがあるか否かを判定可能な所定の値であればよく、経験的実験的に求められる所定の定数であっても良いし、設定可能な変数であっても良い。また、差分値ｄ_N、ｄ_N+1、およびｄ_N+2との比較に用いられる閾値は、４フレーム間の差分の総和ｄ_allとの比較に用いられる閾ちと同一の値でも良いし、異なる値であっても良い。

そして、４フレーム間の差分の総和ｄ_allが所定の閾値よりも小さい場合、対象となる画素は、連続する４フレームの間でほとんど動いていないとみなすことが出来るため、加算処理部２６３は、４フレーム間の平均化処理を行い、その結果を、４フレームのノイズ低減処理結果として出力する。これに対して、差分値ｄ_allが閾値よりも小さくない、すなわち、大きいと判断された場合、対象となる画素は連続する４フレームの間のいずれかで大きく動いているとみなすことが出来る。

そして、差分値ｄ_Nは、フレームＮとフレームＮ＋１の間の画素値の差を表しているため、差分値ｄ_Nが所定の閾値よりも小さい場合、対象となる画素はフレームＮとフレームＮ＋１との間ではほとんど動いていないとみなすことができる。また、差分値ｄ_N+1は、フレームＮ＋１とフレームＮ＋２の間の画素値の差を表しているため、差分値ｄ_N+1が所定の閾値よりも小さい場合、対象となる画素はフレームＮ＋１とフレームＮ＋２との間ではほとんど動いていないとみなすことができる。また、差分値ｄ_N+2は、フレームＮ＋２とフレームＮ＋３の間の画素値の差を表しているため、差分値ｄ_N+2が所定の閾値よりも小さい場合、対象となる画素はフレームＮ＋２とフレームＮ＋３との間ではほとんど動いていないとみなすことができる。

加算処理部２６３は、対象となる画素は連続する４フレームの間のいずれかで大きく動いているとみなされるが、あるフレーム間ではほとんど動いていないとみなすことができる場合、その部分において、それらのフレーム間の平均化処理を行い、その結果を、対象となるフレームのノイズ低減処理結果として出力する。

また、撮像装置２０１は、撮像素子２２として、受光面に画素ごとに異なる波長域を透過するカラーフィルタを持つ単板カラー方式の固体撮像素子を有していたが、撮像方法は、これ以外の方式であっても良いことはいうまでもない。例えば、単板カラー方式ではなく、三板式の撮像装置においても、本発明は適用可能である。

図２３は、固体撮像素子を３つ使用する三板式の撮像装置３０１の構成を示すブロック図である。

なお、図８の撮像装置１０１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、撮像装置３０１は、＃１カメラ信号処理部１２６−１、＃２カメラ信号処理部１２６−２、＃３カメラ信号処理部１２６−３、および、＃４カメラ信号処理部１２６−４に代わって、カメラ信号処理部３２１が設けられている以外は、図８を用いて説明した撮像装置１０１と基本的に同様の構成を有するものである。

図２４は、カメラ信号処理部３２１の更に詳細な構成を示すブロック図である。

なお、図９を用いて説明したカメラ信号処理部１２６と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、カメラ信号処理部３２１には、メモリ制御部２３の処理により４系統に分割された４つの入力ＲＧＢデータのそれぞれに対して、ホワイトバランスを補正するＷＢ補正部１５１−１乃至１５１−４、マトリクス処理を行うマトリクス処理部５３−１乃至５３−４、γ補正を行うγ補正部５４−１乃至５４−４、および、色空間を変換する色空間変換部５５−１乃至５５−４に加えて、ＷＢ補正部１５１−１乃至１５１−４によりホワイトバランスが補正された４つの入力ＲＧＢデータに対して適応的にフレーム加算処理を行い、撮像データに存在するランダムノイズの低減を行って、ノイズ低減後のデータをマトリクス処理部５３−１乃至５３−４に出力するノイズ低減処理部３４１を備えている。

ノイズ低減処理部３４１は、図１８を用いて説明したノイズ低減処理部２４１と基本的に同様の構成および機能を有し、ＲＡＷデータではなく、各画素ごとにＲ，Ｇ，Ｂが揃った画像信号の供給を受け、ＲＧＢそれぞれのデータに対して処理を行うようになされている。ノイズ低減処理部３４１は画素ごとにＲ，Ｇ，Ｂが揃った画像信号の供給を受けるので、例えば、平滑化処理は、図１９および図２０を用いて説明したようにして９画素を選択し、平滑化処理を施してもよいし、注目画素と注目画素周辺の８画素との９画素を選択し、空間フィルタ処理を行うようにしてもよい。また、ノイズ低減処理部３４１は、上述したようにして平滑化して得られた色信号Ｒ，Ｇ，Ｂの平均値を式（４）に示したようにして加算して得られる輝度信号Ｙを出力するようにしても良い。

以上説明したように、メモリ制御部２３の処理により４系列に分割された撮像画像データ（ＲＡＷデータ）、または、メモリ制御部１２４の処理により４系列に分割された撮像画像データ（ＲＧＢデータ）は、１ブロックごとに順次カメラ信号処理部２２１または３２１に供給される。カメラ信号処理部２２１または３２１に供給されたデータは、ホワイトバランスが補正され、ノイズ低減処理部２４１またはノイズ低減処理部３４１に供給され、加算処理によるノイズ低減処理が実行される。

次に、図２５および図２６のフローチャートを参照して、ノイズ低減処理部２４１またはノイズ低減処理部３４１が実行するノイズ低減処理について説明する。

図２５および図２６のフローチャートでは、メモリ制御部２３の処理により４系列に分割された撮像画像データ（ＲＡＷデータ）、または、メモリ制御部１２４の処理により４系列に分割された撮像画像データ（ＲＧＢデータ）のある画素位置における処理を示している。すなわち、図２５および図２６のフローチャートを用いて説明する処理が、１フレームを構成する画素数の分だけ繰り返されたとき、撮像された動画像を構成する複数のフレームのうちの４フレーム分のノイズ低減処理が実行される。

ステップＳ１５１において、静止領域判定処理部２６２の第１の差分（ｄ_N）検出部２８１は、メモリ制御部２３の処理により４系列に分割された撮像画像データ（ＲＡＷデータ）、または、メモリ制御部１２４の処理により４系列に分割された撮像画像データ（ＲＧＢデータ）のうち、時間的に最も早いフレームと時間的に２番目となるフレームとの所定の画素位置における画素値の差分（ｄ_N）を、上述した式（５）に従って検出し、その結果を閾値処理部２８５に供給する。

ステップＳ１５２において、静止領域判定処理部２６２の第２の差分（ｄ_N+1）検出部２８２は、メモリ制御部２３の処理により４系列に分割された撮像画像データ（ＲＡＷデータ）、または、メモリ制御部１２４の処理により４系列に分割された撮像画像データ（ＲＧＢデータ）のうち、時間的に２番目となるフレームと、時間的に３番目となるフレームとの所定の画素位置における画素値の差分（ｄ_N+1）を、上述した式（５）に従って検出し、その結果を閾値処理部２８５に供給する。

ステップＳ１５３において、静止領域判定処理部２６２の第３の差分（ｄ_N+2）検出部２８３は、メモリ制御部２３の処理により４系列に分割された撮像画像データ（ＲＡＷデータ）、または、メモリ制御部１２４の処理により４系列に分割された撮像画像データ（ＲＧＢデータ）のうち、時間的に３番目となるフレームと時間的に４番目となるフレームとの所定の画素位置における画素値の差分（ｄ_N+2）を、上述した式（５）に従って検出し、その結果を閾値処理部２８５に供給する。

なお、ステップＳ１５１乃至ステップＳ１５３の処理は、順次実行されるのではなく、同時に並行して実行されるが、ここでは、説明のため、異なるステップとして説明している。

ステップＳ１５４において、静止領域判定処理部２６２の差分（ｄ_all）検出部２８４は、メモリ制御部２３の処理により４系列に分割された撮像画像データ（ＲＡＷデータ）、または、メモリ制御部１２４の処理により４系列に分割された撮像画像データ（ＲＧＢデータ）の所定の画素位置における各画素間の画素値の差分値の総和ｄ_allを、上述した式（６）を用いて求め、その結果を閾値処理部２８５に供給する。

ステップＳ１５５において、閾値処理部２８５は、所定の画素位置における画素値の４フレーム間の差分の総和ｄ_allは、所定の閾値よりも小さいか否かを判断する。

なお、ステップＳ１５５において４フレーム間の差分の総和ｄ_allとの比較に用いられる閾値は、４フレーム間の差分の総和ｄ_allに基づいて、４フレームの途中で大きく動きがあるか否かを判定可能な所定の値であればよく、経験的実験的に求められる所定の定数であっても良いし、設定可能な変数であっても良い。

ステップＳ１５５において、差分値ｄ_allが閾値よりも小さいと判断された場合、ステップＳ１５６において、閾値処理部２８５は、判断結果を加算処理部２６３に供給する。４フレーム間の差分の総和ｄ_allが所定の閾値よりも小さい場合、対象となる画素は、連続する４フレームの間でほとんど動いていないとみなすことが出来るため、加算処理部２６３は、式（７）の演算を行って、４フレーム間の平均化処理を行い、４フレームのノイズ低減処理結果として４系統全てに出力し、処理が終了される。

なお、式（７）とこれ以降の式において、S_N(x,y)は、４系統に分割された４つの入力ＲＡＷデータのうち、時間的にＮ番目となるフレームの画素位置（ｘ，ｙ）における画素値を表している。

ステップＳ１５５において、差分値ｄ_allが閾値よりも小さくない、すなわち、大きいと判断された場合、対象となる画素は連続する４フレームの間のいずれかで大きく動いているとみなすことが出来るので、各フレームのＲＡＷデータまたはＲＧＢデータに対して、時間的に連続する（隣り合う）フレームとの差分値ｄ_i（ｉは、Ｎ，Ｎ＋１，Ｎ＋２，Ｎ＋３であり、Ｎは正の整数）を評価する必要が生じる。

したがって、閾値処理部２８５は、ステップＳ１５７乃至ステップＳ１５９において、フレームＮに対する出力を決定するための処理を実行する。ステップＳ１５７において、閾値処理部２８５は、差分値ｄ_Nは、所定の閾値よりも小さいか否かを判断する。

なお、ステップＳ１５７以降において各差分値との比較に用いられる閾値は、それぞれの差分値に基づいて、２つのフレーム間で大きく動きがあるか否かを判定可能な所定の値であればよく、経験的実験的に求められる所定の定数であっても良いし、設定可能な変数であっても良い。また、ステップＳ１５７以降において各差分値との比較に用いられる閾値は、ステップＳ１５５において４フレーム間の差分の総和ｄ_allとの比較に用いられる閾値と同一の値でも良いし、異なる値であっても良い。

ステップＳ１５７において、差分値ｄ_Nは、所定の閾値よりも小さいと判断された場合、ステップＳ１５８において、閾値処理部２８５は、判断結果を加算処理部２６３に供給する。差分値ｄ_Nは、フレームＮとフレームＮ＋１の間の画素値の差を表しているため、差分値ｄ_Nが所定の閾値よりも小さい場合、対象となる画素はフレームＮとフレームＮ＋１との間ではほとんど動いていないとみなすことができる。したがって、加算処理部２６３は、式（８）の演算を実行して、フレームＮとフレームＮ＋１の画素値の平均化処理を行う。すなわち、加算処理部２６３は、Ｎフレーム目のデータに対して、フレームＮとフレームＮ＋１の画素値を加算した値をノイズ除去後の画素値として出力する。この処理は、フレームＮに対して未来方向のフレームＮ＋１との加算処理に相当する。

一方、ステップＳ１５７において、差分値ｄ_Nは、所定の閾値よりも大きいと判断された場合、ステップＳ１５８において、閾値処理部２８５は、判断結果を加算処理部２６３に供給する。差分値ｄ_Nは、フレームＮとフレームＮ＋１の間の画素値の差を表しているため、差分値ｄ_Nが所定の閾値よりも大きい場合、対象となる画素はフレームＮとフレームＮ＋１との間で大きく動いているとみなすことができる。したがって、加算処理部２６３は、フレームＮに対する加算処理を行わずに、Nフレーム目の対応する画素値をそのまま出力する。

ステップＳ１５８、または、ステップＳ１５９の処理の終了後、閾値処理部２８５は、ステップＳ１６０乃至ステップＳ１６４において、フレームＮ＋１に対する出力を決定するための処理を実行する。ステップＳ１６０において、閾値処理部２８５は、差分値ｄ_Nは、所定の閾値よりも小さいか否かを判断する。

ステップＳ１６０において、差分値ｄ_Nは、所定の閾値よりも小さいと判断された場合、ステップＳ１６１において、閾値処理部２８５は、判断結果を加算処理部２６３に供給する。差分値ｄ_Nは、フレームＮとフレームＮ＋１の間の画素値の差を表しているため、差分値ｄ_Nが所定の閾値よりも小さい場合、対象となる画素はフレームＮとフレームＮ＋１との間ではほとんど動いていないとみなすことができる。したがって、加算処理部２６３は、式（９）の演算を実行して、フレームＮとフレームＮ＋１の画素値の平均化処理を行う。すなわち、加算処理部２６３は、Ｎ＋１フレーム目のデータに対して、フレームＮとフレームＮ＋１の画素値を加算した値をノイズ除去後の画素値として出力する。この処理は、フレームＮ＋１に対して過去方向のフレームＮとの加算処理に相当する。

一方、ステップＳ１６０において、差分値ｄ_Nは、所定の閾値よりも大きいと判断された場合、ステップＳ１６２において、閾値処理部２８５は、差分値ｄ_N+1は、所定の閾値よりも小さいか否かを判断する。

ステップＳ１６２において、差分値ｄ_N+1は、所定の閾値よりも小さいと判断された場合、ステップＳ１６３において、閾値処理部２８５は、判断結果を加算処理部２６３に供給する。差分値ｄ_N+1は、フレームＮ＋１とフレームＮ＋２の間の画素値の差を表しているため、差分値ｄ_N+1が所定の閾値よりも小さい場合、対象となる画素はフレームＮ＋１とフレームＮ＋２との間ではほとんど動いていないとみなすことができる。したがって、加算処理部２６３は、上述した式（８）の演算を実行して、フレームＮ＋１とフレームＮ＋２の画素値の平均化処理を行う。すなわち、加算処理部２６３は、Ｎ＋１フレーム目のデータに対して、フレームＮ＋１とフレームＮ＋２の画素値を加算した値をノイズ除去後の画素値として出力する。この処理は、フレームＮ＋１に対して未来方向のフレームＮ＋２との加算処理に相当する。

ステップＳ１６２において、差分値ｄ_N+1は、所定の閾値よりも小さくない、すなわち、大きいと判断された場合、ステップＳ１６４において、閾値処理部２８５は、判断結果を加算処理部２６３に供給する。差分値ｄ_N+1は、フレームＮ＋１とフレームＮ＋２の間の画素値の差を表しているため、差分値ｄ_N+1が所定の閾値よりも大きい場合、対象となる画素はフレームＮ＋１とフレームＮ＋２との間で大きく動いているとみなすことができる。したがって、加算処理部２６３は、フレームＮ＋１に対する加算処理を行わずに、N＋１フレーム目の対応する画素値をそのまま出力する。

ステップＳ１６１、ステップＳ１６３、または、ステップＳ１６４の処理の終了後、閾値処理部２８５は、ステップＳ１６５乃至ステップＳ１６９において、フレームＮ＋２に対する出力を決定するための処理を実行する。ステップＳ１６５において、閾値処理部２８５は、差分値ｄ_N+1は、所定の閾値よりも小さいか否かを判断する。

ステップＳ１６５において、差分値ｄ_N+1は、所定の閾値よりも小さいと判断された場合、ステップＳ１６６において、閾値処理部２８５は、判断結果を加算処理部２６３に供給する。差分値ｄ_N+1は、フレームＮ＋１とフレームＮ＋２の間の画素値の差を表しているため、差分値ｄ_N+1が所定の閾値よりも小さい場合、対象となる画素はフレームＮ＋１とフレームＮ＋２との間ではほとんど動いていないとみなすことができる。したがって、加算処理部２６３は、上述した式（９）の演算を実行して、フレームＮ＋１とフレームＮ＋２の画素値の平均化処理を行う。すなわち、加算処理部２６３は、Ｎ＋２フレーム目のデータに対して、フレームＮ＋１とフレームＮ＋２の画素値を加算した値をノイズ除去後の画素値として出力する。この処理は、フレームＮ＋２に対して過去方向のフレームＮ＋１との加算処理に相当する。

一方、ステップＳ１６５において、差分値ｄ_N+1は、所定の閾値よりも大きいと判断された場合、ステップＳ１６７において、閾値処理部２８５は、差分値ｄ_N+2は、所定の閾値よりも小さいか否かを判断する。

ステップＳ１６７において、差分値ｄ_N+2は、所定の閾値よりも小さいと判断された場合、ステップＳ１６８において、閾値処理部２８５は、判断結果を加算処理部２６３に供給する。差分値ｄ_N+2は、フレームＮ＋２とフレームＮ＋３の間の画素値の差を表しているため、差分値ｄ_N+2が所定の閾値よりも小さい場合、対象となる画素はフレームＮ＋２とフレームＮ＋３との間ではほとんど動いていないとみなすことができる。したがって、加算処理部２６３は、上述した式（８）の演算を実行して、フレームＮ＋２とフレームＮ＋３の画素値の平均化処理を行う。すなわち、加算処理部２６３は、Ｎ＋２フレーム目のデータに対して、フレームＮ＋２とフレームＮ＋３の画素値を加算した値をノイズ除去後の画素値として出力する。この処理は、フレームＮ＋２に対して未来方向のフレームＮ＋３との加算処理に相当する。

ステップＳ１６７において、差分値ｄ_N+2は、所定の閾値よりも小さくない、すなわち、大きいと判断された場合、ステップＳ１６９において、閾値処理部２８５は、判断結果を加算処理部２６３に供給する。差分値ｄ_N+2は、フレームＮ＋２とフレームＮ＋３の間の画素値の差を表しているため、差分値ｄ_N+2が所定の閾値よりも大きい場合、対象となる画素はフレームＮ＋２とフレームＮ＋３との間で大きく動いているとみなすことができる。したがって、加算処理部２６３は、フレームＮ＋２に対する加算処理を行わずに、N＋２フレーム目の対応する画素値をそのまま出力する。

ステップＳ１６６、ステップＳ１６８、または、ステップＳ１６９の処理の終了後、閾値処理部２８５は、ステップＳ１７０乃至ステップＳ１７２において、フレームＮ＋３に対する出力を決定するための処理を実行する。ステップＳ１７０において、閾値処理部２８５は、差分値ｄ_N+2は、所定の閾値よりも小さいか否かを判断する。

ステップＳ１７０において、差分値ｄ_N+2は、所定の閾値よりも小さいと判断された場合、ステップＳ１７１において、閾値処理部２８５は、判断結果を加算処理部２６３に供給する。差分値ｄ_N+2は、フレームＮ＋２とフレームＮ＋３の間の画素値の差を表しているため、差分値ｄ_N+2が所定の閾値よりも小さい場合、対象となる画素はフレームＮ＋２とフレームＮ＋３との間ではほとんど動いていないとみなすことができる。したがって、加算処理部２６３は、上述した式（９）の演算を実行して、フレームＮ＋２とフレームＮ＋３の画素値の平均化処理を行う。すなわち、加算処理部２６３は、Ｎ＋３フレーム目のデータに対して、フレームＮ＋２とフレームＮ＋３の画素値を加算した値をノイズ除去後の画素値として出力して、処理が終了される。この処理は、フレームＮ＋３に対して過去方向のフレームＮ＋２との加算処理に相当する。

一方、ステップＳ１７０において、差分値ｄ_N+2は、所定の閾値よりも大きいと判断された場合、ステップＳ１７２において、閾値処理部２８５は、判断結果を加算処理部２６３に供給する。差分値ｄ_N+2は、フレームＮ＋２とフレームＮ＋３の間の画素値の差を表しているため、差分値ｄ_N+2が所定の閾値よりも大きい場合、対象となる画素はフレームＮ＋２とフレームＮ＋３との間で大きく動いているとみなすことができる。したがって、加算処理部２６３は、フレームＮ＋３に対する加算処理を行わずに、N＋３フレーム目の対応する画素値をそのまま出力し、処理が終了される。

このような処理により、同時に入力される連続する４フレーム画像データのフレーム内平滑化データに対して、フレーム間の画素差分を計算し、その値に応じて、加算処理部２６３の制御を決定することができるので、フレームレートの高い撮像データを複数系統に分割した場合、容量の大きなフレームメモリを設けることなく、大きな動きのない部分にのみ効果的に加算処理を行って、ノイズを低減することができる。

具体的には、ノイズ低減処理部２４１または３４１は、連続する４フレームの各画素の輝度差を検出することにより、静止している部分の画素（または、ほとんど動いていない部分の画素）については４フレームの間での加算平均を行い、隣り合う２フレームの間の動きの小さい画素については、そのフレーム間で加算平均を行うことにより、光ショットノイズや撮像素子に起因するランダムノイズを抑制することができる。

また、このような処理により、動きが小さく視覚的にノイズが目立つ領域に重点的にノイズ低減処理を行うことができるので、動き検出などの大きな回路を必要とせずに視覚的な画質向上を図ることができる。

さらに、撮像装置２０１および撮像装置３０１は、撮像素子の出力する高解像度、かつ、高フレームレート（例えば、一般的に動画像を撮像する場合に広く用いられるフレームレートのＮ倍であり、撮像装置２０１および撮像装置３０１では、撮像画像データを４系列に分割しているので、Ｎ＝４）の撮像データを、Ｎ並列化して信号処理しているため、隣り合うＮフレーム間での処理に限定することにより、新たなフレームメモリの追加なしに時間軸方向の加算処理を実現し、画像のノイズを低減することが可能である。

また、撮像装置２０１および撮像装置３０１とは異なる構成を有する装置であっても、高フレームレート（例えば、一般的に動画像を撮像する場合に広く用いられるフレームレートのＮ倍）の撮像データを、Ｎ並列化して信号処理する装置においては、隣り合うＮフレーム間での処理に限定することにより、同様にして、新たなフレームメモリの追加なしに時間軸方向の加算処理を実現することが可能である。

次に、図２７は、新たなフレームメモリの追加なしに時間軸方向の加算処理を実現することが可能な、画像変換装置４００の構成を示すブロック図である。画像変換装置４００は、これのみで１つの装置を構成しても良いし、高フレームレートの撮像データを、Ｎ並列化して信号処理する装置の一部として含まれていても良い。

画像変換装置４００は、Ｎ系統（図２７においては、Ｎ＝４であるが、Ｎは、２以上のいかなる値でも良いことはいうまでもない）のビデオ入力部４０１−１乃至４０１−４と、図２４に示されるノイズ低減処理部３４１、並びに、Ｎ系統のビデオ出力部４０２−１乃至４０２−４を含んで構成される。

ビデオ入力部４０１−１乃至４０１−４は、それぞれが高解像度かつ通常（例えば、６０フレーム毎秒、５０フレーム毎秒、または、２４フレーム毎秒など）のフレームレートによるビデオ信号を入力する。このとき、ビデオ入力部４０１−１乃至４０１−４のそれぞれに入力されるビデオ信号は、上述した撮像装置１、撮像装置１０１、撮像装置２０１、または、撮像装置３０１のように、高フレームレートでの撮像を行う装置から、メモリ制御部１２４の処理によりＮ系列（ここでは４系列）にフレーム分配されて出力されたビデオ信号であるか、または、メモリ制御部２３の処理によりＮ系列（ここでは４系列）にフレーム分配された後、デモザイク処理を含む画像処理が施されたビデオ信号である。図２７に図示した画像変換装置４００が取得して好適なのは、例えば、一般的に動画像を撮像する場合に広く用いられるフレームレートのＮ倍（ここでは、４の整数倍）での撮像を行う装置から、図３および図４を用いて説明したようにして４系列にフレーム分配されて出力されたビデオ信号である。

したがって、ビデオ入力部４０１−１乃至４０１−４に供給される各ビデオ信号は、同一のビデオフォーマットに従った信号であり、同時に入力される各信号のフレームは、それぞれが、４倍のフレームレートで撮像された信号の連続する４フレームに相当するものである。

また、入力されるビデオ信号のビデオフォーマットは、ＲＧＢフォーマットでも良いし、ＹＣｂＣｒなどのフォーマットでも構わない。入力されるビデオ信号のビデオフォーマットがＲＧＢフォーマットであるとき、ノイズ低減処理部３４１は、Ｒ，Ｇ，Ｂの各プレーンに対して同様にノイズ低減処理を行い、入力されるビデオ信号のビデオフォーマットがＹＣｂＣｒフォーマットであるとき、ノイズ低減処理部３４１は、Ｙプレーンに対してのみノイズ低減処理を行う。

そして、ビデオ出力部４０２−１乃至４０２−４は、それぞれが高解像度かつ通常のビデオフレームレートによるビデオ信号を出力する。ビデオ出力部４０２−１乃至４０２−４が出力するビデオ信号は、ノイズ低減処理部３４１にてノイズ低減された画像信号であり、各ビデオ信号は同一のビデオフォーマットに従うものとなる。

そして、出力されたノイズ低減後のビデオ信号は、上述した撮像装置１、撮像装置１０１、撮像装置２０１、または、撮像装置３０１のビデオ出力部２６と同様に、同一のビデオフォーマットに従い、同時に入力される各信号のフレームがＮ倍のフレームレートで撮像された信号の連続するＮフレームとなるようなＮ系統のビデオ信号を、必要に応じてフレーム合成することができる機能を有する装置に供給される。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、上述した処理は、図２８に示されるようなパーソナルコンピュータ５００により実行される。

図２８において、CPU（Central Processing Unit）５０１は、ROM(Read Only Memory)５０２に記憶されているプログラム、または、記憶部５０８からRAM(Random Access Memory)５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。

入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT，LCDなどよりなるディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、並びに、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。

入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、図２８に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や記憶部５０８が含まれるハードディスクなどで構成される。

なお、上述した一連の処理をソフトウェアにより実行させる場合、信号処理やコーデックもＣＰＵ５０１が実行するものとしても良いし、信号処理やコーデックを行うハードウェアを用意し、ＣＰＵ５０１は、それらのハードウェアを制御する（カメラ制御部１１またはカメラ制御部１１１が実行する制御と基本的に同様の制御を実行する）ためのプログラムを実行するものとしても良い。

なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した撮像装置の構成を示すブロック図である。ベイヤー配列を示す図である。フレーム分配について説明するための図である。フレーム分配について説明するための図である。図１のカメラ信号処理部の構成を示すブロック図である。フレーム合成について説明するための図である。フレーム合成について説明するための図である。本発明を適用した撮像装置の異なる構成を示すブロック図である。図８のカメラ信号処理部の構成を示すブロック図である。撮像・記録・出力処理について説明するためのフローチャートである。撮像データ分割処理について説明するためのフローチャートである。撮像データ分割処理について説明するためのフローチャートである。ビデオ出力処理について説明するためのフローチャートである。ビデオ出力処理について説明するためのフローチャートである。動画のフレームレートと画質の５段階評価を行った場合の評価値との関係の一例を示す図である。本発明を適用した撮像装置の異なる構成を示すブロック図である。図１６のカメラ信号処理部の構成を示すブロック図である。図１７のノイズ低減処理部の構成を示すブロック図である。平滑化処理について説明するための図である。平滑化処理について説明するための図である。平滑化処理について説明するための図である。図１８の静止領域判定処理部の構成を示すブロック図である。本発明を適用した撮像装置の異なる構成を示すブロック図である。図２３のカメラ信号処理部の構成を示すブロック図である。ノイズ低減処理について説明するためのフローチャートである。ノイズ低減処理について説明するためのフローチャートである。本発明を適用した画像変換装置の構成を示すブロック図である。パーソナルコンピュータの構成を示すブロック図である。

符号の説明

１撮像装置，１１カメラ制御部，２１撮像光学系，２２撮像素子，２３メモリ制御部，２４フレームメモリ，２５カメラ信号処理部，２６ビデオ出力部，２７ファインダ出力部，２８コーデック部，２９記録部，５１ＷＢ補正部，５２ＲＧＢ補間同時化処理部，５３マトリクス処理部，５４ γ補正部，５５色空間変換部，１０１撮像装置，１２０ダイクロイックプリズム，１２１乃至１２３撮像素子，１２４メモリ制御部，１２５フレームメモリ，１２６カメラ信号処理部，１５１ＷＢ補正部，２０１撮像装置，２２１カメラ信号処理部，２４１ノイズ低減処理部，２６１平滑化処理部，２６２静止領域判定処理部，２６３加算処理部，２８１第１の差分検出部，２８２第２の差分検出部，２８３第３の差分検出部，２８４差分検出部，２８５閾値処理部，３０１撮像装置，３２１カメラ信号処理部，３４１ノイズ低減処理部，４０１ビデオ入力部，４０２ビデオ出力部

Claims

第１のレートの動画像データがフレーム単位でＮ分割されて生成された、前記第１のレートの１/Ｎ（Ｎは正の整数）のレートである第２のレートのＮ系列の動画像データを処理する画像処理装置において、
Ｎ系列の前記動画像データのうちの任意の２つ以上の系列における所定の画素位置の画素値の差分値を算出する算出手段と、
前記算出手段により算出された差分値に基づいて、前記動画像データのうちの動きの少ない部分を検出し、加算平均処理を行うノイズ低減処理手段と
を備える画像処理装置。
前記算出手段は、
Ｎ系列の前記動画像データのうちの時間的に隣り合うフレームにより構成される２つの系列における所定の画素位置の画素値の差分値であるＮ−１個の第１の値を算出する第１の算出手段と、
Ｎ系列の前記動画像データの所定の画素位置における画素値の差分値の総和である第２の値を算出する第２の算出手段と
を備え、
前記ノイズ低減処理手段は、前記第１の算出手段により算出された前記第１の値、および、前記第２の算出手段により算出された前記第２の値に基づいて、前記動画像データのうちの動きの少ない部分を検出し、加算平均処理を行う
請求項１に記載の画像処理装置。
前記ノイズ低減処理手段は、
前記第２の算出手段により算出された前記第２の値が所定の閾値よりも小さかった場合、Ｎ系列の前記動画像データの所定の画素位置における画素値の加算平均値を、Ｎ系列の前記動画像データの所定の画素位置における画素値として出力し、
前記第２の算出手段により算出された前記第２の値が所定の閾値よりも大きかった場合、前記第１の算出手段により算出された前記第１の値のいずれかが所定の閾値よりも小さければ、前記第１の値を算出するために用いた系列の所定の画素位置における画素値の加算平均値を、前記第１の値を算出するために用いた系列の所定の画素位置における画素値として出力し、前記第１の算出手段により算出されたあるフレームに対して算出される前記第１の値の全てが所定の閾値よりも大きければ、前記第１の値を算出するために用いた系列の所定の画素位置における入力された画素値を出力する
請求項２に記載の画像処理装置。
Ｎ系列の前記動画像データをフレーム内平滑化するＮ個の平滑化処理手段を更に備え、
前記第１の算出手段および前記第２の算出手段は、Ｎ個の前記平滑化処理手段により平滑化された画素値を用いて、前記第１の値および前記第２の値を算出する
請求項２に記載の画像処理装置。
前記第１のレートの撮像データを得る撮像手段と、
前記撮像手段により撮像された前記第１のレートの撮像データを、フレーム単位で分配し、前記第１のレートの１/Ｎのレートである前記第２のレートのＮ系列の動画像データに分割するデータ分割手段と
を更に備え、
前記第１の算出手段および前記第２の算出手段は、前記分割手段により分割されたＮ系列の前記動画像データを用いて、前記第１の値および前記第２の値を算出する
請求項２に記載の画像処理装置。
前記ノイズ低減処理手段により処理されたＮ系列の前記動画像データを出力する出力手段を更に備え、
前記出力手段は、出力される動画像データのレートに基づいて、Ｎ系列の前記動画像データのうちのいずれか１系統のみを出力するか、または、Ｎ系列の前記動画像データのうちの少なくとも一部をフレーム合成し出力する
請求項１に記載の画像処理装置。
前記ノイズ低減処理手段により処理されたＮ系列の前記動画像データを記録する記録手段を更に備え、
前記出力手段は、前記記録手段に記録された前記Ｎ系列の前記動画像データのうちの少なくとも一部を出力する
請求項６に記載の画像処理装置。
前記記録手段は、Ｎ個備えられるか、または、Ｎ個の領域に分割され、前記ノイズ低減処理手段により処理されたＮ系列の前記動画像データをそれぞれ記録する
請求項７に記載の画像処理装置。
前記第２のレートは、６０フレーム毎秒である
請求項１に記載の画像処理装置。
前記第２のレートは、５０フレーム毎秒である
請求項１に記載の画像処理装置。
前記第２のレートは、２４フレーム毎秒である
請求項１に記載の画像処理装置。
前記Ｎ系列は、４系列である
請求項１に記載の画像処理装置。
前記Ｎ系列は、２系列である
請求項１に記載の画像処理装置。
前記第１のレートは、２４０フレーム毎秒である
請求項１に記載の画像処理装置。
前記ノイズ低減処理手段により処理されたＮ系列の前記動画像データを記録する記録手段を更に備える
請求項１に記載の画像処理装置。
前記記録手段は、Ｎ個備えられるか、または、Ｎ個の領域に分割され、前記ノイズ低減処理手段により処理されたＮ系列の前記動画像データをそれぞれ記録する
請求項１５に記載の画像処理装置。
前記ノイズ低減処理手段により処理されたＮ系列の前記動画像データを符号化する符号化手段を更に備え、
前記記録手段は、前記符号化手段により符号化されたＮ系列の前記動画像データを記録する
請求項１５に記載の画像処理装置。
前記符号化手段により符号化されて前記記録手段により記録されたＮ系列の前記動画像データを復号する復号手段と、
前記復号手段により復号されたＮ系列の前記動画像データを出力する出力手段と
を更に備え、
前記復号手段は、出力される動画像データのレートに基づいて、Ｎ系列の前記動画像データのうちのいずれか１系統のみを復号するか、または、Ｎ系列の前記動画像データのうちの少なくとも一部を復号し、
前記出力手段は、出力される動画像データのレートに基づいて、前記復号手段により復号されたＮ系列の前記動画像データのうちのいずれか１系統を出力するか、または、Ｎ系列の前記動画像データのうちの少なくとも一部をフレーム合成し、出力する
請求項１７に記載の画像処理装置。
第１のレートの動画像データがフレーム単位でＮ分割されて生成された、前記第１のレートの１/Ｎ（Ｎは正の整数）のレートである第２のレートのＮ系列の動画像データを処理する画像処理装置の画像処理方法において、
Ｎ系列の前記動画像データのうちの時間的に隣り合うフレームにより構成される２つの系列における、所定の画素位置の画素値の差分値であるＮ−１個の第１の値を算出し、
Ｎ系列の前記動画像データの所定の画素位置における画素値の差分値の総和である第２の値を算出し、
算出された前記第２の値が所定の閾値よりも小さかった場合、Ｎ系列の前記動画像データの所定の画素位置における画素値の加算平均値を、Ｎ系列の前記動画像データの所定の画素位置における画素値として出力し、
前記第２の値が所定の閾値よりも大きく、かつ、前記第１の値のいずれかが所定の閾値よりも小さい場合、前記第１の値を算出するために用いた系列の所定の画素位置における画素値の加算平均値を、前記第１の値を算出するために用いた系列の所定の画素位置における画素値として出力し、
前記第２の値が所定の閾値よりも大きく、かつ、あるフレームに対して算出される前記第１の値の全てが所定の閾値よりも大きい場合、前記第１の値を算出するために用いた系列の所定の画素位置における入力された画素値を出力する
ステップを含む画像処理方法。
第１のレートの動画像データがフレーム単位でＮ分割されて生成された、前記第１のレートの１/Ｎ（Ｎは正の整数）のレートである第２のレートのＮ系列の動画像データの処理をコンピュータに実行させるためのプログラムであって、
Ｎ系列の前記動画像データのうちの時間的に隣り合うフレームにより構成される２つの系列における、所定の画素位置の画素値の差分値であるＮ−１個の第１の値を算出し、
Ｎ系列の前記動画像データの所定の画素位置における画素値の差分値の総和である第２の値を算出し、
算出された前記第２の値が所定の閾値よりも小さかった場合、Ｎ系列の前記動画像データの所定の画素位置における画素値の加算平均値を、Ｎ系列の前記動画像データの所定の画素位置における画素値として出力し、
前記第２の値が所定の閾値よりも大きく、かつ、前記第１の値のいずれかが所定の閾値よりも小さい場合、前記第１の値を算出するために用いた系列の所定の画素位置における画素値の加算平均値を、前記第１の値を算出するために用いた系列の所定の画素位置における画素値として出力し、
前記第２の値が所定の閾値よりも大きく、かつ、あるフレームに対して算出される前記第１の値の全てが所定の閾値よりも大きい場合、前記第１の値を算出するために用いた系列の所定の画素位置における入力された画素値を出力する
ステップを含む処理をコンピュータに実行させるプログラム。
請求項２０に記載のプログラムが記録されている記録媒体。