JP2006049950A - 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】 単板カラー方式の固体撮像素子による撮影画像データの圧縮復元における画質低下を防止した装置および方法を提供する。
【解決手段】 単板カラー方式の固体撮像素子による撮影データ、すなわち各画素に単一色成分のみを保持する色モザイク画像データによって構成される動画像データのデータ変換処理において、色モザイク画像データを構成する色成分データの各々について個別の空間間引き処理を実行する構成とし、各色成分毎の空間間引きの際に、所定領域（ブロック）毎の移動量に応じた態様で空間間引き処理を実行する構成としたので、空間的なボケや、偽色の発生が抑制され、高品質な画質を維持したデータ圧縮、復元が可能となる。
【選択図】 図１６

Description

本発明は、動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムに関する。特に、単板カラー方式の固体撮像素子を具備し、画像データの所定領域毎に計測される被写体移動量に基づいてデータ量を適切に削減し、画質劣化を最小限に抑え、高品質な画像復元を実現可能とした動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムに関する。

単板カラー方式の固体撮像素子は、撮像素子の表面に、各画素において特定の波長成分のみを透過するようなカラーフィルタを貼り付け、複数個の画素の組によって必要な色成分を復元するものである。このとき、カラーフィルタで用いられる色配列は、例えば、図１に示すように、４画素の組によって赤（Ｒ）、緑（Ｇ）、青（Ｂ）を表現するベイヤー配列などが使用される。単板カラー方式の固体撮像素子では、このように各画素は単一の色成分の情報しかもたないため、周囲の画素の色情報を用いて補間処理を行うことによって、各画素において必要な色成分を復元するデモザイク処理が行われる。

単板カラー方式の固体撮像素子を具備する撮像装置の構成を図２に示す。単板カラー方式の固体撮像素子３は、光学レンズ１を通して入射される光のうち、カラーフィルタ２を透過する光を受光する。固体撮像素子３で光電変換されて電気信号として出力される画像信号は、図示しないＡ／Ｄ変換器によりデジタル信号に変換された後、カメラ信号処理部４において、クリッピング処理、ガンマ補正、ホワイトバランス補正、デモザイク処理などが施されて、動画像圧縮部５に送られる。動画像圧縮部５は、動画像信号のデータ量を削減し、所定の動画像フォーマットに変換して出力する。記録部６は、変換された動画像データを記録媒体に記録する。ここで、必ずしも動画像圧縮処理が施されなくても良いが、近年では撮像素子の画素数が増加し、かつ装置自体の小型化が要求されているために動画像圧縮が行われるのが通常である。

例えば、動画像データは、フラッシュメモリ、ハードディスク、ＤＶＤなどの記憶媒体への保存、あるいはネットワークを介した配信などにおいて、データ量を削減するためのデータ変換、すなわち圧縮処理が行なわれる。特に、近年、動画像データの高品質化、例えばＨＤ（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ）データなど、データ品質の改善が進んでおり、このデータの高品質化に伴ってデータ量が急激に増大している。このような状況において、動画像データの圧縮、復元処理における圧縮効率の改善や、復元データの品質劣化防止に関する技術について多くの検討、研究がなされている。

動画像の圧縮処理方法としては、例えば動画像データを構成する画像フレームの構成画素の間引き処理、すなわち空間方向の間引き処理と、フレームレートを間引く処理、すなわち時間方向の間引き処理などが知られている。

このようなデータ変換によるデータ量削減により記憶媒体への保存やネットワークを介したデータ転送が効率的に行なわれるという利点がある。しかしながら、圧縮されたデータを復元し再生する場合、画質の劣化が発生してしまうという問題がある。特にオリジナルデータが高精細画像である場合には、その品質劣化がより顕著になってしまう。

このような画質劣化をいかに低減するかについては様々な検討がなされている。例えば、特許文献１には、画像の明るさの情報に基づくパラメータを設定し、画像の明るさに従って圧縮態様を変更する画像圧縮処理構成を開示している。また、特許文献２には、画面を複数の領域に分割し、領域毎に圧縮態様を変更した圧縮処理構成を開示している。
特開２００３−１６９２８４号公報 特開２００２−２７４６６号公報

上述のように、いくつかの従来技術において、画像から求められる様々な特性に基づいて圧縮態様を変更し、データ品質を高める構成が開示されているが、これまでに開示されている圧縮方法では、圧縮画像データを復元し、再生した場合の画質劣化を十分に抑えるには至っていない。特に、単板カラー方式の固体撮像素子を用いて撮影した画像データは、上述したように、周囲の画素の色情報を用いて補間処理を行うことによって、各画素において必要な色成分を復元するデモザイク処理が実行されるが、この処理によって、以下のような問題が発生する。
（１）単板カラー方式の固体撮像素子で撮像される色モザイク信号をデモザイク処理する際に、エッジ部では正しい色補間が行われずに偽色を発生することがある。
（２）単板カラー方式の固体撮像素子で撮像される色モザイク信号をデモザイク処理する際に、色補間フィルタによって空間周波数帯域が狭められる。
（３）視覚系の時間積分機能によって、間引き信号が足し合わされて知覚される際に、空間的なローパスフィルタと同様の効果が引き起こされる。

従来の単板カラー方式の固体撮像素子を具備する撮像装置においては、上記（１）〜（２）の問題によって空間周波数帯域が狭められ、かつ偽色が発生した画像信号に対して、さらに動画像圧縮部において（３）の問題が引き起こされるために、最終的に人間が視聴するときに知覚する画像は、原信号に比べて空間周波数帯域がかなり狭められたものになってしまうという問題がある。

本発明は、上記の問題に鑑みてなされたものであり、単板カラー方式の固体撮像素子を用いて撮影した画像データに対する画像変換処理において、視覚特性を利用した高効率な動画像圧縮方式を用いても、空間周波数帯域の劣化を最小限に抑制することを可能とし、品質を維持した画像データの圧縮、復元を可能とする動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
動画像変換装置であり、
各画素に単一色成分データを保持する色モザイク画像データによって構成される動画像データを入力する入力部と、
前記入力部から動画像データを入力し、色モザイク画像データを構成する色成分データ各々について個別の空間間引き処理を実行する空間間引き処理部を有し、
前記空間間引き処理部は、
色モザイク画像データを構成する色成分データ各々について個別の代表値を選択して、選択した代表値からなる空間間引きデータを生成する構成であることを特徴とする動画像変換装置にある。

さらに、本発明の動画像変換装置の一実施態様において、前記空間間引き処理部は、色モザイク画像データを構成する色成分データ各々についての個別の代表値選択処理において、代表値の選択位置としてのサンプル点を、色成分データ各々について異なる位置に設定して代表値選択処理を実行する構成であることを特徴とする。

さらに、本発明の動画像変換装置の一実施態様において、前記空間間引き処理部は、色モザイク画像データを構成する色成分データ各々についての個別の代表値選択処理において、代表値の選択位置としてのサンプル点に対応する画素位置に処理対象の色成分データが設定されていない場合、周囲の画素位置にある同一の色成分データを持つ画素の画素値に基づく補間処理を実行してサンプル点の画素値を算出し、算出画素値を代表値として設定する処理を実行する構成であることを特徴とする。

さらに、本発明の動画像変換装置の一実施態様において、前記空間間引き処理部は、色モザイク画像データを構成する色成分データ各々についての個別の代表値選択処理において、代表値の選択位置としてのサンプル点を画素ライン毎に異なる位置に設定し、画素ライン毎に位相の異なる空間間引き処理を実行する構成であることを特徴とする。

さらに、本発明の動画像変換装置の一実施態様において、前記画像変換装置は、さらに、前記入力部から動画像データを入力し、該動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部を有し、前記空間間引き処理部は、前記ブロック分割部からブロックデータを入力し、ブロック単位で代表値選択処理を実行する構成であることを特徴とする。

さらに、本発明の動画像変換装置の一実施態様において、前記画像変換装置は、さらに、前記ブロック分割部において分割された各ブロックにおける被写体の動きを検出する動き検出部を有し、前記空間間引き処理部は、前記動き検出部の検出した動き情報に基づいて決定した態様において空間間引き処理を実行する構成であることを特徴とする。

さらに、本発明の動画像変換装置の一実施態様において、前記動き検出部は、動画像データを構成する異なるフレームの比較に基づく動きベクトルの検出処理を実行する構成であることを特徴とする。

さらに、本発明の動画像変換装置の一実施態様において、前記空間間引き処理部は、前記動き検出部の検出した動き情報に基づいて決定される空間間引き方向に従った空間間引き処理を実行する構成であることを特徴とする。

さらに、本発明の動画像変換装置の一実施態様において、前記動画像変換装置は、さらに、時間方向間引き処理部を有し、前記動き検出部の検出した動き情報に基づいて、空間間引き処理および時間方向間引き処理の両者あるいはいずれかを選択的に実行する構成を有することを特徴とする。

さらに、本発明の動画像変換装置の一実施態様において、前記動画像変換装置は、さらに、色モザイク画像データに基づいて各色成分データの信号を生成するデモザイク処理部を有し、前記動き検出部の検出したブロック間の移動量が所定量以下である場合に、空間間引きを実行することなくデモザイク処理および時間方向間引き処理を実行する構成であることを特徴とする。

さらに、本発明の動画像変換装置の一実施態様において、前記動画像変換装置は、さらに、単板カラー方式の撮像素子を備え、前記プロック分割部は、前記撮像素子によって撮影された画像データを入力する構成であることを特徴とする。

さらに、本発明の第２の側面は、
動画像変換データの復元処理を実行する動画像復元装置であり、
動画像データを構成するフレームを分割したブロック単位で、色成分毎の空間間引き処理データを入力し、色成分データ個別の空間伸長処理を実行する空間伸長処理部を有し、
前記空間伸長処理部は、
各色成分データ各々について、異なる位相での空間伸長処理を実行する構成を有することを特徴とする動画像復元装置にある。

さらに、本発明の動画像復元装置の一実施態様において、前記空間伸長処理部は、画素ライン毎に位相の異なる空間伸長処理を実行する構成であることを特徴とする。

さらに、本発明の動画像復元装置の一実施態様において、前記動画像復元装置は、さらに、時間方向伸長処理を実行する時間方向伸長処理部を有し、前記空間間引き処理および時間方向間引き処理の両者あるいはいずれかを選択的に実行する構成を有することを特徴とする。

さらに、本発明の動画像復元装置の一実施態様において、前記動画像復元装置は、さらに、ブロック対応の間引き態様情報を入力し、該間引き態様情報に基づいて、前記空間間引き処理および時間方向間引き処理の両者あるいはいずれかを選択的に実行する構成を有することを特徴とする。

さらに、本発明の動画像復元装置の一実施態様において、前記空間伸長処理部は、前記間引き態様情報に含まれる空間間引き方向に従った空間伸長処理を実行する構成であることを特徴とする。

さらに、本発明の第３の側面は、
動画像変換方法であり、
各画素に単一色成分データを保持する色モザイク画像データによって構成される動画像データを入力する動画像データ入力ステップと、
前記動画像データを入力し、色モザイク画像データを構成する色成分データ各々について個別の空間間引き処理を実行する空間間引き処理ステップを有し、
前記空間間引き処理ステップは、
色モザイク画像データを構成する色成分データ各々について個別の代表値を選択して、選択した代表値からなる空間間引きデータを生成することを特徴とする動画像変換方法にある。

さらに、本発明の動画像変換方法の一実施態様において、前記空間間引き処理ステップは、色モザイク画像データを構成する色成分データ各々についての個別の代表値選択処理において、代表値の選択位置としてのサンプル点を、色成分データ各々について異なる位置に設定して代表値選択処理を実行することを特徴とする。

さらに、本発明の動画像変換方法の一実施態様において、前記空間間引き処理ステップは、色モザイク画像データを構成する色成分データ各々についての個別の代表値選択処理において、代表値の選択位置としてのサンプル点に対応する画素位置に処理対象の色成分データが設定されていない場合、周囲の画素位置にある同一の色成分データを持つ画素の画素値に基づく補間処理を実行してサンプル点の画素値を算出し、算出画素値を代表値として設定する処理を実行することを特徴とする。

さらに、本発明の動画像変換方法の一実施態様において、前記空間間引き処理ステップは、色モザイク画像データを構成する色成分データ各々についての個別の代表値選択処理において、代表値の選択位置としてのサンプル点を画素ライン毎に異なる位置に設定し、画素ライン毎に位相の異なる空間間引き処理を実行することを特徴とする。

さらに、本発明の動画像変換方法の一実施態様において、前記画像変換方法は、さらに、前記入力部から動画像データを入力し、該動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップを有し、前記空間間引き処理ステップは、前記ブロック分割ステップの生成したブロックデータを入力し、ブロック単位で代表値選択処理を実行することを特徴とする。

さらに、本発明の動画像変換方法の一実施態様において、前記画像変換方法は、さらに、前記ブロック分割ステップにおいて分割された各ブロックにおける被写体の動きを検出する動き検出ステップを有し、前記空間間引き処理ステップは、前記動き検出ステップにおいて検出した動き情報に基づいて決定した態様において空間間引き処理を実行することを特徴とする。

さらに、本発明の動画像変換方法の一実施態様において、前記動き検出ステップは、動画像データを構成する異なるフレームの比較に基づく動きベクトルの検出処理を実行することを特徴とする。

さらに、本発明の動画像変換方法の一実施態様において、前記空間間引き処理ステップは、前記動き検出ステップにおいて検出した動き情報に基づいて決定される空間間引き方向に従った空間間引き処理を実行することを特徴とする。

さらに、本発明の動画像変換方法の一実施態様において、前記動画像変換方法は、さらに、時間方向間引き処理ステップを有し、前記動き検出ステップにおいて検出した動き情報に基づいて、空間間引き処理および時間方向間引き処理の両者あるいはいずれかを選択的に実行することを特徴とする。

さらに、本発明の動画像変換方法の一実施態様において、前記動画像変換方法は、さらに、色モザイク画像データに基づいて各色成分データの信号を生成するデモザイク処理ステップを有し、前記動き検出ステップにおいて検出したブロック間の移動量が所定量以下である場合に、空間間引きを実行することなくデモザイク処理および時間方向間引き処理を実行することを特徴とする。

さらに、本発明の動画像変換方法の一実施態様において、前記動画像変換方法は、さらに、単板カラー方式の撮像素子を備えた撮像部における動画像撮像ステップを有し、前記動画像データ入力ステップは、前記動画像撮像ステップにおいて撮像された動画像データを入力するステップであることを特徴とする。

さらに、本発明の第４の側面は、
動画像変換データの復元処理を実行する動画像復元方法であり、
動画像データを構成するフレームを分割したブロック単位で、色成分毎の空間間引き処理データを入力し、色成分データ個別の空間伸長処理を実行する空間伸長処理ステップを有し、
前記空間伸長処理ステップは、
各色成分データ各々について、異なる位相での空間伸長処理を実行するステップであることを特徴とする動画像復元方法にある。

さらに、本発明の動画像復元方法の一実施態様において、前記空間伸長処理ステップは、画素ライン毎に位相の異なる空間伸長処理を実行することを特徴とする。

さらに、本発明の動画像復元方法の一実施態様において、前記動画像復元方法は、さらに、時間方向伸長処理を実行する時間方向伸長処理ステップを有し、前記空間間引き処理および時間方向間引き処理の両者あるいはいずれかを選択的に実行することを特徴とする。

さらに、本発明の動画像復元方法の一実施態様において、前記動画像復元方法は、さらに、ブロック対応の間引き態様情報を入力し、該間引き態様情報に基づいて、前記空間間引き処理および時間方向間引き処理の両者あるいはいずれかを選択的に実行することを特徴とする。

さらに、本発明の動画像復元方法の一実施態様において、前記空間伸長処理ステップは、前記間引き態様情報に含まれる空間間引き方向に従った空間伸長処理を実行することを特徴とする。

さらに、本発明の第５の側面は、
動画像変換処理を実行するコンピュータ・プログラムであり、
各画素に単一色成分データを保持する色モザイク画像データによって構成される動画像データを入力する動画像データ入力ステップと、
前記動画像データを入力し、色モザイク画像データを構成する色成分データ各々について個別の空間間引き処理を実行する空間間引き処理ステップを有し、
前記空間間引き処理ステップは、
色モザイク画像データを構成する色成分データ各々について個別の代表値を選択して、選択した代表値からなる空間間引きデータを生成するステップであることを特徴とするコンピュータ・プログラムにある。

さらに、本発明の第６の側面は、
動画像変換データの復元処理を実行するコンピュータ・プログラムであり、
動画像データを構成するフレームを分割したブロック単位で、色成分毎の空間間引き処理データを入力し、色成分データ個別の空間伸長処理を実行する空間伸長処理ステップを有し、
前記空間伸長処理ステップは、
各色成分データ各々について、異なる位相での空間伸長処理を実行するステップとして設定されていることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、単板カラー方式の固体撮像素子による撮影データ、すなわち各画素に単一色成分のみを保持する色モザイク画像データによって構成される動画像データのデータ変換処理において、色モザイク画像データを構成する色成分データの各々について個別の空間間引き処理を実行する構成とし、各色成分毎の空間間引きの際に、所定領域（ブロック）毎の移動量に応じた態様で空間間引き処理を実行する構成としたので、空間的なボケや、偽色の発生が抑制され、高品質な画質を維持したデータ圧縮、復元が可能となる。

以下、図面を参照しながら、本発明の動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムの構成について説明する。なお、説明は、以下の項目に従って行なう。
（１）超解像効果を利用した動画像変換装置の基本構成
（２）単板カラー方式の固体撮像素子により取得された画像の変換および復元処理

［（１）超解像効果を利用した動画像変換装置の基本構成］
まず、本発明のベースとなる超解像効果を利用した動画像圧縮を実行する動画像変換装置の基本構成について説明する。なお、この基本構成は、本出願人が先に出願した特願２００３−４１２５０１号に詳細を記載しているものであり、画像を小領域（ブロック）に分割し、各領域の移動速度に応じて画素数の間引きや、フレームレートの間引きを適応的に行うことでデータ量の圧縮を実現した構成である。

図３に特願２００３−４１２５０１号に記載した動画像変換装置１０の構成例を示す。この動画像変換装置１０は、超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量の削減を行うことができる構成としたものである。

なお、超解像効果とは、観測者が、空間方向に離散的にサンプリングされた移動被写体を追従視する際に、表示画素数以上の解像度を知覚するという視覚的効果である。これは、人間は、ある時間内に呈示された複数の画像が加算されたものを知覚するという視覚特性を持つためである。この特性は、ブロックの法則として知られる視覚の時間的積分機能に起因しており、例えば、"視覚情報ハンドブック，日本視覚学会編，ｐｐ．２１９−２２０"などに記載されている。ブロックの法則が成り立つ積分時間は、背景光の強度などの呈示条件によって変化するが、およそ２５ｍｓ乃至１００ｍｓであるという報告がある。

図３に示す動画像変換装置１０は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行うことにより、画質劣化を観測者が知覚しないようにデータを削減する圧縮を行う構成としたものである。図３の動画像変換装置１０の構成について説明する。

ブロック分割部１１は、入力された動画像の各フレームを、所定画素の区分領域としてのブロックに分割し移動量検出部１２に供給する。移動量検出部１２は、ブロック分割部１１から供給された各ブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部１３に送信する。ブロック処理部１３は、移動量検出部１２から供給されたブロックに対して、その移動量に応じた動画像変換処理、すなわち圧縮処理を施し、データ量を削減する。ブロック処理部１３は、その処理の結果得られた、データ量が削減されたブロックについてのデータを、出力部１４に供給する。出力部１４は、ブロック処理部１３から供給された、データ量が削減されたブロックについてのデータを、ストリームデータとしてまとめて出力する。

次に、図４を参照して、各部の詳細について説明する。ブロック分割部１１の画像蓄積部２１には、動画像変換装置１０に供給された動画像のフレームが入力される。画像蓄積部２１は、入力されたフレームを蓄積する。画像蓄積部２１は、蓄積したフレームの数がＮ枚（Ｎは正の整数）になる度に、そのＮ枚のフレームを、ブロック分割部２２に供給するとともに、Ｎ枚のフレームの中のＭ番目に記憶したフレーム（以下、Ｍ番目のフレームと称する）を、移動量検出部１２（移動量検出部３１）に供給する。例えば、Ｎ＝４とする。

ブロック分割部２２は、画像蓄積部２１から供給されたＮ枚のフレーム（連続するＮ枚のフレーム）のそれぞれを、ある大きさ（例えば８×８、１６×１６）のブロックに分割し、移動量検出部１２（ブロック分配部３２）に出力する。ブロック分割部２２はまた、Ｎ枚のフレームの中の、画像蓄積部２１でＰ番目に記憶されたフレーム（以下、Ｐ番目のフレームと称する）の各ブロックを移動量検出部１２（移動量検出部３１）に供給する。Ｐ番目のフレームは、Ｍ番目のフレームと異なるフレームである。

次に、移動量検出部１２について説明する。移動量検出部１２の移動量検出部３１は、ブロック分割部１１のブロック分割部２２から供給されたＰ番目のフレームの各ブロックの動きベクトルを、画像蓄積部２１から供給されたＭ番目のフレームを参照して例えばフレーム間のブロックマッチング処理を実行して検出し、検出した動きベクトルをブロック分配部３２に供給する。動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表している。なお、移動量検出部３１は、移動量検出の精度を向上させるために画像を拡大し、拡大画像を適用した移動量検出を行なう構成としてもよい。

移動量検出部１２のブロック分配部３２には、ブロック分割部２２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部３１から、そのＮ個のブロックの中のＰ番目のフレームのブロックの移動量が供給される。ブロック分配部３２は、供給されたＮ個のブロックと移動量を、ブロック処理部１３の、その移動量に対応する処理を行うブロック処理部５１乃至５３の中のいずかに供給する。

具体的にはブロック分配部３２は、移動量検出部３１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の移動量が２ピクセル（画素）以上である場合、ブロック分割部２２から供給されたＮ個のブロックと移動量検出部３１から供給された移動量を、ブロック処理部５１に出力する。また、１フレーム間の水平方向と垂直方向の移動量がともに２ピクセル未満で、かつ１ピクセル以上の場合、ブロック分配部３２は、Ｎ個のブロックと移動量を、ブロック処理部５３に出力する。移動量がそのほかの場合には、ブロック分配部３２は、Ｎ個のブロックと移動量をブロック処理部５２に供給する。

すなわちブロック分配部３２は、移動量検出部２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、そのフレームレートおよび空間解像度にしたがって画像データを変換する処理を行うブロック処理部５１〜５３に、ブロック画像を分配する。

次に、ブロック処理部１３の詳細を説明する。ブロック処理部１３は、上述したように３個のブロック処理部５１乃至５３で構成されている。ブロック処理部５１は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向または垂直方向の移動量が２ピクセル以上である場合のＮ個のブロック）に対して、画素数を、同様にブロック分配部３２から供給された移動量に応じて間引く処理（空間方向間引き処理）を行う。

具体的には、１フレーム間の水平方向の移動量が２ピクセル（画素）以上である場合、ブロック処理部５１は、処理対象のブロックが図５（ａ）に示すように４×４ピクセルで構成されているとき、水平方向の４画素のうち１つの画素値のみを選択して代表値とする。図５（ｂ）の例では、Ｐ_００乃至Ｐ_３０の４画素のうちＰ_１０のみを代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ_０１乃至Ｐ_３１の４画素に対してはＰ_１１を代表値（標本点）とし、Ｐ_０２乃至Ｐ_３２の４画素に対してはＰ_１２を代表値（標本点）とし、Ｐ_０３乃至Ｐ_３３の４画素に対してはＰ_１３を代表値（標本点）とする。

１フレーム間の垂直方向の移動量が２ピクセル以上である場合、ブロック処理部５１は、ブロックが図５（ａ）に示すように４×４ピクセルで構成されているとき、垂直方向の４画素のうち１つの画素値を標本点として有効とする。図５（ｃ）の例では、Ｐ_００乃至Ｐ_０３の４画素のうちＰ_０１のみを標本点として有効にする。その他の画素値は無効とする。同様に、Ｐ_１０乃至Ｐ_１３の４画素に対してはＰ_１１を標本点とし、Ｐ_２０乃至Ｐ_２３の４画素に対してはＰ_２１を標本点とし、Ｐ_３０乃至Ｐ_３３の４画素に対してはＰ_３１を標本点とする。

ブロック処理部５１は、このような空間方向間引き処理を、供給された連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ＝４個のブロックに対してそれぞれ施すので、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部５１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。

次に、図４に示すブロック処理部５２の実行する処理について説明する。図４に示すブロック処理部５２は、移動量検出部１２のブロック分配部３２から供給された連続するＮ枚のフレームのそれぞれの同一位置ある合計Ｎブロック（水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。

具体的にはブロック処理部５２は、図６に示すように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢｉを、その中の１つのブロック（この例の場合、フレームＦ１のブロックＢｉ）にするフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。ブロック処理部５２は、このような時間方向間引き処理により、データ量が１／４に削減された４個のブロックについてのデータ（１個のブロック）を、出力部１４に供給する。選択された１つのブロックの画素データが４フレームに対応する標本点データとなる。

ブロック処理部５３は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向と垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合のＮ個のブロック）に対して、画素数の間引き処理（空間方向間引き処理）とフレーム数の間引き処理（時間方向間引き処理）をそれぞれ行う。

ブロック処理部５３は、ブロック処理部５１における間引き処理とは異なり、図７に示すように、１フレーム間の水平方向の移動量が１ピクセル以上で、２ピクセル未満である場合、ブロック処理部５３は、処理対象のブロックが図７（ａ）に示すように４×４ピクセルで構成されているとき、水平方向の４画素のうち２つの画素値のみを選択して代表値とする。図７（ｂ）の例では、Ｐ_００乃至Ｐ_３０の４画素のうちＰ_００とＰ_２０のみを代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ_０１乃至Ｐ_３１の４画素に対してはＰ_０１とＰ_２１のみを代表値（標本点）とし、Ｐ_０２乃至Ｐ_３２の４画素に対してはＰ_０２とＰ_２２のみ代表値（標本点）とし、Ｐ_０３乃至Ｐ_３３の４画素に対してはＰ_０３とＰ_２３のみ代表値（標本点）とする。

１フレーム間の垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合、ブロック処理部５３は、処理対象ブロックが図７（ａ）に示すように４×４ピクセルで構成されているとき、垂直方向の４画素のうち２つの画素値を有効とする。図７（ｃ）の例では、Ｐ_００乃至Ｐ_０３の４画素のうちＰ_００およびＰ_０２を代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ_１０乃至Ｐ_１３の４画素に対してはＰ_１０およびＰ_１２を代表値（標本点）とし、Ｐ_２０乃至Ｐ_２３の４画素に対してはＰ_２０およびＰ_２２を代表値（標本点）とし、Ｐ_３０乃至Ｐ_３３の４画素に対してはＰ_３０およびＰ_３２を代表値（標本点）とする。

さらにブロック処理部５３は、フレーム数の間引き処理を行う。具体的にはブロック処理部５３は、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックに対して、その中の２つのブロックを有効にするフレーム数の間引き処理を実行する。フレーム数の間引き処理においては、ブロック処理部５３は、ブロック処理部５２における間引き処理と異なり、図８に示すように、連続する４枚のフレームＦ１乃至Ｆ４のぞれぞれの同一位置にある合計４個のブロックＢｉを、その中のいずれか２つ（図の例では、フレームＦ１、Ｆ３の２個のブロック）にするフレーム数の間引き（２フレーム間のフレーム数の間引き）を行う。選択された２つのブロックの画素データが４フレームに対応する標本点データとなる。この場合、図７を参照して説明した空間方向の間引きにおいて、すでに１ブロックに８つの標本点選択が実行済みであり、２ブロックから総計１６の標本点が選択され、これらが４フレームに対応する標本点データとして設定されることになる。

ブロック処理部５３は、図７を参照して説明したデータ量を１／２とする空間方向間引き処理と、図８を参照して説明したデータ量を１／２とする時間方向間引き処理を、供給された４個のブロックに対して施すので、結果として４個のブロックのデータ量が（１／２）×（１／２）＝１／４に削減される。ブロック処理部５３は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。

出力部１４は、ブロック処理部１３のブロック処理部５１乃至５３のそれぞれから供給された、データ量が削減されたＮ個のブロックについてのデータからストリームデータを生成する。

本出願人は、先に出願済みの特願２００３−４１２５０１において、上述した動画像変換装置を提案した。この動画像変換装置は、人間の視覚特性を鑑みて、動画像の微小領域毎に移動速度情報に応じて最適なフレームレートと空間解像度を決定してデータ量の圧縮を行う構成であり、人間の視覚系における時間積分機能を利用し、動被写体を目で追いかけるときに生じる超解像効果に基づいて、移動量に応じて移動方向に空間的な間引き処理を行うことでデータ量の削減を行う構成である。

この装置において間引き処理を実行して圧縮したデータを復元して、再生した動画像の被写体を観察した場合の例について、説明する。図９には、上述した画像変換装置における空間間引き処理例を示している。図９（ａ）は、移動速度が大きいときにデータ量を１／４にするブロックの処理を表しており、移動方向が水平方向である場合には、水平方向に連続する４画素（Ｐ１乃至Ｐ４）に対して１画素（Ｐ２）を代表値とすることで圧縮を行う。一方、受信側では、代表値（Ｐ２）を元の４画素分に割り当てることで伸長を行う。図９（ｂ）は、移動速度が小さいときにデータ量を１／２にするブロックの処理を表しており、移動速度が水平方向である場合には、水平方向に連続する２画素（Ｐ１乃至Ｐ２）に対して１画素（Ｐ１）を代表値とすることで圧縮を行う。一方、受信側では、代表値（Ｐ１）を元の２画素分に割り当てることで伸長を行う。

次に、図９（ａ）の空間間引き処理を施されたブロックデータを復元した動画像に含まれる被写体を追従視する場合に発生する現象について説明する。図１０は、動画像変換装置への入力原画像において、時間的に連続するフレーム（Ｆ１乃至Ｆ８）における画像の任意の画素ライン（画素Ｐ１乃至Ｐ８）を示している。すなわち、上述の空間間引きを実行していない８フレーム分の所定画素ラインの部分的な画像データを示している。

被写体（Ａ乃至Ｈ、およびＴ乃至Ｚ）が右方向に１（ｐｉｘｅｌ／ｆｒａｍｅ）の速度で移動している画像が撮像されているとする。今、被写体のＡの部分を目で追うとすると、注視点はＡの移動に伴って右方向に１（ｐｉｘｅｌ／ｆｒａｍｅ）の速度で移動する。このとき、視覚系における光の積分時間が８フレームに相当する場合、フレームＦ１からフレームＦ８までの信号が積分されるが、注視点には常にＡが存在するため、積分されて知覚される像もＡとなる。これは、Ａの左右にある同じ移動速度を持つ被写体（Ｂ乃至Ｈ、およびＴ乃至Ｚ）についても同様である。したがって、最終的に観察者が知覚する画像は、空間的なボケのない被写体（Ａ乃至Ｈ、およびＴ乃至Ｚ）となる。

図１１は、図１０の入力画像に対して、図９（ａ）に示す態様の空間間引き処理を施した圧縮データを復元し、再生表示した時間的に連続するフレーム（Ｆ１乃至Ｆ８）における画像の任意の画素ライン（画素Ｐ１乃至Ｐ８）を示している。

空間間引き処理は、図９（ａ）に示したように、連続する４画素（Ｐ１乃至Ｐ４）に対して１画素を代表値（Ｐ２）とするデータ圧縮を施し、伸長処理は、元の４画素を代表値で埋める処理を行う。したがって、図１１に示すように、各画素の値はフレーム毎に変化する。すなわち、第１フレーム（Ｆ１）は、画素Ｐ１〜Ｐ４の画素値は、原画像のＰ２の画素値＝Ｂ（図１０参照）に統一され、画素Ｐ５〜Ｐ８の画素値は、原画像のＰ６の画素値＝Ｆ（図１０参照）に統一された画素値となる。また、第２フレーム（Ｆ２）は、画素Ｐ１〜Ｐ４の画素値は、原画像のＰ２の画素値＝Ａ（図１０参照）に統一され、画素Ｐ５〜Ｐ８の画素値は、原画像のＰ６の画素値＝Ｅ（図１０参照）に統一された画素値となる。以下、同様の復元画像が再生されることになる。

このとき、各フレーム画像を、図１０を参照して説明したと同様、注視点を目で追うとすると、注視点において観察者が知覚する像Ａ'は次式で表される。
Ａ'＝（１／８）（２Ｙ＋２Ｚ＋２Ａ＋２Ｂ）
同様に、注視点の右隣の画素において観察者が知覚する像Ｂ'は次式で表される。
Ｂ'＝（１／８）（２Ｚ＋２Ａ＋２Ｂ＋２Ｃ）
さらに、注視点の左隣の画素において観察者が知覚する像Ｚ'は次式で表される。
Ｚ'＝（１／８）（２Ｘ＋２Ｙ＋２Ｚ＋２Ａ）

つまり、上述した動画像変換装置（特願２００３−４１２５０１に記載の動画像変換装置）における空間間引き処理は、追従視における時間積分の結果、図１２（ａ）に示した係数を持つ空間フィルタをかけた画像に相当する変化をもたらすことになる。図１１の例では、被写体の水平移動を示したが、垂直移動の場合には図１２（ｂ）に示した係数を持つ空間フィルタをかけたと同様の画像が得られることになる。

なお、ここでは視覚系における時間積分は一定期間において単純加算されるとしているが、実際の視覚系におけるメカニズムは解明されておらず、必ずしも図１２に示した空間フィルタと同等になるとは限らない。しかしながら、上述のように、空間間引き処理によるデータ圧縮技術は、視覚の時間積分機能の影響によって観察者の知覚する画像に何らかの空間的なボケを発生させることになる。

［（２）単板カラー方式の固体撮像素子により取得された画像の変換および復元処理］
続いて、単板カラー方式の固体撮像素子により取得された画像に対する動画像変換による圧縮データの生成処理と、生成した圧縮データに対する伸長処理による画像復元処理について説明する。

まず、図１３を参照して、単板カラー方式の固体撮像素子により取得された画像から圧縮データを生成する処理について説明する。単板カラー方式の固体撮像素子は、原色系のベイヤー配列（図１参照）などの色配列を持つカラーフィルタを介した撮像を行なう構成であり、各画素に対して特定の波長の信号、すなわち特定波長の色成分データだけを取得するようになっている。ベイヤー配列の単板カラー方式の固体撮像素子を用いた場合、固体撮像素子の出力画像７０は、各画素にＲ，Ｇ，Ｂいずれかの情報のみを持つ色モザイク画像となる。

デモザイク処理部７１は、画素ごとに色補間処理を行うことにより各色成分データ、すなわち、Ｒ，Ｇ，Ｂの全ての情報を復元する処理を実行する。

まずデモザイク処理部７１の実行するＧ信号の復元について説明する。ベイヤー配列では、Ｇ信号は市松状に取得されている。固体撮像素子の出力画像７０においてＧ信号が存在しない画素（Ｇ_１１を例にとる）では、周囲にあるＧ信号に基づく補間処理によって、Ｇ信号が生成される。具体的には、以下の式によってＧ信号（Ｇ_１１）が復元される。
Ｇ１１＝（１／４）（Ｇ_０１＋Ｇ_２１＋Ｇ_１０＋Ｇ_１２）

次にＲ信号、およびＢ信号の復元について説明する。ベイヤー配列では、Ｒ，Ｂともに、１画素ラインおきにデータが存在する。例えば、図１３に示す固体撮像素子の出力画像７０の最上段の画素ラインには、Ｒ信号は存在するがＢ信号は存在しない。また、２番目の画素ラインには、Ｂ信号は存在するがＲ信号は存在しない。

それぞれデータＲまたはＢが存在する画素ラインにおいては１画素おきにデータが取得されている。固体撮像素子の出力画像７０においてＲ信号（Ｂ信号）が存在しない画素で、同ラインにＲ信号（Ｂ信号）が存在する場合（Ｒ_０１，Ｂ_１２を例にとる）、その画素ライン上のＲ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ_０１＝（１／２）（Ｒ_００＋Ｒ_０２）
Ｂ_１２＝（１／２）（Ｂ_１１＋Ｂ_１３）

同様にして、同カラムにＲ信号（Ｂ信号）が存在する場合（Ｒ_１０，Ｂ_２１を例にとる）、Ｒ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ_１０＝（１／２）（Ｒ_００＋Ｒ_２０）
Ｂ_２１＝（１／２）（Ｂ_１１＋Ｂ_３１）

さらに、同ラインにも同カラムにもＲ信号（Ｂ信号）が存在しない場合（Ｒ_１１，Ｂ_２２を例にとる）、Ｒ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ_１１＝（１／４）（Ｒ_００＋Ｒ_０２＋Ｒ_２０＋Ｒ_２２）
Ｂ_２２＝（１／４）（Ｂ_１１＋Ｂ_１３＋Ｂ_３１＋Ｂ_３３）

デモザイク処理部７１は、上述のような色補間処理を行い、全画素に対するＲ信号７２ｒ、Ｇ信号７２ｇ、Ｂ信号７２ｂを出力する。なお、本例で示した補間処理は一例であり、他の色信号との相関を利用したような色補間処理を行っても良い。

デモザイク処理部７１が出力するＲ信号７２ｒ、Ｇ信号７２ｇ、Ｂ信号７２ｂのブロックは、水平方向に所定値以上の速度で移動している場合には、空間間引き処理部７３において、図９（ａ）に示した空間間引き処理が施される。空間間引き処理の結果、各画素ラインの連続する４画素（たとえばＲ_００乃至Ｒ_０３）は、唯一の代表値（たとえばＲ_０１）のみにデータ削減される。

このようにして出力されたＲＧＢ圧縮画像信号７４ｒ、７４ｇ、７４ｂは、図９（ａ）に示したような伸長処理を施され画像表示される。表示された画像を追従視すると、超解像効果により原信号の周波数成分が復元されるが、この際には上述のように空間的なボケを伴う。したがって、単板カラー方式の固体撮像素子を用いた撮像装置においては、デモザイク処理された色信号に対して空間間引き処理を行う場合には、デモザイク処理における空間フィルタ処理と、視覚系の時間積分による空間フィルタ処理が掛け合わされた結果を知覚することになる。さらに、デモザイク処理では、Ｒ信号やＢ信号が欠落した画素に被写体のエッジなどが存在する場合には、エッジの周囲の色から補間を行うことにより、本来の色と異なる色（偽色）が復元されることがある。このような偽色が存在する画像に対して空間間引き処理を行った場合には、知覚される画像にも偽色が乗ってしまうことがある。

次に、本発明による撮像装置および動画像変換装置について図を参照して説明する。まず、図１４と図１５を参照して、本発明を適用した動画像処理システムについて説明する。

図１４は、本発明に従った撮像装置１００の構成を示している。撮像装置１００は、受光して画像信号を出力する固体撮像素子１０３と、固体撮像素子１０３上に貼り付けられたカラーフィルタ１０２と、固体撮像素子１０３に結像する光学レンズ１０１からなる撮像系と、固体撮像素子１０３から出力される画像信号を適応的に処理する動画像変換処理部１０４と、変換された動画像信号を記録媒体に記録する記録部１０５から構成されている。

固体撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子などの撮像素子であり、受光して光電変換することによって、結像する光学像を画像信号として出力するものである。

カラーフィルタ１０２は、固体撮像素子１０３の各画素において、特定の波長のみを透過させるための薄膜である。すなわち、先に図１を参照して説明した、それぞれ赤、緑、青（Ｒ，Ｇ，Ｂ）に相当する波長を透過させる原色系フィルタなどによって構成される。なお、ここでは、ＲＧＢの原色系フィルタを適用した例を説明するが、例えば黄、マゼンタ、シアンに相当する波長を透過させる補色系フィルタを適用することも可能である。なお、以下の実施例では、原色（Ｒ，Ｇ，Ｂ）系のカラーフィルタを用いた構成例について説明する。

動画像変換処理部１０４は、固体撮像素子１０３から出力される色モザイク画像信号を、所定領域毎に移動量に応じて適応的に間引き処理、またはデモザイク処理を行うことによって、データ量を削減しつつ高画質な動画像信号に変換する。動画像変換処理部１０４の詳細については後述する。

記録部１０５は、動画像変換処理部１０４からの出力信号をビデオテープやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）ディスクなどの記録媒体に記録する。記録媒体は、動画像を記録することが可能な記録媒体なら何でも良い。また、記録部１０５は存在しなくても構わなく、動画像変換処理部１０４からの出力信号を、復元、再生処理を実行する再生処理部に出力する構成としてもよく、また、ネットワークインタフェースなどを介してネットワークに対する出力を行う構成としてもよい。

図１５は、図１４に示す撮像装置１００によって動画像が記録された記録媒体を再生する再生装置２００と、再生された動画像を表示する表示装置２０３を示している。再生装置２００は、記録媒体の再生部２０１と、動画像変換処理部２０２から構成される。

再生部２０１は、ビデオテープやＤＶＤディスクなどの記録媒体を再生する。本実施例では、記録媒体は、撮像装置１００の記録部１０５で記録したものである。なお、記録媒体の再生処理を実行する再生部２０１以外のデータ入力構成としてもよい。例えば、撮像装置１００からの出力信号を直接入力する構成としてもよく、あるいは、図示しない無線伝送部などによって外部のネットワークから受信する信号を入力する構成としてもよい。

動画像変換処理部２０２は、記録媒体から再生、あるいは外部から入力した動画像信号を、所定領域毎に付与されている間引き情報に基づき適応的に空間伸長処理を行うことによって、表示された画像を人間が見たときに画質劣化が目立たないような動画像信号を生成する。動画像変換処理部２０２の詳細については後述する。

表示装置２０３は、再生装置２００から出力される動画像信号を受信して表示する。表示装置２０３は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）やＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）など、どのような発光原理によるものでも構わない。本発明による撮像装置で撮像し、変換した動画像信号は、前述のように、観察者の視覚系における時間積分機能を利用しており、複数フレームにわたる画像信号が積分されて知覚される事によって、超解像効果を引き起こし、画質劣化の少ない動画像が得られる。従って、表示装置２０３は、人間の視覚系における積分時間内に所定のフレーム数が含まれるようなフレームレートでの表示が要求される。

次に、図１６を参照して、図１４に示した撮像装置１００の動画像変換処理部１０４の詳細について説明する。動画像変換処理部１０４は、固体撮像素子１０３から出力される色モザイク画像信号をフレーム単位で入力する。カメラ前処理部３０１は、色モザイク画像信号に対して、クリッピング処理や、ホワイトバランス補正などの前処理を行う。この前処理は、デモザイク処理よりも前に行われる処理である。

ブロック分割部３０２は、クリッピング処理や、ホワイトバランス補正などの前処理の施されたフレーム画像を所定サイズ（ｎ×ｎ画素）のブロックに分割し、ブロック単位でブロック分配部３０３に送ると同時に、動き検出部３０４へ送る。本実施例ではブロック分割部３０２の生成するブロックのサイズは、ｎ＝４、すなわち４×４画素のブロックとする。ブロック分割部３０２は、各画素に単一色成分データを保持する色モザイク画像データによって構成される動画像データに対してクリッピング処理や、ホワイトバランス補正などの前処理の施されたフレーム画像を入力し、該動画像データを構成するフレーム毎にブロック分割処理を実行する。

動き検出部３０４は、現フレーム画像におけるブロックと、図示しない画像記憶部に蓄積されている１または数フレーム前の画像のブロックとの間でブロックマッチング処理を行い、入力画像の現フレームにおける当該ブロックの移動量を検出し、検出した移動量情報をブロック分配部３０３へ送る。ここで、動き検出部３０４に入力されるブロックは、色モザイク状の画像信号であるため、ブロックマッチング処理ではうまく移動量が求まらないことがある。したがって、動き検出部３０４では、入力ブロックと、蓄積されている参照ブロックを一旦、色補間処理によりデモザイクしてブロックマッチング処理を行っても良い。なお、ブロックマッチング処理は一例に過ぎず、ブロック単位の移動量を検出することができれば、どのような方法でも構わない。

ブロック分配部３０３は、動き検出部３０４から入力するブロック毎の移動量に基づき、当該ブロックが空間間引き処理を行うブロックであるか否かを判定する。ブロックの移動量は、水平方向成分および垂直方向成分のうち値の大きい方のみを判定基準とする。

具体的には、ブロック分配部３０３は、１フレーム間のブロックの移動量が１ピクセル以上、２ピクセル未満の場合には、当該ブロックを第１の空間間引き処理部３０５に送り、１フレーム間のブロックの移動量が２ピクセル以上の場合には、当該ブロックを第２の空間間引き処理部３０６に送り、その他の場合、すなわち、１フレーム間のブロックの移動量が１ピクセル未満の場合には、当該ブロックをデモザイク処理部３０７に送る。なお、この判定基準は一例に過ぎず、他の判定基準を用いても構わない。なお、ブロック分配部３０３は、空間間引きを実行する場合、ブロック間引き方向情報についても空間間引き処理部３９５，３０６に出力する。ブロック分配部３０３は、動き検出部３０４からの動き情報に基づいて、水平方向成分および垂直方向成分の移動量のうち値の大きい方を選択し、選択した水平方向または垂直方向をブロック間引き方向として設定する。

デモザイク処理部３０７は、入力されるブロックを色補間処理によりデモザイクする。デモザイク処理の動作は先に図１３を参照して説明したデモザイク処理部７１の処理と同様の処理であり、Ｒ，Ｇ，Ｂの値の存在しないＲ，Ｇ，Ｂ値を周囲の画素値に基づいて設定する処理として実行される。デモザイク処理部３０７は、ブロックのＲ信号，Ｇ信号，Ｂ信号を出力する。この信号は、図１３に示すＲ信号７２ｒ、Ｇ信号７２ｇ、Ｂ信号７２ｂに相当する。

デモザイク処理部３０７から出力されたデモザイク処理されたデータは、時間方向間引き処理部３０９に入力される。時間方向間引き処理部３０９は、デモザイク処理データに対する時間方向間引き処理を実行する。この処理は、先に図４を参照して説明した画像変換装置におけるブロック処理部５２の処理と同様の処理であり、先に説明した図６に示すように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢｉを、その中の１つのブロック（この例の場合、フレームＦ１のブロックＢｉ）にするフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。時間方向間引き処理部３０９の実行する時間方向間引き処理により、データ量が１／４に削減される。

空間間引き処理部３０５，３０６は、色モザイク画像データを構成する色成分データ各々について個別の空間間引き処理を実行する。

空間間引き処理部３０６は、１フレーム間のブロックの移動量が２ピクセル以上のブロックについての空間間引き処理を実行する。空間間引き処理部３０６は、ブロックの画素数を１／４に削減する処理を行う。具体的には、ブロック分配部３０３から与えられるブロック間引き方向情報に従い、間引き方向に連続する４画素に対して１画素の代表値を出力する。本実施例においては、色モザイク画像信号の当該４画素に対して、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれ１画素を代表値として出力する。

同様にして、空間間引き処理部３０５は、１フレーム間のブロックの移動量が１ピクセル以上、２ピクセル未満のブロックについての空間間引き処理を実行する。空間間引き処理部３０５は、ブロックの画素数を１／２に削減する処理を行う。具体的には、ブロック分配部３０３から与えられるブロック間引き方向情報に従い、間引き方向に連続する２画素に対して１画素の代表値を出力する。本実施例においては、色モザイク画像信号の当該２画素に対して、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれ１画素を代表値として出力する。なお、空間間引き処理部３０６、および３０５の動作の詳細については、後述する。

空間間引き処理部３０５の出力データは、時間方向間引き処理部３０８に入力される。時間方向間引き処理部３０８は、空間間引き処理データに対する時間方向間引き処理を実行する。この処理は、先に図４を参照して説明した画像変換装置におけるブロック処理部５３の処理と同様の処理であり、先に説明した図８に示すように、連続する４枚のフレームＦ１乃至Ｆ４のぞれぞれの同一位置にある合計４個のブロックＢｉを、その中のいずれか２つ（図の例では、フレームＦ１、Ｆ３の２個のブロック）にするフレーム数の間引き（２フレーム間のフレーム数の間引き）を行う。選択された２つのブロックの画素データが４フレームに対応する標本点データとなる。

空間間引き処理部３０５は、データ量を１／２とする空間方向間引き処理を実行し、時間方向間引き処理部３０８もデータ量を１／２とする時間方向間引き処理施すので、結果としてブロックのデータ量が（１／２）×（１／２）＝１／４に削減される。

合成部３１０は、空間間引き処理部３０５と時間方向間引き処理部３０８による間引き処理結果データ、空間間引き処理部３０６における間引き処理結果データ、およびデモザイク処理部３０７におけるデモザイク処理データに対する時間方向間引き処理部３０９による間引き処理結果データ、これらのブロックのデータをまとめ、ブロックの間引き方法を表す間引き情報を付与して１フレーム分のデータを生成する。合成部３０で生成するデータ形式は、ブロックの開始を特定できる情報と、ブロックの間引き情報と、ブロックの代表値の画素値が含まれていればどのような形式でも構わない。

次に、図１７を参照して再生装置２００（図１５参照）の動画像変換処理部２０２の詳細を説明する。

再生装置における動画像変換処理部２０２は、記録媒体の再生を実行する再生部２０１からの再生データ、あるいはネットワーク等を介して外部から入力するデータを入力して、画像の伸長を実行して、復元画像を生成する処理を実行する。動画像変換処理部２０２は、圧縮データの復元処理を実行する画像復元処理部である。動画像変換処理部２０２は、圧縮画像データとしての動画像信号をフレーム単位で入力する。

図１７に示す分配部４０４は、入力される動画像信号からブロック毎に付与されている間引き情報を抽出し、間引き情報に基づいてブロックに相当するデータを分配する。具体的には、分配部４０４は、処理対象のブロックに付与されている間引き情報が空間１／２間引き処理を示す場合には、ブロックのデータを空間伸長処理部４０５に送り、ブロックに付与されている間引き情報が空間１／４間引き処理を示す場合には、ブロックのデータを空間伸長処理４０６に送り、ブロックに付与されている間引き情報がデモザイク処理を示す場合には、ブロックのデータを時間方向伸長処理部４０８に送る。

時間伸長処理部４０８は、時間方向の伸長処理、すなわち、先に図６を参照して説明した連続４フレームのデータとして残された標本点データを、連続４フレームの値として設定する時間方向の伸長処理を実行し、伸長結果としてのブロック構成画素値と画素のアドレスを合成部４０９に送る。

空間伸長処理部４０６は、ブロックのデータを４倍に拡張し、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれにおいて４×４画素のブロックを復元する。具体的には、分配部４０４から送られる間引き方向情報に従って、ブロックの代表値を間引き方向に連続する４画素にコピーし、画素値と画素のアドレスを合成部４０８に送る。

空間伸長処理部４０５は、ブロックのデータを２倍に拡張し、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれにおいて４×４画素のブロックを復元する。具体的には、分配部４０４から送られる間引き方向情報に従って、ブロックの代表値を間引き方向に連続する２画素にコピーし、その後、時間方向伸長処理部４０７において、時間方向の伸長処理、すなわち、連続２フレームの一方のフレームの値を他方のフレームの値として設定する時間方向の伸長処理を実行し、伸長結果としてのブロック構成画素値と画素のアドレスを合成部４０９に送る。

空間伸長処理部４０５、および４０６の動作の詳細については後述する。

合成部４０９は、１フレーム分の画像バッファを有し、空間伸長処理部４０５と時間方向伸長処理部４０７における伸長結果データ、空間伸長処理部４０６における伸長結果データ、および時間方向伸長処理部４０８における伸長結果データとしてのブロックの画像を画像バッファの所定のアドレスに書き込む。このとき、すでに画像バッファの当該アドレスに画素値が存在する場合には、そのアドレスを含むブロックから書き込まれる画素値を優先する。

合成部４０９は、１フレームの全ブロックの処理を終了した後、画像バッファ中に画素値が書き込まれていない画素位置を検出する。もし、画素値が書き込まれていない画素が存在する場合には、当該画素の周囲の画素から補間して当該画素位置における画素値を生成する。このとき、補間に用いる画素は、当該画素位置における間引き方向の両側に位置する画素とする。なお、この補間処理は欠落画素を埋める方法の一例に過ぎず、他の方法で欠落画素を埋めても構わない。

出力部４１０は、合成部４０９で合成された１フレーム画像を、汎用的な動画像信号形式に変換して出力する。このとき、動画像信号形式はアナログ信号でも、デジタル信号でも構わなく、アナログ信号の場合には、図示しないＤ／Ａ変換器によってアナログ信号に変換を行う。

次に、図１４に示した撮像装置１００の動画像変換処理部１０４における空間間引き処理部３０５（図１６参照）、および空間間引き処理部３０６（図１６参照）の処理の詳細について図１８を参照して説明する。

図１８は、空間間引き処理部３０５および３０６の処理シーケンスを説明するフローチャートである。空間間引き処理部３０５と空間間引き処理部３０６の動作の違いは、間引き量の違いのみであり、間引きサンプル点の位置情報だけを変更すれば良いので、同じフローチャートによって説明する。

空間間引き処理部３０５，３０６は、ステップＳ１０１において、ブロック分配部３０３からブロックの移動ベクトルを受け取る。移動ベクトルは、動き検出部３０４（図１６参照）が検出したブロックに含まれる被写体の動きを示すベクトルである。空間間引き処理部３０５，３０６は、動きベクトルが与えられると、ブロックの間引き方向を動きベクトルに基づいて決定する。先に、ブロック分配部３０３は空間間引き処理部３０５，３０６に対して、処理対象のブロックデータと、間引き方向情報を出力すると説明したが、ブロック分配部３０３が空間間引き処理部３０５，３０６に出力する間引き方向情報は、動きベクトルとして与えられる。動きベクトルの持つ水平方向成分と垂直成分とを比較し、より大きい成分値を持つ方向を空間間引き方向として決定する。

空間間引き処理部３０５，３０６は、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれについて、決定した空間間引き方向に従った空間間引き処理を実行する。空間間引き処理部３０５，３０６では、図５に示す１／４空間間引き、または図７に示す１／２空間間引きをＲ信号、Ｇ信号、Ｂ信号のそれぞれについて実行する。しかし、前述したように、単板カラー方式の固体撮像素子は、原色系のベイヤー配列（図１参照）などのカラーフィルタにより、各画素に対して特定の波長の信号だけを取得するようになっている。例えばベイヤー配列の単板カラー方式の固体撮像素子を用いた場合、固体撮像素子の出力画像は、図１３の出力画像７０に示すように各画素にＲ，Ｇ，Ｂいずれかの情報のみを持つ色モザイク画像である。本発明による動画像変換処理部１０４は、図１６に示したように、空間間引き処理部３０５，３０６はデモザイク処理が施されていない色モザイク画像に対して空間間引き処理を実行する。従って、空間間引きを行なう場合、図５、図７に示すように、特定の位置の画素を代表値（サンプル点）とする処理はできない、例えば、図５（ｂ）に示す水平方向１／４空間間引き処理例では、左から２番目の点を代表値（サンプル点）として選択しているが、例えばこの位置に画素データを持つのは、ＲＧＢのいずれか１つの画素値データであり、その他の２つの画素値データは存在していない。従って、ＲＧＢデータそれぞれについての空間間引きを実行する場合、代表値（サンプル点）の設定位置を変更したり、あるいは、補間処理によって生成することが必要となる。

ベイヤー配列の単板カラー方式の固体撮像素子を用いた撮像画像データのＲＧＢデータそれぞれについての空間間引きを実行する場合の代表値（サンプル点）の位置の設定例について、図１９、図２０を参照して説明する。図１９は、水平方向の空間間引きにおけるＲＧＢ各信号のサンプル点の設定例を示し、図２０は、垂直方向の空間間引きにおけるＲＧＢ各信号のサンプル点の設定例を示している。

ベイヤー配列の画像データは、先にも説明したが図１９（１）に示すような配列である。この画像データに対して、例えば水平方向の１／４空間間引きを実行する場合、水平方向の４画素から１つの画素を代表値（サンプル点）として選択することが必要である。また、水平方向の１／２空間間引きを実行する場合、水平方向の２画素から１つの画素を代表値（サンプル点）として選択することが必要となる。

水平方向の１／４空間間引きを実行する場合の代表値（サンプル点）は、４×４画素のブロックについて、例えば図１９（ａ）に示す位置に設定される。Ｇ信号については、上段の水平画素ラインから下段の水平画素ラインに至るまで、左端または左端から２番目の画素に存在するＧ信号を代表値（サンプル点）とする。

Ｒ信号については、最上段の画素ラインおよび３番目の水平画素ラインについては、各ラインの左端に存在するＲ画素値を代表値（サンプル点）とする。第２、４番目の水平ラインについては、各ラインにＲ信号が存在しないので、この場合には、上下のＲ信号の値に基づいて、線形補間処理を実行して、Ｒ信号の値［Ｒ'］を算出し、この値を代表値（サンプル点）とする。Ｂ信号については、第２、第４番目の水平画素ラインについては、各画素ラインの左端から２番目に存在するＢ画素値を代表値（サンプル点）とする。第１、３番目の水平画素ラインについては、各画素ラインにＢ信号が存在しないので、この場合には、上下のＢ信号の値に基づいて、線形補間処理を実行して、Ｂ信号の値［Ｂ'］を算出し、この値を代表値（サンプル点）とする。

水平方向の１／２空間間引きを実行する場合の代表値（サンプル点）は、４×４画素のブロックについて、例えば図１９（ｂ）に示す位置に設定される。Ｇ信号については、上段の水平画素ラインから下段の水平画素ラインに至るまで、各画素ラインに１つおきに存在するＧ信号を代表値（サンプル点）とする。

Ｒ信号については、最上段の画素ラインおよび３番目の水平画素ラインについては、各画素ラインに１つおきに存在するＲ画素値を代表値（サンプル点）とする。第２、４番目の水平画素ラインについては、各画素ラインにＲ信号が存在しないので、この場合には、上下のＲ信号の値に基づいて、線形補間処理を実行して、Ｒ信号の値［Ｒ'］を算出し、この値を代表値（サンプル点）とする。Ｂ信号については、第２、第４番目の水平画素ラインについては、各画素ラインに１つおきに存在するＢ画素値を代表値（サンプル点）とする。第１、３番目の水平画素ラインについては、各画素ラインにＢ信号が存在しないので、この場合には、上下のＢ信号の値に基づいて、線形補間処理を実行して、Ｂ信号の値［Ｂ'］を算出し、この値を代表値（サンプル点）とする。

図２０は、垂直方向の空間間引きにおけるＲＧＢ各信号のサンプル点の設定例を示している。垂直方向の１／４空間間引きを実行する場合、垂直方向の４画素から１つの画素を代表値（サンプル点）として選択することが必要である。また、垂直方向の１／２空間間引きを実行する場合、垂直方向の２画素から１つの画素を代表値（サンプル点）として選択することが必要となる。

垂直方向の１／４空間間引きを実行する場合の代表値（サンプル点）は、４×４画素のブロックについて、例えば図２０（ａ）に示す位置に設定される。Ｇ信号については、左端の垂直画素ラインから右端の垂直画素ラインに至るまで、上段または上段から２番目の画素に存在するＧ信号を代表値（サンプル点）とする。

Ｒ信号については、左端の画素ラインおよび左から３番目の垂直画素ラインについては、各画素ラインの上段に存在するＲ画素値を代表値（サンプル点）とする。第２、４番目の垂直画素ラインについては、各画素ラインにＲ信号が存在しないので、この場合には、左右のＲ信号の値に基づいて、線形補間処理を実行して、Ｒ信号の値［Ｒ'］を算出し、この値を代表値（サンプル点）とする。Ｂ信号については、左から第２、第４番目の垂直画素ラインについては、各画素ラインの上から２番目に存在するＢ画素値を代表値（サンプル点）とする。左から第１、３番目の垂直画素ラインについては、各画素ラインにＢ信号が存在しないので、この場合には、左右のＢ信号の値に基づいて、線形補間処理を実行して、Ｂ信号の値［Ｂ'］を算出し、この値を代表値（サンプル点）とする。

垂直方向の１／２空間間引きを実行する場合の代表値（サンプル点）は、４×４画素のブロックについて、例えば図２０（ｂ）に示す位置に設定される。Ｇ信号については、各垂直画素ラインに１つおきに存在するＧ信号を代表値（サンプル点）とする。

Ｒ信号については、左端から１番目の画素ラインおよび３番目の垂直画素ラインについては、各画素ラインに１つおきに存在するＲ画素値を代表値（サンプル点）とする。第２、４番目の垂直画素ラインについては、各画素ラインにＲ信号が存在しないので、この場合には、左右のＲ信号の値に基づいて、線形補間処理を実行して、Ｒ信号の値［Ｒ'］を算出し、この値を代表値（サンプル点）とする。Ｂ信号については、左から第２、第４番目の垂直画素ラインについては、各画素ラインに１つおきに存在するＢ画素値を代表値（サンプル点）とする。第１、３番目の垂直画素ラインについては、各画素ラインにＢ信号が存在しないので、この場合には、左右のＢ信号の値に基づいて、線形補間処理を実行して、Ｂ信号の値［Ｂ'］を算出し、この値を代表値（サンプル点）とする。

これらの代表値（サンプル点）の設定処理シーケンスが、図１８のフローにおけるステップＳ１０２以下の処理として実行される。空間間引き処理部３０５，３０６は、ステップＳ１０２において、ブロック内の画素に対するアドレスを初期化し、ステップＳ１０３において、ブロック分配部３０３から最初の画素データを受け取る。

ステップＳ１０４では、入力された画素がＲ信号の間引きサンプル点に位置するかどうかを確認する。当該画素位置がＲ信号における間引きサンプル点であるときは、ステップＳ１０７に進み、間引きサンプル点でない、つまり間引きされる画素であるときは、ステップＳ１０５に進む。

ステップＳ１０４における処理、すなわち、入力画素がＲ信号の間引きサンプル点に位置するかどうかの確認処理は、例えば、１／４水平間引き処理の場合は、図１９（ａ−Ｒ）に示すＲまたはＲ'の位置の画素か否かで判定される。すなわち、左端の画素が入力された場合にのみサンプル点と判定され、ステップＳ１０７に進む。その他の画素が入力された場合は、Ｒ信号に対するサンプル点ではないので、ステップＳ１０５に進む。例えば、１／２垂直間引き処理の場合は、図２０（ｂ−Ｒ）に示すように、上段から１番目または３番目の画素が入力された場合にのみサンプル点と判定され、ステップＳ１０７に進む。その他の画素が入力された場合は、Ｒ信号に対するサンプル点ではないので、ステップＳ１０５に進む。このようにサンプル点であるか否かは、空間間引き処理の態様によって異なることになる。

Ｒ信号についてのサンプル点の画素が処理対象画素として、入力された場合、ステップＳ１０７に進み、ステップＳ１０７において、入力の色モザイク画像（例えば図１９（１）に示す画像）において当該画素位置にＲ信号が存在するかどうかを確認する。

４×８の２ブロック分のベイヤー配列データについて図２１に示す。図２１に示すように、ベイヤー配列の場合、Ｒ信号は水平方向の１ラインおき（１カラムおき）に存在する。上述したように、水平方向に間引きを行う場合、各水平画素ラインについてそれぞれサンプル点を設定することが必要であり、Ｒ信号が全く存在しない水平画素ラインにおいてもサンプル点（代表値）におけるＲ信号値を設定することが必要となる。

図１９、図２０を参照して説明したように、水平方向の間引き処理においては、各水平画素ラインにＲ信号のサンプル点（代表値）を設定する。垂直方向の間引き処理においては、各垂直画素ラインにＲ信号のサンプル点（代表値）を設定する。１／４空間間引きでは各画素ラインに１つ、１／２空間間引きでは各画素ラインに２つのサンプル点（代表値）を設定する。画素ライン上にＲ画素の信号が含まれている場合は、これらをサンプル点とする。この処理は、ステップＳ１０７においてＹｅｓと判定され、ステップＳ１１１において、画素値をＲ信号の代表値として出力する処理に相当する。

一方、画素ライン上にＲ画素の信号が含まれていない場合は、上下または左右のＲ信号に基づく線形補間処理を実行して、補間画素値としてのＲ信号、すなわち図１９、図２０に示す［Ｒ'］を算出する。この処理は、ステップＳ１０７においてＮｏと判定され、ステップＳ１０９において補間画素値としてのＲ信号［Ｒ'］を算出し、ステップＳ１１１において、補間画素値［Ｒ'］をＲ信号の代表値として出力する処理に相当する。

なお、図１９、図２０から理解されるように、Ｒ信号が存在しない画素ラインのサンプル点は、水平方向の空間間引きにおいては、画素位置の上下にＲ信号が存在する点になるように設定する。垂直方向の空間間引きにおいては、画素位置の左右にＲ信号が存在する点になるように設定する。このように間引きサンプル点をとることによって、補間処理は上下または左右２点間の線形補間で済む。

ステップＳ１１１では、空間間引き処理部３０５，３０６は、当該画素位置におけるＲ信号の値を、Ｒ信号の代表値として合成部３０９へ出力する。このようにして、当該画素位置におけるＲ信号の処理を終了して、ステップＳ１０５に進む。

ステップＳ１０５では、入力された画素がＢ信号の間引きサンプル点に位置するかどうかを確認する。入力画素がＢ信号の間引きサンプル点に位置するかどうかの確認処理は、例えば、１／４水平間引き処理の場合は、図１９（ａ−Ｂ）に示すＢまたはＢ'の位置の画素か否かで判定される。すなわち、ブロックの左から２番目の画素が入力された場合にのみサンプル点と判定され、ステップＳ１０８に進む。その他の画素が入力された場合は、Ｂ信号に対するサンプル点ではないので、ステップＳ１０６に進む。例えば、１／２垂直間引き処理の場合は、図２０（ｂ−Ｂ）に示すように、上段から２番目または４番目の画素が入力された場合にのみサンプル点と判定され、ステップＳ１０８に進む。その他の画素が入力された場合は、Ｂ信号に対するサンプル点ではないので、ステップＳ１０６に進む。このようにサンプル点であるか否かは、空間間引き処理の態様によって異なることになる。

ステップＳ１０８では、入力の色モザイク画像において当該画素位置にＢ信号が存在するかどうかを確認する。図２１に示すベイヤー配列の場合、Ｂ信号については、Ｒ信号と同様に１画素ラインおき（１カラムおき）に存在し、Ｂ信号が全く存在しない画素ラインが存在する。上述したように、水平方向に間引きを行う場合、各水平画素ラインについてそれぞれサンプル点を設定することが必要であり、Ｂ信号が全く存在しない水平画素ラインにおいてもサンプル点（代表値）におけるＢ信号値を設定することが必要となる。

図１９、図２０を参照して説明したように、水平方向の間引き処理においては、各水平画素ラインにＢ信号のサンプル点（代表値）を設定する。垂直方向の間引き処理においては、各垂直ラインにＢ信号のサンプル点（代表値）を設定する。１／４空間間引きでは各ラインに１つ、１／２空間間引きでは各ラインに２つのサンプル点（代表値）を設定する。ライン上にＢ画素の信号が含まれている場合は、これらをサンプル点とする。この処理は、ステップＳ１０８においてＹｅｓと判定され、ステップＳ１１２において、画素値をＢ信号の代表値として出力する処理に相当する。

一方、画素ライン上にＢ画素の信号が含まれていない場合は、上下または左右のＢ信号に基づく線形補間処理を実行して、補間画素値としてのＢ信号、すなわち図１９、図２０に示す［Ｂ'］を算出する。この処理は、ステップＳ１０８においてＮｏと判定され、ステップＳ１１０において補間画素値としてのＢ信号［Ｂ'］を算出し、ステップＳ１１２において、補間画素値［Ｂ'］をＢ信号の代表値として出力する処理に相当する。

ステップＳ１１２では、空間間引き処理部３０５，３０６は、当該画素位置におけるＢ信号の値を、Ｂ信号の代表値として合成部３０９へ出力する。このようにして、当該画素位置におけるＢ信号の処理を終了して、ステップＳ１０６に進む。

ステップＳ１０６では、入力された画素がＧ信号の間引きサンプル点に位置するかどうかを確認する。Ｇ信号の間引きサンプル点は、水平方向間引きでは、図１９（ａ−Ｇ）（ｂ−Ｇ）、垂直方向間引きでは、図２０（ａ−Ｇ），（ｂ−Ｇ）のＧの表示位置である。処理対象の画素の画素位置がＧ信号における間引きサンプル点であるときは、ステップＳ１１３に進み、間引きサンプル点でない、つまり間引きされる画素であるときは、ステップＳ１１４に進む。

図２１に示すベイヤー配列の場合、Ｇ信号は市松状に存在する。従って、どの画素ライン（カラム）においてもＧ信号は必ず存在するため、Ｇ信号については存在の有無を確認する必要が無い。従って、当該画素位置がＧ信号の間引きサンプル点であるときには、ステップＳ１１３において、当該画素位置におけるＧ信号の値を、Ｇ信号の代表値として合成部３０９へ出力する。出力される値は、水平方向１／４空間間引きでは、図１９（ａ−Ｇ）に示すサンプル点の画素値、水平方向１／２空間間引きでは、図１９（ｂ−Ｇ）、垂直方向１／４空間間引きでは、図２０（ａ−Ｇ），垂直方向１／２空間間引きでは、図２０（ｂ−Ｇ）に示すサンプル点の画素値となる。

このようにして、処理対象の画素位置における全ての処理を終了し、ステップＳ１１４に進む。ステップＳ１１４では、当該処理画素がブロック内の最後の画素であるかどうかを確認し、最後の画素であった場合には、当該ブロックの処理を終了する。当該画素が最後の画素で無い場合には、ステップＳ１１５に進み、アドレスを次の画素位置に進めてステップＳ１０３に戻る。ステップＳ１０３では、空間間引き処理部３０５，３０６は、ブロック分配部３０３から、次の画素データを受け取る。

処理対象のブロック内の全ての画素について上述の処理が終了するまで、処理が繰り返される。

ここで、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの間引きサンプル点の位置、空間間引き処理結果データについて、図を参照して説明する。図２１は、ベイヤー配列の色モザイク画像信号を示している。

図２２は、ベイヤー配列の色モザイク画像の水平方向に隣り合う２つのブロックを、空間間引き処理部３０６において水平方向に１／４に間引き処理する場合の間引きサンプル点を説明する図である。図２２（１）に示すように、ベイヤー配列では、Ｇ信号は市松状に存在している。一方、Ｒ信号とＢ信号は、１画素ライン（１カラム）おきに存在している。

図２２（２−Ｇ），（２−Ｒ），（２−Ｂ）はそれぞれ、Ｇ信号、Ｒ信号、Ｂ信号の代表値（サンプル点）によって復元される各信号のブロック画像データを示している。各画像データに示す値Ｇ_０１などが、代表値として選択されたサンプル点の画素値に対応する。なお、復元処理による画像データとしての図２２（２−Ｇ），（２−Ｒ），（２−Ｂ）の生成処理については、後段で説明する。

空間間引き処理部３０６は、水平方向に間引き処理する場合、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれについて、ブロックの各水平画素ラインにおいて１画素を代表値とする。Ｇ信号においては、色モザイク画像の各水平画素ラインに必ず信号が存在するため、各水平画素ラインに存在している画素を代表値とする。具体的には、最上段の水平画素ラインではＧ_０１とＧ_０５を代表値とし、次の水平画素ラインではＧ_１０とＧ_１４を代表値とする。図から理解されるように、Ｇ信号は、隣り合う２つの画素ラインでは代表値の位相が１画素だけずれている。

Ｒ信号とＢ信号においては、それぞれの信号が存在する画素ラインにおいては、その存在している画素を代表値とする。具体的には、水平方向の１／４空間間引きを行なう場合、Ｒ信号は、最初の画素ラインにおいてＲ_００とＲ_０４を代表値とする。また、Ｂ信号は、２番目の画素ラインにおいてＢ_１１とＢ_１５を代表値とする。一方、Ｒ信号、Ｂ信号がそれぞれ存在しない画素ラインにおいては、隣り合う上下の２つの画素ラインにおけるＲ信号、Ｂ信号の位相と同位相の位置を間引きサンプリング点とする。具体的には、Ｒ信号は、２番目の画素ラインにおいてＲ_１０とＲ_１４を代表値とする。また、Ｂ信号は、３番目の画素ラインにおいてＢ_２１とＢ_２５を代表値とする。

ここで、Ｒ_１０は次式で与えられる。
Ｒ_１０＝（１／２）（Ｒ_００＋Ｒ_２０）
Ｒ_１４は、同様にＲ_０４とＲ_２４から補間される。Ｒ_１０、Ｒ_１４は、図１９（ａ−Ｒ）に示すブロックデータの［Ｒ'］に相当するデータであり、隣接画素値（Ｒ）に基づいて算出される画素値を持つ代表値である。

また、Ｂ_２１は次式で与えられる。
Ｂ_２１＝（１／２）（Ｂ_１１＋Ｂ_３１）
Ｂ_２５は、同様にＢ_１５とＢ_３５から補間される。Ｂ_２１、Ｂ_２５は、図１９（ａ−Ｂ）に示すブロックデータの［Ｂ'］に相当するデータであり、隣接画素値（Ｂ）に基づいて算出される画素値を持つ代表値である。
図２２からわかるように、Ｒ信号とＢ信号は、全ての画素ラインにおいて代表値は同じ位相である。

図２３は、ベイヤー配列の色モザイク画像の水平方向に隣り合う２つのブロックを、空間間引き処理部３０５において水平方向に１／２に間引き処理する場合の間引きサンプル点を説明する図である。空間間引き処理部３０５は、水平方向に間引き処理する場合、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれについて、ブロックの各画素ラインにおいて２画素を代表値とする。図２３（１）に示すように、ベイヤー配列では、Ｇ信号は市松状に存在している。一方、Ｒ信号とＢ信号は、１画素ライン（１カラム）おきに存在している。

図２３（２−Ｇ），（２−Ｒ），（２−Ｂ）はそれぞれ、Ｇ信号、Ｒ信号、Ｂ信号の代表値（サンプル点）によって復元される各信号のブロック画像データを示している。各画像データに示す値Ｇ_０１などが、代表値として選択されたサンプル点の画素値に対応する。なお、復元処理による画像データとしての図２３（２−Ｇ），（２−Ｒ），（２−Ｂ）の生成処理については、後段で説明する。

空間間引き処理部３０５は、Ｇ信号の処理においては、色モザイク画像に存在する全てのＧ信号を代表値とする。具体的には、最初の画素ラインではＧ_０１、Ｇ_０３、Ｇ_０５、Ｇ_０７を代表値とし、次の画素ラインではＧ_１０、Ｇ_１２、Ｇ_１４、Ｇ_１６を代表値とする。ここでも、Ｇ信号は、隣り合う２つの画素ラインでは代表値の位相が１画素だけずれている。

Ｒ信号とＢ信号においては、それぞれの信号が存在する画素ラインにおいては、その存在する全ての画素を代表値とする。具体的には、Ｒ信号は、最初の画素ラインにおいてＲ_００、Ｒ_０２、Ｒ_０４、Ｒ_０６を代表値とする。Ｂ信号は、２番目の画素ラインにおいてＢ_１１、Ｂ_１３、Ｂ_１５、Ｂ_１７を代表値とする。一方、Ｒ信号、Ｂ信号がそれぞれ存在しない画素ラインにおいては、隣り合う上下の２つの画素ラインにおけるＲ信号、Ｂ信号の位相と同位相の位置を間引きサンプリング点とする。具体的には、Ｒ信号は、２番目の画素ラインにおいてＲ_１０、Ｒ_１２、Ｒ_１４、Ｒ_１６を代表値とする。Ｂ信号は、３番目の画素ラインにおいてＢ_２１、Ｂ_２３、Ｂ_２５、Ｂ_２７を代表値とする。これらの代表値は、上述のようにして上下の画素ラインの信号から補間される。ここでも、Ｒ信号とＢ信号は、全ての画素ラインにおいて代表値は同じ位相である。

さらに、図２４は別の実施例として、異なる色配列１における色モザイク画像信号例を示している。本発明の処理は、図２１に示したベイヤー配列のみならず、その他の様々な色配列を持つ画像データに対して対応可能である。図２４に示す色配列１は、どの縦画素ライン、横画素ラインもＲＧＢの順にデータが配列され、どの画素ラインにも必ずＲ，Ｇ，Ｂデータが存在する色配列である。

図２５は、図２４に示す色配列１の色モザイク画像の水平方向に隣り合う２つのブロックを、空間間引き処理部３０６において水平方向に１／４に間引き処理する場合の間引きサンプル点を説明する図である。色配列１は、ベイヤー配列におけるＲ信号とＢ信号の配置が交互に入れ替わっており、図２５（１）に示すように、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれがどの画素ラインにおいても必ず存在するようになっている。

図２５（２−Ｇ），（２−Ｒ），（２−Ｂ）はそれぞれ、Ｇ信号、Ｒ信号、Ｂ信号の代表値（サンプル点）によって復元される各信号のブロック画像データを示している。各画像データに示す値Ｇ_０１などが、代表値として選択されたサンプル点の画素値に対応する。なお、復元処理による画像データとしての図２５（２−Ｇ），（２−Ｒ），（２−Ｂ）の生成処理については、後段で説明する。

色配列１に対する処理において、Ｇ信号についての代表値（サンプル点）の選択は、先に説明したベイヤー配列と同様の処理となる。すなわち、Ｇ信号については、図２５（１）に示す色配列１は、ベイヤー配列と同様の市松状である為、間引きサンプル点の位置は図２２を参照して説明したと同様の位置となる。

Ｒ信号とＢ信号は、ブロック内の各画素ライン（各カラム）において必ず、それぞれの画素データ（Ｒ，Ｂ）が１画素は存在する。したがって、これらの存在している画素を代表値とする。具体的には、Ｒ信号は、最初の画素ラインではＲ_００とＲ_０４を代表値とし、２番目の画素ラインでは、Ｒ_１３とＲ_１７を代表値とする。３番目、４番目の画素ラインも同様にして色モザイク画像に存在するＲ信号を代表値とする。また、Ｂ信号は、最初の画素ラインではＢ_０２とＢ_０６を代表値とし、２番目の画素ラインでは、Ｂ_１１とＢ_１５を代表値とする。３番目、４番目の画素ラインも同様にして色モザイク画像の各画素ラインに存在するＢ信号を代表値とする。したがって、色配列１においては、１／４に間引き処理をする場合には色補間処理は不要である。図からわかるように、Ｒ信号とＢ信号は、画素ラインごとに代表値の位相が１画素だけずれている。

図２６は、色配列１の色モザイク画像の水平方向に隣り合う２つのブロックを、空間間引き処理部３０５において水平方向に１／２に間引き処理する場合の間引きサンプル点を説明する図である。図２６（２−Ｇ），（２−Ｒ），（２−Ｂ）はそれぞれ、Ｇ信号、Ｒ信号、Ｂ信号の代表値（サンプル点）によって復元される各信号のブロック画像データを示している。

Ｇ信号については、図２６（１）に示す色配列１は、ベイヤー配列と同様の市松状である為、間引きサンプル点の位置は図２３を参照して説明したと同様の位置となる。

Ｒ信号とＢ信号においては、各画素ラインにおいて色モザイク画像に存在する対応画素は代表値として選択する。これは、図２５と同じである。さらに、１／２空間間引きでは、各画素ラインの４画素から２つを代表値として選択する必要がある。このため、各画素ラインにおいて、Ｒ信号においてはＢ信号が存在する画素位置、Ｂ信号においてはＲ信号が存在する画素位置についても代表値（サンプリング点）とする。具体的には、Ｒ信号は、最初の画素ラインではＢ信号の位置する画素位置のデータとしてＲ信号を補間処理により算出し、Ｒ_０２とＲ_０６を代表値とする。同様に２番目の画素ラインでは、補間処理によって算出したＲ_１１とＲ_１５を代表値とする。ここで、例えばＲ_１１は次式で与えられる。
Ｒ_１１＝（１／２）（Ｒ_００＋Ｒ_２２）
すなわち、この場合、斜め方向に隣接するＲ信号に基づく線形補間によって、Ｂ信号位置のＲ信号を算出し、この補間画素値をＲ信号の代表値とする。

その他の代表値についても、同様にして上下の隣り合う画素ラインの斜めに隣接するＲ信号から補間する。Ｂ信号は、最初の画素ラインではＢ_００とＢ_０４を代表値とし、２番目の画素ラインでは、Ｂ_１３とＢ_１７を代表値とする。ここで、Ｂ_１３は次式で与えられる。
Ｂ_１３＝（１／２）（Ｂ_０２＋Ｂ_２４）

その他の代表値についても、同様にして上下の隣り合う画素ラインの斜めに隣接するＢ信号から補間する。ここでも、Ｒ信号とＢ信号は、画素ラインごとに代表値の位相が１画素だけずれている。

なお、上述の間引きサンプリング点は一例に過ぎず、他の画素位置においてサンプリングを行っても構わない。また、カラーフィルタの色配列は、上述の２つの配列に限るものではない。

また、図２１〜図２６を参照して説明した処理例では、理解を容易にするため水平方向のみの動きベクトルに対応する処理例として説明したが、垂直方向の動きベクトルに対しても上述した処理と同様の処理が可能である。また、水平方向と垂直方向の両方の動きベクトルを適用して２次元処理を実行することも可能であり、２次元方向のあらゆる動きベクトルに対応した処理が可能である。

次に、図１５に示す再生装置２００の動画像変換処理部２０２に設定される空間伸長処理部４０５（図１７参照）、および空間伸長処理部４０６（図１７参照）の処理の詳細について図２７のフローを参照して説明する。

空間伸長処理部４０５，４０６は、ステップＳ２０１において、図１７に示す分配部４０４からブロックの間引き情報を受け取る。この間引き情報は、伸長処理対象のブロックが、圧縮処理実行時に、図１６に示す動画像変換処理部１０４の３つの圧縮処理態様のいずれを適用した処理がなされているかの情報を有する。すなわち、
ａ）空間間引き処理部３０５と時間方向間引き処理部３０８による処理
ｂ）空間間引き処理部３０６による処理
ｃ）デモザイク処理部３０７と時間方向間引き処理部３０９の処理
これらａ）〜ｃ）のいずれによる圧縮処理が施されているかの識別情報を含む。さらに、空間間引き処理を施されている場合には、その間引き方向の情報も付与されている。

空間伸長処理部４０５，４０６は、ステップＳ２０２において、合成部４０９の画像バッファにおけるアドレスをブロックの左上先頭位置で初期化し、ステップＳ２０３において、分配部４０４から最初のＲ信号、Ｇ信号、Ｂ信号のそれぞれの画素データを受け取る。

ステップＳ２０４では、処理対象の当該ブロックにおける間引き方向が水平方向かどうかを確認する。ブロックの間引き方向が水平方向であるときは、ステップＳ２０５に進み、垂直方向であるときは、ステップＳ２０６に進む。

ステップＳ２０５では、空間伸長処理部４０５，４０６は、分配部４０４から得た画素値を水平方向に間引き量（空間伸長処理部４０５では４画素、空間伸長処理部４０６では２画素）分だけコピーする。このとき、コピーする画素位置は、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれで位相が異なっており、この位相は空間間引き処理部における間引きサンプリング点の位相と一致する。空間伸長処理部４０５，４０６は、コピーした画素値を、画素位置を表すアドレスと共に合成部４０９または時間方向間引き処理部３０８に出力し、ステップＳ２０７に進む。

ステップＳ２０７では、当該ブロックにおける１画素ライン分の処理が終了したかどうかを確認する。本実施例では、ブロックは４×４画素のサイズであるため、空間伸長処理部４０５では１回のコピー処理によって１画素ライン分の処理が終了する。１画素ライン分の処理が終了したときは、ステップＳ２１１に進む。一方、空間伸長処理部４０６では、１回目のコピー処理では１画素ライン分の処理は終了しない。１画素ライン分の処理が終了しないときは、ステップＳ２０９に進む。

ステップＳ２０９では、Ｘ方向のアドレスを間引き量分だけ加算し、ステップＳ２１３に進む。一方、ステップＳ２１１では、Ｙ方向のアドレスを１加算し、Ｘ方向のアドレスをブロックの左端を表す位置に初期化して、ステップＳ２１３に進む。

ステップＳ２０６では、空間伸長処理部４０５，４０６は、分配部４０４から得た画素値を垂直方向に間引き量（空間伸長処理部４０５では４画素、空間伸長処理部４０６では２画素）分だけコピーする。このときの処理は、処理方向が９０度回転している以外はステップＳ２０５と同様である。空間伸長処理部４０５，４０６は、コピーした画素値を、画素位置を表すアドレスと共に合成部４０９に出力し、ステップＳ２０８に進む。

ステップＳ２０８では、伸長処理対象の当該ブロックにおける１カラム分の処理が終了したかどうかを確認する。１カラム分の処理が終了したときは、ステップＳ２１２に進み、１カラム分の処理が終了しないときは、ステップＳ２１０に進む。

ステップＳ２１０では、Ｙ方向のアドレスを間引き量分だけ加算し、ステップＳ２１３に進む。一方、ステップＳ２１２では、Ｘ方向のアドレスを１加算し、Ｙ方向のアドレスをブロックの左端を表す位置に初期化して、ステップＳ２１３に進む。

ステップ２１３では、当該画素データがブロック内の最後の画素であるかどうかを確認し、最後の画素であった場合には当該ブロックの処理を終了する。最後の画素で無い場合には、ステップＳ２０３に戻り、分配部４０４から次の画素データを受け取る。処理対象ブロック内の全ての画素について上述の処理が終了するまで、処理が繰り返される。

ここで、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの伸長処理について、図を参照して説明する。まず、図２２を参照して、ベイヤー配列の色モザイク画像信号を、空間間引き処理部３０６（図１６参照）において水平方向に１／４に空間間引きした信号を、空間伸長処理部４０６において４倍に伸長する動作を説明する。

空間間引き処理部３０６において間引きするサンプリング点は、Ｇ信号においては、前述したように画素ラインごとに１画素位相がずれている。空間伸長処理部４０６は、代表値を水平方向に４倍に拡張するため、間引きサンプリング点の隣接する左側１画素、右側２画素に代表値をコピーする。具体的には、図２２（２−Ｇ）に示すように、最初の水平画素ラインでは、代表値Ｇ_０１をＧ_００、Ｇ_０２、Ｇ_０３にコピーし、代表値Ｇ_０５をＧ_０４、Ｇ_０６、Ｇ_０７にコピーする。

次の画素ラインでは、代表値Ｇ_１０をサンプリング点の右側２画素Ｇ_１１、Ｇ_１２にコピーするが、左側は当該ブロックの外側になる。図２２に示す例で、図２２（１）の左側の４×４のブロックが画像端にあるとすると、当該ブロックの左側には画素が存在しないため、代表値Ｇ_１０は、図２２（２−Ｇ）に示すように、３画素に伸長される。代表値Ｇ_１４は、サンプリング点の右側２画素Ｇ_１５、Ｇ_１６にコピーされ、左側はブロックの外側にあるＧ_１３にコピーされる。図２２の場合には、Ｇ_１３の画素位置には他の画素値が存在しないため、合成部４８では代表値Ｇ_１４が画像バッファに書き込まれる。もし、図２２（１）の左側の４×４のブロックにおいて異なる処理が施されており、Ｇ_１３の画素位置に左側のブロックの画素値が存在する場合には、そちらの画素値が優先されて、代表値Ｇ_１４は書き込まれない。

Ｒ信号とＢ信号は、上述のように、各画素ラインでサンプリング点の位相は同じである。空間伸長処理部４０６は、Ｇ信号と同様にして代表値を水平方向に４倍に拡張する。具体的には、Ｒ信号は、図２２（２−Ｒ）に示すように、最初の画素ラインにおいて、代表値Ｒ_００をＲ_０１、Ｒ_０２にコピーし、代表値Ｒ_０４をＲ_０３、Ｒ_０５、Ｒ_０６にコピーする。上述のように、左側のブロックは画像の左端であるため、代表値Ｒ_００は３画素に伸長される。Ｂ信号は、図２２（２−Ｂ）に示すように、最初の画素ラインにおいて、代表値Ｂ_０１をＢ_００、Ｂ_０２、Ｂ_０３にコピーし、代表値Ｂ_０５をＢ_０４、Ｂ_０６、Ｂ_０７にコピーする。Ｒ信号とＢ信号は他の画素ラインにおいても同位相であるため、同様の伸長処理を行う。

次に、図２３を参照して、ベイヤー配列の色モザイク画像信号を空間間引き処理部３０５（図１６参照）において水平方向に１／２に空間間引きした信号を、空間伸長処理部４０５において２倍に伸長する動作を説明する。

空間伸長処理部４０５は、代表値を水平方向に２倍に拡張するため、間引きサンプリング点の隣接する右側１画素に代表値をコピーする。具体的には、Ｇ信号の処理に際しては、図２３（２−Ｇ）に示すように、最初の画素ラインでは、代表値Ｇ_０１をＧ_０２にコピーし、代表値Ｇ_０３をＧ_０４にコピーし、代表値Ｇ_０５をＧ_０６にコピーし、代表値Ｇ_０７をＧ_０８にコピーする。ここで、Ｇ_０８はブロックの外側の画素になるため、合成部４０９において、画像バッファのＧ_０８の画素位置におけるブロックの画素値が存在しない場合にだけ書き込み処理が行われる。一方、左端の画素位置（図中Ｇ_０ｘ）にはコピーされる画素値が存在しない。このとき、合成部４８は、当該画素の両端（移動方向）に存在する画素値から線形補間を行うが、Ｇ_０ｘは左側に画素が存在しないため、代表値Ｇ_０１をコピーする。Ｇ信号は、上述のように、画素ラインごとに１画素位相がずれているため、２番目の画素ラインでは、代表値Ｇ_１０をＧ_１１にコピーし、代表値Ｇ_１２をＧ_１３にコピーし、代表値Ｇ_１４をＧ_１５にコピーし、代表値Ｇ_１６をＧ_１７にコピーする。

Ｒ信号とＢ信号においても、空間伸長処理部４５は、Ｇ信号と同様にして代表値を水平方向に２倍に拡張する。具体的には、Ｒ信号は、図２３（２−Ｒ）に示すように、最初の画素ラインにおいて、代表値Ｒ_００をＲ_０１にコピーし、代表値Ｒ_０２をＲ_０３にコピーし、代表値Ｒ_０４をＲ_０５にコピーし、代表値Ｒ_０６をＲ_０７にコピーする。Ｂ信号は、図２３（２−Ｂ）に示すように、最初の画素ラインにおいて、代表値Ｂ_０１をＢ_０２にコピーし、代表値Ｂ_０３をＢ_０４にコピーし、代表値Ｂ_０５をＢ_０６にコピーし、代表値Ｂ_０７をＢ_０８にコピーする。ここで、Ｂ_０８はブロックの外側の画素になるため、合成部４０９において、画像バッファのＢ_０８の画素位置におけるブロックの画素値が存在しない場合にだけ書き込み処理が行われる。また、左端の画素位置（図中Ｂ_０ｘ）にはコピーされる画素値が存在しないため、Ｇ信号と同様にして、代表値Ｂ_０１がコピーされる。Ｒ信号とＢ信号は他の画素ラインにおいても同位相であるため、同様の伸長処理を行う。

次に、図２４に示す色配列１の色モザイク画像信号を空間間引き処理部３０６において水平方向に１／４に空間間引きした信号を、空間伸長処理部４０６において４倍に伸長する処理例について、図２５を参照して説明する。色配列１は、Ｇ信号に関してはベイヤー配列と同配置であるため、Ｇ信号に対する空間伸長処理部４０６の動作は図２２（２−Ｇ）を参照して説明した処理と同様となる。

Ｒ信号とＢ信号は、上述のように、画素ラインごとに１画素ずつ位相がずれる。具体的には、Ｒ信号は、最初の画素ラインでは、代表値Ｒ_００をＲ_０１、Ｒ_０２にコピーし、代表値Ｒ_０４をＲ_０３、Ｒ_０５、Ｒ_０６にコピーする。上述のように、左側のブロックは画像の左端であるため、代表値Ｒ_００は３画素に伸長される。２番目の画素ラインでは、代表値Ｒ_１３をＲ_１２、Ｒ_１４、Ｒ_１５にコピーし、代表値Ｒ_０７をＲ_１６、Ｒ_１８、Ｒ_１９にコピーする。ここで、Ｒ_１８およびＲ_１９はブロックの外側の画素になるため、合成部４０９において、画像バッファのＲ_１８およびＲ_１９の画素位置におけるブロックの画素値が存在しない場合にだけ書き込み処理が行われる。また、左端の２画素（図中Ｒ_１ｘ）にはコピーされる画素値が存在しないため、代表値Ｒ_１３がコピーされる。３番目、４番目の画素ラインについては、それぞれさらに１画素ずつずれてコピーが行われる。Ｂ信号についても、図２５（２−Ｂ）に示すように同様の処理が行われる。

次に、図２６を参照して、色配列１の色モザイク画像信号を空間間引き処理部３０５において水平方向に１／２に空間間引きした信号を、空間伸長処理部４０５において２倍に伸長する動作を説明する。色配列１は、Ｇ信号に関してはベイヤー配列と同配置であるため、Ｇ信号に対する空間伸長処理部４０５の動作は図２３（２−Ｇ）を参照して説明した処理と同様となる。

Ｒ信号とＢ信号は、上述のように、画素ラインごとに１画素ずつ位相がずれる。具体的には、Ｒ信号は、図２６（２−Ｒ）に示すように、最初の画素ラインでは、代表値Ｒ_００をＲ_０１にコピーし、代表値Ｒ_０２をＲ_０３にコピーし、代表値Ｒ_０４をＲ_０５にコピーし、代表値Ｒ_０６をＲ_０７にコピーする。２番目の画素ラインでは、代表値Ｒ_１１をＲ_１２にコピーし、代表値Ｒ_１３をＲ_１４にコピーし、代表値Ｒ_１５をＲ_１６にコピーし、代表値Ｒ_１７をＲ_１８にコピーする。ブロックの両端の処理については、上述の場合と同様である。また、Ｂ信号についても、図２６（２−Ｂ）に示すように同様の処理が行われる。

なお、図２１〜図２６を参照して説明した処理例では、理解を容易にするため水平方向のみの動きベクトルに対応する処理例として説明したが、垂直方向の動きベクトルに対しても上述した処理と同様の処理が可能である。また、水平方向と垂直方向の両方の動きベクトルを適用して２次元処理を実行することも可能であり、２次元方向のあらゆる動きベクトルに対応した処理が可能である。

なお、上述の伸長処理は一例に過ぎず、他の画素位置にコピーを行っても構わない。また、カラーフィルタの色配列は、上述の２つの配列に限るものではない。

上述したように、本発明によれば、単板カラー方式の固体撮像素子を具備した撮像装置において、人間の視覚特性を利用した画像圧縮方式を適用する際に、所定領域毎に移動量を求め、移動量に応じて固体撮像素子から出力される色モザイク信号を直接的に空間間引き処理することによって、色補間処理によって全画素において全色成分を生成するデモザイク処理によって引き起こされる空間的なボケや、偽色の発生を抑制し、高画質な動画像信号を生成することができる。

なお、上述したデータの圧縮、伸長処理例では、カラーフィルタの色配列として、ＲＧＢの原色を用いた２つの配列例、すなわち図２１に示すベイヤー色配列と、図２４に示す色配列１を適用した処理例について説明したが、本発明は、その他の様々な色配列を持つカラーフィルタを適用した撮像データに対応した処理が可能である。例えば図２８に示すような補色（黄（Ｙｅ）、マゼンタ（Ｍｇ）、シアン（Ｃｙ））を組み合わせた補色配列からなるカラーフィルタを適用して撮像されたデータに対する処理を行なうことも可能である。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、単板カラー方式の固体撮像素子による撮影データ、すなわち各画素に単一色成分のみを保持する色モザイク画像データによって構成される動画像データのデータ変換処理において、色モザイク画像データを構成する色成分データの各々について個別の空間間引き処理を実行する構成とし、各色成分毎の空間間引きの際に、所定領域（ブロック）毎の移動量に応じた態様で空間間引き処理を実行する構成としたので、空間的なボケや、偽色の発生が抑制され、高品質な画質を維持したデータ圧縮、復元が可能となり、動画像の圧縮画像データの生成または復元を実行する装置や、単板カラー方式の撮像素子を持つ撮像装置における画像処理構成として適用が可能である。

カラーフィルタで用いられる色配列の例について説明する図である。 単板カラー方式の固体撮像素子を具備する撮像装置の構成を示す図である。 超解像効果を利用したデータ変換を実行する動画像変換装置の基本構成を示す図である。 超解像効果を利用したデータ変換を実行する動画像変換装置の基本構成の詳細を示す図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 画像変換装置における空間間引き処理例を示す図である。 動画像変換装置への入力原画像の連続フレーム（Ｆ１乃至Ｆ８）における画像のある画素ライン（画素Ｐ１乃至Ｐ８）のデータを示す図である。 図１０に示す入力画像に対して、図９（ａ）に示す態様の空間間引き処理を施した圧縮データを復元し、再生表示した時間的に連続するフレーム（Ｆ１乃至Ｆ８）における画像の任意の画素ライン（画素Ｐ１乃至Ｐ８）を示す図である。 動画像変換装置における空間間引き処理によって生成される画像の復元データの追従視における時間積分の結果として認識される画像に相当する画像を生成する空間フィルタを説明する図である。 単板カラー方式の固体撮像素子により取得された画像から圧縮データを生成する処理について説明する図である。 本発明に従った撮像装置の構成を示す図である。 図１４に示す撮像装置によって動画像が記録された記録媒体を再生する再生装置と、再生された動画像を表示する表示装置を示す図である。 図１４に示す撮像装置の動画像変換処理部の詳細構成を示すブロック図である。 図１５に示す再生装置の動画像変換処理部の詳細構成を示すブロック図である。 撮像装置の動画像変換処理部内に構成される空間間引き処理部の処理の詳細を説明するフロー図である。 撮像装置の動画像変換処理部内に構成される空間間引き処理部における代表点（サンプル点）の設定態様について説明する図である。 撮像装置の動画像変換処理部内に構成される空間間引き処理部における代表点（サンプル点）の設定態様について説明する図である。 ４×８の２ブロック分のベイヤー配列データについて示す図である。 ４×８の２ブロック分のベイヤー配列データに対するＲ，Ｇ，Ｂ信号の１／４空間間引きを実行する場合のサンプル端設定、空間間引き処理、空間伸長処理について説明する図である。 ４×８の２ブロック分のベイヤー配列データに対するＲ，Ｇ，Ｂ信号の１／２空間間引きを実行する場合のサンプル端設定、空間間引き処理、空間伸長処理について説明する図である。 ベイヤー配列と異なる配列例としての４×８の２ブロック分の色配列データについて示す図である。 図２４に示す色配列データに対するＲ，Ｇ，Ｂ信号の１／４空間間引きを実行する場合のサンプル端設定、空間間引き処理、空間伸長処理について説明する図である。 図２４に示す色配列データに対するＲ，Ｇ，Ｂ信号の１／２空間間引きを実行する場合のサンプル端設定、空間間引き処理、空間伸長処理について説明する図である。 再生装置の動画像変換処理部内に構成される空間伸長処理部の処理の詳細を説明するフロー図である。 補色（黄（Ｙｅ）、マゼンタ（Ｍｇ）、シアン（Ｃｙ））を組み合わせた補色配列からなるカラーフィルタの構成について説明する図である。

符号の説明

１ 光学レンズ
２ カラーフィルタ
３ 固体撮像素子
４ カメラ信号処理部
５ 動画像圧縮部
６ 記録部
１０ 画像変換装置
１１ ブロック分割部
１２ 移動量検出部
１３ ブロック処理部
１４ 出力部
２１ 画像蓄積部
２２ ブロック分割部
３１ 移動量検出部
３２ ブロック分配部
５１〜５３ ブロック処理部
７０ 固体撮像素子の出力画像
７１ デモザイク処理部
７２ デモザイク処理部の出力するＲ，Ｇ，Ｂ信号
７３ 空間間引き処理部
７４ ＲＧＢ圧縮画像信号
１００ 撮像装置
１０１ 光学レンズ
１０２ カラーフィルタ
１０３ 固体撮像素子
１０４ 動画像変換処理部
１０５ 記録部
２００ 再生装置
２０１ 再生部
２０２ 動画像変換処理部
２０３ 表示装置
３０１ カメラ前処理部
３０２ ブロック分割部
３０３ ブロック分配部
３０４ 動き検出部
３０５ 空間間引き処理部
３０６ 空間間引き処理部
３０７ デモザイク処理部
３０８ 時間方向間引き処理部
３０９ 時間方向間引き処理部
３１０ 合成部
４０４ 分配部
４０５ 空間伸長処理部
４０６ 空間伸長処理部
４０７ 時間方向伸長処理部
４０８ 時間方向伸長処理部
４０９ 合成部
４１０ 出力部

Claims (34)

1. 動画像変換装置であり、
   各画素に単一色成分データを保持する色モザイク画像データによって構成される動画像データを入力する入力部と、
   前記入力部から動画像データを入力し、色モザイク画像データを構成する色成分データ各々について個別の空間間引き処理を実行する空間間引き処理部を有し、
   前記空間間引き処理部は、
   色モザイク画像データを構成する色成分データ各々について個別の代表値を選択して、選択した代表値からなる空間間引きデータを生成する構成であることを特徴とする動画像変換装置。
2. 前記空間間引き処理部は、
   色モザイク画像データを構成する色成分データ各々についての個別の代表値選択処理において、代表値の選択位置としてのサンプル点を、色成分データ各々について異なる位置に設定して代表値選択処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
3. 前記空間間引き処理部は、
   色モザイク画像データを構成する色成分データ各々についての個別の代表値選択処理において、代表値の選択位置としてのサンプル点に対応する画素位置に処理対象の色成分データが設定されていない場合、周囲の画素位置にある同一の色成分データを持つ画素の画素値に基づく補間処理を実行してサンプル点の画素値を算出し、算出画素値を代表値として設定する処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
4. 前記空間間引き処理部は、
   色モザイク画像データを構成する色成分データ各々についての個別の代表値選択処理において、代表値の選択位置としてのサンプル点を画素ライン毎に異なる位置に設定し、画素ライン毎に位相の異なる空間間引き処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
5. 前記画像変換装置は、さらに、
   前記入力部から動画像データを入力し、該動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部を有し、
   前記空間間引き処理部は、
   前記ブロック分割部からブロックデータを入力し、ブロック単位で代表値選択処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
6. 前記画像変換装置は、さらに、
   前記ブロック分割部において分割された各ブロックにおける被写体の動きを検出する動き検出部を有し、
   前記空間間引き処理部は、
   前記動き検出部の検出した動き情報に基づいて決定した態様において空間間引き処理を実行する構成であることを特徴とする請求項５に記載の動画像変換装置。
7. 前記動き検出部は、
   動画像データを構成する異なるフレームの比較に基づく動きベクトルの検出処理を実行する構成であることを特徴とする請求項６に記載の動画像変換装置。
8. 前記空間間引き処理部は、
   前記動き検出部の検出した動き情報に基づいて決定される空間間引き方向に従った空間間引き処理を実行する構成であることを特徴とする請求項６に記載の動画像変換装置。
9. 前記動画像変換装置は、さらに、
   時間方向間引き処理部を有し、
   前記動き検出部の検出した動き情報に基づいて、空間間引き処理および時間方向間引き処理の両者あるいはいずれかを選択的に実行する構成を有することを特徴とする請求項６に記載の動画像変換装置。
10. 前記動画像変換装置は、さらに、
    色モザイク画像データに基づいて各色成分データの信号を生成するデモザイク処理部を有し、
    前記動き検出部の検出したブロック間の移動量が所定量以下である場合に、空間間引きを実行することなくデモザイク処理および時間方向間引き処理を実行する構成であることを特徴とする請求項６に記載の動画像変換装置。
11. 前記動画像変換装置は、さらに、
    単板カラー方式の撮像素子を備え、
    前記プロック分割部は、前記撮像素子によって撮影された画像データを入力する構成であることを特徴とする請求項１乃至１０いずれかに記載の動画像変換装置。
12. 動画像変換データの復元処理を実行する動画像復元装置であり、
    動画像データを構成するフレームを分割したブロック単位で、色成分毎の空間間引き処理データを入力し、色成分データ個別の空間伸長処理を実行する空間伸長処理部を有し、
    前記空間伸長処理部は、
    各色成分データ各々について、異なる位相での空間伸長処理を実行する構成を有することを特徴とする動画像復元装置。
13. 前記空間伸長処理部は、
    画素ライン毎に位相の異なる空間伸長処理を実行する構成であることを特徴とする請求項１２に記載の動画像復元装置。
14. 前記動画像復元装置は、さらに、
    時間方向伸長処理を実行する時間方向伸長処理部を有し、
    前記空間間引き処理および時間方向間引き処理の両者あるいはいずれかを選択的に実行する構成を有することを特徴とする請求項１２に記載の動画像復元装置。
15. 前記動画像復元装置は、さらに、
    ブロック対応の間引き態様情報を入力し、該間引き態様情報に基づいて、前記空間間引き処理および時間方向間引き処理の両者あるいはいずれかを選択的に実行する構成を有することを特徴とする請求項１４に記載の動画像復元装置。
16. 前記空間伸長処理部は、
    前記間引き態様情報に含まれる空間間引き方向に従った空間伸長処理を実行する構成であることを特徴とする請求項１５に記載の動画像復元装置。
17. 動画像変換方法であり、
    各画素に単一色成分データを保持する色モザイク画像データによって構成される動画像データを入力する動画像データ入力ステップと、
    前記動画像データを入力し、色モザイク画像データを構成する色成分データ各々について個別の空間間引き処理を実行する空間間引き処理ステップを有し、
    前記空間間引き処理ステップは、
    色モザイク画像データを構成する色成分データ各々について個別の代表値を選択して、選択した代表値からなる空間間引きデータを生成することを特徴とする動画像変換方法。
18. 前記空間間引き処理ステップは、
    色モザイク画像データを構成する色成分データ各々についての個別の代表値選択処理において、代表値の選択位置としてのサンプル点を、色成分データ各々について異なる位置に設定して代表値選択処理を実行することを特徴とする請求項１７に記載の動画像変換方法。
19. 前記空間間引き処理ステップは、
    色モザイク画像データを構成する色成分データ各々についての個別の代表値選択処理において、代表値の選択位置としてのサンプル点に対応する画素位置に処理対象の色成分データが設定されていない場合、周囲の画素位置にある同一の色成分データを持つ画素の画素値に基づく補間処理を実行してサンプル点の画素値を算出し、算出画素値を代表値として設定する処理を実行することを特徴とする請求項１７に記載の動画像変換方法。
20. 前記空間間引き処理ステップは、
    色モザイク画像データを構成する色成分データ各々についての個別の代表値選択処理において、代表値の選択位置としてのサンプル点を画素ライン毎に異なる位置に設定し、画素ライン毎に位相の異なる空間間引き処理を実行することを特徴とする請求項１７に記載の動画像変換方法。
21. 前記画像変換方法は、さらに、
    前記入力部から動画像データを入力し、該動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップを有し、
    前記空間間引き処理ステップは、
    前記ブロック分割ステップの生成したブロックデータを入力し、ブロック単位で代表値選択処理を実行することを特徴とする請求項１７に記載の動画像変換方法。
22. 前記画像変換方法は、さらに、
    前記ブロック分割ステップにおいて分割された各ブロックにおける被写体の動きを検出する動き検出ステップを有し、
    前記空間間引き処理ステップは、
    前記動き検出ステップにおいて検出した動き情報に基づいて決定した態様において空間間引き処理を実行することを特徴とする請求項２１に記載の動画像変換方法。
23. 前記動き検出ステップは、
    動画像データを構成する異なるフレームの比較に基づく動きベクトルの検出処理を実行することを特徴とする請求項２２に記載の動画像変換方法。
24. 前記空間間引き処理ステップは、
    前記動き検出ステップにおいて検出した動き情報に基づいて決定される空間間引き方向に従った空間間引き処理を実行することを特徴とする請求項２２に記載の動画像変換方法。
25. 前記動画像変換方法は、さらに、
    時間方向間引き処理ステップを有し、
    前記動き検出ステップにおいて検出した動き情報に基づいて、空間間引き処理および時間方向間引き処理の両者あるいはいずれかを選択的に実行することを特徴とする請求項２２に記載の動画像変換方法。
26. 前記動画像変換方法は、さらに、
    色モザイク画像データに基づいて各色成分データの信号を生成するデモザイク処理ステップを有し、
    前記動き検出ステップにおいて検出したブロック間の移動量が所定量以下である場合に、空間間引きを実行することなくデモザイク処理および時間方向間引き処理を実行することを特徴とする請求項２２に記載の動画像変換方法。
27. 前記動画像変換方法は、さらに、
    単板カラー方式の撮像素子を備えた撮像部における動画像撮像ステップを有し、
    前記動画像データ入力ステップは、
    前記動画像撮像ステップにおいて撮像された動画像データを入力するステップであることを特徴とする請求項１７乃至２６いずれかに記載の動画像変換方法。
28. 動画像変換データの復元処理を実行する動画像復元方法であり、
    動画像データを構成するフレームを分割したブロック単位で、色成分毎の空間間引き処理データを入力し、色成分データ個別の空間伸長処理を実行する空間伸長処理ステップを有し、
    前記空間伸長処理ステップは、
    各色成分データ各々について、異なる位相での空間伸長処理を実行するステップであることを特徴とする動画像復元方法。
29. 前記空間伸長処理ステップは、
    画素ライン毎に位相の異なる空間伸長処理を実行することを特徴とする請求項２８に記載の動画像復元方法。
30. 前記動画像復元方法は、さらに、
    時間方向伸長処理を実行する時間方向伸長処理ステップを有し、
    前記空間間引き処理および時間方向間引き処理の両者あるいはいずれかを選択的に実行することを特徴とする請求項２８に記載の動画像復元方法。
31. 前記動画像復元方法は、さらに、
    ブロック対応の間引き態様情報を入力し、該間引き態様情報に基づいて、前記空間間引き処理および時間方向間引き処理の両者あるいはいずれかを選択的に実行することを特徴とする請求項３０に記載の動画像復元方法。
32. 前記空間伸長処理ステップは、
    前記間引き態様情報に含まれる空間間引き方向に従った空間伸長処理を実行することを特徴とする請求項３１に記載の動画像復元装置。
33. 動画像変換処理を実行するコンピュータ・プログラムであり、
    各画素に単一色成分データを保持する色モザイク画像データによって構成される動画像データを入力する動画像データ入力ステップと、
    前記動画像データを入力し、色モザイク画像データを構成する色成分データ各々について個別の空間間引き処理を実行する空間間引き処理ステップを有し、
    前記空間間引き処理ステップは、
    色モザイク画像データを構成する色成分データ各々について個別の代表値を選択して、選択した代表値からなる空間間引きデータを生成するステップであることを特徴とするコンピュータ・プログラム。
34. 動画像変換データの復元処理を実行するコンピュータ・プログラムであり、
    動画像データを構成するフレームを分割したブロック単位で、色成分毎の空間間引き処理データを入力し、色成分データ個別の空間伸長処理を実行する空間伸長処理ステップを有し、
    前記空間伸長処理ステップは、
    各色成分データ各々について、異なる位相での空間伸長処理を実行するステップとして設定されていることを特徴とするコンピュータ・プログラム。

Images