JP2012120018A - 符号化装置及び再生装置、及びその制御方法及びプログラム - Google Patents

Abstract

【課題】データサイズを低減させつつ、再生において多画素を有するフレームを提示可能な高フレームレートの動画像を提供する。
【解決手段】第１の画素数のフレームで構成される動画像を取得し、当該動画像のフレームのうち、予め定められたフレーム間隔を隔てて存在する第１のフレームを除く第２のフレームの画素数を、第１の画素数より少ない第２の画素数に変換する。そして、第１のフレーム及び第２のフレームを１つの動画像データとして符号化する。
【選択図】図６

Description

本発明は、動画像の記録及び再生技術に関する。

近年、デジタルカメラやデジタルビデオカメラ等の撮像装置の中には、動画像の撮影を行う際に、特許文献１のように撮影に係るフレームレート（単位時間に記録されるフレーム数）を変更可能なものがある。撮影に係るフレームレートを高くすることにより、被写体の動きが速い場合であっても、当該被写体の動きを精細に捉えた動画像を得ることが可能である。

一方、撮像装置の中には、撮影された動画像を撮影に係るフレームレートとは異なるフレームレート（再生に係るフレームレート）で再生できるものがある。例えば６０ｆｐｓ（フレーム毎秒）で撮影された動画像を、１５ｆｐｓで提示することにより、１／４倍速のスロー再生を実現することができる。しかしながら、人間の眼は単位時間あたり断続的に提示される６０枚の画像を連続している映像として知覚するため、１５ｆｐｓで再生された動画像は、ユーザに動きが荒い映像として知覚され、不快感を与えてしまうことがある。これに対し、上述したように高フレームレートの２４０ｆｐｓで撮影された動画像は６０ｆｐｓで再生することにより、１／４倍速のスロー再生を実現することができるため、ユーザは当該スロー再生の動画像を連続している映像として知覚する。即ち、ユーザに対して、不快感が少なく、被写体の動きを精細に捉えたスロー再生を提示することが可能となる。

特開２０００−１２５２１０号公報

しかしながら、撮影に係るフレームレートを高くすることにより、得られる動画像のデータサイズが増大する。また圧縮回路や信号処理部において単位時間に処理するデータ量も増大するため、演算リソースの圧迫や消費電力の増大等を招いてしまう。

これに対し、従来、撮影される動画像の画素数（解像度）を減少させることで、データサイズや処理量及び消費電力を低減させる方法が行われている。しかしながら、画素数を減少させることにより被写体の動きに対する分解能（時間分解能）は保つことができるが、通常のフレームレートで記録される動画像よりも画素数が少ないため、画質が低下している印象をユーザに与えてしまう。

本発明は、上述の問題点に鑑みてなされたものであり、データサイズを低減させつつ、再生において多画素を有するフレームを提示可能な高フレームレートの動画像を提供することを目的とする。

前述の目的を達成するために、本発明の符号化装置は、以下の構成を備える。
第１の画素数のフレームで構成される動画像を取得する取得手段と、取得手段により取得された動画像のフレームの画素数を変換する変換手段と、変換手段により変換された動画像を符号化する符号化手段と、を備え、変換手段は、動画像のフレームのうち、予め定められたフレーム間隔を隔てて存在する第１のフレームを除く第２のフレームの画素数を、第１の画素数より少ない第２の画素数に変換することを特徴とする。

このような構成により本発明によれば、データサイズを低減させつつ、再生において多画素を有するフレームを提示可能な高フレームレートの動画像を提供することを可能とする。

本発明の実施形態に係るデジタルビデオカメラの機能構成を示したブロック図 実施形態１に係る、縮小処理による画素数変換方法を例示した図 実施形態１に係る、切り出し処理による画素数変換方法を例示した図 実施形態１に係る高速撮影モードで撮影される動画像のフレーム構成を説明するための図 実施形態１における動画像撮影処理のフローチャート 実施形態に係る高速撮影モードで記録された動画像のフレーム構成、及び当該動画像の再生時に出力されるフレーム構成を説明するための図 実施形態に係る撮像部を説明するための図 実施形態２における撮像素子の読み出し制御を説明するための図

（実施形態１）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、符号化装置及び再生装置の一例としての、高フレームレートの動画像を記録及び再生可能なデジタルビデオカメラに、本発明を適用した例を説明する。しかし、本発明は、符号化装置と再生装置とが実装された１つの装置にのみ適用可能なものではない。即ち、本発明はそれぞれ、高フレームレートの動画像を記録可能な任意の機器、及び当該記録された高フレームレートの動画像を再生することが可能な任意の機器に適用可能である。

また、本明細書において、「撮影に係るフレームレート」及び「再生に係るフレームレート」は区別される。「〜フレームレート（ｆｐｓ）の動画像」と記載された場合は「撮影に係るフレームレート」を指し、「〜フレームレート（ｆｐｓ）で再生する」と記載された場合は「再生に係るフレームレート」を指すものとする。

図１は、本発明の実施形態に係るデジタルビデオカメラ１００の機能構成を示すブロック図である。
制御部１０１は、例えばマイコンであり、不図示の不揮発性メモリからデジタルビデオカメラ１００の各ブロックの動作プログラムを読み出し、メモリ１０２に展開して実行することによりデジタルビデオカメラ１００の各ブロックの動作を制御する。メモリ１０２は、揮発性の格納領域であり、後述する撮像部１０３から出力された動画像の各フレームや、デジタルビデオカメラ１００の各ブロックの動作において出力されたデータの一時的な格納領域として用いられる。

なお、本実施形態ではデジタルビデオカメラ１００が備える各ブロックの動作を当該ブロックの動作プログラムにより制御するものとして説明するが、本発明の実施はこれに限らず、各ブロックは当該動作プログラムと同様の処理を行う回路で構成されてもよい。

撮像部１０３は、撮像素子を有するブロックであり、被写体を撮影して得られた動画像のフレームを出力する。具体的には撮像部１０３は、不図示の光学系により撮像素子に結像された光学像を光電変換して得られたアナログ画像信号に対し、Ａ／Ｄ変換処理を適用することにより、動画像のフレームそれぞれに係るデジタル画像データを出力する。なお、本実施形態の撮像部１０３は、６０ｆｐｓで撮影を行う通常撮影モード、及び２４０ｆｐｓで撮影を行う高速撮影モードの２種類の撮影モードを切り替えて動画像を撮影可能であるものとして説明する。しかしながら、本発明の実施はこれに限らず、他のフレームレートの動画像が撮影可能であってよい。撮影される動画像のフレームレートは、後述する操作部１０９をユーザが操作することにより選択可能である。音声入力部１０４は、例えばマイク等の、動画像に係る音声を取得するブロックであり、取得された音声はメモリ１０２に出力され記憶される。

画素数変換部１０５は、撮像部１０３から出力されてメモリ１０２に記憶されている動画像のフレームについて、当該フレームを構成する画像の画素数を変換し、再びメモリ１０２に記憶する。ここで、画素数変換部１０５で行われる縮小に係る変換処理について、図２及び図３を用いて例を説明する。

図２は、画像の縮小処理によりフレームの画素数を変換する方法を示している。なお、図２では簡単のため、図に示されるように４×４の１６画素から出力された画像を例に説明する。例えば（ａ）及び（ｂ）は１６画素を４つの２×２の画素の領域に分割し、当該分割された領域のそれぞれについて、同じ位置に存在する１つの画素を選択することにより画素数を減少する、所謂間引き処理である。また図２の（ｃ）は分割された領域のそれぞれについて、構成する画素の平均値を算出することにより、画素数を減少する方法である。また図３は、撮像部１０３から出力されたフレームを構成する画像のうち、一部の領域を切り出すことにより、画素数を変更している。なお、画素数変換部１０５で行われる画素数変換方法は、上述した方法に限定されるものではないが、画素数変換に係る処理量を低減するため、計算量の少ない変換方法が用いられることが好ましい。

また画素数変換部１０５は、画素数変換処理としてフレームを構成する画像の画素数を増加するための処理も行う。本発明は、画質劣化の少ない再生において多画素を有するフレームを提示可能な高フレームレートの動画像の提供を目的としているため、画素数変換部１０５における多画素数化処理では画質を向上させるため、複数のフレームの画像を用いるものとする。

信号処理部１０６は、メモリ１０２に記憶されている動画像のフレーム及び音声に対して符号化を行い、それぞれ動画像データ及び音声データを出力するブロックである。具体的には信号処理部１０６は、動画像のフレームと音声のそれぞれについて、予め設定されている符号化方式で符号化処理を適用し、得られた動画像データ及び音声データを、後述する記録再生部１０７に順次出力する。

また信号処理部１０６は、符号化された動画像データの再生を行う場合、後述する記録媒体１０８から読み出された動画像データ及び関連付けられた音声データに対して復号処理を行い、復号された動画像のフレーム及び音声を得ることができる。復号された動画像のフレーム及び音声は、再生のために例えばメモリ１０２に記憶される。

なお、本実施形態のデジタルビデオカメラ１００は、６０ｆｐｓの動画像については等倍速、即ち撮影されたフレームレートと同じ６０ｆｐｓで再生する。一方２４０ｆｐｓの動画像については、等倍速で再生する通常再生モードと、撮影されたフレームレートより低いフレームレートで再生するスロー再生モードのいずれかで再生可能である。本実施形態では２４０ｆｐｓの動画像をスロー再生モードで再生する場合は、６０ｆｐｓで再生、即ち撮影された動画像は実際の再生速度の４倍の速度で再生される。また、後述する表示部１１１の表示リフレッシュレートが６０Ｈｚである場合、通常再生モードでの再生は２４０ｆｐｓの動画像のフレームを３フレーム置きに読みだして６０ｆｐｓで再生する。具体的には図４に示すように、表示部１１１の表示の更新に要する時間を考慮に入れて、１／６０秒ごとに表示されるハッチングされたフレームの画像を提示することにより、等倍速の再生を実現するものとする。

さらに、信号処理部１０６は入力されたフレームの画像に対し、種々の画像処理を適用することが可能であるものとする。信号処理部１０６で適用可能な画像処理は、例えば複数の画像の合成処理や、画素値の変換処理、輝度調整等の処理であり、信号処理部１０６は制御部１０１の制御を受け、入力された画像に対して指定された画像処理を適用した画像を出力する。

記録再生部１０７は、制御部１０１の制御により、接続された記録媒体１０８へのデータの記録、及び記録媒体１０８からのデータの読み出しを行うブロックである。記録媒体１０８は、例えばデジタルビデオカメラ１００に内蔵される記録用のフラッシュメモリや、デジタルビデオカメラ１００に着脱可能に接続されるメモリカードやＨＤＤ等の記録装置である。

また、本実施形態では、記録開始の指示から記録停止の指示までの間に記録媒体１０８に対して記録された一連の動画像データ及び音声データを、所定のファイルシステムに従い一つの動画ファイルとして管理する。

操作部１０９は、デジタルビデオカメラ１００が備える、例えば撮影ボタンやメニューボタン等のユーザインタフェース、及び当該ユーザインタフェースを介してユーザによりなされた操作入力を解析して、操作内容を制御部１０１に伝送するブロックである。

表示制御部１１０は、表示部１１１の表示を制御するブロックであり、入力された画像信号やＧＵＩデータ等を表示部１１１の表示を更新して提示する。表示部１１１は、例えば小型ＬＣＤ等の表示装置であり、動画像撮影時には、撮像部１０３から出力されたアナログ画像信号を表示することにより電子ビューファインダとして機能する。また表示制御部１１０は、動画再生時には信号処理部１０６により復号された動画像の各フレームに対してＤ／Ａ変換処理を適用して表示部１１１に出力することにより、ユーザに再生された動画像を提示する。

（動画像撮影処理）
このような構成をもつ本実施形態のデジタルビデオカメラ１００の動画像撮影処理について、図５のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えば不図示の不揮発性メモリに記憶されている対応する処理プログラムを読み出し、メモリ１０２に展開して実行することにより実現することができる。なお、本動画像撮影処理は、例えばユーザによりデジタルビデオカメラ１００が撮影モードで起動された際に開始されるものとして説明する。

デジタルビデオカメラ１００の電源が投入され、撮像部１０３により得られた動画像が表示部１１１に表示されている撮影待機状態において、Ｓ５０１で、制御部１０１は、ユーザから撮影モードの設定の変更を受け付けたか否かを判断する。即ち、制御部１０１は、撮影に係るフレームレートの設定の変更を受け付けたか否かを判断する。具体的には制御部１０１は、例えばユーザが表示部１１１に表示された撮影メニュー画面を閲覧しながら、操作部１０９を用いて撮影に係るフレームレートを変更する操作を行ったか否かを、操作部１０９からの入力で判断する。制御部１０１は、撮影に係るフレームレートの設定が変更された場合は処理をＳ５０２に移し変更された撮影に係るフレームレートの設定を不図示の不揮発性メモリに記憶する。また、撮影に係るフレームレートの設定が変更されなかった場合は処理をＳ５０３に移す。

Ｓ５０３で、制御部１０１は、ユーザから動画像の撮影開始指示がなされたか否かを判断する。具体的には制御部１０１は、例えば操作部１０９が備える撮影ボタンを、撮影開始のためにユーザが操作したか否かを、操作部１０９からの入力で判断する。制御部１０１は、ユーザからの撮影開始指示がなされた場合は処理をＳ５０４に移し、撮影開始指示がなされていない場合は処理をＳ５０１に戻す。

Ｓ５０４で、制御部１０１は、撮影モードが通常撮影モード及び高速撮影モードのいずれであるかを判断する。具体的には制御部１０１は、不図示の不揮発性メモリに記憶されている撮影に係るフレームレートの情報を読み出し、当該撮影に係るフレームレートの情報が６０ｆｐｓである場合は処理をＳ５０５に移し、２４０ｆｐｓである場合は処理をＳ５０８に移す。

（通常撮影モード）
Ｓ５０５で、制御部１０１は、撮像部１０３に６０ｆｐｓでの動画像の撮影を開始させるとともに、音声入力部１０４に音声の録音を開始させる。具体的には撮像部１０３は、制御部１０１からの指示を受けると、単位時間あたり６０回（６０ｆｐｓ）の撮像を行い、所定の画像処理を適用して得られた画像を動画像のフレームとしてメモリ１０２に記憶させる。なお、本実施形態では撮像部１０３は、いずれの撮影モードにおいても水平１９２０画素×垂直１０８０画素の画素数（第１の画素数）の画像を出力するものとする。また制御部１０１は、音声入力部１０４に録音させた音声を、同様にメモリ１０２に記憶させるものとする。

Ｓ５０６で、制御部１０１は信号処理部１０６に、Ｓ５０５でメモリ１０２に記憶され動画像のフレーム及び音声に対して、所定の符号化方式に従った符号化処理を適用させる。そして制御部１０１は、信号処理部１０６により符号化された動画像データ及び音声データを、記録再生部１０７に出力し、記録媒体１０８に記録させる。

Ｓ５０７で、制御部１０１は、ユーザから動画像の撮影停止指示がなされたか否かを判断する。具体的には制御部１０１は、例えば操作部１０９が備える撮影ボタンを、撮影停止のためにユーザが操作したか否かを、操作部１０９からの入力で判断する。制御部１０１は、ユーザからの撮影停止指示がなされた場合は処理をＳ５１３に移し、撮影停止指示がなされていない場合は処理をＳ５０５に戻して撮影動作を繰り返す。

（高速撮影モード）
Ｓ５０８で、制御部１０１は、撮像部１０３に２４０ｆｐｓでの動画像の撮影を開始させるとともに、音声入力部１０４に音声の録音を開始させる。具体的には撮像部１０３は、制御部１０１からの指示を受けると、単位時間あたり２４０回（２４０ｆｐｓ）の撮像を行い、所定の画像処理を適用して得られた画像を動画像のフレームとしてメモリ１０２に記憶させる。なお、上述したように撮像部１０３は、水平１９２０画素×垂直１０８０画素の画素数（第１の画素数）の画像を出力する。また制御部１０１は、音声入力部１０４に録音させた音声を、同様にメモリ１０２に記憶させるものとする。

Ｓ５０９で、制御部１０１は、撮像部１０３から出力されてメモリ１０２に記憶されている動画像のフレームを、通常再生モードで再生されるフレーム（第１のフレーム）と、スロー再生モードで再生されるフレーム（第２のフレーム）とに分類する。既に図４を用いて説明したように、通常再生モードで再生されるフレームは、表示部１１１の表示リフレッシュレートを考慮して設定されたフレームレートで再生した場合に、表示されるフレームを指す。即ち、当該通常再生モードで再生されるフレームは、予め設定されたフレーム間隔を隔てて存在するフレームであり、本実施形態では２４０ｆｐｓの動画像を等倍速で再生する場合に、１／６０秒ごと、即ち３フレーム置きに存在するフレームである。

Ｓ５１０で、制御部１０１は、メモリ１０２に記憶されている第２のフレームに分類された動画像のフレームに対し、画素数変換部１０５において画素数を減少させる処理を適用させる。本実施形態では、画素数変換部１０５は入力されたフレームを構成する画像の画素数を、１／４の大きさの水平９６０画素×垂直５４０画素（第２の画素数）に変換し、再びメモリ１０２に記憶するものとする。なお、画素数変換部１０５における画素数変換処理の手法は図２及び図３に示した方法等を用いればよい。

また、当該画素数変換処理の手法及び変換後の画素数については、ユーザが決定してもよいし、次のように決定してもよい。例えば不図示の顔検出手段により顔が検出され、被写体が人物であると判断された場合は、図３のように当該検出された顔を含む領域であって、当該顔の占める割合が所定の値となるような画素数の領域を切り出すことにより画素数を変換する手法を用いてもよい。

また連続する複数のフレームから検出された動きベクトルに基づいて、1フレーム内に所定の大きさ以上の動きを有する動体が含まれる場合、当該動体の全体が含まれるような画素数の領域を切り出してもよい。即ち、当該動体を追従するように位置を各フレームで変更させながら切り出すことにより画素数を変換する手法を用いてもよい。この場合、被写体の動きの大きさにより画素数を変化させることができるため、例えば動体が静止状態になった場合等にフレームを構成する画像の情報量を抑えることができ、動画像データのデータ量を削減する効果を奏することができる。

なお、画素数変換処理の手法は１つの動画像で統一されている必要はなく、動きベクトルの分布等の被写体の状態等の条件によって、動的に最適な手法が選択されるように制御されてもよい。即ち、画素数変換処理の動的な制御により、高フレームレートの動画像のデータ量をより削減することが可能となる。

このように、高フレームレートの動画像においてはフレーム間の画像の類似性が高いと考えられる。このため、通常再生モードで再生されるフレームのみ画素数を多くし、当該通常再生モードで再生されるフレーム間のフレームについては、通常再生モードで再生されるフレームとの類似性を利用して復元または相当するフレームが生成可能と考えることができる。即ち、通常再生モードで再生されるフレーム間のフレームは上述したように画素数を変換することでデータ量を削減することができるため、データ量を低減しつつスロー再生モードでの多画素を有するフレームの提示を実現することが可能となる。

Ｓ５１１で、制御部１０１は信号処理部１０６に、Ｓ５０５でメモリ１０２に記憶され動画像のフレーム及び音声に対して、所定の符号化方式に従った符号化処理を適用させる。このとき信号処理部１０６は動画像のフレームの符号化とともに、フレームのそれぞれに付いて、当該フレームが通常再生モードで再生されるフレーム、またはスロー再生モードのみで再生されるフレームであるかの情報を付加する。

またさらに、フレームがスロー再生モードのみで再生されるフレームである場合、当該フレームに対してなされた画素数変換処理の手法に基づいて、当該フレームの画素数を、変換前の画素数に変換するための画像処理の情報を付加する。変換前の画素数に変換するための画像処理の情報は、例えば切り出した位置、参照する通常モードで再生されるフレーム、縮小後の画素数の情報等が含まれる。そして制御部１０１は、信号処理部１０６により符号化された動画像データ及び音声データを、記録再生部１０７に出力し、記録媒体１０８に記録させる。

Ｓ５１２で、制御部１０１は、ユーザから動画像の撮影停止指示がなされたか否かを判断する。制御部１０１は、ユーザからの撮影停止指示がなされた場合は処理をＳ５１３に移し、撮影停止指示がなされていない場合は処理をＳ５０８に戻して撮影動作を繰り返す。

なお、動画像のフレーム構成は図６（ａ）のように、通常再生モードで再生されるフレーム（ハッチングされている）と、画素数が減少するように変換されたスロー再生モードのみで再生されるフレームが規則的に並ぶことになる。例えば符号化方式としてＭＰＥＧ符号化技術を用いる場合、通常再生モードで再生される２、６、１０のフレームは画面内予測のみを行うＩピクチャとして構成することで、通常再生モードで不連続のフレームを読み出す場合にも復号量を少なくすることができる。また、スロー再生モードのみで再生されるフレームのうち、３、７のフレームはＩピクチャ、残りのフレームはＰまたはＢピクチャとすることで、符号化によるデータ量の削減を実現することもできる。なお、スロー再生モードのみで再生されるフレームが切り出し処理により生成された画像で構成される場合、スロー再生モードのみで再生されるフレームをＩピクチャとしなくてもよい。

Ｓ５１３で、制御部１０１は、撮像部１０３の撮影動作及び音声入力部１０４に録音動作を停止させるとともに、信号処理部１０６の符号化動作及び記録再生部１０７の記録処理を停止させる。そして制御部１０１は、撮影開始指示がなされてから撮影停止指示がなされるまでに記録媒体１０８に記録された一連の動画像データ及び音声データを１つの動画ファイルとして管理させる。具体的には制御部１０１は、所定のファイルシステムに従い、記録媒体１０８に記録された一連の動画像データ及び音声データが１つの動画ファイルとして管理されるように、記録再生部１０７に管理情報を生成させて記録媒体１０８に記録させる。また、制御部１０１は、各動画ファイルに含まれる動画のフレームレートが高フレームレートか否かを識別するための付加情報を各動画ファイルに付加して記録する様に記録再生部１０７に指示する。このように記録された動画ファイルは、以下の動画像再生処理により再生される。

（動画像再生処理）
次に、上述した動画像撮影処理により記録媒体１０８に記録された動画ファイルのうちの動画像データを再生する場合の処理について図６を用いて説明する。なお、本動画像再生処理は、例えばユーザによりデジタルビデオカメラ１００が再生モードに切り替えられた際に開始されるものとして説明する。

再生モードに切り替えられたことを操作部１０９から受信すると、制御部１０１は記録媒体１０８に記録されている動画像データのそれぞれから先頭部分を記録再生部１０７に読み出させる。そして制御部１０１は、信号処理部１０６にそれぞれの動画像データのサムネイル画像を生成させ、得られたサムネイル画像を表示制御部１１０に伝送し、表示部１１１に表示させる。これにより、ユーザは、表示部１１１に表示された動画像データのサムネイル画像の中から、再生する動画像データを選択することができるようになる。

制御部１０１は、動画像データの再生指示があったこと操作部１０９より受信すると、付加情報に基づいて、選択された動画像データが、通常撮影モード及び高速撮影モードのいずれで撮影された動画像データであるかを判断する。本実施形態では、本発明の方法で符号化された高フレームレートの動画像データ（高速撮影モードで撮影された動画像データ）の再生について詳細に説明する。なお、選択された動画像データが通常撮影モードであった場合は、上述したように撮影されたフレームレートと同じフレームレートで、等倍速の再生を行えばよい。

制御部１０１は、ユーザにより選択された動画像データが高速撮影モードで撮影された動画像データであった場合、当該動画像データの再生モードをユーザに選択させる。制御部１０１は、例えば不図示の不揮発性メモリに記憶されている再生モード選択メニューのＧＵＩデータを読み出して表示制御部１１０に伝送し、表示部１１１に表示させることにより、ユーザに再生モードの選択を促す。

ユーザが通常再生モードを選択した場合は、図６（ｂ）に示すように、２４０ｆｐｓの動画像を等倍速で再生する場合に、表示部１１１の表示リフレッシュレートを考慮して、１／６０秒ごと、即ち３フレーム置きに存在するフレームのみが再生される。具体的には制御部１０１は、記録再生部１０７に当該３フレーム置きに存在するフレームを選択して読み出させ、信号処理部１０６に当該読み出させたフレームの画像を復号させ、得られた画像を表示制御部１１０に伝送して表示部１１１に表示させる。このようにすることで、ユーザは通常撮影モードで撮影された動画像データと同じ画素数の動画像を視聴することができる。なお、音声データは分離され、信号処理部１０６により復号された後、不図示の音声出力部により再生されるものとする。

次に、ユーザがスロー再生モードを選択した場合は、図６（ａ）に示すような画素数の異なるフレームで構成される動画像データを、図６（ｃ）に示すように通常再生モードで再生されるフレームと等しい画素数のフレームで構成される動画像データに変換する。

具体的には制御部１０１は、記録再生部１０７に、高速撮影モードで記録された動画像データの全てのフレームを記録媒体１０８から読み出させ、信号処理部１０６に出力させる。信号処理部１０６は、制御部１０１の制御のもと、入力された符号化されたフレームを復号すると共に、当該フレームに付加されている情報を読み出す。信号処理部１０６は、入力されたフレームがスロー再生モードのみで再生されるフレーム、即ち記録時に画素数が減らされたフレームである場合は、当該フレームの画素数を通常再生モードで再生されるフレームの画素数に変換するための画像処理を適用する。

フレームの画素数を変換するための画像処理は、当該フレームに付加情報として付加されており、信号処理部１０６は当該情報を参照して画素数の変換を行う。このとき、スロー再生モードのみで再生されるフレームを構成する画像は、データ量の削減のために画素数が減らされているため、当該画像単体で画素数を増大させる変換を行うと次のような問題が発生する。即ち、当該画像が切り出し処理により生成された場合は参照できない画素の情報がある、また縮小処理に生成された場合は拡大処理を行ったとしても、通常再生モードで再生されるフレームを構成する画像との画質の差が目立ってしまうことになる。

このため、本発明の再生装置は、通常再生モードで再生される、変換後の画素数を有するフレームを構成する画像を用いて補間処理を行うことにより、スロー再生モードでのみで再生されるフレームの画像を得る。図６（ｃ）には、画素数変換処理で参照されるフレームの例が示されており、例えばスロー再生モードのみで再生される３のフレームの画素数変換には、２及び３のフレームが参照される。なお、図６（ｃ）は簡単のため、図６（ａ）に示される１乃至６のフレームがスロー再生モードで再生される際に、各フレームを生成するために参照されるフレームの情報のみを示している。

画素数変換における補間処理は、例えば次のように行えばよい。スロー再生モードのみで再生されるフレームを構成する画像が縮小処理により得られた画像であった場合、まず画像を所望の画素数に拡大処理する。そして、例えば当該フレームの直近に存在する通常再生モードで再生されるフレームの画像を用い、同一画素位置の画素値を両画像の平均とすることで、所望の画素数であって、通常再生モードで再生されるフレームに相当する画質の画像を得ることができる。

またスロー再生モードのみで再生されるフレームを構成する画像が切り出し処理により得られた画像であった場合、例えば当該フレームの直近に存在する通常再生モードで再生されるフレームの画像を用い、次のように補間処理を行えばよい。例えばスロー再生モードのみで再生されるフレームに含まれる領域の画素値については、通常再生モードで再生されるフレームの同一位置の画素の画素値との平均値とし、それ以外の領域の画素は通常再生モードで再生されるフレームの画素を用いればよい。なお、スロー再生モードのみで再生されるフレームに含まれる領域が所定の大きさ以上である場合は、当該領域のうち外周部分に位置する画素の画素値のみを、通常再生モードで再生されるフレームの同一位置の画素の画素値との平均値としてもよい。

なお、本実施形態では画素数変換処理において、変換後の画素数を有する１つのフレームを用いて補間処理を行うものとして説明したが、本発明の実施はこれに限らない。即ち、図６（ｃ）に示すように、変換後の画素数を有するフレームの参照数は２以上であってもよいし、変換前の画素数と同じ画素数のフレームをさらに参照して補間処理を行う構成であっても構わない。

以上説明したように、本実施形態の符号化装置は、データサイズを低減させつつ、再生装置において多画素を有するフレームを提示可能な高フレームレートの動画像を提供することができる。具体的には符号化装置は、第１の画素数のフレームで構成される動画像を取得し、当該動画像のフレームのうち、予め定められたフレーム間隔を隔てて存在する第１のフレームを除く第２のフレームの画素数を、第１の画素数より少ない第２の画素数に変換する。そして、第１のフレーム及び第２のフレームを１つの動画像データとして符号化する。また、再生装置はスロー再生モードで動画像データを再生する際に、第２のフレームを少なくとも１つの第１のフレームを用いて第１の画素数に変換して再生する。

このようにすることで、ユーザに対して画質が劣化した印象を与えることなく、高フレームレートの動画像を提示することが可能である。さらに、フレーム間の類似性を利用してスロー再生モードのみで再生されるフレームのデータ量を削減することにより、圧縮回路や信号処理部において単位時間に処理するデータ量を抑え、回路規模や消費電力を低減させることが可能になる。

（実施形態２）
上述した実施形態１では、画素数変換部１０５を導入することにより記録される動画像のフレームのうち、スロー再生モードのみで再生されるフレームの画素数を減少させる方法について説明した。本実施形態では、画素数変換に係る処理をさらに削減するため、画素数変換部１０５を設けず、撮像部１０３の撮像素子からの画像信号の読み出し方法を制御することにより、画素数を減少させる方法について説明する。なお、本実施形態のデジタルビデオカメラ１００の構成は、上述した実施形態１の機能構成から画素数変換部１０５のみを省いた構成であるため、ブロック図に係る説明は省略する。

図７は、撮像部１０３が有する撮像素子及び当該撮像素子からの画像信号の読み出しに係る回路の構成を示している。

画素部７０１は、例えばＣＭＯＳフォトダイオードからなるセンサであり、素子上に結像された被写体像を光電変換してアナログ画像信号を出力する。Ａ／Ｄ変換部（ＡＤＣ）７０３は、例えば、画素部の列ごとに専用のＡ／Ｄ変換器を有する、並列直列型の回路である。

ＤＳＰ７０４は、ＡＤＣ７０３からのデジタル出力を受け、各画素のデジタル出力に対し、デジタルゲインの演算や黒レベル調整などの信号処理を実行する回路である。当該信号処理の演算結果は、ＤＳＰ内部の揮発性メモリであるＳＲＡＭ７０５に格納される。

シリアライザ７０６は、入力されたパラレルデータをシリアル化して出力する回路であり、ＳＲＡＭ７０５に格納された信号処理が適用された画素データを、一画素ずつ順次読み出し、シリアルデータに変換して、ＬＶＤＳドライバ７０７に出力する。ＬＶＤＳドライバ７０７は、シリアライザ７０６からのデータをＬＶＤＳデータとして出力するものである。

タイミングジェネレータ７０２は、画素部７０１から順次アナログ画像信号を読み出して出力するための垂直同期信号及び水平同期信号や、ＡＤＣ７０３、ＤＳＰ７０４、及びシリアライザ７０６の動作に係る制御タイミングを生成する。

ここで、画素部７０１から画像信号の出力制御方法について図８を用いて詳細に説明する。図８（ａ）は、説明を簡単にするため、画素部７０１の一部の画素、及び当該一部の画素に対し、垂直同期信号を受けて垂直走査を行うための垂直走査回路８０１を示している。

フォトダイオード（ＰＤ）から成る画素部７０１の各画素は、垂直走査回路８０１により、水平ラインについて読み出すように制御される。通常再生モードで再生されるフレームが撮像される場合、水平ラインを上から順に走査（・・・→line_even_1→line_odd_1→line_even_2→line_odd_2→・・・）され、各画素の画像信号が読み出される。そして、図８（ｂ）に示すように、ＳＲＡＭ７０５からシリアライザ７０６により水平ラインの全ての画素の画素データが読み出されて出力される。

また、スロー再生モードでのみ再生されるフレームが撮像される場合は、例えば画素部７０１の水平ラインのうち、偶数ライン（line_even_n）のみが上から順に走査され、各画素の画像信号が読み出される。そして、図８（ｂ）に示すように、ＳＲＡＭ７０５から当該偶数ラインの水平ラインの画素の画素データのうち、１画素置きの画素の画素データがシリアライザ７０６により読み出されて出力される。このように撮像素子の読み出しを制御することで、撮像部１０３から出力される動画像のフレームの画素数を変更（１／４倍）することができ、画素数変換部１０５で間引き処理を適用することにより出力されるフレームと等価なフレームを得ることができる。

なお、本実施形態では、水平ラインを１ライン置きに読み出し、当該水平ラインのうちの読み出す画素の画素データを１画素置きに読み出すことにより、画素数が１／４の画像を読み出す方法について説明した。しかしながら、本発明の実施はこれに限らず、当該読み出し間隔を変更することにより、異なる画素数に対応することが可能なことは容易に理解されよう。

また、画素数変換部１０５で切り出し処理を行うことにより得られる、画素数が減らされた動画像のフレームは、所望の水平ライン、及び当該水平ラインのうちの所望の画素の画素データのみが読み出されることにより、撮像部１０３から直接得ることができる。

このようにして得られた動画像の各フレームを、実施形態１と同様に符号化することにより、次のような動画像を得ることができる。即ち、ユーザに対して画質が劣化した印象を与えることがなく、かつ、データサイズを低減させつつ、再生装置において多画素を有するフレームを提示可能な高フレームレートの動画像が得られる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. それぞれ第１の画素数の複数のフレームからなる動画像を取得する取得手段と、
   前記取得手段により取得された前記動画像のフレームのうち、予め定められたフレーム間隔を隔てて存在する第１のフレームを除く第２のフレームの画素数を、前記第１の画素数より少ない第２の画素数に変換する変換手段と、
   前記第１のフレームと前記変換手段から出力された前記第２のフレームとを含む前記動画像を符号化する符号化手段と、を備え
   ることを特徴とする符号化装置。
2. 前記第２のフレームは、前記第１の画素数のフレームを構成する画像から前記第２の画素数の領域を切り出した画像で構成されることを特徴とする請求項１に記載の符号化装置。
3. 前記第２のフレームは、前記第１の画素数のフレームを構成する画像を前記第２の画素数に縮小した画像で構成されることを特徴とする請求項１に記載の符号化装置。
4. 動画像を出力する撮像素子から、当該動画像を取得する取得手段と、
   前記取得手段の、前記撮像素子からの画像信号の読み出しを制御する制御手段と、
   前記取得手段により取得された前記動画像を符号化する符号化手段と、を備え、
   前記制御手段は、前記動画像のフレームのうち、予め定められたフレーム間隔を隔てて存在する第１のフレームは第１の画素数を有し、前記第１のフレームを除く第２のフレームは前記第１の画素数より少ない第２の画素数を有するように、前記取得手段の、前記撮像素子からの前記画像信号の読み出しを制御することを特徴とする符号化装置。
5. 前記制御手段は、前記第２のフレームを読み出す場合、前記第１のフレームを読み出した前記撮像素子の画素のうちの一部の画素を読み出すように制御することを特徴とする請求項４に記載の符号化装置。
6. 前記符号化手段は、前記動画像のフレームのそれぞれについて、前記第１のフレーム及び前記第２のフレームのいずれであるかを示す情報を付加し、前記動画像のフレームのうち、前記第２のフレームにはさらに当該第２のフレームを前記第１の画素数のフレームに変換するための画像処理の情報を付加して符号化することを特徴とする請求項１乃至５のいずれか１項に記載の符号化装置。
7. 前記第２のフレームを前記第１の画素数のフレームに変換するための画像処理は、当該第２のフレームと、少なくとも１つの前記第１のフレームとを用いた補間処理であることを特徴とする請求項６に記載の符号化装置。
8. 請求項６または７に記載の符号化装置で符号化された動画像を再生する再生装置であって、
   前記動画像の再生モードの設定を受信する設定手段と、
   前記動画像のフレームに対して画像処理を適用する画像処理手段と、
   前記設定手段により設定された前記再生モードが通常再生モードである場合は、前記動画像のフレームのうちの第１のフレームのみを復号して再生し、
   前記再生モードがスロー再生モードである場合は、前記動画像のフレームの全てのフレームを復号して再生する再生手段と、を備え、
   前記再生手段は、前記再生モードが前記スロー再生モードである場合は、前記動画像のフレームのうちの第２のフレームに対し、当該第２のフレームに付加されている、第１の画素数に変換するための画像処理の情報に基づいて前記画像処理手段に当該画像処理を適用させて、得られたフレームを再生することを特徴とする再生装置。
9. 取得手段が、それぞれ第１の画素数の複数のフレームからなる動画像を取得する取得工程と、
   変換手段が、前記取得工程において取得された前記動画像のフレームのうち、予め定められたフレーム間隔を隔てて存在する第１のフレームを除く第２のフレームの画素数を、前記第１の画素数より少ない第２の画素数に変換する変換工程と、
   符号化手段が、前記第１のフレームと前記変換工程において出力された前記第２のフレームとを含む前記動画像を符号化する符号化工程と、を備え
   ることを特徴とする符号化装置の制御方法。
10. 取得手段が、動画像を出力する撮像素子から、当該動画像を取得する取得工程と、
    制御手段が、前記取得工程における、前記撮像素子からの画像信号の読み出しを制御する制御工程と、
    符号化手段が、前記取得工程において取得された前記動画像を符号化する符号化工程と、を備え、
    前記制御工程において前記制御手段は、前記動画像のフレームのうち、予め定められたフレーム間隔を隔てて存在する第１のフレームは第１の画素数を有し、前記第１のフレームを除く第２のフレームは前記第１の画素数より少ない第２の画素数を有するように、前記取得工程における、前記撮像素子からの前記画像信号の読み出しを制御することを特徴とする符号化装置の制御方法。
11. 請求項６または７に記載の符号化装置で符号化された動画像を再生する再生装置の制御方法であって、
    設定手段が、前記動画像の再生モードの設定を受信する設定工程と、
    画像処理手段が、前記動画像のフレームに対して画像処理を適用する画像処理工程と、
    再生手段が、前記設定工程において設定された前記再生モードが通常再生モードである場合は、前記動画像のフレームのうちの第１のフレームのみを復号して再生し、
    前記再生モードがスロー再生モードである場合は、前記動画像のフレームの全てのフレームを復号して再生する再生工程と、を備え、
    前記再生工程において前記再生手段は、前記再生モードが前記スロー再生モードである場合は、前記動画像のフレームのうちの第２のフレームに対し、当該第２のフレームに付加されている、第１の画素数に変換するための画像処理の情報に基づいて前記画像処理工程で当該画像処理を適用させて、得られたフレームを再生することを特徴とする再生装置の制御方法。
12. コンピュータを、請求項１乃至７のいずれか１項に記載の符号化装置の各手段として機能させるためのプログラム。
13. コンピュータを、請求項８に記載の再生装置の各手段として機能させるためのプログラム。

Images