JP2006303611A - 映像処理装置，映像処理方法，およびコンピュータプログラム - Google Patents

Abstract

【課題】 シーケンスの並べ替えが必要な情報圧縮による映像データの場合でも所定時間遡った時点から記録することが可能な映像処理装置を提供する。
【解決手段】 リオーダリングを行い，画像信号をピクチャに符号化する映像処理装置は，前方のピクチャ群とは独立している独立ピクチャ群に符号化する独立符号化部（１１６）と；非独立ピクチャ群に符号化する非独立符号化部（１１７）と；記録開始指示が受付けられるまでは独立符号化部に対して符号化するよう指示し，上記記録開始指示が受付けられた後は非独立符号化部に対して符号化するよう指示する符号化指示部（１１３）と；上記独立ピクチャ群又は上記非独立ピクチャ群を記憶する記憶部と；記録開始指示が受付けられると，記録開始指示が受付けられた時点から所定時間遡り，その遡った時点の近傍に存在する上記独立ピクチャ群から順に取得する取得部とを備える。
【選択図】 図１

Description

本発明は，映像処理装置，映像処理方法，およびコンピュータプログラムに関する。

近年，情報技術の発達に伴い，ディジタル化された映像データを，大容量・低価格化している半導体メモリ，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ），またはハードディスクドライブ（ＨＤＤ）などに記録することが可能になっている。

また，決定的瞬間などの撮影の好機を逃さず撮影することができるように，記録指令に応じてその時点から一定時間遡って映像データを記録する装置が存在する（例えば，特許文献１参照）。

ディジタル化された音声・画像等からなる映像データを半導体メモリなどの格納手段に記録する際，入力する映像信号をディジタル信号処理し，映像データに符号化する情報圧縮処理が行われる。

特開平１１−４４１０号公報

しかしながら，ディジタル化された映像データのなかでも圧縮効率の効率化等のために，入力する映像信号通りに情報圧縮するのではなく，映像信号のシーケンスの並べ替え（リオーダリング）が必要な映像データが存在するが，かかる映像データの場合，記録指令を受けて一定時間遡った時点の映像データの先頭部分に余分なデータが含まれてしまう等のため，所定時間遡った時点からの映像データを正常に記録することができなかった。

本発明は，上記問題点に鑑みてなされたものであり，本発明の目的は，シーケンスの並べ替えが必要な情報圧縮による映像データの場合でも所定時間遡った時点から記録することが可能な，新規かつ改良された映像処理装置，映像処理方法，コンピュータプログラムを提供することである。

上記課題を解決するため，本発明の第１の観点によれば，映像信号に構成される画像信号のシーケンスを入れ替えるリオーダリングを行い，該画像信号をピクチャに符号化する映像処理装置が提供される。上記映像処理装置は，１又は２フレーム以上の上記ピクチャをグループ化し，少なくとも前方又は後方のピクチャ群とは独立している独立ピクチャ群に符号化する独立符号化部と；１又は２フレーム以上の上記ピクチャをグループ化し，前方又は後方のうち少なくともいずれか一方のピクチャ群と関連性がある非独立ピクチャ群に符号化する非独立符号化部と；記録開始又は記録終了の記録指示を受付けることが可能な記録指示受付部と；上記記録受付部により上記記録開始指示が受付けられるまでは上記独立符号化部又は上記非独立符号化部のうちいずれか一方に対して符号化するよう指示し，上記記録開始指示が受付けられた後は上記非独立符号化部に対して符号化するよう指示する符号化指示部と；上記独立符号化部又は上記非独立符号化部のうちいずれか一方から出力されてくる順に上記独立ピクチャ群又は上記非独立ピクチャ群を記憶する記憶部と；上記記録受付部によって記録開始指示が受付けられると，上記記憶部に格納された複数の上記独立ピクチャ群又は上記非独立ピクチャ群について，その記録開始指示が受付けられた時点から所定時間遡り，その遡った時点の近傍に存在する上記独立ピクチャ群から順に１又は２以上の独立ピクチャ群又は非独立ピクチャ群を取得する取得部とを備えることを特徴としている。

本発明によれば，記録開始指示があるまでは，独立ピクチャ群又は非独立ピクチャ群のうち少なくとも一方を記憶部に一時的に記憶し，記録開始指示があると，記憶部に記憶された独立ピクチャ群又は非独立ピクチャ群のうち，所定時間遡った時点に対応する独立ピクチャ群を先頭に取得し，以降順に独立ピクチャ群又は非独立ピクチャ群を取得する。記録開始指示以降は非独立ピクチャ群を記憶部に格納する。かかる構成によれば，所定時間遡った時点に対応するピクチャ群を前後のピクチャ群に左右されず独立して取得することができるため，予め前もって映像を記憶しておけば，所定時間遡った映像をストリームとして取得することができる。

上記取得部は，上記遡った時点の近傍に存在する上記独立ピクチャ群の先頭位置又は先頭ピクチャから順に取得するように構成してもよい。かかる構成によれば，画像と音声等のリップシンクが容易になる。

上記独立ピクチャ群に含まれる各ピクチャは，少なくとも前方のピクチャ群に含むピクチャを参照せずに，その独立ピクチャ群内で独立して復号されるようにしてもよい。

上記非独立ピクチャ群に含まれる各ピクチャは，前方又は後方の独立ピクチャ群又は非独立ピクチャ群に含まれるピクチャが参照されることで，復号されるようにしてもよい。

上記映像処理装置は，記録媒体に記録可能な記録部をさらに備え，上記記録部は，上記取得部により取得される上記独立ピクチャ群又は上記非独立ピクチャ群を順に上記記録媒体に記録するようにしてもよい。かかる構成によれば，映像処理装置は，キャッシュＲＥＣで現時点よりも過去の映像を所定時間遡って記録媒体に記録することができ，決定的場面（又は，シーン）を逃さずに記録することができる。

上記記録部は，上記取得部により上記遡った時点の近傍に存在する上記独立ピクチャ群から順に取得された上記独立ピクチャ群又は上記非独立ピクチャ群を上記記録媒体に記録し，上記記録開始指示が受付けられた以降は上記非独立符号化部が符号化し取得部により取得された上記非独立ピクチャ群を上記記録媒体に記録するように構成してもよい。

上記記録部は，上記取得部により上記遡った時点の近傍に存在する上記独立ピクチャ群から順に取得された上記独立ピクチャ群又は上記非独立ピクチャ群を上記記録媒体に記録するのと並行して，上記記録指示が受付けられた後上記非独立符号化部が符号化し取得部により取得された上記非独立ピクチャ群を上記記録媒体に記録するようにしてもよい。

上記符号化指示部は，上記記録受付部により上記記録開始指示が受付けられるまでは上記独立符号化部に対して符号化するよう指示し，上記記録受付部により上記記録開始指示が受付けられた以降は上記非独立符号化部に対して符号化するよう指示するようにしてもよい。

上記ピクチャは，ピクチャ内独立の符号化手法で符号化されるＩピクチャ，片方向予測の符号化手法で符号化されるＰピクチャ，または双方向予測の符号化手法で符号化されるＢピクチャのうち少なくとも一方であるように構成してもよい。

上記独立ピクチャ群は，ＣＬＯＳＥＤ ＧＯＰであるようにしてもよく，上記非独立ピクチャ群は，ＯＰＥＮ ＧＯＰであるようにしてもよい。

上記映像処理装置は，映像信号に構成される音声信号をオーディオデータに符号化するオーディオ符号化部と；上記独立ピクチャ群又は上記非独立ピクチャ群のうち少なくとも一方のピクチャ群と，上記オーディオデータとを同期させ，該ピクチャ群とオーディオデータとを含んだメディアデータを出力するメディア符号化部をさらに備えるようにしてもよい。

上記映像処理装置は，映像信号に構成される画像信号及び／又は音声信号に関する属性信号をメタデータに符号化するメタ符号化部をさらに備え，上記メディア符号化部は，上記独立ピクチャ群又は非独立ピクチャ群のうち少なくとも一方のピクチャ群と，上記オーディオデータと，上記メタデータとを同期させ，該ピクチャ群とオーディオデータとメタデータとを含んだメディアデータを出力するように構成してもよい。

上記メディアデータは，１又は２個以上のパケットデータであるように構成してもよい。かかる構成により，装置内でメディアデータを内部転送できる，または，ネットワークを介して外部装置に転送することができる。

上記映像処理装置は，映像信号に構成される音声信号を１又は２フレーム以上のオーディオデータに符号化するオーディオ符号化部と；上記独立ピクチャ群又は非独立ピクチャ群のうち少なくとも一方のピクチャ群に含まれるピクチャと，上記オーディオデータとを１又は２フレーム以上の単位で同期させ，該ピクチャとオーディオデータとを含んだメディアデータを出力するメディア符号化部をさらに備えるように構成してもよい。

上記映像処理装置は，上記映像信号に構成される画像信号及び／又は音声信号に関する属性信号を１又は２フレーム以上のメタデータに符号化するメタ符号化部をさらに備え，メディア符号化部は，独立ピクチャ群又は非独立ピクチャ群のうち少なくとも一方のピクチャ群に含まれるピクチャと，上記オーディオデータと，上記メタデータとを１又は２フレーム以上の単位で同期させ，該ピクチャとオーディオデータとメタデータとを含んだメディアデータを出力するように構成してもよい。

なお，映像信号には，画像信号，音声信号，または属性信号のうち少なくとも一方が含まれるように構成してもよい。

上記課題を解決するために，本発明の別の観点によれば，画像信号のシーケンスを入れ替えるリオーダリングを行い，該画像信号をピクチャに符号化する映像処理方法が提供される。上記映像処理方法は，記録開始指示が受付けられるまで，１又は２フレーム以上のピクチャをグループ化し，少なくとも前方又は後方のピクチャ群とは独立している独立ピクチャ群に符号化する独立符号化工程，又は，１又は２フレーム以上のピクチャをグループ化し，前方又は後方のうち少なくともいずれか一方のピクチャ群と関連性がある非独立ピクチャ群に符号化する非独立符号化工程のうちいずれか一方の符号化工程を実行し，記憶部に上記独立ピクチャ群又は上記非独立ピクチャ群を格納する第１格納工程と；記録開始指示が受付けられると，第１格納工程で記憶部に格納された複数の独立ピクチャ群又は非独立ピクチャ群について，その記録開始指示が受付けられた時点から所定時間遡り，その遡った時点の近傍に存在する独立ピクチャ群から順に１又は２以上の独立ピクチャ群又は非独立ピクチャ群を取得する第１取得工程と；記録開始指示が受付けられた後は非独立符号化工程を実行し，非独立ピクチャ群を上記記憶部に格納する第２格納工程とを含むことを特徴としている。

上記映像処理方法は，第１取得工程で取得した独立ピクチャ群又は非独立ピクチャ群を記録媒体に記録する第１記録工程をさらに含むように構成してもよい。

上記映像処理方法は，第２格納工程で記憶部に格納された非独立ピクチャ群を取得する第２取得工程と；上記第２取得工程で取得した非独立ピクチャ群を記録媒体に記録する第２記録工程をさらに含むように構成してもよい。

上記映像処理方法は，音声信号をオーディオデータに符号化するオーディオ符号化工程と；上記画像信号及び／又は音声信号に関する属性信号をメタデータに符号化するメタ符号化工程と；上記独立ピクチャ群又は非独立ピクチャ群のうち少なくとも一方のピクチャ群と，上記オーディオデータと，上記メタデータとを同期させ，該ピクチャ群とオーディオデータとメタデータとを含んだメディアデータを出力するメディアデータ出力工程とをさらに含むように構成してもよい。

上記課題を解決するために，本発明の別の観点によれば，画像信号のシーケンスを入れ替えるリオーダリングを行い，該画像信号をピクチャに符号化する映像処理方法をコンピュータに実行させるコンピュータプログラムが提供される。上記コンピュータプログラムは，１又は２フレーム以上の上記ピクチャをグループ化し，少なくとも前方又は後方のピクチャ群とは独立している独立ピクチャ群に符号化する独立符号化手段と；１又は２フレーム以上のピクチャをグループ化し，前方又は後方のうち少なくともいずれか一方のピクチャ群と関連性がある非独立ピクチャ群に符号化する非独立符号化手段と；記録開始又は記録終了の記録指示を受付けることが可能な記録指示受付手段と；上記記録受付手段により記録開始指示が受付けられるまでは独立符号化手段又は非独立符号化手段のうちいずれか一方に対して符号化するよう指示し，記録開始指示が受付けられた後は非独立符号化手段に対して符号化するよう指示する符号化指示手段と；独立ピクチャ群又は非独立ピクチャ群を記憶部に格納する格納手段と；記録受付手段によって記録開始指示が受付けられると，上記記憶部に格納された複数の独立ピクチャ群又は非独立ピクチャ群について，その記録開始指示が受付けられた時点から所定時間遡り，その遡った時点の近傍に存在する独立ピクチャ群から順に１又は２以上の独立ピクチャ群又は非独立ピクチャ群を取得する取得手段とを含むことを特徴としている。

以上説明したように，本発明によれば，シーケンスの並び替えが必要な圧縮フォーマットの映像データでもキャッシュＲＥＣにより所定時間遡った時点から記録することができる。

以下，本発明の好適な実施の形態について，添付図面を参照しながら詳細に説明する。なお，以下の説明及び添付図面において，略同一の機能及び構成を有する構成要素については，同一符号を付することにより，重複説明を省略する。

（記録再生装置について）
まず，図１を参照しながら，本実施の形態にかかる記録再生装置（映像処理装置）１０１について説明する。なお，図１は，本実施の形態にかかる記録再生装置の概略的な構成の一例を示すブロック図である。

記録再生装置１０１は，入力する映像信号を映像データに符号化し，記録媒体１３１に記録する記録機能と，記録媒体１３１に記録された映像データを復号し，ディスプレイ装置等の出力装置（出力デバイス）に出力する再生機能とを兼ね備えた装置である。

なお，記録再生装置１０１は，例えば，ケーブルなどで外部装置とライン接続し，その外部装置から送出される映像信号を入力する場合や，記録再生装置１０１は，ＣＣＤ等からなる撮像手段を備え，その撮像手段により送出される映像信号を入力する場合等でも，入力した映像信号を符号化し，記録媒体に記録することができる。

記録再生装置１０１が上記撮像手段を備える場合，記録再生装置１０１は，記録再生装置１０１自ら被写体等を撮像した映像データを記録媒体に記録再生装置１０１自ら記録する，または，記録媒体に記録された映像データを記録再生装置１０１自ら再生する，いわゆる記録／再生可能な一体型カムコーダ装置といえる。

図１に示すように，本実施の形態にかかる記録再生装置１０１は，記録指示受付部１１１と，制御コントローラ（例えば，符号化指示部）１１３と，画像符号化部１１５と，オーディオ符号化部１１９と，メタ符号化部１２１と，画像復号部１２３と，オーディオ復号部１２５と，メタ復号部１２７と，記憶装置（記憶部，取得部）１３３と，記録／再生部１３５と，メディア符号化部１３７と，メディア復号部１３９とを備えている。

上記記録指示受付部１１１は，ユーザから例えば記録開始の指示，記録終了の指示，キャッシュＲＥＣ機能（又は，キャッシュ記録）有効／無効の指示等を受けることが可能な１又は２以上からなるボタン（ＲＥＣ開始ボタン，ＲＥＣ終了ボタンなど）であるが，かかる例に限定されず，記録指示受付部１１１は，上記ユーザから各種の指示を受けることが可能であれば，トラックボール，トラックパッド，スタイラスペン，ダイアルログ，またはジョイスティックなどのポインティングデバイスまたはキーボードなどの場合であってもよい。

なお，本実施の形態にかかるキャッシュＲＥＣとは，例えば，記録再生装置１０１の電源投入後，ＲＥＣ開始ボタンの押下等による記録開始指示があるまでの間，記憶装置１３３に符号化後の映像データを一時的に蓄積し，記録開始指示があったときに，その記録開始指示を受けた時点から所定時間遡り，その時点から記録媒体１４０に映像データを記録することができる機能をいうが，詳細は後程述べる。

また，記録指示受付部１１１は，ユーザから指示を受付けると，その指示内容を示す記録開始指示信号等の指示信号を制御コントローラ１１３に伝達する。制御コントローラ１１３は，かかる指示信号を基に，記録処理等を各部を制御し，実行させる。

制御コントローラ１１３は，記録再生装置１０１に備わる各部（記録指示受付部１１１〜メディア復号部１３９）の処理を制御する。例えば，制御コントローラ１１３は，エンコードするデータレート（ビットレート）の値を画像符号化部１１５に指示したり，所定時間遡った時点に対応する映像データ（ピクチャ群など）が格納されている位置を示すアドレスを求めたりする。

上記画像符号化部１１５は，映像信号のうち画像部分に相当する画像信号（ビデオ信号）がＳＩＦ（Ｓｏｕｒｃｅ Ｉｎｐｕｔ Ｆｏｒｍａｔ）等の所定フォーマットに変換された画像信号を入力する。

なお，本実施の形態にかかる画像信号は，映像信号に含まれ，主として動画像の場合を例に挙げて説明するが，かかる例に限定されない。

画像符号化部１１５は，入力する上記画像信号のシーケンスを並び替え（リオーダリング），１又は２以上フレーム以上のピクチャから構成されるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ，又は，ピクチャ群）に符号化する。

上記画像符号化部１１５は，画像信号の入力を受けると，制御コントローラ１１３から指示を受けたデータレート（又は，ビットレート）に従って，例えば，ＭＰＥＧ２又はＭＰＥＧ４等の形式で圧縮等し，上記ＧＯＰが１又は２個以上含まれる画像ストリームを出力する。なお，上記指示されるデータレートは，例えば，３０Ｍｂｐｓ〜５０Ｍｂｐｓ等の高データレート，または，１．５Ｍｂｐｓ〜２．０Ｍｂｐｓ等の低データレートを例示することができるが，かかる例に限定されない。

画像符号化部１１５は，制御コントローラ１１３からデータレートが高データレートで指示された場合，高データレートの画像ストリームを出力し，低データレートで指示された場合，低データレートの画像ストリームを出力することができる。

さらに，上記画像符号化部１１５について詳細に説明すると，画像符号化部１１５には，独立符号化部１１６と非独立符号化部１１７とが備わっている。独立符号化部１１６及び非独立符号化部１１７は，制御コントローラ１１３から送信される指示信号に応じて，符号化を実行する。

つまり，制御コントローラ１１３から独立符号化部１１６が符号化するように指示があると，独立符号化１１６が符号化を実行し，一方，制御コントローラ１１３から非独立符号化１１７が符号化するように指示があると，非独立符号化１１７が符号化を実行する。

上記独立符号化部１１６は，入力してくる上記画像信号のフレームのシーケンスを並び替え（リオーダリング），１又は２以上フレーム以上のピクチャから構成されるＯＰＥＮ ＧＯＰ（又は，独立ピクチャ群）に符号化する。

上記非独立符号化部１１７は，入力してくる上記画像信号のフレームのシーケンスを並び替え（リオーダリング），１又は２以上フレーム以上のピクチャから構成されるＣＬＯＳＥＤ ＧＯＰ（又は，非独立ピクチャ群）に符号化する。

なお，上記ＯＰＥＮ ＧＯＰ又はＣＬＯＳＥＤ ＧＯＰについての詳細は後述する。また以下では，上記ＯＰＥＮ ＧＯＰを，オープンＧＯＰと記載し，ＣＬＯＳＥＤ ＧＯＰを，クローズＧＯＰと記載する場合があるが，実質的に同一である。また，上記オープンＧＯＰ及び／又はクローズＧＯＰを含むデータを総称して映像データ又は画像データと記載する場合もある。

上記独立符号化部１１６又は非独立符号化部１１７から出力される１又は２個以上のオープンＧＯＰ又は１又は２個以上のクローズＧＯＰは，記憶装置１３３に一時的に記憶される。

上記オーディオ符号化部１１９は，映像信号のうち音声部分に相当する音声信号を入力すると，上記音声信号をオーディオデータに符号化する。なお，上記画像符号化部１１５にて説明したように，オーディオ符号化部１１９は，制御コントローラ１１３から高データレートで指示されると，音声信号を高データレートで符号化し，低データレートで指示されると，音声信号を低データレートで符号化する。

上記オーディオ符号化部１１９により符号化されたオーディオデータは，記憶装置１３３に一時的に記憶される。

上記メタ符号化部１２１は，映像信号のうち属性信号（ＲＴ信号：リアルタイム信号）の入力を受けると，属性信号をメタデータに符号化する。なお，上記属性信号は，画像及び／又は音声（映像データ）の各フレームに関するリアルタイム情報等であり，より具体的には，画像及び／又は音声（映像データ）のタイムコードや，撮影日時，ズーム倍率などを例示することができるが，かかる例に限定されない。符号化された後のメタデータのデータ内容についても基本的には上記属性信号と同一である。

記憶装置１３３は，独立符号化部１１６，非独立符号化部１１７，オーディオ符号化部１１９，メタ符号化部１２１から出力される，オープンＧＯＰ，クローズＧＯＰ，オーディオデータ，メタデータ等のデータを自装置内の記憶領域に記憶することができる。

記憶装置１３３についてより具体的に説明すると，記憶装置１３３には，記憶部１２９と，取得部１３１とが備わる。

上記記憶部１２９は，所定大きさの記憶領域を有して，上記説明した各種データを格納し，データを削除し，データを変更することができる。記憶部１２９は，データを格納した記憶領域の場所を示す格納アドレスを基に，格納したデータを管理している。

また，記憶部１２９は，上記各種データの他に，データを格納した時刻と格納アドレスとが対応付けられたテーブル（図示せず。）を記憶してもよい。上記テーブルを基に，例えば，所定時間遡って，データを取得するために制御コントローラ１１３が取得するデータを指示しても良い。

なお，本実施の形態にかかる記憶部１２９は，例えば，ＳＤＲＡＭ，ＤＲＡＭ等のメモリを例示することができるが，かかる例に限定されない。

上記取得部１３１は，上記オープンＧＯＰ，クローズＧＯＰ，オーディオデータ，メタデータ等のデータを記憶部１２９の記憶領域から読み出し，記録／再生部１３５またはメディア符号化部１３７に出力する。

上記取得部１３１は，目的とするデータを読み出す際に，制御コントローラ１１３から指示される格納アドレスを基に，記憶部１２９の記憶領域からデータを読み出し，記録／再生部１３５などに出力する。

取得部１３１は，例えば，記録／再生部１３５によって画像ストリームとして記録媒体１４０に書き込まれる（記録する）順番に，上記オープンＧＯＰ又はクローズＧＯＰを並べていき，同様に音声ストリームとして書き込まれる順番にオーディオデータを並べ，属性ストリームとして書き込まれる順番にメタデータを並べていき，記録／再生部１３５に略同時並行して出力する。

なお，本実施の形態に係るフレーム（又は，枠）は画像信号，オープンＧＯＰ，クローズＧＯＰ，オーディオデータ，メタデータに構成される最小単位の画像（又は，ピクチャ）や，音声，または属性等を示すものとするが，かかる例に限定されない。

記録／再生部１３５は，取得部１３１から受け取った記録用の画像ストリーム，音声ストリーム，属性ストリーム（映像データ）を記録媒体１４０に記録する，または，記録媒体１４０に記録された上記映像データを読み出し記憶装置１３３に送出する。

なお，本実施の形態にかかる記録媒体１４０は，ＣＤ，ＤＶＤ，またはＢｌｕ−ｒａｙＤｉｓｃ等，光ディスクの場合を例に挙げて説明するが，かかる例に限定されず，磁気ディスク等の場合でも実施可能である。

なお，本実施の形態にかかる映像信号には，画像信号，音声信号，または属性信号のうち少なくとも一つが含まれている。また，本実施の形態にかかる映像信号が符号化された映像データには，画像データ，オーディオデータ，またはメタデータのうち少なくとも一つが含まれている。

上記画像復号部１２３は，記録／再生部１３５により読み込まれた符号化された映像データを記憶装置１３３から入力して画像信号に復号するデコーダである。

上記画像復号部１２３には，独立復号部１２４と，非独立復号部１２６とが備わる。上記独立復号部１２４は，映像データに含まれるクローズＧＯＰを画像信号に復号し，上記非独立復号部１２６は，映像データに含まれるオープンＧＯＰを画像信号に復号する。

上記オーディオ復号部１２５は，記録／再生部１３５により読み込まれた映像データのうちオーディオデータを記憶装置１３３から入力して音声信号に復号するデコーダであり，上記メタ復号部１２７は，記憶装置１３３からメタデータを入力して属性信号に復号するデコーダである。

メディア符号化部１３７は，記憶装置１３３に格納されたオープンＧＯＰ，クローズＧＯＰ，オーディオデータ，メディアデータを各々取得し，メディアデータに符号化する。符号化されたメディアデータは，一連のパケットデータとしてネットワーク（図示せず。）を介して情報処理装置などの外部装置に送信される。なお，メディアデータについては，後程詳述するが，ネットワークの負荷に応じて，迅速に送信できるようにメディアデータのデータレートを低データレートにしてもよい。

メディア復号部１３９は，メディアデータを復号し，オープンＧＯＰ，クローズＧＯＰ，オーディオデータ，メディアデータ各々を記憶装置１３３に送出する。取得部１３１は，上記各データを取得すると，記憶部１２９の記憶領域に格納する。なお，メディア復号部１３９はメディアデータを，ネットワークを介して外部装置から受信する。

なお，本実施の形態にかかるメディアデータは，ネットワークを介して外部装置と記録再生装置１０１との間で送受信される場合を例に挙げて説明したが，かかる例に限定されず，例えば，外部装置と記録再生装置１０１との間がケーブルなどでライン接続され，上記ケーブルを介してメディアデータが送受信される場合等でも実施可能である。

なお，本実施の形態にかかるネットワークは，メディアデータ等の種々のデータを装置から装置に伝送することが可能な伝送媒体である。より具体的には，ネットワークは，ピアツーピアに接続するケーブルや，ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）またはＦＴＴＨ（Ｆｉｂｅｒ Ｔｏ Ｔｈｅ Ｈｏｍｅ）などそれに類する方法で接続するインターネットなどの公衆回線網でもよく，ＬＡＮ等の閉鎖回線網でもよく，さらに有線／無線を問わず衛星通信網なども含まれる。

また，図１には図示されていないが，記録再生装置１０１は，さらに画像復号部１２３等のデコーダから出力される映像信号を出力可能なディスプレイ装置（図示せず。）を備えてもよい。例えば，画像復号部１２３から出力される画像信号をディスプレイ装置は画面に表示することができる。なお，ディスプレイ装置は，例えば，液晶ディスプレイなどを例示することができ，静止画像，動画像，もしくは音声又はそれらの任意の組合せなどを出力することが可能である。

（ＧＯＰについて）
次に，本実施の形態にかかるＧＯＰについて説明する。ＧＯＰは，画像符号化部１１５により符号化された１又は２以上のピクチャ（画像データ）の集まりである。

なお，本実施の形態にかかるＧＯＰは，いわゆるＬｏｎｇＧＯＰと呼ばれ，例えば，１ＧＯＰに６０フレーム以上のピクチャを含む場合もあり得るが，かかる例に限定されず，例えば，１ＧＯＰに１０フレーム〜１５フレームのピクチャから構成される場合等でもよい。

また，上記ピクチャには，Ｉピクチャ（Ｉｎｔｒａピクチャ，又は，フレーム内符号化画像）と，Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅピクチャ，又は，フレーム間順方向予測符号化画像）と，Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ符号化画像，又は，双方向予測符号化画像）と３つのタイプのピクチャが存在する。なお，本実施の形態にかかるピクチャは，符号化後の画像データに構成される各フレームの画像又はデータをいうが，かかる例に限定されない。

上記Ｉピクチャは，前のフレームとの相関関係を利用しない独立したピクチャであり，上記Ｐピクチャは，前のフレームとの相関関係を利用するピクチャであり，上記Ｂピクチャは，前後両方のフレームとの相関関係を利用するピクチャである。

一般的に，Ｂピクチャを使わずにＩピクチャとＰピクチャのみを使う場合よりも，ＢピクチャをＩピクチャ若しくはＰピクチャではさむことで使う場合の方が，同一ビットレートでの画質は良い。

次に，図２を参照しながら，本実施の形態にかかるオープンＧＯＰ又はクローズＧＯＰについて説明する。なお，図２は，本実施の形態にかかるオープンＧＯＰとクローズＧＯＰの概略的な構成を示す説明図である。

オープンＧＯＰは，前後のＧＯＰ間でピクチャを参照することが特徴である。したがって，オープンＧＯＰは，符号化の際の圧縮効率が高いと言う利点があるが，一方で，前後のＧＯＰに構成されるピクチャを参照するため，ＧＯＰの独立性が低く編集効率が悪い。

図２（ａ）に示すように，ＯＰＥＮ ＧＯＰ（オープンＧＯＰ）は，ｎ−１番目のＧＯＰであるｎ−１ＧＯＰと，その後のｎ番目のＧＯＰであるｎＧＯＰとが存在する場合を例に挙げて説明する。なお，ｎは１よりも大きい自然数とする。

上記ｎ−１ＧＯＰには，Ｂ０，Ｂ１，…，Ｂ１３，Ｐ１４と複数のピクチャが配列されている。なお，本実施の形態では，ＧＯＰに構成されるピクチャを特定するために，例えば，「Ｂ１３」等と記載するが，「Ｂ１３」のうち左側のＢは，Ｂピクチャなどのようにピクチャの種類を示し，右側の数字の１３は，フレーム番号を示している。

オープンＧＯＰでは，図２（ａ）に示すように，例えば，ｎＧＯＰのうちＢ０は，上記前後するＧＯＰであるｎ−１ＧＯＰのＰ１４のピクチャを参照する必要がある。ｎＧＯＰのうちＢ１についても同様に，Ｐ１４を参照する必要がある。つまり，オープンＧＯＰの場合，前後するＧＯＰでリンク付けられている。

次に，クローズＧＯＰは，オープンＧＯＰの反対に，前後のＧＯＰ間でピクチャを参照しないことが特徴である。したがって，クローズＧＯＰは，符号化の際の圧縮効率が低いと言う欠点があるが，一方で，前後のＧＯＰに構成されるピクチャを参照しないため，ＧＯＰの独立性が高く編集効率が良い。

より具体的には，クローズＧＯＰの場合，ＧＯＰ内の最初の数フレームのＢピクチャは，前のＧＯＰに構成されるピクチャに依存しない。かかるクローズＧＯＰに符号化する場合，独立符号化部１１７は制御コントローラ１１３から指示を受けて，例えばクローズＧＯＰフラグ等のフラグを符号化時にＧＯＰに設定することでクローズＧＯＰに符号化している。

図２（ｂ）に示すように，ＣＬＯＳＥＤ ＧＯＰ（クローズＧＯＰ）のうち，例えば，ｎＧＯＰのＢ０は，ｎ−１ＧＯＰのＰ１４のピクチャを参照しない。ｎＧＯＰのうちＢ１についても同様に，Ｐ１４を参照しない。

（オープンＧＯＰとした場合のキャッシュＲＥＣについて）
以上，ＧＯＰにはオープンＧＯＰとクローズＧＯＰが存在し，そのオープンＧＯＰ及びクローズＧＯＰについて説明した。次に，かかるオープンＧＯＰで符号化した場合のキャッシュＲＥＣについて，図３を参照しながら，説明する。なお，図３は，本実施の形態にかかるオープンＧＯＰとした場合のキャッシュＲＥＣの概略を示す説明図である。

図３に示すように，例えば，記録再生装置１０１の電源がＯＮすると，キャッシュＲＥＣ機能によって記憶装置１３３に映像が自動的に一時的に格納されていく。

記憶装置１３３に記録されていく映像のうち画像に該当する１又は２個以上のオープンＧＯＰには，図３に示すように，Ｉ２，Ｂ０，Ｂ１，…，Ｂ１９のように，複数のピクチャが配列されている。なお，フレーム番号が０〜１３のピクチャ（Ｂ０〜Ｐ１４）で一つのオープンＧＯＰを構成し，フレーム番号が１５〜１９のピクチャ（Ｂ１５〜Ｐ２０）で一つのオープンＧＯＰを構成している。

同様に，映像のうち音声に該当するオーディオデータは，図３に示すように，Ａ０，Ａ１，…，Ａ２０と，複数のフレームから構成されて，記憶装置１３３に格納される。また属性に該当するメタデータは，同様に，Ｒ０，Ａ１，…，Ａ２０と，複数のフレームから構成されて，記憶装置１３３に格納される。

図３に示すように，符号化前後のオーディオデータ（音声）とメディアデータ（属性）は，フレーム単位で同期しているが，ＧＯＰデータ（画像）のみ符号化の前後でフレームの位置が後方にずれている。これは，画像信号からＢピクチャに符号化する際にリオーダリングによって並べ替える処理が発生し，その分だけ遅延するためである。

ここで，例えば，記録指示受付部１１１がユーザから記録開始の指示を受付けると，キャッシュＲＥＣ機能により，記録開始の指示がある前に一時的に格納していた映像データを所定時間遡って取得するが，その所定時間遡った時点が，例えば，フレーム番号「１５」に対応する映像データ（Ｂ１５，Ａ１５，Ｒ１５）であるとする（図３に示す太枠のフレーム）。

Ａ１５を先頭とするオーディオデータとＲ１５を先頭とするメタデータについては，フレーム単位に独立して符号化されるため，何ら問題なくデータを取得することができるが，オープンＧＯＰにおける先頭のＢ１５については，Ｐ１４やＩ２等のピクチャを参照する必要があり，Ｂ１５単体で復号することができないため，Ｂ１５から順にＧＯＰデータを取得することができない。その結果，ＧＯＰデータについては図３に示すＩ２からＧＯＰデータを取得する必要がある。

したがって，画像（ＧＯＰ）と音声（オーディオデータ）又は属性（メタデータ）とを同期させる際に，どのフレームで画像と音声等とを同期（又は，リップシンク）すればよいのか判断が困難となり，キャッシュＲＥＣ機能を実現するのが難しい。

また一方で，キャッシュＲＥＣ機能により，所定時間遡った時点が，例えば，フレーム番号「１７」に対応する映像データ（Ｉ１７，Ａ１７，Ｒ１７）であるとした場合でも，Ｂ１５，Ｂ１６は，前のオープンＧＯＰに構成されるＰ１４等のピクチャを参照する必要がある。

したがって，記録再生装置１０１が前のオープンＧＯＰに構成されるＰ１４等のピクチャを記録媒体１４０に記録せずに，Ｉ１７を先頭とし，Ｂ１５，Ｂ１６，…と記録媒体１４０に記録したとしても，オープンＧＯＰであるＢ１５，Ｂ１６を復号し再生する際に不整合が生じ，画面上に余計なデータが表示される等，ユーザに対し不快感を与える。

以上の結果，オープンＧＯＰの場合，キャッシュＲＥＣ機能を実現するのは難しい。しかし，以下に示すクローズＧＯＰを用いることで，かかる問題を解決することができる。次に，クローズＧＯＰとした場合のキャッシュＲＥＣについて説明する。

（ＣＬＯＳＥＤ ＧＯＰの場合のキャッシュＲＥＣ）
次に，図４を参照しながら，本実施の形態にかかるクローズＧＯＰで符号化した場合のキャッシュＲＥＣについて説明する。なお，図４は，本実施の形態にかかるクローズＧＯＰとした場合のキャッシュＲＥＣの概略を示す説明図である。

図４に示すように，記憶装置１３３に記録されていく映像のうち画像に該当する１又は２個以上のＣＬＯＳＥＤ ＧＯＰ（クローズＧＯＰ）には，Ｉ２，Ｂ０，Ｂ１，…，Ｂ１９のように，複数のピクチャが配列されている。

同様に，映像のうち音声に該当するオーディオデータは，図３に示すように，Ａ０，Ａ１，…，Ａ２０と，複数のフレームから構成されて，記憶装置１３３に格納される。また属性に該当するメタデータは，同様に，Ｒ０，Ａ１，…，Ａ２０と，複数のフレームから構成されて，記憶装置１３３に格納される。

図４に示すように，上記説明したように，符号化後のオーディオデータ（音声）とメディアデータ（属性）は，フレーム単位で同期しているのが分かるが，リオーダリングによって時間的遅れが生じてＧＯＰデータ（画像）のみフレームの同期位置が後方にずれる。

ここで，例えば，記録指示受付部１１１がユーザから記録開始の指示を受付けると，キャッシュＲＥＣ機能により，所定時間遡った時点が，例えば，フレーム番号「１５」に対応する映像データ（Ｂ１５，Ａ１５，Ｒ１５）であるとする（図４に示す太枠のフレーム）。

Ａ１５を先頭とするオーディオデータとＲ１５を先頭とするメタデータについては，図３に図示した場合と同様に，フレーム単位に独立して符号化されるため，何ら問題なくデータを取得することができ，さらにクローズＧＯＰにおけるＢ１５についても，前のＧＯＰに構成されるＰ１４やＩ２等のピクチャを参照する必要がなく，Ｉ１７だけを参照すればよい。

したがって，フレーム番号１５を先頭とする場合には，画像に関してはＩ１７ピクチャを先頭として，以降Ｂ１５，Ｂ１６，…と取得すればよい。さらに，映像データを復号し再生する際には，画像（クローズＧＯＰ）と音声（オーディオデータ）又は属性（メタデータ）をフレーム番号１５（Ｂ１５，Ａ１５，Ｒ１５）で同期（又は，リップシンク）させれば良いことが容易に判別できる。

以上から，クローズＧＯＰの場合，キャッシュＲＥＣ機能を容易に実現することが可能であることが分かる。ただし，クローズＧＯＰの場合，上記説明したように，圧縮効率がオープンＧＯＰよりも悪い。したがって，本実施の形態にかかるキャッシュＲＥＣ機能による一連の記録処理では，クローズＧＯＰとオープンＧＯＰとを併用し，圧縮効率の向上をも図っている。次に，より具体的なキャッシュＲＥＣ機能を利用した一連の記録処理について説明する。

（キャッシュＲＥＣ機能を利用した記録処理について）
次に，図５〜図７を参照しながら，本実施の形態にかかるキャッシュＲＥＣ機能を利用した一連の記録処理について説明する。なお，図５は，本実施の形態にかかるキャッシュＲＥＣ機能を利用した記録処理の概略を示すフローチャートであり，図６〜図７は，本実施の形態にかかるキャッシュＲＥＣ機能を利用した記録処理の概略を示す説明図である。

図５に示すように，記録再生装置１０１の電源がＯＮ後，例えば，記録指示受付部１１１に備わるキャッシュＲＥＣ機能を有効／無効を切替えるためのボタン又はスイッチ（図示せず。）がユーザにより押下されると，制御コントローラ１１３は，キャッシュＲＥＣ機能が有効であると判断する（Ｓ５０１）。なお，本実施の形態にかかるキャッシュＲＥＣは，記録再生装置１０１の電源がＯＮするとキャッシュＲＥＣ機能も有効になるように，予め定められている場合等でも実施可能である。

制御コントローラ１１３は，キャッシュＲＥＣ機能の有効／無効の状態を常時監視し（Ｓ５０１），キャッシュＲＥＣ機能が有効であれば，次に，画像信号を入力して独立符号化部１１６はクローズＧＯＰに符号化し，記憶装置１３３内の記憶部１２９に書き込む（Ｓ５０３）。

同様に，音声信号を入力してオーディオ符号化部１１９はオーディオデータに符号化し，記憶部１２９にオーディオデータを書き込む（Ｓ５０５）。また，属性信号を入力してメタ符号化部１２１はメタデータに符号化し，記憶部１２９にメタデータを書き込む（Ｓ５０７）。

上記ステップＳ５０３〜ステップＳ５０７の各処理が，記録指示受付部１１１に備わるＲＥＣ開始ボタンがユーザにより押下される（Ｓ５０９）まで，繰り返し継続して実行される。

なお，本実施の形態では，ステップＳ５０３〜ステップＳ５０７の複数の各書き込み処理がパラレルに独立並行的に行われる場合を例に挙げて説明したが，かかる例に限定されず，例えば，ステップＳ５０３の処理後に，ステップＳ５０５を実施し，その処理後にステップＳ５０７を実施する等の具合に，ステップＳ５０３，ステップＳ５０５，ステップＳ５０７の順に繰り返し実行する場合等でも実施可能である。

また，かかるステップＳ５０３〜ステップＳ５０７の各書き込み処理が継続して実行される間，記憶部１２９の記憶領域に絶えずクローズＧＯＰ等のデータを一時的に格納する必要があるが，記憶部１２９の記憶容量を超えてしまうような場合，記憶容量を超えたデータについては，再び記憶領域の先頭に戻って，先頭アドレスと対応する位置から順に既存のデータを上書きし，新たにデータを格納してもよい。すなわち，記憶部１２９は，クローズＧＯＰ等の映像データを読み出すためのポインタ，書き込むためのポインタ等を設けてアドレッシングを工夫した，いわゆるリングバッファ等のような場合でもよい。

次に，ユーザにより記録指示受付部１１１に備わるＲＥＣ開始ボタンが押下されると（Ｓ５０９），制御コントローラ１１３は，記録指示受付部１１１からＲＥＣ開始ボタンの押下による記録開始を示す記録開始信号を受信すると，記録媒体１４０に映像データを記録する記録処理（Ｓ５１１，Ｓ５１３）を開始させる。

制御コントローラ１１３は，記録開始信号を受信した以降に入力する画像信号については，クローズＧＯＰに符号化するよう画像符号化部１１５に指示する。画像符号化部１１５では，独立符号化部１１６による符号化処理が停止し，非独立符号化部による符号化処理が開始する（Ｓ５１１）。

かかるクローズＧＯＰからオープンＧＯＰに切替えることによって，圧縮効率を向上することができ，クローズＧＯＰだけを記録媒体１４０に記録した場合の記録時間よりも記録時間をより一層伸ばすことができる。

一方で，制御コントローラ１１３は，当該記録開始信号を受信すると，キャッシュＲＥＣ機能により所定時間だけ遡り，ユーザが記録開始を指示した時点よりも過去の映像データから記録媒体１４０に記録するために，当該所定時間だけ遡った時点に対応する映像データの先頭部分のアドレス（記憶部１２９の記憶領域におけるデータ格納位置を示すアドレス）を求める。

制御コントローラ１１３は，例えば，１ＧＯＰに構成されるフレーム数等を基に，所定時間遡った位置のＧＯＰ先頭位置（又は，先頭ピクチャの位置）を計算し，その位置を記録媒体１４０に記録する記録開始位置として，その記録開始位置に対応する先頭フレーム（又は，ピクチャ）のオーディオデータ及びメタデータの位置についても求める。

より具体的には，制御コントローラ１１３は，例えば，ＧＯＰに構成されるフレーム数（フレームレート）等を基に，キャッシュＲＥＣで定められた所定時間分のフレーム数の合計を求め，記録指示受付部１１１が記録開始信号を受付けた時点（ＲＥＣ開始ボタンが押された時点）から，その求めたフレーム数分だけ過去に格納された先頭フレーム（又は，ピクチャ）のアドレスをＧＯＰ，オーディオデータ，メタデータ各々について探し出す。なお，先頭フレームが，ＧＯＰに構成される先頭のピクチャでない場合は，補正してクローズＧＯＰに構成される先頭のピクチャを，記録開始とする先頭のフレームとするが，かかる例に限定されず，探し出した補正前のフレームを記録開始位置としてもよい。

次に，取得部１３１は，制御コントローラ１１３により求められた記録開始位置の先頭部分のアドレスを基に，該当するクローズＧＯＰ，オーディオデータ，メタデータ（映像データ）を取得し，記録／再生部１３５は，記録媒体１４０に記録（書き込み）する（Ｓ５１３）。上記記録媒体１４０に記録する処理（Ｓ５１３）は，ＲＥＣ終了ボタンが押される（Ｓ５１５）まで継続する。

なお，キャッシュＲＥＣ機能により所定時間遡った時点のＧＯＰの先頭から記録媒体１４０に映像データを記録している最中も継続して，映像信号を符号化し，記憶部１２９の記憶領域に格納する（Ｓ５１１）。また，上記記憶部１２９にＧＯＰ等のデータを格納する処理（Ｓ５１１）は，ＲＥＣ終了ボタンが押される（Ｓ５１５）まで継続する。

次に，記録指示受付部１１１に備わるＲＥＣ終了ボタンがユーザにより押下されると（Ｓ５１５），制御コントローラ１１３は記録終了を示す記録終了信号を記録指示受付部１１１から受信する。

その後，制御コントローラ１１３は，画像符号化部１１５，オーディオ符号化部１１９，メタ符号化部１２１に対して映像信号の入力を停止し，符号化を終了するように指示し，取得部１３１に対してもＲＥＣ終了ボタンが押下された時点までのＧＯＰ，オーディオデータ，メタデータ各々を記録／再生部１３５に送信するよう指示する。

記録／再生部１３５は，記録媒体１４０にＲＥＣ終了ボタンが押下された時点までのＧＯＰ，オーディオデータ，メタデータ（映像データ）を記録すると一連の記録処理が終了する（Ｓ５１７）。

上記キャッシュＲＥＣ機能を利用した一連の記録処理について，次に，図６又は図７を参照しながら，説明すると，図６に示すように，画像信号，音声信号，属性信号が各符号化部に入力し，符号化される。

画像信号については，画像符号化部１１５によって符号化される際に，画像信号（Ｂ０，Ｂ１，…，Ｂ１９，Ｐ２０）のシーケンスを並べ替える必要があるため，その分だけオーディオデータ（Ａ０〜Ａ２０）又はメタデータ（Ｒ０〜Ｒ２０）よりもずれる。

例えば，図６に示すように，画像信号に構成されるＢ０又はＢ１は，符号化されるとリオーダリングにより，Ｂ０はフレーム番号０からフレーム番号１となり，Ｂ１はフレーム番号１からフレーム番号２となるため，いずれもＩ２の後続フレームとなる。

なお，図６に示すＧＯＰは，クローズＧＯＰであり，Ｉ２，Ｂ０，…Ｂ１３で一つのＧＯＰを形成し，Ｉ１７，Ｂ１５，…Ｂ１９で一つのＧＯＰを形成しているものとする。

また，上記ＧＯＰ，オーディオデータ（Ａ０〜Ａ２０），メタデータ（Ｒ０〜Ｒ２０）は，キャッシュＲＥＣ機能により記憶部１２９に格納されたデータであるとする（Ｓ５０３〜Ｓ５０７）。

ここで，例えば，ユーザがＲＥＣ開始ボタンを押下した時点から所定時間遡った時点に対応するフレーム番号が「１５」であるとすると，符号化後のＢ１５のピクチャは，ＧＯＰ内の先頭フレームではないため，制御コントローラ１１３は，Ｉ１７を先頭フレームであると判断する。

したがって，Ｉ１７から順番にＢ１５，Ｂ１６，…と以降のＧＯＰについても同様に記録媒体１４０にＧＯＰが記録される。オーディオデータ，メタデータについては，そのままフレーム番号１５（Ａ１５，Ｒ１５）から順に記録媒体１４０に記録される。

図７に示すように，ＲＥＣ開始ボタンが押下された時点から所定時間遡ったＧＯＰの先頭位置から順に，オーディオデータ，メタデータも同様に記録媒体１４０に記録されるのが分かる。

さらに，ＲＥＣ開始ボタンが押される時点までは，常に記憶部１２９にはＣＬＯＳＥＤ ＧＯＰ（クローズＧＯＰ）が格納されて，ＲＥＣ開始ボタンが押された時点以降に符号化される画像信号については，ＯＰＥＮ ＧＯＰ（オープンＧＯＰ）に符号化されているのが分かる。

なお，本実施の形態にかかるキャッシュＲＥＣ機能を利用した一連の記録処理では，画像信号，音声信号，および属性信号が符号化され，ＧＯＰデータ，オーディオデータ，およびメタデータが記憶部１２９又は記録媒体１４０に記録される場合を例に挙げて説明したが，かかる例に限定されず，例えば，画像信号，音声信号，または属性信号のうち少なくとも一つが符号化されて，記憶部１２９若しくは記録媒体１４０又は両方に記録する場合でも実施可能である。

なお，本実施の形態にかかるキャッシュＲＥＣ機能によって遡ることが可能な所定時間は，例えば，１０秒であるが，記憶部１２９の記憶容量に応じて，如何なる時間が設定されても実施可能であり，またユーザが上記設定時間を自由に変更してもよい。

（メディアデータについて）
次に，図８を参照しながら，本実施の形態にかかるメディアデータについて説明する。なお，図８は，本実施の形態にかかるメディアデータの概略的な構成の一例を示す説明図である。

図８（ａ）に示すように，メディアデータは，１又は２個以上のパケットから構成されている。したがって，上記メディアデータに構成されるパケットを記録再生装置１０１からネットワークを介して，他の記録再生装置１０１はもちろんのことＰＣ（パーソナルコンピュータ）等の外部装置は，受信することができる。

ＰＣ等の外部装置が受信した全てのパケットを一連のメディアデータに再構成し，メディアデータを復号すれば，画面上に動画像を表示し，スピーカなどに音声を出力することができる。

図８（ｂ）に示すように，メディアデータに構成されるパケット内には，１又は２フレーム以上のメタデータが格納される領域（メタ格納領域）と，ピクチャ又はＧＯＰが格納される領域（画像格納領域）と，１又は２フレーム以上のオーディオデータが格納される領域（音声格納領域）とが割当てられている。なお，メタデータが格納される領域には，さらに送信先アドレスを含んだヘッダ等に相当するシステム情報も格納されるが，かかる例に限定されない。

また，ピクチャ又はＧＯＰが格納される領域には，１又は２フレーム以上のピクチャ単位でデータが格納されてもよく，１又は２個以上のＧＯＰ単位でデータが格納される場合でもよい。

図８（ｃ）又は図８（ｄ）に示すように，かかるメタ格納領域，画像格納領域，もしくは音声格納領域のうち少なくとも一つの格納領域が存在すれば，如何なる領域が各パケット内に割当てられても実施可能である。

また，キャッシュＲＥＣ機能を利用して符号化したメディアデータをネットワークを介して送信する場合，例えば，図６に示すＩ１７が所定時間遡った記録開始位置であるとすると，メディアデータに構成されるパケット１には，例えば，Ｉ１７，Ａ１５，およびＲ１５から１又は２フレーム以上連続したデータが各格納領域に設定される。

より具体的に説明すると，例えば，画像格納領域には，Ｉ１７，Ｂ１５，Ｂ１６のピクチャが格納されて，音声格納領域には，Ａ１５，Ａ１６，Ａ１７のオーディオデータが格納されて，メタ格納領域には，Ｒ１５，Ｒ１６，Ｒ１７のメタデータが格納される。

パケットを受信したＰＣ等の外部装置は，メディアデータの先頭パケット（パケット１）のフレーム番号１５（Ｂ１５，Ａ１５，Ｒ１５）から順に復号すれば，画像，音声などを同期して再生することができる。

なお，かかる例に限定されず，例えば，Ｉ１７のピクチャを先頭フレームとしたＧＯＰを先頭のＧＯＰにして，１又は２個以上のＧＯＰが画像格納領域に格納される場合でも実施可能である。メタデータ及び／又はオーディオデータについても，例えば，上記ＧＯＰに構成されるフレーム数（又は，映像時間）に相当する分のデータをメタ格納領域，音声格納領域に格納する場合でも実施可能である。

（記録装置１０２について）
次に，図９を参照しながら，本実施の形態にかかる記録再生装置１０１の変形例として記録装置（映像処理装置）１０２について説明する。図９は，本実施の形態にかかる記録装置の概略的な構成を示すブロック図である。なお，以下では，本実施の形態にかかる記録再生装置１０１と記録装置１０２との相違点について特に詳述し，その他の点については実質的に同一であるため説明は省略する。

図９に示すように，本実施の形態にかかる記録再生装置１０１と，その変形例である記録装置１０２とを比較すると，記録装置１０２は，再生機能を具備していない点で相違する。

つまり，記録装置１０２は，記録部１４５を備え，記録／再生部１３５を備えていないため，映像データを記録媒体１４０に記録することはできるが，記録媒体１４０に記録された映像データを読み出すことができず，再生できない。

また，記録装置１０２は，画像復号部１２３などのデコーダも備えていないため，その分だけ記録装置１０２のスペースを有効活用する，または，記録装置１０２を小型化することができる。その他については，上記説明した記録再生装置１０１と同様である。

（キャッシュＲＥＣ機能を利用した記録処理の変形例について）
次に，図１０を参照しながら，本実施の形態にかかるキャッシュＲＥＣ機能を利用した記録処理の変形例について説明する。なお，図１０は，本実施の形態にかかるキャッシュＲＥＣ機能を利用した記録処理の概略を示す説明図である。なお，以下では，図７に示す記録処理と図１０に示す記録処理との相違点について詳述し，その他の点については実質的に同一であるため説明は省略する。

図１０に示す記録処理と，図６に示す記録処理とを比較すると，図１０に示す記録処理では，ユーザによりＲＥＣ開始ボタンが押された時点よりも過去に格納されたＧＯＰに，ＯＰＥＮ ＧＯＰ（オープンＧＯＰ）とＣＬＯＳＥＤ ＧＯＰ（クローズＧＯＰ）とが混在している点で相違する。

つまり，図６に示す記録処理では，ＲＥＣ開始ボタンが押される以前は，全てクローズＧＯＰが記憶部１２９に記憶されるが，図１０に示す記録処理では，クローズＧＯＰとオープンＧＯＰとが混在して記憶部１２９に記憶されるため，図６に示す記録処理によって記録媒体１４０に記録する記録時間よりも，より一層記録時間を延長することができる。

なお，制御コントローラ１１３は，所定時間遡った時点に対応するクローズＧＯＰの先頭ピクチャの格納アドレスを求める必要があり，さらにＲＥＣ開始ボタンが押される以前のＧＯＰには，少なくとも一つクローズＧＯＰが記憶部１２９に格納されている必要がある。なお，所定時間遡った時点に対応するＧＯＰがクローズＧＯＰでない場合，制御コントローラ１１３は，その対応するＧＯＰから最も近い位置に存在するクローズＧＯＰの先頭ピクチャの格納アドレスを求める。その他については，上記説明した図６に示す一連の記録処理と同様である。

なお，上述した一連の記録処理は，専用のハードウェアにより行うこともできるし，ソフトウェアにより行うこともできる。

上記一連の記録処理をソフトウェアによって実現する場合，そのソフトウェアを構成するプログラムが，汎用のコンピュータやマイクロコンピュータ等の情報処理装置にインストールされ，当該プログラムが上記情報処理装置を記録再生装置１０１または記録装置１０２として機能させる。

プログラムは，コンピュータに内蔵されている記録媒体としてのハードディスクや，ＲＯＭ，ＥＥＰＲＯＭ等に予め記録しておくことができる。

あるいはまた，プログラムは，ハードディスクドライブに限らず，フレキシブルディスク，ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ），磁気ディスク，半導体メモリなどのリムーバブル記録媒体に，一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は，いわゆるパッケージソフトウエアとして提供することができる。

なお，プログラムは，上述したようなリムーバブル記録媒体からコンピュータにインストールする他，ダウンロードサイトから，ディジタル衛星放送用の人工衛星を介して，コンピュータに無線で転送する他，ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ），インターネットといったネットワークを介して，コンピュータに有線で転送し，コンピュータでは，そのようにして転送されてくるプログラムを，受信し，内蔵するハードディスクにインストールすることができる。

ここで，本明細書において，コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは，必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく，並列的あるいは個別に実行される処理（例えば，並列処理あるいはオブジェクトによる処理）も含むものである。

また，プログラムは，１のコンピュータにより処理されるものであっても良いし，複数のコンピュータによって分散処理されるものであっても良い。

以上で，本実施の形態にかかる記録再生装置１０１，記録装置１０２，及びキャッシュＲＥＣ機能を利用した記録処理について詳細な説明を終了するが，かかる記録再生装置１０１，記録装置１０２，又は記録処理によって，以下に示すような優れた効果がある。
（１）リオーダリングが発生する符号化処理の場合でも，記録開始指示があるまではクローズＧＯＰに符号化することで，キャッシュＲＥＣ機能を容易に実現することができる。
（２）クローズＧＯＰを一時的に記憶すれば，キャッシュＲＥＣ機能による所定時間遡った時点に対応するＧＯＰデータと，オーディオデータ又はメタデータとをリップシンクするのが容易にできる。
（３）記録開始指示があるまではクローズＧＯＰに符号化し，記録開始指示以後はオープンＧＯＰに符号化するため，圧縮効率を向上させることができ，記録媒体１４０に記録可能な記録時間を延長することができる。
（４）メディアデータを復号する装置は，ＧＯＰデータとリップシンクするオーディオデータ又はメタデータの開始位置を容易に識別することができるため，適切に復号でき，出力デバイスに映像データを出力できる。
（５）記録開始指示があるまでは画像信号はクローズＧＯＰに少なくとも一個以上符号化され，その他の画像信号はオープンＧＯＰに符号化されることで，より一層圧縮効率を向上させて，記録媒体１４０に記録可能な記録時間を延長することができる。

以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明はかかる例に限定されない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例を想定し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

上記実施形態においては，符号化／復号には，ＭＰＥＧ１，ＭＰＥＧ２，ＭＰＥＧ４などのＭＰＥＧを適用した場合を例に挙げて説明したが，符号化／復号時にリオーダリングが必要なフォーマットであれば，かかる例に限定されない。

上記実施形態において，メディアデータは，ネットワークを介して外部装置と記録再生装置１０１又は記録装置１０２との間で送受信される場合を例に挙げて説明したが，かかる例に限定されず，例えば，外部装置と記録再生装置１０１又は記録装置１０２との間がケーブルなどでライン接続され，上記ケーブルを介してメディアデータが送受信される場合等でも実施可能である。

また，上記実施の形態では，フレーム（又は，フィールド）は，映像データを構成する最小単位のピクチャ（画像）又は音声等を示すものとするが，かかる例に限定されず，例えば，フレームは，上記ピクチャ又は音声を複数フレーム連続して構成されるＧＯＰ及び／又はそのＧＯＰ内の映像（映像データ）を示す場合等でも実施可能である。

また上記実施形態においては，記録媒体１４０に記録開始を指示する場合，キャッシュＲＥＣ機能を有効／無効を指示する場合等，記録指示受付部１１１に備わるボタン（ＲＥＣ開始ボタン，キャッシュＲＥＣ有効ボタンなど）の押下によって指示する場合を例に挙げて説明したが，かかる処理をユーザが記録再生装置１０１に指示することが可能であれば，かかる例に限定されず，いかなる入力手段の場合でも実施可能である。

上記実施形態においては，画像符号化部１１５，オーディオ符号化部１１９，メタ符号化部１２１，画像復号部１２３，オーディオ復号部１２５，およびメタ復号部１２７はハードウェアからなる場合を例にあげて説明したが，本発明はかかる例に限定されない。例えば，上記各部は，１又は２以上のモジュールまたはコンポーネントから構成されるプログラムの場合であってもよい。

本実施の形態にかかる記録再生装置の概略的な構成の一例を示すブロック図である。 本実施の形態にかかるオープンＧＯＰとクローズＧＯＰの概略的な構成を示す説明図である。 本実施の形態にかかるオープンＧＯＰとした場合のキャッシュＲＥＣの概略を示す説明図である。 本実施の形態にかかるクローズＧＯＰとした場合のキャッシュＲＥＣの概略を示す説明図である。 本実施の形態にかかるキャッシュＲＥＣ機能を利用した記録処理の概略を示すフローチャートである。 本実施の形態にかかるキャッシュＲＥＣ機能を利用した記録処理の概略を示す説明図である。 本実施の形態にかかるキャッシュＲＥＣ機能を利用した記録処理の概略を示す説明図である。 本実施の形態にかかるメディアデータの概略的な構成の一例を示す説明図である。 本実施の形態にかかる記録装置の概略的な構成を示すブロック図である。 本実施の形態にかかるキャッシュＲＥＣ機能を利用した記録処理の概略を示す説明図である。

符号の説明

１０１ 記録再生装置
１０２ 記録装置
１１１ 記録指示受付部
１１３ 制御コントローラ
１１５ 画像符号化部
１１６ 独立符号化部
１１７ 非独立符号化部
１１９ オーディオ符号化部
１２１ メタ符号化部
１２９ 記憶部
１３１ 取得部
１３３ 記憶装置
１３５ 記録／再生部
１３７ メディア符号化部
１４０ 記録媒体
１４５ 記録部

Claims (18)

1. 画像信号のシーケンスを入れ替えるリオーダリングを行い，該画像信号をピクチャに符号化する映像処理装置であって：
   １又は２フレーム以上の前記ピクチャをグループ化し，少なくとも前方又は後方のピクチャ群とは独立している独立ピクチャ群に符号化する独立符号化部と；
   １又は２フレーム以上の前記ピクチャをグループ化し，前方又は後方のうち少なくともいずれか一方のピクチャ群と関連性がある非独立ピクチャ群に符号化する非独立符号化部と；
   記録開始又は記録終了の記録指示を受付けることが可能な記録指示受付部と；
   前記記録受付部により前記記録開始指示が受付けられるまでは前記独立符号化部又は前記非独立符号化部のうちいずれか一方に対して符号化するよう指示し，前記記録開始指示が受付けられた後は前記非独立符号化部に対して符号化するよう指示する符号化指示部と；
   前記独立符号化部又は前記非独立符号化部のうちいずれか一方から出力されてくる順に前記独立ピクチャ群又は前記非独立ピクチャ群を記憶する記憶部と；
   前記記録受付部によって記録開始指示が受付けられると，前記記憶部に格納された複数の前記独立ピクチャ群又は前記非独立ピクチャ群について，その記録開始指示が受付けられた時点から所定時間遡り，その遡った時点の近傍に存在する前記独立ピクチャ群から順に１又は２以上の独立ピクチャ群又は非独立ピクチャ群を取得する取得部とを備えることを特徴とする，映像処理装置。
2. 前記取得部は，前記遡った時点の近傍に存在する前記独立ピクチャ群の先頭位置から順に取得することを特徴とする，請求項１に記載の映像処理装置。
3. 前記独立ピクチャ群に含まれる各ピクチャは，その独立ピクチャ群内で独立して復号されることを特徴とする，請求項１に記載の映像処理装置。
4. 前記非独立ピクチャ群に含まれる各ピクチャは，前方又は後方の独立ピクチャ群又は非独立ピクチャ群に含まれるピクチャが参照されることで，復号されることを特徴とする，請求項１に記載の映像処理装置。
5. 前記映像処理装置は，記録媒体に記録可能な記録部をさらに備え，
   前記記録部は，前記取得部により取得される前記独立ピクチャ群又は前記非独立ピクチャ群を順に前記記録媒体に記録することを特徴とする，請求項１に記載の映像処理装置。
6. 前記記録部は，前記取得部により前記遡った時点の近傍に存在する前記独立ピクチャ群から順に取得された前記独立ピクチャ群又は前記非独立ピクチャ群を前記記録媒体に記録し，前記記録開始指示が受付けられた以降は前記非独立符号化部が符号化し取得部により取得された前記非独立ピクチャ群を前記記録媒体に記録することを特徴とする，請求項１に記載の映像処理装置。
7. 前記符号化指示部は，前記記録受付部により前記記録開始指示が受付けられるまでは前記独立符号化部に対して符号化するよう指示し，前記記録受付部により前記記録開始指示が受付けられた以降は前記非独立符号化部に対して符号化するよう指示することを特徴とする，請求項１に記載の映像処理装置。
8. 前記ピクチャは，ピクチャ内独立の符号化手法で符号化されるＩピクチャ，片方向予測の符号化手法で符号化されるＰピクチャ，または双方向予測の符号化手法で符号化されるＢピクチャのうち少なくとも一方であることを特徴とする，請求項１に記載の映像処理装置。
9. 前記映像処理装置は，音声信号をオーディオデータに符号化するオーディオ符号化部と；
   前記独立ピクチャ群又は前記非独立ピクチャ群のうち少なくとも一方のピクチャ群と，前記オーディオデータとを同期させ，該ピクチャ群とオーディオデータとを含んだメディアデータを出力するメディア符号化部をさらに備えることを特徴とする，請求項１に記載の映像処理装置。
10. 前記映像処理装置は，前記画像信号及び／又は音声信号に関する属性信号をメタデータに符号化するメタ符号化部をさらに備え，
    前記メディア符号化部は，前記独立ピクチャ群又は前記非独立ピクチャ群のうち少なくとも一方のピクチャ群と，前記オーディオデータと，前記メタデータとを同期させ，該ピクチャ群とオーディオデータとメタデータとを含んだメディアデータを出力することを特徴とする，請求項１に記載の映像処理装置。
11. 前記メディアデータは，１又は２個以上のパケットデータであることを特徴とする，請求項１に記載の映像処理装置。
12. 前記映像処理装置は，音声信号を１又は２フレーム以上のオーディオデータに符号化するオーディオ符号化部と；
    前記独立ピクチャ群又は前記非独立ピクチャ群のうち少なくとも一方のピクチャ群に含まれるピクチャと，前記オーディオデータとを１又は２フレーム以上の単位で同期させ，該ピクチャとオーディオデータとを含んだメディアデータを出力するメディア符号化部をさらに備えることを特徴とする，請求項１に記載の映像処理装置。
13. 前記映像処理装置は，前記画像信号及び／又は音声信号に関する属性信号を１又は２フレーム以上のメタデータに符号化するメタ符号化部をさらに備え，
    前記メディア符号化部は，前記独立ピクチャ群又は前記非独立ピクチャ群のうち少なくとも一方のピクチャ群に含まれるピクチャと，前記オーディオデータと，前記メタデータとを１又は２フレーム以上の単位で同期させ，該ピクチャとオーディオデータとメタデータとを含んだメディアデータを出力することを特徴とする，請求項１に記載の映像処理装置。
14. 画像信号のシーケンスを入れ替えるリオーダリングを行い，該画像信号をピクチャに符号化する映像処理方法であって：
    記録開始指示が受付けられるまで，１又は２フレーム以上の前記ピクチャをグループ化し，少なくとも前方又は後方のピクチャ群とは独立している独立ピクチャ群に符号化する独立符号化工程，又は，１又は２フレーム以上の前記ピクチャをグループ化し，前方又は後方のうち少なくともいずれか一方のピクチャ群と関連性がある非独立ピクチャ群に符号化する非独立符号化工程のうちいずれか一方の符号化工程を実行し，記憶部に前記独立ピクチャ群又は前記非独立ピクチャ群を格納する第１格納工程と；
    前記記録開始指示が受付けられると，前記第１格納工程で記憶部に格納された複数の前記独立ピクチャ群又は前記非独立ピクチャ群について，その記録開始指示が受付けられた時点から所定時間遡り，その遡った時点の近傍に存在する前記独立ピクチャ群から順に１又は２以上の独立ピクチャ群又は非独立ピクチャ群を取得する第１取得工程と；
    前記記録開始指示が受付けられた後は前記非独立符号化工程を実行し，前記非独立ピクチャ群を前記記憶部に格納する第２格納工程とを含むことを特徴とする，映像処理方法。
15. 前記映像処理方法は，前記第１取得工程で取得した前記独立ピクチャ群又は前記非独立ピクチャ群を記録媒体に記録する第１記録工程をさらに含むことを特徴とする，請求項１４に記載の映像処理方法。
16. 前記映像処理方法は，前記第２格納工程で前記記憶部に格納された前記非独立ピクチャ群を取得する第２取得工程と；
    前記第２取得工程で取得した前記非独立ピクチャ群を前記記録媒体に記録する第２記録工程をさらに含むことを特徴とする，請求項１５に記載の映像処理方法。
17. 前記映像処理方法は，音声信号をオーディオデータに符号化するオーディオ符号化工程と；
    前記画像信号及び／又は音声信号に関する属性信号をメタデータに符号化するメタ符号化工程と；
    前記独立ピクチャ群又は前記非独立ピクチャ群のうち少なくとも一方のピクチャ群と，前記オーディオデータと，前記メタデータとを同期させ，該ピクチャ群とオーディオデータとメタデータとを含んだメディアデータを出力するメディアデータ出力工程とをさらに含むことを特徴とする，請求項１４に記載の映像処理方法。
18. 画像信号のシーケンスを入れ替えるリオーダリングを行い，該画像信号をピクチャに符号化する映像処理方法をコンピュータに実行させるコンピュータプログラムであって：
    １又は２フレーム以上の前記ピクチャをグループ化し，少なくとも前方又は後方のピクチャ群とは独立している独立ピクチャ群に符号化する独立符号化手段と；
    １又は２フレーム以上の前記ピクチャをグループ化し，前方又は後方のうち少なくともいずれか一方のピクチャ群と関連性がある非独立ピクチャ群に符号化する非独立符号化手段と；
    記録開始又は記録終了の記録指示を受付けることが可能な記録指示受付手段と；
    前記記録受付手段により前記記録開始指示が受付けられるまでは前記独立符号化手段又は前記非独立符号化手段のうちいずれか一方に対して符号化するよう指示し，前記記録開始指示が受付けられた後は前記非独立符号化手段に対して符号化するよう指示する符号化指示手段と；
    前記独立ピクチャ群又は前記非独立ピクチャ群を記憶部に格納する格納手段と；
    前記記録受付手段によって記録開始指示が受付けられると，前記記憶部に一時的に格納された複数の前記独立ピクチャ群又は前記非独立ピクチャ群について，その記録開始指示が受付けられた時点から所定時間遡り，その遡った時点の近傍に存在する前記独立ピクチャ群から順に１又は２以上の独立ピクチャ群又は非独立ピクチャ群を取得する取得手段とを含むことを特徴とする，コンピュータプログラム。

Images