JP2009272929A - 映像符号化装置および映像符号化方法 - Google Patents

Abstract

【課題】解像度変換を伴うトランスコードやダビングでも、フレームレートを落とすことなく、映像データの高速な変換やダビングが可能である映像符号化装置を提供する。
【解決手段】トランスコーダ１００は、ＨＤ画像を符号化して記録する際、局所復号画像の解像度変換を行ったＳＤ画像についても同時に符号化を行う。このとき、ＳＤ解像度符号データのうち、符号化効率の高いデータ（Ｂピクチャの符号データ）のみを１次記録メディア１０９に記録しておく。変換ダビング時、このＢピクチャの符号データと、再エンコードを行ったピクチャ（Ｉ／Ｐピクチャ）の符号データとを統合し、統合されたビットストリームを２次記録メディア１１２に記録する。このように、最小サイズの１次記録の増加のみで、高速な変換ダビングが可能になる。
【選択図】図１

Description

本発明は、映像の再符号化を行う映像符号化装置および映像符号化方法に関する。

近年、動画像の記録方式として、標準解像度（以降、ＳＤ解像度）からハイビジョン解像度（以降、ＨＤ解像度）へ方式の移行が急速に進んでいる。

一方、動画像符号化の規格としては、ＩＳＯ／ＩＥＣの国際標準規格である、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４が広く使用されている。

また近年、より高い符号化効率を持つ規格として、ＩＴＵ−Ｔ Ｈ．２６４（あるいはＭＰＥＧ−４ ＡＶＣと呼称される）が勧告されている。

これらの規格群の中でＨＤ解像度へ対応可能な規格として、ＭＰＥＧ−２やＨ．２６４規格の搭載製品が進んでいる。搭載製品のカテゴリとしては、磁気ディスクやＢｌｕ−ｒａｙ（登録商標）ディスクを用いた放送受信用レコーダ機器、ＡＶＣＨＤ規格を用いたビデオカムコーダなどが実用化されている。

一方、依然として、多くのコンシューマはＳＤ解像度の映像の再生しかできない環境にあることが多い。従って、１次記録としてはＨＤ解像度で行ったとしても、第三者へはＳＤ解像度に変換してから配布した方が再生互換性という点では確実である。

このような用途において、ＨＤ解像度記録が可能な装置では、記録の後にＳＤ解像度に解像度およびフォーマット変換を行う機能を搭載していることが多い。この解像度や符号量あるいは適用フォーマットの変換機能は一般的にトランスコーダと総称される。

図１３は従来のトランスコーダの構成を示すブロック図である。トランスコーダは、ＨＤ映像入力装置９０１、表示装置９０２、ＨＤエンコーダ９０３、ＨＤデコーダ９０４、解像度変換装置９０５、ＳＤエンコーダ９０６、１次記録メディア９０７および２次記録メディア９０８を有する。

ＨＤ映像入力装置９０１はＨＤ解像度で撮影可能なビデオカメラ装置である。ＨＤエンコーダ９０３はＨＤ解像度のビデオ入力に対して符号化を行う。１次記録メディア９０７はＨＤサイズで符号化された符号データを蓄積する。記録メディア自体は、磁気ディスク、光ディスク、メモリカードなどと多様化している。ここまでの動作を１次録画機能とする。

ＨＤエンコーダ９０３の一例として、Ｈ．２６４方式の符号化装置の構成は以下のとおりである（図２参照）。Ｈ．２６４規格の記録方式も、従来のＭＰＥＧ−２規格の記録方式などと同じく、動き補償機能と変換符号化を用いた画像圧縮方式である。

Ｈ．２６４方式の符号化装置において、動きベクトル検出部（２０１）は、符号化を行うフレームと参照フレームとを用い、マクロブロック単位に動き検出を行い、動きベクトルを算出する。フレームメモリ（２０５）には、符号化を行うフレームと参照フレームが記録されている。

フレーム差分器（２０２）は、算出された動きベクトルを用いて、マクロブロック単位で、符号化を行うフレームと参照フレームの差分値を求める。整数変換部（２０３）は、空間冗長性を省くべく差分画像を周波数空間に変換する。量子化部（２０４）は量子化処理を行う。量子化後の係数データや各種マクロブロック付加情報は、二値化部（２１０）で二値化される。二値データは最終的にエントロピー符号化部（２１１）により符号化され、ビットストリームとして出力される。

一方、逆量子化部（２０８）および逆整数変換部（２０９）によって再構成された差分画像は、フレーム加算器（２０７）により参照画像と加算される。その後、デブロッキングフィルタ（２０６）を通過した画像は、次フレーム以降の符号化のために再びフレームメモリ（２０５）に記録される。この画像は、一般的にローカルデコード画像（あるいは局所復号画像）と呼ばれる。これらの各部の組み合わせでＨＤエンコーダは構成され、ＨＤ解像度での１次記録機能として使用される。

つぎに、Ｈ．２６４方式の符号化装置からのＨＤビットストリームを入力ソースとした場合のトランスコーダの動作を説明する。ＨＤデコーダ９０４は、１次記録メディア９０７から符号データを読み出し、ＨＤサイズのビデオ画像を復号する。表示装置９０２は復号されたＨＤ画像を適宜表示する。

解像度変換装置９０５は、復号されたＨＤ画像をＳＤ解像度に変換する、つまり縮小処理を行う。ＳＤエンコーダ９０６は、解像度変換後の画像をＳＤ解像度において符号化を行う。２次記録メディア９０８はＳＤサイズで符号化された符号データを蓄積する。第２の記録（蓄積）メディア９０８には、第三者への配布に適した任意のリムーバブルメディアが使用される。例えば、安価な記録型ＤＶＤディスクなどがこれにあたる。

ＨＤ用とＳＤ用では、符号化方式（フォーマット）を変更することも多く、例えばオリジナルのＨＤサイズのビデオ画像は符号化効率の高いＨ．２６４方式を用いて記録され、変換後、より再生互換性の高いＭＰＥＧ−２を使用して記録される。このように、用途に応じて符号化方式が使い分けられる。

本従来例では、ＨＤデコーダ９０４は符号化された全ての映像フレームを復号するので、その変換速度は、記録時のフレームレートと同一であり、例えばＮＴＳＣ圏では、６０フィールド／秒（＝３０フレーム／秒）になる。従って、ＳＤエンコーダ９０６においても、同一のフレームレートで符号化を行うことになる。このように、１次記録メディア９０７から２次記録メディア９０８へのダビング（ＨＤ解像度からＳＤ解像度への変換を含む）には、記録済みデータの記録時間分が必要である。これは等速（１倍速）ダビングとも呼ばれる機能である。

また、特許文献１には、ＭＰＥＧ−２で記録された符号データを元に、適宜Ｂピクチャのスキップに拠るフレーム間引きおよび解像度変換を行いながら、ＭＰＥＧ−４フォーマットへ高速にダビングする手法が開示されている。

また、特許文献２には、解像度の異なる複数の画像を符号化する際、複数の解像度での動きベクトル検出を共通に使用化して簡便な方法で行う手段が開示されている。
特開２００６−２７９２６２号公報 特開２００２−３４４９７２号公報

しかしながら、上記従来の映像符号化装置では、以下に掲げる問題があった。すなわち、図１３のトランスコーダの構成においては、フレームごとに、ＨＤ解像度の符号データの復号、解像度変換、ＳＤ解像度符号化という工程を経ることが必要である。従って、１次記録メディアから２次記録メディアへの変換ダビング動作を、特許文献１で提示されているようなフレーム間引きを行う方法以外では、ＨＤ再生速度以上で行うことは実現できなかった。このため、ダビングの速度も原理的に再生速度の１倍（またはそれ以下）となり、短時間でダビングディスクを作成することができず、使い勝手に問題があった。

そこで、本発明は、解像度変換を伴うトランスコードやダビングでも、フレームレートを落とすことなく、映像データの高速な変換やダビングが可能である映像符号化装置および映像符号化方法を提供することを目的とする。

上記目的を達成するために、本発明の映像符号化装置は、映像の再符号化を行う映像符号化装置において、映像データの符号化を行って第１の符号データを生成する第１の符号化手段と、前記生成された第１の符号データを復号して映像データを生成する復号手段と、前記復号手段によって復号された映像データの解像度を変換する解像度変換手段と、前記解像度変換手段によって変換された映像データの符号化を行って第２の符号データを生成する第２の符号化手段と、前記第１の符号化手段によって生成された第１の符号データと、前記第２の符号化手段によって生成された第２の符号データのうちあらかじめ指定されたフレームの前記第２の符号データを記録媒体に蓄積する蓄積手段とを備え、前記第１の符号化手段および前記第２の符号化手段によるそれぞれの符号化を並行して行うことを特徴とする。

本発明の映像符号化装置は、映像の再符号化を行う映像符号化装置において、映像データの符号化を行って第１の符号データを生成する第１の符号化手段と、前記第１の符号化手段の符号化動作と同時に、前記生成された第１の符号データを復号して映像データを生成する第１の復号手段と、前記第１の符号化手段の符号化動作と同時に、前記第１の復号手段によって復号された映像データの符号化を行って第２の符号データを生成する第２の符号化手段と、前記第１の符号化手段によって生成された第１の符号データと、前記第２の符号化手段によって生成された第２の符号データのうちあらかじめ指定されたフレームの第２の符号データを第１の記録媒体に蓄積する第１の蓄積手段と、前記第１の蓄積手段によって前記第１の記録媒体に蓄積された第１の符号データのうち、前記第２の符号データの蓄積が除外されたフレームの前記第１の符号データを復号して映像データを生成する第２の復号手段と、前記第２の復号手段によって復号された映像データが前記第２の符号化手段によって符号化され生成された第２の符号データと、前記第１の蓄積手段によって前記第１の記録媒体に蓄積された第２の符号データとを統合する統合手段と、前記統合された第２の符号データを第２の記録媒体に蓄積する第２の蓄積手段とを備えたことを特徴とする。

本発明の映像符号化方法は、映像の再符号化を行う映像符号化方法において、映像データの符号化を行って第１の符号データを生成する第１の符号化ステップと、前記第１の符号化ステップの符号化動作と同時に、前記生成された第１の符号データを復号して映像データを生成する第１の復号ステップと、前記第１の符号化ステップの符号化動作と同時に、前記第１の復号ステップで復号された映像データの符号化を行って第２の符号データを生成する第２の符号化ステップと、前記第１の符号化ステップで生成された第１の符号データと、前記第２の符号化ステップで生成された第２の符号データのうちあらかじめ指定されたフレームの第２の符号データを第１の記録媒体に蓄積する第１の蓄積ステップと、前記第１の記録媒体に蓄積された第１の符号データのうち、前記第２の符号データの蓄積が除外されたフレームの前記第１の符号データを復号して映像データを生成する第２の復号ステップと、前記第２の復号ステップで復号された映像データが符号化され生成された第２の符号データと、前記第１の蓄積ステップで前記第１の記録媒体に蓄積された第２の符号データとを統合する統合ステップと、前記統合された第２の符号データを第２の記録媒体に蓄積する第２の蓄積ステップとを有することを特徴とする。

本発明によれば、映像データの符号化を行って第１の符号データを記録媒体に蓄積する際、復号された映像データについても同時に符号化を行い、指定されたフレームの第２の符号データのみを記録媒体に蓄積しておく。これにより、解像度変換を伴うトランスコードやダビング時などに、フレームレートを落とすことなく、映像データの高速な変換やダビングが可能となる。

本発明の映像符号化装置および映像符号化方法の実施の形態について図面を参照しながら説明する。本実施形態の映像符号化装置は、Ｈ．２６４規格のＨＤ解像度符号データをＭＰＥＧ−２規格のＳＤ解像度符号データに変換するトランスコーダに適用される。

図１は実施の形態におけるトランスコーダの構成を示すブロック図である。トランスコーダ１００は、ＨＤ解像度映像入力部１０２、ＨＤエンコーダ１０４、セレクタ１０５、解像度変換部１０６、ピクチャタイプ設定部１０７、ＳＤエンコーダ１０８および１次記録メディア１０９を有する。また、トランスコーダ１００は、記録データ選別部１１０、符号データマージ（Ｉ，Ｐ，Ｂピクチャマージ）モジュール１１１および２次記録メディア１１２を有する。また、トランスコーダ１００は、ＨＤ再生部１０１、ＨＤデコーダ１０３およびストリームパーサ１１３を有する。

ＨＤ解像度映像入力部１０２は、ビデオカメラ装置などの画像入力装置であり、映像データを出力する。ＨＤエンコーダ１０４（第１の符号化手段）は、従来と同様の構成を有し、例えばＨ．２６４規格に準じた符号化処理を行う。図２はＨＤエンコーダ１０４の一例としてＨ．２６４方式の符号化装置の構成を示す図である。Ｈ．２６４規格の記録方式も、従来のＭＰＥＧ−２規格の記録方式などと同じく、動き補償機能と変換符号化を用いた画像圧縮方式である。

Ｈ．２６４方式の符号化装置において、動きベクトル検出部２０１は、符号化を行うフレームと参照フレームとを用い、マクロブロック単位に動き検出を行い、動きベクトルを算出する。フレームメモリ２０５には、符号化を行うフレームと参照フレームが記録されている。

フレーム差分器２０２は、算出された動きベクトルを用いて、マクロブロック単位で、符号化を行うフレームと参照フレームの差分値を求める。整数変換部２０３は、空間冗長性を省くべく差分画像を周波数空間に変換する。量子化部２０４は量子化処理を行う。量子化後の係数データや各種マクロブロック付加情報は、二値化部２１０で二値化される。二値データは最終的にエントロピー符号化部２１１により符号化され、ビットストリームとして出力される。

一方、逆量子化部２０８および逆整数変換部２０９によって再構成された差分画像は、フレーム加算器２０７により参照画像と加算される。その後、デブロッキングフィルタ２０６を通過した画像は、次フレーム以降の符号化のために再びフレームメモリ２０５に記録される。この画像は、一般的にローカルデコード画像（あるいは局所復号画像）と呼ばれる。これらの各部の組み合わせでＨＤエンコーダは構成され、ＨＤ解像度での１次記録機能として使用される。

また、１次記録メディア１０９はＨＤ解像度の符号データを蓄積する。ここまでの動作は、従来と同様、ＨＤ記録のための１次録画機能である。

一方、ＨＤエンコーダ１０４から、図２で説明したように、局所復号画像が出力される。この動作は第１の復号手段に相当する。セレクタ１０５は、２種類の画像入力として復号画像データあるいは局所復号画像データを切り替える。具体的に、１次記録時では局所復号画像が選択される。解像度変換部１０６は、入力画像であるＨＤ解像度画像をＳＤ解像度画像に変換する。

ピクチャタイプ設定部１０７は、符号化方式に応じてあらかじめ指定されたピクチャタイプを指定する。ＭＰＥＧ−２の場合、ピクチャタイプとして、Ｉピクチャ（フレーム内符号化ピクチャ）、Ｐピクチャ（フレーム間の前方（単一方向）予測符号化ピクチャ）、Ｂピクチャ（フレーム間の双方向予測符号化ピクチャ）の３つのピクチャタイプがある。これらのフレーム群でＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）が構成される。

図３はＧＯＰの一般的な構造を示す図である。本実施形態では、３フレームごとにＰピクチャフレーム（単一方向予測符号化ピクチャ）が設定され、その間にＢピクチャが２フレームずつ挿入されている。また、Ｉピクチャフレーム（フレーム内符号化ピクチャ）、１５フレーム程度ごとに使用され、計１５フレーム（ＮＴＳＣ規格では０．５秒間に相当）で１つのＧＯＰを形成している。このような構成はＭＰＥＧ−２エンコーダにおいて非常に一般的である。この場合、ピクチャごとの符号量は、各ピクチャタイプの符号化効率を考慮し、数式（１）に示すように設定される。

Ｉピクチャ符号量 ＞ Ｐピクチャ符号量 ＞ Ｂピクチャ符号量 ……（１）
図３に示すように、実際の出力符号量についても、通常、数式（１）が成立する。ここでの着目点は、Ｂピクチャの発生符号量の小ささにある。符号量の比率は画像の種類によって異なるが、おおむねＢピクチャの符号量の設定は実験的にＩピクチャの１／５以下である。この符号量の設定は、ビットレートから換算してＧＯＰ単位あるいはさらに長時間単位で符号量出力値を監視（モニタ）しつつ、フレームごとに決定される。このため、既符号化済みフレームの出力符号量をフィードバックして行う必要がある。

ＳＤエンコーダ１０８（第２の符号化手段）は、このようにしてＧＯＰ構造が設定されたＳＤ画像を符号化する符号化動作を行う。ＨＤエンコーダ１０４とＳＤエンコーダ１０８の符号化動作は並行して行われる。記録データ選別部１１０は、本実施形態では、Ｉ／Ｐピクチャと、Ｂピクチャとの記録データを選別し、その後、第１記録メディア１０９にＢピクチャの符号データのみを記録する蓄積動作を行う。第１記録メディア１０９にＢピクチャの符号データおよびＨＤ解像度の符号データを蓄積する動作は第１の蓄積手段に相当する。

一方、Ｉ／Ｐピクチャの符号データ自体は記録されずに破棄される。その代わりに、符号化の際に使用された符号量制御情報（目標符号量値など）が記録される。このように、ＨＤ画像の符号データおよびＳＤ画像の符号データを関連付ける管理情報として、ＳＤエンコーダ１０８によって符号化された後に蓄積が除外されたフレームにおける符号量制御のためのＳＤエンコーダ１０８への設定情報が記録される。あるいは過去に符号化が行われたフレームの出力符号量情報が記録される。あるいは、ＨＤ画像の符号データおよびＳＤ画像の符号データが同一内容の映像であることを関連付ける情報、つまりこれらの符号データが撮影内容自体は同じ内容のビデオ映像であることを関連付ける情報が記録される。ここまでの動作（１次記録動作）を第１ステップと称することにする。

つぎに、第１ステップ以降の、ダビング時の動作（第２ステップと称する）について説明する。第２ステップでは、１次記録メディア１０９に記録済みのＨＤ画像符号データが読み出され、ストリームパーサ１１３によって、第１ステップにおいて記録されたＳＤ解像度のＢピクチャ以外の位相に位置するＨＤ画像の符号データのみが抽出される。

ＨＤデコーダ１０３（第２の復号手段）は、抽出されたＨＤ画像の符号データを限定されたフレームのみ復号する。復号されたＨＤ画像は解像度変換機能においてＳＤ画像に縮小される。その後、縮小されたＳＤ画像のフレームはＳＤエンコーダ１０８に供給され、ＳＤエンコーダ１０８はＩ／Ｐピクチャに対して符号化を行う。このとき、ＳＤエンコーダ１０８は、第１ステップで使用した符号化パラメータ情報（符号量制御情報）を同時に読み出し、第１ステップと完全に同一の符号データが生成されるように制御を行う。これは、Ｉ／Ｐピクチャはそれぞれ動き補償のための参照フレームとして使用されるため、第１ステップで生成された局所復号画像と画素値まで完全に一致する画像を生成することが必須であるからである。

一方、第２ステップにおいてＳＤ符号化されたＩ／Ｐピクチャの符号データは、符号データマージモジュール１１１に送られる。この符号データマージモジュール１１１では、１次記録メディア１０９から別途読み出された、第１ステップにおいて符号化されたＢピクチャの符号データと、第２ステップにおいて符号化されたＩ／Ｐピクチャの符号データとがマージ（統合）される。そして、全てのフレームの符号データが整ったビットストリームとして、ＳＤ画像符号データが形成される。その結果である、ＳＤ画像符号データは２次記録メディア１１２（第２の記録媒体）に記録される。この記録動作は第２の蓄積手段に相当する。２次記録メディア１１２として、例えば追記型ＤＶＤディスク（ＤＶＤ±Ｒなど）を用いた場合、可搬性のある映像コピー（変換ダビング）が完了することになる。

このように、１次記録メディア１０９には、１次記録時、ＨＤ画像の全てのフレームの符号データ、およびＳＤ画像のＢピクチャの符号データが同時に記録されなければならない。このとき、双方の符号データは、同一の１次記録メディア１０９内に記録されるものとする。１次記録メディア１０９（第１の記録媒体）がハードディスクドライブである場合、メディア内部をあらかじめ２つのディスククォータ（Ｄｉｓｋ Ｑｕｏｔａ）に分割しておくことが望ましい。図４は２つのディスククォータに分割されたハードディスクドライブを示す図である。ハードディスクドライブ（ハードディスク装置）４００は、ＨＤ画像の符号データが記憶されるＨＤ記憶エリア４０１（第１の領域）、およびＳＤ画像の符号データが記憶されるＳＤ記録エリア４０２（第２の領域）に分割される。このような領域を設定することによって、もし変換されたＳＤ画像のＢピクチャの符号データサイズが第２の領域に定められた上限値より大きいような場合、Ｂピクチャの記録を停止する。これにより、１次記録としてより重視すべきＨＤ画像の記録時間が変動してしまうことを回避することができる。

図５はダビング処理の時間経過を表した図である。同図（Ａ）は等速ダビングの場合を示し、同図（Ｂ）は３倍速ダビングの場合を示す。図中、Ｉ、Ｐ、Ｂはそれぞれピクチャタイプを示し、添え字の０，１，２…はピクチャタイプごとの表示順であるフレーム番号を示す。例として、Ｐ５は表示順で６フレーム目のＰピクチャを表す。本実施形態では、図５（Ｂ）に示すように、ＨＤデコードは、Ｉ２，Ｐ５、Ｐ８…と、ＩピクチャおよびＰピクチャに対してのみ行われる。

トランスコーダ１００は、Ｉ２フレームのＨＤデコード、解像度変換およびＳＤエンコードを行い、ＳＤ符号データが作成された後、第１記録メディア１０９からＢ０，Ｂ１フレームの符号データを読み出し、Ｉ２フレームの符号データとマージ（統合）する。同様に、トランスコーダ１００は、Ｐ５フレームのＨＤデコード、解像度変換およびＳＤエンコードを行い、ＳＤ符号データが作成された後、第１記録メディア１０９からＢ３，Ｂ４フレームの符号データを読み出し、Ｐ５フレームの符号データとマージ（統合）する。

このような動作を行うことにより、Ｂピクチャについては符号データをマージ（統合）するのみであるので、Ｂピクチャのエンコード処理時間を実質ゼロとすることができる。従って、トランスコーダの動作は３フレームに対して１フレームの割合になり、ビデオ映像再生時の３倍速でＳＤ画像符号データを作成することが可能である（図５（Ｂ）参照）。

引き続き、トランスコーダ１００は、Ｐ８フレームについてＳＤエンコードの後、Ｐ８フレームの符号データとＢ６、Ｂ７フレームの符号データをマージ（統合）する。この後、ディスククォータフルによりそれ以降のＢピクチャの符号データが記録されなかった場合、トランスコーダ１００は、次のような動作を行う。図６は高速ダビングの途中でディスククォータフルに至った場合のダビング処理の時間経過を表した図である。すなわち、トランスコーダ１００は、Ｐ１１以降のフレームに対し、全て実時間でトランスコードを行う。これにより、Ｐ１１以降のフレーム部分は１倍速動作となり、高速変換と１倍速変換を組み合わせて使用することが可能になる（図６参照）。

図７はＨＤ画像のＧＯＰ構造とＳＤ画像のＧＯＰ構造の関係を示す図である。ここで、ＳＤ画像への変換を高速ダビングで行う際、Ｂピクチャに相当するＢ０、Ｂ１、Ｂ３、Ｂ４、Ｂ６、Ｂ７フレームは既にエンコードされているものとする。

例えば、ＳＤ画像のＰ５フレームを変換する場合、同じ位相に位置するＨＤ画像のＰ５フレームをデコードする必要がある。このように、ＨＤ画像とＳＤ画像では、符号化のフレーム予測タイプを同一にしておくことが肝要である。

もしこのようにしておかないと、同図のケースでは、例えばＩ２フレームを変換しようとすると、同位相に対応するＨＤ画像のＢ４フレームをデコードしなければならない。Ｂ４フレームをデコードするためには、予測関係からＩ２およびＰ５フレームをデコードすることが必要であり、高速ダビング機能が成立しなくなるためである。

図８はトランスコーダにおける高速ダビング時の動作手順を示すフローチャートである。トランスコーダ１００は、ピクチャタイプ判定過程を行い、オリジナルＨＤ画像の符号データから、処理すべきフレームのピクチャタイプ（Ｉ／Ｐ／Ｂ）を判定する（ステップＳ１）。

トランスコーダ１００は、処理すべきフレームがＢピクチャタイプである場合、１次記録メディア１０９の中に、既に記録されたＢピクチャの符号データの有無を判定する過程を行う（ステップＳ２）。

Ｂピクチャの符号データが存在した場合、トランスコーダ１００は、そのピクチャデータを１次記録メディア１０９から読み出す（ステップＳ３）。一方、Ｂピクチャの符号データが存在しなかった場合、トランスコーダ１００は、解像度変換部１０６により解像度変換を行い（ステップＳ４）、ＳＤエンコーダ１０８によりＳＤ画像の符号化を行う（ステップＳ５）。

そして、トランスコーダ１００は、１次記録メディア１０９から読み出された符号データ、あるいは新たに符号化された符号データをマージ（統合）する（ステップＳ６）。この後、トランスコーダ１００は、映像データのファイルの終了に達したか否かを判別し（ステップＳ７）、ファイルの終了に達していない場合、ステップＳ１の処理に戻り、ファイルの終了まで繰り返し同様の処理を行う。

一方、ステップＳ１で処理すべきフレームがＢピクチャタイプでない場合、すなわち、ＩピクチャタイプあるいはＰピクチャタイプのフレームに対し、トランスコーダ１００は、ステップＳ４で解像度変換部１０６により解像度変換を行う。さらに、トランスコーダ１００は、ステップＳ５でＳＤエンコーダ１０８によりＳＤ画像の符号化を行い、ステップＳ６で新たに符号化された符号データをマージ（統合）する。

ここで、ＨＤエンコーダをＨ．２６４方式とし、ＳＤエンコーダをＭＰＥＧ−２方式とし、図３に示すように一般的なＧＯＰ構造とした場合、ハードディスクにおけるＢピクチャの記録領域について考察する。ＨＤストリームのビットレートを１２Ｍｂｐｓ、ＳＤストリームのビットレートを４Ｍｂｐｓとした場合、ＳＤ画像のＢピクチャデータのみのビットレートは実質１．５Ｍｂｐｓ程度であると想定される。従って、Ｂピクチャの記録領域は、最終的にＨＤストリームの１０％程度のサイズをディスククォータに設定しておくことで、十分である。これにより、１次記録の記録時間（＝１次記録メディアの総容量）に与える影響を非常に小さくすることができる。従って、本実施形態のトランスコーダは容易に実現可能であると考えられる。

このように、本実施形態のトランスコーダ１００は、ＨＤ画像を符号化して記録する際、局所復号画像の解像度変換を行ったＳＤ画像についても同時に符号化を行う。このとき、ＳＤ画像符号データのうち、符号化効率の高いデータ（Ｂピクチャの符号データ）のみを１次記録メディアに記録しておく。変換ダビング時、このＢピクチャの符号データと、再エンコードを行うピクチャ（Ｉ／Ｐピクチャ）の符号データとを統合し、統合されたビットストリームを２次記録メディア１１２に記録する。このように、最小サイズの１次記録の増加のみで、高速な変換ダビングが可能になる。

なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。

例えば、上記実施形態では、１次記録メディア１０９には、１次記録であるＨＤ解像度符号データおよび解像度変換後のＳＤ解像度符号データがともに記録されている。しかし、使用者によっては、１次記録された映像が不要であり、変換ダビング（２次記録後）に削除するケースがある。このような場合、ＨＤ解像度符号データが削除された後、変換後のＳＤ解像度符号データのみを継続して保存しておいても無意味であるので、トランスコーダは自動的に同時に削除する機能を有することが望ましい。このように、不要なＳＤ解像度符号データが自動的に削除されるので、１次記録メディアの記録容量の減少を抑えることができる。

図９はトランスコーダに備わる削除機能を利用する際のユーザインタフェースを示す図である。使用者が削除機能を利用する際のユーザインタフェースとして、削除画面６０１には削除メニューが表示される。削除メニューには、使用者によって指示された削除対象のＨＤ解像度符号データ６０２、および同時に自動的に削除対象となるＳＤ解像度符号データ６０３が表示されている（図中、×表示）。トランスコーダは、使用者からの削除指示に従い、変換ダビング後にＨＤ解像度符号データ６０２およびＳＤ解像度符号データ６０３を共に削除する。

また、上記実施形態では、１次記録メディア中に、ＨＤ画像の符号データと、変換されたＳＤ画像の符号データの一部が共存することになる。ここで、ユーザインタフェースとしては、ＳＤ画像の符号データ（一部のファイル）の存在を独立して提示する必要は必ずしもない。しかし、記録済みのＨＤ映像について、高速ダビングが可能であるか否か、すなわちＳＤ画像の部分ビットストリームデータが別途記録済みであるか否かの識別情報を、ユーザに提示することは大切である。図１０はユーザインタフェースとして表示されるムービー一覧画面を示す図である。このムービー一覧画面７０１では、高速ダビング可能なムービーであることを示す「高」のマーク７０２がＨＤ画像の符号データファイルに付加されている。

また、ユーザインタフェースとして、ＨＤ解像度での１次記録時、後工程で高速ダビング作業を行う予定のある撮影データであるか否かをユーザに選択させる機能を設けてもよい。図１１は撮影メニュー画面を示す図である。この撮影メニュー画面８０１では、高速ダビングのオフ・オフが設定可能である。つまり、ＳＤ画像のビットストリームの一部（Ｂピクチャの符号データ）の記録をオン・オフさせることが可能である。このとき、記録をオフに設定したとしても、通常の１倍速ダビングが可能であることは言うまでもない。

また、トランスコーダの初期設定メニューとして、後工程で高速ダビングを行うか否かをユーザに選択させることも可能である。図１２は初期設定メニュー画面を示す図である。この初期メニュー画面８５１では、初期設定において高速ダビングのオン・オフが設定可能である。このように、ユーザが高速変換ダビングを行うか否かを選択することができ、操作性を向上させることができる。また、記録メディアのフォーマット時、クォータ分割の有無をあらかじめ選択させることも可能である。

また、上記実施形態では、ＨＤエンコーダとＳＤエンコーダとの間に、解像度変換部を導入することによって、解像度の異なる映像データへの変換を行っていた。しかし、必ずしも、解像度変換は必須ではなく、同じ解像度間において符号化方式の変換を行う際にも、本発明が有効であることは言うまでもない。

また、本発明は、全ての機能の実装をハードウェアあるいはソフトウェアに限定するものではなく、どのような手法でも本発明を構成することは可能である。ソフトウェアによって機能を実装する場合は以下のとおりである。

本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

実施の形態におけるトランスコーダの構成を示すブロック図である。 ＨＤエンコーダ１０４の一例としてＨ．２６４方式の符号化装置の構成を示す図である。 ＧＯＰの一般的な構造を示す図である。 ２つのディスククォータに分割されたハードディスクドライブを示す図である。 ダビング処理の時間経過を表した図である。 高速ダビングの途中でディスククォータフルに至った場合のダビング処理の時間経過を表した図である。 ＨＤ画像のＧＯＰ構造とＳＤ画像のＧＯＰ構造の関係を示す図である。 トランスコーダにおける高速ダビング時の動作手順を示すフローチャートである。 トランスコーダに備わる削除機能を利用する際のユーザインタフェースを示す図である。 ユーザインタフェースとして表示されるムービー一覧画面を示す図である。 撮影メニュー画面を示す図である。 初期設定メニュー画面を示す図である。 従来のトランスコーダの構成を示すブロック図である。

符号の説明

１００ トランスコーダ
１０２ ＨＤ解像度映像入力部
１０３ ＨＤデコーダ
１０４ ＨＤエンコーダ
１０６ 解像度変換部
１０８ ＳＤエンコーダ
１０９ １次記録メディア
１１１ 符号データマージ（Ｉ，Ｐ，Ｂピクチャマージ）モジュール

Claims (15)

1. 映像の符号化を行う映像符号化装置において、
   映像データの符号化を行って第１の符号データを生成する第１の符号化手段と、
   前記生成された第１の符号データを復号して映像データを生成する復号手段と、
   前記復号手段によって復号された映像データの解像度を変換する解像度変換手段と、
   前記解像度変換手段によって変換された映像データの符号化を行って第２の符号データを生成する第２の符号化手段と、
   前記第１の符号化手段によって生成された第１の符号データと、前記第２の符号化手段によって生成された第２の符号データのうちあらかじめ指定されたフレームの前記第２の符号データを記録媒体に蓄積する蓄積手段とを備え、
   前記第１の符号化手段および前記第２の符号化手段によるそれぞれの符号化を並行して行うことを特徴とする映像符号化装置。
2. 前記第２の符号化手段に用いられる符号化方式は、動き補償機能を有し、
   前記あらかじめ指定されたフレームは双方向予測符号化ピクチャであることを特徴とする請求項１記載の映像符号化装置。
3. 前記蓄積手段は、前記第２の符号化手段によって符号化された後に蓄積が除外されたフレームにおける符号量制御情報を前記記録媒体に記録することを特徴とする請求項１記載の映像符号化装置。
4. 前記第１の符号化手段および前記第２の符号化手段によって符号化される同位相のフレームは、同一のピクチャタイプであることを特徴とする請求項１記載の映像符号化装置。
5. 前記第２の符号化手段による符号化動作および前記蓄積手段による前記第２の符号データの蓄積動作を行うか否かを選択する選択手段を備えたことを特徴とする請求項１記載の映像符号化装置。
6. 前記第１の符号データが前記記録媒体から削除される場合、前記第２の符号データを自動的に削除することを特徴とする請求項１記載の映像符号化装置。
7. 前記蓄積手段は、前記記録媒体を第１の領域および第２の領域に分割するとともに、前記第２の符号データが蓄積される前記第２の領域の上限値をあらかじめ設定しておくことを特徴とする請求項１記載の映像符号化装置。
8. 前記第２の符号データが前記第２の領域の上限値を超えた場合、前記第２の符号化手段による符号化動作および前記蓄積手段による前記第２の符号データの蓄積動作を停止させることを特徴とする請求項７記載の映像符号化装置。
9. 前記蓄積手段によって前記記録媒体に蓄積された前記第１の符号データを復号する第２の復号手段を備え、
   前記第２の符号化手段は、前記第２の復号手段と同時に動作し、前記第２の復号手段によって復号された映像データの符号化を行い、前記蓄積が除外されたフレームの前記第２の符号データを生成することを特徴とする請求項１記載の映像符号化装置。
10. 前記第２の復号手段によって復号された映像データの解像度を変換する解像度変換手段を備え、
    前記第２の符号化手段は、前記第２の復号手段および前記解像度変換手段と同時に動作し、前記解像度変換後の前記映像データの符号化を行うことを特徴とする請求項９記載の映像符号化装置。
11. 前記蓄積が除外されたフレームは、フレーム内符号化ピクチャあるいは単一方向予測符号化ピクチャであることを特徴とする請求項９記載の映像符号化装置。
12. 前記第２の符号化手段によって符号化された第２の符号データと、前記蓄積手段によって前記記録媒体に蓄積された第２の符号データとを統合する統合手段と、
    前記統合された第２の符号データを第２の記録媒体に蓄積する第２の蓄積手段とを備えたことを特徴とする請求項９記載の映像符号化装置。
13. 前記蓄積手段は、前記蓄積が除外されたフレームにおける符号量制御情報を前記記録媒体に記録し、
    前記第２の符号化手段は、前記蓄積手段によって前記記録媒体に記録された符号量制御情報を読み出し、前記蓄積が除外されたフレームの前記第２の符号データと等しい第２の符号データを生成することを特徴とする請求項１２記載の映像符号化装置。
14. 映像の再符号化を行う映像符号化装置において、
    映像データの符号化を行って第１の符号データを生成する第１の符号化手段と、
    前記第１の符号化手段の符号化動作と同時に、前記生成された第１の符号データを復号して映像データを生成する第１の復号手段と、
    前記第１の符号化手段の符号化動作と同時に、前記第１の復号手段によって復号された映像データの符号化を行って第２の符号データを生成する第２の符号化手段と、
    前記第１の符号化手段によって生成された第１の符号データと、前記第２の符号化手段によって生成された第２の符号データのうちあらかじめ指定されたフレームの第２の符号データを第１の記録媒体に蓄積する第１の蓄積手段と、
    前記第１の蓄積手段によって前記第１の記録媒体に蓄積された第１の符号データのうち、前記第２の符号データの蓄積が除外されたフレームの前記第１の符号データを復号して映像データを生成する第２の復号手段と、
    前記第２の復号手段によって復号された映像データが前記第２の符号化手段によって符号化され生成された第２の符号データと、前記第１の蓄積手段によって前記第１の記録媒体に蓄積された第２の符号データとを統合する統合手段と、
    前記統合された第２の符号データを第２の記録媒体に蓄積する第２の蓄積手段とを備えたことを特徴とする映像符号化装置。
15. 映像の再符号化を行う映像符号化方法において、
    映像データの符号化を行って第１の符号データを生成する第１の符号化ステップと、
    前記第１の符号化ステップの符号化動作と同時に、前記生成された第１の符号データを復号して映像データを生成する第１の復号ステップと、
    前記第１の符号化ステップの符号化動作と同時に、前記第１の復号ステップで復号された映像データの符号化を行って第２の符号データを生成する第２の符号化ステップと、
    前記第１の符号化ステップで生成された第１の符号データと、前記第２の符号化ステップで生成された第２の符号データのうちあらかじめ指定されたフレームの第２の符号データを第１の記録媒体に蓄積する第１の蓄積ステップと、
    前記第１の記録媒体に蓄積された第１の符号データのうち、前記第２の符号データの蓄積が除外されたフレームの前記第１の符号データを復号して映像データを生成する第２の復号ステップと、
    前記第２の復号ステップで復号された映像データが符号化され生成された第２の符号データと、前記第１の蓄積ステップで前記第１の記録媒体に蓄積された第２の符号データとを統合する統合ステップと、
    前記統合された第２の符号データを第２の記録媒体に蓄積する第２の蓄積ステップとを有することを特徴とする映像符号化方法。

Images