JP2009302849A - 画像符号化方法及び画像符号化装置並びにそれらを用いた画像記録再生装置 - Google Patents

Abstract

【課題】符号化中に画像信号のフレームレートが変化したとき、Ｉ／Ｐ（インターレース／プログレッシブ）変換することなく、入力ストリームと同じフレームレートで符号化し、フレームレートの異なるストリームを効率良く符号化する。
【解決手段】入力ＡＶストリームにてフレームレートの変化を検出した場合には、ビデオエンコードとオーディオエンコードとを停止して符号化中のＧＯＰ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）を終了させ、フレームレートの変化点以降から新しいＧＯＰが始まるようにビデオエンコードとオーディオエンコードとを再開させる。
【選択図】図７

Description

本発明は、デジタル放送などを記録媒体に記録するために用いる画像符号化装置及び画像符号化方法並びにそれらを用いた画像記録再生装置に関するものである。

近年では、地上波デジタル放送の普及とともに、受信したデジタル放送の番組をハードディスクなどに記録するデジタルレコーダが普及しつつある。地上波デジタル放送などのデジタル放送は、デジタル化されて圧縮されたビットストリームが送信されるものである。Ｈ．２６４などの高い圧縮率を可能とする符号化技術の確立に伴い、ＭＰＥＧ２などで符号化されたＨＤサイズの番組をＨ．２６４で再度符号化してハードディスクに記録することにより、大量の番組を記録できる。

従来の画像符号化装置では、受信したデジタル放送番組のフレームレートの変化が生じた場合Ｉ／Ｐ変換を行い、インターレース（ｉ）エンコード又はプログレッシブ（ｐ）エンコードを固定的に行う。また、２４ｐプルダウンと６０ｉとの混合ストリームについては、２４ｐのフレームを検出し、フレーム／フィールドエンコードを適応的に切り替えている事例もあるが、２４ｐプルダウンは６０ｉのストリームであり、６０ｐから６０ｉへの変化、あるいはその逆の変化は考慮されていない（特許文献１参照）。
特開平９−１６８１４８号公報

しかしながら、デジタル放送の番組の中には、インターレース部分とプログレッシブ部分とが混在している番組も少ないながら存在する。このような番組を連続して録画する場合には、インターレースとプログレシッブとのフレームレートの切り替えが発生する。

インターレース画像を録画するときに、Ｉ／Ｐ変換してプログレッシブ画像で再符号化して記録する場合には、符号化する画像が多くなるため、符号化後に発生するビットストリームがインターレース画像のままで符号化した場合より多くなり、ハードディスクを余計に消費する状況に陥る。また、プログレッシブ画像を録画するときに、画像をＰ／Ｉ変換してインターレース画像として再符号化して記録する場合には、符号化後に発生するビットストリームが多くなることはないが、画質の劣化が生じる状況に陥る。

本発明は前記従来の課題を解決するもので、例えばインターレース（６０ｉ）とプログレッシブ（６０ｐ）との間のようなフレームレートの切り替えが発生したとしても、受信したフレームレートと同じフレームレートで符号化（記録）することが可能になり、ＳＤカードや光ディスクやハードディスクなどに代表される記録媒体を余分に消費したり、画質の劣化を発生したりしないようにすることができる画像符号化方法及び画像符号化装置並びに画像記録再生装置を提供する。

前記従来の課題を解決するために、本発明の画像符号化方法は、デジタル放送の番組を復号化して得られた画像データと音声データとを複数のＧＯＰとして符号化する画像符号化方法であって、前記画像データと前記音声データとを入力し、フレームレートの変化を検出するＡＶデータ入力ステップと、前記ＡＶデータ入力ステップにて入力した画像データを符号化し、ＧＯＰを構成する符号化済みビデオデータを出力するビデオエンコードステップと、前記ＡＶデータ入力ステップにて入力した音声データを符号化し、符号化済みオーディオデータを出力するオーディオエンコードステップと、前記符号化済みビデオデータと前記符号化済みオーディオデータとを多重化するストリーム多重化ステップと、前記ＡＶデータ入力ステップにおいてフレームレートの変化を検出した場合に、前記ビデオエンコードステップと前記オーディオエンコードステップとを停止して符号化中のＧＯＰを終了させ、フレームレートの変化点以降から新しいＧＯＰが始まるように前記ビデオエンコードステップと前記オーディオエンコードステップとを再開させるステップとを有する。本構成によって、フレームレートの切り替えが発生したとしても、受信したフレームレートと同じフレームレートで符号化することが可能になり、よって画質の劣化を発生しないようにすることができるとともに、それを記録媒体に記録した際には、記録媒体を余分に消費しないようにすることができる。

また、本発明の画像符号化装置は、デジタル放送の番組を復号化して得られた画像データと音声データとを複数のＧＯＰとして符号化する画像符号化装置であって、前記画像データと前記音声データとを入力し、フレームレートの変化を検出するＡＶデータ入力部と、前記ＡＶデータ入力部が入力した画像データを符号化し、符号化済みビデオデータを出力するビデオエンコーダと、前記ＡＶデータ入力部が入力した音声データを符号化し、符号化済みオーディオデータを出力するオーディオエンコーダと、前記符号化済みビデオデータと前記符号化済みオーディオデータとを多重化するストリーム多重化部と、少なくとも前記ＡＶデータ入力部と前記ビデオエンコーダと前記オーディオエンコーダとを制御する制御部とを有し、前記制御部は、前記ＡＶデータ入力部がフレームレートの変化を検出した場合に、前記ビデオエンコーダと前記オーディオエンコーダとの動作を停止させて符号化中のＧＯＰを終了させ、フレームレートの変化点以降から新しいＧＯＰが始まるように前記ビデオエンコーダと前記オーディオエンコーダとの動作を再開させる。本構成によって、フレームレートの切り替えが発生したとしても、受信したフレームレートと同じフレームレートで符号化することが可能になり、よって画質の劣化を発生しないようにすることができるとともに、それを記録媒体に記録した際には、記録媒体を余分に消費しないようにすることができる。

また、本発明の画像記録再生装置は、リモコンによるユーザ入力信号を受信するリモコン受信部と、デジタル放送の番組を入力してストリーム分離するストリーム分離部と、前記ストリーム分離部によって分離された符号化データを前記画像データと前記音声データとに復号化するＡＶデコーダと、前記ＡＶデコーダの出力を符号化するように構成された本発明の画像符号化装置と、前記画像符号化装置によって得られた符号化済みデータを記録媒体に記録する入出力インターフェイス部とを有する。本構成によって、フレームレートの切り替えが発生したとしても、受信したフレームレートと同じフレームレートで符号化することが可能になり、よって画質の劣化を発生しないようにすることができるとともに、記録媒体を余分に消費しないようにすることができる。

本発明の画像符号化方法、画像符号化装置、画像記録再生装置によれば、例えば６０ｉ（インターレース）と６０ｐ（プログレッシブ）との間のようなフレームレートの切り替えが発生したとしても、受信したフレームレートと同じフレームレートで符号化（記録）することが可能になり、ＳＤカードや光ディスクやハードディスクなどに代表される記録媒体を余分に消費したり、画質の劣化を発生したりしないようにすることができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

図１は、本発明に係る画像記録再生装置１６０００の構成を示すブロック図である。図１において、画像記録再生装置１６０００は、次の各部によって構成される。すなわち、（１）大量の映像や、音声などを蓄える大規模記憶装置１１０００と、（２）番組の記録／再生／停止などを命令するユーザインターフェイス１２０００と、（３）デジタル放送などの放送番組を受信するアンテナ１３０００で受信したデジタル放送信号からユーザが選択した番組の信号を出力するテレビチューナ１６１１０と、（４）ユーザインターフェイス１２０００から出力された記録などの命令を後述する記録再生部１６２００に出力する内部コントローラ１６１２０と、（５）動画像や音声を一時的に蓄えるバッファメモリ１６１３０と、（６）大規模記憶装置１１０００やバッファメモリ１６１３０に対して、音声データと映像データを入出力するデータ入出力部１６１４０と、（７）テレビチューナ１６１１０又はデータ入出力部１６１４０から出力された放送番組について、音声と映像を記録、再生する記録再生部１６２００とから構成される。

記録再生部１６２００は、（８）テレビチューナ１６１１０やデータ入出力部１６１４０から出力された音声と映像が多重化したビットストリームを音声と映像に分離し、分離した音声ビットストリームと映像ビットストリームとをバッファメモリ１６１３０へ出力するストリーム分離部１６２１０と、（９）ストリーム分離部１６２１０がバッファメモリ１６１３０へ出力した映像ビットストリームを復号し、復号した映像データをバッファメモリ１６１３０へ出力するビデオデコーダ１６２２０と、（１０）ストリーム分離部１６２１０がバッファメモリ１６１３０へ出力した音声ビットストリームを復号し、復号した音声データをバッファメモリ１６１３０へ出力するオーディオデコーダ１６２３０と、（１１）後述する映像音声入出力部１６２４０と、（１２）映像音声入出力部１６２４０がバッファメモリ１６１３０に出力したビデオデータを映像符号化処理でビットストリームに符号化し、符号化したビデオビットストリームをバッファメモリ１６１３０へ出力するビデオエンコーダ１６２５０と、（１３）映像音声入出力部１６２４０がバッファメモリ１６１３０に出力したオーディオデータを音声符号化処理でビットストリームに符号化し、符号化したオーディオビットストリームをバッファメモリ１６１３０へ出力するオーディオエンコーダ１６２６０と、（１４）バッファメモリ１６１３０に蓄えられた、ビデオエンコーダ１６２５０が符号化処理して出力したビデオビットストリームと、オーディオエンコーダ１６２６０が符号化処理して出力したオーディオビットストリームとを多重化し、データ入出力部１６１４０へ出力するストリーム多重化部１６２７０と、（１５）後述する記録制御部１６２８０とから構成される。

映像音声入出力部１６２４０は、ビデオデコーダ１６２２０が復号した映像データ（バッファメモリ１６１３０に蓄えられている映像データ）をディスプレイ１５０００へ出力し、オーディオデコーダ１６２３０が復号した音声データ（バッファメモリ１６１３０に蓄えられている音声データ）をスピーカ１４０００へ出力し、ビデオデコーダ１６２２０が復号した映像データをビデオエンコーダ１６２５０が符号化できるデータへと変換してバッファメモリ１６１３０に出力し、バッファメモリ１６１３０に変換したビデオデータのフレームレートを出力することによって、後述する記録制御部１６２８０へとフレームレートを通知し、オーディオデコーダ１６２３０が復号した音声データをオーディオエンコーダ１６２６０が符号化できるデータへと変換してバッファメモリ１６１３０に出力する。

記録制御部１６２８０は、（１６）映像音声入出力部１６２４０から出力されるフレームレートを監視し、フレームレートに変化があった場合にフレームレート切り替えが発生したと検出し、ビデオエンコーダ１６２５０とオーディオエンコーダ１６２６０とストリーム多重化部１６２７０とに停止命令を出力し、後述するホストコマンド制御部にコマンド処理禁止命令を出力するフレームレート切り替え制御部１６２８１と、（１７）内部コントローラ１６１２０から与えられる記録再生コマンドをビデオエンコーダ１６２５０とオーディオエンコーダ１６２６０とストリーム多重化部１６２７０とに出力するホストコマンド制御部１６２８２とから構成される。

なお、図１における大規模記憶装置１１０００は、ＳＤカードや光ディスクやハードディスクなどに代表される記録媒体にデータを記録再生する装置を表している。

次に、フレームレート切り替え制御部１６２８１の処理フローの一例について、図２を用いて説明する。ステップＳ２０１では、フレームレート切り替わりの検出を判定し、フレームレートの切り替わりがあった場合には、ステップＳ２０２に処理を進め、フレームレートの切り替わりがなかった場合には、ステップＳ２０１を再度実行する。ここで、ビデオデコーダ１６２２０が出力した復号後画像のフレームレートが、例えば、対応する復号後画像と１対１に対応を取れるようにバッファメモリ１６１３０に格納されている場合には、ステップＳ２０１では、これらのバッファメモリ１６１３０に格納された復号後画像のフレームレートが前回の値から変化したことを検出することで、フレームレートの切り替わりの検出が可能である。なお、復号後画像のフレームレートは必ずしもバッファメモリ１６１３０に格納されている必要はなく、例えば、ビデオデコーダ１６２２０からフレームレート切り替え制御部１６２８１へ１画像ずつ復号後画像のフレームレートについて通知がなされてもよい。また、復号後画像のフレームレートを表すデータは、例えば、６０ｐの場合、「６０」と「ｐｒｏｇｒｅｓｓｉｖｅ」という２種類のデータであってもよいし、コード化し、例えば、「６０ｐ：タイプ“１”」や「６０ｉ：タイプ“２”」といった「１」、「２」というデータであってもよい。

ステップＳ２０２では、ホストコマンド制御部１６２８２に対して、ホストコマンド禁止命令を出力し、ステップＳ２０４へ進む。ステップＳ２０４では、オーディオエンコーダ１６２６０に通常停止命令を出力し、オーディオエンコーダ１６２６０の処理を停止させる。その後、ステップＳ２０５に進む。ステップＳ２０５では、ビデオエンコーダ１６２５０に可変長停止命令を出力し、ビデオエンコーダ１６２５０がこの時点までに入力されている画像で、最も多い枚数でエンコードが完了できるようにする。その後、ステップＳ２０６に進む。ステップＳ２０６では、この時点でビデオエンコーダ１６２５０のエンコード枚数が０であるか否かを判定し、０であると判定した場合、ステップＳ２０７に進み、０でないと判定した場合、ステップＳ２０８に進む。ステップＳ２０７では、この時点でビデオエンコーダ１６２５０が、１枚のピクチャもエンコードせず、処理を完了しているため、ストリーム多重化部１６２７０に強制停止命令を出力し、ステップＳ２０９に進む。ステップＳ２０８では、この時点でビデオエンコーダ１６２５０が１枚以上のピクチャをエンコードしているため、ストリーム多重化部１６２７０には通常停止命令を出力し、ステップＳ２０９に進む。ステップＳ２０９では、記録を再開するために、ストリーム多重化部１６２７０、ビデオエンコーダ１６２５０、オーディオエンコーダ１６２６０へ記録開始命令を出力し、ステップＳ２１０へ進む。ステップＳ２１０では、ステップＳ２０２でホストコマンド制御部１６２８２に発行したホストコマンド禁止命令を解除する命令をホストコマンド制御部１６２８２に出力し、ステップＳ２０１へ進み、処理を最初から繰り返すことになる。

次に、ホストコマンド制御部１６２８２の処理フローの一例について、図３を用いて説明する。ここで、ホストコマンドとは、内部コントローラ１６１２０から発行される制御コマンドのことであり、ユーザインターフェイス１２０００（例えばリモコンやパネル上のボタン）から入力された録画開始／録画終了／ポーズなどの指示を記録再生部１６２００へ伝えることを主たる目的とする。

ステップＳ３０１では、フレームレート切り替え制御部１６２８１からホストコマンド禁止命令が入力されているか否かを判定する。ホストコマンド禁止命令が入力されていたと判定した場合、ステップＳ３０４へ進む。ホストコマンド禁止解除命令が入力されたことにより、禁止状態でない場合、ステップＳ３０２の処理に進む。ステップＳ３０２では、内部コントローラ１６１２０からのコマンドが入力されたか否かを判定する。内部コントローラ１６１２０からのコマンドが入力されていないと判定した場合、ステップＳ３０１に戻る。内部コントローラ１６１２０からのコマンドが入力されたと判定した場合、ステップＳ３０３へ進み、内部コントローラ１６１２０から入力された記録処理、停止処理のコマンドをストリーム多重化部１６２７０、ビデオエンコーダ１６２５０、オーディオエンコーダ１６２６０へ出力し、処理ステップＳ３０１に戻る。

ステップＳ３０４では、フレームレート切り替え制御部１６２８１からのコマンドが入力されたか否かを判定する。フレームレート切り替え制御部１６２８１からのコマンドが入力されていないと判定した場合、ステップＳ３０１に戻る。フレームレート切り替え制御部１６２８１からのコマンドが入力されたと判定した場合、ステップＳ３０５へ進み、フレームレート切り替え制御部１６２８１から入力された記録処理コマンドをストリーム多重化部１６２７０、ビデオエンコーダ１６２５０、オーディオエンコーダ１６２６０へ出力し、処理ステップＳ３０１に戻る。

次に、ビデオエンコーダ１６２５０が符号化処理を開始した後にフレームレート切り替えが発生した場合について、図４を用いて説明する。また、ビデオエンコーダ１６２５０が符号化処理を開始する前にフレームレート切り替えが発生した場合について、図５を用いて説明する。

まず、ビデオエンコーダ１６２５０が符号化処理する方式について説明する。ビデオエンコーダ１６２５０が用いる符号化方式は、ＤＶＤや、Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（ＢＤ）などに記録する場合、ＭＰＥＧ２や、Ｈ．２６４などの符号化方式によって符号化する。このとき、映像は一続きのＧＯＰ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）と呼ばれる画像群を一単位として符号化される。

ＧＯＰの構造の例を図６に示す。ＧＯＰは、フレーム内符号化画像であるＩピクチャと、フレーム間順方向予測符号化画像であるＰピクチャと、フレーム間双方向予測符号化画像であるＢピクチャとから構成され、図６に示したＧＯＰの例では、Ｉピクチャが１フレーム、Ｐピクチャが４フレーム、Ｂピクチャが１０フレームで構成されている。Ｉ２はＩ２のフレームのみでフレーム内符号化されており、Ｐ５はＩ２を、Ｐ８はＰ５をそれぞれ参照して、フレーム間順方向符号化されており、Ｂ０及びＢ１はＰ’１４とＩ２とを参照してフレーム間双方向予測符号化されており、Ｂ３及びＢ４はＩ２とＰ５とを参照してフレーム間双方向予測符号化されている。

初めに、図４を用いて本発明に係る画像記録再生装置１６０００の動作を説明する。映像音声入出力部１６２４０は、オーディオデコーダ１６２３０からバッファメモリ１６１３０へ出力した復号した音声データを、オーディオエンコーダ１６２６０が処理できる単位である各オーディオフレームごとに、Ａｎ０、Ａｎ１、・・・、Ａｎｘ、Ａｎｘ＋１、・・・の順序でバッファメモリ１６１３０へ出力する。また、オーディオエンコーダ１６２６０は、１オーディオフレームごとに符号化処理を行い、ＥＡｎ０、ＥＡｎ１、・・・、ＥＡｎｘ、ＥＡｎｘ＋１、・・・としてバッファメモリ１６１３０へ出力する。

映像音声入出力部１６２４０は、ビデオデコーダ１６２２０からバッファメモリ１６１３０へ出力した復号した映像データを、ビデオエンコーダ１６２５０が処理できる単位である各ピクチャごとに、Ｖｍ０、Ｖｍ１、・・・、Ｖｍｘ、Ｖｍｘ＋１、・・・の順序で、バッファメモリ１６１３０へ出力する。また、ビデオエンコーダ１６２５０は、１ピクチャごとに図示した順序で符号化処理を行い、ＥＶｍ２−Ｉ、ＥＶｍ０−Ｂ、ＥＶｍ１−Ｂ、・・・、ＥＶｍｘ、ＥＶｍｘ＋１、・・・としてバッファメモリ１６１３０へ出力する。ただし、Ｖｍｘをエンコードする場合、そのピクチャの種類により、ＩピクチャであればＥＶｍｘ−Ｉ、ＰピクチャであればＥＶｍｘ−Ｐ、ＢピクチャであればＥＶｍｘ−Ｂと表現する。

図４は、Ｖｍ０以前の画像から録画が開始されており、時刻ｔ１において、それまでフレームレートが６０ｐの画像から、６０ｉの画像に切り替えが発生した場合を示した図である。すなわち、Ｖｍ１１の画像からフレームレートが変化したことを表している。また図４は、前述したビデオエンコーダ１６２５０の処理から明らかなように、Ｖｍ０の画像からＧＯＰが開始する場合を想定して例示した図になっている。

ビデオエンコーダ１６２５０は既にエンコード処理を開始しており、フレームレート切り替え制御部１６２８１は、ビデオエンコーダ１６２５０に対して入力されたＶｍ１０までを用いて、可能な限り後のピクチャまで符号化することを指令する停止コマンドを発行する。しかし、Ｖｍ９を符号化するためには、Ｖｍ９より時間で後に入力されるＶｍ１１が必要となるため（図６参照）、ビデオエンコーダ１６２５０はＶｍ９をエンコードできないと判定し、Ｖｍ８までのピクチャを符号化した時点で停止する。オーディオエンコーダ１６２６０は、ＥＡｎ１０まで符号化して停止する。ストリーム多重化部１６２７０は、システム多重化したＳＶｍ７−Ｂまでの各ピクチャ、ＳＡｎ１０までの各オーディオフレームのデータを、データ入出力部１６１４０へ出力した時点で停止することになる。このような処理をすることにより、データ入出力部１６１４０から大規模記憶装置１１０００に出力されるデータ中において、フレームレートの切り替わり後のピクチャを切り替わり前のフレームレートで符号化及び多重化しないようにできる。

ストリーム多重化部１６２７０、ビデオエンコーダ１６２５０、オーディオエンコーダ１６２６０が記録開始命令を受け付けると、フレームレートの切り替わり発生後の映像データと音声データとの符号化処理が再開する。ビデオエンコーダ１６２５０が再開すると、映像音声入出力部１６２４０は、Ｖｍ１１以降の各ピクチャをバッファメモリ１６１３０へ出力し、ビデオエンコーダ１６２５０は、それらの各ピクチャを符号化して行く。ここで、ビデオエンコーダ１６２５０は、記録開始命令を受けた直後に入力するＶｍ１１から新たなＧＯＰを構成する。ここで、Ｖｍ１１とＶｍ１２は、ＥＶｍ１１−ＢとＥＶｍ１２−Ｂのように、フレーム間双方向予測符号化画像であるＢピクチャとして符号化されるが、ＥＶｍ８−Ｐからの順方向の予測は画像のフレームレートが異なるために行われず、ＥＶｍ１３−Ｉからの逆方向の予測のみによって符号化される。またビデオエンコーダ１６２５０の再開と同様に、オーディオエンコーダ１６２６０が再開すると、映像音声入出力部１６２４０は、Ａｎ１３以降の各オーディオフレームをバッファメモリ１６１３０へ出力し、オーディオエンコーダ１６２６０は、それらの各オーディオフレームを符号化して行く。ここで、音声データは画像とは異なって通常サンプリングレートが高い（画像は通常１秒当たり数十ピクチャに対して音声は数十ｋＨｚでサンプルされる）ため、時刻ｔ１に入力画像のフレームレートが変化してエンコード処理が中断及び再開した直後のタイミングから、新たなオーディオフレームＡｎ１３，Ａｎ１４が構成されて行く。したがって、フレームレートの切り替わり後に音声と映像の同期がずれるようなことはない。以上のようにして符号化された出力データのＧＯＰ構造を図７に示す。

ここでは、時刻ｔ１の直後から記録を再開している場合を説明したが、ビデオエンコーダ１６２５０及びオーディオエンコーダ１６２６０へ入力される画像と音声は常に同期しており、記録を再開するタイミングが遅れても音声と映像の同期がずれるようなことはない。したがって、記録を再開するタイミングは必ずしも時刻ｔ１の直後に限られる訳ではなく、時刻ｔ１から遅れて再開しても構わない。この場合、時刻ｔ１から遅れた時間の量によっては、フレームレートが切り替わった直後の画像が何枚か符号化されずに抜け落ちることもある。しかし、抜け落ちた後の画像（ピクチャ）以降の画像群を新たなＧＯＰとして符号化することで、直前のＧＯＰからフレームレートが切り替わったＧＯＰを新たに開始することができる。このように符号化された出力データのＧＯＰ構造を図８に示す。

また、以上において、ビデオエンコーダ１６２５０に対して入力されたＶｍ１０までを用いて、可能な限り後のピクチャまで符号化することを指令する停止コマンドを発行して符号化処理を停止させる手順について説明した。その際に、Ｖｍ９を符号化するには、更に後続する画像が必要なため、Ｖｍ８まで符号化して停止するように説明したが、何もこの手順に限るわけではない。例えば、Ｖｍ９は強制的に順方向予測符号化画像（Ｐピクチャ）として符号化すれば、後続する画像を必要とせずに符号化が可能になる。このような符号化を行うことにより、Ｖｍ９を符号化した後に停止させることが可能になる。また更に、可能な限り後のピクチャまで符号化するということは、画像のフレームレートが切り替わる直前まで可能な限り符号化するということを意味しており、強制的な順方向予測符号化画像（Ｐピクチャ）の符号化が可能な場合には、Ｖｍ１０まで符号化した後に停止させることも可能である。このように符号化された出力データのＧＯＰ構造を図９に示す。

次に、図５を用いて本発明に係る画像記録再生装置１６０００の他の動作を説明する。図５は、ピクチャＶｍ０から録画が開始され、時刻ｔ２において、それまでフレームレートが６０ｐから、６０ｉに切り替えが発生した場合を示した図である。すなわち、Ｖｍ２の画像から、フレームレートが変化したことを表している。このとき、オーディオエンコーダ１６２６０は、ＥＡｎ０まで処理を完了してＥＡｎ１を処理中であり、ストリーム多重化部１６２７０も、オーディオフレームＳＡｎ０を処理中であるが、ビデオエンコーダ１６２５０は、符号化処理を未だ開始していない。ここで、入力されたＶｍ１までを用いて、可能な限り後のピクチャまで符号化することを指令する停止コマンドを発行する。すると、Ｖｍ０及びＶｍ１を符号化するためには、Ｖｍ１より時間で後に入力されるＶｍ２が必要となるため（図６参照）、Ｖｍ０及びＶｍ１をエンコードできない。その結果、ピクチャを１枚もエンコードせずに終了する。ストリーム多重化部１６２７０は、ＳＡｎ０の処理を開始しているが、強制停止コマンドが入力されるため、ストリーム多重化部１６２７０からデータ入出力部１６１４０への転送を全く行わずに終了する。その結果、外部へ転送を全く行わずに処理を終了する。これにより、フレームレートの切り替わり後のピクチャを切り替わり前のフレームレートで符号化しないようにできるとともに、映像が伴わない音声だけの冗長なデータを転送しないようにできる。

この後、ストリーム多重化部１６２７０、ビデオエンコーダ１６２５０、オーディオエンコーダ１６２６０が記録開始命令を受け付けると、フレームレートの切り替わり発生後の映像データと音声データとの符号化処理が再開する。そしてＶｍ２以降のピクチャとＡｎ３以降のオーディオフレームとが符号化されて行くが、図４で説明した再開の手順と同様なので、詳細な説明は割愛する。

以上の説明において、フレームレートの切り替えを６０ｐと６０ｉとの間の切り替えとして説明したが、切り替え前後でのフレームレートが３０ｉなど、どのような種類のフレームレートでもよい。また、例えば日本などで用いられる６０ｉと欧州などで用いられる５０ｉとの間の切り替えでもよい。

なお、ビデオエンコーダ１６２５０が符号化処理する方式についても、ＭＰＥＧ２、Ｈ．２６４に限らず、例えばＭＰＥＧ４などの他の方式であってもよい。また、Ｉピクチャ又はＰピクチャの間に挿入されるＢピクチャの枚数を２枚として説明したが、２枚に限らず、０枚や１枚、又は３枚以上であってもよい。

さて、図１で示した画像記録再生装置１６０００では、１つのバッファメモリ１６１３０と各処理部とがバスによって接続された構成になっているが、本発明に係る画像符号化装置やそれを用いた画像記録再生装置は、何もこのような構成に限られない。例えば、本発明に係る画像符号化装置は、図１０に示す構成であってもよい。

図１０に示すように、画像符号化装置であるＡＶエンコーダ１００１は、ＡＶデータ入力部１００２と、ビデオエンコーダ１００３と、オーディオエンコーダ１００４と、ストリーム多重化部１００５とから構成され、ＳＤカードや光ディスクやハードディスクなどに代表される記録媒体１００６が接続され、外部の制御部１１０５によって制御される。なお、制御部１１０５はＡＶエンコーダ１００１の外部にあるとしたが、ＡＶエンコーダ１００１の内部にあってもよい。

ＡＶデータ入力部１００２は、ビデオデータをデータラインＳ１００１経由で、オーディオデータをデータラインＳ１００２経由でそれぞれ入力して一時的に蓄積し、そのビデオデータをデータラインＳ１００３経由でビデオエンコーダ１００３に出力するとともに、そのオーディオデータをデータラインＳ１００４経由でオーディオエンコーダ１００４に出力する。ビデオエンコーダ１００３では入力画像データをピクチャとして符号化処理を行い、符号化後のデータをデータラインＳ１００５経由でストリーム多重化部１００５に出力する。また、オーディオエンコーダ１００４では入力音声データをオーディオフレームとして符号化処理を行い、符号化後のデータをデータラインＳ１００６経由でストリーム多重化部１００５に出力する。ストリーム多重化部１００５では、画像符号化後の各ピクチャと音声符号化後の各オーディオフレームとを多重化後、データラインＳ１００７経由で記録媒体１００６へと出力する。ここで、データラインＳ１００１からデータラインＳ１００７までの各データラインは、例えば信号線やメモリを介した「データの流れ」を表しており、必ずしも物理的な信号線のみを表している訳ではない。

制御部１１０５は、ＡＶデータ入力部１００２に溜まったビデオデータを監視し、図４で説明した時刻ｔ１でのフレームレートの切り替わりを検出した際には、ビデオエンコーダ１００３とオーディオエンコーダ１００４とが以下の動作に移るように制御する。すなわち、ビデオエンコーダ１００３は、これまで入力されたビデオデータ（ピクチャ）を用いて、可能な限り後のピクチャまで符号化してＧＯＰを終了させ、符号化できなかったビデオデータ（ピクチャ）を破棄する。その後、ビデオエンコーダ１００３では、新たなＧＯＰとして符号化処理を再開する。並行して、オーディオエンコーダ１００４は、符号化処理を中断し、符号化できずに残ったオーディオデータを破棄する。その後、オーディオエンコーダ１００４では、新たに入力されたオーディオデータから符号化単位（オーディオフレーム）を構成して符号化を再開する。このようにして、フレームレート切り替わり後のピクチャが切り替わり前のフレームレートで多重化されて記録媒体１００６に記録されることがないようにできる。

以上の説明において、ビデオエンコード処理を停止する際に、可能な限り後のピクチャまで符号化してＧＯＰを終了させるとしたが、あくまで、より望ましい動作を説明したものである。実際には、フレームレートの切り替わり点までにＧＯＰを終了させていればよく、必ずしも可能な限り後のピクチャまで符号化してＧＯＰを終了させる必要はない。言うまでもなく、図１を用いて説明した画像符号化装置の場合についても同様である。

また、図５で説明したようなデータを記録する場合には、制御部１１０５は、フレームレートの切り替わりを検出した際に、更にストリーム多重化部１００５に対しても、未だストリーム出力せずに保持しているデータを破棄するように制御する。このようにして、フレームレート切り替わり後のピクチャを切り替わり前のフレームレートでエンコードしないようにできるとともに、映像が伴わない音声だけの冗長なデータが記録媒体１００６に記録されないようにできる。

以上で説明した図１０のＡＶエンコーダ１００１にはバッファメモリを図示していないが、ＡＶデータ入力部１００２、ビデオエンコーダ１００３、オーディオエンコーダ１００４、ストリーム多重化部１００５の各々は、その動作に必要な容量のバッファメモリにアクセスするものとする。これらのバッファメモリは一部で共用していてもよく、また、図１で示した画像記録再生装置１６０００のように、全て共用して１つのバッファメモリで構成してもよい。

次に、図１０のＡＶエンコーダ１００１を用いた画像記録再生装置１１０１について、図１１を用いて説明する。図１１において、画像記録再生装置１１０１は、ＡＶエンコーダ１００１と、入力データ切り替え器１１０２と、ストリーム分離部１１０３と、ＡＶデコーダ１１０４と、制御部１１０５２と、リモコン受信部１１０６と、入出力インターフェイス部１１０７とから構成される。

リモコン受信部１１０６は、外部のリモコン（リモートコントローラ）１１０８から発信されるユーザ入力コマンドを受信して、制御部１１０５２へ伝える。制御部１１０５２では、得られたユーザ入力や画像記録再生装置１１０１の状態に応じて、ストリーム分離部１１０３、ＡＶデコーダ１１０４、ＡＶエンコーダ１００１が所望の動作をするように制御する。入出力インターフェイス部１１０７は、ＡＶエンコーダ１００１の出力する多重化後のＡＶデータをデータラインＳ１００７経由で受け取って記録媒体１００６に記録するとともに、記録媒体１００６から多重化後のＡＶデータを読み出して、これをデータラインＳ１１０２経由で入力データ切り替え器１１０２に出力する。入力データ切り替え器１１０２では、外部からデータラインＳ１１０１経由でストリーム入力されたＡＶデータと入出力インターフェイス部１１０７からデータラインＳ１１０２経由で出力されたＡＶデータとのいずれか一方を選択して、これをデータラインＳ１１０３経由でストリーム分離部１１０３に出力する。ストリーム分離部１１０３は、多重化されたＡＶデータのストリームを解釈・分離して、その結果をデータラインＳ１１０４経由でＡＶデコーダ１１０４に出力する。ＡＶデコーダ１１０４は入力された圧縮ビデオデータと圧縮オーディオデータとを復号化し、ビデオデータ（画像データ）とオーディオデータとを出力する。これらのＡＶデコーダ１１０４から出力されたビデオデータ（画像データ）とオーディオデータとは、ＡＶエンコーダ１００１に入力されるとともに、テレビジョン受像機などの外部のディスプレイ１１０９やスピーカ１１１０へと出力される。なお、図１０の説明において、制御部１１０５は画像符号化装置であるＡＶエンコーダ１００１の外部にある必要はなく内部にあってもよいとしたが、図１１に示した制御部１１０５２は、画像記録再生装置１１０１全体を制御する制御部であって、ＡＶエンコーダ１００１の外部にあるものである。図１０に示した制御部１１０５がＡＶエンコーダ１００１の外部にある場合は、図１０に示した制御部１１０５と図１１に示した制御部１１０５２とは同一であってもよい。

最後に、放送されたストリームと、本発明の画像符号化方法及び装置によって符号化されて大規模記憶装置１１０００や記録媒体１００６に記録されるストリームとの、対応関係について、図１２と図１３を用いて説明する。

図１２は、放送されたストリームが１ＧＯＰ当たり１５枚でエンコードされており、大規模記憶装置１１０００や記録媒体１００６に記録されるストリームも同様に１ＧＯＰ当たり１５枚でエンコードされる場合における各ＧＯＰの対応関係について示している。記録の開始タイミングはユーザによって直接選択されたり、タイマーによってスタートされることがあるため、放送されたストリームのＧＯＰ開始位置からずれることがある。その場合、フレームレートの切り替わり点までは、放送されたストリームと記録されるストリームとのＧＯＰは一致することなく、常に一定量のピクチャ数だけずれたままになる。しかし、フレームレートの切り替わり点以降の画像を記録できるように制御した場合、フレームレートの切り替わり点直後では、放送されたストリームと記録されるストリームとのＧＯＰが一致するようになる。図１２のＧＯＰ＃（Ｎ＋１）の部分で、１ＧＯＰ当たりの画像の枚数が調整される。

また、特に図示してはいないが、制御のされ方に依存して、フレームレートの切り替わり点直後の画像が何枚か符号化されずに抜け落ちる場合には、フレームレートの切り替わり点以降でも、図８に示したＧＯＰ構造のように、抜け落ちた画像の枚数だけＧＯＰがずれ続けることになる。

図１３は、放送されたストリームの１ＧＯＰ当たりのピクチャ数と記録されるストリームの１ＧＯＰ当たりのピクチャ数とが異なる場合について、図示したものである。図１３では、放送されたストリームは１ＧＯＰ当たり１５枚でエンコードされており、大規模記憶装置１１０００や記録媒体１００６に記録されるストリームは１ＧＯＰ当たり３０枚でエンコードされる場合を示している。このような場合でも、放送されたストリームのＧＯＰと記録されるストリームのＧＯＰとは、一定の関係を持ちながら「ずれる」ことになるが、フレームレートの切り替わり点以降の画像を記録できるように制御した場合、フレームレートの切り替わり点直後では、放送されたストリームと記録されるストリームとのＧＯＰの開始位置が一致するようになる。

本発明の画像符号化方法、画像符号化装置、画像記録再生装置によれば、例えば、６０ｐと６０ｉとの間のようにフレームレートの切り替えが発生したとしても、受信したフレームレートで符号化（エンコード）することが可能になり、ＳＤカードや光ディスクやハードディスクなどに代表される記録媒体を余分に消費したり、画質を劣化させたりしないようにすることができるので、デジタル放送を記録媒体に記録する画像符号化方法や画像符号化装置や画像記録再生装置などとして有用である。

本発明の実施の形態における画像記録再生装置の構成を示すブロック図である。 本発明の実施の形態におけるフレームレート切り替え制御部のフローチャートの一例を示す図である。 本発明の実施の形態におけるホストコマンド制御部のフローチャートの一例を示す図である。 ビデオエンコーダが符号化処理を開始した後にフレームレート切り替えが発生した場合の符号化動作を示す図である。 ビデオエンコーダが符号化処理を開始する前にフレームレート切り替えが発生した場合の符号化動作を示す図である。 ＭＰＥＧ規格のビットストリームの一例を示す図である。 本発明の方法及び装置によって生成されるＧＯＰ構造の一例を示す図である。 本発明の方法及び装置によって生成されるＧＯＰ構造の他の例を示す図である。 本発明の方法及び装置によって生成されるＧＯＰ構造の更に他の例を示す図である。 本発明の実施の形態における画像符号化装置の構成を示すブロック図である。 図１０の画像符号化装置を用いた画像記録再生装置の構成例を示すブロック図である。 本発明の実施の形態において放送されたストリームと記録されるストリームとの対応関係を示す図である。 本発明の実施の形態において放送されたストリームと記録されるストリームとの他の対応関係を示す図である。

符号の説明

１００１ ＡＶエンコーダ
１００２ ＡＶデータ入力部
１００３ ビデオエンコーダ
１００４ オーディオエンコーダ
１００５ ストリーム多重化部
１００６ 記録媒体
１１０１ 画像記録再生装置
１１０２ 入力データ切り替え器
１１０３ ストリーム分離部
１１０４ ＡＶデコーダ
１１０５ 制御部
１１０６ リモコン受信部
１１０７ 入出力インターフェイス部
１１０８ リモコン
１１０９ ディスプレイ
１１１０ スピーカ
１１０００ 大規模記憶装置
１２０００ ユーザインターフェイス
１３０００ アンテナ
１４０００ スピーカ
１５０００ ディスプレイ
１６０００ 画像記録再生装置
１６１１０ テレビチューナ
１６１２０ 内部コントローラ
１６１３０ バッファメモリ
１６１４０ データ入出力部
１６２００ 記録再生部
１６２１０ ストリーム分離部
１６２２０ ビデオデコーダ
１６２３０ オーディオデコーダ
１６２４０ 映像音声入出力部
１６２５０ ビデオエンコーダ
１６２６０ オーディオエンコーダ
１６２７０ ストリーム多重化部
１６２８０ 記録制御部
１６２８１ フレームレート切り替え制御部
１６２８２ ホストコマンド制御部

Claims (3)

1. デジタル放送の番組を復号化して得られた画像データと音声データとを複数のＧＯＰとして符号化する画像符号化方法であって、
   前記画像データと前記音声データとを入力し、フレームレートの変化を検出するＡＶデータ入力ステップと、
   前記ＡＶデータ入力ステップにて入力した画像データを符号化し、ＧＯＰを構成する符号化済みビデオデータを出力するビデオエンコードステップと、
   前記ＡＶデータ入力ステップにて入力した音声データを符号化し、符号化済みオーディオデータを出力するオーディオエンコードステップと、
   前記符号化済みビデオデータと前記符号化済みオーディオデータとを多重化するストリーム多重化ステップと、
   前記ＡＶデータ入力ステップにおいてフレームレートの変化を検出した場合に、前記ビデオエンコードステップと前記オーディオエンコードステップとを停止して符号化中のＧＯＰを終了させ、フレームレートの変化点以降から新しいＧＯＰが始まるように前記ビデオエンコードステップと前記オーディオエンコードステップとを再開させるステップとを含むことを特徴とする画像符号化方法。
2. デジタル放送の番組を復号化して得られた画像データと音声データとを複数のＧＯＰとして符号化する画像符号化装置であって、
   前記画像データと前記音声データとを入力し、フレームレートの変化を検出するＡＶデータ入力部と、
   前記ＡＶデータ入力部が入力した画像データを符号化し、符号化済みビデオデータを出力するビデオエンコーダと、
   前記ＡＶデータ入力部が入力した音声データを符号化し、符号化済みオーディオデータを出力するオーディオエンコーダと、
   前記符号化済みビデオデータと前記符号化済みオーディオデータとを多重化するストリーム多重化部と、
   少なくとも前記ＡＶデータ入力部と前記ビデオエンコーダと前記オーディオエンコーダとを制御する制御部とを含み、
   前記制御部は、前記ＡＶデータ入力部がフレームレートの変化を検出した場合に、前記ビデオエンコーダと前記オーディオエンコーダとの動作を停止させて符号化中のＧＯＰを終了させ、フレームレートの変化点以降から新しいＧＯＰが始まるように前記ビデオエンコーダと前記オーディオエンコーダとの動作を再開させることを特徴とする画像符号化装置。
3. リモコンによるユーザ入力信号を受信するリモコン受信部と、
   デジタル放送の番組を入力してストリーム分離するストリーム分離部と、
   前記ストリーム分離部によって分離された符号化データを前記画像データと前記音声データとに復号化するＡＶデコーダと、
   前記ＡＶデコーダの出力を符号化するように構成された請求項２記載の画像符号化装置と、
   前記画像符号化装置によって得られた符号化済みデータを記録媒体に記録する入出力インターフェイス部とを有することを特徴とする画像記録再生装置。

Images