JP2011014948A - 画像符号化方法及び画像符号化装置、並びにそれらを用いた画像記録再生装置 - Google Patents

Abstract

【課題】ＳＤサイズの画像を録画するときに、画像を拡大してＨＤサイズの画像で再符号して記録すると、記録媒体を余分に消費する状況に陥り、また、ＨＤサイズの画像を録画するときに、画像を縮小してＳＤサイズの画像で再符号して記録すると、縮小した後で符号化処理を施すために、画質の劣化が生じる状況に陥ること。
【解決手段】映像音声入出力部から出力される画像サイズの変化を検出した場合に、ビデオエンコード部１６２５０とオーディオエンコード部１６２６０とストリーム多重化部１６２７０を停止し、画像サイズの変化点以降からＧＯＰが始まるようにエンコードを再開することにより、記録媒体を余分に消費したり画質の劣化が生じないようにする。
【選択図】図１

Description

本発明は、デジタル放送などを記録媒体に記録するために用いる画像符号化装置及び画像符号化方法、並びにそれを用いた画像記録再生装置に関するものである。

近年では、地上波デジタル放送の普及とともに、受信したデジタル信号をハードディスク装置などに番組の記録するデジタルレコーダが普及しつつある。地上波デジタル放送等のデジタル放送は、デジタル化されて圧縮されたビットストリームが送信されるものである。Ｈ．２６４などの高い圧縮率を可能とする符号化技術の確立に伴い、ＭＰＥＧ２などで符号化されたＨＤサイズの番組をＨ．２６４で再度、ＨＤサイズで符号化してハードディスクに記録することにより、大量の番組をハードディスクに記録できるようになりつつある。

従来の画像符号化装置では、受信したデジタル放送番組の画像サイズがＳＤ（標準画質）からＨＤ（高品位画質）に、あるいはその逆に変化した場合でも、符号化する画像のサイズは、ＳＤもしくは、ＨＤのどちらかに固定されていた。（例えば、特許文献１参照）。
特開２００６−２８７５３１号公報

しかしながら、デジタル放送の番組のなかには、ＳＤ（標準画質）とＨＤ（高品位画質）の番組が混在している放送も少ないながら存在する。このような放送を連続して録画する場合には、ＳＤ（標準画質）とＨＤ（高品位画質）の画像サイズの切替えが発生する。ＳＤサイズの画像を録画するときに、画像を拡大（アップコンバート）してＨＤサイズの画像で再符号化して記録する場合には、符号化する元画像が大きくなるため、符号化後に発生するビットストリームがＳＤ画像のサイズのままで符号化したより大きくなり、ハードディスクを余計に消費する状況に陥る。また、ＨＤサイズの画像を録画するときに、画像を縮小（ダウンコンバート）してＳＤサイズの画像で再符号化して記録する場合には、符号化後に発生するビットストリームが大きくなることは無いが、縮小して符号化処理を施すために、画質の劣化が生じる状況に陥る。
本発明は前記従来の課題を解決するもので、例えばＳＤ（標準画質）とＨＤ（高品位画質）の間のように、画像サイズの切替えが発生したとしても、受信した画像と同じ大きさで符号化（記録）することが可能になり、ＳＤカードや光ディスクやハードディスクなどに代表される記録媒体を余分に消費したり、画質の劣化を発生しないようにすることができる画像符号化方法及び画像符号化装置並びに画像記録再生装置を提供する。

前記従来の課題を解決するために、本発明の画像符号化方法は、前記画像データと前記音声データを入力し、画像サイズの変化を検出するＡＶデータ入力ステップと、前記ＡＶデータ入力部が入力した画像データを符号化し、ＧＯＰを構成する符号化済みビデオデータを出力するビデオエンコードステップと、前記ＡＶデータ入力部が入力した音声データを符号化し、符号化済みオーディオデータを出力するオーディオエンコードステップと、 前記符号化済みビデオデータと前記符号化済みオーディオデータを多重化するストリーム多重化ステップと、前記ＡＶデータ入力ステップにおいて画像サイズの変化を検出した場合に、前記ビデオエンコードステップと前記オーディオエンコードステップを停止して符
号化中のＧＯＰを終了させ、画像サイズの変化点以降から新しいＧＯＰが始まるように前記ビデオエンコードステップと前記オーディオエンコードステップを再開させるステップを有する。本構成によって、画像サイズの切替えが発生したとしても、受信した画像と同じ大きさで符号化することが可能になり、よって画質の劣化を発生しないようにすることができるとともに、それを記録媒体に記録した際には、記録媒体を余分に消費しないようにすることができる。
また、本発明の画像符号化装置は、前記画像データと前記音声データを入力し、画像サイズの変化を検出するＡＶデータ入力部と、前記ＡＶデータ入力部が入力した画像データを符号化し、符号化済みビデオデータを出力するビデオエンコーダと、前記ＡＶデータ入力部が入力した音声データを符号化し、符号化済みオーディオデータを出力するオーディオエンコーダと、前記符号化済みビデオデータと前記符号化済みオーディオデータを多重化するストリーム多重化部と、少なくとも前記ＡＶデータ入力部と前記ビデオエンコーダと前記オーディオエンコーダとを制御する制御部とを有し、前記制御部は、前記ＡＶデータ入力部が画像サイズの変化を検出した場合に、前記ビデオエンコーダと前記オーディオエンコーダの動作を停止させて符号化中のＧＯＰを終了し、画像サイズの変化点以降から新しいＧＯＰが始まるように前記ビデオエンコーダと前記オーディオエンコーダの動作を再開させる。本構成によって、画像サイズの切替えが発生したとしても、受信した画像と同じ大きさで符号化することが可能になり、よって画質の劣化を発生しないようにすることができるとともに、それを記録媒体に記録した際には、記録媒体を余分に消費しないようにすることができる。
また、本発明の画像記録再生装置は、本発明の画像符号化装置と、リモコンによるユーザ入力信号を受信するリモコン受信部と、デジタル放送の番組を入力してストリーム分離するストリーム分離部と、前記ストリーム分離部によって分離された符号化データを前記画像データと前記音声データに復号化する画像復号化装置と、前記画像符号化装置によって符号化されたデータを記録媒体に記録する入出力インタフェースとを有する。本構成によって、画像サイズの切替えが発生したとしても、受信した画像と同じ大きさで符号化することが可能になり、よって画質の劣化を発生しないようにするとともに、記録媒体を余分に消費しないようにすることができる。

本発明の画像符号化方法、本発明の画像符号化装置、本発明の画像記録再生装置によれば、例えばＳＤ（標準画質）とＨＤ（高品位画質）の間のように、画像サイズの切替えが発生したとしても、受信した画像と同じ大きさで符号化（記録）することが可能になり、ＳＤカードや光ディスクやハードディスクなどに代表される記録媒体を余分に消費したり、画質の劣化を発生しないようにすることができる。

以下、本発明の実施するための最良の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明に係る画像記録再生装置１６０００の構成等を示すブロック図である。図１において、画像記録再生装置１６０００は、次の各部によって構成される。すなわち、（１）大量の映像や、音声などを蓄える大規模記憶装置１１０００と、（２）番組の記録／再生／停止などを命令するユーザインターフェイス１２０００と、（３）デジタル放送などの放送番組を受信するアンテナ１３０００で受信したデジタル放送信号からユーザが選択した番組の信号を出力するテレビチューナ１６１１０と、（４）ユーザインターフェイス１２０００から出力された記録などの命令を後述する記録再生部１６２００に出力する内部コントローラ１６１２０と、（５）動画像や音声を一時的に蓄えるバッファメモリ１６１３０と、（６）大規模記憶装置１１０００やバッファメモリ１６１３０に対して
、音声データと映像データを入出力するデータ入出力部１６１４０と、（７）テレビチューナ１６１１０またはデータ入出力部１６１４０から出力された放送番組について、音声と映像を記録、再生する記録再生部１６２００と、から構成される。また、記録再生部１６２００は、（８）テレビチューナ１６１１０や、データ入出力部１６１４０から出力された音声と映像が多重化したビットストリームを音声と映像に分離し、分離した音声ビットストリームと映像ビットストリームをバッファメモリ１６１３０へ出力するストリーム分離部１６２１０と、（９）ストリーム分離部１６２１０がバッファメモリ１６１３０へ出力した映像ビットストリームを復号し、復号した映像データをバッファメモリ１６１３０へ出力するビデオデコード部１６２２０と、（１０）ストリーム分離部１６２１０がバッファメモリ１６１３０へ出力した音声ビットストリームを復号し、復号した音声データをバッファメモリ１６１３０へ出力するオーディオデコード部１６２３０と、（１１）後述する映像音声入出力部１６２４０と、（１２）映像音声入出力部１６２４０がバッファメモリ１６１３０に出力したビデオデータを映像符号化処理でビットストリームに符号化し、符号化したビデオビットストリームをバッファメモリ１６１３０へ出力するビデオエンコード部１６２５０と、（１３）映像音声入出力部１６２４０がバッファメモリ１６１３０に出力したオーディオデータを音声像符号化処理でビットストリームに符号化し、符号化したオーディオビットストリームをバッファメモリ１６１３０へ出力するオーディオエンコード部１６２６０と、（１４）バッファメモリ１６１３０に蓄えられたビデオエンコード部１６２５０が符号化処理し、出力したビデオビットストリームと、オーディオエンコード部１６２６０が符号化処理し、出力したオーディオビットストリームとを多重化し、データ入出力部１６１４０へ出力するストリーム多重化部１６２７０と、（１５）後述する記録制御部１６２８０と、から構成される。

映像音声入出力部１６２４０は、ビデオデコード部１６２２０が復号した映像データ（バッファメモリ１６１３０に蓄えられている映像データ）をディスプレイ１５０００へ出力し、オーディオデコード部１６２２０が復号した音声データ（バッファメモリ１６１３０に蓄えられている音声データ）をスピーカ１４０００へ出力し、ビデオデコード部１６２２０が復号した映像データを後述するビデオエンコード部１６２５０が符号化できるデータへと変換してバッファメモリ１６１３０に出力し、バッファメモリ１６１３０に変換したビデオデータの画像サイズ（画像の解像度）を出力することによって、後述する記録制御部１６２８０へと画像サイズ（画像の解像度）を通知し、オーディオデコード部１６２３０が復号した音声データを後述するオーディオエンコード部１６２６０が符号化できるデータへと変換してバッファメモリ１６１３０に出力する。

また、記録制御部１６２８０は、（１６）映像音声入出力部から出力される画像サイズ（画像の解像度）を監視し、画像サイズ（画像の解像度）に変化があった場合に解像度切替えが発生したと検出し、ビデオエンコード部１６２５０とオーディオエンコード部１６２６０とストリーム多重化部１６２７０へ停止命令を出力し、後述するホストコマンド制御部にコマンド処理禁止命令を出力する解像度切り替え制御部１６２８１と、（１７）内部コントローラ１６１２０から命令される記録再生の命令をビデオエンコード部１６２５０とオーディオエンコード部１６２６０とストリーム多重化部１６２７０へ出力するホストコマンド制御部１６２８２と、から構成される。

なお、図１における大規模記憶装置１１０００は、ＳＤカードや光ディスクやハードディスクなどに代表される記録媒体にデータを記録再生する装置を表している。
次に、解像度切替え制御部１６２８１の処理フローの一例について、図２を用いて説明する。
ステップＳ２０１では、解像度切り替わりの検出を判定し、解像度の切り替わりがあった場合には、ステップＳ２０２に処理を進め、無かった場合には、ステップＳ２０１を再度実行する。ここで、ビデオデコード部１６２２０が出力した復号後画像の解像度が、例え
ば、対応する復号後画像と一対一に対応を取れるようにバッファメモリ１６１３０に格納されている場合には、ステップＳ２０１では、これらのバッファメモリ１６１３０に格納された復号後画像の解像度が前回の値と変化したことを検出することで、解像度切り替わりの検出が可能である。なお、復号後画像の解像度は必ずしもバッファメモリ１６１３０に格納されている必要はなく、例えば、ビデオデコード部から解像度切替え制御部へ１画像ずつ復号後画像の解像度について通知がなされてもよい。また、復号後画像の解像度を表すデータは、例えば、１９２０画素×１０８０画素の場合、「１９２０」と「１０８０」という２種類の画素数そのもののデータであってもよいし、複数の許容される画素数をコード化し、例えば、「横解像度：タイプ“１”」と「縦解像度：タイプ“２”」の「１」と「２」というデータであってもよく、また、横と縦の解像度を合わせてコード化し、例えば、「解像度：モード“２”」の「２」というデータであってもよい。ステップＳ２０２では、ホストコマンド制御部１６２８２に対して、ホストコマンド禁止命令を出力し、ステップＳ２０３へ進む。ステップＳ２０４では、オーディオエンコード部に、通常停止命令を出力し、オーディオエンコード部１６２６０の処理を停止させる。その後、ステップＳ２０５に進む。ステップＳ２０５では、ビデオエンコード部１６２５０に可変長停止命令を出力し、ビデオエンコード部１６２５０がこの時点までに入力されている画像で、最も多い枚数でエンコードが完了できるようにする。その後、ステップＳ２０６に進む。ステップＳ２０６では、この時点でビデオエンコーダ部１６２５０のエンコード枚数が０であるか否かを判定し、０であると判定した場合、ステップＳ２０７に進み、０でないと判定した場合、ステップＳ２０８に進む。ステップＳ２０７では、この時点でビデオエンコーダ部１６２５０が、１枚のピクチャもエンコードせず、処理を完了しているため、ストリーム多重化部に強制停止命令を出力し、ステップＳ２０９に進む。ステップＳ２０８）では、この時点でビデオエンコーダ部１６２５０が、１枚以上のピクチャをエンコードしているため、ストリーム多重化部１６２７０には通常停止命令を出力し、ステップＳ２０９に進む。ステップＳ２０９では、記録を再開するために、ストリーム多重化部１６２７０、ビデオエンコード部１６２５０、オーディオエンコード部１６２６０へ記録開始命令を出力するように、ホストコマンド制御部１６２８２へ出力し、ステップＳ２１０へ進む。ステップＳ２１０では、ステップＳ２０２でホストコマンド制御部に、発行したホストコマンド禁止命令を解除するコマンドをホスト制御部に出力し、ステップＳ２０１へ進み、処理を最初から繰り返すことになる。

次に、ホストコマンド制御部１６２８２の処理フローの一例について、図３を用いて説明する。ここで、ホストコマンドとは、内部コントローラ１６１２０から発行される制御コマンドのことであり、ユーザインタフェース１２０００（例えばリモコンやパネル上のボタン）から入力された録画開始／録画終了／ポーズなどの指示を記録再生部１６２００に伝えることを主たる目的とする。

ステップＳ３０１では、解像度切替え制御部１６２８１からホストコマンド禁止命令が入力されているか否かを判定する。ホストコマンド禁止命令が入力されていたと判定した場合、ステップＳ３０４へ進む。ホストコマンド禁止命令の解除命令が入力されたことにより、禁止状態でない場合、ステップＳ３０２の処理に進む。ステップＳ３０２では、内部コントローラ１６１２０からのコマンドが入力されたか否かを判定する。内部コントローラ１６１２０からのコマンドが入力されていないと判定した場合、ステップＳ３０１に戻る。内部コントローラ１６１２０からのコマンドが入力されたと判定した場合、ステップＳ３０３へ進み、内部コントローラ１６１２０から入力された記録処理、停止処理のコマンドをストリーム多重化部１６２７０、ビデオエンコード部１６２５０、オーディオエンコード部１６２６０を出力し、処理ステップＳ３０１に戻る。ステップＳ３０４では、解像度切替え制御部１６２８１からのコマンドが入力されたか否かを判定する。解像度切替え制御部１６２８１からのコマンドが入力されていないと判定した場合、ステップＳ３０１に戻る。解像度切替え制御部１６２８１からのコマンドが入力されたと判定した場合
、ステップＳ３０５へ進み、解像度切替え制御部１６２８１から入力された記録処理コマンドをストリーム多重化部１６２７０、ビデオエンコード部１６２５０、オーディオエンコード部１６２６０を出力し、処理ステップＳ３０１に戻る。

次に、ビデオエンコード部１６２５０が符号化処理を開始した後に解像度切替えが発生した場合について、図４を用いて説明する。また、ビデオエンコード部１６２５０が符号化処理を開始する前に、解像度切替えが発生した場合について、図５を用いて説明する。まず、ビデオエンコード部１６２５０が符号化処理する方式について説明する。ビデオエンコード部１６２５０が用いる符号化方式は、ＤＶＤや、Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（ＢＤ）などに記録する場合、ＭＰＥＧ２や、Ｈ．２６４などの符号化方式によって符号化する。このとき、映像は一続きのＧＯＰ（ＧＲＯＵＰ ＯＦ ＰＩＣＴＵＲＥＳ）と呼ばれる画像群を一単位として符号化される。このようなＧＯＰの構造を図６に示す。ＧＯＰは、フレーム内符号化画像であるＩピクチャと、フレーム間順方向予測符号化画像であるＰピクチャと、フレーム間双方向予測符号化画像であるＢピクチャから構成され、この図６に示したＧＯＰの例では、Ｉピクチャが１フレーム、Ｐピクチャが４フレーム、Ｂピクチャが１０フレームで構成されている。Ｉ２は、Ｉ２のフレームのみでフレーム内符号化されており、Ｐ５は、Ｉ２を、Ｐ８はＰ５をそれぞれ参照して、フレーム間順方向符号化されており、Ｂ０、Ｂ１は、Ｐ’１４とＩ２を参照してフレーム間双方向予測符号化されており、Ｂ３、Ｂ４は、Ｉ２とＰ５を参照してフレーム間双方向予測符号化されている。
初めに、図４を用いて本発明に係る画像符号化装置の動作を説明する。映像音声入出力部１６２４０は、
オーディオデコード部１６２３０からバッファメモリ１６１３０へ出力した復号した音声データを、オーディオエンコード部１６２６０が処理できる単位（オーディオフレーム４００からオーディオフレーム４１４で示した各オーディオフレーム）ごとに、Ａｎ０、Ａｎ１、・・・、Ａｎｘ、Ａｎｘ＋１、・・・の順序でバッファメモリ１６１３０へ出力する。また、オーディオエンコード部１６２６０は、１オーディオフレームごとに符号化処理を行い、ＥＡｎ０、ＥＡｎ１、・・・、ＥＡｎｘ、ＥＡｎｘ＋１、・・・としてバッファメモリ１６１３０へ出力する。

映像音声入出力部１６２４０は、ビデオデコード部１６２２０からバッファメモリ１６１３０へ出力した復号した映像データを、ビデオエンコード部１６２５０が処理できる単位（ピクチャ４２０からピクチャ４３３で示した各ピクチャ）ごとに、Ｖｍ０、Ｖｍ１、・・・、Ｖｍｘ、Ｖｍｘ＋１、・・・の順序で、バッファメモリ１６１３０へ出力する。また、ビデオエンコード部１６２５０は、１ピクチャごとに図示した順序で符号化処理を行い、ＥＶｍ２−Ｉ、ＥＶｍ０−Ｂ、ＥＶｍ１−Ｂ、・・・、ＥＶｍｘ、ＥＶｍｘ＋１、・・・としてバッファメモリ１６１３０へ出力する。ただし、Ｖｍｘをエンコードする場合、そのピクチャの種類により、ＩピクチャであればＥＶｍｘ−Ｉ、ＰピクチャであればＥＶｍｘ−Ｐ、ＢピクチャであればＥＶｍｘ−Ｂと表現する。

図４は、Ｖｍ０（ピクチャ４２０）以前の画像から録画が開始されており、時刻ｔ１において、それまで解像度がハイビジョンサイズ（ＨＤサイズ：水平方向１９２０画素×垂直方向１０８０画素）であった画像から、スタンダードサイズ（ＳＤサイズ：水平方向７２０画素×垂直方向４８０画素）の画像に切替えが発生した場合を示した図である。すなわち、Ｖｍ１１（ピクチャ４３１）の画像から解像度が変化したことを表している。また図４は、前述したビデオエンコード部１６２５０の処理から明らかなように、Ｖｍ０（ピクチャ４２０）の画像からＧＯＰが開始する場合を想定して例示した図になっている。

ビデオエンコード部１６２５０はすでにエンコード処理を開始しており、解像度切り替え制御部１６２８１は、ビデオエンコード部１６２５０に対して入力されたＶｍ１０（ピ
クチャ４３０）までを用いて、可能な限り後のピクチャまで符号化することを指令する停止コマンドを発行する。しかし、Ｖｍ９（ピクチャ４２９）を符号化するためには、Ｖｍ９（ピクチャ４２９）より時間で後に入力されるＶｍ１１（ピクチャ４３１）が必要となるため、ビデオエンコード部１６２５０はＶｍ９（ピクチャ４２９）をエンコードできないと判定し、Ｖｍ８（ピクチャ４２８）までのピクチャを符号化した時点で停止する。オーディオエンコード部１６２６０は、ＥＡｎ１０（オーディオフレーム４５０）まで符号化して停止する。ストリーム多重化部１６２７０は、システム多重化したＳＶｍ７−Ｂ（ピクチャ４９１）までの各ピクチャ、ＳＡｎ１０（オーディオフレーム４９０）までの各オーディオフレームのデータを、データ入出力部１６１４０へ出力した時点で停止することになる。このような処理をすることにより、データ入出力部１６１４０から大規模記憶装置１１０００に出力されるデータ中において、解像度の切り替わり点で、解像度の混在したピクチャを多重化しないようにできる。

ストリーム多重化部１６２７０、ビデオエンコード部１６２５０、オーディオエンコード部１６２６０が記録開始命令を受け付けると、解像度の切り替わり発生後の映像データと音声データの符号化処理が再開する。ビデオエンコード部１６２５０が再開すると、映像音声入出力部１６２４０は、Ｖｍ１１（ピクチャ４３１）以降の各ピクチャをバッファメモリ１６１３０へ出力し、ビデオエンコード部１６２５０は、それらの各ピクチャを符号化して行く。ここで、ビデオエンコード部１６２５０は、記録開始命令を受けた直後に入力するＶｍ１１（ピクチャ４３１）から新たなＧＯＰを構成する。ここで、Ｖｍ１１（ピクチャ４３１）とＶｍ１２（ピクチャ４３２）は、ＥＶｍ１１−Ｂ（ピクチャ４７０）とＥＶｍ１２−Ｂ（ピクチャ４７１）のように、フレーム間双方向予測符号化画像であるＢピクチャとして符号化されるが、ＥＶｍ８−Ｐ（ピクチャ４６６）からの順方向の予測は画像の解像度が異なるために行われず、ＥＶｍ１３−Ｉ（ピクチャ４６９）からの逆方向の予測のみによって符号化される。またビデオエンコード部１６２５０の再開と同様に、オーディオエンコード部１６２６０が再開すると、映像音声入出力部１６２４０は、Ａｎ１３（オーディオフレーム４１３）以降の各オーディオフレームをバッファメモリ１６１３０へ出力し、オーディオエンコード部１６２６０は、それらの各オーディオフレームを符号化して行く。ここで、音声データは画像とは異なって通常サンプリングレートが高い（画像は通常１秒当たり数十ピクチャに対して音声は数十ｋＨｚでサンプルされる）ため、時刻ｔ１に入力画像の解像度が変化してエンコード処理が中断及び再開した直後のタイミングから、新たなオーディオフレームが構成されて行く（オーディオフレーム４１３、オーディオフレーム４１４）。したがって、画像の解像度の切り替わり後に音声と映像の同期がずれるようなことはない。以上のようにして符号化された出力データのＧＯＰ構造を図７に示す。

また、時刻ｔ１の直後から記録を再開している場合を説明したが、ビデオエンコード部１６２５０、オーディオエンコード部１６２６０へ入力される画像と音声は常に同期しており、記録を再開するタイミングが遅れても音声と映像の同期がずれるようなことはない。したがって、記録を再開するタイミングは必ずしも時刻ｔ１の直後に限られる訳ではなく、時刻ｔ１から遅れて再開しても構わない。この場合、時刻ｔ１から遅れた時間の量によっては、画像の解像度が切り替わった直後の画像が何枚か符号化されずに抜け落ちることもある。しかし、抜け落ちた後の画像（ピクチャ）以降の画像群を新たなＧＯＰとして符号化することで、直前のＧＯＰから画像の解像度が切り替わったＧＯＰを新たに開始することができる。このように符号化された出力データのＧＯＰ構造を図８に示す。

また、以上において、ビデオエンコード部１６２５０に対して入力されたＶｍ１０（ピクチャ４３０）までを用いて、可能な限り後のピクチャまで符号化することを指令する停止コマンドを発行して符号化処理を停止させる手順について説明した。その際に、Ｖｍ９（ピクチャ４２９）を符号化するには、さらに後続する画像が必要なため、Ｖｍ８（ピク
チャ４２８）まで符号化して停止するように説明したが、何もこの手順に限るわけではない。例えば、Ｖｍ９（ピクチャ４２９）は強制的に順方向予測符号化画像（Ｐピクチャ）として符号化すれば、後続する画像を必要とせずに符号化が可能になる。このような符号化を行うことにより、Ｖｍ９（ピクチャ４２９）を符号化した後に停止させることが可能になる。またさらに、可能な限り後のピクチャまで符号化するということは、画像の解像度が切り替わる直前まで可能な限り符号化するということを意味しており、強制的な順方向予測符号化画像（Ｐピクチャ）の符号化が可能な場合には、Ｖｍ１０（ピクチャ４３０）まで符号化した後に停止させることも可能である。このように符号化された出力データのＧＯＰ構造を図９に示す。
次に、図５を用いて本発明に係る画像符号化装置の動作を説明する。図５は、Ｖｍ０（ピクチャ６２０）の画像から録画が開始され、
時刻ｔ２において、それまで解像度がハイビジョンサイズ（ＨＤサイズ：水平方向１９２０画素×垂直方向１０８０画素）であった画像から、スタンダードサイズ（ＳＤサイズ：水平方向７２０画素×垂直方向４８０画素）の画像に切替えが発生した場合を示した図である。すなわち、Ｖｍ２（ピクチャ６２２）の画像から、解像度が変化したことを表している。このとき、オーディオエンコード部１６２６０は、ＥＡｎ０（オーディオフレーム６４０）まで処理を完了してＥＡｎ１（オーディオフレーム６４１）を処理中であり、ストリーム多重化部１６２７０も、ＳＡｎ０（オーディオフレーム６８０）を処理中であるが、ビデオエンコード部１６２５０は、符号化処理を未だ開始していない。ここで、入力されたＶｍ１（ピクチャ６２１）までを用いて、可能な限り後のピクチャまで符号化することを指令する停止コマンドを発行する。すると、Ｖｍ１（ピクチャ６２１）を符号化するためには、Ｖｍ１（ピクチャ６２１）より時間で後に入力されるＶｍ２（ピクチャ６２２）が必要となるため、Ｖｍ０（ピクチャ６２０）、Ｖｍ１（ピクチャ６２１）はエンコードできない。その結果、ピクチャを１枚もエンコードせずに終了する。ストリーム多重化部１６２７０は、ＳＡｎ０（オーディオフレーム６８０）の処理を開始しているが、強制停止コマンドが入力されたため、ストリーム多重化部１６２７０からデータ入出力部１６１４０へ、の転送を全く行わずに終了する。その結果、外部へ転送を全く行わずに処理を終了する。これにより、解像度の切り替わり点で、解像度の混在したピクチャをエンコードしないようにできるとともに、映像が伴わない音声だけの冗長なデータを転送しないようにできる。
この後、ストリーム多重化部１６２７０、ビデオエンコード部１６２５０、オーディオエンコード部１６２６０が記録開始命令を受け付けると、解像度の切り替わり発生後の映像データと音声データの符号化処理が再開する。そしてＶｍ２（ピクチャ６２２）以降のピクチャとＡｎ３（オーディオフレーム６０３）以降のオーディオフレームが符号化されて行くが、図４で説明した再開の手順と同様なので、詳細な説明は割愛する。

以上の説明において、解像度の切替えをＨＤサイズ（水平方向１９２０画素×垂直方向１０８０画素）とＳＤサイズ（垂直方向７２０画素×水平方向４８０画素）の間の切替えとして説明したが、切替え前後での解像度が別のＨＤサイズ（水平方向１４４０画素×垂直方向１０８０画素）など、どのような種類の解像度でもよい。また、例えばインターネットなどのネットワークを経由して配信されるような、テレビ放送では通常伝送されないＶＧＡ（水平方向６４０画素×垂直方向４８０画素）やＱＶＧＡ（水平方向３２０画素×垂直方向２４０画素）などの画像サイズであってもよい。
なお、ビデオエンコード部１６２５０が符号化処理する方式についても、ＭＰＥＧ２，Ｈ．２６４に限らず、例えば他のＭＰＥＧ４などの方式であってもよい。また、ＩピクチャまたはＰピクチャの間に挿入されるＢピクチャの枚数を２枚として説明したが、２枚に限らず、０枚や１枚、または３枚以上であってもよい。
また、図１で示した画像記録再生装置では、１つのバッファメモリ（バッファメモリ１６１３０）と各処理部がバスによって接続された構成になっているが、本発明に係る画像符
号化装置やそれを用いた画像記録再生装置は、何もこのような構成に限られない。例えば、本発明に係る画像符号化装置は、図１０に示す構成であってもよい。図１０に示すように、画像符号化装置であるＡＶエンコーダ１００１は、ＡＶデータ入力部１００２と、ビデオエンコーダ１００３と、オーディオエンコーダ１００４と、ストリーム多重化部１００５と、ＳＤカードや光ディスクやハードディスクなどに代表される記録媒体１００６とから構成され、外部の制御部１１０５によって制御される。なお、制御部１１０５はＡＶエンコーダ１００１の外部にあるとしたが、ＡＶエンコーダ１００１の内部にあってもよい。ＡＶデータ入力部１００２は、ビデオデータをデータラインＳ１００１経由で、オーディオデータをデータラインＳ１００２経由で入力して一時的に蓄積し、そのビデオデータをデータラインＳ１００３経由でビデオエンコーダに出力するとともに、そのオーディオデータをデータラインＳ１００４経由でオーディオエンコーダに出力する。ビデオエンコーダ１００３では入力画像データをピクチャとして符号化処理を行い、符号化後のデータをデータラインＳ１００５経由でストリーム多重化部１００５に出力する。また、オーディオエンコーダでは入力音声データをオーディオフレームとして符号化処理を行い、符号化後のデータをデータラインＳ１００６経由でストリーム多重化部に出力する。ストリーム多重化部では、画像符号化後の各ピクチャと音声符号化後の各オーディオフレームを多重化後、データラインＳ１００７経由で記録媒体１００６へと出力する。ここで、データラインＳ１００１からデータラインＳ１００７までの各データラインは、例えば信号線やメモリを介した「データの流れ」を表しており、必ずしも物理的な信号線のみを表している訳ではない。
制御部１１０５は、ＡＶデータ入力部に溜まったビデオデータを監視し、図４で説明した時刻ｔ１での解像度の切り替わりを検出した際には、ビデオエンコーダ１００３とオーディオエンコーダ１００４が以下の動作に移るように制御する。すなわち、ビデオエンコーダ１００３は、これまで入力されたビデオデータ（ピクチャ）を用いて、可能な限り後のピクチャまで符号化してＧＯＰを終了させ、符号化できなかったビデオデータ（ピクチャ）を破棄する。その後、ビデオエンコーダ１００３では、新たなＧＯＰとして符号化処理を再開する。並行して、オーディオエンコーダ１００４は、符号化処理を中断し、符号化できずに残ったオーディオデータを破棄する。その後、オーディオエンコーダでは、新たに入力されたオーディオデータから符号化単位（オーディオフレーム）を構成して符号化を再開する。このようにして、解像度の切り替わり点で、解像度の混在したピクチャを多重化して記録媒体１００６に記録されないようにできる。
以上の説明において、ビデオエンコード処理を停止する際に、可能な限り後のピクチャまで符号化してＧＯＰを終了させるとしたが、あくまで、より望ましい動作を説明したものである。実際には、画像の解像度の切り替わり点までにＧＯＰを終了させていればよく、必ずしも可能な限り後のピクチャまで符号化してＧＯＰを終了させる必要はない。言うまでもなく、図１を用いて説明した画像符号化装置の場合についても同様である。
また、図５で説明したようなデータを記録する場合には、制御部１１０５は、解像度の切り替わりを検出した際に、さらにストリーム多重化部１００５に対しても、未だストリーム出力せずに保持しているデータを破棄するように制御する。このようにして、解像度の切り替わり点で、解像度の混在したピクチャをエンコードしないようにできるとともに、映像が伴わない音声だけの冗長なデータが記録媒体１００６に記録されないようにできる。
以上で説明した図１０の画像符号化装置にはバッファメモリを図示していないが、ＡＶデータ入出力部１００２、ビデオエンコーダ１００３、オーディオエンコーダ１００４、ストリーム多重化部１００５の各々は、その動作に必要な容量のバッファメモリにアクセスするものとする。これらのバッファメモリは一部で共用していてもよく、また、図１で示した画像記録再生装置のように、全て共用して一つのバッファメモリで構成してもよい。次に、図１０で示した画像符号化装置であるＡＶエンコーダ１００１を用いた画像記録再生装置１１０１について、図１１を用いて説明する。図１１において、画像記録再生装置１１０１は、ＡＶエンコーダ１００１と、入力データ切り替え器１１０２と、ストリーム
分離部１１０３と、ＡＶデコーダ１１０４と、制御部１１０５２と、リモコン受信部１１０６と、入出力インタフェース部１１０７から構成される。リモコン受信部１１０６は、外部のリモコン（リモートコントローラ）１１０８から発信されるユーザ入力コマンドを受信して、制御部１１０５２に伝える。制御部１１０５２では、得られたユーザ入力や画像記録再生装置１１０１の状態に応じて、ストリーム分離部１１０３、ＡＶデコーダ１１０４、ＡＶエンコーダ１００１が所望の動作をするように制御する。入出力インタフェース部１１０７は、ＡＶエンコーダ１００１の出力する多重化後のＡＶデータをデータラインＳ１００７経由で受け取って記録媒体に記録するとともに、記録媒体１００６から読み出した多重化後のＡＶデータを読み出して、入力データ切り替え器１１０２に出力する。入力データ切り替え器１１０２では、外部からストリーム入力されたＡＶデータと入出力インタフェース部１１０７から出力されたＡＶデータとのどちらか一方を選択して、ストリーム分離部１１０３に出力する。ストリーム分離部１１０３では、多重化されたＡＶデータのストリームを解釈・分離してＡＶデコーダ１１０４に出力する。ＡＶデコーダ１１０４は入力された圧縮ビデオデータと圧縮オーディオデータを復号化し、ビデオデータ（画像データ）とオーディオデータを出力する。これらのＡＶデコーダ１１０４から出力されたビデオデータ（画像データ）とオーディオデータは、ＡＶエンコーダ１００１に入力されるとともに、テレビジョン受像機などの外部の表示装置１１０９やスピーカなどの音声出力装置１１１０へと出力される。なお、図１０の説明において、制御部１１０５は画像符号化装置であるＡＶエンコーダ１１０１の外部にある必要はなく内部にあってもよいとしたが、図１１に示した制御部１１０５２は、画像記録再生装置１１０１全体を制御する制御部であって、ＡＶエンコーダ１１０１の外部にあるものである。図１０に示した制御部１１０５がＡＶエンコーダ１１０１の外部にある場合は、図１０に示した制御部１１０５と図１１に示した制御部１１０５２とは同一であってもよい。
最後に、放送されたストリームと、本発明の画像符号化方法及び装置によって符号化されて大規模記憶装置１１０００や記録媒体１００６に記録されるストリームとの、対応関係について図１２と図１３を用いて説明する。図１２では、放送されたストリームが１ＧＯＰ当たり１５枚でエンコードされており、大規模記憶装置１１０００や記録媒体１００６に記録されるストリームも同様に１ＧＯＰ当たり１５枚でエンコードされる場合における各ＧＯＰの対応関係について示している。記録の開始タイミングはユーザによって直接選択されたり、タイマーによってスタートされることがあるため、放送されたストリームのＧＯＰ開始位置からずれることがある。その場合、画像の解像度の切り替わり点までは、放送されたストリームと記録されるストリームのＧＯＰは一致することなく、常に一定量のピクチャ数だけずれたままになる。しかし、画像解像度の切り替わり点以降の画像を記録できるように制御した場合、画像解像度の切り替わり点直後では、放送されたストリームと記録されるストリームのＧＯＰが一致するようになる。（図１２のＧＯＰ１２０５の部分で１ＧＯＰ当たりの画像の枚数が調整される。）また、特に図示してはいないが、制御のされ方に依存して、画像解像度の切り替わり点直後の画像が何枚か符号化されずに抜け落ちる場合には、画像解像度の切り替わり点以降でも、図８に示したＧＯＰ構造のように、抜け落ちた画像の枚数だけＧＯＰがずれ続けることになる。また、図１３は放送されたストリームの１ＧＯＰ当たりのピクチャ数と記録されるストリームの１ＧＯＰ当たりのピクチャ数が異なる場合について、図示したものである。図１３では、放送されたストリームは１ＧＯＰ当たり１５枚でエンコードされており、大規模記憶装置１１０００や記録媒体１００６に記録されるストリームは１ＧＯＰ当たり３０枚でエンコードされる場合を示している。このような場合でも、放送されたストリームのＧＯＰと記録されるストリームのＧＯＰとは、一定の関係を持ちながら「ずれる」ことになるが、画像解像度の切り替わり点以降の画像を記録できるように制御した場合、画像解像度の切り替わり点直後では、放送されたストリームと記録されるストリームのＧＯＰの開始位置が一致するようになる。

本発明の画像符号化方法、本発明の画像符号化装置、本発明の画像記録再生装置によれば、例えばＳＤ（標準画質）とＨＤ（高品位画質）の間のように、画像サイズの切替えが発生したとしても、受信した画像と同じ大きさで符号化（記録）することが可能になり、ＳＤカードや光ディスクやハードディスクなどに代表される記録媒体を余分に消費したり、画質の劣化を発生しないようにすることができるので、デジタル放送を記録媒体に記録する画像符号化方法や画像符号化装置や画像記録再生装置等として有用である。

本発明の実施の形態における画像記録再生装置の構成を示す図 本発明の実施の形態における解像度切替え制御部のフローチャートの一例を示す図 本発明の実施の形態におけるホストコマンド制御部のフローチャートの一例を示す図 ビデオエンコーダがエンコード動作開始後に、解像度切替えが発生した場合の符号化動作を示す図 ビデオエンコーダがエンコード動作開始前に、解像度切替えが発生した場合の符号化動作を示す図 ＭＰＥＧ規格のビットストリームの一例を示す図 本発明の方法及び装置によって生成されるＧＯＰ構造の一例を示す図 本発明の方法及び装置によって生成されるＧＯＰ構造の一例を示す図 本発明の方法及び装置によって生成されるＧＯＰ構造の一例を示す図 本発明の実施の形態における符号化装置の構成を示す図 本発明の実施の形態における画像記録再生装置の構成を示す図 放送されたストリームと記録されるストリームとの対応関係を示す図 放送されたストリームと記録されるストリームとの対応関係を示す図

符号の説明

１１０００ 大規模記憶装置
１２０００ ユーザインターフェイス
１３０００ アンテナ
１４０００ スピーカ
１５０００ ディスプレイ
１６０００ 画像記録再生装置
１６１１０ テレビチューナ
１６１２０ 内部コントローラ
１６１３０ バッファメモリ
１６１４０ データ入出力部
１６２００ 記録再生部
１６２１０ ストリーム分離部
１６２２０ ビデオデコード部
１６２３０ オーディオデコード部
１６２５０ ビデオエンコード部
１６２４０ 映像音声入出力部
１６２６０ オーディオエンコード部
１６２７０ ストリーム多重化部
１６２８０ 記録制御部
１６２８１ 解像度切り替え制御部
１６２８２ ホストコマンド制御部
Ｓ２０１〜Ｓ２１０、Ｓ３０１〜Ｓ３０５ ステップ
４００〜４１４、４４０〜４５３、４８０〜４８２、４８４、４８６、４８８、４９０、４９２、４９３、５００〜５０２、５０４、５０６、５０８、５１０、５１２、６００〜６０７、６４０〜６４６、６８０〜６８３、７０１〜７０３ オーディオフレーム
４２０〜４３３、４６０〜４７１、４８３、３８７、４８９、４９１、４９４、５０３、５０７、５０９、５１１、６２０〜６２７、６６０〜６６５、６８４、７０４、８００〜９１４ ピクチャ
１００１ ＡＶエンコーダ
１００２ ＡＶデータ入力部
１００３ ビデオエンコーダ
１００４ オーディオエンコーダ
１００５ ストリーム多重化部
１００６ 記録媒体
１１０５ 制御部
１１０１ 画像記録再生装置
１１０２ 入力データ切り替え器
１１０３ ストリーム分離部
１１０４ ＡＶデコーダ
１１０５２ 制御部
１１０６ リモコン受信部
１１０７ 入出力インタフェース部
１１０８ リモコン
１１０９ 表示装置
１１１０ 音声出力装置
Ｓ１００１〜Ｓ１００７、Ｓ１１０１〜Ｓ１１０３ データライン
１２０１〜１２０６、１３０１〜１３０６ ＧＯＰ

Claims (3)

1. デジタル放送の番組を復号化して得られた画像データと音声データとを複数のＧＯＰとして符号化する画像符号化方法であって、
   前記画像データと前記音声データを入力し、画像サイズの変化を検出するＡＶデータ入力ステップと、
   前記ＡＶデータ入力部が入力した画像データを符号化し、ＧＯＰを構成する符号化済みビデオデータを出力するビデオエンコードステップと、
   前記ＡＶデータ入力部が入力した音声データを符号化し、符号化済みオーディオデータを出力するオーディオエンコードステップと、
   前記符号化済みビデオデータと前記符号化済みオーディオデータを多重化するストリーム多重化ステップと、
   前記ＡＶデータ入力ステップにおいて画像サイズの変化を検出した場合に、前記ビデオエンコードステップと前記オーディオエンコードステップを停止して符号化中のＧＯＰを終了させ、画像サイズの変化点以降から新しいＧＯＰが始まるように前記ビデオエンコードステップと前記オーディオエンコードステップを再開させるステップとを含む、
   ことを特徴とする画像符号化方法。
2. デジタル放送の番組を復号化して得られた画像データと音声データとを複数のＧＯＰとして符号化する画像符号化装置であって、
   前記画像データと前記音声データを入力し、画像サイズの変化を検出するＡＶデータ入力部と、
   前記ＡＶデータ入力部が入力した画像データを符号化し、符号化済みビデオデータを出力するビデオエンコーダと、
   前記ＡＶデータ入力部が入力した音声データを符号化し、符号化済みオーディオデータを出力するオーディオエンコーダと、
   前記符号化済みビデオデータと前記符号化済みオーディオデータを多重化するストリーム多重化部と、
   少なくとも前記ＡＶデータ入力部と前記ビデオエンコーダと前記オーディオエンコーダとを制御する制御部とを含み、
   前記制御部は、前記ＡＶデータ入力部が画像サイズの変化を検出した場合に、前記ビデオエンコーダと前記オーディオエンコーダの動作を停止させて符号化中のＧＯＰを終了し、画像サイズの変化点以降から新しいＧＯＰが始まるように前記ビデオエンコーダと前記オーディオエンコーダの動作を再開させる
   ことを特徴とする画像符号化装置。
3. デジタル放送の番組を復号化して得られた画像データと音声データを符号化して記録媒体に記録する画像記録再生装置であって、
   請求項２に記載の画像符号化装置と、
   リモコンによるユーザ入力信号を受信するリモコン受信部と、
   デジタル放送の番組を入力してストリーム分離するストリーム分離部と、
   前記ストリーム分離部によって分離された符号化データを前記画像データと前記音声データに復号化する画像復号化装置と、
   前記画像符号化装置によって符号化されたデータを記録媒体に記録する入出力インタフェースとを含む、画像記録再生装置。

Images