JP2009302849A - 画像符号化方法及び画像符号化装置並びにそれらを用いた画像記録再生装置 - Google Patents
画像符号化方法及び画像符号化装置並びにそれらを用いた画像記録再生装置 Download PDFInfo
- Publication number
- JP2009302849A JP2009302849A JP2008154419A JP2008154419A JP2009302849A JP 2009302849 A JP2009302849 A JP 2009302849A JP 2008154419 A JP2008154419 A JP 2008154419A JP 2008154419 A JP2008154419 A JP 2008154419A JP 2009302849 A JP2009302849 A JP 2009302849A
- Authority
- JP
- Japan
- Prior art keywords
- data
- audio
- image
- encoding
- frame rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】符号化中に画像信号のフレームレートが変化したとき、I/P(インターレース/プログレッシブ)変換することなく、入力ストリームと同じフレームレートで符号化し、フレームレートの異なるストリームを効率良く符号化する。
【解決手段】入力AVストリームにてフレームレートの変化を検出した場合には、ビデオエンコードとオーディオエンコードとを停止して符号化中のGOP(group of pictures)を終了させ、フレームレートの変化点以降から新しいGOPが始まるようにビデオエンコードとオーディオエンコードとを再開させる。
【選択図】図7
【解決手段】入力AVストリームにてフレームレートの変化を検出した場合には、ビデオエンコードとオーディオエンコードとを停止して符号化中のGOP(group of pictures)を終了させ、フレームレートの変化点以降から新しいGOPが始まるようにビデオエンコードとオーディオエンコードとを再開させる。
【選択図】図7
Description
本発明は、デジタル放送などを記録媒体に記録するために用いる画像符号化装置及び画像符号化方法並びにそれらを用いた画像記録再生装置に関するものである。
近年では、地上波デジタル放送の普及とともに、受信したデジタル放送の番組をハードディスクなどに記録するデジタルレコーダが普及しつつある。地上波デジタル放送などのデジタル放送は、デジタル化されて圧縮されたビットストリームが送信されるものである。H.264などの高い圧縮率を可能とする符号化技術の確立に伴い、MPEG2などで符号化されたHDサイズの番組をH.264で再度符号化してハードディスクに記録することにより、大量の番組を記録できる。
従来の画像符号化装置では、受信したデジタル放送番組のフレームレートの変化が生じた場合I/P変換を行い、インターレース(i)エンコード又はプログレッシブ(p)エンコードを固定的に行う。また、24pプルダウンと60iとの混合ストリームについては、24pのフレームを検出し、フレーム/フィールドエンコードを適応的に切り替えている事例もあるが、24pプルダウンは60iのストリームであり、60pから60iへの変化、あるいはその逆の変化は考慮されていない(特許文献1参照)。
特開平9−168148号公報
しかしながら、デジタル放送の番組の中には、インターレース部分とプログレッシブ部分とが混在している番組も少ないながら存在する。このような番組を連続して録画する場合には、インターレースとプログレシッブとのフレームレートの切り替えが発生する。
インターレース画像を録画するときに、I/P変換してプログレッシブ画像で再符号化して記録する場合には、符号化する画像が多くなるため、符号化後に発生するビットストリームがインターレース画像のままで符号化した場合より多くなり、ハードディスクを余計に消費する状況に陥る。また、プログレッシブ画像を録画するときに、画像をP/I変換してインターレース画像として再符号化して記録する場合には、符号化後に発生するビットストリームが多くなることはないが、画質の劣化が生じる状況に陥る。
本発明は前記従来の課題を解決するもので、例えばインターレース(60i)とプログレッシブ(60p)との間のようなフレームレートの切り替えが発生したとしても、受信したフレームレートと同じフレームレートで符号化(記録)することが可能になり、SDカードや光ディスクやハードディスクなどに代表される記録媒体を余分に消費したり、画質の劣化を発生したりしないようにすることができる画像符号化方法及び画像符号化装置並びに画像記録再生装置を提供する。
前記従来の課題を解決するために、本発明の画像符号化方法は、デジタル放送の番組を復号化して得られた画像データと音声データとを複数のGOPとして符号化する画像符号化方法であって、前記画像データと前記音声データとを入力し、フレームレートの変化を検出するAVデータ入力ステップと、前記AVデータ入力ステップにて入力した画像データを符号化し、GOPを構成する符号化済みビデオデータを出力するビデオエンコードステップと、前記AVデータ入力ステップにて入力した音声データを符号化し、符号化済みオーディオデータを出力するオーディオエンコードステップと、前記符号化済みビデオデータと前記符号化済みオーディオデータとを多重化するストリーム多重化ステップと、前記AVデータ入力ステップにおいてフレームレートの変化を検出した場合に、前記ビデオエンコードステップと前記オーディオエンコードステップとを停止して符号化中のGOPを終了させ、フレームレートの変化点以降から新しいGOPが始まるように前記ビデオエンコードステップと前記オーディオエンコードステップとを再開させるステップとを有する。本構成によって、フレームレートの切り替えが発生したとしても、受信したフレームレートと同じフレームレートで符号化することが可能になり、よって画質の劣化を発生しないようにすることができるとともに、それを記録媒体に記録した際には、記録媒体を余分に消費しないようにすることができる。
また、本発明の画像符号化装置は、デジタル放送の番組を復号化して得られた画像データと音声データとを複数のGOPとして符号化する画像符号化装置であって、前記画像データと前記音声データとを入力し、フレームレートの変化を検出するAVデータ入力部と、前記AVデータ入力部が入力した画像データを符号化し、符号化済みビデオデータを出力するビデオエンコーダと、前記AVデータ入力部が入力した音声データを符号化し、符号化済みオーディオデータを出力するオーディオエンコーダと、前記符号化済みビデオデータと前記符号化済みオーディオデータとを多重化するストリーム多重化部と、少なくとも前記AVデータ入力部と前記ビデオエンコーダと前記オーディオエンコーダとを制御する制御部とを有し、前記制御部は、前記AVデータ入力部がフレームレートの変化を検出した場合に、前記ビデオエンコーダと前記オーディオエンコーダとの動作を停止させて符号化中のGOPを終了させ、フレームレートの変化点以降から新しいGOPが始まるように前記ビデオエンコーダと前記オーディオエンコーダとの動作を再開させる。本構成によって、フレームレートの切り替えが発生したとしても、受信したフレームレートと同じフレームレートで符号化することが可能になり、よって画質の劣化を発生しないようにすることができるとともに、それを記録媒体に記録した際には、記録媒体を余分に消費しないようにすることができる。
また、本発明の画像記録再生装置は、リモコンによるユーザ入力信号を受信するリモコン受信部と、デジタル放送の番組を入力してストリーム分離するストリーム分離部と、前記ストリーム分離部によって分離された符号化データを前記画像データと前記音声データとに復号化するAVデコーダと、前記AVデコーダの出力を符号化するように構成された本発明の画像符号化装置と、前記画像符号化装置によって得られた符号化済みデータを記録媒体に記録する入出力インターフェイス部とを有する。本構成によって、フレームレートの切り替えが発生したとしても、受信したフレームレートと同じフレームレートで符号化することが可能になり、よって画質の劣化を発生しないようにすることができるとともに、記録媒体を余分に消費しないようにすることができる。
本発明の画像符号化方法、画像符号化装置、画像記録再生装置によれば、例えば60i(インターレース)と60p(プログレッシブ)との間のようなフレームレートの切り替えが発生したとしても、受信したフレームレートと同じフレームレートで符号化(記録)することが可能になり、SDカードや光ディスクやハードディスクなどに代表される記録媒体を余分に消費したり、画質の劣化を発生したりしないようにすることができる。
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
図1は、本発明に係る画像記録再生装置16000の構成を示すブロック図である。図1において、画像記録再生装置16000は、次の各部によって構成される。すなわち、(1)大量の映像や、音声などを蓄える大規模記憶装置11000と、(2)番組の記録/再生/停止などを命令するユーザインターフェイス12000と、(3)デジタル放送などの放送番組を受信するアンテナ13000で受信したデジタル放送信号からユーザが選択した番組の信号を出力するテレビチューナ16110と、(4)ユーザインターフェイス12000から出力された記録などの命令を後述する記録再生部16200に出力する内部コントローラ16120と、(5)動画像や音声を一時的に蓄えるバッファメモリ16130と、(6)大規模記憶装置11000やバッファメモリ16130に対して、音声データと映像データを入出力するデータ入出力部16140と、(7)テレビチューナ16110又はデータ入出力部16140から出力された放送番組について、音声と映像を記録、再生する記録再生部16200とから構成される。
記録再生部16200は、(8)テレビチューナ16110やデータ入出力部16140から出力された音声と映像が多重化したビットストリームを音声と映像に分離し、分離した音声ビットストリームと映像ビットストリームとをバッファメモリ16130へ出力するストリーム分離部16210と、(9)ストリーム分離部16210がバッファメモリ16130へ出力した映像ビットストリームを復号し、復号した映像データをバッファメモリ16130へ出力するビデオデコーダ16220と、(10)ストリーム分離部16210がバッファメモリ16130へ出力した音声ビットストリームを復号し、復号した音声データをバッファメモリ16130へ出力するオーディオデコーダ16230と、(11)後述する映像音声入出力部16240と、(12)映像音声入出力部16240がバッファメモリ16130に出力したビデオデータを映像符号化処理でビットストリームに符号化し、符号化したビデオビットストリームをバッファメモリ16130へ出力するビデオエンコーダ16250と、(13)映像音声入出力部16240がバッファメモリ16130に出力したオーディオデータを音声符号化処理でビットストリームに符号化し、符号化したオーディオビットストリームをバッファメモリ16130へ出力するオーディオエンコーダ16260と、(14)バッファメモリ16130に蓄えられた、ビデオエンコーダ16250が符号化処理して出力したビデオビットストリームと、オーディオエンコーダ16260が符号化処理して出力したオーディオビットストリームとを多重化し、データ入出力部16140へ出力するストリーム多重化部16270と、(15)後述する記録制御部16280とから構成される。
映像音声入出力部16240は、ビデオデコーダ16220が復号した映像データ(バッファメモリ16130に蓄えられている映像データ)をディスプレイ15000へ出力し、オーディオデコーダ16230が復号した音声データ(バッファメモリ16130に蓄えられている音声データ)をスピーカ14000へ出力し、ビデオデコーダ16220が復号した映像データをビデオエンコーダ16250が符号化できるデータへと変換してバッファメモリ16130に出力し、バッファメモリ16130に変換したビデオデータのフレームレートを出力することによって、後述する記録制御部16280へとフレームレートを通知し、オーディオデコーダ16230が復号した音声データをオーディオエンコーダ16260が符号化できるデータへと変換してバッファメモリ16130に出力する。
記録制御部16280は、(16)映像音声入出力部16240から出力されるフレームレートを監視し、フレームレートに変化があった場合にフレームレート切り替えが発生したと検出し、ビデオエンコーダ16250とオーディオエンコーダ16260とストリーム多重化部16270とに停止命令を出力し、後述するホストコマンド制御部にコマンド処理禁止命令を出力するフレームレート切り替え制御部16281と、(17)内部コントローラ16120から与えられる記録再生コマンドをビデオエンコーダ16250とオーディオエンコーダ16260とストリーム多重化部16270とに出力するホストコマンド制御部16282とから構成される。
なお、図1における大規模記憶装置11000は、SDカードや光ディスクやハードディスクなどに代表される記録媒体にデータを記録再生する装置を表している。
次に、フレームレート切り替え制御部16281の処理フローの一例について、図2を用いて説明する。ステップS201では、フレームレート切り替わりの検出を判定し、フレームレートの切り替わりがあった場合には、ステップS202に処理を進め、フレームレートの切り替わりがなかった場合には、ステップS201を再度実行する。ここで、ビデオデコーダ16220が出力した復号後画像のフレームレートが、例えば、対応する復号後画像と1対1に対応を取れるようにバッファメモリ16130に格納されている場合には、ステップS201では、これらのバッファメモリ16130に格納された復号後画像のフレームレートが前回の値から変化したことを検出することで、フレームレートの切り替わりの検出が可能である。なお、復号後画像のフレームレートは必ずしもバッファメモリ16130に格納されている必要はなく、例えば、ビデオデコーダ16220からフレームレート切り替え制御部16281へ1画像ずつ復号後画像のフレームレートについて通知がなされてもよい。また、復号後画像のフレームレートを表すデータは、例えば、60pの場合、「60」と「progressive」という2種類のデータであってもよいし、コード化し、例えば、「60p:タイプ“1”」や「60i:タイプ“2”」といった「1」、「2」というデータであってもよい。
ステップS202では、ホストコマンド制御部16282に対して、ホストコマンド禁止命令を出力し、ステップS204へ進む。ステップS204では、オーディオエンコーダ16260に通常停止命令を出力し、オーディオエンコーダ16260の処理を停止させる。その後、ステップS205に進む。ステップS205では、ビデオエンコーダ16250に可変長停止命令を出力し、ビデオエンコーダ16250がこの時点までに入力されている画像で、最も多い枚数でエンコードが完了できるようにする。その後、ステップS206に進む。ステップS206では、この時点でビデオエンコーダ16250のエンコード枚数が0であるか否かを判定し、0であると判定した場合、ステップS207に進み、0でないと判定した場合、ステップS208に進む。ステップS207では、この時点でビデオエンコーダ16250が、1枚のピクチャもエンコードせず、処理を完了しているため、ストリーム多重化部16270に強制停止命令を出力し、ステップS209に進む。ステップS208では、この時点でビデオエンコーダ16250が1枚以上のピクチャをエンコードしているため、ストリーム多重化部16270には通常停止命令を出力し、ステップS209に進む。ステップS209では、記録を再開するために、ストリーム多重化部16270、ビデオエンコーダ16250、オーディオエンコーダ16260へ記録開始命令を出力し、ステップS210へ進む。ステップS210では、ステップS202でホストコマンド制御部16282に発行したホストコマンド禁止命令を解除する命令をホストコマンド制御部16282に出力し、ステップS201へ進み、処理を最初から繰り返すことになる。
次に、ホストコマンド制御部16282の処理フローの一例について、図3を用いて説明する。ここで、ホストコマンドとは、内部コントローラ16120から発行される制御コマンドのことであり、ユーザインターフェイス12000(例えばリモコンやパネル上のボタン)から入力された録画開始/録画終了/ポーズなどの指示を記録再生部16200へ伝えることを主たる目的とする。
ステップS301では、フレームレート切り替え制御部16281からホストコマンド禁止命令が入力されているか否かを判定する。ホストコマンド禁止命令が入力されていたと判定した場合、ステップS304へ進む。ホストコマンド禁止解除命令が入力されたことにより、禁止状態でない場合、ステップS302の処理に進む。ステップS302では、内部コントローラ16120からのコマンドが入力されたか否かを判定する。内部コントローラ16120からのコマンドが入力されていないと判定した場合、ステップS301に戻る。内部コントローラ16120からのコマンドが入力されたと判定した場合、ステップS303へ進み、内部コントローラ16120から入力された記録処理、停止処理のコマンドをストリーム多重化部16270、ビデオエンコーダ16250、オーディオエンコーダ16260へ出力し、処理ステップS301に戻る。
ステップS304では、フレームレート切り替え制御部16281からのコマンドが入力されたか否かを判定する。フレームレート切り替え制御部16281からのコマンドが入力されていないと判定した場合、ステップS301に戻る。フレームレート切り替え制御部16281からのコマンドが入力されたと判定した場合、ステップS305へ進み、フレームレート切り替え制御部16281から入力された記録処理コマンドをストリーム多重化部16270、ビデオエンコーダ16250、オーディオエンコーダ16260へ出力し、処理ステップS301に戻る。
次に、ビデオエンコーダ16250が符号化処理を開始した後にフレームレート切り替えが発生した場合について、図4を用いて説明する。また、ビデオエンコーダ16250が符号化処理を開始する前にフレームレート切り替えが発生した場合について、図5を用いて説明する。
まず、ビデオエンコーダ16250が符号化処理する方式について説明する。ビデオエンコーダ16250が用いる符号化方式は、DVDや、Blu−Ray Disc(BD)などに記録する場合、MPEG2や、H.264などの符号化方式によって符号化する。このとき、映像は一続きのGOP(group of pictures)と呼ばれる画像群を一単位として符号化される。
GOPの構造の例を図6に示す。GOPは、フレーム内符号化画像であるIピクチャと、フレーム間順方向予測符号化画像であるPピクチャと、フレーム間双方向予測符号化画像であるBピクチャとから構成され、図6に示したGOPの例では、Iピクチャが1フレーム、Pピクチャが4フレーム、Bピクチャが10フレームで構成されている。I2はI2のフレームのみでフレーム内符号化されており、P5はI2を、P8はP5をそれぞれ参照して、フレーム間順方向符号化されており、B0及びB1はP’14とI2とを参照してフレーム間双方向予測符号化されており、B3及びB4はI2とP5とを参照してフレーム間双方向予測符号化されている。
初めに、図4を用いて本発明に係る画像記録再生装置16000の動作を説明する。映像音声入出力部16240は、オーディオデコーダ16230からバッファメモリ16130へ出力した復号した音声データを、オーディオエンコーダ16260が処理できる単位である各オーディオフレームごとに、An0、An1、・・・、Anx、Anx+1、・・・の順序でバッファメモリ16130へ出力する。また、オーディオエンコーダ16260は、1オーディオフレームごとに符号化処理を行い、EAn0、EAn1、・・・、EAnx、EAnx+1、・・・としてバッファメモリ16130へ出力する。
映像音声入出力部16240は、ビデオデコーダ16220からバッファメモリ16130へ出力した復号した映像データを、ビデオエンコーダ16250が処理できる単位である各ピクチャごとに、Vm0、Vm1、・・・、Vmx、Vmx+1、・・・の順序で、バッファメモリ16130へ出力する。また、ビデオエンコーダ16250は、1ピクチャごとに図示した順序で符号化処理を行い、EVm2−I、EVm0−B、EVm1−B、・・・、EVmx、EVmx+1、・・・としてバッファメモリ16130へ出力する。ただし、Vmxをエンコードする場合、そのピクチャの種類により、IピクチャであればEVmx−I、PピクチャであればEVmx−P、BピクチャであればEVmx−Bと表現する。
図4は、Vm0以前の画像から録画が開始されており、時刻t1において、それまでフレームレートが60pの画像から、60iの画像に切り替えが発生した場合を示した図である。すなわち、Vm11の画像からフレームレートが変化したことを表している。また図4は、前述したビデオエンコーダ16250の処理から明らかなように、Vm0の画像からGOPが開始する場合を想定して例示した図になっている。
ビデオエンコーダ16250は既にエンコード処理を開始しており、フレームレート切り替え制御部16281は、ビデオエンコーダ16250に対して入力されたVm10までを用いて、可能な限り後のピクチャまで符号化することを指令する停止コマンドを発行する。しかし、Vm9を符号化するためには、Vm9より時間で後に入力されるVm11が必要となるため(図6参照)、ビデオエンコーダ16250はVm9をエンコードできないと判定し、Vm8までのピクチャを符号化した時点で停止する。オーディオエンコーダ16260は、EAn10まで符号化して停止する。ストリーム多重化部16270は、システム多重化したSVm7−Bまでの各ピクチャ、SAn10までの各オーディオフレームのデータを、データ入出力部16140へ出力した時点で停止することになる。このような処理をすることにより、データ入出力部16140から大規模記憶装置11000に出力されるデータ中において、フレームレートの切り替わり後のピクチャを切り替わり前のフレームレートで符号化及び多重化しないようにできる。
ストリーム多重化部16270、ビデオエンコーダ16250、オーディオエンコーダ16260が記録開始命令を受け付けると、フレームレートの切り替わり発生後の映像データと音声データとの符号化処理が再開する。ビデオエンコーダ16250が再開すると、映像音声入出力部16240は、Vm11以降の各ピクチャをバッファメモリ16130へ出力し、ビデオエンコーダ16250は、それらの各ピクチャを符号化して行く。ここで、ビデオエンコーダ16250は、記録開始命令を受けた直後に入力するVm11から新たなGOPを構成する。ここで、Vm11とVm12は、EVm11−BとEVm12−Bのように、フレーム間双方向予測符号化画像であるBピクチャとして符号化されるが、EVm8−Pからの順方向の予測は画像のフレームレートが異なるために行われず、EVm13−Iからの逆方向の予測のみによって符号化される。またビデオエンコーダ16250の再開と同様に、オーディオエンコーダ16260が再開すると、映像音声入出力部16240は、An13以降の各オーディオフレームをバッファメモリ16130へ出力し、オーディオエンコーダ16260は、それらの各オーディオフレームを符号化して行く。ここで、音声データは画像とは異なって通常サンプリングレートが高い(画像は通常1秒当たり数十ピクチャに対して音声は数十kHzでサンプルされる)ため、時刻t1に入力画像のフレームレートが変化してエンコード処理が中断及び再開した直後のタイミングから、新たなオーディオフレームAn13,An14が構成されて行く。したがって、フレームレートの切り替わり後に音声と映像の同期がずれるようなことはない。以上のようにして符号化された出力データのGOP構造を図7に示す。
ここでは、時刻t1の直後から記録を再開している場合を説明したが、ビデオエンコーダ16250及びオーディオエンコーダ16260へ入力される画像と音声は常に同期しており、記録を再開するタイミングが遅れても音声と映像の同期がずれるようなことはない。したがって、記録を再開するタイミングは必ずしも時刻t1の直後に限られる訳ではなく、時刻t1から遅れて再開しても構わない。この場合、時刻t1から遅れた時間の量によっては、フレームレートが切り替わった直後の画像が何枚か符号化されずに抜け落ちることもある。しかし、抜け落ちた後の画像(ピクチャ)以降の画像群を新たなGOPとして符号化することで、直前のGOPからフレームレートが切り替わったGOPを新たに開始することができる。このように符号化された出力データのGOP構造を図8に示す。
また、以上において、ビデオエンコーダ16250に対して入力されたVm10までを用いて、可能な限り後のピクチャまで符号化することを指令する停止コマンドを発行して符号化処理を停止させる手順について説明した。その際に、Vm9を符号化するには、更に後続する画像が必要なため、Vm8まで符号化して停止するように説明したが、何もこの手順に限るわけではない。例えば、Vm9は強制的に順方向予測符号化画像(Pピクチャ)として符号化すれば、後続する画像を必要とせずに符号化が可能になる。このような符号化を行うことにより、Vm9を符号化した後に停止させることが可能になる。また更に、可能な限り後のピクチャまで符号化するということは、画像のフレームレートが切り替わる直前まで可能な限り符号化するということを意味しており、強制的な順方向予測符号化画像(Pピクチャ)の符号化が可能な場合には、Vm10まで符号化した後に停止させることも可能である。このように符号化された出力データのGOP構造を図9に示す。
次に、図5を用いて本発明に係る画像記録再生装置16000の他の動作を説明する。図5は、ピクチャVm0から録画が開始され、時刻t2において、それまでフレームレートが60pから、60iに切り替えが発生した場合を示した図である。すなわち、Vm2の画像から、フレームレートが変化したことを表している。このとき、オーディオエンコーダ16260は、EAn0まで処理を完了してEAn1を処理中であり、ストリーム多重化部16270も、オーディオフレームSAn0を処理中であるが、ビデオエンコーダ16250は、符号化処理を未だ開始していない。ここで、入力されたVm1までを用いて、可能な限り後のピクチャまで符号化することを指令する停止コマンドを発行する。すると、Vm0及びVm1を符号化するためには、Vm1より時間で後に入力されるVm2が必要となるため(図6参照)、Vm0及びVm1をエンコードできない。その結果、ピクチャを1枚もエンコードせずに終了する。ストリーム多重化部16270は、SAn0の処理を開始しているが、強制停止コマンドが入力されるため、ストリーム多重化部16270からデータ入出力部16140への転送を全く行わずに終了する。その結果、外部へ転送を全く行わずに処理を終了する。これにより、フレームレートの切り替わり後のピクチャを切り替わり前のフレームレートで符号化しないようにできるとともに、映像が伴わない音声だけの冗長なデータを転送しないようにできる。
この後、ストリーム多重化部16270、ビデオエンコーダ16250、オーディオエンコーダ16260が記録開始命令を受け付けると、フレームレートの切り替わり発生後の映像データと音声データとの符号化処理が再開する。そしてVm2以降のピクチャとAn3以降のオーディオフレームとが符号化されて行くが、図4で説明した再開の手順と同様なので、詳細な説明は割愛する。
以上の説明において、フレームレートの切り替えを60pと60iとの間の切り替えとして説明したが、切り替え前後でのフレームレートが30iなど、どのような種類のフレームレートでもよい。また、例えば日本などで用いられる60iと欧州などで用いられる50iとの間の切り替えでもよい。
なお、ビデオエンコーダ16250が符号化処理する方式についても、MPEG2、H.264に限らず、例えばMPEG4などの他の方式であってもよい。また、Iピクチャ又はPピクチャの間に挿入されるBピクチャの枚数を2枚として説明したが、2枚に限らず、0枚や1枚、又は3枚以上であってもよい。
さて、図1で示した画像記録再生装置16000では、1つのバッファメモリ16130と各処理部とがバスによって接続された構成になっているが、本発明に係る画像符号化装置やそれを用いた画像記録再生装置は、何もこのような構成に限られない。例えば、本発明に係る画像符号化装置は、図10に示す構成であってもよい。
図10に示すように、画像符号化装置であるAVエンコーダ1001は、AVデータ入力部1002と、ビデオエンコーダ1003と、オーディオエンコーダ1004と、ストリーム多重化部1005とから構成され、SDカードや光ディスクやハードディスクなどに代表される記録媒体1006が接続され、外部の制御部1105によって制御される。なお、制御部1105はAVエンコーダ1001の外部にあるとしたが、AVエンコーダ1001の内部にあってもよい。
AVデータ入力部1002は、ビデオデータをデータラインS1001経由で、オーディオデータをデータラインS1002経由でそれぞれ入力して一時的に蓄積し、そのビデオデータをデータラインS1003経由でビデオエンコーダ1003に出力するとともに、そのオーディオデータをデータラインS1004経由でオーディオエンコーダ1004に出力する。ビデオエンコーダ1003では入力画像データをピクチャとして符号化処理を行い、符号化後のデータをデータラインS1005経由でストリーム多重化部1005に出力する。また、オーディオエンコーダ1004では入力音声データをオーディオフレームとして符号化処理を行い、符号化後のデータをデータラインS1006経由でストリーム多重化部1005に出力する。ストリーム多重化部1005では、画像符号化後の各ピクチャと音声符号化後の各オーディオフレームとを多重化後、データラインS1007経由で記録媒体1006へと出力する。ここで、データラインS1001からデータラインS1007までの各データラインは、例えば信号線やメモリを介した「データの流れ」を表しており、必ずしも物理的な信号線のみを表している訳ではない。
制御部1105は、AVデータ入力部1002に溜まったビデオデータを監視し、図4で説明した時刻t1でのフレームレートの切り替わりを検出した際には、ビデオエンコーダ1003とオーディオエンコーダ1004とが以下の動作に移るように制御する。すなわち、ビデオエンコーダ1003は、これまで入力されたビデオデータ(ピクチャ)を用いて、可能な限り後のピクチャまで符号化してGOPを終了させ、符号化できなかったビデオデータ(ピクチャ)を破棄する。その後、ビデオエンコーダ1003では、新たなGOPとして符号化処理を再開する。並行して、オーディオエンコーダ1004は、符号化処理を中断し、符号化できずに残ったオーディオデータを破棄する。その後、オーディオエンコーダ1004では、新たに入力されたオーディオデータから符号化単位(オーディオフレーム)を構成して符号化を再開する。このようにして、フレームレート切り替わり後のピクチャが切り替わり前のフレームレートで多重化されて記録媒体1006に記録されることがないようにできる。
以上の説明において、ビデオエンコード処理を停止する際に、可能な限り後のピクチャまで符号化してGOPを終了させるとしたが、あくまで、より望ましい動作を説明したものである。実際には、フレームレートの切り替わり点までにGOPを終了させていればよく、必ずしも可能な限り後のピクチャまで符号化してGOPを終了させる必要はない。言うまでもなく、図1を用いて説明した画像符号化装置の場合についても同様である。
また、図5で説明したようなデータを記録する場合には、制御部1105は、フレームレートの切り替わりを検出した際に、更にストリーム多重化部1005に対しても、未だストリーム出力せずに保持しているデータを破棄するように制御する。このようにして、フレームレート切り替わり後のピクチャを切り替わり前のフレームレートでエンコードしないようにできるとともに、映像が伴わない音声だけの冗長なデータが記録媒体1006に記録されないようにできる。
以上で説明した図10のAVエンコーダ1001にはバッファメモリを図示していないが、AVデータ入力部1002、ビデオエンコーダ1003、オーディオエンコーダ1004、ストリーム多重化部1005の各々は、その動作に必要な容量のバッファメモリにアクセスするものとする。これらのバッファメモリは一部で共用していてもよく、また、図1で示した画像記録再生装置16000のように、全て共用して1つのバッファメモリで構成してもよい。
次に、図10のAVエンコーダ1001を用いた画像記録再生装置1101について、図11を用いて説明する。図11において、画像記録再生装置1101は、AVエンコーダ1001と、入力データ切り替え器1102と、ストリーム分離部1103と、AVデコーダ1104と、制御部11052と、リモコン受信部1106と、入出力インターフェイス部1107とから構成される。
リモコン受信部1106は、外部のリモコン(リモートコントローラ)1108から発信されるユーザ入力コマンドを受信して、制御部11052へ伝える。制御部11052では、得られたユーザ入力や画像記録再生装置1101の状態に応じて、ストリーム分離部1103、AVデコーダ1104、AVエンコーダ1001が所望の動作をするように制御する。入出力インターフェイス部1107は、AVエンコーダ1001の出力する多重化後のAVデータをデータラインS1007経由で受け取って記録媒体1006に記録するとともに、記録媒体1006から多重化後のAVデータを読み出して、これをデータラインS1102経由で入力データ切り替え器1102に出力する。入力データ切り替え器1102では、外部からデータラインS1101経由でストリーム入力されたAVデータと入出力インターフェイス部1107からデータラインS1102経由で出力されたAVデータとのいずれか一方を選択して、これをデータラインS1103経由でストリーム分離部1103に出力する。ストリーム分離部1103は、多重化されたAVデータのストリームを解釈・分離して、その結果をデータラインS1104経由でAVデコーダ1104に出力する。AVデコーダ1104は入力された圧縮ビデオデータと圧縮オーディオデータとを復号化し、ビデオデータ(画像データ)とオーディオデータとを出力する。これらのAVデコーダ1104から出力されたビデオデータ(画像データ)とオーディオデータとは、AVエンコーダ1001に入力されるとともに、テレビジョン受像機などの外部のディスプレイ1109やスピーカ1110へと出力される。なお、図10の説明において、制御部1105は画像符号化装置であるAVエンコーダ1001の外部にある必要はなく内部にあってもよいとしたが、図11に示した制御部11052は、画像記録再生装置1101全体を制御する制御部であって、AVエンコーダ1001の外部にあるものである。図10に示した制御部1105がAVエンコーダ1001の外部にある場合は、図10に示した制御部1105と図11に示した制御部11052とは同一であってもよい。
最後に、放送されたストリームと、本発明の画像符号化方法及び装置によって符号化されて大規模記憶装置11000や記録媒体1006に記録されるストリームとの、対応関係について、図12と図13を用いて説明する。
図12は、放送されたストリームが1GOP当たり15枚でエンコードされており、大規模記憶装置11000や記録媒体1006に記録されるストリームも同様に1GOP当たり15枚でエンコードされる場合における各GOPの対応関係について示している。記録の開始タイミングはユーザによって直接選択されたり、タイマーによってスタートされることがあるため、放送されたストリームのGOP開始位置からずれることがある。その場合、フレームレートの切り替わり点までは、放送されたストリームと記録されるストリームとのGOPは一致することなく、常に一定量のピクチャ数だけずれたままになる。しかし、フレームレートの切り替わり点以降の画像を記録できるように制御した場合、フレームレートの切り替わり点直後では、放送されたストリームと記録されるストリームとのGOPが一致するようになる。図12のGOP#(N+1)の部分で、1GOP当たりの画像の枚数が調整される。
また、特に図示してはいないが、制御のされ方に依存して、フレームレートの切り替わり点直後の画像が何枚か符号化されずに抜け落ちる場合には、フレームレートの切り替わり点以降でも、図8に示したGOP構造のように、抜け落ちた画像の枚数だけGOPがずれ続けることになる。
図13は、放送されたストリームの1GOP当たりのピクチャ数と記録されるストリームの1GOP当たりのピクチャ数とが異なる場合について、図示したものである。図13では、放送されたストリームは1GOP当たり15枚でエンコードされており、大規模記憶装置11000や記録媒体1006に記録されるストリームは1GOP当たり30枚でエンコードされる場合を示している。このような場合でも、放送されたストリームのGOPと記録されるストリームのGOPとは、一定の関係を持ちながら「ずれる」ことになるが、フレームレートの切り替わり点以降の画像を記録できるように制御した場合、フレームレートの切り替わり点直後では、放送されたストリームと記録されるストリームとのGOPの開始位置が一致するようになる。
本発明の画像符号化方法、画像符号化装置、画像記録再生装置によれば、例えば、60pと60iとの間のようにフレームレートの切り替えが発生したとしても、受信したフレームレートで符号化(エンコード)することが可能になり、SDカードや光ディスクやハードディスクなどに代表される記録媒体を余分に消費したり、画質を劣化させたりしないようにすることができるので、デジタル放送を記録媒体に記録する画像符号化方法や画像符号化装置や画像記録再生装置などとして有用である。
1001 AVエンコーダ
1002 AVデータ入力部
1003 ビデオエンコーダ
1004 オーディオエンコーダ
1005 ストリーム多重化部
1006 記録媒体
1101 画像記録再生装置
1102 入力データ切り替え器
1103 ストリーム分離部
1104 AVデコーダ
1105 制御部
1106 リモコン受信部
1107 入出力インターフェイス部
1108 リモコン
1109 ディスプレイ
1110 スピーカ
11000 大規模記憶装置
12000 ユーザインターフェイス
13000 アンテナ
14000 スピーカ
15000 ディスプレイ
16000 画像記録再生装置
16110 テレビチューナ
16120 内部コントローラ
16130 バッファメモリ
16140 データ入出力部
16200 記録再生部
16210 ストリーム分離部
16220 ビデオデコーダ
16230 オーディオデコーダ
16240 映像音声入出力部
16250 ビデオエンコーダ
16260 オーディオエンコーダ
16270 ストリーム多重化部
16280 記録制御部
16281 フレームレート切り替え制御部
16282 ホストコマンド制御部
1002 AVデータ入力部
1003 ビデオエンコーダ
1004 オーディオエンコーダ
1005 ストリーム多重化部
1006 記録媒体
1101 画像記録再生装置
1102 入力データ切り替え器
1103 ストリーム分離部
1104 AVデコーダ
1105 制御部
1106 リモコン受信部
1107 入出力インターフェイス部
1108 リモコン
1109 ディスプレイ
1110 スピーカ
11000 大規模記憶装置
12000 ユーザインターフェイス
13000 アンテナ
14000 スピーカ
15000 ディスプレイ
16000 画像記録再生装置
16110 テレビチューナ
16120 内部コントローラ
16130 バッファメモリ
16140 データ入出力部
16200 記録再生部
16210 ストリーム分離部
16220 ビデオデコーダ
16230 オーディオデコーダ
16240 映像音声入出力部
16250 ビデオエンコーダ
16260 オーディオエンコーダ
16270 ストリーム多重化部
16280 記録制御部
16281 フレームレート切り替え制御部
16282 ホストコマンド制御部
Claims (3)
- デジタル放送の番組を復号化して得られた画像データと音声データとを複数のGOPとして符号化する画像符号化方法であって、
前記画像データと前記音声データとを入力し、フレームレートの変化を検出するAVデータ入力ステップと、
前記AVデータ入力ステップにて入力した画像データを符号化し、GOPを構成する符号化済みビデオデータを出力するビデオエンコードステップと、
前記AVデータ入力ステップにて入力した音声データを符号化し、符号化済みオーディオデータを出力するオーディオエンコードステップと、
前記符号化済みビデオデータと前記符号化済みオーディオデータとを多重化するストリーム多重化ステップと、
前記AVデータ入力ステップにおいてフレームレートの変化を検出した場合に、前記ビデオエンコードステップと前記オーディオエンコードステップとを停止して符号化中のGOPを終了させ、フレームレートの変化点以降から新しいGOPが始まるように前記ビデオエンコードステップと前記オーディオエンコードステップとを再開させるステップとを含むことを特徴とする画像符号化方法。 - デジタル放送の番組を復号化して得られた画像データと音声データとを複数のGOPとして符号化する画像符号化装置であって、
前記画像データと前記音声データとを入力し、フレームレートの変化を検出するAVデータ入力部と、
前記AVデータ入力部が入力した画像データを符号化し、符号化済みビデオデータを出力するビデオエンコーダと、
前記AVデータ入力部が入力した音声データを符号化し、符号化済みオーディオデータを出力するオーディオエンコーダと、
前記符号化済みビデオデータと前記符号化済みオーディオデータとを多重化するストリーム多重化部と、
少なくとも前記AVデータ入力部と前記ビデオエンコーダと前記オーディオエンコーダとを制御する制御部とを含み、
前記制御部は、前記AVデータ入力部がフレームレートの変化を検出した場合に、前記ビデオエンコーダと前記オーディオエンコーダとの動作を停止させて符号化中のGOPを終了させ、フレームレートの変化点以降から新しいGOPが始まるように前記ビデオエンコーダと前記オーディオエンコーダとの動作を再開させることを特徴とする画像符号化装置。 - リモコンによるユーザ入力信号を受信するリモコン受信部と、
デジタル放送の番組を入力してストリーム分離するストリーム分離部と、
前記ストリーム分離部によって分離された符号化データを前記画像データと前記音声データとに復号化するAVデコーダと、
前記AVデコーダの出力を符号化するように構成された請求項2記載の画像符号化装置と、
前記画像符号化装置によって得られた符号化済みデータを記録媒体に記録する入出力インターフェイス部とを有することを特徴とする画像記録再生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008154419A JP2009302849A (ja) | 2008-06-12 | 2008-06-12 | 画像符号化方法及び画像符号化装置並びにそれらを用いた画像記録再生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008154419A JP2009302849A (ja) | 2008-06-12 | 2008-06-12 | 画像符号化方法及び画像符号化装置並びにそれらを用いた画像記録再生装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009302849A true JP2009302849A (ja) | 2009-12-24 |
Family
ID=41549298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008154419A Pending JP2009302849A (ja) | 2008-06-12 | 2008-06-12 | 画像符号化方法及び画像符号化装置並びにそれらを用いた画像記録再生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009302849A (ja) |
-
2008
- 2008-06-12 JP JP2008154419A patent/JP2009302849A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100767605B1 (ko) | 계층적 메모리를 구비한 영상 기록 재생 장치 및 계층적메모리 구현 방법 | |
JP4039417B2 (ja) | 記録再生装置 | |
US8184959B2 (en) | Apparatus and method for recording/reproducing moving picture in digital broadcast receiver | |
JP5258885B2 (ja) | 符号化ストリーム再生装置及び符号化ストリーム再生方法 | |
JP2011014948A (ja) | 画像符号化方法及び画像符号化装置、並びにそれらを用いた画像記録再生装置 | |
JP4440863B2 (ja) | 符号化復号化装置、符号化復号化方法、符号化復号化集積回路、および符号化復号化プログラム | |
JP2009111932A (ja) | 動画像復号化装置 | |
JP2009506629A (ja) | 改善されたトリックプレイのためのトランスコードされた画像 | |
JP2004072727A (ja) | 画像処理方法、画像処理装置、画像記録再生装置、およびテレビジョン受像機 | |
JP2006319690A (ja) | 動画像符号化装置 | |
TWI242371B (en) | Decoder and decoding method | |
CN100542251C (zh) | 修改多媒体内容流来实现特技模式回放的方法和系统 | |
JP6207217B2 (ja) | 記録再生機能内蔵テレビ | |
JP4575417B2 (ja) | 動画像再生装置 | |
JP6695479B2 (ja) | 記録再生装置 | |
JP5145915B2 (ja) | 記録装置、及び記録方法 | |
JP2009302849A (ja) | 画像符号化方法及び画像符号化装置並びにそれらを用いた画像記録再生装置 | |
US20100008642A1 (en) | Video apparatus and method thereof | |
JP4442420B2 (ja) | 画像再生装置および方法、並びにプログラム | |
JP2009188440A (ja) | 録画再生装置 | |
JP2007257718A (ja) | 映像情報処理装置 | |
JP3184175B2 (ja) | 復号化装置 | |
JP2006270755A (ja) | デコード回路及びデコード方法 | |
JP2005198203A (ja) | 映像信号記録再生装置および方法 | |
JP4973714B2 (ja) | 記録再生装置 |