JP2004166116A

JP2004166116A - 動画像符号化装置

Info

Publication number: JP2004166116A
Application number: JP2002331900A
Authority: JP
Inventors: 潤 ▲たか▼橋; Jun Takahashi; Takahiro Nishi; 孝啓西
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-11-15
Filing date: 2002-11-15
Publication date: 2004-06-10

Abstract

【課題】発生符号レートと、伝送路に出力される符号レートを調整するための、出力バッファのアンダーフローを防ぎつつ、伝送の運用規定を遵守する。
【解決手段】入力された映像信号を画面内で一定の領域のブロック毎に符号化する符号化処理手段と、前記符号化処理手段により符号化された少なくとも１画面分の符号化データを格納するための記憶手段と、前記記憶手段に符号化データを格納すると、所定充足量を超過するか否かを判定し、所定充足量を超過し、且つ時間的に連続する符号化データの間隔が所定の間隔以下になるように、所定の符号化方法で前記映像信号を再符号化する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像を効率良く圧縮する画像符号化方法とそれを正しく復号化する画像復号化方法に関する。
【０００２】
【従来の技術】
近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔｓ／ｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ：ＩｎｔｅｇｒａｔｅｄＳｅｒｖｉｃｅｓＤｉｇｉｔａｌＮｅｔｗｏｒｋ）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）とは、動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Ｍｂｐｓに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号が２〜１５Ｍｂｐｓに圧縮される。さらに現状では、ＭＰＥＧ−１、ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１）によって、ＭＰＥＧ−１、ＭＰＥＧ−２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。
【０００６】
現状ＭＰＥＧ−４はインターネットや、第３世代携帯端末などで用いられる、６４ｋｂｐｓ〜３８４ｋｂｐｓといった低ビットレートでの実時間伝送用途が主となっている。
【０００７】
伝送系においては、復号側で受信した符号化データが正しく復号できるように、標準復号器のバッファモデル（以下ＶＢＶバッファ：ＶｉｄｅｏＢｕｆｆｅｒｉｎｇＶｅｒｉｆｉｅｒＢｕｆｆｅｒ）というものを想定し、このバッファモデルを満たすように符号化制御を行う。復号側では受信した符号化データは一定時間ＶＢＶバッファに蓄えられ、復号時刻が来ると、１フレーム分のデータがＶＢＶバッファから瞬時に引き出されるモデルが仮定されている。符号化装置は、このＶＢＶバッファモデルのバッファが破綻しないようなストリームを出力する必要がある。
【０００８】
その上、実時間伝送においては、それぞれの用途に応じた運用規定に基づき、伝送されるデータ、すなわち符号化データの伝送時間間隔などが厳密に規定されている。例えば復号する画像サイズ等の情報を記憶したＣＩ（ＣｏｎｆｉｇｕｒａｔｉｏｎＩｎｆｏｒｍａｔｉｏｎ）データは、復号に必須の情報であるため、伝送データの途中からでも復号を行うために一定時間間隔で挿入されている。また、ＣＩの次に挿入される符号化データは、既に復号した画像を参照して復号しない、画面内符号化モードで符号化されるのが一般的であるが、画面内符号化（Ｉ−ＶＯＰ符号化）は、既に復号化した画像との差分を用いて符号化する画面間符号化（Ｐ−ＶＯＰ）と比較して、発生符号量が多いため、バッファの占有量が大きく変動しやすい。
【０００９】
実際のバッファ制御の一例を図１１に示す。図１１において、横軸１１０４は時刻を表わし、縦軸１１００はバッファ占有量を示す。１１０２はバッファの最大値であり、１１１２はバッファの下限値である。１１１６は時刻Ｔ１からＴ２の時間間隔を意味し、１１１８は時刻Ｔ２からＴ４の時間間隔を意味する。１１０８、１１２０はそれぞれ時刻Ｔ１、Ｔ３における符号化データ発生量を意味する。
【００１０】
伝送系においては、固定ビットレート制御が一般的に行われており、その場合は、図中の傾き１１１０によって、一定のビット数がバッファに蓄積される。蓄積された符号化データは、復号時刻Ｔ１、Ｔ２、Ｔ３…の時点でバッファから引き抜かれる。引き抜かれるタイミングでデータが足りないと、復号側での遅延が発生し、データが多すぎると伝送されるデータがバッファに書き込めないという不具合があるため、バッファ占有量１１００は復号時刻において下限値１１１２と上限値１１０２の間で推移し、且つ復号時刻のデータが常にバッファに蓄積されていることが望ましい。さらに、システムの安定性の面から、下限値１１１２より大きい値をバッファ制御下限値１１０６とする場合もある。図示していないが、バッファ上限値についても同様で、バッファの最大値よりも小さい値をバッファ制御上限値とする場合がある。符号化制御において、入力画像を符号化することにより得られた符号化データが多い場合には、ＶＢＶバッファが下限値１１０２を下回ってしまう、すなわちアンダーフローしてしまうため、従来は画像のコマ落としを行うことで、ある程度のＶＢＶバッファの破綻を許容したり、画面内で符号量を制御して、ＶＢＶバッファが破綻するのを回避している（例えば、非特許文献１参照）。
【００１１】
【非特許文献１】
高橋健志、他４名、“低遅延ＭＰＥＧ−４通信システムにおける解像度変換の有効性”、［平成１４年９月１５日検索］、インターネット
＜ＵＲＬ：ｗｗｗ．ｔｏｍ．ｃｏｍｍ．ｗａｓｅｄａ．ａｃ．ｊｐ／￣ｔａｋｅ／ｗｅｂ／ｉｅｉｃｅＪａｎ２００２．ｐｄｆ＞
【００１２】
【発明が解決しようとする課題】
しかしながら、シーケンス最初のデータや、異なるシーケンスの切れ目においては、前記運用規定などで定められるデータ間隔を遵守するため、コマ落としができないという問題点がある。これについて図１１を用いて説明する。
【００１３】
図１１では、符号化データは時刻に比例した一定の傾き１１１０で増加し、表示時刻Ｔ１、Ｔ２、Ｔ３において、１フレーム分のデータがバッファから引き出される。図１１中において、時刻Ｔ３のように、符号化したデータが大きい場合には、ＶＢＶバッファの占有量がマイナスになる、つまりアンダーフローの状況が生じてしまう。このような場合は、Ｔ３に対応するフレームのデータを送信せず、スキップする、すなわち、点線１１１４の推移を行うことでアンダーフローを回避することが出来る。この場合、時刻Ｔ３において符号化データが送られないことになるため、時刻Ｔ２とＴ４の間隔は、Ｔ１とＴ２の間隔よりも広くなってしまう。仮に、運用規定上時刻Ｔ３のタイミングでＣＩを出力しなければならない場合は、図１１の制御では実現できない。
【００１４】
さらに、符号化する画像サイズやフレームレートといったパラメータ変更に伴い、シーケンスが切り替わるような場合についても同様の課題が生じている。以下図１２を用いて説明する。図１２において、１２２０はシーケンスが切り替わる前の符号化制御を意味し、１２２２はシーケンス切り替え後の符号化制御を意味している。シーケンスが切り替わった場合でも、バッファ制御は継続されるため、切れ目の部分でバッファの破綻が生じないように制御を行わなければならない。シーケンスの切れ目では、映像情報がまったく異なる場合は画面間符号化が使用できないため、画面内符号化された符号化データが挿入される。その場合、入力画像の性質によっては発生符号量が多くなり、時刻Ｔ３において、破線のようにバッファ占有量がバッファ下限値１１０６を下回るような場合がある。このような場合、Ｔ２、Ｔ３間の時間間隔が一定間隔を遵守できないため、前述した運用規定などで、時間間隔を固定に規定している場合には、従来の制御では規定を遵守出来ない。
【００１５】
【課題を解決するための手段】
この課題を解決するために、第１の発明は、入力された映像信号を画面内で一定の領域のブロック毎に符号化する符号化処理手段と、前記符号化処理手段により符号化された少なくとも１画面分の符号化データを格納するための記憶手段と、前記記憶手段に符号化データを格納すると、所定充足量を超過するか否かを判定し、所定充足量を超過し、且つ時間的に連続する符号化データの間隔が所定の間隔以下になるように、所定の符号化方法で前記映像信号を再符号化するように前記符号化処理手段を制御するレート制御手段を備えたことを特徴とする動画像符号化装置である。
【００１６】
第２の発明は、映像信号を符号化した圧縮符号化データであって、前記圧縮符号化データ内に含まれる、前記圧縮符号化データを復号するために必要なＣＩ（ＣｏｎｆｉｇｕｒａｔｉｏｎＩｎｆｏｒｍａｔｉｏｎ）データが一定時間内に挿入されることを目的として、ＣＩデータに続く符号化データは、所定の画面内圧縮符号化を行っていることを特徴とした、圧縮符号化データ構造である。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図６を用いて説明する。
【００１８】
（実施の形態１）
図１は本発明方法を実施する符号化装置の構成例を示すブロック図である。図１において、０１０２は符号化装置の入力、０１０４は符号化回路、０１０８は符号化回路の結果を保持する出力バッファメモリ、０１１２は符号化制御回路、０１１６は符号化装置の出力である。０１０６は符号化データ、０１１０はバッファ残量値である。このように構成される符号化装置の動作を以下説明する。輝度信号と色差信号で構成される映像信号信号は、符号化装置の入力０１０２から符号化回路０１０４に入力され、符号化制御回路０１１２から０１１４を介して入力される、符号化タイプ、量子化パラメータなどの符号化情報に基づいて符号化される。符号化回路０１０４の詳細については図２において後述する。符号化回路０１０４によって符号化された符号化データは、０１０６を介して、出力バッファメモリ０１０８に出力され、出力バッファメモリ０１０８のバッファ占有量は０１１０を介して符号化制御回路０１１２に入力される。符号化制御回路０１１２は、入力されたバッファ占有量を基に、バッファ占有量がアンダーフローしないように、次に符号化する際の符号化タイプ、量子化パラメータなどの符号化パラメータを０１１８経由で符号化制御回路０１１２に指示する。符号化制御回路０１１２の詳細については、図４において後述する。なお、符号化回路０１０４について今回詳解していないが、ＭＰＥＧ、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４などのいずれの動画圧縮符号化でもよいものとする。
【００１９】
図２は図１で説明した画像符号化装置内の符号化回路０１０４の内部図である。また、図３、図４は本発明の画像符号化像値によるバッファ制御の概念図を示す。なお、図３、図４中の各要素については、別図と同一のものについては同じ符号を付与し、その説明を省略する。以下、図２、図３、図４を用いて、符号化制御回路０１１２の動作について説明する。
【００２０】
図３中の時刻Ｔ３において、画面内符号化により発生した符号化ビット数がＸＸＸＸ分発生した場合、図２中の０１１０から入力されるバッファ占有量は、バッファ占有量の下限値１１０６を下回った値が入力される。この場合、符号量制御回路０２０２は、時刻Ｔ３が復号に必要なＣＩデータを出力するタイミングである場合は、コマ落としなどの方法が使用できないため、ＣＩデータの後に、発生した符号化データの代わりに、通常とは別の特殊符号化モードを符号化タイプ制御回路０２０６に出力する。特殊符号化とは、符号化する映像信号を符号化する際の符号化単位がすべて一定値の画素信号で構成されると仮定し、符号化するモードである。
【００２１】
一定値とは、黒レベル（輝度信号レベル０、色差信号レベル１２８、１２８もしくは、規格により定められた黒レベル：例ＲｅｃｏｍｍｅｎｄａｔｉｏｎＩＴＵ−ＲＢＴ．６０１では輝度信号レベル１６、色差信号レベル１２８、１２８を黒レベルと定義）の値であるものとし、符号化を行うものである。これにより情報量を削減することが可能となる。
【００２２】
その他、入力画像をＤＣＴなどの直交変換を施した結果に対して、直流成分のみを符号化する方法などを用いても良い。以上の特殊符号化を行うことによって、時刻Ｔ３の発生符号量を３０４に抑制し、バッファ占有量が下限値１１０６を下回らないように制御する。
【００２３】
図４は、入力される映像データのフォーマットなどが変更されたなどの理由により、符号化データのまとまりの単位であるシーケンスが切り替わった場合のバッファ制御図である。図のバッファ占有グラフのうち、点線部１１２０が切り替え前のシーケンスを意味し、実線部１１２２が切り替え後のセッションを意味している。シーケンスが切り替わった場合でも、バッファ制御は継続されるため、切れ目の部分でバッファの破綻が生じないように制御を行わなければならない。シーケンスの切れ目では、画面間符号化ではなく、画面内符号化された符号化データが挿入されるため、入力画像の性質によっては発生符号量が多くなり、時刻Ｔ３において、０４０２の破線のようにバッファ占有量がバッファ下限値１１０６を下回るような場合がある。このような場合、Ｔ２、Ｔ３間の時間間隔が一定間隔を遵守できないため、図２の符号量制御回路では、ＣＩデータの後に、前述の特殊符号化を行うように、特殊符号化モードを符号化タイプ制御回路に出力する。符号化タイプ制御回路では、０１１４を介して、符号化回路に特殊符号化モード選択信号を出力する。以上の制御を行うことによって、セッション間において、符号化データ間隔を遵守するような符号化制御を行うことが出来る。
【００２４】
なお、アンダーフローが生じない場合は、符号量制御回路はバッファが破綻しないような量子化パラメータを符号化タイプ制御回路に出力する。
【００２５】
図５は図１で説明した符号化器の内部構成を示すものである。図５において、図１の符号化制御回路からの出力０１１４を元に、符号化タイプに応じた０５０４、０５０６、０５０８に示すような符号化器を切り替えて、０１０２から入力された映像信号を一時的に保持している、少なくとも１以上のフレームメモリ内の映像信号を符号化する。なお、符号化制御信号からの出力信号によって、符号化する映像信号を切り替えることも可能である。なお、図２、３、４で説明した特殊符号化において、一定値の映像信号を符号化する符号化器については、あらかじめ符号化したデータをメモリ上に保持しておいて、モードが選択された場合にはメモリの内容を出力するような構成でも実現できる。
【００２６】
（実施の形態２）
さらに、図１の符号化装置のような制御を行うことによって得られた、ＣＩ情報の直後に、前述の特殊符号化を行った符号化データが挿入されたデータ構造をもつ符号化データを実時間で送出することによって、運用規定で定められた符号化データ間隔を遵守しつつ、符号化バッファ制御を破綻しないシステムを構築できる。
【００２７】
（実施の形態３）
さらに、上記各実施の形態で示した動画像符号化装置を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００２８】
図６は、上記上記各実施の形態の動画像符号化装置を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【００２９】
図６（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図６（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
【００３０】
また、図６（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。動画像符号化装置を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより動画像符号化装置を実現する上記動画像符号化装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００３１】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００３２】
（実施の形態４）
さらにここで、上記実施の形態で示した動画像符号化装置の応用例とそれを用いたシステムを説明する。
【００３３】
図７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【００３４】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌｄｉｇｉｔａｌａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【００３５】
しかし、コンテンツ供給システムｅｘ１００は図７のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【００３６】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＣｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）方式、若しくはＧＳＭ（ＧｌｏｂａｌＳｙｓｔｅｍｆｏｒＭｏｂｉｌｅＣｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（ＰｅｒｓｏｎａｌＨａｎｄｙｐｈｏｎｅＳｙｓｔｅｍ）等であり、いずれでも構わない。
【００３７】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【００３８】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【００３９】
このシステムを構成する各機器の符号化には上記各実施の形態で示した画像符号化装置を用いるようにすればよい。
【００４０】
その一例として携帯電話について説明する。
【００４１】
図８は、上記実施の形態で説明した動画像符号化装置を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅａｎｄＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【００４２】
さらに、携帯電話ｅｘ１１５について図９を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【００４３】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【００４４】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【００４５】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【００４６】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【００４７】
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【００４８】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【００４９】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【００５０】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより符号化画像データと音声データとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【００５１】
次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、符号化画像データを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【００５２】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１０に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体である蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像符号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【００５３】
なお、カーナビゲーションｅｘ４１３の構成は例えば図９に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【００５４】
このように、上記実施の形態で示した動画像符号化装置を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【００５５】
【発明の効果】
以上の様に、本発明の符号化装置を用いることによって、伝送システムで定められた符号化データ間隔を遵守しつつ、ＶＢＶバッファの制御を破綻しない符号化を実現できるため、その実用的価値が高い。
【図面の簡単な説明】
【図１】本発明実施の形態１の符号化装置のブロック図
【図２】本発明実施の形態１の符号化装置を構成する符号化制御回路のブロック図
【図３】本発明実施の形態１の符号化制御回路を用いたバッファ制御の模式図
【図４】本発明実施の形態１の符号化制御回路を用いたバッファ制御の模式図
【図５】本発明実施の形態１の符号化装置を構成する符号化回路のブロック図
【図６】実施の形態３における上記各実施の形態の動画像符号化装置をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図
【図７】実施の形態４のコンテンツ供給システムの全体構成を示すブロック図
【図８】実施の形態４動画像符号化装置を用いた携帯電話の例を示す図
【図９】実施の形態４の携帯電話のブロック図
【図１０】実施の形態４のディジタル放送用システムの例を示す図
【図１１】従来の符号化装置における、バッファ制御の一例を示す図
【図１２】従来の符号化装置における、バッファ制御の一例を示す図
【符号の説明】
０１０２符号化装置の入力
０１０４符号化回路
０１０８出力バッファメモリ
０１１２符号化制御回路
０１１６符号化装置の出力
０１０６符号化データ
０１１０バッファ残量値
０１１８符号化パラメータ

Claims

入力された映像信号を画面内で一定の領域のブロック毎に符号化する符号化処理手段と、前記符号化処理手段により符号化された少なくとも１画面分の符号化データを格納するための記憶手段と、前記記憶手段に符号化データを格納すると、所定充足量を超過するか否かを判定し、所定充足量を超過し、且つ時間的に連続する符号化データの間隔が所定の間隔以下になるように、所定の符号化方法で前記映像信号を再符号化するように前記符号化処理手段を制御するレート制御手段を備えたことを特徴とする動画像符号化装置。
請求項１記載の動画像符号化装置において、前記レート制御手段は、前記ブロックを直交変換した際の直流成分のみを符号化するように、前記符号化手段を制御することを特徴とした動画像符号化装置。
請求項１記載の動画像符号化装置において、前記レート制御手段は、一定レベルの輝度信号、色差信号から構成される画像信号を符号化するように前記符号化処理手段を制御することを特徴とした動画像符号化装置。
映像信号を符号化した圧縮符号化データであって、前記圧縮符号化データ内に含まれる、前記圧縮符号化データを復号するために必要なＣＩ（ＣｏｎｆｉｇｕｒａｔｉｏｎＩｎｆｏｒｍａｔｉｏｎ）データが一定時間内に挿入されることを目的として、ＣＩデータに続く符号化データは、所定の画面内圧縮符号化を行っていることを特徴とした、圧縮符号化データ構造。
請求項４記載の圧縮符号化データ構造において、前記所定の画面内圧縮符号化は、入力された前記映像信号を周波数変換した際の、直流成分のみを符号化していることを特徴とした、圧縮符号化データ構造。
請求項４記載の圧縮符号化データ構造において、前記所定の画面内圧縮符号化は、所定の固定値で構成される映像信号を画面内圧縮符号化していることを特徴とした圧縮符号化データ構造。
コンピュータにより、請求項１記載の動画像符号化装置を実現するためのプログラムであって、
上記プログラムはコンピュータに、
入力された映像信号を画面内で一定の領域のブロック毎に符号化する符号化処理手段と、前記符号化処理手段により符号化された少なくとも１画面分の符号化データを格納するための記憶手段と、前記記憶手段に符号化データを格納すると、所定充足量を超過するか否かを判定し、所定充足量を超過し、且つ時間的に連続する符号化データの間隔が所定の間隔以下になるように、所定の符号化方法で前記映像信号を再符号化するように前記符号化処理手段を制御するレート制御手段を備えたことを特徴とする動画像符号化装置
を、行わせるものであることを特徴とするプログラム。
コンピュータにより、請求項１〜３のいずれかに記載の動画像符号化装置を実現するためのプログラムであって、
上記プログラムはコンピュータに、
映像信号を符号化した圧縮符号化データであって、前記圧縮符号化データ内に含まれる、前記圧縮データを復号するために必要なＣＩ（ＣｏｎｆｉｇｕｒａｔｉｏｎＩｎｆｏｒｍａｔｉｏｎ）データが一定時間内に挿入されることを目的として、ＣＩデータに続く符号化データは、所定の画面内圧縮符号化を行っていることを特徴とした、圧縮符号化データ構造
を、行わせるものであることを特徴とするプログラム。