JP2004349820A - 画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラム - Google Patents
画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP2004349820A JP2004349820A JP2003142081A JP2003142081A JP2004349820A JP 2004349820 A JP2004349820 A JP 2004349820A JP 2003142081 A JP2003142081 A JP 2003142081A JP 2003142081 A JP2003142081 A JP 2003142081A JP 2004349820 A JP2004349820 A JP 2004349820A
- Authority
- JP
- Japan
- Prior art keywords
- bit stream
- packet
- image encoding
- code
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
【課題】ビット・ストリームをネットワークに適したパケットに分割することを考慮してビデオ信号を所定の画像圧縮規格に基づいた圧縮符号化処理する。
【解決手段】ＲＴＰストリーム化部１０３は、採用される画像圧縮規格に則りつつＭＴＵを超えない範囲で出力符号量を決定し、出力が決まっている分のビット・ストリームをエントロピー符号化部１０２から取り出してバッファ１０５に転送する。このとき、出力符号量に従ってパケット・サイズを出力し、該当する符号化情報エントリの時間情報に従ってタイム・スタンプを決定し、ＲＴＰヘッダをバッファに書き込む。
【選択図】 図５
【解決手段】ＲＴＰストリーム化部１０３は、採用される画像圧縮規格に則りつつＭＴＵを超えない範囲で出力符号量を決定し、出力が決まっている分のビット・ストリームをエントロピー符号化部１０２から取り出してバッファ１０５に転送する。このとき、出力符号量に従ってパケット・サイズを出力し、該当する符号化情報エントリの時間情報に従ってタイム・スタンプを決定し、ＲＴＰヘッダをバッファに書き込む。
【選択図】 図５
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオ信号を圧縮符号化する画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラムに係り、特に、ビデオ入力信号を蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームに圧縮符号化する画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、ストリーミングを行なうためにビット・ストリームをネットワークに適したパケットに分割することを考慮して、ビデオ信号を所定の画像圧縮規格に基づいた圧縮符号化処理する画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラムに係り、特に、画像符号化規格やパケット化の規格の十分な知識なしにストリーミング・システムを組むことができる画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラムに関する。
【０００３】
【従来の技術】
近年のインターネットの普及により、コンピュータ・ファイルを始めとした各種のデジタル・コンテンツをネットワーク配信することが盛んに行なわれている。また、ｘＤＳＬ（ｘ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）やＣＡＴＶ（Ｃａｂｌｅ ＴＶ）を始めとするブロードバンド・ネットワークの普及により、音楽データや画像データ、電子出版物などのデジタル・データや、さらには動画像などリッチ・コンテンツの配信もユーザにストレスなく伝送できるような仕組みが整いつつある。例えば、ブロードバンド・ネットワークでサウンドやビデオ映像などを配信するとき、ダウンロードしながらリアルタイム再生する「ストリーミング」技術が主流となってきている。
【０００４】
他方、イメージやオーディオなどのデータは、冗長性が高く且つサイズが膨大であり、原データのまま記憶装置に格納したりネットワーク上で伝送したりすると、記憶容量や通信負荷が過大となってしまう。このため、この種のデータを蓄積したり伝送したりする際には、原データを一旦符号化して冗長性を取り除く、すなわち圧縮処理を施すのが一般的である。したがって、ストリーミングを行なうためには、蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームを、ネットワークに適したパケットに分割する必要がある。
【０００５】
ここで、パケットとビット・ストリームの構造について考察してみる。
【０００６】
図１には、パケットの構造を模式的に示している。同図に示すように、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ヘッダ、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）ヘッダ、ＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）ヘッダなどの通信プロトコル層毎に付加されるヘッダに、ペイロードすなわちデータ本体が続く。パケット毎に同期をとって伝送することにより、受信側では、パケットの先頭から決められたプロトコルに従ってデコードすることができる。パケット伝送方式は、インターネットなどのネットワーク上での情報伝達に広く使用されている。
【０００７】
なお、現在代表的なネットワーク・プロトコルであるＴＣＰ／ＩＰでは、データ転送を制御するトランスポート層としてＵＤＰやＴＣＰが挙げられる。ＴＣＰでは、再送を行なうことで信頼性（データの抜けや重複、誤りがなく、送信データがそのままの順序で正しく受信側に届くこと）が保障されているが、再送に伴う遅延に関しては保証がない。これに対し、ＵＤＰでは、パケットの消失、重複、順序などは保証されないが、低遅延の伝送を実現することができる。また、ＲＴＰでは、実時間でデータ通信できるような枠組みが与えられている（通常、ＵＤＰと組み合わせて用いる）。
【０００８】
また、図２には、ビット・ストリームのデータ構造を模式的に示している。図示の通り、ビット・ストリームは字義通りビットの羅列からなるが、特定のビット列が「スタート・コード」と定められており、データ読取側ではこれを認識することで、ビット・ストリームの途中からでもデコードを行なうことができる。例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのパッケージ・メディアへの情報の格納や放送における情報伝送にビット・ストリームが用いられている。
【０００９】
上述したように、ストリーミングを行なうためには、蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームを、ネットワークに適したパケットに分割する必要がある。ここで、ビット・ストリームをパケットに分割するルールを定めた規格として、例えばＲＦＣ（Ｒｅｑｕｅｓｔ ｆｏｒ Ｃｏｍｍｅｎｔｓ）３０１６などが存在する。
【００１０】
ところが、この種のルールに則ってビット・ストリームをパケット化するには、スタート・コードの位置と種類を認識する必要がある。したがって、従来の画像符号化装置を用いてストリーミング・システムを構築するためには、画像圧縮化規格とネットワーク・プロトコルの両方の知識が必要となる。
【００１１】
図３には、蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームをネットワークに適したパケットに分割するためのストリーミング装置の構成例を模式的に示している。
【００１２】
同図に示すストリーミング装置は、原ビデオ入力信号を蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームに圧縮符号化する画像符号化装置と、この圧縮符号化ビット・ストリームを例えばＲＦＣ３０１６が定める様式で分割してＲＴＰパケット化するＲＴＰパケット化部と、さらにソケットなど一般的なＴＣＰ又はＵＤＰ／ＩＰインターフェースを持つネットワーク層としてのパケット化部で構成される。
【００１３】
ここで、ＲＴＰパケット化部では、画像符号化装置から供給される符号化情報（下表を参照のこと）に基づいて、ビット・ストリームをパケット化する。
【００１４】
【表１】
【００１５】
ＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）やＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などのシステム・ストリームを外部で構成することを前提とする符号化装置では、一般に、このような符号化情報を出力する。
【００１６】
図４には、ＲＴＰパケット化部において、蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームをネットワークに適したパケットに分割するための処理手順の一例をフローチャートの形式で示している。
【００１７】
符号化情報１エントリ分の符号をすべて出力した場合には（ステップＳ１）、符号化情報を１エントリ取り込む（ステップＳ２）。
【００１８】
ここで、当該エントリの残りの符号を当該パケットに出力することが規格に則っているかどうかを判断する（ステップＳ３）。
【００１９】
そして、当該エントリの残りの符号を当該パケットに出力することが規格に則っている場合には、さらに、当該エントリの符号量を加えたときのパケット・サイズがＭＴＵを超えるかどうかを判別する（ステップＳ４）。ここで、ＭＴＵ（ｍａｘｉｍｕｍ ｔｒａｎｓｆｅｒ ｕｎｉｔ）は、ネットワーク・プロトコルのデータリンク層におけるパケットの最大サイズのことである。
【００２０】
当該エントリの符号量を加えてもＭＴＵを超えない場合には、当該エントリの符号をすべて出力することに決定する（ステップＳ５）。他方、当該エントリの符号量を加えるとＭＴＵを超えてしまう場合には、当該エントリの符号をＭＴＵサイズまで出力することに決定する（ステップＳ６）。
【００２１】
そして、ステップＳ６において当該エントリのＭＴＵまでの符号出力を決定した後、あるいは、ステップＳ３において当該エントリの残りの符号を当該パケットに出力することが規格に則っていないと判断された場合には、エントリの時間情報に従って、タイム・スタンプを決定しＲＴＰヘッダを出力する（ステップＳ７）。次いで、出力が決まっている分のビット・ストリームを画像符号化装置から取り出して出力する（ステップＳ８）。
【００２２】
しかしながら、図３及び図４に示すように、画像符号化装置を用いてストリーミングのシステムを構成する場合には、画像符号化規格への十分な知識が必要となり、不便である。
【００２３】
【発明が解決しようとする課題】
本発明の目的は、ストリーミングを行なうために、ビット・ストリームをネットワークに適したパケットに分割することを考慮してビデオ信号を所定の画像圧縮規格に基づいた圧縮符号化処理することができる、優れた画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラムを提供することにある。
【００２４】
本発明のさらなる目的は、画像符号化規格やパケット化の規格の十分な知識なしにストリーミング・システムを組むことができる優れた画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラムを提供することにある。
【００２５】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、ビデオ信号を圧縮符号化する画像符号化装置であって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化部と、
出力符号量に従ってパケット・サイズを出力するとともに該出力が決まっている分のビット・ストリームを出力バッファに転送するＲＴＰストリーム化部と、
出力バッファへの出力バイト数がパケット・サイズに到達する毎にパケット同期信号を出力するパケット同期信号出力部と、
を具備することを特徴とする画像符号化装置である。
【００２６】
本発明の第１の側面に係る画像符号化装置を用いてストリーミング・システムを構築すれば、パケット同期信号に基づいてビット・ストリーム中のパケットの切れ目を認識することから、例えばＲＦＣ３０１６などのパケット化の規格の知識なしに、パケットに分割することができる。すなわち、ＲＴＰストリームを簡単にパケット分割するインターフェースを用いることで、ネットワークへの送出を低コストで実現することができる。
【００２７】
また、本発明の第２の側面は、ビデオ信号を圧縮符号化する画像符号化装置であって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化部と、
符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、同期バイトとパケット・サイズを含んだ特殊コードを埋め込む同期バイト方式特殊コード付加部と、
を具備することを特徴とする画像符号化装置である。
【００２８】
本発明の第２の側面に係る画像符号化装置を用いてストリーミング・システムを構築すれば、特殊コードに基づいてビット・ストリーム中のパケットの切れ目を認識することから、例えばＲＦＣ３０１６などのパケット化の規格の知識なしに、パケットに分割することができる。すなわち、ＲＴＰストリームを簡単にパケット分割するインターフェースを用いることで、ネットワークへの送出を低コストで実現することができる。
【００２９】
また、本発明の第３の側面は、ビデオ信号を圧縮符号化する画像符号化装置であって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化部と、
符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、他の部分では現れないユニーク・コードを埋め込むユニーク・コード付加部と、
を具備することを特徴とする画像符号化装置である。
【００３０】
本発明の第３の側面に係る画像符号化装置を用いてストリーミング・システムを構築すれば、ユニーク・コードに基づいてビット・ストリーム中のパケットの切れ目を認識することから、例えばＲＦＣ３０１６などのパケット化の規格の知識なしに、パケットに分割することができる。すなわち、ＲＴＰストリームを簡単にパケット分割するインターフェースを用いることで、ネットワークへの送出を低コストで実現することができる。
【００３１】
また、本発明の第４の側面は、ビデオ信号を圧縮符号化する画像符号化処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化ステップと、
出力符号量に従ってパケット・サイズを出力するとともに該出力が決まっている分のビット・ストリームを出力バッファに転送するＲＴＰストリーム化ステップと、
出力バッファへの出力バイト数がパケット・サイズに到達する毎にパケット同期信号を出力するパケット同期信号出力ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００３２】
また、本発明の第５の側面は、ビデオ信号を圧縮符号化する画像符号化処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化ステップと、
符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、同期バイトとパケット・サイズを含んだ特殊コードを埋め込む同期バイト方式特殊コード付加ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００３３】
また、本発明の第６の側面は、ビデオ信号を圧縮符号化する画像符号化処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化ステップと、
符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、他の部分では現れないユニーク・コードを埋め込むユニーク・コード付加ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００３４】
本発明の第４乃至第６の各側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第４乃至第６の各側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１乃至第３の各側面に係る画像符号化装置と同様の作用効果を得ることができる。
【００３５】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３６】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３７】
本発明に係る画像圧縮装置は、ビデオ入力信号を蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームに圧縮符号化するものであるが、ストリーミングを行なうためにビット・ストリームをネットワークに適したパケットに分割することを考慮して、ビデオ信号を圧縮符号化する。
【００３８】
図５には、本発明の一実施形態に係る画像符号化装置１００の機能構成を模式的に示している。同図に示す画像符号化装置１００は、画像情報削減部１０１と、エントロピー符号化部１０２と、ＲＴＰストリーム化部１０３と、パケット同期信号出力部１０４と、バッファ１０５とで構成される。
【００３９】
画像情報削減部１０１は、入力されるビデオ信号に対し、例えば動き予測により時間的画面相関に基づく情報圧縮や、ＤＣＴ（離散コサイン変換）による空間的情報圧縮を施し、画像情報の削減を行なう。また、エントロピー符号化部１０２は、動き保証フレーム間予測やＤＣＴ２夜符号化済情報の発生確率の偏りを利用して、ハフマン符号に基づくエントロピー符号化（可変長符号化）を行なう。画像情報削減部１０１とエントロピー符号化部１０２は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの一般的な画像圧縮規格に準拠したものでよい。
【００４０】
ＲＴＰストリーム化部１０３は、符号化されたビット・ストリームをＲＴＰストリームに変換する。より具体的には、採用される画像圧縮規格に則りつつＭＴＵを超えない範囲で出力符号量を決定し、出力が決まっている分のビット・ストリームをエントロピー符号化部１０２から取り出してバッファ１０５に転送する。このとき、ＲＴＰストリーム化部１０３は、出力符号量に従ってパケット・サイズを出力するとともに、該当する符号化情報エントリの時間情報に従ってタイム・スタンプを決定し、ＲＴＰヘッダをバッファに書き込む。放送や蓄積系のシステム・ストリーム（ＰＳ／ＴＳ）を構成する仕組みを元来備えているので、ＲＴＰストリームを生成することは低コストで実現することができる。
【００４１】
パケット同期信号出力部１０４は、ＲＴＰストリーム化部１０３からバッファ１０５に出力されるビット・ストリームの出力バイトがパケット・サイズに到達する毎にパケット同期信号を出力する。このパケット同期信号によって、ビット・ストリーム中のパケットの切れ目を認識することができる。
【００４２】
図６には、ＲＴＰストリーム化部１０３において実行されるビット・ストリームの変換処理手順をフローチャートの形式で示している。
【００４３】
符号化情報１エントリ分の符号をすべて出力した場合には（ステップＳ１１）、符号化情報を１エントリ取り込む（ステップＳ１２）。
【００４４】
ここで、当該エントリの残りの符号を当該パケットに出力することが規格に則っているかどうかを判断する（ステップＳ１３）。
【００４５】
そして、当該エントリの残りの符号を当該パケットに出力することが規格に則っている場合には、さらに、当該エントリの符号量を加えたときのパケット・サイズがＭＴＵを超えるかどうかを判別する（ステップＳ１４）。ここで、ＭＴＵは、ネットワーク・プロトコルのデータリンク層におけるパケットの最大サイズのことである。
【００４６】
当該エントリの符号量を加えてもＭＴＵを超えない場合には、当該エントリの符号をすべて出力することに決定する（ステップＳ１５）。他方、当該エントリの符号量を加えるとＭＴＵを超えてしまう場合には、当該エントリの符号をＭＴＵサイズまで出力することに決定する（ステップＳ１６）。
【００４７】
【００４８】
そして、ステップＳ１６において当該エントリのＭＴＵまでの符号出力を決定した後、あるいは、ステップＳ１３において当該エントリの残りの符号を当該パケットに出力することが規格に則っていないと判断された場合には、出力符号量に従ってパケット・サイズを出力する（ステップＳ１７）。
【００４９】
次いで、エントリの時間情報に従って、タイム・スタンプを決定しＲＴＰヘッダを出力する（ステップＳ１８）。
【００５０】
次いで、出力が決まっている分のビット・ストリームをエントロピー符号化部１０２から取り出して、バッファ１０５に転送する（ステップＳ１９）。
【００５１】
また、図７には、パケット同期信号出力部１０４において実行されるパケット同期信号の出力処理の手順をフローチャートの形式で示している。
【００５２】
まず、パケット同期信号をハイ・レベルにし（ステップＳ２１）、出力バイト数がカウント・アップされると（ステップＳ２２）、パケット同期信号をロー・レベルに転じる（ステップＳ２３）。そして、出力バイト数がパケット・サイズ分だけカウント・アップすると（ステップＳ２４）、ステップＳ２１に戻り、パケット同期信号をハイ・レベルにする。
【００５３】
図８には、図５に示した画像符号化装置１００を用いて構成されるストリーミング装置２００の構成例を模式的に示している。
【００５４】
同図に示すストリーミング装置２００は、図５に示した画像符号化装置１００の後段に、ストリーム分割部２１１と、パケット化部２１２が直列的に接続されている。
【００５５】
画像符号化装置１００は、上述したように、原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化してビット・ストリームを生成するとともに、パケット・サイズ毎にパケット同期信号を出力するようになっている。
【００５６】
ストリーム分割部２１１は、パケット同期信号に基づいて、画像符号化装置１００からのビット・ストリーム中のパケットの切れ目を認識してビット・ストリームをＲＴＰパケットに分割する。パケット同期信号に基づいてビット・ストリーム中のパケットの切れ目を認識することから、例えばＲＦＣ３０１６などのパケット化の規格の知識なしに、パケットに分割することができる。
【００５７】
パケット化部２１２は、ソケットなど一般的なＴＣＰ又はＵＤＰ／ＩＰインターフェースを持つネットワーク層モジュールとして構成される。
【００５８】
図９には、ストリーム分割部２１１において実行されるビット・ストリームをＲＴＰパケットに分割するための処理手順を、フローチャートの形式で示している。
【００５９】
パケット同期信号が立ち上がると（ステップＳ３１）、ビット・ストリームを１バイトだけ読み出して記憶する（ステップＳ３２）。
【００６０】
そして、パケット同期信号が次に立ち上がるまで（ステップＳ３３）、ビット・ストリームから１バイト筒読み出して記憶する処理を継続して行なう。
【００６１】
そして、パケット同期信号が再び立ち上がると、ビット・ストリーム中のパケットの切れ目を認識し、記憶しておいたビット・ストリームをパケットとして出力する（ステップＳ３４）。このとき、記憶内容をクリアしておく。
【００６２】
図１０には、本発明の他の実施形態に係る画像符号化装置１００−２の機能構成を模式的に示している。同図に示す画像符号化装置１００−２は、画像情報削減部１０１と、エントロピー符号化部１０２と、同期バイト方式特殊コード付加部１０６とで構成される。
【００６３】
画像情報削減部１０１は、入力されるビデオ信号に対し、例えば動き予測により時間的画面相関に基づく情報圧縮や、ＤＣＴによる空間的情報圧縮を施し、画像情報の削減を行なう。また、エントロピー符号化部１０２は、動き保証フレーム間予測やＤＣＴ２夜符号化済情報の発生確率の偏りを利用して、ハフマン符号に基づくエントロピー符号化を行なう。画像情報削減部１０１とエントロピー符号化部１０２は、ＭＰＥＧなどの一般的な画像圧縮規格に準拠したものでよい。
【００６４】
同期バイト方式特殊コード付加部１０６は、符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、同期バイトとパケット・サイズからなる特殊コードと、ＲＴＰヘッダを埋め込む処理を行なう。
【００６５】
図１１には、同期バイト方式特殊コード付加部１０６によるビット・ストリームの変換処理例を示している。同図に示すように、エントロピー符号化部１０２から出力されるビット・ストリームは、デコード可能なビット列の単位がスタート・コードで区切られた構造である（同上）。また、スタート・コード毎の符号化情報が併せて出力される。同期バイト方式特殊コード付加部１０６では、このビット・ストリームが符号化情報に基づいて解析され、各パケットの先頭に相当する位置に、同期バイトとパケット・サイズからなる特殊コードと、ＲＴＰヘッダが埋め込まれている。図示の例では、ここで、パケット・サイズは次のスタート・コードまでのバイト数とＲＴＰヘッダ・サイズの和に相当する。
【００６６】
図１２には、特殊コード付ビット・ストリームの構成を示している。図示の通り、ビット・ストリームを分割してなるペイロードには、同期バイトとパケット・サイズからなる特殊コードと、ＲＴＰヘッダが付加されている。パケット・サイズは、ＲＴＰヘッダとペイロード長に相当する。ＲＴＰヘッダ中のタイム・スタンプは、該当する符号化情報レコード（表１を参照のこと）の時間情報より得ることができる。
【００６７】
図１３には、同期バイト方式特殊コード付加部１０６において実行されるビット・ストリームの変換処理手順をフローチャートの形式で示している。
【００６８】
符号化情報１エントリ分の符号をすべて出力した場合には（ステップＳ４１）、符号化情報を１エントリ取り込む（ステップＳ４２）。
【００６９】
ここで、当該エントリの残りの符号を当該パケットに出力することが規格に則っているかどうかを判断する（ステップＳ４３）。
【００７０】
そして、当該エントリの残りの符号を当該パケットに出力することが規格に則っている場合には、さらに、当該エントリの符号量を加えたときのパケット・サイズがＭＴＵを超えるかどうかを判別する（ステップＳ４４）。ここで、ＭＴＵは、ネットワーク・プロトコルのデータリンク層におけるパケットの最大サイズのことである。
【００７１】
当該エントリの符号量を加えてもＭＴＵを超えない場合には、当該エントリの符号をすべて出力することに決定する（ステップＳ４５）。他方、当該エントリの符号量を加えるとＭＴＵを超えてしまう場合には、当該エントリの符号をＭＴＵサイズまで出力することに決定する（ステップＳ４６）。
【００７２】
そして、ステップＳ４６において当該エントリのＭＴＵまでの符号出力を決定した後、あるいは、ステップＳ４３において当該エントリの残りの符号を当該パケットに出力することが規格に則っていないと判断された場合には、同期バイトを出力するとともに（ステップＳ４７）、出力符号量に従ってパケット・サイズを出力する（ステップＳ４８）。
【００７３】
次いで、エントリの時間情報に従って、タイム・スタンプを決定しＲＴＰヘッダを出力する（ステップＳ４９）。
【００７４】
次いで、出力が決まっている分のビット・ストリームをエントロピー符号化部１０２から取り出す（ステップＳ５０）。
【００７５】
図１４には、図１０に示した画像符号化装置１００−２を用いて構成されるストリーミング装置２００−２の構成例を模式的に示している。
【００７６】
画像符号化装置１００−２は、上述したように、原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、各パケットの先頭に同期バイトとパケット・サイズからなる特殊コードが埋め込まれた形式のビット・ストリームを出力する。
【００７７】
同期バイト方式特殊コード検出部２１３は、ビット・ストリーム中の特殊コードを検出し、特殊コードに記載されているパケット・サイズに基づいてＲＴＰパケット毎に分割する。特殊コードに基づいてビット・ストリーム中のパケットの切れ目を認識することから、例えばＲＦＣ３０１６などのパケット化の規格の知識なしに、パケットに分割することができる。
【００７８】
パケット化部２１２は、ソケットなど一般的なＴＣＰ又はＵＤＰ／ＩＰインターフェースを持つネットワーク層モジュールとして構成される。
【００７９】
図１５には、同期バイト方式特殊コード検出部２１３において実行されるビット・ストリームをＲＴＰパケットに分割するための処理手順をフローチャートの形式で示している。
【００８０】
まず、特殊コード付ビット・ストリームを１バイトだけ取得する（ステップＳ５１）。そして、この１バイト値が同期バイト値と等しいかどうかを判別する（ステップＳ５２）。同期バイト値と等しくない場合には、システムをリセットする（ステップＳ５５）。
【００８１】
他方、同期バイト値と等しい場合には、さらにビット・ストリームから２バイトを取得し、これをパケット・サイズとして認識する（ステップＳ５３）。そして、ビット・ストリームからパケット・サイズ分を取得し、パケット化部２１１に渡す（ステップＳ５４）。
【００８２】
図１６には、本発明のさらに他の実施形態に係る画像符号化装置１００−３の機能構成を模式的に示している。同図に示す画像符号化装置１００−３は、画像情報削減部１０１と、エントロピー符号化部１０２と、ユニーク・コード付加部１０７とで構成される。
【００８３】
画像情報削減部１０１は、入力されるビデオ信号に対し、例えば動き予測により時間的画面相関に基づく情報圧縮や、ＤＣＴによる空間的情報圧縮を施し、画像情報の削減を行なう。また、エントロピー符号化部１０２は、動き保証フレーム間予測やＤＣＴ２夜符号化済情報の発生確率の偏りを利用して、ハフマン符号に基づくエントロピー符号化を行なう。画像情報削減部１０１とエントロピー符号化部１０２は、ＭＰＥＧなどの一般的な画像圧縮規格に準拠したものでよい。
【００８４】
ユニーク・コード付加部１０７は、符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、他の部分では現れないユニーク・コードと、ＲＴＰヘッダなどを含んだ特殊コードを埋め込む処理を行なう。
【００８５】
図１７には、ユニーク・コード付加部１０７によるビット・ストリームの変換処理例を示している。同図に示すように、エントロピー符号化部１０２から出力されるビット・ストリームは、デコード可能なビット列の単位がスタート・コードで区切られた構造である（同上）。また、スタート・コード毎の符号化情報が併せて出力される。ユニーク・コード付加部１０７では、このビット・ストリームが符号化情報に基づいて解析され、各パケットの先頭に相当する位置に、他の部分では現れないユニーク・コードと、ＲＴＰヘッダが埋め込まれている。画像符号には２バイト以上の０が続くことはない。また、ＲＴＰヘッダでは１２バイト以上の０が続くことはない。そこで、本実施形態では、１２バイトの０の系列でユニーク・コードを構成することにした。
【００８６】
図１８には、ユニーク・コード付ビット・ストリームの構成を示している。図示の通り、ビット・ストリームを分割してなるペイロードには、ユニーク・コードと、ＲＴＰヘッダが付加されている。ＲＴＰヘッダ中のタイム・スタンプは、該当する符号化情報レコード（表１を参照のこと）の時間情報より得ることができる。
【００８７】
図１９には、ユニーク・コード付加部１０７において実行されるビット・ストリームの変換処理手順をフローチャートの形式で示している。
【００８８】
符号化情報１エントリ分の符号をすべて出力した場合には（ステップＳ６１）、符号化情報を１エントリ取り込む（ステップＳ６２）。
【００８９】
ここで、当該エントリの残りの符号を当該パケットに出力することが規格に則っているかどうかを判断する（ステップＳ６３）。
【００９０】
そして、当該エントリの残りの符号を当該パケットに出力することが規格に則っている場合には、さらに、当該エントリの符号量を加えたときのパケット・サイズがＭＴＵを超えるかどうかを判別する（ステップＳ６４）。ここで、ＭＴＵは、ネットワーク・プロトコルのデータリンク層におけるパケットの最大サイズのことである。
【００９１】
当該エントリの符号量を加えてもＭＴＵを超えない場合には、当該エントリの符号をすべて出力することに決定する（ステップＳ６５）。他方、当該エントリの符号量を加えるとＭＴＵを超えてしまう場合には、当該エントリの符号をＭＴＵサイズまで出力することに決定する（ステップＳ６６）。
【００９２】
そして、ステップＳ６６において当該エントリのＭＴＵまでの符号出力を決定した後、あるいは、ステップＳ６３において当該エントリの残りの符号を当該パケットに出力することが規格に則っていないと判断された場合には、ユニーク・コードを出力するとともに（ステップＳ６７）、出力符号量に従ってパケット・サイズを出力する（ステップＳ６８）。
【００９３】
次いで、エントリの時間情報に従って、タイム・スタンプを決定しＲＴＰヘッダを出力する（ステップＳ６９）。
【００９４】
次いで、出力が決まっている分のビット・ストリームをエントロピー符号化部１０２から取り出す（ステップＳ７０）。
【００９５】
図２０には、図１６に示した画像符号化装置１００−３を用いて構成されるストリーミング装置２００−３の構成例を模式的に示している。
【００９６】
画像符号化装置１００−３は、上述したように、原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、各パケットの先頭にユニーク・コードが埋め込まれた形式のビット・ストリームを出力する。
【００９７】
ユニーク・コード検出部２１４は、ビット・ストリーム中のユニーク・コードを検出し、これに基づいてＲＴＰパケット毎に分割する。ユニーク・コードに基づいてビット・ストリーム中のパケットの切れ目を認識することから、例えばＲＦＣ３０１６などのパケット化の規格の知識なしに、パケットに分割することができる。
【００９８】
パケット化部２１２は、ソケットなど一般的なＴＣＰ又はＵＤＰ／ＩＰインターフェースを持つネットワーク層モジュールとして構成される。
【００９９】
図２１には、ユニーク・コード検出部２１４において実行されるビット・ストリームをＲＴＰパケットに分割するための処理手順をフローチャートの形式で示している。
【０１００】
まず、ユニーク・コード付ビット・ストリームから１バイトだけ取得する（ステップＳ７１）。そして、カウンタ１が１４以上かどうかを判別する（ステップＳ７２）。
【０１０１】
カウンタ１が１４未満の場合には、さらに０ｘ００かどうかを判別する（ステップＳ７３）。そして、０ｘ００であればカウンタ１をインクリメントし（ステップＳ７４）、０ｘ００でなければカウンタ１及びカウンタ２をリセットし（ステップＳ８３）、取得したバイトを記憶してから（ステップＳ８４）、ステップＳ７１に戻る。
【０１０２】
また、ステップＳ７２において、カウンタ１が１４以上であると判別された場合には、さらにカウンタ２が１かどうかを判別する（ステップＳ７５）。
【０１０３】
カウンタ２が１でない場合には、さらに０ｘ０１かどうかを判別する（ステップＳ７５）。そして、０ｘ０１である場合には、カウンタ２をインクリメントし、取得したバイトを記憶してから（ステップＳ８４）、ステップＳ７１に戻る。
【０１０４】
また、０ｘ０１でない場合には、さらに０ｘ００かどうかを判別する（ステップＳ７３）。そして、０ｘ００であればカウンタ１をインクリメントし（ステップＳ７４）、０ｘ００でなければカウンタ１及びカウンタ２をリセットし（ステップＳ８３）、取得したバイトを記憶してから（ステップＳ８４）、ステップＳ７１に戻る。
【０１０５】
また、ステップＳ７５において、カウンタ２が１であると判別された場合には、さらに、０ｘ０ｆであるかどうかを判別する（ステップＳ７８）。
【０１０６】
０ｘ０ｆでない場合には、カウンタ１及びカウンタ２をリセットし（ステップＳ７９）、取得したバイトを記憶してから（ステップＳ８４）、ステップＳ７１に戻る。
【０１０７】
また、０ｘ０ｆである場合には、記憶しているコードの最後からユニーク・コード部分を取り除いたものをパケットとして出力する（ステップＳ８０）。但し、始めてユニーク・コードを見つけた場合は出力を行なわない。そして、コード記憶をリセットし（ステップＳ８１）、カウンタ１及びカウンタ２をリセットしてから（ステップＳ８２）、ステップＳ７１に戻る。
【０１０８】
［追補］
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１０９】
【発明の効果】
以上詳記したように、本発明によれば、ストリーミングを行なうために、ビット・ストリームをネットワークに適したパケットに分割することを考慮してビデオ信号を所定の画像圧縮規格に基づいた圧縮符号化処理することができる、優れた画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラムを提供することができる。
【０１１０】
また、本発明によれば、画像符号化規格やパケット化の規格の十分な知識なしにストリーミング・システムを組むことができる優れた画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラムを提供することができる。
【０１１１】
画像符号化装置は、放送や蓄積系のシステム・ストリーム（ＰＳ／ＴＳ）を構成する仕組みを元来備えている。したがって、本発明のように画像符号化装置においてＲＴＰストリームを生成することは低コストで実現することができる。
【０１１２】
また、本発明によれば、ＲＴＰストリームを簡単にパケット分割するインターフェースを用いることで、ネットワークへの送出を低コストで実現することができる。
【０１１３】
また、本発明のようなＲＴＰストリームを出力する画像符号化装置を用いることにより、画像符号化やＲＴＰストリームに関する詳細な知識なしにストリーミング・システムを構築することが可能となる。
【図面の簡単な説明】
【図１】パケットの構造を模式的に示した図である。
【図２】ビット・ストリームのデータ構造を模式的に示した図である。
【図３】蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームをネットワークに適したパケットに分割するためのストリーミング装置の構成例を模式的に示した図である。
【図４】ＲＴＰパケット化部において、蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームをネットワークに適したパケットに分割するための処理手順の一例を示したフローチャートである。
【図５】本発明の一実施形態に係る画像圧縮装置１００の機能構成を模式的に示した図である。
【図６】ＲＴＰストリーム化部１０３において実行されるビット・ストリームの変換処理手順を示したフローチャートである。
【図７】パケット同期信号出力部１０４において実行されるパケット同期信号の出力処理の手順を示したフローチャートである。
【図８】図５に示した画像符号化装置１００を用いて構成されるストリーミング装置２００の構成例を模式的に示した図である。
【図９】ストリーム分割２１１において実行されるビット・ストリームをＲＴＰパケットに分割するための処理手順を示したフローチャートである。
【図１０】本発明の他の実施形態に係る画像符号化装置１００−２の機能構成を模式的に示した図である。
【図１１】同期バイト方式特殊コード付加部１０６によるビット・ストリームの変換処理例を示した図である。
【図１２】特殊コード付ビット・ストリームの構成を示した図である。
【図１３】同期バイト方式特殊コード付加部１０６において実行されるビット・ストリームの変換処理手順を示したフローチャートである。
【図１４】図１０に示した画像符号化装置１００−２を用いて構成されるストリーミング装置２００−２の構成例を模式的に示した図である。
【図１５】同期バイト方式特殊コード検出部２１３において実行されるビット・ストリームをＲＴＰパケットに分割するための処理手順を示したフローチャートである。
【図１６】本発明の他の実施形態に係る画像符号化装置１００−３の機能構成を模式的に示した図である。
【図１７】ユニーク・コード付加部１０７によるビット・ストリームの変換処理例を示した図である。
【図１８】ユニーク・コード付ビット・ストリームの構成を示した図である。
【図１９】ユニーク・コード付加部１０７において実行されるビット・ストリームの変換処理手順を示したフローチャートである。
【図２０】図１６に示した画像符号化装置１００−３を用いて構成されるストリーミング装置２００−３の構成例を模式的に示した図である。
【図２１】ユニーク・コード検出部２１４において実行されるビット・ストリームをＲＴＰパケットに分割するための処理手順を示したフローチャートである。
【符号の説明】
１００…画像符号化装置
１０１…画像情報削減部
１０２…エントロピー符号化部
１０３…ＲＴＰストリーム化部
１０４…パケット同期信号出力部
１０５…バッファ
１０６…同期バイト方式特所コード付加部
１０７…ユニーク・コード付加部
２００…ストリーミング装置
２１１…ストリーム分割部
２１２…パケット化部
２１３…同期バイト方式特殊コード検出部
２１４…ユニーク・コード検出部
【発明の属する技術分野】
本発明は、ビデオ信号を圧縮符号化する画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラムに係り、特に、ビデオ入力信号を蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームに圧縮符号化する画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、ストリーミングを行なうためにビット・ストリームをネットワークに適したパケットに分割することを考慮して、ビデオ信号を所定の画像圧縮規格に基づいた圧縮符号化処理する画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラムに係り、特に、画像符号化規格やパケット化の規格の十分な知識なしにストリーミング・システムを組むことができる画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラムに関する。
【０００３】
【従来の技術】
近年のインターネットの普及により、コンピュータ・ファイルを始めとした各種のデジタル・コンテンツをネットワーク配信することが盛んに行なわれている。また、ｘＤＳＬ（ｘ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）やＣＡＴＶ（Ｃａｂｌｅ ＴＶ）を始めとするブロードバンド・ネットワークの普及により、音楽データや画像データ、電子出版物などのデジタル・データや、さらには動画像などリッチ・コンテンツの配信もユーザにストレスなく伝送できるような仕組みが整いつつある。例えば、ブロードバンド・ネットワークでサウンドやビデオ映像などを配信するとき、ダウンロードしながらリアルタイム再生する「ストリーミング」技術が主流となってきている。
【０００４】
他方、イメージやオーディオなどのデータは、冗長性が高く且つサイズが膨大であり、原データのまま記憶装置に格納したりネットワーク上で伝送したりすると、記憶容量や通信負荷が過大となってしまう。このため、この種のデータを蓄積したり伝送したりする際には、原データを一旦符号化して冗長性を取り除く、すなわち圧縮処理を施すのが一般的である。したがって、ストリーミングを行なうためには、蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームを、ネットワークに適したパケットに分割する必要がある。
【０００５】
ここで、パケットとビット・ストリームの構造について考察してみる。
【０００６】
図１には、パケットの構造を模式的に示している。同図に示すように、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ヘッダ、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）ヘッダ、ＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）ヘッダなどの通信プロトコル層毎に付加されるヘッダに、ペイロードすなわちデータ本体が続く。パケット毎に同期をとって伝送することにより、受信側では、パケットの先頭から決められたプロトコルに従ってデコードすることができる。パケット伝送方式は、インターネットなどのネットワーク上での情報伝達に広く使用されている。
【０００７】
なお、現在代表的なネットワーク・プロトコルであるＴＣＰ／ＩＰでは、データ転送を制御するトランスポート層としてＵＤＰやＴＣＰが挙げられる。ＴＣＰでは、再送を行なうことで信頼性（データの抜けや重複、誤りがなく、送信データがそのままの順序で正しく受信側に届くこと）が保障されているが、再送に伴う遅延に関しては保証がない。これに対し、ＵＤＰでは、パケットの消失、重複、順序などは保証されないが、低遅延の伝送を実現することができる。また、ＲＴＰでは、実時間でデータ通信できるような枠組みが与えられている（通常、ＵＤＰと組み合わせて用いる）。
【０００８】
また、図２には、ビット・ストリームのデータ構造を模式的に示している。図示の通り、ビット・ストリームは字義通りビットの羅列からなるが、特定のビット列が「スタート・コード」と定められており、データ読取側ではこれを認識することで、ビット・ストリームの途中からでもデコードを行なうことができる。例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのパッケージ・メディアへの情報の格納や放送における情報伝送にビット・ストリームが用いられている。
【０００９】
上述したように、ストリーミングを行なうためには、蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームを、ネットワークに適したパケットに分割する必要がある。ここで、ビット・ストリームをパケットに分割するルールを定めた規格として、例えばＲＦＣ（Ｒｅｑｕｅｓｔ ｆｏｒ Ｃｏｍｍｅｎｔｓ）３０１６などが存在する。
【００１０】
ところが、この種のルールに則ってビット・ストリームをパケット化するには、スタート・コードの位置と種類を認識する必要がある。したがって、従来の画像符号化装置を用いてストリーミング・システムを構築するためには、画像圧縮化規格とネットワーク・プロトコルの両方の知識が必要となる。
【００１１】
図３には、蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームをネットワークに適したパケットに分割するためのストリーミング装置の構成例を模式的に示している。
【００１２】
同図に示すストリーミング装置は、原ビデオ入力信号を蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームに圧縮符号化する画像符号化装置と、この圧縮符号化ビット・ストリームを例えばＲＦＣ３０１６が定める様式で分割してＲＴＰパケット化するＲＴＰパケット化部と、さらにソケットなど一般的なＴＣＰ又はＵＤＰ／ＩＰインターフェースを持つネットワーク層としてのパケット化部で構成される。
【００１３】
ここで、ＲＴＰパケット化部では、画像符号化装置から供給される符号化情報（下表を参照のこと）に基づいて、ビット・ストリームをパケット化する。
【００１４】
【表１】
ＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）やＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などのシステム・ストリームを外部で構成することを前提とする符号化装置では、一般に、このような符号化情報を出力する。
【００１６】
図４には、ＲＴＰパケット化部において、蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームをネットワークに適したパケットに分割するための処理手順の一例をフローチャートの形式で示している。
【００１７】
符号化情報１エントリ分の符号をすべて出力した場合には（ステップＳ１）、符号化情報を１エントリ取り込む（ステップＳ２）。
【００１８】
ここで、当該エントリの残りの符号を当該パケットに出力することが規格に則っているかどうかを判断する（ステップＳ３）。
【００１９】
そして、当該エントリの残りの符号を当該パケットに出力することが規格に則っている場合には、さらに、当該エントリの符号量を加えたときのパケット・サイズがＭＴＵを超えるかどうかを判別する（ステップＳ４）。ここで、ＭＴＵ（ｍａｘｉｍｕｍ ｔｒａｎｓｆｅｒ ｕｎｉｔ）は、ネットワーク・プロトコルのデータリンク層におけるパケットの最大サイズのことである。
【００２０】
当該エントリの符号量を加えてもＭＴＵを超えない場合には、当該エントリの符号をすべて出力することに決定する（ステップＳ５）。他方、当該エントリの符号量を加えるとＭＴＵを超えてしまう場合には、当該エントリの符号をＭＴＵサイズまで出力することに決定する（ステップＳ６）。
【００２１】
そして、ステップＳ６において当該エントリのＭＴＵまでの符号出力を決定した後、あるいは、ステップＳ３において当該エントリの残りの符号を当該パケットに出力することが規格に則っていないと判断された場合には、エントリの時間情報に従って、タイム・スタンプを決定しＲＴＰヘッダを出力する（ステップＳ７）。次いで、出力が決まっている分のビット・ストリームを画像符号化装置から取り出して出力する（ステップＳ８）。
【００２２】
しかしながら、図３及び図４に示すように、画像符号化装置を用いてストリーミングのシステムを構成する場合には、画像符号化規格への十分な知識が必要となり、不便である。
【００２３】
【発明が解決しようとする課題】
本発明の目的は、ストリーミングを行なうために、ビット・ストリームをネットワークに適したパケットに分割することを考慮してビデオ信号を所定の画像圧縮規格に基づいた圧縮符号化処理することができる、優れた画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラムを提供することにある。
【００２４】
本発明のさらなる目的は、画像符号化規格やパケット化の規格の十分な知識なしにストリーミング・システムを組むことができる優れた画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラムを提供することにある。
【００２５】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、ビデオ信号を圧縮符号化する画像符号化装置であって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化部と、
出力符号量に従ってパケット・サイズを出力するとともに該出力が決まっている分のビット・ストリームを出力バッファに転送するＲＴＰストリーム化部と、
出力バッファへの出力バイト数がパケット・サイズに到達する毎にパケット同期信号を出力するパケット同期信号出力部と、
を具備することを特徴とする画像符号化装置である。
【００２６】
本発明の第１の側面に係る画像符号化装置を用いてストリーミング・システムを構築すれば、パケット同期信号に基づいてビット・ストリーム中のパケットの切れ目を認識することから、例えばＲＦＣ３０１６などのパケット化の規格の知識なしに、パケットに分割することができる。すなわち、ＲＴＰストリームを簡単にパケット分割するインターフェースを用いることで、ネットワークへの送出を低コストで実現することができる。
【００２７】
また、本発明の第２の側面は、ビデオ信号を圧縮符号化する画像符号化装置であって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化部と、
符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、同期バイトとパケット・サイズを含んだ特殊コードを埋め込む同期バイト方式特殊コード付加部と、
を具備することを特徴とする画像符号化装置である。
【００２８】
本発明の第２の側面に係る画像符号化装置を用いてストリーミング・システムを構築すれば、特殊コードに基づいてビット・ストリーム中のパケットの切れ目を認識することから、例えばＲＦＣ３０１６などのパケット化の規格の知識なしに、パケットに分割することができる。すなわち、ＲＴＰストリームを簡単にパケット分割するインターフェースを用いることで、ネットワークへの送出を低コストで実現することができる。
【００２９】
また、本発明の第３の側面は、ビデオ信号を圧縮符号化する画像符号化装置であって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化部と、
符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、他の部分では現れないユニーク・コードを埋め込むユニーク・コード付加部と、
を具備することを特徴とする画像符号化装置である。
【００３０】
本発明の第３の側面に係る画像符号化装置を用いてストリーミング・システムを構築すれば、ユニーク・コードに基づいてビット・ストリーム中のパケットの切れ目を認識することから、例えばＲＦＣ３０１６などのパケット化の規格の知識なしに、パケットに分割することができる。すなわち、ＲＴＰストリームを簡単にパケット分割するインターフェースを用いることで、ネットワークへの送出を低コストで実現することができる。
【００３１】
また、本発明の第４の側面は、ビデオ信号を圧縮符号化する画像符号化処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化ステップと、
出力符号量に従ってパケット・サイズを出力するとともに該出力が決まっている分のビット・ストリームを出力バッファに転送するＲＴＰストリーム化ステップと、
出力バッファへの出力バイト数がパケット・サイズに到達する毎にパケット同期信号を出力するパケット同期信号出力ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００３２】
また、本発明の第５の側面は、ビデオ信号を圧縮符号化する画像符号化処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化ステップと、
符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、同期バイトとパケット・サイズを含んだ特殊コードを埋め込む同期バイト方式特殊コード付加ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００３３】
また、本発明の第６の側面は、ビデオ信号を圧縮符号化する画像符号化処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化ステップと、
符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、他の部分では現れないユニーク・コードを埋め込むユニーク・コード付加ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００３４】
本発明の第４乃至第６の各側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第４乃至第６の各側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１乃至第３の各側面に係る画像符号化装置と同様の作用効果を得ることができる。
【００３５】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３６】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３７】
本発明に係る画像圧縮装置は、ビデオ入力信号を蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームに圧縮符号化するものであるが、ストリーミングを行なうためにビット・ストリームをネットワークに適したパケットに分割することを考慮して、ビデオ信号を圧縮符号化する。
【００３８】
図５には、本発明の一実施形態に係る画像符号化装置１００の機能構成を模式的に示している。同図に示す画像符号化装置１００は、画像情報削減部１０１と、エントロピー符号化部１０２と、ＲＴＰストリーム化部１０３と、パケット同期信号出力部１０４と、バッファ１０５とで構成される。
【００３９】
画像情報削減部１０１は、入力されるビデオ信号に対し、例えば動き予測により時間的画面相関に基づく情報圧縮や、ＤＣＴ（離散コサイン変換）による空間的情報圧縮を施し、画像情報の削減を行なう。また、エントロピー符号化部１０２は、動き保証フレーム間予測やＤＣＴ２夜符号化済情報の発生確率の偏りを利用して、ハフマン符号に基づくエントロピー符号化（可変長符号化）を行なう。画像情報削減部１０１とエントロピー符号化部１０２は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの一般的な画像圧縮規格に準拠したものでよい。
【００４０】
ＲＴＰストリーム化部１０３は、符号化されたビット・ストリームをＲＴＰストリームに変換する。より具体的には、採用される画像圧縮規格に則りつつＭＴＵを超えない範囲で出力符号量を決定し、出力が決まっている分のビット・ストリームをエントロピー符号化部１０２から取り出してバッファ１０５に転送する。このとき、ＲＴＰストリーム化部１０３は、出力符号量に従ってパケット・サイズを出力するとともに、該当する符号化情報エントリの時間情報に従ってタイム・スタンプを決定し、ＲＴＰヘッダをバッファに書き込む。放送や蓄積系のシステム・ストリーム（ＰＳ／ＴＳ）を構成する仕組みを元来備えているので、ＲＴＰストリームを生成することは低コストで実現することができる。
【００４１】
パケット同期信号出力部１０４は、ＲＴＰストリーム化部１０３からバッファ１０５に出力されるビット・ストリームの出力バイトがパケット・サイズに到達する毎にパケット同期信号を出力する。このパケット同期信号によって、ビット・ストリーム中のパケットの切れ目を認識することができる。
【００４２】
図６には、ＲＴＰストリーム化部１０３において実行されるビット・ストリームの変換処理手順をフローチャートの形式で示している。
【００４３】
符号化情報１エントリ分の符号をすべて出力した場合には（ステップＳ１１）、符号化情報を１エントリ取り込む（ステップＳ１２）。
【００４４】
ここで、当該エントリの残りの符号を当該パケットに出力することが規格に則っているかどうかを判断する（ステップＳ１３）。
【００４５】
そして、当該エントリの残りの符号を当該パケットに出力することが規格に則っている場合には、さらに、当該エントリの符号量を加えたときのパケット・サイズがＭＴＵを超えるかどうかを判別する（ステップＳ１４）。ここで、ＭＴＵは、ネットワーク・プロトコルのデータリンク層におけるパケットの最大サイズのことである。
【００４６】
当該エントリの符号量を加えてもＭＴＵを超えない場合には、当該エントリの符号をすべて出力することに決定する（ステップＳ１５）。他方、当該エントリの符号量を加えるとＭＴＵを超えてしまう場合には、当該エントリの符号をＭＴＵサイズまで出力することに決定する（ステップＳ１６）。
【００４７】
【００４８】
そして、ステップＳ１６において当該エントリのＭＴＵまでの符号出力を決定した後、あるいは、ステップＳ１３において当該エントリの残りの符号を当該パケットに出力することが規格に則っていないと判断された場合には、出力符号量に従ってパケット・サイズを出力する（ステップＳ１７）。
【００４９】
次いで、エントリの時間情報に従って、タイム・スタンプを決定しＲＴＰヘッダを出力する（ステップＳ１８）。
【００５０】
次いで、出力が決まっている分のビット・ストリームをエントロピー符号化部１０２から取り出して、バッファ１０５に転送する（ステップＳ１９）。
【００５１】
また、図７には、パケット同期信号出力部１０４において実行されるパケット同期信号の出力処理の手順をフローチャートの形式で示している。
【００５２】
まず、パケット同期信号をハイ・レベルにし（ステップＳ２１）、出力バイト数がカウント・アップされると（ステップＳ２２）、パケット同期信号をロー・レベルに転じる（ステップＳ２３）。そして、出力バイト数がパケット・サイズ分だけカウント・アップすると（ステップＳ２４）、ステップＳ２１に戻り、パケット同期信号をハイ・レベルにする。
【００５３】
図８には、図５に示した画像符号化装置１００を用いて構成されるストリーミング装置２００の構成例を模式的に示している。
【００５４】
同図に示すストリーミング装置２００は、図５に示した画像符号化装置１００の後段に、ストリーム分割部２１１と、パケット化部２１２が直列的に接続されている。
【００５５】
画像符号化装置１００は、上述したように、原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化してビット・ストリームを生成するとともに、パケット・サイズ毎にパケット同期信号を出力するようになっている。
【００５６】
ストリーム分割部２１１は、パケット同期信号に基づいて、画像符号化装置１００からのビット・ストリーム中のパケットの切れ目を認識してビット・ストリームをＲＴＰパケットに分割する。パケット同期信号に基づいてビット・ストリーム中のパケットの切れ目を認識することから、例えばＲＦＣ３０１６などのパケット化の規格の知識なしに、パケットに分割することができる。
【００５７】
パケット化部２１２は、ソケットなど一般的なＴＣＰ又はＵＤＰ／ＩＰインターフェースを持つネットワーク層モジュールとして構成される。
【００５８】
図９には、ストリーム分割部２１１において実行されるビット・ストリームをＲＴＰパケットに分割するための処理手順を、フローチャートの形式で示している。
【００５９】
パケット同期信号が立ち上がると（ステップＳ３１）、ビット・ストリームを１バイトだけ読み出して記憶する（ステップＳ３２）。
【００６０】
そして、パケット同期信号が次に立ち上がるまで（ステップＳ３３）、ビット・ストリームから１バイト筒読み出して記憶する処理を継続して行なう。
【００６１】
そして、パケット同期信号が再び立ち上がると、ビット・ストリーム中のパケットの切れ目を認識し、記憶しておいたビット・ストリームをパケットとして出力する（ステップＳ３４）。このとき、記憶内容をクリアしておく。
【００６２】
図１０には、本発明の他の実施形態に係る画像符号化装置１００−２の機能構成を模式的に示している。同図に示す画像符号化装置１００−２は、画像情報削減部１０１と、エントロピー符号化部１０２と、同期バイト方式特殊コード付加部１０６とで構成される。
【００６３】
画像情報削減部１０１は、入力されるビデオ信号に対し、例えば動き予測により時間的画面相関に基づく情報圧縮や、ＤＣＴによる空間的情報圧縮を施し、画像情報の削減を行なう。また、エントロピー符号化部１０２は、動き保証フレーム間予測やＤＣＴ２夜符号化済情報の発生確率の偏りを利用して、ハフマン符号に基づくエントロピー符号化を行なう。画像情報削減部１０１とエントロピー符号化部１０２は、ＭＰＥＧなどの一般的な画像圧縮規格に準拠したものでよい。
【００６４】
同期バイト方式特殊コード付加部１０６は、符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、同期バイトとパケット・サイズからなる特殊コードと、ＲＴＰヘッダを埋め込む処理を行なう。
【００６５】
図１１には、同期バイト方式特殊コード付加部１０６によるビット・ストリームの変換処理例を示している。同図に示すように、エントロピー符号化部１０２から出力されるビット・ストリームは、デコード可能なビット列の単位がスタート・コードで区切られた構造である（同上）。また、スタート・コード毎の符号化情報が併せて出力される。同期バイト方式特殊コード付加部１０６では、このビット・ストリームが符号化情報に基づいて解析され、各パケットの先頭に相当する位置に、同期バイトとパケット・サイズからなる特殊コードと、ＲＴＰヘッダが埋め込まれている。図示の例では、ここで、パケット・サイズは次のスタート・コードまでのバイト数とＲＴＰヘッダ・サイズの和に相当する。
【００６６】
図１２には、特殊コード付ビット・ストリームの構成を示している。図示の通り、ビット・ストリームを分割してなるペイロードには、同期バイトとパケット・サイズからなる特殊コードと、ＲＴＰヘッダが付加されている。パケット・サイズは、ＲＴＰヘッダとペイロード長に相当する。ＲＴＰヘッダ中のタイム・スタンプは、該当する符号化情報レコード（表１を参照のこと）の時間情報より得ることができる。
【００６７】
図１３には、同期バイト方式特殊コード付加部１０６において実行されるビット・ストリームの変換処理手順をフローチャートの形式で示している。
【００６８】
符号化情報１エントリ分の符号をすべて出力した場合には（ステップＳ４１）、符号化情報を１エントリ取り込む（ステップＳ４２）。
【００６９】
ここで、当該エントリの残りの符号を当該パケットに出力することが規格に則っているかどうかを判断する（ステップＳ４３）。
【００７０】
そして、当該エントリの残りの符号を当該パケットに出力することが規格に則っている場合には、さらに、当該エントリの符号量を加えたときのパケット・サイズがＭＴＵを超えるかどうかを判別する（ステップＳ４４）。ここで、ＭＴＵは、ネットワーク・プロトコルのデータリンク層におけるパケットの最大サイズのことである。
【００７１】
当該エントリの符号量を加えてもＭＴＵを超えない場合には、当該エントリの符号をすべて出力することに決定する（ステップＳ４５）。他方、当該エントリの符号量を加えるとＭＴＵを超えてしまう場合には、当該エントリの符号をＭＴＵサイズまで出力することに決定する（ステップＳ４６）。
【００７２】
そして、ステップＳ４６において当該エントリのＭＴＵまでの符号出力を決定した後、あるいは、ステップＳ４３において当該エントリの残りの符号を当該パケットに出力することが規格に則っていないと判断された場合には、同期バイトを出力するとともに（ステップＳ４７）、出力符号量に従ってパケット・サイズを出力する（ステップＳ４８）。
【００７３】
次いで、エントリの時間情報に従って、タイム・スタンプを決定しＲＴＰヘッダを出力する（ステップＳ４９）。
【００７４】
次いで、出力が決まっている分のビット・ストリームをエントロピー符号化部１０２から取り出す（ステップＳ５０）。
【００７５】
図１４には、図１０に示した画像符号化装置１００−２を用いて構成されるストリーミング装置２００−２の構成例を模式的に示している。
【００７６】
画像符号化装置１００−２は、上述したように、原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、各パケットの先頭に同期バイトとパケット・サイズからなる特殊コードが埋め込まれた形式のビット・ストリームを出力する。
【００７７】
同期バイト方式特殊コード検出部２１３は、ビット・ストリーム中の特殊コードを検出し、特殊コードに記載されているパケット・サイズに基づいてＲＴＰパケット毎に分割する。特殊コードに基づいてビット・ストリーム中のパケットの切れ目を認識することから、例えばＲＦＣ３０１６などのパケット化の規格の知識なしに、パケットに分割することができる。
【００７８】
パケット化部２１２は、ソケットなど一般的なＴＣＰ又はＵＤＰ／ＩＰインターフェースを持つネットワーク層モジュールとして構成される。
【００７９】
図１５には、同期バイト方式特殊コード検出部２１３において実行されるビット・ストリームをＲＴＰパケットに分割するための処理手順をフローチャートの形式で示している。
【００８０】
まず、特殊コード付ビット・ストリームを１バイトだけ取得する（ステップＳ５１）。そして、この１バイト値が同期バイト値と等しいかどうかを判別する（ステップＳ５２）。同期バイト値と等しくない場合には、システムをリセットする（ステップＳ５５）。
【００８１】
他方、同期バイト値と等しい場合には、さらにビット・ストリームから２バイトを取得し、これをパケット・サイズとして認識する（ステップＳ５３）。そして、ビット・ストリームからパケット・サイズ分を取得し、パケット化部２１１に渡す（ステップＳ５４）。
【００８２】
図１６には、本発明のさらに他の実施形態に係る画像符号化装置１００−３の機能構成を模式的に示している。同図に示す画像符号化装置１００−３は、画像情報削減部１０１と、エントロピー符号化部１０２と、ユニーク・コード付加部１０７とで構成される。
【００８３】
画像情報削減部１０１は、入力されるビデオ信号に対し、例えば動き予測により時間的画面相関に基づく情報圧縮や、ＤＣＴによる空間的情報圧縮を施し、画像情報の削減を行なう。また、エントロピー符号化部１０２は、動き保証フレーム間予測やＤＣＴ２夜符号化済情報の発生確率の偏りを利用して、ハフマン符号に基づくエントロピー符号化を行なう。画像情報削減部１０１とエントロピー符号化部１０２は、ＭＰＥＧなどの一般的な画像圧縮規格に準拠したものでよい。
【００８４】
ユニーク・コード付加部１０７は、符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、他の部分では現れないユニーク・コードと、ＲＴＰヘッダなどを含んだ特殊コードを埋め込む処理を行なう。
【００８５】
図１７には、ユニーク・コード付加部１０７によるビット・ストリームの変換処理例を示している。同図に示すように、エントロピー符号化部１０２から出力されるビット・ストリームは、デコード可能なビット列の単位がスタート・コードで区切られた構造である（同上）。また、スタート・コード毎の符号化情報が併せて出力される。ユニーク・コード付加部１０７では、このビット・ストリームが符号化情報に基づいて解析され、各パケットの先頭に相当する位置に、他の部分では現れないユニーク・コードと、ＲＴＰヘッダが埋め込まれている。画像符号には２バイト以上の０が続くことはない。また、ＲＴＰヘッダでは１２バイト以上の０が続くことはない。そこで、本実施形態では、１２バイトの０の系列でユニーク・コードを構成することにした。
【００８６】
図１８には、ユニーク・コード付ビット・ストリームの構成を示している。図示の通り、ビット・ストリームを分割してなるペイロードには、ユニーク・コードと、ＲＴＰヘッダが付加されている。ＲＴＰヘッダ中のタイム・スタンプは、該当する符号化情報レコード（表１を参照のこと）の時間情報より得ることができる。
【００８７】
図１９には、ユニーク・コード付加部１０７において実行されるビット・ストリームの変換処理手順をフローチャートの形式で示している。
【００８８】
符号化情報１エントリ分の符号をすべて出力した場合には（ステップＳ６１）、符号化情報を１エントリ取り込む（ステップＳ６２）。
【００８９】
ここで、当該エントリの残りの符号を当該パケットに出力することが規格に則っているかどうかを判断する（ステップＳ６３）。
【００９０】
そして、当該エントリの残りの符号を当該パケットに出力することが規格に則っている場合には、さらに、当該エントリの符号量を加えたときのパケット・サイズがＭＴＵを超えるかどうかを判別する（ステップＳ６４）。ここで、ＭＴＵは、ネットワーク・プロトコルのデータリンク層におけるパケットの最大サイズのことである。
【００９１】
当該エントリの符号量を加えてもＭＴＵを超えない場合には、当該エントリの符号をすべて出力することに決定する（ステップＳ６５）。他方、当該エントリの符号量を加えるとＭＴＵを超えてしまう場合には、当該エントリの符号をＭＴＵサイズまで出力することに決定する（ステップＳ６６）。
【００９２】
そして、ステップＳ６６において当該エントリのＭＴＵまでの符号出力を決定した後、あるいは、ステップＳ６３において当該エントリの残りの符号を当該パケットに出力することが規格に則っていないと判断された場合には、ユニーク・コードを出力するとともに（ステップＳ６７）、出力符号量に従ってパケット・サイズを出力する（ステップＳ６８）。
【００９３】
次いで、エントリの時間情報に従って、タイム・スタンプを決定しＲＴＰヘッダを出力する（ステップＳ６９）。
【００９４】
次いで、出力が決まっている分のビット・ストリームをエントロピー符号化部１０２から取り出す（ステップＳ７０）。
【００９５】
図２０には、図１６に示した画像符号化装置１００−３を用いて構成されるストリーミング装置２００−３の構成例を模式的に示している。
【００９６】
画像符号化装置１００−３は、上述したように、原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、各パケットの先頭にユニーク・コードが埋め込まれた形式のビット・ストリームを出力する。
【００９７】
ユニーク・コード検出部２１４は、ビット・ストリーム中のユニーク・コードを検出し、これに基づいてＲＴＰパケット毎に分割する。ユニーク・コードに基づいてビット・ストリーム中のパケットの切れ目を認識することから、例えばＲＦＣ３０１６などのパケット化の規格の知識なしに、パケットに分割することができる。
【００９８】
パケット化部２１２は、ソケットなど一般的なＴＣＰ又はＵＤＰ／ＩＰインターフェースを持つネットワーク層モジュールとして構成される。
【００９９】
図２１には、ユニーク・コード検出部２１４において実行されるビット・ストリームをＲＴＰパケットに分割するための処理手順をフローチャートの形式で示している。
【０１００】
まず、ユニーク・コード付ビット・ストリームから１バイトだけ取得する（ステップＳ７１）。そして、カウンタ１が１４以上かどうかを判別する（ステップＳ７２）。
【０１０１】
カウンタ１が１４未満の場合には、さらに０ｘ００かどうかを判別する（ステップＳ７３）。そして、０ｘ００であればカウンタ１をインクリメントし（ステップＳ７４）、０ｘ００でなければカウンタ１及びカウンタ２をリセットし（ステップＳ８３）、取得したバイトを記憶してから（ステップＳ８４）、ステップＳ７１に戻る。
【０１０２】
また、ステップＳ７２において、カウンタ１が１４以上であると判別された場合には、さらにカウンタ２が１かどうかを判別する（ステップＳ７５）。
【０１０３】
カウンタ２が１でない場合には、さらに０ｘ０１かどうかを判別する（ステップＳ７５）。そして、０ｘ０１である場合には、カウンタ２をインクリメントし、取得したバイトを記憶してから（ステップＳ８４）、ステップＳ７１に戻る。
【０１０４】
また、０ｘ０１でない場合には、さらに０ｘ００かどうかを判別する（ステップＳ７３）。そして、０ｘ００であればカウンタ１をインクリメントし（ステップＳ７４）、０ｘ００でなければカウンタ１及びカウンタ２をリセットし（ステップＳ８３）、取得したバイトを記憶してから（ステップＳ８４）、ステップＳ７１に戻る。
【０１０５】
また、ステップＳ７５において、カウンタ２が１であると判別された場合には、さらに、０ｘ０ｆであるかどうかを判別する（ステップＳ７８）。
【０１０６】
０ｘ０ｆでない場合には、カウンタ１及びカウンタ２をリセットし（ステップＳ７９）、取得したバイトを記憶してから（ステップＳ８４）、ステップＳ７１に戻る。
【０１０７】
また、０ｘ０ｆである場合には、記憶しているコードの最後からユニーク・コード部分を取り除いたものをパケットとして出力する（ステップＳ８０）。但し、始めてユニーク・コードを見つけた場合は出力を行なわない。そして、コード記憶をリセットし（ステップＳ８１）、カウンタ１及びカウンタ２をリセットしてから（ステップＳ８２）、ステップＳ７１に戻る。
【０１０８】
［追補］
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１０９】
【発明の効果】
以上詳記したように、本発明によれば、ストリーミングを行なうために、ビット・ストリームをネットワークに適したパケットに分割することを考慮してビデオ信号を所定の画像圧縮規格に基づいた圧縮符号化処理することができる、優れた画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラムを提供することができる。
【０１１０】
また、本発明によれば、画像符号化規格やパケット化の規格の十分な知識なしにストリーミング・システムを組むことができる優れた画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラムを提供することができる。
【０１１１】
画像符号化装置は、放送や蓄積系のシステム・ストリーム（ＰＳ／ＴＳ）を構成する仕組みを元来備えている。したがって、本発明のように画像符号化装置においてＲＴＰストリームを生成することは低コストで実現することができる。
【０１１２】
また、本発明によれば、ＲＴＰストリームを簡単にパケット分割するインターフェースを用いることで、ネットワークへの送出を低コストで実現することができる。
【０１１３】
また、本発明のようなＲＴＰストリームを出力する画像符号化装置を用いることにより、画像符号化やＲＴＰストリームに関する詳細な知識なしにストリーミング・システムを構築することが可能となる。
【図面の簡単な説明】
【図１】パケットの構造を模式的に示した図である。
【図２】ビット・ストリームのデータ構造を模式的に示した図である。
【図３】蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームをネットワークに適したパケットに分割するためのストリーミング装置の構成例を模式的に示した図である。
【図４】ＲＴＰパケット化部において、蓄積形や放送系で用いられている画像圧縮規格に準拠したビット・ストリームをネットワークに適したパケットに分割するための処理手順の一例を示したフローチャートである。
【図５】本発明の一実施形態に係る画像圧縮装置１００の機能構成を模式的に示した図である。
【図６】ＲＴＰストリーム化部１０３において実行されるビット・ストリームの変換処理手順を示したフローチャートである。
【図７】パケット同期信号出力部１０４において実行されるパケット同期信号の出力処理の手順を示したフローチャートである。
【図８】図５に示した画像符号化装置１００を用いて構成されるストリーミング装置２００の構成例を模式的に示した図である。
【図９】ストリーム分割２１１において実行されるビット・ストリームをＲＴＰパケットに分割するための処理手順を示したフローチャートである。
【図１０】本発明の他の実施形態に係る画像符号化装置１００−２の機能構成を模式的に示した図である。
【図１１】同期バイト方式特殊コード付加部１０６によるビット・ストリームの変換処理例を示した図である。
【図１２】特殊コード付ビット・ストリームの構成を示した図である。
【図１３】同期バイト方式特殊コード付加部１０６において実行されるビット・ストリームの変換処理手順を示したフローチャートである。
【図１４】図１０に示した画像符号化装置１００−２を用いて構成されるストリーミング装置２００−２の構成例を模式的に示した図である。
【図１５】同期バイト方式特殊コード検出部２１３において実行されるビット・ストリームをＲＴＰパケットに分割するための処理手順を示したフローチャートである。
【図１６】本発明の他の実施形態に係る画像符号化装置１００−３の機能構成を模式的に示した図である。
【図１７】ユニーク・コード付加部１０７によるビット・ストリームの変換処理例を示した図である。
【図１８】ユニーク・コード付ビット・ストリームの構成を示した図である。
【図１９】ユニーク・コード付加部１０７において実行されるビット・ストリームの変換処理手順を示したフローチャートである。
【図２０】図１６に示した画像符号化装置１００−３を用いて構成されるストリーミング装置２００−３の構成例を模式的に示した図である。
【図２１】ユニーク・コード検出部２１４において実行されるビット・ストリームをＲＴＰパケットに分割するための処理手順を示したフローチャートである。
【符号の説明】
１００…画像符号化装置
１０１…画像情報削減部
１０２…エントロピー符号化部
１０３…ＲＴＰストリーム化部
１０４…パケット同期信号出力部
１０５…バッファ
１０６…同期バイト方式特所コード付加部
１０７…ユニーク・コード付加部
２００…ストリーミング装置
２１１…ストリーム分割部
２１２…パケット化部
２１３…同期バイト方式特殊コード検出部
２１４…ユニーク・コード検出部
Claims (17)
- ビデオ信号を圧縮符号化する画像符号化装置であって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化部と、
出力符号量に従ってパケット・サイズを出力するとともに該出力が決まっている分のビット・ストリームを出力バッファに転送するＲＴＰストリーム化部と、
出力バッファへの出力バイト数がパケット・サイズに到達する毎にパケット同期信号を出力するパケット同期信号出力部と、
を具備することを特徴とする画像符号化装置。 - 前記ＲＴＰストリーム化部は、前記画像圧縮規格及び／又はパケット最大サイズに基づいて出力符号量を決定する、
ことを特徴とする請求項１に記載の画像符号化装置。 - ビデオ信号を圧縮符号化する画像符号化方法であって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化ステップと、
出力符号量に従ってパケット・サイズを出力するとともに該出力が決まっている分のビット・ストリームを出力バッファに転送するＲＴＰストリーム化ステップと、
出力バッファへの出力バイト数がパケット・サイズに到達する毎にパケット同期信号を出力するパケット同期信号出力ステップと、
を具備することを特徴とする画像符号化方法。 - 前記ＲＴＰストリーム化ステップでは、前記画像圧縮規格及び／又はパケット最大サイズに基づいて出力符号量を決定する、
ことを特徴とする請求項３に記載の画像符号化方法。 - ビデオ信号のストリーミングを行なうストリーミング装置であって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化してビット・ストリームを生成するとともに、パケット・サイズ毎にパケット同期信号を出力する画像符号化手段と、
パケット同期信号に基づいてビット・ストリーム中のパケットの切れ目を認識してビット・ストリームをパケットに分割するストリーム分割手段と、
を具備することを特徴とするストリーミング装置。 - 前記画像符号化手段は、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化部と、
出力符号量に従ってパケット・サイズを出力するとともに該出力が決まっている分のビット・ストリームを出力バッファに転送するＲＴＰストリーム化部と、
出力バッファへの出力バイト数がパケット・サイズに到達する毎にパケット同期信号を出力するパケット同期信号出力部と、
を備えることを特徴とする請求項５に記載のストリーミング装置。 - ビデオ信号を圧縮符号化する画像符号化装置であって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化部と、
符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、同期バイトとパケット・サイズを含んだ特殊コードを埋め込む同期バイト方式特殊コード付加部と、
を具備することを特徴とする画像符号化装置。 - ビデオ信号を圧縮符号化する画像符号化方法であって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化ステップと、
符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、同期バイトとパケット・サイズを含んだ特殊コードを埋め込む同期バイト方式特殊コード付加ステップと、
を具備することを特徴とする画像符号化方法。 - ビデオ信号のストリーミングを行なうストリーミング装置であって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、各パケットの先頭に同期バイトとパケット・サイズを含んだ特殊コードを挿入した形式のビット・ストリームを出力する画像符号化手段と、
同期バイトに基づいてビット・ストリーム中のパケットの切れ目を認識し、特殊コードに記載されているパケット・サイズに従ってビット・ストリームをパケットに分割するパケット化手段と、
を具備することを特徴とするストリーミング装置。 - 前記画像符号化手段は、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化部と、
符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、同期バイトとパケット・サイズを含んだ特殊コードを埋め込む同期バイト方式特殊コード付加部と、
を備えることを特徴とする請求項９に記載のストリーミング装置。 - ビデオ信号を圧縮符号化する画像符号化装置であって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化部と、
符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、他の部分では現れないユニーク・コードを埋め込むユニーク・コード付加部と、
を具備することを特徴とする画像符号化装置。 - ビデオ信号を圧縮符号化する画像符号化方法であって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化ステップと、
符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、他の部分では現れないユニーク・コードを埋め込むユニーク・コード付加ステップと、
を具備することを特徴とする画像符号化方法。 - ビデオ信号のストリーミングを行なうストリーミング装置であって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、各パケットの先頭に他の部分では現れないユニーク・コードを挿入した形式のビット・ストリームを出力する画像符号化手段と、
ユニーク・コードに基づいてビット・ストリーム中のパケットの切れ目を認識し、ビット・ストリームをパケットに分割するパケット化手段と、
を具備することを特徴とするストリーミング装置。 - 前記画像符号化手段は、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化部と、
符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、他の部分では現れないユニーク・コードを埋め込むユニーク・コード付加部と、
を備えることを特徴とする請求項１３に記載のストリーミング装置。 - ビデオ信号を圧縮符号化する画像符号化処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化ステップと、
出力符号量に従ってパケット・サイズを出力するとともに該出力が決まっている分のビット・ストリームを出力バッファに転送するＲＴＰストリーム化ステップと、
出力バッファへの出力バイト数がパケット・サイズに到達する毎にパケット同期信号を出力するパケット同期信号出力ステップと、
を具備することを特徴とするコンピュータ・プログラム。 - ビデオ信号を圧縮符号化する画像符号化処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化ステップと、
符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、同期バイトとパケット・サイズを含んだ特殊コードを埋め込む同期バイト方式特殊コード付加ステップと、
を具備することを特徴とするコンピュータ・プログラム。 - ビデオ信号を圧縮符号化する画像符号化処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
原ビデオ入力信号を蓄積形や放送系で用いられている所定の画像圧縮規格に基づいて圧縮符号化し、スタート・コード毎にデコード可能なビット・ストリーム並びにスタート・コード毎のバイト数及び時間情報からなる符号化情報を出力する画像符号化ステップと、
符号化情報に基づいて、ビット・ストリーム中の各パケットの先頭に相当する位置に、他の部分では現れないユニーク・コードを埋め込むユニーク・コード付加ステップと、
を具備することを特徴とするコンピュータ・プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003142081A JP2004349820A (ja) | 2003-05-20 | 2003-05-20 | 画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003142081A JP2004349820A (ja) | 2003-05-20 | 2003-05-20 | 画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004349820A true JP2004349820A (ja) | 2004-12-09 |
Family
ID=33530270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003142081A Pending JP2004349820A (ja) | 2003-05-20 | 2003-05-20 | 画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004349820A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006229977A (ja) * | 2005-02-18 | 2006-08-31 | Thomson Licensing | インターネットプロトコルを用いたシリアルバスを介したデータ電送を実行するための方法及び当該方法を利用するための装置 |
-
2003
- 2003-05-20 JP JP2003142081A patent/JP2004349820A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006229977A (ja) * | 2005-02-18 | 2006-08-31 | Thomson Licensing | インターネットプロトコルを用いたシリアルバスを介したデータ電送を実行するための方法及び当該方法を利用するための装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3931595B2 (ja) | データ修正装置及びデータ修正方法 | |
| KR101292490B1 (ko) | Ｒｔｐ 패킷에 ｖｃ―１ 정보를 캡슐화하는 방법, 이를구현하기 위한 컴퓨터 판독가능 매체, ｒｔｐ 데이터구조체, 액세스 유닛 데이터 구조체, 소스 모듈, 디코더모듈, 소스 모듈 및 디코더 모듈을 포함하는 시스템, 및타겟 모듈 | |
| US7436454B2 (en) | Method and apparatus for transmitting encoded information based upon piority data in the encoded information | |
| JP4808161B2 (ja) | 動画像通信エラー処理の方法とその装置 | |
| JP4949591B2 (ja) | ビデオ誤り回復方法 | |
| CN101729898B (zh) | 视频编码、解码方法与视频编码、解码装置 | |
| TWI435568B (zh) | 多媒體影音之轉換及傳輸的方法以及系統 | |
| US20050123042A1 (en) | Moving picture streaming file, method and system for moving picture streaming service of mobile communication terminal | |
| KR20050052531A (ko) | Ｉｐ 네트워크를 통해 스캐일 가능한 코드화된 비디오를전송하기 위한 시스템 및 방법 | |
| JP2004507178A (ja) | ビデオ信号符号化方法 | |
| JP2006508574A (ja) | 要求に応じたｉ画像の挿入 | |
| KR20060011426A (ko) | Ａｖ데이터 수신시 버퍼량을 컨텐츠 속성에 따라탄력적으로 조절하는 방법 및 장치 | |
| JP2009118244A (ja) | 再生単位が可変のデータを送信する技術 | |
| Lin et al. | Using self-authentication and recovery images for error concealment in wireless environments | |
| JP2003324733A (ja) | 動画像送受信システムおよび動画像送受信方法 | |
| JP2002149316A (ja) | データ送信装置、データ受信装置、およびデータ送信方法、並びにプログラム記憶媒体 | |
| JP2005033556A (ja) | データ送信装置、データ送信方法、データ受信装置、データ受信方法 | |
| JP5031230B2 (ja) | データ送信装置及び方法 | |
| US8290063B2 (en) | Moving image data conversion method, device, and program | |
| JP2004349820A (ja) | 画像符号化装置及び画像符号化方法、ストリーミング装置、並びにコンピュータ・プログラム | |
| CN110392276B (zh) | 一种基于rtmp协议同步传输midi的直播录播方法 | |
| JP2002152307A (ja) | データ受信装置、データ送信装置、データ通信システム、データ受信方法、データ送信方法、データ通信方法、並びにプログラム記憶媒体 | |
| US7949052B1 (en) | Method and apparatus to deliver a DVB-ASI compressed video transport stream | |
| KR101964649B1 (ko) | 미디어 전송 방법 및 그 장치 | |
| KR101148072B1 (ko) | 멀티미디어 지원 시스템 및 그 지원방법 |