JP2012523789A

JP2012523789A - 信頼性の高いリアルタイム送信のための、画像及びビデオのデュアルモード圧縮

Info

Publication number: JP2012523789A
Application number: JP2012506010A
Authority: JP
Inventors: ウェイリュウ; モハメドガラヴィ−アルクハンサリ; アリタバタバイ; 陽一矢ケ崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-06-09
Filing date: 2010-06-08
Publication date: 2012-10-04
Also published as: KR20120013321A; WO2010144488A2; BRPI1014220A2; US20100309984A1; CN102396225B; WO2010144488A3; US8964851B2; CN102396225A; KR101266667B1

Abstract

信頼性の高いリアルタイム送信のための画像／ビデオのデュアルモード圧縮が、ブロックごとのスケーラブルなビデオ圧縮を含む。この方法では、チャネル帯域幅が変化した場合に品質の劣化が緩やかである。エンコーディングのための予測が回避されるので、メモリ要件が抑えられて処理がより単純になる。この方法は、個々のブロックを個別に処理するものであり、現在のブロック境界を越えてエラーが伝播できないという利点がある。取得した画像のための自然画像符号化、及びコンピュータ生成画像のためのグラフィック符号化という２つの異なるエンコーディングモードを使用する。エンコードすべき特定のブロックに対するこれらの２つのモードの性能を比較することにより、適切なエンコーディングモードを選択する。利用可能なチャネル帯域幅に基づいて、エンコーダが埋め込みビットストリームを生成する。
【選択図】図１

Description

本発明は、画像処理の分野に関する。より詳細には、本発明は、信頼性の高いリアルタイム送信のための、画像／ビデオのデュアルモード圧縮に関する。

互いに補完し合う技術ではあるが、組み合わせることに関しては問題を解決する必要が生じるという２つの成長する技術がある。１）高解像度（ＨＤ）ビデオは、標準解像度ビデオよりもかなり多くのデータを含み、従ってはるかに鮮明かつ色鮮やかなビデオを可能にする次世代ビデオである。ＨＤビデオはそれほど多くのデータを含むので、１つの場所から別の場所へ、特に無線でデータを送信するにはかなりの量の帯域幅を利用する。利用する帯域幅を減らしながらＨＤ品質を保つために、データ送信の際にはエンコーディング／圧縮方式が利用される。２）リアルタイムデータ送信は、ビデオ会議及びオンラインゲームなどのリアルタイムで双方向的な用途を可能にする。リアルタイムビデオ送信では、利用可能な帯域幅の変化に対してデータレートを適合させることが重要であり、これには、ビデオデータに対して行われるスケーラブルなエンコーディング／圧縮方式が必要である。

無線送信の一例にＷｉｒｅｌｅｓｓＨＤ１．０がある。ＷｉｒｅｌｅｓｓＨＤ１．０規格では、家電（ＣＥ）オーディオ及びビデオ装置の接続のための無線ビデオエリアネットワーク（ＷＶＡＮ）を定義している。ＷｉｒｅｌｅｓｓＨＤシステムのキー属性は、室内における何メートルかの距離の未圧縮１０８０ｐＡ／Ｖストリームの無線送信を高いクォリティオブサービス（ＱｏＳ）でサポートする能力である。

１０メートルの距離における高データスループットの要件には、広い割り当て周波数スぺクトルが必要である。６０ＧＨｚ帯域の多くの国では、免許不要で大量のスペクトルを利用することができる。北米及び日本では、計７ＧＨｚが使用に割り当てられており、このうちの５ＧＨｚが重複している。北米では５７〜６４ＧＨｚ帯域が割り当てられているのに対し、日本では５９〜６６ＧＨｚが割り当てられている。また、韓国及び欧州連合も同様の割り当てが認められている。監督官庁は、実効放射電力（ＥＩＲＰ）の１０Ｗを超える非常に高い実効送信電力（送信機電力とアンテナ利得の組み合わせ）を許可している。高ＥＩＲＰ及び広い割り当て帯域幅により、非常に指向性は高いものの高スループットの接続が可能になる。

ＷｉｒｅｌｅｓｓＨＤ１．０の仕様では、環境の変化に非常に素早く適合する指向性の高い接続を可能にする無線プロトコルを定義している。この接続は、送信機においてアンテナビームのステアリングを動的に行うと同時に、受信機アンテナを送信機から入ってくる出力の方向にぴったり合わせることによって行われる。この動的なビーム形成及びビームステアリングでは、直接経路のみを利用するのではなく、見通し接続が遮られた場合には反射及びその他の間接経路を利用することもできる。このアンテナエネルギーの動的調整は１ミリ秒未満で完了する。

ＷＶＡＮは、１つのコーディネータと、ゼロ又はそれ以上のステーションとを含む。コーディネータは、チャネル内で時間をスケジュールして、Ａ／Ｖストリームをサポートするための無線リソースが優先されることを保証する。ＷＶＡＮの一部であるその他の装置はステーションと呼ばれる。ステーションは、ネットワーク内のデータのソース及び／又はシンクであってもよい。ＷＶＡＮ内では、コーディネータである装置がステーションとしても機能し、データのソース及び／又はシンクとして機能することができる。＜ｈｔｔｐ：／／ｗｗｗ．ｗｉｒｅｌｅｓｓｈｄ．ｏｒｇ／ｔｅｃｈｎｏｌｏｇｙ．ｈｔｍｌ＞

デュアルモード圧縮方式が、ブロックごとのスケーラブルなビデオ圧縮を含む。この方法では、チャネル帯域幅が変化した場合に品質の劣化が緩やかである。エンコーディングのための予測が回避されるので、メモリ要件が抑えられて処理がより単純になり、ビットレートの変化に起因するドリフトエラーが回避される。この方法は、個々のブロックを個別に処理するものであり、現在のブロック境界を越えてエラーが伝播できないという利点がある。取得した画像のための自然画像符号化、及びコンピュータ生成画像のためのグラフィック符号化という２つの異なるエンコーディングモードを使用する。グラフィック符号化は、（以下に限定されるわけではないが）（ＤＣＴに基づくもののような）従来の自然画像符号化方式がうまく機能しないグラフィック及びテキストなどのコンピュータ生成コンテンツのために特別に設計したものである。エンコードすべき特定のブロックに対するこれらの２つのモードの性能を比較することにより、適切なエンコーディングモードを選択する。エンコーダが、埋め込みビットストリームを生成する。

１つの態様では、装置内のコントローラにおいてプログラムされた圧縮方法が、画像を１又はそれ以上のブロックに分割するステップと、この画像のブロックが自然画像からのものであるか、又はコンピュータ生成画像からのものであるかを判定するステップと、ブロックが自然画像からのものである場合、ブロックに自然画像符号化を適用して符号化ビットストリームを生成するステップと、ブロックがコンピュータ生成画像からのものである場合、ブロックにグラフィック符号化を適用して符号化ビットストリームを生成するステップとを含む。自然画像符号化は、ブロックに２Ｄ離散余弦変換（ＤＣＴ）（又はその他スペクトル変換）を適用するステップと、結果として得られる変換係数を最上位ビットプレーン（ＭＳＢ）から最下位ビットプレーン（ＬＳＢ）に符号化して、結果として得られるビットストリームが埋め込まれるようにするステップとを含む。グラフィック符号化モードは、ブロック内の画素を最上位ビットプレーン（ＭＳＢ）から最下位ビットプレーン（ＬＳＢ）に符号化するステップと、ブロックに対して変換を行わないステップとを含む。この方法は、異なるビットプレーンにおいて不均一誤り保護を適用するステップをさらに含む。モードの判定は、エンコードするブロックに対する２つの符号化モードの性能に基づく。方法は、符号化ビットストリームをポストエンコーディングバッファに記憶するステップをさらに含む。方法は、利用可能なチャネル帯域幅に基づいて、個々のブロックの情報をポストエンコーディングバッファから取り出すステップと、ブロックのモード情報を送信するステップと、残りのビットを破棄するステップとをさらに含む。方法は、取り出した情報及びモード情報を物理層へ送信するステップをさらに含む。コントローラは、プログラムしたコンピュータ可読媒体及び特定用途向け回路で構成される群から選択される。方法は、ブロック間でビット共有するステップをさらに含む。装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／モバイル電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、ｉＰｈｏｎｅ、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤライタ／プレーヤ、テレビ、及びホームエンタテイメントシステムで構成される群から選択される。

別の態様では、装置内のコントローラにおいてプログラムされた圧縮のためのシステムが、画像のブロックが自然画像からのものであるか、又はコンピュータ生成画像からのものであるかを判定するためのモード判定モジュールと、ブロックが自然画像からのものである場合、ブロックに自然画像符号化を適用することによって符号化ビットストリームを生成するための自然画像符号化モジュールと、ブロックがコンピュータ生成画像からのものである場合、ブロックにグラフィック符号化を適用することによって符号化ビットストリームを生成するためのグラフィック符号化モジュールとを備える。このシステムは、画像を１又はそれ以上のブロックに分割するためのプレエンコーディングバッファをさらに備える。自然画像符号化は、ブロックに２Ｄ離散余弦変換（ＤＣＴ）（又はその他スペクトル変換）を適用するステップと、結果として得られる変換係数を最上位ビットプレーン（ＭＳＢ）から最下位ビットプレーン（ＬＳＢ）に符号化して、結果として得られるビットストリームが埋め込まれるようにするステップとを含む。グラフィック符号化モードは、ブロック内の画素を最上位ビットプレーン（ＭＳＢ）から最下位ビットプレーン（ＬＳＢ）に符号化するステップと、ブロックに対して変換を行わないステップとを含む。モード判定モジュールは、エンコードするブロックに対する２つの符号化モードの性能に基づいてモードを判定する。システムは、符号化ビットストリームを記憶するためのポストエンコーディングバッファをさらに備える。システムは、利用可能なチャネル帯域幅に基づいて、個々のブロックの情報をポストエンコーディングバッファから取り出し、ブロックのモード情報を送信し、残りのビットを破棄するためのフレーミングモジュールをさらに備える。フレーミングモジュールは、取り出した情報及びモード情報を物理層へ送信する。コントローラは、プログラムしたコンピュータ可読媒体及び特定用途向け回路で構成される群から選択される。装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／モバイル電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、ｉＰｈｏｎｅ、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤライタ／プレーヤ、テレビ、及びホームエンタテイメントシステムで構成される群から選択される。

別の態様では、カメラ装置が、ビデオを取得するためのビデオ取得コンポーネントと、画像を１又はそれ以上のブロックに分割し、画像のブロックが自然画像からのものであるか、又はコンピュータ生成画像からのものであるかを判定し、ブロックが自然画像からのものである場合、ブロックに自然画像符号化を適用して符号化ビットストリームを生成し、ブロックがコンピュータ生成画像からのものである場合、ブロックにグラフィック符号化を適用して符号化ビットストリームを生成ためのアプリケーションを記憶するメモリと、メモリに結合されてアプリケーションを処理するように構成された処理コンポーネントとを含む。

さらに別の態様では、装置のネットワークが、ネットワークと、高解像度ビデオを記憶するとともに、ビデオの個々の画像を１又はそれ以上のブロックに分割し、画像のブロックが自然画像からのものであるか、又はコンピュータ生成画像からのものであるかを判定し、ブロックが自然画像からのものである場合、ブロックに自然画像符号化を適用して符号化ビットストリームを生成し、ブロックがコンピュータ生成画像からのものである場合、ブロックにグラフィック符号化を適用して符号化ビットストリームを生成することにより生成された高解像度ビデオの圧縮バージョンをネットワークを介して転送するためのサーバ装置と、高解像度ビデオの圧縮バージョンを受信して、この高解像度ビデオの圧縮バージョンを再生するためのプレーヤ装置とを含む。高解像度ビデオの圧縮バージョンは、再生前にデコードされる。

いくつかの実施形態によるビデオエンコーディングのブロック図である。いくつかの実施形態によるフレーミングのブロック図である。いくつかの実施形態によるデータ圧縮方法のフロー図である。いくつかの実施形態による、デュアルモード圧縮方法を実施するように構成された例示的なコンピュータ装置のブロック図である。いくつかの実施形態による装置のネットワークを示す図である。

本明細書では、信頼性の高いリアルタイム画像／ビデオの送信とともに使用するデュアルモード圧縮方式について説明する。ＷｉＨＤ１．０では、ビデオ信号は圧縮されない。利用可能なチャネル帯域幅の変化に適応するために、画素の一部が破棄される。デュアルモード圧縮方式では、本明細書で説明する複雑度が低くスケーラブルなビデオコーダ／デコーダ（コーデック）を使用する。デュアルモードコーデックでは、利用可能なチャネル帯域幅が変化した場合にビデオ品質の劣化が緩やかである。

デュアルモードコーデックでは、前フレームからの情報が符号化に使用されず、前フレームのためのフレームバッファが必要ないので、動き推定を探索することはない。これにより、メモリ要件及び複雑度が低下する。実施はブロックごとに行われ、エンコーダ及びデコーダが個々のブロックを個別に処理する。この処理はメモリをそれほど使用せず、複雑度も低い。個々のブロックをどこでも停止できるようにビットストリームを埋め込むことができる。ビットストリームが埋め込まれるので、帯域幅の変化に容易に適応する。トランスコーディングを行う必要はなく、複数のビットストリームを生成する必要もない。また、不均一誤り保護との組み合わせも容易である。デュアルモード圧縮は効率が高く、コンピュータ生成画像のためのモードを有し、符号化効率と誤り耐性との間にトレードオフが存在する。また、デュアルモード圧縮はレイテンシも低い。

図１はいくつかの実施形態によるビデオエンコーディングのブロック図である。ビデオは、プレエンコーディングバッファ１００へ入力された後でエンコーダへ進む。（８×８などの）一定サイズのブロックが、プレエンコーディングバッファ１００からモード判定モジュール１０２へ送信される。このモード判定モジュール１０２は、ブロックを自然画像符号化を用いてエンコードすべきか、又はグラフィック符号化を用いてエンコードすべきか（コンピュータ生成画像など）を判定する。自然画像とは、カメラ又はカムコーダなどによって取得した画像であり、コンピュータ生成画像とは、コンピュータ装置が生成した画像である。モード判定モジュール１０２での判定に応じて、ブロックは、自然画像符号化モジュール１０４又はグラフィック符号化モジュール１０６へ進む。自然符号化モジュール１０４又はグラフィック符号化モジュール１０６からは単一の埋め込みビットストリームが生成され、ポストエンコーディングバッファ１０８に記憶される。自然画像符号化モード及びグラフィック符号化モードでは、完全に埋め込まれたビットストリームが生成される。ポストエンコーディングバッファ１０８に記憶された情報は、利用可能なチャネル帯域幅に適合するように任意のビットレートに成形することができる。

エンコーダは、個々のブロックを個別に処理する。（インターフレーム又はイントラフレーム）予測は使用されない。スケーラブル符号化では、予測を使用した場合、予測に使用する画素がエンコーダ／デコーダにおいて相違する場合があり、これがエラーにつながるアーチファクトをもたらす恐れがある。

自然画像符号化モードでは、ブロックに２次元（２Ｄ）離散余弦変換（ＤＣＴ）（又はその他のスペクトル変換）を適用する。結果として得られる変換係数を最上位ビットプレーン（ＭＳＢ）から最下位ビットプレーン（ＬＳＢ）に符号化して、結果として得られるビットストリームが埋め込まれるようにする。これにより、複雑度の低いスケーラブル符号化が行われる。異なるビットプレーンにおいて不均一誤り保護を適用することもできる。

グラフィック符号化モードでは、ブロックに対して変換を行わない。画素が、ＭＳＢからＬＳＢに符号化される。グラフィック符号化では、いずれかの適切な符号化法を実施することができる。いくつかの実施形態では、「疎ヒストグラム画像のための埋め込みグラフィック符号化」という名称の米国特許出願（代理人整理番号ＳＯＮＹ−４１９００、出願日＿＿＿＿＿＿）に記載されるような埋め込みグラフィック符号化が利用され、該特許出願は引用により本明細書に組み入れられる。

モード（自然又はグラフィック）は、エンコードするブロックに対する２つの符号化モードの性能に基づいて判定される。この判定には、非常に複雑度の低い手段が用いられる。

図２は、いくつかの実施形態によるフレーミングのブロック図である。図１に示すように、符号化ビットストリームがポストエンコーディングバッファ１０８に記憶される。フレーミングモジュール２００を使用して、利用可能なチャネル帯域幅に基づいて、個々のブロックの情報をポストエンコーディングバッファ１０８から取り出す。個々のブロックのモード情報が送信される。残りのビットは破棄される。従って、利用可能な帯域幅が少ない場合、送信されるビット数は少なくなるが、ビデオ品質が著しく劣化することはない。フレーミング後、情報が（コンピュータネットワーキングのＯＳＩモデルのＰＨＹなどの）物理層へ送信される。

いくつかの実施形態では、マルチブロックが総ビットバジェットを共有できるようにされ、このことをビット共有と呼ぶ。ビットバジェットを共有するブロックをスライスと呼ぶ。賢いレート割り当てを通じてビット共有を可能にすることで、難しいブロックの方が容易なブロックよりも多くのビットを受信して、全体的な符号化性能が改善されるようになる。しかしながら、エラーが１つのブロックから別のブロックへ伝播することはあるが、決してスライスを越えて伝播することはない。本明細書で説明するコーデックは、ブロック間のビット共有を可能にするように修正することができ、従って、場合によっては誤り耐性が低下することを代償に符号化性能が改善される。このトレードオフは、（ブロックではなく）スライス又はサブスライスを符号化の単位として使用することにより制御することができる。

図３は、いくつかの実施形態によるデータ圧縮方法のフロー図である。ステップ３００において、ビデオなどのデータが８×８ブロックなどのブロックに分割され、例えばビデオの個々のフレームが８×８ブロックに分割される。ステップ３０２において、モード判定が行われる。画像のブロックが自然画像であるか、コンピュータ生成画像であるかが判定される。モード（自然モード又はグラフィックモード）は、エンコードするブロックに対する２つの符号化モードの性能に基づいて判定される。この判定には、非常に複雑度の低い手段が用いられる。ステップ３０４において、ブロックが自然画像であると判定された場合、自然画像符号化処理が行われる。自然画像符号化モードでは、ブロックに２Ｄ離散余弦変換（ＤＣＴ）（又はその他のスペクトル変換）が適用される。結果として得られる変換係数が最上位ビットプレーン（ＭＳＢ）から最下位ビットプレーン（ＬＳＢ）に符号化され、結果として得られるビットストリームが埋め込まれるようになる。これにより、複雑度の低いスケーラブル符号化が行われる。異なるビットプレーンにおいて不均一誤り保護を適用することもできる。ステップ３０６において、ブロックがコンピュータ生成画像であると判定された場合、グラフィック符号化処理が行われる。グラフィック符号化モードでは、ブロックに対して変換が行われない。画素が、ＭＳＢからＬＳＢに符号化される。ステップ３０８において、符号化ビットストリームがポストエンコーディングバッファに記憶される。ステップ３１０において、フレーミングが行われる。フレーミングは、利用可能なチャネル帯域幅に基づいて、個々のブロックの情報をポストエンコーディングバッファから取り出すことを含む。個々のブロックのモード情報は送信されるが、残りのビットは破棄される。ステップ３１２において、取り出した情報及びモード情報が物理層へ送信される。

図４は、いくつかの実施形態による、デュアルモード圧縮方法を実施するように構成された例示的なコンピュータ装置４００のブロック図である。このコンピュータ装置４００を使用して、画像及びビデオなどの情報を取得し、記憶し、計算し、通信し、及び／又は表示することができる。例えば、コンピュータ装置４００は、ビデオを取得して記憶することができる。ビデオの取得中又は取得後、或いは装置４００から別の装置へビデオを転送する際に上記圧縮方法を利用することができる。一般に、コンピュータ装置４００を実現するのに適したハードウェア構造は、ネットワークインターフェイス４０２、メモリ４０４、プロセッサ４０６、（単複の）Ｉ／Ｏ装置４０８、バス４１０、及び記憶装置４１２を含む。十分な速度の適切なプロセッサを選択しさえすれば、プロセッサの選択は重要でない。メモリ４０４は、当業で公知のいずれの従来のコンピュータメモリであってもよい。記憶装置４１２としては、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、フラッシュメモリカード、又はその他のいずれかの記憶装置を挙げることができる。コンピュータ装置４００は、１又はそれ以上のネットワークインターフェイス４０２を含むことができる。ネットワークインターフェイスの例としては、イーサネット又はその他の種類のＬＡＮに接続されたネットワークカードが挙げられる。（単複の）Ｉ／Ｏ装置４０８は、キーボード、マウス、モニタ、ディスプレイ、プリンタ、モデム、タッチ画面、ボタンインターフェイス、及びその他の装置のうちの１又はそれ以上を含むことができる。圧縮方法を実施するために使用する（単複の）圧縮アプリケーション４３０は、記憶装置４１２及びメモリ４０４に記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置４００には、図４に示すよりも多くの又は少ないコンポーネントを含めることができる。いくつかの実施形態では、圧縮ハードウェア４２０が含まれる。図４のコンピュータ装置４００は、圧縮用のアプリケーション４３０及びハードウェア４２０を含むが、圧縮方法は、コンピュータ装置において、ハードウェア、ファームウェア、ソフトウェア、又はこれらのいずれかの組み合わせで実施することができる。例えば、いくつかの実施形態では、圧縮アプリケーション４３０がメモリ内にプログラムされ、プロセッサを使用して実行される。別の例として、いくつかの実施形態では、圧縮ハードウェア４２０が、圧縮方法を実施するように特別に設計されたゲートを含むプログラムしたハードウェア論理回路である。

いくつかの実施形態では、（単複の）圧縮アプリケーション４３０が、いくつかのアプリケーション及び／又はモジュールを含む。本明細書で説明したように、モード判定モジュール、自然画像符号化モジュール、グラフィック符号化モジュール、及びフレーミングモジュールなどのモジュールを圧縮に使用することができる。いくつかの実施形態では、モジュールが、１又はそれ以上のサブモジュールも含む。いくつかの実施形態では、より少ない又は追加のモジュールを含むことができる。

適当なコンピュータ装置の例として、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／モバイル電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、ｉＰｏｄ（登録商標）／ｉＰｈｏｎｅ、ビデオプレーヤ、ＤＶＤライタ／プレーヤ、テレビ、ホームエンタテイメントシステム、又はその他のいずれかの適当なコンピュータ装置が挙げられる。

図５は、いくつかの実施形態による装置のネットワーク５００を示す図である。装置のネットワーク５００は、ネットワーク５０２を介して結合された１又はそれ以上の装置５０４を含む。ネットワーク５０２は、インターネット又はローカルエリアネットワークなどのいずれの（単複の）ネットワークであってもよい。装置５０４は、本明細書で説明したコンピュータ装置などのいずれの装置であってもよい。いくつかの実施形態では、装置５０４が直接結合される。装置５０４は、本明細書で説明した圧縮の実施構成を使用して、圧縮したＨＤビデオを転送することができる。例えば、エンコーダを含むサーバ５０４が、本明細書で説明したようにＨＤビデオを記憶して圧縮し、その後デコーダを含むモバイル装置５０４へこの圧縮データを転送して、ユーザがビデオなどの圧縮データを見られるようにすることができる。より少ない又は追加の装置を含めることができる。

圧縮方法を利用するには、ユーザがデジタルカムコーダなどでビデオ／画像を取得し、ビデオの取得中又は取得後、或いはコンピュータなどの別の装置へビデオを送信する際に、この圧縮方法によりビデオの個々の画像を自動的に圧縮して、ビデオが適切に圧縮されて高品質ビデオを維持するようにする。この圧縮方法は、ユーザが関与せずに自動的に行われる。

動作中、本明細書で説明した圧縮方法は、いくつかの実施形態では（例えば多くの論理ゲートを必要としない）低いハードウェアコスト、低い複雑性、少ない遅延、非常に高い見栄えでの圧縮を行い、エンコーディングのために他のブロック又はフレームに依存することがない。この圧縮方法は、限定するわけではないが、無線高解像度（ＷｉｒｅｌｅｓｓＨＤ）を含むあらゆる実施構成で使用することができる。

本明細書で説明した画像圧縮方法は、ビデオ及び／又は画像のいずれにも使用することができる。

高解像度ビデオは、以下に限定されるわけではないが、ＨＤＣＡＭ、ＨＤＣＡＭ−ＳＲ、ＤＶＣＰＲＯＨＤ、Ｄ５ＨＤ、ＸＤＣＡＭＨＤ、ＨＤＶ、及びＡＶＣＨＤを含むいずれのフォーマットであってもよい。

信頼性の高いリアルタイム送信のための画像及びビデオのデュアルモード圧縮のいくつかの実施形態
１．装置内のコントローラにおいてプログラムされた圧縮方法であって、
ａ．画像を１又はそれ以上のブロックに分割するステップと、
ｂ．前記画像のブロックが自然画像からのものであるか、又はコンピュータ生成画像からのものであるかを判定するステップと、
ｃ．前記ブロックが自然画像からのものである場合、前記ブロックに自然画像符号化を適用して符号化ビットストリームを生成するステップと、
ｄ．前記ブロックがコンピュータ生成画像からのものである場合、前記ブロックにグラフィック符号化を適用して符号化ビットストリームを生成するステップと、
を含むことを特徴とする方法。

２．自然画像符号化が、
ａ．前記ブロックにスペクトル変換を適用するステップと、
ｂ．結果として得られる変換係数を最上位ビットプレーン（ＭＳＢ）から最下位ビットプレーン（ＬＳＢ）に符号化して、結果として得られるビットストリームが埋め込まれるようにするステップと、
を含むことを特徴とする条項１に記載の方法。

３．前記グラフィック符号化モードが、
ａ．前記ブロック内の画素を前記最上位ビットプレーン（ＭＳＢ）から前記最下位ビットプレーン（ＬＳＢ）に符号化するステップと、
ｂ．前記ブロックに対して変換を行わないステップと、
を含むことを特徴とする条項１に記載の方法。

４．異なるビットプレーンにおいて不均一誤り保護を適用するステップをさらに含む、
ことを特徴とする条項１に記載の方法。

５．前記モードを判定するステップが、エンコードする前記ブロックに対する前記２つの符号化モードの性能に基づく、
ことを特徴とする条項１に記載の方法。

６．前記符号化ビットストリームをポストエンコーディングバッファに記憶するステップをさらに含む、
ことを特徴とする条項１に記載の方法。

７．利用可能なチャネル帯域幅に基づいて、個々のブロックの情報を前記ポストエンコーディングバッファから取り出すステップと、前記ブロックのモード情報を送信するステップと、残りのビットを破棄するステップと、
をさらに含む、
ことを特徴とする条項６に記載の方法。

８．前記取り出した情報及び前記モード情報を物理層へ送信するステップをさらに含む、
ことを特徴とする条項７に記載の方法。

９．前記コントローラが、プログラムしたコンピュータ可読媒体及び特定用途向け回路で構成される群から選択される、
ことを特徴とする条項１に記載の方法。

１０．ブロック間でビット共有するステップをさらに含む、
ことを特徴とする条項１に記載の方法。

１１．前記装置が、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／モバイル電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、ｉＰｈｏｎｅ、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤライタ／プレーヤ、テレビ、及び、ホームエンタテイメントシステムで構成される群から選択される、
ことを特徴とする条項１に記載の方法。

１２．装置内のコントローラにおいてプログラムされた圧縮のためのシステムであって、
ａ．画像のブロックが自然画像からのものであるか、又はコンピュータ生成画像からのものであるかを判定するためのモード判定モジュールと、
ｂ．前記ブロックが自然画像からのものである場合、前記ブロックに自然画像符号化を適用することによって前記符号化ビットストリームを生成するための自然画像符号化モジュールと、
ｃ．前記ブロックがコンピュータ生成画像からのものである場合、前記ブロックにグラフィック符号化を適用することによって前記符号化ビットストリームを生成するためのグラフィック符号化モジュールと、
を備えることを特徴とするシステム。

１３．画像を１又はそれ以上のブロックに分割するためのプレエンコーディングバッファをさらに備える、
ことを特徴とする条項１２に記載のシステム。

１４．自然画像符号化が、
ａ．前記ブロックにスペクトル変換を適用するステップと、
ｂ．結果として得られる変換係数を最上位ビットプレーン（ＭＳＢ）から最下位ビットプレーン（ＬＳＢ）に符号化して、結果として得られるビットストリームが埋め込まれるようにするステップと、
を含むことを特徴とする条項１２に記載のシステム。

１５．前記グラフィック符号化モードが、
ａ．前記ブロック内の画素を前記最上位ビットプレーン（ＭＳＢ）から前記最下位ビットプレーン（ＬＳＢ）に符号化するステップと、
ｂ．前記ブロックに対して変換を行わないステップと、
を含むことを特徴とする条項１２に記載のシステム。

１６．前記モード判定モジュールが、エンコードする前記ブロックに対する前記２つの符号化モードの性能に基づいてモードを判定する、
ことを特徴とする条項１２に記載のシステム。

１７．前記符号化ビットストリームを記憶するためのポストエンコーディングバッファをさらに備える、
ことを特徴とする条項１２に記載のシステム。

１８．利用可能なチャネル帯域幅に基づいて、個々のブロックの情報を前記ポストエンコーディングバッファから取り出し、前記ブロックのモード情報を送信し、残りのビットを破棄するためのフレーミングモジュールをさらに備える、
ことを特徴とする条項１７に記載のシステム。

１９．前記フレーミングモジュールが、前記取り出した情報及び前記モード情報を物理層へ送信する、
ことを特徴とする条項１８に記載のシステム。

２０．前記コントローラが、プログラムしたコンピュータ可読媒体及び特定用途向け回路で構成される群から選択される、
ことを特徴とする条項１２に記載のシステム。

２１．前記装置が、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／モバイル電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、ｉＰｈｏｎｅ、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤライタ／プレーヤ、テレビ、及び、ホームエンタテイメントシステムで構成される群から選択される、
ことを特徴とする条項１２に記載のシステム。

２２．カメラ装置であって、
ａ．ビデオを取得するためのビデオ取得コンポーネントと、
ｂ．
ｉ．画像を１又はそれ以上のブロックに分割し、
ｉｉ．前記画像のブロックが自然画像からのものであるか、又はコンピュータ生成画像からのものであるかを判定し、
ｉｉｉ．前記ブロックが自然画像からのものである場合、前記ブロックに自然画像符号化を適用して符号化ビットストリームを生成し、
ｉｖ．前記ブロックがコンピュータ生成画像からのものである場合、前記ブロックにグラフィック符号化を適用して前記符号化ビットストリームを生成する、
ためのアプリケーションを記憶するためのメモリと、
ｃ．前記メモリに結合されて、前記アプリケーションを処理するように構成された処理コンポーネントと、
を含むことを特徴とするカメラ装置。

２３．装置のネットワークであって、
ａ．ネットワークと、
ｂ．高解像度ビデオを記憶するとともに、
ｉ．前記ビデオの個々の画像を１又はそれ以上のブロックに分割し、
ｉｉ．前記画像のブロックが自然画像からのものであるか、又はコンピュータ生成画像からのものであるかを判定し、
ｉｉｉ．前記ブロックが自然画像からのものである場合、前記ブロックに自然画像符号化を適用して符号化ビットストリームを生成し、
ｉｖ．前記ブロックがコンピュータ生成画像からのものである場合、前記ブロックにグラフィック符号化を適用して前記符号化ビットストリームを生成する、
ことにより生成された前記高解像度ビデオの圧縮バージョンを前記ネットワークを介して転送するためのサーバ装置と、
ｃ．前記高解像度ビデオの圧縮バージョンを受信して、前記高解像度ビデオの圧縮バージョンを再生するためのプレーヤ装置と、
を含むことを特徴とする装置のネットワーク。

２４．前記高解像度ビデオの圧縮バージョンが再生前にデコードされる、
ことを特徴とする請求項２３に記載の装置のネットワーク。

本発明の構成及び動作の原理を容易に理解できるように、詳細を含む特定の実施形態に関して本発明を説明した。本明細書におけるこのような特定の実施形態及びこの詳細への参照は、本明細書に添付する特許請求の範囲を限定することを意図するものではない。当業者には、特許請求の範囲により定められる本発明の思想及び範囲から逸脱することなく、例示を目的として選択した実施形態に他の様々な修正を行えることが容易に明らかになるであろう。

３００ビデオをブロックに分割
３０２モードを判定
３０４自然画像符号化
３０６グラフィック符号化
３０８符号化ビットストリームを記憶
３１０符号化ビットストリームをフレーミング
３１２符号化ビットストリームを送信

Claims

装置内のコントローラにおいてプログラムされた圧縮方法であって、
ａ．画像を１又はそれ以上のブロックに分割するステップと、
ｂ．前記画像のブロックが自然画像からのものであるか、又はコンピュータ生成画像からのものであるかを判定するステップと、
ｃ．前記ブロックが自然画像からのものである場合、前記ブロックに自然画像符号化を適用して符号化ビットストリームを生成するステップと、
ｄ．前記ブロックがコンピュータ生成画像からのものである場合、前記ブロックにグラフィック符号化を適用して符号化ビットストリームを生成するステップと、
を含むことを特徴とする方法。
自然画像符号化が、
ａ．前記ブロックにスペクトル変換を適用するステップと、
ｂ．結果として得られる変換係数を最上位ビットプレーン（ＭＳＢ）から最下位ビットプレーン（ＬＳＢ）に符号化して、結果として得られるビットストリームが埋め込まれるようにするステップと、
を含むことを特徴とする請求項１に記載の方法。
前記グラフィック符号化モードが、
ａ．前記ブロック内の画素を前記最上位ビットプレーン（ＭＳＢ）から前記最下位ビットプレーン（ＬＳＢ）に符号化するステップと、
ｂ．前記ブロックに対して変換を行わないステップと、
を含むことを特徴とする請求項１に記載の方法。
異なるビットプレーンにおいて不均一誤り保護を適用するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
前記モードを判定するステップが、エンコードする前記ブロックに対する前記２つの符号化モードの性能に基づく、
ことを特徴とする請求項１に記載の方法。
前記符号化ビットストリームをポストエンコーディングバッファに記憶するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
利用可能なチャネル帯域幅に基づいて、個々のブロックの情報を前記ポストエンコーディングバッファから取り出すステップと、前記ブロックのモード情報を送信するステップと、残りのビットを破棄するステップと、
をさらに含む、
ことを特徴とする請求項６に記載の方法。
前記取り出した情報及び前記モード情報を物理層へ送信するステップをさらに含む、
ことを特徴とする請求項７に記載の方法。
前記コントローラが、プログラムしたコンピュータ可読媒体及び特定用途向け回路で構成される群から選択される、
ことを特徴とする請求項１に記載の方法。
ブロック間でビット共有するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
前記装置が、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／モバイル電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、ｉＰｈｏｎｅ、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤライタ／プレーヤ、テレビ、及び、ホームエンタテイメントシステムで構成される群から選択される、
ことを特徴とする請求項１に記載の方法。
装置内のコントローラにおいてプログラムされた圧縮のためのシステムであって、
ａ．画像のブロックが自然画像からのものであるか、又はコンピュータ生成画像からのものであるかを判定するためのモード判定モジュールと、
ｂ．前記ブロックが自然画像からのものである場合、前記ブロックに自然画像符号化を適用することによって前記符号化ビットストリームを生成するための自然画像符号化モジュールと、
ｃ．前記ブロックがコンピュータ生成画像からのものである場合、前記ブロックにグラフィック符号化を適用することによって前記符号化ビットストリームを生成するためのグラフィック符号化モジュールと、
を備えることを特徴とするシステム。
画像を１又はそれ以上のブロックに分割するためのプレエンコーディングバッファをさらに備える、
ことを特徴とする請求項１２に記載のシステム。
自然画像符号化が、
ａ．前記ブロックにスペクトル変換を適用するステップと、
ｂ．結果として得られる変換係数を最上位ビットプレーン（ＭＳＢ）から最下位ビットプレーン（ＬＳＢ）に符号化して、結果として得られるビットストリームが埋め込まれるようにするステップと、
を含むことを特徴とする請求項１２に記載のシステム。
前記グラフィック符号化モードが、
ａ．前記ブロック内の画素を前記最上位ビットプレーン（ＭＳＢ）から前記最下位ビットプレーン（ＬＳＢ）に符号化するステップと、
ｂ．前記ブロックに対して変換を行わないステップと、
を含むことを特徴とする請求項１２に記載のシステム。
前記モード判定モジュールが、エンコードする前記ブロックに対する前記２つの符号化モードの性能に基づいてモードを判定する、
ことを特徴とする請求項１２に記載のシステム。
前記符号化ビットストリームを記憶するためのポストエンコーディングバッファをさらに備える、
ことを特徴とする請求項１２に記載のシステム。
利用可能なチャネル帯域幅に基づいて、個々のブロックの情報を前記ポストエンコーディングバッファから取り出し、前記ブロックのモード情報を送信し、残りのビットを破棄するためのフレーミングモジュールをさらに備える、
ことを特徴とする請求項１７に記載のシステム。
前記フレーミングモジュールが、前記取り出した情報及び前記モード情報を物理層へ送信する、
ことを特徴とする請求項１８に記載のシステム。
前記コントローラが、プログラムしたコンピュータ可読媒体及び特定用途向け回路で構成される群から選択される、
ことを特徴とする請求項１２に記載のシステム。
前記装置が、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／モバイル電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、ｉＰｈｏｎｅ、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤライタ／プレーヤ、テレビ、及び、ホームエンタテイメントシステムで構成される群から選択される、
ことを特徴とする請求項１２に記載のシステム。
カメラ装置であって、
ａ．ビデオを取得するためのビデオ取得コンポーネントと、
ｂ．
ｉ．画像を１又はそれ以上のブロックに分割し、
ｉｉ．前記画像のブロックが自然画像からのものであるか、又はコンピュータ生成画像からのものであるかを判定し、
ｉｉｉ．前記ブロックが自然画像からのものである場合、前記ブロックに自然画像符号化を適用して符号化ビットストリームを生成し、
ｉｖ．前記ブロックがコンピュータ生成画像からのものである場合、前記ブロックにグラフィック符号化を適用して前記符号化ビットストリームを生成する、
ためのアプリケーションを記憶するためのメモリと、
ｃ．前記メモリに結合されて、前記アプリケーションを処理するように構成された処理コンポーネントと、
を含むことを特徴とするカメラ装置。
装置のネットワークであって、
ａ．ネットワークと、
ｂ．高解像度ビデオを記憶するとともに、
ｉ．前記ビデオの個々の画像を１又はそれ以上のブロックに分割し、
ｉｉ．前記画像のブロックが自然画像からのものであるか、又はコンピュータ生成画像からのものであるかを判定し、
ｉｉｉ．前記ブロックが自然画像からのものである場合、前記ブロックに自然画像符号化を適用して符号化ビットストリームを生成し、
ｉｖ．前記ブロックがコンピュータ生成画像からのものである場合、前記ブロックにグラフィック符号化を適用して前記符号化ビットストリームを生成する、
ことにより生成された前記高解像度ビデオの圧縮バージョンを前記ネットワークを介して転送するためのサーバ装置と、
ｃ．前記高解像度ビデオの圧縮バージョンを受信して、前記高解像度ビデオの圧縮バージョンを再生するためのプレーヤ装置と、
を含むことを特徴とする装置のネットワーク。
前記高解像度ビデオの圧縮バージョンが再生前にデコードされる、
ことを特徴とする請求項２３に記載の装置のネットワーク。