JP2008227937A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】演算負荷を低減させるとともに動画像をより円滑に再生することができる情報処理装置および情報処理方法を提供する。
【解決手段】端末装置２ａ〜２ｃは、それぞれの間で符号化データの生成条件を設定し、この生成条件に基づいて画像データを符号化して符号化データを作成し、他の端末装置２ａ〜２ｃから受信する、生成条件に基づいて符号化された符号化データを、当該生成条件に基づいて復号化する。これにより、特定ピクチャを確実に復号化することが可能となるため、結果として、演算負荷を低減させるとともに動画像をより円滑に再生することができる。
【選択図】 図１

Description

本発明は、動画圧縮技術に関するものであり、より詳しくは動画像のデータを符号化したり、符号化された動画像のデータを復号化したりする情報処理装置および情報処理方法に関するものである。

近年、例えばＴＶ会議システムなど複数の端末装置間でそれぞれが撮影した動画像を相互に視聴可能なシステムが提案されている。このようなシステムにおいて、各端末装置は、自装置で撮影した動画像を他の端末装置に送信するとともに、他の端末装置から送られてきた複数の動画像を同一画面に表示する。これにより、各端末装置のユーザは、他の端末装置のユーザの動画像を見ながら会話等を行うことが可能となる。

このようなシステムでは、通信負荷を軽減するために、送受信する動画像に対して符号化が行われる。例えば、Ｈ．２６４またはＭＰＥＧ−４と呼ばれる動画圧縮技術（例えば、非特許文献１参照。）を用いると、動画像は、空間的に符号化されるＩピクチャ、および、他のピクチャを参照して符号化されるＰピクチャまたはＢピクチャから構成される複数の連続したピクチャからなる画像データ（以下、符号化データという）に符号化される。この符号化データは、受信側の端末装置で復号化されることにより、動画像として再生することが可能となる。

上記システムにおいて、動画像の符号化および符号化データの復号化は、各端末装置に実装されたソフトウェアにより行われる。このため、例えば３，４台程度の少数の端末装置による符号化データの送受信であれば端末装置の動作上の問題はないが、例えば１０台程度など多数の端末装置による符号化データの送受信を行うとなると、各端末装置では同時に送られてくる多数の符号化データを同時に復号化しなければならないので、ＣＰＵにかかる負荷が増大し、結果として動画像が正常に再生されない場合があった。

このような事態を防ぐために、従来では、例えばＩピクチャのみを復号化したり、フレームレートを変更するなど、端末装置における復号化処理にかかる負荷を低減させる方法が提案されている（例えば、特許文献１参照。）。

特開平９−７４５４８号公報 International Telecommunication Union、"ITU-T Recommendation H.264 Advanced video coding for generic audiovisual services"、［online］、［平成１９年１月２３日検索］、インターネット<http://www.itu.int/rec/T-REC-H.264/en>

しかしながら、Ｉピクチャのみを復号化する方法は、動画像再生時のフレームレートが極端に低くなってしまうので、高画質な動画像を提供することが困難となる。これを解消するためにＩピクチャの数を増やすと、低ビットレートな環境では復号した際の画質が低くなる。そこで、画質を向上させるためにビットレートを上げると、ＰピクチャやＢピクチャと比較してＩピクチャはデータ量が大きいので、ネットワーク帯域の多くを占有してしまい他の通信に影響が出てしまう可能性がある。

また、フレームレートを変更する方法は、フレームレートが高いときはよいものの、フレームレートが低いときには、円滑に動画像を再生することが困難となる。

このように、従来は、端末装置の演算負荷を低減させるとともに、動画像を円滑に再生することが困難であった。
そこで、本願発明は、演算負荷を低減させるとともに動画像をより円滑に再生することができる情報処理装置および情報処理方法を提供することを目的とする。

上述したような課題を解決するために、本発明に係る情報処理装置は、他の装置との間で、符号化された連続する複数のピクチャを含む符号化データを送受信する情報処理装置であって、他の装置との間で、符号化データの生成条件を設定する設定手段と、当該生成条件に基づいて、画像データを符号化して符号化データを生成する符号化手段と、他の装置から受信する、生成条件に基づいて符号化された符号化データを、当該生成条件に基づいて復号化する復号化手段とを備えることを特徴とする。

上記情報処理装置において、生成条件は、復号化するピクチャを特定し、符号化手段は、生成条件に基づいて、生成する符号化データの各ピクチャが参照するピクチャを決定するようにしてもよい。

また、本発明に係る他の情報処理装置は、他の装置に対して、符号化された連続する複数のピクチャを含む符号化データを送信する情報処理装置であって、他の装置との間で、符号化データの生成条件を設定する設定手段と、生成条件に基づいて、画像データを符号化して符号化データを生成する符号化手段とを備えることを特徴とする。

また、本発明に係る他の情報処理装置は、他の装置から、符号化された連続する複数のピクチャを含む符号化データを受信する情報処理装置であって、他の装置との間で、符号化データの生成条件を設定する設定手段と、他の装置から受信する、生成条件に基づいて符号化された符号化データを、生成条件に基づいて復号化する復号化手段とを備えることを特徴とする。

また、本発明に係る情報処理方法は、他の装置との間で、符号化された連続する複数のピクチャを含む符号化データを送受信する情報処理方法であって、他の装置との間で、符号化データの生成条件を設定する設定ステップと、生成条件に基づいて、画像データを符号化して符号化データを生成する符号化ステップと、他の装置から受信する、生成条件に基づいて符号化された符号化データを、生成条件に基づいて復号化する復号化ステップとを有することを特徴とする。

本発明によれば、他の装置と符号化データの生成条件を設定し、この生成条件に基づいて画像データを符号化して符号化データを作成し、他の装置から受信する、生成条件に基づいて符号化された符号化データを、当該生成条件に基づいて復号化することにより、特定のピクチャを確実に復号化することが可能となるため、結果として、演算負荷を低減させるとともに動画像をより円滑に再生することができる。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、本実施の形態では、ＴＶ会議システムにおける端末装置に本発明を適用した場合を例に説明する。

［ＴＶ会議システムの構成］
図１に示すように、本実施の形態に係るＴＶ会議システムは、サーバ１と、複数の端末装置２ａ〜２ｎとから構成され、それぞれはＬＡＮ(Local Area Network)やインターネット等からなる通信回線３により接続されている。なお、端末装置２ａ〜２ｎは、それぞれ同等の構成を有するので、便宜上、以下端末装置２と言う。

（サーバの構成）
サーバ１は、ＴＶ会議システムを構成する端末装置２ａ〜２ｎの呼制御を行い、端末装置２間の通信を確立する。

（端末装置の構成）
端末装置２は、ＴＶ会議システムを利用するユーザにより用いられる公知のコンピュータから構成される。この端末装置２は、図２に示すように、外部Ｉ／Ｆ部４と、操作入力部５と、画像処理部６と、音声処理部７と、記憶部８と、制御部９とから構成される。

外部Ｉ／Ｆ部４は、通信回路からなり、通信回線３等を介して、サーバ１および他の端末装置２とデータ通信を行い、接続された各装置と各種データをやりとりする。

操作入力部５は、キーボードやマウス等からなり、ユーザの操作を検出して制御部９へ出力する。

画像処理部６は、画像処理回路からなり、カメラ６ａにより取り込まれた動画像を制御部９に入力したり、制御部９から入力された動画像をモニタ６ｂから出力させたりするとともに、階調制御等を行う。

音声処理部７は、信号処理回路からなり、マイク７ａから入力された音声を音声データに符号化して制御部９に出力したり、制御部９から入力された音声データを復号化してスピーカ７ｂから出力したりするとともに、音量制御やエコーキャンセラ等の機能を有する。

記憶部８は、メモリやハードディスクなどの記憶装置からなり、制御データ８ａ、生成条件８ｂおよびプログラム８ｃを格納する。ここで、制御データ８ａは、端末装置２の制御に用いる情報である。また、生成条件８ｂは、交渉部１４により生成される情報である。また、プログラム８ｃは、端末装置２の動作プログラムであり、予め記憶部８に格納される。なお、プログラム８ｃは、ＤＶＤ（Digital Versatile Disk）やＣＤ（Compact disk）等の記録媒体やネットワークを介して記憶部８に格納するようにしてもよい。

制御部９は、ＣＰＵなどのマイクロプロセッサとその周辺回路からなり、記憶部８からプログラム８ｃを読み込んで実行することにより、上記ハードウェアとプログラム８ｃを協働させ、符号化部１１、復号化部１２、ＴＶ会議部１３および交渉部１４を実現させる。

符号化部１１は、Ｈ．２６４規格に基づいて、カメラ６ａおよび画像処理部６により生成された連続する複数のフレーム（画像）を符号化して、連続する複数のピクチャ（符号化された画像）からなる符号化データを生成する。この符号化部１１は、図３に示すように、符号化部１１は、差分演算部１１１、ＤＣＴ部１１２、量子化部１１３、逆量子化部１１４、ＩＤＣＴ部１１５、加算演算部１１６、デブロッキングフィルタ１１７、動き補償予測部１１８、フレームメモリ１１９、動き検出部１２０、イントラ予測部１２１、スイッチ１２２および符号化データ出力部１２３を備えている。このような符号化部１１は、ＴＶ会議システムのように同時に複数の端末装置２と符号化データのやりとりを行う場合、生成する符号化データの種類毎に設けられる。なお、符号化部１１による符号化処理動作の詳細については後述する。

復号化部１２は、外部Ｉ／Ｆ部４を介して他の端末装置２から受信した符号化データを復号化して画像データを生成する。この復号化部１２は、図４に示すように、選択部１５０、復号化部１３１、逆量子化部１３２、ＩＤＣＴ部１３３、加算演算部１３４、デブロッキングフィルタ１３５、フレームメモリ１３６、動き補償予測部１３７、イントラ予測部１３８およびスイッチ１３９を備えている。このような復号化部１２は、ＴＶ会議システムのように同時に複数の端末装置２と符号化データのやりとりを行う場合、相手先の端末装置２毎に設けられる。なお、復号化部１２による復号化処理動作の詳細については後述する。

ＴＶ会議部１３は、通信回線３および外部Ｉ／Ｆ部４を介して他の端末装置２と符号化データおよび音声データをやりとりすることにより、ＴＶ会議システムを実現するものである。具体的には、まず、サーバ１の呼制御の結果、ＴＶ会議に使用される端末装置２の数量に応じて、復号化部１２の数量を設定する。また、サーバ１の呼制御の結果や他の端末装置２との通信により取得した他の端末装置２の通信環境、プロトコル、性能等に関する情報に応じて、生成する符号化データの数量を設定し、この数量に応じて符号化部１１の数量を設定する。また、符号化部１１および音声処理部７に、生成された符号化データおよび音声データを、他の端末装置２それぞれに送信させる。また、音声処理部７に、他の端末装置２から受信した音声データをスピーカ７ｂから出力させる。また、復号化部１２に、他の各端末装置２から受信した符号化データを復号化させ、画像処理部６に、復号化部１２により生成された各フレームをモニタ６ｂ上の所定の位置およびサイズで同時に表示させる。例えば、図５に示すように、発言しているユーザの端末装置２から動画像は、符号ｘで示すように画面の中央に大きく表示させ、他のユーザの端末装置２からの動画像は、符号ｙで示すように小さく表示させるようにしてもよい。このようにすることにより、他の端末装置２のユーザと、それぞれの動画像を見ながらそれぞれと会話を行うことができる。なお、発言者など何れの動画像を大きく表示させるかは、例えばＴＶ会議の参加者の端末装置２から受信する音声データに基づいて判断することができる。

交渉部１４は、他の端末装置２との間でやりとり、すなわちネゴシエーション動作を行い、送受信する符号化データの生成条件を設定する。ここで、生成条件とは、他の端末装置２と送受信する符号化データのピクチャの構成を特定する情報であり、必ず復号化が可能なピクチャ（以下、特定ピクチャという）の出現順に関する取り決めのことを意味する。このような生成条件は、端末装置２の通信環境、端末装置２自身や他の端末装置２の性能、ＴＶ会議への参加人数等に基づいて設定される。また、生成条件は、符号化データの送受信を行う相手の端末装置２毎に生成される。生成された生成条件は、記憶部８に生成条件８ｂとして格納される。この記憶部８に格納されれ生成条件８ｂに基づいて、符号化部１１および復号化部１２は、画像データの符号化および符号化データの復号化を行う。

［ＴＶ会議システムの動作］
次に、図６を参照して、本実施の形態に係るＴＶ会議システムの全体の動作について説明する。

端末装置２ａと端末装置２ｂとがＴＶ会議を行う場合、それぞれは、制御部９のＴＶ会議部１３により、サーバ１を介して互いの通信を確立した後、交渉部１４により、ネゴシエーション動作を行う（ステップＳ１）。

本実施の形態においては、図７（ａ）に示すように、ＴＶ会議への参加人数に基づいて生成条件を設定する場合を例に説明する。一般に、モニタ６ｂに表示される各ユーザの動画像のサイズは、ＴＶ会議への参加人数の増加に伴って小さくなる。このため、参加人数が多数の場合には、符号化データを復号化する際にピクチャを間引く、すなわち特定ピクチャのみを復号化させたとしても、画質の低下による人間の目に対する影響は少ないものと考えられる。そこで、図７（ａ）に示すように、参加人数が１〜４人のときは３フレーム毎、５〜８人のときは５フレーム毎、９〜１２人のときは７フレーム毎、１３〜１６人のときは９フレーム毎というように、ＴＶ会議への参加人数の増加に伴って特定ピクチャの出現頻度を低くする、言い換えると間引くピクチャの数量を増やすように生成条件を設定する。このように、ＴＶ会議への参加人数に応じて特定ピクチャの頻度を変更することにより、端末装置２の演算負荷を低減させることができる。また、演算負荷が低減されるので、動画像をより円滑に再生することができる。さらに、人間の目に対して、動画像がより円滑に再生されているように見せることができる。

なお、生成条件は、例えば図７（ｂ）に示すように、相手の端末装置２の性能に基づいて設定するようにしてもよい。ＣＰＵの演算処理能力が低い、メモリの容量が少ないなど、端末装置２の性能が低い場合には、符号化データのデータ量が多いと、データ処理に時間がかかり、動画像が円滑に表示されない場合がある。そこで、図７（ｂ）の場合、相手の端末装置２の性能が高いときは３フレーム毎、性能が中程度のときは６フレーム毎、低いときは９フレーム毎というように、相手の端末装置２の性能が低いほど特定ピクチャの出現頻度が低くする、言い換えると、間引くピクチャの数量が多くなるように生成条件を設定する。このように、相手の端末装置２の性能に応じて特定ピクチャの出現頻度を変更することにより、端末装置２の演算負荷を低減させることができる。また、演算負荷が低減されるので、動画像をより円滑に再生することもできる。

このような生成条件は、相手側の端末装置２毎に設定される。このとき、相手側の端末装置２に送信する符号化データを生成する際に用いる生成条件と、当該相手側の端末装置２から受信した符号化データを復号化する際に用いる生成条件とは、異なるようにしてもよい。これにより、自身および相手の端末装置２の性能や通信環境に応じた符号化データの送受信を行うことができる。

なお、生成条件は、複数の端末装置２に対して同一の生成条件を設定するようにしてもよい。例えば、相手側の端末装置２ａと端末装置２ｂの性能が等しい場合、それぞれに対してその性能に対応する生成条件により生成した符号化データを送信するようにしてもよい。これにより、符号化部１１の数量を増やさなくて良いので、端末装置２の演算負荷を低減させることができる。

生成条件が設定されると、端末装置２ａと端末装置２ｂは、符号化部１１により当該生成条件に基づいて画像データを符号化して符号化データを生成し、この符号化データの送受信を行う（ステップＳ２）。受信した符号化データは、復号化部１２により復号化され、モニタ６ｂに動画像として表示される。これにより、端末装置２ａと端末装置２ｂとの間のＴＶ会議を行うことが可能となる。このような符号化処理動作および復号化処理動作の詳細については後述する。

なお、符号化データを生成する際、端末装置２ａ，２ｂの符号化部１１は、生成条件に基づいて、特定ピクチャの復号化が必ず可能となるように、各フレームを符号化する。例えば、生成条件によりＩピクチャのフレームを先頭に３フレーム毎に特定ピクチャが出現するように設定された場合、図８に示すような符号化データが生成される。なお、図８において、矩形の中に示す文字は各ピクチャの種類を表し、矢印は各ピクチャが参照する参照ピクチャを示している。例えば、符号ｂのピクチャは、Ｐピクチャであって、符号ａのＩピクチャを参照していることを意味する。このような図８に示す符号化データでは、先頭のＩピクチャから３フレーム毎に出現する符号ｄ，ｇ，ｊのＰピクチャは、それぞれ参照ピクチャが符号ａ，ｄ，ｇのピクチャとなっている。したがって、この符号化データを受信した端末装置２により、生成条件に基づいて特定ピクチャ以外のピクチャが間引かれたとしても、特定ピクチャの参照ピクチャは間引かれないので、特定ピクチャを正常に復号化することができる。

また、符号化データを復号化する際、端末装置２ａ，２ｂの復号化部１２は、装置の性能やＴＶ会議の参加人数等に応じて、生成条件を用いて復号化するか否かを判断する。

例えば、装置の性能が低かったり、図５の符号ｙで示すように小さな画面に表示したりする場合、復号化部１２は、生成条件に基づいて符号化データを復号化する。例えば、図８に示す符号化データのように、生成条件により３フレーム毎に特定ピクチャが出現するように設定された場合、端末装置２ａ，２ｂは、その特定ピクチャのみを復号化する。このとき、特定ピクチャは、図８に示すように、参照ピクチャが特定ピクチャであって必ず復号化されるため、正常に復号化することができる。

一方、装置の性能が高かったり、図５の符号ｘで示すように発言者の端末装置２からの動画像をモニタ６ｂに大きく表示したりする場合、復号化部１２は、生成条件を用いずに、すなわちピクチャを間引かずに符号化データを復号化する。これにより、モニタ６ｂに高画質な動画像を再生することができる。

このような端末装置２ａ，２ｂにより行われているＴＶ会議に端末装置２が参加したい場合、端末装置２は、制御部９のＴＶ会議部１３により、サーバ１を介して端末装置２ａ，２ｂに対してＴＶ会議への参加を要請する旨を示す参加通知を送信する（ステップＳ３，Ｓ４）。

参加通知が送信されると、端末装置２ａ〜２ｃそれぞれの間で、ステップＳ２で説明したのと同等のネゴシエーション動作が行われる（ステップＳ５〜Ｓ７）。このネゴシエーション動作が行われると、端末装置２ａ〜２ｃは、ネゴシエーション動作により設定された生成条件に基づいて符号化データを生成し、これをそれぞれの間で送受信する（ステップＳ８〜Ｓ１０）。

端末装置２ａ〜２ｃでは、他の端末装置２から受信した符号化データを、この符号化データの作成に用いた生成条件に基づいて、または生成条件を用いずに復号化して画像データを生成し、これを図５に示すようにモニタ６ｂに表示させることにより、端末装置２ａ〜２ｃによるＴＶ会議が可能となる。

［符号化処理動作］
次に、図３を参照して符号化部１１による符号化処理動作について説明する。この符号化は、イントラ予測符号化および動き補償予測符号化の２種類がある。これらは、生成条件に基づいてスイッチ１２２により切り替えがなされる。ここではまず始めにイントラ予測符号化について説明する。

（イントラ予測符号化）
イントラ予測符号化とは、基本的には１枚のフレーム内において圧縮符号化を行うものである。具体的には、画像処理部６から入力されたフレームは、ＤＣＴ部１１２に入力されて周波数変換されたのち、量子化部１１３で量子化され、符号化データ出力部１２３で可変長符号化が施される。これにより、Ｉピクチャが出力される。

なお、量子化部１１３から出力される残差データは、逆量子化部１１４およびＩＤＣＴ部１１５により逆量子化および逆周波数変換が順次施され、デブロッキングフィルタ１１７により符号化を行う際に生じたブロック歪を緩和するための処理が行われたのち、再構成画像データとしてフレームメモリ１１９に格納される。

（動き補償予測符号化）
動き補償予測符号化とは、基本的には他のフレーム（参照フレーム）からの変化を符号化するものである。具体的には、画像処理部６からフレームが入力されると、動き検出部１２０は、入力されたフレームとフレームメモリ１１９に格納された再構成画像データとに基づいて、動きベクトルを検出する。

このとき、動き検出部１２０は、交渉部１４により設定された生成条件に基づいて再構成画像データを選択する。具体的には、符号化するフレームが、生成条件により必ず復号化が可能な特定ピクチャとして符号化するように設定されている場合、Ｉピクチャまたは端末装置２で必ず復号化されるフレームに相当する再構成画像データをフレームメモリ１１９から抽出する。例えば、図８において、符号ｂ，ｃ，ｅ，ｆ，ｈ，ｉ，ｋ，ｌのピクチャに対応するフレームは、特定ピクチャとして符号化するように設定されていないので、適宜自由に設定した参照ピクチャに基づいて符号化される。一方、符号ｄ，ｇ，ｊのピクチャに対応するフレームは、特定ピクチャとして符号化するように設定されているので、Ｉピクチャまたは特定ピクチャを参照ピクチャとして符号化される。これにより、特定ピクチャが参照するピクチャは、Ｉピクチャまたは受信側の端末装置２で必ず復号化されるピクチャとなる。

動き補償予測部１１８は、動き検出部１２０により検出された動きベクトルと、生成条件により特定されるフレームメモリ１１９に格納された再構成画像データとに基づいて、予測画像データを生成する。差分演算部１１１は、入力されたフレームと予測画像データとの差分をとり、差分画像データを生成する。この差分画像データは、ＤＣＴ部１１２に入力されて周波数変換されたのち、符号化データ出力部１２３で可変長符号化が施される。これにより、ＰピクチャやＢピクチャが出力される。

なお、量子化部１１３から出力される残差データは、逆量子化部１１４およびＩＤＣＴ部１１５により逆量子化および逆周波数変換が順次施され、加算演算部１１６により予測画像データが加算され、デブロッキングフィルタ１１７により符号化を行う際に生じたブロック歪を緩和するための処理が行われたのち、再構成画像データとしてフレームメモリ１１９に格納される。

上述したようなＨ．２６４規格に基づいて生成された符号化データは、一般にＮＡＬユニットと呼ばれる構成を有する。このＮＡＬユニットは、図９に示すように、ＮＡＬヘッダとＲＢＳＰ(Raw Byte Sequence Payload)とから構成される。ＮＡＬヘッダは、固定ビットと、参照ピクチャかであるか否かを示すフラグからなるnal_ref_idoと、ＮＡＬユニットの種類を示す識別子からなるnal_unit_typeとから構成される。また、ＲＢＡＰは、圧縮データからなるスライスデータと、このスライスデータに関するヘッダ情報からなるスライスヘッダとから構成される。このスライスヘッダは、参照ピクチャが何れのピクチャであるかを識別することができる。

このように、本実施の形態によれば、生成条件に基づいて符号化データが生成されるので、受信側の端末装置２で当該生成条件に基づいて符号化データを復号化することにより、特定ピクチャ以外のピクチャを間引いた動画像を再生することが可能となる。

［復号化処理動作］
次に、図４を参照して復号化部１２による符号化データの復号化処理動作について説明する。

まず、入力された符号化データは、選択部１５０により、端末装置２の性能、ＴＶ会議の参加人数、発言者か否か等に応じて、ピクチャを間引いて復号化するか全てのピクチャを復号化するかが判断される。ピクチャを間引いて復号化を行う場合、選択部１５０の判別部１５２により生成条件に基づいて各ピクチャが判別され、この判別結果に基づいて出力部１５１により復号化されるピクチャ、すなわちＩピクチャまたは特定ピクチャのみが選択的に出力される。一方、ピクチャを間引かずに復号化する場合、選択部１５０の出力部１５１により、受信した符号化データの全てのピクチャが出力される。このような選択部１５０によるピクチャの選択動作の詳細については後述する。

出力されたピクチャに対する復号化は、イントラ予測復号化および動き補償予測復号化の２種類がある。これらは、スイッチ１３９によって切り替えがなされる。ここではまず始めにイントラ予測復号化について説明する。

（イントラ予測復号化）
イントラ予測復号化は、Ｉピクチャのみから元のフレームを復元するものである。選択部１５０により選択されたＩピクチャは、復号化部１３１により可変長変換され、逆量子化部１３２およびＩＤＣＴ部１３３により逆量子化と逆周波数変換が順次施されたのち、デブロッキングフィルタ１３５により復号化を行う際に生じたブロック歪みが緩和され、フレームとして出力される。このフレームは、フレームメモリ１３６にも格納される。このようにＩピクチャは、他のピクチャを参照することなく復号化される。

（動き補償予測復号化）
次に、動き補償予測復号化について説明する。この動き補償予測復号化は、参照ピクチャと動きベクトルから元のフレームを復元するものである。選択部１５０からピクチャが入力されると、このピクチャは、復号化部１３１により可変長変換され、逆量子化部１３２およびＩＤＣＴ部１３３により逆量子化と逆周波数変換が順次施され、残差復号化データとして出力される。このとき、動き補償予測部１３７では、フレームメモリ１３６に格納されたフレームに基づいて予測画像データが生成される。上述したように生成された残差符号化データと予測画像データとは、加算演算部１３４により加算され、デブロッキングフィルタ１３５により復号化を行う際に生じたブロック歪みが緩和されることにより、フレームとして出力される。このフレームは、フレームメモリ１３６にも格納される。

このように、本実施の形態によれば、生成条件に基づいて符号化データを復号化することにより、所定のピクチャを間引いた動画像を再生することが可能となり、結果として、演算負荷を低減させることができるとともに、動画像をより円滑に再生することができる。

［ピクチャ選択動作］
次に、図１０を参照して、選択部１５０による復号化するピクチャの選択動作について説明する。

まず、選択部１５０は、符号化データを受信すると（ステップＳ１１）、判別部１５２の復号化判別部１５２ａにより、ピクチャを間引いて復号化するか、または、全てのピクチャを復号化するかを選択する（ステップＳ１２）。

例えば、装置の性能が高かったり、ＴＶ会議の参加人数が少なかったり、図５の符号ｘで示すように発言者の端末装置２からの動画像をモニタ６ｂに大きく表示したりするような場合、復号化判別部１５２ａは、全てのピクチャを復号化すると判定し（ステップＳ１２：ＹＥＳ）、出力部１５１により受信した符号化データの全てのピクチャを復号化部１３１に出力させる（ステップＳ１６）。これにより、復号化部１２からは、符号化データの全てのピクチャが復号化された動画像が出力される。

一方、装置の性能が低かったり、ＴＶ会議の参加人数が多かったり、図５の符号ｙで示すように小さな画面に表示したりするような場合、復号化判定手段１５２ａは、ピクチャを間引いて復号化すると判定し（ステップＳ１２：ＮＯ）、Ｉピクチャ判別部１５２ｂにより、入力されたピクチャ（以下、「入力ピクチャ」という）がＩピクチャであるか否かを判別させる（ステップＳ１３）。この判別は、図６を参照して説明したＮＡＬユニットにおけるＮＡＬヘッダのnal_unit_typeを参照することにより行われる。

入力ピクチャがＩピクチャである場合（ステップＳ１３：ＹＥＳ）、Ｉピクチャ判別部１５２ｂは、その入力ピクチャを復号化するピクチャとして選択し、出力部１５１から出力させる（ステップＳ１６）。その結果、本実施の形態では、Ｉピクチャは全て復号化される。

一例として、図８の符号化データの場合、符号ａのピクチャがＩピクチャである。したがって、Ｉピクチャ判別部１５２ｂは、符号ａのピクチャを符号化するピクチャとして選択し、出力部１５１から出力させる。これにより、図１１に示すように、符号ａのピクチャに基づくフレームが生成される。なお、図１１において、上段の矩形は図８に対応する符号化データの各ピクチャを、これらのピクチャと矢印でそれぞれ結ばれた下段の矩形は復号化部１２から出力されるフレームを表しており、人の絵のフレームは復号すると選択されたピクチャに対応するフレーム、「×」が記されたフレームは破棄すると選択されたピクチャに対応するフレームを意味する。

一方、入力ピクチャがＩピクチャではない場合（ステップＳ１３：ＮＯ）、判別部１５２は、特定ピクチャ判別部１５２ｃにより入力ピクチャが特定ピクチャであるか否かを判別する（ステップＳ１４）。特定ピクチャ判別部１５２ｃは、生成条件８ｂを参照して、入力ピクチャが特定ピクチャであるか否かを判別する。

入力ピクチャが特定ピクチャではない場合（ステップＳ１４：ＮＯ）、特定ピクチャ判別部１５２ｃは、入力ピクチャを復号化するピクチャとして選択しない、すなわち破棄するピクチャとして選択し、出力部１５１から出力させない（ステップＳ１５）。このように、本実施の形態では、特定ピクチャ以外のピクチャを破棄することにより、画質の低下を抑えながら、復号化するピクチャの数量を減少させることができるので、端末装置２の演算負荷を低減させることができる。

例えば、図８の符号化データは、３フレーム毎に特定ピクチャが出現するように設定されている。したがって、特定ピクチャ判別部１５２ｃは、符号ｂ，ｃ，ｅ，ｆ，ｈ，ｉ，ｋ，ｌのピクチャを破棄するピクチャとして選択し、出力部１５１から出力させない。これにより、図１１に示すように、符号ｂ，ｃ，ｅ，ｆ，ｈ，ｉ，ｋ，ｌのピクチャに基づくフレームが生成されない。

入力ピクチャが特定ピクチャである場合（ステップＳ１４：ＹＥＳ）、特定ピクチャ判別部１５２ｃは、入力ピクチャを復号化するピクチャとして選択し、出力部１５１から出力させる（ステップＳ１６）。このように、本実施の形態では、特定ピクチャのみを復号化させることにより、復号化するピクチャの数量を減少させることができるので、端末装置２の演算負荷を低減させることができる。また、特定ピクチャは、参照ピクチャが破棄されないので、必ず復号化することが可能であるため、動画像の再生をより円滑に行うことができる。

例えば、図８に示す符号化データは、３フレーム毎に特定ピクチャが出現するように設定されている。したがって、特定ピクチャ判別部１５２ｃは、符号ｄ，ｇ，ｊのピクチャを復号化するピクチャとして選択し、出力部１５１から出力させる。これにより、図１１に示すように、符号ｄ，ｇ，ｊのピクチャに基づくフレームが生成される。

なお、図１２に示すように、Ｉピクチャが不規則に出現する場合、特定ピクチャ判別部１５２ｃは、Ｉピクチャの出現に基づいて特定ピクチャを検出するようにしてもよい。例えば、生成条件により３フレーム毎に特定ピクチャが出現するように設定された場合、図１２に示すようにＩピクチャの出現する度にピクチャをカウントし直す。このようにすることにより、Ｉピクチャと特定ピクチャを確実に復号化することができる。なお、図１２において、上段の矩形は符号化データの各ピクチャを、これらのピクチャと矢印でそれぞれ結ばれた下段の矩形は復号化部１２から出力されるフレームを表しており、「○」が記されたフレームは復号化すると選択されたピクチャに対応するフレームを意味する。

このような選択動作によって選択部１５０から出力されたピクチャは、復号化部１３１に入力されて復号化部１２の各構成要素によって復号化されることにより、最終的にフレームとして出力される。

図１１に示すような選択部１５０による選択結果が出力され、選択されたピクチャに対して復号化部１２により復号化が行われると、復号化部１２のフレームメモリ１３６には、図１２（ａ）〜（ｄ）に示すようにフレームが格納される。

すなわち、選択部１５０により、まず符号ａのピクチャが復号化するピクチャとして選択されると、この符号ａのピクチャは、復号化部１２の他の構成要素により復号化され、図１２（ａ）に示すように、フレームメモリ１３６に格納される。

次に、選択部１５０により符号ｄのピクチャが選択されると、この符号ｄのピクチャは、復号化部１２の他の構成要素により復号化される。このとき、符号ｄのピクチャの参照ピクチャである符号ａのピクチャのフレームは、図１２（ａ）に示すようにフレームメモリ１３６に格納されているので、復号化部１２は、フレームメモリ１３６を参照することにより、符号ｄのピクチャを復号化することが可能となる。このようにして生成された符号ｄのフレームは、図１２（ｂ）に示すように、符号ａのフレームとともにフレームメモリ１３６に格納される。

同様に、選択部１５０により符号ｇ，ｊのピクチャが選択されると、この符号ｇ，ｊのピクチャは、フレームメモリ１３６を参照して復号化部１２の他の構成要素により復号化され、図１２（ｃ）、（ｄ）に示すように、フレームメモリ１３６に格納される。

復号化を行う際、参照ピクチャが破棄されていると、入力ピクチャを十分な品質で復号化することができない上に演算負荷が大きくなる。しかしながら、本実施の形態では、参照するピクチャが必ず復号化されるように生成条件が設定されており、上述したように、参照ピクチャのフレームが必ずフレームメモリ１３６に格納される。したがって、動画像をより円滑に再生することができるとともに、端末装置２の演算負荷を低減させることができる。

以上説明したように、本実施の形態によれば、他の端末装置２と符号化データの生成条件を設定し、この生成条件に基づいて画像データを符号化して符号化データを作成し、他の端末装置２から受信する、生成条件に基づいて符号化された符号化データを、当該生成条件に基づいて復号化することにより、特定ピクチャを確実に復号化することが可能となるため、結果として、演算負荷を低減させるとともに動画像をより円滑に再生することができる。

なお、本実施の形態では、Ｉピクチャ判別部１５２ｃを設けてＩピクチャを判別するようにしたが、Ｉピクチャ判別部１５２ｃを設けないようにしてもよい。この場合、生成条件において、Ｉピクチャをも含めて特定ピクチャを設定するようにすればよい。

また、本実施の形態では、ネゴシエーション動作により生成条件を生成するようにしたが、ネゴシエーション動作を行わずに生成条件を生成するようにしてもよい。例えば、受信した符号化データを記憶部８に記憶し、この記憶された符号化データのデータ構成、すなわちピクチャの配列および参照ピクチャを解析することにより、特定ピクチャの出現順を検出し、これに基づいて生成条件を生成するようにしてもよい。このようにしても、特定ピクチャのみを確実に復号化することが可能となるため、結果として、演算負荷を低減させるとともに動画像をより円滑に再生することができる。

また、本実施の形態において、例えば図８，図１１等に示したように符号化データがＩピクチャとＰピクチャとから構成されるものとして説明したが、符号化データがＩピクチャ、ＰピクチャおよびＢピクチャから構成されていてもよいことは言うまでもない。この場合、例えば、Ｂピクチャについても先に入力された所定のピクチャおよび参照ピクチャが復号化されているか否かに基づいて復号化するか否かを決定することにより、端末装置２の演算負荷を低減させるとともに、動画像をより円滑に再生することができる。

また、復号化部１２から出力されるフレームに基づく動画像は、符号化データのピクチャ全てを復号化した画像データに基づく動画像のフレームレートと同じフレームレートで再生されるようにしてもよい。この場合、破棄されたピクチャに対応するフレームには、このフレームの前に正常に再生されたフレームを表示し続けるようにすればよい。これにより、動画像をより円滑に再生することができる。

本発明は、符号化されたデータを復号化する各種装置に適用することができる。

本発明に係るＴＶ会議システムの構成を模式的に示す図である。 端末装置の構成を示すブロック図である。 符号化手段の構成を示すブロック図である。 復号化手段の構成を示すブロック図である。 ＴＶ会議システムにおける端末装置のモニタの表示例を示す図である。 本発明に係るＴＶ会議システムの全体の動作を模式的に示す図である。 生成条件を模式的に示す図である。 符号化データの一例を模式的に示す図である。 ＮＡＬユニットの構成を模式的に示す図である。 復号化するピクチャの選択動作を示すフローチャートである。 図８の復号化データに対する復号化するピクチャの選択動作の結果を模式的に示す図である。 符号化データの他の構成を示す図である。 （ａ）〜（ｄ）は、図１１の選択結果により復号化されたピクチャを格納したフレームメモリの状態を模式的に示す図である。

符号の説明

１…サーバ、２，２ａ，２ｂ，２ｎ…端末装置、３…通信回線、４…外部Ｉ／Ｆ部、５…操作入力部、６…画像処理部、６ａ…カメラ、６ｂ…モニタ、７…音声処理部、７ａ…マイク、７ｂ…スピーカ、８…記憶部、８ａ…制御データ、８ｂ…生成条件、８ｃ…プログラム、９…制御部、１１…符号化部、１２…復号化部、１３…ＴＶ会議部、１１１…差分演算部、１１２…ＤＣＴ部、１１３…量子化部、１１４…逆量子化部、１１５…ＩＤＣＴ部、１１６…加算演算部、１１７…デブロッキングフィルタ、１１８…動き補償予測部、１１９…フレームメモリ、１２０…動き検出部、１２１…イントラ予測部、１２２…スイッチ、１２３…符号化データ出力部、１３１…復号化部、１３２…逆量子化部、１３３…ＩＤＣＴ部、１３４…加算演算部、１３５…デブロッキングフィルタ、１３６…フレームメモリ、１３７…動き補償予測部、１３８…イントラ予測部、１３９…スイッチ、１５０…選択部、１５１…出力手段、１５２…判別部、１５２ａ…復号化判別部、１５２ｂ…Ｉピクチャ判別部、１５２ｃ…特定ピクチャ判別部。

Claims (5)

1. 他の装置との間で、符号化された連続する複数のピクチャを含む符号化データを送受信する情報処理装置であって、
   前記他の装置との間で符号化データの生成条件を設定する設定手段と、
   当該生成条件に基づいて、画像データを符号化して符号化データを生成する符号化手段と、
   前記他の装置から受信する、生成条件に基づいて符号化された符号化データを、当該生成条件に基づいて復号化する復号化手段と
   を備えることを特徴とする情報処理装置。
2. 前記生成条件は、復号化するピクチャを特定し、
   前記符号化手段は、前記生成条件に基づいて、生成する符号化データの各ピクチャが参照するピクチャを決定する
   ことを特徴とする請求項１記載の情報処理装置。
3. 他の装置に対して、符号化された連続する複数のピクチャを含む符号化データを送信する情報処理装置であって、
   前記他の装置との間で符号化データの生成条件を設定する設定手段と、
   前記生成条件に基づいて、画像データを符号化して符号化データを生成する符号化手段と
   を備えることを特徴とする情報処理装置。
4. 他の装置から、符号化された連続する複数のピクチャを含む符号化データを受信する情報処理装置であって、
   前記他の装置との間で符号化データの生成条件を設定する設定手段と、
   前記他の装置から受信する、前記生成条件に基づいて符号化された符号化データを、前記生成条件に基づいて復号化する復号化手段と
   を備えることを特徴とする情報処理装置。
5. 他の装置との間で、符号化された連続する複数のピクチャを含む符号化データを送受信する情報処理方法であって、
   前記他の装置との間で符号化データの生成条件を設定する設定ステップと、
   当該生成条件に基づいて、画像データを符号化して符号化データを生成する符号化ステップと、
   前記他の装置から受信する、生成条件に基づいて符号化された符号化データを、当該生成条件に基づいて復号化する復号化ステップと
   を有することを特徴とする情報処理方法。

Images