JP2008199109A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】演算負荷を低減させるとともに動画像の画像を向上させることができる情報処理装置および情報処理方法を提供する。
【解決手段】入力ピクチャがＩピクチャではない場合（ステップＳ２：ＮＯ）、入力ピクチャより先に入力されたピクチャが復号化されているか否かが判別され（ステップＳ３）、直前のピクチャが復号化されていると（ステップＳ３：ＹＥＳ）、入力ピクチャを復号化するピクチャとして選択されない、すなわち破棄するピクチャとして選択される（ステップＳ５）。これにより、復号化するピクチャの数量を減少させることができるので、端末装置の演算負荷を低減させることができる。
【選択図】 図７

Description

本発明は、動画圧縮技術に関するものであり、より詳しくは符号化された動画像のデータを復号化する情報処理装置および情報処理方法に関するものである。

近年、例えばＴＶ会議システムなど複数の端末装置間でそれぞれが撮影した動画像を相互に視聴可能なシステムが提案されている。このようなシステムにおいて、各端末装置は、自装置で撮影した動画像を他の端末装置に送信するとともに、他の端末装置から送られてきた複数の動画像を同一画面に表示する。これにより、各端末装置のユーザは、他の端末装置のユーザの動画像を見ながら会話等を行うことが可能となる。

このようなシステムでは、通信負荷を軽減するために、送受信する動画像に対して符号化が行われる。例えば、Ｈ．２６４またはＭＰＥＧ−４と呼ばれる動画圧縮技術（例えば、非特許文献１参照。）を用いると、動画像は、空間的に符号化されるＩピクチャ、および、他のピクチャを参照して符号化されるＰピクチャまたはＢピクチャから構成される複数の連続したピクチャからなる画像データ（以下、符号化データという）に符号化される。この符号化データは、受信側の端末装置で復号化されることにより、動画像として再生することが可能となる。

上記システムにおいて、動画像の符号化および符号化データの復号化は、各端末装置に実装されたソフトウェアにより行われる。このため、例えば３，４台程度の少数の端末装置による符号化データの送受信であれば端末装置の動作上の問題はないが、例えば１０台程度など多数の端末装置による符号化データの送受信を行うとなると、各端末装置では同時に送られてくる多数の符号化データを同時に復号化しなければならないので、ＣＰＵにかかる負荷が増大し、結果として動画像が正常に再生されない場合があった。

このような事態を防ぐために、従来では、例えばＩピクチャのみを復号化したり、フレームレートを変更するなど、端末装置における復号化処理にかかる負荷を低減させる方法が提案されている（例えば、特許文献１参照。）。

特開平９−７４５４８号公報 International Telecommunication Union、"ITU-T Recommendation H.264 Advanced video coding for generic audiovisual services"、［online］、［平成１９年１月２３日検索］、インターネット<http://www.itu.int/rec/T-REC-H.264/en>

しかしながら、Ｉピクチャのみを復号化する方法は、動画像再生時のフレームレートが極端に低くなってしまうので、高画質な動画像を提供するのが困難となる。これを解消するためにＩピクチャの数を増やすと、低ビットレートな環境では復号した際の画質が低くなる。そこで画質を向上させようとすると、ビットレートを上げる必要があるが、ＰピクチャやＢピクチャと比較してＩピクチャはデータ量が大きいので、ネットワーク帯域の多くを占有してしまい他の通信に影響が出てしまう可能性がある。

また、フレームレートを変更する方法は、フレームレートが高いときはよいものの、フレームレートが低いときには、高画質な動画像を再生することが困難となる。

上述したように、従来は、端末装置の演算負荷を低減させるとともに、高画質の動画像を再生することが困難であった。
そこで、本願発明は、演算負荷を低減させるとともに動画像の画像を向上させることができる情報処理装置および情報処理方法を提供することを目的とする。

上述したような課題を解決するために、本発明に係る情報処理装置は、符号化された連続する複数のピクチャを含む符号化データを入力とし、入力されたピクチャがＩピクチャであるか否かを判別し、当該ピクチャがＩピクチャではない場合、当該ピクチャより先に入力された所定の他のピクチャが復号化されているか否かを判別し、前記他のピクチャが復号化されていれば当該ピクチャを出力しない選択手段と、この選択手段から出力されたピクチャを復号化する復号化手段とを備えることを特徴とする。

また、本発明に係る他の情報処理装置は、符号化された連続する複数のピクチャを含む符号化データを入力とし、入力されたピクチャがＩピクチャであるか否かを判別し、当該ピクチャがＩピクチャである場合には当該ピクチャを出力する一方、当該ピクチャがＩピクチャではない場合、当該ピクチャより先に入力された所定の他のピクチャが復号化されているか否かを判別し、前記他のピクチャが復号化されていれば当該ピクチャを出力せず、前記他のピクチャが復号化されていなければ、当該ピクチャが参照すべき参照ピクチャが復号化されているか否かを判別し、前記参照ピクチャが復号化されていれば当該ピクチャを出力し、前記参照ピクチャが復号化されていなければ当該ピクチャを出力しない選択手段と、この選択手段から出力されたピクチャを復号化する復号化手段とを備えたことを特徴とする。

また、本発明に係る情報処理方法は、符号化された連続する複数のピクチャを含む符号化データを入力とし、入力されたピクチャがＩピクチャであるか否かを判別し、当該ピクチャがＩピクチャではない場合、当該ピクチャより先に入力された所定の他のピクチャが復号化されているか否かを判別し、前記他のピクチャが復号化されていれば当該ピクチャを出力しない選択ステップと、この選択ステップにより出力されたピクチャを復号化する復号化ステップとを有することを特徴とする。

また、本発明に係る他の情報処理方法は、符号化された連続する複数のピクチャを含む符号化データを入力とし、入力されたピクチャがＩピクチャであるか否かを判別し、当該ピクチャがＩピクチャである場合には当該ピクチャを出力する一方、当該ピクチャがＩピクチャではない場合、当該ピクチャより先に入力された所定の他のピクチャが復号化されているか否かを判別し、前記他のピクチャが復号化されていれば当該ピクチャを出力せず、前記他のピクチャが復号化されていなければ、当該ピクチャが参照すべき参照ピクチャが復号化されているか否かを判別し、前記参照ピクチャが復号化されていれば当該ピクチャを出力し、前記参照ピクチャが復号化されていなければ当該ピクチャを出力しない選択ステップと、この選択ステップにより出力されたピクチャを復号化する復号化ステップとを有することを特徴とする。

本発明によれば、入力されたピクチャがＩピクチャでない場合に当該ピクチャより先に入力された所定の他のピクチャが復号化されていると、当該ピクチャが復号化されないので、復号化に伴う演算負荷を低減させることができる。また、Ｉピクチャ以外のピクチャを復号化することも可能となるので、動画像の画質を向上させることができる。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、本実施の形態では、ＴＶ会議システムにおける端末装置に本発明を適用した場合を例に説明する。

［ＴＶ会議システムの構成］
図１に示すように、本実施の形態に係るＴＶ会議システムは、サーバ１と、複数の端末装置２ａ〜２ｎとから構成され、それぞれはＬＡＮ(Local Area Network)やインターネット等からなる通信回線３により接続されている。なお、端末装置２ａ〜２ｎは、それぞれ同等の構成を有するので、便宜上、以下端末装置２と言う。

（サーバの構成）
サーバ１は、ＴＶ会議システムを構成する端末装置２ａ〜２ｎの呼制御を行い、端末装置２間の通信を確立する。

（端末装置の構成）
端末装置２は、ＴＶ会議システムを利用するユーザにより用いられる公知のコンピュータから構成される。この端末装置２は、図２に示すように、外部Ｉ／Ｆ部４と、操作入力部５と、画像処理部６と、音声処理部７と、記憶部８と、制御部９とから構成される。

外部Ｉ／Ｆ部４は、通信回路からなり、通信回線３等を介して、サーバ１および他の端末装置２とデータ通信を行い、接続された各装置と各種データをやりとりする。

操作入力部５は、キーボードやマウス等からなり、ユーザの操作を検出して制御部９へ出力する。

画像処理部６は、画像処理回路からなり、カメラ６ａにより取り込まれた動画像を制御部９に入力したり、制御部９から入力された動画像をモニタ６ｂから出力させたりするとともに、階調制御等を行う。

音声処理部７は、信号処理回路からなり、マイク７ａから入力された音声を音声データに符号化して制御部９に出力したり、制御部９から入力された音声データを復号化してスピーカ７ｂから出力したりするとともに、音量制御やエコーキャンセラ等の機能を有する。

記憶部８は、メモリやハードディスクなどの記憶装置からなり、制御データ８ａおよびプログラム８ｂを格納する。ここで、制御データ８ａは、端末装置２の制御に用いる情報である。また、プログラム８ｂは、端末装置２の動作プログラムであり、予め記憶部８に格納される。なお、プログラム８ｂは、ＤＶＤ（Digital Versatile Disk）やＣＤ（Compact disk）等の記録媒体やネットワークを介して記憶部８に格納するようにしてもよい。

制御部９は、ＣＰＵなどのマイクロプロセッサとその周辺回路からなり、記憶部８からプログラム８ｂを読み込んで実行することにより、上記ハードウェアとプログラム８ｂを協働させ、符号化手段１１、復号化手段１２およびＴＶ会議手段１３を実現させる。

符号化手段１１は、Ｈ．２６４規格に基づいて、カメラ６ａおよび画像処理部６により生成された連続する複数のフレーム（画像）を符号化して、連続する複数のピクチャ（符号化された画像）からなる符号化データを生成する。この符号化手段１１は、図３に示すように、符号化手段１１は、差分演算部１１１、ＤＣＴ部１１２、量子化部１１３、逆量子化部１１４、ＩＤＣＴ部１１５、加算演算部１１６、デブロッキングフィルタ１１７、動き補償予測部１１８、フレームメモリ１１９、動き検出部１２０、イントラ予測部１２１、スイッチ１２２および符号化データ出力部１２３を備えている。このような構成を有する符号化手段１１による画像符号化処理動作の詳細については後述する。

復号化手段１２は、外部Ｉ／Ｆ部４を介して他の端末装置２から受信した符号化データを復号化して画像データを生成する。この復号化手段１２は、図４に示すように、選択部１５０、復号化部１３１、逆量子化部１３２、ＩＤＣＴ部１３３、加算演算部１３４、デブロッキングフィルタ１３５、フレームメモリ１３６、動き補償予測部１３７、イントラ予測部１３８およびスイッチ１３９を備えている。このような復号化手段１２は、ＴＶ会議システムのように同時に複数の端末装置２と符号化データのやりとりを行う場合、相手先の端末装置２毎に設けられる。なお、復号化手段１２による復号化処理動作の詳細については後述する。

ＴＶ会議手段１３は、通信回線３および外部Ｉ／Ｆ部４を介して他の端末装置２と符号化データおよび音声データをやりとりすることにより、ＴＶ会議システムを実現するものである。具体的には、まず、サーバ１の呼制御の結果、ＴＶ会議に使用される端末装置２の数量に応じて、復号化手段１２の数量を設定する。また、符号化手段１１により生成された符号化データおよび音声処理部７により生成された音声データを、他の端末装置２それぞれに送信させる。また、他の端末装置２から受信した音声データを、音声処理部７によりスピーカ７ｂから出力させる。また、他の各端末装置２から受信した符号化データを、それぞれ対応する復号化手段１２により復号化させ、生成された各フレームを画像処理部６によりモニタ６ｂ上の所定の位置およびサイズで同時に表示させる。例えば、図５に示すように、発言しているユーザの端末装置２から動画像は、符号ｘで示すように画面の中央に大きく表示させ、他のユーザの端末装置２からの動画像は、符号ｙで示すように小さく表示させるようにしてもよい。このようにすることにより、他の端末装置２のユーザと、それぞれの動画像を見ながらそれぞれと会話を行うことができる。

［符号化処理動作］
次に、図３を参照して符号化手段１１による符号化処理動作について説明する。この符号化は、イントラ予測符号化および動き補償予測符号化の２種類がある。これらは、スイッチ１２２によって切り替えがなされる。ここではまず始めにイントラ予測符号化について説明する。

（イントラ予測符号化）
イントラ予測符号化とは、基本的には１枚のフレーム内において圧縮符号化を行うものである。具体的には、画像処理部６から入力されたフレームは、ＤＣＴ部１１２に入力されて周波数変換されたのち、量子化部１１３で量子化され、符号化データ出力部１２３で可変長符号化が施される。これにより、Ｉピクチャが出力される。

なお、量子化部１１３から出力される残差データは、逆量子化部１１４およびＩＤＣＴ部１１５により逆量子化および逆周波数変換が順次施され、デブロッキングフィルタ１１７により符号化を行う際に生じたブロック歪を緩和するための処理が行われたのち、再構成画像データとしてフレームメモリ１１９に格納される。

（動き補償予測符号化）
動き補償予測符号化とは、基本的には他のフレーム（参照フレーム）からの変化を符号化するものである。具体的には、画像処理部６からフレームが入力されると、動き検出部１２０は、入力されたフレームとフレームメモリ１１９に格納された再構成画像データとに基づいて、動きベクトルを検出する。動き補償予測部１１８は、動きベクトルとフレームメモリ１１９に格納された再構成画像データとに基づいて、予測画像データを生成する。差分演算部１１１は、入力されたフレームと予測画像データとの差分をとり、差分画像データを生成する。この差分画像データは、ＤＣＴ部１１２に入力されて周波数変換されたのち、符号化データ出力部１２３で可変長符号化が施される。これにより、ＰピクチャやＢピクチャが出力される。

なお、量子化部１１３から出力される残差データは、逆量子化部１１４およびＩＤＣＴ部１１５により逆量子化および逆周波数変換が順次施され、加算演算部１１６により予測画像データが加算され、デブロッキングフィルタ１１７により符号化を行う際に生じたブロック歪を緩和するための処理が行われたのち、再構成画像データとしてフレームメモリ１１９に格納される。

上述したようなＨ．２６４規格に基づいて生成された符号化データは、一般にＮＡＬユニットと呼ばれる構成を有する。このＮＡＬユニットは、図６に示すように、ＮＡＬヘッダとＲＢＳＰ(Raw Byte Sequence Payload)とから構成される。ＮＡＬヘッダは、固定ビットと、参照ピクチャかであるか否かを示すフラグからなるnal_ref_idoと、ＮＡＬユニットの種類を示す識別子からなるnal_unit_typeとから構成される。また、ＲＢＡＰは、圧縮データからなるスライスデータと、このスライスデータに関するヘッダ情報からなるスライスヘッダとから構成される。このスライスヘッダは、参照ピクチャが何れのピクチャであるかを識別することができる。

［復号化処理動作］
次に、図４を参照して復号化手段１２による符号化データの復号化処理動作について説明する。

まず、入力された符号化データは、選択部１５０の判別手段１５２により所定の条件により各ピクチャが判別され、この判別結果に基づいて出力手段１５１により復号化されるピクチャのみが選択的に出力される。このような選択部１５０によるピクチャの選択動作の詳細については後述する。

選択されたピクチャに対する復号化は、イントラ予測復号化および動き補償予測復号化の２種類がある。これらは、スイッチ１３９によって切り替えがなされる。ここではまず始めにイントラ予測復号化について説明する。

（イントラ予測復号化）
イントラ予測復号化は、Ｉピクチャのみから元のフレームを復元するものである。選択部１５０により選択されたピクチャは、復号化部１３１により可変長変換され、逆量子化部１３２およびＩＤＣＴ部１３３により逆量子化と逆周波数変換が順次施されたのち、デブロッキングフィルタ１３５により復号化を行う際に生じたブロック歪みが緩和され、フレームとして出力される。このフレームは、フレームメモリ１３６にも格納される。このようにＩピクチャは、他のピクチャを参照することなく復号化される。

（動き補償予測復号化）
次に、動き補償予測復号化について説明する。この動き補償予測復号化は、参照ピクチャと動きベクトルから元のフレームを復元するものである。選択部１５０からピクチャが入力されると、このピクチャは、復号化部１３１により可変長変換され、逆量子化部１３２およびＩＤＣＴ部１３３により逆量子化と逆周波数変換が順次施され、残差復号化データとして出力される。このとき、動き補償予測部１３７では、フレームメモリ１３６に格納されたフレームに基づいて予測画像データが生成される。上述したように生成された残差符号化データと予測画像データとは、加算演算部１３４により加算され、デブロッキングフィルタ１３５により復号化を行う際に生じたブロック歪みが緩和されることにより、フレームとして出力される。このフレームは、フレームメモリ１３６にも格納される。

［ピクチャ選択動作］
次に、図７〜図１０を参照して、選択部１５０による復号化するピクチャの選択動作について説明する。

まず、選択部１５０は、符号化データが入力されると（ステップＳ１）、判別手段１５２により各ピクチャについて復号化するか否かを以下の手順で順次判別する。

判別手段１５２は、Ｉピクチャ判別手段１５２ａにより、入力されたピクチャ（以下、「入力ピクチャ」という）がＩピクチャであるか否かを判別する（ステップＳ２）。この判別は、図６を参照して説明したＮＡＬユニットにおけるＮＡＬヘッダのnal_unit_typeを参照することにより行われる。

入力ピクチャがＩピクチャである場合（ステップＳ２：ＹＥＳ）、Ｉピクチャ判別手段１５２ａは、その入力ピクチャを復号化するピクチャとして選択し、出力手段１５１から出力させる（ステップＳ６）。その結果、本実施の形態では、Ｉピクチャは全て復号化される。

一例として、図８に示す符号ａ〜ｌの連続するピクチャから構成される符号化データに対して、選択部１５０により行われる選択動作ついて説明する。なお、図８において、矩形の中に示す文字は各ピクチャの種類を表し、矢印は各ピクチャが参照する参照ピクチャを示している。例えば、符号ｂのピクチャは、Ｐピクチャであって、符号ａのＩピクチャを参照していることを意味する。

図８の符号化データの場合、符号ａのピクチャと符号ｇのピクチャがＩピクチャである。したがって、Ｉピクチャ判別手段１５２ａは、符号ａと符号ｇのピクチャを符号化するピクチャとして選択し、出力手段１５１から出力させる。これにより、図９に示すように、符号ａと符号ｇのピクチャに基づくフレームが生成される。なお、図９において、上段の矩形は図８に対応する符号化データの各ピクチャを、これらのピクチャと矢印でそれぞれ結ばれた下段の矩形は復号化手段１３から出力されるフレームを表しており、人の絵のフレームは復号すると選択されたピクチャに対応するフレーム、「×」が記されたフレームは破棄すると選択されたピクチャに対応するフレームを意味する。

一方、入力ピクチャがＩピクチャではない場合（ステップＳ２：ＮＯ）、判別手段１５２は、所定ピクチャ判別手段１５２ｂにより入力ピクチャより前の所定の位置に存在するピクチャが復号化されているか否かを判別する（ステップＳ３）。所定ピクチャ判別手段１５２ｂは、フレームメモリ１３６を参照して、入力ピクチャより先に入力されたピクチャ（本実施の形態では直前に存在したピクチャ）が復号化されたか否かを判別する。

直前のピクチャが復号化されている場合（ステップＳ３：ＹＥＳ）、所定ピクチャ判別手段１５２ｂは、入力ピクチャを復号化するピクチャとして選択しない、すなわち破棄するピクチャとして選択し、出力手段１５１から出力させない（ステップＳ５）。このように直前のピクチャが復号化されているのであれば、当該ピクチャの直後のピクチャを破棄したとしても、人間の目には、その違いがほとんど感じられないものと考えられる。したがって、本実施の形態では、直前のピクチャが復号化されている場合、入力ピクチャを破棄することにより、画質の低下を抑えながら、復号化するピクチャの数量を減少させることができるので、端末装置２の演算負荷を低減させることができる。

例えば、図８の符号ｂや符号ｈのピクチャは、直前のピクチャ、すなわち符号ａまたは符号ｇのピクチャが復号化されている。したがって、所定ピクチャ判別手段１５２ｂは、符号ｂと符号ｈのピクチャを破棄するピクチャとして選択し、出力手段１５１から出力させない。これにより、図９に示すように、符号ｂと符号ｈのピクチャに基づくフレームが生成されない。

直前のピクチャが復号化されていない場合（ステップＳ３：ＮＯ）、判別手段１５２は、参照ピクチャ判別手段１５２ｃにより入力ピクチャが参照しているピクチャ（以下、「参照ピクチャ」という）が復号化されているか否かを判別する（ステップＳ４）。上述したように、図６に示すＮＡＬユニットのＲＢＳＰのスライスヘッダには、入力ピクチャの参照ピクチャが何れのピクチャであるかを示す情報が含まれている。したがって、参照ピクチャ判別手段１５２ｃは、ＲＢＳＰのスライスヘッダから入力ピクチャの参照ピクチャを特定し、フレームメモリ１３６から当該参照ピクチャを検索することにより、入力ピクチャの参照ピクチャが符号化されたか否かを判別する。

参照ピクチャが復号化されている場合（ステップＳ４：ＹＥＳ）、参照ピクチャ判別手段１５２ｃは、その入力ピクチャを復号化するピクチャとして選択し、出力手段１５１から出力させる（ステップＳ６）。一方、参照ピクチャが復号化されていない場合（ステップＳ４：ＮＯ）、参照ピクチャ判別手段１５２ｃは、入力ピクチャを復号化するピクチャとして選択しない、すなわち破棄するピクチャとして選択し、出力手段１５１から出力させない（ステップＳ５）。参照するピクチャが破棄されていると、入力ピクチャを十分な品質で復号化することができない上に、演算負荷が大きくなる。このため、本実施の形態では、参照するピクチャが破棄されている場合には、入力ピクチャを破棄することにより、端末装置２の演算負荷を低減させることができる。

例えば、図８に示す符号ｄのピクチャは、直前のピクチャが復号化されていないが、参照する符号ａのピクチャが復号化されている。したがって、参照ピクチャ判別手段１５２ｃは、符号ｄのピクチャを復号化するピクチャとして選択し、出力手段１５１から出力させる。一方、符号ｃのピクチャは、直前のピクチャが復号化されていないとともに、参照するピクチャである符号ｂのピクチャが復号化されていない。したがって、参照ピクチャ判別手段１５２ｃは、符号ｃのピクチャを破棄するピクチャとして選択し、出力手段１５１から出力させない。これにより、図９に示すように、符号ｄのピクチャに基づくフレームが生成される一方、符号ｃのピクチャに基づくフレームが生成されない。

このような選択動作によって選択部１５０から出力されたピクチャは、復号化部１３１に入力されて復号化手段１２の各構成要素によって復号化されることにより、最終的にフレームとして出力される。ここで、図８に示す復号化データに対する選択部１５０による選択結果をまとめると、図９および以下に示す通りとなる。

符号ａのピクチャは、ステップＳ２によりＩピクチャであると判別されるので、出力手段１５１から出力され、復号化される。
符号ｂのピクチャは、ステップＳ３により直前のピクチャが復号化されていると判別されるので、出力手段１５１から出力されない、すなわち破棄される。
符号ｃのピクチャは、ステップＳ４により参照しているピクチャが復号化されていないと判別されるので、出力手段１５１から出力されない、すなわち破棄される。
符号ｄのピクチャは、ステップＳ４により参照しているピクチャが復号化されていると判別されるので、出力手段１５１から出力され、復号化される。
符号ｅのピクチャは、ステップＳ３により直前のピクチャが復号化されていると判別されるので、出力手段１５１から出力されない、すなわち破棄される。
符号ｆのピクチャは、ステップＳ４により参照しているピクチャが復号化されていると判別されるので、出力手段１５１から出力され、復号化される。
符号ｇのピクチャは、ステップＳ２によりＩピクチャであると判別されるので、復号化される。
符号ｈのピクチャは、ステップＳ３により直前のピクチャが復号化されていると判別されるので、出力手段１５１から出力されない、すなわち破棄される。
符号ｉのピクチャは、ステップＳ４により参照しているピクチャが復号化されていると判別されるので、出力手段１５１から出力され、復号化される。
符号ｊのピクチャは、ステップＳ３により直前のピクチャが復号化されていると判別されるので、出力手段１５１から出力されない、すなわち破棄される。
符号ｋのピクチャは、ステップＳ４により参照しているピクチャが復号化されていると判別されるので、出力手段１５１から出力され、復号化される。
符号ｌのピクチャは、ステップＳ３により直前のピクチャが復号化されていると判別されるので、出力手段１５１から出力されない、すなわち破棄される。

このように、符号ａ〜ｌで示すピクチャから構成される符号化データに対して選択部１５０により選択動作が行われると、符号ａ，ｄ，ｆ，ｇ，ｉ，ｋのピクチャのみが復号化される。これにより、復号化されるピクチャの数量が減少するので、端末装置２の演算負荷を低減させることができる。また、Ｉピクチャのみならず、符号ｄ，ｆ，ｉ，ｋのＰピクチャも復号化されるため、Ｉピクチャのみを復号化する場合よりも画質を向上させることができる。さらに、参照するピクチャが存在しない符号ｃが復号化されないので、画質の低下を防ぐことができるとともに、演算負荷を低減させることができる。

図９に示すような選択部１５０による選択結果が出力され、選択されたピクチャに対して復号化手段１２により復号化が行われると、復号化手段１２のフレームメモリ１３６には、図１０（ａ）〜（ｆ）に示すようにフレームが格納される。なお、図１０において、符号ｇのフレームに対応するピクチャはＩＤＲ(Instantaneous Decoding Refresh)ピクチャであるものとする。

すなわち、図１０（ａ）〜（ｃ）に示すように、選択部１５０により符号ａ，ｄ，ｆのピクチャが復号化するピクチャとして選択されると、復号化手段１２の他の構成要素により各ピクチャが順次復号化され、対応するフレームがフレームメモリ１３６に格納される。

しかしながら、選択部１５０により符号ｇのピクチャが復号化するピクチャとして選択されると、その符号ｇのピクチャはＩＤＲ(Instantaneous Decoding Refresh)ピクチャであるため、フレームメモリ１３６から符号ａ，ｄ，ｆのフレームがクリアされ、符号ｇのフレームのみが格納される。

次いで、選択部１５０により符号ｇ，ｉのピクチャが復号化するピクチャとして選択されると、復号化手段１２の他の構成要素により順次復号化され、対応するフレームが符号ｇのフレームとともにフレームメモリ１３６に格納される。

このように、選択部１５０により選択されたピクチャのみが復号化されるので、フレームメモリ１３６に格納するピクチャの数量を減らすことができる。これにより、復号化手段１２、特にデブロッキングフィルタ１３５や動き補償予測部１３７の動作を低減させることが可能となり、結果として、端末装置２の演算負荷を低減させることができる。また、このようなフレームメモリ１３６を参照することにより、判別手段１５２の所定ピクチャ判別手段１５２ｂおよび参照ピクチャ判別手段１５２ｃの動作を実現することができる。

以上説明したように、本実施の形態によれば、入力されたピクチャがＩピクチャであるか否かを判別し、当該ピクチャがＩピクチャではない場合、当該ピクチャより先に入力された所定の他のピクチャが復号化されているか否かを判別し、当該他のピクチャが復号化されていれば当該ピクチャを出力しないことにより、復号化に伴う演算負荷を低減させることができる。また、Ｉピクチャ以外のピクチャを復号化することが可能となるので、結果として、画質を向上させることができる。

ＴＶ会議システムのように同時に複数の端末装置２と符号化データのやりとりを行う場合、復号化手段１２は、通信相手となる端末装置２毎に設けられる。復号化手段１２は、ＣＰＵがプログラム８ｂを読み込んで実行することにより実現されるものなので、相手先の端末装置２の数量が増えるのに伴って復号化手段１２の数量も増えるため、ＣＰＵの演算負荷も増大することとなる。このため、本実施の形態では、受信した符号化データの中から選択部１５０により所定のピクチャのみを選択的に復号化させることにより、各復号化手段１２の処理を減らすことが可能となり、結果として、端末装置２のＣＰＵの演算負荷を低減させることができる。

なお、本実施の形態において、例えば図８，図９等に示したように符号化データがＩピクチャとＰピクチャとから構成されるものとして説明したが、符号化データがＩピクチャ、ＰピクチャおよびＢピクチャから構成されていてもよいことは言うまでもない。この場合、例えば、Ｂピクチャについても先に入力された所定のピクチャおよび参照ピクチャが復号化されているか否かに基づいて復号化するか否かを決定することにより、端末装置２の演算負荷を低減させるとともに、動画像の画質を向上させることができる。

また、本実施の形態において、所定ピクチャ判別手段１５２ｂは、入力ピクチャの直前のピクチャが復号化されているか否かを識別するようにしたが、識別するピクチャはこれに限定されず、例えば、所定数前のピクチャや所定数前から直前までのピクチャなど適宜自由に設定することができる。

また、図５において、符号ｘで示す表示面積が大きな動画像を再生する端末装置２からの符号データについては、全てのピクチャを復号化するようにしてもよい。復号化したフレームを大きな表示面積で表示させる符号化データと、復号化したフレームを小さな表示面積で表示させる符号化データとを、同じ条件で復号化するピクチャを選択すると、表示面積が大きい方が表示面積が小さい方よりも画質が低いと感じることがある。このため、表示面積が大きい符号化データについては、全てのピクチャを復号化させる。これにより、ユーザ体感品質を向上させることができる。このとき、表示面積が小さい符号化データについては、上述したような方法により、復号化させるピクチャを選択させる。これにより、端末装置２の演算負荷を低減させることができる。

また、復号化手段１２から出力されるフレームに基づく動画像は、符号化データのピクチャ全てを復号化した画像データに基づく動画像のフレームレートと同じフレームレートで再生されるようにしてもよい。この場合、破棄されたピクチャに対応するフレームには、このフレームの前に正常に再生されたフレームを表示し続けるようにすればよい。これにより、動画像を円滑に再生することができる。

本発明は、符号化されたデータを復号化する各種装置に適用することができる。

本発明に係るＴＶ会議システムの構成を示す模式的に示す図である。 端末装置の構成を示すブロック図である。 符号化手段の構成を示すブロック図である。 復号化手段の構成を示すブロック図である。 ＴＶ会議システムにおける端末装置のモニタの表示例を示す図である。 ＮＡＬユニットの構成を模式的に示す図である。 復号化するピクチャの選択動作を示すフローチャートである。 復号化データの一例を模式的に示す図である。 図８の復号化データに対する復号化するピクチャの選択動作の結果を模式的に示す図である。 （ａ）〜（ｆ）は、図９の選択結果により復号化されたピクチャを格納したフレームメモリの状態を模式的に示す図である。

符号の説明

１…サーバ、２，２ａ，２ｂ，２ｎ…端末装置、３…通信回線、４…外部Ｉ／Ｆ部、５…操作入力部、６…画像処理部、６ａ…カメラ、６ｂ…モニタ、７…音声処理部、７ａ…マイク、７ｂ…スピーカ、８…記憶部、８ａ…制御データ、８ｂ…プログラム、９…制御部、１１…符号化手段、１２…復号化手段、１３…ＴＶ会議手段、１１１…差分演算部、１１２…ＤＣＴ部、１１３…量子化部、１１４…逆量子化部、１１５…ＩＤＣＴ部、１１６…加算演算部、１１７…デブロッキングフィルタ、１１８…動き補償予測部、１１９…フレームメモリ、１２０…動き検出部、１２１…イントラ予測部、１２２…スイッチ、１２３…符号化データ出力部、１３１…復号化部、１３２…逆量子化部、１３３…ＩＤＣＴ部、１３４…加算演算部、１３５…デブロッキングフィルタ、１３６…フレームメモリ、１３７…動き補償予測部、１３８…イントラ予測部、１３９…スイッチ、１５０…選択部、１５１…出力手段、１５２…判別手段、１５２ａ…Ｉピクチャ判別手段、１５２ｂ…所定ピクチャ判別手段、１５２ｃ…参照ピクチャ判別手段。

Claims (4)

1. 符号化された連続する複数のピクチャを含む符号化データを入力とし、入力されたピクチャがＩピクチャであるか否かを判別し、当該ピクチャがＩピクチャではない場合、当該ピクチャより先に入力された所定の他のピクチャが復号化されているか否かを判別し、前記他のピクチャが復号化されていれば当該ピクチャを出力しない選択手段と、
   この選択手段から出力されたピクチャを復号化する復号化手段と
   を備えることを特徴とする情報処理装置。
2. 符号化された連続する複数のピクチャを含む符号化データを入力とし、入力されたピクチャがＩピクチャであるか否かを判別し、当該ピクチャがＩピクチャである場合には当該ピクチャを出力する一方、当該ピクチャがＩピクチャではない場合、当該ピクチャより先に入力された所定の他のピクチャが復号化されているか否かを判別し、前記他のピクチャが復号化されていれば当該ピクチャを出力せず、前記他のピクチャが復号化されていなければ、当該ピクチャが参照すべき参照ピクチャが復号化されているか否かを判別し、前記参照ピクチャが復号化されていれば当該ピクチャを出力し、前記参照ピクチャが復号化されていなければ当該ピクチャを出力しない選択手段と、
   この選択手段から出力されたピクチャを復号化する復号化手段と
   を備えたことを特徴とする情報処理装置。
3. 符号化された連続する複数のピクチャを含む符号化データを入力とし、入力されたピクチャがＩピクチャであるか否かを判別し、当該ピクチャがＩピクチャではない場合、当該ピクチャより先に入力された所定の他のピクチャが復号化されているか否かを判別し、前記他のピクチャが復号化されていれば当該ピクチャを出力しない選択ステップと、
   この選択ステップにより出力されたピクチャを復号化する復号化ステップと
   を有することを特徴とする情報処理方法。
4. 符号化された連続する複数のピクチャを含む符号化データを入力とし、入力されたピクチャがＩピクチャであるか否かを判別し、当該ピクチャがＩピクチャである場合には当該ピクチャを出力する一方、当該ピクチャがＩピクチャではない場合、当該ピクチャより先に入力された所定の他のピクチャが復号化されているか否かを判別し、前記他のピクチャが復号化されていれば当該ピクチャを出力せず、前記他のピクチャが復号化されていなければ、当該ピクチャが参照すべき参照ピクチャが復号化されているか否かを判別し、前記参照ピクチャが復号化されていれば当該ピクチャを出力し、前記参照ピクチャが復号化されていなければ当該ピクチャを出力しない選択ステップと、
   この選択ステップにより出力されたピクチャを復号化する復号化ステップと
   を有することを特徴とする情報処理方法。

Images