JP2010136220A - 通信端末装置、通信量制御方法および集積回路 - Google Patents

Abstract

【課題】動画像の符号化により得られるデータのビットレートを所定のビットレート以下に保ちつつ動画像の劣化の度合いを小さくする。
【解決手段】符号化部４１１は動画像を構成する複数のフレームの各々から符号化データを生成する。分割部４１１Ｎは符号化データを分割し、複数のパケットを生成する。通信量監視部４１２は単位時間で生成された複数のパケットに基づいてビットレートを算出する。算出ビットレートが所定のビットレートより大きい場合、パケット制御部４１３は算出ビットレートの算出に使用された複数のパケットの一部を削除する。符号化部４１１が削除されたパケットに対応する符号化データの次の符号化データを生成する場合、次の符号化データから得られるフレームにおいて削除されたパケットに対応するスライスの位置と同じ位置のスライスをイントラスライスとするようにスライス指示部４１４は符号化部４１１を制御する。
【選択図】図４

Description

本発明は、通信端末装置、通信量制御方法および集積回路に関し、特に、動画像を符号化する処理を行う通信端末装置、通信量制御方法および集積回路に関する。

広帯域のインターネット環境の普及に伴って、複数の通信端末装置において、高品質な映像および音声のデータを双方向に送受信するＡＶ（Audio Visual）コミュニケーションサービスが広まってきている。以下においては、映像および音声のデータを、ＡＶデータという。

ここで、通信端末装置Ａが、ＡＶデータを、通信端末装置Ｂへ送信するとする。すなわち、通信端末装置Ａは、データを送信する送信端末であるとする。また、通信端末装置Ｂは、データを受信する受信端末であるとする。また、通信端末装置Ａに映像および音声が入力されてから、当該映像および音声に基づくＡＶデータを通信端末装置Ｂが通信端末装置Ａから受信し、通信端末装置Ｂが受信したＡＶデータに基づく映像および音声を出力するまでに要する時間を遅延時間とする。

この場合、通信端末装置Ａおよび通信端末装置Ｂにおいて、円滑なコミュニケーションを実現するためには、通信端末装置Ａと通信端末装置Ｂとの間で行われる通信における遅延時間を短くしなければならない。もし、遅延時間が長ければ会話が重なったり、通信相手となる通信端末装置からの反応が遅れたりして、スムーズな会話を行うことができない。

また、インターネットは帯域やパケット損失、遅延が保証されないベストエフォート型のネットワークであった。しかしながら、近年、ＮＧＮ（Next Generation Network）と呼ばれる帯域、遅延を保証したネットワークの普及が始まっている。

ＮＧＮは、通信に使用する最大帯域（以下、最大通信帯域という）を通信開始前に予約（設定）することにより、最大通信帯域が保証されたネットワークである。最大通信帯域の設定はＳＩＰ（Session Initiation Protocol）などの通話制御プロトコルを用いて行われる。以下においては、設定された最大通信帯域を、設定通信帯域または設定レートという。

ＮＧＮにおいて、設定通信帯域が設定されると、他の通信の影響を受けず、かつ、設定通信帯域以下のビットレートで通信する場合、パケット損失が発生しない通信を実現できる。また、インターネットのような公衆網を利用するのではなく、他の通信が存在しない専用回線を利用することでも、ＮＧＮと同様の効果を得ることができる。

ネットワークを介したＡＶコミュニケーションを実現するためには、例えば、送信端末としての通信端末装置Ａが、リアルタイムに取得した映像をエンコード処理によって圧縮し、圧縮により得られたデータを分割することにより複数のパケットを生成し、当該複数のパケットをネットワークを介して、受信端末としての通信端末装置Ｂへ送信する。

通信端末装置Ｂは受信した複数のパケットを結合したデータに対しデコード処理を行いプラズマディスプレイのような表示デバイスに表示させる。エンコード処理に用いる符号化方式には、例えば、Ｈ．２６４がある。Ｈ．２６４は複数のフレーム間の動き情報といった依存関係を元にして圧縮効率を高める符号化方式である。Ｈ．２６４ではフレームをスライスという単位で細かく分割し、スライス単位で圧縮を行う。

このスライスにはＩ（Intra）スライスとＰ（Predictive）スライスの２種類が存在する。Ｉスライスとは他のスライスと依存関係がなく、そのスライス単体で含まれた映像を復元することができる。それに対し、Ｐスライスは、対応するフレームより前のフレームのスライスからの差分情報のみを保持しており、Ｐスライス単体では映像を得ることができない。

そのため、Ｐスライスの参照元のスライスが損失した場合、当該Ｐスライスだけを受信したとしてもデコード処理を行うことができず映像の劣化が長引いてしまう。また、Ｈ．２６４と似たような処理を行うＭＰＥＧ４−ＡＶＣなど別の符号化方式を用いてもよい。

Ｈ．２６４によって圧縮した映像をＮＧＮに対してデータを送信する場合、設定レート以下の送信レートでデータを送信すれば損失のない伝送を実現できる。しかしながら、エンコーダはエンコードするビットレートを設定したとしても設定レート通りにエンコードできるとは限らない。

例えば、ＮＧＮの設定レートが８Ｍｂｐｓである場合、エンコーダが動画像を８Ｍｂｐｓでエンコードしようとしたとする。このとき、エンコードの対象となる動画像が、複雑な動画像、または、連続する複数のフレームにおける相関がほとんどない動画像であるとする。この場合、エンコーダは動画像を８Ｍｂｐｓでエンコードしようとしても、８Ｍｂｐｓを上回るレートでエンコード済みのデータを出力する可能性がある。

このとき、エンコーダから出力されたビットレート通りに、データがネットワークに送信された場合、設定通信帯域（設定レート）を超えた分のデータに関しては帯域保証されずパケット損失が発生する。その結果、受信端末としての通信端末装置Ｂから出力される映像に乱れが生じる。

このとき、送信端末としての通信端末Ａがパケット損失を発生させないようにエンコーダから出力されたレートを無視して設定レートと同じレートでデータを送信した場合、通信端末装置Ａ内に送りきれなかったデータが蓄積される。そのため、前述した遅延時間が大きくなり通信端末装置Ａおよび通信端末装置Ｂにおいて、円滑なコミュニケーションが実現できない。

上記課題を解決するために、例えば、特許文献１には、動画像を符号化するエンコーダが設定レートを超えたビットレートの符号化データを出力した場合に、フレームを間引くことで送信レートを設定通信帯域（設定レート）以内に抑える技術（以下、従来技術Ａという）が開示されている。なお、特許文献１の技術では、間引いたフレーム以降のフレームが間引いたフレームと依存関係があった場合、完全なデコードができないために映像が劣化するという問題がある。

特許文献２には、複数のフレームからなる動画像を符号化する場合において、フレームを間引くと同時に次以降のフレームを他のフレームと依存関係のないＩフレームとすることで映像劣化が長時間続くことを回避する技術（以下、従来技術Ｂという）が開示されている。
特開２００６−３４５１６６号公報 特開２００５−２７７９８２号公報

しかしながら、従来技術Ａでは、フレーム単位で間引きを行うため、フレーム間の参照関係が崩れ動画像の画質の劣化の度合いが大きいという問題があった。また、従来技術Ｂでは、フレームのデータ量が大きいＩフレームが頻繁に使用された場合、動画像におけるフレーム毎のデータ量の変化が大きくなる。この場合、エンコーダが動画像を前述した設定レートで符号化するよう設定されていたとしても、符号化後のデータのビットレートが、設定レートを上回ることが多くなるという問題がある。

本発明は、上述の問題点を解決するためになされたものであって、その目的は、動画像の符号化により得られるデータのビットレートを所定のビットレート以下に保ちつつ、動画像の劣化の度合いを小さくすることを可能とする通信端末装置等を提供することである。

上述の課題を解決するために、この発明のある局面に従う通信端末装置は、動画像を構成する複数のフレームを処理する。通信端末装置は、複数のフレームの各々を順次取得する取得部と、取得部によりフレームが取得される毎に、該フレームをスライス単位で符号化する処理であって、連続するフレームの相関を利用した符号化処理を行うことにより、該フレームに対応する符号化データを生成する符号化部と、符号化部により符号化データが生成される毎に、該符号化データを分割することにより複数のパケットを生成する分割部と、分割部により複数のパケットが生成される毎に、該複数のパケットを記憶するパケット蓄積部と、所定の単位時間経過毎に、該所定の単位時間において分割部により生成された複数のパケットに基づいてビットレートを算出し、かつ、算出したビットレートが所定のビットレートより大きいか否かを判定する監視部と、監視部により算出されたビットレートである算出ビットレートが所定のビットレートより大きいと判定された場合、該算出ビットレートを算出するために使用された複数のパケットの一部を選択するパケット制御部とを備える。パケット制御部は、パケット蓄積部に記憶されている複数のパケットのうち、選択したパケットを削除する。符号化部により生成される符号化データは、複数のスライスから構成される。通信端末装置は、さらに、パケット制御部により削除されたパケットに対応する符号化データの次の符号化データを符号化部が生成する場合、次の符号化データから得られるフレームにおいて、削除されたパケットに対応するスライスの位置と同じ位置のスライスを、他のフレームに依存しないイントラスライスとするように、符号化部を制御する指示部を備える。

すなわち、符号化部は、動画像を構成する複数のフレームの各々を符号化することにより符号化データを生成する。分割部は、フレームに対応する符号化データを分割することにより複数のパケットを生成する。監視部は、所定の単位時間において分割部により生成された複数のパケットに基づいてビットレートを算出する。算出したビットレートである算出ビットレートが所定のビットレートより大きい場合、パケット制御部は、算出ビットレートを算出するために使用された複数のパケットの一部を選択し、選択したパケットを削除する。指示部は、削除されたパケットに対応する符号化データの次の符号化データを符号化部が生成する場合、次の符号化データから得られるフレームにおいて、削除されたパケットに対応するスライスの位置と同じ位置のスライスを、イントラスライスとするように符号化部を制御する。

つまり、算出されたビットレートが所定のビットレートより大きい場合であっても、フレームに対応する全てのパケットが削除されることなく、フレーム内の一部に対応するパケットが削除されるのみである。また、この場合、符号化データの次の符号化データを符号化部が生成する場合、次の符号化データから得られるフレームにおいて、削除されたパケットに対応するスライスの位置と同じ位置のスライスを、イントラスライスとするように符号化部が制御される。

つまり、算出されたビットレートが所定のビットレートより大きい場合であっても、フレームに対応する全てのパケットが削除されることなく、フレーム内の一部に対応するパケットが削除されるのみである。また、この場合、符号化データの次の符号化データを符号化部が生成する場合、次の符号化データから得られるフレームにおいて、削除されたパケットに対応するスライスの位置と同じ位置のスライスを、イントラスライスとするように符号化部が制御される。

したがって、動画像の符号化により得られるデータのビットレートを所定のビットレート以下に保ちつつ、動画像の劣化の度合いを小さくすることができる。

また、パケット制御部が選択する一部のパケットのデータ量は、該算出ビットレートと所定のビットレートとの差分の値の所定の単位時間あたりのデータ量以上であってもよい。

また、通信端末装置は、さらに、パケット蓄積部に記憶されている複数のパケットの各々を、該パケットがパケット蓄積部に記憶された順で、順次、外部のネットワークへ、所定のビットレート以下のビットレートで送信する送信部を備えてもよい。

また、分割部は、符号化データを複数の所定単位データに分割し、複数の所定単位データのうち、データ量が所定値より大きい所定単位データが存在する場合、該所定単位データを、データ量が所定値以下である複数のデータに分割し、複数のデータの各々をパケットに変換してもよい。

また、分割部は、符号化データを複数の所定単位データに分割し、複数の所定単位データのうち、データ量が所定値未満である複数の所定単位データが存在する場合、該データ量が所定値未満である複数の所定単位データを１つのパケットに変換してもよい。

また、所定単位データは、ＮＡＬ（Network Abstraction Layer）ユニットであってもよい。

これにより、データ量が所定値未満である複数のＮＡＬユニットが存在する場合、複数のＮＡＬユニットが１つのパケットに変換される。そのため、変換された当該パケットを含む複数のパケットに基づいて算出されるビットレートを低減することができる。その結果、算出されたビットレートが所定のビットレートより大きい場合に削除されるパケットの数を少なくすることができる。つまり、１フレームに対応する、ネットワークへ送信するパケットの数を少なくすることができ、ネットワークの伝送効率を高めるが可能となる。

また、分割部が生成する複数のパケットの各々は、１つのスライスを含んでもよい。
この発明の他の局面に従うと、動画像を構成する複数のフレームを処理し、メモリと、符号化部とを備える通信端末装置が行う通信量制御方法は、複数のフレームの各々を順次取得する取得ステップと、符号化部が、取得ステップによりフレームが取得される毎に、該フレームをスライス単位で符号化する処理であって、連続するフレームの相関を利用した符号化処理を行うことにより、該フレームに対応する符号化データを生成する符号化ステップと、符号化ステップにより符号化データが生成される毎に、該符号化データを分割することにより複数のパケットを生成する分割ステップと、分割ステップにより複数のパケットが生成される毎に、該複数のパケットをメモリに記憶させる記憶ステップと、所定の単位時間経過毎に、該所定の単位時間において分割ステップにより生成された複数のパケットに基づいてビットレートを算出し、かつ、算出したビットレートが所定のビットレートより大きいか否かを判定する監視ステップと、監視ステップにより算出されたビットレートである算出ビットレートが所定のビットレートより大きいと判定された場合、該算出ビットレートを算出するために使用された複数のパケットの一部を選択するパケット制御ステップとを備える。符号化ステップにより生成される符号化データは、複数のスライスから構成される。通信量制御方法は、さらに、メモリに記憶されている複数のパケットのうち、パケット制御ステップにより選択されたパケットを削除する削除ステップと、パケット制御ステップにより削除されたパケットに対応する符号化データの次の符号化データを符号化部が生成する場合、次の符号化データから得られるフレームにおいて、削除されたパケットに対応するスライスの位置と同じ位置のスライスを、他のフレームに依存しないイントラスライスとするように、符号化部を制御する指示ステップとを備える。

つまり、算出されたビットレートが所定のビットレートより大きい場合であっても、フレームに対応する全てのパケットが削除されることなく、フレーム内の一部に対応するパケットが削除されるのみである。また、この場合、符号化データの次の符号化データを符号化部が生成する場合、次の符号化データから得られるフレームにおいて、削除されたパケットに対応するスライスの位置と同じ位置のスライスを、イントラスライスとするように符号化部が制御される。

これにより、動画像の符号化により得られるデータのビットレートを所定のビットレート以下に保ちつつ、動画像の劣化の度合いを小さくすることができる。

この発明のさらに他の局面に従うと、動画像を構成する複数のフレームを処理する集積回路は、複数のフレームの各々を順次取得する取得部と、取得部によりフレームが取得される毎に、該フレームをスライス単位で符号化する処理であって、連続するフレームの相関を利用した符号化処理を行うことにより、該フレームに対応する符号化データを生成する符号化部と、符号化部により符号化データが生成される毎に、該符号化データを分割することにより複数のパケットを生成する分割部と、分割部により複数のパケットが生成される毎に、該複数のパケットを記憶するパケット蓄積部と、所定の単位時間経過毎に、該所定の単位時間において分割部により生成された複数のパケットに基づいてビットレートを算出し、かつ、算出したビットレートが所定のビットレートより大きいか否かを判定する監視部と、監視部により算出されたビットレートである算出ビットレートが所定のビットレートより大きいと判定された場合、該算出ビットレートを算出するために使用された複数のパケットの一部を選択するパケット制御部とを備える。パケット制御部は、パケット蓄積部に記憶されている複数のパケットのうち、選択したパケットを削除する。符号化部により生成される符号化データは、複数のスライスから構成される。集積回路は、さらに、パケット制御部により削除されたパケットに対応する符号化データの次の符号化データを符号化部が生成する場合、次の符号化データから得られるフレームにおいて、削除されたパケットに対応するスライスの位置と同じ位置のスライスを、他のフレームに依存しないイントラスライスとするように、符号化部を制御する指示部を備える。

つまり、算出されたビットレートが所定のビットレートより大きい場合であっても、フレームに対応する全てのパケットが削除されることなく、フレーム内の一部に対応するパケットが削除されるのみである。また、この場合、符号化データの次の符号化データを符号化部が生成する場合、次の符号化データから得られるフレームにおいて、削除されたパケットに対応するスライスの位置と同じ位置のスライスを、イントラスライスとするように符号化部が制御される。

これにより、動画像の符号化により得られるデータのビットレートを所定のビットレート以下に保ちつつ、動画像の劣化の度合いを小さくすることができる。

本発明により、動画像の符号化により得られるデータのビットレートを所定のビットレート以下に保ちつつ、動画像の劣化の度合いを小さくすることができる。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜第１の実施の形態＞
（システムの構成）
図１は、本実施の形態に係る２拠点でのコミュニケーションサービスを実現するコミュニケーションシステム１０００の構成を示す図である。

図１において、第１の拠点に配置されるコミュニケーション装置１１と、第２の拠点に配置されるコミュニケーション装置１２とは、通信機能を有する映像音声制御装置であり、ネットワーク１０を介して相互接続が可能である。

コミュニケーション装置１１は、第１の拠点におけるリアルタイムな映像音声データを、カメラおよびマイクから取得し、取得した映像音声データを、ネットワーク１０を介してコミュニケーション装置１２に送信する。また、コミュニケーション装置１１は、第２の拠点におけるリアルタイムな映像音声データを、コミュニケーション装置１２から受信し、受信した映像音声データを、自装置のディスプレイおよびスピーカに出力する。

また、ネットワーク１０を介しているにもかかわらず、距離による影響を低減した、よりリアルなコミュニケーションサービスを提供するために、コミュニケーション装置１１，１２は、複数個のディスプレイ、カメラ、マイク、およびスピーカを備える。これらの入出力装置は、予め適した位置に配置されており、この配置に特徴を有している。これについては、図を用いて後で詳細に説明する。

ネットワーク１０は、前述したＮＧＮである。ＮＧＮは、通信に使用する最大通信帯域が保証されたネットワークである。なお、ネットワーク１０は、ＮＧＮに限定されることなく、その他のネットワークであってもよい。

また、コミュニケーション装置１１とコミュニケーション装置１２との間の通信には、例えば、ＲＴＰ（Real-time Transport Protocol）を用いたデジタル通信が用いられる。

また、コミュニケーション装置１１，１２は、ネットワーク上の位置を示すアドレス情報としてＩＰ（Internet Protocol）アドレスが割り当てられているものとする。なお、ＩＰアドレスでなく、電話番号など他の情報をアドレス情報として用いてもよい。

また、コミュニケーション装置１１，１２が送受信するデータは、リアルタイムな映像音声データとしたが、光ディスクまたはハードディスクなどの記憶媒体に記録されている映像音声データも、リアルタイムな映像音声データと共に送受信することができる。また、コミュニケーション装置１１，１２が送受信するデータは、静止画データ、テキスト、またはＨＴＭＬなどの文書データでもよい。

以上により、コミュニケーション装置１１とコミュニケーション装置１２とは、予め適した位置に配置された複数個の入出力装置を用いて、他拠点のリアルタイムな映像および音声を出力することが可能となり、よりリアルなコミュニケーションサービスを提供することができる。

また、図１に示した２拠点でのコミュニケーションサービスだけでなく、３拠点以上での相互接続によるコミュニケーションサービスが可能である。

図２は、前述したコミュニケーション装置１１，１２以外の機器も備えたコミュニケーションシステム１００１の構成の一例を示す図である。

図２に示すコミュニケーションシステム１００１では、コミュニケーション装置１１と、コミュニケーション装置１２と、ノートＰＣ（Personal Computer）１３と、ＰＤＡ（Personal Digital Assistant）１５と、携帯電話１６と、デスクトップＰＣ１９とが接続され、５拠点でのコミュニケーションシステムが実施される。なお、ここでは、ネットワーク１０とインターネット１８とが、インターネットサービスプロバイダであるサーバ１７を介して接続されているものとする。

コミュニケーション装置１１，１２は、図１と同じであるため、それ以外の機器について説明する。なお、図２に示した通り、コミュニケーション装置１１および１２を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されてもよい。

ノートＰＣ１３は、カメラ機能を内蔵しておらず、外付けでカメラ１４が接続されている。カメラ１４は、デジタルビデオカメラなどの動画撮影が可能な機器である。ノートＰＣ１３は、カメラ１４により撮影された映像音声データを、自拠点でのリアルタイムな映像音声データとして、ネットワーク１０を介して、他機器に送信する。なお、カメラ１４が、動画撮影機能を有しておらず、静止画撮影機能のみの場合、撮影した静止画データを一定間隔で送信してもよい。

ＰＤＡ１５は、カメラ機能を有しておらず、自拠点のリアルタイムな映像データを送信することができない。ＰＤＡ１５は、ネットワーク１０を介して、受信した映像データをディスプレイおよびスピーカに出力するとともに、自拠点でのリアルタイムな音声データを他機器に送信する。なお、ＰＤＡ１５がカメラ機能を有している場合は、映像音声データを送受信することが可能となる。

携帯電話１６は、ＣＣＤ（Charge Coupled Device）カメラなどのカメラ付けの携帯電話である。携帯電話１６は、自拠点でのリアルタイムな映像音声データをカメラおよびマイクから取得し、ネットワーク１０を介して他機器に送信する。また、受信した映像音声データを自装置のディスプレイおよびスピーカに出力する。

また、携帯電話１６は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、ＧＳＭ（Global System for Mobile Communications）方式、Ｗ−ＣＤＭＡ（Wideband−Code Division Multiple Access）方式、ＣＤＭＡ１ｘ（Code Division Multiple Access）方式、およびＬＴＥ（Long Term Evolution）などのうち、いずれの通信方式を用いてもよい。

また、携帯電話１６は、ＳＤカードなどの記録媒体である蓄積メディアを装着可能なスロット部を有しており、記録メディアに記録されているデータを、コミュニケーションサービスに参加している他機器と共有することが可能である。さらに、携帯電話１６によるネットワーク１０への接続は、ＷｉＭＡＸなど他の無線通信機能を用いてもよい。

デスクトップＰＣ１９は、カメラ機能を内蔵しており、自拠点でのリアルタイムな映像音声データをカメラおよびマイクから取得し、映像音声データを、インターネット１８とネットワーク１０を介して他機器に送信する。なお、インターネット１８とネットワーク１０とは、インターネットサービスプロバイダのサーバ１７を介して接続されているものとする。

また、デスクトップＰＣ１９は、受信した映像音声データを自装置のディスプレイおよびスピーカに出力する。なお、デスクトップＰＣ１９は、光ディスクまたはＳＤカードなどの記録媒体である蓄積メディアの読み取りが可能なデバイスと、外付けＨＤＤまたは内部メモリとのうち１以上を有しており、これらに記録されているデータを、コミュニケーションサービスに参加している他機器と共有することが可能である。

また、各機器は、ネットワーク上の位置を示すアドレス情報として電話番号またはＩＰアドレスが割り当てられているものとする。なお、ＩＰｖ６対応のＩＰアドレスを用いることで、各機器が物理的に移動しても、同じアドレスを用いてコミュニケーションサービスに参加することが可能となる。

また、各機器は、コミュニケーションサービスに参加している他機器へマルチキャストで映像音声データの送信を行ってもよい。当該マルチキャストは、ＩＰマルチキャストまたは端末間がパケット複製転送するアプリケーションレベルマルチキャストである。また、特定の機器（例えばコミュニケーション装置１１）をサーバと設定し、サーバが他機器から映像音声データを受信して処理を行った後、映像音声データを他機器へユニキャストやＩＰマルチキャストで転送してもよい。

以上により、コミュニケーション装置１１とコミュニケーション装置１２は、複数拠点に位置する各機器が送信したリアルタイムな映像や音声を出力することが可能となり、よりリアルなコミュニケーションサービスを提供することができる。

（コミュニケーション装置の構成）
次に、コミュニケーション装置１１，１２が備える入出力装置の配置について説明する。

図３は、コミュニケーション装置１１，１２の構成の一例を示す図である。
コミュニケーション装置１１，１２は、通信端末装置４００と、ディスプレイ２１ａ、２１ｂ，２１ｃと、カメラ２２ａ，２２ｂ，２２ｃ，２２ｄ，２２ｅと、マイク２３と、スピーカ２４ａ，２４ｂ，２４ｃと、リモコン２６とを備えている。

また、各入出力装置（ディスプレイ２１ａ，２１ｂ，２１ｃ、カメラ２２ａ，２２ｂ、２２ｃ，２２ｄ，２２ｅ、マイク２３、スピーカ２４ａ，２４ｂ，２４ｃ、およびリモコン２６）は、通信端末装置４００と接続されている。この接続は、有線回線であっても無線回線であってもよい。また、コミュニケーションサービスに参加する１人以上のユーザは、ディスプレイ２１ａ，２１ｂ，２１ｃの方向に向いて机２５の席に着くことを想定している。

通信端末装置４００は、ＣＰＵおよびメモリを備えた情報処理装置である。通信端末装置４００は、各入出力装置の制御と、入出力装置から入力された映像音声データの符号化処理と、ネットワーク１０を介した通信制御処理と、ネットワーク１０を介して受信した映像音声データの復号化処理と、復号化した映像音声データの入出力装置への出力処理などとを行う。

ディスプレイ２１ａ，２１ｂ，２１ｃは、映像などを表示する装置である。ディスプレイ２１ａ，２１ｂ，２１ｃは、例えば、ＬＣＤ（Liquid Crystal Display）パネルまたはＰＤＰ（Plasma Display Panel）パネルを使用した表示装置である。このディスプレイ２１ａ，２１ｂ，２１ｃは、コミュニケーションサービスに参加するユーザの正面に位置するよう、机２５の前面に並べて配置される。

ここでは３個のディスプレイが接続されている。この３個のディスプレイには、他拠点での参加者の映像が、机２５の席に着いているよう表示される。つまり、他拠点の映像は、ディスプレイの個数に合わせて分割して表示される。なお、４個以上のディスプレイを接続してもよい。

カメラ２２ａ，２２ｂ，２２ｃ，２２ｄ，２２ｅは、デジタルビデオカメラなどの動画撮影機能を有する撮影装置である。このカメラ２２ａ，２２ｂ，２２ｃ，２２ｄ，２２ｅは、ディスプレイ２１ａ，２１ｂ，２１ｃの上部に配置される。ここでは５個のカメラが接続されている。

カメラ２２ａは、左に位置するディスプレイ２１ａの左右方向の中央に配置される。カメラ２２ｅは、右に位置するディスプレイ２１ｃの左右方向の中央に配置される。カメラ２２ｂ，２２ｃ，２２ｄは、中央に位置するディスプレイ２１ｂの左右方向の中央に並べて配置される。また、隣り合わせに配置されたカメラの撮影対象は、映像の端が一部重なるものとする。これにより、コミュニケーション装置１１，１２は、ディスプレイ２１ａ，２１ｂ，２１ｃの方向に向いて机２５の席に着いたユーザの映像を、切れ目なく撮影して、他拠点に送信することが可能となる。

マイク２３は、周辺の音声の集音を行う入力装置である。このマイク２３は、机２５の中央に配置される。また、机２５の席に着いたユーザの人数に合わせた個数の指向性マイクを、各ユーザの正面位置するように配置してもよい。また、１個の無指向性マイクと１個以上の指向性マイクを組み合わせて配置してもよい。これにより、他拠点において、どの方向からの音声かを把握することが可能となり、他拠点は音声を出力する方向を制御することが可能となる。

スピーカ２４ａ，２４ｂ，２４ｃは、それぞれ、ディスプレイ２１ａ，２１ｂ，２１ｃの背後に配置される。ディスプレイの個数に合わせて、ここでは３個のスピーカが接続されている。これにより、ディスプレイ２１ａ，２１ｂ，２１ｃに表示されている映像に合わせて、音声を出力するスピーカを制御することが可能となる。つまり、ディスプレイ２１ａに表示されているユーザの声が、スピーカ２４ａから出力されることになる。

リモコン２６は、ユーザからの入力指示を受け、通信端末装置４００への操作入力信号を送信する操作入力装置である。なお、リモコン２６は、机２５の席に着いたユーザにより操作可能であればよい。また、ここでは、操作入力装置はリモコンとしたが、キーボードおよびマウスなど、他の操作入力装置を用いてもよい。また、机２５の席に着いたユーザの人数に合わせた個数の操作入力装置を、各ユーザの正面に位置するように配置してもよい。

以上により、コミュニケーション装置１１，１２は、他拠点とのコミュニケーションサービスを提供することが可能となる。つまり、ユーザがリモコン２６を操作して接続先（他拠点）を設定して通信を確立し、コミュニケーションサービスを開始する。コミュニケーションサービス実行中は、カメラ２２ａ，２２ｂ，２２ｃ，２２ｄ，２２ｅが、机２５の席に着いたユーザの映像を撮影し、同時に、マイク２３が、音声を収音する。

通信端末装置４００は、カメラ２２ａ，２２ｂ，２２ｃ，２２ｄ，２２ｅとマイク２３とから、自拠点のリアルタイムな映像音声データを取得し、取得した映像音声データに符号化処理を行い、符号化した映像音声データを他拠点へ送信する。また、通信端末装置４００は、他拠点の映像音声データを受信し、受信した映像音声データに復号化処理を行い、復号化した映像音声データをディスプレイ２１ａ，２１ｂ，２１ｃと、スピーカ２４ａ，２４ｂ，２４ｃとへ出力する。

これにより、複数拠点間で相互にリアルタイムな映像および音声を出力することが可能となり、よりリアルなコミュニケーションサービスを提供することができる。また、コミュニケーションサービス実行中に、ユーザがリモコン２６を操作して、光ディスクまたはＳＤカードなどの記録媒体である蓄積メディアに記録されているデータを取得し、ネットワーク１０を介して送受信することで、コミュニケーションサービスに参加している他機器と当該データを共有することが可能となる。

（通信端末装置の構成）
次に、通信端末装置４００について詳細に説明する。

図４は、通信端末装置４００の内部構成を示したブロック図である。なお、図４には説明のために、前述したネットワーク１０が示される。

ネットワーク１０は、前述したＮＧＮである。ＮＧＮは、前述したように、最大通信帯域を通信開始前に設定することにより、最大通信帯域が保証されたネットワークである。以下においては、設定された最大通信帯域を、設定通信帯域または設定レートという。設定レートは、所定のビットレートである。この場合、ネットワーク１０において、設定通信帯域以下のビットレートでパケットが送信された場合、当該パケットの損失は発生しない。なお、ネットワーク１０は、他の通信がなく、利用できる通信帯域が事前に判明している専用回線を使用したネットワークであってもよい。

図４に示されるように、通信端末装置４００は、取得部４１０と、符号化部４１１と、分割部４１１Ｎと、通信量監視部４１２と、ネットワーク制御部４１７とを備える。

取得部４１０は、前述した図３のカメラ２２ａ，２２ｂ，２２ｃ，２２ｄ，２２ｅのいずれかから、動画像を構成する複数のフレームの各々を順次取得する。取得部４１０は、フレームを取得する毎に、取得した当該フレームを、符号化部４１１へ送信する。

なお、カメラ２２ａ，２２ｂ，２２ｃ，２２ｄ，２２ｅは、デジタルスチルカメラなどの静止画撮影機能のみを有する撮影装置であってもよい。この場合、取得部４１０は、カメラ２２ａ，２２ｂ，２２ｃ，２２ｄ，２２ｅのいずれかが撮影により得た静止画像としてのフレームを、所定時間毎に取得する。

ネットワーク制御部４１７は、ネットワーク１０に対し、ＳＩＰなどの制御プロトコルを用いて、最大通信帯域を設定する。最大通信帯域は、例えば、２０Ｍｂｐｓであるとする。ネットワーク制御部４１７が設定する最大通信帯域は、ユーザにより指定された帯域である。なお、本実施の形態においては、説明を簡単にするために、最大通信帯域は、映像のみに使用される帯域であるとする。

最大通信帯域の設定が終了すると、ネットワーク制御部４１７は、設定した最大通信帯域としての設定レート（例えば２０Ｍｂｐｓ）を示す設定レート情報を、符号化部４１１、通信量監視部４１２および後述する送信部４１６へ送信する。

なお、ネットワーク１０が専用回線を使用したネットワークである場合、ネットワーク制御部４１７は、最大通信帯域の設定を行わず、当該専用回線の最大通信帯域としてのビットレート（設定レート）を示す設定レート情報を、符号化部４１１、通信量監視部４１２および後述する送信部４１６へ送信する。

符号化部４１１は、フレームを受信する毎に、受信したフレームを、Ｈ．２６４に基づく画像圧縮技術により符号化する符号化処理を行う。すなわち、当該符号化処理は、フレームをスライス単位で符号化する処理であって、連続するフレームの相関を利用した画像圧縮処理である。以下においては、符号化部４１１が行う符号化処理により得られたデータを、符号化データという。

本実施の形態では、１つの符号化データは、１つのフレームを得るためのデータであるとする。以下においては、符号化部４１１が行う符号化処理により得られた１つの符号化データを、符号化データＯＣＤという。符号化データＯＣＤは、複数のスライスから構成される。

なお、本実施の形態においては、符号化データＯＣＤを構成する複数のスライスの各々は、Ｉ（Intra）スライスまたはＰ（Predictive）スライスであるとする。すなわち、本実施の形態における符号化処理は、Ｂ（Bi-predictive）スライスを使用しない処理であるとする。すなわち、符号化データＯＣＤは、当該符号化データＯＣＤに対応するフレーム（以下、処理対象フレームという）より前に取得されたフレームに対応する符号化データを参照して、処理対象フレームを得るためのデータである。

図５は、符号化データＯＣＤから得られるフレームＦＬと、符号化データＯＣＤを構成する複数のスライスとの対応関係を示す図である。

図５において、フレームＦＬは、符号化データＯＣＤを復号することにより得られるフレームである。符号化データＯＣＤは、スライスＳＬ１，ＳＬ２，ＳＬ３，・・・，ＳＬｍ（自然数）から構成される。すなわち、符号化データＯＣＤは、ｍ個のスライスから構成される。ｍが“１５”である場合、符号化データＯＣＤは、１５個のスライスから構成される。以下においては、スライスＳＬｐを、ｐ番目のスライスという。例えば、スライスＳＬ３は、３番目のスライスである。

図５に示されるように、符号化データＯＣＤを構成するスライスＳＬ１，ＳＬ２，ＳＬ３，・・・，ＳＬｍは、それぞれ、フレームＦＬ内のスライスＳＬ１，ＳＬ２，ＳＬ３，・・・，ＳＬｍの位置に対応するスライスである。

なお、スライスは、図５のように、対応するフレームにおいて行単位で分割されたものに限定されることなく、例えば、行の途中で分割されたものであってもよい。

なお、符号化部４１１は、符号化データのビットレートが、受信した設定レート情報が示す設定レートとほぼ同一となるように前述の符号化処理を行う。符号化部４１１は、符号化データを生成する毎に、当該符号化データを、分割部４１１Ｎへ送信する。

分割部４１１Ｎは、符号化データを受信する毎に、当該符号化データを、ＮＡＬ（Network Abstraction Layer）ユニットという単位で分割するためのデータ分割処理を行う。ＮＡＬユニットは、スライス、エンコードパラメータセット、ＳＥＩ（Supplemental Enhancement Information）などのデータをパケット化する単位である。

図６は、ＮＡＬユニットの格納形式を示す図である。図６において、「ＮＡＬユニット・データ」とは、ＮＡＬユニットのデータ部を示す。「サイズ」とは、ＮＡＬユニットのデータサイズを示す。すなわち、ＮＡＬユニットの先頭には、当該ＮＡＬユニットのデータサイズを示すフィールド（文字列「サイズ」に対応）が付加される。

また、分割部４１１Ｎは、データ分割処理を行う毎に、データ分割処理により得られたＮＡＬユニットをネットワークに対して送信するために、当該ＮＡＬユニットを、ＲＴＰ（Real-time Transport Protocol）パケットに変換するためのＲＴＰパケット変換処理を行う。

本実施の形態では、ＲＴＰパケット変換処理において、ＮＡＬユニットを、単一ＮＡＬユニット・パケット（Single NAL Unit Packet）形式のＲＴＰパケットに変換する。単一ＮＡＬユニット・パケット形式のＲＴＰパケットは、１つのＲＴＰパケットに、１つのＮＡＬユニットを格納するパケットである。なお、単一ＮＡＬユニット・パケット形式のＲＴＰパケットへの変換は、非特許文献（RFC3984，“RTP Payload Format for H.264 Video”，February，2005）に開示されている方法で行うとする。

なお、ＮＡＬユニットをパケット化する際に、ＲＴＰパケットの形式を用いず、独自のパケット形式を使用してもよい。

以上の処理により、符号化データＯＣＤを構成するｍ個のスライスは、それぞれ、ｍ個のＲＴＰパケットに変換される。本実施の形態では、ＲＴＰパケット変換処理により得られたｍ個のＲＴＰパケットの各々は、１つのスライスを含むとする。分割部４１１Ｎは、ｍ個のＲＴＰパケットの各々に含まれるスライスの位置情報（以下、スライス位置情報という）を、当該ＲＴＰパケットと対応付けておく。

スライス位置情報は、例えば、図５のように、フレームＦＬに対応する符号化データＯＣＤが、所定数であるｍ個のスライスに分割されている場合、“１”〜“ｍ”のいずれかの番号を示す情報である。例えば、スライス位置情報が“３”を示す場合、対応するＲＴＰパケットに含まれるスライスは、フレームＦＬ内のスライスＳＬ３の位置のスライスとなる。

なお、フレームに対応する符号化データが可変数のスライスに分割されている場合、スライスの開始ピクセル番号と、スライスの幅、スライスの高さの情報等を、スライス位置情報としてもよい。

分割部４１１Ｎは、ＲＴＰパケット変換処理によりｍ個のＲＴＰパケットを得る毎に、当該ｍ個のＲＴＰパケットの各々を、順次、通信量監視部４１２へ送信する。なお、分割部４１１Ｎは、ＲＴＰパケットを通信量監視部４１２へ送信する場合、当該ＲＴＰパケットとともに、データ種別情報、サイズ情報および前述したスライス位置情報を、通信量監視部４１２へ送信する。データ種別情報は、対応するＲＴＰパケットに含まれるＮＡＬユニットのデータの種類（例えば、映像のデータ等）を示す情報である。サイズ情報は、対応するＲＴＰパケットのデータサイズ（単位：バイト）を示す情報である。

通信端末装置４００は、さらに、パケット制御部４１３と、スライス指示部４１４と、パケット蓄積部４１５とを備える。

パケット蓄積部４１５は、データを一時的に記憶するメモリである。
通信量監視部４１２は、所定の単位時間経過毎に、当該所定の単位時間において、分割部４１１Ｎから受信した複数のＲＴＰパケットを、パケット蓄積部４１５に記憶させる。なお、通信量監視部４１２は、分割部４１１Ｎから受信するＲＴＰパケットとともに受信するスライス位置情報およびサイズ情報も、当該ＲＴＰパケットに対応付けてパケット蓄積部４１５に記憶させる。ここで、所定の単位時間は、例えば、３０ｍｓである。所定の単位時間において、分割部４１１Ｎから受信した複数のパケットは、当該所定の単位時間において分割部４１１Ｎが生成したパケットである。

また、通信量監視部４１２は、所定の単位時間経過毎に、当該所定の単位時間において、分割部４１１Ｎから受信した複数のパケットのデータサイズの合計値を算出する。そして、通信量監視部４１２は、算出した合計値を、所定の単位時間で除算することにより、ビットレート（以下、出力レートという）を算出する。なお、通信量監視部４１２は、ｓ（自然数）枚のフレームに対応する複数のＲＴＰパケットを受信する毎に、ビットレートを算出してもよい。

通信量監視部４１２は、算出した出力レートが、ネットワーク制御部４１７から受信した設定レート情報が示す設定レート（例えば２０Ｍｂｐｓ）より大きいか否かを判定する。算出した出力レートが、設定レートより大きい場合、通信量監視部４１２は、削除データ量を算出する。削除データ量は、（（出力レート−設定レート）／所定の単位時間）の式により算出される。

通信量監視部４１２は、削除情報を、パケット制御部４１３へ送信する。削除情報は、削除データ量と、当該削除データ量を算出する対象となった複数のＲＴＰパケットを特定するための情報を示す。

パケット制御部４１３は、受信した削除情報が示す削除データ量を算出する対象となった、パケット蓄積部４１５に記憶されている複数のＲＴＰパケットのうち、一部のＲＴＰパケットを選択する。パケット制御部４１３は、当該一部のＲＴＰパケットを選択する場合、当該一部のＲＴＰパケットのデータサイズの合計値（データ量）が、削除データ量以上となるように、当該一部のＲＴＰパケットを選択する。ここで、選択されたＲＴＰパケットの数は、ｋ（自然数）個であるとする。

なお、ＲＴＰパケットの選択方法は、ＲＴＰパケットをランダムに選択する方法であってもよい。また、ＲＴＰパケットの選択方法は、削除データ量を算出する対象となった複数のＲＴＰパケットのうち、選択するＲＴＰパケットのデータサイズの合計値が、削除データ量より大きい値であって、当該値が最小となるように、ＲＴＰパケットを選択する方法であってもよい。また、ＲＴＰパケットの選択方法は、ＲＴＰパケットに含まれるスライスの数が少ないものを優先的に選択する方法であってもよい。

また、ＲＴＰパケットの選択方法は、スライス位置情報により特定されるスライスの位置がばらけるように、ＲＴＰパケットを選択する方法であってもよい。また、ＲＴＰパケットの選択方法は、後述する処理により、スライスの種類がＩスライスに変更されたスライスをＲＴＰパケットが含む場合があるので、Ｐスライスが格納されたＲＴＰパケットを優先的に選択する方法であってもよい。

そして、パケット制御部４１３は、選択したｋ個のＲＴＰパケットにそれぞれ対応するｋ個のスライス位置情報をパケット蓄積部４１５から読み出すとともに、パケット蓄積部４１５に記憶されている当該選択したｋ個のＲＴＰパケットを削除する。

そして、パケット制御部４１３は、読み出したｋ個のスライス位置情報を、スライス指示部４１４へ送信する。

スライス指示部４１４は、受信したｋ個のスライス位置情報に基づいて、スライス変更指示を、符号化部４１１へ送信する。スライス変更指示は、ｋ個のスライス位置情報に対応するｋ個のＲＴＰパケットに対応する符号化データの次の符号化データを符号化部４１１が生成する場合、当該次の符号化データから得られるフレームにおいて、ｋ個のスライス位置情報にそれぞれ対応するｋ個の位置と同じ位置のｋ個のスライスを、Ｉスライスとするように符号化部４１１に符号化処理を行わせるための指示である。

ここで、ｋは“２”であるとする。この場合、２個のスライス位置情報は、図５のフレームＦＬ内のスライスＳＬ１，ＳＬ３の位置を示す情報であるとする。また、パケット蓄積部４１５に記憶されている２個のスライス位置情報の各々に対応するＲＴＰパケットが削除されたとする。

この場合、パケット蓄積部４１５に記憶されている、フレームＦＬに対応する複数のＲＴＰパケットから復元されるフレームは、以下のフレームＦＬＡとなる。

図７は、状態の異なる複数のフレームを示す図である。図７において、フレームＦＬは、図５のフレームＦＬと同じなので詳細な説明は繰り返さない。

前述したように、ＲＴＰパケットが削除された場合、パケット蓄積部４１５に記憶されている、フレームＦＬに対応する複数のＲＴＰパケットから復元されるフレームは、フレームＦＬＡとなる。すなわち、フレームＦＬ内のスライスＳＬ１，ＳＬ３の位置と同じ位置にある、フレームＦＬＡ内のスライスＳＬ１，ＳＬ３の各々は、画像を示さないスライスとなる。

なお、ここでは、スライスは画像を示さないとしたが、スライスは、黒色などの特定の色を表示したり、前のフレームの同じ位置のスライスの画像と同じ画像を表示したりするスライスでもよい。

ここで、仮に、パケット制御部４１３がＲＴＰパケットを削除したにも関わらず、スライス指示部４１４がスライス変更指示を符号化部４１１へ送信しなかったとする。また、符号化部４１１は、前述した符号化処理を行うことによりフレームＦＬＮが得られる符号化データＮを生成したとする。また、生成された符号化データＮに含まれるスライスＳＬ３が、Ｐスライスであるとする。

この場合、フレームＦＬＮに対するスライスＳＬ３は、フレームＦＬＮの前のフレームＦＬＡに対応するスライスＳＬ３のデータを参照したデータとなる。前述したように、フレームＦＬＡに対応するスライスＳＬ３は画像を示さないスライスである。そのため、フレームＦＬＮに対するスライスＳＬ３は、画像を示さないスライスとなる。したがって、フレームＦＬＮには、画像が示されない部分が生じてしまう。

しかしながら、本実施の形態では、フレームＦＬＡに対応する複数のＲＴＰパケットがパケット蓄積部４１５に記憶されている場合、スライス指示部４１４は、以下のスライス変更指示Ａを、符号化部４１１へ送信する。ここで、フレームＦＬＡの次に表示されるフレームは、フレームＦＬＢであるとする。

スライス変更指示Ａは、図７のフレームＦＬＡに対応する符号化データの次の符号化データから得られる図７のフレームＦＬＢにおいて、２個のスライス位置情報にそれぞれ対応する２個の位置と同じ位置の２個のスライスを、Ｉスライスとするように符号化部４１１に符号化処理を行わせるための指示である。

符号化部４１１は、スライス変更指示Ａに応じて符号化処理を行うことにより、復号によりフレームＦＬＢが得られる符号化データを生成する。この場合、フレームＦＬＢ内のスライスＳＬ１，ＳＬ３は、他のフレームに依存しないＩスライスである。

したがって、フレームＦＬＡの次に表示されるフレームＦＬＢは、フレームＦＬＮのような画像が示されない部分があるフレームではなく、画像が示されない部分が生じないフレームとなる。

なお、フレームＦＬＡ，ＦＬＢは、例えば、１／６０秒間隔で、連続して表示される。そのため、ユーザが連続して表示されるフレームＦＬＡ，ＦＬＢを見たとしても、フレームＦＬＡ内の欠如した部分の画像（スライスＳＬ１，ＳＬ３に対応する画像）には気づかないことが多い。

なお、スライス指示部４１４は、フレームＦＬＡに対応する複数のＲＴＰパケットがパケット蓄積部４１５に記憶されている場合、以下のスライス変更指示Ｐを、符号化部４１１へ送信してもよい。

スライス変更指示Ｐは、フレームＦＬＡに対応するスライスＳＬ１，ＳＬ３の位置と同じ位置の２つのスライスをＰスライスとし、当該ＰスライスがフレームＦＬＡに対応するスライスＳＬ１，ＳＬ３以外のスライスを参照するように符号化部４１１に符号化処理を行わせるための指示である。符号化部４１１は、このようなスライス変更指示Ｐに応じて符号化処理を行った場合、欠如した部分のないフレームを得るための符号化データを生成することができる。

通信端末装置４００は、さらに、送信部４１６を備える。
送信部４１６は、パケット送信処理を行う。パケット送信処理では、送信部４１６が、ｎ（自然数）番目のフレームに対応する、パケット蓄積部４１５に記憶されている複数のＲＴＰパケットの各々を、当該ＲＴＰパケットがパケット蓄積部４１５に記憶された順で、順次、ネットワーク１０へ送信する。また、送信部４１６は、複数のＲＴＰパケットの各々を、設定レートで、順次、ネットワーク１０へ送信する。設定レートは、ネットワーク制御部４１７から受信した設定レート情報が示すビットレートである。なお、ｎの初期値は“１”である。

送信部４１６は、パケット送信処理を行う毎に、ｎの値を１インクリメントして、パケット送信処理を行う。なお、送信部４１６は、複数のＲＴＰパケットの各々を、設定レート以下で、順次、ネットワーク１０へ送信してもよい。

なお、通信端末装置４００に含まれる複数の構成要素の一部または全部は、１個のシステムＬＳＩから構成されてもよい。すなわち、通信端末装置４００は、集積回路であってもよい。

（フレーム対応処理）
次に、通信端末装置４００が、外部から取得するフレームに対して行う処理（以下、フレーム対応処理という）について説明する。

なお、前述したように、ネットワーク制御部４１７は、以下のフレーム対応処理が行われる前に、ネットワーク１０に対し、ＳＩＰなどの制御プロトコルを用いて、最大通信帯域を設定する。

そして、ネットワーク制御部４１７は、設定した最大通信帯域としての設定レート（例えば２０Ｍｂｐｓ）を示す設定レート情報を、符号化部４１１、通信量監視部４１２および送信部４１６へ送信する。

図８は、フレーム対応処理のフローチャートである。
ステップＳ１１１では、フレーム取得処理が行われる。フレーム取得処理では、取得部４１０が、前述した図３のカメラ２２ａ，２２ｂ，２２ｃ，２２ｄ，２２ｅのいずれかから、動画像を構成する複数のフレームのうち、ｎ（自然数）番目のフレームを取得する。なお、当該動画像を構成する複数のフレームの各々は、１／６０秒間隔で、連続して表示されるフレームであるとする。なお、ｎの初期値は“１”である。取得部４１０は、ｎ番目のフレームを取得すると、ｎの値を１インクリメントする。取得部４１０は、取得したフレームを、符号化部４１１へ送信する。

ステップＳ１１２では、符号化部４１１が、受信したフレームを、Ｈ．２６４に基づく画像圧縮技術により符号化する前述した符号化処理を行う。前述したように、符号化部４１１が行う符号化処理により得られたデータを、符号化データという。本実施の形態では、１つの符号化データは、１つのフレームを得るためのデータであるとする。また、符号化データは、図５で説明したように、ｍ個のスライスから構成される。

なお、符号化部４１１は、符号化データのビットレートが、受信した設定レート情報が示す設定レートとほぼ同一となるように前述の符号化処理を行う。

なお、符号化部４１１は、スライス指示部４１４から、前述したスライス変更指示を受信している場合、前述したようにスライス変更指示に基づいて、符号化処理を行う。

そして、符号化部４１１は、生成した符号化データを、分割部４１１Ｎへ送信する。
ステップＳ１１３では、前述したデータ分割処理が行われる。データ分割処理では、分割部４１１Ｎが、受信した符号化データを、複数のＮＡＬユニットに分割する。

ステップＳ１１４では、前述したＲＴＰパケット変換処理が行われる。ＲＴＰパケット変換処理では、分割部４１１Ｎが、前述したように、データ分割処理により得られた複数のＮＡＬユニットの各々を、ＲＴＰパケットに変換する。本実施の形態では、前述したように、ＮＡＬユニットを、単一ＮＡＬユニット・パケット形式のＲＴＰパケットに変換する。ＲＴＰパケット変換処理により、符号化データを構成するｍ個のスライスは、それぞれ、ｍ個のＲＴＰパケットに変換されるとする。

分割部４１１Ｎは、前述したように、ｍ個のＲＴＰパケットの各々に含まれるスライスの位置情報（スライス位置情報）を、当該ＲＴＰパケットと対応付けておく。分割部４１１Ｎは、前述したように、ｍ個のＲＴＰパケットの各々を、順次、通信量監視部４１２へ送信する。なお、分割部４１１Ｎは、前述したように、ＲＴＰパケットを通信量監視部４１２へ送信する場合、当該ＲＴＰパケットとともに、データ種別情報、サイズ情報および前述したスライス位置情報を、通信量監視部４１２へ送信する。ｍ個のＲＴＰパケットの送信が終了すると、このＲＴＰパケット変換処理は終了する。

ステップＳ１１５では、パケット対応処理が行われる。
なお、初めて、パケット対応処理が行われる場合、パケット対応処理が開始されると同時に、時間測定処理が実行される。時間測定処理は、他の処理とは独立して行われる処理である。

時間測定処理では、通信量監視部４１２が、時間カウンタＴＣの値を、１ミリ秒経過する毎に１インクリメントする。時間カウンタＴＣは、時間を測定するためのカウンタである。時間カウンタＴＣの初期値は“０”である。

図９は、パケット対応処理のフローチャートである。
ステップＳ２１１では、パケット取得処理が行われる。パケット取得処理では、通信量監視部４１２が、ＲＴＰパケット、データ種別情報、サイズ情報およびスライス位置情報を受信する。なお、パケット取得処理では、１つのＲＴＰパケットが受信される。

ステップＳ２１２では、パケット合計値ｔｏｔ＿ｓｉｚｅの更新が行われる。パケット合計値ｔｏｔ＿ｓｉｚｅ（単位：バイト）は、通信量監視部４１２が、所定の単位時間において受信した複数のＲＴＰパケットのデータサイズの合計値を算出するための変数である。パケット合計値ｔｏｔ＿ｓｉｚｅの初期値は、“０”である。

具体的には、通信量監視部４１２が、現時点のパケット合計値ｔｏｔ＿ｓｉｚｅが示す値に、受信したサイズ情報が示すＲＴＰパケットのデータサイズの値（以下、ｐｋ＿ｓｉｚｅと表す）を加算した値を、パケット合計値ｔｏｔ＿ｓｉｚｅが示す値に設定する。

すなわち、サイズ情報が示すＲＴＰパケットのデータサイズを、ｐｋ＿ｓｉｚｅと表した場合、更新後のパケット合計値ｔｏｔ＿ｓｉｚｅは、以下の式（１）により表される。

ｔｏｔ＿ｓｉｚｅ＝ｔｏｔ＿ｓｉｚｅ＋ｐｋ＿ｓｉｚｅ ・・・式（１）

ステップＳ２１３では、通信量監視部４１２が、所定の単位時間が経過したか否かを判定する。具体的には、通信量監視部４１２が、現時点の時間カウンタＴＣの値が、所定値以上であるか否かを判定する。

ここで、所定の単位時間は、１／６０（０．０１７）秒であるとする。この場合、所定値は“１７”となる。この場合、通信量監視部４１２は、現時点の時間カウンタＴＣの値が“１７”以上であるか否かを判定する。

ステップＳ２１３において、ＹＥＳならば、処理は後述するステップＳ２１５に移行する。一方、ステップＳ２１３において、ＮＯならば、処理はステップＳ２１４に移行する。ここでは、所定の単位時間が経過していないとして、処理はステップＳ２１４に移行する。

なお、本実施の形態では、１フレーム単位で処理しているため、所定の単位時間は、１フレームを処理する時間（例えば、０．０１７秒）としているが、これに限定されない。例えば、複数のフレーム単位で処理する場合、所定の単位時間は、０．０１７秒より長い時間に設定される。この場合、所定値は“１７”より大きい値となる。

ステップＳ２１４では、パケット記憶処理が行われる。パケット記憶処理では、通信量監視部４１２が、受信したＲＴＰパケットと、受信したスライス位置情報およびサイズ情報とを対応付けてパケット蓄積部４１５に記憶させる。そして、再度、ステップＳ２１１の処理が行われる。

そして、ステップＳ２１１，Ｓ２１２，Ｓ２１３，Ｓ２１４の処理が複数回繰り返された後、ステップＳ２１３でＹＥＳと判定されたとする。すなわち、所定の単位時間が経過したとする。この場合、処理はステップＳ２１５に移行する。

ステップＳ２１５では、出力レート算出処理が行われる。出力レート算出処理では、通信量監視部４１２が、以下の式（２）より、前述した出力レートＥｎｃＲａｔｅ（単位：ｂｐｓ）を算出する。

ＥｎｃＲａｔｅ＝ｔｏｔ＿ｓｉｚｅ×８／ｔ ・・・式（２）

式（２）において、ｔは、所定の単位時間（単位：秒）である。
ステップＳ２１６では、通信量監視部４１２が、現時点のパケット合計値ｔｏｔ＿ｓｉｚｅの値を０に設定する。

ステップＳ２１７では、パケット記憶処理が行われる。パケット記憶処理は、ステップＳ２１４のパケット記憶処理と同様なので詳細な説明は繰り返さない。

ステップＳ２１８では、時間カウンタがリセットされる。具体的には、パケット記憶処理が、時間カウンタＴＣを、“０”に設定する。

ステップＳ２１９では、通信量監視部４１２が、出力レートＥｎｃＲａｔｅが、設定レートより大きいか否かを判定する。設定レート（単位：ｂｐｓ）は、ネットワーク制御部４１７から受信した設定レート情報が示すビットレートである。以下においては、設定レートを、設定レートＳｅｔＲａｔｅともいう。

ステップＳ２１９において、ＹＥＳならば、処理はステップＳ２２１に移行する。一方、ステップＳ２１９において、ＮＯならば、処理は後述するステップＳ２２５に移行する。ここでは、出力レートＥｎｃＲａｔｅが、設定レートより大きいとして、処理はステップＳ２２１に移行する。

ステップＳ２２１では、削除データ量算出処理が行われる。削除データ量算出処理では、通信量監視部４１２が、前述した削除データ量（以下、削除データ量Ｄｅｌという）（単位：バイト）を、以下の式（３）より算出する。

Ｄｅｌ＝（ＥｎｃＲａｔｅ−ＳｅｔＲａｔｅ）／８×ｔ ・・・式（３）

式（３）において、ｔは、前述した所定の単位時間（単位：秒）である。また、通信量監視部４１２は、前述したように、削除情報を、パケット制御部４１３へ送信する。削除情報は、削除データ量Ｄｅｌと、当該削除データ量Ｄｅｌを算出する対象となった複数のＲＴＰパケットを特定するための情報を示す。

ステップＳ２２２では、パケット選択処理が行われる。パケット選択処理では、パケット制御部４１３が、前述したように、受信した削除情報が示す削除データ量Ｄｅｌを算出する対象となった、パケット蓄積部４１５に記憶されている複数のＲＴＰパケットのうち、一部のＲＴＰパケットを選択する。パケット制御部４１３は、当該一部のＲＴＰパケットを選択する場合、当該一部のＲＴＰパケットのデータサイズの合計値が、削除データ量Ｄｅｌ以上となるように、当該一部のＲＴＰパケットを選択する。ここで、選択されたＲＴＰパケットの数は、ｋ（自然数）個であるとする。なお、ＲＴＰパケットの選択方法は、前述したので詳細な説明は繰り返さない。

ステップＳ２２３では、パケット削除処理が行われる。パケット削除処理では、パケット制御部４１３が、前述したように、選択したｋ個のＲＴＰパケットにそれぞれ対応するｋ個のスライス位置情報をパケット蓄積部４１５から読み出すとともに、パケット蓄積部４１５に記憶されている当該選択したｋ個のＲＴＰパケットを削除する。そして、パケット制御部４１３は、読み出したｋ個のスライス位置情報を、スライス指示部４１４へ送信する。

ステップＳ２２４では、スライス変更処理が行われる。スライス変更処理では、スライス指示部４１４が、前述したように、受信したｋ個のスライス位置情報に基づいて、スライス変更指示を、符号化部４１１へ送信する。

前述したように、スライス変更指示は、ｋ個のスライス位置情報に対応するｋ個のＲＴＰパケットに対応する符号化データの次の符号化データを符号化部４１１が生成する場合、当該次の符号化データから得られるフレームにおいて、ｋ個のスライス位置情報にそれぞれ対応するｋ個の位置と同じ位置のｋ個のスライスを、Ｉスライスとするように符号化部４１１に符号化処理を行わせるための指示である。

ここで、ｋは“２”であるとする。この場合、２個のスライス位置情報は、図７のフレームＦＬ内のスライスＳＬ１，ＳＬ３の位置を示す情報であるとする。また、パケット蓄積部４１５に記憶されている２個のスライス位置情報の各々に対応するＲＴＰパケットが削除されたとする。

この場合、パケット蓄積部４１５に記憶されている、フレームＦＬに対応する複数のＲＴＰパケットから復元されるフレームは、フレームＦＬＡとなる。すなわち、フレームＦＬ内のスライスＳＬ１，ＳＬ３の位置と同じ位置にある、フレームＦＬＡ内のスライスＳＬ１，ＳＬ３の各々は、画像を示さないスライスとなる。

また、この場合、スライス指示部４１４が送信するスライス変更指示は、前述したスライス変更指示Ａとなる。スライス変更指示Ａは、図７のフレームＦＬＡに対応する符号化データの次の符号化データから得られる図７のフレームＦＬＢにおいて、２個のスライス位置情報にそれぞれ対応する２個の位置と同じ位置の２個のスライスを、Ｉスライスとするように符号化部４１１に符号化処理を行わせるための指示である。そして、ステップＳ２２４の処理は終了する。

符号化部４１１は、スライス変更指示Ａに応じて、再度、図８のステップＳ１１２の符号化処理を行うことにより、復号によりフレームＦＬＢが得られる符号化データを生成する。この場合、フレームＦＬＢ内のスライスＳＬ１，ＳＬ３は、Ｉスライスである。

したがって、フレームＦＬＡの次に表示されるフレームＦＬＢは、フレームＦＬＮのように画像が示されない部分があるフレームではなく、画像が示されない部分が生じないフレームとなる。

なお、図７のフレームＦＬＡ，ＦＬＢは、例えば、１／６０秒間隔で、連続して表示される。そのため、ユーザが連続して表示されるフレームＦＬＡ，ＦＬＢを見たとしても、フレームＦＬＡ内の欠如した部分の画像（スライスＳＬ１，ＳＬ３に対応する画像）には気づかない。

ステップＳ２２４の処理の後、処理はステップＳ２２５に移行する。
ステップＳ２２５では、通信量監視部４１２が、１フレームに対応する全てのパケットを受信したか否かを判定する。ここで、１フレームに対応する全てのパケットは、前述した、ｍ個のＲＴＰパケットであるとする。この場合、通信量監視部４１２は、１フレームに対応するｍ個のＲＴＰパケットを受信したか否かを判定する。

ステップＳ２２５において、ＹＥＳならば、このパケット対応処理は終了し、処理は図８のフレーム対応処理に戻り、処理はステップＳ１１５の次のステップＳ１１６に移行する。一方、ステップＳ２２５において、ＮＯならば、再度、ステップＳ２１１の処理が行われる。

再び、図８を参照して、ステップＳ１１５の処理の後、ステップＳ１１６の処理が行われる。

ステップＳ１１６では、次のフレームがあるか否かが判定される。具体的には、取得部４１０が、ステップＳ１１１で取得したフレームの次のフレームが、外部の装置から送信されているか否かを判定する。ステップＳ１１６において、ＹＥＳならば、再度、ステップＳ１１１の処理が行われる。一方、ステップＳ１１６において、ＮＯならば、このフレーム対応処理は終了する。

ここでは、次のフレームがあると判定されて、再度、ステップＳ１１１の処理が行われるとする。

そして、前述したステップＳ１１１の処理の後、ステップＳ１１２の処理が行われる。ここで、符号化部４１１は、スライス指示部４１４から、前述したスライス変更指示Ａを受信しているとする。この場合、符号化部４１１は、スライス変更指示Ａに応じて、前述した符号化処理を行う。

次に、通信端末装置４００の送信部４１６が行う送信処理について説明する。送信処理は、他の処理とは独立して行われる処理である。

図１０は、送信処理のフローチャートである。
ステップＳ３１１では、前述したパケット送信処理が行われる。前述したように、パケット送信処理では、送信部４１６が、ｕ（自然数）番目のフレームに対応する、パケット蓄積部４１５に記憶されている複数のＲＴＰパケットの各々を、当該ＲＴＰパケットがパケット蓄積部４１５に記憶された順で、順次、ネットワーク１０へ送信する。また、送信部４１６は、複数のＲＴＰパケットの各々を、設定レートで、順次、ネットワーク１０へ送信する。設定レートは、ネットワーク制御部４１７から受信した設定レート情報が示すビットレートである。なお、ｕの初期値は“１”である。

送信部４１６は、パケット送信処理を行う毎に、ｕの値を１インクリメントして、パケット送信処理を行う。

なお、送信部４１６は、複数のＲＴＰパケットの各々を、設定レート以下で、順次、ネットワーク１０へ送信してもよい。

以上説明したように、本実施の形態においては、動画像を構成する複数のフレームのうち、処理対象フレームに対する符号化処理により得られた符号化データに対応する複数のＲＴＰパケットに基づくビットレートとしての出力レートが、予め設定したビットレートとしての設定レートより大きい場合、以下の処理が行われる。

まず、出力レートが設定レート以下になるように、処理対象フレームに対応する複数のＲＴＰパケットのうち、ｋ個のＲＴＰパケットが削除される。ｋ個のＲＴＰパケットにそれぞれ対応するｋ個のスライス位置情報の各々は、処理対象フレームにおける、対応するＲＴＰパケットに対応するスライスの位置を示す。

また、削除されたｋ個のＲＴＰパケットに対応する符号化データの次の符号化データを符号化部４１１が生成する場合、当該次の符号化データから得られるフレームにおいて、ｋ個のスライス位置情報にそれぞれ対応するｋ個の位置と同じ位置のｋ個のスライスを、Ｉスライスとするように符号化部４１１が符号化処理を行わせるための処理が行われる。

これにより、符号化データに対応する複数のＲＴＰパケットに基づくビットレートとしての出力レートが、設定レートより大きい場合、フレーム単位で間引かれることなく、フレームの一部が変化するのみである。

つまり、算出された出力レートが設定レートより大きい場合であっても、フレームに対応する全てのＲＴＰパケットが削除されることなく、フレーム内の一部に対応するＲＴＰパケットが削除されるのみである。また、この場合、符号化データの次の符号化データを符号化部４１１が生成する場合、次の符号化データから得られるフレームにおいて、削除されたＲＴＰパケットに対応するスライスの位置と同じ位置のスライスを、Ｉスライスとするように符号化部４１１が制御される。

したがって、動画像の符号化により得られるデータのビットレートとしての出力レートを所定のビットレートとしての設定レート以下に保ちつつ、動画像の劣化の度合いを小さくすることができる。

すなわち、動画像を構成する複数のパケットを、設定レートで送信する場合において、動画像の画質劣化を最小限に抑えることができ、かつ、出力レートの揺れを低減することができる。そのため、安定したデータ通信を実現することができ、円滑なＡＶコミュニケーションを実現できる。

また、本実施の形態においては、通信端末装置４００が、ネットワーク上で欠落する恐れのある、パケット（帯域（設定レート）超過分）を、ネットワークへ送信する前に削除し、削除したパケット（スライス）の位置に対応する、次のフレームのスライスの符号化時に、削除されたスライスを参照させない（Ｉスライスにする）処理を行う。

パケットを削除する処理は、通信端末装置４００内で行われる。そのため、遅延時間を小さくことができ、また、ネットワークのリソースを消費することもない。

また、本実施の形態における通信端末装置４００は、設定レート以下でパケットを送信すればパケットの損失が発生しないネットワーク１０を利用する場合、符号化処理により得られた符号化データに基づく出力レートが、設定レートを超える場合、当該出力レートが設定レート以下になるようにＲＴＰパケットを削除する。

したがって、ネットワーク１０に対し、設定レート以下出力レートで、パケットを送信することができるため、パケットの損失が発生しない。

＜第２の実施の形態＞
第１の実施の形態では、１つのＲＴＰパケットは、１つのＮＡＬユニットを格納するようにしていた。なお、１つのＮＡＬユニットには、１つのスライスを含む。本実施の形態では、ＮＡＬユニットのサイズに応じて、ＮＡＬユニットを複数に分割する処理、または、複数のＮＡＬユニットを１つのＲＴＰパケット内に格納する処理を行う。

なお、本実施の形態におけるコミュニケーションシステムは、図１のコミュニケーションシステム１０００または図２のコミュニケーションシステム１００１である。また、本実施の形態における通信端末装置は、図４の通信端末装置４００である。そのため、通信端末装置４００の構成について、詳細な説明は繰り返さない。

（フレーム対応処理）
次に、本実施の形態において、通信端末装置４００が、外部から取得するフレームに対して行う処理（以下、フレーム対応処理Ａという）について説明する。

図１１は、フレーム対応処理Ａのフローチャートである。図１１において、図８のステップ番号と同じステップ番号の処理は、第１の実施の形態で説明した処理と同様な処理が行われるので詳細な説明は繰り返さない。

まず、ステップＳ１１１〜Ｓ１１３の処理が、第１の実施の形態と同様に行われる。この処理により、フレームに対し符号化処理が行われることにより得られた符号化データが、複数のＮＡＬユニットに分割される。

ステップＳ１１４Ａでは、ＲＴＰパケット変換処理Ａが行われる。ＲＴＰパケット変換処理Ａでは、以下の条件Ａが満たされる場合、以下の複数パケット統合処理が行われる。また、ＲＴＰパケット変換処理Ａでは、後述する条件Ｂが満たされる場合、以下のパケット分割処理が行われる。

条件Ａは、ステップＳ１１３の処理により得られた複数のＮＡＬユニットのうち、データサイズの合計値（データ量）が、最大パケット化サイズ以下となる複数のＮＡＬユニット（以下、統合対象ＮＡＬユニットという）が存在するという条件である。ここで、最大パケット化サイズ（単位：バイト）とは、（ＭＴＵ（Maximum Transmission Unit）サイズ−ＩＰヘッダサイズ−ＵＤＰ（User Datagram Protocol）ヘッダサイズ−ＲＴＰヘッダサイズ）の式により得られるサイズである。

ＭＴＵサイズ（単位：バイト）は、ネットワーク１０に対して、１回の転送で送信できるデータの最大値である。ＭＴＵサイズは、一例として“１５００”であるとする。ＩＰヘッダサイズとは、ＩＰヘッダのデータサイズである。ＵＤＰヘッダサイズとは、ＵＤＰヘッダのデータサイズである。ＲＴＰヘッダサイズとは、ＲＴＰヘッダのデータサイズである。ここで、最大パケット化サイズは、一例として、“１４６０”であるとする。

条件Ａが満たされる場合、複数パケット統合処理が行われる。
複数パケット統合処理では、分割部４１１Ｎが、複数の統合対象ユニットを、ＲＴＰパケットとしての集合パケット（Aggregation Packet）に変換する。当該集合パケットは、前述した非特許文献に開示されているものである。

なお、集合パケットに変換される対象となる複数の統合対象ＮＡＬユニットは、データサイズの合計値が最大パケット化サイズに最も近づくＮＡＬユニットが選択されるものとする。

図１２は、一例としての集合パケットを示す図である。
集合パケットには、先頭８ビットに集合パケット識別子が記載される。集合パケット識別子には、Ｆ（ゼロ固定ビット）、ＮＲＩ（Nal Ref Idc）（ＮＡＬ参照インデックス）、ｔｙｐｅ（ＮＡＬユニットタイプ）が格納される。

集合パケットには、複数の統合対象ＮＡＬユニットが格納される。複数の統合対象ＮＡＬユニットの各々は、図６に示すように、ＮＡＬユニットのデータサイズを示す部分と、ＮＡＬユニットのデータ部分とから構成される。

したがって、複数の統合対象ＮＡＬユニットは、図１２に示されるように、集合パケットに格納される。なお、図１２に示されるように、集合パケットにおける各行のデータが３２ビット単位にならない場合はパディングが行われる。

また、ＲＴＰパケット変換処理Ａでは、条件Ｂが満たされる場合、以下のパケット分割処理が行われる。

条件Ｂは、ステップＳ１１３の処理により得られた複数のＮＡＬユニットのうち、データサイズの合計値が、前述の最大パケット化サイズより大きいＮＡＬユニット（以下、分割対象ＮＡＬユニットという）が存在するという条件である。

パケット分割処理では、分割部４１１Ｎが、分割対象ＮＡＬユニットを分割することにより、ＲＴＰパケットとしての複数の分割ユニット（Fragmentation Unit）（以下、ＦＵユニットという）を生成する。当該分割ユニットは、前述した非特許文献に開示されているものである。

図１３は、一例としての分割ユニットを示す図である。
分割ユニットは、ＮＡＬユニットのヘッダと同一のシンタックスをもつＦＵ識別子を有する。ＦＵ識別子は、８ビットの識別情報である。また、ＦＵヘッダにはＮＡＬユニットの開始や終端を示す情報が記載されている。ＤＯＮ（Decoding Order Number）には、ピクチャを復号する順番が記載されている。

また、分割ユニットには、ＦＵペイロードの部分に、ＦＵユニットのデータが格納される。なお、図１３に示されるように、分割ユニットにおける各行のデータが３２ビット単位にならない場合はパディングが行われる。

なお、ストリームデータをパケット分割する場合、前述した集合パケットまたは分割ユニットを用いず、単純にストリームデータをパケットサイズで分割してパケット化してもよいし、ＳＥＩなどの情報とスライス情報を分けて別のパケットに格納するように分割してもよい。

以上のように、ＲＴＰパケット変換処理Ａにおいて、複数パケット統合処理およびパケット分割処理が行われることにより、ＲＴＰパケットとしての１以上の集合パケットと、ＲＴＰパケットとしての複数の分割ユニットとが生成される。これにより、ｆ（３以上の整数）個のＲＴＰパケット（集合パケットまたは分割ユニット）が生成されるとする。

そして、分割部４１１Ｎは、ｆ個のＲＴＰパケットの各々に含まれるスライスの位置情報（スライス位置情報）を、当該ＲＴＰパケットと対応付けておく。また、分割部４１１Ｎは、ｆ個のＲＴＰパケットの各々を、順次、通信量監視部４１２へ送信する。なお、分割部４１１Ｎは、ＲＴＰパケットを通信量監視部４１２へ送信する場合、当該ＲＴＰパケットとともに、データ種別情報、サイズ情報および前述したスライス位置情報を、通信量監視部４１２へ送信する。ｆ個のＲＴＰパケットの送信が終了すると、このＲＴＰパケット変換処理Ａは終了する。

ステップＳ１１５では、第１の実施の形態と同様に、図９のパケット対応処理が行われるので詳細な説明は繰り返さない。なお、初めて、パケット対応処理が行われる場合、第１の実施の形態と同様、パケット対応処理が開始されると同時に、時間測定処理が実行される。

図９のステップＳ２２２では、第１の実施の形態と同様にパケット選択処理が行われるので詳細な説明は繰り返さない。

なお、本実施の形態における、パケット選択処理において、パケット制御部４１３により選択された、削除対象となるＲＴＰパケットが前述の分割ユニットであり、かつ、図１０のパケット送信処理が行われた場合、分割ユニットとしてのＲＴＰパケットが欠けたデータを、送信部４１６がネットワーク１０へ送信することになる。

１つの分割ユニットは、１つのＮＡＬユニットが分割されることにより生成される複数の分割ユニットのうちの１つである。この場合、送信部４１６がネットワーク１０へ送信するデータは、ＮＡＬユニットの一部か欠けたデータとなる。その結果、ネットワーク１０を介して、ＮＡＬユニットの一部が欠けたデータを受信した装置は、一部のデータが欠けたＮＡＬユニットを全て破棄する可能性がある。

そこで、パケット制御部４１３が、分割ユニットとしてのＲＴＰパケットを選択する場合、当該分割ユニットと同じＮＡＬユニットから生成された別の分割ユニットとしてのＲＴＰパケットを優先的に選択してもよい。また、パケット選択処理において、パケット制御部４１３は、集合パケットとしてのＲＴＰパケットを優先的に選択してもよい。

なお、パケット制御部４１３が、削除対象となるＲＴＰパケットを選択するときに、集合パケットとしての複数のＲＴＰパケットが存在する場合、集合パケットとしてのＲＴＰパケットに含まれるＮＡＬユニットの数が少ないＲＴＰパケットを優先的に選択してもよい。これは、削除するＮＡＬユニット数が少ないとＩスライスにすべきスライス数が少なくなり、符号化部４１１は設定レートに近いレートで符号化しやすくなるためである。

以上説明したように、本実施の形態では、ＮＡＬユニットのサイズに応じて、ＮＡＬユニットを複数に分割する処理、または、複数のＮＡＬユニットを１つのＲＴＰパケット内に格納する処理を行う。

本実施の形態により、サイズの小さいＮＡＬユニットが多く生成された場合、複数のＮＡＬユニットが格納される集合パケットとしてのＲＴＰパケットが多く生成されるほど、ＲＴＰヘッダのオーバーヘッドをより多く低減することができる。そのため、複数のＮＡＬユニットが格納される集合パケットとしてのＲＴＰパケットが多く生成されるほど、図９のステップＳ２２１の削除データ量算出処理により算出される削除データ量が小さくなる。

そのため、出力レートが設定レートより大きい場合、削除するＲＴＰパケットの数を減らすことができる。すなわち、送信部４１６がネットワーク１０に送信する、１フレームに対応するＲＴＰパケットの数を減らすことができる。その結果、ネットワークの伝送効率を高めるが可能となる。

なお、本発明は、図８、図９、図１０、図１１のフローチャートに示される各ステップを、コンピュータに実行させるプログラムとしても実現することもできる。また、本発明は、当該プログラムを格納するコンピュータ読み取り可能な記録媒体、集積回路としても実現することができる。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

本願発明は、ＮＧＮや専用回線などのように予め利用できる通信帯域が判明しているネットワークにおいて、エンコーダが設定帯域以上のレートでデータを出力した場合でも、設定帯域以内の出力レートでパケットを送信するとともに、画質劣化を抑えることが可能である。そのため、本発明は、ＴＶ会議システム、映像配信システム、遠隔教育システム等に含まれる通信端末装置として利用できる。

本実施の形態に係る２拠点でのコミュニケーションサービスを実現するコミュニケーションシステムの構成を示す図である。 前述したコミュニケーション装置以外の機器も備えたコミュニケーションシステムの構成の一例を示す図である。 コミュニケーション装置の構成の一例を示す図である。 通信端末装置の内部構成を示したブロック図である。 符号化データから得られるフレームと、符号化データを構成する複数のスライスとの対応関係を示す図である。 ＮＡＬユニットの格納形式を示す図である。 状態の異なる複数のフレームを示す図である。 フレーム対応処理のフローチャートである。 パケット対応処理のフローチャートである。 送信処理のフローチャートである。 フレーム対応処理Ａのフローチャートである。 一例としての集合パケットを示す図である。 一例としての分割ユニットを示す図である。

符号の説明

１０ ネットワーク
１１，１２ コミュニケーション装置
４００ 通信端末装置
４１０ 取得部
４１１ 符号化部
４１１Ｎ 分割部
４１２ 通信量監視部
４１６ 送信部
４１７ ネットワーク制御部
１０００，１００１ コミュニケーションシステム

Claims (9)

1. 動画像を構成する複数のフレームを処理する通信端末装置であって、
   前記複数のフレームの各々を順次取得する取得部と、
   前記取得部によりフレームが取得される毎に、該フレームをスライス単位で符号化する処理であって、連続するフレームの相関を利用した符号化処理を行うことにより、該フレームに対応する符号化データを生成する符号化部と、
   前記符号化部により前記符号化データが生成される毎に、該符号化データを分割することにより複数のパケットを生成する分割部と、
   前記分割部により前記複数のパケットが生成される毎に、該複数のパケットを記憶するパケット蓄積部と、
   所定の単位時間経過毎に、該所定の単位時間において前記分割部により生成された複数のパケットに基づいてビットレートを算出し、かつ、算出したビットレートが所定のビットレートより大きいか否かを判定する監視部と、
   前記監視部により算出されたビットレートである算出ビットレートが前記所定のビットレートより大きいと判定された場合、該算出ビットレートを算出するために使用された複数のパケットの一部を選択するパケット制御部とを備え、
   前記パケット制御部は、前記パケット蓄積部に記憶されている複数のパケットのうち、選択したパケットを削除し、
   前記符号化部により生成される前記符号化データは、複数のスライスから構成され、
   前記通信端末装置は、さらに、
   前記パケット制御部により削除されたパケットに対応する符号化データの次の符号化データを前記符号化部が生成する場合、前記次の符号化データから得られるフレームにおいて、前記削除されたパケットに対応するスライスの位置と同じ位置のスライスを、他のフレームに依存しないイントラスライスとするように、前記符号化部を制御する指示部を備える、
   通信端末装置。
2. 前記パケット制御部が選択する一部のパケットのデータ量は、該算出ビットレートと前記所定のビットレートとの差分の値の前記所定の単位時間あたりのデータ量以上である、
   請求項１に記載の通信端末装置。
3. 前記通信端末装置は、さらに、
   前記パケット蓄積部に記憶されている複数のパケットの各々を、該パケットが前記パケット蓄積部に記憶された順で、順次、外部のネットワークへ、前記所定のビットレート以下のビットレートで送信する送信部を備える、
   請求項１または２に記載の通信端末装置。
4. 前記分割部は、前記符号化データを複数の所定単位データに分割し、前記複数の所定単位データのうち、データ量が所定値より大きい所定単位データが存在する場合、該所定単位データを、データ量が前記所定値以下である複数のデータに分割し、前記複数のデータの各々をパケットに変換する、
   請求項１〜３のいずれかに記載の通信端末装置。
5. 前記分割部は、前記符号化データを複数の所定単位データに分割し、前記複数の所定単位データのうち、データ量が所定値未満である複数の所定単位データが存在する場合、該データ量が所定値未満である複数の所定単位データを１つのパケットに変換する、
   請求項１〜４のいずれかに記載の通信端末装置。
6. 前記所定単位データは、ＮＡＬ（Network Abstraction Layer）ユニットである、
   請求項４または５に記載の通信端末装置。
7. 前記分割部が生成する前記複数のパケットの各々は、１つのスライスを含む、
   請求項１〜３のいずれかに記載の通信端末装置。
8. 動画像を構成する複数のフレームを処理し、メモリと、符号化部とを備える通信端末装置が行う通信量制御方法であって、
   前記複数のフレームの各々を順次取得する取得ステップと、
   前記符号化部が、前記取得ステップによりフレームが取得される毎に、該フレームをスライス単位で符号化する処理であって、連続するフレームの相関を利用した符号化処理を行うことにより、該フレームに対応する符号化データを生成する符号化ステップと、
   前記符号化ステップにより前記符号化データが生成される毎に、該符号化データを分割することにより複数のパケットを生成する分割ステップと、
   前記分割ステップにより前記複数のパケットが生成される毎に、該複数のパケットを前記メモリに記憶させる記憶ステップと、
   所定の単位時間経過毎に、該所定の単位時間において前記分割ステップにより生成された複数のパケットに基づいてビットレートを算出し、かつ、算出したビットレートが所定のビットレートより大きいか否かを判定する監視ステップと、
   前記監視ステップにより算出されたビットレートである算出ビットレートが前記所定のビットレートより大きいと判定された場合、該算出ビットレートを算出するために使用された複数のパケットの一部を選択するパケット制御ステップとを備え、
   前記符号化ステップにより生成される前記符号化データは、複数のスライスから構成され、
   前記通信量制御方法は、さらに、
   前記メモリに記憶されている複数のパケットのうち、前記パケット制御ステップにより選択されたパケットを削除する削除ステップと、
   前記パケット制御ステップにより削除されたパケットに対応する符号化データの次の符号化データを前記符号化部が生成する場合、前記次の符号化データから得られるフレームにおいて、前記削除されたパケットに対応するスライスの位置と同じ位置のスライスを、他のフレームに依存しないイントラスライスとするように、前記符号化部を制御する指示ステップとを備える、
   通信量制御方法。
9. 動画像を構成する複数のフレームを処理する集積回路であって、
   前記複数のフレームの各々を順次取得する取得部と、
   前記取得部によりフレームが取得される毎に、該フレームをスライス単位で符号化する処理であって、連続するフレームの相関を利用した符号化処理を行うことにより、該フレームに対応する符号化データを生成する符号化部と、
   前記符号化部により前記符号化データが生成される毎に、該符号化データを分割することにより複数のパケットを生成する分割部と、
   前記分割部により前記複数のパケットが生成される毎に、該複数のパケットを記憶するパケット蓄積部と、
   所定の単位時間経過毎に、該所定の単位時間において前記分割部により生成された複数のパケットに基づいてビットレートを算出し、かつ、算出したビットレートが所定のビットレートより大きいか否かを判定する監視部と、
   前記監視部により算出されたビットレートである算出ビットレートが前記所定のビットレートより大きいと判定された場合、該算出ビットレートを算出するために使用された複数のパケットの一部を選択するパケット制御部とを備え、
   前記パケット制御部は、前記パケット蓄積部に記憶されている複数のパケットのうち、選択したパケットを削除し、
   前記符号化部により生成される前記符号化データは、複数のスライスから構成され、
   前記集積回路は、さらに、
   前記パケット制御部により削除されたパケットに対応する符号化データの次の符号化データを前記符号化部が生成する場合、前記次の符号化データから得られるフレームにおいて、前記削除されたパケットに対応するスライスの位置と同じ位置のスライスを、他のフレームに依存しないイントラスライスとするように、前記符号化部を制御する指示部を備える、
   集積回路。

Images