JP2011239232A - 送信装置、送信方法、並びにプログラム - Google Patents

Abstract

【課題】 動画データを複数の受信装置に送信する場合、各受信装置の通信状況によっては、当該通信状況に合わない動画データが送信されてしまう恐れがあった。
【解決手段】 第１の受信装置に送信可能な第１のデータレートと、第２の受信装置に送信可能な第２のデータレートを取得し、第１及び第２データレートの違いに応じた値が閾値よりも高い場合、異なる制御が行われた動画データが前記第１及び第２の受信装置に送信されるように制御する。
【選択図】 図１

Description

本発明は、動画データの送信方法に関する。

近年、ネットワークカメラやビデオ会議システムなど、ネットワークを介して動画データをリアルタイムに送受信するストリーミング技術が実用化されている。このような動画データの配信では、映像品質を維持するために、伝送速度や回線状況に合わせて、動画の符号化レートを制御したり（特許文献１参照）、フレームを間引く制御が行われている（特許文献２参照）。

特登録０３６９９９１０号 特登録０４２５５６８５号

しかしながら、動画データを複数の受信装置に送信する場合、各受信装置の通信状況によっては、当該通信状況に合わない動画データが送信されてしまう恐れがあった。

例えば、動画データを第１の受信装置と第２の受信装置に送信している場合に、第１の受信装置との間の通信状況が悪化したことにより動画データの符号化レートを下げると、第２の受信装置で表示される動画の画質が必要以上に下がってしまう恐れがあった。

また、例えば、第１の受信装置との間の通信状況が悪化したことにより動画データのフレームレートを下げると、第２の受信装置で表示される動画のフレームレートが必要以上に下がってしまう恐れがあった。

また、例えば、各受信装置の通信状況に応じて、各受信装置ごとに符号化レートを制御すると、レート制御の負荷が大きくなってしまう恐れがあった。

本発明は上記の問題点に鑑みてなされたものであり、その目的は、動画データを複数の受信装置に送信する場合に、送信にかかる負荷を抑えつつ、各受信装置の通信状況により合った動画データを送信できるようにすることである。

上記目的を達成するため、本発明の送信装置は例えば以下の構成を有する。すなわち、符号化された動画データを複数の受信装置に送信する送信装置であって、第１の受信装置に対して送信可能な第１のデータレートと、第２の受信装置に対して送信可能な第２のデータレートとを取得する取得手段と、前記第１及び第２のデータレートの違いに応じて、符号化レート制御及びフレーム間引き制御を行う制御手段を有し、前記制御手段は、前記第１及び第２のデータレートの違いに応じた値が前記閾値以上の場合、異なる制御が行われた動画データが前記第１及び第２の受信装置に送信されるように制御する。

本発明によれば、動画データを複数の受信装置に送信する場合に、送信にかかる負荷を抑えつつ、各受信装置の通信状況により合った動画データを送信できるようになる。

送信装置１００の機能構成例を示すブロック図である。 送信装置１００の処理を示すフローチャートである。 送信装置１００と複数の受信装置の接続形態の一例を示す図である。 送信装置１００が受信装置へ送信する動画データを示す図である。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
図１は、本実施形態の送信装置の機能構成例を示すブロック図である。

図１に示すように、送信装置１００は、符号化部１０２、パケット生成部１０３、ＱｏＳ制御部１０４、データバッファ１０５、通信制御部１０６、伝送速度算出部１０７、通信インターフェース１０８を備える。また、ＱｏＳ制御部１０４は、間引き部１１０とレート制御部１１１とを備える。尚、データバッファ１０５には、受信装置との間で送受信するデータが記憶される。送信装置１００は、符号化された動画データを受信装置へ送信する送信装置である。本形態の送信装置１００は、映像を入力する映像入力装置１０１、及び伝送路１０９に接続される。

映像入力装置１０１は、ビデオカメラやＷｅｂカメラなどの映像を入力するための装置である。ただし、映像入力装置１０１が送信装置１００と一体となっていても良い。

送信装置１００は、パーソナルコンピュータ、ワークステーション、ノートブックＰＣ、コンピュータを内蔵した各種家電装置、ゲーム機、携帯電話、デジタルビデオカメラ、デジタルカメラなどの機器、或いはこれらの組み合わせにより実現可能である。

伝送路１０９は各種ネットワークに代表される伝送路であり、本実施形態においては、受信装置との間で動画データのパケットを始めとする各種パケットを送受信するためのネットワークである。

符号化部１０２は、映像入力装置１０１から入力された動画データをＭＰＥＧ−４ Ｖｉｄｅｏ方式により圧縮符号化する。映像入力装置１０１から入力された動画データは、そのまま配信するにはデータ量が多いため、符号化部１０２により配信前に圧縮符号化される。符号化部１０２は、圧縮符号化した動画データを、フレーム単位でパケット生成部１０３へ入力する。

パケット生成部１０３は、符号化部１０２から入力された動画データをパケット化し、データバッファ１０５へ記憶させる。本実施形態では、動画データの符号化方式としてＭＰＥＧ−４ Ｖｉｄｅｏを用い、符号化された動画データの転送プロトコルとしてＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）を用いる。従ってパケット生成部１０３は、ＭＰＥＧ−４ Ｖｉｄｅｏ符号化動画像データのＲＴＰペイロードフォーマットを規定しているＩＥＴＦ ＲＦＣ３０１６に従って符号化された動画データをパケット化する。

通信制御部１０６は、データバッファ１０５に記憶されたＲＴＰパケット（符号化された動画データ）を、通信インターフェース１０８を介して所定の宛先（受信装置）へ送信する。

伝送速度算出部１０７は、受信装置によって送信された受信状況通知に応じて、受信装置に対して送信可能な動画データのデータレートを算出する。本形態では、受信状況通知として、ＲＴＣＰ（ＲＴＰ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）のレシーバー・レポートを用いるものとする。また、伝送速度算出部１０７は、各受信装置に送信可能なデータレートの違いに応じた値（例えば、差分、分散値、標準偏差）を算出する。本形態では、各受信装置に送信可能なデータレートの違いに応じた統計値（分散）を算出する場合について説明する。

ＱｏＳ制御部１０４は、伝送速度算出部１０７にて算出された統計値（分散値）に応じて、動画データの符号化レートの制御とフレームレートの制御を行う。ＱｏＳ制御部１０４の処理の詳細は後述する。

次に、本実施形態の送信装置１００の処理について、図２を用いて説明する。図２は、本実施形態の送信装置１００による処理の一例を示すフローチャートである。本形態の送信装置１００は、複数の受信装置に対する動画データの送信中に、図２のフローチャートで示す処理を実行する。

送信装置１００の伝送速度算出部１０７は、各受信装置から受信状況通知を取得する（Ｓ２０１）。すなわち、伝送速度算出部１０７は、ステップＳ２０１において、符号化された動画データの受信状況を示す受信状況通知を複数の受信装置のそれぞれから取得する。本形態の伝送速度算出部１０７は、受信状況通知として、ＲＴＣＰのレシーバー・レポートを受信する。

伝送速度算出部１０７は、各受信装置から取得した受信状況通知に基づいて、各受信装置に送信可能な動画データのデータレート（伝送速度）を算出する（Ｓ２０２）。すなわち、Ｓ２０２（取得手順）において、各受信装置に送信可能な動画データのデータレートが取得される。伝送速度算出部１０７は、第１の受信装置から受信した受信状況通知に基づいて、第１の受信装置に送信可能な第１のデータレートを算出し、第２の受信装置から受信した受信状況通知に基づいて、第２の受信装置に送信可能な第２のデータレートを算出する。

伝送速度算出部１０７は、受信状況通知（ＲＴＣＰのレシーバー・レポート）に含まれるパケットロス率や時刻情報（ＲＴＴ）に基づいて、受信装置に送信可能なデータレート（伝送速度）を算出することができる。例えば、ある受信装置に対して、１０Ｍｂｐｓで動画データを送信したときのパケットロス率が０％で、１１Ｍｂｐｓで送信したときのパケットロス率が１０％であった場合、当該受信装置に送信可能なデータレートを１０Ｍｂｐｓと算出する。すなわち、伝送速度算出部１０７は、受信状況通知から、複数の受信装置のそれぞれについて、正常に受信しなかった動画データに関するエラー情報（パケットロス率）を取得する。そして、複数の受信装置のそれぞれに送信された動画データの符号化レートと、エラー情報とに基づいて、複数の受信装置のそれぞれに対して送信可能なデータレートを算出する。

伝送速度の他の算出方法として、例えば、往復遅延時間（Ｒｏｕｎｄ Ｔｒｉｐ Ｔｉｍｅ：ＲＴＴ）を用いる方法がある。伝送速度算出部１０７は、受信装置によって送信された受信状況通知からＲＴＴを算出して、伝送速度を算出する。すなわち、伝送速度算出部１０７は、受信装置による受信状況通知の送信時刻、及び、送信装置による受信状況通知の取得時刻に基づいて、各受信装置と送信装置との間の通信時間（ＲＴＴ）を取得する。そして、取得された通信時間と、送信された動画データの符号化レートとに基づいて、複数の受信装置のそれぞれに対して送信可能なデータレートを算出する。

ただし、伝送速度の算出方法は、上記の方法に限らず、例えば、ジッタなどを用いて算出することも可能である。また、本形態では伝送速度をレシーバー・レポートの受信に応じて行うが、この形態に限らず、例えばユーザからの指定に応じたタイミングや、一定期間ごとに取得するようにしても良い。また、伝送速度算出部１０７は、受信装置から伝送速度が通知された場合は、その値を受信装置の伝送速度として取得する。

また、伝送速度算出部１０７は、Ｓ２０２において、算出されたデータレートの違いに応じた値を算出する。本形態の伝送速度算出部１０７は、第１の受信装置に対して送信可能な第１のデータレートと第２の受信装置に対して送信可能な第２のデータレートとの違いに応じた値として分散値を算出する。伝送速度算出部１０７により算出されたデータレート、及び、分散値は、ＱｏＳ制御部１０４に渡される。

ＱｏＳ制御部１０４は、伝送速度算出部１０７から渡された分散値に基づいて、各受信装置に対して送信可能なデータレート（伝送速度）が同等であるか否かを判定する（Ｓ２０３）。すなわち、ＱｏＳ制御部１０４は、伝送速度算出部１０７により算出された分散値と閾値とを比較する。分散値が閾値以上の場合、受信装置ごとの送信可能なデータレートが同等ではないと判定して、Ｓ２０５に進む。一方、分散値が閾値よりも低い場合、受信装置ごとの送信可能なデータレートが同等であると判定して、Ｓ２０４に進む。

Ｓ２０４において、本形態のレート制御部１１１は、各受信装置について算出されたデータレートのうち、最も低いデータレートに合わせて動画データの符号化レートを制御する。なお、間引き部１１０は、Ｓ２０４において受信装置ごとのフレームレートの制御を行わない。このように、各受信装置に送信可能なデータレート（伝送速度）の違い（ばらつき）が小さい場合は、伝送速度が低い受信装置に合わせて符号化レートを制御して同じ動画データを各受信装置に送信することで、送信処理にかかる負荷を低減できる。

一方、Ｓ２０５（制御手順）において、間引き部１１０は、動画データのフレーム間引きを行う。本形態の間引き部１１０は、各受信装置の伝送速度の平均値を求める。そして、平均値よりも伝送速度が高い受信装置と、平均値よりも伝送速度が低い受信装置とに分類する。間引き部１１０は、平均値よりも高い伝送速度のうち、最も低い伝送速度との差の大きさに応じて、平均値よりも低い伝送速度の受信装置に対して送信する動画データのフレーム間引きを行う。すなわち、平均値よりも伝送速度が高い受信装置と、平均値よりも伝送速度が低い受信装置とでは、データレートに関して異なる制御が行われた動画データが送信されることになる。

例えば、第１、第２、第３の受信装置に対して動画データを送信する場合について説明する。この例において、第３の受信装置に送信可能な第３のデータレートが最も高く、第２の受信装置に送信可能な第２のデータレートが最も低く、第１の受信装置に送信可能な第１のデータレートが第２及び第３のデータレートの中間値よりも高かったとする。この場合、間引き部１１０は、Ｓ２０５において、第１及び第２のデータレートの差の大きさに基づいて、第２の受信装置に送信する動画データのフレーム間引きの間隔を決定する。すなわち、第１及び第３の受信装置に対しては、ＭＰＥＧ−４ Ｖｉｄｅｏで規定されるＩフレーム、Ｐフレーム、Ｂフレームの３種類のすべてのフレームを送信することを決定する。

また、この例において、第１及び第２のデータレートの差が小さい場合は、第２の受信装置に対して、Ｉ、Ｐ、Ｂフレームのうち、Ｂフレームのみを間引いた動画データを送信することを決定する。一方、第１及び第２のデータレートの差が大きい場合は、第２の受信装置に対して、Ｉ、Ｐ、Ｂフレームのうち、Ｐ、Ｂフレームを間引いた動画データを送信することを決定する。

なお、Ｉフレームは、ほかのフレームを参照せずに受信装置において復号可能なイントラフレームである。また、Ｐフレームは、過去のフレームを参照することで受信装置において復号可能なインターフレームである。また、Ｂフレームは、過去、及び未来のフレームを参照することで受信装置において復号可能なインターフレームである。

すなわち、間引き部１１０は、分散が閾値以上の場合、Ｓ２０５（制御手順）において、第１の受信装置に送信する動画データの一部（Ｐ及びＢフレーム）を、第２の受信装置に送信しないように制御する。

続いてＱｏＳ制御部１０４は、フレーム間引き後の符号化レートが適切な符号化レートかを判定する（Ｓ２０６）。すなわち、ＱｏＳ制御部１０４は、平均値よりも高い伝送速度のうち最も低い伝送速度（第１のデータレート）に応じて圧縮符号化された動画データのフレーム間引き後の符号化レートが、平均値以下の各伝送速度よりも高いか否かを判定する。

例えば、第２の受信装置に対してＩフレームのみを送信することが決定された場合、第１の受信装置に送信可能な第１のデータレートに基づいて圧縮符号化された動画データのうち、Ｉフレームのみの符号化レートが、第２のデータレートよりも高いか判定する。また、例えば、第２の受信装置に対してＩ、Ｐフレームを送信することが決定された場合、第１のデータレートに基づいて圧縮符号化された動画データのうち、Ｉ、Ｐフレームのみの符号化レートが、第２のデータレートよりも高いか否かを判定する。フレーム間引き後の符号化レートが第２のデータレートよりも高い場合はＳ２０７に進み、高くない場合はＳ２０８に進む。

Ｓ２０７において、レート制御部１１１は、伝送速度が低い受信装置に送信可能なデータレートに合わせて符号化レートを制御する。例えば、第１のデータレートに基づいて圧縮された動画データのＩフレームのみの符号化レートが第２のデータレートよりも高い場合、レート制御部１１１は、Ｉフレームの画質を第２のデータレートに基づいて下げる。また、このとき、Ｐ、Ｂフレームの画質を上げる。このようにすることにより、第１及び第３の受信装置における画質の劣化を低減しつつ、第２の受信装置におけるパケットロスを低減できる。

なお、本形態では、Ｓ２０７でイントラフレームの符号化レートを下げることについて説明したが、例えば、イントラフレームの間隔を広げるようにしても良い。すなわち、統計値（分散値）が閾値以上の場合において、インターフレームを除く動画データの符号化レートであって、第１のデータレートを用いて決定された符号化レートが、第２のデータレートよりも高い場合、イントラフレームの出現間隔を広げるようにしても良い。

間引き部１１０は、Ｓ２０５のフレーム間引き後の動画データの動きが滑らかか否かを判定する。例えば、間引き部１１０は、フレーム間引き後のフレームレートが閾値（２ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃ））よりも低ければ、動きが滑らかでないと判定し、Ｓ２０９に進み、閾値以上であれば、Ｓ２１０に進む。すなわち、間引き部１１０は、インターフレームが送信されない第２の受信装置に送信する動画データのフレームレートが所定のフレームレートよりも低いか否かを判定する。フレームレートの閾値は、固定値であっても、動画の動きの有無に応じて可変とすることも、ユーザによって指定できるようにすることも可能である。例えば、動画の動きが大きい場合はフレームレートの閾値を高くし、動きが小さい場合は閾値を低くすることができる。

Ｓ２０８において動きが滑らかでない（フレームレートが閾値未満）と判定された場合、ＱｏＳ制御部１０４は、Ｉフレームの間隔を小さくするべくＧＯＰ構成の変更要求を符号化部１０２へ送信し（Ｓ２０９）、Ｓ２０４へ戻る。ＱｏＳ制御部１０４からのＧＯＰ構成変更要求を受信した符号化部１０２は、要求に従いＧＯＰ構成を変更する。すなわち、ＱｏＳ制御部１０４は、インターフレームが送信されない第２の受信装置に送信する動画データのフレームレートが所定のフレームレートよりも低いと判定された場合、イントラフレームの出現間隔を狭くする。

一方、Ｓ２０８において動きが滑らかである（フレームレートが閾値以上）と判定された場合、ＱｏＳ制御部１０４は、各受信装置の伝送速度の平均値よりも高い伝送速度のうち、最も低い伝送速度に基づいて制御し（Ｓ２０９）、処理を終了する。この例では、第１のデータレート（第１の受信装置の伝送速度）に基づいて動画データの符号化レートが制御される。なお、図２の処理は、受信状況通知の受信に応じて開始しても良いし、ユーザの指定に応じたタイミングで行っても良いし、所定期間ごとに行うようにしても良い。

なお、本形態では、統計値（分散値）が閾値よりも高い場合、各受信装置の伝送速度の平均値よりも高い伝送速度のうち、最も低い伝送速度に基づいて符号化レートを制御すると共に、当該伝送速度との差に応じて、フレームレートを制御することについて説明した。しかし、この形態に限らない。例えば、各受信装置の伝送速度のうち、最も高い伝送速度に基づいて符号化レートを制御すると共に、当該伝送速度との差に応じて、フレームレートを制御するようにしても良い。

次に、本実施形態のシステム全体の処理について、図３及び図４を用いて説明する。図３は、送信装置１００と複数の受信装置（３０１〜３０３）の接続形態及び伝送速度の一例を示す図である。

送信装置１００と第１の受信装置３０１、第２の受信装置３０２、第３の受信装置３０３は、ネットワーク３０４（図１では伝送路１０９に相当）を介して接続されている。また、送信装置１００と第１の受信装置３０１との間の伝送速度は９Ｍｂｐｓ、送信装置１００と第３の受信装置３０３との間の伝送速度は１０Ｍｂｐｓであり、各々の伝送速度は一定である。すなわち、送信装置１００が第１の受信装置３０１に対して９Ｍｂｐｓ以下の符号化レートの動画データを送信すれば、通信経路でパケットロスが発生しないことが見込まれる。一方、送信装置１００と第２の受信装置３０２との間の伝送速度は、回線状況によって５１２ｋｂｐｓから９Ｍｂｐｓの間で変動する。

図４は、送信装置１００の符号化部１０２により符号化される動画データと、第２の受信装置３０２へ送信される動画データの関係を時間経過と共に示す図である。

図中４０１は、第２の受信装置３０２の伝送速度の変化を時間経過と共に示している。時刻ｔ１から時刻ｔ２の間の伝送速度は９Ｍｂｐｓであり、時刻ｔ３から時刻ｔ４の間の伝送速度は１Ｍｂｐｓであり、時刻ｔ５から時刻ｔ６の間の伝送速度は５１２ｋｂｐｓである。尚、図４では時刻ｔ１以前と、時刻ｔ２から時刻ｔ３の間、時刻ｔ４から時刻ｔ５の間、時刻ｔ５から時刻ｔ６の間の伝送速度は図示しない。

図中４０２は、符号化部１０２による符号化された各フレームのサイズを示している。また、図中４０３は、第２の受信装置３０２へ送信される各フレームのサイズを示している。時刻ｔ１、ｔ２、ｔ３、ｔ４、ｔ５、ｔ６に符号化されたフレームはイントラフレームであり、それ以外の時刻に符号化されたフレームはインターフレームである。尚、時刻ｔ１以前と、時刻ｔ２から時刻ｔ３の間、時刻ｔ４から時刻ｔ５の間、時刻ｔ５から時刻ｔ６の間にもフレームが存在するが、図４ではこれらのフレームは図示しない。本実施形態において、４０２で示される各フレームは、第１及び第３の受信装置３０１へと送信される。

時刻ｔ１から時刻ｔ２の間の伝送速度は、第１の受信装置３０１が９Ｍｂｐｓ、第２の受信装置３０２が９Ｍｂｐｓ、第３の受信装置３０３が１０Ｍｂｐｓである。この区間においては、第１の受信装置３０１と第２の受信装置３０２と第３の受信装置３０３における伝送速度は同等であると判定される（Ｓ２０３）。従って、最も伝送速度の低い受信装置の伝送速度（９Ｍｂｐｓ）に合わせて動画の符号化レートが制御される（Ｓ２０４）。具体的には、図４の４０２のようにイントラフレームのサイズがｒ４、インターフレームのサイズがｒ１に制御され、各受信装置へ同一の動画データが送信される。

時刻ｔ３から時刻ｔ４の間の伝送速度は、第１の受信装置３０１が９Ｍｂｐｓ、第２の受信装置３０２が１Ｍｂｐｓ、第３の受信装置３０３が１０Ｍｂｐｓである。この区間では、複数の受信装置（３０１〜３０３）における伝送速度が同等でない（ばらつきがある）と判定される（Ｓ２０３）。そして、伝送速度が最も低い第２の受信装置３０２には、４０３に示す通り、イントラフレームのみが送信される。一方、第１の受信装置３０１と第３の受信装置３０３へは、全ての動画フレームが送信される。

時刻ｔ５から時刻ｔ６の間の伝送速度は、第１の受信装置３０１が９Ｍｂｐｓ、第２の受信装置３０２が５１２ｋｂｐｓ、第３の受信装置３０３が１０Ｍｂｐｓである。この区間では、Ｓ２０３において、複数の受信装置（３０１〜３０３）における伝送速度が同等でない（ばらつきがある）と判定される（Ｓ２０３）。そして、Ｓ２０５において、第２の受信装置に対してイントラフレームのみを送信することが決定される。さらに、Ｓ２０６において、第１の受信装置３０１の伝送速度（９Ｍｂｐｓ）に基づいて決定された動画データのイントラフレームのみの符号化レートが、時刻ｔ５からｔ６の間の第３の受信装置の伝送速度（５１２ｋｂｐｓ）よりも高いと判定される。そこで、レート制御部１１１は、第１の受信装置３０１の伝送速度（９Ｍｂｐｓ）に基づいて制御した場合よりもイントラフレームの符号化レートが下がるように制御を行う。また、この場合、レート制御部１１１は、インターフレームの符号化レートが上がるように制御する。

従って、第２の受信装置３０２へ送信される動画データは、４０３に示す通り、フレームサイズｒ４よりも小さいフレームサイズｒ３のイントラフレームのみとなる。フレームサイズｒ３は、第２の受信装置３０２の伝送速度（５１２ｋｂｐｓ）に基づいてレート制御部１１１において算出されたフレームサイズである。一方、第１の受信装置３０１と第３の受信装置３０３へは、４０２の時刻ｔ５から時刻ｔ６の間の、フレームサイズｒ３のイントラフレームとフレームサイズｒ２のインターフレームが送信される。ここでフレームサイズｒ２は、第１の受信装置３０１の伝送速度（９Ｍｂｐｓ）と、イントラフレームのフレームサイズｒ３に基づいて、レート制御部１１１において算出されたフレームサイズである。

以上説明したように、本形態の送信装置１００は、受信装置に対して送信可能なデータレート（伝送速度）を、受信装置からの受信状況通知に基づいて、複数の受信装置ごとに算出すると共に、伝送速度の違いに応じた値を算出する。そして、算出された値が閾値以上の場合は、伝送速度の平均値よりも高い伝送速度のうち、最も低い伝送速度に基づいて符号化レートを制御すると共に、平均値よりも低い伝送速度に基づいて、各受信装置のフレームレートを制御する。一方、算出された値が閾値よりも低い場合は、最も低い伝送速度に基づいて符号化された動画データを各受信装置に送信する。なお、本形態では、伝送速度の違いに応じた値として、各伝送速度の分散値を用いる例について説明したが、例えば、各伝送速度の差分、標準偏差などを用いるようにしても良い。

このようにすることで、複数の受信装置に対して動画データを送信する場合に、個別にレート制御をする場合よりも送信処理にかかる負荷を低減できると共に、各受信装置の通信状況に応じた動画データの送信ができるようになる。

＜その他の実施形態＞
前述の実施形態では、送信装置１００が動画データの符号化処理を行う機能を有していたが、符号化部１０２と送信装置１００が別々の装置であっても良い。

また、前述の実施形態では、動画データの符号化方式としてＭＰＥＧ−４ Ｖｉｄｅｏ方式を用い、動画データの転送プロトコルとしてＲＴＰを用いた。しかし、動画データの符号化方式としては、例えばＭＰＥＧ−２やＨ．２６４など、フレーム間予測符号化方式による符号化を行う類似の符号化方式を用いることができる。また、動画データの転送プロトコルについても、ＲＴＰに限らずＯＳＩ参照モデルの同一レイヤーの他のプロトコルまたは別レイヤーの他のプロトコルを用いることが可能である。

また、前述の実施形態では、送信装置１００が伝送速度の算出処理を行う機能を有していたが、伝送速度算出部１０７と送信装置１００が別々の装置であっても良く、外部の測定器からの通信帯域情報を利用することも可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 符号化された動画データを複数の受信装置に送信する送信装置であって、
   第１の受信装置に対して送信可能な第１のデータレートと、第２の受信装置に対して送信可能な第２のデータレートとを取得する取得手段と、
   前記第１及び第２のデータレートの違いに応じて、符号化レート制御及びフレーム間引き制御を行う制御手段を有し、
   前記制御手段は、前記第１及び第２のデータレートの違いに応じた値が前記閾値以上の場合、異なる制御が行われた動画データが前記第１及び第２の受信装置に送信されるように制御することを特徴とする送信装置。
2. 前記取得手段は、
   前記符号化された動画データの受信状況を示す受信状況通知を前記第１及び第２の受信装置のそれぞれから受信する受信手段と、
   前記第１及び第２の受信装置から取得された受信状況通知に基づいて、前記第１の受信装置に対して送信可能な第１のデータレートと、前記第２の受信装置に対して送信可能な第２のデータレートを算出する算出手段とを有することを特徴とする請求項１記載の送信装置。
3. 前記第１及び第２のデータレートの違いに応じた値は、前記第１及び第２のデータレートの分散値であることを特徴とする請求項１記載の送信装置。
4. 前記制御手段は、前記第１及び第２のデータレートの違いに応じた値が前記閾値以上の場合、前記第１の受信装置に送信する動画データのフレームのうち、ほかのフレームを参照することで復号可能なインターフレームの少なくとも一部を前記第２の受信装置に送信しないように制御することを特徴とする請求項１乃至３のうちいずれか１項記載の送信装置。
5. 前記制御手段は、前記第１及び第２のデータレートの違いに応じた値が前記閾値以上の場合であって、
   前記インターフレームを除く動画データの符号化レートであって、前記第１のデータレートを用いて決定された符号化レートが、前記インターフレームが送信されない前記第２の受信装置に送信可能な前記第２のデータレートよりも高い場合、前記動画データのフレームのうち、ほかのフレームを参照せずに復号可能なイントラフレームの符号化レートを、前記第１のデータレートを用いて決定された符号化レートよりも下げることを特徴とする請求項４記載の送信装置。
6. 前記制御手段は、前記第１及び第２のデータレートの違いに応じた値が前記閾値以上の場合であって、
   前記インターフレームを除く動画データの符号化レートであって、前記第１のデータレートを用いて決定された符号化レートが、前記インターフレームが送信されない前記第２の受信装置に送信可能な前記第２のデータレートよりも高い場合、前記動画データのフレームのうち、ほかのフレームを参照せずに復号可能なイントラフレームの出現間隔を広げることを特徴とする請求項４記載の送信装置。
7. 前記インターフレームが送信されない前記第２の受信装置に送信する動画データのフレームレートが所定のフレームレートよりも低いか否かを判定する判定手段を有し、
   前記制御手段は、前記インターフレームが送信されない前記第２の受信装置に送信する動画データのフレームレートが前記所定のフレームレートよりも低いと前記判定手段により判定された場合、前記動画データのフレームのうち、ほかのフレームを参照せずに復号可能なイントラフレームの出現間隔を狭くすることを特徴とする請求項５又は６のうちいずれか１項記載の送信装置。
8. 前記算出手段は、前記受信状況通知から、前記複数の受信装置のそれぞれについて、正常に受信しなかった動画データに関するエラー情報を取得すると共に、
   前記複数の受信装置のそれぞれに対して送信された動画データの符号化レートと、前記エラー情報とに基づいて、前記複数の受信装置のそれぞれに対して送信可能なデータレートを算出することを特徴とする請求項２記載の送信装置。
9. 前記算出手段は、前記受信状況通知の送信時刻、及び、当該受信状況通知の取得時刻に基づいて、前記複数の受信装置のそれぞれについて、前記送信装置との間の通信時間を取得すると共に、
   前記複数の受信装置のそれぞれに対して送信された動画データの符号化レートと、前記通信時間とに基づいて、前記複数の受信装置のそれぞれに対して送信可能なデータレートを算出することを特徴とする請求項２記載の送信装置。
10. 符号化された動画データを複数の受信装置に送信する送信装置が行う送信方法であって、
    第１の受信装置に対して送信可能な第１のデータレートと、第２の受信装置に対して送信可能な第２のデータレートとを取得する取得工程と、
    前記第１及び第２のデータレートの違いに応じて、符号化レート制御及びフレーム間引き制御を行う制御工程を有し、
    前記制御工程は、前記第１及び第２のデータレートの違いに応じた値が前記閾値以上の場合、異なる制御が行われた動画データが前記第１及び第２の受信装置に送信されるように制御することを特徴とする送信方法。
11. 符号化された動画データを複数の受信装置に送信するコンピュータに、
    第１の受信装置に対して送信可能な第１のデータレートと、第２の受信装置に対して送信可能な第２のデータレートとを取得する取得手順と、
    前記第１及び第２のデータレートの違いに応じて、符号化レート制御及びフレーム間引き制御を行う制御手順とを実行させ、
    前記制御手順は、前記第１及び第２のデータレートの違いに応じた値が前記閾値以上の場合、異なる制御が行われた動画データが前記第１及び第２の受信装置に送信されるように制御することを特徴とするプログラム。

Images