JP2018152656A - 伝送装置、映像配信装置、映像符号化装置及び伝送方法 - Google Patents

Abstract

【課題】映像データを配信するシステムにおいて、映像配信装置が映像データのフレームを間引くことによって配信のビットレートを調整すると、受信機器のなかには、受信した映像データのフレームレートが一定でなければ正常に復号し再生することができないものが存在するため、このような受信機器には映像データを配信することが出来ず、配信先とする受信機器が限られてしまう。【解決手段】複数のフレームで構成された映像データが入力され、データ処理が加えられた映像データをネットワーク２に送信する伝送装置が、ネットワーク２に送信される複数のフレームのうち未送信のフレームを一旦格納する送信バッファ部３０２と、格納された未送信のフレームのデータ量に基づきネットワーク２の通信負荷を算出する通信負荷算出部３０３と、通信負荷に基づいて映像データを構成する複数のフレームの一部を差替フレームに差し替える差替部３０６を備えた。【選択図】 図３

Description

本発明は、映像データを配信する伝送装置と、当該伝送装置を備えた映像配信装置及び映像符号化装置と、当該伝送装置で用いられる伝送方法に関する。

従来、Ｈ．２６４等の動画圧縮規格に基づき符号化された映像データを映像配信装置で配信し、受信機器で当該映像データを受信して復号及び再生処理を行う場合に、例えば配信経路となるネットワークの通信帯域不足により、通信負荷が上限に近い状態となると、映像データを構成するフレームの遅延又は損失が発生してしまい、それによって受信機器で再生中の映像が一時的に止まったり飛んでしまったりする問題がある。

上記の問題を解決するために、従来技術では、配信する映像データのフレームを間引いて映像データのフレームレートを落とすことで、配信のビットレートを調整しながら通信帯域の不足を回避する手法が行われている（例えば、特許文献１参照）。

国際公開ＷＯ２０１０／１３７５０２号

しかしながら、従来技術のように、映像データのフレームを間引くことによって配信のビットレートを調整してしまうと、受信機器のなかには、受信した映像データのフレームレートが一定でなければ正常に復号し再生することができないものが存在するため、このような受信機器には映像データを配信することが出来ず、配信先とする受信機器が限られてしまう問題がある。

本発明は、上記のような問題を解決するためのものであり、受信した映像データのフレームレートが一定でなければ正常に復号し再生することができない受信機器であっても正常に復号し再生可能な映像データを送信する伝送装置と、当該伝送装置で用いられる伝送方法とを得ることを目的とする。

本発明は、複数のフレームで構成された映像データが入力され、データ処理が加えられた映像データをネットワークに送信する伝送装置であって、ネットワークに送信される複数のフレームのうち未送信のフレームを一旦格納する送信バッファ部と、送信バッファ部に格納された未送信のフレームのデータ量に基づき、ネットワークの通信負荷を算出する通信負荷算出部と、データ処理として、通信負荷に基づいて映像データを構成する複数のフレームの一部を差替フレームに差し替える差替部とを備えた伝送装置である。

また、本発明は、複数のフレームで構成された映像データを入力する入力工程と、複数のフレームのうち未送信のフレームを一旦格納する格納工程と、未送信のフレームのデータ量に基づき、ネットワークの通信負荷を算出する算出工程と、算出工程で算出した通信負荷に基づいて複数のフレームの一部を差替フレームに差し替えるデータ処理を加える差替工程と、データ処理が加えられた映像データをネットワークに送信する送信工程とを有する伝送方法である。

本発明によれば、伝送装置が、映像データを配信するネットワークの通信負荷に基づいて、当該映像データの一部のフレームを差替フレームに差し替えるように構成したので、一定のフレームレートのもとで配信のビットレートを調整しながら受信機器に映像データを配信することが可能となる。その結果として、一定のフレームレートの映像データのみに対応した受信機器であっても、映像データを正常に復号させる効果が得られる。

本発明の実施の形態１における、映像データの配信システム全体の構成を示すシステム構成図である。 監視カメラシステムの構成を示すシステム構成図である。 映像配信装置内に設けられた伝送装置の機能を示す機能ブロック図である。 伝送装置での差分フレームのフレーム差し替え処理を示すフローチャート図である。 伝送装置での差分フレーム及びＩフレームの差し替え処理を示すフローチャート図である。 映像データのフレーム差し替え処理を説明するための模式図である。 フレーム差し替え処理を行った場合のネットワークの通信負荷を示す模式図である。 本発明の実施の形態２における、監視カメラシステムの構成を示すシステム構成図である。 映像配信装置の機能を示す機能ブロック図である。 本発明の実施の形態３における、映像符号化装置及び映像配信装置の機能を示す機能ブロック図である。 本発明の実施の形態４における、映像配信装置内に設けられた伝送装置の機能を示す機能ブロック図である。

Ｈ．２６４等の動画圧縮の規格によれば、Ｉフレームは前後のフレームとの関連を持たず単独で１フレームの映像データを表現するフレームである。また、Ｐフレームは前のフレームとの差分情報をもとに符号化されたフレームである。また、Ｂフレームは前後のフレームとの差分情報をもとに符号化されたフレームである。

以下では、上記のＰフレーム及びＢフレームを”差分フレーム”と呼ぶ。そして、説明の簡略のため、Ｐフレームを用いて差分フレームを説明する。ただし、差分フレームにＰフレーム及びＢフレームが混在する場合、又は差分フレームがＢフレームのみの場合についても同様に扱うものとする。

実施の形態１．
図１は、本発明の実施の形態１における、映像データの配信システム全体の構成を示すシステム構成図である。

監視カメラシステム１は、監視カメラ等の撮像装置で撮像した映像データを遠隔に置かれた受信機器３ａ，３ｂ，・・・，３ｎに配信するシステムである。監視カメラシステム１はネットワーク２を介して受信機器３ａ，３ｂ，・・・，３ｎと通信する。以下、受信機器３ａ，３ｂ，・・・，３ｎを便宜上まとめて受信機器３と表す。受信機器３の数は１以上とする。

監視カメラシステム１が配信する映像データは符号化されており、受信機器３は、監視カメラシステム１から受信した映像データを復号する。ここでの符号化とは映像データの各フレームを圧縮する処理を指し、復号とは符号化によって圧縮された映像データを圧縮前の映像データに戻す処理を指す。

監視カメラシステム１はネットワーク２に対して映像データをＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）通信によって送信しており、受信機器３は映像データの各フレームを受信すると、受信完了の応答（以降、ＡＣＫ応答と呼ぶ。）を返す。そして、監視カメラシステム１はネットワーク２を介して受信機器３からＡＣＫ応答を受信すると、次のフレームをネットワーク２に対して送信する。このため、監視カメラシステム１では、送信したフレームに対するＡＣＫ応答を受信するまで、送信待ちとなっている未送信のフレームを一時的にバッファリングする。

このように、監視カメラシステム１がＴＣＰ通信を用いて映像データを送信することで、ネットワーク２においてフレームを損失する可能性が高い公衆回線を経由することがあっても、受信機器３からのＡＣＫ応答を受信しない場合にはフレームの再送を行うなどして、フレームの損失を避けることができる。

なお、監視カメラシステム１は、受信機器３からの要求、又は監視カメラシステム１での設定等により、複数ある映像データを選択してＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）通信によって送信することも可能である。

図２は、監視カメラシステム１の構成を示すシステム構成図である。監視カメラシステム１は、映像符号化装置１１及び映像配信装置１２で構成される。

映像符号化装置１１は、ネットワークカメラ等の撮像装置であり、カメラデバイスによって作成した映像データを符号化し、通信プロトコルを用いて他の装置に映像データを送信する。

映像配信装置１２は、ネットワークレコーダ等の記録装置であり、映像符号化装置１１が送信した映像データを受信し、ネットワーク２を介して受信機器３に配信する。映像配信装置１２は、ストリーム制御部２０１、伝送装置２０２及び記録部２０３を備える。

ストリーム制御部２０１は、映像符号化装置１１から受信した映像データを、例えば、映像データに付与された情報、映像符号化装置１１から受信した情報、その他の種々の設定に基づき、複数の映像データがあれば映像データごとに、また映像データの配信先が複数あれば配信先ごとに、伝送装置２０２又は記録部２０３に出力する。

伝送装置２０２は、ストリーム制御部２０１から入力された映像データを、帯域制御を行いながらネットワーク２を介して受信機器３に配信する。ここでの帯域制御とは、映像データを配信するときのビットレートを調整することを指し、ネットワーク２の通信負荷に基づいて、入力された映像データを構成する複数のフレームの一部を差替フレームに差し替えて、映像データのデータ量を調整しつつ配信する。

記録部２０３は、記録装置の記録媒体に相当するものであって、映像符号化装置１１から受信した映像データを記録するとともに、記録された映像データを、ストリーム制御部２０１を介して伝送装置２０２に出力する機能を有する。映像データの出力に伴い、記録部２０３に複製を残しておくことも、複製せず出力とともに記録部２０３から消去することも可能である。

ストリーム制御部２０１は、受信機器３からの要求、又は監視カメラシステム１での種々の設定に応じて、受信した映像データを記録部２０３に一旦記録した後に伝送装置２０２に出力したり、記録部２０３に記録せず伝送装置２０２に出力したりすることが可能である。

図３は、映像配信装置１２内に設けられた伝送装置２０２の機能を示す機能ブロック図である。伝送装置２０２は、送信部３０１、送信バッファ部３０２、差替部３０６及びフレーム制御部３０７の機能ブロックで構成される。また、フレーム制御部３０７は、通信負荷算出部３０３、フレーム情報保持部３０４及び判定部３０５で構成される。

先ず、伝送装置２０２を構成する各機能ブロックについて説明する。

送信部３０１は、差替部３０６でデータ処理を加えられた映像データを、送信バッファ部３０２を介してネットワーク２に送信する。

送信バッファ部３０２は、送信部３０１が送信した映像データのフレームのうち、未送信のフレームを一旦格納するバッファである。送信バッファ部３０２は、Ｈ／Ｗ（ハードウェア）とＳ／Ｗ（ソフトウェア）のいずれで実装されても良く、さらに複数のバッファ領域を含み、送信する映像データのフレームを区別してバッファリングしても良い。

フレーム制御部３０７を構成する通信負荷算出部３０３は、ネットワーク２の通信負荷を算出し、算出した通信負荷を判定部３０５に出力する。このときの通信負荷は、通信負荷算出部３０３が送信バッファ部３０２を参照して得られる、送信バッファ部３０２に格納された未送信のフレームのデータ量に基づいて算出される。

フレーム制御部３０７を構成するフレーム情報保持部３０４は、通信負荷算出部３０３が通信負荷を算出するきっかけとなった入力フレームよりも１つ前に入力されたフレームの情報を保持する。フレーム情報保持部３０４は、例えば、入力された最新のフレームと、その１つ前に入力されたフレームとを保持するように構成する。このようにすれば、入力された最新のフレームの情報が設定される際に、前回に入力された最新のフレームとして設定された情報を、１つ前に入力されたフレームとして設定し直されることで、１つ前に入力されたフレームを保持することができる。

このときの情報の設定は、ストリーム制御部２０１から映像データが入力される通信負荷算出部３０３又は送信部３０１のいずれが行っても良いが、本実施の形態１では、通信負荷算出部３０３が行うものとする。

フレーム制御部３０７を構成する判定部３０５は、通信負荷算出部３０３から入力される通信負荷及びフレーム情報保持部３０４から取得するフレームの情報に基づき、差替部３０６に対して差替開始信号又は差替終了信号を出力する。差替開始信号は、入力された差分フレームを差替フレームに差し替えて送信することを指示する信号である。また、差替終了信号は、入力された差分フレームを差し替えずに送信することを指示する信号である。これらの信号の詳細は後述する。

差替部３０６は、判定部３０５から入力される上記の信号に基づき、ストリーム制御部２０１から入力される映像データを構成する複数のフレームの一部を差替フレームに差し替える。ここでの差替フレームとは、前のフレームとの差分情報がないＰフレームである。差替フレームを含んで構成された映像データを受信した受信機器は、差替フレームを前のフレームとの差分情報がないＰフレームと識別して、正常に映像データを復号することが可能である。なお、差替フレームは、差替部３０６で予め用意されていて、入力されたフレームの全体を差し替えるものであっても良いし、例えばアドレス情報等を除くフレームの一部を差し替えるものであっても良い。

フレーム制御部３０７は、通信負荷算出部３０３、フレーム情報保持部３０４及び判定部３０５の間の情報又は信号の入出力と、フレーム制御部３０７内外の機能部の間の情報又は信号の入出力とを制御する。フレーム制御部３０７での制御によって、ストリーム制御部２０１からフレームが入力されるタイミングと同期をとりながら、通信負荷算出部３０３は通信負荷を算出し、判定部３０５は差替部３０６に対して差替開始信号及び差替終了信号を出力することが可能となり、ストリーム制御部２０１からフレームが入力された直後のタイミングで、差替部３０６は差替フレームへの差し替え処理に実行を切り替えることが可能となる。

なお、図３では、ストリーム制御部２０１からの映像データを通信負荷算出部３０３に入力するようにしているが、これは、映像データの各フレームが差替部３０６に入力されるタイミングを通信負荷算出部３０３が検出できるようにするためである。

上記の伝送装置２０２の構成は一例であり、伝送装置２０２が、ネットワーク２の通信負荷に基づき、入力された映像データのフレームの一部を差替フレームに差し替えることができるものであれば別の構成としても良い。

次に、伝送装置２０２を構成する各機能ブロックの動作について説明する。

通信負荷算出部３０３は、ストリーム制御部２０１から映像データのフレームが入力されたタイミングで、ネットワーク２の通信負荷の算出を行う。言い換えれば、フレームの入力が通信負荷の算出のきっかけとなる。

このときの通信負荷は、通信負荷算出部３０３が送信バッファ部３０２を参照して得られる、送信バッファ部３０２に格納された未送信のフレームのデータ量に基づいて算出される。具体的には、送信バッファ部３０２に格納されたフレームのデータ量の単位時間あたりの増減量から算出される伝送レート、又は格納されたフレームのデータ量そのもの等が考えられる。

ここで、伝送装置２０２から受信機器３にＴＣＰ通信でフレームを送信すると、伝送装置２０２からのフレームを受信した受信機器３が受信完了のＡＣＫ応答を返すまで、送信バッファ部３０２のバッファ領域の、送信した当該フレームに使用されている分は解放されない。このような仕組みから、ネットワーク２の通信負荷が高い状態となりＡＣＫ応答の受信が遅れると、送信バッファ部３０２のバッファ領域に格納される未送信フレームは、送信されて減るよりも送信されずにさらに格納されて増え続けることになる。したがって、送信バッファ部３０２のバッファ領域に格納された未送信のフレームのデータ量に基づき、ネットワーク２の通信負荷を算出することができる。

判定部３０５は、差替部３０６に対して差替開始信号及び差替終了信号を出力したかどうかを管理しており、そうすることで、差替部３０６において入力された差分フレームを差替フレームに差し替える処理を実行中であるかどうかを判断することができる。

また、判定部３０５は、通信負荷算出部３０３から入力された通信負荷に基づき、差替部３０６に対して差分フレームの差替フレームへの差し替え処理を開始させる基準となる差替開始閾値Ｔｓと、差替部３０６に対して差分フレームの差替フレームへの差し替え処理を終了させる基準となる差替終了閾値Ｔｅとを予め保持している。
そして、判定部３０５は、差替部３０６での差し替え処理が実行中でなければ、入力された通信負荷と差替開始閾値Ｔｓとの比較を行い、差替部３０６での差し替え処理が実行中であれば、入力された通信負荷と差替終了閾値Ｔｅとの比較を行う。

そこで、通信負荷が差替開始閾値Ｔｓを上回る場合には、判定部３０５は、差替部３０６に対して差替開始信号を出力する。また、通信負荷が差替終了閾値Ｔｅを下回り、かつ、差し替え候補となるフレームの１つ前に入力されたフレームがＩフレームである場合には、判定部３０５は、差替部３０６に対して差替終了信号を出力する。１つ前に入力されたフレームの確認は、フレーム情報保持部３０４が保持する情報を取得して行う。

ところで、判定部３０５が、通信負荷が差替終了閾値Ｔｅを下回った場合に、１つ前に入力されたフレームがＩフレームであるかどうかを確認するのは、映像データを構成するフレームの順序において、仮に、差分フレームの直前に差替フレームが並んでしまうと、受信機器３がこのような映像データを受信しても正常に復号できない虞があるからである。そのため、差分フレームの直前に確実にＩフレームが並ぶようにフレームを確認する。

差替部３０６は、差替開始信号及び差替終了信号のうち、判定部３０５から入力された直近の信号が差替開始信号でなければ、入力された差分フレームをそのまま送信部３０１に出力する。
また、差替部３０６は、差替開始信号及び差替終了信号のうち、判定部３０５から入力された直近の信号が差替開始信号であれば、入力された差分フレームを差し替え対象として差替フレームに差し替えて送信部３０１に出力する。
また、差替部３０６は、差替開始信号及び差替終了信号のうち、判定部３０５から入力された直近の信号が差替終了信号であれば、入力された差し替え候補の差分フレームを差替フレームに差し替えずにそのまま送信部３０１に出力する。
このとき差し替えられた差替フレームは、映像データを構成するフレームとして送信される。
このように、差替部３０６は、差替開始信号及び差替終了信号の入力に基づき、差分フレームの差替フレームへの差し替え処理を実行するかどうかを切り替える。

なお、差替開始信号及び差替終了信号には、通信負荷を算出するきっかけとなった入力フレームに関する情報として、例えば、構成する映像データの情報又はアドレスの情報等を含めるようにしても良い。

また、通信負荷算出部３０３での通信負荷の算出は全てのフレームが入力されるタイミングで行うようにしているが、例えば、所定のフレーム数が入力されたタイミング、又はＩフレームが入力されたタイミングで算出しても良いし、所定の周期で算出しても良い。

また、通信負荷算出部３０３が通信負荷を算出するＴＣＰ通信のフレームは、映像データのフレームであっても良いし、映像データをＵＤＰ通信で配信する場合には、その他のフレームであっても良い。

さらに、ネットワーク２の通信負荷は、送信バッファ部３０２を参照する以外に、例えば、通信負荷算出部３０３が、受信機器３又は図示しない通信経路のネットワーク機器で検出される映像データのフレームの遅延又は損失に関する情報を取得し、この情報に基づいて通信負荷を算出することも可能である。

図４は、伝送装置２０２での差分フレームのフレーム差し替え処理を示すフローチャート図である。図３に示された伝送装置２０２の動作について図４を用いて順序的流れを踏まえたさらに詳細な説明をする。

ステップＳ４０１では、通信負荷算出部３０３及び差替部３０６に、映像データのフレームが入力される。

ステップＳ４０２では、通信負荷算出部３０３が、入力された映像データを配信するネットワーク２の通信負荷を算出する。

ステップＳ４０３では、通信負荷算出部３０３が、通信負荷を算出するきっかけとなった入力フレームの情報をフレーム情報保持部３０４に設定する。

ステップＳ４０４では、判定部３０５は、差替部３０６が差し替え処理を実行中であるかどうかを判定する。このときの判定は、上述のとおり、判定部３０５が差替部３０６に対して出力した信号を管理することで可能である。実行中でなければステップＳ４０５に進み、実行中であればステップＳ４０８に進む。

ステップＳ４０５では、判定部３０５が、ステップＳ４０２で算出された通信負荷と差替開始閾値Ｔｓとを比較する。通信負荷が差替開始閾値Ｔｓを上回る場合はＳ４０６に進み、通信負荷が差替開始閾値Ｔｓを上回らない場合はＳ４０８に進む。

ステップＳ４０６では、判定部３０５が、差替部３０６に対して差替開始信号を出力し、差替部３０６は、入力された差分フレームの差替フレームへの差し替え処理を開始する。その後、処理を終了する。

ステップＳ４０７では、判定部３０５が、ステップＳ４０２で算出された通信負荷と差替終了閾値Ｔｅとを比較する。通信負荷が差替終了閾値Ｔｅを下回り、かつ、１つ前のフレームがＩフレームである場合はＳ４０８に進み、通信負荷が差替終了閾値Ｔｅを下回らない、又は、１つ前のフレームがＩフレームではない場合はＳ４０６に進む。

ステップＳ４０８では、判定部３０５が、差替部３０６に対して差替終了信号を出力し、差替部３０６は、差替フレームへの差し替え処理を終了して、入力された差分フレームをそのまま出力する。その後、処理を終了する。

なお、図４のフローチャート図は一例であり、処理の順序が前後しても同様に差し替え処理が行えるものであれば良い。

ここまでは、差分フレームを差替フレームと差し替える処理について説明したが、以下では、さらにＩフレームを差替フレームと差し替える処理について説明する。

判定部３０５は、通信負荷算出部３０３から入力された通信負荷に基づき、差替部３０６に対してＩフレーム差替開始信号又はＩフレーム差替終了信号を出力する。Ｉフレーム差替開始信号は入力されたＩフレームを差替フレームに差し替えて送信することを指示する信号である。また、Ｉフレーム差替終了信号は入力されたＩフレームを差し替えずに送信することを指示する信号である。

差替部３０６は、判定部３０５から入力される上記の信号に基づき、ストリーム制御部２０１から入力される映像データを構成するＩフレームの一部を差替フレームに差し替える。

判定部３０５は、差替部３０６に対してＩフレーム差替開始信号及びＩフレーム差替終了信号を出力したかどうかを管理しており、そうすることで、差替部３０６において入力されたＩフレームを差替フレームに差し替える処理を実行中であるかどうかを判断することができる。

また、判定部３０５は、通信負荷算出部３０３から入力された通信負荷に基づき、差替部３０６に対してＩフレームの差替フレームへの差し替え処理を開始させる基準となるＩフレーム差替開始閾値ＴＩｓと、差替部３０６に対してＩフレームの差替フレームへの差し替え処理を終了させる基準となるＩフレーム差替終了閾値ＴＩｅとを予め保持している。
そして、判定部３０５は、差替部３０６でのＩフレームの差し替え処理が実行中でなければ、入力された通信負荷とＩフレーム差替開始閾値ＴＩｓとの比較を行い、差替部３０６でのＩフレームの差し替え処理が実行中であれば、入力された通信負荷とＩフレーム差替終了閾値ＴＩｅとの比較を行う。

そこで、通信負荷がＩフレーム差替開始閾値ＴＩｓを上回る場合には、判定部３０５は、差替部３０６に対してＩフレーム差替開始信号を出力する。また、通信負荷がＩフレーム差替終了閾値ＴＩｅを下回る場合には、判定部３０５は、差替部３０６に対してＩフレーム差替終了信号を出力する。

差替部３０６は、Ｉフレーム差替開始信号及びＩフレーム差替終了信号のうち、判定部３０５から入力された直近の信号がＩフレーム差替開始信号でなければ、入力されたＩフレームをそのまま送信部３０１に出力する。
また、差替部３０６は、Ｉフレーム差替開始信号及びＩフレーム差替終了信号のうち、判定部３０５から入力された直近の信号がＩフレーム差替開始信号であれば、入力されたＩフレームを差し替え対象として差替フレームに差し替えて送信部３０１に出力する。
また、差替部３０６は、Ｉフレーム差替開始信号及びＩフレーム差替終了信号のうち、判定部３０５から入力された直近の信号がＩフレーム差替終了信号であれば、入力された差し替え候補のＩフレームを差替フレームに差し替えずにそのまま送信部３０１に出力する。
このように、差替部３０６は、Ｉフレーム差替開始信号及びＩフレーム差替終了信号の入力に基づき、Ｉフレームの差替フレームへの差し替え処理を実行するかどうかを切り替える。

なお、Ｉフレーム差替開始信号及びＩフレーム差替終了信号には、通信負荷を算出するきっかけとなった入力フレームに関する情報として、例えば、構成する映像データの情報又はアドレスの情報等を含めるようにしても良い。

図５は、伝送装置２０２での差分フレーム及びＩフレームのフレーム差し替え処理を示すフローチャート図である。図３に示された伝送装置２０２の動作について図５を用いて順序的流れを踏まえたさらに詳細な説明をする。

ステップＳ５０１では、通信負荷算出部３０３及び差替部３０６に、映像データのフレームが入力される。

ステップＳ５０２では、通信負荷算出部３０３が、入力された映像データを配信するネットワーク２の通信負荷を算出する。

ステップＳ５０３では、通信負荷算出部３０３が、通信負荷を算出するきっかけとなった入力フレームの情報をフレーム情報保持部３０４に設定する。

ステップＳ５０４では、判定部３０５が、フレーム情報保持部３０４が保持するフレームの情報を取得して、通信負荷を算出するきっかけとなった入力フレームが差分フレームであるか、又はＩフレームであるかを判定する。差分フレームである場合はＳ５０５に進み、Ｉフレームである場合はＳ５０６に進む。

ステップＳ５０５では、図４のステップＳ４０４〜Ｓ４０８の処理を行う。

ステップＳ５０６では、判定部３０５は、差替部３０６がＩフレームの差替フレームへの差し替え処理を実行中であるかどうかを判定する。このときの判定は、上述のとおり、判定部３０５が差替部３０６に対して出力した信号を管理することで可能である。実行中でなければステップＳ５０７に進み、実行中であればステップＳ５０９に進む。

ステップＳ５０７では、判定部３０５が、ステップＳ５０２で算出された通信負荷とＩフレーム差替開始閾値ＴＩｓとを比較する。通信負荷がＩフレーム差替開始閾値ＴＩｓを上回る場合はＳ５０８に進み、通信負荷がＩフレーム差替開始閾値ＴＩｓを上回らない場合はＳ５１０に進む。

ステップＳ５０８では、判定部３０５が、差替部３０６に対してＩフレーム差替開始信号を出力し、差替部３０６は、入力されたＩフレームの差替フレームへの差し替え処理を開始する。その後、処理を終了する。

ステップＳ５０９では、判定部３０５が、ステップＳ５０２で算出された通信負荷とＩフレーム差替終了閾値ＴＩｅとを比較する。通信負荷がＩフレーム差替終了閾値ＴＩｅを下回る場合はＳ５１０に進み、通信負荷がＩフレーム差替終了閾値ＴＩｅを下回らない場合はＳ５０８に進む。

ステップＳ５１０では、判定部３０５が、差替部３０６に対してＩフレーム差替終了信号を出力し、差替部３０６は、差替フレームへの差し替え処理を終了して、入力されたＩフレームをそのまま出力する。その後、処理を終了する。

なお、図５のフローチャート図は一例であり、処理の順序が前後しても同様に差し替え処理が行えれば良い。

図６は、映像データのフレーム差し替え処理を具体的な映像データの例を用いて説明するための模式図である。フレーム６０４はＩフレームを示し、フレーム６０５は差分フレームを示し、フレーム６０６は差替フレームを示す。

図６の（ａ）は、映像データを示す。図６の（ｂ）は、フレーム間引きを行った映像データを示す。図６の（ｃ）は、一部のフレームを差替フレームに差し替えた映像データを示す。なお、図６に示されたＴは時間軸を意味し、（ａ）、（ｂ）及び（ｃ）に共通の軸である。

図６の（ａ）では、時間軸Ｔの向きに時間が経過することを示し、時間の経過とともに、伝送装置２０２から受信機器３に対して映像データ６０１の各フレームが送信される様子を示す。

図６の（ｂ）では、従来技術を適用した映像データを示しており、映像データ６０２の一部のフレームＤ１を間引いている。このようにすることで、図６の（ａ）の映像データ６０１と比べて配信するデータ量を少なくすることができる。

しかしながら、フレーム間引きを行うことで、映像データ６０２の単位時間あたりのフレーム数、つまり、フレームレートが変化してしまうので、フレームレートが一定の映像データのみに対応した受信機器３は、映像データ６０２を正常に復号することができなくなる。したがって、従来技術のフレーム間引きを適用することで、配信先とする受信機器３が限られてしまう。

図６の（ｃ）では、実施の形態１を適用した映像データを示しており、映像データ６０３の一部のフレームＤ２を差替フレームに差し替えている。このようにすることで、図６の（ａ）の映像データ６０１と比べて配信するデータ量を少なくすることができる。

また、映像データ６０３のフレームレートは変化しないので、フレームレートが一定の映像データのみに対応した受信機器３は、映像データ６０３を正常に復号することができる。したがって、配信先とする受信機器３が限られてしまうことなく、図６の（ｂ）の従来技術に比べて配信システムをより汎用性の高いものとすることができる。

なお、差替部３０６での差替フレームへの差し替え処理は遅延を伴わないので、出力するフレームの間隔を調整するためのバッファ等を新たに設ける必要はない。つまり、差替部３０６から出力される差替フレームは、送信される映像データにおいて、差し替え対象のフレームの位置に配置されて、映像データのフレーム配置を乱すことは無い。

図７は、フレーム差し替え処理を行った場合のネットワークの通信負荷を示す模式図である。フレーム７０１は、Ｉフレームを示し、フレーム７０２は差分フレームを示し、フレーム７０３は差替フレームを示す。

図７の（ａ）は、差分フレームを差替フレームに差し替えた場合のネットワークの通信負荷を示す模式図である。時間軸Ｔの向きは時間の経過を示し、時間の経過とともに、伝送装置２０２から受信機器３に対して映像データを配信したときのネットワーク２の通信負荷Ｌａが変動する様子を表している。通信負荷算出部３０３は、映像データの各フレームを入力するタイミングＣａｌで通信負荷Ｌａを算出する。

判定部３０５は、図４の処理に従って、通信負荷Ｌａと差替開始閾値Ｔｓ又は差替終了閾値Ｔｅとの比較を行い、入力された差分フレームを差替フレームに差し替えるかどうかを判定する。

ここで、図中のフレーム７０７は、通信負荷Ｌａが差替終了閾値Ｔｅを下回るが、１つ前に入力されたフレームがＩフレームではないために、入力された差分フレームが送信されなかったフレームを示す。また、図中のフレーム７０８は、通信負荷Ｌａが差替終了閾値Ｔｅを下回り、かつ、１つ前のフレームがＩフレームであるため、入力された差分フレームが送信されたフレームを示す。

このように、映像データの差分フレームを差替フレームに差し替えながら映像データのデータ量を減らして配信のビットレートを調整した結果、ネットワーク２の通信負荷Ｌａが差替開始閾値Ｔｓを上回らないように帯域制御される。

また、図７の（ｂ）は、差分フレーム及びＩフレームを差替フレームに差し替えた場合のネットワーク２の通信負荷を示す模式図である。時間軸Ｔの向きは時間の経過を示し、時間の経過とともに、伝送装置２０２から受信機器３に対して映像データを配信したときのネットワーク２の通信負荷Ｌｂが変動する様子を表している。通信負荷算出部３０３は、映像データの各フレームを入力するタイミングＣａｌで通信負荷Ｌｂを算出する。

判定部３０５は、図５の処理に従って、通信負荷Ｌｂと、差替開始閾値Ｔｓ、差替終了閾値Ｔｅ、Ｉフレーム差替開始閾値ＴＩｓ又はＩフレーム差替終了閾値ＴＩｅとの比較を行い、入力された差分フレーム及びＩフレームを差替フレームに差し替えるかどうかを判定する。

なお、差替開始閾値Ｔｓ、差替終了閾値Ｔｅ、Ｉフレーム差替開始閾値ＴＩｓ及びＩフレーム差替終了閾値ＴＩｅの関係は、以下に示す数式（１）のようにすることが望ましい。と言うのは、なるべくＩフレームを差替フレームに差し替えない方が、配信する映像データの画質を確保できるからである。したがって、数式（１）のようにＩフレームよりも差分フレームを優先して差替フレームに差し替えて通信負荷を下げることが望ましい。

ここで、図中のフレーム７０６は、通信負荷ＬｂがＩフレーム差替終了閾値ＴＩｓを上回るため、Ｉフレームを差替フレームに差し替えて送信したフレームを示す。また、図中のフレーム７０７は、通信負荷Ｌｂが差替終了閾値Ｔｅを下回るが、１つ前のフレームがＩフレームではないために、入力された差分フレームが送信されなかったフレームを示す。また、図中のフレーム７０８は、通信負荷Ｌｂが差替終了閾値Ｔｅを下回り、かつ、１つ前のフレームがＩフレームであるため、入力された差分フレームが送信されたフレームを示す。

このように、映像データの差分フレーム及びＩフレームを差替フレームに差し替えながら映像データのデータ量を減らして配信のビットレートを調整した結果、ネットワーク２の通信負荷ＬｂがＩフレーム差替開始閾値Ｔｓを上回らないように帯域制御される。

また、差分フレームだけでなくＩフレームを差替フレームに差し替えるようにしたことで、通信負荷Ｌｂが非常に高い状態となった場合に、データ量の多いＩフレームを差替フレームに差し替えることで、より速やかに通信負荷Ｌｂを下げることが可能となる。

なお、伝送装置２０２は、Ｈ／Ｗ（ハードウェア）とＳ／Ｗ（ソフトウェア）によって構成しても良いし、Ｓ／Ｗ（ソフトウェア）のみから構成しても良い。

以上、説明したように、実施の形態１では、配信する映像データのフレームを送信する直前に、ネットワーク２の通信負荷に基づき、送信する予定のフレームを差替フレームと差し替えて、配信のビットレートを調整するようにした。

実施の形態１によれば、伝送装置２０２が、映像データを配信するネットワーク２の通信負荷に基づいて、当該映像データの一部のフレームを差替フレームと差し替えるように構成したので、一定のフレームレートのもとで配信のビットレートを調整しながら受信機器３に映像データを配信することが可能となる。その結果として、一定のフレームレートの映像データのみに対応した受信機器３であっても、映像データを正常に復号させる効果が得られる。

また、実施の形態１によれば、Ｉフレーム差替開始閾値ＴＩｓ及びＩフレーム差替終了閾値ＴＩｅを用いてＩフレームを差替フレームと差し替える構成としたので、ネットワーク２の通信負荷が非常に高い状況では、データ量の多いＩフレームを差替フレームに差し替えて速やかにネットワーク２の通信負荷を下げる効果が得られる。

また、実施の形態１によれば、配信のビットレートの調整において、ネットワーク２の通信負荷の上限及び下限を示す１対の閾値、つまり、差替開始閾値Ｔｓ及び差替終了閾値Ｔｅ、並びに、Ｉフレーム差替開始閾値ＴＩｓ及びＩフレーム差替終了閾値ＴＩｅを用いて、差分フレーム及びＩフレームを差替フレームと差し替えるかどうか判定するように構成したので、映像データのフレームを差替フレームに差し替え始める処理と差し替えを終了する処理とを個別に設定することが可能となる。その結果として、ネットワーク２の通信負荷を所望の範囲に収めて、フレームの遅延又は損失を生じさせることなく、受信機器３において滑らかに映像を再生させる効果が得られる。

このことは、さらに、上記の１対の閾値を用いて下限を上限よりも低い値に設定して帯域制御を行うことで、１つの閾値を用いて帯域制御を行うよりも、ネットワーク２の通信負荷が十分に下がった時点で負荷を軽減させる制御を解除できるため、その結果として、ネットワーク２をよりフレームの遅延又は損失が生じにくい状態とする効果が得られる。

実施の形態２．
実施の形態１では、映像データが１つの場合に配信のビットレートを調整する方法を用いた。実施の形態２では、監視カメラシステム１が、互いに異なる複数の映像データを配信したり、互いに配信先の異なる複数の映像データを配信したりする場合に、配信のビットレートを調整する方法を用いる。それ以外は実施の形態１と同様である。

互いに異なる複数の映像データとは、例えば、被撮像物が異なる映像データ、又は被撮像物は同じであるが異なる撮像装置で作成されたためデータ量が異なる映像データ等を指す。説明の簡易化のため、互いに異なる複数の映像データを“複数の映像データ”と呼ぶ。

また、互いに配信先の異なる複数の映像データとは、例えば、ネットワーク２において通信経路が異なる受信機器３に配信される映像データ、又は、復号・再生処理の性能、若しくは解像度等の表示の仕様が異なる受信機器３に配信される映像データを指す。説明の簡略のため、互いに配信先の異なる複数の映像データを”複数の配信先の映像データ”と呼ぶ。

図８は、本発明の実施の形態２における、監視カメラシステム１の構成を示すシステム構成図である。監視カメラシステム１は、映像符号化装置８１ａ，８１ｂ，・・・，８１ｎ及び映像配信装置１２で構成される。監視カメラシステム１において、複数の映像符号化装置８１ａ，８１ｂ，・・・，８１ｎは異なる場所に設置されて、複数の映像データ８１０ａ，８１０ｂ，・・・，８１０ｎを送信するものとする。以下、映像符号化装置８１ａ，８１ｂ，・・・，８１ｎをまとめて映像符号化装置８１と表し、複数の映像データ８１０ａ，８１０ｂ，・・・，８１０ｎをまとめて映像データ８１０と表す。

映像配信装置１２は、ストリーム制御部８０１、記録部８０２及び伝送装置２０２で構成される。ストリーム制御部８０１は、映像符号化装置８１が送信した映像データ８１０の多重化及び分離を行う。記録部８０２は、映像データ８１０と対応して区分された複数の領域８０３ａ，８０３ｂ，・・・，８０３ｎを含む。以下、複数の領域８０３ａ，８０３ｂ，・・・，８０３ｎをまとめて領域８０３と表す。なお、記録部８０２は、記録領域の全てが映像データ８１０と対応付けされていなくとも良く、領域８０３とは異なる汎用領域を含んでも良い。伝送装置２０２については図９で説明する。

図９は、映像配信装置１２の機能を示す機能ブロック図である。伝送装置２０２は、送信バッファ部９０１、通信負荷算出部９０２、判定部９０３及び差替部９０４を備える。実施の形態１の機能ブロックと共通する部分については説明を省略する。

図９では、映像配信装置１２に入力される多重化された映像データ８１０を複数に分けて表記している。また、多重化された映像データ８１０及び映像データ８１０を構成する複数のフレームは、監視カメラシステム１での設定により、映像配信装置１２及び伝送装置２０２の各機能部で識別され、区別して扱われるものとする。

図９の伝送装置２０２を構成する各機能部ついて説明する。送信バッファ部９０１は、映像データ８１０の未送信のフレームを区別して格納する。

通信負荷算出部９０２は、入力された各々の映像データ８１０を識別しつつ、送信バッファ部９０１を参照して得られる、送信バッファ部９０１に格納された映像データ８１０の各々の未送信フレームのフレーム量に基づき、映像データ８１０の各々と対応したそれぞれの通信負荷を算出する。そして、通信負荷算出部９０２は、各々の映像データ８１０の情報とともに、算出したそれぞれの通信負荷を判定部９０３に対して出力する。

判定部９０３は、各々の映像データ８１０の情報とともに、上述の信号を差替部９０４に対して出力する。

差替部９０４は、映像データ８１０の各々と対応したそれぞれの通信負荷に基づき、差分フレーム及びＩフレームを差替フレームに差し替える処理を切り替えて実行する。

このように、映像データ８１０の各々を構成するフレームを区別して扱うことで、映像データ８１０ごとに、実施の形態１と同様に、配信のビットレートの調整を行うことができる。なお、ストリーム制御部８０１は、記録部８０２の領域８０３を区別して、映像データ８１０の各々と対応したそれぞれの領域８０３にフレームを記録しても良い。

以下では、さらに、複数の配信先の映像データを配信する場合について説明する。映像データの配信先に関する情報は、監視カメラシステム１での設定により、映像配信装置１２及び伝送装置２０２の各機能部で識別され、区別して扱われるものとする。

送信バッファ部９０１は、複数の配信先の映像データの未送信のフレームを区別して格納する。

通信負荷算出部９０２は、入力された映像データの各々の配信先を識別しつつ、送信バッファ部９０１を参照して得られる、送信バッファ部９０１に格納された各々の配信先の映像データの未送信フレームのフレーム量に基づき、映像データの配信先の各々と対応したそれぞれの通信負荷を算出する。そして、通信負荷算出部９０２は、映像データの各々の配信先の情報とともに、算出したそれぞれの通信負荷を判定部９０３に対して出力する。

判定部９０３は、映像データの各々の配信先の情報とともに、上述の信号を差替部９０４に対して出力する。

差替部９０４は、映像データの配信先の各々と対応したそれぞれの通信負荷に基づき、差分フレーム及びＩフレームを差替フレームに差し替える処理を切り替えて実行する。

このように、複数の配信先の映像データの各々を構成するフレームを区別して扱うことで、映像データの配信先ごとに、実施の形態１と同様に、配信のビットレートの調整を行うことができる。
なお、記録部８０２は、映像データの各々の配信先と対応して区分された領域を含み、ストリーム制御部８０１は、記録部８０２の領域を区別して、映像データの配信先の各々と対応した領域にフレームを記録しても良い。

配信先を識別する方法としては、例えば、映像配信装置１２のストリーム制御部８０１、又は伝送装置２０２の通信負荷算出部９０２が、映像データの各フレームに付与された宛先アドレス又は優先度等で識別することが考えられる。

また、差替開始閾値Ｔｓ、差替終了閾値Ｔｅ、Ｉフレーム差替開始閾値ＴＩｓ及びＩフレーム差替終了閾値ＴＩｅは、複数の映像データ又は複数の配信先の映像データで共通のものを用いても良いし、予め複数のものを設定しておき、映像データ又は配信先の各々と対応して個別に選択するようにしても良い。

以上のように、実施の形態２によれば、複数の映像データ又は複数の配信先の映像データに対して個別に配信のビットレートを調整することが可能となる。

このことは、監視カメラシステム１において、動きが少ない被撮像物を映した映像データに対してネットワーク２の通信帯域を狭く割り当て、動きが多い被撮像物を映した映像データに対してネットワーク２の通信帯域を広く割り当てるよう設定することで、動きが少ない被撮像物の映像データは低画質で配信し、動きが多い被撮像物の映像データを高画質で配信するという具合に、各監視カメラの監視対象に適した画質で映像データを配信する効果が得られる。

具体的には、映像データの被撮像物の動きが少ない例として、マンションの非常口周辺に設置される監視カメラの監視映像が挙げられる。また、映像データの被撮像物の動きが多い例として、交通量の多い道路に設定される監視カメラの監視映像が挙げられる。これらの映像データを配信する監視カメラシステム１において、映像データのフレームを差替フレームに差し替え始める閾値と差し替えを終了する閾値とを、被撮像物の動きの多さ等の映像データの内容又は監視の用途に応じて設定することで、映像データを配信するネットワーク２の通信負荷を適度な状態として、各々の映像データの被撮像物を判別するのに必要な画質を確保するよう帯域制御を行う効果が得られる。

また、配信する映像データ又は映像データの配信先となる受信機器３ごとに定められた優先度に応じて上記の差し替え処理の各閾値を設定することが可能となる。その結果として、映像データの監視の重要度、又は受信機器３の表示の優先度に応じて、必要な画質を確保するよう帯域制御を行う効果が得られる。

実施の形態３．
実施の形態１では、伝送装置２０２が映像配信装置１２に含まれる構成とした。実施の形態３では、伝送装置２０２が映像符号化装置１１に含まれる構成とする。それ以外は、実施の形態１と同様である。

図１０は、本発明の実施の形態３における、映像符号化装置１１及び映像配信装置１２の機能を示す機能ブロック図である。実施の形態１の機能ブロックと共通する部分については説明を省略する。

監視カメラシステム１は、映像配信装置１２を含まずに映像符号化装置１１のみで構成されても良い。映像配信装置１２を含まない場合には、映像符号化装置１１が受信機器３に対して直接に映像データの送信を行う。

映像符号化装置１１は、撮像部１００１、調整加工部１００２、符号化部１００３、制御部１００４及び伝送装置２０２から構成される。

撮像部１００１は、被撮像物を撮影して映像データの作成を行うカメラデバイス等である。調整加工部１００２は、明るさ・輝度等の映像データの画質調整と、リサイズ・マスク処理・文字の重畳等の画像の加工とを行う。符号化部１００３は、映像データの符号化を行う。制御部１００４は、撮像部１００１、調整加工部１００２及び符号化部１００３を制御する。

撮像部１００１で、撮影した映像データをアナログデータからデジタルデータに変換し、符号化部１００３で、デジタルデータに変換した映像データを符号化し、伝送装置２０２に対し出力する。そして、伝送装置２０２では、ネットワーク２の通信負荷に基づき、入力された映像データを構成する複数のフレームの一部を差替フレームに差し替えて、映像配信装置１２又は受信機器３に対して映像データを送信する。

このように、伝送装置２０２は、Ｈ／Ｗ（ハードウェア）又はＳ／Ｗ（ソフトウェア）に依存することなく、映像符号化装置１１と映像配信装置１２のいずれにも実装することができる。

以上のように、実施の形態３によれば、映像符号化装置１１に伝送装置２０２を含めて構成したことで、実施の形態１のように映像配信装置１２が映像データを送信する時点ではなく、映像符号化装置１１から映像データを送信する時点で、一定のフレームレートで帯域制御を行う効果が得られる。

このことは、例えば、映像配信装置１２に接続する映像符号化装置１１の台数が多い場合、又は映像符号化装置１１からデータ量が膨大な映像データを送信する場合に、映像符号化装置１１と映像配信装置１２との間のネットワークの通信負荷を適度な状態に抑えて、フレームの遅延又は損失を生じることなく映像配信装置１２に対して映像データを送信する効果が得られる。

また、監視カメラシステム１が映像配信装置１２を含まない場合であっても、映像符号化装置１１がネットワーク２の通信負荷を適度な状態に抑えて、フレームの遅延又は損失を生じることなく受信機器３に映像データを送信する効果が得られる。

実施の形態４．
実施の形態１では、映像符号化装置からの映像データを、伝送装置の差し替え処理を行う機能部に入力して配信を行った。実施の形態４では、伝送措置の差し替え処理を行う機能部には差し替えのときのみ映像データのフレームを入力する構成として映像データの配信を行う。それ以外は実施の形態１と同様である。

図１１は、本発明の実施の形態４における、映像配信装置１２内に設けられた伝送装置１１０１の機能を示す機能ブロック図である。実施の形態１の機能ブロックと共通する部分については説明を省略する。

伝送装置１１０１は、通信負荷算出部１１０２、判定部１１０３、差替部１１０４、及びフレーム制御部１１０５から構成される。

通信負荷算出部１１０２は、ストリーム制御部２０１から映像データを入力されるとともに、当該映像データを配信するネットワーク２の通信負荷の算出を行う。通信負荷算出部１１０２は、算出した通信負荷と、入力された映像データのフレームとを判定部１１０３に対して出力する。通信負荷の算出方法及びフレーム情報保持部３０４へのフレームの情報の設定方法については、実施の形態１と同様である。

判定部１１０３は、通信負荷算出部１１０２から入力される通信負荷及びフレーム情報保持部３０４から取得するフレームの情報に基づき、通信負荷算出部１１０２から入力された映像データのフレームを送信部３０１又は差替部１１０４に対して出力する。

差替部１１０４は、判定部１１０３から入力された差分フレーム又はＩフレームを差替フレームに差し替えて、送信部３０１に出力する。

フレーム制御部１１０５は、通信負荷算出部１１０２及び判定部１１０３の情報・信号の入出力を制御する以外に、ストリーム制御部２０１から入力された映像データを構成するフレームを送信部３０１又は差替部１１０４に切り替えて出力する制御を行う。

ここで、判定部１１０３は、実施の形態１と同様に、差替開始閾値Ｔｓ、差替終了閾値Ｔｅ、Ｉフレーム差替開始閾値ＴＩｓ及びＩフレーム差替終了閾値ＴＩｅを予め保持しており、入力された通信負荷及びフレーム情報保持部３０４から取得するフレームの情報に基づき、差分フレーム及びＩフレームの差替フレームへの差し替えの開始、又は終了の判定を行うが、その後に、差し替え処理を指示する信号、つまり、差替開始信号、差替終了信号、Ｉフレーム差替開始信号及びＩフレーム差替終了信号は出力しない。

判定部１１０３は、通信負荷が差替開始閾値Ｔｓを上回る場合に、入力された差分フレームを差替部１１０４に出力し続ける。また、判定部１１０３は、通信負荷が差替終了閾値Ｔｅを下回り、かつ、差し替え候補となるフレームの１つ前のフレームがＩフレームである場合に、入力された差分フレームを差替部１１０４に出力せず、送信部３０１に出力し続ける。また、判定部１１０３は、通信負荷がＩフレーム差替開始閾値ＴＩｓを上回る場合に、入力されたＩフレームを差替部１１０４に出力し続ける。また、判定部１１０３は、通信負荷がＩフレーム差替終了閾値ＴＩｅを下回る場合に、入力されたＩフレームを差替部１１０４に出力せず、送信部３０１に出力し続ける。

差替部１１０４は、判定部１１０３からフレームが入力されたならば、そのフレームを差替フレームに差し替えて送信部３０１に出力するのみとなる。

以上のように、本実施の形態４では、判定部１１０３がフレーム制御部１１０５から入力された映像データのフレームの出力先を切り替えるようにした。このように構成したことで、実施の形態１のように、判定部３０５が差替部３０６に対して差し替え処理を指示する信号を出力する際に、差替部３０６での差し替え処理とのタイミングを図ることなく、制御をより簡易なものとする効果が得られる。

１ 監視カメラシステム
２ ネットワーク
３ａ、３ｂ、３ｎ 受信機器
１１、８１ａ、８１ｂ、８１ｎ 映像符号化装置
１２ 映像配信装置
２０１、８０１ ストリーム制御部
２０２、１１０１ 伝送装置
２０３、８０２ 記録部
３０２、９０１ 送信バッファ部
３０３、９０２、１１０２ 通信負荷算出部
３０４ フレーム情報保持部
３０５、９０３、１１０３ 判定部
３０６、９０４、１１０４ 差替部
１００１ 撮像部
１００３ 符号化部

Claims (10)

1. 複数のフレームで構成された映像データが入力され、データ処理が加えられた前記映像データをネットワークに送信する伝送装置であって、
   前記ネットワークに送信される前記複数のフレームのうち未送信のフレームを一旦格納する送信バッファ部と、
   前記送信バッファ部に格納された前記未送信のフレームのデータ量に基づき、前記ネットワークの通信負荷を算出する通信負荷算出部と、
   前記データ処理として、前記通信負荷に基づいて前記映像データを構成する前記複数のフレームの一部を差替フレームに差し替える差替部と、
   を備えた伝送装置。
2. 前記複数のフレームの一部は、前記入力された映像データを構成する差分フレームであって、
   前記通信負荷が差替開始閾値を上回る場合に前記差替部は差し替える、
   請求項１に記載の伝送装置。
3. 前記複数のフレームのうち差し替え候補となるフレームの１つ前のフレームの情報を保持するフレーム情報保持部をさらに備え、
   前記通信負荷が差替終了閾値を下回り、かつ、前記フレーム情報保持部で保持された情報がＩフレームの場合に、前記差替部は差し替えない、
   請求項２に記載の伝送装置。
4. 前記複数のフレームの一部は、前記入力された映像データを構成する前記Ｉフレームをさらに含み、
   前記差替部は、
   前記通信負荷がＩフレーム差替開始閾値を上回る場合に前記Ｉフレームを前記差替フレームに差し替え、
   前記通信負荷がＩフレーム差替終了閾値を下回る場合に前記Ｉフレームを前記差替フレームに差し替えない、
   請求項３に記載の伝送装置。
5. 前記映像データは互いに異なる複数の映像データを有し、
   前記送信バッファ部は、
   前記異なる複数の映像データを区別して前記未送信のフレームを格納し、
   前記通信負荷算出部は、
   前記送信バッファ部に区別して格納された前記未送信のフレームに基づき、前記異なる複数の映像データの各々と対応したそれぞれの前記通信負荷を算出し、
   前記差替部は、
   前記それぞれの前記通信負荷と対応した前記異なる複数の映像データの各々を構成するそれぞれの前記複数のフレームの一部を差し替える、
   請求項１から４のいずれか１項に記載の伝送装置。
6. 前記映像データは互いに配信先の異なる複数の映像データを有し、
   前記送信バッファ部は、
   前記配信先の異なる複数の映像データを区別して前記未送信のフレームを格納し、
   前記通信負荷算出部は、
   前記送信バッファ部に区別して格納された前記未送信のフレームに基づき、前記配信先の異なる複数の映像データの前記配信先の各々と対応したそれぞれの前記通信負荷を算出し、
   前記差替部は、
   前記それぞれの前記通信負荷と対応した前記配信先の異なる複数の映像データの各々を構成するそれぞれの前記複数のフレームの一部を差し替える、
   請求項１から５のいずれか１項に記載の伝送装置。
7. 請求項１に記載の伝送装置と、
   複数のフレームで構成される入力された映像データを前記伝送装置に出力するストリーム制御部と、
   を備えた映像配信装置。
8. 前記複数の映像データと対応して区分された複数の領域を含む記録部をさらに備え、
   前記ストリーム制御部は、入力された前記複数の映像データを対応した前記複数の領域に記録させる、
   請求項７に記載の映像配信装置。
9. 被撮像物を撮像し映像データを作成する撮像部と、
   前記撮像部が作成した前記映像データを符号化する符号化部と、
   前記符号化部が符号化した前記映像データを構成する複数のフレームの一部を差替フレームに差し替える請求項１に記載の伝送装置と、
   を備えた映像符号化装置。
10. 複数のフレームで構成された映像データを入力する入力工程と、
    前記複数のフレームのうち未送信のフレームを一旦格納する格納工程と、
    前記未送信のフレームのデータ量に基づき、ネットワークの通信負荷を算出する算出工程と、
    前記算出工程で算出した前記通信負荷に基づいて前記複数のフレームの一部を差替フレームに差し替えるデータ処理を加える差替工程と、
    前記データ処理が加えられた前記映像データを前記ネットワークに送信する送信工程と、
    を有する伝送方法。

Images