JP2004140691A - 動画データ通信システムおよび動画データ通信方法 - Google Patents
動画データ通信システムおよび動画データ通信方法 Download PDFInfo
- Publication number
- JP2004140691A JP2004140691A JP2002304807A JP2002304807A JP2004140691A JP 2004140691 A JP2004140691 A JP 2004140691A JP 2002304807 A JP2002304807 A JP 2002304807A JP 2002304807 A JP2002304807 A JP 2002304807A JP 2004140691 A JP2004140691 A JP 2004140691A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- image data
- communication
- good
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】動画データの通信において、通信状態の不良が発生したときに、差分フレームの通信からイントラフレームの通信への切替えを好適に制御することにより、動画の時間的解像度の低下を回避する。
【解決手段】受信装置３は、送信装置と共に動画データ通信システムを構成する。受信装置３において、通信状態判定部６５は、送信装置との通信の不良状態を判定し、不良時間計測部６６は、判定された不良状態の継続時間を計測する。そして、受信装置３は、計測された継続時間が所定の不良判定時間に達した場合に、差分フレームの送信をイントラフレームの送信に切り替えるための処理を行なう。この処理のために、切替要求部６８が送信装置に対して、イントラフレームへの切替要求の制御信号を送信する。
【選択図】 図１
【解決手段】受信装置３は、送信装置と共に動画データ通信システムを構成する。受信装置３において、通信状態判定部６５は、送信装置との通信の不良状態を判定し、不良時間計測部６６は、判定された不良状態の継続時間を計測する。そして、受信装置３は、計測された継続時間が所定の不良判定時間に達した場合に、差分フレームの送信をイントラフレームの送信に切り替えるための処理を行なう。この処理のために、切替要求部６８が送信装置に対して、イントラフレームへの切替要求の制御信号を送信する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、動画データの通信技術に関するものであり、特に、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを通信するための技術に関するものである。
【０００２】
【従来の技術】
従来より、監視カメラシステムやＴＶ会議システムのように、カメラによって得られた動画データをカメラとは離れたモニタにリアルタイムに表示するための動画データ通信技術が知られている。この動画データ通信技術では、カメラで撮影することによって得られた動画データを送信装置によって送信し、受信装置でこれを受信して、モニタに動画を表示させている。
【０００３】
動画データ通信では、モニタに表示される動画は、通信される動画データのフレーム間の時間が短いほど、すなわち、単位時間当たりのフレーム数が多い（時間的な解像度が高い）ほど、動きが滑らかになり、品質が向上する。ただし、動画データを通信するための通信手段には一定の伝送帯域の制限がある。そこで、そのような制限の範囲で十分な動画の時間的解像度を確保するために、動画データを圧縮したうえで通信する技術が用いられる。この技術では、カメラで撮影することによって得られた動画データが、画像符号化処理によって圧縮される。そして、画像符号化処理では、フレーム内符号化によるイントラフレームと、フレーム間符号化による差分フレームとを生成することが知られている。
【０００４】
ここで、イントラフレームは、それ自体で静止画像を表すことができるフレームである。一方、差分フレームはフレーム間の差分を符号化したフレームである。イントラフレームに対して差分フレームを適用することにより、イントラフレームの画像を基準として差分フレームの差分だけ変化した画像が生成される。したがって、イントラフレームに対して複数の連続した差分フレームを順次適用することにより、動画を生成することができる。
【０００５】
ここで、差分フレームは、上記のように、フレーム間の差分を符号化したフレームであるので、イントラフレームと比較してデータ量が小さい。したがって、一定の伝送帯域の制限内では、イントラフレームよりも差分フレームをより多く通信することができる。そして、差分フレームを送り続ければ、多くの差分フレームを用いて多くの画像を生成することができるので、動画データの圧縮効率及び伝送効率が向上し、動画のフレームレートは向上する。ただし、差分フレームを無制限に送り続けることはできず、例えば、動画のシーンが変わった場合や通信のエラーが生じた場合など、適宜のタイミングで画面を更新すべくイントラフレームを送る必要がある。
【０００６】
このような動画データの通信における差分フレームからイントラフレームへの切替えの制御について、特許文献１には、通信エラーがあった場合にイントラフレームを送信して正常な動画を回復させる技術が記載されている。
【０００７】
特許文献１の技術では、送信装置での符号化誤りや入力画像の同期信号の乱れなどによるエラーを検出した場合、および受信装置が通信エラーや符号誤りなどのエラーに基づいて送信した画面更新要求信号を、送信装置が受信した場合に、画面を更新すべくイントラフレームが送信される。そして、特許文献１の技術では、上記のようにして画面を更新する場合に、少なくとも１フレームの期間はイントラフレームが送信される。
【０００８】
【特許文献１】
特開平７−１９３８２１号公報（第４−６頁、第１図）
【０００９】
【発明が解決しようとする課題】
しかしながら、特許文献１の技術のように、通信エラーが発生した場合に、直ちに差分フレームの通信からイントラフレームの通信に切り替えるか否かを判断すると、以下のような不都合が生じる。すなわち、データ通信の通信状態においては、不良状態がごく短時間の間しか生じず、直ちに良好状態に回復するような場合もある。特に、無線通信によるデータ通信の場合には、その通信状態は不安定である。そして、通信状態が悪化して所定の閾値を下回ったとしても、その後すぐに良好状態に回復する場合には、誤り訂正符号のみで通信エラーの回復ができ、イントラフレームへの切替えを必要としない場合がある。
【００１０】
したがって、通信状態が所定の閾値を下回ったときに直ちに差分フレームの通信をイントラフレームの通信に切り替える制御方法では、その切替えが必要でない場合にも切替えを実行してイントラフレームを送信してしまう場合がある。これによって、動画データの圧縮効率及び通信効率が低下して、送信された動画データのフレームレートが低下するという問題がある。
【００１１】
また、バースト性のエラーが多い通信路の場合、通信の不良状態が解消されたときに直ちにイントラフレームの送信から差分フレームの送信に戻すと、イントラフレームが確実に送信される前に差分フレームの送信が再開される可能性があり、そのような場合には、正確な動画を回復させることができなくなる可能性があるという問題がある。
【００１２】
本発明は、上記問題を解決するためになされたもので、通信状態の不良が発生したときに、差分フレームの通信からイントラフレームの通信への切替えを好適に制御することにより、動画のフレームレートを向上させるための技術を提供するものである。
【００１３】
また、本発明は、通信の不良状態が解消されたときに、イントラフレームの通信から差分フレームの通信への切替えを好適に制御することにより、動画の回復をより確実にするための技術を提供するものである。
【００１４】
【課題を解決するための手段】
本発明の動画データ通信システムは、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを通信する動画データ通信手段と、前記動画データ通信手段による通信の不良状態を判定する不良判定手段と、前記不良判定手段により判定された不良状態の継続時間を計測する不良時間計測手段と、前記不良時間計測手段により計測された継続時間が所定の不良判定時間に達した場合に、前記動画データ通信手段による差分フレームの通信をイントラフレームの通信に切り替えるための切替処理をする切替処理手段とを有している。
【００１５】
この構成により、不良判定手段が動画データの通信の不良状態を判定し、不良時間計測手段がその不良状態の継続時間を計測する。動画データ通信手段における差分フレームの通信からイントラフレームの通信への切替えは、その計測された不良状態の継続時間に基づいて行われるので、通信状態が瞬間的に悪化したような場合のイントラフレームへの切替えなど、不要なイントラフレームの送信を回避でき、これにより、動画の時間的解像度の低下を回避することができる。
【００１６】
また、本発明の動画データ通信システムでは、前記不良判定時間は、前記不良状態での差分フレームの継続使用と動画の品質との関係に基づき動画の品質が悪化する時間に設定されている。
【００１７】
この構成により、イントラフレームの通信への切替えは、動画の品質が悪化する時間を基準として行われる。したがって、通信状態が直ちに良好状態に回復するようなごく短時間の不良状態であるか、イントラフレームへの切替えが必要な不良状態であるかを的確に判断することができる。
【００１８】
また、本発明の動画データ通信システムでは、前記不良状態の継続時間が前記不良判定時間に達した後に、前記不良状態が解消されたことによる良好状態を判定する良好判定手段と、前記良好判定手段により判定された良好状態の継続時間を計測する良好時間計測手段とをさらに有し、前記切替処理手段は、前記良好時間計測手段により計測された継続時間が所定の回復見込時間に達した場合に、イントラフレームの通信を差分フレームの通信に戻す。
【００１９】
この構成により、通信の不良状態が解消されたことによる良好状態の継続時間を計測して、その計測された良好状態の継続時間が所定の回復見込時間に達するまではイントラフレームの通信が行われる。したがって、イントラフレームが未だ確実に通信されていない状態で差分フレームの通信に戻してしまう可能性が減少する。
【００２０】
また、本発明の動画データ通信システムでは、前記回復見込時間は、通信エラーレートに基づいて、前記イントラフレームが確実に通信されると予測される時間に設定されている。
【００２１】
この構成により、通信手段のエラーレートに基づいて適切な回復見込時間が設定されるので、イントラフレームの通信による動画の回復がより確実に行なわれる。
【００２２】
なお、前記不良判定手段や前記良好判定手段は、本発明の動画データ通信システムを構成する受信装置と送信装置のいずれに備えられていてもよく、受信装置や送信装置以外の装置に備えられていてもよい。不良判定手段が受信装置に備えられる場合には、前記切替処理手段の切替処理は、その受信装置から送信装置への切替要求であってよい。また、不良判定手段が送信装置に備えられる場合には、前記切替処理手段の切替処理は、その送信装置の制御であってよい。
【００２３】
また、本発明の別の態様の動画データ受信装置は、動画データ送信装置から送信された動画データであって、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを受信する動画データ受信手段と、前記動画データ送信装置との通信の不良状態を判定する不良判定手段と、前記不良判定手段により判定された不良状態の継続時間を計測する不良時間計測手段と、前記不良時間計測手段により計測された継続時間が所定の不良判定時間に達した場合に、前記動画データ送信装置に対して差分フレームの送信をイントラフレームの送信に切り替えるための切替要求をする切替要求手段とを有している。
【００２４】
この動画データ受信装置は、上記の動画データ通信システムの受信側の構成に相当するものであり、この構成により、上述した画像データ通信システムと同様の作用が生じる。さらに、不良判定手段が実際の受信の不良状態を判定するので、差分フレームの送信からイントラフレームの送信への切替えをより好適に制御することができる。
【００２５】
さらに、本発明の別の態様の動画データ送信装置は、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを送信する動画データ送信手段と、前記動画データの通信の不良状態を判定する不良判定手段と、前記不良判定手段により判定された不良状態の継続時間を計測する不良時間計測手段と、前記不良時間計測手段により計測された継続時間が所定の不良判定時間に達した場合に、前記動画データ送信手段による差分フレームの送信をイントラフレームの送信に切り替える切替制御手段とを有している。
【００２６】
この動画データ送信装置は、上記の動画データ通信システムの送信側の構成に相当するものであり、この構成により、上述した画像データ通信システムと同様の作用が生じる。
【００２７】
さらに、本発明の別の態様の動画データ通信システムは、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを通信する動画データ通信手段と、前記動画データ通信手段による通信が不良状態になった後に、その不良状態が解消されたことによる良好状態を判定する良好判定手段と、前記良好判定手段により判定された良好状態の継続時間を計測する良好時間計測手段と、前記良好時間計測手段により計測された継続時間が所定の回復見込時間に達した場合に、前記動画データ通信手段によるイントラフレームの通信を差分フレームの通信に戻す切替制御手段とを有している。
【００２８】
この構成により、上記で説明した動画データ通信システムであって、良好判定手段と良好時間計測手段とを有する動画データ通信システムと同様の作用が生じる。すなわち、イントラフレームが未だ確実に通信されていない状態で差分フレームの通信に戻してしまう頻度が減少する。
【００２９】
さらに、本発明の別の態様の動画データ受信装置は、動画データ送信装置から送信された動画データであって、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを受信する動画データ受信手段と、前記動画データ送信装置との通信が不良状態になった後に、その不良状態が解消されたことによる良好状態を判定する良好判定手段と、前記良好判定手段により判定された良好状態の継続時間を計測する良好時間計測手段と、前記良好時間計測手段により計測された継続時間が所定の回復見込時間に達した場合に、前記切替要求を停止する切替処理手段とを有している。
【００３０】
この動画データ受信装置は、上記の動画データ通信システムの受信側の構成に相当するものであり、この構成により、上述した画像データ通信システムと同様の作用が生じる。
【００３１】
さらに、本発明の別の態様の動画データ送信装置は、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを送信する動画データ送信手段と、前記動画データの通信が不良状態になった後に、その不良状態が解消されたことによる良好状態を判定する良好判定手段と、前記良好判定手段により判定された良好状態の継続時間を計測する良好時間計測手段と、前記動画データの通信の不良状態に基づいて前記動画データ送信手段による差分フレームの通信をイントラフレームの通信に切り替えるとともに、その後に前記良好時間計測手段により計測された継続時間が所定の回復見込時間に達した場合に、イントラフレームの通信を差分フレームの通信に戻す切替制御手段とを有している。
【００３２】
この動画データ送信装置は、上記の動画データ通信システムの送信側の構成に相当するものであり、この構成により、上述した画像データ通信システムと同様の作用が生じる。
【００３３】
本発明は、上述したようなシステムおよび装置の態様に限定されない。本発明の別の態様は、動画データの通信、送信または受信の方法であり、それらの方法をコンピュータに実行させるためのプログラム、およびそのプログラムを格納した記録媒体である。
【００３４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００３５】
（第１の実施の形態）
図１は、本実施の形態の受信装置の機能ブロック図である。図２は、本実施の形態の送信装置の機能ブロック図である。図３は、図１の受信装置および図２の送信装置を備えた本実施の形態の動画データ通信システムの全体構成図である。以下、図３を参照して、動画データ通信システムの全体を説明し、それから、図２および図１を参照して送信装置および受信装置を説明する。
【００３６】
図３は、動画データ通信システム１００の全体の構成を示す図である。動画データ通信システム１００は、被写体を撮像して連続的な画像を生成するビデオカメラ１と、ビデオカメラ１で生成された連続的な画像を符号化して動画データを生成し、生成した動画データを送信する送信装置２と、送信装置２から送信された動画データを受信し、受信した画像データを復号化して連続的な画像を生成する受信装置３と、受信装置３で生成された連続的な画像を表示するモニタ４とからなる。
【００３７】
本実施の形態では、送信装置２と受信装置３との間の通信は、無線伝送路ＷＬを介して行われる。送信装置２は、ビデオカメラ１と接続されており、生成された連続的な画像をビデオカメラ１から取り込む。また、受信装置３は、モニタ４と接続されており、生成した連続的な画像をモニタ４に送る。
【００３８】
送信装置２は、制御部２１、符号化器２２、無線送受信部２３およびアンテナ２４を含む。制御部２１は、ＣＰＵ、ＲＯＭおよびＲＡＭなどからなり、動画データ通信用のプログラムを実行することにより送信装置２の動作を制御する。符号化器２２は、制御部２１の制御に従って、ビデオカメラ１から取り込んだ連続的な画像データを符号化して、イントラフレームおよび差分フレームを含む動画データを生成する。無線送受信部２３は、制御部２１の制御に従って、符号化器２２で生成された動画データや他の信号のパケットを生成して、アンテナ２４を介して無線送信する。また、無線送受信部２３は、受信装置３から送信された信号を受信する。
【００３９】
受信装置３は、制御部３１、復号化器３２、無線送受信部３３およびアンテナ３４を含む。制御部３１は、ＣＰＵ、ＲＯＭおよびＲＡＭなどからなり、動画データ通信用のプログラムを実行することにより受信装置３の動作を制御する。無線送受信部３３は、送信装置２から送信された動画データや他の信号のパケットをアンテナ３４を介して受信する。また、無線送受信部３３は、送信装置２に対して制御信号を送信する。復号化器３２は、制御部３１の制御に従って、無線送受信部３３が受信した動画データを復号化して連続的な画像データを生成し、生成した画像データをモニタ４に送る。
【００４０】
なお、ビデオカメラ１と送信装置２とは、一体的に構成されていてよい。例えば、送信装置２がビデオカメラ１に組み込まれ、制御部２１がビデオカメラ１の動作も制御するように構成されてよい。受信装置３とモニタ４も同様に、一体的に構成されてよい。例えば、受信装置３にモニタ４が組み込まれ、制御部３１がモニタ４の動作も制御するように構成されてよい。
【００４１】
送信装置２の無線送受信部２３と受信装置３の無線送受信部３３との間の無線通信は、無線ＬＡＮによる通信や携帯電話を用いた通信など、データの送受信が可能な任意の通信であってよい。また、通信方式は、デジタル方式であってもアナログ方式であってもよい。
【００４２】
図２は、上記の通信システムに備えられる送信装置２を示す機能ブロック図である。送信装置２は、画像符号化部５１、符号化制御部５２、送信パケット生成部５３、無線処理部５４および受信信号解析部５５を含む。
【００４３】
画像符号化部５１は、ビデオカメラ１が撮影することによって連続的に生成された複数の画像データを取り込む。そして、画像符号化部５１は、取り込んだ複数の画像データを用いて画像符号化処理をすることにより、イントラフレームおよび差分フレームからなる動画データを生成する。
【００４４】
ここで、上記のようにイントラフレームはフレーム内の符号化により生成されるフレームであり、いわゆるＩフレームである。一方、差分フレームは、フレーム間符号化により生成されるフレームであって、典型的には、ＰフレームやＢフレームが知られている。このうち、本実施の形態では、Ｐフレームのみが生成および送信される。すなわち、画像符号化部５１は、イントラフレームとしてＩフレームを生成し、差分フレームとしてＰフレームを生成する。
【００４５】
送信パケット生成部５３は、画像符号化部５１により作成されたイントラフレームや差分フレームのパケットを生成する。無線処理部５４は、送信パケット生成部５３によって生成されたパケットをアンテナ２４を介して送信する。
【００４６】
ここで、送信装置２と受信装置３との間での動画データの通信が始まると、画像符号化部５１は、符号化制御部５２から特に指示がない限り差分フレームを順次生成する。そして、生成された差分フレームは送信パケット生成部５３でパケット化されて、無線処理部５４によって送信される。
【００４７】
無線処理部５４は、上記のように動画データを送信する一方で、受信装置３から制御信号を受信する。受信信号解析部５５は、無線処理部５４が受信した制御信号の内容を解析して、その内容に応じて符号化制御部５２に対して指示を送る。具体的には、無線処理部５４で受信した制御信号がイントラフレームを要求する信号であれば、受信信号解析部５５は、符号化制御部５２に対してイントラフレームを生成するように指示を送る。
【００４８】
この指示を受けた符号化制御部５２は、イントラフレームを生成するように画像符号化部５１を制御する。これによって、画像符号化部５１の処理は、イントラフレームの生成に切り替えられる。
【００４９】
図１は、送信装置２と共に通信システム１００を構成する受信装置３を示す機能ブロック図である。受信装置３は、無線処理部６１、画像制御部６２および画像復号化部６３を含み、これらの構成によって送信装置２から動画データを受信してモニタ４に動画を表示させる。
【００５０】
無線処理部６１は、送信装置２から送信されてきたイントラフレームまたは差分フレームのパケットを受信する。画像制御部６２は、無線処理部６１にて受信したパケットからイントラフレームや差分フレームを取り出す。画像復号化部６３は、画像制御部６２にて取り出されたイントラフレームや差分フレームを復号化して連続した画像データを生成する。そして、画像復号化部６３は、生成した画像データをモニタ４に出力する。
【００５１】
受信装置３は、さらに、通信状況算出部６４、通信状態判定部６５、不良時間計測部６６、良好時間計測部６７および切替要求部６８を含む。受信装置３は、これらの構成要素を用いて送信装置２に対するイントラフレームへの切替えを要求し、また、その要求を停止する機能を実現する。
【００５２】
図４は、通信状況の時間による変化と通信されるフレームとの関係を示す図である。以下、図１および図４を用いて、受信装置３により実現される、イントラフレームへの切替えを要求する機能と、その要求を停止する機能とを順に説明する。
【００５３】
イントラフレームへの切替えを要求する機能は、通信状況算出部６４、通信状態判定部６５、不良時間計測部６６および切替要求部６８によって実現される。
【００５４】
まず、通信状況算出部６４は、パケット受信比ＰＲを式（１）により算出する。
【数１】
ＰＲ＝（［受信パケット数］／「理想受信パケット数」）×１００％ ・・・（１）
ここで、［受信パケット数］は、無線処理部６１で単位時間に実際に受信したパケットの数であり、［理想受信パケット数］は、通信が良好な状態で単位時間に受信できるパケット数である。パケット受信比ＰＲが小さいほど通信状態が悪いことを意味する。
【００５５】
通信状態判定部６５は、通信状況算出部６４が算出したパケット受信比ＰＲを閾値ＰＲｔｈと比較して、パケット受信比ＰＲが閾値ＰＲｔｈを下回る状態を通信の不良状態と判定する。
【００５６】
ここで、図４に示すように、無線通信では、通信状況が比較的不安定に変化し、ときどき不良状態になる。しかし、不良状態でも、パケット受信比ＰＲが、図４に示す第１期間のように、ごく短時間だけ閾値ＰＲｔｈを下回るだけの場合もあれば、第２期間から第３期間にかけてのように、より長い時間にわたり閾値ＰＲｔｈを下回る場合もある。そして、通信状態判定部６５が、通信状態が不良状態であると判定したときに、直ちにイントラフレームへの切替えを要求したのでは、第１期間での瞬間的な不良状態のように、イントラフレームへの切替えが必要ない場合にも、切替えを要求することになってしまう。このように不要なイントラフレームを要求し、送信装置２がそれに対応してイントラフレームを送信することでデータの圧縮効率や通信効率は低下し、動画のフレームレートが低下してしまう。その一方で、第２期間〜第３期間のような不良発生時には確実にイントラフレームの切替えを行なう必要がある。
【００５７】
そこで、本実施の形態では、不良時間計測部６６が通信の不良状態の継続時間を計測し、切替要求部６８は、その継続時間に基づいてイントラフレームへの切替えを要求する。具体的に、不良時間計測部６６は、通信状態判定部６５により判定された不良状態の継続時間Ｔｂを計測する。そして、図４に示す第２期間のように、不良時間計測部６６において計測された継続時間Ｔｂが不良判定時間Ｔｔｈに達すると、切替要求部６８は、無線処理部６１を介して送信装置２に対してイントラフレームへの切替えを要求する制御信号を送信する。
【００５８】
ここで、不良判定時間Ｔｔｈは、通信不良状態での差分フレームの継続使用と動画品質との関係に基づいて設定される時間である。すなわち、通信不良の状態で差分フレームを継続的に使用すると、その継続使用に伴って動画品質が低下するが、不良判定時間Ｔｔｈは、そのような品質低下の結果、動画の品質が悪化する時間（画質の所定レベル以上の悪化を避けられる限界時間）に設定する。不良判定時間Ｔｔｈをこのように設定することで、動画品質の悪化の少ない短時間の通信不良状態には、イントラフレームへの切替えが要求されないことになる。これによって上述のようなデータの圧縮効率および通信効率の低下や動画のフレームレートの低下を回避することができる。
【００５９】
切替要求部６８は、上記のようにして不良状態の継続時間Ｔｂが不良判定時間Ｔｔｈに達すると、無線処理部６１を介して送信装置２に対してイントラフレームの送信を要求する制御信号を継続的に送信する。そして、この制御信号を受けた送信装置２は、切替要求部６８による切替要求が停止されるまでの間、イントラフレームを継続的に送信する。
【００６０】
次に、受信装置３におけるイントラフレームの送信の要求を停止する機能について説明する。イントラフレームの送信の要求を停止する機能は、通信状況算出部６４、通信状態判定部６５、良好時間計測部６７および切替要求部６８によって実現される。
【００６１】
まず、通信状況算出部６４は、上記と同様に、式（１）によりパケット受信比ＰＲを算出する。そして、通信状態判定部６５は、通信状況算出部６４が算出したパケット受信比ＰＲを閾値ＰＲｔｈと比較して、パケット受信比ＰＲが閾値ＰＲｔｈを上回る状態を通信の良好状態と判定する。すなわち、通信状態判定部６５は、通信の不良状態が解消されたことによる良好状態を判定する。
【００６２】
なお、本実施の形態では、良好状態の判定と不良状態の判定とで共通の閾値ＰＲｔｈを用いるが、良好状態を判定するための閾値と不良状態を判定するための閾値とが異なる値であってもよい。
【００６３】
ここで、一般にバースト性のエラーが多い無線通信路の場合、通信の不良状態が解消してパケット受信比ＰＲが閾値ＰＲｔｈを上回ったときに、直ちにイントラフレームの送信を停止すると、イントラフレームが確実に通信されない状態で差分フレームの通信に戻されてしまい、それ以降、正確な復号化が困難になったり、画質が低下したりする可能性がある。
【００６４】
そこで、このような事態を回避するために、本実施の形態では、良好時間計測部６７が、不良状態が解消されたことによる良好状態の継続時間を計測し、切替要求部６８は、その継続時間に基づいてイントラフレームの要求を停止する。具体的には、良好時間計測部６７は、通信状態判定部６５により判定された良好状態の継続時間Ｔｇを計測する。そして、図４に示す第４期間のように、良好時間計測部６７において計測された継続時間Ｔｇが回復見込時間Ｔｄに達すると、切替要求部６８は、イントラフレームを要求する制御信号の送信を停止する。これにより、図４に示す第５期間のように、イントラフレームの通信が停止されて差分フレームに切り替えられる。
【００６５】
ここで、回復見込み時間Ｔｄは、無線通信における通信路のエラーレートに基づいて以下のように設定される。無線伝送路の通常時のビットエラーレートが一般的に１０−５であるとすると、それよりも低いエラー確率でフレームを伝送する必要があると考えられる。１回のパケットエラーレートが１０−１であるとすると、１０回の送信によりパケットエラーレートがほぼ１０−１０となり、伝送誤りを抑えての伝送が可能となる。このような観点で、確実にＩフレームを送信するために必要な伝送回数を、１０回とする。そして、回復見込み時間Ｔｄは、１回にＩまたはＰフレームを伝送するための伝送時間をＴ０として、その１０倍であるＴ０×１０に設定される（Ｔｄ＝Ｔ０×１０）。
【００６６】
図５は、上述の動画データの通信における通信処理を示すフローチャートである。図５に示す通信処理は、上述した受信装置３によって実行される。ここでは、送信装置２から受信装置３への差分フレームを連続的に送信中であるとする。そのような通常の状態において、通信状態判定部６５で通信の不良状態が判定される（Ｓ１）。すなわち、パケット受信比ＰＲが、閾値ＰＲｔｈを下回ったか否かが判定される。通信状態判定部６５で通信状態が不良であると判定されると、不良時間計測部６６でその不良状態の継続時間が計測され、その継続時間が判断される（Ｓ２）。ここでは、不良状態の継続時間Ｔｂが、不良判定時間Ｔｔｈに達したか否かが判断される。
【００６７】
不良状態の継続時間Ｔｂが不良判定時間Ｔｔｈに達したと判断されると、継続的に通信されてきた差分フレームの通信がイントラフレームの通信に切り替えられる（Ｓ３）。この切替処理において、受信装置３の切替要求部６８は、無線処理部６１により切替要求の制御信号を送信装置２に対して送信する。
【００６８】
送信装置２は、この制御信号を無線処理部５４により受信して、受信信号解析部５５で信号の内容を解析する。そして、制御信号がイントラフレームを要求するである場合には、符号化制御部５２は、受信信号解析部５５からの指示に従って、画像符号化部５１にイントラフレームを生成させる。このようにして画像符号化部５１で生成されたイントラフレームは、送信パケット生成部５３によりパケット化されて、無線処理部５４により受信装置３に送信される。
【００６９】
以上のようにして差分フレームの通信からイントラフレームの通信への切替えの処理が行われると、通信状態判定部６５は、通信の良好状態を判定する（Ｓ４）。すなわち、パケット受信比ＰＲが閾値ＰＲｔｈを上回ったか否かが判断される。通信状態判定部６５で通信状態が良好であると判定されると、不良時間計測部６６でその良好状態の継続時間が計測され、その継続時間が判断される（Ｓ５）。ここでは、良好状態の継続時間Ｔｇが、回復見込時間Ｔｄに達したか否かが判断される。
【００７０】
良好状態の継続時間Ｔｇが回復見込時間Ｔｄに達したと判断されると、イントラフレームの通信が差分フレームの通信に切り替えられる（Ｓ６）。この切替処理では、受信装置３の切替要求部６８がイントラフレームを要求する制御信号の送信を停止する。これによって、送信装置２の画像符号化部５１は、イントラフレームの生成を停止して、差分フレームの生成を再開する。このようにして生成された差分フレームは、送信パケット生成部５３によりパケット化されて、無線処理部５４により受信装置３に送信される。
【００７１】
以上説明したように、本実施の形態によれば、差分フレームの通信からイントラフレームの通信への切替えが、通信の不良状態の継続時間に基づいて制御されるので、不要なイントラフレームの通信を回避することができる。これによって、動画データの圧縮効率や通信効率の低下による動画のフレームレートの低下を回避することができる。
【００７２】
また、差分フレームの通信からイントラフレームの通信への切替えは、不良状態の継続時間が、動画の品質が悪化する不良判定時間に達したときに行われるので、イントラフレームの通信への切替えが必要であるか否かを好適に判断することができる。
【００７３】
また、本実施の形態によれば、イントラフレームの通信から差分フレームの通信への切替えは、通信の不良状態が解消したことによる良好状態の継続時間に基づいて制御されるので、イントラフレームが未だ確実に通信されていない状態で差分フレームの通信に戻してしまう頻度が減少する。
【００７４】
また、イントラフレームの通信から差分フレームの通信への切替えは、不良状態が解消したことによる良好状態の継続時間が、無線通信における伝送のエラーレートに基づいて設定される回復見込時間に達したときに行われるので、イントラフレームをより確実に通信することが可能となる。
【００７５】
また、本実施の形態では、受信装置３がその内部で通信状況を算出して通信状態を判定する。この構成により、受信装置３は、実際に受信したパケットの数に基づいて上記の不良状態および良好状態を判定するので、イントラフレームへの通信と差分フレームの通信との切替えを好適に制御することができる。
【００７６】
（第２の実施の形態）
上記の第１の実施の形態では、受信装置３の通信状態を判定することにより、差分フレームからイントラフレームへの切替えが制御されていた。これに対して、本実施の形態では、送信装置２が、その送信装置２自体の通信状態を判定することによって、差分フレームからイントラフレームへの切替えを制御する。
【００７７】
本実施の形態においても、通信システムは、送信装置と受信装置で構成され、送信装置は、制御部、符号化器および無線送受信部を備え、受信装置が、制御部、復号化器および無線送受信部を備える。この点は、図３に示した第１の実施の形態と同様である。
【００７８】
ただし、本実施の形態では、通信状態の不良が発生したときのフレーム切替えのための構成が異なる。概略的には、フレーム切替のための判定等の機能が主として送信側に設けられている。
【００７９】
図６は、本実施の形態の通信システム１００に用いられる受信装置６を示す機能ブロック図であり、図７は、本実施の形態の通信システム１００に用いられる送信装置５を示す機能ブロック図である。図６および図７において、第１の実施の形態の構成要素と同様の構成要素には、同一の参照符号を付すとともに、それらの説明は省略する。
【００８０】
図６において、受信装置６は、無線処理部６１、画像制御部６２および画像復号化部６３を含む。受信装置６は、この構成によって、第１の実施の形態の受信装置３と同様に、送信装置５から動画データを受信してモニタに動画を表示させる。
【００８１】
図７において、送信装置５は、画像符号化部５１、符号化制御部５２、送信パケット生成部５３および無線処理部５４を含む。送信装置５は、この構成により、第１の実施の形態の送信装置２と同様に、ビデオカメラ１から連続した複数の画像を取り込み、イントラフレームと差分フレームとからなる動画データを生成し、その動画データをパケット化して受信装置６に送信する。
【００８２】
送信装置５は、通信状況算出部７１、通信状態判定部６５、不良時間計測部６６、良好時間計測部６７および切替制御部７２を含む。送信装置５は、この構成により、画像符号化部５１による差分フレームの生成をイントラフレームの生成に切り替える機能、および、その切替えの後に画像符号化部５１によるイントラフレームの生成を再び差分フレームの生成に戻す機能を実現する。
【００８３】
これらの機能のために、通信状況算出７１が通信状況を算出し、通信状態判定部６５が算出された通信状況に基づいて通信状態を判定し、不良時間計測部６６が不良状態の継続時間Ｔｂを計測し、良好時間計測部６７が良好状態の継続時間Ｔｇを計測する。これらの動作は、第１の実施の形態の通信状況算出６４、通信状態判定部６５、不良時間計測部６６および良好時間計測部６７による動作と同様である。
【００８４】
ただし、本実施の形態の通信状況算出部７１は、通信状況として電波受信強度ＲＳＳＩを測定する。この電波受信強度値ＲＳＳＩの測定のために、受信装置６は常時、一定強度の電波を発信している。そして、電波受信強度値ＲＳＳＩは、受信装置６から発信された電波を送信装置５で受信するときの受信強度を測定したものである。通信状態判定部６５は、通信状況算出部７１によって測定された電波受信強度ＲＳＳＩと閾値ＲＳＳＩｔｈとを比較することにより通信状態を判定する。
【００８５】
切替制御部７２は、不良時間計測部６６によって計測された不良状態の継続時間Ｔｂや良好時間計測部６７によって計測された良好状態の継続時間Ｔｇに基づいて、符号化制御部５２に対して指示を送る。すなわち、切替制御部７２は、不良状態の継続時間Ｔｂが不良判定時間Ｔｔｈに達したときに、符号化制御部５２に対して差分フレームの生成を中止してイントラフレームを生成するように指示する。また、切替制御部７２は、不良状態が解消されたことによる良好状態の継続時間Ｔｇが回復見込時間Ｔｄに達したときに、符号化制御部５２に対して、イントラフレームの生成を中止して差分フレームの生成を再開するように指示する。
【００８６】
画像符号化部５１は、上記の符号化制御部５２による制御に従って、差分フレームの生成とイントラフレームの生成とを切り替えながら、ビデオカメラ１から取り込んだ画像を符号化する。そして、そのようにして生成されたイントラフレームや差分フレームは、送信パケット生成部５３においてパケット化されて無線処理部５４により受信装置６に送信される。
【００８７】
本実施の形態の送信装置５によるフレームの切替えの処理は、図５に示した受信装置の処理と概ね同じである。ただし、Ｓ１およびＳ４において、通信状態がパケット受信比ではなく電波受信強度に基づき判定される。
【００８８】
本実施の形態は、上記の第１の実施の形態と同様の効果を奏する。さらに、本実施の形態では、差分フレームの送信をイントラフレームの送信に切り替えるための構成と、通信状況を算出して通信状態を判定するための構成とがいずれも送信装置５に備えられているので、通信状態の判定に基づく通信の切替制御がより確実になる。
【００８９】
なお、上記の第１および第２の実施の形態では、送信装置と受信装置との間の通信を無線通信としたが、本発明はこれに限られず、有線通信であってもよい。
【００９０】
さらに、上記の実施の形態では、受信装置はパケット受信比ＰＲに基づいて通信状態を判定し、送信装置は電波受信強度ＲＳＳＩに基づいて通信状態を判定したが、本発明はこの形態に限られない。すなわち、受信装置が電波受信強度ＲＳＳＩに基づいて通信状態を判定してもよいし、送信装置がパケット受信比ＰＲに基づいて通信状態を判定してもよい。
【００９１】
【発明の効果】
以上説明したように、本発明は、差分フレームの通信からイントラフレームの通信への切替えを、通信の不良状態の継続時間に基づいて制御するように構成したので、不要なイントラフレームの通信への切替えによる動画のフレームレートの低下を回避できるというきわめてすぐれた効果を有する動画データ通信システムを提供できるものである。
【００９２】
また、本発明は、通信の不良状態が解消した後の、イントラフレームの通信から差分フレームの通信への切替えを、通信の良好状態の継続時間に基づいて制御するように構成したので、イントラフレームが確実に送信されない状態で差分フレームの通信を再開してしまう頻度を低減することができるというきわめてすぐれた効果を有する動画データ通信システムを提供できるものである。
【図面の簡単な説明】
【図１】第１の実施の形態の受信装置の機能ブロック図
【図２】第１の実施の形態の送信装置の機能ブロック図
【図３】通信システムの全体構成図
【図４】通信状況の時間による変化と通信されるフレームとの関係を示す図
【図５】動画データの通信における通信制御処理を示すフローチャート
【図６】第２の実施の形態の受信装置の機能ブロック図
【図７】第２の実施の形態の送信装置の機能ブロック図
【符号の説明】
１ ビデオカメラ
２ 送信装置
３ 受信装置
４ モニタ
５１ 画像符号化部
５２ 符号化制御部
５３ 送信パケット生成部
５５ 受信信号解析部
６４、７１ 通信状況算出部
６５ 通信状態判定部
６６ 不良時間計測部
６７ 良好時間計測部
６８ 切替要求部
７２ 切替制御部
【発明の属する技術分野】
本発明は、動画データの通信技術に関するものであり、特に、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを通信するための技術に関するものである。
【０００２】
【従来の技術】
従来より、監視カメラシステムやＴＶ会議システムのように、カメラによって得られた動画データをカメラとは離れたモニタにリアルタイムに表示するための動画データ通信技術が知られている。この動画データ通信技術では、カメラで撮影することによって得られた動画データを送信装置によって送信し、受信装置でこれを受信して、モニタに動画を表示させている。
【０００３】
動画データ通信では、モニタに表示される動画は、通信される動画データのフレーム間の時間が短いほど、すなわち、単位時間当たりのフレーム数が多い（時間的な解像度が高い）ほど、動きが滑らかになり、品質が向上する。ただし、動画データを通信するための通信手段には一定の伝送帯域の制限がある。そこで、そのような制限の範囲で十分な動画の時間的解像度を確保するために、動画データを圧縮したうえで通信する技術が用いられる。この技術では、カメラで撮影することによって得られた動画データが、画像符号化処理によって圧縮される。そして、画像符号化処理では、フレーム内符号化によるイントラフレームと、フレーム間符号化による差分フレームとを生成することが知られている。
【０００４】
ここで、イントラフレームは、それ自体で静止画像を表すことができるフレームである。一方、差分フレームはフレーム間の差分を符号化したフレームである。イントラフレームに対して差分フレームを適用することにより、イントラフレームの画像を基準として差分フレームの差分だけ変化した画像が生成される。したがって、イントラフレームに対して複数の連続した差分フレームを順次適用することにより、動画を生成することができる。
【０００５】
ここで、差分フレームは、上記のように、フレーム間の差分を符号化したフレームであるので、イントラフレームと比較してデータ量が小さい。したがって、一定の伝送帯域の制限内では、イントラフレームよりも差分フレームをより多く通信することができる。そして、差分フレームを送り続ければ、多くの差分フレームを用いて多くの画像を生成することができるので、動画データの圧縮効率及び伝送効率が向上し、動画のフレームレートは向上する。ただし、差分フレームを無制限に送り続けることはできず、例えば、動画のシーンが変わった場合や通信のエラーが生じた場合など、適宜のタイミングで画面を更新すべくイントラフレームを送る必要がある。
【０００６】
このような動画データの通信における差分フレームからイントラフレームへの切替えの制御について、特許文献１には、通信エラーがあった場合にイントラフレームを送信して正常な動画を回復させる技術が記載されている。
【０００７】
特許文献１の技術では、送信装置での符号化誤りや入力画像の同期信号の乱れなどによるエラーを検出した場合、および受信装置が通信エラーや符号誤りなどのエラーに基づいて送信した画面更新要求信号を、送信装置が受信した場合に、画面を更新すべくイントラフレームが送信される。そして、特許文献１の技術では、上記のようにして画面を更新する場合に、少なくとも１フレームの期間はイントラフレームが送信される。
【０００８】
【特許文献１】
特開平７−１９３８２１号公報（第４−６頁、第１図）
【０００９】
【発明が解決しようとする課題】
しかしながら、特許文献１の技術のように、通信エラーが発生した場合に、直ちに差分フレームの通信からイントラフレームの通信に切り替えるか否かを判断すると、以下のような不都合が生じる。すなわち、データ通信の通信状態においては、不良状態がごく短時間の間しか生じず、直ちに良好状態に回復するような場合もある。特に、無線通信によるデータ通信の場合には、その通信状態は不安定である。そして、通信状態が悪化して所定の閾値を下回ったとしても、その後すぐに良好状態に回復する場合には、誤り訂正符号のみで通信エラーの回復ができ、イントラフレームへの切替えを必要としない場合がある。
【００１０】
したがって、通信状態が所定の閾値を下回ったときに直ちに差分フレームの通信をイントラフレームの通信に切り替える制御方法では、その切替えが必要でない場合にも切替えを実行してイントラフレームを送信してしまう場合がある。これによって、動画データの圧縮効率及び通信効率が低下して、送信された動画データのフレームレートが低下するという問題がある。
【００１１】
また、バースト性のエラーが多い通信路の場合、通信の不良状態が解消されたときに直ちにイントラフレームの送信から差分フレームの送信に戻すと、イントラフレームが確実に送信される前に差分フレームの送信が再開される可能性があり、そのような場合には、正確な動画を回復させることができなくなる可能性があるという問題がある。
【００１２】
本発明は、上記問題を解決するためになされたもので、通信状態の不良が発生したときに、差分フレームの通信からイントラフレームの通信への切替えを好適に制御することにより、動画のフレームレートを向上させるための技術を提供するものである。
【００１３】
また、本発明は、通信の不良状態が解消されたときに、イントラフレームの通信から差分フレームの通信への切替えを好適に制御することにより、動画の回復をより確実にするための技術を提供するものである。
【００１４】
【課題を解決するための手段】
本発明の動画データ通信システムは、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを通信する動画データ通信手段と、前記動画データ通信手段による通信の不良状態を判定する不良判定手段と、前記不良判定手段により判定された不良状態の継続時間を計測する不良時間計測手段と、前記不良時間計測手段により計測された継続時間が所定の不良判定時間に達した場合に、前記動画データ通信手段による差分フレームの通信をイントラフレームの通信に切り替えるための切替処理をする切替処理手段とを有している。
【００１５】
この構成により、不良判定手段が動画データの通信の不良状態を判定し、不良時間計測手段がその不良状態の継続時間を計測する。動画データ通信手段における差分フレームの通信からイントラフレームの通信への切替えは、その計測された不良状態の継続時間に基づいて行われるので、通信状態が瞬間的に悪化したような場合のイントラフレームへの切替えなど、不要なイントラフレームの送信を回避でき、これにより、動画の時間的解像度の低下を回避することができる。
【００１６】
また、本発明の動画データ通信システムでは、前記不良判定時間は、前記不良状態での差分フレームの継続使用と動画の品質との関係に基づき動画の品質が悪化する時間に設定されている。
【００１７】
この構成により、イントラフレームの通信への切替えは、動画の品質が悪化する時間を基準として行われる。したがって、通信状態が直ちに良好状態に回復するようなごく短時間の不良状態であるか、イントラフレームへの切替えが必要な不良状態であるかを的確に判断することができる。
【００１８】
また、本発明の動画データ通信システムでは、前記不良状態の継続時間が前記不良判定時間に達した後に、前記不良状態が解消されたことによる良好状態を判定する良好判定手段と、前記良好判定手段により判定された良好状態の継続時間を計測する良好時間計測手段とをさらに有し、前記切替処理手段は、前記良好時間計測手段により計測された継続時間が所定の回復見込時間に達した場合に、イントラフレームの通信を差分フレームの通信に戻す。
【００１９】
この構成により、通信の不良状態が解消されたことによる良好状態の継続時間を計測して、その計測された良好状態の継続時間が所定の回復見込時間に達するまではイントラフレームの通信が行われる。したがって、イントラフレームが未だ確実に通信されていない状態で差分フレームの通信に戻してしまう可能性が減少する。
【００２０】
また、本発明の動画データ通信システムでは、前記回復見込時間は、通信エラーレートに基づいて、前記イントラフレームが確実に通信されると予測される時間に設定されている。
【００２１】
この構成により、通信手段のエラーレートに基づいて適切な回復見込時間が設定されるので、イントラフレームの通信による動画の回復がより確実に行なわれる。
【００２２】
なお、前記不良判定手段や前記良好判定手段は、本発明の動画データ通信システムを構成する受信装置と送信装置のいずれに備えられていてもよく、受信装置や送信装置以外の装置に備えられていてもよい。不良判定手段が受信装置に備えられる場合には、前記切替処理手段の切替処理は、その受信装置から送信装置への切替要求であってよい。また、不良判定手段が送信装置に備えられる場合には、前記切替処理手段の切替処理は、その送信装置の制御であってよい。
【００２３】
また、本発明の別の態様の動画データ受信装置は、動画データ送信装置から送信された動画データであって、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを受信する動画データ受信手段と、前記動画データ送信装置との通信の不良状態を判定する不良判定手段と、前記不良判定手段により判定された不良状態の継続時間を計測する不良時間計測手段と、前記不良時間計測手段により計測された継続時間が所定の不良判定時間に達した場合に、前記動画データ送信装置に対して差分フレームの送信をイントラフレームの送信に切り替えるための切替要求をする切替要求手段とを有している。
【００２４】
この動画データ受信装置は、上記の動画データ通信システムの受信側の構成に相当するものであり、この構成により、上述した画像データ通信システムと同様の作用が生じる。さらに、不良判定手段が実際の受信の不良状態を判定するので、差分フレームの送信からイントラフレームの送信への切替えをより好適に制御することができる。
【００２５】
さらに、本発明の別の態様の動画データ送信装置は、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを送信する動画データ送信手段と、前記動画データの通信の不良状態を判定する不良判定手段と、前記不良判定手段により判定された不良状態の継続時間を計測する不良時間計測手段と、前記不良時間計測手段により計測された継続時間が所定の不良判定時間に達した場合に、前記動画データ送信手段による差分フレームの送信をイントラフレームの送信に切り替える切替制御手段とを有している。
【００２６】
この動画データ送信装置は、上記の動画データ通信システムの送信側の構成に相当するものであり、この構成により、上述した画像データ通信システムと同様の作用が生じる。
【００２７】
さらに、本発明の別の態様の動画データ通信システムは、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを通信する動画データ通信手段と、前記動画データ通信手段による通信が不良状態になった後に、その不良状態が解消されたことによる良好状態を判定する良好判定手段と、前記良好判定手段により判定された良好状態の継続時間を計測する良好時間計測手段と、前記良好時間計測手段により計測された継続時間が所定の回復見込時間に達した場合に、前記動画データ通信手段によるイントラフレームの通信を差分フレームの通信に戻す切替制御手段とを有している。
【００２８】
この構成により、上記で説明した動画データ通信システムであって、良好判定手段と良好時間計測手段とを有する動画データ通信システムと同様の作用が生じる。すなわち、イントラフレームが未だ確実に通信されていない状態で差分フレームの通信に戻してしまう頻度が減少する。
【００２９】
さらに、本発明の別の態様の動画データ受信装置は、動画データ送信装置から送信された動画データであって、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを受信する動画データ受信手段と、前記動画データ送信装置との通信が不良状態になった後に、その不良状態が解消されたことによる良好状態を判定する良好判定手段と、前記良好判定手段により判定された良好状態の継続時間を計測する良好時間計測手段と、前記良好時間計測手段により計測された継続時間が所定の回復見込時間に達した場合に、前記切替要求を停止する切替処理手段とを有している。
【００３０】
この動画データ受信装置は、上記の動画データ通信システムの受信側の構成に相当するものであり、この構成により、上述した画像データ通信システムと同様の作用が生じる。
【００３１】
さらに、本発明の別の態様の動画データ送信装置は、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを送信する動画データ送信手段と、前記動画データの通信が不良状態になった後に、その不良状態が解消されたことによる良好状態を判定する良好判定手段と、前記良好判定手段により判定された良好状態の継続時間を計測する良好時間計測手段と、前記動画データの通信の不良状態に基づいて前記動画データ送信手段による差分フレームの通信をイントラフレームの通信に切り替えるとともに、その後に前記良好時間計測手段により計測された継続時間が所定の回復見込時間に達した場合に、イントラフレームの通信を差分フレームの通信に戻す切替制御手段とを有している。
【００３２】
この動画データ送信装置は、上記の動画データ通信システムの送信側の構成に相当するものであり、この構成により、上述した画像データ通信システムと同様の作用が生じる。
【００３３】
本発明は、上述したようなシステムおよび装置の態様に限定されない。本発明の別の態様は、動画データの通信、送信または受信の方法であり、それらの方法をコンピュータに実行させるためのプログラム、およびそのプログラムを格納した記録媒体である。
【００３４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００３５】
（第１の実施の形態）
図１は、本実施の形態の受信装置の機能ブロック図である。図２は、本実施の形態の送信装置の機能ブロック図である。図３は、図１の受信装置および図２の送信装置を備えた本実施の形態の動画データ通信システムの全体構成図である。以下、図３を参照して、動画データ通信システムの全体を説明し、それから、図２および図１を参照して送信装置および受信装置を説明する。
【００３６】
図３は、動画データ通信システム１００の全体の構成を示す図である。動画データ通信システム１００は、被写体を撮像して連続的な画像を生成するビデオカメラ１と、ビデオカメラ１で生成された連続的な画像を符号化して動画データを生成し、生成した動画データを送信する送信装置２と、送信装置２から送信された動画データを受信し、受信した画像データを復号化して連続的な画像を生成する受信装置３と、受信装置３で生成された連続的な画像を表示するモニタ４とからなる。
【００３７】
本実施の形態では、送信装置２と受信装置３との間の通信は、無線伝送路ＷＬを介して行われる。送信装置２は、ビデオカメラ１と接続されており、生成された連続的な画像をビデオカメラ１から取り込む。また、受信装置３は、モニタ４と接続されており、生成した連続的な画像をモニタ４に送る。
【００３８】
送信装置２は、制御部２１、符号化器２２、無線送受信部２３およびアンテナ２４を含む。制御部２１は、ＣＰＵ、ＲＯＭおよびＲＡＭなどからなり、動画データ通信用のプログラムを実行することにより送信装置２の動作を制御する。符号化器２２は、制御部２１の制御に従って、ビデオカメラ１から取り込んだ連続的な画像データを符号化して、イントラフレームおよび差分フレームを含む動画データを生成する。無線送受信部２３は、制御部２１の制御に従って、符号化器２２で生成された動画データや他の信号のパケットを生成して、アンテナ２４を介して無線送信する。また、無線送受信部２３は、受信装置３から送信された信号を受信する。
【００３９】
受信装置３は、制御部３１、復号化器３２、無線送受信部３３およびアンテナ３４を含む。制御部３１は、ＣＰＵ、ＲＯＭおよびＲＡＭなどからなり、動画データ通信用のプログラムを実行することにより受信装置３の動作を制御する。無線送受信部３３は、送信装置２から送信された動画データや他の信号のパケットをアンテナ３４を介して受信する。また、無線送受信部３３は、送信装置２に対して制御信号を送信する。復号化器３２は、制御部３１の制御に従って、無線送受信部３３が受信した動画データを復号化して連続的な画像データを生成し、生成した画像データをモニタ４に送る。
【００４０】
なお、ビデオカメラ１と送信装置２とは、一体的に構成されていてよい。例えば、送信装置２がビデオカメラ１に組み込まれ、制御部２１がビデオカメラ１の動作も制御するように構成されてよい。受信装置３とモニタ４も同様に、一体的に構成されてよい。例えば、受信装置３にモニタ４が組み込まれ、制御部３１がモニタ４の動作も制御するように構成されてよい。
【００４１】
送信装置２の無線送受信部２３と受信装置３の無線送受信部３３との間の無線通信は、無線ＬＡＮによる通信や携帯電話を用いた通信など、データの送受信が可能な任意の通信であってよい。また、通信方式は、デジタル方式であってもアナログ方式であってもよい。
【００４２】
図２は、上記の通信システムに備えられる送信装置２を示す機能ブロック図である。送信装置２は、画像符号化部５１、符号化制御部５２、送信パケット生成部５３、無線処理部５４および受信信号解析部５５を含む。
【００４３】
画像符号化部５１は、ビデオカメラ１が撮影することによって連続的に生成された複数の画像データを取り込む。そして、画像符号化部５１は、取り込んだ複数の画像データを用いて画像符号化処理をすることにより、イントラフレームおよび差分フレームからなる動画データを生成する。
【００４４】
ここで、上記のようにイントラフレームはフレーム内の符号化により生成されるフレームであり、いわゆるＩフレームである。一方、差分フレームは、フレーム間符号化により生成されるフレームであって、典型的には、ＰフレームやＢフレームが知られている。このうち、本実施の形態では、Ｐフレームのみが生成および送信される。すなわち、画像符号化部５１は、イントラフレームとしてＩフレームを生成し、差分フレームとしてＰフレームを生成する。
【００４５】
送信パケット生成部５３は、画像符号化部５１により作成されたイントラフレームや差分フレームのパケットを生成する。無線処理部５４は、送信パケット生成部５３によって生成されたパケットをアンテナ２４を介して送信する。
【００４６】
ここで、送信装置２と受信装置３との間での動画データの通信が始まると、画像符号化部５１は、符号化制御部５２から特に指示がない限り差分フレームを順次生成する。そして、生成された差分フレームは送信パケット生成部５３でパケット化されて、無線処理部５４によって送信される。
【００４７】
無線処理部５４は、上記のように動画データを送信する一方で、受信装置３から制御信号を受信する。受信信号解析部５５は、無線処理部５４が受信した制御信号の内容を解析して、その内容に応じて符号化制御部５２に対して指示を送る。具体的には、無線処理部５４で受信した制御信号がイントラフレームを要求する信号であれば、受信信号解析部５５は、符号化制御部５２に対してイントラフレームを生成するように指示を送る。
【００４８】
この指示を受けた符号化制御部５２は、イントラフレームを生成するように画像符号化部５１を制御する。これによって、画像符号化部５１の処理は、イントラフレームの生成に切り替えられる。
【００４９】
図１は、送信装置２と共に通信システム１００を構成する受信装置３を示す機能ブロック図である。受信装置３は、無線処理部６１、画像制御部６２および画像復号化部６３を含み、これらの構成によって送信装置２から動画データを受信してモニタ４に動画を表示させる。
【００５０】
無線処理部６１は、送信装置２から送信されてきたイントラフレームまたは差分フレームのパケットを受信する。画像制御部６２は、無線処理部６１にて受信したパケットからイントラフレームや差分フレームを取り出す。画像復号化部６３は、画像制御部６２にて取り出されたイントラフレームや差分フレームを復号化して連続した画像データを生成する。そして、画像復号化部６３は、生成した画像データをモニタ４に出力する。
【００５１】
受信装置３は、さらに、通信状況算出部６４、通信状態判定部６５、不良時間計測部６６、良好時間計測部６７および切替要求部６８を含む。受信装置３は、これらの構成要素を用いて送信装置２に対するイントラフレームへの切替えを要求し、また、その要求を停止する機能を実現する。
【００５２】
図４は、通信状況の時間による変化と通信されるフレームとの関係を示す図である。以下、図１および図４を用いて、受信装置３により実現される、イントラフレームへの切替えを要求する機能と、その要求を停止する機能とを順に説明する。
【００５３】
イントラフレームへの切替えを要求する機能は、通信状況算出部６４、通信状態判定部６５、不良時間計測部６６および切替要求部６８によって実現される。
【００５４】
まず、通信状況算出部６４は、パケット受信比ＰＲを式（１）により算出する。
【数１】
ＰＲ＝（［受信パケット数］／「理想受信パケット数」）×１００％ ・・・（１）
ここで、［受信パケット数］は、無線処理部６１で単位時間に実際に受信したパケットの数であり、［理想受信パケット数］は、通信が良好な状態で単位時間に受信できるパケット数である。パケット受信比ＰＲが小さいほど通信状態が悪いことを意味する。
【００５５】
通信状態判定部６５は、通信状況算出部６４が算出したパケット受信比ＰＲを閾値ＰＲｔｈと比較して、パケット受信比ＰＲが閾値ＰＲｔｈを下回る状態を通信の不良状態と判定する。
【００５６】
ここで、図４に示すように、無線通信では、通信状況が比較的不安定に変化し、ときどき不良状態になる。しかし、不良状態でも、パケット受信比ＰＲが、図４に示す第１期間のように、ごく短時間だけ閾値ＰＲｔｈを下回るだけの場合もあれば、第２期間から第３期間にかけてのように、より長い時間にわたり閾値ＰＲｔｈを下回る場合もある。そして、通信状態判定部６５が、通信状態が不良状態であると判定したときに、直ちにイントラフレームへの切替えを要求したのでは、第１期間での瞬間的な不良状態のように、イントラフレームへの切替えが必要ない場合にも、切替えを要求することになってしまう。このように不要なイントラフレームを要求し、送信装置２がそれに対応してイントラフレームを送信することでデータの圧縮効率や通信効率は低下し、動画のフレームレートが低下してしまう。その一方で、第２期間〜第３期間のような不良発生時には確実にイントラフレームの切替えを行なう必要がある。
【００５７】
そこで、本実施の形態では、不良時間計測部６６が通信の不良状態の継続時間を計測し、切替要求部６８は、その継続時間に基づいてイントラフレームへの切替えを要求する。具体的に、不良時間計測部６６は、通信状態判定部６５により判定された不良状態の継続時間Ｔｂを計測する。そして、図４に示す第２期間のように、不良時間計測部６６において計測された継続時間Ｔｂが不良判定時間Ｔｔｈに達すると、切替要求部６８は、無線処理部６１を介して送信装置２に対してイントラフレームへの切替えを要求する制御信号を送信する。
【００５８】
ここで、不良判定時間Ｔｔｈは、通信不良状態での差分フレームの継続使用と動画品質との関係に基づいて設定される時間である。すなわち、通信不良の状態で差分フレームを継続的に使用すると、その継続使用に伴って動画品質が低下するが、不良判定時間Ｔｔｈは、そのような品質低下の結果、動画の品質が悪化する時間（画質の所定レベル以上の悪化を避けられる限界時間）に設定する。不良判定時間Ｔｔｈをこのように設定することで、動画品質の悪化の少ない短時間の通信不良状態には、イントラフレームへの切替えが要求されないことになる。これによって上述のようなデータの圧縮効率および通信効率の低下や動画のフレームレートの低下を回避することができる。
【００５９】
切替要求部６８は、上記のようにして不良状態の継続時間Ｔｂが不良判定時間Ｔｔｈに達すると、無線処理部６１を介して送信装置２に対してイントラフレームの送信を要求する制御信号を継続的に送信する。そして、この制御信号を受けた送信装置２は、切替要求部６８による切替要求が停止されるまでの間、イントラフレームを継続的に送信する。
【００６０】
次に、受信装置３におけるイントラフレームの送信の要求を停止する機能について説明する。イントラフレームの送信の要求を停止する機能は、通信状況算出部６４、通信状態判定部６５、良好時間計測部６７および切替要求部６８によって実現される。
【００６１】
まず、通信状況算出部６４は、上記と同様に、式（１）によりパケット受信比ＰＲを算出する。そして、通信状態判定部６５は、通信状況算出部６４が算出したパケット受信比ＰＲを閾値ＰＲｔｈと比較して、パケット受信比ＰＲが閾値ＰＲｔｈを上回る状態を通信の良好状態と判定する。すなわち、通信状態判定部６５は、通信の不良状態が解消されたことによる良好状態を判定する。
【００６２】
なお、本実施の形態では、良好状態の判定と不良状態の判定とで共通の閾値ＰＲｔｈを用いるが、良好状態を判定するための閾値と不良状態を判定するための閾値とが異なる値であってもよい。
【００６３】
ここで、一般にバースト性のエラーが多い無線通信路の場合、通信の不良状態が解消してパケット受信比ＰＲが閾値ＰＲｔｈを上回ったときに、直ちにイントラフレームの送信を停止すると、イントラフレームが確実に通信されない状態で差分フレームの通信に戻されてしまい、それ以降、正確な復号化が困難になったり、画質が低下したりする可能性がある。
【００６４】
そこで、このような事態を回避するために、本実施の形態では、良好時間計測部６７が、不良状態が解消されたことによる良好状態の継続時間を計測し、切替要求部６８は、その継続時間に基づいてイントラフレームの要求を停止する。具体的には、良好時間計測部６７は、通信状態判定部６５により判定された良好状態の継続時間Ｔｇを計測する。そして、図４に示す第４期間のように、良好時間計測部６７において計測された継続時間Ｔｇが回復見込時間Ｔｄに達すると、切替要求部６８は、イントラフレームを要求する制御信号の送信を停止する。これにより、図４に示す第５期間のように、イントラフレームの通信が停止されて差分フレームに切り替えられる。
【００６５】
ここで、回復見込み時間Ｔｄは、無線通信における通信路のエラーレートに基づいて以下のように設定される。無線伝送路の通常時のビットエラーレートが一般的に１０−５であるとすると、それよりも低いエラー確率でフレームを伝送する必要があると考えられる。１回のパケットエラーレートが１０−１であるとすると、１０回の送信によりパケットエラーレートがほぼ１０−１０となり、伝送誤りを抑えての伝送が可能となる。このような観点で、確実にＩフレームを送信するために必要な伝送回数を、１０回とする。そして、回復見込み時間Ｔｄは、１回にＩまたはＰフレームを伝送するための伝送時間をＴ０として、その１０倍であるＴ０×１０に設定される（Ｔｄ＝Ｔ０×１０）。
【００６６】
図５は、上述の動画データの通信における通信処理を示すフローチャートである。図５に示す通信処理は、上述した受信装置３によって実行される。ここでは、送信装置２から受信装置３への差分フレームを連続的に送信中であるとする。そのような通常の状態において、通信状態判定部６５で通信の不良状態が判定される（Ｓ１）。すなわち、パケット受信比ＰＲが、閾値ＰＲｔｈを下回ったか否かが判定される。通信状態判定部６５で通信状態が不良であると判定されると、不良時間計測部６６でその不良状態の継続時間が計測され、その継続時間が判断される（Ｓ２）。ここでは、不良状態の継続時間Ｔｂが、不良判定時間Ｔｔｈに達したか否かが判断される。
【００６７】
不良状態の継続時間Ｔｂが不良判定時間Ｔｔｈに達したと判断されると、継続的に通信されてきた差分フレームの通信がイントラフレームの通信に切り替えられる（Ｓ３）。この切替処理において、受信装置３の切替要求部６８は、無線処理部６１により切替要求の制御信号を送信装置２に対して送信する。
【００６８】
送信装置２は、この制御信号を無線処理部５４により受信して、受信信号解析部５５で信号の内容を解析する。そして、制御信号がイントラフレームを要求するである場合には、符号化制御部５２は、受信信号解析部５５からの指示に従って、画像符号化部５１にイントラフレームを生成させる。このようにして画像符号化部５１で生成されたイントラフレームは、送信パケット生成部５３によりパケット化されて、無線処理部５４により受信装置３に送信される。
【００６９】
以上のようにして差分フレームの通信からイントラフレームの通信への切替えの処理が行われると、通信状態判定部６５は、通信の良好状態を判定する（Ｓ４）。すなわち、パケット受信比ＰＲが閾値ＰＲｔｈを上回ったか否かが判断される。通信状態判定部６５で通信状態が良好であると判定されると、不良時間計測部６６でその良好状態の継続時間が計測され、その継続時間が判断される（Ｓ５）。ここでは、良好状態の継続時間Ｔｇが、回復見込時間Ｔｄに達したか否かが判断される。
【００７０】
良好状態の継続時間Ｔｇが回復見込時間Ｔｄに達したと判断されると、イントラフレームの通信が差分フレームの通信に切り替えられる（Ｓ６）。この切替処理では、受信装置３の切替要求部６８がイントラフレームを要求する制御信号の送信を停止する。これによって、送信装置２の画像符号化部５１は、イントラフレームの生成を停止して、差分フレームの生成を再開する。このようにして生成された差分フレームは、送信パケット生成部５３によりパケット化されて、無線処理部５４により受信装置３に送信される。
【００７１】
以上説明したように、本実施の形態によれば、差分フレームの通信からイントラフレームの通信への切替えが、通信の不良状態の継続時間に基づいて制御されるので、不要なイントラフレームの通信を回避することができる。これによって、動画データの圧縮効率や通信効率の低下による動画のフレームレートの低下を回避することができる。
【００７２】
また、差分フレームの通信からイントラフレームの通信への切替えは、不良状態の継続時間が、動画の品質が悪化する不良判定時間に達したときに行われるので、イントラフレームの通信への切替えが必要であるか否かを好適に判断することができる。
【００７３】
また、本実施の形態によれば、イントラフレームの通信から差分フレームの通信への切替えは、通信の不良状態が解消したことによる良好状態の継続時間に基づいて制御されるので、イントラフレームが未だ確実に通信されていない状態で差分フレームの通信に戻してしまう頻度が減少する。
【００７４】
また、イントラフレームの通信から差分フレームの通信への切替えは、不良状態が解消したことによる良好状態の継続時間が、無線通信における伝送のエラーレートに基づいて設定される回復見込時間に達したときに行われるので、イントラフレームをより確実に通信することが可能となる。
【００７５】
また、本実施の形態では、受信装置３がその内部で通信状況を算出して通信状態を判定する。この構成により、受信装置３は、実際に受信したパケットの数に基づいて上記の不良状態および良好状態を判定するので、イントラフレームへの通信と差分フレームの通信との切替えを好適に制御することができる。
【００７６】
（第２の実施の形態）
上記の第１の実施の形態では、受信装置３の通信状態を判定することにより、差分フレームからイントラフレームへの切替えが制御されていた。これに対して、本実施の形態では、送信装置２が、その送信装置２自体の通信状態を判定することによって、差分フレームからイントラフレームへの切替えを制御する。
【００７７】
本実施の形態においても、通信システムは、送信装置と受信装置で構成され、送信装置は、制御部、符号化器および無線送受信部を備え、受信装置が、制御部、復号化器および無線送受信部を備える。この点は、図３に示した第１の実施の形態と同様である。
【００７８】
ただし、本実施の形態では、通信状態の不良が発生したときのフレーム切替えのための構成が異なる。概略的には、フレーム切替のための判定等の機能が主として送信側に設けられている。
【００７９】
図６は、本実施の形態の通信システム１００に用いられる受信装置６を示す機能ブロック図であり、図７は、本実施の形態の通信システム１００に用いられる送信装置５を示す機能ブロック図である。図６および図７において、第１の実施の形態の構成要素と同様の構成要素には、同一の参照符号を付すとともに、それらの説明は省略する。
【００８０】
図６において、受信装置６は、無線処理部６１、画像制御部６２および画像復号化部６３を含む。受信装置６は、この構成によって、第１の実施の形態の受信装置３と同様に、送信装置５から動画データを受信してモニタに動画を表示させる。
【００８１】
図７において、送信装置５は、画像符号化部５１、符号化制御部５２、送信パケット生成部５３および無線処理部５４を含む。送信装置５は、この構成により、第１の実施の形態の送信装置２と同様に、ビデオカメラ１から連続した複数の画像を取り込み、イントラフレームと差分フレームとからなる動画データを生成し、その動画データをパケット化して受信装置６に送信する。
【００８２】
送信装置５は、通信状況算出部７１、通信状態判定部６５、不良時間計測部６６、良好時間計測部６７および切替制御部７２を含む。送信装置５は、この構成により、画像符号化部５１による差分フレームの生成をイントラフレームの生成に切り替える機能、および、その切替えの後に画像符号化部５１によるイントラフレームの生成を再び差分フレームの生成に戻す機能を実現する。
【００８３】
これらの機能のために、通信状況算出７１が通信状況を算出し、通信状態判定部６５が算出された通信状況に基づいて通信状態を判定し、不良時間計測部６６が不良状態の継続時間Ｔｂを計測し、良好時間計測部６７が良好状態の継続時間Ｔｇを計測する。これらの動作は、第１の実施の形態の通信状況算出６４、通信状態判定部６５、不良時間計測部６６および良好時間計測部６７による動作と同様である。
【００８４】
ただし、本実施の形態の通信状況算出部７１は、通信状況として電波受信強度ＲＳＳＩを測定する。この電波受信強度値ＲＳＳＩの測定のために、受信装置６は常時、一定強度の電波を発信している。そして、電波受信強度値ＲＳＳＩは、受信装置６から発信された電波を送信装置５で受信するときの受信強度を測定したものである。通信状態判定部６５は、通信状況算出部７１によって測定された電波受信強度ＲＳＳＩと閾値ＲＳＳＩｔｈとを比較することにより通信状態を判定する。
【００８５】
切替制御部７２は、不良時間計測部６６によって計測された不良状態の継続時間Ｔｂや良好時間計測部６７によって計測された良好状態の継続時間Ｔｇに基づいて、符号化制御部５２に対して指示を送る。すなわち、切替制御部７２は、不良状態の継続時間Ｔｂが不良判定時間Ｔｔｈに達したときに、符号化制御部５２に対して差分フレームの生成を中止してイントラフレームを生成するように指示する。また、切替制御部７２は、不良状態が解消されたことによる良好状態の継続時間Ｔｇが回復見込時間Ｔｄに達したときに、符号化制御部５２に対して、イントラフレームの生成を中止して差分フレームの生成を再開するように指示する。
【００８６】
画像符号化部５１は、上記の符号化制御部５２による制御に従って、差分フレームの生成とイントラフレームの生成とを切り替えながら、ビデオカメラ１から取り込んだ画像を符号化する。そして、そのようにして生成されたイントラフレームや差分フレームは、送信パケット生成部５３においてパケット化されて無線処理部５４により受信装置６に送信される。
【００８７】
本実施の形態の送信装置５によるフレームの切替えの処理は、図５に示した受信装置の処理と概ね同じである。ただし、Ｓ１およびＳ４において、通信状態がパケット受信比ではなく電波受信強度に基づき判定される。
【００８８】
本実施の形態は、上記の第１の実施の形態と同様の効果を奏する。さらに、本実施の形態では、差分フレームの送信をイントラフレームの送信に切り替えるための構成と、通信状況を算出して通信状態を判定するための構成とがいずれも送信装置５に備えられているので、通信状態の判定に基づく通信の切替制御がより確実になる。
【００８９】
なお、上記の第１および第２の実施の形態では、送信装置と受信装置との間の通信を無線通信としたが、本発明はこれに限られず、有線通信であってもよい。
【００９０】
さらに、上記の実施の形態では、受信装置はパケット受信比ＰＲに基づいて通信状態を判定し、送信装置は電波受信強度ＲＳＳＩに基づいて通信状態を判定したが、本発明はこの形態に限られない。すなわち、受信装置が電波受信強度ＲＳＳＩに基づいて通信状態を判定してもよいし、送信装置がパケット受信比ＰＲに基づいて通信状態を判定してもよい。
【００９１】
【発明の効果】
以上説明したように、本発明は、差分フレームの通信からイントラフレームの通信への切替えを、通信の不良状態の継続時間に基づいて制御するように構成したので、不要なイントラフレームの通信への切替えによる動画のフレームレートの低下を回避できるというきわめてすぐれた効果を有する動画データ通信システムを提供できるものである。
【００９２】
また、本発明は、通信の不良状態が解消した後の、イントラフレームの通信から差分フレームの通信への切替えを、通信の良好状態の継続時間に基づいて制御するように構成したので、イントラフレームが確実に送信されない状態で差分フレームの通信を再開してしまう頻度を低減することができるというきわめてすぐれた効果を有する動画データ通信システムを提供できるものである。
【図面の簡単な説明】
【図１】第１の実施の形態の受信装置の機能ブロック図
【図２】第１の実施の形態の送信装置の機能ブロック図
【図３】通信システムの全体構成図
【図４】通信状況の時間による変化と通信されるフレームとの関係を示す図
【図５】動画データの通信における通信制御処理を示すフローチャート
【図６】第２の実施の形態の受信装置の機能ブロック図
【図７】第２の実施の形態の送信装置の機能ブロック図
【符号の説明】
１ ビデオカメラ
２ 送信装置
３ 受信装置
４ モニタ
５１ 画像符号化部
５２ 符号化制御部
５３ 送信パケット生成部
５５ 受信信号解析部
６４、７１ 通信状況算出部
６５ 通信状態判定部
６６ 不良時間計測部
６７ 良好時間計測部
６８ 切替要求部
７２ 切替制御部
Claims (22)
- イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを通信する動画データ通信手段と、
前記動画データ通信手段による通信の不良状態を判定する不良判定手段と、
前記不良判定手段により判定された不良状態の継続時間を計測する不良時間計測手段と、
前記不良時間計測手段により計測された継続時間が所定の不良判定時間に達した場合に、前記動画データ通信手段による差分フレームの通信をイントラフレームの通信に切り替えるための切替処理をする切替処理手段と
を有することを特徴とする動画データ通信システム。 - 前記不良判定時間は、前記不良状態での差分フレームの継続使用と動画の品質との関係に基づき動画の品質が悪化する時間に設定されていることを特徴とする請求項１記載の動画データ通信システム。
- 前記不良状態の継続時間が前記不良判定時間に達した後に、前記不良状態が解消されたことによる良好状態を判定する良好判定手段と、
前記良好判定手段により判定された良好状態の継続時間を計測する良好時間計測手段とをさらに有し、
前記切替処理手段は、前記良好時間計測手段により計測された継続時間が所定の回復見込時間に達した場合に、前記動画データ通信手段によるイントラフレームの通信を差分フレームの通信に戻すことを特徴とする請求項１または２記載の動画データ通信システム。 - 前記回復見込時間は、通信エラーレートに基づいて、前記イントラフレームが確実に通信されると予測される時間に設定されていることを特徴とする請求項３記載の動画データ通信システム。
- 動画データ送信装置から送信された動画データであって、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを受信する動画データ受信手段と、
前記動画データ送信装置との通信の不良状態を判定する不良判定手段と、
前記不良判定手段により判定された不良状態の継続時間を計測する不良時間計測手段と、
前記不良時間計測手段により計測された継続時間が所定の不良判定時間に達した場合に、前記動画データ送信装置に対して差分フレームの送信をイントラフレームの送信に切り替えるための切替要求をする切替要求手段と
を有することを特徴とする動画データ受信装置。 - イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを送信する動画データ送信手段と、
前記動画データの通信の不良状態を判定する不良判定手段と、
前記不良判定手段により判定された不良状態の継続時間を計測する不良時間計測手段と、
前記不良時間計測手段により計測された継続時間が所定の不良判定時間に達した場合に、前記動画データ送信手段による差分フレームの送信をイントラフレームの送信に切り替える切替制御手段と
を有することを特徴とする動画データ送信装置。 - イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを通信する動画データ通信手段と、
前記動画データ通信手段による通信が不良状態になった後に、その不良状態が解消されたことによる良好状態を判定する良好判定手段と、
前記良好判定手段により判定された良好状態の継続時間を計測する良好時間計測手段と、
前記良好時間計測手段により計測された継続時間が所定の回復見込時間に達した場合に、前記動画データ通信手段によるイントラフレームの通信を差分フレームの通信に戻す切替制御手段と
を有することを特徴とする動画データ通信システム。 - 動画データ送信装置から送信された動画データであって、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを受信する動画データ受信手段と、
前記動画データ送信装置との通信が不良状態になった後に、その不良状態が解消されたことによる良好状態を判定する良好判定手段と、
前記良好判定手段により判定された良好状態の継続時間を計測する良好時間計測手段と、
前記良好時間計測手段により計測された継続時間が所定の回復見込時間に達した場合に、前記切替要求を停止する切替処理手段と
を有することを特徴とする動画データ受信装置。 - イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを送信する動画データ送信手段と、
前記動画データの通信が不良状態になった後に、その不良状態が解消されたことによる良好状態を判定する良好判定手段と、
前記良好判定手段により判定された良好状態の継続時間を計測する良好時間計測手段と、
前記良好時間計測手段により計測された継続時間が所定の回復見込時間に達した場合に、前記動画データ送信手段によるイントラフレームの通信を差分フレームの通信に戻す切替制御手段と
を有することを特徴とする動画データ送信装置。 - イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを通信する動画データ通信ステップと、
前記動画データの通信の不良状態を判定する不良判定ステップと、
前記不良判定ステップにおいて判定された不良状態の継続時間を計測する不良時間計測ステップと、
前記不良時間計測ステップにおいて計測された継続時間が所定の不良判定時間に達した場合に、前記動画データ通信ステップにおける差分フレームの通信をイントラフレームの通信に切り替えるための切替処理をする切替処理ステップと
を有することを特徴とする動画データ通信方法。 - 動画データ送信装置から送信された動画データであって、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを受信する動画データ受信ステップと、
前記動画データ送信装置との通信の不良状態を判定する不良判定ステップと、
前記不良判定ステップにおいて判定された不良状態の継続時間を計測する不良時間計測ステップと、
前記不良時間計測ステップにおいて計測された継続時間が所定の不良判定時間に達した場合に、前記動画データ送信装置に対して差分フレームの送信をイントラフレームの送信に切り替えるための切替要求をする切替要求ステップと
を有することを特徴とする動画データ受信方法。 - イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを送信する動画データ送信ステップと、
前記動画データの通信の不良状態を判定する不良判定ステップと、
前記不良判定ステップにおいて判定された不良状態の継続時間を計測する不良時間計測ステップと、
前記不良時間計測ステップにおいて計測された継続時間が所定の不良判定時間に達した場合に、前記動画データ送信ステップにおける差分フレームの送信をイントラフレームの送信に切り替える切替制御ステップと
を有することを特徴とする動画データ送信方法。 - イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを通信する動画データ通信ステップと、
前記動画データの通信が不良状態になった後に、その不良状態が解消されたことによる良好状態を判定する良好判定ステップと、
前記良好判定ステップにおいて判定された良好状態の継続時間を計測する良好時間計測ステップと、
前記良好時間計測ステップにおいて計測された継続時間が所定の回復見込時間に達した場合に、前記動画データ通信ステップにおけるイントラフレームの通信を差分フレームの通信に切り替えるための切替処理をする切替処理ステップと
を有することを特徴とする動画データ通信方法。 - 動画データ送信装置から送信された動画データであって、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを受信する動画データ受信ステップと、
前記動画データ送信装置との通信が不良状態になった後に、その不良状態が解消されたことによる良好状態を判定する良好判定ステップと、
前記良好判定ステップにおいて判定された良好状態の継続時間を計測する良好時間計測ステップと、
前記良好時間計測ステップにおいて計測された継続時間が所定の回復見込時間に達した場合に、前記動画データ送信装置によるイントラフレームの送信を差分フレームの送信に切り替えるための切替処理をする切替処理ステップと、
を有することを特徴とする動画データ受信方法。 - イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを送信する動画データ送信ステップと、
前記動画データの通信が不良状態になった後に、その不良状態が解消されたことによる良好状態を判定する良好判定ステップと、
前記良好判定ステップにおいて判定された良好状態の継続時間を計測する良好時間計測ステップと、
前記良好時間計測ステップにおいて計測された継続時間が所定の回復見込時間に達した場合に、前記動画データ送信ステップにおけるイントラフレームの送信を差分フレームの送信に切り替える切替制御ステップと
を有することを特徴とする動画データ送信方法。 - イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを通信する動画データ通信ステップと、
前記動画データの通信の不良状態を判定する不良判定ステップと、
前記不良判定ステップにおいて判定された不良状態の継続時間を計測する不良時間計測ステップと、
前記不良時間計測ステップにおいて計測された継続時間が所定の不良判定時間に達した場合に、前記動画データ通信ステップにおける差分フレームの通信をイントラフレームの通信に切り替えるための切替処理をする切替処理ステップと
をコンピュータに実行させるためのプログラム。 - 動画データ送信装置から送信された動画データであって、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを受信する動画データ受信ステップと、
前記動画データ送信装置との通信の不良状態を判定する不良判定ステップと、
前記不良判定ステップにおいて判定された不良状態の継続時間を計測する不良時間計測ステップと、
前記不良時間計測ステップにおいて計測された継続時間が所定の不良判定時間に達した場合に、前記動画データ送信装置に対して差分フレームの送信をイントラフレームの送信に切り替えるための切替要求をする切替要求ステップと
をコンピュータに実行させるためのプログラム。 - イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを送信する動画データ送信ステップと、
前記動画データの通信の不良状態を判定する不良判定ステップと、
前記不良判定ステップにおいて判定された不良状態の継続時間を計測する不良時間計測ステップと、
前記不良時間計測ステップにおいて計測された継続時間が所定の不良判定時間に達した場合に、前記動画データ送信ステップにおける差分フレームの送信をイントラフレームの送信に切り替える切替制御ステップと
をコンピュータに実行させるためのプログラム。 - イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを通信する動画データ通信ステップと、
前記動画データの通信が不良状態になった後に、その不良状態が解消されたことによる良好状態を判定する良好判定ステップと、
前記良好判定ステップにおいて判定された良好状態の継続時間を計測する良好時間計測ステップと、
前記良好時間計測ステップにおいて計測された継続時間が所定の回復見込時間に達した場合に、前記動画データ通信ステップにおけるイントラフレームの通信を差分フレームの通信に切り替えるための切替処理をする切替処理ステップと
をコンピュータに実行させるためのプログラム。 - 動画データ送信装置から送信された動画データであって、イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを受信する動画データ受信ステップと、
前記動画データ送信装置との通信が不良状態になった後に、その不良状態が解消されたことによる良好状態を判定する良好判定ステップと、
前記良好判定ステップにおいて判定された良好状態の継続時間を計測する良好時間計測ステップと、
前記良好時間計測ステップにおいて計測された継続時間が所定の回復見込時間に達した場合に、前記動画データ送信装置に対してイントラフレームの通信を差分フレームの通信に切り替えるための切替処理をする切替処理ステップと、
をコンピュータに実行させるためのプログラム。 - イントラフレームとイントラフレームに続く複数の差分フレームとが繰り返される圧縮された動画データを送信する動画データ送信ステップと、
前記動画データの通信が不良状態になった後に、その不良状態が解消されたことによる良好状態を判定する良好判定ステップと、
前記良好判定ステップにおいて判定された良好状態の継続時間を計測する良好時間計測ステップと、
前記良好時間計測ステップにおいて計測された継続時間が所定の回復見込時間に達した場合に、前記動画データ送信ステップにおけるイントラフレームの通信を差分フレームの通信に切り替える切替制御ステップと
をコンピュータに実行させるためのプログラム。 - 請求項１６〜２１のいずれか記載のプログラムを格納した、コンピュータにて読取可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002304807A JP2004140691A (ja) | 2002-10-18 | 2002-10-18 | 動画データ通信システムおよび動画データ通信方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002304807A JP2004140691A (ja) | 2002-10-18 | 2002-10-18 | 動画データ通信システムおよび動画データ通信方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004140691A true JP2004140691A (ja) | 2004-05-13 |
Family
ID=32452125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002304807A Pending JP2004140691A (ja) | 2002-10-18 | 2002-10-18 | 動画データ通信システムおよび動画データ通信方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004140691A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012156651A (ja) * | 2011-01-24 | 2012-08-16 | Panasonic Corp | 動画伝送システム |
| US9900637B2 (en) | 2013-11-20 | 2018-02-20 | Mitsubishi Electric Corporation | Wireless communication system, transmission device, reception device, and communication terminal |
| US11218707B2 (en) | 2017-08-31 | 2022-01-04 | Cyberstep, Inc. | Moving image distribution device, method, and program and moving image distribution system |
-
2002
- 2002-10-18 JP JP2002304807A patent/JP2004140691A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012156651A (ja) * | 2011-01-24 | 2012-08-16 | Panasonic Corp | 動画伝送システム |
| US9900637B2 (en) | 2013-11-20 | 2018-02-20 | Mitsubishi Electric Corporation | Wireless communication system, transmission device, reception device, and communication terminal |
| US11218707B2 (en) | 2017-08-31 | 2022-01-04 | Cyberstep, Inc. | Moving image distribution device, method, and program and moving image distribution system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8295348B2 (en) | Method for controlling moving picture encoding using channel information of wireless networks | |
| JP3730974B2 (ja) | メディア伝送方法及びその送信装置 | |
| KR20030095995A (ko) | 미디어 전송방법 및 그 송신장치 및 수신장치 | |
| US9906999B2 (en) | Communication terminal and encoding rate reduction method | |
| JP4320024B2 (ja) | 誤り訂正パケットを用いた伝送率制御方法およびそれを用いた通信装置 | |
| US20080320170A1 (en) | Data communication apparatus and data communication method | |
| US9571799B2 (en) | Wireless communication system and method, and data receiving apparatus, method and program | |
| JP2004140691A (ja) | 動画データ通信システムおよび動画データ通信方法 | |
| US20080104648A1 (en) | System for providing a video service, and apparatus and method for the same | |
| JP4909590B2 (ja) | メディア信号の受信装置、送信装置及び送受信システム | |
| CN111602389B (zh) | 码流的传输控制方法、设备及计算机可读存储介质 | |
| JP5098784B2 (ja) | 映像通信装置 | |
| JP2830948B2 (ja) | 画像信号符号化方式 | |
| JP2008079061A (ja) | 画像ストリーミングシステム | |
| JP2004193850A (ja) | 符号化制御方法及び符号化制御プログラム | |
| JP3929876B2 (ja) | 無線動画像伝送装置 | |
| CN112929667A (zh) | 一种编解码方法、装置、设备及可读存储介质 | |
| JPH1169349A (ja) | 画像通信装置 | |
| JP2007150486A (ja) | 画像伝送装置 | |
| KR100363550B1 (ko) | 동영상 인코딩 장치 및 무선 단말기의 동영상 디코딩 장치 | |
| JPH07193821A (ja) | 動画像符号化装置および方法 | |
| JP2003284064A (ja) | 画像受信装置および画像表示制御方法 | |
| JP2001359102A (ja) | 画像符号化方法及び画像符号化装置 | |
| JPH04176291A (ja) | 画像符号化復号装置 | |
| JP2002330437A (ja) | 画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051004 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051114 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080708 |