JP2005341361A - 無線画像伝送システムおよびその伝送方法 - Google Patents

Abstract

【課題】最適な伝送レートおよび符号化方式を選択することにより、画質の劣化の少ない無線画像伝送システムおよびその伝送方法を提供する
【解決手段】ネットワーク３２に無線アクセスポイント３５を介して接続される送信端末装置３１と、ネットワーク３２に無線アクセスポイント３３を介して接続される受信端末装置３４を有する無線画像伝送システムにおいて、受信端末装置３４は、ネットワーク３２全体の遅延時間、エラーパケット数などのネットワーク全体統計情報と、受信端末装置３２に設けられた無線部における遅延時間、ジッタ情報、エラーパケット数及び無線リンク速度などの無線統計情報とを一定間隔で取得し、ネットワーク全体統計情報と、無線統計情報を送信端末装置３１へ送信し、送信端末装置３１は、受信したネットワーク全体統計情報と、無線統計情報とに応じて伝送レートおよび符号化方式を選択して通信することで画像の劣化を少なくする。
【選択図】図３

Description

本発明は、ネットワークに無線通信を介して画像を送受信する無線画像伝送システムおよびその伝送方法に関する。

テレビ会議システムやテレビ電話装置等において、実質的にリアルタイム、すなわち少ない遅延時間で、画像を良い状態で伝送することは、コミュニケーションを行う上で重要である。

近年、光ファイバーやＡＤＳＬ（Asymmetric Digital Subscriber Line）などのブロードバンドが安価で利用できるようになり、画像をリアルタイムで利用するアプリケーションが広がっていくことが予想される。また、オフィスや家庭において、配線の手間を省くために、無線ＬＡＮ（Local Area Network）などが使用されることが多い。この無線ＬＡＮなどの無線通信を使って、画像を少ない遅延時間で、画質の劣化を少なく伝送する方法が求められている。

従来の画像伝送方法における伝送レート制御では、送信側端末装置は、情報を送信する際、送信レートを徐々に上げていく最中に、受信側端末装置からのＲＴＣＰ（rtp Control Protocol）データを使ったフィードバック情報に基づいて、エラー発生、または伝送遅延時間が増加したかどうかを確認している。エラー発生または伝送遅延時間が増加した場合には、送信側端末装置は、その通信帯域を越えたと判断し、１つ前の送信レートに固定する。所定の期間経過した後にエラー発生率及び伝送遅延時間が所定値より減らない場合は、送信レートを徐々に下げていく。このように伝送レートを制御することで、ネットワークの輻輳が発生しないようにしている（例えば、特許文献１参照。）。
特開平１１−３４１０６４号公報

無線通信においては伝送エラーが発生しやすいため、送信側端末装置の無線伝送路においてＡＲＱ（Automatic Repeat reguest）方式による再送を行うことが一般的である。しかしながら、無線通信を使って、画像をリアルタイムで伝送する場合、無線伝送路での再送による遅延をネットワークにおける遅延と判断し、送信レートを下げてしまうため、画像を伝送するための帯域を確保できなくなり、画像品質が下がってしまうという問題がある。

そこで本発明は、最適な伝送レートおよび符号化方式を選択することにより、画質の劣化の少ない無線画像伝送システムおよびその伝送方法を提供することを目的とする。

従来のネットワークの統計情報に加え、送信端末装置または受信端末装置に設けられた無線伝送路での遅延時間、エラー率、データリンク速度等の状況を抽出し、送信側に送ることにより、送信端末装置側では、無線伝送路での状況を判断し、送信レート及び符号化方式を決定することができる。

本発明によれば、無線通信でのリアルタイム画像伝送を行う無線画像伝送システムにおいて、動的に適切な伝送レート及び符号化方式を正しく選択することができる。よって、
画像品質の劣化を少なくすることができる。

本発明は、受信端末装置に設けられた無線部での情報を送信端末装置に送信することにより、送信端末装置が無線部での状況に応じて、送信レート、符号化方式を決定することを主要な特徴とする。

本願の第１の発明は、ネットワークに直接または第１の無線アクセスポイントを介して接続される送信端末装置と、ネットワークに直接または第２の無線アクセスポイントを介して接続される受信端末装置を有する無線画像伝送システムにおいて、受信端末装置は、ネットワーク全体の遅延時間、エラーパケット数などのネットワーク全体統計情報と、受信端末装置に設けられた無線部における遅延時間、ジッタ情報、エラーパケット数及び無線リンク速度などの無線統計情報とを一定間隔で取得する手段と、ネットワーク全体統計情報と、無線統計情報を送信端末装置へ送信する手段を備え、送信端末装置は、受信した前記ネットワーク全体統計情報と、無線統計情報とに応じて伝送レートおよび符号化方式を選択して通信する手段とを備えたことを特徴としたものである。

この構成により、送信端末は、受信端末側で発生したエラーや遅延がネットワークで発生したものか、無線伝送路で発生したかを知ることが出来るため、無線伝送部でエラーや遅延が単発で発生したと判断した場合は、伝送レートを下げることなく、無線ＬＡＮの自動再送回数を低く設定する、ＦＥＣ（Forward Error Correction）を行うなど、符号化方式を選択することにより、画質の低下を防ぐことが出来る。また、エラーや遅延がネットワークで発生した場合には、従来どおりに、即座に伝送レートを下げて、輻輳を回避することが出来る。

本願の第２の発明は、ネットワークに直接または第１の無線アクセスポイントを介して接続される送信端末装置と、ネットワークに直接または第２の無線アクセスポイントを介して接続される受信端末装置を有する無線画像伝送システムにおいて、受信端末装置は、ネットワーク全体の遅延時間、エラーパケット数などのネットワーク全体統計情報を一定間隔で取得する手段と、ネットワーク全体統計情報を送信端末装置へ送信する手段を備え、送信端末装置は、ネットワーク全体統計情報を受信する手段と、送信端末装置に設けられた無線部における遅延時間、ジッタ情報、エラーパケット数及び無線リンク速度などの無線統計情報を一定時間間隔で取得する手段と、この無線統計情報と、受信したネットワーク全体統計情報とに応じて伝送レートおよび符号化方式を選択して通信する手段とを備えたことを特徴としたものである。

この構成により、送信端末は、受信端末から送られてきた統計情報と、送信端末側の無線部の無線統計情報を参照することにより、エラーや遅延がネットワークで発生したものか、無線伝送路で発生したものか判断することが出来るため、伝送レートを下げすぎたり、誤った符号化方式を選択したりすることが無く、通信状況に応じた選択を行うことが出来る。

本願の第３の発明は、ネットワークに直接または第１の無線アクセスポイントを介して接続される送信端末装置と、ネットワークに直接または第２の無線アクセスポイントを介して接続される受信端末装置を有する無線画像伝送システムの伝送方法において、受信端末装置が、ネットワーク全体の遅延時間、エラーパケット数などのネットワーク全体統計情報と、受信端末装置に設けられた無線部における遅延時間、ジッタ情報、エラーパケット数及び無線リンク速度などの無線統計情報とを一定間隔で前記送信端末装置へ送信し、送信端末装置が、受信したネットワーク全体統計情報と、無線統計情報とに応じて伝送レートおよび符号化方式を選択して通信することを特徴としたものである。

この構成により、送信端末は、受信端末側で発生したエラーや遅延がネットワークで発生したものか、無線伝送路で発生したかを知ることが出来るため、無線伝送部でエラーや遅延が単発で発生したと判断した場合は、伝送レートを下げることなく、無線ＬＡＮの自動再送回数を低く設定する、ＦＥＣ（Forward Error Correction）を行うなど、符号化方式を選択することにより、画質の低下を防ぐことが出来る。また、エラーや遅延がネットワークで発生した場合には、従来どおりに、即座に伝送レートを下げて、輻輳を回避することが出来る。

本願の第４の発明は、ネットワークに直接または第１の無線アクセスポイントを介して接続される送信端末装置と、ネットワークに直接または第２の無線アクセスポイントを介して接続される受信端末装置を有する無線画像伝送システムの伝送方法において、受信端末装置が、ネットワーク全体の遅延時間、エラーパケット数などのネットワーク全体統計情報を一定間隔で送信端末装置へ送信し、送信端末装置が、送信端末装置に設けられた無線部における遅延時間、ジッタ情報、エラーパケット数及び無線リンク速度などの無線統計情報を一定時間間隔で取得し、この無線統計情報と、受信したネットワーク全体統計情報とに応じて伝送レートおよび符号化方式を選択して通信することを特徴としたものである。

この構成により、送信端末は、受信端末から送られてきた統計情報と、送信端末側の無線部の無線統計情報を参照することにより、エラーや遅延がネットワークで発生したものか、無線伝送路で発生したものか判断することが出来るため、伝送レートを下げすぎたり、誤った符号化方式を選択したりすることが無く、通信状況に応じた選択を行うことが出来る。

（実施の形態）
以下、図を参照しながら、本発明の実施の形態に係る無線画像伝送システムの構成を図１から図３に基づいて説明する。

図１は本発明の実施の形態に係る無線画像伝送システムに用いられる無線画像伝送装置の機能ブロック図である。図２は同無線画像伝送装置の回路ブロック図である。図３は本発明の実施の形態に係る無線画像伝送システムの構成を説明する図である。

図１に示すように、無線画像伝送装置は、送信端末装置と受信端末装置の両方の機能を備えており、フィードバック情報受信部１と、ネットワーク状況及び無線状況抽出部２と、伝送レート及び符号化方式決定部３と、符号化部４と、送信部５と、キー操作部６と、受信部７と、ネットワーク誤り検出部８と、無線状況抽出部９と、復号化部１０と、フィードバック情報作成部１１と、制御部１２とを備えている。

フィードバック情報受信部１は、受信側からのネットワーク状況に加え無線状況のフィードバック情報を得る。

ネットワーク状況及び無線状況抽出部２は、受信した情報より、ネットワーク全体及び無線部のエラー率、遅延時間、ジッタ情報、無線のデータリンク速度等を抽出する。

伝送レート及び符号化方式決定部３は、ネットワーク状況及び無線状況抽出部２より動的に適切な伝送レート及び符号化方式を決定する。

符号化部４は、伝送レート及び符号化方式に従い画像を符号化する。

送信部５は、符号化したデータを送信する。

キー操作部６は、通信相手を指定したり、通信開始終了を指示したりする際に使用される入力手段である。

受信部７は、画像データを受信する。

ネットワーク誤り検出部８は、パケット番号などよりネットワークでのロスを検出、遅延時間を求め、バッファに記録する。

無線状況抽出部９は、無線アクセスポイントより、無線部のエラー率、遅延時間、ジッタ情報、無線のデータリンク速度等を得る。

復号化部１０は受信データより画像を復号する。

フィードバック情報作成部１１は、ネットワーク状況及び無線状況をまとめて、フィードバック情報とする。

制御部１２は、無線伝送装置の各部を統括制御する。

図２に示すように、無線画像伝送装置は、プログラムが格納されたＲＯＭ（Read Only Memory）２２と、バッファやワークメモリとして利用されるＲＡＭ（Random Access Memory）２３と、全体制御を司るＣＰＵ（Central Processing Unit）２１と、ＣＰＵ２１の画像符号化、符号化を行う能力が不足する場合に付加され、主に画像、音声の符号化、復元を行うＤＳＰ（Digital Signal Processor）３０と、操作を受け付けるキー２４と、マイク２５と、スピーカ２６と、カメラ２７と、ＬＡＮや無線など通信部２８と、表示手段であるディスプレイ２９とを備えている。

この無線画像伝送装置は、マイク２５より入力された音声及びカメラ２７により入力された画像が、ＣＰＵ２１及びＤＳＰ３０により処理され、通信部２８によりＬＡＮまたは無線を介して送信及び受信される。受信された音声及び画像入力された音声及び画像はスピーカ２６及びディスプレイ２９へ出力される。

図３に示すように、無線画像伝送装置を用いた無線画像伝送システムは、送信側である送信端末装置３１が、ネットワーク３２と直接または送信側の無線アクセスポイント（以下、「無線ＡＰ」と称す。）を介して間接的に接続されている。受信側である受信端末装置３４は、ネットワーク３２に接続された無線ＡＰ３３を介して接続される。図３においては、送信端末装置３１および受信端末装置３４がそれぞれが無線画像伝送装置の機能を有しており、便宜上、画像を送信する側の無線画像伝送装置を送信端末装置と称し、画像を受信する側の無線画像伝送装置を受信端末装置と称している。

従来の技術では、この図３において、送信端末装置３１は、受信端末装置３４が無線に接続されているかどうか分からず、何らかの方法で知ることができたとしても、無線伝送路の状況を知ることができないために、最適な送信レートや符号化方式を選択することができなかった。

本発明の実施の形態の無線画像伝送装置の動作を図４および図５に基づいて説明する。図４は送信端末装置側のフローチャートであり、図５は受信端末装置側のフローチャートである。

図４に示すように、送信側である送信端末装置３１は、帯域初期値に設定する（ステップ１）。場合によっては、テストデータの送受信実験、いわゆるトレーニングを行うことにより、帯域初期値を決定しても良い。

次に、帯域に合わせて符号化方式のイントラフレームとなる量子化パラメータを設定（ステップ２）して、画像符号化を行う（ステップ３）。

送信側である送信端末装置３１または受信側である受信端末装置３４のキー操作部６の操作などにより伝送終了の指示があるか確認し（ステップ４）、終了で無ければ、符号化データを送信する（ステップ５）。

受信端末装置３４からのフィードバック情報を受け取っているかどうか確認し（ステップ６）、受け取っていれば、ネットワーク３２全体統計情報及び無線統計情報を抽出し（ステップ７）、それらの情報より、伝送レート及び符号化方式を決定する（ステップ８）。

図５（ａ）に示すように、受信側である受信端末装置３４では、送信端末装置３１に送るフィードバックの時間間隔にタイマーを設定し、割り込みを許可にする（ステップ１１）。

送信端末装置３１または受信端末装置３４のキー操作部６の操作などにより伝送終了の指示があるか確認し（ステップ１２）、終了で無ければ、データを受信する（ステップ１３）。

受信したデータで画像符号化を行う（ステップ１４）とともにパケット番号及び遅延時間を格納し（ステップ１５）、無線部での遅延時間、無線リンク速度を格納する（ステップ１６）。

図５（ｂ）のタイマー割り込み処理では、送信端末装置３１にフィードバック情報を送る時間かどうか確認し（ステップ１７）、送る時間だったならば、全体ネットワーク状況を抽出（ステップ１８）、無線状況を抽出（ステップ１９）し、ネットワーク全体の遅延時間、ジッタ、ロスしたパケット数などのネットワーク全体統計情報及び無線伝送路での遅延時間、ジッタ、ロスしたパケット数、無線リンク速度の状況などを含むフィードバック統計情報を作成し（ステップ２０）、送信する（ステップ２１）。

送信端末装置３１では、図４で説明したように、この情報を元に、最適な伝送レート及び符号化方式を決定する。

このようにして最適な伝送レートおよび符号化方式を決定することができる。符号化方式には、イントラ符号化するマクロブロック数、量子化パラメータ、ＦＥＣ（Forward Error Correction）を適用するかどうか、適用する場合のＦＥＣの冗長度などを指定する符号化パラメータ及び無線ＡＰ、無線ドライバに指定する最大再送回数が含まれる。

従来の方法では、無線部で一時的な遅延やロスが発生した場合、ネットワークで輻輳が発生したと判断し、符号化レートを大きく下げる。このため、図６に示すように符号化レートが煩雑に変動し、それにつれて画質も変動する。従って、画質劣化が表面化してしまう。

本発明の実施の形態においては、図７に示すように、無線部での再送による単発の遅延や無線エラーに対しては、伝送レートを変動させないため、画質の劣化が発生しにくい。
また、ネットワークでの遅延が大きい時には、アプリケーションのリアルタイム性の要求に従い、無線部での最大再送回数を小さくすることにより、無駄な再送を省き、画質の劣化を少なくすることができる。

以上、本発明の実施の形態では、受信端末装置が無線通信を介してネットワークに接続した場合において説明を行ったが、本発明は前記実施の形態に限定されるものではなく、送信端末装置が無線接続された場合は、送信端末装置が無線統計情報を作成することにより、同様に適用できる。また、送受信の両方の機能を有する端末装置が無線通信を介してネットワークに接続した場合も、同様に適用できる。

送信端末装置が、ネットワーク全体統計情報と無線統計情報を照らし合わせて、判断することにより、無線状態が悪い状況の時でも、最適な伝送レート、符号化方式を選択することができるので、ネットワークに無線通信を介して画像を送受信する無線画像伝送システムに好適である。

本発明の実施の形態に係る無線画像伝送システムに用いられる無線画像伝送装置の機能ブロック図 同無線画像伝送装置の回路ブロック図 本発明の実施の形態に係る無線画像伝送システムの構成を説明する図 送信端末装置側のフローチャート 受信端末装置側のフローチャート 従来の無線画像伝送方法における符号化レートの変動の例を示す図 本発明の実施の形態に係る無線画像伝送方法における符号化レートの変動の例を示す図

符号の説明

１ フィードバック情報受信部
２ ネットワーク状況及び無線状況抽出部
３ 伝送レート及び符号化方式決定部
４ 符号化部
５ 送信部
６ キー操作部
７ 受信部
８ ネットワーク誤り検出部
９ 無線状況抽出部
１０ 復号化部
１１ フィードバック情報作成部
１２ 制御部
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ キー
２５ マイク
２６ スピーカ
２７ カメラ
２８ 通信部
２９ ディスプレイ
３０ ＤＳＰ
３１ 送信端末装置
３２ ネットワーク
３３ 無線アクセスポイント（無線ＡＰ）
３４ 受信端末装置
３５ 無線アクセスポイント（無線ＡＰ）

Claims (4)

1. ネットワークに直接または第１の無線アクセスポイントを介して接続される送信端末装置と、前記ネットワークに直接または第２の無線アクセスポイントを介して接続される受信端末装置を有する無線画像伝送システムにおいて、
   前記受信端末装置は、前記ネットワーク全体の遅延時間、エラーパケット数などのネットワーク全体統計情報と、前記受信端末装置に設けられた無線部における遅延時間、ジッタ情報、エラーパケット数及び無線リンク速度などの無線統計情報とを一定間隔で取得する手段と、前記ネットワーク全体統計情報と、前記無線統計情報を前記送信端末装置へ送信する手段を備え、
   前記送信端末装置は、受信したネットワーク全体統計情報と、前記無線統計情報とに応じて伝送レートおよび符号化方式を選択して通信する手段とを備えたことを特徴とする無線画像伝送システム。
2. ネットワークに直接または第１の無線アクセスポイントを介して接続される送信端末装置と、前記ネットワークに直接または第２の無線アクセスポイントを介して接続される受信端末装置を有する無線画像伝送システムにおいて、
   前記受信端末装置は、前記ネットワーク全体の遅延時間、エラーパケット数などのネットワーク全体統計情報を一定間隔で取得する手段と、前記ネットワーク全体統計情報を前記送信端末装置へ送信する手段を備え、
   前記送信端末装置は、前記ネットワーク全体統計情報を受信する手段と、前記送信端末装置に設けられた無線部における遅延時間、ジッタ情報、エラーパケット数及び無線リンク速度などの無線統計情報を一定時間間隔で取得する手段と、この無線統計情報と、受信したネットワーク全体統計情報とに応じて伝送レートおよび符号化方式を選択して通信する手段とを備えたことを特徴とする無線画像伝送システム。
3. ネットワークに直接または第１の無線アクセスポイントを介して接続される送信端末装置と、前記ネットワークに直接または第２の無線アクセスポイントを介して接続される受信端末装置を有する無線画像伝送システムの伝送方法において、
   前記受信端末装置が、前記ネットワーク全体の遅延時間、エラーパケット数などのネットワーク全体統計情報と、前記受信端末装置に設けられた無線部における遅延時間、ジッタ情報、エラーパケット数及び無線リンク速度などの無線統計情報とを一定間隔で前記送信端末装置へ送信し、
   前記送信端末装置が、受信したネットワーク全体統計情報と、前記無線統計情報とに応じて伝送レートおよび符号化方式を選択して通信することを特徴とする無線画像伝送方法。
4. ネットワークに直接または第１の無線アクセスポイントを介して接続される送信端末装置と、前記ネットワークに直接または第２の無線アクセスポイントを介して接続される受信端末装置を有する無線画像伝送システムの伝送方法において、
   前記受信端末装置が、前記ネットワーク全体の遅延時間、エラーパケット数などのネットワーク全体統計情報を一定間隔で前記送信端末装置へ送信し、
   前記送信端末装置が、前記送信端末装置に設けられた無線部における遅延時間、ジッタ情報、エラーパケット数及び無線リンク速度などの無線統計情報を一定時間間隔で取得し、この無線統計情報と、受信したネットワーク全体統計情報とに応じて伝送レートおよび符号化方式を選択して通信することを特徴とする無線画像伝送方法。

Images