JP2007053504A - 映像通信装置、映像通信方法、及びプログラム - Google Patents

Abstract

【課題】ネットワーク帯域を十分に確保できない環境下でも音声が途切れることなくＨＤTV映像を送受信することを可能とする。
【解決手段】音声映像復号化機能を備えた受信端末にネットワークを介して映像符号化データを送信する映像通信装置において、外部装置から音声映像符号化データを入力する入力手段と、前記音声映像符号化データを音声符号化データと映像符号化データとに分離する分離手段と、前記映像符号化データから送信対象となるフレームを選択するフレーム選択手段と、選択されたフレームの時間間隔に基づき、選択されたフレーム毎に映像符号化データの単位時間あたりの送信情報量を決定する決定手段と、選択されたフレームに対応する映像符号化データを前記決定手段で決定された単位時間あたりの送信情報量で、前記音声符号化データとともに前記受信端末へ送信する送信手段とを備える。
【選択図】 図２

Description

本発明は、映像をインターネット等のネットワーク上で送受信する映像通信技術に関し、特にHDTV（High-Definition TV：高精細テレビ、ハイビジョンともいう）映像をインターネット等のネットワーク上で送受信する映像通信技術に関するものである。

ハイビジョン映像の原信号は、そのまま伝送しようとすると約1.2Gbpsの符号量が必要となるが、地上デジタル放送等では、MPEG2を用いることによりハイビジョン映像の原信号を25Mbps程度まで圧縮して放送している。
また、ハイビジョン映像をＩＰネットワーク等のネットワーク上で送受信するためのシステムが提案されており、例えば非特許文献１、非特許文献２に記載されたシステムがある。このようなシステムでは、ハイビジョンに対応した市販のＨＤカメラ等を用いてMPEG2で符号化された映像符号化データをＰＣ上でパケット化し、パケット化したデータをネットワークを介して他のＰＣに送り、受信側のＰＣからデジタル放送録画再生装置を介してハイビジョン対応ＴＶに表示している。

また、非特許文献３に記載されているＩＰインターフェース装置を用いることにより、ＰＣを介さないでネットワークから受信した映像データを再生することができる。このIPインターフェース装置は、符号化データを連続的に受信することを前提に設計されている。

しかしながら、ＨＤカメラから出力されるMPEG2データの符号量は19〜25Mbpsであり、現在、一般に普及しているベストエフォート型のインターネットでは、その混雑状況により全てのデータを送ることできず、その結果、映像だけでなく音声も届かないため、遠隔会議や遠隔講演に使用することができないという問題がある。なお、MPEGに関係する文献として非特許文献４がある。
平成１７年８月１１日検索、インターネットhttp://www.tel.co.jp/cn/product/ruff_systems/index.html 平成１７年８月１１日検索、インターネットhttp://www.hpk.co.jp/Jpn/products/dv/hd.htm 平成１７年８月１１日検索、インターネットhttp://www.nel.co.jp/multimedia/products/hdtv/na3000.html 「ポイント図解式ブロードバンド＋モバイル標準ＭＰＥＧ４教科書」（株）アスキー、2003年

本発明は上記の点に鑑みてなされたものであり、ネットワーク帯域を十分に確保できない環境下でも音声が途切れることなくHDTV映像を送受信することを可能とした映像通信技術を提供することを目的とする。

上記の課題は、音声映像復号化機能を備えた受信端末にネットワークを介して映像符号化データを送信する映像通信装置であって、外部装置から音声映像符号化データを入力する入力手段と、前記音声映像符号化データを音声符号化データと映像符号化データとに分離する分離手段と、前記映像符号化データから送信対象となるフレームを選択するフレーム選択手段と、選択されたフレームの時間間隔に基づき、選択されたフレーム毎に映像符号化データの単位時間あたりの送信情報量を決定する決定手段と、選択されたフレームに対応する映像符号化データを前記決定手段で決定された単位時間あたりの送信情報量で、前記音声符号化データとともに前記受信端末へ送信する送信手段とを備えたことを特徴とする映像通信装置により解決される。

前記映像符号化データがMPEG形式又はMPEGと同等のフレーム構成を持つ符号化形式で構成される場合、前記フレーム選択手段は、Iフレームのみ、又は、IフレームとPフレームのみ、又は、入力された映像符号化データに含まれる全てのフレームを送信対象フレームとして選択することができる。また、前記フレーム選択手段は、ネットワークの帯域に応じて送信対象となるフレームを選択することができる。

前記決定手段は、送信する一のフレームに対する映像符号化データの情報量を当該一のフレームと次に送信するフレームとの間の時間間隔で割った値を前記一のフレームに対する映像符号化データの単位時間あたりの送信情報量として決定することができる。

また、本発明は、送信端末から受信した映像符号化データを、音声映像復号化機能を備えた受信端末にネットワークを介して送信する映像通信装置であって、前記送信端末から一部のフレームが間引かれた映像符号化データを受信する受信手段と、受信した映像符号化データに存在するフレームの時間間隔に基づき、フレーム毎に映像符号化データの単位時間あたりの送信情報量を決定する決定手段と、前記フレームに対応する映像符号化データを前記決定手段で決定された単位時間あたりの送信情報量で前記受信端末へ送信する送信手段とを備えたことを特徴とする映像通信装置として構成することもできる。

本発明によれば、音声符号化データと映像符号化データを分離し、フレームを間引きすることにより映像符号化データを圧縮するので、ネットワーク帯域が狭いインターネット上でも音声が途切れることなくハイビジョン映像を送受できる。更に、選択されたフレームの時間間隔に基づき、選択されたフレーム毎に映像符号化データの単位時間あたりの送信情報量を決定するので、例えばフレームデータの送信時間を伸ばすことによりデータを連続的に送信できる。これにより、フレームを間引く処理を行っても、受信側の装置として符号化データを連続的に受信することを前提に設計されている装置を使用することが可能となる。

以下、図面を参照して本発明の実施の形態について説明する。

（システム構成）
図１に、本発明の実施の形態におけるシステム構成を示す。

図１に示すように、本実施の形態のシステムは、映像符号化データの送信を行うＰＣ端末１とネットワーク受信対応映像復号機２とがインターネット３を介して接続された構成をとる。ＰＣ端末１には、ハイビジョン対応の映像符号化機能付きＨＤカメラ４（以下、ＨＤカメラ４という）が接続される。また、ネットワーク受信対応映像復号機２の先にＨＤ対応ＴＶ５が接続される。ＨＤカメラ４とＰＣ端末１はIEEE1394(i-link)で接続される。また、ネットワーク受信対応映像復号機２とＨＤ対応ＴＶ５はコンポーネントケーブルで接続される。

ネットワーク受信対応映像復号機２は、例えば非特許文献３に示したＩＰインターフェース装置である。その他、MPEG２符号化映像をインターネットを介して受信し、再生する機能を持つネットワークプレイヤーと呼ばれている装置をネットワーク受信対応映像復号機２として使用することができる。次に各装置の機能を説明する。

ＨＤカメラ４は、撮影したハイビジョン映像（音声を含む）をMPEG２で符号化し、音声映像符号化データをＰＣ端末１に送信する。ＰＣ端末１は、音声符号化データと映像符号化データとを分離し、音声符号化データと、映像符号化データの全部又は一部とをインターネット３を介してネットワーク受信対応映像復号機２に送信する。映像符号化データの一部を送信する場合は、後述するように、フレームが途切れないようデータ送信レートの調整を行う。ネットワーク受信対応映像復号機２は、受信した符号化データを復号化し、ＨＤ対応ＴＶ５に出力する。ＨＤ対応ＴＶ５は、受信したハイビジョン映像と音声を出力する。

図２に、符号化データ送信機能に着目したＰＣ端末１の機能構成を示す。図２に示すように、ＰＣ端末１は、HDカメラから音声映像符号化データを入力する符号化データ入力部１１、受信した音声映像符号化データを音声符号化データと映像符号化データとに分離する符号化データ分離部１２、映像符号化データの中から送信すべきフレームを選択するフレーム選択部１３、送信されるフレーム間が途切れないようにするために選択されたフレームの映像符号化データの単位時間あたりの情報量を決定する送信速度決定部１４、選択フレームを送信速度決定部１４で決定された単位時間あたりの情報量で送信するネットワーク送信部１５を有している。また、ネットワーク送信部１５は音声符号化データも送信する。

上記の各機能は、ＣＰＵ、メモリ、ハードディスク等の記憶装置、ＨＤカメラとのインターフェース装置、及びインターネットとのインターフェース装置等を備えた一般的なＰＣ（パーソナルコンピュータ）上で、上記の各機能を実現するためのプログラムを実行させることにより実現できるものである。

受信端末となるネットワーク受信対応映像復号機２は、MPEG2符号化データを復号化し、映像及び音声の信号を出力する機能を持つが、帯域保証されたネットワークやLAN上で符号化データが連続的に到達することを前提に設計されている。従って、符号化データを離散的にしか受信できない場合にはネットワークエラーと判断し、自ら通信を切るという性質を備えている。また、ネットワーク受信対応映像復号機２をＨＤ対応TVに内蔵した機器を受信端末として使用することも可能である。

（ＰＣ端末１の符号化データ送信処理）
次に、ＰＣ端末１からネットワーク受信対応映像復号機２へ映像通信を行う場合におけるＰＣ端末１の処理の流れを図３のフローチャートに沿って説明する。

まず、ＨＤカメラ４が撮影を行い、撮影によって得られた音声映像符号化データをＰＣ端末１がＨＤカメラ４から受信する（ステップ１）。なお、一般にＨＤカメラの出力形式として非圧縮のHD-SDI形式と圧縮されたMPEG2形式があるが、本実施の形態では後者のMPEG2形式のみを対象としている。

次に、音声映像符号化データを受信したＰＣ端末１の符号化データ分離部１２が、音声映像符号化データを映像符号化データと音声符号化データとに分離する（ステップ２）。ここではMPEG2データを対象とするので、映像符号化データとしてMPEG2ビデオデータが得られ、音声符号化データとしてMPEG2オーディオデータが得られる。

次に、ＰＣ端末１のフレーム選択部１３が、映像符号化データ（MPEG2ビデオデータ）に対するフレーム選択を行う（ステップ３）。つまり、フレームの間引きを行う。

一般に、MPEG2ビデオデータは、フレーム内圧縮されたＩフレーム、過去のＩフレームもしくはＰフレームと対象フレームとの差分で構成されるＰフレーム、現在及び未来のＩフレームもしくはＰフレームと対象フレームとの差分で構成されるＢフレームからなる。ＨＤカメラ４からＰＣ端末１が受信する映像符号化データの並びの例を図４に示す。本実施の形態では、フレームの選択の方法として、Iフレームのみを選択、ＩとＰフレームのみを選択、全フレームを選択のうちのいずれかを採用する。また、Ｉフレームのみを選択する場合は、全てのＩフレームを選択してもよいし、間引きを行いながら選択してもよい。

どのフレームを間引くかは、インターネットへのデータ転送速度に応じて決定することができる。この場合、ＰＣ端末１はデータ転送速度と間引くフレームの種類とを対応付けて記録した設定ファイルを保持し、データ転送速度を常時監視し、現在のデータ転送速度に対応した間引くべきフレームの種類を設定ファイルから取得し、その種類のフレームを間引く。設定ファイルは、例えば、データ転送速度Sが０＜S＜＝Xbpsの時にはＢとＰフレームを間引き、データ転送速度SがＸbps＜S＜＝Ｙbpsの時にはＢフレームのみを間引き、データ転送速度SがＹbps＜Sの時には間引きを行わないことを示す情報を保持している。

また、インターネットの混雑具合に応じて間引くフレームを決定することもできる。インターネットの混雑具合に応じて決定する場合には、例えば、混雑の程度を調べるためのパケットを受信端末に送り、そのパケットが受信端末から返送されてくる時間に応じて決定する。あるいは、送信時刻を付したパケットを受信端末に送り、受信端末が当該パケットを受信したときに当該パケットの伝送に要した時間をＰＣ端末１に送り、ＰＣ端末１が当該伝送時間に基づき送信方向のインターネットの混雑具合を判断してもよい。どのフレームを選択するかの決定は、例えば一定時間間隔で行う。

図５（１）は、ＰＣ端末１において全フレームを選択する場合における各フレームの送信時間と情報量との関係を示す図である。図５（１）において、横軸が送信時間を示し、縦軸が情報量を示す。図５（１）に示すように全フレームを選択する場合、Ｉフレーム、Ｐフレーム、Ｂフレームは一定時間間隔（日本では１／３０秒）で途切れることなく連続して送信される。

図５（２）は、Ｂフレームを間引き、間引いたままの状態で送信を行った場合における各フレームの送信時間と情報量との関係を示し、図５（３）は、ＢフレームとＰフレームを間引いた場合、すなわちＩフレームのみを選択した場合の送信時間と情報量との関係を示している。

これらの図に示すように、フレームを間引いただけの場合、フレームを送信している時間が離散的に存在することになる。つまり、あるフレームを送信してから次のフレームを送信するまでの間にデータを送信しない時間が生じ、データが途切れる。このように映像符号化データの送信が離散的になると、ネットワーク受信対応映像復号機２側では映像符号化データが離散的に受信されることになる。しかし、ネットワーク受信対応映像復号機２では、映像符号化データが離散的である場合にはネットワークエラーが生じたと判断して、自ら通信を切ってしまう。従って、送信側で単にフレームを間引くだけではネットワーク受信対応映像復号機２は正常に映像受信及び復号化を行うことができない。

そこで、ＰＣ端末１の送信速度決定部１４は、フレームレートに連動して、送信する単位時間当たりの情報量をフレーム毎に決定し、フレームを間引いた場合でも、送信するデータが途切れないよう、フレームの送信時間の変更を行う（図３のステップ４）。

送信速度決定処理の例を図６、７を参照して説明する。図６は、ＩフレームとＰフレームのみを選択した場合における送信速度決定処理を説明するための図である。図６（１）は、ＩフレームとＰフレームのみを選択しただけの場合の各フレームの送信時間と情報量との関係を示し、図６（２）は、選択されたフレームに対し単位時間あたりの送信情報量を変更した場合の送信時間と情報量との関係を示している。図６（２）に示すように、単位時間あたりの送信情報量が変更されることによりデータ送信時間が増加している。結果としてフレームの符号化データが離散的に送信されることを解消し、データを連続的に送ることを実現している。

ここで、選択された１つのフレームの送信時間Ｔｓ（秒）は、ＨＤカメラ４から受信する映像符号化データのフレームレートをＦ（ｆｐｓ）、選択されたフレームと次に選択されるフレームとの間で間引きをされるフレーム数をＮｓとすると、Ｔｓ＝（Ｎｓ＋１）／Ｆという計算式により求めることができる。そして、当該フレームに対応する映像符号化データ情報量をこの式により求めた送信時間で割ることにより、フレームの単位時間当たりの送信情報量を求めることができる。一般にフレーム毎に映像符号化データの情報量は異なるので、選択されたフレーム毎にこのような計算を行い、フレーム毎に単位時間当たりの送信情報量を求める。

図７は、Ｉフレームとのみを選択した場合における送信時間変更処理を説明するための図である。図７（１）は、Ｉフレームのみを選択しただけで送信時間変更を行っていない場合の各フレームの送信時間と情報量との関係を示している。各フレームの送信時間を、上述した計算で求めた送信時間とすることにより、図７（２）に示すようにフレームの映像符号化データを連続的に送信できるようになる。

次に、図３のステップ５において、ＰＣ端末１のネットワーク送信部１５が、フレーム選択部１３で選択されたフレームの映像符号化データと、符号化データ分離部１２から受信した音声符号化データとをネットワーク受信対応映像復号機２に向けて送信する。映像符号化データを送信する際には、送信速度決定部１４で求めた単位時間あたりの情報量で各フレームの送信を行う。ここでは、一般にインターネット上で音声及び映像データをやり取りするRTPプロトコルを用いて送信を行う。また、プロキシ等が存在してRTPプロトコルが使用できない場合には、HTTPトンネリング等のトンネリング技術を用いてRTPプロトコルをカプセル化して送信してもよい。

次に、ネットワーク受信対応映像復号機２は、ＰＣ端末１から送信された音声符号化データ及び映像符号化データを受信し、受信した符号化データを復号化し、ＨＤ対応ＴＶへハイビジョン映像及び音声の信号を出力する（ステップ６）。

本実施の形態では、ＰＣ端末１はＨＤカメラ４から出力される音声映像符号化データを入力していたが、デジタル放送録画再生装置をＰＣ端末１に接続し、デジタル放送録画再生装置に録画映像として蓄積されている音声映像符号化データをＰＣ端末１に入力するようにしてもよい。また、本実施の形態では符号化方式としてMPEG２を用いているが、MPEG２と同等のフレーム構成を持つ符号化方式であればMPEG２に限らず本発明を適用することが可能である。

（サーバを用いる構成）
上記の実施の形態では、ＰＣ端末１からネットワーク受信対応映像復号機２へ直接通信を行う場合を例にとって説明したが、インターネット上のサーバを介してＰＣ端末１からネットワーク受信対応映像復号機２に符号化データを送信してもよい。

この場合、サーバが図２と同じ構成を備える。これにより、ＨＤカメラ４から出力された音声映像符号化データをＰＣ等の送信端末からインターネットを介して受信し、サーバにてフレームを選択し、フレームを間引き、フレーム毎に送信時間を伸ばした映像符号化データを、音声符号化データとともにネットワーク受信対応映像復号機２に送信できる。この例は、サーバとネットワーク受信対応映像復号機２間のネットワーク帯域が十分でない場合に効果的である。

また、図８に示すような構成としてもよい。この場合、サーバ２０は、ネットワーク受信部２１、送信速度決定部２２、ネットワーク送信部２３を備える。送信端末６は、ＨＤカメラ４から受信したMPEG２音声映像符号化データを音声符号化データと映像符号化データに分離し、音声符号化データと、フレームを間引いた映像符号化データとをサーバ２０に送信する。サーバ２０では、ネットワーク受信部２１が送信端末６から送信されたデータを受信し、送信速度決定部２２が既に説明した送信速度決定処理と同様の処理を行うことによりフレーム毎に単位時間あたりの送信情報量を求め、ネットワーク送信部２３が音声符号化データと映像符号化データをネットワーク受信対応映像復号機２に送信する。

図８に示す構成を採用することにより、サーバ２０と送信端末６間、及びサーバ２０とネットワーク受信対応映像復号機２間のネットワーク帯域が十分でない場合に効果的である。また、送信端末６は単にフレームを間引く処理を行うだけでよく、送信端末６の処理負荷を軽減できる。

本発明の実施の形態で説明した技術を用いることにより、インターネットのネットワーク帯域が十分に確保できない場合にも音声を途切れさせることなく、インターネットを介してハイビジョン映像を送受信することができる。また、映像符号化データの送信側で１フレームあたりの送信時間を制御することにより、データが途切れることなく連続的に映像符号化データのパケットを送信できるので、符号化データを連続的に受信しないと復号化を行うことができないネットワーク受信対応映像復号機２のような装置でもフレームを間引きされた符号化データを復号化できる。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

本発明の実施の形態におけるシステム構成図である。 ＰＣ端末１の機能構成図である。 ＰＣ端末１の処理フローチャートである。 MPEG２の映像符号化データを説明するための図である。 フレーム選択処理を説明するための図である。 各フレームの送信時間を変更する処理を説明するための図（１）である。 各フレームの送信時間を変更する処理を説明するための図（２）である。 サーバを含むシステム構成の例である。

符号の説明

１ ＰＣ端末
２ ネットワーク受信対応映像復号機
３ インターネット
４ ＨＤカメラ
５ ＨＤ対応ＴＶ
６ 送信端末
１１ 符号化データ入力部
１２ 符号化データ分離部
１３ フレーム選択部
１４、２２ 送信速度決定部
１５、２３ ネットワーク送信部
２１ ネットワーク受信部

Claims (9)

1. 音声映像復号化機能を備えた受信端末にネットワークを介して映像符号化データを送信する映像通信装置であって、
   外部装置から音声映像符号化データを入力する入力手段と、
   前記音声映像符号化データを音声符号化データと映像符号化データとに分離する分離手段と、
   前記映像符号化データから送信対象となるフレームを選択するフレーム選択手段と、
   選択されたフレームの時間間隔に基づき、選択されたフレーム毎に映像符号化データの単位時間あたりの送信情報量を決定する決定手段と、
   選択されたフレームに対応する映像符号化データを前記決定手段で決定された単位時間あたりの送信情報量で、前記音声符号化データとともに前記受信端末へ送信する送信手段と
   を備えたことを特徴とする映像通信装置。
2. 前記映像符号化データがMPEG形式又はMPEGと同等のフレーム構成を持つ符号化形式で構成される場合、前記フレーム選択手段は、Iフレームのみ、又は、IフレームとPフレームのみ、又は、入力された映像符号化データに含まれる全てのフレームを送信対象フレームとして選択する請求項１に記載の映像通信装置。
3. 前記フレーム選択手段は、ネットワークの帯域に応じて送信対象となるフレームを選択する請求項１に記載の映像通信装置。
4. 前記決定手段は、送信する一のフレームに対する映像符号化データの情報量を当該一のフレームと次に送信するフレームとの間の時間間隔で割った値を前記一のフレームに対する映像符号化データの単位時間あたりの送信情報量として決定する請求項１又は２に記載の映像通信装置。
5. 送信端末から受信した映像符号化データを、音声映像復号化機能を備えた受信端末にネットワークを介して送信する映像通信装置であって、
   前記送信端末から一部のフレームが間引かれた映像符号化データを受信する受信手段と、
   受信した映像符号化データに存在するフレームの時間間隔に基づき、フレーム毎に映像符号化データの単位時間あたりの送信情報量を決定する決定手段と、
   前記フレームに対応する映像符号化データを前記決定手段で決定された単位時間あたりの送信情報量で前記受信端末へ送信する送信手段と
   を備えたことを特徴とする映像通信装置。
6. 音声映像復号化機能を備えた受信端末にネットワークを介して映像符号化データを送信する映像通信装置が実行する映像通信方法であって、
   外部装置から音声映像符号化データを入力する入力ステップと、
   前記音声映像符号化データを音声符号化データと映像符号化データとに分離する分離ステップと、
   前記映像符号化データから送信対象となるフレームを選択するフレーム選択ステップと、
   選択されたフレームの時間間隔に基づき、選択されたフレーム毎に映像符号化データの単位時間あたりの送信情報量を決定する決定ステップと、
   選択されたフレームに対応する映像符号化データを前記決定ステップで決定された単位時間あたりの送信情報量で、前記音声符号化データとともに前記受信端末へ送信する送信ステップと
   を備えたことを特徴とする映像通信方法。
7. 送信端末から受信した映像符号化データを、音声映像復号化機能を備えた受信端末にネットワークを介して送信する映像通信装置が実行する映像通信方法であって、
   前記送信端末から一部のフレームが間引かれた映像符号化データを受信する受信ステップと、
   受信した映像符号化データに存在するフレームの時間間隔に基づき、フレーム毎に映像符号化データの単位時間あたりの送信情報量を決定する決定ステップと、
   前記フレームに対応する映像符号化データを前記決定ステップで決定された単位時間あたりの送信情報量で前記受信端末へ送信する送信ステップと
   を備えたことを特徴とする映像通信方法。
8. 音声映像復号化機能を備えた受信端末にネットワークを介して映像符号化データを送信する映像通信装置をコンピュータに実現させるプログラムであって、前記コンピュータを、
   外部装置から音声映像符号化データを入力する入力手段、
   前記音声映像符号化データを音声符号化データと映像符号化データとに分離する分離手段、
   前記映像符号化データから送信対象となるフレームを選択するフレーム選択手段と、
   選択されたフレームの時間間隔に基づき、選択されたフレーム毎に映像符号化データの単位時間あたりの送信情報量を決定する決定手段、
   選択されたフレームに対応する映像符号化データを前記決定手段で決定された単位時間あたりの送信情報量で、前記音声符号化データとともに前記受信端末へ送信する送信手段、
   として機能させるプログラム。
9. 送信端末から受信した映像符号化データを、音声映像復号化機能を備えた受信端末にネットワークを介して送信する映像通信装置をコンピュータに実現させるプログラムであって、前記コンピュータを、
   前記送信端末から一部のフレームが間引かれた映像符号化データを受信する受信手段、
   受信した映像符号化データに存在するフレームの時間間隔に基づき、フレーム毎に映像符号化データの単位時間あたりの送信情報量を決定する決定手段、
   前記フレームに対応する映像符号化データを前記決定手段で決定された単位時間あたりの送信情報量で前記受信端末へ送信する送信手段、
   として機能させるプログラム。

Images