JP2014003359A - 映像データをストリーム型データ転送するために用いられるデータ転送システム及びデータ転送システムに用いられる送信装置、受信装置及びプログラム - Google Patents

Abstract

【課題】ＴＣＰによるストリーム型データ転送であってもスケーラブル符号化の特性が発揮され、リアルタイム性を確保しつつ動画データの記録しているコンテンツ映像の特性に合った高品質の動画再生を可能とするデータ転送システムを提供する。
【解決手段】データ転送システム２００であって、映像データの映像特性を特定する映像特性特定部５と、前記映像特性特定部５によって特定された映像特性に基づいて再送されるべき拡張レイヤである優先拡張レイヤを設定する優先拡張レイヤ設定部６とを備えており、前記再送処理部７３が、前記受信完了処理部８４から受信完了パケットを受信していない送信映像パケットのうち、前記優先拡張レイヤ設定部８５において設定された優先拡張レイヤの送信映像パケットを前記送出部７２に再送させるように構成した。
【選択図】図２

Description

本発明は、映像データをストリーム型データ転送するために用いられるデータ転送システム及びデータ転送システムに用いられる送信装置及び受信装置、プログラムに関するものである。

例えばインターネット通信を介した映像データのデータ転送が行われる場合、ダウンロード型伝送方式ではなく、送信装置から受信装置側へデータ転送が行われている間に、並列して再生処理も行うストリーム型データ転送が用いられている。

このような映像データのストリーム型データ転送が行われる場合、回線状態や受信端末能力等に応じた送信映像結果が得られるように映像データをスケーラブル符号化した符号化映像データが用いられている。

スケーラブル符号化の一例としては、Ｈ．２６４ビデオコーデック規格内にあるＳＶＣ（Scalable Video Coding）が挙げられる。このコーデックのデータ構造は、図４に示すように必要最低限の動画要素で構成されるベースレイヤと、前記ベースレイヤと組み合わせることで映像品質を向上させることができる拡張レイヤとに分けることができる。

高信頼性チャネルである前記ベースレイヤに関しては、受信側において映像を再生するのに必須のデータ・ストリームであるため、ＦＥＣ（Forward Error Correction）等の冗長化等により高い信頼性で送受信される。

一方、低信頼性チャネルである前記拡張レイヤは、画像の高精細化に寄与する空間レイヤと、動画のフレームレート向上に寄与する時間レイヤと、画像のＳ／Ｎ比の向上に寄与するＳ／Ｎ比レイヤにさらに分かれる。

前記拡張レイヤに関しては例えばＦＥＣ処理等がかけられていないため、回線状況が悪くなると受信装置には届きにくくなる。受信装置においては、必須のベースレイヤに関しては必ず受信されているので、拡張レイヤのうち無事に送信装置から届いたものとベースレイヤとを組み合わせて適宜デコードすることにより、回線品質に見合った送信映像結果が得られる。

ところで、スケーラブル符号化された符号化映像データによるデータ転送を行う場合、特許文献１等に示されるように転送プロトコルとしては再送処理の行われない伝送方式であるＲＴＰ（Real Time Protocol）を用いることによって、データ転送の信頼性よりもリアルタイム性を優先させている。

なお、特許文献１では原則としては再送処理の行われないＲＴＰを転送プロトコルとして用いながらも一部のレイヤについては再送処理が行われるように構成したデータ転送システムが示されている。

しかしながら、動画等のストリーム型転送を行う場合においては、再送処理を行うことにより信頼性を保つＴＣＰが転送プロトコルとして用いられることもある。ＴＣＰによりスケーラブル符号化された符号化映像データを転送すると、受信装置において受信されなかった送信映像パケットがあった場合、未到達の全ての送信映像パケットについて再送処理が行われてしまう。このため、ＴＣＰにより、スケーラブル符号化されたデータの転送を行うと、最悪の場合動画再生だけを目的とするのであれば受信装置において未到達であっても構わない拡張レイヤの送信映像パケットまで確実に再送処理されてしまう。従って、動画再生時の品質は最高のものに固定できるものの、全ての送信映像パケットが受信されるまでの待機時間が生じるためリアルタイム性は損なわれてしまう。

つまり、ＴＣＰとスケーラブル符号化を単純に組み合わせただけでは回線品質に見合った画質を自動的に得ることができず、ＲＴＰとスケーラブル符号化を組み合わせた時のようなベストエフォート型の結果を得られない。従って、ＳＶＣの特性を発揮することができず、従来と同様に回線状態に応じたビットレートのエンコードをそれぞれ行うもしくは、複数のエンコード済みの動画データを用意しなくてはならなくなる。

また、特許文献１のデータ転送システムでは、回線状況をモニタリングし、回線状況に応じて再送処理の行われる拡張データが動的に変更されることが示されている。

しかしながら、回線状況に応じて再送される拡張データが決められてしまうと、映像データに記録されているコンテンツ映像の内容によってはそれほど画質等の向上に寄与しない拡張レイヤが優先されてしまい、好ましい品質で動画再生を行うことができない恐れがある。

特許３７５７８５７号公報

そこで、本発明は上述したような問題を鑑みてなされたものであり、ＴＣＰによるストリーム型データ転送であってもスケーラブル符号化の特性が発揮され、ベストエフォート型の映像データの転送を可能とするとともに、リアルタイム性を確保しつつ動画データの記録しているコンテンツ映像の特性に合った高品質の動画再生を可能とするデータ転送システムを提供することを目的とする。

すなわち、本発明は、送信装置及び受信装置からなり、映像データをストリーム型データ転送するデータ転送システムであって、前記送信装置が、映像データがスケーラブル符号化されたものであり、ベースレイヤと拡張レイヤからなる符号化映像データ及び符号化映像データのレイヤを示すレイヤデータを対にして記憶する映像データ記憶部と、符号化映像データと対応するレイヤデータをともに格納した送信映像パケットを生成して、前記受信装置へとパケット送信する送出部と、前記受信装置において受信された送信映像パケットを示す受信完了パケットを当該受信装置から受信するものであり、前記送出部が送信映像パケットを送信してから所定時間内に受信完了パケットを前記受信装置から受信していない送信映像パケットを前記送出部に再送させる再送処理部とを備え、前記受信装置が、前記送信装置から送信された送信映像パケットを受信する受信部と、少なくとも前記受信部において受信された送信映像パケットを示す受信完了パケットを前記送信装置に送信する受信完了処理部とを備え、前記送信装置又は前記受信装置が、映像データの映像特性を特定する映像特性特定部と、前記映像特性特定部によって特定された映像特性に基づいて再送されるべき拡張レイヤである優先拡張レイヤを設定する優先拡張レイヤ設定部とを備えており、前記再送処理部が、前記受信完了処理部から受信完了パケットを受信していない送信映像パケットのうち、前記優先拡張レイヤ設定部において設定された優先拡張レイヤの送信映像パケットを前記送出部に再送させるように構成されていることを特徴とする。

このようなものであれば、前記再送処理部が、前記受信完了処理部から受信完了パケットを受信していない送信映像パケットのうち、前記優先拡張レイヤ設定部において設定された優先拡張レイヤの送信映像パケットを前記送出部に再送させるように構成されているので、ＴＣＰ等の再送処理を有する転送プロトコルによりデータ転送を行う場合であっても、回線状況が悪い場合には優先拡張レイヤ以外の拡張レイヤについては再送されず、少なくともベースレイヤと優先拡張レイヤに設定された拡張レイヤを組み合わせてデコードして動画再生を行うことができる。一方、回線状況がよい場合には全ての拡張レイヤが前記受信装置に送信されて、最高品質での再生が可能となる。つまり、本発明のデータ転送システムによれば、ＴＣＰのような再送処理のある転送プロトコルでも回線状況に応じた画質の動画再生が可能となり、ベストエフォート型のサービスを提供できる。

さらに、本発明は前記送信装置又は前記受信装置が、映像データの映像特性を特定する映像特性特定部と、前記映像特性特定部によって特定された映像特性に基づいて再送されるべき拡張レイヤである優先拡張レイヤを設定する優先拡張レイヤ設定部とを備えているので、映像データの映像特性に応じた拡張レイヤを再送することができ、回線状況によらずに、常にコンテンツ映像に適した拡張レイヤとベースレイヤの組み合わせによるデコードを実現でき、好ましい映像品質で動画を再生できる。

これらのことから、本発明であれば、ＴＣＰを用いながらもスケーラブル符号化の特性を享受しつつ、しかも、映像データに記録されているコンテンツ映像にあった拡張レイヤによるデコード及び動画再生が可能となる。

映像データの映像特性を簡単な構成で特定し、計算負荷をそれほどかけずに優先拡張レイヤを設定するには、前記映像特性特定部が、映像データのメタデータに基づいて記録されているコンテンツ映像のジャンルを特定するものであり、前記優先拡張レイヤ設定部が、前記映像特性特定部により特定されたコンテンツ映像のジャンルに応じて優先拡張レイヤを設定するように構成されていればよい。

特にフレームレート等の動画再生時の滑らかさを重視する場合には、ストリーム型データ転送において、動画再生時の品質に前記符号化映像データの拡張レイヤが、空間レイヤと、時間レイヤと、Ｓ／Ｎ比レイヤを含むものであり、前記映像特性特定部が、映像データに記録されているコンテンツ映像の動きの激しさを特定するものであり、前記優先拡張レイヤ設定部が、前記映像特性特定部により特定されたコンテンツ映像の動きの激しさが所定値以上の場合には、時間レイヤを優先拡張レイヤに設定するように構成されていればよい。

映像データに記録されているコンテンツ映像の解像度に合わせた動画再生を可能にするには、前記映像特性特定部が、映像データがスケーラブル符号化される際に高周波成分の量に基づいて解像度を特定するように構成されており、前記優先拡張レイヤ設定部が、解像度が所定値以上の場合には、空間レイヤを優先拡張レイヤとして設定するように構成されていればよい。

受信装置に特別な構成がなかったとしても送信装置だけで前記再送処理部により前記送出部から優先拡張レイヤを含む送信映像パケットのみが再送されるようにするには、前記送信装置が、前記送出部において送信される送信映像パケットに格納される符号化映像データのレイヤをレイヤデータに基づいて認識するレイヤ認識部をさらに備え、前記再送処理部が、前記送出部において送信された送信映像パケットのうち前記レイヤ認識部において優先拡張レイヤ以外の拡張レイヤであると認識されたものは、受信完了パケットを受信していなくても送信映像パケットを再送しないように構成されていればよい。

逆に送信装置に特別な構成がなくても前記再送処理部により前記送出部から優先拡張レイヤを含む送信映像パケットのみが再送されるようにするには、前記受信完了処理部が、前記受信部において受信されていない送信映像パケットのうち、優先拡張レイヤ以外の拡張レイヤの送信映像パケットについては前記受信部において受信されていなくても受信完了パケットを前記送信装置に送信するように構成されていればよい。

前記受信装置側において未到達の送信映像パケットについて修復することができるようにし、誤りが修正されない場合でも重要ではない拡張レイヤについては再送処理が行われないようにしてベストエフォート型の結果が得られるようにするには、前記受信装置が、前記受信部において受信された送信映像パケットに基づいてＦＥＣ処理を行うＦＥＣ処理部を更に備え、前記受信完了処理部が、前記ＦＥＣ処理部において誤り訂正できなかった送信映像パケットが優先拡張レイヤ以外の送信映像パケットの場合には、受信完了パケットを前記送信装置に送信するように構成されていればよい。

ＴＣＰ等の再送処理のある転送プロトコルと符号化映像データの組み合わせであってもベストエフォート型の動画再生を可能にするための送信装置としては、映像データがスケーラブル符号化されたものであり、ベースレイヤと拡張レイヤからなる符号化映像データ及び符号化映像データのレイヤを示すレイヤデータを対にして記憶する映像データ記憶部と、符号化映像データと対応するレイヤデータをともに格納した送信映像パケットを生成して、前記受信装置へとパケット送信する送出部と、前記受信装置において受信された送信映像パケットを示す受信完了パケットを当該受信装置から受信するものであり、前記送出部が送信映像パケットを送信してから所定時間内に受信完了パケットを前記受信装置から受信していない送信映像パケットを前記送出部に再送させる再送処理部とを備えた送信装置、及び、前記送信装置から送信された送信映像パケットを受信する受信部と、少なくとも前記受信部において受信された送信映像パケットを示す受信完了パケットを前記送信装置に送信する受信完了処理部とを備えた受信装置からなり、映像データをストリーム型データ転送するデータ転送システムに用いられる送信装置であって、前記送信装置が、映像データの映像特性を特定する映像特性特定部と、前記映像特性特定部によって特定された映像特性に基づいて再送されるべき拡張レイヤである優先拡張レイヤを設定する優先拡張レイヤ設定部とをさらに備えており、前記再送処理部が、前記受信完了処理部から受信完了パケットを受信していない送信映像パケットのうち、前記優先拡張レイヤ設定部において設定された優先拡張レイヤの送信映像パケットを前記送出部に再送させるように構成されている送信装置であればよい。

また、上述した送信装置と同様の効果を得るための受信装置としては、映像データがスケーラブル符号化されたものであり、ベースレイヤと拡張レイヤからなる符号化映像データ及び符号化映像データのレイヤを示すレイヤデータを対にして記憶する映像データ記憶部と、符号化映像データと対応するレイヤデータをともに格納した送信映像パケットを生成して、前記受信装置へとパケット送信する送出部と、前記受信装置において受信された送信映像パケットを示す受信完了パケットを当該受信装置から受信するものであり、前記送出部が送信映像パケットを送信してから所定時間内に受信完了パケットを前記受信装置から受信していない送信映像パケットを前記送出部に再送させる再送処理部とを備え、前記再送処理部が、前記受信完了処理部から受信完了パケットを受信していない送信映像パケットのうち、優先拡張レイヤの送信映像パケットを前記送出部に再送させるように構成されている送信装置、及び、前記送信装置から送信された送信映像パケットを受信する受信部と、少なくとも前記受信部において受信された送信映像パケットを示す受信完了パケットを前記送信装置に送信する受信完了処理部とを備えた受信装置からなり、映像データをストリーム型データ転送するデータ転送システムに用いられる受信装置であって、映像データの映像特性を特定する映像特性特定部と、前記映像特性特定部によって特定された映像特性に基づいて再送されるべき拡張レイヤである優先拡張レイヤを設定する優先拡張レイヤ設定部とをさらに備えている受信装置が挙げられる。

既存の送信装置及び受信装置に、記録媒体等を介してプログラムを新たにインストールすることで、ＴＣＰ等の再送処理を有する転送プロトコルであってもスケーラブル符号化された映像データを回線状況に応じた転送できるようにするには、送信装置及び受信装置からなり、映像データをストリーム型データ転送するデータ転送システムに用いられるプログラムであって、映像データがスケーラブル符号化されたものであり、ベースレイヤと拡張レイヤからなる符号化映像データ及び符号化映像データのレイヤを示すレイヤデータを対にして記憶する映像データ記憶部と、符号化映像データと対応するレイヤデータをともに格納した送信映像パケットを生成して、前記受信装置へとパケット送信する送出部と、前記受信装置において受信された送信映像パケットを示す受信完了パケットを当該受信装置から受信するものであり、前記送出部が送信映像パケットを送信してから所定時間内に受信完了パケットを前記受信装置から受信していない送信映像パケットを前記送出部に再送させる再送処理部と、前記送信装置から送信された送信映像パケットを受信する受信部と、少なくとも前記受信部において受信された送信映像パケットを示す受信完了パケットを前記送信装置に送信する受信完了処理部と、前記受信部において受信された送信映像パケットに格納されている符号化映像データのレイヤをレイヤデータに基づいて識別するレイヤ識別部と、映像データの映像特性を特定する映像特性特定部と、前記映像特性特定部によって特定された映像特性に基づいて再送されるべき拡張レイヤである優先拡張レイヤを設定する優先拡張レイヤ設定部とを備え、前記再送処理部が、前記受信完了処理部から受信完了パケットを受信していない送信映像パケットのうち、前記優先拡張レイヤ設定部において設定された優先拡張レイヤの送信映像パケットを前記送出部に再送させるように構成されているデータ転送システム用プログラムを用いればよい。

このように本発明のデータ転送システム等によれば、ＴＣＰによるストリーム型データ転送であっても回線状態が悪い場合には所望の拡張レイヤのみを確実に受信装置に到達するようにし、回線状態に応じた品質での動画再生が可能となる。また、優先拡張レイヤが映像データに記録されているコンテンツ映像の内容に応じて決められているので、ベストエフォート型の映像データの転送を可能とするとともに、リアルタイム性を確保しつつ動画データの記録しているコンテンツ映像の特性に合った高品質の動画再生を可能となる。

本発明の第１実施形態に係るデータ転送システムの模式的機器構成図。 同実施形態におけるデータ転送システムの機能ブロック図。 同実施形態における送信処理部及び受信処理部の詳細について示す機能ブロック図。 スケーラブル符号化された映像データのデータ構造を示す模式図。

本発明の第１実施形態について図面を参照しながら説明する。

本実施形態のデータ転送システム２００は、送信装置１０１から受信装置１００へと映像データをストリーム型転送するためのものである。

前記送信装置１０１及び前記受信装置１００は、図１に示すようにＣＰＵ１１、メモリ１２、ＨＤＤやフラッシュメモリ１４、通信インターフェース１５、入出力機器１６等を備えたいわゆるコンピュータであって、メモリ１２に格納されているプログラムをＣＰＵ１１が実行することにより、各種機能を発揮するものである。また前記送信装置１０１と前記受信装置１００はインターネット等のネットワークにより情報のやり取りを行い、ネットワーク上における転送プロトコルとしてはＲＴＰではなくＴＣＰが用いられている。

前記送信装置１０１は上記列挙したもの以外に撮影用のカメラ１３を更に具備しており、撮影された映像データをスケーラブル符号化したうえで前記受信装置１００へと送信するように構成してある。そして、前記送信装置１０１は、図２の機能ブロック図に示すように少なくとも、映像符号化部３、符号化制御部２、映像データ記憶部４、送信処理部７、映像特性特定部５、優先拡張レイヤ設定部６としての機能を発揮するように構成してある。

一方、前記受信装置１００は前記送信装置１０１から送信されている送信映像パケットのうち当該受信装置１００に正常に届かなかった、あるいは、誤りがあるものについて再送させるかどうかを判断し、必要なものについては再送させた上でスケーラブル符号化された映像データをデコード（復号）して動画を再生するものである。すなわち、前記受信装置１００は、図２に示すように少なくとも受信処理部８、映像復号部９としての機能を発揮するように構成してある。

次に上述した各部の構成及び、映像データのスケーラブル符号化、パケットの送受信における動作等について詳述する。

前記映像符号化部３は、例えば、Ｈ．２６４ビデオコーデック規格内にあるＳＶＣにより、前記カメラ１３によって撮像された映像データをスケーラブル符号化するように構成してある。より具体的には、前記映像符号化部３は、映像データを必要最低限の動画要素で構成されるベースレイヤと、前記ベースレイヤと組み合わせることで映像品質を向上させることができる拡張レイヤとからなる符号化映像データにするものである。

前記符号化制御部２は、どのレイヤをどれだけの階層に分割して前記映像符号化部３が映像データのスケーラブル符号化を行うかを制御するものである。本実施形態では、拡張レイヤはさらに３つの階層に分割するように制御し、拡張レイヤは画像の高精細化に寄与する空間レイヤと、画像のフレームレート向上に寄与する時間レイヤと、画像のＳ／Ｎ比の向上に寄与するＳ／Ｎ比レイヤとから構成される。ベースレイヤとこれらの拡張レイヤを適宜組み合わせた上でデコードすることにより、所望の品質態様の動画再生が実現される。

前記映像データ記憶部４は、前記映像符号化部３において符号化されたベースレイヤと拡張レイヤからなる符号化映像データ及び符号化映像データのレイヤを示すレイヤデータを対にして記憶するものである。

前記送信処理部７は、符号化映像データを前記受信装置１００にパケット送信するものであるとともに、原則的には前記受信装置１００から送信される受信完了パケットが受信されていない送信映像パケットを全て再送するように構成してあるものである。

より具体的には、前記送信処理部７は図３に示すようにレイヤ認識部７１、送出部７２、再送処理部７３とから構成してある。

前記レイヤ認識部７１は、前記映像データ記憶部４から取得した符号化映像データとそのレイヤを示すレイヤデータとを受け取り、受け取った符号化映像データがどのレイヤのデータであるかをレイヤデータに基づいて認識するものである。

前記送出部７２は、前記レイヤ識別部８２において認識された符号化映像データと対応するレイヤデータともに格納した送信映像パケットを生成して、前記受信装置１００へとパケット送信するように構成してある。そして、前記レイヤ認識部７１におけるレイヤ認識に基づいて、パケット送信時においてシーケンスのどの部分がベースレイヤ、時間レイヤ、空間レイヤ、Ｓ／Ｎ比レイヤを含む送信映像パケットであるかについてのシーケンス情報を前記再送処理部７３に記憶させている。

前記再送処理部７３は、前記受信装置１００において受信された送信映像パケットを示す受信完了パケットを当該受信装置１００から受信するものであり、前記送出部７２が送信映像パケットを送信してから所定時間内に受信完了パケットを前記受信装置１００から受信していない送信映像パケットを前記送出部７２に再送させるように構成してある。

より具体的には、後述する受信完了処理部８から受信完了パケットを受信していない送信映像パケットのうち、前記シーケンス情報を参照して優先拡張レイヤの送信映像パケットであるものは前記送出部７２に再送させるとともに、受信完了パケットを受信していない送信映像パケットが優先拡張レイヤ以外の拡張レイヤの場合は再送処理を打ち切るように構成してある。

前記映像特性特定部５は、前記映像符号化部３において映像データがスケーラブル符号化される際の動きベクトル情報に基づいて映像データに記録されているコンテンツ映像の動きの激しさを特定して構成映像データの映像特性を特定するものである。また、この映像特性特定部５は、映像データのメタデータに格納されているコンテンツ映像のジャンル等にも基づいて映像特性を特定している。例えば、ジャンルがスポーツ等であれば、コンテンツ映像の動きが激しいものであると特定する。さらに、この映像特性特定部５は、映像データがスケーラブル符号化される際に高周波成分が所定値以上発生している場合には、コンテンツ映像に多くの細かな描写が含まれているものと特定する。

前記優先拡張レイヤ設定部６は、前記映像特性特定部５において特定されたコンテンツ映像の動きの激しさ、ノイズ成分の多さ、解像度等に基づいて時間レイヤ、空間レイヤ、Ｓ／Ｎ比レイヤのいずれを優先拡張レイヤにするか、あるいは、どのような重み付けで各拡張レイヤに対して再送処理や後述するＦＥＣ処理が行われるようにするかについて設定するものである。例えば、前述したように映像コンテンツのジャンルがスポーツ等の動きの激しいものであると特定されている場合には、前記優先拡張レイヤ設定部６は、動画再生時におけるフレームレートが所定値以上に保たれるように時間レイヤを優先拡張レイヤとして設定する。また、その他のジャンルの動画であって動きがそれほど激しくなく、細かな描写が多く含まれている高解像度のコンテンツ映像の場合には、前記優先拡張レイヤ設定部６は、空間レイヤを優先拡張レイヤとして設定する。さらに、ノイズ成分の多いコンテンツ映像の場合には、Ｓ／Ｎ比レイヤを優先拡張レイヤとして設定する。

次に前記受信装置１００について説明する。

前記受信装置１００は、図２に示すように受信処理部８と映像復号部９とからなる。

前記受信処理部８は、図３に示すように受信部８１、レイヤ識別部８２、ＦＥＣ部８３、受信完了処理部８４とからなるものであり、前記送信装置１０１から送信された送信映像パケットを受け付け、回線状態等により届かなかった送信映像パケットや壊れており修復不可能な送信映像パケットのうちベースレイヤと優先拡張レイヤに設定された拡張レイヤの送信映像パケットのみを再送させるように構成してある。

前記受信部８１は、前記送出部７２からどのレイヤの送信映像パケットがどのシーケンス番号で送信されているかを示すシーケンス情報を受け付けるとともに、各送信映像パケットを受信するものである。

前記レイヤ認識部７１は、前記受信部８１において受信された送信映像パケットに格納されている符号化映像データのレイヤをレイヤデータに基づいて識別するものである。このレイヤ認識部７１において受信した送信映像パケットの損傷や欠落があることが分かった場合には、前記ＦＥＣ部８３においてＦＥＣ処理が試みられる。ここで修復された符号化映像データは前記映像復号部９に送られて動画再生のために用いられる。

前記受信完了処理部８４は、前記受信部８１において受信された送信映像パケットを示す受信完了パケットを前記送信装置１０１に送信し、再送処理部７３が再送処理を開始しないようにするものである。また、前記受信完了処理部８４は、受信された送信映像パケットのうち前記ＦＥＣ部８３において誤り訂正できなかった送信映像パケットについては再送処理が開始されるように受信完了パケットを前記送信装置１０１に送信しない。

前記映像復号部９では、前記受信部８１において受信された送信映像パケット及び前記ＦＥＣ部８３において修復された送信映像パケットに基づいて使用できるレイヤを全て用いてデコードが行われる。前記受信部８１で受信されるデータは、少なくともベースレイヤと優先拡張レイヤを含むものであり、これらを組み合わせてデコードが行われる。例えば回線状況がよい場合等には、前記映像復号部９では優先拡張レイヤ以外の拡張レイヤのデータも組み合わせてデコードが行われ、さらに高品質の動画再生が行われるように構成してある。

このように本実施形態のデータ転送システム２００によれば、ＴＣＰのような再送処理がある転送プロトコルにおいても、前記再送処理部７３が送信映像パケットを送信してから所定時間内に受信完了パケットを受信しなかったもののうち、優先拡張レイヤのものは前記送出部７２に再送処理を開始させ、それ以外のものについては再送処理を行わないように構成してあるので、回線状態が良い場合には全ての拡張レイヤが揃った高品質の動画再生ができる一方、回線状態が悪い場合には、一部の拡張レイヤは欠落して品質は低下するもののリアルタイム性は確保された動画再生が可能となる。つまり、ＴＣＰのような再送処理が前提となった転送プロトコルと、スケーラブル符号化の組み合わせであっても、回線状況に応じた画質の動画再生が可能となり、ベストエフォート型のサービスを提供できる。

さらに、本発明は前記送信装置１０１又は前記受信装置１００が、映像データの映像特性を特定する映像特性特定部５と、前記映像特性特定部５によって特定された映像特性に基づいて再送されるべき拡張レイヤである優先拡張レイヤを設定する優先拡張レイヤ設定部６とを備えているので、映像データの映像特性に応じた拡張レイヤが再送することができ、回線状況によらずに、常にコンテンツ映像にあった拡張レイヤとベースレイヤを組み合わせた動画再生ができる。

言い換えると、回線状態ではなく、まずコンテンツ映像の特性に合わせて優先する拡張レイヤが設定されるので、常に映像データごとに適した拡張レイヤの送信を保護することができ、動画再生時の品質を従来よりも高めることができる。

次に本発明の第２実施形態について説明する。

前記第１実施形態では、前記送信装置１０１における前記再送処理部７３が優先拡張レイヤの送信映像データのみを再送させるように構成していたが、第２実施形態では前記受信装置１００における受信完了処理部８４の構成により未受信の優先拡張レイヤのみが再送されるようにしてある。

以下では第１実施形態と構成の異なる部位についてのみ詳述する。

第２実施形態の送信装置１０１において、前記送出部７２と前記再送処理部７３の構成は前記第１実施形態のものと異なっている。

より具体的には、第２実施形態において前記送出部７２は、前記レイヤ認識部７１におけるレイヤ認識に基づいて、パケット送信時においてシーケンスのどの部分がベースレイヤ、時間レイヤ、空間レイヤ、Ｓ／Ｎ比レイヤを含む送信映像パケットであるかについての情報であるシーケンス情報を前記受信装置１００へと予め送信している。

また、第２実施形態において前記再送処理部７３は、どの送信映像パケットについても特に判別することなく、受信完了パケットを受け付けていない映像送信パケットについては全て再送させるように構成してある。

一方、前記受信装置１００においては、前記受信完了処理部８４の構成が第１実施形態の構成と異なっている。

より具体的には、この第２実施形態の受信完了処理部８４では、前記受信部８１において受信された送信映像パケットのシーケンス番号とレイヤの対応関係から未受信の送信映像パケットがどのレイヤのデータが格納されているかを推定するように構成してある。前記受信完了処理部８４は、未受信の送信映像パケットのうち動画再生に必要不可欠なベースレイヤに関するものについては、その送信映像パケットが受信されるまで受信完了パケットを送信しない。また、前記優先拡張レイヤ設定部６において設定された優先拡張レイヤに該当する拡張レイヤの送信映像パケットについても実際に受信されるまで受信完了パケットを送信しないように構成してある。

そして、前記受信完了処理部８４は、未受信の送信映像パケットがシーケンス番号とレイヤの対応から優先拡張レイヤ以外の拡張レイヤのデータが格納されていると推定される場合には、未受信であっても受信完了パケットを前記再送処理部７３に送信し、再送処理を強制的に打ち切るようにしてある。加えて、前記受信完了処理部８４は、前記ＦＥＣ部８３で誤り訂正できなかった送信映像パケットが優先拡張レイヤ以外の送信映像パケットの場合には、受信完了パケットを前記送信装置１０１に送信するように構成してある。

このように、前記受信完了処理部８４は、動画再生に必要不可欠なベースレイヤと画質等を一定の水準に保つために保護している一部の拡張レイヤについては実際に受信されるまで受信完了パケットを送信しないが、優先拡張レイヤ以外の拡張レイヤについては受信されなかった場合には、再送処理が行われないようにダミーの受信完了パケットが送信されることになる。

このように第２実施形態のデータ転送システム２００においては、前記受信完了処理部８４が再送処理を行う必要のない優先度の低い拡張レイヤについては実際には受信されていなくてもダミーの受信完了パケットを再送処理部７３に送信することで再送処理を強制的に打ち切ることができるので、前記送信装置１０１において優先拡張レイヤの送信映像パケットのみを再送する構成がなかったとしても優先拡張レイヤのみを再受信することができる。

従って、受信装置１００の構成だけでＴＣＰとスケーラブル符号化の組み合わせであっても第１実施形態と同様の効果を得ることができる。

その他の実施形態について説明する。

前記実施形態では、前記優先拡張レイヤ設定部は、１つの拡張レイヤのみを優先拡張レイヤに設定していたが、例えば複数の拡張レイヤを優先拡張レイヤに設定するものであってもよい。また、当該優先拡張レイヤ設定部が、特定された動画特性に応じて各拡張レイヤの優先度について重み付けを行うように構成してもよい。この場合、前記受信完了処理部は、優先度の高い拡張レイヤの送信映像パケットほど受信完了パケットが送信されるまでの待機時間を長く設定する等して重み付けが実現されるようにすればよい。このようにすれば、さらに細かな送信制御、回線品質に見合った中でのベストエフォートな復号品質制御が可能となる。

前記実施形態では前記動画特性特定部及び前記優先拡張レイヤ設定部は、送信装置内において構成されていたが、受信装置内に構成してもよい。また、送信装置及び受信装置の双方にまたがって前記動画特性特定部及び前記優先拡張レイヤ設定部が構成してあってもよい。

前記実施形態では、カメラから撮像された映像データを前記映像符号化部において逐次スケーラブル符号化していたが、予めスケーラブル符号化された符号化データを映像データ記憶部に記憶しておいたものを受信装置へと送信するようにしてもよい。

また、受信端末の受信能力たとえば解像度など、そもそも受信端末がVGA(640x480)レベルの表示解像度能力のディスプレイを有した端末である場合には、たとえ送信映像ソース解像度がフルHD（1920x1080）の解像度の空間拡張レイヤデータを送信しても十分に生かせない。加えて、受信機の有するデコーダのデコード能力が720P（1280x720）までしかサポートしていないにもかかわらず、フルHD（1920x1080）の解像度の空間拡張レイヤデータを送信しても十分に生かせないため、あらかじめ受信端末と送信端末とのネゴシエーションにより受信端末の最大解像度やビットレートなどの能力交換を実施しておき、送信端末はその能力以下の映像となるようにあらかじめ拡張レイヤデータを間引いて送信してもよい。これまで述べた手法は本制限を加えた場合においてもその機能を十分生かすことが可能である。

また、上述した各部を既存の送信装置及び受信装置に新たなプログラムとしてインストールして本発明の機能を実現するようにしても構わない。前記映像符号化部におけるスケーラブル符号化は前記実施形態に示したものに限られない。例えば、拡張レイヤの階層をさらに多数に分割しても構わない。

その他、本発明の趣旨に反しない限りにおいて様々な変形や実施形態の組み合わせを行っても構わない。

２００ ：データ転送システム
１００ ：受信装置
１０１ ：送信装置
２ ：符号化制御部
３ ：映像符号化部
４ ：映像データ記憶部
５ ：映像特性特定部
６ ：優先拡張レイヤ設定部
７ ：送信処理部
８ ：受信処理部
９ ：映像復号部
７１ ：レイヤ認識部
７２ ：送出部
７３ ：再送処理部
８１ ：受信部
８２ ：レイヤ識別部
８３ ：ＦＥＣ部
８４ ：受信完了処理部

Claims (11)

1. 送信装置及び受信装置からなり、映像データをストリーム型データ転送するデータ転送システムであって、
   前記送信装置が、
   映像データがスケーラブル符号化されたものであり、ベースレイヤと拡張レイヤからなる符号化映像データ及び符号化映像データのレイヤを示すレイヤデータを対にして記憶する映像データ記憶部と、
   符号化映像データと対応するレイヤデータをともに格納した送信映像パケットを生成して、前記受信装置へとパケット送信する送出部と、
   前記受信装置において受信された送信映像パケットを示す受信完了パケットを当該受信装置から受信するものであり、前記送出部が送信映像パケットを送信してから所定時間内に受信完了パケットを前記受信装置から受信していない送信映像パケットを前記送出部に再送させる再送処理部とを備え、
   前記受信装置が、
   前記送信装置から送信された送信映像パケットを受信する受信部と、
   少なくとも前記受信部において受信された送信映像パケットを示す受信完了パケットを前記送信装置に送信する受信完了処理部とを備え、
   前記送信装置又は前記受信装置が、
   映像データの映像特性を特定する映像特性特定部と、
   前記映像特性特定部によって特定された映像特性に基づいて再送されるべき拡張レイヤである優先拡張レイヤを設定する優先拡張レイヤ設定部とを備えており、
   前記再送処理部が、前記受信完了処理部から受信完了パケットを受信していない送信映像パケットのうち、前記優先拡張レイヤ設定部において設定された優先拡張レイヤの送信映像パケットを前記送出部に再送させるように構成されているデータ転送システム。
2. 前記映像特性特定部が、映像データのメタデータに基づいて記録されているコンテンツ映像のジャンルを特定するものであり、
   前記優先拡張レイヤ設定部が、前記映像特性特定部により特定されたコンテンツ映像のジャンルに応じて優先拡張レイヤを設定するように構成されている請求項１記載のデータ転送システム。
3. 前記符号化映像データの拡張レイヤが、空間レイヤと、時間レイヤと、Ｓ／Ｎ比レイヤを含むものであり、
   前記映像特性特定部が、映像データに記録されているコンテンツ映像の動きの激しさを特定するものであり、
   前記優先拡張レイヤ設定部が、前記映像特性特定部により特定されたコンテンツ映像の動きの激しさが所定値以上の場合には、時間レイヤを優先拡張レイヤに設定するように構成されている請求項１又は２記載のデータ転送システム。
4. 前記映像特性特定部が、映像データがスケーラブル符号化される際の動きベクトル情報に基づいて映像データに記録されているコンテンツ映像の動きの激しさを特定するように構成されており、
   前記優先拡張レイヤ設定部が、コンテンツ映像の動きの激しさが所定値以下の場合には、空間レイヤ又はＳ／Ｎ比レイヤを優先拡張レイヤとして設定するように構成されている請求項１乃至３いずれかに記載のデータ転送システム。
5. 前記送信装置が、
   前記送出部において送信される送信映像パケットに格納される符号化映像データのレイヤをレイヤデータに基づいて認識するレイヤ認識部をさらに備え、
   前記再送処理部が、前記送出部において送信された送信映像パケットのうち前記レイヤ認識部において優先拡張レイヤ以外の拡張レイヤであると認識されたものは、受信完了パケットを受信していなくても送信映像パケットを再送しないように構成されている請求項１乃至４いずれかに記載のデータ転送システム。
6. 前記受信完了処理部が、前記受信部において受信されていない送信映像パケットのうち、優先拡張レイヤ以外の拡張レイヤの送信映像パケットについては前記受信部において受信されていなくても受信完了パケットを前記送信装置に送信するように構成されている請求項１乃至５いずれかに記載のデータ転送システム。
7. 前記受信装置が、前記受信部において受信された送信映像パケットに基づいてＦＥＣ処理を行うＦＥＣ処理部を更に備え、
   前記受信完了処理部が、前記ＦＥＣ処理部において誤り訂正できなかった送信映像パケットが優先拡張レイヤ以外の送信映像パケットの場合には、受信完了パケットを前記送信装置に送信するように構成されている請求項１乃至６いずれかに記載のデータ転送システム。
8. 前記映像特性特定部が、映像データがスケーラブル符号化される際に高周波成分の量に基づいて解像度を特定するように構成されており、
   前記優先拡張レイヤ設定部が、解像度が所定値以上の場合には、空間レイヤを優先拡張レイヤとして設定するように構成されている請求項１乃至７いずれかに記載のデータ転送システム。
9. 映像データがスケーラブル符号化されたものであり、ベースレイヤと拡張レイヤからなる符号化映像データ及び符号化映像データのレイヤを示すレイヤデータを対にして記憶する映像データ記憶部と、符号化映像データと対応するレイヤデータをともに格納した送信映像パケットを生成して、前記受信装置へとパケット送信する送出部と、前記受信装置において受信された送信映像パケットを示す受信完了パケットを当該受信装置から受信するものであり、前記送出部が送信映像パケットを送信してから所定時間内に受信完了パケットを前記受信装置から受信していない送信映像パケットを前記送出部に再送させる再送処理部とを備えた送信装置、及び、前記送信装置から送信された送信映像パケットを受信する受信部と、少なくとも前記受信部において受信された送信映像パケットを示す受信完了パケットを前記送信装置に送信する受信完了処理部とを備えた受信装置からなり、映像データをストリーム型データ転送するデータ転送システムに用いられる送信装置であって、
   前記送信装置が、
   映像データの映像特性を特定する映像特性特定部と、
   前記映像特性特定部によって特定された映像特性に基づいて再送されるべき拡張レイヤである優先拡張レイヤを設定する優先拡張レイヤ設定部とをさらに備えており、
   前記再送処理部が、前記受信完了処理部から受信完了パケットを受信していない送信映像パケットのうち、前記優先拡張レイヤ設定部において設定された優先拡張レイヤの送信映像パケットを前記送出部に再送させるように構成されている送信装置。
10. 映像データがスケーラブル符号化されたものであり、ベースレイヤと拡張レイヤからなる符号化映像データ及び符号化映像データのレイヤを示すレイヤデータを対にして記憶する映像データ記憶部と、符号化映像データと対応するレイヤデータをともに格納した送信映像パケットを生成して、前記受信装置へとパケット送信する送出部と、前記受信装置において受信された送信映像パケットを示す受信完了パケットを当該受信装置から受信するものであり、前記送出部が送信映像パケットを送信してから所定時間内に受信完了パケットを前記受信装置から受信していない送信映像パケットを前記送出部に再送させる再送処理部とを備え、前記再送処理部が、前記受信完了処理部から受信完了パケットを受信していない送信映像パケットのうち、優先拡張レイヤの送信映像パケットを前記送出部に再送させるように構成されている送信装置、及び、前記送信装置から送信された送信映像パケットを受信する受信部と、少なくとも前記受信部において受信された送信映像パケットを示す受信完了パケットを前記送信装置に送信する受信完了処理部とを備えた受信装置からなり、映像データをストリーム型データ転送するデータ転送システムに用いられる受信装置であって、
    映像データの映像特性を特定する映像特性特定部と、
    前記映像特性特定部によって特定された映像特性に基づいて再送されるべき拡張レイヤである優先拡張レイヤを設定する優先拡張レイヤ設定部とをさらに備えている受信装置。
11. 送信装置及び受信装置からなり、映像データをストリーム型データ転送するデータ転送システムに用いられるプログラムでであって、
    映像データがスケーラブル符号化されたものであり、ベースレイヤと拡張レイヤからなる符号化映像データ及び符号化映像データのレイヤを示すレイヤデータを対にして記憶する映像データ記憶部と、
    符号化映像データと対応するレイヤデータをともに格納した送信映像パケットを生成して、前記受信装置へとパケット送信する送出部と、
    前記受信装置において受信された送信映像パケットを示す受信完了パケットを当該受信装置から受信するものであり、前記送出部が送信映像パケットを送信してから所定時間内に受信完了パケットを前記受信装置から受信していない送信映像パケットを前記送出部に再送させる再送処理部と、
    前記送信装置から送信された送信映像パケットを受信する受信部と、
    少なくとも前記受信部において受信された送信映像パケットを示す受信完了パケットを前記送信装置に送信する受信完了処理部と、
    映像データの映像特性を特定する映像特性特定部と、
    前記映像特性特定部によって特定された映像特性に基づいて再送されるべき拡張レイヤである優先拡張レイヤを設定する優先拡張レイヤ設定部とを備え、
    前記再送処理部が、前記受信完了処理部から受信完了パケットを受信していない送信映像パケットのうち、前記優先拡張レイヤ設定部において設定された優先拡張レイヤの送信映像パケットを前記送出部に再送させるように構成されているデータ転送システム用プログラム。