JP2006352784A - 伝送方法、受信装置及びコンピュータプログラム - Google Patents

Abstract

【課題】 映像及び音声データを送信装置からストリーミング配信し、映像及び音声データを受信し、受信した映像及び音声データに基づき映像及び音声を出力する受信装置において、出力する映像及び音声の品質の低下を防止する伝送方法、受信装置及びコンピュータプログラムを提供する。
【解決手段】 受信装置２は、パケット単位の映像及び音声データを受信し（Ｓ２０１）、受信したパケット単位の映像及び音声データを蓄積し（Ｓ２０２）、パケット単位で蓄積した複数の映像及び音声データを、ブロック単位の一の映像及び音声データとして設定時間毎に読み出し（Ｓ２０３）、読み出した映像及び音声データをブロック単位のデータとして、欠損補償復号処理を実行し（Ｓ２０４）、伸長復号し（Ｓ２０５）、出力する（Ｓ２０６）。
【選択図】 図３

Description

本発明は、通信網を介して送信装置から受信装置へデータを伝送して出力する伝送方法、該伝送方法を適用した受信装置、及び該受信装置を実現するためのコンピュータプログラムに関し、特に出力時の品質の低下を防止することが可能な伝送方法、受信装置及びコンピュータプログラムに関する。

例えばユーザの要求に応じて、映画、テレビジョン放送、コンサート等の様々な映像データを、ネットワークを介してストリーミング配信するビデオオンデマンドと呼ばれる映像配信システムが普及している。ビデオオンデマンド等の映像配信システムでは、映像データを、送信装置からパケット単位でネットワーク上へ送出し、送出されたパケットをセットトップボックス等の受信装置にて受信する。そして受信装置では、受信した一連のパケットに含まれる映像データに基づいて映像を出力する（例えば特許文献１参照。）。

このような映像配信システムでは、送信装置から送出されたパケットがネットワークを転送中に欠損する場合があり、パケットに欠損が生じた場合、欠損したパケットに含まれる映像データが欠落することになるので、受信装置側で出力される映像に乱れが生じる。そこで転送中に欠損したパケットに含まれる映像データを補償する方法として組織符号型の欠損補償符号方式が採用されている。欠損補償復号方式では、本来の映像データ（オリジナルデータ）を所定長のブロック単位に分割し、ブロック単位に分割したデータに冗長データを付加することで欠損箇所を補償可能とする欠損補償符号化を行い、欠損補償符号化を行ったデータをパケット単位に分割して送信装置から送出し、受信装置では、受信したデータからブロック単位のデータを生成し、ブロック単位のデータに基づいて欠損を補償する欠損補償復号を行う。

組織符号型の欠損補償符号方式では、例えばｘ，ｙ，ｚという３つのデータで示されるオリジナルデータを送信装置側から送出する場合に、データｘ，ｙ，ｚに対して排他的論理和の関係にあるデータｗ（＝ｘ ＸＯＲ ｙ ＸＯＲ ｚ）を冗長データとして付加した上でネットワーク上へ送出する。これにより例えば受信装置がネットワークを介して受信したデータがｘ，ｙ，ｗのみであっても、データｗは、データｘ，ｙ，ｚと排他的論理和の関係にあるので、受信することができたデータｘ，ｙ，ｗからデータｘを求めることができ、オリジナルデータｘ，ｙ，ｚを補償することができる。

図５は、従来の映像配信システムの構成を示すブロック図である。図５中１００は、映像データを送出する送信装置であり、送信装置１００から送出された映像データは、受信装置２００へ、ネットワーク３００を介して送信される。送信装置１００は、配信する映像データを記録する記録器１０１と、記録器１０１に記録されている映像データをＭＰＥＧ(Motion Picture Expert Group) 等の符号化形式にて圧縮符号化する圧縮符号化器１０２と、圧縮符号化された映像データをブロック単位に分割した上で欠損を補償する冗長データを付加する欠損補償符号化器１０３とを備えている。そして送信装置１００は、冗長データを付加した映像データを分割したパケット単位でネットワーク３００上へ送出する。

ネットワーク３００を転送されるパケット単位の映像データを受信する受信装置２００は、受信したパケット単位の映像データからブロック単位の映像データを生成し、生成した映像データに欠損が生じているか否かを判定し、欠損が生じている場合に欠損データを補償する欠損補償復号器２０１と、ＭＰＥＧ等の符号化形式にて圧縮符号化されている映像データを伸長復号する伸長復号器２０２と、伸長復号した映像データを映像として出力する出力器２０３とを備えている。

図６は、従来の映像配信システムのデータに対する処理を模式的に示す概念図である。図６（ａ）は、送信装置１００にて所定長のブロック単位に分割された映像データを示しており、ブロック単位に分割された映像データには、図６（ｂ）に示す様に冗長データが付加される。そして冗長データが付加されたブロック単位のデータは、パケット単位のデータに分割される。なお冗長データが付加されたブロック単位のデータの先頭のパケットには、ブロックの先頭のパケットとして区切位置を示す区切位置情報が含まれている。

図６（ｃ）は、受信装置２００にて行われる欠損補償復号処理を示しており、受信装置２００では、パケット単位で受信したデータからブロック単位のデータを生成する。なお通信時の異常により、一部のパケットに欠損が生じており、完全なブロック単位のデータを生成することができなかったとしても、生成したブロック単位のデータに付加されている冗長データに基づき欠損補償復号を行うことにより、欠損したパケットが補償され元の映像データに復号することができる。またパケット単位で受信したデータからブロック単位のデータを生成する場合、受信した区切位置情報が含まれているパケットを検出し、区切位置情報が含まれているパケットの直前に受信したパケットで、直前のブロックに含まれるパケットの受信を完了したと判定して欠損補償復号を開始する。
特開２００４−８０１６９号公報

しかしながら区切位置情報が含まれているパケットが欠損した場合、受信装置は、次に区切位置情報が含まれているパケットを受信するまで、ブロックの区切を認識することができず、映像データの復号遅れ、復号失敗等の異常が発生し、その映像データに基づき出力されるべき映像に乱れが生じることになり、映像品質が低下するという問題に繋がる。

本発明は斯かる事情に鑑みてなされたものであり、受信装置にて、受信したデータを蓄積し、蓄積しているデータを設定時間毎に読み出し、読み出したデータをブロック単位のデータとして処理することにより、出力する映像の品質の低下を防止することが可能な伝送方法、該伝送方法を適用した受信装置、及び該受信装置を実現するためのコンピュータプログラムの提供を目的とする。

第１発明に係る伝送方法は、通信網を介して送信装置から受信装置へデータを伝送して出力する伝送方法において、送出するデータをブロック単位に分割し、ブロック単位に分割したデータに対して欠損補償符号化を行い、欠損補償符号化を行ったデータを、通信網を介して送信装置から受信装置へ伝送し、伝送されたデータを蓄積し、蓄積しているデータを読み出し、読み出したデータをブロック単位のデータとして欠損補償復号を行い、欠損補償復号を行ったデータに基づく出力処理を、設定時間毎に実行することを特徴とする。

本発明では、ブロック単位のデータを受信する時間間隔は短期的に略一定であるとの前提の上で、設定時間の間に受信したデータをブロック単位のデータとして処理することにより、パケットに含まれている区切位置情報を検出せずとも、ブロックの区切を認識することができるので、データの復号遅れ、復号失敗等の異常の発生を抑制し、データに基づく出力の出力時の品質、例えば映像データに基づき出力される映像の品質の低下を防止することが可能である。

第２発明に係る受信装置は、ブロック単位に分割され欠損補償符号化されたデータを受信し、受信したデータに基づく出力処理を実行する受信装置において、受信したデータを蓄積する手段と、蓄積しているデータを読み出す手段と、読み出したデータをブロック単位で欠損補償復号する手段と、欠損補償復号したデータに基づく出力処理を設定時間毎に実行する手段とを備えることを特徴とする。

本発明では、ブロック単位のデータを受信する時間間隔は短期的に略一定であるとの前提の上で、設定時間の間に受信したデータをブロック単位のデータとして処理することにより、パケットに含まれている区切位置情報を検出せずとも、ブロックの区切を認識することができるので、データの復号遅れ、復号失敗等の異常の発生を抑制し、データに基づく出力の出力時の品質、例えば映像データに基づき出力される映像の品質の低下を防止することが可能である。

第３発明に係る受信装置は、第２発明において、前記ブロック単位に分割されたデータは、ブロックの区切位置を示す区切位置情報を含んでおり、区切位置情報を含むパケットの受信時刻を検出する手段と、検出した受信時刻に基づいてブロック単位のデータの受信間隔を算出する手段と、算出した受信間隔に基づいて、設定時間を設定する手段とを更に備えることを特徴とする。

本発明では、ブロックの受信間隔の実績値を算出し、算出した過去の受信間隔の実績から例えば移動平均を算出し、算出した結果に基づき設定時間を動的に変更することにより、設定する設定時間の精度を向上させ、またブロック単位のデータを受信する受信間隔の長期的な揺らぎに対応することが可能である。

第４発明に係る受信装置は、第２発明又は第３発明において、前記データは、映像及び／又は音声データを圧縮符号化したストリーミングデータであり、前記出力処理は、映像及び／又は音声の出力であることを特徴とする。

本発明では、映像及び音声をストリーミング配信するビデオオンデマンドと呼ばれる映像配信システムに適用することが可能である。

第５発明に係るコンピュータプログラムは、ブロック単位に分割され欠損補償符号化されたデータを受信するコンピュータに、受信したデータに基づく出力処理を実行させるコンピュータプログラムにおいて、コンピュータに、受信したデータを蓄積させる手順と、コンピュータに、蓄積しているデータを読み出させる手順と、コンピュータに、読み出したデータをブロック単位のデータとして欠損補償復号させる手順と、コンピュータに、欠損補償復号したデータに基づく出力処理を設定時間毎に実行させる手順とを実行させることを特徴とする。

本発明は、各種手順をセットトップボックス等のコンピュータにて実行することにより、セットトップボックスが受信装置として動作し、ブロック単位のデータを受信する時間間隔は短期的に略一定であるとの前提の上で、設定時間の間に受信したデータをブロック単位のデータとして処理することにより、パケットに含まれている区切位置情報を検出せずとも、ブロックの区切を認識することができるので、データの復号遅れ、復号失敗等の異常の発生を抑制し、データに基づく出力の出力時の品質、例えば映像データに基づき出力される映像の品質の低下を防止することが可能である。

本発明に係る伝送方法、受信装置及びコンピュータプログラムは、送信装置において、映像及び／又は音声データをＭＰＥＧ等の符号化形式にて圧縮符号化し、圧縮符号化したデータをブロック単位に分割し、ブロック単位に分割したデータに対して欠損箇所を補償する欠損補償符号化を行い、欠損補償符号化を行ったデータを通信網上へストリーミングデータとして送出し、受信装置において、受信したデータからブロック単位のデータを生成し、生成したブロック単位のデータに対して欠損補償復号を行い、欠損補償復号を行ったデータを伸長復号して映像表示等の出力処理を行うシステムに適用する。このシステムにおいて、受信装置は、受信したデータの出力処理を設定時間毎に実行すべく、例えば受信したデータを蓄積し、蓄積しているデータを設定時間毎に読み出し、読み出したデータをブロック単位のデータとして欠損補償復号を行う。

この構成により、本発明では、ブロック単位のデータを受信する時間間隔は短期的に略一定であるとの前提の上で、設定時間の間に受信したデータをブロック単位のデータとして処理し、パケットに含まれている区切位置情報を検出せずとも、ブロックの区切を認識することができるので、区切位置情報を含むパケットが欠損した場合でもデータの復号遅れ、復号失敗等の異常の発生を抑制し、データに基づく出力の出力時の品質、例えば映像データに基づき出力される映像の品質の低下を防止することが可能である等、優れた効果を奏する。

また本発明に係る受信装置等では、ブロックの区切位置を示す区切位置情報を含むデータの受信時刻に基づいて、ブロックの受信間隔の実績値を算出し、算出した過去の受信間隔の実績から例えば受信間隔の移動平均を算出し、算出した結果に基づき設定時間を動的に変更することにより、設定する設定時間の精度を向上させ、またブロック単位のデータを受信する受信間隔の長期的な揺らぎに対応することが可能である等、優れた効果を奏する。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。図１は、本発明の伝送方法を適用した映像配信システムの構成例を示すブロック図である。図１中１は、映像及び音声データをパケット単位で送出するサーバコンピュータを用いた送信装置であり、送信装置１から送出された映像及び音声データは、セットトップボックス等の本発明の受信装置２へ、インターネット等のネットワーク（通信網）３を介して伝送される。図１に例示した映像配信システムでは、受信装置２を操作するユーザの要求に応じて、映画、テレビジョン放送、コンサート等の様々な映像及び音声データを、ネットワーク３を介してストリーミング配信するビデオオンデマンドと呼ばれるサービスを提供している。

送信装置１は、装置全体を制御するＣＰＵ等の制御手段１１と、配信する映像及び音声データを記録するハードディスク等の記録手段１２と、記録手段１２に記録されている映像及び音声データをＭＰＥＧ(Motion Picture Expert Group) 等の符号化形式にて圧縮符号化する圧縮符号化手段１３と、圧縮符号化手段１３により圧縮符号化された映像及び音声データをブロック単位に分割して欠損を補償する冗長データを付加する欠損補償符号化手段１４と、ネットワークに接続する通信手段１５とを備えている。なお本発明の伝送方法を、コンサート、市街地等の撮像対象を撮像しライブ配信する映像配信システムに適用する場合、記録手段１２に映像及び音声データを予め記録しておくのではなく、カメラ等の撮像手段を用いた撮像により映像及び音声データを生成し、生成した映像及び音声データを圧縮符号化及び欠損補償符号化する様にしても良い。また予め圧縮符号化した映像及び音声データを記録手段１２に記録する様にしても良く、その場合、圧縮符号化手段１３は不要となる。

受信装置２は、制御手段２１と、例えばファームウェアとして記録される本発明のコンピュータプログラム４及びデータ等の各種情報を記録する記録手段２２と、通信手段２３と、通信手段２３によりネットワーク３を介してパケット単位で受信したデータからブロック単位のデータを生成し、生成したデータに欠損が生じているか否かを判定し、欠損が生じている場合に、付加されている冗長データに基づいて欠損したデータを補償する欠損補償復号手段２４と、欠損したデータを補償して生成した映像及び音声データを伸長復号する伸長復号手段２５と、伸長復号した映像及び音声データを例えばテレビジョンモニタ等の装置へ出力する出力手段２６とを備えている。なお欠損補償復号手段２４は、受信したパケット単位のデータを一時的に蓄積するバッファメモリとして用いられる蓄積手段２４１を有している。そして記録手段２２に記録されている本発明のコンピュータプログラム４に含まれる各種手順を実行することにより、セットトップボックスは、本発明の受信装置２として動作する。なお受信装置２が、インターネットテレビ等のモニタを備えた装置である場合、出力手段２７はモニタ及びスピーカとなる。

次に本発明の伝送方法を適用した映像配信システムに用いられる各種装置の処理について説明する。受信装置２が送信装置１に対して映像及び音声データの送信を要求する場合、送信装置１から送出される映像及び音声データに関する組織符号型の欠損補償符号の方式等の条件を受信装置２に認識させるネゴシエーション処理が行われる。そしてネゴシエーション処理が完了後、送信装置１から受信装置２へ映像及び音声データがパケット単位で送信される。

図２は、本発明の伝送方法にて用いられる送信装置１の送信処理を示すフローチャートである。送信装置１は、制御手段１１の制御に基づいて、記録手段１２に記録されている映像及び音声データを、圧縮符号化手段１３により、ＭＰＥＧ等の符号化形式にて圧縮符号化する（Ｓ１０１）。次に送信装置１は、圧縮符号化した映像及び音声データを、欠損補償符号化手段１４により、所定長のブロック単位に分割し（Ｓ１０２）、ブロック単位に分割した映像及び音声データに対して欠損を補償する冗長データを付加する欠損補償符号化を行い（Ｓ１０３）、ブロックの先頭に、ブロックの先頭を区切位置として示す区切位置情報を含ませる（Ｓ１０４）。そして送信装置１は、欠損補償符号化を行い区切位置情報を含ませたブロック単位の映像及び音声データを、パケット単位に分割して（Ｓ１０５）、通信手段１５からネットワーク３上へ送出する（Ｓ１０６）。なおブロックの末尾に、ブロックの末尾を区切位置として示す区切位置情報を含ませる様にしても良い。

図３は、本発明の伝送方法にて用いられる受信装置２の受信処理を示すフローチャートである。受信装置２は、コンピュータプログラム４を実行する制御手段２１の制御により、通信手段２３にてネットワーク３からパケット単位の映像及び音声データを受信し（Ｓ２０１）、受信したパケット単位の映像及び音声データを欠損補償復号手段２４へ渡し、欠損補償復号手段２４は、受け付けたパケット単位の映像及び音声データを蓄積手段２４１に蓄積する（Ｓ２０２）。このとき欠損補償復号手段２４は、パケットを受信した受信時刻も蓄積手段２４１又はその他のメモリに記録する。

そして受信装置２は、コンピュータプログラム４を実行する制御手段２１の制御に基づいて、欠損補償復号手段２４により、蓄積手段２４１にパケット単位で蓄積した複数の映像及び音声データを、ブロック単位の一の映像及び音声データとして設定時間毎に読み出し（Ｓ２０３）、読み出した映像及び音声データをブロック単位のデータとして、欠損補償復号処理を実行する（Ｓ２０４）。ステップＳ２０３において読出間隔となる設定時間は、蓄積手段２４１又はその他のメモリに記録されている。なおステップＳ２０４にて補償すべき欠損が生じていない場合、ステップＳ２０４の処理は省略される。この様に設定時間の間に受信した複数のパケットは、一のブロックを構成するパケットであるものとして取り扱うことにより、ブロックの区切位置を検出する処理が不要となる。

そして受信装置２は、コンピュータプログラム４を実行する制御手段２１の制御に基づいて、欠損補償復号処理を実行した映像及び音声データを、伸長復号手段２５にて伸長復号し（Ｓ２０５）、伸長復号した映像及び音声データを出力手段２６から出力する出力処理を実行する（Ｓ２０６）。ステップＳ２０６の映像及び音声データを出力手段２６から出力する処理とは、受信装置２０がセットトップボックスであり、テレビジョンモニタである装置に接続されている場合、テレビジョンモニタから映像及び音声として出力される映像信号及び音声信号を、テレビジョンモニタへ出力する処理を示す。また受信装置２０がインターネットテレビである場合、映像及び音声データを出力手段２６から出力する処理とは、映像及び音声を出力する処理を示す。

図４は、本発明の伝送方法にて用いられる受信装置２の設定時間設定処理を示すフローチャートである。受信装置２では、図３を用いて説明した受信処理と並行して、データの読出間隔となる設定時間を動的に設定する設定時間設定処理を実行する。受信装置２は、コンピュータプログラム４を実行する制御手段２１の制御により、蓄積手段２４１に蓄積したパケット単位の映像及び音声データの中で、区切位置情報を含むパケット及び該パケットの受信時刻を検出し（Ｓ３０１）、検出した受信時刻の間隔に基づいてブロック単位の映像及び音声データの受信間隔を算出し（Ｓ３０２）、算出した受信間隔に基づいて、読出間隔となる設定時間を設定する（Ｓ３０３）。なお設定時間設定処理により、設定時間が設定されるまでは予め初期値として設定されている設定時間が用いられる。

ステップＳ３０１〜Ｓ３０２では、検出した受信時刻の間隔に基づいてブロック単位のデータの受信に要する時間を算出する。このとき区切位置情報を含むパケットが欠損していたとしても、算出した受信時刻の間隔同士を比較することにより、欠損を認識することができるので、受信間隔の算出に際しては、異常値として除外することができる。また受信間隔の算出は、直近で受信した所定個数、例えば５０個分のブロックに相当する受信間隔の移動平均を算出することにより行う。なお必要に応じて直前の受信間隔に重点を置いて重み付けを行う加重平均を併用するなど、適宜設定することが可能である。またステップＳ３０３の設定処理とは、受信処理のステップＳ２０３にて用いられる設定時間を更新する処理であり、従って設定時間は、ネットワーク３の通信状況に応じて動的に変更されることになる。

上述した様に本発明では、ネットワーク３の通信状況に関し、パケット単位のデータ転送に影響を与える瞬間的に発生する短期的な揺らぎによる遅延を、ブロック単位の受信間隔でデータを処理することにより吸収する。また本発明では、例えば１０００ｓｅｃ程度の周期で発生する長期的な揺らぎによる遅延を、ブロック単位のデータの受信間隔として設定される設定時間を動的に変更することにより吸収する。

前記実施の形態では、受信装置において、設定時間毎に蓄積しているデータを読み出す形態を示したが、本発明はこれに限らず、設定時間毎に欠損補償復号を行う形態、又は設定時間毎に出力処理を行う形態であっても良く、受信装置のいずれかの処理において、設定時間分の待機を行うことで、出力時間の間隔を一定とし、揺らぎを吸収することができれるのであれば、様々な形態に展開することが可能である。

前記実施の形態では、映像及び音声データをストリーミング配信するシステムに適用する形態を示したが、本発明はこれに限らず、映像データ又は音声データを配信するシステムに適用する等、様々なデータに対して適用することが可能である。

本発明の伝送方法を適用した映像配信システムの構成例を示すブロック図である。 本発明の伝送方法にて用いられる送信装置の送信処理を示すフローチャートである。 本発明の伝送方法にて用いられる受信装置の受信処理を示すフローチャートである。 本発明の伝送方法にて用いられる受信装置の設定時間設定処理を示すフローチャートである。 従来の映像配信システムの構成を示すブロック図である。 従来の映像配信システムのデータに対する処理を模式的に示す概念図である。

符号の説明

１ 送信装置
１３ 圧縮符号化手段
１４ 欠損補償符号化手段
２ 受信装置
２４ 欠損補償復号手段
２５ 伸長復号手段
３ ネットワーク
４ コンピュータプログラム

Claims (5)

1. 通信網を介して送信装置から受信装置へデータを伝送して出力する伝送方法において、
   送出するデータをブロック単位に分割し、
   ブロック単位に分割したデータに対して欠損補償符号化を行い、
   欠損補償符号化を行ったデータを、通信網を介して送信装置から受信装置へ伝送し、
   伝送されたデータを蓄積し、
   蓄積しているデータを読み出し、
   読み出したデータをブロック単位のデータとして欠損補償復号を行い、
   欠損補償復号を行ったデータに基づく出力処理を、
   設定時間毎に実行する
   ことを特徴とする伝送方法。
2. ブロック単位に分割され欠損補償符号化されたデータを受信し、受信したデータに基づく出力処理を実行する受信装置において、
   受信したデータを蓄積する手段と、
   蓄積しているデータを読み出す手段と、
   読み出したデータをブロック単位で欠損補償復号する手段と、
   欠損補償復号したデータに基づく出力処理を設定時間毎に実行する手段と
   を備えることを特徴とする受信装置。
3. 前記ブロック単位に分割されたデータは、ブロックの区切位置を示す区切位置情報を含んでおり、
   区切位置情報を含むパケットの受信時刻を検出する手段と、
   検出した受信時刻に基づいてブロック単位のデータの受信間隔を算出する手段と、
   算出した受信間隔に基づいて、設定時間を設定する手段と
   を更に備えることを特徴とする請求項２に記載の受信装置。
4. 前記データは、映像及び／又は音声データを圧縮符号化したストリーミングデータであり、
   前記出力処理は、映像及び／又は音声の出力である
   ことを特徴とする請求項２乃至請求項３のいずれかに記載の受信装置。
5. ブロック単位に分割され欠損補償符号化されたデータを受信するコンピュータに、受信したデータに基づく出力処理を実行させるコンピュータプログラムにおいて、
   コンピュータに、受信したデータを蓄積させる手順と、
   コンピュータに、蓄積しているデータを読み出させる手順と、
   コンピュータに、読み出したデータをブロック単位のデータとして欠損補償復号させる手順と、
   コンピュータに、欠損補償復号したデータに基づく出力処理を設定時間毎に実行させる手順と
   を実行させることを特徴とするコンピュータプログラム。

Images