JP2007533188A - 映像データを受信するための送信及び方法 - Google Patents
映像データを受信するための送信及び方法 Download PDFInfo
- Publication number
- JP2007533188A JP2007533188A JP2007506874A JP2007506874A JP2007533188A JP 2007533188 A JP2007533188 A JP 2007533188A JP 2007506874 A JP2007506874 A JP 2007506874A JP 2007506874 A JP2007506874 A JP 2007506874A JP 2007533188 A JP2007533188 A JP 2007533188A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- layer data
- base layer
- quality video
- enhancement layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
本発明に従う装置及び方法は、送信レート変動が通信チャネルで生ずる場合に、画像品質の一貫性が悪影響を受けることを防ぐ。本発明は、フルクオリティ映像信号から基本クオリティ映像信号へ、及び、基本クオリティ映像信号からフルクオリティ映像信号への夫々の移行が、唐突な移行ではなく、段階的な移行であるべき認識に依存する。混合処理は、混合係数を基本層及びエンハンスメント層の復号化映像信号に適用する回路によって、これらの復号映像信号が単一の出力映像信号を形成するようマージされる前に実施されうる。復号処理の遅延時間により、受け取られた映像データで移行が生ずる時点と、フルクオリティ映像信号で移行が生ずる時点との間には、自然発生的な遅延が存在しうる。その時間間隔の間に、混合係数は、移行の視認性が低減されるように、段階的に変化させられうる。この自然発生的な遅延に加えて余分な遅延を提供することが望ましい。これは、当該装置が、受け取られた映像データにおいて品質移行の影響を更に取り除くことを可能にする。
Description
本発明は、基本層データ及び少なくとも1つのエンハンスメント層データを有する映像データを受け、前記基本データ及び前記エンハンスメント層データを遅延させるよう配置され、また、前記基本データ及び前記エンハンスメント層データをフルクオリティ映像信号に復号するよう配置され、更に、前記基本層データのみを基本クオリティ映像信号に復号するよう配置された装置に関する。
本発明は、また、このような装置を有する家庭内無線接続システムに関する。
本発明は、更に、基本層データ及び少なくとも1つのエンハンスメント層データを有し、前記基本層データ及び前記エンハンスメント層データは遅延され、前記基本層データ及び前記エンハンスメント層データはフルクオリティ映像信号に復号され、前記基本層データは基本クオリティ映像信号に復号されるところの映像データを受ける方法に関する。
デジタルテレビジョン技術は、ますます重要になりつつあることが広く認識されている。デジタルTV技術を用いると、送信されるテレビ番組の画像品質は、著しく向上する。この改善は、送信される画像の解像度を増すことによって達成可能である。例えば、通常のアナログTVの有効な解像度は、約512×400画素に達し、一方、デジタルTVの解像度は、1920×1080画素又はそれ以上に達することが可能である。
多くのデータストリームから成るデジタルTV信号の送信は、デジタルTV送信器及び受信器の帯域幅並びに必要メモリに大きな負担を課す。このような帯域幅及び必要メモリを低減するために、より少ないデータが画像品質を損なうことなく送信可能であるように、データストリームを圧縮することが試みられてきた。例えば、広く展開される圧縮方式は、MPEG−2及びMPEG−4である。これらの圧縮方式は、MPEG(Moving Picture Experts Group)によって広められた国際規格である。MPEG−2及びMPEG−4圧縮方式は、映像情報の最大量が所与の通信及び記憶容量により送信可能であるように、映像ストリームのビットレートを減じる。
このような圧縮方式の問題は、高解像度の映像の復号化が、低解像度の映像に必要とされるよりもずっと高い計算の複雑性を要することである。その結果、高解像度デコーダは、低解像度デコーダよりも著しく高価となり、今日、低解像度デコーダは、依然として相当な市場シェアを有する。更に、高解像度の映像は、より高いビットレートを必要とする。これは、送信容量が制限される場合に、主たる問題となりうる。送信容量が制限され、利用可能な帯域幅が変動しうるところの典型的なアプリケーションは、家庭内無線接続、及びインターネット上のストリーミング映像である。これらの理由のために、低解像度の映像及び高解像の映像の両形式での同じ映像コンテンツの搬送への支持を提供することが望ましい。
2つの形式での映像コンテンツの搬送を達成するための技術の一例は、所謂空間スケーラブル映像符号化方式又は2階層映像符号化方式である。2階層映像符号化は、低解像度の映像コンテンツを表す基本層と、高解像度の映像コンテンツを表す1又はそれ以上のエンハンスメント層とを使用する。基本層は、エンハンスメント層よりも著しく低いビットレートで送信可能であり、結果として、基本層のための通信及び記憶の必要条件は、より一層厳しくない。より低容量の受信器は、例えば、基本層を受信することが可能であり、一方、より高容量の受信器は、更にエンハンスメント層を受信することが可能である。一般論として、複数の層を有するシステムを有することが望ましい。このシステムは、1つの基本クオリティ層と、少なくとも1つの更なる層とを有し、夫々の更なる層は、品質レベルを前の層に加える。
US6,510,177(特許文献1)は、高解像度の映像の表示のために圧縮効率の損失を低減するよう機能強化された2階層映像符号化方式を開示する。この損失は、同じ総ビットレートを用いるが、2階層構造は用いない、高解像度の映像の別々の符号化に関連する。これは、エンハンスメント層を復号するよう基本層で送信される運動ベクトルを用いることによって達成される。
US6,510,177
ストリーム、映像ストリーム、映像データのストリームは、画像の列を有する復号化映像信号を得るよう復号されるべきビットのストリームである、として定義されることが知られる。2階層映像符号化方式の欠点は、送信レートが変動する場合、例えば、第1の時点でフルクオリティ映像信号(基本層+エンハンスメント層)が表示され、その後、第2の時点で基本クオリティ映像信号(基本層のみ)が表示される場合に、通信チャネルが第2の時点で完全な映像ストリームを送信することができないので、顕著な品質移行が受信側で生じうることである。しばらくの後、通信チャネルが再び映像ストリーム全体を送信することができる場合に、基本クオリティ映像信号からフルクオリティ映像信号への顕著な品質移行が、またも生じうる。望ましくは、限られた送信容量を有する接続(例えば、家庭内無線接続。)が使用される場合には、このような品質移行は、ユーザによって認知される画像品質の一貫性に悪影響を有しうる。
本発明は、送信レート変動が生ずる場合に画像品質の一貫性が悪影響を受けることを防ぐ、前出のような種類の映像ストリームを受けるための装置及び方法を提供することを目的とする。
この目的は、請求項1の特徴部分によって特徴付けられる装置を提供することによって達成される。当該目的は、また、請求項9の特徴部分によって特徴付けられる方法を提供することによっても達成される。
本発明は、フルクオリティ映像信号から基本クオリティ映像信号へ、及び、基本クオリティ映像信号からフルクオリティ映像信号への夫々の移行が、唐突な移行ではなく、段階的な移行であるべき認識に依存する。混合処理は、混合係数を基本層及びエンハンスメント層の復号された映像信号に適用する回路によって、これらの復号映像信号が単一の出力映像信号を形成するようマージされる前に、実施されうる。
復号処理の遅延時間により、受け取られた映像データで移行が生ずる時点と、フルクオリティ映像信号で移行が生ずる時点との間には、自然発生的な遅延が存在しうる。その時間間隔の間に、混合係数は、移行の視認性が低減されるように、段階的に変化させられても良い。この自然発生的な遅延に加えて余分な遅延を提供することが望ましい。これは、当該装置が、受け取られた映像データにおいて品質移行の影響を更に取り除くことを可能にする。
請求項2に定義される実施形態は、第1の時点で前記基本層データのみが受け取られ、次の時点で前記基本層データ及び前記エンハンスメント層データが受け取られる場合に、基本クオリティ映像信号をフルクオリティ映像信号と混合するよう配置される。
請求項3に定義される実施形態は、前記基本層データ及び前記エンハンスメント層データを遅延させるよう配置された更なる遅延素子を設ける。これは、送信変動の間の品質移行を更に取り除くために有効であり、遅延素子は、復号化処理によって既に引き起こされる自然発生的な遅延に加えて余分な遅延を導入する。
請求項4で定義される実施形態は、請求項1記載の装置の実施の例を提供する。この実施形態は、第1の乗算ユニットと、第2の乗算ユニットと、加算ユニットとを有し、前記第1の乗算ユニットは、混合係数を前記基本クオリティ映像信号に適用するよう配置され、前記第2の乗算ユニットは、補完的な混合係数を前記フルクオリティ映像信号に適用するよう配置され、加算ユニットは、結果として得られる基本クオリティ出力信号と、結果として得られるフルクオリティ出力信号とを、単一の出力信号に一体化するよう配置される。
請求項5で定義される実施形態は、請求項4記載の装置の更なる実施である。当該装置は、時間が進むにつれて、前記混合係数を適合させるよう配置され、前記エンハンスメント層データがもはや受け取られない場合に、前記混合係数を増大させるようトリガーされ、前記エンハンスメント層データが再び受け取られる場合に、前記混合係数を減少させるようトリガーされる。
請求項6で定義される実施形態では、前記基本クオリティ映像信号は、比較的低い解像度を有する画像の列を表し、前記フルクオリティ映像信号は、比較的高い解像度を有する画像の列を表す。
請求項7で定義される実施形態は、空間シャープネス改善ユニットを更に有し、前記空間シャープネス改善ユニットは、前記基本クオリティ映像信号をアップスケールするよう配置され、前記空間シャープネス改善ユニットは、更に、前記基本クオリティ映像信号によって表される画像の空間的鮮明さを改善するよう配置される。このように、前記基本クオリティ映像信号の品質は、フルクオリティ映像信号と基本クオリティ映像信号との間の品質移行がそれほど顕著でなくなるように改善される。
本発明に従う装置は、家庭内無線接続システムでの配備のために特に有効であるから、請求項8は、このような装置を有する家庭内無線接続システムを定義する。
本発明について、図面を参照して更に詳細に説明する。
図1は、デジタル映像ストリームを送信するための既知のシステムを表す。送信側には、階層化映像エンコーダ102を有する送信器100がある。階層化映像エンコーダ102は、基本層モジュール106と、エンハンスメント層モジュール108とを有する。基本層モジュール106は、比較的低いビットでの送信のために映像ストリームを符号化し、映像ストリームにおいて符号化された画像の基本クオリティを保持しながら、所謂基本層を供給する。エンハンスメント層モジュール108は、通常、画像に関する補完的な情報(例えば、基本層よりも多い画素)を符号化し、少なくとも1つのエンハンスメント層を供給する。代替的に、複数のエンハンスメント層モジュールがシステム内に存在しても良く、それらの夫々は、映像ストリーム内の画像に関する補完的な情報の一形式を符号化する。送信器100は、その入力を映像供給源104から受ける。映像供給源104は、デジタル映像カメラ、又はデジタル映像画像を生成する能力を有する他の装置でありうる。
送信器100は、通信チャネル110を介して受信器112へ符号化された映像ストリームを送信する。符号化された映像ストリームは、夫々が映像ストリームの層(基本層又はエンハンスメント層)を表す様々な信号から構成されうる。ある時間単位内に送信可能な層の数は、通信チャネル110の利用可能な帯域幅に依存する。ある時点で全ての層の送信が成功し、一方、他の時点で基本層のみが送信され得る。適切な通信プロトコルは、受信器が、常に、少なくとも基本クオリティを有する画像のストリームを復号することができるように、基本層が常に正確に受信器112へ送られることを確実にするために使用される。基本層と、ただ1つのエンハンスメント層が存在すると仮定すれば、通信プロトコルは、以下の形式を有しうる:
−基本層を送信する;
−基本層の受信が認識されると、エンハンスメント層を送信し、さもなければ、基本層の受信が認識されるまで、又は、時間切れとなるまで、基本層の失われたパケットを再送信する;
−エンハンスメント層の受信が認識されると、映像ストリーム内の次の画像に移り、さもなければ、エンハンスメント層の受信が認識されるまで、又は、時間切れとなるまで、エンハンスメント層の失われたパケットを再送信する。
−基本層を送信する;
−基本層の受信が認識されると、エンハンスメント層を送信し、さもなければ、基本層の受信が認識されるまで、又は、時間切れとなるまで、基本層の失われたパケットを再送信する;
−エンハンスメント層の受信が認識されると、映像ストリーム内の次の画像に移り、さもなければ、エンハンスメント層の受信が認識されるまで、又は、時間切れとなるまで、エンハンスメント層の失われたパケットを再送信する。
受信側では、映像ストリームの夫々の層を搬送する信号が、階層化映像デコーダ114を有する受信器112によって受信される。階層化映像デコーダ114は、基本層デコーダモジュール118と、エンハンスメント層デコーダモジュール120とを有する。基本層デコーダモジュール118は、基本層ストリームを、基本クオリティを有する画像の列を有する復号化基本層映像信号に復号する。エンハンスメント層デコーダモジュール120は、補完的な画像情報を含む1又はそれ以上のエンハンスメント層ストリームを復号して、1又はそれ以上の復号化エンハンスメント層映像信号をもたらす。階層化映像デコーダ114は、復号化基本層映像信号を復号化エンハンスメント層映像信号にマージする。即ち、階層化映像デコーダ114は、基本層デコーダモジュール118及びエンハンスメント層デコーダモジュール120からの出力をマージして、フルクオリティを有する画像の列を有する単一の出力映像信号とする。
場合によっては、送信レート変動が生じ、ある時点で利用可能な帯域幅は、基本層ストリーム及びエンハンスメント層ストリームの両方を送信するには十分でない。例えばストリーミング映像のような実時間アプリケーションでは、前出の通信プロトコルは、ある一定の時間の間に送信レートが実質的に低い場合に基本層ストリームのみが送信されることを決定する。従って、品質変動は、送信レートが変動する場合に生じうる。画像の列では、第1の画像がフルクオリティを有し、次の画像が基本クオリティしか有さないことが起こりうる。これは、出力映像信号の画像品質の一貫性に明らかな悪影響を有する。基本クオリティを有する画像からフルクオリティを有する画像への逆行は、また、そのような悪影響を有しうるが、その影響は、映像品質の改善が映像品質の劣化よりも厄介ではないので、それほど強くはない。それでもなお、やはり後者の場合にも、映像信号が比較的一定の画像品質を有するように、品質移行を取り除くことが望ましい。
図2は、既知の2階層映像デコーダ114aを表す。2階層映像デコーダ114aは、階層化映像デコーダ114の一例である。2階層映像デコーダ114aは:
−入力信号Bとして受け取られる基本層ストリームを復号して、復号化基本層映像信号をもたらす基本層デコーダ200と;
−復号化基本層映像信号をより高い解像度へとアップスケールするアップスケールユニット202と;
−入力信号Eとしてエンハンスメント層ストリームを復号して、復号化エンハンスメント層映像信号をもたらすエンハンスメント層デコーダ204と;
−アップスケールされた復号化基本層映像信号を、復号化エンハンスメント層映像信号とマージして、フルクオリティを有する単一の出力映像信号を形成する加算ユニット206と;
を有する。
−入力信号Bとして受け取られる基本層ストリームを復号して、復号化基本層映像信号をもたらす基本層デコーダ200と;
−復号化基本層映像信号をより高い解像度へとアップスケールするアップスケールユニット202と;
−入力信号Eとしてエンハンスメント層ストリームを復号して、復号化エンハンスメント層映像信号をもたらすエンハンスメント層デコーダ204と;
−アップスケールされた復号化基本層映像信号を、復号化エンハンスメント層映像信号とマージして、フルクオリティを有する単一の出力映像信号を形成する加算ユニット206と;
を有する。
結果として得られる映像信号は、出力信号Oとして出力される。留意すべきは、信号Eは、望ましくは、しかし、常に送信されるわけでなはないことである。信号Eが、例えば、利用可能な帯域幅の不足により送信されない場合に、出力信号は、アップスケールされた復号化基本層映像信号によって形成された基本クオリティ映像信号のみから構成される。フルクオリティを有する第1の画像から基本クオリティを有する次の画像への品質移行は、極めて唐突であり、別に一定の品質を有する画像の列において粗雑な変化として現れうる。
図3は、本発明に従う2階層映像デコーダ114bを表す。この場合に、2階層映像デコーダ114bは、先行技術のデコーダ114aの全ての構成要素200、202、204、206を有する。更に、2階層映像デコーダ114bは、乗算ユニット300、302と、他の加算ユニット306とを有する。更に、2階層映像デコーダ114bは、他の形式の混合装置(図示せず。)を有しても良い。第1の乗算ユニット300は、(基本クオリティ画像を表す)第1の入力信号として、アップスケールされた復号化基本層映像信号を受信し、更に、混合係数を表す第2の入力信号βを受信する。混合係数βの値は、混合係数βが時間の関数として決定されるところのテーブルで決定されうる。第2の乗算ユニット302は、(フルクオリティ画像を表す)第1の入力信号として、復号化エンハンスメント層映像信号と一体化された、アップスケールされた復号化基本層映像信号を受信し、更に、補完的な混合係数を表す第2の入力信号1−βを受信する。
フルクオリティ映像信号から基本クオリティ映像信号への(及びその逆の)段階的な移行は、時間が進むにつれて徐々に混合係数を調整することによって達成可能である。この技術は、以下の簡単化された例(図示せず。)によって説明可能である:
−第1の時点で、信号B及びEの両方が受信される。その場合に、βの値は‘0’に設定される。完全なフルクオリティ映像信号は、第1の出力信号O1として出力される;
−第2の時点で、信号Bのみが受信される。その場合に、βの値は‘0.5’に設定されうる。フルクオリティ映像信号の半分は、基本クオリティ映像信号の半分とマージされて、第2の出力信号O2を形成する(留意すべきは、フルクオリティ映像信号は、基本層デコーダ200及びエンハンスメント層デコーダ204に含まれる、例えばバッファユニット(図示せず。)によってT1から保持される復号された基本層及びエンハンスメント層映像信号を用いて構成されるべきである点である。);
−第3の時点で、再び信号Bのみが受信される。その場合に、βの値は‘1’に設定される。完全な基本クオリティ映像信号が第3の出力信号O3として出力される。
−第1の時点で、信号B及びEの両方が受信される。その場合に、βの値は‘0’に設定される。完全なフルクオリティ映像信号は、第1の出力信号O1として出力される;
−第2の時点で、信号Bのみが受信される。その場合に、βの値は‘0.5’に設定されうる。フルクオリティ映像信号の半分は、基本クオリティ映像信号の半分とマージされて、第2の出力信号O2を形成する(留意すべきは、フルクオリティ映像信号は、基本層デコーダ200及びエンハンスメント層デコーダ204に含まれる、例えばバッファユニット(図示せず。)によってT1から保持される復号された基本層及びエンハンスメント層映像信号を用いて構成されるべきである点である。);
−第3の時点で、再び信号Bのみが受信される。その場合に、βの値は‘1’に設定される。完全な基本クオリティ映像信号が第3の出力信号O3として出力される。
先行技術のデコーダ114aを用いた場合に単一のステップで生じうる品質移行が、目下、2ステップで生ずることが、上の例から明らかである。これは、出力映像信号での更に段階的な品質移行をもたらす。多数の更なるステップが、品質移行を可能な限り滑らかにするために使用されうることは明らかである。実際には、混合係数βは、変化が、多数の個別の調整ステップではなく、連続的な変化のようなものであるように、多数の小さなステップで変化されうる。
本発明に従う映像デコーダ114bは、品質移行の微調整を可能にする。微調整の程度は、特定のストリーミング映像アプリケーションによって強要される品質要件に依存する。
図4は、鮮明さ改善のための回路402を有する既知の2階層映像デコーダ114cを表す。これは、出力画像の鮮明さを改善するために空間シャープネス改善技術を使用する映像デコーダの一例である。このような技術は、ピークの一時的な改善の形を使用しうる。この目的のために、例えば商標ピクセル・プラス(Pixel Plus)を有する技術のような、市場で入手可能な周知技術が存在する。復号化エンハンスメント層映像信号と一体化された、アップスケールされた復号化基本層映像信号は、アップスケールされ、空間シャープネス改善を受けたバージョンの復号化基本層映像信号とマージされる。
図5は、本発明に従う、鮮明さ改善のための回路402を有する2階層映像デコーダ114dを表す。この場合にも、2階層映像デコーダ114dは、乗算ユニット300、302を有する。第1の乗算ユニット300は、(改善された鮮明さを有する基本クオリティ画像を表す)第1の入力信号として、アップスケールされ、空間シャープネス改善を受けた復号化基本層映像信号を受信し、更に、混合係数を表す第2の入力信号βを受信する。第2の乗算ユニット302は、(フルクオリティ画像を表す)第1の入力信号として、復号化エンハンスメント層映像信号と一体化された、アップスケールされた復号化基本層映像信号を受信し、更に、補完的な混合係数を表す第2の入力信号1−βを受信する。先と同じく、フルクオリティ映像信号から、改善された鮮明さを有する基本質映像信号への(及びその逆の)段階的な移行は、時間が進むにつれて徐々に混合係数を調整することによって達成可能である。
更に、2階層映像デコーダ114dは、遅延素子308、310を備えうる。これらの遅延素子308、310は、基本層信号B及びエンハンスメント層信号Eを遅延させることによって混合処理を容易にする。遅延された信号は、フルクオリティ映像信号から基本クオリティ映像信号への(及びその逆の)滑らかな移行の出現を更に改善するために使用されうる。これについて、図6を参照して説明する。
図6は、図5で表される2階層映像デコーダ114dに対応するタイミング図を表す。基本層入力信号B及びエンハンスメント層入力信号Eは、等しい時間量τ1だけ遅らせられる。エンハンスメント層入力信号Eが(例えば、利用可能な帯域幅の不足により)中断される場合に、映像デコーダ114は、フルクオリティ映像信号から基本クオリティ映像信号への前出の段階的な移行を達成するために、‘0’から‘1’へと混合係数βを段階的に増大させるようトリガーされる。上記のように、品質移行は、基本層入力信号B及びエンハンスメント層入力信号Eの両方を遅延τ1で遅延させることによって、より一層滑らかにされうる。遅延エンハンスメント層入力信号E’は、τ1によって遅らせられたエンハンスメント層入力信号Eを表す。
遅延エンハンスメント層入力信号E’(遅延エンハンスメント層ストリームとも呼ばれる。)は、復号化エンハンスメント層入力信号E’decに復号される。この復号処理は、また、復号及びバッファリング処理によって引き起こされる自然発生的な遅延である遅延τdを導入する。品質移行が生ずるところの時間間隔は減少するので、品質移行は、それほど顕著でなくなり、画像品質の一貫性は、著しく改善する。明示的な遅延τ1及び自然発生的な遅延τdにより、実際の品質移行は、タイミング図から明らかであるように、時間間隔τ1+τd+τ2ではなく、時間間隔τ2で生じうる。基本クオリティ映像信号からフルクオリティ映像信号への逆行する品質移行は、時間間隔τ3で混合係数βを段階的に減じることによって、それほど顕著でなくなる。
ここで述べられる技術は、他の技術、例えば、2又はそれ以上のパッケージから成る基本層情報及び2又はそれ以上のパッケージから成るエンハンスメント層を分ける方法と組合せ可能である。その場合に、通信プロトコルは、それらの基本層パッケージ及びエンハンスメント層パッケージを別々に送信するよう適合される。先と同じく、基本層と、ただ1つのエンハンスメント層が存在すると仮定すれば、その場合に、通信プロトコルは、以下の形式を有しうる:
−基本層の第1のパッケージを送信する;
−基本層の第1のパッケージの受信が認識されると、基本層の第2のパッケージを送信し、さもなければ、基本層の第1のパッケージの受信が認識されるまで、又は、時間切れとなるまで、基本層の第1のパッケージの失われたパケットを再送信する;
−基本層の第2のパッケージの受信が認識されると、エンハンスメント層の第1のパッケージを送信し、さもなければ、基本層の第2のパッケージの受信が認識されるまで、又は、時間切れとなるまで、基本層の第2のパッケージの失われたパケットを再送信する;
−エンハンスメント層の第1のパッケージの送信が認識されると、エンハンスメント層の第2のパッケージを送信し、さもなければ、エンハンスメント層の第1のパッケージの受信が認識されるまで、又は、時間切れとなるまで、エンハンスメント層の第1のパッケージの失われたパケットを再送信する;
−エンハンスメント層の第2のパッケージの送信が認識されると、映像ストリーム内の次の画像に移り、さもなければ、エンハンスメント層の第2のパッケージの受信が認識されるまで、又は、時間切れとなるまで、エンハンスメント層の第2のパッケージの失われたパケットを再送信する。
−基本層の第1のパッケージを送信する;
−基本層の第1のパッケージの受信が認識されると、基本層の第2のパッケージを送信し、さもなければ、基本層の第1のパッケージの受信が認識されるまで、又は、時間切れとなるまで、基本層の第1のパッケージの失われたパケットを再送信する;
−基本層の第2のパッケージの受信が認識されると、エンハンスメント層の第1のパッケージを送信し、さもなければ、基本層の第2のパッケージの受信が認識されるまで、又は、時間切れとなるまで、基本層の第2のパッケージの失われたパケットを再送信する;
−エンハンスメント層の第1のパッケージの送信が認識されると、エンハンスメント層の第2のパッケージを送信し、さもなければ、エンハンスメント層の第1のパッケージの受信が認識されるまで、又は、時間切れとなるまで、エンハンスメント層の第1のパッケージの失われたパケットを再送信する;
−エンハンスメント層の第2のパッケージの送信が認識されると、映像ストリーム内の次の画像に移り、さもなければ、エンハンスメント層の第2のパッケージの受信が認識されるまで、又は、時間切れとなるまで、エンハンスメント層の第2のパッケージの失われたパケットを再送信する。
本発明の保護の適用範囲が、ここに記載される実施形態に限定されないことは明らかである。本発明の保護の適用範囲は、特許請求の範囲にある参照符号によっても限定されない。語「有する」は、請求項に記載された以外の他の部分を除外するわけではない。要素の前に置かれる語「1つの」は、それらの要素の複数個を除外するわけではない。本発明の一部を形成する手段は、専用のハードウェアの形で、又は、プログラムされた汎用の処理装置の形で実施されうる。本発明は、夫々の新しい特徴又は特徴の組合せに属する。
Claims (9)
- 基本層データ及び少なくとも1つのエンハンスメント層データを有する映像データを受け、前記基本データ及び前記エンハンスメント層データを遅延させるよう配置され、また、前記基本データ及び前記エンハンスメント層データをフルクオリティ映像信号に復号するよう配置され、更に、前記基本層データのみを基本クオリティ映像信号に復号するよう配置された装置であって、
第1の時点で前記基本層データ及び前記エンハンスメント層データを受けて、次の時点で前記基本層データのみを受けると定義される第1の送信変動が生ずる場合に、前記フルクオリティ映像信号を前記基本クオリティ映像信号と段階的に混合するよう配置される、ことを特徴とする装置。 - 第1の時点で前記基本層データのみを受けて、次の時点で前記基本層データ及び前記エンハンスメント層データを受ける場合に、第2の送信変動が生じ、
該第2の送信変動が生ずる場合に、前記基本クオリティ映像信号を前記フルクオリティ映像信号と段階的に混合するよう配置される、
ことを特徴とする請求項1記載の装置。 - 第1の遅延素子及び第2の遅延素子を有し、
前記第1の遅延素子は、前記基本層データを遅延させるよう配置され、
前記第2の遅延素子は、前記エンハンスメント層データを遅延させるよう配置される、
ことを特徴とする請求項1記載の装置。 - 第1の乗算ユニットと、第2の乗算ユニットと、加算ユニットとを有し、
前記第1の乗算ユニットは、混合係数を前記基本クオリティ映像信号に適用するよう配置され、
前記第2の乗算ユニットは、補完的な混合係数を前記フルクオリティ映像信号に適用するよう配置され、
前記加算ユニットは、前記結果として得られる基本クオリティ出力信号と、前記結果として得られるフルクオリティ出力信号とを、単一の出力信号に一体化するよう配置される、
ことを特徴とする請求項1記載の装置。 - 時間が進むにつれて、前記混合係数を適合させるよう配置され、
前記エンハンスメント層データがもはや受け取られない場合に、前記混合係数を増大させるようトリガーされ、
前記エンハンスメント層データが再び受け取られる場合に、前記混合係数を減少させるようトリガーされる、
ことを特徴とする請求項4記載の装置。 - 前記基本クオリティ映像信号は、比較的低い解像度を有する画像の列を表し、
前記フルクオリティ映像信号は、比較的高い解像度を有する画像の列を表す、
ことを特徴とする請求項1記載の装置。 - 空間シャープネス改善ユニットを更に有し、
前記空間シャープネス改善ユニットは、前記基本クオリティ映像信号をアップスケールするよう配置され、
前記空間シャープネス改善ユニットは、更に、前記基本クオリティ映像信号によって表される画像の空間的鮮明さを改善するよう配置される、
ことを特徴とする請求項1記載の装置。 - 請求項1記載の装置を有する家庭内無線接続システム。
- 基本層データ及び少なくとも1つのエンハンスメント層データを有し、前記基本層データ及び前記エンハンスメント層データは遅延され、前記基本層データ及び前記エンハンスメント層データはフルクオリティ映像信号に復号され、前記基本層データは基本クオリティ映像信号に復号されるところの映像データを受ける方法であって、
第1の時点で前記基本層データ及び前記エンハンスメント層データを受けて、次の時点で前記基本層データのみを受けると定義される第1の送信変動が生ずる場合に、前記フルクオリティ映像信号を前記基本クオリティ映像信号と段階的に混合する、ことを特徴とする方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP04101417 | 2004-04-06 | ||
PCT/IB2005/051022 WO2005099271A1 (en) | 2004-04-06 | 2005-03-24 | Device and method for receiving video data |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007533188A true JP2007533188A (ja) | 2007-11-15 |
Family
ID=34961990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007506874A Withdrawn JP2007533188A (ja) | 2004-04-06 | 2005-03-24 | 映像データを受信するための送信及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20070195878A1 (ja) |
EP (1) | EP1736004A1 (ja) |
JP (1) | JP2007533188A (ja) |
CN (1) | CN1943241A (ja) |
WO (1) | WO2005099271A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110127175A (ko) * | 2009-03-02 | 2011-11-24 | 톰슨 라이센싱 | 픽처 시퀀스를 표시하는 방법 및 장치 |
JP2012525076A (ja) * | 2009-04-24 | 2012-10-18 | デルタ・ヴィディオ・インコーポレイテッド | デジタルビデオ配信システムにおける即時マルチチャネルビデオコンテンツブラウジングのためのシステム、方法、およびコンピュータ可読媒体 |
JP2015518350A (ja) * | 2012-04-24 | 2015-06-25 | ヴィド スケール インコーポレイテッド | Mpeg/3gpp−dashにおける滑らかなストリーム切り換えのための方法および装置 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005032080A1 (de) * | 2005-07-08 | 2007-01-11 | Siemens Ag | Verfahren zum Senden eines Mediadatenstroms und Verfahren zum Empfangen und Erstellen eines rekonstruierten Mediadatenstroms, sowie dazugehörige Sendevorrichtung und Empfangsvorrichtung |
WO2009058118A1 (en) * | 2007-11-01 | 2009-05-07 | Thomson Licensing | A method and apparatus for streaming scalable multimedia data streams |
US20110194645A1 (en) * | 2010-02-11 | 2011-08-11 | Electronics And Telecommunications Research Institute | Layered transmission apparatus and method, reception apparatus, and reception method |
US8824590B2 (en) * | 2010-02-11 | 2014-09-02 | Electronics And Telecommunications Research Institute | Layered transmission apparatus and method, reception apparatus and reception method |
US8687740B2 (en) * | 2010-02-11 | 2014-04-01 | Electronics And Telecommunications Research Institute | Receiver and reception method for layered modulation |
US20110195658A1 (en) * | 2010-02-11 | 2011-08-11 | Electronics And Telecommunications Research Institute | Layered retransmission apparatus and method, reception apparatus and reception method |
US20140003539A1 (en) * | 2012-07-02 | 2014-01-02 | Cisco Technology, Inc. | Signalling Information for Consecutive Coded Video Sequences that Have the Same Aspect Ratio but Different Picture Resolutions |
TWI610554B (zh) | 2012-07-10 | 2018-01-01 | Vid衡器股份有限公司 | 無線傳輸/接收單元中內容切換/品質驅動切換的方法 |
EP2888870B1 (en) | 2012-08-23 | 2017-08-02 | Thomson Licensing | Method and apparatus for detecting gradual transition picture in video bitstream |
KR102257542B1 (ko) | 2012-10-01 | 2021-05-31 | 지이 비디오 컴프레션, 엘엘씨 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
JP6225446B2 (ja) * | 2013-03-26 | 2017-11-08 | 富士通株式会社 | 動画像データ配信装置、方法、プログラム、及びシステム |
US9756101B2 (en) | 2013-08-02 | 2017-09-05 | Pixar | Transition points in an image sequence |
WO2015106383A1 (zh) * | 2014-01-14 | 2015-07-23 | 华为技术有限公司 | 一种评估视频质量的方法以及相关设备 |
JP6475603B2 (ja) * | 2015-11-20 | 2019-02-27 | ソフトバンク株式会社 | 動画データ再生装置およびプログラム |
US20200322656A1 (en) * | 2019-04-02 | 2020-10-08 | Nbcuniversal Media, Llc | Systems and methods for fast channel changing |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6870886B2 (en) * | 1993-12-15 | 2005-03-22 | Koninklijke Philips Electronics N.V. | Method and apparatus for transcoding a digitally compressed high definition television bitstream to a standard definition television bitstream |
US6510177B1 (en) * | 2000-03-24 | 2003-01-21 | Microsoft Corporation | System and method for layered video coding enhancement |
US6633725B2 (en) * | 2000-05-05 | 2003-10-14 | Microsoft Corporation | Layered coding of image data using separate data storage tracks on a storage medium |
US20040258319A1 (en) * | 2001-10-26 | 2004-12-23 | Wilhelmus Hendrikus Alfonsus Bruls | Spatial scalable compression scheme using adaptive content filtering |
-
2005
- 2005-03-24 JP JP2007506874A patent/JP2007533188A/ja not_active Withdrawn
- 2005-03-24 EP EP05718561A patent/EP1736004A1/en not_active Withdrawn
- 2005-03-24 WO PCT/IB2005/051022 patent/WO2005099271A1/en active Application Filing
- 2005-03-24 US US10/599,599 patent/US20070195878A1/en not_active Abandoned
- 2005-03-24 CN CN200580012085.4A patent/CN1943241A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110127175A (ko) * | 2009-03-02 | 2011-11-24 | 톰슨 라이센싱 | 픽처 시퀀스를 표시하는 방법 및 장치 |
JP2012519444A (ja) * | 2009-03-02 | 2012-08-23 | トムソン ライセンシング | ピクチャ系列を表示する方法及び装置 |
KR101679094B1 (ko) | 2009-03-02 | 2016-11-23 | 톰슨 라이센싱 | 픽처 시퀀스를 표시하는 방법 및 장치 |
JP2012525076A (ja) * | 2009-04-24 | 2012-10-18 | デルタ・ヴィディオ・インコーポレイテッド | デジタルビデオ配信システムにおける即時マルチチャネルビデオコンテンツブラウジングのためのシステム、方法、およびコンピュータ可読媒体 |
JP2015518350A (ja) * | 2012-04-24 | 2015-06-25 | ヴィド スケール インコーポレイテッド | Mpeg/3gpp−dashにおける滑らかなストリーム切り換えのための方法および装置 |
KR101622785B1 (ko) * | 2012-04-24 | 2016-05-20 | 브이아이디 스케일, 인크. | Mpeg/3gpp-dash에서의 원활한 스트림 스위칭을 위한 방법 및 장치 |
JP2017005725A (ja) * | 2012-04-24 | 2017-01-05 | ヴィド スケール インコーポレイテッド | Mpeg/3gpp−dashにおける滑らかなストリーム切り換えのための方法および装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2005099271A1 (en) | 2005-10-20 |
US20070195878A1 (en) | 2007-08-23 |
EP1736004A1 (en) | 2006-12-27 |
CN1943241A (zh) | 2007-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007533188A (ja) | 映像データを受信するための送信及び方法 | |
EP1177681B1 (en) | Data transmission | |
US8687114B2 (en) | Video quality adaptation based upon scenery | |
AU650219B2 (en) | Statistical multiplexer for a multichannel image compression system | |
US7469012B2 (en) | System and method for transcoding entropy-coded bitstreams | |
US20140105286A1 (en) | Robust video coding using virtual frames | |
US20110274180A1 (en) | Method and apparatus for transmitting and receiving layered coded video | |
US6215824B1 (en) | Transcoding method for digital video networking | |
US20050074177A1 (en) | Video coding method | |
KR20020064932A (ko) | 미세 입상 비디오 인코딩을 위한 공간적 스케일러빌리티 | |
JP2006087125A (ja) | ビデオフレームシーケンスを符号化する方法、符号化ビットストリーム、画像又は画像シーケンスを復号する方法、データの送信又は受信を含む使用、データを送信する方法、符号化及び/又は復号装置、コンピュータプログラム、システム、並びにコンピュータ読み取り可能な記憶媒体 | |
JP2006345582A (ja) | メディアデータをストリーミングする方法、システム及びクライアント装置 | |
US20110029684A1 (en) | Staggercasting with temporal scalability | |
EP2364549A1 (en) | Fast channel change | |
US20050094965A1 (en) | Methods and apparatus to improve the rate control during splice transitions | |
JP2020171008A (ja) | 高速チャネル変更のためのシステム及び方法 | |
US20100037281A1 (en) | Missing frame generation with time shifting and tonal adjustments | |
KR20050090463A (ko) | 비디오 시퀀스 내에서 에러 전달을 예방하기 위한 방법 및장치 | |
EP3777201A1 (en) | Creating different video stream representations | |
US12075033B2 (en) | Restructuring technique for video frames | |
JP4196085B2 (ja) | 映像信号符号化装置およびそれを用いたテレビ会議システム | |
US20100166082A1 (en) | Method for packing bitstream of scalable video coding | |
JPH10112857A (ja) | 画像信号の符号化・復号化方法および装置 | |
WO2001099430A2 (en) | Audio/video coding and transmission method and system | |
Arsura et al. | Multiple description coding approach for Internet video delivery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080321 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20100106 |