JP2022088342A - 送信装置及び受信装置 - Google Patents

Abstract

【課題】マルチレイヤ符号化技術を活用し、映像伝送システムにおいて低遅延の映像配信を実現する。【解決手段】映像伝送システムのための送信装置１０は、主映像サービスの映像信号に対して副映像サービスの副映像信号を重畳する重畳部１１と、マルチレイヤ符号化技術を用いて、前記映像信号をベースレイヤとして符号化するとともに、前記重畳部が出力する副映像付き映像信号をエンハンスメントレイヤとして符号化する符号化部１２と、前記符号化部が出力する前記ベースレイヤ及び前記エンハンスメントレイヤのそれぞれの符号化ストリームを送信する送信部１３とを備える。前記符号化部は、前記ベースレイヤでの符号化において、前記映像信号を第１モードで符号化し、前記エンハンスメントレイヤでの符号化において、前記第１モードに比べて符号化処理遅延が小さい第２モードで前記副映像付き映像信号を符号化する。【選択図】図１

Description

本発明は、映像伝送システムのための送信装置及び受信装置に関する。

放送サービスでは大雨や地震などの自然災害、及び重大な事件や事故について、被災地や関連する人々に広く周知するためのテロップを映像に重畳することがある。また、近年では、被害軽減のために、緊急地震速報のようにこれから被害が生じ得る災害を数秒事前に告知するためのテロップを映像に重畳することがある。

しかし、デジタル放送においては映像信号の符号化処理が行われており、符号化処理によって少ない情報量で高品質な映像伝送が可能となっている反面、種々の蓄積処理が用いられるため伝送遅延が発生し、情報が受信されてから行動までの時間的余地が少ないという問題がある。

具体的には、限りある電波資源の有効利用を目的とし、圧縮技術がより高度化しており、遅延の増大が生じている。映像符号化技術では符号化効率を向上するために複数枚のフレームデータを蓄積し並べ替えを行っており、一般的に符号化効率優先モードで符号化を行っている場合には数百ミリ秒の遅延が生じ、復号側での遅延及び伝送に伴う遅延を含めてその遅延時間は数秒に達している。

低遅延を目的とした符号化設定では、並べ替えを行わず並列化処理を用い数十ミリ秒以内の遅延を実現することもできるが、一般的な自然画像に対する符号化効率が著しく低いことから、そのような設定で映像を伝送することは極めて稀である。放送のように常時映像が配信されているシステムでは、番組ごとに遅延時間が頻繁に変わることはシステムの安定性を損なうことから、一般的には符号化効率優先設定で映像配信をし続ける運用が行われる。

緊急地震速報のような災害用テロップは、数秒未来に起こりうる災害について周知を行うものであるが、上述のような理由により１，２秒程度の伝送遅延が常時生じている。そのため、数秒先の未来に起こりうる災害の告知を伝送するのに１，２秒浪費しており、生命財産の安全の確保における重大な課題の一つである。

緊急性を要する情報を、遅延を極力抑えて情報配信するために、放送遅延の比較的少ない非同期字幕を用いる方法、データ放送のイベントメッセージを用いる方法、ＡＣ（Ａｕｘｉｌｉａｒｙ Ｃｈａｎｎｅｌ）を利用する方法などが開発されており、現在のデジタル放送では、これらの手法を用いることで映像に対して１秒以上早い情報提示を行っている（非特許文献１参照）。

他方、放送の映像伝送では基本的に１チャンネル１映像しか伝送できないモードを用いている。また、映像伝送における符号化技術として、マルチレイヤ符号化（階層符号化又はスケーラブル符号化とも呼ばれる）がある。マルチレイヤ符号化は、複数階層の符号化ストリームを伝送する技術であって、すべての符号化ストリームを利用して復号すると高い品質の映像が再生されるのに対し、一部の符号化ストリーム（具体的には、ベースレイヤ）のみを復号しても低い品質の映像が再生可能な技術である。

濱住 啓之，"地上デジタル放送の動向"，［ｏｎｌｉｎｅ］，［令和２年１０月１日検索］，インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｔｏｋｋｙｏ．ｓｈｉｎｓａｋｉｊｕｎ．ｃｏｍ／ｉｎｆｏｒｍａｔｉｏｎ／ｎｅｗｔｅｃｈ．ｈｔｍｌ＞

非特許文献１に記載の技術は、デジタル放送の機能を用いて映像以外の手段で情報を提示するものであり、今後ネットワークを用いた映像配信サービスの拡大が予想されるなか、これらの機能を、ネットワークを用いた場合に利用できないこともあり、低遅延の映像配信技術が課題となっている。なお、スマートフォンなどの携帯電話では一斉呼び出し機能を用いて瞬時に通報可能であるが、こちらも映像を伴わない方法である。

他方、上述のマルチレイヤ符号化技術は異なる解像度や品質の映像サービスを効率的に実現することが可能であり、無線伝送、有線伝送など回線品質の混在する映像配信サービスにおいて用いられているものの、その活用が十分になされていないという問題がある。

そこで、本発明は、マルチレイヤ符号化技術を活用し、映像伝送システムにおいて低遅延の映像配信を実現する送信装置及び受信装置を提供することを目的とする。

第１の態様に係る送信装置は、映像伝送システムのための送信装置であって、マルチレイヤ符号化技術を用いて、主映像サービスの映像信号をベースレイヤとして符号化するとともに、副映像サービスの副映像信号をエンハンスメントレイヤとして符号化する符号化部と、前記符号化部が出力する前記ベースレイヤ及び前記エンハンスメントレイヤのそれぞれの符号化ストリームを送信する送信部とを備える。前記符号化部は、前記ベースレイヤでの符号化において、前記映像信号を第１モードで符号化し、前記エンハンスメントレイヤでの符号化において、前記第１モードに比べて符号化処理遅延が小さい第２モードで前記副映像信号を符号化する。

第２の態様に係る受信装置は、マルチレイヤ符号化技術を用いる映像伝送システムのための受信装置であって、ベースレイヤ及びエンハンスメントレイヤのそれぞれの符号化ストリームを受信する受信部と、前記ベースレイヤの符号化ストリームから主映像サービスの映像信号を復号するとともに、前記エンハンスメントレイヤの符号化ストリームから副映像サービスの副映像信号を復号する復号部とを備える。前記復号部は、前記ベースレイヤでの復号において、前記映像信号を第１モードで復号し、前記エンハンスメントレイヤでの復号において、前記第１モードに比べて復号処理遅延が小さい第２モードで前記副映像信号を復号する。

本発明によれば、マルチレイヤ符号化技術を活用し、映像伝送システムにおいて低遅延の映像配信を実現する送信装置及び受信装置を提供できる。

実施形態に係る送信装置の構成を示す図である。 実施形態に係る符号化部の構成例を示す図である。 実施形態に係る送信装置の動作の具体例を示す図である。 従来のマルチレイヤ符号化におけるフレーム参照関係を示す図である。 実施形態に係るマルチレイヤ符号化におけるフレーム参照関係を示す図である。 各フレームの符号化タイミング及び本実施形態による重畳映像（上乗せ映像）の出力タイミング、及び比較のために従来方法による重畳映像のタイミングを示す図である。 実施形態に係る受信装置の構成を示す図である。 実施形態に係る送信装置の変更例を示す図である。

図面を参照して、実施形態に係る映像伝送システムのための送信装置及び受信装置について説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

（送信装置）
まず、本実施形態に係る送信装置について説明する。本実施形態において、副映像サービスの一例としての緊急速報サービスを映像伝送システムにおいて実現する一例について説明する。

図１は、本実施形態に係る送信装置１０の構成を示す図である。図１に示すように、送信装置１０は、重畳部１１と、符号化部１２と、送信部１３とを有する。

重畳部１１は、主映像サービスの映像信号に対して副映像サービスの副映像信号を重畳する。本実施形態において、副映像が緊急速報サービスの字幕（例えば、災害用テロップ）であるものとする。字幕は、数字を含む文字、図形、若しくは記号、又はこれらの組み合わせからなる。重畳部１１は、主映像の映像フレームの一部の領域（例えば、フレーム上部領域又はフレーム下部領域）に字幕を重畳する。そして、重畳部１１は、副映像付き映像信号として、字幕付き映像信号を符号化部１２に出力する。

符号化部１２は、マルチレイヤ符号化技術を用いて、主映像サービスの映像信号をベースレイヤとして符号化するとともに、重畳部１１が出力する副映像付き映像信号をエンハンスメントレイヤとして符号化する。マルチレイヤ符号化の方式には、ＨＥＶＣ（Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ）と呼ばれる符号化方式におけるＳｃａｌａｂｌｅ Ｍａｉｎ １０プロファイルを用いることができる。ＨＥＶＣは、現在の４Ｋ８Ｋ衛星放送で用いられている符号化方式である。４Ｋ８Ｋ衛星放送では、Ｍａｉｎ１０プロファイルと呼ばれる符号化ツール群を用いて映像を効率的に圧縮して伝送する。Ｓｃａｌａｂｌｅ Ｍａｉｎ １０プロファイルは、ベースレイヤとしてＭａｉｎ１０プロファイル相当の映像を伝送しながら、エンハンスメントレイヤを追加してベースレイヤの映像に重畳することができる符号化の仕組みである。

或いは、マルチレイヤ符号化の方式には、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と呼ばれる最新の符号化方式におけるＭｕｌｔｉｌａｙｅｒ Ｍａｉｎ１０プロファイルを用いてもよい。Ｍｕｌｔｉｌａｙｅｒ Ｍａｉｎ１０プロファイルでは、上述のＳｃａｌａｂｌｅ Ｍａｉｎ １０プロファイルと同様に、Ｍａｉｎ１０プロファイルに対して複数レイヤの伝送を実現するプロファイルであり、複数のレイヤの映像伝送が可能である。

このようなマルチレイヤ機能を備えた符号化技術では、映像の本サービスとなるベースレイヤに対して上位レイヤであるエンハンスメントレイヤの映像を重畳することができる。なお、マルチレイヤ符号化としてＨＥＶＣのＳｃａｌａｂｌｅ Ｍａｉｎ １０プロファイルやＶＶＣのＭｕｌｔｉｌａｙｅｒ Ｍａｉｎ１０プロファイルを例に挙げたが、ＨＥＶＣやＶＶＣに限定されるものではなく、他の符号化方式を用いてもよい。

本実施形態において、符号化部１２は、ベースレイヤでの符号化において、主映像サービスの映像信号を第１モードで符号化する。符号化部１２は、エンハンスメントレイヤでの符号化において、第１モードに比べて符号化処理遅延が小さい第２モードで副映像付き映像信号を符号化する。これにより、マルチレイヤ符号化技術を活用し、映像伝送システムにおいて低遅延の映像配信を実現できる。

ベースレイヤに適用する第１モードは、映像信号を符号化する際に映像フレームの並べ替えを行う符号化効率優先モードである。映像フレームの並べ替えとは、表示順と異なる順序に映像フレームを並べ替える処理をいう。符号化部１２は、主映像サービスの映像信号について符号化効率を優先し、複数枚のフレームのデータを蓄積及び並べ替えを行ったうえで符号化する。

他方、エンハンスメントレイヤに適用する第２モードは、副映像付き映像信号を符号化する際に映像フレームの並べ替えを行わない低遅延モードである。例えば、符号化部１２は、映像フレームの並べ替えを行わず、並列化処理を用いて数十ミリ秒以内の遅延で符号化を行う。

送信部１３は、符号化部１２が出力するベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームを、伝送路を介して送信する。伝送路については、例えばベースレイヤの符号化ストリーム及びすべてのエンハンスメントレイヤの符号化ストリームを放送電波やネットワークを用いた同一経路で伝送してもよいし、一部の符号化ストリームを放送波で伝送しつつ残りの符号化ストリームをネットワークで伝送するというように異経路で伝送してもよい。

送信部１３は、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームを多重化する多重化部１３ａを有する。多重化部１３ａは、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームのそれぞれにサービス識別用の識別子を付与し、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）－２／４ Ｔｒａｎｓｐｏｒｔ ｓｔｒｅａｍ（ＴＳ）やＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ（ＭＭＴ）、ＭＰＥＧ Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ（ＤＡＳＨ）等のメディア伝送機能を用いて複数の符号化ストリームを同期して伝送する。なお、ＭＰＥＧ－２／４ ＴＳやＭＭＴ、ＤＡＳＨを例に挙げたが、ＭＰＥＧ－２／４ ＴＳやＭＭＴ、ＤＡＳＨに限定されるものではなく、他のメディア伝送機能を用いてもよい。

図２は、本実施形態に係る符号化部１２の構成例を示す図である。図２に示すように、符号化部１２は、ベースレイヤ符号化を行うベースレイヤ符号化部１２１と、上位レイヤに相当する符号化を行うエンハンスメントレイヤ符号化部１２２とを有する。

ベースレイヤ符号化部１２１は、フレーム並べ替え部１２１１と、符号化処理部１２１ａと、エントロピー符号化部１２１ｂと、復号処理部１２１ｃと、ＤＰＢ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）１２１ｄとを有する。

フレーム並べ替え部１２１１は、主映像サービスの映像信号に含まれる映像フレームを蓄積及び並べ替えをしたうえで符号化処理部１２１ａに出力する。具体的には、フレーム並べ替え部１２１１は、符号化処理部１２１ａが効率的にフレーム間予測を行うように映像フレームを並べ替える。

符号化処理部１２１ａは、主映像サービスの映像信号の映像フレーム（原画像）についてＤＰＢ１２１ｄを参照して予測処理を行い、予測画像と原画像との差分である予測残差を変換及び量子化し、量子化された変換係数を出力する。また、符号化処理部１２１ａは、予測処理に関する情報（例えば動きベクトル情報）などを符号化制御情報としてエンハンスメントレイヤ符号化部１２２に出力する。

エントロピー符号化部１２１ｂは、符号化処理部１２１ａが出力する量子化変換係数や動きベクトル情報など符号化情報に対してエントロピー符号化処理を行い、ベースレイヤの符号化ストリーム（ビットストリーム）を出力する。

復号処理部１２１ｃは、符号化処理部１２１ａが出力する量子化変換係数を逆量子化及び逆変換して予測残差を復元し、動きベクトル情報などの符号化制御情報を用いて復元された予測画像及び予測残差を合成して原画像を復元（復号）し、復号画像をＤＰＢ１２１ｄ及び符号化処理部１２１ａに出力する。

ＤＰＢ１２１ｄは、復号処理部１２１ｃが出力する復号画像を格納する。ＤＰＢ１２１ｄが出力する復号画像は、予測参照画像として符号化処理部１２１ａにおける予測処理に用いられる。また、ＤＰＢ１２１ｄは、復号画像を符号化処理部１２２ａで用いる予測参照信号の一つとしてエンハンスメントレイヤ符号化部１２２に出力する。

エンハンスメントレイヤ符号化部１２２は、ベースレイヤ符号化部１２１と同様に、符号化処理部１２２ａと、エントロピー符号化部１２２ｂと、復号処理部１２２ｃと、ＤＰＢ１２２ｄとを有する。

ＤＰＢ１２２ｄは、ベースレイヤ符号化部１２１のＤＰＢ１２１ｄが出力する復号画像と復号処理部１２２ｃの出力する復号画像とを、エンハンスメントレイヤの予測参照画像として格納する。

符号化処理部１２２ａは、副映像付き映像信号の映像フレームについてＤＰＢ１２２ｄを参照して予測処理を行い、予測画像と原画像との差分である予測残差を変換及び量子化し、量子化された変換係数を出力する。ここで、符号化処理部１２２ａは、ベースレイヤ符号化部１２１が出力する符号化制御情報（例えば動きベクトル情報や復号画像など）を予測処理に用いる。

エントロピー符号化部１２２ｂは、符号化処理部１２２ａが出力する量子化変換係数や動きベクトル情報など符号化情報に対してエントロピー符号化処理を行い、エンハンスメントレイヤの符号化ストリーム（ビットストリーム）を出力する。

復号処理部１２２ｃは、符号化処理部１２２ａが出力する量子化変換係数を逆量子化及び逆変換して予測残差を復元し、動きベクトル情報などの符号化制御情報を用いて復元された予測画像及び予測残差を合成して原画像を復元（復号）し、復号画像をＤＰＢ１２２ｄに出力する。

このように、エンハンスメントレイヤ符号化部１２２は、ベースレイヤの復号画像も予測処理に使用し、この復号画像と副映像付き映像信号との差分（予測残差）を符号化する処理を行う。このため、ベースレイヤの符号化された映像を復号した映像と原画像との差分信号をエンハンスメントレイヤで符号化する処理となり、一般的には符号化劣化を補償する信号を符号化する。本実施形態では、敢えてエンハンスメントレイヤにベースレイヤの映像と異なる字幕を付与した信号を用いることにより、字幕部分は差分に相当するため、字幕部分をエンハンスメントレイヤのみで符号化することになる。

なお、本実施形態のように、ベースレイヤとエンハンスメントレイヤとで同じ解像度の映像を符号化するマルチレイヤ符号化は、一般的にはベースレイヤに生じる符号化劣化を補償する情報をエンハンスメントレイヤとして符号化し、それぞれのレイヤで符号化品質が異なることから、品質の異なる信号を伝送するＳＮＲ（Ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏｎ）スケーラブル符号化と呼ばれることがある。ＳＮＲスケーラブルの構成であれば、同解像度のエンハンスメントレイヤをベースレイヤに重ねた映像を受信側に提供できる。但し、本実施形態では、エンハンスメントレイヤにおいて、ベースレイヤが符号化する映像信号とは異なる副映像付き映像信号を符号化する点で、一般的なＳＮＲスケーラブル符号化とは異なる。

本実施形態では、ベースレイヤ符号化部１２１はフレーム並べ替え処理を行うが、エンハンスメントレイヤ符号化部１２２はフレーム並べ替え処理を行わない。このため、ベースレイヤとエンハンスメントレイヤとで映像フレームの対応関係が異なるものになる。よって、エンハンスメントレイヤ符号化部１２２において、重畳された映像部分である字幕部分以外はエンハンスメントレイヤの符号化においてベースレイヤをコピーする（差分を送らない）ように符号化処理を制御するという制約を付す。言い換えると、符号化部１２は、エンハンスメントレイヤでの符号化において、副映像付き映像信号の映像フレームに含まれる副映像領域以外の領域を、同位置のベースレイヤをコピーする領域とするように符号化処理を制御する。

図３は、本実施形態に係る送信装置１０の動作の具体例を示す図である。

図３（ａ）に示すように、主映像サービスの映像信号に含まれる映像フレームが重畳部１１及び符号化部１２に入力される。図３（ｂ）に示すように、重畳部１１は、入力された映像フレームに対して、副映像サービスとしての緊急速報サービスの字幕（災害用テロップ）を重畳する。図３（ｂ）では、緊急速報サービスが緊急地震速報である一例を示している。このような字幕の領域を字幕領域と呼ぶ。重畳部１１は、図３（ｂ）に示す字幕付き映像フレームを符号化部１２に出力する。

符号化部１２において、ベースレイヤ符号化部１２１は、図３（ａ）に示す映像フレームを符号化する。エンハンスメントレイヤ符号化部１２２は、図３（ｂ）に示す字幕付き映像フレームを符号化する。ここで、エンハンスメントレイヤ符号化部１２２は、図３（ｃ）に示すように、エンハンスメントレイヤでの符号化において、字幕付き映像フレームに含まれる字幕領域（副映像領域）以外の領域を、ベースレイヤをコピーする領域（同位置のベースレイヤを参照し、差分を送らない領域）とするように符号化処理を制御する。

ただし、通常、マルチレイヤで符号化する場合は、ベースレイヤ及びエンハンスメントレイヤで映像フレームの対応関係を同じにするために、ベースレイヤ及びエンハンスメントレイヤのそれぞれについて並べ替え処理を行うが、本実施形態では、エンハンスメントレイヤを低遅延モードで符号化し、ベースレイヤを符号化効率優先モードで符号化する。

図４は、従来のマルチレイヤ符号化におけるフレーム参照関係を示す図である。図５は、本実施形態に係るマルチレイヤ符号化におけるフレーム参照関係を示す図である。図４及び図５において、ベースレイヤの低階層フレームの間隔“Ｍ”が４である一例を示している。また、矢印は参照関係を表しており、例えばベースレイヤの第３フレーム目は第２、４フレームを参照している例を示している。

図４に示すように、ベースレイヤでは、符号化対象の映像フレームの時間的に前の映像フレームや後の映像フレームを参照して符号化対象の映像フレームを符号化するために並べ替えを行う。具体的には、表示順の０番目フレームの次に、４番目フレームを符号化し、その後、２番目フレーム、１番目フレーム、３番目フレームの順に符号化していく。

エンハンスメントレイヤでは、エンハンスメントレイヤの符号化対象の映像フレームに対応する映像フレームがベースレイヤで符号化されるのを待って符号化対象の映像フレームを符号化する。ここで、エンハンスメントレイヤの符号化対象の映像フレームの参照先フレームは、ベースレイヤにおいて同じ番号（同じ時刻）の映像フレームである。同じ時刻の映像フレームに対してベースレイヤの復号映像と符号化前の映像の差分信号を符号化することによって、ベースレイヤの劣化を補償する信号をエンハンスメントレイヤとして符号化する。

これに対し、本実施形態では、エンハンスメントレイヤでの符号化において、字幕付き映像信号の映像フレームに含まれる字幕領域以外の領域を、ベースレイヤをコピーする領域とするように符号化処理を制御するため、エンハンスメントレイヤの符号化対象の映像フレームの参照先フレームを、ベースレイヤにおいて異なる番号（異なる時刻）の映像フレームとすることができる。これにより、エンハンスメントレイヤの符号化対象の映像フレームに対応する映像フレームがベースレイヤで符号化されるのを待たずに、エンハンスメントレイヤの符号化対象の映像フレームを符号化できるため、並べ替えを行わずに低遅延での符号化が可能である。

図５に示すように、本実施形態に係るベースレイヤでは、第１に、表示順の－４番目フレームの次に、０番目フレームを符号化し、その後、－２番目フレーム、－１番目フレーム、－３番目フレームの順に符号化していく。第２に、表示順の０番目フレームの次に、４番目フレームを符号化し、その後、２番目フレーム、１番目フレーム、３番目フレームの順に符号化していく。

本実施形態に係るエンハンスメントレイヤでは、ベースレイヤのような並べ替えを行わずに映像フレームを表示順に符号化する。このため、エンハンスメントレイヤの符号化対象の映像フレームの参照先フレームは、ベースレイヤにおいて異なる番号（異なる時刻）の映像フレームになり得る。具体的には、エンハンスメントレイヤの１番目フレームはベースレイヤの－２番目フレームを参照先とし、エンハンスメントレイヤの２番目フレームはベースレイヤの－３番目フレームを参照先とし、エンハンスメントレイヤの３番目フレームはベースレイヤの－１番目フレームを参照先としている。

図６は、各フレームの符号化タイミング及び本実施形態による重畳映像（上乗せ映像）の出力タイミング、及び比較のために従来方法による重畳映像のタイミングを示す図である。

図６に示すように、従来のベースレイヤ映像に重畳した場合はＭ＋１フレームの並べ替えによる遅延が生じるが、本実施形態では２フレームの遅延で重畳が実現できることがわかる。例えば、６０ｆｐｓの映像信号の場合、１フレーム時間は１／６０秒≒１７ｍｓｅｃであるため、符号化処理時間を無視すると、一般的な放送では符号化効率優先モードではＭ＝３２などが用いられるため５５０ｍｓｅｃの遅延が生じるが、３３ｍｓｅｃの遅延で重畳が実現可能となる。

なお、既存の低遅延技術を用いたＨＥＶＣ符号化では数１０ｍｓｅｃで符号化可能であることから、エンハンスメントレイヤの符号化において、これらの低遅延符号化を併用することによって１００ｍｓｅｃ以下の遅延で符号化が可能となると考えられる。

（受信装置）
次に、本実施形態に係る受信装置について説明する。図７は、本実施形態に係る受信装置２０の構成を示す図である。

図７に示すように、受信装置２０は、受信部２１と、選択部２２と、抽出部２３と、復号部２４とを有する。

受信部２１は、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームを送信装置１０から伝送路を介して受信し、受信した各符号化ストリームを抽出部２３に出力する。

選択部２２は、視聴者からの操作に基づいて、再生するべき符号化ストリームを選択（選局）し、選択した符号化ストリームを示す識別子を制御情報として抽出部２３に出力する。

抽出部２３は、選択部２２が出力する制御情報が示す識別子に基づいて、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームの中から、所望の符号化ストリームを抽出し、抽出した符号化ストリームを復号部２４に出力する。

抽出部２３は、副映像サービスの映像再生が選択部２２により選択されない場合、ベースレイヤの符号化ストリームのみを抽出し、ベースレイヤの符号化ストリームのみを復号部２４に出力する。他方、抽出部２３は、副映像サービスの映像再生が選択部２２により選択された場合、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームを抽出し、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームを復号部２４に出力する。

復号部２４は、副映像サービスの映像再生が選択部２２により選択されない場合、抽出部２３が出力するベースレイヤの符号化ストリームから主映像サービスの映像信号を復号（再生）し、復号した映像信号を出力する。

他方、復号部２４は、副映像サービスの映像再生が選択部２２により選択された場合、ベースレイヤの符号化ストリームから主映像サービスの映像信号を復号するとともに、この映像信号とエンハンスメントレイヤの符号化ストリームとから、副映像サービスの副映像信号が重畳された副映像付き映像信号を復号する。ここで、復号部２４は、ベースレイヤでの復号において映像信号を符号化効率優先モード（第１モード）で復号し、エンハンスメントレイヤでの復号において、符号化効率優先モード（第１モード）に比べて復号処理遅延が小さい低遅延モード（第２モード）で副映像付き映像信号を復号する。

上述のように、符号化効率優先モード（第１モード）は、ベースレイヤの映像信号を復号する際に映像フレームの並べ替えを行うモードである。低遅延モード（第２モード）は、エンハンスメントレイヤの副映像付き映像信号を復号する際に映像フレームの並べ替えを行わないモードである。

復号部２４は、エンハンスメントレイヤでの復号において、副映像付き映像信号の映像フレームに含まれる副映像領域（例えば、上述の字幕領域）以外の領域を、ベースレイヤをコピーする領域とするように復号処理を制御する。

（作用・効果）
本実施形態に係る映像伝送システムによれば、緊急地震速報など緊急性の高い重畳情報を素早く提示することがデジタル放送で実現することができる。

従来の放送におけるテロップ（字幕）は、放送サービスの中では正常な受信装置であれば確実に想定通りの映像として表示可能であることから、確実に情報を伝える手段として映像サービスに重畳して送られる。具体的には、送出側において、サービスしている映像の一部に対して映像処理によって文字や図を付加し、放送されている符号化モード（この場合、プロファイルや予測構造）を変更することなく伝送を行うため、高度な圧縮、伝送処理を経るため遅延を伴って受信側に届けられる。符号化モードを無理に符号化の処理の途中で変更し、低遅延な処理モードに変更して伝送を行うと、受信側はモード変更に伴う初期化処理を行わなければならないため、伝送に伴う符号化遅延以上の遅延を発生してしまうため、そのような手法は用いない。そのため、遅延量を減らすことができず、テロップの受信側での表示に１，２秒の遅延が生じている。

これに対し、本実施形態では、主映像サービスの映像をベースレイヤとして伝送しつつ、テロップ（字幕）が重畳された映像をエンハンスメントレイヤとして伝送し、かつ、エンハンスメントレイヤの符号化モードとして低遅延モードを用いることにより、マルチレイヤ符号化技術を活用して従来よりも低遅延の映像配信を実現できる。この場合、ベースレイヤとエンハンスメントレイヤとで映像フレームの対応関係に不一致が生じ得るが、テロップ（字幕領域）以外の領域についてはベースレイヤをコピーする領域とすることで、テロップが重畳された映像を復号・再生可能としている。

（その他の実施形態）
上述の実施形態において、送信装置１０が重畳部１１を有していたが、送信装置１０が重畳部１１を有しない構成としてもよい。図８は、送信装置１０の変更例を示す図である。

図８に示す送信装置１０は、図１の重畳部１１を省略した構成であって、字幕映像等の副映像信号を符号化部１２の入力とする。符号化部１２は、副映像信号における字幕領域以外の領域がゼロ（あるいは所定の値）であることから、字幕領域を検出できる。符号化部１２は、字幕領域以外においてはベースレイヤを参照する領域として符号化し、字幕領域のみを符号化することでエンハンスメントレイヤを低遅延モードで符号化する（上述の実施形態と同じ）。これにより、重畳部１１を用いることなく、上述の実施形態と同様の効果を得ることができる。

上述の実施形態において、副映像サービスが緊急速報サービスである一例について説明した。しかしながら、副映像サービスは、低遅延が要求される映像サービスであればどのようなものであってもよく、例えば、時報サービスであってもよい。

送信装置１０が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。同様に、受信装置２０が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

送信装置１０が行う各処理を実行する回路を集積化し、送信装置１０を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。同様に、受信装置２０が行う各処理を実行する回路を集積化し、受信装置２０を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１０ ：送信装置
１１ ：重畳部
１２ ：符号化部
１３ ：送信部
１３ａ ：多重化部
２０ ：受信装置
２１ ：受信部
２２ ：選択部
２３ ：抽出部
２４ ：復号部
１２１ ：ベースレイヤ符号化部
１２１ａ ：符号化処理部
１２１ｂ ：エントロピー符号化部
１２１ｃ ：復号処理部
１２１ｄ ：ＤＰＢ
１２２ ：エンハンスメントレイヤ符号化部
１２２ａ ：符号化処理部
１２２ｂ ：エントロピー符号化部
１２２ｃ ：復号処理部
１２２ｄ ：ＤＰＢ
１２１１ ：フレーム並べ替え部

Claims (10)

1. 映像伝送システムのための送信装置であって、
   マルチレイヤ符号化技術を用いて、主映像サービスの映像信号をベースレイヤとして符号化するとともに、副映像サービスの副映像信号をエンハンスメントレイヤとして符号化する符号化部と、
   前記符号化部が出力する前記ベースレイヤ及び前記エンハンスメントレイヤのそれぞれの符号化ストリームを送信する送信部と、を備え、
   前記符号化部は、
   前記ベースレイヤでの符号化において、前記映像信号を第１モードで符号化し、
   前記エンハンスメントレイヤでの符号化において、前記第１モードに比べて符号化処理遅延が小さい第２モードで前記副映像信号を符号化することを特徴とする送信装置。
2. 前記主映像サービスの映像信号に対して前記副映像サービスの副映像信号を重畳する重畳部をさらに備え、
   前記符号化部は、前記エンハンスメントレイヤでの符号化において、前記重畳部が出力する副映像付き映像信号を前記副映像信号として前記第２モードで符号化することを特徴とする請求項１に記載の送信装置。
3. 前記第１モードは、前記映像信号を符号化する際に映像フレームの並べ替えを行う符号化効率優先モードであり、
   前記第２モードは、前記副映像信号を符号化する際に映像フレームの並べ替えを行わない低遅延モードであることを特徴とする請求項１又は２に記載の送信装置。
4. 前記符号化部は、前記エンハンスメントレイヤでの符号化において、前記副映像信号の映像フレームに含まれる副映像領域以外の領域を、前記ベースレイヤをコピーする領域とするように符号化処理を制御することを特徴とする請求項１乃至３のいずれか１項に記載の送信装置。
5. 前記副映像サービスは、緊急速報サービス又は時報サービスであることを特徴とする請求項１乃至４のいずれか１項に記載の送信装置。
6. マルチレイヤ符号化技術を用いる映像伝送システムのための受信装置であって、
   ベースレイヤ及びエンハンスメントレイヤのそれぞれの符号化ストリームを受信する受信部と、
   前記ベースレイヤの符号化ストリームから主映像サービスの映像信号を復号するとともに、前記エンハンスメントレイヤの符号化ストリームから副映像サービスの副映像信号を復号する復号部と、を備え、
   前記復号部は、
   前記ベースレイヤでの復号において、前記映像信号を第１モードで復号し、
   前記エンハンスメントレイヤでの復号において、前記第１モードに比べて復号処理遅延が小さい第２モードで前記副映像信号を復号することを特徴とする受信装置。
7. 前記復号部は、前記映像信号と前記エンハンスメントレイヤの符号化ストリームとから、前記副映像信号が前記映像信号に重畳された副映像付き映像信号を復号することを特徴とする請求項６に記載の受信装置。
8. 前記第１モードは、前記映像信号を復号する際に映像フレームの並べ替えを行う符号化効率優先モードであり、
   前記第２モードは、前記副映像信号を復号する際に映像フレームの並べ替えを行わない低遅延モードであることを特徴とする請求項６又は７に記載の受信装置。
9. 前記復号部は、前記エンハンスメントレイヤでの復号において、前記副映像信号の映像フレームに含まれる副映像領域以外の領域を、前記ベースレイヤをコピーする領域とするように復号処理を制御することを特徴とする請求項６乃至８のいずれか１項に記載の受信装置。
10. 前記副映像サービスは、緊急速報サービス又は時報サービスであることを特徴とする請求項６乃至９のいずれか１項に記載の受信装置。

Images