JP2008131321A

JP2008131321A - 映像伝送方法，映像伝送プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP2008131321A
Application number: JP2006313708A
Authority: JP
Inventors: Masayuki Inoue; 雅之井上; Shigetaro Iwazu; 茂太郎岩津
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2006-11-21
Filing date: 2006-11-21
Publication date: 2008-06-05

Abstract

【課題】大画面超高精細映像の映像信号を本来の映像ビットレートよりも小さいビットレートで伝送し，かつ視覚的な品質の劣化を抑える。
【解決手段】映像送信装置１は，スケーラブル符号化された基本レイヤと拡張レイヤのビットストリームの符号量が伝送路３の伝送容量の範囲内に収まるように，拡張レイヤのビットストリーム部分をカットし，カット後の映像ストリームを映像受信装置２へ送信する。映像受信装置２では，受信した映像ストリームをスケーラブル復号して表示装置４に表示する。また，映像受信装置２は，注視点検出器５により表示装置の表示画面におけるユーザの注視点位置を検出し，その検出した注視点位置の情報を映像送信装置１へ送信する。映像送信装置１では，注視点近傍のマクロブロックを，他のマクロブロックよりも高品質となるように拡張レイヤの符号化を行い，伝送容量の範囲内で切り出して送信する。
【選択図】図１

Description

本発明は，大画面超高精細映像の映像伝送技術に関し，特に低いビットレートでも視覚的な品質が劣化しないようにした映像伝送方法に関するものである。

高臨場感システムを実現するために，スーパーハイビジョンと呼ばれる大画面超高精細映像放送の研究が進められている。従来の技術では，非特許文献１，非特許文献２に示されるように，スーパーハイビジョン映像信号を，ＭＰＥＧ２をベースに符号化すると１８０〜６００Ｍｂｐｓ必要となる。

なお，スーパーハイビジョン映像信号の伝送に直接関係する技術ではないが，一つのビットストリーム（符号化データ）から複数のレートのビットストリームを取り出せるようなスケーラブル符号化において，基本レイヤにＭＰＥＧ−４ＡＳＰ（Advanced Simple Profile ），拡張レイヤにＭＰＥＧ−４ＦＧＳ（Fine Granurality Scalable Profile ）を用い，ビットプレーンシフト法と呼ぶ技術により，主観品質に寄与する領域を優先的に上位のビットプレーンにシフトし，低いレートでビットストリームが切り出された場合でも，主観的な品質の劣化を抑制する技術が，非特許文献３に記載されている。

また，非特許文献４には，多地点通信会議システムにおけるＲＯＩスケーラビリティ利用イメージが示されており，ここでは，一つの符号化データから任意の大きさの符号化データを取り出す技術を用いて，ユーザが受信帯域や視聴領域を自由に指定できる多地点通信会議システムを実現した技術が紹介されている。
展示番号７：「スーパーハイビジョンシステム」，平成１８年度ＮＨＫ技研公開展示資料，p.14，2006. 展示番号９：「スーパーハイビジョン放送」，平成１８年度ＮＨＫ技研公開展示資料，p.16，2006. 秦泉寺久美，中嶋淳一，上倉一人，八島由幸：「ＤＣＴ係数を用いた主観品質に寄与する特徴の推定とＭＰＥＧ−４スケーラブル符号化への適用」，通信学会論文誌Ｄ-II ，Vol.J87-D-II，No.9，pp.1765-1776，2004. 日本電信電話株式会杜：標準テレビ品質の映像をリアルタイムに処理可能なスケーラブル映像ソフトウェアＣＯＤＥＣを開発，［ｏｎｌｉｎｅ］，2004年10月25日，インターネット＜ＵＲＬ：http://www.ntt.co.jp/news/news04/0410/041025a.html＞

従来技術では，例えばスーパーハイビジョン映像信号の映像伝送のような大画面映像の伝送において，以下の問題がある。上述のように，スーパーハイビジョン映像信号をＭＰＥＧ２をベースに符号化すると１８０〜６００Ｍｂｐｓ必要となる。したがって，現在普及しつつある最大１００Ｍｂｐｓの光回線を用いて，スーパーハイビジョンの映像伝送は不可能であるといった問題がある。

本発明は上記問題点の解決を図り，本来必要なビットレートよりも低いビットレートでも，大画面映像信号を視覚的に不自然さを感じさせないように伝送する技術を提供することを目的とする。

前記目的達成のために，本発明では，ユーザが大画面の映像の全ての領域に注視できないことを利用し，注視点検出技術と映像の注目領域部分の高品質化の技術を組み合わせることで，注視点の近傍の映像部分を注目領域部分と解釈するという工夫をすることで，自然な形でユーザにスーパーハイビジョン映像を効率的に伝送することを可能とする。

すなわち，スーパーハイビジョン映像のような，既存の伝送路の伝送容量に対して映像ビットレートが大きい大画面映像の伝送において，注視点検出器とスケーラブル符号化における特定領域の高画質化技術とを利用し，通常の箇所は低ビットレートで伝送し，ユーザが着目ている箇所だけを高いビットレートで送る。

具体的には，本発明は，映像送信装置が，スケーラブル映像符号化器により，スケーラブル符号化された基本レイヤと拡張レイヤのビットストリームの符号量が伝送路の伝送容量の範囲内に収まるように，拡張レイヤのビットストリーム部分をカットし，カット後の映像ストリームを映像受信装置へ送信する。映像受信装置では，スケーラブル映像復号器により，受信した映像ストリームをスケーラブル復号して表示装置に映像を表示する。また，映像受信装置は，注視点検出器により，表示装置の表示画面におけるユーザの注視点位置を検出し，その検出した注視点位置の情報を映像送信装置へ送信する。映像送信装置では，受信した注視点位置の情報に基づき，スケーラブル映像符号化器によるスケーラブル符号化において，注視点を含むマクロブロックとその近傍のマクロブロック群が，他のマクロブロック群よりも高品質となるように拡張レイヤを符号化する。その符号化されたビットストリームについて，伝送可能な符号量の分だけ切り出し，映像受信装置に送信する。以上の処理を繰り返す。

また，本発明は，映像受信装置が，あらかじめ分類された注視点を含むマクロブロックに対してその近傍の高品質化対象となるマクロブロック群を定める複数のマクロブロックタイプの中から一つのマクロブロックタイプを選択し，その選択されたマクロブロックタイプの情報を注視点位置の情報とともに，映像送信装置へ送信するようにしてもよい。こうすれば，高品質化する注視領域の部分の形状，またはさらに大きさを任意に選択することができる。

現在普及しつつある最大１００Ｍｂｐｓの光回線を用いて，スーパーハイビジョンの映像伝送は不可能であるといった問題があったが，本発明により，ユーザが大画面の映像の全ての領域に注視できないことを利用し，注視点検出技術と映像の注目領域部分の高品質化の技術を組み合わせることで，注視点の近傍の映像部分を注目領域部分と解釈するという工夫をすることで，自然な形でユーザにスーパーハイビジョン映像のような大画面映像を効率的に伝送することが可能となる。

以下，スーパーハイビジョン映像（非特許文献１，２参照）を対象として，既存の注視点検出技術と，ＭＰＥＧ４ＦＧＳにおけるSelective Enhancement の注目領域高画質化技術（非特許文献３，４参照）を用いた場合の本発明の実施の形態を説明する。

図１は，本発明のシステム構成例を示す図である。本システムでは，映像送信装置１から映像受信装置２へ伝送路３を用いて映像符号化ストリームを伝送する。映像送信装置１は，スケーラブル映像符号化器１０を備え，これにより映像源の映像信号をスケーラブル符号化した映像符号化ストリームを生成し，伝送路３に送り出す。映像受信装置２は，スケーラブル映像復号器２０を備え，受信した映像符号化ストリームを復号し，復号した映像信号を表示装置４へ出力し表示する。

映像受信装置２には，注視点検出器５が接続され，注視点検出器５は，ユーザが表示装置４の画面のどの領域を注視しているかを検出する。注視点検出器５は，眼球運動測定装置もしくはアイカメラと呼ばれる装置であり，視線の動きを検出することができる装置である（参考文献１：竹井機器工業株式会杜：眼球運動測定装置，［ｏｎｌｉｎｅ］，インターネット＜ＵＲＬ：http://www007.upp.so-net.ne.jp/tkk/product/eyeball/eyeball＿index.htm ＞）。

映像受信装置２は，注視点検出器５により検出した注視点の領域情報を映像送信装置１へ送る。映像送信装置１のスケーラブル映像符号化器１０は，映像受信装置２から送られたきた注視点の近傍の画像だけを，非特許文献３，４に示されるような注目領域高画質化技術を用いた符号化により高画質化して映像受信装置２へ送る。

高画質化する注視点を含む領域の大きさおよび形状は，あらかじめ定められたいくつかのマクロブロックタイプの中から選定される。すなわち，注視点を中心とする近傍の領域を定めるマクロブロック群は，あらかじめタイプ別に分類されており，映像受信装置２において，そのマクロブロックタイプの一つが選択されると，映像受信装置２から注視点の座標情報とともに，選択されたマクロブロックタイプの情報が映像送信装置１へ送られる。スケーラブル映像符号化器１０は，注視点の座標情報と指定されたマクロブロックタイプとから，符号化する各マクロブロックが注視領域に属するか注視領域以外かを判断し，高品質化対象マクロブロックかそれ以外のマクロブロックかを決めて，符号化処理を実行する。

例えば，横７６８０×縦４３２０画素のスーパーハイビジョン映像を１８０Ｍｂｐｓに圧縮した映像信号を，有効回線帯域１００Ｍｂｐｓの伝送路３を用いて伝送する場合を想定すると，単純に伝送することは不可能である。

そこで，スケーラブル映像符号化器１０は，まず基本レイヤを５０Ｍｂｐｓで符号化し，５０ＭｂｐｓのビットレートをＦＧＳ部分に割り当て，注視点の近傍のみ高品質化することを以下のように行う。なお，通常の映像符号化では，マクロブロック単位で符号化が行われるが，横７６８０×縦４３２０画素のスーパーハイビジョン映像を１６×１６画素に分割すると，４８０×２７０個のマクロブロックができる。

図２に，ＦＧＳレイヤにおける注視点領域の高品質化フロー図を示す。まず，映像受信側において，注視点検出器５により注視点の検出を行う（ステップＳ１）。次に，注視点を含むマクロブロックを選定する（ステップＳ２）。すなわち，注視点の画面位置情報から注視点を含むマクロブロックのマクロブロック番号を決定する。次に，高品質化対象マクロブロックタイプを選択する（ステップＳ３）。

図３に，高品質化対象マクロブロックタイプの例を示す。この例では，タイプＡ，タイプＢ，タイプＣの３タイプが定義されている。タイプＡは，図３（Ａ）に示すように長方形型であり，注視点を含むマクロブロックに対して，上Ｋ，下Ｌ，左Ｍ，右Ｎブロック以内を高品質化対象マクロブロックとするタイプである。タイプＢは，図３（Ｂ）に示すようにダイヤモンド型であり，注視点を含むマクロブロックに対して，上Ｋ，下Ｌ，左Ｍ，右Ｎブロック目のブロック重心点を結ぶ四角形領域を含むマクロブロックを高品質化対象マクロブロックとするタイプである。タイプＣは，図３（Ｃ）に示すように円型であり，注視点を含むマクロブロック重心点から半径Ｒの円領域を含むマクロブロックを高品質化対象マクロブロックとするタイプである。

高品質化対象マクロブロックタイプの選択は，映像受信装置２のユーザから入力装置により入力して行ってもよいし，映像受信装置２（または映像送信装置１）にあらかじめ設定しておくことにより行ってもよい。また，図３に示すＫ，Ｌ，Ｍ，ＮまたはＲのような注視領域の大きさを定めるパラメータを，ユーザから入力するようにしてもよい。

また，図３に示すＫ，Ｌ，Ｍ，ＮまたはＲのような注視領域の大きさを定めるパラメータを含めて，マクロブロックタイプを定義してもよい。この場合，例えば同じ円型のタイプＣであっても，Ｒ＝１０の場合とＲ＝２０の場合とでは，異なるマクロブロックタイプ（例えばタイプＣ１，タイプＣ２）として扱われる。

映像受信装置２は，ステップＳ２で選定したマクロブロック番号の注視点情報と，ステップＳ３で選択したマクロブロックタイプ情報を，映像送信装置１のスケーラブル映像符号化器１０へ送る（ステップＳ４）。マイクブロックタイプ情報は，タイプＡ，Ｂ，Ｃの種類を示す情報であるが，さらに前述のようにＫ，Ｌ，Ｍ，ＮまたはＲのような注視領域の大きさを定めるパラメータを含んでいてもよい。スケーラブル映像符号化器１０が，デフォルトのマクロブロックタイプ情報を用いる場合には，映像受信装置２からは注視点情報だけを送り，マクロブロックタイプ情報の送信は省略してもよい。

スケーラブル映像符号化器１０では，受信した注視点情報とマクロブロックタイプ情報とから，高品質化対象マクロブロックを選定する（ステップＳ５）。続いて，ＦＧＳレイヤ（拡張レイヤ）の符号化時に，選定した高品質化対象マクロブロックのビットプレーンを上位ビットプレーンへシフトし符号化する（ステップＳ６）。最後に，ＦＧＳレイヤに割り当てられた符号化ビットを，最上位ビットから符号量の上限分切り出して伝送する。すなわち，ビットレートが５０Ｍｂｐｓに達するまで最上位ビットから順番に符号化ビットを伝送する（ステップＳ７）。以上の処理を，映像の伝送が終了するまで繰り返す。

図４は，本実施の形態で用いるスケーラブル映像符号化器１０の構成例を示す。スケーラブル映像符号化器１０において，符号量上限入力部１１は，回線帯域に応じて伝送可能な映像符号量の上限値の入力を行う。映像信号入力部１２は，カメラ等の映像源から映像信号を入力する手段である。

スケーラブル映像符号化部１３は，映像信号入力部１２が入力した映像信号を，例えば基本レイヤにＭＰＥＧ−４ＡＳＰ，拡張レイヤにＭＰＥＧ−４ＦＧＳの符号化方式を用いて，スケーラブル符号化する。ビットプレーンシフト部１４は，注視領域のマクロブロックをビットプレーンシフトする。

符号量制御部１５は，基本レイヤの符号化ビットを送信するとともに，拡張レイヤを上位ビットプレーンから送信し，符号量上限入力部１１が入力した符号量の上限値に達した段階で，拡張レイヤの送信を停止する制御を行う。例えば，１００Ｍｂｐｓの回線帯域で３０フレーム／秒の場合，１フレーム当りの映像符号量は３．３Ｍｂｐｓとなり，フレーム毎に，基本レイヤと拡張（ＦＧＳ）レイヤとの符号量の合計が，３．３Ｍｂｐｓを超えないように，映像符号化ストリームの送信制御を行う。映像ストリーム送信部１６は，符号量制御部１５により制御された映像符号化ストリームを，スケーラブル映像復号器２０を備える映像受信装置２へ送信する。

ビットプレーンシフト要求受信部１７は，スケーラブル映像復号器２０から注視領域を高品質化するためのビットプレーンシフト要求を受信する。例えば，ビットプレーンシフト要求に含まれる情報として，注視点を含むマクロブロックの番号または注視点座標位置の情報，マクロブロックタイプ，また必要に応じて注視領域のサイズを定めるパラメータＫ，Ｌ，Ｍ，ＮまたはＲの情報がある。高品質化対象マクロブロック計算部１８は，ビットプレーンシフト要求受信部１７が受信した情報をもとに，図３に示すマクロブロックタイプに従って，どの符号化対象マクロブロックが高品質対象マクロブロックかを計算し，高品質対象マクロブロックに対するビットプレーンシフトを，ビットプレーンシフト部１４に指示する。なお，このビットプレーンシフトによる特定領域の画像の高品質化の原理は，例えば非特許文献３に記載されているので，ここでの詳しい説明は省略する。

図５は，本実施の形態で用いるスケーラブル映像復号器２０の構成例を示す。スケーラブル映像復号器２０において，マクロブロックタイプ入力部２１は，例えば映像受信装置２のユーザから図３に示すマイクブロックタイプ，および必要に応じて注視領域のサイズを定めるパラメータＫ，Ｌ，Ｍ，ＮまたはＲを入力する。ユーザからマクロブロックタイプまたはパラメータが入力されなかった場合には，あらかじめ設定されたマクロブロックタイプおよびパラメータのデフォルト値とする。

映像ストリーム受信部２２は，スケーラブル映像符号化器１０から送信された映像ストリームの受信を行う。受信した映像ストリームは，映像復号部２３へ送られ，映像復号部２３は，映像ストリームの復号を行う。映像復号部２３の出力である映像信号は，表示装置４へ送られ，表示装置４に映像が表示される。

注視点受信部２４は，注視点検出器５から出力される表示装置４の映像表示画面における座標位置を受信する。ビットプレーンシフト要求部２５は，注視点受信部２４が受信した注視点座標位置またはその注視点座標位置から計算した注視点を含むマクロブロックの番号と，マクロブロックタイプ入力部２１が入力したマクロブロックタイプまたはさらにパラメータＫ，Ｌ，Ｍ，ＮもしくはＲの情報とを，スケーラブル映像符号化器１０へ送信することで，スケーラブル映像符号化器１０がどの部分のマクロブロック群をビットプレーンシフトすべきかが分かるように，ビットプレーンシフト要求を行う。

以上のように注視点検出技術と注目領域高画質化技術を組み合わせることによって，大画面映像を伝送する際に，ユーザが画面の全ての領域に注視できないことを利用し，注視点の近傍の画像のみを高画質化することが可能になる。これにより，本来必要となるビットレートよりも低いビットレートでも視覚的に良好な映像の表示が実現される。

また，上記の注目領域高画質化技術において，高品質化対象マクロブロックを選定する際に，注視点を含むマクロブロックの近傍をタイプ別に分類し，このタイプとパラメータによって規定される注視領域の形状およびサイズに応じてマクロブロックを選定することにより，ユーザにとって自然な形で高品質化された注視領域を含む映像を視聴させることができるようになる。

以上説明したスケーラブル映像符号化器１０およびスケーラブル映像復号器２０は，ハードウェアやファームウェアによって実現することができるとともに，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

本発明のシステム構成例を示す図である。ＦＧＳレイヤにおける注視点領域の高品質化フロー図である。高品質化対象マクロブロックタイプの例を示す図である。スケーラブル映像符号化器の構成例を示す図である。スケーラブル映像復号器の構成例を示す図である。

符号の説明

１映像送信装置
１０スケーラブル映像符号化器
２映像受信装置
２０スケーラブル映像復号器
３伝送路
４表示装置
５注視点検出器

Claims

スケーラブル映像符号化手段を有する映像送信装置からスケーラブル映像復号手段と注視点検出手段とを有する映像受信装置へ，映像ビットレートが伝送路の伝送容量よりも大きい映像を伝送する映像伝送方法であって，
前記映像送信装置が，前記スケーラブル映像符号化手段により，スケーラブル符号化された基本レイヤと拡張レイヤのビットストリームの符号量が前記伝送路の伝送容量の範囲内に収まるように，拡張レイヤのビットストリーム部分をカットし，カット後の映像ストリームを前記映像受信装置へ送信する過程と，
前記映像受信装置が，前記スケーラブル映像復号手段により，受信した映像ストリームをスケーラブル復号して表示装置に映像を表示する過程と，
前記映像受信装置が，前記注視点検出手段により，前記表示装置の表示画面におけるユーザの注視点位置を検出する過程と，
前記映像受信装置が，検出した注視点位置の情報を前記映像送信装置へ送信する過程と，
前記映像送信装置が，前記注視点位置の情報に基づき，前記スケーラブル映像符号化手段によるスケーラブル符号化において，前記注視点を含むマクロブロックとその近傍のマクロブロック群が，他のマクロブロック群よりも高品質となるように拡張レイヤを符号化する過程とを有する
ことを特徴とする映像伝送方法。
請求項１記載の映像伝送方法において，
前記映像受信装置が，あらかじめ分類された注視点を含むマクロブロックに対してその近傍の高品質化対象となるマクロブロック群を定める複数のマクロブロックタイプの中から一つのマクロブロックタイプを選択する過程と，
前記映像受信装置が，前記注視点位置の情報を前記映像送信装置へ送信する際に，選択されたマクロブロックタイプの情報を送信する過程とを有する
ことを特徴とする映像伝送方法。
請求項１または請求項２記載の映像伝送方法を，コンピュータに実行させるための映像伝送プログラム。
請求項１または請求項２記載の映像伝送方法を，コンピュータに実行させるための映像伝送プログラムを記録したコンピュータ読み取り可能な記録媒体。