JP2015231145A - 送信装置、受信装置及びこれらのプログラム - Google Patents

Abstract

【課題】伝送する符号化映像の画質を制御する送信装置、受信装置及びこれらのプログラムを提供する。
【解決手段】本発明の送信装置１は、符号化パラメータに応じて、入力された映像を所定の符号化処理により圧縮符号化し、映像ストリームを出力する映像符号化部１０と、当該映像ストリームの受信装置２にて指定される表示用映像領域を特定する注視領域情報について、当該映像ストリームを受信する１以上の受信装置２から受信し収集するＲＯＩ情報受信部１１と、１以上の受信装置２から収集した注視領域情報を集計するＲＯＩ情報集計部１２と、注視領域情報の集計値に基づき符号化パラメータの値を制御する符号化パラメータ制御部１３と、を備える。
【選択図】図１

Description

本発明は、映像符号化の制御に関し、特に、伝送する符号化映像の画質を制御する送信装置、受信装置及びこれらのプログラムに関する。

動画像を圧縮伝送する映像符号化技術においては、画質とビットレートを量子化パラメータの値によって制御することができる。この量子化パラメータは複数の映像フレームからなる動画像の場所毎（例えば、或る映像フレーム内の指定される映像領域毎）、時刻毎（例えば、映像フレーム毎）に制御することが可能である。

このような量子化パラメータを制御する技法として、画像内の特徴的な注視領域とそれ以外の領域とで量子化パラメータを変化させる技法（例えば、特許文献１参照）や、ズーム等のカメラワークを画像で判定して画像内の領域毎に量子化パラメータを変化させる技法（例えば、特許文献２参照）が開示されている。

また、符号化映像伝送装置により遠隔地にて撮影した映像を符号化・伝送させ、伝送路を介して放送局の符号化情報指示装置により伝送中継する際に、放送局の符号化情報指示装置は、その符号化映像を一旦、復号して映像領域のどこが重要かを指定し、重要として指定した当該映像領域の情報を符号化映像伝送装置に伝えて指示するように構成した映像中継システムが開示されている（例えば、特許文献３参照）。この技法では、当該符号化映像伝送装置は、放送局の符号化情報指示装置から重要として指定された映像領域の情報を基に、映像領域毎に符号量の配分を変化させることで当該重要な映像領域の画質が高くなるよう制御して符号化映像を生成し、放送局の符号化情報指示装置により中継させる。

一方、近年では、映像を視聴する装置として、スマートフォンやタブレットＰＣのようなタッチパネルディスプレイを搭載された端末がよく用いられる。

スマートフォンなどの端末においては、その通信機能を用いて要求した映像コンテンツを、ストリーミング技術等を用いて配信を受け、視聴することができる。

タッチパネルディスプレイを搭載された端末には、手指やスタイラスペンなどの接触や移動のパターンに応じて画面に表示すべき映像を拡大・縮小したり、移動したり、回転する機能がソフトウェア或いはハードウェアで実装されているものがある。

例えば、タッチパネルディスプレイを指１本で触れた状態で指を移動する（スワイプ）と該移動方向へ表示内容が移動したり、指２本で触れた状態で指の間隔を拡げたり（ピンチアウト）、或いは縮める（ピンチイン）と表示内容が拡大、或いは縮小したり、指２本で触れた状態で指の位置関係を回転すると該回転方向に表示内容が回転したり、指１本で画面のある場所を二度すばやく触れる（ダブルタップ）と該場所を中心に表示内容が拡大したりすることが可能となっている。

特開平９−９８４１８号公報 特許第３３１７３２７号明細書 特開２００３−２２４８５０号公報

スマートフォンなど掌程度の大きさの小型端末で映像を視聴する場合、画面の大きさの制約により、映像フレーム全体を画面内に収めると映像の細部が細かくなりすぎて判読が困難になることがある。

また、スマートフォンなどの通信帯域は、その通信方式や利用者の多寡によって制限を受けることがある。通信帯域が狭い場合、配信時の映像符号化のビットレートも下げる必要があり、その結果、映像の細部が符号化劣化によって判読困難となることがある。

このような端末では、映像の細部を見やすくするため、ピンチインやスワイプなどのタッチパネル操作を行って映像を部分拡大することが可能となっているものもあるが、符号化劣化によって生じた歪もそのまま拡大されるため、必ずしも判読性が改善するとは限らない。

そこで、特許文献１や特許文献２に開示される技法を応用して、或いは特許文献３の技法を適宜組み合わせて、映像の送信時に、符号化すべき映像の特徴等に応じて場所・時刻毎に画質制御することが考えられる。しかしながら、これらの技法は、送信側の判断によって重要と位置付けた映像領域であることから、受信側である視聴者が見たい領域と、これらの技法により重要と判断して画質を向上させた映像領域とは必ずしも一致しない。このため、視聴者にとって必ずしも見たい映像領域の画質が向上するとは限らない。更に、或る映像コンテンツについて複数の視聴者が見たい映像領域にずれがある場合に、送信側でこのずれを如何にして吸収し、如何にして自動的に符号化処理における画質制御に反映するかの問題について、上述の技法を組み合わせても解決することができない。

本発明の目的は、上述の問題を鑑みて、視聴者の操作の負担を増やすことなく多くの視聴者が見たいと要望される映像領域の画質が向上するよう、伝送する符号化映像の画質を制御する送信装置、受信装置及びこれらのプログラムを提供することにある。

即ち、本発明による一態様の送信装置は、伝送する符号化映像の画質を制御する送信装置であって、符号化パラメータに応じて、入力された映像を所定の符号化処理により圧縮符号化し、映像ストリームを出力する映像符号化手段と、当該映像ストリームの受信装置にて指定される表示用映像領域を特定する注視領域情報について、当該映像ストリームを受信する１以上の受信装置から受信し収集するＲＯＩ情報受信手段と、前記１以上の受信装置から収集した注視領域情報を集計するＲＯＩ情報集計手段と、前記注視領域情報の集計値に基づき前記符号化パラメータの値を制御する符号化パラメータ制御手段と、を備えることを特徴とする。

また、本発明による一態様の送信装置において、前記ＲＯＩ情報集計手段は、前記１以上の受信装置から収集した注視領域情報について重複する映像領域を含む注視領域情報の集計値を算出する際に、画素単位又はブロック単位で重複領域を規定し、当該重複領域の重複回数に応じた重み付けを施すよう当該注視領域情報の集計値を算出する手段を有することを特徴とする。

更に、本発明による別態様の送信装置は、伝送する符号化映像の画質を制御する送信装置であって、映像コンテンツを記録した映像記録手段と、前記映像コンテンツの映像を読み出し、符号化パラメータに応じて所定の符号化処理により圧縮符号化し、映像ストリームを出力する映像符号化手段と、当該映像ストリームの受信装置にて指定される表示用映像領域を特定する注視領域情報について、当該映像ストリームを受信する受信装置から受信し収集するＲＯＩ情報受信手段と、前記注視領域情報の集計値を前記映像コンテンツの映像時刻と同期する態様で保持するＲＯＩ情報データベースと、前記受信装置から注視領域情報を収集する度に、前記ＲＯＩ情報データベースが保持している注視領域情報の集計値を読み出し更新するＲＯＩ情報更新手段と、前記注視領域情報の集計値に基づき前記符号化パラメータの値を制御する符号化パラメータ制御手段と、を備えることを特徴とする。

また、本発明による別態様の送信装置において、前記ＲＯＩ情報更新手段は、前記ＲＯＩ情報データベースが保持している当該注視領域情報の集計値に対して重複する映像領域を含む新たな注視領域情報を加味して当該集計値を算出する際に、画素単位又はブロック単位で重複領域を規定し、当該重複領域の重複回数に応じた重み付けを施すよう当該注視領域情報の集計値を算出し更新する手段を有することを特徴とする。

更に、本発明による受信装置は、符号化パラメータによって画質が制御された符号化映像を受信する受信装置であって、符号化パラメータによって画質が制御された符号化映像の映像ストリームを受信し、復号処理を施して復号映像を生成する映像復号手段と、前記復号映像について、表示用映像領域を指定させるユーザインタフェースとして機能する操作手段と、前記復号映像における当該指定された表示用映像領域を表示する表示手段と、前記指定された表示用映像領域を表示するよう制御する表示領域制御手段と、前記表示用映像領域として指定される度に、前記表示用映像領域を特定する注視領域情報について前記符号化映像の送信装置に送信するＲＯＩ情報送信手段と、を備えることを特徴とする。

また、本発明による一態様のプログラムは、コンピュータを、本発明の送信装置として機能させるためのプログラムとして構成される。

また、本発明による別態様のプログラムは、コンピュータを、本発明の受信装置として機能させるためのプログラムとして構成される。

本発明によれば、１つ以上の受信装置で視聴されている映像領域に関する情報を送信装置にて収集し集計した結果に基づいて、伝送する映像に関する符号化処理の画質制御を行う。このため、受信側では、多くの視聴者にとって見たい画像領域の画質が改善された映像となる。

また、送信装置によりリアルタイム型映像コンテンツを伝送する場合において、多くの視聴者が表示映像の拡大・縮小、移動等を行う操作に連動してほぼリアルタイムで自動的に画質が制御されることになるため、特にスマートフォンにおける映像視聴においては視聴者に画質制御を行うことを意識させることなく、多くの視聴者にとって見たい画像領域の画質を改善することができる。

また、送信装置により蓄積型映像コンテンツを伝送する場合において、予め記録された映像について受信側の視聴者により非同期的で視聴されるときでも、視聴者は、現視聴時より以前に視聴された履歴に基づき適応的に画質が改善された画像領域を含む映像コンテンツを視聴することができるようになる。また、視聴者自身が映像を視聴した際の注視領域情報が送信装置にフィードバックされるため、以後の視聴者の映像配信時（又は当該視聴者の以後の視聴時）における画質制御に反映されることになり、多くの視聴者にとって見たい画像領域に関する効率の良い画質制御が可能となる。

本発明による第１実施形態の送信装置及び受信装置を備える映像符号化制御システムの構成例を示すブロック図である。 本発明による第１実施形態の送信装置及び受信装置を備える映像符号化制御システムの動作例を示すフローチャートである。 本発明に係る画素毎の集計値Ｃ_ｎ（ｉ, ｊ）の集計例を表す図である。 本発明に係るブロック毎の集計値Ｃ’（Ｂ_ｋ）の集計例を表す図である。 本発明による第２実施形態の送信装置及び受信装置を備える映像符号化制御システムの構成例を示すブロック図である。 本発明による第２実施形態の送信装置及び受信装置を備える映像符号化制御システムの動作例を示すフローチャートである。

〔第１実施形態〕
（映像符号化制御システムの構成）
まず、本発明による第１実施形態の送信装置１及び受信装置２ａ，２ｂ（以下、包括して、受信装置２とも称する）について説明する。図１は、本発明による第１実施形態の送信装置１及び受信装置２を備える映像符号化制御システムの構成例を示すブロック図である。尚、図１では、受信装置２を２つとして例示したが、受信装置２の数は１以上であれば幾つであってもよい。第１実施形態では、リアルタイム型映像コンテンツを送信する例について説明する。

まず、送信装置１の構成について説明する。送信装置１は、映像符号化部１０、ＲＯＩ情報受信部１１、ＲＯＩ情報集計部１２、及び符号化パラメータ制御部１３を備える。

映像符号化部１０は、符号化パラメータ制御部１３からの画質制御用のパラメータ値（即ち、符号化方式に従う量子化パラメータなどの符号化パラメータ）に応じて、入力された映像を所定の符号化処理により圧縮符号化し、符号化映像の映像ストリームを受信側に送信する機能を有する。圧縮符号化に関する符号化処理の方式は、任意であるが、符号化パラメータに応じて空間的に画質を制御でき、その結果として発生符号量も変化するものとする。例えば、映像符号化部１０の符号化処理として、ＭＰＥＧ‐４ ＡＶＣ／Ｈ２６４やＭＰＥＧ‐Ｈ ＨＥＶＣ／Ｈ２６５などの映像符号化方式を用いることができる。

ＲＯＩ情報受信部１１は、１以上の受信装置２から注視領域（ＲＯＩ：Region Of Interest）に関する情報を注視領域情報として受信する機能を有する。したがって、ＲＯＩ情報受信部１１は、同一の映像フレーム内にて異なる注視領域を示す複数の注視領域情報の受信を許容する。注視領域情報は、送信（又は配信）されている映像の映像フレーム全体のうちどの領域が表示されているかを示す位置及びサイズに関する情報のいずれか一方又は双方を含むものとする。また、注視領域情報には当該注視領域で視聴した時刻（絶対時刻であっても映像コンテンツ内での時刻であってもよい）を付加したものとすることもできる。

ＲＯＩ情報集計部１２は、ＲＯＩ情報受信部１１で受信した１以上の注視領域情報を集計する機能を有する。より具体的には、詳細な例は図３及び図４を参照して後述するが、ＲＯＩ情報集計部１２は、現時点で送信している映像に関して１フレーム以上の予め定めた映像フレーム数の間隔で映像フレーム内のどの場所が多く視聴されているかを場所毎に数値化して集計する。

符号化パラメータ制御部１３は、ＲＯＩ情報集計部１２が集計を終了した時点での集計値に基づき、当該場所毎の画質制御用のパラメータ値（即ち、符号化パラメータ）を決定し、映像符号化部１０における伝送する映像の符号化処理の符号化パラメータを変化させるよう制御する機能を有する。

次に、受信装置２の構成について説明する。受信装置２は、映像復号部２０、表示部２１、操作部２２、表示領域制御部２３、及びＲＯＩ情報送信部２４を備える。尚、図１は、受信装置２として受信装置２ａ，２ｂの２つを備える場合の構成例を示しているが、受信装置２ａ，２ｂはいずれも同様の構成要素を有するため、同様な構成要素には同一の参照番号を付している。

映像復号部２０は、映像符号化部１０の符号化処理に対応する復号処理を行う処理部であり、映像符号化部１０から出力された符号化映像の映像ストリームを受信し、復号して復号映像を生成する機能を有する。

表示部２１は、映像復号部２０によって得られた復号映像を表示する機能を有する。このとき、表示部２１は、後述する表示領域制御部２３によって制御される拡大率（又は縮小率）、切出位置にて当該復号映像の拡大（又は縮小）及び切り出しを行った後、その結果の映像領域を表示する。

表示部２１に用いる素子の種類は如何なる形態でもよい。例えば、表示部２１には、液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイなどを用いることができる。

操作部２２は、表示部２１への表示が所望される映像領域として、当該復号映像の拡大（又は縮小）率や切出位置を視聴者が指定するためのユーザインタフェースである。例えば、タッチパネル、ペンタブレット、マウス、トラックボール、キー、ダイアルなど、座標や大きさを入力できるデバイスであれば如何なる形態でもよい。

尚、操作部２２は、表示部２１とともに一体化されている形態も含む。例えば、タッチパネルディスプレイを、表示部２１と操作部２２について一体化させたものとして用いることができる。

表示領域制御部２３は、操作部２２の操作による表示用映像領域の指定を受けて、表示部２１に表示すべき復号映像の位置及び大きさ（即ち、切出位置、及び拡大又は縮小率）を制御する機能を有する。

例えば、操作部２２がタッチパネルによる場合、タッチパネル上において指１本を接触させつつ移動した場合（スワイプ操作）、復号映像の映像フレームにおける切出位置を指の移動方向と逆方向に移動することで、表示部２１に表示されている映像があたかも引きずられたかのような効果によって表示領域の移動を行わせ、その結果の映像を表示用映像領域として指定する態様とすることができる。また、タッチパネル上において指２本を接触させつつ、該２本の指を拡げる操作を行った場合には、切出サイズを縮小し、この縮小された領域からの切出映像を表示用映像領域として表示部２１上に表示する態様とすることができる。

逆に、タッチパネル上において指２本を接触させつつ、当該２本の指を閉じる操作を行った場合には、切出サイズを拡大し、この拡大された領域からの切出映像を表示用映像領域として表示部２１上に表示する態様とすることができる。したがって、操作部２２がタッチパネルによる場合、スワイプ、ピンチアウト、ピンチイン、或いはダブルタップ等の操作により、その結果の映像を表示用映像領域として指定し、表示領域制御部２３の制御により、表示部２１に表示させることができる。或いは、操作部２２がマウスによる場合は、例えばドラッグ操作で表示位置を移動し、マウスホイールの操作によって表示領域制御部２３の制御により切出サイズを拡大又は縮小することで表示用映像領域を指定することができる。

ＲＯＩ情報送信部２４は、表示領域制御部２３によって制御された時点の表示部２１に表示されている復号映像の映像領域（即ち、表示用映像領域）の情報を注視領域情報として送信装置１に向けて送信する機能を有する。即ち、ＲＯＩ情報送信部２４は、表示用映像領域として指定される度に、当該表示用映像領域を特定する注視領域情報を送信装置１に送信する。尚、ＲＯＩ情報送信部２４は、この注視領域情報について、該注視領域により視聴されている映像の時刻情報（絶対的な時刻であっても映像コンテンツ内における相対時刻であってもよい）を加えたものとして、送信装置１へ送信してもよい。

以上のように構成された送信装置１及び受信装置２を備える映像符号化制御システムであれば、１つ以上の受信装置２で視聴されている映像領域に関する情報を送信装置１にて収集して集計する。この集計した結果に基づいて、送信装置１は、伝送する映像に関する映像符号化処理の画質制御を行う。このため、受信側では、多くの視聴者にとって見たい画像領域の画質が改善された映像となる。

（映像符号化制御システムの動作）
以下、第１実施形態の送信装置１及び受信装置２を備える映像符号化制御システムの動作について、図２を参照して、より詳細に説明する。

図２を参照するに、まず、送信装置１は、映像符号化部１０により、符号化パラメータ制御部１３からの画質制御用のパラメータ値（即ち、符号化パラメータ）に応じて、入力された映像を所定の符号化処理により圧縮符号化し、符号化映像の映像ストリームを受信側に送信する（ステップＳ１１）。尚、符号化パラメータ制御部１３は、集計値が存在しない初期状態では、映像符号化部１０にて予め定めた画質制御用のパラメータ値により符号化処理を行うよう制御する。

受信装置２は、映像復号部２０により、映像符号化部１０から出力された符号化映像の映像ストリームを受信し、復号して復号映像を生成する（ステップＳ１２）。

続いて、受信装置２は、表示部２１により、映像復号部２０によって得られた復号映像を表示する（ステップＳ１３）。

ここで、受信装置２は、表示領域制御部２３により、操作部２２の操作を受けて、表示部２１に表示すべき復号映像の位置及び大きさを制御する。表示部２１は、表示領域制御部２３によって制御される拡大率（又は縮小率）及び切出位置にて当該復号映像の拡大（又は縮小）及び切り出しを行った映像領域を表示する（ステップＳ１４）。

例えば、前述したように、操作部２２がタッチパネルによる場合、スワイプ、ピンチアウト、ピンチイン、或いはダブルタップ等の操作により、その結果の映像を表示用映像領域として指定し、表示領域制御部２３の制御により、表示部２１に表示させることができる。

また、操作部２２がマウスによる場合、例えばドラッグ操作で表示位置を移動し、マウスホイールの操作によって表示領域制御部２３の制御により切出サイズを拡大又は縮小することで表示用映像領域を指定することができる。

続いて、受信装置２は、ＲＯＩ情報送信部２４により、表示用映像領域として指定される度に、当該表示用映像領域を特定する注視領域情報を送信装置１に送信する（ステップＳ１５）。この注視領域情報は、当該視聴されている映像の時刻情報（絶対的な時刻であっても映像コンテンツ内における相対時刻であってもよい）を加えたものとして、送信装置１へ送信してもよい。

次に、送信装置１は、ＲＯＩ情報受信部１１により、１以上の受信装置２から注視領域情報を受信する（ステップＳ１６）。

続いて、送信装置１は、ＲＯＩ情報集計部１２により、ＲＯＩ情報受信部１１で受信した１以上の注視領域情報を集計する（ステップＳ１７）。より具体的には、ＲＯＩ情報集計部１２は、現時点で送信している映像に関して１フレーム以上の予め定めた映像フレーム数の間隔で映像フレーム内のどの場所が多く視聴されているかを場所毎に数値化して集計する。

注視領域情報の一例として、表示領域の矩形情報（例えば、映像切り出しの左上画像座標と右下画像座標）を用いることができる。以下では、第ｎ（ｎは複数の受信装置２ａ，２ｂを区別する番号）の受信装置２から受信された注視領域情報における注視領域をＲ_ｎとおく。

例えば、ＲＯＩ情報集計部１２は、映像コンテンツの画素位置と対応付けて注視領域Ｒ_ｎを集計し保持するメモリを備え、該メモリ上においてＮ個（Ｎは１以上の整数）の受信装置２から受信した注視領域（Ｒ_１，Ｒ_２，…，Ｒ_ｎ，…，Ｒ_Ｎ）の重なった回数を画素毎に数える。

Ｎ個の受信装置２から注視領域（Ｒ_１，Ｒ_２，…，Ｒ_Ｎ）を順次受信した場合、第ｎの受信装置２から得られるｎ回目の注視領域Ｒ_ｎを受信した際の集計時の画像座標（ｉ, ｊ）における集計値をＣ_ｎ（ｉ, ｊ）とすると、ＲＯＩ情報集計部１２は、式（１）に基づく集計を行う。

集計値Ｃ_ｎ（ｉ, ｊ）の例を図３に示す。この例ではＮ＝３とし、注視領域Ｒ_１乃至Ｒ_３を受信した後のＣ_３（ｉ, ｊ）の結果を例示している。

或いは、例えば、ＲＯＩ情報集計部１２は、映像符号化部１０の空間的な画質制御の単位であるブロックＢ_ｋ （ｋはブロックを識別する番号）と対応付けて注視領域Ｒ_ｎを集計し保持するメモリを備え、該メモリ上においてＮ個（Ｎは１以上の整数）の受信装置２から受信した注視領域（Ｒ_１，Ｒ_２，…，Ｒ_Ｎ）の重なった回数をブロックＢ_ｋ毎に数える。このとき、重なったか否かの判定は、例えばブロックが注視領域と所定画素数（例えば、１画素）以上重なっていれば、「重なり有り」とみなす。集計値Ｃ’（Ｂ_ｋ）の例を図４に示す。この例ではＮ＝３とし、注視領域Ｒ_１乃至Ｒ_３を受信した後のＣ’（Ｂ_ｋ）の結果を例示している。

このように、ＲＯＩ情報集計部１２は、１以上の受信装置２から収集した注視領域情報について重複する映像領域を含む注視領域情報の集計値を算出する際に、画素単位又はブロック単位で重複領域を規定し、当該重複領域の重複回数に応じた重み付け（例えば、図３及び図４で例示するような重複回数）を施すよう当該注視領域情報の集計値を算出する。

続いて、図２を参照するに、送信装置１は、符号化パラメータ制御部１３により、ＲＯＩ情報集計部１２が集計を終了した時点での集計値に基づき、当該場所毎の画質制御用のパラメータ値（即ち、符号化パラメータ）を決定し、映像符号化部１０における伝送する映像の符号化処理における符号化パラメータを変化させるよう制御する（ステップＳ１７）。例えば、式（１）による集計を行った場合、符号化パラメータ制御部１３は、その集計に係る全ての受信装置２から注視領域情報を受信した後の集計結果Ｃ_Ｎ（ｉ, ｊ）に基づいて符号化パラメータを変化させることにより、画質制御を行う。

或いはまた、符号化パラメータ制御部１３は、映像符号化部１０における画質制御の単位がブロック単位である場合、前述したＣ’（Ｂ_ｋ）による集計を行って、その集計に係る全ての受信装置２から注視領域情報を受信した後の集計結果に基づいて、該ブロックＢ_ｋの符号化パラメータを変化させることにより画質制御を行う。或いは、符号化パラメータ制御部１３は、映像符号化部１０における画質制御の単位がブロック単位である際に、式（１）に基づく集計結果Ｃ_Ｎ（ｉ, ｊ）を利用して、各ブロックＢ_ｋ（ｋはブロックを識別する番号）に対して制御用のデータＤ（Ｂ_ｋ）をまず求める。制御用のデータＤ（Ｂ_ｋ）は、例えばブロックＢ_ｋ内に属するすべての画素位置（ｉ, ｊ）についてＣ_Ｎ（ｉ, ｊ）の総和とする。ブロックの大きさが一定ではない場合には、この総和をブロックＢ_ｋ内の画素数｜Ｂ_ｋ｜で除することによって正規化してもよい。更に、制御用のデータＤ（Ｂ_ｋ）は、注視領域に関する情報を受信した受信装置２の個数Ｎによって正規化をしてもよい。例えば、制御用のデータＤ（Ｂ_ｋ）は、式（２）により定めることができる。

そして、符号化パラメータ制御部１３は、ブロックＢ_ｋに関する制御用のデータの値Ｄ （Ｂ_ｋ）に基づき、映像符号化部１０における該ブロックＢ_ｋの符号化パラメータを変化させる。

この符号化パラメータとしては、例えば、量子化パラメータ（ＱＰ：Quantization Parameter）値を用いることができる。この場合、符号化パラメータ制御部１３は、Ｄ（Ｂ_ｋ）値が大きいほど、該ブロックのＱＰ値（Ｑ（Ｂ_ｋ）とおく）が小さくなる（又は等しくなる）ようブロックＢ_ｋにおけるＱＰ値を設定する。

Ｑ（Ｂ_ｋ）とＤ（Ｂ_ｋ）との関係は予めルックアップテーブルとして固定的に定義しておいてもよいし、その都度、動的にＱ（Ｂ_ｋ）を割り当ててもよい。例えば、ＱＰ値を２７，３２，３７，４２の四択とし、ＱＰ値２７のブロックの割合が２５％、ＱＰ値３２のブロックの割合が２５％、ＱＰ値３７のブロックの割合が２５％、またＱＰ値４２のブロックの割合が２５％となるよう、Ｄ（Ｂ_ｋ）値の大きいブロックから優先的に小さなＱＰ値を割り振る。

引き続き、送信装置１は、映像符号化部１０により、符号化パラメータを変化させながら当該入力映像を所定の符号化処理により圧縮符号化し、符号化映像の映像ストリームを受信側に送信する（ステップＳ１１）。

以上のように、本実施形態によれば、１つ以上の受信装置２で視聴されている映像領域に関する情報を送信装置１にて収集し、集計した結果に基づいて、送信装置１は、伝送する映像に関する符号化処理の画質制御を行う。このため、受信側では、多くの視聴者にとって見たい画像領域の画質が改善された映像となる。

また、送信装置１によりリアルタイム型映像コンテンツを伝送する場合において、多くの視聴者が表示映像の拡大・縮小、移動等を行う操作に連動してほぼリアルタイムで自動的に画質が制御されることになるため、特にスマートフォンにおける映像視聴においては視聴者に画質制御を行うことを意識させることなく、多くの視聴者にとって見たい画像領域の画質を改善することができる。

〔第２実施形態〕
（映像符号化制御システムの構成）
次に、本発明による第２実施形態の送信装置３及び受信装置２について説明する。図５は、本発明による第２実施形態の送信装置３及び受信装置２を備える映像符号化制御システムの構成例を示すブロック図である。尚、図１と同様な構成要素に同一の参照番号を付している。第２実施形態では、蓄積型映像コンテンツを送信する例について説明する。

まず、第２実施形態の受信装置２の構成は、第１実施形態と同様であるため、更なる詳細な説明は省略する。

したがって、送信装置３の構成について説明する。送信装置３は、映像符号化部１０、ＲＯＩ情報受信部１１、映像記録部３０、ＲＯＩ情報データベース３１、ＲＯＩ情報更新部３２及び符号化パラメータ制御部３３を備える。

映像符号化部１０は、映像記録部３０に記録（又は蓄積）された映像を入力し、入力された映像を所定の符号化処理により圧縮符号化し、符号化映像の映像ストリームを受信装置２に送信する機能を有する。

このとき、映像符号化部１０は、後述する符号化パラメータ制御部３３からの画質制御用のパラメータ値（即ち、符号化パラメータ）によって画質を制御する。

ＲＯＩ情報受信部１１は、受信装置２から注視領域（ＲＯＩ）に関する情報を注視領域情報として受信し、ＲＯＩ情報更新部３２に出力する機能を有する。注視領域情報は、配信されている映像の映像フレーム全体のうちどの領域が表示されているかを示す位置及びサイズに関する情報のいずれか一方又は双方を含むものとする。尚、第２実施形態では、受信装置２から受信した注視領域ＲＮが映像コンテンツのどの時刻に対応するかを特定することを容易にするため、注視領域情報には当該注視領域で視聴した時刻（絶対時刻であっても映像コンテンツ内での時刻であってもよい）を付加したものとするのが好適である。

ＲＯＩ情報更新部３２は、ＲＯＩ情報データベース３１から読み出した過去に集計された集計値に対し、ＲＯＩ情報受信部１１にて注視領域情報を受信する度に新たな集計値を算出し、その結果をＲＯＩ情報データベース３１へ書き戻す。より具体的には、ＲＯＩ情報更新部３２は、過去に集計された注視領域情報に対して重複する映像領域を含む新たな注視領域情報を加味して当該集計値を算出する際に、画素単位又はブロック単位で重複領域を規定し、当該重複領域の重複回数に応じた重み付け（例えば、図３及び図４で例示するような重複回数）を施すよう当該注視領域情報の集計値を算出し更新する。このように、ＲＯＩ情報更新部３２は、第１実施形態のＲＯＩ情報集計部１２のような同時に複数の受信装置２から受信した注視領域を集計する構成とは相違している。

ＲＯＩ情報データベース３１は、映像記録部３０に記録（又は蓄積）された映像コンテンツの映像時刻と同期する態様で、いつどの場所が注視されたかの情報である注視領域情報の集計値を保持している。ここで、ＲＯＩ情報データベース３１は、注視領域情報自体を保持してもよい。この注視領域情報の集計値又は注視領域情報自体は、ＲＯＩ情報更新部３２により、時々刻々と更新可能である。

例えば、ＲＯＩ情報データベース３１は、各映像フレームのどこが多く視聴されているかについて集計された集計値を蓄積する。この集計値の態様は、第１実施形態と同様とすることができ、その一例として、ＲＯＩ情報データベース３１は、式（１）に示した集計値Ｃ_ｎ（ｉ, ｊ）を映像フレーム毎に蓄積するように構成することができる。

或いは、ＲＯＩ情報データベース３１は、第１実施形態と同様に、映像符号化部１０の空間的な画質制御の単位（ブロック）と対応付けて、これまでに受信装置２から受信した注視領域Ｒ_Ｎの重なった回数をブロックＢ_ｋ毎に数えた情報Ｃ’（Ｂ_ｋ）を蓄積するように構成することができる。

符号化パラメータ制御部３３は、映像符号化部１０によって現時点で符号化しようとしている映像フレームの画質を制御するために、ＲＯＩ情報データベース３１から当該映像フレームの注視領域情報の集計値を読み出し、当該読み出した注視領域情報の集計値に基づき、第１実施形態の符号化パラメータ制御部１３と同様に、映像フレーム内の場所毎の画質制御用のパラメータ値（即ち、符号化パラメータ）を決定し、映像符号化部１０における伝送する映像の符号化処理における符号化パラメータを変化させるよう制御する機能を有する。

以上のように構成された送信装置３及び受信装置２を備える映像符号化制御システムであれば、受信装置２で視聴されている映像領域に関する情報を送信装置３にて収集して集計する。この集計した結果に基づいて、送信装置３は、伝送する映像に関する映像符号化処理の画質制御を行う。このため、受信側では、多くの視聴者にとって見たい画像領域の画質が改善された映像となる。

（映像符号化制御システムの動作）
以下、第２実施形態の送信装置３及び受信装置２を備える映像符号化制御システムの動作について、図６を参照して、より詳細に説明する。

図６を参照するに、まず、送信装置３は、映像符号化部１０により、符号化パラメータ制御部３３からの画質制御用のパラメータ値（即ち、符号化パラメータ）に応じて、入力された映像を所定の符号化処理により圧縮符号化することにより画質の制御を行ないつつ、符号化映像の映像ストリームを受信装置２に送信する（ステップＳ２１）。

受信装置２は、映像復号部２０により、映像符号化部１０から出力された符号化映像の映像ストリームを受信し、復号して復号映像を生成する（ステップＳ２２）。

続いて、受信装置２は、表示部２１により、映像復号部２０によって得られた復号映像を表示する（ステップＳ２３）。

ここで、受信装置２は、表示領域制御部２３により、操作部２２の操作を受けて、表示部２１に表示すべき復号映像の位置及び大きさを制御し、表示領域制御部２３によって制御される拡大率（又は縮小率）及び切出位置にて当該復号映像の拡大（又は縮小）及び切り出しを行った映像領域を表示部２１に表示する（ステップＳ２４）。

例えば、前述したように、操作部２２がタッチパネルによる場合、スワイプ、ピンチアウト、ピンチイン、或いはダブルタップ等の操作により、その結果の映像を表示用映像領域として指定し、表示領域制御部２３の制御により、表示部２１に表示させることができる。

また、操作部２２がマウスによる場合、例えばドラッグ操作で表示位置を移動し、マウスホイールの操作によって表示領域制御部２３の制御により切出サイズを拡大又は縮小することで表示用映像領域を指定することができる。

続いて、受信装置２は、ＲＯＩ情報送信部２４により、表示用映像領域として指定される度に、当該表示用映像領域を特定する注視領域情報を送信装置３に送信する（ステップＳ２５）。この注視領域情報は、当該視聴されている映像の時刻情報（絶対的な時刻であっても映像コンテンツ内における相対時刻であってもよい）を加えたものとして、送信装置３へ送信するのが好適である。

次に、送信装置３は、ＲＯＩ情報受信部１１により、当該受信装置２から注視領域情報を受信する（ステップＳ２６）。

続いて、送信装置３は、ＲＯＩ情報更新部３２により、ＲＯＩ情報データベース３１から読み出した過去に集計された集計値に対し、ＲＯＩ情報受信部１１にて注視領域情報を受信する度に、新たな集計値を算出して更新する（ステップＳ２７）。

ＲＯＩ情報データベース３１は、映像記録部３０に蓄積された映像コンテンツの映像と時刻が同期する態様にて、注視領域情報を基に集計した集計値を保持している。そして、送信装置３は、符号化パラメータ制御部３３により、映像符号化部１０によって現時点で符号化しようとしている映像フレームの画質を制御させるために、ＲＯＩ情報データベース３１から当該映像フレームの注視領域に関する集計値を読み出し、当該読み出した注視領域に関する集計値に基づき、当該場所毎の画質制御用のパラメータ値（即ち、符号化パラメータ）を決定し、映像符号化部１０における伝送する映像の符号化処理における符号化パラメータを変化させるよう制御する。尚、符号化パラメータ制御部３３は、集計値が存在しない初期状態では、映像符号化部１０にて予め定めた画質制御用のパラメータ値（即ち、符号化パラメータ）により符号化処理を行うよう制御する。

引き続き、送信装置３は、映像符号化部１０により、当該入力映像を所定の符号化処理により圧縮符号化するにあたり、符号化パラメータ制御部３３からの画質制御用のパラメータ値（即ち、符号化パラメータ）に応じて画質の制御を行ないつつ、映像ストリームを受信装置２に送信する（ステップＳ２１）。

以上のように、本実施形態によれば、受信装置２で視聴されている映像領域に関する情報を送信装置３にて収集し、集計した結果に基づいて、送信装置３は、伝送する映像に関する映像符号化処理の画質制御を行う。このため、受信側では、多くの視聴者にとって見たい画像領域の画質が改善された映像となる。

また、送信装置３により蓄積型映像コンテンツを伝送する場合において、予め記録された映像について受信側の視聴者により非同期的で視聴されるときでも、視聴者は、現視聴時より以前に視聴された履歴に基づき適応的に画質が改善された画像領域を含む映像コンテンツを視聴することができるようになる。また、視聴者自身が映像を視聴した際の注視領域情報が送信装置３にフィードバックされるため、以後の視聴者（又は以後の視聴時）の映像配信時における画質制御に反映されることになり、多くの視聴者にとって見たい画像領域に関する効率の良い画質制御が可能となる。

尚、上述した各実施形態の送信装置１，３と受信装置２の各々は、それぞれの各構成要素の機能について、コンピュータにより実現することができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで実行することにより、各実施形態の装置のそれぞれの各構成要素の機能をそれぞれコンピュータにより実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。

以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述の実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述の各実施形態では、受信装置２から受信した注視領域（ＲＯＩ）情報に応じて忠実に画質制御に反映する例を説明したが、画質制御を行う領域及び制御量（例えば、ＱＰ値）について映像フレーム全体の圧縮率が一定となるよう注視領域（ＲＯＩ）情報の集計値を基に正規化して振り分けるように構成することや、集計値として所定の閾値以上のものについてのみ画質を改善するべく制御するよう構成することもできる。

また、上述した各実施形態の例では、送信装置１，３が送信した符号化映像を受信する全ての受信装置２が本発明に係る注視領域情報を送信装置１，３に向けて送信する例を説明したが、本発明に係るＲＯＩ情報送信部２４を有しない既存の受信装置でも本発明に係る送信装置１，３が送信した符号化映像について受信・復号し、表示できることは勿論である。

本発明によれば、多くの視聴者にとって見たい画像領域の画質が改善された映像を送信することが可能となるので、符号化映像について映像フレーム内の場所又は映像フレームの時刻毎に画質制御を行う用途に有用である。

１ 送信装置
２，２ａ，２ｂ 受信装置
３ 送信装置
１０ 映像符号化部
１１ ＲＯＩ情報受信部
１２ ＲＯＩ情報集計部
１３ 符号化パラメータ制御部
２０ 映像復号部
２１ 表示部
２２ 操作部
２３ 表示領域制御部
２４ ＲＯＩ情報送信部
３０ 映像記録部
３１ ＲＯＩ情報データベース
３２ ＲＯＩ情報更新部
３３ 符号化パラメータ制御部

Claims (7)

1. 伝送する符号化映像の画質を制御する送信装置であって、
   符号化パラメータに応じて、入力された映像を所定の符号化処理により圧縮符号化し、映像ストリームを出力する映像符号化手段と、
   当該映像ストリームの受信装置にて指定される表示用映像領域を特定する注視領域情報について、当該映像ストリームを受信する１以上の受信装置から受信し収集するＲＯＩ情報受信手段と、
   前記１以上の受信装置から収集した注視領域情報を集計するＲＯＩ情報集計手段と、
   前記注視領域情報の集計値に基づき前記符号化パラメータの値を制御する符号化パラメータ制御手段と、
   を備えることを特徴とする送信装置。
2. 前記ＲＯＩ情報集計手段は、前記１以上の受信装置から収集した注視領域情報について重複する映像領域を含む注視領域情報の集計値を算出する際に、画素単位又はブロック単位で重複領域を規定し、当該重複領域の重複回数に応じた重み付けを施すよう当該注視領域情報の集計値を算出する手段を有することを特徴とする、請求項１に記載の送信装置。
3. 伝送する符号化映像の画質を制御する送信装置であって、
   映像コンテンツを記録した映像記録手段と、
   前記映像コンテンツの映像を読み出し、符号化パラメータに応じて所定の符号化処理により圧縮符号化し、映像ストリームを出力する映像符号化手段と、
   当該映像ストリームの受信装置にて指定される表示用映像領域を特定する注視領域情報について、当該映像ストリームを受信する受信装置から受信し収集するＲＯＩ情報受信手段と、
   前記注視領域情報の集計値を前記映像コンテンツの映像時刻と同期する態様で保持するＲＯＩ情報データベースと、
   前記受信装置から注視領域情報を収集する度に、前記ＲＯＩ情報データベースが保持している注視領域情報の集計値を読み出し更新するＲＯＩ情報更新手段と、
   前記注視領域情報の集計値に基づき前記符号化パラメータの値を制御する符号化パラメータ制御手段と、
   を備えることを特徴とする送信装置。
4. 前記ＲＯＩ情報更新手段は、前記ＲＯＩ情報データベースが保持している当該注視領域情報の集計値に対して重複する映像領域を含む新たな注視領域情報を加味して当該集計値を算出する際に、画素単位又はブロック単位で重複領域を規定し、当該重複領域の重複回数に応じた重み付けを施すよう当該注視領域情報の集計値を算出し更新する手段を有することを特徴とする、請求項３に記載の送信装置。
5. 符号化パラメータによって画質が制御された符号化映像を受信する受信装置であって、
   符号化パラメータによって画質が制御された符号化映像の映像ストリームを受信し、復号処理を施して復号映像を生成する映像復号手段と、
   前記復号映像について、表示用映像領域を指定させるユーザインタフェースとして機能する操作手段と、
   前記復号映像における当該指定された表示用映像領域を表示する表示手段と、
   前記指定された表示用映像領域を表示するよう制御する表示領域制御手段と、
   前記表示用映像領域として指定される度に、前記表示用映像領域を特定する注視領域情報について前記符号化映像の送信装置に送信するＲＯＩ情報送信手段と、
   を備えることを特徴とする受信装置。
6. コンピュータを、請求項１から４のいずれか一項に記載の送信装置として機能させるためのプログラム。
7. コンピュータを、請求項５に記載の受信装置として機能させるためのプログラム。