JP2014057128A - 映像符号化制御装置およびそのプログラム、ならびに、映像伝送装置 - Google Patents

Abstract

【課題】一以上の復号側（受信側）の要求によって、符号化側（送信側）において、画像内の領域ごとの符号化パラメータを制御することが可能な映像符号化制御装置を提供する。
【解決手段】映像符号化制御装置２は、一以上の映像復号装置３から改善要求データとして送信される、映像を構成する画像内の画質を改善させたい領域を、当該領域ごとに予め定めた集計時間間隔で集計する集計手段２１と、この集計手段２１で集計された集計結果において、得票数が多い領域ほど量子化パラメータ値を小さく設定した符号化パラメータを生成し、映像符号化装置１に出力する符号化制御手段２２と、を備えることを特徴とする。
【選択図】図２

Description

本発明は、符号化映像を再生する復号側の要求に応じて、映像（動画像）の領域ごとの画質を制御する映像符号化制御装置およびそのプログラム、ならびに、映像伝送装置に関する。

従来、映像（動画像）のデータを圧縮して伝送する際、例えば、予め定められた帯域内にビットレートを収めるために、符号化側（送信側）において、画面内の領域やフレーム単位で符号化パラメータ（量子化ステップ）を制御して、符号化データの発生量を調整することが一般的に行われている（特許文献１参照）。
また、符号化データの発生量を制御する技術としては、画像の動き量を検出し、動き量と目標の発生情報量との関係により予め定めた符号化パラメータのしきい値によって、発生情報量が目標値発生情報量となるように符号化パラメータを調整する技術が開示されている（特許文献２参照）。

特許第３３１１３１２号公報 特公平７−９５８５３号公報

しかし、特許文献１のように、符号化側（送信側）において、発生情報量のみを監視して符号化パラメータを制御すると、画像の内容によらないで符号化が行われることになる。そのため、復号側（受信側）において、符号化データが映像（動画像）として再生された際に、視認者が高精細で視認したい領域の画質が劣化してしまうという問題がある。
また、特許文献２のように、符号化側（送信側）において、画像を解析した結果である動き量のみで符号化パラメータを制御する場合でも、特許文献１に記載の手法と同様の問題がある。

本発明は、このような問題に鑑みてなされたものであり、一以上の復号側（受信側）の要求によって、符号化側（送信側）において、画像内の領域ごとの符号化パラメータを制御することが可能な映像符号化制御装置およびそのプログラム、ならびに、映像伝送装置を提供することを課題とする。

前記課題を解決するため、請求項１に記載の映像符号化制御装置は、映像を構成する画像内の任意の領域ごとに符号量制御が可能な符号化方式を用いて前記映像を符号化する映像符号化装置と、当該映像符号化装置の符号化における各領域の符号量を制御する映像符号化制御装置と、符号化された映像を再生するとともに、再生映像を視認した視認者によって画質を改善させたい領域を特定する情報の入力を受け付け、前記映像符号化制御装置に改善要求データとして送信する一以上の映像復号装置と、を備えた映像伝送システムにおける前記映像符号化制御装置であって、集計手段と、符号化制御手段と、を備える構成とした。

かかる構成において、映像符号化制御装置は、集計手段によって、一以上の映像復号装置から改善要求データを集計する。この改善要求データは、画像内の画質を改善させたい領域を特定する情報である。この改善要求データで通知される領域で特定される画素または予め定めた大きさのブロックごとに、当該改善要求データの数を、予め定めた集計時間間隔で集計することで、映像符号化制御装置は、視認者がどの領域について画質改善を望んでいるのかを認識することができる。

そして、映像符号化制御装置は、符号化制御手段によって、集計手段で集計された集計結果において、得票数が多い画像内の領域ほど量子化パラメータ値を小さく設定した符号化パラメータを生成し、映像符号化装置に出力する。
これによって、映像符号化装置では、量子化パラメータ値を小さく設定した領域については、量子化による削減データが少ないため、他の領域に比べて画質を高めて映像を符号化することができる。

また、請求項２に記載の映像符号化制御装置は、請求項１に記載の映像符号化制御装置において、改善要求データが、画質を改善させたい領域を特定する情報として、被写体を特定するための識別子を含み、集計手段が、識別子集計手段と、座標特定手段と、を備える構成とした。

かかる構成において、映像符号化制御装置は、集計手段で画像内の画質を改善させたい領域を集計する際に、識別子集計手段によって、一以上の映像復号装置から送信される識別子を集計する。そして、映像符号化制御装置は、座標特定手段によって、予め定めた前記識別子と当該識別子で特定される画像上の被写体の領域との時系列の対応関係を示す識別子領域情報に基づいて、識別子集計手段で集計された識別子ごとの集計結果を、当該識別子に対応する画像上の領域で特定される画素または予め定めた大きさのブロックごとの集計結果に変換する。
これによって、映像符号化制御装置は、画像内の画質を改善させたい領域を認識することができ、その領域の集計結果により、映像符号化装置の符号化を領域ごとに制御することができる。

また、請求項３に記載の映像符号化制御装置は、請求項１に記載の映像符号化制御装置において、改善要求データが、画質を改善させたい領域を特定する情報として、被写体を特定するための識別子、または、画質を改善させたい領域を特定する画像座標を含み、集計手段が、識別子集計手段と、座標特定手段と、領域集計手段と、領域統合手段と、を備える構成とした。

かかる構成において、映像符号化制御装置は、集計手段で画像内の画質を改善させたい領域を集計する際に、一以上の映像復号装置から改善要求データとして送信される識別子については、識別子集計手段によって集計する。そして、映像符号化制御装置は、座標特定手段によって、予め定めた識別子と当該識別子で特定される画像上の被写体の領域との時系列の対応関係を示す識別子領域情報に基づいて、識別子集計手段で集計された識別子ごとの集計結果を、当該識別子に対応する画像上の領域で特定される画素または予め定めた大きさのブロックごとの集計結果に変換する。

また、映像符号化制御装置は、一以上の映像復号装置から改善要求データとして送信される画像座標で特定された領域については、領域集計手段によって、改善要求データで通知される領域で特定される画素または予め定めた大きさのブロックごとに、当該改善要求データの数を、予め定めた集計時間間隔で集計する。
そして、映像符号化制御装置は、領域統合手段によって、座標特定手段で変換された集計結果と、領域集計手段で集計された集計結果とを加算して統合した集計結果を生成する。これによって、映像符号化制御装置は、改善要求データとして、識別子が通知される場合でも、画像座標による領域で通知される場合でも、画像内の画質を改善させたい領域を認識することができる。

また、請求項４に記載の映像符号化制御装置は、請求項２または請求項３に記載の映像符号化制御装置において、被写体認識手段をさらに備える構成とした。
かかる構成において、映像符号化制御装置は、被写体認識手段によって、予め識別子と対応付けた被写体の画像特徴量に基づいて、映像から被写体の領域を認識し、識別子と当該識別子で特定される画像上の被写体の領域との時系列の対応関係を示す識別子領域情報を生成する。
これによって、映像符号化制御装置は、識別子と当該識別子で特定される画像上の被写体の領域との時系列の対応関係を、予め準備することなく、映像から直接抽出することができる。

また、請求項５に記載の映像符号化制御装置は、請求項１から請求項４のいずれか一項に記載の映像符号化制御装置において、動き推定手段をさらに備える構成とした。

かかる構成において、映像符号化制御装置は、動き推定手段によって、映像から、画像特徴量に基づいて、フレームの予め定めた大きさのブロックごとに、複数のフレームにおける位置を対応付けることで、ブロックごとの動き量を推定する。
そして、映像符号化制御装置は、集計手段によって、集計時間間隔内における過去のフレームにおいて要求された領域を、動き推定手段で推定された動き量に基づいて、集計時点である現時点のフレームの領域に変換する。
これによって、過去のフレームにおいて画質の改善要求のあった領域が、現時ｔ年尾フレームのどの領域に対応するのかを認識することができ、改善要求のあった領域の画質改善の精度を高めることができる。

また、請求項１から請求項５のいずれか一項に記載の映像符号化制御装置は、コンピュータを、当該装置として機能させるための映像符号化制御プログラムで動作させることとしてもよい（請求項６）。

また、請求項１から請求項５のいずれか一項に記載の映像符号化制御装置と、この映像符号化制御装置からの符号化パラメータにより符号量を制御して映像を符号化する映像符号化装置と、を備える映像伝送装置として構成してもよい（請求項７）。

本発明は、以下に示す優れた効果を奏するものである。
請求項１，６，７に記載の発明によれば、一以上の映像復号装置から送信される改善要求によって、符号化側において、画像内の領域ごとの符号化パラメータを制御することができる。これによって、画質の改善要求の多い領域については、優先的に画質を向上させるように制御することができる。

請求項２に記載の発明によれば、一以上の映像復号装置から送信される映像内の被写体の識別子によって、符号化側において、被写体の領域ごとに符号化パラメータを制御することができる。これによって、画質の改善要求の多い被写体については、被写体単位で、優先的に画質を向上させるように制御することができる。

請求項３に記載の発明によれば、一以上の映像復号装置から送信される改善要求が、被写体を特定する識別子であっても、領域を特定する画像座標であっても、対応する領域を特定し、画像内の領域ごとの符号化パラメータを制御することができる。

請求項４に記載の発明によれば、被写体の領域を映像内から認識して、識別子と対応付けることができるため、事前に、映像内の被写体領域と識別子とを準備しておく手間を省くことができる。

請求項５に記載の発明によれば、集計時間間隔内で過去の指定された領域であっても、現時点の領域に対応付けることができるため、画質の改善要求の多い領域の位置の精度を高めることができる。

本発明の実施形態に係る映像符号化制御装置を含む映像伝送システムの概要を説明するためのシステム構成図である。 本発明の第１実施形態に係る映像符号化制御装置を含む映像伝送システムの構成図である。 本発明の第１実施形態に係る映像符号化制御装置の集計手段が生成する得票マップの一例を示す図である。 本発明の第１実施形態に係る映像符号化制御装置を含む映像伝送システムの動作を示すシーケンス図である。 本発明の第２実施形態に係る映像符号化制御装置を含む映像伝送システムの構成図である。 本発明の第２実施形態に係る映像符号化制御装置の識別子集計手段が識別子を集計する例を示す図である。 本発明の第２実施形態に係る映像符号化制御装置の座標特定手段が得票マップを生成する例を示す図である。 本発明の第３実施形態に係る映像符号化制御装置を含む映像伝送システムの構成図である。 本発明の第４実施形態に係る映像符号化制御装置を含む映像伝送システムの構成図である。 本発明の第５実施形態に係る映像符号化制御装置を含む映像伝送システムの構成図である。 本発明の第５実施形態に係る映像符号化制御装置の動き推定手段と集計手段の処理を説明するための図である。 本発明の第６実施形態に係る映像伝送装置を含む映像伝送システムの構成図である。

以下、本発明の実施形態について図面を参照して説明する。
＜映像伝送システムの概要＞
最初に、図１を参照して、本発明の実施形態に係る映像伝送システムの概要について説明する。
映像伝送システムＳは、映像符号化装置１が、映像（動画像）を符号化して送信し、映像復号装置３において、符号化映像を復号して再生するものである。
ここでは、映像伝送システムＳは、図１に示すように、映像の送信側に、映像符号化装置１と映像符号化制御装置２とを備え、映像の受信側に、一以上の映像復号装置３（３_１，３_２，…，３_Ｎ：Ｎは自然数）を備えて構成している。

なお、映像符号化制御装置２と映像復号装置３とは、通信回線Ｎｔを介して接続されているものとする。また、映像符号化装置１と映像復号装置３とは、図１に示すように、通信回線Ｎｔを介して接続された形態であってもよいし、映像符号化装置１から、放送波によって、符号化映像を映像復号装置３に伝送する形態であっても構わない。
また、映像符号化装置１と映像符号化制御装置２とは、専用線で接続されているものとする。

この映像伝送システムＳは、映像符号化制御装置２が、一以上の映像復号装置３から送信される、画質を改善させたい領域を特定する改善要求データを集計し、改善要求の多い領域については、他の領域よりも相対的に高画質になるように、映像符号化装置１に対する領域ごとの符号化パラメータを制御する。
そして、映像伝送システムＳは、映像符号化装置１が、領域ごとの符号化パラメータに基づいて、入力映像を符号化し、映像復号装置３に送信する。

そして、映像伝送システムＳは、映像復号装置３が、符号化映像を復号して再生する。
このとき、符号化映像は、画質の改善要求が多かった領域については、他の領域に比べて相対的に高画質になるように符号化されているため、復号した際に、当該領域は、他の領域に比べて高画質で再生されることになる。
このように、映像伝送システムＳは、一以上の復号側（受信側）の映像復号装置３からの要求によって、符号化側（送信側）において、映像符号化制御装置２が、映像符号化装置１に対して、画像内の領域ごとの符号化パラメータを制御する。
以下、本発明の実施形態について、詳細に説明する。

＜映像伝送システムの構成：第１実施形態＞
まず、図２を参照して、本発明の第１実施形態に係る映像伝送システムＳの構成について説明する。映像伝送システムＳは、図１で説明したように、映像の送信側に、映像符号化装置１と映像符号化制御装置２とを備え、映像の受信側に、一以上の映像復号装置３（３_１，３_２，…，３_Ｎ）を備える。

〔映像符号化装置の構成〕
映像符号化装置１は、入力された映像（映像信号）を符号化して、映像復号装置３に送信するものである。図２に示すように、映像符号化装置１は、符号化手段１１を備える。

符号化手段１１は、映像符号化制御装置２から出力される符号化パラメータに基づいて、入力映像（映像信号）を符号化するものである。この符号化手段１１における符号化方式は、映像信号を圧縮伝送するための非可逆符号化方式、すなわち、入力映像と映像復号装置３において復号される復号映像との間に誤差が生じる符号化方式であればその方式を問わない。しかし、この符号化方式は、符号化／復号によって生じる誤差（すなわち、画質）を、画像の領域ごとに制御可能な方式であるものとする。
例えば、符号化手段１１における符号化方式は、ＭＰＥＧ−４ ＡＶＣ｜Ｈ．２６４や、現在規格化が進められているＨＥＶＣ（High Efficiency Video Coding）方式を用いることができる。

この符号化手段１１は、映像符号化制御装置２から出力される符号化パラメータ（より具体的には領域ごとの量子化パラメータ〔ＱＰ〕値）に基づいて、画像（フレーム）を指定された領域ごとに符号化する。すなわち、符号化手段１１は、映像符号化制御装置２から出力される量子化パラメータ値が大きな値であるほど、圧縮率を高めて符号化する。
なお、符号化手段１１は、符号化映像を伝送する帯域が制限されている場合、当該帯域に符号化映像のビットレートが収まるようにＱＰ制御を行うこととする。この場合、画質を高める領域に対して、他の領域は相対的に画質が劣化することになる。

そして、符号化手段１１は、符号化した映像（符号化映像）を、映像復号装置３（３_１，３_２，…，３_Ｎ）に送信する。ここでは、符号化手段１１は、図示を省略した通信制御手段によって、通信回線Ｎｔを介して、符号化映像をビットストリームとして送信する。もちろん、符号化手段１１は、放送データを送信する送信装置（不図示）に符号化映像を出力し、放送波を介して映像を伝送することとしてもよい。

〔映像符号化制御装置の構成〕
映像符号化制御装置２は、一以上の映像復号装置３から送信される改善要求データに基づいて、改善要求の多い領域が、他の領域よりも相対的に高画質になるように、映像符号化装置１を制御するものである。ここでは、映像符号化制御装置２は、集計手段２１と、符号化制御手段２２とを備える。

集計手段（領域集計手段）２１は、一以上の映像復号装置３から、通信回線Ｎｔを介して送信される改善要求データの数を集計し、映像の画質を改善させたい領域を決定するものである。
ここで、改善要求データは、それぞれの映像復号装置３から送信される、画質を改善させたい領域を特定する情報である。ここでは、改善要求データを、画質を改善させたい領域を画像座標によって記述したものとする。この画像座標によって領域を記述するには、領域を囲む矩形の代表点（例えば、左上座標と右下座標）や、領域の中心座標（領域の大きさは予め定めたものを用いる）といった表現形式とすることができる。

この集計手段２１は、改善要求データを集計する際に、改善要求があった領域を画像上で識別することが可能な集計結果として得票マップを生成する。この得票マップは、画像の場所（例えば、画素や予め定めた大きさのブロック）ごとに、改善要求データの数を累計し、その得票数を示したものである。

例えば、図３に示すように、映像復号装置３_１から改善要求データＤ_１（図３（ａ））、映像復号装置３_２から改善要求データＤ_２（図３（ｂ））、映像復号装置３_Ｎから改善要求データＤ_Ｎ（図３（ｃ））として、それぞれの網掛け部分で示す領域について画質を改善させたい旨が要求された場合、集計手段２１は、それぞれの領域に対応する場所（画素またはブロック）ごとに、改善要求データを累計する。
これによって、集計手段２１は、図３（ｄ）に示すように、改善要求の多い領域ほど、得票数が多い得票マップを生成することができる。
なお、集計手段２１が改善要求データを集計する間隔は、予め定めた任意の間隔でよい。例えば、集計手段２１は、入力映像のフレーム周期間隔で集計を行ってもよいし、複数フレームの周期間隔で集計を行ってもよい。
この集計手段２１は、集計結果（得票マップ）を、符号化制御手段２２に出力する。

符号化制御手段２２は、集計手段２１で集計された集計結果（得票マップ）に基づいて、映像符号化装置１の符号化手段１１の符号化パラメータを制御するものである。
すなわち、符号化制御手段２２は、集計手段２１で集計された得票マップにおいて、得票数が多い領域ほど、画質がよくなるように領域ごとの符号化パラメータを制御する。具体的には、符号化制御手段２２は、得票数が多い領域ほど、符号化パラメータとなる量子化パラメータ（ＱＰ）値を小さい値に設定する。
このように、得票数が多い領域ほど量子化パラメータ値を小さくすることで、符号化手段１１において、量子化による情報量の削減が抑えられるため、当該領域を高画質化することができる。
この符号化制御手段２２は、量子化パラメータ値を設定した領域ごとの符号化パラメータを、映像符号化装置１（符号化手段１１）に出力する。

以上説明したように、映像符号化制御装置２を構成することで、映像符号化制御装置２は、映像復号装置３からの改善要求に応じて、映像符号化装置１が行う映像の符号化において、領域ごとに画質を変化させる制御を行うことができる。

なお、ここでは、図３で説明したように、改善要求データとして通知される画像座標で特定される矩形の領域を、そのまま画質を改善させたい領域として用いた。しかし、その領域の大きさは、必ずしも指定された領域の大きさとする必要はない。例えば、集計手段２１は、指定された領域の画像座標の平均（位置ベクトルの相加平均）値を、画質を改善させたい領域の代表点とし、当該代表点を中心点とする予め定めた大きさの領域を、画質を改善する領域としてもよい。これによって、例えば、画面全体に対して画質の改善要求が通知され、相対的にどの領域の画質を改善させたいのかが特定できない場合であっても、画面の中心部分の領域の画質を改善することができる。

〔映像復号装置の構成〕
映像復号装置３は、映像符号化装置１で符号化された映像（符号化映像）を取得（受信）し、復号することで、映像を再生するものである。図２に示すように、映像復号装置３は、復号手段３１と、表示手段３２と、入力手段３３と、改善要求手段３４と、を備える。

復号手段３１は、符号化手段１１が行う符号化と対となるものであって、符号化手段１１から出力されるビットストリーム（符号化映像）を、通信制御手段（不図示）によって、通信回線Ｎｔを介して取得し、映像（映像信号）に復号するものである。復号手段３１は、復号した映像を、表示手段３２に出力する。

表示手段３２は、復号手段３１で復号された映像を表示するものである。例えば、表示手段３２は、液晶ディスプレイ、プラズマディスプレイ、ブラウン管、プロジェクタ等の任意のデバイスを用いることができる。

入力手段３３は、表示手段３２に表示された映像で、視認者（視聴者）が、より高画質に見たいと欲した位置（領域）を入力するものである。例えば、入力手段３３は、マウス、タッチパネル等によって、視認者の操作により、表示手段３２の画面上における位置や領域を入力する。
また、この入力手段３３は、例えば、表示手段３２の近傍に設置されたカメラ（不図示）から視認者を撮影し、その撮影映像から、視認者が画面を注視している位置を検出する視線検出装置を用いて、画面上の位置や領域を入力することとしてもよい。
この入力手段３３は、入力された画面上の位置や領域を特定する画像座標を、改善要求手段３４に出力する。

改善要求手段３４は、入力手段３３で入力された画面上の位置や領域を特定する画像座標を、改善要求データとして生成し、通信制御手段（不図示）によって、通信回線Ｎｔを介して、映像符号化制御装置２に送信するものである。
以上説明したように映像復号装置３を構成することで、映像復号装置３は、視認者が映像中の画質を高めたい位置や領域を、映像符号化装置１を制御する映像符号化制御装置２に要求することができる。

＜映像伝送システムの動作＞
次に、図４を参照（構成については適宜図２参照）して、本発明の第１実施形態に係る映像伝送システムＳの動作について説明する。
まず、映像符号化装置１は、外部から映像を入力する（ステップＳ１）。そして、映像符号化装置１は、符号化手段１１によって、ステップＳ１で入力された映像を、画像の領域ごとに画質を制御可能な符号化方式によって符号化する（ステップＳ２）。

なお、符号化手段１１は、ステップＳ２において、予め定めた初期値の符号化パラメータで映像を符号化し、後記するステップＳ７で、映像符号化制御装置２から領域ごとの符号化パラメータが通知された段階で、その符号化パラメータを用いて映像を符号化する。
これによって、映像符号化装置１は、映像符号化制御装置２からの制御によって、領域ごとに画質を変えて映像の符号化を行う。
このステップＳ２で符号化された映像（符号化映像）は、通信制御手段（不図示）によって、通信回線Ｎｔを介して、映像復号装置３（３_１，３_２，…，３_Ｎ）に、ビットストリームとして送信される（ステップとして不図示）。

そして、映像復号装置３は、通信制御手段（不図示）によって、通信回線Ｎｔを介して、符号化映像をビットストリームとして受信する（ステップとして不図示）。
そして、映像復号装置３は、復号手段３１によって、受信した符号化映像を復号し、表示手段３２によって、画面上に再生映像を表示する（ステップＳ３）。なお、映像復号装置３_１，３_２，…，３_Ｎは、それぞれ同じ動作であるため、以降の動作は、１つの映像復号装置３（例えば、３_１）についてのみ説明する。

ここで、映像復号装置３は、視認者が画質を改善したいと思うタイミングで、入力手段３３によって、画面上の再生映像において画質を改善したいと思う位置（領域）を、視認者の操作により入力する（ステップＳ４）。もちろん、ここで、視認者が画質の改善を望まなければ以降の動作は行われない。
そして、映像復号装置３は、改善要求手段３４によって、ステップＳ４で入力された画面上の位置（領域）を特定する画像座標を、改善要求データとして生成する（ステップＳ５）。このステップＳ５で生成された改善要求データは、通信制御手段（不図示）によって、通信回線Ｎｔを介して、映像符号化制御装置２に送信される（ステップとして不図示）。

一方、映像符号化制御装置２は、通信制御手段（不図示）によって、通信回線Ｎｔを介して、改善要求データを受信する（ステップとして不図示）。
そして、映像符号化制御装置２は、集計手段２１によって、一以上の映像復号装置３から受信した改善要求データを集計する（ステップＳ６）。ここでは、集計手段２１は、改善要求データで特定される領域を、画像の場所（画素またはブロック）ごとに累計し、得票マップ（図３参照）を生成する。

そして、映像符号化制御装置２は、符号化制御手段２２によって、ステップＳ６で集計された改善要求データの集計結果である得票マップに基づいて、映像符号化装置１の符号化手段１１の符号化パラメータを生成する（ステップＳ７）。ここでは、符号化制御手段２２は、得票マップにおいて、得票数が多い領域ほど、画質がよくなるように領域ごとの量子化パラメータ値を小さく設定した符号化パラメータを生成する。

そして、映像符号化制御装置２が、符号化制御手段２２で生成した符号化パラメータを映像符号化装置１に出力することで、ステップＳ２において、映像符号化装置１の符号化手段１１において、符号化パラメータに基づいて符号化が制御される。
以上の動作によって、映像伝送システムＳは、映像復号装置３からの画質の改善要求の多い領域について、相対的に他の領域よりも画質を改善させることができる。

＜映像伝送システムの構成：第２実施形態＞
次に、図５を参照して、本発明の第２実施形態に係る映像伝送システムＳ_Ａの構成について説明する。映像伝送システムＳ_Ａは、映像の送信側に、映像符号化装置１と映像符号化制御装置２Ａとを備え、映像の受信側に、一以上の映像復号装置３Ａ（３Ａ_１，３Ａ_２，…，３Ａ_Ｎ）を備える。

映像伝送システムＳ（図２参照）では、改善要求データとして、画像上の位置（領域）を画像座標で示した情報を用いた。しかし、映像伝送システムＳ_Ａでは、改善要求データとして、画像上に表示される被写体の識別子を用いる。
映像符号化装置１は、図２で説明したものと同じものであるため説明を省略する。

映像符号化制御装置２Ａは、一以上の映像復号装置３Ａから送信される改善要求データに基づいて、改善要求の多い被写体の領域が、他の領域よりも相対的に高画質になるように、映像符号化装置１を制御するものである。ここでは、映像符号化制御装置２Ａは、集計手段２１Ａと、符号化制御手段２２と、を備える。なお、符号化制御手段２２は、図２で説明したものと同じものであるため説明を省略する。

集計手段２１Ａは、一以上の映像復号装置３Ａから、通信回線Ｎｔを介して送信される改善要求データを集計し、映像の画質を改善させたい領域を決定するものである。
ここで、改善要求データは、それぞれの映像復号装置３Ａから送信される、画質を改善させたい領域となる被写体を特定する情報である。この改善要求データは、被写体を識別可能な情報（識別子）であれば特に限定する必要はない。例えば、識別子として、視認者（視聴者）が既知の被写体の名称（例えば、役者名、歌手名等）、あるいは、予め被写体と対応付けたＩＤ情報（数値、リモコン装置のボタン番号等）である。

なお、予め被写体と対応付けたＩＤ情報は、例えば、映像制作者等が映像を制作する際にその情報を映像に重畳しておき、映像復号装置３Ａにおいてその対応付けを映像とともに表示することで、受信側の視認者に通知すればよい。あるいは、映像をデジタル放送で送信する場合であれば、被写体とＩＤ情報（例えば、リモコン装置の色ボタン等）とを対応付けた情報をデータ放送で配信することとしてもよい。
ここでは、集計手段２１Ａは、識別子集計手段２１１と、座標特定手段２１２と、を備える。

識別子集計手段２１１は、一以上の映像復号装置３Ａから、通信回線Ｎｔを介して送信される改善要求データを、被写体の識別子ごとに集計するものである。
例えば、図６（ａ）に示すように、識別子が予め与えられた被写体（ここでは、人物、黒板、演台）が映像上に表示されている場合に、識別子集計手段２１１は、図６（ｂ）に示すように、改善要求データで示される識別子ごとの得票数を累計する。
なお、識別子集計手段２１１が改善要求データを集計する間隔は、予め定めた任意の間隔でよい。例えば、識別子集計手段２１１は、入力映像のフレーム周期間隔で集計を行ってもよいし、複数フレームの周期間隔で集計を行ってもよい。
この識別子集計手段２１１は、集計結果（識別子別得票数）を、座標特定手段２１２に出力する。

座標特定手段２１２は、被写体の識別子と現時点において当該被写体が表示されている画像上の領域とを対応付けた識別子領域情報と、識別子集計手段２１１で集計された識別子別得票数とに基づいて、画質を改善させたい被写体の画像上の領域を特定し、画質を改善させたい領域（画像座標）を決定するものである。なお、識別子領域情報は、予め映像制作者等が手作業によって、時間ごとの被写体の識別子と、被写体の画像上の領域とを時系列に対応付けて作成しておくものとする。
ここでは、座標特定手段２１２は、識別子集計手段２１１で集計された識別子別の得票数に応じて、識別子領域情報で特定される識別子に対応する領域に得票数を割り当てた得票マップを生成する。

例えば、識別子集計手段２１１において集計された集計結果が図６（ｂ）に示す識別子別得票数であり、識別子領域情報で特定されるそれぞれの識別子（１〜３）の領域が、図７（ａ）〜（ｃ）であった場合、座標特定手段２１２は、図７（ｄ）に示す得票マップを生成する。
すなわち、座標特定手段２１２は、画像上の識別子の領域に対応する場所（画素またはブロック）に、当該識別子に対応する得票数を割り当てる。ここで、識別子の領域が重なった領域については、それぞれの識別子に対応する得票数の和を割り当てることとする。
なお、識別子の領域が重なった領域については、当該識別子の中で最大得票数を割り当ててもよいし、同じ領域の識別子の得票数の平均値を割り当ててもよい。
この座標特定手段２１２は、領域に対応した集計結果である得票マップを、符号化制御手段２２に出力する。
これによって、符号化制御手段２２は、得票マップに基づいて、映像符号化装置１の符号化手段１１の符号化パラメータを制御することが可能になる。

以上説明したように、映像符号化制御装置２Ａを構成することで、映像符号化制御装置２Ａは、映像復号装置３Ａからの改善要求として通知される被写体の識別子に応じて、映像符号化装置１が行う映像の符号化において、被写体の領域ごとに画質を変化させる制御を行うことができる。

〔映像復号装置の構成〕
映像復号装置３Ａは、映像符号化装置１で符号化された映像（符号化映像）を取得（受信）し、復号することで、映像を再生するものである。図５に示すように、映像復号装置３Ａは、復号手段３１と、表示手段３２と、入力手段３３Ａと、改善要求手段３４Ａと、を備える。なお、復号手段３１および表示手段３２は、図２で説明したものと同じものであるため説明を省略する。

入力手段３３Ａは、表示手段３２に表示された映像で、視認者（視聴者）が、より高画質で見たい被写体を特定する識別子を入力するものである。例えば、入力手段３３Ａは、キーボード等によって、視認者の操作により、表示手段３２の画面上に表示されている被写体の名称（役者名等）を識別子として入力する。
また、例えば、入力手段３３Ａは、リモコン装置等によって、視認者の操作により、被写体と予め対応付けられたボタンを押下されることで、被写体の識別子（ボタン番号等）を入力する。
この入力手段３３Ａは、入力された被写体の識別子を、改善要求手段３４Ａに出力する。

改善要求手段３４Ａは、入力手段３３Ａで入力された被写体の識別子を、改善要求データとして生成し、通信制御手段（不図示）によって、通信回線Ｎｔを介して、映像符号化制御装置２Ａに送信するものである。
以上説明したように映像復号装置３Ａを構成することで、映像復号装置３Ａは、視認者が映像中の画質を高めたい被写体の識別子を、映像符号化装置１を制御する映像符号化制御装置２Ａに要求することができる。

なお、このように構成した映像伝送システムＳ_Ａの全体の動作は、図４で説明した映像伝送システムＳの動作と同じである。
ただし、ステップＳ４において、映像伝送システムＳでは、画面上の位置や領域を入力したが、映像伝送システムＳ_Ａでは、被写体の識別子を入力することになる。
また、ステップＳ６において、映像伝送システムＳでは、画像の場所（画素またはブロック）ごとに改善要求データを累計し、領域ごとの得票マップを生成したが、映像伝送システムＳ_Ａでは、識別子集計手段２１１で識別子を集計した後、座標特定手段２１２で領域ごとの得票マップに変換する。

＜映像伝送システムの構成：第３実施形態＞
次に、図８を参照して、本発明の第３実施形態に係る映像伝送システムＳ_Ｂの構成について説明する。映像伝送システムＳ_Ｂは、映像の送信側に、映像符号化装置１と映像符号化制御装置２Ｂとを備え、映像の受信側に、一以上の映像復号装置３Ａ（３Ａ_１，３Ａ_２，…，３Ａ_Ｎ）を備える。

図５で説明した本発明の第２実施形態に係る映像伝送システムＳ_Ａでは、映像符号化制御装置２Ａの集計手段２１Ａが、被写体の識別子と当該被写体の画像上の領域との対応関係を、外部から入力される予め作成された識別子領域情報によって認識した。しかし、この対応関係は、映像上の被写体を画像認識することで行ってもよい。
すなわち、図８に示した映像伝送システムＳ_Ｂのように、映像符号化制御装置２Ａ（図５参照）に、被写体認識手段２３を付加して映像符号化制御装置２Ｂとして構成してもよい。なお、映像符号化装置１および映像復号装置３Ａは、図５で説明したものと同じものである。また、映像符号化制御装置２Ｂの被写体認識手段２３以外の構成は、図５で説明した映像符号化制御装置２Ａと同じものである。

被写体認識手段２３は、映像から被写体領域を認識するものである。この被写体認識手段２３は、映像符号化装置１に入力される映像を同期して入力し、当該映像中に登場する被写体を認識し、当該被写体の領域を逐次検出する。
例えば、被写体認識手段２３は、一般的な顔検出技術を用いて、フレーム画像ごとに顔領域を認識して当該領域の特徴量を抽出する。そして、被写体認識手段２３は、被写体の識別子と、当該被写体の顔特徴量とを予め対応付けて記憶した記憶手段（不図示）を参照して、抽出した顔領域の特徴量が類似する被写体の識別子と、当該顔領域近傍の領域とを時系列に対応付けて、識別子領域情報として生成する。
もちろん、被写体認識手段２３は、色情報、テクスチャ等の特徴量によって認識可能な被写体であれば、人物の認識に限定されるものではない。

＜映像伝送システムの構成：第４実施形態＞
次に、図９を参照して、本発明の第４実施形態に係る映像伝送システムＳ_Ｃの構成について説明する。映像伝送システムＳ_Ｃは、映像の送信側に、映像符号化装置１と映像符号化制御装置２Ｃとを備え、映像の受信側に、一以上の映像復号装置３を備える。

図２で説明した映像伝送システムＳは、映像復号装置３から、視認者が画質の改善を望む位置（画像座標）を改善要求データとして送信するものであった。また、図５（図８）で説明した映像伝送システムＳ_Ａ（Ｓ_Ｂ）は、映像復号装置３Ａから、被写体の識別子を改善要求データとして送信するものであった。
しかし、これらの映像復号装置３，３Ａは両方が混在してもよく、また、画質の改善を望む位置（画像座標）や被写体の識別子を視認者が選択して改善要求データとして送信する映像復号装置３Ｂが存在してもよい。

図９に示した映像伝送システムＳ_Ｃは、改善要求データとして、視認者が画質の改善を望む位置（画像座標）や、被写体の識別子が混在して要求可能なシステムである。
なお、映像復号装置３は、視認者が画質の改善を望む位置（画像座標）を改善要求データとして要求するもので、図２で説明したものと同じものである。また、映像復号装置３Ａは、視認者が画質の改善を望む被写体の識別子を改善要求データとして要求するもので、図５で説明したものと同じものである。
また、映像復号装置３Ｂは、映像復号装置３と映像復号装置３Ａとの両方の機能を備え、位置（画像座標）または被写体の識別子を、適宜視認者が選択して、改善要求データとして要求するものである。
なお、改善要求データには、送信するデータが、位置（画像座標）であるのか、被写体の識別子であるのかを示す情報が含まれていることはいうまでもない。

映像符号化制御装置２Ｃは、一以上の映像復号装置３（３，３Ａ，３Ｂ）から送信される改善要求データに基づいて、改善要求の多い領域（位置（画像座標）で指定される領域や識別子で指定される被写体の領域）が、他の領域よりも相対的に高画質になるように、映像符号化装置１を制御するものである。ここでは、映像符号化制御装置２Ｃは、集計手段２１Ｃと、符号化制御手段２２、とを備える。また、集計手段２１Ｃは、識別子集計手段２１１と、座標特定手段２１２と、領域集計手段２１３と、領域統合手段２１４と、を備える。
なお、符号化制御手段２２は、図２で説明した映像符号化制御装置２と同じものであり、識別子集計手段２１１および座標特定手段２１２は、図５で説明した映像符号化制御装置２Ａと同じものであるため、説明を省略する。ただし、座標特定手段２１２の出力先は、領域統合手段２１４とする。

領域集計手段２１３は、一以上の映像復号装置３（３，３Ａ，３Ｂ）から送信される改善要求データのうちで、位置（画像座標）で指定される画質を改善させたい領域を集計するものである。すなわち、この領域集計手段２１３は、図２で説明した集計手段２１と同じ機能を有する。
ここでは、領域集計手段２１３は、集計手段２１（図２参照）と同様に、画像の場所（画素またはブロック）ごとに、改善要求データの得票数を累計した得票マップ（図３（ｄ）参照）を生成する。なお、領域集計手段２１３が改善要求データを集計するタイミングは、識別子集計手段２１１と同じタイミングで行うこととする。
この領域集計手段２１３は、位置で指定された集計結果（得票マップ）を、領域統合手段２１４に出力する。

領域統合手段２１４は、座標特定手段２１２で生成される、識別子で指定された改善要求データを被写体領域ごとに集計した得票マップと、領域集計手段２１３で生成される、位置（画像座標）で指定された改善要求データをその位置で特定される領域ごとに集計した得票マップとを統合するものである。
すなわち、領域統合手段２１４は、座標特定手段２１２で生成される得票マップ（例えば、図７（ｄ））と、領域集計手段２１３で生成される得票マップ（例えば、図３（ｄ））とについて、画像上の場所（画素またはブロック）ごとに、例えば、得票数の和を割り当てて新たな得票マップを生成する。
この領域統合手段２１４は、領域に対応した集計結果である得票マップを、符号化制御手段２２に出力する。
これによって、符号化制御手段２２は、得票マップに基づいて、映像符号化装置１の符号化手段１１の符号化パラメータを制御することが可能になる。

以上説明したように、映像符号化制御装置２Ｃを構成することで、映像符号化制御装置２Ｃは、映像復号装置３（３，３Ａ，３Ｂ）からの改善要求として通知される位置（画像座標）や被写体の識別子に応じて、映像符号化装置１が行う映像の符号化において、被写体の領域ごとに画質を変化させる制御を行うことができる。
また、映像伝送システムＳ_Ｃの映像符号化制御装置２Ｃは、図８で説明した映像符号化制御装置２Ｂと同様に、被写体認識手段２３をさらに備える構成としてよい。

なお、このように構成した映像伝送システムＳ_Ｃの全体の動作は、図４で説明した映像伝送システムＳの動作と同じである。
ただし、ステップＳ４において、映像伝送システムＳでは、画面上の位置や領域を入力したが、映像伝送システムＳ_Ｃでは、位置（領域）または被写体の識別子を入力する。

また、ステップＳ６において、映像伝送システムＳでは、画像の場所（画素またはブロック）ごとに改善要求データを累計し、領域ごとの得票マップを生成した。しかし、映像伝送システムＳ_Ｃでは、ステップＳ６において、以下の動作を行う。すなわち、映像伝送システムＳ_Ｃは、改善要求データとして位置（領域）が通知された場合、領域集計手段２１３によって、領域ごとの得票マップを生成する。また、改善要求データとして識別子が通知された場合、識別子集計手段２１１によって識別子を集計した後、座標特定手段２１２で領域ごとの得票マップに変換する。そして、映像伝送システムＳ_Ｃは、領域統合手段２１４によって、座標特定手段２１２で生成された得票マップと、領域集計手段２１３で生成された得票マップとを統合する。

＜映像伝送システムの構成：第５実施形態＞
次に、図１０を参照して、本発明の第５実施形態に係る映像伝送システムＳ_Ｄの構成について説明する。映像伝送システムＳ_Ｄは、映像の送信側に、映像符号化装置１と映像符号化制御装置２Ｄとを備え、映像の受信側に、一以上の映像復号装置３（３_１，３_２，…，３_Ｎ）を備える。

図２で説明した本発明の第１実施形態に係る映像伝送システムＳでは、映像符号化制御装置２の集計手段２１が、所定の間隔で改善要求データを集計した。しかし、動きのある映像の場合、映像内で要求された位置は、その時間間隔内で場所が移動する場合がある。そこで、映像伝送システムＳ_Ｄは、改善要求のあった位置の動きを推定して画質を改善させることとした。映像符号化装置１および映像復号装置３は、図２で説明したものと同じものであるため、説明を省略する。

映像符号化制御装置２Ｄは、一以上の映像復号装置３から送信される改善要求データの位置（領域）の動きを推定しつつ、改善要求の多い領域が、他の領域よりも相対的に高画質になるように、映像符号化装置１を制御するものである。ここでは、映像符号化制御装置２Ｄは、集計手段２１Ｄと、符号化制御手段２２と、動き推定手段２４と、を備える。なお、符号化制御手段２２は、図２で説明したものと同じものであるため説明を省略する。以下、動き推定手段２４、集計手段２１Ｄの順に説明する。

動き推定手段２４は、映像のフレーム間で位置の対応付けを行うものである。なお、動き推定手段２４は、映像符号化装置１に入力される映像を同期して入力し、当該映像のフレームごとで位置の対応付けを行う。
例えば、動き推定手段２４は、ある時点におけるフレームを予め定めた大きさのブロックに分割し、各ブロックが別のフレームにおいてどの位置に対応するのか、すなわち、画像特徴量が類似する領域がどこであるのかを求めることで、位置の対応付けを行う。この動き推定手段２４は、例えば、ブロックマッチングによって、ブロックのフレーム間における位置の対応付けを行うことができる。

ここでは、動き推定手段２４は、集計間隔の時間分のフレームを逐次図示を省略したメモリに記憶する。そして、動き推定手段２４は、集計タイミングにおけるフレームを予め定めたブロックに分割し、過去のフレームに対して位置の対応付けを行う。
この動き推定手段２４は、各ブロックについて、過去のフレームごとの動き量を、集計手段２１Ｄに出力する。この動き量は、例えば、ブロックの水平方向および垂直方向の各移動量を対とした動きベクトルとすることができる。

集計手段（領域集計手段）２１Ｄは、一以上の映像復号装置３から、通信回線Ｎｔを介して送信される改善要求データを予め定めた大きさのブロックごとに集計し、映像の画質を改善させたい領域を決定するものである。
ここで、集計手段２１Ｄは、動き推定手段２４から出力される動き量に基づいて、集計時間間隔内で現時点よりも前のフレームにおいて改善要求のあった位置（領域）については、動き量分移動させた位置（領域）に対応する現時点のフレームのブロックとして集計する。
なお、集計手段２１Ｄは、集計手段２１（図２参照）と同様に、ブロックごとに集計した得票数を得票マップとして、符号化制御手段２２に出力する。

ここで、図１１を参照（適宜図１０参照）して、映像符号化制御装置２Ｄの動き推定手段２４および集計手段２１Ｄの処理内容について具体的に説明する。
図１１（ａ）において、（ａ−１）は、現時点（ｋ：ｋは整数）のフレーム（第ｋフレーム）を示している。また、（ａ−２）は、現時点（ｋ）よりも１フレーム前のフレーム（第（ｋ−１）フレーム）を示している。また、（ａ−３）は、現時点（ｋ）よりも２フレーム前のフレーム（第（ｋ−２）フレーム）を示している。なお、ここでは、説明を簡略化するため過去２フレーム分までのフレームを示しているが、このフレーム数は、予め定めた集計時間間隔に対応するフレーム数である。

また、図１１（ｂ）〜（ｄ）は、映像復号装置３_１，３_２，３_Ｎから要求された改善要求データＤ_１，Ｄ_２，Ｄ_Ｎを示している。ここで、（ｂ−１）は、現時点（第ｋフレーム）において、改善要求データＤ_１として、位置（領域）Ｄ_１０が要求されたことを示している。また、（ｂ−３）は、現時点（ｋ）よりも２フレーム前に、改善要求データＤ_１として、位置（領域）Ｄ_１２が要求されたことを示している。

同様に、（ｃ−２）は、現時点（ｋ）よりも１フレーム前に、改善要求データＤ_２として、位置（領域）Ｄ_２１が要求されたことを示している。また、（ｄ−２）は、現時点（ｋ）よりも１フレーム前に、改善要求データＤ_Ｎとして、位置（領域）Ｄ_Ｎ１が要求されたことを示している。これら以外の（ｂ−２），（ｃ−１），（ｃ−３），（ｄ−１），（ｄ−３）は、改善要求データがなかったことを示している。
また、図１１（ｅ）は、これらの改善要求データによって生成される得票マップの例を示している。

図１１（ａ）の（ａ−１）に示すように、動き推定手段２４は、現時点のフレーム（第ｋフレーム）を予め定めたブロック（ａ〜ｆ）に分割する。なお、この分割数は、一例であって、この数に限定されるものではない。
そして、動き推定手段２４は、（ａ−１）の第ｋフレームの各ブロックが、（ａ−２）の第（ｋ−１）フレームのどの位置に対応するのか、また、（ａ−３）の第（ｋ−２）フレームのどの位置に対応するのかを、ブロックマッチングによってそれぞれ推定（対応付け）する。

一方、集計手段２１Ｄは、現時点（集計時点）において、ブロックごとに、第ｋ〜第（ｋ−２）フレームにおいて要求された改善要求データを集計する。
図１１の例では、第（ｋ−２）フレームにおいて要求された位置Ｄ_１２は、現時点におけるブロックａ，ｄの領域内の位置に対応する。
また、第（ｋ−１）フレームにおいて要求された位置Ｄ_２１は、現時点におけるブロックｅの領域内の位置に対応する。また、第（ｋ−１）フレームにおいて要求された位置Ｄ_Ｎ１は、現時点におけるブロックｄの領域内の位置に対応する。
また、第ｋフレームにおいて要求された位置Ｄ_１０は、現時点におけるブロックｄの領域内の位置に対応する。

そして、集計手段２１Ｄは、現時点のブロックａ〜ｆに対して通知された改善要求データをブロックごとに集計する。図１１の例では、集計手段２１Ｄは、ブロックａ，ｄ，ｅに対する改善要求データを集計することになる。なお、（ｂ−３）の第（ｋ−２）フレームにおける位置Ｄ_１２は、現時点のブロックａ，ｄの領域に跨っている。そこで、集計手段２１Ｄは、その跨った領域については、１票をその跨った領域数で除した数（小数）を票数として累計することとする。すなわち、ブロックａ，ｄには、それぞれ０．５票ずつ累計する。これによって、集計手段２１Ｄは、現時点（ｋ）において、図１１（ｅ）のような得票マップを生成する。

なお、ここでは、集計手段２１Ｄは、改善要求のあった位置（領域）がブロックを跨った場合に、１票を領域数で除した数をそれぞれのブロックに累計することとしたが、それぞれのブロックで１票ずつ累計することとしてもよい。また、改善要求のあった位置（領域）がブロックを跨った場合、集計手段２１Ｄは、跨ったブロックの面積に応じて（例えば、比例して）、各ブロックに１票を分配しても構わない。
また、ここでは、集計手段２１Ｄは、現時点（ｋ）のフレームと、過去のフレームとを同等に扱ったが、得票数に重みをつけ、例えば、より過去のフレーム、すなわち、現時点のフレームから時間的に離れたフレームほど、重みを小さくして票数を累計することとしてもよい。

以上説明したように、映像符号化制御装置２Ｄを構成することで、映像符号化制御装置２Ｄは、過去に改善要求された位置が時間経過とともに変化する場合であっても、現時点における対応する改善要求された位置を推定して、画質を改善するように、映像符号化装置１を制御することができる。

なお、ここでは、第１実施形態で説明した映像符号化制御装置２（図２参照）に、動き推定手段２４を付加した映像符号化制御装置２Ｄの実施形態について説明したが、この動き推定手段２４は、他の実施形態の映像符号化制御装置に付加しても構わない。

例えば、第２実施形態で説明した映像符号化制御装置２Ａ（図５参照）に、動き推定手段２４を付加する場合、動き推定手段２４で推定したフレームのブロックごとの動き量（動きベクトル）を、座標特定手段２１２が入力することとする。
この場合、識別子集計手段２１１は、フレーム周期間隔で識別子を集計する。そして、座標特定手段２１２は、識別子集計手段２１１で集計されたフレーム周期間隔の識別子（識別子別得票数：図６（ｂ）参照）を、動き推定手段２４で推定した動き量（動きベクトル）に応じて、画像（集計時点のフレーム）上の識別子の領域に対応する場所（画素またはブロック）に、当該識別子に対応する得票数を割り当てる処理を予め定めたフレーム数分行い、集計時間間隔分の集計結果である得票マップ（図７（ｄ）参照）を生成する。
この処理は、第３実施形態で説明した映像符号化制御装置２Ｂ（図８参照）に、動き推定手段２４を付加する場合も同様である。

また、例えば、第４実施形態で説明した映像符号化制御装置２Ｃ（図９参照）に、動き推定手段２４を付加する場合、動き推定手段２４で推定したフレームのブロックごとの動き量（動きベクトル）を、座標特定手段２１２および領域集計手段２１３が入力することとする。
この場合、識別子集計手段２１１および座標特定手段２１２は、第２実施形態で説明した映像符号化制御装置２Ａ（図５参照）に、動き推定手段２４を付加する場合と同様の処理を行うこととする。
また、領域集計手段２１３は、第５実施形態で説明した映像符号化制御装置２Ｄ（図１０参照）の集計手段２１Ｄと同様の処理を行うこととする。
これによって、領域統合手段２１４では、集計時間間隔内において、過去のフレームの領域を現時点のフレームの領域に変換した集計結果で統合された得票マップが生成されることになる。

以上、本発明の実施形態について種々説明したが、映像伝送システムＳ（Ｓ_Ａ，Ｓ_Ｂ，Ｓ_Ｃ、Ｓ_Ｄ）を構成する映像符号化装置１、映像符号化制御装置２（２Ａ，２Ｂ，２Ｃ，２Ｄ）、および、映像復号装置３（３Ａ，３Ｂ）は、それぞれ、コンピュータを、前記した内部構成の各手段として機能させるためのプログラム（映像符号化プログラム、映像符号化制御プログラム、映像復号プログラム）で動作させることができる。

なお、ここでは、映像符号化装置１と映像符号化制御装置２（２Ａ，２Ｂ，２Ｃ，２Ｄ）とを、専用線で接続した別構成として映像伝送システムを構成したが、映像符号化装置１と映像符号化制御装置２（２Ａ，２Ｂ，２Ｃ，２Ｄ）とを１つの構成（映像伝送装置）として映像伝送システムを構成してもよい。例えば、図１２に示すように、映像符号化装置１と映像符号化制御装置２とを１つの構成とした映像伝送装置４として構成し、映像伝送装置４と一以上の映像復号装置３（３_１，３_２，…，３_Ｎ）からなる映像伝送システムＳ_Ｅとして構成してもよい。

Ｓ 映像伝送システム
１ 映像符号化装置
１１ 符号化手段
２ 映像符号化制御装置
２１ 集計手段
２１１ 識別子集計手段
２１２ 座標特定手段
２１３ 領域集計手段
２１４ 領域統合手段
２２ 符号化制御手段
２３ 被写体認識手段
２４ 動き推定手段
３ 映像復号装置
３１ 復号手段
３２ 表示手段
３３ 入力手段
３４ 改善要求手段
４ 映像伝送装置

Claims (7)

1. 映像を構成する画像内の任意の領域ごとに符号量制御が可能な符号化方式を用いて前記映像を符号化する映像符号化装置と、当該映像符号化装置の符号化における各領域の符号量を制御する映像符号化制御装置と、符号化された映像を再生するとともに、再生映像を視認した視認者によって画質を改善させたい領域を特定する情報の入力を受け付け、前記映像符号化制御装置に改善要求データとして送信する一以上の映像復号装置と、を備えた映像伝送システムにおける前記映像符号化制御装置であって、
   前記一以上の映像復号装置から前記改善要求データとして送信される、前記画像内の画質を改善させたい領域で特定される画素または予め定めた大きさのブロックごとに、当該改善要求データの数を、予め定めた集計時間間隔で集計する集計手段と、
   この集計手段で集計された集計結果において、得票数が多い画像内の領域ほど量子化パラメータ値を小さく設定した符号化パラメータを生成し、前記映像符号化装置に出力する符号化制御手段と、
   を備えることを特徴とする映像符号化制御装置。
2. 前記改善要求データが、画質を改善させたい領域を特定する情報として、被写体を特定するための識別子を含み、
   前記集計手段は、
   前記一以上の映像復号装置から送信される識別子を集計する識別子集計手段と、
   予め定めた前記識別子と当該識別子で特定される画像上の被写体の領域との時系列の対応関係を示す識別子領域情報に基づいて、前記識別子集計手段で集計された識別子ごとの集計結果を、当該識別子に対応する画像上の領域で特定される画素または予め定めた大きさのブロックごとの集計結果に変換する座標特定手段と、
   を備えることを特徴とする請求項１に記載の映像符号化制御装置。
3. 前記改善要求データが、画質を改善させたい領域を特定する情報として、被写体を特定するための識別子、または、前記画質を改善させたい領域を特定する画像座標を含み、
   前記集計手段は、
   前記一以上の映像復号装置から前記改善要求データとして送信される識別子を集計する識別子集計手段と、
   予め定めた前記識別子と当該識別子で特定される画像上の被写体の領域との時系列の対応関係を示す識別子領域情報に基づいて、前記識別子集計手段で集計された識別子ごとの集計結果を、当該識別子に対応する画像上の領域で特定される画素または予め定めた大きさのブロックごとの集計結果に変換する座標特定手段と、
   前記一以上の映像復号装置から前記改善要求データとして送信される、前記画像内の画質を改善させたい領域で特定される画素または予め定めた大きさのブロックごとに、当該改善要求データの数を、予め定めた集計時間間隔で集計する領域集計手段と、
   前記座標特定手段で変換された集計結果と、前記領域集計手段で集計された集計結果とを加算して統合した集計結果を生成する領域統合手段と、
   を備えることを特徴とする請求項１に記載の映像符号化制御装置。
4. 予め識別子と対応付けた被写体の画像特徴量に基づいて、前記映像から被写体の領域を認識し、前記識別子と当該識別子で特定される画像上の被写体の領域との時系列の対応関係を示す前記識別子領域情報を生成する被写体認識手段をさらに備えることを特徴とする請求項２または請求項３に記載の映像符号化制御装置。
5. 前記映像から、画像特徴量に基づいて、フレームの予め定めた大きさのブロックごとに、複数のフレームにおける位置を対応付けることで、ブロックごとの動き量を推定する動き推定手段をさらに備え、
   前記集計手段は、集計時間間隔内における過去のフレームにおいて要求された領域を、前記動き推定手段で推定された動き量に基づいて、集計時点である現時点のフレームの領域に変換して、領域ごとの改善要求データの集計を行うことを特徴とする請求項１から請求項４のいずれか一項に記載の映像符号化制御装置。
6. コンピュータを、請求項１から請求項５のいずれか一項に記載の映像符号化制御装置として機能させるための映像符号化制御プログラム。
7. 請求項１から請求項５のいずれか一項に記載の映像符号化制御装置と、
   この映像符号化制御装置からの符号化パラメータにより符号量を制御して映像を符号化する映像符号化装置と、
   を備えることを特徴とする映像伝送装置。

Images