JP2003224850A - 映像中継システム並びに符号化情報指示装置及びそのプログラム並びに符号化映像伝送装置及びそのプログラム - Google Patents

Abstract

(57)【要約】 【課題】 映像信号の符号化側の装置に負荷をかけず
に、画像劣化を低減させる映像中継システムを提供す
る。 【解決手段】 映像中継システム１は、符号化映像受信
手段２１、映像復号化手段２２、領域設定手段２３、制
御情報送信手段２４及び映像付加手段２５を備える符号
化情報指示装置２と、制御情報受信手段３１、映像符号
化手段３２及び符号化映像送信手段３３を備える符号化
映像伝送装置３とからなり、符号化情報指示装置２から
符号化映像伝送装置３に対して、重要度情報及び領域情
報を通知することで、符号化映像伝送装置３が映像信号
の符号量の配分を領域毎に変えることを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像信号の符号化
伝送技術に関し、特に、映像内の領域毎に符号量を制御
する映像中継システム及びその方法並びに符号化情報指
示装置及びその方法並びに符号化映像伝送装置及びその
方法に関する。

【０００２】

【従来の技術】従来、映像符号化方式としては、ISO/IE
C JTC1 SC29のWG11(Working Group11)で標準化されたＭ
ＰＥＧ−２（Moving Picture Experts Group 2）があ
る。このＭＰＥＧ−２は、入力画像を１６×１６画素
（マクロブロック）の単位で、動き補償予測を行ない、
この動き補償された画像と入力画像との差分を、８×８
画素のブロックに分割し、離散コサイン変換（ＤＣＴ：
Discrete Cosine Transform）を行なう。ここで生成さ
れる変換係数を量子化し、符号化を行なうことで動画像
を圧縮した符号化データが生成される。

【０００３】このＭＰＥＧ−２は、符号化されたビット
ストリーム（符号化された圧縮データのデータ列）の解
釈とその復号処理について規定しているものであるた
め、符号化処理は、前記ＭＰＥＧ−２のビットストリー
ムに準拠している限り、自由に行なうことができる。こ
れは、他の映像符号化規格の多くにおいても同様であ
り、映像復号化装置を変更することなく、映像符号化装
置における符号化手順を自由に設計することができる。

【０００４】また、ＤＣＴなどの直交変換を使用した映
像符号化装置では、ブロック単位で符号化処理を行なう
ため、量子化による歪みがブロック境界で不連続として
検知される、いわゆるブロック歪みや、高周波成分を粗
く量子化することで発生するモスキート歪み等の符号化
歪みが発生することがある。このような画質劣化を改善
する手法は、画像の動き等の特徴に基づいて符号量のビ
ットの配分を変更する方法等、種々提案されている。こ
のように、従来は、映像符号化装置のみで画質劣化の改
善を行ない、映像復号化装置は、映像符号化規格に基づ
いて、映像符号化装置で符号化されたデータの復号を行
なっていた。

【０００５】

【発明が解決しようとする課題】しかし、遠隔地で撮影
した映像を映像符号化装置で符号化して伝送し、その伝
送されたデータを、放送局の映像復号化装置で復号して
映像を再生する映像中継放送のような形態において、例
えば、衛星電話を用いて遠隔地から映像を映像復号化装
置に伝送する場合、伝送に確保できるビットレートは６
４ｋｂｐｓ程度と低いため、符号化された映像には著し
い画像劣化が生じ、前記従来の技術において、この画像
劣化を改善しようとすると、その改善手法の処理が高度
になればなるほど映像符号化装置の演算量が増加し、映
像符号化装置のハードウェア量、消費電力及び符号化を
行なうための遅延時間が増大する。

【０００６】このハードウェア量及び消費電力の増大
は、例えば、遠隔地から映像を伝送する場合、搬入する
機材が増えるとともに、現地で多くの電力を確保しなけ
ればならないという問題がある。また、符号化を行なう
ための遅延時間の増大は、例えば、映像を送信する側の
人間と、映像を受信する側の人間とが互いに話をする場
合、うまくかみ合わないという問題がある。

【０００７】本発明は、以上のような問題点に鑑みてな
されたものであり、映像符号化装置の負荷を軽減させ、
且つ、画像劣化を低減させる映像中継システム及びその
方法並びに符号化情報指示装置及びその方法並びに符号
化映像伝送装置及びその方法を提供することを目的とす
る。

【０００８】

【課題を解決するための手段】本発明は、前記目的を達
成するために創案されたものであり、まず、請求項１に
記載の映像中継システムは、以下の構成にかかるものと
した。すなわち、映像信号を符号化した符号化映像信号
を送信する符号化映像伝送装置から、符号化映像信号を
受信する符号化映像受信手段と、この符号化映像受信手
段で受信した符号化映像信号を復号する映像復号化手段
と、この映像復号化手段によって復号された映像信号の
映像内容で、少なくとも１つ以上の領域の位置及び形状
を含んだ領域情報と、その領域の重要度を示す重要度情
報とを設定する領域設定手段と、この領域設定手段で設
定された領域情報と、重要度情報とを制御情報として符
号化映像伝送装置に送信する制御情報送信手段と、を含
んだ符号化情報指示装置と、制御情報を符号化情報指示
装置から受信する制御情報受信手段と、この制御情報受
信手段で受信した制御情報に含まれる領域情報と、重要
度情報とに基づいて、入力された映像信号の符号量の配
分を領域毎に変えて符号化する映像符号化手段と、この
映像符号化手段で符号化した符号化映像信号を符号化情
報指示装置に送信する符号化映像送信手段と、を含んだ
符号化映像伝送装置と、を備える構成とした。

【０００９】かかる構成によれば、映像中継システム
は、符号化映像伝送装置において、重要度の高い領域に
より多くの符号量を配分して符号化を行なう。例えば、
同一フレーム内の重要度の低い領域に割り当てられる符
号量の一部を、重要度の高い領域に配分したり、領域情
報で指定された領域を重要度が低いほど間引いて符号化
することで、実質的に重要度の高い領域に符号量を多く
配分する。なお、その領域の位置及び形状を含んだ領域
情報と、その領域の重要度を示す重要度情報とは、映像
信号を利用する側である符号化情報指示装置から、符号
化映像伝送装置に通知する。

【００１０】ここで、重要度情報とは、人物領域等の着
目性の高い領域や、背景領域といった比較的着目性の低
い領域を、その着目すべき度合い、すなわち重要度に応
じて指標化した情報である。ただし、必ずしも人物領域
の重要度が高いとはいえないため、本構成においては、
予め設定された重要度に基づいて動作することも可能で
あるし、映像信号を利用する側（符号化情報指示装置）
で、操作者が、その重要度情報を設定することも可能で
ある。

【００１１】さらに、請求項２に記載の映像中継システ
ムは、請求項１に記載の映像中継システムにおいて、映
像復号化手段によって復号された映像信号に、新たな映
像信号を重畳し付加する映像付加手段を備え、この映像
付加手段が付加した映像の位置及び形状を含んだ付加映
像情報に基づいて、領域設定手段が付加映像情報で示さ
れる領域に重要度情報を設定する構成とした。

【００１２】かかる構成によれば、映像中継システム
は、映像信号を利用する側（符号化情報指示装置）が、
放送局で、その映像信号を加工して使用する場合、その
加工された領域に対して、重要度を設定することができ
る。例えば、放送局でテロップや別の画像を付加する場
合、符号化映像伝送装置から送信される映像内のテロッ
プや別の画像を付加する領域には、重要度情報を低く設
定する。

【００１３】また、請求項３に記載の符号化情報指示装
置は、映像信号を符号化した符号化映像信号を送信する
符号化映像伝送装置に、映像内の少なくとも１つ以上の
領域の位置及び形状を含んだ領域情報と、その領域の重
要度を示す重要度情報とを対応付けた制御情報を通知す
る符号化情報指示装置であって、符号化映像信号を受信
する符号化映像受信手段と、この符号化映像受信手段で
受信した符号化映像信号を復号する映像復号化手段と、
この映像復号化手段によって復号された映像信号の映像
内容に基づいて、領域情報と、重要度情報とを対応付け
て設定する領域設定手段と、この領域設定手段で設定さ
れた領域情報と、重要度情報とを制御情報として符号化
映像伝送装置に送信する制御情報送信手段と、を備える
構成とした。

【００１４】かかる構成によれば、符号化情報指示装
置、すなわち映像信号を利用する側が、映像の領域情報
と重要度情報とを設定し、映像信号の符号化側（符号化
映像伝送装置）に通知することができる。このように、
映像信号を利用する側で、映像の領域情報と重要度情報
とを設定することができるので、例えば、映像内の人物
にあまり動きがない構図の場合は、領域設定手段によっ
て、予め人物領域を指定したり、数秒に１度程度修正を
行なった領域情報と重要度情報とを映像信号の符号化側
に通知することもできる。

【００１５】さらに、請求項４に記載の符号化情報指示
装置は、請求項３に記載の符号化情報指示装置におい
て、映像復号化手段によって復号された映像信号に、新
たな映像信号を重畳し付加する映像付加手段を備え、こ
の映像付加手段が付加した映像の位置及び形状を含んだ
付加映像情報に基づいて、領域設定手段が付加映像情報
で示される領域に重要度情報を設定する構成とした。

【００１６】かかる構成によれば、符号化情報指示装
置、すなわち映像信号を利用する側が放送局で、その映
像信号を加工して使用する場合、その加工された領域に
対して、重要度を設定することができる。例えば、放送
局でテロップや別の画像を付加する場合、符号化映像伝
送装置から送信される映像内のテロップや別の画像を付
加する領域には、重要度情報を低く設定する。また、付
加される画像が透過画像である場合は、重要度情報を高
めに設定する。このように、本構成においては、映像信
号を利用する側で重要度情報を任意に設定することが可
能である。

【００１７】また、請求項５に記載の符号化情報指示プ
ログラムは、映像信号を符号化した符号化映像信号を送
信する符号化映像伝送装置に、映像内の少なくとも１つ
以上の領域の位置及び形状を含んだ領域情報と、その領
域の重要度を示す重要度情報とを対応付けた制御情報を
通知するために、コンピュータを、以下の手段により機
能させる構成とした。

【００１８】すなわち、符号化映像信号を受信する符号
化映像受信手段、この符号化映像受信手段で受信した符
号化映像信号を復号する映像復号化手段、この映像復号
化手段によって復号された映像信号の映像内容に基づい
て、領域情報と、重要度情報とを対応付けて設定する領
域設定手段、この領域設定手段で設定された領域情報
と、重要度情報とを制御情報として符号化映像伝送装置
に送信する制御情報送信手段とした。

【００１９】かかる構成によれば、符号化情報指示プロ
グラムは、映像信号を利用する側で、映像の領域情報と
重要度情報とを設定し、映像信号の符号化側に通知する
ことができる。このように、映像信号を利用する側で、
映像の領域情報と重要度情報とを設定することができる
ので、例えば、映像内の人物にあまり動きがない構図の
場合は、領域設定ステップによって、予め人物領域を指
定したり、数秒に１度程度修正を行なった領域情報と重
要度情報とを映像信号の符号化側に通知することもでき
る。

【００２０】さらに、請求項６に記載の符号化情報指示
プログラムは、請求項５に記載の符号化情報指示プログ
ラムにおいて、映像復号化手段によって復号された映像
信号に、新たな映像信号を重畳し付加する映像付加手段
を備え、この映像付加手段が付加した映像の位置及び形
状を含んだ付加映像情報に基づいて、領域設定手段が付
加映像情報で示される領域に重要度情報を設定する構成
とした。

【００２１】かかる構成によれば、符号化情報指示プロ
グラムは、放送局で映像信号を加工して使用する場合、
その加工された映像の領域に対して、重要度を設定する
ことができる。例えば、放送局でテロップや別の画像を
付加する場合、符号化映像伝送装置から送信される映像
内のテロップや別の画像を付加する領域には、重要度情
報を低く設定する。また、付加される画像が透過画像で
ある場合は、重要度情報を高めに設定する。

【００２２】また、請求項７に記載の符号化映像伝送装
置は、映像内の少なくとも１つ以上の領域の位置及び形
状を含んだ領域情報と、その領域の重要度を示す重要度
情報とからなる制御情報を受信して、この制御情報に基
づいて、入力された映像信号の符号化を行なう符号化映
像伝送装置であって、制御情報を受信する制御情報受信
手段と、この制御情報受信手段で受信した制御情報に含
まれる領域情報と、重要度情報とに基づいて、入力され
た映像信号の符号量の配分を領域毎に変えて符号化する
映像符号化手段と、この映像符号化手段で符号化した符
号化映像信号を送信する符号化映像送信手段と、を備え
る構成とした。

【００２３】かかる構成によれば、符号化映像伝送装置
は、重要度の異なる領域毎にその領域を符号化するため
の符号量を変化させ、重要度の高い領域により多くの符
号量を配分することができる。この重要度の高い領域に
符号量を多く配分することで、復号時により画質劣化を
抑えた映像を再生することができる。

【００２４】また、請求項８に記載の符号化映像伝送プ
ログラムは、映像内の少なくとも１つ以上の領域の位置
及び形状を含んだ領域情報と、その領域の重要度を示す
重要度情報とからなる制御情報を受信して、この制御情
報に基づいて、入力された映像信号の符号化を行なうた
めに、コンピュータを、以下の手段により機能させる構
成とした。

【００２５】すなわち、制御情報を受信する制御情報受
信手段、この制御情報受信手段で受信した制御情報に含
まれる領域情報と、重要度情報とに基づいて、入力され
た映像信号の符号量の配分を領域毎に変えて符号化する
映像符号化手段、この映像符号化手段で符号化した符号
化映像信号を送信する符号化映像送信手段とした。

【００２６】かかる構成によれば、符号化映像伝送プロ
グラムは、重要度の異なる領域毎にその領域を符号化す
るための符号量を変化させ、重要度の高い領域により多
くの符号量を配分することができる。この重要度の高い
領域に符号量を多く配分することで、復号時により画質
劣化を抑えた映像を再生することができる。

【００２７】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて詳細に説明する。

【００２８】（映像中継システムの構成）図１は、映像
中継システムの全体構成を示すブロック図である。図１
に示すように、映像中継システム１は、符号化情報指示
装置２と、符号化映像伝送装置３とを伝送路５を介して
接続する構成とした。この映像中継システム１は、符号
化情報指示装置２で設定される映像内のある領域の位置
及び形状を含んだ領域情報と、その領域に着目すべき度
合いを示す重要度情報とを、遠隔地の符号化映像伝送装
置３に通知することで、符号化映像伝送装置３が、その
領域の重要度情報に基づいて、重要度の高い領域ほど符
号量を多く配分して符号化を行なうシステムである。

【００２９】ここで、図５に基づいて、重要度情報及び
領域情報について説明する。図５は、遠隔地から映像を
中継したときの映像例を示している。図５に示すよう
に、映像内の領域は、人物領域Ａ１、テロップ領域Ａ
２、背景領域Ａ３等に分類される。この人物領域Ａ１
は、中継先の人物を映した領域で、中継先から送られて
くる映像の中で最も注目すべき（重要度が高い）領域で
ある。また、テロップ領域Ａ２は、中継先から送られて
くる映像の中に、放送局が「現場から中継です」等の新
たな映像を重畳させる領域である。このテロップ領域Ａ
２は、放送局で独自に映像を重畳させるため、中継先か
ら送られてくる映像の重要度は低い。また、背景領域Ａ
３は、人物領域Ａ１の背景に位置する領域である。この
背景領域Ａ３の重要度は、人物領域Ａ１よりも低く、テ
ロップ領域Ａ２よりも高い。このように、中継先から送
られてくる映像は、前記した領域毎に重要度が異なる。
そこで、本発明では、この重要度のレベルである重要度
情報と、その領域の位置及び形状である領域情報とに基
づいて、領域毎に符号量の配分を変化させる。

【００３０】図１に戻って、映像中継システム１の個々
の構成について詳細に説明する。 （符号化情報指示装置の構成）まず、符号化情報指示装
置２の構成について説明する。符号化情報指示装置２
は、符号化映像受信手段２１と、映像復号化手段２２
と、領域設定手段２３と、制御情報送信手段２４と、映
像付加手段２５とを備える構成とした。この符号化情報
指示装置２は、伝送路５を介して受信した符号化映像信
号を復号することで映像信号を再生する装置である。ま
た、符号化情報指示装置２は、再生した映像内のある領
域の位置及び形状を含んだ領域情報と、その領域に着目
すべき度合いを示す重要度情報とを設定して、符号化映
像伝送装置３に通知する装置である。

【００３１】符号化映像受信手段２１は、符号化映像伝
送装置３から伝送路５を介して送られる符号化映像信号
を受信して、映像復号化手段２２に送出するものであ
る。この符号化映像受信手段２１は、例えば、通信衛星
を利用する衛星電話によって符号化映像信号を受信す
る。あるいは、ＩＳＤＮ回線や、専用回線等を伝送路５
として使用する形態であってもよい。

【００３２】映像復号化手段２２は、符号化映像受信手
段２１から入力された符号化映像信号を復号して映像信
号を出力するものである。この映像復号化手段２２は、
重要度情報や領域情報を意識する必要はなく、符号化映
像伝送装置３の映像符号化手段３２で用いた符号化方
式、例えば、ＭＰＥＧ−２に基づいた復号処理を行な
う。この復号された映像信号は、領域設定手段２３と、
映像付加手段２５とに出力される。

【００３３】領域設定手段２３は、外部から入力される
映像内の領域の位置及び形状を示す領域情報と、その領
域の着目すべき度合いを示す重要度情報とを入力し、こ
の領域情報と重要度情報とを含んだ制御情報を制御情報
送信手段２４へ通知するものである。

【００３４】さらに、領域設定手段２３は、映像復号化
手段２２から入力される映像信号に基づいて、動きのあ
る領域（例えば、人物領域等）を検出し、その領域を領
域情報とする形態としても構わない。この動きのある領
域を検出する手法は、時間的に連続するフレーム間の差
の情報に基づいて検出する等、一般的な手法を用いて実
現することができる。

【００３５】また、領域設定手段２３は、後記する映像
付加手段２５から入力される付加映像情報に基づいて、
領域情報にテロップ領域を付加して設定する。ここで領
域設定手段２３は、重要度情報を設定するときに、人物
領域を最も重要度を高くし、テロップ領域を最も低い重
要度とし、それ以外の背景領域等を中間の重要度とし
て、予め設定しておく。また、例えば、遠隔地から映像
を中継する場合、カメラ位置を固定して、画面内の人物
に大きな動きがない構図がしばしば用いられる。このよ
うな場合は、予め画面内における人物領域や、テロップ
領域を固定的に設定できるため、外部から直接、領域情
報と重要度情報を入力する形態をとることが可能であ
る。

【００３６】制御情報送信手段２４は、領域設定手段２
３から重要度情報と、領域情報とを含んだ制御情報を入
力し、その制御情報を伝送路５を介して符号化映像伝送
装置３に送信するものである。この制御情報送信手段２
４は、例えば、通信衛星を利用する衛星電話によって制
御情報を送信する。あるいは、ＩＳＤＮ回線や、専用回
線等を伝送路５として使用する形態であってもよい。

【００３７】映像付加手段２５は、映像復号化手段２２
で復号された映像信号に、外部から入力される付加映像
信号を重畳し、付加映像付き映像信号を出力するもので
ある。この付加映像信号として重畳される映像は、字幕
等のテロップと呼ばれる映像である。さらに、制御情報
送信手段２４は、このテロップの領域を付加映像情報と
して、領域設定手段２３に通知する。なお、外部から付
加映像信号が入力されない場合は、映像復号化手段２２
で復号された映像信号をそのまま出力する。この映像付
加手段２５は、外部から入力される付加映像信号を入力
するときに、付加映像をどの位置あるいはどの形状で付
加するかを決定するキー信号等に基づいて、付加映像情
報を作成し、領域設定手段２３に通知する。

【００３８】以上、本発明に係る符号化情報指示装置２
の構成について説明したが、本発明はこれに限定される
ものではない。例えば、映像付加手段２５を構成要素か
ら削除した形態であっても構わない。なお、符号化情報
指示装置２は、コンピュータにおいて各手段を各機能プ
ログラムとして実現することも可能であり、各機能プロ
グラムを結合して符号化情報指示プログラムとして動作
させることも可能である。

【００３９】（符号化映像伝送装置の構成）次に、符号
化映像伝送装置３の構成について説明する。符号化映像
伝送装置３は、制御情報受信手段３１と、映像符号化手
段３２と、符号化映像送信手段３３とを備える構成とし
た。この符号化映像伝送装置３は、入力映像を重要度情
報及び領域情報に基づいて、領域毎に符号量の配分を変
えて符号化した符号化映像信号を生成し、伝送路５を介
して符号化情報指示装置２に送信する装置である。

【００４０】制御情報受信手段３１は、符号化情報指示
装置２から伝送路５を介して送られる重要度情報と、領
域情報とを含んだ制御情報を受信し、この制御情報を映
像符号化手段３２に通知するものである。この制御情報
受信手段３１は、例えば、通信衛星を利用する衛星電話
によって制御情報を受信する。この場合、伝送路５は、
通信衛星を介した無線通話路となる。ただし、この制御
情報受信手段３１は、衛星電話を利用する形態のみなら
ず、例えば、遠隔地に配置された符号化映像伝送装置３
が、固定的に利用される場合は、伝送路５として、ＩＳ
ＤＮ回線や、専用回線等を用いる形態であってもよい。

【００４１】映像符号化手段３２は、入力映像である映
像信号を制御情報受信手段３１から通知される制御情報
である重要度情報と、領域情報とに基づいて、個々の領
域毎に符号量の配分を変えて符号化するものである。例
えば、離散コサイン変換（ＤＣＴ）などの直交変換を基
幹技術とする高能率符号化方式であるＭＰＥＧ−２によ
り符号化を行なう。この映像符号化手段３２で符号化さ
れた符号化映像信号は、符号化映像送信手段３３に出力
される。

【００４２】符号化映像送信手段３３は、映像符号化手
段３２から入力された符号化映像信号を伝送路５を介し
て、符号化映像伝送装置３に送信するものである。な
お、制御情報受信手段３１が受信に使用する伝送路５
と、符号化映像送信手段３３が送信に使用する伝送路５
とは同一の伝送路であっても、異なる伝送路であっても
構わない。

【００４３】ここで、図２に基づいて、映像符号化手段
３２の構成を詳細に説明する。図２は、映像符号化手段
３２の構成を示したブロック図である。図２に示すよう
に、映像符号化手段３２は、減算部５１と、直交変換部
５２と、量子化部５３と、スキップ判定部５４と、可変
長符号化部５５と、バッファ５６と、逆量子化部５７
と、逆直交変換部５８と、加算部５９と、動き予測部６
０と、から構成されている。

【００４４】減算部５１は、映像信号と後記する動き予
測部６０から出力される予測画像信号とを所定の大きさ
のブロック毎に差分をとり予測誤差画像信号を生成する
ものである。ここでは、ＭＰＥＧ−２のマクロブロック
（１６×１６画素）単位で処理を行なうものとする。ま
た、前記予測誤差画像信号は直交変換部５２に入力され
る。

【００４５】直交変換部５２は、減算部５１で生成され
た予測誤差画像信号に対して直交変換である離散コサイ
ン変換を行ないＤＣＴ係数行列を生成するものである。
このＤＣＴ係数行列は、映像信号が周波数成分に変換さ
れた行列である。また、前記ＤＣＴ係数行列は量子化部
５３に入力される。

【００４６】量子化部５３は、直交変換部５２で生成さ
れたＤＣＴ係数行列を、予め設定された量子化テーブル
に基づいて量子化し、量子化ＤＣＴ係数行列を生成する
ものである。この量子化ＤＣＴ係数行列は、スキップ判
定部５４と逆量子化部５７とに入力される。

【００４７】スキップ判定部５４は、マクロブロック毎
に３つのピクチャタイプ（Ｉ、Ｐ、Ｂ）を判定し、各ピ
クチャのマクロブロックを符号化するか、符号化を行な
わないか決定するものである。ここで、符号化を行なう
と判定した場合にのみ、量子化部５３で生成された量子
化ＤＣＴ係数行列を可変長符号化部５５に入力する。

【００４８】可変長符号化部５５は、スキップ判定部５
４から入力された量子化ＤＣＴ係数行列を統計量に応じ
たハフマン符号に置換えるエントロピー符号化を行なう
ものである。これにより、入力された映像信号を符号化
し、バッファ５６に蓄積していく。

【００４９】逆量子化部５７は、量子化部５３で生成さ
れた量子化ＤＣＴ係数行列に対して逆量子化を行ないＤ
ＣＴ係数行列を生成するものである。ここでは、量子化
部５３で使用した量子化マトリックスを用いて逆量子化
演算を行なう。ここで逆量子化されたＤＣＴ係数行列
は、逆直交変換部５８に入力される。

【００５０】逆直交変換部５８は、逆量子化部５７で生
成されたＤＣＴ係数行列に逆離散コサイン変換を行な
い、予測誤差画像信号を生成するものである。この予測
誤差画像信号は、加算部５９に入力される。

【００５１】加算部５９は、逆直交変換部５８で生成さ
れた予測誤差画像信号と後記する動き予測部６０から出
力された予測画像信号とを所定の大きさのブロック毎に
加算を行ない局所復号画像信号を生成する。ここでも、
減算部５９と同様にＭＰＥＧ−２のマクロブロック（１
６×１６画素）単位で処理を行なうものとする。この局
所復号画像信号は、入力された映像信号がマクロブロッ
ク領域分復元された信号である。なお、前記局所復号画
像信号は、動き予測部６０に入力される。

【００５２】動き予測部６０は、入力された映像信号に
より動きを検出し、前記局所復号画像信号に基づいて、
動き補償予測を行ない予測画像信号を生成する。なお、
前記予測画像信号は、減算部５１と加算部５９に入力さ
れる。

【００５３】以上、本発明に係る符号化映像伝送装置３
の構成について説明したが、符号化映像伝送装置３は、
コンピュータにおいて各手段を各機能プログラムとして
実現することも可能であり、各機能プログラムを結合し
て符号化映像伝送プログラムとして動作させることも可
能である。

【００５４】（映像中継システムの動作）次に、図１、
図３、図４及び図６に基づいて、映像中継システム１の
動作について説明する。 （符号化情報指示装置の動作）まず、図１及び図３に基
づいて、符号化情報指示装置２の動作について説明す
る。図３は、符号化情報指示装置２の動作を示すフロー
チャートである。

【００５５】符号化情報指示装置２は、符号化映像受信
手段２１によって、符号化映像伝送装置３から伝送路５
を介して送信される符号化映像信号を受信し（ステップ
Ｓ１）、映像復号化手段２２によって、その符号化映像
信号を復号し映像信号を再生する（ステップＳ２）。

【００５６】次に、符号化情報指示装置２は、領域設定
手段２３によって、ステップＳ２で再生された映像信号
に基づいて、動きのある領域を検出し、人物領域を設定
する（ステップＳ３）。なお、このステップＳ３は、予
め人物領域が固定の領域である場合は、この人物領域
は、予め設定された領域であっても構わないし、外部か
ら領域を設定する形態であっても構わない。

【００５７】そして、映像信号に重畳する付加映像信号
が存在する場合は、映像付加手段２５によって、映像信
号に付加映像信号を重畳するとともに、その付加映像信
号の領域情報である付加映像情報を生成する（ステップ
Ｓ４）。このステップＳ４で生成された付加映像情報に
基づいて、領域設定手段２３が、テロップ領域を設定す
る（ステップＳ５）。なお、付加映像信号が存在しない
場合は、ステップＳ４及びステップＳ５は存在しない。

【００５８】そして、領域設定手段２３は、外部から領
域毎の重要度情報が入力され（ステップＳ６）、その重
要度情報と、ステップＳ３及びステップＳ５で設定され
た人物領域、テロップ領域及びそれら以外の領域である
背景領域を示す領域情報とを制御情報として生成する
（ステップＳ７）。なお、このステップＳ６は、逐次入
力する必要はなく、初期設定時、あるいは重要度情報を
変更する場合にのみ入力を行なえばよい。また、この重
要度情報が固定である場合は、ステップＳ７は、予め設
定された重要度情報で動作する形態であっても構わな
い。さらに、人物領域やテロップ領域をステップＳ６と
同様に外部から入力する形態であっても構わない。

【００５９】このステップＳ７で生成された制御情報
（領域情報、重要度情報）は、制御情報送信手段２４に
入力され（ステップＳ８）、制御情報送信手段２４が、
制御情報が更新されたかどうかを判定する（ステップＳ
９）。ここで、制御情報が更新された場合（Ｙｅｓ）
は、制御情報を伝送路５を介して遠隔地の符号化映像伝
送装置３に送信する。一方、制御情報が更新されていな
い場合は（Ｎｏ）、ステップＳ８へ戻って、制御情報の
入力を待つ。

【００６０】以上の動作により、符号化情報指示装置２
は、再生した映像内の人物領域、テロップ領域及び背景
領域の位置及び形状を含んだ領域情報と、その領域に着
目すべき度合いを示す重要度情報とを符号化映像伝送装
置３に通知することで、符号化映像伝送装置３の符号量
制御を補助し、符号化映像伝送装置３の負荷を軽減させ
る。

【００６１】（符号化映像伝送装置の動作）次に、図
１、図４及び図６に基づいて、符号化映像伝送装置３の
動作について説明する。図４は、符号化映像伝送装置３
の動作を示すフローチャートである。図６は、符号化映
像伝送装置３内のピクチャタイプと符号化の対応を示す
図である。

【００６２】まず、図６に基づいて、符号化映像伝送装
置３におけるＭＰＥＧ−２で定められているピクチャタ
イプと、マクロブロックの符号化との対応について説明
する。図６に示すように、人物領域の重要度を最も高い
値「３」とし、背景領域の重要度をその次に高い値
「２」とし、テロップ領域の重要度を最も低い値「１」
としている。

【００６３】また、ＭＰＥＧ−２で定められている３つ
のピクチャタイプ（Ｉ、Ｐ、Ｂ）毎に各ピクチャのマク
ロブロックを符号化するか、スキップするかを定義して
いる。ここでは、Ｉピクチャは、すべての重要度におい
て符号化を行ない、Ｐピクチャは、重要度が「１」（テ
ロップ領域）の場合だけ符号化を行なわず、他の重要度
では符号化を行ない、Ｂピクチャは、重要度が「３」
（人物領域）の場合だけ符号化を行ない、他の重要度で
は符号化を行なわないものとする。

【００６４】また、符号化映像伝送装置３における符号
化では、Ｉピクチャの間隔（Ｎ）を１５フレームとし、
ＩまたはＰピクチャの間隔（Ｍ）を３フレームとする。
すなわち、符号化映像伝送装置３から、符号化情報指示
装置２へ符号化映像信号を伝送するときの伝送間隔とし
て、人物領域については毎フレーム伝送を行ない、背景
領域については３フレーム毎に伝送を行ない、テロップ
領域については１５フレーム毎に伝送を行なうものとす
る。

【００６５】なお、図６に示したピクチャタイプとマク
ロブロックとの符号化の対応は一例を示したものであ
り、例えば、テロップ領域として符号化情報指示装置２
の映像付加手段２５で付加する画像が透過画像である場
合は、テロップ領域の重要度を背景領域の重要度と同じ
「２」に設定してもよい。

【００６６】ここで、図６の「スキップ」について説明
する。例えば、ＭＰＥＧ−２において、重要度に応じて
符号量を配分するには、重要度の低い領域に属するマク
ロブロックには、発生符号量の小さい符号化モードを指
定し、より重要度の高い領域には符号量を増加させるこ
とで実現することができる。このとき、マクロブロック
の符号量が最も小さくなるのは、スキップマクロブロッ
クと呼ばれるマクロブロックである。そこで、重要度の
低い領域に属するマクロブロックには、より多くのスキ
ップマクロブロックを設定すればよい。図６の「スキッ
プ」は、このスキップマクロブロックが設定された状態
である。

【００６７】以下、図１及び図４に基づいて、符号化映
像伝送装置３の動作について説明する。なお、符号化映
像伝送装置３は、図６の設定に基づいて動作するものと
する。まず、符号化映像伝送装置３は、映像符号化手段
３２によって、外部からの映像信号をフレーム単位で入
力し（ステップＳ２０）、ピクチャタイプ毎に目標符号
量Ｔ（ピクチャに対する割り当てビット）を設定する
（ステップＳ２１）。

【００６８】この目標符号量Ｔは、符号化対象のフレー
ムへの符号量配分の見積もり量を示し、ＭＰＥＧ−２の
符号化アルゴリズムとして知られるＴＭ５（Test Model
5:ISO/IEC JTC1/SC29/WG11/N0400）に基づいて算出す
る。

【００６９】また、符号化映像伝送装置３は、制御情報
受信手段３１によって、伝送路５を介して制御情報を受
信する（ステップＳ２２）。この制御情報は、映像符号
化手段３２に入力される（ステップＳ２３）が、逐次入
力される必要はなく、制御情報（領域情報、重要度情
報）に変化がない場合は、このステップＳ２２及びステ
ップＳ２３を飛ばしてステップＳ２４へ進む。

【００７０】そして、ステップＳ２０で入力されたフレ
ームのピクチャタイプがＩピクチャであるかどうかを判
定し（ステップＳ２４）、ピクチャタイプがＩピクチャ
である場合（Ｙｅｓ）は、全てのマクロブロックを符号
化するためステップＳ３０へ進む。一方、ピクチャタイ
プがＩピクチャでない場合（Ｎｏ）は、ピクチャタイプ
がＰピクチャであるかどうかを判定する（ステップＳ２
５）。

【００７１】このステップＳ２５で、フレームのピクチ
ャタイプがＰピクチャであると判定された場合（Ｙｅ
ｓ）は、テロップ領域のマクロブロックを「スキップ」
に設定する（ステップＳ２６）。

【００７２】ここで、「スキップ」に設定したマクロブ
ロック（スキップマクロブロック）の符号量の平均をｂ
（ｓｋｉｐ）、テロップ領域のマクロブロック数をｍｂ
１とすると、ｂ（ｓｋｉｐ）×ｍｂ１がテロップ領域に
属するスキップマクロブロックで消費される符号量とな
るため、この符号量を、ステップＳ２１で設定した目標
符号量Ｔから減じた量を、背景領域と人物領域とに割り
当てられた、新たな目標符号量Ｔとして（ステップＳ２
７）、ステップＳ３０へ進む。

【００７３】一方、ステップＳ２５で、フレームのピク
チャタイプがＰピクチャでないと判定された場合（Ｎ
ｏ）、すなわち、ピクチャタイプがＢピクチャである場
合は、テロップ領域及び背景領域のマクロブロックを
「スキップ」に設定する（ステップＳ２８）。

【００７４】ここで、前記同様「スキップ」に設定した
マクロブロック（スキップマクロブロック）の符号量の
平均をｂ（ｓｋｉｐ）とし、テロップ領域及び背景領域
のマクロブロック数をそれぞれｍｂ１及びｍｂ２とする
と、ｂ（ｓｋｉｐ）×（ｍｂ１＋ｍｂ２）がテロップ領
域及び背景領域に属するスキップマクロブロックで消費
される符号量となるため、この符号量を、ステップＳ２
１で設定した目標符号量Ｔから減じた量を、人物領域に
割り当てられた、新たな目標符号量Ｔとして（ステップ
Ｓ２９）、ステップＳ３０へ進む。

【００７５】そして、目標符号量Ｔを「スキップ」に設
定されていないマクロブロックに対する割り当てビット
とし（ステップＳ３０）、この「スキップ」に設定され
ていないマクロブロックを符号化し、伝送間隔に基づい
てフレームの伝送を行なう。ここで符号化された符号化
映像信号は、符号化映像送信手段３３によって、符号化
情報指示装置２へ伝送される（ステップＳ３２）。そし
て、さらにフレームが存在する場合は、ステップＳ２０
へ戻って処理が続けられる。

【００７６】以上の動作により、符号化映像伝送装置３
は、符号化情報指示装置２から通知される人物領域、テ
ロップ領域及び背景領域の位置及び形状を含んだ領域情
報と、その領域に着目すべき度合いを示す重要度情報と
対応付けた制御情報に基づいて、映像信号を符号化し、
符号化情報指示装置２へ伝送する。なお、本動作におけ
る符号量の配分例を図７（ａ）に示す。図７（ａ）に示
すように重要度の高い領域ほど伝送間隔が短く、符号量
を配分できるので画質の劣化を抑えることができる。

【００７７】なお、本実施の形態においては、「スキッ
プ」に指定された領域内のすべてのマクロブロックをス
キップマクロブロックとして、重要度に応じて、マクロ
ブロックの伝送量を変更することで、重要度の高い領域
により多くの符号量を配分する動作を説明したが、本発
明はこれに限定されるものではない。

【００７８】例えば、同一のフレーム内の領域毎にその
重度度に基づいてスキップマクロブロックの数を変更す
ることで、同一フレーム内で重要度が高い領域ほど、符
号量を多く配分する動作であっても構わない。例えば、
図７（ｂ）に示すように、テロップ領域や背景領域から
符号量を配分する形態である。この場合は、重要度の低
いテロップ領域からより多くの符号量を人物領域へ配分
する。

【００７９】また、符号量を抑制する方法としては、Ｄ
ＣＴ係数の量子化の細かさを変えたり、動き補償フレー
ム間予測を行なわないようにしたり、あるいは、隣接す
るマクロブロックの動きベクトルの向きを揃え動きベク
トルに起因する符号量を抑制することも可能である。

【００８０】

【発明の効果】以上説明したとおり、本発明に係る映像
中継システム及びその方法並びに符号化情報指示装置及
びその方法並びに符号化映像伝送装置及びその方法で
は、以下に示す優れた効果を奏する。

【００８１】請求項１に記載の発明によれば、映像中継
システムは、重要度情報と領域情報とを対応付けた制御
情報を映像信号を利用する側（符号化情報指示装置）で
指定し、映像信号を符号化して送信する側（符号化映像
伝送装置）は、その制御情報に基づいて符号化を行なう
ため、符号化映像伝送装置で、領域の重要度を判定する
作業を行なう必要がない。これにより、符号化映像伝送
装置の符号化遅延を抑えることができる。また、符号化
映像伝送装置のハードウェア量や消費電力を増大させる
ことなく、ビットレートが低い伝送路においても、映像
内の重要度の高い領域の画質劣化を抑えることができ
る。

【００８２】請求項２に記載の発明によれば、映像中継
システムは、符号化情報指示装置によって、符号化映像
伝送装置から送られる映像に新たな映像を付加する際
に、その領域に重要度情報を付与することができるの
で、符号化映像伝送装置は、その領域の内容に関知する
ことなく、他の重要度の高い領域の画質を向上させるこ
とができる。

【００８３】請求項３または請求項５に記載の発明によ
れば、符号化情報指示装置または符号化情報指示プログ
ラムは、映像信号の映像内容に基づいて、映像信号を利
用する側で重要度情報と領域情報とを対応付けた制御情
報を設定することができるので、画質劣化を起こしたく
ない領域を任意に設定することができる。これにより、
映像信号の符号化側の負荷を低減することができる。

【００８４】請求項４または請求項６に記載の発明によ
れば、符号化情報指示装置または符号化情報指示プログ
ラムは、符号化映像伝送装置から送られる映像に新たな
映像を付加する際に、その領域に重要度情報を付与する
ことができるので、符号化映像伝送装置は、その領域の
内容に関知することなく、他の重要度の高い領域の画質
を向上させることができる。

【００８５】請求項７または請求項８に記載の発明によ
れば、符号化映像伝送装置または符号化映像伝送プログ
ラムは、符号化情報指示装置から通知される重要度情報
と領域情報とを対応付けた制御情報に基づいて符号化を
行なうので、領域の重要度を判定する作業を行なう必要
がない。これにより、符号化遅延を抑えることができ
る。また、重要度の高い領域を重点的に符号化を行なう
ため、ビットレートが低い伝送路においても、重要度の
高い領域の画質劣化を抑えることができる。

【図面の簡単な説明】

【図１】本発明に係る符号化情報指示装置及び符号化映
像伝送装置で構成される映像中継システムの全体構成を
示すブロック図である。

【図２】本発明に係る符号化情報指示装置内の映像符号
化手段の構成を示すブロック図である。

【図３】本発明に係る符号化情報指示装置の動作を説明
したフローチャートである。

【図４】本発明に係る符号化映像伝送装置の動作を説明
したフローチャートである。

【図５】重要度情報及び領域情報を説明するための説明
図である。

【図６】ピクチャタイプと符号化の対応を示す図であ
る。

【図７】符号量配分の例を示す概念図である。

【符号の説明】

１……映像中継システム ２……符号化情報指示装置 ２１……符号化映像受信手段 ２２……映像復号化手段 ２３……領域設定手段 ２４……制御情報送信手段 ２５……映像付加手段 ３……符号化映像伝送装置 ３１……制御情報受信手段 ３２……映像符号化手段 ３３……符号化映像送信手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡田 俊一 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内 Ｆターム(参考） 5C059 KK06 LC04 MA05 MA14 MA21 MB02 MB16 MB21 MB26 MC11 ME01 NN01 PP05 PP06 PP07 PP28 RB02 RC12 SS06 SS20 SS26 TA17 TB08 TC00 TD13 UA02 UA05 UA33 UA38 UA39 5C063 AA01 AB03 AB07 AC01 AC10 CA23 CA36 DA07 DA13 DB10 5J064 AA01 AA02 BA09 BA16 BB03 BC01 BC16 BC25 BC26 BD01

Claims (8)

【特許請求の範囲】
1. 【請求項１】 映像信号を符号化した符号化映像信号を
   送信する符号化映像伝送装置から、前記符号化映像信号
   を受信する符号化映像受信手段と、 この符号化映像受信手段で受信した符号化映像信号を復
   号する映像復号化手段と、 この映像復号化手段によって復号された前記映像信号の
   映像内容で、少なくとも１つ以上の領域の位置及び形状
   を含んだ領域情報と、その領域の重要度を示す重要度情
   報とを設定する領域設定手段と、 この領域設定手段で設定された前記領域情報と、前記重
   要度情報とを制御情報として前記符号化映像伝送装置に
   送信する制御情報送信手段と、 を含んだ符号化情報指示装置と、 前記制御情報を前記符号化情報指示装置から受信する制
   御情報受信手段と、 この制御情報受信手段で受信した前記制御情報に含まれ
   る前記領域情報と、前記重要度情報とに基づいて、入力
   された映像信号の符号量の配分を前記領域毎に変えて符
   号化する映像符号化手段と、 この映像符号化手段で符号化した符号化映像信号を前記
   符号化情報指示装置に送信する符号化映像送信手段と、 を含んだ符号化映像伝送装置と、 を備えていることを特徴とする映像中継システム。
2. 【請求項２】 前記映像復号化手段によって復号された
   映像信号に、新たな映像信号を重畳し付加する映像付加
   手段を備え、 前記映像付加手段が付加した映像の位置及び形状を含ん
   だ付加映像情報に基づいて、前記領域設定手段が前記付
   加映像情報で示される領域に前記重要度情報を設定する
   ことを特徴とする請求項１に記載の映像中継システム。
3. 【請求項３】 映像信号を符号化した符号化映像信号を
   送信する符号化映像伝送装置に、映像内の少なくとも１
   つ以上の領域の位置及び形状を含んだ領域情報と、その
   領域の重要度を示す重要度情報とを対応付けた制御情報
   を通知する符号化情報指示装置であって、 前記符号化映像信号を受信する符号化映像受信手段と、 この符号化映像受信手段で受信した符号化映像信号を復
   号する映像復号化手段と、 この映像復号化手段によって復号された前記映像信号の
   映像内容に基づいて、前記領域情報と、前記重要度情報
   とを対応付けて設定する領域設定手段と、 この領域設定手段で設定された前記領域情報と、前記重
   要度情報とを制御情報として前記符号化映像伝送装置に
   送信する制御情報送信手段と、 を備えていることを特徴とする符号化情報指示装置。
4. 【請求項４】 前記映像復号化手段によって復号された
   映像信号に、新たな映像信号を重畳し付加する映像付加
   手段を備え、 前記映像付加手段が付加した映像の位置及び形状を含ん
   だ付加映像情報に基づいて、前記領域設定手段が前記付
   加映像情報で示される領域に前記重要度情報を設定する
   ことを特徴とする請求項３に記載の符号化情報指示装
   置。
5. 【請求項５】 映像信号を符号化した符号化映像信号を
   送信する符号化映像伝送装置に、映像内の少なくとも１
   つ以上の領域の位置及び形状を含んだ領域情報と、その
   領域の重要度を示す重要度情報とを対応付けた制御情報
   を通知するために、コンピュータを、 前記符号化映像信号を受信する符号化映像受信手段、 この符号化映像受信手段で受信した符号化映像信号を復
   号する映像復号化手段、 この映像復号化手段によって復号された前記映像信号の
   映像内容に基づいて、前記領域情報と、前記重要度情報
   とを対応付けて設定する領域設定手段、 この領域設定手段で設定された前記領域情報と、前記重
   要度情報とを制御情報として前記符号化映像伝送装置に
   送信する制御情報送信手段、 として機能させることを特徴とする符号化情報指示プロ
   グラム。
6. 【請求項６】 前記映像復号化手段によって復号された
   映像信号に、新たな映像信号を重畳し付加する映像付加
   手段を備え、 前記映像付加手段が付加した映像の位置及び形状を含ん
   だ付加映像情報に基づいて、前記領域設定手段が前記付
   加映像情報で示される領域に前記重要度情報を設定する
   ことを特徴とする請求項５に記載の符号化情報指示プロ
   グラム。
7. 【請求項７】 映像内の少なくとも１つ以上の領域の位
   置及び形状を含んだ領域情報と、その領域の重要度を示
   す重要度情報とからなる制御情報を受信して、この制御
   情報に基づいて、入力された映像信号の符号化を行なう
   符号化映像伝送装置であって、 前記制御情報を受信する制御情報受信手段と、 この制御情報受信手段で受信した前記制御情報に含まれ
   る前記領域情報と、前記重要度情報とに基づいて、入力
   された映像信号の符号量の配分を領域毎に変えて符号化
   する映像符号化手段と、 この映像符号化手段で符号化した符号化映像信号を送信
   する符号化映像送信手段と、 を備えていることを特徴とする符号化映像伝送装置。
8. 【請求項８】 映像内の少なくとも１つ以上の領域の位
   置及び形状を含んだ領域情報と、その領域の重要度を示
   す重要度情報とからなる制御情報を受信して、この制御
   情報に基づいて、入力された映像信号の符号化を行なう
   ために、コンピュータを、 前記制御情報を受信する制御情報受信手段、 この制御情報受信手段で受信した前記制御情報に含まれ
   る前記領域情報と、前記重要度情報とに基づいて、入力
   された映像信号の符号量の配分を領域毎に変えて符号化
   する映像符号化手段、 この映像符号化手段で符号化した符号化映像信号を送信
   する符号化映像送信手段、 として機能させることを特徴とする符号化映像伝送プロ
   グラム。