JP2003224850A - 映像中継システム並びに符号化情報指示装置及びそのプログラム並びに符号化映像伝送装置及びそのプログラム - Google Patents
映像中継システム並びに符号化情報指示装置及びそのプログラム並びに符号化映像伝送装置及びそのプログラムInfo
- Publication number
- JP2003224850A JP2003224850A JP2002020280A JP2002020280A JP2003224850A JP 2003224850 A JP2003224850 A JP 2003224850A JP 2002020280 A JP2002020280 A JP 2002020280A JP 2002020280 A JP2002020280 A JP 2002020280A JP 2003224850 A JP2003224850 A JP 2003224850A
- Authority
- JP
- Japan
- Prior art keywords
- video
- information
- area
- coded
- importance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 映像信号の符号化側の装置に負荷をかけず
に、画像劣化を低減させる映像中継システムを提供す
る。 【解決手段】 映像中継システム1は、符号化映像受信
手段21、映像復号化手段22、領域設定手段23、制
御情報送信手段24及び映像付加手段25を備える符号
化情報指示装置2と、制御情報受信手段31、映像符号
化手段32及び符号化映像送信手段33を備える符号化
映像伝送装置3とからなり、符号化情報指示装置2から
符号化映像伝送装置3に対して、重要度情報及び領域情
報を通知することで、符号化映像伝送装置3が映像信号
の符号量の配分を領域毎に変えることを特徴とする。
に、画像劣化を低減させる映像中継システムを提供す
る。 【解決手段】 映像中継システム1は、符号化映像受信
手段21、映像復号化手段22、領域設定手段23、制
御情報送信手段24及び映像付加手段25を備える符号
化情報指示装置2と、制御情報受信手段31、映像符号
化手段32及び符号化映像送信手段33を備える符号化
映像伝送装置3とからなり、符号化情報指示装置2から
符号化映像伝送装置3に対して、重要度情報及び領域情
報を通知することで、符号化映像伝送装置3が映像信号
の符号量の配分を領域毎に変えることを特徴とする。
Description
【0001】
【発明の属する技術分野】本発明は、映像信号の符号化
伝送技術に関し、特に、映像内の領域毎に符号量を制御
する映像中継システム及びその方法並びに符号化情報指
示装置及びその方法並びに符号化映像伝送装置及びその
方法に関する。
伝送技術に関し、特に、映像内の領域毎に符号量を制御
する映像中継システム及びその方法並びに符号化情報指
示装置及びその方法並びに符号化映像伝送装置及びその
方法に関する。
【0002】
【従来の技術】従来、映像符号化方式としては、ISO/IE
C JTC1 SC29のWG11(Working Group11)で標準化されたM
PEG−2(Moving Picture Experts Group 2)があ
る。このMPEG−2は、入力画像を16×16画素
(マクロブロック)の単位で、動き補償予測を行ない、
この動き補償された画像と入力画像との差分を、8×8
画素のブロックに分割し、離散コサイン変換(DCT:
Discrete Cosine Transform)を行なう。ここで生成さ
れる変換係数を量子化し、符号化を行なうことで動画像
を圧縮した符号化データが生成される。
C JTC1 SC29のWG11(Working Group11)で標準化されたM
PEG−2(Moving Picture Experts Group 2)があ
る。このMPEG−2は、入力画像を16×16画素
(マクロブロック)の単位で、動き補償予測を行ない、
この動き補償された画像と入力画像との差分を、8×8
画素のブロックに分割し、離散コサイン変換(DCT:
Discrete Cosine Transform)を行なう。ここで生成さ
れる変換係数を量子化し、符号化を行なうことで動画像
を圧縮した符号化データが生成される。
【0003】このMPEG−2は、符号化されたビット
ストリーム(符号化された圧縮データのデータ列)の解
釈とその復号処理について規定しているものであるた
め、符号化処理は、前記MPEG−2のビットストリー
ムに準拠している限り、自由に行なうことができる。こ
れは、他の映像符号化規格の多くにおいても同様であ
り、映像復号化装置を変更することなく、映像符号化装
置における符号化手順を自由に設計することができる。
ストリーム(符号化された圧縮データのデータ列)の解
釈とその復号処理について規定しているものであるた
め、符号化処理は、前記MPEG−2のビットストリー
ムに準拠している限り、自由に行なうことができる。こ
れは、他の映像符号化規格の多くにおいても同様であ
り、映像復号化装置を変更することなく、映像符号化装
置における符号化手順を自由に設計することができる。
【0004】また、DCTなどの直交変換を使用した映
像符号化装置では、ブロック単位で符号化処理を行なう
ため、量子化による歪みがブロック境界で不連続として
検知される、いわゆるブロック歪みや、高周波成分を粗
く量子化することで発生するモスキート歪み等の符号化
歪みが発生することがある。このような画質劣化を改善
する手法は、画像の動き等の特徴に基づいて符号量のビ
ットの配分を変更する方法等、種々提案されている。こ
のように、従来は、映像符号化装置のみで画質劣化の改
善を行ない、映像復号化装置は、映像符号化規格に基づ
いて、映像符号化装置で符号化されたデータの復号を行
なっていた。
像符号化装置では、ブロック単位で符号化処理を行なう
ため、量子化による歪みがブロック境界で不連続として
検知される、いわゆるブロック歪みや、高周波成分を粗
く量子化することで発生するモスキート歪み等の符号化
歪みが発生することがある。このような画質劣化を改善
する手法は、画像の動き等の特徴に基づいて符号量のビ
ットの配分を変更する方法等、種々提案されている。こ
のように、従来は、映像符号化装置のみで画質劣化の改
善を行ない、映像復号化装置は、映像符号化規格に基づ
いて、映像符号化装置で符号化されたデータの復号を行
なっていた。
【0005】
【発明が解決しようとする課題】しかし、遠隔地で撮影
した映像を映像符号化装置で符号化して伝送し、その伝
送されたデータを、放送局の映像復号化装置で復号して
映像を再生する映像中継放送のような形態において、例
えば、衛星電話を用いて遠隔地から映像を映像復号化装
置に伝送する場合、伝送に確保できるビットレートは6
4kbps程度と低いため、符号化された映像には著し
い画像劣化が生じ、前記従来の技術において、この画像
劣化を改善しようとすると、その改善手法の処理が高度
になればなるほど映像符号化装置の演算量が増加し、映
像符号化装置のハードウェア量、消費電力及び符号化を
行なうための遅延時間が増大する。
した映像を映像符号化装置で符号化して伝送し、その伝
送されたデータを、放送局の映像復号化装置で復号して
映像を再生する映像中継放送のような形態において、例
えば、衛星電話を用いて遠隔地から映像を映像復号化装
置に伝送する場合、伝送に確保できるビットレートは6
4kbps程度と低いため、符号化された映像には著し
い画像劣化が生じ、前記従来の技術において、この画像
劣化を改善しようとすると、その改善手法の処理が高度
になればなるほど映像符号化装置の演算量が増加し、映
像符号化装置のハードウェア量、消費電力及び符号化を
行なうための遅延時間が増大する。
【0006】このハードウェア量及び消費電力の増大
は、例えば、遠隔地から映像を伝送する場合、搬入する
機材が増えるとともに、現地で多くの電力を確保しなけ
ればならないという問題がある。また、符号化を行なう
ための遅延時間の増大は、例えば、映像を送信する側の
人間と、映像を受信する側の人間とが互いに話をする場
合、うまくかみ合わないという問題がある。
は、例えば、遠隔地から映像を伝送する場合、搬入する
機材が増えるとともに、現地で多くの電力を確保しなけ
ればならないという問題がある。また、符号化を行なう
ための遅延時間の増大は、例えば、映像を送信する側の
人間と、映像を受信する側の人間とが互いに話をする場
合、うまくかみ合わないという問題がある。
【0007】本発明は、以上のような問題点に鑑みてな
されたものであり、映像符号化装置の負荷を軽減させ、
且つ、画像劣化を低減させる映像中継システム及びその
方法並びに符号化情報指示装置及びその方法並びに符号
化映像伝送装置及びその方法を提供することを目的とす
る。
されたものであり、映像符号化装置の負荷を軽減させ、
且つ、画像劣化を低減させる映像中継システム及びその
方法並びに符号化情報指示装置及びその方法並びに符号
化映像伝送装置及びその方法を提供することを目的とす
る。
【0008】
【課題を解決するための手段】本発明は、前記目的を達
成するために創案されたものであり、まず、請求項1に
記載の映像中継システムは、以下の構成にかかるものと
した。すなわち、映像信号を符号化した符号化映像信号
を送信する符号化映像伝送装置から、符号化映像信号を
受信する符号化映像受信手段と、この符号化映像受信手
段で受信した符号化映像信号を復号する映像復号化手段
と、この映像復号化手段によって復号された映像信号の
映像内容で、少なくとも1つ以上の領域の位置及び形状
を含んだ領域情報と、その領域の重要度を示す重要度情
報とを設定する領域設定手段と、この領域設定手段で設
定された領域情報と、重要度情報とを制御情報として符
号化映像伝送装置に送信する制御情報送信手段と、を含
んだ符号化情報指示装置と、制御情報を符号化情報指示
装置から受信する制御情報受信手段と、この制御情報受
信手段で受信した制御情報に含まれる領域情報と、重要
度情報とに基づいて、入力された映像信号の符号量の配
分を領域毎に変えて符号化する映像符号化手段と、この
映像符号化手段で符号化した符号化映像信号を符号化情
報指示装置に送信する符号化映像送信手段と、を含んだ
符号化映像伝送装置と、を備える構成とした。
成するために創案されたものであり、まず、請求項1に
記載の映像中継システムは、以下の構成にかかるものと
した。すなわち、映像信号を符号化した符号化映像信号
を送信する符号化映像伝送装置から、符号化映像信号を
受信する符号化映像受信手段と、この符号化映像受信手
段で受信した符号化映像信号を復号する映像復号化手段
と、この映像復号化手段によって復号された映像信号の
映像内容で、少なくとも1つ以上の領域の位置及び形状
を含んだ領域情報と、その領域の重要度を示す重要度情
報とを設定する領域設定手段と、この領域設定手段で設
定された領域情報と、重要度情報とを制御情報として符
号化映像伝送装置に送信する制御情報送信手段と、を含
んだ符号化情報指示装置と、制御情報を符号化情報指示
装置から受信する制御情報受信手段と、この制御情報受
信手段で受信した制御情報に含まれる領域情報と、重要
度情報とに基づいて、入力された映像信号の符号量の配
分を領域毎に変えて符号化する映像符号化手段と、この
映像符号化手段で符号化した符号化映像信号を符号化情
報指示装置に送信する符号化映像送信手段と、を含んだ
符号化映像伝送装置と、を備える構成とした。
【0009】かかる構成によれば、映像中継システム
は、符号化映像伝送装置において、重要度の高い領域に
より多くの符号量を配分して符号化を行なう。例えば、
同一フレーム内の重要度の低い領域に割り当てられる符
号量の一部を、重要度の高い領域に配分したり、領域情
報で指定された領域を重要度が低いほど間引いて符号化
することで、実質的に重要度の高い領域に符号量を多く
配分する。なお、その領域の位置及び形状を含んだ領域
情報と、その領域の重要度を示す重要度情報とは、映像
信号を利用する側である符号化情報指示装置から、符号
化映像伝送装置に通知する。
は、符号化映像伝送装置において、重要度の高い領域に
より多くの符号量を配分して符号化を行なう。例えば、
同一フレーム内の重要度の低い領域に割り当てられる符
号量の一部を、重要度の高い領域に配分したり、領域情
報で指定された領域を重要度が低いほど間引いて符号化
することで、実質的に重要度の高い領域に符号量を多く
配分する。なお、その領域の位置及び形状を含んだ領域
情報と、その領域の重要度を示す重要度情報とは、映像
信号を利用する側である符号化情報指示装置から、符号
化映像伝送装置に通知する。
【0010】ここで、重要度情報とは、人物領域等の着
目性の高い領域や、背景領域といった比較的着目性の低
い領域を、その着目すべき度合い、すなわち重要度に応
じて指標化した情報である。ただし、必ずしも人物領域
の重要度が高いとはいえないため、本構成においては、
予め設定された重要度に基づいて動作することも可能で
あるし、映像信号を利用する側(符号化情報指示装置)
で、操作者が、その重要度情報を設定することも可能で
ある。
目性の高い領域や、背景領域といった比較的着目性の低
い領域を、その着目すべき度合い、すなわち重要度に応
じて指標化した情報である。ただし、必ずしも人物領域
の重要度が高いとはいえないため、本構成においては、
予め設定された重要度に基づいて動作することも可能で
あるし、映像信号を利用する側(符号化情報指示装置)
で、操作者が、その重要度情報を設定することも可能で
ある。
【0011】さらに、請求項2に記載の映像中継システ
ムは、請求項1に記載の映像中継システムにおいて、映
像復号化手段によって復号された映像信号に、新たな映
像信号を重畳し付加する映像付加手段を備え、この映像
付加手段が付加した映像の位置及び形状を含んだ付加映
像情報に基づいて、領域設定手段が付加映像情報で示さ
れる領域に重要度情報を設定する構成とした。
ムは、請求項1に記載の映像中継システムにおいて、映
像復号化手段によって復号された映像信号に、新たな映
像信号を重畳し付加する映像付加手段を備え、この映像
付加手段が付加した映像の位置及び形状を含んだ付加映
像情報に基づいて、領域設定手段が付加映像情報で示さ
れる領域に重要度情報を設定する構成とした。
【0012】かかる構成によれば、映像中継システム
は、映像信号を利用する側(符号化情報指示装置)が、
放送局で、その映像信号を加工して使用する場合、その
加工された領域に対して、重要度を設定することができ
る。例えば、放送局でテロップや別の画像を付加する場
合、符号化映像伝送装置から送信される映像内のテロッ
プや別の画像を付加する領域には、重要度情報を低く設
定する。
は、映像信号を利用する側(符号化情報指示装置)が、
放送局で、その映像信号を加工して使用する場合、その
加工された領域に対して、重要度を設定することができ
る。例えば、放送局でテロップや別の画像を付加する場
合、符号化映像伝送装置から送信される映像内のテロッ
プや別の画像を付加する領域には、重要度情報を低く設
定する。
【0013】また、請求項3に記載の符号化情報指示装
置は、映像信号を符号化した符号化映像信号を送信する
符号化映像伝送装置に、映像内の少なくとも1つ以上の
領域の位置及び形状を含んだ領域情報と、その領域の重
要度を示す重要度情報とを対応付けた制御情報を通知す
る符号化情報指示装置であって、符号化映像信号を受信
する符号化映像受信手段と、この符号化映像受信手段で
受信した符号化映像信号を復号する映像復号化手段と、
この映像復号化手段によって復号された映像信号の映像
内容に基づいて、領域情報と、重要度情報とを対応付け
て設定する領域設定手段と、この領域設定手段で設定さ
れた領域情報と、重要度情報とを制御情報として符号化
映像伝送装置に送信する制御情報送信手段と、を備える
構成とした。
置は、映像信号を符号化した符号化映像信号を送信する
符号化映像伝送装置に、映像内の少なくとも1つ以上の
領域の位置及び形状を含んだ領域情報と、その領域の重
要度を示す重要度情報とを対応付けた制御情報を通知す
る符号化情報指示装置であって、符号化映像信号を受信
する符号化映像受信手段と、この符号化映像受信手段で
受信した符号化映像信号を復号する映像復号化手段と、
この映像復号化手段によって復号された映像信号の映像
内容に基づいて、領域情報と、重要度情報とを対応付け
て設定する領域設定手段と、この領域設定手段で設定さ
れた領域情報と、重要度情報とを制御情報として符号化
映像伝送装置に送信する制御情報送信手段と、を備える
構成とした。
【0014】かかる構成によれば、符号化情報指示装
置、すなわち映像信号を利用する側が、映像の領域情報
と重要度情報とを設定し、映像信号の符号化側(符号化
映像伝送装置)に通知することができる。このように、
映像信号を利用する側で、映像の領域情報と重要度情報
とを設定することができるので、例えば、映像内の人物
にあまり動きがない構図の場合は、領域設定手段によっ
て、予め人物領域を指定したり、数秒に1度程度修正を
行なった領域情報と重要度情報とを映像信号の符号化側
に通知することもできる。
置、すなわち映像信号を利用する側が、映像の領域情報
と重要度情報とを設定し、映像信号の符号化側(符号化
映像伝送装置)に通知することができる。このように、
映像信号を利用する側で、映像の領域情報と重要度情報
とを設定することができるので、例えば、映像内の人物
にあまり動きがない構図の場合は、領域設定手段によっ
て、予め人物領域を指定したり、数秒に1度程度修正を
行なった領域情報と重要度情報とを映像信号の符号化側
に通知することもできる。
【0015】さらに、請求項4に記載の符号化情報指示
装置は、請求項3に記載の符号化情報指示装置におい
て、映像復号化手段によって復号された映像信号に、新
たな映像信号を重畳し付加する映像付加手段を備え、こ
の映像付加手段が付加した映像の位置及び形状を含んだ
付加映像情報に基づいて、領域設定手段が付加映像情報
で示される領域に重要度情報を設定する構成とした。
装置は、請求項3に記載の符号化情報指示装置におい
て、映像復号化手段によって復号された映像信号に、新
たな映像信号を重畳し付加する映像付加手段を備え、こ
の映像付加手段が付加した映像の位置及び形状を含んだ
付加映像情報に基づいて、領域設定手段が付加映像情報
で示される領域に重要度情報を設定する構成とした。
【0016】かかる構成によれば、符号化情報指示装
置、すなわち映像信号を利用する側が放送局で、その映
像信号を加工して使用する場合、その加工された領域に
対して、重要度を設定することができる。例えば、放送
局でテロップや別の画像を付加する場合、符号化映像伝
送装置から送信される映像内のテロップや別の画像を付
加する領域には、重要度情報を低く設定する。また、付
加される画像が透過画像である場合は、重要度情報を高
めに設定する。このように、本構成においては、映像信
号を利用する側で重要度情報を任意に設定することが可
能である。
置、すなわち映像信号を利用する側が放送局で、その映
像信号を加工して使用する場合、その加工された領域に
対して、重要度を設定することができる。例えば、放送
局でテロップや別の画像を付加する場合、符号化映像伝
送装置から送信される映像内のテロップや別の画像を付
加する領域には、重要度情報を低く設定する。また、付
加される画像が透過画像である場合は、重要度情報を高
めに設定する。このように、本構成においては、映像信
号を利用する側で重要度情報を任意に設定することが可
能である。
【0017】また、請求項5に記載の符号化情報指示プ
ログラムは、映像信号を符号化した符号化映像信号を送
信する符号化映像伝送装置に、映像内の少なくとも1つ
以上の領域の位置及び形状を含んだ領域情報と、その領
域の重要度を示す重要度情報とを対応付けた制御情報を
通知するために、コンピュータを、以下の手段により機
能させる構成とした。
ログラムは、映像信号を符号化した符号化映像信号を送
信する符号化映像伝送装置に、映像内の少なくとも1つ
以上の領域の位置及び形状を含んだ領域情報と、その領
域の重要度を示す重要度情報とを対応付けた制御情報を
通知するために、コンピュータを、以下の手段により機
能させる構成とした。
【0018】すなわち、符号化映像信号を受信する符号
化映像受信手段、この符号化映像受信手段で受信した符
号化映像信号を復号する映像復号化手段、この映像復号
化手段によって復号された映像信号の映像内容に基づい
て、領域情報と、重要度情報とを対応付けて設定する領
域設定手段、この領域設定手段で設定された領域情報
と、重要度情報とを制御情報として符号化映像伝送装置
に送信する制御情報送信手段とした。
化映像受信手段、この符号化映像受信手段で受信した符
号化映像信号を復号する映像復号化手段、この映像復号
化手段によって復号された映像信号の映像内容に基づい
て、領域情報と、重要度情報とを対応付けて設定する領
域設定手段、この領域設定手段で設定された領域情報
と、重要度情報とを制御情報として符号化映像伝送装置
に送信する制御情報送信手段とした。
【0019】かかる構成によれば、符号化情報指示プロ
グラムは、映像信号を利用する側で、映像の領域情報と
重要度情報とを設定し、映像信号の符号化側に通知する
ことができる。このように、映像信号を利用する側で、
映像の領域情報と重要度情報とを設定することができる
ので、例えば、映像内の人物にあまり動きがない構図の
場合は、領域設定ステップによって、予め人物領域を指
定したり、数秒に1度程度修正を行なった領域情報と重
要度情報とを映像信号の符号化側に通知することもでき
る。
グラムは、映像信号を利用する側で、映像の領域情報と
重要度情報とを設定し、映像信号の符号化側に通知する
ことができる。このように、映像信号を利用する側で、
映像の領域情報と重要度情報とを設定することができる
ので、例えば、映像内の人物にあまり動きがない構図の
場合は、領域設定ステップによって、予め人物領域を指
定したり、数秒に1度程度修正を行なった領域情報と重
要度情報とを映像信号の符号化側に通知することもでき
る。
【0020】さらに、請求項6に記載の符号化情報指示
プログラムは、請求項5に記載の符号化情報指示プログ
ラムにおいて、映像復号化手段によって復号された映像
信号に、新たな映像信号を重畳し付加する映像付加手段
を備え、この映像付加手段が付加した映像の位置及び形
状を含んだ付加映像情報に基づいて、領域設定手段が付
加映像情報で示される領域に重要度情報を設定する構成
とした。
プログラムは、請求項5に記載の符号化情報指示プログ
ラムにおいて、映像復号化手段によって復号された映像
信号に、新たな映像信号を重畳し付加する映像付加手段
を備え、この映像付加手段が付加した映像の位置及び形
状を含んだ付加映像情報に基づいて、領域設定手段が付
加映像情報で示される領域に重要度情報を設定する構成
とした。
【0021】かかる構成によれば、符号化情報指示プロ
グラムは、放送局で映像信号を加工して使用する場合、
その加工された映像の領域に対して、重要度を設定する
ことができる。例えば、放送局でテロップや別の画像を
付加する場合、符号化映像伝送装置から送信される映像
内のテロップや別の画像を付加する領域には、重要度情
報を低く設定する。また、付加される画像が透過画像で
ある場合は、重要度情報を高めに設定する。
グラムは、放送局で映像信号を加工して使用する場合、
その加工された映像の領域に対して、重要度を設定する
ことができる。例えば、放送局でテロップや別の画像を
付加する場合、符号化映像伝送装置から送信される映像
内のテロップや別の画像を付加する領域には、重要度情
報を低く設定する。また、付加される画像が透過画像で
ある場合は、重要度情報を高めに設定する。
【0022】また、請求項7に記載の符号化映像伝送装
置は、映像内の少なくとも1つ以上の領域の位置及び形
状を含んだ領域情報と、その領域の重要度を示す重要度
情報とからなる制御情報を受信して、この制御情報に基
づいて、入力された映像信号の符号化を行なう符号化映
像伝送装置であって、制御情報を受信する制御情報受信
手段と、この制御情報受信手段で受信した制御情報に含
まれる領域情報と、重要度情報とに基づいて、入力され
た映像信号の符号量の配分を領域毎に変えて符号化する
映像符号化手段と、この映像符号化手段で符号化した符
号化映像信号を送信する符号化映像送信手段と、を備え
る構成とした。
置は、映像内の少なくとも1つ以上の領域の位置及び形
状を含んだ領域情報と、その領域の重要度を示す重要度
情報とからなる制御情報を受信して、この制御情報に基
づいて、入力された映像信号の符号化を行なう符号化映
像伝送装置であって、制御情報を受信する制御情報受信
手段と、この制御情報受信手段で受信した制御情報に含
まれる領域情報と、重要度情報とに基づいて、入力され
た映像信号の符号量の配分を領域毎に変えて符号化する
映像符号化手段と、この映像符号化手段で符号化した符
号化映像信号を送信する符号化映像送信手段と、を備え
る構成とした。
【0023】かかる構成によれば、符号化映像伝送装置
は、重要度の異なる領域毎にその領域を符号化するため
の符号量を変化させ、重要度の高い領域により多くの符
号量を配分することができる。この重要度の高い領域に
符号量を多く配分することで、復号時により画質劣化を
抑えた映像を再生することができる。
は、重要度の異なる領域毎にその領域を符号化するため
の符号量を変化させ、重要度の高い領域により多くの符
号量を配分することができる。この重要度の高い領域に
符号量を多く配分することで、復号時により画質劣化を
抑えた映像を再生することができる。
【0024】また、請求項8に記載の符号化映像伝送プ
ログラムは、映像内の少なくとも1つ以上の領域の位置
及び形状を含んだ領域情報と、その領域の重要度を示す
重要度情報とからなる制御情報を受信して、この制御情
報に基づいて、入力された映像信号の符号化を行なうた
めに、コンピュータを、以下の手段により機能させる構
成とした。
ログラムは、映像内の少なくとも1つ以上の領域の位置
及び形状を含んだ領域情報と、その領域の重要度を示す
重要度情報とからなる制御情報を受信して、この制御情
報に基づいて、入力された映像信号の符号化を行なうた
めに、コンピュータを、以下の手段により機能させる構
成とした。
【0025】すなわち、制御情報を受信する制御情報受
信手段、この制御情報受信手段で受信した制御情報に含
まれる領域情報と、重要度情報とに基づいて、入力され
た映像信号の符号量の配分を領域毎に変えて符号化する
映像符号化手段、この映像符号化手段で符号化した符号
化映像信号を送信する符号化映像送信手段とした。
信手段、この制御情報受信手段で受信した制御情報に含
まれる領域情報と、重要度情報とに基づいて、入力され
た映像信号の符号量の配分を領域毎に変えて符号化する
映像符号化手段、この映像符号化手段で符号化した符号
化映像信号を送信する符号化映像送信手段とした。
【0026】かかる構成によれば、符号化映像伝送プロ
グラムは、重要度の異なる領域毎にその領域を符号化す
るための符号量を変化させ、重要度の高い領域により多
くの符号量を配分することができる。この重要度の高い
領域に符号量を多く配分することで、復号時により画質
劣化を抑えた映像を再生することができる。
グラムは、重要度の異なる領域毎にその領域を符号化す
るための符号量を変化させ、重要度の高い領域により多
くの符号量を配分することができる。この重要度の高い
領域に符号量を多く配分することで、復号時により画質
劣化を抑えた映像を再生することができる。
【0027】
【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて詳細に説明する。
に基づいて詳細に説明する。
【0028】(映像中継システムの構成)図1は、映像
中継システムの全体構成を示すブロック図である。図1
に示すように、映像中継システム1は、符号化情報指示
装置2と、符号化映像伝送装置3とを伝送路5を介して
接続する構成とした。この映像中継システム1は、符号
化情報指示装置2で設定される映像内のある領域の位置
及び形状を含んだ領域情報と、その領域に着目すべき度
合いを示す重要度情報とを、遠隔地の符号化映像伝送装
置3に通知することで、符号化映像伝送装置3が、その
領域の重要度情報に基づいて、重要度の高い領域ほど符
号量を多く配分して符号化を行なうシステムである。
中継システムの全体構成を示すブロック図である。図1
に示すように、映像中継システム1は、符号化情報指示
装置2と、符号化映像伝送装置3とを伝送路5を介して
接続する構成とした。この映像中継システム1は、符号
化情報指示装置2で設定される映像内のある領域の位置
及び形状を含んだ領域情報と、その領域に着目すべき度
合いを示す重要度情報とを、遠隔地の符号化映像伝送装
置3に通知することで、符号化映像伝送装置3が、その
領域の重要度情報に基づいて、重要度の高い領域ほど符
号量を多く配分して符号化を行なうシステムである。
【0029】ここで、図5に基づいて、重要度情報及び
領域情報について説明する。図5は、遠隔地から映像を
中継したときの映像例を示している。図5に示すよう
に、映像内の領域は、人物領域A1、テロップ領域A
2、背景領域A3等に分類される。この人物領域A1
は、中継先の人物を映した領域で、中継先から送られて
くる映像の中で最も注目すべき(重要度が高い)領域で
ある。また、テロップ領域A2は、中継先から送られて
くる映像の中に、放送局が「現場から中継です」等の新
たな映像を重畳させる領域である。このテロップ領域A
2は、放送局で独自に映像を重畳させるため、中継先か
ら送られてくる映像の重要度は低い。また、背景領域A
3は、人物領域A1の背景に位置する領域である。この
背景領域A3の重要度は、人物領域A1よりも低く、テ
ロップ領域A2よりも高い。このように、中継先から送
られてくる映像は、前記した領域毎に重要度が異なる。
そこで、本発明では、この重要度のレベルである重要度
情報と、その領域の位置及び形状である領域情報とに基
づいて、領域毎に符号量の配分を変化させる。
領域情報について説明する。図5は、遠隔地から映像を
中継したときの映像例を示している。図5に示すよう
に、映像内の領域は、人物領域A1、テロップ領域A
2、背景領域A3等に分類される。この人物領域A1
は、中継先の人物を映した領域で、中継先から送られて
くる映像の中で最も注目すべき(重要度が高い)領域で
ある。また、テロップ領域A2は、中継先から送られて
くる映像の中に、放送局が「現場から中継です」等の新
たな映像を重畳させる領域である。このテロップ領域A
2は、放送局で独自に映像を重畳させるため、中継先か
ら送られてくる映像の重要度は低い。また、背景領域A
3は、人物領域A1の背景に位置する領域である。この
背景領域A3の重要度は、人物領域A1よりも低く、テ
ロップ領域A2よりも高い。このように、中継先から送
られてくる映像は、前記した領域毎に重要度が異なる。
そこで、本発明では、この重要度のレベルである重要度
情報と、その領域の位置及び形状である領域情報とに基
づいて、領域毎に符号量の配分を変化させる。
【0030】図1に戻って、映像中継システム1の個々
の構成について詳細に説明する。 (符号化情報指示装置の構成)まず、符号化情報指示装
置2の構成について説明する。符号化情報指示装置2
は、符号化映像受信手段21と、映像復号化手段22
と、領域設定手段23と、制御情報送信手段24と、映
像付加手段25とを備える構成とした。この符号化情報
指示装置2は、伝送路5を介して受信した符号化映像信
号を復号することで映像信号を再生する装置である。ま
た、符号化情報指示装置2は、再生した映像内のある領
域の位置及び形状を含んだ領域情報と、その領域に着目
すべき度合いを示す重要度情報とを設定して、符号化映
像伝送装置3に通知する装置である。
の構成について詳細に説明する。 (符号化情報指示装置の構成)まず、符号化情報指示装
置2の構成について説明する。符号化情報指示装置2
は、符号化映像受信手段21と、映像復号化手段22
と、領域設定手段23と、制御情報送信手段24と、映
像付加手段25とを備える構成とした。この符号化情報
指示装置2は、伝送路5を介して受信した符号化映像信
号を復号することで映像信号を再生する装置である。ま
た、符号化情報指示装置2は、再生した映像内のある領
域の位置及び形状を含んだ領域情報と、その領域に着目
すべき度合いを示す重要度情報とを設定して、符号化映
像伝送装置3に通知する装置である。
【0031】符号化映像受信手段21は、符号化映像伝
送装置3から伝送路5を介して送られる符号化映像信号
を受信して、映像復号化手段22に送出するものであ
る。この符号化映像受信手段21は、例えば、通信衛星
を利用する衛星電話によって符号化映像信号を受信す
る。あるいは、ISDN回線や、専用回線等を伝送路5
として使用する形態であってもよい。
送装置3から伝送路5を介して送られる符号化映像信号
を受信して、映像復号化手段22に送出するものであ
る。この符号化映像受信手段21は、例えば、通信衛星
を利用する衛星電話によって符号化映像信号を受信す
る。あるいは、ISDN回線や、専用回線等を伝送路5
として使用する形態であってもよい。
【0032】映像復号化手段22は、符号化映像受信手
段21から入力された符号化映像信号を復号して映像信
号を出力するものである。この映像復号化手段22は、
重要度情報や領域情報を意識する必要はなく、符号化映
像伝送装置3の映像符号化手段32で用いた符号化方
式、例えば、MPEG−2に基づいた復号処理を行な
う。この復号された映像信号は、領域設定手段23と、
映像付加手段25とに出力される。
段21から入力された符号化映像信号を復号して映像信
号を出力するものである。この映像復号化手段22は、
重要度情報や領域情報を意識する必要はなく、符号化映
像伝送装置3の映像符号化手段32で用いた符号化方
式、例えば、MPEG−2に基づいた復号処理を行な
う。この復号された映像信号は、領域設定手段23と、
映像付加手段25とに出力される。
【0033】領域設定手段23は、外部から入力される
映像内の領域の位置及び形状を示す領域情報と、その領
域の着目すべき度合いを示す重要度情報とを入力し、こ
の領域情報と重要度情報とを含んだ制御情報を制御情報
送信手段24へ通知するものである。
映像内の領域の位置及び形状を示す領域情報と、その領
域の着目すべき度合いを示す重要度情報とを入力し、こ
の領域情報と重要度情報とを含んだ制御情報を制御情報
送信手段24へ通知するものである。
【0034】さらに、領域設定手段23は、映像復号化
手段22から入力される映像信号に基づいて、動きのあ
る領域(例えば、人物領域等)を検出し、その領域を領
域情報とする形態としても構わない。この動きのある領
域を検出する手法は、時間的に連続するフレーム間の差
の情報に基づいて検出する等、一般的な手法を用いて実
現することができる。
手段22から入力される映像信号に基づいて、動きのあ
る領域(例えば、人物領域等)を検出し、その領域を領
域情報とする形態としても構わない。この動きのある領
域を検出する手法は、時間的に連続するフレーム間の差
の情報に基づいて検出する等、一般的な手法を用いて実
現することができる。
【0035】また、領域設定手段23は、後記する映像
付加手段25から入力される付加映像情報に基づいて、
領域情報にテロップ領域を付加して設定する。ここで領
域設定手段23は、重要度情報を設定するときに、人物
領域を最も重要度を高くし、テロップ領域を最も低い重
要度とし、それ以外の背景領域等を中間の重要度とし
て、予め設定しておく。また、例えば、遠隔地から映像
を中継する場合、カメラ位置を固定して、画面内の人物
に大きな動きがない構図がしばしば用いられる。このよ
うな場合は、予め画面内における人物領域や、テロップ
領域を固定的に設定できるため、外部から直接、領域情
報と重要度情報を入力する形態をとることが可能であ
る。
付加手段25から入力される付加映像情報に基づいて、
領域情報にテロップ領域を付加して設定する。ここで領
域設定手段23は、重要度情報を設定するときに、人物
領域を最も重要度を高くし、テロップ領域を最も低い重
要度とし、それ以外の背景領域等を中間の重要度とし
て、予め設定しておく。また、例えば、遠隔地から映像
を中継する場合、カメラ位置を固定して、画面内の人物
に大きな動きがない構図がしばしば用いられる。このよ
うな場合は、予め画面内における人物領域や、テロップ
領域を固定的に設定できるため、外部から直接、領域情
報と重要度情報を入力する形態をとることが可能であ
る。
【0036】制御情報送信手段24は、領域設定手段2
3から重要度情報と、領域情報とを含んだ制御情報を入
力し、その制御情報を伝送路5を介して符号化映像伝送
装置3に送信するものである。この制御情報送信手段2
4は、例えば、通信衛星を利用する衛星電話によって制
御情報を送信する。あるいは、ISDN回線や、専用回
線等を伝送路5として使用する形態であってもよい。
3から重要度情報と、領域情報とを含んだ制御情報を入
力し、その制御情報を伝送路5を介して符号化映像伝送
装置3に送信するものである。この制御情報送信手段2
4は、例えば、通信衛星を利用する衛星電話によって制
御情報を送信する。あるいは、ISDN回線や、専用回
線等を伝送路5として使用する形態であってもよい。
【0037】映像付加手段25は、映像復号化手段22
で復号された映像信号に、外部から入力される付加映像
信号を重畳し、付加映像付き映像信号を出力するもので
ある。この付加映像信号として重畳される映像は、字幕
等のテロップと呼ばれる映像である。さらに、制御情報
送信手段24は、このテロップの領域を付加映像情報と
して、領域設定手段23に通知する。なお、外部から付
加映像信号が入力されない場合は、映像復号化手段22
で復号された映像信号をそのまま出力する。この映像付
加手段25は、外部から入力される付加映像信号を入力
するときに、付加映像をどの位置あるいはどの形状で付
加するかを決定するキー信号等に基づいて、付加映像情
報を作成し、領域設定手段23に通知する。
で復号された映像信号に、外部から入力される付加映像
信号を重畳し、付加映像付き映像信号を出力するもので
ある。この付加映像信号として重畳される映像は、字幕
等のテロップと呼ばれる映像である。さらに、制御情報
送信手段24は、このテロップの領域を付加映像情報と
して、領域設定手段23に通知する。なお、外部から付
加映像信号が入力されない場合は、映像復号化手段22
で復号された映像信号をそのまま出力する。この映像付
加手段25は、外部から入力される付加映像信号を入力
するときに、付加映像をどの位置あるいはどの形状で付
加するかを決定するキー信号等に基づいて、付加映像情
報を作成し、領域設定手段23に通知する。
【0038】以上、本発明に係る符号化情報指示装置2
の構成について説明したが、本発明はこれに限定される
ものではない。例えば、映像付加手段25を構成要素か
ら削除した形態であっても構わない。なお、符号化情報
指示装置2は、コンピュータにおいて各手段を各機能プ
ログラムとして実現することも可能であり、各機能プロ
グラムを結合して符号化情報指示プログラムとして動作
させることも可能である。
の構成について説明したが、本発明はこれに限定される
ものではない。例えば、映像付加手段25を構成要素か
ら削除した形態であっても構わない。なお、符号化情報
指示装置2は、コンピュータにおいて各手段を各機能プ
ログラムとして実現することも可能であり、各機能プロ
グラムを結合して符号化情報指示プログラムとして動作
させることも可能である。
【0039】(符号化映像伝送装置の構成)次に、符号
化映像伝送装置3の構成について説明する。符号化映像
伝送装置3は、制御情報受信手段31と、映像符号化手
段32と、符号化映像送信手段33とを備える構成とし
た。この符号化映像伝送装置3は、入力映像を重要度情
報及び領域情報に基づいて、領域毎に符号量の配分を変
えて符号化した符号化映像信号を生成し、伝送路5を介
して符号化情報指示装置2に送信する装置である。
化映像伝送装置3の構成について説明する。符号化映像
伝送装置3は、制御情報受信手段31と、映像符号化手
段32と、符号化映像送信手段33とを備える構成とし
た。この符号化映像伝送装置3は、入力映像を重要度情
報及び領域情報に基づいて、領域毎に符号量の配分を変
えて符号化した符号化映像信号を生成し、伝送路5を介
して符号化情報指示装置2に送信する装置である。
【0040】制御情報受信手段31は、符号化情報指示
装置2から伝送路5を介して送られる重要度情報と、領
域情報とを含んだ制御情報を受信し、この制御情報を映
像符号化手段32に通知するものである。この制御情報
受信手段31は、例えば、通信衛星を利用する衛星電話
によって制御情報を受信する。この場合、伝送路5は、
通信衛星を介した無線通話路となる。ただし、この制御
情報受信手段31は、衛星電話を利用する形態のみなら
ず、例えば、遠隔地に配置された符号化映像伝送装置3
が、固定的に利用される場合は、伝送路5として、IS
DN回線や、専用回線等を用いる形態であってもよい。
装置2から伝送路5を介して送られる重要度情報と、領
域情報とを含んだ制御情報を受信し、この制御情報を映
像符号化手段32に通知するものである。この制御情報
受信手段31は、例えば、通信衛星を利用する衛星電話
によって制御情報を受信する。この場合、伝送路5は、
通信衛星を介した無線通話路となる。ただし、この制御
情報受信手段31は、衛星電話を利用する形態のみなら
ず、例えば、遠隔地に配置された符号化映像伝送装置3
が、固定的に利用される場合は、伝送路5として、IS
DN回線や、専用回線等を用いる形態であってもよい。
【0041】映像符号化手段32は、入力映像である映
像信号を制御情報受信手段31から通知される制御情報
である重要度情報と、領域情報とに基づいて、個々の領
域毎に符号量の配分を変えて符号化するものである。例
えば、離散コサイン変換(DCT)などの直交変換を基
幹技術とする高能率符号化方式であるMPEG−2によ
り符号化を行なう。この映像符号化手段32で符号化さ
れた符号化映像信号は、符号化映像送信手段33に出力
される。
像信号を制御情報受信手段31から通知される制御情報
である重要度情報と、領域情報とに基づいて、個々の領
域毎に符号量の配分を変えて符号化するものである。例
えば、離散コサイン変換(DCT)などの直交変換を基
幹技術とする高能率符号化方式であるMPEG−2によ
り符号化を行なう。この映像符号化手段32で符号化さ
れた符号化映像信号は、符号化映像送信手段33に出力
される。
【0042】符号化映像送信手段33は、映像符号化手
段32から入力された符号化映像信号を伝送路5を介し
て、符号化映像伝送装置3に送信するものである。な
お、制御情報受信手段31が受信に使用する伝送路5
と、符号化映像送信手段33が送信に使用する伝送路5
とは同一の伝送路であっても、異なる伝送路であっても
構わない。
段32から入力された符号化映像信号を伝送路5を介し
て、符号化映像伝送装置3に送信するものである。な
お、制御情報受信手段31が受信に使用する伝送路5
と、符号化映像送信手段33が送信に使用する伝送路5
とは同一の伝送路であっても、異なる伝送路であっても
構わない。
【0043】ここで、図2に基づいて、映像符号化手段
32の構成を詳細に説明する。図2は、映像符号化手段
32の構成を示したブロック図である。図2に示すよう
に、映像符号化手段32は、減算部51と、直交変換部
52と、量子化部53と、スキップ判定部54と、可変
長符号化部55と、バッファ56と、逆量子化部57
と、逆直交変換部58と、加算部59と、動き予測部6
0と、から構成されている。
32の構成を詳細に説明する。図2は、映像符号化手段
32の構成を示したブロック図である。図2に示すよう
に、映像符号化手段32は、減算部51と、直交変換部
52と、量子化部53と、スキップ判定部54と、可変
長符号化部55と、バッファ56と、逆量子化部57
と、逆直交変換部58と、加算部59と、動き予測部6
0と、から構成されている。
【0044】減算部51は、映像信号と後記する動き予
測部60から出力される予測画像信号とを所定の大きさ
のブロック毎に差分をとり予測誤差画像信号を生成する
ものである。ここでは、MPEG−2のマクロブロック
(16×16画素)単位で処理を行なうものとする。ま
た、前記予測誤差画像信号は直交変換部52に入力され
る。
測部60から出力される予測画像信号とを所定の大きさ
のブロック毎に差分をとり予測誤差画像信号を生成する
ものである。ここでは、MPEG−2のマクロブロック
(16×16画素)単位で処理を行なうものとする。ま
た、前記予測誤差画像信号は直交変換部52に入力され
る。
【0045】直交変換部52は、減算部51で生成され
た予測誤差画像信号に対して直交変換である離散コサイ
ン変換を行ないDCT係数行列を生成するものである。
このDCT係数行列は、映像信号が周波数成分に変換さ
れた行列である。また、前記DCT係数行列は量子化部
53に入力される。
た予測誤差画像信号に対して直交変換である離散コサイ
ン変換を行ないDCT係数行列を生成するものである。
このDCT係数行列は、映像信号が周波数成分に変換さ
れた行列である。また、前記DCT係数行列は量子化部
53に入力される。
【0046】量子化部53は、直交変換部52で生成さ
れたDCT係数行列を、予め設定された量子化テーブル
に基づいて量子化し、量子化DCT係数行列を生成する
ものである。この量子化DCT係数行列は、スキップ判
定部54と逆量子化部57とに入力される。
れたDCT係数行列を、予め設定された量子化テーブル
に基づいて量子化し、量子化DCT係数行列を生成する
ものである。この量子化DCT係数行列は、スキップ判
定部54と逆量子化部57とに入力される。
【0047】スキップ判定部54は、マクロブロック毎
に3つのピクチャタイプ(I、P、B)を判定し、各ピ
クチャのマクロブロックを符号化するか、符号化を行な
わないか決定するものである。ここで、符号化を行なう
と判定した場合にのみ、量子化部53で生成された量子
化DCT係数行列を可変長符号化部55に入力する。
に3つのピクチャタイプ(I、P、B)を判定し、各ピ
クチャのマクロブロックを符号化するか、符号化を行な
わないか決定するものである。ここで、符号化を行なう
と判定した場合にのみ、量子化部53で生成された量子
化DCT係数行列を可変長符号化部55に入力する。
【0048】可変長符号化部55は、スキップ判定部5
4から入力された量子化DCT係数行列を統計量に応じ
たハフマン符号に置換えるエントロピー符号化を行なう
ものである。これにより、入力された映像信号を符号化
し、バッファ56に蓄積していく。
4から入力された量子化DCT係数行列を統計量に応じ
たハフマン符号に置換えるエントロピー符号化を行なう
ものである。これにより、入力された映像信号を符号化
し、バッファ56に蓄積していく。
【0049】逆量子化部57は、量子化部53で生成さ
れた量子化DCT係数行列に対して逆量子化を行ないD
CT係数行列を生成するものである。ここでは、量子化
部53で使用した量子化マトリックスを用いて逆量子化
演算を行なう。ここで逆量子化されたDCT係数行列
は、逆直交変換部58に入力される。
れた量子化DCT係数行列に対して逆量子化を行ないD
CT係数行列を生成するものである。ここでは、量子化
部53で使用した量子化マトリックスを用いて逆量子化
演算を行なう。ここで逆量子化されたDCT係数行列
は、逆直交変換部58に入力される。
【0050】逆直交変換部58は、逆量子化部57で生
成されたDCT係数行列に逆離散コサイン変換を行な
い、予測誤差画像信号を生成するものである。この予測
誤差画像信号は、加算部59に入力される。
成されたDCT係数行列に逆離散コサイン変換を行な
い、予測誤差画像信号を生成するものである。この予測
誤差画像信号は、加算部59に入力される。
【0051】加算部59は、逆直交変換部58で生成さ
れた予測誤差画像信号と後記する動き予測部60から出
力された予測画像信号とを所定の大きさのブロック毎に
加算を行ない局所復号画像信号を生成する。ここでも、
減算部59と同様にMPEG−2のマクロブロック(1
6×16画素)単位で処理を行なうものとする。この局
所復号画像信号は、入力された映像信号がマクロブロッ
ク領域分復元された信号である。なお、前記局所復号画
像信号は、動き予測部60に入力される。
れた予測誤差画像信号と後記する動き予測部60から出
力された予測画像信号とを所定の大きさのブロック毎に
加算を行ない局所復号画像信号を生成する。ここでも、
減算部59と同様にMPEG−2のマクロブロック(1
6×16画素)単位で処理を行なうものとする。この局
所復号画像信号は、入力された映像信号がマクロブロッ
ク領域分復元された信号である。なお、前記局所復号画
像信号は、動き予測部60に入力される。
【0052】動き予測部60は、入力された映像信号に
より動きを検出し、前記局所復号画像信号に基づいて、
動き補償予測を行ない予測画像信号を生成する。なお、
前記予測画像信号は、減算部51と加算部59に入力さ
れる。
より動きを検出し、前記局所復号画像信号に基づいて、
動き補償予測を行ない予測画像信号を生成する。なお、
前記予測画像信号は、減算部51と加算部59に入力さ
れる。
【0053】以上、本発明に係る符号化映像伝送装置3
の構成について説明したが、符号化映像伝送装置3は、
コンピュータにおいて各手段を各機能プログラムとして
実現することも可能であり、各機能プログラムを結合し
て符号化映像伝送プログラムとして動作させることも可
能である。
の構成について説明したが、符号化映像伝送装置3は、
コンピュータにおいて各手段を各機能プログラムとして
実現することも可能であり、各機能プログラムを結合し
て符号化映像伝送プログラムとして動作させることも可
能である。
【0054】(映像中継システムの動作)次に、図1、
図3、図4及び図6に基づいて、映像中継システム1の
動作について説明する。 (符号化情報指示装置の動作)まず、図1及び図3に基
づいて、符号化情報指示装置2の動作について説明す
る。図3は、符号化情報指示装置2の動作を示すフロー
チャートである。
図3、図4及び図6に基づいて、映像中継システム1の
動作について説明する。 (符号化情報指示装置の動作)まず、図1及び図3に基
づいて、符号化情報指示装置2の動作について説明す
る。図3は、符号化情報指示装置2の動作を示すフロー
チャートである。
【0055】符号化情報指示装置2は、符号化映像受信
手段21によって、符号化映像伝送装置3から伝送路5
を介して送信される符号化映像信号を受信し(ステップ
S1)、映像復号化手段22によって、その符号化映像
信号を復号し映像信号を再生する(ステップS2)。
手段21によって、符号化映像伝送装置3から伝送路5
を介して送信される符号化映像信号を受信し(ステップ
S1)、映像復号化手段22によって、その符号化映像
信号を復号し映像信号を再生する(ステップS2)。
【0056】次に、符号化情報指示装置2は、領域設定
手段23によって、ステップS2で再生された映像信号
に基づいて、動きのある領域を検出し、人物領域を設定
する(ステップS3)。なお、このステップS3は、予
め人物領域が固定の領域である場合は、この人物領域
は、予め設定された領域であっても構わないし、外部か
ら領域を設定する形態であっても構わない。
手段23によって、ステップS2で再生された映像信号
に基づいて、動きのある領域を検出し、人物領域を設定
する(ステップS3)。なお、このステップS3は、予
め人物領域が固定の領域である場合は、この人物領域
は、予め設定された領域であっても構わないし、外部か
ら領域を設定する形態であっても構わない。
【0057】そして、映像信号に重畳する付加映像信号
が存在する場合は、映像付加手段25によって、映像信
号に付加映像信号を重畳するとともに、その付加映像信
号の領域情報である付加映像情報を生成する(ステップ
S4)。このステップS4で生成された付加映像情報に
基づいて、領域設定手段23が、テロップ領域を設定す
る(ステップS5)。なお、付加映像信号が存在しない
場合は、ステップS4及びステップS5は存在しない。
が存在する場合は、映像付加手段25によって、映像信
号に付加映像信号を重畳するとともに、その付加映像信
号の領域情報である付加映像情報を生成する(ステップ
S4)。このステップS4で生成された付加映像情報に
基づいて、領域設定手段23が、テロップ領域を設定す
る(ステップS5)。なお、付加映像信号が存在しない
場合は、ステップS4及びステップS5は存在しない。
【0058】そして、領域設定手段23は、外部から領
域毎の重要度情報が入力され(ステップS6)、その重
要度情報と、ステップS3及びステップS5で設定され
た人物領域、テロップ領域及びそれら以外の領域である
背景領域を示す領域情報とを制御情報として生成する
(ステップS7)。なお、このステップS6は、逐次入
力する必要はなく、初期設定時、あるいは重要度情報を
変更する場合にのみ入力を行なえばよい。また、この重
要度情報が固定である場合は、ステップS7は、予め設
定された重要度情報で動作する形態であっても構わな
い。さらに、人物領域やテロップ領域をステップS6と
同様に外部から入力する形態であっても構わない。
域毎の重要度情報が入力され(ステップS6)、その重
要度情報と、ステップS3及びステップS5で設定され
た人物領域、テロップ領域及びそれら以外の領域である
背景領域を示す領域情報とを制御情報として生成する
(ステップS7)。なお、このステップS6は、逐次入
力する必要はなく、初期設定時、あるいは重要度情報を
変更する場合にのみ入力を行なえばよい。また、この重
要度情報が固定である場合は、ステップS7は、予め設
定された重要度情報で動作する形態であっても構わな
い。さらに、人物領域やテロップ領域をステップS6と
同様に外部から入力する形態であっても構わない。
【0059】このステップS7で生成された制御情報
(領域情報、重要度情報)は、制御情報送信手段24に
入力され(ステップS8)、制御情報送信手段24が、
制御情報が更新されたかどうかを判定する(ステップS
9)。ここで、制御情報が更新された場合(Yes)
は、制御情報を伝送路5を介して遠隔地の符号化映像伝
送装置3に送信する。一方、制御情報が更新されていな
い場合は(No)、ステップS8へ戻って、制御情報の
入力を待つ。
(領域情報、重要度情報)は、制御情報送信手段24に
入力され(ステップS8)、制御情報送信手段24が、
制御情報が更新されたかどうかを判定する(ステップS
9)。ここで、制御情報が更新された場合(Yes)
は、制御情報を伝送路5を介して遠隔地の符号化映像伝
送装置3に送信する。一方、制御情報が更新されていな
い場合は(No)、ステップS8へ戻って、制御情報の
入力を待つ。
【0060】以上の動作により、符号化情報指示装置2
は、再生した映像内の人物領域、テロップ領域及び背景
領域の位置及び形状を含んだ領域情報と、その領域に着
目すべき度合いを示す重要度情報とを符号化映像伝送装
置3に通知することで、符号化映像伝送装置3の符号量
制御を補助し、符号化映像伝送装置3の負荷を軽減させ
る。
は、再生した映像内の人物領域、テロップ領域及び背景
領域の位置及び形状を含んだ領域情報と、その領域に着
目すべき度合いを示す重要度情報とを符号化映像伝送装
置3に通知することで、符号化映像伝送装置3の符号量
制御を補助し、符号化映像伝送装置3の負荷を軽減させ
る。
【0061】(符号化映像伝送装置の動作)次に、図
1、図4及び図6に基づいて、符号化映像伝送装置3の
動作について説明する。図4は、符号化映像伝送装置3
の動作を示すフローチャートである。図6は、符号化映
像伝送装置3内のピクチャタイプと符号化の対応を示す
図である。
1、図4及び図6に基づいて、符号化映像伝送装置3の
動作について説明する。図4は、符号化映像伝送装置3
の動作を示すフローチャートである。図6は、符号化映
像伝送装置3内のピクチャタイプと符号化の対応を示す
図である。
【0062】まず、図6に基づいて、符号化映像伝送装
置3におけるMPEG−2で定められているピクチャタ
イプと、マクロブロックの符号化との対応について説明
する。図6に示すように、人物領域の重要度を最も高い
値「3」とし、背景領域の重要度をその次に高い値
「2」とし、テロップ領域の重要度を最も低い値「1」
としている。
置3におけるMPEG−2で定められているピクチャタ
イプと、マクロブロックの符号化との対応について説明
する。図6に示すように、人物領域の重要度を最も高い
値「3」とし、背景領域の重要度をその次に高い値
「2」とし、テロップ領域の重要度を最も低い値「1」
としている。
【0063】また、MPEG−2で定められている3つ
のピクチャタイプ(I、P、B)毎に各ピクチャのマク
ロブロックを符号化するか、スキップするかを定義して
いる。ここでは、Iピクチャは、すべての重要度におい
て符号化を行ない、Pピクチャは、重要度が「1」(テ
ロップ領域)の場合だけ符号化を行なわず、他の重要度
では符号化を行ない、Bピクチャは、重要度が「3」
(人物領域)の場合だけ符号化を行ない、他の重要度で
は符号化を行なわないものとする。
のピクチャタイプ(I、P、B)毎に各ピクチャのマク
ロブロックを符号化するか、スキップするかを定義して
いる。ここでは、Iピクチャは、すべての重要度におい
て符号化を行ない、Pピクチャは、重要度が「1」(テ
ロップ領域)の場合だけ符号化を行なわず、他の重要度
では符号化を行ない、Bピクチャは、重要度が「3」
(人物領域)の場合だけ符号化を行ない、他の重要度で
は符号化を行なわないものとする。
【0064】また、符号化映像伝送装置3における符号
化では、Iピクチャの間隔(N)を15フレームとし、
IまたはPピクチャの間隔(M)を3フレームとする。
すなわち、符号化映像伝送装置3から、符号化情報指示
装置2へ符号化映像信号を伝送するときの伝送間隔とし
て、人物領域については毎フレーム伝送を行ない、背景
領域については3フレーム毎に伝送を行ない、テロップ
領域については15フレーム毎に伝送を行なうものとす
る。
化では、Iピクチャの間隔(N)を15フレームとし、
IまたはPピクチャの間隔(M)を3フレームとする。
すなわち、符号化映像伝送装置3から、符号化情報指示
装置2へ符号化映像信号を伝送するときの伝送間隔とし
て、人物領域については毎フレーム伝送を行ない、背景
領域については3フレーム毎に伝送を行ない、テロップ
領域については15フレーム毎に伝送を行なうものとす
る。
【0065】なお、図6に示したピクチャタイプとマク
ロブロックとの符号化の対応は一例を示したものであ
り、例えば、テロップ領域として符号化情報指示装置2
の映像付加手段25で付加する画像が透過画像である場
合は、テロップ領域の重要度を背景領域の重要度と同じ
「2」に設定してもよい。
ロブロックとの符号化の対応は一例を示したものであ
り、例えば、テロップ領域として符号化情報指示装置2
の映像付加手段25で付加する画像が透過画像である場
合は、テロップ領域の重要度を背景領域の重要度と同じ
「2」に設定してもよい。
【0066】ここで、図6の「スキップ」について説明
する。例えば、MPEG−2において、重要度に応じて
符号量を配分するには、重要度の低い領域に属するマク
ロブロックには、発生符号量の小さい符号化モードを指
定し、より重要度の高い領域には符号量を増加させるこ
とで実現することができる。このとき、マクロブロック
の符号量が最も小さくなるのは、スキップマクロブロッ
クと呼ばれるマクロブロックである。そこで、重要度の
低い領域に属するマクロブロックには、より多くのスキ
ップマクロブロックを設定すればよい。図6の「スキッ
プ」は、このスキップマクロブロックが設定された状態
である。
する。例えば、MPEG−2において、重要度に応じて
符号量を配分するには、重要度の低い領域に属するマク
ロブロックには、発生符号量の小さい符号化モードを指
定し、より重要度の高い領域には符号量を増加させるこ
とで実現することができる。このとき、マクロブロック
の符号量が最も小さくなるのは、スキップマクロブロッ
クと呼ばれるマクロブロックである。そこで、重要度の
低い領域に属するマクロブロックには、より多くのスキ
ップマクロブロックを設定すればよい。図6の「スキッ
プ」は、このスキップマクロブロックが設定された状態
である。
【0067】以下、図1及び図4に基づいて、符号化映
像伝送装置3の動作について説明する。なお、符号化映
像伝送装置3は、図6の設定に基づいて動作するものと
する。まず、符号化映像伝送装置3は、映像符号化手段
32によって、外部からの映像信号をフレーム単位で入
力し(ステップS20)、ピクチャタイプ毎に目標符号
量T(ピクチャに対する割り当てビット)を設定する
(ステップS21)。
像伝送装置3の動作について説明する。なお、符号化映
像伝送装置3は、図6の設定に基づいて動作するものと
する。まず、符号化映像伝送装置3は、映像符号化手段
32によって、外部からの映像信号をフレーム単位で入
力し(ステップS20)、ピクチャタイプ毎に目標符号
量T(ピクチャに対する割り当てビット)を設定する
(ステップS21)。
【0068】この目標符号量Tは、符号化対象のフレー
ムへの符号量配分の見積もり量を示し、MPEG−2の
符号化アルゴリズムとして知られるTM5(Test Model
5:ISO/IEC JTC1/SC29/WG11/N0400)に基づいて算出す
る。
ムへの符号量配分の見積もり量を示し、MPEG−2の
符号化アルゴリズムとして知られるTM5(Test Model
5:ISO/IEC JTC1/SC29/WG11/N0400)に基づいて算出す
る。
【0069】また、符号化映像伝送装置3は、制御情報
受信手段31によって、伝送路5を介して制御情報を受
信する(ステップS22)。この制御情報は、映像符号
化手段32に入力される(ステップS23)が、逐次入
力される必要はなく、制御情報(領域情報、重要度情
報)に変化がない場合は、このステップS22及びステ
ップS23を飛ばしてステップS24へ進む。
受信手段31によって、伝送路5を介して制御情報を受
信する(ステップS22)。この制御情報は、映像符号
化手段32に入力される(ステップS23)が、逐次入
力される必要はなく、制御情報(領域情報、重要度情
報)に変化がない場合は、このステップS22及びステ
ップS23を飛ばしてステップS24へ進む。
【0070】そして、ステップS20で入力されたフレ
ームのピクチャタイプがIピクチャであるかどうかを判
定し(ステップS24)、ピクチャタイプがIピクチャ
である場合(Yes)は、全てのマクロブロックを符号
化するためステップS30へ進む。一方、ピクチャタイ
プがIピクチャでない場合(No)は、ピクチャタイプ
がPピクチャであるかどうかを判定する(ステップS2
5)。
ームのピクチャタイプがIピクチャであるかどうかを判
定し(ステップS24)、ピクチャタイプがIピクチャ
である場合(Yes)は、全てのマクロブロックを符号
化するためステップS30へ進む。一方、ピクチャタイ
プがIピクチャでない場合(No)は、ピクチャタイプ
がPピクチャであるかどうかを判定する(ステップS2
5)。
【0071】このステップS25で、フレームのピクチ
ャタイプがPピクチャであると判定された場合(Ye
s)は、テロップ領域のマクロブロックを「スキップ」
に設定する(ステップS26)。
ャタイプがPピクチャであると判定された場合(Ye
s)は、テロップ領域のマクロブロックを「スキップ」
に設定する(ステップS26)。
【0072】ここで、「スキップ」に設定したマクロブ
ロック(スキップマクロブロック)の符号量の平均をb
(skip)、テロップ領域のマクロブロック数をmb
1とすると、b(skip)×mb1がテロップ領域に
属するスキップマクロブロックで消費される符号量とな
るため、この符号量を、ステップS21で設定した目標
符号量Tから減じた量を、背景領域と人物領域とに割り
当てられた、新たな目標符号量Tとして(ステップS2
7)、ステップS30へ進む。
ロック(スキップマクロブロック)の符号量の平均をb
(skip)、テロップ領域のマクロブロック数をmb
1とすると、b(skip)×mb1がテロップ領域に
属するスキップマクロブロックで消費される符号量とな
るため、この符号量を、ステップS21で設定した目標
符号量Tから減じた量を、背景領域と人物領域とに割り
当てられた、新たな目標符号量Tとして(ステップS2
7)、ステップS30へ進む。
【0073】一方、ステップS25で、フレームのピク
チャタイプがPピクチャでないと判定された場合(N
o)、すなわち、ピクチャタイプがBピクチャである場
合は、テロップ領域及び背景領域のマクロブロックを
「スキップ」に設定する(ステップS28)。
チャタイプがPピクチャでないと判定された場合(N
o)、すなわち、ピクチャタイプがBピクチャである場
合は、テロップ領域及び背景領域のマクロブロックを
「スキップ」に設定する(ステップS28)。
【0074】ここで、前記同様「スキップ」に設定した
マクロブロック(スキップマクロブロック)の符号量の
平均をb(skip)とし、テロップ領域及び背景領域
のマクロブロック数をそれぞれmb1及びmb2とする
と、b(skip)×(mb1+mb2)がテロップ領
域及び背景領域に属するスキップマクロブロックで消費
される符号量となるため、この符号量を、ステップS2
1で設定した目標符号量Tから減じた量を、人物領域に
割り当てられた、新たな目標符号量Tとして(ステップ
S29)、ステップS30へ進む。
マクロブロック(スキップマクロブロック)の符号量の
平均をb(skip)とし、テロップ領域及び背景領域
のマクロブロック数をそれぞれmb1及びmb2とする
と、b(skip)×(mb1+mb2)がテロップ領
域及び背景領域に属するスキップマクロブロックで消費
される符号量となるため、この符号量を、ステップS2
1で設定した目標符号量Tから減じた量を、人物領域に
割り当てられた、新たな目標符号量Tとして(ステップ
S29)、ステップS30へ進む。
【0075】そして、目標符号量Tを「スキップ」に設
定されていないマクロブロックに対する割り当てビット
とし(ステップS30)、この「スキップ」に設定され
ていないマクロブロックを符号化し、伝送間隔に基づい
てフレームの伝送を行なう。ここで符号化された符号化
映像信号は、符号化映像送信手段33によって、符号化
情報指示装置2へ伝送される(ステップS32)。そし
て、さらにフレームが存在する場合は、ステップS20
へ戻って処理が続けられる。
定されていないマクロブロックに対する割り当てビット
とし(ステップS30)、この「スキップ」に設定され
ていないマクロブロックを符号化し、伝送間隔に基づい
てフレームの伝送を行なう。ここで符号化された符号化
映像信号は、符号化映像送信手段33によって、符号化
情報指示装置2へ伝送される(ステップS32)。そし
て、さらにフレームが存在する場合は、ステップS20
へ戻って処理が続けられる。
【0076】以上の動作により、符号化映像伝送装置3
は、符号化情報指示装置2から通知される人物領域、テ
ロップ領域及び背景領域の位置及び形状を含んだ領域情
報と、その領域に着目すべき度合いを示す重要度情報と
対応付けた制御情報に基づいて、映像信号を符号化し、
符号化情報指示装置2へ伝送する。なお、本動作におけ
る符号量の配分例を図7(a)に示す。図7(a)に示
すように重要度の高い領域ほど伝送間隔が短く、符号量
を配分できるので画質の劣化を抑えることができる。
は、符号化情報指示装置2から通知される人物領域、テ
ロップ領域及び背景領域の位置及び形状を含んだ領域情
報と、その領域に着目すべき度合いを示す重要度情報と
対応付けた制御情報に基づいて、映像信号を符号化し、
符号化情報指示装置2へ伝送する。なお、本動作におけ
る符号量の配分例を図7(a)に示す。図7(a)に示
すように重要度の高い領域ほど伝送間隔が短く、符号量
を配分できるので画質の劣化を抑えることができる。
【0077】なお、本実施の形態においては、「スキッ
プ」に指定された領域内のすべてのマクロブロックをス
キップマクロブロックとして、重要度に応じて、マクロ
ブロックの伝送量を変更することで、重要度の高い領域
により多くの符号量を配分する動作を説明したが、本発
明はこれに限定されるものではない。
プ」に指定された領域内のすべてのマクロブロックをス
キップマクロブロックとして、重要度に応じて、マクロ
ブロックの伝送量を変更することで、重要度の高い領域
により多くの符号量を配分する動作を説明したが、本発
明はこれに限定されるものではない。
【0078】例えば、同一のフレーム内の領域毎にその
重度度に基づいてスキップマクロブロックの数を変更す
ることで、同一フレーム内で重要度が高い領域ほど、符
号量を多く配分する動作であっても構わない。例えば、
図7(b)に示すように、テロップ領域や背景領域から
符号量を配分する形態である。この場合は、重要度の低
いテロップ領域からより多くの符号量を人物領域へ配分
する。
重度度に基づいてスキップマクロブロックの数を変更す
ることで、同一フレーム内で重要度が高い領域ほど、符
号量を多く配分する動作であっても構わない。例えば、
図7(b)に示すように、テロップ領域や背景領域から
符号量を配分する形態である。この場合は、重要度の低
いテロップ領域からより多くの符号量を人物領域へ配分
する。
【0079】また、符号量を抑制する方法としては、D
CT係数の量子化の細かさを変えたり、動き補償フレー
ム間予測を行なわないようにしたり、あるいは、隣接す
るマクロブロックの動きベクトルの向きを揃え動きベク
トルに起因する符号量を抑制することも可能である。
CT係数の量子化の細かさを変えたり、動き補償フレー
ム間予測を行なわないようにしたり、あるいは、隣接す
るマクロブロックの動きベクトルの向きを揃え動きベク
トルに起因する符号量を抑制することも可能である。
【0080】
【発明の効果】以上説明したとおり、本発明に係る映像
中継システム及びその方法並びに符号化情報指示装置及
びその方法並びに符号化映像伝送装置及びその方法で
は、以下に示す優れた効果を奏する。
中継システム及びその方法並びに符号化情報指示装置及
びその方法並びに符号化映像伝送装置及びその方法で
は、以下に示す優れた効果を奏する。
【0081】請求項1に記載の発明によれば、映像中継
システムは、重要度情報と領域情報とを対応付けた制御
情報を映像信号を利用する側(符号化情報指示装置)で
指定し、映像信号を符号化して送信する側(符号化映像
伝送装置)は、その制御情報に基づいて符号化を行なう
ため、符号化映像伝送装置で、領域の重要度を判定する
作業を行なう必要がない。これにより、符号化映像伝送
装置の符号化遅延を抑えることができる。また、符号化
映像伝送装置のハードウェア量や消費電力を増大させる
ことなく、ビットレートが低い伝送路においても、映像
内の重要度の高い領域の画質劣化を抑えることができ
る。
システムは、重要度情報と領域情報とを対応付けた制御
情報を映像信号を利用する側(符号化情報指示装置)で
指定し、映像信号を符号化して送信する側(符号化映像
伝送装置)は、その制御情報に基づいて符号化を行なう
ため、符号化映像伝送装置で、領域の重要度を判定する
作業を行なう必要がない。これにより、符号化映像伝送
装置の符号化遅延を抑えることができる。また、符号化
映像伝送装置のハードウェア量や消費電力を増大させる
ことなく、ビットレートが低い伝送路においても、映像
内の重要度の高い領域の画質劣化を抑えることができ
る。
【0082】請求項2に記載の発明によれば、映像中継
システムは、符号化情報指示装置によって、符号化映像
伝送装置から送られる映像に新たな映像を付加する際
に、その領域に重要度情報を付与することができるの
で、符号化映像伝送装置は、その領域の内容に関知する
ことなく、他の重要度の高い領域の画質を向上させるこ
とができる。
システムは、符号化情報指示装置によって、符号化映像
伝送装置から送られる映像に新たな映像を付加する際
に、その領域に重要度情報を付与することができるの
で、符号化映像伝送装置は、その領域の内容に関知する
ことなく、他の重要度の高い領域の画質を向上させるこ
とができる。
【0083】請求項3または請求項5に記載の発明によ
れば、符号化情報指示装置または符号化情報指示プログ
ラムは、映像信号の映像内容に基づいて、映像信号を利
用する側で重要度情報と領域情報とを対応付けた制御情
報を設定することができるので、画質劣化を起こしたく
ない領域を任意に設定することができる。これにより、
映像信号の符号化側の負荷を低減することができる。
れば、符号化情報指示装置または符号化情報指示プログ
ラムは、映像信号の映像内容に基づいて、映像信号を利
用する側で重要度情報と領域情報とを対応付けた制御情
報を設定することができるので、画質劣化を起こしたく
ない領域を任意に設定することができる。これにより、
映像信号の符号化側の負荷を低減することができる。
【0084】請求項4または請求項6に記載の発明によ
れば、符号化情報指示装置または符号化情報指示プログ
ラムは、符号化映像伝送装置から送られる映像に新たな
映像を付加する際に、その領域に重要度情報を付与する
ことができるので、符号化映像伝送装置は、その領域の
内容に関知することなく、他の重要度の高い領域の画質
を向上させることができる。
れば、符号化情報指示装置または符号化情報指示プログ
ラムは、符号化映像伝送装置から送られる映像に新たな
映像を付加する際に、その領域に重要度情報を付与する
ことができるので、符号化映像伝送装置は、その領域の
内容に関知することなく、他の重要度の高い領域の画質
を向上させることができる。
【0085】請求項7または請求項8に記載の発明によ
れば、符号化映像伝送装置または符号化映像伝送プログ
ラムは、符号化情報指示装置から通知される重要度情報
と領域情報とを対応付けた制御情報に基づいて符号化を
行なうので、領域の重要度を判定する作業を行なう必要
がない。これにより、符号化遅延を抑えることができ
る。また、重要度の高い領域を重点的に符号化を行なう
ため、ビットレートが低い伝送路においても、重要度の
高い領域の画質劣化を抑えることができる。
れば、符号化映像伝送装置または符号化映像伝送プログ
ラムは、符号化情報指示装置から通知される重要度情報
と領域情報とを対応付けた制御情報に基づいて符号化を
行なうので、領域の重要度を判定する作業を行なう必要
がない。これにより、符号化遅延を抑えることができ
る。また、重要度の高い領域を重点的に符号化を行なう
ため、ビットレートが低い伝送路においても、重要度の
高い領域の画質劣化を抑えることができる。
【図1】本発明に係る符号化情報指示装置及び符号化映
像伝送装置で構成される映像中継システムの全体構成を
示すブロック図である。
像伝送装置で構成される映像中継システムの全体構成を
示すブロック図である。
【図2】本発明に係る符号化情報指示装置内の映像符号
化手段の構成を示すブロック図である。
化手段の構成を示すブロック図である。
【図3】本発明に係る符号化情報指示装置の動作を説明
したフローチャートである。
したフローチャートである。
【図4】本発明に係る符号化映像伝送装置の動作を説明
したフローチャートである。
したフローチャートである。
【図5】重要度情報及び領域情報を説明するための説明
図である。
図である。
【図6】ピクチャタイプと符号化の対応を示す図であ
る。
る。
【図7】符号量配分の例を示す概念図である。
1……映像中継システム
2……符号化情報指示装置
21……符号化映像受信手段
22……映像復号化手段
23……領域設定手段
24……制御情報送信手段
25……映像付加手段
3……符号化映像伝送装置
31……制御情報受信手段
32……映像符号化手段
33……符号化映像送信手段
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 岡田 俊一
東京都渋谷区神南二丁目2番1号 日本放
送協会 放送センター内
Fターム(参考) 5C059 KK06 LC04 MA05 MA14 MA21
MB02 MB16 MB21 MB26 MC11
ME01 NN01 PP05 PP06 PP07
PP28 RB02 RC12 SS06 SS20
SS26 TA17 TB08 TC00 TD13
UA02 UA05 UA33 UA38 UA39
5C063 AA01 AB03 AB07 AC01 AC10
CA23 CA36 DA07 DA13 DB10
5J064 AA01 AA02 BA09 BA16 BB03
BC01 BC16 BC25 BC26 BD01
Claims (8)
- 【請求項1】 映像信号を符号化した符号化映像信号を
送信する符号化映像伝送装置から、前記符号化映像信号
を受信する符号化映像受信手段と、 この符号化映像受信手段で受信した符号化映像信号を復
号する映像復号化手段と、 この映像復号化手段によって復号された前記映像信号の
映像内容で、少なくとも1つ以上の領域の位置及び形状
を含んだ領域情報と、その領域の重要度を示す重要度情
報とを設定する領域設定手段と、 この領域設定手段で設定された前記領域情報と、前記重
要度情報とを制御情報として前記符号化映像伝送装置に
送信する制御情報送信手段と、 を含んだ符号化情報指示装置と、 前記制御情報を前記符号化情報指示装置から受信する制
御情報受信手段と、 この制御情報受信手段で受信した前記制御情報に含まれ
る前記領域情報と、前記重要度情報とに基づいて、入力
された映像信号の符号量の配分を前記領域毎に変えて符
号化する映像符号化手段と、 この映像符号化手段で符号化した符号化映像信号を前記
符号化情報指示装置に送信する符号化映像送信手段と、 を含んだ符号化映像伝送装置と、 を備えていることを特徴とする映像中継システム。 - 【請求項2】 前記映像復号化手段によって復号された
映像信号に、新たな映像信号を重畳し付加する映像付加
手段を備え、 前記映像付加手段が付加した映像の位置及び形状を含ん
だ付加映像情報に基づいて、前記領域設定手段が前記付
加映像情報で示される領域に前記重要度情報を設定する
ことを特徴とする請求項1に記載の映像中継システム。 - 【請求項3】 映像信号を符号化した符号化映像信号を
送信する符号化映像伝送装置に、映像内の少なくとも1
つ以上の領域の位置及び形状を含んだ領域情報と、その
領域の重要度を示す重要度情報とを対応付けた制御情報
を通知する符号化情報指示装置であって、 前記符号化映像信号を受信する符号化映像受信手段と、 この符号化映像受信手段で受信した符号化映像信号を復
号する映像復号化手段と、 この映像復号化手段によって復号された前記映像信号の
映像内容に基づいて、前記領域情報と、前記重要度情報
とを対応付けて設定する領域設定手段と、 この領域設定手段で設定された前記領域情報と、前記重
要度情報とを制御情報として前記符号化映像伝送装置に
送信する制御情報送信手段と、 を備えていることを特徴とする符号化情報指示装置。 - 【請求項4】 前記映像復号化手段によって復号された
映像信号に、新たな映像信号を重畳し付加する映像付加
手段を備え、 前記映像付加手段が付加した映像の位置及び形状を含ん
だ付加映像情報に基づいて、前記領域設定手段が前記付
加映像情報で示される領域に前記重要度情報を設定する
ことを特徴とする請求項3に記載の符号化情報指示装
置。 - 【請求項5】 映像信号を符号化した符号化映像信号を
送信する符号化映像伝送装置に、映像内の少なくとも1
つ以上の領域の位置及び形状を含んだ領域情報と、その
領域の重要度を示す重要度情報とを対応付けた制御情報
を通知するために、コンピュータを、 前記符号化映像信号を受信する符号化映像受信手段、 この符号化映像受信手段で受信した符号化映像信号を復
号する映像復号化手段、 この映像復号化手段によって復号された前記映像信号の
映像内容に基づいて、前記領域情報と、前記重要度情報
とを対応付けて設定する領域設定手段、 この領域設定手段で設定された前記領域情報と、前記重
要度情報とを制御情報として前記符号化映像伝送装置に
送信する制御情報送信手段、 として機能させることを特徴とする符号化情報指示プロ
グラム。 - 【請求項6】 前記映像復号化手段によって復号された
映像信号に、新たな映像信号を重畳し付加する映像付加
手段を備え、 前記映像付加手段が付加した映像の位置及び形状を含ん
だ付加映像情報に基づいて、前記領域設定手段が前記付
加映像情報で示される領域に前記重要度情報を設定する
ことを特徴とする請求項5に記載の符号化情報指示プロ
グラム。 - 【請求項7】 映像内の少なくとも1つ以上の領域の位
置及び形状を含んだ領域情報と、その領域の重要度を示
す重要度情報とからなる制御情報を受信して、この制御
情報に基づいて、入力された映像信号の符号化を行なう
符号化映像伝送装置であって、 前記制御情報を受信する制御情報受信手段と、 この制御情報受信手段で受信した前記制御情報に含まれ
る前記領域情報と、前記重要度情報とに基づいて、入力
された映像信号の符号量の配分を領域毎に変えて符号化
する映像符号化手段と、 この映像符号化手段で符号化した符号化映像信号を送信
する符号化映像送信手段と、 を備えていることを特徴とする符号化映像伝送装置。 - 【請求項8】 映像内の少なくとも1つ以上の領域の位
置及び形状を含んだ領域情報と、その領域の重要度を示
す重要度情報とからなる制御情報を受信して、この制御
情報に基づいて、入力された映像信号の符号化を行なう
ために、コンピュータを、 前記制御情報を受信する制御情報受信手段、 この制御情報受信手段で受信した前記制御情報に含まれ
る前記領域情報と、前記重要度情報とに基づいて、入力
された映像信号の符号量の配分を領域毎に変えて符号化
する映像符号化手段、 この映像符号化手段で符号化した符号化映像信号を送信
する符号化映像送信手段、 として機能させることを特徴とする符号化映像伝送プロ
グラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002020280A JP2003224850A (ja) | 2002-01-29 | 2002-01-29 | 映像中継システム並びに符号化情報指示装置及びそのプログラム並びに符号化映像伝送装置及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002020280A JP2003224850A (ja) | 2002-01-29 | 2002-01-29 | 映像中継システム並びに符号化情報指示装置及びそのプログラム並びに符号化映像伝送装置及びそのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003224850A true JP2003224850A (ja) | 2003-08-08 |
Family
ID=27743815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002020280A Pending JP2003224850A (ja) | 2002-01-29 | 2002-01-29 | 映像中継システム並びに符号化情報指示装置及びそのプログラム並びに符号化映像伝送装置及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003224850A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008004983A (ja) * | 2006-06-20 | 2008-01-10 | Sony Corp | 画像理装置および方法、プログラム、並びに記録媒体 |
JP2015033055A (ja) * | 2013-08-05 | 2015-02-16 | 株式会社日立製作所 | 画像処理システム、及び、画像処理方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5335313A (en) * | 1976-09-13 | 1978-04-01 | Nippon Telegr & Teleph Corp <Ntt> | Picture image communication system |
JPS63224442A (ja) * | 1987-03-13 | 1988-09-19 | Nippon Telegr & Teleph Corp <Ntt> | 映像中継方式 |
JPH02248181A (ja) * | 1989-03-22 | 1990-10-03 | Toshiba Corp | 画像符号化装置及び画像符号化方法 |
JPH06319134A (ja) * | 1993-05-07 | 1994-11-15 | Oki Electric Ind Co Ltd | 画像通信システム |
JPH07288806A (ja) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | 動画像通信システム |
JPH08205144A (ja) * | 1995-01-20 | 1996-08-09 | Canon Inc | 画像符号化装置 |
JPH09130798A (ja) * | 1995-10-30 | 1997-05-16 | Toshiba Corp | 情報合成装置および情報合成方法 |
JPH11215498A (ja) * | 1998-01-27 | 1999-08-06 | Canon Inc | 画像処理装置および画像処理方法およびプログラム記憶媒体 |
JP2002026842A (ja) * | 2000-07-05 | 2002-01-25 | Sony Communication Network Corp | 情報配信システム |
-
2002
- 2002-01-29 JP JP2002020280A patent/JP2003224850A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5335313A (en) * | 1976-09-13 | 1978-04-01 | Nippon Telegr & Teleph Corp <Ntt> | Picture image communication system |
JPS63224442A (ja) * | 1987-03-13 | 1988-09-19 | Nippon Telegr & Teleph Corp <Ntt> | 映像中継方式 |
JPH02248181A (ja) * | 1989-03-22 | 1990-10-03 | Toshiba Corp | 画像符号化装置及び画像符号化方法 |
JPH06319134A (ja) * | 1993-05-07 | 1994-11-15 | Oki Electric Ind Co Ltd | 画像通信システム |
JPH07288806A (ja) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | 動画像通信システム |
JPH08205144A (ja) * | 1995-01-20 | 1996-08-09 | Canon Inc | 画像符号化装置 |
JPH09130798A (ja) * | 1995-10-30 | 1997-05-16 | Toshiba Corp | 情報合成装置および情報合成方法 |
JPH11215498A (ja) * | 1998-01-27 | 1999-08-06 | Canon Inc | 画像処理装置および画像処理方法およびプログラム記憶媒体 |
JP2002026842A (ja) * | 2000-07-05 | 2002-01-25 | Sony Communication Network Corp | 情報配信システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008004983A (ja) * | 2006-06-20 | 2008-01-10 | Sony Corp | 画像理装置および方法、プログラム、並びに記録媒体 |
JP2015033055A (ja) * | 2013-08-05 | 2015-02-16 | 株式会社日立製作所 | 画像処理システム、及び、画像処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100323489B1 (ko) | 비디오데이타를가지는비트스트림의트랜스코딩방법및장치 | |
Tamhankar et al. | An overview of H. 264/MPEG-4 Part 10 | |
US9838685B2 (en) | Method and apparatus for efficient slice header processing | |
US11647205B2 (en) | Video encoding device, video decoding device, video encoding method, video decoding method, and program using inter prediction | |
EP2124453B1 (en) | Method and apparatus for controlling loop filtering or post filtering in block based motion compensated video coding | |
US8300689B2 (en) | Apparatus and method for encoding and decoding image containing gray alpha channel image | |
US9185408B2 (en) | Efficient storage of motion information for high efficiency video coding | |
EP1833256B1 (en) | Selection of encoded data, setting of encoded data, creation of recoded data, and recoding method and device | |
US20120076203A1 (en) | Video encoding device, video decoding device, video encoding method, and video decoding method | |
KR20060109290A (ko) | 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램 | |
JP2010136428A (ja) | デジタル画像内の領域のサイズ、形状および位置を示す方法、デジタル画像を符号化してビットストリームを生成するためのエンコーダ、ビットストリームを復号するためのデコーダ、およびコンピュータ・プログラム製品 | |
KR20010070539A (ko) | 영상 압축 시스템의 연산의 단계적 성능저하를 위한 방법 | |
JP2006521771A (ja) | ハイブリッドレートコントローラーを備えるデジタルストリームトランスコーダー | |
EP1959688A2 (en) | Bitrate reduction method by requantization | |
JP2005260936A (ja) | 映像データ符号化及び復号化方法及び装置 | |
JPH1169356A (ja) | 動画像符号化方式及び動画像復号方式 | |
US11317105B2 (en) | Modification of picture parameter set (PPS) for HEVC extensions | |
JP2002152759A (ja) | 画像情報変換装置および画像情報変換方法 | |
US20160005155A1 (en) | Image processing device and image processing method | |
JP2003061091A (ja) | 圧縮ビットストリームをアップサンプリングする方法および装置 | |
JP2000312362A (ja) | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 | |
JPH1013859A (ja) | 画像用高能率符号化器及び画像用高能率復号化器及び画像用高能率符号化復号化システム | |
JP3263901B2 (ja) | 画像信号符号化方法及び装置、画像信号復号化方法及び装置 | |
JP2003224850A (ja) | 映像中継システム並びに符号化情報指示装置及びそのプログラム並びに符号化映像伝送装置及びそのプログラム | |
Halbach et al. | Concepts and performance of next-generation video compression standardization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061213 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070209 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070718 |