JP2000217103A - 物体単位映像信号符号化／復号化装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 入力映像信号の模様情報を符号化した再現模
様情報を利用して符号化することにより、符号化速度及
び正確性を向上させる。 【解決手段】 模様適応形変換されたブロックの変換係
数らをスキャンする際、係数のない部分はスキップして
スキャンする物体単位映像信号符号化／復号化装置及び
方法において、入力される映像信号に含まれている物体
の模様情報を、模様情報符号化部20で符号化した後、模
様適応形スキャン制御部240で再現模様情報に基づいて
テクスチャー情報を模様適応形変換して係数マスクを形
成することにより、模様適応形変換部243で模様適応形
変換を遂行しながら、これとは独立的に係数マスクを形
成する過程を並列に処理することによって符号化速度を
向上させ、さらに正確な係数マスクの形成ができ、この
ような符号化方法によって生成されたビットを復号化し
て映像信号を再生する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像信号圧縮符号
化及び復号化に関するものであり、さらに具体的には、
模様適応形変換されたブロックの変換係数らをスキャン
する際、係数のない部分はスキップし、変換係数が存在
する部分だけスキャンする映像信号符号化装置及び方法
において、入力される映像信号に含まれている物体の模
様情報を符号化して、このような模様情報に基づいてス
キャニングを制御することにより、符号化速度及び正確
性を向上することのできる物体単位映像信号圧縮符号化
装置及び方法と、このような方法によって符号化された
ビット列を復号化して、映像信号を復元する映像信号復
号化装置及び方法に関するものである。

【０００２】

【関連する背景技術】映像信号の圧縮符号化及び復号化
は、低速チャンネル（low rate channel）を通じて映
像情報の伝送ができるようにするのみならず、該映像を
貯蔵するのに要求されるメモリの容量を減少せしめられ
る。したがって、このような圧縮符号化及び復号化技術
は、映像の貯蔵（storage）、伝送（transmission）な
どの応用（application）を要求するマルチメディア（m
ultimedia）産業において非常に重要な技術である。

【０００３】一方、マルチメディア産業の拡大と情報の
互換性のために、このような情報圧縮方法の標準化作業
の必要性が台頭され、現在まで多様な応用を中心に映像
標準化法案が出された。たとえば、映像電話（video p
hone）、映像会議（video conferencing）などのため
の動映像情報を、ISDN（Integrated Service Digital
Network）を利用して伝送するためのITU-T（Internat
ional Telecommunication Union-Telecommunication
Standardization Sector；国際電気通信連合−電気通
信標準化部門、以前CCITT）のH.261、公衆電話網（Publ
ic SwitchedTelephone Network； PSTN）を利用して
動映像情報を伝送するためのITU-TのH.263、 DSM（Dig
ital Storage Media）への動映像貯蔵のためのISO/IE
CJTC1/SC29/WG11（International Standardization O
rganization/International Electrotechnical Commi
ssion Joint Technical Committee 1/Sub Committ
ee 29/Working Group 11）MPEG（Moving Picture
Experts Group）のMPEG-1、EDTV（Enhanced Digital
Television）、HDTV（High Definition Televisio
n）などの高画質デジタル放送（digital broadcastin
g）のためのMPEG-2などが代表的な動映像符号化及び復
号化の標準化方法である。そして、停止映像（still i
mage）信号の圧縮符号化も標準化作業が行われたが、IS
O/IEC JTC1/SC29WG1のJPEG（Joint Photographic Co
ding Experts Group）が代表的な標準化方法である。

【０００４】このような既存の映像信号符号化方式は、
直四角形（rectangular）のフレーム（frame）あるいは
画面（picture）全体を符号化するものであり、かかる
既存の方式をフレーム単位符号化（frame-based codin
g）という。この方式では、フレームを構成する全ての
画素（picture element； pixel）らのテクスチャー
情報（texture information）−たとえば、輝度（lumi
nance）と色度（chrominance）−を符号化して伝送する
ようになる。

【０００５】しかし、近年では、全体フレームを符号化
して伝送する方式に代えて、使用者が関心を持ったり、
必要とする特定領域（region）−あるいは物体（objec
t）−だけを符号化伝送したり、操作（manipulation）
したりする機能を含むマルチメディア製品に対する要求
が増加している。このような傾向を反映して全体フレー
ムを符号化するフレーム単位符号化に対する代案とし
て、任意の形態の領域（arbitrapy shaped region）
だけを符号化する方式である物体単位符号化（object-b
ased coding）方式が提案されて、最近活発に研究され
ている。図１５と図１６は、物体単位符号化を説明する
ための実験映像（test image）の例示図である。図１
５は、任意の空間（背景）内で子供二人がボール遊びを
している場面を図示した一枚のフレームである。このよ
うな映像の情報の中から子供とボールだけの情報の伝送
を必要とするなら、物体単位符号化を使用すればよい。
すなわち、子供とボールに属する画素のテクスチャー情
報値だけを符号化して伝送すればよい。この際、符号化
しようとする子供とボールの領域を物体（object）、物
体ではない部分あるいは領域を背景（background）とい
う。

【０００６】しかし、物体単位符号化方法を使用して図
１５の映像を圧縮符号化するためには、全体フレームの
画素の中で、どの画素が子供とボール、すなわち物体に
属する画素で、どの画素が背景に属する画素であるのか
を、符号化機（encoder）及び復号化機（decoder）で同
一に区別しなければならない。このような情報を物体の
模様情報（shape information）という。復号化機で模
様情報を認識させるため、符号化機では、模様情報を圧
縮符号化して伝送しなければならない。したがって、フ
レーム単位符号化機／復号化機に比して物体単位符号化
機／復号化機の有するもっとも大きな違いは、物体符号
化機／復号化機が模様情報符号化機／復号化機を含むと
いうことである。

【０００７】かかるフレーム単位符号化の代表的な例と
しては、ITU-Tの H.261、H.263やISO/IEC JTC1/SC29/
WG11のMPEG-1、MPEG-2、ISO/IEC JTC1/SC29/WG1のJPEG
などの標準化法案などがあげられる。物体単位符号化の
代表的な例としては、ISO/IEC JTC1/SC29/WG11のMPEG-
4、ISO/IEC JTC1/SC29/WG1 JPEG2000があげられる。

【０００８】図１６は、図１５の映像情報の中で子供と
ボールだけを物体として考慮する場合の模様情報を表し
たものである。すなわち、子供とボールを構成する画素
らは明るい値を、背景に属する画素らは暗い値を有する
模様情報である。図１６のように物体に属する場合と背
景に属する場合を区分して表すために各領域での画素ら
が一定の大きさの値を有する模様情報を２進マスク（bi
nary mask）という。たとえば、背景に属する画素らの
値は全て0を有し、物体に属する画素らは全て255値を有
することにより、各画素は0あるいは255中、いずれかの
値を有することができ、定められた方法によって各画素
が物体画素であるか、背景画素であるかを表すことがで
きる。模様情報は２進マスク以外にも背景と物体の境界
を表す輪郭線（contour）で表示することもでき、両方
式は互いに置換することができる。すなわち、２進マス
クを輪郭線情報で表現しようとするなら輪郭線抽出（ c
ontour extraction）を行えばよく、逆に輪郭線情報で
２進マスクを得ようとするなら輪郭線充填（contour f
illing）を行えばよい。

【０００９】図１６は、図１５の映像情報の中で子供と
ボールだけを物体として考慮する場合の模様情報を表し
たものである。すなわち、子供とボールを構成する画素
らは明るい値を、背景に属する画素らは暗い値を有する
模様情報である。図１６のように物体に属する場合と背
景に属する場合を区分して表すために、各領域での画素
らが一定の大きさの値を有する模様情報を２進マスク
（binary mask）という。たとえば、背景に属する画素
らの値は全て0を有し、物体に属する画素らは全て255値
を有することにより、各画素は0あるいは255中、いずれ
かの値を有することができ、定められた方法によって各
画素が物体画素であるか、背景画素であるかを表すこと
ができる。模様情報は、２進マスク以外にも背景と物体
の境界を表す輪郭線（contour）で表示することもで
き、両方式は互いに置換することができる。すなわち、
２進マスクを輪郭線情報で表現しようとするなら、輪郭
線抽出（ contour extraction）を行えばよく、逆に輪
郭線情報で２進マスクを得ようとするなら、輪郭線充填
（contour filling）を行えばよい。

【００１０】模様情報を、レシーバー（receiver）ある
いは復号機に少ないビット数で圧縮符号化して伝送する
ためには、効果的な模様情報符号化方法が必要である。
模様情報符号化方法は、模様情報が２進マスク形態であ
るか、それとも輪郭線情報であるかによって大きくビッ
トマップ基盤模様情報符号化（bitmap-based shapeinf
ormation coding）と輪郭線基盤模様情報符号化（cont
our-based shapeinformation coding）方式に分かれ
る。ビットマップ基盤符号化方式の代表的な例として
は、CAE（Context-based Arithmetic Encoding）方式
があり、輪郭線基盤符号化方式の代表的な例として頂点
（vertex-based coding）方式がある。

【００１１】ビットマップ符号化方式の代表的な例であ
るCAEの重要概念は、次の通りである。現在符号化する
模様情報の周囲に物体が多ければ、現在符号化する画素
は、物体画素である確率が高く、逆に周囲に背景画素が
多ければ、現在符号化する画素は、背景画素である確率
が高い。CAEは、このような特性を利用し、周囲画素に
物体画素が多くて現在画素が物体画素である場合には、
少ない数のビットを、また周囲画素に物体画素が多くて
現在画素が背景画素である場合には、多い数のビットを
割当てる可変長さ符号化（Variable Length coding；
VLC）を遂行する。この時使用するVLCとしては、算術
符号化（arithmetic coding）方法を使用する。

【００１２】現在符号化する模様情報画素の周囲画素ら
の組み合わせをコンテクスト（context）といい、映像
内模様情報符号化（intra shape information codin
g）に使用されるコンテクストは、図１７のように構成
される。Ccは、現在符号化する模様情報画素を表し、C0
〜C9は、Ccを符号化する時に使用される周囲模様情報画
素を表す。CcのコンテクストCの計算は、下記の式によ
ってなる。

【００１３】C=CO×2⁰＋C1×2¹＋C2×2²＋C3×2³＋…＋
C9×2⁹上記の数式によってコンテクストCが求められた
ならば、算術符号化確率表に貯蔵されている該コンテク
ストCの確率を探す。Ci（i=0,1,2,…9）は、それぞれ２
通りの値を有することができるので、Cは2¹⁰=1024個の
値を有することができ、確率表では1024通りの場合の確
率を貯蔵していなければならない。

【００１４】すなわち、CAEは、模様情報である２進マ
スクをラスタースキャニング（raster scanning）しな
がら各画素でコンテクストCを求め、確率表で該Cの場合
の確率を探して算術符号化を行う。留意することは、C0
〜C9、つまり周囲画素らはすでに符号化された画素らと
いうことである。すなわち、復号化側面で察すると符号
化の際に使用された周囲画素らは、すでに復号化されて
貯蔵された値であり、復号化の際にこれらに対する情報
が分かるということである。これは、つまりCを伝送す
る必要がないということを意味する。

【００１５】算術符号化は、ホフマン符号化（huffman
coding）とともに代表的な可変長さ符号化であり、ホ
フマン符号化に比して優れた圧縮効果を有する。これ
は、ホフマン符号化が各事件（event）−あるいはシン
ボル（symbol）−に対して整数個のビットだけを発生さ
せることができるのに反し、算術符号化は、実数個のビ
ットを発生させることができるからである。たとえば、
0と1だけの２通りの値を有する事件の場合に、仮に0と1
が発生する確率がそれぞれ0.999と0.001で、つまり0が
発生する確率が非常に高い時、ホフマン符号化は、0と1
に一個のビットを割当てざるをえない。しかし、算術符
号化は、これに比例して実数のビット数を有するビット
列をつくることができる。模様情報符号化の場合にも、
模様情報画素が有することのできる値は、0と1（あるい
は0と255などの区分される２通りの値ら）だけを有する
ことができるので、ホフマン符号化より算術符号化が有
利である。

【００１６】既存の映像信号の圧縮符号化方式の中で最
も広く使用される方式は、変換符号化（transform cod
ing）である。変換符号化は、変換方法を使用して映像
信号を変換係数（transform coefficient）−あるいは
周波数係数（frequency coefficient）−らに変換し、
高周波成分の伝送は、抑制しながら低周波成分を中心に
信号を伝送する方式である。この方式は、画質の損失が
少なく、圧縮率（compression ratio）が高い長所を有
する。このような変換符号化方式としては、DFT（Discr
ete Fourier Transform）、DCT（Discrete Cosine
Transform）、DST（Discrete Sine Transform）、WHT
（Walsh-Hadamard Transform）などが研究されてき
た。

【００１７】このような変換方法の中でDCTは、映像信
号エネルギー（energy）の低周波数成分としての集中度
（compactness）に優れる。つまり少ない数の低周波数
変換係数だけを有しても、他の変換方式に比して高い画
質を示すことができ、高速アルゴリズム（fast algori
thm）が存在する長所を有する。かかる長所により、DCT
は、最も一般的に使用される変換符号化であり、H.26
1、H.263、MPEG-1、MPEG-2、MPEG-4、JPEGなどの映像符
号化標準化法式でも採択されて使用されている。

【００１８】このような変換符号化は、一定の大きさの
正方形の画素集合であるブロック（block）の映像信号
に対して研究されてきた。すなわち、直四角形のフレー
ムを多数の同一な大きさのブロックに分割し、各ブロッ
クに対して変換符号化を遂行するのである。しかし、直
四角形のフレーム全体の画素らの信号を符号化するフレ
ーム単位符号化とは相違し、任意の模様を有する物体単
位の符号化においては、物体内部のテクスチャー情報だ
け符号化する方式であるので、ブロックの一部信号だけ
を変換符号化する方式が要求される。図１８は、任意の
模様を有する物体とこれを含むブロックの集合を示す。
図１８で正四角形のそれぞれは一個のブロックを表し、
暗い部分は物体に属する画素らを示す。図１９で白色ブ
ロックは、図１８のブロックの中で物体画素を全く含め
ていないため符号化する必要のないブロックを、黒色ブ
ロックは、それぞれのブロック内部の全画素が物体画素
であるため既存の変換符号化を使用することのできるブ
ロックを表す。さらに灰色ブロックは、それぞれのブロ
ック内部に物体画素と物体に属しない画素を同時に含め
て、一部は画素情報だけ変換符号化するブロックを表
す。このようなブロックを、本願では、境界ブロック
（boundary block）という。このように、正方形のブ
ロックに対して変換符号化する代わりに、ブロックの一
部画素らに対してのみ変換符号化する方式を模様適応形
変換符号化（shape adaptive transformcoding）とい
う。

【００１９】模様適応形変換符号化の中で代表的な方式
は、模様適応形DCT方式である。この方法では、符号化
単位であるブロックは、8画素（pixel）／線（line）×
8行／ブロックの大きさを有し、符号化すべき物体画素
のテクスチャー情報に対して垂直方向に１次元（one d
imensional）DCTを行い、さらに水平方向に１次元DCTを
行う。このような模様適応形DCT変換方法を、図２０
（a）-図２０（f）を参考にして説明する。図２０（a）
で、8×8ブロック内に符号化すべき物体領域が図示され
ている。灰色で表示されている画素が、物体に属する画
素である。上記符号化すべき物体画素のテクスチャー情
報を模様適応形DCT符号化するために、先に図２０（b）
と同様にブロックの上方境界にあわせて再整列し、物体
画素が含まれている各列（column）のテクスチャー情報
を垂直方向（図面の太線）に１次元DCTを行って、図２
０（c）に図示されているような１次元DCTの変換係数を
生成する。この図面で黒い円は、垂直方向１次元DCTの
平均値、すなわちDC（Direct Current）値の位置を表
したのである。この状態で垂直方向１次元DCTを完了さ
せる（図２０（d））。次いで図２０（e）のように、さ
らにブロックの左方境界にあわせて変換係数を再整列
し、少なくとも１個以上の変換係数が含まれている各行
（row）の変換係数に対して、水平方向に１次元DCTを行
う。図２０（f）は、垂直、水平方向の１次元DCT遂行を
完了した場合の変換係数の位置を示す。このような過
程、すなわち水平方向の１次元DCTと垂直方向の１次元D
CTを、連続的に遂行する変換を模様適応形DCTという。
図２０の例で分かるように、模様適応形DCTを遂行すれ
ば、変換係数の位置が入力物体画素の位置（あるいは模
様情報）と違うことが有り得、また変換係数の位置は、
入力模様情報によって決定される。さらに既存のDCTと
同様に、模様適応形DCTの変換係数の個数は、物体画素
の個数と同一である。

【００２０】かかる従来の模様適応形DCTを利用する模
様適応形DCT符号化機24の構成図（block diagram）を
図２１に表した。かかる従来の模様適応形DCT符号化機2
4は、模様情報を利用して、物体画素のテクスチャー情
報を模様適応形DCTする模様適応形DCT部10、この変換係
数をデータ圧縮のために量子化する量子化部11、可変長
さ符号化のため量子化された変換係数を１次元に並べる
スキャン部12及び１次元に並べられた変換係数らを可変
長さ符号化する可変長さ符号化部（variablelength co
ding）13で構成され、可変長さ符号化部から出力された
テクスチャー情報ビット列は、レシーバーに伝送される
か、他の信号（たとえば、模様情報ビット列）らと多重
化するため、多重化機（Multiplexer, MUX）へ伝送さ
れる。

【００２１】上記スキャン部12では、ジグザグスキャン
方法、代替スキャン方法などの多様なスキャン方法が使
用でき、このようなスキャン方法らを図２３に表した。
図２３は、8×8大きさのブロックの場合を表し、各数字
は、該位置の変換係数を１次元に並べる場合の順を表
す。図２３（a）は、最も広く使用されるジグザグスキ
ャン（zigzag scan）方法を示す。上記のように変換を
行う際、テクスチャー情報のエネルギーは、低周波数成
分に集中される。したがって、低周波数成分を先に並
べ、高周波数成分を後ろに並べることにより、前部分だ
けを符号化し、後部分は捨てるようにスキャニングを行
う。ジグザグスキャニング方法が、このような目的のた
めの代表的な方法である。図２３（b）と図２３（c）
は、MPEG-2とMPEG-4に採択され使用されている技術であ
り、テクスチャー情報が横側、縦側低周波成分が異なる
場合に使用される方法である。

【００２２】上記の可変長さ符号化部13における可変長
さ符号化過程を、H.263で使用される方法で説明すると
次の通りである。まず、係数大きさが、0ではない係数
のEVENTを求め、これに該当するビット列を定められた
可変長さ符号化表（VLC table）で探して、これらを順
に出力する。この際、EVENTは、LAST、RUN、LEVELなど
の３種類情報の組み合わせで決定される。LASTは、現在
符号化する係数が該当ブロックの大きさが0ではないDCT
係数の中で最後の変換係数なのか、否かを表示するもの
であり、RUNは、現在符号化する係数から最初の係数方
向への連続される0の個数を表し、LEVELは、現在符号化
する係数の大きさを表す。

【００２３】このように組み合わせて定義されたEVENT
は、ホフマン符号化（Huffman Coding）を通じてエン
トリピ符号化（entropy coding）することができる。
すなわち、発生確率の低いEVENTに対しては多い数のビ
ットを割当て、発生確率の高いEVENTに対しては少ない
数のビットを割当てることにより、固定長さ符号化（Fi
xed Length Coding； FLC）に比して、大分少ないビ
ット数でEVENTを符号化することができる。

【００２４】下記の表1にH.263で使用するEVENTのVLC表
の一部分を図示した。１番目の列は、EVENTを区分する
インデックス（index）を表す。２番目の列は、LASTを
表し、LAST=0は、現在符号化する係数が該ブロックの0
ではない係数の中で最後ではない係数であることを、LA
ST=1は、最後の係数であることを表す。３番目の列はRU
N値を表す。たとえば、RUN=0は、現在符号化する係数と
直前に符号化した係数の間には、大きさが0の係数が存
在しないことを表す。４番目の列は、LEVEL、つまり変
換係数の大きさを表す。５番目の列は、発生されるビッ
ト数を、最後の列は、発生されるビット列を表す。ここ
で、sは、LEVELの符号（sign）を表す記号であり、s=0
は、LEVELが正数（positive number）であることを、s
=1は、負数（negative number）であることを表す。

【００２５】EVENT発生確率の特性の中で重要なこと
は、RUNが大きいほど発生確率が低く、RUNが小さいほど
発生確率が高くなる。したがって、RUNを考慮して可変
長さ符号化を行えば、RUNが大きいほど多いビットが、R
UNが小さいほど少ないビット数が割当てられる。表1に
提示されているH.263のVLC表で、このような特性を確認
することができる。たとえば、LAST=0で、LEVEL=2であ
りながら、RUNが0、1、2であるEVENT（INDEX=1、13、1
9）を見ると、INDEX=19（LAST=0、RUN=2、LEVEL=2）の
場合9ビットが、INDEX=13（LAST=0、RUN=1、LEVEL=2）
の場合7ビットが、さらにINDEX=1（LAST=0、RUN=0、LEV
EL=2）の場合5ビットが割当てられた。すなわち、LAST
とLEVELが同一である時、RUNの大きさが大きいほど多い
ビットが割当てられる。

【００２６】

【表１】

【００２７】既存の模様適応形DCT符号化では、このよ
うな形態の変換係数可変長さ符号化方法あるいは表を使
用する。これを例を挙げて説明する。図２４（a）は、8
×8ブロックの信号を模様適応形DCTと量子化を行った後
の結果を示したものである。図面で暗い部分は、物体画
素によって生成された変換係数の位置を示すものであ
り、他の部分は、変換係数がないため0に設定された部
分である。Xijは、垂直方向にi番目、水平方向にj番目
の変換係数を表す。この変換係数を図２３（a）のジグ
ザグスキャンを行うと、X11、X12、X21、X31、X22、X1
3、X14、0、X32、X41、X51、X42、0、0、X15、X16、0、
0、0、X52、X61、X71、0、0、…0に並べられる。仮にX7
1が0ではなければ、図２４（b）の太い実線内部の信号
だけ可変長さ符号化を行えばよい。図２４（c）は、X32
とX42の２個の変換係数が0で、他の係数は0ではない場
合の例を示す。この例で、X41を符号化する場合、ブロ
ック内の0ではない係数の中で最後ではないため、LAST=
0であり、LEVELはX41である。またRUNは2である。しか
し、物体の信号情報によって発生するX32が0であるた
め、RUNが増加することは妥当であるが、X14とX32の間
に存在する0は、信号情報の変換によって生成されるの
ではなく、変換係数のない部分であるため与えられた値
である。したがって、この情報の伝送は、事実上不要で
あり、かえってRUN数を増加させることにより、上記で
説明したように多いビット数を発生させる短所がある。
このような問題点は、模様適応形DCT符号化方法の符号
化効率（coding efficiency）を低下させる。

【００２８】これまでは、模様適応形変換符号化方式の
代表的な模様適応形DCT符号化に対して記述した。この
他にも種々の模様適応形変換符号化方式、つまりブロッ
クの物体画素に対してのみ変換符号化する方式などが存
在するが、このような全ての方式は、物体画素の個数と
同一の数の変換係数らを生成するようになり、スキャン
過程で不要な0が挿入される問題は同一に発生するよう
になる。

【００２９】一方、変換係数を可変長さ符号化する方法
も多様に存在する。上記の例では、RUN、LEVEL、LASTを
組み合わせて符号化するH.263の可変長さ符号化表を例
として説明したが、JPEG、MPEG-1、MPEG-2の場合には、
RUNとLEVELの組み合わせだけで構成されているVLC表を
使用する。しかし、この場合でも、RUNの大きさが増加
すればビット数が増えるようになり、これによって、模
様適応形変換符号化で不要の0が挿入されると、上記で
言及したことと同一の問題点、すなわち符号化効率減少
という問題点が発生する。

【００３０】かかる問題点を補完するための代案とし
て、日本特許第2823843号は、映像信号を物体単位符号
化するにおいて、模様適応形変換されたブロックの変換
係数らをスキャンする時、係数のない部分はスキップし
てスキャンすることによって、可変長さ符号化機でより
少ないビットを発生させるようにして、符号化ビット数
を減らすことのできる方法を提案している。このような
方法を具現するための装置の構成を、図２２を参考にし
て説明すると次の通りである。

【００３１】上述したような従来の映像信号符号化機
は、図２２に図示したように、模様適応形変換を遂行す
る模様適応形変換部10、ここから出力される変換係数情
報を検査して、係数が存在する部分と存在しない部分に
分け、係数が存在しない部分は、スキャンする時、スキ
ップするように制御するスキャン制御部100、模様適応
形変換部10から出力される変換係数らを量子化する量子
化機11、ここから出力される量子化された係数らを、１
次元信号に並べるためスキャンする時、スキャン制御部
100から出力される制御信号によって連動するスキャン
遂行部200、ここから出力される信号を可変長さ符号化
する可変長さ符号化部13などから構成される。さらにス
キャン制御部100は、係数の存在する部分と存在しない
部分を区別する２進マスク生成部110と、２進マスクの
入力を受けてスキャン遂行部のスキャン方式と同様に、
２進マスクをスキャンしながら係数が存在しているかの
可否を表す信号を発生する制御ユニット120から構成さ
れる。スキャン遂行部200は、図２３のような既存のス
キャン方式と同様に、変換係数をスキャンするスキャン
遂行部12と、ここから出力される信号を制御部から出力
される信号を利用してON/OFFするスイッチ210から構成
される。

【００３２】上記の図２２の方式は、図２１の模様適応
形符号化方式に比して係数が存在しているかの可否を判
断し、係数が存在しない部分では、スキャンをスキップ
するようにして、上記の例で示された既存の方式の問題
点を減らすことのできる長所を有する。

【００３３】

【発明が解決しようとする課題】しかし、このような方
法によれば、模様適応形符号化遂行が完全に終わった後
に係数マスクを形成することができて、模様適応形符号
化が終わるまで待たなければならないので、その分遅延
される問題点が発生する。又、係数を基にしてマスクを
形成するため、正確な係数マスクを形成することができ
ない。つまり、従来の方法では、模様適応形変換を遂行
して出力される係数の入力を受けて係数マスクを形成し
たが、この場合には、ブロック内部に任意の値で初期化
されている情報から出力される係数を区分して、係数マ
スクをつくることはできる。しかし、出力される係数と
ブロック内部の初期値が、同一である場合が発生すると
きには、両情報を区分する方法がなくなり、したがって
正確な係数マスクを形成することができない。

【００３４】一方、一般的に模様情報を伝送するために
は、多いビット数を必要とするので、これを制限された
帯域幅のチャンネルを通じて伝送する場合には、損失符
号化を行う場合が多い。符号化機と復号化機で、物体適
応形符号化及び復号化を遂行するためには、同一模様情
報を利用しなければならず、復号化機では、再現模様情
報だけを得ることができる。したがって、入力模様情報
と再現模様情報が相違した損失符号化の時、物体適応形
符号化で入力模様情報を使用すれば、復号化機で物体適
応形復号化が遂行されない問題が発生する。

【００３５】本発明の一つの目的は、上述した従来技術
の問題点を克服することであり、物体単位符号化のた
め、模様適応形変換による変換係数をスキャンする時、
物体領域に含まれて変換係数が存在する部分だけをスキ
ャンして映像信号を符号化することにおいて、入力映像
信号の模様情報を符号化した再現模様情報を利用して符
号化することにより、符号化速度及び正確性を向上する
ことのできる物体単位映像信号符号化装置及び方法を提
供することである。

【００３６】本発明の他の目的は、本発明の符号化方法
によって符号化されて伝送された映像信号データを、効
果的に復号化する物体単位映像符号化方法及び装置を提
供することである。

【００３７】

【課題を解決するための手段】すなわち、本発明の一つ
の様相は、映像信号に含まれている模様情報を符号化し
て模様情報ビット列を後段の多重化部で出力し、上記の
符号化過程の中で復元された再現模様情報（reconstruc
ted shape information）をテクスチャー情報符号化
部で出力する模様情報符号化部と、上記の模様情報符号
化部より入力される再現模様情報を利用して、該物体領
域のテクスチャー情報を符号化し、多重化部へ伝送する
テクスチャー情報符号化部と、及び模様情報符号化部か
らの模様情報ビット列とテクスチャー情報符号化部から
のテクスチャー情報ビット列を多重化して、次のレシー
バーへ伝送する多重化部から構成される物体単位映像信
号符号化装置において、上記のテクスチャー情報符号化
部は、上記の模様情報符号化部から出力された物体の再
現模様情報を利用して、映像信号のテクスチャー情報を
模様適応形変換する模様適応形変換部と、上記の模様情
報符号化部から入力された再現模様情報を利用して、模
様適応形変換部の出力信号である変換係数の分布と同一
形態の２進マスクを形成し、この２進マスクにより変換
係数の存在有無によってスキャン制御信号を発生させる
模様適応形スキャン制御部と、及び上記の模様適応形変
換部の出力信号をスキャンする時、スキャン制御信号発
生部の信号によってスキャンを遂行して、上記の多重化
部に符号化ビット列を出力する模様適応形スキャン遂行
部を含めて構成されることを特徴とする物体単位映像信
号符号化装置である。

【００３８】本発明の他の様相は、映像信号に含まれて
いる模様情報を符号化して模様情報ビット列を後段の多
重化部で出力し、上記の符号化過程の中で復元された再
現模様情報（reconstructed shape information）を
テクスチャー情報符号化部で出力する模様情報符号化部
と、上記の模様情報符号化部から入力される再現模様情
報を利用して、映像信号に含まれているテクスチャー情
報を符号化するため模様適応形変換する模様適応形変換
部、係数マスク形成部及び制御信号発生部から構成され
る模様適応形スキャン制御部、模様適応形スキャン遂行
部から構成されるテクスチャー情報符号化部と、及び上
記の模様情報符号化部からの模様情報ビット列と上記の
テクスチャー情報符号化部からのテクスチャー情報ビッ
ト列を多重化する多重化部から構成される物体単位映像
信号符号化装置で物体単位映像信号符号化を行う方法に
おいて、上記の模様適応形スキャン制御部で、上記の模
様情報符号化部から出力された再現模様情報を利用し、
上記の模様適応形変換部の出力信号である変換係数の分
布と同一形態の変換係数が存在する部分と、存在しない
部分に区分する２進係数マスクを形成し、この形成され
た２進マスク値を出力する段階と、上記の模様適応形変
換部で、上記の模様情報符号化部から出力された再現模
様情報を利用して、上記の映像信号に含まれているテク
スチャー情報を模様適応形変換する段階と、上記の模様
適応形スキャン遂行部で、上記の模様適応形変換部から
出力された変換係数を符号化するためスキャンする時、
上記の模様適応形スキャン制御部から出力される２進係
数マスク値の存在有無によって変換係数が存在しない領
域に対しては、そのスキャン動作をスキップしながらス
キャンする段階を遂行することを特徴とする物体単位映
像信号符号化方法である。

【００３９】本発明のもう一つの様相は、符号化伝送さ
れた物体ビット列を逆多重化して、模様情報ビット列及
びテクスチャー情報ビット列をそれぞれ模様情報復号化
部及びテクスチャー情報復号化部へ伝送する逆多重化部
と、上記の逆多重化部から模様情報ビット列の入力を受
けて再現模様情報を出力し、物体単位復号化を遂行する
ようにテクスチャー情報復号化部へ伝送する模様情報復
号化部と、上記のテクスチャー情報ビット列の入力を受
け、上記の模様情報復号化部からの入力を受けた再現模
様情報を利用して、テクスチャー情報を復号化するテク
スチャー復号化部から構成される物体単位映像信号復号
化装置において、上記テクスチャー情報復号化部が、上
記の模様情報復号化から入力された再現模様情報により
２進係数マスクを形成し、その２進係数マスクにより存
在有無によって逆スキャン制御信号を発生させる模様適
応形逆スキャン制御部と、上記の伝送される物体ビット
列に含まれているテクスチャー情報の変換係数らを、２
次元信号に並べるために逆スキャンする時、上記の模様
適応形逆スキャン制御部の制御信号によって逆スキャン
を遂行する模様適応形逆スキャン遂行部と、上記の模様
情報復号化部から出力された模様情報によって、上記の
模様情報逆スキャン遂行部から逆スキャンされた変換係
数を模様適応形逆変換して、元の映像のテクスチャー情
報を再現する模様適応形逆変換部を含めて構成されるこ
とを特徴とする物体単位映像信号復号化装置及び方法で
ある。

【００４０】

【発明の実施の形態】以下の図面を参照して本発明をさ
らに詳細に説明する。本発明の物体単位映像信号符号化
及び復号化システムは、入力映像信号を圧縮技術を利用
して符号化する符号化装置と、このような符号化された
信号の入力を受けて、符号化の逆過程を通じて信号を復
元する復号化装置から構成される。

【００４１】図１ないし図３は、本発明が適用されるこ
とのできる物体単位映像符号化システム（object-based
video coding system）の例である。図１は、一般
的な物体単位映像符号化機の構成図であり、入力映像信
号（input video signal）を任意の模様情報を有する
物体らに分け、各物体単位で符号化を遂行するシステム
である。上記のシステムによって映像信号が処理される
時、入力ビデオ信号は先に物体形成部1へ入力される。
ここでは、入力ビデオ信号を物体ごとに分離し、各物体
別に模様情報とテクスチャー情報を求める。これら信号
は、物体符号化部2へ入力されて物体別に符号化を遂行
するようになる（2-1、2-2、…2-n）。物体符号化部2の
各出力、すなわち多くの物体のビット列らは、多重化部
（Multiplexer）3で多重化（multiplexing）された後、
レシーバーあるいは貯蔵媒体へ伝送される。

【００４２】図２は、図１の物体符号化部2を構成する
それぞれの物体符号化機の構成図である。図１で、物体
符号化機が、多くの物体符号化機から構成されているも
のとして図示されているが、これは、物体別に符号化を
遂行するということを強調するため、多くの物体の符号
化機（2-1、2-2、…2-n）を図示したものであり、実際
には、図２のような物体別符号化を数回遂行するのであ
る。物体別符号化の際、各物体の信号は、先に模様情報
とテクスチャー情報に分かれて、それぞれ模様情報符号
化部（shape information encoding）20と動き情報推
定部（motioninformation estimation）21に入力され
る。

【００４３】模様情報符号化部20では、該物体の模様情
報を符号化する。符号化された後、再現された再現模様
情報（reconstructed shape information）は、動き
情報推定部21、動き補償部（motion compensation）22
及びテクスチャー情報符号化部（texture information
coding）24に入力されて、これらの動作を物体単位で
遂行するようになる。

【００４４】一方、模様情報符号化部20の他の出力であ
る模様情報ビット列（shape information bitstrea
m）は、多重化部25へ入力される。上記の再現模様情報
は、動き推定、動き補償、テクスチャー情報符号化など
を制御するようになるが、復号化機においても同一方法
で制御を行うためには、符号化機の再現模様情報と復号
化機で受信された模様情報ビット列で復号化された再現
模様情報とは、同一でなければならない。また、模様情
報符号化部で無損失符号化（lossless coding）を遂行
すれば、再現模様情報と入力模様情報が同一になる反
面、損失符号化（lossy coding）を遂行すれば、再現
模様情報と入力模様情報は異なるようになる。したがっ
て図２のように、物体単位符号化のための制御は、入力
模様情報ではない再現模様情報を使用して構成される。

【００４５】本願の以下の説明における模様情報は、特
に前提がない限り、再現模様情報を示す。動き情報推定
部21は、現在の物体の入力テクスチャー情報と以前の物
体メモリ（previous reconstructed object memor
y）27に貯蔵されている以前物体のテクスチャー情報を
利用し、現在物体テクスチャー情報の動き情報を探す。
探した動き情報は、動き補償予測（motion compensate
d prediction）のため、動き補償部22へ入力される。
さらに推定された動き情報らは、圧縮符号化されて動き
情報ビット列（motion information bitstream）の形
態で多重化部25へ入力される。動き補償部22は、動き情
報推定部21で求められた動き情報と以前再現物体メモリ
27の以前再現物体テクスチャー情報を利用して、動き補
償予測を遂行する。

【００４６】減算機（subtractor）23では、入力テクス
チャー情報と動き補償部で求められた動き補償予測テク
スチャー情報間の差、つまり予測誤差（prediction er
ror）を求める。さらにテクスチャー情報符号化部24で
この信号を符号化する。生成されたテクスチャー情報ビ
ット列（texture information bitstream）は、多重
化部25へ入力され、再現された予測誤差信号は、加算機
26へ入力される。加算機26で、動き補償予測信号と再現
された誤差信号を足して、該物体の再現テクスチャー情
報信号をつくり、この信号は、以前再現物体メモリ27に
貯蔵されて、次に入力される物体の符号化時に利用され
る。

【００４７】本発明でテクスチャー情報符号化部24は、
模様情報符号化部20から入力される再現模様情報を利用
して、該物体領域のテクスチャー情報を符号化する。こ
の際、テクスチャー情報は、全体の物体領域を単位とし
てテクスチャー情報を符号化する代わりに、一定の大き
さ（M×N）の画素集合のブロック単位で符号化するよう
になる。

【００４８】一方、図２では、テクスチャー情報符号化
部24が予測誤差信号だけを符号化するのが図示されてい
るが、予測誤差信号に代えて入力テクスチャー情報を符
号化することもできる。これは、予測誤差信号と入力テ
クスチャー情報信号中、より効率的に符号化することの
できる信号を適応的に符号化することにより、符号化効
率を高めることに目的がある。たとえば、動き情報推定
が正確にならない場合は、予測誤差信号が大きくなり、
これを符号化する代わりに、入力情報を符号化すること
で、より少ないビット数を発生させることができる。仮
に入力テクスチャー情報が符号化されるとすれば、再現
テクスチャー情報と予測信号を足す加算機過程が不要で
ある。したがって、図２には図示されていないが、この
ようなモードを決定する段階とこのモード情報を利用す
る制御部が、一般的に符号化機に含まれる。

【００４９】図３の模様情報符号化部20の細部構成図で
あり、前記で説明したCAE方法を使用するのである。こ
の模様情報符号化機は、大きく前処理（pre-processin
g）部201とCAE部202、及び多重化部203の三つの部分に
分かれる。図３は、CAE方法を使用する映像内模様情報
符号化方式であり、他にも模様情報符号化機として映像
間（inter）CAE符号化方法、前記で言及した頂点基盤模
様情報符号化方法などが使用されることができる。本発
明で模様情報符号化部の具現方法は、特に制限されな
い。

【００５０】図３の模様情報符号化部20の前処理部201
は、模様情報を伝送する時の限界を克服できるように、
損失符号化（lossy coding）を可能にする部分であ
る。CAE部202は、任意の大きさの模様情報ブロック（Bi
nary Alpha Block； 以下、BABという）単位で符号
化を遂行し、BAB内部の全ての模様情報画素に対して、
ラスタースキャニングしながら各画素のコンテクスト
（C）を求めて、これを基準に算術符号化を遂行するも
のである。しかし模様情報のビット数が多く発生して符
号化効率を低下させる時、若干の再現画質の損失を与え
ながら、伝送量を減少させる損失符号化が可能でなけれ
ばならない。図３の模様情報符号化機では、損失符号化
のために、BABの解像度（resolution）を減らしてCAEす
る画素数を減らす方法を使用し、これを前処理部で遂行
するようになる。

【００５１】前処理部201は、ダウンサンプリング部201
1、アップサンプリング部2012、変換比率（conversion
ration； CR）算出及び符号化部2013から構成され
る。符号化するBABは、まずダウンサンプリング部2011
でダウンサンプリングされて解像度が低くなる。さらに
この低い解像度のBABは、アップサンプリング部2012で
アップサンプリングされる。CR算出及び符号化部2013で
は、入力BABとアップサンプリングされたBABの間の誤差
を計算して、入力される臨界値と比較する。仮に誤差
が、与えられた臨界値より小さければ、ダウンサンプリ
ングされた低い解像度のBABを、CAE部202で符号化して
レシーバーに伝送する。復号化機では、どのような大き
さまたは解像度のBABを復号化すべきであるかが分から
なければならないため、ダウンサンプリングされる程度
が分からなければならない。この程度の情報を変換比率
（CR）といい、CR算出及び符号化部2013では、CRを符号
化してCAE部のビット列とともにレシーバーに伝送す
る。仮に誤差が、与えられた臨界値より大きければ、元
の大きさのBABをCAE符号化しなければならない。

【００５２】CR算出及び符号化部2013で使用される臨界
値は、使用者によって任意に入力されることができ、あ
るいはバッファによる制御を受けることもありうる。す
なわち、バッファに伝送するビットが多く満たされてい
れば、高い臨界値をCR算出及び符号化部2013に入力させ
て、低い再現画質の低いビット量の模様情報符号化する
ようにし、そうではなければ、低い臨界値を入力させ
て、高い画質の高いビット量を発生させるようにする。

【００５３】このような模様情報符号化過程を、図４を
参考にして説明する。図４は、16画素／線×16／BABの
大きさを有するBABの例を示す。図４（a）は、入力BAB
を表し、図４（b）は、入力BABを垂直、水平方向に１／
２ずつダウンサンプリングしたBABを表す。図４（c）
は、16×16の元の解像度にアップサンプリングした場合
の例を示す。この時、ダウンサンプリング方法は、４個
の画素当たり１個の画素だけでも物体画素であれば、該
画素を物体画素に指定する方法である。またアップサン
プリング方法は、１個の画素を同一の４個の画素につく
る方法である。図４（d）は、入力BABとアップサンプリ
ングしたBABとの誤差を示す。仮にこの誤差が、与えら
れた臨界値より小さければ、図４（a）の入力BABを符号
化する代わりに、それより大きさが１／４である図４
（b）の模様情報を符号化して伝送する。復号化機で
は、どのような解像度の情報が伝送されたのかがわから
なければならないため、符号化機側では、変換比率情報
を符号化してレシーバーに伝送する。図４の例の場合に
は、変換比率１／４である。上記の例で使用したダウン
サンプリングとアップサンプリングの例は、最も単純な
方式であり、これよりも精巧な方法を使用して誤差をさ
らに減らすことができる。このような変換方法で、再現
模様情報は、入力模様情報と差はあるが、伝送するビッ
ト数を大幅に減少させることにより、低伝送率伝送を可
能にする。

【００５４】復号化機では、図４（b）の8×8 BABをCA
E復号化した後、アップサンプリングしてBABを再現する
ようになるので、符号化機での再現模様情報は、入力模
様情報ではなく、図３に図示されているように、アップ
サンプリングされたBABである。図３のCAE部202におけ
るCAE過程を察すると、まず低い解像度のダウン−サン
プリングされたBABあるいは円解像度のBABがコンテクス
ト計算部2021に入力され、コンテクスト計算部2021で
は、入力された該BABをラスタースキャニングしながら
コンテクストを計算する。ダウンサンプリングをしない
ならば、256個（16×16）の模様情報画素をスキャニン
グしなければならず、仮に１／４大きさにダウンサンプ
リングをするならば、64個（8×8）のダウンサンプリン
グされたBABの画素らをスキャニングしなければならな
い。計算されたコンテクスト情報は、全てコンテクスト
の確率を貯蔵している確率表貯蔵部（probability tab
le memory）2022へ伝送する。算術符号化部（arithmet
ic encoding） 2023ではコンテクスト計算部2021で入
力されるコンテクストと確率表貯蔵部2022で入力される
該コンテクストの確率を利用して、算術符号化を遂行す
る。

【００５５】多重化部203は、前処理部で出力されるCR
情報ビット列と、算術符号化部で出力されるビット列を
多重化して、模様情報ビット列を出力する。図５は、本
発明の物体単位映像信号符号化装置の概略図であり、図
２のテクスチャー情報符号化部24に該当する。本発明の
物体単位映像信号符号化装置のテクスチャー情報符号化
部24は、模様情報符号化部20から出力される再現模様情
報の提供を受けて係数が存在する部分と存在しない部分
に区分し、既存のスキャン順に従ってスキャンしながら
係数が存在しない部分では、スキャンに含まれないよう
に、制御信号を出力する模様適応形スキャン制御部240
と、量子化された係数らをスキャンする時、上記の模様
適応形スキャン制御部の出力である制御信号に連動し、
係数のない場合には、その部分をスキップするようにス
キャンする模様適応形スキャン遂行部245を含めて構成
される。

【００５６】本発明における模様適応形スキャン制御部
240は、模様情報符号化部20から出力される再現模様情
報が入力されて、上記の変換係数の存在する部分と存在
しない部分に区分する模様適応形変換係数マスクを形成
する係数マスク形成部241と、上記の係数マスクの存在
しない部分は、スキャン遂行部でスキャンの時、スキャ
ン順番で除外させてスキャンをスキップするように、ス
キップ信号を発生させる制御信号発生部242から構成さ
れる。

【００５７】本発明で上述した係数マスク形成部（coef
ficient mask forming part；241）の構成と動作
を、図６を参照して察すると次の通りである。上記の係
数マスク形成部は、模様情報符号化から再現模様情報が
入力されて、模様情報ブロック（BAB）の各列に物体画
素が存在するかの可否を論理演算によって判断し、その
存在可否を出力する列単位論理演算部2411と、上記の論
理演算部からの判断出力値が入力され、上記の物体の画
素が存在する全ての列に対して、上記の模様情報ブロッ
クの上段境界を基準に、各列別所属された画素らを上方
移動させる列単位移動部2412と、上記の列単位移動部の
出力が入力され、各行に物体画素が存在するかの可否を
論理演算により判断して、その存在有無を出力する行単
位論理演算部2413と、上記の列単位移動部の出力が入力
され、上記の行単位論理演算部から判断出力された値に
よって、その入力される列単位移動された模様情報ブロ
ック中、上記の物体の画素が存在する全ての行に対し
て、上記の模様情報ブロックの左側境界を基準に、各行
別所属された画素らを左方移動させて、最終２進係数マ
スクを形成する行単位移動部2414を含めて構成される。

【００５８】係数マスク形成部241は、模様情報符号化
部20から再現模様情報が入力されて、模様適応形符号化
を遂行した後の係数らの位置と同一形態を表す２進係数
マスクを出力する。模様適応形符号化が模様適応形DCT
（shape-adaptive DCT）である場合には、図２０（a）
のような模様情報が入力されると、図２０（f）のよう
な係数マスクが出力される。模様適応形符号化方法で模
様適応形DCTを使用する場合の係数マスク形成部241の構
成を図６に示した。

【００５９】図６を参照して、係数マスク形成部241の
動作を詳細に説明する。まず、列単位論理演算部（colu
mn logical operation part）2411は、BABの各列が
入力されて、該列に物体画素が存在するかの可否を判断
する。入力情報が、１画素当たり１ビットで表現可能な
２進マスク情報であるため、ビット単位演算子（bit-wi
se operator）による論理演算、たとえばOR演算を使用
する。論理OR演算結果が１であれば、該列に最小限１個
以上の物体画素が存在するとのことを意味し、OR演算結
果が０であれば、該列には１個の物体画素も存在しない
とのことを意味する。列単位移動部（column shift p
art）2412では、列単位論理演算部から出力される信号
が１である列に対して、図２０（b）と同様になるよう
に移動させる。つまり、該列の物体画素が、一番上方か
ら満たされるように移動させる。これもまたビット単位
の移動であれば充分である。結局、列単位移動部2412の
出力は図２０（b）-図２０（d）の模様に物体画素が位
置するようにする。この信号が入力されて、行単位論理
演算部（row logical operation part）2413では、
各行に物体画素が存在するかを判断する。行単位論理演
算部2413は、列単位に代えて行単位で遂行することを除
いては、列単位論理演算部と同一動作を遂行する。論理
OR演算結果が１である場合は、該行は少なくとも１個以
上の物体画素が存在するとのことを意味し、１である場
合は、該行に１個の物体画素も存在しないことを表す。
列単位単位移動部2412の出力が入力されて行単位移動部
（row shift part）2414では、行単位論理演算部2413
の出力が１である場合、該行の模様情報を図２０（e）-
図２０（f）と同様になるように移動する。すなわち、
該行の物体画素が、一番左側から満たされるように移動
する。結果的に行単位移動部2414の出力は、図２０
（e）-図２０（f）のような模様情報となり、これは模
様適応形SA-DCTの出力係数が存在する位置を表す情報と
一致する。

【００６０】以上のような全ての動作ないし過程は、処
理される情報が２進情報であるため、ビット単位で遂行
されて動作が非常に単純である。このほかにも、他の形
態の模様適応形符号化を遂行する物体単位符号化である
場合の係数マスク形成部は、模様適応形符号化の際、発
生する係数らの位置と同一な模様情報マスクをつくるよ
うに遂行すればよい。

【００６１】本発明で模様適応形スキャン遂行部245
は、量子化機244から出力される変換係数らの入力を受
けて１次元信号で並べるためのスキャンを遂行する。こ
の時、模様適応形スキャン制御部24で入力される制御信
号の入力を受けて、仮に係数が存在しない場合であれ
ば、スキャンに含まれないように、つまり１次元並べで
除外されるようにする。こうすることにより、本発明で
は、既存のスキャン方法を使用する時、不要に挿入され
る０をなくすことができ、その結果から符号化効率を向
上させることができる。

【００６２】本発明の模様適応形スキャン遂行部245の
具体的な具現例を図７と図８に表した。図７の具現例
で、模様適応形スキャン遂行部245は、スキャン部245-1
とスイッチング部245-2から構成される。スキャン部245
-1は、図２３のような既存のスキャン方式と同一方式の
スキャン遂行部であり、スイッチング部245-2は、模様
適応形スキャン制御部24で入力される制御信号と連動し
てスイッチ操作をする。仮に、制御信号が係数のない部
分を表すならば、スイッチをoffにしてスキャン値の出
力をオフさせ、係数のある部分を表すならば、スイッチ
をonにしてスキャン値を出力させる。こうすることによ
り、模様適応形スキャン遂行部245の出力が、変換係数
の存在する部分だけの信号を出力するようになる。これ
の説明のために図２４（c）の例を挙げて説明する。

【００６３】スキャン方式を図２３（a）のジグザグス
キャンに仮定すると、模様適応形スキャン遂行部の出力
は、X11、X12、X21、X31、X22、X13、X14、0、0、X41、
X51、0、0、0、X15、X16、0、0、0、X52、X71となる。
図２４（a）の変換係数の位置情報が入力された模様適
応形スキャン制御部の制御信号発生部242は、模様適応
形スキャン遂行部245のジグザグスキャンと同一な順
に、さらに同時にスキャンをしながら係数が存在すれ
ば、スイッチをonにする制御信号を、係数が存在しなけ
れば、スイッチをoffにする制御信号を出力する。した
がって、スイッチの入力は、X11、X12、X21、X31、X2
2、X13、X14、0、0、X41、X51、0、0、0、X15、X16、
0、0、0、X52、X71、X11、X12、X21、X31、X22、X13、X
14、0、X41、X51、0、X15、X16、X52、X71となる。

【００６４】以上は、図２３（a）のジグザグスキャン
方式を例にあげて説明したが、図２３（b）、図２３
（c）のスキャン方式を使用する時にも、同一原理で動
作を遂行することができる。本発明の模様適応形スキャ
ン遂行部245の他の具現例は、図８に図示されているよ
うに、スキャン部245-3は、既存のスキャン方式を基本
にしながらスキャンする過程で変換係数のない部分は、
スキャンせずにスキップする新たなスキャン方式でスキ
ャンする。たとえば、図２４（c）の場合、制御信号を
通じて係数位置情報が入力されれば、ジグザグスキャン
を基本にする場合は、図２４（d）のような新たなスキ
ャン方式でスキャンするようになる。一方、図２３
（b）や図２３（c）のスキャン方式を基本にすることも
できる。したがって、入力される模様情報と基本になる
スキャン方式によって新たなスキャン方式が決定され
る。無論、図７と図８は、同一な結果をもたらす。

【００６５】図５と図７，８には図示していないが、テ
クスチャー情報符号化部の内部には、符号化されたテク
スチャー情報信号を再現する部分が含まれていなければ
ならない。この部分は、一般的に逆量子化（inverse q
uantization）過程と逆変換（inverse transform）過
程を含むようになるが、この再現されたテクスチャー情
報信号は、図２における加算機で入力される。

【００６６】本発明の物体単位映像信号符号化装置の動
作を説明すると、次の通りである。図１９に表示されて
いる境界ブロックが模様適応形変換部243の入力段に入
力されれば、模様適応形変換部では、模様適応形変換を
遂行して変換係数らを出力する。この際、入力されるテ
クスチャー情報信号は、図２の予測誤差信号である可能
性もあり、予測誤差信号が大きい場合、入力テクスチャ
ー情報信号が入力される可能性もありうる。また、どの
画素が物体画素なのかが分かるべきであるため、模様情
報符号化部20から出力される再現模様情報が模様適応形
変換部243へ入力される。模様適応形変換部243の出力
は、物体画素の個数と同一な数の変換係数らである。仮
に変換符号化で模様適応形DCTを使用すれば変換係数ら
は、図２０で説明した方式によって位置される。この例
で分かるように、模様適応形変換部243へ入力される模
様情報と模様適応形変換部243から出力される変換係数
らの配置模様は、相違する。したがって、入力模様情報
を変換係数配置模様と同様に変形させる必要があり、こ
れを係数マスク形成部241で遂行するようになる。本発
明で、係数マスク形成部241は、より正確な係数マスク
の形成のため、模様情報符号化部20から出力される再現
模様情報が入力され、これを基礎にして模様適応形変換
部243の出力である変換係数配置模様と同一な模様情報
を出力する。要するに、係数マスク形成部241の出力
は、図２０（f）のように変換係数が存在するか否かを
区分する２進マスクを生成する。このような係数マスク
形成部241による係数マスク出力は、出力段を通じて模
様適応形スキャン制御部242に入力され、このような模
様情報に基づいて、模様適応形スキャン制御部242は、
模様適応形スキャン遂行部245を制御する。

【００６７】模様適応形変換部243の出力である変換係
数らは、量子化機244で量子化される。この量子化され
た変換係数らは、模様適応形スキャン遂行部245で１次
元に並べられ、可変長さ符号化部246は、１次元に並べ
られた変換係数らが可変長さ符号化してビット列を出力
する。次いで、多重化部247は、可変長さ符号化された
模様適応形変換された結果によって収得されるビット列
と、上記の模様情報符号化機から出力される模様情報ビ
ット列が入力されて、その両信号を多重化してレシーバ
ーへ伝送する。

【００６８】この際、既存のスキャン方法らは、ブロッ
クの大きさだけの変換係数らに対して、スキャンを遂行
するようになる（図２３参照）。しかし、模様適応形変
換の場合、物体領域の画素個数だけの変換係数らのみ伝
送すればよく、模様適応形変換部（243）あるいは量子
化機244の出力である変換係数らの配置は、模様情報に
依存して変換するようになる。したがって、模様適応形
スキャン制御部242では、係数マスク形成部241の出力で
ある模様情報有して、模様適応形スキャン遂行部245と
同一な方法でスキャンを遂行しながら、変換係数が存在
する領域であるか否かを表す信号を発生する。前記で言
及したように、係数マスク形成部241の出力模様情報
は、模様適応形変換部243の出力である変換係数配置と
同一である。このような模様情報を利用するスキャン制
御は、模様適応形符号化の時、発生できる不要な情報ら
を効果的に制御することをできるようにし、符号化効率
を向上させることのできる長所を有する。

【００６９】以上のように、模様情報符号化部20によっ
て符号化された再現模様情報を基礎にしてスキャニング
を制御する方法は、従来の方法に比して次のような利点
を有する。既存の方式では、模様適応形符号化遂行が完
全に終わった後に係数マスクを形成することができた
が、本発明では、模様適応形符号化を遂行しながら、こ
れとは独立的に係数マスクを形成する過程を並列に処理
することができ、模様適応形符号化が終わるまで待つ必
要がない。

【００７０】次に、正確な係数マスクをつくることがで
きる。既存の方式では、模様適応形符号化を遂行して出
力される係数が入力されて係数マスクをつくるが、大部
分の場合には、ブロック内部の情報から出力される係数
を区分して係数マスクをつくることはできるが、出力さ
れる係数とブロック内部の他の情報と違いのない場合が
発生する場合には、正確な係数マスクを形成することが
できない。本発明では、模様情報を利用することによっ
て、係数を基にマスクを形成する時の上記のような危険
性を制御することができる。

【００７１】本発明は、再現模様情報（reconstructed
shape information）を利用するので、多いビット数
の模様情報を制限された帯域幅のチャンネルを通じて伝
送する場合の問題点を克服することができる。すなわ
ち、模様情報符号化で損失符号化（lossy coding）を
遂行して、発生ビット数を減らす場合の問題点を克服す
ることができる。CAE方法以外にも大部分の模様情報符
号化では、損失符号化を遂行して符号化するようになっ
ている。損失符号化は、つまり入力模様情報と復号化段
で再現した模様情報が互いに違うということを意味し、
これは、物体領域が互いに違うように定義されるという
ことである。したがって、符号化機では、入力模様情報
ではない再現模様情報を基準に、模様適応形符号化を遂
行しなければならない。符号化機で、入力模様情報を有
して模様適応形符号化を遂行すれば、復号化部では入力
模様情報とは異なる再現模様情報だけを有することがで
きるので、模様適応形復号化を遂行することができな
い。

【００７２】本発明の物体単位映像信号復号化システム
（object-based video decodingsystem）の一つの具
現例は、図９ないし図１０に図示した通りである。図９
は、一般的な物体単位映像復号化システムの大略的な構
成図を示すものであり、入力されるビット列は、逆多重
化機（demultiplexer； DEMUX）31を通じて各物体別に
ビット列が分けられ、それぞれの物体別ビット列らは、
物体復号化部（object decoder）32で物体別に復号化
を遂行するようになる。それぞれの復号化機を通じて再
現された物体信号らは、合成部（compositor）33で合成
されて一つのビデオ信号を出力するようになる。

【００７３】図１０は、図９の物体単位映像信号復号化
システム中、物体復号化部32の構成図である。図９で物
体復号化部32が多くの物体復号化機（32-1、32-1、32-
n）から構成されたものとして図示されているが、これ
は、物体別に復号化を遂行するということを強調するた
め、多くの物体復号化機（32-1、32-1、32-n）を図示し
たのであり、実際的には、図１０のような物体別復号化
部の動作を数回遂行するのである。図１０で、物体別復
号化部32に入力された物体ビット列らは、逆多重化部
（demultiplexer； DEMUX）41を通じて動き情報ビット
列、模様情報ビット列、テクスチャー情報ビット列に分
かれて、それぞれの復号化部（42-44）へ入力される。
模様情報復号化部43は、模様情報ビット列が入力されて
再現模様情報を出力する。この再現模様情報は、動き補
償部45とテクスチャー情報復号化部44へ入力され、物体
単位の復号化を遂行するようになる。つまり、物体領域
に属する画素だけを再現することができるようにする。
テクスチャー情報復号化部44は、テクスチャー情報ビッ
ト列が入力されてテクスチャー情報復号化を遂行する。
この際、物体領域だけを復号化するため、模様情報復号
化部43で再現された模様情報が入力されてテクスチャー
情報復号化の時に利用する。動き情報復号化部42は、動
き情報ビット列が入力されて動き情報を復号化する。動
き補償部45は、動き情報復号化部42の出力である動き情
報と以前再現物体メモリ部（previous reconstructed
object memory）46の以前テクスチャー情報を利用し
て、動き補償予測を遂行すればよい。無論、この時にも
物体領域内部の遂行が必要であるため、模様情報復号化
部43の出力である再現模様情報が入力され利用される。
この再現模様情報は、図５の模様情報符号化部20の出力
である再現模様情報と同一な情報である。動き補償部45
の出力である動き補償予測信号は、テクスチャー情報復
号化部44で再現されたテクスチャー情報が、加算機47で
足されて該物体を復元する。この復元された物体は、以
前再現物体メモリ部46に貯蔵されて次のフレームの符号
化に利用され、一方合成部へ入力され他の物体と合成さ
れてビデオ信号を再生する。

【００７４】図１１は、模様情報復号化部（図１０の4
3）の詳細構成図である。図面のように、模様情報復号
化部43は、模様情報ビット列が入力されて算術復号化す
るビット列とCR情報ビット列に分ける逆多重化部（demu
ltiplexer）431と、CR情報ビット列を復号化してCRを出
力するCR復号化部433と、逆多重化部431からの算術復号
化するビット列とCR復号化部433からのCRが入力され、C
Rが示す大きさのBABを算術復号化して再現するCAE復号
化部432と、再現BABが入力されて元の大きさのBABにア
ップサンプリングするアップサンプリング部434から構
成される。

【００７５】さらに、上記のCAE復号化部432は、すでに
復号化され貯蔵されている再現模様情報の画素値を算術
復号化部4323から入力されて、コンテクストを計算する
コンテクスト計算部4321と、このコンテクスト計算部43
21からコンテクストが入力されて該コンテクストの確率
を出力する確率表貯蔵部4322と、この確率表を利用して
逆多重化部431から入力されるビット列を算術復号化
し、CR復号化部からCRが入力されて該大きさの再現BAB
をつくる算術復号化部4323から構成される。

【００７６】このように構成された上記の模様情報復号
化部43での再現模様情報をつくる過程を詳しく説明する
と、次の通りである。逆多重化部431で入力される模様
情報ビット列から分離されるCRビット列をCR復号化部43
3で復号化すれば、CRを求めることができる。この情報
は、算術復号化部4323とアップサンプリング部434へ入
力される。算術復号化部4323は、入力されるCR情報を利
用して、該大きさの画素らを算術復号化する。一例に、
BAB大きさが16×16である場合を仮定する時、入力され
るCR情報がダウンサンプリングを遂行しないことを示せ
ば、算術復号化部では、256個の模様情報画素を復号化
し、これとは逆に、入力されるCR情報が１／４大きさの
ダウンサンプリングを示せば、64個の模様情報画素らを
復号化する。アップサンプリング部434では、16×16大
きさの再現BABを出力する。算術復号化部4323から入力
される再現BABが、8×8のように16×16より大きさが小
さい場合は、アップサンプリングを遂行する。ここで注
意すべきことは、再現模様情報は、符号化機からの再現
模様情報と一致するということである。

【００７７】仮に、図３の模様情報符号化方法の代わり
に、映像間CAE符号化方法や頂点基盤符号化方式などが
使用されたならば、これに相応する模様情報復号化機を
使用しなければならない。本発明では、模様情報復号化
方法に制限を置かない。図１２は、本発明の物体単位映
像信号復号化装置の構成図であり、図１０のテクスチャ
ー情報復号化部44に該当する。本発明の物体単位映像信
号復号化装置において、上記テクスチャー情報復号化部
44は、模様情報復号化部43から入力された再現模様情報
によって係数マスクを形成して、この係数マスクによっ
てスキャン制御信号を発生させる模様適応形逆スキャン
（nverse scan）制御部440、及び可変長さ復号化部か
ら出力された変換係数らを２次元信号に並べるため、逆
スキャンする時、上記の模様適応形逆スキャン制御部の
制御信号によって逆スキャンを遂行する模様適応形逆ス
キャン遂行部444を含めて構成される。

【００７８】本発明における模様適応形逆スキャン制御
部440は、上記の図５の模様適応形スキャン制御部240と
同一な動作を遂行する。すなわち、模様情報復号化部43
から再現模様情報が入力されて、変換係数が存在する部
分と存在しない部分に区分する模様適応形変換係数マス
クを形成する係数マスク形成部441と、上記の係数マス
ク内部が存在しない部分は、模様適応形逆スキャン遂行
部444で逆スキャンする時スキャン順から除外させて、
スキャンをスキップするようにスキップ信号を発生させ
る制御信号発生部442から構成される。

【００７９】模様適応形逆スキャン遂行部444では、可
変長さ復号化部443から出力される変換係数らが入力さ
れて、２次元信号に並べるための逆スキャンを遂行す
る。この際、模様適応形逆スキャン制御部440で入力さ
れる制御信号が入力されて仮に係数が存在しない場合で
あれば、スキャンに含まないように、つまり２次元並べ
の時、スキップするようにする。このようなメカニズム
によって、本発明の物体単位映像信号復号化装置は、変
換係数が存在しないにもかかわらず、既存のスキャン方
法を使用する時、不要に挿入される０をなくすことによ
り、符号化効率の高い方法からつくられたビット列を復
号化することができる。

【００８０】本発明の一つの実施例で、上記の模様適応
形逆スキャン遂行部444は、図１３に図示されているよ
うに、スイッチング部444-2と逆スキャン部444-1から構
成され、可変長さ復号化された変換係数らを逆スキャン
する時、スイッチング部444-2は、上記の制御信号発生
部442のスキップ信号に連動して、変換係数が存在しな
い部分に対応する変換係数のスキャン値出力をオフさ
せ、出力オフの時には、これをスキャン値から除外させ
て２次元配列をするように構成される。

【００８１】本発明の他の実施例で、模様適応形逆スキ
ャン遂行部444は、図１４に図示されているように、逆
スキャン部444-3だけで構成されて可変長さ復号化され
た変換係数らを逆スキャンする時、上記の制御信号発生
部のスキップ信号に連動して、変換係数が存在しない部
分をスキャン順から除外させてスキップしながら逆スキ
ャンする方式で構成される。

【００８２】図１２を参照して、本発明の物体映像信号
復号化装置の動作を説明すると、次の通りである。上記
装置の動作の時、逆多重化部447は、伝送媒体を経由し
てきた符号化された信号、すなわちビット列が入力され
て可変長さ符号化された模様情報と、可変長さ符号化さ
れたテクスチャー情報ビット列を出力する。次いで、可
変長さ復号化部443は、逆多重化部447からテクスチャー
情報ビット列が入力されて、１次元に並べられた変換係
数らを出力する。模様適応形逆スキャン制御部440は、
図５の模様適応形スキャン制御部240と同一である。係
数マスク形成部441は、模様情報復号化部43から入力さ
れた再現模様情報を利用して、変換係数が存在するか否
かを区分する２進係数マスクを生成し、制御信号発生部
442は、この情報が入力されて、模様適応形逆スキャン
遂行部444で使用されるスキャン方式で同様にスキャン
しながら、どの部分が変換係数が存在するのかしないの
かを表す制御信号を出力する。模様適応形逆スキャン遂
行部444では、可変長さ復号化部443から出力される変換
係数らを２次元に再配置する過程を遂行する。模様適応
形逆変換部446は、逆量子化機445で逆量子化された変換
係数らが入力され、同時に模様情報復号化部43から再現
模様情報が入力されて逆変換されたテクスチャー情報を
出力する。

【００８３】図２４（c）の場合の例を挙げて、本発明
の模様適応形逆スキャン遂行課程を説明すると、次の通
りである。可変長さ復号化部443の出力は、X11、X12、X
21、X31、X22、X13、X14、0、X41、X51、0、X15、X16、
X52、X71となり、模様適応形逆スキャン遂行部444の出
力は、図２４（e）のようになる。明るい部分は、係数
の存在しない部分であり、模様適応形逆変換に利用され
ない部分である。これは、いかなる値が満たされても、
復号化部には影響を及ぼさない部分である。図１３は、
このような配置を制御信号で制御されるスイッチと既存
の逆スキャン方式を利用して遂行され、図１４は、図２
４（d）の順を利用する新たな逆スキャンを遂行する方
法である。本発明で、逆スキャン方式は、図２３（a）
のジグザグスキャン方式、図２３（b）と図２３（c）の
スキャン方式など任意のスキャン方式を利用することが
できる。

【００８４】本発明は、これら実施例に限定されるもの
ではなく、本発明の要旨を逸脱しない範囲で種々の変形
実施が可能である。

【００８５】

【発明の効果】以上説明したように、本発明の物体単位
映像信号符号化／復号化装置及び方法は、模様適応形DC
T変換されたブロックの変換係数をスキャンする際変換
係数が存在しない部分はスキップし、変換係数が存在す
る部分だけスキャンするので、不要なビット伝送を抑制
するようになり、代わりに映像画質の向上のため余裕ビ
ットが使用できるようになることにより、映像サービス
の品質に寄与することのできる既存の利点に加え、模様
適応形符号化を遂行しながら、これとは独立的に係数マ
スクを形成する過程を並列で処理することができ、符号
化速度を向上させることのできる効果を有する。

【００８６】さらに、本発明によれば、模様情報を利用
することにより、係数を基にしてマスクを形成する時よ
り一層正確な係数マスクをつくることができ、多くのビ
ット数の模様情報を制限された帯域幅のチャンネルを通
じて伝送する場合の問題点を克服することができる。

【図面の簡単な説明】

【図１】本発明が適応されることのできる物体単位符号
化機の構成図である。

【図２】本発明の物体符号化機の構成図である。

【図３】本発明の物体単位映像信号符号化装置中、模様
情報符号化部の構成図である。

【図４】（a）−（d）はCR算出のためのアップサンプリ
ング及びダウンサンプリングの一例を図示した図面であ
る。

【図５】本発明の物体単位映像信号符号化装置の構成図
である。

【図６】本発明の物体単位映像信号符号化装置中、係数
マスク形成部の詳細図である。

【図７】本発明の物体単位映像信号符号化装置中の模様
適応形スキャン遂行部の一実施例を図示した図面であ
る。

【図８】同じく、模様適応形スキャン遂行部の他の実施
例を図示した図面である。

【図９】本発明の物体単位復号化システムの構成図であ
る。

【図１０】本発明の物体復号化部の構成図である。

【図１１】本発明の物体単位映像信号復号化装置の構成
図である。

【図１２】本発明の物体単位映像信号復号化装置中、模
様情報復号化部の構成図である。

【図１３】本発明の物体単位映像信号符号化装置中、模
様適応形逆スキャン遂行部の一実施例を図示した図面で
ある。

【図１４】同じく、模様適応形逆スキャン遂行部の実施
例を図示した図面である。

【図１５】物体単位符号化を説明するための実験映像の
例示図である。

【図１６】図１５の実験映像の模様情報を例示した図面
である。

【図１７】CAEのためのコンテクストテンプレートの構
成図である。

【図１８】模様適応形変更符号化のための物体ブロック
の例示図である。

【図１９】図１７でブロック別模様適応形変換を説明す
る図面である。

【図２０】（a）−（f）は一般的な模様適応形DCT変換
過程説明図である。

【図２１】従来の模様適応形映像信号符号化装置の構成
図である。

【図２２】従来の模様適応形変換されたブロックの変換
係数をスキャンする際、係数のない部分をスキップする
模様適応形映像信号符号化装置の構成図である。

【図２３】（a）−（c）は本発明が適応されることので
きるスキャン方式の説明図である。

【図２４】（a）−（e）は量子化された変換係数の可変
長さ符号化を説明する図面である。

【符号の説明】

１ 物体形成部 ２ 物体符号化部 ３，２５，２０３，２４７ 多重化部 ２０ 模様情報符号化部 ２１ 動き情報推定部 ２２ 動き補償部 ２４ テクスチャー情報符号化部 ２７ 以前再現物体メモリ ２０１ 前処理部 ２０１１ ダウンサンプリング部 ２０１２，４３４ アップサンプリング部 ２０１３ ＣＲ算出及び符号化部 ２０２ ＣＡＥ部 ２０２１，４３２１ コンテクスト計算部 ２０２２，４３２２ 確率表貯蔵部 ２０２３ 算術符号化部 ２４０ 模様適応形スキャン制御部 ２４１，４４１ 係数マスク形成部 ２４１１ 列単位論理演算部 ２４１２ 列単位移動部 ２４１３ 行単位論理演算部 ２４１４ 行単位移動部 ２４３ 模様適応形変換部 ２４４ 量子化機 ２４５ 模様適応形スキャン遂行部 ２４６ 可変長さ符号化部 ３１ 逆多重化機 ３２ 物体復号化部 ３３ 合成部 ４１，４３１ 逆多重化部 ４２ 動き情報復号化部 ４３ 模様情報復号化部 ４３２ ＣＡＥ復号化部 ４３２３ 算術復号化部 ４３３ ＣＲ復号化部 ４４ テクスチャー情報復号化部 ４４０ 模様適応型逆スキャン制御部 ４４２ 制御信号発生部 ４４３ 可変長さ復号化部 ４４４ 模様適応型逆スキャン遂行部 ４４５ 逆量子化機 ４４６ 模様適応形逆変換部 ４５ 動き補償部 ４６ 以前再現物体メモリ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK08 LB05 LB18 MA00 MA23 MB14 MB19 MB22 MB27 MC02 MC11 MC22 ME11 ME17 PP28 SS07 TA42 TB18 TC24 TC43 UA02 UA05

Claims (15)

【特許請求の範囲】
1. 【請求項１】 映像信号に含まれている模様情報を符号
   化して模様情報ビット列を後段の多重化部へ出力し、上
   記の符号化過程の中で復元された再現模様情報（recons
   tructed shape information）をテクスチャー情報符
   号化部へ出力する模様情報符号化部と、 上記の模様情報符号化部より入力される再現模様情報を
   利用して物体領域のテクスチャー情報を符号化し、前記
   多重化部へ伝送するテクスチャー情報符号化部と、 及び模様情報符号化部からの模様情報ビット列とテクス
   チャー情報符号化部からのテクスチャー情報ビット列を
   多重化して、次のレシーバーへ伝送する前記多重化部か
   ら構成される物体単位映像信号符号化装置において、 上記のテクスチャー情報符号化部は、上記の模様情報符
   号化部から出力された物体の再現模様情報を利用して、
   映像信号のテクスチャー情報を模様適応形変換する模様
   適応形変換部と、 上記の模様情報符号化部から入力された再現模様情報を
   利用して、模様適応形変換部の出力信号である変換係数
   の分布と同一形態の２進マスクを形成し、この２進マス
   クにより変換係数の存在有無によってスキャン制御信号
   を発生させる模様適応形スキャン制御部と、 及び上記の模様適応形変換部の出力信号をスキャンする
   時、前記模様適応形スキャン制御部の信号によってスキ
   ャンを遂行して上記の多重化部に符号化ビット列を出力
   する模様適応形スキャン遂行部を含めて構成されること
   を特徴とする物体単位映像信号符号化装置。
2. 【請求項２】 上記の模様適応形スキャン制御部は、上
   記の変換係数の存在する部分と存在しない部分に区分す
   る２進係数マスクを形成する係数マスク形成部と、 及び上記の２進係数マスクの存在しない部分は、上記の
   模様適応形スキャン遂行部でスキャンの時、スキップす
   るようにスキップ信号を発生させる制御信号発生部から
   構成されることを特徴とする請求項１記載の物体単位映
   像信号符号化装置。
3. 【請求項３】 上記の係数マスク形成部は、上記の模様
   情報符号化部から再現模様情報が入力されて、模様情報
   ブロック（BAB）の各列に物体画素が存在するかの可否
   を論理演算によって判断し、その存在可否を出力する列
   単位論理演算部と、 上記の列単位論理演算部からの判断出力値が入力され、
   上記の物体の画素が存在する全ての列に対して、上記の
   模様情報ブロックの上段境界を基準に各列別所属された
   画素らを上方移動させる列単位移動部と、 上記の列単位移動部の出力が入力され、各行に物体画素
   が存在するかの可否を論理演算により判断してその存在
   有無を出力する行単位論理演算部と、 及び上記の列単位移動部の出力が入力され、上記の行単
   位論理演算部から判断出力された値によって、その入力
   される列単位移動された模様情報ブロック中、上記の物
   体の画素が存在する全ての行に対して、上記の模様情報
   ブロックの左側境界を基準に各行別所属された画素らを
   左方移動させて、最終２進係数マスクを形成する行単位
   移動部を含めて構成されることを特徴とする請求項２記
   載の物体単位映像信号符号化装置。
4. 【請求項４】 上記の模様適応形スキャン遂行部は、変
   換係数の有無に基づいてスキャンする時、上記の制御信
   号発生部のスキップ信号に連動して、変換係数が存在し
   ない部分をスキップしながらスキャンする方式から構成
   されることを特徴とする請求項２記載の物体単位映像信
   号符号化装置。
5. 【請求項５】 上記の模様適応形スキャン遂行部は、上
   記の模様適応形変換係数が存在する領域と任意の値です
   でに設定された変換係数で満たされた変換係数が存在し
   ない領域全体をスキャンするスキャン部と、 及び上記のスキャン部からの出力信号が入力されて、上
   記の制御信号発生部のスキップ信号に連動してスイッチ
   ングされて、上記のスキャン部から入力された出力信号
   中、変換係数が存在しない領域に対応する変換係数らの
   出力をオフさせるスイッチング部から構成されることを
   特徴とする請求項２記載の物体単位映像信号符号化装
   置。
6. 【請求項６】 上記のスキャン遂行部は、ジグザグスキ
   ャン遂行タイプスキャン遂行部あるいは代替スキャンタ
   イプスキャン遂行部であることを特徴とする請求項１記
   載の物体単位映像信号符号化装置。
7. 【請求項７】 上記の物体単位映像信号符号化装置は、
   上記の模様適応形変換部と模様適応形スキャン遂行部の
   間に位置し、上記の模様適応形変換部から出力される変
   換係数を量子化させる量子化機と、 上記の模様適応形スキャン遂行部の次の段に位置し、ス
   キャンによる変換係数の発生頻度によって可変長さ符号
   化を遂行する可変長さ符号化部を追加に含めることを特
   徴とする請求項１記載の物体単位映像信号符号化装置。
8. 【請求項８】 映像信号に含まれている模様情報を符号
   化して模様情報ビット列を後段の多重化部へ出力し、上
   記の符号化過程の中で復元された再現模様情報（recons
   tructed shape information）をテクスチャー情報符
   号化部で出力する模様情報符号化部と、 上記の模様情報符号化部より入力される再現模様情報を
   利用して映像信号に含まれているテクスチャー情報を符
   号化するため模様適応形変換する模様適応形変換部、係
   数マスク形成部及び制御信号発生部から構成される模様
   適応形スキャン制御部、模様適応形スキャン遂行部から
   構成されるテクスチャー情報符号化部と、 及び上記の模様情報符号化部からの模様情報ビット列と
   上記のテクスチャー情報符号化部からのテクスチャー情
   報ビット列を多重化する多重化部から構成される物体単
   位映像信号符号化装置で物体単位映像信号符号化を行う
   物体単位映像信号符号化方法において、 上記の模様適応形スキャン制御部で上記の模様情報符号
   化部から出力された再現模様情報を利用し、上記の模様
   適応形変換部の出力信号である変換係数の分布と同一形
   態の変換係数が存在する部分と存在しない部分に区分す
   る２進係数マスクを形成し、この形成された２進マスク
   値を出力する段階と、 上記の模様適応形変換部で上記の模様情報符号化部から
   出力された再現模様情報を利用して、上記の映像信号に
   含まれているテクスチャー情報を模様適応形変換する段
   階と、 上記の模様適応形スキャン遂行部で上記の模様適応形変
   換部から出力された変換係数を符号化するためスキャン
   する時、上記の模様適応形スキャン制御部から出力され
   る２進係数マスク値の存在有無によって変換係数が存在
   しない領域に対しては、そのスキャン動作をスキップし
   ながらスキャンする段階を遂行することを特徴とする物
   体単位映像信号符号化方法。
9. 【請求項９】 符号化伝送された物体ビット列を逆多重
   化して、模様情報ビット列及びテクスチャー情報ビット
   列をそれぞれ模様情報復号化部及びテクスチャー情報復
   号化部へ伝送する逆多重化部と、 上記の逆多重化部から模様情報ビット列の入力を受けて
   再現模様情報を出力し、物体単位復号化を遂行するよう
   にテクスチャー情報復号化部へ伝送する模様情報復号化
   部と、 上記のテクスチャー情報ビット列の入力を受け、上記の
   模様情報復号化部からの入力を受けた再現模様情報を利
   用してテクスチャー情報を復号化するテクスチャー復号
   化部から構成される物体単位映像信号復号化装置におい
   て、 上記テクスチャー情報復号化部が、上記の模様情報復号
   化部から入力された再現模様情報により２進係数マスク
   を形成し、その２進係数マスクにより変換係数の存在有
   無によって逆スキャン制御信号を発生させる模様適応形
   逆スキャン制御部と、 上記の伝送される物体ビット列に含まれているテクスチ
   ャー情報の変換係数らを２次元信号に並べるために逆ス
   キャンする時、上記の模様適応形逆スキャン制御部の制
   御信号によって逆スキャンを遂行する模様適応形逆スキ
   ャン遂行部と、 上記の模様情報復号化部から出力された模様情報によっ
   て、上記の模様情報逆スキャン遂行部から逆スキャンさ
   れた変換係数を模様適応形逆変換して、元の映像のテク
   スチャー情報を再現する模様適応形逆変換部を含めて構
   成されることを特徴とする物体単位映像信号復号化装
   置。
10. 【請求項１０】 上記の模様適応形逆スキャン制御部
    は、上記の模様情報復号化部から再現模様情報が入力さ
    れて変換係数が存在する部分と存在しない部分に区分す
    る模様適応形変換２進係数マスクを形成する係数マスク
    形成部と、 上記の２進係数マスクが存在しない部分は、上記の逆ス
    キャン遂行部で逆スキャンする時、スキャン順から除外
    させてスキャンをスキップするようにスキップ信号を発
    生させる制御信号発生部から構成されることを特徴とす
    る請求項９記載の物体単位映像信号復号化装置。
11. 【請求項１１】 上記の模様適応形逆スキャン遂行部
    は、上記の変換係数の有無に基づきスキャンする時、上
    記の制御信号発生部のスキップ信号に連動して、変換係
    数が存在しない部分を逆スキャン順で除外させてスキッ
    プしながら逆スキャンする方式で構成されることを特徴
    とする請求項１０記載の物体単位映像信号復号化装置。
12. 【請求項１２】 上記の模様適応形逆スキャン遂行部
    は、物体ビット列に含まれているテクスチャー情報の可
    変長さ復号化された変換係数が入力され、上記の制御信
    号発生部のスキップ信号に連動してスイッチングされ
    て、上記の逆スキャン部から入力される出力信号中、変
    換係数が存在しない領域に対応する変換係数らの出力を
    オフさせるスイッチング部と、 及び上記の模様適応形変換係数が存在する領域と任意の
    値ですでに設定された変換係数で満たされた変換係数が
    存在しない領域で区分される全体領域をスキャンする逆
    スキャン部から構成されることを特徴とする請求項１０
    記載の物体単位映像信号復号化装置。
13. 【請求項１３】 上記の模様適応形逆スキャン遂行部
    は、ジグザグスキャンタイプ逆スキャンあるいは大体ス
    キャンタイプ逆スキャンを遂行することを特徴とする請
    求項９記載の物体単位映像信号復号化装置。
14. 【請求項１４】 上記の物体単位映像信号復号化装置
    は、上記の逆スキャン遂行部の前段に位置して、上記の
    物体ビット列に含まれている情報が入力されて１次元に
    並べられた変換係数らを出力する可変長さ復号化部と、 及び上記の模様適応形逆スキャン遂行部と模様適応形逆
    変換部の間に位置して上記の逆スキャンされた変換係数
    を逆量子化させる逆量子化機を追加に含まれることを特
    徴とする請求項９記載の物体単位映像信号復号化装置。
15. 【請求項１５】 符号化伝送された物体ビット列を逆多
    重化して、模様情報ビット列及びテクスチャー情報ビッ
    ト列をそれぞれ模様情報復号化部及びテクスチャー情報
    復号化部へ伝送する逆多重化部と、 上記の逆多重化部から模様情報ビット列の入力を受けて
    再現模様情報を出力し、物体単位復号化を遂行するよう
    にテクスチャー情報復号化部へ伝送する模様情報復号化
    部と、 上記のテクスチャー情報ビット列の入力を受け、上記の
    模様情報復号化部からの入力を受けた再現模様情報を利
    用して、テクスチャー情報を復号化する模様適応形逆ス
    キャン制御部、模様適応形逆スキャン遂行部、模様適応
    形逆変換部を備えるテクスチャー復号化部から構成され
    る物体単位映像信号復号化装置を利用して物体単位映像
    信号復号化を行う物体単位映像信号復号化方法におい
    て、 上記の模様適応形逆スキャン制御部で上記の模様情報復
    号化から出力された再現模様情報を利用し、物体の係数
    値が存在する部分と存在しない部分に区分する２進係数
    マスクを形成し、この形成された２進係数マスク値を出
    力する段階と、 上記の模様適応形逆スキャン遂行部で上記の逆多重化部
    から出力されたテクスチャー情報ビット列を復号化する
    ため逆スキャンする時、上記の模様適応形逆スキャン制
    御部から出力される２進係数マスク値の存在有無によっ
    て変換係数が存在しない領域に対しては、その逆スキャ
    ン動作をスキップしながら逆スキャンする段階と、 上記の模様適応形逆変換部で上記の模様適応形逆スキャ
    ン遂行部から出力される変換係数を上記の模様情報復号
    化部から出力される再現模様情報を利用して、模様適応
    形逆変換し、上記の映像信号に含まれているテクスチャ
    ー情報を再現する段階を遂行することを特徴とする物体
    単位映像信号復号化方法。