JP2003198936A

JP2003198936A - 特殊効果データ符号化方法及び特殊効果処理方法、特殊効果データ編集方法

Info

Publication number: JP2003198936A
Application number: JP2001390821A
Authority: JP
Inventors: Yoshinori Suzuki; 芳典鈴木
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2001-12-25
Filing date: 2001-12-25
Publication date: 2003-07-11

Abstract

(57)【要約】【課題】特殊効果用のマスクデータのみをコード化す
る方法では、動きを伴う特殊効果手順をデータとしてラ
イブラリ化することができない。【解決手段】マスクパターンと動きパターンを表すデ
ータを符号化し、一本のデータに多重化ことにより、画
像の変形を伴う特殊効果パターンのライブラリ化が可能
となる。また、特殊効果を実現するための圧縮データを
配信することも可能となる。さらに、拡大の動きベクト
ルにより形状データを拡大させることで、特殊効果用マ
スクデータのデータ量を削減することが可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、特殊効果パターン
の符号化ならびにシーン合成処理に属するものである。

【０００２】

【従来の技術】従来、映像信号に特殊効果を施すことに
より、例えば映像と映像とのつながりを滑らかに切り替
えることが行われてきた。特殊効果には、ワイプ、ディ
ゾルブ、フェードイン・フェードアウト等が知られてい
る。

【０００３】特開平７−１４３３９９号公報には、特殊
効果処理装置上で特殊効果を行なう為のマスクデータを
コード化することにより、特殊効果の為のデータを軽減
する技術が開示されている。

【０００４】また、特開２０００−３４１５８４号公報
には、シーン切り替え時の効果をスクリプトとして記録
することにより、再生側で特殊効果を表示に反映させる
画像記録装置が開示されている。

【０００５】

【発明が解決しようとする課題】従来の特殊効果用のマ
スクデータのみをコード化する方法や、シーン記述デー
タ或いは再生画像レベルで画像変形をおこなう方法で
は、対象となるシーン記述データに、その都度、変形情
報を埋め込む必要が生じる。その為に、特殊効果パター
ンのライブラリ化は困難であるという問題があった。

【０００６】

【課題を解決するための手段】本発明では任意の再生画
像を変形するための動きパターンと、動きパターンに基
づいて変形させる画像の種類を示す情報情報である変形
画像情報とを符号化し、１本のデータに多重化すること
により、画像の変形を伴う特殊効果パターンのライブラ
リ化を可能とする特殊効果データ符号化方法を提供す
る。

【０００７】

【発明の実施の形態】まず、本発明にて扱う動きパター
ンについて説明する。動きパターンは、動きモデルの種
類とその適用方法で規定される。動きモデルの種類とし
ては、例えば

【０００８】

【数１】に示す線形内・外挿（アフィン変換）モデルや、

【０００９】

【数２】に示す共１次内・外挿モデルが考えられる。上式では、
（ｕg（ｘ，ｙ），ｖg（ｘ，ｙ））が画像内の画素
（ｘ，ｙ）の動きベクトル、ａ0〜ａ5、ｂ0〜ｂ7が動き
パラメータを示している。一方、適用方法としては、変
形対象領域全体を１つの動きパラメータにて変形させる
方法（１パラメータ方法）と、変形対象領域を幾つかの
部分に分け、部分ごとに異なる動きパラメータにて変形
させる方法（複数パラメータ方法）が考えられる。いず
れの場合でも、数１や２に示したような動きパラメータ
を、変形対象領域の分割数だけ符号化することで、動き
パターンをライブラリ化することが可能となる。動きパ
ラメータの符号化方法としては、ａ0〜ａ5またはｂ0〜
ｂ7の値を直接符号化しても良いが、代わりにいくつか
の代表点の動きベクトルを符号化する方法もある。い
ま、動きモデルを数１のアフィン変換、変形対象領域を
画像全体、適用方法を１パラメータ方法とし、画像の左
上端、右上端、左下端、右下端の画素の座標がそれぞれ
（０，０）、（ｒ，０）、（０，ｓ）、（ｒ，ｓ）で表
されると考える（ただし、ｒとｓは正の整数）。このと
き、代表点（０，０）、（ｒ，０）、（０，ｓ）の動き
ベクトルの水平・垂直成分をそれぞれ（ｕa，ｖa）、
（ｕb，ｖb）、（ｕc，ｖc）とすると、数１は

【００１０】

【数３】と書き換えることができる。これは、ａ0〜ａ5を伝送す
る代わりにｕa、ｖa、ｕb、ｖb、ｕc、ｖcを伝送しても
同様の機能が実現できることを意味する。同様に、動き
モデルを数２の共一次変換、変形対象領域を画像全体、
適用方法を１パラメータ方法とすると、４個の代表点
（０，０）、（ｒ，０）、（０，ｓ）、（ｒ，ｓ）の動
きベクトルの水平・垂直成分（ｕa，ｖa）、（ｕb，ｖ
b）、（ｕc，ｖc）、（ｕd，ｖd）を用いて数２は、

【００１１】

【数４】と書き換えることができる。これは、ｂ0〜ｂ7を伝送す
る代わりにｕa、ｖa、ｕb、ｖb、ｕc、ｖc、ｕd、ｖdを
伝送しても同様の機能が実現できることを意味する。な
お、ここでは、アフィン変換と共一次変換を例に説明し
たが、本発明にて適用される変換モデルはこの２モデル
に限定されない。例えば、グローバル動き補償を扱うMP
EG-4にて扱われている平行移動、等方変換、アフィン変
換、透視変換に基づく動きモデル等も使用できる。これ
らの動きモデルでも、動きパラメータを動きベクトルに
て表現することが可能である。また、数３の演算には、
特開平9-252470に記載されるような高速アルゴリズムも
適用できる。ここで、変形対象領域が画像全体で適用方
法が１パラメータの場合における画像変形の例として、
アフィン変換モデルにより、図２の元画像３０２（特殊
効果に伴う画像変形処理を施す前の画像）を変形画像３
０１（元画像に画像変形処理を施した後の画像）に変形
するための手順を示す。ここで、元画像とは、変形対象
と成り得るマスクデータ画像、現在のシーンの画像、あ
るいは特殊効果により現れるシーンの画像のいずれかを
意味する。符号化側では、元画像３０２と変形画像３０
１の間の動きパラメータを推定して符号化する。この
際、動きパラメータの替わりに、変形画像３０１の左上
端、右上端、左下端に位置する代表点３０４、３０５、
３０６における動きベクトルを符号化してもよい。これ
らの動きベクトルは、変形画像３０１の左上端、右上
端、左下端に位置する代表点が元画像上でどの位置に相
当するかを、推定動きパラメータから数１や数２のよう
な演算式を用いて算出したものである。この例では、３
１１、３１２、３１３が各代表点の動きベクトル（グロ
ーバル動きベクトル）、３０３がグローバル動きベクト
ルに基づいて変形画像３０１に相当する元画像の領域を
変形画像（破線）上に示した動き補償画像、３０８、３
０９、３１０が動き補償後の代表点を示している。な
お、ここで言う動きパラメータの推定とは、特殊効果の
動きパターンを動きモデルに従ってパラメータ化するこ
とであり、一般的に符号化時の動き推定処理とは異な
る。一方、復号側では、まず、動きパラメータあるいは
動きベクトルを復号する。そして、算出した動きパラメ
ータあるいは動きベクトルを用いて、数１〜４に示した
ような演算式で、変形画像の各画素に対する動きベクト
ルを求め、変形画像を合成する。算出された各画素の動
きベクトルが実数値を示す場合には、例えば、隣接サン
プル値による線形内挿処理等を用いて、画素値を決定す
る。この際、実数のベクトル値を各縦横成分について、
1/2画素精度、1/4画素精度等に量子化するアルゴリズム
を規定しておけば、符号化側と復号側で同じ値が算出で
きる。また、画素の動きベクトルが元画像の外を指すよ
うな場合も考えられる。このような場合、一般的には、
各画素に対する動きベクトルを縦、横成分ごとに、画面
サイズ内にクリッピングし、画像サイズ画像端のデータ
を補償画素として代用するという方法を適用する。この
図２は適用方法が１パラメータ方法の例であるが、適用
方法が複数パラメータ方法の場合においても、１パラメ
ータ方法と同様の方法が利用できる。例えば、変形画像
を図８に示すような四角パッチを張ったフレーム６０１
（透視変換モデル）や図９に示すような三角パッチを張
ったフレーム６０２（アフィン変換モデル）のようにパ
ッチ分割し、各パッチに異なる動きパラメータを適用す
る場合を考える。この場合には、各パッチの格子点を図
２における変形画像の代表点と同様に扱うことで、パッ
チ単位での動きベクトルあるいは動きパラメータの符号
化ならびに画像の変形処理が可能となる。なお、このパ
ッチを用いた例において動きベクトル形式で動きパター
ンを表現する場合には、２通りの方法が考えられる。１
つ目は、フレーム内の各格子点の動きをそれぞれ１つの
動きベクトルにて符号化する方法であり、２つ目は、パ
ッチに属する格子点の動きをパッチ単位で独立に符号化
する方法である。但し、後者の方法は、図８、９に示し
た変形画像内の各パッチを個別の変形対象領域と設定す
ることでも対処できるため、本実施例では説明を省略す
る。一方、動きパラメータ形式で動きパターンを表現す
る場合には、パッチ単位で動きパターンを符号化する。
図８と９ならびに図２では、変形画像を矩形画像、変形
対象領域を変形画像全体としているが、変形対象領域が
変形画像内に複数含まれる場合や、変形画像が任意形状
の場合も特殊効果の変形処理として考えられる。従っ
て、変形画像が図２０のフレーム６０３のように隙間を
空けてパッチを張った画像である場合や、変形画像が図
２１のフレーム６０４のように、矩形でない画像である
場合も考えられる。これらのパッチ構成は、例えば、分
割ズーム（図２０）や回転ワイプ（図２１）で利用され
る。なお、図２０のフレーム６０３ならびに図２１のフ
レーム６０４の斜線部は出力画面に対して変形画像が画
素サンプルを持たない部分を表しており、変形画像には
含まれない。さらに、図２０において、パッチ間隔が等
間隔でない場合や、図２０の各パッチが図２１の画像の
ように矩形でない場合も本発明が扱う変形画像に含まれ
る。但し、変形対象領域が図２１のフレーム６０４のよ
うに矩形形状でない場合において、数３、４に示したよ
うな代表点のグローバル動きベクトル形式にて動きパラ
メータを表すためには、図２１に破線で示したような仮
想の矩形領域を設定し、その頂点の代表点のグローバル
動きベクトルを使用する必要がある。なお、動きパラメ
ータ形式のまま符号化する場合には、仮想矩形領域の設
定は必要ない。

【００１２】ここからは、MPEG-4ビデオ符号化方式の機
能である形状符号化とグローバル動きベクトルの符号化
を利用して、マスクパターンと動きパターンの符号化に
よる特殊効果データを生成する方法と、特殊効果処理方
法について説明する。なお、MPEG-4ビデオ符号化機能な
らびにデータフォーマットの詳細については、”ISO/IE
C JTC1/SC29 14496-2:2001(E)(英語版)”に記載されて
いるため、本実施例では、形状符号化・復号化とグロー
バル動きベクトルの符号化・復号化の詳細については触
れず、これらの機能を利用する枠組みについて説明す
る。

【００１３】図１に、特殊効果データ生成処理の構成例
を示す。マスクパターンメモリ２０２と動きパターンメ
モリ２０３には、各特殊効果を実現するためのマスクデ
ータならびに動きパラメータが格納されている。編集情
報解析部２０１は、特殊効果の種類、特殊効果を発生す
る期間、フレームレート、ビットレート、画像サイズ等
の編集情報を解析し、特殊効果データの各フレームを構
成するために必要となる情報をマスクパターンメモリ２
０２と動きパターンメモリ２０３に通知する。解析によ
り必要と判断されたマスクデータならびに動きパラメー
タは、それぞれ形状エンコーダ２０４ならびに特殊効果
動きベクトルエンコーダ２０５にて符号化され、多重化
部２０６にて１本の特殊効果データとして多重化され
る。この特殊効果動きベクトルエンコーダ２０５と形状
エンコーダ２０４の各機能は一般のビデオエンコーダに
も含まれているため、MPEG-4ビデオエンコーダでも代用
可能である。なお、MPEG-4で扱う形状データは、第１シ
ーンの映像に対して、第２シーンの映像をどのような比
率で重ね合わせるかを示すものである。そのため、フェ
ードアウト、フェードインのようにシーンチェンジ時に
２個のデータが重ならない場合には、別途重ねる対象が
必要となる。このようなケースでは、編集情報解析部２
０１の命令により背景データエンコーダ２０７が起動さ
れ、重ねる対象となる背景データの色パターン（背景デ
ータレベル）が同時に符号化される。この背景データレ
ベルも多重化部２０６に渡され特殊効果データに多重化
される。

【００１４】特殊効果データを生成する別の形態とし
て、各特殊効果用の特殊効果データを予め用意してお
き、編集情報に従って編集する方法が考えられる。具体
的な編集方法としては、例えば、フレームレートに応じ
た時刻情報の修正、フレームデータの削除や、画像サイ
ズ（具体的な方法は図１４にて説明）の修正等がある。
この際、データ量の変更に伴うバイトアライン処理等も
必要となる。

【００１５】図３に、システムデータ生成処理の構成例
を示す。システムデータとは、図１の特殊効果データ生
成処理にて生成された特殊効果データ、特殊効果が適用
される被編集データ、オーディオデータなどを多重化し
たデータを意味する。ここでは、各種メディアデータを
統合したファイルフォーマットや通信用パケットデータ
等の統合データの総称と考える。このシステムデータを
受信した端末では、システムデコーダと統合された各種
データを復元するデコーダを用いて、特殊効果データが
解読され、特殊効果を含むシーンが再現される。２１１
の特殊効果データ作成部は、図１のマスクパターンメモ
リ２０２、動きパターンメモリ２０３、形状エンコーダ
２０４、特殊効果動きベクトルエンコーダ２０５、多重
化部２０６、背景データエンコーダ２０７にて構成され
ているものとする。メモリ２１０には被編集データが蓄
積されている。編集情報に従い、編集情報解析部２０１
は、メモリ２１０に、必要とされる被編集データ種別を
指示する。また、編集情報解析部２０１は、特殊効果デ
ータ作成部２１１に、特殊効果データの生成に必要とな
る情報を通知する。システムエンコーダ２１２では、編
集情報に従い、被編集データ（オーディオデータも含
む）と特殊効果データを合成してシステムデータを作成
する。

【００１６】次に、図１の特殊効果動きベクトルエンコ
ーダ、形状エンコーダならびに合成部にて生成される特
殊効果データのデータ構造について説明する。特殊効果
を実現するために必要なデータ構成要素の組み合わせと
しては、大きく分けて1)マスクパターンのみ、2)マスク
パターン＆動きパターン、3) 動きパターンのみ、の３
種類が考えられる。1)は、ディゾルブのようにマスクデ
ータにて、現在のシーンの画像と特殊効果により現れる
シーンの画像を入れ替える場合に適用される。3)は、現
在のシーンの画像あるいは特殊効果により現れるシーン
の画像のいずれかを図２１や図２２に示すような変形画
像に変形処理を施した上で、それを、変形処理を施さな
い画像に一定の割合で重ね合わせる場合に適用される
（斜線部は変形処理を施さない画像が出力される）。2)
は、マスクデータ画像、現在のシーンの画像、特殊効果
により現れるシーンの画像に対して動きパターンに伴う
画像変形を施しながらマスクデータ画像にて、現在のシ
ーンの画像と特殊効果により現れるシーンの画像を入れ
替える場合に適用される。本実施例では、これらの構成
を実現するデータ構造の例を示す。

【００１７】図４に、特殊効果データの構造例を示す。
シーケンスヘッダ４１０には、入力データの形状タイプ
など、シーン全体に関わるパラメータが含まれる。MPEG
-4ビデオ符号化では、形状タイプとして「矩形画像(rec
tangular)」、「バイナリ任意形状付き画像(binar
y)」、「グレイスケール任意形状付き画像(grayscal
e)」、「任意形状のみ（形状データはバイナリ表現, bi
nary only）」の４種類を扱っている。マスクパターン
のみの特殊効果を扱う場合には、輝度信号や色差信号の
符号化を伴わない「任意形状のみ」のモードにてマスク
パターンを形状符号化すればよいが、動きパターンを扱
う本発明の特殊効果を扱うためには特殊効果用の形状タ
イプを別途設ける必要がある。具体的には、マスクパタ
ーンの形状符号化情報のみから構成される「任意形状の
み」の他に、マスクパターンと動きパターンの符号化情
報から構成される「形状＆動きパラメータのみ」を用意
する必要がある。また、動きパターンの符号化情報のみ
から構成される「動きパラメータのみ」を設けると有効
である。「任意形状のみ」は上記に示した構成要素1)、
「動きパラメータのみ」は構成要素3)、「形状＆動きパ
ラメータのみ」は構成要素1)、2)ならびに3)に対応可能
である。本発明では、マスクパターンのほかに動きパタ
ーンを符号化する必要がある。そこで、次に、この動き
パターンに関連したシーケンスヘッダのデータを考え
る。まず、本発明の場合、動きパターンにより変形処理
を施す対象は必ずしもマスクデータとは限らず、いくつ
かのケースが考えられる。いま、現在のシーンをシーン
A、特殊効果により現れるシーンをシーンBと仮定した場
合、つまり、マスクデータに従って、シーンBをシーンA
に重ねる場合を考える。このとき、変形処理を行う対象
として以下の場合が想定できる。 1) マスクデータ、 2) シーンB、 3) シーンBとマスクデータ、 4) シーンAとシーンBをマスクした後の画像、 5) シーンA。従って、本発明では、動きパラメータを適用する画像を
指定する変形画像情報を符号化側と復号側で情報を共有
していない場合には、これを用意する必要がある。ま
た、変形画像内に含まれる変形対象領域の数を示す変形
領域数、各変形対象領域の位置情報を示す変形領域位置
情報、各変形対象領域に使用する動きモデルの種類を示
す動きモデル情報、各変形対象領域に適用するパッチ配
置の適用方法を示す変形選択情報、各変形対象領域にお
けるパッチの構成を示すパッチ情報（変形選択情報が複
数パラメータの場合）についても、符号化側と復号側で
情報を共有していない場合には、シーケンスヘッダ内に
含める必要がある。さらに、変形画像に等間隔に配置さ
れた同形状の変形対象領域に対して同じ動きパラメータ
を適用する特殊効果(分割ズーム)も考えられる。そこ
で、同じ形状の変形対象領域が変形画像上に等間隔に配
置されているか（等間隔配置）否か（任意配置）、変形
画像内の全変形対象領域に同様の動きパラメータを適用
するか(統一変形処理)否か（個別変形処理）を示す符号
化単位情報についても、符号化側と復号側にて共有され
ていない場合には、この情報をシーケンスヘッダ内に含
めると効果的である。なお、この符号化単位情報は、変
形領域数が２個以上を示す場合にのみ含まれる。また、
さらに、動きパターンの符号化形式(動きパラメータあ
るいは動きベクトル)についても、符号化側と復号側で
情報を共有していない場合には、シーケンスヘッダ内に
含める必要がある。なお、本実施例では、この形式情報
は、動きモデル情報に含まれているものと考えて説明を
続けるが、独立した情報として扱った場合も本発明に含
まれる。ここで、シーケンスヘッダ内の情報について補
足説明を加えておく。符号化単位情報とは、同じ形状の
変形対象領域が変形画像上に等間隔に配置されているか
（等間隔配置）否か（任意配置）、変形画像内の全変形
対象領域に同様の動きパラメータを適用するか(統一変
形処理)否か（個別変形処理）を示す。この符号化単位
情報において、動きベクトルの符号化単位を示す情報が
「統一変形処理」を示す場合には、動きパラメータある
いは動きベクトルの符号化は、各変形画像について、予
め定めた１個の変形対象領域についてのみ行われる。動
き情報の符号化が行われない変形領域を変形処理する際
には、符号化した動きパラメータ（動きベクトル）に変
形領域の位置情報を補正した動き情報を算出して対処す
る。一方、この符号化単位情報において、変形対象領域
の構成を示す情報が「等間隔配置」を示す場合には、予
め定めた１つの変形領域位置情報に変形対象領域間の間
隔情報を含めて符号化する。これにより、予め定めた以
外の変形領域については、変形領域位置情報を省略でき
る。なお、この符号化単位情報は、変形領域数が２個以
上を示す場合にのみ含まれる。変形領域位置情報とは、
出力画面に対する変形対象領域の位置と形状を意味して
おり、一般的には、頂点数（パッチ数）と各頂点（パッ
チ）の出力画面上の縦横位置を示す。但し、変形対象領
域が矩形の場合には、出力画面に対する左上頂点の縦横
位置と縦横サイズを示した方が情報量として少なくな
る。従って、形状タイプが「形状＆動きパラメータ」で
あり、矩形でない変形対象領域を図２１の破線に示した
ような矩形に置き換えてもマスクデータ画像にて特殊効
果後の画像にその変形対象領域の形状が反映できるよう
なアルゴリズムを適用する場合には、変形対象領域を矩
形に限定することが可能である。また、符号化側と復号
側にて変形対象領域の形状が矩形であると限定されてい
る場合にも、同様に扱うことが可能である。さらに、符
号化単位情報が「等間隔配置」であった場合には、変形
対象領域間の間隔情報もこの情報に含まれる。変形選択
情報とは、各変形対象領域に適用するパッチ配置の適用
方法を示す。適用方法としては、１パラメータ、複数パ
ラメータ、ならびにその組み合わせが考えられる。複数
パラメータの場合には、パッチ情報にて、変形対象領域
内のパッチ構成を示す必要がある。組み合わせの場合に
は、その適用順序も示す必要がある。本実施例では、こ
の適用順序情報は、変形選択情報に含まれるものと考え
る。動きモデル情報とは、変換モデル（アファイン変換
など）の種類（符号化パラメータの数）を示す。加えて
計算精度（動きベクトルの画素精度）も示される。ま
た、本実施例では、動き情報の符号化形式(動きパラメ
ータ、動きベクトル)の符号化が必要なアルゴリズムで
は、この情報も動きモデル情報に含むものと考える。パ
ッチ情報とは、複数パラメータのときのみ含まれる情報
であり、変形対象領域内のパッチ配置を示す。具体的に
は、まず、パッチが等間隔に配置されているか、任意位
置に配置されているかを示す情報が符号化される。これ
に続いて、前者の場合には、パッチ格子点の縦横間隔、
後者の場合には、格子点の数と各格子点の位置情報が符
号化される。

【００１８】シーケンスヘッダの情報はシーン全体の特
徴を示す役割を持っておりフレーム単位では変更できな
い。しかしながら、上記に示した情報は、フレーム単
位、変形対象領域単位で変更した方が効果的な場合も考
えられる。従って、後述するように、シーケンスヘッダ
の情報の一部が、フレームヘッダや動きパターンデータ
にて扱われるケースも本発明に含まれる。フレームヘッ
ダ４２０には各フレームの符号化に関わるパラメータ
が、形状データ４３０にはマスク画像の実際の符号化デ
ータが、そして動きパターンデータ４４０には動きパラ
メータの符号化データが含まれる。但し、形状データ４
３０と動きパターン４４０については、シーケンスヘッ
ダの形状タイプ情報によっては、含まれない場合もあ
る。図５に、フレームヘッダ４２０に含まれるパラメー
タの一部を示す。フレームタイプ４２１は、フレーム内
符号化、予測符号化などそのフレームの符号化タイプを
示すパラメータである。従ってこの符号化タイプは、シ
ーケンスヘッダの形状タイプが形状データを含むことを
示す場合に有効となる。形状タイプが「動きパラメータ
のみ」の場合には、省略できる。また、形状タイプをフ
レーム単位で切り換えることも考えられる。その場合に
は、このフレームタイプに形状タイプに関する情報を含
むことも考えられる。時刻情報４２２は、そのフレーム
を再生すべき時刻を示すパラメータである。サイズ位置
情報４２３は、再生オブジェクトの位置とサイズを示す
パラメータであり、本実施例では、再生マスクデータ画
像を囲む矩形領域について、出力画面に対する左上頂点
の縦横位置と矩形領域の縦横サイズを意味する。従っ
て、形状タイプが形状データを含むことを示す場合のみ
に発生する。このパラメータにより、再生マスクデータ
画像の配置が指定できる。特殊効果を目的とするマスク
データでは、基本的に、表示位置は画面の左端(0, 0)、
サイズは画面と同サイズとすればよいが、動きパターン
との組み合わせによっては、このパラメータを有効利用
することでデータサイズの削減等が図れる可能性があ
る。形状データレベル４２４も、基本的には形状タイプ
が形状データを含むことを示す場合のみに発生するパラ
メータであり、画像全体の形状信号の透明度レベルを、
同じ割合で変更する役割を果たす。例えば、マスクデー
タがバイナリであっても、このパラメータを利用するこ
とで、マスクデータ全体の透明度を変更することが可能
となる。従って、この形状データレベル情報のみ（形状
データの符号化をせずに）でディゾルブ（２つのシーン
を徐々に入れ替える）を表現することも可能である。こ
の場合、シーケンスヘッダの形状タイプに「形状データ
レベルのみ」を追加し、画像変形に関する情報と形状デ
ータに関する情報を省略する方法も有効である。また、
復号側では、各フレームの形状データレベルに基づい
て、ディゾルブ処理を実現することも考えられる。ま
た、さらに、「動きパラメータのみ」のケースでも、変
形画像をもう一方の画像と重ね合わせる際の合成割合を
示す情報として利用することも可能である。そこで、形
状タイプに「動きパラメータ＆形状データレベルのみ」
を加えることも有効と言える。背景データレベル４２４
２は、フェードアウト・フェードインのように２つのシ
ーンが重ならない特殊効果の場合について、重ねる対象
となる背景データの色パターン（背景データレベル）を
編集データに加える役割を果たす。

【００１９】図６に、動きパターンを動きベクトルにて
表現した場合を例にとって、動きパターンデータ４４０
のデータフォーマットを示す。なお、動きパラメータに
て動きパターンを表現する場合には、以下の記述におい
て、動きベクトルの部分を動きパラメータに置き換えれ
ばよい。シーケンスヘッダの変形画像情報、変形領域
数、符号化単位情報、変形領域位置情報、変形選択情
報、動きモデルならびにパッチ情報を用いる場合、つま
り、全ての変形画像フレームに対して、同じ条件で画像
の変形を行う場合には、シーケンスヘッダ情報に応じた
数の動きベクトル４２５が動きパターンデータ４４０に
含まれる。動きベクトル４２５に含まれるデータの種類
としては、変形選択情報により異なる。具体的には、変
形画像領域全体に対する動きを表現するグローバル動き
ベクトル（動きパラメータ）や、変形画像領域を図８、
９のようにパッチ分割し、各パッチの動きを表現する格
子点動きベクトル（各パッチの動きパラメータ）が考え
られる。一方、シーケンスヘッダ内の変形画像情報、変
形領域数、符号化単位情報、変形領域位置情報、変形選
択情報、動きモデルならびにパッチ情報をこの動きパラ
メータデータに移動した場合、フレーム単位で、動きパ
ターンの種別を変更することが可能となり、さらに細か
い動きに対応できるようになる。なお、シーンA、シー
ンB、マスクデータ用に異なる動きパラメータを適用す
る場合には、図４にて動きパターンデータ４４０を繰り
返し発生させればよい。ここで、シーケンスヘッダ情報
を動きパターンデータに移動した場合のデータの構造を
説明する。まず、変形画像情報４２９にて、変形対象の
参照画像が示される。変形領域数４２６では、変形後の
画像である変形画像に含まれる変形対象領域の数が示さ
れる。この変形領域数が２個以上を示す場合には、符号
化単位情報４２８２にて、変形画像内の変形対象領域が
変形画像上に等間隔に配置されているか（等間隔配置）
否か（任意配置）、変形画像内の全変形対象領域に同様
の動きパラメータを適用するか(統一変形処理)否か（個
別変形処理）が示される。変形領域数が１個の場合に
は、符号化単位情報４２８２は省略される。変形領域位
置情報４２３２から動きベクトル４２５までの情報は、
変形領域数４２６で示される領域数だけ繰り返される。
但し、符号化単位情報４２８２が「統一変形処理」を示
す場合には、動きモデル情報４２５２から動きベクトル
４２５までの情報は１個の変形対象領域に対してのみ示
され、それ以外の変形対象領域については、動きモデル
情報４２５２から動きベクトル４２５までの情報は省略
される。変形領域位置情報４２３２では、変形対象領域
の位置と形状に関する情報が示される。但し、符号化単
位情報４２８２が「等間隔配置」を示す場合には、この
変形領域位置情報は、変形対象領域間の間隔情報を含む
形式で１番目に符号化する変形対象領域に対してのみ示
され、それ以降の変形対象領域については省略される。
動きモデル情報４２５２では、アフィン変換などの変換
モデル情報と計算精度情報が示される。但し、この動き
モデル情報は、一般的には、シーケンスヘッダ情報に含
まれることが多い。変形選択情報４２８では、変形対象
領域に対するパッチ分割構成（１パラメータ、複数パラ
メータ、１パラメータと複数パラメータの組み合わせ）
を示す。パッチ情報４２７では、変形対象領域における
パッチ分割構成が示される。但し、この情報は、変形選
択情報４２８にて複数パラメータを適用することが示さ
れる場合にのみ示され、１パラメータのときには省略さ
れる。動きパラメータ４２５では、動きモデル情報とパ
ッチ情報に応じた数の動きベクトル情報が示される。な
お、変形対象位置情報にて対象領域が矩形でないことが
示されている場合には、変形対象領域を矩形に囲んだ矩
形領域の頂点の動きベクトルが符号化の対象となる。

【００２０】次に、図４の形状データ４３０のデータフ
ォーマットについて示す。MPEG-4ビデオ規格では、動画
像の各フレームを図10に示すような小ブロックに分割
し、マクロブロックと呼ばれるブロック単位で再生処理
を行う。図11にマクロブロックの構造、図１２にマクロ
ブロックにデータ構造を示す。マクロブロックは16x16
画素の１個のY信号ブロック511と、それと空間的に一致
する8x8画素のCr信号ブロック512ならびにCb信号ブロッ
ク513にて構成されている。なお、Y信号ブロックは、マ
クロブロックの復元過程では更に4個の8x8画素ブロック
(514, 515, 516, 517)に分割して処理されることがあ
る。従って、バイナリ表現のマスクデータでは、図１２
のバイナリMBデータ４３１が、画像の左上端のMBから右
下端のMBに向かって順に符号化され、形状データ４３０
に配置される。一方、グレイスケール表現のマスクデー
タについては、図１２のMBのデータフォーマットは、バ
イナリMBデータの後にグレイスケールMBデータ４３３が
続く構成となる。但し、MPEG-4では、グレイスケールデ
ータのみを扱う形状タイプを扱っていないため、別途
「グレイスケール任意形状のみ」「グレイスケール形状
＆動きパラメータのみ」というモードを設ける必要があ
る。グレイスケールデータの符号化方法については、MP
EG-4の「グレイスケール形状つき画像」形状タイプのよ
うに、グレイスケールデータを輝度信号の符号化と類似
の方法で扱えばよい。なお、MBデータフォーマットの拡
張として、変形対象領域を変形画像全体とし、マクロブ
ロックのサイズと図８、９のパッチのサイズを一致させ
ることにより、格子点のパッチ動きベクトル４３２をMB
データ内に配置する方法が考えられる。この場合には、
フレームヘッダにてパッチの数に関する情報をすべて符
号化する必要はない。但し、符号化ブロック数と格子点
数は一致しないため、例えば、フレームの上端と左端に
位置する格子点の動きベクトルをフレームヘッダ内で符
号化し、各MBデータにて、パッチ右下格子点の動きベク
トルを符号化するような構成をとる必要がある。なお、
このフォーマットにおいても、MBデータ内でこのパッチ
動きベクトルを繰り返すことによりシーンA、シーンB、
マスクデータ用に個々に動きパラメータを持つ方法が適
用できるようになる。

【００２１】図４の例では、現在のシーンの画像、ある
いは特殊効果により現れるシーンの画像に対する画像変
形に関する情報を特殊効果データ内で扱っている。これ
に対して図７のように、現在のシーンの画像、あるいは
特殊効果により現れるシーンの画像に対する動きパター
ン情報については、当該ビデオデータ内にて扱うことも
可能である。この場合には、特殊効果データ内では、マ
スクデータ画像とマスクデータ画像への動きパターンの
みを符号化対象とし、現在のシーンの画像、あるいは特
殊効果により現れるシーンの画像については、画像変形
に関する動きパターンの符号化情報を元のビデオデータ
に追加する。なお、この場合には、変形画像の対象は一
意に決まるため、基本的には、変形画像情報は必要な
い。但し、変形領域数、変形選択情報等の情報は、動き
パターンデータ４４０に含める必要がる。

【００２２】次に、生成した特殊効果データから特殊効
果シーンを合成する方法について述べる。変形処理を伴
わない特殊効果では、特殊効果発生前から再生されてい
る第１シーン、特殊効果後に現れる第２シーンならびに
特殊効果データをフレームごとに復号した後、第２シー
ンの各フレームを、対応するマスクデータのマスク処理
によって、第１シーンの対応フレームと合成することに
なる。一方、変形処理を伴う特殊効果では、データ復号
後の特殊効果シーン合成方法は、変形処理を施す対象の
種類によって異なる。シーケンスヘッダの説明のところ
で述べたように、変形処理を施す対象として以下の５種
類が考えられる。 1) マスクデータ、 2) シーンB、 3) シーンBとマスクデータ、 4) シーンAとシーンBをマスクした後の画像、 5) シーンA。次に、各ケースについて、ある１フレームの合成方法を
示す。1)のケースでは、まず、動きパラメータに応じて
マスクデータを変形する。そして、第２シーンのフレー
ムを、変形したマスクデータのマスク処理によって、第
１シーンのフレームと合成する。2)のケースでは、ま
ず、動きパラメータに応じて第２シーンのフレームを変
形する。そして、変形した第２シーンのフレームを、マ
スクデータのマスク処理によって、第１シーンのフレー
ムと合成する。3)のケースでは、まず、動きパラメータ
に応じて第２シーンのフレームとマスクデータをそれぞ
れ変形する。変形した第２シーンのフレームを、変形
したマスクデータのマスク処理によって、第１シーンの
フレームと合成する。4)のケースでは、まず、第２シー
ンのフレームを、マスクデータのマスク処理によって、
第１シーンのフレームと合成する。そして、合成された
データを動きパラメータに応じて変形する。5)のケース
では、まず、動きパラメータに応じて第１シーンのフレ
ームを変形する。そして、第２シーンのフレームを、
マスクデータのマスク処理によって、変形した第１シー
ンのフレームと合成する。なお、ここで言うマスクデー
タには、図４の形状データではなく、図５の形状レベル
データにより構成される単一色のマスク画像や図６の変
形領域位置情報より構成される図２０、２１に示すよう
な変形画像も含まれるものとする。また、ここで言う動
きパラメータには、動きベクトル形式も含まれるものと
し、図６にて説明したようなグローバル動きベクトルや
格子点の動きベクトル、ならびにその組み合わせも含む
ものとする。

【００２３】ここで、変形画像情報が上記のケース1)と
ケース2)、変形領域数が１個、変形選択情報が「１パラ
メータ」のケースについて、画像変形処理の例を示す。

【００２４】図１３は、ケース2)に関して、スライドイ
ンを想定した特殊効果の例を示した図である。図１３の
構成は、図２と同じである。但し、図１３では、変形画
像３０１の代表点３０４、３０５、３０６を与えた図を
省略している。また、動きモデルを平行移動とし、画面
の左上端のみに代表点を設けている。このケースでは、
第２シーンが画面の右端からスラインドインすること
で、第１シーンと入れ替わる効果を想定している。従っ
て、変形前の元画像３０２が、常に画面全体を表示して
いる画像、変形画像３０１が、元画像３０２を平行移動
させた画像となる。そして、この平行移動の大きさを徐
々に減らすことにより、スライドインの特殊効果が実現
できる。この際、マスクデータは、一般的には、表示位
置を画面の左端(0, 0)、サイズを画面と同サイズとし、
第１シーンのフレームが表示される部分の画素値を”
0”(第１シーンを表示)、第２シーンのフレームが表示
される部分の画素値を”1”(第２シーンを表示)とすれ
ばよい。但し、このケースでは、変形画像が矩形形状で
あるため、マスクデータを別途符号化しなくても、変形
領域位置情報から復元することも可能である。図２と同
様に３０３が、グローバル動きベクトルに基づいて変形
画像３０１に相当する元画像の領域を変形画像（破線）
上に示した動き補償画像を示しており、３０８が動き補
償後の代表点、３１１がグローバル動きベクトルを示し
ている。このグローバル動きベクトル３１１に従い、特
殊効果後のフレーム内の画素値を算出する。

【００２５】図１８に、スライドインを想定した特殊効
果処理の例を示す。７１０が特殊効果発生前から再生さ
れている第１シーンのフレーム、７２０が特殊効果後に
現れる第２シーンのフレーム、７３０がマスクデータを
示している。第２シーンのフレーム７２０は平行移動の
動きパラメータにより、７２１のように変形される。こ
の変形された第２シーンのフレーム７２１と第１シーン
のフレームをマスクデータにて合成することにより、特
殊効果処理を施した合成フレーム７４０が生成される。
図１４は、ケース1)に関して、マスクデータのサイズ拡
大を想定した特殊効果動きベクトルならびに動き補償の
例を示した図である。図１４の構成は、図２と同じであ
る。但し、図１４では、変形画像３０１の代表点３０
４、３０５、３０６を与えた図を省略している。また、
動きモデルを透視変換とし、画面の右下端にも代表点を
設けている。このケースでは、画面サイズのマスクデー
タを符号化する替わりに、小さいサイズのマスクデータ
とそのサイズを拡大するための動きパラメータを符号化
することで、符号量を削減することを想定している。従
って、変形前の元画像３０２が、画面サイズに対して縮
小した画像、変形画像３０１が、画面サイズまでズーム
アップした画像となっている。図２と同様に３０３がグ
ローバル動きベクトルに基づいて変形画像３０１に相当
する領域を変形画像（破線）上に示した動き補償画像を
示しており、３０８、３０９、３１０、３１４が動き補
償後の代表点、３１１、３１２、３１３、３１５がグロ
ーバル動きベクトルを示している。このグローバル動き
ベクトルから算出される透視変換モデルの動きパラメー
タを用いて各画素の動きベクトルを算出し、特殊効果後
のマスクデータ内の画素値を導出する。図１９は、形状
データのサイズ拡大を想定した特殊効果処理の例を示し
ている。図１８と同様に、７１０が特殊効果発生前から
再生されている第１シーンのフレーム、７２０が特殊効
果後に現れる第２シーンのフレーム、７３０がマスクデ
ータを示している。マスクデータ７３０が拡大の動きパ
ラメータにより、７３１のように変形される。この変形
されたマスクデータ７３１に基づいて第２シーンのフレ
ームと第１シーンのフレームを合成することにより、特
殊効果処理を施した合成フレーム７４０が生成される。

【００２６】次に、変形画像情報がケース2)、変形領域
数が図２０に示した１２個、符号化単位情報が「統一変
形処理」、変形選択情報が「１パラメータ」のケースに
ついて、画像変形処理の例を示す。図２２は、図２０に
示した変形画像について、左上端に位置する変形対象領
域６０３２の動き補償に注目したものである。領域３０
３が、統一変形処理のグローバル動きベクトルに基づい
て、変形対象領域６０３２に相当する元画像の領域を変
形画像(破線)上に示した動き補償領域を示している。ま
た、図２２上の４個の黒丸が動き補償後の代表点、４個
の矢印が統一変形処理のグローバル動きベクトルを示し
ている。他の１１個の変形対象領域についても、同じグ
ローバル動きベクトルを用いて、変形処理を行う。な
お、この変形では、図２０に斜線部で示したように、変
形画像後の形状タイプが変形領域位置情報(図６の４２
３２)からも構成できる。従って、形状タイプを「動き
パラメータのみ」とし、マスクデータ画像の符号化を省
略することも可能である。もちろん、マスクデータ画像
を別途符号化してもよい。また、次に、変形画像情報が
ケース2)、変形領域数が２個、符号化単位情報が「個別
変形」、変形選択情報が「１パラメータ」のケースにつ
いて、画像変形処理の例を図２４により示す。図２４の
構成は、図２と同じである。但し。変形画像は２個の変
形対象領域３０１と３０１２にて構成されている。ま
た、動きのモデルを平行移動とし、各変形対象領域につ
いて、左上端に代表点３０５と３０５２を設けている。
このケースでは、各変形対象領域が異なる動き変形を伴
うため、各変形対象領域について、個別に動き補償を行
う必要がある。領域３０３と３０３２が、グローバル動
きベクトルに基づいて、変形対象領域３０１と３０１２
に相当する元画像の領域を変形画像(破線)上に示した動
き補償領域を示している。また、３０８、３０８２が各
領域における動き補償後の代表点、３１１と３１１２が
各領域のグローバル動きベクトルを示している。このよ
うに、本発明では、変形画像上の複数の変形対象領域
を、異なる動き変形処理にて合成することも可能であ
る。また、次に、変形画像情報がケース2)、変形対象領
域が図２１に示した1個、変形選択情報が「１パラメー
タ」のケースについて、画像変形処理の例を示す。図２
３は、図２１に示した変形画像について、破線で示した
仮想矩形領域の動き補償に注目したものである。領域３
０３が、グローバル動きベクトルに基づいて、仮想矩形
領域６０４２に相当する元画像の領域を変形画像(破線)
上に示した動き補償領域を示している。また、図２３上
の４個の黒丸が動き補償後の代表点、４個の矢印が統一
変形処理のグローバル動きベクトルを示している。この
変形処理では、仮想矩形領域内の全画素サンプルを合成
する必要はなく、変形画像の部分のみを合成すればよ
い。なお、この変形では、図２１に斜線部で示したよう
に、変形画像後の形状タイプが変形領域位置情報(図６
の４２３２)からも構成できる。従って、形状タイプを
「動きパラメータのみ」し、マスクデータ画像の符号化
を省略することも可能である。もちろん、マスクデータ
画像を別途符号化してもよい。

【００２７】次に、図３のシステムデータ生成処理にて
作成したデータから特殊効果を含んだ映像を合成する方
法について、図１５を例に説明する。まず、入力された
システムデータは、システムデコーダ１０１にて、オー
ディオデータ、ビデオデータ（特殊効果発生前から再生
されている第１シーンと特殊効果後に現れる第２シー
ン）、特殊効果データに分離される。分離されたオーデ
ィオデータは、それぞれオーディオデコーダ１０２にて
復号処理され、システムデータあるいはオーディオデー
タに含まれている時刻情報に従って、スピーカから再生
される。分離された特殊効果データは、ビデオデコーダ
１０５に入力される。ビデオデコーダ１０５では、第１
に、特殊効果データの動きパターンデータあるいはシー
ケンスヘッダから図５、図６、図７に示した変形画像情
報、変形領域数、変形領域位置、動きモデル、変形選択
情報、パッチ情報、符号化単位情報等のヘッダ情報が復
元される。また、特殊効果データから切り出された動き
パターンデータ内の動きベクトル情報が、ヘッダ情報に
基づいてパラメータデコーダ１５２にて動きベクトルあ
るいは動きパラメータに復元される。第２に、形状デー
タが特殊効果データから切り出され形状デコーダ１５１
にて復元され、マスクデータが得られる。分離されたビ
デオデータは、動き・模様デコーダ１０３（ビデオデー
タが形状信号を持つ場合には形状デコーダ、ビデオデー
タがグローバルな動きベクトル補償を伴う場合には、パ
ラメータデコーダと画像変形部も利用）にて、第１シー
ンならびに第２シーンの各フレームに復号される。これ
らのビデオデコーダにて復元されたマスクデータ、第１
シーンならびに第２シーンのフレーム画像のうち、変形
選択情報にて指定された画像、あるいはアルゴリズム上
予め規定されている画像は、画像変形部１５３に入力さ
れ、復号された動きベクトルあるいは動きパラメータに
従って変形処理される。その後、マスクデータ、第１シ
ーンならびに第２シーンのフレーム画像は、合成部１０
６に入力され、特殊効果画像として合成される。なお、
図１５では、説明上、パラメータデコーダと画像変形部
を動き・模様デコーダとは別の処理ユニットとして記載
しているが、一般的には、パラメータデコーダと画像変
形部は動き・模様デコーダの機能として扱われる。

【００２８】図１５では、受信したシステムデータか
ら、特殊効果シーンを再現する方法について示した。し
かしながら、特殊効果画像の合成作業としては、単純
に、蓄積されているデータから、特殊効果データと被編
集用のビデオデータを選択し、特殊効果データの修正等
を行いながら、シーンを合成する方法なども考えられ
る。

【００２９】上記の特殊効果処理の説明では、特殊効果
データとビデオデータを別のビットストリームで扱うこ
とを考えてきた。しかしながら、特殊効果データと特殊
効果後に現れる第２シーンのビデオデータを統合して扱
うことも可能である。具体的には、統合データ用の形状
タイプを、別途用意し、２種類のデータを統合して扱う
ためのシーケンスヘッダ、フレームヘッダのフォーマッ
トを規定する。そして、さらに、２データの統合ＭＢデ
ータフォーマットを図１６に示すように規定する。統合
ＭＢデータは、マスクＭＢデータ４３４とビデオＭＢデ
ータ４３５にて構成されており、お互いに依存関係は持
たない。図１７は、それぞれ、図３のシステムデータ生
成処理を統合データ用に拡張した図である。図１７が図
３と異なる点は、データ合成部２１３が追加されている
点である。このデータ合成部２１３は、特殊効果データ
作成２１１にて生成される特殊効果データと、メモリ２
１０から出力される被編集ビデオデータを統合する役割
を持つ。なお、データ合成部２１３は、合成の対象とな
る特殊効果データがない場合（第１ビデオシーンのデー
タ、オーディオデータなど）には、入力データをそのま
ま出力する。なお、この統合データは、図１５に示した
要素要素にて再生処理することが可能である。

【００３０】本発明には以下の変形も含まれる。（１）本実施例では、MPEG-4の機能を使用した例にて本
発明を説明したが、本発明の適用範囲はMPEG-4には限定
されない。マスクデータと動きベクトル（動きパラメー
タ）を扱う機能をもつ装置ならびに処理方法であれば、
適応可能である。また、マスクパターンと動きパターン
の符号化方法もMPEG-4のアルゴリズムには限定されな
い。（２）本実施例では、特殊効果データのフォーマットを
図４〜図７、図１２、図１６のように示したが、フォー
マット内での各要素の配置は、これに限定されない。形
状データ、動きベクトル等、図に記載されている要素が
含まれているデータを扱うデータならびにデータ生成処
理方法はすべて含まれる。（３）本発明では、特殊効果を施す対象となるビデオデ
ータの形状タイプは限定されない。任意オブジェクトに
も適用できる。例えば、シーンに登場するオブジェクト
に対して、特殊効果を施す際にも使用できる。その場合
には、オブジェクトが持つ形状データごと特殊効果を適
用すればよい。（４）本実施例では、特殊効果の対象となるシーンを単
一オブジェクトに限定して説明してきたが、複数のオブ
ジェクトにて構成されるシーンにも適用できる。この場
合には、オブジェクトシーンの合成を行い、合成画像に
対して特殊効果処理を施せばよい。

【００３１】

【発明の効果】本発明により、画像の変形を伴う特殊効
果パターンのライブラリ化が可能となる。また、特殊効
果を実現するための圧縮データを配信することも可能と
なる。さらに、拡大の動きベクトルにより形状データを
拡大させることで、特殊効果用マスクデータのデータ量
を削減することが可能となる。

【図面の簡単な説明】

【図１】特殊効果データ生成処理の構成例を示した図で
ある。

【図２】グローバル動き補償処理の例を示した図であ
る。

【図３】システムデータ生成処理の構成例を示した図で
ある。

【図４】特殊効果データの構造例を示した図である。

【図５】特殊効果データにおけるフレームヘッダの構造
の例を示した図である。

【図６】特殊効果データにおける動きパターンデータの
構造の例を示した図である。

【図７】動きパターンデータを含むビデオデータの構造
の例を示した図である。

【図８】四角パッチを張ったフレーム画像の例を示した
図である。

【図９】三角パッチを張ったフレーム画像の例を示した
図である。

【図１０】マクロブロック分割の例を示した図である。

【図１１】マクロブロックの構造を示した図である。

【図１２】特殊効果データにおけるMBデータの構造の例
を示した図である。

【図１３】スライドインを想定した特殊効果動きベクト
ルならびに動き補償の例を示した図である。

【図１４】形状データのサイズ拡大を想定した特殊効果
動きベクトルならびに動き補償の例を示した図である。

【図１５】システムデータ復号ならびに特殊効果を含む
シーンの合成処理構成の例を示した図である。

【図１６】特殊効果データとビデオデータを統合したデ
ータにおけるMBデータの構造の例を示した図である。

【図１７】特殊効果データとビデオデータを統合したシ
ステムデータ生成処理の構成例を示した図である。

【図１８】スライドインを想定した特殊効果処理の例を
示した図である。

【図１９】形状データのサイズ拡大を想定した特殊効果
処理の例を示した図である。

【図２０】複数の画像変形領域を持つ変形画像の例であ
る。

【図２１】任意形状の変形画像の例である。

【図２２】複数の画像変形領域を持つ変形画像の全変形
領域に、同じ動き変形を施す場合について、特殊効果動
きベクトルならびに動き補償の例を示した図である。

【図２３】任意形状の変形画像について、特殊効果動き
ベクトルならびに動き補償の例を示した図である。

【図２４】複数の画像変形領域を持つ変形画像の各変形
領域に、異なる動き変形を施す場合について、特殊効果
動きベクトルならびに動き補償の例を示した図である。

【符号の説明】

１０１…システムデコーダ、１０２…オーディオデコー
ダ、１０３…動き・模様デコーダ、１０５…ビデオデコ
ーダ、１５１…形状デコーダ、１５２…パラメータデコ
ーダ、１５３…画像変形部、１０６…合成部、２０１…
編集情報解析部、２０２…マスクパターンメモリ、２０
３…動きパターンメモリ、２０４…形状エンコーダ、２
０５…特殊効果動きベクトルエンコーダ、２０６…多重
化部、２０７…背景データエンコーダ、２１０…メモ
リ、２１１…特殊効果データ作成部、２１２…システム
エンコーダ、２１３…データ合成部、３０１…変形画
像、３０２…元画像、３０３…動き補償画像、３０５、
３０６、３０７…動き補償後の代表点、３０８、３０
９、３１０、３１４…動き補償前の代表点、３１１、３
１２、３１３、３１５…グローバル動きベクトル、４１
０…シーケンスヘッダ、４２０…フレームヘッダ、４２
１…フレームタイプ、４２２…時刻情報、４２３…サイ
ズ位置情報、４２３２…変形領域位置情報、４２４…形
状データレベル、４２４２…背景データレベル、４２５
…動きベクトル、４２６…変形領域数、４２７…パッチ
情報、４２８…変形選択情報、４２８２…符号化単位情
報、４２９…変形画像情報、４２５２…動きモデル情
報、４３０…形状データ、４３１…バイナリMBデータ、
４３２…パッチ動きベクトル、４３３…グレイスケール
MBデータ、４３４…マスクMBデータ、４３５…ビデオMB
データ、６０１…四角パッチを張ったフレーム、６０２
…三角パッチを張ったフレーム、７１０…第１シーンの
フレーム、７２０…第２シーンのフレーム、７２１…変
形した第２シーンのフレーム、７３０…マスクデータ、
７３１…変形したマスクデータ、７４０…合成フレー
ム。

フロントページの続きＦターム(参考） 5C023 AA02 AA03 AA04 AA16 BA04 BA12 CA02 CA08 DA04 EA03 5C059 KK37 LB18 MA00 NN01 NN21 NN28 NN31 NN47 NN49 PP16 PP26 PP29 RB09 RC04 RC12 RC16 UA02

Claims

【特許請求の範囲】

【請求項１】任意の再生画像を変形するための動きパタ
ーンと、動きパターンに基づいて変形させる画像の種類
を示す情報情報である変形画像情報とを符号化し、１本
のデータに多重化することを特徴とする特殊効果データ
符号化方法。
【請求項２】１フレームの動きパターンが２個以上の動
きパラメータ情報あるいは動きベクトル情報にて構成さ
れていることを特徴とする請求項１に記載の特殊効果デ
ータ符号化方法。
【請求項３】１フレームの動きパターンが、変形後の画
像サイズならびに表示位置を示す情報を少なくとも２個
以上含んでいることを特徴とする請求項１に記載の特殊
効果データ符号化方法。
【請求項４】動きパターンが、少なくとも変形後の画像
サイズならびに表示位置を示す情報を含んでいることを
特徴とする請求項１に記載の特殊効果データ符号化方
法。
【請求項５】１フレームの動きパターンが、変形後の画
像サイズならびに表示位置を示す情報を２個以上含んで
おり、かつ１フレームの動きパターンが、動きパラメー
タ情報あるいは動きベクトル情報を１個含んでいること
を特徴とする請求項１に記載の特殊効果データ符号化方
法。
【請求項６】１フレームの動きパターンが、変形後の画
像サイズならびに表示位置を示す情報を少なくとも２個
以上含んでおり、かつ１フレームの動きパターンが、動
きパラメータ情報あるいは動きベクトル情報を２個以上
含んでいることを特徴とする請求項１に記載の特殊効果
データ符号化方法。
【請求項７】動きパターンと変形する画像の種類を示す
変形画像情報とを含む符号化データを復号し、該復号し
た動きパラメータと変形画像情報に基づいて、特殊効果
処理対象の画像に対し演算を行う処理をおこなうことを
特徴とする特殊効果処理方法。
【請求項８】特殊効果処理対象の画像に対し演算を行う
処理に、マスクデータを動きパラメータに基づいて変形
する処理を含むことを特徴とする請求項７に記載の特殊
効果処理方法。
【請求項９】特殊効果処理対象の画像に対し演算を行う
処理に、少なくとも１つの画像を動きパラメータに基づ
いて変形する処理を含むことを特徴とする請求項７に記
載の特殊効果処理方法。
【請求項１０】符号化された特殊効果データを格納する
機能と、動きパターンの符号化データを格納特殊効果デ
ータに追加する機能とを有することを特徴とする特殊効
果データ編集方法。
【請求項１１】少なくとも符号化された特殊効果データ
を格納する機能と、特殊効果データの各フレームデータ
に含まれる時刻情報を修正する機能と、特殊効果データ
の任意フレームのデータを切り捨てる機能とを有するこ
とを特徴とする特殊効果データ編集方法。