JP2003006667A - アニメーション化された図形の画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 図形がアニメーション化された画像を処理す
る方法を提供する。 【解決手段】 本方法は、デジタル静止画像を与えるス
テップと、デジタル静止画像内でアニメーション化対象
である図形を識別するステップと、図形のアニメーショ
ンモデルを生成するステップと、デジタル静止画像内の
図形をアニメーションモデルで置き換えるステップと、
デジタル静止画像内で置き換えの結果生じる、詳細情報
が欠落した領域を検出するステップと、デジタル静止画
像内で詳細情報が欠落した領域に隣接する情報を識別す
るステップと、識別された情報を複製するステップと、
複製された識別情報を詳細情報が欠落した領域に挿入す
ることによりアニメーション化された画像を生成するス
テップとを含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理に関し、特
にアニメーション化された図形の画像処理方法に関す
る。

【０００２】

【従来の技術】図形、物体または文字のアニメーション
は長年にわたって芸術家の関心を引く主題であった。紙
のページを繰って動きの錯覚を作り出す１９世紀後半の
Ｎｉｃｋｅｌｏｄｅｏｎ機械から、２０世紀の洗練され
た漫画まで、アニメーション処理に対する関心は大きか
った。

【０００３】人物が被写体である写真から現実感のある
３次元の顔面モデルやアニメーションを制作する技術が
開発されてきた。（“写真から現実感のある顔面表現を
合成する”、Ｐｉｇｈｉｎ他、ＳＩＧＧＲＡＰＨ９８、
コンピュータグラフィックスプロシーディングス、年次
会報、１９９８年、７５〜８３ページ参照。）アニメー
ションはあらゆる変形、例えば頭の動きや表情の変化に
対応できる。

【０００４】

【発明が解決しようとする課題】写真に含まれる図形を
選択して、その図形をアニメーション化し、アニメーシ
ョン化された図形の新しい写真を生成することが求めら
れよう。すなわち、画像から図形を“切り取り”、図形
をアニメーション化し、アニメーション化された図形を
画像の中に“挿入”し戻すことが求められよう。しか
し、アニメーション化された図形を画像に挿入する際
に、画像の詳細情報が欠落する恐れがある。このような
詳細情報の欠落が生じるのは、例えばアニメーション化
された図形が画像内で動かされるか、または置き替えら
れた場合である。例えば、画像が自分の左肩越しに眺め
ている人物であり、アニメーション化された図形が自分
の右肩越しに眺めている人物である場合、アニメーショ
ン化された図形が画像に挿入されて戻ったときにその人
物の左肩周辺の画像の詳細情報が欠落している恐れがあ
る。

【０００５】米国特許第５，９１４，７４８号（Ｐａｒ
ｕｌｓｋｉ他）に、被写体に背景を加えた第一の画像お
よび背景のみの第二の画像を含む画像を構成するのに有
用な画像処理システムが開示されている。第一と第二の
画像の差分をとって別の画像が生成され、その差分画像
が処理されてマスク画像が生成される。続いてマスク画
像は第一の画像に適用されて被写体が位置している領域
を選択することにより選択された被写体領域を用いて新
しい画像を作成する。この方法は、特定の用途、特に写
真家が被写体を物理的に動かしたり操ることができる場
合はある程度うまくいくが、既存すなわち従来の写真の
ように被写体と背景が物理的につながっている場合には
適当でない。

【０００６】従って、図形がアニメーション化されて、
上述の問題を克服する画像処理の方法に対するニーズが
依然として存在する。

【０００７】本発明の目的は、図形がアニメーション化
された画像を処理する方法を提供することである。

【０００８】本発明の別の目的は、画像内で詳細情報が
欠落した領域を検出し、これらの領域を修復するような
方法を提供することである。

【０００９】本発明のまた別の目的は、アニメーション
化された画像を表示可能にする方法を提供することであ
る。

【００１０】

【課題を解決するための手段】これらの目的を図に示し
た例だけを用いて説明する。従って、本発明の開示から
必然的に実現できるその他の好適な目的や利点は当業者
には明らかであろう。本発明は添付の請求項により規定
される。

【００１１】本発明の一態様に基づき、デジタル静止画
像を画像処理する方法を提供する。本方法は、デジタル
静止画像を与えるステップと、デジタル静止画像内でア
ニメーション化対象である図形を識別するステップと、
図形のアニメーションモデルを生成するステップと、デ
ジタル静止画像内の図形をアニメーションモデルで置き
換えるステップと、デジタル静止画像内で置き換えの結
果生じる、詳細情報が欠落した領域を検出するステップ
と、デジタル静止画像内で詳細情報が欠落した領域に隣
接する情報を識別するステップと、識別された情報を複
製するステップと、複製された識別情報を詳細情報が欠
落した領域に挿入することによりアニメーション化され
た画像を生成するステップとを含む。

【００１２】本発明は、図形がアニメーション化された
画像を処理する方法を提供する。本方法は詳細情報が欠
落した領域を検出して、これらの領域を修復する。

【００１３】本発明の上述の、およびその他の目的、特
徴と利点は、添付図面に示すように、本発明の好適な実
施の形態に関するより詳細な説明から明らかになろう。

【００１４】

【発明の実施の形態】以下は発明の好適な実施の形態の
詳細な説明であり、複数の図面の各々で同一構造の要素
を同じ参照番号で識別する。

【００１５】図１に、デジタルカメラやキャムコーダー
等の画像取り込み装置により取り込まれて、フレキシブ
ルディスク、メモリカード、またはＣＤ等にデジタル形
式で保存されるデジタル静止画像を示す。当業者には、
写真フィルムカメラ等の画像取り込み装置を用いて撮影
された写真を、スキャナその他の画像変換装置を用い
て、デジタル形式で保存すべくデジタル静止画像に変換
できることが理解されよう。

【００１６】第一の画像１０は第一の図形１２および背
景１４を含む。第一の図形１２は人物の被写体の正面を
示すが、第一の図形１２は物体や文字であってもよい。
説明の都合上、背景１４を複数の線で示すが、背景１４
は任意の図形／物体／文字やその組合わせを含んでいて
よい。

【００１７】図２に、第二の図形２２および背景１４を
含む第二の画像２０を示す。第二の図形２２は、既知の
アニメーション技術を用いて生成された第一の図形１２
のアニメーションである。図に示すように、第二の図形
２２は人物の被写体の右側面である。

【００１８】本発明の方法を図３にフローチャートで示
す。本発明に基づく方法は第一の画像１０を処理して第
二の画像２０を生成する。

【００１９】最初に、画像が与えられ（ステップ１０
０）、画像に配置された図形がアニメーション化対象と
して識別される（ステップ１０２）。図形が識別された
ならば、画像から切り取られる（ステップ１０４）。従
って、図形は画像から切り取るために分離される。図形
が切り取られたならば、そのアニメーションモデルが生
成される（ステップ１０６）。画像内の図形をアニメー
ションモデルで置き換えることにより（ステップ１０
８）、詳細情報が欠落した領域が検出できる（ステップ
１１０）。欠落情報の領域に隣接する情報が識別され
（ステップ１１２）、複製されて（ステップ１１４）、
詳細情報が欠落した領域に挿入されてアニメーション化
された画像が生成される（ステップ１１６）。

【００２０】本発明の方法について図４〜１０を参照し
つつ詳細に説明する。アニメーション化対象の図形が第
一の画像１０の第一の図形１２として選択され、アニメ
ーション化モデルは第二の図形２２であり、その結果ア
ニメーション化された画像が第二の図２０である。

【００２１】上述のように、ステップ１０２において第
一の画像１０の第一の図形１２がアニメーション化対象
の図形として識別される。このように、第一の図形１２
は第一の画像１０から切り取り／抽出できるように分離
されている必要がある。図４に示す図形１２の周囲の破
線３０は、第一の図形１２の輪郭を与え、アニメーショ
ン用に切り取られる図形を示す。

【００２２】アニメーション化対象の図形を識別するス
テップはオペレータにより手作業で、またはソフトウェ
アプログラムにより自動的に実行できる。アウトライン
は、オレゴン州のＩｎｋｗｅｌｌ Ｓｙｓｔｅｍｓ ｏ
ｆ Ｔａｌｅｎｔから販売されているライトペンを用い
て生成できる。画像から図形を分離して切り取るために
利用できる他の手段が当業者に公知である。例えば、Ａ
ＤＯＢＥ ＰＨＯＴＯＳＨＯＰ（登録商標）が市販され
ている適当なソフトウェアパッケージである。

【００２３】図５に示すように、破線３０により輪郭が
描かれた領域が切り取り領域３２を規定する。従って、
ステップ１０４において第一の図形１２が第一の画像１
０から切り取られ場合、切り取り領域３２は第一の画像
１０内で空白になる。

【００２４】第一の図形１２のアニメーションモデルは
当業者に公知の手段によりステップ１０６において生成
できる。上述のように、Ｐｉｇｈｉｎ他により被写体が
人物である写真から現実感のある３次元顔面モデルおよ
びアニメーションを制作する技術が開示されている。Ｌ
ｉｆｅＦＸ Ｎｅｔｗｏｒｋｓ社のホームページｗｗ
ｗ．ｌｉｆｅｆｘ．ｃｏｍ において、人物の顔の動き
や表情を複製して描写する技術の発達が展示されてい
る。手短な例として、図６に公知の手段を用いて生成さ
れた第一の図形１２のアニメーションモデルである第二
の図形２２を示す。

【００２５】ステップ１０８において、アニメーション
モデルは画像内で図形を置き換える。すなわち、第二の
図形２２が第一の画像１０において第一の図形１２を置
き換える。そのように、第二の図形２２は第一の画像１
０内に配置され、切り取り領域３２の上に重ねあわされ
る。アニメーションモデルで画像を置き換えた結果、詳
細情報が欠落した領域が生じる。すなわち、第二の図形
２２の大きさと形は切り取り領域３２とは異なるため、
切り取り領域３２の部分は第二の図形２２により置き換
えられも覆われもしない。この詳細情報が欠落した領域
はステップ１１０において検出される。図７に、詳細情
報が欠落した領域を、第二の図形２２が第一の画像１０
内で第一の図形１２を置き換えた場合の差分領域３４で
あることを示す。図７において、差分領域には見やすく
するために陰付けされている。図に示すように、この特
定の例の場合、差分領域３４は２個の区画を含む。

【００２６】詳細情報が欠落した領域の検出は当業者に
公知の方法により実現できる。例えば、ＡＤＯＢＥ Ｐ
ＨＯＴＯＳＨＯＰ（登録商標）を用いてもよい。詳細情
報が欠落した領域を修復するために、画像情報が生成さ
れて差分領域３４に挿入される。情報を生成して詳細情
報が欠落した領域に挿入する技術を図８〜１０に示す。
差分領域３４は複数のピクセル４１を含む。

【００２７】差分領域３４内に一部または全部が含まれ
る任意のピクセルに対し、青色画面またはその他固有の
色が付けられた背景に関連付けられた値が割り当てられ
る。続いて、青色画面の値に対応する値を有する任意の
ピクセルが、青色画面情報を有するとして検出される。
画像の各ピクセルが走査されて、ピクセルが青色画面情
報の一部または全体を構成するか否かが判定される。青
い画面情報を有するピクセルの集まりが、図８に示す属
性を有するマスク領域４２を規定する。このように、マ
スク領域４２は青色画面情報を構成する各ピクセルを識
別した結果得られ、差分領域３４を表わす破線３０と交
差する各ピクセルを含む。本例の場合、マスク領域４２
は２個の区画を含む。

【００２８】図９に、マスク領域４２および差分領域３
４を拡大してマスク領域４２の属性と対比したピクセル
の配置をより詳細に示す。マスク領域４２内の各ピクセ
ルが識別され、また隣接するピクセルが識別される（ス
テップ１２）。隣接するピクセルは複製されて（ステッ
プ１１４）、詳細情報が欠落した領域に挿入される（ス
テップ１１６）。好適には、最も近い隣接ピクセルで置
き換えられる。

【００２９】図１０を参照するに、説明の都合上ピクセ
ルに番号を付与したマスク領域４２の拡大図を図１０に
示す。ピクセル１はピクセル１’で、ピクセル２はピク
セル２’で、ピクセル３はピクセル３’で置き換えら
れ、これが繰り返される。マスク領域４２内でのピクセ
ルの配置にもよるが、ピクセルの置き換えには何通りか
のオプションがある。例えば、ピクセル３をピクセル
３’、ピクセル４’、またはピクセル５’で置き換えて
もよい。同様に、ピクセル６をピクセル４’で、あるい
は（ピクセル３、７自身が既に置き換えられていれば）
ピクセル３または７で置き換えてもよい。さらに、差分
領域３４内にピクセル４はわずかに一部しか含まれてお
らず、ピクセル４の差分領域３４内に含まれる部分がピ
クセル１に隣接しているため、ピクセル４はピクセル５
よりもむしろピクセル１で置き換えられた方がよかろ
う。当業者には、差分領域３４内に全体が含まれるか、
または一部が含まれるピクセルだけを置き換えればよい
ことが理解されよう。

【００３０】ぼかし技術を利用して画像を拡張すること
ができる。ＡＤＯＢＥ ＰＨＯＴＯＳＨＯＰ（登録商
標）のぼかしフィルターの利用等、このようなぼかし技
術は当業者に公知である。簡単な使い方として、ピクセ
ルの組み合わせを利用してもよい。例えば、ピクセル
３’、４’および５’の組み合わせを用いてピクセル３
を置き換えることができる。

【００３１】一連のアニメーションがある場合、図１１
（ａ）〜（ｃ）および図１２に示す方法が利用される。
例えば、図１１（ａ)〜１１（ｃ）に示すように、３個
のアニメーション化された一連の図形が欲しい場合を想
定する。ここで、図１１（ａ）は、側面から見た図形
（図１１（ｂ）に示す）と正面から見た図形（図１１
（ｃ）に示す）の間を行き来するようにアニメーション
化したい、正面から見た図形のデジタル静止画像を示
す。

【００３２】本発明に基づく方法のフローチャートを図
１２に示す。カウンタｎが０にセットされ（ステップ２
００）、１に加算される（ステップ２０２）。画像Ｉ
（１）が与えられる（ステップ２０４）。画像Ｉ（１）
は、アニメーション化対象のデジタル静止画像である。
図１１（ａ）に示すこの画像は、図１に示す第一の画像
１０と同一である。画像Ｉ（１）から切り取られる図形
が識別される（ステップ２０６）。第一の画像１０の場
合と同様に、画像Ｉ（１）から切り取られる図形は図１
２であり、ここに図１１（ａ）でＦ（１）として識別さ
れた。上述のように、図形Ｆ（１）は画像（１）から切
り取られる（ステップ２０８）。図形Ｆ（１）のアニメ
ーションモデルが生成され（ステップ２１２）、図形Ｆ
（２）と定義される。図形Ｆ（２）は画像Ｉ（１）内で
図形（１）を置き換えるために用いられ（ステップ２１
２）、詳細情報が欠落した領域が検出される（ステップ
２１４）。この詳細情報が欠落した領域は差分領域３４
であり、説明の都合上、差分領域Ｄ（Ｆ（１）；Ｆ
（２））と定義する。ステップ２１６は、画像Ｉ（１）
内で差分領域Ｄ（Ｆ（１）；Ｆ（２））に隣接する情報
の識別を含む。この情報は複製され（ステップ２１
８）、差分領域Ｄ（Ｆ（１）；Ｆ（２））に挿入されて
（ステップ２２２）、図１（ｂ）に示す画像Ｉ（２）が
生成される。

【００３３】生成すべきアニメーションがもはや存在し
ない場合、アニメーションは完了した（ステップ２２
４）。

【００３４】しかし、さらにアニメーションを生成する
場合、ステップ２０２〜２２０が繰り返される。この特
定の例の場合、カウンタｎが加算されて２になる（ステ
ップ２０２）。画像Ｉ（２）が与えられる（ステップ２
０４）。画像Ｉ（２）はカウンタｎが１のときに生成さ
れた画像、すなわち図形Ｆ（２）である。この画像は図
１１（ｂ）に示され、図２に示す第二の画像２０と同一
である。画像Ｉ（２）から切り取られる図形が識別され
る（ステップ２０６）。第二の画像２０の場合と同様
に、画像Ｉ（２）から切り取られる図形は図形２２であ
り、図１１（ｂ）内でＦ（２）として識別される。上述
のように、図形Ｆ（２）は画像Ｉ（２）から切り取られ
る（ステップ２０８）。図形Ｆ（２）のアニメーション
モデルが生成され（ステップ２１２）、図形Ｆ（３）と
して定義される。図形Ｆ（３）が画像Ｉ（２）内で図形
（２）を置き換え（ステップ２１２）、詳細情報が欠落
した領域が検出される（ステップ２１４）。この詳細情
報が欠落した領域が差分領域Ｄ（Ｆ（２）；Ｆ（３））
である。ステップ２１６は、画像Ｉ（２）内で差分領域
Ｄ（Ｆ（２）；Ｆ（３））に隣接する情報の識別を含
む。この情報は複製され（ステップ２１８）、差分領域
Ｄ（Ｆ（２）；Ｆ（３））内部へ挿入されて（ステップ
２２２）、図１１（ｃ）に示す画像Ｉ（３）が生成され
る。

【図面の簡単な説明】

【図１】 アニメーション化対象の図形を含む第一のデ
ジタル静止画像を示す図である。

【図２】 図１の第一画像のアニメーションを含む第二
の画像を示す図である。

【図３】 本発明に基づく方法のフロー図である。

【図４】 図１の第一画像の図形の輪郭を破線で示す図
である。

【図５】 第一画像から切り取られた、図１の第一画像
の図形を示す図である。

【図６】 図１の第一画像のアニメーションモデルを示
す図である。

【図７】 第一画像内での図形のアニメーションモデル
による置き換えを示す図である。

【図８】 図形をアニメーションモデルで置き換えた差
分領域の概略を示すマスク領域領域を示す図である。

【図９】 図８の一部を拡大して、マスク領域のピクセ
ル配置を示す図である。

【図１０】 図９の一部を拡大して、マスク領域のピク
セル配置を示す図である。

【図１１】 本発明に基づく方法を用いて画像処理対象
の一連のアニメーションを示す図である。

【図１２】 一連のアニメーションを作成するための、
本発明に基づく方法のフロー図である。

【符号の説明】

１０ 第一の画像、１２ 第一の図形、１４ 背景、２
０ 第二の画像、２２第二の図形、３０ 破線；輪郭、
３２ 切り取り領域、３４ 差分領域、４０モニター、
４１ ピクセル、４２ マスク領域。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ドナルド エドワード オルソン アメリカ合衆国 ニューヨーク州 ロチェ スター レファイエッテ パークウェイ 47 Ｆターム(参考） 5B050 AA09 BA07 BA08 BA18 BA20 EA03 EA19 EA24 5B057 AA20 CA12 CA16 CB12 CB16 CE09 DA08 DA16

Claims (3)

【特許請求の範囲】
1. 【請求項１】 デジタル静止画の画像処理を行なう方法
   であって、 ａ）デジタル静止画像を与えるステップと、 ｂ）前記デジタル静止画像内でアニメーション化対象で
   ある図形を識別するステップと、 ｃ）前記図形のアニメーションモデルを生成するステッ
   プと、 ｄ）前記デジタル静止画像内の前記図形を前記アニメー
   ションモデルで置き換えるステップと、 ｅ）前記デジタル静止画像内で前記置き換えの結果生じ
   る、詳細情報が欠落した領域を検出するステップと、 ｆ）前記詳細情報が欠落した領域に隣接する前記デジタ
   ル静止画像の情報を識別するステップと、 ｇ）前記識別された情報を複製するステップと、 ｈ）前記複製された識別情報を前記詳細情報が欠落した
   領域に挿入することによりアニメーション化された画像
   を生成するステップと、を含むことを特徴とする方法。
2. 【請求項２】 デジタル静止画の画像処理を行なって複
   数のアニメーション化された画像を生成する方法であっ
   て、 ａ）カウンタｎを１に設定するステップと、 ｂ）デジタル静止画像Ｉ（ｎ）を与えるステップと、 ｃ）前記画像Ｉ（ｎ）内でアニメーション化対象である
   図形Ｆ（ｎ）を識別するステップと、 ｄ）前記画像Ｉ（ｎ）から前記図形Ｆ（ｎ）を切り取る
   ステップと、 ｅ）前記図形Ｆ（ｎ）からアニメーションモデルＦ（ｎ
   ＋１）を生成するステップと、 ｆ）前記画像Ｉ（ｎ）内の前記図形Ｆ（ｎ）を前記アニ
   メーションモデルＦ（ｎ＋１）で置き換えるステップ
   と、 ｇ）前記アニメーションモデルＦ（ｎ＋１）と前記図形
   Ｆ（ｎ）の間の差分領域Ｄ（Ｆ（ｎ）；Ｆ（ｎ＋１））
   を検出するステップと、 ｈ）前記差分領域Ｄ（Ｆ（ｎ）；Ｆ（ｎ＋１））に隣接
   する図形Ｉ（ｎ）の情報を識別するステップと、 ｉ）前記識別された情報を複製するステップと、 ｊ）前記複製された識別情報を前記差分領域Ｄ（Ｆ
   （ｎ）；Ｆ（ｎ＋１））に挿入してアニメーション化さ
   れた画像Ｉ（ｎ＋１）を生成するステップと、 ｋ）ステップｃ）からｊ）を繰り返して複数のアニメー
   ション化された画像を生成するステップと、を含むこと
   を特徴とする方法。
3. 【請求項３】 画像形成システムであって、 デジタル静止画像を与える画像取り込み装置と、 前記デジタル静止画像から図形を切り取って、背景部分
   と切り取り部分を含む差分画像を生成する手段と、 前記図形をアニメーション化してアニメーションモデル
   を生成する手段と、 前記差分画像内で前記アニメーションモデルを置き換え
   る手段と、 前記差分画像内で前記置き換えの結果生じる、詳細情報
   が欠落した領域を検出する手段と、 前記差分画像内で前記詳細情報が欠落した領域に隣接す
   る情報を識別する手段と、 前記識別情報を複製する手段と、 前記複製された識別情報を前記詳細情報が欠落した領域
   に挿入してアニメーション化されたデジタル静止画像を
   生成する手段と、を含むことを特徴とするシステム。