JP2010267006A

JP2010267006A - 動画化方法、動画化装置及び動画化プログラム

Info

Publication number: JP2010267006A
Application number: JP2009116681A
Authority: JP
Inventors: Hidetomo Sakaino; 英朋境野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2009-05-13
Filing date: 2009-05-13
Publication date: 2010-11-25
Anticipated expiration: 2029-05-13
Also published as: JP4845998B2

Abstract

【課題】自然景観を写した１枚の画像から自然な動画を作成する。
【解決手段】最適分離部１３により、画像を動画化対象の前景と動画化対象ではない背景に分離し、補間部１４により、背景の前景を分離した欠落領域を穴埋め補間し、座標変換部１５により、前景を３次元座標系に変換し、動き設定部１６により、ユーザから３次元速度場及び物理条件を受け付け、前景に対して３次元速度ベクトルを設定し、動画化計算部１７により、前景を３次元速度ベクトルに基づいて偏微分方程式を用いて時間発展し、前景を動画化し、画像合成部１８により、穴埋め補間した背景と動画化した前景を合成する。これにより、１枚の複雑な自然景観画像から物理表現に富んだ動画を生成することが可能となる。特に、前景を３次元座標系に変換し、ナビエ・ストークス方程式など各種変形に関わる偏微分方程式を３次元化して解くことで自然な動画を生成することができる。
【選択図】図１

Description

１枚の画像から動画を生成する技術に関する。

デジタルカメラなどにより撮影された１枚のデジタル画像、あるいはビデオ映像から切り出した１枚のデジタル画像の編集方法およびツールにはさまざまなものがある。また、デジタル画像を動画化する方法として２次元的に変形操作するものが知られている。

他方、コンピュータグラフィクスでは、多数の粒子を用いた簡易な３次元動画表現が知られている。

Anat Levin, Dani Lischinski, and Yair Weiss, "A Closed Form Solution to Natural Image Matting", IEEE CVPR, 2006 p.61-68 Antonio Criminisi, Patrick Perez, and Kentaro Toyama, "Region Filling and Object Removal by Exemplar-Based Image Inpainting", IEEE Trans. Image Processing, September 2004, vol. 13 No. 9, p.1200-1212 "Perspective(graphical)", [online], ［平成２１年４月２８日検索］、インターネット〈ＵＲＬ：http://en.wikipedia.org/wiki/Perspective_(graphical)〉

しかしながら、自然景観を写した１枚の画像から動画を作成するためには課題が多く残されている。自然景観などを写した１枚の画像には、奥行き感や視線方向における対象の位置の前後関係が含まれている。そのため、従来の２次元的な変形操作方法では実在感のある動画化には明らかに限界があった。

例えば、画像に写った崖を流れ落ちる滝を動画化する場合、その滝の切り抜いて滝の動画を当てはめることが考えられるが、滝の切り抜きに手間が掛かり煩雑であり、滝の動画を作成する際の水跳ねや風に流れるなどの物理表現についても十分でなかった。従来の多数の粒子を用いた簡易な表現は実写に対する動画化法ではない。実写からのアニメーション化については、剛体や弾性体の場合がほとんどである。特定の画像については膨大な時間を費やせば一定水準の動画は得られるが、特殊な創作過程は一般的な用途には向いていない。

本発明は、上記に鑑みてなされたものであり、自然景観を写した１枚の画像から自然な動画を容易に作成することを課題とする。

第１の本発明に係る動画化方法は、画像を入力して蓄積手段に格納するステップと、前記蓄積手段から前記画像を読み出し、当該画像のうち動画化対象の前景の一部に入力したユーザの指示と動画化対象ではない背景の一部に入力したユーザの指示とを受け付け、前記画像を前景と背景に分離するステップと、前記背景の前記前景を分離した欠落領域を当該背景のテクスチャを用いて穴埋め補間するステップと、前記前景を３次元座標系に変換するステップと、ユーザから受け付けた３次元速度場及び物理条件の設定に基づいて前記前景に対して３次元速度ベクトルを設定するステップと、前記３次元座標系に変換した前景を前記３次元速度ベクトルに基づいて偏微分方程式を用いて時間発展し、前記前景を動画化するステップと、前記動画化した前景と前記補間した背景とを合成するステップと、を有することを特徴とする。

上記動画化方法において、前記合成するステップは、前記分離するステップで算出した前記前景と前記背景の混ざり具合の比率を用いて前記前景と前記背景とを合成することを特徴とする。

第２の本発明に係る動画化装置は、画像を入力して蓄積手段に格納する入力手段と、前記蓄積手段から前記画像を読み出し、当該画像のうち動画化対象の前景の一部に入力したユーザの指示と動画化対象ではない背景の一部に入力したユーザの指示とを受け付け、前記画像を前景と背景に分離する分離手段と、前記背景の前記前景を分離した欠落領域を当該背景のテクスチャを用いて穴埋め補間する補間手段と、前記前景を３次元座標系に変換する座標変換手段と、ユーザから受け付けた３次元速度場及び物理条件の設定に基づいて前記前景に対して３次元速度ベクトルを設定する設定手段と、前記３次元座標系に変換した前景を前記３次元速度ベクトルに基づいて偏微分方程式を用いて時間発展し、前記前景を動画化する動画化計算手段と、前記動画化した前景と前記補間した背景とを合成する合成手段と、を有することを特徴とする。

上記動画化装置において、前記合成手段は、前記分離手段が算出した前記前景と前記背景の混ざり具合の比率を用いて前記前景と前記背景とを合成することを特徴とする。

第３の本発明に係る動画化プログラムは、上記動画化方法における各ステップをコンピュータに実行させることを特徴とする。

本発明によれば、自然景観を写した１枚の画像から自然な動画を容易に作成することができる。

一実施の形態における動画化装置の構成を示すブロック図である。２次元画像を３次元座標系へ変換する様子を説明する概略図である。ユーザが選択・設定する３次元速度場パターンの例を示す図である。一様のパターンを示す３次元速度場を用いたときの流れのシミュレーションの例を示す図である。３次元渦場を設定し、動画化した例を示す図であり、図５（ａ）−（ｃ）は、３次元渦場を設定した様子を示し、図５（ｄ）−（ｆ）は、動画化した結果を示す。１枚の画像の前景と背景を分離した様子を示す図であり、図６（ａ）は、もとの画像を示し、図６（ｂ）は、ユーザが背景を指定した様子を示し、図６（ｃ）は、背景として分離し欠落領域を補間した様子を示し、図６（ｄ）は、前景として分離した様子を示す。前景に３次元速度場などを設定した様子を示す。１枚の画像を動画化した様子を示し、図８（ａ）は、動画化する前の画像を示し、図８（ｂ）は、動画化した後のある時刻の画像を示す。

以下、本発明の実施の形態について図面を用いて説明する。

図１は、本実施の形態における動画化装置の構成を示すブロック図である。同図に示す動画化装置１は、画像入力部１１、データ蓄積部１２、最適分離部１３、補間部１４、座標変換部１５、動き設定部１６、動画化計算部１７、画像合成部１８、表示部１９、およびユーザインタフェース２０を備える。動画化装置１は、演算処理装置、記憶装置、メモリ等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは動画化装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。以下、各部の処理の概要について説明する。

画像入力部１１は、カメラなどで撮影した１枚の画像、あるいは、ビデオから切り出した１枚の画像を入力し、データ蓄積部１２へ格納する。

最適分離部１３は、データ蓄積部１２から１枚の画像を読み出し、動画化する対象を前景、固定した対象を背景として読み出した画像を前景と背景に分離する。前景と背景を分離する際、ユーザインタフェース２０によりユーザから前景あるいは背景の大まかな位置を受け付ける。画像を前景と背景に分離する方法の詳細については後述する。

補間部１４は、画像から前景を分離した背景の欠落領域を欠落領域近傍の背景のテクスチャ画像で穴埋め補間する。この補間処理の詳細については後述する。

座標変換部１５は、分離した前景の動画化に際して、２次元画像である前景に対して３次元情報を付与して３次元の座標系へ変換する。

動き設定部１６は、ユーザインタフェース２０によりユーザから、風、重力などの物理的条件や渦、発散などの３次元速度場情報を受け付け、動画化する領域（前景）に対して３次元速度ベクトルを設定する。

動画化計算部１７は、前景に設定した３次元速度ベクトルに基づいて偏微分方程式を用いて３次元化した前景の時間発展を計算して動画を生成する。

画像合成部１８は、欠落した画像領域を補間した背景と生成した動画とを合成し、表示部１９に表示させる。

ユーザインタフェース２０は、マウス、キーボードなどの入力装置である。

次に、動画化装置１の処理の流れに沿って各部の処理の詳細について説明する。

まず、最適分離部１３が画像を前景と背景に分離する処理について説明する。

１枚の画像において、特に、自然景観を写した画像では、岩、建物などの背景と雲、波、滝などの前景との境界線が複雑であるため、特定の対象を抽出するためには多くの工夫が必要である。手作業により前景を抽出することは可能であるが、膨大な時間を費やす必要がある。そこで、本実施の形態では、最適化問題の枠組みにより、計算機の支援を受けて効率化を図った。

１枚の画像モデルとして、前景と背景の２つの対象がそれぞれある比率で合成されたものとし、次式（１）を定義する（非特許文献１参照）。

ここで、Ｉ，Ｆ，Ｂはそれぞれ画素単位での、画素濃淡値（または輝度）、前景の濃淡値、背景の濃淡値であり、αは前景と背景の混ざり具合の比率（係数）である。この係数を求め、前景と背景を分離する。

まず、αを画素の画素濃淡値Ｉの一次線形関数で近似できるものと仮定した画像モデルを考える。この画像モデルの場合、αは以下の式（２）のように表現できる。

ｗは、画像の中の小さい領域（窓領域）であって、近傍の画素の集合である。窓の大きさは「３画素×３画素」〜「５画素×５画素」である。ｉは、窓領域の中における画素の位置を示す。

ここで、目的関数として次式（３）を定義する。Ｆ，Ｂ，αを未知数として、式（３）について、最小化問題に帰着させる。ただし、３画素×３画素の窓領域毎に計算し、Ｒ，Ｇ，Ｂの各色チャネルについて同様に扱う。

ただし、εは正則化係数である。ｊは、ｊ番目の窓領域を示す。

なお、大まかな前景と背景の指定をユーザインタフェース２０を用いてユーザから入力し、画素にラベリングを施す。そして、拘束条件として、ユーザが前景として指定した位置の画素の画像濃淡値をＦに、背景として指定した位置の画素の画像濃淡値をＢに設定する。式（３）を最小二乗法を用いて解析することにより、画素単位にα，ａ，ｂを取得し、式（２）に代入することでＦ，Ｂを取得する。そして、ＦおよびＢを用いて当該画素が前景の画素であるか背景の画素であるかを判別する。

次に、補間部１４が背景の欠落領域を補間する処理について説明する。

最適分離部１３が画像を前景と背景に分離すると、背景には前景が切り抜かれた欠落領域が残る。この欠落領域を穴埋め問題として捉えなおし、背景に近いテクスチャ画像で補間を施す。これにより、動画化した前景を貼り合わせて合成するときに、補間した背景と前景との合成が自然な結果を生み出す効果を生じる。

欠落領域をΩ、画像をΓ、欠落領域を除いた背景をΦとする。即ち、Φ＝Γ−Ωの関係がある（非特許文献２参照）。ある画素点ｐがパッチΨ_pの中心にあるものとする。欠落領域と背景の境界線∀_p∈∂Ωに点ｐが常にある。穴埋めをする順番を信頼項Ｃ（ｐ）とデータ項Ｄ（ｐ）の積からなる次式（４）で定義する。常に、強いエッジがある場合に信頼項が高い値を持つ。即ち、強いエッジ（領域）から順番に穴埋めされていく。画素点ｑは、Ψ_pもしくはΦに属する。

ここで、｜Ψ_p｜はΨ_pの面積である。αは正規化係数であり、ここでは、画像の最大輝度２５５とする。

穴埋めするための画素は、次式（５）による小さい画像領域の類似性に基づいて、背景（既知）から検索する。

ただし、ｄ（Ψ_a，Ψ_b）はふたつのパッチΨ_aとΨ_bとの距離であり、ここでは累積差分を適用する。最も似たパッチを見つけ、そのパッチを用いて穴埋めする。欠落領域がすべて埋められるまで穴埋めを反復的に繰り返す。

次に、座標変換部１５が２次元画像を３次元へ変換する方法について説明する。ここでは透視投影変換モデルについて述べる（非特許文献３参照）。いわゆるピンホールカメラと同じ座標系である。

図２において、３次元の座標系を（ｘ，ｙ，ｚ）とする。原点Ｏから光軸上に２次元画像２００が焦点距離ｆの位置（０，０，ｆ）にあるものとし、２次元画像２００上の座標を（Ｘ，Ｙ）とする。このような座標系において、図２の符号２１０で示す点Ｐ（ｘ，ｙ，ｚ）は、２次元画像２００上の符号２２０で示す点Ｐ（Ｘ，Ｙ）に対応つけられて、次式（６）の関係式で与えられる。

式（６）に示す関係式に基づいて２次元画像を３次元の座標系に変換する。３次元座標系は、後述する各種３次元方程式、３次元速度などを定義する基本座標系として必要不可欠なものである。

次に、動き設定部１６の処理について説明する。

動き設定部１６は、ユーザインタフェース２０により、物理的条件や３次元速度場パターンの入力を受け付けて、動画化する前景に設定する。図３にユーザが選択・設定する３次元速度場パターンを示す。様々なパターンが考えられるが、図３では、左から、湧き出し、一様、渦の例を示す。これらのパターンは、極座標系（ｒ，θ，ｚ）では、次式（７）〜（９）で定義される。

ただし、ｖ_r，ｖ_θ，ｖ_ｚはそれぞれの方向への速度である。Ｑは流量に関する定数である。

図４（ａ）は、一様のパターンを表す式（７）を用いたときの流れのシミュレーションの例である。一様な速度場を３次元的に設定し、式（７）を適用する。３次元的に流れの幅をユーザが設定する。幅を広くすると図４（ｂ）に示すように別の滝のような表現が可能となる。

次に、動画化計算部１７の処理について説明する。

動画化計算部１７は、動き設定部１６が設定した速度および圧力についての３次元的な時間発展を計算するために、式（１０）で示すナビエ・ストークス方程式を用いる。ここで、速度成分について２つの成分の場合を与え、ｖ＝ｖ₁＋ｖ₂と定義する。動き設定部１６でユーザが３次元速度場のメニューから選択した速度ベクトルをｖ₁とし、ｖ₂を重力や風など物理現象に基づいた速度とする。もちろんこれ以外にもさまざまな速度のモデルが考えられる。

ただし、∇＝（∂／∂ｘ，∂／∂ｙ，∂／∂ｚ），ｖ＝（ｖ_x，ｖ_y，ｖ_z）^Tであり、ｘ，ｙ，ｚのカーテシアン３次元系で定義される一次微分演算子、速度である。ρは密度である。νは粘性係数である。Ｆは外部力であり、ペリンノイズに基づいた乱流による物体力や重力などが与えられる。

一方、ｖ₂＝（ｖ_x2，ｖ_y2，ｖ_z2）^Tは３次元速度成分であり、次式（１１）のように定義できる。

ここで、θは大きさｗｖをもつ風のＸ軸方向に対する角度である。ｇは重力であり、Ｙ軸下方向を向いている。これ以外にもさまざまな物理法則を適用することができる。

画像から抽出して３次元に変換した前景と前景に設定した３次元速度ベクトルを用い、その時間発展の画像を生成するために次式（１２）に示す移流式を適用する。画像の濃淡値も与えて濃淡値の時間発展を解く。さまざまな解法があるが、時間発展途上での解（画像）への拡散誤差の混入、量子化誤差などによる画質劣化を防止するために、有限差分法の場合は、風上差分法３次オーダーなどを適用する。

ここで、Ｉ（ｘ，ｙ，ｚ）を３次元画像、ｖを速度とする。

そして、画像合成部１８は、補間部１４が補間した背景に動画化計算部１７が生成した前景の動画を合成することで、入力した１枚の画像から動画を生成する。合成の際に、式（３）で推定されたαを画素単位に適用する。

次に、動画化装置１により画像を動画化した実施例について説明する。

図５は、山付近の雲の画像に３次元渦場を設定して動画化した例を示す。図５（ａ）〜（ｃ）は、画像に３次元渦場を設定した様子を示す。３次元渦場は、ユーザがマウスにより選択して設定する。図５（ｂ）でよくわかるように、画像に対して渦場を３次元で与える。

ユーザが設定した３次元速度場を３次元移流方程式に与える。また、３次元化された画像の濃淡値も与えて濃淡値の時間発展を解く。図５（ｄ）〜（ｆ）にその結果を示す。図５（ｄ）から図５（ｆ）へ自然かつ実写のテクスチャを用いたリアルな雲変形が実現できた。

図６は、最適分離部１３が前景と背景を分離し、補間部１４が背景の欠落領域を埋めたようすを示す図である。図６（ａ）は、動画化対象の滝と崖を含む１枚の自然景観画像である。図６（ｂ）は、ユーザにより画像の背景が大まかに指定された様子を示す。図６（ｂ）中の曲線がユーザが背景として指定した部分である。ユーザにより背景と前景が大まかに指定されると、最適分離部１３は、式（３）を適用し、自動的に背景と前景を分離する。

図６（ｃ）は、背景から前景を分離した欠落領域を補間部１４が補間した結果を示す図である。図６（ｃ）に示すように、欠落領域は、近傍の崖のテクスチャと同様に自然な感じで補間されている。図６（ｄ）は、前景として切り出した滝を示す図である。

図７は、図６（ｄ）に示す前景に、３次元の一様な速度場と、発散場を設定した様子を示す図である。一様な速度場は流れ落ちる滝を表現し、発散場は岩の上での水跳ねを表現する。また、速度場は重力と風の影響が考慮されている。これらにより、より自然な流れが表現できる。

図８（ａ）は、動画化のもとになった画像であり、図８（ｂ）は、動画化した結果のある時刻の画像である。欠落領域を補間した背景に動画化された滝が逐次合成される。このとき、式（３）で推定されたαを画素単位に適用して崖と滝を合成する。

このように、実在感ある滝がアニメーションとして生成された。１枚の画像から動画化まで５分以内に実現できるため、非常に効率的である。

したがって、本実施の形態によれば、最適分離部１３により、画像を動画化対象の前景と動画化対象ではない背景に分離し、補間部１４により、背景の前景を分離した欠落領域を穴埋め補間し、座標変換部１５により、前景を３次元座標系に変換し、動き設定部１６により、ユーザから３次元速度場及び物理条件を受け付け、前景に対して３次元速度ベクトルを設定し、動画化計算部１７により、前景を３次元速度ベクトルに基づいて偏微分方程式を用いて時間発展し、前景を動画化し、画像合成部１８により、穴埋め補間した背景と動画化した前景を合成することにより、１枚の複雑な自然景観画像から物理表現に富んだ動画を生成することが可能となる。特に、分離した前景を３次元座標系に変換し、ナビエ・ストークス方程式など各種変形に関わる偏微分方程式を３次元化して解くことで自然な動画を生成することができる。

また、ユーザが指示した箇所の前景および背景の画像濃淡値を拘束条件として目的関数を生成し、その目的関数を最小二乗法を用いて解析することで、ユーザの作業負荷、作業時間を軽減しつつ、画像の前景と背景を分離できる。

さらに、背景の欠落領域を背景のテクスチャ画像で補間することで、動画化した前景と背景を合成したときに自然な結果を生み出すことができる。前景と背景を分離する際に算出した背景と前景の混ざり具合の比率を前景と背景の合成の際に用いることで自然な合成が可能となる。

１…動画化装置
１１…画像入力部
１２…データ蓄積部
１３…最適分離部
１４…補間部
１５…座標変換部
１６…設定部
１７…動画化計算部
１８…画像合成部
１９…表示部
２０…ユーザインタフェース

Claims

画像を入力して蓄積手段に格納するステップと、
前記蓄積手段から前記画像を読み出し、当該画像のうち動画化対象の前景の一部に入力したユーザの指示と動画化対象ではない背景の一部に入力したユーザの指示とを受け付け、前記画像を前景と背景に分離するステップと、
前記背景の前記前景を分離した欠落領域を当該背景のテクスチャを用いて穴埋め補間するステップと、
前記前景を３次元座標系に変換するステップと、
ユーザから受け付けた３次元速度場及び物理条件の設定に基づいて前記前景に対して３次元速度ベクトルを設定するステップと、
前記３次元座標系に変換した前景を前記３次元速度ベクトルに基づいて偏微分方程式を用いて時間発展し、前記前景を動画化するステップと、
前記動画化した前景と前記補間した背景とを合成するステップと、
を有することを特徴とする動画化方法。
前記合成するステップは、前記分離するステップで算出した前記前景と前記背景の混ざり具合の比率を用いて前記前景と前記背景とを合成することを特徴とする請求項１記載の動画化方法。
画像を入力して蓄積手段に格納する入力手段と、
前記蓄積手段から前記画像を読み出し、当該画像のうち動画化対象の前景の一部に入力したユーザの指示と動画化対象ではない背景の一部に入力したユーザの指示とを受け付け、前記画像を前景と背景に分離する分離手段と、
前記背景の前記前景を分離した欠落領域を当該背景のテクスチャを用いて穴埋め補間する補間手段と、
前記前景を３次元座標系に変換する座標変換手段と、
ユーザから受け付けた３次元速度場及び物理条件の設定に基づいて前記前景に対して３次元速度ベクトルを設定する設定手段と、
前記３次元座標系に変換した前景を前記３次元速度ベクトルに基づいて偏微分方程式を用いて時間発展し、前記前景を動画化する動画化計算手段と、
前記動画化した前景と前記補間した背景とを合成する合成手段と、
を有することを特徴とする動画化装置。
前記合成手段は、前記分離手段が算出した前記前景と前記背景の混ざり具合の比率を用いて前記前景と前記背景とを合成することを特徴とする請求項３記載の動画化装置。
請求項１又は２に記載した動画化方法における各ステップをコンピュータに実行させるための動画化プログラム。