JP2004334694A - Image generation method, device, program and record medium recording the program - Google Patents
Image generation method, device, program and record medium recording the program Download PDFInfo
- Publication number
- JP2004334694A JP2004334694A JP2003131972A JP2003131972A JP2004334694A JP 2004334694 A JP2004334694 A JP 2004334694A JP 2003131972 A JP2003131972 A JP 2003131972A JP 2003131972 A JP2003131972 A JP 2003131972A JP 2004334694 A JP2004334694 A JP 2004334694A
- Authority
- JP
- Japan
- Prior art keywords
- image
- speed field
- term
- field
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
【０００１】
【発明の属する技術分野】
本発明は、画像を編集するための映像生成方法及び装置に関し、特に、カメラやインターネット上のウェブ（ｗｅｂ）サイトなどのさまざまな観測源から得られる画像を、自由自在にユーザーの意図通りに編集して映像シーンを生成するための映像生成方法及び装置に関する。
【０００２】
【従来の技術】
ＣＭ（コマーシャル）、アニメーション、映画、個人映像など、映像の多様化が進んでいる中で、１枚の写真（静止画像）からの動画生成、２枚の静止画像からの動画生成などが望まれている。特に、昔の写真などをスキャナやカメラを通じて電子化し、それを素材にして、表情を変化させたり、風景を変形させたり、さらには川の流れを動画として表現するなどの広がりが考えられている。
【０００３】
これまでにも、画像を編集する市販の編集ツールが数多く存在する（例えば、Ａｄｏｂｅ（Ｒ）社のＰｈｏｔｏｓｈｏｐ（Ｒ）やＩｌｌｕｓｔｒａｔｏｒなど）。これらの市販の編集ツールの大半は、静止画像に対して人為的な処理を予め用意された機能によって画像の色やテクスチャーなどを変更するものである。変形についても、簡単なメッシュ変形機能を備えている。複数の静止画像から動画（映像）を生成する場合には、静止画像を１枚ずつ、調整パラメータを少しずつ変えて変更していき、これらの複数の静止画像を連続した画像すなわち動画として再生している。この場合、動画を構成する静止画像間のわずかな変化量も、ユーザーの感覚に基づいて設定されているので、得られる動画は不連続な動きになりがちである。
【０００４】
また、球などの重心の移動軌跡をユーザーが設定し、設定された移動軌跡にしたがって球が移動することで、動画生成と呼んでいるツールも多い。これらのツースにを用いた顔の変形操作では、顔の基本ワイヤーフレームを予め準備し、ユーザーは、人の顔画像などにその基本ワイヤ−フレームを手動で位置合わせをする。その後、ワイヤーフレームにテクスチャーマッピングを行い、ワイヤーフレームのメッシュ点を移動させることで、必要とされる動画の変形表現を作る。
【０００５】
ＳＩＧＧＲＡＰＨ： Ｌｅｏｎａｒｄ ＭｃＭｉｌｌａｎ ａｎｄ Ｇａｒｙ Ｂｉｓｈｏｐ， ”Ｐｌｅｎｏｐｔｉｃ ｍｏｄｅｌｉｎｇ ａｎ ｉｍａｇｅ−ｂａｓｅｄ ｒｅｎｄｅｒｉｎｇ ｓｙｓｔｅｍ”， ｐｐ． ３９−４６， １９９５（非特許文献１）には、建物などの１枚の写真から、視点、構図を変更するために、奥行きマップを人為的に作成したり、影を除去する方法が提案されている。しかしながら、非特許文献１には、１枚の写真からの流体状パターンでの動画作成方法については記述されていない。
【０００６】
ＩＣＣＶ： Ｓ．Ｓｏａｔｔｏ， Ｇ．Ｄｏｒｅｔｔｏ， ａｎｄ Ｙ．Ｎ．Ｗｕ， ”Ｄｙｎａｍｉｃ ｔｅｘｔｕｒｅ”， ２００１（非特許文献２）には、数十枚以上の過去画像を用い、自己回帰モデルに当てはめて、流体状の未来画像を作る方法が提案されている。しかしながらこの方法では、１枚のみの画像から未来画像を生成する場合には、別途、速度を入力しなければならないが、自己回帰モデルは速度項を陽に持たないため、速度場入力との整合性がよくなく、適切が未来画像が得られないことがある。また、数十枚以上の過去画像を用いても、生成される未来画像ではその高周波数成分が除去されるため、ボケのある画像しか生成できない問題がある。
【０００７】
ＥＣＣＶ： Ｙｉｚｈｏｕ Ｗａｎｇ ａｎｄ Ｓｏｎｇ−Ｃｈｕｎ Ｚｈｕ， ”Ａ ｇｅｎｅｒａｔｉｖｅ ｍｅｔｈｏｄ ｆｏｒ ｔｅｘｔｕｒｅｄ ｍｏｔｉｏｎ： ａｎａｌｙｓｉｓ ａｎｄ ｓｙｎｔｈｅｓｉｓ”， ｐｐ． ５８３−５９８， ２００２（非特許文献３）には、羽ばたく鳥や花火、滝などに対して、個々に、ｍｏｖｅｔｏｎと呼ばれる変形可能な画像要素を設計し、必要な数だけ、各映像パターンを近似する方法が提案されている。各画像要素が移動する軌跡については、２次のマルコフ（Ｍａｒｋｏｖ）モデルで記述されている。この方法では、各画像パターンへの画像要素の設計と要素数とを予め人為的に設計しなくてはならないのと、最小単位が画像要素による十数画素の大きさなので、画像全体としては、ぼけたパターンとなってしまう問題がある。
【０００８】
従来技術では、画像のもつ複雑なテクスチャー、シーンの背景、全景を静止画から動画へ容易に生成できるツールは見当たらない。特に、鮮明さを残すような手法は見当たらない。
【０００９】
【非特許文献１】
ＳＩＧＧＲＡＰＨ： Ｌｅｏｎａｒｄ ＭｃＭｉｌｌａｎ ａｎｄ Ｇａｒｙ Ｂｉｓｈｏｐ， ”Ｐｌｅｎｏｐｔｉｃ ｍｏｄｅｌｉｎｇ ａｎ ｉｍａｇｅ−ｂａｓｅｄ ｒｅｎｄｅｒｉｎｇ ｓｙｓｔｅｍ”， ｐｐ． ３９−４６， １９９５
【００１０】
【非特許文献２】
ＩＣＣＶ： Ｓ． Ｓｏａｔｔｏ， Ｇ． Ｄｏｒｅｔｔｏ， ａｎｄ Ｙ． Ｎ． Ｗｕ， ”Ｄｙｎａｍｉｃ ｔｅｘｔｕｒｅ”， ２００１
【００１１】
【非特許文献３】
ＥＣＣＶ： Ｙｉｚｈｏｕ Ｗａｎｇ ａｎｄ Ｓｏｎｇ−Ｃｈｕｎ Ｚｈｕ， ”Ａ ｇｅｎｅｒａｔｉｖｅ ｍｅｔｈｏｄ ｆｏｒ ｔｅｘｔｕｒｅｄ ｍｏｔｉｏｎ： ａｎａｌｙｓｉｓ ａｎｄ ｓｙｎｔｈｅｓｉｓ”， ｐｐ． ５８３−５９８， ２００２
【００１２】
【非特許文献４】
Ｂ． Ｋ． Ｐ． Ｈｏｒｎ ａｎｄ Ｂ． Ｇ． Ｓｃｈｕｎｃｋ， ”Ｄｅｔｅｒｍｉｎｉｎｇ Ｏｐｔｉｃａｌ Ｆｌｏｗ”， Ａｒｔｉｆｉｃａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． １７， Ｎｏ． １， ｐｐ． １８５−２０３， １９８１
【００１３】
【非特許文献５】
Ｐ． Ｐｅｒｏｎａ ａｎｄ Ｊ． Ｍａｌｉｋ， ”Ｓｃａｌｅ−ｓｐａｃｅ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａｎｉｓｏｔｒｏｐｉｃ ｄｉｆｆｕｓｉｏｎ”， ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． １２， Ｎｏ． ７， ｐｐ． ６２９−６３９， １９９０
【００１４】
【発明が解決しようとする課題】
結局、従来の画像編集ツールで動画像を生成しようとする場合には、ユーザーは、静止画像に対して１枚ずつ、フィルタリングなどの工程を何回となく人為的に行っており、その際、移動や変形量を感覚的に調整することを強いられいた。そのため、静止画像で数百枚を超えるような動画の作成には、多大な創作時間と費用が必要となっていた。
【００１５】
そこで本発明の目的は、元の時系列画像から自動的に、連続した別の時系列画像を生成でき、また、１枚の静止画に基づいて、速度場編集ツールを介して、連続した動画を効率的に生成することができ、しかも、画素を最小単位した細かい変化、微妙な変化をも許容する方法及び装置を提供することにある。画素を最小単位した細かい変化、微妙な変化としては、画像中の特定の対象の変形、移動や、背景などのテクスチャーのテクスチャー変形や移動などが例示される。
【００１６】
【課題を解決するための手段】
本発明の映像生成方法は、静止画像を入力画像として、入力画像に基づいて出力画像を画素単位に生成する映像生成方法において、入力画像に対して、画素の移動を決定する速度場を設定する工程と、設定された速度場に基づいて、入力画像に対して移流項を含む移流方程式を適用して出力画像を生成する工程と、を有する。
【００１７】
本発明の映像生成方法においては、入力画像は、時間的に連続する少なくとも２枚の静止画像からなっていてもよいし、単一の静止画像であってもよい。前者の場合には、それら少なくとも２枚の静止画像からオプティカルフロー法によって画素単位で速度を推定し、推定された速度に基づいて速度場が設定されるようにすることが好ましい。後者の場合には、入力画像をユーザーに対して表示し、ユーザーから速度場の指定を受け付け、指定された速度場に基づいて速度場が設定されるようにすることが好ましい。さらに本発明の映像生成方法では、出力画像を生成する工程を異なる時刻に対応して繰り返し実行することにより、時系列に連続する複数の静止画像からなる時系列画像である出力画像を得るようにすることが好ましい。
【００１８】
本発明において移流方程式は、例えば、画像の濃淡値を主変数として、画素単位に時間と空間で記述された時間依存の偏微分方程式である。移流方程式は、速度場を表現するための項として、移流項のほかに、拡散項、発達項、衰退項及び停滞項の中からから選ばれる少なくとも１つの項を含んでいてもよい。ここで拡散項は、例えば、等方拡散と異方拡散の少なくとも一方を表現する項である。また、入力画像が時間的に連続する２枚の静止画像を含む場合に、その２枚の静止画像から差分画像を求め、差分画像における画素値の大きさと正負によりしきい値を用いて発達、衰退及び停滞を分類し、差分画像の濃淡値を移流方程式の主変数として代入して移動を伴った発達、衰退及び停滞の表現を行うようにしてもよい。
【００１９】
さらに本発明では、ナビエ・ストークス方程式と移動平均フィルタを用いて速度場を予測する工程を設けてもよい。
【００２０】
本発明の映像生成装置は、静止画像を入力画像として、入力画像に基づいて出力画像を画素単位に生成する映像生成装置において、入力画像を入力する画像入力部と、入力画像に対して、画素の移動を決定する速度場を設定する速度場設定部と、設定された速度場に基づいて、入力画像に対して移流項を含む移流方程式を適用して出力画像を生成する画像生成部と、を有する。
【００２１】
この映像生成装置は、ユーザーからの、速度場設定の指示及び速度場設定部で設定された速度場に対する修正を受け取る速度場入力部と、速度場入力部への入力に基づいて速度場を変更する速度場変更部と、備えていてもよい。ユーザーは、マウスなどのポインティングデバイスによって、入力画像中の各領域ごとに速度場を設定できることが好ましい。この映像生成装置は、基本速度場を示す複数の速度場フィルタを予め記憶する速度場フィルタ記憶部を有し、速度場フィルタに基づいて速度場を設定するものであってもよい。この場合、ユーザーが、さまざまな基本速度場パターンから適用すべき速度場を選択でき、さらに、速度場の大きさ、形状などを調整しながら、編集対象の入力画像上に速度場を設定できるようにすることが好ましい。基本速度場としては、例えば、振動（波）、渦、発散、収束、傾斜状速度なとが挙げられる。このような基本速度場において調整可能なパラメータは、例えば、振動の場合にはその周波数や振幅であり、渦や発散、収束では、速度や加速度である。さらに、ユーザーが、発達、衰退、停滞について領域を特定して指定できるようにすることが好ましい。
【００２２】
【発明の実施の形態】
次に、本発明の好ましい実施の形態について、図面を参照して説明する。図１は、本発明の実施の一形態の映像生成装置の構成を示すブロック図である。
【００２３】
この映像生成装置は、１枚の２次元静止画像、あるいは、時間的に連続した複数枚の２次元静止画像からなる時系列画像（すなわち動画）を入力として、その入力された静止画像の時間帯とは異なる時間帯での連続した時系列画像を生成するものである。映像生成装置は、時系列画像における各画像の各画素の値をそれぞれ決定し、それによって、画素単位で時系列画像を生成する。
【００２４】
映像生成装置は、画像が入力する画像入力部１１と、入力した画像を蓄積する画像蓄積部１２と、速度場フィルタを設定しまた速度場を変更する速度場編集部１３と、設定されあるいは変更された速度場に基づいて、画像蓄積部１２に蓄積されている画像に対し移流方程式に基づく処理を施し、画像を生成する画像生成部１４と、生成した画像を出力する画像出力部１５と、を備えており、画像生成部１４において、異なる時刻に対応して画像生成を繰り返し実行することによって、動画像を生成する。ここで速度場とは、静止画像の各画素が新たに生成される画像においてどのように移動しているかを決定するものであり、画像の各位置について、移動の方向と大きさとを規定している。速度場編集部１３には、このような速度場を表わす複数のフィルタ（速度場フィルタ）を予め記憶している速度場フィルタ記憶部１６と、速度場フィルタ記憶部１６に記憶されている速度場フィルタの中から１つを選択し、あるいは複数の入力画像から速度場を推定して、入力画像に対して適用すべき速度場として設定する速度場設定部１７と、速度場設定部１７で設定された速度場に対するユーザーからの修正を受け入れる速度場入力部１８と、ユーザーからの入力に基づいて速度場を変更する速度場変更部１９と、を備えている。ユーザーによる速度場の修正を行わない場合には、速度場入力部１８及び速度場変更部１９は設けなくてもよい。
【００２５】
次に、上述した映像生成装置を用いた映像の生成手順について説明する。この生成手順は、本発明の映像生成方法に基づくものである。この生成手順によれば、インターネットなどのネットワーク上のウェブサイトに設置されたカメラ（いわゆるウェブカメラ）やウェブサイト上の静止画像、さらにはスキャナやデジタルカメラから得られる静止画像から、連続した時系列画像（動画）が画素単位に生成される。また、ある時間帯での時系列画像（少なくとも２枚の静止画像を含む）から、過去や未来などの異なる時間帯での時系列画像が生成される。
【００２６】
静止画像あるいは動画は、画像入力部１１に入力して画像蓄積部１２に蓄積される。速度場編集部１３は、入力した画像から自動的に速度場を推定して推定結果に基づいて速度場を設定したり、あるいは、ユーザーが想定したシナリオに応じて速度場を設定する。ユーザーが想定したシナリオに応じて速度場を設定する場合には、例えば、渦、発散、収束、振動、波状、傾斜状などで表わされる速度場が予め速度場フィルタとして速度場フィルタとして速度場フィルタ記憶部１６に予め用意されており、ユーザーからの入力に応じてインタラクティブに速度場をユーザーに提示し、また、ユーザーからの修正入力に応じてその速度場が修正される。そして、画像生成部１４は、設定された速度場に基づいて、入力画像から出力画像を生成する。この場合、時間依存の偏微分方程式である移流方程式による数値計算を入力画像に施すことにより、出力画像が得られる。この出力画像は、入力画像が、その入力画像に対応する時刻から指定された時間（過去方向または未来方向）だけ速度場に基づいて変化した画像である。したがって、移流方程式による数値計算を過去や未来まで繰り返すことによって、入力画像に対応する時刻（または時間帯）とは異なる時間帯での時系列画像が得られることになる。このようにして生成した画像は、画像出力部１５から出力され、例えば、動画として表示される。
【００２７】
このように本実施形態では、大きく分けると、２枚の入力画像があってそこから速度場を自動的に推定する場合（方法１）と、１枚の入力画像しかなくそれに対してユーザーが速度場を指定する場合（方法２）との２通りの方法で、出力の時系列画像が得られることになる。図２は、この方法１と方法２での処理を対比して示したものである。
【００２８】
方法１、すなわち入力画像が２枚であって両者が連続した時系列画像である場合には、それらの画像に対応する時刻がｔ−１，ｔであるとする。本実施形態では、例えば、オプティカルフロー法などの速度自動推定法により、２枚の入力画像での対応する画素を決定し、対応する画素の座標が両方の入力画像でどれだけずれているかを判別し、そのずれに基づいて、画素の移動速度（方向及び大きさ）を画素ごとに決定する。このとき時刻ｔ−１、ｔを入れ替え、差分を求めることによって、未来方向と過去方向とを容易に入れ替えることができる。すなわち、時刻ｔ−１，ｔの順序により未来を、時刻ｔ，ｔ−１の順序によって過去と表わすことができる。オプティカルフロー法の詳細については、例えば、Ｂ． Ｋ． Ｐ． Ｈｏｒｎ ａｎｄ Ｂ． Ｇ． Ｓｃｈｕｎｃｋ， ”Ｄｅｔｅｒｍｉｎｉｎｇ Ｏｐｔｉｃａｌ Ｆｌｏｗ”， Ａｒｔｉｆｉｃａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． １７， Ｎｏ． １， ｐｐ． １８５−２０３， １９８１（非特許文献４）に記載されている。
【００２９】
一方、方法２では、１枚の入力画像から、速度場編集ツールを介して、ユーザーがそのシナリオに応じた速度場を設定する。このとき、後述するように、入力画像をユーザーに対して提示し、提示された画像に対してユーザーが所望の速度場を描き入れることにより、速度場が設定される。ユーザーによる速度場の指定は、画素ごとなされるわけではないので、速度場編集ツールは、ユーザーの入力に基づいて画素ごとの速度を計算する。
【００３０】
方法１、方法２のいずれの場合であっても、上述のようにして画素ごとの速度が設定されるから、画素ごとに速度を表わした速度場ファイルが生成する。そして、画像生成部１５は、速度場ファイルに基づいて、画素単位で速度をパターン生成方程式に入力し、このパターン生成方程式を入力画像に適用して、出力画像を生成する。パターン生成方程式としては移流方程式が用いられる。本実施形態で用いられる移流方程式を式（１）に示す。ここでは移流項のみが示されている。
【００３１】
【数１】
ここで、
【００３３】
【外１】
は、入力する２次元画像における、２次元平面内での各画素の濃淡値を示している。同様に、
【００３５】
【外２】
は、入力画像における各画素ごとの２次元速度を示している。∇は空間１次微分であり、ｔは時刻である。Ｉｘ，Ｉｙ，Ｉｔをそれぞれ、画素濃淡値の、空間（ｘ方向及びｙ方向）と時間の１次微分とする。すなわち本実施形態では、移流方程式は、画像の濃淡値を主変数とするものであって、画素単位に、時間と空間とで記述された時間依存の偏微分方程式である。
【００３７】
本実施形態では、入力画像すなわち数値演算の初期値となるべき初期画像に基づいて、方法１または方法２によって得られた速度を画素単位で移流方程式に与えて、時間発展を計算することにより、未来または過去再現が容易に画像として次々と生成される。言い換えれば、入力画像として与えられた初期の画像パターンが、時間と空間で変化して、出力画像となるパターンが生成される。移流方程式において、速度は、移流項に代入される。
【００３８】
次に、時間の１次微分について、未来再現、過去再現及びオプティカルフローでの速度計算を行う方法について示す。移流方程式から、１つの先の時刻の未来の濃淡値を計算するためには、時間項で、時刻ｎ＋１での濃淡値を未知数として、時刻ｎまでの画像を事前知識として考えればよい。速度を自動計算する場合は、時刻ｎ，ｎ−１での画像を用いる。これを数式でまとめると、
【００３９】
【数２】
となる。過去再現の場合も同様に、時刻ｎ，ｎ−１での事前知識から、１つ過去の時刻に溯って、ｎ−２での濃淡値は、
【００４１】
【数３】
と表現される。未来の任意の時刻におけるパターンの生成については、
【００４３】
【数４】
として、再帰的に求めていけばよい。計算アルゴリズムとしては、ｎ，ｎ＋１での値を繰り返し入れ替えればよい。過去の任意の時刻におけるパターンの再現の場合も、同様である。
【００４５】
ここで、移流基本方程式について、その導出過程を説明しておく。
【００４６】
ある変量Ｆを考え、Ｆの微小時間における時間と１次元移動の変化するものとして、２次オーダまでテイラー展開すると、式（Ａ１）が得られる。
【００４７】
【数５】
ここで、変量Ｆに発達や衰退などの変化がない場合、Ｆに対する１次元の移流基本方程式を導出できる。特に、空間微分を拡張すれば、式（Ａ２）に示すように、２次元移流方程式を得る。
【００４９】
【数６】
次に、式（Ａ２）を風上差分法により離散化すると、式（Ａ３）が得られる。この方法は、流れの方向に応じて、前進差分と後退差分を適応的選択して計算することで、誤差伝播の影響による差分誤差を抑制することを特徴とする。式（Ａ３）は１次オーダである。
【００５１】
【数７】
この式（Ａ３）をテイラー展開してその特性を解析する（式（Ａ４））。
【００５３】
【数８】
式（Ａ４）の右辺第２項は、数値拡散項であり、数値解を平滑化する効果を有する。右辺第３項は数値分散項であり、数値解を振動させる。次に、式（Ａ３）から３次オーダの風上差分式を導出する。空間上の１点を近傍の３点を用いて、２次式で補間をすると、式（Ａ５）を得る。
【００５５】
【数９】
速度の絶対値を用いて式（Ａ５）を１つにまとめると、式（Ａ６）を得る。
【００５７】
【数１０】
式（Ａ６）の特性を見るために、テイラー展開すると、数値分散項の
【００５９】
【数１１】
が含まれる。安定化のために、第１項を
【００６１】
【数１２】
で置き換えて相殺効果をつくる（河村スキーム）。さらに、式（Ａ６）の第２項に含まれる４階微分の数値拡散項の効果を緩和させるために、
【００６３】
【数１３】
で置き換える。これらをまとめて、本実施形態で適用している３次オーダの風上差分式（Ａ７）を得る。ここでは１次元での式を示しているが、２次元の場合も同様に導出できる。
【００６５】
【数１４】
式（Ａ７）をテイラー展開で解析する。αの大きさによって、４階微分項に起因する数値拡散効果が大きいことがわかる。
【００６７】
【数１５】
以上、本実施形態で用いる移流基本方程式の導出を説明した。ここで「基本方程式」としているのは、以下に説明するように、本実施形態では、移流項のほかに、必要に応じて、拡散項、発達項、衰退項及び停滞項の少なくとも１つを含む移流方程式が使用されるからである。
【００６９】
本実施形態では、移流方程式は、差分法により、離散化近似で解けばよい。また、移流方程式の移流項は、計算機上の離散格子点において、例えば、差分法により、１次、２次及び３次のオーダで近似することが好ましい。
【００７０】
次に、本実施形態で用いる速度場編集ツールについて説明する。
【００７１】
速度場編集ツールは、入力画像を表示しつつ、ユーザーからのその入力画像に適用すべき速度場パターンの指定や修正の入力を受け付けるものであり、入力画像上に編集中の速度場パターンを重畳することにより、どのような速度場が設定されるかをユーザーにわかりやすく表示する。速度場編集ツールは、速度場編集部１３としてこの映像生成装置に実装されている。すなわち、速度場の入力や修正のためにユーザーが使用するマウスやキーボードなどが速度場入力部１８に対応し、速度場変更部１９は、速度場編集ツールのうち、ユーザー入力にあわせて速度パターンを変更する部分に対応する。速度場設定部１７は、現在編集中の速度場パターンを表示するとともに、各画素ごとの速度値を計算する速度場の連続化の処理も実行する。この速度場編集ツールでは、基本的な速度場、例えば、渦、拡散、波、傾斜などの形態の速度場パターンが、速度場フィルタとして予め速度場フィルタ記憶部１６に記憶されており、ユーザーは、所望の速度場フィルタを画像上の所望の領域に設定することにより、簡単に速度場の設定を行えるようになっている。
【００７２】
図３は、速度場編集ツールの操作の概要を示す図である。ここでは、雲を示した１枚の静止画像が入力し、この画像に対して、ユーザーがさまざまな速度場パターンを入力し設定して、動画を生成する場合を説明する。
【００７３】
入力画像に対する速度の基本場（すなわち基本速度場）を示すために、ユーザーに対して速度場パレット３１が表示される。図示した例では、速度場パレット３１には、ユーザーが入力した、渦、拡散、波（振動）、傾斜状などの基本速度場が表示されている。また、速度場における速度の大きさや方向を適宜に調整するために、速度場ブラシ３２がいわゆるフローティングパレットとして表示されている。ユーザーは、速度場パレット３１及び速度場ブラシ３２に対しては、マウスなどのポインティングデバイスによって、メニュー選択の要領で指定などを行うことができる。なお、傾斜状の速度場とは、関節物体の支点まわりの回転を表現するものである。
【００７４】
ユーザーが入力した速度場は、そのままでは空間的には不連続場であって、そこから出力画像を生成すると、不自然なパターンが生成してしまう。そこで、初期速度として用いられる連続した速度場をつくるために、ユーザーによって入力された速度場に対して、移動平均フィルタを何回か作用させる。次に、必要に応じてであるが、流体力学の分野で広く用いられているナビエ・ストークス（Ｎａｖｉｅｒ−Ｓｔｏｋｅｓ）方程式を適用する。その結果、時間的な変化が自然に近い時系列画像３３を計算することができる。
【００７５】
一方、図３の画像３４は、従来法により市販の画像編集ツールを適用して動画を生成する際の手順を示している。従来法により動画を生成する場合には、例えば、画像に対してメッシュをあてはめて、マウスなどを用いてメッシュ自体を手作業で移動、変形することによって、少しずつ雲の変形を行うことになる。さらに、ぼかしなどのフィルタをかけるなどの加工処理を加える。しかしながら従来法では、連続した表現を実現することできない。これは、メッシュやフィルタなどをユーザーが感覚的に調整することによって画像間の変形の度合いを設定することに起因している。それに対して本実施形態の方法は、数理方程式に基づいて画像間の変形の度合いを設定しているために、各画素単位ごとに数学的かつ物理的に変化するとともに連続した表現を実現した時系列画像を得ることができるのが特徴である。
【００７６】
以下、図４、図５及び図６を用いて、本実施形態において用いられる速度場ブラシの例を説明する。
【００７７】
図４は、渦状の速度場パターンに対応する速度場ブラシを示している。速度ブラシの中央のほぼ正方形の領域内には、大きさと方向とを有する多数の矢印によって、速度場パターンとして、各点での速度の大きさと方向とが示されている。図４の（ａ）は、渦の加速度成分の調整を示している。加速度成分は、速度における変化を表現する。この速度場ブラシによれば、速度場ブラシの右端にあるスライダーバーを操作することによって、渦について、中心から外周に向けて速度場における速度の大きさを変化させることができ、加速度表現を実現することができる。図４の（ｂ）は、渦の強度の調整を示しており、速度場パターンの表示領域の左に隣接するスライダーバーによって渦の強度を調整できることを示している。図４の（ｃ）は、渦の広がりの調整を示しており、速度場パターンの表示領域の下に隣接するスライダーバーによって渦の広がりを調整できることを示している。
【００７８】
図５は、振動を表現する速度場パターンに対応する速度場ブラシを示している。この図に示されるように、振動表現についても、その振幅や振動数（波長）をスライダーバーによって調整できる。例示していないが、速度の大きさもスライターバーによって調整できる。
【００７９】
図６の（ａ）は、発散場（発達）の速度場パターンにおける加速度調整を示しており、ここでも、速度場パターンの表示領域の左に隣接するスライダーバーによって、発散場の加速度を調整できる。ここでは例示していないが、速度場パターンの表示領域の下に隣接するスライダーバーによって、発散場の速度の大きさを調整できる。図６の（ｂ）は、収束場（衰退）の速度場パターンにおける速度調整を示しており、ここでも、速度場パターンの表示領域の下に隣接するスライダーバーによって、収束場の速度の大きさを調整できる。ここでは例示していないが、速度場パターンの表示領域の左に隣接するスライダーバーによって、収束場の加速度を調整できる。
【００８０】
さらに本実施形態では、拡散効果を表わす速度場パターンも用意される。拡散効果は、文字通り、初期状態での画素濃淡値が画像の全体にわたって、広がっていく効果である。出力される画像としてはボケが生じる。この拡散には、等方と異方の２つのタイプが知られており、図７は、等方拡散法と異方拡散法の相違を示している。
【００８１】
等方拡散は、図７の（ａ）に示すように、濃淡値を変数として、その２次の空間微分項と時間項からなる方程式で記述される。拡散係数の調整により、単位時間ステップ当りの、ぼやけの度合いが異なる。濃淡値領域７１において、等方的に初期の濃淡値が薄まるように広がっていくのが特徴である。
【００８２】
一方、異方拡散では、図７の（ｂ）に示すように、特定の方向だけボケが生じるように計算が進められる。異方拡散は、次式のように表現される。
【００８３】
【数１６】
この式において、右辺第１項のｃ（ｘ，ｙ，ｚ）は、拡散係数に相当する。右辺第２項では、濃淡値についての空間での１次微分が表わされている。異方拡散の表現についての詳細は、Ｐｅｒｏｎａらの論文（Ｐ． Ｐｅｒｏｎａ ａｎｄ Ｊ． Ｍａｌｉｋ， ”Ｓｃａｌｅ−ｓｐａｃｅ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａｎｉｓｏｔｒｏｐｉｃ ｄｉｆｆｕｓｉｏｎ”， ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． １２， Ｎｏ． ７， ｐｐ． ６２９−６３９， １９９０；非特許文献５）に記載されている。。この異方拡散の基本的な効果は、エッジ構造７３を保存しながら、緩やかな濃淡値領域７２のみをぼけさせるというものである。なお、等方拡散の場合には、エッジ構造を含めてすべての領域、画像特徴量にボケが生じる。画像生成においては、ボケを生じることなくノイズを削減することが必要な場合があるが、異方拡散は、このような目的において有効である。
【００８５】
さらに、このような等方拡散、異方拡散を速度場に加えることのもう一つの重要な効果として、数値計算が安定化することが挙げられる。すなわち、上述した移流基本方程式のみでは数値計算に不安定性が生じるが、等方拡散及び異方拡散の少なくとも一方を表わす拡散項を移流基本方程式に追加することで、数値計算が安定化することが知られている。
【００８６】
次に、時系列に連続する２枚の画像があったときに画素ごとにその一方の濃淡値から他方の濃淡値を減算して得られる差分画像について説明する。このような差分画像では、発達（発散）、衰退（収束）及び停滞の３つの状態がある。図８は、これらの３つの状態の相違を示している。図８に示すように、画像における特定の領域７１が、時間の経過に伴って図示矢印に示すように移動したものとする（移動には、移動距離がゼロすなわち移動していない場合も含まれるものとする）。すると、その特定の領域８１の面積が、移動前と移動後とでは変化することがあるが、ここで移動後の方が面積が大きくなっている場合には「発達」であり、移動後の方が面積が小さければ「衰退」であり、移動前後で面積が変化していなければ「停滞」である。
【００８７】
これら３つの状態は、連続する２つの画像からの差分値の大きさと正負により、しきい値により分類される。図８に示すように移動前の領域と移動後の領域とが一部で重なっているとすると、移動後の領域には含まれるが移動前の領域には含まれない部分８２と、移動前の領域には含まれるが移動後の領域には含まれない部分８３とが生じる。ここで部分８２の面積の方が部分８３の面積よりも大きければ「発達」ということになり、部分８２の面積の方が部分８３の面積よりも小さければ「衰退」ということになる。領域８１がその周囲から濃淡値によって明確に区別されるとすれば、部分８２，８３は、濃淡値の差分値から識別することができる。したがって、２つの画像からの差分値の大きさ及び正負に基づいて、上述した３つの状態を識別することができる。
【００８８】
また、時系列に連続する２枚の画像を入力画像とする場合には、これらの画像間の差分画像の濃淡値を移流方程式の主変数として代入することによって、移動を伴った発達、衰退あるいは停滞の表現を行うこともできる。また、入力画像が１枚である場合においても、上述したように速度場編集ツールにおいて、ユーザーが、発達、衰退あるいは停滞について、マウス操作により領域を特定して指定することもできる。
【００８９】
このように発達、衰退あるいは停滞がある場合の移流方程式は、
【００９０】
【数１７】
において、変数Ｉに、差分画像が入力される。移動速度については、パターン全体からオプティカルフローによる計算結果が適用される。
【００９２】
以上、本実施形態において用いられる効果すなわち移流、拡散及び３つの状態（発達、衰退、停滞）について説明したが、これらについては、数式表現としては線形和で表わすことができる。すなわち、（移流）＋（拡散）＋（３つの状態）を各画素について表現し、その時間発展を計算すればよい。このような時間発展は、画像生成部１４において計算される。
【００９３】
以上説明した実施形態においては、パターン予測に必要な速度場を形成するために、移動平均フィルタを使用している。しかしながら、速度場の形成には、移動平均フィルタ以外の種々のものも使用することができる。例えば、ナビエ・ストークス方程式を用いることができる。図９は、ナビエ・ストークス方程式による流体的な速度場の一例を示している。移動平均フィルタは、速度場の低周波数成分が伝播する点はいいのだが、流体的な性質は含まれていない。そこで、流体力学の分野で広く適用されている、ナビエ・ストークス方程式を適用することにより、流体的性質を有するように画像を生成することができる。
【００９４】
ナビエ・ストークス方程式は、速度と気圧（圧力）の２つを主変数にもつ。本実施形態では、速度場を速度の初期値として、ナビエ・ストークス方程式を解いている。以下、本実施形態におけるナビエ・ストークス方程式（以下、ＮＳ方程式と記述する）の解法を説明する。
【００９５】
ここでは、ＨＳＭＡＣ法と呼ばれる方法でＮＳ方程式を解いている。この方法では、ＮＳ方程式と連続方程式を圧力（もしくは気圧）に関して調整をしながら、非線形連立方程式を反復的に解いていく。ＮＳ方程式は、速度と圧力の２つの独立変数を含む。流れの対象を非圧縮流体と仮定すると、離散化した連続方程式は、式（Ａ８）に示すように、ゼロが速度場に対する条件となる。計算格子点上、圧力変数は１メッシュごとに１変数、速度変数については、その垂直・水平成分を格子点上に配置するものとする。
【００９６】
【数１８】
また、ここでは、式（Ａ９）で示されるように、降水パターンへの外部力はないものとする。
【００９８】
【数１９】
次に、未来の速度場を得るために、時間項に関して、式（Ａ１０）で示すように、前進差分化を行う。
【０１００】
【数２０】
この方法では、オプティカルフローにより推定された速度成分をＮＳ方程式を解くときの初期値として与え、圧力については全領域ゼロとして推定している。境界条件は、画像輪郭部に連続条件を課している。また、粘性係数と密度については経験的に決定した。
【０１０２】
各メッシュごとに、圧力の傾きを考えた場合、その傾きに沿って速度の方向と大きさが決定される。式（Ａ８）が各メッシュごとに満たされるように、圧力を調整するような解法をとる。式（Ａ１１），（Ａ１２）を用いて、メッシュごとに速度成分と圧力を微小量ずつ、全メッシュについて反復的に計算を進める。この反復計算は、条件式（Ａ８）が一定の微小値未満となるまで続けられる。
【０１０３】
【数２１】
収束した結果から、ある離散時間から次の時間ステップまでの、速度成分と圧力が予測できる。したがって、時間積分を所定回数繰り返すことによって、任意時刻に対応する画像を得ることができる。
【０１０５】
図１０は、１枚の画像から動画を生成した例を示している。図示左側に示すように、テクスチャーを有する１枚のパターンがあり、そこには、上述した本実施形態での手法に基づいて、速度場が書き込まれている。そして、このような速度場に基づいて画像を生成することにより、図示右側に示すように、意図通りにテクスチャー模様を変化させることができ、移動変形された画像を生成することができた。
【０１０６】
以上説明した本実施形態の映像生成装置は、それを実現するための計算機プログラムを、パーソナルコンピュータなどの計算機に読み込ませ、そのプログラムを実行させることによっても実現できる。映像生成装置を実現するためのプログラムは、ＣＤ−ＲＯＭなどの記録媒体によって、あるいはネットワークを介して計算機に読み込まれる。
【０１０７】
このような計算機は、一般に、ＣＰＵ（中央処理装置）と、プログラムやデータを格納するためのハードディスク装置と、主メモリと、キーボードやマウスなどの入力装置と、ＣＲＴなどの表示装置と、ＣＤ−ＲＯＭ等の記録媒体を読み取る読み取り装置と、ネットワークに接続するための通信インタフェースと、画像を読取るための画像入力装置（スキャナ装置など）から構成されている。ネットワークを介して、あるいは記録媒体から画像データを読込む場合には、スキャナ装置などの画像入力装置は必ずしも設けなくてもよい。ハードディスク装置、主メモリ、入力装置、表示装置、読み取り装置、通信インタフェース及び画像入力装置は、いずれもＣＰＵに接続している。この計算機では、映像生成装置を実現するためのプログラムを格納した記録媒体を読み取り装置に装着して記録媒体からそのプログラムを読み出してハードディスク装置に格納し、あるいはネットワークを介してそのようなプログラムをダウンロードしてハードディスク装置に格納し、ハードディスク装置に格納されたプログラムをＣＰＵが実行することにより、上述したような映像生成装置として機能することになる。なお、生成された静止画像や動画は、ＣＲＴなどの表示装置上で表示してもよいし、あるいは、画像データとして、ハードディスク装置に格納したり、取外し可能な記録媒体に記録したり、あるいは、ネットワークを介して外部に送信してもよい。
【０１０８】
【発明の効果】
以上説明したように本発明は、元の時系列画像から自動的に、連続した別の時系列画像を生成したり、１枚の静止画像に基づいて、速度場編集ツールを介して、連続した動画を効率的に生成したりすることができるという効果がある。本発明は、画像の中の特定の対象領域の変形、移動や、背景などのテクスチャーのテクスチャー変形や移動など、いずれも画素を最小単位した細かい変化、微妙な変化をも許容するような動画生成に関して有効である。さらに本発明では、実画像をそのまま変化させるので、その実画像のようなパターンを有する画像を容易に得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の映像生成装置の構成を示すブロック図である。
【図２】図１に示した映像生成装置の動作原理を説明する図であって、１枚の入力画像が与えられたとき（方法１）及び２枚の入力画像が与えられたとき（方法２）のそれぞれの場合における、過去及び未来方向への動画生成を説明している。
【図３】速度場編集ツールの操作を説明する図である。
【図４】速度場ブラシの例を示す図である。
【図５】速度場ブラシの例を示す図である。
【図６】速度場ブラシの例を示す図である。
【図７】等方拡散と異方拡散との相違を示す図である。
【図８】差分画像の３つの状態の相違を示す図である。
【図９】ナビエ・ストークス方程式による流体的な速度場の例を示す図である。
【図１０】映像シーンでの生成画像の一例を示す図である。
【符号の説明】
１１ 画像入力部
１２ 画像蓄積部
１３ 速度場編集部
１４ 画像生成部
１５ 画像出力部
１６ 速度場フィルタ記憶部
１７ 速度場設定部
１８ 速度場入力部
１９ 速度場変更部
３１ 速度場パレット
３２ 速度場ブラシ
３３ 時系列画像
３４ 画像
７１，７２ 濃淡値領域
７３ エッジ構造
８１ 領域
８２，８３ 部分[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a video generation method and apparatus for editing an image, and in particular, freely edits an image obtained from various observation sources such as a camera and a web site on the Internet according to a user's intention. And a video generation method for generating a video scene.
[0002]
[Prior art]
With the diversification of video such as CM (commercial), animation, movie, and personal video, moving image generation from one photo (still image), generation of moving image from two still images, etc. are desired. ing. In particular, it is considered that old photos are digitized through scanners and cameras, and the materials are used to change facial expressions, transform landscapes, and even express the flow of rivers as moving images. .
[0003]
There are many commercially available editing tools for editing images (for example, Adobe). (R) Company's Photoshop (R) And Illustrator). Most of these commercially available editing tools change the color, texture, and the like of an image by a function in which artificial processing is performed on a still image in advance. For deformation, it has a simple mesh deformation function. When a moving image (video) is generated from a plurality of still images, the still images are changed one by one and the adjustment parameters are changed little by little, and the plurality of still images are reproduced as a continuous image, that is, a moving image. ing. In this case, since the slight change amount between the still images constituting the moving image is also set based on the user's sense, the obtained moving image tends to be discontinuous.
[0004]
In addition, there are many tools called moving image generation, in which a user sets a trajectory of the center of gravity of a sphere or the like and the sphere moves according to the set trajectory. In the face deformation operation using these teeth, a basic wire frame of the face is prepared in advance, and the user manually aligns the basic wire frame with a human face image or the like. After that, texture mapping is performed on the wire frame, and mesh points of the wire frame are moved to create a required deformation representation of the moving image.
[0005]
SIGGRAPH: Leonard McMillan and Gary Bishop, "Plenoptic modeling an image-based rendering system", pp. 39-46, 1995 (Non-Patent Document 1) proposes a method of artificially creating a depth map and removing shadows from a single photograph of a building or the like in order to change the viewpoint and composition. ing. However, Non-Patent
[0006]
ICCV: Soato, G .; Doretto, and Y. N. Wu, "Dynamic texture", 2001 (Non-Patent Document 2) proposes a method of creating a fluid future image by applying several tens or more past images to an autoregressive model. However, in this method, when a future image is generated from only one image, the speed must be separately input. However, since the autoregressive model does not have a speed term explicitly, matching with the speed field input is required. In some cases, the future image is not obtained due to poor performance. Further, even if tens or more past images are used, a high-frequency component is removed from a generated future image, so that only a blurred image can be generated.
[0007]
ECCV: Yizhou Wang and Song-Chun Zhu, "A generalizable method for textured motion: analysis and synthesis", pp. 583-598, 2002 (Non-Patent Document 3) describes individually deformable image elements called movetons for flapping birds, fireworks, waterfalls, and the like, and approximates each video pattern by a required number. A way to do that has been proposed. The trajectory along which each image element moves is described by a second-order Markov model. In this method, the design of the image elements and the number of elements for each image pattern must be artificially designed in advance, and the minimum unit is a size of more than ten pixels due to the image elements. There is a problem that the pattern becomes blurred.
[0008]
In the related art, there is no tool that can easily generate a complex texture of an image, a background of a scene, and a whole view from a still image to a moving image. In particular, there is no method that leaves sharpness.
[0009]
[Non-patent document 1]
SIGGRAPH: Leonard McMillan and Gary Bishop, "Plenoptic modeling an image-based rendering system", pp. 39-46, 1995
[0010]
[Non-patent document 2]
ICCV: Soato, G .; Doretto, and Y. N. Wu, "Dynamic texture", 2001.
[0011]
[Non-Patent Document 3]
ECCV: Yizhou Wang and Song-Chun Zhu, "A generalizable method for textured motion: analysis and synthesis", pp. 583-598, 2002
[0012]
[Non-patent document 4]
B. K. P. Horn and B.S. G. FIG. Schunk, "Determining Optical Flow", Artificial Intelligence, Vol. 17, No. 1, pp. 185-203, 1981
[0013]
[Non-Patent Document 5]
P. Perona and J.M. Malik, "Scale-space and edge detection using anisotropic diffusion", IEEE Trans. See Pattern Analysis and Machine Intelligence, Vol. 12, No. 7, pp. 629-639, 1990
[0014]
[Problems to be solved by the invention]
In the end, when attempting to generate a moving image using the conventional image editing tool, the user has to perform a process such as filtering one by one on a still image several times artificially. I was forced to adjust the amount of movement and deformation sensuously. For this reason, creation of a moving image having more than several hundred still images requires a great deal of creation time and cost.
[0015]
Therefore, an object of the present invention is to automatically generate another continuous time-series image from an original time-series image, and to generate a continuous moving image through a speed field editing tool based on one still image. It is an object of the present invention to provide a method and an apparatus capable of efficiently generating a pixel, and also allowing a fine change and a subtle change in a minimum unit of a pixel. Examples of the fine change and subtle change in which the pixel is a minimum unit include deformation and movement of a specific object in an image, texture deformation and movement of a texture such as a background, and the like.
[0016]
[Means for Solving the Problems]
According to the video generation method of the present invention, in a video generation method in which a still image is used as an input image and an output image is generated in pixel units based on the input image, a speed field for determining movement of pixels is set for the input image. And generating an output image by applying an advection equation including an advection term to the input image based on the set velocity field.
[0017]
In the video generation method of the present invention, the input image may be composed of at least two temporally continuous still images, or may be a single still image. In the former case, it is preferable that the speed is estimated in pixel units from the at least two still images by the optical flow method, and the speed field is set based on the estimated speed. In the latter case, it is preferable that the input image is displayed to the user, the speed field is specified by the user, and the speed field is set based on the specified speed field. Further, in the video generation method of the present invention, by repeatedly executing the step of generating an output image corresponding to different times, an output image which is a time-series image composed of a plurality of time-series continuous still images is obtained. Is preferred.
[0018]
In the present invention, the advection equation is, for example, a time-dependent partial differential equation described in time and space on a pixel-by-pixel basis using the grayscale value of an image as a main variable. The advection equation may include, as a term for expressing the velocity field, at least one term selected from a diffusion term, a development term, a decay term, and a stagnation term in addition to the advection term. Here, the diffusion term is, for example, a term expressing at least one of isotropic diffusion and anisotropic diffusion. Further, when the input image includes two temporally continuous still images, a difference image is obtained from the two still images, and the difference image is developed using a threshold value based on the magnitude and the sign of the pixel value in the difference image. Decline and stagnation may be classified, and the expression of development, decay and stagnation accompanying movement may be performed by substituting the gray value of the difference image as the main variable of the advection equation.
[0019]
Further, in the present invention, a step of predicting the velocity field using the Navier-Stokes equation and the moving average filter may be provided.
[0020]
A video generation device of the present invention is a video generation device that generates an output image on a pixel basis based on an input image with a still image as an input image. A speed field setting unit that sets a speed field that determines the movement of the image, and an image generation unit that generates an output image by applying an advection equation including an advection term to the input image based on the set speed field, Having.
[0021]
This video generation device changes a speed field based on an input to a speed field input unit that receives a speed field setting instruction from a user and a correction to the speed field set in the speed field setting unit, and an input to the speed field input unit. And a speed field changing unit to perform. Preferably, the user can set a velocity field for each area in the input image using a pointing device such as a mouse. The image generation device may include a speed field filter storage unit that stores a plurality of speed field filters indicating the basic speed field in advance, and may set the speed field based on the speed field filter. In this case, the user can select a speed field to be applied from various basic speed field patterns, and can further set the speed field on the input image to be edited while adjusting the size, shape, etc. of the speed field. Is preferable. Examples of the basic velocity field include vibration (wave), vortex, divergence, convergence, and inclined velocity. The parameters that can be adjusted in such a basic velocity field are, for example, the frequency and amplitude in the case of vibration, and the velocity and acceleration in the case of vortex, divergence, and convergence. Further, it is preferable that the user can specify and specify a region for development, decline, and stagnation.
[0022]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, a preferred embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of a video generation device according to an embodiment of the present invention.
[0023]
The video generating apparatus receives a single two-dimensional still image or a time-series image (i.e., a moving image) composed of a plurality of temporally continuous two-dimensional still images as input, and receives a time period of the input still image. Is to generate a continuous time-series image in a different time zone. The video generation device determines the value of each pixel of each image in the time-series image, and thereby generates a time-series image in pixel units.
[0024]
The image generating apparatus includes an
[0025]
Next, a procedure for generating a video using the above-described video generation device will be described. This generation procedure is based on the video generation method of the present invention. According to this generation procedure, a continuous time series is obtained from a camera (so-called web camera) installed on a website on a network such as the Internet, a still image on the website, and still images obtained from a scanner or a digital camera. An image (moving image) is generated for each pixel. In addition, a time-series image in a different time zone such as the past or the future is generated from a time-series image (including at least two still images) in a certain time zone.
[0026]
The still image or the moving image is input to the
[0027]
As described above, in the present embodiment, when roughly divided, there are two input images and the speed field is automatically estimated therefrom (method 1). An output time-series image can be obtained by two methods, that is, when a field is specified (method 2). FIG. 2 shows a comparison between the processing in the
[0028]
[0029]
On the other hand, in
[0030]
In either case of the
[0031]
(Equation 1)
here,
[0033]
[Outside 1]
Indicates the gray value of each pixel in the two-dimensional plane in the input two-dimensional image. Similarly,
[0035]
[Outside 2]
Indicates the two-dimensional speed of each pixel in the input image. ∇ is a spatial first derivative, and t is time. I x , I y , I t Are the first-order derivatives of pixel density values in space (x-direction and y-direction) and time, respectively. That is, in the present embodiment, the advection equation is a time-dependent partial differential equation in which the gray value of an image is used as a main variable and is described in time and space in pixel units.
[0037]
In the present embodiment, based on the input image, that is, the initial image to be the initial value of the numerical operation, the speed obtained by the
[0038]
Next, a method of calculating the speed in the future reproduction, the past reproduction, and the optical flow for the first derivative of time will be described. In order to calculate a future gray level value at one time ahead from the advection equation, the gray level value at time n + 1 may be regarded as an unknown number in the time term, and the image up to time n may be considered as prior knowledge. When the speed is automatically calculated, the images at times n and n-1 are used. Summarizing this with a formula,
[0039]
(Equation 2)
It becomes. Similarly, in the case of the past reproduction, from the prior knowledge at the time n and n-1 and going back one time in the past, the gray value at n-2 is:
[0041]
[Equation 3]
Is expressed as For generation of a pattern at any time in the future,
[0043]
(Equation 4)
As a matter of course, you can find it recursively. As a calculation algorithm, the values at n and n + 1 may be repeatedly exchanged. The same applies to the reproduction of a pattern at an arbitrary time in the past.
[0045]
Here, the derivation process of the basic advection equation will be described.
[0046]
Considering a certain variable F and performing a Taylor expansion up to the second order on the assumption that the time and the one-dimensional movement of the F in a short time change, the equation (A1) is obtained.
[0047]
(Equation 5)
Here, when there is no change such as development or decline in the variable F, a one-dimensional basic advection equation for F can be derived. In particular, if the spatial derivative is expanded, a two-dimensional advection equation is obtained as shown in equation (A2).
[0049]
(Equation 6)
Next, when Expression (A2) is discretized by the windward difference method, Expression (A3) is obtained. This method is characterized in that a forward difference and a backward difference are adaptively selected and calculated according to the direction of the flow, thereby suppressing the difference error due to the influence of error propagation. Equation (A3) is a primary order.
[0051]
(Equation 7)
This equation (A3) is subjected to Taylor expansion to analyze its characteristics (equation (A4)).
[0053]
(Equation 8)
The second term on the right side of the equation (A4) is a numerical diffusion term, and has an effect of smoothing a numerical solution. The third term on the right side is a numerical variance term, which oscillates a numerical solution. Next, a third-order upwind difference equation is derived from equation (A3). When one point in space is interpolated by a quadratic equation using three neighboring points, an equation (A5) is obtained.
[0055]
(Equation 9)
Formula (A5) is obtained by combining formula (A5) into one using the absolute value of the velocity.
[0057]
(Equation 10)
To see the characteristics of equation (A6), Taylor expansion gives the numerical dispersion term
[0059]
(Equation 11)
Is included. For stabilization, the first term
[0061]
(Equation 12)
To create an offset effect (Kawamura scheme). Further, in order to alleviate the effect of the numerical diffusion term of the fourth derivative included in the second term of the equation (A6),
[0063]
(Equation 13)
Replace with These are put together to obtain a tertiary order windward difference equation (A7) applied in the present embodiment. Although a one-dimensional expression is shown here, a two-dimensional expression can be similarly derived.
[0065]
[Equation 14]
Equation (A7) is analyzed by Taylor expansion. It can be seen that the numerical diffusion effect caused by the fourth derivative term is large depending on the magnitude of α.
[0067]
(Equation 15)
The derivation of the basic advection equation used in the present embodiment has been described above. Here, the “basic equation” is, as described below, in the present embodiment, in addition to the advection term, if necessary, at least one of a diffusion term, a development term, a decay term, and a stagnation term. This is because the included advection equation is used.
[0069]
In the present embodiment, the advection equation may be solved by discretization approximation by the difference method. It is preferable that the advection term of the advection equation be approximated at a discrete grid point on a computer, for example, in the order of primary, secondary and tertiary by a difference method.
[0070]
Next, the speed field editing tool used in the present embodiment will be described.
[0071]
The speed field editing tool accepts the input of the speed field pattern to be applied to the input image and the input of the correction while displaying the input image, and superimposes the speed field pattern being edited on the input image. By doing so, the user can easily understand what speed field is set. The speed field editing tool is mounted on this video generation device as the speed
[0072]
FIG. 3 is a diagram showing an outline of the operation of the speed field editing tool. Here, a case will be described in which a single still image showing clouds is input, and a user inputs and sets various speed field patterns for this image to generate a moving image.
[0073]
A speed field palette 31 is displayed to the user to indicate the basic field of speed for the input image (ie, the basic speed field). In the illustrated example, the speed field pallet 31 displays a basic speed field, such as a vortex, a diffusion, a wave (vibration), or a slope, input by the user. The
[0074]
The velocity field input by the user is a spatially discontinuous field as it is, and if an output image is generated therefrom, an unnatural pattern is generated. Therefore, in order to create a continuous velocity field used as the initial velocity, the moving average filter is applied several times to the velocity field input by the user. Next, as needed, a Navier-Stokes equation widely used in the field of fluid dynamics is applied. As a result, it is possible to calculate the time-series image 33 whose temporal change is almost natural.
[0075]
On the other hand, an image 34 in FIG. 3 shows a procedure for generating a moving image by applying a commercially available image editing tool by a conventional method. In the case of generating a moving image by the conventional method, for example, a mesh is applied to an image, and the cloud itself is gradually deformed by manually moving and deforming the mesh itself using a mouse or the like. . Further, processing such as applying a filter such as blurring is added. However, the conventional method cannot realize a continuous expression. This is because the degree of deformation between images is set by the user sensuously adjusting meshes, filters, and the like. On the other hand, the method of the present embodiment sets the degree of deformation between images based on a mathematical equation, thus realizing mathematically and physically changing and continuous expression for each pixel unit. The feature is that a series image can be obtained.
[0076]
Hereinafter, an example of the velocity field brush used in the present embodiment will be described with reference to FIGS. 4, 5, and 6.
[0077]
FIG. 4 shows a velocity field brush corresponding to a spiral velocity field pattern. Within the substantially square area at the center of the speed brush, a number of arrows having a size and direction indicate the speed magnitude and direction at each point as a speed field pattern. FIG. 4A shows adjustment of the acceleration component of the vortex. The acceleration component represents a change in speed. According to this speed field brush, by operating the slider bar at the right end of the speed field brush, the speed of the vortex in the speed field can be changed from the center to the outer circumference, and acceleration expression is realized can do. FIG. 4B shows the adjustment of the vortex intensity, and shows that the vortex intensity can be adjusted by a slider bar adjacent to the left of the display area of the velocity field pattern. FIG. 4C shows the adjustment of the spread of the vortex, and shows that the spread of the vortex can be adjusted by a slider bar adjacent below the display area of the velocity field pattern.
[0078]
FIG. 5 shows a speed field brush corresponding to a speed field pattern expressing vibration. As shown in this figure, the amplitude and frequency (wavelength) of the vibration expression can also be adjusted by a slider bar. Although not illustrated, the magnitude of the speed can also be adjusted by the slider bar.
[0079]
FIG. 6A shows acceleration adjustment in a speed field pattern of a divergent field (development). In this case as well, the acceleration of the divergent field can be adjusted by a slider bar adjacent to the left of the display area of the speed field pattern. . Although not illustrated here, the magnitude of the speed of the divergent field can be adjusted by a slider bar adjacent below the display area of the speed field pattern. FIG. 6B shows the speed adjustment in the speed field pattern of the convergence field (decay). Here, the magnitude of the speed of the convergence field is also adjusted by the slider bar adjacent below the display area of the speed field pattern. Can be adjusted. Although not illustrated here, the acceleration of the convergence field can be adjusted by a slider bar adjacent to the left of the display area of the speed field pattern.
[0080]
Further, in this embodiment, a velocity field pattern representing the diffusion effect is also prepared. The diffusion effect is an effect in which the pixel grayscale value in the initial state spreads over the entire image, literally. The output image is blurred. Two types of this diffusion are known, isotropic and anisotropic, and FIG. 7 shows the difference between the isotropic diffusion method and the anisotropic diffusion method.
[0081]
As shown in FIG. 7A, the isotropic diffusion is described by an equation including a second-order spatial differential term and a time term using a grayscale value as a variable. By adjusting the diffusion coefficient, the degree of blur per unit time step is different. The feature is that the initial gray value is isotropically spread in the
[0082]
On the other hand, in the anisotropic diffusion, as shown in FIG. 7B, calculation proceeds so that blur occurs only in a specific direction. Anisotropic diffusion is expressed by the following equation.
[0083]
(Equation 16)
In this equation, c (x, y, z) of the first term on the right side corresponds to a diffusion coefficient. The second term on the right side represents the first derivative of the gray value in space. The details of the expression of anisotropic diffusion are described in a paper by Perona et al. (P. Perona and J. Malik, "Scale-space and edge detection using anisotropic diffusion, a description of the patent application, IEEE Trans. 7, pp. 629-639, 1990; . The basic effect of this anisotropic diffusion is to blur only the gradual
[0085]
Further, another important effect of adding such isotropic diffusion and anisotropic diffusion to the velocity field is that numerical calculations are stabilized. In other words, instability occurs in numerical calculation only with the advection basic equation described above, but numerical calculation can be stabilized by adding a diffusion term representing at least one of isotropic diffusion and anisotropic diffusion to the advection basic equation. Are known.
[0086]
Next, a description will be given of a difference image obtained by subtracting the other gray value from one gray value for each pixel when there are two images continuous in time series. In such a difference image, there are three states: development (divergence), decay (convergence), and stagnation. FIG. 8 shows the difference between these three states. As shown in FIG. 8, it is assumed that a
[0087]
These three states are classified by threshold values according to the magnitude and the sign of the difference value between two consecutive images. As shown in FIG. 8, assuming that the area before the movement and the area after the movement partially overlap, a part 82 included in the area after the movement but not included in the area before the movement, , But not included in the moved area. Here, if the area of the portion 82 is larger than the area of the portion 83, it means "development", and if the area of the portion 82 is smaller than the area of the portion 83, it means "decay". If the area 81 is clearly distinguished from its surroundings by the gray value, the portions 82 and 83 can be identified from the difference value of the gray value. Therefore, the above three states can be identified based on the magnitude of the difference value between the two images and the sign.
[0088]
In the case where two images continuous in time series are used as the input image, by substituting the gray value of the difference image between these images as the main variable of the advection equation, The expression of stagnation can also be performed. In addition, even when the number of input images is one, the user can specify a region by using a mouse for development, decay or stagnation in the speed field editing tool as described above.
[0089]
The advection equation when there is development, decline or stagnation is
[0090]
[Equation 17]
, The difference image is input to the variable I. As for the moving speed, the calculation result by the optical flow is applied from the entire pattern.
[0092]
The effects used in this embodiment, that is, advection, diffusion, and three states (development, decay, and stagnation) have been described above, but these can be expressed by a linear sum as a mathematical expression. That is, (advection) + (diffusion) + (three states) may be expressed for each pixel, and its time evolution may be calculated. Such time evolution is calculated in the
[0093]
In the embodiment described above, a moving average filter is used to form a velocity field required for pattern prediction. However, various types other than the moving average filter can be used for forming the velocity field. For example, the Navier-Stokes equation can be used. FIG. 9 shows an example of a fluid velocity field based on the Navier-Stokes equation. A moving average filter is good in that low frequency components of the velocity field propagate, but does not include fluid properties. Therefore, by applying the Navier-Stokes equation, which is widely applied in the field of fluid dynamics, an image can be generated so as to have fluid properties.
[0094]
The Navier-Stokes equation has two main variables, speed and atmospheric pressure (pressure). In the present embodiment, the Navier-Stokes equation is solved using the velocity field as the initial value of the velocity. Hereinafter, the solution of the Navier-Stokes equation (hereinafter referred to as NS equation) in the present embodiment will be described.
[0095]
Here, the NS equation is solved by a method called the HSMAC method. In this method, a nonlinear simultaneous equation is repeatedly solved while adjusting the NS equation and the continuous equation with respect to pressure (or pressure). The NS equation includes two independent variables, velocity and pressure. Assuming that the object of the flow is an incompressible fluid, the discretized continuous equation has a condition for the velocity field of zero as shown in equation (A8). On the calculation grid points, one pressure variable is set for each mesh, and the vertical and horizontal components of the speed variable are set on the grid points.
[0096]
(Equation 18)
Here, it is assumed that there is no external force on the precipitation pattern as shown by equation (A9).
[0098]
[Equation 19]
Next, in order to obtain a future velocity field, forward differentiation is performed on the time term as shown in equation (A10).
[0100]
(Equation 20)
In this method, the velocity component estimated by the optical flow is given as an initial value when solving the NS equation, and the pressure is estimated as zero in the entire region. The boundary condition imposes a continuous condition on the image outline. The viscosity coefficient and density were empirically determined.
[0102]
When the pressure gradient is considered for each mesh, the direction and magnitude of the velocity are determined along the gradient. A solution that adjusts the pressure so that the equation (A8) is satisfied for each mesh is used. Using formulas (A11) and (A12), the calculation is repeatedly performed for all the meshes with a small amount of the velocity component and the pressure for each mesh. This iterative calculation is continued until the conditional expression (A8) becomes smaller than a certain minute value.
[0103]
(Equation 21)
From the convergence result, the velocity component and the pressure from a certain discrete time to the next time step can be predicted. Therefore, an image corresponding to an arbitrary time can be obtained by repeating the time integration a predetermined number of times.
[0105]
FIG. 10 shows an example in which a moving image is generated from one image. As shown on the left side of the figure, there is one pattern having a texture, in which a velocity field is written based on the method of the present embodiment described above. Then, by generating an image based on such a velocity field, the texture pattern can be changed as intended, as shown on the right side of the drawing, and a moving and deformed image can be generated.
[0106]
The above-described image generation apparatus of the present embodiment can also be realized by causing a computer such as a personal computer to read a computer program for realizing the image generation apparatus and executing the program. A program for realizing the video generation device is read into a computer by a recording medium such as a CD-ROM or via a network.
[0107]
Such a computer generally includes a CPU (Central Processing Unit), a hard disk device for storing programs and data, a main memory, an input device such as a keyboard and a mouse, a display device such as a CRT, a CD-ROM, and the like. It comprises a reading device for reading a recording medium such as a ROM, a communication interface for connecting to a network, and an image input device (such as a scanner device) for reading an image. When image data is read via a network or from a recording medium, an image input device such as a scanner device may not necessarily be provided. The hard disk device, main memory, input device, display device, reading device, communication interface, and image input device are all connected to the CPU. In this computer, a recording medium storing a program for realizing a video generation device is mounted on a reading device, the program is read from the recording medium and stored in a hard disk device, or such a program is downloaded via a network. Then, the program is stored in the hard disk device, and the CPU executes the program stored in the hard disk device to function as the above-described video generation device. The generated still image or moving image may be displayed on a display device such as a CRT, or may be stored as image data on a hard disk device, recorded on a removable recording medium, or It may be transmitted to the outside via a network.
[0108]
【The invention's effect】
As described above, the present invention automatically generates another continuous time-series image from an original time-series image, or generates a continuous time-series image based on a single still image, through a speed field editing tool. There is an effect that a moving image can be efficiently generated. The present invention is directed to a moving image generation that allows a fine change and a subtle change in which a pixel is a minimum unit, such as deformation and movement of a specific target area in an image and texture deformation and movement of a texture such as a background. Is valid for Further, in the present invention, since the actual image is directly changed, an image having a pattern like the actual image can be easily obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a video generation device according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining the operating principle of the video generation device shown in FIG. 1, when one input image is given (method 1) and when two input images are given (method 1) The generation of moving images in the past and future directions in each case 2) is described.
FIG. 3 is a diagram illustrating an operation of a speed field editing tool.
FIG. 4 is a diagram illustrating an example of a speed field brush.
FIG. 5 is a diagram illustrating an example of a speed field brush.
FIG. 6 is a diagram illustrating an example of a speed field brush.
FIG. 7 is a diagram showing a difference between isotropic diffusion and anisotropic diffusion.
FIG. 8 is a diagram illustrating a difference between three states of a difference image.
FIG. 9 is a diagram showing an example of a fluid velocity field based on the Navier-Stokes equation.
FIG. 10 is a diagram illustrating an example of a generated image in a video scene.
[Explanation of symbols]
11 Image input unit
12 Image storage unit
13 Speed field editorial department
14 Image generator
15 Image output section
16 Speed field filter storage unit
17 Speed field setting section
18 Speed field input section
19 Speed field change unit
31 Speed field pallet
32 Speed field brush
33 time series images
34 images
71,72 Gray value area
73 Edge Structure
81 areas
82,83 parts
Claims (19)
前記入力画像に対して、画素の移動を決定する速度場を設定する工程と、
前記設定された速度場に基づいて、前記入力画像に対して移流項を含む移流方程式を適用して前記出力画像を生成する工程と、
を有する、映像生成方法。In a video generation method in which a still image is used as an input image and an output image is generated in pixel units based on the input image,
For the input image, setting a speed field to determine the movement of the pixel,
Based on the set velocity field, generating the output image by applying an advection equation including an advection term to the input image,
An image generation method, comprising:
前記入力画像を入力する画像入力部と、
前記入力画像に対して、画素の移動を決定する速度場を設定する速度場設定部と、
前記設定された速度場に基づいて、前記入力画像に対して移流項を含む移流方程式を適用して前記出力画像を生成する画像生成部と、
を有する映像生成装置。In a video generation device which generates a still image as an input image and generates an output image on a pixel basis based on the input image,
An image input unit for inputting the input image,
For the input image, a speed field setting unit that sets a speed field that determines pixel movement,
An image generation unit that generates the output image by applying an advection equation including an advection term to the input image based on the set velocity field,
An image generation device having:
前記速度場入力部への入力に基づいて速度場を変更する速度場変更部と、
をさらに有することを特徴とする請求項１１に記載の映像生成装置。From the user, a speed field input unit that receives a speed field setting instruction and a correction to the speed field set in the speed field setting unit,
A speed field changing unit that changes a speed field based on an input to the speed field input unit,
The image generation apparatus according to claim 11, further comprising:
静止画像である入力画像に対して、画素の移動を決定する速度場を設定する手順と、
前記設定された速度場に基づいて、前記入力画像に対して移流項を含む移流方程式を適用し、前記入力画像に基づく出力画像を画素単位に生成する手順と、
を実行させるプログラム。On the computer,
A procedure for setting a speed field for determining the movement of pixels for an input image that is a still image,
Based on the set velocity field, applying an advection equation including an advection term to the input image, a step of generating an output image based on the input image in pixel units,
A program that executes
静止画像である入力画像に対して、画素の移動を決定する速度場を設定する手順と、
前記設定された速度場に基づいて、前記入力画像に対して移流項を含む移流方程式を適用し、前記入力画像に基づく出力画像を画素単位に生成する手順と、
異なる時刻に対応して前記生成する手順を繰り返して実行して、時系列に連続する複数の静止画像からなる時系列画像である前記出力画像を得る手順と、
を実行させるプログラム。On the computer,
A procedure for setting a speed field for determining the movement of pixels for an input image that is a still image,
Based on the set velocity field, applying an advection equation including an advection term to the input image, a step of generating an output image based on the input image in pixel units,
A step of repeatedly executing the generating procedure corresponding to different times to obtain the output image which is a time-series image composed of a plurality of still images continuous in time series;
A program that executes
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003131972A JP4049702B2 (en) | 2003-05-09 | 2003-05-09 | VIDEO GENERATION METHOD, DEVICE, PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003131972A JP4049702B2 (en) | 2003-05-09 | 2003-05-09 | VIDEO GENERATION METHOD, DEVICE, PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004334694A true JP2004334694A (en) | 2004-11-25 |
| JP4049702B2 JP4049702B2 (en) | 2008-02-20 |
Family
ID=33507015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003131972A Expired - Lifetime JP4049702B2 (en) | 2003-05-09 | 2003-05-09 | VIDEO GENERATION METHOD, DEVICE, PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4049702B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008092301A (en) * | 2006-10-02 | 2008-04-17 | Toshiba Corp | Image encoding apparatus, image decoding apparatus and image decoding method |
| JP2008232780A (en) * | 2007-03-20 | 2008-10-02 | Tokyo Electric Power Co Inc:The | Noncontact vibration measurement system, noncontact vibration measurement method, and computer program |
| JP2009110379A (en) * | 2007-10-31 | 2009-05-21 | Nippon Telegr & Teleph Corp <Ntt> | Pattern prediction unit, pattern prediction method, and pattern prediction program |
| KR20150027679A (en) * | 2013-09-04 | 2015-03-12 | 삼성전자주식회사 | Method and apparatus for processing image |
| US9384574B2 (en) | 2013-09-04 | 2016-07-05 | Samsung Electronics Co., Ltd. | Image processing method and apparatus therefor |
-
2003
- 2003-05-09 JP JP2003131972A patent/JP4049702B2/en not_active Expired - Lifetime
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008092301A (en) * | 2006-10-02 | 2008-04-17 | Toshiba Corp | Image encoding apparatus, image decoding apparatus and image decoding method |
| US8320691B2 (en) | 2006-10-02 | 2012-11-27 | Kabushiki Kaisha Toshiba | Image coding apparatus, image decoding apparatus, and image decoding method |
| JP2008232780A (en) * | 2007-03-20 | 2008-10-02 | Tokyo Electric Power Co Inc:The | Noncontact vibration measurement system, noncontact vibration measurement method, and computer program |
| JP2009110379A (en) * | 2007-10-31 | 2009-05-21 | Nippon Telegr & Teleph Corp <Ntt> | Pattern prediction unit, pattern prediction method, and pattern prediction program |
| JP4499775B2 (en) * | 2007-10-31 | 2010-07-07 | 日本電信電話株式会社 | Pattern prediction apparatus, pattern prediction method, and pattern prediction program |
| KR20150027679A (en) * | 2013-09-04 | 2015-03-12 | 삼성전자주식회사 | Method and apparatus for processing image |
| KR101579112B1 (en) | 2013-09-04 | 2016-01-04 | 삼성전자주식회사 | Method and apparatus for processing image |
| US9384574B2 (en) | 2013-09-04 | 2016-07-05 | Samsung Electronics Co., Ltd. | Image processing method and apparatus therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4049702B2 (en) | 2008-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11189084B2 (en) | Systems and methods for executing improved iterative optimization processes to personify blendshape rigs | |
| US10424112B2 (en) | Mesh boundary smoothing | |
| JP4585456B2 (en) | Blur conversion device | |
| US8665258B2 (en) | Generating a depth map based on a single image | |
| US8717390B2 (en) | Art-directable retargeting for streaming video | |
| US8373802B1 (en) | Art-directable retargeting for streaming video | |
| JP2010066803A (en) | Image processing apparatus and method, and program | |
| Browning et al. | Stylized keyframe animation of fluid simulations | |
| JP4049702B2 (en) | VIDEO GENERATION METHOD, DEVICE, PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM | |
| JP4353957B2 (en) | Image generation method, image generation apparatus, and image generation program | |
| EP3249609B1 (en) | Computer-implemented method and system for processing video with temporal consistency | |
| US20220012897A1 (en) | Image processing apparatus and operating method thereof | |
| Xie et al. | Feature guided texture synthesis (fgts) for artistic style transfer | |
| Zope et al. | A Survey of Morphing Techniques | |
| US20230079478A1 (en) | Face mesh deformation with detailed wrinkles | |
| US10922872B2 (en) | Noise reduction on G-buffers for Monte Carlo filtering | |
| JP6854629B2 (en) | Image processing device, image processing method | |
| JP4272226B2 (en) | Image fluid system interaction expression apparatus, method, and program thereof | |
| US9330434B1 (en) | Art-directable retargeting for streaming video | |
| JP4369951B2 (en) | Image generation method, image generation apparatus, and image generation program | |
| CN114299266B (en) | Color adjustment method and device for model and storage medium | |
| JP4845998B2 (en) | Animation method, animation apparatus, and animation program | |
| Liao et al. | Efficient feature tracking of time-varying surfaces using multi-scale motion flow propagation | |
| JP2005316985A (en) | Apparatus and method for enlarging image | |
| Padmavathi et al. | Hierarchical Approach for Total Variation Digital Image Inpainting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040810 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050617 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070420 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070720 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070801 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071009 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071120 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071127 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4049702 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131207 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |