JP2012221339A - 画像生成装置、画像生成方法およびプログラム - Google Patents
画像生成装置、画像生成方法およびプログラム Download PDFInfo
- Publication number
- JP2012221339A JP2012221339A JP2011088040A JP2011088040A JP2012221339A JP 2012221339 A JP2012221339 A JP 2012221339A JP 2011088040 A JP2011088040 A JP 2011088040A JP 2011088040 A JP2011088040 A JP 2011088040A JP 2012221339 A JP2012221339 A JP 2012221339A
- Authority
- JP
- Japan
- Prior art keywords
- energy
- image
- time
- prediction
- series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【課題】予測画像のぼやけを抑制し、時系列画像のテクスチャ性と物理特性とに関するエネルギーを保存し、モデルパラメータを自動的に最適化する。
【解決手段】データ入力部100は、カメラから連続した時系列画像を取り込み、データ蓄積部110は、時系列画像を保存する。初期エネルギー計算部120は、時系列画像の持つ初期エネルギーを計算する。予測部130は、時系列画像から、移流拡散方程式とナビエ・ストークス方程式により時系列画像よりも未来の予測画像を生成する。最適化計算部140は、時系列画像の初期エネルギーと予測部130が生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように予測画像を補正する。表示部150は、予測画像を表示する。
【選択図】 図1
【解決手段】データ入力部100は、カメラから連続した時系列画像を取り込み、データ蓄積部110は、時系列画像を保存する。初期エネルギー計算部120は、時系列画像の持つ初期エネルギーを計算する。予測部130は、時系列画像から、移流拡散方程式とナビエ・ストークス方程式により時系列画像よりも未来の予測画像を生成する。最適化計算部140は、時系列画像の初期エネルギーと予測部130が生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように予測画像を補正する。表示部150は、予測画像を表示する。
【選択図】 図1
Description
本発明は、マルチメディア分野、符号化分野、通信分野において、気象レーダ画像予測や映像製作における短い時系列画像から長い時系列画像を生成する用途、符号化における画像の欠落時の画像補間問題などに関係する画像生成装置、画像生成方法およびプログラムに関するものである。
画像生成を行う方法はさまざまに存在するが、周期的な表現と非周期的な表現に分かれている。周期的な表現の場合は時系列画像の学習などにより周期的な動画を生成することが可能である。しかし、非周期的な表現については過去の知識を直接適用することが困難となる。特に、一定の画質を得るためには、画像生成の計算および予測の計算においては一定の基準が必要である。これまで、人為的なモデルパラメータの調整による画質向上も可能な場合があったが、自動的なパラメータ調整については課題が山積していた。コンピュータビジョンの分野では、状態空間法と3次元自己回帰モデルを適用した学習型の方法が知られている(非特許文献1参照)。この非特許文献1に開示された方法によると、多くの時系列画像を必要とするという問題があり、また生成される画像が周期的となる。また、非特許文献1に開示された方法では、画像がぼやけてしまうという問題がある。
S.Soatto,G.Doretto,and Y.N.Wu,"Dynamic textures",IEEE ICCV,pp.439-446,2001
以上のように、従来の画像生成方法の第1の問題点は、画像がぼやけてしまうことである。第2の問題点は、予測過程において、パラメータの最適化基準がなかったことである。第3の問題点は、テクスチャと物理的な性質を予測過程で両立させることができなかったことである。第4の問題点は、数多くの過去の時系列画像を用いる必要があることである。
本発明は、上記課題を解決するためになされたもので、予測画像のぼやけを抑制することができ、時系列画像のテクスチャ性と物理特性とに関するエネルギーを保存することができ、モデルパラメータを自動的に最適化することができる画像生成装置、画像生成方法およびプログラムを提供することを目的とする。
本発明の画像生成装置は、複数の連続した時系列画像を取り込むデータ入力手段と、前記時系列画像を蓄積するデータ蓄積手段と、前記時系列画像の持つ初期エネルギーを計算する初期エネルギー計算手段と、前記時系列画像から、移流拡散方程式とナビエ・ストークス方程式により前記時系列画像よりも未来の予測画像を生成する予測手段と、前記時系列画像の初期エネルギーと前記予測手段が生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように前記予測画像を補正する最適化計算手段とを備えることを特徴とするものである。
また、本発明の画像生成装置の1構成例において、前記初期エネルギー計算手段と前記最適化計算手段とは、画像の動きベクトルから波数エネルギーと運動エネルギーと発散・渦エネルギーを計算し、画像の輝度分布からエッジエネルギーを計算し、前記波数エネルギーと前記運動エネルギーと前記発散・渦エネルギーと前記エッジエネルギーの平均エネルギーを当該画像の持つエネルギーとすることを特徴とするものである。
また、本発明の画像生成装置の1構成例において、前記初期エネルギー計算手段と前記最適化計算手段とは、前記波数エネルギーを計算する際に、連続的な波数とエネルギーとの関係をガンマ分布により近似することにより、前記波数エネルギーを計算することを特徴とするものである。
また、本発明の画像生成装置の1構成例において、前記最適化計算手段は、前記誤差が最小になるまで前記移流拡散方程式の拡散係数と前記ナビエ・ストークス方程式の粘性係数および密度を変化させることにより、前記予測画像を補正することを特徴とするものである。
また、本発明の画像生成装置の1構成例において、前記初期エネルギー計算手段と前記最適化計算手段とは、画像の動きベクトルから波数エネルギーと運動エネルギーと発散・渦エネルギーを計算し、画像の輝度分布からエッジエネルギーを計算し、前記波数エネルギーと前記運動エネルギーと前記発散・渦エネルギーと前記エッジエネルギーの平均エネルギーを当該画像の持つエネルギーとすることを特徴とするものである。
また、本発明の画像生成装置の1構成例において、前記初期エネルギー計算手段と前記最適化計算手段とは、前記波数エネルギーを計算する際に、連続的な波数とエネルギーとの関係をガンマ分布により近似することにより、前記波数エネルギーを計算することを特徴とするものである。
また、本発明の画像生成装置の1構成例において、前記最適化計算手段は、前記誤差が最小になるまで前記移流拡散方程式の拡散係数と前記ナビエ・ストークス方程式の粘性係数および密度を変化させることにより、前記予測画像を補正することを特徴とするものである。
また、本発明の画像生成方法は、複数の連続した時系列画像を取り込むデータ入力ステップと、前記時系列画像を蓄積するデータ蓄積ステップと、前記時系列画像の持つ初期エネルギーを計算する初期エネルギー計算ステップと、前記時系列画像から、移流拡散方程式とナビエ・ストークス方程式により前記時系列画像よりも未来の予測画像を生成する予測ステップと、前記時系列画像の初期エネルギーと前記予測ステップで生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように前記予測画像を補正する最適化計算ステップとを備えることを特徴とするものである。
また、本発明の画像生成プログラムは、画像生成方法の各ステップをコンピュータに実行させることを特徴とするものである。
また、本発明の画像生成プログラムは、画像生成方法の各ステップをコンピュータに実行させることを特徴とするものである。
本発明によれば、複数の連続した時系列画像を取り込み、時系列画像の持つ初期エネルギーを計算し、時系列画像から、移流拡散方程式とナビエ・ストークス方程式により時系列画像よりも未来の予測画像を生成し、時系列画像の初期エネルギーと予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように予測画像を補正することにより、偏微分方程式における物理パラメータを最適化計算により決定することで、不自然な画像のぼやけを抑制することができる。また、本発明では、統計的な乱流エネルギーモデルを導入することで、物理的な性質を保持することができる。すなわち、本発明では、時系列画像のテクスチャ性と物理特性とに関するエネルギーを保存することができる。また、本発明では、2枚の時系列画像からでも連続的に複数の新しい予測画像を生成することができる。
また、本発明では、連続的な波数とエネルギーとの関係をガンマ分布により近似することにより、画像から散在的な波数とエネルギーとの関係しか得られない場合でも、連続的な値を得られるようになり、エネルギーの誤差計算をし易くすることができる。
本発明は、与えられたテクスチャ性と物理特性とに関するエネルギーが保存されるように、過去から現在までの時系列画像と近未来の予測画像との間で最適化計算を行う方法を提供する。画像の持つ総エネルギーは、運動エネルギーと波数エネルギーと発散・渦エネルギーとエッジエネルギーの和である。本発明では、客観的に画像の持つエネルギーを定義し、エネルギー保存則を導入している。本発明では、予測画像においてもエネルギーが保存されるように、移流拡散方程式における拡散係数と、ナビエ・ストークス方程式における粘性係数および密度の3つのパラメータについて自動的に最適化する方法により画質の崩れを抑制することができる。
以下、本発明の実施の形態について図面を参照して説明する。図1は本発明の実施の形態に係る画像生成装置の構成を示すブロック図、図2は画像生成装置の処理の流れを説明するフローチャートである。本実施の形態の画像生成装置は、データ入力部100と、データ蓄積部110と、初期エネルギー計算部120と、予測部130と、最適化計算部140と、表示部150とから構成される。
画像生成装置の処理を図2を用いて簡単に説明すると、データ入力部100は、カメラから複数の連続した時系列画像を取り込み(ステップS100)、データ蓄積部110は、データ入力部100が取り込んだ時系列画像のデータを保存する(ステップS101)。初期エネルギー計算部120は、過去から現在までの時系列画像の持つ初期エネルギーを計算する(ステップS102)。予測部130は、時系列画像から、移流拡散方程式とナビエ・ストークス方程式により時系列画像よりも未来の予測画像を生成する(ステップS103)。最適化計算部140は、時系列画像の初期エネルギーと予測部130が生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように予測画像を補正する(ステップS104)。表示部150は、予測部130が生成し最適化計算部140が補正した予測画像を表示する(ステップS105)。
本実施の形態では、2枚の連続した時系列画像の入力を前提とし、この2枚の時系列画像から未来の1枚以上の時系列画像を予測することを目的とする。予測計算開始前の画像のもつ初期エネルギーを次のように定義する。
式(1)に示す(Eng1)i,j nは波数エネルギー、式(2)に示す(Eng2)i,j nは運動エネルギー、式(3)に示す(Eng3)i,j nは発散・渦エネルギー、式(4)に示す(Eng4)i,j nはエッジエネルギーである。これらの波数エネルギー(Eng1)i,j n、運動エネルギー(Eng2)i,j n、発散・渦エネルギー(Eng3)i,j n、およびエッジエネルギー(Eng4)i,j nは、画素(i,j)毎に、ある時刻nで定義される。ki,j nは時刻nにおいてx方向の座標がiでy方向の座標がjの画素(i,j)における波数、ui,jは画素(i,j)における速度(動きベクトル)、Ii,jは画素(i,j)における画像輝度分布である。また、wi,jは画素(i,j)における動きベクトルのx成分、vi,jは画素(i,j)における動きベクトルのy成分、(Ix)i,jは画素(i,j)における画像輝度分布のx成分、(Iy)i,jは画素(i,j)における画像輝度分布のy成分である。
波数エネルギー(Eng1)i,j n、運動エネルギー(Eng2)i,j n、および発散・渦エネルギー(Eng3)i,j nは、画像のもつ動きに関わるエネルギーであり、エッジエネルギー(Eng4)i,j nは、画像の見掛けのテクスチャ性に関するエネルギーである。速度uは、オプティカルフロー法やパターンマッチング法などにより計算することができる。オプティカルフロー法については、例えば文献「“Optical_flow”,http://en.wikipedia.org/wiki/Optical_flow」に開示されている。本実施の形態では、2枚の連続した時系列画像から速度uを計算するが、1枚の画像しかない場合は、人為的に設定された速度uを活用する。エッジとは、画像輝度分布Iの1次微分の大きさである。
画素(i,j)での平均エネルギーについては、式(10)に示すように、4つのエネルギー(Eng1)i,j n,(Eng2)i,j n,(Eng3)i,j n,(Eng4)i,j nの和をとり、この和を1枚の画像の全画素数Ω(Ωはx方向M画素とy方向N画素の積M×N)で割ることにより求めることができる。このとき、式(11)に示すように、重み付け係数αc(cは1〜4)の和を1とする。なお、波数kの推定方法については、後述する図4の説明の中で述べる。
図3はステップS102の初期エネルギー計算処理とステップS103の予測処理とステップS104の最適化計算処理のアルゴリズムの概要を示す図である。ステップS200(図2のステップS102)において、初期エネルギー計算部120は、データ入力部100が取り込んだ2枚の時系列画像から動きベクトルを画素毎に計算し、式(1)〜式(4)に示した4つの初期エネルギーを画素毎に計算する。図3におけるIi,j n-1は時刻n−1において取り込まれた時系列画像の画素(i,j)における画像輝度分布、Ii,j nは時刻nにおいて取り込まれた時系列画像の画素(i,j)における画像輝度分布である。
ステップS201(図2のステップS103,S104)において、予測部130は、式(12)に示す移流拡散方程式と式(13)に示すナビエ・ストークス(NS)方程式とを交互に時間発展させていくことにより、時刻nより未来の新しい画像を予測する。ここでは、流体変化を伴う自然現象を対象とした時系列画像を想定し、流体モデルを仮定して、式(14)に示す非圧縮性条件を課した。
式(12)、式(13)におけるυは粘性係数、ρは密度、ηは拡散係数である。これら粘性係数υ、密度ρ、拡散係数ηは未知数なので、最適化計算処理で推定することになる。図3に示すハットυ、ハットρ、ハットηは、それぞれ粘性係数υ、密度ρ、拡散係数ηの最適値である。予測部130は、式(6)に示した移流拡散方程式を時間発展させる。また、NS方程式は、MAC(Marker and Cell)法により非線形に解かれる。MAC法については、例えば文献「大宮司久明,“数値流体力学大全 第13章 非圧縮性流れの解法−MAC型解法”,http://www.caero.mech.tohoku.ac.jp/publicData/Daiguji/Chapter13.pdf」に開示されている。
こうして、予測部130は、移流拡散方程式により未来の画像輝度分布Iをあらかじめ定められた時間ステップ毎および画素毎に計算すると共に、NS方程式により未来の速度uを時間ステップ毎および画素毎に計算することにより、未来の画像を時間ステップ毎に予測する。図3の例では、時刻n+1,n+2,・・・・,n+pにおける画像の画素(i,j)の輝度分布Iと速度uとが計算されている。
次に、最適化計算部140は、時刻nの入力時系列画像の初期エネルギーE(n)と時刻n+pの予測画像のエネルギーE(n+p)との誤差|ε|を式(15)により画素毎に計算する。
この計算では、|E(n)−E(n+1)|,|E(n)−E(n+2)|,・・・・,|E(n)−E(n+p)|のように、常に時刻nにおける初期エネルギーと時刻nよりも後の各時刻n+1,n+2,・・・・,n+pにおけるエネルギーとの誤差|ε|を計算する。粘性係数υ、密度ρ、拡散係数ηの全ての組み合わせについて誤差|ε|を計算すると膨大な計算となることから、予め粘性係数υ、密度ρ、拡散係数ηの範囲を、10.0≦υ≦50.0、0.1≦ρ≦10.0、0.0≦η≦500.0に設定した。NS式については、無次元化変換により、モデルパラメータをレイノルズ数に集約させることができ、この場合は、より少ないモデルパラメータでの最適化が可能である。
こうして、最適化計算部140は、予測部130が予測した予測画像の平均エネルギーを初期エネルギーと同様に計算し、初期エネルギー計算部120が計算した入力時系列画像の初期エネルギー(平均エネルギー)と予測画像の平均エネルギーとの誤差を計算し、誤差が最小になるまで粘性係数υ、密度ρ、拡散係数ηを変化させていくことを、予測の時間ステップ毎および画素毎に行う。図3の例では、時刻n+1,n+2,・・・・,n+pの予測画像毎および画素毎に、このような処理を行うことになる。最適化計算部140は、時刻n+1の各画素について誤差が最小になると、この時刻n+1についての最適化計算処理が完了したものと見なして、誤差が最小になったときの粘性係数υ、密度ρ、拡散係数ηで時刻n+1の予測画像を確定し、次の時刻n+2の各画素について最適化計算処理を行う。
図4(A)〜図4(C)は予測過程における乱流エネルギーモデルの適用方法を説明する図である。流体力学分野でよく知られているコルモゴロフエネルギーがあり、本実施の形態ではその特性を応用して波数エネルギーを求めた。コルモゴロフエネルギーについては、例えば文献「Thayer Watkins,“Kolmogorov's Theory of Turbulence and the Energy Spectrum”,San Jose' State University,http://www.applet−magic.com/kolmo.htm」に開示されている。
図4(A)に示す分布は、横軸に波数k、縦軸にコルモゴロフエネルギーE(k)をとったものである。図4(A)の400は入力時系列画像の初期エネルギー、401は予測画像のエネルギー、400は初期エネルギーと予測画像のエネルギーとの誤差であるエネルギーロスである。図4(A)に示した分布では、低周波数側にピークが現れる。波数kは2πと周波数の積で与えられる。
初期エネルギー計算部120は、入力時系列画像の速度ui,j nを時刻nで得る。そして、初期エネルギー計算部120は、図4(B)に示すように周波数変換を高速フーリエ変換(FFT)により行い、速度ui,j nを波数エネルギーE(kn)に変換する。最適化計算部140は、予測過程において、図4(B)に示すように時刻n+pの速度ui,j n+pをFFTにより波数エネルギーE(kn+p)に変換する。速度ui,j n+pは、予測過程ではNS方程式より得られたものである。
このとき、画像から計算される波数分布は、図4(C)に示すように散在する。以後の誤差計算を式(15)を用いて行うときは、波数kの値が連続でないと、ゼロの値を用いた誤差計算となってしまう。即ち、何らかの補間された波数kの値が必要となる。このため、図4(C)に示すようなエネルギー分布について、連続的な波数kとエネルギーとの関係を式(16)に示すようなガンマ分布により近似している。近似された分布を用いることで、予測過程におけるエネルギーの誤差を計算しやすくすることができる。
式(16)におけるshは形状パラメータ、scはスケールパラメータである。形状パラメータshは整数である。ここで、x>0,sh>0,sc>0となる。Γ(sh)はガンマ関数である。
次に、式(15)において、初期と予測過程での誤差エネルギーεに基づいて、補正されるべき速度が推定できる。即ち、式(17)のように、誤差エネルギーεを逆変換(IFFT)することで速度に換算される。また、パラメータの組み合わせにより、初期エネルギーよりも予測過程でエネルギーが増加もしくは減少する。このことを考慮すると、速度の増減を考慮する必要がある。
符号関数sgn(ε)は、εの符号に応じて+1,0,−1のいずれかの値を返す。即ち、ε>0のときはsgn(ε)=+1、ε=0のときはsgn(ε)=0、ε<0のときはsgn(ε)=−1である。
図5(A)〜図5(D)を用いて、従来技術による予測画像と本実施の形態による予測画像との違いについて説明する。ここでは、画像の例として水面の画像を用いている。図5(A)は実画像(正解画像)を示す図である。図5(B)は図5(A)の画像よりも過去の画像を入力時系列画像として本実施の形態により予測した画像を示す図である。本実施の形態では、2枚の連続した入力時系列画像を用いて、1枚先の画像(1ステップ後の時刻の画像)を予測している。
一方、図5(C)は図5(A)の画像よりも過去の画像を入力時系列画像として従来技術により予測した画像を示す図である。ここでは、従来技術として非特許文献1に開示された3次元自己回帰モデルを適用した方法を用いている。この従来技術では、10枚の入力画像を用いて、1枚先の画像を予測している。3次元自己回帰モデルの係数は10枚の画像を入力し、最小二乗法計算により係数を決定した。本実施の形態では、図5(A)に示した正解画像と図5(B)に示した予測画像との誤差は13となり、従来技術では、正解画像と図5(C)に示した予測画像との誤差は30となった。本実施の形態で適用されたフローの推定結果を図5(D)に示す。本実施の形態によれば、実際の正解画像に近い光沢感、透明感を持つ予測画像が得られた。一方、従来技術では、予測画像がぼやけてしまうという欠点が現れている。本実施の形態と従来技術との画質の差は明らかである。
図6(A)、図6(B)、図7(A)、図7(B)、図8(A)、図8(B)は本実施の形態による気象レーダ(降水パターン)画像の予測例を示す図である。ここでは、粘性係数υのみを変化させて予測画像を求めている。速度場は渦度により評価した。図6(A)は入力時系列画像を示しており、図6(B)は図6(A)の入力時系列画像に速度場を描いた画像を示している。図6(B)中の矢印が速度uを表している。図7(A)は図6(A)の画像から1時間後の正解画像を示しており、図7(B)は正解画像と同時刻の予測画像を示している。このときの粘性係数υは10000である。
図8(A)、図8(B)は図6(A)の画像から5時間後の予測画像を示している。図8(A)の場合の粘性係数υは0.01、図8(B)の場合の粘性係数υは1.5である。図9に示す粘性係数υと渦度との関係から分かるとおり、粘性係数υが小さいほど、速度uへの感度が高くなる。粘性係数υが最適化されない場合、台風の渦の速度場が予測の間も残ってしまい、降水パターンは不自然に収縮してしまい、並進運動がなくなる。
以上のように、本実施の形態では、偏微分方程式における物理パラメータを最適化計算により決定することで、不自然な画像のぼやけを抑制することができる。また、本実施の形態では、統計的な乱流エネルギーモデルを導入することで、物理的な性質を保持することができる。また、本実施の形態では、2枚の時系列画像からでも連続的に複数の新しい予測画像を生成することができる。
本実施の形態で説明した画像生成装置は、例えばCPU、記憶装置およびインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータを動作させるための画像生成プログラムは、フレキシブルディスク、CD−ROM、DVD−ROM、メモリカードなどの記録媒体に記録された状態で提供される。CPUは、読み込んだ画像生成プログラムを記憶装置に書き込み、このプログラムに従って本実施の形態で説明した処理を実行する。
本発明は、マルチメディア分野、符号化分野、通信分野における画像生成技術に適用することができる。
100…データ入力部、110…データ蓄積部、120…初期エネルギー計算部、130…予測部、140…最適化計算部、150…表示部。
Claims (9)
- 複数の連続した時系列画像を取り込むデータ入力手段と、
前記時系列画像を蓄積するデータ蓄積手段と、
前記時系列画像の持つ初期エネルギーを計算する初期エネルギー計算手段と、
前記時系列画像から、移流拡散方程式とナビエ・ストークス方程式により前記時系列画像よりも未来の予測画像を生成する予測手段と、
前記時系列画像の初期エネルギーと前記予測手段が生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように前記予測画像を補正する最適化計算手段とを備えることを特徴とする画像生成装置。 - 請求項1記載の画像生成装置において、
前記初期エネルギー計算手段と前記最適化計算手段とは、画像の動きベクトルから波数エネルギーと運動エネルギーと発散・渦エネルギーを計算し、画像の輝度分布からエッジエネルギーを計算し、前記波数エネルギーと前記運動エネルギーと前記発散・渦エネルギーと前記エッジエネルギーの平均エネルギーを当該画像の持つエネルギーとすることを特徴とする画像生成装置。 - 請求項2記載の画像生成装置において、
前記初期エネルギー計算手段と前記最適化計算手段とは、前記波数エネルギーを計算する際に、連続的な波数とエネルギーとの関係をガンマ分布により近似することにより、前記波数エネルギーを計算することを特徴とする画像生成装置。 - 請求項2または3記載の画像生成装置において、
前記最適化計算手段は、前記誤差が最小になるまで前記移流拡散方程式の拡散係数と前記ナビエ・ストークス方程式の粘性係数および密度を変化させることにより、前記予測画像を補正することを特徴とする画像生成装置。 - 複数の連続した時系列画像を取り込むデータ入力ステップと、
前記時系列画像を蓄積するデータ蓄積ステップと、
前記時系列画像の持つ初期エネルギーを計算する初期エネルギー計算ステップと、
前記時系列画像から、移流拡散方程式とナビエ・ストークス方程式により前記時系列画像よりも未来の予測画像を生成する予測ステップと、
前記時系列画像の初期エネルギーと前記予測ステップで生成した予測画像のエネルギーとの誤差を計算し、この誤差が最小になるように前記予測画像を補正する最適化計算ステップとを備えることを特徴とする画像生成方法。 - 請求項5記載の画像生成方法において、
前記初期エネルギー計算ステップと前記最適化計算ステップとは、画像の動きベクトルから波数エネルギーと運動エネルギーと発散・渦エネルギーを計算し、画像の輝度分布からエッジエネルギーを計算し、前記波数エネルギーと前記運動エネルギーと前記発散・渦エネルギーと前記エッジエネルギーの平均エネルギーを当該画像の持つエネルギーとすることを特徴とする画像生成方法。 - 請求項6記載の画像生成方法において、
前記初期エネルギー計算ステップと前記最適化計算ステップとは、前記波数エネルギーを計算する際に、連続的な波数とエネルギーとの関係をガンマ分布により近似することにより、前記波数エネルギーを計算することを特徴とする画像生成方法。 - 請求項6または7記載の画像生成方法において、
前記最適化計算ステップは、前記誤差が最小になるまで前記移流拡散方程式の拡散係数と前記ナビエ・ストークス方程式の粘性係数および密度を変化させることにより、前記予測画像を補正することを特徴とする画像生成方法。 - 請求項5乃至8のいずれか1項に記載の各ステップをコンピュータに実行させることを特徴とする画像生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011088040A JP2012221339A (ja) | 2011-04-12 | 2011-04-12 | 画像生成装置、画像生成方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011088040A JP2012221339A (ja) | 2011-04-12 | 2011-04-12 | 画像生成装置、画像生成方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012221339A true JP2012221339A (ja) | 2012-11-12 |
Family
ID=47272741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011088040A Pending JP2012221339A (ja) | 2011-04-12 | 2011-04-12 | 画像生成装置、画像生成方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012221339A (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09318767A (ja) * | 1996-05-28 | 1997-12-12 | Nippon Telegr & Teleph Corp <Ntt> | 雨域予測装置 |
JP2003288603A (ja) * | 2002-03-28 | 2003-10-10 | Nippon Telegr & Teleph Corp <Ntt> | 映像シーン予測方法、装置、プログラム、および記録媒体 |
JP2007281692A (ja) * | 2006-04-04 | 2007-10-25 | Nippon Telegr & Teleph Corp <Ntt> | 画像補正装置および画像補正方法 |
JP2007285762A (ja) * | 2006-04-13 | 2007-11-01 | Nippon Telegr & Teleph Corp <Ntt> | 画像変化予測方法および画像変化予測装置 |
JP2008249581A (ja) * | 2007-03-30 | 2008-10-16 | Japan Weather Association | 広域視程情報作成装置および広域視程情報作成方法 |
JP2009110379A (ja) * | 2007-10-31 | 2009-05-21 | Nippon Telegr & Teleph Corp <Ntt> | パターン予測装置、パターン予測方法及びパターン予測プログラム |
JP2011018160A (ja) * | 2009-07-08 | 2011-01-27 | Nippon Telegr & Teleph Corp <Ntt> | 画像生成装置、画像生成方法及び画像生成プログラム |
-
2011
- 2011-04-12 JP JP2011088040A patent/JP2012221339A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09318767A (ja) * | 1996-05-28 | 1997-12-12 | Nippon Telegr & Teleph Corp <Ntt> | 雨域予測装置 |
JP2003288603A (ja) * | 2002-03-28 | 2003-10-10 | Nippon Telegr & Teleph Corp <Ntt> | 映像シーン予測方法、装置、プログラム、および記録媒体 |
JP2007281692A (ja) * | 2006-04-04 | 2007-10-25 | Nippon Telegr & Teleph Corp <Ntt> | 画像補正装置および画像補正方法 |
JP2007285762A (ja) * | 2006-04-13 | 2007-11-01 | Nippon Telegr & Teleph Corp <Ntt> | 画像変化予測方法および画像変化予測装置 |
JP2008249581A (ja) * | 2007-03-30 | 2008-10-16 | Japan Weather Association | 広域視程情報作成装置および広域視程情報作成方法 |
JP2009110379A (ja) * | 2007-10-31 | 2009-05-21 | Nippon Telegr & Teleph Corp <Ntt> | パターン予測装置、パターン予測方法及びパターン予測プログラム |
JP2011018160A (ja) * | 2009-07-08 | 2011-01-27 | Nippon Telegr & Teleph Corp <Ntt> | 画像生成装置、画像生成方法及び画像生成プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6639877B2 (ja) | 映像処理装置及び方法 | |
JP4872862B2 (ja) | 画像データ演算装置および方法、プログラム、並びに記録媒体 | |
KR101987079B1 (ko) | 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법 | |
CN106780336B (zh) | 一种图像缩小方法及装置 | |
JP7271244B2 (ja) | Cnn処理装置、cnn処理方法、およびプログラム | |
CN113610989B (zh) | 风格迁移模型训练方法和装置、风格迁移方法和装置 | |
CN112785493B (zh) | 模型的训练方法、风格迁移方法、装置、设备及存储介质 | |
Zhang et al. | A GPU-accelerated real-time single image de-hazing method using pixel-level optimal de-hazing criterion | |
JP2011250013A (ja) | 画質評価方法、画質評価装置、及びプログラム | |
US9036938B2 (en) | Image processing apparatus, image processing method, and program | |
CN106875396A (zh) | 基于运动特性的视频显著区的提取方法和装置 | |
CN113379877A (zh) | 人脸视频生成方法、装置、电子设备及存储介质 | |
JP7301589B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6624061B2 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体 | |
JP2012221339A (ja) | 画像生成装置、画像生成方法およびプログラム | |
JP2023017091A (ja) | 推定装置、推定方法及びプログラム | |
JP5198500B2 (ja) | 信号処理装置及びプログラム | |
JP6854629B2 (ja) | 画像処理装置、画像処理方法 | |
JP4756085B2 (ja) | 画像生成装置、画像生成方法及び画像生成プログラム | |
JP5660300B2 (ja) | 画像処理装置 | |
KR101307031B1 (ko) | 영상 방향을 고려한 국부 콘트라스트 향상 방법 | |
US9679355B2 (en) | Image processing device | |
JP4369951B2 (ja) | 画像生成方法、画像生成装置及び画像生成プログラム | |
JP5435242B2 (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
WO2019224947A1 (ja) | 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120821 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121218 |