JP2004088616A - 動画像合成方法および装置並びにプログラム - Google Patents
動画像合成方法および装置並びにプログラム Download PDFInfo
- Publication number
- JP2004088616A JP2004088616A JP2002249213A JP2002249213A JP2004088616A JP 2004088616 A JP2004088616 A JP 2004088616A JP 2002249213 A JP2002249213 A JP 2002249213A JP 2002249213 A JP2002249213 A JP 2002249213A JP 2004088616 A JP2004088616 A JP 2004088616A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- patch
- interpolation
- image
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】複数のフレームFrN,FrN+1の対応関係を推定し、推定された対応関係に基づいて、フレームFrN+1に補間演算を施して第1の補間フレームFrH1を得る。フレームFrNに補間演算を施して第2の補間フレームFrH2を得る。フレームFrNのエッジ強度を表すエッジ情報e0(x,y)を取得し、エッジ強度が大きいほど第1の補間フレームFrH1への重み付けを大きくした重み係数α(x°,y°)を求める。そして、重み係数α(x°,y°)により第1および第2の補間フレームFrH1,FrH2を重み付け加算して合成フレームFrGを得る。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、動画像をサンプリングすることにより得られた連続する複数のフレームを合成して、サンプリングしたフレームよりも高解像度の1の合成フレームを作成する動画像合成方法および装置並びに動画像合成方法をコンピュータに実行させるためのプログラムに関するものである。
【0002】
【従来の技術】
近年のデジタルビデオカメラの普及により、動画像を1フレーム単位で扱うことが可能となっている。このような動画像のフレームをプリント出力する際には、画質を向上させるためにフレームを高解像度にする必要がある。このため、動画像からサンプリングした複数のフレームから、これらのフレームよりも高解像度の1の合成フレームを作成する方法が提案されている(例えば、特許文献1参照)。この方法は、複数のフレーム間の動ベクトルを求め、この動ベクトルに基づいて、複数のフレームから合成フレームを合成する際に、画素間に内挿する信号値を算出する方法である。とくに特許文献1に記載された方法では、各フレームを複数のブロックに分割し、フレーム間で対応するブロックの直交座標係数を算出し、この直交座標係数における高周波の情報を他のブロックにおける低周波の情報と合成して内挿される画素値を算出しているため、必要な情報が低減されることなく、高画質の合成フレームを得ることができる。また、この方法においては、画素間距離よりもさらに細かい分解能にて動ベクトルを算出しているため、フレーム間の動きを正確に補償してより高画質の合成フレームを得ることができる。
【0003】
また、複数のフレームのうち一のフレームを基準フレームとし、基準フレームに1または複数の矩形領域からなる基準パッチを、基準フレーム以外の他のフレームに基準パッチと同様のパッチを配置し、パッチ内の画像が基準パッチ内の画像と一致するようにパッチを他のフレーム上において移動および/または変形し、移動および/または変形後のパッチおよび基準パッチに基づいて、他のフレーム上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係を推定して複数フレームをより精度よく合成する方法も提案されている(例えば、非特許文献1参照)。
【0004】
非特許文献1の方法においては、基準フレームと他のフレームとの対応関係を推定し、推定後、他のフレームと基準フレームとを、最終的に必要な解像度を有する統合画像上に割り当てることにより、高精細な合成フレームを得ることができる。
【0005】
【特許文献1】
特開2000−354244号公報
【0006】
【非特許文献1】
中沢祐二、小松隆、斉藤隆弘,「フレーム間統合による高精細ディジタル画像の獲得」,テレビジョン学会誌,1995年,Vol.49,No.3,p299−308
【0007】
【発明が解決しようとする課題】
しかしながら、非特許文献1に記載された方法においては、他のフレームに含まれる被写体の動きが非常に大きい場合や、局所的に含まれる被写体が複雑な動きをしていたり非常に高速で動いている場合には、被写体の動きにパッチの移動および/または変形が追随できない場合がある。このように、パッチの移動および/または変形が被写体の移動および/または変形に追随できないと、合成フレームの全体がぼけたり、フレームに含まれる動きの大きい被写体がぼけたりするため、高画質の合成フレームを得ることができないという問題がある。
【0008】
本発明は上記事情に鑑みなされたものであり、フレームに含まれる被写体の動きに拘わらず、画質の劣化を抑えた合成フレームを得ることを目的とする。
【0009】
【課題を解決するための手段】
本発明による第1の動画像合成方法は、動画像から連続する2つのフレームをサンプリングし、
該2つのフレームのうち、基準となる1の基準フレーム上に1または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および/または変形し、該移動および/または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第1の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第2の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像および/または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得し、
該エッジ情報に基づいて、前記第1の補間フレームと前記第2の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第1の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて前記第1の補間フレームおよび前記第2の補間フレームを重み付け合成することにより合成フレームを作成することを特徴とするものである。
【0010】
本発明による第2の動画像合成方法は、動画像から連続する3以上のフレームをサンプリングし、
該3以上のフレームのうち、基準となる1の基準フレーム上に1または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および/または変形し、該移動および/または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第1の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第2の補間フレームを前記複数の第1の補間フレームと対応付けて1または複数取得し、
前記基準フレームの前記基準パッチ内の画像および/または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得し、
該エッジ情報に基づいて、互いに対応する前記第1の補間フレームと前記第2の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第1の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて互いに対応する前記第1の補間フレームおよび前記第2の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成することを特徴とするものである。
【0011】
ここで、本発明による第2の動画像合成方法において、他のフレームのパッチ内の画像のエッジ強度を表すエッジ情報は、他のフレームに対応して複数取得されるが、複数のエッジ強度の平均値や中間値をエッジ情報として取得し、これを重み係数を取得するために用いてもよい。
【0012】
また、「第2の補間フレームを第1の補間フレームと対応付けて複数取得する」とは、1の第1の補間フレームにおける画素値を有する画素位置と同様の画素位置に、基準パッチ内の画素値を補間演算により割り当てることによりその第1の補間フレームに対応する第2の補間フレームを取得し、さらにこの処理を複数の第1の補間フレームのそれぞれについて行って、第1の補間フレームと同数の第2の補間フレームを取得することをいう。
【0013】
一方、「第2の補間フレームを第1の補間フレームと対応付けて1取得する」とは、第1の補間フレームにおける画素値を有する画素位置に拘わらず、例えば第2の補間フレームにおける整数画素位置のような所定の画素位置に基準パッチ内の画素値を補間演算により割り当てて1つの第2の補間フレームを取得することをいう。この場合、複数の第1の補間フレームのそれぞれの画素位置の画素値と、これに最も近い第2の補間フレームにおける所定の画素位置の画素値とが互いに対応付けられることとなる。
【0014】
なお、本発明による第1および第2の動画像合成方法においては、前記エッジ情報が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数に対して補間演算を施して前記第1および第2の補間フレームを構成する全ての画素についての重み係数を取得してもよい。
【0015】
すなわち、補間演算により各フレームよりも画素数が多い第1および第2の補間フレームが得られるが、重み係数はサンプリングしたフレームの画素にのみ対応して求められる。このため、その近傍の画素について取得された重み係数に対して補間演算を施して、増加した画素についての重み係数を求めるようにしてもよい。また、補間演算により増加した画素については、増加した画素の近傍にある元々存在する画素について取得された重み係数を用いて重み付け合成を行ってもよい。
【0016】
また、本発明による第1および第2の動画像合成方法においては、前記対応関係の推定、前記第1の補間フレームの取得、前記第2の補間フレームの取得、前記エッジ情報の取得、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する少なくとも1つの成分を用いて行ってもよい。
【0017】
「フレームを構成する少なくとも1つの成分」とは、例えばフレームがRGBの3つの色データからなる場合においてはRGB各色成分のうちの少なくとも1つの成分であり、YCC輝度色差成分からなる場合には、輝度および色差の各成分のうちの少なくとも1つの成分、好ましくは輝度成分である。
【0018】
本発明による第1の動画像合成装置は、動画像から連続する2つのフレームをサンプリングするサンプリング手段と、
該2つのフレームのうち、基準となる1の基準フレーム上に1または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および/または変形し、該移動および/または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第1の補間フレームを取得する第1の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第2の補間フレームを取得する第2の補間手段と、
前記基準フレームの前記基準パッチ内の画像および/または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得するエッジ情報取得手段と、
該エッジ情報に基づいて、前記第1の補間フレームと前記第2の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第1の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて前記第1の補間フレームおよび前記第2の補間フレームを重み付け合成することにより合成フレームを作成する合成手段とを備えたことを特徴とするものである。
【0019】
本発明による第2の動画像合成装置は、動画像から連続する3以上のフレームをサンプリングするサンプリング手段と、
該3以上のフレームのうち、基準となる1の基準フレーム上に1または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および/または変形し、該移動および/または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第1の補間フレームを取得する第1の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第2の補間フレームを前記複数の第1の補間フレームと対応付けて1または複数取得する第2の補間手段と、
前記基準フレームの前記基準パッチ内の画像および/または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得するエッジ情報取得手段と、
該エッジ情報に基づいて、互いに対応する前記第1の補間フレームと前記第2の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第1の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて互いに対応する前記第1の補間フレームおよび前記第2の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成する合成手段とを備えたことを特徴とするものである。
【0020】
なお、本発明による第1および第2の動画像合成装置においては、前記エッジ情報が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数取得手段を、前記重み係数に対して補間演算を施して前記第1および第2の補間フレームを構成する全ての画素についての重み係数を取得する手段としてもよい。
【0021】
また、本発明による第1および第2の動画像合成装置においては、前記対応関係推定手段、前記第1の補間手段、前記第2の補間手段、前記エッジ情報取得手段、前記重み係数取得手段および前記合成手段を、前記対応関係の推定、前記第1の補間フレームの取得、前記第2の補間フレームの取得、前記エッジ情報の取得、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する少なくとも1つの成分を用いて行う手段としてもよい。
【0022】
なお、本発明による第1および第2の動画像合成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【0023】
【発明の効果】
本発明によれば、動画像がサンプリングされて連続する複数のフレームが取得され、複数のフレームのうち、基準となる1の基準フレーム上に1または複数の矩形領域からなる基準パッチが配置される。また、基準フレーム以外の他のフレーム上に、基準パッチと同様のパッチが配置される。そして、パッチ内の画像が基準パッチ内の画像と一致するように移動および/または変形され、移動および/または変形後のパッチおよび基準パッチに基づいて、他のフレームの上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係が推定される。
【0024】
そして推定された対応関係に基づいて、他のフレームのパッチ内の画像または他のフレームのパッチ内の画像および基準フレームの基準パッチ内の画像に対して補間演算が施されて、各フレームよりも解像度が高い第1の補間フレームが取得される。なお、フレームが3以上サンプリングされた場合は、複数の第1の補間フレームが取得される。この第1の補間フレームは、各フレームに含まれる被写体の動きが小さい場合には、各フレームよりも解像度が高い高精細な画像を表すものとなるが、各フレームに含まれる被写体の動きが大きかったり動きが複雑な場合には、動いている被写体がぼけてしまっているものとなる。
【0025】
また、基準フレームの基準パッチ内の画像に対して補間演算が施されて各フレームよりも解像度が高い第2の補間フレームが取得される。なお、フレームが3以上サンプリングされた場合は、複数の第1の補間フレームに対応して1または複数の第2の補間フレームが取得される。この第2の補間フレームは第1の補間フレームと比較して1つのフレームのみしか補間演算に用いていないため、精細さは第1の補間フレームより劣るものの、1つのフレームのみから得られるものであるため、被写体が大きく動いていても動きが複雑であっても、その被写体はそれほどぼけたものとはならない。
【0026】
さらに、基準フレームの基準パッチ内の画像および/または他のフレームのパッチ内の画像のエッジ強度を表すエッジ情報が取得され、エッジ情報に基づいて第1の補間フレームと第2の補間フレームとを合成する際の重み係数が算出される。この重み係数はエッジ情報により表されるエッジ強度が大きいほど第1の補間フレームの重みが大きくされてなるものである。
【0027】
ここで、各フレームに含まれる被写体の動きが小さければ、基準フレームおよび/または他のフレームのエッジ強度は大きくなるが、被写体の動きが大きかったり複雑であったりすると、動きにより被写体の輪郭がぶれてエッジ強度が小さくなる。したがって、取得された重み係数に基づいて第1の補間フレームおよび第2の補間フレームを重み付け合成することにより、動きが小さい場合は高精細な第1の補間フレームが占める割合が多く、動きが大きい場合には動きのある被写体のぼけが少ない第2の補間フレームの占める割合が多い合成フレームが作成される。なお、フレームが3以上サンプリングされた場合は、対応する第1および第2の補間フレームが合成されて中間合成フレームが取得され、さらに中間合成フレームが合成されて合成フレームが取得される。
【0028】
このため、合成フレームは、フレームに含まれる被写体の動きが大きい場合には被写体のぼけが少なく、被写体の動きが小さい場合には高精細なものとなり、これにより、フレームに含まれる被写体の動きに拘わらず、高画質の合成フレームを得ることができる。
【0029】
請求項3,7,11の発明によれば、エッジ情報が各フレームを構成する画素毎に算出されてなる場合、重み係数に対して補間演算を施して第1および第2の補間フレームを構成する全ての画素についての重み係数が取得される。このため、補間演算により増加した画素についてもその画素について取得された重み係数により重み付け合成がなされるため、エッジ強度が変化する局所領域において画像の変化を自然なものとすることができる。
【0030】
請求項4,8,12の発明によれば、対応関係の推定、第1の補間フレームの取得、第2の補間フレームの取得、エッジ情報の取得、重み係数の取得および合成フレームの作成がフレームを構成する少なくとも1つの成分を用いて行われる。このため、各成分毎に画質の劣化を低減した合成フレームを得ることができ、これにより、各成分毎の合成フレームからなる高画質の合成フレームを得ることができる。
【0031】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図1は本発明の実施形態による動画像合成装置の構成を示す概略ブロック図である。図1に示すように、本実施形態による動画像合成装置は、入力された動画像データM0から複数のフレームをサンプリングするサンプリング手段1と、複数のフレームのうち、基準となる1の基準フレームの画素および基準フレーム以外の他のフレームの画素の対応関係を推定する対応関係推定手段2と、対応関係推定手段2において推定された対応関係に基づいて、他のフレームおよび基準フレームに対して補間演算を施して各フレームよりも解像度が高い第1の補間フレームFrH1を取得する時空間補間手段4と、基準フレームに対して補間演算を施して各フレームよりも解像度が高い第2の補間フレームFrH2を取得する空間補間手段5と、基準フレームからエッジ強度を表すエッジ情報を取得するエッジ情報取得手段6と、第1の補間フレームH1と第2の補間フレームFrH2とを重み付け加算するための重み係数をエッジ情報取得手段6において取得されたエッジ情報に基づいて算出する重み算出手段7と、重み算出手段7において算出された重み係数に基づいて第1および第2の補間フレームFrH1,FrH2を重み付け加算して合成フレームFrGを取得する合成手段8とを備える。なお、以降では、合成フレームFrGはサンプリングしたフレームの縦横それぞれ2倍の画素を有するものとして説明するが、n倍(n:正数)の画素数を有するものであってもよい。
【0032】
サンプリング手段1は、動画像データM0から複数のフレームをサンプリングするが、本実施形態においては動画像データM0から2つのフレームFrNおよびフレームFrN+1をサンプリングするものとする。なお、フレームFrNを基準フレームとする。ここで、動画像データM0はカラーの動画像を表すものであり、フレームFrN,FrN+1はY,Cb,Crの輝度色差成分からなるものとする。なお、以降の説明において、Y,Cb,Crの各成分に対して処理が行われるが、行われる処理は全ての成分について同一であるため、本実施形態においては輝度成分Yの処理について詳細に説明し、色差成分Cb,Crに対する処理については説明を省略する。
【0033】
対応関係推定手段2は、以下のようにしてフレームFrN+1と基準フレームFrNとの対応関係を推定する。図2はフレームFrN+1と基準フレームFrNとの対応関係の推定を説明するための図である。なお、図2において、基準フレームFrNに含まれる円形の被写体が、フレームFrN+1においては図面上右側に若干移動しているものとする。
【0034】
まず、対応関係推定手段2は、基準フレームFrN上に1または複数の矩形領域からなる基準パッチP0を配置する。図2(a)は、基準フレームFrN上に基準パッチP0が配置された状態を示す図である。図2(a)に示すように、本実施形態においては、基準パッチP0は4×4の矩形領域からなるものとする。次いで、図2(b)に示すように、フレームFrN+1の適当な位置に基準パッチP0と同様のパッチP1を配置し、基準パッチP0内の画像とパッチP1内の画像との相関を表す相関値を算出する。なお、相関値は下記の式(1)により平均二乗誤差として算出することができる。また、座標軸は紙面左右方向にx軸、紙面上下方向にy軸をとるものとする。
【数1】
但し、E:相関値
pi,qi:基準パッチP0,P1内にそれぞれ対応する画素の画素値
N:基準パッチP0およびパッチP1内の画素数
【0035】
次いで、フレームFrN+1上のパッチP1を上下左右の4方向に一定画素±Δx,±Δy移動し、このときのパッチP1内の画像と基準フレームFrN上の基準パッチP0内の画像との相関値を算出する。ここで、相関値は上下左右方向のそれぞれについて算出され、各相関値をそれぞれE(Δx,0),E(−Δx,0),E(0,Δy),E(0,−Δy)とする。
【0036】
そして、移動後の4つの相関値E(Δx,0),E(−Δx,0),E(0,Δy),E(0,−Δy)から相関値が小さく(すなわち相関が大きく)なる勾配方向を相関勾配として求め、この方向に予め設定した実数値倍だけ図2(c)に示すようにパッチP1を移動する。具体的には、下記の式(2)により係数C(Δx,0),C(−Δx,0),C(0,Δy),C(0,−Δy)を算出し、これらの係数C(Δx,0),C(−Δx,0),C(0,Δy),C(0,−Δy)から下記の式(3),(4)により相関勾配gx,gyを算出する。
【0037】
【数2】
【0038】
そして、算出された相関勾配gx,gyに基づいてパッチP1の全体を(−λ1gx,−λ1gy)移動し、さらに、上記と同様の処理を繰り返すことにより、図2(d)に示すようにパッチP1がある位置に収束するまで反復的にパッチP1を移動する。ここで、λ1は収束の速さを決定するパラメータであり、実数値をとるものとする。なお、λ1をあまり大きな値とすると反復処理により解が発散してしまうため、適当な値(例えば10)を選ぶ必要がある。
【0039】
さらに、パッチP1の格子点を座標軸に沿った4方向に一定画素移動させる。このとき、移動した格子点を含む矩形領域は例えば図3に示すように変形する。そして、変形した矩形領域について基準パッチP0の対応する矩形領域との相関値を算出する。この相関値をそれぞれE1(Δx,0),E1(−Δx,0),E1(0,Δy),E1(0,−Δy)とする。
【0040】
そして、上記と同様に、変形後の4つの相関値E1(Δx,0),E1(−Δx,0),E1(0,Δy),E1(0,−Δy)から相関値が小さく(すなわち相関が大きく)なる勾配方向を求め、この方向に予め設定した実数値倍だけパッチP1の格子点を移動する。これをパッチP1の全ての格子点について行い、これを1回の処理とする。そして格子点の座標が収束するまでこの処理を繰り返す。
【0041】
これにより、パッチP1の基準パッチP0に対する移動量および変形量が求まり、これに基づいて基準パッチP0内の画素とパッチP1内の画素との対応関係を推定することができる。
【0042】
具体的には、本実施形態においては、以下のように双1次変換を用いて対応関係を推定するものとする。双1次変換による座標変換は、下記の式(5),(6)により定義される。
【数3】
【0043】
式(5),(6)は、2次元座標上の4点(xn,yn)(1≦n≦4)で与えられたパッチP1内の座標を、正規化座標系(u,v)(0≦u,v≦1)によって補間するものであり、任意の2つの矩形内の座標変換は、式(5),(6)および式(5),(6)の逆変換を組み合わせることにより行うことができる。
【0044】
ここで、図4に示すように、パッチP1(xn,yn)内の点(x,y)が対応する基準パッチP0(x′n,y′n)内のどの位置に対応するかを考える。まずパッチP1(xn,yn)内の点(x,y)について、正規化座標(u,v)を求める。これは式(5),(6)の逆変換により求める。そしてこのときの(u,v)と対応する基準パッチP0(x′n,y′n)を元に、式(5),(6)から点(x,y)に対応する座標(x′,y′)を求める。ここで、点(x,y)が本来画素値が存在する整数座標であるのに対し、点(x′,y′)は本来画素値が存在しない実数座標となる場合があるため、変換後の整数座標における画素値は、基準パッチP0の整数座標に隣接する8近傍の整数座標に囲まれた領域を設定し、この領域内に変換された座標(x′,y′)の画素値の荷重和として求めるものとする。
【0045】
具体的には、図5に示すように基準パッチP0上における整数座標b(x,y)について、その8近傍の整数座標b(x−1,y−1),b(x,y−1),b(x+1,y−1),b(x−1,y),b(x+1,y),b(x−1,y+1),b(x,y+1),b(x+1,y+1)に囲まれる領域内に変換されたフレームFrN+1の画素値に基づいて算出する。ここで、フレームFrN+1のm個の画素値が8近傍の画素に囲まれる領域内に変換され、変換された各画素の画素値をItj(x°,y°)(1≦j≦m)とすると、整数座標b(x,y)における画素値It(x^,y^)は、下記の式(7)により算出することができる。なお、式(7)においてφは荷重和演算を表す関数である。
【数4】
但し、Wi(1≦j≦m):画素値Itj(x°,y°)が割り当てられた位置における近傍の整数画素から見た座標内分比の積
【0046】
ここで、簡単のため、図5を用いて8近傍の画素に囲まれる領域内にフレームFrN+1の2つの画素値It1,It2が変換された場合について考えると、整数座標b(x,y)における画素値It(x^,y^)は下記の式(8)により算出することができる。
【数5】
但し、W1=u×v、W2=(1−s)×(1−t)
【0047】
以上の処理をパッチP1内の全ての画素について行うことにより、パッチP1内の画像と基準パッチP0内の画像との対応関係を求めることができる。
【0048】
時空間補間手段4は、フレームFrN+1に対して補間演算を施して第1の補間フレームFrH1を取得する。具体的には、まず図6に示すように、最終的に必要な画素数を有する統合画像(本実施形態においては、フレームFrN,FrN+1の縦横それぞれ2倍の画素数を有する場合について説明するが、n倍(n:正数)の画素数を有するものであってもよい)を用意し、対応関係推定手段2において求められた対応関係に基づいて、フレームFrN+1(パッチP1内の領域)の画素の画素値を統合画像上に割り当てる。この割り当てを行う関数をΠとすると、下記の式(9)によりフレームFrN+1の各画素の画素値が統合画像上に割り当てられる。
【0049】
◎
【数6】
但し、I1N+1(x°,y°):統合画像上に割り当てられたフレームFrN+1の画素値
FrN+1(x,y):フレームFrN+1の画素値
【0050】
このように統合画像上にフレームFrN+1の画素値を割り当てることにより画素値I1N+1(x°,y°)を得、各画素についてI1(x°,y°)(=I1N+1(x°,y°))の画素値を有する第1の補間フレームFrH1を取得する。
【0051】
ここで、画素値を統合画像上に割り当てる際に、統合画像の画素数とフレームFrN+1の画素数との関係によっては、フレームFrN+1上の各画素が統合画像の整数座標(すなわち画素値が存在すべき座標)に対応しない場合がある。本実施形態においては、後述するように合成時において統合画像の整数座標における画素値を求めるものであるが、以下、合成時の説明を容易にするために統合画像の整数座標における画素値の算出について説明する。
【0052】
統合画像の整数座標における画素値は、統合画像の整数座標に隣接する8近傍の整数座標に囲まれた領域を設定し、この領域内に割り当てられたフレームFrN+1上の各画素の画素値の荷重和として求める。
【0053】
すなわち、図7に示すように統合画像における整数座標p(x,y)については、その8近傍の整数座標p(x−1,y−1),p(x,y−1),p(x+1,y−1),p(x−1,y),p(x+1,y),p(x−1,y+1),p(x,y+1),p(x+1,y+1)に囲まれる領域内に割り当てられたフレームFrN+1の画素値に基づいて算出する。ここで、フレームFrN+1のk個の画素値が8近傍の画素に囲まれる領域内に割り当てられ、割り当てられた各画素の画素値をI1N+1i(x°,y°)(1≦i≦k)とすると、整数座標p(x,y)における画素値I1N+1(x^,y^)は、下記の式(10)により算出することができる。なお、式(10)においてΦは荷重和演算を表す関数である。
【数7】
但し、Mi(1≦i≦k):画素値I1N+1i(x°,y°)が割り当てられた位置における近傍の整数画素から見た座標内分比の積
【0054】
ここで、簡単のため、図7を用いて8近傍の画素に囲まれる領域内にフレームFrN+1の2つの画素値I1N+11,I1N+12が割り当てられた場合について考えると、整数座標p(x,y)における画素値I1N+1(x^,y^)は下記の式(11)により算出することができる。
【数8】
但し、M1=u×v、M2=(1−s)×(1−t)
【0055】
そして、統合画像の全ての整数座標について、フレームFrN+1の画素値を割り当てることにより画素値I1N+1(x^,y^)を得ることができる。この場合、第1の補間フレームFrH1の各画素値I1(x^,y^)はI1N+1(x^,y^)となる。
【0056】
なお、上記ではフレームFrN+1に対して補間演算を施して第1の補間フレームFrH1を取得しているが、フレームFrN+1とともに基準フレームFrNをも用いて第1の補間フレームFrH1を取得してもよい。この場合、基準フレームFrNの画素は、統合画像の整数座標に補間されて直接割り当てられることとなる。
【0057】
空間補間手段5は、基準フレームFrNに対して、統合画像上のフレームFrN+1の画素が割り当てられた座標(実数座標(x°,y°))に画素値を割り当てる補間演算を施すことにより、第2の補間フレームFrH2を取得する。ここで、第2の補間フレームFrH2の実数座標の画素値をI2(x°,y°)とすると、画素値I2(x°,y°)は下記の式(12)により算出される。
【数9】
但し、f:補間演算の関数
【0058】
なお、補間演算としては、線形補間演算、スプライン補間演算等の種々の補間演算を用いることができる。
【0059】
また、本実施形態においては、合成フレームFrGは基準フレームFrNの縦横それぞれ2倍の画素数であるため、基準フレームFrNに対して縦横方向に画素数を2倍とする補間演算を施すことにより、統合画像の画素数と同一の画素数を有する第2の補間フレームFrH2を取得してもよい。この場合、補間演算により得られる画素値は統合画像における整数座標の画素値であり、この画素値をI2(x^,y^)とすると、画素値I2(x^,y^)は下記の式(13)により算出される。
【数10】
【0060】
エッジ情報取得手段6は、基準フレームFrNのエッジ強度を表すエッジ情報e0(x,y)を取得する。具体的には図8に示す3×3のラプラシアンフィルタ∇によるフィルタリング処理を下記の式(14)に示すように基準フレームFrNに施してエッジ情報e0(x,y)を取得する。
【数11】
【0061】
なお、本実施形態ではラプラシアンフィルタによるフィルタリング処理により基準フレームFrNのエッジ情報e0(x,y)を取得しているが、SobelフィルタやPrewittフィルタ等、エッジ情報を取得することができるフィルタであればいかなるフィルタを用いることもできる。
【0062】
重み算出手段7は、エッジ情報取得手段6により取得されたエッジ情報e0(x,y)から第1の補間フレームFrH1および第2の補間フレームFrH2を重み付け加算する際の重み係数α(x,y)を取得する。具体的には、図9に示すテーブルを参照して重み係数α(x,y)を取得する。図9に示すテーブルは、重み係数α(x,y)が最小値α0と最大値α1との間を線形に変化するものである。なお、図9に示すテーブルは、エッジ情報e0(x,y)が大きいほど、重み係数α(x,y)の値が予め定められた最大値α1に近いものとなる。なお、図9においてエッジ情報e0(x,y)は8ビットの値をとるものとする。
【0063】
さらに、重み算出手段7は、フレームFrN+1を統合画像上に割り当てた場合と同様に重み係数α(x,y)を統合画像上に割り当てることにより、フレームFrN+1の画素が割り当てられた座標(実数座標)における重み係数α(x°,y°)を算出する。具体的には、空間補間手段5における補間演算と同様に、重み係数α(x,y)に対して、統合画像上のフレームFrN+1の画素が割り当てられた座標(実数座標(x°,y°))に画素値を割り当てる補間演算を施すことにより、重み係数α(x°,y°)を取得する。
【0064】
なお、統合画像の上記実数座標における重み係数α(x°,y°)を補間演算により算出することなく、基準フレームFrNを統合画像のサイズとなるように拡大または等倍して拡大または等倍基準フレームを取得し、統合画像におけるフレームFrN+1の画素が割り当てられた実数座標の最近傍に対応する拡大または等倍基準フレームの画素について取得された重み係数α(x,y)の値をその実数座標の重み係数α(x°,y°)として用いてもよい。
【0065】
さらに、統合画像の整数座標における画素値I1(x^,y^),I2(x^,y^)が取得されている場合には、統合画像上に割り当てた重み係数α(x°,y°)について上記と同様に荷重和を求めることにより、統合画像の整数座標における重み係数α(x^,y^)を算出すればよい。
【0066】
合成手段8は、第1の補間フレームFrH1および第2の補間フレームFrH2を重み算出手段7により算出された重み係数α(x°,y°)に基づいて重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値FrG(x^,y^)を有する合成フレームFrGを取得する。具体的には、下記の式(15)により第1の補間フレームFrH1および第2の補間フレームFrG2の対応する画素の画素値I1(x°,y°),I2(x°,y°)を重み係数α(x°,y°)により重み付け加算するとともに荷重和演算を行い合成フレームFrGの画素値FrG(x^,y^)を取得する。
【数12】
【0067】
なお、式(15)において、kは合成フレームFrGすなわち統合画像の整数座標(x^,y^)の8近傍の整数座標に囲まれる領域に割り当てられたフレームFrN+1の画素の数であり、この割り当てられた画素がそれぞれ画素値I1(x°,y°),I2(x°,y°)および重み係数α(x°,y°)を有するものである。
【0068】
本実施形態においては、基準フレームFrNにおけるエッジ強度が大きいほど、第1の補間フレームFrH1の重み付けが大きくされて、第1の補間フレームFrH1および第2の補間フレームFrH2の重み付け加算が行われる。
【0069】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段5と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【0070】
また、上記では輝度成分Yについての合成フレームFrGを求める処理について説明したが、色差成分Cb,Crについても同様に合成フレームFrGが取得される。そして、輝度成分Yから求められた合成フレームFrG(Y)および色差成分Cb,Crから求められた合成フレームFrG(Cb),FrG(Cr)を合成することにより、最終的な合成フレームが得られることとなる。なお、処理の高速化のためには、輝度成分Yについてのみ基準フレームFrNとフレームFrN+1との対応関係を推定し、色差成分Cb,Crについては輝度成分Yについて推定された対応関係に基づいて処理を行うことが好ましい。
【0071】
また、統合画像の整数座標について画素値を有する第1の補間フレームFrH1および第2の補間フレームFrH2並びに整数座標の重み係数α(x^,y^)を取得した場合には、下記の式(16)により第1の補間フレームFrH1および第2の補間フレームFrG2の対応する画素の画素値I1(x^,y^),I2(x^,y^)を重み係数α(x^,y^)により重み付け加算して合成フレームFrGの画素値FrG(x,y)を取得すればよい。
【数13】
【0072】
次いで、本実施形態の動作について説明する。図10は本実施形態において行われる処理を示すフローチャートである。なお、ここでは統合画像のフレームFrN+1の画素が割り当てられた実数座標について第1の補間フレームFrH1、第2の補間フレームFrH2および重み係数α(x°,y°)を取得するものとして説明する。まず、サンプリング手段1に動画像データM0が入力され(ステップS1)、ここで、動画像データM0から基準フレームFrNおよびフレームFrN+1がサンプリングされる(ステップS2)。続いて、対応関係推定手段2により、基準フレームFrNとフレームFrN+1との対応関係が推定される(ステップS3)。
【0073】
そして、エッジ情報取得手段6により基準フレームFrNのエッジ強度を表すエッジ情報e0(x,y)が取得される(ステップS4)。さらに、エッジ情報e0(x,y)に基づいて重み算出手段7により重み係数α(x°,y°)が算出される(ステップS5)。
【0074】
一方、推定された対応関係に基づいて、時空間補間手段4により第1の補間フレームFrH1が取得され(ステップS6)、空間補間手段5により第2の補間フレームFrH2が取得される(ステップS7)。
【0075】
なお、ステップS6〜S7の処理を先に行ってもよく、ステップS4〜S5の処理およびステップS6〜S7の処理を並列に行ってもよい。
【0076】
そして、合成手段8において上記式(15)により第1の補間フレームFrH1の画素I1(x°,y°)および第2の補間フレームFrH2の画素I2(x°,y°)とが合成されて、画素FrG(x^,y^)からなる合成フレームFrGが取得され(ステップS8)、処理を終了する。
【0077】
ここで、第1の補間フレームFrH1は、基準フレームFrNおよびフレームFrN+1に含まれる被写体の動きが小さい場合には、基準フレームFrNおよびフレームFrN+1よりも解像度が高い高精細な画像を表すものとなるが、基準フレームFrNおよびフレームFrN+1に含まれる被写体の動きが大きかったり動きが複雑な場合には、動いている被写体がぼけてしまっているものとなる。
【0078】
また、第2の補間フレームFrH2は第1の補間フレームFrH1と比較して1つの基準フレームFrNのみしか補間演算に用いていないため、精細さは第1の補間フレームFrH1より劣るものの、1つの基準フレームFrNのみから得られるものであるため、被写体が大きく動いていても動きが複雑であっても、その被写体はぼけたものとはならない。
【0079】
さらに、重み算出手段7により算出される重み係数α(x°,y°)は、基準フレームFrNのエッジ強度が大きいほど第1の補間フレームFrH1の重みが大きくされてなるものである。
【0080】
ここで、各フレームFrN,FrN+1に含まれる被写体の動きが小さければ、基準フレームFrNのエッジ強度は大きくなるが、被写体の動きが大きかったり複雑であったりすると、動きにより被写体の輪郭がぶれてエッジ強度が小さくなる。したがって、取得された重み係数α(x°,y°)に基づいて第1の補間フレームFrH1および第2の補間フレームFrH2を重み付け加算することにより、動きが小さい場合は高精細な第1の補間フレームFrH1が占める割合が多く、動きが大きい場合には動きのある被写体のぼけが少ない第2の補間フレームFrH2の占める割合が多い合成フレームFrGが作成される。
【0081】
このため、合成フレームFrGは、基準フレームFrNおよびフレームFrN+1に含まれる被写体の動きが大きい場合には被写体のぼけが少なく、被写体の動きが小さい場合には高精細なものとなり、これにより、基準フレームFrNおよびフレームFrN+1に含まれる被写体の動きに拘わらず、高画質の合成フレームFrGを得ることができる。
【0082】
なお、上記実施形態においては、基準フレームFrNおよびフレームFrN+1の輝度色差成分Y,Cb,Cr毎に合成フレームFrGを取得しているが、輝度成分Yについてのみ合成フレームFrGを取得し、色差成分Cb,Crについては、基準フレームFrNの色差成分Cb,Crを線形補間して色差成分の合成フレームを求めてもよく、色差成分Cb,Crについて第1の補間フレームFrH1のみを取得し、これを色差成分の合成フレームとしてもよい。
【0083】
また、フレームFrN,FrN+1がRGBの色データからなる場合には、RGB各色データ毎に処理を行って合成フレームFrGを取得してもよい。
【0084】
また、上記実施形態においては、2つのフレームFrN,FrN+1から合成フレームFrGを取得しているが、3以上の複数のフレームから合成フレームFrGを取得してもよい。例えば、T個のフレームFrN+t′(0≦t′≦T−1)から合成フレームFrGを取得する場合、基準フレームFrN(=FrN+0)以外の他のフレームFrN+t(1≦t≦T−1)について、基準フレームFrNとの対応関係を推定し、統合画像上に画素値を割り当てて複数の第1の補間フレームFrH1tを得る。なお、第1の補間フレームFrH1tの画素値をI1t(x°,y°)とする。
【0085】
また、基準フレームFrNに対して、統合画像上のフレームFrN+tの画素が割り当てられた座標(実数座標(x°,y°))に画素値を割り当てる補間演算を施すことにより、フレームFrN+tに対応した第2の補間フレームFrH2tを取得する。なお、第2の補間フレームFrH2tの画素値をI2t(x°,y°)とする。
【0086】
さらに、基準フレームFrNのエッジ情報を表すエッジ情報に基づいて、対応する第1および第2の補間フレームFrH1t,FrH2tを重み付け加算する重み係数αt(x°,y°)を取得する。
【0087】
そして、互いに対応する第1および第2のフレームFrH1t,FrH2tを重み係数αt(x°,y°)により重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値FrGt(x^,y^)を有する中間合成フレームFrGtを取得する。具体的には、下記の式(17)により第1の補間フレームFrH1tおよび第2の補間フレームFrG2tの対応する画素の画素値I1t(x°,y°),I2t(x°,y°)を対応する重み係数αt(x°,y°)により重み付け加算するとともに荷重和演算を行い、中間合成フレームFrGtの画素値FrGt(x^,y^)を取得する。
【数14】
【0088】
なお、式(17)において、kは中間合成フレームFrGtすなわち統合画像の整数座標(x^,y^)の8近傍の整数座標に囲まれる領域に割り当てられたフレームFrN+tの画素の数であり、この割り当てられた画素がそれぞれ画素値I1t(x°,y°),I2t(x°,y°)および重み係数αt(x°,y°)を有するものである。
【0089】
そして、中間合成フレームFrGtを加算することにより合成フレームFrGを取得する。具体的には、下記の式(18)により中間合成フレームFrGtを対応する画素同士で加算することにより、合成フレームFrGの画素値FrG(x^,y^)を取得する。
【数15】
【0090】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段5と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【0091】
また、3以上の複数のフレームから合成フレームFrGを取得する場合、統合画像の整数座標について画素値を有する第1の補間フレームFrH1tおよび第2の補間フレームFrH2t並びに整数座標の重み係数αt(x^,y^)を取得してもよい。この場合、各フレームFrN+t(1≦t≦T−1)について、各フレームFrN+tの画素値FrN+t(x,y)を統合座標の全ての整数座標に割り当てて画素値I1N+t(x^,y^)すなわち画素値I1t(x^,y^)を有する第1の補間フレームFrH1tを取得する。そして、全てのフレームFrN+tについて割り当てられた画素値I1t(x^,y^)と第2の補間フレームFrH2tの画素値I2t(x^,y^)とを加算することにより複数の中間合成フレームFrGtを取得し、これらをさらに加算して合成フレームFrGを取得すればよい。
【0092】
具体的には、まず、下記の式(19)に示すように、全てのフレームFrN+tについて、統合画像の整数座標における画素値I1N+t(x^,y^)を算出する。そして、式(20)に示すように、画素値I1t(x^,y^)と画素値I2t(x^,y^)とを重み係数α(x^,y^)により重み付け加算することにより中間合成フレームFrGtを得る。そして、上記式(18)に示すように、中間合成フレームFrGtを加算することにより合成フレームFrGを取得する。
【0093】
【数16】
【0094】
なお、上記実施形態においては、基準フレームFrNからエッジ情報e0(x,y)を取得しているが、フレームFrN+1に対してラプラシアンフィルタによるフィルタリング処理を施して、フレームFrN+1からエッジ情報e0(x,y)を取得してもよい。
【0095】
ここで、3以上の複数のフレームから合成フレームFrGを取得する場合、基準フレームFrN以外の他のフレームは複数得られるが、他のフレームからエッジ情報e0(x,y)を取得する場合は、基準フレームFrN以外の他のフレームの全てについてエッジ情報e0(x,y)が取得される。このため、複数のエッジ情報e0(x,y)の平均値、中間値等を求め、これに基づいて重み係数α(x,y)を取得すればよい。
【0096】
また、上記実施形態においては、基準フレームFrNからエッジ情報e0(x,y)を取得して重み係数α(x,y)を取得しているが、基準フレームFrNおよびフレームFrN+1の双方からエッジ情報e0(x,y)を取得してもよい。
【0097】
この場合、基準フレームFrNから取得されたエッジ情報をe1(x,y)、他のフレームFrN+1から取得されたエッジ情報をe2(x,y)とすると、エッジ情報e1(x,y),e2(x,y)の平均値、エッジ情報e1(x,y),e2(x,y)の乗算値、エッジ情報e1(x,y),e2(x,y)の論理和、エッジ情報e1(x,y),e2(x,y)の論理積等を求め、これを重み係数α(x,y)の取得に用いるエッジ情報e0(x,y)とすればよい。
【図面の簡単な説明】
【図1】本発明の実施形態による動画像合成装置の構成を示す概略ブロック図
【図2】フレームFrN+1と基準フレームFrNとの対応関係の推定を説明するための図
【図3】パッチの変形を説明するための図
【図4】パッチP1と基準パッチP0との対応関係を説明するための図
【図5】双1次内挿を説明するための図
【図6】フレームFrN+1の統合画像への割り当てを説明するための図
【図7】統合画像における整数座標の画素値の算出を説明するための図
【図8】ラプラシアンフィルタを示す図
【図9】重み係数を求めるテーブルを示す図
【図10】本実施形態において行われる処理を示すフローチャート
【符号の説明】
1 サンプリング手段
2 対応関係推定手段
3 座標変換手段
4 時空間補間手段
5 空間補間手段
6 エッジ情報取得手段
7 重み算出手段
8 合成手段
Claims (12)
- 動画像から連続する2つのフレームをサンプリングし、
該2つのフレームのうち、基準となる1の基準フレーム上に1または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および/または変形し、該移動および/または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第1の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第2の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像および/または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得し、
該エッジ情報に基づいて、前記第1の補間フレームと前記第2の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第1の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて前記第1の補間フレームおよび前記第2の補間フレームを重み付け合成することにより合成フレームを作成することを特徴とする動画像合成方法。 - 動画像から連続する3以上のフレームをサンプリングし、
該3以上のフレームのうち、基準となる1の基準フレーム上に1または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および/または変形し、該移動および/または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第1の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第2の補間フレームを前記複数の第1の補間フレームと対応付けて1または複数取得し、
前記基準フレームの前記基準パッチ内の画像および/または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得し、
該エッジ情報に基づいて、互いに対応する前記第1の補間フレームと前記第2の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第1の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて互いに対応する前記第1の補間フレームおよび前記第2の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成することを特徴とする動画像合成方法。 - 前記エッジ情報が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数に対して補間演算を施して前記第1および第2の補間フレームを構成する全ての画素についての重み係数を取得することを特徴とする請求項1または2記載の動画像合成方法。 - 前記対応関係の推定、前記第1の補間フレームの取得、前記第2の補間フレームの取得、前記エッジ情報の取得、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する少なくとも1つの成分を用いて行うことを特徴とする請求項1から3のいずれか1項記載の動画像合成方法。
- 動画像から連続する2つのフレームをサンプリングするサンプリング手段と、
該2つのフレームのうち、基準となる1の基準フレーム上に1または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および/または変形し、該移動および/または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第1の補間フレームを取得する第1の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第2の補間フレームを取得する第2の補間手段と、
前記基準フレームの前記基準パッチ内の画像および/または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得するエッジ情報取得手段と、
該エッジ情報に基づいて、前記第1の補間フレームと前記第2の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第1の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて前記第1の補間フレームおよび前記第2の補間フレームを重み付け合成することにより合成フレームを作成する合成手段とを備えたことを特徴とする動画像合成装置。 - 動画像から連続する3以上のフレームをサンプリングするサンプリング手段と、
該3以上のフレームのうち、基準となる1の基準フレーム上に1または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および/または変形し、該移動および/または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第1の補間フレームを取得する第1の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第2の補間フレームを前記複数の第1の補間フレームと対応付けて1または複数取得する第2の補間手段と、
前記基準フレームの前記基準パッチ内の画像および/または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得するエッジ情報取得手段と、
該エッジ情報に基づいて、互いに対応する前記第1の補間フレームと前記第2の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第1の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて互いに対応する前記第1の補間フレームおよび前記第2の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成する合成手段とを備えたことを特徴とする動画像合成装置。 - 前記エッジ情報が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数取得手段は、前記重み係数に対して補間演算を施して前記第1および第2の補間フレームを構成する全ての画素についての重み係数を取得する手段であることを特徴とする請求項5または6記載の動画像合成装置。 - 前記対応関係推定手段、前記第1の補間手段、前記第2の補間手段、前記エッジ情報取得手段、前記重み係数取得手段および前記合成手段は、前記対応関係の推定、前記第1の補間フレームの取得、前記第2の補間フレームの取得、前記エッジ情報の取得、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する少なくとも1つの成分を用いて行う手段であることを特徴とする請求項5から7のいずれか1項記載の動画像合成装置。
- 動画像から連続する2つのフレームをサンプリングする手順と、
該2つのフレームのうち、基準となる1の基準フレーム上に1または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および/または変形し、該移動および/または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する手順と、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第1の補間フレームを取得する手順と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第2の補間フレームを取得する手順と、
前記基準フレームの前記基準パッチ内の画像および/または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得する手順と、
該エッジ情報に基づいて、前記第1の補間フレームと前記第2の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第1の補間フレームの重みを大きくする重み係数を取得する手順と、
該重み係数に基づいて前記第1の補間フレームおよび前記第2の補間フレームを重み付け合成することにより合成フレームを作成する手順とを有する動画像合成方法をコンピュータに実行させるためのプログラム。 - 動画像から連続する3以上のフレームをサンプリングする手順と、
該3以上のフレームのうち、基準となる1の基準フレーム上に1または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および/または変形し、該移動および/または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する手順と、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第1の補間フレームを取得する手順と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第2の補間フレームを前記複数の第1の補間フレームと対応付けて1または複数取得する手順と、
前記基準フレームの前記基準パッチ内の画像および/または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得する手順と、
該エッジ情報に基づいて、互いに対応する前記第1の補間フレームと前記第2の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第1の補間フレームの重みを大きくする重み係数を取得する手順と、
該重み係数に基づいて互いに対応する前記第1の補間フレームおよび前記第2の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成する手順とを有する動画像合成方法をコンピュータに実行させるためのプログラム。 - 前記エッジ情報が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数を取得する手順は、前記重み係数に対して補間演算を施して前記第1および第2の補間フレームを構成する全ての画素についての重み係数を取得する手順である請求項9または10記載のプログラム。 - 前記対応関係を推定する手順、前記第1の補間フレームを取得する手順、前記第2の補間フレームを取得する手順、前記エッジ情報を取得する手順、前記重み係数を取得する手順および前記合成フレームを作成する手順は、前記対応関係の推定、前記第1の補間フレームの取得、前記第2の補間フレームの取得、前記エッジ情報の取得、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する少なくとも1つの成分を用いて行う手順である請求項9から11のいずれか1項記載のプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002249213A JP4104937B2 (ja) | 2002-08-28 | 2002-08-28 | 動画像合成方法および装置並びにプログラム |
US10/646,753 US7729563B2 (en) | 2002-08-28 | 2003-08-25 | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames |
US12/754,718 US8078010B2 (en) | 2002-08-28 | 2010-04-06 | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames |
US13/172,437 US8275219B2 (en) | 2002-08-28 | 2011-06-29 | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames |
US13/438,057 US20120189066A1 (en) | 2002-08-28 | 2012-04-03 | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames |
US13/593,636 US8805121B2 (en) | 2002-08-28 | 2012-08-24 | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002249213A JP4104937B2 (ja) | 2002-08-28 | 2002-08-28 | 動画像合成方法および装置並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004088616A true JP2004088616A (ja) | 2004-03-18 |
JP4104937B2 JP4104937B2 (ja) | 2008-06-18 |
Family
ID=32056392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002249213A Expired - Fee Related JP4104937B2 (ja) | 2002-08-28 | 2002-08-28 | 動画像合成方法および装置並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4104937B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5012805B2 (ja) * | 2006-09-14 | 2012-08-29 | 株式会社ニコン | 画像処理装置、電子カメラおよび画像処理プログラム |
JP2014027405A (ja) * | 2012-07-25 | 2014-02-06 | Nippon Hoso Kyokai <Nhk> | フレーム補間装置及びプログラム |
US10962855B2 (en) | 2017-02-23 | 2021-03-30 | Magic Leap, Inc. | Display system with variable power reflector |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007141994A1 (ja) | 2006-06-08 | 2007-12-13 | Sumitomo Metal Mining Co., Ltd. | 酸化物焼結体、ターゲット、およびそれを用いて得られる透明導電膜、並びに透明導電性基材 |
-
2002
- 2002-08-28 JP JP2002249213A patent/JP4104937B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5012805B2 (ja) * | 2006-09-14 | 2012-08-29 | 株式会社ニコン | 画像処理装置、電子カメラおよび画像処理プログラム |
JP2014027405A (ja) * | 2012-07-25 | 2014-02-06 | Nippon Hoso Kyokai <Nhk> | フレーム補間装置及びプログラム |
US10962855B2 (en) | 2017-02-23 | 2021-03-30 | Magic Leap, Inc. | Display system with variable power reflector |
US11300844B2 (en) | 2017-02-23 | 2022-04-12 | Magic Leap, Inc. | Display system with variable power reflector |
Also Published As
Publication number | Publication date |
---|---|
JP4104937B2 (ja) | 2008-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102010046259A1 (de) | Bildrequenzumwandlung unter Verwendung von Bewegungseinschätzung und -kompensation | |
US20100067818A1 (en) | System and method for high quality image and video upscaling | |
JP2002269556A (ja) | デジタル画像からノイズを除去する複数解像度に基づく方法 | |
JP5822157B2 (ja) | ノイズ低減装置、ノイズ低減方法及びプログラム | |
JP2019067078A (ja) | 画像処理方法、及び画像処理プログラム | |
US8253854B2 (en) | Image processing method and system with repetitive pattern detection | |
Jeong et al. | Multi-frame example-based super-resolution using locally directional self-similarity | |
CN114339030B (zh) | 一种基于自适应可分离卷积的网络直播视频稳像方法 | |
JPH08294001A (ja) | 画像処理方法および画像処理装置 | |
JP4173705B2 (ja) | 動画像合成方法および装置並びにプログラム | |
JP2010181951A (ja) | 画像処理装置および画像処理プログラム | |
JP4104937B2 (ja) | 動画像合成方法および装置並びにプログラム | |
US20070279434A1 (en) | Image processing device executing filtering process on graphics and method for image processing | |
Wang et al. | Improved super-resolution reconstruction from video | |
KR101341617B1 (ko) | 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법 | |
JP5289540B2 (ja) | 画像処理装置、及び画像処理方法 | |
JP4095204B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
JP2004152148A (ja) | 動画像合成方法および装置並びにプログラム | |
CN113066014B (zh) | 一种图像超分辨方法及装置 | |
JP4121024B2 (ja) | 動画像合成装置および方法並びにプログラム | |
CN101778297A (zh) | 影像序列的干扰消除方法 | |
JP4582993B2 (ja) | 動画像合成方法および装置並びにプログラム | |
JP4356876B2 (ja) | 動画像合成装置および方法並びにプログラム | |
JP4515698B2 (ja) | 動画像合成方法および装置並びにプログラム | |
JP4104947B2 (ja) | 動画像合成方法および装置並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050208 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080325 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080326 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140404 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |