JP2019097004A

JP2019097004A - 画像生成装置、画像生成方法及び画像生成プログラム

Info

Publication number: JP2019097004A
Application number: JP2017223843A
Authority: JP
Inventors: 幸浩坂東; Yukihiro Bando; 誠之高村; Masayuki Takamura; 清水　淳; Atsushi Shimizu; 淳清水
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2017-11-21
Filing date: 2017-11-21
Publication date: 2019-06-20
Anticipated expiration: 2037-11-21
Also published as: JP6836495B2

Abstract

【課題】動きボケ及び重畳雑音が低減された等速再生用の画像を生成することが可能である画像生成装置、画像生成方法及び画像生成プログラムを提供する。【解決手段】画像生成装置は、対象フレームと複数の参照フレームとを取得する動画像取得部と、対象フレーム内の領域と参照フレーム内の領域との乖離度の下限値に基づいて、対象フレーム内の対象画素ごとに参照フレーム内の対応位置を検出する検出部と、対応位置の近傍の参照画素ごとに、画素値の重み係数を生成する重み生成部と、参照画素の画素値と重み係数とに基づいて、対象画素の画素値の近似値を生成する近似値生成部と、近似値に基づいて、対象画素の画素値を更新する更新処理部とを備える。【選択図】図１

Description

本発明は、画像生成装置、画像生成方法及び画像生成プログラムに関する。

従来のカメラは、光学系の開口時間を変更することによって、時間方向の画質である動きボケ及び重畳雑音を制御する。カメラが開口時間を短くすれば動きボケは低減するが、開口時間の短縮によって受光量が減少するため、重畳雑音は増加してしまう。このように、動きボケの低減と重畳雑音の低減とは、トレードオフの関係にある。つまり、雑音重畳を回避したい場合、従来のカメラは、動きボケを許容して一定の開口時間を確保する必要がある。動きボケを回避したい場合、従来のカメラは、雑音重畳を許容して開口時間を制限する必要がある。

昨今の半導体技術の進歩を受け、高速度カメラにおける動画像のフレームレートが大きく向上している。高速度カメラにより取得された高フレームレート画像の用途は、画像再生時の高画質化と画像解析の高精度化とに分類される。

画像再生時の高画質化は、視覚系で検知可能（ディスプレイで表示可能）なフレームレートの上限に迫ることにより、滑らかな動きを表現することが目的である。このため、画像再生時の高画質化は、ディスプレイ装置での等速再生を前提としている。

一方、画像解析の高精度化は、視覚の検知限を越えた高フレームレート画像を用いることにより、画像解析の高精度化を行うことが目的である。スポーツ選手、ＦＡ・検査、自動車等の高速移動物体のスロー再生による画像解析は、代表的な応用例である。

動画像の入力システムのフレームレートの上限と動画像の出力システムのフレームレートの上限とは非対称である。現在では、動画像の入力システムである高速度カメラのフレームレートの上限は、１００００ｆｐｓを超えている。一方、動画像の出力システムであるディスプレイ装置のフレームレートの上限は、１２０ｆｐｓから２４０ｆｐｓである。このため、高速度カメラで撮影された動画像は、スロー再生に用いられる（非特許文献１参照）。

A. Golwelkar and J. Woods. Motion-compensated temporal filtering and motion vector coding using biorthogonal filter. IEEE Trans. Circuits Syst. Video, Vol. CSVT-17, No.4, 2007.

しかしながら、動きボケや雑音低減を目的とした画像生成処理では、画像生成装置が再生フレームレートでフレームをサンプリングすることが前提となっている。このため、従来の画像生成装置は、再生フレームレートよりも高い時間分解能ではフレームをサンプリングしていない。

高フレームレート画像は、時間方向に高密度でサンプリングされたフレーム群を含んでいる。画像生成装置は、１０００Ｈｚ等の高密度時間サンプリングされたフレーム群を用いて３０Ｈｚ等の等速再生用の画像を生成した場合、動きボケが低減された等速再生用の画像を生成することが可能である。しかしながら、従来の画像生成装置は、動きボケ及び重畳雑音が低減された等速再生用の画像を生成することができない場合があった。

上記事情に鑑み、本発明は、動きボケ及び重畳雑音が低減された等速再生用の画像を生成することが可能である画像生成装置、画像生成方法及び画像生成プログラムを提供することを目的としている。

本発明の一態様は、対象フレームと複数の参照フレームとを取得する動画像取得部と、前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出する検出部と、前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成する重み生成部と、前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成する近似値生成部と、前記近似値に基づいて、前記対象画素の画素値を更新する更新処理部とを備える画像生成装置である。

本発明の一態様は、上記の画像生成装置であって、前記検出部は、前記乖離度の下限値に基づいて前記乖離度の最小値の探索を省略し、前記対応位置を検出する。

本発明の一態様は、画像生成装置が実行する画像生成方法であって、対象フレームと複数の参照フレームとを取得するステップと、前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出するステップと、前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成するステップと、前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成するステップと、前記近似値に基づいて、前記対象画素の画素値を更新するステップとを含む画像生成方法である。

本発明の一態様は、コンピュータに、対象フレームと複数の参照フレームとを取得する手順と、前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出する手順と、前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成する手順と、前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成する手順と、前記近似値に基づいて、前記対象画素の画素値を更新する手順とを実行させるための画像生成プログラムである。

本発明により、動きボケ及び重畳雑音が低減された等速再生用の画像を生成することが可能である。

実施形態における、画像生成装置の構成の例を示す図である。実施形態における、画像生成装置の動作の例を示すフローチャートである。実施形態における、対応位置同定部の動作の第１例を示す図である。実施形態における、対応位置同定部の動作の第１例を示すフローチャートである。実施形態における、対応位置同定部の動作の第２例を示す図である。実施形態における、対応位置同定部の動作の第２例を示すフローチャートである。

本発明の実施形態について、図面を参照して詳細に説明する。
図１は、画像生成装置１の構成の例を示す図である。画像生成装置１は、画像を生成する装置である。画像生成装置１は、動きボケ及び重畳雑音が低減された等速再生用の画像を生成する。

画像生成装置１は、入力画像記憶部１０と、参照フレーム設定部１１と、局所近傍領域設定部１２と、対応位置同定部１３と、参照画素設定部１４と、重み設定部１５と、近似値生成部１６と、最終参照フレーム判定部１７と、画素値更新処理部１８と、最終画素判定部１９とを備える。

各機能部のうち一部又は全部は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部に記憶されたプログラムを実行することにより実現される。各機能部のうち一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。

入力画像記憶部１０は、例えばフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの不揮発性の記録媒体（非一時的な記録媒体）である。入力画像記憶部１０は、例えば、ＲＡＭ（Random Access Memory）やレジスタなどの揮発性の記録媒体を有してもよい。

入力画像記憶部１０は、画像生成装置１に入力された画像データである入力画像を記憶する。入力画像記憶部１０は、フィルタリング処理の対象フレームと参照フレームとを、入力画像として記憶する。対象フレーム及び参照フレームは、高フレームレート（高い時間解像度）の動画像のフレームである。動画像の出力システムであるディスプレイ装置のフレームレートの上限が例えば２４０ｆｐｓである場合、高フレームレートは、例えば２４０ｆｐｓを超えるレートである。

参照フレーム設定部１１は、入力画像記憶部１０に記憶されている参照フレームの候補から、予め定められた順序に基づいて参照フレームを選択する。

局所近傍領域設定部１２は、対象フレーム内の処理対象の画素（以下「対象画素」という。）の局所近傍の領域（以下「局所近傍領域」という。）の画素を、対象フレームに設定する。以下、局所近傍の領域の画素を「局所近傍画素」という。

対応位置同定部１３は、局所近傍画素の画素値を、局所近傍領域設定部１２から取得する。対応位置同定部１３は、参照フレームの探索範囲の画素値を、入力画像記憶部１０から取得する。対応位置同定部１３は、対象フレーム内の対象画素について、参照フレーム内の対応点の位置である対応位置を同定する。対応位置同定部１３は、対応位置情報を参照画素設定部１４に出力する。

参照画素設定部１４は、対応位置情報を対応位置同定部１３から取得する。参照画素設定部１４は、参照フレーム内の対応位置の近傍の整数画素位置の画素を、参照画素と設定する。参照画素設定部１４は、予め定められた全ての参照フレーム内の対応位置の画素の局所近傍領域の画素値を、参照フレーム設定部１１から取得する。

重み設定部１５は、参照画素の局所近傍領域の画素値で対象画素の局所近傍領域内の画素値を近似した場合に近似誤差が最小となるように、参照画素の重み係数を定める。重み設定部１５は、参照画素の重み係数を近似値生成部１６に出力する。

近似値生成部１６は、参照画素値と参照画素の重み係数との加重和を、対象画素の画素値である対象画素値の近似値として算出する。近似値生成部１６は、対象画素値の近似値を最終参照フレーム判定部１７に出力する。

最終参照フレーム判定部１７は、予め定められた全ての参照フレームについて対象画素値の近似値を算出する処理が終了したか否かを判定する。対象画素値の近似値を算出する処理がいずれかの参照フレームについて終了していない場合、参照画素設定部１４は、対象画素値の近似値を算出する処理を繰り返す。画素値更新処理部１８は、いずれかの画素に対する処理が終了していない場合、対象画素値の近似値を算出する処理を次の画素に対して実行する。

予め定められた全ての参照フレームについて対象画素値の近似値を算出する処理が終了した場合、画素値更新処理部１８は、予め定められた全ての参照フレームの近似値と対象画素値とを取得する。画素値更新処理部１８は、近似値及び対象画素値の平均値を算出する。画素値更新処理部１８は、近似値及び対象画素値の平均値を、対象画素値の更新値として最終画素判定部１９に出力する。すなわち、画素値更新処理部１８は、予め定められた全ての画素に対する処理が終了した場合、生成された画像（更新画素値）を最終画素判定部１９に出力する。

最終画素判定部１９は、対象フレームの最終画素まで画像が生成された場合、生成された画像（生成画像）を外部装置に出力する。

次に、画像生成装置１の動作の例を説明する。
図２は、画像生成装置１の動作の例を示すフローチャートである。入力画像記憶部１０は、フィルタリング対象となる画像データを取得する。入力画像記憶部１０は、指定された対象フレームである第ｔフレームと、指定されたｒ_ｔ枚の参照フレームを記憶する。

各フレームは、時間フィルタの入力信号のフレーム間隔ｔ（＝ｊδ_ｔ（ｊ＝０，１，…））でサンプリングされる。ｆ（ｘ，ｙ，ｔ）（ｘ＝０，…，Ｘ−１, ｙ＝０，…，Ｙ−１）は、第ｔフレームの位置ｘ，ｙにおける画素値である（ステップＳ１）。

参照フレーム設定部１１は、取得された画像データのフレーム内の全ての対象画素に対して、ステップＳ３からステップＳ１１までの処理を繰り返す（ステップＳ２）。

局所近傍領域設定部１２は、対象画素に対して局所近傍画素を設定する。局所近傍領域設定部１２は、対象フレーム内の対象画素ｆ（ｘ，ｙ，ｔ）に対する局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）として、（２ｂ_ｘ＋１）×（２ｂ_ｙ＋１）×（２ｂ_ｔ＋１）画素から成る領域｛ｆ（ｘ−ｉ，ｙ−ｊ，ｔ−ｋ）｜ｉ∈［−ｂ_ｘ，ｂ_ｘ］，ｊ∈［−ｂ_ｙ，ｂ_ｙ］，ｋ∈［−ｂ_ｔ，ｂ_ｔ］｝を設定する。

局所近傍領域設定部１２は、ｒ_ｔ枚の各参照フレームに対して、ステップＳ５からステップＳ８までの処理を実行する。局所近傍領域設定部１２は、処理対象とする参照フレーム（ｔ−ｒ_ｔフレーム）を、１，…，ｒ_ｔの順に設定する。つまり、局所近傍領域設定部１２は、対象フレームから近い参照フレームを優先して処理に使用する（ステップＳ３）。

画像生成装置１は、参照フレーム内の全ての参照画素に対して、ステップＳ５からステップＳ９までの処理を繰り返す（ステップＳ４）。

対応位置同定部１３は、局所近傍画素の画素値と参照フレームの探索範囲の画素値とを取得する。対応位置同定部１３は、参照フレーム内の対応位置を同定し、同定された対応位置情報を取得する（ステップＳ５）。

参照画素設定部１４は、対応位置情報に基づいて、対応位置の近傍の整数画素位置の画素（近傍画素）を参照画素として設定する（ステップＳ６）。

重み設定部１５は、全ての参照画素の局所近傍領域の画素値と対象画素の局所近傍領域内の画素値とに基づいて、参照画素の重み係数を算出する。重み設定部１５は、参照画素の局所近傍領域の画素値で対象画素の局所近傍領域内の画素値を近似した場合に近似誤差が最小となるように、参照画素の重み係数を算出する（ステップＳ７）。

近似値生成部１６は、参照画素値と参照画素の重み係数との加重和を、対象画素値の近似値として算出する（ステップＳ８）。

最終参照フレーム判定部１７は、予め定められた全ての参照フレームについて対象画素値の近似値を算出する処理が終了したか否かを判定する。対象画素値の近似値を算出する処理がいずれかの参照フレームについて終了していない場合、最終参照フレーム判定部１７は、ステップＳ２に処理を戻す（ステップＳ９）。

画素値更新処理部１８は、予め定められた全ての参照フレームについて対象画素値の近似値を算出する処理が終了した場合、取得された画像データの全ての参照フレームの近似値及び対象画素値の平均値を、対象画素値の更新値として最終画素判定部１９に出力する（ステップＳ１０）。

最終画素判定部１９は、取得された画像データの対象フレーム内の全ての対象画素について処理が終了したか否かを判定する。すなわち、最終画素判定部１９は、対象フレームの最終画素まで画像が生成されたか否かを判定する。最終画素判定部１９は、対象フレームの最終画素まで画像が生成されていない場合、ステップＳ２に処理を戻す。最終画素判定部１９は、対象フレームの最終画素まで画像が生成された場合、生成された画像を外部装置に出力する（ステップＳ１１）。

次に、図２のステップＳ５の詳細を説明する。
図３は、対応位置同定部１３の動作の第１例を示す図である。
図４は、対応位置同定部１３の動作の第１例を示すフローチャートである。

対応位置同定部１３は、局所近傍領域Ｆ_ｂ（ｘ，ｙ）と対応点の局所近傍領域との差分二乗和が最小値となる対応点を、式（１）のように参照フレーム内において同定する。

ここで、差分二乗和ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ）は、式（２）のように表される。

式（２）は、差分二乗和ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ−１）が最小値となる対応点の位置（Ｖ（ｘ，ｔ’−ｒ_ｔ＋１），Ｖ（ｙ，ｔ’−ｒ_ｔ＋１））を探索中心とした処理を表す。ｒ_ｔは、局所近傍領域Ｆ_ｂ（ｘ，ｙ）から参照フレームまでの時間間隔を表す。（ｖ_ｘ，ｖ_ｙ）は、探索中心に対する変位量を表す。対象画素位置に対する変位量は、式（３）のように表される。

ここで、ｒｏｕｎｄ（）は、四捨五入によって整数値化された結果を返す関数である。対応位置同定部１３は、（１／４）画素精度で対応点を探索する。対応位置同定部１３は、小数画素位置の値を、バイリニア（bilinear）補間で取得する。

閾値θ_ｅに対して、差分二乗和ｅ（ｖ_ｘ，ｖ_ｙ）＞θ_ｅとなる場合、対応位置同定部１３は、適切な対応点が存在しないものと判定し、（ｖ_ｘ，ｖ_ｙ）を設定しない。閾値θ_ｅは、外部パラメータとして設定される。

以下では、ｇ（ｘ’−ｖ_ｘ，ｙ’−ｖ_ｙ，ｔ’）＝ｆ（ｘ’−ｖ_ｘ，Ｖ（ｘ，ｔ’＋１），ｙ’−ｖ_ｙ，Ｖ（ｙ，ｔ’＋１），ｔ’）が成り立つ。差分二乗和ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ）は、式（５）のように表される。

以下では、変位量ｖ_ｘと変位量ｖ_ｙと参照位置ｒ_ｔとについて、乖離度Ｓ_ｋ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)（ｋ＝０，…，２ｂ_ｔ）を「第ｋの部分フレーム間差分」という。対応位置同定部１３は、第ｋの部分フレーム間差分Ｓ_０(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)，Ｓ_１(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)，…，Ｓ_２ｂｔ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)を取得する。差分二乗和ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ＋１）は、式（６）のように表される。

対応位置同定部１３は、Ｓ_０(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)，Ｓ_１(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)，…，Ｓ_２ｂｔ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)のうちのＳ_０(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)を除くＳ_１(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)，…，Ｓ_２ｂｔ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)の下限値を算出する。対応位置同定部１３は、第０の部分フレーム間差分Ｓ_０(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)を式（７）のように算出する。

ここで、式（８）が成立する。

対応位置同定部１３は、式（９）に基づいて、第１の部分フレーム間差分Ｓ_１(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)の下限値を算出する。

同様に、対応位置同定部１３は、第（ｋ＋１）の部分フレーム間差分Ｓ_ｋ＋１(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ＋１)の下限値を算出する。なお、ｋ＝０，…，ｔ＋２_ｂｔ−１，ｔ’＝ｔ−ｂ_ｔ，…，ｔ＋ｂ_ｔ−１である。

ここで、Ｑ（ｔ’）は、局所近傍領域におけるフレーム間差分の絶対値和である。Ｑ（ｔ’）が探索領域の画素値に依存しない値であるため、対応位置同定部１３は、ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ＋１）の最小値を探索する前に、Ｑ（ｔ’）を算出する。対応位置同定部１３は、Ｑ（ｔ’）を記憶部に記録する。対応位置同定部１３は、差分二乗和ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ）の最小値を探索した際、第ｋの部分フレーム間差分Ｓ_ｋ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ＋１)を記憶部に記録する。差分二乗和ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ＋１）の下限値は、式（３）に基づいて式（１１）のように表される。

対応位置同定部１３は、式（１２）を算出する。

ここで、式（１３）が成立する。

対応位置同定部１３は、算出されたＱ（ｔ’）と式（１３）とに基づいて、差分二乗和ｅ（ｖ_ｘ’，ｖ_ｙ’，ｒ_ｔ＋１）の最小値を同定する。

式（１３）において、第ｋの部分フレーム間差分Ｓ_ｋ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)（ｋ＝０，…，２_ｂｔ）が全て算出されている場合、対応位置同定部１３は、式（１１）に基づいて、差分二乗和ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ＋１）の下限値~ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)を算出する。対応位置同定部１３は、最小値の同定処理におけるｅ（ｖ_ｘ’，ｖ_ｙ’，ｒ_ｔ＋１）の暫定最小値と下限値~ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)との大小を比較する。

差分二乗和の下限値~ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)が暫定最小値よりも大きい場合、ｅ（ｖ_ｘ’，ｖ_ｙ’，ｒ_ｔ＋１）が暫定最小値よりも小さくなることはない。差分二乗和の下限値~ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)が暫定最小値以下である場合、差分二乗和ｅ（ｖ_ｘ’，ｖ_ｙ’，ｒ_ｔ＋１）が暫定最小値よりも小さくなることがあるので、対応位置同定部１３は、算出されたｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)とｅ（ｖ_ｘ’，ｖ_ｙ’，ｒ_ｔ＋１）の暫定最小値との大小を比較する。

対応位置同定部１３は、ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)が暫定最小値よりも小さい場合、暫定最小値をｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)に更新する（ステップＳ５−１からステップＳ５−１０まで）。

図５は、対応位置同定部１３の動作の第２例を示す図である。
図６は、対応位置同定部１３の動作の第２例を示すフローチャートである。図６では、図４と比較して、ステップＳ５−１１からステップＳ５−１３までのステップが、ステップＳ５−３とステップＳ５−４との間に追加されている。

式（１３）において、第ｋの部分フレーム間差分Ｓ_ｋ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)（ｋ＝０，…，２_ｂｔ）のうちの一部が算出されており、算出されていないＳ_ｋ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)を参照することができない場合、対応位置同定部１３は、ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)を算出し、ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)と暫定最小値との大小を比較する。また、対応位置同定部１３は、後段の処理のため、Ｓ_ｋ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ＋１)を記憶部に記録する。

ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)が暫定最小値よりも小さい場合、対応位置同定部１３は、暫定最小値をｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)で置換する。Ｓ_ｋ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ）が算出されている場合、対応位置同定部１３は、式（１１）に基づいて、差分二乗和の下限値~ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)を算出し、差分二乗和の下限値~ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)と最小値の同定処理における暫定最小値との大小を比較する。

差分二乗和の下限値~ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)が暫定最小値よりも大きい場合、ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)は、暫定最小値よりも小さくなることはない。差分二乗和の下限値~ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)が暫定最小値以下である場合、ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)が暫定最小値よりも小さくなることがあるので、対応位置同定部１３は、算出されたｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)とｅ（ｖ_ｘ’，ｖ_ｙ’，ｒ_ｔ＋１）の暫定最小値との大小を比較する。

対応位置同定部１３は、差分二乗和ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)が暫定最小値よりも小さい場合、暫定最小値をｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)に更新する（ステップＳ５−１からステップＳ５−１３まで）。

次に、図２のステップＳ６及びステップＳ７の詳細を説明する。
式（３）における、第（ｔ−ｒｔ）フレームにおける対応位置での画素（ｘ−Ｖ（ｘ，ｔ−ｒ_ｔ），ｙ−Ｖ（ｙ，ｔ−ｒ_ｔ））と、その近傍に位置する画素（ｘ−Ｖ（ｘ，ｔ−ｒ_ｔ）＋１，ｙ−Ｖ（ｙ，ｔ−ｒ_ｔ）），（ｘ−Ｖ（ｘ，ｔ−ｒ_ｔ），ｙ−Ｖ（ｙ，ｔ−ｒ_ｔ）＋１），（ｘ−Ｖ（ｘ，ｔ−ｒ_ｔ）＋１，ｙ−Ｖ（ｙ，ｔ−ｒ_ｔ）＋１）とについて、各々の局所近傍領域を考える。

参照画素設定部１４は、各近傍領域に含まれる画素をラスター走査順に一元化して、（２ｂ_ｘ＋１）×（２ｂ_ｙ＋１）×（２ｂ_ｔ＋１）次元ベクトルの各ベクトルを算出する。（２ｂ_ｘ＋１）×（２ｂ_ｙ＋１）×（２ｂ_ｔ＋１）次元ベクトルの各ベクトルは、Ｒ_０（ｘ，ｙ，ｔ−ｒｔ）と、Ｒ_１（ｘ，ｙ，ｔ−ｒｔ）と、Ｒ_２（ｘ，ｙ，ｔ−ｒｔ）と、Ｒ_３（ｘ，ｙ，ｔ−ｒｔ）とである。例えば、Ｒ_０（ｘ，ｙ，ｔ−ｒｔ）の要素は、式（１４）のように表される。

近似値生成部１６は、Ｒ_０（ｘ，ｙ，ｔ−ｒ_ｔ）と、Ｒ_１（ｘ，ｙ，ｔ−ｒ_ｔ）と、Ｒ_２（ｘ，ｙ，ｔ−ｒ_ｔ）と、Ｒ_３（ｘ，ｙ，ｔ−ｒ_ｔ）との加重和で、対象画素の局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）を近似する。近似誤差電力Ｅは、式（１５）のように表される。

重み設定部１５は、近似誤差電力Ｅ（ｘ，ｙ，ｔ−ｒｔ）を最小化する重み係数ｗ_０，ｗ_１，ｗ_２，ｗ_３を算出する。重み設定部１５は、重み係数ｗ_０，ｗ_１，ｗ_２を、式（１６）に基づいて算出する。

ここで、ｉ，ｊ＝０，１，２に対して、ベクトルの内積値は、式（１７）のように表される。

ここで、肩付のｔは転置を表す。重み設定部１５は、式（７）に示された重み係数ｗ_０，ｗ_１，ｗ_２を用いて、式（１８）のように重み係数ｗ_３を算出する。

式（１８）は、重み係数の和が１になるという制約条件の下で近似誤差電力を最小化した結果である。重み係数の和に関して制約条件が設けられていない場合、重み係数は式（１９）のように表される。

ここで、ｉ，ｊ＝０，１，２，３に対して、ベクトルの内積値は、式（２０）のように表される。肩付のｔは転置を表す。

次に、図２のステップＳ８の詳細を説明する。
近似値生成部１６は、式（１９）に示された重み係数を各参照画素の画素値に式（２１）のように乗算することによって、対象画素値の近似値を算出する。近似値生成部１６は、局所近傍領域単位で画素値に重み係数を乗じるのではなく、画素単位で画素値に重み係数を乗じる。

ここで、ｒ_ｉ（ｘ，ｙ，ｔ−ｒ_ｔ）（ｉ＝０，１，２，３）は、式（２２）のように表される。近似値生成部１６は、ｒ_ｔ枚の参照フレーム（第（ｔ−ｒ_ｔ）フレーム、（ｔ＝１，…，ｒ_ｔ））に対する参照画素値を、式（２２）のように算出する。

次に、図２のステップＳ１０の詳細を説明する。
画素値更新処理部１８は、式（２２）のように表されるｒ_ｔ枚の参照フレームに対する参照画素値に基づいて、式（２３）のように対象画素値を更新する。

係数ａ_ｋの第１の設定例は、式（２４）及び式（２５）のように表される。

係数ａ_ｋの第１の設定例は、式（２６）及び式（２７）のように表される。

ここで、画素値更新処理部１８は、各ｘ，ｙ，ｔに対して、｜ｆ（ｘ，ｙ，ｔ）−^ｆ（ｘ，ｙ，ｔ，ｌ_ｔ）｜＜ψを満たすサンプル数として、ｒ’_ｔ（ｘ，ｙ，ｔ）を定める。なお、ｒ’_ｔ（ｘ，ｙ，ｔ）の値域は、ｒ_ｔ≦ｒ’ｔ（ｘ，ｙ，ｔ）≦ｒ_ｔである。変数ψは、外部から与えられる閾値パラメータである。

係数ａ_ｋの第３の設定例は、式（２８）及び式（２９）のように表される。ここで、εは、ゼロ除算を回避するために付与された微小量である。

以上のように、実施形態の画像生成装置１は、入力画像記憶部１０（動画像取得部）と、対応位置同定部１３（検出部）と、重み設定部１５（重み生成部）と、近似値生成部１６（近似値生成部）と、画素値更新処理部１８（更新処理部）とを備える。入力画像記憶部１０は、対象フレームと複数の参照フレームとを取得する。対応位置同定部１３は、対象フレーム内の領域と参照フレーム内の領域との乖離度の下限値に基づいて乖離度の最小値の探索を省略し、対象フレーム内の対象画素ごとに参照フレーム内の対応位置を検出する。重み設定部１５は、対応位置の近傍の参照画素ごとに、画素値の重み係数を生成する。近似値生成部１６は、参照画素の画素値と重み係数とに基づいて、対象画素の画素値の近似値を生成する。画素値更新処理部１８は、近似値に基づいて、対象画素の画素値を更新する。

すなわち、実施形態の画像生成装置１は、入力された画像信号について参照フレーム内の対応位置を同定する際、同じ時空間領域内の異なるフレームに属する領域間の第１乖離度を算出する。画像生成装置１は、参照フレーム内の対応位置を同定する際、同じ時空間領域内の異なるフレームと参照フレーム内の領域との間の第２乖離度を算出する。画像生成装置１は、第１乖離度及び第２乖離度に基づいて、同じ時空間領域と参照領域内の領域との間の第３乖離度の下限値を算出する。画像生成装置１は、複数のフレームに属する領域から成る時空間領域の第３乖離度に基づいて、乖離度の最小値の探索を省略し、参照フレーム内の対応位置を対象画素ごとに同定する。画像生成装置１は、対応位置の近傍に位置する整数画素を参照画素として設定する。画像生成装置１は、参照画素に対する重み係数を設定する。画像生成装置１は、参照画素の画素値に重み係数を乗じて、対象画素の画素値の近似値を生成する。画像生成装置１は、各参照フレームから得た近似値の加重和として、対象画素値を更新する。

これによって、実施形態の画像生成装置１は、動きボケ及び重畳雑音が低減された等速再生用の画像を生成することが可能である。実施形態の画像生成装置１は、視覚の検知限を越えた高フレームレート画像から、等速再生用の高画質画像を生成すること（フィルタリング処理）が可能である。実施形態の画像生成装置１は、動きボケ及び重畳雑音が低減された等速再生用の画像を、繰り返し処理による計算量の増加を抑えて生成することが可能である。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…画像生成装置、１０…入力画像記憶部、１１…参照フレーム設定部、１２…局所近傍領域設定部、１３…対応位置同定部、１４…参照画素設定部、１５…重み設定部、１６…近似値生成部、１７…最終参照フレーム判定部、１８…画素値更新処理部、１９…最終画素判定部

Claims

対象フレームと複数の参照フレームとを取得する動画像取得部と、
前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出する検出部と、
前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成する重み生成部と、
前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成する近似値生成部と、
前記近似値に基づいて、前記対象画素の画素値を更新する更新処理部と
を備える画像生成装置。
前記検出部は、前記乖離度の下限値に基づいて前記乖離度の最小値の探索を省略し、前記対応位置を検出する、請求項１に記載の画像生成装置。
画像生成装置が実行する画像生成方法であって、
対象フレームと複数の参照フレームとを取得するステップと、
前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出するステップと、
前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成するステップと、
前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成するステップと、
前記近似値に基づいて、前記対象画素の画素値を更新するステップと
を含む画像生成方法。
コンピュータに、
対象フレームと複数の参照フレームとを取得する手順と、
前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出する手順と、
前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成する手順と、
前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成する手順と、
前記近似値に基づいて、前記対象画素の画素値を更新する手順と
を実行させるための画像生成プログラム。