JP2007166198A

JP2007166198A - フレームレート変換方法および装置

Info

Publication number: JP2007166198A
Application number: JP2005359435A
Authority: JP
Inventors: Akichika Shiomi; 彰睦塩見; Nobuyuki Tamori; 信行田森; Naoto Yamaguchi; 直人山口
Original assignee: Shizuoka University NUC
Current assignee: Shizuoka University NUC
Priority date: 2005-12-13
Filing date: 2005-12-13
Publication date: 2007-06-28

Abstract

【課題】フレームレート変換において、シャッタの開時間が、閉時間よりも十分に長くない場合、移動物体が画像に写りこむ時間が短くなり、フレーム間での物体の移動が極端に大きくなる状況において、滑らかな画像を得ることが困難になるという問題を解決したフレームレート変換方法および装置を提供する。
【解決手段】撮像された画像からそれよりも低フレームレートの画像を生成するフレームレート変換装置は、撮像装置と、前記撮像装置のシャッタ開時間の画像を蓄積するフレームメモリ１１と、前記蓄積画像から動きベクトルを検出する動きベクトル検出回路１３と、前記動きベクトルに基づいて撮像フレームを修正して補間画像を形成する画素補間回路１４と、前記フレームメモリ１１の画像と前記補間画像に基づいて撮像レートよりも低フレームレートの画像を生成する画素積和演算回路１２とを含んで構成されている。
【選択図】図１

Description

本発明は、高フレームレート画像を低フレームレート画像に変換する際に予想される不自然な動画の発生を防止することができるフレームレート変換方法および装置に関する。

高フレームレート画像を低フレームレート画像に変換する際に予想される不自然な動画の発生について、図を参照して簡単に説明する。
以後、ｔ_fn，ｔ_ln，ｔ_cnはｎ番目のフレーム，蓄積光，シャッタ時間（以下同様）を示すこととする。画像の撮像において各画素の電荷は、被写体の輝度とシャッタ開時間によって決まる。図９は、フレーム積分によるフレームレート変換の問題点を説明するための図である。
図９に示すようにフレーム時間には蓄光時間とシャッタ閉時間があるから、撮像された画像は蓄光時間の情報しか持たない。
蓄光時間とシャッタ閉時間は、撮像時の光量や撮像素子のＡ／Ｄ変換性能によってフレーム時間比率が変化する。
図中（ウ）の時間ｔ_l1の撮像画像と（エ）の時間ｔ_l2の撮像画像から（オ）の合成画像が得られる。
このようにして撮像された画像を単純に時間積分してフレームレート変換を行った場合、多重像や不自然なブラーが生じ、人間にとって見た目が不自然な画像が生成される。
フレーム積分によるフレームレート変換では、蓄光時間ｔ_lnで撮像した画像をフレーム時間ｔ_fnで撮像した画像として扱うためシャッタ閉時間ｔ_cnの変化が欠落する。

高フレームレート画像を低フレームレート画像に変換する際に予想される不自然な動画の発生を防止するための方策が数多く提案されている。
特許文献１〜３記載の発明は、移動ベクトルを利用した補正を行うことにより滑らかな低フレームレート画像を得る装置を提案している。特許文献１、２記載の発明は動きベクトルを用いてすでに撮像された動画像に対してフレーム間引きを行うことでデータ量を圧縮する。これにより、圧縮した動画像を展開した後に不自然な動画像が生じるのを防ぐとしている。特許文献３記載の発明は、変換元と変換先のフレームレートの差が小さい場合において、飛び越し走査画像を動きベクトルを用いて順次走査画像相当の画像に変換し、フレームレート変換を行うとしている。
特開２０００−０２３１５６特開２００４−０３２４９６特開平０５−２０７４３２

特許文献４〜７記載の発明は、フレーム積分を用いることにより滑らかな低フレームレート画像を得る装置に係るものである。しかし、カメラのシャッタ閉時間などカメラの撮影パラメータを利用するまでには至っていない。
特開２００４−０８８２４４特開２００５−０３９７１２特開２００５−０３９７１４特開平０７−０５０８１４

前述したように、従来の移動ベクトルによる補正やフレーム積分による補正では、カメラのシャッタが開時間の画像を使用している。
しかし、シャッタの開時間が、閉時間よりも十分に長くない場合、移動物体が画像に写りこむ時間が短くなり、フレーム間での物体の移動が極端に大きくなる状況において、滑らかな画像を得ることが困難になってくるという問題がある。
本発明の目的は前述した問題を解決することができるフレームレート変換方法および装置を提供することにある。

前記目的を達成するために、本発明による請求項１記載のフレームレート変換方法は、撮像された画像からそれよりも低フレームレートの画像を生成するフレームレート変換方法であって、
撮像された画像の撮像パラメータを考慮してシャッタ開時間の画像の処理を行うステップと、
前記画像処理された画像間に補間画像を形成するために、既得の画像から取得した動きベクトルを利用してシャッタ閉時間の補間画像を形成するステップと、
前記シャッタ開時間の画像と前記補間画像から低フレームレートの画像を生成するステップとから構成されている。

本発明による請求項２記載のフレームレート変換方法は、請求項１記載のフレームレート変換方法において、
補間画像形成にその画像の直前と直後の撮像画像を用い、
第一に、両画像を用いて両画像間の動きベクトルを求め、
第二に、求めた動きベクトルを用いて補間画像の各画素の値を求め、
第三に、撮像画像の露光時間とシャッタ閉時間の比に応じた重みをつけて、撮像画像と補間画像を積分し、
撮像画像のフレームレートが出力画像のフレームレートよりも高い場合には、出力画像のフレーム時間に相当する時間の間、一から三までの手順を繰り返し、結果を積分して出力画像を得るものである。

本発明による請求項３記載のフレームレート変換方法は、請求項１記載のフレームレート変換方法において、
補間画像形成にその画像の直前とさらにもう１枚前の撮像画像を用い、
第一に、両画像を用いて両画像間の動きベクトルを求め、
第二に、求めた動きベクトルから補間画像の前後の撮像画像間での動きベクトルを予測し、
第三に、求めた予測動きベクトルを用いて補間画像の各画素の値を求め、
第四に、撮像画像の露光時間とシャッタ閉時間の比に応じた重みをつけて、撮像画像と補間画像を積分し、
撮像画像のフレームレートが出力画像のフレームレートよりも高い場合には、出力画像のフレーム時間に相当する時間の間、一から四までの手順を繰り返し、結果を積分して出力画像を得るものである。

本発明による請求項４記載のフレームレート変換方法は、請求項２記載のフレームレート変換方法において、
動きベクトルを求める場合に、求める補間フレームに対して、さらに前後複数枚の画像間の動きベクトルを求め、求める補間フレームの動きベクトルの精度を高めるように構成してある。
本発明による請求項５記載のフレームレート変換方法は、請求項３記載のフレームレート変換方法において、
動きベクトルを求める場合に、過去の履歴を用いて動きベクトルの予測精度を高めるように構成してある。

本発明による請求項６記載のフレームレート変換方法は、請求項１記載のフレームレート変換方法において、
出力側の画像が入力側の画像整数枚から構成されない場合、
請求項２または請求項４もしくは請求項３または請求項５の手法を用いて補間画像を生成し、
処理対象となる画像が、時間的に出力画像のフレーム時間の両端にあたらない場合には、請求項２または請求項４もしくは請求項３または請求項５同様に、撮像画像の露光時間とシャッタ閉時間の比に応じた重みをつけて、撮像画像と補間画像を積分し、
処理対象となる画像が、時間的に出力画像のフレーム時間の両端にあたる場合には、積分時に、撮像画像の露光時間と出力フレーム時間が重複している時間が露光時間に占める割合を、補間画像のシャッタ閉時間と出力フレーム時間が重複している時間がシャッタ閉時間に占める割合をそれぞれ重みとしてさらに掛けて積分し、出力画像を得るものである。

本発明による請求項７記載のフレームレート変換方法は、請求項１記載のフレームレート変換方法において、輝度を時間的に多段階に分割し露光を行う手法に適用する場合であって、
動きベクトルの検出には請求項２または請求項４もしくは請求項３または請求項５の手法を用い、
出力画像のフレーム時間と入力画像のフレーム時間が一致しない場合は、請求項６の手法を用いてフレーム間積分を行い、出力画像を得るものである。

本発明による請求項８記載のフレームレート変換装置は、
撮像された画像からそれよりも低フレームレートの画像を生成するフレームレート変換装置であって、
撮像装置と、
前記撮像装置のシャッタ開時間の画像を蓄積するフレームメモリと、
前記蓄積画像から動きベクトルを検出する動きベクトル検出回路と、
前記動きベクトルに基づいて撮像画像を修正して補間画像を形成する画素補間回路と、前記フレームメモリの画像と前記補間画像に基づいて撮像レートよりも低フレームレートの画像を生成する画素積和演算回路とを含んで構成されている。
本発明による請求項９記載のフレームレート変換装置は、請求項８記載のフレームレート変換装置において、
輝度を時間的に多段階に分割し露光を行う手法を用いてフレーム画像を生成するものである。

本発明によれば、カメラのシャッタが閉時間の画像を求め、この画像とシャッタが開時間の画像とを利用して低フレームレート画像を求めるため、フレーム間での移動物体の追跡の精度が従来よりも上がり、また、より滑らかな動画像を得ることが可能である。

以下図面等を参照して本発明による装置の実施の形態を説明する。
図１は、本発明のフレームレート変換装置の実施例を示すブロック図である。
高速フレームレート撮像された画像はいったんフレームメモリ１１に蓄積される。
フレームメモリ１１に蓄積された画像は、画素積和演算回路１２と動きベクトル検出回路１３に入力される。動きベクトル検出回路１３では、連続するフレーム間の動きベクトルを検出し、画素補間回路１４へと送る。
画素補間回路１４では、動きベクトルとシャッタ時間などのカメラのパラメータをもとに、シャッタ閉時間の画像を生成する。画素積和演算回路１２では、入力側のフレーム時間、シャッタ時間、出力側のフレーム時間を基に、入力画像と補間画像の各画素に重みづけを行い出力画像の各画素を生成し、フレームメモリ１５に格納する。

図２を用いて本発明のフレームレート変換の特徴を説明する。図２は、本発明によるフレームレート変換装置の原理を説明するための図である。
本発明では、図２（ア）に示すようにシャッタ閉時間ｔ_cnの画像を蓄光時間ｔ_lnの画像の時間的相関を用いて生成し、シャッタ閉時間と蓄光時間の比を重みとした時間積分によってフレームレートの変換を行う。これにより多重像や不自然なブラーの発生を抑制し、人間にとって見た目が自然な合成画像（カ）が生成される。
図において時間（ｔ_f1＋ｔ_f2）の２フレームの合成画像（カ）は、蓄光時間ｔ_l1の撮像画像（イ）、シャッタ閉時間ｔ_c1の補間画像（ウ）、蓄光時間ｔ_l2の撮像画像（エ）およびシャッタ閉時間ｔ_c2の補間画像（オ）から合成される。
合成画像（カ）は、０〜ｔまでの時間の画像を合成して得られた、低フレームレート画像（１／２フレーム）である。

前述した補間画像の生成のタイミングは、種々あるので代表的な例について格別に説明する。
（補間画像の生成例Ｉ）
この生成例Ｉは、シャッタ閉時間の補間画像をその前後に位置する蓄光時間の撮像画像から生成する場合である。
図３Ａは補間画像の生成例Ｉにおける撮像画像、補間画像、出力画像の時間的関係を示すグラフ、図３Ｂは、生成例Ｉの流れ図である。
このフレームレート変換方法は、図３Ｂに示すように、補間画像形成にその画像の直前と直後の撮像画像を用いる。
第一に、両画像を用いて両画像間の動きベクトルを求める（３Ｂ−１，３Ｂ−２）。
第二に、求めた動きベクトルを用いて補間画像の各画素の値を求める（３Ｂ−３）。
第三に、撮像画像の露光時間とシャッタ閉時間の比に応じた重みをつけて、撮像画像と補間画像を積分する（３Ｂ−４）。
撮像画像のフレームレートが出力画像のフレームレートよりも高い場合には、出力画像のフレーム時間に相当する時間の間、一から三までの手順を繰り返し、結果を積分して出力画像を得る（３Ｂ−５）。

図３Ａにおいて、出力画像ｆ_o1（同図エ）は、ｔ_f1からｔ_f4までの４入力フレーム時間の画像から生成される。
出力画像ｆ_o1（同図エ）の生成に必要な撮像画像はｆ_s1，ｆ_s2，ｆ_s3，ｆ_s4である。加えて、本発明では補間画像ｆ_i1，ｆ_i2，ｆ_i3，ｆ_i4を撮像画像ｆ_s1，ｆ_s2，ｆ_s3，ｆ_s4，ｆ_s5から生成し、利用する。
本実施例では、補間画像ｆ_inの生成に撮像画像ｆ_sn，ｆ_sn+1を用いる。
補間画像は、ｆ_sn，ｆ_sn+1間の全画素の移動ベクトルを用いて生成する。移動ベクトルは、撮像画像ｆ_sn，ｆ_sn+1の間でブロックマッチング法などを用いて求める。

図４は、生成例Ｉにおける動きベクトルと画素の関係を示す説明図である。
簡単化のために移動ベクトル(1) と移動ベクトル(2) の２種類のベクトルのみを例示しているが、実際には画素数本の移動ベクトルが存在する。
移動ベクトルが通過する画素の判定は、図４に図示するようなブレセンハムのアルゴリズムのほかに、動きベクトルの芯からのユークリッド距離を引数とする重み関数を用いる方法がある。
各画素の最終的な値Ｖの決定は、その画素を通る動きベクトルが伝搬させる画素値をＰ、重みをＷとすると、

で与えられる。Ｐ，Ｗはその画素を通る動きベクトルの数だけあるため、その画素を通る動きベクトルの数をＮ、Ｐ，Ｗは添え字ｎをつけてＰ_n ，Ｗ_n で表現する。その画素を通過する動きベクトルが存在しない画素は、動きベクトル探索の基準となる画像の同一座標の画素値を最終的な画素値とする。
撮像画像の画素を座標ｘ，ｙと系列ｎを用いてＩs （ｘ，ｙ，ｎ）、生成した画像の画素をＩn （ｘ，ｙ，ｎ）とすると、出力画像の画素Ｏ（ｘ，ｙ）は、次の式で与えられる。

ここでｒは１フレーム時間に対する蓄光時間の比率を示す。図３Ａ中では、この積和演算を便宜的に○で表示している。
この生成例Ｉにおいては、補間するフレームを時間的に前後の画像から生成するため、動きベクトルの精度が高い反面、画像の出力タイミングが少なくとも１入力フレーム時間遅れる特徴がある。

（補間画像の生成例II）
この生成例IIは、補間画像を時間的にシャッタ閉時間の前に位置する蓄光時間の撮像画像から生成する場合の例を示す。
図５Ａは生成例IIの撮像画像、補間画像、出力画像の時間的関係を示す図、図５Ｂは生成例IIの流れ図である。
このフレームレート変換方法は、図５Ｂに示すように補間画像形成にその画像の直前とさらにもう１枚前の撮像画像を用いる手法である。
第一に、両画像を用いて（５Ｂ−１）、両画像間の動きベクトルを求める。
第二に、求めた動きベクトルから補間画像の前後の撮像画像間での動きベクトルを予測する（５Ｂ−２）。
第三に、求めた予測動きベクトルを用いて補間画像の各画素の値を求める（５Ｂ−３）。
第四に、撮像画像の露光時間とシャッタ閉時間の比に応じた重みをつけて、撮像画像と補間画像を積分する（５Ｂ−４）。
撮像画像のフレームレートが出力画像のフレームレートよりも高い場合には、出力画像のフレーム時間に相当する時間の間、一から四までの手順を繰り返し、結果を積分して出力画像を得る（５Ｂ−５）。

図５Ａにおいて、出力画像ｆ_o1（エ）は、ｔ_f0からｔ_f3（ア）までの４入力フレーム時間の画像から生成される。
出力画像ｆ_o1（エ）生成に必要な撮像画像はｆ_s1，ｆ_s2，ｆ_s3，ｆ_s4（ア）である。加えて、本発明では補間画像ｆ_i1，ｆ_i2，ｆ_i3，ｆ_i4（イ）を撮像画像ｆ_s0，ｆ_s1，ｆ_s2，ｆ_s3，ｆ_s4（ア）から生成し、利用する。この生成例では、補間画像ｆ_inの生成に撮像画像ｆ_sn-1，ｆ_snを用いる。

補間画像は、ｆ_sn-1，ｆ_sn間の全画素の移動ベクトルを用いて生成する。移動ベクトルは、生成例Ｉと同様に、ｆ_sn-1，ｆ_snの間でブロックマッチング法などを用いて求める。ここで求めた移動ベクトルは補間するフレームｆ_inの移動ベクトルではないため、移動ベクトルの予測を行う。時間ｎの移動ベクトルＶ_n は、移動ベクトル予測関数Ｆを用いて
Ｖ_n ＝Ｆ（ｘ，ｙ，Ｖ_n-1 ）
で表される。
移動ベクトルの予測においては、線型予測以外に直前の予測結果と実際の移動ベクトルの誤差を考慮した再帰的な予測を用いる方法がある。
求めた全画素の移動ベクトルから補間画像を生成する手法、出力画像の生成手法は生成例Ｉに準じる。
生成例IIにおいては、補間するフレームを時間的に前の画像から予測を行い生成するため、動きベクトルの精度が低い反面、画像の出力タイミングの遅れが生成例Ｉと比較して少ないという特徴がある。

（補間画像の生成例III ）
生成例III では、出力画像のフレーム時間が入力画像のフレーム時間の整数倍でない場合の例を示す。図６Ａに、撮像画像、補間画像、出力画像の時間的な位置（補間フレームの生成時間は考慮しない）関係を示し、図６Ｂに、生成例III の流れ図を示す。
このフレームレート変換方法は、出力側の画像が入力側の画像整数枚から構成されない場合に対応する手法である。
本手法では、図６Ｂに示すように、第一に生成例Ｉもしくは生成例IIの手法を用いて補間画像を生成する（６Ｂ−１，６Ｂ−２）。
処理対象となる画像が、時間的に出力画像のフレーム時間の両端にあたらない場合には、生成例Ｉもしくは生成例II同様に、撮像画像の露光時間とシャッタ閉時間の比に応じた重みをつけて、撮像画像と補間画像を積分する（６Ｂ−３）。
処理対象となる画像が、時間的に出力画像のフレーム時間の両端にあたる場合には、積分時に撮像画像の露光時間と出力フレーム時間が重複している時間が露光時間に占める割合を、補間画像のシャッタ閉時間と出力フレーム時間が重複している時間がシャッタ閉時間に占める割合をそれぞれ重みとしてさらにかけて積分する（６Ｂ−４）。
積分した画像、補間画像の時間が出力側フレーム時間の終端にあたれば終了する。

図６Ａの例では、出力側のフレーム時間ｔ_o1（イ）はｔ^a _l1＋ｔ_c1＋ｔ_l2＋ｔ_c2＋ｔ_l3＋ｔ_c3＋ｔ_l4＋ｔ^a _c4である。ここで、出力フレームのフレーム時間に属する各画像の時間を上付き添え字ａを用いて表現する。すなわち、ａとｂの関係はｔ^a _cn＋ｔ^b _cn＝ｔ_cnである。この場合、生成例Ｉに示した式を変更し、

として出力画像の各画素値を求める。
両端以外の画像では、ｔ^a _cn＝ｔ_cnである。補間画像については、生成例Ｉで述べた補間画像の生成段階で、移動ベクトルが通過する画素の判定を行う場合に、移動ベクトルの長さを時間比に応じて縮めることで、より自然な画像を生成できる。

（補間画像の生成例IV）
生成例IVでは、輝度を時間的に多段階に分割し露光を行う手法を用いた広ダイナミックレンジカメラが持つ多重像問題の軽減に利用する場合の例を示す。図７Ａに、３枚の画像から１フレームの画像を生成する方式の露光時間分布を示し、図７Ｂに生成例IVの流れ図を示す。
なお、輝度を時間的に多段階に分割し露光を行う手法とは、広ダイナミックレンジカメラにおいて用いられている撮像手法であり、具体的には、輝度の広いレンジを露光時間の異なる画像複数で分割して撮像し（露光時間が短い画像で明るい場所を、長い画像で暗い場所を撮像する）、それらを合成することで広いダイナミックレンジを得ることができる。
各露光画像において、ある画像にとって自身以外が撮像されている時間は自身にとってはシャッタが閉じているのと同じである。本手法は、動きベクトルを用いて各画像にとってのシャッタが閉じている時間の画像を生成する。ここで、生成例Ｉ，II,IIIと異なるのは、本手法が求めた（推定した）動きベクトルを時間比を用いて分割し、分割した動きベクトルから補間画像を生成する点である。動きベクトルの検出には生成例Ｉもしくは生成例IIの手法を用いる。出力画像のフレーム時間と入力画像のフレーム時間が一致しない場合は、生成例 IIIの手法を用いてフレーム間積分を行う。
図７Ｂにおいて、その出力フレームの基準となる撮像画像と、補間に用いる撮像画像をフレームバッファから読み込む（７Ｂ−１）。
ふたつの撮像画像から動きベクトルを求める（７Ｂ−２）。
動きベクトルを補間フレームが出力フレームに占める割合に応じて分割する（７Ｂ−３）。
分割した動きベクトルを用いて、補間フレームを生成する（７Ｂ−４）。
撮像画像と補間フレームを出力画像に積分する（７Ｂ−５）。
出力フレームの構築に必要な画像すべての積分が終了するまで（７Ｂ−１）〜（７Ｂ−５）を繰り返す（７Ｂ−６）。

図７Ａにおいて、ｆ_sL, ｆ_sM，ｆ_sSは、それぞれ長時間露光画像、中時間露光画像、短時間露光画像を意味する。輝度を時間的に多段階に分割し露光を行う手法では、撮像時間の異なる複数枚の画像を合成して１フレームの出力画像を生成する。すなわち、長時間露光画像にとっては中・短時間露光画像の撮像時間はシャッタ閉時間であり、中時間露光画像、短時間露光画像にとっても露光時間の異なる画像の撮像時間はその画像にとってのシャッタ閉時間である。ｆ_iL，（ｆ_iM1 ，ｆ_iM2 ），ｆ_iSは、それぞれ長時間露光補間画像、中時間露光補間画像、短時間露光補間画像を意味する。
生成例IVにおいても、補間画像生成のための動きベクトル検出を行う。動きベクトルの検出は、生成例Ｉ及び生成例IIの検出方法のいずれかを用いる。補間画像は、図７Ａに示すように長時間露光画像ｆ_sLの補間画像ｆ_iLは時間的に後の画像、中時間露光画像ｆ_sMの補間画像ｆ_iM1 は時間的に前の画像、ｆ_iM2 は時間的に後の画像、短時間露光画像ｆ_sSの補間画像ｆ_iSは時間的に前の画像というように、生成例Ｉ及び生成例IIの相関関係とは異なり一定ではない。そのため、ｆ_iL，ｆ_iM2 は生成例IIの補間画像生成手法、ｆ_iM1 ，ｆ_iSは生成例Ｉの補間画像生成手法というような使い分けもできる。
中時間露光画像のように、そのフレームの前後の補間画像を生成する場合、動きベクトルは図７Ａの例で言えばｔ₁ ＋ｔ₃ の時間の動きベクトルしか検出できない。そのため、図８に示すように動きベクトルの分割を行い、画像を生成する。例えばｆ_iM1 の場合、動きベクトル(1) の例のように動きベクトル長さａ＋ｂのうちｂだけ画素に動きベクトルを反映させる。ｆ_iM1 の場合、ａ＝ｔ₃ ，ｂ＝ｔ₁ である。ｆ_iM2 の場合は、動きベクトル(2) の例のように、動きベクトル長さｃ＋ｄのうちｃだけ画素に動きベクトルを反映させる。ｆ_iM2 の場合、ｃ＝ｔ₃ ，ｄ＝ｔ₁ である。
出力画像の生成手法は生成例Ｉに準じる。
生成例IVにおいては、輝度を時間的に多段階に分割し露光を行う手法を用いた広ダイナミックレンジカメラでの多重像を軽減できるという特徴がある。

図３Ｂに示したように、動きベクトルを求める場合にシャッタ閉時間の補間画像をその前後に位置する蓄光時間の撮像画像から生成するだけでなく、さらに前後複数枚での動きベクトルを用いて、補間画像生成に用いる動きベクトルの精度を高める方法を示す。
一般的に、動画像中の動きベクトルの進行方向が大幅に変わることはない。これは、フレームレートが高くなるほど顕著である。この経験則を用いて、誤って検出した動きベクトルの除去を行うことが可能となる。
図１０に、時刻ｔにおける補間画像の動きベクトル検出で、時刻ｔ−１とｔ＋１で求めた動きベクトルを用いる方法を例示する。時刻ｔにおける補間画像の動きベクトル(1) は、時刻ｔ−１の補間画像の動きベクトルと時刻ｔ＋１の補間画像の動きベクトル(1) との間の連続性が高い。一方で、時刻ｔにおける補間画像の動きベクトル(2) は、時刻ｔ−１の補間画像の動きベクトルと時刻ｔ＋１の補間画像の動きベクトル(2) との間の連続性が低い。この例の場合、連続性の高い時刻ｔにおける補間画像の動きベクトル(1) を確からしいものとして選び、連続性の低い時刻ｔにおける補間画像の動きベクトル(2) を信頼できないものとして除去することでより品質の高い補間画像の生成が可能である。

図５Ｂに示したように、動きベクトルを求める場合にシャッタ閉時間の補間画像を時間的にシャッタ閉時間の前に位置する蓄光時間の撮像画像から生成するだけでなく、過去の画像からもとめた動きベクトルを用いて、補間画像生成に用いる動きベクトルの予測精度を高める方法を示す。
一般的に、時間的に過去の２枚の画像から次の補間画像の動きベクトルを予測する場合、図１１の時刻ｔにおける補間画像の動きベクトル(1) のように、検出した動きベクトルがそのまま線型に進むと予測する。過去の動きベクトル検出履歴を用いることで、図１１の時刻ｔにおける補間画像の動きベクトル(2) のように曲線的な変化の予測が可能となる。

以上詳しく説明したように、本発明によれば、カメラのシャッタが閉時間の画像を推定し用いることで、高フレームレート動画像から従来よりも滑らかな低フレームレート動画像を得ることが可能である。本発明によるフレームレート変換技術は、映像製作関連産業などに広く利用できる。

本発明のフレームレート変換装置の実施例を示すブロック図である。本発明によるフレームレート変換装置の原理を説明するための図である。補間画像の生成例Ｉにおける撮像画像、補間画像、出力画像の時間的関係を示すグラフである。補間画像の生成例Ｉを説明するための流れ図である。動きベクトルと画素の関係を示す説明図である。生成例IIの撮像画像、補間画像、出力画像の時間的関係を示す図である。生成例IIを説明するための流れ図である。生成例III の撮像画像、補間画像、出力画像の時間的な位置関係を示す図である。生成例III を説明するための流れ図である。３枚の画像から１フレームの画像を生成する方式（生成例IV）における、露光時間分布を示す図である。生成例IVを説明するための流れ図である。生成例IVにおける、動きベクトルを示す図である。フレーム積分によるフレームレート変換の問題点を説明するための説明図である。生成例Ｉで両側の動きベクトルから補間画像の動きベクトルを検出する例を示す図である。生成例IIで過去の動きベクトルから次の動きベクトルを予測する例を示す図である。

符号の説明

１１フレームメモリ
１２演算回路
１３動きベクトル検出回路
１４画素補間回路
１５フレ−ムメモリ

Claims

撮像された画像からそれよりも低フレームレートの画像を生成するフレームレート変換方法であって、
撮像された画像の撮像パラメータを考慮してシャッタ開時間の画像の処理を行うステップと、
前記画像処理された画像間に補間画像を形成するために、既得の画像から取得した動きベクトルを利用してシャッタ閉時間の補間画像を形成するステップと、
前記シャッタ開時間の画像と前記補間画像から低フレームレートの画像を生成するステップとから構成したフレームレート変換方法。
請求項１記載のフレームレート変換方法において、
補間画像形成にその画像の直前と直後の撮像画像を用い、
第一に、両画像を用いて両画像間の動きベクトルを求め、
第二に、求めた動きベクトルを用いて補間画像の各画素の値を求め、
第三に、撮像画像の露光時間とシャッタ閉時間の比に応じた重みをつけて、撮像画像と補間画像を積分し、
撮像画像のフレームレートが出力画像のフレームレートよりも高い場合には、出力画像のフレーム時間に相当する時間の間、一から三までの手順を繰り返し、結果を積分して出力画像を得るフレームレート変換方法。
請求項１記載のフレームレート変換方法において、
補間画像形成にその画像の直前とさらにもう１枚前の撮像画像を用い、
第一に、両画像を用いて両画像間の動きベクトルを求め、
第二に、求めた動きベクトルから補間画像の前後の撮像画像間での動きベクトルを予測し、
第三に、求めた予測動きベクトルを用いて補間画像の各画素の値を求め、
第四に、撮像画像の露光時間とシャッタ閉時間の比に応じた重みをつけて、撮像画像と補間画像を積分し、
撮像画像のフレームレートが出力画像のフレームレートよりも高い場合には、出力画像のフレーム時間に相当する時間の間、一から四までの手順を繰り返し、結果を積分して出力画像を得るフレームレート変換方法。
請求項２記載のフレームレート変換方法において、動きベクトルを求める場合に、求める補間フレームに対して、さらに前後複数枚の画像間の動きベクトルを求め、求める補間フレームの動きベクトルの精度を高めるようにしたフレームレート変換方法。
請求項３記載のフレームレート変換方法において、動きベクトルを求める場合に、過去の履歴を用いて動きベクトルの予測精度を高めるようにしたフレームレート変換方法。
請求項１記載のフレームレート変換方法で、出力側の画像が入力側の画像整数枚から構成されない場合、
請求項２または請求項４もしくは請求項３または請求項５の手法を用いて補間画像を生成し、
処理対象となる画像が、時間的に出力画像のフレーム時間の両端にあたらない場合には、請求項２または請求項４もしくは請求項３または請求項５同様に、撮像画像の露光時間とシャッタ閉時間の比に応じた重みをつけて、撮像画像と補間画像を積分し、
処理対象となる画像が、時間的に出力画像のフレーム時間の両端にあたる場合には、積分時に、撮像画像の露光時間と出力フレーム時間が重複している時間が露光時間に占める割合を、補間画像のシャッタ閉時間と出力フレーム時間が重複している時間がシャッタ閉時間に占める割合をそれぞれ重みとしてさらに掛けて積分し、出力画像を得るフレームレート変換方法。
請求項１記載のフレームレート変換方法で、輝度を時間的に多段階に分割し露光を行う手法に適用する場合であって、
動きベクトルの検出には請求項２または請求項４もしくは請求項３または請求項５の手法を用い、
出力画像のフレーム時間と入力画像のフレーム時間が一致しない場合は、請求項６の手法を用いてフレーム間積分を行い、出力画像を得るフレームレート変換方法。
撮像された画像からそれよりも低フレームレートの画像を生成するフレームレート変換装置であって、
撮像装置と、
前記撮像装置のシャッタ開時間の画像を蓄積するフレームメモリと、
前記蓄積画像から動きベクトルを検出する動きベクトル検出回路と、
前記動きベクトルに基づいて撮像画像を修正して補間画像を形成する画素補間回路と、前記フレームメモリの画像と前記補間画像に基づいて撮像レートよりも低フレームレートの画像を生成する画素積和演算回路と、
を含んで構成したフレームレート変換装置。
請求項８記載のフレームレート変換装置において、輝度を時間的に多段階に分割し露光を行う手法を用いてフレーム画像を生成するフレームレート変換装置。