JP2020077943A - 映像補間装置及びプログラム - Google Patents

Abstract

【課題】照明状態が時分割的に変化する環境下で撮影した映像を用いて、動いている物体の形状を推定するために必要な画像を生成する。【解決手段】映像補間装置１の動き推定部１２は、同一の照明状態で撮影された映像フレームＩ（ｔ＋α），Ｉ（ｔ＋β）から、当該照明状態では撮影されていない時刻ｔの動きベクトル場Ｖ（ｔ）を推定する。動き推定部１６は、映像フレームＩ（ｔ），Ｉ（ｔ＋β）からそれぞれ生成されたエッジ映像フレームＥ（ｔ），Ｅ（ｔ＋β）に基づいて、動きベクトル場Ｖ（ｔ）に基づき定義される探索範囲内において、時刻ｔの動きベクトル場Ｗ（ｔ）を推定する。動き補償部１８は、映像フレームＩ（ｔ＋β）及び動きベクトル場Ｖ（ｔ），Ｗ（ｔ）に基づく動き補償により、時刻ｔの補間映像フレームＪ（ｔ）を生成する。【選択図】図５

Description

本発明は、動き補償による映像補間を行う装置及びプログラムに関し、特に、照明状態が変化する環境下において動き補償を行う技術に関する。

従来、スタジオでの写真または映像の撮影においては、照明装置を複数使用し、それらの姿勢、投光する範囲、輝度、色等（以下、「照明状態」という。）を適宜調整した上で、撮影を行う。映像の撮影においては、照明装置の一部または全部について、撮影中に照明状態を変化させることもある。

照明状態を変化させて撮影した映像を用いることで、被写体である物体の三次元形状を推定する技術が知られている（例えば、特許文献１を参照）。この技術は、複数の照明光源を所定の規則により点灯させることで、照度差ステレオ法に基づいて、静止している被写体上の陰影情報から被写体の三次元形状を推定するものである。

一方で、MPEG-2、MPEG-4、MPEG-4 AVC/H.264、MPEG-H HEVC/H.265等の映像符号化技術においては、映像フレーム間の時間的な相関を活用することでエントロピーを削減し、符号化効率を向上する技術として、動き補償予測技術が広く用いられている。

特許第６２３７０３２号公報

撮影中に照明状態を変化させ、映像フレーム間で被写体を追跡する場合、例えば二乗誤差最小化ブロックマッチングによる動き推定に基づく動き補償予測技術を用いると、陰影の差異に起因して動き推定が正しく動作しない可能性がある。

特に、従来の映像符号化に用いられる動き補償予測技術は、参照フレームと対象フレームとの間の誤差を最小化することが目的であり、必ずしも実際の被写体の運動を反映した動き推定を行う必要がないものとして設計される。このため、動き補償予測技術は、被写体の実際の運動を捉える用途には不適である。

前述の特許文献１の技術は、静止している被写体を対象とし、その三次元形状を推定するものであるため、被写体の運動を捉える必要はない。これに対し、動いている被写体を対象とする場合には、その運動を捉える必要がある。つまり、前述の特許文献１に記載された照度差ステレオ法を用い、積極的に照明状態を制御することで、動く被写体の三次元形状を推定するためには、その被写体の実際の運動を捉えた追跡が必要となる。

このため、照度差ステレオ法を用いて、動いている被写体の三次元形状を推定するためには、照明状態が時分割的に切り替わる環境下で撮影した、静止している被写体の映像と同様の映像が必要となる。つまり、照明状態が時分割的に切り替わる環境下において、動いている被写体の映像から、静止している被写体と同様の模擬映像を生成することができれば、照度差ステレオ法を用いて、動いている被写体の三次元形状を推定することが可能となる。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、照明状態が時分割的に変化する環境下で撮影した映像を用いて、動いている被写体（物体）の形状を推定するために必要な映像を生成可能な映像補間装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１の映像補間装置は、複数の照明状態が時分割的に切り替わる環境下で撮影された複数の映像フレームを用いて、所定の照明状態以外の他の照明状態の時刻における映像フレームを、前記所定の照明状態を模擬した状況の補間映像フレームとして生成する映像補間装置において、前記所定の照明状態で撮影された複数の前記映像フレームから、前記他の照明状態の時刻における第１の動きベクトルを推定する第１の動き推定部と、前記所定の照明状態で撮影された前記映像フレーム及び前記他の照明状態で撮影された前記映像フレームから、前記他の照明状態の時刻における第２の動きベクトルを推定する第２の動き推定部と、前記所定の照明状態で撮影された前記映像フレームに対し、前記第１の動き推定部により推定された前記第１の動きベクトル及び前記第２の動き推定部により推定された前記第２の動きベクトルに基づく動き補償を行い、前記他の照明状態の時刻における前記映像フレームを前記補間映像フレームとして生成する動き補償部と、を備え、前記第２の動き推定部が、前記第１の動き推定部により推定された前記第１の動きベクトルに基づいて探索範囲を設定し、当該探索範囲内で前記第２の動きベクトルを推定する、ことを特徴とする。

請求項１の発明によれば、他の照明状態の時刻間において物体が移動しまたは変形する場合においても、他の照明状態の時刻における映像フレームを、所定の照明状態を模擬した状況の、物体の移動または変形を抑制した補間映像フレームとして、仮想的に生成することができる。そして、補間映像フレームを、照明状態を時分割的に変化させて物体の形状を推定する照度差ステレオ法に適用することで、動いている物体の形状を推定することができる。

また、請求項２の映像補間装置は、請求項１に記載の映像補間装置において、前記第２の動き推定部が、前記第１の動きベクトルに基づいて、前記第１の動き推定部により前記第１の動きベクトルが推定されたときの第１の探索範囲よりも狭い第２の探索範囲を設定し、当該第２の探索範囲内で前記第２の動きベクトルを推定する、ことを特徴とする。

請求項２の発明によれば、第２の動きベクトルを、短時間にかつ効率的に推定することができる。

また、請求項３の映像補間装置は、請求項１または２に記載の映像補間装置において、前記第２の動き推定部を複数備え、複数の前記第２の動き推定部のそれぞれが、他の前記第２の動き推定部における前記所定の照明状態とは異なる時刻の前記映像フレーム、及び前記他の照明状態で撮影された前記映像フレームから、前記第２の動きベクトルを推定し、 前記動き補償部が、前記所定の照明状態で撮影された前記映像フレームに対し、前記第１の動き推定部により推定された前記第１の動きベクトル、及び複数の前記第２の動き推定部により推定された複数の前記第２の動きベクトルに基づく動き補償をそれぞれ行い、それぞれの動き補償の結果を合成することで、前記他の照明状態の時刻における前記映像フレームを前記補間映像フレームとして生成する、ことを特徴とする。

請求項３の発明によれば、異なる参照元の映像フレームに基づいた複数の動き補償の結果を合成するようにしたから、物体間の遮蔽による動き補償の誤りの影響を平均化することができる。また、物体の運動によって照明のあたり具合が変化することによる陰影の変化を平均化することができる。したがって、より妥当な補間映像フレームを生成することができる。

また、請求項４の映像補間装置は、請求項１から３までのいずれか一項に記載の映像補間装置において、さらに、前記所定の照明状態で撮影された前記映像フレーム及び前記他の照明状態で撮影された前記映像フレームのエッジ情報または高周波情報を抽出し、前記エッジ情報または前記高周波情報が反映された情報映像フレームを生成する抽出部を備え、前記第２の動き推定部が、前記抽出部により生成された、前記所定の照明状態の時刻における前記情報映像フレーム及び前記他の照明状態の時刻における前記情報映像フレームから、前記第２の動きベクトルを推定する、ことを特徴とする。

請求項４の発明によれば、照明状態が異なる映像フレーム間の対応付けに、照明状態の違いの影響を受け難いエッジ情報または高周波情報を用いるようにしたから、動き補償の精度及び頑健性を向上させることができる。結果として補間映像フレームの画質を向上させることができる。

さらに、請求項５のプログラムは、コンピュータを、請求項１から４までのいずれか一項に記載の映像補間装置として機能させることを特徴とする。

以上のように、本発明によれば、照明状態が時分割的に変化する環境下で撮影した映像を用いて、動いている物体の形状を推定するための映像を生成することができる。つまり、本発明により生成した映像を、例えば照度差ステレオ法に適用することで、動いている物体の形状を精度高く推定することができる。

実施例１〜３の映像補間装置が処理する映像の撮像時の照明及びカメラの配置の一例を示す図である。 複数の照明の点灯パターンの一例を示す図である。 入力映像の一例を示す図である。 実施例１〜３の映像補間装置による補間映像フレームの生成処理について、模式的に説明する図である。 実施例１の映像補間装置の構成例を示すブロック図である。 実施例１の映像補間装置の処理例を示すフローチャートである。 動きベクトルＶ（ｔ，ｘ，ｙ）の例を模式的に示す図である。 実施例２の映像補間装置の構成例を示すブロック図である。 実施例２の映像補間装置の処理例を示すフローチャートである。 実施例３の映像補間装置の構成例を示すブロック図である。 実施例３の映像補間装置の処理例を示すフローチャートである。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。図１は、実施例１〜３の映像補間装置が処理する映像の撮像時の照明及びカメラの配置の一例を示す図である。

被写体３０を照らす照明装置３１−１，３１−２が複数台（図１の例では２台）設けられており、カメラ３２は、これら照明装置３１−１，３１−２の一部または全てによって照明された被写体３０を撮影するものとする。いずれの照明装置３１−１，３１−２が点灯または消灯するかは、図示しない制御装置により、時分割的に制御されるものとする。

図２は、複数の照明の点灯パターンの一例を示す図である。図示しない制御装置は、偶数のフレーム番号（０，２，４，・・・）の映像フレームにおいて、照明装置３１−１が点灯すると共に照明装置３１−２が消灯するように、照明装置３１−１，３１−２を制御する。また、制御装置は、奇数のフレーム番号（１，３，５，・・・）の映像フレームにおいて、照明装置３１−１が消灯すると共に照明装置３１−２が点灯するように、照明装置３１−１，３１−２を制御する。

偶数のフレーム番号の映像フレームにおいて、照明装置３１−１，３１−２の点灯パターンの状態を照明状態Ａとし、奇数のフレーム番号の映像フレームにおいて、照明装置３１−１，３１−２の点灯パターンの状態を照明状態Ｂとする。

尚、図１及び図２の例では、２台の照明装置３１−１，３１−２を交互に点灯させる場合を示したがこれは一例であり、他の例を用いるようにしてもよい。例えば、３台の照明装置を用いて、偶数のフレーム番号の映像フレームでは、第１及び第２の照明装置が点灯し、奇数のフレーム番号のフレーム映像では、第２及び第３の照明装置が点灯するようにしてもよい。要するに、制御装置は、複数の照明装置のうち点灯させる照明装置の組み合わせを、時分割的に制御できればよい。

図３は、入力映像の一例を示す図であり、図２に示した点灯パターンで被写体３０が撮影された場合に、実施例１〜３の映像補間装置が入力する映像フレームＩ（ｔ）を示している。ｔはフレーム番号または時刻を示す。

この例では、被写体３０は右上方向へ移動している。映像フレームＩ（０），Ｉ（２）は、照明状態Ａにおいて撮影された被写体３０の映像を示しており、被写体３０の右斜め下部分に陰影が見られる。また、映像フレームＩ（１），Ｉ（３）は、照明状態Ｂにおいて撮影された被写体３０の映像を示しており、被写体３０の下部分に陰影が見られる。

照明状態Ａの映像フレームＩ（０），Ｉ（２）において、被写体３０の陰影位置は類似している。また、照明状態Ｂの映像フレームＩ（１），Ｉ（３）において、被写体３０の陰影位置は類似している。これに対し、照明状態Ａの映像フレームＩ（０），Ｉ（２）と照明状態Ｂの映像フレームＩ（１），Ｉ（３）との間では、被写体３０の陰影位置は異なっている。

図４は、実施例１〜３の映像補間装置による補間映像フレーム（補間画像）の生成処理について、模式的に説明する図である。図４（ａ）は、照明状態Ａにおける補間映像フレームＪ（１）を生成する例を示し、図４（ｂ）は、照明状態Ｂにおける補間映像フレームＪ（２）を生成する例を示し、図４（ｃ）は、一般的な例において補間映像フレームＪ（ｔ）を生成する処理を示す。

図４（ａ）に示すように、映像補間装置は、同一の照明状態Ａにおいて撮影されたフレーム番号０（時刻０）の映像フレームＩ（０）と、フレーム番号２（時刻２）の映像フレームＩ（２）とを合成し、補間映像フレームＪ（１）を生成する。補間映像フレームＪ（１）は、照明状態Ａでは実際に撮像されなかった（照明状態Ａを模擬した状況の（照明状態Ａにて模擬的に撮影された））フレーム番号１（時刻１）における映像フレームである。

また、図４（ｂ）に示すように、映像補間装置は、同一の照明状態Ｂにおいて撮影されたフレーム番号１（時刻１）の映像フレームＩ（１）と、フレーム番号３（時刻３）の映像フレームＩ（３）とを合成し、補間映像フレームＪ（２）を生成する。補間映像フレームＪ（２）は、照明状態Ｂでは実際に撮像されなかった（照明状態Ｂを模擬した状況の（照明状態Ｂにて模擬的に撮影された））フレーム番号２（時刻２）における映像フレームである。

より一般的には、図４（ｃ）に示すとおりとなる。映像補間装置は、同一の照明状態で撮像された時刻ｔ＋αの映像フレームＩ（ｔ＋α）と、時刻ｔ＋βの映像フレームＩ（ｔ＋β）とを合成し、補間映像フレームＪ（ｔ）を生成する。補間映像フレームＪ（ｔ）は、前記照明状態では撮影されなかった（前記照明状態を模擬した状況の（前記照明状態にて模擬的に撮影された））時刻ｔにおける映像フレームである。

好ましくは、α及びβは、α＜０＜βの条件を満たす整数とする。例えば、図２に示したように、２種類の照明状態Ａ，Ｂがフレーム番号の偶数または奇数によって切り替わる場合には、α＝−１，β＝＋１とする。

図４（ａ）（ｂ）に示したとおり、フレーム番号１において、照明状態Ａにて補間処理により生成された補間映像フレームＪ（１）、及び照明状態Ｂにて実際に撮影された映像フレームＩ（１）が得られることとなる。また、フレーム番号２において、照明状態Ａにて実際に撮影された映像フレームＩ（２）、及び照明状態Ｂにて補間処理により生成された補間映像フレームＪ（２）が得られることとなる。

つまり、映像補間装置は、フレーム番号１の時刻において、照明状態Ａの補間映像フレームＪ（１）及び照明状態Ｂの映像フレームＩ（１）を得ることができる。また、フレーム番号２の時刻において、照明状態Ａの映像フレームＩ（２）及び照明状態Ｂの補間映像フレームＪ（２）を得ることができる。これらの補間映像フレームＪ（１）及び映像フレームＩ（１）は、静止している被写体３０に対し、異なる照明状態Ａ，Ｂにおいて得られた画像であると言える。映像フレームＩ（２）及び補間映像フレームＪ（２）についても同様である。

前述の特許文献１の技術では、照明装置３１−１，３１−２を所定の規則により点灯させることで、照度差ステレオ法に基づいて、静止している被写体３０の画像の陰影情報からその形状を推定することができる。

したがって、映像補間装置は、図４（ｃ）において、同一の照明状態で撮像された映像フレームＩ（ｔ＋α），Ｉ（ｔ＋β）を合成し、補間映像フレームＪ（ｔ）を生成することにより、動いている被写体３０の形状を推定することができる。

以下に説明する実施例１〜３の映像補間装置は、同一の照明状態（例えば照明状態Ａ）で撮像された複数の映像フレームＩ（ｔ＋α），Ｉ（ｔ＋β）と、他の照明状態（例えば照明状態Ｂ）で撮像された映像フレームＩ（ｔ）とを用いる。映像補間装置は、これらの映像フレームＩ（ｔ＋α），Ｉ（ｔ），Ｉ（ｔ＋β）に基づいて、照明状態Ａでは撮像されていない（照明状態Ａにて模擬撮影された）時刻ｔの補間映像フレームＪ（ｔ）を生成する。

これにより、照明状態Ａで模擬撮影された時刻ｔの補間映像フレームＪ（ｔ）、及び照明状態Ｂで実際に撮影された時刻ｔの映像フレームＩ（ｔ）を用いて、照度差ステレオ法に基づき、動いている被写体３０の形状を推定することができる。

〔実施例１〕
まず、実施例１について説明する。図５は、実施例１の映像補間装置の構成例を示すブロック図であり、図６は、実施例１の映像補間装置の処理例を示すフローチャートである。

この映像補間装置１は、映像遅延部１１，１４、動き推定部１２，１６、エッジ抽出部１３及び動き補償部１８を備えている。映像補間装置１は、同一の照明状態における時刻ｔ＋α，ｔ＋βの映像フレームＩ（ｔ＋α），Ｉ（ｔ＋β）を入力し、異なる照明状態における時刻ｔの映像フレームＩ（ｔ）を入力する。そして、映像補間装置１は、これらの３つの映像フレームＩ（ｔ＋α），Ｉ（ｔ），Ｉ（ｔ＋β）を用いて、時刻ｔ＋βの映像フレームＩ（ｔ＋β）を基準として、時刻ｔ＋βの照明状態を模擬した状況における時刻ｔの補間映像フレームＪ（ｔ）を生成する。

これにより、同一の照明状態における時刻ｔ＋α，ｔ，ｔ＋βの映像フレームＩ（ｔ＋α）、補間映像フレームＪ（ｔ）及び映像フレームＩ（ｔ＋β）が得られる。

図５及び図６を参照して、映像補間装置１は、同一の照明状態における時刻ｔ＋α，ｔ＋βの映像フレームＩ（ｔ＋α），Ｉ（ｔ＋β）を入力すると共に、異なる照明状態における時刻ｔの映像フレームＩ（ｔ）を入力する（ステップＳ６０１）。

映像補間装置１の映像遅延部１１は、映像フレームＩを入力し、映像フレームＩを所定数のフレーム分遅延させる。そして、映像遅延部１１は、所定数のフレーム分遅延させた映像フレームＩを動き推定部１２に出力する。本例では、映像遅延部１１は、映像フレームＩ（ｔ＋β）を入力し、映像フレームＩ（ｔ＋β）を（β−α）フレーム分遅延させ、映像フレームＩ（ｔ＋α）を動き推定部１２に出力する。

動き推定部１２は、映像フレームＩ（ｔ＋β）を入力すると共に、映像遅延部１１から映像フレームＩ（ｔ＋α）を入力し、２つの映像フレームＩ（ｔ＋α），Ｉ（ｔ＋β）から、時刻ｔの動きベクトル場Ｖ（ｔ）を推定する（ステップＳ６０２）。動きベクトル場Ｖ（ｔ）は、時間１フレームあたりの動きベクトルを画素単位で並べたマップとする。

ここで、時刻ｔ、画像座標（ｘ，ｙ）の動きベクトルをＶ（ｔ，ｘ，ｙ）＝［ｕ（ｔ，ｘ，ｙ），ｖ（ｔ，ｘ，ｙ）］^Tとする（右上付きのＴは転置）。動き推定部１２は、例えばブロックマッチング法を用いて、以下の式にて、動きベクトルＶ（ｔ，ｘ，ｙ）を演算する。

前記式（１）において、Ｄ（ａ，ｂ）は、ａとｂの誤差を評価する関数であり、例えば、以下に示す絶対値誤差が用いられる。

また、Ｄ（ａ，ｂ）として、以下に示す二乗誤差が用いられる。

また、前記式（１）において、Ｒはブロック形状を表す領域であり、例えば、以下に示す矩形領域が用いられる。
ｒ_x，ｒ_yは非負の実数とし、［・，・］は閉区間を表す。例えば、ｒ_x＝ｒ_y＝７とすると、動き推定部１２は、１５×１５画素の矩形ブロックでブロックマッチングを実行することとなる。

また、前記式（１）において、Ｓは探索領域（探索範囲）であり、例えば、以下に示す矩形領域が用いられる。
ｓ_x，ｓ_yは非負の実数とする。例えば、ｓ_x＝ｓ_y＝１０とすると、動き推定部１２は、水平方向±１０画素及び垂直方向±１０画素の範囲で、ブロックマッチングの探索を実行することとなる。

図７は、動きベクトルＶ（ｔ，ｘ，ｙ）の例を模式的に示す図である。図７において、左側は参照画像（時刻ｔ＋αにおける映像フレームＩ（ｔ＋α））を示し、中央は時間ｔの補間映像フレームＪ（ｔ）を示し、右側は、参照画像（時刻ｔ＋βにおける映像フレームＩ（ｔ＋β））を示す。Ｐ１は、動きベクトルを求めたい座標ｘ，ｙを示し、Ｂ１は、映像フレームＩ（ｔ＋α）上のブロックを示し、Ｂ２は、映像フレームＩ（ｔ＋β）上のブロックを示す。

時刻ｔにおける画像座標Ｐ１（ｘ，ｙ）の動きベクトルＶ（ｔ，ｘ，ｙ）は、ベクトル［ｕ，ｖ］^Tを時刻差（ここではα及びβ）倍したそれぞれの位置を中心とするブロックＢ１，Ｂ２を参照し、両ブロックＢ１，Ｂ２の差異が最も小さくなるベクトル［ｕ，ｖ］^Tを探索することにより得られる。この場合のブロックＢ１の中心は（ｘ＋αｕ，ｙ＋αｖ）であり、ブロックＢ２の中心は（ｘ＋βｕ，ｙ＋βｖ）である。

尚、動き推定部１２は、動きベクトル場Ｖ（ｔ）を推定する際に、全画素位置に関して個々の動きベクトルを算出しないで、間引いた画素位置のみについて動きベクトルを算出するようにしてもよい。この場合、動きベクトルが算出されなかった画素位置については、動きベクトルが算出されている最近傍（例えば、ユークリッド距離による）の画素位置の動きベクトルを以て、当該画素の動きベクトルと見なしてもよい（最近傍補間）。また、動きベクトルが算出されなかった画素位置については、その周囲の複数の動きベクトルが算出されている画素位置の動きベクトルを用いて、補間処理を行い、当該画素の動きベクトルを合成するようにしてもよい（例えば、双一次補間や双三次補間による）。

また、動き推定部１２は、前記数式（１）〜（３）に示した誤差の最小化によるブロックマッチング法を用いる代わりに、例えば、相互相関値の最大化によるブロックマッチング法を用いるようにしてもよい。さらに、動き推定部１２は、ブロックマッチング法の代わりに、勾配法を用いるようにしてもよい。

図５及び図６に戻って、エッジ抽出部１３は、映像フレームＩを入力し、エッジ情報を抽出し、エッジ情報が反映されたエッジ映像フレーム（情報映像フレーム）Ｅを生成して映像遅延部１４及び動き推定部１６に出力する。エッジ情報は、テクスチャ情報に比べて照明状態の変化に対する見た目の変化が少ないため、後段の動き推定部１６を、異なる照明状態下で正常に動作させることができ、精度の高い動きベクトル場Ｗ（ｔ）を推定することができる。

本例では、エッジ抽出部１３は、後段の動き推定部１６の動作に対応させるため、映像フレームＩ（ｔ），Ｉ（ｔ＋β）からエッジを抽出し、エッジ映像フレームＥ（ｔ），Ｅ（ｔ＋β）を生成する（ステップＳ６０３）。

エッジ抽出部１３は、例えば、Laplacian（ラプラシアン）フィルタ、Sobel（ソーベル）フィルタ、Prewitt（プレヴィット）フィルタ等を用いてエッジ抽出を行う。

エッジ抽出部１３は、ラプラシアンフィルタを用いる場合、以下の式にて、エッジ映像フレームＥ（ｔ＋β）を演算する。

また、エッジ抽出部１３は、ソーベルフィルタを用いる場合、以下の式にて、エッジ映像フレームＥ（ｔ＋β）を演算する。

また、エッジ抽出部１３は、プレヴィットフィルタを用いる場合、以下の式にて、エッジ映像フレームＥ（ｔ＋β）を演算する。

尚、エッジ抽出部１３は、エッジ情報を抽出した後または抽出する前に、低域通過型フィルタを適用してもよい。低域通過型フィルタとしては、例えば、移動平均による平滑化、Gaussian（ガウシアン）フィルタを用いることができる。例えば、エッジ抽出部１３は、前記式（６）のラプラシアンフィルタ及びガウシアンを組み合わせたＬＯＧ（Laplacian of Gaussian）フィルタを適用するようにしてもよい。

また、エッジ抽出部１３は、高域通過型フィルタ、帯域通過型フィルタ等の線形フィルタ、またはCanny（キャニー）エッジ検出器等の非線形フィルタを用いて、エッジ映像フレームＥ（ｔ＋β）を演算するようにしてもよい。

映像遅延部１４は、エッジ映像フレームＥを入力し、エッジ映像フレームＥを所定数のフレーム分遅延させる。そして、映像遅延部１４は、所定数のフレーム分遅延させたエッジ映像フレームＥを動き推定部１６に出力する。本例では、映像遅延部１４は、エッジ映像フレームＥ（ｔ＋β）を入力し、エッジ映像フレームＥ（ｔ＋β）をβフレーム分遅延させ、エッジ映像フレームＥ（ｔ）を動き推定部１６に出力する。

動き推定部１６は、映像遅延部１４からエッジ映像フレームＥ（ｔ）を入力すると共に、エッジ抽出部１３からエッジ映像フレームＥ（ｔ＋β）を入力し、さらに、動き推定部１２から動きベクトル場Ｖ（ｔ）を入力する。そして、動き推定部１６は、動きベクトル場Ｖ（ｔ）に基づいて、当該動きベクトル場Ｖ（ｔ）を反映した探索範囲を限定して定義（設定）する。動き推定部１６は、エッジ映像フレームＥ（ｔ），Ｅ（ｔ＋β）に基づき、その探索範囲内において時刻ｔの動きベクトル場Ｗ（ｔ）を推定する（ステップＳ６０４）。動きベクトル場Ｗ（ｔ）は、時間１フレームあたりの動きベクトルを画素単位で並べたマップとする。

ここで、時刻ｔ、画像座標（ｘ，ｙ）の動きベクトルをＷ（ｔ，ｘ，ｙ）＝［ｚ（ｔ，ｘ，ｙ），ｗ（ｔ，ｘ，ｙ）］^Tとする。動き推定部１６は、例えばブロックマッチング法を用いて、以下の式にて、動きベクトルＷ（ｔ，ｘ，ｙ）を演算する。この場合、動き推定部１６は、動き推定部１２により演算された同画像座標（ｘ，ｙ）の動きベクトルＶ（ｔ，ｘ，ｙ）＝［ｕ（ｔ，ｘ，ｙ），ｖ（ｔ，ｘ，ｙ）］^Tに基づき定義される探索範囲内において、動きベクトルＷ（ｔ，ｘ，ｙ）を演算する。

前記式（９）において、Ｒ’はブロック形状を表す領域であり、例えば、以下に示す矩形領域が用いられる。
ｒ’_x，ｒ’_yは非負の実数とする。ｒ’_x ，ｒ’_yは、例えば前記ｒ_x，ｒ_yとそれぞれ同一の値としてもよい。例えば、ｒ’_x＝ｒ’_y＝７とすると、動き推定部１６は、１５×１５画素の矩形ブロックでブロックマッチングを実行することとなる。

また、前記式（９）において、Ｓ’は探索領域（探索範囲）である。Ｓ’＝Ｓでもよいが、好ましくはＳ’⊂Ｓとする。つまり、探索範囲Ｓ’は、探索範囲Ｓよりも狭いことが望ましい。これにより、同一の照明状態下で撮像された映像フレームＩ（ｔ＋α），Ｉ（ｔ＋β）間の照合は、動き推定部１２によってテクスチャを用いて頑健に実行し、その結果によって探索範囲Ｓ’を狭めつつ、異なる照明状態下で撮影された映像フレームＩ（ｔ）のエッジ情報に基づき、動き推定部１６において動きベクトルＷ（ｔ，ｘ，ｙ）の精度を向上させることができる。

Ｓ’は、例えば、以下に示す矩形領域が用いられる。

ｓ’_x，ｓ’_yは非負の実数とする。例えば、ｓ’_x＝ｓ’_y＝３とすると、動き推定部１６は、水平方向±３画素及び垂直方向±３画素の範囲で、ブロックマッチングの探索を実行することとなる。

動き補償部１８は、映像フレームＩ（ｔ＋β）を入力すると共に、動き推定部１２から動きベクトル場Ｖ（ｔ）を入力し、さらに、動き推定部１６から動きベクトル場Ｗ（ｔ）を入力する。そして、動き補償部１８は、映像フレームＩ（ｔ＋β）に対し、動きベクトル場Ｖ（ｔ），Ｗ（ｔ）に基づく動き補償を実行することで、同一の照明状態で撮影されていない時刻ｔの補間映像フレームＪ（ｔ）を生成する（ステップＳ６０５）。動き補償部１８は、補間映像フレームＪ（ｔ）を出力する（ステップＳ６０６）。

具体的には、動き補償部１８は、以下の式により、時刻ｔ＋βにおける映像フレームＩ（ｔ＋β）に対し、動きベクトル場Ｖ（ｔ）＝［ｕ（ｔ），ｖ（ｔ）］^T，Ｗ（ｔ）＝［ｚ（ｔ），ｗ（ｔ）］^Tに基づく動き補償を実行することで、時刻ｔの補間映像フレームＪ（ｔ）を演算する。

すなわち、動き補償部１８は、時刻ｔにおける補間映像フレームＪ（ｔ）のｘ値を求める際に、動きベクトルＶ（ｔ，ｘ，ｙ）＝［ｕ（ｔ，ｘ，ｙ），ｖ（ｔ，ｘ，ｙ）］^Tのｕ（ｔ，ｘ，ｙ）値に動きベクトルＷ（ｔ，ｘ，ｙ）＝［ｚ（ｔ，ｘ，ｙ），ｗ（ｔ，ｘ，ｙ）］^Tのｚ（ｔ，ｘ，ｙ）値を加算し、加算結果にβを乗算し、乗算結果に映像フレームＩ（ｔ＋β）のｘ値を加算する。また、動き補償部１８は、時刻ｔにおける補間映像フレームＪ（ｔ）のｙ値を求める際に、動きベクトルＶ（ｔ，ｘ，ｙ）＝［ｕ（ｔ，ｘ，ｙ），ｖ（ｔ，ｘ，ｙ）］^Tのｖ（ｔ，ｘ，ｙ）値に動きベクトルＷ（ｔ，ｘ，ｙ）＝［ｚ（ｔ，ｘ，ｙ），ｗ（ｔ，ｘ，ｙ）］^Tのｗ（ｔ，ｘ，ｙ）値を加算し、加算結果にβを乗算し、乗算結果に映像フレームＩ（ｔ＋β）のｙ値を加算する。

以上のように、実施例１の映像補間装置１によれば、動き推定部１２は、同一の照明状態で撮影された映像フレームＩ（ｔ＋α），Ｉ（ｔ＋β）から、当該照明状態では撮影されていない時刻ｔの動きベクトル場Ｖ（ｔ）を推定する。

動き推定部１６は、映像フレームＩ（ｔ）から生成されたエッジ映像フレームＥ（ｔ）及び映像フレームＩ（ｔ＋β）から生成されたエッジ映像フレームＥ（ｔ＋β）に基づいて、動きベクトル場Ｖ（ｔ）に基づき定義される探索範囲内において、当該照明状態で撮影されていない時刻ｔの動きベクトル場Ｗ（ｔ）を推定する。

動き補償部１８は、映像フレームＩ（ｔ＋β）及び動きベクトル場Ｖ（ｔ），Ｗ（ｔ）に基づく動き補償により、当該照明状態で撮影されていない時刻ｔの補間映像フレームＪ（ｔ）を生成する。

これにより、映像フレームＩ（ｔ＋β）（すなわち、映像フレームＩ（ｔ＋α））と同じ照明状態で撮影した状況を模擬した補間映像フレームＪ（ｔ）が前方予測にて生成される。そして、当該照明状態とは異なる照明状態で撮影された時刻ｔの映像フレームＩ（ｔ）、及び当該照明状態で撮影した状況を模擬した時刻ｔの補間映像フレームＪ（ｔ）に基づき、例えば照度差ステレオ法を用いることで、動いている物体の形状を推定することができる。

したがって、実施例１の映像補間装置１により、照明状態が時分割的に変化する環境下で撮影した映像フレームＩ（ｔ＋α），Ｉ（ｔ），Ｉ（ｔ＋β）を用いて、動いている物体の形状を推定するための補間映像フレームＪ（ｔ）を前方予測にて生成することができる。つまり、照明状態が時分割的に変化する環境下で撮影した映像を用いて、物体の実際の動きを捉えた追跡を行うことができ、これにより生成した映像を、例えば照度差ステレオ法に適用することで、動いている物体の形状を精度高く推定することができる。

また、エッジ映像フレームＥ（ｔ），Ｅ（ｔ＋β）は、照明状態の違いの影響を受け難い画像であるから、動き推定部１６において、精度の高い動きベクトル場Ｗ（ｔ）を推定することができる。その結果、動き補償部１８において、動き補償の精度及び頑健性を向上させることができ、補間映像フレームＪ（ｔ）の画質を向上させることができる。

〔実施例２〕
次に、実施例２について説明する。図８は、実施例２の映像補間装置の構成例を示すブロック図であり、図９は、実施例２の映像補間装置の処理例を示すフローチャートである。

この映像補間装置２は、映像遅延部１１，１４，１５、動き推定部１２，１７、エッジ抽出部１３及び動き補償部１９を備えている。映像補間装置２は、同一の照明状態における時刻ｔ＋α，ｔ＋βの映像フレームＩ（ｔ＋α），Ｉ（ｔ＋β）を入力し、異なる照明状態における時刻ｔの映像フレームＩ（ｔ）を入力する。そして、映像補間装置２は、これらの３つの映像フレームＩ（ｔ＋α），Ｉ（ｔ），Ｉ（ｔ＋β）を用いて、時刻ｔ＋αの映像フレームＩ（ｔ＋α）を基準として、これと同一の照明状態で撮影した状況を模擬した時刻ｔの補間映像フレームＪ（ｔ）を生成する。

これにより、同一の照明状態における時刻ｔ＋α，ｔ，ｔ＋βの映像フレームＩ（ｔ＋α）、補間映像フレームＪ（ｔ）及び映像フレームＩ（ｔ＋β）が得られる。

以下、映像遅延部１１、動き推定部１２、エッジ抽出部１３及び映像遅延部１４は、図５に示した実施例１と同一であるから、ここでは説明を省略する。また、図９のステップＳ９０１〜Ｓ９０３は、図６に示した実施例１のステップＳ６０１〜Ｓ６０３と同一であるから、ここでは説明を省略する。

映像遅延部１５は、映像遅延部１４からエッジ映像フレームＥを入力し、エッジ映像フレームＥを所定数のフレーム分遅延させる。そして、映像遅延部１５は、所定数のフレーム分遅延させたエッジ映像フレームＥを動き推定部１７に出力する。本例では、映像遅延部１５は、映像遅延部１４からエッジ映像フレームＥ（ｔ）を入力し、映像フレームＩ（ｔ）をαフレーム分遅延させ、エッジ映像フレームＥ（ｔ＋α）を動き推定部１７に出力する。

動き推定部１７は、映像遅延部１５からエッジ映像フレームＥ（ｔ＋α）を入力すると共に、映像遅延部１４からエッジ映像フレームＥ（ｔ）を入力し、さらに、動き推定部１２から動きベクトル場Ｖ（ｔ）を入力する。そして、動き推定部１７は、動きベクトル場Ｖ（ｔ）に基づいて、当該動きベクトル場Ｖ（ｔ）を反映した探索範囲を限定して定義（設定）する。動き推定部１７は、エッジ映像フレームＥ（ｔ＋α），Ｅ（ｔ）に基づいて、その探索範囲内において、時刻ｔの動きベクトル場Ｗ_B（ｔ）を推定する（ステップＳ９０４）。動きベクトル場Ｗ_B（ｔ）は、時間１フレームあたりの動きベクトルを画素単位で並べたマップとする。

ここで、時刻ｔ、画像座標（ｘ，ｙ）の動きベクトルをＷ_B（ｔ，ｘ，ｙ）＝［ｚ_B（ｔ，ｘ，ｙ），ｗ_B（ｔ，ｘ，ｙ）］^Tとする。動き推定部１７は、例えばブロックマッチング法を用いて、以下の式にて、動きベクトルＷ_B（ｔ，ｘ，ｙ）を演算する。この場合、動き推定部１７は、動き推定部１２により演算された同画像座標（ｘ，ｙ）の動きベクトルＶ（ｔ，ｘ，ｙ）＝［ｕ（ｔ，ｘ，ｙ），ｖ（ｔ，ｘ，ｙ）］^Tに基づき定義される探索範囲内において、動きベクトルＷ_B（ｔ，ｘ，ｙ）を演算する。

前記式（１３）において、Ｒ_B’はブロック形状を表す領域であり、例えば、以下に示す矩形領域が用いられる。
ｒ”_x，ｒ”_yは非負の実数とする。ｒ”_x，ｒ”_yは、例えば前記ｒ_x，ｒ_yとそれぞれ同一の値としてもよい。例えば、ｒ”_x＝ｒ”_y＝７とすると、動き推定部１７は、１５×１５画素の矩形ブロックでブロックマッチングを実行することとなる。

また、前記式（１３）において、Ｓ_B’は探索領域（探索範囲）である。好ましくはＳ’⊂Ｓとする。これにより、同一の照明状態下で撮像された映像フレームＩ（ｔ＋α），Ｉ（ｔ＋β）間の照合は、動き推定部１２によってテクスチャを用いて頑健に実行し、その結果によって探索範囲Ｓ’を狭めつつ、異なる照明状態下で撮影された映像フレームＩ（ｔ）のエッジ情報に基づき、動き推定部１７において動きベクトルＷ_B（ｔ，ｘ，ｙ）の精度を向上させることができる。

Ｓ_B’は、例えば、以下に示す矩形領域が用いられる。

ｓ”_x，ｓ”_yは非負の実数とする。例えば、ｓ”_x＝ｓ”_y＝３とすると、動き推定部１７は、水平方向±３画素及び垂直方向±３画素の範囲で、ブロックマッチングの探索を実行することとなる。

動き補償部１９は、映像遅延部１１から映像フレームＩ（ｔ＋α）を入力すると共に、動き推定部１２から動きベクトル場Ｖ（ｔ）を入力し、さらに、動き推定部１７から動きベクトル場Ｗ_B（ｔ）を入力する。そして、動き補償部１９は、映像フレームＩ（ｔ＋α）及び動きベクトル場Ｖ（ｔ），Ｗ_B（ｔ）に基づく動き補償により、同一の照明状態で撮影されていない時刻ｔの補間映像フレームＪ（ｔ）を生成する（ステップＳ９０５）。動き補償部１９は、補間映像フレームＪ（ｔ）を出力する（ステップＳ９０６）。

具体的には、動き補償部１９は、以下の式により、時刻ｔ＋αにおける映像フレームＩ（ｔ＋α）に対し、動きベクトル場Ｖ（ｔ）＝［ｕ（ｔ），ｖ（ｔ）］^T，Ｗ_B（ｔ）＝［ｚ_B（ｔ），ｗ_B（ｔ）］^Tに基づく動き補償を実行することで、時刻ｔの補間映像フレームＪ（ｔ）を演算する。

以上のように、実施例２の映像補間装置２によれば、動き推定部１２は、同一の照明状態で撮影された映像フレームＩ（ｔ＋α），Ｉ（ｔ＋β）から、当該照明状態では撮影されていない時刻ｔの動きベクトル場Ｖ（ｔ）を推定する。

動き推定部１７は、映像フレームＩ（ｔ＋α）から生成されたエッジ映像フレームＥ（ｔ＋α）及び映像フレームＩ（ｔ）から生成されたエッジ映像フレームＥ（ｔ）に基づいて、動きベクトル場Ｖ（ｔ）に基づき定義される探索範囲内において、当該照明状態で撮影されていない時刻ｔの動きベクトル場Ｗ_B（ｔ）を生成する。

動き補償部１９は、映像フレームＩ（ｔ＋α）及び動きベクトル場Ｖ（ｔ），Ｗ_B（ｔ）に基づく動き補償により、当該照明状態で撮影されていない時刻ｔの補間映像フレームＪ（ｔ）を生成する。

これにより、映像フレームＩ（ｔ＋α）（すなわち、映像フレームＩ（ｔ＋β））と同じ照明状態で撮影した状況を模擬した補間映像フレームＪ（ｔ）が後方予測にて生成される。そして、実施例１と同様に、当該照明状態とは異なる照明状態で撮影された時刻ｔの映像フレームＩ（ｔ）、及び当該照明状態で撮影した状況を模擬した時刻ｔの補間映像フレームＪ（ｔ）に基づき、例えば照度差ステレオ法を用いることで、動いている物体の形状を推定することができる。

したがって、実施例２の映像補間装置２により、照明状態が時分割的に変化する環境下で撮影した映像フレームＩ（ｔ＋α），Ｉ（ｔ），Ｉ（ｔ＋β）を用いて、動いている物体の形状を推定するための補間映像フレームＪ（ｔ）を後方予測にて生成することができる。つまり、実施例１と同様に、照明状態が時分割的に変化する環境下で撮影した映像を用いて、物体の実際の動きを捉えた追跡を行うことができ、これにより生成した映像を、例えば照度差ステレオ法に適用することで、動いている物体の形状を精度高く推定することができる。

また、エッジ映像フレームＥ（ｔ＋α），Ｅ（ｔ）は、照明状態の違いの影響を受け難い画像であるから、動き推定部１７において、精度の高い動きベクトル場Ｗ_B（ｔ）を推定することができる。その結果、動き補償部１９において、動き補償の精度及び頑健性を向上させることができ、補間映像フレームＪ（ｔ）の画質を向上させることができる。

〔実施例３〕
次に、実施例３について説明する。図１０は、実施例３の映像補間装置の構成例を示すブロック図であり、図１１は、実施例３の映像補間装置の処理例を示すフローチャートである。

この映像補間装置３は、映像遅延部１１，１４，１５、動き推定部１２，１６，１７、エッジ抽出部１３、動き補償部１８，１９及び画像合成部２０を備えている。映像補間装置３は、同一の照明状態における時刻ｔ＋α，ｔ＋βの映像フレームＩ（ｔ＋α），Ｉ（ｔ＋β）を入力し、異なる照明状態における時刻ｔの映像フレームＩ（ｔ）を入力する。そして、映像補間装置３は、実施例１と同じ処理にて前方予測補間映像フレームＪ_F（ｔ）を生成し、実施例２と同じ処理にて後方予測補間映像フレームＪ_B（ｔ）を生成し、これらを合成して時刻ｔの補間映像フレームＪ（ｔ）を生成する。つまり、映像補間装置３は、３つの映像フレームＩ（ｔ＋α），Ｉ（ｔ），Ｉ（ｔ＋β）を用いて、時刻ｔ＋α，ｔ＋βの映像フレームＩ（ｔ＋α），Ｉ（ｔ＋β）を基準として、これらと同一の照明状態で撮影した状況を模擬した時刻ｔの補間映像フレームＪ（ｔ）を生成する。

これにより、同一の照明状態における時刻ｔ＋α，ｔ，ｔ＋βの映像フレームＩ（ｔ＋α）、補間映像フレームＪ（ｔ）及び映像フレームＩ（ｔ＋β）が得られる。

以下、映像遅延部１１，１４、動き推定部１２，１６、エッジ抽出部１３及び動き補償部１８は、図５に示した実施例１と同一であるから、ここでは説明を省略する。また、映像遅延部１５、動き推定部１７及び動き補償部１９は、図８に示した実施例２と同一であるから、ここでは説明を省略する。さらに、図１１のステップＳ１１０１，Ｓ１１０２，Ｓ１１０４，Ｓ１１０６は、図６に示した実施例１のステップＳ６０１，Ｓ６０２，Ｓ６０４，Ｓ６０５と同一であり、図１１のステップＳ１１０５，Ｓ１１０７は、図９に示した実施例２のステップＳ９０４，Ｓ９０５と同一であり、図１１のステップＳ１１０３は、図６に示した実施例１のステップＳ６０３及び図９に示した実施例２のステップＳ９０３を結合したものであるから、ここでは説明を省略する。

尚、動き推定部１６が出力する動きベクトル場をＷ_F（ｔ）とし、動き補償部１８が出力する補間映像フレームを前方予測補間映像フレームＪ_F（ｔ）とし、動き補償部１９が出力する補間映像フレームを後方予測補間映像フレームＪ_B（ｔ）とする。

画像合成部２０は、動き補償部１８から前方予測補間映像フレームＪ_F（ｔ）を入力すると共に、動き補償部１９から後方予測補間映像フレームＪ_B（ｔ）を入力する。そして、画像合成部２０は、前方予測補間映像フレームＪ_F（ｔ）及び後方予測補間映像フレームＪ_B（ｔ）を画素位置毎に合成し、その合成結果を補間映像フレームＪ（ｔ）として生成する（ステップＳ１１０８）。そして、画像合成部２０は、補間映像フレームＪ（ｔ）を出力する（ステップＳ１１０９）。

画像合成部２０は、例えば、以下の式にて、前方予測補間映像フレームＪ_F（ｔ）及び後方予測補間映像フレームＪ_B（ｔ）における画素位置毎の画素値の相加平均を演算し、補間映像フレームＪ（ｔ）を求める。

また、画像合成部２０は、前方予測補間映像フレームＪ_F（ｔ）及び後方予測補間映像フレームＪ_B（ｔ）における画素位置毎の画素値の重み付き平均を演算し、補間映像フレームＪ（ｔ）を求めるようにしてもよい。

重み付けの方法としては、例えば、動き補償部１８，１９における動き補償時の参照フレームまでの時間的な距離に対し、広義単調減少の関数を適用した値に基づく重み付けとすることができる。例えば、以下の式のとおり、動き補償部１８，１９における動き補償時の参照フレームまでの時間的な距離に反比例した重み付けとすることができる。

また、別の重み付けの方法としては、例えば、以下の式（１９）にて演算した動き推定部１６における最小誤差と、以下の式（２０）にて演算した動き推定部１７における最小誤差とに基づく重み付けとすることができる。最小誤差が相対的に小さくなるほど、重み付けは大きくなり、最小誤差が相対的に大きくなるほど、重み付けは小さくなる。

この場合、画像合成部２０は、前記式（１９）（２０）の演算結果を用いて、以下の式にて、補間映像フレームＪ（ｔ）を求める。
ここで、関数γ（ｅ）は、ｅに対して広義単調減少の任意の関数とする。

さらに、別の重み付けの方法としては、動き補償部１８，１９における動き補償時の参照フレームまでの時間的な距離、及び最小誤差ε_F（ｔ，ｘ，ｙ），ε_B（ｔ，ｘ，ｙ）に基づく重み付けとすることができる。

この場合、画像合成部２０は、前記式（１９）（２０）の演算結果を用いて、以下の式にて、補間映像フレームＪ（ｔ）を求める。
ここで、関数λ（τ，ｅ）は、τに対して広義単調減少かつｅに対して広義単調減少の任意の関数とする。

以上のように、実施例３の映像補間装置３によれば、画像合成部２０は、実施例１と同じ処理にて生成された前方予測補間映像フレームＪ_F（ｔ）、及び実施例２と同じ処理にて生成された後方予測補間映像フレームＪ_B（ｔ）を画素位置毎に合成し、補間映像フレームＪ（ｔ）を生成する。

これにより、映像フレームＩ（ｔ＋α），Ｉ（ｔ＋β）と同じ照明状態で撮影した状況を模擬した補間映像フレームＪ（ｔ）が、後方予測及び前方予測の結果を利用して生成される。そして、実施例１，２と同様に、当該照明状態とは異なる照明状態で撮影された時刻ｔの映像フレームＩ（ｔ）、及び当該照明状態で撮影した状況を模擬した時刻ｔの補間映像フレームＪ（ｔ）に基づき、例えば照度差ステレオ法を用いることで、動いている物体の形状を推定することができる。

したがって、実施例３の映像補間装置３により、照明状態が時分割的に変化する環境下で撮影した映像フレームＩ（ｔ＋α），Ｉ（ｔ），Ｉ（ｔ＋β）を用いて、動いている物体の形状を推定するための補間映像フレームＪ（ｔ）を、前方予測及び後方予測の結果を利用して生成することができる。つまり、実施例１，２と同様に、照明状態が時分割的に変化する環境下で撮影した映像を用いて、物体の実際の動きを捉えた追跡を行うことができ、これにより生成した映像を、例えば照度差ステレオ法に適用することで、動いている物体の形状を精度高く推定することができる。

また、実施例１，２と同様に、エッジ映像フレームＥ（ｔ＋α），Ｅ（ｔ），Ｅ（ｔ＋β）は、照明状態の違いの影響を受け難い画像であるから、動き推定部１６，１７において、精度の高い動きベクトル場Ｗ_F（ｔ），Ｗ_B（ｔ）を推定することができる。その結果、動き補償部１８，１９において、動き補償の精度及び頑健性を向上させることができ、画像合成部２０において、補間映像フレームＪ（ｔ）の画質を向上させることができる。

また、異なる参照元の映像フレームＩ（ｔ＋α），Ｉ（ｔ＋β）に基づいた複数の動き補償の結果を合成するようにしたから、物体間の遮蔽による動き補償の誤りの影響を平均化することができる。また、物体の運動によって照明のあたり具合が変化することによる陰影の変化を平均化することができる。したがって、実施例１，２に比べ、より妥当な（精度の高い）補間映像フレームＪ（ｔ）を生成することができる。

以上、実施例１〜３を挙げて本発明を説明したが、本発明は前記実施例１〜３に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施例１〜３の映像補間装置１〜３に備えたエッジ抽出部１３は、映像フレームＩからエッジ情報を抽出し、エッジ映像フレームＥを生成するようにした。これに対し、エッジ抽出部１３に代わる高周波抽出部は、映像フレームＩから高周波情報を抽出し、エッジ映像フレームＥに代えて、高周波情報が反映された高周波映像フレーム（情報映像フレーム）を生成するようにしてもよい。この場合、動き推定部１６，１７は、高周波映像フレームを用いて動きベクトル場Ｗ（ｔ）（Ｗ_F（ｔ）），Ｗ_B（ｔ）を推定する。

高周波情報は、エッジ情報と同様に、テクスチャ情報に比べて照明状態の変化に対する見た目の変化が少ないため、後段の動き推定部１６，１７を、異なる照明状態下で正常に動作させることができ、精度の高い動きベクトル場Ｗ（ｔ）（Ｗ_F（ｔ）），Ｗ_B（ｔ）を推定することができる。

この場合、高周波抽出部は、エッジ抽出部１３と同様に、ラプラシアンフィルタ等を用いるようにしてもよいし、高周波情報を抽出した後または抽出する前に、低域通過型フィルタ等を適用してもよい。尚、映像補間装置１〜３は、エッジ抽出部１３または高周波抽出部に代えて、他の抽出部を備えるようにしてもよい。要するに、エッジ抽出部１３等の抽出部は、テクスチャ情報に比べて照明状態の変化に対する見た目の変化が少ない情報を映像フレームＩから抽出し、動きベクトル場Ｗ（ｔ）（Ｗ_F（ｔ）），Ｗ_B（ｔ）を推定するための情報映像フレームを生成できればよい。

また、前記実施例１〜３の映像補間装置１〜３は、エッジ抽出部１３を備えるようにしたが、エッジ抽出部１３を備えていなくてもよい。この場合、映像遅延部１４は、エッジ映像フレームＥを入力する代わりに映像フレームＩを入力し、所定数のフレーム分遅延させたエッジ映像フレームＥを出力する代わりに、所定数のフレーム分遅延させた映像フレームＩを出力する。映像遅延部１５も映像遅延部１４と同様である。そして、動き推定部１６は、エッジ映像フレームＥ（ｔ），Ｅ（ｔ＋β）の代わりに映像フレームＩ（ｔ），Ｉ（ｔ＋β）を入力する。動き推定部１７は、エッジ映像フレームＥ（ｔ＋α），Ｅ（ｔ）の代わりに映像フレームＩ（ｔ＋α），Ｉ（ｔ）を入力する。

また、前記実施例１〜３では、２つの照明状態が時分割的に切り替わる場合を例にて説明した。本発明は、２つの照明状態だけでなく、３つ以上の照明状態が時分割的に切り替わる場合にも適用がある。

また、前記実施例３の映像補間装置３は、時刻ｔ＋βを基準として処理を行う動き推定部１６及び時刻ｔ＋αを基準として処理を行う動き推定部１７を備えるようにした。本発明は、２つの動き推定部１６，１７だけでなく、３以上の動き推定部１６，１７等を備える場合にも適用がある。３以上の動き推定部１６，１７等のそれぞれは、異なる時刻を基準として処理を行う。つまり、３以上の動き推定部１６，１７等のそれぞれは、他の動き推定部１６，１７等とは異なる時刻のエッジ映像フレームＥ、及び時刻ｔのエッジ映像フレームＥ（ｔ）を用いて処理を行う。例えば、３以上の動き推定部１６，１７等のそれぞれは、他の動き推定部１６，１７等が照明状態Ａ，Ｂの時刻のエッジ映像フレームＥを用いた場合、照明状態Ａ以外の状態及び照明状態Ｂの時刻のエッジ映像フレームＥを用いて処理を行う。

尚、本発明の実施例１〜３による映像補間装置１〜３のハードウェア構成としては、通常のコンピュータを使用することができる。映像補間装置１〜３は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

映像補間装置１に備えた映像遅延部１１，１４、動き推定部１２，１６、エッジ抽出部１３及び動き補償部１８の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、映像補間装置２に備えた映像遅延部１１，１４，１５、動き推定部１２，１７、エッジ抽出部１３及び動き補償部１９の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、映像補間装置３に備えた映像遅延部１１，１４，１５、動き推定部１２，１６，１７、エッジ抽出部１３、動き補償部１８，１９及び画像合成部２０の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１，２，３ 映像補間装置
１１，１４，１５ 映像遅延部
１２，１６，１７ 動き推定部
１３ エッジ抽出部
１８，１９ 動き補償部
２０ 画像合成部
３０ 被写体
３１−１，３１−２ 照明装置
３２ カメラ
Ｐ１ 動きベクトルを求めたい座標
Ｂ１ 参照画像（時刻ｔ＋αにおける映像フレームＩ（ｔ＋α））上のブロック
Ｂ２ 参照画像（時刻ｔ＋βにおける映像フレームＩ（ｔ＋β））上のブロック

Claims (5)

1. 複数の照明状態が時分割的に切り替わる環境下で撮影された複数の映像フレームを用いて、所定の照明状態以外の他の照明状態の時刻における映像フレームを、前記所定の照明状態を模擬した状況の補間映像フレームとして生成する映像補間装置において、
   前記所定の照明状態で撮影された複数の前記映像フレームから、前記他の照明状態の時刻における第１の動きベクトルを推定する第１の動き推定部と、
   前記所定の照明状態で撮影された前記映像フレーム及び前記他の照明状態で撮影された前記映像フレームから、前記他の照明状態の時刻における第２の動きベクトルを推定する第２の動き推定部と、
   前記所定の照明状態で撮影された前記映像フレームに対し、前記第１の動き推定部により推定された前記第１の動きベクトル及び前記第２の動き推定部により推定された前記第２の動きベクトルに基づく動き補償を行い、前記他の照明状態の時刻における前記映像フレームを前記補間映像フレームとして生成する動き補償部と、を備え、
   前記第２の動き推定部は、
   前記第１の動き推定部により推定された前記第１の動きベクトルに基づいて探索範囲を設定し、当該探索範囲内で前記第２の動きベクトルを推定する、ことを特徴とする映像補間装置。
2. 請求項１に記載の映像補間装置において、
   前記第２の動き推定部は、
   前記第１の動きベクトルに基づいて、前記第１の動き推定部により前記第１の動きベクトルが推定されたときの第１の探索範囲よりも狭い第２の探索範囲を設定し、当該第２の探索範囲内で前記第２の動きベクトルを推定する、ことを特徴とする映像補間装置。
3. 請求項１または２に記載の映像補間装置において、
   前記第２の動き推定部を複数備え、
   複数の前記第２の動き推定部のそれぞれは、
   他の前記第２の動き推定部における前記所定の照明状態とは異なる時刻の前記映像フレーム、及び前記他の照明状態で撮影された前記映像フレームから、前記第２の動きベクトルを推定し、
   前記動き補償部は、
   前記所定の照明状態で撮影された前記映像フレームに対し、前記第１の動き推定部により推定された前記第１の動きベクトル、及び複数の前記第２の動き推定部により推定された複数の前記第２の動きベクトルに基づく動き補償をそれぞれ行い、それぞれの動き補償の結果を合成することで、前記他の照明状態の時刻における前記映像フレームを前記補間映像フレームとして生成する、ことを特徴とする映像補間装置。
4. 請求項１から３までのいずれか一項に記載の映像補間装置において、
   さらに、前記所定の照明状態で撮影された前記映像フレーム及び前記他の照明状態で撮影された前記映像フレームのエッジ情報または高周波情報を抽出し、前記エッジ情報または前記高周波情報が反映された情報映像フレームを生成する抽出部を備え、
   前記第２の動き推定部は、
   前記抽出部により生成された、前記所定の照明状態の時刻における前記情報映像フレーム及び前記他の照明状態の時刻における前記情報映像フレームから、前記第２の動きベクトルを推定する、ことを特徴とする映像補間装置。
5. コンピュータを、請求項１から４までのいずれか一項に記載の映像補間装置として機能させるためのプログラム。