JP2007329596A - 画像生成装置および画像生成方法 - Google Patents

Abstract

【課題】対応点検出や動き検出が正確に行えない画像領域も含めて複数の動画像を統合した新たな動画像を生成することができる画像生成装置を提供する。
【解決手段】同一の対象物を撮像して得られる時空間解像度または時空間位相の異なる複数の動画像の入力を受け付ける画像入力部１０１と、それら複数の動画像の少なくとも１つから対象物の動きを検出するとともに、当該動き検出の信頼度を算出する動き検出部１０３と、生成される新たな動画像の画素値が満たすべき条件である外部モデル拘束条件を指定する外部モデル拘束部１０４ｄと、動き検出部１０３が検出した信頼度に基づいて、信頼度の高い画像領域については動き検出の結果を用い、信頼度の低い画像領域については外部モデル拘束部１０４ｄが指定する外部モデル拘束条件を用いることで、複数の動画像を統合した新たな動画像を生成する画像統合部１０４を備える。
【選択図】図２

Description

本発明は、動画像を生成する画像生成装置に関し、特に、複数の動画像から夫々の優れた特性を併せ持つ新たな動画像を生成する画像生成装置に関する。

デジタル撮像デバイスの進展に伴い、高空間解像度の静止画像を比較的低コストで撮影することが可能となってきている。しかしながら、このような高空間解像度の静止画と同等の空間解像度を保ちながら滑らかに動く動画像（例えば、３０フレーム／秒程度）や更に高速度の撮影を実現するには課題がある。

これは、単位時間あたりに得られる画像の情報量が莫大になるために、撮像デバイス内での画像情報の転送速度が不足することや、並列に画像情報を転送するなどの特殊な撮像デバイスを必要とする為、撮影装置のコストが増加したり、撮像デバイスの特性の調整が別途必要になることに因る。

従来の時空間解像度（時間および空間の解像度）の高い画像を得る画像生成方法としては、高速低解像度カメラと低速高解像度カメラとの映像を用い、動画像のフレーム間の対応点検出を用いてモーフィングを行うものがある（例えば、特許文献１参照）。図４２は、特許文献１に記載された従来の画像生成方法を説明する図である。なお、本明細書において、撮像能力または動画像の性質に関して、「高速」（または、「低速」）とは、フレームレートが相対的に大きい（または、小さい）ことを意味し、「高解像度」（または、「低解像度」）とは、空間解像度が相対的に高い（または、低い）ことを意味する。

図４２において、高速低解像度カメラＡ０１と低速高解像度カメラＡ０２は同じ対象を同じ画角で同期して撮影している。カメラＡ０１とカメラＡ０２の撮影画像の関係を図４３に示す。図４３は、２つのカメラＡ０１およびＡ０２が撮影したフレームを時間の順に並べており、フレームＢ０１とＢ０２はカメラＡ０２で得られた画像を表し、フレームＢ１１〜Ｂ１５は、カメラ０１で得られた画像を表している。ここで空間解像度の違いは画像の大きさで表現しており、フレームＢ１１〜Ｂ１５は、フレームＢ０１とＢ０２に比べて画素数が少なく、空間解像度が低い。一方、カメラＡ０１はカメラＡ０２よりも撮影のフレームレートが高く、カメラＡ０２が１フレーム撮影する間にカメラＡ０１は４フレーム撮影している。また、カメラＡ０２のフレーム撮影の時間に同期してカメラＡ０１のフレーム撮影を行っている（フレームＢ０１とフレームＢ１１およびフレームＢ０２とフレームＢ１５は同じタイミングで撮影）。以下の例では、フレームＢ２３の位置（フレームＢ１３の撮影時間に相当）に相当する高解像度画像の中間フレーム画像の生成方法について説明する。

このようにして撮影したフレーム画像について、一次マッチング部Ａ０３はカメラＡ０１の高速撮影画像において隣りあう各フレーム間の画素の対応関係を求める。ここで、対応関係とは、あるフレーム画像内の各画素が映す対象の部位が他方のフレーム画像内のどの画素位置に写っているかの関係である。次に、隣り合う高速画像間の対応関係をつなぎ合わせることで、生成したいフレームＢ２３の時刻に位置する高速カメラ画像Ｂ１３と、高速画像と低速画像を同期して撮影しているフレームＢ１１との画素間の対応関係を求める。

次に、二次マッチング部Ａ０４は、高速画像と低速画像を同期して撮影しているフレームＢ０１とフレームＢ１１との画素の位置関係、フレームＢ１３とフレームＢ２３との画素の位置関係、および、一次マッチング部Ａ０３で求めたフレームＢ１１とフレームＢ１３との対応関係をつなぎ合わせることで、フレームＢ０１とフレームＢ２３との画素の対応関係を決定する。

次に、画像生成部Ａ０５は、フレームＢ０１とフレームＢ２３との画素の対応関係を用いて、フレームＢ０１の画素値を用いてフレームＢ２３の画素値を決定し、高解像中間フレーム画像Ｂ２３を生成する。同様の手順で他の中間フレームを生成することで、高解像度かつ高速の映像を生成する。

また、非特許文献１や非特許文献２などでも同様に、高速低解像度カメラと低速高解像度カメラとの映像を用い、高速カメラの映像から動き検出を行い、その動きに合わせて低速高解像度動画像に対してモーフィングを行うことで高解像度の中間フレーム画像を生成している。
特開２００３−２０３２３７号公報（図１８） Ｔｏｒｕ ＭＡＴＳＵＮＯＢＵ，ｅｔ ａｌ．，"Ｇｅｎｅｒａｔｉｏｎ ｏｆ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｖｉｄｅｏ Ｕｓｉｎｇ Ｍｏｒｐｈｉｎｇ"，Ｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔ ｏｆ ＩＥＩＣＥ，ＰＲＭＵ２００４−１７８ Ｋｉｙｏｔａｋａ Ｗａｔａｎａｂｅ，ｅｔ ａｌ．，"Ｇｅｎｅｒａｔｉｏｎ ｏｆ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ ｆｒｏｍ Ｔｗｏ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅｓ ｗｉｔｈ Ｄｉｆｆｅｒｅｎｔ Ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ Ｆｒｅｑｕｅｎｃｉｅｓ"，情報科学技術レターズ（ＦＩＴ２００４），Ｖｏｌ．３，Ｎｏ．ＬＩ−００４，２００４

しかしながら、上記従来の技術では、高速画像において隣り合うフレーム間で対応関係を正確に求めることや、動き検出を正確に行えることが前提となっており、対応関係が正確に求まらない場合や、動き検出が行えない場合には、生成する画像が大きく劣化したり、低解像度画像を単に拡大した画像になってしまうというという課題を有している。一般的に、画像中の動物体の動きが複雑な場合や照明状態が変化する場合やオクルージョンが発生する場合やアパーチャ問題が発生する場合などには、フレーム間の対応点を求めることや動き検出を全ての画素について正確に求めることは困難である。

そこで、本発明は、上記従来の課題を解決するものであり、対応点検出や動き検出が正確に行えない画像領域も含めて複数の動画像を統合した新たな動画像を生成することができる画像生成装置およびその方法を提供することを目的とする。

上記目的を達成するために、本発明に係る画像生成装置は、複数の動画像から新たな動画像を生成する画像生成装置であって、同一の対象物を撮像して得られる時空間解像度または時空間位相の異なる複数の動画像の入力を受け付ける画像入力手段と、前記画像入力手段が受け付けた複数の動画像の少なくとも１つから前記対象物の動きを検出するとともに、当該動き検出の信頼度を算出する動き検出手段と、生成される新たな動画像の画素値が満たすべき条件である外部モデル拘束条件を指定する外部モデル拘束手段と、前記動き検出手段が検出した信頼度に基づいて、信頼度の高い画像領域については前記動き検出手段による動き検出の結果を用いて新たな画像を生成し、信頼度の低い画像領域については前記外部モデル拘束手段が指定する外部モデル拘束条件を用いて新たな画像を生成することにより、前記画像入力手段が受け付けた複数の動画像を統合して新たな動画像を生成する画像統合手段とを備えることを特徴とする。

このような構成によって、前記画像入力手段が、例えば、高速フレームレートで低解像度の第１動画像と低速フレームレートで高解像度の第２動画像を受け付けた場合には、前記画像統合手段は、前記第１動画像と同じフレームレートで前記第２動画像と同じ解像度の動画像を前記新たな動画像として生成することができる。つまり、入力された複数の動画像の夫々の優れた特性を併せ持つ新たな動画像が生成される。

なお、本発明は、このような画像生成装置として実現できるだけでなく、画像生成方法、その方法をコンピュータに実行させるプログラム、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等としても実現することができる。

本発明の画像生成装置によれば、動画像中において必ずしも動きや対応点が正確に求まらない画像領域を含んでいる場合にでも、その画像の時空間解像度を動画像全体で向上させた新たな動画像が生成される。たとえば、高速低解像度動画像と低速高解像度動画像とから、夫々の優れた特性を併せ持つ高速高解像度動画像が確実に生成される。

（第１の実施の形態）
本発明の第１の実施形態は、複数の動画像から新たな動画像を生成する画像生成装置であって、同一の対象物を撮像して得られる時空間解像度または時空間位相の異なる複数の動画像の入力を受け付ける画像入力手段と、前記画像入力手段が受け付けた複数の動画像の少なくとも１つから前記対象物の動きを検出するとともに、当該動き検出の信頼度を算出する動き検出手段と、生成される新たな動画像の画素値が満たすべき条件である外部モデル拘束条件を指定する外部モデル拘束手段と、前記動き検出手段が検出した信頼度に基づいて、信頼度の高い画像領域については前記動き検出手段による動き検出の結果を用いて新たな画像を生成し、信頼度の低い画像領域については前記外部モデル拘束手段が指定する外部モデル拘束条件を用いて新たな画像を生成することにより、前記画像入力手段が受け付けた複数の動画像を統合して新たな動画像を生成する画像統合手段とを備えることを特徴とする。これによって、動き検出の信頼度が低い領域については、予め定めた外部モデル拘束条件に従って画像が統合されるので、本発明によれば、従来において対応点検出や動き検出が正確に行えない画像領域も含めて画像が統合され得る。

ここで、前記動き検出手段は、例えば、前記動画像を構成する各画像を分割したブロック単位で動きを検出し、ブロック同士の画素値の差の２乗和の符号を逆にした値を前記信頼度として算出し、前記画像統合手段は、前記差が予め定めた値よりも大きいブロックを信頼度の高い画像領域とし、前記差が予め定めた値よりも小さいブロックを信頼度の低い画像領域として、前記新たな動画像を生成してもよい。また、前記外部モデル拘束手段は、例えば、時空間的に隣り合う画素の画素値の連続性に関する条件を前記条件として指定してもよい。

このような構成によって、前記画像入力手段は、例えば、高速フレームレートで低解像度の第１動画像と低速フレームレートで高解像度の第２動画像を受け付け、前記画像統合手段は、前記第１動画像と同じフレームレートで前記第２動画像と同じ解像度の動画像を前記新たな動画像として生成することができる。つまり、入力された複数の動画像の夫々の優れた特性を併せ持つ新たな動画像が生成される。

なお、前記第２動画像は、フレームごとの露出時間が前記第１動画像の露出時間よりも長くしておいてもよい。第２動画像は、第１動画像に比べてフレームレートが低いので、より長い露出時間で撮像することが可能であり、これによって、第２動画像に、移動物体の移動軌跡のような動き情報が含まれることとなり、その動き情報を用いて、より動き精度の高い新たな動画像を生成することができる。

また、入力される複数の動画像がカラーの動画像である場合には、前記画像統合手段は、前記第１動画像から色差情報を抽出し、前記第１動画像から取得された輝度情報と前記第２動画像とから中間的な新たな動画像を生成し、生成した中間的な動画像に前記色差情報を付加することによって、最終的な前記新たな動画像を生成するのが好ましい。これによって、例えば、ＲＧＢの各色ごとに新たな動画像を生成する処理に比べ、少ない処理量でカラーの高速高解像度動画像を生成することができる。

また、前記動き検出手段はさらに、前記対象物を撮像する撮像装置の姿勢を検出する姿勢センサからの信号を受け付ける姿勢センサ入力部を有し、前記姿勢センサ入力部が受け付けた信号を用いて前記動きを検出してもよい。これによって、より精度の高い動き検出が確保されるので、より動き精度の高い新たな動画像を生成することができる。

また、前記画像統合手段は、前記複数の動画像の少なくとも１つについて画像の時間的な変化量を算出し、算出した変化量が予め定めた値を超える時間範囲について、前記新たな動画像を生成してもよい。これによって、必要な時間区間だけにおいて画像の統合処理を行うだけで済むとともに、統合処理をする時間区間とそうでない時間区間とが滑らかに接合され、その不連続性が知覚されにくくなる。

また、前記画像統合手段はさらに、生成した新たな動画像の信頼性を示す値を算出し、算出した値を前記新たな動画像とともに出力するのが好ましい。これによって、信頼性を利用した動画像の後処理が可能となる。例えば、これら２つの情報を取得した符号化手段が、信頼性の低い画像を高い圧縮率で符号化し、信頼性の高い画像を低い圧縮率で符号化することで、全体として、符号化に伴う情報の欠損が少ない高圧縮率の符号化が可能となる。

以下、図面を参照しながら本発明の第１の実施の形態に係る画像生成システムについて詳細に説明する。

図１は、本発明の実施の形態に係る画像生成システムのハードウェア構成を示すブロック図である。

画像生成システム１００は、同一の対象についての複数の動画像（ここでは、高速低解像度動画像および低速高解像度動画像）から時空間解像度の高い新たな動画像（ここでは、高速高解像度動画像）を生成するシステムであり、撮像装置１０と、画像記憶装置２０と、画像生成装置３０と、表示装置４０とを備えている。撮像装置１０は、被写体を撮影し、異なる２種類の時空間解像度で動画像（ここでは、同一の対象についての高速低解像度動画像および低速高解像度動画像）を得るカメラ等である。画像記憶装置２０は、撮像装置１０で撮像された動画像を一時的に記憶するメモリ等である。画像生成装置３０は、画像記憶装置２０に記憶された動画像を読み出し、読み出した複数の動画像から、時空間解像度を高めた新たな動画像を生成する装置である。表示装置４０は、画像生成装置３０で生成された新たな動画像を表示する表示装置である。なお、画像生成装置３０は、専用回路等のハードウェアによって実現してもよいし、汎用の計算機における画像処理プログラム等のソフトウェアによって実現してもよい。

図２は、図１に示された画像生成システム１００における画像生成装置３０の内部構成を示す機能ブロック図である。この画像生成装置３０は、画像入力部１０１と、動き検出部１０３と、画像統合部１０４とを備える。

画像入力部１０１は、同一の対象物を撮像して得られる時空間解像度または時空間位相の異なる複数の動画像の入力を受け付けるインターフェース等であり、ここでは、高速（高速フレームレート）かつ低空間解像度で撮影した動画像（高速低解像度動画像）の入力を受け付ける（あるいは、取得する）高速画像入力部１０１ａと、高速画像入力部１０１ａと同じ対象を低速（低速フレームレート）かつ高空間解像度で撮影した動画像（低速高解像度動画像）の入力を受け付ける（あるいは、取得する）低速画像入力部１０１ｂとを有する。このように、高速画像入力部１０１ａに入力された画像と低速画像入力部１０１ｂに入力された画像は、時空間解像度は異なるが、同じ対象を撮影した画像である。

動き検出部１０３は、画像入力部１０１に入力される画像を生成する撮像装置１０の動きを検出するセンサ（撮像装置１０に備えられた加速度センサ等）からの信号を取得するセンサ入力部１０３ｃと、画像入力部１０１に入力された画像または／およびセンサ入力部１０３ｃに入力された動き信号に基づいて、入力画像中の画像（つまり、撮像の対象物）の動き検出を各フレームの画像全体において行う動き分布算出部１０３ａと、動き分布算出部１０３ａにおける動き検出の信頼度を各フレームの画像全体において算出する動き信頼度分布算出部１０３ｂとを有する。

画像統合部１０４は、画像入力部１０１に入力された複数の動画像のうち、信頼度の高い画像領域については動き検出部１０３による動き検出の結果を用いて新たな動画像を生成し、信頼度の低い領域については予め定められた一定の拘束条件を用いて複数の動画像を統合する処理部であり、統合処理部１０４ａと、拘束制御部１０４ｂと、動き拘束指定部１０４ｃと、外部モデル拘束部１０４ｄと、拘束指定部１０４ｅとを有する。

動き拘束指定部１０４ｃは、動き分布算出部１０３ａによる動き検出の結果を用いて、生成する高速高解像度動画像の各画素値が満たすべき拘束条件（以下、動き検出の結果に依存して指定される拘束条件を「動き拘束条件」という。）を指定する処理部である。

外部モデル拘束部１０４ｄは、生成する高速高解像度動画像の各画素値が動き分布算出部１０３ａによる動き検出の結果とは別に満たすべき拘束条件（以下、動き検出の結果に依存することなく指定される拘束条件を「外部モデル拘束条件」という。）を指定する。

拘束制御部１０４ｂは、動き分布算出部１０３ａで算出された動き検出の結果と動き信頼度分布算出部１０３ｂで算出された信頼度とを用いて、生成する高速高解像度動画像中の各フレーム画像中の各位置において、動き拘束条件と外部モデル拘束条件とをそれぞれ有効にする度合いを決定し、その度合を拘束指定部１０４ｅに通知する。

拘束指定部１０４ｅは、拘束制御部１０４ｂが決定した動き拘束条件と外部モデル拘束条件との有効度合いに基づいて、動き拘束指定部１０４ｃが指定する動き拘束条件と外部モデル拘束部１０４ｄが指定する外部モデル拘束条件とを統合した拘束条件、つまり、生成する高速高解像度動画像の各画素値が満たすべき拘束条件を指定する。

統合処理部１０４ａは、拘束指定部１０４ｅによって指定される拘束条件に従って、高速画像入力部１０１ａに入力された高速画像と低速画像入力部１０１ｂに入力された低速画像とを統合し、高速高解像度動画像を生成する。

符号化部１０２は、統合処理部１０４ａによって生成された画像を圧縮符号化して出力する。

なお、本実施の形態における「フレーム」には、プログレッシブ方式におけるフレームだけでなく、インターレース方式における偶数フィールドおよび奇数フィールドが含まれる。

次に、以上のように構成された画像生成装置３０が実行する処理について説明する。図３は、画像生成装置３０の実行する処理のフローチャートである。

ステップ６０１では、高速画像入力部１０１ａが高速低解像度動画像の入力を受け付け、低速画像入力部１０１ｂが同一対象についての低速高解像度動画像の入力を受け付ける。以降、説明に用いる画像は輝度画像を用いて説明する。

高速画像入力部１０１ａに入力される高速低解像度動画像と低速画像入力部１０１ｂに入力される低速高解像度動画像の関係を図４に示す。図４は、それら２つの画像の連続したフレーム画像を時間の順に並べており、フレーム２０１と２０２は低速高解像の画像を表し、フレーム２１１〜２１５は高速低解像の画像を表している。

本図において、空間解像度の違いは画像の大きさで表現されている。フレーム２１１〜２１５は、フレーム２０１と２０２に比べて画素数が少なく空間解像度が低い。一方、フレームレートについては、高速画像入力部１０１ａは、低速画像入力部１０１ｂに比べ、撮影のフレームレートが高く、ここでは、低速画像入力部１０１ｂの１フレーム間隔で高速画像入力部１０１ａは４フレーム撮影している。また、フレーム２０１と２０２の画像の時間方向の幅は露出時間を表している。低速画像入力部１０１ｂに入力される画像はフレームレートが低い分、高速画像入力部１０１ａに入力される画像に比べて長い露出が可能となる。図４では、低速高解像度動画像のフレーム２０１は、高速低解像度動画像の４フレーム間隔分の露出が行われている。

なお、高速画像入力部１０１ａに入力されるフレームと低速画像入力部１０１ｂに入力されるフレームとの撮影タイミングは、時間の相対関係が既知であればよく、必ずしも同時に撮影される必要は無い（つまり、撮像タイミングにおける位相が異なっていてもよい）。また、長時間露出を行うことで、高解像度の画像中においても移動物体の移動軌跡のような動き情報を取得することが可能となる。高解像度画像から得た動き情報と矛盾のない動画像を後述する画像の統合処理において生成することで、時空間解像度の高い動画像を生成することが可能となる。

ここで、撮像装置１０の具体例、つまり、２種類の画像を取得する撮影手段の例を示す。２種類の画像は、図５（ａ）のように、特性の異なる２種類のカメラを同一画角になるようにハーフミラーを用いて配置して撮影しても良いし、図５（ｂ）のように、１つのカメラ内において特性の異なる２種類の撮像素子を同一画角になるようにハーフミラーやプリズムを用いて配置して撮影しても良いし、図５（ｃ）のように特性の異なる２種類の画像を同時に撮影する撮像素子を用いても良い。

次に、図６を用いて、目的とする高速高解像度動画像の画素値（ここでは、輝度値）と、高速画像入力部１０１ａに入力される高速低解像度動画像および低速画像入力部１０１ｂに入力される低速高解像度動画像の画素値（ここでは、輝度値）との関係を説明する。この関係は、高速高解像度動画像の各画素が満たすべき外部モデル拘束条件として画像生成に使用する。

ここで、各画像の画素値は撮像時の入射光量に比例し、比例定数も共通であるとする。図６（ａ）は、目的とする高速高解像度動画像の各フレームの画素の配置を示したものである。説明の便宜のため、高速高解像度動画像の一部を取り出して説明する。図６（ａ）は、縦（Ｙ軸）方向３画素、横（Ｘ軸）方向３画素、４フレームの画素の配置を表している。画素位置（Ｘ，Ｙ，ｔ）の画素の値をＨＨ（Ｘ，Ｙ，ｔ）とする。ここでＸとＹは０，１，２の値の範囲とし、ｔは０，１，２，３の値の範囲とする。

同様に、図６（ｂ）は、図６（ａ）と同じ画角を同じ時間に撮影した高速低解像度動画像の画素の配置を示す。ここで、高速低解像度動画像の画素位置（ＸＬ，ＹＬ，ｔ）の画素値をＨＬ（ＸＬ，ＹＬ，ｔ）と表す。低解像度画像と高解像度画像ではｘ、ｙ方向の画素数が異なるため、低解像度画像のｘ、ｙ座標値をそれぞれＸＬ，ＹＬと表して高解像度画像の場合と区別する。ここでは高解像度画像のｘ、ｙ方向それぞれ３画素からなる９画素分の領域が低解像度画像の１画素に相当する関係にあり、画素値の関係は数１のようになる。

同様に、図６（ｃ）は、図６（ａ）と同じ画角を同じ時間に撮影した低速高解像度動画像の画素の配置を示す。ここで、低速高解像度動画像の画素位置（Ｘ，Ｙ，ｔＬ）の画素値をＬＨ（Ｘ，Ｙ，ｔＬ）と表す。

高速画像と低速画像では時間方向のフレーム数が異なるため、低速画像のフレーム番号をｔＬと表して高速画像の場合と区別する。ここでは高速画像の４フレーム分の間隔が低速画像の１フレーム間隔に相当する関係にあり、画素値の関係は数２のようになる。

ここで、Ｇ（ｔ）は、時刻ｔの撮影強度を表し、撮像素子の感度や撮影時の絞りの時間的変化による画素値の変化倍率を示している。撮像素子の感度や撮影時の絞りに時間的変化が無い場合には、Ｇ（ｔ）＝１．０である。

図４のように、高速画像の露出時間に対して低速画像の露出時間を長くすることで、長い時間にわたる動きの軌跡情報を蓄積することが可能となり、高速高解像度動画像を生成する上で動きの生じている部分の時空間解像度の改善に効果がある。

以上の例では、画素値は撮像時の入射光量に比例する場合（図７（ａ））で説明したが、γ補正等により比例しない場合（図７（ｂ））や比例定数が画素によって異なる場合には、別途、画像が撮影されたときの撮像素子の入出力特性（入出力関係）を逆に対応付けて利用することで、入射光に対して同一の比例関係を持つ値に画素値を補正し、数１や数２の関係を満たすことができる。例えば、図７（ｃ）のような画素値と補正値の対応関係を用いることで図７（ｂ）のようにして得られた画素値を補正し、図７（ａ）のようにして得られた画素値と同様に処理することができる。

また、上述の説明では、画素値として輝度値を用いて説明したが、各画素にＲ，Ｇ，Ｂのカラー値が存在する場合にもＲ，Ｇ，Ｂの個々の値について輝度値と同様の関係が得られる。

他の外部モデル拘束としては、時空間的に隣り合う画素との画素値の連続性や滑らかさがある。画素値の連続性を用いる場合、

のように高速高解像度動画像の隣り合う画素間の輝度値の差の二乗和Ｑｓを考える。画素値の滑らかさを用いる場合には、

のように高速高解像度動画像の隣り合う画素間の輝度値の二階差分の二乗和Ｑｓを考える。ここで、数３、数４において、ＸｍａｘとＹｍａｘとｔｍａｘはそれぞれｘ方向画素番号、ｙ方向画素番号、フレーム番号の最大値を示す。また、λｓ（ｘ，ｙ，ｔ）は、拘束条件の時空間的分布を指定する係数であり、後述のステップ６０４において動きの信頼度を用いて決定する。

このように、外部モデル拘束条件は、生成する高速高解像度動画像に対する評価関数として表現することができる。その評価関数の値（評価値）を下げることが上記外部モデル拘束を生成する高速高解像度動画像に加えることに対応する。

他の外部モデル拘束として、エッジの時空間的連続性を用いても良い。この場合、例えば

に示すように、時間的に隣り合うフレーム間で対応する位置のエッジの向きの変化は少ないという拘束や、

のように、同じ向きのエッジは、そのエッジの方向に空間的に連続して存在するという拘束である。ここで数５、数６のｅｄｇｅ（ｘ，ｙ，ｔ，ｉ）は、動画像中の（ｘ，ｙ，ｔ）の位置に存在するｉ番目の向きのエッジの強度を示す。ｉはエッジの方向の種類を示し、ｉは０からｉｍａｘまでの整数値をとるものとする。また、数６の（ｉｘ、ｉｙ）はｉ番目のエッジの向きの方向を表すベクトルを示す。

また、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）、は画像中の（ｘ、ｙ、ｔ）の位置における動きベクトルのｘ方向成分とｙ方向成分を示す。エッジの検出は方位依存性を有するＧａｂｏｒフィルタなどのエッジ検出フィルタの出力を用いたり、数７のように微分演算でエッジの方向と強度を得た後、必要に応じてエッジの方向を離散化して用いることで実現できる。

は高速高解像度動画像ＨＨの座標（ｘ，ｙ，ｔ）におけるエッジの向きと強度を２次元ベクトルとして表しており、ベクトルの向きがエッジの向きに対応し、ベクトルの大きさがエッジの強度に対応する。

ここで、λｔｅ（ｘ，ｙ，ｔ）やλｓｅ（ｘ，ｙ，ｔ）は、λｓ（ｘ，ｙ，ｔ）と同様に、拘束条件の時空間的分布を指定する係数であり、後述のステップ６０４において動きの信頼度を用いて決定する。

また、他の拘束条件として、生成する動画像が表現し得る自由度を予め定めた動画像群の主成分に限定してもよい。例えば、動画像を構成する各フレームの各画素の輝度値ＨＨ（ｘ，ｙ，ｔ）を独立な要素とし、動画像を１つのデータ点と考え、予め定めた同じフレーム数・画素数の動画像群に対して主成分分析を行い、主成分を優先して動画像を生成するものである。この場合、非主成分のベクトルをＮＰＣ（ｘ，ｙ，ｔ）とし、生成する動画像をＨＨ（ｘ，ｙ，ｔ）に対して、非主成分ＮＰＣと生成する動画像ＨＨとの内積を拘束条件とする。この場合、拘束条件は、

のＱｐｃようになる。ＮＰＣは１種類ではなく複数個用意しても良いし、入力画像によってＮＰＣの種類を切り換えても良い。この場合、入力画像と高解像度時の主成分との関係を予め学習しておき、この結果を用いてＮＰＣの選択を行えばよい。例えば、異なる３種類の高速高解像度の動画像群１・２・３を学習用の動画像として用意する。その動画像群それぞれから非主成分のベクトルＮＰＣ１・ＮＰＣ２・ＮＰＣ３を求める。別途、上記動画像群１・２・３のそれぞれから数１や数２の関係式を用いて高速低解像度動画像群ＨＬ１・ＨＬ２・ＨＬ３と低速高解像度動画像群ＨＨ１・ＨＨ２・ＨＨ３とを求める。ここで学習すべき関係は、画像群ＨＬ１・ＨＨ１と画像群ＨＬ２・ＨＨ２と画像群ＨＬ３・ＨＨ３の３つの画像群と上記３種類の非主成分ＮＰＣ１・ＮＰＣ２・ＮＰＣ３との対応関係である。対応関係の学習方法は任意の手法を用いてよく、画像群ごとに高速低解像度動画像ＨＬと低速高解像度動画像ＨＨの平均画像の組を求めておき、平均画像の組と非主成分の種類との対応関係を保持しておく（学習）。新たな入力画像ＨＬ・ＨＨの組に対して平均画像の組との差を求め、差の最も小さい平均画像の組に対応する非主成分を入力画像の復元処理に用いるようにする。平均画像と非主成分の種類との関係を保持する替わりに、高速低解像度動画像ＨＬと低速高解像度動画像ＨＨを入力とし、それらＨＬとＨＨに対応する非主成分の種類を出力とした入出力関係をニューラルネットワーク等の学習手法を用いて求めておき、学習後には入力画像ＨＬ・ＨＨの組をニューラルネットワークに入力して、出力として得られる種類の非主成分を拘束条件として用いるようにしてもよい。

ここで、λｐｃ（ｘ，ｙ，ｔ）も上記λｓ（ｘ，ｙ，ｔ）と同様に拘束条件の時空間的分布を指定する係数で後述のステップ６０４において、動きの信頼度を用いて決定する。

次に、ステップ６０２では、動き検出部１０３が、高速低解像度動画像から画像中の動きとその動きの信頼度を算出する。ここで、高速画像入力部１０１ａから得た動画像の各フレーム画像の各位置において、動き分布算出部１０３ａが被写体の動きの向きと大きさを求め（動き検出）、動きの向きと大きさの時空間的分布を求める。また、動き信頼度分布算出部１０３ｂは、動き検出の信頼度の時空間的分布ｃｏｎｆ（ｘ，ｙ，ｔ）を併せて求める。この場合、動き検出の信頼度とは、信頼度が高い程、動き検出の結果が尤もらしく、信頼度が低い場合には動き検出の結果に誤りがあることを意味する。隣り合う２フレーム画像間の画像上の各位置での動きの求め方については、例えば、Ｐ．ＡＮＡＮＤＡＮ，"Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ"，ＩＪＣＶ，２，２８３−３１０（１９８９）で用いられる方法や動画像符号化で一般的に用いられる動き検出手法や、画像を用いた移動体追跡などで用いられる特徴点追跡手法などを用いることができる。また、画像全体の大域的動き(アフィン動きなど)検出の一般的手法や、Ｌｉｈｉ Ｚｅｌｋｉｋ−Ｍａｎｏｒ、"Ｍｕｌｔｉ−ｂｏｄｙ Ｓｅｇｍｅｎｔａｔｉｏｎ：Ｒｅｖｉｓｉｎｔｉｎｇ Ｍｏｔｉｏｎ Ｃｏｎｓｉｓｔｅｎｃｙ"、ＥＣＣＶ（２００２）などの手法を用いて複数の領域ごとの動き検出を行い、各画素位置での動きとして用いてもよい。信頼度の求め方については、上記Ｐ．ＡＮＡＮＤＡＮの文献に記載の方法を用いてもよく、ブロックマッチングを用いた動き検出の場合には、数９のように、動きに対応するブロック同士の画素値の差の２乗和を差の２乗和が取り得る最大値ＳＳＤｍａｘから引いた値、つまりブロック同士の画素値の差の２乗和の符号を逆にした値ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。また、画像の大域的動き検出や領域ごとの動き検出を用いた場合にも、各画素位置の動きの始点近傍領域と終点近傍領域との画素値の差の２乗和を２乗和が取り得る最大値ＳＳＤｍａｘから引いた値ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。

数９において、位置（ｘ'、ｙ'、ｔ＋１）は、動き検出の結果として得られた画素位置（ｘ、ｙ、ｔ）の移動先に相当する画素位置である。また、数９のΣはブロックマッチングで用いるブロック領域内での加算を表す。

なお、上記説明では、高速画像入力部１０１ａから得た画像を用いて動き検出と信頼度算出を行ったが、同様の動き検出処理を低速画像入力部１０１ｂから得た画像に対して動き検出と信頼度算出を行っても良い。

また、撮影機器の姿勢の変化を検出するセンサの情報（センサ入力部１０３ｃに入力されてくる信号）を入力として用いても良い。この場合、撮像装置１０が加速度や角加速度センサを備え、センサ入力部１０３ｃが加速度の積分値として速度や角速度を得ることで、動き分布算出部１０３ａは、センサ入力部１０３ｃに入力された情報から、手ブレなどのようなカメラの姿勢の変化による画像全体の動きの情報を得ることができる。例えば、画像入力部１０１としてカメラを用いた場合、そのカメラに水平方向と垂直方向の角加速度センサを備えることで、そのセンサの出力から水平方向と垂直方向の加速度を各時刻における姿勢計測値として得ることができる。加速度値を時間で積分すると各時刻の角速度を算出することができる。カメラが時刻ｔに水平方向にωｈの角速度を持ち、垂直方向にωｖの角速度も持つ場合、カメラの角速度はカメラの向きの起因する撮像素子上（撮影画像上）の位置（ｘ，ｙ）における時刻ｔにおける像の２次元的動き（ｕ，ｖ）と一意に対応付けることができる。カメラの角速度と撮像素子上での像の動きとの対応関係は、カメラの光学系（レンズなど）の特性（焦点距離やレンズひずみなど）と撮像素子との配置や撮像素子の画素間隔とから一般的に決定できる。実際に算出するには、光学系の特性と撮像素子の配置や画素間隔から幾何学的・光学的に算出して対応関係を得るか、あらかじめ対応関係をテーブルとして保持しておき、カメラの角速度ωｈ・ωｖから、撮像素子上（ｘ，ｙ）の像の速度（ｕ，ｖ）を参照するようにしてもよい。

このようなセンサを用いた動き情報も画像から得た動き検出の結果と合せて用いても良い。この場合、動き分布算出部１０３ａは、画像全体の動き検出には主にセンサの情報を用い、画像内での対象の動きは画像を用いた動き検出の結果を使用すればよい。

次に、ステップ６０３では、動き拘束指定部１０４ｃが動き検出部１０３が求めた動き検出結果と、目的とする高速高解像度動画像との関係を指定する。図８を用いて低解像度画像で求めた動き検出結果と高速高解像度動画像との関係を説明する。図８（ａ）と図８（ｂ）は、それぞれ、高速画像の隣り合うフレーム画像（フレーム番号ｔとｔ＋１）を表している。簡単のため、低解像度画像において３画素×３画素の領域で説明する。ここで、低解像度画像の１画素を更に３画素×３画素に分けた領域が高解像度画像の画素を表している。なお、図８では、説明に必要な高解像度画素のみ図示している。ここで、動き検出部１０３が動き検出を行った結果として、図８（ａ）の太線５０１の低解像度画素位置が、図８（ｂ）の画素位置５０２に対応している（枠５０１の画像が枠５０２に移動した）とする。ここで、上述のような動き検出の手法では一般的に画素サイズより小さい単位で動きの向きや大きさを算出することができる。従って、低解像度画像の動き検出の結果を用いて、図８（ｂ）のように低解像度画素位置に一致しない高解像度画像の画素単位の動きを算出し、高速高解像度の画素に対する数１０の関係を得ることができる。

この動き検出の結果を用いて、太線の枠内（５０１，５０２）の高速高解像度動画像の各画素値について

の関係が成り立つと想定する。

ここで、ｕ（ｘ，ｙ，ｔ）とｖ（ｘ，ｙ，ｔ）は、検出結果を表しており、図８（ａ）の太線の黒枠（５０１）内の位置（ｘ，ｙ，ｔ）が図８（ｂ）の太線の黒枠（５０２）内の位置に移動する動きのうちｘ方向の移動量をｕ（ｘ，ｙ，ｔ）、ｙ方向の移動量をｖ（ｘ，ｙ，ｔ）と表している。上記の例では、動き検出を高速低解像度動画像で行ったが、低速高解像度動画像において動き検出を行った結果を同様に用いてもよい。高解像度画像を用いた場合は、動き検出を求めるフレームの時間間隔は増すが、フレーム内での対応付けの位置精度は向上する。

次に、ステップ６０４では、拘束制御部１０４ｂが拘束条件の強度の時空間的分布を決定し、拘束指定部１０４ｅが生成する高速高解像度動画像に対する総合的な拘束条件を指定する。以下詳細を説明する。拘束指定部１０４ｅは、上記数１、数２で示す高速高解像度動画像と高速画像・低速画像との画素値の関係と、上記数１０で示す動き検出結果と高速高解像度動画像との関係と、上記数３、数４、数５、数６、数８などで示す外部モデル拘束とを用いて、目的とする高速高解像度動画像に対する総合的な拘束条件Ｊ（ＨＨ）を指定する。数１１に総合的な拘束条件Ｊの例を示す。

数１１において、右辺の第１項は高速高解像度動画像から数１の関係式を使って作り出した高速低解像度動画像ＨＬ'と高速画像入力部１０１ａに実際に入力される高速低解像
度動画像ＨＬとの差（対応する画素値との差の２乗和）を表す拘束で、第２項目は高速高解像度動画像から数２の関係式を使って作り出した低速高解像度動画像ＬＨ'と、低速画
像入力部１０１ｂに実際に入力される高速低解像度動画像ＬＨとの差（対応する画素値との差の２乗和）を表す拘束である。第１項目の拘束と第２項目の拘束は、生成した画像と撮影した画像との輝度値の関係が、上記数１と数２の関係をできるだけ満たすようにするものであり、撮影画像と生成画像との間で輝度値の矛盾を生じにくくする条件である。

数１１の右辺の第３項目は外部モデル拘束条件Ｑｓであり数３や数４の条件を用いる場合には生成した画像において時空間的に隣り合う画素の輝度値は近い値を持ちやすいような拘束である。従って、ノイズのように輝度値が時空間的に小刻みに変化するような画像の生成を抑制する。数１１の右辺の第４項目は動き検出結果に基づいた拘束条件Ｑｍであり、動き検出を行った結果と生成画像との間に矛盾が生じにくいように動き検出の結果を用いた拘束の例を数１２に示す。

数１２では高速高解像度動画像における隣り合うフレーム間（ｔとｔ＋１）の動きｕ，ｖを用いて拘束を構成しているが、１フレーム以上離れたフレーム間での動き検出結果ｕ'，ｖ'を用いて数１３のように離れたフレームとの間の動き検出を行った結果を用いて拘束条件を設定してもよい。また、数１２と数１３のような拘束を併用しても良い。

異なるフレーム間隔での動き検出を用いることで、遅い動きなどのように少ないフレーム間隔では検出しにくい動きなどを検出し、画像生成に反映させることが可能となる。

数１１の右辺の第５項目はエッジの時間的連続性を示す拘束条件であり、数１１の右辺の第６項目はエッジの空間的連続性を示す拘束条件、数１１の右辺の第７項目は生成画像から非主成分を抑制する拘束条件である。

ここで、λｓ、λｍ、λｓｅ、λｔｅ、λｐｃは拘束条件の強度の時空間的分布を決定する係数であり拘束制御部１０４ｂが決定する。ステップ６０２で動き信頼度分布算出部１０３ｂが求めた動き検出の信頼度をｃｏｎｆ（ｘ，ｙ，ｔ）（＞０）とし、値が大きいと動き検出の信頼度が高いとする。

λｓ、λｍ、λｓｅ、λｔｅ、λｐｃの決め方の例として、αを予め定めた定数としてｃｏｎｆ（ｘ，ｙ，ｔ）＞αを満たす場合にλｍ（ｘ，ｙ，ｔ）＝１．０のように動き拘束を有効にし、他の拘束条件を座標（ｘ，ｙ，ｔ）において予め定めた小さな値ε（＜１．０）に設定し、ｃｏｎｆ（ｘ，ｙ，ｔ）＜＝αではλｍ（ｘ，ｙ，ｔ）＝０．０、他のλを１．０とする。つまり、動き検出部１０３において、動画像を構成する各画像を分割したブロック単位で動きを検出するに際し、ブロック同士の画素値の差の２乗和を前記２乗和の取り得る値の最大値から引いた値を動き検出の信頼度ｃｏｎｆ（ｘ，ｙ，ｔ）として算出し、画像統合部１０４において、その差が予め定めた値αよりも大きいブロックを信頼度の高い画像領域とし、その差が予め定めた値α以下のブロックを信頼度の低い画像領域として、信頼度の高い画像領域については動き検出の結果を用いて新たな画像を生成し、信頼度の低い画像領域については外部モデル拘束条件を用いて新たな画像を生成する。

ここで、動き検出の信頼度の比較基準となるα(動き検出信頼度のしきい値)を動き検出で得た動きの大きさに応じて変更しても良い。

図９に変更の手続きの例を示す。ステップ３９０１では、位置（ｘ、ｙ、ｔ）において動き検出部で得た動きの大きさ｜ｖx（ｘ，ｙ，ｔ）｜と｜ｖy（ｘ，ｙ，ｔ）｜を得る。ここで、｜ｖx（ｘ，ｙ，ｔ）｜は動きベクトルの水平成分の大きさ、｜ｖy（ｘ，ｙ，ｔ）｜は動きベクトルの垂直成分の大きさを示す。

次にステップ３９０２ではステップ３９０１で求めた動きの大きさと低解像度入力画像の画素間隔Ｐの倍数（Ｐ、２Ｐ、３Ｐ、・・・）との差のうち最小の値を求める。この値は、言い換えれば、動き検出部が検出した動きの大きさを低解像度入力画像の画素間隔で丸めた場合の誤差である。

ここで、動きの大きさおよび画素間隔を表す単位は生成する高解像度画像の画素間隔を基準値１として考える。例えば、動きの大きさが４で、Ｐが３の場合、Ｐの倍数のうち動きの大きさ４に最も近い値は３であるため、３と４との差を求める。

このようにして求めた、水平方向の動きの大きさとＰの倍数との差をＤｘ（ｘ、ｙ、ｔ）、垂直方向の動きの大きさとＰの倍数との差をＤｙ（ｘ、ｙ、ｔ）と置く。最終的な差分は両者を統合した値Ｄｘｙ（ｘ、ｙ、ｔ）とする。統合した値の求め方は、総加平均Ｄｘｙ（ｘ、ｙ、ｔ）＝｛Ｄｘ（ｘ、ｙ、ｔ）＋Ｄｙ（ｘ、ｙ、ｔ）｝／２や、２乗平均Ｄｘｙ（ｘ、ｙ、ｔ）＝ｓｑｒｔ｛Ｄｘ（ｘ、ｙ、ｔ）＊Ｄｘ（ｘ、ｙ、ｔ）＋Ｄｙ（ｘ、ｙ、ｔ）＊Ｄｙ（ｘ、ｙ、ｔ）｝などを用いる。ここでｓｑｒｔは平方根をあらわす。

次に、ステップ３９０３では前記Ｄｘｙ（ｘ、ｙ、ｔ）を用いて位置（ｘ、ｙ、ｔ）のαの値α（ｘ、ｙ、ｔ）を決定する。Ｄｘｙ（ｘ，ｙ，ｔ）が小さくなるに従い、α（ｘ、ｙ、ｔ）を大きく設定し、動き検出の信頼度判定を厳しくする。例えば、α（ｘ、ｙ、ｔ）＝αmax−（αmax−αmin）×Ｄｘｙ（ｘ，ｙ，ｔ）／Ｄmaxのようにして決定する。ここで、αmaxはαの最大値、αminはαの最小値としてあらかじめ定めておき、ＤmaxはＤｘｙ（ｘ，ｙ，ｔ）がとりうる最大値である。αの設定方法は、Ｄｘｙ（ｘ，ｙ，ｔ）が小さくなるに従い、α（ｘ、ｙ、ｔ）を大きくなるように設定していれば他の方法で設定しても良い。

動きの大きさが低解像度入力画像の画素間隔の倍数に近い場合、動き検出を行った移動前の入力画像と移動後の入力画像とにおいて、移動する被写体のほぼ同じ位置に画素が対応するため、被写体領域における両画像の相関が高くなる。

図１２を用いて説明する。図１２の(a)と(b)は低解像度入力画像の隣り合うフレーム画像の一部を示している。図１２(a)の黒色の被写体４２０１は次のフレーム(b)では低解像度画像の２画素分右に移動している。図中の斜線部分は画素の大きさよりも小さい凹形状が被写体の左側にあることを示している。被写体２４０１の形状については図１２(a)と(b)は同じ形を平行移動した関係となっている。動き拘束を用いて両画像間の対応関係を設定しても解像度を向上させるための相補的な情報は得られ難い。逆に、動きベクトルに含まれる誤差が大きいと、動き拘束を用いることで生成画像を劣化させてしまう可能性が生じる。

一方、動きの大きさが低解像度入力画像の画素間隔の倍数と離れている場合、動き検出を行った移動前の入力画像と移動後の入力画像とには移動する被写体に対する相対的画素位置に差異が生じる。このことを図１３を用いて説明する。

図１３の(a)と(b)は低解像度入力画像の隣り合うフレーム画像の一部を示している。図１３(a),(b)の黒色の被写体４３０１は、被写体４２０１（図１２を参照）と同じ形状の被写体が異なる速度(右へ2.5画素分)で移動した様子を表している。移動量が画素間隔の倍数と異なるため、同一の被写体であるにも係わらず、図１３(a)と(b)とでは異なる写り方になっている。

この場合、動き拘束を用いて両画像間の対応関係を設定することで、相関の低い２つの画像を相補的に利用し、被写体の画素の大きさよりも小さい形状に関する情報を得ることができる。この結果、解像度改善効果が得やすい。このとき、異なる写りの画像に対して動き拘束を用いることによる解像度改善効果が大きくなるため、図１２の場合には画像劣化を引き起こすような誤差が動きベクトルに多少含まれていても、動き拘束を用いる利点が勝る。

このように、動きベクトルの大きさと低解像度入力画像の画素間隔の倍数との差が小さい場合は、より精度の高い動き検出結果のみを動き拘束に用いることで、動き検出に含まれる誤差が生成する画質を低下させることを回避することができる。一方、動きベクトルの大きさと低解像度入力画像の画素間隔の倍数との差が大きい場合には、比較的精度の低い動き検出結果を用いても、解像度の改善効果が期待できる。動きベクトルの大きさでαを変えることで、動き拘束を有効に用いて高解像度化処理を行うことが可能となる。

また、図１１に示すように、画像生成装置３０に周波数強度算出部１０５を追加してなる画像生成装置３０ａを考え、前記周波数強度算出部１０５が、画像入力部１０１が入力した画像の周波数別の信号強度を算出し、前記周波数別の信号強度に基づいて動き検出信頼度のしきい値αを変更してもよい。

図１０に変更の手続きの例を示す。ステップ４００１では、周波数強度算出部１０５が入力画像（ここでは、一例として高速画像を用いるが、低速画像を用いても良いし、両方用いても良い）に対して次式のようにフーリエ変換を行い、空間周波数別の信号強度を求める。

Ｆ（ωｘ、ωｙ、ｔ）＝ＦＴ（ＨＬ（ｘ、ｙ、ｔ））

ここで、ＨＬ（ｘ、ｙ、ｔ）は高速画像の輝度分布を表し、ＦＴ（）は空間方向の周波数強度への変換を表し、Ｆ（ωｘ、ωｙ、ｔ）は高速画像の周波数強度分布を示す。ωｘとωｙはぞれぞれ、水平方向の空間周波数と垂直方向の空間周波数を表す。

次にステップ４００２では、高周波成分と低周波成分の強度比を求める。ここで、高速画像が撮影できる空間周波数の上限をωmaxとし、空間周波数０〜ωmax／２においてＦ（ωｘ、ωｙ、ｔ）を積算した値を低周波成分ＬＦとし、空間周波数ωmax／２〜ωmaxにおいてＦ（ωｘ、ωｙ、ｔ）を積算した値を高周波成分ＨＦとする。高周波成分と低周波成分の強度比ＲはＲ＝ＨＦ／ＬＦとして求める。この場合、Ｒは各時間ｔについて求まる。

次に、ステップ４００３では前記強度比Ｒを用いて動き検出信頼度のしきい値αを変更する。ここで、Ｒが大きい画像に対してαが小さくなるように設定する。例えば、αの最大値αmaxと、αの最小値αminと、Ｒに対するしきい値Ｒthとをあらかじめ定めておき、ＲがＲthを超えたときにα＝αminとし、ＲがＲth未満の場合にα＝αmaxとする。αの設定方法は、Ｒが大きい画像に対してαが小さくなるように設定すれば、他の方法を用いてもよい。

一般に、撮影できる空間周波数の上限に近い周波数帯では、低周波数帯に比べて撮像利得が低くなる。このため、撮影可能な周波数の範囲内であっても、高解像度化処理による画質改善の余地が大きい。

ここで、低周波数成分が高周波成分に対して相対的に多い画像の場合、高解像度化可能な潜在的成分が少ないことが予想される。このような場合、正確な動きの拘束を用いて高解像度化を図っても、改善余地は少ない。しかも、動き検出に誤差を含む場合、動き拘束を用いることで画像劣化が生じ得る。

一方、高周波成分が相対的に多い画像の場合、高解像度化可能な潜在的成分が多いことが予想される。この場合、動き検出に多少の誤差が含まれていても、動き拘束を用いて高解像度化する効果が勝ることになる。

このように、入力画像の周波数強度に応じて動き拘束の信頼度しきい値αを変えることで、動き拘束により画質が改善しやすい場合には、より多くの動きを用い、動き拘束による画質改善が限定されやすい場合には、精度の高い動きのみを用いて処理を行う。動き拘束を有効に用いて高解像度化の処理を行うことが可能となる。

なお、上記の例では、画像全体に対して周波数強度を求めたが、ウェーブレット変換などを用いて、画像の局所ごとに周波数強度を求めて同様の処理を行っても良い。また、上記の例では、高速画像を用いて、空間方向の周波数強度を算出して用いたが、低速画像を用いて、時間方向の周波数強度を算出し、同様の処理を行ってもよい。

他のλの決め方として、ある単調増加関数ｇ（ｘ）を用いてλｍ（ｘ，ｙ，ｔ）＝ｇ（ｃｏｎｆ（ｘ，ｙ，ｔ））、他のλの（ｘ，ｙ，ｔ）における値をｇ（ｃｏｎｆ＿ｍａｘ）−ｇ（ｃｏｎｆ（ｘ，ｙ，ｔ））とするように、連続的に定義してもよい。ここで、ｃｏｎｆ＿ｍａｘは信頼度が取り得る値の最大値である。このように、動き検出の信頼度が高い時には動き拘束に重きを置き、信頼度が低い時には外部モデル拘束の割合を増すことで、動き検出が正確に行えない位置においても、画像が劣化することを抑え、時空間解像度を高めることが可能となる。また、上記では外部モデル拘束として複数の拘束を同時に用いたが、同様に他の拘束を更に加えて用いても良いし、一部の拘束のみを用いても本発明の効果は得られる。

次に、ステップ６０５では、統合処理部１０４ａが拘束条件Ｊを最小にする高速高解像度動画像を求める。拘束条件Ｊを最小にする高速高解像度動画像の求め方としては、例えば、拘束条件Ｊを高速高解像度動画像の各画素値で微分した式が０とおいた数１４の方程式を解いて求めることや、最急勾配法などを用いて繰り返し法を用いて求めても良い。最後に、ステップ６０６では、統合処理部１０４ａは、生成した高速高解像の画像を出力する。

より具体的な入力画像の組と出力画像の例を図１４から図１８を用いて説明する。ここでは説明を容易にするために、６画素×６画素×４フレームの動画像を用いて説明する。これはより大きな画像やフレーム数の大きい動画像の一部とみなすことができる。ここで、図１４は、撮影の対象を仮に高速高解像度で撮影できた場合の画像を示す。図１４の映像は本来撮影により取得できないが、説明の為に示す。図１４（ａ）から（ｄ）は４フレームを時間の順番に並べており、静止している被写体１４０１と移動している被写体１４０２が写っている。このような被写体に対して、高速低解像度動画像と低速高解像度動画像を得る（ステップ６０１）。このような被写体の高速低解像度動画像（画素数が縦横それぞれ１／３の場合）の例を図１５に示す。図１５（ａ）から（ｄ）は、図１４の（ａ）から（ｄ）の撮影時間に対応するフレームである。ここで、黒の画素と白の画素との中間の画素値の画素は左下向きの斜線で示している。フレーム数は図１４と同じであるが、空間解像度が図１４よりも低い。同様に、このような被写体の低速高解像度動画像（フレーム数１の場合）の例を図１６に示している。空間解像度は図１４と同じであるが、図１４の（ａ）から（ｄ）のフレームの間を露出しているため、被写体１４０２が移動軌跡として撮影されている。

次に、高速低解像度動画像から、動き検出部１０３は、画像中の被写体の動きと動きの信頼度を求める（ステップ６０２）。図１４の画像がより大きな画像の一部を示しているため、動き検出自体はより大きな画像全体で行った結果のうち、図１４の画像領域に関する結果を得ても良い。

図１７に信頼度の分布の例を示す。図１７（ａ）から（ｄ）は、図１４の（ａ）から（ｄ）の撮影時間に対応する。図１７において、右下向きの斜線部分が動き検出の信頼度が低い場所を示し、他の領域（白および黒の画素）は動き検出の信頼度が高い場所を示している。ここで白と黒の画素の表示は被写体との関係を表しており、信頼度では区別はない。また、静止している被写体や背景に対する動き検出の結果は動きの量が０という扱いになる。図１４の被写体のような場合、２つの被写体１４０１と１４０２が接近するあたりでは正確な動き検出が困難となる。拘束制御部１０４ｂは、動き検出結果を用いた拘束の設定（ステップ６０３）と動きの信頼度の低い位置に対する外部拘束条件とから総合的な拘束条件を設定し（ステップ６０４）、その拘束条件を用いて統合処理部１０４ａは高速高解像度動画像を生成・出力する（ステップ６０５、６０６）。

図１８に生成した画像の例を示す。図１８（ａ）から（ｄ）は、図１４（ａ）から（ｄ）の撮影時間に対応する。２つの被写体が接近するフレーム図１８（ｂ），（ｃ）では画素値が中間的な値になっているものの、本来撮影では得られない図１４の映像に近い映像が得られる。図１９には動き検出の結果のみを用い、動きの信頼度や外部拘束条件を用いない場合の生成画像の例を示す。動き検出が正確に行えない図１９（ｂ），（ｃ）のフレームの画像の右上において正確な画像の生成が行えていない。図１８の結果では、動き検出が図１８（ｂ），（ｃ）の右上の領域で正確に行えていないことから、外部拘束条件により、画像の他の位置や他のフレームとの画素値の連続性（数３，４など）やエッジの連続性（数５、６など）や動画像の主成分の傾向（数８など）を用いることで、統合処理部１０４ａは高速高解像度動画像として望ましい画像を生成することができる。

上記の例では、画像統合部１０４は、生成画像を出力するのみであるが、生成画像の出力と併せて画像生成の信頼度を出力しても良い。画像生成の信頼度γは生成した画像が正確に高速高解像化されている度合いを予測する値である。γの決め方としては、以下の数１５に示される動きの信頼度の総和や、

有効な拘束条件の数Ｎと求めるべき動画像の総画素数Ｍ（＝フレーム数×１フレーム画像の画素数）との比率Ｎ／Ｍなどを用いることができる。ここでＮ＝Ｎｈ＋Ｎｌ＋Ｎλ×Ｃであり、Ｎｈは高速画像の総画素数（フレーム数×１フレーム画像の画素数）、Ｎｌは低速画像の総画素数、Ｎλは外部拘束条件を有効にする時空間位置（ｘ，ｙ，ｔ）の総数、Ｃは外部拘束の種類の数とする。なお、数１４などの方程式を連立１次元方程式として解く場合には、Ｃｌｉｎｅ，Ａ．Ｋ．， Ｍｏｌｅｒ，Ｃ．Ｂ．，Ｓｔｅｗａｒｔ， Ｇ．Ｗ．ａｎｄ Ｗｉｌｋｉｎｓｏｎ，Ｊ．Ｈ．，"Ａｎ Ｅｓｔｉｍａｔｅ ｆｏｒ ｔｈｅ Ｃｏｎｄｉｔｉｏｎ Ｎｕｍｂｅｒ ｏｆ ａ Ｍａｔｒｉｘ"，ＳＩＡＭ Ｊ．Ｎｕｍ． Ａｎａｌ．１６（１９７９），３６８−３７５．などに記載されている解の算出計算の安定性を示す条件数を信頼度として用いることができる。動きの信頼度の高い場合、動き拘束を用いた生成画像の信頼度も高いことが期待できる。また、生成する動画像の総画素数に対して有効な拘束条件が多い場合には、解としての生成画像を安定して得ることができ、生成画像の信頼度も高いことが期待できる。同様に、上記条件数が小さい場合にも解の誤差が小さいことが期待できる為、生成画像の信頼度が高いと期待できる。

このように、生成画像の信頼度を出力することで、出力した動画像に対してＭＰＥＧなどの圧縮符号化を行う際に、信頼度の低い場合には圧縮率を高め、逆に、信頼度の高い場合には圧縮率を低く設定することが可能となり、適切な圧縮率の設定が可能となる。例えば生成画像の信頼度γと符号化の圧縮率δとの関係を図２０のように単調増加の関係に設定し、生成した動画像の信頼度γの値に対応する圧縮率δで符号化を行う。生成画像の信頼度γが低い場合には生成画像が誤差を含みうるため、圧縮率を高くしても実質的に情報の欠損があまり生じないことが期待されるため、効果的にデータ量を削減できる。ここで圧縮率とは、もとの画像のデータ量に対する符号化後のデータ量の割合で、圧縮率が高い（大きい値）ほど、符号化後のデータ量は小さくなり、復号化した際の画質は低下する。

同様に、ＭＰＥＧの場合などでは、前記信頼度の高いフレームを優先的にＩピクチャなどのフレーム内符号化の対象とし、他のフレームをフレーム間符号化の対象とすることで、動画像の再生時の速送り再生や一次停止時などの画質を向上させることが可能となる。例えば、前記生成画像の信頼度をフレーム毎に求めておきγ（ｔ）と置く。ｔはフレーム時刻である。連続する複数のフレームの中から、フレーム内符号化を行うフレームを選択する際にγ（ｔ）が予め定めた閾値γｔｈより大きいフレームの中から選択したり、予め定めた連続フレーム区間の中で最もγ（ｔ）の大きいフレームを選択する。

なお、出力動画像を符号化する処理の有無に関わらず本発明の効果は得られる。
また、上記の例では、画素値として単一の輝度のみを前提に説明したが、輝度に対する上記の処理をＲＧＢカラー表現のＲとＧとＢの各成分について個々に同じ処理を行って高速高解像度動画像を得ることで、カラー画像に対しても高速高解像度動画像を生成することが可能である。また、より簡易に色情報を扱う方法としては、低速画像を輝度と色差に分解し、輝度画像のみを上記の処理で高速高解像度化し、色差情報は補完拡大して前記高速高解像度輝度画像に付加することでも、効果は得られる。この場合、画像の情報の主成分は輝度に含まれる為、他の色差の情報が補完拡大された場合であっても、両者を合せることで、入力した画像に比べて、高速高解像度化した動画像を得ることが可能となり、ＲＧＢ独立に処理する場合に比べて処理量を削減することが可能となる。

このようなカラー画像に対する処理の手順を図２１に示す。ステップ２１０１では高速低解像度動画像を輝度画像と色差画像に分離し、続いて、ステップ２１０２で、前記輝度画像と低速高解像度動画像の輝度画像とを用いて図３の手順に基づいて高速高解像度動画像を生成する。ステップ２１０３では、前記色差画像を高解像度画像と同じ画素数に補間拡大する。ステップ２１０４では、前記生成輝度画像と前記補間拡大した色差画像とを合成して高速高解像度のカラー画像を生成する。このように、画像統合部１０４が、高速低解像度動画像から色差情報を抽出し、高速低解像度動画像の輝度情報と低速高解像度動画像とから中間的な新たな動画像を生成し、生成した中間的な動画像に色差情報を付加することによって、最終的な新たな動画像を生成することで、カラーの動画像を少ない処理量で統合することができる。

以上のように、本実施の形態における画像生成システム１００によれば、動き検出部１０３が求めた動きの信頼度に応じて、拘束制御部１０４ｂが外部モデル拘束条件と動き拘束条件とを有効にする度合いを決定し、前記拘束条件を用いて高速画像と低速画像を統合することにより、動き検出が行えない場合や、動き検出の精度が低い画像領域においても高速高解像の動画を得ることができる。

なお、本実施の形態では、動画像全体を一括で処理する例を説明したが、動画像を時空間的に複数の領域に分割し、前記各領域において上記と同様の処理を行って高速高解像の部分動画像を生成した後、生成した前記各部分動画像を時空間的に接合し、動画像全体の高速高解像の動画像を得ても良い。このように時空間的に分割処理を行う事で、画素数の多い画像やフレーム数の多い動画像を行う際に必要となる計算処理量やメモリ量を抑制する事が可能となる。特に、時間方向に動画像を分割することで、過去に入力された複数フレームを一括処理することによる画像生成の時間遅れを短縮することも可能になる。

また、上記のように分割処理する際に、隣接する時空間領域が分割境界近傍において、重複するように、各領域を設定してもよい。図２２に空間的に重複を持たせて領域分割をした例を示す。図２２では画像を空間的に重複領域を持たせて領域７０１〜７０４の４領域に分割している。個々の領域に相当する動画像を生成した後に、重複部分の画素値は重複する各領域の画素値を重み付け加算平均を行うことで、滑らかな接合を行うことができる。また、時間方向に重複を持たせて図２２と同様に領域分割しても良い。このように、重複領域を持たせることで、領域分割処理において隣接する領域間での処理結果の不連続性を抑制する事ができる。

なお、このような重複を許す分割処理において、重複領域の大きさは、予め定めておく。重複領域の大きさを大きくすることで、処理領域間での処理結果の不連続性を低減する効果が増す。重複領域の大きさを小さくすると重複によって増加する計算量を抑えることが可能となる。

また、上記のように領域分割する際の時間方向の領域境界としては、予め動画像のフレーム間の画像の変化を算出し、フレーム間の画像の変化が予め定めた基準より大きいフレーム間に時間的な領域境界を設定しても良い。例えば、隣り合うフレーム画像の差として数１６のような値ＳＳＤ（ｔ）を定義し、ＳＳＤ（ｔ）＞ｔｈを満たす場合に、時刻ｔのフレームと時刻ｔ＋１のフレームとの間を処理の境界とし、時刻ｔ以前のシーケンスと時刻ｔ＋１以降のシーケンスの処理を分けて行う。

ここで、Ｉ（ｘ，ｙ，ｔ）は時刻ｔのフレーム画像中の位置（ｘ，ｙ）における輝度を示し、ｔｈは予め定めた閾値である。また、閾値ｔｈを基準として処理の区切りを決定する替わりに、処理の区切りを設けたい時間領域のシーケンスにおいて前記ＳＳＤ（ｔ）が最大になる時刻ｔを処理の区切りとしても良い。このようにすることで、時間的に隣接する領域間の処理結果の不連続性がフレーム間の画像の変化に対して相対的に小さくなる事で不連続性が知覚されにくくなるという効果が期待できる。

以上、本発明に係る画像生成装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。

また、本発明の画像生成装置が行なう画像生成処理の一部または全部は、専用の機器で行わせるようにしてもよいし、コンピュータ端末装置や、基地局等に配置される通信機器や、スタンドアロンのコンピュータに内蔵されるＣＰＵが画像生成処理プログラムを実行することによって、画像生成処理を行うようにしてもよい。

また、図１に示された画像生成システム１００の構成のうち、表示装置４０を除いた構成を用いて、図２３に示すようなカメラ３００として、つまり、単体の装置として本発明を実現してもよい。

さらに、図２３に示されたカメラ３００に表示装置４０を付加することにより、動画像録画・再生機能付きのカメラとして実現しても良い。

また、図２に示された画像生成システム１００の構成のうち、撮像装置１０を除いた構成を用いて、図２４に示すようにテレビなどのディスプレイ機器４００として本発明を実現しても良い。この場合、あらかじめ録画してある動画像の時空間解像度を向上させて表示することが可能になる。

（第２の実施の形態）
本発明の第２の実施形態は、前述した画像生成装置を時空間位相が異なる複数の動画像に適用する一例であって、前記画像入力手段は、時空間位相が異なる複数の動画像として、原動画像の本来のフレーム画像の複数の部分をそれぞれ異なる時刻について表す複数種類のフィールド画像のうち、一種類のフィールド画像を複数のフレームについて連ねてなる異なる複数の動画像を受け付け、前記画像統合手段は、前記原動画像のフィールドレートと同等のフレームレートを有し、かつ前記本来のフレーム画像と同等の解像度を有するフレーム画像から構成される新たな動画像を生成する。

これにより、本来のフレーム画像に比べて解像度が低いフィールド画像を第１の実施の形態で説明した処理によって統合することによって、本来のフレーム画像と同等の解像度を持つフレーム画像をフィールドの時間レートで含む、高解像度かつ高速な新たな動画像を得ることができる。

また、前記フィールド画像の露出時間を、時間的に隣接するフィールド間の時間間隔よりも長く取るように撮影することにより、より多くの情報量を得ることができる。

以下、図面を参照しながら本発明の第２の実施の形態に係る画像生成システムについて詳細に説明する。

図２５に第２の実施形態における画像生成装置の構成を示す。基本的な構成は第１の実施形態と同じであるが、画像入力部１０１が、同一の対象物を撮像するマルチインタレース画像入力部１０１ｃから構成される点で異なる。

マルチインタレース画像入力部１０１ｃは、１フレームの画像を１対ｎインタレース（ｎは２以上の整数）画像として得るもので、撮像画素位置と撮影タイミングの異なるｎ種類のフィールド画像（時空間位相の異なる複数の動画像）を入力する。

図２６、２２，２３，２４、２５を用いて異なるフィールド画像の撮影方法の例について説明する。図２６と図２７は、ｎ＝３の場合の各フィールド画像の一部分の撮影タイミングを表している。図の横軸の番号がフィールドの番号を表しており撮影時刻に対応する。図の縦軸は画像の縦軸（水平ライン数）を表している。ｉは０以上の任意の整数で水平ラインの画像中での位置を表している。

図中の矩形は各画素位置での露出期間を示しており、ｎ＝３の場合、撮影されるライン位置と撮影タイミングの異なる３種類のフィールド画像のそれぞれを白色の矩形、格子模様の矩形、斜線の矩形で表現している。この場合、１フレームの画像を異なる水平ライン位置に分けて異なるタイミングで撮影し複数のフィールド画像を得る。各フィールド画像の横方向、つまり各ラインは同時に撮影される。

ここで、各フィールド画像の露出時間は必ずしも隣り合うフィールド間の時間間隔よりも短い（図２７）必要はなく図２６のように長く行っても良い。このように長時間の露出を行った場合には、被写体の輝度変化の情報も取得することが可能となり、前記情報を活用した高解像度画像を生成することが可能となる。

図２８，２４には、ｎ＝４の場合の４種類のフィールド画像（白色矩形、格子模様の矩形、斜線の矩形、縦縞の矩形）の撮影タイミングを示している。図２８と２４とでは各ラインの撮影順序が異なる。図２８のように隣り合うラインを順次撮影する必要は必ずしもなく、図２９のように撮影されるラインが時空間的に分散して配置されている方が望ましい。

図３０はｎ＝４の場合に画像の横方向（図中のＸ軸方向）の位置についても撮影位置と撮影タイミングを変えた場合の各フィールド画像の撮影位置（各矩形は画素位置を表す）と撮影タイミング（矩形の模様の違い）を表している。図において４種類の画素の撮影タイミングは図２８、図２９と同様に時間的に異なり、撮影画素が画像の縦方向（図中のＹ軸方向）および横方向の何れにも時間的に分散されるように定められる。

上記のようなマルチインタレース画像を入力する場合、異なるフィールドは異なるタイミングで画素値を得ることができるため、通常のプログレッシブ撮影方法などと同じ画素読み出し速度でも、より多くの画素からなる画像の入力が可能となる。

次に、上記の画像入力（ｎ＝３）を用いた場合の入力画素値（ここでは、輝度値）と高速高解像度画像の画素値との関係を数１７〜数１９に示す。第１の実施の形態の数１と数２と同様に数１７〜数１９の関係は、高速高解像度動画像の各画素が満たすべき外部モデル拘束条件として画像生成に使用される。

ここで、ＨＨ（Ｘ，Ｙ，ｔ）は第１の実施形態と同様に高速高解像度画像の画素位置（Ｘ，Ｙ，ｔ）における画素値を表す。ここで、高速高解像度画像の画素数は全フィールド画像の画素数の和（＝１種類のフィールド画像の画素数×ｎ）であり、高速高解像度画像のフレーム間隔は時間的に隣り合うフィールド画像の時間間隔とする。

図３１に図２６，２２に対応する高速高解像度画像の各フレームの画素配置の例を示す。図３１において白色の矩形が各フレームの画素位置を示す。ＭＩ１（Ｘ，Ｙ，ｔ1）は第１フィールド画像の画素位置（Ｘ，Ｙ，ｔ１）の画素値を表し、数１７では３フィールド分露出していることを表している。ＭＩ２（Ｘ，Ｙ，ｔ1）、ＭＩ３（Ｘ，Ｙ，ｔ1）についても同様である。

ここで、各画像の画素値は撮像時の入射光量に比例し、比例定数も共通であるとしている。比例しない場合の補正は第１の実施形態と同様である。また、Ｒ、Ｇ、Ｂのカラー値も輝度値と同様に扱うことが可能である。画像を入力した後の処理は第１の実施形態と同様である。

図３２を用いて本実施形態における動作を説明する。主な動作は第一の実施形態と同様であるが、最初の画像入力のステップ２７０１において画素位置および撮影タイミングの異なるｎ種類のインタレース画像を読み込む。ここで、被写体（言い換えれば実際に生成されるべき高速高解像度の画像）の例を図３３に示す。図３３では（ａ）から（ｆ）まで時間順に１２画素×１２画素で６フレームの画像を表しており、図中には静止している黒色の矩形２８０１と右下方向に移動している黒色の矩形２８０２が存在する。

図３４，３０，３１に、図２６に示されるｎ＝３の場合の撮影方法を用いて、図３３に示される被写体を撮影した場合に得られるインタレース画像の例を示す。図３４は図２６の白色の矩形の撮影位置と撮影タイミングで図３３の被写体を撮影した結果であり、離れた画素位置は空白で間を空けて図示される。画素数は縦が４画素、横１２画素で、図３４（ａ）は図３３の第１フレームから第３フレームの間を写した結果であり、黒色の矩形の移動によるぶれた位置の画素は斜線で示している。同様に図３４（ｂ）は第４フレームから第６フレームの間を写した結果である。

図３４と同様に、図３５は図２６の格子模様の矩形の撮影位置と撮影タイミングで得られる２枚のフィールド画像を示し、図３６は図２６の斜線の矩形の撮影位置と撮影タイミングで得られる２枚のフィールド画像を示している。

次に、ステップ２７０２では図３５，３１，３２の画像から、必要に応じて補間処理を行い、未撮影の位置やタイミングの画素値を求めることによって、高速高解像度画像を得る。

図２６の撮影方法では高速高解像度画像の３フレーム分の時間露出を行っているために、未撮影時間は存在しないが、図２７のような撮影方法を用いた場合には、未撮影位置や未撮影タイミングが存在する。

図２７の撮影方法を用いた場合に得られるインタレース画像の例を、図３９，３５，３６に示す。図３４，３０，３１に示されるインタレース画像と比べて、ぶれた画素がない反面、未撮影タイミングにおける情報は画素値に反映されていない。

そのため、一般的な画像の補間手法（バイキュービック法など）を用いて、既に得られている画素値から未撮影位置・未撮影タイミングの画素値を求める。補間の手法は他の方法でも良く、例えば、第１の実施の形態で説明した画像生成手法において動き情報（動き検出を用いた拘束条件）を除いた他の拘束条件のみを用いて画像生成を行なって補間画像を得ても良い。

また、図２６の撮影方法を用いて未撮影位置が存在しない画像が得られる場合であっても第１の実施の形態の画像生成手法で画像生成を行なってもよい。そうすれば、動きブレを含んだままの画像から拘束条件を用いてより望ましい画像に変換することが可能となり、次のステップにおける動き検出の精度の向上が期待できる。

なお、上記の例では、ステップ２７０２で補間画像を生成した後、動き検出および動き検出の信頼度を求めているが、補間画像を生成する前の画像を用いて動き検出および動き検出の信頼度を求めても、上記の例と同様に本願発明の効果が得られる。

次に未撮影位置のない画像を用いて、動き検出と動きの信頼度を算出する（ステップ２７０３）。ステップ２７０３からステップ２７０４までの処理は第１の実施の形態と同様である（図３ステップ６０２からステップ６０３を参照）。

次に、目的とする高速高解像度動画像に対する総合的な拘束条件Ｊ（ＨＨ）を設定する（ステップ２７０５）。本実施の形態での総合的な拘束条件Ｊの例を数２０に示す。

数２０の右辺において、第１項は高速高解像度動画像から数１７の関係式を使って作り出したインタレース画像ＭＩ１'とマルチインタレース画像入力部１０１ｃに実際に入力されるインタレース画像ＭＩ１との差（対応する画素値との差の２乗和）を表す拘束である。

第２項は、高速高解像度動画像から数１８の関係式を使って作り出したインタレース画像ＭＩ２'とマルチインタレース画像入力部１０１ｃに実際に入力されるインタレース画像ＭＩ２との差を表す拘束である。

第３項は、高速高解像度動画像から数１９の関係式を使って作り出したインタレース画像ＭＩ３'とマルチインタレース画像入力部１０１ｃに実際に入力されるインタレース画像ＭＩ３との差を表す拘束である。

第１〜３項の拘束は、生成した画像と撮影した画像との輝度値の関係が、上記数１７〜数１９の関係をできるだけ満たすようにするものであり、撮影画像と生成画像との間で輝度値の矛盾を生じにくくする条件である。数２０の右辺の第４項目以降は第１の実施の形態の数１１と同等である。

以降のステップ２７０６およびステップ２７０７は、第１の実施の形態の図３のステップ６０５とステップ６０６と同様である。

生成される画像の例を図３７及び図３８に示す。ここで、図３７は動き検出の信頼度を用いない場合の結果の例で、図３８は動き拘束の信頼度を用いた場合の結果の例を示している。

第１の実施の形態と同様に図３３の映像では２つの黒色の矩形が接触する付近で動き検出が一般的に困難になるため、動き検出の誤りが起こりやすい。従って、各フィールド画像において動き検出の信頼度が前記２つの矩形が接触する付近で低い値を持つようになる。

ここで、動き検出の信頼度を用いないで画像の生成を行なうと、矩形が接触する付近で誤った動き検出を用いて画像を生成することになり、図３７のような画像を得ることになる。一方、動き検出の信頼度を用いて、矩形が接触する付近では動き検出の結果を重視せずに、他の高速条件を優先的に用いることで図３８のようにより、望ましい画像を得ることが可能となる。

このように、本実施例のような画像入力を行なった場合にでも、動き検出結果を用いる際に、動き検出の信頼度を利用して拘束条件を設定することで、動き検出が困難な場所も含めて高速高解像度の動画像を得ることが可能となる。また、第１の実施の形態と同様に、動きベクトルの大きさとマルチインターレース画像の画素間隔の倍数との差に基づいて、動き検出信頼度のしきい値)を動き検出で得た動きの大きさに応じて変更しても同様の効果が得られる。 更に、第２の実施形態の構成では、通常の撮像素子の画素値の読み出しの順序やタイミングや露出形態を変更するのみで、入力部を構成し、通常の撮像素子の撮影画像に比べて時空間解像度を向上させることが可能となる利点もある。

なお、特許請求の範囲と実施の形態における構成要素の対応は次の通りである。つまり、特許請求の範囲における「画像入力手段」、「動き検出手段」、「外部モデル拘束手段」、「画像統合手段」の一例が、それぞれ、実施の形態における画像入力部１０１、動き検出部１０３、外部モデル拘束部１０４ｄ、画像統合部１０４である。ただし、特許請求の範囲における各構成要素は、これら実施の形態における対応する構成要素だけに限定されるのでなく、その等価物も含まれる。

本発明は、複数の動画像から新たな動画像を生成する画像生成装置として、特に、高速低解像度動画像と低速高解像度動画像とから高速高解像度動画像を生成する画像生成装置、そのような装置が組み込まれた映像機器やシステム、映像合成装置、映像編集装置、画像復元装置、画像復元プログラム等として利用できる。

本発明の実施の形態における画像生成システムのハードウェア構成を示すブロック図 第１の実施形態における画像生成装置の構成を示す機能ブロック図 画像生成装置の動作を示すフローチャート 入力画像の時系列の一例を示す図 撮影装置の具体例を示す図 （ａ）〜（ｃ）は、それぞれ、生成する高速高解像度動画像、入力される高速低解像度動画像および低速高解像度動画像の画素配置の一例を示す図 画素値を補正する場合における入射光量と画素値との関係の例を示すグラフ 高速低解像度動画像で求めた動き検出結果と高速高解像度動画像との関係を示す図 動き検出の信頼度のしきい値の決定手順の一例を示すフローチャート 動き検出の信頼度のしきい値の決定手順の一例を示すフローチャート 周波数強度算出部を設けた画像生成装置の構成を示す機能ブロック図 （ａ）、（ｂ）入力画像の一例を示す図 （ａ）、（ｂ）入力画像の一例を示す図 生成する高速高解像度動画像のフレーム画像の一例を示す図 入力される高速低解像度動画像のフレーム画像の一例を示す図 入力される低速高解像度動画像のフレーム画像の一例を示す図 信頼度の分布例を示す図 生成された動画像のフレーム画像の一例を示す図 信頼度を用いないで生成した場合の動画像のフレーム画像の一例を示す図 生成した画像の信頼度を用いて画像を符号化する圧縮率を変化させる場合の信頼度と圧縮率との関係の一例を示すグラフ カラーの動画像を統合する場合の処理手順を示すフローチャート 領域分割処理の一例を示す図 画像生成システムの具体例を示すブロック図 画像生成システムの具体例を示すブロック図 第２の実施形態における画像生成装置の構成を示す機能ブロック図 入力画像の撮影位置と撮影タイミングの一例を示す図 入力画像の撮影位置と撮影タイミングの一例を示す図 入力画像の撮影位置と撮影タイミングの一例を示す図 入力画像の撮影位置と撮影タイミングの一例を示す図 入力画像の撮影位置と撮影タイミングの一例を示す図 高速高解像度画像の画素配置の一例を示す図 画像生成装置の動作を示すフローチャート 第２の実施形態における高速高解像度動画像のフレーム画像の一例を示す図 入力されるフィールド画像の一例を示す図 入力されるフィールド画像の一例を示す図 入力されるフィールド画像の一例を示す図 信頼度を用いないで生成した場合の動画像のフレーム画像の一例を示す図 生成された動画像のフレーム画像の一例を示す図 入力されるフィールド画像の一例を示す図 入力されるフィールド画像の一例を示す図 入力されるフィールド画像の一例を示す図 従来の画像生成装置の構成を示すブロック図 従来の画像生成装置における入力画像の時系列を示す図

符号の説明

１０ 撮像装置
２０ 画像記憶装置
３０ 画像生成装置
４０ 表示装置
１００ 画像生成システム
１０１ 画像入力部
１０１ａ 高速画像入力部
１０１ｂ 低速画像入力部
１０１ｃ マルチインターレース画像入力部
１０２ 符号化部
１０３ 動き検出部
１０３ａ 動き分布算出部
１０３ｂ 動き信頼度分布算出部
１０３ｃ センサ入力部
１０４ 画像統合部
１０４ａ 統合処理部
１０４ｂ 拘束制御部
１０４ｃ 動き拘束指定部
１０４ｄ 外部モデル拘束部
１０４ｅ 拘束指定部
１０５ 周波数強度算出部
３００ カメラ
４００ ディスプレイ機器

Claims (15)

1. 複数の動画像から新たな動画像を生成する画像生成装置であって、
   同一の対象物を撮像して得られる時空間解像度または時空間位相の異なる複数の動画像の入力を受け付ける画像入力手段と、
   前記画像入力手段が受け付けた複数の動画像の少なくとも１つから前記対象物の動きを検出するとともに、当該動き検出の信頼度を算出する動き検出手段と、
   生成される新たな動画像の画素値が満たすべき条件である外部モデル拘束条件を指定する外部モデル拘束手段と、
   前記動き検出手段が検出した信頼度に基づいて、信頼度の高い画像領域については前記動き検出手段による動き検出の結果を用いて新たな画像を生成し、信頼度の低い画像領域については前記外部モデル拘束手段が指定する外部モデル拘束条件を用いて新たな画像を生成することにより、前記画像入力手段が受け付けた複数の動画像を統合して新たな動画像を生成する画像統合手段と
   を備えることを特徴とする画像生成装置。
2. 前記動き検出手段は、前記動画像を構成する各画像を分割したブロック単位で動きを検出し、ブロック同士の画素値の差の２乗和の符号を逆にした値を前記信頼度として算出し、
   前記画像統合手段は、前記差が予め定めた値よりも大きいブロックを信頼度の高い画像領域とし、前記差が予め定めた値よりも小さいブロックを信頼度の低い画像領域として、前記新たな動画像を生成する
   ことを特徴とする請求項１記載の画像生成装置。
3. 前記外部モデル拘束手段は、時空間的に隣り合う画素の画素値の連続性に関する条件を前記条件として指定する
   ことを特徴とする請求項１記載の画像生成装置。
4. 前記画像入力手段は、高速フレームレートで低解像度の第１動画像と低速フレームレートで高解像度の第２動画像を受け付け、
   前記画像統合手段は、前記第１動画像と同じフレームレートで前記第２動画像と同じ解像度の動画像を前記新たな動画像として生成する
   ことを特徴とする請求項１記載の画像生成装置。
5. 前記第２動画像は、フレームごとの露出時間が前記第１動画像の露出時間よりも長い
   ことを特徴とする請求項４記載の画像生成装置。
6. 前記画像統合手段は、前記第１動画像から色差情報を抽出し、前記第１動画像から取得された輝度情報と前記第２動画像とから中間的な新たな動画像を生成し、生成した中間的な動画像に前記色差情報を付加することによって、最終的な前記新たな動画像を生成する
   ことを特徴とする請求項４記載の画像生成装置。
7. 前記動き検出手段はさらに、前記対象物を撮像する撮像装置の姿勢を検出する姿勢センサからの信号を受け付ける姿勢センサ入力部を有し、前記姿勢センサ入力部が受け付けた信号を用いて前記動きを検出する
   ことを特徴とする請求項１記載の画像生成装置。
8. 前記画像統合手段は、前記複数の動画像の少なくとも１つについて画像の時間的な変化量を算出し、算出した変化量が予め定めた値を超える時間範囲について、前記新たな動画像を生成する
   ことを特徴とする請求項１記載の画像生成装置。
9. 前記画像統合手段はさらに、生成した新たな動画像の信頼性を示す値を算出し、算出した値を前記新たな動画像とともに出力する
   ことを特徴とする請求項１記載の画像生成装置。
10. 複数の動画像から新たな動画像を生成する画像生成方法であって、
    同一の対象物を撮像して得られる時空間解像度または時空間位相の異なる複数の動画像の入力を受け付ける画像入力ステップと、
    前記画像入力ステップで受け付けた複数の動画像の少なくとも１つから前記対象物の動きを検出するとともに、当該動き検出の信頼度を算出する動き検出ステップと、
    生成される新たな動画像の画素値が満たすべき条件である外部モデル拘束条件を指定する外部モデル拘束ステップと、
    前記動き検出ステップで検出した信頼度に基づいて、信頼度の高い画像領域については前記動き検出ステップによる動き検出の結果を用いて新たな画像を生成し、信頼度の低い画像領域については前記外部モデル拘束ステップで指定する外部モデル拘束条件を用いて新たな画像を生成することにより、前記画像入力ステップで受け付けた複数の動画像を統合して新たな動画像を生成する画像統合ステップと
    を含むことを特徴とする画像生成方法。
11. 複数の動画像から新たな動画像を生成するためのプログラムであって、
    請求項１０記載の画像生成方法に含まれるステップをコンピュータに実行させる
    ことを特徴とするプログラム。
12. 前記画像入力手段は、前記時空間位相が異なる複数の動画像として、原動画像の本来のフレーム画像の複数の部分をそれぞれ異なる時刻について表す複数種類のフィールド画像のうち、一種類のフィールド画像を複数のフレームについて連ねてなる異なる複数の動画像を受け付け、
    前記画像統合手段は、前記原動画像のフィールドレートと同等のフレームレートを有し、かつ前記本来のフレーム画像と同等の解像度を有するフレーム画像から構成される新たな動画像を生成する
    ことを特徴とする請求項１記載の画像生成装置。
13. 前記フィールド画像の露出時間が、時間的に隣接するフィールド間の時間間隔よりも長いことを特徴とする請求項１２記載の画像生成装置。
14. 前記画像統合手段は、前記動き検出手段が検出した動きの大きさを入力画像の画素間隔で丸めた場合の誤差に基づいて動き検出の信頼度のしきい値を設定し、前記動き検出手段が検出した動き検出の信頼度が前記しきい値よりも大きい位置を信頼度の高い画像領域とし、前記動き検出の信頼度が前記しきい値よりも小さい位置を信頼度の低い画像領域として、前記新たな動画像を生成する
    ことを特徴とする請求項１記載の画像生成装置。
15. さらに、前記周波数強度算出部が、入力手段が受け付けた動画像から入力画像の時空間周波数強度を算出する周波数強度算出手段を備え、
    前記画像統合手段は、前記周波数強度算出手段で算出された高周波強度が大きい場合に動き検出の信頼度のしきい値を小さく設定し、前記高周波強度が小さい場合に動き検出の信頼度のしきい値を大きく設定し、前記動き検出手段が検出した動き検出の信頼度が前記しきい値よりも大きい位置を信頼度の高い画像領域とし、前記動き検出の信頼度が前記しきい値よりも小さい位置を信頼度の低い画像領域として、前記新たな動画像を生成する
    ことを特徴とする請求項１記載の画像生成装置。

Images