JP2004272751A - Creation of still image from plurality of frame images - Google Patents

Creation of still image from plurality of frame images Download PDF

Info

Publication number
JP2004272751A
JP2004272751A JP2003064746A JP2003064746A JP2004272751A JP 2004272751 A JP2004272751 A JP 2004272751A JP 2003064746 A JP2003064746 A JP 2003064746A JP 2003064746 A JP2003064746 A JP 2003064746A JP 2004272751 A JP2004272751 A JP 2004272751A
Authority
JP
Japan
Prior art keywords
image
target
frame images
shift amount
generation device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003064746A
Other languages
Japanese (ja)
Inventor
Masashi Aiiso
政司 相磯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2003064746A priority Critical patent/JP2004272751A/en
Publication of JP2004272751A publication Critical patent/JP2004272751A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To improve quality of a still image created from a plurality of frame images contained in a moving picture. <P>SOLUTION: An image creating device creates a still image from a plurality of frame images contained in a moving picture. The image creating device detects a difference between a frame image 1 in front as a standard image and a frame image 2 as an object image, and composites them to create a composite image 1. The device then detects a difference between the composite image 1 as a standard image and a frame image 3 as an object image, and composites them to create a composite image 2. The device further detects a difference between the composite image 2 as a standard image and a frame image 4 as an object image, and composites them to create a composite image 3. The still image is created by these processes. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像に含まれる複数のフレーム画像から静止画像を生成する技術に関する。
【０００２】
【従来の技術】
従来、ディジタルビデオカメラ等で撮影された動画像の１シーンをキャプチャして、フレーム画像よりも高解像度の静止画像を生成することが行われている。このような静止画像は、動画像に含まれる複数のフレーム画像を重ね合わせて合成することによって生成される。
【０００３】
例えば、特許文献１には、連続する（ｎ＋１）枚のフレーム画像から１枚のフレーム画像を基準画像として選択し、この基準画像に対する他のｎ枚のフレーム画像（対象画像）の動きベクトルをそれぞれ算出し、各動きベクトルに基づいて、（ｎ＋１）枚のフレーム画像を合成して静止画像を生成する技術が開示されている。
【０００４】
【特許文献１】
特開２０００−２４４８５１号公報
【０００５】
【発明が解決しようとする課題】
しかし、一般に、個々のフレーム画像には、圧縮などの要因により、多くのノイズが含まれている。そして、ノイズが大きくなるほど、ずれ量検出の精度が悪くなる。このため、先に示した特許文献１の技術では、生成される静止画像の画質が悪くなる場合があった。
【０００６】
本発明は、上述の課題を解決するためになされたものであり、動画像に含まれる複数のフレーム画像から生成する静止画像の画質を向上させることを目的とする。
【０００７】
【課題を解決するための手段およびその作用・効果】
上述の課題の少なくとも一部を解決するため、本発明では、以下の構成を採用した。
本発明の第１の画像生成装置は、
動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置であって、
前記複数のフレーム画像のうちの少なくとも２つのフレーム画像を合成して基準画像を生成する基準画像生成部と、
該基準画像との所定のずれ量を検出すべき対象画像を設定する対象画像設定部と、
前記ずれ量を検出するずれ量検出部と、
該ずれ量を補償するように、前記対象画像を合成して合成画像を生成する合成画像生成部と、
を備えることを要旨とする。
【０００８】
ここで、フレーム画像とは、プログレッシブ方式（ノンインタレース方式ともいう）で表示可能な静止画像である。したがって、インタレース方式の場合は、ラスタの異なる複数のフィールド画像（奇数フィールドと偶数フィールド）から構成される画像が本発明のフレーム画像に相当する。
【０００９】
本発明では、基準画像は、少なくとも２つのフレーム画像を合成した画像である。したがって、各フレーム画像に含まれるノイズが平均化されるなどして目立たなくなっている。これを基準画像としてずれ量を検出することにより、その精度を向上させ、生成される静止画像の画質を向上させることができる。
【００１０】
なお、基準画像は、連続するフレーム画像を合成した画像であってもよいし、非連続のフレーム画像を合成した画像であってもよい。
【００１１】
また、基準画像生成部や、合成画像生成部が行う画像の合成処理には、ニアレストネイバ法や、バイリニア法や、バイキュービック法など、周知の種々の手法を適用することができる。また、基準画像生成部と、合成画像生成部とは、同一の合成処理を行うようにしてもよいし、それぞれ異なる処理を行うようにしてもよい。
【００１２】
本発明の第１の画像生成装置において、
前記合成画像生成部は、前記基準画像と前記対象画像とを合成して前記合成画像を生成するようにすることができる。
【００１３】
こうすることによって、合成画像の画質を向上させることができる。
【００１４】
また、本発明の第１の画像生成装置において、
前記対象画像設定部は、複数の前記対象画像を設定し、
前記合成画像生成部は、前記対象画像同士を合成して前記合成画像を生成するようにすることができる。
【００１５】
これは、合成画像の生成時に基準画像を合成しない態様である。こうすることによっても、静止画像の画質を向上させることができる。
【００１６】
上記画像生成装置において、
前記対象画像設定部は、任意のフレーム画像を対象画像として設定することが可能であるが、前記基準画像の生成に用いられたフレーム画像を、前記対象画像として設定するようにすることが好ましい。
【００１７】
例えば、ｎ枚のフレーム画像を合成して基準画像を生成した場合に、このｎ枚のフレーム画像のすべてを対象画像とする態様である。こうすることによって、基準画像とのずれ量が比較的少ないフレーム画像を対象画像として用い、合成画像を生成することができるので、静止画像の画質を向上させることができる。
【００１８】
上記画像生成装置において、さらに、
前記基準画像と前記合成画像との差異を評価する評価部と、
前記差異が所定以上であるときに、前記合成画像を前記基準画像として、前記ずれ量検出部と、前記合成画像生成部とを稼動させる合成制御部と、
を備えるようにしてもよい。
【００１９】
これは、基準画像と合成画像との差異が所定未満になるまで、合成画像の生成を繰り返して行う態様である。基準画像と合成画像との差異の評価は、例えば、両者の対応する各画素の階調値の差分や比を算出することによって行うことができる。本発明によって、静止画像の画質をさらに向上させることができる。
【００２０】
本発明の第１の画像生成装置において、
前記対象画像設定部は、前記基準画像の生成に用いられたフレーム画像以外のフレーム画像から、前記対象画像を選択するようにすることができる。
【００２１】
こうすることによって、多数のフレーム画像を参照して、より高画質な合成画像を生成することができる。
【００２２】
また、前記対象画像設定部は、前記基準画像の生成に用いられたフレーム画像から、前記対象画像を選択するようにしてもよい。
【００２３】
こうすることによって、基準画像および対象画像に、いわゆるブロックノイズやモスキートノイズなどのノイズが含まれる場合に、これらを低減することができる。
【００２４】
上記画像生成装置において、
前記基準画像生成部は、前記合成画像生成部よりも高速処理が可能な方法で、前記基準画像を生成するようにしてもよい。
【００２５】
画像の合成には、画像補間の手法が用いられる。一般に、高速処理が可能な方法は、手順が簡素化されているため、手順が複雑な方法よりも補間精度が悪く、画質が劣る。例えば、ニアレストネイバ法と、バイリニア法と、バイキュービック法とは、この順序で手順が複雑になり、処理時間が長くなる。一方、補間精度が高くなり、画質が向上する。
【００２６】
本発明において、基準画像は、合成画像生成部で合成される画像である一方、対象画像のずれ量を検出するために用いられる画像であるから、合成画像生成部で生成する合成画像と比較して、必ずしも高画質であることは要求されない。したがって、例えば、基準画像の生成には、高速処理が可能なニアレストネイバ法を適用し、合成画像の生成には、補間精度が高いバイリニア法を適用することができる。本発明によって、基準画像の生成時間を短縮することができるので、静止画像の生成時間を短縮することができる。
【００２７】
なお、本発明の第１の画像生成装置において、
前記対象画像設定部は、前記基準画像の生成に用いられたフレーム画像以外のフレーム画像を少なくとも１つ含む複数のフレーム画像を合成して、前記対象画像を設定するようにしてもよい。
【００２８】
これは、対象画像も複数のフレーム画像を合成した画像とする態様である。つまり、合成画像生成部は、複数のフレーム画像が合成された基準画像と対象画像とを合成して合成画像を生成する。こうすることによっても、静止画像の画質を向上させることができる。
【００２９】
本発明の第２の画像生成装置は、
動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置であって、
前記複数のフレーム画像から所定の基準画像を入力する基準画像入力部と、
該基準画像との所定のずれ量を検出すべき対象画像を設定する対象画像設定部と、
前記ずれ量を検出するずれ量検出部と、
該ずれ量を補償するように、前記基準画像と前記対象画像とを合成して合成画像を生成する合成画像生成部と、
該合成画像を前記基準画像として、前記対象画像設定部と、前記ずれ量検出部と、前記合成画像生成部とを稼動させる合成制御部と、
を備えることを要旨とする。
【００３０】
こうすることによって、段階的に基準画像と対象画像とを合成して合成画像の生成を行うことができる。したがって、合成画像では、基準画像および対象画像に含まれるノイズが平均化されるなどして目立たなくなっている。これを基準画像としてずれ量を検出することにより、その精度を向上させ、生成される静止画像の画質を向上させることができる。
【００３１】
なお、本発明の第１または第２の画像生成装置において、
前記複数のフレーム画像は、時系列的に連続するフレーム画像であるようにすることが好ましい。
【００３２】
こうすることによって、基準画像と対象画像とのずれ量を比較的小さく抑えることができる。
【００３３】
また、本発明の第１または第２の画像生成装置において、
前記ずれ量は、並進ずれ量および回転ずれ量の少なくとも一方を含むようにすることが好ましい。
【００３４】
並進ずれ量は、ブロックマッチング法や、勾配法や、これらを組み合わせた手法など、種々の手法によって、検出することができる。回転ずれ量も、また、幾何学的な計算によって検出することができる。本発明によって、精度よくずれ量の検出を行い、合成画像を生成することができる。
【００３５】
なお、以上説明した第１および第２の画像生成装置は、その一部を適宜組み合わせ可能である。
【００３６】
本発明は、上述の画像生成装置としての構成の他、画像生成方法の発明として構成することもできる。また、これらを実現するコンピュータプログラム、およびそのプログラムを記録した記録媒体、そのプログラムを含み搬送波内に具現化されたデータ信号など種々の態様で実現することが可能である。なお、それぞれの態様において、先に示した種々の付加的要素を適用することが可能である。
【００３７】
本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、画像生成装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。
【００３８】
【発明の実施の形態】
以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．第１実施例：
Ａ１．画像生成装置の構成：
Ａ２．静止画像の生成：
Ａ３．ずれ量の検出：
Ａ４．合成：
Ａ５．静止画像生成処理：
Ｂ．第２実施例：
Ｂ１．画像生成装置の構成：
Ｂ２．静止画像の生成：
Ｂ３．静止画像生成処理：
Ｃ．変形例：
【００３９】
Ａ．第１実施例：
Ａ１．画像生成装置の構成：
図１は、本発明の第１実施例としての画像生成装置１００の概略構成を示す説明図である。この画像生成装置１００は、動画像に含まれる複数のフレーム画像を合成して、フレーム画像よりも高解像度の静止画像を生成する装置である。画像生成装置１００は、汎用のパーソナルコンピュータに所定のアプリケーションソフトをインストールすることによって構成されており、図示する各機能ブロックをソフトウェア的に備えている。
【００４０】
パーソナルコンピュータは、ＣＰＵや、ＲＯＭや、ＲＡＭの他、ハードディスクや、ＤＶＤ−ＲＯＭ、メモリカード等の記録媒体から動画像を入力するためのインタフェースなどを備えている。また、入力した動画像を再生する機能も有している。
【００４１】
制御部１０は、各部の制御を行う。フレーム画像入力部２０は、動画像に含まれるフレーム画像を入力する。本実施例では、フレーム画像入力部２０は、動画像の再生中にユーザが一時停止の指示を、図示しないコマンド入力部に入力したタイミングから、時系列的に連続する４枚のフレーム画像を入力するものとした。フレーム画像入力部２０が入力するフレーム画像の数は、ユーザが任意に設定できるようにしてもよい。また、入力するフレーム画像は、時系列的に連続していなくてもよい。フレーム画像記憶部３０は、フレーム画像入力部２０が入力した複数のフレーム画像を記憶する。
【００４２】
基準画像選択部４０は、フレーム画像記憶部３０に記憶された複数のフレーム画像の中から基準画像を選択する。本実施例では、フレーム画像入力部２０が最初に入力したフレーム画像を、基準画像として選択するものとした。画像生成装置１００内に、複数のフレーム画像それぞれについて、その特徴量（例えば、エッジ強度等）の解析を行うための機能ブロックを設け、解析結果に基づいて、基準画像の選択を行うようにしてもよい。
【００４３】
対象画像設定部５０は、基準画像とのずれ量の検出対象となる対象画像を設定する。本実施例では、後述するように、基準画像以降の３枚のフレーム画像を、フレーム画像入力部２０が入力した順に、対象画像として設定するものとした。
【００４４】
ずれ量検出部６０は、基準画像に対する対象画像のずれ量を検出する。本実施例では、ずれ量として、並進ずれ量と、回転ずれ量を検出するものとした。このずれ量の検出については、後述する。
【００４５】
合成画像生成部７０は、解像度変換を行うとともに、ずれ量検出部６０が検出したずれ量を補償するように、基準画像と対象画像とを合成して合成画像を生成する。基準画像と対象画像との合成方法については、後述する。
【００４６】
Ａ２．静止画像の生成：
図２は、第１実施例において、複数のフレーム画像を合成して静止画像を生成する様子を概念的に示す説明図である。先に説明したように、本実施例では、時系列的に連続する４枚のフレーム画像を用いて、静止画像を生成する。
【００４７】
まず、先頭のフレーム画像１を基準画像、フレーム画像２を対象画像として、両者のずれ量を検出し、これらを合成して合成画像１を生成する。次に、合成画像１を基準画像、フレーム画像３を対象画像として、両者のずれ量を検出し、これらを合成して合成画像２を生成する。次に、合成画像２を基準画像、フレーム画像４を対象画像として、両者のずれ量を検出し、これらを合成して合成画像３を生成する。このような工程を経て、静止画像を生成する。以下、基準画像と対象画像とのずれ量の検出および合成方法について説明する。
【００４８】
Ａ３．ずれ量の検出：
図３は、基準画像と対象画像とのずれ量について示す説明図である。基準画像の座標（ｘ１，ｙ１）が対象画像の座標（ｘ２，ｙ２）にずれているものとする。本実施例では、ずれ量として並進ずれ量（ｕ，ｖ）と、回転ずれ量δとを用いるものとした。
【００４９】
本実施例では、基準画像と対象画像との並進ずれ量を、勾配法によって求めるものとした。図４は、勾配法による並進ずれ量の算出方法を示す説明図である。図４（ａ）には、基準画像および対象画像の画素および輝度を示した。図４（ａ）において、例えば、（ｘ１ｉ，ｙ１ｉ）は、基準画像の画素の座標値を表しており、Ｂ１（ｘ１ｉ，ｙ１ｉ）は、その輝度を表している。また、図４（ｂ）には、勾配法の原理を示した。
【００５０】
ここでは、対象画像の座標（ｘ２ｉ，ｙ２ｉ）の画素が、基準画像の座標（ｘ１ｉ〜ｘ１ｉ＋１，ｙ１ｉ〜ｙ１ｉ＋１）の間、すなわち、画素間の座標である（ｘ１ｉ＋Δｘ，ｙ１ｉ＋Δｙ）にあるものとして説明する。
【００５１】
図４（ｂ）に示すように、
Ｐｘ＝Ｂ１（ｘ１ｉ＋１，ｙ１ｉ）−Ｂ１（ｘ１ｉ，ｙ１ｉ） ・・・（１）
Ｐｙ＝Ｂ１（ｘ１ｉ，ｙ１ｉ＋１）−Ｂ１（ｘ１ｉ，ｙ１ｉ） ・・・（２）
とし、
Ｂ１＝Ｂ１（ｘ１ｉ，ｙ１ｉ） ・・・（３）
Ｂ２＝Ｂ２（ｘ２ｉ，ｙ２ｉ） ・・・（４）
とすると、
Ｐｘ・Δｘ＝Ｂ２−Ｂ１ ・・・（５）
Ｐｙ・Δｙ＝Ｂ２−Ｂ１ ・・・（６）
の関係が成り立つ。したがって、
｛Ｐｘ・Δｘ−（Ｂ２−Ｂ１）｝２＝０ ・・・（７）
｛Ｐｘ・Δｙ−（Ｂ２−Ｂ１）｝２＝０ ・・・（８）
を満たすΔｘ、Δｙを求めればよい。実際には、各画素についてΔｘ、Δｙを算出し、全体で平均をとることになる。
【００５２】
そして、ｘ方向およびｙ方向の両方向を考慮すると、
Ｓ２＝Σ｛Ｐｘ・Δｘ＋Ｐｙ・Δｙ−（Ｂ２−Ｂ１）｝２ ・・・（９）
を最小にするΔｘ、Δｙを求めればよい。
【００５３】
なお、本実施例では、勾配法によって、並進ずれ量を算出するものとしたが、ブロックマッチング法や、反復勾配法や、これらを組み合わせた手法など、他の手法を用いるようにしてもよい。
【００５４】
図５は、回転ずれの算出方法を示す説明図である。ここでは、基準画像と対象画像との並進ずれが補正されているものとする。
【００５５】
基準画像の座標（ｘ１，ｙ１）の原点Ｏからの距離をｒとし、ｘ軸からの回転角度をθとすると、ｒ、θは、
ｒ＝（ｘ１２＋ｙ１２）１／２ ・・・（１０）
θ＝ｔａｎ−１（ｘ１／ｙ１） ・・・（１１）
となる。
【００５６】
ここで、原点Ｏを中心として、基準画像の座標（ｘ１，ｙ１）を角度δだけ回転させたときに、対象画像の座標（ｘ２，ｙ２）と一致するものとすると、この回転によるｘ軸方向およびｙ軸方法の移動量は、
ｘ２−ｘ１≒−ｒ・δ・ｓｉｎθ＝−δ・ｙ１ ・・・（１２）
ｙ２−ｙ１≒ｒ・δ・ｃｏｓθ＝δ・ｘ１ ・・・（１３）
によって求められる。
【００５７】
したがって、上記式（９）におけるΔｘ、Δｙは、
Δｘ＝ｕ−δ・ｙ１ ・・・（１４）
Δｙ＝ｖ＋δ・ｘ１ ・・・（１５）
と表すことができる。
【００５８】
これらを上記式（９）に代入すると、
Ｓ２＝Σ｛Ｐｘ・（ｕ−δ・ｙ１）＋Ｐｙ・（ｖ＋δ・ｘ１）−（Ｂ２−Ｂ１）｝２ ・・・（１６）
が得られる。
【００５９】
上記式（１６）のＳ２を最小にするｕ，ｖ，δを最小二乗法によって求めることにより、基準画像と対象画像との１画素未満の並進ずれ量および回転ずれ量を精度よく検出することができる。
【００６０】
Ａ４．合成：
図６は、基準画像と対象画像との合成方法を示す説明図である。図６の上段に、基準画像と対象画像とを、ずれ量を補正して配置した様子を示した。図６の下段には、基準画像と、対象画像と、合成画像の各画素の位置関係を示した。図６の下段において、「○」は、基準画像の画素を表している。「●」は、対象画像の画素を表している。破線の格子上にハッチングを付した丸印は、合成画像の画素を表している。なお、この図では、基準画像および対象画像の解像度は同じであるものとし、フレーム画像の解像度をｘ軸方向およびｙ軸方向に１．５倍に増大する場合について示している。
【００６１】
ここで、合成画像の画素ｇ１に着目する。この画素ｇ１は、基準画像の画素ｔ１と一致している。この場合、画素ｇ１を囲む対象画像の４つの画素ｓ１〜ｓ４の階調値に基づいて、画素ｇ１の位置における階調値をバイリニア法によって求め、この階調値と基準画像の画素ｔ１の階調値とを平均することによって、画素ｇ１の階調値を決定する。
【００６２】
また、合成画像の画素ｇ２の階調値は、以下の手順で決定する。すなわち、まず、画素ｇ２を囲む基準画像の４つの画素ｔ２〜ｔ５の階調値に基づいて、画像ｇ２の位置における階調値をバイリニア法によって求める。次に、画素ｇ２を囲む対象画像の４つの画素ｓ４〜ｓ７の階調値に基づいて、画素ｇ２の位置における階調値をバイリニア法によって求める。そして、両者を平均することによって画素ｇ２の階調値を決定する。
【００６３】
他の画素についても、以上説明したのと同様にして階調値を決定することができる。ここでは、理解を容易にするため、基準画像および対象画像の解像度が同じであるものとして説明したが、基準画像および対象画像の解像度が異なっている場合には、適宜、拡大または縮小して同様の処理を行えばよい。
【００６４】
なお、本実施例では、バイリニア法を用いて合成画像を生成するものとしたが、バイキュービック法など他の手法を適用してもよい。
【００６５】
Ａ５．静止画像生成処理：
図７は、第１実施例における静止画像生成処理の流れを示すフローチャートである。画像生成装置１００のＣＰＵが実行する処理である。
【００６６】
まず、フレーム画像記憶部３０から基準画像を取得する（ステップＳ１００）。先に説明したように、本実施例では、フレーム画像入力部２０が最初に入力したフレーム画像を基準画像とするものとした。次に、対象画像を設定する（ステップＳ１１０）。そして、基準画像に対する対象画像のずれ量を検出し（ステップＳ１２０）、このずれ量を補償するように、合成画像を生成する（ステップＳ１３０）。そして、フレーム画像入力部２０が入力した４枚全てのフレーム画像について合成画像の生成が終了したか否かを判断する（ステップＳ１４０）。
【００６７】
ステップＳ１４０において、全てのフレーム画像について合成画像の生成が終了していない場合には、ステップＳ１３０において生成された合成画像を基準画像として設定し（ステップＳ１５０）、ステップＳ１１０〜Ｓ１４０を行う。ステップＳ１４０において、全てのフレーム画像について合成画像の生成が終了した場合には、静止画像の生成処理を終了する。
【００６８】
以上説明した第１実施例の画像生成装置によれば、段階的に基準画像と対象画像とを合成して合成画像の生成を行うことができる。したがって、合成画像では、基準画像および対象画像に含まれるノイズが平均化されるなどして目立たなくなっている。これを基準画像としてずれ量を検出することにより、その精度を向上させ、生成される静止画像の画質を向上させることができる。
【００６９】
Ｂ．第２実施例：
Ｂ１．画像生成装置の構成：
図８は、本発明の第２実施例としての画像生成装置１００Ａの概略構成を示す説明図である。画像生成装置１００Ａの構成は、評価部８０を備えていること以外は、第１実施例の画像生成装置１００とほぼ同じである。なお、以下に説明するように、第２実施例では、静止画像の生成方法が第１実施例とは異なる。このため、評価部８０によって、後述するように、２つ合成画像の差異を評価する。
【００７０】
Ｂ２．静止画像の生成：
図９は、第２実施例において、複数のフレーム画像を合成して静止画像を生成する様子を概念的に示す説明図である。第１実施例と同様に、時系列的に連続する４枚のフレーム画像を用いて、静止画像を生成するものとした。
【００７１】
まず、フレーム画像１を基準画像、３枚のフレーム画像２〜４を対象画像として、基準画像と対象画像との各ずれ量を検出し、４枚のフレーム画像１〜４を合成して合成画像１を生成する。次に、合成画像１を基準画像、フレーム画像１〜４を対象画像として、各ずれ量を検出し、フレーム画像１〜４を合成して合成画像２を生成する。なお、このとき、基準画像としての合成画像１は、対象画像と合成されない。合成画像１と対象画像とを合成するようにしてもよい。
【００７２】
本実施例では、さらに静止画像の画質を向上させるために、合成画像１と合成画像２との差異を評価する。本実施例では、合成画像１と合成画像２との各画素の階調値の差分を求め、その二乗和に基づいて、合成画像１と合成画像２との差異を評価するものとした。両者の差分の二乗和が所定値以上であれば、合成画像２の画質は不十分であると判断し、さらに、合成画像２を基準画像、フレーム画像１〜４を対象画像として、各ずれ量を検出し、フレーム画像１〜４を合成して合成画像３を生成する。そして、再度、合成画像２と合成画像３との差異を評価する。なお、所定値は、任意に設定可能である。
【００７３】
このような工程を、上記差分の二乗和が所定値未満になるまで、すなわち、上記工程によって画質の向上が見込めなくなるまで繰り返し行い、静止画像を生成する。なお、基準画像と対象画像とのずれ量の検出方法、および、フレーム画像１〜４の合成方法は、第１実施例とほぼ同じである。また、本実施例では、合成画像ｎと合成画像（ｎ＋１）との差異を、上記差分の二乗和によって評価するものとしたが、両者の比によって評価するものとしてもよい。
【００７４】
Ｂ３．静止画像生成処理：
図１０は、第２実施例における静止画像生成処理の流れを示すフローチャートである。画像生成装置１００ＡのＣＰＵが実行する処理である。
【００７５】
まず、フレーム画像記憶部３０から基準画像を取得する（ステップＳ２００）。第２実施例においても、第１実施例と同様に、フレーム画像入力部２０が最初に入力したフレーム画像を基準画像とするものとした。次に、対象画像を設定する（ステップＳ２１０）。ここでは、先に説明したように、基準画像を除いた３枚のフレーム画像が対象画像として設定される。そして、基準画像と３枚の対象画像との各ずれ量を検出し（ステップＳ２２０）、各ずれ量を補償するように、基準画像と３枚の対象画像とを合成して合成画像を生成する（ステップＳ２３０）。なお、本実施例では、ステップＳ２３０において、第１実施例と同様に、合成画像の生成にバイリニア法を適用するものとしたが、バイリニア法よりも手順が簡素化され、高速処理が可能なニアレストネイバ法を適用するものとしてもよい。こうすることによって、バイリニア法だけを用いる場合よりも静止画像の生成時間を短縮することができる。
【００７６】
次に、ステップＳ２３０で生成された合成画像を基準画像として設定し（ステップＳ２４０）、また、この基準画像（合成画像）の生成に用いられた４枚のフレーム画像を対象画像として設定する（ステップＳ２５０）。そして、基準画像と４枚の対象画像との各ずれ量を検出し（ステップＳ２６０）、各ずれ量を補償するように、４枚の対象画像を合成して合成画像を生成する（ステップＳ２７０）。
【００７７】
次に、ステップＳ２３０で生成された合成画像とステップＳ２７０で生成された合成画像との各画素の階調値の差分およびその二乗和を算出する（ステップＳ２８０）。そして、差分の二乗和が所定値未満であるか否かを判断する（ステップＳ２９０）。
【００７８】
ステップＳ２９０において、上記差分の二乗和が所定値以上である場合には、さらに、ステップＳ２４０〜Ｓ２９０を行う。この場合、２回目以降のステップＳ２８０においては、ステップＳ２７０で生成された合成画像同士（前回の合成画像と今回の合成画像）の差分の二乗和を算出する。ステップＳ２９０において、上記差分の二乗和が所定値未満である場合には、静止画像の生成処理を終了する。
【００７９】
以上説明した第２実施例の画像生成装置１００Ａでは、基準画像は、少なくとも２つのフレーム画像を合成した画像である。したがって、各フレーム画像に含まれるノイズが平均化されるなどして目立たなくなっている。これを基準画像としてずれ量を検出することにより、その精度を向上させ、生成される静止画像の画質を向上させることができる。
【００８０】
Ｃ．変形例：
以上、本発明のいくつかの実施の形態について説明したが、本発明はこのような実施の形態になんら限定されるものではなく、その要旨を逸脱しない範囲内において種々なる態様での実施が可能である。例えば、以下のような変形例が可能である。
【００８１】
Ｃ１．変形例１：
上記第１実施例の画像生成装置１００は、パノラマ画像の生成を行うこともできる。図１１は、パノラマ画像生成の様子を示す説明図である。ここでは、実線で示した５枚のフレーム画像１〜５を合成し、その一部を抽出して、破線で示したパノラマ画像を生成する場合について示した。先に説明した従来の画像生成装置では、フレーム画像１を基準画像とした場合には、フレーム画像５と重なる領域がないため、合成画像の生成ができなかった。第１実施例の画像生成装置１００によれば、合成画像を順次生成し、基準画像とするので、より多くのフレーム画像を合成してパノラマ画像を生成することが可能である。
【００８２】
Ｃ２．変形例２：
上記第１実施例では、フレーム画像入力部２０が入力した連続するフレーム画像の順序に従って、合成画像の生成を行うものとしたが、これに限られない。例えば、図２において、フレーム画像１とフレーム画像３とを合成して合成画像１を生成するようにしてもよい。こうすることによっても、静止画像の画質を向上させることができる。
【００８３】
Ｃ３．変形例３：
上記実施例では、対象画像として、フレーム画像を設定するものとしたが、複数のフレーム画像を合成した画像を設定するものとしてもよい。この場合、基準画像の生成に用いられたフレーム画像以外のフレーム画像を少なくとも１つ含む複数のフレーム画像を合成して設定してもよいし、基準画像の生成に用いられていない複数のフレーム画像を合成して設定してもよい。こうすることによっても、静止画像の画質を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１実施例としての画像生成装置１００の概略構成を示す説明図である。
【図２】第１実施例において、複数のフレーム画像を合成して静止画像を生成する様子を概念的に示す説明図である。
【図３】基準画像と対象画像とのずれ量について示す説明図である。
【図４】勾配法による並進ずれ量の算出方法を示す説明図である。
【図５】回転ずれの算出方法を示す説明図である。
【図６】基準画像と対象画像との合成方法を示す説明図である。
【図７】第１実施例における静止画像生成処理の流れを示すフローチャートである。
【図８】本発明の第２実施例としての画像生成装置１００Ａの概略構成を示す説明図である。
【図９】第２実施例において、複数のフレーム画像を合成して静止画像を生成する様子を概念的に示す説明図である。
【図１０】第２実施例における静止画像生成処理の流れを示すフローチャートである。
【図１１】パノラマ画像生成の様子を示す説明図である。
【符号の説明】
１００、１００Ａ…画像生成装置
１０…制御部
２０…フレーム画像入力部
３０…フレーム画像記憶部
４０…基準画像選択部
５０…対象画像設定部
６０…量検出部
７０…合成画像生成部
８０…評価部
ｔ１〜ｔ５…基準画像の画素
ｓ１〜ｓ７…対象画像の画素
ｇ１、ｇ２…合成画像の画素[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique for generating a still image from a plurality of frame images included in a moving image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a scene of a moving image captured by a digital video camera or the like is captured to generate a still image having a higher resolution than a frame image. Such a still image is generated by superimposing and combining a plurality of frame images included in a moving image.
[0003]
For example, in Patent Document 1, one frame image is selected as a reference image from consecutive (n + 1) frame images, and the motion vectors of the other n frame images (target images) with respect to this reference image are respectively determined. There is disclosed a technique of calculating and synthesizing (n + 1) frame images based on each motion vector to generate a still image.
[0004]
[Patent Document 1]
JP-A-2000-244851
[0005]
[Problems to be solved by the invention]
However, generally, each frame image contains a lot of noise due to factors such as compression. Then, as the noise increases, the accuracy of the shift amount detection deteriorates. For this reason, in the technique of Patent Document 1 described above, the image quality of the generated still image may be deteriorated.
[0006]
The present invention has been made to solve the above-described problem, and has as its object to improve the image quality of a still image generated from a plurality of frame images included in a moving image.
[0007]
[Means for Solving the Problems and Their Functions and Effects]
In order to solve at least a part of the problems described above, the present invention employs the following configurations.
A first image generation device according to the present invention includes:
An image generation device that generates a still image from a plurality of frame images included in a moving image,
A reference image generation unit that generates a reference image by combining at least two frame images of the plurality of frame images;
A target image setting unit for setting a target image to be detected a predetermined amount of deviation from the reference image,
A shift amount detection unit that detects the shift amount,
A composite image generation unit that generates the composite image by composing the target image so as to compensate for the shift amount;
The gist is to provide
[0008]
Here, the frame image is a still image that can be displayed in a progressive system (also referred to as a non-interlaced system). Therefore, in the case of the interlace method, an image composed of a plurality of field images (odd field and even field) having different rasters corresponds to the frame image of the present invention.
[0009]
In the present invention, the reference image is an image obtained by combining at least two frame images. Therefore, the noise included in each frame image is averaged and becomes inconspicuous. By detecting the shift amount using this as a reference image, the accuracy can be improved, and the image quality of the generated still image can be improved.
[0010]
Note that the reference image may be an image obtained by combining continuous frame images, or may be an image obtained by combining discontinuous frame images.
[0011]
In addition, various known methods such as a nearest neighbor method, a bilinear method, and a bicubic method can be applied to the image synthesizing process performed by the reference image generating unit and the synthesized image generating unit. In addition, the reference image generation unit and the composite image generation unit may perform the same synthesis processing, or may perform different processing.
[0012]
In the first image generation device of the present invention,
The composite image generating unit may generate the composite image by combining the reference image and the target image.
[0013]
By doing so, the image quality of the composite image can be improved.
[0014]
Further, in the first image generation device of the present invention,
The target image setting unit sets a plurality of target images,
The composite image generation unit may combine the target images to generate the composite image.
[0015]
This is an aspect in which the reference image is not synthesized when the synthesized image is generated. By doing so, the image quality of the still image can be improved.
[0016]
In the above image generating apparatus,
The target image setting unit can set an arbitrary frame image as the target image, but preferably sets the frame image used for generating the reference image as the target image.
[0017]
For example, in a case where a reference image is generated by combining n frame images, all of the n frame images are set as target images. By doing so, a composite image can be generated using a frame image having a relatively small amount of deviation from the reference image as the target image, so that the image quality of the still image can be improved.
[0018]
In the above image generating apparatus,
An evaluation unit that evaluates a difference between the reference image and the composite image,
When the difference is equal to or greater than a predetermined value, the synthesized image is used as the reference image, the shift amount detection unit, and a synthesis control unit that operates the synthesized image generation unit,
May be provided.
[0019]
This is a mode in which the generation of a composite image is repeatedly performed until the difference between the reference image and the composite image is less than a predetermined value. The evaluation of the difference between the reference image and the composite image can be performed, for example, by calculating the difference or ratio between the tone values of the corresponding pixels of the two. According to the present invention, the image quality of a still image can be further improved.
[0020]
In the first image generation device of the present invention,
The target image setting unit may select the target image from frame images other than the frame image used to generate the reference image.
[0021]
This makes it possible to generate a higher-quality composite image with reference to a large number of frame images.
[0022]
Further, the target image setting unit may select the target image from the frame images used for generating the reference image.
[0023]
In this way, when the reference image and the target image include noise such as so-called block noise and mosquito noise, these noises can be reduced.
[0024]
In the above image generating apparatus,
The reference image generation unit may generate the reference image by a method that can perform processing at a higher speed than the synthetic image generation unit.
[0025]
For image synthesis, an image interpolation technique is used. In general, a method capable of high-speed processing has a simplified procedure, and thus has lower interpolation accuracy and lower image quality than a method having a complicated procedure. For example, in the nearest neighbor method, the bilinear method, and the bicubic method, the procedure becomes complicated in this order, and the processing time becomes long. On the other hand, the interpolation accuracy is increased, and the image quality is improved.
[0026]
In the present invention, while the reference image is an image synthesized by the synthesized image generation unit, it is an image used to detect the amount of displacement of the target image, and thus is compared with the synthesized image generated by the synthesized image generation unit. Therefore, high image quality is not always required. Therefore, for example, the nearest neighbor method capable of high-speed processing can be applied to the generation of the reference image, and the bilinear method with high interpolation accuracy can be applied to the generation of the composite image. According to the present invention, the generation time of the reference image can be reduced, so that the generation time of the still image can be reduced.
[0027]
In the first image generation device of the present invention,
The target image setting unit may set the target image by combining a plurality of frame images including at least one frame image other than the frame image used to generate the reference image.
[0028]
This is an aspect in which the target image is also an image obtained by combining a plurality of frame images. That is, the composite image generation unit generates a composite image by combining the target image and the reference image in which the plurality of frame images are composited. By doing so, the image quality of the still image can be improved.
[0029]
A second image generation device according to the present invention includes:
An image generation device that generates a still image from a plurality of frame images included in a moving image,
A reference image input unit for inputting a predetermined reference image from the plurality of frame images,
A target image setting unit for setting a target image to be detected a predetermined amount of deviation from the reference image,
A shift amount detection unit that detects the shift amount,
To compensate for the shift amount, a composite image generation unit that generates a composite image by combining the reference image and the target image,
With the synthesized image as the reference image, the target image setting unit, the shift amount detection unit, and a synthesis control unit that operates the synthesized image generation unit,
The gist is to provide
[0030]
By doing so, the reference image and the target image can be combined stepwise to generate a combined image. Therefore, in the composite image, noises included in the reference image and the target image are averaged and become inconspicuous. By detecting the shift amount using this as a reference image, the accuracy can be improved, and the image quality of the generated still image can be improved.
[0031]
In the first or second image generation device of the present invention,
It is preferable that the plurality of frame images are frame images that are continuous in time series.
[0032]
By doing so, the amount of deviation between the reference image and the target image can be kept relatively small.
[0033]
In the first or second image generation device of the present invention,
It is preferable that the shift amount includes at least one of a translation shift amount and a rotation shift amount.
[0034]
The translation deviation amount can be detected by various methods such as a block matching method, a gradient method, and a method combining these. The amount of rotation deviation can also be detected by a geometric calculation. According to the present invention, it is possible to accurately detect a shift amount and generate a composite image.
[0035]
It should be noted that the first and second image generation devices described above can be partially combined as appropriate.
[0036]
The present invention can be configured as an invention of an image generating method in addition to the configuration as the image generating apparatus described above. Further, the present invention can be realized in various forms, such as a computer program for realizing the above, a recording medium on which the program is recorded, and a data signal including the program and embodied in a carrier wave. In each embodiment, the various additional elements described above can be applied.
[0037]
When the present invention is configured as a computer program or a recording medium on which the program is recorded, the present invention may be configured as an entire program for controlling the operation of the image generating apparatus, or may be configured only as a portion that performs the functions of the present invention. You may do it. Examples of the recording medium include a flexible disk, a CD-ROM, a DVD-ROM, a magneto-optical disk, an IC card, a ROM cartridge, a punched card, a printed matter on which a code such as a barcode is printed, and a computer internal storage device (RAM or RAM). Various computer-readable media such as a memory such as a ROM) and an external storage device can be used.
[0038]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in the following order based on examples.
A. First embodiment:
A1. Configuration of image generation device:
A2. Generating still images:
A3. Deviation detection:
A4. Synthesis:
A5. Still image generation processing:
B. Second embodiment:
B1. Configuration of image generation device:
B2. Generating still images:
B3. Still image generation processing:
C. Modification:
[0039]
A. First embodiment:
A1. Configuration of image generation device:
FIG. 1 is an explanatory diagram illustrating a schematic configuration of an image generating apparatus 100 according to a first embodiment of the present invention. The image generation device 100 is a device that combines a plurality of frame images included in a moving image to generate a still image having a higher resolution than the frame image. The image generating apparatus 100 is configured by installing predetermined application software in a general-purpose personal computer, and includes each functional block illustrated in software.
[0040]
The personal computer includes a CPU, a ROM, a RAM, and an interface for inputting a moving image from a recording medium such as a hard disk, a DVD-ROM, and a memory card. It also has a function of reproducing the input moving image.
[0041]
The control unit 10 controls each unit. The frame image input unit 20 inputs a frame image included in a moving image. In the present embodiment, the frame image input unit 20 inputs four time-series continuous frame images from the timing when the user inputs a pause instruction during playback of a moving image to a command input unit (not shown). To do. The number of frame images input by the frame image input unit 20 may be arbitrarily set by the user. Also, the input frame images need not be continuous in time series. The frame image storage unit 30 stores a plurality of frame images input by the frame image input unit 20.
[0042]
The reference image selection unit 40 selects a reference image from a plurality of frame images stored in the frame image storage unit 30. In this embodiment, the frame image input first by the frame image input unit 20 is selected as the reference image. In the image generating apparatus 100, a functional block for analyzing a characteristic amount (for example, edge strength) of each of a plurality of frame images is provided, and a reference image is selected based on the analysis result. Is also good.
[0043]
The target image setting unit 50 sets a target image for which the amount of deviation from the reference image is to be detected. In this embodiment, as will be described later, three frame images subsequent to the reference image are set as target images in the order in which the frame image input unit 20 has input.
[0044]
The shift amount detection unit 60 detects a shift amount of the target image with respect to the reference image. In the present embodiment, the translational deviation amount and the rotational deviation amount are detected as the deviation amounts. The detection of the shift amount will be described later.
[0045]
The synthesized image generation unit 70 performs resolution conversion and synthesizes the reference image and the target image to generate a synthesized image so as to compensate for the shift amount detected by the shift amount detection unit 60. A method of synthesizing the reference image and the target image will be described later.
[0046]
A2. Generating still images:
FIG. 2 is an explanatory diagram conceptually showing how a still image is generated by combining a plurality of frame images in the first embodiment. As described above, in this embodiment, a still image is generated using four frame images that are continuous in time series.
[0047]
First, using the first frame image 1 as a reference image and the frame image 2 as a target image, the amount of deviation between the two is detected, and these are combined to generate a combined image 1. Next, using the composite image 1 as a reference image and the frame image 3 as a target image, the amount of deviation between the two is detected, and these are combined to generate a composite image 2. Next, using the composite image 2 as a reference image and the frame image 4 as a target image, the amount of deviation between the two is detected, and these are combined to generate a composite image 3. Through these steps, a still image is generated. Hereinafter, a method for detecting and synthesizing a shift amount between the reference image and the target image will be described.
[0048]
A3. Deviation detection:
FIG. 3 is an explanatory diagram showing a shift amount between the reference image and the target image. It is assumed that the coordinates (x1, y1) of the reference image are shifted from the coordinates (x2, y2) of the target image. In this embodiment, the translational deviation (u, v) and the rotational deviation δ are used as the deviations.
[0049]
In the present embodiment, the translation shift amount between the reference image and the target image is obtained by the gradient method. FIG. 4 is an explanatory diagram showing a method of calculating the translational deviation amount by the gradient method. FIG. 4A shows pixels and luminance of the reference image and the target image. In FIG. 4A, for example, (x1i, y1i) represents a coordinate value of a pixel of the reference image, and B1 (x1i, y1i) represents its luminance. FIG. 4B shows the principle of the gradient method.
[0050]
Here, it is assumed that the pixel at the coordinates (x2i, y2i) of the target image is between the coordinates (x1i to x1i + 1, y1i to y1i + 1) of the reference image, that is, (x1i + Δx, y1i + Δy) which is the coordinate between pixels. I do.
[0051]
As shown in FIG.
Px = B1 (x1i + 1, y1i) -B1 (x1i, y1i) (1)
Py = B1 (x1i, y1i + 1) -B1 (x1i, y1i) (2)
age,
B1 = B1 (x1i, y1i) (3)
B2 = B2 (x2i, y2i) (4)
Then
Px · Δx = B2-B1 (5)
Py · Δy = B2−B1 (6)
Holds. Therefore,
{Px · Δx- (B2-B1)} 2 = 0 (7)
{Px · Δy- (B2-B1)} 2 = 0 (8)
Δx and Δy that satisfy the conditions may be obtained. Actually, Δx and Δy are calculated for each pixel, and the average is obtained as a whole.
[0052]
Then, considering both the x direction and the y direction,
S 2 = {Px · Δx + Py · Δy- (B2-B1)} 2 ... (9)
Δx and Δy that minimize .DELTA.
[0053]
In the present embodiment, the translation error is calculated by the gradient method. However, another method such as a block matching method, an iterative gradient method, or a method combining these methods may be used.
[0054]
FIG. 5 is an explanatory diagram illustrating a method for calculating a rotational shift. Here, it is assumed that the translational deviation between the reference image and the target image has been corrected.
[0055]
Assuming that the distance from the origin O of the coordinates (x1, y1) of the reference image is r and the rotation angle from the x axis is θ, r and θ are
r = (x1 2 + Y1 2 ) 1/2 ... (10)
θ = tan -1 (X1 / y1) (11)
It becomes.
[0056]
Here, when the coordinates (x1, y1) of the reference image are rotated by the angle δ about the origin O, assuming that they match the coordinates (x2, y2) of the target image, the x-axis direction due to this rotation And the amount of movement in the y-axis method is
x2−x1 ≒ −r · δ · sin θ = −δ · y1 (12)
y2-y1 ≒ r · δ · cos θ = δ · x1 (13)
Required by
[0057]
Therefore, Δx and Δy in the above equation (9) are:
Δx = u−δ · y1 (14)
Δy = v + δ · x1 (15)
It can be expressed as.
[0058]
Substituting these into equation (9) above gives
S 2 = {Px · (u−δ · y1) + Py · (v + δ · x1) − (B2−B1)} 2 ... (16)
Is obtained.
[0059]
S in the above equation (16) 2 By calculating u, v, δ that minimizes by the least-squares method, it is possible to accurately detect the translation shift amount and the rotation shift amount of less than one pixel between the reference image and the target image.
[0060]
A4. Synthesis:
FIG. 6 is an explanatory diagram illustrating a method of synthesizing the reference image and the target image. The upper part of FIG. 6 shows a state in which the reference image and the target image are arranged after correcting the shift amount. The lower part of FIG. 6 shows the positional relationship between the reference image, the target image, and each pixel of the composite image. In the lower part of FIG. 6, “○” represents a pixel of the reference image. “●” indicates a pixel of the target image. The circles with hatching on the broken-line grid represent the pixels of the composite image. Note that this drawing shows a case where the resolution of the reference image and the target image is the same, and the resolution of the frame image is increased 1.5 times in the x-axis direction and the y-axis direction.
[0061]
Here, attention is paid to the pixel g1 of the composite image. This pixel g1 matches the pixel t1 of the reference image. In this case, the gradation value at the position of the pixel g1 is obtained by the bilinear method based on the gradation values of the four pixels s1 to s4 of the target image surrounding the pixel g1, and this gradation value and the gradation of the pixel t1 of the reference image are obtained. The tone value of the pixel g1 is determined by averaging the tone value.
[0062]
The gradation value of the pixel g2 of the composite image is determined by the following procedure. That is, first, based on the tone values of the four pixels t2 to t5 of the reference image surrounding the pixel g2, the tone value at the position of the image g2 is obtained by the bilinear method. Next, based on the tone values of the four pixels s4 to s7 of the target image surrounding the pixel g2, the tone value at the position of the pixel g2 is determined by the bilinear method. Then, the gradation value of the pixel g2 is determined by averaging the two.
[0063]
The gradation values of other pixels can be determined in the same manner as described above. Here, in order to facilitate understanding, the description has been made on the assumption that the resolutions of the reference image and the target image are the same. May be performed.
[0064]
In the present embodiment, the composite image is generated by using the bilinear method. However, another method such as the bicubic method may be applied.
[0065]
A5. Still image generation processing:
FIG. 7 is a flowchart illustrating the flow of the still image generation process according to the first embodiment. This is a process executed by the CPU of the image generation device 100.
[0066]
First, a reference image is obtained from the frame image storage unit 30 (step S100). As described above, in the present embodiment, the frame image input first by the frame image input unit 20 is set as the reference image. Next, a target image is set (step S110). Then, the shift amount of the target image with respect to the reference image is detected (step S120), and a composite image is generated so as to compensate for the shift amount (step S130). Then, it is determined whether or not generation of a composite image has been completed for all four frame images input by the frame image input unit 20 (step S140).
[0067]
In step S140, if the generation of the composite image has not been completed for all the frame images, the composite image generated in step S130 is set as a reference image (step S150), and steps S110 to S140 are performed. In step S140, when the generation of the composite image has been completed for all the frame images, the generation processing of the still image ends.
[0068]
According to the image generating apparatus of the first embodiment described above, the reference image and the target image can be combined stepwise to generate a combined image. Therefore, in the composite image, noises included in the reference image and the target image are averaged and become inconspicuous. By detecting the shift amount using this as a reference image, the accuracy can be improved, and the image quality of the generated still image can be improved.
[0069]
B. Second embodiment:
B1. Configuration of image generation device:
FIG. 8 is an explanatory diagram showing a schematic configuration of an image generating apparatus 100A as a second embodiment of the present invention. The configuration of the image generation device 100A is almost the same as the image generation device 100 of the first embodiment except that the image generation device 100A includes an evaluation unit 80. As described below, in the second embodiment, the method of generating a still image is different from that in the first embodiment. Therefore, the difference between the two combined images is evaluated by the evaluation unit 80, as described later.
[0070]
B2. Generating still images:
FIG. 9 is an explanatory diagram conceptually showing how a still image is generated by combining a plurality of frame images in the second embodiment. As in the first embodiment, a still image is generated using four frame images that are continuous in time series.
[0071]
First, using the frame image 1 as a reference image and the three frame images 2 to 4 as target images, the amount of deviation between the reference image and the target image is detected, and the four frame images 1 to 4 are combined to form a composite image. 1 is generated. Next, using the composite image 1 as a reference image and the frame images 1 to 4 as target images, the amounts of displacement are detected, and the composite images 2 are generated by combining the frame images 1 to 4. At this time, the composite image 1 as the reference image is not composited with the target image. The combined image 1 and the target image may be combined.
[0072]
In the present embodiment, in order to further improve the image quality of a still image, the difference between the composite image 1 and the composite image 2 is evaluated. In the present embodiment, the difference between the gradation values of each pixel of the composite image 1 and the composite image 2 is obtained, and the difference between the composite image 1 and the composite image 2 is evaluated based on the sum of squares. If the sum of squares of the difference between them is equal to or larger than a predetermined value, it is determined that the image quality of the composite image 2 is insufficient. Is detected and the frame images 1 to 4 are combined to generate a combined image 3. Then, the difference between the composite image 2 and the composite image 3 is evaluated again. The predetermined value can be set arbitrarily.
[0073]
Such a process is repeated until the sum of squares of the difference becomes less than a predetermined value, that is, until the image quality cannot be improved by the above process, thereby generating a still image. Note that the method of detecting the shift amount between the reference image and the target image and the method of synthesizing the frame images 1 to 4 are substantially the same as those in the first embodiment. Further, in the present embodiment, the difference between the combined image n and the combined image (n + 1) is evaluated by the sum of squares of the difference, but may be evaluated by the ratio of the two.
[0074]
B3. Still image generation processing:
FIG. 10 is a flowchart illustrating the flow of the still image generation process according to the second embodiment. This is a process executed by the CPU of the image generation device 100A.
[0075]
First, a reference image is obtained from the frame image storage unit 30 (step S200). In the second embodiment, as in the first embodiment, the frame image input first by the frame image input unit 20 is used as the reference image. Next, a target image is set (step S210). Here, as described above, three frame images excluding the reference image are set as target images. Then, the amount of displacement between the reference image and the three target images is detected (step S220), and the reference image and the three target images are combined to generate a combined image so as to compensate for the amount of displacement. (Step S230). In the present embodiment, the bilinear method is applied to the generation of the composite image in step S230, as in the first embodiment. However, the procedure is simplified as compared with the bilinear method, and the near-line processing is possible. The rest neighbor method may be applied. By doing so, the time for generating a still image can be reduced as compared with the case where only the bilinear method is used.
[0076]
Next, the composite image generated in step S230 is set as a reference image (step S240), and the four frame images used to generate the reference image (composite image) are set as target images (step S240). S250). Then, the amount of displacement between the reference image and the four target images is detected (step S260), and the four target images are combined to generate a combined image so as to compensate for the amount of displacement (step S270). .
[0077]
Next, the difference between the gradation values of each pixel of the combined image generated in step S230 and the combined image generated in step S270 and the square sum thereof are calculated (step S280). Then, it is determined whether or not the sum of squares of the difference is less than a predetermined value (step S290).
[0078]
If the sum of squares of the difference is equal to or larger than the predetermined value in step S290, steps S240 to S290 are further performed. In this case, in the second and subsequent steps S280, the sum of squares of the difference between the combined images generated in step S270 (the previous combined image and the current combined image) is calculated. In step S290, if the sum of squares of the difference is less than the predetermined value, the still image generation processing ends.
[0079]
In the image generation device 100A of the second embodiment described above, the reference image is an image obtained by combining at least two frame images. Therefore, the noise included in each frame image is averaged and becomes inconspicuous. By detecting the shift amount using this as a reference image, the accuracy can be improved, and the image quality of the generated still image can be improved.
[0080]
C. Modification:
As described above, some embodiments of the present invention have been described, but the present invention is not limited to such embodiments at all, and can be implemented in various modes without departing from the gist thereof. It is. For example, the following modifications are possible.
[0081]
C1. Modification 1
The image generating apparatus 100 of the first embodiment can also generate a panoramic image. FIG. 11 is an explanatory diagram showing a state of generating a panoramic image. Here, a case has been described in which five frame images 1 to 5 indicated by solid lines are combined, a part thereof is extracted, and a panoramic image indicated by a broken line is generated. In the above-described conventional image generating apparatus, when the frame image 1 is used as the reference image, there is no area overlapping with the frame image 5, and therefore, a composite image cannot be generated. According to the image generating apparatus 100 of the first embodiment, since a synthetic image is sequentially generated and used as a reference image, it is possible to generate a panoramic image by synthesizing more frame images.
[0082]
C2. Modified example 2:
In the first embodiment, the composite image is generated in accordance with the order of the continuous frame images input by the frame image input unit 20, but the present invention is not limited to this. For example, in FIG. 2, the combined image 1 may be generated by combining the frame image 1 and the frame image 3. By doing so, the image quality of the still image can be improved.
[0083]
C3. Modification 3:
In the above embodiment, a frame image is set as the target image. However, an image obtained by combining a plurality of frame images may be set. In this case, a plurality of frame images including at least one frame image other than the frame image used to generate the reference image may be combined and set, or a plurality of frame images not used to generate the reference image may be set. May be combined and set. By doing so, the image quality of the still image can be improved.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram illustrating a schematic configuration of an image generating apparatus 100 according to a first embodiment of the present invention.
FIG. 2 is an explanatory diagram conceptually showing how a still image is generated by combining a plurality of frame images in the first embodiment.
FIG. 3 is an explanatory diagram showing a shift amount between a reference image and a target image.
FIG. 4 is an explanatory diagram showing a method of calculating a translational deviation amount by a gradient method.
FIG. 5 is an explanatory diagram showing a method for calculating a rotational displacement.
FIG. 6 is an explanatory diagram showing a method of synthesizing a reference image and a target image.
FIG. 7 is a flowchart illustrating a flow of a still image generation process according to the first embodiment.
FIG. 8 is an explanatory diagram showing a schematic configuration of an image generation device 100A as a second embodiment of the present invention.
FIG. 9 is an explanatory diagram conceptually showing how a still image is generated by combining a plurality of frame images in the second embodiment.
FIG. 10 is a flowchart illustrating a flow of a still image generation process according to the second embodiment.
FIG. 11 is an explanatory diagram showing a state of generating a panoramic image.
[Explanation of symbols]
100, 100A ... image generation device
10 ... Control unit
20: Frame image input unit
30 ... frame image storage unit
40: Reference image selection unit
50: Target image setting section
60 ... Amount detection unit
70: Composite image generation unit
80 ... Evaluation department
t1 to t5: pixels of the reference image
s1 to s7: pixels of the target image
g1, g2: pixels of the composite image

Claims (17)

動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置であって、
前記複数のフレーム画像のうちの少なくとも２つのフレーム画像を合成して基準画像を生成する基準画像生成部と、
該基準画像との所定のずれ量を検出すべき対象画像を設定する対象画像設定部と、
前記ずれ量を検出するずれ量検出部と、
該ずれ量を補償するように、前記対象画像を合成して合成画像を生成する合成画像生成部と、
を備える画像生成装置。An image generation device that generates a still image from a plurality of frame images included in a moving image,
A reference image generation unit that generates a reference image by combining at least two frame images of the plurality of frame images;
A target image setting unit for setting a target image to be detected a predetermined amount of deviation from the reference image,
A shift amount detection unit that detects the shift amount,
A composite image generation unit that generates the composite image by composing the target image so as to compensate for the shift amount;
An image generation device comprising: 請求項１記載の画像生成装置であって、
前記合成画像生成部は、前記基準画像と前記対象画像とを合成して前記合成画像を生成する、
画像生成装置。The image generation device according to claim 1,
The composite image generation unit generates the composite image by combining the reference image and the target image,
Image generation device. 請求項１記載の画像生成装置であって、
前記対象画像設定部は、複数の前記対象画像を設定し、
前記合成画像生成部は、前記対象画像同士を合成して前記合成画像を生成する、
画像生成装置。The image generation device according to claim 1,
The target image setting unit sets a plurality of target images,
The composite image generation unit generates the composite image by combining the target images,
Image generation device. 請求項３記載の画像生成装置であって、
前記対象画像設定部は、前記基準画像の生成に用いられたフレーム画像を、前記対象画像として設定する、
画像生成装置。The image generation device according to claim 3, wherein
The target image setting unit sets a frame image used for generating the reference image as the target image,
Image generation device. 請求項４記載の画像生成装置であって、さらに、
前記基準画像と前記合成画像との差異を評価する評価部と、
前記差異が所定以上であるときに、前記合成画像を前記基準画像として、前記ずれ量検出部と、前記合成画像生成部とを稼動させる合成制御部と、
を備える画像生成装置。The image generation device according to claim 4, further comprising:
An evaluation unit that evaluates a difference between the reference image and the composite image,
When the difference is equal to or greater than a predetermined value, the synthesized image is used as the reference image, the shift amount detection unit, and a synthesis control unit that operates the synthesized image generation unit,
An image generation device comprising: 請求項１記載の画像生成装置であって、
前記対象画像設定部は、前記基準画像の生成に用いられたフレーム画像以外のフレーム画像から、前記対象画像を選択する、
画像生成装置。The image generation device according to claim 1,
The target image setting unit selects the target image from frame images other than the frame image used to generate the reference image,
Image generation device. 請求項１記載の画像生成装置であって、
前記対象画像設定部は、前記基準画像の生成に用いられたフレーム画像から、前記対象画像を選択する、
画像生成装置。The image generation device according to claim 1,
The target image setting unit, from the frame image used to generate the reference image, to select the target image,
Image generation device. 請求項７記載の画像生成装置であって、
前記基準画像生成部は、前記合成画像生成部よりも高速処理が可能な方法で、前記基準画像を生成する、
画像生成装置。The image generation device according to claim 7,
The reference image generation unit generates the reference image by a method capable of performing higher-speed processing than the composite image generation unit.
Image generation device. 請求項１記載の画像生成装置であって、
前記対象画像設定部は、前記基準画像の生成に用いられたフレーム画像以外のフレーム画像を少なくとも１つ含む複数のフレーム画像を合成して、前記対象画像を設定する、
画像生成装置。The image generation device according to claim 1,
The target image setting unit sets the target image by combining a plurality of frame images including at least one frame image other than the frame image used to generate the reference image,
Image generation device. 動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置であって、
前記複数のフレーム画像から所定の基準画像を入力する基準画像入力部と、
該基準画像との所定のずれ量を検出すべき対象画像を設定する対象画像設定部と、
前記ずれ量を検出するずれ量検出部と、
該ずれ量を補償するように、前記基準画像と前記対象画像とを合成して合成画像を生成する合成画像生成部と、
該合成画像を前記基準画像として、前記対象画像設定部と、前記ずれ量検出部と、前記合成画像生成部とを稼動させる合成制御部と、
を備える画像生成装置。An image generation device that generates a still image from a plurality of frame images included in a moving image,
A reference image input unit for inputting a predetermined reference image from the plurality of frame images,
A target image setting unit for setting a target image to be detected a predetermined amount of deviation from the reference image,
A shift amount detection unit that detects the shift amount,
To compensate for the shift amount, a composite image generation unit that generates a composite image by combining the reference image and the target image,
With the synthesized image as the reference image, the target image setting unit, the shift amount detection unit, and a synthesis control unit that operates the synthesized image generation unit,
An image generation device comprising: 請求項１または１０記載の画像生成装置であって、
前記複数のフレーム画像は、時系列的に連続するフレーム画像である、
画像生成装置。The image generating device according to claim 1, wherein
The plurality of frame images are continuous frame images in time series,
Image generation device. 請求項１または１０記載の画像生成装置であって、
前記ずれ量は、並進ずれ量および回転ずれ量の少なくとも一方を含む、
画像生成装置。The image generating device according to claim 1, wherein
The deviation amount includes at least one of a translation deviation amount and a rotation deviation amount,
Image generation device. 動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成方法であって、
（ａ）前記複数のフレーム画像のうちの少なくとも２つのフレーム画像を合成して基準画像を生成する工程と、
（ｂ）該基準画像との所定のずれ量を検出すべき対象画像を設定する工程と、
（ｃ）前記ずれ量を検出する工程と、
（ｄ）該ずれ量を補償するように、前記対象画像を合成して合成画像を生成する工程と、
を備える画像生成方法。An image generation method for generating a still image from a plurality of frame images included in a moving image,
(A) generating a reference image by combining at least two frame images of the plurality of frame images;
(B) setting a target image for which a predetermined shift amount from the reference image is to be detected;
(C) a step of detecting the shift amount;
(D) composing the target image to generate a composite image so as to compensate for the shift amount;
An image generation method comprising: 動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成方法であって、
（ａ）前記複数のフレーム画像から所定の基準画像を取得する工程と、
（ｂ）該基準画像との所定のずれ量を検出すべき対象画像を設定する工程と、
（ｃ）前記ずれ量を検出する工程と、
（ｄ）該ずれ量を補償するように、前記基準画像と前記対象画像とを合成して合成画像を生成する工程と、
（ｅ）該合成画像を前記基準画像として、前記工程（ｂ）ないし（ｄ）によって前記合成画像を生成する工程と、
を備える画像生成方法。An image generation method for generating a still image from a plurality of frame images included in a moving image,
(A) obtaining a predetermined reference image from the plurality of frame images;
(B) setting a target image for which a predetermined shift amount from the reference image is to be detected;
(C) a step of detecting the shift amount;
(D) combining the reference image and the target image to generate a combined image so as to compensate for the shift amount;
(E) generating the composite image by the steps (b) to (d) using the composite image as the reference image;
An image generation method comprising: 動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置を制御するためのコンピュータプログラムであって、
前記複数のフレーム画像のうちの少なくとも２つのフレーム画像を合成して基準画像を生成する機能と、
該基準画像との所定のずれ量を検出すべき対象画像を設定する機能と、
前記ずれ量を検出する機能と、
該ずれ量を補償するように、前記対象画像を合成して合成画像を生成する機能と、
をコンピュータに実現させるためのコンピュータプログラム。A computer program for controlling an image generating apparatus that generates a still image from a plurality of frame images included in a moving image,
A function of combining at least two frame images of the plurality of frame images to generate a reference image;
A function of setting a target image to be detected a predetermined amount of deviation from the reference image,
A function of detecting the shift amount;
A function of combining the target images to generate a combined image so as to compensate for the shift amount;
Computer program to make a computer realize. 動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置を制御するためのコンピュータプログラムであって、
前記複数のフレーム画像から所定の基準画像を取得する機能と、
該基準画像との所定のずれ量を検出すべき対象画像を設定する対象画像設定機能と、
前記ずれ量を検出するずれ量検出機能と、
該ずれ量を補償するように、前記基準画像と前記対象画像とを合成して合成画像を生成する合成画像生成機能と、
該合成画像を前記基準画像として、前記対象画像設定機能と、前記ずれ量検出機能と、前記合成画像生成機能とによって前記合成画像を生成する機能と、
をコンピュータに実現させるためのコンピュータプログラム。A computer program for controlling an image generating apparatus that generates a still image from a plurality of frame images included in a moving image,
A function of acquiring a predetermined reference image from the plurality of frame images,
A target image setting function for setting a target image for which a predetermined shift amount from the reference image is to be detected,
A shift amount detection function for detecting the shift amount,
A composite image generating function of generating a composite image by combining the reference image and the target image so as to compensate for the shift amount;
With the composite image as the reference image, the target image setting function, the shift amount detection function, and a function of generating the composite image by the composite image generation function,
Computer program to make a computer realize. 請求項１５または１６記載のコンピュータプログラムをコンピュータ読み取り可能に記録した記録媒体。A recording medium on which the computer program according to claim 15 or 16 is recorded in a computer-readable manner.
JP2003064746A 2003-03-11 2003-03-11 Creation of still image from plurality of frame images Pending JP2004272751A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003064746A JP2004272751A (en) 2003-03-11 2003-03-11 Creation of still image from plurality of frame images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003064746A JP2004272751A (en) 2003-03-11 2003-03-11 Creation of still image from plurality of frame images

Publications (1)

Publication Number Publication Date
JP2004272751A true JP2004272751A (en) 2004-09-30

Family

ID=33125961

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003064746A Pending JP2004272751A (en) 2003-03-11 2003-03-11 Creation of still image from plurality of frame images

Country Status (1)

Country Link
JP (1) JP2004272751A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005046221A1 (en) * 2003-11-11 2005-05-19 Seiko Epson Corporation Image processing device, image processing method, program thereof, and recording medium
JP2007052672A (en) * 2005-08-18 2007-03-01 Sony Corp Image processing method, image processing apparatus, program, and recording medium
JP2007166542A (en) * 2005-12-16 2007-06-28 Canon Inc Image processor and image processing method
JP2008109375A (en) * 2006-10-25 2008-05-08 Tokyo Institute Of Technology High resolution image generation method
JP2008187750A (en) * 2008-05-07 2008-08-14 Casio Comput Co Ltd Imaging apparatus and program therefor
JP2008205620A (en) * 2007-02-16 2008-09-04 Canon Inc Imaging apparatus and control method of imaging apparatus
JP2008278143A (en) * 2007-04-27 2008-11-13 Toshiba Corp Structure visual inspection apparatus and inspection method therefor
JP2009512038A (en) * 2005-10-12 2009-03-19 アクティブ オプティクス ピーティーワイ リミテッド Method for generating a combined image based on multiple image frames
WO2011018878A1 (en) * 2009-08-13 2011-02-17 日本電気株式会社 Image processing system, image processing method and program for image processing
US8036488B2 (en) 2006-11-30 2011-10-11 Sony Corporation Image processing apparatus, image processing method and program
CN112308771A (en) * 2019-07-31 2021-02-02 维沃移动通信有限公司 Image processing method and device and electronic equipment

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738731B2 (en) 2003-11-11 2010-06-15 Seiko Epson Corporation Image processing device, image processing method, program thereof, and recording medium
US7961985B2 (en) 2003-11-11 2011-06-14 Seiko Epson Coporation Image processing apparatus, image processing method, and program product thereof
JPWO2005046221A1 (en) * 2003-11-11 2007-05-24 セイコーエプソン株式会社 Image processing apparatus, image processing method, program thereof, and recording medium
WO2005046221A1 (en) * 2003-11-11 2005-05-19 Seiko Epson Corporation Image processing device, image processing method, program thereof, and recording medium
US7840095B2 (en) 2005-08-18 2010-11-23 Sony Corporation Image processing method, image processing apparatus, program and recording medium
JP2007052672A (en) * 2005-08-18 2007-03-01 Sony Corp Image processing method, image processing apparatus, program, and recording medium
JP4600209B2 (en) * 2005-08-18 2010-12-15 ソニー株式会社 Image processing method, image processing apparatus, program, and recording medium
JP2009512038A (en) * 2005-10-12 2009-03-19 アクティブ オプティクス ピーティーワイ リミテッド Method for generating a combined image based on multiple image frames
JP4630807B2 (en) * 2005-12-16 2011-02-09 キヤノン株式会社 Image processing apparatus and image processing method
JP2007166542A (en) * 2005-12-16 2007-06-28 Canon Inc Image processor and image processing method
JP4670058B2 (en) * 2006-10-25 2011-04-13 国立大学法人東京工業大学 High resolution image generation method
JP2008109375A (en) * 2006-10-25 2008-05-08 Tokyo Institute Of Technology High resolution image generation method
US8346012B2 (en) 2006-11-30 2013-01-01 Sony Corporation Image processing apparatus, image processing method and program
US8036488B2 (en) 2006-11-30 2011-10-11 Sony Corporation Image processing apparatus, image processing method and program
KR101421624B1 (en) 2006-11-30 2014-07-22 소니 주식회사 Image processing apparatus, image processing method and program
JP2008205620A (en) * 2007-02-16 2008-09-04 Canon Inc Imaging apparatus and control method of imaging apparatus
JP2008278143A (en) * 2007-04-27 2008-11-13 Toshiba Corp Structure visual inspection apparatus and inspection method therefor
JP2008187750A (en) * 2008-05-07 2008-08-14 Casio Comput Co Ltd Imaging apparatus and program therefor
WO2011018878A1 (en) * 2009-08-13 2011-02-17 日本電気株式会社 Image processing system, image processing method and program for image processing
JPWO2011018878A1 (en) * 2009-08-13 2013-01-17 日本電気株式会社 Image processing system, image processing method, and image processing program
US8712175B2 (en) 2009-08-13 2014-04-29 Nec Corporation Image processing system, image processing method and program for image processing
CN112308771A (en) * 2019-07-31 2021-02-02 维沃移动通信有限公司 Image processing method and device and electronic equipment

Similar Documents

Publication Publication Date Title
JP4120677B2 (en) Generation of still images from multiple frame images
JP4646146B2 (en) Image processing apparatus, image processing method, and program
US7012649B2 (en) Image processing apparatus and method, program, and recording medium
US20100123792A1 (en) Image processing device, image processing method and program
JP4480760B2 (en) Image data processing method and image processing apparatus
JP4375080B2 (en) Image processing apparatus and method, recording medium, and program
US20100157107A1 (en) Image Apparatus And Electronic Apparatus
JP2005130443A (en) Generation of high resolution image from plurality of low resolution images
JP2004272751A (en) Creation of still image from plurality of frame images
JP2006222493A (en) Creation of high resolution image employing a plurality of low resolution images
JP5158262B2 (en) Image processing method and image processing apparatus
JP2008099231A (en) Scan conversion apparatus
JP4419062B2 (en) Image processing apparatus and method, recording medium, and program
JP2006221220A (en) Generation of high resolution image using two or more low resolution image
JP2006221221A (en) Generation of high resolution image using two or more low resolution image
JP2006203717A (en) Formation of high resolution image using a plurality of low resolution images
JP4360177B2 (en) Still image generating apparatus, still image generating method, still image generating program, and recording medium on which still image generating program is recorded
JP2006203716A (en) Formation of high resolution image using a plurality of low resolution images
JP2000354244A (en) Image processing unit, its method and computer-readable storage medium
JP2005129996A (en) Efficiency enhancement for generation of high-resolution image from a plurality of low resolution images
JP5024300B2 (en) Image processing apparatus, image processing method, and program
JP2006033232A (en) Image processing apparatus
JP2005293265A (en) Image processing device, and method
JPH1083442A (en) Picture synthesis method
JP2005141614A (en) Shortening of processing time for generation image of high resolution based on a plurality of images of low resolution