JP2006041604A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents
画像処理装置、画像処理方法、および画像処理プログラム Download PDFInfo
- Publication number
- JP2006041604A JP2006041604A JP2004214305A JP2004214305A JP2006041604A JP 2006041604 A JP2006041604 A JP 2006041604A JP 2004214305 A JP2004214305 A JP 2004214305A JP 2004214305 A JP2004214305 A JP 2004214305A JP 2006041604 A JP2006041604 A JP 2006041604A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- pixel
- resolution
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】 複数の画像データから解像度がより高い画像データを生成する際に、画質が向上する効果を高める。
【解決手段】 CPU31では、画像データ取得部310が、時系列に連続して生成され、高解像度画像における画素配置の基準となる基準画像データと、この基準画像データ以外の複数の調査対象画像データと、から成る複数の画像データを取得する。また、画像選択部330が、調査対象画像と基準画像との間のずれ量に基づいて求められる値であって、高解像度画像と調査対象画像とを重ね合わせたときの、高解像度画像の画素と調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として調査対象画像から選択する。高解像度画像生成部340は、少なくとも合成用画像の画像データを用いて、高解像度画像データを生成する。
【選択図】 図2
【解決手段】 CPU31では、画像データ取得部310が、時系列に連続して生成され、高解像度画像における画素配置の基準となる基準画像データと、この基準画像データ以外の複数の調査対象画像データと、から成る複数の画像データを取得する。また、画像選択部330が、調査対象画像と基準画像との間のずれ量に基づいて求められる値であって、高解像度画像と調査対象画像とを重ね合わせたときの、高解像度画像の画素と調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として調査対象画像から選択する。高解像度画像生成部340は、少なくとも合成用画像の画像データを用いて、高解像度画像データを生成する。
【選択図】 図2
Description
この発明は、取得した画像データから、より解像度が高い画像データを生成するための画像処理技術に関する。
従来から、撮影した所定の画像を利用して、より解像度の高い画像を生成する技術が提案されている。例えば、デジタルビデオカメラ等で撮影した動画を構成する複数のフレーム画像の画像データから、より解像度の高い静止画の画像データを合成する方法が知られている。このような高解像度画像を生成する際には、複数のフレーム画像間の対応関係の推定を行なうと共に、推定された対応関係に基づいて、解像度を高める(画像を構成する画素数を増加させる)ための補間演算を行なう(特許文献1参照)。
このように補間演算を行なって解像度の高い画像を生成する際には、一般に、画像生成に用いるフレーム画像の数を増やすことによって、補間演算によって得られる値を真の値に近づけ、生成した高解像度画像の画質を向上させることが可能となる。しかしながら、上記補間演算を行なう工程は、膨大な量の演算処理を行なう工程であり、高画質化を図る目的であっても、用いるフレーム画像の数を徒に増やしていく方策は、採用し難い場合がある。また、用いる複数のフレーム画像間のずれ量によっては、高画質化に寄与する程度が低いフレーム画像が含まれる可能性があり、用いるフレーム画像の数を増やした割には、充分に高画質な画像が得られない場合があった。
このような問題は、デジタルビデオカメラ等で生成した動画の画像データを用いる場合に限らず、デジタルスチルカメラで連続撮影された複数の画像データを用いる場合など、時系列に連続して撮影された複数の画像のデータから、より解像度が高い画像を生成する際に共通する問題であった。
本発明は、上述した従来の課題を解決するためになされたものであり、複数の画像データから解像度がより高い画像データを生成する際に、画質が向上する効果を高めることを目的とする。
上記目的を達成するために、本発明は、取得した複数の画像データから、より解像度の高い高解像度画像データを生成する画像処理装置であって、
時系列に連続して生成され、前記高解像度画像データが表わす高解像度画像における画素配置の基準となる基準画像データと、該基準画像データ以外の複数の調査対象画像データと、から成る複数の画像データを取得する画像データ取得部と、
前記調査対象画像データが表わす調査対象画像と前記基準画像データが表わす基準画像との間のずれ量に基づいて求められる値であって、前記高解像度画像と前記調査対象画像とを重ね合わせたときの、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として前記調査対象画像から選択する画像選択部と、
少なくとも前記合成用画像の画像データを用いて、前記高解像度画像データを生成する高解像度画像生成部と
を備えることを要旨とする。
時系列に連続して生成され、前記高解像度画像データが表わす高解像度画像における画素配置の基準となる基準画像データと、該基準画像データ以外の複数の調査対象画像データと、から成る複数の画像データを取得する画像データ取得部と、
前記調査対象画像データが表わす調査対象画像と前記基準画像データが表わす基準画像との間のずれ量に基づいて求められる値であって、前記高解像度画像と前記調査対象画像とを重ね合わせたときの、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として前記調査対象画像から選択する画像選択部と、
少なくとも前記合成用画像の画像データを用いて、前記高解像度画像データを生成する高解像度画像生成部と
を備えることを要旨とする。
以上のように構成された本発明の画像処理装置によれば、高解像度画像と調査対象画像とを重ね合わせたときの、高解像度画像の画素と調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として用いて高解像度画像データを生成するため、高解像度画像において新たに生成される画素のより近くに位置する画素の画素値を用いて新たな画素値を生成することができる。これにより、新たに生成された画像データの値が真の値に近づく可能性を高めることができ、得られる高解像度画像の画質を向上させることが可能となる。
本実施例の画像処理装置において、
前記画像選択部は、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値として、前記調査対象画像と同じ解像度であると共に、前記高解像度画像と画素配置の方向が同じであって、前記高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像と、前記調査対象画像とを重ね合わせたときの、前記最適画像の画素と前記調査対象画像の画素との距離に関する統計値を用いることとしても良い。
前記画像選択部は、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値として、前記調査対象画像と同じ解像度であると共に、前記高解像度画像と画素配置の方向が同じであって、前記高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像と、前記調査対象画像とを重ね合わせたときの、前記最適画像の画素と前記調査対象画像の画素との距離に関する統計値を用いることとしても良い。
上記のように、高解像度画像の画素の一部を最適画像の画素として取り扱い、最適画像の画素と調査対象画像の画素との距離に関する統計値に基づいて合成用画像を選択することで、高解像度画像で新たに生成される画素の画素値を生成するために用いる調査対象画像データを、効率よく選択することができる。
このような本発明の画像処理装置において、
前記画像選択部は、前記調査対象画像を構成する画素から選択した複数の画素について、前記最適画像との間で画素間の距離を求めて平均値を算出し、該平均値を、前記最適画像の画素と前記調査対象画像の画素との距離に関する統計値として用いることとしても良い。
前記画像選択部は、前記調査対象画像を構成する画素から選択した複数の画素について、前記最適画像との間で画素間の距離を求めて平均値を算出し、該平均値を、前記最適画像の画素と前記調査対象画像の画素との距離に関する統計値として用いることとしても良い。
このような構成とすれば、基準画像が有する画素に対する調査対象画像が有する画素のずれ量が、調査対象画像の部位によって異なる場合であっても、調査対象画像全体として、基準画像に対する画素のずれ量を把握することができ、合成用画像の選択を適切に行なうことが可能となる。
本発明の画像処理装置において、
前記画像選択部は、前記調査対象画像のうちで、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が最も小さくなる画像を、前記合成用画像として選択することとしても良い。
前記画像選択部は、前記調査対象画像のうちで、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が最も小さくなる画像を、前記合成用画像として選択することとしても良い。
このような構成とすれば、高解像度画像が有する画素に最も近い位置に画素を有する調査対象画像を、より高い確率で選択することが可能となる。
また、本発明の画像処理装置において、
前記画像選択部は、前記調査対象画像のうちで、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が所定の基準値以下となる画像を、前記合成用画像として選択することとしても良い。
前記画像選択部は、前記調査対象画像のうちで、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が所定の基準値以下となる画像を、前記合成用画像として選択することとしても良い。
このような構成とすれば、高解像度画像において新たに生成される画素に充分に近い位置の画素を有する調査対象画像を選択し、新たに生成される画素値が真の値に近づく可能性をより高めることができる。
本発明の画像処理装置において、前記画像選択部は、少なくとも画像データの解析を利用して、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値を求めることとしても良い。このような場合には、画像データの解析方法を適宜選択することにより、高解像度画像の画素と調査対象画像の画素との距離に関する統計値を、精度良く算出することが可能となる。
あるいは、本発明の画像処理装置において、
前記基準画像データおよび前記調査対象画像データは、所定の画像生成装置により生成されており、
前記画像選択部は、少なくとも、前記基準画像データおよび前記調査対象画像データの各々の生成時における前記画像生成装置の動きに関する情報に基づいて、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値を求めることとしても良い。
前記基準画像データおよび前記調査対象画像データは、所定の画像生成装置により生成されており、
前記画像選択部は、少なくとも、前記基準画像データおよび前記調査対象画像データの各々の生成時における前記画像生成装置の動きに関する情報に基づいて、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値を求めることとしても良い。
このような場合には、画像間のずれの原因となる画素生成装置の動きに基づいて上記距離に関する統計値を求めるため、上記距離に関する統計値において、画素生成装置の動きに起因する影響を、正確に反映させることが可能となる。
本発明は、上記以外の種々の形態で実現可能であり、例えば、画像処理方法やコンピュータプログラム、あるいは記録媒体などの形態で実現することが可能である。
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.第1実施例:
A−1.装置の全体構成:
A−2.高解像度画像生成処理の概要:
A−3.基準ずれ量の算出:
A−4.フレーム画像選択処理:
A−5.合成処理:
B.第2実施例:
B−1.画像生成時の動き情報:
B−2.動き情報に基づく高解像度画像の生成:
B−3.第2実施例の変形例:
C.変形例:
A.第1実施例:
A−1.装置の全体構成:
A−2.高解像度画像生成処理の概要:
A−3.基準ずれ量の算出:
A−4.フレーム画像選択処理:
A−5.合成処理:
B.第2実施例:
B−1.画像生成時の動き情報:
B−2.動き情報に基づく高解像度画像の生成:
B−3.第2実施例の変形例:
C.変形例:
A.第1実施例:
A−1.装置の全体構成:
図1は、本発明の実施例である画像処理装置を含む画像処理システム10の構成を表わす説明図である。図1に示すように、画像処理システム10は、画像データを生成する画像生成装置であるデジタルスチルカメラ20と、画像生成装置が生成した画像データから高解像度の画像データを生成する画像処理装置として機能するパーソナルコンピュータ30と、画像処理に関する指示をユーザが入力するための操作部40と、画像データに基づいて画像を出力する出力装置であるカラープリンタ50と、を備えている。
A−1.装置の全体構成:
図1は、本発明の実施例である画像処理装置を含む画像処理システム10の構成を表わす説明図である。図1に示すように、画像処理システム10は、画像データを生成する画像生成装置であるデジタルスチルカメラ20と、画像生成装置が生成した画像データから高解像度の画像データを生成する画像処理装置として機能するパーソナルコンピュータ30と、画像処理に関する指示をユーザが入力するための操作部40と、画像データに基づいて画像を出力する出力装置であるカラープリンタ50と、を備えている。
デジタルスチルカメラ20は、CCDやCMOS等の撮像デバイスを備え、レンズを通った光の量をこの撮像デバイスによって電気信号に変換して、画像をデジタル信号として取得するカメラである。デジタルスチルカメラ20は、撮影モードとして静止画撮影モードと動画撮影モードとを有し、静止画像データに加えて、時系列に連続する複数の画像データから成る動画像データを生成する機能を備えている。また、デジタルスチルカメラ20は、静止画撮影モードとして、さらに連写モードを備え、この連写モードによっても、時系列に連続する複数の画像データを生成することができる。本実施例では、動画撮影モードが選択され、動画像データが生成される場合について説明する。ここで、デジタルスチルカメラ20においては、解像度が異なる画像データを生成することが可能であるが、以下の実施例では、一定の解像度を有する動画像データを扱うものとする。なお、画像処理装置に対して時系列に連続する複数の画像データを供給するために、上記のような画像生成装置に代えて、DVD、ハードディスク等、画像データを記憶した記録媒体や記憶装置を用いても良い。
パーソナルコンピュータ30は、画像処理プログラムを実行するCPU31、ROM32、CPU31による演算結果や画像処理に供する画像データを一時的に格納するRAM33、画像処理プログラムを格納するハードディスクドライブ(HDD)34、および、操作部40やカラープリンタ50等の外部機器と情報をやり取りするためのI/F回路35を備えている。
操作部40は、ユーザが画像処理に関する指示を入力するためのキーボード41およびマウス42を備えている。なお、図1では、ディスプレイ43を操作部40として記載しているが、このディスプレイ43は、さらに、画像処理に関わる画像を表示する出力装置としても機能する。
A−2.高解像度画像生成処理の概要:
図2は、本実施例に係るパーソナルコンピュータ30が備えるCPU31において実行される高解像度画像生成処理に関する機能ブロック図である。また、図3は、CPU31で実行される高解像度画像生成処理の概要を表わすフローチャートである。これら図2および図3に基づいて、高解像度画像生成処理の概要について説明する。
図2は、本実施例に係るパーソナルコンピュータ30が備えるCPU31において実行される高解像度画像生成処理に関する機能ブロック図である。また、図3は、CPU31で実行される高解像度画像生成処理の概要を表わすフローチャートである。これら図2および図3に基づいて、高解像度画像生成処理の概要について説明する。
図2に示すように、CPU31は、画像データ取得部310と、基準ずれ量算出部320と、画像選択部330と、高解像度画像生成部340と、を備えている。
本実施例では、デジタルスチルカメラ20で生成された動画像データは、デジタルスチルカメラ20に取り付け可能なメモリカードMC(図1参照)を介してパーソナルコンピュータ30のHDD34内に記憶され、CPU31で実行される処理において利用可能となる。なお、デジタルスチルカメラ20で生成された動画像データを、一旦HDD34によって記憶する構成に代えて、パーソナルコンピュータ30とデジタルスチルカメラ20とを接続してデジタルスチルカメラ20から逐次データを取得することとしても良い。図3の高解像度画像生成処理は、例えば、操作部40からユーザの指示が入力されることにより開始されることとしても良く、パーソナルコンピュータ30が備えるスロットにメモリカードMCが差し込まれることで自動的に開始されることとしても良い。
図3の高解像度画像生成処理を実行する際には、CPU31は、まず、HDDに記憶した動画像データを読み出し、この動画像データを再生する。以下の説明では、動画像を構成し、時系列に連続する個々の画像をフレーム画像と呼び、フレーム画像を表わす画像データをフレーム画像データと呼ぶ。動画像データの再生中に、ユーザによってフレーム画像データの取得指示が入力されると、CPU31の画像データ取得部310は、動画像データを構成するフレーム画像データの中から、時系列に連続する複数のフレーム画像データを取得する(ステップS100)。このステップS100において複数のフレーム画像データが取得される様子を、図4に示す。本実施例では、動画像データの再生中にユーザが指示を入力したタイミングに相当するフレーム画像データ、すなわちユーザにより選択されたフレーム画像データを、基準フレーム画像データとして取得している。この基準フレーム画像データが表わす画像は、新たに生成する高解像度画像における画素配置の基準となる。また、基準フレーム画像データから時系列の時刻経過方向に連続する10フレーム分の画像データ、および、基準フレーム画像データから時系列の時刻経過逆方向に連続する10フレーム分の画像データという20フレーム分の画像データを、調査対象フレーム画像データとして取得している。このように、ステップS100では、動画像データから、21フレーム分のフレーム画像データが取得される。
以下の説明では、取得した21フレーム分の画像データに対して、時系列を表わすフレーム番号aを付すこととし、各フレーム画像データをフレーム画像データFaと呼び、フレーム画像データFaが表わす画像をフレーム画像faと呼ぶこととする。ここで、フレーム番号aは、基準フレーム画像データが0となるように設定している。すなわち、基準フレーム画像データはフレーム画像データF0であり、調査対象フレーム画像データは、フレーム画像データF-10〜F-1、およびF1〜F10である。ステップS100で上記21フレーム分の画像データが取得される際には、CPU31は、これら21フレーム分の画像データをRAM33に一時的に格納する。
ステップS100でフレーム画像データが取得されると、CPU31の基準ずれ量算出部320は、基準フレーム画像f0に対する各調査対象フレーム画像f-10〜f-1、f1〜f10の位置ずれ量(以下、基準ずれ量とよぶ)を算出する(ステップS110)。本実施例では、この基準ずれ量の算出は、画像データを解析すること(画像解析)により行なっている。
その後、CPU31の画像選択部は、上記基準ずれ量に基づいて、所定の最適ずれ量に最も近い基準ずれ量を示すフレーム画像の画像データを、高解像度画像データを生成するために用いるフレーム画像データとして選択する(ステップS120)。ここで、最適ずれ量とは、調査対象フレーム画像と同じ解像度であると共に、高解像度画像データが表わす高解像度画像と画素配置の方向が同じであって、高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像を想定したときに、この最適画像の基準フレーム画像に対する位置ずれ量のことをいう。具体例を図5に示す。図5は、基準フレーム画像を利用して、解像度を縦横2倍の倍率で高める様子を表わす。ここで、縦横とは、基準フレーム画像における画素の配列方向に対応する向きであり、図5に示すX軸方向が横方向を表わし、Y軸方向が縦方向を表わす。図5では、生成する高解像度画像の各画素が、黒丸で示されている。また、白抜きの四辺形で示された基準フレーム画像のすべての画素は、上記高解像度画像が有する画素と重なっている。ここで、高解像度画像の画素の内、基準フレーム画像の画素以外の画素は、ハッチングを付した四辺形で示されているが、これらは、基準フレーム画像と同じ解像度(すなわち、調査対象画像と同じ解像度)を有する画像であって、基準フレーム画像に対して所定のずれ量を示す3つのフレーム画像の画素の集合と見なすことができる。すなわち、基準フレーム画像に対して、基準フレーム画像における縦横の画素間隔を単位として、X軸方向にu、Y軸方向にvずらしたフレーム画像のずれ量を、(u,v)と表わすときに、ずれ量が(0,0.5)、(0.5,0)、(0.5,0.5)と表わされる3つのフレーム画像の画素の集合と見なすことができる。そのため、解像度を縦横2倍の倍率で高めて高解像度画像データを生成する本実施例では、上記最適ずれ量は、基準フレーム画像自身のずれ量を含めて(0,0)(0,0.5)、(0.5,0)、(0.5,0.5)の4つとなる。
なお、想定される最適画像としては、上記した4つの最適ずれ量を示す画像の他に、上記各最適画像を、X軸方向および/またはY軸方向に、上記画素間隔の整数倍ずらした画像が考えられる。しかしながら、上記4つの最適画像の各々を、画素間隔の整数倍ずらした画像は、高解像度画像データを生成する際に、画質を向上させる上で、対応する最適画像と同等の寄与をするだけである。そのため、ステップS120では、上記のように画素間隔の整数倍ずらしただけの画像を排除して、基準フレーム画像とのずれ量が最も小さくなる(すなわち、基準フレーム画像との重なりが最も大きくなる)上記4つの最適ずれ量を示す4つの画像を、最適画像として想定している。ステップS120では、このように想定した最適画像が示す最適ずれ量に最も近い基準ずれ量を示すフレーム画像を、基準フレーム画像および調査対象画像から選択する。
その後、高解像度画像生成部340が、ステップS120で選択された調査対象フレーム画像データや基準フレーム画像データを合成して、より解像度が高い画像データを新たに生成する(ステップS130)。以下に、ステップS110〜S130の各処理について、さらに詳しく説明する。
A−3.基準ずれ量の算出:
図3のステップS110において実行される画像解析による基準ずれ量の算出の工程について説明する。ステップS110では、各調査対象フレーム画像f-10〜f-1、f1〜f10を順次注目フレーム画像faに設定し、基準フレーム画像f0に対する注目フレーム画像faの位置ずれ量を順次算出することによって、各調査対象フレーム画像f-10〜f-1、f1〜f10について基準ずれ量を求める。ステップS110において、基準フレーム画像f0に対する各調査対象フレーム画像f-10〜f-1、f1〜f10の位置ずれ量を算出する画像解析の方法としては、例えば、フレーム画像データ間の各画素の輝度を用いて1画素よりも細かい単位で画素の位置を推定する勾配法を用いることができる。以下に、勾配法の概要について説明する。
図3のステップS110において実行される画像解析による基準ずれ量の算出の工程について説明する。ステップS110では、各調査対象フレーム画像f-10〜f-1、f1〜f10を順次注目フレーム画像faに設定し、基準フレーム画像f0に対する注目フレーム画像faの位置ずれ量を順次算出することによって、各調査対象フレーム画像f-10〜f-1、f1〜f10について基準ずれ量を求める。ステップS110において、基準フレーム画像f0に対する各調査対象フレーム画像f-10〜f-1、f1〜f10の位置ずれ量を算出する画像解析の方法としては、例えば、フレーム画像データ間の各画素の輝度を用いて1画素よりも細かい単位で画素の位置を推定する勾配法を用いることができる。以下に、勾配法の概要について説明する。
フレーム画像間に生じる位置ずれは、並進ずれと、画像の中心を軸とした回転方向のずれ(回転ずれ)との組み合わせとして表わすことができる。並進ずれと回転ずれとの組み合わせとして表わされる注目フレーム画像faにおける基準ずれ量の様子を、図6に示す。図6では、注目フレーム画像faと基準フレーム画像f0の各々について、各フレーム画像の中心を原点とするXY軸を、仮想的に示している。図6に示すように、注目フレーム画像faにおける基準ずれ量は、X軸方向の並進ずれuaとY軸方向の並進ずれvaと回転ずれδaとによって表わすことができる。
図7は、勾配法によって位置ずれを算出する方法を示す説明図である。図7(a)は、基準フレーム画像f0および注目フレーム画像fa上の所定の画素における輝度を示しており、図7(b)は、勾配法の原理を示している。ここで、注目フレーム画像faは、画像中心を原点とし、横方向をXa軸、縦方向をYa軸とする直交座標系を有しており、(xai,yai)は、注目フレーム画像fa上の一の画素の座標を表わす。ここで、Ba(xai,yai)は、その画素の輝度を表わしている。また、基準フレーム画像f0は、画像中心を原点とし、横方向をX0軸、縦方向をY0軸とする直交座標系を有しており、基準フレーム画像f0においても同様に画素の座標およびその輝度を表記している。なお、ここでは、注目フレーム画像fa上の座標(xai,yai)の画素に対応する画素が、基準フレーム画像f0上の座標(x0i〜x0i+1,y0i〜y0i+1)の範囲に存在するものとし、その座標を、(x0i+Δxi,y0i+Δyi)とする。ここで、iは、各画素を区別する番号である。
図7(b)に示すように、注目フレーム画像faにおける座標(xai,yai)の画素に対応する画素が、基準フレーム画像f0上の座標(x0i+Δxi,y0i+Δyi)にあるものとし、
ΔBxi=B0(x0i+1,y0i)−B0(x0i,y0i) …(1)
とすると、
ΔBxi・Δxi=Ba(xai,yai)−B0(x0i,y0i) …(2)
が成り立つ。ここで、Ba(xai,yai)およびB0(x0i,y0i)を単にBa,B0と表わすと、
ΔBxi・Δxi−(Ba−B0)=0 …(3)
を満たすΔxiを求めれば、注目フレーム画像faのX軸方向の並進ずれ量を求めることができる。
ΔBxi=B0(x0i+1,y0i)−B0(x0i,y0i) …(1)
とすると、
ΔBxi・Δxi=Ba(xai,yai)−B0(x0i,y0i) …(2)
が成り立つ。ここで、Ba(xai,yai)およびB0(x0i,y0i)を単にBa,B0と表わすと、
ΔBxi・Δxi−(Ba−B0)=0 …(3)
を満たすΔxiを求めれば、注目フレーム画像faのX軸方向の並進ずれ量を求めることができる。
同様にして、
ΔByi=B0(x0i,y0i+1)−B0(x0i,y0i) …(4)
とすると、
ΔByi・Δyi=Ba(xai,yai)−B0(x0i,y0i) …(5)
が成り立つ。ここで、Ba(xai,yai)およびB0(x0i,y0i)を単にBa,B0と表わすと、
ΔByi・Δyi−(Ba−B0)=0 …(6)
を満たすΔyiを求めれば、注目フレーム画像faのY軸方向の並進ずれ量を求めることができる。
ΔByi=B0(x0i,y0i+1)−B0(x0i,y0i) …(4)
とすると、
ΔByi・Δyi=Ba(xai,yai)−B0(x0i,y0i) …(5)
が成り立つ。ここで、Ba(xai,yai)およびB0(x0i,y0i)を単にBa,B0と表わすと、
ΔByi・Δyi−(Ba−B0)=0 …(6)
を満たすΔyiを求めれば、注目フレーム画像faのY軸方向の並進ずれ量を求めることができる。
ここで、式(3)および式(6)を満たすΔxi,Δyiを求めれば、注目フレーム画像faにおける座標(xai,yai)の画素に対応する画素の、基準フレーム画像f0上における位置が分かることになる。この考え方を拡張して、注目フレーム画像faを構成する全ての画素について共通する基準ずれ量(ua,va,δa)を求めるには、最小自乗法を用いて以下のS2を最小にすればよい。
S2=Σ{ΔBxi・Δxi+ΔByi・Δyi−(Ba−B0)}2 …(7)
S2=Σ{ΔBxi・Δxi+ΔByi・Δyi−(Ba−B0)}2 …(7)
ここで、基準ずれ量(ua,va,δa)と、各画素についてのΔxi、Δyiとの関係を以下に説明する。図8は、画素の回転ずれ量を模式的に示す説明図である。基準フレーム画像f0の座標(x0,y0)の原点Oからの距離をrとし、X0軸からの回転角度をθとすると、r,θは、以下の式で表わされる。
r=(x02+y02)1/2 …(8)
θ=tan-1(y0/x0) …(9)
r=(x02+y02)1/2 …(8)
θ=tan-1(y0/x0) …(9)
ここで、注目フレーム画像faと基準フレーム画像f0との間に並進ずれはなく、回転ずれのみが発生しているものとし、注目フレーム画像faにおける座標(xa,ya)の画素が、基準フレーム画像f0上の座標(x0,y0)の位置から回転ずれ量δaだけ回転した座標(x0’,y0’)にあるとする。この回転ずれ量δaによるX0軸方向の移動量Δxと、Y0軸方向の移動量Δyとは、以下の式により求められる。なお、回転ずれ量δaは微少量であるとして、cosδa≒1、sinδa≒δの近似式を用いている。
Δx=x0’−x0≒−r・δa・sinθ=−δa・y0 …(10)
Δy=y0’−y0≒r・δa・cosθ=δa・x0 …(11)
Δx=x0’−x0≒−r・δa・sinθ=−δa・y0 …(10)
Δy=y0’−y0≒r・δa・cosθ=δa・x0 …(11)
したがって、式(7)における各画素についてのΔxi、Δyiは、基準ずれ量(ua、va、δa)を用いて、以下の式のように表わすことができる。
Δxi=ua−δa・y0i …(12)
Δyi=va+δa・x0i …(13)
Δxi=ua−δa・y0i …(12)
Δyi=va+δa・x0i …(13)
上記式(12),(13)を、上記式(7)に代入すると、以下の式が得られる。
S2=Σ{ΔBxi・(ua−δa・y0i)+ΔByi・(va+δa・x0i)−(Ba−B0)}2 …(14)
S2=Σ{ΔBxi・(ua−δa・y0i)+ΔByi・(va+δa・x0i)−(Ba−B0)}2 …(14)
すなわち、式(14)のS2を最小にするua、va、δaを最小自乗法によって求めることで、注目フレーム画像faにおける基準ずれ量を、精度良く検出することができる。各調査対象フレーム画像f-10〜f-1、f1〜f10を順次注目フレーム画像faに設定し、各調査対象フレーム画像f-10〜f-1、f1〜f10について上記のように基準ずれ量を求めた結果の一例を、図9に示す。なお、図9では、基準ずれ量の各成分が0である基準フレーム画像についても記載している。本実施例では、このようにして求めた基準ずれ量のうち、並進ずれを表わすua、vaについては、計算を簡便にするために、ずれ量に最も近い整数とずれ量の差分の絶対値(以下、画素ずれ量(uap,vap)と呼ぶ)をさらに求め、引き続き実行されるフレーム画像選択処理では、この画素ずれ量を用いている。図9に示した値を、上記画素ずれ量に計算し直した値を、図10に示す。なお、実施例では、図3のステップS110において、上記した勾配法により基準ずれを算出することとしたが、画素解析によりずれ量を求める他の手法を用いても良い。
A−4.フレーム画像選択処理:
次に、図3のステップS120において実行されるフレーム画像選択処理について説明する。ここでは、CPU31の画像選択部330は、既述した各々の最適画像について、この最適画像が有する画素に最も近い位置に画素を有する画像を、フレーム画像f-10〜f10から1つずつ選択する。具体的には、既述した最適ずれ量(0,0)、(0,0.5)、(0.5,0)、(0.5,0.5)の各々について、この最適ずれ量に最も近い基準ずれ量を示すフレーム画像を、フレーム画像f-10〜f10から選択する。
次に、図3のステップS120において実行されるフレーム画像選択処理について説明する。ここでは、CPU31の画像選択部330は、既述した各々の最適画像について、この最適画像が有する画素に最も近い位置に画素を有する画像を、フレーム画像f-10〜f10から1つずつ選択する。具体的には、既述した最適ずれ量(0,0)、(0,0.5)、(0.5,0)、(0.5,0.5)の各々について、この最適ずれ量に最も近い基準ずれ量を示すフレーム画像を、フレーム画像f-10〜f10から選択する。
ここで、最適ずれ量は回転ずれの成分を有していないが、図9に示したように各フレーム画像の基準ずれ量が回転ずれの成分を有する場合には、最適ずれ量と基準ずれ量とをそのまま比較することができない。そのため、本実施例では、回転ずれが基準ずれ量における並進ずれ成分に及ぼす影響を、画像全体で統計的に算出することによって、最適ずれ量と基準ずれ量との間の比較を可能にしている。回転ずれが基準ずれ量における並進ずれ成分に及ぼす影響を、以下に説明する。図11は、位置ずれ量として回転ずれの成分のみを有する2つの画像を、画像の中心同士を位置合わせすることによって重ね合わせた様子を示す。図11に示すように、位置ずれ量として回転ずれの成分を有する場合には、画像内での位置によって2つの画像間の位置ずれ量が異なることになる。すなわち、フレーム画像の周辺部の方が中央部よりも画像間のずれ量が大きくなる。そこで、本実施例では、基準フレーム画像および調査対象フレーム画像を複数の領域(ブロック)に分割し、分割したブロック毎に基準フレーム画像と調査対象フレーム画像との間で、対応する画素間のずれ量を並進ずれ成分だけで表わした画素ずれ量を求め、ブロック毎に求めた画素ずれ量をフレーム画像全体で平均することによって、各フレーム画像のずれ量と最適ずれ量とを比較可能としている。フレーム画像を複数の(N個の)ブロックに分割した様子の一例を、図12に示す。
各調査対象フレーム画像faでは、N個に分割したブロック毎の基準フレーム画像f0に対する画素ずれ量を、各ブロックの中心位置におけるずれ量として求めている。すなわち、ブロック番号をn(n=1〜N)、ブロック番号nのブロックにおける画素ずれ量を(umn,vmn)、調査対象フレーム画像faにおける既述した基準ずれ量(画素ずれ量)を(uap,vap,δa)、ブロック番号nのブロックにおける中心位置の座標(図6に示したように、各々の調査対象画像faの中心を原点とするXY軸を基準とする座標)を(xn,yn)としたときに、ブロック番号nのブロックにおける画素ずれ量を、以下の式(15)、式(16)に基づいて求めている。
umn=uap+δa・yn …(15)
vmn=vap−δa・xn …(16)
ここで、上記画素ずれ量(umn,vmn)は、図8および式(12)、(13)に基づいて行なった説明と同様の考え方により導かれるものである。
umn=uap+δa・yn …(15)
vmn=vap−δa・xn …(16)
ここで、上記画素ずれ量(umn,vmn)は、図8および式(12)、(13)に基づいて行なった説明と同様の考え方により導かれるものである。
このように、ブロックごとに求めた画素ずれ量を用いて、CPU31は、以下の式(17)、(18)に従い、ブロックごとの画素ずれ量の平均値である平均画素ずれ量(uave,vave)を、各々の調査対象フレーム画像faについて求める。
各々の調査対象フレーム画像faについて平均画素ずれ量(uave,vave)を求めると、次にCPU31は、各々の平均画素ずれ量と、各最適ずれ量との差(平均画素ずれ量を基準ずれ量とする仮想的なフレーム画像と各最適画像との間の、対応する画素間の距離であり、以下、最適ずれ量との距離Rと呼ぶ)を求める。この最適ずれ量との距離Rは、最適画像と調査対象フレーム画像とを重ね合わせたときの、最適画像の画素と調査対象フレーム画像の画素との距離に関する統計値であるということができる。最適ずれ量との距離Rは、対象となる最適ずれ量を(ut,vt)とすると、以下の式(19)により求められる。
各調査対象フレーム画像が、図10に示した基準画素ずれ量を示す場合に、式(17)、(18)に基づいて各調査対象フレーム画像について平均画素ずれ量(uave,vave)を求めた結果を、図13に例示する。図13では、さらに、各調査対象フレーム画像について、式(19)に基づいて、最適ずれ量との距離Rを求めた結果を併せて示している。なお、以下の式(20)では、最適ずれ量との距離Rを算出する具体例として、調査対象フレーム画像f1における平均画素ずれ量と、最適ずれ量(0,0.5)との差を求める式を挙げる。
このように各調査対象フレーム画像毎に最適ずれ量との距離Rを求めると、CPU31は、各々の最適画像について、最適ずれ量との距離Rが最も小さくなるフレーム画像(以下、合成用画像と呼ぶ)を選択する。図13では、最適画像毎に、最適ずれ量との距離Rの最も小さい値に影を付して示している。図13に示すように、本実施例では、最適ずれ量(0,0)(0,0.5)、(0.5,0)、(0.5,0.5)のそれぞれに対して、合成用画像として、基準フレーム画像f0、調査対象フレーム画像f2、f-1、f4が選択されている。ここで、図13では、最適ずれ量(0.5,0.5)との距離Rとして、調査対象フレーム画像f4およびf5が同じ値を示しているが、本実施例では、このような場合には、画像データ生成のタイミングが基準フレーム画像f0により近い方の調査対象フレーム画像(ここでは調査対象フレーム画像f4)を、合成用画像として選択している。
A−5.合成処理:
次に、図3のステップS130において実行される高解像度画像合成処理について説明する。ステップS130では、CPU31の高解像度画像生成部340が、ステップS120において各々の最適ずれ量に対して選択された合成用画像が表わすフレーム画像データ(以下、合成用フレーム画像データと呼ぶ)を用いて、高解像度画像データの生成を行なう。高解像度画像を生成する際には、上記合成用画像の各々について、ステップS110で求めておいた基準ずれ量(図9参照)を用いる。
次に、図3のステップS130において実行される高解像度画像合成処理について説明する。ステップS130では、CPU31の高解像度画像生成部340が、ステップS120において各々の最適ずれ量に対して選択された合成用画像が表わすフレーム画像データ(以下、合成用フレーム画像データと呼ぶ)を用いて、高解像度画像データの生成を行なう。高解像度画像を生成する際には、上記合成用画像の各々について、ステップS110で求めておいた基準ずれ量(図9参照)を用いる。
図14,15は、高解像度画像生成のための処理の様子を示す図である。図14は、基準フレーム画像f0と、その他の合成用フレーム画像f-1,f2,f4とを、ずれ量を補正して配置した様子を拡大して示している。図14では、高解像度画像の各画素が、黒丸で示されると共に、基準フレーム画像f0の各画素が白抜きの四辺形で示され、合成用フレーム画像f-1,f2,f4の各画素が、ハッチングを付した四辺形で示されている。
高解像度画像が有する一の画素である画素G(j)に注目して説明する。以下、画素(j)を、注目画素と呼ぶ。ここで、変数jは、高解像度画像の全画素を区別する番号を示している。CPU31は、各合成用フレーム画像f-1,f2,f4において、注目画素G(j)に対して最も近い画素(それぞれ、画素P(-1),P(2),P(4))と、注目画素G(j)との距離L-1,L2,L4とを算出する。そして、CPU31は、注目画素G(j)に最も近い距離にある画素(以下、「最近傍画素」と呼ぶ)を決定する。図14の例では、L-1<L2<L4であるので、フレーム画像f-1の画素P(-1)が、注目画素G(j)の最近傍画素として決定される。なお、このように決定された最近傍画素が、合成用フレーム画像f-1のi番目の画素であるとして、以下、最近傍画素P(−1,i)と表記する。
CPU31は、高解像度画像を構成するすべての画素を、順次注目画素に設定して、上記した処理を繰り返し実行し、それぞれの画素について最近傍画素を決定する。
CPU31は、注目画素G(j)の画素値を、決定された最近傍画素を含む画像(図14に示す例では、フレーム画像f-1)において注目画素G(j)を囲む画素の画素値を用いて、バイ・リニア法などの補間処理によって生成する。図15は、バイ・リニア法による補間処理について示す説明図である。注目画素G(j)は、フレーム画像f-1,f0,f2,f4のいずれにも存在しない画素であるので、画素値が存在していない。そこで、CPU31は、最近傍画素P(−1,i)の他、注目画素G(j)を囲む3つの画素P(−1,i+1)、P(−1,k)、P(−1,k+1)で区画される領域を、上記最近傍画素を含む4つの画素と注目画素G(j)との位置関係に基づいて4つの区画に分割し、その面積比で対角位置の画素の画素値をそれぞれ重み付けして加算することにより、注目画素G(j)の画素値を生成する。ただし、kは、i番目の画素にフレーム画像f2の横方向の画素数を加えた画素の番号を示している。
CPU31は、高解像度画像を構成するすべての画素について、上述した処理によって画素値を生成し、高解像度画像を合成する。なお、画素補間処理の方法については、バイ・リニア法の他、バイ・キュービック法やニアレストネイバ法等の種々の補間方法を用いることができる。なお、本実施例では、基準フレーム画像f0のすべての画素の画素値は、高解像度画像の対応する画素の画素値としてそのまま利用され、高解像度画像の他の画素の画素値を生成する際に、基準フレーム画像f0の画素が最近傍画素として選択されることはない。
以上のように構成された本実施例の画像処理装置によれば、最適ずれ量に対して選択した合成用画像の画像データを用いて高解像度画像データを生成するため、高解像度画像において新たに生成される画素位置により近い位置の画素の画素値を用いて新たな画素値を生成することができる。これにより、新たに生成した画素値が真の値に近づく可能性を高めることができ、得られる高解像度画像の画質を向上させることが可能となる。
ここで、本実施例では、高解像度画像データを生成するために、4種の最適ずれ量の各々に対して、合成用画像の画像データを選択している。したがって、高解像度画像を構成する個々の画素において、充分に近い位置の画素を有するフレーム画像のデータを用いて、画素値の生成を行なうことができる。このように、新たに生成する画素に充分に近い位置の画素を有する画像の画像データを、必要充分な数だけ用いるため、高解像度画像データの生成のために徒に多数の画像データを用いる必要がなく、効率良く高解像度画像の画質を向上させることができる。
B.第2実施例:
B−1.画像生成時の動き情報:
上記第1実施例では、各調査対象フレーム画像データを用いて画像解析を行なうことで、基準ずれ量を算出し、この算出結果に基づいてフレーム画像選択処理を行なっているが、異なる構成とすることもできる。以下に、第2実施例として、基準画像データおよび調査対象画像データを生成した画像生成装置の、画像データ生成時における動きに関する情報(以下、画像生成時動き情報と呼ぶ)に基づいて、基準ずれ量を算出する構成を説明する。
B−1.画像生成時の動き情報:
上記第1実施例では、各調査対象フレーム画像データを用いて画像解析を行なうことで、基準ずれ量を算出し、この算出結果に基づいてフレーム画像選択処理を行なっているが、異なる構成とすることもできる。以下に、第2実施例として、基準画像データおよび調査対象画像データを生成した画像生成装置の、画像データ生成時における動きに関する情報(以下、画像生成時動き情報と呼ぶ)に基づいて、基準ずれ量を算出する構成を説明する。
第2実施例の画像処理装置においても、高解像度画像データを生成する際に、図3と同様の処理を実行するが、ステップS100においてフレーム画像データを取得する際には、フレーム画像データと共に、画像生成時動き情報を取得する。すなわち、第2実施例においても、第1実施例と同様に、デジタルスチルカメラ20から、デジタルスチルカメラ20で生成された動画像データをパーソナルコンピュータ30のHDD34内に記憶するが、その際に、デジタルスチルカメラ20における画像生成時動き情報も一緒に記憶する。
第2実施例では、デジタルスチルカメラ20は、3つの角速度センサを備えている。3つの角速度センサは、それぞれ、デジタルスチルカメラ20のX軸回り、Y軸回り、Z軸回りの向きの変化を角速度として検出する装置である。図16は、デジタルスチルカメラ20におけるX軸、Y軸、Z軸のそれぞれについての向きの変化を説明する概略図である。X軸は、デジタルスチルカメラ20が備える撮像デバイス(以下、撮像デバイス144と呼ぶ)の受光面に平行であってデジタルスチルカメラ20の左右方向に延びる軸をいい、Y軸は、撮像デバイス144の受光面に平行であってデジタルスチルカメラ20の上下方向に延びる軸をいう。そして、Z軸は、撮像デバイス144の受光面に対して垂直な軸をいう。ここで、XYZの3軸が交わる原点は、撮像デバイス144の受光面の中心Ccに位置している。
以下の説明では、角速度センサが検出するXYZ軸回りの角速度をそれぞれ角速度VX、VY、VZと表わす。また、後述するように角速度VX、VY、VZから求められるデジタルスチルカメラ20のXYZ軸回りの変位量を、それぞれ、角変位量θX、θY、θZと表わす。θXおよびVXは、デジタルスチルカメラ20で撮影された画像における被写体の上下方向の位置ずれ(いわゆる、ピッチ方向のぶれ)に対応している。また、θZおよびVZは、デジタルスチルカメラ20で撮影された画像における被写体の左右方向の位置ずれ(いわゆる、ヨー方向のぶれ)に対応している。また、θYおよびVYは、デジタルスチルカメラ20で撮影された画像における画像に対して垂直な直線を軸とした被写体の回転方向のずれ(いわゆる、ロール方向のぶれ)に対応している。角速度センサとしては、種々のジャイロスコープを用いることができる。例えば、機械式(回転式)ジャイロ、音片・音叉の振動を用いる振動式ジャイロ 、光ファイバ等を利用した光学式ジャイロなどを用いることができる。
デジタルスチルカメラ20は、生成した画像データをメモリカードMC等に保存する際に、3つの角速度センサが検出した電気信号から求められる角速度情報(角速度VX、VY、VZ)を含む付属情報を取得して、画像データに付加する。これによって、互いに関連付けられた画像データと付属情報とを含む画像ファイルが生成される。メモリカードMCにおいては、このような画像ファイルの形で保存が行なわれる。
図17は、デジタルスチルカメラ20で生成される画像ファイルGFの構成を模式的に示す説明図である。画像ファイルGFは、動画像データMDおよび音声データADを格納する主情報格納領域R100と、動画像データMDと関連付けられた付属情報を格納する付属情報格納領域R110を備えている。動画像データMDは、時系列に並ぶn個のフレーム画像データGD1〜GDnから構成されている。付属情報に含まれる角速度VX、VY、VZとしては、フレーム画像データGD1〜GDnのそれぞれの生成時に対応する角速度VX(1)〜VX(n)、VY(1)〜VY(n)、VZ(1)〜VZ(n)が、付属情報格納領域R110に格納されている。ここで、複数のフレーム画像データと付属情報とが関連付けられているとは、各々のフレーム画像データの生成タイミングと、角速度VX、VY、VZ等の付属情報の検出タイミングとの、時間軸上における対応関係が認識可能となっていることをいう。なお、角速度VX、VY、VZは、上記のように、動画像を構成する各フレーム画像の撮影のタイミングと同時に取得する代わりに、各フレーム画像を撮影する時間間隔よりも短い間隔で取得して、各フレーム画像毎に角速度情報を複数記憶することとしても良い。さらに、付属情報格納領域R110には、付属情報として、上述した角速度VX、VY、VZに加えて、画素ピッチsと焦点距離fと角速度検出周期(角速度センサから角速度情報が取得される時間間隔)Tと、が格納されている。あるいは、付属情報として、図17に示した付属情報に加えてさらに、撮影日時やシャッタ速度、あるいは絞り値等の種々の撮影情報を記憶しても良い。
本実施例では、図3のステップS100において、基準フレーム画像データを含む時系列に連続する複数のフレーム画像データを取得する際に、取得するフレーム画像データに対応する上記付属情報も一緒に取得する。
B−2.動き情報に基づく高解像度画像の生成:
本実施例では、図3のステップS110に対応する工程において、上記フレーム画像データと共に取得した付属情報である角速度VX、VY、VZを用いて、基準ずれ量(基準フレーム画像に対する各調査対象フレーム画像のずれ量)を算出する。この場合にも、第1実施例と同様に、各調査対象フレーム画像f-10〜f-1、f1〜f10を順次注目フレーム画像faに設定し、基準フレーム画像f0に対する注目フレーム画像faの位置ずれ量を順次算出することによって、各調査対象フレーム画像f-10〜f-1、f1〜f10について基準ずれ量を求める。
本実施例では、図3のステップS110に対応する工程において、上記フレーム画像データと共に取得した付属情報である角速度VX、VY、VZを用いて、基準ずれ量(基準フレーム画像に対する各調査対象フレーム画像のずれ量)を算出する。この場合にも、第1実施例と同様に、各調査対象フレーム画像f-10〜f-1、f1〜f10を順次注目フレーム画像faに設定し、基準フレーム画像f0に対する注目フレーム画像faの位置ずれ量を順次算出することによって、各調査対象フレーム画像f-10〜f-1、f1〜f10について基準ずれ量を求める。
注目フレーム画像faを設定すると、CPU31は、設定した注目フレーム画像faの画像データFaを生成したタイミングと、基準フレーム画像データF0を生成したタイミングとの間の、デジタルスチルカメラ20におけるXYZ軸周りの角変位量θXa、θYa、θZaを算出する。基準フレーム画像データF0の生成時を時刻t0、注目フレーム画像データFaの生成時を時刻taとすると、上記角変位量θXa、θYa、θZaは、それぞれ、XYZ軸周りの角速度VX、VY、VZを、時刻taから時刻t0まで積分した値(ただし、a<0)、あるいは、時刻t0から時刻taまで積分した値(ただし、0<a)として与えられる。フレーム画像データFaの生成時におけるC表わす式として、0<aの場合の式を、以下に式(21)、(22)、(23)として例示する。
なお、角速度検出周期Tが、各フレーム画像間の撮影間隔よりも短い場合には、角速度検出周期Tごとに角速度を積分した値を、時刻t0から時刻taまでの間で足し合わせることによって、各角変位量を求めることができる。このように、角速度検出周期Tが短いほど、角変位量θXa、θYa、θZaを、より正確に算出することが可能となる。本実施例では、このようにして求めた角変位量θXa、θYa、θZaを用いて、第1実施例と同様の基準ずれ量(ua,va,δa)を求める。
図18は、デジタルスチルカメラ20のX軸周りの動きと、撮像デバイス144上における被写体の位置ずれとの関係を示す説明図である。図18は、デジタルスチルカメラ20がX軸周りに角変位量θXだけ動く(ぶれる)ことによって、撮像デバイス144およびレンズ142に対する被写体の位置が、記号Hで示す位置から記号H’で示す位置へと変化した様子を模式的に示している。このようなデジタルスチルカメラ20に対する被写体の相対的なずれは、撮像デバイス144で生成されるフレーム画像間の位置ずれ(図18では、Y軸方向のずれv)に対応している。したがって、撮像デバイス144で生成されるフレーム画像間に生じるフレーム間位置ずれ(v)と、角変位量θXとの間には、一定の関係が成立する。同様に、フレーム間位置ずれ(u)と角変位量θYとの間、および、フレーム間位置ずれ(δ)と角変位量θZとの間にも、一定の関係が成立する。図18に示すように、撮像デバイス144上における1画素分(画素ピッチs分)のずれに相当するX軸あるいはY軸周りの角変位量をθpixとし、並進ずれua、vaは画素単位でのずれを表わすこととすると、基準ずれ量(ua,va,δa)は、以下の式(24)〜(26)で表わされる。
ua=θYa/θpix …(24)
va=−θXa/θpix …(25)
δa=−θZa …(26)
va=−θXa/θpix …(25)
δa=−θZa …(26)
ここで、θpixは、デジタルスチルカメラ20の焦点距離fと、撮像デバイス144の画素ピッチsとを用いて、以下の式(27)で表わされる。
θpix=tan-1(s/f)≒s/f …(27)
θpix=tan-1(s/f)≒s/f …(27)
したがって、既述したようにして求めた角変位量θXa、θYa、θZaと、式(27)に基づき求められる値とを式(24)〜(26)に代入することにより、基準ずれ量(ua,va,δa)を算出することができる。画像生成時動き情報を利用して、各調査対象フレーム画像faについて図9のように基準ずれ量を算出した後は、この基準ずれ量を用いて、第1実施例と同様に、平均画素ずれ量および最適ずれ量との距離Rを算出し(図13参照)、最適画像ごとに、合成用画像を選択すればよい(図3のステップS120)。最適画像ごとに合成用画像を選択した後は、第1実施例と同様に、高解像度画像合成処理を行なうことで、より高画質な高解像度画像を得ることができる。
以上のように構成された第2実施例の画像処理装置によれば、第1実施例と同様の効果を奏することができる。さらに、第2実施例では、基準ずれ量を算出するために、センサにより取得された画像生成時動き情報を用いているため、画像解析に比べて簡素な処理により、基準ずれ量を算出することができる。したがって、基準ずれ量を算出する処理に要する時間を短縮し、高解像度画像データの生成を高速化することが可能となる。また、第2実施例では、デジタルスチルカメラ20の動きそのものを実測した結果を用いているため、画像データを解析してより確からしい値として基準ずれ量を算出する第1実施例に比べて、最適画像に最も近い合成用画像を、より正確に選択可能となる。
B−3.第2実施例の変形例:
上記第2実施例では、画像生成時動き情報から算出した基準ずれ量を用いて、ステップS120のフレーム画像選択処理を行なっているが、さらに第1実施例と同様の画像解析を行なって基準ずれ量を求めても良い。勾配法のように、1画素よりも細かい単位で画素の位置を推定する画像解析をさらに行なうことで、求める基準ずれ量の精度を向上させることが可能となる。このように、画像解析に先立って、画像生成時動き情報に基づいて画素単位の精度で基準ずれ量が求められている場合には、画像解析においては、上記画像生成時動き情報に基づく基準すれ量の算出結果を利用して、より細かい位置合わせの処理だけを行なえばよい。そのため、画像解析のみにより基準ずれ量を算出する場合に比べて、画像解析による処理工程を削減することができる。
上記第2実施例では、画像生成時動き情報から算出した基準ずれ量を用いて、ステップS120のフレーム画像選択処理を行なっているが、さらに第1実施例と同様の画像解析を行なって基準ずれ量を求めても良い。勾配法のように、1画素よりも細かい単位で画素の位置を推定する画像解析をさらに行なうことで、求める基準ずれ量の精度を向上させることが可能となる。このように、画像解析に先立って、画像生成時動き情報に基づいて画素単位の精度で基準ずれ量が求められている場合には、画像解析においては、上記画像生成時動き情報に基づく基準すれ量の算出結果を利用して、より細かい位置合わせの処理だけを行なえばよい。そのため、画像解析のみにより基準ずれ量を算出する場合に比べて、画像解析による処理工程を削減することができる。
あるいは、画像生成時動き情報から算出した基準ずれ量を用いて、ステップS120のフレーム画像選択処理を行なった後、ステップS130において、選択した合成用画像のみを対象として、画像解析により改めて基準ずれ量を算出し、その値を用いて合成処理を行なうこととしても良い。これにより、1画素よりも細かい単位で画素の位置を推定した値を用いて合成処理を行なうことができる。また、選択した合成用画像のみを対象として画像解析するため、第1実施例に比べて画像解析による処理工程を削減でき、高解像度画像生成処理全体を高速化することが可能となる。
上記第2実施例では、画像生成時動き情報を、デジタルスチルカメラ20に搭載した角速度センサによって検出しているが、異なる種類のセンサを用いることとしても良い。例えば、角加速度を検出するセンサや、角変位量を検出するセンサ、あるいは、平行移動を検知する加速度センサを、角速度センサに代えて、あるいはさらに加えて用いることとしても良い。ここで、画像生成装置の動きが撮影された画像に影響する程度は、画像生成装置が平行移動するときよりも、回転移動するときの方がはるかに大きい。したがって、回転移動を検出可能なセンサ(角速度センサ、角加速度センサ、角変位量センサ等)を少なくとも備えることが望ましい。CPU31は、角加速度が与えられる場合には、角加速度を積分して角速度を算出し、さらにこれを積分して角変位量を求めれば良い。また、角変位量センサを用いる場合には、連続して生成される画像データにおける画像生成のタイミング間の角変位量を取得可能とすればよい。このような場合には、選択された基準フレーム画像データの生成タイミングから、所定の調査対象フレーム画像データの生成タイミングまでの間の角変位量を積算し、得られた値を用いて基準ずれ量を算出すればよい。なお、等速の回転運動を検出するためには、回転移動を検出可能な上記センサの中でも、角速度センサまたは角変位量センサを用いることとすればよい。
また、第2実施例では、焦点距離fは一定としたが、ズーム機能を利用して焦点距離を変化させても良い。この場合には、焦点距離の情報も各フレーム画像データと関連づけて記憶されるため、フレーム画像データ毎に対応する焦点距離を用いて、既述した計算を行なえばよい。
また、第2実施例のデジタルスチルカメラ20では、角速度センサが検出した角速度VX,VY,VZを、そのまま画像ファイルGFに記憶して、画像処理装置として機能するパーソナルコンピュータ30に供しているが、デジタルスチルカメラ20が備える所定の制御部内で角速度情報に対して積分処理を実行してもよい。すなわち、各撮影タイミング間における角変位量をデジタルスチルカメラ20内で算出して、算出した角変位量をデジタルスチルカメラ20から出力することとしても良い。このような場合には、パーソナルコンピュータ30のCPU31は、選択された基準フレーム画像データの生成タイミングから、所定の調査対象フレーム画像データの生成タイミングまでの間の角変位量を積算し、得られた積算値を用いて基準ずれ量を算出すればよい。
C.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
F1.変形例1(高解像度化の変形):
上記第1および第2実施例では、取得したフレーム画像データから高解像度画像データを生成する際に、画像の解像度を縦横2倍に高めているが、解像度を高める倍率は、異なる倍率としても良い。このように高解像度化の際の倍率が異なる場合にも、調査対象画像と同じ解像度の画像であると共に、高解像度画像と画素配置の方向が同じであって、高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像、および、この最適画像の基準フレーム画像に対するずれ量である最適ずれ量を、倍率に応じて設定することができる。異なる倍率の例として、図19は、縦横3倍に解像度を高めて高解像度画像を生成する様子を表わし、図20は、縦横1.5倍に解像度を高めて高解像度画像を生成する様子を表わす。図19,20に示すように、解像度を高める倍率が、縦横3倍の場合も、縦横.5倍の場合も、最適ずれ量は、(0,0)、(0.33,0)、(0,0.33)、(0.33,0.33)、(0.67,0)、(0,0.67)、(0.67,0.67)、(0.33,0.67)、(0.67,0.33)となる。このように異なる倍率を採用する場合であっても、高解像度画像と調査対象画像とを重ね合わせたときの、高解像度画像の画素と調査対象画像の画素との距離に関する統計値を、基準ずれ量に基づいて求め、上記統計値がより小さくなる調査対象画像を合成用画像として選択して、画像合成(画素生成)に用いればよい。これにより、より真の値に近い画素値を生成し、高画質化する同様の効果が得られる。
上記第1および第2実施例では、取得したフレーム画像データから高解像度画像データを生成する際に、画像の解像度を縦横2倍に高めているが、解像度を高める倍率は、異なる倍率としても良い。このように高解像度化の際の倍率が異なる場合にも、調査対象画像と同じ解像度の画像であると共に、高解像度画像と画素配置の方向が同じであって、高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像、および、この最適画像の基準フレーム画像に対するずれ量である最適ずれ量を、倍率に応じて設定することができる。異なる倍率の例として、図19は、縦横3倍に解像度を高めて高解像度画像を生成する様子を表わし、図20は、縦横1.5倍に解像度を高めて高解像度画像を生成する様子を表わす。図19,20に示すように、解像度を高める倍率が、縦横3倍の場合も、縦横.5倍の場合も、最適ずれ量は、(0,0)、(0.33,0)、(0,0.33)、(0.33,0.33)、(0.67,0)、(0,0.67)、(0.67,0.67)、(0.33,0.67)、(0.67,0.33)となる。このように異なる倍率を採用する場合であっても、高解像度画像と調査対象画像とを重ね合わせたときの、高解像度画像の画素と調査対象画像の画素との距離に関する統計値を、基準ずれ量に基づいて求め、上記統計値がより小さくなる調査対象画像を合成用画像として選択して、画像合成(画素生成)に用いればよい。これにより、より真の値に近い画素値を生成し、高画質化する同様の効果が得られる。
なお、高解像度画像上の画素を、基準フレーム画像上の画素からずらして設定することも可能であるが、図5、図19、図20に示したように、基準フレーム画像が有する画素をより多く用いるように高解像度画像を設定することで、効率よく高解像度化および高画質化を行なうことができる。また、図20のように、基準フレーム画像が有する画素の中に、高解像度画像上の画素に対応しない画素が存在する場合には、高解像度画像合成処理の際に、基準フレーム画像データも、他の合成用画像データと共に、最近傍画素の探索に用いればよい。
F2.変形例2(フレーム画像選択の変形):
第1および第2実施例では、調査対象画像と同じ解像度の画像であって、高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像を想定したときに、高解像度画像上のすべての画素に対応させるために最低限必要な複数の最適画像の各々に対して、合成用画像を一つずつ選択している。これに対して、上記最低限必要な複数の最適画像の内の、一部の最適画像に対して、合成用画像を選択することとしても良い。この場合にも、新たに生成する画素の少なくとも一部の画素においては、位置がより近い画素の画素値を用いて新たな画素値を生成することができ、新たに生成する高解像度画像を高画質化する同様の効果が得られる。
第1および第2実施例では、調査対象画像と同じ解像度の画像であって、高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像を想定したときに、高解像度画像上のすべての画素に対応させるために最低限必要な複数の最適画像の各々に対して、合成用画像を一つずつ選択している。これに対して、上記最低限必要な複数の最適画像の内の、一部の最適画像に対して、合成用画像を選択することとしても良い。この場合にも、新たに生成する画素の少なくとも一部の画素においては、位置がより近い画素の画素値を用いて新たな画素値を生成することができ、新たに生成する高解像度画像を高画質化する同様の効果が得られる。
また、第1および第2実施例では、基準フレーム画像および調査対象フレーム画像を複数の領域(ブロック)に分割し、ブロック毎に基準フレーム画像と調査対象フレーム画像との間で対応する画素間のずれ量を求めているが、複数の対応するサンプル点のみで画素ずれ量を求めることとしても良い。複数の対応するサンプル点のみで画素ずれ量を求める様子を図21に示す。図21では、基準フレーム画像と調査対象フレーム画像との間で、対応する6つのサンプル点を示している。基準フレーム画像上の各々のサンプル点に対応する調査対象フレーム画像上の点の座標は、図3のステップS110で求めた基準ずれ量に基づいて知ることができる。したがって、基準フレーム画像と調査対象フレーム画像との対応するサンプル点間で、式(15)、(16)に基づいて、画素ずれ量を求めることができ、これらの画素ずれ量を平均することで、各調査対象フレーム画像と、各最適画像との間の距離Rを、実施例と同様に求めることができる。上記のように複数のサンプル点について画素ずれ量の平均を求めるならば、実施例のように複数のブロックに分割する場合と同様に、調査対象フレーム画像が示す基準ずれ量が回転ずれを含む場合であっても、最適画像が有する画素により近い位置の画素を有する画像を、高い確率で選択することができる。
また、第1および第2実施例では、各々の最適ずれ量に対して、最適ずれ量との距離Rが最も小さくなる調査フレーム画像を選択しているが、最適ずれ量との距離Rにさらに基準値を設け、最適ずれ量との距離Rが、この基準値以下となるフレーム画像のみを選択することとしても良い。このような構成とすれば、より高画質化に寄与できるフレーム画像を選択することができる。ここで、複数の最適ずれ量のうち、最適ずれ量との距離Rが所定値以下となる調査対象フレーム画像が存在しない最適ずれ量がある場合には、最適ずれ量との距離Rが所定値を超えるフレーム画像を選択するのではなく、例えば、基準フレーム画像データの生成時により近い時刻に生成された調査対象フレーム画像データを用いて、合成処理に供するフレーム画像の数を確保しても良い。いずれの場合にも、所定枚数のフレーム画像を用いて合成処理を行なう場合に、合成処理に用いるフレーム画像の少なくとも一部として、最適ずれ量に基づいて選択した合成用画像を用いることで、新たに生成する高解像度画像において高画質化を図ることができる。
第1および第2実施例では、取得した調査対象フレーム画像f-10〜f10のすべてについて、図13に示すように最適ずれ量との距離Rを算出し、最終的に最もRが小さくなるものを、各々の最適ずれ量に対応する合成用画像として選択している。これに対して、各々の調査対象フレーム画像について、順次(例えば時系列で基準フレーム画像に近い順に)最適ずれ量との距離を算出し、各最適ずれ量において、最適ずれ量との距離Rが所定値以下となる調査対象フレーム画像が最初に1つ見つかれば、これをその最適ずれ量に対応する合成用画像として選択することとしても良い。このような構成とすれば、取得したすべての調査対象フレーム画像について最適ずれ量との距離Rを算出する前に、合成用画像を選択することが可能となり、フレーム画像選択処理を高速化することが可能となる。
また、第1および第2実施例では、ユーザに指示されたタイミングに基づいて基準フレーム画像が決定されているが、ユーザに指示されたタイミングの近傍から、より高画質化に寄与し得る基準フレーム画像を選択することとしても良い。例えば、実施例と同様にユーザに指示されたタイミングの前後から21フレームのフレーム画像データを取得した場合に、各々のフレーム画像(f-10〜f10)を順次基準フレーム画像に設定する。そして、残りを調査対象フレーム画像として、図13に示したように最適ずれ量との距離Rを算出する。そして、最適ずれ量毎に、合成用画像を選択すると共に、各合成用画像におけるR値を合計する。例えば、図13に示したように、フレーム画像f0を基準フレーム画像とした場合には、合成用画像は、f-1、f0、f2、f4が選択され、各合成用画像におけるR値の合計は、
0.20+0.00+0.14+0.10=0.44
となる。このように、取得した各フレーム画像を順次基準フレーム画像に設定し、各合成用画像におけるR値の合計を算出したときに、このR値の合計が最小になる基準フレーム画像および合成用画像の組み合わせを選択して、高解像度画像を生成しても良い。これにより、高解像度画像を高画質化する効果をさらに高めることが可能となる。
0.20+0.00+0.14+0.10=0.44
となる。このように、取得した各フレーム画像を順次基準フレーム画像に設定し、各合成用画像におけるR値の合計を算出したときに、このR値の合計が最小になる基準フレーム画像および合成用画像の組み合わせを選択して、高解像度画像を生成しても良い。これにより、高解像度画像を高画質化する効果をさらに高めることが可能となる。
なお、第1および第2実施例では、高解像度画像合成処理に供するフレーム画像を選択するために、ユーザに指示されたタイミングから前後21フレームの画像データを取得しているが、上記タイミングの前後から異なるフレーム数の画像データを取得するなど、異なる取得法としても良い。
F3.変形例3(合成処理に関する変形):
第1および第2実施例では、高解像度画像合成処理において、高解像度画像を構成する各画素毎に、選択した複数の合成用画像が有する画素の中から最近傍画素を選択しているが、最近傍画素の選択は行なわないこととしても良い。すなわち、生成しようとする画素が、いずれの最適ずれ量に対応するかに基づいて、最適ずれ量ごとに選択した合成用画像の画素を用いて画素データを生成することとしても良い。例えば、画素値を生成しようとしている注目画素が、最適ずれ量(0,0.5)である最適画像上の画素である場合に、最適ずれ量(0,0.5)に対してフレーム画像f2が合成用画像として選択されているならば、この注目画素の画素値は、フレーム画像データF2を用いて生成するのである。このような構成とすれば、合成用画像を用いることにより高解像度画像を高画質化する効果を得ることができると共に、画像データを用いて最近傍画素を有する画像を検索する処理を行なわないことにより、合成処理を高速化することができる。
第1および第2実施例では、高解像度画像合成処理において、高解像度画像を構成する各画素毎に、選択した複数の合成用画像が有する画素の中から最近傍画素を選択しているが、最近傍画素の選択は行なわないこととしても良い。すなわち、生成しようとする画素が、いずれの最適ずれ量に対応するかに基づいて、最適ずれ量ごとに選択した合成用画像の画素を用いて画素データを生成することとしても良い。例えば、画素値を生成しようとしている注目画素が、最適ずれ量(0,0.5)である最適画像上の画素である場合に、最適ずれ量(0,0.5)に対してフレーム画像f2が合成用画像として選択されているならば、この注目画素の画素値は、フレーム画像データF2を用いて生成するのである。このような構成とすれば、合成用画像を用いることにより高解像度画像を高画質化する効果を得ることができると共に、画像データを用いて最近傍画素を有する画像を検索する処理を行なわないことにより、合成処理を高速化することができる。
F4.変形例4(装置構成における変形例):
実施例では、高解像度画像データを生成するために、デジタルスチルカメラ20の動画撮影モードで生成された動画像データから複数のフレーム画像データを取得しているが、時系列に連続して生成された複数のフレーム画像データを、異なる態様により取得しても良い。例えば、デジタルスチルカメラにおける静止画像撮影モードの連写モードで撮影された複数の画像データを取得しても良く、あるいは、デジタルビデオカメラで撮影された動画像データを取得しても良い。
実施例では、高解像度画像データを生成するために、デジタルスチルカメラ20の動画撮影モードで生成された動画像データから複数のフレーム画像データを取得しているが、時系列に連続して生成された複数のフレーム画像データを、異なる態様により取得しても良い。例えば、デジタルスチルカメラにおける静止画像撮影モードの連写モードで撮影された複数の画像データを取得しても良く、あるいは、デジタルビデオカメラで撮影された動画像データを取得しても良い。
あるいは、第1および第2実施例では、画像処理装置としての機能をパーソナルコンピュータ30が備えることとしたが、デジタルスチルカメラやデジタルビデオカメラ等の画像生成装置や、プリンタ等の出力装置に、画像処理装置としての機能を備えさせてもよい。
10…画像処理システム
20…デジタルスチルカメラ
30…パーソナルコンピュータ
31…CPU
32…ROM
33…RAM
34…HDD
35…I/F回路
40…操作部
41…キーボード
42…マウス
43…ディスプレイ
50…カラープリンタ
142…レンズ
144…撮像デバイス
310…画像データ取得部
320…基準ずれ量算出部
330…画像選択部
340…高解像度画像生成部
R100…主情報格納領域
R110…付属情報格納領域
20…デジタルスチルカメラ
30…パーソナルコンピュータ
31…CPU
32…ROM
33…RAM
34…HDD
35…I/F回路
40…操作部
41…キーボード
42…マウス
43…ディスプレイ
50…カラープリンタ
142…レンズ
144…撮像デバイス
310…画像データ取得部
320…基準ずれ量算出部
330…画像選択部
340…高解像度画像生成部
R100…主情報格納領域
R110…付属情報格納領域
Claims (10)
- 取得した複数の画像データから、より解像度の高い高解像度画像データを生成する画像処理装置であって、
時系列に連続して生成され、前記高解像度画像データが表わす高解像度画像における画素配置の基準となる基準画像データと、該基準画像データ以外の複数の調査対象画像データと、から成る複数の画像データを取得する画像データ取得部と、
前記調査対象画像データが表わす調査対象画像と前記基準画像データが表わす基準画像との間のずれ量に基づいて求められる値であって、前記高解像度画像と前記調査対象画像とを重ね合わせたときの、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として前記調査対象画像から選択する画像選択部と、
少なくとも前記合成用画像の画像データを用いて、前記高解像度画像データを生成する高解像度画像生成部と
を備える画像処理装置。 - 請求項1記載の画像処理装置であって、
前記画像選択部は、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値として、前記調査対象画像と同じ解像度であると共に、前記高解像度画像と画素配置の方向が同じであって、前記高解像度画像の画素の一部に対応する画素を規則的な配置で有する画像である最適画像と、前記調査対象画像とを重ね合わせたときの、前記最適画像の画素と前記調査対象画像の画素との距離に関する統計値を用いる
画像処理装置。 - 請求項2記載の画像処理装置であって、
前記画像選択部は、前記調査対象画像を構成する画素から選択した複数の画素について、前記最適画像との間で画素間の距離を求めて平均値を算出し、該平均値を、前記最適画像の画素と前記調査対象画像の画素との距離に関する統計値として用いる
画像処理装置。 - 請求項1ないし3いずれか記載の画像処理装置であって、
前記画像選択部は、前記調査対象画像のうちで、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が最も小さくなる画像を、前記合成用画像として選択する
画像処理装置。 - 請求項1ないし3いずれか記載の画像処理装置であって、
前記画像選択部は、前記調査対象画像のうちで、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が所定の基準値以下となる画像を、前記合成用画像として選択する
画像処理装置。 - 請求項1ないし5いずれか記載の画像処理装置であって、
前記画像選択部は、少なくとも画像データの解析を利用して、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値を求める
画像処理装置。 - 請求項1ないし5いずれか記載の画像処理装置であって、
前記基準画像データおよび前記調査対象画像データは、所定の画像生成装置により生成されており、
前記画像選択部は、少なくとも、前記基準画像データおよび前記調査対象画像データの各々の生成時における前記画像生成装置の動きに関する情報に基づいて、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値を求める
画像処理装置。 - 取得した複数の画像データから、より解像度の高い高解像度画像データを生成する画像処理方法であって、
(a)時系列に連続して生成され、前記高解像度画像データが表わす高解像度画像における画素配置の基準となる基準画像データと、該基準画像データ以外の複数の調査対象画像データと、から成る複数の画像データを取得する工程と、
(b)前記調査対象画像データが表わす調査対象画像と前記基準画像データが表わす基準画像との間のずれ量に基づいて求められる値であって、前記高解像度画像と前記調査対象画像とを重ね合わせたときの、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として前記調査対象画像から選択する工程と、
(c)少なくとも前記合成用画像の画像データを用いて、前記高解像度画像データを生成する工程と
を備える画像処理方法。 - 取得した複数の画像データから、より解像度の高い高解像度画像データを生成する画像処理を実行するコンピュータプログラムであって、
時系列に連続して生成され、前記高解像度画像データが表わす高解像度画像における画素配置の基準となる基準画像データと、該基準画像データ以外の複数の調査対象画像データと、から成る複数の画像データを取得する画像データ取得機能と、
前記調査対象画像データが表わす調査対象画像と前記基準画像データが表わす基準画像との間のずれ量に基づいて求められる値であって、前記高解像度画像と前記調査対象画像とを重ね合わせたときの、前記高解像度画像の画素と前記調査対象画像の画素との距離に関する統計値が、より小さくなる画像を、合成用画像として前記調査対象画像から選択する画像選択機能と、
少なくとも前記合成用画像の画像データを用いて、前記高解像度画像データを生成する高解像度画像生成機能と
をコンピュータに実現させるコンピュータプログラム。 - 請求項9に記載のコンピュータプログラムを記載したコンピュータが読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004214305A JP2006041604A (ja) | 2004-07-22 | 2004-07-22 | 画像処理装置、画像処理方法、および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004214305A JP2006041604A (ja) | 2004-07-22 | 2004-07-22 | 画像処理装置、画像処理方法、および画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006041604A true JP2006041604A (ja) | 2006-02-09 |
Family
ID=35906164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004214305A Pending JP2006041604A (ja) | 2004-07-22 | 2004-07-22 | 画像処理装置、画像処理方法、および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006041604A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008243037A (ja) * | 2007-03-28 | 2008-10-09 | National Univ Corp Shizuoka Univ | 画像処理装置、画像処理方法および画像処理プログラム |
JP2009005119A (ja) * | 2007-06-22 | 2009-01-08 | Sanyo Electric Co Ltd | 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器 |
JP2009055093A (ja) * | 2007-08-23 | 2009-03-12 | Nikon Corp | 撮像装置 |
JP2010073035A (ja) * | 2008-09-19 | 2010-04-02 | Sharp Corp | 画像生成装置、画像生成方法、画像生成プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2010273268A (ja) * | 2009-05-25 | 2010-12-02 | Nikon Corp | 画像再生装置、撮像装置、画像再生方法、画像再生プログラム |
JP2012050111A (ja) * | 2011-10-03 | 2012-03-08 | Nikon Corp | 撮像装置 |
JP2014522589A (ja) * | 2011-05-31 | 2014-09-04 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 車両に組み込まれたカメラのピッチングを規定するための方法および、車両の少なくとも1つのヘッドライトの光放射を制御するための方法 |
JP2015500580A (ja) * | 2011-11-28 | 2015-01-05 | エーティーアイ・テクノロジーズ・ユーエルシーAti Technologies Ulc | ビデオフレームの回転を修正するための方法及び装置 |
WO2020145208A1 (ja) * | 2019-01-08 | 2020-07-16 | オムロン株式会社 | 三次元形状測定装置、三次元形状測定方法及びプログラム |
-
2004
- 2004-07-22 JP JP2004214305A patent/JP2006041604A/ja active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008243037A (ja) * | 2007-03-28 | 2008-10-09 | National Univ Corp Shizuoka Univ | 画像処理装置、画像処理方法および画像処理プログラム |
JP2009005119A (ja) * | 2007-06-22 | 2009-01-08 | Sanyo Electric Co Ltd | 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器 |
JP2009055093A (ja) * | 2007-08-23 | 2009-03-12 | Nikon Corp | 撮像装置 |
JP2010073035A (ja) * | 2008-09-19 | 2010-04-02 | Sharp Corp | 画像生成装置、画像生成方法、画像生成プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2010273268A (ja) * | 2009-05-25 | 2010-12-02 | Nikon Corp | 画像再生装置、撮像装置、画像再生方法、画像再生プログラム |
JP2014522589A (ja) * | 2011-05-31 | 2014-09-04 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 車両に組み込まれたカメラのピッチングを規定するための方法および、車両の少なくとも1つのヘッドライトの光放射を制御するための方法 |
JP2012050111A (ja) * | 2011-10-03 | 2012-03-08 | Nikon Corp | 撮像装置 |
JP2015500580A (ja) * | 2011-11-28 | 2015-01-05 | エーティーアイ・テクノロジーズ・ユーエルシーAti Technologies Ulc | ビデオフレームの回転を修正するための方法及び装置 |
WO2020145208A1 (ja) * | 2019-01-08 | 2020-07-16 | オムロン株式会社 | 三次元形状測定装置、三次元形状測定方法及びプログラム |
JP2020112369A (ja) * | 2019-01-08 | 2020-07-27 | オムロン株式会社 | 三次元形状測定装置、三次元形状測定方法及びプログラム |
CN113227707A (zh) * | 2019-01-08 | 2021-08-06 | 欧姆龙株式会社 | 三维形状测定装置、三维形状测定方法以及程序 |
JP7139953B2 (ja) | 2019-01-08 | 2022-09-21 | オムロン株式会社 | 三次元形状測定装置、三次元形状測定方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6702323B2 (ja) | カメラモジュール、固体撮像素子、電子機器、および撮像方法 | |
JP5414405B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
CN101753818B (zh) | 成像设备和成像方法 | |
KR101357425B1 (ko) | 흔들림 측정 시스템 및 흔들림 측정 방법 | |
JP4733651B2 (ja) | 位置検出装置、位置検出方法、及び位置検出プログラム | |
JP2011029735A5 (ja) | ||
US20070132856A1 (en) | Image processing apparatus, image-pickup apparatus, and image processing method | |
US7535497B2 (en) | Generation of static image data from multiple image data | |
JP2010187347A (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP6594180B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
CN101753813A (zh) | 成像设备、成像方法以及程序 | |
JP2017103688A (ja) | 動きベクトル検出装置およびその制御方法 | |
JP2006041604A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
US11196929B2 (en) | Signal processing device, imaging device, and signal processing method | |
JP4731953B2 (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
JP4479396B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP4779491B2 (ja) | 複数画像合成方法及び撮像装置 | |
JP5055571B2 (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
JP2011055084A (ja) | 撮像装置及び電子機器 | |
JP4531609B2 (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
JP2012068761A (ja) | 画像処理装置 | |
WO2022181048A1 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2007036741A (ja) | 複数画像合成方法及び複数画像合成装置 | |
JP2006005384A (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
JP7277187B2 (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム |