JP2005311755A - 超解像処理に適するサブピクセルモーション画像を撮影するための移動決定方法及びそれを用いた撮像装置 - Google Patents

Abstract

【課題】
超解像処理に適する２次元的なサブピクセルモーション画像を撮影するための撮影対象又は撮像素子の１次元移動の方向と距離を決定する、移動決定方法及びその移動決定方法を用いた撮像装置を提供する。
【解決手段】
撮影対象を所定の１次元的な移動方向に沿って移動させながら、固定されている撮像装置で撮影した前記撮影対象の時系列画像を超解像処理に適する２次元サブピクセルモーション画像とし、前記撮像装置内の撮像素子の画素のアスペクト比で正規化した座標系における、前記撮影対象の前記１次元的な移動方向を有理数のｐ／ｑに決定し、但し、前記座標系における垂直方向の１画素を整数ｐ分割し、前記座標系における水平方向の１画素を整数ｑ分割する。
【選択図】 図１５

Description

本発明は、複数の低解像度画像から１つの高解像度画像を生成する超解像技術に関し、特に、超解像処理に適する２次元サブピクセルモーション画像を撮影するための撮像対象又は撮像素子の移動決定方法及びその移動決定方法を用いた撮像装置に関する。

複数枚の低解像度の入力画像を利用して１枚の高解像度画像を生成する超解像処理を行うためには、画像間の位置ずれが２次元的に十分に密にかつできるだけ等間隔に分布している複数画像を撮影しておく必要がある。ところが、このような超解像処理に適する２次元的な位置ずれのある複数枚の画像を撮影することが困難だった。

このため、従来は、次のような方法を採用することが多かった。
（ａ）撮像装置（例えば、デジタルＣＣＤカメラ）内の撮像素子（例えば、ＣＣＤ撮像素子）を、既知移動量で２次元的に微細に移動させながら、撮像対象を撮影する。
（ｂ）撮像装置（例えば、デジタルＣＣＤカメラ）を三脚などに固定せずに手持ちで十分多くの枚数の画像を撮影し、そして、撮影した数多くの画像の中から超解像処理に適する位置ずれの画像を選ぶ。
ＰＣＴ／ＪＰ０３／１２８６８ 特願２００３−００５５５７号

しかしながら、上記（ａ）の従来方法では、撮像装置（例えば、デジタルＣＣＤカメラ）において、２次元的な駆動を行うために、２個のアクチュエータが必要で、撮像素子（例えば、ＣＣＤ撮像素子）の移動機構が複雑になり、結果として撮像装置は高価な製品になってしまうという欠点があった。

また、上記（ｂ）の従来方法とは、手持ちカメラなどで偶然的な位置ずれに期待する方法であるため、超解像処理に必要な位置ずれ画像を撮影できるといった保証がなく、いつまで撮影すればいいのかも分からないという問題があった。つまり、撮像装置（例えば、デジタルＣＣＤカメラ）を手動により移動した場合には、モーション自由度が大きくなる可能性があるため、画素単位未満（以下、単にサブピクセルと称する）の位置ずれ量を随意に制御することが不可能であり、必ずしも高品質な超解像画像を得ることができるとは限らないという難点があった。

本発明は、上述のような事情よりなされたものであり、本発明の目的は、超解像処理に適する２次元的なサブピクセルモーション画像を撮影するための撮影対象又は撮像素子の１次元移動の方向と距離を決定する、移動決定方法及びその移動決定方法を用いた撮像装置を提供することにある。

本発明は、超解像処理に適するサブピクセルモーション画像を撮影するための移動決定方法に関し、本発明の上記目的は、撮影対象を所定の１次元的な移動方向に沿って移動させながら、固定されている撮像装置で撮影した前記撮影対象の時系列画像を超解像処理に適する２次元サブピクセルモーション画像とし、前記撮像装置内の撮像素子の画素のアスペクト比で正規化した座標系における、前記撮影対象の前記１次元的な移動方向を有理数のｐ／ｑに決定し、但し、前記座標系における垂直方向の１画素を整数ｐ分割し、前記座標系における水平方向の１画素を整数ｑ分割することにより、或いは、前記ｐとｑの絶対値が小さな整数でない整数であることにより、或いは、前記超解像処理の倍率が固定で既知の場合には、評価関数Cover（Ｌact）の値が１より小さくなるような移動方向を前記撮影対象の前記１次元的な移動方向とすることにより、或いは、評価関数SCover（ＬＭ）の値が１より小さくなるような移動方向を前記撮影対象の前記１次元的な移動方向とすることによって効果的に達成される。

また、本発明は、超解像処理に適するサブピクセルモーション画像を撮影するための移動決定方法を用いた撮像装置に関し、本発明の上記目的は、超解像処理に適する２次元サブピクセルモーション画像を撮影するための撮像装置であって、前記撮像装置内の撮像素子を撮像素子移動方向に沿って１次元的に駆動する駆動機構を備え、本発明の超解像処理に適するサブピクセルモーション画像を撮影するための移動決定方法によって決定される撮影対象の１次元的な移動方向を前記撮像素子移動方向とし、前記駆動機構で前記撮像素子を前記撮像素子移動方向に沿って移動させながら、固定した撮影対象の時系列画像を前記２次元サブピクセルモーション画像として撮影することにより、或いは、超解像処理に適する２次元サブピクセルモーション画像を撮影するための撮像装置であって、撮影レンズと撮像素子との間に光学的に像を所定の方向に移動させる部材を設け、本発明の超解像処理に適するサブピクセルモーション画像を撮影するための移動決定方法によって決定される撮影対象の１次元的な移動方向を前記所定の方向とし、固定した撮影対象の時系列画像を前記２次元サブピクセルモーション画像として撮影することによって効果的に達成される。

本発明に係る超解像処理に適するサブピクセルモーション画像を撮影するための移動決定方法及びそれを用いた撮像装置によれば、撮影対象又は撮像素子の１次元的な移動によって、超解像処理に適する２次元サブピクセルモーション画像を簡単且つ短時間内に撮影することができるという優れた効果を奏する。

本発明に係る撮像装置を用いれば、撮像素子を所定の移動方向に１次元的移動させることによって、確実に超解像処理に必要な位置ずれのある画像を撮影することができる。撮像素子を２次元に高精度に移動させるための移動機構を備える従来の高価な撮像装置で、撮影した超解像処理に適する２次元サブピクセルモーション画像を、１次元的な移動機構を備える安価な本発明の撮像装置でも、簡単に撮影することができる。

また、本発明の評価関数Cover(Ｌact)に基づいて決定された移動方向に沿って、撮影対象又は撮影素子を移動させれば、所定の倍率の超解像処理に必要な最小撮影枚数に対する最適な２次元サブピクセルモーション画像を短時間内に撮影することができる。

更に、本発明の評価関数SCover(ＬＭ)に基づいて決定された移動方向に沿って、撮影対象又は撮影素子を移動させれば、撮影枚数を多くすればするほど、より高精度な超解像処理を行うための２次元サブピクセルモーション画像を簡単に撮影することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

本発明では、撮影対象の１次元移動を撮像装置（例えば、ＣＣＤ撮像素子を用いたデジタルカメラ、以下、単に、ＣＣＤカメラとも称する）で撮影した時系列画像から、超解像処理に最適な２次元サブピクセルモーション分布を構成することを着眼点とする。つまり、本発明では、撮影対象の１次元移動を撮影した時系列画像から、超解像処理に適する２次元サブピクセルモーション画像を構成する。その際に、撮影対象の１次元移動の方向と距離を後述する評価関数を用いて決定することによって、超解像処理に適する２次元サブピクセルモーション画像が得られることは、本発明の最大な特徴である。

要するに、本発明では、撮影対象の１次元移動の軌跡（以下、移動軌跡とも称する）を１×１［ピクセル］の領域にマップしたときに、移動軌跡がこの１×１［ピクセル］領域全体を「覆う」ことを表す評価関数を利用して、撮影対象の１次元移動の方向と距離を決定することを最大な特徴としている。なお、本発明でいうピクセル（以下、画素とも称する）は、撮像装置内の撮像素子（例えば、ＣＣＤ撮像素子）のピクセルを意味する。

ここで、前提条件として、
（１）撮影対象の移動軌跡は、画像上で座標系の原点（０,０）からスタートする。
（２）撮影対象の１次元移動の方向θ（以下、単に移動方向、或いは、移動角度とも称する）は、０°＜θ＜４５°を考慮する。つまり、移動方向を表す直線の傾き（以下、単に移動方向の傾きとも称する）ａには、０＜ａ＜１が成立する。それ以外の角度を有する移動方向θは、水平方向変数と垂直方向変数を入れ替えるなどの適切な座標変換をすることで、上記０°＜θ＜４５°と等価になる。

なお、説明を簡単にするために、本発明では、移動方向の傾きを単に移動方向と称することもある。例えば、移動方向θの傾きａは１／４の場合に、移動方向ａは１／４であるとも言える。
（３）撮影対象の１次元移動の距離（以下、単に移動距離、現実的な移動距離、或いは、撮影対象の実際の移動距離とも称する）は、画像上での水平方向距離とする。従って、移動方向θの傾きａが０に近いほど、移動方向に沿った撮影対象の実際の移動距離と撮影対象の１次元移動の距離との差が小さくなる。よって、本発明を用いて、超解像処理に適切な移動方向が複数存在する場合に、傾きａが０に近い移動方向を選択することが望ましい。
（４）撮影対象の移動方向θは、撮像装置（例えば、ＣＣＤカメラ）内の撮像素子（例えば、ＣＣＤ素子）の画素のアスペクト比で正規化した座標系で考える。すなわち、縦横比が１：１以外の画像においても、画素、即ち、標本化間隔で正規化した座標系を考える。

つまり、ＣＣＤ撮像素子の画素（ピクセル）は、必ずしも正方形の形状を有するとは限らない。例えば、図１に示されるように、ＣＣＤ撮像素子の画素（ピクセル）は、長方形の形状を有することも可能である。長方形のＣＣＤのピクセルに対して、撮影対象の移動方向が４５°である場合には、正方形のＣＣＤのピクセルの場合と違って、サブピクセル軌跡（サブピクセル軌跡の定義は＜１＞で記述されている）が違ってくるので、本発明では、ＣＣＤ撮像素子の画素のアスペクト比で正規化した座標系で考える。つまり、図１の場合は、座標系に示されたｘ軸とｙ軸の単位で考えた場合の４５°方向を撮影対象の移動方向とする。

＜１＞サブピクセル軌跡の基本的な性質
以下、先ず、直線的に移動する撮影対象の軌跡が精密に計測できることを前提に、この移動軌跡に含まれるサブピクセル成分に関する基本的な性質について述べる。要するに、無制限の長さで撮影対象が移動するという仮定を前提とした場合に、撮影対象の移動角度（移動方向）と、サブピクセル軌跡間の距離との対応関係を以下のように検討する。

ここで、図２は、本発明において、固定された撮像装置（例えば、ＣＣＤカメラ）で超解像処理に適するサブピクセルモーション画像の撮影風景を表す模式図である。図２に示されるように、固定されている撮像装置（例えば、ＣＣＤカメラ）に対して、移動機構（例えば、移動ステージ）が傾いて直線的に（つまり、１次元的に）移動できるように構成されており、撮影対象（物体）は、この移動機構（ここでは、移動ステージ）に固定されており、所定の移動方向に沿って１次元的に移動する移動ステージ（撮影対象）を撮像装置で時系列的に撮影するようになっている。

従来では、超解像処理に適するサブピクセルモーション画像（つまり、適切な２次元的な画像間位置ずれを有する画像）を撮像するためには、２つの移動ステージを組み合わせて、垂直方向にも水平方向にも微妙な位置ずれを作り出すようにした。本発明では、固定されている撮像装置に対して、傾いた方向に撮影対象を移動させると、つまり、図２の場合では、移動ステージを傾いた方向に移動させると、垂直方向にも水平方向にも撮影対象が移動することになるので、撮影対象に対して、適切な移動方向（移動角度）と移動距離さえ決定すれば、非常に高精度な超解像処理ができるサブピクセルモーション画像（つまり、適切な２次元的な画像間位置ずれを有する画像）を簡単に撮影することができる。

図３は、図２に示される本発明における撮影対象の１次元移動を表す概念図である。図３において、ｘ軸とは、固定されている撮像装置（ここでは、ＣＣＤカメラ）内の撮像素子（ここでは、ＣＣＤ素子）に対して水平方向を示す軸であり、また、ｙ軸とは、固定されている撮像装置（ここでは、ＣＣＤカメラ）内の撮像素子（ここでは、ＣＣＤ素子）に対して垂直方向を示す軸である。ｘ軸とｙ軸の単位は共にピクセルとなっており、ここの１ピクセルとは、撮像素子（ここでは、ＣＣＤ素子）の１ピクセルを表している。

図３に示されているように、撮影対象の移動方向（移動角度）をθに設定した時には、設定された移動方向θによっては、ピクセル単位で表せなくサブピクセル単位で表す方向に沿って、撮影対象の移動軌跡が通って行くことになる。

なお、超解像処理を行う際には、ピクセル単位での移動については、対応するピクセル数をずらせば同じであるため、サブピクセル単位での移動量だけが問題になる。

本発明では、サブピクセル単位での移動量のみについて検討する。図３に示される移動方向θに撮影対象を移動させると、その撮影対象のサブピクセルの移動軌跡を集めると、図３の下部に示されるようになる。ちなみに、図３に示されるように、ｘ軸方向では右へ５ピクセルを、ｙ軸方向では上へ２ピクセルをそれぞれ移動するような撮影対象の移動角度の場合に、図３の下部に示されるようなサブピクセル軌跡になるはずである。本発明では、どのような移動角度を取れば、適切なサブピクセル軌跡が得られるかについて検討することを目的としている。

ここで、十分に大きな移動距離を観測したときの画像間変位計測結果を考える。１×１［画素］領域を通過する軌跡は、移動方向に応じて特定のパターンを構成する。この１×１［画素］領域に対する軌跡を、本発明では、サブピクセル軌跡と呼ぶ。この１×１［画素］領域として、座標系における(０,０),(１,０),(１,１),(０,１)の４点で構成する１画素領域を考える。

ここで、十分に長い移動距離にわたり、画像間変位を計測すれば、サブピクセル軌跡は等間隔になると考えることができる。この仮定は、移動方向θの傾きａが有理数で表せることを前提としている。移動方向θの傾きａが無理数である場合には、どんなに長い距離にわたり、計測を続けてもサブピクセル軌跡が等間隔にはならない。しかし、実際の計測では計測精度が有限なので、十分に長い距離に対する計測で、事実上等間隔とみなすことができる。このとき、サブピクセル軌跡間の垂直方向距離Δ（以下、単にサブピクセル軌跡間距離とも称する）（図３を参照）を考える。

撮影対象の移動軌跡をｙ＝ａｘ（ａは実数である）とする。このときの移動軌跡の傾きａは、観測した時系列画像を使った計測によって求めることができる測定値である。なお、撮影対象を固定したままで、画像撮像系（撮像装置の撮像素子）を画像の水平方向に対して、傾きａで移動することでも同じ結果を得ることができる。

この実数の傾きａを有理数ｑ／ｐで近似する（但し、pとqはそれぞれ整数である）。具体的には、実数ａの有効桁数を考慮して、

と置けばよい。このとき、移動軌跡は、pとqの最大公約数gcd(ｐ,ｑ)を使って、下記数２のように表すことができる。

上記数２におけるＰとＱは、どちらも整数で、これ以上約分できない。水平方向の位置ｘを（Ｑｘ）で置き換えることで、移動軌跡の傾きが１／Ｐであると考えることができる。この傾き１／Ｐは、垂直方向の１画素を整数Ｐ分割することに相当する（図４を参照する）。従って、サブピクセル軌跡間距離Δは、下記数３のようになる。

図４は、サブピクセル軌跡間距離Δとｑの関係を説明するための図である。ここで、ｑは水平方向の１画素が繰り返しに何分割にされたことを示す。図４（Ａ）の場合に、サブピクセル軌跡間距離Δは１／３で、ｑは１である。一方、図４（Ｂ）の場合に、サブピクセル軌跡間距離Δも１／３で、ｑは２であり、図４（Ｂ）から分かるように、水平方向の１画素が２分割にされている。従って、ｑはサブピクセル軌跡間距離Δと関係ないことがよく分かる。

サブピクセル軌跡間距離Δを短くすればするほど、細かいサブピクセルモーションを撮影することができるので、それを使用した超解像処理も一層良い結果が得られる訳である。

図５は、サブピクセル軌跡間距離Δと撮影対象の移動方向との関係を示す図である。図５から分かるように、撮影対象の移動方向、つまり、移動軌跡の傾きａを０から１までの範囲で細かく調べると、サブピクセル軌跡間距離Δが非常に小さくなる傾き（撮影対象の移動方向）が多数ある。

しかし、このような小さいサブピクセル軌跡間距離Δを実現するためには、下記数４で表す大きな移動距離Ｌを必要とする。例えば、Δ＝０.０５［画素］の場合に、移動距離Ｌを２０画素にする必要がある。

サブピクセル軌跡間距離Δと移動距離Ｌとの関係をグラフに示すと、図６になる。図６から分かるように、現実的な移動距離Ｌ＝３０［画素］程度までの範囲で有効な移動方向は、非常にわずか（５〜６個）であり、つまり、有効な移動方向の傾きｑ／ｐ＝１／４０，１／３２，１／２５，１／２０，１／１６である。

＜２＞サブピクセル軌跡間距離Δの最大値と最小値による評価
前述したように、撮影対象の移動軌跡に含まれるサブピクセル成分（つまり、サブピクセル軌跡）の性質は、基本的に撮影対象の移動距離に応じて決定されることがよく分かる。このことにより、超解像処理を行う倍率の増大に応じて、撮影対象の移動距離も大きくする必要があることが分かる。しかし、実際問題としては、無限に長い移動軌跡を撮影するのは、現実的に考えられないので、ある程度の長さの撮影対象の移動距離に限定した時のサブピクセル軌跡の性質について、以下のように検討する。

「＜１＞サブピクセル軌跡の基本的な性質」では、１画素領域が均一のサブピクセル軌跡間距離Δで「覆われる」ことを前提として検討したが、実際には、１画素領域が均一のサブピクセル軌跡間距離Δで「覆われる」必要はない。そこで、サブピクセル軌跡の通過密度が均一に近いことを評価する方法を考える。

上述したように、サブピクセル軌跡間距離Δは、移動方向（移動方向の傾き）ｑ／ｐと、観測した撮影対象の実際の移動距離Ｌactに応じて変化することは明らかである。ここでは、サブピクセル軌跡間距離Δの最大値Δmaxとその最小値Δminを、移動方向と観測した移動距離Ｌactの関数として評価する。実際には、サブピクセル軌跡間距離Δの最大値Δmax(Ｌact)と、最大値と最小値との差Δmax(Ｌact)−Δmin(Ｌact)を評価する（図７を参照する）。図７において、撮影対象の移動距離Ｌactがそれぞれ１０［画素］、２０［画素］、及び３０［画素］の場合のグラフを示す。

図７（Ａ）と図７（Ｂ）は、移動距離Ｌactが１０［画素］である場合のグラフを示し、図７（Ａ）は、撮影対象が実際に水平方向に１０画素移動された時のサブピクセル軌跡間距離Δの最大値Δmax(Ｌact)と撮影対象の移動方向との関係を示す図、及び、撮影対象が実際に水平方向に１０画素移動された時のサブピクセル軌跡間距離Δの最大値と最小値との差Δmax(Ｌact)−Δmin(Ｌact)と撮影対象の移動方向との関係を示す図である。また、図７（Ｂ）は、図７（Ａ）の２つのグラフをまとめたグラフである。同様に、図７（Ｃ）と図７（Ｄ）は、移動距離Ｌactが２０［画素］である場合のグラフを示し、図７（Ｅ）と図７（Ｆ）は、移動距離Ｌactが３０［画素］である場合のグラフを示す。

図７から分かるように、撮影対象の実際の移動距離Ｌactが長くなればなるほど、サブピクセル軌跡間距離がより均一に細かくなり、均一で細かいサブピクセルモーションの撮影が可能となる。つまり、サブピクセル軌跡間距離Δの最大値Δmax(Ｌact)もサブピクセル軌跡間距離Δの最大値と最小値との差Δmax(Ｌact)−Δmin(Ｌact)も０に近ければ近いほど、その時の移動方向を選択すれば、超解像処理に適するサブピクセルモーションの撮影ができる。

撮影対象の移動距離Ｌactが決定すると、Δmax(Ｌact)の最小値が決定する。つまり、どのように移動方向を調整しても、決定されたΔmax(Ｌact)の最小値より細かなスキャンはできない。Δmax(Ｌact)の最小値は、１／Ｌactである。例えば、図７に示されるように、図７（Ｂ）の場合に、Δmax(Ｌact)の最小値は、１／１０＝０.１で、図７（Ｄ）の場合に、Δmax(Ｌact)の最小値は、１／２０＝０.０５で、図７（Ｆ）の場合に、Δmax(Ｌact)の最小値は、１／３０である。

Δmax(Ｌact)の最小値が得られる移動方向、つまり、最小に近いΔmax(Ｌact)を与える移動方向は、何通りもある。その中から、Δmax(Ｌact)−Δmin(Ｌact)が最小になるような移動方向を選べばよい。Δmax(Ｌact)−Δmin(Ｌact)の最小値は０である。

そこで、Δmax(Ｌact)とΔmax(Ｌact)−Δmin(Ｌact)を考慮した正規化評価値として、下記数５を考える。

上記数５に表される評価関数Cover(Ｌact)を使って、Cover(Ｌact)＜１の移動方向を選択することによって、高精度な超解像処理に適するサブピクセルモーションが得られる。つまり、評価関数Cover(Ｌact)≧１が成立した場合の移動方向を選択しないことである。

図８（Ａ）は、移動距離Ｌactが３０［画素］である場合の評価関数Cover(Ｌact)と移動方向との関係を示すグラフである。図８（Ａ）において、矢印に示されたＢとＣに対応する移動方向を選択した場合のサブピクセルモーション分布を図８（Ｂ）と図８（Ｃ）にそれぞれ示す。ちなみに、図８（Ｂ）と図８（Ｃ）は移動方向がほぼ同じで、評価関数Cover(Ｌact)の値だけが違う。図８（Ｂ）のCover(Ｌact)≒０であるため、全体的に均一でかつ細かなサブピクセル軌跡が得られることが良く分かる。一方、同じ移動方向であっても、図８（Ｃ）の場合、Cover(Ｌact)≒２であるため、全体的に均一でかつ細かなサブピクセル軌跡が得られないことも良く分かる。

なお、Δmax(Ｌact)とΔmin(Ｌact)は、解析的に計算式を示すことはできないが、例えば、図９に示すような簡単な数値計算アルゴリズムで求めることができる。

＜３＞所定の倍率の超解像処理に必要な最小撮影枚数に対する最適なサブピクセルモーション
次に、所定の倍率の超解像処理を行う時に本発明の具体的な実施例を示す。ここで、４×４の超解像処理を行うときの最小撮影枚数と最適サブピクセルモーションを示す。

４×４の超解像処理では、０.２５［画素］ごとのサブピクセル変位が得られればよい。つまり、Δmax(Ｌact)の最小値＝０.２５＝１／４＝１／Ｌactが成立する。従って、Ｌact＝４であるため、水平方向に４［画素］変位する移動を計測することを考える。

図１０（Ｂ）は、移動距離Ｌactが４［画素］である場合の評価関数Cover(４)と移動方向との関係を示すグラフである。図１０（Ｂ）から分かるように、Cover(４)＝０になる移動方向（つまり、超解像処理に適するサブピクセルモーションが得られる移動方向）が２つある。１つの移動方向は１／４で、もう１つの移動方向は３／４である。

ここで、移動方向として１／４を選択する。移動方向は１／４で、撮影対象の移動距離Ｌactを４とした場合に、図１０（Ａ）に示されたようなサブピクセルモーション分布が得られる。図１０（Ａ）に示されたサブピクセルモーション分布から４×４の超解像処理に必要な最小撮影枚数（本例では、１６枚）の画像を撮影することができる。

例えば、撮影対象を１／３０［秒］で水平方向に０.２５［画素］移動した場合に、４×４の超解像処理に必要な１６枚の画像を撮影する所要時間は、約０.５［秒］である。本発明を用いて、撮影対象の適切な移動方向と移動距離さえ決定すれば、所定倍率の超解像処理に必要な最小枚数のサブピクセルモーション画像を短時間に簡単に撮影することができる。

＜４＞撮影枚数が多くなるほどサブピクセル位置に関する情報量が増える移動方向の決定方法
従来の超解像処理とは、予めに決められた倍率、例えば、水平方向４倍、垂直方向４倍といった解像度で、行うものである。本発明では、所定の移動方向に沿って１次元的に移動する撮影対象の撮影が進むに伴い、解像度が例えば２×２、３×３、４×４のように段段上がるような超解像処理に適するサブピクセルモーションが得られるような移動方向の決定方法を以下のように検討する。

つまり、本発明では、撮影入力する画像を逐次利用できる超解像処理に適したサブピクセルモーションが、撮影の進行に伴い、逐次的に詳細になるような移動方向を後述する評価関数SCover(ＬＭ)で決定する。つまり、評価関数SCover(ＬＭ)の値が０に近くなるような移動方向を選択することで、選択された移動方向に沿って移動する撮影対象を撮影した画像を利用することで、画像が次第に高精細／高分解能になるような超解像処理系を構成することも可能になる。

移動方向（つまり、移動方向の傾き）ａ＝ｑ/ｐ＝１/４のときには、撮影対象の移動距離（つまり、撮影対象の水平方向の移動距離）Ｌactを４にすることが最適だが、例え撮影対象の移動距離を更に大きくしても、撮影対象の移動軌跡が同じ位置を通過するだけで異なるサブピクセル位置に関する情報量が増えることはない。

そこで、移動距離Ｌact＝４以上のすべての移動距離に対する、下記数６に表される評価関数を考える。

ここで、ＬＭは、撮影対象の撮影が始めてから終了するまでの撮影対象の全体的な移動距離を表し、つまり、撮影対象の最大移動距離を表す。さらに、現実的な応用を考え、０＜ａ＜１が成立するのを前提条件とした移動方向ａに対して、計算量の削減のため、次のような領域限定をする。

つまり、まず、撮影対象の最小移動距離がＬact＝４なので、ａ≦１／４の領域を考慮する必要はない。また、ａ＞０.５の領域は、０＜ａ＜０.５の折り返しであるため、考慮する必要もない。従って、０.２５＜ａ＜０.５の範囲を考える。

図１１は、異なる最大移動距離ＬＭの場合の評価関数SCover(ＬＭ)と移動方向ａとの関係を示すグラフである。なお、図１１（Ａ）の最大移動距離ＬＭは１０［画素］で、図１１（Ｂ）の最大移動距離ＬＭは２０［画素］で、図１１（Ｃ）の最大移動距離ＬＭは４０［画素］で、図１１（Ｄ）の最大移動距離ＬＭは８０［画素］で、図１１（Ｅ）の最大移動距離ＬＭは１６０［画素］である。

図１１から分かるように、例えば、最大移動距離ＬＭは１０［画素］の場合に、逐次的により高精度な超解像処理に適するサブピクセルモーションが得られる移動方向はあまり明確ではないが、例えば、最大移動距離ＬＭが１６０［画素］のグラフを見ると、SCover(ＬＭ)の値が小さくなっている移動方向は明確になってくる。

このようなSCover(ＬＭ)の値が小さくなっている移動方向とは、撮影の進行に伴い、逐次的により高精度な超解像処理に適するサブピクセルモーションが得られる良い移動方向である。要するに、全体として、撮影対象の移動可能な最大移動距離は１６０［画素］であることを前提として、SCover(ＬＭ)の値が小さくなっている移動方向を選択することで、撮影対象の移動距離が４［画素］以上１６０［画素］以下の任意の距離であっても、超解像処理に適するサブピクセルモーションが得られる訳である。

実際、評価関数SCover(ＬＭ)の値が０に近くなるような移動方向、例えば、2650／10000、2764／10000、2957／10000、3037／10000、3866／10000、4142／10000、4190／10000、4393／10000、4488／10000などの移動方向が存在する。このような移動方向を選ぶことで、撮影対象の水平方向の移動距離が増大すると共に、サブピクセル軌跡間距離も次第に小さくなる。従って、サブピクセル変位に関して得られる情報も増えるので、次第に詳細で高精細な超解像処理に利用できる画像を撮影できる。

例えば、移動方向ａが2957／10000の場合に、図１２に示されるように、撮影対象の移動距離Ｌactの増大とともに、サブピクセル軌跡間距離が次第に小さくなり、サブピクセル軌跡も次第に増大するようになり、つまり、全体的に均一により細かなサブピクセルモーション分布が得られる訳である。

＜５＞撮影対象の移動速度
１次元的に移動する撮影対象の適切な移動速度については、以下のように検討する。

ここまでは、無限に短い時間間隔で画像を撮影したときの、撮影対象の移動軌跡を前提としていた。しかし、実際には、撮像装置、例えばＣＣＤカメラでは１／３０［秒］間隔で画像を撮影するので、同じ条件にするためには、撮影対象の移動速度を無限に小さくする必要があり、現実的ではない。以下では、目的に応じた撮影対象の移動速度について考察する。

まず、所定の倍率の超解像処理に必要な最小撮影枚数を最短時間内で撮影したい場合には、撮影対象を一定の水平方向移動速度ν_Ｈ［画素／sec］に制御すればよい。このとき、撮影対象の移動方向に沿った移動速度ν［画素／sec］は、下記数７のようになる。

撮像装置、例えば、ＣＣＤカメラのフレームレートをＦＰＳ［１／sec］とすると、下記数８のような条件に設定すればよい。

上記数８に基づいて決定された水平方向移動速度で撮影対象を移動させれば、例えば、図１３に示されるようなサブピクセルモーションを撮影することができる。なお、図１３（Ａ）に示されるサブピクセルモーションは、４×４の超解像処理に適し、図１３（Ｂ）に示されるサブピクセルモーションは、１０×１０の超解像処理に適する。

次に、逐次的に精細なサブピクセルモーションを得たいときには、撮影対象の移動速度を時間とともに変化させ、次第に遅い移動速度で撮影対象を移動させればよい。例えば、時刻ｔにおける撮影対象の水平方向移動速度ν_Ｈ(ｔ)［画素／sec］を、下記数９とすることで、図１４に示されるように時間とともに詳細なサブピクセルモーションを撮影することができる。

ただし、図１４において、下記数１０を使用している。

＜６＞超解像処理の実験結果
ここで、固定された単板式ＣＣＤカラーカメラを用いて、所定の移動方向で１次元的に移動する撮影対象の時系列画像を撮影し、撮影したBayer画像データを使って、４×４の超解像処理実験を行った。超解像処理実験に用いられる撮影対象は、平らなネジ送り式精密移動台に貼り付けられた雑誌記事である。なお、ネジ送り式精密移動台の移動を手動で行った。

超解像処理には、特許文献１に開示されているBayer画像データからの直接超解像処理手法を利用した。また、撮影対象の移動計測には、特許文献２に開示されている「２次元同時サブピクセルマッチング」を利用した。単板式ＣＣＤカラーカメラで撮影した６４枚の低解像度画像を利用して、超解像処理を行った結果として、１枚の高解像度画像が合成される。

１つ目の超解像処理実験では、本発明に基づいて撮影対象の適切な移動方向を設定して撮影した時系列画像（計６４枚の画像）を利用して超解像処理を行うもので、その詳細を図１５に示す。

図１５（Ａ）は、ネジ送り式精密移動台に貼り付けられた撮影対象を示しており、固定された単板式ＣＣＤカラーカメラに対して、図中の矢印で示す移動方向（ａ＝１４.２／１０７.３）で撮影対象（つまり、図中の□に囲まれた部分）を所定の移動距離（Ｌact＝１０７.３［画素］）に移動させながら、サブピクセルモーション画像を撮影する。図１５（Ｂ）は、１／３０［秒］間隔で画像を撮影する撮像装置で撮影したサブピクセルモーション画像を測定したサブピクセルモーション分布である。一方、本発明を用いて設定した撮影対象の移動方向（ａ＝１４.２／１０７.３）からサブピクセルモーション分布を計算することができるので、計算上のサブピクセルモーション分布を図１５（Ｃ）に示す。

図１５（Ｄ）の□に囲まれた撮影対象を単板式ＣＣＤカラーカメラで撮影して得られた低解像度の画像（図１５（Ｅ）を参照する）を６４枚用いて、超解像処理を行い、図１５（Ｆ）に示されるように１枚の高解像度の画像が得られる。図１５（Ｆ）から分かるように、本発明を用いて適切な移動方向が設定された場合に、超解像処理の結果は非常に優れている。

２つ目の超解像処理実験では、撮影対象の移動方向が不適切に設定され、且つ、撮影対象の移動距離Ｌactが不十分な場合に、撮影した時系列画像（計６４枚の画像）を利用して超解像処理を行うもので、その詳細を図１６に示す。

図１６（Ａ）は、ネジ送り式精密移動台に貼り付けられた撮影対象を示しており、固定された単板式ＣＣＤカラーカメラに対して、図中の矢印で示す移動方向（ａ＝−０.７／５４.１）で撮影対象（つまり、図中の□に囲まれた部分）を所定の移動距離（Ｌact＝５４.１［画素］）に移動させながら、サブピクセルモーション画像を撮影する。図１６（Ｂ）は、１／３０［秒］間隔で画像を撮影する撮像装置で撮影したサブピクセルモーション画像を測定したサブピクセルモーション分布である。一方、撮影対象の移動方向（ａ＝−０.７／５４.１）からサブピクセルモーション分布を計算することができるので、計算上のサブピクセルモーション分布を図１６（Ｃ）に示す。図１６（Ｂ）と図１６（Ｃ）から、サブピクセルモーションは均一に領域に埋まっていないことが良く分かる。

図１６（Ｄ）の□に囲まれた撮影対象を単板式ＣＣＤカラーカメラで撮影して得られた低解像度の画像（図１６（Ｅ）を参照する）を６４枚用いて、超解像処理を行い、図１６（Ｆ）に示されるような超解像処理結果が得られる。図１６（Ｆ）から分かるように、撮影対象の移動方向が不適切に設定され、且つ、撮影対象の移動距離Ｌactが不十分な場合に、超解像処理に適切なサブピクセルモーション分布を得ることができず、超解像処理の結果画像も失敗していることが良く分かる。

＜７＞他の構成例
上述したように、撮像装置を固定したままで、撮影対象を所定の移動方向に移動させながら、撮影対象を撮影するような全体的な構成で、本発明を開示してきたが、本発明はこのような構成に限定されることがなく、後述する他の構成（つまり、撮影対象を固定したままでの構成）で本発明を実施することができる。

なお、本発明では、超解像処理に適するサブピクセルモーション画像を撮影するための１次元移動方向の決定方法は、コンピュータシステムを用いて、ソフトウェアによって実装されることが好ましい。

＜７−１＞撮像装置内の撮像素子の１次元的な移動
撮像装置と撮影対象とから構成される画像撮像系において、撮影対象が所定の移動方向に１次元的な移動をするためには、上述したように撮像装置を固定したままで、撮影対象を所定の移動方向に直接移動させる方法の他に、撮影対象を固定したままで、撮像装置（例えば、ＣＣＤカメラ）内の撮像素子（例えば、ＣＣＤ撮像素子）を所定の移動方向に移動させる方法も考えられる。

前述した（ａ）の従来方式の撮像装置のように、２次元的な駆動を行う場合には２個のアクチュエータが必要だったが、本発明による方法では１次元的な駆動を行えばよいので、１個のアクチュエータで、撮像素子の移動機構を構成することができる。超解像処理に適するサブピクセルモーション画像が簡単に撮影できる撮像装置は、安いコストで製造することができる。

なお、撮像装置（例えば、ＣＣＤカメラ）内の撮像素子（例えば、ＣＣＤ撮像素子）を１次元的に駆動するアクチュエータとしては、例えば、回転モータでねじ送り機構を駆動する（図１７を参照する）や、ピエゾ圧電素子などの微小変位を実現できる素子を利用する（図１８を参照する）、などの方法がある。

＜７−２＞撮像装置の撮影方向の変更
また、撮像装置と撮影対象とから構成される画像撮像系において、撮影対象を固定したままで、撮像装置の撮影方向を変更することによって、撮影対象が所定の移動方向に１次元的な移動をすることを実現することができる。

例えば、図１９に示されるように、既存の撮像装置（カメラ）と既存の三脚を利用して、カメラの水平方向回転軸（パン軸）を一定の角度（この角度は撮影対象の所定の移動方向、つまり、移動角度と等しい）になるようにするアダプタ（つまり、図中の移動方向設定アダプタ）をカメラと三脚ヘッドとの間に設けることで、撮影対象が所定の移動方向に１次元的な移動をすることを実現することができる。

なお、この移動方向設定アダプタには、駆動機構を搭載して自動的にカメラの撮影方向を移動できるものと、駆動機構を搭載しないで手動でカメラの移動方向を変更するもの、が考えられる。

＜７−３＞移動ステージの１次元的な移動
顕微鏡撮影やマクロ（拡大）撮影では、例えば、図２０に示されるように、撮像装置（例えば、カメラ）を三脚などに固定して、撮影対象が設置されている移動ステージを所定の移動方向に１次元的に移動できる機構を設けることで、撮影対象が所定の移動方向に１次元的な移動をすることを実現することができる。

＜７−４＞撮像装置内の光学系による像の移動
更に、撮像装置と撮影対象とから構成される画像撮像系において、撮影対象を固定したままで、撮像装置内の光学系による像の移動によって、撮影対象が所定の移動方向に１次元的な移動をすることを実現することができる。

例えば、図２１に示されるように、撮像装置（例えば、ＣＣＤカメラ）内の撮影レンズと撮像素子（例えば、ＣＣＤ撮像素子）の間に、光学的に像を移動させる部材を組み込み、この部材を制御することで、像を所定の移動方向に移動させることができる。このような部材としては、例えば、プリズムの頂角を制御できるようにして屈折方向を制御できるプリズムやシフトレンズなどを利用することができる。

長方形の形状を有するＣＣＤ撮像素子の画素を説明するための図である。 本発明において、固定された撮像装置で超解像処理に適するサブピクセルモーション画像の撮影風景を表す模式図である。 本発明において、撮影対象の１次元的な移動を表す概念図である 本発明において、サブピクセル軌跡間距離Δとｑの関係を説明するための図である。 サブピクセル軌跡間距離Δと撮影対象の移動方向との関係を示す図である。 サブピクセル軌跡間距離Δと移動距離Ｌとの関係を示すグラフである。 サブピクセル軌跡間距離Δの最大値Δmax(Ｌact)と移動方向との関係、また、サブピクセル軌跡間距離Δの最大値と最小値との差Δmax(Ｌact)−Δmin(Ｌact)と移動方向との関係を示すグラフである。 評価関数Cover(Ｌact)を説明するための図である。 Δmax(Ｌact)とΔmin(Ｌact)を算出するための数値計算アルゴリズムを示す図である。 所定の倍率の超解像処理に必要な最小撮影枚数に対する最適なサブピクセルモーションを説明するためのグラフである。 異なる最大移動距離ＬＭの場合の評価関数SCover(ＬＭ)と移動方向ａとの関係を示すグラフである。 評価関数SCover(ＬＭ)に基づいて移動方向が適切に設定された場合の撮影対象の移動距離Ｌactの増大とともにサブピクセル軌跡間距離が次第に小さくなることを説明するためのグラフである。 一定の移動速度で撮影対象を移動させた場合のサブピクセル分布を示すグラフである。 撮影対象の移動速度を時間とともに変化させ、次第に遅い移動速度で撮影対象を移動させた場合のサブピクセル分布を示すグラフである。 移動方向が適切に設定された場合の超解像処理の実験結果を示す図である。 移動方向が不適切に設定された場合の超解像処理の実験結果を示す図である。 撮像装置内の撮像素子の１次元的な移動を実現するための構成例を示す図である。 撮像装置内の撮像素子の１次元的な移動を実現するための他の構成例を示す図である。 撮像装置の撮影方向の変更を実現するための構成例を示す図である。 移動ステージの１次元的な移動を実現するための構成例を示す図である。 撮像装置内の光学系による像の移動を実現するための構成例を示す図である。

Claims (6)

1. 撮影対象を所定の１次元的な移動方向に沿って移動させながら、固定されている撮像装置で撮影した前記撮影対象の時系列画像を超解像処理に適する２次元サブピクセルモーション画像とし、前記撮像装置内の撮像素子の画素のアスペクト比で正規化した座標系における、前記撮影対象の前記１次元的な移動方向を有理数のｐ／ｑに決定し、
   但し、前記座標系における垂直方向の１画素を整数ｐ分割し、前記座標系における水平方向の１画素を整数ｑ分割することを特徴とする超解像処理に適するサブピクセルモーション画像を撮影するための移動決定方法。
2. 前記ｐとｑの絶対値が小さな整数でない整数である請求項１に記載の超解像処理に適するサブピクセルモーション画像を撮影するための移動決定方法。
3. 前記超解像処理の倍率が固定で既知の場合には、評価関数Cover（Ｌact）の値が１より小さくなるような移動方向を前記撮影対象の前記１次元的な移動方向とする請求項１に記載の超解像処理に適するサブピクセルモーション画像を撮影するための移動決定方法。
4. 評価関数SCover（ＬＭ）の値が１より小さくなるような移動方向を前記撮影対象の前記１次元的な移動方向とする請求項１に記載の超解像処理に適するサブピクセルモーション画像を撮影するための移動決定方法。
5. 超解像処理に適する２次元サブピクセルモーション画像を撮影するための撮像装置であって、
   前記撮像装置内の撮像素子を撮像素子移動方向に沿って１次元的に駆動する駆動機構を備え、請求項１乃至請求項４のいずれかに記載の方法によって決定される撮影対象の１次元的な移動方向を前記撮像素子移動方向とし、前記駆動機構で前記撮像素子を前記撮像素子移動方向に沿って移動させながら、固定した撮影対象の時系列画像を前記２次元サブピクセルモーション画像として撮影することを特徴とする撮像装置。
6. 超解像処理に適する２次元サブピクセルモーション画像を撮影するための撮像装置であって、
   撮影レンズと撮像素子との間に光学的に像を所定の方向に移動させる部材を設け、
   請求項１乃至請求項４のいずれかに記載の方法によって決定される撮影対象の１次元的な移動方向を前記所定の方向とし、固定した撮影対象の時系列画像を前記２次元サブピクセルモーション画像として撮影することを特徴とする撮像装置。

Images