JP2008306492A - 画像処理装置、画像処理システム、画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】従来よりも少ない数の低解像度画像から復元精度の高い高解像度画像を超解像処理により得る。
【解決手段】制御装置３は、撮像素子を有し、撮像対象物に対する相対位置が固定された撮像装置２が、その撮像素子を露光させた状態で、撮像素子の撮像面に結像した撮像対象物の像の位置を変化させながら当該撮像対象物を撮像する撮像工程を複数回行うように当該撮像装置２を制御することにより、撮像対象物の複数の撮像画像を取得する撮像制御部４と、撮像制御部４が取得した複数の撮像画像を超解像処理することにより、当該撮像画像よりも高解像度の画像を生成する超解像処理部６とを備えている。
【選択図】図１

Description

本発明は、低解像度画像を高解像度化して超解像画像を生成する画像処理装置、画像処理方法、画像処理プログラムおよび当該画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。

表示装置等の検査を自動的に行う自動検査装置では、一般的に、エリアセンサ等の撮像装置を用いて検査対象を撮像して得られた検査画像を、所定のアルゴリズムで処理して欠陥検出等を行っている。そのため、自動検査装置においては、検査画像の解像度が高いほど詳細な検査が可能となるため、解像度の高い画像が撮像できる高解像度の撮像装置が求められる。

しかしながら、例えば、検査対象が液晶表示パネルである場合、近年の液晶表示パネルのパネルサイズ大型化に伴い、液晶表示パネルの表示画素数は飛躍的に増大しているため、最新のエリアセンサを用いても検査に十分な解像度は得られなくなってきている。そのため、検査装置において、複数の低解像度画像から１枚の高解像度画像を生成する、超解像処理やイメージシフト処理等の高解像度化処理を行う手法、または、１台の検査装置に複数台のカメラを設置し、十分な解像度で撮像する手法が用いられる。

前者の高解像度化手法は、後者の複数台のカメラを用いる手法と比較すると、１）撮像時間が多くかかる、２）高解像度化画像生成のための画像処理が必要である、等のデメリットがある反面、１）検査装置のコストが安くなる、２）メンテナンス性が良い、等のメリットがある。

近年、国内工場に導入する検査装置のコストダウンや、安価な検査装置が求められる海外への展開に向けて、高解像度化手法の研究が多く行われている。

この高解像度化手法とは、位置ずれのある複数の低解像度画像から、１つの高解像度画像を生成する手法であるが、大きく分類してイメージシフト処理と超解像処理との２種類に分けられる。

イメージシフト処理は、生成される高解像度画像において、撮像された低解像度画像の画素に対応する画素を、その低解像度画像の画素の輝度値に基づいて高解像度画像にマッピングする手法である。

一方、超解像処理は、複数の低解像度画像より１つの高解像度画像を推定する処理であり、例えば、ＭＬ(Maximum-likelihood)法、ＭＡＰ(Maximum A Posterior)法や、ＰＯＣＳ(Projection On to Convex Sets)法など、様々な超解像処理方法が提案されている。

ＭＬ法とは、高解像度画像から推定された低解像度画像の画素値と、実際に観測された画素値との二乗誤差を評価関数とし、この評価関数を最小化するような高解像度画像を推定画像とする方法である。つまり、ＭＬ法とは、最尤推定の原理に基づく超解像処理方法である。

また、ＭＡＰ法とは、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法である。つまり、ＭＬ法とは、高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理方法である。

そして、ＰＯＣＳ法とは、高解像度画像と低解像度画像との画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高解像度画像を得る超解像処理方法である。

これらの超解像処理は、まず、高解像度画像を仮定し、そして仮定した高解像度画像から、カメラモデルから得られる点広がり関数（ＰＳＦ関数）に基づき、全ての低解像度画像の画素について、その画素値を推定し、その推定値と観測された画素値(観測値)との差が小さくなるような高解像度画像を探索するという処理を有している。そのため、これらの超解像処理は、再構成型超解像処理方法と呼ばれている。

イメージシフト処理では、低解像度画像の全画素を高解像度画像の画素にマッピングする必要があるため、低解像度画像の撮像位置及び撮像枚数は固定であるのに対して、超解像処理では、低解像度画像の撮像位置は既知であればよく、使用する低解像度画像の枚数にも制限はない。

また、非特許文献１に記載されているように、超解像処理では使用する低解像度画像の枚数が多くなるほど高解像度画像の画像復元精度は向上する。さらに、非特許文献２に記載されているように、計算で用いられる低解像度画像の各画素位置を、その画素位置を高解像度画像における最近傍の画素の位置で近似したとしても、高解像度画像の復元精度はほとんど変化しないとの特徴が報告されている。

複数の低解像度の撮像画像を用いて高解像度の画像を生成する手法として、特許文献１または特許文献２に記載の手法を挙げることができる。

特許文献１には、撮像装置または撮像素子を移動させ、その移動速度または加速度が小さくなった時点で、超解像処理のための低解像度画像を撮像する方法が記載されている。この撮像方法により、超解像処理に用いられる低解像度画像のブレを小さくすることができる。

また、特許文献２に記載の手法は、移動する対象の撮像画像を高解像度化するものである。

なお、イメージシフト時に移動撮像を行う方法としては、例えば、特許文献３に記載の手法がある。この手法では、ローパスフィルタの効果を発生させることが可能である。
特開２００６−１４０８８５号公報（２００６年６月１日公開） 特開２００２−３５８５２９号公報（２００２年１２月１３日） 特開平１０−１７８５７８号公報（１９９８年６月３０日） 川崎洋、池内克史、坂内正夫、「時空間画像解析を用いた全方位カメラ映像の超解像度化」、電子情報通信学会論文誌D-II、２００１年８月、第Ｊ８４―Ｄ―ＩＩ巻、第８号、ｐ．１８９１―１９０２ 田中正行、奥富正敏、「再構成型超解像処理の高速化アルゴリズム」、社団法人情報処理学会研究報告、２００４年１１月１２日、第２００４-ＣＶＩＭ-１４６巻、第１４号、ｐ．９７―１０４

しかしながら、上記従来の構成では、以下の問題が生じる。

特許文献１および２に記載の手法は、撮像画像の枚数を低減させて、撮像時間を短縮することを目的としたものではない。すなわち、特許文献１および２に記載の手法では、超解像度画像を生成するために、多数の撮像画像を取得する必要があり、撮像時間が長くなるという問題が生じる。

特許文献３に記載の手法は、イメージシフト処理に関するものであるが、イメージシフト処理では、撮像画像の枚数が一定であるため、撮像画像の枚数を低減させて、撮像時間を短縮することはできない。なお、イメージシフト処理では、移動撮像画像を用いる場合と静止撮像画像を用いる場合とを比較すると、平滑化関数が変化するのみであるため、ローパスフィルタの効果は得られるが、必ずしも静止撮像画像を用いた場合に比べ処理後の画像における復元精度が向上するわけではない。

超解像処理において画像復元精度を向上させるためには、多数の低解像度画像を撮像する必要がある。しかし、検査装置においては撮像時間の上限が決まっているため、可能な撮像枚数が制限されている。一方、少ない数の低解像度画像で超解像処理を行った場合には、推定された高解像度画像が、検査で必要な復元精度を満たしていないことがある。

本発明は、上記の問題点を解決するためになされたもので、その目的は、従来よりも少ない数の低解像度画像から復元精度の高い高解像度画像を超解像処理により得ることができる画像処理装置を提供することにある。

本発明に係る画像処理装置は、上記の課題を解決するために、撮像素子を有し、撮像対象物に対する相対位置が固定された撮像手段が、当該撮像素子を露光させた状態で、当該撮像素子の撮像面に結像した撮像対象物の像の位置を変化させながら当該撮像対象物を撮像する撮像工程を複数回行うように当該撮像手段を制御することにより、当該撮像対象物の複数の撮像画像を取得する撮像制御手段と、上記撮像制御手段が取得した複数の撮像画像を超解像処理することにより、当該撮像画像よりも高解像度の画像を生成する超解像処理手段とを備えることを特徴としている。

本発明に係る画像処理方法は、上記の課題を解決するために、撮像対象物に対する相対位置が固定された撮像手段が有する撮像素子を露光させた状態で、当該撮像素子の撮像面に結像した撮像対象物の像の位置を変化させながら当該撮像対象物を撮像する撮像処理を複数回行う撮像工程と、上記撮像工程において取得された複数の撮像画像を超解像処理することにより、当該撮像画像よりも高解像度の画像を生成する超解像処理工程とを含むことを特徴としている。

従来の超解像処理では、生成される高解像度の画像に対応する基準位置から撮像位置をずらした撮像画像を多数用いる。そのため、従来の超解像処理には多大な処理時間を要する。

上記の構成によれば、撮像制御手段は、撮像対象物に対する相対位置が固定された撮像手段が、その撮像素子を露光させた状態で、撮像素子の撮像面に結像した撮像対象物の像の位置を変化させながら当該撮像対象物を撮像する撮像工程を複数回行うように、当該撮像手段を制御する。これにより、撮像制御手段は、撮像対象を撮像した複数の撮像画像を取得する。超解像処理手段は、撮像制御手段が取得した複数の撮像画像を超解像処理することにより、当該撮像画像よりも解像度の高い画像を生成する。

すなわち、撮像制御手段が取得する撮像画像は、撮像素子を露光させた状態で、撮像対象の像と撮像素子との相対位置を変化させながら撮像されたものであり、このひとつの撮像画像は、撮像対象の像と撮像素子との相対位置を変化させるごとに撮像した多数の撮像画像と同等の情報を有するものである。

それゆえ、撮像制御手段が取得した複数の撮像画像を超解像処理することにより、従来よりも少ない枚数の撮像画像から高解像度の画像を生成でき、超解像処理に要する時間を従来よりも短縮することができる。

また、上記撮像制御手段は、上記撮像手段に、上記像の位置を所定の範囲内で変化させながら当該撮像対象物を撮像する撮像工程を複数回行わせるものであり、上記所定の範囲は、生成される高解像度の画像に含まれるひとつの画素に対応するものであることが好ましい。

上記の構成によれば、撮像制御手段は、撮像手段が、その撮像素子を露光させた状態で、撮像素子の撮像面に結像した撮像対象物の像の位置を、生成される高解像度の画像に含まれるひとつの画素に対応する領域内で変化させながら当該撮像対象物を撮像するように、当該撮像手段を制御する。換言すれば、上記撮像工程は、生成される高解像度の画像に含まれるひとつの画素を生成するための撮像画像を複数取得するものである。

それゆえ、上記撮像工程において撮像された複数の撮像画像から、生成される高解像度の画像に含まれる画素値を推定することができる。

また、上記撮像制御手段は、上記撮像手段に、上記所定の範囲を所定の間隔でずらしながら上記撮像工程を複数回行わせることが好ましい。

上記の構成によれば、上記所定の範囲を所定の間隔でずらすことにより、生成される高解像度の画像の解像度に対応した数の撮像画像を取得することができる。

また、上記撮像手段は、上記撮像対象物に対する上記撮像素子の位置を変化させる変位手段を備え、上記撮像制御手段は、上記変位手段を制御することにより上記像の位置を変化させることが好ましい。

上記の構成によれば、撮像手段が備える変位手段を撮像制御手段が制御することにより、撮像素子の撮像面に結像した撮像対象物の像の位置を変化させる。

それゆえ、撮像手段の全体を移動させる場合よりも、より正確かつ、より少ないエネルギーで撮像対象物の像の位置を変化させることができる。

また、上記撮像手段は、上記撮像素子へ入射する光の光路を変化させる光路変更手段を備え、上記撮像制御手段は、上記光路変更手段を制御することにより上記像の位置を変化させることが好ましい。

上記の構成によれば、撮像手段が備える光路変更手段を撮像制御手段が制御することにより、撮像素子の撮像面に結像した撮像対象物の像の位置を変化させる。

それゆえ、撮像手段の全体を移動させる場合よりも、より正確かつ、より少ないエネルギーで撮像対象物の像の位置を変化させることができる。

また、上記光路変更手段は、上記像を結像させる光学的結像手段を変位させることが好ましい。

上記の構成によれば、光学的結像手段を変位させることにより撮像素子へ入射する光路を変化させることができ、それゆえ、撮像素子の撮像面に結像した撮像対象物の像の位置を変化させることができる。

また、上記光路変更手段は、入射光の光路に対する自身の傾きに応じて出射光の光路が当該入射光の光路に対して変化する光学素子の、上記撮像手段の光軸に対する傾きを変化させるものであることが好ましい。

上記の構成によれば、上記光学素子の、撮像手段の光軸に対する傾きを変化させることにより撮像素子へ入射する光路を変化させることができ、それゆえ、撮像素子の撮像面に結像した撮像対象物の像の位置を変化させることができる。

本発明の画像処理システムは、撮像素子を有する撮像手段と、上記画像処理装置とを備えることを特徴としている。

上記の構成によれば、画像処理装置は、撮像手段を制御することによって複数の撮像画像を取得することができ、取得した複数の撮像画像を超解像処理することにより、従来よりも少ない枚数の撮像画像から高解像度の画像を生成できる。それゆえ、超解像処理に要する時間を従来よりも短縮することができる。

また、上記画像処理装置を動作させる画像処理プログラムであって、コンピュータを上記各手段として機能させるための画像処理プログラム、および当該画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。

本発明に係る画像処理装置は、上記の課題を解決するために、撮像素子を有し、撮像対象物に対する相対位置が固定された撮像手段が、当該撮像素子を露光させた状態で、当該撮像素子の撮像面に結像した撮像対象物の像の位置を変化させながら当該撮像対象物を撮像する撮像工程を複数回行うことにより生成した複数の撮像画像を取得する撮像画像取得手段と、上記撮像画像取得手段が取得した複数の撮像画像を超解像処理することにより、当該撮像画像よりも高解像度の画像を生成する超解像処理手段とを備えることを特徴としている。

上記の構成によれば、撮像画像取得手段は、撮像対象物に対する相対位置が固定された撮像手段が、その撮像素子を露光させた状態で、撮像素子の撮像面に結像した撮像対象物の像の位置を変化させながら当該撮像対象物を撮像する撮像工程を複数回行うことにより生成した複数の撮像画像を取得する。超解像処理手段は、撮像画像取得手段が取得した複数の撮像画像を超解像処理することにより、当該撮像画像よりも解像度の高い画像を生成する。

それゆえ、撮像画像取得手段が取得した複数の撮像画像を超解像処理することにより、従来よりも少ない枚数の撮像画像から高解像度の画像を生成でき、超解像処理に要する時間を従来よりも短縮することができる。

本発明に係る画像処理装置は、以上のように、撮像素子を有し、撮像対象物に対する相対位置が固定された撮像手段が、当該撮像素子を露光させた状態で、当該撮像素子の撮像面に結像した撮像対象物の像の位置を変化させながら当該撮像対象物を撮像する撮像工程を複数回行うように当該撮像手段を制御することにより、当該撮像対象物の複数の撮像画像を取得する撮像制御手段と、上記撮像制御手段が取得した複数の撮像画像を超解像処理することにより、当該撮像画像よりも高解像度の画像を生成する超解像処理手段とを備える構成である。

本発明に係る画像処理装置は、以上のように、撮像素子を有し、撮像対象物に対する相対位置が固定された撮像手段が、当該撮像素子を露光させた状態で、当該撮像素子の撮像面に結像した撮像対象物の像の位置を変化させながら当該撮像対象物を撮像する撮像工程を複数回行うことにより生成された複数の撮像画像を取得する撮像画像取得手段と、上記撮像画像取得手段が取得した複数の撮像画像を超解像処理することにより、当該撮像画像よりも高解像度の画像を生成する超解像処理手段とを備える構成である。

本発明に係る画像処理方法は、以上のように、撮像対象物に対する相対位置が固定された撮像手段が有する撮像素子を露光させた状態で、当該撮像素子の撮像面に結像した撮像対象物の像の位置を変化させながら当該撮像対象物を撮像する撮像処理を複数回行う撮像工程と、上記撮像工程において取得された複数の撮像画像を超解像処理することにより、当該撮像画像よりも高解像度の画像を生成する超解像処理工程とを含む構成である。

それゆえ、撮像制御手段が取得した複数の撮像画像を超解像処理することにより、従来よりも少ない枚数の撮像画像から高解像度の画像を生成でき、超解像処理に要する時間を従来よりも短縮することができるという効果を奏する。

〔実施の形態１〕
本発明の実施の一形態について図１〜図９に基づいて説明すれば、以下のとおりである。ここでは、撮像対象物である液晶パネル３０を撮像した撮像画像を処理する画像処理装置（画像処理システム）１について説明する。しかし、本発明における撮像対象物は、液晶パネルに限定されず、どのようなものであってもよい。

（画像処理装置１の構成）
図２は、本実施の形態に係る画像処理装置１の構成を示す概略図である。図２に示すように、画像処理装置１は、撮像装置２、制御装置（画像処理装置）３およびモニタ９から構成される。

撮像装置２は、静止した液晶パネル３０を撮像するために液晶パネル３０に対向するようにフレーム２５に固定されている。すなわち、撮像装置２の筐体２４と撮像対象物である液晶パネル３０との相対位置は固定されている。撮像装置２は、複数の撮像素子を有しており、光学的に結像した液晶パネル３０の像を、空間的に離散化させ、サンプリングし、それらの像を画像信号に変換する。この撮像装置２は、筐体２４の内部にレンズ（光学的結像手段）２１、固体撮像素子（撮像素子）２２および当該固体撮像素子の位置を変化させる固体撮像素子用アクチュエータ（変位手段）２３（以下、単にアクチュエータ２３と称する）を有している。

レンズ２１は、液晶パネル３０の像を固体撮像素子２２の撮像面上に結像させる。

固体撮像素子２２は、レンズ２１によって光学的に結像した液晶パネル３０の像を、空間的に離散化させてサンプリングし、それらの像を画像信号に変換する。固体撮像素子２２は、複数の撮像素子が、例えばマトリクス状に配列したものである。

固体撮像素子２２として、例えばＣＣＤ（Charge Coupled Devices）イメージセンサ、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサを使用することができる。本実施形態では、固体撮像素子２２は、ＣＣＤやＣＭＯＳ等のエリアセンサである。

アクチュエータ２３は、液晶パネル３０と固体撮像素子２２との相対位置を変化させる。より具体的には、アクチュエータ２３は、液晶パネル３０とレンズ２１とを結ぶ光軸に対して垂直な平面において固体撮像素子２２を２次元的に移動させる。

撮像装置２において、レンズ２１は、筐体２４に固定されている。アクチュエータ２３は、筐体２４に固定された内壁２４ａに固定されており、固体撮像素子２２は、このアクチュエータ２３によって支持されている。そのため、アクチュエータ２３が固体撮像素子２２を変位させることによって、固体撮像素子２２は、筐体２４に対して相対的に変位することができる。

アクチュエータ２３として、例えば、ピエゾアクチュエータまたはステッピングモータを使用することができる。本実施形態では、アクチュエータ２３としてピエゾアクチュエータを用いる。

一方、撮像装置２の撮像対象である液晶パネル３０は、フレーム３１に固定され、液晶パネルコントローラ３２によって、バックライトの点灯および表示パターンの切り替え等が実行される。

制御装置３は、撮像装置２を制御し、撮像装置２が取得した液晶パネル３０の撮像画像を超解像処理することにより、高解像度画像を生成する。

モニタ９は、撮像装置２が取得した撮像画像および当該撮像画像から生成された高解像度画像等を表示する。

図１は、画像処理装置１の構成を示す機能ブロック図である。なお、図１には、図２において示した構成要素のうち、主要なもののみを示している。

図１に示すように、制御装置３は、撮像制御部（撮像制御手段、撮像画像取得手段）４、撮像画像保存部５、超解像処理部（超解像処理手段）６、高解像度画像保存部７および画像出力制御部８を有している。

撮像制御部４は、撮像装置２の撮像タイミングの制御、撮像装置２が備えるアクチュエータ２３の運動の制御、および撮像装置２からの撮像画像データの受信等を行う。より具体的には、撮像制御部４は、撮像装置２が備える固体撮像素子２２の露光時間に応じて当該固体撮像素子２２の移動を制御する。撮像制御部４は、アクチュエータ制御部４１および撮像タイミング制御部４２を備えている。

アクチュエータ制御部４１は、アクチュエータ２３を所定のパターンで動作させることにより、固体撮像素子２２の位置を制御する。具体的には、アクチュエータ制御部４１は、アクチュエータ２３の運動開始のタイミング、運動速度および運動距離等の制御を行う。

撮像タイミング制御部４２は、撮像装置２へ制御信号を送ることにより、固体撮像素子２２による撮像（露光）のタイミング（撮像開始時間、露光時間の長さ等）を制御する。本実施形態では、撮像タイミング制御部４２は、当該撮像タイミングを撮像装置２へ送信する信号の電圧の変化により制御する。

アクチュエータ制御部４１および撮像タイミング制御部４２による制御の詳細については後述する。

撮像制御部４は、撮像装置２によってサンプリングされた撮像画像データ（撮像画像データ５ａ）を、当該撮像画像データを取得した時の撮像位置（固体撮像素子２２の位置）と対応付けて撮像画像保存部５に格納する。

超解像処理部６は、撮像画像保存部５に格納された、複数の低解像度の撮像画像データ５ａに所定の処理を施して１枚の高解像度画像を生成し、当該高解像度画像のデータ（高解像度画像データ７ａ）を高解像度画像保存部７に格納する。

画像出力制御部８は、高解像度画像保存部７に格納された高解像度画像データ７ａを取得し、当該高解像度画像データ７ａが示す画像をモニタ９に表示する。

（超解像処理部６における超解像度処理）
次に、超解像処理部６における超解像処理の詳細について説明する。

超解像処理は、生成される高解像度画像に対して定義される評価関数の最適化問題として定式化される。つまり、再構成型超解像処理は、推定された低解像度画像と観測された観測画像との二乗誤差に基づく評価関数の最適化問題に帰着される。

超解像処理は、未知数の非常に大きな最適化計算であるため、その評価関数の最適化には、例えば最急降下法などの繰返し計算法がよく利用される。このとき、繰返しごとに、評価関数と当該評価関数の高解像度画像に対する微分とを計算する必要がある。この超解像処理に用いられる評価関数は下記（１）式で表される。

上記（１）式において、ｈは高解像度画像のベクトル表現を、σ^２は観測値のノイズ分散を、ｂ（ｘ_ｉ,ｙ_ｉ）は、高解像度画像における位置（ｘ_ｉ,ｙ_ｉ）に対応するＰＳＦカーネルのベクトル表現を、Ｃは高解像度画像の事前確率情報を表す行列を、αは拘束の強さを表す拘束パラメータを表す。また、Ｎ_ｌは複数の低解像度画像の総画素数を表している。このＮ_ｌは下記（２）式に示すように、低解像度画像のサイズ（１つの低解像度画像に含まれる画素の数）（Ｗ_ｌ×Ｈ_ｌ）と低解像度画像の枚数Ｆ_ｌとの積となる。また、Ｔは、行列の転置を表している。

この評価関数のｈに対する勾配を計算すると下記（３）式のようになる。

この勾配の値を用いて下記（４）式により、ｈを更新する処理を所定の回数だけ繰り返すことによって最終的なｈの値を決定する。なお、ここでβは画像更新のための定数である。

すなわち、超解像処理部６は、複数の撮像画像に基づいて生成した高解像度画像の高解像度化精度を示す評価値を、上記撮像画像と高解像度画像との誤差を示す項と、生成された高解像度画像自体の、事前確率情報に対する類似性を示す項との和からなる評価関数を用いて算出し、上記評価値が所定の値より小さくなるように高解像度画像を更新することによって超解像画像を生成する。

なお、上述の説明は、ＭＡＰ法に関するものであるが、超解像処理部６は、ＭＬ法またはＰＯＣＳ法を用いて超解像画像を生成してもよい。

（超解像処理を行う目的）
本実施形態では、撮像対象物として液晶パネル３０を想定している。図３は、液晶パネル３０が有する表示画素の配置の一例を示す図である。図３に示すように、液晶パネル３０は、例えば、Ｒ画素３３ａ、Ｇ画素３３ｂ、Ｂ画素３３ｃの３色の画素から構成される表示画素３３を有している。これらＲＧＢの各画素は、一定の周期（ＲＧＢ−ＲＧＢ−ＲＧＢ…の順）で繰り返して配列している。

そのため、液晶パネル３０の欠陥検出検査を行う場合には、Ｒ画素３３ａの輝度と、当該Ｒ画素３３ａが属する表示画素に隣接する表示画素に属する、Ｒ画素３３ａと同色の画素であるＲ画素３３ｄの輝度とを比較し、その輝度の差が所定の閾値よりも大きい場合に、Ｒ画素３３ａが欠陥部として抽出される。

図４（ａ）〜図４（ｃ）は、液晶パネル３０と当該液晶パネル３０を撮像した撮像画像の画素との対応関係を示す図である。

液晶パネル３０を撮像した撮像画像に対して、上述の欠陥検出方法を適用する場合、ＲＧＢの画素ごとに欠陥部の抽出を行う。それゆえ、ＲＧＢの画素は、固体撮像素子２２を構成する複数の撮像素子のうち、それぞれ別の撮像素子によって撮像されることが望ましい。

また、ＲＧＢの画素と撮像素子との位置ずれも考慮することが望ましい。図４（ａ）に示すように、液晶パネル３０の１つの表示画素に対して、少なくとも６×６の撮像素子が割り当てられるように撮像することが望ましい。なお、同図では、点線で示される各四角形が撮像素子を表している。

一方、液晶パネル３０の表示画素数が１９２０×１０８０程度である場合、１１００万画素のＣＣＤセンサを用いて当該液晶パネル３０を撮像すると、図４（ｂ）に示すように、１つの表示素子に対する撮像素子の割当は２×２程度になり、１６００万画素のＣＣＤセンサを用いて撮像すると、図４（ｃ）に示すように、１つの表示素子に対して２．３×２．３程度の撮像素子が割り当てられる。

そこで、これらの、必ずしも１つの表示素子に対する固体撮像素子の割当が整数でない複数枚の画像から、例えば固体撮像素子の割当が６×６のような高解像度の画像を生成しなければならず、そのために超解像処理が求められる。

（撮像素子の移動様式）
画像処理装置１では、低解像度の撮像画像を撮像する時に、固体撮像素子２２の撮像素子の中心（光軸）を、例えば図５に示すように移動させながら撮像を行う。図５は、固体撮像素子２２の運動制御および撮像制御の方法を示す図である。図５には、９つの画像素子７１からなる高解像度画像７０が示されている。また、同図において、実線矢印および点線矢印は、固体撮像素子２２を構成する複数の撮像素子のうちの１つの撮像素子の中心が、復元すべき高解像度画像７０に対応する空間において移動する軌道を示している。

この軌道は、超解像処理において生成される高解像度画像のサイズおよび当該高解像度画像を構成する画像素子のサイズに基づいて決めればよい。すなわち、超解像処理部６において生成される高解像度画像全体のサイズ（高解像度画像を構成する画像素子の数）および高解像度画像の画像素子のサイズは、予め決められており、これらのサイズに基づいて撮像素子の中心の軌道が予め決められている。アクチュエータ制御部４１は、この所定の軌道に沿って撮像素子の中心が移動するように固体撮像素子２２を移動させる。

換言すれば、撮像素子の移動空間は、撮像素子の撮像面（撮像領域）に相当する平面内である。撮像素子の移動空間は、仮想的に設定した高解像度画像の素子のサイズによって定められる。また、撮像素子の移動空間は、撮像対象である液晶パネル３０の位置とは無関係である。

なお、固体撮像素子のサイズは、高解像度画像の画像素子サイズの整数倍でなくともよい。

図５において、実線矢印の始端において、固体撮像素子２２による撮像が開始され、その終端において、固体撮像素子２２による撮像が終了するように、固体撮像素子２２の運動速度が決定される。換言すれば、撮像タイミング制御部４２は、実線矢印の始端において、固体撮像素子２２による撮像が開始され、その終端において、固体撮像素子２２による撮像が終了するように、固体撮像素子２２の撮像タイミングを制御する。

これにより、１度の撮像において、実線矢印に沿って移動平均化された画像が撮像される。また、点線矢印の軌道においては、撮像素子の移動のみが行われ、撮像は行われない。

次に、図５に示す、画像素子７１を３つ含む領域７２の部分のみを用いて、固体撮像素子２２の運動制御および撮像制御の方法について、より詳細に説明する。図６は、固体撮像素子２２の運動制御および撮像制御の方法をより詳細に示す図である。図６では、領域７２に含まれる３つの画像素子７１のそれぞれに新たな番号（７３、７４、７５）を付けて示している。

また、画像素子７３、画像素子７４、画像素子７５内における撮像素子の中心の軌道を、それぞれＶ字矢印７６、Ｖ字矢印７７、Ｖ字矢印７８によって示している。また、画像素子７５内における撮像素子の中心の軌道の終端から、領域７２の下段に位置する領域における撮像素子の中心の軌道の始端まで移動する時の軌道は、矢印７９によって示されている。すなわち、アクチュエータ制御部４１は、領域７２において、撮像素子の中心が、Ｖ字矢印７６、Ｖ字矢印７７、Ｖ字矢印７８、矢印７９が示す軌道に沿って順に移動するように固体撮像素子２２を変位させる。

より具体的には、アクチュエータ制御部４１は、撮像素子の中心が、例えば、始端７６ａから、画像素子７３の底辺に位置する中間点７６ｂまで直線移動し、中間点７６ｂから終端７６ｃまで直線移動するように固体撮像素子２２を変位させる。

そして、撮像タイミング制御部４２は、実線矢印の始端（例えば、始端７６ａ）において、固体撮像素子２２による撮像が開始され、その終端（例えば、終端７６ｃ）において、固体撮像素子２２による撮像が終了するように、固体撮像素子２２の撮像タイミングを制御する。撮像制御部４は、９つの画像素子７１のすべてに関して上述のＶ字移動撮像を行う。

換言すれば、液晶パネル３０と固体撮像素子２２の各撮像素子との割当が変化するように、当該固体撮像素子２２を移動させながら液晶パネル３０を複数回撮像する。このことについて、図７を用いて、別の観点から説明する。図７は、仮想的に設定された高解像度画像の素子と固体撮像素子２２の各撮像素子との相対関係を示す図である。ＣＣＤやＣＭＯＳ等のエリアセンサである固体撮像素子２２は、複数の撮像素子によって構成され、その各撮像素子は液晶パネル３０の一部、より正確には、仮想的に設定された高解像度画像の素子に対応する空間の一部を撮像する。例えば、図７に示すように、撮像素子のサイズが９μｍの正方形である場合、その１/３ずつ領域を区切ると３μｍの正方形８１が９個できる。これら９個の領域（撮像素子の撮像領域を分割することによって生じる分割領域）は、図５に示した画像素子７１に相当する。

撮像素子の中心が、９個の領域のうちのひとつである領域Ａの中心にある場合、この撮像素子の撮像領域は斜線領域Ａ´となる。一方、撮像素子の中心が領域Ｂの中心にある場合には、当該撮像素子の撮像領域は斜線領域Ｂ´となる。

画像処理装置１では、複数の画像を撮像する場合、例えば、１枚目の画像は撮像素子の中心が領域Ａの中を走査するように撮像し、２枚目の画像は撮像素子の中心が領域Ｂの中を走査するように撮像する。そして、９個の領域（画像素子）のすべてについて撮像を行い、合計９枚の撮像画像を取得する。超解像処理部６は、これら９枚の撮像画像を用いて、１枚の高解像度画像を生成する。

上記領域内（図５に示す画像素子内）の撮像素子の中心の移動様式は、上述したＶ字移動に限定されず、斜め方向の直線移動（例えば、図５に示す画像素子の対角線に対応する軌道を描く移動）であってもよく、画像素子の辺に平行な直線移動であってもよい。

ただし、上記移動様式は、Ｖ字移動の方が好ましい。なぜなら、直線移動の場合と比較すると、Ｖ字移動の場合には、所定の領域に対する走査範囲を均一にすることが可能であるからである。例えば、直線移動様式では、固体撮像素子２２は、ある１次元の方向のみに走査されるのに対して、Ｖ字移動では２次元の方向に対して走査が行われる。

また、画像素子７３、７４、７５の順番で撮像する必要はなく、逆の順番で撮像してもよいし、縦方向（図５においてＹ軸方向）に撮像素子の中心を移動させてもよい。

以上のように、撮像制御部４は、固体撮像素子２２の撮像素子が、当該撮像素子を露光させた状態で、当該撮像素子の撮像面に結像した液晶パネル３０の像の位置を変化させながら液晶パネル３０を撮像する撮像工程を複数回行うように撮像装置２を制御することにより、液晶パネル３０の複数の撮像画像を取得する。

換言すれば、撮像制御部４は、液晶パネル３０の像が固体撮像素子２２の撮像素子の撮像面において所定の軌道を描くように撮像装置２を制御する。

より具体的には、撮像制御部４は、撮像装置２に、液晶パネル３０像の位置を所定の範囲内で変化させながら液晶パネル３０を撮像する撮像工程を複数回行わせるものであり、上記所定の範囲は、生成される高解像度の画像に含まれるひとつの画素（画像素子）に対応するものである。

また、撮像制御部４は、撮像装置２に、上記所定の範囲を所定の間隔でずらしながら（例えば、画像素子７３、画像素子７４、画像素子７５の順にずらしながら）上記撮像工程を複数回行わせる。

（アクチュエータ２３および固体撮像素子２２の制御方法）
画像処理装置１では、アクチュエータ２３としてピエゾアクチュエータを用い、撮像タイミング制御部４２が、撮像タイミングを電圧により制御する。ピエゾアクチュエータは、入力された電圧に応じてその移動距離が制御される。また、撮像タイミングの制御では、固体撮像素子２２にＶ_ＯＮの電圧が入力された時点で撮像が開始され、入力される電圧がＶ_ＯＦＦになった時点で撮像が終了する。

図６に示した領域７２に関して、アクチュエータ２３の運動制御、および固体撮像素子２２の撮像制御を行うための入力信号（換言すれば、アクチュエータ制御部４１からの出力信号）の例を図８に示す。図６に示すＶ字矢印７６〜７８によって示される軌道を撮像素子の中心が移動する場合には、アクチュエータ２３の、図５に示すＸ軸方向の移動量は、休止期間（図８において、矢印８３によって示される期間）を挟んで単調に増加するため、アクチュエータ２３に入力される、Ｘ軸方向の移動を制御する電圧も当該休止期間を挟んで単調増加する。上記休止期間とは、Ｖ字矢印７６〜７８のそれぞれによって示される、各Ｖ字形状の移動が終了した時点で撮像素子の移動が一時的に停止する期間である。この期間では、撮像素子の露光は行われない。

これに対して、図５に示すＹ軸方向に関しては、撮像素子の移動方向は、一定周期で振動するため、アクチュエータ２３に入力される、Ｙ軸方向の移動を制御する電圧も同じ周期で振動する波形となっている。

また、固体撮像素子２２による撮像を制御するための入力信号は、撮像開始および撮像終了するタイミングに合わせて固体撮像素子２２の撮像をオン、オフする信号とすればよい。すなわち、図８において矢印８２によって示される期間、固体撮像素子２２の撮像をオンにする。

（画像処理装置１における処理の流れ）
次に、画像処理装置１における処理の流れの一例について説明する。図９は、画像処理装置１における処理の流れの一例を示すフローチャートである。以下では、図５および図６に示した撮像方法により液晶パネル３０を撮像する場合について説明する。

まず、撮像制御部４のアクチュエータ制御部４１は、固体撮像素子２２が有する撮像素子の中心が撮像開始位置である始端７６ａに位置するように、アクチュエータ２３を介して固体撮像素子２２を移動させる（Ｓ１）。

そして、撮像制御部４の撮像タイミング制御部４２は、固体撮像素子２２の撮像をオンにする（すなわち、受光を開始する）信号を固体撮像素子２２に出力し、それと同時に、アクチュエータ制御部４１は、画像素子７３に対応する空間において撮像素子の中心がＶ字軌道を描くように、固体撮像素子２２を移動させる（Ｓ２）。

撮像素子の中心がＶ字軌道を描き終わると（すなわち、撮像素子の中心が終端７６ｃに到達すると）、撮像タイミング制御部４２は、固体撮像素子２２の撮像をオフにする（すなわち、受光を終了する）信号を固体撮像素子２２に出力する（Ｓ３）。

この撮像工程が終了すると、固体撮像素子２２は、取得した撮像画像データ（低解像度画像）と、当該撮像画像データを取得した位置を示す位置情報（換言すれば、高解像度画像の画像素子を特定する情報）とを互いに関連付けて撮像画像保存部５へ保存する。

そして撮像制御部４は、画像素子７４に関するＶ字撮像を開始する。撮像制御部４は、このようなＶ字撮像を、高解像度画像の９個の画像素子すべてに関して行う。

すべてのＶ字撮像（撮像工程）が終了すると（Ｓ４にてＹＥＳ）、超解像処理部６は、撮像画像保存部５に保存された撮像画像データ５ａと、対応する位置情報とを用いて、撮像画像データ５ａから、超解像処理により高解像度画像を生成する（超解像処理工程）（Ｓ５）。超解像処理部６は、生成した高解像度画像を高解像度画像保存部７に保存する。

そして、画像出力制御部８は、高解像度画像保存部７に保存された高解像度画像データ７ａが示す画像をモニタ９に表示させる（Ｓ６）。

（画像処理装置１の効果）
ここで、上述のように移動平均化されて撮像された画像（例えば、撮像素子が、Ｖ字矢印７６が示す軌道を描いている間に撮像された低解像度画像）を用いて超解像処理を行うことの効果について説明する。図１０は、撮像装置２によって撮像された低解像度画像と生成される高解像度画像との関係を説明するための図である。

超解像処理では撮像画像の枚数が多ければ多いほど復元精度は向上する。これは超解像処理では繰り返し最適化処理によって高解像度画像を再構成しており、その復元精度が平滑化関数に依存しているからだと考えられる。

図１０に示すように、固体撮像素子２２の撮像素子がＶ字軌道を描きながら、連続的に受光しつつ撮像した画像は、同様の軌道に沿って固体撮像素子２２の１つの撮像素子の中心８５ａを移動させながら撮像された多数の低解像度画像８５に含まれる画素群に関して、多数の低解像度画像８５の中心８５ａを高解像度画像８６の中心８６ａに近似させて、輝度値の平均値を算出したものと同等である。

よって、この移動平均化された画像を用いて、超解像処理によって高解像度画像を生成した場合、同様の軌道にそって撮像された多数の低解像度画像を用いて超解像処理を行った場合と同等の復元精度を有する高解像度画像を少ない枚数の撮像画像から得ることができる。

すなわち、本発明においては移動撮像によって平滑化関数を変化させることで、撮像枚数を増加させた場合と同等の平滑化関数を実現し、それにより撮像枚数の削減と復元精度の向上を実現している。

また、移動撮像を行うことによって、原画像に対する平滑化関数（ＰＳＦ）が変化する。撮像装置２によって表示用パネルを撮像し、当該撮像画像から生成された高解像度画像を用いて、表示パネルの欠陥部を検出する場合、移動撮像を行うことにより、静止撮像の場合と比較すると欠陥部のコントラストが弱くなってしまう。これに対して、超解像処理でＰＳＦの影響を除去することによって、欠陥部のコントラストを移動撮像の場合と静止撮像の場合とで同等の値にまで復元することが可能である。

〔実施の形態２〕
本発明の他の実施形態について図１１〜図１２に基づいて説明すれば、以下のとおりである。なお、実施の形態１と同様の部材に関しては、同じ符号を付し、その説明を省略する。

実施の形態１における撮像装置２は、アクチュエータ２３によって、液晶パネル３０に対する固体撮像素子２２の相対位置を変化させているが、撮像装置が備えるレンズの位置（傾き）を変え、固体撮像素子２２へ入射する光路を変更することにより、固体撮像素子２２の撮像面における液晶パネル３０の像の位置を変えてもよい。

図１１は、画像処理装置１が備える別の撮像装置５０の構成を示す断面図である。本実施形態における撮像装置５０は、筐体２４の内部に、複数のレンズ（レンズ５１ａ、レンズ５１ｂ、レンズ５１ｃ）からなるレンズ群（光学的結像手段）、固体撮像素子２２およびレンズ用アクチュエータ（光路変更手段）５３を有している。

なお、上記レンズ群に含まれるレンズの数は、複数であればよく、３つに限定されない。

固体撮像素子２２は、筐体２４との相対位置が変化しない状態で内壁２４ａに固定されている。レンズ５１ａ、レンズ５１ｃは、支持部５２を介して筐体２４に固定されている。また、レンズ用アクチュエータ５３は、筐体２４に固定して取り付けられており、レンズ５１ｂは、このレンズ用アクチュエータ５３によって支持されている。レンズ用アクチュエータ５３として、例えばピエゾアクチュエータ等を利用することができる。

本実施形態では、アクチュエータ制御部４１は、レンズ用アクチュエータ５３を制御する。

図１２は、撮像装置５０における光路の変更方法を説明するための図である。撮像装置５０では、図１２に示すように、レンズ５１ａとレンズ５１ｃとの間に位置するレンズ５１ｂの位置および傾きを変える（換言すれば、レンズ５１ｂを位置５４ａから位置５４ｂに変位させる）ことにより、液晶パネル３０の像の結像位置を、固体撮像素子２２の撮像面における位置５５ａから位置５５ｂへ移動させることができる。

実施の形態１のように、配線された固体撮像素子２２を移動させる場合には、配線の断線等による故障が発生する可能性がある。撮像装置５０のように、固体撮像素子２２ではなく、レンズ側を変位させる構成にすることにより、撮像装置が故障する可能性を低減できる。

〔実施の形態３〕
本発明の他の実施形態について図１３〜図１４に基づいて説明すれば、以下のとおりである。なお、実施の形態１と同様の部材に関しては、同じ符号を付し、その説明を省略する。

実施の形態１における撮像装置２は、アクチュエータ２３によって、液晶パネル３０に対する固体撮像素子２２の相対位置を変化させているが、撮像装置に透明平行平板を備え、当該透明平行平板を変位させることにより、固体撮像素子２２へ入射する光路を変更し、固体撮像素子２２の撮像面における液晶パネル３０の像の位置を変えてもよい。

図１３は、画像処理装置１が備える別の撮像装置６０の構成を示す断面図である。同図に示すように、撮像装置６０は、筐体２４の内部にレンズ２１、固体撮像素子２２、透明平行平板（光学素子）６１および透明平行平板用アクチュエータ（光路変更手段）６２を有する。透明平行平板６１は、入射光の光路に対する自身の傾き及び厚さに応じて出射光の光路が当該入射光の光路に対して平行移動する光学素子である。

固体撮像素子２２は、筐体２４との相対位置が変化しない状態で内壁２４ａに固定されている。レンズ２１および透明平行平板用アクチュエータ６２は筐体２４に固定して取り付けられており、透明平行平板６１は、透明平行平板用アクチュエータ６２によって支持されている。

本実施形態では、アクチュエータ制御部４１は、透明平行平板用アクチュエータ６２を制御する。

図１４は、撮像装置６０における光路の変更方法を説明するための図である。撮像装置６０では、図１４に示すように、透明平行平板６１の傾斜を位置６３ａから位置６３ｂに変化させる（すなわち、レンズ２１の光軸に対して透明平行平板６１を傾ける）ことにより、液晶パネル３０の像の結像位置を、固体撮像素子２２の撮像面において位置６４ａから位置６４ｂに変化させることができる。

撮像装置６０の構成では、透明平行平板６１を傾斜させるだけで、固体撮像素子２２へ入射する光路を変更できるため、撮像装置の構造を簡単にすることができ、かつ配線の断線等による故障が発生する可能性を低減できる。

（変更例）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

また、上述した画像処理装置１の各ブロック、特に撮像制御部４、超解像処理部６は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラム（画像処理プログラム）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、画像処理装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

なお、本発明は、以下のようにも表現できる。

すなわち、本発明の撮像装置は、撮像対象物を固体撮像素子にて撮像する撮像装置であって、前記撮像対象物の被写体画像を結像させる光学的結像手段と、光学的に結像した被写体画像を空間的に離散化してサンプリングした画像信号に変換する撮像手段と、撮像手段の撮像タイミングを制御する撮像タイミング制御手段と、前記被写体画像を前記撮像手段に対して2次元的に相対的に運動させるイメージシフト手段と、前記撮像手段にて撮像された複数の撮像画像から高解像度画像を生成する超解像処理手段と、前記イメージシフト手段の運動を制御する運動制御手段を備え、前記運動制御手段は撮像装置全体または被写体の動きとは独立して、前期撮像手段の撮像タイミングに基づいてイメージシフト機構を運動させることを特徴としている。

また、前記イメージシフト手段、は前記撮像手段を運動させることが好ましい。

また、前記イメージシフト手段は、光学的結合手段を運動させることが好ましい。

また、前記イメージシフト手段は、前期光学的結合手段と前記撮像手段の間に配置された光学素子と前記光学素子を運動させる駆動手段であることが好ましい。

従来よりも少ない数の低解像度画像から復元精度の高い高解像度画像を超解像処理により得ることができるため、高解像度画像を生成するための撮像装置および画像処理装置として利用できる。特に、表示パネルの欠陥検出検査を行うための高解像度画像を生成するための撮像装置および画像処理装置として好適に利用できる。

本発明の一実施形態に係る画像処理装置の構成を示す機能ブロック図である。 発明の一実施の形態に係る画像処理装置の構成を示す概略図である。 撮像対象である液晶パネルが有する表示画素の配置の一例を示す図である。 （ａ）〜（ｃ）は、液晶パネルと当該液晶パネルを撮像した撮像画像の画素との対応関係を示す図である 固体撮像素子の運動制御および撮像制御の方法を示す図である。 固体撮像素子の運動制御および撮像制御の方法をより詳細に示す図である。 仮想的に設定された高解像度画像の素子と固体撮像素子の各撮像素子との相対関係を示す図である。 アクチュエータの運動制御、および固体撮像素子の撮像制御を行うための入力信号の例を示す図である。 上記画像処理装置における処理の流れの一例を示すフローチャートである。 撮像装置によって撮像された低解像度画像と、生成される高解像度画像との関係を説明するための図である。 上記画像処理装置が備える別の撮像装置の構成を示す断面図である。 上記撮像装置における光路の変更方法を説明するための図である。 上記画像処理装置が備えるさらに別の撮像装置の構成を示す断面図である。 上記撮像装置における光路の変更方法を説明するための図である。

符号の説明

１ 画像処理装置（画像処理システム）
２ 撮像装置（撮像手段）
３ 制御装置（画像処理装置）
４ 撮像制御部（撮像制御手段、撮像画像取得手段）
５ａ 撮像画像データ（撮像画像）
６ 超解像処理部（超解像処理手段）
７ 液晶パネル（撮像対象物）
７ａ 高解像度画像データ（高解像度画像）
２１ レンズ（光学的結像手段）
２２ 固体撮像素子（撮像素子）
２３ 固体撮像素子用アクチュエータ（変位手段）
３０ 液晶パネル（撮像対象物）
５０ 撮像装置（撮像手段）
５１ レンズ群（光学的結像手段）
５１ａ レンズ（光学的結像手段）
５１ｂ レンズ（光学的結像手段）
５１ｃ レンズ（光学的結像手段）
５３ レンズ用アクチュエータ（変位手段）
６０ 撮像装置（撮像手段）
６１ 透明平行平板（光学素子）
６２ 透明平行平板用アクチュエータ（変位手段）
７０ 高解像度画像
７１ 画像素子（画素）
７３ 画像素子（画素）
７４ 画像素子（画素）
７５ 画像素子（画素）
８６ 高解像度画像

Claims (12)

1. 撮像素子を有し、撮像対象物に対する相対位置が固定された撮像手段が、当該撮像素子を露光させた状態で、当該撮像素子の撮像面に結像した撮像対象物の像の位置を変化させながら当該撮像対象物を撮像する撮像工程を複数回行うように当該撮像手段を制御することにより、当該撮像対象物の複数の撮像画像を取得する撮像制御手段と、
   上記撮像制御手段が取得した複数の撮像画像を超解像処理することにより、当該撮像画像よりも高解像度の画像を生成する超解像処理手段とを備えることを特徴とする画像処理装置。
2. 上記撮像制御手段は、上記撮像手段に、上記像の位置を所定の範囲内で変化させながら当該撮像対象物を撮像する撮像工程を複数回行わせるものであり、
   上記所定の範囲は、生成される高解像度の画像に含まれるひとつの画素に対応するものであることを特徴とする請求項１に記載の画像処理装置。
3. 上記撮像制御手段は、上記撮像手段に、上記所定の範囲を所定の間隔でずらしながら上記撮像工程を複数回行わせることを特徴とする請求項２に記載の画像処理装置。
4. 上記撮像手段は、上記撮像対象物に対する上記撮像素子の位置を変化させる変位手段を備え、
   上記撮像制御手段は、上記変位手段を制御することにより上記像の位置を変化させることを特徴とする請求項１に記載の画像処理装置。
5. 上記撮像手段は、上記撮像素子へ入射する光の光路を変化させる光路変更手段を備え、
   上記撮像制御手段は、上記光路変更手段を制御することにより上記像の位置を変化させることを特徴とする請求項１に記載の画像処理装置。
6. 上記光路変更手段は、上記像を結像させる光学的結像手段を変位させることを特徴とする請求項５に記載の画像処理装置。
7. 上記光路変更手段は、入射光の光路に対する自身の傾きに応じて出射光の光路が当該入射光の光路に対して変化する光学素子の、上記撮像手段の光軸に対する傾きを変化させるものであることを特徴とする請求項５に記載の画像処理装置。
8. 請求項１に記載の画像処理装置を動作させる画像処理プログラムであって、コンピュータを上記各手段として機能させるための画像処理プログラム。
9. 請求項８に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
10. 撮像素子を有する撮像手段と、
    請求項１に記載の画像処理装置とを備えることを特徴とする画像処理システム。
11. 撮像対象物に対する相対位置が固定された撮像手段が有する撮像素子を露光させた状態で、当該撮像素子の撮像面に結像した撮像対象物の像の位置を変化させながら当該撮像対象物を撮像する撮像処理を複数回行う撮像工程と、
    上記撮像工程において取得された複数の撮像画像を超解像処理することにより、当該撮像画像よりも高解像度の画像を生成する超解像処理工程とを含むことを特徴とする画像処理方法。
12. 撮像素子を有し、撮像対象物に対する相対位置が固定された撮像手段が、当該撮像素子を露光させた状態で、当該撮像素子の撮像面に結像した撮像対象物の像の位置を変化させながら当該撮像対象物を撮像する撮像工程を複数回行うことにより生成された複数の撮像画像を取得する撮像画像取得手段と、
    上記撮像画像取得手段が取得した複数の撮像画像を超解像処理することにより、当該撮像画像よりも高解像度の画像を生成する超解像処理手段とを備えることを特徴とする画像処理装置。

Images