JP2008109477A - 画像生成装置および画像生成方法 - Google Patents
画像生成装置および画像生成方法 Download PDFInfo
- Publication number
- JP2008109477A JP2008109477A JP2006291451A JP2006291451A JP2008109477A JP 2008109477 A JP2008109477 A JP 2008109477A JP 2006291451 A JP2006291451 A JP 2006291451A JP 2006291451 A JP2006291451 A JP 2006291451A JP 2008109477 A JP2008109477 A JP 2008109477A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- resolution
- low
- objective lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】同一の撮像対象から同一の時刻に同一の視点から撮像された低解像度画像から高解像度画像を精度よく生成できるようにする。
【解決手段】画像撮影装置１００は、サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子上に同一のサイズの光学像をそれぞれ同時に結像させることで、同一の時刻に同一の視点上で撮像された複数の低解像度画像を撮影し、画像処理装置３００は、超解像アルゴリズムを適用することにより、それらの複数の低解像度画像から高解像度画像を生成する。
【選択図】 図１
【解決手段】画像撮影装置１００は、サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子上に同一のサイズの光学像をそれぞれ同時に結像させることで、同一の時刻に同一の視点上で撮像された複数の低解像度画像を撮影し、画像処理装置３００は、超解像アルゴリズムを適用することにより、それらの複数の低解像度画像から高解像度画像を生成する。
【選択図】 図１
Description
本発明は画像生成装置および画像生成方法に関し、特に、複数の低解像度画像から高解像度画像を生成する方法に適用して好適なものである。
超解像は、測定されたデータの持つ解像度を超えた解像度を持つ信号や画像を合成する技術を総称したものである（非特許文献１）。
この超解像度技術では、同一の撮像対象に対して、互いにサブピクセル単位で撮影位置をずらした複数枚の低解像度画像からサブピクセル単位の分解能を持つ高解像度画像を生成する方法が知られている（非特許文献２）。また、低解像度画像間の微小なずれ量を推定する方法も知られている（特許文献１）。
この超解像度技術では、同一の撮像対象に対して、互いにサブピクセル単位で撮影位置をずらした複数枚の低解像度画像からサブピクセル単位の分解能を持つ高解像度画像を生成する方法が知られている（非特許文献２）。また、低解像度画像間の微小なずれ量を推定する方法も知られている（特許文献１）。
図１５は、従来の複数の低解像度画像から高解像度画像を生成する方法を示す図である。
図１５において、高解像度画像を生成する場合、同一の撮像対象５１００に対して、互いにサブピクセル単位で撮影位置の変化５８２１を撮像装置５８１１に与えながら複数枚の低解像度画像５３１１を撮像し、これらの複数枚の低解像度画像５３１１を合成することで高解像度画像を生成する。
図１５において、高解像度画像を生成する場合、同一の撮像対象５１００に対して、互いにサブピクセル単位で撮影位置の変化５８２１を撮像装置５８１１に与えながら複数枚の低解像度画像５３１１を撮像し、これらの複数枚の低解像度画像５３１１を合成することで高解像度画像を生成する。
図１６は、従来の超解像度化処理にかかる処理時間を示す図である。
図１６において、撮影位置をずらしながら複数枚の低解像度画像５３１１から高解像度画像を生成する方法では、１枚の低解像度画像５３１１を撮像するごとに露光１２０２、画像転送１２０３および撮像位置移動１２０４が行われる。そして、これらの露光１２０２、画像転送１２０３および撮像位置移動１２０４が複数回繰り返し行われた後、超解像度化１２０５が行われる。
図１６において、撮影位置をずらしながら複数枚の低解像度画像５３１１から高解像度画像を生成する方法では、１枚の低解像度画像５３１１を撮像するごとに露光１２０２、画像転送１２０３および撮像位置移動１２０４が行われる。そして、これらの露光１２０２、画像転送１２０３および撮像位置移動１２０４が複数回繰り返し行われた後、超解像度化１２０５が行われる。
このため、低解像度画像５３１１から高解像度画像を生成するまでにかかる処理時間１２０１は、（露光１２０２にかかる時間＋画像転送１２０３にかかる時間＋（撮像位置移動１２０４にかかる時間−１））×（低解像度画像５３１１の枚数）＋（超解像度化１２０５にかかる時間）となる。
なお、撮影位置をずらした複数枚の低解像度画像５３１１から高解像度画像を生成する方法では、高解像度画像の画質が劣化しないようにするために、（１）撮影位置のずれ量のベクトル値が高精度で既知あるいは推定可能であり、（２）低解像度画像５３１１間での輝度や色の変化がなく、（３）同一の撮像対象５１００が時間的かつ空間的に同じ瞬間に撮影されたものであるという条件を満たす必要がある。
なお、撮影位置をずらした複数枚の低解像度画像５３１１から高解像度画像を生成する方法では、高解像度画像の画質が劣化しないようにするために、（１）撮影位置のずれ量のベクトル値が高精度で既知あるいは推定可能であり、（２）低解像度画像５３１１間での輝度や色の変化がなく、（３）同一の撮像対象５１００が時間的かつ空間的に同じ瞬間に撮影されたものであるという条件を満たす必要がある。
ここで、撮影位置をずらす方法として、撮像素子またはレンズをアクチュエータにて高速に振動させる方法がある（非特許文献３）。
また、撮影位置をずらすことなく複数枚の低解像度画像から高解像度画像を生成するために、同一の撮像対象に対して複数の撮像装置で低解像度画像を異なる視点から同時に撮像し、これらの複数枚の低解像度画像を合成することで高解像度画像を生成する方法も知られている。
また、撮影位置をずらすことなく複数枚の低解像度画像から高解像度画像を生成するために、同一の撮像対象に対して複数の撮像装置で低解像度画像を異なる視点から同時に撮像し、これらの複数枚の低解像度画像を合成することで高解像度画像を生成する方法も知られている。
しかしながら、従来の超解像度化処理では、撮像位置を移動させながら複数枚の低解像度画像を撮像するため、同一の撮像対象を時間的かつ空間的に同じ瞬間に撮影することは原理的にできない。このため、撮像対象５１００が動いている場合や照明環境が変化する場合あるいは撮像装置５８１１の手ブレが発生した場合には、低解像度画像間で輝度や色の変化が発生したり、撮像対象５１００の位置が異なったりするようになり、低解像度画像から合成された高解像度画像の画質が劣化するという問題があった。
特に、撮影位置をずらすために、撮像素子またはレンズをアクチュエータにて高速に振動させる方法では、機械的な動きを伴うことから、露光１２０２にかかる時間や画像転送１２０３にかかる時間に比べて、撮像位置移動１２０４にかかる時間が無視できないほど大きくなる。このため、複数枚の低解像度画像を撮像する際に、撮像対象５１００が動いたり、照明環境が変化したり、撮像装置５８１１の手ブレが発生したりする可能性が大きくなり、低解像度画像から合成された高解像度画像の画質が劣化しやすくなる上に、機械的な動きを伴うことから、耐久性が悪いという問題があった。
また、同一の撮像対象に対して複数の撮像装置で低解像度画像を同時に撮像する方法では、個々の撮像装置からの撮像対象に対する視点が異なるため、低解像度画像が撮像装置で歪んだものとなり、低解像度画像から合成された高解像度画像の画質が劣化するという問題があった。
さらに、高解像度画像を得るために、高分解能の撮像素子を用いた場合においても、半導体製造プロセスの制約によって撮像素子の分解能には限界がある上に、撮像素子の集積度を上げれば感度の低下を招くという問題があった。
そこで、本発明の目的は、同一の時刻に同一の視点上で撮像された低解像度画像から高解像度画像を精度よく生成することが可能な画像生成装置および画像生成方法を提供することである。
さらに、高解像度画像を得るために、高分解能の撮像素子を用いた場合においても、半導体製造プロセスの制約によって撮像素子の分解能には限界がある上に、撮像素子の集積度を上げれば感度の低下を招くという問題があった。
そこで、本発明の目的は、同一の時刻に同一の視点上で撮像された低解像度画像から高解像度画像を精度よく生成することが可能な画像生成装置および画像生成方法を提供することである。
上述した課題を解決するために、請求項１記載の画像生成装置によれば、サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子と、前記複数の撮像素子上に同一の視点から見た同一のサイズの光学像をそれぞれ同時に結像させる光学系と、前記撮像素子にて同時に撮像された複数の低解像度画像から高解像度画像を生成する画像処理手段とを備えることを特徴とする。
また、請求項２記載の画像生成装置によれば、入射ビームを平行ビームに変換するテレセントリックレンズと、前記テレセントリックレンズから出射された平行ビームを複数の光ビームに分光するビームスプリッタと、サブピクセル単位で互いに撮像位置がずらされて配置され、前記ビームスプリッタにて分光された光ビームをそれぞれ入射させる複数の撮像素子と、前記撮像素子にて同時に撮像された複数の低解像度画像から高解像度画像を生成する画像処理手段とを備えることを特徴とする。
また、請求項３記載の画像生成装置によれば、入射ビームを集光する対物レンズと、サブピクセル単位で互いに撮像位置がずらされて配置されるとともに、前記対物レンズから結像面までの光路長が等しくなるように配置された複数の撮像素子と、前記撮像素子にて同時に撮像された複数の低解像度画像から高解像度画像を生成する画像処理手段とを備えることを特徴とする。
また、請求項４記載の画像生成装置によれば、入射ビームを集光する対物レンズと、前記対物レンズにて集光された光ビームを複数の光ビームに分光するビームスプリッタと、サブピクセル単位で互いに撮像位置がずらされて配置されるとともに、前記ビームスプリッタによる分光回数が互いに一致するようにして前記対物レンズから結像面までの光路長が等しくなるように配置された複数の撮像素子と、前記撮像素子にて同時に撮像された複数の低解像度画像から高解像度画像を生成する画像処理手段とを備えることを特徴とする。
また、請求項５記載の画像生成装置によれば、前記画像処理手段は、前記低解像度画像の画素値を正規化する画素値正規化手段と、ベクトル表現した前記複数の低解像度画像と高解像度画像との関係を線形一次方程式化する線形一次方程式化手段と、前記線形一次方程式を最適化問題として解くことにより、前記高解像度画像を算出する最適化演算処理手段とを備えることを特徴とする。
また、請求項６記載の画像生成方法によれば、サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子上に同一のサイズの光学像をそれぞれ同時に結像させるステップと、前記複数の撮像素子にて同時に撮像された低解像度画像から高解像度画像を生成するステップとを備えることを特徴とする。
また、請求項７記載の画像生成方法によれば、入射ビームを平行ビームに変換するステップと、前記平行ビームを複数の光ビームに分光するステップと、サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子上に、前記分光された光ビームをそれぞれ同時に入射させるステップと、前記複数の撮像素子にて同時に撮像された低解像度画像から高解像度画像を生成するステップとを備えることを特徴とする。
また、請求項７記載の画像生成方法によれば、入射ビームを平行ビームに変換するステップと、前記平行ビームを複数の光ビームに分光するステップと、サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子上に、前記分光された光ビームをそれぞれ同時に入射させるステップと、前記複数の撮像素子にて同時に撮像された低解像度画像から高解像度画像を生成するステップとを備えることを特徴とする。
また、請求項８記載の画像生成方法によれば、入射ビームを対物レンズにて集光するステップと、サブピクセル単位で互いに撮像位置がずらされて配置されるとともに、前記対物レンズから結像面までの光路長が等しくなるように配置された複数の撮像素子上に、前記集光された光ビームをそれぞれ同時に入射させるステップと、前記撮像素子にて同時に撮像された低解像度画像から高解像度画像を生成するステップとを備えることを特徴とする。
また、請求項９記載の画像生成方法によれば、入射ビームを対物レンズにて集光するステップと、前記対物レンズにて集光された光ビームを複数の光ビームに分光するステップと、サブピクセル単位で互いに撮像位置がずらされて配置されるとともに、前記分光回数が互いに一致するようにして前記対物レンズから結像面までの光路長が等しくなるように配置された複数の撮像素子上に、前記分光された光ビームをそれぞれ同時に入射させるステップと、前記撮像素子にて同時に撮像された低解像度画像から高解像度画像を生成するステップとを備えることを特徴とする。
また、請求項１０記載の画像生成方法によれば、前記低解像度画像から高解像度画像を生成するステップは、前記低解像度画像の画素値を正規化するステップと、ベクトル表現した前記複数の低解像度画像と高解像度画像との関係を線形一次方程式化するステップと、前記線形一次方程式を最適化問題として解くことにより、前記高解像度画像を算出するステップとを備えることを特徴とする。
以上説明したように、本発明によれば、複数の撮像素子上に同一の視点から見た同一のサイズの光学像を同時に結像させることができ、撮像対象が動いている場合や照明環境が変化する場合あるいは撮像装置の手ブレが発生した場合においても、低解像度画像間で輝度や色の変化が発生したり、撮像対象の位置が異なったりするのを防止することができる。このため、半導体製造プロセスの制約によって撮像素子の分解能に限界がある場合においても、画質の低下を抑制しつつ、その撮像素子の分解能を超える高解像度画像を生成することが可能となる。
以下、本発明の実施形態に係る画像生成装置について図面を参照しながら説明する。
図１は、本発明の第１実施形態に係る画像生成装置の概略構成を示すブロック図である。
図１において、画像生成装置には、複数の低解像度画像を取得する画像取得装置２００および複数の低解像度画像から高解像度画像を生成する画像処理装置３００が設けられている。そして、画像取得装置２００には、サブピクセル単位で互いに撮像位置がずらされるようにして同一の視点から見た複数の低解像度画像を同時に撮影する画像撮影装置１００、画像撮影装置１００にて撮影された複数の低解像度画像を転送する画像転送装置２１１、画像取得装置２００を画像処理装置３００に接続する接続インターフェース２１２、画像取得装置２００に電源を供給する電源装置２１３が設けられている。
図１は、本発明の第１実施形態に係る画像生成装置の概略構成を示すブロック図である。
図１において、画像生成装置には、複数の低解像度画像を取得する画像取得装置２００および複数の低解像度画像から高解像度画像を生成する画像処理装置３００が設けられている。そして、画像取得装置２００には、サブピクセル単位で互いに撮像位置がずらされるようにして同一の視点から見た複数の低解像度画像を同時に撮影する画像撮影装置１００、画像撮影装置１００にて撮影された複数の低解像度画像を転送する画像転送装置２１１、画像取得装置２００を画像処理装置３００に接続する接続インターフェース２１２、画像取得装置２００に電源を供給する電源装置２１３が設けられている。
そして、画像撮影装置１００は、サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子上に同一のサイズの光学像をそれぞれ同時に結像させることで、同一の時刻に同一の視点から見た複数の低解像度画像を撮影する。そして、画像撮影装置１００にて同時に撮影された複数の低解像度画像は画像転送装置２１１に送られ、画像転送装置２１１は、それらの複数の低解像度画像を接続インターフェース２１２を介して画像処理装置３００に転送する。
そして、画像処理装置３００は、複数の低解像度画像を画像取得装置２００から受け取ると、超解像アルゴリズムを適用することにより、それらの複数の低解像度画像から高解像度画像を生成する。なお、超解像アルゴリズムでは、複数の低解像度画像の画素値を正規化し、ベクトル表現した複数の低解像度画像と高解像度画像との関係を線形一次方程式化し、その線形一次方程式を最適化問題として解くことにより、高解像度画像を算出することができる。
図２（ａ）は、本発明の第１実施形態に係る画像撮影装置の光学系の概略構成を示す側面図、図２（ａ）は、本発明の第１実施形態に係る画像撮影装置の光学系の概略構成を示す斜視図である。
図２において、画像撮影装置１００には、入射ビームを平行ビームに変換するテレセントリックレンズ１０１、テレセントリックレンズ１０１から出射された平行ビームを複数の光ビームに分光するビームスプリッタ１２１〜１２３、ビームスプリッタ１２１〜１２３にて分光された光ビームがそれぞれ入射される撮像素子１３１〜１３４、ビームスプリッタ１２１〜１２３にて分光された光ビームを撮像素子１３１〜１３４上にそれぞれ結像させるレンズ１４１〜１４４、サブピクセル単位で互いに撮像位置がずらされた状態で撮像素子１３１〜１３４を支持する支持体１６１が設けられている。
図２において、画像撮影装置１００には、入射ビームを平行ビームに変換するテレセントリックレンズ１０１、テレセントリックレンズ１０１から出射された平行ビームを複数の光ビームに分光するビームスプリッタ１２１〜１２３、ビームスプリッタ１２１〜１２３にて分光された光ビームがそれぞれ入射される撮像素子１３１〜１３４、ビームスプリッタ１２１〜１２３にて分光された光ビームを撮像素子１３１〜１３４上にそれぞれ結像させるレンズ１４１〜１４４、サブピクセル単位で互いに撮像位置がずらされた状態で撮像素子１３１〜１３４を支持する支持体１６１が設けられている。
なお、テレセントリックレンズ１０１は、テレセントリックレンズ１０１から撮像素子１３１〜１３４までの光路長が互いに異なる場合においても、テレセントリックレンズ１０１から撮像対象１１０までの距離に依存することなく、撮像素子１３１〜１３４上のサイズが同一になるように光学像を結像させることができる。
また、撮像素子１３１〜１３４上の受光量が同一になるようにビームスプリッタ１２１〜１２３の透過光と反射光との分光比率を定めることができ、例えば、４個の撮像素子１３１〜１３４が設けられている場合、ビームスプリッタ１２１の透過光と反射光との分光比率は３：１、ビームスプリッタ１２２の透過光と反射光との分光比率は２：１、ビームスプリッタ１２３の透過光と反射光との分光比率は１：１に設定することができる。
また、撮像素子１３１〜１３４上の受光量が同一になるようにビームスプリッタ１２１〜１２３の透過光と反射光との分光比率を定めることができ、例えば、４個の撮像素子１３１〜１３４が設けられている場合、ビームスプリッタ１２１の透過光と反射光との分光比率は３：１、ビームスプリッタ１２２の透過光と反射光との分光比率は２：１、ビームスプリッタ１２３の透過光と反射光との分光比率は１：１に設定することができる。
そして、撮像対象１１０から反射された光ビームはテレセントリックレンズ１０１に入射し、テレセントリックレンズ１０１にて平行ビームに変換された後、ビームスプリッタ１２１に入射する。そして、ビームスプリッタ１２１に入射した光ビームは透過光と反射光に分光され、ビームスプリッタ１２１にて分光された反射光はレンズ１４１を介して撮像素子１３１に入射し、撮像対象１１０に対応した光学像が撮像素子１３１上に結像される。
一方、ビームスプリッタ１２１にて分光された透過光はビームスプリッタ１２２に入射し、透過光と反射光に分光される。そして、ビームスプリッタ１２２にて分光された反射光はレンズ１４２を介して撮像素子１３２に入射し、撮像素子１３１上に結像された光学像と同一のサイズの光学像が撮像素子１３２上に結像される。
一方、ビームスプリッタ１２２にて分光された透過光はビームスプリッタ１２３に入射し、透過光と反射光に分光される。そして、ビームスプリッタ１２３にて分光された反射光はレンズ１４３を介して撮像素子１３３に入射し、撮像素子１３１、１３２上に結像された光学像と同一のサイズの光学像が撮像素子１３３上に結像される。
一方、ビームスプリッタ１２２にて分光された透過光はビームスプリッタ１２３に入射し、透過光と反射光に分光される。そして、ビームスプリッタ１２３にて分光された反射光はレンズ１４３を介して撮像素子１３３に入射し、撮像素子１３１、１３２上に結像された光学像と同一のサイズの光学像が撮像素子１３３上に結像される。
一方、ビームスプリッタ１２３にて分光された透過光はレンズ１４４を介して撮像素子１３４に入射し、撮像素子１３１〜１３３上に結像された光学像と同一のサイズの光学像が撮像素子１３４上に結像される。
なお、ビームスプリッタ１２１〜１２３によって撮像素子１３１〜１３４の受光量が減少することから、ビームスプリッタ１２１〜１２３がない場合に比べて撮像素子１３１〜１３４の露光時間を長めに設定することが好ましい。
なお、ビームスプリッタ１２１〜１２３によって撮像素子１３１〜１３４の受光量が減少することから、ビームスプリッタ１２１〜１２３がない場合に比べて撮像素子１３１〜１３４の露光時間を長めに設定することが好ましい。
図３は、図２のテレセントリックレンズの構成例を示す側面図である。
図３において、テレセントリックレンズ１０１には、物体側レンズ５１１、像側レンズ５１２および絞り５２１が設けられ、絞り５２１は物体側レンズ５１１と像側レンズ５１２との間に配置されている。ここで、絞り５２１と像側レンズ５１２との距離５４１は、像側レンズ５１２の焦点距離に等しくなるように設定することができる。
図３において、テレセントリックレンズ１０１には、物体側レンズ５１１、像側レンズ５１２および絞り５２１が設けられ、絞り５２１は物体側レンズ５１１と像側レンズ５１２との間に配置されている。ここで、絞り５２１と像側レンズ５１２との距離５４１は、像側レンズ５１２の焦点距離に等しくなるように設定することができる。
そして、幾何光学におけるガウスの結像公式に基づいて物体側レンズ５１１および像側レンズ５１２を通して光線が屈折する角度や結像位置が決定される。このガウスの結像公式によれば、絞り５２１と像側レンズ５１２との距離５４１が像側レンズ５１２の焦点距離に等しいならば、絞り５２１において物体側レンズ５１１によって結像する光線群は像側レンズ５１２を通過した後、互いに平行な光線となる。このため、絞り５２１の大きさ５４３が十分に小さければ、ビームスプリッタ１２１〜１２３を通過した後に撮像素子１３１〜１３４上に結像する光学像のサイズを互いに等しくすることができる。
また、物体側レンズ５１１と絞り５２１との間の距離５４２を変更したり、物体側レンズ５１１の焦点距離を変えたりすることで、物体側レンズ５１１から撮像対象１１０の物体面までのピントの合う範囲を調整することができる。この場合、像側レンズ５１２から先の光学系および撮像素子１３１〜１３４は変更する必要がないため、様々の撮像対象１１０に対して同一の画像撮影装置１００を用いることを可能としつつ、超解像度技術を適用することが可能となる。
図４は、本発明の一実施形態に係る画像処理装置の概略構成を示すブロック図である。
図４において、画像処理装置３００には、複数の低解像度画像を記憶する低解像度画像メモリ３１１、複数の低解像度画像から生成された高解像度画像を記憶する高解像度画像メモリ３１２、超解像アルゴリズムを適用することにより、複数の低解像度画像から高解像度画像を生成する演算処理部３２１、画像表示装置３５０との間で高解像度画像の入出力を行う入出力装置３２２、演算処理部３２１にて生成された高解像度画像を記憶する画像データ記憶部３３１および演算処理部３２１にて生成された高解像度画像を表示する画像表示装置３５０が設けられている。
図４において、画像処理装置３００には、複数の低解像度画像を記憶する低解像度画像メモリ３１１、複数の低解像度画像から生成された高解像度画像を記憶する高解像度画像メモリ３１２、超解像アルゴリズムを適用することにより、複数の低解像度画像から高解像度画像を生成する演算処理部３２１、画像表示装置３５０との間で高解像度画像の入出力を行う入出力装置３２２、演算処理部３２１にて生成された高解像度画像を記憶する画像データ記憶部３３１および演算処理部３２１にて生成された高解像度画像を表示する画像表示装置３５０が設けられている。
なお、低解像度画像メモリ３１１は複数の撮像素子１３１〜１３４の個数分だけ設け、撮像素子１３１〜１３４にて撮像された低解像度画像をそれぞれ別個に記憶できるようにしてもよい。
そして、画像取得装置２００にて取得された複数の低解像度画像が画像処理装置３００に転送されると、それら複数の低解像度画像が低解像度画像メモリ３１１に記憶される。そして、低解像度画像メモリ３１１に記憶された複数の低解像度画像は演算処理部３２１に送られ、超解像アルゴリズムを適用することにより、それらの複数の低解像度画像から高解像度画像が生成され、高解像度画像メモリ３１２に記憶される。そして、高解像度画像メモリ３１２に記憶された高解像度画像が画像表示装置３５０に送られることで、高解像度画像が画像表示装置３５０に表示される。
そして、画像取得装置２００にて取得された複数の低解像度画像が画像処理装置３００に転送されると、それら複数の低解像度画像が低解像度画像メモリ３１１に記憶される。そして、低解像度画像メモリ３１１に記憶された複数の低解像度画像は演算処理部３２１に送られ、超解像アルゴリズムを適用することにより、それらの複数の低解像度画像から高解像度画像が生成され、高解像度画像メモリ３１２に記憶される。そして、高解像度画像メモリ３１２に記憶された高解像度画像が画像表示装置３５０に送られることで、高解像度画像が画像表示装置３５０に表示される。
図５は、本発明の一実施形態に係る超解像アルゴリズムを示すフローチャートである。
図５において、図４の演算処理部３２１は、複数枚分の低解像度画像データ３１１を取得すると、複数枚分の低解像度画像間の輝度を調整するために、画素値の正規化４１１を行う。
ここで、画素値の正規化４１１の方法としては、以下の式を用いることができる。
ｄ１（ｘ，ｙ）＝ｄ０（ｘ，ｙ）／ｕ（ｉ）
ただし、ｕ（ｉ）は観測された低解像度画像の平均輝度、ｄ０（ｘ，ｙ）は変換前の低解像度画像の座標（ｘ，ｙ）における画素値、ｄ１（ｘ，ｙ）は変換後の低解像度画像の座標（ｘ，ｙ）における画素値である。
図５において、図４の演算処理部３２１は、複数枚分の低解像度画像データ３１１を取得すると、複数枚分の低解像度画像間の輝度を調整するために、画素値の正規化４１１を行う。
ここで、画素値の正規化４１１の方法としては、以下の式を用いることができる。
ｄ１（ｘ，ｙ）＝ｄ０（ｘ，ｙ）／ｕ（ｉ）
ただし、ｕ（ｉ）は観測された低解像度画像の平均輝度、ｄ０（ｘ，ｙ）は変換前の低解像度画像の座標（ｘ，ｙ）における画素値、ｄ１（ｘ，ｙ）は変換後の低解像度画像の座標（ｘ，ｙ）における画素値である。
次に、撮像素子１３１〜１３４のずれ、レンズ１４１〜１４４のぼかし効果、高解像度画像のサイズなどが考慮された結像パラメータ４２１に基づいて、複数の低解像度画像と高解像度画像との関係を線形一次方程式にて表現することで、線形一次方程式化４１２を行う。ここで、画像撮影装置１００にて撮影されたＭ×Ｍ画素のサイズを持つＮ枚の低解像度画像をそれぞれベクトル表現し、以下の記号によって表す。
Ｙ（ｉ）
また、Ｎ枚の低解像度画像から生成されるＬ×Ｌ画素のサイズを持つ高解像度画像をベクトル表現し、以下の記号によって表す。
Ｘ
そして、これらの低解像度画像Ｙ（ｉ）と高解像度画像Ｘとの間には、次の関係式が成り立つものとする。
Ｙ（ｉ）＝Ａ（ｉ）Ｘ＋Ｅ（ｉ） ・・・（１）
Ｙ（ｉ）
また、Ｎ枚の低解像度画像から生成されるＬ×Ｌ画素のサイズを持つ高解像度画像をベクトル表現し、以下の記号によって表す。
Ｘ
そして、これらの低解像度画像Ｙ（ｉ）と高解像度画像Ｘとの間には、次の関係式が成り立つものとする。
Ｙ（ｉ）＝Ａ（ｉ）Ｘ＋Ｅ（ｉ） ・・・（１）
ただし、Ｙ（ｉ）はｉ番目の低解像度画像データ３１１を表すベクトル、Ｘは推定する高解像度画像データ３１２を表すベクトル、Ａ（ｉ）は空間変換、光学的ぼかし効果およびアンダーサンプリングを表す線形行列、Ｅ（ｉ）はノイズである。
ここで、線形行列Ａ（ｉ）のうち空間変換は既知であるとすることができる。また、光学的ぼかし効果は低解像度画像Ｙ（ｉ）と高解像度画像Ｘとの間のずれ量に基づいて、ガウス関数と線形和を用いて表すことができる。さらに、アンダーサンプリングは低解像度画像Ｙ（ｉ）のサイズと高解像度画像Ｘのサイズとによって一意に決定することができる。そして、空間変換、光学的ぼかし効果およびアンダーサンプリングをまとめて結像パラメータ４２１として表すことができる。
ここで、線形行列Ａ（ｉ）のうち空間変換は既知であるとすることができる。また、光学的ぼかし効果は低解像度画像Ｙ（ｉ）と高解像度画像Ｘとの間のずれ量に基づいて、ガウス関数と線形和を用いて表すことができる。さらに、アンダーサンプリングは低解像度画像Ｙ（ｉ）のサイズと高解像度画像Ｘのサイズとによって一意に決定することができる。そして、空間変換、光学的ぼかし効果およびアンダーサンプリングをまとめて結像パラメータ４２１として表すことができる。
ただし、低解像度画像Ｙ（ｉ）のサイズおよび枚数をそれぞれＭ×Ｍ画素およびＮとし、高解像度画像ＸのサイズをＬ×Ｌ画素とすると、以下の関係を満たさなければならない。
Ｌ２≦ＮＭ２
例えば、４個の撮像素子１３１〜１３４を用いた場合、水平および垂直の解像度を最大で２倍まで上げることができる。また、３個の撮像素子を用いた場合、水平および垂直の解像度を最大で約１．７３倍まで上げることができる。
Ｌ２≦ＮＭ２
例えば、４個の撮像素子１３１〜１３４を用いた場合、水平および垂直の解像度を最大で２倍まで上げることができる。また、３個の撮像素子を用いた場合、水平および垂直の解像度を最大で約１．７３倍まで上げることができる。
図６は、本発明の一実施形態に係る複数の低解像度画像から高解像度画像を生成する方法を示す図である。
図６において、撮像素子１３１〜１３４にて撮像された低解像度画像は画素７０１〜７０４からそれぞれ構成されるものとすると、低解像度画像の画素７０１〜７０４がサブピクセル単位で互いにずらされるようにして撮像素子１３１〜１３４上に光学像が結像される。
そして、低解像度画像の画素７０１〜７０４の画素値は、高解像度画像の画素７００の空間的移動、ぼかし効果および間引き効果を考慮することで算出することができる。
そして、上述した低解像度画像Ｙ（ｉ）と高解像度画像Ｘとの間の関係式（１）を番号ｉについて連立することで、以下の式が得られる。
図６において、撮像素子１３１〜１３４にて撮像された低解像度画像は画素７０１〜７０４からそれぞれ構成されるものとすると、低解像度画像の画素７０１〜７０４がサブピクセル単位で互いにずらされるようにして撮像素子１３１〜１３４上に光学像が結像される。
そして、低解像度画像の画素７０１〜７０４の画素値は、高解像度画像の画素７００の空間的移動、ぼかし効果および間引き効果を考慮することで算出することができる。
そして、上述した低解像度画像Ｙ（ｉ）と高解像度画像Ｘとの間の関係式（１）を番号ｉについて連立することで、以下の式が得られる。
また、記号Ｙおよび記号Ｗを以下の式で定義する。
Ｙ＝ＨＸ＋Ｅ ・・・（３）
ただし、Ｅの期待値について、Ｅ［Ｅ］＝０が成り立つものとする。
また、低解像度画像間のノイズの相関がないものとすると、以下の式が成り立つ。
Ｙ＝ＨＸ＋Ｅ ・・・（３）
ただし、Ｅの期待値について、Ｅ［Ｅ］＝０が成り立つものとする。
また、低解像度画像間のノイズの相関がないものとすると、以下の式が成り立つ。
この時、（３）式は確立項Ｅを伴う線形一次方程式になっている。そして、最適化アルゴリズムにて（３）式の解を求めることで、高解像度画像Ｘを求めることができる。
すなわち、図４の演算処理部３２１は、設定パラメータ４２２に基づいて最適化演算処理４２３を実行することで、高解像度画像Ｘを求めることができる。
ここで、最適化アルゴリズムにて（３）式の解を求めるために、以下の最適化問題を解くことができる。
すなわち、図４の演算処理部３２１は、設定パラメータ４２２に基づいて最適化演算処理４２３を実行することで、高解像度画像Ｘを求めることができる。
ここで、最適化アルゴリズムにて（３）式の解を求めるために、以下の最適化問題を解くことができる。
この（５）式の最適化問題は古典的な２次計画問題であり、最急降下法や擬似逆行列による方法などによって容易に解くことができる。
また、高解像度画像Ｘに滑らかさを持たせるために、以下に示すように、滑らかさを考慮した最適化問題を解くことができる。
また、高解像度画像Ｘに滑らかさを持たせるために、以下に示すように、滑らかさを考慮した最適化問題を解くことができる。
ただし、Ｓはラプラシアンを表す作用素、Ｖは重みである。
さらに、高解像度画像Ｘを確率変数とみなし、その自己相関関数をＱとおくと、以下の最適化問題を解くことで、事後確率最大化原理に準じた高解像度画像Ｘを計算することができる。
さらに、高解像度画像Ｘを確率変数とみなし、その自己相関関数をＱとおくと、以下の最適化問題を解くことで、事後確率最大化原理に準じた高解像度画像Ｘを計算することができる。
上述した最適化問題は、以下の形式で表現することができる。
ただし、（５）式の最適化問題では、ＲおよびＰは以下の式で表すことができる。
また、（７）式の最適化問題では、ＲおよびＰは以下の式で表すことができる。
また、（６）式の最適化問題では、ＲおよびＰは以下の式で表すことができる。
（８）式は連立一次方程式であり、ガウスザイデル法、共役勾配法、ヤコビ法などの様々な方法にて解くことができる。
例えば、最急降下法に倣って繰り返し演算によって（８）式を解く方法を以下に示す。
第ｋ番目の高解像度画像Ｘの候補をＸｋとすると、第ｋ番目の高解像度画像Ｘｋから第（ｋ＋１）番目の高解像度画像Ｘｋ＋１を以下の式によって求める。
Ｘｋ＋１＝Ｘｋ−αＲＴ（ＲＸｋ−Ｐ） ・・・（９）
ただし、αは最適化問題を解く際の設定パラメータ４２２であり、非負の値をとる。
また、αは以下の式にて定義される行列Ａのスペクトル半径が１未満になるように選択することができる。
Ａ＝Ｉ−αＲＴＲ
第１番目の高解像度画像Ｘ１を設定する方法としては、観測画像それ自体を用いる方法や全ての画素値を一定値とする方法などがある。
そして、（９）式で与えられる繰り返し演算を適当な回数だけ実行することにより、最終的な高解像度画像Ｘを求めることができる。
例えば、最急降下法に倣って繰り返し演算によって（８）式を解く方法を以下に示す。
第ｋ番目の高解像度画像Ｘの候補をＸｋとすると、第ｋ番目の高解像度画像Ｘｋから第（ｋ＋１）番目の高解像度画像Ｘｋ＋１を以下の式によって求める。
Ｘｋ＋１＝Ｘｋ−αＲＴ（ＲＸｋ−Ｐ） ・・・（９）
ただし、αは最適化問題を解く際の設定パラメータ４２２であり、非負の値をとる。
また、αは以下の式にて定義される行列Ａのスペクトル半径が１未満になるように選択することができる。
Ａ＝Ｉ−αＲＴＲ
第１番目の高解像度画像Ｘ１を設定する方法としては、観測画像それ自体を用いる方法や全ての画素値を一定値とする方法などがある。
そして、（９）式で与えられる繰り返し演算を適当な回数だけ実行することにより、最終的な高解像度画像Ｘを求めることができる。
これにより、複数の撮像素子１３１〜１３４上に同一の視点から見た同一のサイズの光学像をそれぞれ同時に結像させた上で、複数の低解像度画像から高解像度画像を生成することができる。このため、撮像対象１１０が動いている場合や照明環境が変化する場合あるいは撮像装置の手ブレが発生した場合においても、低解像度画像間で輝度や色の変化が発生したり、撮像対象１１０の位置が異なったりするのを防止することができ、半導体製造プロセスの制約によって撮像素子１３１〜１３４の分解能に限界がある場合においても、画質の低下を抑制しつつ、その撮像素子１３１〜１３４の分解能を超える高解像度画像を生成することが可能となる。
また、撮像素子１３１〜１３４間の微小な位置ずれを機械的に固定させることができ、予めキャリブレーションすることで、撮像素子１３１〜１３４間の微小な位置ずれを毎回検出する必要がなくなることから、超解像アルゴリズムを高速かつ精密に適用することができ、計算量やメモリ容量を低減することができる。
また、撮像素子１３１〜１３４間のサブピクセル精度の位置ずれが固定されることから、ＦＰＧＡやＤＳＰを用いたハードウェア処理によって超解像アルゴリズムを実行させることができ、高解像度画像を高速に生成することができる。
また、撮像素子１３１〜１３４間のサブピクセル精度の位置ずれが固定されることから、ＦＰＧＡやＤＳＰを用いたハードウェア処理によって超解像アルゴリズムを実行させることができ、高解像度画像を高速に生成することができる。
さらに、テレセントリックレンズ１０１を用いることにより、ビームスプリッタ１２１〜１２３の配置にある程度の自由度を持たせることができ、撮像素子１３１〜１３４の大きさに左右されることなく、画像撮影装置１００を組み立てることが可能となる。
なお、撮像素子１３１〜１３４間の微小なずれ位置は製造過程によってばらつくことがある。このため、キャリブレーション用のパターンを予め撮影し、各撮像素子１３１〜１３４によって撮影された画像の違いから撮像素子１３１〜１３４間の微小なずれ位置を決定することができる。そして、この決定された微小なずれ位置を結像パラメータ４２１として利用することにより、撮像素子１３１〜１３４間の微小なずれ位置のばらつきを吸収することができる。
なお、撮像素子１３１〜１３４間の微小なずれ位置は製造過程によってばらつくことがある。このため、キャリブレーション用のパターンを予め撮影し、各撮像素子１３１〜１３４によって撮影された画像の違いから撮像素子１３１〜１３４間の微小なずれ位置を決定することができる。そして、この決定された微小なずれ位置を結像パラメータ４２１として利用することにより、撮像素子１３１〜１３４間の微小なずれ位置のばらつきを吸収することができる。
図７は、本発明の第２実施形態に係る画像取得装置２００の概略構成を示すブロック図である。
図７において、画像取得装置２０１には、サブピクセル単位で互いに撮像位置がずらされるようにして同一の時刻に同一の視点から見た複数の低解像度画像を同時に撮影する画像撮影装置１００、画像撮影装置１００にて撮影された複数の低解像度画像を転送する画像転送装置２１１、画像取得装置２０１を計算機３０１に接続する接続インターフェース２１２、画像取得装置２００に電源を供給する電源装置２１３が設けられている。さらに、超解像アルゴリズムを適用することにより、複数の低解像度画像から高解像度画像を生成する演算処理部３２１、複数の低解像度画像や低解像度画像から生成された高解像度画像を記憶するメモリ６１１が設けられている。そして、画像転送装置２１１、演算処理部３２１、メモリ６１１および接続インターフェース２１２はバス６１２を介して互いに接続されている。
図７において、画像取得装置２０１には、サブピクセル単位で互いに撮像位置がずらされるようにして同一の時刻に同一の視点から見た複数の低解像度画像を同時に撮影する画像撮影装置１００、画像撮影装置１００にて撮影された複数の低解像度画像を転送する画像転送装置２１１、画像取得装置２０１を計算機３０１に接続する接続インターフェース２１２、画像取得装置２００に電源を供給する電源装置２１３が設けられている。さらに、超解像アルゴリズムを適用することにより、複数の低解像度画像から高解像度画像を生成する演算処理部３２１、複数の低解像度画像や低解像度画像から生成された高解像度画像を記憶するメモリ６１１が設けられている。そして、画像転送装置２１１、演算処理部３２１、メモリ６１１および接続インターフェース２１２はバス６１２を介して互いに接続されている。
そして、画像撮影装置１００は、サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子上に同一のサイズの光学像をそれぞれ同時に結像させることで、同一の時刻に同一の視点から見た複数の低解像度画像を撮影する。そして、画像撮影装置１００にて同時に撮影された複数の低解像度画像は画像転送装置２１１に送られ、画像転送装置２１１は、それらの複数の低解像度画像をバス６１２を介してメモリ６１１に転送する。そして、画像撮影装置１００にて撮影された複数の低解像度画像がメモリ６１１に転送されると、それら複数の低解像度画像がメモリ６１１に記憶される。そして、メモリ６６１に記憶された複数の低解像度画像は演算処理部３２１に送られ、超解像アルゴリズムを適用することにより、それらの複数の低解像度画像から高解像度画像が生成され、メモリ６１１に記憶される。
これにより、画像取得装置２００を単体として用いた場合においても、複数の撮像素子１３１〜１３４上に同一の視点から見た同一のサイズの光学像をそれぞれ同時に結像させた上で、複数の低解像度画像から高解像度画像を生成することができ、画質の低下を抑制しつつ、撮像素子１３１〜１３４の分解能を超える高解像度画像を得ることが可能となる。
また、ＦＰＧＡやＤＳＰなどの高速プロセッサを演算処理部３２１に用いることで、低コストで高速に一連の処理を実行し、高解像度画像をリアルタイムで出力させることが可能となる。
また、ＦＰＧＡやＤＳＰなどの高速プロセッサを演算処理部３２１に用いることで、低コストで高速に一連の処理を実行し、高解像度画像をリアルタイムで出力させることが可能となる。
図８は、本発明の一実施形態に係る超解像度化処理にかかる処理時間を示す図である。
図８において、図７のメモリ６１１へ同時に転送できる画像データが、撮像素子１３１〜１３４にてそれぞれ撮像された低解像度画像の１枚分に相当する場合、複数の撮像素子１３１〜１３４の露光１００２が画像撮影装置１００にて行われた後、複数枚の低解像度画像の画像転送１００３が１枚ずつ行われ、さらに超解像度化１００４が行われる。
図８において、図７のメモリ６１１へ同時に転送できる画像データが、撮像素子１３１〜１３４にてそれぞれ撮像された低解像度画像の１枚分に相当する場合、複数の撮像素子１３１〜１３４の露光１００２が画像撮影装置１００にて行われた後、複数枚の低解像度画像の画像転送１００３が１枚ずつ行われ、さらに超解像度化１００４が行われる。
このため、低解像度画像から高解像度画像を生成するまでにかかる処理時間１００１は、（露光１００２にかかる時間）＋（画像転送１００３にかかる時間）×（低解像度画像の枚数）＋（超解像度化１００４にかかる時間）となり、図１６の撮像位置移動１２０４にかかる時間がなくなることから、図１６の方法に比べて大幅に短縮することができる。
図９は、本発明の一実施形態に係る超解像度化処理にかかる処理時間のその他の例を示す図である。
図９において、図７のメモリ６６１へ同時に転送できる画像データが、撮像素子１３１〜１３４にてそれぞれ撮像された低解像度画像の枚数分に相当する場合、複数の撮像素子１３１〜１３４の露光１１０２が画像撮影装置１００にて一度に行われた後、複数枚の低解像度画像の画像転送１１０３が一度に行われ、さらに超解像度化１１０４が行われる。
このため、低解像度画像から高解像度画像を生成するまでにかかる処理時間１１０１は、（露光１１０２にかかる時間）＋（画像転送１１０３にかかる時間）＋（超解像度化１１０４にかかる時間）となり、図８の方法よりもさらに短縮することができる。
図９において、図７のメモリ６６１へ同時に転送できる画像データが、撮像素子１３１〜１３４にてそれぞれ撮像された低解像度画像の枚数分に相当する場合、複数の撮像素子１３１〜１３４の露光１１０２が画像撮影装置１００にて一度に行われた後、複数枚の低解像度画像の画像転送１１０３が一度に行われ、さらに超解像度化１１０４が行われる。
このため、低解像度画像から高解像度画像を生成するまでにかかる処理時間１１０１は、（露光１１０２にかかる時間）＋（画像転送１１０３にかかる時間）＋（超解像度化１１０４にかかる時間）となり、図８の方法よりもさらに短縮することができる。
図１０は、本発明の第３実施形態に係る画像生成装置における光学系の概略構成を示す側面図である。
図１０において、画像撮影装置２１００には、入射ビームを平行ビームに変換するテレセントリックレンズ２１０１、テレセントリックレンズ２１０１から出射された平行ビームを複数の光ビームに分光するビームスプリッタ２１２１〜２１２３、ビームスプリッタ２１２１〜２１２３にて分光された光ビームがそれぞれ入射される撮像素子２１３１〜２１３４、ビームスプリッタ２１２１〜２１２３にて分光された光ビームを撮像素子２１３１〜２１３４上にそれぞれ結像させるレンズ２１４１〜２１４４、ビームスプリッタ２１２１〜２１２３にて分光された光ビームを反射させるミラー２１２４、サブピクセル単位で互いに撮像位置がずらされた状態で撮像素子２１３１〜２１３４を同一平面上で支持する支持体２１６１が設けられている。
図１０において、画像撮影装置２１００には、入射ビームを平行ビームに変換するテレセントリックレンズ２１０１、テレセントリックレンズ２１０１から出射された平行ビームを複数の光ビームに分光するビームスプリッタ２１２１〜２１２３、ビームスプリッタ２１２１〜２１２３にて分光された光ビームがそれぞれ入射される撮像素子２１３１〜２１３４、ビームスプリッタ２１２１〜２１２３にて分光された光ビームを撮像素子２１３１〜２１３４上にそれぞれ結像させるレンズ２１４１〜２１４４、ビームスプリッタ２１２１〜２１２３にて分光された光ビームを反射させるミラー２１２４、サブピクセル単位で互いに撮像位置がずらされた状態で撮像素子２１３１〜２１３４を同一平面上で支持する支持体２１６１が設けられている。
そして、撮像対象２１１０から反射された光ビームはテレセントリックレンズ２１０１に入射し、テレセントリックレンズ２１０１にて平行ビームに変換された後、ビームスプリッタ２１２１に入射する。そして、ビームスプリッタ２１２１に入射した光ビームは透過光と反射光に分光され、ビームスプリッタ２１２１にて分光された反射光はレンズ２１４１を介して撮像素子２１３１に入射し、撮像対象２１１０に対応した光学像が撮像素子２１３１上に結像される。
一方、ビームスプリッタ２１２１にて分光された透過光はビームスプリッタ２１２２に入射し、透過光と反射光に分光される。そして、ビームスプリッタ２１２２にて分光された反射光はレンズ２１４２を介して撮像素子２１３２に入射し、撮像素子２１３１上に結像された光学像と同一のサイズの光学像が撮像素子２１３２上に結像される。
一方、ビームスプリッタ２１２２にて分光された透過光はビームスプリッタ２１２３に入射し、透過光と反射光に分光される。そして、ビームスプリッタ２１２３にて分光された反射光はレンズ２１４３を介して撮像素子１３３に入射し、撮像素子２１３１、２１３２上に結像された光学像と同一のサイズの光学像が撮像素子２１３３上に結像される。
一方、ビームスプリッタ２１２２にて分光された透過光はビームスプリッタ２１２３に入射し、透過光と反射光に分光される。そして、ビームスプリッタ２１２３にて分光された反射光はレンズ２１４３を介して撮像素子１３３に入射し、撮像素子２１３１、２１３２上に結像された光学像と同一のサイズの光学像が撮像素子２１３３上に結像される。
一方、ビームスプリッタ２１２３にて分光された透過光はミラー２１２４にて反射された後、レンズ２１４４を介して撮像素子２１３４に入射し、撮像素子２１３１〜２１３３上に結像された光学像と同一のサイズの光学像が撮像素子２１３４上に結像される。
これにより、撮像素子２１３１〜２１３４を同一平面上に配置することを可能としつつ、複数の撮像素子２１３１〜２１３４上に同一の視点から見た同一のサイズの光学像をそれぞれ同時に結像させることができ、画質の低下を抑制しつつ、複数の低解像度画像から高解像度画像を生成することが可能となるとともに、撮像素子２１３１〜２１３４間のすれのキャリブレーションを効率よく行うことができる。
これにより、撮像素子２１３１〜２１３４を同一平面上に配置することを可能としつつ、複数の撮像素子２１３１〜２１３４上に同一の視点から見た同一のサイズの光学像をそれぞれ同時に結像させることができ、画質の低下を抑制しつつ、複数の低解像度画像から高解像度画像を生成することが可能となるとともに、撮像素子２１３１〜２１３４間のすれのキャリブレーションを効率よく行うことができる。
図１１は、本発明の第４実施形態に係る画像生成装置における光学系の概略構成を示す側面図である。
図１１において、画像撮影装置３１００には、入射ビームを集光する対物レンズ３１０１、対物レンズ３１０１から出射された光ビームを複数の光ビームに分光するビームスプリッタ３１２１〜３１２３、ビームスプリッタ３１２１〜３１２３にて分光された光ビームがそれぞれ入射される撮像素子３１３１〜３１３４、サブピクセル単位で互いに撮像位置がずらされた状態で対物レンズ３１０１から結像面までの光路長が等しくなるように撮像素子３１３１〜３１３４を支持する支持体３１６１が設けられている。
図１１において、画像撮影装置３１００には、入射ビームを集光する対物レンズ３１０１、対物レンズ３１０１から出射された光ビームを複数の光ビームに分光するビームスプリッタ３１２１〜３１２３、ビームスプリッタ３１２１〜３１２３にて分光された光ビームがそれぞれ入射される撮像素子３１３１〜３１３４、サブピクセル単位で互いに撮像位置がずらされた状態で対物レンズ３１０１から結像面までの光路長が等しくなるように撮像素子３１３１〜３１３４を支持する支持体３１６１が設けられている。
ここで、撮像素子３１３１〜３１３４は、対物レンズ３１０１から結像面までの光路長が等しくなるように支持体３１６１にて支持することができる。具体的には、（対物レンズ３１０１からビームスプリッタ３１２１までの光路長３１４１＋ビームスプリッタ３１２１から撮像素子３１３１までの光路長３１５１）＝（対物レンズ３１０１からビームスプリッタ３１２２までの光路長３１４２＋ビームスプリッタ３１２２から撮像素子３１３２までの光路長３１５２）＝（対物レンズ３１０１からビームスプリッタ３１２３までの光路長３１４３＋ビームスプリッタ３１２３から撮像素子３１３３までの光路長３１５３）＝（対物レンズ３１０１から撮像素子３１３４までの光路長３１４４）となるように、撮像素子３１３１〜３１３４を支持体３１６１にて支持することができる。
そして、撮像対象３１１０から反射された光ビームは対物レンズ３１０１に入射し、対物レンズ３１０１にて集光された後、ビームスプリッタ３１２１に入射する。そして、ビームスプリッタ３１２１に入射した光ビームは透過光と反射光に分光され、ビームスプリッタ３１２１にて分光された反射光は撮像素子３１３１に入射し、撮像対象３１１０に対応した光学像が撮像素子３１３１上に結像される。
一方、ビームスプリッタ３１２１にて分光された透過光はビームスプリッタ３１２２に入射し、透過光と反射光に分光される。そして、ビームスプリッタ３１２２にて分光された反射光は撮像素子３１３２に入射し、撮像素子３１３１上に結像された光学像と同一のサイズの光学像が撮像素子３１３２上に結像される。
一方、ビームスプリッタ３１２２にて分光された透過光はビームスプリッタ３１２３に入射し、透過光と反射光に分光される。そして、ビームスプリッタ３１２３にて分光された反射光は撮像素子３１３３に入射し、撮像素子３１３１、３１３２上に結像された光学像と同一のサイズの光学像が撮像素子３１３３上に結像される。
一方、ビームスプリッタ３１２２にて分光された透過光はビームスプリッタ３１２３に入射し、透過光と反射光に分光される。そして、ビームスプリッタ３１２３にて分光された反射光は撮像素子３１３３に入射し、撮像素子３１３１、３１３２上に結像された光学像と同一のサイズの光学像が撮像素子３１３３上に結像される。
一方、ビームスプリッタ３１２３にて分光された透過光は撮像素子３１３４に入射し、撮像素子３１３１〜３１３３上に結像された光学像と同一のサイズの光学像が撮像素子３１３４上に結像される。
これにより、テレセントリックレンズ２１０１を用いることなく、複数の撮像素子２１３１〜２１３４上に同一の視点から見た同一のサイズの光学像をそれぞれ同時に結像させることができ、画質の低下を抑制しつつ、複数の低解像度画像から高解像度画像を生成することが可能となるとともに、光学系の簡略化を図ることができる。
これにより、テレセントリックレンズ２１０１を用いることなく、複数の撮像素子２１３１〜２１３４上に同一の視点から見た同一のサイズの光学像をそれぞれ同時に結像させることができ、画質の低下を抑制しつつ、複数の低解像度画像から高解像度画像を生成することが可能となるとともに、光学系の簡略化を図ることができる。
図１２は、図１１の対物レンズの構成例を示す側面図である。
図１２において、図１１の対物レンズ３１０１が単一のレンズで構成されるものとする。この場合、撮像対象３１１０の物体面から対物レンズ３１０１までの距離３６４４は、対物レンズ３１０１の焦点距離３６４６と、対物レンズ３１０１から撮像素子３１３４の結像面までの距離３６４５によってガウスの結像公式にて求めることができる。このガウスの結像公式によれば、撮像素子３１３４の結像面までの距離３６４５は比較的長くとれるため、撮像対象３１１０の物体面から対物レンズ３１０１までの距離３６４４は短くなる。このため、対物レンズ３１０１を単一のレンズで構成する方法は、接写距離が比較的小さな微細構造の観察用途などに適している。また、レンズが１つであるため、製造コストを抑えることができる。
図１２において、図１１の対物レンズ３１０１が単一のレンズで構成されるものとする。この場合、撮像対象３１１０の物体面から対物レンズ３１０１までの距離３６４４は、対物レンズ３１０１の焦点距離３６４６と、対物レンズ３１０１から撮像素子３１３４の結像面までの距離３６４５によってガウスの結像公式にて求めることができる。このガウスの結像公式によれば、撮像素子３１３４の結像面までの距離３６４５は比較的長くとれるため、撮像対象３１１０の物体面から対物レンズ３１０１までの距離３６４４は短くなる。このため、対物レンズ３１０１を単一のレンズで構成する方法は、接写距離が比較的小さな微細構造の観察用途などに適している。また、レンズが１つであるため、製造コストを抑えることができる。
図１３は、図１１の対物レンズのその他の構成例を示す側面図である。
図１３において、図１１の対物レンズ３１０１が複数のレンズで構成されるものとする。この場合、対物レンズ３１０１には、物体側レンズ３７１１、像側レンズ３７１２および絞り３７２１が設けられ、絞り３７２１は物体側レンズ３７１１と像側レンズ３７１２との間に配置される。
図１３において、図１１の対物レンズ３１０１が複数のレンズで構成されるものとする。この場合、対物レンズ３１０１には、物体側レンズ３７１１、像側レンズ３７１２および絞り３７２１が設けられ、絞り３７２１は物体側レンズ３７１１と像側レンズ３７１２との間に配置される。
そして、物体側レンズ３７１１を通して絞り３７２１付近で結像した光学像は、像側レンズ３７１２を通して再び撮像素子３１３４の結像面上で結像する。ここで、像側レンズ３７１２の焦点距離や絞り３７２１から像側レンズ３７１２までの距離３７４１を用いて像側レンズ３７１２から撮像素子３１３４の結像面までの距離３７４５を調整し、物体側レンズ３７１１の焦点距離や絞り３７２１から物体側レンズ３７１１までの距離３７４２を用いて物体側レンズ３７１１から撮像対象３１１０の物体面までの距離３７４４を調整することにより、対物レンズ３１０１から撮像対象３１１０までの距離や対物レンズ３１０１から撮像素子３１３４までの距離に比較的大きな設計の自由度を持たせることができる。
図１４は、本発明の第５実施形態に係る画像生成装置における光学系の概略構成を示す側面図である。
図１４において、画像撮影装置４１００には、入射ビームを集光する対物レンズ４１０１、対物レンズ４１０１から出射された光ビームを複数の光ビームに分光するビームスプリッタ４１２１〜４１２３、ビームスプリッタ４１２１〜４１２３にて分光された光ビームがそれぞれ入射される撮像素子４１３１〜４１３４が設けられている。ここで、ビームスプリッタ４１２２はビームスプリッタ４１２１の反射光が入射されるようにしてビームスプリッタ４１２１に接するように配置され、ビームスプリッタ４１２３はビームスプリッタ４１２１の透過光が入射されるようにしてビームスプリッタ４１２１に接するように配置されている。そして、撮像素子４１３１〜４１３４は、サブピクセル単位で互いに撮像位置がずらされた状態で対物レンズ４１０１から結像面までの光路長が等しくなるようにビームスプリッタ４１２１〜４１２３にて支持されている。
図１４において、画像撮影装置４１００には、入射ビームを集光する対物レンズ４１０１、対物レンズ４１０１から出射された光ビームを複数の光ビームに分光するビームスプリッタ４１２１〜４１２３、ビームスプリッタ４１２１〜４１２３にて分光された光ビームがそれぞれ入射される撮像素子４１３１〜４１３４が設けられている。ここで、ビームスプリッタ４１２２はビームスプリッタ４１２１の反射光が入射されるようにしてビームスプリッタ４１２１に接するように配置され、ビームスプリッタ４１２３はビームスプリッタ４１２１の透過光が入射されるようにしてビームスプリッタ４１２１に接するように配置されている。そして、撮像素子４１３１〜４１３４は、サブピクセル単位で互いに撮像位置がずらされた状態で対物レンズ４１０１から結像面までの光路長が等しくなるようにビームスプリッタ４１２１〜４１２３にて支持されている。
具体的には、撮像素子４１３１は、ビームスプリッタ４１２２の透過光が入射されるようにしてビームスプリッタ４１２２に接するように配置され、撮像素子４１３２は、ビームスプリッタ４１２２の反射光が入射されるようにしてビームスプリッタ４１２２に接するように配置され、撮像素子４１３３は、ビームスプリッタ４１２３の透過光が入射されるようにしてビームスプリッタ４１２３に接するように配置され、撮像素子４１３４は、ビームスプリッタ４１２３の反射光が入射されるようにしてビームスプリッタ４１２３に接するように配置されている。
なお、撮像素子４１３１〜４１３４上の受光量が同一になるようにビームスプリッタ４１２１〜４１２３の透過光と反射光との分光比率を定めることができ、例えば、４個の撮像素子４１３１〜４１３４が設けられている場合、ビームスプリッタ４１２１の透過光と反射光との分光比率は１：１、ビームスプリッタ４１２２の透過光と反射光との分光比率は１：１、ビームスプリッタ４１２３の透過光と反射光との分光比率は１：１に設定することができる。
そして、撮像対象４１１０から反射された光ビームは対物レンズ４１０１に入射し、対物レンズ４１０１にて集光された後、ビームスプリッタ４１２１に入射する。そして、ビームスプリッタ４１２１に入射した光ビームは透過光と反射光に分光され、ビームスプリッタ４１２１にて分光された反射光はビームスプリッタ４１２２に入射し、ビームスプリッタ４１２２にてさらに透過光と反射光に分光される。そして、ビームスプリッタ４１２２にて分光された透過光は撮像素子４１３１に入射し、撮像対象４１１０に対応した光学像が撮像素子４１３１上に結像される。
一方、ビームスプリッタ４１２２にて分光された反射光は撮像素子４１３２に入射し、撮像素子４１３１上に結像された光学像と同一のサイズの光学像が撮像素子４１３２上に結像される。
一方、ビームスプリッタ４１２１にて分光された透過光はビームスプリッタ４１２３に入射し、ビームスプリッタ４１２３にてさらに透過光と反射光に分光される。そして、ビームスプリッタ４１２３にて分光された透過光は撮像素子４１３３に入射し、撮像素子４１３１、４１３２上に結像された光学像と同一のサイズの光学像が撮像素子４１３３上に結像される。
一方、ビームスプリッタ４１２１にて分光された透過光はビームスプリッタ４１２３に入射し、ビームスプリッタ４１２３にてさらに透過光と反射光に分光される。そして、ビームスプリッタ４１２３にて分光された透過光は撮像素子４１３３に入射し、撮像素子４１３１、４１３２上に結像された光学像と同一のサイズの光学像が撮像素子４１３３上に結像される。
一方、ビームスプリッタ４１２３にて分光された反射光は撮像素子４１３４に入射し、撮像素子４１３１、４１３２、４１３３上に結像された光学像と同一のサイズの光学像が撮像素子４１３４上に結像される。
これにより、テレセントリックレンズ２１０１を用いることなく、複数の撮像素子４１３１〜４１３４上に同一の視点から撮像された同一のサイズの光学像をそれぞれ同時に結像させることができ、画質の低下を抑制しつつ、複数の低解像度画像から高解像度画像を生成することが可能となるとともに、画像撮影装置のコンパクト化を実現しつつ、光学系の簡略化を図ることができる。
これにより、テレセントリックレンズ２１０１を用いることなく、複数の撮像素子４１３１〜４１３４上に同一の視点から撮像された同一のサイズの光学像をそれぞれ同時に結像させることができ、画質の低下を抑制しつつ、複数の低解像度画像から高解像度画像を生成することが可能となるとともに、画像撮影装置のコンパクト化を実現しつつ、光学系の簡略化を図ることができる。
本発明では、複数の低解像度の撮像素子を用いることで、空間的な歪がなく、しかも時間的にずれのない高解像画像を生成することができ、品質検査装置分野、コンピュータビジョン分野、画像認識応用分野、映像製作分野などに利用することができる。
１００、２１００、３１００、４１００ 画像撮影装置
１０１、２１０１ テレセントリックレンズ
１１０、２１００、３１００、４１１０ 撮像対象
１２１〜１２３、２１２１〜２１２３、３１２１〜３１２３、４１２１〜４１２３ ビームスプリッタ
１３１〜１３４、２１３１〜２１３４、３１３１〜３１３４、４１３１〜４１３４ 撮像素子
１４１〜１４４、２１４１〜２１４４ レンズ
１６１、２１６１、３１６１ 支持体
２１２４ ミラー
２００ 画像取得装置
２１１ 画像転送装置
２１２ 接続インターフェース
２１３ 電源装置
３００ 画像処理装置
３１１ 低解像度画像メモリ
３１２ 高解像度画像メモリ
３２１ 演算処理部
３２２ 入出力装置
３３１ 画像データ記憶部
３５０ 画像表示装置
５１１、３７１１ 物体側レンズ
５１２、３７１２ 像側レンズ
５２１、３７２１ 絞り
７００〜７０４ 画素
３１０１、４１０１ 対物レンズ
１０１、２１０１ テレセントリックレンズ
１１０、２１００、３１００、４１１０ 撮像対象
１２１〜１２３、２１２１〜２１２３、３１２１〜３１２３、４１２１〜４１２３ ビームスプリッタ
１３１〜１３４、２１３１〜２１３４、３１３１〜３１３４、４１３１〜４１３４ 撮像素子
１４１〜１４４、２１４１〜２１４４ レンズ
１６１、２１６１、３１６１ 支持体
２１２４ ミラー
２００ 画像取得装置
２１１ 画像転送装置
２１２ 接続インターフェース
２１３ 電源装置
３００ 画像処理装置
３１１ 低解像度画像メモリ
３１２ 高解像度画像メモリ
３２１ 演算処理部
３２２ 入出力装置
３３１ 画像データ記憶部
３５０ 画像表示装置
５１１、３７１１ 物体側レンズ
５１２、３７１２ 像側レンズ
５２１、３７２１ 絞り
７００〜７０４ 画素
３１０１、４１０１ 対物レンズ
Claims (10)
- サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子と、
前記複数の撮像素子上に同一の視点から見た同一のサイズの光学像をそれぞれ同時に結像させる光学系と、
前記撮像素子にて同時に撮像された複数の低解像度画像から高解像度画像を生成する画像処理手段とを備えることを特徴とする画像生成装置。 - 入射ビームを平行ビームに変換するテレセントリックレンズと、
前記テレセントリックレンズから出射された平行ビームを複数の光ビームに分光するビームスプリッタと、
サブピクセル単位で互いに撮像位置がずらされて配置され、前記ビームスプリッタにて分光された光ビームをそれぞれ入射させる複数の撮像素子と、
前記撮像素子にて同時に撮像された複数の低解像度画像から高解像度画像を生成する画像処理手段とを備えることを特徴とする請求項１記載の画像生成装置。 - 入射ビームを集光する対物レンズと、
サブピクセル単位で互いに撮像位置がずらされて配置されるとともに、前記対物レンズから結像面までの光路長が等しくなるように配置された複数の撮像素子と、
前記撮像素子にて同時に撮像された複数の低解像度画像から高解像度画像を生成する画像処理手段とを備えることを特徴とする請求項１記載の画像生成装置。 - 入射ビームを集光する対物レンズと、
前記対物レンズにて集光された光ビームを複数の光ビームに分光するビームスプリッタと、
サブピクセル単位で互いに撮像位置がずらされて配置されるとともに、前記ビームスプリッタによる分光回数が互いに一致するようにして前記対物レンズから結像面までの光路長が等しくなるように配置された複数の撮像素子と、
前記撮像素子にて同時に撮像された複数の低解像度画像から高解像度画像を生成する画像処理手段とを備えることを特徴とする請求項３記載の画像生成装置。 - 前記画像処理手段は、
前記低解像度画像の画素値を正規化する画素値正規化手段と、
ベクトル表現した前記複数の低解像度画像と高解像度画像との関係を線形一次方程式化する線形一次方程式化手段と、
前記線形一次方程式を最適化問題として解くことにより、前記高解像度画像を算出する最適化演算処理手段とを備えることを特徴とする請求項１から４のいずれか１項記載の画像生成装置。 - サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子上に同一のサイズの光学像をそれぞれ同時に結像させるステップと、
前記複数の撮像素子にて同時に撮像された低解像度画像から高解像度画像を生成するステップとを備えることを特徴とする画像生成方法。 - 入射ビームを平行ビームに変換するステップと、
前記平行ビームを複数の光ビームに分光するステップと、
サブピクセル単位で互いに撮像位置がずらされて配置された複数の撮像素子上に、前記分光された光ビームをそれぞれ同時に入射させるステップと、
前記複数の撮像素子にて同時に撮像された低解像度画像から高解像度画像を生成するステップとを備えることを特徴とする請求項６記載の画像生成方法。 - 入射ビームを対物レンズにて集光するステップと、
サブピクセル単位で互いに撮像位置がずらされて配置されるとともに、前記対物レンズから結像面までの光路長が等しくなるように配置された複数の撮像素子上に、前記集光された光ビームをそれぞれ同時に入射させるステップと、
前記撮像素子にて同時に撮像された低解像度画像から高解像度画像を生成するステップとを備えることを特徴とする請求項６記載の画像生成方法。 - 入射ビームを対物レンズにて集光するステップと、
前記対物レンズにて集光された光ビームを複数の光ビームに分光するステップと、
サブピクセル単位で互いに撮像位置がずらされて配置されるとともに、前記分光回数が互いに一致するようにして前記対物レンズから結像面までの光路長が等しくなるように配置された複数の撮像素子上に、前記分光された光ビームをそれぞれ同時に入射させるステップと、
前記撮像素子にて同時に撮像された低解像度画像から高解像度画像を生成するステップとを備えることを特徴とする請求項８記載の画像生成方法。 - 前記低解像度画像から高解像度画像を生成するステップは、
前記低解像度画像の画素値を正規化するステップと、
ベクトル表現した前記複数の低解像度画像と高解像度画像との関係を線形一次方程式化するステップと、
前記線形一次方程式を最適化問題として解くことにより、前記高解像度画像を算出するステップとを備えることを特徴とする請求項６から９のいずれか１項記載の画像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006291451A JP2008109477A (ja) | 2006-10-26 | 2006-10-26 | 画像生成装置および画像生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006291451A JP2008109477A (ja) | 2006-10-26 | 2006-10-26 | 画像生成装置および画像生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008109477A true JP2008109477A (ja) | 2008-05-08 |
Family
ID=39442454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006291451A Pending JP2008109477A (ja) | 2006-10-26 | 2006-10-26 | 画像生成装置および画像生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008109477A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010157831A (ja) * | 2008-12-26 | 2010-07-15 | Canon Inc | 画像処理装置及び画像処理方法、並びに、コンピュータプログラムおよび記憶媒体 |
| JP2014511155A (ja) * | 2011-03-31 | 2014-05-12 | ビジュアル インテリジェンス，エルピー | 自己較正リモートイメージング及びデータ処理システム |
| US9389298B2 (en) | 2002-09-20 | 2016-07-12 | Visual Intelligence Lp | Self-calibrated, remote imaging and data processing system |
| CN107077601A (zh) * | 2014-09-30 | 2017-08-18 | 高通股份有限公司 | 使用基于事件的视觉传感器进行低功率始终接通脸部检测、跟踪、辨识及/或分析 |
| CN107687812A (zh) * | 2017-09-19 | 2018-02-13 | 南通爱慕希机械股份有限公司 | 一种基于机器视觉的外螺纹智能检测系统 |
| US10614332B2 (en) | 2016-12-16 | 2020-04-07 | Qualcomm Incorportaed | Light source modulation for iris size adjustment |
| US10984235B2 (en) | 2016-12-16 | 2021-04-20 | Qualcomm Incorporated | Low power data generation for iris-related detection and authentication |
| US11068712B2 (en) | 2014-09-30 | 2021-07-20 | Qualcomm Incorporated | Low-power iris scan initialization |
| USRE49105E1 (en) | 2002-09-20 | 2022-06-14 | Vi Technologies, Llc | Self-calibrated, remote imaging and data processing system |
| WO2022201501A1 (ja) * | 2021-03-26 | 2022-09-29 | パイオニア株式会社 | センサ装置 |
| WO2022201502A1 (ja) * | 2021-03-26 | 2022-09-29 | パイオニア株式会社 | センサ装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02295383A (ja) * | 1989-05-10 | 1990-12-06 | Clarion Co Ltd | 高精細度撮像装置 |
| JPH0490284A (ja) * | 1990-08-02 | 1992-03-24 | Kyodo Printing Co Ltd | 撮像装置 |
| JP2005136868A (ja) * | 2003-10-31 | 2005-05-26 | Sony Corp | 撮像装置および撮像方法、画像処理装置および画像処理方法、画像表示システム、記録媒体、並びにプログラム |
| JP2005333336A (ja) * | 2004-05-19 | 2005-12-02 | Olympus Corp | 撮像装置 |
| JP2006127241A (ja) * | 2004-10-29 | 2006-05-18 | Tokyo Institute Of Technology | 超解像処理の高速化方法 |
| JP2006126974A (ja) * | 2004-10-26 | 2006-05-18 | Tohken Co Ltd | コード読取装置 |
-
2006
- 2006-10-26 JP JP2006291451A patent/JP2008109477A/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02295383A (ja) * | 1989-05-10 | 1990-12-06 | Clarion Co Ltd | 高精細度撮像装置 |
| JPH0490284A (ja) * | 1990-08-02 | 1992-03-24 | Kyodo Printing Co Ltd | 撮像装置 |
| JP2005136868A (ja) * | 2003-10-31 | 2005-05-26 | Sony Corp | 撮像装置および撮像方法、画像処理装置および画像処理方法、画像表示システム、記録媒体、並びにプログラム |
| JP2005333336A (ja) * | 2004-05-19 | 2005-12-02 | Olympus Corp | 撮像装置 |
| JP2006126974A (ja) * | 2004-10-26 | 2006-05-18 | Tohken Co Ltd | コード読取装置 |
| JP2006127241A (ja) * | 2004-10-29 | 2006-05-18 | Tokyo Institute Of Technology | 超解像処理の高速化方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9389298B2 (en) | 2002-09-20 | 2016-07-12 | Visual Intelligence Lp | Self-calibrated, remote imaging and data processing system |
| US9797980B2 (en) | 2002-09-20 | 2017-10-24 | Visual Intelligence Lp | Self-calibrated, remote imaging and data processing system |
| USRE49105E1 (en) | 2002-09-20 | 2022-06-14 | Vi Technologies, Llc | Self-calibrated, remote imaging and data processing system |
| JP2010157831A (ja) * | 2008-12-26 | 2010-07-15 | Canon Inc | 画像処理装置及び画像処理方法、並びに、コンピュータプログラムおよび記憶媒体 |
| JP2014511155A (ja) * | 2011-03-31 | 2014-05-12 | ビジュアル インテリジェンス，エルピー | 自己較正リモートイメージング及びデータ処理システム |
| CN107077601A (zh) * | 2014-09-30 | 2017-08-18 | 高通股份有限公司 | 使用基于事件的视觉传感器进行低功率始终接通脸部检测、跟踪、辨识及/或分析 |
| US11068712B2 (en) | 2014-09-30 | 2021-07-20 | Qualcomm Incorporated | Low-power iris scan initialization |
| US10614332B2 (en) | 2016-12-16 | 2020-04-07 | Qualcomm Incorportaed | Light source modulation for iris size adjustment |
| US10984235B2 (en) | 2016-12-16 | 2021-04-20 | Qualcomm Incorporated | Low power data generation for iris-related detection and authentication |
| CN107687812A (zh) * | 2017-09-19 | 2018-02-13 | 南通爱慕希机械股份有限公司 | 一种基于机器视觉的外螺纹智能检测系统 |
| WO2022201501A1 (ja) * | 2021-03-26 | 2022-09-29 | パイオニア株式会社 | センサ装置 |
| WO2022201502A1 (ja) * | 2021-03-26 | 2022-09-29 | パイオニア株式会社 | センサ装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2008109477A (ja) | 画像生成装置および画像生成方法 | |
| JP6702323B2 (ja) | カメラモジュール、固体撮像素子、電子機器、および撮像方法 | |
| JP5988790B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム | |
| TWI480832B (zh) | 用於三維感測的參考圖像技術 | |
| JP5751986B2 (ja) | 画像生成装置 | |
| JP5489897B2 (ja) | ステレオ測距装置及びステレオ測距方法 | |
| JP4440341B2 (ja) | キャリブレーション方法、キャリブレーション装置及びその装置を備えるキャリブレーションシステム | |
| US7646938B2 (en) | Method and system for super-resolution of confocal images acquired through an image guide, and device used for implementing such a method | |
| US8675062B2 (en) | Shape measuring device, observation device, and image processing method | |
| CN106483105B (zh) | 基于强度关联成像的透射式微视觉系统及图像获取方法 | |
| US10410366B2 (en) | Imaging system using structured light for depth recovery | |
| CN107113370A (zh) | 图像捕获装置及图像捕获方法 | |
| CN111833248B (zh) | 基于部分哈达玛矩阵的超分辨率鬼成像方法及系统 | |
| JP2006127241A (ja) | 超解像処理の高速化方法 | |
| JP4699406B2 (ja) | 画像処理装置、画像処理方法、画像処理装置制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2012052921A (ja) | 撮像システム | |
| JP2016162833A (ja) | 撮像素子、撮像装置および画像処理装置 | |
| JP6113406B2 (ja) | 赤外線目標検出装置 | |
| JPWO2014171438A1 (ja) | ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム | |
| CN109923854B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
| CN109923853B (zh) | 图像处理装置、图像处理方法以及程序 | |
| JP2013021636A (ja) | 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体 | |
| JP4556803B2 (ja) | 画像処理装置及びプログラム | |
| JP2018133064A (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
| JP4695557B2 (ja) | 要素画像群補正装置、要素画像群取得システム、要素画像群補正方法及び要素画像群補正プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080201 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090914 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110308 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120124 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20120125 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120612 |