JP2006140886A

JP2006140886A - 撮像装置および画像の高解像化方法

Info

Publication number: JP2006140886A
Application number: JP2004330253A
Authority: JP
Inventors: Takahiro Yano; 高宏矢野; Tomoyuki Nakamura; 智幸中村; Masatoshi Okutomi; 正敏奥富; Masao Shimizu; 雅夫清水
Original assignee: Olympus Corp; Tokyo Institute of Technology NUC
Current assignee: Olympus Corp; Tokyo Institute of Technology NUC
Priority date: 2004-11-15
Filing date: 2004-11-15
Publication date: 2006-06-01
Anticipated expiration: 2024-11-15
Also published as: US20100253796A1; US7990428B2; EP1816856A1; JP4151793B2; WO2006052029A1

Abstract

【課題】画素数の少ない画像データを用いて精度よく高解像度の画像を生成する撮像装置および画像の高解像化方法の提供。
【解決手段】光学系は、撮像部101に光学像を結像し、結像した画像は空間的に離散化してサンプリング、画像信号に変換され記録部105に記録される。また、撮像部101で画像が撮像されたタイミングは、撮像タイミング記録部107に記録される。撮像された画像に対する重み係数は、撮像タイミング記録部107で得られたタイミング情報を利用して、重み計算部104で計算される。高解像度化処理部106は、重み計算部104で生成された画像の重み付け情報を用いて高解像度な画像を生成する。
【選択図】図１

Description

本発明は、画素数の少ない画像入力手段を利用して高解像度の画像を生成する撮像装置および画像の高解像化方法に関するものである。

画素数の少ない画像データを用いて高解像度の画像を生成する方法として、例えば特許文献１などで提案されているような超解像技術を用いて、位置ずれを持った複数フレームの低解像度画像を使って高解像度の画像を生成する方法が知られている。

特開平10-69537号公報

しかしながら、特許文献１に開示されている手法では、複数枚の低解像度画像を用いる場合に、その画像の超解像処理における影響を考慮した重み付けがなされていない。そのため、超解像処理に用いる複数の低解像度画像の撮影状態が超解像処理に不適切な場合、高解像画像の推定精度が低下する、という問題があった。

本発明は、上記問題に鑑みてなされたものであり、不適切な撮影状態の影響による高解像度画像推定処理の精度の低下の問題点を改善して、高解像度画像の推定精度を向上させる撮像装置および画像の高解像化方法の提供を目的とする。

（１）．上記目的を達成するために、本発明の第１の実施形態にかかる撮像装置は、被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像の重み付け情報を生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された前記複数フレームの画像の重み付け情報を用いて高解像度な画像を生成する高解像度化手段と、を有する事を特徴とする。

（１）の発明は、図１に示された第１の実施形態例、図7に示された第２の実施形態例、図9に示された第３の実施形態例が対応する。（１）の発明の構成で「被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段」は、光学系、撮像部101、201、301が該当する。「撮像手段でサンプリングされた複数フレームの画像の重み付け情報を生成する重み付け情報生成手段」は、重み計算部104、204、304が該当する。「重み付け情報生成手段で生成された前記複数フレームの画像の重み付け情報を用いて高解像度な画像を生成する高解像度化手段」は、高解像化処理部106、206、306が該当する。

（１）の発明は、高解像化手段により複数フレームの画像信号から高解像度な画像を生成して、複数フレームのデータの重み付けを発生させている。この構成によれば、画素数の少ない画像データを用いて精度よく高解像度の画像を生成することができる。

（２）．本発明の第２の実施形態にかかる撮像装置は、被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像間の相対的な時間関係を記憶させておく時間関係記憶手段と、前記サンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段と、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段と、前記時間関係記憶手段に記憶されている相対的な時間関係を用いて各フレーム毎に前記基準画像決定手段で決定された前記基準画像との時間関係に対応した重み付け情報を生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段と、を有することを特徴とする。

（２）の発明は、図1に示された第１の実施形態例が対応する。（２）の発明の構成で「被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段」は光学系、撮像部101が該当する。「撮像手段でサンプリングされた複数フレームの画像間の相対的な時間関係を記憶させておく時間関係記憶手段」は記録部105が該当する。「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段」は基準画像選択部108が該当する。「時間関係記憶手段に記憶されている相対的な時間関係を用いて各フレーム毎に前記基準画像決定手段で決定された前記基準画像との時間関係に対応した重み付け情報を生成する重み付け情報生成手段」は重み計算部104が該当する。「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段」は高解像化処理部106が該当する。

（２）の発明は、サンプリングされた複数フレームの画像間の相対的な時間関係を記憶させておく記憶手段を設け、各フレーム毎に基準となる画像との時間関係に対応した重み付けを行うものである。このように、（２）の発明は、高解像度化するフレームから遠いフレームに対しては高解像度化処理の影響を小さくする重みを付け、近いフレームに対しては影響を大きくする重みを付けるものである。この構成によれば、基準画像から時間的に離れたフレームを用いることによる、高解像度画像推定処理の精度の低下を改善して、高解像度画像の推定精度を向上させることが可能となることにより、基準画像から時間的に離れたフレームに対する対応の不整合に対応することができる。

（３）．本発明の第３の実施形態にかかる撮像装置は、被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段と、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段と、前記位置関係算出手段で算出された相対的な位置関係を用いて各フレーム毎に前記基準画像との位置関係に対応した重み付け情報を生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段と、を有することを特徴とする。

（３）の発明は、図7に示された第2の実施形態例が対応する。（３）の発明の構成で「被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段」は、光学系、撮像部201が該当する。「撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段」は、位置推定部202が該当する。「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段」は基準画像選択部207が該当する。「位置関係算出手段で算出された相対的な位置関係を用いて各フレーム毎に前記基準画像との位置関係に対応した重み付け情報を生成する重み付け情報生成手段」は重み計算部204が該当する。「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段」は高解像化処理部106が該当する。

（３）の発明は、サンプリングされた複数フレームの画像間の相対的な位置関係を画素間隔よりも高い分解能で求める手段を設け、各フレーム毎に基準となる画像との位置関係に対応した重み付けを行うものである。重み計算部204は、図８で説明したように、高解像度化に使用する複数枚の低解像度画像の相対的なばらつきが大きくなるような低解像度画像に対しては、高解像度化処理の影響を大きくする重みをつける。この構成によれば、基準画像に対する対象画像の位置の偏差による、高解像度画像推定処理の精度の低下を改善して、高解像度画像の推定精度を向上させることが可能となる。

（４）．本発明の第４の実施形態にかかる撮像装置は、被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段と、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段と、前記位置関係算出手段で求められた相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出手段と、該類似度算出手段で算出した類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段と、を有することを特徴とする。

（４）の発明は、図9に示された第3の実施形態例が対応する。（４）の発明の構成で「被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段」は光学系、撮像部301が該当する。「撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段」は撮像位置推定部302が該当する。「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段」は基準画像選択部307が該当する。「位置関係算出手段で求められた相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出手段」、「類似度算出手段で算出した類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成手段」は重み計算部304が該当する。重み計算部304は、図１０で説明したように、モーション推定精度が高いものほど画像高解像度化処理のときに大きい重み付けを行う。「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段」は、高解像化処理部306が該当する。

（４）の発明は、サンプリングされた複数フレームの画像間の相対的な位置関係を画素間隔よりも高い分解能で求め、求められた相対的な位置関係を用いて得られる基準画像と各フレーム毎の画像との類似度を算出して、各画像毎に算出した基準となる画像との類似度に対応した重み付けを行うものである。この構成によれば、基準画像に対して対象画像の位置関係の推定精度が低いフレームを用いることによる、高解像度画像推定処理の精度の低下を改善して、高解像度画像の推定精度を向上させることが可能となる。

（５）.本発明の第１の実施形態にかかる画像の高解像化方法は、被写体の像を結像させる光学的結像ステップと、前記光学的に結像させた画像を空間的に離散化してサンプリングし画像信号に変換するステップと、前記サンプリングされた複数フレームの画像の重み付け情報を生成する重み付け情報生成ステップと、前記重み付け情報を用いて高解像度な画像を生成する高解像化ステップと、からなることを特徴とする。

（５）の発明は、図１に示された第１の実施形態例、図7に示された第２の実施形態例、図9に示された第3の実施形態例が対応する。（５）の発明は、光学系による「被写体の像を結像させる光学的結像ステップ」と、撮像部101、201、301による「光学的に結像された画像を空間的に離散化してサンプリングし画像信号に変換するステップ」とを備える。さらに、重み計算部104、204、304による「サンプリングされた複数フレームの画像の重み付け情報を生成する重み付け情報生成ステップ」と、高解像化処理部106、206、306による「重み付け情報を用いて高解像度な画像を生成する高解像化ステップ」を備える。（５）の発明にかかる画像の高解像化方法は、このような各ステップを備えることにより、画素数の少ない画像データを用いて精度よく高解像度の画像を生成する方法を提供することができる。

（６）.本発明の第２の実施形態にかかる画像の高解像化方法は、被写体の像を結像させる光学的結像ステップと、前記光学的に結像させた画像を空間的に離散化してサンプリングし画像信号に変換するステップと、前記サンプリングされた複数フレームの画像間の相対的な時間関係を記憶させておく時間関係記憶ステップと、前記サンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像ステップでサンプリングする画素間隔よりも高い分解能で求める位置関係算出ステップと、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップと、前記記憶されている相対的な時間関係を用いて各フレーム毎に前記基準画像との時間関係に対応した重み付け情報を生成する重み付け情報生成ステップと、前記重み付け情報と、前記相対的な位置関係、および前記複数フレームの画像とから高解像度な画像を生成する高解像化ステップと、からなることを特徴とする。

（６）の発明は、図１に示された第１の実施形態例が対応する。（６）の発明は、光学系による「被写体の像を結像させる光学的結像ステップ」と、撮像部101による「光学的に結像された画像を空間的に離散化してサンプリングし画像信号に変換するステップ」とを備える。さらに、記録部105による「サンプリングされた複数フレームの画像間の相対的な時間関係を記憶させておく時間関係記憶ステップ」、基準画像選択部108による「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップ」、重み計算部104による「時間関係記憶手段に記憶されている相対的な時間関係を用いて各フレーム毎に前記基準画像決定手段で決定された前記基準画像との時間関係に対応した重み付け情報を生成する重み付け情報生成ステップ」、高解像化処理部106による「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化ステップ」を備える。

（６）の発明にかかる画像の高解像化方法は、このような各ステップを備えることにより、高解像度化するフレームから遠いフレームに対しては高解像度化処理の影響を小さくする重みを付け、近いフレームに対しては影響を大きくする重みを付けることにより、基準画像から時間的に離れたフレームに対する対応の不整合に対応する方法を提供することができる。

（７）.本発明の第３の実施形態にかかる画像の高解像化方法は、被写体の像を結像させる光学的結像ステップと、前記光学的に結像させた画像を空間的に離散化してサンプリングし画像信号に変換するステップと、前記サンプリングされた複数フレームの画像間の相対的な位置関係を前記サンプリングする画素間隔よりも高い分解能で求める位置関係算出ステップと、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップと、前記相対的な位置関係を用いて各フレーム毎に前記基準画像との位置関係に対応した重み付け情報を生成する重み付け情報生成ステップと、前記重み付け情報と、前記相対的な位置関係、および前記複数フレームの画像とを用いて高解像度な画像を生成する高解像化ステップと、からなることを特徴とする。

（７）の発明は、図７に示された第２の実施形態例が対応する。（７）の発明は、光学系による「被写体の像を結像させる光学的結像ステップ」と、撮像部201による「光学的に結像された画像を空間的に離散化してサンプリングし画像信号に変換するステップ」とを備える。さらに、位置推定部202による「サンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出ステップ」、基準画像選択部207による「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップ」、重み計算部204による「位置関係算出手段で算出された相対的な位置関係を用いて各フレーム毎に前記基準画像との位置関係に対応した重み付け情報を生成する重み付け情報生成ステップ」、高解像化処理部206による「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化ステップ」を備える。

（７）の発明にかかる画像の高解像化方法は、このような各ステップを備えることにより、サンプリングされた複数フレームの画像間の相対的な位置関係を画素間隔よりも高い分解能で求め、各フレーム毎に基準となる画像との位置関係に対応した重み付けを行うものである。重み計算部204による処理は、図８で説明したように、高解像度化に使用する複数枚の低解像度画像の相対的なばらつきが大きくなるような低解像度画像に対しては、高解像度化処理の影響を大きくする重みをつける。このような処理を行うことにより、基準画像に対する対象画像の位置の偏差による高解像度画像推定処理の精度の低下に対応することが可能な方法を提供することができる。

（８）.本発明の第４の実施形態にかかる画像の高解像化方法は、被写体の像を結像させる光学的結像ステップと、前記光学的に結像させた画像を空間的に離散化してサンプリングし画像信号に変換するステップと、前記サンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像ステップでサンプリングする画素間隔よりも高い分解能で求める位置関係算出ステップと、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップと、前記相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出ステップと、前記類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成ステップと、前記重み付け情報と、前記相対的な位置関係、および前記複数フレームの画像とから高解像度な画像を生成する高解像化ステップと、からなることを特徴とする。

（８）の発明は、図９に示された第３の実施形態例が対応する。（８）の発明は、光学系による「被写体の像を結像させる光学的結像ステップ」と、撮像部301による「光学的に結像された画像を空間的に離散化してサンプリングし画像信号に変換するステップ」とを備える。さらに、撮像位置推定部302による「撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出ステップ」、基準画像選択部307による「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップ」、重み計算部304による「位置関係算出手段で求められた相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出ステップ」、および「類似度算出手段で算出した類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成ステップ」、高解像化処理部306による「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化ステップ」を備える。

（８）の発明にかかる画像の高解像化方法は、このような各ステップを備えることにより、サンプリングされた複数フレームの画像間の相対的な位置関係を画素間隔よりも高い分解能で求め、求められた相対的な位置関係を用いて得られる基準画像と各フレーム毎の画像との類似度を算出して、各画像毎に算出した基準となる画像との類似度に対応した重み付けを行うものである。このように、高解像度化する画像と低解像度画像の間で推定した位置関係から、画像間の類似度を求め、その類似度が高いほど大きな重みをつけることにより、基準画像に対して対象画像の位置関係の推定精度が低いフレームに対する対応の不整合による高解像度画像の推定精度の低下に対応することが可能な方法を提供することができる。

（９）.本発明の第１ないし第４のいずれかの実施形態にかかる画像の高解像化方法は、前記位置関係算出ステップは、前記基準画像を複数のモーションで変形させて複数の画像列を生成するステップと、前記各フレーム画像から前記基準画像との間のモーション推定を行なう参照画像を読み込むステップと、前記複数の画像列と前記参照画像との類似度値を各々算出するステップと、前記複数の画像列を生成するための変形モーションのパラメータと前記算出した各々の類似度値との関係を用いて類似度マップを作成するステップと、前記作成した類似度マップを用いて類似度の極値を求めるステップと、前記求めた類似度の極値を持つ変形モーションを特定するステップと、を含むことを特徴とする。

（９）の発明は、図３に示された第１の実施形態例が対応する。「基準画像を複数のモーションで変形させて複数の画像列を生成するステップ」はS2が、「各フレーム画像から前記基準画像との間のモーション推定を行なう参照画像を読み込むステップ」はS3が、「複数の画像列と前記参照画像との類似度値を各々算出するステップ」はS4が、「複数の画像列を生成するための変形モーションのパラメータと前記算出した各々の類似度値との関係を用いて類似度マップを作成するステップ」はS5が、「作成した類似度マップを用いて類似度の極値を求めるステップ」、および「求めた類似度の極値を持つ変形モーションを特定するステップ」はS6が、それぞれ該当する。

（９）の発明にかかる画像の高解像化方法は、このような各ステップを備えることにより、画素数の少ない画像データを用いてモーション推定を精度良く行うことができる。

（１０）.本発明の第１ないし第４のいずれかの実施形態にかかる画像の高解像化方法は、前記高解像化ステップは、撮像特性を考慮した撮像画像の点広がり関数と、前記算出された位置関係とを用いて評価関数の最小化を行なうステップを含むことを特徴とする。

（１０）の発明は、図５に示された第１の実施形態例が対応する。（１０）の発明の「撮像特性を考慮した撮像画像の点広がり関数と、前記算出された位置関係とを用いて評価関数の最小化を行なうステップ」は、S15が該当する。（１０）の発明にかかる画像の高解像化方法は、このようなステップを備えることにより、読み取られた低解像度画像から高解像度画像への変換を円滑に行うことができる。

本発明の撮像装置および画像の高解像化方法においては、撮影状態による処理に使用する複数の低解像度画像間の変化の大きさによる高解像度画像推定処理の精度の低下を改善して高解像度画像の推定精度を向上させることが可能となる。

以下、本発明の実施形態例について図を参照して説明する。図１は第１の実施形態例の構成図である。ここで、本発明の画像処理に関連する超解像処理について説明する。超解像処理は、サブピクセルレベルでの位置ずれのある画像を複数枚撮影し、これらの画像の光学系等の劣化要因などをキャンセルした上で合成する手法である。

図１において、光学系は撮像部101に光学像を結像する。撮像部101に結像された画像は、空間的に離散化してサンプリングされ、画像信号に変換されて記録部105に記録される。また、撮像部101で画像が撮像されたタイミングは、撮像タイミング記録部107に記録される。撮像された画像に対する重み係数は、撮像タイミング記録部107で得られたタイミング情報を利用して、重み計算部104で計算される。

図２は、重み付けの例を示す説明図である。以下、図２を用いて重み計算部104で実施される重み付け計算の例を説明する。図２では、各フレーム順の画像に対する重み付け係数α_kを示している。撮像された低解像度画像のnフレーム目を高解像度化したい場合には、nフレームに近いフレームほど画像高解像度化処理のときに大きな重みを付ける。nフレームから近いフレームほど大きい重み付けを行う方法には、閾値以下のフレームに一定の重みをつける方法や、ガウス分布的に重みを変化させる方法(図２参照)などが考えられる。この手法によって求められた重み付け係数は、高解像度化手法の式内にあらわすと（１）式のα_kで表現できる。

ここで、f(z)は画像高解像度化評価関数、は低解像度画像、は撮像系を考慮した画像変換行列、zは高解像度画像、λは重み係数、g(z)は画像の滑らかさや色差信号等の先見情報を考慮した拘束項である。

図１において、撮像部101から送信され記録部105に記録された画像データの中から、基準画像選択部108で基準となる画像を選択する。基準画像選択部108で選択された基準画像と、その他の画像との位置推定を位置推定部102で行い、位置推定結果を位置記録部103に記録する。

第１の実施形態例におけるモーション推定のアルゴリズムの詳細を、図３のフローチャートに示す。以下、アルゴリズムの流れにそってフローチャートで説明する。S1：モーション推定の基準となる画像を1枚読み込む。S2：基準画像を複数のモーションで変形させる。S3:基準画像との間のモーション推定を行う参照画像を1枚読み込む。S4：基準画像を複数変形させた画像列と参照画像の間の類似度値を算出する。S5:変形モーションのパラメータと算出した類似度値との関係を用いて、離散的な類似度マップを作成する。

S6:S5で作成した離散的な類似度マップを補間して生成される、連続的な類似度値の極値を求める。この極値を持つ変形モーションが推定したモーションとなる。連続的な類似度値の極値の探索法にはパラボラフィッティング、スプライン補間法等がある。S7: 全ての参照画像においてモーション推定を行っているかどうかを判定する。S8：全ての参照画像においてモーション推定を行っていない場合、参照番号のフレーム番号１つ上げてS3：へ戻り、次の画像の読み込み処理を継続する。対象となる全ての参照画像においてモーション推定を行い、S7の判定結果がＹになれば処理を終了する。

図４は、モーション推定をパラボラフッティングで行った例を示す説明図である。図４の縦軸は類似度を表し、値が小さいほど類似度が高い。図４の黒丸は離散類似度値、灰色の丸が類似度の極値を示している。離散類似度値を結ぶ曲線は、補間した類似度となる。図1の構成に戻り、重み計算部104で得られた重み係数、位置記録部103に記録された画像間の位置推定量、記録部105に記録された画像データ、基準画像選択部108で得られた基準画像情報を用いて、高解像化処理部106において基準画像について画像高解像度化処理を行う。

画像高解像度化処理の実施形態のアルゴリズムを、図５のフローチャートに示す。S11:高解像度画像推定に用いるため複数枚の低解像度画像n枚を読み込む(ただし、n≧1)。S12:複数枚の低解像度画像の中の任意の一枚をターゲットフレームと仮定し、補間処理を行うことで初期の高解像度画像を作成する。このステップは場合により省略することができる。S13:あらかじめ何らかのモーション推定法で求められた、ターゲットフレームとその他のフレームの画像間のモーションにより、画像間の位置関係を明らかにする。S14:光学伝達関数(OTF)、CCDアパーチャ等の撮像特性を考慮した点広がり関数(PSF)を求める。PSFは例えばGauss関数を用いる。S15:S13、S14の情報を元に、評価関数f(z)の最小化を行う。ただし、f(z)は（２）式のような形となる。

ここで、ｙ_kは低解像度画像、ｚは高解像度画像、Ａ_kは画像間モーション、PSF等を含めた撮像システムをあらわす画像変換行列である。g(z)は画像の滑らかさや色相関を考慮した拘束項等が入る。λは重み係数である。評価関数の最小化には、例えば最急降下法を用いる。S16:S15で求めたf(z)が最小化されたかどうかを判定する。f(z)が最小化された場合には、処理を終了し高解像度画像zを得る。S17：f(z)がまだ最小化されていない場合には、高解像度画像zをアップデートしてS13に戻る。

図６は、前記アルゴリズムを実施する際の構成の一例を示す構成図である。図１で説明した高解像化処理部106は、図６に示すように、補間拡大部61、畳込み積分部62、PSFデータ保持部63、画像比較部64、乗算部65、貼り合せ加算部66、蓄積加算部67、更新画像生成部68、画像蓄積部69、反復演算判定部610、反復判定値保持部611から構成される。

最初に、撮像部101より複数フレーム分の画像データのうち任意の1枚の画像データを補間拡大部61に与え、ここでこの画像の補間拡大を行う。ここで用いられる補間拡大の手法としては、例えば一般的なバイリニア補間やバイキュービック補間などが挙げられる。補間拡大された画像は畳込み積分部62に与えられ、PSFデータ保持部63より与えられるPSFデータとモーション推定部で求められた各フレーム毎のモーションを考慮した適切な座標位置で畳込み積分される。

補間拡大された画像データは、同時に画像蓄積部69に送られ、ここに蓄積される。畳込み演算された画像データは画像比較部64に送られ、撮像部より与えられる撮影画像と比較される。比較された残差は乗算部65に送られPSFデータ保持部63より与えられるPSFデータの各画素毎の値に掛け合わされる。

この演算結果は貼り合せ加算部66に送られ、それぞれ対応する座標位置に置かれる。ここで乗算部65からの画像データは、重なりを持ちながら少しずつ座標位置がずれて行くことになるので重なる部分については加算していく。撮影画像1枚分のデータの貼り合せ加算が終るとデータは蓄積加算部67に送られる。蓄積加算部67ではフレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定されたモーションに合わせて各フレーム分の画像データを順次加算してゆく。

加算された画像データは、更新画像生成部68に送られる。更新画像生成部68には、これと同時に画像蓄積部69に蓄積されていた画像データが与えられ、この2つの画像データに重みをつけて加算して更新画像データを生成する。生成された更新画像データは、反復演算判定部610に与えられ、反復判定値保持部611から与えられる反復判定値を元に演算を反復するか否かを判断する。

演算を反復する場合には、データを畳込み積分部62に送り前記の一連の処理を繰り返し、反復しない場合は生成された画像データを出力する。上記一連の処理を行うことにより、反復演算判定部610から出力される画像は撮影画像よりも高解像度なものとなっている。また前記PSFデータ保持部63で保持されるPSFデータには、畳込み積分の際に適切な座標位置での計算が必要となるので、重み計算部104よりデータが与えられるようになっている。

以上、図１〜図６により第１の実施形態例の撮像装置について説明した。図１〜図６の構成は、画像の高解像化方法の発明を構成することができる。すなわち、図１における、光学系による「被写体の像を結像させる光学的結像ステップ」と、撮像部101による「光学的に結像された画像を空間的に離散化してサンプリングし画像信号に変換するステップ」と、記録部105による「サンプリングされた複数フレームの画像間の相対的な時間関係を記憶させておく時間関係記憶ステップ」と、基準画像選択部108による「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップ」と、重み計算部104による「時間関係記憶手段に記憶されている相対的な時間関係を用いて各フレーム毎に前記基準画像決定手段で決定された前記基準画像との時間関係に対応した重み付け情報を生成する重み付け情報生成ステップ」と、高解像化処理部106による「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化ステップ」と、からなる、画像の高解像化方法の発明が実現できる。

以上説明した本発明の第１の実施形態例により、基準画像から時間的に離れたフレームを用いることによる、高解像度画像推定処理の精度の低下を改善して、高解像度画像の推定精度を向上させることが可能となる。

図7は、本発明にかかる第２の実施形態例の構成を示す構成図である。光学系は撮像部201に光学像を結像し、結像した画像は空間的に離散化してサンプリング、画像信号に変換され記録部205に記録される。記録部205に記録された画像データは、基準画像選択部207で基準となる画像を選択する。その基準画像とその他の画像との位置推定を位置推定部202で行い、位置記録部203に記録する。モーション推定のアルゴリズムの詳細は、実施形態1で用いたものと同一である。撮像された画像に対する重み係数は、位置記録部203で記録された位置推定情報を利用して重み計算部204で計算される。位置推定部202は、サンプリングされた複数フレームの画像間の相対的な位置関係を画素間隔よりも高い分解能で求める手段として機能する。

図8は、重み計算部204で計算される重み付け計算の例を示す説明図である。以下、図8を用いて重み計算部204で実施される重み付け計算の例を説明する。複数枚の低解像度画像を用いて画像高解像度処理を行う場合、複数枚の低解像度画像は同じようなサブピクセル位置で撮影されたものでなく、それぞれ違ったサブピクセル位置でばらつきを持ってサンプリングされていたほうが好ましい。そこで、サブピクセル単位でばらつきを持ってサンプリングされている低解像度画像の影響を大きくするように重み付けを行い、画像高解像度化処理に用いる。

具体的には以下のような方法が考えられる。図8の様な低解像度画像座標中で+0.25[pixel]のずれに近い画像を用いたいものとする。その場合、灰色の丸の位置で撮影された画像よりも、黒色の丸で撮影された画像を用いたほうが好ましい。その場合具体的には、+0.25[pixel]ずれた位置から、撮影された画素の位置までの距離を求め、距離が小さい方に大きな重み付けを行うような方法を行う。この手法によって求められた重み付け係数は、高解像度化手法の式内にあらわすと（３）式のβ_kで表現できる。

ここで、f(z)は画像高解像度化評価関数、ｙ_kは低解像度画像、Ａ_kは撮像系を考慮した画像変換行列、zは高解像度画像、λは重み係数、g(z)は画像の滑らかさや色差信号等の先見情報を考慮した拘束項である。

次に、図7の重み計算部204で得られた重み係数、位置記録部203に記録された画像間の位置推定量、記録部205に記録された画像データ、基準画像選択部207で得られた基準画像情報を用いて、高解像化処理部206において基準画像について画像高解像化処理を行う。画像高解像化処理の詳細は、前記実施形態1で用いたものと同一である。

以上、図７、図８により第２の実施形態例の撮像装置について説明した。図７、図８の構成は、画像の高解像化方法の発明を構成することができる。すなわち、図７における、光学系による「被写体の像を結像させる光学的結像ステップ」と、撮像部201による「光学的に結像された画像を空間的に離散化してサンプリングし画像信号に変換するステップ」と、位置推定部202による「サンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出ステップ」と、基準画像選択部207による「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップ」と、重み計算部204による「位置関係算出手段で算出された相対的な位置関係を用いて各フレーム毎に前記基準画像との位置関係に対応した重み付け情報を生成する重み付け情報生成ステップ」と、高解像化処理部206による「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化ステップ」と、からなる、画像の高解像化方法の発明が実現できる。

以上説明した本発明の第２の実施形態例により、基準画像に対する対象画像の位置の偏差による、高解像度画像推定処理の精度の低下を改善して、高解像度画像の推定精度を向上させることが可能となる。

図9は、本発明にかかる第３の実施形態の構成を示す構成図である。光学系は撮像部301に光学像を結像し、結像した画像は空間的に離散化してサンプリング、画像信号に変換され記録部305に記録される。記録部305に記録された画像データは、基準画像選択部307で基準となる画像を選択する。その基準画像とその他の画像との位置推定を撮像位置推定部302で行い、位置記録部303に記録する。撮像位置推定部302は、サンプリングされた複数フレームの画像間の相対的な位置関係を画素間隔よりも高い分解能で求める手段として機能する。

モーション推定のアルゴリズムの詳細は、実施形態1で用いたものと同一である。撮像された画像に対する重み係数は、位置記録部303で記録された位置推定情報及び記録部305で記録された画像データを利用して重み計算部304で計算される。

図１０は、重み計算部304で実施される重み付け計算の例を示す説明図である。以下、図１０を用いて説明する。重み計算部304で重みを計算する方法は、以下のように実施する。nフレーム目を高解像度化したい場合、nフレーム目とその他のフレームとのモーションを求める。このとき、モーション推定精度が高いものほど画像高解像度化処理のときに大きい重み付けを行う。

モーション推定精度の指標として、求めたモーション推定値で画像の位置を合わせたときの非類似度評価値（SSD、SADなど）を用いる（図１０ａ）。非類似度評価値が低いものほどモーション推定精度が高精度であるとして、高い重み付けを行う。

非類似度評価値から重み付けを行う方法には、閾値以下の非類似度には一定の重みをつける方法(図１０ｂのcase1)や、ガウス分布的に重みを変化させる方法(図１０ｃのcase2)などが考えられる。この手法によって求められた重み付け係数は、高解像度化手法の式内にあらわすと（４）式のγ_kで表現できる。

次に、図９の重み計算部304で得られた重み係数、位置記録部303に記録された画像間の位置推定量、記録部305に記録された画像データ、基準画像選択部307で得られた基準画像情報を用いて、高解像度処理部306において基準画像について画像高解像度化処理を行う。画像高解像度化処理の詳細は、第１の実施形態で用いたものと同一である。

以上、図９、図１０により第３の実施形態例の撮像装置について説明した。図９、図１０の構成は、画像の高解像化方法の発明を構成することができる。すなわち、図９における、光学系による「被写体の像を結像させる光学的結像ステップ」と、撮像部301による「光学的に結像された画像を空間的に離散化してサンプリングし画像信号に変換するステップ」と、撮像位置推定部302による「撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出ステップ」と、基準画像選択部307による「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップ」と、重み計算部304による「位置関係算出手段で求められた相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出ステップ」、および「類似度算出手段で算出した類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成ステップ」と、高解像化処理部306による「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化ステップ」と、からなる、画像の高解像化方法の発明が実現できる。

以上説明した本発明の第３の実施形態例により、基準画像に対して対象画像の位置関係の推定精度が低いフレームを用いることによる、高解像度画像推定処理の精度の低下を改善して、高解像度画像の推定精度を向上させることが可能となる。

なお、図１、図７、図９に記載の構成は、共通して画像の高解像化方法の発明を構成する。すなわち、光学系による「被写体の像を結像させる光学的結像ステップ」と、撮像部101、201、301による「光学的に結像された画像を空間的に離散化してサンプリングし画像信号に変換するステップ」と、重み計算部104、204、304による「サンプリングされた複数フレームの画像の重み付け情報を生成する重み付け情報生成ステップ」と、高解像化処理部106、206、306による「重み付け情報を用いて高解像度な画像を生成する高解像化ステップ」と、からなる、画像の高解像化方法の発明が実現できる。

以上説明したように、本発明によれば、画素数の少ない画像データを用いて精度よく高解像度の画像を生成する撮像装置および画像の高解像化方法を提供することができる。

本発明の第１の実施形態例を示す構成図である。重み付け計算の例を示す説明図である。モーション推定アルゴリズムの例を示すフローチャートである。モーション推定をパラボラフッティングで行う例の説明図である。画像高解像度化処理の例を示すフローチャートである。アルゴリズムを実施する際の構成の一例を示す構成図である。本発明の第２の実施形態例を示す構成図である。重み付け計算の例を示す説明図である。本発明の第３の実施形態例を示す構成図である。重み付け計算の例を示す説明図である。

符号の説明

１０１・・・撮像部、１０２・・・位置推定部、１０３・・・位置記録部、１０４・・・重み計算部、１０５・・・記録部、１０６・・・高解像度化処理部、１０７・・・撮像タイミング記録部、

Claims

被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像の重み付け情報を生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された前記複数フレームの画像の重み付け情報を用いて高解像度な画像を生成する高解像度化手段と、を有する事を特徴とする撮像装置。
被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像間の相対的な時間関係を記憶させておく時間関係記憶手段と、前記サンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段と、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段と、前記時間関係記憶手段に記憶されている相対的な時間関係を用いて各フレーム毎に前記基準画像決定手段で決定された前記基準画像との時間関係に対応した重み付け情報を生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段と、を有することを特徴とする撮像装置。
被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段と、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段と、前記位置関係算出手段で算出された相対的な位置関係を用いて各フレーム毎に前記基準画像との位置関係に対応した重み付け情報を生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段と、を有することを特徴とする撮像装置。
被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段と、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段と、前記位置関係算出手段で求められた相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出手段と、
該類似度算出手段で算出した類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段と、を有することを特徴とする撮像装置。
被写体の像を結像させる光学的結像ステップと、前記光学的に結像させた画像を空間的に離散化してサンプリングし画像信号に変換するステップと、前記サンプリングされた複数フレームの画像の重み付け情報を生成する重み付け情報生成ステップと、前記重み付け情報を用いて高解像度な画像を生成する高解像化ステップと、からなることを特徴とする画像の高解像化方法。
被写体の像を結像させる光学的結像ステップと、前記光学的に結像させた画像を空間的に離散化してサンプリングし画像信号に変換するステップと、前記サンプリングされた複数フレームの画像間の相対的な時間関係を記憶させておく時間関係記憶ステップと、前記サンプリングされた複数フレームの画像間の相対的な位置関係を前記サンプリングする画素間隔よりも高い分解能で求める位置関係算出ステップと、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップと、前記記憶されている相対的な時間関係を用いて各フレーム毎に前記基準画像との時間関係に対応した重み付け情報を生成する重み付け情報生成ステップと、前記重み付け情報と、前記相対的な位置関係、および前記複数フレームの画像とから高解像度な画像を生成する高解像化ステップと、からなることを特徴とする画像の高解像化方法。
被写体の像を結像させる光学的結像ステップと、前記光学的に結像させた画像を空間的に離散化してサンプリングし画像信号に変換するステップと、前記サンプリングされた複数フレームの画像間の相対的な位置関係を前記サンプリングする画素間隔よりも高い分解能で求める位置関係算出ステップと、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップと、前記相対的な位置関係を用いて各フレーム毎に前記基準画像との位置関係に対応した重み付け情報を生成する重み付け情報生成ステップと、前記重み付け情報と、前記相対的な位置関係、および前記複数フレームの画像とから高解像度な画像を生成する高解像化ステップと、からなることを特徴とする画像の高解像化方法。
被写体の像を結像させる光学的結像ステップと、前記光学的に結像させた画像を空間的に離散化してサンプリングし画像信号に変換するステップと、前記サンプリングされた複数フレームの画像間の相対的な位置関係を前記サンプリングする画素間隔よりも高い分解能で求める位置関係算出ステップと、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップと、前記相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出ステップと、前記類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成ステップと、前記重み付け情報と、前記相対的な位置関係、および前記複数フレームの画像とから高解像度な画像を生成する高解像化ステップと、からなることを特徴とする画像の高解像化方法。
前記位置関係算出ステップは、前記基準画像を複数のモーションで変形させて複数の画像列を生成するステップと、前記各フレーム画像から前記基準画像との間のモーション推定を行なう参照画像を読み込むステップと、前記複数の画像列と前記参照画像との類似度値を各々算出するステップと、前記複数の画像列を生成するための変形モーションのパラメータと前記算出した各々の類似度値との関係を用いて類似度マップを作成するステップと、前記作成した類似度マップを用いて類似度の極値を求めるステップと、前記求めた類似度の極値を持つ変形モーションを特定するステップと、を含むことを特徴とする請求項６ないし請求項８のいずれかに記載の画像の高解像化方法。
前記高解像化ステップは、撮像特性を考慮した撮像画像の点広がり関数と、前記算出された位置関係とを用いて評価関数の最小化を行なうステップを含むことを特徴とする、請求項６ないし請求項９のいずれかに記載の画像の高解像化方法。