JP2008282338A

JP2008282338A - 画像処理装置、画像処理プログラム及び方法

Info

Publication number: JP2008282338A
Application number: JP2007128204A
Authority: JP
Inventors: Hiroo Miyake; 啓夫三宅
Original assignee: Toshiba Corp; Toshiba Solutions Corp
Current assignee: Toshiba Corp; Toshiba Digital Solutions Corp
Priority date: 2007-05-14
Filing date: 2007-05-14
Publication date: 2008-11-20

Abstract

【課題】高速且つ高精度で複数画像の重ね合わせを行って高解像度の画像を得ることができる画像処理装置、画像処理プログラム及び方法を提供する。
【解決手段】第１の解像度を有する前記複数の画像それぞれについて２次元フーリエ変換を行なう変換手段１０２と、前記変換手段１０２により変換されて得られた周波数領域において、各画像の相対的回転角度を演算する回転量演算手段１０３と、前記変換手段１０２により変換されて得られた周波数領域において、前記回転角度演算手段１０３により演算された各画像の相対的回転角度を用いて各画像を回転させて、各画像の相対的位置変位量を演算する変位量演算手段１０３と、前記回転量演算手段１０３により得られた各画像の相対的回転角度、及び前記変位量演算手段１０３により得られた各画像の相対的位置変位量とを用いて前記複数の画像を重ね合わせて第２の解像度を有する画像を得る重ね合わせ手段１０５とを備える。
【選択図】図１

Description

本発明は、高速且つ高精度で複数画像の重ね合わせを行って高解像度の画像を得ることができる画像処理装置、画像処理プログラム及び方法に関するものである。

例えばＣＣＤカメラで撮像して得られる一つの画像においては、画素の大きさよりも小さな分解能を得ることはできない。しかし、このような画像でも、画素の端数を含む変位を有して撮像された複数の画像を用いれば、これら画像の位置合わせを行うことにより、元の画像よりも高解像度である鮮明な画像を生成することができるという画像処理の技術が知られている。
また、画像の空間領域によって複数の画像の位置合わせを行い、元画像よりも高解像度である画像を生成する際に欠けている画素の濃度値をＢＩＣＵＢＩＣで補間する技術が知られている（例えば下記非特許文献１参照）。
Ｄ．Ｋｅｒｅｎ，Ｓ．Ｐｅｌｅｇ＆Ｒ．Ｂｒａｄａ．（１９８８）．Ｉｍａｇｅｓｅｑｕｅｎｃｅｅｎｈａｎｃｅｍｅｎｔｕｓｉｎｇｓｕｂ−ｐｉｘｅｌｄｉｓｐｌａｃｅｍｅｎｔｓ．ＣＶＰＲ，８８，７４２−７４６．

しかし、高解像度化する画像中に幾何学的な直線がある場合、画像の空間領域によって複数の画像の位置合わせをするよりも、画像の周波数領域によって複数の画像の位置合わせをする方が、容易に高精度の重ね合わせを行うことができ、例えば幾何学的な直線に対し自然な画像が得られやすい。また、ＢＩＣＵＢＩＣによる画素の補間処理は、多大の処理時間を要する割に高解像度が得にくい。

本発明は上述した問題点を解決するためになされたものであり、高速且つ高精度で複数画像の重ね合わせを行って高解像度の画像を得ることができる画像処理装置、画像処理プログラム及び方法を提供することを目的とする。

上述した課題を解決するため、本発明に係る画像処理装置は、第１の解像度を有する複数の画像を重ね合わせて、第１の解像度よりも高い解像度を有する第２の解像度を有する画像を生成する画像処理装置であって、第１の解像度を有する前記複数の画像それぞれについて２次元フーリエ変換を行なう変換手段と、前記変換手段により変換されて得られた周波数領域において、各画像の相対的回転角度を演算する回転量演算手段と、前記変換手段により変換されて得られた周波数領域において、前記回転角度演算手段により演算された各画像の相対的回転角度を用いて各画像を回転させて、各画像の相対的位置変位量を演算する変位量演算手段と、前記回転量演算手段により得られた各画像の相対的回転角度、及び前記変位量演算手段により得られた各画像の相対的位置変位量とを用いて前記複数の画像を重ね合わせて第２の解像度を有する画像を得る重ね合わせ手段とを備える。

また、上述の画像処理装置において、前記相対的回転角度は複数画像から選択される位置及び角度の基準である第１画像と第１画像以外の画像である第２画像の回転角度の差であって、前記回転量演算手段は、前記第１の画像と前記第２の画像の前記周波数領域を構成する実数部分の２乗と虚数部分の２乗の平方根をスペクトル値として表した２次元配列の中央部分を中心とした中心角が所定の角度である扇形を中心を軸として、前記所定の角度未満である回転移動角度ずつずらして得られる第１画像と第２画像との相関係数に基づいて回転量を算出することを特徴とする。

また、上述の画像処理装置において、前記重ね合わせ手段は重なり合った前記複数画像の前記第２の解像度上の同画素位置にある画素値の合計を重なり合った画素の数で除算することで前記画素位置の画素値を算出することを特徴とする。

また、上述の画像処理装置において、前記変位量演算手段は前記第１画像の２次元フーリエ変換値と前記第２画像の２次元フーリエ変換値の商に基づいて、変位量を算出することを特徴とする。

また、本発明の画像処理プログラムは、第１の解像度を有する複数の画像を重ね合わせて、第１の解像度よりも高い解像度を有する第２の解像度を有する画像をコンピュータに生成させる画像処理プログラムであって、第１の解像度を有する前記複数の画像それぞれについて２次元フーリエ変換を行なう変換ステップと、前記変換手段により変換されて得られた周波数領域において、各画像の相対的回転角度を演算する回転量演算ステップと、前記変換手段により変換されて得られた周波数領域において、前記回転角度演算手段により演算された各画像の相対的回転角度を用いて各画像を回転させて、各画像の相対的位置変位量を演算する変位量演算ステップと、前記回転量演算手段により得られた各画像の相対的回転角度、及び前記変位量演算手段により得られた各画像の相対的位置変位量とを用いて前記複数の画像を重ね合わせて第２の解像度を有する画像を得る重ね合わせステップとをコンピュータに実行させる。

また、上述の画像処理プログラムにおいて、前記相対的回転角度は複数画像から選択される位置及び角度の基準である第１画像と第１画像以外の画像である第２画像の回転角度の差であって、前記回転量演算ステップは、前記第１の画像と前記第２の画像の前記周波数領域を構成する実数部分の２乗と虚数部分の２乗の平方根をスペクトル値として表した２次元配列の中央部分を中心とした中心角が所定の角度である扇形を中心を軸として、前記所定の角度未満である回転移動角度ずつずらして得られる第１画像と第２画像との相関係数に基づく回転量の算出をコンピュータに実行させることを特徴とする。

また、上述の画像処理プログラムにおいて、前記重ね合わせステップは重なり合った前記複数画像の前記第２の解像度上の同画素位置にある画素値の合計を重なり合った画素の数で除算することで前記画素位置の画素値の算出をコンピュータに実行させることを特徴とする。

また、上述の画像処理プログラムにおいて、前記変位量演算ステップは前記第１画像の２次元フーリエ変換値と前記第２画像の２次元フーリエ変換値の商に基づいた変位量の算出をコンピュータに実行させることを特徴とする。

また、本発明の画像処理方法は、第１の解像度を有する複数の画像を重ね合わせて、第１の解像度よりも高い解像度を有する第２の解像度を有する画像を生成する画像処理方法であって、第１の解像度を有する前記複数の画像それぞれについて２次元フーリエ変換を行なう変換ステップと、前記変換手段により変換されて得られた周波数領域において、各画像の相対的回転角度を演算する回転量演算ステップと、前記変換手段により変換されて得られた周波数領域において、前記回転角度演算手段により演算された各画像の相対的回転角度を用いて各画像を回転させて、各画像の相対的位置変位量を演算する変位量演算ステップと、前記回転量演算手段により得られた各画像の相対的回転角度、及び前記変位量演算手段により得られた各画像の相対的位置変位量とを用いて前記複数の画像を重ね合わせて第２の解像度を有する画像を得る重ね合わせステップとを備える。

また、上述の画像処理方法において、前記相対的回転角度は複数画像から選択される位置及び角度の基準である第１画像と第１画像以外の画像である第２画像の回転角度の差であって、前記回転量演算ステップは、前記第１の画像と前記第２の画像の前記周波数領域を構成する実数部分の２乗と虚数部分の２乗の平方根をスペクトル値として表した２次元配列の中央部分を中心とした中心角が所定の角度である扇形を中心を軸として、前記所定の角度未満である回転移動角度ずつずらして得られる第１画像と第２画像との相関係数に基づいて回転量を算出することを特徴とする。

また、上述の画像処理方法において、前記重ね合わせステップは重なり合った前記複数画像の前記第２の解像度上の同画素位置にある画素値の合計を重なり合った画素の数で除算することで前記画素位置の画素値を算出することを特徴とする。

また、上述の画像処理方法において、前記変位量演算ステップは前記第１画像の２次元フーリエ変換値と前記第２画像の２次元フーリエ変換値の商に基づいて、変位量を算出することを特徴とする。

以上に詳述したように本発明によれば、高速且つ高精度で複数画像の重ね合わせを行って高解像度の画像を得ることができる画像処理装置、画像処理プログラム及び方法を提供することができる。

以下、本発明の実施の形態について図面を参照しつつ説明する。図１は、本実施の形態による画像処理装置の機能を示す機能ブロック図である。

画像処理装置１０は入力部１０１、画像変換部１０２（変換手段）、画像解析部１０３（回転量演算手段、変位量演算手段）、画像補正部１０４、画像生成部１０５（重ね合わせ手段）を備える。

入力部１０１は複数の入力画像（位置基準となる基準画像と基準画像に合わせて補正される対象画像であって、画素の端数を含む変位を有して撮像された複数の画像）を入力し、画像変換部１０２は入力画像の２次元高速フーリエ変換値の算出と２次元高速フーリエ変換値に基づいた１次元配列の算出とを実行する。画像解析部１０３は算出された１次元配列と相関係数によって、基準画像に対する対象画像の角度の相違算出及び２次元座標における位置の相違算出を実行する。画像補正部１０４は算出された対象画像の角度の相違補正及び２次元座標における位置の相違補正を実行する。画像生成部１０５は基準画像と基準画像に合わせて補正された対象画像から入力画像よりも高解像度である超解像度画像を出力する。

なお、本実施例における複数の入力画像は人の手により同じ位置から撮影された同じ対象物であるが、手振れ等により撮影角度及び位置は一定でないものとする。

次に、本発明の実施の形態による画像処理装置の動作について図面を参照しつつ説明する。図２は本実施の形態による画像処理装置の全体動作を示すフローチャートである。また、図３〜図１１は図２のフローチャートにおける各動作を示す図である。なお、本実施の形態において、出力される画像は入力画像の１画素を縦横４分割した入力画像の解像度の１６倍の解像度を持つ画像とする。

まず、基準画像が入力部１０１によって入力され、画像変換部１０２は基準画像の２次元高速フーリエ変換値（以下２次元ＦＦＴ値）を算出する（Ｓ１０１、変換ステップ）。

さらに画像変換部１０２は算出した基準画像の２次元ＦＦＴ値を構成する実数部分の２乗と虚数部分の２乗の合計の平方根を図３に示すようにスペクトル値として２次元配列で表し、低周波成分が中央に、低周波成分が４隅になるようにスペクトルの配置を並び替え、図４に示すように２次元配列の中央部分を中心として中心角が２°の扇形部分を０．１°ずつずらして各扇形に含まれる２次元ＦＦＴ値の合計を算出し、それを１次元配列で表す（Ｓ１０２）また、画像変換部１０２は扇形の２次元ＦＦＴ値の合計を算出する際、完全に扇形に含まれない配列要素はその含まれる割合に応じて２次元ＦＦＴ値を加算する。

扇形を回転させ２次元ＦＦＴ値を調べることで複数画像の相対的な角度の相違量を算出することができる。

次に対象画像が入力部１０１によって入力され、画像変換部１０２は対象画像の２次元ＦＦＴ値を算出する（Ｓ１０３、変換ステップ）。

さらに画像変換部１０２は算出した対象画像の２次元ＦＦＴ値を構成する実数部分の２乗と虚数部分の２乗の合計の平方根を図５に示すようにスペクトル値として２次元配列で表し、低周波成分が中央に、低周波成分が４隅になるようにスペクトルの配置を並び替え、図６に示すように２次元配列の中央部分を中心として中心角が２°の扇形部分を０．１°ずつ回転させて各扇形に含まれる２次元ＦＦＴ値の合計を算出し、それを１次元配列で表す（Ｓ１０４）また、画像変換部１０２は扇形の２次元ＦＦＴ値の合計を算出する際、完全に扇形に含まれない配列要素はその含まれる割合に応じて２次元ＦＦＴ値を加算する。

そして、画像解析部１０３は、対象配列の開始要素を１個（０．１°分）ずらして（Ｓ１０５）、図７に示すようなステップＳ１０２で得られた基準画像の１次元配列（基準配列）とステップＳ１０４で得られた対象画像の１次元配列（対象配列）との間の相関係数を算出し、図８に示すように基準配列と対象配列間の相関係数を算出し（Ｓ１０６）、画像解析部１０３は対象配列の開始要素を全てずらしたかどうかを判断する（Ｓ１０７）。なお、ステップＳ１０８の判断においては、対象配列の開始要素が３５９．９°ずれるまで３５９９回ずらされた時点で画像解析部１０３は対象配列の開始要素を全てずらしたと判断する。

ステップＳ１０７の判断において、対象配列の開始要素が全てずらされた場合（Ｓ１０７，ＹＥＳ）、画像解析部１０３は図８に示すようにステップＳ１０６の処理での相関係数が最大となる角度の相違値を取得し（Ｓ１０８、回転量演算ステップ）、画像補正部１０４は取得した角度の相違値に基づいた角度θ（修正角度）により対象画像の角度を修正する（Ｓ１０９）。

そして、画像解析部１０３は修正された対象画像（修正対象画像）の２次元ＦＦＴ値を算出し（Ｓ１１０）、図９の式に示すような基準画像の２次元ＦＦＴ値Ｆ_bと修正対象画像の２次元ＦＦＴ値Ｆ_tとの商によってΔｖを算出し（Ｓ１１１）、Δｖの値から基準画像に対する修正対象画像の横軸の変位量Δｘ及び縦軸の変位量Δｙを算出する（Ｓ１１２、変位量演算ステップ）。

算出されたΔｘ及びΔｙに基づいて、画像補正部１０４は修正前の対象画像の各画素に対して、図１０に示すように各々４倍されたΔｘ、Δｙ、座標上の中心から画素位置ａまでの距離ｒと修正角度θを適用し、その画素位置ａ’に画素の濃度値を保存し（Ｓ１１３）、画像補正部１０４は全ての対象画像の処理が終わったかどうかを判断する（Ｓ１１４）。

ステップＳ１１４の判断において、全ての対象画像の処理が終わったと判断された場合（Ｓ１１４，ＹＥＳ）、画像生成部１０５はステップＳ１１３の処理によって同画素位置に対象画像の画素が複数保存されている場合、図１１に示すように同位置の画素値の合計を保存されている画素数で割った画素の平均値をその画素位置の画素値とし、画素位置にひとつの画素しかない場合はその画素の値をそのまま適用し（Ｓ１１５、重ね合わせステップ）、入力画像よりも高解像度であり、鮮明な画像を生成する（Ｓ１１６）。

同画素位置の複数の画素の平均を算出することによりＢＩＣＵＢＩＣよりも高速で重ね合わせ処理を実行することができる。

一方、ステップＳ１１４の判断において、全ての対象画像の処理が終わっていないと判断された場合（Ｓ１１４，ＮＯ）、画像変換部１０２は他の対象画像に対して２次元ＦＦＴ値算出を実行する（Ｓ１０３）。

また、ステップＳ１０７の判断において、対象配列の開始要素が全角度（３５９．９°）にわたってずらされていないと判断された場合（Ｓ１０７，ＮＯ）、画像解析部は再び対象配列の開始要素を０．１°ずらす（Ｓ１０５）。

なお、本実施の形態における処理は入力画像の１画素を縦横を其々４分割した入力画像の１６倍の解像度上でなされていることを想定しているが、例えば各処理が入力画像の４倍の解像度でなされていても構わない。但しその場合は、４倍の解像度は１画素を縦横を其々２分割したものであるため、ステップＳ１１４の処理において、各々２倍されたｘ、ｙ及びｒを適用する必要がある。

以上説明したように図１２に示す所定の解像度で撮影された画像を画像処理装置１０に複数枚入力し、上述した処理がなされると図１３のような図１２に示す画像の１６倍の解像度をもつ画像を出力することができる。本実施の形態によれば、画像の空間領域により入力画像の位置合わせを行い、画素の補間をＢＩＣＵＢＩＣよりも処理時間の短い方法で行なうことにより入力画像よりも高解像度である画像をより短時間で生成する画像処理装置、画像処理プログラム及び方法を提供することができる。

本実施の形態では装置内部に発明を実施する機能が予め記録されている場合で説明をしたが、これに限らず同様の機能をネットワークから装置にダウンロードしても良いし、同様の機能を記録媒体に記憶させたものを装置にインストールしてもよい。記録媒体としては、ＣＤ−ＲＯＭ等プログラムを記憶でき、かつ装置が読み取り可能な記録媒体であれば、その形態は何れの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のＯＳ（オペレーティング・システム）等と共働してその機能を実現させるものであってもよい。

本実施の形態による画像処理装置の機能を示す機能ブロック図である。本実施の形態による画像処理装置の全体動作を示すフローチャートである。本実施の形態における基準画像と２次元フーリエ変換された基準画像を示す図である。本実施の形態における基準画像の回転量算出方法を示す図である。本実施の形態における対象画像と２次元フーリエ変換された基準画像を示す図である。本実施の形態における対象画像の回転量算出方法を示す図である。本実施の形態における基準画像及び対象画像の１次元配列を示す図である。本実施の形態における基準画像及び対象画像の１次元配列間の相関係数を示す図である。本実施の形態における基準画像と対象画像の位置の相違値を算出する式である。本実施の形態における修正前の画素位置と修正後の画素位置を示す図である。本実施の形態における画像重ね合わせ後の画素値の算出方法を示す図である。本実施の形態における所定の解像度をもつ入力画像を示す図である。本実施の形態における入力画像より高解像度である出力画像を示す図である。

符号の説明

１０画像処理装置、１０１入力部、１０２画像変換部、１０３画像解析部、１０４画像補正部、１０５画像生成部。

Claims

第１の解像度を有する複数の画像を重ね合わせて、第１の解像度よりも高い解像度を有する第２の解像度を有する画像を生成する画像処理装置であって、
第１の解像度を有する前記複数の画像それぞれについて２次元フーリエ変換を行なう変換手段と、
前記変換手段により変換されて得られた周波数領域において、各画像の相対的回転角度を演算する回転量演算手段と、
前記変換手段により変換されて得られた周波数領域において、前記回転角度演算手段により演算された各画像の相対的回転角度を用いて各画像を回転させて、各画像の相対的位置変位量を演算する変位量演算手段と、
前記回転量演算手段により得られた各画像の相対的回転角度、及び前記変位量演算手段により得られた各画像の相対的位置変位量とを用いて前記複数の画像を重ね合わせて第２の解像度を有する画像を得る重ね合わせ手段と
を備えてなる画像処理装置。
請求項１に記載の画像処理装置において、
前記相対的回転角度は複数画像から選択される位置及び角度の基準である第１画像と第１画像以外の画像である第２画像の回転角度の差であって、
前記回転量演算手段は、前記第１の画像と前記第２の画像の前記周波数領域を構成する実数部分の２乗と虚数部分の２乗の平方根をスペクトル値として表した２次元配列の中央部分を中心とした中心角が所定の角度である扇形を中心を軸として、前記所定の角度未満である回転移動角度ずつずらして得られる第１画像と第２画像との相関係数に基づいて回転量を算出することを特徴とする画像処理装置。
請求項１または請求項２に記載の画像処理装置において、
前記重ね合わせ手段は重なり合った前記複数画像の前記第２の解像度上の同画素位置にある画素値の合計を重なり合った画素の数で除算することで前記画素位置の画素値を算出することを特徴とする画像処理装置。
請求項１ないし請求項３のいずれかに記載の画像処理装置において、
前記変位量演算手段は前記第１画像の２次元フーリエ変換値と前記第２画像の２次元フーリエ変換値の商に基づいて、変位量を算出することを特徴とする画像処理装置。
第１の解像度を有する複数の画像を重ね合わせて、第１の解像度よりも高い解像度を有する第２の解像度を有する画像をコンピュータに生成させる画像処理プログラムであって、
第１の解像度を有する前記複数の画像それぞれについて２次元フーリエ変換を行なう変換ステップと、
前記変換手段により変換されて得られた周波数領域において、各画像の相対的回転角度を演算する回転量演算ステップと、
前記変換手段により変換されて得られた周波数領域において、前記回転角度演算手段により演算された各画像の相対的回転角度を用いて各画像を回転させて、各画像の相対的位置変位量を演算する変位量演算ステップと、
前記回転量演算手段により得られた各画像の相対的回転角度、及び前記変位量演算手段により得られた各画像の相対的位置変位量とを用いて前記複数の画像を重ね合わせて第２の解像度を有する画像を得る重ね合わせステップと
をコンピュータに実行させる画像処理プログラム。
請求項５に記載の画像処理プログラムにおいて、
前記相対的回転角度は複数画像から選択される位置及び角度の基準である第１画像と第１画像以外の画像である第２画像の回転角度の差であって、
前記回転量演算ステップは、前記第１の画像と前記第２の画像の前記周波数領域を構成する実数部分の２乗と虚数部分の２乗の平方根をスペクトル値として表した２次元配列の中央部分を中心とした中心角が所定の角度である扇形を中心を軸として、前記所定の角度未満である回転移動角度ずつずらして得られる第１画像と第２画像との相関係数に基づく回転量の算出をコンピュータに実行させることを特徴とする画像処理プログラム。
請求項５または請求項６に記載の画像処理装置において、
前記重ね合わせステップは重なり合った前記複数画像の前記第２の解像度上の同画素位置にある画素値の合計を重なり合った画素の数で除算することで前記画素位置の画素値の算出をコンピュータに実行させることを特徴とする画像処理プログラム。
請求項５ないし請求項７のいずれかに記載の画像処理プログラムにおいて、
前記変位量演算ステップは前記第１画像の２次元フーリエ変換値と前記第２画像の２次元フーリエ変換値の商に基づいた変位量の算出をコンピュータに実行させることを特徴とする画像処理プログラム。
第１の解像度を有する複数の画像を重ね合わせて、第１の解像度よりも高い解像度を有する第２の解像度を有する画像を生成する画像処理方法であって、
第１の解像度を有する前記複数の画像それぞれについて２次元フーリエ変換を行なう変換ステップと、
前記変換手段により変換されて得られた周波数領域において、各画像の相対的回転角度を演算する回転量演算ステップと、
前記変換手段により変換されて得られた周波数領域において、前記回転角度演算手段により演算された各画像の相対的回転角度を用いて各画像を回転させて、各画像の相対的位置変位量を演算する変位量演算ステップと、
前記回転量演算手段により得られた各画像の相対的回転角度、及び前記変位量演算手段により得られた各画像の相対的位置変位量とを用いて前記複数の画像を重ね合わせて第２の解像度を有する画像を得る重ね合わせステップと
を備えてなる画像処理方法。
請求項９に記載の画像処理方法において、
前記相対的回転角度は複数画像から選択される位置及び角度の基準である第１画像と第１画像以外の画像である第２画像の回転角度の差であって、
前記回転量演算ステップは、前記第１の画像と前記第２の画像の前記周波数領域を構成する実数部分の２乗と虚数部分の２乗の平方根をスペクトル値として表した２次元配列の中央部分を中心とした中心角が所定の角度である扇形を中心を軸として、前記所定の角度未満である回転移動角度ずつずらして得られる第１画像と第２画像との相関係数に基づいて回転量を算出することを特徴とする画像処理方法。
請求項９または請求項１０に記載の画像処理方法において、
前記重ね合わせステップは重なり合った前記複数画像の前記第２の解像度上の同画素位置にある画素値の合計を重なり合った画素の数で除算することで前記画素位置の画素値を算出することを特徴とする画像処理方法。
請求項９ないし請求項１１のいずれかに記載の画像処理方法において、
前記変位量演算ステップは前記第１画像の２次元フーリエ変換値と前記第２画像の２次元フーリエ変換値の商に基づいて、変位量を算出することを特徴とする画像処理方法。