JP2022524806A - 画像融合方法及び携帯端末 - Google Patents

Abstract

本発明は画像融合方法、装置、及び携帯端末を提供する。前記方法は、複数の位置合わせた画像を取得するステップと、各画像の勾配情報をそれぞれ算出するステップと、各画像のマスク画像を設定し、目標勾配画像を生成するステップと、目標勾配画像に対し勾配演算を行い、目標ラプラス画像を取得するステップと、ラプラス画像に対しデコンボリューション変換を行い、融合されたパノラマ画像を生成するステップと、を含む。本発明の技術案は、複数の画像の勾配情報を計算してラプラス画像を生成し、次にデコンボリューション変換を行って融合されたパノラマ画像を生成することで、画像スティッチングの色差を除去し、画像の良好な融合効果を実現できる。【選択図】図１

Description

本発明は画像又は映像の分野に属し、特に画像融合方法及び携帯端末に関する。

画像スティッチング又はパノラマ画像技術とは、人々のパノラマ画像閲覧というニーズを満たすために、重複部を有する一連の画像を、広い視角であって元来画像に近く且つ歪みが少なく、明らかな継ぎ目がない１つの画像にスティッチングする技術である。

従来は、同一のシーンの画像の重複部分を抽出し、迅速に１つのパノラマ画像にスティッチングして、望ましい融合結果を得られる多くの画像融合アルゴリズムがある。その１つとして、ウェーブレットを用いてマルチスケールの融合を行う方法であるが、この方法が、重複部のみで局所的な融合処理を行い、画像全体の自然性を保証することはできない。別の方法としては、勾配領域の融合方法を用いて画像のスティッチングを行うことで、ソース画像間の色差から融合結果に対する影響を低減できる。しかし、これらの２つの方法では、明らかな色や輝度の違いが存在する画像について、融合後のパノラマ画像が歪んでしまう。

本発明は、画像スティッチングの色差を除去し、画像の良好な融合効果を実現することを目的とする画像方法、コンピュータ可読記憶媒体、及び携帯端末を提供する。

課題を解決するための方法

本発明の第１態様において、
複数の位置合わせた画像を取得するステップと、
各画像の勾配情報をそれぞれ算出するステップと、
各画像のマスク画像を設定し、目標勾配画像を生成するステップと、
目標勾配画像に対し勾配演算を行い、目標ラプラス画像を取得するステップと、
ラプラス画像に対しデコンボリューション変換を行い、融合されたパノラマ画像を生成するステップと、を含む画像融合方法を提供する。

本発明の第２態様において、プロセッサによって実行される時に第１態様に記載された画像融合方法のステップを実現するコンピュータプログラムが記憶されるコンピュータ可読記憶媒体を提供する。

本発明の第３態様において、
１つ又は複数のプロセッサと、
メモリと、
前記メモリに記憶され、前記１つまたは複数のプロセッサによって実行されるように構成された１つまたは複数のコンピュータプログラムと、を含み、
前記プロセッサが前記コンピュータプログラムを実行する時に、第１態様に記載の画像融合方法のステップを実現する携帯端末を提供する。

本発明において、複数の画像の勾配情報を計算してラプラス画像を生成し、次にデコンボリューション変換を行って融合されたパノラマ画像を生成することで、画像スティッチングの色差を除去し、画像の良好な融合効果を実現できる。

本発明の実施例１に提供される画像融合方法のフローチャートである。 本発明の実施例１に提供される画像デコンボリューション変換方法のフローチャートである。 本発明の実施例３に提供される携帯端末の概略構造図である。

本発明の目的、技術案、及び有益な効果をより明確にするために、以下は添付の図面及び実施例を参照して本発明をさらに詳細に説明する。本明細書に記載された具体的な実施例は、単に本発明を説明するためのものであり、本発明を限定するためのものではないことを理解されたい。

本発明に係る技術案を説明するために、以下は具体的な実施例を挙げて説明する。
実施例１

図１を参照すると、本発明の実施例１に提供される画像融合方法は以下のステップを含む。

Ｓ１０１.複数の位置合わせた画像を取得する。

前記複数の位置合わせた画像は、通常のカメラによってマルチビューで撮影された画像、又は映像の映像フレームであり得る。

そのうち、複数の画像の枚数がｎ≧２であり、前記ｎ枚の画像は、１つのパノラマ画像にスティッチングされることが可能である。画像が位置合わせたとは、ｎ枚の画像において、いずれか１つの画素にも、対応する、スティッチングされるパノラマ画像における画素が存在することを意味する。

前記スティッチングは、カメラ外部パラメータキャリブレーション、特徴点マッチング、またはオプティカルフロー揃え方法によって実現され得る。

Ｓ１０２.各画像の勾配情報をそれぞれ算出する。

各ダウンサンプリング画像それぞれの水平前方勾配情報、垂直前方勾配情報、水平後方勾配情報、及び垂直後方勾配情報をそれぞれ算出する。

画素座標（ｕ，ｖ）の勾配情報の計算式はそれぞれ以下のとおりである。

Ｓ１０３.各画像のマスク画像を設定し、目標勾配画像を生成する。

各画像のマスク画像は、前記パノラマ画像における該画像の有効な情報の領域に応じて設定される。具体的なスティッチング方法に応じて、具体的なマスク画像を選択することができる。継ぎ目が固定されるスティッチング方法において、例えば固定カメラで撮影された映像シーケンスが用いられ、スティッチング方法が一致するため、固定のマスクを選択することができる。継ぎ目が動的に調整される方法において、例えば異なるカメラで撮影された写真を採用してスティッチング融合を行い、スティッチング方法が変わることがあり、それぞれ対応するマスクを算出すればよく、このような場合は動的マスクに属す。

長さ及び幅がパノラマ画像と同じである４チャンネル画像を新たに作成し、４チャンネルはそれぞれ、水平方向の前方勾配情報、垂直方向の前方勾配情報、水平方向の後方勾配情報、垂直方向の後方勾配情報を記憶するために用いられる。

各画像におけるマスク画像で覆われる領域の４つのチャネルの勾配情報を、新たに作成された４チャネル画像にコピーし、目標勾配画像を生成する。

Ｓ１０４.目標勾配画像に対し勾配演算を行い、目標ラプラス画像を取得する。

Ｓ１０５.ラプラス画像に対しデコンボリューション変換を行い、融合された画像を得る。

図２を参照して、画像デコンボリューション変換の具体的なステップは以下を含む。

Ｓ１０５８.ｒｅｓＬ画像と複数のダウンサンプリング画像との間の関係により対応する複数の比率値画像を取得し、比率値画像をｍ倍アップサンプリングした後原始の入力画像と点乗算を行って、そして対応するマスク画像によって融合し、明瞭で色差がなく輝度の差がないパノラマ画像を得る。

注意すべき点としては、細部が少ない画像については、画像が比較的滑らかであるため、離散フーリエ変換データが中間の低周波信号領域に集中し、離散コサイン変換データが左上隅に集中し、離散コサイン変換の利点がほとんど見られないである。一方、細部が豊富な画像については、離散フーリエ変換後のデータが発散し、離散コサイン変換後のデータが依然として集中し、同じく周波数スペクトルから原始画像に復元する場合、離散コサイン変換を選択することはより合理的である。これは、離散コサイン変換はより少ないデータ点を記憶するだけでよいので、演算と記憶を減らすことができるからである。

本発明において、複数の画像の勾配情報を計算してラプラス画像を生成し、次にデコンボリューション変換を行って融合されたパノラマ画像を生成することで、画像スティッチングの色差を除去し、画像の良好な融合効果を実現できる。
実施例２

本発明の実施例２は、プロセッサによって実行される時に本発明の実施例１に提供される画像融合方法のステップを実現するコンピュータプログラムが記憶されるコンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体は、非一時的コンピュータ可読記憶媒体であってもよい。
実施例３

図３は、本発明の実施例３に提供される携帯端末の具体的な構造を示す構造ブロック図であり、携帯端末１００は、１つまたは複数のプロセッサ１０１と、メモリ１０２と、１つまたは複数のコンピュータプログラムとを含み、前記プロセッサ１０１および前記メモリ１０２は、バスによって接続され、前記１つまたは複数のコンピュータプログラムは、前記メモリ１０２に記憶され、前記１つまたは複数のプロセッサ１０１によって実行されるように構成され、前記プロセッサ１０１が前記コンピュータプログラムを実行する時に本発明の実施例１に提供される画像融合方法のステップを実行する。

本発明の実施例では、当業者は、上述の実施例の方法におけるステップの全てまたは一部が、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスクなどのようなコンピュータ可読記憶媒体に記憶され得るプログラムによって、関連するハードウェアに命令することで実現され得ることを理解できるであろう。

以上の説明は、本発明の好ましい実施例であるに過ぎず、本発明を限定することを意図するものではなく、本発明の精神及び原理の範囲内で行われるあらゆる変更、均等物及び改良等は、いずれも本発明の保護範囲内に含まれるものである。

Claims (8)

1. 
2. 
3. 前記各画像のマスク画像を設定し、目標勾配画像を生成するステップは、
   スティッチング方法によって、固定のマスクまたは動的マスクにより各画像のマスク画像を設定するステップを含む
   ことを特徴とする請求項１に記載の画像融合方法。
4. 前記動的マスクによって各画像のマスク画像を設定し、目標勾配画像を生成するステップは、
   長さ及び幅がパノラマ画像と同じである４チャンネル画像を新たに作成するステップであって、４チャンネルはそれぞれ、水平方向の前方勾配情報、垂直方向の前方勾配情報、水平方向の後方勾配情報、垂直方向の後方勾配情報を記憶するために用いられるステップと、
   各画像におけるマスク画像で覆われる領域の勾配情報を、新たに作成された画像にコピーし、目標勾配画像を生成するステップと、を含む
   ことを特徴とする請求項３に記載の画像融合方法。
5. 
6. 
7. コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される時に請求項１から６のいずれか一項に記載の画像融合方法のステップを実現し、
   前記コンピュータ可読記憶媒体は、非一時的コンピュータ可読記憶媒体である
   ことを特徴とするコンピュータ可読記憶媒体。
8. １つ又は複数のプロセッサと、
   メモリと、
   前記メモリに記憶され、前記１つまたは複数のプロセッサによって実行されるように構成された１つまたは複数のコンピュータプログラムと、を含む携帯端末において、
   前記プロセッサが前記コンピュータプログラムを実行する時に、請求項１から６のいずれか１項に記載の画像融合方法のステップを実現することを特徴とする携帯端末。

Images