JP2019067076A - 多重画像源の処理方法 - Google Patents

Abstract

【課題】本発明は、動画を見る時に違和感がなく、スムーズに再生できるようにした多重画像源の処理方法を提供する。【解決手段】まず、第１装置の複数第１画像（ｉｍａｇｅ）を受信し、各第１画像の撮影時間順に基づいて複数の第１画像を整理する。さらに、少なくとも１つの第２装置の少なくとも１つの第２画像を受信し、第１画像の第１撮影位置情報及び第２画像の第２撮影位置情報に基づいて、第２画像と地理的に一番近い第１画像を選択する。続いて、同じ地理的な空間を有する第１画像と第２画像を同じ範囲群に分類した後、同じ静的背景要素によって同じ背景群に分類する。そして、各背景群の画像を比べて、同じ静的背景要素を有する画像を、背景の範囲が広いものから狭いものへの順又は狭いものから広いものへの順でまで整理することで、再生できる動画（ｖｉｄｅｏ）となる。【選択図】図２

Description

本発明は、画像資料の処理方法、特に複数装置の画像を同時に統合、集約することで動画にし、動画を見る時に違和感がなくスムーズに再生できる多重画像源の処理方法に関する。

科学技術の発展につれて、各電子製品において、カメラ及び撮影の機能が徐々に普及している。現在のほとんどの通信モバイル装置において、カメラ及び撮影の機能を有する他、更に測位機能を有する。よって、旅行する際に、手元の装置によって景色の画像を即時に撮り、旅行の思い出として保存する。

保存された画像は更に編集できる。パソコンのアプリケーションプログラムを利用して、旅行中に撮影した写真を編集し、旅行ドキュメンタリーとして、これらの画像を統合して動画を制作できる。一つの撮影装置中の画像を編集できる他に、無論、一つの装置に複数の撮影装置の画像を追加することで、複数ユーザーが撮影した画像を組み合わせることもできる。それによって、内容を更に充実できる。しかし、今の大部分のアプリケーションプログラムは、単純に撮影時間順によって写真を整理することしかできない。時間だけで写真を整列した場合、前後の写真の背景が異なるので、画面が不一致となる。よって、写真を見る時に不調和な違和感が生じる。

時間によって画像順を編集する他に、例えば、全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、ＧＰＳ）、中華人民共和国の北斗衛星ナビゲーション測位システム、ロシアのグロナス（ＧＬＯＮＡＳＳ）システム、又は欧州連合がリリースした「ガリレオ」計画等の測位サービスによる位置情報を利用して、画像を整列する他のアプリケーションプログラムもある。ここで画像（Image）ファイルには写真（photograph）ファイル及び動画（movie）ファイルが含まれるが、写真ファイルはエクスチェンジャブル・イメージ・ファイル・フォーマット（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ、ＥＸＩＦ）を有することができる。撮影する際に、測位機能がオンの場合、ＥＸＩＦ情報に位置情報が含まれる。しかし、動画ファイルはＥＸＩＦ情報を有しないので、位置情報によって動画を整列させることはできない。その場合、代わりとして、動画ファイルが含有する複数写真中の一つの代表写真の撮影内容などから得られる位置情報を当該動画ファイルの位置情報として設定にするか、又は装置によって撮影した時の位置情報をそのまま利用することで、動画及び写真を整列できる。しかし、位置情報によって画像を整列する場合、一つの撮影装置によって撮影された複数の画像を整列する場合には違和感がないが、複数の撮影装置によって撮影された画像を組み合わせる場合には、各撮影装置の位置情報が異なるので、撮影装置間の測位誤差を有する可能性がある。また、レンズの種類、例えば、標準レンズ、ズームレンズ（ｚｏｏｍ ｌｅｎｓ）等に起因して、同じ位置情報でも写真の映像が異なる場合もある。また、大部分のプロ用一眼カメラでも旧来の機種は測位機能を有しないので、後に地図で位置情報、例えばＧＰＳ情報を検索して、撮影した写真ファイルに位置情報を後から追加する場合がある。しかし、たとえ位置情報によって写真を整列しても、撮影装置間の色々な測位誤差によって、同じ背景を有する写真が再生順で連続しない場合もある。よって、画像統合した動画に一貫性がなく、動画再生の際に背景変化によるブレが大きくなって、統合後の動画が不調和となる。

よって、画像整列の一貫性を有するために、多数のユーザーは画像順をマニュアルで整列する。しかし、マニュアル整列は非常に時間がかかる作業であり、例えば、旅行に同行したグループの全てのメンバーが持つ写真の画像資料を処理する場合、非常に煩雑な作業となる。

上記から分かるように、ソーシャルネットワークが流行る時代では、どうやって旅行の画像を統合して同行したグループが共有する旅行ドキュメンタリーとし、且つ旅行ドキュメンタリーの製作品質を向上させることで、ソーシャル交流を増やすことは、相当重要なことである。

上記従来技術の欠点を鑑み、本発明は、上記課題を解決する多重画像源の処理方法を提供する。

本発明の目的としては、次に列挙することを実現できる多重画像源の処理方法を提供する。前記多重画像源の処理方法は、複数装置における画像を組み合わせると共に、各画像の位置及び静的背景に基づいて、複数装置における画像を整列できる。また、静的背景を整列することで、撮影装置間の各種測位誤差を減少し、統合した動画の再生内容の一貫性を向上できる。また、画像及び次の画像の同じ靜物の角度変化に基づいて、再生する際に画像を徐々に回転することで、画像を切り替える時のブレ感を減少できる。また、画像及び次の画像の同じ靜物の比例範囲に基づいて再生時間を調整することで、各画像の再生時間多様性を向上できる。また、再生動画に画像再生経路軸（ｐａｔｈ ａｘｉｓ）を追加することで、旅行場所によって見たい画像を選択できる。

上記目的を達成するために、本発明は、
第１装置から複数の第１画像、並びに各第１画像の撮影時間情報及び第１撮影位置情報を受信する工程、
各撮影時間情報の撮影時間順に基づいて複数の第１画像を整理する工程、
少なくとも１つの第２装置から少なくとも１つの第２画像及びその第２撮影位置情報を受信する工程、
前記第２画像の前記第２撮影位置情報及び各前記第１画像の前記第１撮影位置情報に基づいて、前記第２画像及び前記第１画像を地理的に最も近いものが隣接して順になるように整理する工程、
互いに隣接する第２画像の第２撮影位置情報又は前記第１画像の前記第１撮影位置情報とを引き算することで距離情報を得て、隣接する第１画像又は第２画像の間の距離情報が特定距離より小さい場合、同じ範囲群に分類することを、順に繰り返す工程、
各前記範囲群中の第１画像及び第２画像の静的背景要素を比べて、同じ静的背景要素を有する第１画像又は第２画像を同じ背景群に分類する工程、及び
各前記背景群中の複数の第１画像と前記第２画像を、背景の範囲が広いものから狭いものへの順で、又は狭いものから広いものへの順で整理する工程、
を有する多重画像源の処理方法を提供する。

以下、具体的な実施例によって本発明の目的、技術的な内容、特徴及び達成できる効果を詳しく説明する。

本発明のシステムブロック図。 本発明の画像編集順のフローチャート。 本発明の動画再生工程のフローチャート。 本発明の画像再生工程の概略図。 本発明の画像再生工程の概略図。 本発明の画像再生工程の概略図。 本発明の画像再生工程の概略図。 本発明において、再生画像を次の再生画像に変更する際の概略図。 本発明の画像再生経路軸を有する再生インターフェイスの概略図。

図１を参照しながら説明する。まず、本発明のシステム構成を説明する。本発明のシステムは、第１装置１０、第２装置１２及び端末機１４を有する。第１装置１０は、ネット接続して画像をアップロード又はダウンロードでき、且つ動画再生できる電子デバイスであり、例えばスマートモバイル通信装置、スマートフォン、又はパソコン等である。本実施例において、第１装置１０として、撮影、写真及び測位機能を有するスマートフォンを使用する。第１装置１０は、画像を撮って第１画像を生成する。本実施例の第１画像（ｉｍａｇｅ）は、動画（ｖｉｄｅｏ）及び写真（ｐｈｏｔｏｇｒａｐｈ）を含む。撮影すると共に、第１装置１０は、撮影時間情報及び撮影場所である第１撮影位置情報を取り込む。この第１撮影位置情報は、例えば全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、ＧＰＳ）信号、中華人民共和国の北斗衛星ナビゲーション測位システム、ロシアのグロナス（ＧＬＯＮＡＳＳ）システム、又は欧州連合がリリースした「ガリレオ」計画などの任意の位置情報サービスを用いて取得できる。また、第１装置１０が測位機能を持たず、又は測位機能が使われていないことで第１撮影位置情報を取得出来ない場合、第１撮影位置情報をマニュアルで入力することによって、各第１画像の撮影場所を決めることができる。

次に、第２装置１２は複数であってもよいが、図１の実施例においては、一つの第２装置１２を有する例を示す。また、第２装置１２は、ネット接続して画像をアップロード又はダウンロードでき、且つ動画再生できる電子製品である。本実施例において、第２装置１２は、例として、第１装置１０と同じような撮影、写真及び測位機能を有するスマートモバイル装置、例えばスマートフォン又はパソコン等が挙げられる。前記第２装置１２は、画面を撮影して第２画像を生成すると同時に、撮影場所である第２撮影位置情報を取り込む。この第２撮影位置情報としては、全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、ＧＰＳ）信号、中華人民共和国の北斗衛星ナビゲーション測位システム、ロシアのグロナス（ＧＬＯＮＡＳＳ）システム又は欧州連合がリリースした「ガリレオ」計画などの任意の位置情報サービスを用いて取得できる。また、第２装置１２が第２撮影位置情報を取得出来ない場合、第２撮影位置情報をマニュアルで入力することによって、各第２画像の撮影場所を決めることができる。

上記第１画像及び第２画像のいずれもファイルであり、写真と動画とのどちらでもよい。写真は、エクスチェンジャブル・イメージ・ファイル・フォーマット（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ、ＥＸＩＦ）を含む。写真を撮る時に測位機能がオンの場合、ＥＸＩＦ情報に撮影位置情報を含む。しかし、動画はＥＸＩＦ情報を有しないので、動画と写真とをＥＸＩＦ情報によっては整列できない。その場合、代わりとして、動画ファイルが有する複数の写真の中の一つの代表写真の撮影内容などから得られる位置情報を当該動画ファイルの位置情報の設定にするか、又は装置で撮影する時の撮影位置情報をそのまま利用する。

端末機１４は、情報を処理するためのパソコンである。本実施例において、端末機１４は、例として、クラウドに設置されるホストコンピュータが挙げられる。端末機１４は、第１装置１０及び第２装置１２と信号接続し、ネットワークを介して第１装置１０及び第２装置１２中の各情報を受信する。よって、端末機１４は、第１装置１０、並びに第２装置１２の撮影時間情報、第１撮影位置情報及び第２撮影位置情報に基づいて、第１画像及び第２画像の整理順番を編集できる。さらに、整理編集後の第１画像及び第２画像から再生動画を製作できる。第１装置１０、第２装置１２又はその他のネット接続できる装置（図示せず）がネットワークを介して端末機１４に接続することで、再生動画を見ることができる。また、第１装置１０又は第２装置１２によって各画像を編集できる。例えば、文字の追加や、又は好きな音楽を選び、統合した動画と組み合わせることで、ソーシャルの交流を向上できる。

以上のように、本発明のシステム構成を説明した。次に、図１及び図２を参照しながら本発明の画像順を整列編集する方法を説明する。まず、工程Ｓ１０において、端末機１４は、第１装置１０の複数第１画像、並びに各第１画像の撮影時間情報及び第１撮影位置情報を受信できる。端末機１４は、第１画像を受信すると同時に第１画像の画面映りを判断できる。例えば画面のボケ、ピントずれなどのように画面映りがはっきりしない場合、又は、例えば目が閉じていたり、白眼又は斜め顔等の状況があるような第１画像中の人の顔の写りが理想的ではない場合、端末機１４は、上記場合に該当する第１画像を端末機１４から削除する。よって、端末機１４に前記のはっきりしない写真や理想的ではない写真を保存しない。次に、工程Ｓ１２において、端末機１４は、各撮影時間情報の撮影時間順に基づいて、複数第１画像を整理する。先に撮影した第１画像を一番前に並べて、時間の前後に基づいて第１画像を整理する。また、前記の撮影時間情報的に最初の第１撮影位置情報の場所を起点とし、前記の撮影時間情報的に最後の第１撮影位置情報を終点とする。

端末機１４は前記の撮影時間情報に基づいて第１画像を整理する。その後、工程Ｓ１４において、端末機１４は第２装置１２の中の少なくとも１つから第２画像を受信する。本実施例において、第２装置１２から複数第２画像を端末機１４に転送し、更に第２装置１２から各第２画像の第２撮影位置情報を端末機１４に転送する。この転送と同時に、端末機１４では第２画像の画面映りを判断できる。例えば画面のボケ、ピントずれなどのように画面映りがはっきりしない場合、又は例えば目が閉じていたり、白眼又は斜め顔等の状況があるような第２画像中の人の顔の写りが理想的ではない場合、端末機１４は、上記場合に該当する第２画像を端末機１４から削除する。よって、端末機１４に前記のはっきりしない写真や理想的ではない写真を保存しない。また、第２画像を受信した工程後、端末機１４は、第１画像を撮影時間順で整理して第１撮影位置情報を連ねて形成した経路である時間撮影経路を基準として、各第２画像の第２撮影位置情報と対照できる。前記各第２画像の第２撮影位置情報と時間撮影経路との距離が特定距離を超える場合、端末機１４から第２画像を削除できる。削除すると、端末機１４に外れ値（ｏｕｔｌｉｅｒ）の画像が残らないので、画像を見る時に、場所が明らかに異なることに起因する違和感を減少できる。

そして、工程Ｓ１５に示すように、端末機１４は、第２画像の第２撮影位置情報及び各第１画像の第１撮影位置情報に基づいて、例えば、最低移動距離の計算方法によって、第２画像と複数の第１画像とを地理的に近い順に並ぶように整理する。即ち、第２画像及び第１画像について、地理的に最も近いもの同士が隣接して順になるように整理する。次いで、工程Ｓ１６において、端末機１４は、複数の第１画像の複数の第１撮影位置情報、及び複数の第２画像の複数の第２撮影位置情報を取り込んで、同じ地理的な空間を有すると判断される第１画像と第２画像とを同じ範囲群に分類する。ここで、第１画像と第２画像を同じ範囲群に分類する工程は、まず、互いに隣接する第１画像の第１撮影位置情報又は第２画像の第２位置情報とを引き算することで距離情報を生成する。互いに隣接する第１画像の第１撮影位置情報又は第２画像の第２位置情報を引き算した距離情報が特定距離より小さい場合、この２つの引き算した第１画像又は第２画像が同じ範囲群に属することを表する。その中で、上記特定距離の設定について、開けた場所の景色は大抵似ているので、通常、広い草原区域の特定距離の設定は、都市街道より大きいか等しいものとする。例えば、例えば日本北海道富良野エリアのような広々とした地域での上記特定距離は１，０００メートルに設定できることに対して、例えば日本本州東京都エリアのような都市街道での上記特定距離は５００メートルに設定できる。選択された第１画像について判断した後、次に近い第１画像を選択して、先に選択された第１画像との間で、第１撮影位置情報同士を引き算することで距離情報を求め、同様に同じ範囲群に分類するか否かの工程を行う。そして、範囲群の分類の後、下記工程Ｓ１７に進む。

第１画像及び第２画像が複数の範囲群に分類された後、工程Ｓ１７において、各範囲群中の第１画像及び第２画像の静的背景要素を比べて、同じ前記静的背景要素を有する第１画像又は第２画像を同じ背景群に分類する。ここで、前記静的背景要素は、物品、建物、模様又は景色であってもよく、例えば道路、湖、山脈、電柱、及び分かり易いランドマーク等であってもよい。最後に、工程Ｓ１８において、各前記背景群中の第１画像及び第２画像を、広い範囲の背景から狭い範囲の背景へ、又は狭い範囲の背景から広い範囲の背景へと、順になるように整理する。図の実施例においては、広い範囲の背景から狭い範囲の背景への順で整列する。その中で、広い範囲の背景及び狭い範囲の背景について、画像中の前記静的背景要素の数に基づいて、前記静的背景要素をより多く有する画像を広い範囲の背景とし、前記静的背景要素がより少ない画像を狭い範囲の背景として判断する。

最後に、工程Ｓ１９において、取り込んだ各背景群における海抜高度が最も高い前記第１撮影位置情報又は前記第２撮影位置情報を、その背景群を代表する代表高度情報とする。さらに、各背景群の代表高度情報に基づいて、海抜高度が最も高い背景群から最も低い前記背景群までを整列する。２つの前記背景群の代表高度情報の海抜高度が同じである場合、前記背景群における時間的に早いほうの撮影時間情報を取り込んで各背景群の代表とし、且つ撮影時間情報に基づいて２つの背景群の撮影前後順を整理する。撮影画像は通常、より高い高度から撮った場合、前記静的背景要素がより多くなる傾向にあり、例えば、空中写真では前記静的背景要素は多く写る場合が多い。よって、海抜高度を整列条件とすると、画像の整列をより有効に行うことができる。上記の手順による整列方法によって、前後連続した画像の内容が調和されて、且つ連続感を有する。

第１画像及び第２画像を上記方法で整列編集した後、端末機１４は、整理した第１画像及び第２画像を複数の再生画像に編集して、再生できる再生動画とする。図１、図３、図４Ａ〜図４Ｄ及び図５を参照しながら本発明の再生工程を説明する。まず、工程Ｓ２０において、端末機１４が再生画像２０の全体を提供し、第１装置１０又は第２装置１２の表示ディスプレイに表示する。そして、工程Ｓ２１において、図４Ａのように、端末機１４は、再生画像２０から、次の再生画像との共通範囲２２を取り込む。前記共通範囲２２は、同じ静的背景要素を有する範囲である。次に、工程Ｓ２２において、端末機１４は、現在表示している再生画像２０のうち共通範囲２２が占める比率が特定比率値より大きいか否かを判断する。ＮＯの場合、工程Ｓ２４に進み、再生画像２０の後にそのまま次の再生画像２０’を再生する。それに対して、ＹＥＳの場合、工程Ｓ２６に進む。図４Ａ及び図５のように、再生画像２０の中の共通範囲２２となるまで、表示している画像を徐々に大きくする（Ｚｏｏｍ ｉｎ）。その時、端末機１４は、再生画像２０の共通範囲２２、及び次の再生画像２０’の共通範囲２２’の再生面積を調整することで、再生ディスプレイのアスペクト比と合致できる。また、表示する位置を、再生画像２０の共通範囲２２の中心点Ａが中心に位置するように移動させる。即ち、図４Ｂに示すように、端末機１４は、共通範囲２２が再生ディスプレイの画面の全部を占めるまで、共通範囲２２を調整する。再生画像２０’における再生画像２０との共通範囲２２が占める比率が小さいほど、拡大縮小及び共通範囲２２の中心点に移動する時間はもちろん相対的に長くなる。また、上記のように判断した再生画像２０に共通範囲２２が占める比率は、端末機１４が共通範囲２２を徐々に大きくする（Ｚｏｏｍ ｉｎ）比率とすることができる。よって、共通範囲の画像を過度に拡大した際に、解像度不良による画像歪み等の状況を避けることができる。さらに、工程Ｓ２６において、図４Ｂ図及び図５のように、再生画像２０の共通範囲２２の画面のみ表示するまで、再生画像２０の共通範囲２２を徐々に大きく表示する（Ｚｏｏｍ ｉｎ）。第１装置１０に再生画像２０を再生させる場合、その共通範囲２２は、ちょうど第１装置１０の表示ディスプレイのアスペクト比と合致する。最終的には、共通範囲２２の画像が第１装置１０の表示ディスプレイの全部を占める。無論、共通範囲２２を拡大すると同時に共通範囲２２の角度を合わせて回転することで、共通範囲２２の角度と次の再生画像２０’の共通範囲２２’の角度とを同じにするとよい。

最後に、工程Ｓ２８において、図４Ｃ及び図５のように、表示ディスプレイに表示する画像を次の再生画像２０’の共通範囲２２’に変更する。さらに、図４Ｄ及び図５において、次の再生画像２０’の全体画面の中心点に位置するようにする。この工程において、表示ディスプレイの画面全部が次の再生画像２０’の全体画面を表示するまで、次の再生画像２０’の共通範囲２２’を徐々に小さくする（Ｚｏｏｍ ｏｕｔ）。そして、次の次の再生画像２０”を再生する。その再生方法は上記と同じであるので、説明を省略する。また、次の再生画像２０’に次の再生画像２０’の共通範囲２２’が占める比率が小さいほど、全体画面において表示する画像を変更する時間が長い。例えば再生画像２０’の全体画面に共通範囲２２’が占める比例が８０％である場合、全体画面に変換する時間はおよそ１．２５秒である。再生画像２０’の全体画面に共通範囲２２’が占める比例が９０％である場合、パノラマ画面に変換する時間はおよそ１．１１秒であり、時間が相対的に短い。

また、図６を参照しながら説明する。本実施例において、再生動画２６に画像再生経路軸２４を生成できる。前記画像再生経路軸２４は、再生動画２６の画面に表示できる。又は、図６に示すように、一般的な再生装置の動画時間軸と同じく、再生動画２６の画面に表示することができる。画像再生経路軸２４の場所をクリックすると、対応場所の再生画像を再生できる。よって、再生している再生画像がどの場所で撮影したのが分かる。これによって、ネット上のソーシャル友達はすぐ撮影場所が分かる。その中で、画像再生経路軸２４は、再生画像の第２撮影位置情報及び第１撮影位置情報の整列によって生成した移動経路であり、回帰分析法、例えば最小二乗法、移動平均法又は最尤法等を利用して、同じ範囲群中の第１撮影位置情報及び第２撮影位置情報を平滑化できる。前記範囲群中の移動経路の曲線を平滑化することで経路を平滑化させ、鋸歯状を減少できるので、動画観覧者のクリック操作に有利である。

結論として、本発明は、複数装置中の画像を組み合わせると共に、全ての画像の位置情報及び静的背景要素に基づいて、複数装置中の画像を整列できる。この静的背景要素に基づく整列によって撮影装置間の各種測位誤差を減少できる。結果として、統合した動画の再生内容の一貫性を向上し、動画再生する際に背景変化によるブレを減少できる。また、画像と次の画像との角度及び比例範囲に基づいて、画像の再生角度及び再生時間を調整するので、動画再生する際に、前後２つの画像が傾斜角度を有すること、及び異なる画像の再生時間が異なることを減少できる。これによって、各画像の再生時間をより豊富化することができる。また、再生動画に画像再生経路軸を追加することで、旅行地によって見たい画像をクリックして選択できる。

以上の内容は本発明の好ましい実施例を示すものであり、本発明の範囲を制限するものではない。すなわち、本発明の請求項に記載の特徴及び趣旨に基いて行った均等論的な変更及び追加は、当然本発明に包含されるものである。

１０ 第１装置
１２ 第２装置
１４ 端末機
２０、２０’、２０” 再生画像
２２、２２’ 共通範囲
２４ 画像再生経路軸
２６ 再生動画
Ａ 中心点

Claims (10)

1. 第１装置から複数の第１画像、並びに各前記第１画像の撮影時間情報及び第１撮影位置情報を受信する工程、
   前記撮影時間情報の撮影時間順に基づいて前記複数の第１画像を整理する工程、
   少なくとも１つの第２装置から少なくとも１つの第２画像、及び前記第２画像の第２撮影位置情報を受信する工程、
   前記第２画像の前記第２撮影位置情報及び前記第１画像の前記第１撮影位置情報に基づいて、前記第２画像及び前記第１画像を地理的に最も近いものが隣接して順になるように整理する工程、
   互いに隣接する前記第２画像の前記第２撮影位置情報又は前記第１画像の前記第１撮影位置情報とを引き算することで距離情報を得て、互いに隣接する前記第１画像又は前記第２画像の間の前記距離情報が特定距離より小さい場合、同じ範囲群に分類することを、順に繰り返す工程、
   各前記範囲群中の前記第１画像及び前記第２画像の静的背景要素を比べて、同じ前記静的背景要素を有する前記第１画像又は前記第２画像を同じ背景群に分類する工程、及び
   各前記背景群中の複数の前記第１画像及び前記第２画像を、背景の範囲が広いものから狭いものへの順で、又は狭いものから広いものへの順で整理する工程
   を有することを特徴とする多重画像源の処理方法。
2. 前記第２画像を受信する工程後、前記第１画像を前記撮影時間順で整理してなる時間撮影経路を基準として、前記第２画像の前記第２撮影位置情報と対照し、前記第２画像の前記第２撮影位置情報と前記時間撮影経路との距離が特定距離を超える場合、前記第２画像を削除することを特徴とする請求項１に記載の多重画像源の処理方法。
3. 各前記範囲群から、各前記背景群における海抜高度が最も高い前記第１撮影位置情報又は前記第２位置情報を取り込んで、前記背景群を代表する代表高度情報とし、
   各前記背景群の前記代表高度情報に基づいて、海抜高度が最も高い前記背景群から最も低い前記背景群まで整理し、
   少なくとも２つの前記背景群の前記代表高度情報の海抜高度が同じである場合、前記背景群の撮影時間順の前後によって整理することを特徴とする請求項１に記載の多重画像源の処理方法。
4. 前記静的背景要素は物品、建物、模様又は景色の少なくとも一つであることを特徴とする請求項１に記載の多重画像源の処理方法。
5. 前記第１画像及び前記第２画像の整理順に従って順番に複数再生画像を構成し、再生できる再生動画として再生する工程を更に含み、
   前記再生動画を再生する工程は、
   再生画像の全体を画面を表示する工程、
   前記再生画像に、次の再生画像と同じ前記静的背景要素を有する共通範囲を取り込む工程、
   前記再生画像に前記共通範囲が占める比率が特定比率値より大きいか否かを判断し、ＮＯの場合、前記次の再生画像をそのまま再生し、ＹＥＳの場合、次の工程に進む工程、
   前記再生画像の前記共通範囲のみを表示するまで、前記再生画像の前記共通範囲を徐々に大きくして表示する工程、及び
   前記次の再生画像の前記共通範囲を表示して前記次の再生画像の全体画面の中心点に移動する工程において、前記次の再生画像の全体のみを表示するまで、前記次の再生画像の画面を徐々に小さくする工程を含む
   ことを特徴とする請求項１に記載の多重画像源の処理方法。
6. 前記再生画像の前記共通範囲の中心点に移動する工程の前に、前記再生画像の前記共通範囲及び前記次の再生画像の前記共通範囲の再生面積を調整することで、表示ディスプレイのアスペクト比と合致することを特徴とする請求項５に記載の多重画像源の処理方法。
7. 前記再生画像に前記再生画像の前記共通範囲が占める比率が小さいほど、前記共通範囲に移動する時間が長いことを特徴とする請求項５に記載の多重画像源の処理方法。
8. 前記次の再生画像に前記次の再生画像の前記共通範囲が占める比率が小さいほど、全体画面に変換する時間が長いことを特徴とする請求項５に記載の多重画像源の処理方法。
9. 前記第１画像及び前記第２画像の整理順に従って順番に複数の再生画像を構成し、再生できる再生動画として前記再生動画を再生し、
   その後、前記再生動画に画像再生経路軸を生成し、前記画像再生経路軸中の場所をクリックすると、前記場所に対応する前記再生画像を再生でき、
   前記画像再生経路軸は、各前記再生画像の前記第１撮影位置情報及び前記第２撮影位置情報に基づいて順番に生成した移動経路であることを特徴とする請求項１に記載の多重画像源の処理方法
10. 前記画像再生経路軸は、前記再生画像の前記第２撮影位置情報及び前記第１撮影位置情報の整列に基いて生成した移動経路であり、
    同じ前記範囲群中の前記第１撮影位置情報及び前記第２位置情報を回帰分析法で平滑化することで、前記移動経路の曲線を平滑化することを特徴とする請求項９に記載の多重画像源の処理方法。