JP2015207802A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】演算量を抑制しながら合成性能の高いパノラマ動画生成を可能にする。
【解決手段】位置ずれ量取得部により、カメラで撮像して得られたそれぞれ複数フレームの第１の動画像および第２の動画像から所定数のフレームの位置ずれ量を取得する。フレーム選択部により、複数フレームから上記所定数のフレームを選択する。例えば、フレーム選択部は、センサ出力および/または画像処理結果に基づいて、所定数のフレームを選択する。画像合成部は、所定数のフレームの位置ずれ量に基づいて、第１の動画像および第２の動画像を合成してパノラマ画像を得る。
【選択図】図３

Description

本技術は、画像処理装置および画像処理方法に関し、特に、オーバーラップ領域を含む複数の動画像を処理する画像処理装置および画像処理方法に関する。

複数の動画を用いたパノラマ動画生成を行う場合、全てのフレームに対して位置ずれ量算出処理を行うことは、性能および演算コスト上、現実的でない。例えば、特許文献１には、最初のフレームに対して位置ずれ量算出を行い、それ以降はフレーム間の動き検出結果をもとに位置ずれ量を補正することで解決を試みている。

特許第４５７７７６５号公報

特許文献１に記載される技術では、位置合わせに使用する領域を限定していない。そのため、動画同士の重なり部分以外の情報を用いて位置ずれ量算出を行うことにより、位置ずれ量算出の性能が低下し、また、演算も全面処理のため演算コストが高くなる。また、特許文献１に記載される技術では、毎フレーム補正をかける。そのため、ベクトルがフレームごとにばらつくと映像が揺れ、見づらいものとなり、また、演算も毎フレーム処理のため演算コストが高くなる。

本技術の目的は、演算量を抑制しながら合成性能の高いパノラマ動画生成を行い得るようにすることにある。

本技術の概念は、
カメラで撮像して得られたそれぞれ複数フレームの第１の動画像および第２の動画像から所定数のフレームの位置ずれ量を取得する位置ずれ量取得部と、
上記複数フレームから上記所定数のフレームを選択するフレーム選択部を備える
画像処理装置にある。

本技術において、位置ずれ量取得部により、カメラで撮像して得られたそれぞれ複数フレームの第１の動画像および第２の動画像から所定数のフレームの位置ずれ量が取得される。フレーム選択部により、複数フレームから所定数のフレームが選択される。例えば、フレーム選択部は、センサ出力および/または画像処理結果に基づいて、所定数のフレームを選択する、ようにされてもよい。この場合、例えば、フレーム位置ずれ量の算出性能の観点などから所定数のフレームが選択される。例えば、動画像のＮフレームからなるとき、Ｍフレーム（Ｎ＞Ｍ）が選択される。

例えば、フレーム選択部は、所定数のフレームとして、近接被写体の少ないフレームを選択する、ようにされてもよい。また、例えば、フレーム選択部は、所定数のフレームとして、カメラ位置が安定化したフレームを選択する、ようにされてもよい。また、例えば、フレーム選択部は、所定数のフレームとして、高周波数成分を多く持つフレームを選択する、ようにされてもよい。

また、例えば、フレーム選択部は、所定数のフレームとして、信頼度の高いフレームを選択する、ようにされてもよい。また、例えば、フレーム選択部は、所定数のフレームとして、位置ずれ量の近いフレームを選択する、ようにされてもよい。また、例えば、フレーム選択部は、所定数のフレームとして、位置ずれ量をクラス分類し、所定のクラスに属する位置ずれ量を持つフレームを選択する、ようにされてもよい。

また、例えば、フレーム選択部は、所定数のフレームとして、任意の連続するフレームを選択する、ようにされてもよい。また、例えば、フレーム選択部は、所定数のフレームとして、任意の間隔のフレームを選択する、ようにされてもよい。また、例えば、フレーム選択部は、所定数のフレームとして、最初および/または最後の一定期間のフレームは選択しない、ようにされてもよい。

このように本技術においては、複数のフレームのうち選択された所定数のフレームの位置ずれ量が取得されるものである。そのため、位置ずれ量を得るための演算コストの低下が可能となる。また、位置ずれ量として高精度の位置ずれ量のみを取得することが可能となる。

なお、本技術において、例えば、所定数のフレームの位置ずれ量に基づいて、第１の動画像および第２の動画像を合成してパノラマ画像を得る画像合成部をさらに備える、ようにされてもよい。この場合、例えば、所定数が複数であるとき、所定数の位置ずれ量から一つまたは複数の位置ずれ量を求め、この一つまたは複数の位置ずれ量を用いる、ようにされてもよい。この場合、演算量を抑制しながら合成性能の高いパノラマ動画生成が可能となる。

また、本技術において、例えば、位置ずれ量取得部は、第１の動画像および第２の動画像の空間周波数を合わせる処理を行ってから位置ずれ量を求める、ようにされてもよい。この場合、位置ずれ量の検出性能を高めることが可能となる。

また、本技術の他の概念は、
カメラで撮像して得られたそれぞれ複数フレームの第１の動画像および第２の動画像から所定数のフレームの位置ずれ量を取得する位置ずれ量取得部と、
上記複数フレームから上記所定数のフレームを選択するフレーム選択部と、
上記所定数のフレームの位置ずれ量に基づいて、上記第１の動画像および上記第２の動画像を合成してパノラマ画像を得る画像合成部を備える
画像処理装置にある。

本技術において、位置ずれ量取得部により、カメラで撮像して得られたそれぞれ複数フレームの第１の動画像および第２の動画像から所定数のフレームの位置ずれ量が取得される。この所定数のフレームは、フレーム選択部により、複数フレームから、例えば、フレーム位置ずれ量の算出性能の観点などに基づいて選択される。画像合成部により、所定数のフレームの位置ずれ量に基づいて、第１の動画像および上記第２の動画像が合成されてパノラマ画像が得られる。

このように本技術においては、複数のフレームのうち選択された所定数のフレームの位置ずれ量が取得され、その位置ずれ量に基づいて動画像の合成が行われるものである。そのため、演算量を抑制しながら合成性能の高いパノラマ動画生成が可能となる。

なお、本技術において、例えば、位置ずれ量取得部は、第１の動画像および第２の動画像の空間周波数を合わせる処理を行ってから位置ずれ量を求める、ようにされてもよい。また、本技術において、例えば、画像合成部は、所定数が複数であるとき、所定数の位置ずれ量から一つまたは複数の位置ずれ量を求め、この一つまたは複数の位置ずれ量を用いる、ようにされてもよい。

本技術によれば、演算量を抑制しながら合成性能の高いパノラマ動画生成が可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

第１の実施の形態としてのパノラマ動画生成装置の構成例を示すブロック図である。 複数の動画からのパノラマ動画の生成を説明するための図である。 パノラマ動画生成装置の位置ずれ量取得部および画像合成部の具体的な構成の一例を示すブロック図である。 部分領域切り出し部の処理を説明するための図である。 スコア算出部およびフレーム選択部における処理の一例を示すフローチャートである。 ２台のカメラＡ，Ｂで２つの動画を撮影する際に近接被写体が存在する様子を示す図である。 近接被写体が存在する場合において撮影された動画Ｖａ，Ｖｂの一例を示す図である。 フレーム選択部における処理の一例を示すフローチャートである。 パノラマ動画生成装置の位置ずれ量取得部および画像合成部の具体的な構成の他の一例を示すブロック図である。 パノラマ動画生成装置をソフトウェアで構成する場合に使用するコンピュータの一例を示す図である。 コンピュータにおけるパノラマ画像生成処理の一例を示すフローチャートである。 コンピュータにおけるパノラマ画像生成処理の他の一例を示すフローチャートである。 コンピュータにおけるパノラマ画像生成処理の他の一例を示すフローチャートである。 コンピュータにおけるパノラマ画像生成処理の他の一例を示すフローチャートである。 第２の実施の形態としてのパノラマ動画生成装置の構成例を示すブロック図である。 隣接する第１のカメラおよび第２のカメラでそれぞれ撮像された２つの画像Ｖａ，Ｖｂの一例を示す図である。 空間周波数特性が合わせられた後の２つの画像Ｖａ，Ｖｂの一例を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１． 第１の実施の形態
２． 第２の実施の形態
３．変形例

＜１．第１の実施の形態＞
［パノラマ動画生成装置の構成例］
図１は、第１の実施の形態としてのパノラマ動画生成装置１００の構成例を示している。このパノラマ動画生成装置１００は、図２（ａ）に示すように、複数のそれぞれＮフレームからなる動画ｖ，ｖ＋１，ｖ＋２，ｖ＋３，・・・に対して位置合わせを行って合成し、図２（ｂ）に示すように、Ｎフレームからなるパノラマ動画を生成する。

このパノラマ動画生成装置１００は、位置ずれ量取得部１０１と、画像合成部１０２を有している。位置ずれ量取得部１０１は、複数の動画 ｖ，ｖ＋１，ｖ＋２，ｖ＋３，・・・のそれぞれ隣接する２つの動画（第１の動画、第２の動画）を対象として、Ｎフレームから選択された所定数のフレームの位置ずれ量を取得する。画像合成部１０２は、隣接する２つの動画毎に、位置ずれ量取得部１０１で取得された所定数のフレームの位置ずれ量を参照して位置合わせを行って合成し、パノラマ動画ＰＶを生成する。

図３は、パノラマ動画生成装置１００の位置ずれ量取得部１０１および画像合成部１０２の具体的な構成の一例を示している。ここでは、説明を簡単にするため、２つの動画Ｖａ，Ｖｂを合成してパノラマ動画ＰＶを生成する例とする。

位置ずれ量取得部１０１は、部分領域切り出し部１１１と、歪補正部１１２と、投影変換部１１３と、位置ずれ量算出部１１４と、位置ずれ量安定化部１１５と、スコア算出部１１６と、フレーム選択部１１７を有している。また、画像合成部１０２は、歪補正部１２１と、投影変換部１２２と、パノラマ合成部１２３を有している。

部分領域切り出し部１１１は、カメラＡで撮影された動画Ｖａと、カメラＢで撮影された動画Ｖｂを入力とし、図４に示すように、互いに重なっていると推察される領域（ハッチング部分）を切り出す。Ｒａは動画Ｖａの切り出し領域を示し、Ｒｂは動画Ｖｂの切り出し領域を示す。

ここで、切り出し領域として、厳密に重なっている領域を算出する必要はない。例えば、動画Ｖａと動画Ｖｂを撮影した時の２台のカメラ間の設置角度やカメラ内部パラメータ（レンズ歪やその他カメラ固有の情報）を基に事前におおよその重なる領域を求めておいてもよい。あるいは、全領域に対する任意の割合を切り出し領域としてもよい。この切り出しにより、後述する位置ずれ量算出に不要な領域を減らすことができ、性能の向上、および後続の処理における演算コストの削減が可能となる。

歪補正部１１２は、部分領域切り出し部１１１で切り出された切り出し領域Ｒａ，Ｒｂに対して歪補正を行う。ここで、歪には、カメラのレンズ歪やイメージセンサの設置誤差に起因するものなどがある。歪補正部１１２は、切り出し領域Ｒａ，Ｒｂが、動画Ｖａ，Ｖｂのどの領域に位置していたかを考慮して、歪補正を行う。

投影変換部１１３は、歪補正部１１２で歪補正された切り出し領域Ｒａ，Ｒｂに投影変換を行う。ここで、投影変換には、例えば、平面から平面、円筒面、球面への処理などがある。生成したいパノラマ動画によって所望の処理おこなう。ユーザが投影変換の種類、方法を選択してもよい。あるいは、各カメラの画角や設置条件から判別して適切な投影変換を自動選択してもよい。投影変換部１１３は、切り出し領域Ｒａ，Ｒｂが、動画Ｖａ，Ｖｂのどの領域に位置していたかを考慮して、投影変換を行う。

位置ずれ量算出部１１４は、投影変換部１１３で投影変換された切り出し領域Ｒａ，Ｒｂのフレーム毎の位置合わせを行って、位置ずれ量および位置ずれ量の信頼度を求める。位置合わせは、例えば、ブロックマッチングによる方法や特徴点マッチングによる方法などがある。位置ずれ量は、位置合わせの結果得られる動画Ｖａと動画Ｖｂのずれを示すもので、例えば、ベクトルや射影行列などで表される。

位置ずれ量の信頼度は、例えば、ベクトルや射影行列などを算出する際の特徴点の空間的な偏り具合やフレーム内のローカルなベクトルのばらつきの程度を示す値である。この信頼度は、例えば、特徴点を空間的に偏りなく検出できていたり、動画Ｖａを射影変換して動画Ｖｂと差分を取った結果が小さかったり（動画Ｖａと動画Ｖｂを入れ替えても良い）、全体的に同じような方向・大きさのローカルベクトルを検出できているほど、高い値を示すようにする。

位置ずれ安定化部１１５は、所定数のフレームで算出された位置ずれ量、例えば、Ｍフレーム（Ｍ枚のフレーム）の位置ずれ量から、Ｌ個（１≦Ｌ≦Ｍ）の安定化された位置ずれ量を算出する。安定化は、例えば、Ｍフレームの位置ずれ量の平均（あるいは加重平均）を取る、Ｍ個の位置ずれ量のうちばらつきの大きいものを除外した後に平均（あるいは加重平均）を取る、Ｍフレームの位置ずれ量を任意の基準でクラス分類して任意のクラスを選択してそのクラス内の位置ずれ量の平均（あるいは加重平均）を取る、などの方法が挙げられる。この際に、除外や重みづけには、位置ずれ量の信頼度を用いてもよい。

フレーム選択部１１７は、上述したように、各動画がそれぞれＮフレームからなる場合において、位置ずれ量を算出すべきＭ枚のフレームを選択する。例えば、フレーム選択部１１７は、スコア算出部１１６で算出するスコアに基づいて、位置ずれ量算出性能の観点から適切なＭフレームを選択する、つまり得意な順にＭフレームを抽出し、苦手なフレームを除外する。 また、例えば、フレーム選択部１１７は、ユーザの設定操作に基づいて、Ｍフレームを選択する

フレーム選択部１１７におけるフレーム選択の判断基準には、例えば、以下のいずれかひとつまたは複数が含まれる。
（１）近接被写体が含まれていないフレーム
（２）イレギュラーなカメラワークをしていないフレーム
（３）ブレ・ボケの小さなフレーム
（４）信頼性の高い位置ずれ量をもつフレーム
（５）位置ずれ量が他のフレームのものから大きく外れていないものをもつフレーム
（６）クラス分類し、任意のクラスに属するものをもつフレーム
（７）任意の連続するＭ枚のフレーム
（８）任意の間隔（不変、可変）のＭ枚のフレーム

上述の判断基準のために、スコア算出部１１６には、例えば、投影変換部１１３から出力される動画、位置ずれ量算出部１１４で算出される位置ずれ量や信頼性情報、センサ情報、イレギュラーなカメラワークなどを示す制御情報等が供給される。また、フレーム選択部１１７には、例えば、スコア算出部１１６で算出されたスコアの他に、例えば、ユーザにより設定される、選択すべきフレーム数、選択すべきフレームの間隔、除外すべき最初、最後の区間、クラスなどの情報が供給される。

スコア算出部１１６は、例えば、上述の（１）〜（５）について、それぞれ、フレームごとにスコアを算出し、フレーム選択部１１７は、例えば、その算出スコアに基づいてＭ枚のフレームを選択する。

図５のフローチャートは、スコア算出部１１６およびフレーム選択部１１７における処理の一例を示している。まず、ステップＳＴ１において、処理が開始される。次に、ステップＳＴ２において、（１）〜（５）の任意の一つまたは複数のスコアが、フレーム単位で算出される。次に、ステップＳＴ３において、複数のスコアが算出される場合には、スコアの線形結合がなされる。ここで、線形結合は、例えば、平均あるいは荷重平均などによる結合を意味する。次に、ステップＳＴ４において、スコアの高い順にＭ枚のフレームが選択される。そして、ステップＳＴ５において、処理が終了される。

個々の判断基準についてさらに説明する。
「（１）近接被写体が含まれていないフレーム」
複数のカメラでの撮影時に、カメラ間に近接被写体が存在すると、撮影された動画間に異なる映像が存在し、位置ずれ量の算出が困難になる。図６（ａ）は、２台のカメラＡ，Ｂで２つの動画Ｖａ，Ｖｂを撮影する際に近接被写体が存在する様子を示している。被写体ｂはカメラＢの画角に入っているが、カメラＡの画角には入っていない。

そのため、撮影された動画Ｖａ，Ｖｂは、図７に示すようになる。この場合、被写体ｂは動画Ｖｂにしか存在しない。さらに、動画Ｖａと動画Ｖｂに共通に存在している被写体ａは、動画Ｖｂにおいて被写体ｂに大部分が遮られてしまっている。このように、重なり領域の多くの領域を近接被写体が占めてしまうと、動画Ｖａと動画Ｖｂで位置合わせをすることが困難になる。

したがって、近接被写体が存在するフレームを、位置ずれ量算出の対象から除くことが望ましい。例えば、カメラの前を人が通り過ぎた場合などが典型的な例である。近接被写体の検出は、例えば、撮影時のカメラのセンサ情報を用いたり、左右の動画の差分や相関を用いたり、認識技術を用いたりすることで実現できる。スコア算出部１１６は、その検出結果を用いて、例えば、近接被写体の占める割合が大きいほどスコアが低くなるようにする。

「（２）イレギュラーなカメラワークをしていないフレーム」
撮影時にカメラは、定点であっても、移動してもよい。ただし、カメラワークが連続的ではなく、突発的な動作をしたり、大きな手振れのようなものが生じたりした場合、カメラの画角に該当フレームの前後とは異なる映像が入り、これによって位置ずれ量も特異なものが発生し、位置ずれ量の安定化が困難になることがある。

そのため、イレギュラーなカメラワークをしているフレームは除外することが望ましい。イレギュラーなカメラワークの検出は、カメラのジャイロ等のセンサ情報を記録しておいてもよいし、画像処理によって、動きベクトルや画像の統計の変化を見ることで実現できる。スコア算出部１１６は、その検出結果を用いて、例えば、前後または任意の期間の周囲のフレームとの変化が大きいほどスコアが低くなるようにする。

「（３）ブレ・ボケの小さなフレーム」
手振れによるブレ、被写体の動きによるブレ、ピントのズレ、などによって画像にボケが生じると位置ずれ量算出が困難になる場合がある。そのため、このようなフレームは位置ずれ量算出の対象から除外することが望ましい。手振れの検出は、カメラによる撮影時のジャイロ等のセンサの情報などから得ることができる。ピントのズレは、カメラによる撮影時のセンサやフォーカス制御の情報などから得ることができる。

また、手振れによるブレ、被写体の動きによるブレ、ピントのズレ、などに共通して、撮影された映像から結果としてどの程度ボケが生じたかを算出できる。例えば、信号の高域成分の有無で確認できる。スコア算出部１１６は、これらの情報から、ブレ・ボケを検知し、ブレ・ボケが大きいほど、スコアが低くなるようにする。

「（４）信頼性の高い位置ずれ量をもつフレーム」
位置ずれ量の信頼性とは、位置ずれ量算出部１１４で算出される値である。スコア算出部１１６は、この値が高いほどスコアを高くするようにする。例えば、位置ずれ量算出部１１４は、２画像間の絵柄のフィッティングを行うための射影行列を計算し、さらに、この射影行列を解析して位置ずれ量を求めるが、このフィッティングの誤差を重みに変換して信頼性とする。

「（５）位置ずれ量が他のフレームのものから大きく外れていないものをもつフレーム」
位置ずれ量算出部１１４が出力する、注目のフレームの位置ずれ量が他のフレームのものから大きく外れている場合、そのフレームにおける位置ずれ量算出が正しく行われていない可能性がある。そのため、除外することが望ましい。位置ずれ量の他のフレームからの外れ度合いは、フレーム間で微分を取ってもよいし、全体または局所的な平均からの差分絶対値あるいは差分の二乗などで定量化することが可能である。スコア算出部１１６は、この外れ度合いが大きいほどスコアを小さくするようにする。

「（６）クラス分類し、任意のクラスに属するものをもつフレーム
フレーム選択部１１７は、任意の基準でクラス分類し、分類された複数のクラスから任意のクラスを選択し、その中からＭ枚のフレームを選択する。この場合、最終的に選択すべきクラスの情報は、例えば、ユーザにより与えられる。

クラス分類の基準には、例えば、フレーム間で類似の位置ずれ量をもつフレーム同士を同じクラスとして分類することが挙げられる。任意のクラスの選択は、例えば、最も多い数のフレームを持つクラスを選択することが挙げられる。なお、選択したクラスからＭ枚のフレームを選択する方法は、例えば、前述のスコアを用いる方法が挙げられる。

図８のフローチャートは、フレーム選択部１１７における処理の一例を示している。まず、ステップＳＴ１１において、処理が開始される。次に、ステップＳＴ１２において、クラス分類が行われる。次に、ステップＳＴ１３において、任意のクラスが選択される。次に、ステップＳＴ１４において、選択されたクラスの中からＭ枚のフレームが選択される。そして、ステップＳＴ１５において、処理が終了される。

「（７）任意の連続するＭ枚のフレーム」
フレーム選択部１１７は、任意の連続するＭ枚のフレームを選択する。フレーム選択部１１７は、例えば、（１）〜（５）の任意のスコアをフレームごとに算出して連続するＭ枚のフレームで合算し、最もスコアが高くなる区間（Ｍ枚のフレーム）を選択する。あるいは、フレーム選択部１１７は、ユーザが指定する連続するＭ枚のフレームの区間を選択する。

「（８）任意の間隔（不変、可変）のＭ枚のフレーム」
フレーム選択部１１７は、任意の間隔（不変、可変）のＭ枚のフレームを選択する。フレーム選択部１１７は、例えば、（１）〜（５）の任意のスコアを任意の間隔でフレームごとに算出してＭ枚のフレームで合算し、最もスコアが高くなる間隔を選択する。一定間隔でもよいし、間隔に変化を持たせてもよい。もしくは、ユーザが間隔を指定してもよい。

なお、図３の構成例では、部分切り出し、歪補正、投影変換、位置ずれ量算出の順に処理を行うようになっているが、必ずしもこの順番に処理が行われなくてもよい。例えば、歪補正、投影変換がされた後に、部分切り出しが行われる構成も考えられる。また、Ｍ枚のフレームが選択されてからそのＭ枚のフレームの位置ずれ量が算出される場合、全てのフレームで位置ずれ量が算出されてからＭ枚のフレームが選択される場合もある。

歪補正部１２１は、動画Ｖａ，Ｖｂに対して、上述の歪補正部１１２と同様の歪補正を行う。投影変換部１２２は、歪補正された動画Ｖａ，Ｖｂに対して、上述の投影変換部１１３と同様の歪補正を行う。パノラマ合成部１２３は、位置ずれ量安定化部１１５で得られるＬ個（１≦Ｌ≦Ｍ）の安定化された位置ずれ量に基づいて、動画Ｖａと動画Ｖｂを合成し、パノラマ動画ＰＶの生成を行う。

例えば、Ｌ＝１の場合は、一つの位置ずれ量を全フレームの合成に適用する。また、例えば、Ｌ＞１の場合は、位置ずれ量のないフレームに関しては補間し、位置ずれ量が緩やかに変化するようにする（シーンチェンジ除く）。画像のスティッチ処理（重なり領域の合成処理）は、例えば、動画Ｖａと動画Ｖｂをブレンドする、または、いずれか片方の動画を使用する。

図９は、パノラマ動画生成装置１００の位置ずれ量取得部１０１および画像合成部１０２の具体的な構成の他の一例を示している。この図９において、図３と対応する部分には同一符号を付し、詳細説明は省略する。位置ずれ量取得部１０１が、スコア算出部１１６を有しない例である。この例の場合、フレーム選択部１１７におけるフレーム選択の判断基準は、例えば、上述の（６）〜（８）となる。その他の構成は、図３の構成と同じである。

なお、パノラマ動画生成装置１００（図３、図９参照）は、ハードウェアで構成できる他、ソフトウェアで構成することもできる。例えば、図１０に示すような、一般的なコンピュータ（モバイル機器、ネットワークで接続された機器、クラウドも含む）３００上で、プログラムを実行することによって実現可能である。

コンピュータ３００は、ＣＰＵ（Central Processing Unit）３１１と、ＧＰＵ（Graphics Processing Unit）３１２と、記憶装置３１３と、入力装置３１４と、出力装置３１５と、通信装置３１６が、バス３１７に接続されて構成されている。入力装置３１４は、キーボード、マウス、マイクロホン等により構成されている。出力装置３１５は、ディスプレイ、スピーカ等により構成されている。

記憶装置３１３は、ＨＤＤ(Hard Disk Drive)、不揮発性メモリ等により構成されている。この記憶装置３１３に、部分領域切り出しプログラム、歪補正プログラム、投影変換プログラム、位置ずれ量算出プログラム、位置ずれ量安定化プログラム、フレーム選択プログラム、パノラマ合成プログラムなどが格納されている。コンピュータ３００は、任意のプログラムの組み合わせで実施することが可能である。

図１１のフローチャートは、コンピュータ３００におけるパノラマ画像生成処理の一例を示している。この処理例では、先頭からＭ枚のフレームを使用して位置ずれ量を算出し、安定化してパノラマ動画生成を行うものであって、フレーム選択の判断基準として、上述の（７）を利用したケースである。なお、歪補正および投影変換は必要に応じて実施する（不要な場合は実施しなくてもよい）。

コンピュータ３００は、ステップＳＴ２１において、処理を開始する。その後、コンピュータ３００は、ステップＳＴ２２において、動画Ｖａと動画Ｖｂのそれぞれ先頭のＭ枚のフレームを選択する。ただし、この場合、最初の一定区間は不安定な区間であるとして、除くようにされてもよい。

次に、コンピュータ３００は、ステップＳＴ２３において、動画Ｖａと動画ＶｂのそれぞれＭ枚のフレームに対して部分領域Ｒａ，Ｒｂを切り出す（図４参照）。次に、コンピュータ３００は、ステップＳＴ２４において、部分領域Ｒａ，Ｒｂに対して歪補正を行う。そして、コンピュータ３００は、ステップＳＴ２５において、歪補正された部分領域Ｒａ，Ｒｂに対して投影変換を行う。

次に、コンピュータ３００は、ステップＳＴ２６において、ステップＳＴ２２で選択されたＭ枚のフレームの位置ずれ量を算出する。ここで、コンピュータ３００は、例えば、ＳＩＦＴ，ＳＵＲＦ，ＢＲＩＳＫ，ＨＯＧ，ＬＢＰなどの、領域で特徴量を得るアルゴリズムを用いて、特徴量を検出する。そして、コンピュータ３００は、この検出された特徴量を利用したマッチング処理を行って、部分領域Ｒａ，Ｒｂの位置ずれ量を算出する。そして、コンピュータ３００は、ステップＳＴ２７において、位置ずれ量の安定化を行い、安定化したＬ個（１≦Ｌ≦Ｍ）の位置ずれ量を得る。

また、コンピュータ３００は、ステップＳＴ２１で処理を開始した後に、ステップＳＴ２８において、動画Ｖａと動画ＶｂのそれぞれＮ枚のフレーム全体に対して歪補正を行い。次に、コンピュータ３００は、ステップＳＴ２９において、歪補正されたＮ枚のフレーム全体に対して、投影変換を行う。

そして、コンピュータ３００は、ステップＳＴ３０において、安定化した位置ずれ量を参照して、ステップＳＴ２９で得られた動画Ｖａと動画ＶｂのそれぞれＮ枚のフレームをフレーム毎に合成して、Ｎ枚のフレームのパノラマ動画ＰＶを生成する。コンピュータ３００は、このステップＳＴ３０の後に、ステップＳＴ３１において、処理を終了する。

図１２のフローチャートは、コンピュータ３００におけるパノラマ画像生成処理の他の一例を示している。この処理例では、近接被写体の有無、イレギュラーなカメラワークの有無、ブレ・ボケの有無よりＭ枚のフレームを選択して、それを使用して位置ずれ量を算出し、安定化してパノラマ動画生成を行うものであって、フレーム選択の判断基準として、上述の（１）〜（３）を利用したケースである。なお、（１）〜（３）のスコアの算出は並列に行ってもよい。また、歪補正および投影変換は必要に応じて実施する（不要な場合は実施しなくてもよい）。

コンピュータ３００は、ステップＳＴ４１において、処理を開始する。その後、コンピュータ３００は、ステップＳＴ４２において、近接被写体の有無に関するスコアを算出する。次に、コンピュータ３００は、ステップＳＴ４３において、イレギュラーなカメラワークの有無に関するスコアを算出する。次に、コンピュータ３００は、ステップＳＴ４４において、ブレ・ボケの有無に関するスコアを算出する。そして、コンピュータ３００は、ステップＳＴ４５において、スコアを線形結合する。

次に、コンピュータ３００は、ステップＳＴ４６において、ステップＳＴ４５で得られたスコアを用いて、動画Ｖａと動画ＶｂのそれぞれＭ枚のフレームを選択する。次に、コンピュータ３００は、ステップＳＴ４７において、選択されたＭ枚のフレームに対して部分領域Ｒａ，Ｒｂを切り出す（図４参照）。次に、コンピュータ３００は、ステップＳＴ４８において、部分領域Ｒａ，Ｒｂに対して歪補正を行う。そして、コンピュータ３００は、ステップＳＴ４９において、歪補正された部分領域Ｒａ，Ｒｂに対して投影変換を行う。

次に、コンピュータ３００は、ステップＳＴ５０において、Ｍ個の位置ずれ量を算出する。ここで、コンピュータ３００は、例えば、ＳＩＦＴ，ＳＵＲＦ，ＢＲＩＳＫ，ＨＯＧ，ＬＢＰなどの、領域で特徴量を得るアルゴリズムを用いて、特徴量を検出する。そして、コンピュータ３００は、この検出された特徴量を利用したマッチング処理を行って、部分領域Ｒａ，Ｒｂの位置ずれ量を算出する。そして、コンピュータ３００は、ステップＳＴ５１において、位置ずれ量の安定化を行い、安定化したＬ個（１≦Ｌ≦Ｍ）の位置ずれ量を得る。

また、コンピュータ３００は、ステップＳＴ４１で処理を開始した後に、ステップＳＴ５２において、動画Ｖａと動画ＶｂのそれぞれＮ枚のフレーム全体に対して歪補正を行い。次に、コンピュータ３００は、ステップＳＴ５３において、歪補正されたＮ枚のフレーム全体に対して、投影変換を行う。

そして、コンピュータ３００は、ステップＳＴ５４において、安定化した位置ずれ量を参照して、ステップＳＴ５３で得られた動画Ｖａと動画ＶｂのそれぞれＮ枚のフレームをフレーム毎に合成して、Ｎ枚のフレームのパノラマ動画ＰＶを生成する。コンピュータ３００は、このステップＳＴ５４の後に、ステップＳＴ５５において、処理を終了する。

図１３のフローチャートは、コンピュータ３００におけるパノラマ画像生成処理の他の一例を示している。この処理例では、位置ずれ量を算出して、位置ずれ量の信頼性と外れ度合いを基にＭ枚のフレームを選択して、位置ずれ量の安定化を行い、パノラマ動画生成を行うものであって、フレーム選択の判断基準として、上述の（４）、（５）を利用したケースである。なお、（４）、（５）のスコアの算出は並列に行ってもよい。また、歪補正および投影変換は必要に応じて実施する（不要な場合は実施しなくてもよい）。

コンピュータ３００は、ステップＳＴ６１において、処理を開始する。その後、コンピュータ３００は、ステップＳＴ６２において、動画Ｖａと動画ＶｂのそれぞれＮ枚のフレーム全体に対して歪補正を行う。そして、コンピュータ３００は、ステップＳＴ６３において、歪補正されたＮ枚のフレーム全体に対して投影変換を行う。

次に、コンピュータ３００は、ステップＳＴ６４において、Ｎ枚のフレームに対して部分領域Ｒａ，Ｒｂを切り出す（図４参照）。次に、コンピュータ３００は、ステップＳＴ６５において、Ｎ個のフレームの位置ずれ量を算出する。ここで、コンピュータ３００は、例えば、ＳＩＦＴ，ＳＵＲＦ，ＢＲＩＳＫ，ＨＯＧ，ＬＢＰなどの、領域で特徴量を得るアルゴリズムを用いて、特徴量を検出する。そして、コンピュータ３００は、この検出された特徴量を利用したマッチング処理を行って、部分領域Ｒａ，Ｒｂの位置ずれ量を算出する。

次に、コンピュータ３００は、ステップＳＴ６６において、位置ずれ量の信頼性を基に、スコアを算出する。次に、コンピュータ３００は、ステップＳＴ６７において、位置ずれ量の外れ度外を基にスコアを算出する。そして、コンピュータ３００は、ステップＳＴ６８において、スコアを線形結合する。

次に、コンピュータ３００は、ステップＳＴ６９において、ステップＳＴ６８で得られたスコアを用いて、Ｍ枚のフレームを選択する。次に、コンピュータ３００は、ステップＳＴ７０において、選択されたＭ枚のフレームにおけるＭ個の位置ずれ量の安定化を行い、安定化したＬ個（１≦Ｌ≦Ｍ）の位置ずれ量を得る。

そして、コンピュータ３００は、ステップＳＴ７１において、安定化した位置ずれ量を参照して、ステップＳＴ６３で得られた動画Ｖａと動画ＶｂのそれぞれＮ枚のフレームをフレーム毎に合成して、Ｎ枚のフレームのパノラマ動画ＰＶを生成する。コンピュータ３００は、このステップＳＴ７１の後に、ステップＳＴ７２において、処理を終了する。

図１４のフローチャートは、コンピュータ３００におけるパノラマ画像生成処理の他の一例を示している。この処理例では、位置ずれ量を算出して、位置ずれ量を基にフレームをクラス分類、クラス選択を行って、Ｍ枚のフレームを選択し、位置ずれ量の安定化を行うものであって、フレーム選択の判断基準として、上述の（６）を利用したケースである。なお、（６）の中で算出する（１）〜（５）の任意のスコアの算出は並列に行ってもよい。また、歪補正および投影変換は必要に応じて実施する（不要な場合は実施しなくてもよい）。

コンピュータ３００は、ステップＳＴ８１において、処理を開始する。その後、コンピュータ３００は、ステップＳＴ８２において、動画Ｖａと動画ＶｂのそれぞれＮ枚のフレーム全体に対して歪補正を行う。そして、コンピュータ３００は、ステップＳＴ８３において、歪補正されたＮ枚のフレーム全体に対して投影変換を行う。

次に、コンピュータ３００は、ステップＳＴ８４において、Ｎ枚のフレームに対して部分領域Ｒａ，Ｒｂを切り出す（図４参照）。次に、コンピュータ３００は、ステップＳＴ８５において、Ｎ個のフレームの位置ずれ量を算出する。ここで、コンピュータ３００は、例えば、ＳＩＦＴ，ＳＵＲＦ，ＢＲＩＳＫ，ＨＯＧ，ＬＢＰなどの、領域で特徴量を得るアルゴリズムを用いて、特徴量を検出する。そして、コンピュータ３００は、この検出された特徴量を利用したマッチング処理を行って、部分領域Ｒａ，Ｒｂの位置ずれ量を算出する。

次に、コンピュータ３００は、ステップＳＴ８６において、位置ずれ量を基に、フレームをクラス分類する。次に、コンピュータ３００は、ステップＳＴ８７において、最も多いフレーム数を持つクラスを選択する。次に、コンピュータ３００は、ステップＳＴ８８において、選択したクラスの中のフレームについて、（１）〜（５）の任意のスコアを算出する。そして、コンピュータ３００は、ステップＳＴ８９において、スコアを線形結合する。

次に、コンピュータ３００は、ステップＳＴ９０において、ステップＳＴ８９で得られたスコアを用いて、Ｍ枚のフレームを選択する。次に、コンピュータ３００は、ステップＳＴ９１において、選択されたＭ枚のフレームにおけるＭ個の位置ずれ量の安定化を行い、安定化したＬ個（１≦Ｌ≦Ｍ）の位置ずれ量を得る。

そして、コンピュータ３００は、ステップＳＴ９２において、安定化した位置ずれ量を参照して、ステップＳＴ８３で得られた動画Ｖａと動画ＶｂのそれぞれＮ枚のフレームをフレーム毎に合成して、Ｎ枚のフレームのパノラマ動画ＰＶを生成する。コンピュータ３００は、このステップＳＴ９２の後に、ステップＳＴ９３において、処理を終了する。

上述の図１１〜図１４のフローチャートで示すコンピュータ３００におけるパノラマ画像生成処理はあくまでも一例であって、これに限定されるものではない。なお、全体に共通して、スコアの算出が前段にあるほど、以下のことがいえる。
（１）早期にＮ→Ｍフレームに絞ることができる（演算量の削減）
（２）使用できる情報の精度は低い（歪補正なし、投影変換なし、位置ずれ量なし、信頼度なし、など）

上述したように、図１に示すパノラマ動画生成装置１００においては、Ｎ枚のフレームから選択されたＭ枚のフレームの位置ずれ量を取得し、Ｍ個のフレームの位置ずれ量に基づいて、Ｎ枚のフレームのパノラマ動画ＰＶを生成するものである。そのため、例えば、位置ずれ量として高精度の位置ずれ量のみを取得し、高品質なパノラマ動画生成が可能となる。また、例えば、位置ずれ量を得るための演算コストの低下が可能となる。

＜２．第２の実施の形態＞
［パノラマ動画生成装置の構成例］
図１５は、第２の実施の形態としてのパノラマ動画生成装置１００Ａの構成例を示している。この図１５において、図１と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。このパノラマ動画生成装置１００Ａは、位置ずれ量取得部１０１と、画像合成部１０２と、ＭＴＦ調整部１０３を有している。

ＭＴＦ調整部１０３は、動画ｖ，ｖ＋１，ｖ＋２，ｖ＋３，・・・の空間周波数特性を合わせるための調整を行う。ＭＴＦ調整部１０３は、ローパスフィルタあるいはバンドパスフィルタを用いたフィルタリングを行うことで、各動画の空間周波数特性を合わせる。この場合、フィルタ特性は固定でもよいが、各動画の空間周波数特性に応じて、適応的に、フィルタ特性が変更されるようにされてもよい。

この場合、ＭＴＦ調整部１０３は、例えばフーリエ変換処理を行うことで、各動画の空間周波数特性を検出する。そして、ＭＴＦ調整部１０３は、各動画の空間周波数特性の検出結果に基づいて得られた空間周波数特性、例えば全ての動画が共通に持つ最も高い空間周波数を含む空間周波数特性に、各動画の空間周波数特性を制限するように、フィルタ特性を変更する。

位置ずれ量取得部１０１は、ＭＴＦ調整部１０３で空間周波数特性が調整された後の動画ｖ´，ｖ＋１´，ｖ＋２´，ｖ＋３´，・・・を用いて、位置ずれ量を取得する。画像合成部１０２は、隣接する２つの動画毎に、位置ずれ量取得部１０１で取得された所定数のフレームの位置ずれ量を参照して位置合わせを行って合成し、パノラマ動画ＰＶを生成する。詳細説明は省略するが、位置ずれ量取得部１０１、画像合成部１０２における処理は、図１に示すパノラマ動画生成装置１００と同様である。

上述したように、図１５に示すパノラマ動画生成装置１００Ａにおいては、位置ずれ量取得部１０１に動画ｖ，ｖ＋１，ｖ＋２，ｖ＋３，・・・が直接供給されるものではなく、空間周波数特性が合わせられた後の動画ｖ´，ｖ＋１´，ｖ＋２´，ｖ＋３´，・・・が供給される。そのため、位置ずれ量取得における、特徴量検出による隣接する２つの画像のオーバーラップ領域の位置ずれ量の取得性能を高めることができる。

図１６（ａ），（ｂ）は、隣接する第１のカメラおよび第２のカメラでそれぞれ撮像された２つの画像Ｖａ，Ｖｂの一例を示している。この例では、第１のカメラおよび第２のカメラのレンズやフォーカスのばらつきなどにより、２つの画像の空間周波数特性（ＭＴＦ）が異なっている。この場合、空間周波数特性の違いから、同じ位置Ｐ１に特徴量が検出されなくなる確率が高くなる。これに対して、図１７（ａ），（ｂ）は、空間周波数特性が合わせられた後の２つの画像Ｖａ´，Ｖｂ´の一例を示している。この場合には、同じ位置Ｐ１に特徴量が検出される確率が高くなる。

したがって、図１５に示すパノラマ動画生成装置１００Ａにおいては、カメラのレンズやフォーカスのばらつきなどがあっても、位置ずれ量算出部１０１における位置ずれ量の取得性能を高めることができ、従って、パノラマ動画生成装置１００Ａでは、動画ｖ，ｖ＋１，ｖ＋２，ｖ＋３，・・・の合成を良好に行うことができ、高品質のパノラマ動画ＰＶを得ることができる。

＜３．変形例＞
なお、上述では記載していないが、図１あるいは図１５に示すパノラマ動画生成装置１００，１００Ａは、カメラやカメラ機能を持つ携帯端末などに搭載することも考えられるが、ネットワーク上あるいはクラウド上のコンピュータ（サーバ）に搭載することも可能である。この場合、カメラやカメラ機能を持つ携帯端末は、撮影した動画をネットワーク上あるいはクラウド上のコンピュータ（サーバ）に送信し、その結果であるパノラマ動画を受信するという構成となり、カメラやカメラ機能を持つ携帯端末の処理負荷を軽減できる。

また、本技術は、以下のような構成を取ることもできる。
（１）カメラで撮像して得られたそれぞれ複数フレームの第１の動画および第２の動画から所定数のフレームの位置ずれ量を取得する位置ずれ量取得部と、
上記複数フレームから上記所定数のフレームを選択するフレーム選択部を備える
画像処理装置。
（２）上記フレーム選択部は、
センサ出力および/または画像処理結果に基づいて、上記所定数のフレームを選択する
前記（１）に記載の画像処理装置。
（３）上記フレーム選択部は、
上記所定数のフレームとして、近接被写体の少ないフレームを選択する
前記（１）または（２）に記載の画像処理装置。
（４）上記フレーム選択部は、
上記所定数のフレームとして、カメラ位置が安定化したフレームを選択する
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）上記フレーム選択部は、
上記所定数のフレームとして、高周波数成分を多く持つフレームを選択する
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）上記フレーム選択部は、
上記所定数のフレームとして、信頼度の高いフレームを選択する
前記（１）から（５）のいずれかに記載の画像処理装置。
（７）上記フレーム選択部は、
上記所定数のフレームとして、位置ずれ量の近いフレームを選択する
前記（１）から（６）のいずれかに記載の画像処理装置。
（８）上記フレーム選択部は、
上記所定数のフレームとして、位置ずれ量をクラス分類し、所定のクラスに属する位置ずれ量を持つフレームを選択する
前記（１）から（７）のいずれかに記載の画像処理装置。
（９）上記フレーム選択部は、
上記所定数のフレームとして、任意の連続するフレームを選択する
前記（１）から（８）のいずれかに記載の画像処理装置。
（１０）上記フレーム選択部は、
上記所定数のフレームとして、任意の間隔のフレームを選択する
前記（１）から（８）のいずれか請求項１に記載の画像処理装置。
（１１）上記フレーム選択部は、
上記所定数のフレームとして、最初および/または最後の一定期間のフレームは選択しない
前記（１）から（１０）のいずれかに記載の画像処理装置。
（１２）上記所定数のフレームの位置ずれ量に基づいて、上記第１の動画および上記第２の動画を合成してパノラマ動画を得る画像合成部をさらに備える
前記（１）から（１１）のいずれかに記載の画像処理装置。
（１３）上記画像合成部は、
上記所定数が複数であるとき、上記所定数の位置ずれ量から一つまたは複数の位置ずれ量を求め、該一つまたは複数の位置ずれ量を用いる
前記（１２）に記載の画像処理装置。
（１４）上記位置ずれ量取得部は、
上記第１の動画および上記第２の動画の空間周波数を合わせる処理を行ってから位置ずれ量を求める
前記（１）から（１５）のいずれかに記載の画像処理装置。
（１５）カメラで撮像して得られたそれぞれ複数フレームの第１の動画および第２の動画から所定数のフレームの位置ずれ量を取得する位置ずれ量取得ステップと、
上記複数フレームから上記所定数のフレームを選択するフレーム選択ステップを有する
画像処理方法。
（１６）カメラで撮像して得られたそれぞれ複数フレームの第１の動画および第２の動画から所定数のフレームの位置ずれ量を取得する位置ずれ量取得部と、
上記複数フレームから上記所定数のフレームを選択するフレーム選択部と、
上記所定数のフレームの位置ずれ量に基づいて、上記第１の動画および上記第２の動画を合成してパノラマ動画を得る画像合成部を備える
画像処理装置。
（１７）上記位置ずれ量取得部は、
上記第１の動画および上記第２の動画の空間周波数を合わせる処理を行ってから位置ずれ量を求める
前記（１６）に記載の画像処理装置。
（１８）上記画像合成部は、
上記所定数が複数であるとき、上記所定数の位置ずれ量から一つまたは複数の位置ずれ量を求め、該一つまたは複数の位置ずれ量を用いる
前記（１６）または（１７）に記載の画像処理装置。
（１９）カメラで撮像して得られたそれぞれ複数フレームの第１の動画および第２の動画から所定数のフレームの位置ずれ量を取得する位置ずれ量取得ステップと、
上記複数フレームから上記所定数のフレームを選択するフレーム選択ステップと、
上記所定数のフレームの位置ずれ量に基づいて、上記第１の動画および上記第２の動画を合成してパノラマ動画を得る画像合成ステップを有する
画像処理方法。

１００，１００Ａ・・・パノラマ動画生成装置
１０１・・・位置ずれ量取得部
１０２・・・画像合成部
１０３・・・ＭＴＦ調整部
１１１・・・部分領域切り出し部
１１２・・・歪補正部
１１３・・・投影変換部
１１４・・・位置ずれ量算出部
１１５・・・位置ずれ量安定化部
１１６・・・スコア算出部
１１７・・・フレーム選択部
１２１・・・歪補正部
１２２・・・投影変換部
１２３・・・パノラマ合成部
３００・・・コンピュータ
３１１・・・ＣＰＵ
３１２・・・ＧＰＵ
３１３・・・記憶装置
３１４・・・入力装置
３１５・・・出力装置
３１６・・・通信装置

Claims (19)

1. カメラで撮像して得られたそれぞれ複数フレームの第１の動画および第２の動画から所定数のフレームの位置ずれ量を取得する位置ずれ量取得部と、
   上記複数フレームから上記所定数のフレームを選択するフレーム選択部を備える
   画像処理装置。
2. 上記フレーム選択部は、
   センサ出力および/または画像処理結果に基づいて、上記所定数のフレームを選択する
   請求項１に記載の画像処理装置。
3. 上記フレーム選択部は、
   上記所定数のフレームとして、近接被写体の少ないフレームを選択する
   請求項１に記載の画像処理装置。
4. 上記フレーム選択部は、
   上記所定数のフレームとして、カメラ位置が安定化したフレームを選択する
   請求項１に記載の画像処理装置。
5. 上記フレーム選択部は、
   上記所定数のフレームとして、高周波数成分を多く持つフレームを選択する
   請求項１に記載の画像処理装置。
6. 上記フレーム選択部は、
   上記所定数のフレームとして、信頼度の高いフレームを選択する
   請求項１に記載の画像処理装置。
7. 上記フレーム選択部は、
   上記所定数のフレームとして、位置ずれ量の近いフレームを選択する
   請求項１に記載の画像処理装置。
8. 上記フレーム選択部は、
   上記所定数のフレームとして、位置ずれ量をクラス分類し、所定のクラスに属する位置ずれ量を持つフレームを選択する
   請求項１に記載の画像処理装置。
9. 上記フレーム選択部は、
   上記所定数のフレームとして、任意の連続するフレームを選択する
   請求項１に記載の画像処理装置。
10. 上記フレーム選択部は、
    上記所定数のフレームとして、任意の間隔のフレームを選択する
    請求項１に記載の画像処理装置。
11. 上記フレーム選択部は、
    上記所定数のフレームとして、最初および/または最後の一定期間のフレームは選択しない
    請求項１に記載の画像処理装置。
12. 上記所定数のフレームの位置ずれ量に基づいて、上記第１の動画および上記第２の動画を合成してパノラマ動画を得る画像合成部をさらに備える
    請求項１に記載の画像処理装置。
13. 上記画像合成部は、
    上記所定数が複数であるとき、上記所定数の位置ずれ量から一つまたは複数の位置ずれ量を求め、該一つまたは複数の位置ずれ量を用いる
    請求項１２に記載の画像処理装置。
14. 上記位置ずれ量取得部は、
    上記第１の動画および上記第２の動画の空間周波数を合わせる処理を行ってから位置ずれ量を求める
    請求項１に記載の画像処理装置。
15. カメラで撮像して得られたそれぞれ複数フレームの第１の動画および第２の動画から所定数のフレームの位置ずれ量を取得する位置ずれ量取得ステップと、
    上記複数フレームから上記所定数のフレームを選択するフレーム選択ステップを有する
    画像処理方法。
16. カメラで撮像して得られたそれぞれ複数フレームの第１の動画および第２の動画から所定数のフレームの位置ずれ量を取得する位置ずれ量取得部と、
    上記複数フレームから上記所定数のフレームを選択するフレーム選択部と、
    上記所定数のフレームの位置ずれ量に基づいて、上記第１の動画および上記第２の動画を合成してパノラマ動画を得る画像合成部を備える
    画像処理装置。
17. 上記位置ずれ量取得部は、
    上記第１の動画および上記第２の動画の空間周波数を合わせる処理を行ってから位置ずれ量を求める
    請求項１６に記載の画像処理装置。
18. 上記画像合成部は、
    上記所定数が複数であるとき、上記所定数の位置ずれ量から一つまたは複数の位置ずれ量を求め、該一つまたは複数の位置ずれ量を用いる
    請求項１６に記載の画像処理装置。
19. カメラで撮像して得られたそれぞれ複数フレームの第１の動画および第２の動画から所定数のフレームの位置ずれ量を取得する位置ずれ量取得ステップと、
    上記複数フレームから上記所定数のフレームを選択するフレーム選択ステップと、
    上記所定数のフレームの位置ずれ量に基づいて、上記第１の動画および上記第２の動画を合成してパノラマ動画を得る画像合成ステップを有する
    画像処理方法。