JP2005252739A - 静止画像生成装置およびその方法 - Google Patents

Abstract

【課題】 動画像などから得られた複数の対象画像から、対象画像より面積の大きな画像であるパノラマ画像を生成する処理において、少ない枚数のフレーム画像を抽出する。
【解決手段】 動画像を構成する複数のフレーム画像を取り出し、これらのフレーム画像の関係を、位置関係データを、画像に含まれる被写体を基準として決定することで把握し、表示する。ユーザは、表示された全フレーム画像の重なりに対して、パノラマ画像として抽出したい範囲をパノラマ領域としてしている。画像生成装置１００は、このパノラマ領域を覆う少ない枚数のフレーム画像を決定し、これらの組合わせから、パノラマ画像を抽出し、カラープリンタ２０によりこれを印刷する。
【選択図】 図１４

Description

この発明は、動画像などから取得する複数の対象画像から、この対象画像の一つより面積の大きな矩形の静止画像を生成する技術に関する。

撮影画像をつなぎ合わせて元の画像より一方向に長いパノラマ画像を生成する技術が知られている。最近では、デジタルスチルカメラなどにより撮影された複数の画像を重ね合わせるだけでなく、デジタルビデオカメラなどで連続的に撮像された動画像から、所定の枚数のフレーム画像を取り出して、これをつなぎ合わせることも行なわれている（下記特許文献１参照）。

特開２００３−１９８９０２

こうしたパノラマ画像生成装置では、デジタルビデオカメラで撮像した動画像を記録媒体に一旦記録し、この動画を再生するときに、静止画像を取り込んタイミング情報と、算出された横方向および縦方向の移動量とが読み込まれる。その後、取り込んだ複数の静止画像の移動量に応じた位置で静止画像を重ね合わせて、パノラマ画像を生成している。

しかしながら、このような画像生成技術では、複数のフレーム画像を重ね合わせて矩形のパノラマ画像を生成する作業は、手動で行なわねばならず、煩雑な作業が必要になるという問題があった。所定のタイミングで取り込んだ画像同士の重なり合い（移動量）の情報を抽出して、画像同士をつなぎ合わせる（以下、ステッチする、とも言う）作業は自動化できても、重なり合わせた複数の画像から、矩形のパノラマ画像を切り出す際には、使用者がカーソルを移動して領域指定を行ない、かつ不要な画像を切り落とすといった作業を余儀なくされていたのである。

本発明はこのような問題の少なくとも一部を解決するためになされたもので、パノラマ画像などの矩形の静止画像を容易に生成することを目的とする。

上記目的を達成する本発明の静止画像生成装置は、
動画像などから取得する複数の対象画像から、該対象画像の一つより面積の大きな矩形の静止画像を生成する静止画像生成装置であって、
前記複数の対象画像を取得する画像取得手段と、
該複数の対象画像を重ね合わせて、前記静止画像の生成可能な領域を表示する領域表示手段と、
該表示された領域に対して、前記静止画像の範囲の指定を受け付ける静止画像範囲受付手段と、
該指定された矩形の静止画像の範囲を覆う少ない枚数の対象画像の組合わせを特定する対象画像特定手段と、
該特定された複数の対象画像を用いて、前記矩形の静止画像を生成する静止画像生成手段と
を備えたことを要旨とする。

この静止画像生成装置に対応した静止画像生成方法は、
動画像などから取得する複数の対象画像から、該対象画像の一つより面積の大きな矩形の静止画像を生成する方法であって、
前記複数の対象画像を取得し、
該複数の対象画像を重ね合わせて、前記静止画像の生成可能な領域を表示し、
該表示された領域に対して、前記静止画像の範囲の指定を受け付け、
該指定された矩形の静止画像の範囲を覆う少ない枚数の対象画像の組合わせを特定し、
該特定された複数の対象画像を用いて、前記矩形の静止画像を生成すること
を用紙としている。

かかる静止画像生成技術によれば、取得した複数の対象画像を重ね合わせて、静止画像の生成可能な領域を表示し、この領域に対して、静止画像の範囲の指定を受け付ける。この指定は、使用者により行なわれる。矩形の静止画像の範囲が指定されると、この範囲を覆う少ない枚数の対象画像を特定し、特定した複数の対象画像を用いて、矩形の静止画像を生成する。この結果、所望の矩形の静止画像を、少ない枚数の対象画像から生成することができ、つなぎ合わせ箇所を少なくして、生成する静止画像の品質を高めることができる。

ここで、複数の対象画像を、動画像の所定の時間範囲に対応した複数のフレーム画像から取得するものとしても良い。通常、動画像は、撮像対象が連続しているので、動画像から取り出した複数のフレーム画像を用いれば、所望の矩形の静止画像を抽出することは容易である。もとより、動画像の所定の時間範囲に対応した複数のフレーム画像を対象画像として取り出す際、所定時間間隔で抽出するものとしてもよい。所定の時間範囲に対応した複数のフレーム画像は、動画における時間軸上の開始位置と終了位置とを特定することにより指定しても良い。動画は時間軸上に展開されるものなので、かかる特定の手法を採用すれば、動画像の特定を違和感なく行なうことができる。

複数の対象画像間の位置関係は、複数の対象画像に対してオプティカルフロー推定を用いて推定してもよい。こうした手法で、予め推定された位置関係に基づいて重ね合わせの処理を行なうものとすれば、重ね合わせの処理を容易に行なうことができる。

矩形の静止画像の範囲を、少ない重複で覆う対象画像の組合わせは種々特定することができるが、例えば静止画像の範囲を覆う最小枚数の対象画像の組合わせとして特定することも望ましい。また、一枚の対象画像が、静止画像の範囲の中心を覆うように設定し、その対象画像の周辺に残る残余の領域を他の対象画像で覆うように設定しても良い。画像を見る人は、画像の中心により注意を払うことが多いからである。従って、画像の中心部付近に重ね合わせの境界が生じないように重ね合わせる組合わせを特定することも望ましい。

かかる静止画像の生成において、対象画像および静止画像を表示可能なディスプレイを備え、静止画の生成可能な領域を、対象画像の表示より縮小した表示またはスクロールにより、このディスプレイに表示することができる。静止画像は、対象画像より、その面積が大きいので、こうした縮小表示やスクロール表示を行なうことで、一つのディスプレイを用いて、対象画像と静止画像の両者を容易に表示することができる。

静止画像範囲の受け付けは、ポインティングデバイスによる始点と、この始点に対向する偶部となる終点との指定により、行なうものとすることができる。ポインティングデバイスによる指定は、使用者の意図を直接的に反映することができ、好ましい。

最終的に静止画像を生成するのに用いられる複数の対象画像は、指定された静止画像の範囲を、一方の端部から最大の面積で覆う一の対象画像と、この対象画像によって覆われていない範囲を最大の面積で覆う他の対象画像の組合わせとして特定すればよい。もとより、他の対象画像によっても覆われない領域が残った場合には、残余の領域に対して同様の手続を繰り返し、最終的に、静止画像の領域を覆う対象画像の組合わせを特定すればよい。一方の端部から最大面積で覆う一の対象画像を先ず特定することにより、全体として少ない枚数で覆う対象画像の組合わせを容易に特定することができる。

なお、本発明は静止画像生成装置やその方法としてだけでなく、この静止画像生成方法を実現するコンピュータプログラムおよびそのプログラムを記録した記録媒体としても捉えることができる。記録媒体としてはフレキシブルディスクやＣＤ−ＲＯＭ、ＩＣカード、パンチカードなど、コンピュータが読み取り可能な種々の媒体を利用できる。こうすれば、動画像などから取得された複数の対象画像を用いて静止画像を容易に生成することができる。コンピュータプログラムおよび記録媒体に相当するものとしては、ネットワーク上におかれたハードディスクなどの記憶装置に、ネットワークを介して他のコンピュータによって読み取られ実行されるように保存されているプログラムなどが含まれることは勿論である。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．画像処理システムの構成：
Ｂ．本発明の第１実施例における静止画像データ生成処理：
Ｃ．本発明の第２実施例における静止画像データ生成処理：
Ｄ．変形例：

Ａ．画像処理システムの構成：
図１は、本発明の一実施例としての画像生成装置１００を示す説明図である。画像生成装置１００は、動画像データを供給する動画像データベース部３０と、動画像データから取得する複数の静止画像データを特定するためのユーザインターフェース１６と、動画像データベース部３０から取得した複数の静止画像データに対して画像処理を行う画像処理装置としてのコンピュータ４０と、処理された静止画像データを出力する出力装置としてのカラープリンタ２０とを備えている。

コンピュータ４０は、画像処理のための演算処理を実行するＣＰＵ１１と、各種データなどを記憶したＲＯＭ１２と、画像処理のためのアプリケーションソフトを格納するハードディスク１４と、画像データやアプリケーションプログラムを一時的に格納するＲＡＭ１３と、周辺機器との間のインターフェースを司るＩ／Ｆ回路１５と、これらを接続するバス１０とを備えている。Ｉ／Ｆ回路１５には、動画像データベース部３０や、ユーザインターフェース部１６、カラープリンタ２０などが接続されている。

動画像データベース部３０は、デジタルビデオカメラ３２、ＤＶＤ３４、およびハードディスク３６を動画像データの供給源として有している。もとより、デジタルビデオカメラ３２などは、常時接続されているものではなく、必要に応じて、動画像データベース３０に接続される。また、直接カメラ３２を接続しても良いし、動画像をフラッシュメモリやカードがハードディスクなどの記憶媒体に記憶し、カードリーダなどに、この記憶媒体を装着することで、動画データを取得するものとしても良い。カメラ３２やＤＶＤ３４の動画データは、直接読み込むものとしても良いし、一旦ハードディスク３６に記憶してから、読み込むものとしても良い。これらの機器からの動画像データは、時系列的に連続するフレーム画像データの集合としてコンピュータ４０に供給される。フレーム画像データとは、本実施例では、フレーム毎の静止画像データであるが、モーションＪＰＥＧ（ＭＰＥＧ）など、時間方向に圧縮されたデータであっても差し支えない。この場合は、コンピュータＰＣにおいて圧縮を解凍し、フレーム毎の静止画像データとすればよい。圧縮には、ＭＰＥＧの各バージョン（ＭＥＰＧ１，２，４，７）の他、シネマパックなど既存の各種圧縮技術を用いたものであっても差し支えない。なお、本実施例で取り扱う動画データは、基本的に、６４０×４８０ドットの静止画像を、インタレースで１秒間に３０フレームとなっている。従って、１フレーム時間は３３ｍｓであり、コンピュータＰＣで取り扱い時点では、各フレーム画像データに、時系列的な順序でフレーム番号ＦＮが付されている。

ユーザインターフェース部１６は、ユーザがコンピュータＰＣから情報を取得し、あるいはコマンドなどを与えるためのインタフェースを提供する。本実施例の動画像データから取得するフレーム画像データをユーザが特定するためのユーザインターフェースである。ユーザインターフェース部１６は、動画像データベース部３０から供給されている動画像、生成中の静止画像、および後述する操作表示画面を表示するディスプレイ１７と、ユーザからの入力を受け付けるキーボード１８やマウス１９を備える。

図２は、ディスプレイ１７に表示される操作表示画面２００を示す説明図である。操作表示画面２００は、図示するように、動画像を表示する動画像エリア２１０と、パノラマ画像を切り出すための処理画像表示エリア２２０と、ユーザによる操作入力を受け付ける操作エリア２３０とから構成されている。なお、動画像エリア２１０と処理画像表示エリア２２０では、元の動画像やこれから抽出した静止画像とは異なる解像度（通常は、低解像度）により表示が行なわれる。もとより、ディスプレイ１７が大きければ、元の動画像の解像度そのままで表示を行なうことも差し支えない。

操作エリア２３０には、動画像エリア２１０に表示される動画像を制御するための各種ボタンの他、動画像の取得を指示する動画取得ボタン２３６、フレーム画像を取得する開始位置ＳＴを指定する開始位置指定ボタン２３７、更には終了位置ＥＮを指定する終了位置指定ボタン２３８といったボタンが表示されている。動画像を制御するための各種ボタンとしては、再生ボタン２３１、停止ボタン２３２、一時停止ボタン２３３、巻き戻しボタン２３４、早送りボタン２３５がある。開始位置指定ボタン２３７や終了位置指定ボタン２３８は、後述するパノラマ画像の作成を行なうために、動画像エリア２１０に表示されている動画像に対して、開始位置ＳＴと終了位置ＥＮとを設定するボタンである。

以上説明したハードウェア構成および操作表示画面２００を用いて、以下に示す手順によりパノラマ画像の作成が行なわれる。画像生成装置１００が生成するパノラマ画像は、元の動画像の大きさ（６４０×４８０ドット）より大きなものである。先ず、作業の流れを図３のフローチャートに基づいて説明する。ユーザが、動画像からパノラマ画像を生成しようとする場合、図３に示したように、まず、動画像データを準備する作業を行なう（ステップＳ１００）。具体的には、ユーザは、操作表示画面２００に表示された動画取得ボタン２３６をマウス１９により操作し、動画像データベース部３０のデジタルビデオカメラ３２やＤＶＤ３４等に存在する動画像データを指定するのである。動画像データの指定は、ファイル操作に用いられる通常のダイアローグボックスなどにより行なうことができる。もとより、動画像を選択する専用のインタフェースを用意しても良い。動画像データが準備されると、図２示した動画像エリア２１０には、動画像データが表示される。具体的には、指定された動画像データの先頭の画像が、動画像エリア２１０に表示される。もとより、ボスターフレームなどが指定されている場合には、先頭の画像に代えて、指定されたボスターフレーム画像が表示されるものとしても良い。

次に、ユーザは、動画像エリア２１０に表示された動画像データに対して、操作エリア２３０の各ボタンを操作して、パノラマ画像を生成するための動画像の範囲を指定する作業を行なう（ステップＳ２００）。動画像データベース部３０から取り出された動画像データ全体からパノラマ画像を取り出すことも差し支えないが、通常は、一つの動画像データの中の特定の箇所からパノラマ画像は生成される。ユーザは、操作エリア２３０の早送りボタン２３５や再生ボタン２３１等を用いて、動画像データのうちの所望の箇所を動画像エリア２１０に表示させる。その上で、ある画像を始点としてパノラマ画像の生成を行なうと判断したときには停止ボタン２３２を操作して動画像データを止め、開始位置指定ボタン２３７を、マウス１９によりクリックする。この操作により、その時点で動画像エリア２１０に表示されている画像に開始位置ＳＴが設定される。更にユーザが再生ボタン２３１などにより、動画像データを再生し、ある画像をパノラマ画像生成の終点として判断したときには、停止ボタン２３２を操作して、同様に動画像データを止め、終了位置指定ボタン２３８をマウス１９によりクリックする。この結果、動画像エリア２１０に表示されている画像に終了位置ＥＮが設定される。開始位置ＳＴと終了位置ＥＮが指定されたとき、パノラマ画像を生成する範囲が指定されたとして、図２に示したように、この範囲を視認可能に表示しても良い。

ユーザは、１秒間に３０枚という細かいデータを認識して、パノラマ画像の作成を指示することは少なく、おおよそここ（ＳＴ）からここ（ＥＮ）までといった形で動画像を把握しているので、ここでは、開始位置ＳＴ、終了位置ＥＮとして、範囲を指定するものとした。もとより、コンピュータ４０の内部では、開始位置ＳＴに対応するフレーム番号ＦＮ（ｓｔ）、終了位置ＥＮに対応したフレーム番号ＦＮ（ｅｎ）により、パノラマ画像を生成するための動画像データの特定が行なわれる。この様子を図４に示した。

次に、ユーザがパノラマ画像領域生成ボタン２４０を操作することにより、指定された動画像データからパノラマ画像生成可能な最大範囲の領域ＭＸを表示する処理が行なわれる（ステップＳ３００）。この処理の詳細は後述するが、静止画像エリア２２０に、動画像から取り出した総ての静止画像を配置する処理である。ユーザが、例えばデジタルビデオカメラ３２を用いて撮影した動画像は、デジタルビデオカメラ３２の動きにより変化するが、こうして撮像された動画を構成する各静止画像は、被写体（Ｏｂ）を基準として重ね合わせることができる。図５は、この一例として、動画像データから取り出された４枚のフレーム画像ＦＮ（１００）、ＦＮ（２００）、ＦＮ（３００）、ＦＮ（４００）を示した。これらの画像は、画像の重ね合わせを説明するために、動画像データから適当な間隔で取り出された４枚の静止画像を例示しているに過ぎない。これらの画像を、撮像された被写体（図５における被写体Ｏｂ１ないしＯｂ４など）を基準として重ね合わせ、静止画像エリア２２０に表示した例を、図６に示した。ここでは、４枚の画像を重ね合わせたに過ぎないが、現実には、デジタルビデオカメラ３２により記録された動画像データのうち、開始位置ＳＴから終了位置ＥＮまでの動画像データを構成する総ての静止画像が取り出されることになる。これらの画像を重ね合わせて表示した例を、図７に示した。動画像データの所望の範囲に含まれる全静止画像を、被写体を基準にして配置し、静止画像エリア２２０に表示するのである。

画像表示の手法は、開始位置ＳＴの画像を動画像データから抽出して静止画像エリア２２０の中央に表示し、次の静止画像を動画像データから抽出して重ね合わせて表示し、以下は、停止位置ＥＮに至るまで、この処理を繰り返すことになる。処理を繰り返していくと、重ね合わせる画像の配置によっては、静止画像エリア２２０から重ね合わせる画像の一部がはみ出す場合があり得る。こうした場合には、それまで表示した全画像の位置をシフトすることで静止画像エリア２２０内に表示し得るのであれば、全画像データを所定量だけ移動する。動画が広い領域を撮像しているために、画像の位置をシフトしても、静止画像エリア２２０に入り切らなくなった場合には、全画像を、所定の割合、例えば１０％だけ縮小し、再度重ね合わせの位置に移動して表示を行なう。動画像データから取り出し得る全静止画像について、こうした処理を繰り返すことにより、開始位置ＳＴから終了位置ＥＮまでの全静止画像（フレームＦＮ（ｓｔ）からフレームＦＮ（ｅｎ）までの全静止画像）が、静止画像エリア２２０に表示される。なお、静止画像エリア２２０に入りきらない場合、画像を縮小する代わりに、静止画像エリア２２０にスクロールバーを表示し、はみ出した画像はスクロールにより視認可能としても良い。

次に、ユーザは、静止画像エリア２２０に表示された全静止画像に対して、パノラマ画像として切り出す範囲（以下、この範囲を「パノラマ領域」と呼ぶ）を指定する作業を行なう（ステップＳ４００）。具体的には、ユーザは、マウス１９を用いて、静止画像エリア２２０にマウスカーソルを移動し、マウスボタンを押してマウス１９をドラッグすることにより、図８に例示したように、パノラマ領域ＰＡを指定するのである。

こうしてパノラマ領域ＰＡが指定されると、画像生成装置１００は、パノラマ画像の生成に必要な複数枚の静止画像を特定し、これを用いてパノラマ画像の生成を行ない（ステップＳ５００）、カラープリンタ２０を用いてパノラマ画像を印刷する処理を行なう（ステップＳ５６０）。

以上のユーザの作業および画像生成装置１００の処理により、デジタルビデオカメラ３２などにより撮像された動画像から、パノラマ画像を印刷した画像を、ユーザは容易に入手することができる。

上述した処理のうち、指定された範囲の動画像データから、複数の静止画像を抽出し、これを被写体を基準にして、重ね合わせて、静止画像エリア２２０に表示する領域表示の処理（ステップＳ３００）と、ユーザによりパノラマ画像を生成すべき範囲が指定されたとき、パノラマ画像の生成に必要に静止画像を特定する処理（ステップＳ５００）とについて、詳しく説明する。

図９は、指定された範囲の動画像データから、複数の静止画像を抽出し、これを被写体を基準にして重ね合わせ、静止画像エリア２２０に表示する処理の詳細を示すフローチャートである。この例では、動画像には、パンだけでなくズーム操作や回転操作といった他のカメラ操作も含まれていると想定している。

この実施例では、動画像データを入力した後（ステップＳ３１０）、この動画像データの開始位置ＳＴから終了位置ＥＮまでに含まれる全フレーム画像データを取得し（ステップＳ３２０）、これらのフレーム画像データから、位置関係データの生成処理（ステップＳ３３０）を行なう。位置関係データの生成処理とは、上述した被写体の位置を基準として、フレーム画像を重ね合わせるためのデータを生成する処理である。位置関係データには、二つのフレーム画像データ間のズレ量を、画像の並行移動量で示す並進移動ベクトルだけではなく、一方の画像データに対する他方の画像の回転角度や画像倍率といった情報も含まれる。こうした回転角度や画像倍率は、たとえばオプティカルフロー推定とパターンマッチングの組合せによって実現することができる。オプティカルフロー推定には、種々の手法があり、たとえばｇｒａｄｉｅｎｔ−ｂａｓｅｄの手法では、観測するフレーム画像間において対象の輝度が不変であるという仮定の下に画像中における対象の濃度分布の空間勾配と時間勾配の関係を利用してカメラを基準とした被写体の動きが推定される。

本実施例における相対位置データの生成は、オプティカルフロー推定の結果に基づいて大まかに画像の並進移動や回転、ズーム倍率の変化を推定するとともに、この推定結果に基づいて処理されたフレーム画像間でパターンマッチングを行うことによって行われる。

図１０は、サンプルポイントが９つの場合におけるオプティカルフロー推定の典型的な推定結果を示す説明図である。図１０（ａ）〜図１０（ｄ）は、被写体が静止している場合において、それぞれデジタルビデオカメラ３２が左方向にパンしたとき、反時計回りに回転したとき、ズームインしたとき、およびズームアウトしたときの推定結果である。このように、オプティカルフロー推定によればパンだけでなくズーム操作や回転操作といった他のカメラ操作も行うような場合においてもカメラ操作の内容が推定可能なので、回転角度や画像倍率といった情報をも含む位置関係データを生成することができる。こうして得られた位置関係データによりフレーム画像データを配置する処理を行なう（ステップＳ３４０）。

以上説明した処理により、デジタルビデオカメラ３２などで撮影された動画像やＤＶＤ３４に記録された動画像が、広い領域をパンやチルトを伴いつつ、あるいはズームやワイドといった倍率の変更を伴いつつ撮像されたものであっても、各静止画像であるフレーム画像データの位置関係を、位置関係データとして取り出し、重ね合わせることができる。

次に、こうして重ね合わせて静止画像エリア２２０に表示された画像データから、パノラマ画像を生成する際のパノラマ画像の生成に必要に静止画像を特定する処理（ステップＳ５００）について説明する。図１１は、この処理の詳細を示すフローチャートである。

パノラマ画像の生成に必要な静止画像を特定する処理が開始されると、まずユーザがマウス１９を操作することにより指定したパノラマ領域ＰＡを認識する処理が行なわれる（ステップＳ５１０）。図８に示したように、最終的に生成するパノラマ画像の範囲はユーザが決定するので、まずこの領域を、画像生成装置１００により認識するのである。認識は、静止画像エリア２２０におけるマウスポインタがドラッグされた範囲を特定することにより行なわれる。範囲の特定は、ドラッグの始点座標（Ｘ１，Ｙ１）、終点座標（Ｘ２，Ｙ２）を取り込むことにより容易に行なうことができる（図８参照）。

次に、このパノラマ領域ＰＡに対応したデータ領域を、ＲＡＭ１３に確保し、このデータ領域のデータを初期化する処理を行なう（ステップＳ５２０）。このデータ領域は、パノラマ領域（Ｘ１，Ｙ１）〜（Ｘ２，Ｙ２）に対応する配列として確保される。即ち、パノラマ領域における座標（Ｘｉ，Ｙｊ）に画像が存在すれば、ＲＡＭ１３上の配列Ｇ（ｉ，ｊ）が値１、画像が存在しなければ値０、という関係を持つように設定される。初期化により、配列Ｇ（ｉ，ｊ）は、［Ｘ１≦ｉ≦Ｘ２、Ｙ１≦ｊ≦Ｙ２］の範囲において、すべて値０に設定される。

次に、開始位置ＳＴに対応したフレーム番号ＦＮ（ｓｔ）から終了位置ＥＮに対応したフレーム番号ＦＮ（ｅｎ）の全フレーム画像と、パノラマ画像を生成するとして指定された領域とを比較し、各フレーム画像がパノラマ画像の領域を覆う面積を計算する処理を行なう（ステップＳ５３０）。計算した結果は、各フレーム番号の毎に対応付け、図１２に例示するような一覧データとして、ＲＡＭ１３またはハードディスク１４に記憶する（ステップＳ５４０）。この時に、面積の他に、そのフレーム画像が、パノラマ画像を生成するとした領域の上下左右の何れの辺にかかっているかの情報も、４ビットのデータにより登録される。例えば、図１３に示したように、パノラマ領域ＰＡに対して、左上の辺にかかっているフレーム画像は、左と上の辺に対応したビットを値１とし、下の辺および右の辺については何ら重なっていないことから、下と右の辺に対応したビットを値０とする。この結果、このフレームＦＮ（ｍ）について、４ビットのデータ「１０１０」（左右上下）を記憶するのである。一方、図１３に示したように、パノラマ領域ＰＡに完全に含まれてしまうフレーム画像ＦＮ（ｐ）であれば、４ビットのデータは、「００００」となる。なお、パノラマ領域ＰＡは、一つのフレーム画像より面積が大きいので、各フレーム画像のデータは、４ビットのうちの総てのビットが値１となることは、通常生じない。仮に総てのビットが値１となるフレーム画像が見つかった場合には、「動画像より小さな領域が指定されています。パノラマ画像は生成しません」といった警告をディスプレイ１７などに表示し、パノラマ領域ＰＡの指定（ステップＳ４００）から作業をやり直すものとしても良い。

次に、この一覧データ参照し、まずパノラマ領域ＰＡの少なくとも一つの辺を覆っているフレーム画像を検索し（ステップＳ５５０）、これが存在すれば、その中で、パノラマ領域を覆う面積が最大のフレーム画像を特定する（ステップＳ５６０）。少なくとも一つの辺を覆っているフレーム画像がなければ、全フレーム画像の中から、パノラマ領域を覆う面積が最大のフレーム画像を特定する（ステップＳ５６５）。各フレーム画像がパノラマ領域を覆う面積と辺との関係は、一覧データとされているので、かかるフレーム画像を特定することは容易である。こうしていずれかのステップで一つのフレーム画像が特定されれば、このフレーム画像がパノラマ領域ＰＡを覆っている画素に対応した配列Ｇ（ｉ，ｊ）を値１に設定する処理を行なう（ステップＳ５７０）。この時、図１２に示した一覧データから、特定したフレーム画像を除き、別途用意した選択フレームリストに、フレーム番号ＦＮを登録する処理も行なう（ステップＳ５８０）。

次に、配列Ｇ（ｉ，ｊ）がすべて値１になっているか否かを検証し（ステップＳ５８５）、まだ値０の配列の要素が存在する場合には、パノラマ領域ＰＡのすべてがフレーム画像によっては覆われていないとして、一覧データに残っているフレーム画像について、残りの領域を覆う面積を再計算する処理を行ない、これを用いて一覧データの内容を書き直す処理を行なう（ステップＳ５９０）。かかる一覧データを作成すれば、フレーム画像のうち、パノラマ領域ＰＡの残余の領域を覆う面積が最大のフレーム画像を求めることは容易である。そこで、パノラマ領域ＰＡの残余の領域を最大面積で覆うフレーム画像を求め（ステップＳ５９５）、その後、上述したステップＳ５７０に戻って、このフレーム画像により覆われた画素に対応する配列Ｇ（ｉ，ｊ）を値１に設定する処理から繰り返す。

この結果、パノラマ領域ＰＡのすべてが、選択されたフレーム画像で覆われるまで、上記の処理を繰り返し、パノラマ領域ＰＡのすべてが、複数のフレーム画像で覆われたとき（ステップＳ５８５）、この処理ルーチンを終了する。図に示したステップＳ６００では、こうして特定されたフレーム画像のフレーム番号ＦＮが登録された選択リストを参照して、複数のフレーム画像を取り出し、図１４に示したように、これらのフレーム画像（この例では、ＦＮｑ１ないしＦＮｑ５）を合成して、パノラマ領域ＰＡの範囲の画像データを取り出し、これをカラープリンタ２０に送ってカラー画像データを印刷すればよい。

上述した実施例では、最初のフレーム画像を選択する際には、パノラマ画像を覆う面積が最大であるものよりも、パノラマ領域の少なくとも一辺を覆うという条件を優先したが、これは、パノラマ領域の一辺を覆うフレーム画像を、先ず見い出し、この画像を起点にしてパノラマ領域を一方向から順に探索しようとしているためである。デジタルビデオカメラ３２などで撮像する際、カメラを一方向に移動（パン）しながら撮像することが多いという経験則が存在するので、かかる探索により、少ない枚数でパノラマ領域を覆うフレーム画像を短時間に特定することができる可能性を高めることができる。もとより、しらみつぶし的に、パノラマ領域を覆うフレーム画像の組合わせを探索し、もっとも少ない枚数でパノラマ領域を覆うフレーム画像を特定するものとしても差し支えない。あるいは、パノラマ領域の一辺を覆うという条件を付けず、探索を開始するものとしても良い。

以上説明した本実施例の画像生成装置１００によれば、デジタルビデオカメラ３２などにより撮像された動画像データから、少ない枚数のフレーム画像を用いて、パノラマ画像を容易に生成することができる。特に、動画像から取り出せるパノラマ画像の範囲が、静止画像エリア２２０に表示されるので、ユーザは、これを見ながら、所望の範囲をパノラマ画像として取り出すことができる。しかも、この時に、少ない枚数のフレーム画像を合成してパノラマ画像を得ることができるから、画像を合成する箇所（ステッチする箇所）が少なくなり、合成した画像の境界が目立ちにくく、高画質のパノラマ画像を得ることができる。

以上本発明の実施例について説明したが、本発明のこの実施例に限定されるものではなく、発明の要旨を変更しない範囲内において、種々なる態様で実施することができる。例えば、パノラマ領域を覆う複数のフレーム画像を特定した後、その近傍のフレーム画像を取り出し、これらを合成して、パノラマ画像の画質を高める処理を行なうことも差し支えない。また、上記実施例では、開始位置ＳＴと終了位置ＥＮを特定し、その範囲に全フレーム画像を用いて処理を行なったが、所定の時間間隔（例えば１秒間隔）で抽出されたフレーム画像を用いて処理を行なうものとしても良い。デジタルビデオカメラ３２で撮像する場合などでは、短い時間で撮像している領域に重なりがないほど大きくカメラを移動することは少ないので、所定の間隔で抽出したフレーム画像を用いても、所望のパノラマ領域を覆う組合わせを見い出すことは可能である。処理すべきフレーム画像の数を減らすことができるので、処理に要する時間を短くすることができる。

また、上記の実施例では、パノラマ領域ＰＡは、ユーザがマウス１９を用いて任意の大きさに設定できるものとして説明したが、予め用意したいくつかの矩形領域から、その大きさを選択するものとしても良い。あるいは、パノラマ画像の大きさ自体はユーザにより指定可能だが、縦横比を予め設定した値となるよう、マウス１９を用いた矩形領域の指定を制限するものとしても良い。

パノラマ領域として特定した矩形の範囲を覆う少ない枚数の対象画像の組合わせは、種々特定することができるが、必ず最小枚数のフレーム画像の組合わせにより覆うものとしても良い。また、先にパノラマ領域の中心を覆う一枚のフレーム画像探し、フレーム画像の周辺に残る残余の領域を他のフレーム画像で覆うように設定しても良い。画像を見る人は、画像の中心に高い注意を払うことが多いからである。従って、画像の中心部付近に重ね合わせの境界が生じないように重ね合わせる組合わせを特定すると、得られるパノラマ画像の画質の印象を一層高いものとすることができる。

上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

本発明の一実施例としての画像生成装置１００を示す説明図である。 ディスプレイ１７に表示される操作表示画面２００を示す説明図である。 本発明の実施例におけるパノラマ画像作成処理の内容を示すフローチャートである。 開始位置と終了位置を特定された動画データとフレーム画像との関係を示す説明図である。 画像生成装置１００においてフレーム画像の合成が行なわれる様子を説明めするために４枚のフレーム画像ＦＮ（１００）ないしＦＮ（４００）を例示す説明図である。 ４枚目のフレーム画像ＦＮ（１００）ないしＦＮ（４００）を合成した様子を示す説明図である。 動画を構成する全フレーム画像を静止画像エリア２２０に重ね合わせて表示した状態を示す説明図である。 静止画像エリア２２０にパノラマ領域ＰＡを指定した状態を示す説明図である。 画像生成装置１００における重ね合わせ処理ルーチンを示すフローチャートである。 サンプルポイントが９つの場合におけるオプティカルフロー推定の典型的な推定結果を示す説明図である。 画像生成装置１００が行なうフレーム画像特定処理の一例を示すフローチャートである。 パノラマ領域を覆う少ない枚数のフレーム画像を特定するための一覧データの一例を示す説明図である。 パノラマ領域ＰＡとフレーム画像ＦＮ（ｍ）、ＦＮ（ｐ）の重なりの関係を例示する説明図である。 パノラマ領域ＰＡを５つのフレーム画像ＦＮｑ１ないしＦＮｑ５により覆った状態を示す説明図である。

符号の説明

１０…バス
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…ハードディスク
１５…Ｉ／Ｆ回路
１６…ユーザインターフェース部
１７…ディスプレイ
１８…キーボード
１９…マウス
２０…カラープリンタ
３０…動画像データベース部
３２…デジタルビデオカメラ
３４…ＤＶＤ
３６…ハードディスク
１００…画像生成装置
２００…操作表示画面
２１０…動画像エリア
２２０…静止画像エリア
２３０…操作エリア
２３１…再生ボタン
２３２…停止ボタン
２３３…一時停止ボタン
２３６…フレーム画像取得ボタン
２３７…開始位置指定ボタン
２３８…終了位置指定ボタン
２４０…パノラマ領域生成ボタン

Claims (12)

1. 動画像などから取得する複数の対象画像から、該対象画像の一つより面積の大きな矩形の静止画像を生成する静止画像生成装置であって、
   前記複数の対象画像を取得する画像取得手段と、
   該複数の対象画像を重ね合わせて、前記静止画像の生成可能な領域を表示する領域表示手段と、
   該表示された領域に対して、前記静止画像の範囲の指定を受け付ける静止画像範囲受付手段と、
   該指定された矩形の静止画像の範囲を覆う少ない枚数の対象画像の組合わせを特定する対象画像特定手段と、
   該特定された複数の対象画像を用いて、前記矩形の静止画像を生成する静止画像生成手段と
   を備えた静止画像生成装置。
2. 請求項１記載の静止画像生成装置であって、
   前記画像取得手段は、動画像の所定の時間範囲に対応した複数のフレーム画像を、前記対象画像として取得する手段である静止画像生成装置。
3. 請求項１記載の静止画像生成装置であって、
   前記画像取得手段は、動画像の所定の時間範囲内に含まれ、かつ所定の時間間隔で抽出された複数のフレーム画像を、前記対象画像として取得する手段である静止画像生成装置。
4. 請求項３記載の静止画像生成装置であって、
   前記所定の時間範囲に対応した複数のフレーム画像は、前記動画における時間軸上の開始位置と終了位置とを特定することにより指定される静止画像生成装置。
5. 請求項１ないし請求項４のいずれか記載の静止画像生成装置であって、
   前記領域表示手段は、前記複数の対象画像に対してオプティカルフロー推定を用いて、位置関係を推定し、該推定された位置関係に基づいて重ね合わせの処理を行なう重ね合わせ処理手段を備えた静止画像生成装置。
6. 請求項５記載静止画像生成装置であって、
   前記対象画像特定手段は、前記矩形の静止画像の範囲を覆う最小枚数の対象画像の組合わせを特定する手段である静止画像生成装置。
7. 請求項１ないし請求項６のいずれか記載の静止画像生成装置であって、
   前記領域表示手段は、前記対象画像および前記静止画像を表示可能なディスプレイを備え、
   前記静止画の生成可能な領域を、前記対象画像の表示より縮小した表示またはスクロールにより、該ディスプレイに表示する手段である静止画像生成装置。
8. 請求項１ないし請求項７のいずれかに記載の静止画像生成装置であって、
   前記静止画像範囲受付手段は、ポインティングデバイスによる始点と、該始点に対向する偶部となる終点との指定により、前記静止画像の範囲の指定を受け付ける手段である静止画像生成装置。
9. 請求項１ないし請求項８のいずれかに記載の静止画像生成装置であって、
   前記対象画像特定手段は、前記指定された静止画像の範囲を、一方の端部から最大の面積で覆う一の対象画像と、該対象画像によって覆われていない範囲を最大の面積で覆う他の対象画像の組合わせとして特定する手段である静止画像生成装置。
10. 動画像などから取得する複数の対象画像から、該対象画像の一つより面積の大きな矩形の静止画像を生成する方法であって、
    前記複数の対象画像を取得し、
    該複数の対象画像を重ね合わせて、前記静止画像の生成可能な領域を表示し、
    該表示された領域に対して、前記静止画像の範囲の指定を受け付け、
    該指定された矩形の静止画像の範囲を覆う少ない枚数の対象画像の組合わせを特定し、
    該特定された複数の対象画像を用いて、前記矩形の静止画像を生成する
    静止画像生成方法。
11. 動画像などから取得する複数の対象画像から、該対象画像の一つより面積の大きな矩形の静止画像を生成する処理をコンピュータに実行させるプログラムであって、
    前記複数の対象画像を取得する機能と、
    該複数の対象画像を重ね合わせて、前記静止画像の生成可能な領域を表示する機能と、
    該表示された領域に対して、前記静止画像の範囲の指定を受け付ける機能と、
    該指定された矩形の静止画像の範囲を覆う少ない枚数の対象画像の組合わせを特定する機能と、
    該特定された複数の対象画像を用いて、前記矩形の静止画像を生成する機能と
    をコンピュータに実現させる静止画像生成プログラム。
12. 請求項１１に記載のプログラムを、コンピュータに読み取り可能に記録した記録媒体。

Images