JP2005217902A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 撮影時の画像の画角よりも広い画角の動画像を出力する
【解決手段】 動画像または時系列に連続する静止画像から時系列順に取得した複数のフレーム画像の相対的な位置関係を算出し、その位置関係に従って前記複数のフレーム画像を配置する。そして配置された複数のフレーム画像の論理和で定義される画像領域から、前記取得された複数のフレーム画像と異なる所定の画面形状の静止画像を複数切り出して生成する。次に生成された所定の画面形状の静止画像を、所定の時間間隔で一つずつ出力することによって、フレーム画像と画面形状が異なる画像を動画像として出力する。この結果、入力した動画像とは異なった画像に作り直して再び動画像として観賞することができる。
【選択図】 図２

Description

この発明は、動画像または時系列に連続する静止画像から、時系列に連続する複数のフレーム画像を取得し、取得した複数のフレーム画像を用いて、そのフレーム画像より広角の複数の静止画像を生成し、生成した複数の静止画像を所定の時間間隔で出力して動画像表示する画像処理技術に関する。

撮影時の画像の画角より広い画角のパノラマ画像などを投影しようとする画像処理技術は従来から知られている（例えば、特許文献１）。また、パノラマ画像を一枚の静止画像として生成する画像処理技術も以前より知られている（例えば、特許文献２）。

特許文献１には、撮影したカメラの動きを得て３つの投射画面に撮影画像を分け、画角を広げた画像をスクリーンに投射するビデオプロジェクタが提案され、画角の広い画像を写す画像処理技術が開示されている。また特許文献２には、動画像から一つの静止画像としてパノラマ画像を生成する方法が開示されている。

特開平９−２３３４０８号公報 特開平６−２８４３２１号公報

このような画像処理技術は、画角を広げた画像を、３つの投射画面による画像によって作り出すため、左右の画像について生じる画像の歪みを、それぞれの投射画面に応じて補正する必要があった。したがって、使用するプロジェクタに合わせて画像の歪み補正処理を行う必要があるなど、通常一つの投射画面で構成されるプロジェクタや、一つの画像表示体が使われるテレビジョンなどでは実現できない技術であった。あるいは、生成される画像が一つの画角の広いパノラマ画像であっても、一つの画像のみでは一連の連続したパノラマ画像として生成されたものではないため、動画像として観賞することはできなかった。

本発明は、このような問題の少なくとも一部を解決するためになされたもので、一つの表示画面を有する通常のプロジェクタやテレビジョンなどの画像表示装置に、撮影時の画像の画角よりも広い画角の動画像を出力する画像処理装置または画像処理方法の提供を目的とする。

上記目的を達成する本発明の画像処理装置は、動画像または時系列に連続する静止画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理装置であって、時系列順に連続する複数のフレーム画像を取得する画像取得部と、前記取得した複数のフレーム画像の相対的な位置関係を算出し、該位置関係に従って前記複数のフレーム画像を配置する画像配置部と、前記配置された複数のフレーム画像の論理和で定義される画像領域から、前記取得された複数のフレーム画像と異なる所定の画面形状の静止画像を複数切り出して生成する画像生成部と、前記生成された所定の画面形状の静止画像を、所定の時間間隔で一つずつ出力する画像出力部と、を備えることを要旨とする。

かかる画像処理装置によれば、入力した動画像から取得したフレーム画像を用いて、そのフレーム画像と画面形状が異なる画像を動画像として出力する。この結果、入力した動画像とは異なった画像に作り直して再び動画像として観賞することができる。

さらに、前記異なる画面形状の静止画像として、前記取得したフレーム画像の画面サイズに対して、少なくとも縦または横のいずれか一方の画面長が大きい矩形画像を生成するものとしてもよい。こうすれば、入力した動画像よりも左右に画角が広がった動画像として出力したり、上下に画角が広がった動画像として出力したりすることができる。

また、本発明の画像処理装置は、切り出す位置を所定量ずつ順次移動して切り出し、前記静止画像を複数生成することとしてもよい。こうすれば、パンやチルト画像について、画像の動きが一定速度の動画像として出力することができる。

あるいは、前記取得された複数のフレーム画像の配置位置に基づいて切り出す位置を順次決定し、前記静止画像を複数生成するものとしてもよい。こうすれば、入力した動画像が表示する画像の動き方と、基本的に同じ動き方をする広角画像の動画像を出力することができる。

また、本発明の画像処理装置は、前記静止画像の生成に際して、該静止画像と所定の重なり量で特定されるフレーム画像を用いて前記静止画像を生成するものとしてもよい。こうすれば、静止画像の生成に使用するフレーム画像の数を少なくすることができる。この結果、フレーム画像の繋ぎ合わせに関する処理の負荷を軽減することができる。

また、本発明の画像処理装置は、前記画像生成部によって生成された複数の静止画像を、さらに所定の順序で出力するものとしてもよい。こうすれば、入力した動画像が表示する画像の動きとは異なる画像の動き方で動画像を出力することができる。

本発明を画像処理方法として捉えることもできる。すなわち、動画像または時系列で連続する静止画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理方法であって、時系列順に連続する複数のフレーム画像を取得する工程と、前記取得した複数のフレーム画像の相対的な位置関係を算出し、該位置関係に従って前記複数のフレーム画像を配置する工程と、前記配置された複数のフレーム画像の論理和で定義される画像領域から、前記取得された複数のフレーム画像と異なる所定の画面形状の静止画像を複数切り出して生成する工程と、前記生成された所定の画面形状の静止画像を、所定の時間間隔で一つずつ出力する工程と、を備えることを要旨とする。

また、本発明はコンピュータプログラムおよびそのプログラムを記録した記録媒体として捉えることもできる。すなわち、動画像または時系列で連続する静止画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理プログラムであって、時系列順に連続する複数のフレーム画像を取得する機能と、前記取得した複数のフレーム画像の相対的な位置関係を算出し、該位置関係に従って前記複数のフレーム画像を配置する機能と、前記配置された複数のフレーム画像の論理和で定義される画像領域から、前記取得された複数のフレーム画像と異なる所定の画面形状の静止画像を複数切り出して生成する機能と、前記生成された所定の画面形状の静止画像を、所定の時間間隔で一つずつ出力する機能と、をコンピュータに実現させることを要旨とする。プログラムの記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＩＣカード、パンチカードなど、コンピュータが読み取り可能な種々の媒体を利用することができる。

次に、本発明の実施の形態を説明する。

図１は本発明の一実施形態としての画像処理装置の概略構成を示す説明図である。この画像処理装置は、汎用のコンピュータを用いて構成され、コンピュータ１００に情報を入力する装置としてのキーボード１１０およびマウス１２０と、情報を出力する装置としてのディスプレイ１３０およびプロジェクタ１８０とを備えている。またコンピュータ１００に動画像を入力する装置として、デジタルビデオカメラ１６０およびＣＤ−Ｒ／ＲＷドライブ１４０、ＤＶＤ−Ｒ／ＲＷドライブ１５０を備えている。その他、必要に応じて、動画像を記憶した記憶媒体からデータを読み出すことが可能な駆動装置を備えることもできる。

コンピュータ１００は、所定のオペレーティングシステムの下で、動画像から取得したフレーム画像をつなぎ合わせて静止画像を生成するためのアプリケーションプログラムを実行することにより、画像処理装置として機能する。特に図１に示したように、このアプリケーションプログラムが実行されることにより、画像取得部１０２、画像配置部１０３、画像生成部１０４、画像出力部１０５として機能する。また、コンピュータ１００のメモリ（図示せず）には、図２、図４、図６、図７、図９、図１１にフローチャートで示されるプログラムが記憶されている。

各部はそれぞれ以下の処理を司る。画像取得部１０２は、コンピュータ１００に入力した動画像から時系列で連続する複数のフレーム画像をキャプチャして取得する。画像配置部１０３は、取得された複数のフレーム画像の相対位置を算出して、その相対位置に配置する。画像生成部１０４は、相対位置に配置された全てのフレーム画像の画像領域から、所定の画面形状の画像を複数切り出して静止画像を生成する。画像出力部１０５は、生成された複数の静止画像を一つずつ所定の時間間隔で出力する。

次に、本実施形態の画像処理装置が行う処理を、図２のフローチャートにより説明する。図２に示した処理が開始されると、まずステップＳ１０にて、入力される動画像からユーザーの指定に基づき、時系列で連続する複数のフレーム画像を、コンピュータ１００に取り込む処理を行う。ユーザーは、ディスプレイ１３０や、プロジェクタ１８０の投影画面に表示されるデジタルビデオカメラ１６０などから供給する動画像を見て、キーボード１１０やマウス１２０などによりデータを入力して取り込むフレーム画像を指定する。

フレーム画像の指定方法は、動画像からフレーム画像をキャプチャしてコンピュータ１００に取り込む際、通常付加されるフレーム画像の識別番号を指定するようにしてもよい。あるいは、ユーザーがディスプレイ１３０に表示されるフレーム画像を見ながら画像を直接指定することとしてもよい。もしくは、所定時間間隔で予め定められた枚数のフレーム画像を、連続するフレーム画像から自動的に取り込むこととしてもよい。

次に、ステップＳ２０では、コンピュータ１００に取り込むことによって取得した複数のフレーム画像について、各フレーム画像間の相対位置の算出処理を行う。この処理は、各々のフレーム画像の相対位置を把握し、その相対位置にフレーム画像を配置することによって、取り込んだ全てのフレーム画像の最大画像領域となる論理和領域を求める（ステップＳ３０）ために行う処理である。

全てのフレーム画像の相対位置は、次に説明する２つのフレーム画像間での位置関係の算出処理を、取り込んだ複数のフレーム画像について実施して求める。本実施例では、時系列で連続する２つのフレーム画像を一つずつずらしながら順次選択して相対位置を算出し、全てのフレーム画像の相対位置の算出を行う。

２つのフレーム画像間における相対位置の算出処理について図３を用いて説明する。図３（ａ）と図３（ｂ）は、フレーム画像間の相対位置を算出するためのフレーム画像Ｇ１とフレーム画像Ｇ２をそれぞれ示している。この例は、夕日を背景とする山の風景を左上から右下方向にパンをして撮像した動画から取り込んだ画像を想定したものである。相対位置関係は、このようなパンによって得られた２つのフレーム画像を想定した場合、両者の間には回転ズレはないことから、並進ベクトルとして求めることができる。

並進ベクトルは、横方向と縦方向の画素数で表現することができ、画像のパターンマッチングや特徴点追跡といった周知の処理技術によって生成することが可能である。こうして生成された並進ベクトルから算出した相対位置データが、画面横（Ｘ）方向の画素数Ｘ２、画面縦（Ｙ）方向の画素数Ｙ２であれば、フレーム画像Ｇ１の画面左上隅Ｃ１を基準点（０，０）とした時、フレーム画像Ｇ２の画面左上隅Ｃ２は座標（Ｘ２，Ｙ２）となる。この状態を図３（ｃ）に示す。こうして、フレーム画像Ｇ１に対するフレーム画像Ｇ２の相対位置を算出する。

また、フレーム画像Ｇ１とフレーム画像Ｇ２との間で、回転や画像倍率が異なる場合は、例えばオプティカルフロー推定とパターンマッチングの組み合わせによって相対位置を算出することができる。オプティカルフロー推定には、種々の手法があり、たとえばグラディエント（ｇｒａｄｉｅｎｔ−ｂａｓｅｄ）法は、観測するフレーム画像間において対象の輝度が不変であるという仮定の下に、画像中における対象の濃度分布の空間勾配と時間勾配の関係を利用して撮影装置を基準とした被写体の移動を推定する。このオプティカルフロー推定の結果に基づいて、大まかに画像の並進移動や回転、ズーム倍率の変化を推定するとともに、この推定結果に基づいてフレーム画像Ｇ１とフレーム画像Ｇ２とを同じ倍率のフレーム画像になるように画像処理を行い、画像処理後のフレーム画像を新たにフレーム画像Ｇ１とフレーム画像Ｇ２として、この画像間でパターンマッチングを行うことによって相対位置を算出する。

以上のように、取り込んだ全てのフレーム画像について、２つのフレーム画像間の相対位置算出処理を、撮影状態に応じフレーム画像の回転や画像倍率を補正して行う。そして全てのフレーム画像の相対位置を算出して処理ステップＳ２０を終了し、次の処理ステップＳ３０へ進む。なお、本実施形態では、上述したように画像の重なり具合からフレーム画像間の相対位置を算出するため、重なり部分が大きい時系列で連続する２つのフレーム画像を選択したが、もとより、少なくとも互いに画像の重なりが存在する２つのフレーム画像を順次選択して全てのフレーム画像の相対位置を算出してもよい。

ステップＳ３０では、算出された相対位置に従って全てのフレーム画像を配置し、配置した全てのフレーム画像の論理和領域を記憶する処理を行う。つまり、全てのフレーム画像が繋ぎ合ってできる画像の存在領域を記憶する処理を行うのである。ここでの処理を図４のフローチャートを用いて説明する。

この処理が開始されると、まずステップＳ３１にて全てのフレーム画像を算出されたフレーム画像間の相対位置に従って配置する。フレーム画像の配置された状態を図５（ａ）に例示する。図５（ａ）は、等しい倍率で画面左から右方向にパンして山の風景を撮像した動画像から、時系列で取得した連続する４つのフレーム画像Ｆ１からＦ４を配置した状態を模式的に示した模式図である。図５（ａ）の例では、フレーム画像Ｆ２の画面左上隅を原点（０，０）としたＸ，Ｙ座標系に各フレーム画像の相対位置を算出しなおし、フレーム画像Ｆ２を基準として３つのフレーム画像Ｆ１、フレーム画像Ｆ３、フレーム画像Ｆ４を、座標（Ｘ１，Ｙ１）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）にそれぞれ配置した状態を示している。

次に、図５（ｂ）の破線に示すように、配置された全てのフレーム画像の論理和となる画像領域を含む矩形の画像識別領域Ｒを設定する処理を行う（ステップＳ３２）。ここで、画像識別領域Ｒは、大きさが出来るだけ小さくなるよう設定するのが好ましい。これは後述するフレーム画像が存在する領域の記憶処理（ステップＳ３４）の負荷を軽減するためである。本実施例では、全てのフレーム画像を含む最小の矩形画像領域を画像識別領域Ｒとして設定する。もとより、全てのフレーム画像が含まれる大きさであれば形状や大きさは何でもよい。

本実施形態において、画像識別領域Ｒの大きさは、全てのフレーム画像のＸ，Ｙ座標値とフレーム画像の画面サイズから求める。各フレーム画像が図５（ａ）の例のように、画面左右方向にパンをして撮像した画像を想定した場合、回転や画像倍率の違いはなく、全てのフレーム画像について画面の傾きや画面サイズの違いはないものと仮定できる。このとき、画像識別領域Ｒの縦の長さは、図５（ｂ）に示すように、フレーム画像画面左上隅のＹ座標値の最大と最小の差（Ｙ３−Ｙ１）に、フレーム画像のＹ方向の長さ、すなわち縦の画素数Ｈを加えたものである。また画像識別領域Ｒの横の長さは、フレーム画像画面左上隅のＸ座標値の最大と最小の差（Ｘ４−Ｘ１）に、フレーム画像のＸ方向の長さ、すなわち横の画素数Ｗを加えたものである。画像識別領域Ｒの画面サイズはこのようにして求めた大きさとする。なお、回転や画像倍率が補正されたフレーム画像を含む場合は、フレーム画像の個々の相対位置と画面の傾き及び大きさを一つずつしらべて、画像識別領域Ｒの縦の画面長さと横の画面長さを求めればよい。

次に、設定した画像識別領域Ｒにフレーム画像が存在する領域と存在しない領域を記憶するため、全てのフレーム画像の論理和となる画像領域（以降、これを「画像存在領域」と呼ぶ）を、画像識別領域Ｒを基準とした座標系に設定しなおす処理を行う（ステップＳ３３）。つまり、図５（ｃ）に示したように、画像存在領域Ｓを画像識別領域Ｒの左上隅を原点（０，０）とするＸ，Ｙ座標系に設定しなおす処理を行うのである。この処理によって、画像存在領域Ｓは画像識別領域ＲでのＸ，Ｙ座標値によって表されることになる。

そこで、次のステップＳ３４にて、画像識別領域Ｒにおいてフレーム画像が存在する画像存在領域Ｓを、Ｘ，Ｙ座標値にて記憶する処理を行う。この処理によって、図５（ｃ）に示したように、網掛け部で示した領域のＸ，Ｙ座標値が画像存在領域Ｓとして記憶される。こうしてステップＳ３０（図２）での処理を終了してステップＳ４０へ進む。

ステップＳ４０とその後のステップＳ５０では、上述したＸ，Ｙ座標値で記憶された画像存在領域Ｓから、動画像として出力する複数の静止画像が生成できる画像領域（以降、これを「画像生成領域」と呼ぶ）を抽出する。この画像生成領域を抽出することによって、入力したフレーム画像と異なる画面形状の静止画像を複数生成することが可能となる。以降、本実施例では、図５（ａ）に例示したおおよそ画面左右方向にパンする動画像から、画面左右方向にパンする新たな矩形画面の動画像を出力するものとして、以降の処理を実施する。

まずステップＳ４０で、縦の画像生成領域の抽出処理を行う。本実施例では、画面左右方向にパンする動画像を生成する処理を行うものとし、画像が常に存在する縦方向の画像生成領域の抽出処理を、横方向の領域の抽出処理（ステップＳ５０）に先んじて行うこととした。もとより、横の画像生成領域の抽出処理を先に行ってもよい。あるいは、出力する動画像がパンの画像の場合は縦の画像生成領域から抽出処理を行い、チルトの画像の場合は横の画像生成領域Ｚから抽出処理を行うようにしてもよい。

ここでの処理を図６のフローチャートを用いて説明する。この処理が開始されると、まずステップＳ４１で、画像識別領域Ｒの全てのＹ座標値に対して、記憶されたＸ座標値の数値範囲を抽出する。本実施形態では、ステップＳ３４（図４）での処理によって記憶したＸ，Ｙ座標値を調べ、０から（（Ｙ３−Ｙ１）＋Ｈ）までの各々のＹ座標値に対して存在するＸ座標値の数値範囲を抽出する。

次にステップＳ４２にて、各々のＹ座標値に対して抽出したＸ座標値の数値範囲が、一つの連続する範囲で、且つ画像識別領域Ｒの横の長さに対して所定割合以上の長さを連続して満たすとき、そのＹ座標値の最大値と最小値を抽出する。図８（ａ）に抽出されたＹ座標値の最大値ＹＬと最小値ＹＳを示す。所定割合は、配置したフレーム画像の画面の傾き具合によって設定してもよい。本実施形態では、図８（ａ）に示したように、画像識別領域Ｒの横方向の最も外周に位置するフレーム画像Ｆ１とＦ４の画面の傾き具合に合わせて設定すればよい。もとより傾きが無い場合は、所定割合を１００％に設定してもよい。本実施形態では、フレーム画像Ｆ１、Ｆ４は画面の傾きがないものと仮定しているため所定割合を１００％とした。

こうして抽出したＹ座標値ＹＬ、ＹＳを、それぞれ画像生成領域の縦の最大領域値ＹＬと最小領域値ＹＳとして抽出し（ステップＳ４３）、ステップＳ４０（図２）での処理を終了して次のステップＳ５０に進む。

ステップＳ５０では、横の画像生成領域の抽出処理を行う。ここでの処理を図７のフローチャートを用いて説明する。まずステップＳ５１にて、前のステップＳ４０にて抽出されたＹ座標値ＹＬにおけるＸ座標値の最大値ＸＬ１と最小値ＸＳ１を抽出する。次にステップＳ５２にて、Ｙ座標値ＹＳにおけるＸ座標値の最大値ＸＬ２と最小値ＸＳ２を抽出する。図８（ｂ）に抽出されたＸＬ１、ＸＳ１、ＸＬ２、ＸＳ２を示す。

その後、ステップＳ５３で、抽出されたＸ座標値ＸＬ１とＸＬ２とを比較し、小さい方の値をＸＬとする処理を行う。続くステップＳ５４で、抽出されたＸ座標値ＸＳ１とＸＳ２を比較し、大きい方の値をＸＳとする処理を行う。こうして抽出したＸ座標値ＸＬとＸＳを、それぞれ画像生成領域の横の最大領域値ＸＬと最小領域値ＸＳとして抽出し（ステップＳ５５）、ステップＳ５０（図２）での処理を終了して次のステップＳ６０に進む。

本実施形態ではフレーム画像の傾きが無いものとしたためＸ座標値ＸＬ１とＸＬ２、またはＸ座標値ＸＳ１とＸＳ２は同じ値となる。もとより、通常の撮影画像には手ぶれなどにより少なからず画面が傾いた画像が存在し得るため、Ｘ座標値に大小が生じることになる。したがって、ステップＳ５３とステップＳ５４の処理を実施するのである。

上述したステップＳ４０とＳ５０の処理によって、画像生成領域の四隅のＸ，Ｙ座標（ＸＬ，ＹＬ）、（ＸＬ，ＹＳ）、（ＸＳ、ＹＬ）、（ＸＳ，ＹＳ）が抽出される。図８（ｃ）に、抽出された画像生成領域Ｚ（クロスハッチング部分）を例示する。こうして抽出された画像生成領域Ｚは、取得したフレーム画像が必ず存在する領域になるため、入力したフレーム画像と異なる画面形状の静止画像を、この画像生成領域Ｚ内であれば、任意の場所から複数切り出すことが可能となる。

次に、ステップＳ６０にて、出力する動画像の画面形状となる静止画像の横の画面長さを設定する。本実施形態では、静止画像を入力した動画像に対して左右方向に画角が広がった矩形画像として生成するため、取得したフレーム画像の横の画面長さ（画素数）Ｗに対する倍率Ｅを、ユーザーが指定することによって静止画像の横の画面長さを設定する。例えば左右の画角を２倍に設定する場合、ステップＳ６０の処理開始に伴ってディスプレイ１３０に表示される入力画面（図示せず）に従い、ユーザーがキーボード１１０やマウス１２０を使ってデータ「Ｅ＝２」を入力して行う。こうして指定されたＥの値とフレーム画像の横の画面長さＷとの積Ｅ×Ｗが静止画像の横の画面長さとして設定される。

次に、ステップＳ７０では、ステップＳ６０で設定した静止画像を動画像として出力する際の再生時間を設定する処理を行う。設定は、この処理の開始に伴ってディスプレイ１３０に表示される入力画面（図示せず）に従い、ユーザーがキーボード１１０などからデータを入力して行う。

本実施形態では、設定する再生時間によって、後述するように静止画像を動画再生した場合の画像のパン速度が決まる。従って、ユーザーは画像がゆっくりパンする動画像を所望する場合は長い時間を入力すればよい。一方、画像が速くパンする動画像を所望する場合は、短い時間を入力すればよい。

こうして設定した静止画像の横の画面長さと再生時間から、次のステップＳ８０にて動画像として出力する静止画像の生成処理を行う。ここでの処理を図９のフローチャートを用いて説明する。

この処理が開始されると、まずステップＳ８１にて設定された再生時間より生成する静止画像の数を算出する。通常のテレビジョンなどに表示される動画像では、１秒間に３０枚の画像が描画されている。従って、本実施形態では、生成する静止画像の数を、１秒につき３０として算出する。例えば、再生時間を５秒と設定した場合は、静止画像を生成する数として１５０が算出される。本実施形態では、説明を簡便にするため、算出された生成する静止画像の数が４であるとして以降の処理を行う。

次に、ステップＳ８２にて、画像生成領域Ｚと静止画像の画面横の長さとから、静止画像の移動可能長さを算出する。続いて、ステップＳ８３では、設定された静止画像の生成数と移動可能長さから、静止画像を切り出す位置となる移動量Ｐを算出する。そして、ステップＳ８４にて、画像生成領域Ｚから移動量Ｐの間隔で静止画像を切り出す処理を行う。

ステップＳ８２からＳ８４までの処理について、図１０に示した模式図を用いて説明する。図１０（ａ）において、網掛け部で示した静止画像Ｋ１が、設定された画面横の長さＥ×Ｗの矩形画像を示している。本実施形態では、静止画像Ｋ１の縦の長さを、画像生成領域Ｚの縦の長さにデフォルトで自動的に設定する。もとより、ユーザーがキーボード１１０などから、縦の画像生成領域Ｚの長さを超えない範囲で、データを入力して指定できるようにしてもよい。

図１０（ａ）から明らかなように、この静止画像Ｋ１の移動可能長さは、画像生成領域Ｚの横の長さ（ＸＬ−ＸＳ）と、静止画像Ｋ１の画面横の長さ（Ｅ×Ｗ）との差で求まる。本実施形態では、パンの画像速度が一定な動画像を出力するものとして、等間隔移動量Ｐにて静止画像を生成する。従って移動量Ｐは、４つの静止画像を生成する場合は３回の移動となることより、次式（１）によって算出される。
Ｐ＝（（ＸＬ−ＸＳ）−Ｅ×Ｗ）／３ …（１）
算出された画像移動量Ｐに従って、順次切り出した静止画像Ｋ２からＫ４を、それぞれ図１０（ｂ）、（ｃ）、（ｄ）に示した。

こうして切り出した静止画像Ｋ１からＫ４について、次のステップＳ８５にて、取得したフレーム画像の画像データを用いて、静止画像を生成する処理を行う。ステップＳ８５が行う処理について、図１１のフローチャートと図１２の説明図を用いて説明する。ステップＳ８５は、静止画像を生成する際、画像の繋ぎ合わせ部分を少なくして画像の連続性を良くするため、少ないフレーム画像数にて静止画像を生成する目的で行われる。

この処理が開始されると、まずステップＳ８５１にて切り出した静止画像と各フレーム画像との重なりを調べ、重なりが最も大きいフレーム画像を抽出する。図１２に示した例では、着目する静止画像Ｋ１について、画像の重なり部分が最も大きい（網掛け部）フレーム画像Ｆ１が抽出される。

次にステップＳ８５２では、着目した静止画像と抽出されたフレーム画像との差分画像を算出する。そして次のステップＳ８５３にて、この差分画像と各フレーム画像との重なりを調べ、重なりが最も大きいフレーム画像を抽出する。図１２の例では、斜線部で示した差分画像との重なりが大きいフレーム画像Ｆ２が抽出される。

次にステップＳ８５４で、図１２の斜線部で示した差分画像とフレーム画像Ｆ２との差分画像を更に算出する。そして、判別ステップＳ８５５にて、ステップＳ８５４にて算出した差分画像が存在するか否かを判定する。

判定の結果、差分画像が存在する場合は（ＹＥＳ）、ステップＳ８５３に戻って、存在する差分画像との重なりが最も大きいフレーム画像の抽出処理を繰り返し実施する。一方判定の結果、差分画像が存在しない場合は（ＮＯ）、次のステップＳ８５６進む。図１２に示した例では、フレーム画像Ｆ２の抽出までで差分画像が存在しなくなるため、静止画像Ｋ１の生成に用いるフレーム画像として、フレーム画像Ｆ１とフレーム画像Ｆ２が抽出される。

ステップＳ８５６では、抽出したフレーム画像の画像データを用いて静止画像を生成する。本実施形態では、ステップＳ８５２及びステップＳ８５３にて調べた重なり部分ごとに抽出したフレーム画像の画像データを用いて静止画像を生成する。図１２に示した例では、静止画像Ｋ１について、網掛け部分の画像はフレーム画像Ｆ１の画像データを用い、斜線部分の画像はフレーム画像Ｆ２の画像データを用いて静止画像Ｋ１を生成する。この結果、静止画像Ｋ１と重なっている他のフレーム画像Ｆ３、Ｆ４の画像データを用いることなく、少ないフレーム画像数にて静止画像Ｋ１を生成することができる。

静止画像Ｋ１以外の静止画像Ｋ２、Ｋ３、Ｋ４についても、前述の処理を同様に行い、静止画像の生成に用いるフレーム画像を抽出する。そして、抽出したフレーム画像について、静止画像との重なり部分の画像データを用い、それぞれの静止画像を生成する。以上の処理が終了すると、ステップＳ８０（図２）での処理が終わり、次ステップＳ９０へ戻る。

ステップＳ９０では、生成された静止画像を所定の時間間隔と所定の順番で出力する処理を行う。本実施例では、前述したように、動画像を表示するために１秒につき３０の静止画像を出力するものとし、生成した静止画像を一つずつ３０分の１秒の時間間隔にて出力する。もとより、動画像を表示する表示装置が必要とする描画数に合わせて、出力する静止画像の時間間隔を変更してもよい。この場合、出力する時間間隔の変更に合わせて生成する静止画像の数を変更し、動画像の再生時間が変わらないようにしてもよい。

また、出力する静止画像の順番は、本実施形態では取得した動画像の画面の動き方に合わせて出力する。例えば、図１０に示した例では、入力した動画像は画面左から右方向にパンしているため、静止画像Ｋ１から順に静止画像Ｋ４まで出力する。

上述したように、本実施形態によれば、図１０に例示したように、入力した動画像に対して横の画角が広がった画像に作り直し、一定速度で画像がパンする動画像として再生することができる。例えば、出力する静止画像を、図１のコンピュータ１００の内部もしくは外部に設けた信号変換装置（図示せず）によって、通常のテレビ標準信号など種々の映像信号に変換し、変換した映像信号をプロジェクタ１８０に入力することによって大画面の動画像として再生することができる。従って、ユーザーは、上下の表示画像は少なくなるものの、手ぶれなどによって生ずる上下方向の画像ゆれが無く、一定速度でスムースにパンする画角が左右に広がったパノラマ画像を、動画像として楽しむことができる。

以上、本発明の一実施形態を説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。

（変形例１）例えば、前記実施形態では、入力した動画像に対して左右に画角を広げた動画像となるように静止画像を生成して出力したが、入力した動画像に対して上下に画角を広げた動画像となるように静止画像を生成して出力するものとしてもよい。これは、入力する動画像が、例えばテレビ塔など縦に長い被写体をチルトによって撮像した画像の場合に有効である。この場合は、図２のステップＳ４０に先んじてステップＳ５０の処理を行い、横の画像生成領域を先に算出することによって、左右の画像が常に存在する画像領域を求めることが好ましい。

（変形例２）また前記実施形態では、出力する動画像について、画像のパン速度を一定にするため、静止画像の切り出し間隔である移動量Ｐを等間隔として算出したが、等間隔とせず、例えば間隔が漸増するように移動量Ｐを算出したり、逆に間隔が漸減するように算出したりするようにしてもよい。こうすれば、パン速度が変化する画像を表示する動画像となるように静止画像を出力することができる。

（変形例３）あるいは、前記実施形態ではステップＳ８３（図９）にて、移動量Ｐを、出力する動画像の再生時間から求められた静止画像の生成数と画像生成領域Ｚでの移動可能長さから算出したが、算出結果には無関係に移動量Ｐを単独で設定することとしてもよい。こうすれば、再生時間の増減は生じるものの、ユーザーの所望する速度にてパンする動画像となるように静止画像を出力することができる。

（変形例４）また、前記実施形態では、入力した動画像の画像のパン方向に合わせて、同じ方向にパンする画像を表示する動画像となるように静止画像を出力したが、逆の方向に画像がパンする動画像となるように静止画像を出力してもよい。また、同じ方向のパンに引き続いて逆の方向にパンする画像を表示する動画像となるように静止画像を出力したり、同じ方向のパンと逆方向のパンを連続して繰り返す画像を表示する動画像となるように静止画像を出力したりするようにしてもよい。

（変形例５）また、前記実施形態ではステップＳ８４（図９）での静止画像の切り出し処理に際して、フレーム画像の配置位置を考慮せず静止画像を切り出したが、取得したフレーム画像を基準として切り出すこととしてもよい。例えば、静止画像の画面左端とフレーム画像の左端を合わせて切り出したり、右端を合わせて切り出したりすればよい。こうすれば、入力した動画像の画像の動き方と、基本的に同じ動き方をする画像を表示する動画像となるように静止画像を出力することができる。

（変形例６）あるいは、前記実施形態では、水平方向に画像が移動するパン画像を動画像として出力したが、例えば左下から右上方向へのパン画像や、左上から右下方向へのパン画像などといった斜め方向へのパン画像を動画像として出力するものとしてもよい。こうすれば、入力した動画像が斜め方向にパンして撮影された画像の場合に、その動画像から取得するフレーム画像の配置位置に合わせて静止画像を生成することができる。

（変形例７）また、前記実施形態ではステップＳ８５６（図１１）にて、静止画像との重なり量で特定されるフレーム画像を用いて静止画像を生成したが、重なり量を考慮せず静止画像と重なる全てのフレーム画像を用いて静止画像を生成することとしてもよい。こうすれば、例えば生成する静止画像とフレーム画像の解像度が異なる場合、画像データを補間して生成する際に多くのフレーム画像データを用いることができる。

（変形例８）また、前記実施形態では生成する複数の静止画像を全て同じ画面形状の矩形画像として処理を行ったが、静止画像を切り出す順番に画面形状を変更するものとしてもよい。例えば、画面横の長さを一定量ずつ増加して切り出したり、逆に一定量ずつ減少して切り出したりしてもよい。

（変形例９）あるいは、前記実施形態では切り出す静止画像の画面形状を矩形としたが、矩形ではなく楕円などとしてもよいし、ハート形や星形などの異形形状としてもよい。

（変形例１０）また、前記実施形態における画像処理装置は、汎用のコンピュータで構成するようにしたが、本発明はこれに限定されるものでなく、モバイルコンピュータやワークステーションなどで構成するようにしてもよい。あるいは、コンピュータとしての機能を有するデジタルカメラやビデオカメラ、ＤＶＤプレーヤ、プロジェクタ、携帯電話など種々の機器において本発明の画像処理装置を構成するようにしてもよい。

本発明の一実施形態としての画像処理装置の概略構成を示す説明図。 画像処理装置の処理を説明するフローチャート。 フレーム画像間の相対位置の算出方法を説明する説明図。 フレーム画像の論理和領域を記憶する処理のフローチャート。 フレーム画像の画像有効領域の算出について説明する説明図。 縦の画像生成領域を算出する処理のフローチャート。 横の画像生成領域を算出する処理のフローチャート。 画像生成領域の算出方法を説明するための説明図。 静止画像の切り出し生成処理についてのフローチャート。 生成される静止画像を説明する説明図。 フレーム画像から静止画像を生成する処理のフローチャート。 フレーム画像から静止画像を生成する方法を説明する説明図。

符号の説明

１００…コンピュータ、１０２…画像取得部、１０３…画像配置部、１０４…画像生成部、１０５…画像出力部、１１０…キーボード、１２０…マウス、１３０…ディスプレイ、１４０…ＣＤ−Ｒ／ＲＷドライブ、１５０…ＤＶＤ−Ｒ／ＲＷドライブ、１６０…デジタルビデオカメラ、１８０…プロジェクタ、Ｆ１〜Ｆ４…フレーム画像、Ｋ１〜Ｋ４…静止画像、Ｓ…画像存在領域、Ｚ…画像生成領域。

Claims (9)

1. 動画像または時系列に連続する静止画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理装置であって、
   時系列順に連続する複数のフレーム画像を取得する画像取得部と、
   前記取得した複数のフレーム画像の相対的な位置関係を算出し、該位置関係に従って前記複数のフレーム画像を配置する画像配置部と、
   前記配置された複数のフレーム画像の論理和で定義される画像領域から、前記取得された複数のフレーム画像と異なる所定の画面形状の静止画像を複数切り出して生成する画像生成部と、
   前記生成された所定の画面形状の静止画像を、所定の時間間隔で一つずつ出力する画像出力部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記画像生成部は、前記異なる画面形状の静止画像として、前記取得したフレーム画像の画面サイズに対して、少なくとも縦または横のいずれか一方の画面長が大きい矩形画像を生成する画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記画像生成部は、切り出す位置を所定量ずつ順次移動して切り出し、前記静止画像を複数生成する画像処理装置。
4. 請求項１ないし３のいずれか一項に記載の画像処理装置であって、
   前記画像生成部は、前記取得された複数のフレーム画像の配置位置に基づいて切り出す位置を順次決定し、前記静止画像を複数生成する画像処理装置。
5. 請求項１ないし４のいずれか一項に記載の画像処理装置であって、
   前記画像生成部は、前記静止画像の生成に際して、該静止画像と所定の重なり量で特定されるフレーム画像を用いて前記静止画像を生成する画像処理装置。
6. 請求項１ないし５のいずれか一項に記載の画像処理装置であって、
   前記画像出力部は、前記画像生成部によって生成された複数の静止画像を、さらに所定の順序で出力する画像処理装置。
7. 動画像または時系列に連続する静止画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理方法であって、
   時系列順に連続する複数のフレーム画像を取得する工程と、
   前記取得した複数のフレーム画像の相対的な位置関係を算出し、該位置関係に従って前記複数のフレーム画像を配置する工程と、
   前記配置された複数のフレーム画像の論理和で定義される画像領域から、前記取得された複数のフレーム画像と異なる所定の画面形状の静止画像を複数切り出して生成する工程と、
   前記生成された所定の画面形状の静止画像を、所定の時間間隔で一つずつ出力する工程と、
   を備える画像処理方法。
8. 動画像または時系列に連続する静止画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理プログラムであって、
   時系列順に連続する複数のフレーム画像を取得する機能と、
   前記取得した複数のフレーム画像の相対的な位置関係を算出し、該位置関係に従って前記複数のフレーム画像を配置する機能と、
   前記配置された複数のフレーム画像の論理和で定義される画像領域から、前記取得された複数のフレーム画像と異なる所定の画面形状の静止画像を複数切り出して生成する機能と、
   前記生成された所定の画面形状の静止画像を、所定の時間間隔で一つずつ出力する機能と、
   をコンピュータに実現させるための画像処理プログラム。
9. 請求項８に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
   

Images