JP2005234680A - 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 - Google Patents

Abstract

【課題】 撮影時の画像の画角よりも広い画角の動画像を出力する
【解決手段】 動画像などから時系列順に取得し（Ｓ１０）、取得した複数のフレーム画像の相対的な位置関係を算出する（Ｓ２０）。そして取得した各フレーム画像に対して所定量分画像領域が大きい静止画像を設定し（Ｓ３０）、その所定量分大きい画像領域となる拡大画像領域について、重なりが最も大きいフレーム画像を、算出されたフレーム画像の相対的な位置関係から抽出する（Ｓ４０）。次に抽出されたフレーム画像の画像データと、所定の画像データを用いて設定された静止画像を生成し（Ｓ５０）、動画像として表示するため所定の時間間隔で生成した静止画像を出力する（Ｓ６０）。この結果、フレーム画像のない部分は所定の画像データになってはいるが、入力した動画像より画角の広い動画像として観賞することができる。
【選択図】 図２

Description

この発明は、撮像手段によって撮像された画像から時系列に連続する複数のフレーム画像を取得し、取得した複数のフレーム画像を用いて、そのフレーム画像より広角の複数の静止画像を生成し、生成した複数の静止画像を所定の時間間隔で出力して動画像表示する画像処理技術に関する。

臨場感ある画像を楽しむため、撮影時の画像の画角より広い画角のパノラマ画像などを投影しようとする画像処理技術は従来から知られている（例えば、特許文献１）。また、パノラマ画像を一枚の静止画像として生成する画像処理技術も以前より知られている（例えば、特許文献２）。

特許文献１には、撮影したカメラの動きを得て３つの投射画面に撮影画像を分け、画角を広げた画像をスクリーンに投射するビデオプロジェクタが提案され、画角の広い画像を写す画像処理技術が開示されている。また特許文献２には、動画像から１つの静止画像としてパノラマ画像を生成する方法が開示されている。

特開平９−２３３４０８号公報 特開平９−０９１４０９号公報

このような画像処理技術は、画角を広げた画像を、３つの投射画面による画像によって作り出すため、左右の画像について生じる画像の歪みを、それぞれの投射画面に応じて補正する必要があった。したがって、使用するビデオプロジェクタに合わせて画像の歪み補正処理を行う必要があるなど、通常１つの投射画面で構成されるビデオプロジェクタや、１つの画像表示体が使われるテレビジョンなどでは実現できない技術であった。あるいは、生成される画像が１つの画角の広いパノラマ画像であっても、動画像表示を行うためには連続する一連のパノラマ画像を生成しなければならず、１つの画像では動画像として観賞することは到底できなかった。

本発明は、このような問題の少なくとも一部を解決するためになされたもので、１つの表示画面を有する通常のビデオプロジェクタやテレビジョンなどの画像表示装置に、撮影時の画像の画角よりも広い画角の動画像を表示するための画像処理装置、画像処理方法、画像処理プログラムまたはその記録媒体を提供することを目的とする。

上記目的を達成する本発明の画像処理装置は、撮像手段によって撮像された画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理装置であって、時系列順に連続する複数のフレーム画像を取得する画像取得部と、前記取得された複数のフレーム画像の相対的な位置関係データを算出する位置関係データ生成部と、前記取得された複数のフレーム画像各々１つに対して、所定量分大きい画像領域となる拡大画像領域を有する静止画像を設定する静止画像設定部と、前記位置関係データに基づいて、前記複数のフレーム画像の画像領域と前記拡大画像領域との重なり量を算出し、該算出された重なり量の大きさで特定されるフレーム画像を抽出するフレーム画像抽出部と、前記抽出されたフレーム画像の画像データを用いて前記拡大画像領域の画像を生成し、該生成された拡大画像領域の画像データと、前記複数のフレーム画像各々１つの画像データとから、前記設定された静止画像を生成する静止画像生成部と、を備えることを要旨とする。

かかる画像処理装置によれば、入力した動画像から取得したフレーム画像を用いて、そのフレーム画像より画像領域が大きい静止画像を生成する。この結果、生成した静止画像を順次連続して表示した場合、入力した動画像とは異なった広角の画像に作り直した動画像として再び表示することができる。

ここで、前記フレーム画像に対して、少なくとも縦または横のいずれか一方の画像領域が所定量分大きい拡大画像領域を有する静止画像を設定するものとしてもよい。こうすれば、入力した動画像よりも左右に画角が広がった動画像として表示したり、上下に画角が広がった動画像として表示したりすることができる。

また、前記フレーム画像抽出部は、前記拡大画像領域から前記抽出されたフレーム画像の画像領域を除いた画像領域と、前記複数のフレーム画像の画像領域との重なり量を算出し、該算出された重なり量の大きさで特定されるフレーム画像を更に抽出するものとしてもよい。こうすれば、拡大画像領域の画像の生成に際して用いるフレーム画像の数を少なくすることができる。この結果、フレーム画像の繋ぎ合わせ個所を削減したり、画像の繋ぎ合わせに関する処理の負荷を軽減したりすることができる。

また、前記拡大画像領域の画像生成に用いるフレーム画像の画像データが存在しない画像領域について、所定の画像データを用いるものとしてもよい。こうすれば、画像が存在しない領域について、例えば所定の表示色の動画像として表示することができる。

さらに、本発明の静止画像生成部は、前記各々１つのフレーム画像に対して生成された静止画像を、所定の時間間隔で１つずつ出力する静止画像出力部をさらに備えることとしてもよい。こうすれば、動画像を表示する表示装置に必要な時間間隔で、生成した静止画像を順次出力できるため、動画像として表示することができる。

本発明の画像処理方法は、撮像手段によって撮像された画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理方法であって、時系列順に連続する複数のフレーム画像を取得する工程と、前記取得された複数のフレーム画像の相対的な位置関係データを算出する工程と、前記取得された複数のフレーム画像各々１つに対して、所定量分大きい画像領域となる拡大画像領域を有する静止画像を設定する工程と、前記位置関係データに基づいて、前記複数のフレーム画像の画像領域と前記拡大画像領域との重なり量を算出し、該算出された重なり量の大きさで特定されるフレーム画像を抽出する工程と、前記抽出されたフレーム画像の画像データを用いて前記拡大画像領域の画像を生成し、該生成された拡大画像領域の画像データと、前記複数のフレーム画像各々１つの画像データとから、前記設定された静止画像を生成する工程と、を備えることを要旨とする。

また、本発明はコンピュータプログラムまたはそのプログラムを記録した記録媒体としてもよい。すなわち、撮像手段によって撮像された画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理プログラムであって、時系列順に連続する複数のフレーム画像を取得する機能と、前記取得された複数のフレーム画像の相対的な位置関係データを算出する機能と、前記取得された複数のフレーム画像各々１つに対して、所定量分大きい画像領域となる拡大画像領域を有する静止画像を設定する機能と、前記位置関係データに基づいて、前記複数のフレーム画像の画像領域と前記拡大画像領域との重なり量を算出し、該算出された重なり量の大きさで特定されるフレーム画像を抽出する機能と、前記抽出されたフレーム画像の画像データを用いて前記拡大画像領域の画像を生成し、該生成された拡大画像領域の画像データと、前記複数のフレーム画像各々１つの画像データとから、前記設定された静止画像を生成する機能と、をコンピュータに実現させることを要旨とする。プログラムの記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＩＣカード、パンチカードなど、コンピュータが読み取り可能な種々の媒体を利用することができる。

次に、本発明の実施の形態を説明する

図１は本発明の一実施形態としての画像処理装置の概略構成を示す説明図である。この画像処理装置は、汎用のコンピュータを用いて構成され、コンピュータ１００に情報を入力する装置としてのキーボード１１０およびマウス１２０と、情報を出力する装置としてのディスプレイ１３０およびビデオプロジェクタ１８０とを備えている。またコンピュータ１００に動画像を入力する装置として、デジタルビデオカメラ１６０およびＣＤ−Ｒ／ＲＷドライブ１４０、ＤＶＤ−Ｒ／ＲＷドライブ１５０を備えている。その他、必要に応じて、動画像を記憶した記憶媒体からデータを読み出すことが可能な駆動装置を備えることもできる。

コンピュータ１００は、所定のオペレーティングシステムの下で、動画像から取得したフレーム画像の画像データを用いて静止画像を生成するためのアプリケーションプログラムを実行することにより、後述のフローチャートで示した処理を行う画像処理装置として機能する。アプリケーションプログラムはコンピュータが読み取り可能な記録媒体によって外部から供給され、コンピュータ１００に備えられたハードディスクやＲＡＭなどの半導体メモリ（図示せず）に記憶される。もとより、インターネットなどのネットワーク手段を介して、アプリケーションプログラムを供給するサーバー等にアクセスし、データをダウンロードすることによって記憶するものとしてもよい。

このアプリケーションプログラムが実行されることにより、コンピュータ１００は、特に図１に示したように、画像取得部１０２、位置関係データ生成部１０３、静止画像設定部１０４、フレーム画像抽出部１０５、静止画像生成部１０６として機能する。

各部はそれぞれ以下の処理を司る。画像取得部１０２は、コンピュータ１００に入力した動画像から時系列で連続する複数のフレーム画像をキャプチャして取得する。位置関係データ生成部１０３は、取得した複数のフレーム画像の相対位置を算出して、その相対位置データをフレーム画像抽出部１０５に渡す。静止画像設定部１０４は、取得したフレーム画像各々１つに対して所定量分大きい画像領域を有する静止画像を設定する。フレーム画像抽出部１０５は、設定した静止画像の生成に用いるフレーム画像を相対位置データに基づいて抽出する。静止画像生成部１０６は、抽出したフレーム画像の画像データを用いて静止画像を生成する。

次に、本実施形態の画像処理装置が行う処理を、図２のフローチャートを用いて説明する。図２のフローチャートで示した各処理ステップにおいて、画像取得部１０２がステップＳ１０を、位置関係データ生成部１０３がステップＳ２０を、静止画像設定部１０４がステップＳ３０を、フレーム画像抽出部１０５がステップＳ４０を、静止画像生成部１０６がステップＳ５０とＳ６０を、それぞれ実行する。

図２に示した処理が開始されると、まずステップＳ１０にて、入力される動画像から複数のフレーム画像の取得処理を行う。フレーム画像の取得は、ユーザーの指定に基づき、時系列で連続する複数のフレーム画像を、動画像からキャプチャしてコンピュータ１００に取り込むことで行う。ユーザーは、ディスプレイ１３０や、ビデオプロジェクタ１８０の投影画面に表示されるデジタルビデオカメラ１６０などから供給される動画像を見て、キーボード１１０やマウス１２０などによりデータを入力して取り込むフレーム画像を指定する。

フレーム画像の指定方法は、動画像からフレーム画像をキャプチャしてコンピュータ１００に取り込む際、通常付加されるフレーム画像の識別番号を指定するようにしてもよい。あるいは、ユーザーがディスプレイ１３０に連続再生やコマ送り状態などによって表示される動画像を見ながら取り込む画像を直接指定することとしてもよい。もしくは、所定時間間隔で予め定められた枚数のフレーム画像を、連続するフレーム画像から自動的に取り込むこととしてもよい。

次に、ステップＳ２０で、コンピュータ１００に取り込むことによって取得した複数のフレーム画像について、全てのフレーム画像間の相対的な位置関係データの算出処理を行う。この処理は、後述のステップＳ４０にて行うフレーム画像の抽出に際して実施する拡大画像領域（後述する）とフレーム画像の画像領域との重なり量の算出処理のために、前もって行う処理である。着目したフレーム画像間での位置関係がわかれば、重なり量は容易に算出することができるからである。

全てのフレーム画像の相対位置は、次に説明する２つのフレーム画像間での位置関係の算出処理を、取り込んだ複数のフレーム画像について実施して求める。本実施形態では、時系列で連続する２つのフレーム画像を１つずつずらしながら順次選択して相対位置を算出し、各フレーム画像の相対位置の算出を行う。

２つのフレーム画像間における相対位置の算出処理について図３の説明図を用いて説明する。図３（ａ）と図３（ｂ）は、フレーム画像間の相対位置を算出するためのフレーム画像Ｇ１とフレーム画像Ｇ２をそれぞれ示している。この例は、夕日を背景とする山の風景を左上から右下方向にパンをして撮像した動画から取り込んだ画像を想定したものである。撮像される画像間には、通常上下左右方向への並進ズレ、画面が傾く回転ズレ、ズームミングによる画像倍率違いが通常存在するが、このようなパンによって得られた２つのフレーム画像を想定した場合、両者の間では画面の傾きは極めて小さく、従って回転ズレはないものと仮定できる。また両者の間には画像倍率違いもないため並進ズレのみ存在する。この並進ズレは並進ベクトルとして求めることができる。

並進ベクトルは、横方向と縦方向の画素数で表現することができ、画像のパターンマッチングや特徴点追跡といった周知の処理技術によって生成することが可能である。こうして生成された並進ベクトルから算出した相対位置データが、画面横（Ｘ）方向の画素数Ｘ２、画面縦（Ｙ）方向の画素数Ｙ２であれば、フレーム画像Ｇ１の画面左上隅Ｃ１を基準点（０，０）とした時、フレーム画像Ｇ２の画面左上隅Ｃ２は座標（Ｘ２，Ｙ２）となる。この状態を図３（ｃ）に示す。こうして、フレーム画像Ｇ１に対するフレーム画像Ｇ２の相対位置を算出する。

また、フレーム画像Ｇ１とフレーム画像Ｇ２との間で、回転ズレがあったり画像倍率が異なっていたりする場合は、例えばオプティカルフロー推定とパターンマッチングの組み合わせによって相対位置を算出することができる。オプティカルフロー推定には、種々の手法があり、たとえばグラディエント（ｇｒａｄｉｅｎｔ−ｂａｓｅｄ）法は、観測するフレーム画像間において対象の輝度が不変であるという仮定の下に、画像中における対象の濃度分布の空間勾配と時間勾配の関係を利用して撮影装置を基準とした被写体の移動を推定する。このオプティカルフロー推定の結果に基づいて、大まかに画像の並進移動や回転、ズーム倍率の変化を推定するとともに、この推定結果に基づいてフレーム画像Ｇ１とフレーム画像Ｇ２とを、回転ズレを補正した同じ倍率のフレーム画像になるように画像処理を行う。そして画像処理後のフレーム画像を新たにフレーム画像Ｇ１とフレーム画像Ｇ２として、この画像間でパターンマッチングを行うことによって相対位置を算出する。

上述した２つのフレーム画像間における相対位置の算出処理を、ステップＳ１０にて取り込んだ全てのフレーム画像について実施することによって、全てのフレーム画像の相対的な位置関係を座標データとして算出し、処理ステップＳ２０（図２）を終了して次の処理ステップＳ３０へ進む。なお、本実施形態では、上述したように２つのフレーム画像間の相対的な位置関係データを、画像の重なり具合から算出するため、重なり部分が大きい時系列で連続する２つのフレーム画像を順次選択することとしたが、もとより、少なくとも互いに画像の重なりが存在する２つのフレーム画像を順次選択して全てのフレーム画像の相対位置を算出してもよい。

次のステップＳ３０では、取り込んだフレーム画像の各々に対して、所定量分画像領域が大きい静止画像の設定処理を行う。本実施形態では、各フレーム画像について左右に画角を広げた静止画像を設定するものとし、以下図４を用いて、この静止画像の設定方法について説明する。

図４（ａ）は、ステップＳ１０で取得したフレーム画像を例示したもので、画面左から右方向にパンして山の風景を撮像した動画像から、時系列で取得した連続する４つのフレーム画像Ｆ１〜Ｆ４を、模式的に示した模式図である。ここでは説明を簡便にするため、等しい倍率で画面の傾きの無い４つのフレーム画像Ｆ１〜Ｆ４が取得されたものとする。また、図４（ａ）の例では、ステップＳ２０にて算出した位置関係データから、フレーム画像Ｆ２の画面左上隅を原点（０，０）としたＸ，Ｙ座標にて算出した各フレーム画像Ｆ１、Ｆ３、Ｆ４の相対位置が、それぞれ座標（Ｘ１，Ｙ１）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）である状態を示した。なお、本実施形態については、基本的に図４（ａ）の模式図で示したフレーム画像が取得されたものとして、ステップＳ３０とそれ以降の処理について説明を行う。

図４（ｂ）は、取得した４つのフレーム画像のうち、着目した１つのフレーム画像Ｆ２について、左右の画角を広げた静止画像Ｓ２を設定した状態を示した模式図である。本実施形態では、フレーム画像Ｆ２の画面横の長さＷに対する拡大率Ｅをユーザーが指定し、フレーム画像の画面の左右両側にそれぞれ同じ画像領域分拡大することによって静止画像Ｓ２を設定する。拡大率Ｅは、ステップＳ３０の処理開始に伴ってディスプレイ１３０に表示される入力画面（図示せず）に従い、ユーザーがキーボード１１０やマウス１２０を使ってデータを入力して指定する。もとより、ユーザーの指定とせず、デフォルト値として自動的に設定されるようにしてもよい。

図４（ｂ）から明らかなように、静止画像Ｓ２は、フレーム画像Ｆ２の画面縦の長さＨを縦の長さとし、フレーム画像Ｆ２の画面横の長さＷと拡大率Ｅとの積Ｅ×Ｗを横の長さとする矩形画像になる。この結果、フレーム画像Ｆ２の画面左上隅を原点（０，０）としたとき、フレーム画像Ｆ２の右側には、左上隅の座標が（Ｗ，０）で幅が長さ（Ｅ×Ｗ−Ｅ）／２の拡大画像領域Ｌｂが設けられ、フレーム画像Ｆ２の左側には、左上隅の座標が（−（Ｅ×Ｗ−Ｗ）／２，０）で幅が長さ（Ｅ×Ｗ−Ｅ）／２の拡大画像領域Ｌａが設けられる。こうして、フレーム画像Ｆ２に対して、左右に（Ｅ×Ｗ−Ｅ）／２の長さ分画角が広がった静止画像Ｓ２が設定される。

取得した他のフレーム画像Ｆ１、Ｆ３、Ｆ４についてもフレーム画像Ｆ２と同様な処理を行い、それぞれのフレーム画像に対して左右に拡大画像領域を設け、それぞれのフレーム画像に対応した静止画像Ｓ１、Ｓ３、Ｓ４を設定する。

次に、ステップＳ４０で、フレーム画像左右の拡大画像領域と重なるフレーム画像を抽出する処理を行う。この処理によって、静止画像の生成処理（ステップＳ５０）に用いるフレーム画像を特定する。ここでの処理について、図５のフローチャートと図６の模式図を用いて詳しく説明する。

この処理が開始されると、まずステップＳ４０１で、設定された静止画像を選択する。次に、ステップＳ４０２にて、選択された１つの静止画像について、その拡大画像領域との重なり領域が最も大きいフレーム画像を抽出する処理を行う。

図６は、ステップＳ４０１にて静止画像Ｓ２が選択されたものとし、フレーム画像Ｆ２の左右両側の拡大画像領域とフレーム画像Ｆ１、Ｆ３、Ｆ４との重なり具合を示している。ステップＳ４０２の処理によって、フレーム画像Ｆ２の左側の拡大画像領域Ｌａについては、最も大きい重なり領域Ｋａ（網掛け部）を有するフレーム画像Ｆ１が抽出される。一方フレーム画像Ｆ２の右側の拡大画像領域Ｌｂについては、最も大きい重なり領域Ｋｂ（網掛け部）を有するフレーム画像Ｆ４が抽出される。重なり領域は、図４にて説明したように、設定された左右の拡大画像領域の左上隅座標と、各フレーム画像の画面左上隅座標位置と、各フレーム画像の画面の大きさと、各々の拡大画像領域の大きさとが数値として求められているので、それらの数値の加減算によって容易に算出することができる。従って、本実施形態では、重なり領域の算出方法についての説明を省略する。

次に、ステップＳ４０３で、各々の拡大画像領域において、拡大画像領域と抽出されたフレーム画像領域との差分画像領域を算出する処理を行う。図６より、フレーム画像Ｆ２の左側の拡大画像領域Ｌａについては、重なり領域Ｋａ以外の領域が差分画像領域Ｄａ（空白部）として算出される。また、フレーム画像Ｆ２の右側の拡大画像領域Ｌｂについては、重なり領域Ｋｂ以外の領域が差分画像領域Ｄｂ（斜線部）として算出される。

次に、ステップＳ４０４で、差分画像領域との重なり領域が最も大きいフレーム画像を抽出する処理を行う。フレーム画像Ｆ２の左側の差分画像領域Ｄａについては、重なるフレーム画像が存在しないため新たにフレーム画像は抽出されない。フレーム画像Ｆ２の右側の差分画像領域Ｄｂについては、新たにフレーム画像Ｆ３が抽出される。

次に、ステップＳ４０４にて抽出されたフレーム画像が存在するか否かの判定処理を行い、フレーム画像が存在しない場合は（ＮＯ）、ステップＳ４０８へ進む。一方、フレーム画像が存在する場合は（ＹＥＳ）、重なるフレーム画像が存在する差分画像領域について、差分画像領域とステップＳ４０４にて抽出されたフレーム画像との更なる差分画像領域を算出する（ステップＳ４０６）。図６の例では、フレーム画像Ｆ２の右側の差分画像領域Ｄｂについてのみ、抽出されたフレーム画像Ｆ３との更なる差分画像領域を算出する。

そして、ステップＳ４０７で、ステップＳ４０６にて算出された差分画像が存在するか否かを判定し、存在する場合は（ＹＥＳ）、ステップＳ４０４に戻って、存在する差分画像領域を新たに差分画像領域として、この差分画像領域との重なり領域が最も大きいフレーム画像の抽出以降の処理を再び繰り返す。一方存在しない場合は（ＮＯ）、ステップＳ４０８へ進む。

図６の例では、フレーム画像Ｆ２の右側の差分画像Ｄｂは全てフレーム画像Ｆ３と重なるため、ステップＳ４０６では更なる差分画像領域は算出されない。この結果、フレーム画像Ｆ２については拡大画像領域と重なるフレーム画像として、フレーム画像Ｆ１、Ｆ３、Ｆ４が抽出される。

以上説明した拡大画像領域と重なるフレーム画像の抽出処理が、全てのフレーム画像に対して行われたか否かを判定し（ステップＳ４０８）、行われていなければ（ＮＯ）、フレーム画像の抽出処理が未実施のフレーム画像を選択してステップＳ４０１以降の処理を実施する。そして、全てのフレーム画像について処理が終了したら（ＹＥＳ）、ステップＳ４０（図２）での処理を終了し、ステップＳ５０へ戻る。

ステップＳ５０では、ステップＳ４０にて抽出されたフレーム画像を用いて、各々のフレーム画像について設定された静止画像を生成する処理を行う。ステップＳ５０が行う具体的な処理について、図７のフローチャートを用いて説明する。なお、本実施形態では、静止画像は、コンピュータ１００に備えられたハードディスクやＲＡＭなどの半導体メモリ（図示せず）などに用意された記憶領域に、Ｒ（赤）Ｇ（緑）Ｂ（青）各８ビットの階調データなどで表された画像データをコピーなどの手段によって書き込むことで生成されるものとする。

この処理が開始されると、まずステップＳ５０１で、生成する静止画像を選択する。次に、ステップＳ５０２で、選択された静止画像の設定対象であるフレーム画像の画像データを静止画像の画像データとしてコピーする。次に、ステップＳ５０３で、静止画像の残りの画像部分である拡大画像領域について、抽出されたフレーム画像の画像データをコピーする。本実施形態では、図６に示した重なり領域Ｋａ、Ｋｂおよび差分画像領域Ｄａ、Ｄｂ毎に、抽出されたフレーム画像の画像データをコピーすることによって静止画像を生成する。こうすれば、図５のステップＳ４０１およびステップＳ４０３での処理と同時に、抽出されたフレーム画像の画像データを静止画像の画像データとしてコピーできるため、静止画像の生成処理速度を速めることができる。

次に、ステップＳ５０４にて、画像データがコピーされていない静止画像の未コピー領域を抽出する処理を行う。つまり、設定した静止画像とフレーム画像が重ならない領域を抽出するのである。そして、抽出結果に基づいて、未コピー領域が存在するか否かを判定し（ステップＳ５０５）、存在する場合は（ＹＥＳ）、未コピー領域について所定の画像データをコピーする（ステップＳ５０６）。一方、存在しない場合は（ＮＯ）、何もしないで次のステップＳ５０７へ進む。

本実施形態では、フレーム画像の存在しない静止画像領域を黒色表示するものとし、ＲＧＢとも０階調のデータが、所定の画像データとしてデフォルトで設定されている。もとより、ステップＳ５０（図２）の処理開始に伴って、ディスプレイ１３０に入力画面を表示し（図示せず）、この入力画面に従ってユーザーがキーボード１１０などから画像データを入力することによって所定の画像データを設定するようにしてもよい。また設定する
画像データも黒色に限らず、白色や灰色などの無彩色、又は緑色や青色などの有彩色などユーザーが所望する色に対応した画像データを設定するようにしてもよい。

こうして、選択された静止画像の全ての画像領域について画像データがコピーされ、次のステップＳ５０７にて、この生成された静止画像を保存する処理を行う。本実施形態では、コンピュータ１００に備えられたハードディスク（図示せず）や必要に応じてコンピュータ１００に接続された外部記憶装置に、識別番号を付随して記憶する。

以上説明した静止画像生成処理を、設定された全ての静止画像について実施したか否かを判定し（ステップＳ５０８）、実施していない場合は（ＮＯ）、ステップＳ５０１に戻り、実施されていない静止画像を選択して静止画像生成処理を繰り返す。こうしてステップＳ５０１〜Ｓ５０７の処理を繰り返し、全ての静止画像が生成されると（ステップＳ５０８：ＹＥＳ）、静止画像の生成処理（図２、ステップＳ５０）を終了して次のステップＳ６０へ進む。

図８に、ステップＳ５０によって生成された静止画像Ｓ１〜Ｓ４を示した。図中斜線部で示した画像領域は、所定の画像データがコピーされた領域である。斜線部以外の拡大画像領域については、静止画像Ｓ１はフレーム画像Ｆ２、Ｆ４の画像データが、静止画像Ｓ２はフレーム画像Ｆ１、Ｆ３、Ｆ４の画像データが、静止画像Ｓ３はフレーム画像Ｆ２、Ｆ４の画像データが、静止画像Ｓ４はフレーム画像Ｆ１、Ｆ２の画像データが、それぞれ拡大画像領域との重なり領域別にコピーされている。こうして、取得されたそれぞれのフレーム画像Ｆ１〜Ｆ４に対して設定された静止画像Ｓ１〜Ｓ４が生成される。

図８にて説明したように、それぞれの静止画像は全てのフレーム画像Ｆ１〜Ｆ４と重なる画像領域を有しているが、静止画像Ｓ１ではフレーム画像Ｆ３が、静止画像Ｓ３ではフレーム画像Ｆ１が、静止画像Ｓ４ではフレーム画像Ｆ３が、それぞれの静止画像の生成に際して抽出されない。このように、本実施形態によれば、それぞれの静止画像について重なる画像領域を有する全てのフレーム画像から、静止画像の生成に必要な少ない数のフレーム画像を抽出して、静止画像を生成することができる。この結果、画像データのコピー回数が少なくなるため、コピーされた画像領域同士の境界も少なくなる。従って、異なるフレーム画像を繋ぎ合わせた境界に生じ得る画像の不連続部分が、少ない静止画像を生成することができる。また、コピーされたフレーム画像の画像データを繋ぎ合わせ処理（例えばスムージング処理）する場合は、繋ぎ合わせに関する画像処理の負荷を軽減することができる。

次に、ステップＳ６０にて、保存された静止画像を出力する処理を行い全ての処理を終了する。通常のＮＴＳＣ方式のテレビジョンなどに表示される動画像では、１秒間に３０枚の画像が描画されている。従って、本実施形態では、静止画像を、３０分の１秒の時間間隔で出力する。もとより、動画像を表示する表示装置が、動画表示するために必要とする時間間隔に合わせて、出力する静止画像の時間間隔を変更してもよい。

また、出力する静止画像の順番は、本実施形態では、各静止画像の設定対象であるフレーム画像の取得順とする。図８の例では、時系列順にフレーム画像Ｆ１からＦ４が取得されていることより、静止画像Ｓ１からＳ４の順番に静止画像が出力される。出力は、各静止画像に付随している識別番号に基づいて、動画像表示を行う表示装置が必要とする画像データを、静止画像の画像データから取り出すことによって行う。

上述したように、本実施形態によれば、図８に例示したように、入力した動画像に対して横に画角が広がった静止画像を生成し、生成した静止画像を所定の時間間隔にて出力することによって動画像として再生することができる。例えば、出力する静止画像を、図１のコンピュータ１００の内部もしくは外部に設けた信号変換装置（図示せず）によって、通常のＮＴＳＣ方式のテレビ標準信号など、動画像を表示するための種々の映像信号に変換する。そして変換した映像信号をビデオプロジェクタ１８０などに出力することによって、大画面の動画像として映し出すことができる。従って、ユーザーは、表示画像の一部が黒色などの所定の色になっているものの、画角が左右に広がったパノラマ画像を、動画像として楽しむことができる。

以上、本発明の一実施形態を説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。

第１変形例として、前記実施形態では、静止画像の生成に際して（図７、ステップＳ５０３）、拡大画像領域とフレーム画像との重なり領域毎（図６、重なり領域Ｋａ、Ｋｂ、Ｋｃ）に、抽出されたフレーム画像の画像データをコピーするものとしたが、別の方法としてもよい。例えば、拡大画像領域について全て同じフレーム画像が抽出された静止画像が複数存在する場合、それら複数の静止画像の拡大画像領域について、フレーム画像の画像データの繋ぎ合わせ位置が同じになるように画像領域を区分し、区分した画像領域毎にフレーム画像の画像データをコピーして静止画像を生成するものとしてもよい。

前記実施形態では、説明の簡便性のため４つのフレーム画像が取得されるものとしたが、通常動画像は１秒間に３０枚のフレーム画像から構成されているため、それらの動画像からキャプチャして取得するフレーム画像の枚数は、実際には取得時間（秒数）×３０枚という多くのフレーム画像が取得される。従って、拡大画像領域について抽出されるフレーム画像が全く同じになる静止画像は複数連続して存在することが想定される。この場合、第１変形例によれば、拡大画像領域における画像データの繋ぎ合わせ位置が複数の静止画像について同じになるため、その同じ繋ぎ合わせ位置において実施される画像の繋ぎ合わせ処理が共通となり、処理負荷を軽減でき静止画像の生成処理を速めることができる。また、繋ぎ合わせ位置が同じ静止画像を連続して生成できるため、これらの静止画像を動画として表示した場合は、拡大画像領域における画像の繋ぎ合わせ部分が変わらない動画像として観賞することができる。

あるいは、第２変形例として、前記実施形態では、拡大画像領域と重なるフレーム画像の抽出処理において、重なりが最も大きいフレーム画像を抽出することとしたが（図５、ステップＳ４０２）、拡大画像領域と重なる全てのフレーム画像を抽出することとしてもよい。こうすれば、拡大画像領域について、抽出したフレーム画像のうち、撮影装置の光学性能に起因する画像歪みが少ない画像部分の画像データを選択して用いることができる。もとより、抽出した全てのフレーム画像の画像データを用いてもよい。

また、第３変形例として、前記実施形態では、ステップＳ３０において、入力した動画像に対して左右に画角を広げた動画像となるように、動画像から取得したフレーム画像に対して横の画像領域を拡大した静止画像を設定したが、入力した動画像に対して上下に画角を広げた動画像となるように、動画像から取得したフレーム画像に対して縦の画像領域を拡大した静止画像を設定するものとしてもよい。これは、入力する動画像が、例えばテレビ塔など縦に長い被写体をチルトによって撮像した画像の場合に有効である。

あるいは、第４変形例として、同じくステップＳ３０において、入力した動画像に対して上下および左右に画角を広げた動画像となるように、動画像から取得したフレーム画像に対して縦及び横の画像領域を拡大した静止画像を設定するものとしてもよい。

図９に、一例として、フレーム画像Ｆ２について、画面縦方向及び横方向にそれぞれ拡大画像領域を設けた静止画像ＳＳ２を模式的に示した。図中の斜線部は静止画像ＳＳ２と重なるフレーム画像が存在しない画像領域であり、この画像領域には所定の画像データがコピーされている。第４変形例によれば、フレーム画像が存在しない領域は多くなるものの、ユーザーは上下左右に画角が広がった動画像を、ビデオプロジェクタなどの画像表示装置によって大画面で楽しむことができる。

また、第５変形例として、前記実施形態では拡大画像領域をフレーム画像に対して左右同じ領域になるよう設けたが、これに限ることはなく、左右または上下方向に設ける拡大画像領域を、所定の割合で設けることとしてもよい。所定の割合は、予めデフォルト値として設定してもよいし、ユーザーがキーボード１１０などを用いてコンピュータ１００にデータを入力することによって設定することとしてもよい。また、所定の割合を取得したフレーム画像について設定する際、全て同じ割合で設定することとしてもよいし、取得したフレーム画像毎に割合を変更することとしてもよい。

さらに、第５変形例のさらなる変形例として、所定の割合を、取得したフレーム画像毎に、静止画像の生成に際してコピーされる所定の画像データの画像領域が最も少なくなるように設定するようにしてもよい。こうすれば、入力した動画像に対して、画面の動き方は異なるものの、フレーム画像の画像データが存在しない画像領域が小さい静止画像を、取得した各フレーム画像について生成することができる。

また、第６変形例として、本実施形態における画像処理装置は、汎用のコンピュータで構成するようにしたが、本発明はこれに限定されるものでなく、モバイルコンピュータやワークステーションなどで構成するようにしてもよい。あるいは、コンピュータとしての機能を有するデジタルカメラやビデオカメラ、ＤＶＤプレーヤ、ビデオプロジェクタ、携帯電話など種々の機器において本発明の画像処理装置を構成するようにしてもよい。

本発明の一実施形態としての画像処理装置の概略構成を示す説明図。 画像処理装置の処理を説明するフローチャート。 フレーム画像間の相対位置の算出方法を説明する説明図。 フレーム画像に対する静止画像の設定についての説明図。 拡大画像領域と重なるフレーム画像の抽出処理のフローチャート。 拡大画像領域とフレーム画像との重なり領域を説明する説明図。 抽出されたフレーム画像を用いて静止画像を生成する処理のフローチャート。 生成された静止画像を説明するための説明図。 フレーム画像に対して上下左右に画像拡大した静止画像を説明する説明図。

符号の説明

１００…コンピュータ、１０２…画像取得部、１０３…位置関係データ生成部、１０４…静止画像設定部、１０５…フレーム画像抽出部、１０６…静止画像生成部、１１０…キーボード、１２０…マウス、１３０…ディスプレイ、１４０…ＣＤ−Ｒ／ＲＷドライブ、１５０…ＤＶＤ−Ｒ／ＲＷドライブ、１６０…デジタルビデオカメラ、１８０…ビデオプロジェクタ、Ｆ１〜Ｆ４…動画像から取得されたフレーム画像、Ｓ１〜Ｓ４…左右に画像領域を拡大した静止画像、Ｋａ…重なり領域、Ｋｂ…重なり領域、Ｄａ…差分画像領域、Ｄｂ…差分画像領域、ＳＳ２…上下左右に画像領域を拡大した静止画像、Ｇ１…フレーム画像、Ｇ２…フレーム画像、Ｌａ…拡大画像領域、Ｌｂ…拡大画像領域。

Claims (8)

1. 撮像手段によって撮像された画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理装置であって、
   時系列順に連続する複数のフレーム画像を取得する画像取得部と、
   前記取得された複数のフレーム画像の相対的な位置関係データを算出する位置関係データ生成部と、
   前記取得された複数のフレーム画像各々１つに対して、所定量分大きい画像領域となる拡大画像領域を有する静止画像を設定する静止画像設定部と、
   前記位置関係データに基づいて、前記複数のフレーム画像の画像領域と前記拡大画像領域との重なり量を算出し、該算出された重なり量の大きさで特定されるフレーム画像を抽出するフレーム画像抽出部と、
   前記抽出されたフレーム画像の画像データを用いて前記拡大画像領域の画像を生成し、該生成された拡大画像領域の画像データと、前記複数のフレーム画像各々１つの画像データとから、前記設定された静止画像を生成する静止画像生成部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記静止画像設定部は、前記フレーム画像に対して、少なくとも縦または横のいずれか一方の画像領域が所定量分大きい拡大画像領域を有する静止画像を設定する画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記フレーム画像抽出部は、前記拡大画像領域から前記抽出されたフレーム画像の画像領域を除いた画像領域と、前記複数のフレーム画像の画像領域との重なり量を算出し、該算出された重なり量の大きさで特定されるフレーム画像を更に抽出する画像処理装置。
4. 請求項１ないし３のいずれか一項に記載の画像処理装置であって、
   前記静止画像生成部は、前記拡大画像領域の画像生成に際し、用いるフレーム画像の画像データが存在しない画像領域について、所定の画像データを用いる画像処理装置。
5. 請求項１ないし４のいずれか一項に記載の画像処理装置であって、
   前記画像生成部は、前記各々１つのフレーム画像に対して生成された静止画像を、所定の時間間隔で１つずつ出力する静止画像出力部を更に備える画像処理装置。
6. 撮像手段によって撮像された画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理方法であって、
   時系列順に連続する複数のフレーム画像を取得する工程と、
   前記取得された複数のフレーム画像の相対的な位置関係データを算出する工程と、
   前記取得された複数のフレーム画像各々１つに対して、所定量分大きい画像領域となる拡大画像領域を有する静止画像を設定する工程と、
   前記位置関係データに基づいて、前記複数のフレーム画像の画像領域と前記拡大画像領域との重なり量を算出し、該算出された重なり量の大きさで特定されるフレーム画像を抽出する工程と、
   前記抽出されたフレーム画像の画像データを用いて前記拡大画像領域の画像を生成し、該生成された拡大画像領域の画像データと、前記複数のフレーム画像各々１つの画像データとから、前記設定された静止画像を生成する工程と、
   を備える画像処理方法。
7. 撮像手段によって撮像された画像から複数のフレーム画像を取得し、該取得した複数のフレーム画像から複数の静止画像を生成する画像処理プログラムであって、
   時系列順に連続する複数のフレーム画像を取得する機能と、
   前記取得された複数のフレーム画像の相対的な位置関係データを算出する機能と、
   前記取得された複数のフレーム画像各々１つに対して、所定量分大きい画像領域となる拡大画像領域を有する静止画像を設定する機能と、
   前記位置関係データに基づいて、前記複数のフレーム画像の画像領域と前記拡大画像領域との重なり量を算出し、該算出された重なり量の大きさで特定されるフレーム画像を抽出する機能と、
   前記抽出されたフレーム画像の画像データを用いて前記拡大画像領域の画像を生成し、該生成された拡大画像領域の画像データと、前記複数のフレーム画像各々１つの画像データとから、前記設定された静止画像を生成する機能と、
   をコンピュータに実現させるための画像処理プログラム。
8. 請求項７に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
   

Images