JP2012085197A - 広角撮影画像へのスーパーインポーズ方法および装置 - Google Patents

Abstract

【課題】魚眼撮影で得られる全方位画像から、閲覧者の視線方向の一部分を表示する際に、単純かつ効率的にテロップなどの補助情報をスーパーインポーズする。
【解決手段】魚眼レンズで全方位外景を撮影し、歪曲円形画像Ｄを包含する矩形の撮影画像を得る。スーパーインポーズの対象となる補助画像Ａを４分割して分割画像α，β，γ，δを作成し、撮影画像の４隅の余白領域に埋め込み、統合画像Ｃを作成する。再生時には、閲覧者が指定した視線方向に基づいて、歪曲円形画像Ｄから特定の表示対象部分画像Ｅを切り出し、これを正則矩形画像Ｔに変換する。一方、四隅の余白領域から４枚の分割画像α，β，γ，δを抽出して元の補助画像Ａを復元し、正則矩形画像Ｔに重畳してスーパーインポーズし、表示用画像Ｓを作成する。動画コンテンツを作成する場合は、フレームごとに統合画像Ｃを作成し、フレーム単位で上記処理を実行する。
【選択図】図１２

Description

本発明は、魚眼レンズなどを装着した広角撮影装置によって撮影された画像に、補助情報をスーパーインポーズして表示する技術に関する。

一般に、全方位カメラと呼ばれている広角撮影装置は、メカニカルな動作機構なしに、半球状の全方位を示す円形画像を撮影することができため、奇抜な効果を狙った風景写真などを撮影する場合や、監視カメラなどの用途に広く利用されている。

現在、一般に市販されている広角撮影装置は、魚眼レンズを用いたタイプと全方位ミラーを用いたタイプとの２通りが存在する。魚眼レンズは複数のレンズの組み合わせによって構成され、屈折を利用して周囲からの入射光を撮像面に導く働きをする。一方、全方位ミラーは、反射を利用して周囲からの入射光を撮像面に導く働きをする。いずれも、半球状の視野内の外景からの光を集光して結像面に歪曲円形画像を生成する光学系であり、撮影によって得られる画像は、通常の正則矩形画像ではなく、歪曲した円形の画像になる。

このような歪曲円形画像は、芸術写真などの用途にはそのまま利用することが可能かもしれないが、一般的な用途には不向きである。そこで、監視カメラなどの一般的な用途に利用する場合は、撮影により得られた歪曲円形画像の一部分を切り出して、正則矩形画像に変換する処理が行われる。切出対象となる部分は、半球状の外景に対する視線の方向に応じて定められるので、同一の歪曲円形画像を用いた場合でも、視線方向が異なれば、異なった正則矩形画像が得られることになる。

たとえば、下記の特許文献１には、コンピュータを利用して、魚眼レンズを用いて撮影された歪曲円形画像の一部分を正則矩形画像にリアルタイムで変換する技術が開示されている。また、特許文献２には、全方位ミラーを用いて撮影された歪曲円形画像の一部分を正則矩形画像に変換する技術が開示されている。このような変換技術を利用すれば、広角撮影装置を用いて撮影した歪曲円形画像からなる動画を、正則矩形画像からなる動画としてリアルタイムで観察することが可能になり、極めて広い画角をもった映像を閲覧者に提示できる。しかも、閲覧者は自由に視線方向を指定することができるため、任意の視線方向に位置する一部分の画像を正則矩形画像として観察することができる。

この広角撮影装置を利用した応用技術についても、これまでに様々な提案がなされている。たとえば、下記の特許文献３には、自動車に複数台の広角撮影装置を搭載し、車外の映像を取得し、そのうちの一部を選択して正則矩形画像に変換して運転者に提示する運転支援システムが開示されている。一方、閲覧者の自由意志に基づく視線方向を考慮して、当該視線方向に位置する画像を提示する技術についても、様々な応用技術が提案されている。たとえば、下記の特許文献４には、遠隔地で撮影した画像を閲覧者のヘッドマウントディスプレイに提示し、かつ、閲覧者の視点情報に基づいて、提示する画像を選択する技術が開示されている。

このように、広角撮影画像の中から、閲覧者が指定した特定の視線方向に位置する一部分の画像のみを抽出して提示するという表示方法は、米国APPLE社が開発した「QuichTime VR」という技術で既に実用化されており、この技術を利用した様々な映像コンテンツが制作されている。また、カナダのImmersive Media社が開発した技術を利用すると、閲覧者は、演出意図に沿った所定の動線上を自由に移動しながら、任意の視線方向の画像を楽しむことができる。一方、米国GOOGLE社は、Web上の「Google Map」というサイトにおいて、「Street View」という街頭映像を提供するサービスを実施しており、このサービスでも、閲覧者は街中の道路を自由に移動しながら、視線を任意の方向に向けることができる。

このように、広角撮影画像を利用して、閲覧者に任意の視線方向の画像を提示することができる映像コンテンツは、今後も様々な形態で提供されてゆくものと予想される。

特開２００９−１７６２７３号公報 特開２０１０−１４０２９２号公報 特開２００６−２４０３８３号公報 特開平８−３３６１２８号公報

一般に、映像コンテンツでは、編集段階において、タイトル，テロップ，台詞などの補助情報をスーパーインポーズして挿入することが多く、広角撮影画像を利用して制作した映像コンテンツにおいても、編集段階で付加した補助情報を再生時に提示できるようにすることが望ましい。しかしながら、全方位カメラなどを利用して撮影した広角撮影画像に対して、従来の一般的な方法を利用して補助情報をスーパーインポーズしようとすると、以下に述べるような問題が生じる。

補助情報をスーパーインポーズするために従来から行われている最もシンプルな方法は、編集段階において、映像コンテンツを構成する撮影画像自体に、テロップなどの補助情報を合成しておく方法である。この方法では、補助情報は撮影画像の一部として融合した状態で提供されることになるので、コンテンツの再生時に特別な合成処理を行う必要がないというメリットが得られる。

しかしながら、この方法では、任意の視線方向に位置する画像を提示する再生形態をとる映像コンテンツの場合、再生時に必要な補助情報を確実に提示することはできない。すなわち、編集段階では、再生時に閲覧者が指定する視線方向を予測することができないので、たとえば、閲覧画面の下方にテロップを流す必要があっても、広角撮影画像のどの部分に当該テロップを挿入しておけばよいかを決めることができない。また、仮に、挿入位置が定まったとしても、広角撮影画像は歪曲した画像であり、再生時に正則画像に変換する処理が行われるため、編集時には、テロップを構成する文字列を歪曲させた状態で挿入しておく必要があり、煩雑な作業が要求される。

一方、撮影画像とは別個に補助情報を用意しておき、再生時に両者を合成して提示する方法も従来から広く利用されている。たとえば、ＤＶＤなどの形態で市販されている一般的な洋画コンテンツの場合、再生時に字幕の有無やその言語を切り替えることができるが、これは本来の映像コンテンツとは別個に字幕の情報が用意され、再生時に合成する方法が採られているためである。

しかしながら、この方法では、本来の映像コンテンツを含んだデータファイル（たとえば、ＭＰＥＧファイル）とは別個に、補助情報を含む付帯データファイル（たとえば、字幕ファイル）が必要になるため、データの取り扱いが繁雑になるという問題がある。今後は、ブロードバンド通信環境の整備により、デジタルコンテンツの流通は、ネットワークを介した配信が主流になってゆくと予想される。このような流通形態では、本来の映像コンテンツを含むデータファイルと補助情報を含む付帯データファイルとが別個になっていると、取り扱いが複雑になり、様々な不都合が生じる可能性がある。

しかも、再生時には、これら別個のファイルのデータを合成する必要が生じ、特に、動画を取り扱う場合には、２つのファイルから読み出したデータを、フレーム単位で同期をとりながら合成する技術が必要になる。また、現在のＤＶＤなどの規格では、字幕などの文字情報を付加することは可能であるが、複雑な図形や別な実写映像を補助情報として付加することはできず、映像表現の自由に制約を受けることになる。

そこで本発明は、閲覧者の視線方向にかかわらず、広角撮影装置によって撮影された画像に、単純かつ効率的に補助情報をスーパーインポーズして表示できるようにする方法および装置を提供することを目的とする。

(1) 本発明の第１の態様は、広角撮影装置によって撮影された画像に補助画像をスーパーインポーズして表示する広角撮影画像の表示方法において、
コンピュータが、広角撮影装置によって撮影された「歪曲円形画像を包含する矩形の撮影画像」を取り込む撮影画像取込段階と、
コンピュータが、スーパーインポーズの対象となる補助画像を取り込む補助画像取込段階と、
コンピュータが、撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、補助画像を埋め込むことにより統合画像を作成し、これを出力する統合画像作成段階と、
を有する前半段階と、
コンピュータが、統合画像を取り込む統合画像取込段階と、
コンピュータが、閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定段階と、
コンピュータが、統合画像に包含されている歪曲円形画像から、視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換段階と、
コンピュータが、統合画像の余白領域から補助画像を抽出し、これを正則矩形画像に重畳して、表示用画像を作成する画像重畳段階と、
コンピュータが、ディスプレイ装置に対して表示用画像を出力し、これを表示させる画像表示段階と、
を有する後半段階と、
を行うようにしたものである。

(2) 本発明の第２の態様は、広角撮影装置によって撮影された画像に補助画像をスーパーインポーズして表示する広角撮影画像の表示方法において、
コンピュータが、広角撮影装置によって撮影された「歪曲円形画像を包含する矩形の撮影画像」を１フレームとして、時系列的に連続する複数ｎフレームの撮影画像を動画として取り込む撮影画像取込段階と、
コンピュータが、複数ｎフレームの各撮影画像にスーパーインポーズするための複数ｎフレームの補助画像を取り込む補助画像取込段階と、
コンピュータが、第ｉ番目（ｉ＝１，２，...，ｎ）のフレームの撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、第ｉ番目のフレームの補助画像を埋め込むことにより第ｉ番目のフレームの統合画像を作成する処理を、ｉ＝１〜ｎまで繰り返し実行することにより、複数ｎフレームの統合画像を作成し、これを出力する統合画像作成段階と、
を有する前半段階と、
コンピュータが、複数ｎフレームの統合画像を取り込む統合画像取込段階と、
コンピュータが、時間軸上に所定間隔で設定された各時点について、提示対象フレームを決定する提示対象フレーム決定段階と、
コンピュータが、閲覧者から与えられる指示に基づいて、各時点のそれぞれについて視線方向を決定する視線方向決定段階と、
コンピュータが、各時点において、提示対象フレームの統合画像に包含されている歪曲円形画像から、視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換段階と、
コンピュータが、各時点において、提示対象フレームの統合画像の余白領域から補助画像を抽出し、これを正則矩形画像に重畳して、表示用画像を作成する画像重畳段階と、
コンピュータが、各時点において、ディスプレイ装置に対して表示用画像を出力し、これを表示させる画像表示段階と、
を有する後半段階と、
を行うようにしたものである。

(3) 本発明の第３の態様は、上述した第２の態様に係る広角撮影画像の表示方法において、
提示対象フレーム決定段階で、複数ｎフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数ｎフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか１つのモードを採用するようにしたものである。

(4) 本発明の第４の態様は、上述した第１〜第３の態様に係る広角撮影画像の表示方法において、
統合画像作成段階で、補助画像を複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域内の所定箇所に埋め込み、
画像重畳段階で、余白領域から抽出した複数の分割画像を組み立てて元の補助画像を復元するようにしたものである。

(5) 本発明の第５の態様は、上述した第４の態様に係る広角撮影画像の表示方法において、
撮影画像取込段階で、撮影画像の中心位置と歪曲円形画像の中心位置とが一致するような矩形の撮影画像を取り込み、
補助画像取込段階で、矩形の補助画像を取り込み、
統合画像作成段階で、補助画像を縦方向に２等分、横方向に２等分することにより、合計４つの矩形の分割画像を作成し、これらの分割画像を、それぞれ撮影画像の４隅に埋め込むようにしたものである。

(6) 本発明の第６の態様は、上述した第１〜第５の態様に係る広角撮影画像の表示方法における前半段階もしくは後半段階、またはその双方を、所定のプログラムを組み込んだコンピュータに実行させるようにしたものである。

(7) 本発明の第７の態様は、広角撮影画像に補助画像を合成する処理を行う画像合成装置において、
半球状の視野内の外景からの光を集光して結像面に歪曲円形画像を生成する光学系と、結像面に配置された矩形の撮像面をもった撮像素子と、を有し、撮像面に形成された矩形の撮影画像を出力する広角撮影装置と、
撮影画像をデジタルデータとして格納する撮影画像格納部と、合成対象となる補助画像を格納する補助画像格納部と、撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、補助画像を埋め込むことにより統合画像を作成する統合画像作成部と、作成された統合画像をデジタルデータとして格納する統合画像格納部と、統合画像をデジタルデータとして外部に出力する統合画像出力部と、を有するデジタル処理装置と、
を設けるようにしたものである。

(8) 本発明の第８の態様は、上述した第７の態様に係る画像合成装置において、
広角撮影装置が、時系列的に連続する複数ｎフレームの撮影画像として動画の撮影を行い、
撮影画像格納部が、複数ｎフレームの撮影画像を順次もしくは一括して格納し、
補助画像格納部が、複数ｎフレームの各撮影画像にスーパーインポーズするための複数ｎフレームの補助画像を順次もしくは一括して格納し、
統合画像作成部が、第ｉ番目（ｉ＝１，２，...，ｎ）のフレームの撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、第ｉ番目のフレームの補助画像を埋め込むことにより第ｉ番目のフレームの統合画像を作成する処理を、ｉ＝１〜ｎまで繰り返し実行することにより、複数ｎフレームの統合画像を作成し、
統合画像格納部が、複数ｎフレームの統合画像を格納し、
統合画像出力部が、複数ｎフレームの統合画像を含むファイルを動画データファイルとして出力するようにしたものである。

(9) 本発明の第９の態様は、上述した第７または第８の態様に係る画像合成装置において、
統合画像作成部が、補助画像を複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域内の所定箇所に埋め込むようにしたものである。

(10) 本発明の第１０の態様は、上述した第９の態様に係る画像合成装置において、
広角撮影装置が、撮像面の中心位置を中心とする歪曲円形画像を形成する光学系を有し、
補助画像入力部が、矩形の補助画像を入力し、
統合画像作成部が、補助画像を縦方向に２等分、横方向に２等分することにより、合計４つの矩形の分割画像を作成し、これらの分割画像を、それぞれ撮影画像の４隅に埋め込むようにしたものである。

(11) 本発明の第１１の態様は、上述した第７〜第１０の態様に係る画像合成装置におけるデジタル処理装置を、所定のプログラムを組み込んだコンピュータにより構成するようにしたものである。

(12) 本発明の第１２の態様は、広角撮影画像に補助画像をスーパーインポーズして表示する画像表示装置において、
広角撮影によって得られる歪曲円形画像と、その周囲の余白領域に埋め込まれたスーパーインポーズの対象となる補助画像と、を含む矩形の統合画像を入力する統合画像入力部と、
統合画像をデジタルデータとして格納する統合画像格納部と、
閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定部と、
統合画像に包含されている歪曲円形画像から、視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換部と、
統合画像の余白領域から補助画像を抽出する補助画像抽出部と、
正則矩形画像に補助画像を重畳して、表示用画像を作成する画像重畳部と、
作成された表示用画像をデジタルデータとして格納する表示用画像格納部と、
ディスプレイ装置に対して表示用画像を出力し、これを表示させる画像表示部と、
を設けるようにしたものである。

(13) 本発明の第１３の態様は、広角撮影画像に補助画像をスーパーインポーズして表示する画像表示装置において、
広角撮影によって得られる歪曲円形画像と、その周囲の余白領域に埋め込まれたスーパーインポーズの対象となる補助画像と、を含む矩形の統合画像を、時系列的に連続する複数ｎフレーム分だけ含んだ動画データファイルを入力する動画ファイル入力部と、
複数ｎフレームの統合画像をデジタルデータとして格納する統合画像格納部と、
閲覧者から与えられる指示に基づいて、各時点で提示すべき提示対象フレームを決定する提示対象フレーム決定部と、
閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定部と、
提示対象フレームの統合画像に包含されている歪曲円形画像から、視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換部と、
提示対象フレームの統合画像の余白領域から補助画像を抽出する補助画像抽出部と、
正則矩形画像に補助画像を重畳して、表示用画像を作成する画像重畳部と、
作成された表示用画像をデジタルデータとして格納する表示用画像格納部と、
ディスプレイ装置に対して表示用画像を出力し、これを表示させる画像表示部と、
を設けるようにしたものである。

(14) 本発明の第１４の態様は、上述した第１３の態様に係る画像表示装置において、
提示対象フレーム決定部が、複数ｎフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数ｎフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか１つのモードを採用するようにしたものである。

(15) 本発明の第１５の態様は、上述した第１２〜第１４の態様に係る画像表示装置において、
統合画像入力部もしくは動画ファイル入力部が、補助画像を構成する複数の分割画像をそれぞれ余白領域内の異なる箇所に埋め込んだ統合画像もしくはそのような統合画像からなる動画データファイルを入力し、
補助画像抽出部が、余白領域から抽出した複数の分割画像を組み立てて元の補助画像を復元するようにしたものである。

(16) 本発明の第１６の態様は、上述した第１５の態様に係る画像表示装置において、
統合画像入力部もしくは動画ファイル入力部が、歪曲円形画像の中心位置と統合画像の中心位置とが一致し、かつ、矩形の補助画像を縦方向に２等分、横方向に２等分することにより得られる矩形の分割画像が、４隅に埋め込まれている統合画像もしくはそのような統合画像からなる動画データファイルを入力し、
補助画像抽出部が、矩形の分割画像を縦横に隣接配置することにより元の補助画像を復元するようにしたものである。

(17) 本発明の第１７の態様は、上述した第１２〜第１６の態様に係る画像表示装置を、所定のプログラムを組み込んだコンピュータにより構成するようにしたものである。

本発明では、全方位カメラなどの広角撮影装置によって撮影された画像が、「歪曲円形画像を包含する矩形の撮影画像」になる点を利用して、この撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、補助画像を埋め込む処理が行われる。このような埋込処理により作成される統合画像は、形式上は１枚の矩形画像であるため、映像コンテンツとして様々な流通過程で配布する場合にも、その取り扱いは非常に簡便になる。一方、この映像コンテンツの再生時には、閲覧者が指定した視線方向に基づいて、歪曲円形画像から所定の表示対象部分画像を切り出し、これを正則矩形画像に変換した後、余白領域から補助画像を抽出し、これを正則矩形画像に重畳して表示用画像を作成すればよい。そうすれば、閲覧者が指定した視線方向がどの方向であっても、補助情報の表示を行うことができる。無駄な余白領域を有効活用して補助情報を埋め込むことができるため、非常に効率的な情報付加が可能になる。このように、本発明によれば、閲覧者の視線方向にかかわらず、広角撮影装置によって撮影された画像に、単純かつ効率的に補助情報をスーパーインポーズして表示することができる。

本発明は、特に、動画の映像コンテンツに利用すると効果的である。動画は、１枚の静止画を１フレームとして、複数フレームを時系列的に並べることによって構成することができる。したがって、個々のフレーム単位で、「歪曲円形画像を包含する矩形の撮影画像」に補助画像を埋め込む処理を行えばよい。こうして作成された動画の映像コンテンツは、形式上は、１つの動画データファイルによって構成されているため、取り扱いは非常に簡便である。しかも、再生時には、個々のフレーム単位で、歪曲円形画像からの表示対象部分画像の切り出し、正則矩形画像への変換、余白領域からの補助画像の抽出、正則矩形画像への重畳という処理を行えばよいので、同期をとる処理は非常に簡単になる。閲覧者は、動画を順送りモードで閲覧したり、逆送りモードで閲覧したり、一時停止モードで閲覧したりすることができるが、どのようなモードで閲覧した場合にも、同一フレーム内に埋め込まれていた補助情報がスーパーインポーズされることになる。

なお、余白領域は、通常、撮影画像上の複数の部分に分散して配置されているので、実用上は、補助画像を複数の分割画像に分割し、それぞれを分散配置された余白領域に埋め込むようにすると、全余白領域を有効利用することができる。特に、中心に歪曲円形画像が配置される一般的な撮影画像の場合は、矩形の補助画像を縦方向に２等分、横方向に２等分することにより、合計４つの矩形の分割画像を作成し、これらの分割画像を、それぞれ撮影画像の４隅に埋め込むようにすると、撮影画像の４隅の余白領域を利用して、極めて効率的な埋め込みが可能になる。

魚眼レンズを用いた一般的な広角撮影装置１０による定点監視映像の撮影形態を示す側面図である。 図１に示す広角撮影装置１０を用いた撮影によって得られる歪曲円形画像Ｄの一例を示す平面図である。 魚眼レンズを用いた一般的な広角撮影装置１０による街頭走行映像の撮影形態を示す側面図である。 図３に示す広角撮影装置１０を用いた撮影によって得られる歪曲円形画像Ｄの一例を示す平面図である。 図４に示す歪曲円形画像Ｄの一部から表示対象部分画像Ｅを切り出す様子を示す平面図である。 図５に示す表示対象部分画像Ｅを変換することにより得られる正則矩形画像Ｔを示す平面図である。 図６に示す正則矩形画像Ｔにテロップをスーパーインポーズして得られる表示用画像のバリエーションを示す平面図である。 閲覧時にスーパーインポーズする従来の一般的な方法を示す平面図である。 図６に示す正則矩形画像Ｔにテロップをスーパーインポーズして得られる表示用画像の別なバリエーションを示す平面図である。 魚眼レンズを用いた一般的な広角撮影装置によって得られる撮影画像Ｐの一例を示す平面図である。 図１０に示す撮影画像Ｐの四隅に図９に示す補助画像Ａを四分割して埋め込むことにより、統合画像Ｃを作成した状態を示す平面図である。 図１１に示す総合画像Ｃに基づいて、表示用画像Ｓを作成するプロセスを示す平面図である。 本発明による動画の映像コンテンツの再生方法を示す平面図である。 本発明による広角撮影画像の表示方法の手順を示す流れ図である。 本発明による広角撮影画像の動画を表示する方法の手順を示す流れ図である。 本発明に係る画像合成装置の基本構成を示すブロック図である。 本発明に係る画像表示装置の基本構成を示すブロック図である。 本発明に係る動画用画像表示装置の基本構成を示すブロック図である。

以下、本発明を図示する実施形態に基づいて説明する。

＜＜＜ §１．広角撮影装置によって撮影された画像の特徴 ＞＞＞
はじめに、全方位カメラと呼ばれている広角撮影装置によって撮影された画像の一般的な特徴を説明する。前述したように、現在利用されている広角撮影装置は、光学系として魚眼レンズもしくは全方位ミラーを採用しており、半球状の視界に入る外景を円形画像として撮影することができる。

図１は、魚眼レンズを用いた一般的な広角撮影装置１０による定点監視映像の撮影形態を示す側面図である。この例では、監視カメラとして機能する広角撮影装置１０を建物２０の外壁に取り付け、街路の様子を撮影する一形態が示されている。図２は、図１に示す広角撮影装置１０を用いた撮影によって得られる円形画像の一例を示す平面図である。魚眼レンズを用いた広角撮影装置１０では、半球状の視界に入る外景が撮影されるため、図１に示す例の場合、建物２０の左側の壁面より左方に位置する外景が撮影範囲に入り、鉛直方向を向いた撮像面に像が形成される。

図２に示すように、横方向にＸ軸、縦方向にＹ軸をとり、二次元ＸＹ座標系を定義した場合、魚眼レンズを用いた撮影（全方位ミラーを用いた撮影でも同様）によって得られる画像は、ＸＹ平面上に配置された平面的な画像になる。しかしながら、半球状の視界に入る外景全体をそのまま平面画像に収めることはできないので、得られる円形の撮影画像は、歪みを生じた歪曲円形画像Ｄになる。

一方、図３は、魚眼レンズを用いた一般的な広角撮影装置１０による街頭走行映像の撮影形態を示す側面図である。図示の例の場合、広角撮影装置１０は、撮影車両３０の屋根に取り付けられ、この取り付け面より上方に位置する半球状の視界に入る外景の像が、水平方向を向いた撮像面上に得られる。撮影車両３０を街頭で走行させながら、広角撮影装置１０を用いて動画を撮影するようにすれば、任意の方向に視線を向けながら街頭を移動する映像コンテンツを作成することができる。

図４は、図３に示す広角撮影装置１０を用いた撮影によって得られる歪曲円形画像Ｄの一例を示す平面図である。得られる画像は、やはりＸＹ平面上に配置された平面的な画像になるが、その実体は歪みを生じた歪曲円形画像Ｄである。図示の例の場合、ＸＹ座標系の原点Ｏ（歪曲円形画像Ｄの中心点）は、広角撮影装置１０の中心を通る鉛直線に相当し、当該鉛直線を中心軸として、周囲３６０°の外景を示す画像が、１枚の歪曲円形画像Ｄ内に収められている。

図２や図４に示すような歪曲円形画像Ｄは、芸術写真などの用途にはそのまま利用することが可能であるが、一般的な用途では、そのまま表示すると不適当な歪んだ画像と言わざるを得ない。そこで、通常は、閲覧者に対して提示するため、この歪曲円形画像Ｄの一部分を切り出して、正則矩形画像に変換する処理が行われる。切出対象となる部分は、広角撮影装置１０から半球状の外景を望んだ場合の視線方向に応じて定められる。たとえば、広角撮影装置１０の撮像面の中心点から半球状の視界の特定方向へ向かうベクトルとして視線ベクトルを定義すると、この視線ベクトルの向き（方位角および仰角）によって視線方向を定義することができる。

ここでは、図４に示す歪曲円形画像Ｄについて、通行人の女性の顔面に視線を向けた表示を行う具体的な例を考えてみる。この場合、図５に示すように、歪曲円形画像Ｄの一部から、女性の顔面に対応する表示対象部分画像Ｅが切り出される（図が繁雑になるのを避けるため、図５では、女性の画像を原点Ｏから若干離して描いてある）。ここで、女性の顔面にＸ印で示されている点Ｑは、切り出し位置を示す指標であり、視線ベクトルと外景（この例では女性顔面）との交点として与えられる点である。図示のように、切り出される部分画像Ｅの外形は扇形になるが、これは正則画像に変換した場合に、矩形の画像が得られるように、必要な領域を切り出したためである。

図６は、図５に示す扇形の表示対象部分画像Ｅを変換することにより得られる正則矩形画像Ｔを示す平面図である。図５に示す部分画像Ｅは、歪曲円形画像Ｄの一部であるため歪みを生じているが、図６に示す正則矩形画像Ｔは、この歪みを補正した画像になっている。この正則矩形画像Ｔは、横方向の幅ａ、縦方向の幅ｂをもった矩形状の画像であり、その中心に切出位置指標Ｑが位置している。逆言すれば、視線ベクトルの向きによって指定された切出位置指標Ｑを中心として、その周囲の所定範囲内の画像を、縦横ａ×ｂの寸法をもった正則矩形画像Ｔとして表示するために必要な部分が、歪曲円形画像Ｄ上において、表示対象部分画像Ｅとして切り出されることになる。

図６の正則矩形画像Ｔは、切出位置指標Ｑを原点とする二次元ＵＶ座標系上に定義された画像であり、図示の例の場合、図の右方向にＵ軸、図の下方向にＶ軸が定義されている。一方、歪曲円形画像Ｄ上では、図５に示すように、二次元ＸＹ座標系の原点Ｏから切出位置指標Ｑに向かう方向がＶ軸方向であり、切出位置指標Ｑを通り原点Ｏを中心とする円の円周方向がＵ軸方向になる。結局、表示対象部分画像Ｅを正則矩形画像Ｔに変換する処理は、二次元ＸＹ座標系上に定義された画像を、二次元ＵＶ座標系上に定義された画像に変換する処理ということになる。

このような座標変換を行う方法は、公知の技術であるため、ここでは詳しい説明は省略するが、その基本原理は、ＵＶ座標系上の座標点（ｕ，ｖ）とＸＹ座標系上の座標点（ｘ，ｙ）との間の対応関係を示す関数「（ｘ，ｙ）＝ｆ（ｕ，ｖ）」を用いて、正則矩形画像Ｔ上の任意の座標点（ｕ，ｖ）に対応する座標点（ｘ，ｙ）を求め、座標点（ｕ，ｖ）に位置する画素に、対応する座標点（ｘ，ｙ）に位置する歪曲円形画像Ｄ上の画素のもつ画素値を与える処理ということになる。

ここで、上記関数ｆは、視線ベクトルの方向（具体的には、歪曲円形画像Ｄ上における切出位置指標Ｑの位置）と倍率ｍとをパラメータとして、幾何学的に決定することができる（具体的な関数については、たとえば、前掲の特許文献１，２等に開示されている）。倍率ｍは、図６に示す正則矩形画像Ｔの表示倍率を示すパラメータであり、ｍを大きく設定すればするほど、歪曲円形画像Ｄ上の表示対象部分画像Ｅの領域は小さくなり、より拡大表示されることになる。したがって、閲覧者は、切出位置指標Ｑにより「歪曲円形画像Ｄのどの部分を表示させるか」を指定することができ、倍率ｍにより「切出位置指標Ｑの周辺の画像をどの程度の拡大倍率で表示させるか」を指定することができる。

＜＜＜ §２．従来の一般的なスーパーインポーズ方法 ＞＞＞
続いて、§１で述べた広角撮影装置によって撮影された画像に対して、従来の一般的なスーパーインポーズ方法を適用し、正則矩形画像Ｔにテロップを挿入する方法を述べる。ここでは、図６に示す正則矩形画像Ｔの右側に「丸の内のＯＬさん」なる文字列からなるテロップをスーパーインポーズすることにより、図７(a) に示すような表示用画像Ｓａを作成する例を考えてみる。

最もシンプルなスーパーインポーズ方法は、編集段階において、図４に示す歪曲円形画像Ｄ自体に、必要な情報を合成してしまう方法である。具体的には、図４に示す歪曲円形画像Ｄにおける女性の顔面の右隣の領域に、上記テロップを構成する文字列を挿入する編集を施せばよい。ただ、挿入したテロップは、再生時に表示対象部分画像Ｅ内の情報として切り出され、正則矩形画像Ｔ上に変換されることになるので、このような変換処理を経たときに正常な文字として表示されるように、予め歪曲させた状態で挿入しておく必要がある。

このようなスーパーインポーズ方法を採れば、テロップの情報は歪曲円形画像Ｄの一部として融合した状態になるので、再生時には、特別な合成処理を行う必要はない。すなわち、女性の位置を視線方向とする表示を行えば、それだけで図７(a) に示すような表示用画像Ｓａが得られることになる。ただ、撮影された被写体とテロップとの位置関係は固定されてしまうため、表示されている画像上で、たとえば、視線方向を右へ移動した場合（図４に示す歪曲円形画像Ｄ上で反時計まわりに移動した場合）、図７(b) の表示用画像Ｓｂや図７(c) の表示用画像Ｓｃのように、女性の画像とともにテロップも移動してゆくことになる。

もちろん、この例のように、テロップが特定の被写体と密接に結びついた情報である場合には、このようなスーパーインポーズ方法を採っても問題はない。しかしながら、閲覧者の視線方向にかかわらず、表示用画像上に常に提示すべき情報については、上記方法は採用できない。編集段階では、再生時に閲覧者が指定する視線方向を予測することができないので、視線方向にかかわらず常に提示すべき情報については、閲覧時にスーパーインポーズする方法を採らざるを得ない。

図８は、閲覧時にスーパーインポーズする従来の一般的な方法を示す平面図である。この方法では、広角撮影装置１０によって撮影された歪曲円形画像Ｄとは別個に、スーパーインポーズの対象となる情報を補助画像Ａとして別個に用意しておく。図示の例では、補助画像Ａは、正則矩形画像Ｔと同じサイズの矩形画像であり、右側に「秋の丸の内散策」なる文字列からなるテロップ、左上に「RUPO」なるマーク、左下に「落ち葉」のイラストが配されている。このような補助画像Ａを別個に用意しておけば、閲覧者が指定した視線方向がどのようなものであっても、指定された視線方向に応じた表示対象部分画像Ｅを歪曲円形画像Ｄから切り出し、これを正則矩形画像Ｔに変換した上で、その上に補助画像Ａを重畳する合成処理を行い、たとえば、図９(a) 〜(c) に示すようなスーパーインポーズ後の表示用画像Ｓｄ〜Ｓｆを得ることができる。

しかしながら、この方法では、歪曲円形画像Ｄを含むデータファイルとは別個に、補助画像Ａを含むデータファイルが必要になるため、データの取り扱いが繁雑になるという問題がある点は、既に述べたとおりである。特に、動画を取り扱う場合には、２つのファイルから読み出したデータを、フレーム単位で同期をとりながら合成する技術が必要になる。

＜＜＜ §３．本発明の基本概念 ＞＞＞
本発明は、§２で述べた弊害を克服するためになされたものであり、閲覧者の視線方向にかかわらず、広角撮影装置によって撮影された画像に、単純かつ効率的に補助情報をスーパーインポーズして表示できるようにする新規な技術を提案するものである。以下、その基本概念を説明する。

§１では、魚眼レンズや全方位ミラーを装着した広角撮影装置１０を用いた撮影を行うと、図２および図４に例示したような歪曲円形画像Ｄが得られることを説明した。ただ、実際に広角撮影装置１０から出力される撮影画像は、図１０に示すように、歪曲円形画像Ｄを包含する矩形の撮影画像Ｐになる。これは、光学系として魚眼レンズや全方位ミラーを用いることにより撮像面に歪曲円形画像Ｄが結像したとしても、撮像素子の撮像面自体は矩形であるため、広角撮影装置１０から出力される撮影画像Ｐは、矩形の画像になるためである。

図１０に示す例では、横方向のサイズがａ、縦方向のサイズがｂの長方形の撮像面を有する撮像素子から出力された撮影画像Ｐが示されている。撮像面には、縦横に所定ピッチで受光素子がマトリックス状に配列されており、各受光素子からは、それぞれ受光量に応じた信号が出力される。したがって、得られる撮影画像Ｐも、縦横に所定ピッチで画素がマトリックス状に配列されたものになり、個々の画素にはそれぞれ所定の画素値が定義される。ただ、この矩形の撮像面のうち、魚眼レンズや全方位ミラーによって集光された光を受ける円形の領域内の受光素子についてのみ有意な信号が出力されるので、得られる矩形の撮影画像Ｐのうち、歪曲円形画像Ｄの内部の画素についてのみ、有意な画素値が定義されることになる。

結局、広角撮影装置１０から得られる実際の撮影画像Ｐは、有意な情報を含んだ歪曲円形画像Ｄの部分と、その外側の余白領域Ｂ（図１０では、ハッチングを施して示す）の部分と、によって構成される矩形の画像ということになる。最近の映像コンテンツでは、寸法比ａ／ｂを比較的大きく設定した横長の画面が好まれる傾向にあり、図１０に示すように、そのような横長の画面用の撮像素子を用いて撮影した場合は、左右の余白領域はかなりの面積を占めることになる。また、図示の例の場合、歪曲円形画像Ｄの半径をｒとすると、撮影画像Ｐの縦方向のサイズｂが、ｂ＝２×ｒに設定されているため、歪曲円形画像Ｄの上下に位置する余白領域は最小限に抑えられているが、ｂ＞２×ｒに設定されている撮影装置の場合、上下にも、より大きな余白領域が形成されることになる。

この余白領域Ｂは、有意な情報を含まない無駄な領域ということになるので、理論的には、余白領域Ｂが生じないようにするのが好ましい。しかしながら、そのためには、円形の撮像面を有する特別な撮像素子を用いる必要がある。そのような特殊な撮像素子は、用途が限定されるため、量産してもコストが商業的に見合わないので、少なくとも量産型の工業製品としては供給されていない。したがって、市販の広角撮影装置１０は、歪曲円形画像Ｄを撮影する装置でありながら、撮像素子としては、矩形の撮像面を有する一般的な素子を利用せざるを得ないのであり、必然的に、得られる撮影画像Ｐは、余白領域Ｂを有する矩形の画像になる。

本発明の基本概念は、このような特殊事情、すなわち、広角撮影装置１０によって撮影された画像が、「歪曲円形画像Ｄを包含する矩形の撮影画像Ｐ」になる点を利用して、この撮影画像Ｐの中の歪曲円形画像Ｄを構成する部分以外の余白領域Ｂに、補助画像Ａを埋め込むという着想にある。図１１は、図１０に示す撮影画像Ｐの四隅に、図８に示す補助画像Ａを四分割して埋め込むことにより、統合画像Ｃを作成した状態を示す平面図である。すなわち、図８に示す補助画像Ａは、縦方向に２等分、横方向に２等分され、合計４つの矩形の分割画像α，β，γ，δに分解され、それぞれ、図１０に示す撮影画像Ｐの左上，右上，左下，右下の余白領域Ｂに埋め込まれている。

分割画像α，β，γ，δが埋め込まれた四隅の領域は、もともと有意な情報を含まない余白領域Ｂであり、このような埋め込み処理を行っても、有意な情報を含む歪曲円形画像Ｄに何ら変わりはない。しかも、こうして作成された統合画像Ｃは、形式上は１枚の矩形画像であるため、１つの画像ファイルとして取り扱うことができ、映像コンテンツとして様々な流通過程で配布する場合にも、その取り扱いは非常に便利である。

一方、こうして作成された統合画像Ｃを再生する際には、図１２に示すプロセスを行えばよい。すなわち、まず、閲覧者が指定した視線方向に基づいて、歪曲円形画像Ｄから所定の表示対象部分画像Ｅを切り出し、これを変換して正則矩形画像Ｔを作成する。一方、統合画像Ｃの四隅から４枚の分割画像α，β，γ，δを切り出し、これらを組立てて元の補助画像Ａを復元する。そして最後に、復元した補助画像Ａを正則矩形画像Ｔに重畳することにより、表示用画像Ｓを合成すればよい。

このような方法を採れば、閲覧者が指定した視線方向がどの方向であっても、常に、補助画像Ａを重畳した画像を提示することができ、広角撮影装置１０によって撮影された画像に、単純かつ効率的に補助情報をスーパーインポーズして表示することができるようになる。

＜＜＜ §４．動画の映像コンテンツへの応用 ＞＞＞
§３では、図１２を参照して、１枚の撮影画像Ｐに補助画像Ａを埋め込むことにより、１枚の統合画像Ｃを作成し、これを再生することにより、１枚の表示用画像Ｓ（スーパーインポーズされた画像）を提示する例を述べた。このような１枚の画像を１フレームとして、複数ｎフレームの画像を時系列的に並べるようにすれば、動画の映像コンテンツを提示することが可能になる。本発明は、特に、動画の映像コンテンツに利用すると効果的である。

図１３は、本発明による動画の映像コンテンツの再生方法を示す平面図である。図の左側に一点鎖線で囲って示す部分が、動画の映像コンテンツを構成する動画データファイルＭであり、図の縦方向が時系列の方向、すなわち、時間の流れを示している。図示のとおり、動画データファイルＭは、時系列の順序に従って、第１番目のフレームＦ１，第２番目のフレームＦ２，...，第ｉ番目のフレームＦｉ，...，第ｎ番目のフレームＦｎという合計ｎフレームの画像から構成されている。

これら個々のフレームの画像は、いずれも図１２の上段に示す統合画像Ｃであり、動画データファイルＭの実体は、ｎ枚の統合画像Ｃ１，Ｃ２，...，Ｃｉ，...，Ｃｎの集合体ということになる。このような動画データファイルＭを作成するには、個々のフレーム単位で、「歪曲円形画像Ｄを包含する矩形の撮影画像Ｐ」に補助画像Ａを埋め込む処理を行えばよい。個々の統合画像Ｃは、形式上は単なる矩形画像であるから、動画データファイルＭは、ｎ枚の矩形画像の集合体であり、たとえば、ＭＰＥＧ形式の画像ファイルによって構成することができる。したがって、Ｗｅｂページなどを利用してインターネット経由で配信する場合でも、特別な配布形態を採る必要はなく、一般的な動画データファイルと同様の方法で配信することが可能である。このように、本発明に係る動画の映像コンテンツは、形式上は、１つの動画データファイルＭによって構成されているため、取り扱いは非常に簡便である。

このような動画データファイルＭを再生するには、個々のフレーム単位で、図１２に示すプロセスを実行すればよい。たとえば、時系列に従って、第１番目のフレームＦ１から順次再生を行う場合であれば、まず、図１３の最上段に示すとおり、統合画像Ｃ１内の歪曲円形画像から、その時点で指定された視線方向に応じた表示対象部分画像Ｅ１を切り出し、これを正則矩形画像Ｔ１へ変換する。一方、余白領域から抽出した４枚の分割画像α，β，γ，δを組み立てて補助画像Ａ１を復元し、これを正則矩形画像Ｔ１に重畳して、スーパーインポーズした表示用画像Ｓ１を作成すればよい。

続いて、図１３の２段目に示すとおり、第２番目のフレームＦ２についての処理を行う。すなわち、統合画像Ｃ２内の歪曲円形画像から、その時点で指定された視線方向に応じた表示対象部分画像Ｅ２を切り出し、これを正則矩形画像Ｔ２へ変換する。一方、余白領域から抽出した４枚の分割画像α，β，γ，δを組み立てて補助画像Ａ２を復元し、これを正則矩形画像Ｔ２に重畳して、スーパーインポーズした表示用画像Ｓ２を作成すればよい。このような処理を、図１３の最下段に示す第ｎ番目のフレームＦｎまで繰り返し実行すれば、時系列に沿った順方向の動画提示が可能になる。

要するに、第ｉ番目のフレームＦｉについての処理は、統合画像Ｃｉ内の歪曲円形画像から、その時点で指定された視線方向に応じた表示対象部分画像Ｅｉを切り出し、これを正則矩形画像Ｔｉへ変換するとともに、余白領域から抽出した４枚の分割画像α，β，γ，δを組み立てて補助画像Ａｉを復元し、これを正則矩形画像Ｔｉに重畳して、スーパーインポーズした表示用画像Ｓｉを作成すればよい。

なお、実用上は、時系列に沿った順方向の動画提示だけでなく、逆方向の動画提示や、一時停止などを行う機能を設けておくのが好ましい。順方向の動画提示を行う場合は、第ｉ番目のフレームＦｉを提示した後には、第（ｉ＋１）番目のフレームＦ（ｉ＋１）を提示すればよく、逆方向の動画提示を行う場合は、第ｉ番目のフレームＦｉを提示した後には、第（ｉ−１）番目のフレームＦ（ｉ−１）を提示すればよい。また、一時停止する場合は、第ｉ番目のフレームＦｉを提示し続ければよい。

どのような提示を行うにせよ、同一のフレーム内に埋め込まれていた補助情報Ａをスーパーインポーズすればよいので、同期をとる処理は非常に簡単である。また、途中で閲覧者が視線方向を変えた場合、常にその時点で指示されている視線方向に応じて表示対象部分画像Ｅｉの切り出しが行われるので、動画再生中でもリアルタイムで視線変更が可能になる。しかも、どのような視線方向を指定したとしても、常に、当該フレームに対応する補助画像Ａがスーパーインポーズされることになる。

＜＜＜ §５．本発明に係る広角撮影画像の表示方法の手順 ＞＞＞
図１４は、これまで述べた本発明の基本概念に従って、広角撮影装置によって撮影された画像に補助画像をスーパーインポーズして表示する方法の手順を示す流れ図である。図示のとおり、この手順は、ステップＳ１１〜Ｓ１３の前半段階（統合画像Ｃを作成するための手順）と、ステップＳ２１〜Ｓ２５の後半段階（作成した統合画像Ｃに基づいてスーパーインポーズ画像を表示するための手順）と、によって構成される。いずれの手順も、実用上は、所定のプログラムをインストールしたコンピュータによって実行される。

まず、ステップＳ１１では、コンピュータが、広角撮影装置１０によって撮影された「歪曲円形画像Ｄを包含する矩形の撮影画像Ｐ」を取り込む撮影画像取込段階が行われる。具体的には、§３で述べたとおり、魚眼レンズや全方位ミラーを装着した広角撮影装置１０を用いた撮影により、図１０に示すような矩形状の撮影画像Ｐがデジタルデータ（縦横マトリックス状に配列された多数の画素の画素値を示すデータ）としてコンピュータに取り込まれることになる。この時点では、歪曲円形画像Ｄの外側に位置する余白領域Ｂには、有意な画素値は定義されていない（実際には、１６進数の「００」や「ＦＦ」などの何らかの画素値が定義されているが、余白領域Ｂ内の画素のもつ画素値は、意味のある画像を示すものではない）。

続くステップＳ１２では、コンピュータが、スーパーインポーズの対象となる補助画像Ａを取り込む補助画像取込段階が実行される。具体的には、たとえば、図８に示すような補助画像Ａがデジタルデータとしてコンピュータに取り込まれる。実用上は、後半段階のステップＳ２３で得られる正則矩形画像Ｔと同じサイズの矩形の補助画像Ａを用意しておくのが好ましい。

そして、ステップＳ１３では、コンピュータが、図１０に示すような撮影画像Ｐの中の歪曲円形画像Ｄを構成する部分以外の余白領域Ｂに、補助画像Ａを埋め込むことにより、図１１に示すような統合画像Ｃを作成し、これを出力する統合画像作成段階が行われる。このとき、補助画像Ａを複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域Ｂ内の所定箇所に埋め込むようにするのが好ましい。

特に、ステップＳ１１の撮影画像取込段階で、図１０に示すように、撮影画像Ｐの中心位置と歪曲円形画像Ｄの中心位置とが一致するような矩形の撮影画像Ｐを取り込み、ステップＳ１２の補助画像取込段階で、矩形の補助画像Ａを取り込んだ場合、補助画像Ａを縦方向に２等分、横方向に２等分することにより、合計４つの矩形の分割画像α，β，γ，δを作成し、これらの分割画像を、それぞれ撮影画像Ｐの４隅に埋め込むようにすると、撮影画像Ｐの４隅に形成された余白領域Ｂを有効利用した効率的な埋め込みが可能になる。

前述したとおり、余白領域Ｂを構成する画素にも、１６進数の「００」や「ＦＦ」などの何らかの無意味な画素値が定義されているが、ステップＳ１３で行う補助画像Ａの埋め込み処理は、この余白領域Ｂを構成する画素の無意味な画素値を、補助画像Ａを構成する画素の有意な画素値に書き換える処理ということになる。

こうして、補助画像Ａの埋め込み処理が完了すれば、図１１に示すような統合画像Ｃが作成される。この統合画像Ｃは、形式的には単なる矩形の画像を示す１つの画像データファイルによって構成できる。前半段階の処理は、この統合画像Ｃを構成する画像データファイルを作成するための処理である。

次に、後半段階の処理を説明する。この処理は、統合画像Ｃに基づいてスーパーインポーズ画像Ｓを表示する処理である。まず、ステップＳ２１では、コンピュータが、統合画像Ｃを取り込む統合画像取込段階が行われる。具体的には、図１２の上段に示すような統合画像Ｃがデジタルデータとしてコンピュータに取り込まれることになる。

続いて、ステップＳ２２では、コンピュータが、閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定段階が行われる。視線方向は、図５に示す切出位置指標Ｑを決定するパラメータであり、視線方向の決定は、実質的に、歪曲円形画像Ｄ上で切出位置指標Ｑを決定することと等価である。したがって、たとえば、ディスプレイ装置の表示画面の一部を利用して、閲覧者に、図４に示すような歪曲円形画像Ｄを提示し、マウスクリックなどの操作で、この歪曲円形画像Ｄ上の１点を切出位置指標Ｑとして指定する作業を行ってもらえば、視線方向を決定することが可能である。

もちろん、閲覧者から与えられる指示に基づいて、視線方向を決定する具体的な方法としては、この他にも様々な方法を採ることが可能である。たとえば、図４に示すような歪曲円形画像Ｄを撮影する際に、Ｙ軸正方向が北、Ｘ軸正方向が東になるようにする、といった取り決めをしておき、再生時には、東西南北を示す方位指標をディスプレイ画面の一部に表示し、閲覧者が指定した方位に基づいて、切出位置指標Ｑの位置を決めるような方法を採ることも可能である。

続くステップＳ２３では、コンピュータが、ステップＳ２１で取り込んだ統合画像Ｃに包含されている歪曲円形画像Ｄから、ステップＳ２２で決定した視線方向に応じて定まる表示対象部分画像Ｅを切り出し、これを正則矩形画像Ｔに変換する画像変換段階が行われる。このような画像変換段階の具体的な処理は、前掲の特許文献１，２等に記載されている公知の技術である。

一方、ステップＳ２４では、コンピュータが、ステップＳ２１で取り込んだ統合画像Ｃの余白領域Ｂから補助画像Ａを抽出し、これをステップＳ２３の変換で得られた正則矩形画像Ｔに重畳して、表示用画像Ｓを作成する画像重畳段階が行われる。図１２に示す例の場合、補助画像Ａは４つに分割され、分割画像α，β，γ，δとして埋め込まれているので、画像重畳段階では、抽出した複数の分割画像α，β，γ，δを組み立てて元の補助画像Ａを復元した後、これを正則矩形画像Ｔに重畳する処理が行われる。

最後のステップＳ２５では、コンピュータが、ディスプレイ装置に対して、ステップＳ２４で作成した表示用画像Ｓを出力し、これを表示させる画像表示段階が行われる。かくして、ディスプレイ装置の画面上には、図１２の下段に示すような表示用画像Ｓが表示され、閲覧者に提示されることになる。この表示用画像Ｓは、元の撮影画像Ｐの一部に、補助画像Ａをスーパーインポーズした画像である。

なお、必要があれば、ステップＳ２５からステップＳ２２へ戻り、新たな視線方向に基づいて、新たな表示用画像Ｓを表示できるようにしてもかまわない。たとえば、図９(a) に示す表示用画像Ｓｄが表示されている状態において、閲覧者が、視線を右方向に移動する指示を与えた場合、ステップＳ２２において、新たな視線方向が決定され、ステップＳ２３〜Ｓ２５の手順を再び実行し、図９(b) に示すような表示用画像Ｓｅを提示することができる。同様に、この図９(b) に示す表示用画像Ｓｅが表示されている状態において、閲覧者が、視線を更に右方向に移動する指示を与えた場合、ステップＳ２２において、更に新たな視線方向が決定され、ステップＳ２３〜Ｓ２５の手順を再び実行し、図９(c) に示すような表示用画像Ｓｆを提示することができる。

また、これまでの例は、表示用画像Ｓの表示倍率ｍを固定値とする運用例であるが、ステップＳ２２において、閲覧者から与えられる指示に基づいて、視線方向を決定するとともに、表示倍率ｍを決定するようにすれば、閲覧者が希望する倍率をもった表示用画像Ｓを提示することができる。§１で述べたとおり、倍率ｍは、表示対象部分画像Ｅの大きさを決めるパラメータであり、ステップＳ２３の画像変換段階で利用する画像変換式の１パラメータになる。ここで、倍率ｍを大きく設定すればするほど、歪曲円形画像Ｄから切り出される表示対象部分画像Ｅの領域は小さくなり、最終的に、表示用画像Ｓ上での画像の拡大倍率が大きくなる。

続いて、図１５の流れ図を参照しながら、本発明を動画に適用した場合の手順を説明する。図１５に示す流れ図の各ステップは、図１４に示す流れ図に、更に、ステップＳ２６，Ｓ２７を付加したものである。図１５に示す前半段階のステップＳ１１′〜Ｓ１３′は、図１４に示す前半段階のステップＳ１１〜Ｓ１３と実質的には同じ処理を行う段階であるが、動画を構成する複数ｎフレーム分についての処理を行う点が異なっている。

具体的には、ステップＳ１１′では、コンピュータが、広角撮影装置１０によって撮影された「歪曲円形画像Ｄを包含する矩形の撮影画像Ｐ」を１フレームとして、時系列的に連続する複数ｎフレームの撮影画像Ｐ１〜Ｐｎを動画として取り込む撮影画像取込段階が行われ、ステップＳ１２′では、コンピュータが、複数ｎフレームの各撮影画像Ｐ１〜Ｐｎにスーパーインポーズするための複数ｎフレームの補助画像Ａ１〜Ａｎを取り込む補助画像取込段階が行われる。

また、ステップＳ１３′では、コンピュータが、第ｉ番目（ｉ＝１，２，...，ｎ）のフレームの撮影画像Ｐｉの中の歪曲円形画像Ｄｉを構成する部分以外の余白領域に、第ｉ番目のフレームの補助画像Ａｉを埋め込むことにより第ｉ番目のフレームの統合画像Ｃｉを作成する処理を、ｉ＝１〜ｎまで繰り返し実行することにより、複数ｎフレームの統合画像Ｃ１〜Ｃｎを作成し、これを図１３に示すような動画データファイルＭとして出力する統合画像作成段階が行われる。この動画データファイルＭは、たとえば、ＭＰＥＧ形式の一般的な動画データファイルとして配信することが可能である。

一方、後半段階では、まず、ステップＳ２１において、コンピュータが、動画データファイルＭとして与えられた複数ｎフレームの統合画像Ｃ１〜Ｃｎを取り込む統合画像取込段階が行われる。そして、時間軸上に所定間隔で設定された各時点（たとえば、１／３０ｓｅｃ周期で設定された時点）について、以下の処理が繰り返し実行される。

まず、ステップＳ２６において、コンピュータが、時間軸上に所定間隔で設定された各時点について、提示対象フレームを決定する提示対象フレーム決定段階が行われる。ここでは、第ｉ番目のフレームＦｉが提示対象フレームとして決定されたものとして、以下の説明を行うことにする。以下のステップＳ２２〜Ｓ２５では、「第ｉ番目のフレームＦｉの統合画像Ｃｉを対象とする」という点を除いて、図１４に示すステップＳ２２〜Ｓ２５と全く同じ処理が行われる。

すなわち、ステップＳ２２では、コンピュータが、閲覧者から与えられる指示に基づいて、各時点のそれぞれについて視線方向を決定する視線方向決定段階が行われ、ステップＳ２３では、コンピュータが、各時点において、提示対象フレームＦｉの統合画像Ｃｉに包含されている歪曲円形画像Ｄｉから、その時点で決定された視線方向に応じて定まる表示対象部分画像Ｅｉを切り出し、これを正則矩形画像Ｔｉに変換する画像変換段階が行われ、ステップＳ２４では、コンピュータが、各時点において、提示対象フレームＦｉの統合画像Ｃｉの余白領域から補助画像Ａｉを抽出し、これを正則矩形画像Ｔｉに重畳して、表示用画像Ｓｉを作成する画像重畳段階が行われ、ステップＳ２５では、コンピュータが、各時点において、ディスプレイ装置に対して表示用画像Ｓｉを出力し、これを表示させる画像表示段階が行われる。

続くステップＳ２７では、動画再生処理を終了するか否かが判断され、終了しない場合は、再びステップＳ２６からの処理が実行される。第１番目のフレームＦ１から第ｎ番目のフレームＦｎまで、各フレームの画像を昇順に順番に提示してゆく通常の動画再生を行う場合は、ステップＳ２６において、提示対象フレームを、Ｆ１，Ｆ２，...，Ｆｎと昇順に決定してゆけばよい。そして、ステップＳ２７では、ｉ＝ｎになるまで、ステップＳ２６へ戻る処理を実行すればよい。

ただ、実用上は、前述したように、時系列に沿った順方向の動画提示だけでなく、逆方向の動画提示や、一時停止などを行う機能を設けておくのが好ましい。この場合は、ステップＳ２６の提示対象フレーム決定段階で、複数ｎフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数ｎフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか１つのモードを採用するようにし、ステップＳ２７では、閲覧者から再生終了の指示が与えられるまで、ステップＳ２６へ戻る処理を実行するようにすればよい。

＜＜＜ §６．本発明に係る画像合成装置および画像表示装置の構成 ＞＞＞
最後に、本発明に係る画像合成装置および画像表示装置の構成を説明する。図１６は、本発明に係る画像合成装置の基本構成を示すブロック図である。この画像合成装置は、図１４に示す流れ図における前半段階のプロセスを実行する機能、すなわち、広角撮影画像Ｐに補助画像Ａを合成する処理を行う機能をもった装置である。

図１６に示すとおり、この画像合成装置は、広角撮影装置５０およびデジタル処理装置１００によって構成されている。ここで、デジタル処理装置１００は、実際には、コンピュータに所定のプログラムを組み込むことにより構成される。一方、広角撮影装置５０は光学系５２と撮像素子５４とを有している。光学系５２は、半球状の視野内の外景からの光を集光して結像面に歪曲円形画像Ｄを生成する構成要素であり、具体的には、魚眼レンズや全方位ミラーなどによって構成されている。一方、撮像素子５４は、光学系５２の結像面に配置された矩形の撮像面ξをもった素子であり、この撮像面ξには、多数の受光素子が縦横マトリックス状に配列されており、各受光素子からは、受光量に応じた電気信号が出力される。

図１６には、撮像面ξ上にＸＹ平面を有する二次元ＸＹ座標系を定義し、この座標系の原点Ｏを中心とした位置に、光学系５２によって歪曲円形画像Ｄが結像するモデルが示されている。別言すれば、光学系５２によって、撮像面ξの中心位置を中心とする歪曲円形画像Ｄが形成される。このようなモデルでは、図４に示すように、二次元ＸＹ座標系における座標値（ｘ，ｙ）で示される位置に配置された画素の集合体として、歪曲円形画像Ｄが定義されることになる。もっとも、撮像素子５４の撮像面ξは矩形であるので、撮像素子５４からは、この矩形の撮像面ξに形成された矩形の撮影画像Ｐ（たとえば、図１０に示す撮影画像Ｐ）が出力されることになる。

一方、デジタル処理装置１００は、図１６に一点鎖線で囲って示すように、撮影画像格納部１１０，補助画像格納部１２０，統合画像作成部１３０，統合画像格納部１４０，統合画像出力部１５０によって構成される。

ここで、撮影画像格納部１１０は、広角撮影装置５０によって撮影された撮影画像Ｐをデジタルデータとして格納する構成要素である。図１６の撮影画像格納部１１０のブロック内に示されているとおり、撮影画像Ｐは、歪曲円形画像Ｄとその周囲の余白領域Ｂとによって構成される矩形の画像である。この撮影画像格納部１１０は、実際には、矩形内に配列された多数の画素の画素値をデータとして格納する記憶装置（ハードディスク装置やメモリなど）によって構成される。

一方、補助画像格納部１２０は、合成対象となる補助画像Ａを格納する構成要素である。ここで述べる実施形態の場合、補助画像Ａは矩形の画像によって構成されている。したがって、補助画像格納部１２０も、実際には、矩形内に配列された多数の画素の画素値をデータとして格納する記憶装置（ハードディスク装置やメモリなど）によって構成される。この補助画像Ａは、後に、４つの分割画像α，β，γ，δに分割される。図１６の補助画像格納部１２０のブロック内には、説明の便宜上、補助画像を４つの分割画像α，β，γ，δに分割した状態が示されているが、実際には、この時点では、補助画像Ａはまだ分割されていない。

統合画像作成部１３０は、撮影画像格納部１１０内に格納されている撮影画像Ｐの中の歪曲円形画像Ｄを構成する部分以外の余白領域Ｂに、補助画像格納部１２０に格納されている補助画像Ａを埋め込むことにより統合画像Ｃを作成する処理を行う。ここに示す実施形態の場合、統合画像作成部１３０は、補助画像Ａを複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域Ｂ内の所定箇所に埋め込む処理を行う。より具体的には、補助画像Ａを縦方向に２等分、横方向に２等分することにより、合計４つの矩形の分割画像α，β，γ，δを作成し、これらの分割画像α，β，γ，δを、それぞれ撮影画像Ｐの４隅に埋め込む処理が行われる。

§５で述べたとおり、この余白領域Ｂへの埋め込み処理は、実際には、余白領域Ｂを構成する画素の無意味な画素値を、補助画像Ａを構成する画素の有意な画素値に書き換える処理ということになる。なお、余白領域Ｂに、補助画像Ａを埋め込むだけの十分なスペースがない場合には、埋め込み対象となる補助画像Ａ（分割画像α，β，γ，δ）の画素を間引いて縮小する処理を行うようにすればよい。実用上は、予め、埋め込みに適したサイズの補助画像Ａを用意するのが好ましい。

統合画像格納部１４０は、統合画像作成部１３０によって作成された統合画像Ｃをデジタルデータとして格納する構成要素である。統合画像Ｃは、撮影画像Ｐと同じサイズをもった矩形の画像であり、この統合画像格納部１４０も、実際には、矩形内に配列された多数の画素の画素値をデータとして格納する記憶装置（ハードディスク装置やメモリなど）によって構成される。

統合画像出力部１５０は、この統合画像格納部１４０に格納されている統合画像Ｃをデジタルデータとして外部に出力する構成要素である。前述したとおり、この統合画像Ｃは、一般的な矩形の画像データファイルの形式で出力することができる。また、出力の形態も、ＣＤ，ＤＶＤなどの物理的な媒体に対する書込処理として行うこともできるし、通信回線を利用した通信や、インターネットなどを利用した配信という形態で行うこともできる。

以上、図１６を参照しながら、１枚の統合画像Ｃを合成する画像合成装置の基本構成を述べたが、この画像合成装置の各構成要素に若干の付加機能を追加すれば、動画を構成する映像コンテンツを作成することも可能である。

具体的には、まず、広角撮影装置５０に、時系列的に連続する複数ｎフレームの撮影画像Ｐ１〜Ｐｎとして動画の撮影を行う機能を設ける。そして、撮影画像格納部１１０には、この複数ｎフレームの撮影画像Ｐ１〜Ｐｎを格納できるようにする。また、補助画像格納部１２０には、撮影画像格納部１１０に格納されている各撮影画像Ｐ１〜Ｐｎにスーパーインポーズするための複数ｎフレームの補助画像Ａ１〜Ａｎを格納できるようにする。

一方、統合画像作成部１３０には、撮影画像格納部１１０に格納されている第ｉ番目（ｉ＝１，２，...，ｎ）のフレームの撮影画像Ｐｉの中の歪曲円形画像Ｄｉを構成する部分以外の余白領域Ｂｉに、補助画像格納部１２０に格納されている第ｉ番目のフレームの補助画像Ａｉを埋め込むことにより第ｉ番目のフレームの統合画像Ｃｉを作成する処理を、ｉ＝１〜ｎまで繰り返し実行することにより、複数ｎフレームの統合画像Ｃ１〜Ｃｎを作成する機能をもたせればよい。

そして、統合画像格納部１４０には、統合画像作成部１３０が作成した複数ｎフレームの統合画像Ｃ１〜Ｃｎを格納する機能をもたせておき、統合画像出力部１５０には、この複数ｎフレームの統合画像Ｃ１〜Ｃｎを含むファイルを、図１３に示すような動画データファイルＭとして出力する機能をもたせておけばよい。この動画データファイルＭは、前述したとおり、たとえばＭＰＥＧ形式のファイルのように、一般的な汎用動画ファイルとして出力することができる。

なお、統合画像作成部１３０による埋込処理は、個々のフレームごとに行えばよいので、撮影画像格納部１１０および補助画像格納部１２０には、この埋込処理を行う際に必要となるフレームのデータが格納されていれば足りる。したがって、撮影画像格納部１１０に、複数ｎフレームの撮影画像Ｐ１〜Ｐｎを一括して格納し、補助画像格納部１２０に、複数ｎフレームの補助画像Ａ１〜Ａｎを一括して格納しておき、統合画像作成部１３０により、必要なフレームのデータを順次読み出して埋込処理を行うこともできるし、撮影画像格納部１１０に、処理対象となる特定のフレームの撮影画像を順次格納してゆき（処理後には削除してよい）、補助画像格納部１２０に、処理対象となる特定のフレームの補助画像を順次格納してゆき（処理後には削除してよい）、統合画像作成部１３０により、処理対象となるフレームのデータを順次読み出して埋込処理を行うこともできる。

続いて、本発明に係る画像表示装置の構成を説明する。図１７は、本発明に係る画像表示装置の基本構成を示すブロック図である。この画像表示装置は、図１４に示す流れ図における後半段階のプロセスを実行する機能、すなわち、前半段階のプロセスで作成された統合画像Ｃに基づいて、広角撮影画像Ｐに補助画像Ａをスーパーインポーズして表示する機能をもった装置である。

図１７に示すとおり、この画像表示装置は、統合画像入力部２１０，統合画像格納部２２０，視線方向決定部２３０，画像変換部２４０，補助画像抽出部２５０，画像重畳部２６０，表示用画像格納部２７０，画像表示部２８０によって構成される。これらの各構成要素からなる画像表示装置は、実際には、コンピュータに所定のプログラムを組み込むことにより構成される。

統合画像入力部２１０は、図１６に示す画像合成装置で作成された統合画像Ｃを入力する構成要素である。ここで、統合画像Ｃは、既に述べたとおり、広角撮影によって得られる歪曲円形画像Ｄと、その周囲の余白領域Ｂに埋め込まれたスーパーインポーズの対象となる補助画像Ａと、を含む矩形の画像である。特に、ここで述べる実施形態の場合、補助画像Ａは複数の分割画像に分割され、それぞれ余白領域Ｂ内の異なる箇所に埋め込まれている。具体的には、歪曲円形画像Ｄの中心位置と統合画像Ｃの中心位置とは一致し、かつ、矩形の補助画像Ａを縦方向に２等分、横方向に２等分することにより得られる矩形の分割画像α，β，γ，δが、４隅に埋め込まれている。

統合画像格納部２２０は、このような統合画像Ｃをデジタルデータとして格納する構成要素である。実際には、この統合画像格納部２２０は、統合画像Ｃの矩形内に配列された多数の画素の画素値をデータとして格納する記憶装置（ハードディスク装置やメモリなど）によって構成される。

視線方向決定部２３０は、閲覧者から与えられる指示に基づいて、視線方向を決定する構成要素である。§５で述べたとおり、閲覧者に視線方向を指示させる方法としては、様々な方法を採ることができる。たとえば、ディスプレイ装置の表示画面の一部に、図４に示すような歪曲円形画像Ｄを提示し、閲覧者からのマウスクリックなどの操作入力を受け付けて、この歪曲円形画像Ｄ上の１点を切出位置指標Ｑとして指定させればよい。この場合、閲覧者が指定した切出位置指標Ｑの位置に基づいて、視線方向を決定することができる。あるいは、予め歪曲円形画像Ｄ上で東西南北の方位を定めておき、東西南北を示す方位指標をディスプレイ画面の一部に表示し、閲覧者が指定した方位に基づいて、視線方向を決定することもできる。

画像変換部２４０は、統合画像格納部２２０内の統合画像Ｃに包含されている歪曲円形画像Ｄから、視線方向決定部２３０が決定した視線方向に応じて定まる表示対象部分画像Ｅを切り出し、これを正則矩形画像Ｔに変換する処理を行う。すなわち、切出位置指標Ｑを中心として所定倍率ｍの正則矩形画像Ｔが得られるように、歪曲円形画像Ｄから必要な領域を表示対象部分画像Ｅとして切り出し、これを変換する処理が行われる。具体的な変換処理は、図５に示す二次元ＸＹ座標系から図６に示す二次元ＵＶ座標系への座標変換式に基づいて行うことができる。このような座標変換の方法の詳細は、たとえば、前掲の特許文献１，２等に開示されている。

なお、この座標変換によって得られる正則矩形画像Ｔの倍率ｍは、予め設定された固定値とすることもできるが（たとえば、３５ｍｍフィルム換算の焦点距離５０ｍｍのレンズを用いた場合の標準画角（画像の対角でおよそ４５°）に対応した倍率に設定しておけばよい）、視線方向決定部２３０に、閲覧者から倍率ｍを指定する入力を受け付ける機能を設けておけば、画像変換部２４０は、閲覧者が指定した任意の倍率の正則矩形画像Ｔが得られるような画像変換処理を行うことができる。この場合、閲覧者は、自分が指定した任意の倍率で画像を閲覧することができるようになる。

補助画像抽出部２５０は、統合画像格納部２２０内の統合画像Ｃの余白領域Ｂから補助画像Ａを抽出する処理を行う構成要素である。ここに示す実施形態の場合、補助画像Ａは複数の分割画像として埋め込まれているため、補助画像抽出部２５０は、各分割画像を抽出した後、これらを組み立てて元の補助画像Ａを復元する処理を行う。具体的には、統合画像Ｃの四隅から、それぞれ矩形の分割画像α，β，γ，δを切り出し、これらを縦横に隣接配置することにより元の補助画像Ａを復元することになる。

なお、統合画像Ｃの四隅のどの領域を分割画像として切り出すかは、図１６に示す統合画像作成部１３０による埋込処理の態様に応じて予め定めておけばよい。たとえば、統合画像作成部１３０によって、縦横サイズがｐ×ｑの分割画像α，β，γ，δを四隅に埋め込む処理を行うという標準規格を定めておけば、当該標準規格に合致した統合画像Ｃについては、四隅から縦横サイズｐ×ｑの矩形領域を切り出せば、分割画像α，β，γ，δを抽出することができる。

画像重畳部２６０は、画像変換部２４０による変換処理で得られた正則矩形画像Ｔに、補助画像抽出部２５０による抽出処理で得られた補助画像Ａを重畳して、表示用画像Ｓを作成する処理を行う構成要素である。正則矩形画像Ｔのサイズと補助画像Ａのサイズとが等しくなるように設定しておけば、この重畳処理は、それぞれ対応する画素の画素値に関する重畳演算を行うことにより、正則矩形画像Ｔに補助画像Ａをスーパーインポーズすることができる。この場合、特定の画素値（たとえば、ＲＧＢの各原色成分の値がすべて０であるような真っ黒を示す画素値）をもった補助画像Ａ内の画素を、透明画素として取り扱うようにすれば、実質的に、透明画素の部分については何らスーパーインポーズを行わないようにすることができる。このように２枚の画像を重畳するスーパーインポーズの手法は、様々な方法が公知であるため、ここでは詳しい説明は省略する。なお、２枚の画像のサイズが異なる場合には、サイズが等しくなるような拡大もしくは縮小処理を適宜行うようにすればよい。

表示用画像格納部２７０は、こうして作成された表示用画像Ｓをデジタルデータとして格納する構成要素であり、実際には、表示用画像Ｓの矩形内に配列された多数の画素の画素値をデータとして格納する記憶装置（ハードディスク装置やメモリなど）によって構成される。

画像表示部２８０は、この表示用画像格納部２７０に格納されている表示用画像Ｓをディスプレイ装置に対して出力し、画面上にこれを表示させる構成要素である。こうして、閲覧者に対しては、任意の視線方向についての撮影画像に補助情報をスーパーインポーズした画像が提示されることになる。

図１８は、本発明の別な態様に係る画像表示装置の基本構成を示すブロック図である。この画像表示装置は、図１７に示す画像表示装置を動画の映像コンテンツにも対応できるように拡張したものであり、図示のとおり、動画ファイル入力部３１０，統合画像格納部３２０，視線方向決定部３３０，画像変換部３４０，補助画像抽出部３５０，画像重畳部３６０，表示用画像格納部３７０，画像表示部３８０，提示対象フレーム決定部３９０によって構成されている。これらの各構成要素からなる画像表示装置は、実際には、コンピュータに所定のプログラムを組み込むことにより構成できる。

ここで、図１８に示す構成要素３１０〜３８０は、実質的には、図１７に示す構成要素２１０〜２８０と同等の機能をもった構成要素である。ただ、動画の映像コンテンツを取り扱うため、動画を構成する複数ｎフレーム分についての処理を行う機能を有している。一方、提示対象フレーム決定部３９０は、動画の取り扱いに必要な固有の構成要素であり、複数ｎフレームのうち、各時点で提示の対象となるフレームを決定する機能を果たす。以下、各構成要素の機能を順に説明する。

まず、動画ファイル入力部３１０は、図１７に示す統合画像入力部２１０に対応する構成要素であり、図１３に示すような構成の動画データファイルＭを入力する構成要素である。この動画データファイルＭは、時系列的に連続する複数ｎフレーム分の統合画像Ｃ１〜Ｃｎによって構成され、個々の統合画像Ｃには、広角撮影によって得られる歪曲円形画像Ｄと、その周囲の余白領域Ｂに埋め込まれたスーパーインポーズの対象となる補助画像Ａと、が含まれている。特に、ここに述べる実施形態の場合、補助画像Ａは複数の分割画像に分けて埋め込まれている。

統合画像格納部３２０は、こうして入力された動画データファイルＭを構成する複数ｎフレームの統合画像Ｃ１〜Ｃｎをデジタルデータとして格納する構成要素であり、実際には、ハードディスク装置やメモリなどの記憶装置によって構成される。

提示対象フレーム決定部３９０は、動画の取り扱いに必要な固有の構成要素であり、閲覧者から与えられる指示に基づいて、各時点で提示すべき提示対象フレームを決定する構成要素である。ここに示す実施形態の場合、提示対象フレーム決定部３９０は、統合画像格納部３２０内に格納されている複数ｎフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数ｎフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか１つのモードを採用する機能を有している。ここでは、この提示対象フレーム決定部３９０によって、第ｉ番目のフレームＦｉが提示対象フレームとして決定された場合を例にとって、以下の説明を行う。

視線方向決定部３３０は、閲覧者から与えられる指示に基づいて、視線方向を決定する構成要素であり、図１７に示す視線方向決定部２３０と同等の機能を果たす。ただ、閲覧者は、動画の再生中に、視線方向を自由に変更する指示を与えることができ、視線方向決定部３３０は、提示対象となる個々のフレームごとに、それぞれ視線方向を決定する機能を有している。

図１７に示す装置の説明では、閲覧者に視線方向を指示させる方法として、歪曲円形画像Ｄ上で切出位置指標Ｑを指定させる方法や、東西南北の方位を指定させる方法を例示したが、動画の提示を行う場合は、直前に提示されているフレームに対する視線方向の移動方向を指示させる方法を採ることもできる。たとえば、§５でも説明したように、あるフレームについて、図９(a) に示す表示用画像Ｓｄが表示されている状態において、閲覧者が、視線を右方向に移動する指示を与えた場合、次のフレームでは、新たな視線方向に基づいて、図９(b) に示すような表示用画像Ｓｅを提示することができ、この状態において、閲覧者が、視線を更に右方向に移動する指示を与えた場合、次のフレームでは、新たな視線方向に基づいて、図９(c) に示すような表示用画像Ｓｆを提示することができる。

画像変換部３４０は、提示対象フレームＦｉの統合画像Ｃｉに包含されている歪曲円形画像Ｄｉから、視線方向決定部３３０によって決定された視線方向に応じて定まる表示対象部分画像Ｅｉを切り出し、これを正則矩形画像Ｔｉに変換する処理を行う。また、補助画像抽出部３５０は、提示対象フレームＦｉの統合画像Ｃｉの余白領域から補助画像Ａｉを抽出する処理を行う。ここで、複数の分割画像α，β，γ，δを組み立てて、元の補助画像Ａｉを復元する点は、図１７に示す補助画像抽出部２５０の機能と同じである。

画像重畳部３６０は、画像変換部３４０による変換処理で得られた正則矩形画像Ｔｉに、補助画像抽出部３５０による抽出処理で得られた補助画像Ａｉを重畳して、表示用画像Ｓｉを作成する処理を行う構成要素である。また、表示用画像格納部３７０は、こうして作成された表示用画像Ｓｉをデジタルデータとして格納する構成要素であり、ハードディスク装置やメモリなどによって構成される。そして、画像表示部３８０は、この表示用画像格納部３７０に格納されている表示用画像Ｓｉをディスプレイ装置に対して出力し、画面上にこれを表示させる構成要素である。

提示対象フレーム決定部３９０は、時間軸上に所定間隔で設定された各時点（たとえば、１／３０ｓｅｃ周期で設定された時点）について、それぞれ提示対象フレームを決定する処理を行うので、ディスプレイ装置に対しては、周期的に新たなフレームの表示用画像が表示されることになる。こうして、閲覧者に対しては、任意の視線方向についての撮影画像に補助情報をスーパーインポーズした動画が提示されることになる。

本発明を利用すれば、広角撮影画像のうち、閲覧者が指定した特定の視線方向の画像を正則画像として提示することができ、しかも、視線方向にかかわらず、必要な補助情報を常にスーパーインポーズして提示することができる。このため、閲覧者と対話式に視線方向を変更しながら、動画の提示を行うことが可能になる。また、補助情報は、補助画像を重畳するという形式でスーパーインポーズされるので、文字に限らず、図形や映像など、様々な形態の情報を補助情報として付加することができる。

このような特徴をもった技術は、様々な動画の映像コンテンツを提供する分野で利用可能である。一般的なＴＶ番組、映画、音楽プロモーションビデオなどのコンテンツ映像は、演出意図に従ったカメラワークで撮影・編集されており、閲覧者は、これを受動的に視聴するだけである。これに対して、最近では、自由視点映像というコンセプトが提唱されており、閲覧者が、撮影されたシーンの任意の地点から任意の方向を向いて観察した画像を視聴できるコンテンツが望まれている。本発明は、このようなコンテンツの提供分野に広く利用可能である。

たとえば、スポーツ中継映像を、全方位カメラを用いて撮影した映像コンテンツなどにも利用可能である。また、世界遺産や文化施設を紹介する映像コンテンツなどへの利用にも適している。このようなコンテンツでは、通常、テロップなどの補助情報の挿入が不可欠であるが、本発明を利用すれば、単純かつ効率的に補助情報をスーパーインポーズして表示できるようになる。

たとえば、「中尊寺」を題材とした作品に利用した場合、閲覧者が、撮影時のカメラワークに沿って中尊寺の敷地内を仮想的に歩き回るような体験をすることができる動画の映像コンテンツを提供することができる。閲覧者は、順送りモードで散策することもできるし、逆送りモードで散策することもできる。もちろん、一時停止モードにすれば、ある地点で立ち止まって、様々な方向に視線を向けることもできる。

しかも、中尊寺の敷地全域の模式図を用意し、各フレームには、この模式図に当該フレームの撮影位置を示す指標をプロットした地図を画面の左上隅などに表示するための補助画像Ａを埋め込んでおくようにすれば、閲覧者には、視線方向にかかわらず、常に自分の現在位置を示す地図がスーパーインポーズして提示されることになる。あるいは、主要な建物の付近で撮影したフレームには、画面の下部に当該建物の名称やエピソードなどを示す字幕を表示するための補助画像Ａを埋め込んでおくことも可能である。補助画像Ａも動画として提示することができるので、字幕をスクロールさせることにより、比較的長い説明を表示することも可能である。また、スーパーインポーズする補助情報としては、文字に限らず、任意の画像を提示することができるので、たとえば、画面の右上隅に所定のタイミングで、藤原氏の代々の肖像画を提示したり、過去にこの地を訪問した著名人の様子を示す動画を提示したりするようなことも可能である。

１０：広角撮影装置（魚眼レンズを用いたカメラ）
２０：建物
３０：撮影車両
５０：広角撮影装置
５２：光学系
５４：撮像素子
１００：デジタル処理装置
１１０：撮影画像格納部
１２０：補助画像格納部
１３０：統合画像作成部
１４０：統合画像格納部
１５０：統合画像出力部
２１０：統合画像入力部
２２０：統合画像格納部
２３０：視線方向決定部
２４０：画像変換部
２５０：補助画像抽出部
２６０：画像重畳部
２７０：表示用画像格納部
２８０：画像表示部
３１０：動画ファイル入力部
３２０：統合画像格納部
３３０：視線方向決定部
３４０：画像変換部
３５０：補助画像抽出部
３６０：画像重畳部
３７０：表示用画像格納部
３８０：画像表示部
３９０：提示対象フレーム決定部
Ａ：補助画像（スーパーインポーズの対象となる画像）
Ａ１，Ａ２，Ａｉ，Ａｎ：個々のフレームの補助画像
ａ：画像の横方向サイズ
Ｂ：余白領域
ｂ：画像の縦方向サイズ
Ｃ：統合画像
Ｃ１，Ｃ２，Ｃｉ，Ｃｎ：個々のフレームの統合画像
Ｄ：歪曲円形画像
Ｅ：表示対象部分画像
Ｅ１，Ｅ２，Ｅｉ，Ｅｎ：個々のフレームの表示対象部分画像
Ｆ１，Ｆ２，Ｆｉ，Ｆｎ：動画を構成する個々のフレーム
Ｍ：動画データファイル
Ｏ：座標系の原点
Ｐ：広角撮影装置による撮影画像
Ｑ：切出位置指標
ｒ：歪曲円形画像Ｄの半径
Ｓ：表示用画像（スーパーインポーズされた画像）
Ｓａ〜Ｓｆ：表示用画像（スーパーインポーズされた画像）
Ｓ１，Ｓ２，Ｓｉ，Ｓｎ：個々のフレームの表示用画像
Ｓ１１〜Ｓ２７，Ｓ１１′〜Ｓ１３′：流れ図の各ステップ
Ｔ：正則矩形画像
Ｔ１，Ｔ２，Ｔｉ，Ｔｎ：個々のフレームの正則矩形画像
Ｕ：座標軸
Ｖ：座標軸
Ｘ：座標軸
Ｙ：座標軸
α：分割画像（補助画像Ａの左上部分）
β：分割画像（補助画像Ａの右上部分）
γ：分割画像（補助画像Ａの左下部分）
δ：分割画像（補助画像Ａの右下部分）
ξ：撮像面

Claims (17)

1. 広角撮影装置によって撮影された画像に補助画像をスーパーインポーズして表示する方法であって、
   コンピュータが、広角撮影装置によって撮影された「歪曲円形画像を包含する矩形の撮影画像」を取り込む撮影画像取込段階と、
   コンピュータが、スーパーインポーズの対象となる補助画像を取り込む補助画像取込段階と、
   コンピュータが、前記撮影画像の中の前記歪曲円形画像を構成する部分以外の余白領域に、前記補助画像を埋め込むことにより統合画像を作成し、これを出力する統合画像作成段階と、
   を有する前半段階と、
   コンピュータが、前記統合画像を取り込む統合画像取込段階と、
   コンピュータが、閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定段階と、
   コンピュータが、前記統合画像に包含されている前記歪曲円形画像から、前記視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換段階と、
   コンピュータが、前記統合画像の前記余白領域から前記補助画像を抽出し、これを前記正則矩形画像に重畳して、表示用画像を作成する画像重畳段階と、
   コンピュータが、ディスプレイ装置に対して前記表示用画像を出力し、これを表示させる画像表示段階と、
   を有する後半段階と、
   を行うことを特徴とする広角撮影画像の表示方法。
2. 広角撮影装置によって撮影された画像に補助画像をスーパーインポーズして表示する方法であって、
   コンピュータが、広角撮影装置によって撮影された「歪曲円形画像を包含する矩形の撮影画像」を１フレームとして、時系列的に連続する複数ｎフレームの撮影画像を動画として取り込む撮影画像取込段階と、
   コンピュータが、前記複数ｎフレームの各撮影画像にスーパーインポーズするための複数ｎフレームの補助画像を取り込む補助画像取込段階と、
   コンピュータが、第ｉ番目（ｉ＝１，２，...，ｎ）のフレームの撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、第ｉ番目のフレームの補助画像を埋め込むことにより第ｉ番目のフレームの統合画像を作成する処理を、ｉ＝１〜ｎまで繰り返し実行することにより、複数ｎフレームの統合画像を作成し、これを出力する統合画像作成段階と、
   を有する前半段階と、
   コンピュータが、前記複数ｎフレームの統合画像を取り込む統合画像取込段階と、
   コンピュータが、時間軸上に所定間隔で設定された各時点について、提示対象フレームを決定する提示対象フレーム決定段階と、
   コンピュータが、閲覧者から与えられる指示に基づいて、前記各時点のそれぞれについて視線方向を決定する視線方向決定段階と、
   コンピュータが、前記各時点において、提示対象フレームの統合画像に包含されている歪曲円形画像から、前記視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換段階と、
   コンピュータが、前記各時点において、提示対象フレームの統合画像の前記余白領域から前記補助画像を抽出し、これを前記正則矩形画像に重畳して、表示用画像を作成する画像重畳段階と、
   コンピュータが、前記各時点において、ディスプレイ装置に対して前記表示用画像を出力し、これを表示させる画像表示段階と、
   を有する後半段階と、
   を行うことを特徴とする広角撮影画像の表示方法。
3. 請求項２に記載の表示方法において、
   提示対象フレーム決定段階で、複数ｎフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数ｎフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか１つのモードを採用することを特徴とする広角撮影画像の表示方法。
4. 請求項１〜３のいずれかに記載の表示方法において、
   統合画像作成段階で、補助画像を複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域内の所定箇所に埋め込み、
   画像重畳段階で、余白領域から抽出した前記複数の分割画像を組み立てて元の補助画像を復元することを特徴とする広角撮影画像の表示方法。
5. 請求項４に記載の表示方法において、
   撮影画像取込段階で、撮影画像の中心位置と歪曲円形画像の中心位置とが一致するような矩形の撮影画像を取り込み、
   補助画像取込段階で、矩形の補助画像を取り込み、
   統合画像作成段階で、前記補助画像を縦方向に２等分、横方向に２等分することにより、合計４つの矩形の分割画像を作成し、これらの分割画像を、それぞれ前記撮影画像の４隅に埋め込むことを特徴とする広角撮影画像の表示方法。
6. 請求項１〜５のいずれかに記載の表示方法における前半段階もしくは後半段階、またはその双方をコンピュータに実行させるためのプログラム。
7. 広角撮影画像に補助画像を合成する処理を行う画像合成装置であって、
   半球状の視野内の外景からの光を集光して結像面に歪曲円形画像を生成する光学系と、前記結像面に配置された矩形の撮像面をもった撮像素子と、を有し、前記撮像面に形成された矩形の撮影画像を出力する広角撮影装置と、
   前記撮影画像をデジタルデータとして格納する撮影画像格納部と、合成対象となる補助画像を格納する補助画像格納部と、前記撮影画像の中の前記歪曲円形画像を構成する部分以外の余白領域に、前記補助画像を埋め込むことにより統合画像を作成する統合画像作成部と、作成された統合画像をデジタルデータとして格納する統合画像格納部と、前記統合画像をデジタルデータとして外部に出力する統合画像出力部と、を有するデジタル処理装置と、
   を備えることを特徴とする画像合成装置。
8. 請求項７に記載の画像合成装置において、
   広角撮影装置が、時系列的に連続する複数ｎフレームの撮影画像として動画の撮影を行い、
   撮影画像格納部が、前記複数ｎフレームの撮影画像を順次もしくは一括して格納し、
   補助画像格納部が、前記複数ｎフレームの各撮影画像にスーパーインポーズするための複数ｎフレームの補助画像を順次もしくは一括して格納し、
   統合画像作成部が、第ｉ番目（ｉ＝１，２，...，ｎ）のフレームの撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、第ｉ番目のフレームの補助画像を埋め込むことにより第ｉ番目のフレームの統合画像を作成する処理を、ｉ＝１〜ｎまで繰り返し実行することにより、複数ｎフレームの統合画像を作成し、
   統合画像格納部が、前記複数ｎフレームの統合画像を格納し、
   統合画像出力部が、前記複数ｎフレームの統合画像を含むファイルを動画データファイルとして出力することを特徴とする画像合成装置。
9. 請求項７または８に記載の画像合成装置において、
   統合画像作成部が、補助画像を複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域内の所定箇所に埋め込むことを特徴とする画像合成装置。
10. 請求項９に記載の画像合成装置において、
    広角撮影装置が、撮像面の中心位置を中心とする歪曲円形画像を形成する光学系を有し、
    補助画像入力部が、矩形の補助画像を入力し、
    統合画像作成部が、補助画像を縦方向に２等分、横方向に２等分することにより、合計４つの矩形の分割画像を作成し、これらの分割画像を、それぞれ撮影画像の４隅に埋め込むことを特徴とする画像合成装置。
11. 請求項７〜１０のいずれかに記載の画像合成装置におけるデジタル処理装置としてコンピュータを機能させるプログラム。
12. 広角撮影画像に補助画像をスーパーインポーズして表示する画像表示装置であって、
    広角撮影によって得られる歪曲円形画像と、その周囲の余白領域に埋め込まれたスーパーインポーズの対象となる補助画像と、を含む矩形の統合画像を入力する統合画像入力部と、
    前記統合画像をデジタルデータとして格納する統合画像格納部と、
    閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定部と、
    前記統合画像に包含されている前記歪曲円形画像から、前記視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換部と、
    前記統合画像の前記余白領域から前記補助画像を抽出する補助画像抽出部と、
    前記正則矩形画像に前記補助画像を重畳して、表示用画像を作成する画像重畳部と、
    作成された前記表示用画像をデジタルデータとして格納する表示用画像格納部と、
    ディスプレイ装置に対して前記表示用画像を出力し、これを表示させる画像表示部と、
    を備えることを特徴とする画像表示装置。
13. 広角撮影画像に補助画像をスーパーインポーズして表示する画像表示装置であって、
    広角撮影によって得られる歪曲円形画像と、その周囲の余白領域に埋め込まれたスーパーインポーズの対象となる補助画像と、を含む矩形の統合画像を、時系列的に連続する複数ｎフレーム分だけ含んだ動画データファイルを入力する動画ファイル入力部と、
    前記複数ｎフレームの統合画像をデジタルデータとして格納する統合画像格納部と、
    閲覧者から与えられる指示に基づいて、各時点で提示すべき提示対象フレームを決定する提示対象フレーム決定部と、
    閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定部と、
    前記提示対象フレームの統合画像に包含されている前記歪曲円形画像から、前記視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換部と、
    前記提示対象フレームの統合画像の前記余白領域から前記補助画像を抽出する補助画像抽出部と、
    前記正則矩形画像に前記補助画像を重畳して、表示用画像を作成する画像重畳部と、
    作成された前記表示用画像をデジタルデータとして格納する表示用画像格納部と、
    ディスプレイ装置に対して前記表示用画像を出力し、これを表示させる画像表示部と、
    を備えることを特徴とする画像表示装置。
14. 請求項１３に記載の画像表示装置において、
    提示対象フレーム決定部が、複数ｎフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数ｎフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか１つのモードを採用することを特徴とする画像表示装置。
15. 請求項１２〜１４のいずれかに記載の画像表示装置において、
    統合画像入力部もしくは動画ファイル入力部が、補助画像を構成する複数の分割画像をそれぞれ余白領域内の異なる箇所に埋め込んだ統合画像もしくはそのような統合画像からなる動画データファイルを入力し、
    補助画像抽出部が、前記余白領域から抽出した前記複数の分割画像を組み立てて元の補助画像を復元することを特徴とする画像表示装置。
16. 請求項１５に記載の画像表示装置において、
    統合画像入力部もしくは動画ファイル入力部が、歪曲円形画像の中心位置と統合画像の中心位置とが一致し、かつ、矩形の補助画像を縦方向に２等分、横方向に２等分することにより得られる矩形の分割画像が、４隅に埋め込まれている統合画像もしくはそのような統合画像からなる動画データファイルを入力し、
    補助画像抽出部が、前記矩形の分割画像を縦横に隣接配置することにより元の補助画像を復元することを特徴とする画像表示装置。
17. 請求項１２〜１６のいずれかに記載の画像表示装置としてコンピュータを機能させるプログラム。

Images