JP2022084529A - 装置、システム、方法およびプログラム - Google Patents

Abstract

【課題】 画像表示装置を提供すること。【解決手段】 画像表示装置１０は、表示画像を作成する生成部３６０を有する。生成部３６０は、撮像方向が異なる少なくとも２つの画像を、これらの撮像方向に基づいて所定の三次元形状に貼り付けることで、少なくとも２つの画像のそれぞれの撮像画角よりも広い画角となる仮想画像を作成し、該仮想画像を仮想カメラにより透視投影処理することによって平面画像を生成する。少なくとも２つの画像は、互いの撮影範囲において重複する範囲を有する。生成部３６０は、重複する範囲が重なるように、少なくとも２つの画像を所定の三次元形状に貼り付けることで仮想画像を生成する。生成部３６０は、仮想カメラの向きまたは仮想カメラの画角に応じて、少なくとも２つの画像のうち、仮想カメラの側からみた最前面に配置される画像を決定し、最前面に配置される画像に基づいて平面画像を生成し、該平面画像を、前記表示画像とする。【選択図】 図６

Description

本発明は、画像処理技術に関し、より詳細には、装置、システム、方法およびプログラムに関する。

複数の撮像部で撮像された複数の画像を合成して、球状画像を生成する技術が知られている。例えば、特許第３２９０９９３号公報（特許文献１）は、反対側に向いている第１と第２のレンズを有し、各レンズは１８０°以上の視野を有するカメラ本体であってカメラの作動に応答して該第１と第２のレンズは重なった画像部分を取り込めるようにされているカメラ本体と、該第１と第２のレンズにより取り込まれた該画像部分は球状画像を形成できるものであり、この画像部分を記憶するメモリと、該メモリに接続され、画像部分を整合させ、かつ該第１と第２の両レンズの一緒に重なった画像部分を平均することにより継ぎ目なしの球状画像を作る画像部分継ぎ合わせ器とを備えた球状画像を取り込むための装置を開示する。

また、特開２０１９－０８０１７４号公報（特許文献２）は、上記特許文献１の従来技術において複数の画像の重なった画像部分の平均化の処理により画像の情報が失われてしまう点を改善することを目的とした技術を開示する。特許文献２は、複数の撮像部によって撮像された複数の画像のうち、少なくとも一の画像に対し、画角を基の画角よりも小さな所定の画角とした画像に変換し、複数の画像を合成する構成を開示する。

上述した従来技術は、視認性を向上するために、画像の重なる部分を平均化したり、画角を基の画角よりも小さな所定の画角とした画像に変換したり、画像加工を施す技術である。一方で、画像の用途によっては、画像加工されていない、ありのままの画像が求められる場合がある。一例として、建築現場では、工事の進捗共有などのために現場の状況を撮影することが行われている。この用途では、現場全体を簡便に記録することが好ましい一方で、建築現場の写真では、画像加工を避けることが求められている。上述した平均化処理や変換処理は、画像加工の一種である。

このように、画像加工をせずに、それぞれの範囲を撮像した複数の画像を１つのより広角な画像として閲覧可能とする技術の開発が望まれているが、上述したいずれの従来技術も、画像加工せずに複数の画像をより広角な画像として閲覧可能にする、という観点で開示するものではなく、改善の余地があった。

本開示は、上記点に鑑みてなされたものであり、本開示は、画像加工をせずに複数の画像をまとめた画像として閲覧可能とする画像表示装置を提供することを目的とする。

本開示では、上記点に鑑み、下記特徴を有する装置が提供される。装置は、表示画像を作成する生成部を有する。生成部は、撮像方向が異なる少なくとも２つの画像を、少なくとも２つの画像の撮像方向に基づいて所定の三次元形状に貼り付けることで、少なくとも２つの画像のそれぞれの撮像画角よりも広い画角となる仮想画像を作成し、該仮想画像を仮想カメラにより透視投影処理することによって平面画像を生成する。少なくとも２つの画像は、互いの撮影範囲において重複する範囲を有する。生成部は、重複する範囲が重なるように、少なくとも２つの画像を所定の三次元形状に貼り付けることで仮想画像を生成する。生成部は、仮想カメラの向き、または仮想カメラの画角に応じて、前記少なくとも２つの画像のうち、前記仮想カメラの側からみた最前面に配置される画像を決定し、前記最前面に配置される画像に基づいて平面画像を生成し、該平面画像を、前記表示画像とする。

上記構成により、画像加工をせずに複数の画像をまとめた画像として閲覧可能とすることができる。

本実施形態による撮影表示システムの全体構成図。 本実施形態による全天球撮影装置の全体構成図。 本実施形態による全天球撮影装置における各撮像範囲を示す平面図。 本実施形態による情報端末のハードウェア構成図。 本実施形態による全天球撮影装置のハードウェア構成図。 本実施形態にかかる撮影表示システム上に構成される撮影・表示機能に関連する主要な機能ブロック図。 本実施形態の複数の撮像部各々の撮像範囲および得られる半球画像を３次元的に示す模式図。 本実施形態の複数の撮像部各々の撮像範囲を３次元的に説明する模式図。 魚眼レンズを用いた被写体の撮像について説明する図。 半球画像を球体オブジェクトに張り付ける方法を説明する図。 三次元グラフィックス表示で行われる透視投影（Perspective Projection）を説明する図。 仮想カメラの視点の位置を変化させた場合の出力画像における被写体の見え方を説明する図。 ２つの撮像部が視差を有する場合のスティッチング処理を模式的に説明する図。 本実施形態による画像変換描画部での半球画像の描画順序を変更する効果について説明する図である。 本実施形態による情報端末が実行する、画像表示処理を示すフローチャート。 本実施形態による全天球画像を所定範囲で表示する画像ビューア画面を例示する図。 他の実施形態にかかる撮影表示システム上に構成される撮影・表示機能に関連する主要な機能ブロック図。 他の実施形態による表示範囲の制限を説明する図。 他の実施形態による情報端末が実行する、画像表示処理を示すフローチャート。 第１の変形例の実施形態による全天球撮影装置における各撮像範囲を平面的に示す図。 第１の変形例の実施形態の複数の撮像部各々の撮像範囲を３次元的に説明する模式図。 第１の変形例の実施形態の複数の撮像部各々の撮像範囲および得られる半球画像を３次元的に示す模式図。 第１の変形例の実施形態において、表示画角が変更された場合の見え方について説明する図。 第２の変形例の実施形態による全天球撮影装置を説明する図。 第２の変形例の実施形態の複数の撮像部各々の撮像範囲を３次元的に説明する模式図。 第２の変形例の実施形態の複数の撮像部各々の撮像範囲および得られる半球画像を３次元的に示す模式図。 第３の変形例の実施形態による全天球撮影装置を説明する図。 第３の変形例の実施形態の複数の撮像部各々の撮像範囲を３次元的に説明する模式図。 第３の変形例の実施形態の複数の撮像部各々の撮像範囲および得られる半球画像を３次元的に示す模式図。 （Ａ）第４の変形例の実施形態および（Ｂ）第５の変形例の実施形態による全天球撮影装置を示す図。 第６の変形例の実施形態による全天球撮影装置を示す図。

以下、本実施形態について説明するが、実施形態は、以下に説明するものに限定されるものではない。なお、以下に説明する実施形態では、装置、および、システムの一例として、４つの撮像部を備える全天球撮影装置に接続された情報端末、および、これら全天球撮影装置と情報端末とを含む撮影表示システムを用いて説明する。

（全体構成）
図１は、本実施形態による撮影表示システム１の全体構成図である。図１に示すように、撮影表示システム１は、情報端末１０Ａ，１０Ｂと、全天球撮影装置２０と、管理システム５０とを含み構成される。以下、情報端末１０Ａ，１０Ｂを総称して、情報端末１０と参照する場合がある。

情報端末１０は、画像処理機能および通信機能を有する情報処理装置であり、例えば、タブレット、スマートフォン、シングルボードコンピュータ、スマートグラスなどのスマートデバイス、あるいはパーソナル・コンピュータ（ＰＣ）などの情報処理装置である。

全天球撮影装置２０は、例えば、作業員Ｈなどがかぶる保護帽（ヘルメット）２３に装着されており、撮影機能、画像処理機能および通信機能を有する。全天球撮影装置２０が備えられる物品としては、保護帽２３に限定されず、帽子であってもよいし、ドローンなどの飛翔体、乗用車、トラック、建機などの車両、ロボットなどの機械に装着されることを妨げるものではない。

管理システム５０は、通信機能および画像処理機能を有する情報処理装置である。管理システム５０は、情報端末１０からの要求に基づいて情報端末１０へ画像を送信するＷｅｂサーバとして機能し得る。

情報端末１０および全天球撮影装置２０は、Ｗｉ－Ｆｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信やＵＳＢ（Universal Serial Bus）ケーブルなどを介した有線通信によって接続されている。情報端末１０は、Ｗｉ－Ｆｉ（登録商標）、無線ＬＡＮ（ローカル・エリア・ネットワーク）などを介して、基地局を介して、または、有線ＬＡＮを介して、インターネット２Ｉと接続する。これにより、情報端末１０は、インターネット２Ｉ上の管理システム５０との間で通信を確立することができる。以下、インターネット２Ｉ、ＬＡＮ、ならびに有線および無線の各種通信路をネットワーク２と参照する。

図１において、全天球撮影装置２０が撮影した画像は、有線または無線の通信により情報端末１０に送信される。情報端末１０は、撮影された画像に基づいて、表示用の画像を生成し、生成した表示用の画像を、自身が備える表示装置に表示することができる。また、全天球撮影装置２０が撮影した画像は、直接接続される一の情報端末１０（例えば１０Ａ）を経由して、ネットワーク２を介して、管理システム５０に転送されてもよい。管理システム５０は、要求に応答して、表示用の画像を生成し、同じくネットワーク２に接続される他の情報端末１０（例えば１０Ｂ）に表示用の画像を送信し、他の情報端末１０（例えば１０Ｂ）は、受信した表示用の画像を、自身が備える表示装置で表示することができる。あるいは、管理システム５０は、受信した画像をそのまま、他の情報端末１０（例えば１０Ｂ）に転送し、他の情報端末１０は、表示用の画像を生成し、生成した表示用の画像を、自身が備える表示装置に表示することができる。さらに、全天球撮影装置２０が、撮影された画像に基づいて、表示用の画像を生成し、自身が備える表示装置に表示したり、生成した表示用の画像を、表示装置を備える情報端末１０に送信したりしてもよい。さらに、また、全天球撮影装置２０が、ネットワーク２に直接接続されることを妨げるものではない。

（全天球撮影装置）
図２は、本実施形態による全天球撮影装置２０の全体構成図である。全天球撮影装置２０は、複数の撮像部２１と、保護帽２３などに固定するための固定フレーム２４とを含み構成される。なお、図２では４つの撮像部２１Ａ，２１Ｂ，２１Ｃ，２１Ｄが示されている。撮像部２１Ａ，２１Ｂ，２１Ｃ，２１Ｄを総称して撮像部２１と参照する場合がある。

図２に示す４つの撮像部２１Ａ，２１Ｂ，２１Ｃ，２１Ｄは、保護帽２３の頭頂部を中心として、保護帽２３の側面部まわりに９０度向きを変えながら一周するように配置されている。４つの撮像部２１Ａ，２１Ｂ，２１Ｃ，２１Ｄそれぞれの撮影方向は、外側を向いており、つまり被写体側に向かって広がっている。対角に配置される撮像部２１の各組（撮像部２１Ａ，２１Ｃまたは撮像部２１Ｂ，２１Ｄ）は、略背中合わせに配置される。なお、図２（Ａ）は、保護帽２３に４つの撮像部２１を固定した状態の全天球撮影装置２０の上面図であり、図２（Ｂ）は、４つの撮像部２１のうちの対角に配置される２つの撮像部２１Ａ，２１Ｃを通る切断線での断面図である。

撮像部２１Ａ，２１Ｂ，２１Ｃ，２１Ｄは、筐体２１９Ａ，２１９Ｂ，２１９Ｃ，２１９Ｄ（図２（Ｂ）では、２つの撮像部２１Ａ，２１Ｃが代表して示されているが、特に断りがない限り、撮像部２１Ｂ，２１Ｄについても同様の構成を備えるものとする。以下、同じ。）に、それぞれ撮像体２１１Ａ，２１１Ｂ，２１１Ｃ，２１１Ｄ、コントローラ２１５およびバッテリなどの部品を収容して構成される。以下、撮像体２１１Ａ，２１１Ｂ，２１１Ｃ，２１１Ｄを総称して撮像体２１１と参照する場合がある。

なお、図２では、撮像部２１Ａ内にコントローラ２１５が収容され、それ以外の撮像部２１Ｂ、２１Ｃ，２１Ｄがコントローラを備えていない一例の構成を示している。この構成では、残りの撮像部２１Ｂ，２１Ｃ，２１Ｄで撮像された画像は、ケーブル等を介して、撮像部２１Ａのコントローラ２１５に入力されて、処理される。しかしながら、この実施形態に限定されるものではなく、撮像部２１Ａ，２１Ｂ，２１Ｃ，２１Ｄにそれぞれコントローラが設けられており、それぞれのコントローラにおいて各撮像部２１で撮像された画像を処理してもよい。あるいは、撮像部２１Ａ，２１Ｂ，２１Ｃ，２１Ｄのいずれにもコントローラが設けられず、撮像部２１Ａ，２１Ｂ，２１Ｃ，２１Ｄを制御する別体のコントローラ・ユニットが設けられてもよい。また、図２においては、複数の撮像部２１が、保護帽２３などに固定するための固定フレーム２４に取り付けられるものとして説明したが、複数の撮像部２１と、固定フレーム２４とが一体的に構成されてもよい。

撮像体２１１Ａ，２１１Ｂ，２１１Ｃ，２１１Ｄは、それぞれ結像光学系２１２Ａ，２１２Ｂ，２１２Ｃ，２１２Ｄと、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子２１３Ａ，２１３Ｂ，２１３Ｃ，２１３Ｄとを備える。以下、撮像素子２１３Ａ，２１３Ｂ，２１３Ｃ，２１３Ｄを総称して撮像素子２１３と参照する場合がある。結像光学系２１２Ａ，２１２Ｂ，２１２Ｃ，２１２Ｄは、それぞれ、例えば６群７枚の魚眼レンズとして構成されている。上記魚眼レンズは、例えば、１８０度（＝３６０度／ｎ；光学系数ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の画角を有し、より好適には、１９０度以上の画角を有する。

４つの結像光学系２１２Ａ，２１２Ｂ，２１２Ｃ，２１２Ｄの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、４つ撮像素子２１３Ａ，２１３Ｂ，２１３Ｃ，２１３Ｄに対して位置が定められる。また、結像光学系２１２Ａ，２１２Ｂ，２１２Ｃ，２１２Ｄの光学素子の光軸は、対応する撮像素子２１３Ａ，２１３Ｂ，２１３Ｃ，２１３Ｄの受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。好ましくは、撮像部２１は、撮像素子２１３の受光領域内にイメージサークルが収まるような円周魚眼レンズを有する。

結像光学系２１２Ａ，２１２Ｂ，２１２Ｃ，２１２Ｄは、同一仕様のものであり、対角に配置される各組の中心軸ＯＰ（撮像部２１Ａ、２１Ｃの組の最外のレンズの光学中心軸をＯＰ１、同様に、撮像部２１Ｂ、２１Ｄの組の中心軸をＯＰ２と参照する。）が合致するように、固定フレーム２４によって、互いに逆向きに組み合わせて物理的に固定されている。なお、ヘルメットなどの保護帽２３は、上から見て真円ではなく、楕円形であることが一般的であるため、固定フレーム２４により保護帽２３の楕円形に沿って複数の撮像部２１が９０度向きを変えながら一周するように配置されているとすると、光軸が１点で交わらない場合がある。前後方向が楕円形の長軸に一致するとして、例えば、前方に配置される組（２１Ａ,２１Ｂ）が９０度をもって光軸を交差させ、後方に配置される組（２１Ｃ,２１Ｄ）が９０度をもって光軸を交差させるように構成され得る。この点については、図３１を参照しながら、より詳細に説明する。

撮像素子２１３Ａ，２１３Ｂ，２１３Ｃ、２１３Ｄは、受光した光分布を画像信号に変換し、コントローラ２１５上の画像処理手段に順次、画像フレームを出力する。撮像素子２１３Ａ，２１３Ｂ，２１３Ｃ，２１３Ｄでそれぞれ撮像された画像は、コントローラ２１５が備えるストレージに記憶されたり、あるいは、外部の情報端末１０や管理システム５０に送信されたりする。

図３は、本実施形態による全天球撮影装置２０における各撮像範囲を平面的に示す図である。図３において、４つの撮像部２１Ａ，２１Ｂ，２１Ｃ，２１Ｄは、水平面（紙面）内において、所定の中心Ｏまわりに、中心Ｏから所定の距離だけ離間して、９０度ずらしながら放射状に、かつ、９０度ずつ向ける方向を変えながら配置されている。各撮像部２１Ａ，２１Ｂ，２１Ｃ，２１Ｄは、それぞれの画角の大きさに対応して、それぞれ半球状の範囲ＣＡ，ＣＢ，ＣＣ，ＣＤを撮影するよう構成されている。

図３に示すように、第１の撮像部２１Ａにより撮像される範囲（実線）ＣＡと、第１の撮像部２１Ａに隣接する第２の撮像部２１Ｂにより撮像される範囲（破線）ＣＢとは、範囲ＣＡＢにおいて重複する。同様に、第２の撮像部２１Ｂにより撮像される範囲（破線）ＣＢと、第３の撮像部２１Ｃにより撮像される範囲（一点鎖線）ＣＣとは、範囲ＣＢＣにおいて重複し、第３の撮像部２１Ｃにより撮像される範囲（一点鎖線）ＣＣと、第４の撮像部２１Ｄにより撮像される範囲（点線）ＣＤとは、範囲ＣＣＤにおいて、第４の撮像部２１Ｄにより撮像される範囲（点線）ＣＤと、第１の撮像部２１Ａにより撮像される範囲（実線）ＣＡとは、範囲ＣＤＡにおいて、重複する。撮像部２１Ａ，２１Ｃの中心軸ＯＰ１は、一致し、撮像部２１Ｂ，２１Ｄの中心軸ＯＰ２も、一致している。

このように、本実施形態による全天球撮影装置２０は、それを中心として凡そ全方位を撮影できるように構成されている。ここで、全方位とは、用途に応じて、撮影および記録が求められている範囲として事前に定められた範囲である。全方位としては、後述の表示処理時に全天球画像として表示可能な略全球の撮影範囲であることが好ましいが、上部または下部が欠けたパノラマ画像の範囲としてもよいし、当然に死角も生じ得るため、必ずしも４πステラジアン（全球）をいうものではない。

なお、説明する実施形態では、４つの撮像部２１Ａ，２１Ｂ，２１Ｃ，２１Ｄが、水平面内で中心から所定距離だけ離間して９０度ずらしながら、かつ、９０度ずつ向きを変えながら配置されるものとして説明した。しかしながら、他の実施形態では、これに限定されるものではない。例えば、すべてまたは一部の撮像部２１が、斜めや上向きとなっていてもよいし、交互に上向きおよび下向きとなるように配置されてもよいし、水平面からずれて配置されてもよい。また、説明する実施形態では、１８０度の画角を有する魚眼レンズを想定しており、それぞれの撮像範囲は、半球状となっている。しかしながら、レンズの画角に依っては、半球より大きい球冠や、半球より小さい球冠となり得る。また、撮像部２１の個数も、光学系の画角および所望の撮影範囲に依存するが、２以上の任意の数としてよい。また、好ましい実施形態では、複数の撮像部２１は、それぞれ少なくとも１つの他の撮像部２１と視野を重複しながら撮像し、それぞれ少なくとも１つの他の画像との重複領域を有する複数の画像を生成するものとするが、必ずしもこれに限定されない。

（ハードウェア構成）
図４は、本実施形態による情報端末１０のハードウェア構成図である。図４を用いて、情報端末１０のハードウェア構成について説明する。情報端末１０のハードウェア構成は、汎用な情報処理装置のハードウェア構成と同様である。

情報端末１０は、ＣＰＵ１０１(Central Processing Unit)と、ＲＯＭ１０２(Read Only Memory)と、ＲＡＭ１０３(Random Access Memory)と、ＳＳＤ１０４（Solid State Drive）と、メディアＩ／Ｆ１０５（Interface）と、ネットワークＩ／Ｆ１０７と、ユーザＩ／Ｆ１０８と、バスライン１１０とを含み構成される。

ＣＰＵ１０１は、情報端末１０全体の動作を制御する。ＲＯＭ１０２は、情報端末１０上で動作する各種プログラムを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。ＳＳＤ１０４は、オペレーティング・システムやアプリケーションなどの各種プログラム、各種プログラムで使用されるデータを記憶する。ＳＳＤ１０４は、ＨＤＤ(Hard Disk Drive)などの任意の不揮発性の記憶装置に置き換えてもよい。メディアＩ／Ｆ１０５は、外部メモリなどの記録メディア１０６に記憶されている情報を読み出したり、記録メディア１０６に情報を書き込んだりするためのインタフェースである。ネットワークＩ／Ｆ１０７は、ネットワーク２を介して外部装置と通信するためのインタフェースである。

ユーザＩ／Ｆ１０８は、ユーザに画像情報を提供したり、ユーザから操作入力を受け付けたりするためのインタフェースである。ユーザＩ／Ｆ１０８は、例えば、液晶ディスプレイまたは有機ＥＬ（Electroluminescence）ディスプレイなどの表示装置およびキーボード、ボタン、マウスや表示装置に備えられたタッチパネルなどの入力装置を含み得る。バスライン１１０は、上記各構成要素を電気的に接続するためのアドレスバスまたはデータバスである。

なお、詳細な説明は割愛するが、管理システム５０のハードウェア構成も、情報端末１０のハードウェア構成と同様とすることができる。また、情報端末１０が、スマートデバイスやＰＣなどの汎用な情報処理装置であるものとして説明したが、専用デバイスとして構成してもよく、図４に示されたものに、適宜、ハードウェアの追加または削除をして構成することができる。

図５は、本実施形態における全天球撮影装置２０のハードウェア構成図である。全天球撮影装置２０のコントローラ２１５は、ＣＰＵ２５２と、ＲＯＭ２５４と、画像処理ブロック２５６と、画像圧縮ブロック２５８と、ＤＲＡＭ（Dynamic Random Access Memory）Ｉ／Ｆ２６０を介して接続されるＤＲＡＭ２７２と、外部センサＩ／Ｆ２６４を介して接続される加速度センサ２７６とを含む。

ＣＰＵ２５２は、全天球撮影装置２０各部の動作を制御する。ＲＯＭ２５４は、ＣＰＵ２５２が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。画像処理ブロック２５６は、撮像素子２１３と接続され、撮像された画像の画像信号が入力される。画像処理ブロック２５６は、ＩＳＰ（Image Signal Processor）などを含み、撮像素子２１３から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。なお、図５には、１つの撮像素子２１３のみが示されているが、適宜、コントローラ２１５と撮像部２１とがどのように設けられるかに応じた構成となる。例えば、撮像部２１毎にコントローラ２１５が設けられる場合は、コントローラ毎に１つの撮像素子２１３を備えることになる。全天球撮影装置２０全体で１つのコントローラが設けられる場合は、撮像部２１の数だけ撮像素子２１３を備えることになる。

画像圧縮ブロック２５８は、ＪＰＥＧ（Joint Photographic Experts Group）などの静止画の圧縮および伸長やＭＰＥＧ（Moving Picture Experts Group）－４ＡＶＣ（Advanced Video Coding）／Ｈ．２６４などの動画の圧縮および伸張を行うコーデック・ブロックである。ＤＲＡＭ２７２は、各種信号処理および画像処理を施す際にデータを一時的に保存する記憶領域を提供する。加速度センサ２７６は、３軸の加速度成分を検出し、検出された加速度成分は、鉛直方向を検出して天頂補正を施すために用いられ得る。加速度センサ２７６に加えて、ジャイロセンサや電子コンパスなどを備えてもよい。

撮像部２１は、さらに、外部ストレージＩ／Ｆ２６２と、ＵＳＢＩ／Ｆ２６６と、シリアルブロック２６８と、映像出力Ｉ／Ｆ２６９とを含む。外部ストレージＩ／Ｆ２６２には、外部ストレージ２７４が接続される。外部ストレージＩ／Ｆ２６２は、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ２７４に対する読み書きを制御する。ＵＳＢＩ／Ｆ２６６には、ＵＳＢコネクタ２７８が接続される。ＵＳＢＩ／Ｆ２６６は、ＵＳＢコネクタ２７８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。シリアルブロック２６８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線アダプタ２８０が接続される。映像出力Ｉ／Ｆ２６９は、外部のディスプレイなどに接続するためのインタフェースである。

（機能構成）
以下、本実施形態による撮影表示システム１の機能構成について説明する。図６は、本実施形態による撮影表示システム１上に構成される撮影および表示機能に関連する主要な機能ブロック図である。

全天球撮影装置２０の電源がオン状態になると、カメラ制御プログラムがメインメモリにロードされる。ＣＰＵ２５２は、メインメモリに読み込まれたプログラムに従って、全天球撮影装置２０の各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、全天球撮影装置２０の後述する各機能部および処理が実現される。

全天球撮影装置２０の機能ブロック３１０は、図６に示すように、撮像処理部３１２と、画像処理部３１４と、画像圧縮部３１６と、送信部３１８とを含み構成される。また、全天球撮影装置２０は、ＲＯＭ２５４、ＤＲＡＭ２７２または外部ストレージ２７４などにより提供される射影変換情報記憶部３２０を含み構成される。

撮像処理部３１２は、上述した複数の撮像部２１を用いて、静止画を撮像し、または動画を撮像する。撮像処理部３１２は、複数の撮像部２１各々より撮像された複数の画像を生成し、画像処理部３１４に提供する。説明する実施形態では、複数の（より具体的には４つ）の魚眼画像が取得される。なお、以下の説明では、静止画である場合を中心に説明するが、動画である場合も、各フレーム毎に同様の処理を適用すればよい。

画像処理部３１４は、画像処理ブロック２５６を用いて、撮像した画像に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などの各種補正処理を行う。

画像圧縮部３１６は、画像圧縮部３１６を用いて、撮像した画像を圧縮し、画像データを送信部３１８に提供する。静止画の圧縮形式の具体例としては、例えばＪＰＥＧ、ＰＮＧ（Portable Network Graphics）、ＴＩＦＦ（Tag Image File Format）などを挙げることができる。動画の具体例としては、ＭＰＥＧ－４ＡＶＣ／Ｈ．２６４などの形式を挙げることができる。

射影変換情報記憶部３２０は、各撮像部２１から得られる画像（魚眼画像）を球状画像（半球画像）に変換する射影変換のための情報を記憶しており、送信部３１８に対し、この射影変換情報を提供する。射影変換情報は、より具体的には、各撮像部２１のレンズの物理的な配置関係を示す撮像方向データ、撮像された画像の像高と魚眼レンズの入射角との関係を表す射影データ、画像フレームに配置された魚眼画像の方向、魚眼画像の中心座標、魚眼画像の有効半径、レンズ光学特性、レンズ組付け誤差などの各種情報を含み得る。上述したように、複数の撮像部２１は、固定フレーム２４によって物理的に位置関係が固定されているため、撮像方向データとしては、所定の座標系における各撮像部２１の撮像方向を示すベクトルの配列などとして事前に与えられ得る。

送信部３１８は、情報端末１０などの外部装置からの要求に応答して、要求元の装置に対し、画像データおよび射影変換情報をまとめたデータをパケットして送信する。なお、送信部３１８は、画像データおよび射影変換情報をまとめて１つのデータとして送信してもよいし、画像データと射影変換情報とを対応付けた上で、それぞれを個別に送信してもよい。また、ネットワークを介して送信する代わりに、メモリカードなどの記憶メディアにデータを記録してもよい。また、画像データに関しても、複数の撮像部２１による複数の画像をタイル状に並べて接合し、１枚の画像データとしてもよいし、複数の画像それぞれを個別の画像データとしてもよい。

以下、図６を引き続き参照しながら、情報端末１０側の構成について説明する。情報端末１０の電源がオン状態になると、オペレーティング・システムが起動する。起動後、全天球撮影装置用の画像ビューア・アプリケーションを呼び出すユーザ操作が行われると、アプリケーション・プログラムがメインメモリにロードされる。ＣＰＵ１０１は、メインメモリに読み込まれたプログラムに従って、情報端末１０の各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、情報端末１０の後述する各機能部および処理が実現される。

情報端末１０の機能ブロック３５０は、受信部３５２と、画像取得部３５４と、射影変換情報取得部３５６と、変換テーブル生成部３５８と、画像変換描画部３６０と、表示範囲指定受付部３６６と、表示部３６８とを含み構成される。

受信部３５２は、全天球撮影装置２０が送信したパケットを受信し、受信したデータを、画像取得部３５４および射影変換情報取得部３５６に提供する。なお、データが、ネットワークを介して送信される代わりに、メモリカードなどの記憶メディアに記録さる実施形態では、受信部３５２は、ネットワークを介して受信する代わりに、記憶メディアからデータを読み出す。

画像取得部３５４は、受信したデータに含まれる、圧縮された画像データに対応する所定のコーデックを用いて、画像データをデコードして、複数の画像を取得し、画像変換描画部３６０へ出力する。ここで取得される複数の画像は、それぞれ少なくとも１つの他の画像との重複領域を有するものであり、説明する実施形態では、複数（より具体的には４つ）の魚眼画像が取得される。

射影変換情報取得部３５６は、受信したデータに含まれる射影変換情報を抽出し、射影データおよび撮像方向データを変換テーブル生成部３５８へ出力する。撮像方向データは、上述したように、複数の画像各々の撮像方向を示す情報を含む。

変換テーブル生成部３５８は、射影データおよび撮像方向データに基づいて、各撮像部２１から直接得られる画像（魚眼画像）を球状画像（半球画像）に変換するためのテーブルを生成する。変換テーブル生成部３５８が生成した変換テーブルは、画像変換描画部３６０へ出力される。

全天球撮影装置用の画像ビューア・アプリケーションにおいては、全方位撮影された全天球画像（複数（４つ）の画像で仮想的に構成されたものをいう。）の表示範囲をユーザが任意に変更できるように構成されている。表示範囲指定受付部３６６は、ユーザ操作に応答して、全天球画像中の表示範囲（表示画像における表示範囲）の指定を受け付ける。表示範囲は、全天球画像を中心から観察する視線方向（パン、チルト）およびズーム倍率によって指定され得る。視線方向およびズーム倍率は、所定の範囲内で、ユーザが任意に指定することができ、指定された視線方向およびズーム倍率は、画像変換描画部３６０へ出力される。

上述したユーザ操作としては、特に限定されるものではないが、アプリケーション画面上に配置された、表示範囲の変更を受け付けるＧＵＩ（Graphical User Interface）部品（パン変更、チルト変更、ズーム変更などのボタン）に対するマウス、キーボード、タッチパネルによる操作、表示中の画像に対する直接操作（ピンチ、スワイプ、フリックなど）であってよい。

画像変換描画部３６０は、変換テーブル生成部３５８から提供される変換テーブルと、表示範囲指定受付部３６６から提供される視線方向およびズーム倍率とに基づいて、画像取得部３５４から提供される複数の撮像画像を用いて、ユーザ操作によって指定された表示範囲に対応する表示用の出力画像を生成する。画像変換描画部３６０は、本実施形態において、表示画像（表示用の出力画像）を作成する生成部を構成する。

表示部３６８は、表示装置を含み構成され、画像変換描画部３６０によって生成された表示画像を表示装置から映像出力する。これにより、画像ビューア・アプリケーション上で、全天球において指定された特定の視野の画像が表示されることとなる。表示部３６８は、本実施形態における出力部を構成する。

（画像変換描画処理）
以下、図６～図１４を参照しながら、本実施形態による画像変換描画部３６０が実行する画像変換描画処理について、より詳細に説明する。

図７および図８は、本実施形態の複数の撮像部２１各々の撮像範囲および得られる画像を３次元的に示す模式図である。図７および図８には、本実施形態の複数の撮像部２１各々で撮像される画像ＩＡ、ＩＢ，ＩＣ，ＩＤが模式的に示されている。説明する実施形態において、撮像部２１は、１８０度の画角の魚眼レンズを有するため、図７および図８に示すように、投影面は半球とみなすことができる。画角が１８０度より大きい場合は、半球より大きい球冠となり、画角が１８０度より小さい場合は、半球より小さい球冠となる。なお、４つの撮像部２１Ａ，２１Ｂ，２１Ｃ，２１Ｄは、水平面内で中心から所定距離だけ離間して、９０度ずらしながら、かつ、９０度ずつ向きを変えながら配置されており、撮像される各画像は、撮影位置が異なり、かつ、撮影方向も異なり、また、隣接するものの間で、互いの撮影範囲において重複する範囲を有する。

図９は、魚眼レンズを用いた被写体の撮像について説明する図である。図９（Ａ）は、魚眼レンズによる等距離射影方式の場合の被写体の撮像を模式的に示し、図９（Ｂ）は、比較のため通常のレンズによる透視投影（中心射影）方式の場合の被写体の撮像を模式的に示す。図９（Ａ）に示す例では、魚眼レンズの画角Ｇが１８０度より大きく、投影面Ｐは、半球より大きい球冠となっている。全天球撮影装置２０の外側に存在する被写体ｏｂｊ１～ｏｂｊ３は、これらの位置および撮像部２１の視点の位置ＳＰを結ぶ直線と投影面Ｐとの交点に位置する、投影面Ｐ上の対応する像ｐ１～ｐ３として記録される。なお、図９（Ａ）において、投影面は、球面ないし球冠であると説明したが、実際には、この球面ないし球冠を平面に広げたものとして像が得られる。

一方、図９（Ｂ）に示すように、通常レンズの透視投影方式では、投影面Ｐ’は、平面であり、被写体ｏｂｊ１～ｏｂｊ３は、これらの位置および視点の位置ＳＰ’を結ぶ直線と投影面Ｐ’との交点に位置する、投影面Ｐ’上の対応する像ｐ１’～ｐ３’として記録される。透視投影の場合は、画角が１８０度の場合、投影面Ｐ’上に視点ＳＰがあることになるので、透視投影の場合の画角Ｇ’は、理論上１８０度未満となる。

説明する実施形態において、画像変換描画部３６０は、撮像部２１によって得られた複数の画像を、それぞれの画像の撮像方向に基づいて、所定の三次元オブジェクト、より具体的には、球体オブジェクトに貼り付けることで、各画像のそれぞれの撮像画角よりも広い画角となる仮想画像を作成する。画像変換描画部３６０は、球体オブジェクトにマッピングされた、画像のそれぞれの撮像画角よりも広い画角となる仮想画像を作成し、この仮想画像を仮想カメラにより透視投影処理で切り出すことによって、平面画像を生成し、これを表示用の出力画像とする。ここで、複数の撮像部２１によって得られた各画像は、上述したように、撮影位置が異なり、撮影方向も異なるものであるが、所定の三次元オブジェクトに貼り付ける際には、各画像が同じ位置で撮影されたと仮定して貼り付ける。

図１０は、半球画像を球体オブジェクトに張り付ける方法を説明する図である。図１０（Ａ）は、球体オブジェクトＱに１つの半球画像ＩＡを張り付ける処理を模式的に示す図である。上述したように、複数の撮像部２１間には不可避な視差があり、実際には撮影位置が異なるが、説明する実施形態においては、複数の半球画像は、同一の球体オブジェクト上にマッピングされる。

図１０（Ｂ）は、４つの撮像範囲の撮影位置を同じ場所に合わせて、各画像を半球にマッピングして、１つの球体にしたものを平面的に表したものである。図１０（Ｂ）では、黒塗りの円弧で第１の撮像部２１Ａの画像ＩＡを示し、斜線のハッチングの円弧で第２の撮像部２１Ｂの画像ＩＢを示し、濃い網掛けのハッチングの円弧で第３の撮像部２１Ｃの画像ＩＣを示し、薄い網掛けのハッチングの円弧で第４の撮像部２１Ｄの画像ＩＤを示している。撮像部２１が、１８０度の画角を有し、９０度ずつ撮影方向を変えながら配置されていることに対応して、各撮像範囲は、９０度ずつ重なる範囲を有する形となり、閲覧時はこの球体にマッピングされた画像を仮想カメラＶで透視投影として切り出して表示する。なお、図１４と併せて後述するが、各画像ＩＡ～ＩＤは、実際は同一球体上にマッピングされるが、図１０（Ｂ）においては、動径方向にずれて描かれている点に留意されたい。

図１１は、三次元グラフィックス表示で行われる透視投影（Perspective Projection）を説明する図である。図１１に示すように、画像変換描画部３６０は、半球画像を球体の内面に貼り付けた三次元モデルを、透視投影処理することによって平面画像として出力画像を生成する。透視投影する際の画像生成パラメータは、上記ユーザ操作に応じて決定される。画像生成パラメータとしては、特定の実施形態では、仮想カメラの方向（ｖ）、視野角（Θ）を挙げることができる。

出力画像Ｓは、球体の中心から特定の緯度経度方向（ｖ）を向いて三次元モデルを見たときに、特定の視野角（Θ）内で観察される画像を、表示領域の形状に応じて切り取った画像となる。仮想カメラの方向（ｖ）は、表示範囲の視線方向に関連し、視野角（Θ）は、ズーム倍率に関連する。なお、パラメータとしては、仮想カメラの方向（ｖ）および視野角（Θ）を例示したが、他の実施形態では、これに限定されるものではない。例えば、仮想カメラの位置を球体の中心から遠ざけたり近づけたりすることでも実効的な画角が変化し、ズーム倍率を変更することができるため、仮想カメラの視点の位置（ｄ）をパラメータに含めてもよい。

図１２は、仮想カメラＶの視点の位置を変化させた場合の出力画像における被写体の見え方を説明する図である。なお、図１２は、１つの半球画像を張り付けた球体オブジェクトＱを仮想カメラＶで透視投影する処理を平面的に表したものである。図１２（Ａ）は、仮想カメラＶを球体オブジェクトＱの中心Ｃに置いた場合を示し、図１２（Ｂ）は、仮想カメラＶを球体オブジェクトＱの中心Ｃより後ろの位置に置いた場合を示す。ここでは、仮想カメラＶの視点の位置を変化させた場合の違いを説明することを目的とするため、便宜上、撮影時の撮像部２１の視点位置ＳＰが球体オブジェクトＱの中心Ｃに一致しているものとし、図１２には、撮像時の被写体ｏｂｊ１～ｏｂｊ３の位置が合わせて示されている。

図１２（Ａ）に示すように、仮想カメラＶを球体オブジェクトＱの中心Ｃに置いた場合は、被写体ｏｂｊ１～ｏｂｊ３に対応する球体オブジェクトＱ上の像ｑ1～ｑ３は、出力画像に対応する画像平面Ｕにおいて、像ｕ１～ｕ３を形成する。被写体ｏｂｊｘ（ｘ＝１～３）は、像ｑｘと像ｕｘと仮想カメラの視点位置Ｃとの同一直線上にくるため、被写体ｏｂｊ１～ｏｂｊ３は、元の位置にあるかのように見える。一方、図１２（Ｂ）に示すように、仮想カメラＶを球体オブジェクトＱの中心Ｃより後ろの位置に置いた場合は、被写体ｏｂｊ１～ｏｂｊ３に対応する球体オブジェクトＱ上の像ｑ1～ｑ３は、出力画像に対応する画像平面Ｕにおいて、図１２（Ａ）の場合から位置がずれた像ｕ１’～ｕ３’を形成する。被写体ｏｂｊｘ（ｘ＝１～３）は、像ｑｘと、像ｕｘと、仮想カメラの視点位置Ｃとの同一直線から外れるため、被写体ｏｂｊ１～ｏｂｊ３は、その場所によって元の位置とは異なる位置にあるようにゆがんで見えることになる。したがって、歪みのない画像を閲覧する観点からは、仮想カメラＶの視点の位置（ｄ）は、球体オブジェクトＱの中心に固定することが好ましい。

上述したように、複数の撮像部２１を用いる場合は、撮像部２１間には不可避な視差が生じる。超小型二眼屈曲光学技術を適用するなどにより撮像部２１間の視差が充分に小さい場合は、複数の画像をスティッチング（つなぎ処理）しても、つなぎ目が比較的違和感のない画像が得られる。また、つなぎ目の位置毎にパターンマッチングを行ってつなぎ位置を微調整することでさらに自然な画像が得られる場合もある。しかしながら、図２に示すように、複数の撮像部２１が保護帽２３の側面部まわりに向きを変えながら一周して配置されるような場合、視差は、人の頭部の寸法（頭長、頭幅）のオーダーで発生し、無視できなくなり、スティッチング処理が難しくなる。

図１３は、２つの撮像部が視差を有する場合のスティッチング処理を模式的に説明する図である。図１３（Ａ）は、２つの撮像部２１の撮像範囲が重複する領域において近景にある被写体Ｎの像を基準に２つの撮像部２１が撮像した画像をスティッチする場合を示し、図１３（Ｂ）は、その場合に得られるスティッチング済み画像を模式的に示す。これに対し、図１３（Ｃ）は、重複領域において、遠景にある被写体Ｆの像を基準に２つの撮像部２１が撮像した画像をスティッチする場合を示し、図１３（Ｄ）は、その場合に得られるスティッチング済み画像を模式的に示す。

図１３（Ａ）および図１３（Ｂ）に示すように、近景側の被写体Ｎに合わせてスティッチすると、被写体Ｎよりも遠景の被写体Ｆの像が２重になる可能性がある。この被写体Ｎよりも遠景となり、像が二重となる領域を、二重像領域Ｄと称し、一方で、スティッチで合わせた被写体Ｎよりも近景の領域Ｅにある被写体は、合成後に消失することになり、この領域を消失領域Ｅと称する。これに対し、図１３（Ｃ）および図１３（Ｄ）に示すように、遠景の被写体Ｆに合わせてスティッチすると、遠景の被写体Ｆは好適につながるが、被写体Ｆよりも近景の被写体Ｎは、広がった消失領域Ｅに入り、合成後の画像から消失する可能性がある。どちらの場合でも、撮像位置および撮像方向が異なるので、スティッチすると違和感が生じる画像となる可能性がある。このように、視差が大きくなると、複数の画像を適切にスティッチすることが困難となる。

そこで、本実施形態においては、複数の撮像部２１で撮像された複数の魚眼画像を合成して一つの全天球画像を生成し、これを用いて出力画像Ｓを生成することはしない。代わりに、画像変換描画部３６０は、複数の撮像部２１で撮像された複数の画像の中から、表示範囲に応じて、少なくとも使用する主要画像（仮想カメラが見ている方向に対応する半球画像であり、表示範囲内に最も広く入る画像）を切り替えながら、出力画像Ｓを生成する。これによって、全天球画像における指定された表示範囲に応じた出力画像Ｓを生成する。

また、主要画像のみを用いて出力画像Ｓを生成すると、表示範囲が広い場合に、表示範囲内に主要画像の外側の領域が入り込む可能性がある。そこで、より好ましい実施形態では、画像変換描画部３６０は、複数の撮像部２１で撮像された複数の画像それぞれを、所定の順序で重ねて球体オブジェクトにマッピングする。これにより、主要画像の外側の領域にも他の画像が表示されることになる。このとき、重複範囲では、後から張り付けられた画像で上書きされることとなるため、仮想カメラから主に観察されるのは、重複領域において最後に描画された、最も前景に位置する画像となる。すなわち、表示範囲に応じて描画順序を決定・切り替えることにより、描画順序が最も後の画像が主要画像として切り替えられることになる。

図６には、画像変換描画部３６０のより具体的な構成が示されている。図６に示すように、説明する実施形態において、画像変換描画部３６０は、上述した描画順序および結果として最後に描画される主要画像を決定する決定部３６２と、決定された描画順序に基づいて表示用の出力画像Ｓを生成する画像生成部３６４とを含み構成される。

決定部３６２は、指定された表示範囲（特に視線方向）および複数の画像各々の撮像方向（この情報は、撮像方向データに基づいて生成された変換データとして変換テーブル生成部３５８から提供される。）に基づいて、取得した複数の画像の中から、少なくとも表示に使用する画像を決定する。より具体的な実施形態では、決定部３６２は、撮像方向および表示範囲に基づいて、仮想カメラＶがどの半球画像の方向を見ているかを決定し、仮想カメラＶが向いている方向の半球画像が最後に描画されるように複数の画像の描画順序を決定する。

決定部３６２は、より具体的には、算出部３６３を含む。算出部３６３は、複数の画像各々の撮像方向に基づく撮像方向ベクトルと、表示範囲（特に視線方向）を規定する仮想カメラの向きベクトルとの内積を算出する。そして、上記描画順序は、複数の画像各々について算出された内積の大きさに従う。

画像生成部３６４は、変換テーブルと、表示範囲の指定とに基づいて、魚眼画像である各画像データを半球画像に変換し、少なくとも使用する画像（半球画像）を張り付けた三次元オブジェクトを投影処理することによって表示用の出力画像Ｓを生成する。この際に、決定部３６２により決定された描画順序で描画処理を行う。三次元オブジェクトは、好ましい実施形態では、球体オブジェクトであり、球体オブジェクトに張り付けるものとして説明するが、楕円体オブジェクトであってもよいし、多面体オブジェクトであってもよいし、より複雑な形状であってもよい。

なお、説明する実施形態では、全天球撮影装置２０の画像圧縮部３１６は、魚眼画像のまま画像圧縮し、送信部３１８も魚眼画像のままの画像データを送信するものとして説明した。この場合、情報端末１０側で、画像変換描画部３６０において、変換テーブル生成部３５８が生成した変換テーブルに基づいて、全天球画像フォーマット（エクイレクタングラー（Equirectangular）形式）の画像（半球部分だけに画素値があるため半球画像といえる。）に変換され、これらの各画像が、球体オブジェクトに張り付けられる。しかしながら、全天球撮影装置２０側で、撮影された画像を魚眼画像のままではなく、上述した画像の像高と魚眼レンズの入射角との関係を表す射影データ、レンズ光学特性、レンズ組付け誤差などを用いて、画像処理部３１４において、それぞれ撮像部２１ごとに全天球画像フォーマット（エクイレクタングラー（Equirectangular）形式）に変換した上で送信されてもよい。その場合は、画像生成部３６４は、全天球画像フォーマットの各画像を球体オブジェクトに貼り付けて透視投影変換し、表示用の出力画像Ｓを生成することができる。また、魚眼画像から全天球画像フォーマットの画像への変換を省略し、魚眼画像を、球面のテクスチャ画像を計算し、直接、三次元オブジェクトに張り付けてもよい。

なお、魚眼画像や全天球画像を球体オブジェクトにマッピングする方法は、例えば、特許第６７２４６５９号公報や特許第６０４４３２８号公報に開示されているように公知の技術であるため、詳細な説明は割愛する。

図１４は、上述した画像変換描画部３６０での半球画像の描画順序を変更する効果について説明する図である。３次元コンピュータ・グラフィックスにおいては、描画順によらず奥にあるオブジェクトが手前のオブジェクトによって隠れるように描画するために、Ｚバッファを用いる方法が知られている。一方、本実施形態においては、複数の半球画像を重ね合わせて１つの球を形成するためにはＺバッファを用いず、描画順序によって前景と後景とを制御する。なお、図１４では、図１０（Ｂ）に関連して上述したように、実際は同一球体上にマッピングされるが、図１４においては、説明の便宜上、動径方向にずれて（つまり半径が異なって）表示されている点に留意されたい。

図１４（Ａ）は、第４の半球画像ＩＤ、第３の半球画像ＩＣ、第１の半球画像ＩＡ、第２の半球画像ＩＢの順で描画した例を示す。この順番で描画された球体オブジェクトをその中心から仮想カメラＶで見た場合、仮想カメラの視野全体には、第２の半球画像ＩＢが写り、つなぎ目の無い画像が表示されることになる。

図１４（Ｂ）は、図１４（Ａ）と同一の描画順番で描画された状態で、ユーザ操作によって仮想カメラＶの向きが変更された状態を表している。図１４（Ｂ）に示すように、仮想カメラＶの向きが変更されたことにより、第２の半球画像ＩＢの端部と第１の半球画像ＩＡとの境目Ｔが視野内に入ることになる。

図１４（Ｃ）は、図１４（Ｂ）と同様に仮想カメラの向きが変更された状態で、第１の半球画像ＩＡおよび第２の半球画像ＩＢの描画順序を入れ替え、第４の半球画像ＩＤ、第３の半球画像ＩＣ、第２の半球画像ＩＢ、第１の半球画像ＩＡの順で描画した場合を示している。描画順番を入れ替えることによって、仮想カメラの視野全体に第１の半球画像ＩＡが写り、つなぎ目の無い画像が表示されることになる。このように、ユーザ指示により変化する仮想カメラの向きに応じて仮想カメラの正面に近い半球画像を最後に描画することにより、境目部分が描画されにくくなる。

なお、上述したように、表示用の出力画像Ｓを生成する処理は、情報端末１０が行う他、全天球撮影装置２０や管理システム５０が実行し、情報端末１０は、送信された出力画像Ｓをそのまま表示装置に表示する形態であってもよい。その場合は、図６に示した主要な構成、画像取得部３５４、射影変換情報取得部３５６、画像変換描画部３６０、表示範囲指定受付部３６６などは、全天球撮影装置２０または管理システム５０が備えればよい。

以下、図１０（Ｂ）、図１５および図１６を参照しながら、本実施形態における画像表示処理について、より詳細に説明する。図１５は、本実施形態による情報端末１０が実行する、画像表示処理を示すフローチャートである。

図１５に示す処理は、例えば、全天球撮影装置用の画像ビューア・アプリケーションの起動に応答して、ステップＳ１００から開始される。ステップＳ１０１では、情報端末１０は、各半球画像の撮像方向を撮像方向データに基づいて決定する。半球画像の撮像方向は、撮影時の撮像部２１の配置によって定まるため、本処理では最初に求めている。

図１６は、全天球画像を所定範囲で表示する画像ビューア画面を例示する図である。ユーザは、図１６に示すユーザインタフェースを介して表示範囲を変更することができる。図１６に示す画像ビューア画面４００は、画像表示領域４１０と、画像表示領域４１０に表示させる表示画像における表示範囲を変更するためのＧＵＩ部品４２２，４２４とを含み構成される。画像表示領域４１０には、上記画像変換描画部３６０により生成された、現時点の表示範囲に応じた出力画像Ｓが表示部３６８により表示される。

ステップＳ１０２では、情報端末１０は、表示範囲指定受付部３６６により表示範囲変更操作が受け付けられたか否か、つまり、ユーザ操作により表示範囲が変更されたか否かを判定する。ここで、表示範囲変更操作は、各操作に対応するＧＵＩ部品４２２，４２４に対して行われた、クリック、フリックなど操作イベントの発生により検出される。図１６に例示する画像ビューア画面４００は、ズーム指定値を変更するものとして、ズームインの指示を待ち受けるＧＵＩ部品４２２Ｉと、ズームアウトの指示を待ち受けるＧＵＩ部品４２２Ｏとを含む。画像ビューア画面４００は、さらに、パン指定値およびチルト指定値を変更するものとして、左および右方向へパンの指示を待ち受ける左ボタン４２４Ｌおよび右ボタン４２４Ｒと、上および下方向へチルトの指示を待ち受ける上ボタン４２４Ｕおよび下ボタン４２４Ｄとを含む。

表示範囲変更操作は、ＧＵＩ部品に対する操作の他、各表示範囲変更操作に関連付けられたショートカット・キー、ジェスチャ、マルチタッチ操作など操作イベントの発生により検出することができる。例えば、ショートカット・キーとしては、キーボードにおけるズームインおよびズームアウトを指示する「＋」ボタンおよび「－」ボタンを挙げることができる。さらに、左右のパンおよび上下のチルトを指示する左右の矢印ボタンおよび上下の矢印ボタンに対するキー操作をショートカット・キーとしてもよい。マルチタッチ操作としては、ズーム操作に関連付けられたピンチインおよびピンチアウトを挙げることができる。

ユーザが表示範囲変更操作を行うまで、ステップＳ１０２で待ち受けが行われる。ステップＳ１０２で、ユーザが表示範囲変更操作を行ったと判定された場合（ＹＥＳ）は、ステップＳ１０３へ処理が進められる。表示範囲指定受付部３６６から新たなパラメータが上記画像変換描画部３６０へ通知されるので、ステップＳ１０３では、情報端末１０は、新たなパラメータで仮想カメラの向きを表す単位ベクトルを求める。

図１０（Ｂ）には、半球画像の順番を決めるための仮想カメラの向きを表す単位ベクトル（仮想カメラの向きベクトル）および各半球画像の中心向きを示す単位ベクトル（撮像方向ベクトル）が示されている。画像ＩＡ、画像ＩＢ、画像ＩＣおよび画像ＩＤそれぞれの撮像方向ベクトルＶＡ，ＶＢ，ＶＣ，ＶＤは、通常、各撮像部２１の光軸方向であり、射影変換情報に含まれる撮像方向データから求められる。この撮像方向ベクトルは、撮影時の装置の向きで定まるため、ステップＳ１０１で閲覧時には最初に一度求めればよい。一方、表示範囲を規定する仮想カメラＶの向きベクトルＶＶは、ユーザ操作によって動的に変化し得るため、少なくとも仮想カメラの方向（ｖ）の変更をもたらすユーザ操作ごとに求める。なお、図１０（Ｂ）では、便宜上２次元で示しているが、仮想カメラは、パンおよびチルトされるため、実際の単位ベクトルは、３次元である点に留意されたい。

再び図１５を参照すると、ステップ１０４では、情報端末１０は、仮想カメラＶの向きベクトルＶＶと、複数（４つ）の半球画像の撮像方向ベクトルＶＡ，ＶＢ，ＶＣ，ＶＤ各々との内積を算出する。ステップＳ１０５では、情報端末１０は、複数（４つ）の半球画像を、各々の内積の値が小さい順にソートする。ここで、単位ベクトル同士の内積は、同じ方向である場合に＋１．０となり、反対方向である場合に－１．０となるため、内積の値が小さい（数直線上左側に位置する）順（つまり昇順）にソートすることで、向きが異なる程度に応じた順となる。ステップＳ１０６では、情報端末１０は、ソート結果に従って、仮想カメラと向きがより異なっている半球画像を先に描画し、仮想カメラと向きがより近い半球画像を後に描画する。これにより表示範囲の画角（表示画角）が、重複している範囲より狭い場合は、複数の画像間の境目が描画されなくなり、表示画角が、重複している範囲よりも広い場合でも、境目の描画を最小限とすることができるようになる。ステップＳ１０６の後、再びステップＳ１０２に戻される。

以上、説明した実施形態によれば、複数の画像は、画像加工をせずに複数の画像をまとめた、より広い画角を有する画像として、閲覧可能となる。

全方位を撮影した画像を表示する方法としては、上述したように、複数の撮像部で撮像された複数の画像から一度全天球画像を生成して、その全天球画像を三次元オブジェクト上に貼り付けて出力画像を得る方法が知られている。特に個人が使用する目的の全天球画像では、視認性が求められる。このため、複数の魚眼画像を合成して１つの全天球画像を生成する際に、（１）複数の撮像部の視差に起因した、撮像範囲が重複する領域での近景と遠景の被写体のつなぎ位置のずれを合わせる処理（スティッチング処理）と、（２）複数の画像を一枚の画像に合成する際に重複領域で両画像をブレンディング（平均化）し、自然な画像とする処理が行われ得る。また、上記特許文献２の従来技術では、（３）死角をなくすために、少なくとも一の画像に対し、画角を基の画角よりも小さな所定の画角とした画像に変換する処理を施し得る。

つなぎ位置合わせは、画像中の一部の被写体の位置をずらし、被写体の位置の変化をもたらし得る画像加工の一種である。ブレンディング処理は、２枚後画像の画素値を混ぜ合わせ処理であるため、被写体が二重になるなどを生じさせ得る画像加工の一種である。上記画角の変換処理は、一方の被写体の位置や縮尺の変化をもたらし得る画像加工の一種である。なお、魚眼画像から半球画像に変換する処理も画像処理の一種であるが、レンズのゆがみを補正し、また表現方法を変更する処理に過ぎないため、避けるべき画像加工には含まれないものとする。

一方で、複数の撮像部で撮像された画像を独立したものとして個別に閲覧することは、画像間およびその画像に写り込む被写体間の位置関係を把握することが難しくなる。したがって、建築現場のような、なるべくありのままの画像を表示することが望ましい用途では、画像加工を回避しながらも、全方位の一覧性を高めることが求められる。

また、用途によっては、複数のカメラの配置に制約があり、充分に視差を小さくすることが難しい場合がある。視差が大きいと、上述した被写体間のつなぎ位置を合わせることが難しくなる場合がある。例えば、建築現場では、狭い場所が多く、頭上と天井との間隔も狭いことから、保護帽の頭頂部のような周囲を見渡せる一点に複数の撮像部を設置することが難しい。このため、保護帽の側面部（側頭部）に設けざるを得ない場合があり、その場合、人の頭の大きさ程度まで視差が広がるため、上述したつなぎ位置合わせが困難となる。

上述した実施形態においては、複数の撮像部２１の画角が十分に大きくとられて、撮像される画像の重複領域が充分に大きくなるように配置されている。そして、撮像された複数の画像を全天球画像として閲覧する際に、つなぎ位置合わせやブレンディングをせずに、指定された表示範囲に応じて、描画順、ないし、最も前景となる画像を決めることで、アーティファクト（画像加工により発生する誤りや画像のゆがみ）が生じない、ありのままの画像が表示・記録され、かつ、画像間の境目が表示範囲に入りづらくなり、自然な閲覧可能となる。また、大きな視差が不可避であっても複数の画像を用いて全天球画像として表示することが可能となる。

図１～図１６を参照して説明した実施形態では、仮想カメラの向きに合わせて半球画像の描画順序、最も前景にくる画像を変更することによって、境目が描画されることを可能な限り回避することができる。一方、視線方向や表示画角によっては、境目が表示領域内に描画される可能性がある。そこで、以下、図１７～図１９を参照しながら、仮想カメラの向き（パンおよびチルト）および表示画角（ズーム倍率）を適切な範囲に制限することができる好ましい実施形態について説明する。

図１７は、他の実施形態による撮影表示システム１上に構成される撮影および表示機能に関連する主要な機能ブロック図である。図１７に示す機能ブロック３００は、おおむね図６に示したものと同様であるが、情報端末１０の画像変換描画部３６０が、さらに、制限判定部３６５を備えている。なお、同様の構成要素に対しては同一符番が付されており、以下、相違点を中心に説明を行う。

他の実施形態では、上述した実施形態と同様に、表示範囲は、仮想カメラの向きおよび表示画角によって規定される。算出部３６３は、上述した実施形態と同様に、複数の画像各々の撮像方向ベクトルと、仮想カメラの向きベクトルとの内積を算出する。制限判定部３６５は、複数の画像各々について算出された内積の大きさに基づいて、指定にかかる表示範囲が表示制限範囲内にあるか否かを判定する。ここで、表示範囲が表示制限範囲内にあるか否かは、表示範囲の変更に応答して、表示範囲の表示画角および画像の撮像画角に基づき判定される。表示範囲が表示制限範囲内にない場合は、少なくとも表示範囲が表示制限範囲へ向けて修正され、好ましくは、表示範囲が表示制限範囲内となるように修正される。

なお、ここで説明する他の実施形態においては、撮像部２１は、撮像素子２１３の受光領域内にイメージサークルが収まるような円周魚眼レンズを有することがより好ましい。円周魚眼の画像では後述する表示範囲の制限処理の撮像範囲と過不足なく一致させることができるためである。

図１８は、他の実施形態による表示範囲の制限を説明する。図１８（Ａ）は、仮想カメラから観察される表示領域Ａを示した図である。仮想カメラの縦横比は、アプリケーションや表示装置よって変化する。ここでは、表示領域Ａを表すために長方形また正方形の外接円Ｅ(いわゆるイメージサークル)を考える。一般的にコンピュータ・グラフィックスにおいては、縦画角が画角の指定として使用される。説明する実施形態では、縦画角ｖａと表示領域の縦横比（ｖ：ｈ）から、三平方の定理および正接の定義に基づいて、下記式（１）にしたがって、対角画角ｄａを計算する。そして、仮想カメラで観察する表示領域Ａを対角画角ｄａの円錐として扱う。

図１８（Ｂ）は、撮像部２１で撮像される撮像範囲および表示領域Ａおよびその限界を表した図である。撮像範囲は、球面扇形で表すことができ、その角度は、レンズの画角に一致する。説明する実施形態では、画角が１８０度の魚眼レンズを使用しているため、撮像範囲は、半球となる。

図１８（Ｂ）には、境目が表示領域Ａ内に入らない限界の表示範囲（表示制限範囲）も示されている。境目が表示領域に入らないようにするためには、現在の仮想カメラの向きに一番近い半球画像の撮像範囲内に仮想カメラの表示領域Ａが収まることを条件とすればよい。図１８（Ｂ）に示すように、境目が描画されない限界は、半球画像の撮像方向ベクトルと仮想カメラの向きベクトルとのなす角Ｋが、以下の所定の条件を満たことを条件とすることができる。

すなわち、現在の仮想カメラの向きに一番近い半球画像の撮像方向ベクトルＶＸ（Ｘは、Ａ、Ｂ、ＣおよびＤのうちの最も内積が大きな値を有する画像ないし撮像部を識別する。）と仮想カメラの向きベクトルＶＶを用いると、以下の式（２）が成り立てばよい。

図１９は、他の実施形態による情報端末が実行する、画像表示処理を示すフローチャートである。図１９に示す処理は、図１５と同様に、例えば、全天球撮影装置用の画像ビューア・アプリケーションの起動に応答して、ステップＳ２００から開始される。ステップＳ２０１では、情報端末１０は、各半球画像の撮像方向を撮像方向データに基づいて決定する。

ステップＳ２０２では、情報端末１０は、表示範囲指定受付部３６６により表示範囲変更操作が受け付けられたか否かを判定する。ユーザが表示範囲変更操作を行うまで、ステップＳ２０２で待ち受けが行われる。ステップＳ２０２で、ユーザが表示範囲変更操作を行ったと判定された場合（ＹＥＳ）は、ステップＳ２０３へ処理が進められる。

ステップＳ２０３では、情報端末１０は、新たなパラメータで仮想カメラの向きベクトルを求める。ステップ２０４では、情報端末１０は、仮想カメラの向きベクトルＶＶと、複数（４つ）の半球画像の撮像方向ベクトルＶＡ，ＶＢ，ＶＣ，ＶＤ各々との内積を算出する。ステップＳ２０５では、情報端末１０は、複数（４つ）の半球画像を、各々の内積の値が小さい順にソートする。ステップＳ２０６では、情報端末１０は、表示領域の対角画角を求める。ステップＳ２０７では、情報端末１０は、撮像画角および表示範囲の対角画角に基づいて、余弦値（上記式（２）の左辺）を計算する。なお、対角画角ｄａは、ズーム倍率が変更された場合に変化するため、ズーム倍率が変更されない場合は、ステップＳ２０６およびステップＳ２０７を省略してもよい。

ステップＳ２０８では、情報端末１０は、各半球画像の撮像方向ベクトルＶＡ，ＶＢ，ＶＣ，ＶＤと仮想カメラの向きベクトルＶＶとの内積のうち一番大きい値ＶＸ・ＶＶと、ステップＳ２０７で計算した余弦値と比較する。ステップＳ２０８で、内積ＶＸ・ＶＶが余弦値以上だった場合（ＹＥＳ）は、今操作によって変更されたパラメータを記憶して、描画処理を行う。一方、ステップＳ２０８で、内積ＶＸ・ＶＶが余弦値未満だった場合（ＮＯ）は、記憶しておいたパラメータの値に戻し、描画処理を行わない。これにより境目が描画されるような表示範囲の変更を制限することができる。ステップＳ２１１およびステップＳ２０９の後、再びステップＳ２０２に戻される。

以下、図２０～図３１を参照しながら、種々の変形例の実施形態について説明する。なお、上述までの実施形態と、以下に説明する種々の変形例の実施形態において、同様の構成要素に対しては同一符番が付されており、以下、相違点を中心に説明を行う。

（第１変形例）
以下、図２０～図２３を参照しながら、第１の変形例の実施形態について説明する。上述した実施形態では、自身を中心として略全球（全球または全球において一部の死角を有する場合を含む。）を全方位として撮影できるように構成された全天球撮影装置２０について説明した。しかしながら、全天球撮影装置２０は、用途に応じて、必ずしも略全球を撮影するものに限定されない。また、上述したように、撮像部２１の個数は、４つに限定されず、各撮像部２１の画角および所望の撮影範囲に依存するが、２以上の任意の数とすることができる。図２０～図２３は、２つの撮像部２１を備え、全球の４分の一が欠損した範囲を撮影範囲とする、全天球撮影装置２０を示す。

図２０は、２つの撮像部２１を備える第１の変形例の実施形態による全天球撮影装置２０における各撮像範囲を平面的に示す図である。全天球撮影装置２０の全体構成図としては、図２に示す全天球撮影装置２０における、４つの撮像部２１Ａ，２１Ｂ，２１Ｃ，２１Ｄのうちの、隣接する２つの（例えば２１Ａと２１Ｂの組、２１Ｂと２１Ｃの組、２１Ｃと２１Ｄの組、または２１Ｄと２１Ａの組）のみを備え、残りの２つの撮像部を除去したものに相当する。例えば、２つの撮像部２１Ａ，２１Ｂは、図２に示した実施形態と同様に、水平面（紙面）内において、保護帽２３の頭頂部等の所定の中心Ｏまわりに、中心Ｏから所定の距離だけ離間して、９０度ずらして、かつ、９０度向ける方向を変えて配置されている。２つの撮像部２１Ａ，２１Ｂそれぞれの撮影方向は、外側を向いている。各撮像部２１Ａ，２１Ｂは、それぞれの画角の大きさに対応して、それぞれ半球状の範囲ＣＡ，ＣＢを撮影するよう構成されている。また、図２０に示すように、第１の撮像部２１Ａにより撮像される範囲（実線）ＣＡと、第２の撮像部２１Ｂにより撮像される範囲（点線）ＣＢとは、範囲ＣＡＢにおいて重複する。第１の撮像部２１Ａおよび第２の撮像部２１Ｂの重複する範囲以外の部分は、いずれの撮像部とは重複していない。各撮像部２１の画角が１８０度である場合、水平面において２７０度の範囲が、全体としての撮像範囲となる。

図２１および図２２は、第１の変形例の実施形態における２つの撮像部２１Ａ，２１Ｂの各々の撮像範囲および得られる画像を３次元的に示す模式図である。なお、図２２（Ａ）および図２２（Ｂ）は、撮影方向の異なる２パターンの撮像範囲および得られる画像を示している。図２１および図２２には、第１の変形例の実施形態による２つの撮像部２１各々で撮像される画像ＩＡ、ＩＢが模式的に示されている。撮像部２１は、１８０度の画角の魚眼レンズを有するため、図２１および図２２に示すように、投影面は半球とみなすことができる。

第１の変形例の実施形態においても、画像変換描画部３６０は、２つの撮像部２１Ａ，２１Ｂによって得られた画像を、三次元オブジェクト、より具体的には、球体オブジェクトに貼り付けて、球体オブジェクトにマッピングされた画像を仮想カメラで透視投影として切り出すことによって、表示用の出力画像を生成する。上述した実施形態と同様に、画像変換描画部３６０は、２つの撮像部２１で撮像された複数の画像の中から、表示範囲に応じて、少なくとも使用する主要画像を切り替えながら、出力画像Ｓを生成する。また、より好ましい実施形態では、画像変換描画部３６０は、２つの撮像部２１で撮像された複数の画像それぞれを、所定の順序で重ねて球体オブジェクトにマッピングする。ここで、所定の順序は、主要画像が最後に描画されるような順序である。表示範囲に応じて描画順序を決定・切り替えることにより、描画順序が最も後の画像が主要画像として切り替えられることになる。

ただし、上述までの実施形態とは異なり、撮像部２１は、２つしか設けられていないので、表示範囲の画角（表示画角）が、重複している範囲よりも広い場合は、境目が表示領域内に描画される可能性がある。図２３は、２つの撮像部２１を備える第１の変形例の実施形態において、表示画角が変更された場合の見え方について説明する図である。なお、図２３においては、説明の便宜上、動径方向にずれて表示されているが、実際は同一球体上にマッピングされる点に留意されたい。

図２３（Ａ）は、第１の半球画像ＩＡ、第２の半球画像ＩＢの順で描画した例において、表示画角が小さい場合の切り出し方を例示する。この順番で描画された球体オブジェクトをその中心から、充分に小さな画角で仮想カメラＶから見た場合、仮想カメラの視野全体には、第２の半球画像ＩＢが写り、つなぎ目の無い画像が表示されることになる。

図２３（Ｂ）は、図２３（Ａ）と同一の描画順番で描画された状態で、ユーザ操作によって表示画角が大きく変更された状態を表している。図２３（Ａ）および図２３（Ｂ）の状態では、画像間の境目は表示領域内に描画されていない。図２３（Ｃ）は、さらに表示画角が大きく変更された状態を表している。図２３（Ｃ）の状態では、画像ＩＡ，ＩＢ間の境目Ｔが表示領域内に描画されてしまう。この状態では、第２の半球画像ＩＢ、第１の半球画像ＩＡの順で描画するように描画順序を入れ替えても、今度は、反対側の境界Ｔ’が見えることになる。

なお、その場合、例えば、表示画角の変更時に境界が見えない画角に制限してもよいし、閲覧方向変更時に、境界が見えない位置で制限してもよいし、見えないように画角を狭めて制限してもよい。

（第２の変形例）
以下、図２４～図２６を参照しながら、第２の変形例の実施形態について説明する。上述までの実施形態では、複数の撮像部２１が、水平面内で中心から所定距離だけ離間して９０度ずらして、かつ、水平方向で９０度向きを変えて配置される実施形態を説明した。しかしながら、他の実施形態では、すべてまたは一部の撮像部２１が、水平方向以外の方向を向いてもよい。図２４～図２６は、それぞれ斜め上方向に向けられた４つの撮像部２１を備える全天球撮影装置２０を示す。

図２４は、第２の変形例の実施形態による全天球撮影装置２０を説明する図である。図２４（Ａ）は、全天球撮影装置２０の上面図を示し、図２４（Ｂ）は、４つの撮像部２１のうちの対角に配置される２つの撮像部２１Ａ，２１Ｃを通る垂直面での２つの撮像部２１Ａ，２１Ｃの撮像範囲を示す図である。４つの撮像部２１Ａ，２１Ｂ，２１Ｃ，２１Ｄは、保護帽２３の頭頂部を中心として、保護帽２３の側面部まわりに９０度向きを変えながら一周するように固定フレーム２４に固定されている。２つの撮像部２１Ａ，２１Ｃは、対角に配置され、互いに反対方向を向くものであるが、図２４（Ｂ）に示すように、水平方向から、所定の仰角ＥＡ，ＥＣで上に向けられており、それぞれ半球状の範囲ＣＡ，ＣＣを撮影するよう構成されている。仰角ＥＡ，ＥＣは、死角を減らしつつ、保護帽２３の装着者の体等の写りみを低減する観点からは、典型的には、１０～３０度の範囲とすることができる。対角に配置される２つの撮像部２１Ｂ，２１Ｄについても同様であり、それぞれ、所定の仰角で斜め上に向けられている。

なお、ここでは、「水平面」、「水平方向」および「仰角」という用語を使用したが、複数の撮像部２１が配置される面が水平面となるように全天球撮影装置２０が置かれたとした場合を想定しており、実際の使用時には、頭や保護帽２３の傾きが当然に生じるため、必ずしも保護帽２３を使用する現実の世界における水平面および水平方向と一致するわけではないことに留意されたい。

各撮像部２１の画角は、１８０度を超えるので、第１の撮像部２１Ａにより撮像される範囲（実線）ＣＡと、対角の第３の撮像部２１Ｖにより撮像される範囲（点線）ＣＣとは、頭頂方向の範囲ＣＴＡＣにおいて重複する。なお、同様に対角に配置される２つの撮像部２１Ｂ，２１Ｄについても同様であり、頭頂方向の範囲において重複する。さらに、隣接する２つの撮像部（２１Ａと２１Ｂの組、２１Ｂと２１Ｃとの組、２１Ｃと２１Ｄとの組、２１Ｄと２１Ａとの組）間でも、水平方向での重複に加えて、頭頂方向でも重複する。

図２５および図２６は、第２の変形例の実施形態の複数の撮像部２１各々の撮像範囲および得られる画像を３次元的に示す模式図である。図２５および図２６には、第2の変形例の実施形態の複数の撮像部２１各々で撮像される画像ＩＡ、ＩＢ，ＩＣ，ＩＤが模式的に示されている。撮像部２１は、１８０度の画角の魚眼レンズを有するため、投影面は半球とみなすことができる。また、図２５において、符号Ｍで示すように、全球のうちの、下部が欠損した状態となっている。通常、保護帽２３の真下の方向は、保護帽２３を装着する装着者が存在するため、撮像する重要性は低く、むしろ、装着者が映り込むため、撮影しない方が好ましい。

第２の変形例の実施形態においても、画像変換描画部３６０は、４つの撮像部２１Ａ，２１Ｂ，２１Ｃ，２１Ｄによって得られた画像を、球体オブジェクトに貼り付けて、球体オブジェクトにマッピングされた画像を仮想カメラで透視投影として切り出すことによって、表示用の出力画像を生成する。上述した実施形態と同様に、画像変換描画部３６０は、４つの撮像部２１で撮像された複数の画像の中から、表示範囲に応じて、少なくとも使用する主要画像を切り替えながら、出力画像Ｓを生成する。また、より好ましい実施形態では、画像変換描画部３６０は、４つの撮像部２１で撮像された複数の画像それぞれを、所定の順序で重ねて球体オブジェクトにマッピングする。ここで、所定の順序は、主要画像が最後に描画されるような順序である。表示範囲に応じて描画順序を決定・切り替えることにより、描画順序が最も後の画像が主要画像として切り替えられることになる。また、撮像部２１の撮影方向が、斜め上向きなっていたとしても、画像変換描画処理等は、各撮像部２１の撮像方向を示すベクトルの値が異なるだけであり、図１～図１９を参照した実施形態から大きな変更はない。

（第３の変形例）
以下、図２７～図２９を参照しながら、第３の変形例の実施形態について説明する。上述までの実施形態では、複数の撮像部２１が、水平面内で中心から所定距離だけ離間して９０度ずらして、かつ、凡そ水平方向（水平方向または所定の仰角だけ上向いた方向）で９０度向きを変えて配置されるものであった。しかしながら、撮像方向の変化量は、９０度に限らず、また、水平方向から大きく外れた方向を向いていてもよい。図２７～図２９は、それぞれ水平面内で１２０度向きをずらして設けられた３つの撮像部２１Ａ～２１Ｃと、上方に向けられた追加の撮像部２１Ｄを備える全天球撮影装置２０を示す。

図２７は、第３の変形例の実施形態による全天球撮影装置２０を説明する図である。図２７は、全天球撮影装置２０の上面図を示す。３つの撮像部２１Ａ，２１Ｂ，２１Ｃは、互いに、保護帽２３の頭頂部を中心として、保護帽２３の側面部まわりに１２０度向きを変えながら一周するように固定フレーム２４に固定されている。３つの撮像部２１Ａ，２１Ｂ，２１Ｃそれぞれの撮影方向は、水平方向で外側を向いている。追加の撮像部２１Ｄも、固定フレーム２４の保護帽２３の後方側（前方側または頭頂部でもよい。）に設けられており、真上方向を向いている。

図２８および図２９は、第３の変形例の実施形態の複数の撮像部２１各々の撮像範囲および得られる画像を３次元的に示す模式図である。図２８および図２９には、第３の変形例の実施形態の複数の撮像部２１Ａ，２１Ｄ各々で撮像される画像ＩＡ、ＩＢ，ＩＣ，ＩＤが模式的に示されている。撮像部２１は、１８０度の画角の魚眼レンズを有するため、投影面は半球とみなすことができる。また、全球のうちの、上部が追加の撮像部２１Ｄにより優先的にカバーされており、この変形例は、上方の撮影範囲が重要な用途に好適である。

（その他種々の変形例）
以下、図３０および図３１を参照しながら、その他の種々な変形例の実施形態について説明する。上述したように複数の撮像部２１は、交互に上向きおよび下向きとなるように配置されてもよい。図３０（Ａ）は、それぞれ、所定の仰角および俯角で、斜め上向きおよび斜め下向きとなるように４つの撮像部２１Ａ～２１Ｄが交互に配置された第４の変形例の実施形態による全天球撮影装置２０を示す。図３０（Ａ）に示す実施形態では、第１の撮像部２１Ａにより撮像される範囲と、対角にある第３の撮像部２１Ｃにより撮像される範囲とは、下方において重複する。一方、第２の撮像部２１Ｂにより撮像される範囲と、対角にある第４の撮像部２１Ｄにより撮像される範囲とは、頭頂部において重複する。

図３０（Ｂ）は、所定の俯角で斜め下向きとなるように配置された４つの撮像部２１Ａ～２１Ｄと、追加の１つの撮像部２１Ｅとを備える第５の変形例の実施形態による全天球撮影装置２０を示す。追加の撮像部２１Ｅは、保護帽２３の頭頂部に設けられており、真上方向を向いている。全球のうちの、上部が追加の撮像部２１Ｅにより優先的にカバーされ、一方で、下部は、４つの撮像部２１Ａ～２１Ｄによって優先的にカバーされており、この変形例は、全方位の撮影範囲が重要な用途に好ましい。

図３１は、第６の変形例の実施形態による全天球撮影装置２０を示す。上述したように、楕円形であることが一般的なヘルメットなどの保護帽２３に装着することを前提とする場合は、複数の撮像部の光軸が１点で交わらない場合がある。図３１に示す第６の変形例の実施形態による全天球撮影装置２０は、所定の仰角（例えば１８度）で斜め上向きとなるように配置された４つの結像光学系２１２Ａ～２１２Ｄが、略９０度方向を変えながら固定フレーム２４に配置されている。なお、第６の変形例の実施形態による全天球撮影装置２０では、複数の撮像部は、固定フレーム２４と一体的に構成されている。保護帽２３の前後方向が楕円形の長軸に一致するとして、前方に配置される結像光学系の組（２１２Ａ,２１２Ｂ）が９０度をもって光軸ＯＰＡ，ＯＰＢを交差させ、後方に配置される結像光学系の組（２１２Ｃ,２１２Ｄ）が９０度をもって光軸ＯＰＣ，ＯＰＤを交差させるように構成されている。光軸ＯＰＡ，ＯＰＢの交点ＯＡＢと、光軸ＯＰＣ，ＯＰＤの交点ＯＣＤとは、所定の距離ＤＰだけ前後方向でずれている。なお、所定の仰角をもって配置されているため、光軸ＯＰＡ、光軸ＯＰＢおよび交点ＯＡＢの平面と、光軸ＯＰＣ、光軸ＯＰＤおよび交点ＯＣＤの平面とは異なり得る。

上述した変形例の実施形態に外にも、種々の変形例の実施形態が想定される。本実施形態による処理は、２以上の任意の数の撮像部が、それぞれ、外側に向けて異なる任意の方向を向くように配置され、好ましくは、複数の撮像部２１が、それぞれ少なくとも１つの他の撮像部２１と撮像範囲が重複しており、それぞれ少なくとも１つの他の画像との重複領域を有する複数の画像を生成するように構成される種々の構成に対して適用可能である。

以上説明したように、上述した実施形態によれば、画像加工をせずに複数の画像をまとめた画像として閲覧可能とする装置、システム、方法およびプログラムを提供することができる。

なお、上記で説明した実施形態の各機能は、１または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。また、プログラムを記録媒体に保存することによって、複数台のコンピュータにインストールすることが可能となり、本実施形態による画像表示機能を使用することが可能となる。

以上、本発明の実施形態および実施例について説明してきたが、本発明の実施形態および実施例は上述した実施形態および実施例に限定されるものではなく、他の実施形態、他の実施例、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

本明細書は、さらに、下記構成も開示する。
（付記１）
撮像方向が異なる複数の画像に基づく表示画像を出力する出力部と、
前記表示画像における表示範囲の指定を受け付ける受付部と、
前記表示範囲および前記複数の画像各々の撮像方向に基づいて、前記複数の画像の中から、前記表示画像に使用する画像を決定する決定部と、
前記決定された使用する画像と前記表示範囲とに基づいて前記表示画像を生成する生成部と
を含む、画像表示装置。
（付記２）
前記生成部は、少なくとも前記使用する画像を張り付けた三次元オブジェクトを投影処理することによって前記表示画像を生成する、付記１に記載の画像表示装置。
（付記３）
前記決定部は、前記撮像方向および前記表示範囲に基づいて、前記複数の画像の描画順序を決定し、前記使用する画像は、前記描画順序において最も前景に描画される画像である、付記１または２に記載の画像表示装置。
（付記４）
前記表示範囲は、少なくとも仮想カメラの向きによって規定されており、前記画像表示装置は、
前記複数の画像各々の前記撮像方向に基づく撮像方向ベクトルと、前記表示範囲を規定する仮想カメラの向きベクトルとの内積を算出する算出部
をさらに含み、前記描画順序は、前記複数の画像各々について算出された前記内積の大きさに従う、付記３に記載の画像表示装置。
（付記５）
前記表示範囲は、仮想カメラの向きおよび表示画角によって規定されており、前記画像表示装置は、
前記複数の画像各々の前記撮像方向に基づく撮像方向ベクトルと、前記表示範囲を規定する前記仮想カメラの向きベクトルとの内積を算出する算出部と、
前記複数の画像各々について算出された前記内積の大きさに基づいて、前記指定にかかる前記表示範囲が表示制限範囲内にあるか否かを判定する制限判定部と
をさらに含む、付記１～３のいずれか１項に記載の画像表示装置。
（付記６）
前記表示範囲が前記表示制限範囲内にあるか否かは、前記表示範囲の変更に応答して、前記表示範囲の表示画角および前記使用する画像の撮像画角に基づき判定され、前記表示範囲が表示制限範囲内にない場合は、少なくとも前記表示範囲が前記表示制限範囲へ向けて修正される、付記５に記載の画像表示装置。
（付記７）
前記複数の画像は、それぞれ、広角画像または魚眼画像、または、前記広角画像または魚眼画像に基づく球状画像であり、少なくとも１つの他の画像との重複領域を有する、付記１～６のいずれか１項に記載の画像表示装置。
（付記８）
撮影表示システムであって、
それぞれ、少なくとも１つの他の撮像部と視野を重複しながら撮像し、複数の画像を生成する複数の撮像部と、
表示範囲の指定を受け付ける受付部と、
前記複数の画像各々の撮像方向および前記表示範囲に基づいて、生成された前記複数の画像の中から、表示に使用する画像を決定する決定部と、
前記表示範囲および前記使用する画像に基づく表示画像を出力する出力部と
を含む、撮影表示システム。
（付記９）
前記複数の撮像部は、互いに離間して放射状に配置されている、付記８に記載の撮影表示システム。
（付記１０）
前記撮像部は、それぞれ、円周魚眼レンズを有する、付記８または９に記載の撮影表示システム。
（付記１１）
画像表示装置が実行する画像表示方法であって、
前記画像表示装置は、撮像方向が異なる複数の画像に基づく表示画像を出力するよう構成され、
前記表示画像における表示範囲の指定を受け付ける受付工程と、
前記表示範囲および前記複数の画像各々の撮像方向に基づいて、前記複数の画像の中から、前記表示画像に使用する画像を決定する決定工程と、
前記決定された使用する画像と前記表示範囲とに基づいて前記表示画像を生成する画像生成工程と
を含む、画像表示方法。
（付記１２）
コンピュータを、
撮像方向が異なる複数の画像に基づく表示画像を出力する出力部、
前記表示画像における表示範囲の指定を受け付ける受付部、
前記表示範囲および前記複数の画像各々の撮像方向に基づいて、前記複数の画像の中から、前記表示画像に使用する画像を決定する決定部、および
前記決定された使用する画像と前記表示範囲とに基づいて前記表示画像を生成する画像生成部
として機能させるためのプログラム。

１…撮影表示システム、２…ネットワーク、１０…情報端末、２０…全天球撮影装置、２１…撮像部、２３…保護帽、２４…固定フレーム、５０…管理システム、２１１…撮像体、２１２…結像光学系、２１３…撮像素子、２１５…コントローラ、２１９…筐体、３００，３１０，３５０…機能ブロック、３１２…撮像処理部、３１４…画像処理部、３１６…画像圧縮部３、３１８…送信部、３２０…射影変換情報記憶部、３５２…受信部、３５４…画像取得部、３５６…射影変換情報取得部、３５８…変換テーブル生成部、３６０…画像変換描画部、３６２…決定部、３６３…算出部、３６４…画像生成部、３６５…制限判定部、３６６…表示範囲指定受付部、３６８…表示部、４００…画面、４１０…画像表示領域、４２２，４２４…ＧＵＩ部品

特許第３２９０９９３号公報 特開２０１９－０８０１７４号公報

Claims (24)

1. 表示画像を作成する生成部を有し、
   前記生成部は、撮像方向が異なる少なくとも２つの画像を、前記少なくとも２つの画像の撮像方向に基づいて所定の三次元形状に貼り付けることで、前記少なくとも２つの画像のそれぞれの撮像画角よりも広い画角となる仮想画像を作成し、該仮想画像を仮想カメラにより透視投影処理することによって平面画像を生成し、
   前記少なくとも２つの画像は、互いの撮影範囲において重複する範囲を有しており、
   前記生成部は、
   前記重複する範囲が重なるように、前記少なくとも２つの画像を前記所定の三次元形状に貼り付けることで前記仮想画像を生成し、
   前記仮想カメラの向き、または前記仮想カメラの画角に応じて、前記少なくとも２つの画像のうち、前記仮想カメラの側からみた最前面に配置される画像を決定し、前記最前面に配置される画像に基づいて前記平面画像を生成し、該平面画像を、前記表示画像とする、
   装置。
2. 前記生成部は、前記少なくとも２つの画像を撮影した撮像装置が同じ位置にあるものとして、所定の三次元形状に貼り付ける、請求項１に記載の装置。
3. 前記表示画像における表示範囲の変更を受け付ける受付部を有し、
   前記受付部は、前記仮想カメラの向き、または前記仮想カメラの画角を変更することで、前記表示範囲の変更を行う、請求項１または２に記載の装置。
4. 前記生成部は、
   前記少なくとも２つの画像の前記撮像方向に基づく撮像方向ベクトルと、前記仮想カメラの向きの向きベクトルとの内積を算出し、前記少なくとも２つの画像各々について算出された前記内積の大きさに基づき、前記少なくとも２つの画像を重ね合わせる、請求項１～３のいずれか１項に記載の装置。
5. 前記少なくとも２つの画像各々について算出された前記内積の大きさに基づき、表示範囲が表示制限範囲内にあるか否かを判定する、請求項４に記載の装置。
6. 前記表示範囲が前記表示制限範囲内にあるか否かは、前記表示範囲の表示画角および前記少なくとも２つの画像のうちの使用する画像の撮像画角に基づき判定され、前記表示範囲が前記表示制限範囲内にない場合は、前記表示範囲が前記表示制限範囲となるよう修正される、請求項５に記載の装置。
7. 前記少なくとも２つの画像は、それぞれ、広角画像または魚眼画像、または、前記広角画像または魚眼画像に基づく球状画像である、請求項１～６のいずれか１項に記載の装置。
8. 請求項１～７のいずれか１項に記載の装置と、前記表示画像を表示するための表示部とを有するシステム。
9. 請求項１～７のいずれか１項に記載の装置と、前記少なくとも２つの画像を撮像する撮影装置とを有するシステム。
10. 請求項１～７のいずれか１項に記載の装置と、記表示画像を表示するための表示部と、前記少なくとも２つの画像を撮像する撮影装置とを有するシステム。
11. 表示画像を作成する方法であって、
    撮像方向が異なる少なくとも２つの画像を、前記少なくとも２つの画像の撮像方向に基づいて所定の三次元形状に貼り付けることで、前記少なくとも２つの画像のそれぞれの撮像画角よりも広い画角となる仮想画像を作成ステップであって、前記少なくとも２つの画像は、互いの撮影範囲において重複する範囲を有しており、前記重複する範囲が重なるように、前記少なくとも２つの画像を前記所定の三次元形状に貼り付けることで前記仮想画像を作成するステップと、
    前記仮想画像を仮想カメラにより透視投影処理することによって平面画像を生成するステップであって、前記仮想カメラの向き、または前記仮想カメラの画角に応じて、前記少なくとも２つの画像のうち、前記仮想カメラの側からみた最前面に配置される画像を決定し、前記最前面に配置される画像に基づいて、前記表示画像として、前記平面画像を生成するステップと
    を含む、方法。
12. 前記作成するステップでは、前記少なくとも２つの画像を撮影した撮像装置が同じ位置にあるものとして、所定の三次元形状に貼り付ける、請求項１１に記載の方法。
13. 前記方法は、
    前記表示画像における表示範囲の変更を受け付けるステップを
    をさらに含み、前記表示範囲の変更は、前記仮想カメラの向き、または前記仮想カメラの画角を変更することによって行われる、請求項１１または１２に記載の方法。
14. 前記生成するステップは、
    前記少なくとも２つの画像の前記撮像方向に基づく撮像方向ベクトルと、前記仮想カメラの向きの向きベクトルとの内積を算出するステップと、
    前記少なくとも２つの画像各々について算出された前記内積の大きさに基づき、前記少なくとも２つの画像を重ね合わせるステップと
    を含む、請求項１１～１３のいずれか１項に記載の方法。
15. 前記方法は、
    前記少なくとも２つの画像各々について算出された前記内積の大きさに基づき、表示範囲が表示制限範囲内にあるか否かを判定するステップ
    をさらに含む、請求項１４に記載の方法。
16. 前記表示範囲が前記表示制限範囲内にあるか否かは、前記表示範囲の表示画角および前記前記少なくとも２つの画像のうちの使用する画像の撮像画角に基づき判定され、前記表示範囲が前記表示制限範囲内にない場合は、前記表示範囲が前記表示制限範囲となるよう修正される、請求項１５に記載の方法。
17. 前記前記少なくとも２つの画像は、それぞれ、広角画像または魚眼画像、または、前記広角画像または魚眼画像に基づく球状画像である、請求項１１～１６のいずれか１項に記載の方法。
18. 装置を実現するためのプログラムであって、コンピュータを、
    表示画像を作成する生成部
    として機能させるためのものであり、
    前記生成部は、撮像方向が異なる少なくとも２つの画像を、前記少なくとも２つの画像の撮像方向に基づいて所定の三次元形状に貼り付けることで、前記少なくとも２つの画像のそれぞれの撮像画角よりも広い画角となる仮想画像を作成し、該仮想画像を仮想カメラにより透視投影処理することによって平面画像を生成し、
    前記少なくとも２つの画像は、互いの撮影範囲において重複する範囲を有しており、
    前記生成部は、
    前記重複する範囲が重なるように、前記少なくとも２つの画像を前記所定の三次元形状に貼り付けることで前記仮想画像を生成し、
    前記仮想カメラの向き、または前記仮想カメラの画角に応じて、前記少なくとも２つの画像のうち、前記仮想カメラの側からみた最前面に配置される画像を決定し、前記最前面に配置される画像に基づいて前記平面画像を生成し、該平面画像を、前記表示画像とする、プログラム。
19. 前記生成部は、前記少なくとも２つの画像を撮影した撮像装置が同じ位置にあるものとして、所定の三次元形状に貼り付ける、請求項１８に記載のプログラム。
20. 前記プログラムは、前記コンピュータを、前記表示画像における表示範囲の変更を受け付ける受付部としてさらに機能させ、
    前記受付部は、前記仮想カメラの向き、または前記仮想カメラの画角を変更することで、前記表示範囲の変更を行う、請求項１８または１９に記載のプログラム。
21. 前記生成部は、
    前記少なくとも２つの画像の前記撮像方向に基づく撮像方向ベクトルと、前記仮想カメラの向きの向きベクトルとの内積を算出し、前記少なくとも２つの画像各々について算出された前記内積の大きさに基づき、前記少なくとも２つの画像を重ね合わせる、請求項１８～２０のいずれか１項に記載のプログラム。
22. 前記少なくとも２つの画像各々について算出された前記内積の大きさに基づき、表示範囲が表示制限範囲内にあるか否かを判定する、請求項２１に記載のプログラム。
23. 前記表示範囲が前記表示制限範囲内にあるか否かは、前記表示範囲の表示画角および前記前記少なくとも２つの画像のうちの使用する画像の撮像画角に基づき判定され、前記表示範囲が前記表示制限範囲内にない場合は、前記表示範囲が前記表示制限範囲となるよう修正される、請求項２２に記載のプログラム。
24. 前記前記少なくとも２つの画像は、それぞれ、広角画像または魚眼画像、または、前記広角画像または魚眼画像に基づく球状画像である、請求項１８～２３のいずれか１項に記載のプログラム。

Images