JP2016103248A - 画像提供システムおよび画像提供方法 - Google Patents

Abstract

【課題】複数の画像の中から被写体が含まれる区間の一連の画像を簡単な操作で表示することを目的とする。【解決手段】サーバは、表示端末が指定した被写体に関する情報に基づいて、前記被写体の位置を特定する特定部と、前記被写体を撮影した撮影位置と前記被写体の位置とに基づいて、前記被写体を含む区間の一連の周囲画像を特定する特定データを生成する生成部と、前記特定データを前記表示端末に送信する送信部と、を備え、前記表示端末は、複数の周囲画像が記憶される記憶装置から、前記特定データに基づいて、前記被写体を含む区間の一連の周囲画像を抽出する抽出部と、前記特定データに基づいて、前記抽出部が抽出した一連の周囲画像のうち前記被写体の画像を表示する表示部と、を備える。【選択図】図１

Description

本発明は、画像提供システムおよび画像提供方法に関する。

被写体の画像に撮影位置の位置情報を関連付けて、表示する被写体の画像を特定し、特定された被写体の画像を表示する技術がある。例えば、撮影位置と画像データとを関連付けて格納するデータベースから所望の検索対象物が写り込んでいる画像を検索する技術が提案されている。

また、コラージュを作成するために、デジタル画像の自動アノテーションのための、および画像をスラッチするための場所データに基づいて、デジタル画像により取得されたオブジェクトを識別する技術が提案されている（例えば、特許文献１および２参照）。

国際公開第２０１３／１１４４７３号公報 特表２０１０−５０９６６８号公報

１つの側面として、本発明は、複数の画像の中から被写体を捉えた区間の一連の画像を簡単な操作で表示することを目的とする。

１つの態様では、画像提供システムは、サーバと表示端末とを含む画像提供システムであって、前記サーバは、前記表示端末が指定した被写体に関する情報に基づいて、前記被写体の位置を特定する特定部と、前記被写体を撮影した撮影位置と前記被写体の位置とに基づいて、前記被写体を含む区間の一連の周囲画像を特定する特定データを生成する生成部と、前記特定データを前記表示端末に送信する送信部と、を備え、前記表示端末は、複数の周囲画像が記憶される記憶装置から、前記特定データに基づいて、前記被写体を含む区間の一連の周囲画像を抽出する抽出部と、前記特定データに基づいて、前記抽出部が抽出した一連の周囲画像のうち前記被写体の画像を表示する表示部と、を備える。

１つの側面によれば、複数の画像の中から被写体を捉えた区間の一連の画像を簡単な操作で表示することができる。

画像提供システムの一例を示す図である。 車両に搭載したカメラと視野との関係の一例を示す図である。 車両に含まれる制御部の一例を示す機能ブロック図である。 車載画像メタデータの一例を示す図である。 制御部が行う処理の一例を示すフローチャートである。 画像蓄積サーバおよびメタデータサーバの処理の一例を示すフローチャートである。 表示端末と画像検索サーバとが行う処理の一例を示すシーケンスチャートである。 合成画像メタデータの生成の一例を示すフローチャートである。 車載画像メタデータの区間の一例を示す図である。 被写体を囲うバウンディングボックスの一例を示す図である。 被写体を含むポリゴンデータの一例を示す図である。 車載画像メタデータと合成映像メタデータとの関係の一例を示す図である。 合成画像メタデータの一例を示す図である。 選択画面の一例を示す図である。 視野を設定して表示する処理の一例を示すフローチャートである。 テクスチャが設定された全周囲画像の一例を示す図である。 被写体を捉えた画像の一例を示す図である。 視点、視野を変更した場合の仮想カメラの仮想視野の一例を示す図である。 表示部に表示される動画の一例を示す図である。 可視性に基づく画像選択を行うための画面例を示す図である。 画像検索サーバのハードウェア構成の一例を示す図である。 表示端末のハードウェア構成の一例を示す図である。

＜発明者の知見＞
例えば、全周囲を撮影可能なカメラを搭載した車両が移動しながら所定のタイミングで全周囲画像の撮影を行う。従って、カメラが撮影する全周囲画像は、異なる位置で撮影した画像になる。車両が被写体の近傍を通過しながら撮影を行う場合、被写体が含まれる全周囲画像は一連の全周囲画像になる。

ユーザの端末（以下、表示端末と称する）が全周囲画像のうち車両の進行方向の視野の画像を表示するように設定されている場合、被写体が全周囲画像に含まれていたとしても、表示端末には被写体が表示されない場合がある。例えば、車両の進行方向に対して後方に被写体がある場合には、全周囲画像に被写体が含まれていたとしても、表示端末には被写体が表示されない。

この場合、ユーザは、表示端末を操作して、手動で視野を設定する。これにより、表示端末は、車両の進行方向に対して後方の被写体を表示することができ、表示端末は、被写体を中心に捉えたカメラワークで撮影した被写体を表示することができる。ただし、この場合、ユーザの手動操作により被写体を中心に捉えたカメラワークで被写体を表示するため、操作性が煩雑になる。

また、被写体の動画再生を行う場合、視野を手動で設定しながら、被写体を中心に捉えたカメラワークで動画再生を行うことは難しい。従って、被写体を含む区間の一連の周囲画像のうち被写体を中心に捉えたカメラワークの画像は、ユーザによる視野設定の操作が行われることなく、表示されることが望ましい。

＜画像提供システムの全体構成の一例＞
以下、図面を参照して、実施形態について説明する。図１は、画像提供システム１の一例を示している。画像提供システム１において、複数の車両２（２Ａ、２Ｂ、・・・）と画像蓄積サーバ３と画像検索サーバ４とメタデータサーバ５と地図サーバ６と表示端末７とがネットワーク８を介して接続されている。

車両２は、例えば自動車である。車両２は、全周囲を撮影可能なカメラを搭載している。実施形態では、複数の車両２は移動しながら、所定のタイミングで全周囲を視野とする全周囲画像を撮影する。複数の車両２が移動しながら全周囲画像を撮影しているため、異なる車両２が同じ被写体を撮影することがある。

各車両２は、所定のタイミングで、ネットワーク８を介して、撮影した全周囲画像に画像ＩＤを付与して画像蓄積サーバ３に送信する。なお、ＩＤはIdentificationの略称である。また、各車両２は、ネットワーク８を介して、撮影した全周囲画像に関するデータ（以下、車載画像メタデータと称する）をメタデータサーバ５に送信する。

画像蓄積サーバ３は、各車両２から送信される全周囲画像を画像ＩＤと関連付けて記憶する。また、画像蓄積サーバ３は、表示端末７から指定された被写体を含む一連の全周囲画像を抽出して、表示端末７に送信する。画像蓄積サーバ３は、記憶装置の一例である。

画像検索サーバ４は、サーバ通信部１１と被写体位置特定部１２と合成画像メタデータ生成部１３と演算部１４とを備える。画像検索サーバ４は、サーバの一例である。サーバ通信部１１は、ネットワーク８との間でデータの通信を行う。サーバ通信部１１は、送信部の一例である。

被写体位置特定部１２は、指定された被写体の位置を特定する。実施形態では、被写体位置特定部１２は、表示端末７から送信された被写体に関するキーワードに基づいて、地図サーバ６からキーワードに対応する被写体の位置を特定する。被写体位置特定部１２は、特定部の一例である。

合成画像メタデータ生成部１３は、合成画像メタデータを生成する。合成画像メタデータは、車載画像メタデータの一連の全周囲画像のうち、表示端末７が指定した被写体を含む区間の全周囲画像を特定するデータである。合成画像メタデータは、特定データの一例である。また、合成画像メタデータ生成部１３は、生成部の一例である。

実施形態では、周囲画像に被写体が含まれるか否かは、被写体の位置と撮影位置との距離が所定の閾値以下であるか否かに基づいて判定される。ただし、周囲画像に被写体が含まれているか否かの判定基準は、上記の例には限定されない。

演算部１４は、合成画像メタデータに含まれる各パラメータの値を演算する。例えば、演算部１４は、上述した撮影位置と被写体の位置との間の距離を演算する。また、演算部１４は、撮影位置から見た被写体の位置の方位や仰角等を演算する。

メタデータサーバ５は、上述した車載画像メタデータおよび合成画像メタデータを記憶する。メタデータサーバ５は、複数の車載画像メタデータおよび複数の合成画像メタデータを記憶する。

地図サーバ６は、地図上の位置とキーワードとを対応付けて記憶している。キーワードは、被写体を特定する情報である。例えば、キーワードは、施設の名称や住所等であってもよい。地図上の位置は、例えば、経度と緯度とにより特定されてもよい。また、地図サーバ６が記憶する地図は３次元地図であってもよい。

表示端末７は、ユーザが所有する端末である。例えば、パーソナルコンピュータやスマートフォン、携帯電話、タブレット端末等であってもよい。表示端末７は、端末通信部２１と画像抽出部２２と視野設定部２３と画像処理部２４と表示部２５とを備える。

端末通信部２１は、ネットワーク８を介して通信を行う。画像抽出部２２は、被写体を含む区間の合成画像メタデータに基づいて、画像蓄積サーバ３から複数の全周囲画像の抽出を行う。

視野設定部２３は、画像検索サーバ４から受信する合成画像メタデータに基づいて、全周囲画像の中での視野（仮想視野とも称することがある）を設定する。画像処理部２４は、全周囲画像のうち視野設定部２３が設定した視野の画像を生成する処理を行う。

表示部２５は、画像処理部２４が処理した画像を表示する。例えば、表示部２５は、タッチパネルディスプレイであってもよい。表示部２５がタッチパネルディスプレイの場合、表示部２５は操作機能を有する。表示端末７が不図示の操作手段（例えば、ボタン等）を有する場合、表示部２５は操作機能を有しなくてもよい。

図１の例では、画像蓄積サーバ３と画像検索サーバ４とメタデータサーバ５とを別個のサーバとして設けているが、これらのサーバを１つのサーバとしてもよい。例えば、画像検索サーバ４が画像蓄積サーバ３およびメタデータサーバ５の機能を有していてもよい。

＜車両の一例＞
図２は、全周囲を撮影可能なカメラを搭載した車両２の一例を示している。車両２の前後左右にはカメラＣ１〜Ｃ４が設けられている。カメラＣ１〜Ｃ４に対応する視野をＶ１〜Ｖ４とする。

カメラＣ１〜Ｃ４はそれぞれ広角レンズを用いており、視野Ｖ１〜Ｖ４は３次元的に広い範囲となる。視野Ｖ１および視野Ｖ４は、視野Ｖ２および視野Ｖ２およびＶ３と重なる視野範囲となる。カメラＣ１〜Ｃ４が撮影した画像を合成すると、車両２を中心とした全周囲を視野とした全周囲画像が生成される。

実施形態では、全周囲画像は、カメラＣ１〜Ｃ４が撮影した４チャンネルの画像に基づいて生成することができる。ただし、全周囲画像を生成する図２の例には限定されない。例えば、３６０度全天周レンズを用いた１台のカメラを車両２の屋根に設置して、このカメラが全周囲画像を撮影してもよい。

また、実施形態では、車両２に搭載するカメラにより生成される画像は全周囲画像であるものとして説明するが、全周囲画像には限定されない。例えば、車両２に搭載したカメラは３５０度の周囲画像を撮影してもよい。

図３は、車両２に含まれる制御部３０の一例を示している。カメラＣ１〜Ｃ４が撮影した画像は、時刻同期がされている。時刻同期がされた４枚の画像は、一次記憶部３１に記憶される。一次記憶部３１は、例えばメモリ等であってもよい。

時刻同期がされた４枚の画像は、合成されているか否かにかかわらず、全周囲画像と称する。実施形態では、表示端末７の画像処理部２４で画像処理がされるまで、全周囲画像は合成されていない画像であるものとする。ただし、時刻同期された４枚の画像は、制御部３０で合成されてもよい。

圧縮符号化部３２は、一次記憶部３１から全周囲画像を読み出して、読み出した全周囲画像を圧縮符号化する。例えば、全周囲画像の４枚の画像（解像度：６４０×４８０）のそれぞれについて、時刻が異なる４枚の全周囲画像を１つにした全周囲画像（解像度：１２８０×９６０）に対して、圧縮符号化部３２は、圧縮符号化を行ってもよい。圧縮符号化には、例えば、Ｈ．２６４等を適用してもよい、圧縮符号化部３２が圧縮符号化を行った全周囲画像は、車載記憶部３６に記憶される。

時刻計測部３３は、時刻を計測する。位置情報取得部３４は、現在位置の情報を取得する。例えば、位置情報取得部３４は、Global Positioning System(GPS)であってもよい。位置情報取得部３４と一次記憶部３１が記憶する全周囲画像とは時刻同期がされている。

車載画像メタデータ生成部３５は、車載画像メタデータを生成する。車載画像メタデータは、カメラＣ１〜Ｃ４が撮影した全周囲画像に関するデータである。図４の例に示される車載画像メタデータは、画像ＩＤ、撮影時刻、撮影位置、カメラ固有情報およびカメラ設置情報等のパラメータを含む。

画像ＩＤは、全周囲画像を特定する識別子である。撮影時刻は、カメラＣ１〜Ｃ４が撮影を行ったときに時刻計測部３３が計測した時刻である。撮影位置は、全周囲画像を取得したときに位置情報取得部３４が取得する位置情報である。

カメラ固有情報は、カメラＣ１〜Ｃ４の解像度やレンズ歪み等に関する情報である。カメラ設置情報は、カメラＣ１〜Ｃ４の設置位置や姿勢等に関する情報である。カメラ固有情報およびカメラ設置情報は、既知の情報である。

車載画像メタデータは、図４の例に示されたパラメータ以外のパラメータを有していてもよい。車両２に搭載されたカメラＣ１〜Ｃ４は、所定のタイミングで全周囲画像を撮影する。車載画像メタデータ生成部３５は、全周囲画像が生成されるごとに、それぞれ固有の画像ＩＤを付与して、車載画像メタデータを生成する。

車載画像メタデータの画像ＩＤと該画像ＩＤに対応する全周囲画像とは関連付けがされて、車載記憶部３６に記憶される。車両通信部３７は、所定のタイミングごとに、車載画像メタデータをメタデータサーバに送信し、全周囲画像を画像蓄積サーバ３に送信する。

なお、車載記憶部３６に記憶されている全周囲画像および車載画像メタデータのうち、送信済みの情報は削除されることが望ましい。これにより、車載記憶部３６に記憶される情報量を削減することができる。

＜制御部の処理の一例を示すフローチャート＞
次に、制御部３０の各部が行う処理のフローチャートについて、図５を参照して説明する。車両２に搭載されたカメラＣ１〜Ｃ４は撮影を行う（ステップＳ１）。カメラＣ１〜Ｃ４が撮影した４枚の画像は一次記憶部３１に記憶される。

これら４枚の画像は時刻同期がされており、一次記憶部３１には、カメラＣ１〜Ｃ４が撮影した画像が記憶される（ステップＳ２）。上述したように、実施形態では、時刻同期された４枚の画像を総称して全周囲画像と称する。

圧縮符号化部３２は、全周囲画像の圧縮符号化を行う（ステップＳ３）。制御部３０は、圧縮符号化された全周囲画像に対して画像ＩＤを付与する（ステップＳ４）。制御部３０は画像ＩＤが付与された全周囲画像を車載記憶部３６に記憶する（ステップＳ５）。

ステップＳ１〜Ｓ５の処理と並行して、以下のステップＳ６〜Ｓ９の処理が行われる。位置情報取得部３４は、カメラＣ１〜Ｃ４が撮影したときの位置情報を取得する（ステップＳ６）。車載画像メタデータ生成部３５は、時刻計測部３３が計測した時刻と位置情報取得部３４が取得した位置情報とを関連付ける（ステップＳ７）。

車載画像メタデータ生成部３５は、位置情報取得部３４から取得した位置情報に対応する画像ＩＤを取得する（ステップＳ８）。これにより、時刻情報と位置情報とを含む車載画像メタデータが全周囲画像と関連付けられて車載記憶部３６に記憶される（ステップＳ９）。

車両２は移動しながら、カメラＣ１〜Ｃ４を用いて、所定タイミングで撮影を行う。従って、異なる地点で撮影された経時的な一連の全周囲画像が生成される。そして、時刻ごとに、全周囲画像と車載画像メタデータとは関連付けられて車載記憶部３６に記憶される。

車両通信部３７は、画像蓄積サーバ３とコネクションが確立されているか否かを判定する（ステップＳ１０）。コネクションが確立されている場合（ステップＳ１０でＹＥＳ）、車両通信部３７は全周囲画像を画像蓄積サーバ３に送信する（ステップＳ１１）。一方、コネクションが確立されていない場合（ステップＳ１０でＮＯ）、全周囲画像は送信されない。

車両通信部３７は、メタデータサーバ５とコネクションが確立されているか否かを判定する（ステップＳ１２）。コネクションが確立されている場合（ステップＳ１２でＹＥＳ）、車両通信部３７は車載画像メタデータをメタデータサーバ５に送信する（ステップＳ１３）。一方、コネクションが確立されていない場合（ステップＳ１２でＮＯ）、車載画像メタデータは送信されない。

制御部３０は、送信済みの全周囲画像および車載画像メタデータを車載記憶部３６から削除してもよい。カメラＣ１〜Ｃ４は所定タイミングで撮影を行うため、全周囲画像および車載映像メタデータは、撮影を行うごとに増えていく。従って、制御部３０が送信済みの全周囲画像および車載画像メタデータを車載記憶部３６から削除することで、車載記憶部３６に記憶される情報量を削減することができる。

＜画像蓄積サーバおよびメタデータサーバの処理の一例＞
図６（Ａ）は、画像蓄積サーバ３の処理の一例を示している。画像蓄積サーバ３は、車両２の車両通信部３７との間でコネクションを確立しているか否かを判定する（ステップＳ２１）。

コネクションが確立されている場合（ステップＳ２１でＹＥＳ）、画像蓄積サーバ３は、車両通信部３７から全周囲画像を受信したか否かを判定する（ステップＳ２２）。画像蓄積サーバ３は、全周囲画像を受信したと判定した場合（ステップＳ２２でＹＥＳ）、受信した全周囲画像を画像ＩＤと関連付けて記憶する（ステップＳ２３）。これにより、画像蓄積サーバ３に全周囲画像が蓄積される。

画像蓄積サーバ３は、車両通信部３７との間でコネクションが確立されていない場合（ステップＳ２１でＮＯ）、または画像を受信しない場合（ステップＳ２２でＮＯ）、ステップＳ２３の処理を行わない。

図６（Ｂ）は、メタデータサーバ５の処理の一例を示している。メタデータサーバ５は、車両２の車両通信部３７との間でコネクションを確立しているか否かを判定する（ステップＳ２４）。

コネクションが確立されている場合（ステップＳ２４でＹＥＳ）、メタデータサーバ５は、車両通信部３７から車載映像メタデータを受信したか否かを判定する（ステップＳ２５）。メタデータサーバ５は、車載映像メタデータを受信したと判定した場合（ステップＳ２５でＹＥＳ）、受信した車載映像メタデータを記憶する（ステップＳ２３）。

メタデータサーバ５は、車両通信部３７との間でコネクションが確立されていない場合（ステップＳ２４でＮＯ）、または車載映像メタデータを受信しない場合（ステップＳ２５でＮＯ）、ステップＳ２６の処理を行わない。

＜表示端末と画像検索サーバとの間で行われる処理の一例＞
次に、表示端末７と画像検索サーバ４とが行う処理の一例について、図７のシーケンスチャートを参照して説明する。表示端末７のユーザは、対象となる被写体の情報を表示端末７に入力する。例えば、表示部２５が操作機能を有する場合、ユーザは、表示部２５を用いて、対象となる被写体の情報を入力する。

表示端末７は、入力された被写体（ユーザにより指定された被写体）の情報を画像検索サーバ４に送信する。実施形態では、ユーザにより指定された被写体の情報は、キーワードであるものとする。

キーワードは、上述したように、施設の名称や住所等であってもよい。従って、端末通信部２１は、入力されたキーワードを画像検索サーバ４に送信する（ステップＳＣ１）。なお、ユーザにより指定される被写体の情報は、キーワードには限定されない。例えば、被写体の情報は、被写体の経度および緯度を示す位置情報であってもよい。

画像検索サーバ４は、受信したキーワードを地図サーバ６に送信する。地図サーバ６は、キーワードに対応付けられている位置情報を画像検索サーバ４に送信する。これにより、画像検索サーバ４は、キーワードに基づく位置情報を取得する（ステップＳＣ２）。取得した位置情報は、ユーザにより指定された被写体の位置情報である。

画像検索サーバ４は、メタデータサーバ５に記憶されている複数の車載映像メタデータのうち、取得した位置情報（図４の例では撮影位置）を含む車載映像メタデータをメタデータサーバ５から抽出する（ステップＳＣ３）。抽出される車載映像メタデータは複数の場合もある。

画像検索サーバ４の合成画像メタデータ生成部１３は、車載映像メタデータから被写体を含む区間の画像を特定し、合成画像メタデータを生成する（ステップＳＣ４）。合成画像メタデータの生成の一例について、図８のフローチャートを参照して説明する。

演算部１４は、抽出された車載映像メタデータに含まれる撮影位置と被写体の位置との間の距離Ｄを算出する（ステップＳ３１）。距離Ｄは、２つの地点間の距離を算出する以下の式（１）を用いてもよい。

なお、以下の式（１）において、撮影位置は（経度ｘ１、緯度ｙ１）とし、被写体の位置は（経度ｘ２、緯度ｙ２）とする。撮影位置は、車載映像メタデータに含まれ、被写体の位置は、ステップＳＣ２で取得した位置情報により特定される。ｒは地球の赤道半径である。
「Ｄ＝ｒ×ｃｏｓ^−１（ｓｉｎ（ｙ１）×ｓｉｎ（ｙ２）＋ｃｏｓ（ｙ１）×ｃｏｓ（ｙ２）×ｃｏｓ（ｘ２−ｘ１））」・・・（式１）

次に、演算部１４は、上記の式（１）で得られた撮影位置と被写体の位置との距離Ｄが閾値Ｄｔｈ以下となる区間Ｔｓｅｇを算出する。区間Ｔｓｅｇは、全周囲画像に被写体が含まれている区間を示す。

図９は、車載画像メタデータのうち区間Ｔｓｅｇ（ハッチングを施した区間）を特定した一例を示している。撮影位置と被写体の位置との距離が短ければ、全周囲画像に被写体は鮮明に写る。一方、撮影位置と被写体の位置との距離が長ければ、全周囲画像に写る被写体の鮮明度は低下する。

そこで、全周囲画像に被写体が含まれるか否かを判定する基準を上記の閾値Ｄｔｈとする。閾値Ｄｔｈは任意の値が設定されてもよい。画像検索サーバ４に対して、閾値Ｄｔｈが入力されてもよい。

また、後述する図１０の被写体のバウンディングボックスＢＢが得られる場合には、車載画像メタデータに含まれるカメラ固有情報に基づいて、全周囲画像に被写体が所定画素以上で写るために必要な距離をＤｔｈとしてもよい。

図９の場合、時刻Ｔ１から始まる一連の全周囲画像のうち、時刻Ｔ４からＴ７の区間における撮影位置と被写体の位置とが「Ｄ≧Ｄｔｈ」を満たす区間である。時刻Ｔ３または時刻Ｔ８における全周囲画像にも被写体が含まれている可能性がある。ただし、図９の例では、時刻Ｔ３および時刻Ｔ８は「Ｄ≧Ｄｔｈ」を満たさないため、合成画像メタデータ生成部１３は、全周囲画像に被写体が含まれていないと判定する。

撮影位置は、図９の例に示すように、経時的に変化する。図９の例では、時刻Ｔ４においては、撮影位置は位置Ｐ４であり、時刻Ｔ５においては、位置Ｐ５である。つまり、車両２に搭載されたカメラＣ１〜Ｃ４が所定のタイミングで撮影を行うため、撮影したタイミングごとの一連の全周囲画像が生成される。

時刻Ｔにおける距離をＤｔとする。上記の式（１）は、Ｄｔ＝Ｆ（Ｘ、Ｐｔ）としてもよい。Ｘは、被写体の位置であり、Ｐｔは時刻ｔにおける撮影位置である。そして、時刻Ｔにおける距離Ｄｔは、上記の式（１）の関数Ｆにより求めることができる。

また、上述したように、「Ｄ≧Ｄｔｈ」となる開始時刻をＴｓ、終了時刻Ｔｅとすると、上記の区間Ｔｓｅｇは「Ｔｓ，Ｔｅ」として表すことができる。図９の例の場合、区間Ｔｓｅｇの開始時刻ＴｓはＴ４であり、終了時刻ＴｅはＴ７である。

図８の例に示すように、区間Ｔｓｅｇが算出された後、合成画像メタデータ生成部１３は、方位情報θを算出する（ステップＳ３３）。方位情報θは、撮影位置から被写体の位置を撮影したときの方位である。方位情報θは、例えば、以下の式（２）により得られる。なお、ｘ１、ｘ２、ｙ１およびｙ２は、上述した式（１）と同様である。
「θ＝９０−ａｒｃｔａｎ２（ｓｉｎ（ｘ２−ｘ１）、ｃｏｓ（ｙ１）×ｔａｎ（ｙ２）−ｓｉｎ（ｙ１）×ｃｏｓ（ｘ２−ｘ１））」・・・式（２）

これにより、撮影位置から見た被写体の方位情報θが得られる。車両２が移動するごとに撮影位置が変化するため、方位情報θも撮影位置によって変化する。撮影位置は撮影時刻によって変化するため、方位情報θも時刻によって変化する。従って、時刻ｔの方位情報θｔはθｔ＝Ｇ（Ｘ、Ｐｔ）として表すことができる。つまり、式（２）を関数Ｇとして表せば、θｔ＝Ｇ（Ｘ、Ｐｔ）となる。

演算部１４は、仰角情報φを算出する（ステップＳ３４）。仰角情報φは、水平面方向を基準とした被写体の仰角を示す。仰角情報φも時刻と共に変化するため、仰角情報φｔとすることができる。仰角情報φｔは、例えば、図１０の破線で示すバウンディングボックスＢＢに基づいて得ることができる。

仰角情報φｔは、被写体を３次元的に囲う直方体形状のバウンディングボックスＢＢが設定されている場合、バウンディングボックスＢＢの８つの頂点Ｂ１〜Ｂ８の中心座標Ｂｃに基づいて、以下の式（３）により得ることができる。なお、中心座標Ｂｃは（ｘｃ、ｙｃ、ｚｃ）とする。ｘｃ、ｙｘ、ｚｘは、バウンディングボックスＢＢのｘ軸、ｙ軸、ｚ軸の中心座標であることを示す。
「φｔ＝ａｒｃｔａｎ（ｚｃ／Ｄｔ）」・・・（式３）

演算部１４は、視野情報ＦＯＶを算出する（ステップＳ３５）。視野情報ＦＯＶは、図１０に一例として示すバウンディングボックスＢＢを規定する。視野情報ＦＯＶは、水平方向の視野角（ｆｏｖＨ）および垂直方向の視野角（ｆｏｖＶ）により規定される。

例えば、視野情報ＦＯＶは、バウンディングボックスＢＢをちょうど包含するように設定されてもよいし、固定値としてもよい。視野情報ＦＯＶが固定値の場合、演算部１４は視野情報ＦＯＶを求める演算は行わない。次に、演算部１４は、可視性Ｖを算出する（ステップＳ３６）。

可視性Ｖも、時刻ごとに変化するため、時刻ｔにおける可視性Ｖを可視性Ｖｔとする。可視性Ｖｔは、撮影位置から被写体の立体領域（例えば、バウンディングボックスＢＢ）が見える程度を示す。つまり、可視性Ｖｔは、時刻ｔにおける全周囲画像に写っている被写体の率を示す。

例えば、図１０に示すように、撮影位置（Ｐｔ）からバウンディングボックスＢＢに向けて所定の角度分解能で視線ベクトルを発したときの該視線ベクトルの本数をＮ本とする。図１１の例は、被写体を含むポリゴンデータの一例である。演算部１４は、視線ベクトルが被写体に衝突する率を演算する。演算部１４は、被写体のポリゴンにヒット（衝突）した総数がＭ本の場合、可視性Ｖｔを以下の式（４）で演算する。
「Ｖｔ＝Ｍ／Ｎ」・・・（式４）

例えば、撮影位置と被写体との間に何らかの遮蔽物があると、撮影位置から発した視線ベクトルのうち遮蔽物にヒットした視線ベクトルは、被写体にはヒットしない。このため、Ｍが低下するため、可視性Ｖｔも低下する。

演算部１４は、可視良好性Ｑを演算する（ステップＳ３７）。可視良好性Ｑは、ステップＳ３２で求められた区間Ｔｓｅｇにおける可視性Ｖｔから統合的に評価される値である。例えば、可視良好性Ｑは、以下の式（５）のように、区間Ｔｓｅｇにおける全ての可視性Ｖの平均値として演算してもよい。

なお、式（５）において、ｆｓは総フレーム数を示す。例えば、車載画像メタデータと合成映像メタデータとの関係の例を示す図１２の例の場合、区間Ｔｓｅｇにおける可視良好性Ｑは、以下の式（６）のようになる。
「Ｑ＝（Ｖ４＋Ｖ５＋Ｖ６＋Ｖ７）／４」・・・（式６）

以上により、図７のステップＳＣ４の処理が終了し、合成画像メタデータが生成される。図１２の例に示されるように、車載画像メタデータのうち、時刻Ｔ４からＴ７までの間が区間Ｔｓｅｇ（ハッチングを施してある区間）である。

演算部１４は、区間Ｔｓｅｇの間の方位θ４からθ７、仰角φ４からφ７、視野ＦＯＶ４からＦＯＶ７および可視性Ｖ４からＶ７を演算する。図１３は、合成画像メタデータに含まれるパラメータの一例である。

合成画像メタデータＩＤは、合成画像メタデータを識別する識別子である。画像ＩＤ、撮影時刻、撮影位置、カメラ固有情報およびカメラ設置情報は、合成画像メタデータを生成する元となる車載画像メタデータに含まれるデータである。

また、区間情報は、合成画像メタデータが区間Ｔｓｅｇの開始時刻および終了時刻を示す。上述したように、区間情報は「Ｔｓ、Ｔｅ」であるため、図１２の例の場合、区間情報は「Ｔ４、Ｔ７」になる。

合成画像メタデータ生成部１３は、区間Ｔｓｅｇに含まれる各時刻について、合成画像メタデータを生成する。図１２の例の場合、合成画像メタデータ生成部１３は、時刻Ｔ４からＴ７の４つの時刻について、合成画像メタデータを生成する。

上述したように、指定された被写体を含む複数の合成画像メタデータが生成されることがある。サーバ通信部１１は、生成された複数の合成画像メタデータをそれぞれ特定する合成画像メタデータＩＤをリスト形式で表示端末７に送信する（ステップＳＣ５）。表示端末７の端末通信部２１は、合成画像メタデータＩＤのリストを受信する。

表示端末７は、リストに含まれる合成画像メタデータＩＤで特定される複数の合成画像メタデータをメタデータサーバ５から取得する（ステップＳＣ６）。このために、端末通信部２１は、リストに含まれる合成画像メタデータＩＤをメタデータサーバ５に送信する。

メタデータサーバ５は、合成画像メタデータＩＤで特定される複数の合成画像メタデータを表示端末５に送信する。これにより、表示端末７は、複数の合成画像メタデータを取得する。

表示端末７は、取得した複数の合成画像メタデータのうち何れの合成画像メタデータを表示するかを選択する画面（以下、選択画面と称する）を表示する（ステップＳＣ７）。なお、表示端末７が受信した合成画像メタデータが１つの場合は、ステップＳＣ７の処理は行われなくてもよい。

図１４は、選択画面の一例を示している。選択画面は、１つの合成画像メタデータＩＤごとに、可視良好性Ｑを表示する。図１４の例では、１つの合成画像メタデータＩＤについて、撮影時刻とサムネイルとを表示している。

可視良好性Ｑは、区間Ｔｓｅｇにおける１つの全周囲画像についての可視性Ｖの統合的な評価値であり、動画表示したときの平均的な品質を示す。ユーザは、表示部２５に表示されている選択画面の中から所望の合成画像メタデータＩＤを選択する。従って、ユーザは、可視良好性Ｑの値が高い合成画像メタデータＩＤを選択することで、指定した被写体を含む高品質な動画を視聴することができる。

なお、図１４の例において、表示部２５は、可視良好性Ｑではなく、可視性Ｖの最大値を表示してもよい。この場合、ユーザは、合成画像メタデータＩＤで特定される複数の静止画のうち、可視性Ｖが高い静止画を選択することができる。これにより、表示部２５は、指定した被写体を含む高品質な静止画を表示することができる。

表示端末７の端末通信部２１は、選択された合成画像メタデータＩＤをメタデータサーバ５に送信する。メタデータサーバ５は、選択された合成画像メタデータを表示端末７に送信する。これにより、表示端末７は、選択された合成画像メタデータを取得する（ステップＳＣ８）。

図７の例に示すように、画像抽出部２２は、合成画像メタデータＩＤが選択されると、選択された合成画像メタデータＩＤに基づく一連の画像を画像蓄積サーバ３から抽出する（ステップＳＣ９）。合成画像メタデータは、画像ＩＤと区間情報とを含む。図１２の例では、区間情報は、時刻Ｔ４から時刻Ｔ７を示す情報になる。

従って、表示端末７は、選択された合成画像メタデータに含まれる画像ＩＤと区間情報とを画像蓄積サーバ３に送信する。画像蓄積サーバ３は、記憶している複数の全周囲画像のうち、画像ＩＤで特定される全周囲画像について、区間情報で特定される一連の全周囲画像を抽出する。画像蓄積サーバ３は、抽出した一連の全周囲画像を端末通信部２１に送信する。このときに抽出される一連の全周囲画像は、区間Ｔｓｅｇの一連の全周囲画像になる。

端末通信部２１は、区間Ｔｓｅｇの一連の全周囲画像を受信する。図７の例に示すように、表示端末７は、全周囲画像の中で視野を設定し、設定された視野で画像処理部２４が画像処理を行う。そして、画像処理された画像が表示部２５に表示される（ステップＳＣ１０）。

図１５は、ステップＳＣ８の処理の例を示す。表示端末７が受信する全周囲画像は、上述したように、カメラＣ１〜Ｃ４が撮影した４枚の画像である。画像処理部２４は、取得した全周囲画像を合成して、車両２を中心とした３次元曲面を設定する（ステップＳ４１）。３次元曲面は、例えば、ポリゴンで定義されてもよい。

画像処理部２４は、テクスチャの設定を行う（ステップＳ４２）。例えば、画像処理部２４は、合成画像メタデータに含まれるカメラ固有情報およびカメラ設置情報に基づいて、仮想空間に配置したカメラから３次元曲面のポリゴン頂点を向く視線ベクトルを算出する。

そして、画像処理部２４は、視線ベクトルに対応したカメラの画素位置をカメラ固有情報に基づいて算出する。これにより、画像処理部２４は、ポリゴン頂点とテクスチャの画素位置との対応関係を算出することができる。

テクスチャが設定された全周囲画像の一例を図１６に示す。図１６では、楕円形で全周囲画像４１を示しているが、上述したように全周囲画像は３次元曲面である。例えば、テクスチャが設定された全周囲画像は、３次元的に湾曲したお椀型の形状をしている。

表示端末７は、図１６の例の全周囲画像に対応する合成画像メタデータを受信している。従って、視野設定部２３は、合成画像メタデータに含まれる方位情報θおよび仰角情報φに基づいて、図１６の例の全周囲画像に仮想カメラ４２の仮想視野を設定できる。図１６では、仮想視野を一点鎖線で示している。この仮想視野には、被写体４４が含まれる。

画像処理部２４は、設定された仮想視野で描画処理を行う（ステップＳ４４）。これにより、図１７の例で示されるような被写体４４を捉えた画像（被写体４４を含む画像）が表示部２５に表示される。図１７の例の被写体４４は、建物を示している。

上述したように、車両２が移動することで、撮影地点は変化し、被写体に対する視点、視野が変化する。つまり、区間Ｔｓｅｇにおいて、一連の全周囲画像の撮影位置は刻々と変化していく。そこで、視野設定部２３は、区間Ｔｓｅｇの次の時刻の全周囲画像に対して、この全周囲画像に対応する合成画像メタデータに基づいて、視点、視野の設定を変更する（ステップＳ４５）。

図１８は、視点、視野を変更した場合の仮想カメラ４２の仮想視野の例を示している。視野設定部２３は、区間Ｔｓｅｇの次の時刻の方位情報θおよび仰角情報φに基づいて、仮想視野を変更している。

区間Ｔｓｅｇの一連の全周囲画像は、それぞれ撮影位置が異なる。従って、区間Ｔｓｅｇの一連の全周囲画像の方位情報θおよび仰角情報φは、全周囲画像によって異なる。つまり、全周囲画像によってカメラワークが異なる。

画像処理部２４は、表示を終了するか否かを判定する（ステップＳ４６）。例えば、区間Ｔｓｅｇの全周囲画像に基づく画像表示が全て終了したとき（ステップＳ４６でＹＥＳ）、表示部２５は表示を終了する。または、表示端末７に対して、表示を終了する操作がされた場合に、表示部２５は表示を終了する。

一方、表示を終了しない場合（ステップＳ４６でＮＯ）、ステップＳ４３〜Ｓ４５の処理が繰り返される。従って、区間Ｔｓｅｇの間、ステップＳ４３およびＳ４４の処理が繰り返される。視野設定部２３は、合成画像メタデータに含まれる方位情報θおよび仰角情報φに基づいて、随時、被写体を捉えるカメラワークで撮影された画像を表示する。

これにより、ユーザは、特別な操作を行うことなく、被写体を捉えたカメラワークで撮影された区間Ｔｓｅｇの一連の画像を視聴することができる。視野設定部２３は、方位情報θおよび仰角情報φを含むカメラワーク情報に基づいて、仮想カメラ４２の位置を変化させる。

従って、区間Ｔｓｅｇの一連の画像を視聴するときに、各画像は、常に被写体を中心に捉えた画像になっている。例えば、区間Ｔｓｅｇの一連の画像を表示端末７が動画表示する場合、ユーザは単にキーワードを指定するだけで、簡単な操作で常に被写体を中心に捉えたカメラワークの動画を視聴することができる。

図１９は、表示部２５に表示される動画の一例を示している。図１９（Ａ）は、被写体４４を正面から撮影する位置に到達する前にカメラＣ１〜Ｃ４が撮影した全周囲画像に基づく画像の一例である。

図１９（Ａ）の場合、遮蔽物４５により、被写体４４の一部が非表示の状態になる。遮蔽物４５としては、例えば、電柱や樹木等がある。図１９（Ａ）の例では、遮蔽物４５を要因として被写体４４の可視性がＶ＝０．７となる。

図１９（Ｂ）は、被写体４４を正面から撮影した全周囲画像に基づく画像の一例である。この場合、カメラワークが変化しており、遮蔽物４５により被写体４４の可視性Ｖはそれほど影響を受けない。図１９（Ｂ）の場合、可視性ＶはＶ＝０．９である。

図１９（Ｃ）は、被写体４４を正面から通過した位置で撮影した全周囲画像に基づく画像の一例である。この場合、カメラワークが変化しており、遮蔽物４５を要因として被写体４４の可視性Ｖが低下する。図１９（Ｃ）の場合、可視性ＶはＶ＝０．７である。

図２０は、可視性Ｖに基づく画像選択を行うための画面例を示している。表示端末７の表示部２５は、画像表示領域５１と可視性グラフ５２とスライダバー５３とを有している。画像表示領域５１は、被写体４４を含む画像を表示する領域である。

可視性グラフ５２は、区間Ｔｓｅｇの中で経時的に変化する可視性Ｖを示したグラフである。スライダバー５３は、可視性グラフ５２の任意の時刻Ｔを指定するためのバーである。ユーザは、スライダバー５３を時刻Ｔの方向に沿って移動させることができる。

従って、最も可視性Ｖが高い位置にスライダバー５３のバーを位置させることで、画像表示領域５１には、最も可視性Ｖが高い静止画が表示される。従って、上述したように、カメラワークが適用された画像において、どの部分が被写体４４を良好に捉えているかの指標をユーザに与えることができる。

＜画像検索サーバのハードウェア構成の一例＞
次に、図２１の例を参照して、画像検索サーバ４のハードウェア構成の一例を説明する。図２１の例に示すように、バス１００に対して、ＣＰＵ１１１とＲＡＭ１１２とＲＯＭ１１３と補助記憶装置１１４と媒体接続部１１５と通信インタフェース１１６とが接続されている。

ＣＰＵ１１１は任意の処理回路である。ＣＰＵ１１１はＲＡＭ１１２に展開されたプログラムを実行する。実行されるプログラムとしては、実施形態の処理を行うプログラムを適用することができる。ＲＯＭ１１３はＲＡＭ１１２に展開されるプログラムを記憶する不揮発性の記憶装置である。

補助記憶装置１１４は、種々の情報を記憶する記憶装置であり、例えばハードディスクドライブや半導体メモリ等を補助記憶装置１１４に適用することができる。媒体接続部１１５は、可搬型記録媒体１１８と接続可能に設けられている。

可搬型記録媒体１１８としては、可搬型のメモリや光学式ディスク（例えば、Compact Disk(CD)やDigital Versatile Disk(DVD)等）を適用することができる。この可搬型記録媒体１１８に実施形態の画像検索サーバ４が行う処理のプログラムが記録されていてもよい。

画像検索サーバ４のサーバ通信部１１以外の各部は、ＣＰＵ１１１により実現されてもよい。また、サーバ通信部１１は、通信インタフェース１１６により実現されてもよい。ＲＡＭ１１２、ＲＯＭ１１３および補助記憶装置１１４は、何れもコンピュータ読み取り可能な有形の記憶媒体の一例である。これらの有形な記憶媒体は、信号搬送波のような一時的な媒体ではない。

＜表示端末のハードウェア構成の一例＞
次に、図２２を参照して、表示端末７のハードウェア構成の一例を説明する。図２２の例に示すように、バス２００に対して、ＣＰＵ２１１とＲＡＭ２１２とＲＯＭ２１３と補助記憶装置２１４と媒体接続部２１５と通信インタフェース２１６とが接続されている。

ＣＰＵ２１１とＲＡＭ２１２とＲＯＭ２１３と補助記憶装置２１４と媒体接続部２１５とは上述した例と同様である。ＣＰＵ２１１が実行するプログラムは、実施形態の処理を行うプログラムであってもよい。通信インタフェース２１６は、外部との通信を行う。

入出力インタフェース２１７は、例えば表示部２５との間でデータを入出力するインタフェースである。端末通信部２１は、通信インタフェース２１６により実現されてもよい。表示端末７のうち、端末通信部２１および表示部２５以外の各部はＣＰＵ２１１により実現されてもよい。

ＲＡＭ２１２、ＲＯＭ２１３および補助記憶装置２１４は、何れもコンピュータ読み取り可能な有形の記憶媒体の一例である。これらの有形な記憶媒体は、信号搬送波のような一時的な媒体ではない。

＜その他＞
従って、実施形態では、表示端末７が指定した被写体を含む区間の一連の全周囲画像を特定する合成画像メタデータを画像検索サーバ４が生成し、表示端末７が合成画像メタデータに基づいて画像蓄積サーバ３から全周囲画像の抽出を行っている。これにより、簡単な操作で、表示端末７は被写体を含む区間Ｔｓｅｇの一連の画像を表示することができる。

特に、表示端末７にキーワードが指定されるだけで、表示端末７は、指定した被写体が含まれる区間Ｔｓｅｇの一連の画像を動画表示することができる。従って、ユーザは、簡単な操作で、被写体が含まれる区間の動画を視聴することができる。撮影位置を変化させた静止画を連続して表示する場合も同様である。

また、視野設定部２３は、区間Ｔｓｅｇの一連の画像について、合成画像メタデータに含まれる方位情報θおよび仰角情報φに基づいて、被写体が常に画像の中心に位置するように視野を設定することができる。これにより、例えば、区間Ｔｓｅｇの一連の画像について、表示端末７は、被写体が常に中心に位置する動画を再生することができる。

方位情報θおよび仰角情報φは、カメラワーク情報の一例である。カメラワーク情報は、方位情報θだけであってもよい。この場合、仰角は固定されている。従って、被写体は画像の中心に位置するとは限らない。表示端末７は、方位情報θおよび仰角情報φに基づくカメラワークで被写体を表示すると、被写体が常に中心に位置した動画または静止画を表示することができる。

また、合成画像メタデータは、可視性Ｖを含む。図２０の例に示したように、ユーザは、スライダバー５３を操作することで、表示端末７は、可視性Ｖが良好な画像を選択的に表示することができる。

また、表示端末７が指定する被写体を多数の車両２のカメラＣ１〜Ｃ４が撮影している場合、メタデータサーバ５は、表示端末７が指定する被写体についての合成画像メタデータを多数蓄積する。

このため、図１４のように、表示端末７は、可視良好性Ｑの一覧から選択する選択画面を表示することで、可視良好性Ｑが高い高品質な画像を選択的に抽出することができる。これにより、表示する画像（例えば、動画）の合成画像メタデータＩＤを絞り込むことができる。

上述した実施形態では、可視良好性Ｑは、可視性Ｖを統合的に評価する値とする例について説明したが、可視良好性Ｑは、被写体の見え易さの度合いを示す値であってもよい。例えば、カメラＣ１〜Ｃ４が撮影した画像（つまり、全周囲画像）のうち、画像の中で被写体が写っている位置が中心からの距離に基づく値を可視良好性Ｑとしてもよい。

画像の中心に被写体が写っている場合、被写体の見え易さの度合いは高くなる。このため、可視良好性Ｑの値も高くなる。一方、画像の中心から被写体が離間している場合、被写体の見え易さの度合いは低くなるため、可視良好性Ｑの値も低くなる。

従って、ユーザが可視良好性Ｑの高い合成映像メタデータＩＤを選択することで、画像抽出部２２は、画像の中心に被写体が写っている全周囲画像に絞って抽出することができる。

本実施形態は、以上に述べた実施の形態に限定されるものではなく、本実施形態の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。

１ 画像提供システム
２ 車両
３ 画像蓄積サーバ
４ 画像検索サーバ
５ メタデータサーバ
６ 地図サーバ
１１ サーバ通信部
１２ 被写体位置特定部
１３ 合成画像メタデータ生成部
１４ 演算部
２１ 端末通信部
２２ 画像抽出部
２３ 視野設定部
２４ 画像処理部
２５ 表示部
３０ 制御部
３３ 時刻計測部
３４ 位置情報取得部
３５ 車載画像メタデータ生成部
３６ 車載記憶部
１１１、２１１ ＣＰＵ
１１２、２１２ ＲＡＭ
１１３、２１３ ＲＯＭ

Claims (8)

1. サーバと表示端末とを含む画像提供システムであって、
   前記サーバは、
   前記表示端末が指定した被写体に関する情報に基づいて、前記被写体の位置を特定する特定部と、
   前記被写体を撮影した撮影位置と前記被写体の位置とに基づいて、前記被写体を含む区間の一連の周囲画像を特定する特定データを生成する生成部と、
   前記特定データを前記表示端末に送信する送信部と、
   を備え、
   前記表示端末は、
   複数の周囲画像が記憶される記憶装置から、前記特定データに基づいて、前記被写体を含む区間の一連の周囲画像を抽出する抽出部と、
   前記特定データに基づいて、前記抽出部が抽出した一連の周囲画像のうち前記被写体の画像を表示する表示部と、
   を備える画像提供システム。
2. 前記生成部は、前記周囲画像の撮影位置と前記被写体の位置との距離が所定距離以下のときに、前記被写体を含む周囲画像であると特定する、
   請求項１記載の画像提供システム。
3. 前記特定データは、前記撮影位置から見た前記被写体の位置の方位を示す方位情報を含み、
   前記表示部は、前記周囲画像のうち前記方位情報に基づく視野の画像を表示する、
   請求項１または２記載の画像提供システム。
4. 前記特定データは、前記撮影位置から見た前記被写体の位置の仰角を示す仰角情報をさらに含み、
   前記表示部は、前記周囲画像のうち前記方位情報と前記仰角情報とに基づく視野の画像を表示する、
   請求項３記載の画像提供システム。
5. 前記特定データは、前記周囲画像のうち前記被写体が写っている率を示す可視性を含み、
   前記表示端末は、複数の前記特定データのそれぞれの前記可視性のうち何れか１つを選択可能な画面を表示する、
   請求項１乃至４のうち何れか１項に記載の画像提供システム。
6. 前記特定データは、前記表示端末が指定した被写体を含む区間の一連の周囲画像の各周囲画像の前記可視性の統合的な値を示す可視良好性を含み、
   前記表示端末は、複数の前記特定データのそれぞれの前記可視良好性のうち何れか１つを選択可能な画面を表示する、
   請求項５記載の画像提供システム。
7. 前記抽出部は、複数の前記被写体を含む区間の一連の周囲画像のうち、前記被写体が前記周囲画像の中心に写っている一連の周囲画像を抽出する、
   請求項１乃至６のうち何れか１項に記載の画像提供システム。
8. サーバと表示端末とが通信を行う画像提供方法であって、
   前記サーバは、
   前記表示端末が指定した被写体に関する情報に基づいて、前記被写体の位置を特定し、
   前記被写体を撮影した撮影位置と前記被写体の位置とに基づいて、前記被写体を含む区間の一連の周囲画像を特定する特定データを生成し、
   前記特定データを前記表示端末に送信し、
   前記表示端末は、
   複数の周囲画像が記憶される記憶装置から、前記特定データに基づいて、前記被写体を含む区間の一連の周囲画像を抽出し、
   前記特定データに基づいて、前記抽出部が抽出した一連の周囲画像のうち前記被写体の画像を表示する、
   画像提供方法。