JP2021022912A

JP2021022912A - 映像合成装置

Info

Publication number: JP2021022912A
Application number: JP2019191032A
Authority: JP
Inventors: 清晴相澤; Kiyoharu Aizawa; 宥光飯沼; Yuko Iinuma; 杉本　直樹; Naoki Sugimoto; 直樹杉本; 義人海老根; Yoshito Ebine
Original assignee: Vtec Lab Co Ltd; University of Tokyo NUC
Current assignee: Vtec Lab Co Ltd; University of Tokyo NUC
Priority date: 2019-07-30
Filing date: 2019-10-18
Publication date: 2021-02-18
Anticipated expiration: 2039-10-18
Also published as: JP7480941B2

Abstract

【課題】ユーザの入力した経路に沿って映像の切り替わる箇所で連続性があり高精細な映像を作成する映像合成装置を提供する。【解決手段】映像合成装置は、全天球カメラによって撮影された市街映像を取得する市街映像取得部と、取得した市街映像を構成する複数のフレーム画像それぞれの、地図上の位置を推定するフレーム位置推定部と、推定された位置に基づいて、全天球カメラの撮影経路を作成する撮影経路作成部と、作成された複数の撮影経路が互いに交差する交差点において一の撮影経路から他の撮影経路に市街映像が切り替わる交差点フレーム画像を、それぞれの撮影経路において位置が推定された複数のフレーム画像から検出する交差点フレーム画像検出部と、検出された交差点フレーム画像を、交差点において連続するように接続するフレーム画像接続部と、接続された交差点フレーム画像を含む入力経路の合成市街映像を出力する合成市街映像出力部と、を備える。【選択図】図１

Description

この発明は、市街の複数の経路映像の合成に関する。

インターネットの普及に伴い、地図情報サービスを利用して遠隔地の情報を入手することが容易になっている。例えば、「ＳｔｒｅｅｔＶｉｅｗ（登録商標）」のような地図及び地図に表された位置の写真の提供サービスを利用して、各種の店舗、施設の所在地や経路などの情報を入手することが可能となっている。この他、ある地点から目的地に向かう経路映像を配信するサービスも行われている。

特開２０１７−２２８９５６号公報

上述した現在提供されている地図情報サービスの場合、解像度の低さや映像の不連続性といった機能的に改善すべき点がある。また、上述した現在提供されている経路映像配信サービスの場合、一本の動画として撮影されたもの又は複数の映像をつなぎあわせたものであるので、想定される全ての経路について一つの映像を撮影する必要がある、映像の切り替わる箇所で連続性が失われるといった改善点がある。そのため、市街映像について連続性のある映像の提供が求められている。

本発明は、ユーザの入力した経路に沿って映像の切り替わる箇所で連続性があり、高精細な映像を作成する映像合成装置を提供することを目的とする。

［１］
全天球カメラによって撮影された市街映像を取得する市街映像取得部と、
前記取得した市街映像を構成する複数のフレーム画像それぞれについての、地図上におけるフレーム位置を推定するフレーム位置推定部と、
前記複数のフレーム画像それぞれについて推定されたフレーム位置に基づいて、前記全天球カメラの撮影経路を作成する撮影経路作成部と、
前記フレーム位置が推定された複数のフレーム画像からなる複数の撮影経路が互いに交差する交差点において一の撮影経路から他の撮影経路に前記市街映像が切り替わる交差点フレーム画像を、前記一の撮影経路及び前記他の撮影経路において前記フレーム位置が推定された複数のフレーム画像から検出する交差点フレーム画像検出部と、
前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続するフレーム画像接続部と、
前記交差点を含む入力された経路に対応した、前記接続された交差点フレーム画像を含む合成市街映像を出力する合成市街映像出力部と、
を備える映像合成装置。

［２］
全天球カメラによって撮影された市街映像を取得する市街映像取得部と、
前記取得した市街映像を構成する複数のフレーム画像それぞれについての、地図上におけるフレーム位置を推定するフレーム位置推定部と、
前記複数のフレーム画像それぞれについて推定されたフレーム位置に基づいて、前記全天球カメラの撮影経路を作成する撮影経路作成部と、
前記フレーム位置が推定された複数のフレーム画像からなる複数の撮影経路が互いに交差する交差点において一の撮影経路から他の撮影経路に前記市街映像が切り替わる交差点フレーム画像を、前記一の撮影経路及び前記他の撮影経路において前記フレーム位置が推定された複数のフレーム画像から検出する交差点フレーム画像検出部と、
前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続するフレーム画像接続部と、
前記接続された交差点フレーム画像を含む合成市街映像を出力する合成市街映像出力部と、
前記合成市街映像の出力の起点となる位置の選択を前記地図において促すとともに、前記起点から前記合成市街映像の出力経路の選択を促す経路選択指示部と、
を備える映像合成装置。

この発明によれば、ユーザの入力した経路に沿って映像の切り替わる箇所で連続性があり、高精細な映像を作成する映像合成装置を提供することができる。

本発明の実施形態の構成の一例を表す図である。撮影経路の異なる市街映像のデータファイルの一例を表す図である。（ａ）はEquirectangular形式のフレーム画像の一例を表す図である。（ｂ）はCubeMap形式のフレーム画像の一例を表す図である。（ｃ）は作成された撮影経路の一例を表す図である。（ａ）二分探索による交差点フレーム画像の検出の流れを説明する図である。（ｂ）検出された交差点フレーム画像の一例を表す図である。検出された交差点フレーム画像の他の例を表す図である。（ａ）、（ｂ）ともに、交差点フレーム画像の校正を説明する図である。校正前、構成後の交差点フレーム画像の比較を表す図である。映像を合成するための入力経路の一例を表す図である。（ａ）は、校正の有無別に分けた交差点フレーム画像を表す図である。（ｂ）、（ｃ）ともに、校正後の交差点フレーム画像の一例を表す図である。交差点における全天球カメラの姿勢の補正を説明する図である。（ａ）は、カメラ姿勢補正前の交差点フレーム画像の比較を表す図である。（ｂ）は、カメラ姿勢補正後の交差点フレーム画像の比較を表す図である。（ａ）は、交差点フレーム画像の接続方法の一例を表す図である。（ｂ）〜（ｅ）は、それぞれ交差点フレーム画像が接続される状態を表す映像の一部である。（ａ）は、交差点フレーム画像の接続方法の他の例を表す図である。（ｂ）〜（ｅ）は、それぞれ交差点フレーム画像が接続される状態を表す映像の一部である。（ａ）は、交差点フレーム画像の接続方法の他の例を表す図である。（ｂ）〜（ｅ）は、それぞれ交差点フレーム画像が接続される状態を表す映像の一部である。（ａ）は、交差点フレーム画像の接続方法の他の例を表す図である。（ｂ）〜（ｅ）は、それぞれ交差点フレーム画像が接続される状態を表す映像の一部である。交差点フレーム画像の接続方法の他の例を表す図であって、（ａ）〜（ｄ）は交差点フレーム画像が接続される状態を表す映像の一部である。（ａ）〜（ｃ）ともに、合成市街映像の出力起点となる位置の選択及び出力経路の選択の一例を説明する図である。（ａ）〜（ｄ）は、合成市街映像の出力中での交差点における行先の選択の一例を表す図である。（ｅ）は、（ｃ）の部分拡大図である。

以下、添付図面を参照して、本発明の実施形態の一例を説明する。本実施形態の映像合成装置１は、一例として、ユーザが使用するユーザ端末２に市街の案内映像を配信する装置である。

図１に示す形態では、映像合成装置１は例えばサーバ装置としての機能を備え、前記市街の案内映像を制作・提供する事業者によって、インターネット通信網、無線通信規格で定められている無線通信網、等の通信ネットワーク３上に設置される。映像合成装置１は、通信ネットワーク３を介してユーザ端末２と通信可能に接続されている。図１に示す形態の他、前記ユーザが映像合成装置１を直接操作して前記市街の案内映像を出力する機器・装置の形態とすることもできる。

ユーザ端末２は、前記市街の案内映像の提供を受ける複数のユーザが使用する端末であって、パーソナルコンピュータ、スマートフォン、タブレット端末等、通信機能やウェブ閲覧機能を備える端末である。図示していないが、ユーザ端末２は、ＣＰＵ等により構成され各種データの処理、演算を行う演算処理部と、メモリ等の各種データを記憶する記憶部と、液晶ディスプレイ等の情報出力部と、タッチパネル等の情報入力部と、各種データの送受信を行う通信部と、を備えている。

ユーザ端末２は、通信ネットワーク３を介して映像合成装置１へアクセスして前記市街の案内映像を取得する。この際、映像合成装置１による後述する処理によって撮影経路の異なる複数の市街映像が合成された合成市街映像がユーザ端末２で再生される。あるいは特定の施設に設置されている映像合成装置１を前記ユーザが操作して前記合成市街映像が再生される。

映像合成装置１は、図１に示すように、情報送受信部４、制御部５、記憶部６、市街映像取得部７、フレーム位置推定部８、撮影経路作成部９、交差点フレーム画像検出部１０、交差点フレーム画像校正部１１、カメラ姿勢補正部１２、フレーム画像接続部１３、合成市街映像出力部１４、経路選択指示部２６、行先情報送出部２７を備えている。

情報送受信部４は、ユーザ端末２との間で情報の送受信を行う。制御部５は、映像合成装置１が備える各処理部が行う情報処理をＣＰＵ、ＲＡＭ等の演算処理部で制御する。

記憶部６には、以下の情報が記憶されている。

（市街映像）
本実施形態では、図示していない全天球カメラといった撮影装置によって全方位（３６０度）に渡り撮影された市街の動画を市街映像としている。図２に示すように、全天球カメラによって所定の複数の経路に沿って撮影された市街の動画が、それぞれ公知のフォーマットに変換され市街映像データファイル１５として記憶部６に記憶される。市街映像データファイル１５は、時刻ｔ_ｎにおける複数のフレーム画像（静止画）で構成される。市街映像は、前記事業者が使用する事業者端末（不図示）に前記撮影装置を接続し、事業者端末を介して映像合成装置１へ入力されるか、あるいは前記撮影装置を映像合成装置１に接続して直接入力される。

（地図情報）
地図情報は、後述する市街映像を構成する複数のフレーム画像についてのフレーム位置推定処理及び全天球カメラの撮影経路作成処理に使用される。前記地図情報は従来公知の二次元（航空写真含む）、三次元表示の地図情報を使用することができる。本実施形態では、図３（ｃ）に示すように、二次元表示の地図情報１６を使用している。

本実施形態では、記憶部６が地図情報１６を記憶している態様としているが、この他、地図及び地図に表された位置の写真を提供する地図情報配信事業者が設置しているＷｅｂサーバ（不図示）と映像合成装置１との間で行われるＡＰＩ（Application Programming Interface）を利用して、映像合成装置１が地図情報１６を取得することができる。この場合、前記事業者端末からの地図情報取得の要求に応じて、映像合成装置１の情報送受信部４が、前記地図情報配信事業者が設置しているＷｅｂサーバから地図情報１６を取得する。

本実施形態では、以下の処理によって撮影経路の異なる複数の市街映像が合成された合成市街映像が生成される。

［市街映像の取得処理］
市街映像取得部７は、全天球カメラによって撮影された市街映像を取得する。市街映像取得部７は、上述したように、全天球カメラに接続された前記事業者端末を介して入力された前記市街映像を取得する。あるいは、市街映像取得部７は、映像合成装置１に接続された全天球カメラから前記市街映像を取得する。

［フレーム位置推定処理］
フレーム位置推定部８は、市街映像取得部７が取得した市街映像を構成する複数のフレーム画像それぞれについての、地図上におけるフレーム位置を推定する。

本実施形態では、フレーム位置推定部８は、まず市街映像取得部７が取得した図３（ａ）に示すようなEquirectangular形式のフレーム画像１７を、図３（ｂ）に示すようなCubeMap形式のフレーム画像１８に変換する。ここで、Equirectangularとは、経度と緯度をそのまま直角かつ等間隔に投影した地図投影法の一種である。また、CubeMapとは、対象となるオブジェクトを上下左右前後の６つの正方形テクスチャで表現する環境マップの形式の一種である。Equirectangular形式のフレーム画像１７を一旦球面上に投影した後、その球を、内接する立方体に再度投影することで画像が変換される。

次に、フレーム位置推定部８は、CubeMap形式のフレーム画像１８から前方向のフレーム画像を抽出する。

次に、フレーム位置推定部８は、抽出した前方向のフレーム画像に対して、記憶部６に記憶されている地図情報１６に基づいて、経度緯度といったジオタグを付加する。ジオタグが付加された前方向のフレーム画像と従来公知のSLAM（Simultaneous Localization and Mapping）といった自己位置推定と環境地図の作成を同時に行うアルゴリズムを用いて、前方向のフレーム画像の地図上におけるフレーム位置が推定される。フレーム位置が推定されることから、全天球カメラの姿勢も推定される。これら推定されたフレーム位置及び全天球カメラの姿勢は後述する交差点フレーム画像の検出処理、カメラの姿勢調整処理及び市街映像の合成・出力処理で使用される。

このような処理が時刻ｔ_ｎにおける複数のEquirectangular形式のフレーム画像１７ｔ_ｎに対して行われる。

［撮影経路作成処理］
撮影経路作成部９は、複数のフレーム画像それぞれについて推定されたフレーム位置に基づいて、全天球カメラの撮影経路を作成する。

本実施形態では、フレーム位置推定部８が複数のフレーム画像それぞれについて推定したフレーム位置を集計し、図２に示す各市街映像データファイル１５に対応する図３（ｃ）に示す撮影経路１９を作成する。図３（ｃ）に示す撮影経路１９ａ〜１９ｈはそれぞれ、図２に示す市街映像データファイル１５ａ〜１５ｈに対応している。

［交差点フレーム画像の検出処理］
１．交差点フレーム画像の検出
交差点フレーム画像検出部１０は、フレーム位置が推定された複数のフレーム画像からなる複数の撮影経路が互いに交差する交差点において一の撮影経路から他の撮影経路に市街映像が切り替わる交差点フレーム画像を、前記一の撮影経路及び前記他の撮影経路において前記フレーム位置が推定された複数のフレーム画像から検出する。

本実施形態では、交差点フレーム画像検出部１０は、以下の二分探索による手法を用いて交差点フレーム画像を検出する。

（１）図４（ａ）左側に示すように、撮影経路１９ｉ、１９ｊそれぞれの経路全体をバウンディングボックスで囲む
（２）撮影経路１９ｉ、１９ｊそれぞれのバウンディングボックスを二分割し、図４（ａ）中央に示すように、分割したバウンディングボックスについてさらにバウンディングボックスを作成する
（３）図４（ａ）右側に示すように、撮影経路１９ｉ、１９ｊを含むバウンディングボックスのみ（図中実線部分）を残す
（４）バウンディングボックス内の撮影経路１９ｉ、１９ｊを構成するフレーム位置が所定の数（例えば１６個未満）に達するまで上記（２）、（３）を繰り返す
（５）全数探索により最近傍となるフレーム位置を抽出する
（６）抽出されたフレーム位置に該当するフレーム画像を検出する

図４（ｂ）は、上記二分探索による手法を用いた処理結果の一例である。図４（ｂ）には以下の交差点フレーム画像２０が検出されている。

・撮影経路１９ｋと撮影経路１９ｍが互いに交差する交差点２１ａにおいて、撮影経路１９ｋから撮影経路１９ｍ又は撮影経路１９ｍから撮影経路１９ｋに市街映像が切り替わる交差点フレーム画像２０ａ_１、２０ｃ_１
・撮影経路１９ｌと撮影経路１９ｍが互いに交差する交差点２１ｂにおいて、撮影経路１９ｌから撮影経路１９ｍ又は撮影経路１９ｍから撮影経路１９ｌに市街映像が切り替わる交差点フレーム画像２０ｂ_２、２０ｃ_２
・撮影経路１９ｋと撮影経路１９ｎが互いに交差する交差点２１ｃにおいて、撮影経路１９ｋから撮影経路１９ｎ又は撮影経路１９ｎから撮影経路１９ｋに市街映像が切り替わる交差点フレーム画像２０ａ_２、２０ｄ_２
・撮影経路１９ｌと撮影経路１９ｎが互いに交差する交差点２１ｄにおいて、撮影経路１９ｌから撮影経路１９ｎ又は撮影経路１９ｎから撮影経路１９ｌに市街映像が切り替わる交差点フレーム画像２０ｂ_１、２０ｄ_１

２．校正
交差点フレーム画像校正部１１は、検出された各撮影経路の交差点フレーム画像の前後のフレーム画像のうち、最も視覚的に類似するフレーム画像の組み合わせを交差点フレーム画像とするように前記各撮影経路の交差点フレーム画像を校正する。視覚的に類似する画像は、画像の視覚的な特徴点の比較により求めてもよいし、入力画像について深層学習を行い、その学習モデルに基づく画像の深層特徴量を利用してもよい。本実施形態では、視覚的な特徴点の比較による類似画像の算出について説明する。

以下、本実施形態において、視覚的特徴点とは、複数の異なる画像において互いに対応する箇所を特徴づける点をいう。視覚的特徴点は、例えば、フレーム画像に表される建物の輪郭等を例示することができる。また、本実施形態において、特徴点のマッチングとは、一の画像の視覚的特徴点に対応する点を他の画像において抽出する処理をいう。

図５に示すように、撮影経路１９ｏ、１９ｐそれぞれにおいて検出された交差点フレーム画像２０ｅ_１、２０ｆ_１が、撮影経路１９ｏと撮影経路１９ｐが互いに交差する交差点２１において、市街映像の連続的な接続、すなわち、撮影経路１９ｏから撮影経路１９ｐへの滑らかな映像の切り替えに適さない場合がある。

本実施形態では、交差点フレーム画像校正部１１は、以下の手法を用いて交差点フレーム画像を校正し、精度の高い交差点フレーム画像を検出する。

（１）図６（ａ）に示すように、二分探索により検出された撮影経路１９ｑ、１９ｒそれぞれの交差点フレーム画像２０ｇ_１、２０ｈ_１周辺の複数のフレーム画像１８ａ_ｎ、１８ｂ_ｎを選択する
なお、フレーム画像１８ａ_ｎ、１８ｂ_ｎは上述したように、地図上におけるフレーム位置及び全天球カメラの姿勢が推定されている。

（２）球面線形補間（SLERP）を表す下記の数式１を用いて、選択されたフレーム画像１８ａ_ｎ、１８ｂ_ｎについて全天球カメラの姿勢を演算する

ここで、ｑ_１、ｑ_２はQuaternion、θは２つのQuaternionの成す角、ｔは０≦ｔ≦１を満たす実数である。

（３）上記（２）で演算した全天球カメラの姿勢に基づいて、フレーム画像１８ａ_ｎ、１８ｂ_ｎを回転させる

（４）図６（ｂ）に示すように、２つのフレーム画像１８ａ、１８ｂの特徴点の抽出とそのマッチングを行う
図６に示す例では、フレーム画像１８ａの座標（ｘ_ｉ、ｙ_ｉ）が視覚的特徴点２２ａとして抽出され、当該視覚的特徴点２２ａに対応するフレーム画像１８ｂの視覚的特徴点２２ｂの座標（Ｘ_ｉ、Ｙ_ｉ）がマッチングされている。

（５）下記の数式２を用いて、図６（ｂ）に示す２つのフレーム画像１８ａ、１８ｂの視覚的特徴点２２ａ、２２ｂの平均移動距離Ｄ_{ｐｉｘｅｌ}を演算する。Ｄ_{ｐｉｘｅｌ}が最小となるフレーム画像の組み合わせを計算し、当該フレーム画像の組み合わせを校正後の交差点フレーム画像とする

図７は、上記手法を用いた処理結果の一例である。図７の右側には、交差点フレーム画像校正部１１による交差点フレーム画像の校正が行われる前の交差点フレーム画像２０ｅ_１、２０ｆ_１（図５参照）が示されている。交差点フレーム画像校正部１１による処理の結果、図７の左側に示すように、Ｄ_{ｐｉｘｅｌ}が最小となるフレーム画像の組み合わせが、撮影経路１９ｏから撮影経路１９ｐへの滑らかな映像の切り替えに適した交差点フレーム画像２０ｅ_２、２０ｆ_１とされている。

［経路の入力処理］
前記事業者は、前記事業者端末を使用して、図８に示すような地図情報１６においてフレーム画像を接続するための経路を入力する。図８に示す例では、撮影経路１９ｂ’、１９ｃ’、１９ｈ’、１９ｄ’、１９ｅ’、１９ａ’の順番からなる入力経路２３となっている。

［カメラの姿勢調整処理］
カメラ姿勢補正部１２は、交差点における複数の交差点フレーム画像それぞれについて特徴点マッチングを行い、各交差点フレーム画像に付与されている全天球カメラの姿勢の誤差を補正する。

例えば、図９に示すように、交差点２１ｃ（図４（ｂ）参照）において交差点フレーム画像校正部１１によって校正された交差点フレーム画像２０ｉ、２０ｊが表す視覚的特徴点２２ｃ、２２ｄが一致せず、そのため交差点フレーム画像２０ｉ、２０ｊにおける全天球カメラの姿勢（向き）に誤差が生じる場合がある。

本実施形態では、カメラ姿勢補正部１２は、以下の手法を用いて交差点フレーム画像２０の特徴点マッチングを行い、交差点２１における全天球カメラの姿勢の補正を行う。

（１）図１０に示すように、上述したフレーム位置推定処理によって推定されたフレーム位置におけるEquirectangular形式の交差点フレーム画像２０ｊを回転させる

（２）図１０に示すように、交差点フレーム画像２０ｉと回転後の交差点フレーム画像２０ｊ’について特徴点マッチングを行う

（３）対応する視覚的特徴点を球面上に射影し、２点間の回転を求める
この処理において、Equirectangular形式の画像上の点（ｕ、ｖ）を単位球面上に射影したとき、対応する単位球面上の点（ｘ、ｙ、ｚ）は下記の数式３で与えられる。

ここで、ｕ、ｖはそれぞれEquirectangular形式の画像の横と縦の画素数である。

また、Equirectangular形式の画像上において、特徴点マッチングによって得られた視覚的特徴点の座標をそれぞれ単位球面上の射影したときの位置ベクトルをｒ_１、ｒ_２とすると、ｒ_１からｒ_２への回転を表すQuaternion ｑは下記の数式４で表される。

ここで、Ｖは回転の軸となるベクトル、θは回転の角度を表す。

（４）不要な交差点フレーム画像の特徴点マッチングによる座標の組を除去
この処理において、交差点フレーム画像２０は互いにほぼ一致していることを前提とし、カメラ姿勢の補正では大きくカメラ姿勢を回転させる必要がないことを仮定している。そこで、上記数式４において、回転の大きさを表す第１成分の値が小さい、すなわち回転量の大きな座標の組は誤ったマッチング結果としてこれを除去する。本実施形態では、Quaternionの第１成分の値が下位４０％未満の座標の組を除去している。

（５）対応する視覚的特徴点の座標からカメラ姿勢の回転を求める
上記数式４による演算をすべての視覚的特徴点の組に対して行う。得られた視覚的特徴点の組から、演算したQuaternionの球面線形補間（SLERP）による平均をとり、交差点フレーム画像２０が表す全天球カメラの姿勢の補正を行う

図１１は、上記手法を用いた処理結果の一例である。図１１（ａ）では全天球カメラの姿勢の補正が行われる前の交差点フレーム画像２２ｉ、２２ｊの視覚的特徴点２２ｃ、２２ｄである特定の建物の輪郭の誤差が示されている。図１１（ｂ）では、上記手法により、補正前に比べ、交差点フレーム画像２０ｊ’の視覚的特徴点２２ｄ’である特定の建物の輪郭と、これに対応する交差点フレーム画像２０ｉの視覚的特徴点２２ｃである特定の建物の輪郭との誤差が小さくなっていることが示されている。

また、交差点フレーム画像２０ｉ、２２ｊ’について画像間の平均二乗距離（MSE）による評価を表１に示す。MSEは画像のピクセルごとの画素値の二乗平均であり、下記の数式５で表される。MSEが小さいほど二つの画像間の視覚的特徴点の誤差が小さいことを示す。

ここで、Ｈ、Ｗは画像の縦と横の大きさを表し、ｐ（ｉ、ｊ）は座標（ｉ、ｊ）の画素値を表す。

［市街映像の合成・出力処理］
フレーム画像接続部１３は、上述した経路の入力処理によって作成された入力経路に含まれる一の撮影経路及び他の撮影経路において検出された交差点フレーム画像を、交差点において連続するように接続する。本実施形態では、フレーム画像接続部１３は、以下の接続方法を用いて交差点フレーム画像の接続を行う。

（接続方法１）
図１２（ａ）に示すように、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋ及び当該交差点フレーム画像２０ｋより手前となる複数のフレーム画像１７ａ_２、１７ａ_３を撮影経路１９ｔの方向へ回転させ、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔにおける交差点フレーム画像２０ｌと一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。

以下、接続方法１〜接続方法４において、回転させるフレーム画像１７及び交差点フレーム画像２０は、上述した球面線形補間の数式１で算出される。また、２つのQuaternion ｑ_１、ｑ_２間の回転を表すQuaternion ｑは、上述したカメラの姿勢調整処理によって計算されたカメラ姿勢を補正するためのQuaternionをｑ_ｐとして考慮すると、下記の数式６で表される。

ここで、ｑ_１ ^−１はｑ_１の逆元である。

これらの式からフレーム画像１７及び交差点フレーム画像２０の回転の向きと大きさを計算し、フレーム画像１７及び交差点フレーム画像２０の回転を行う。さらに、２つのQuaternion ｑ_１、ｑ_２間の回転の大きさθは、内積を用いてθ＝cos^−１（ｑ_１・ｑ_２）で表される。これにより計算された回転の大きさに応じて、回転処理を行うフレーム画像数の調整を行う。

図１２（ｂ）〜（ｅ）は、上述の処理によって撮影経路１９ｓにおけるフレーム画像１７ａ_２、１７ａ_３及び交差点フレーム画像２０ｋが交差点２１で撮影経路１９ｔの方向に回転し、交差点フレーム画像２０ｋが撮影経路１９ｔにおける交差点フレーム画像２０ｌと一致して、交差点フレーム画像２０ｋから交差点フレーム画像２０ｌへ滑らかに切り替わった状態を表す。

（接続方法２）
図１３（ａ）に示すように、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔの方向へ回転させ、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔにおける交差点フレーム画像２０ｌと一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。

図１３（ｂ）〜（ｅ）は、上述の処理によって撮影経路１９ｓにおける交差点フレーム画像２０ｋが交差点２１で撮影経路１９ｔの方向に回転し、交差点フレーム画像２０ｋが撮影経路１９ｔにおける交差点フレーム画像２０ｌと一致して、交差点フレーム画像２０ｋから交差点フレーム画像２０ｌへ滑らかに切り替わった状態を表す。

（接続方法３）
図１４（ａ）に示すように、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋ及び当該交差点フレーム画像２０ｋより手前となる複数のフレーム画像１７ａ_２、１７ａ_３を撮影経路１９ｔの方向へ回転させ、撮影経路１９ｔにおける交差点フレーム画像２０ｌ及び当該交差点フレーム画像２０ｌより先となる複数のフレーム画像１７ｂ_１、１７ｂ_２を撮影経路１９ｓの方向へ回転させ、交差点フレーム画像２０ｋ、２０ｌの回転途中で、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔにおける交差点フレーム画像２０ｌと一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。

図１４（ｂ）〜（ｅ）は、上述の処理によって撮影経路１９ｓにおけるフレーム画像１７ａ_２、１７ａ_３及び交差点フレーム画像２０ｋが交差点２１で撮影経路１９ｔの方向に回転し、交差点フレーム画像２０ｋが回転している途中で撮影経路１９ｔにおける交差点フレーム画像２０ｌ及びフレーム画像１７ｂ_１、１７ｂ_２へ滑らかに切り替わった状態を表す。

（接続方法４）
図１５（ａ）に示すように、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔの方向へ回転させ、撮影経路１９ｔにおける交差点フレーム画像２０ｌを撮影経路１９ｓの方向へ回転させ、交差点フレーム画像２０ｋ、２０ｌの回転途中で、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔにおける交差点フレーム画像２０ｌと一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。

図１５（ｂ）〜（ｅ）は、上述の処理によって撮影経路１９ｓにおける交差点フレーム画像２０ｋが交差点２１で撮影経路１９ｔの方向に回転し、交差点フレーム画像２０ｋが回転している途中で、撮影経路１９ｓの方向に回転した、撮影経路１９ｔにおける交差点フレーム画像２０ｌへ滑らかに切り替わった状態を表す。

（接続方法５）
フレーム画像接続部１３は、交差点における一の撮影経路のフレーム画像をフェードアウトさせながら他の撮影経路の方向に向けて回転させ、前記交差点における他の撮影経路のフレーム画像をフェードインさせ、フェードインしているフレーム画像をフェードアウトしているフレーム画像に重ね合わせながら前記一の撮影経路における交差点フレーム画像を前記他の撮影経路における交差点フレーム画像と一致させ、前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続する。この接続方法によれば、異なる複数の撮影経路の映像を交差点においてより滑らかに接続することができる。

図１６に示す形態では、この接続方法によって以下のように、交差点において一の撮影経路の交差点フレーム画像から他の撮影経路の交差点フレーム画像へ滑らかに切り替わった状態を表す。

（１）フレーム画像接続部１３は、撮影経路１９ｕの交差点フレーム画像２０ｍを撮影経路１９ｖの方向へ回転させる（図１６（ａ））
（２）フレーム画像接続部１３は、撮影経路１９ｕの交差点フレーム画像２０ｍを撮影経路１９ｖの方向へ回転させつつ、交差点フレーム画像２０ｍをフェードアウトさせる（図１６（ｂ）、（ｃ））
（３）フレーム画像接続部１３は、撮影経路１９ｖの交差点フレーム画像２０ｎをフェードインさせ、フェードアウトしている交差点フレーム画像２０ｍに重ね合わせて表示する（図１６（ｂ）、（ｃ））
なお、撮影経路１９ｖの交差点フレーム画像２０ｎは予め撮影経路１９ｕの方向に回転処理されており、交差点フレーム画像２０ｍ、２０ｎの回転途中で、撮影経路１９ｕにおける交差点フレーム画像２０ｍを撮影経路１９ｖにおける交差点フレーム画像２０ｎと一致させている。
（４）フレーム画像接続部１３は、フェードアウトしている撮影経路１９ｕの交差点フレーム画像２０ｍから、フェードインしている撮影経路１９ｖの交差点フレーム画像２０ｎへ切り替える（図１６（ｄ））
また、この接続方法を上述した接続方法１〜４それぞれに適用することができる。

この接続方法を上述した接続方法１に適用する場合、図１２（ａ）において、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋ及び当該交差点フレーム画像２０ｋより手前となる複数のフレーム画像１７ａ_２、１７ａ_３をフェードアウトさせながら撮影経路１９ｔの方向へ回転させる。
フレーム画像接続部１３は、撮影経路１９ｔにおける交差点フレーム画像２０ｌをフェードインさせ、フェードアウトしている交差点フレーム画像２０ｋ及び当該交差点フレーム画像２０ｋより手前となる複数のフレーム画像１７ａ_２、１７ａ_３に重ね合わせながら交差点フレーム画像２０ｋと交差点フレーム画像２０ｌとを一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。

この接続方法を上述した接続方法２に適用する場合、図１３（ａ）において、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋをフェードアウトさせながら撮影経路１９ｔの方向へ回転させる。
フレーム画像接続部１３は、撮影経路１９ｔにおける交差点フレーム画像２０ｌをフェードインさせ、フェードアウトしている交差点フレーム画像２０ｋに重ね合わせながら交差点フレーム画像２０ｋと交差点フレーム画像２０ｌとを一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。

この接続方法を上述した接続方法３に適用する場合、図１４（ａ）において、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋ及び当該交差点フレーム画像２０ｋより手前となる複数のフレーム画像１７ａ_２、１７ａ_３をフェードアウトさせながら撮影経路１９ｔの方向へ回転させる。
フレーム画像接続部１３は、撮影経路１９ｔにおける交差点フレーム画像２０ｌ及び当該交差点フレーム画像２０ｌより先となる複数のフレーム画像１７ｂ_１、１７ｂ_２をフェードインさせながら撮影経路１９ｓの方向へ回転させ、交差点フレーム画像２０ｋ、２０ｌの回転途中で交差点フレーム画像２０ｋと交差点フレーム画像２０ｌとを一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。

この接続方法を上述した接続方法４に適用する場合、図１５（ａ）において、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋをフェードアウトさせながら撮影経路１９ｔの方向へ回転させる。
フレーム画像接続部１３は、撮影経路１９ｔにおける交差点フレーム画像２０ｌをフェードインさせながら撮影経路１９ｓの方向へ回転させ、交差点フレーム画像２０ｋ、２０ｌの回転途中で交差点フレーム画像２０ｋと交差点フレーム画像２０ｌとを一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。

合成市街映像出力部１４は、交差点を含む入力経路に対応した、前記接続された交差点フレーム画像を含む合成市街映像を出力する。本実施形態では、合成市街映像出力部１４は、以下のように合成市街映像を出力する。

（合成市街映像の出力例１）
前記ユーザがユーザ端末２を使用して、図８に示すような地図情報１６における現在地２４から目的地２５までの経路を選択した場合、合成市街映像出力部１４は、前記ユーザの現在地２４から目的地２５までの撮影経路１９ｂ’、１９ｃ’、１９ｈ’、１９ｄ’、１９ｅ’、１９ａ’の市街映像が合成された合成市街映像をユーザ端末２に出力する。ユーザ端末２では当該合成市街映像が再生される。

あるいは、前記ユーザが現在地２４において、映像合成装置１を操作して地図上又はユーザインターフェイス上で目的地２５を選択した場合でも、合成市街映像出力部１４は、前記ユーザの現在地２４から目的地２５までの複数の撮影経路１９の市街映像が合成された合成市街映像を再生する。

各撮影経路１９が交差する場所では、上述した各処理によって、交差点２１において一の撮影経路及び他の撮影経路において検出された交差点フレーム画像２０が、各交差点において滑らかに連続して再生される。

（合成市街映像の出力例２）
経路選択指示部２６は、ユーザ端末２に対して合成市街映像の出力の起点となる位置の選択を地図において促すとともに、前記起点から前記合成市街映像の出力経路の選択を促す。

ユーザは、ユーザ端末２に表示される地図情報１６において、前記合成市街映像の再生の起点２８を選択する。起点２８は、例えば図１７（ａ）の符号２８ａ〜２８ｄに示すように、前記ユーザが任意に選択できるようになっている。また、例えば、図１７（ｂ）に示すような地図上の特徴物であるランドマーク２９ａ〜２９ｄの位置を地図情報１６において選択して起点２８とすることもできる。

起点２８が選択された後、ユーザ端末２には起点２８に対応するフレーム画像が表示されるとともに、図１７（ｃ）に示すように前記合成市街映像を再生する複数の経路３０ａ、３０ｂが表示される。この経路３０ａ、３０ｂは、起点２８から複数存在する撮影経路１９のうち、どの撮影経路の市街映像を再生するかを選択するためのものである。前記ユーザが何れかの経路３０を選択すると合成市街映像出力部１４は、選択された経路３０に対応する撮影経路１９の市街映像を再生する。

行先情報送出部２７は、合成市街映像の出力中に、一部の又はすべての交差点において行先の選択を促す行先情報を交差点フレーム画像及び／又は当該交差点フレーム画像より手前となる複数のフレーム画像に表示する。

例えば、図１８（ａ）に示す撮影経路１９ｗの市街映像の再生中に、図１８（ｂ）に示すフレーム画像１７と、図１８（ｃ）に示す交差点フレーム画像２０に図１８（ｅ）に示すような市街映像の切り替えを選択させる矢印や、各種施設名といった行先情報３１ａ〜３１ｄが表示される。

前記ユーザが例えば行先情報３１ｂ又は３１ｄを選択すると、フレーム画像接続部１３は交差点２１において選択された行先にしたがって、上述した各処理によって図１８（ｃ）、（ｄ）に示すように撮影経路１９ｗ及び撮影経路１９ｘにおいて検出された交差点フレーム画像２０を、交差点２１において連続するように接続する。

この出力例では、前記ユーザがインタラクティブに経路選択しながら市街映像を再生するインターフェースとなっている。

このように、本実施形態によれば、異なる複数の撮影経路の映像が交差点において滑らかに接続される合成市街映像を作成することができる。したがって、観光案内、地域、特定スポットの紹介、不動産の案内といったナビゲーションとして新たな案内映像をユーザに提供することができる。

１映像合成装置
２ユーザ端末
３通信ネットワーク
４情報送受信部
５制御部
６記憶部
７市街映像取得部
８フレーム位置推定部
９撮影経路作成部
１０交差点フレーム画像検出部
１１交差点フレーム画像校正部
１２カメラ姿勢補正部
１３フレーム画像接続部
１４合成市街映像出力部
１５市街映像データファイル
１６地図情報
１７ Equirectangular形式のフレーム画像
１８ CubeMap形式のフレーム画像
１９撮影経路
２０交差点フレーム画像
２１交差点
２２視覚的特徴点
２３入力経路
２６経路選択指示部
２７行先情報送出部
２８出発点
２９ランドマーク
３０出力経路
３１行先情報

Claims

全天球カメラによって撮影された市街映像を取得する市街映像取得部と、
前記取得した市街映像を構成する複数のフレーム画像それぞれについての、地図上におけるフレーム位置を推定するフレーム位置推定部と、
前記複数のフレーム画像それぞれについて推定されたフレーム位置に基づいて、前記全天球カメラの撮影経路を作成する撮影経路作成部と、
前記フレーム位置が推定された複数のフレーム画像からなる複数の撮影経路が互いに交差する交差点において一の撮影経路から他の撮影経路に前記市街映像が切り替わる交差点フレーム画像を、前記一の撮影経路及び前記他の撮影経路において前記フレーム位置が推定された複数のフレーム画像から検出する交差点フレーム画像検出部と、
前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続するフレーム画像接続部と、
前記交差点を含む入力された経路に対応した、前記接続された交差点フレーム画像を含む合成市街映像を出力する合成市街映像出力部と、
を備える映像合成装置。
全天球カメラによって撮影された市街映像を取得する市街映像取得部と、
前記取得した市街映像を構成する複数のフレーム画像それぞれについての、地図上におけるフレーム位置を推定するフレーム位置推定部と、
前記複数のフレーム画像それぞれについて推定されたフレーム位置に基づいて、前記全天球カメラの撮影経路を作成する撮影経路作成部と、
前記フレーム位置が推定された複数のフレーム画像からなる複数の撮影経路が互いに交差する交差点において一の撮影経路から他の撮影経路に前記市街映像が切り替わる交差点フレーム画像を、前記一の撮影経路及び前記他の撮影経路において前記フレーム位置が推定された複数のフレーム画像から検出する交差点フレーム画像検出部と、
前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続するフレーム画像接続部と、
前記接続された交差点フレーム画像を含む合成市街映像を出力する合成市街映像出力部と、
前記合成市街映像の出力の起点となる位置の選択を前記地図において促すとともに、前記起点から前記合成市街映像の出力経路の選択を促す経路選択指示部と、
を備える映像合成装置。
前記合成市街映像の出力中に、一部の又はすべての交差点において行先の選択を促す行先情報を前記交差点フレーム画像及び／又は当該交差点フレーム画像より手前となる複数のフレーム画像に表示する行先情報送出部と、
を備え、
前記フレーム画像接続部は、前記交差点において選択された行先にしたがって、前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続する
請求項１又は２記載の映像合成装置。
検出された各撮影経路の交差点フレーム画像の前後のフレーム画像のうち、視覚的に最も類似するフレーム画像の組み合わせを交差点フレーム画像とするように前記各撮影経路の交差点フレーム画像を校正する交差点フレーム画像校正部をさらに備える
請求項１〜３の何れか一項に記載の映像合成装置。
前記交差点における複数の交差点フレーム画像それぞれについて特徴点マッチングを行い、各交差点フレーム画像に付与されている前記全天球カメラの姿勢の誤差を補正するカメラ姿勢補正部をさらに備える
請求項１〜４の何れか一項に記載の映像合成装置。
前記フレーム画像接続部は、前記一の撮影経路における交差点フレーム画像及び当該交差点フレーム画像より手前となる複数のフレーム画像を前記他の撮影経路の方向に向けて回転させ、前記一の撮影経路における交差点フレーム画像を前記他の撮影経路における交差点フレーム画像と一致させ、前記一の撮影経路及び前記他の撮影経路において検出された交差点フレーム画像を、前記交差点において連続するように接続する
請求項１〜５の何れか一項に記載の映像合成装置。
前記フレーム画像接続部は、前記一の撮影経路における交差点フレーム画像を前記他の撮影経路の方向に向けて回転させ、前記一の撮影経路における交差点フレーム画像を前記他の撮影経路における交差点フレーム画像と一致させ、前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続する
請求項１〜５の何れか一項に記載の映像合成装置。
前記フレーム画像接続部は、前記一の撮影経路における交差点フレーム画像及び当該交差点フレーム画像より手前となる前記一の撮影経路における複数のフレーム画像を前記他の撮影経路の方向に向けて回転させると共に、前記他の撮影経路における交差点フレーム画像及び当該交差点フレーム画像より先になる前記他の撮影経路における複数のフレーム画像を前記一の撮影経路における複数のフレーム画像が回転している方向とは反対の回転方向に回転させ、両者の回転途中で前記一の撮影経路における交差点フレーム画像を前記他の撮影経路における交差点フレーム画像と一致させ、前記一の撮影経路及び前記他の撮影経路において検出された交差点フレーム画像を、前記交差点において連続するように接続する
請求項１〜５の何れか一項に記載の映像合成装置。
前記フレーム画像接続部は、前記一の撮影経路における交差点フレーム画像を前記他の撮影経路の方向に向けて回転させると共に、前記他の撮影経路における交差点フレーム画像を前記一の撮影経路における交差点フレーム画像が回転している方向とは反対の回転方向に回転させ、両者の回転途中で前記一の撮影経路における交差点フレーム画像を前記他の撮影経路における交差点フレーム画像と一致させ、前記一の撮影経路及び前記他の撮影経路において検出された交差点フレーム画像を、前記交差点において連続するように接続する
請求項１〜５の何れか一項に記載の映像合成装置。
前記フレーム画像接続部は、前記一の撮影経路における交差点フレーム画像及び当該交差点フレーム画像より手前となる複数のフレーム画像をフェードアウトさせながら前記他の撮影経路の方向に向けて回転させ、前記他の撮影経路における交差点フレーム画像をフェードインさせながら前記一の撮影経路における交差点フレーム画像を前記他の撮影経路における交差点フレーム画像と一致させ、前記一の撮影経路及び前記他の撮影経路において検出された交差点フレーム画像を、前記交差点において連続するように接続する
請求項６記載の映像合成装置。
前記フレーム画像接続部は、前記一の撮影経路における交差点フレーム画像をフェードアウトさせながら前記他の撮影経路の方向に向けて回転させ、前記他の撮影経路における交差点フレーム画像をフェードインさせながら前記一の撮影経路における交差点フレーム画像を前記他の撮影経路における交差点フレーム画像と一致させ、前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続する
請求項７記載の映像合成装置。
前記フレーム画像接続部は、前記一の撮影経路における交差点フレーム画像及び当該交差点フレーム画像より手前となる前記一の撮影経路における複数のフレーム画像をフェードアウトさせながら前記他の撮影経路の方向に向けて回転させ、前記他の撮影経路における交差点フレーム画像及び当該交差点フレーム画像より先になる前記他の撮影経路における複数のフレーム画像をフェードインさせながら前記一の撮影経路の方向に向けて回転させ、前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続する
請求項８記載の映像合成装置。
前記フレーム画像接続部は、前記一の撮影経路における交差点フレーム画像をフェードアウトさせながら前記他の撮影経路の方向に向けて回転させ、前記他の撮影経路における交差点フレーム画像をフェードインさせながら前記一の撮影経路の方向に向けて回転させ、前記一の撮影経路及び前記他の撮影経路において検出された交差点フレーム画像を、前記交差点において連続するように接続する
請求項９記載の映像合成装置。