JP2021044849A - 映像同期装置及び映像同期方法 - Google Patents

Abstract

【課題】さらなる改善を実現する。【解決手段】映像同期装置２００は、処理部と、前記処理部に接続される記憶部とを備える映像同期装置であって、処理部は、複数の第１映像と、複数の第１映像を同期再生するための同期情報と、複数の映像の各々を撮影したカメラの位置及び向きを示すカメラ情報とを取得し、カメラ情報を用いて、複数の第１映像から、カメラの位置間の距離が予め定められた第１距離より短い、又は、カメラの位置間の距離が第１距離より長い、複数の第２映像を選択し、同期情報を用いて、複数の第２映像を同期再生し、複数の第２映像の同期再生中に、カメラ情報を用いて、複数の第２映像の各々のカメラの位置及び向きを表示する。【選択図】図１

Description

本開示は、複数のカメラで撮影された複数の映像を同期させる映像同期装置及び映像同期方法に関する。

近年、デジタルカメラ及びスマートフォンの普及により、同一のシーンが多視点から撮影される機会が多くなっている。また、ソーシャルネットワーキングサービス及び通信網の発達により、多視点から撮影された複数の映像がインターネット上で共有されるようになっている。今後は、誰でも容易にこのような映像を取得できるようになると予想される。このような複数の映像を利用すれば、個人の好みの視点で視聴できる自由視点映像を作り出すことや、被写体の三次元形状を計測し、被写体の三次元モデルを作成することなども、個人が所有するＰＣのソフトウェア又はスマートフォンのアプリで実現できるようになる可能性がある。

しかし、複数の映像又は複数の画像フレームから自由視点映像又は三次元モデルを作成するためには、同一時刻に撮影した複数の映像又は複数の画像フレームを利用する必要がある。ところが、インターネット上で共有され、容易に取得できる複数の映像の大半は同期撮影されていないと推測される。そのため、取得した複数の映像から同一時刻に撮影された映像又は画像フレームを人間が判断しながら抜き出す必要があるが、この作業には多くの労力がかかるため、自動的に複数の映像を同期させる方法が求められる。

従来、複数の映像を同期するために、ある映像における対象フレームの視覚的な特徴点を抽出し、他の映像において類似する特徴点を有するフレームを、対象フレームと同時刻に撮影されたフレームと判定する方法が提案されている（例えば、特許文献１参照）。

特開２０１０−２６８３２５号公報

上記従来の方法は、特徴点を中心とする特定の範囲の画素の色、又は輝度勾配における二乗誤差若しくは絶対誤差などのマッチングにより特徴点の類似を判定するが、これらの方法による特徴点の類似判断は同一フレーム内に視覚的に似た特徴点が複数ある場合などに誤りやすい。その結果、同時刻に撮影されたフレームの判定の誤りにつながり、複数の映像の同期精度が悪くなるという課題を有する。

本開示は、さらなる改善を実現できる映像同期装置又は映像同期方法を提供することを目的とする。

本開示の一態様に係る映像同期装置は、処理部と、前記処理部に接続される記憶部とを備える映像同期装置であって、前記処理部は、複数の第１映像と、前記複数の第１映像を同期再生するための同期情報と、前記複数の映像の各々を撮影したカメラの位置及び向きを示すカメラ情報とを取得し、前記カメラ情報を用いて、前記複数の第１映像から、カメラの位置間の距離が予め定められた第１距離より短い、又は、前記カメラの位置間の距離が前記第１距離より長い、複数の第２映像を選択し、前記同期情報を用いて、前記複数の第２映像を同期再生し、前記複数の第２映像の同期再生中に、前記カメラ情報を用いて、前記複数の第２映像の各々のカメラの位置及び向きを表示する。

本開示は、さらなる改善を実現できる映像同期装置又は映像同期方法を提供できる。

実施の形態１に係る映像同期システムの構成を示す図である。 実施の形態１における同期処理部の構成を示す図である。 マッチング情報を説明する図である。 三角測量の概念図である。 実施の形態１における同期処理部による同期処理のフローチャートである。 実施の形態１におけるマッチング情報修正処理のフローチャートである。 実施の形態１における同期フレーム決定処理のフローチャートである。 実施の形態１における異なる映像に含まれるフレーム間で、同期フレーム候補として抽出された候補の一例を示す図である。 実施の形態１における同期フレーム候補の中から決定された同期フレームの一例を示す図である。 実施の形態１における異なる映像に含まれるフレーム間で、同期フレーム候補として抽出された候補の他の一例を示す図である。 実施の形態１における同期フレーム候補の中から決定された同期フレームの他の一例を示す図である。 実施の形態１における異なる映像に含まれるフレーム間で、同期フレーム候補として抽出された候補の他の一例を示す図である。 実施の形態１における同期フレーム候補の中から決定された同期フレームの他の一例を示す図である。 実施の形態１における異なる映像に含まれるフレーム間で、決定された同期フレームの例を示す図である。 実施の形態１における同期フレームの補間方法の一例を示す図である。 実施の形態１における実施の形態１における同期フレームの決定例（その４）を示す図である。 実施の形態１における実施の形態１における同期フレームの決定例（その４）を示す図である。 実施の形態２における同期フレーム決定処理のフローチャートである。 実施の形態２における同期フレームの決定例を示す図である。 実施の形態２における同期フレームの決定例を示す図である。 映像情報処理システムの構成を示す図である。 カメラ起動時に表示される通知画面の一例を示す図である。 コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 デジタル放送用システムの全体構成図である。 スマートフォンの一例を示す図である。 スマートフォンの構成例を示すブロック図である。

本開示の一態様に係る映像同期装置は、処理部と、前記処理部に接続される記憶部とを備える映像同期装置であって、前記処理部は、第１映像に含まれる第１画像フレームに含まれる第１特徴点と、第２映像に含まれる複数の第２画像フレームの各々に含まれる第２特徴点とを検出する検出ステップと、前記第１特徴点と、前記第１特徴点に類似する第２特徴点との組であるマッチング点を抽出する抽出ステップと、各第２画像フレームの前記マッチング点が、当該第２画像フレームと前記第１画像フレームとの間の第１の幾何学的関係を満たす第１度合いに基づき、前記第１画像フレームと同期させる第２画像フレームを決定する同期ステップとを実行する。

これにより、当該映像同期装置は、マッチング点の三次元空間上における位置関係を考慮して同期フレームを決定するため、精度の良い映像同期処理を実現できる。

例えば、前記抽出ステップでは、前記複数の第２画像フレームの各々に対して、複数の前記マッチング点を抽出し、前記同期ステップは、前記複数の第２画像フレームの各々に対して、各前記マッチング点が、前記第１の幾何学的関係を満たす前記第１度合いを算出し、前記複数のマッチング点から、算出された前記第１度合いが閾値より低いマッチング点を除外する除外ステップと、前記複数の第２画像フレームの各々に対して得られた、除外された後のマッチング点に基づき、前記複数の第２画像フレームから、前記第１画像フレームと同期させる第２画像フレームを決定する決定ステップとを含んでもよい。

これにより、当該映像同期装置は、幾何学的関係を満たさないミスマッチ点を除外した後のマッチング点を用いて同期フレームを決定するため、精度の良い映像同期処理を実現できる。

例えば、前記同期ステップは、さらに、前記複数の第２画像フレームの各々に対して、前記複数のマッチング点の少なくとも一部を用いて前記第１の幾何学的関係を算出する算出ステップを含み、前記除外ステップでは、算出された前記第１の幾何学的関係を前記各マッチング点が満たす前記第１度合いを算出してもよい。

例えば、前記算出ステップでは、複数のマッチング点の少なくとも一部を用いてエピポーラ制約における基礎行列を算出し、前記除外ステップでは、前記基礎行列を用いて、前記各マッチング点が、前記エピポーラ制約を満たす前記第１度合いを算出してもよい。

例えば、前記決定ステップでは、前記除外された後のマッチング点の数が閾値より多い第２画像フレームを前記第１画像フレームと同期させる第２画像フレームに決定してもよい。

例えば、前記同期ステップは、各前記マッチング点の三次元座標を示す三次元復元点を算出するステップと、算出された前記三次元復元点に基づき、前記第１の幾何学的関係を満たす前記第１度合いを算出するステップと、前記複数の第２画像フレームのうち、算出された前記第１度合いが高い第２画像フレームを前記第１画像フレームと同期させる第２画像フレームに決定する決定ステップとを含んでもよい。

これにより、当該映像同期装置は、マッチング点の三次元座標に基づき同期フレームを決定する。これにより、三次元座標の算出が行えない、又は、不適切な三次元座標が算出されるミスマッチ点を除外できるので、精度の良い映像同期処理を実現できる。

例えば、前記第１度合いは、算出された前記三次元復元点の数であり、前記決定ステップでは、前記複数の第２画像フレームのうち、算出された前記三次元復元点の数が多い第２画像フレームを前記第１画像フレームと同期させる第２画像フレームに決定してもよい。

これにより、当該映像同期装置は、マッチング点の三次元座標に基づき同期フレームを決定する。これにより、三次元座標の算出が行えないミスマッチ点を除外できるので、精度の良い映像同期処理を実現できる。

例えば、前記第１度合いは、前記三次元復元点を前記第１画像フレーム及び前記第２画像フレーム上に投影した投影点と前記第１特徴点及び前記第２特徴点との差を示す再投影誤差であり、前記決定ステップでは、前記複数の第２画像フレームのうち、算出された前記再投影誤差が小さい第２画像フレームを前記第１画像フレームと同期させる第２画像フレームに決定してもよい。

これにより、当該映像同期装置は、マッチング点の三次元座標に基づき同期フレームを決定する。これにより、不適切な三次元座標が算出されるミスマッチ点を除外できるので、精度の良い映像同期処理を実現できる。

例えば、前記三次元復元点を算出するステップでは、前記第１映像及び前記第２映像の撮影位置及び撮影方向を算出し、前記算出された前記撮影位置及び前記撮影方向を用いて前記三次元復元を算出し、前記処理部は、さらに、前記撮影位置及び前記撮影方向を出力するステップを実行してもよい。

これにより、例えば、当該映像同期装置は、撮影位置及び撮影方向を用いた同期再生を実現できる。

例えば、前記検出ステップでは、前記第１特徴点及び前記第２特徴点を、被写体の輪郭、輝度差及び色差のうち少なくとも一つに基づき検出してもよい。

例えば、前記検出ステップでは、さらに、第３映像に含まれる複数の第３画像フレームの各々に含まれるに含まれる第３特徴点を検出し、前記抽出ステップでは、さらに、前記第１特徴点と、前記第１特徴点に類似する第３特徴点との組、及び、前記第２特徴点と、前記第２特徴点に類似する第３特徴点との組を前記マッチング点として抽出し、前記同期ステップでは、それぞれが一つの前記第１画像フレーム、前記第２画像フレーム及び前記第３画像フレームから構成される組み合わせごとに、前記第１度合いを算出し、複数の前記組み合わせのうち、算出された前記第１度合いが高い組み合わせに含まれる第１画像フレーム、第２画像フレーム及び第３画像フレームを同期させてもよい。

これにより、当該映像同期装置は、複数の映像の各々から一つずつ選択された画像フレームを含む組み合わせごとに第１度合いを算出し、当該組み合わせ単位で同期フレームを決定できる。これにより、例えば、映像間で１つの同期フレームのみを決定する場合において、処理量を低減できる。

また、本開示の一態様に係る映像同期装置は、第１映像に含まれる第１画像フレームに含まれる第１特徴点と、第２映像に含まれる複数の第２画像フレームの各々に含まれる第２特徴点とを検出する検出部と、前記第１特徴点と、前記第１特徴点に類似する第２特徴点との組であるマッチング点を抽出する抽出部と、各第２画像フレームの前記マッチング点が、当該第２画像フレームと前記第１画像フレームとの間の第１の幾何学的関係を満たす第１度合いに基づき、前記第１画像フレームと同期させる第２画像フレームを決定する同期部とを備える。

これにより、当該映像同期装置は、マッチング点の三次元空間上における位置関係を考慮して同期フレームを決定するため、精度の良い映像同期処理を実現できる。

また、本開示の一態様に係る映像同期方法は、第１映像に含まれる第１画像フレームに含まれる第１特徴点と、第２映像に含まれる複数の第２画像フレームの各々に含まれる第２特徴点とを検出する検出ステップと、前記第１特徴点と、前記第１特徴点に類似する第２特徴点との組であるマッチング点を抽出する抽出ステップと、各第２画像フレームの前記マッチング点が、当該第２画像フレームと前記第１画像フレームとの間の第１の幾何学的関係を満たす第１度合いに基づき、前記第１画像フレームと同期させる第２画像フレームを決定する同期ステップとを含む。

これにより、当該映像同期方法は、マッチング点の三次元空間上における位置関係を考慮して同期フレームを決定するため、精度の良い映像同期処理を実現できる。

また、本開示の一態様に係るシステムは、複数のカメラと、前記複数のカメラにより撮影された複数の映像を同期させる請求項１記載の映像同期装置とを含む。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
まず、本実施の形態に係る映像同期システムの構成を説明する。図１は、本実施の形態に係る映像同期システムの構成を示す図である。

本実施の形態に係る映像同期システム１０は、被写体１０１と、複数のカメラ１００と、複数の映像１１１が入力される映像同期装置２００と、エンドユーザー１０２とを含む。被写体１０１は、例えばバスケットボールの試合シーンである。複数のカメラ１００は被写体１０１を撮影し、撮影した複数の映像１１１を出力する。また、複数のカメラ１００で撮影した複数の映像１１１の一部又は全部がリアルタイムに出力されず、一度メモリ又はクラウドサーバなどの外部記憶装置に記録された後、それらの外部記憶装置から複数の映像１１１が出力されてもよい。複数のカメラ１００の各々は、監視カメラなどの固定カメラであっても、ビデオカメラ、スマートフォン又はウェアラブルカメラなどのモバイルカメラであっても、撮影機能付きドローンなどの移動カメラであってもよい。

以上のように被写体１０１は全体として１以上の種類のカメラ１００により撮影される。撮影された複数の映像１１１が映像同期装置２００の入力部２１０に入力されるように、有線又は無線で入力部２１０自体、又は通信機器或いはサーバなどのハブにそれぞれのカメラ１００が接続される。

映像同期装置２００は入力部２１０、同期処理部２２０及び出力部２３０を備える。映像同期装置２００は、プロセッサ又は論理回路などの処理回路と、内部メモリ又はアクセス可能な外部メモリなどの記録装置とを有するコンピュータシステムを少なくとも備える。映像同期装置２００は、処理回路によるハード実装によって、又は処理回路による、メモリに保持される、或いは外部サーバから配信されるソフトウェアプログラムの実行によって、又はこれらハード実装及びソフト実装の組み合わせによって実現される。

入力部２１０は、複数の映像１１１を受け取ると、複数の映像１１１に対して、前処理を行う。前処理は、例えば明るさ調整、ノイズ除去、複数の映像間で解像度を揃えるための解像度変換、フレームレートを揃えるためのフレーム変換、又はこれらの組み合わせである。入力部２１０は、前処理された複数の映像１１２を内部又は外部メモリに保持し、所定時間又は所定フレーム数など一定区間ごとに同期処理部２２０に対して前処理された映像１１２を出力する。

この一定区間は、予め定められたものであっても、フレームレート又は解像度などの所定条件に応じて設定されるものであっても、ユーザによりフレキシブルに設定変更されるものであってもよい。また、一定区間は、例えば予め定められた時間分の信号区間、又は予め定められた数のフレームを含む信号区間であるが、信号の全区間であってもよく、この場合、入力部２１０は全映像信号を出力する。

同期処理部２２０は、入力された複数の映像１１２に同期情報１１３を与え、同期情報１１３とともに複数の映像１１２を出力部２３０に出力する。同期処理部２２０は同期情報１１３が付加された複数の映像１１２に加えて、同期情報１１３の算出の際に推定したカメラ情報１１４を出力部２３０に出力することも可能である。同期情報１１３は、例えば複数の映像１１２において同時刻に撮影されたフレーム番号又は撮影開始時刻のずれを示す情報である。カメラ情報１１４とは、カメラの位置、カメラの向き、及びカメラの内部パラメータ(焦点距離及びレンズ歪み係数など)である。

出力部２３０は、同期情報１１３が付された複数の映像を受け取ると、同期情報１１３及びカメラ情報１１４を用いて、複数の映像１１２を同期再生する。なお、この際、カメラ位置が互いに近いもしくは遠いカメラで撮影された映像のみを同期再生するなどの映像選択も可能である。また、出力部２３０は、同期情報１１３を用いて、同期対象である、互いに異なる映像に含まれる２以上のフレーム間でマッチング点を検出し、各フレームにおけるマッチング点の座標から三次元空間上の座標を計算して三次元映像を生成し、生成された三次元映像を再生することもできる。この際、三次元映像にカメラ位置や向きなどの情報を追加し、どの位置や向きから映像が撮影されたかが視覚的表示された三次元映像を生成することも可能である。また、三次元映像の生成では同期情報１１３の算出の際に推定したカメラ情報１１４を利用し、視体積交差法やマルチビューステレオ法などの手法により三次元映像を生成することもできる。さらに、出力部２３０は、複数の映像１１２を一つの映像につなぎ合わせたパノラマ映像を生成することにより、エンドユーザーに複数の映像１１２を提示してもよい。生成されたこれらの映像は映像同期装置２００が備えるディスプレイ、又は有線或いは無線を介して映像同期装置２００に接続されるディスプレイに表示されることによりエンドユーザー１０２に提示される。また生成した映像がネットワーク経由でエンドユーザー１０２の端末に配信されてもよい。

図２は本実施の形態における同期処理部２２０の構成を示すブロック図である。同期処理部２２０は特徴量抽出部２２１と同期情報取得部２２２とを備える。

特徴量抽出部２２１は、フレーム取得部２３１、特徴点検出部２３２、特徴点マッチング部２３３、及びマッチング情報修正部２３４を備える。

フレーム取得部２３１は、入力部２１０から一定区間の複数の信号である複数の映像１１２を受け取ると、当該複数の映像１１２から１以上のフレーム１２１（画像フレーム）をそれぞれ抽出する。

特徴点検出部２３２は、抽出された各フレーム１２１における特徴点を検出し、検出した特徴点を示す特徴点情報１２２を出力する。特徴点は、フレームに含まれる物体の輪郭、物体或いは空間の角、又はフレーム平面における物体同士の交差点のような、点、エッジ、又は一定領域とその周囲との輝度或いは色合いの差が大きい点、辺、又は一定領域を示す。特徴点情報１２２は、特徴点を略中心とする又は特徴点を含む特定の範囲の画素に対する色又は輝度勾配の分布をベクトルで表現したものである。なお、特徴点及び特徴点情報１２２は、他の画像情報であって、例えばテクスチャ情報又は周波数変換後の情報を用いて検出されるものでも構わない。

特徴点マッチング部２３３は、検出された特徴点情報１２２を受け取ると、互いに異なる映像から抽出された２つのフレームにそれぞれ含まれる特徴点であって、特徴点情報１２２が類似する特徴点を特徴点対として導出する。さらに特徴点マッチング部２３３は、特徴点対の二次元フレーム上の各座標を算出し、算出された座標を示すマッチング情報１２３を出力する。また、類似する特徴点対をマッチング点と呼ぶ。特徴点マッチング部２３３は、２つの特徴点情報１２２が類似するか否かを当該２つの特徴点情報１２２の二乗誤差又は絶対誤差を用いて判定する。

図３を用いてマッチング情報１２３について説明する。図３は被写体である立方体を２つのカメラで撮影した例を示す。カメラ１により撮影された映像に含まれるフレーム１とカメラ２により撮影された映像に含まれるフレーム２との間のマッチング情報１２３には、２つのフレーム間での全てのマッチング点の各フレームでの座標が含まれる。マッチング情報１２３にはマッチング点１及びマッチング点２のように正しくマッチングされたマッチング点に加え、マッチング点３のようにミスマッチングされたマッチング点が含まれる可能性がある。

マッチング情報修正部２３４は、算出されたマッチング情報１２３を受け取ると、マッチング情報１２３に含まれるマッチング点から８点を無作為に抽出し、抽出した８点のマッチング点が下記の（式１）を満たすように３×３の基礎行列Ｆを求める。

ここで、ｘ１ｉ（ｉ＝１〜８）は一方のフレームから抽出した８点のマッチング点のフレーム上での座標を示す列ベクトルであり、ｘ２ｉはもう一方のフレームから抽出した８点のマッチング点のフレームでの座標を示す列ベクトルである。また、Ｔはベクトルの転置を示す記号である。基礎行列Ｆは自由度８の３×３の行列であるため、マッチング点を８点以上利用することにより基礎行列Ｆを線形問題として計算可能である。また、マッチング点を７点以下利用することにより基礎行列Ｆを非線形問題として計算することも可能である。

（式１）は未校正カメラのエピポーラ制約と呼ばれるもので、未校正カメラのエピポーラ制約を用いることにより、正しくマッチングされた点である８点から、正確な基礎行列Ｆを算出することが可能である。正確な基礎行列Ｆであれば８点以外の正しくマッチングされた点においても（式１）は成り立つ。しかし、ミスマッチングされたマッチング点に対して（式１）を適用すると、（式１）の左辺の計算結果である評価値が０よりも大きくなる。評価値は０に近いほど、マッチング点は正しくマッチングされていることを示す。

よって、マッチング情報修正部２３４は、エピポーラ制約を利用し、評価値が所定の閾値以上の値となるマッチング点をミスマッチング点とみなすことにより、マッチング点の中からミスマッチング点を検出できる。閾値は、予め定められた固定の値であってもよいし、解像度、画像サイズ、求められる精度、或いは処理に関する制限時間に応じて、又はユーザによる設定に応じて可変であってもよい。

しかし、基礎行列Ｆを算出する際に利用する８点のマッチング点の中にミスマッチング点があると、正確な基礎行列Ｆを算出することはできない。このため、マッチング情報修正部２３４は、上記基礎行列Ｆを算出し、ミスマッチング点を検出する過程を所定回数行う。マッチング情報修正部２３４は、ミスマッチング点の数が最も少なくなる基礎行列Ｆを正確な基礎行列Ｆと判定し、その基礎行列Ｆを用いて改めてマッチング点の中からミスマッチング点を検出する。そして、マッチング情報修正部２３４は、ミスマッチング点とみなされた点をマッチング情報から除くことによりマッチング情報を修正する。基礎行列Ｆを算出し、ミスマッチング点を検出する回数は、固定であっても映像の特質又はユーザの設定に応じて可変であってもよい。

マッチング情報修正部２３４は、このようにエピポーラ幾何を用いて必要な場合にマッチング情報１２３を修正し、修正したマッチング情報１２４と基礎行列Ｆを出力する。なお、マッチング情報修正部２３４は、エピポーラ幾何の代わりに、例えば３×３の平面射影行列Ｈを用いた値Ｈｘ１−ｘ２の絶対値を評価値として用い、評価値が所定の閾値以下の値となるマッチング点をミスマッチング点とみなし、ミスマッチング点とみなされた点を除くことでマッチング情報１２３を修正してもよい。当該閾値も固定であっても映像の特質に応じて、又はユーザによる設定に応じて可変であってもよい。また、マッチング情報修正部２３４は、全てのマッチングした２点間において、ベクトルｘ１−ｘ２を求め、そのベクトルの方向又は大きさが他のベクトルと所定値以上異なるマッチング点をミスマッチング点とみなすことにより、マッチング情報１２３を修正してもよい。

同期情報取得部２２２は、三次元再構成部２４１、同期フレーム候補抽出部２４２、及び同期フレーム決定部２４３を備える。三次元再構成部２４１は、マッチング情報修正部２３４から出力されたマッチング情報１２４と基礎行列Ｆを受け取ると、まずは、基礎行列Ｆを利用して異なる映像から得られた２つのフレーム間における基本行列Ｅを（式２）から求める。

ここで、Ｋ１及びＫ２は２つのフレームに対応する２つのカメラの焦点距離及びフレーム上の二次元座標の中心位置などのパラメータの値を示すカメラの内部行列である。また、Ｍ−１は行列Ｍの逆行列を示す。カメラの内部行列Ｋ１及びＫ２は映像を撮影する前に設定され、映像同期装置２００はカメラ１００から内部行列Ｋ１及びＫ２を取得する。または、三次元再構成部２４１は、内部行列Ｋ１及びＫ２を映像から推定してもよい。（式３）に示すように、基本行列Ｅは回転行列Ｒと並進ベクトルＴに分解することができる。回転行列Ｒは２つのカメラの方向を示し、並進ベクトルＴは２つのカメラの位置を示す。

三次元再構成部２４１は、基本行列Ｅから回転行列Ｒと並進ベクトルＴを算出し、回転行列Ｒと並進ベクトルＴを用いて三角測量の原理によりマッチング点の三次元空間での座標を計算する。

図４を用いて三角測量の原理を簡潔に説明する。図４は、マッチング点の三次元空間の座標Ｘ、ある１つのカメラ中心の三次元空間の座標Ｃ１、及び他のカメラ中心の三次元空間の座標Ｃ２を示す。

三角形ＸＣ１Ｃ２の底辺Ｃ１Ｃ２の距離とその両端の２角∠Ｃ１及び∠Ｃ２の角度が分かれば、頂点の位置を計測可能である。ここで並進ベクトルＴを求めることは、底辺Ｃ１Ｃ２の距離及び方向を示すベクトルを求めることと同じである。回転行列Ｒを求めることは、２角∠Ｃ１及び∠Ｃ２の角度及びその向きを求めることと同じである。三次元再構成部２４１は、全てのマッチング点について、三次元空間での座標を推定し、推定情報１２５を出力する。

ここでマッチング点は、マッチング情報修正部２３４において、必要に応じて修正されたマッチング情報１２４に含まれる点である。

推定情報１２５は、例えば三次元復元点数、合計再投影誤差又は平均再投影誤差である。三次元復元点数は、三角測量の原理に基づき三次元空間での座標を計算されるマッチング点の数である。また、再投影誤差は、推定された三次元復元点を二次元のフレーム上に投影し、投影されたフレーム上の座標と、マッチング点のオリジナルフレーム上での座標との距離を示す。各マッチング点に対して再投影誤差を加算したものが合計再投影誤差であり、平均をとったものが平均再投影誤差である。なお、マッチング点が正しくない場合には、三次元復元点が算出されない、又は、合計再投影誤差或いは平均再投影誤差が大きくなる。

なお、三次元再構成部２４１は、マッチング点の三次元空間での座標を推定する際、全てのマッチング点について、三次元空間での座標を推定した後、各三次元復元点の再投影誤差を求め、再投影誤差が所定値以上の大きさとなる三次元復元点は除外してもよい。つまり、三次元再構成部２４１は、再投影誤差が所定値未満の三次元復元点に対して、三次元復元点数、合計再投影誤差又は平均再投影誤差を算出し、算出結果を示す推定情報１２５を出力してもよい。

また、三次元再構成部２４１は、上記処理において算出した、カメラの位置及びカメラの向きを含むカメラ情報１１４を出力する。

同期フレーム候補抽出部２４２は、受け取った推定情報１２５を基に同期フレーム候補１２６を抽出する。推定情報１２５として三次元復元点数を利用される場合、三次元復元点数が多いフレームのペアは同期しているフレームである可能性が高いという仮定に基づき、同期フレーム候補抽出部２４２は、三次元復元点数が所定数以上のフレームのペアを同期フレーム候補１２６として抽出する。閾値となる所定値は、予め定められる固定数であっても、サイズ或いは画質といった画像の特質に応じて、又はユーザの設定に応じて変化する変数であってもよい。また、推定情報１２５として合計再投影誤差又は平均再投影誤差が利用される場合、合計再投影誤差又は平均再投影誤差の小さなフレームのペアは同期しているフレームである可能性が高いという仮定に基づき、同期フレーム候補抽出部２４２は、再投影誤差が所定値以下のフレームのペアを同期フレーム候補として抽出する。この所定値も同様に一定に設定されるものであっても、任意に設定されるものであっても構わない。

なお、同期フレーム候補抽出部２４２は、推定情報１２５として、三次元復元点数と合計再投影誤差又は平均再投影誤差との両方を用いても構わない。例えば、同期フレーム候補抽出部２４２は、三次元復元点数が所定数以上であり、かつ合計再投影誤差又は平均再投影誤差が所定値以下となるフレームのペアを同期フレーム候補として抽出してもよい。

同期フレーム決定部２４３は、抽出された同期フレーム候補１２６の中から同期フレームを決定し、決定結果を同期情報１１３として複数の映像１１２と関連付けて出力する。具体的な決定方法は、後述する。

次に、図５、図６及び図７を用いて、同期処理部２２０の処理フローの例を説明する。以降では３つのカメラＣ１、Ｃ２、Ｃ３から映像Ｖ１’、Ｖ２’、Ｖ３’が入力部２１０に入力され、映像の明るさの調整及びノイズ除去などの前処理の後、一定区間に分割された映像Ｖ１、Ｖ２、Ｖ３が、同期処理部２２０に入力される場合について説明する。

図５は、同期処理部２２０の処理フロー例を示す。まず、フレーム取得部２３１は映像Ｖ１、Ｖ２、Ｖ３をフレームにそれぞれ分解する（ステップＳ１１）。ここでは例として映像Ｖ１、Ｖ２、Ｖ３はそれぞれ５枚のフレームＶ１＿１〜Ｖ１＿５、Ｖ２＿１〜Ｖ２＿５、Ｖ３＿１〜Ｖ３＿５に分解されるとする。

次に、特徴点検出部２３２はそれぞれのフレームにおいて特徴点を検出し、特徴点情報１２２を抽出する（ステップＳ１２）。特徴点マッチング部２３３は、互いに異なる映像に属するフレームであって、マッチング処理がまだ行われていない２フレームを選択する（ステップＳ１３）。例えば、フレームＶ１＿１とＶ１＿２は同じ映像の２フレームであるため、この組み合わせは選択されず、フレームＶ１＿１とＶ２＿１は異なる映像の２フレームであるため、この組み合わせは選択候補である。

続いて、特徴点マッチング部２３３は、選択された２フレーム間の特徴点情報１２２を比較することでマッチング点を検出し、マッチング点を示すマッチング情報１２３を生成する（ステップＳ１４）。次に、マッチング情報修正部２３４は、フレーム間の幾何学的関係に基づき、マッチング情報１２３を修正する（ステップＳ１５）。ステップＳ１３〜Ｓ１５は、互いに異なる映像に属する２フレームの組み合わせパターン数分繰り返される。

次に、同期情報取得部２２２は、修正されたマッチング情報１２４を用いて、フレーム間の幾何学的関係に基づき同期フレームを決定する（ステップＳ１６）。

図６は、マッチング情報修正部２３４によるマッチング情報修正処理（図５のステップＳ１５）のフロー例を示す。

まず、マッチング情報修正部２３４は、マッチング情報１２３で示される複数のマッチング点の座標から、２フレームにおけるマッチング点間の基礎行列Ｆを計算する（ステップＳ２１）。次に、マッチング情報修正部２３４は、未処理のマッチング点を選択する（ステップＳ２２）。マッチング情報修正部２３４は、選択したマッチング点がフレーム間の幾何学的関係であるエピポーラ制約を満たすかを判定する（ステップＳ２３）。具体的には、マッチング情報修正部２３４は、（式１）で示すエピポーラ拘束式（エピポーラ制約）の右辺の値が所定値以上であるかを判定する。（式１）の右辺の値が所定値以上の場合（ステップＳ２３でＹｅｓ）、マッチング情報修正部２３４は、マッチング情報１２３から選択中のマッチング点を除外することでマッチング情報１２３を修正する（ステップＳ２４）。ステップＳ２２〜Ｓ２４は、マッチング点の数分繰り返される。

上記処理により、検出されたマッチング点の中で座標位置関係がエピポーラ幾何に従わないミスマッチングと思われるマッチング点を除くことで、フレーム選択の精度を向上させることができる。

図７は同期情報取得部２２２による同期フレーム決定処理（図５のステップＳ１６）のフロー例を示す。三次元再構成部２４１は、互いに異なる映像に属するフレームであって、推定情報１２５が抽出されていない２フレームを選択する（ステップＳ３１）。続いて、三次元再構成部２４１は、選択された２フレームにおける修正したマッチング情報１２４と基礎行列Ｆを用いて、２フレーム間における基本行列Ｅを求め、基本行列Ｅから回転行列Ｒと並進ベクトルＴを導出する（ステップＳ３２）。

三次元再構成部２４１は、回転行列Ｒと並進ベクトルＴを用いて、修正したマッチング情報１２４に含まれるマッチング点の三次元空間での座標を推定し、これらの座標の関係から得られる推定情報１２５を抽出する（ステップＳ３３）。推定情報１２５は、例えば、三次元復元点、合計再投影誤差或いは平均再投影誤差、又はこれらの組み合わせである。

同期フレーム候補抽出部２４２は、推定情報１２５が同期条件を満たすかを判定する（ステップＳ３４）。推定情報１２５が同期条件を満たす場合（ステップＳ３４でＹｅｓ）、同期フレーム候補抽出部２４２は、選択した２フレームを同期フレーム候補１２６に決定する（ステップＳ３５）。ここでの同期条件とは、推定情報１２５である三次元復元点数が所定値以上、又は／及び合計再投影誤差或いは平均再投影誤差が所定値以下という条件である。次に、同期フレーム決定部２４３は、同期フレーム候補１２６から同期フレームを決定する（ステップＳ３６）。ステップＳ３１〜Ｓ３５は、互いに異なる映像に属する２フレームの組み合わせパターン数分繰り返される。

図８Ａ〜図１０Ｂを用いて、同期フレーム決定部２４３における同期フレームの決定方法を説明する。図８Ａ〜図１０Ｂにおける１５個の矩形は１５個のフレームＶ１＿１〜Ｖ１＿５、Ｖ２＿１〜Ｖ２＿５、及びＶ３＿１〜Ｖ３＿５を示す。破線を用いて繋がれたフレームは、同期フレーム候補抽出部２４２において抽出された同期フレーム候補１２６を示す。実線を用いて繋がれたフレームは、同期フレーム決定部２４３において決定された同期フレームを示す。

図８Ａに示すように、ある同期フレーム候補として選択された２フレームのいずれもがその他のフレームとの間で同期フレーム候補として選択されていない場合には、同期フレーム決定部２４３は、図８Ｂに示すように、同期フレーム候補をそのまま同期フレームに決定する。

図９Ａに示すように、ある同期フレーム候補として選択されたいずれかのフレームが、その他のフレームと、他の同期フレーム候補として選択されている場合は、同期フレーム決定部２４３は、図９Ｂに示すように、関連する全てのフレームを同期フレームと決定する。例えば、フレームＶ１＿１とＶ２＿１は第１の同期フレーム候補であり、フレームＶ２＿１とＶ３＿２は第２の同期フレーム候補である。この場合、フレームＶ１＿１とＶ３＿２とは同期フレーム候補として選択されていなくても、関連フレームであるＶ１＿１、Ｖ２＿１、Ｖ３＿２の３つのフレームが同期フレームとして決定される。

ただし、図１０Ａに示すように、関連フレームが最大映像数である３以上ある場合、つまり同じ映像に属するフレーム（例えば、Ｖ１＿１とＶ１＿２）が関連フレームに含まれる場合、図１０Ｂに示すように、関連フレームＶ１＿１、Ｖ１＿２、Ｖ２＿１、Ｖ３＿２において、同じ映像に属するフレームの内１つのみ（例えばＶ１＿１）が選択され同期フレームが決定される。または、図１０Ｂに示すように、同じ映像に属するフレーム（例えばＶ１＿３、Ｖ１＿５）を除いて同期フレームが決定されてもよい。

また、同期フレーム決定部２４３は、関連フレームに同じ映像に属する複数のフレームが存在し、そのうちの１つを同期フレームとして選択する場合、他の関連フレームそれぞれとの関係で合計再投影誤差又は平均再投影誤差がより小さくなるフレームを選択したり、三次元復元点数がより多くなるフレームを選択したりしてもよい。これにより、同期フレーム決定部２４３は、その他の関連フレームとの関係で推定情報１２５がよりマッチング度合いが高いことを示すフレームを選択することができる。

また、同期フレーム決定部２４３は、単純に他の映像に属する関連フレームとの関係に基づき、フレームに付与されている時間情報が時間的に近いフレームを選択するなど一定条件に基づいてフレームを選択してもよい。または、同期フレーム決定部２４３は、カメラ位置が近いフレームを選択してもよい。これにより、処理負荷を軽減することができる。

前述した同期フレームの決定方法は、映像のフレームレートが可変である場合、つまり一連の映像において互いにフレームレートが異なる区間を含む場合に、一定区間内の全フレームの組み合わせに対して同期条件を検討するため有効である。なお、それぞれの映像のフレームレートが固定である場合、つまり一連の映像においてフレームレートが変更されることなく一定である場合は、２つの映像における同期フレームとして１つのフレームペアが定まれば、その他の同期フレームを補間することが可能である。

図１１Ａ及び図１１Ｂは同期フレームの補間方法の一例を示す図である。図１１Ａに示すように、同期フレーム決定部２４３が、Ｖ１＿１とＶ２＿１とを、同期フレームと決定したと仮定する。映像Ｖ１とＶ２のフレームレートが固定であり、映像Ｖ１のフレームレートが１５ｆｐｓであり、映像Ｖ２のフレームレートがその２倍である３０ｆｐｓであったとすると、同期フレーム決定部２４３は、図１１Ｂに示すように、Ｖ１＿２とＶ２＿３とを同期フレームに決定し、Ｖ１＿３とＶ２＿５とを同期フレームと決定し、同期フレームを補間することが可能である。つまり、同期フレーム決定部２４３は、一つの同期フレームを基準として、映像Ｖ１と映像Ｖ２とのフレームレートの比率に応じて、複数の同期フレームを決定してもよい。そのため、推定情報１２５に基づき、２以上の映像にまたがって決定される同期フレームは１つだけに限定されても良い。

図１２Ａ及び図１２Ｂを用いて、この具体例を説明する。例えば、同期フレーム候補Ｖ１＿１とＶ２＿１の推定情報１２５である三次元復元点数が、同期フレーム候補Ｖ１＿５とＶ２＿４の推定情報１２５である三次元復元点数よりも多い場合は、同期フレーム決定部２４３は、同期フレーム候補Ｖ１＿１とＶ２＿１をフレームペアとして選択し、同期フレームをこの１ペアのみに限定して決定する。同様に、同期フレーム候補Ｖ１＿１とＶ２＿１の推定情報１２５である合計再投影誤差又は平均再投影誤差が、同期フレーム候補Ｖ１＿５とＶ２＿４の推定情報である合計再投影誤差又は平均再投影誤差よりも小さい場合は、同期フレーム決定部２４３は、同期フレーム候補Ｖ１＿１とｖ２＿１とを同期フレームとして決定し、Ｖ１＿５とＶ２＿４とは同期フレームとして決定しない。

このように、フレームレートの情報を用いれば、映像データの全信号区間で常に同期処理を行う必要はなく、ある一定区間で同期されれば、次のＩピクチャのタイミング、又はシーンチェンジのタイミングのような映像の特徴に応じて同期処理を適応的に行ってもよい。なお、予め定められた時間間隔で定期的に同期処理が行われてもよい。

このように、本実施の形態における映像同期装置２００の構成によれば、マッチング点の三次元空間上の座標を用いることで、ミスマッチングの影響を抑えた同期フレームの決定ができ、映像同期の精度を高めることができる。また、フレーム毎に同期する他の映像に属するフレームを検出するため、フレームレートが可変である複数の映像に対しても同様に、同期情報を付与することが可能である。上記では、一定区間に予め限定することで、当該区間に属する全てのフレームの同期候補を選択する処理を行う例を説明したが、映像に付与されている時刻情報を用いて、候補を選択する際に検討するフレーム数を限定してもよい。

（実施の形態２）
次に同期処理部２２０が同期情報を出力するときの実施の形態２について説明する。図１３に本実施の形態における同期情報取得部２２２による同期フレーム決定処理（図５のＳ１６）のフローを示す。特徴量抽出部２２１のフローは図５に示す実施の形態１の処理フローＳ１１〜Ｓ１５と同様である。そこで、以下では同期情報取得部２２２の処理フローＳ４１〜Ｓ４６について説明する。

ステップＳ４１〜Ｓ４６では、同期情報取得部２２２は、図７のステップＳ３１〜Ｓ３６のように異なる映像に属する２フレーム毎にマッチング点の三次元空間上の座標を求めるのではなく、全ての映像からフレームをそれぞれ１枚ずつ選択し、３以上のフレームを用いてマッチング点の三次元空間上の座標を求める。

三次元再構成部２４１は、まず、推定情報未抽出のフレームの組み合わせを選択する（ステップＳ４１）。この際、フレームの組み合わせとして全ての映像から１フレームずつ選択される。

続いて、三次元再構成部２４１は、マッチング情報修正部２３４から得られる修正したマッチング情報１２４と基礎行列Ｆを用いて、選択した全てのフレームの各々の間の基本行列Ｅを求め、各基本行列Ｅから回転行列Ｒと並進ベクトルＴを得る（ステップＳ４２）。

三次元再構成部２４１は、選択した全てのフレーム間における回転行列Ｒと並進ベクトルＴが得られると、選択した全てのフレームを用いて三角測量の原理によりマッチング情報１２４に含まれるマッチング点の三次元空間での座標を推定し、三次元復元点、合計再投影誤差又は平均再投影誤差などの推定情報１２５を抽出する（ステップＳ４３）。このステップで推定されるマッチング点の三次元空間での座標は３以上のフレームを用いて推定されているため、実施の形態１のように２フレームを用いて推定されるマッチング点の三次元空間での座標に比べて、より正確な座標である。

同期フレーム候補抽出部２４２は、推定情報１２５が同期条件を満たすかを判定する（ステップＳ４４）。推定情報１２５が同期条件を満たす場合（ステップＳ４４でＹｅｓ）、同期フレーム候補抽出部２４２は、以前の同期フレーム候補を削除し、選択中の全フレームを新たな同期フレーム候補に決定し（ステップＳ４５）、同期条件を更新する（ステップＳ４６）。

同期条件とは、実施の形態１と同様、推定情報１２５である三次元復元点数が一定値以上、又は、合計再投影誤差或いは平均再投影誤差が一定値以下などの条件である。

同期条件の更新とは、同期条件で利用する一定値を推定情報１２５に置き換えることである。例えば、平均再投影誤差が１．２以下という同期条件があり、選択中のフレームを用いて算出された平均再投影誤差が０．９であった場合、選択中のフレームは同期条件を満たすため、これらの選択中のフレームが同期フレーム候補に決定され、同期条件は平均再投影誤差が０．９以下という条件に更新される。

ステップＳ４１〜Ｓ４６については、全ての映像からそれぞれ１フレームを取得し、処理を行うので、フレーム数と映像数の乗算分、繰り返される。ステップＳ４１〜Ｓ４６を全組み合わせ分繰り返すことにより、推定情報１２５として三次元復元点数が利用される場合は、三次元復元点数が最も多くなるフレームの組み合わせが同期フレームの候補に決定される。また、推定情報１２５として合計再投影誤差又は平均再投影誤差が用いられる場合は、合計再投影誤差又は平均再投影誤差が最も小さくなるフレームの組み合わせが同期フレームの候補に決定される。

図１４Ａ及び図１４Ｂに示すように、同期フレーム候補は１つの組み合わせに定まるため、同期フレーム決定部２４３は同期フレーム候補を同期フレームに決定する（ステップＳ４７）。なお、本実施の形態では、ステップＳ４１〜Ｓ４６を全組み合わせ分繰り返すことにより、同期フレームの候補を決定するようにしたが、推定情報１２５である三次元復元点数、合計再投影誤差又は平均再投影誤差が一定の条件を満たした時点で同期フレーム候補の探索を終了するようにしても構わない。例えば、あるフレームの組合せの推定情報１２５である三次元復元点数がある所定数以上の値になれば、そのフレームの組合せを同期フレーム候補として探索を終了することにより、処理量を抑制しつつ、同期フレームを決定することができる。また、あるフレームの組合せの推定情報である合計再投影誤差又は平均再投影誤差がある所定数以下の値になれば、そのフレームの組合せを同期フレーム候補として探索を終了することにより、処理量を抑制しつつ、同期フレームを決定することができる。

このように、本実施の形態によれば、全ての映像から１つずつフレームを取得し、取得した全てのフレームを用いてマッチング点の三次元座標を推定するため、２フレームを用いた三次元座標推定より、精度よくマッチング点の三次元空間での座標を推定できる。そして、より精度の良いマッチング点の三次元空間での座標を基に推定情報１２５を抽出できる。その結果、映像同期の精度を高めることができる。また、同期フレーム候補が１つの組み合わせに定まるため、実施の形態１よりも低処理量で同期フレームを決定することができる。実施の形態２は特に、映像を撮影した時刻が類似しており、全ての映像のフレームレートが固定である際に有効である。

なお、実施の形態１及び２ともに修正したマッチング点の三次元空間上での座標を推定し、推定情報１２５を同期フレーム候補抽出部２４２へ入力するようにしたが、代わりに、マッチング情報修正部２３４から得られる修正したマッチング情報１２４を推定情報１２５として同期フレーム候補抽出部２４２へ入力してもよい。修正したマッチング情報１２４はステップＳ１５で基礎行列Ｆを用いて簡易的ではあるがエピポーラ幾何学的に対応しないマッチング点を排除しているものであるので、従来の単純なマッチングによる同期方法よりも精度が高く、実施の形態１及び２よりも低処理量な同期処理を実現できる。

つまり、図５に示すステップＳ１６において、修正したマッチング情報１２４に対して、従来と同様の処理が行われてもよい。例えば、同期フレーム候補抽出部２４２は、マッチング点が多い、又はマッチング点の二乗誤差或いは絶対誤差が小さいフレームを同期フレームに決定してもよい。

また、マッチング情報の修正処理（図５のステップＳ１５）が行われずに、修正前のマッチング情報１２３を用いてフレーム間の幾何学的関係に基づく同期フレーム決定処理（図５のステップＳ１６）が行われてもよい。

以上のように、実施の形態１及び２に係る映像同期装置２００は、処理部と、当該処理部に接続される記憶部とを備える。処理部は、第１映像に含まれる第１画像フレームに含まれる第１特徴点と、第２映像に含まれる複数の第２画像フレームの各々に含まれる第２特徴点とを検出する検出ステップ（図５のＳ１２）と、第１特徴点と、第１特徴点に類似する第２特徴点との組であるマッチング点を抽出する抽出ステップ（図５のＳ１４）と、各第２画像フレームのマッチング点が、当該第２画像フレームと第１画像フレームとの間の第１の幾何学的関係を満たす第１度合いに基づき、第１画像フレームと同期させる第２画像フレームを決定する同期ステップ（図５のＳ１５及び／又はＳ１６）とを実行する。ここで、第１の幾何学的関係を用いた同期ステップとは、上述したマッチング情報の修正処理（図５のステップＳ１５）、及び、同期フレーム決定処理（図５のステップＳ１６）の少なくとも一方を含む。

これにより、映像同期装置２００は、マッチング点の三次元空間上における位置関係を考慮して同期フレームを決定するため、精度の良い映像同期処理を実現できる。

例えば、上記同期ステップにおいて、上述したマッチング情報の修正処理（図５のステップＳ１５）が行われてもよい。つまり、抽出ステップでは、複数の第２画像フレームの各々に対して、複数のマッチング点を抽出する。また、図６に示すように、同期ステップ（Ｓ１５）は、複数の第２画像フレームの各々に対して、各マッチング点が、第１の幾何学的関係を満たす第１度合いを算出し、複数のマッチング点から、算出された第１度合いが閾値より低いマッチング点を除外する除外ステップ（Ｓ２３、Ｓ２４）と、複数の第２画像フレームの各々に対して得られた、除外された後のマッチング点に基づき、複数の第２画像フレームから、第１画像フレームと同期させる第２画像フレームを決定する決定ステップ（Ｓ１６）とを含む。

これにより、映像同期装置２００は、幾何学的関係を満たさないミスマッチ点を除外した後のマッチング点を用いて同期フレームを決定するため、精度の良い映像同期処理を実現できる。

具体的には、同期ステップ（Ｓ１５）は、さらに、複数の第２画像フレームの各々に対して、複数のマッチング点の少なくとも一部を用いて第１の幾何学的関係を算出する算出ステップ（Ｓ２１）を含む。除外ステップ（Ｓ２３）では、算出された第１の幾何学的関係を各マッチング点が満たす第１度合いを算出する。

例えば、第１の幾何学的関係は、エピポーラ制約であり、算出ステップ（Ｓ２１）では、複数のマッチング点の少なくとも一部を用いてエピポーラ制約における基礎行列Ｆを算出する。除外ステップ（Ｓ２３）では、基礎行列Ｆを用いて、各マッチング点が、エピポーラ制約を満たす第１度合いを算出する。具体的には、第１度合いとして（式１）の右辺の値が算出される。なお、上述したように、第１の幾何学的関係は、平面射影行列又はマッチング点間のベクトル等であってもよい。

また、決定ステップ（Ｓ１６）では、除外された後のマッチング点の数が閾値より多い第２画像フレームを第１画像フレームと同期させる第２画像フレームに決定してもよい。

または、上記同期ステップにおいて、上述した同期フレーム決定処理（図５のステップＳ１６）が行われてもよい。つまり、図７に示すように、同期ステップ（Ｓ１６）は、各マッチング点の三次元座標を示す三次元復元点を算出するステップ（Ｓ３３）と、算出された三次元復元点に基づき、第１の幾何学的関係を満たす第１度合い（推定情報１２５）を算出するステップ（Ｓ３４）と、複数の第２画像フレームのうち、算出された第１度合いが高い第２画像フレームを第１画像フレームと同期させる第２画像フレームに決定する決定ステップ（Ｓ３４、Ｓ３５）とを含む。例えば、第１度合いが最も高い、又は閾値以上の第２画像フレームが選択される。

これにより、映像同期装置２００は、マッチング点の三次元座標に基づき同期フレームを決定する。これにより、三次元座標の算出が行えない、又は、不適切な三次元座標が算出されるミスマッチ点を除外できるので、精度の良い映像同期処理を実現できる。

また、第１度合い（推定情報１２５）は、算出された三次元復元点の数であり、決定ステップ（Ｓ３４）では、複数の第２画像フレームのうち、算出された三次元復元点の数が多い第２画像フレームを第１画像フレームと同期させる第２画像フレームに決定してもよい。例えば、三次元復元点の数が最も多い、又は閾値以上の第２画像フレームが選択される。

または、第１度合いは、三次元復元点を第１画像フレーム及び第２画像フレーム上に投影した投影点と第１特徴点及び第２特徴点との差を示す再投影誤差であり、決定ステップ（Ｓ３４）では、複数の第２画像フレームのうち、算出された再投影誤差が小さい第２画像フレームを第１画像フレームと同期させる第２画像フレームに決定してもよい。例えば、再投影誤差が最も小さい、又は閾値以下の第２画像フレームが選択される。

または、同期ステップでは、上述したマッチング情報の修正処理（図５のステップＳ１５）、及び、同期フレーム決定処理（図５のステップＳ１６）の両方が行われてもよい。

また、三次元再構成部２４１で推定したカメラ情報１１４を同期処理部２２０の出力に加えてもよい。つまり、三次元復元点を算出するステップ（Ｓ３２、Ｓ３３）では、第１映像及び第２映像の撮影位置及び撮影方向（カメラ情報１１４）を算出し、算出された撮影位置及び撮影方向を用いて三次元復元を算出する。具体的には、基礎行列Ｆから（式２）により基礎行列Ｅが算出され、基礎行列Ｅから回転行列Ｒ及び並進ベクトルＴ（撮影位置及び撮影方向）が算出される。処理部は、さらに、算出された撮影位置及び撮影方向を含むカメラ情報１１４を出力する。これにより、撮影位置及び撮影方向を用いた同期再生を実現できる。

また、検出ステップ（Ｓ１２）では、第１特徴点及び第２特徴点を、被写体の輪郭、輝度差及び色差のうち少なくとも一つに基づき検出してもよい。

また、実施の形態２で説明したように、全ての映像からフレームがそれぞれ１枚ずつ選択され、３以上のフレームを用いてマッチング点の三次元空間上の座標を求められてもよい。つまり、検出ステップ（Ｓ１２）では、さらに、第３映像に含まれる複数の第３画像フレームの各々に含まれるに含まれる第３特徴点を検出し、抽出ステップ（Ｓ１４）では、さらに、第１特徴点と、第１特徴点に類似する第３特徴点との組、及び、第２特徴点と、第２特徴点に類似する第３特徴点との組をマッチング点として抽出する。同期ステップ（Ｓ１６）では、それぞれが一つの第１画像フレーム、第２画像フレーム及び第３画像フレームから構成される組み合わせごとに、第１度合い（推定情報１２５）を算出し（図１３のＳ４１〜Ｓ４４）、複数の組み合わせのうち、算出された第１度合いが高い組み合わせに含まれる第１画像フレーム、第２画像フレーム及び第３画像フレームを同期させてもよい（Ｓ４４〜４６）。例えば、第１度合いが最も高い、又は閾値以上の組み合わせが選択される。

これにより、映像同期装置２００は、複数の映像の各々から一つずつ選択された画像フレームを含む組み合わせごとに第１度合いを算出し、当該組み合わせ単位で同期フレームを決定できる。これにより、例えば、映像間で１つの同期フレームのみを決定する場合において、処理量を低減できる。

また、上記実施の形態に係る映像同期装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

言い換えると、映像同期装置は、処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）と、当該処理回路に電気的に接続された（当該処理回路からアクセス可能な）記憶装置（ｓｔｏｒａｇｅ）とを備える。処理回路は、専用のハードウェア及びプログラム実行部の少なくとも一方を含む。また、記憶装置は、処理回路がプログラム実行部を含む場合には、当該プログラム実行部により実行されるソフトウェアプログラムを記憶する。処理回路は、記憶装置を用いて、上記実施の形態に係る映像同期方法を実行する。

さらに、本開示は上記ソフトウェアプログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。

また、上記の映像同期方法に含まれるステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

以上、本開示の一つ又は複数の態様に係る映像同期方法及び映像同期装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つ又は複数の態様の範囲内に含まれてもよい。

（実施の形態３）
上記各実施の形態で示した画像処理方法及び装置の構成の他の応用例とそれを用いたシステムを説明する。当該システムは、インテリジェント化と対象空間の広域化とが進む映像システムに適用でき、例えば、（１）店舗或いは工場のセキュリティカメラ、又は警察の車載カメラなどに実装される監視システム、（２）個人所有のカメラ或いは各車載カメラ、又は道路に備えられたカメラなどを用いた交通情報システム、（３）ドローンなど遠隔操作又は自動制御可能な装置を用いた環境調査又は配送システム、及び（４）エンターテイメント施設又はスタジアム等における設置カメラ、ドローン等の移動カメラ、又は個人所有のカメラなどを用いた映像などのコンテンツ送受信システムなどに適用できる。

図１５は、本実施の形態における映像情報処理システムｅｘ１００の構成を示す図である。本実施の形態においては、死角の発生を防止する例、及び特定の領域を撮影禁止にする例について説明する。

図１５に示す映像情報処理システムｅｘ１００は、映像情報処理装置ｅｘ１０１と、複数のカメラｅｘ１０２と、映像受信装置ｅｘ１０３とを含む。なお、映像受信装置ｅｘ１０３は、必ずしも映像情報処理システムｅｘ１００に含まれる必要はない。

映像情報処理装置ｅｘ１０１は、保存部ｅｘ１１１と、解析部ｅｘ１１２とを備える。Ｎ個のカメラｅｘ１０２のそれぞれは、映像を撮影する機能と撮影した映像データを映像情報処理装置ｅｘ１０１に送信する機能とを有する。また、カメラｅｘ１０２は、撮影中の映像を表示する機能を有する場合もある。なお、カメラｅｘ１０２は、撮影された映像信号をＨＥＶＣ又はＨ．２６４のような符号化方式を用いてエンコードしたうえで映像情報処理装置ｅｘ１０１に送信してよいし、エンコードされていない映像データを映像情報処理装置ｅｘ１０１に送信してもよい。

ここで、各カメラｅｘ１０２は、監視カメラ等の固定カメラ、無人飛行型ラジコンや車等に搭載された移動カメラ、又は、ユーザが所持するユーザカメラである。

移動カメラは、映像情報処理装置ｅｘ１０１から送信された指示信号を受信し、受信された指示信号に応じて、移動カメラ自体の位置又は撮影方向を変更する。

また、撮影開示前に複数のカメラｅｘ１０２の時刻が、サーバ又は基準カメラの時刻情報などを用いてキャリブレーションされる。また、複数のカメラｅｘ１０２の空間位置が、撮影対象となる空間のオブジェクトの写り方又は基準カメラからの相対位置に基づいてキャリブレーションされる。

情報処理装置ｅｘ１０１に含まれる保存部ｅｘ１１１は、Ｎ個のカメラｅｘ１０２から送信された映像データを保存する。

解析部ｅｘ１１２は、保存部ｅｘ１１１に保存された映像データから死角を検出し、死角の発生を防止するための移動カメラへの指示を示す指示信号を移動カメラへ送信する。移動カメラは指示信号に従って移動を行い、撮影を継続する。

解析部ｅｘ１１２は、例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）を用いて死角検出を行う。ＳｆＭとは、異なる位置から撮影された複数の映像から被写体の三次元形状を復元する手法であり、被写体形状及びカメラ位置を同時に推定する形状復元技術として広く知られている。例えば、解析部ｅｘ１１２は、ＳｆＭを用いて、保存部ｅｘ１１１に保存された映像データから施設内又はスタジアム内の三次元形状を復元し、復元できない領域を死角として検出する。

なお、解析部ｅｘ１１２は、カメラｅｘ１０２の位置及び撮影方向が固定であり、位置及び撮影方向の情報が既知の場合は、これらの既知の情報を用いてＳｆＭを行ってもよい。また、移動カメラの位置及び撮影方向が、移動カメラが備えるＧＰＳ及び角度センサ等により取得できる場合は、移動カメラは、当該移動カメラの位置及び撮影方向の情報を解析部ｅｘ１１２に送信し、解析部ｅｘ１１２は、送信された位置及び撮影方向の情報を用いてＳｆＭを行ってもよい。

なお、死角検出の方法は上述したＳｆＭを用いた方法に限られるものではない。例えば、解析部ｅｘ１１２は、レーザレンジファインダなどのデプスセンサの情報を用いることで、撮影対象であるオブジェクトの空間距離を把握してもよい。また、解析部ｅｘ１１２は、カメラ位置、撮影方向及びズーム倍率等の情報を、空間内の予め設定したマーカ又は特定のオブジェクトが画像に含まれるか、含まれる場合にはそのサイズ等から検出してもよい。このように、解析部ｅｘ１１２は、各カメラの撮影領域を検出できる任意の方法を用いて、死角の検出を行う。また、解析部ｅｘ１１２は、複数の撮影対象について互いの位置関係等の情報を映像データ又は近接距離センサ等から取得し、取得した位置関係に基づいて死角が発生する可能性の高い領域を特定してもよい。

ここで死角とは、撮影したい領域中で映像が存在しない部分だけでなく、他の部分と比較して画質の悪い部分、及び予め定められた画質を得られていない部分などを含む。この検出対象の部分は、当該システムの構成又は目的に応じて適宜設定されればよい。例えば、撮影される空間中の特定の被写体について、要求される画質が高く設定されてもよい。また、逆に撮影空間中の特定の領域について、要求される画質が低く設定されてもよいし、映像が撮影されていなくても死角と判定しないように設定されてもよい。

なお、上述した画質とは、映像中の撮影対象となる被写体が占める面積（例えばピクセル数）、又は撮影対象となる被写体にピントが合っているかといった映像に関する様々な情報を含むものであり、それらの情報又はその組み合わせを基準に死角であるか否かが判定されればよい。

なお、上記の説明では、実際に死角となっている領域の検出について説明したが、死角の発生を防止するために検出する必要のある領域は実際に死角となっている領域に限定されない。例えば、複数の撮影対象が存在し、少なくともその一部が移動している場合には、ある撮影対象とカメラとの間に別の撮影対象が入ることによって新たな死角が生じる可能性がある。これに対し、解析部ｅｘ１１２は、例えば撮影された映像データ等から複数の撮影対象の動きを検出し、検出された複数の撮影対象の動きとカメラｅｘ１０２の位置情報に基づいて、新たに死角となる可能性のある領域を推定してもよい。この場合、映像情報処理装置ｅｘ１０１は、死角となる可能性のある領域を撮影するように移動カメラに指示信号を送信し、死角の発生を防止してもよい。

なお、移動カメラが複数ある場合、映像情報処理装置ｅｘ１０１は、死角、又は死角となる可能性がある領域を撮影させるために指示信号を送信する移動カメラを選択する必要がある。また、移動カメラ及び死角、又は死角となる可能性がある領域がそれぞれ複数存在する場合、映像情報処理装置ｅｘ１０１は、複数の移動カメラのそれぞれについて、どの死角、又は死角となる可能性がある領域を撮影させるかを決定する必要がある。例えば、映像情報処理装置ｅｘ１０１は、死角、又は死角となる可能性のある領域と各移動カメラが撮影中の領域の位置とに基づいて、死角、又は死角となる領域に最も近い移動カメラを選択する。また、映像情報処理装置ｅｘ１０１は、各移動カメラについて、当該移動カメラが現在撮影中の映像データが得られない場合に新たに死角が発生するか否かを判定し、現在撮影中の映像データが得られなくても死角が発生しないと判断された移動カメラを選択してもよい。

以上の構成により、映像情報処理装置ｅｘ１０１は、死角を検出し、死角を防止するように移動カメラに対して指示信号を送信することにより、死角の発生を防止できる。

（変形例１）
なお、上記説明では、移動カメラに移動を指示する指示信号が送信される例を述べたが、指示信号は、ユーザカメラのユーザに移動を指示するための信号であってもよい。例えば、ユーザカメラは、指示信号に基づき、ユーザにカメラの方向を変更するように指示する指示画像を表示する。なお、ユーザカメラは、ユーザの移動の指示として、地図上に移動経路を示した指示画像を表示してもよい。また、ユーザカメラは、取得される画像の質を向上させるために撮影方向、角度、画角、画質、及び撮影領域の移動など詳細な撮影の指示を表示してもよく、さらに映像情報処理装置ｅｘ１０１側で制御可能であれば、映像情報処理装置ｅｘ１０１は、そのような撮影に関するカメラｅｘ１０２の特徴量を自動で制御してもよい。

ここで、ユーザカメラは、例えば、スタジアム内の観客又は施設内の警備員が持つスマートフォン、タブレット型端末、ウェアラブル端末、又はＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）である。

また、指示画像を表示する表示端末は、映像データを撮影するユーザカメラと同一である必要はない。例えば、ユーザカメラに予め対応付けられた表示端末に対して、ユーザカメラが指示信号又は指示画像を送信し、当該表示端末が指示画像を表示してもよい。また、ユーザカメラに対応する表示端末の情報が、予め映像情報処理装置ｅｘ１０１に登録されてもよい。この場合は、映像情報処理装置ｅｘ１０１は、ユーザカメラに対応する表示端末に対して指示信号を直接送信することで、表示端末に指示画像を表示させてもよい。

（変形例２）
解析部ｅｘ１１２は、例えばＳｆＭを用いて、保存部ｅｘ１１１に保存された映像データから施設内又はスタジアム内の三次元形状を復元することで自由視点映像（三次元再構成データ）を生成してもよい。この自由視点映像は、保存部ｅｘ１１１に保存される。映像情報処理装置ｅｘ１０１は、映像受信装置ｅｘ１０３から送信される視野情報（及び／又は、視点情報）に応じた映像データを保存部ｅｘ１１１から読み出して、映像受信装置ｅｘ１０３に送信する。なお、映像受信装置ｅｘ１０３は、複数のカメラの一つであってもよい。

（変形例３）
映像情報処理装置ｅｘ１０１は、撮影禁止領域を検出してもよい。この場合、解析部ｅｘ１１２は撮影画像を解析し、移動カメラが撮影禁止領域を撮影している場合には移動カメラに対して撮影禁止信号を送信する。移動カメラは撮影禁止信号を受信している間は撮影を停止する。

解析部ｅｘ１１２は、例えば、ＳｆＭを用いて復元された三次元の仮想空間と、撮影映像とのマッチングを取ることで、空間内で予め設定されている移動カメラが撮影禁止領域を撮影中かを判定する。または、解析部ｅｘ１１２は、空間内に配置されたマーカ又は特徴的なオブジェクトをトリガーとして移動カメラが撮影禁止領域を撮影中かを判定する。撮影禁止領域とは、例えば施設内又はスタジアム内のトイレなどである。

また、ユーザカメラが撮影禁止領域を撮影している場合には、ユーザカメラは、無線又は有線で接続されるディスプレイ等にメッセージを表示したり、スピーカ又はイヤホンから音又は音声を出力したりすることで、現在の場所が撮影禁止場所であることをユーザに知らせてもよい。

例えば、上記メッセージとして、現在カメラを向けている方向が撮影禁止である旨が表示される。または、表示される地図上に撮影禁止領域と現在の撮影領域とが示される。また、撮影の再開は、例えば、撮影禁止信号が出力されなくなれば自動的に行われる。または、撮影禁止信号が出力されておらず、かつ、ユーザが撮影再開を行う操作をした場合に、撮影が再開されてもよい。また、撮影の停止と再開とが短期間で複数回起こった場合には、再度キャリブレーションが行われてもよい。または、ユーザに現在位置を確認したり移動を促したりするための通知が行われてもよい。

また、警察など特別な業務の場合には、記録のためこのような機能をオフにするパスコード又は指紋認証などが用いられてもよい。さらに、そのような場合であっても撮影禁止領域の映像が外部に表示されたり保存される場合には自動でモザイクなど画像処理が行われてもよい。

以上の構成により、映像情報処理装置ｅｘ１０１は、撮影禁止の判定を行い、撮影を停止するようにユーザに通知することで、ある領域を撮影禁止に設定できる。

（変形例４）
映像から三次元の仮想空間を構築するためには、複数視点の映像を集める必要があるため、映像情報処理システムｅｘ１００は、撮影映像を転送したユーザに対してインセンティブを設定する。例えば、映像情報処理装置ｅｘ１０１は、映像を転送したユーザに対し、無料又は割引料金で映像配信を行ったり、オンライン又はオフラインの店又はゲーム内で使用できるような金銭的な価値、又はゲームなどのバーチャル空間での社会的地位など非金銭的な価値のあるポイントを付与する。また、映像情報処理装置ｅｘ１０１は、リクエストが多いなど価値のある視野（及び／又は、視点）の撮影映像を転送したユーザに対しては特に高いポイントを付与する。

（変形例５）
映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して付加情報を送信してもよい。この場合、ユーザカメラは撮影映像に付加情報を重畳して、画面に表示する。付加情報とは、例えば、スタジアムでの試合が撮影されている場合には、選手名又は身長などの選手の情報であり、映像内の各選手に対応付けて当該選手の名前又は顔写真などが表示される。なお、映像情報処理装置ｅｘ１０１は、映像データの一部又は全部の領域に基づきインターネット経由の検索により、付加情報を抽出してもよい。また、カメラｅｘ１０２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）をはじめとする近距離無線通信又は、スタジアム等の照明から可視光通信によりそのような付加情報を受け取り、受け取った付加情報を、映像データにマッピングしてもよい。また、カメラｅｘ１０２は、このマッピングを、カメラｅｘ１０２に有線又は無線により接続される記憶部に保持されるテーブルであって、可視光通信技術により得られる情報と付加情報との対応関係を示すテーブルなどの一定規則に基づいて行なってもよいし、インターネット検索により最も確からしい組み合わせの結果を用いて行なってもよい。

また、監視システムにおいては、施設内の警備員が持つユーザカメラに対して、例えば注意人物の情報が重畳されることで、監視システムの高精度化を図ることができる。

（変形例５）
解析部ｅｘ１１２は，自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定してもよい。なお、撮影領域の判定方法はこれに限られず、上述した各実施の形態で説明した様々な撮影領域の判定方法又はその他の撮影領域の判定方法を用いられてもよい。

映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して過去映像を送信する。ユーザカメラは撮影映像に過去映像を重畳して、又は撮影映像を過去映像に置換して、画面に表示する。

例えば、ハーフタイム中に、過去映像として前半のハイライトシーンが表示される。これにより、ユーザはハーフタイム中に、前半のハイライトシーンを自分が見ている方向の映像として楽しむことができる。なお過去映像は、前半のハイライトシーンに限らず、そのスタジアムで行われた過去の試合のハイライトシーンなどでもよい。また、映像情報処理装置ｅｘ１０１が過去映像を配信するタイミングはハーフタイム中に限らず、例えば試合終了後でも、試合中でもよい。特に試合中の場合には、解析部ｅｘ１１２の解析結果に基づき、映像情報処理装置ｅｘ１０１はユーザが見逃した重要と考えられるシーンを配信してもよい。また、映像情報処理装置ｅｘ１０１はユーザからリクエストがあった場合のみ過去映像を配信してもよく、又は過去映像の配信前に配信許可のメッセージを配信してもよい。

（変形例６）
映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して広告情報を送信してもよい。ユーザカメラは撮影映像に広告情報を重畳して、画面に表示する。

広告情報は例えば変形例５で示した、ハーフタイム中又は試合終了後の過去映像配信直前に配信されてもよい。これにより、配信業者は広告主からの広告料を得ることができ、ユーザに安価又は無料で映像配信サービスを提供できる。また、映像情報処理装置ｅｘ１０１は、広告情報の配信直前に広告配信許可のメッセージを配信してもよいし、ユーザが広告を視聴した場合のみ無料でサービスを提供してもよいし、広告を視聴しない場合より安価にサービスを提供してもよい。

また、広告に従ってユーザが「今すぐ注文する」などをクリックすると、当該システム又は何らかの位置情報に基づいてユーザの位置を把握しているスタッフ又は会場の自動の配送システムが注文された飲み物を席まで届けてくれる。決裁はスタッフへの手渡しでもよいし、予めモバイル端末のアプリ等に設定されているクレジットカード情報に基づいて行われてもよい。また、広告にはｅコマースサイトへのリンクが含まれ、通常の自宅配送等のオンラインショッピングが可能な状態になっていてもよい。

（変形例７）
映像受信装置ｅｘ１０３は、カメラｅｘ１０２（ユーザカメラ）の一つであってもよい。この場合、解析部ｅｘ１１２は、自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定する。なお、撮影領域の判定方法はこれに限らない。

例えば、ユーザが、画面に表示されている矢印の方向にスワイプ操作をすると、ユーザカメラはその方向へ視点を移動させることを示す視点情報を生成する。映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２が判定したユーザカメラの撮影領域から視点情報の分だけ移動させた領域を撮影した映像データを保存部ｅｘ１１１から読み出し、当該映像データのユーザカメラへの送信を開始する。そしてユーザカメラは撮影映像ではなく、映像情報処理装置ｅｘ１０１から配信された映像を表示する。

以上により、施設内又はスタジアム内のユーザは、画面スワイプのような簡易な動作で、好きな視点からの映像を視聴できる。例えば野球場の３塁側で観戦している観客が、１塁側の視点からの映像を視聴できる。また、監視システムにおいては、施設内の警備員が画面スワイプのような簡易な動作で、自身が確認したい視点又はセンターからの割り込みとして注視すべき映像などを、視点を適用的に変えながら視聴することができるので、監視システムの高精度化を図ることができる。

また、施設内又はスタジアム内のユーザへの映像の配信は、例えばユーザカメラと撮影対象との間に障害物が存在し、見えない領域がある場合等にも有効である。この場合、ユーザカメラは、ユーザカメラの撮影領域のうち障害物が含まれる一部の領域の映像を、撮影映像から、映像情報処理装置ｅｘ１０１からの配信映像に切り替えて表示してもよいし、画面全体を撮影映像から配信映像に切り替えて表示してもよい。また、ユーザカメラは、撮影映像と配信映像とを合成して障害物を透過して視聴対象が見えているような映像を表示してもよい。この構成によると、障害物の影響でユーザの位置から撮影対象が見えない場合にも、映像情報処理装置ｅｘ１０１から配信された映像を視聴することができるので、障害物の影響を軽減することができる。

また、障害物により見えない領域の映像として配信映像を表示する場合は、上述した画面スワイプのようなユーザによる入力処理に応じた表示の切り替え制御とは異なる表示の切り替え制御が行われてもよい。例えば、ユーザカメラの移動及び撮影方向の情報、並びに予め得られている障害物の位置情報に基づいて撮影領域に障害物が含まれると判定される場合に、撮影映像から配信映像への表示の切り替えが自動的に行われもよい。また、撮影映像データの解析により撮影対象ではない障害物が映っていると判定された場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。また、撮影映像に含まれる障害物の面積（例えばピクセル数）が所定の閾値を超えた場合、又は撮影対象の面積に対する障害物の面積の比が所定の割合を超えた場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。

なお、ユーザの入力処理に応じて撮影映像から配信映像への表示の切り替え及び配信映像から撮影映像への表示の切り替えが行われてもよい。

（変形例８）
各カメラｅｘ１０２で撮影された映像データの重要度に基づき映像データを映像情報処理装置ｅｘ１０１に転送する速度が指示されてもよい。

この場合、解析部ｅｘ１１２は保存部ｅｘ１１１に保存された映像データ、又は当該映像データを撮影したカメラｅｘ１０２の重要度を判定する。ここでの重要度の判定は、例えば映像中に含まれる人の数或いは移動物体の数、映像データの画質などの情報、又はその組み合わせに基づいて行われる。

また、映像データの重要度の判定は、映像データが撮影されたカメラｅｘ１０２の位置又は映像データが撮影している領域に基づいてもよい。例えば、対象のカメラｅｘ１０２の近くに撮影中の他のカメラｅｘ１０２が複数存在する場合に、対象のカメラｅｘ１０２で撮影された映像データの重要度を低くする。また、対象のカメラｅｘ１０２の位置が他のカメラｅｘ１０２から離れていても同じ領域を撮影している他のカメラｅｘ１０２が複数存在する場合に、対象のカメラｅｘ１０２で撮影された映像データの重要度を低くする。また、映像データの重要度の判定は、映像配信サービスにおけるリクエストの多さに基づいて行われてもよい。なお、重要度の判定方法は、上述したものやその組み合わせに限られず、監視システム又は映像配信システムの構成又は目的に応じた方法であればよい。

また、重要度の判定は撮影された映像データに基づくものでなくてもよい。例えば、映像情報処理装置ｅｘ１０１以外の端末へ映像データを送信するカメラｅｘ１０２の重要度が高く設定されてもよい。逆に、映像情報処理装置ｅｘ１０１以外の端末へ映像データを送信するカメラｅｘ１０２の重要度が低く設定されてもよい。これにより、例えば、映像データの伝送を必要とする複数のサービスが通信帯域を共有している場合に、各サービスの目的又は特性に応じた通信帯域の制御の自由度が高くなる。これにより、必要な映像データが得られないことによる各サービスの品質の劣化を防止できる。

また、解析部ｅｘ１１２は、自由視点映像とカメラｅｘ１０２の撮影映像とを用いて、映像データの重要度を判定してもよい。

映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２で行われた重要度の判定結果に基づき、カメラｅｘ１０２に対して通信速度指示信号を送信する。映像情報処理装置ｅｘ１０１は、例えば、重要度が高い映像を撮影しているカメラｅｘ１０２に対して高い通信速度を指示する。また、映像情報処理装置ｅｘ１０１は、速度の制御だけではなく、重要な情報については、欠落によるデメリットを低減するために複数回送るような方式を指示する信号を送信してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができる。なお、カメラｅｘ１０２と映像情報処理装置ｅｘ１０１との通信は、有線通信であっても無線通信であってもよい。また、映像情報処理装置ｅｘ１０１は、有線通信及び無線通信のいずれか一方のみを制御してもよい。

カメラｅｘ１０２は、通信速度指示信号に従った通信速度で、撮影映像データを映像情報処理装置ｅｘ１０１に送信する。なお、カメラｅｘ１０２は所定の回数再送が失敗した場合には、その撮影映像データの再送を停止し、次の撮影映像データの転送を開始してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができ、解析部ｅｘ１１２における処理の高速化を実現できる。

また、カメラｅｘ１０２は、それぞれに割り当てられた通信速度が撮影した映像データを転送するために十分な帯域でない場合は、撮影した映像データを、割り当てられた通信速度で送信可能なビットレートの映像データに変換し、変換後の映像データを送信してもよし、映像データの転送を中止してもよい。

また、上述したように死角の発生を防止するために映像データが使用される場合、撮影された映像データに含まれる撮影領域のうちの一部の領域のみが死角を埋めるために必要である可能性がある。この場合、カメラｅｘ１０２は、少なくとも、映像データから、死角の発生を防止するために必要とされる領域のみを抽出することで抽出映像データを生成し、生成された抽出映像データを映像情報処理装置ｅｘ１０１に送信してもよい。この構成によると、死角の発生の抑制をより少ない通信帯域で実現できる。

また、例えば、付加情報の重畳表示又は映像配信が行われる場合には、カメラｅｘ１０２は、映像情報処理装置ｅｘ１０１にカメラｅｘ１０２の位置情報及び撮影方向の情報を送信する必要がある。この場合、映像データを転送するためには十分ではない帯域しか割り当てられなかったカメラｅｘ１０２は、カメラｅｘ１０２で検出された位置情報及び撮影方向の情報のみを送信してもよい。また、映像情報処理装置ｅｘ１０１においてカメラｅｘ１０２の位置情報及び撮影方向の情報を推定する場合は、カメラｅｘ１０２は、撮影した映像データを、位置情報及び撮影方向の情報の推定に必要な解像度に変換し、変換された映像データを映像情報処理装置ｅｘ１０１に送信してもよい。この構成によると、少ない通信帯域しか割り当てられなかったカメラｅｘ１０２に対しても、付加情報の重畳表示又は映像配信のサービスを提供できる。また、映像情報処理装置ｅｘ１０１は、より多くのカメラｅｘ１０２から撮影領域の情報を取得できるため、例えば注目されている領域を検出する等の目的で、撮影領域の情報を利用するような場合においても有効である。

なお、上述した割り当てられた通信帯域に応じた映像データの転送処理の切り替えは、通知された通信帯域に基づいてカメラｅｘ１０２が行ってもよいし、映像情報処理装置ｅｘ１０１が各カメラｅｘ１０２の動作を決定し、決定された動作を示す制御信号を各カメラｅｘ１０２に通知してもよい。これにより、動作の切り替えの判定に必要な計算量、カメラｅｘ１０２の処理能力、及び必要となる通信帯域等に応じて、適切に処理の分担を行える。

（変形例９）
解析部ｅｘ１１２は、映像受信装置ｅｘ１０３から送信された視野情報（及び／又は、視点情報）に基づき、映像データの重要度を判定してもよい。例えば、解析部ｅｘ１１２は、視野情報（及び／又は、視点情報）が示す領域を多く含む撮影映像データの重要度を高く設定する。また、解析部ｅｘ１１２は、映像中に含まれる人の数、又は移動物体の数を考慮して、映像データの重要度を判定してもよい。なお、重要度の判定方法はこれに限らない。

なお、本実施の形態で説明した通信制御方法は、必ずしも複数の映像データから三次元形状の再構築を行うシステムにおいて用いられる必要はない。例えば複数のカメラｅｘ１０２が存在する環境において、映像データを選択的又は伝送速度に差をつけて有線通信及び／又は無線通信で送信する場合であれば、本実施の形態で説明した通信制御方法は有効である。

（変形例１０）
映像配信システムにおいて、映像情報処理装置ｅｘ１０１は、撮影シーンの全体を示す概観映像を映像受信装置ｅｘ１０３に送信してもよい。

具体的には、映像情報処理装置ｅｘ１０１は、映像受信装置ｅｘ１０３から送信された配信リクエストを受信した場合、保存部ｅｘ１１１から施設内又はスタジアム内全体の概観映像を読み出し、当該外観映像を映像受信装置ｅｘ１０３に送信する。この概観映像は更新間隔が長くてもよく（低フレームレートでもよく）、また画質が低くてもよい。視聴者は、映像受信装置ｅｘ１０３の画面上に表示された概観映像中で、見たい部分をタッチする。これにより、映像受信装置ｅｘ１０３は、タッチされた部分に対応する視野情報（及び／又は、視点情報）を映像情報処理装置ｅｘ１０１に送信する。

映像情報処理装置ｅｘ１０１は、視野情報（及び／又は、視点情報）に応じた映像データを保存部ｅｘ１１１から読み出し、当該映像データを映像受信装置ｅｘ１０３に送信する。

また、解析部ｅｘ１１２は、視野情報（及び／又は、視点情報）で示される領域に対して優先的に三次元形状の復元（三次元再構成）を行うことで自由視点映像を生成する。解析部ｅｘ１１２は、施設内又はスタジアム内全体の三次元形状を、概観を示す程度の精度で復元する。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が見たい領域の自由視点映像の高フレームレート化、及び高画質を実現できる。

（変形例１１）
なお、映像情報処理装置ｅｘ１０１は、例えば、設計図面などから事前に生成された施設又はスタジアムの三次元形状復元データを事前映像として、予め保存しておいてもよい。なお、事前映像はこれに限らず、デプスセンサから得られる空間の凹凸と、過去又はキャリブレーション時の画像又は映像データから導出されるピクチャとをオブジェクトごとにマッピングした仮想空間データであってもよい。

例えば、スタジアムでサッカーが行われている場合、解析部ｅｘ１１２は、選手及びボールのみに限定して三次元形状の復元を行い、得られた復元データと事前映像とを合成することで自由視点映像を生成してもよい。あるいは、解析部ｅｘ１１２は、選手及びボールに対して優先して三次元形状の復元を行ってもよい。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が注目する選手及びボールに関する自由視点映像の高フレームレート化及び高画質化を実現できる。また、監視システムにおいては、解析部ｅｘ１１２は、人物及び移動物体のみに限定して、又はそれらを優先して三次元形状の復元を行ってもよい。

（変形例１２）
各装置の時刻は、サーバの基準時刻等に基づき、撮影開始時にキャリブレーションされてもよい。解析部ｅｘ１１２は、複数のカメラｅｘ１０２で撮影された複数の撮影映像データのうち、時刻設定の精度に応じて、予め設定された時間範囲内に属する時刻に撮影された複数の映像データを用いて、三次元形状の復元を行う。この時刻の検出には、例えば撮影映像データが保存部ｅｘ１１１に格納された時刻が用いられる。なお、時刻の検出方法はこれに限らない。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。

または、解析部ｅｘ１１２は、保存部ｅｘ１１１に保存された複数の映像データのうち、高画質データのみを用いて、又は高画質データを優先的に用いて、三次元形状の復元を行ってもよい。

（変形例１３）
解析部ｅｘ１１２は、カメラ属性情報を用いて、三次元形状の復元を行ってもよい。例えば、解析部ｅｘ１１２は、カメラ属性情報を用いて、視体積交差法又はマルチビューステレオ法などの手法により三次元映像を生成してもよい。この場合、カメラｅｘ１０２は、撮影映像データとカメラ属性情報とを映像情報処理装置ｅｘ１０１に送信する。カメラ属性情報は、例えば、撮影位置、撮影角度、撮影時刻、又はズーム倍率などである。

これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。

具体的には、カメラｅｘ１０２は、施設内又はスタジアム内に三次元座標を定義し、カメラｅｘ１０２がどのあたりの座標をどの角度から、どれ位のズームで、どの時間に撮ったかという情報を映像と共にカメラ属性情報として映像情報処理装置ｅｘ１０１に送信する。また、カメラｅｘ１０２の起動時に、施設内又はスタジアム内の通信ネットワーク上の時計とカメラ内の時計との同期がとられ、時間情報が生成される。

また、カメラｅｘ１０２の起動時又は任意のタイミングで施設内又はスタジアム内の特定のポイントにカメラｅｘ１０２を向けることにより、カメラｅｘ１０２の位置及び角度情報が取得される。図１６は、カメラｅｘ１０２に起動時に、カメラｅｘ１０２の画面上に表示される通知の一例を示す図である。ユーザがこの通知に従い、スタジアム北側の広告中のサッカーボール中心にある「＋」に、画面中央に表示された「＋」を合わせて、カメラｅｘ１０２のディスプレイをタッチすると、カメラｅｘ１０２は、カメラｅｘ１０２から広告までのベクトル情報を取得しカメラ位置及び角度の基準を特定する。その後、カメラｅｘ１０２のモーション情報からその時々のカメラ座標及び角度が特定される。もちろん、この表示に限るものではなく、矢印等を用いて撮影期間中も座標、角度、又は撮影領域の移動速度等を指示するような表示が用いられてもよい。

カメラｅｘ１０２の座標の特定は、ＧＰＳ、ＷｉＦｉ（登録商標）、３Ｇ、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、及び５Ｇ（無線ＬＡＮ）の電波を用いて行われてもよいし、ビーコン（Ｂｌｕｅｔｏｏｔｈ（登録商標）、超音波）など近距離無線を利用して行われてもよい。また、施設内又はスタジアム内のどの基地局に撮影映像データが届いたかという情報が用いられてもよい。

（変形例１４）
当該システムはスマートフォン等のモバイル端末上で動作するアプリケーションとして提供されてもよい。

上記システムへのログインには、各種ＳＮＳ等のアカウントが用いられてもよい。なお、アプリ専用のアカウント、又は機能が制限されたゲストアカウントが用いられてもよい。このようにアカウントが用いられることで、好みの映像又は好みのアカウント等を評価することができる。また、撮影中又は視聴中の映像データに類似した映像データ、撮影中又は視聴中の映像データの視点に類似した視点の映像データなどに優先的に帯域を割り振ることで、これらの映像データの解像度を高めることができる。これにより、これらの視点からの三次元形状の復元をより精度よく行うことができる。

また、ユーザは、当該アプリケーションで、好みの画像映像を選択し、相手方をフォローすることで、選択した画像を他のユーザよりも優先して見たり、相手方の承認などを条件にテキストチャット等でつながりをもつことができる。このように、新たなコミュニティの生成が可能である。

このようにユーザ同士がコミュニティ内でつながることにより、撮影自体、また撮影した画像の共有などが活発化し、より精度の高い三次元形状の復元を促すことができる。

また、コミュニティ内のつながりの設定に応じて、ユーザは、他人が撮影した画像又は映像を編集したり、他人の画像と自分の画像とをコラージュして新たな画像又は映像を作成したりできる。これにより、新たな画像又は映像を当該コミュニティ内の人のみでシェアするなど、新たな映像作品のシェアが可能になる。また、この編集においてＣＧのキャラクタを挿入するなどにより、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）のゲーム等にも映像作品を利用できる。

また、当該システムによると三次元モデルデータが逐次出力可能になるため、ゴールシーンなどの特徴的なシーンでの三次元モデルデータに基づき、施設が有する３Ｄプリンタなどが立体オブジェクトを出力することができる。これにより、試合後に、その試合中のシーンに基づくオブジェクトをキーホルダーのようなお土産として売ったり、参加ユーザに配布することも可能である。もちろん通常の写真として、もっとも良い視点からの画像をプリントすることも可能である。

（変形例１５）
上記システムを用いて、例えば、警察の車載カメラ、及び警察官のウェアラブルカメラの映像などから、地域全体の大雑把な状態を、当該システムに接続されたセンターで管理することができる。

一般のパトロールの時は、例えば数分おきで静止画の送受信が行なわれる。また、センターは、過去の犯罪データ等を用いて分析した結果に基づいた犯罪マップに基づいて犯罪発生の可能性が高い地域を特定する、もしくはこのように特定された犯罪発生確率に関連する地域データを保持している。特定された犯罪発生確率の高い地域では、画像の送受信の頻度を上げたり、画像を動画に変更したりしてもよい。また、事件発生時は、動画、又はＳｆＭ等を用いた三次元再構成データが用いられてもよい。また、センターもしくは各端末が、同時にデプスセンサ又はサーモセンサなど他のセンサの情報を用いて画像又は仮想空間を補正することで、警察官は、より正確に状況を把握できる。

また、センターは、三次元再構成データを用いることで、複数の端末にそのオブジェクトの情報をフィードバックできる。これにより、各端末を持つ個々人がオブジェクトをトラッキングできる。

また、最近では、建造物或いは環境の調査、又はスポーツなどの臨場感ある撮影等の目的で、クワッドコプター、ドローンなどの飛行可能な装置による空中からの撮影が行なわれる。このような自律移動装置による撮影は、画像がブレるということが問題になりやすいが、ＳｆＭは位置及び傾きによりそのブレを補正しながら三次元化を行なうことが可能である。これにより、画質の向上、及び空間の復元精度の向上を実現できる。

また、車外を撮影する車載カメラの設置が、国によっては義務付けられている。このような車載カメラにおいても、複数の画像からモデル化された三次元データを用いることで、行き先の方向の天気及び路面の状態、並びに渋滞度合い等をより精度よく把握できる。

（変形例１６）
上記システムは、例えば、複数のカメラを利用して建物又は設備の測距又はモデリングを行うシステムにも適用できる。

ここで、例えば、１台のドローンを用いて建物を上空から撮影し、建物の測距又はモデリングを行う場合には、測距中にカメラに動物体が写りこむことで測距の精度が低下するという課題がある。また、動物体の測距及びモデリングを行えないという課題がある。

一方で、上述したように複数のカメラ（固定カメラ、スマートフォン、ウェアラブルカメラ及びドローン等）を用いることで、動物体の有無にかかわらず安定した精度で建物の測距及びモデリングを実現できる。また、動物体の測距及びモデリングを実現できる。

具体的には、例えば、建築現場において作業員のヘルメット等にカメラが取り付けられる。これにより、作業員の作業に並行して建物の測距を行うことができる。また、作業の効率化及びミス防止にも用いることができる。また、作業員に装着されたカメラで撮影された映像を用いて建物をモデリングできる。さらに、遠隔地にいる管理者が、モデリングされた建物を見ることで進捗具合を確認できる。

また、当該システムは、工場又は発電所の機械等、停止できない設備の点検に使用できる。また、当該システムは、橋或いはダムの開閉、又は、遊園地の乗り物の動作等に異常がないかを点検する場合に使用できる。

また、当該システムにより、道路の渋滞具合又は交通量を監視することで、各時間帯の道路の渋滞具合又は交通量を示す地図を生成することができる。

（実施の形態４）
上記各実施の形態で示した画像処理方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した画像処理方法の応用例とそれを用いたシステムを説明する。当該システムは、画像処理方法を用いた装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。

図１７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ２００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ２０６、ｅｘ２０７、ｅｘ２０８、ｅｘ２０９、ｅｘ２１０が設置されている。

このコンテンツ供給システムｅｘ２００は、インターネットｅｘ２０１にインターネットサービスプロバイダｅｘ２０２および通信網ｅｘ２０４、および基地局ｅｘ２０６からｅｘ２１０を介して、コンピュータｅｘ２１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ２１２、カメラｅｘ２１３、スマートフォンｅｘ２１４、ゲーム機ｅｘ２１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ２００は図１７のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ２０６からｅｘ２１０を介さずに、各機器が電話線、ケーブルテレビ、又は光通信などの通信網ｅｘ２０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ２１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ２１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、スマートフォンｅｘ２１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、又は高周波帯域を利用した通信方式などに対応するスマートフォン機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ２００では、カメラｅｘ２１３等が基地局ｅｘ２０９、通信網ｅｘ２０４を通じてストリーミングサーバｅｘ２０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ２１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して符号化処理を行い、ストリーミングサーバｅｘ２０３に送信する。一方、ストリーミングサーバｅｘ２０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ２１１、ＰＤＡｅｘ２１２、カメラｅｘ２１３、スマートフォンｅｘ２１４、ゲーム機ｅｘ２１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ２１３で行っても、データの送信処理をするストリーミングサーバｅｘ２０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ２０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ２１３に限らず、カメラｅｘ２１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ２１１を介してストリーミングサーバｅｘ２０３に送信してもよい。この場合の符号化処理はカメラｅｘ２１６、コンピュータｅｘ２１１、ストリーミングサーバｅｘ２０３のいずれで行ってもよいし、互いに分担して行ってもよい。さらに復号された画像の表示についても、システムにつながった複数の機器が連動して同じ画像を表示してもよいし、大きな表示部を有する装置で全体の画像を表示し、スマートフォンｅｘ２１４等では画像の一部の領域を拡大して表示してもよい。

また、これら符号化・復号化処理は、一般的にコンピュータｅｘ２１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ２１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、スマートフォンｅｘ２１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンｅｘ２１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ２０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ２００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ２００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ２００の例に限らず、図１８に示すように、デジタル放送用システムｅｘ３００にも、上記各実施の形態を適用してもよい。具体的には、放送局ｅｘ３０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ３０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである。これを受けた放送衛星ｅｘ３０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ３０４が受信する。受信した多重化データを、テレビ（受信機）ｅｘ４００またはセットトップボックス（ＳＴＢ）ｅｘ３１７等の装置が復号化して再生する。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ３１５、もしくはＳＤなどのメモリｅｘ３１６に記録した多重化データを読み取り復号化する、または記録メディアｅｘ３１５もしくはメモリｅｘ３１６に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ３１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ３１９に表示され、多重化データが記録された記録メディアｅｘ３１５、又はメモリｅｘ３１６により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ３０３または衛星／地上波放送のアンテナｅｘ３０４に接続されたセットトップボックスｅｘ３１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ３１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。

図１９は、スマートフォンｅｘ２１４を示す図である。また、図２０は、スマートフォンｅｘ２１４の構成例を示す図である。スマートフォンｅｘ２１４は、基地局ｅｘ２１０との間で電波を送受信するためのアンテナｅｘ４５０、映像、静止画を撮ることが可能なカメラ部ｅｘ４６５、カメラ部ｅｘ４６５で撮像した映像、アンテナｅｘ４５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ４５８を備える。スマートフォンｅｘ２１４は、さらに、タッチパネル等である操作部ｅｘ４６６、音声を出力するためのスピーカ等である音声出力部ｅｘ４５７、音声を入力するためのマイク等である音声入力部ｅｘ４５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存可能なメモリ部ｅｘ４６７、又は図１８に例示されたメモリｅｘ３１６、もしくはユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのＳＩＭｅｘ４６８とのインタフェース部であるスロット部ｅｘ４６４を備える。

スマートフォンｅｘ２１４は、表示部ｅｘ４５８及び操作部ｅｘ４６６等を統括的に制御する主制御部ｅｘ４６０に対して、電源回路部ｅｘ４６１、操作入力制御部ｅｘ４６２、映像信号処理部ｅｘ４５５、カメラインタフェース部ｅｘ４６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ４５９、変調／復調部ｅｘ４５２、多重／分離部ｅｘ４５３、音声信号処理部ｅｘ４５４、スロット部ｅｘ４６４、メモリ部ｅｘ４６７がバスｅｘ４７０を介して互いに接続されている。

電源回路部ｅｘ４６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりスマートフォンｅｘ２１４を動作可能な状態に起動する。

スマートフォンｅｘ２１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ４６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ４５６で収音した音声信号を音声信号処理部ｅｘ４５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ４５２でスペクトラム拡散処理し、送信／受信部ｅｘ４５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。またスマートフォンｅｘ２１４は、音声通話モード時にアンテナｅｘ４５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ４５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ４５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ４５７から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作部ｅｘ４６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ４６２を介して主制御部ｅｘ４６０に送出される。主制御部ｅｘ４６０は、テキストデータを変調／復調部ｅｘ４５２でスペクトラム拡散処理をし、送信／受信部ｅｘ４５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ４５０を介して基地局ｅｘ２１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ４５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ４５５は、カメラ部ｅｘ４６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ４５３に送出する。また、音声信号処理部ｅｘ４５４は、映像、静止画等をカメラ部ｅｘ４６５で撮像中に音声入力部ｅｘ４５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ４５３に送出する。

多重／分離部ｅｘ４５３は、映像信号処理部ｅｘ４５５から供給された符号化された映像データと音声信号処理部ｅｘ４５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ｅｘ４５２でスペクトラム拡散処理をし、送信／受信部ｅｘ４５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ４５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ４５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ４７０を介して符号化された映像データを映像信号処理部ｅｘ４５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ４５４に供給する。映像信号処理部ｅｘ４５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し、ＬＣＤ制御部ｅｘ４５９を介して表示部ｅｘ４５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ４５４は、音声信号を復号し、音声出力部ｅｘ４５７から音声が出力される。

また、上記スマートフォンｅｘ２１４等の端末は、テレビｅｘ４００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ３００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

また、本開示はかかる上記実施の形態に限定されるものではなく、本開示の範囲を逸脱することなく種々の変形または修正が可能である。

本開示によれば、複数のカメラで撮影された多視点映像を自動的に従来方法より高い精度で同期でき、多視点の映像を同期再生、パノラマ映像生成及び三次元映像生成などに適用できる。

１００ カメラ
１０１ 被写体
１０２ エンドユーザー
１１１，１１２ 映像
１１３ 同期情報
１１４ カメラ情報
１２１ フレーム
１２２ 特徴点情報
１２３，１２４ マッチング情報
１２５ 推定情報
１２６ 同期フレーム候補
２００ 映像同期装置
２１０ 入力部
２２０ 同期処理部
２２１ 特徴量抽出部
２２２ 同期情報取得部
２３０ 出力部
２３１ フレーム取得部
２３２ 特徴点検出部
２３３ 特徴点マッチング部
２３４ マッチング情報修正部
２４１ 三次元再構成部
２４２ 同期フレーム候補抽出部
２４３ 同期フレーム決定部

Claims (4)

1. 処理部と、前記処理部に接続される記憶部とを備える映像同期装置であって、
   前記処理部は、
   複数の第１映像と、前記複数の第１映像を同期再生するための同期情報と、前記複数の映像の各々を撮影したカメラの位置及び向きを示すカメラ情報とを取得し、
   前記カメラ情報を用いて、前記複数の第１映像から、カメラの位置間の距離が予め定められた第１距離より短い、又は、前記カメラの位置間の距離が前記第１距離より長い、複数の第２映像を選択し、
   前記同期情報を用いて、前記複数の第２映像を同期再生し、
   前記複数の第２映像の同期再生中に、前記カメラ情報を用いて、前記複数の第２映像の各々のカメラの位置及び向きを表示する
   映像同期装置。
2. 前記複数の第２映像を同期再生することで、二次元映像又は三次元映像を再生する
   請求項１記載の映像同期装置。
3. 前記複数の第２映像は、前記カメラの位置間の距離が前記第１距離より短く、
   前記二次元映像は、前記複数の第２映像をつなぎ合わせたパノラマ映像を含む
   請求項２記載の映像同期装置。
4. 複数の第１映像と、前記複数の第１映像を同期再生するための同期情報と、前記複数の映像の各々を撮影したカメラの位置及び向きを示すカメラ情報とを取得し、
   前記カメラ情報を用いて、前記複数の第１映像から、カメラの位置間の距離が予め定められた第１距離より短い、又は、前記カメラの位置間の距離が前記第１距離より長い、複数の第２映像を選択し、
   前記同期情報を用いて、前記複数の第２映像を同期再生し、
   前記複数の第２映像の同期再生中に、前記カメラ情報を用いて、前記複数の第２映像の各々のカメラの位置及び向きを表示する
   映像同期方法。

Images