JP2023157799A - ビューワ制御方法及び情報処理装置 - Google Patents

Abstract

【課題】ビューワにおける仮想視点の選択に自由度を持たせつつ、実画像であるフレームの実視点に仮想視点を合わせることができるビューワ制御方法を提供する。【解決手段】ビューワ制御方法は、ビューワを制御するビューワ制御方法であって、オブジェクトを実視点から撮影することで生成されたフレームの実視点の周辺の第１領域を特定し（Ｓ１１４Ａ）、第１領域に関する情報をビューワに出力し、ビューワは、第１領域内の仮想視点から見たオブジェクトの三次元モデルを表示する（Ｓ１１５Ａ）。【選択図】図１６

Description

本開示は、ビューワ制御方法及び情報処理装置に関する。

カメラ画像を入力としてカメラ位置及び姿勢を推定し、その結果を用いて三次元モデルを生成する技術がある（例えば、特許文献１参照）。

国際公開第２０２１／０１４１７７５号

三次元モデルを表示する従来のビューワでは任意の仮想視点が選択可能である。しかし、ビューワにおいて仮想視点を任意に選択するのではなく、実画像であるフレームの実視点に仮想視点を合わせたいというニーズがある。そこで、本開示は、ビューワにおける仮想視点の選択に自由度を持たせつつ、実画像であるフレームの実視点に仮想視点を合わせることができるビューワ制御方法及び情報処理装置を提供することを目的とする。

本開示の一態様に係るビューワ制御方法は、ビューワを制御するビューワ制御方法であって、オブジェクトを実視点から撮影することで生成されたフレームの前記実視点の周辺の第１領域を特定し、前記第１領域に関する情報を前記ビューワに出力し、前記ビューワは、前記第１領域内の仮想視点から見た前記オブジェクトの三次元モデルを表示する。

本開示は、ビューワにおける仮想視点の選択に自由度を持たせつつ、実画像であるフレームの実視点に仮想視点を合わせることができるビューワ制御方法及び情報処理装置を提供できる。

図１は、実施の形態に係る三次元モデル表示システムの構成を示すブロック図である。 図２は、実施の形態に係る特徴点マッチング処理を説明するための図である。 図３は、実施の形態に係る表示装置の動作を示すフローチャートである。 図４は、実施の形態に係る表示部の表示例を示す図である。 図５は、実施の形態に係る視点が変更された後の表示例を示す図である。 図６は、実施の形態に係る画像検索処理の例を示す図である。 図７は、実施の形態に係る画像検索後の表示例を示す図である。 図８は、実施の形態に係る視点変更後の表示例を示す図である。 図９は、実施の形態に係る複数のフレームを表示する場合の表示例を示す図である。 図１０は、実施の形態に係るユーザによるフレームの選択例を示す図である。 図１１は、実施の形態に係る実視点を表示する場合の表示例を示す図である。 図１２は、実施の形態に係る複数の三次元モデルの表示例を示す図である。 図１３は、実施の形態に係る表示装置の変形例の動作を示すフローチャートである。 図１４は、実施の形態に係る表示装置の変形例の動作を示すフローチャートである。 図１５は、実施の形態に係る表示装置の変形例の動作を示すフローチャートである。 図１６は、実施の形態に係る表示装置の変形例の動作を示すフローチャートである。 図１７は、実施の形態に係る第１領域の表示例を示す図である。 図１８は、実施の形態に係る第２領域の表示例を示す図である。

本開示の一態様に係るビューワ制御方法は、ビューワを制御するビューワ制御方法であって、オブジェクトを実視点から撮影することで生成されたフレームの前記実視点の周辺の第１領域を特定し、前記第１領域に関する情報を前記ビューワに出力し、前記ビューワは、前記第１領域内の仮想視点から見た前記オブジェクトの三次元モデルを表示する。

これによれば、当該ビューワ制御方法は、実視点に近い仮想視点から見た三次元モデルをビューワに表示できる。よって、当該ビューワ制御方法は、ビューワにおける仮想視点の選択に自由度を持たせつつ、実視点に仮想視点を合わせる（近づける）ことができる。

例えば、前記ビューワ制御方法は、さらに、前記第１領域以外の第２領域内の仮想視点から見た前記三次元モデルを前記ビューワが表示しないように、前記ビューワを制御してもよい。

これによれば、当該ビューワ制御方法は、実視点から遠い仮想視点の設定を禁止できる。

例えば、前記実視点は、第１座標系で表され、前記三次元モデルは、第２座標系で表され、前記ビューワ制御方法は、さらに、前記第１座標系における、前記実視点の周辺の第２領域を特定し、前記第２領域を前記第２座標系における前記第１領域に変換してもよい。

これによれば、当該ビューワ制御方法は、実視点と三次元モデルとで座標系が異なる場合においても第１領域に仮想視点が含まれるかを判定できる。

例えば、前記ビューワ制御方法は、さらに、インタフェースを介して、前記第２座標系における第１位置を取得し、前記第１位置が前記第１領域内の場合、前記第１位置から見た前記三次元モデルを前記ビューワが表示するように前記ビューワを制御してもよい。

これによれば、当該ビューワ制御方法は、実視点に近い仮想視点から見た三次元モデルをビューワに表示できる。よって、当該ビューワ制御方法は、ビューワにおける仮想視点の選択に自由度を持たせつつ、実視点に仮想視点を合わせることができる。

例えば、前記ビューワ制御方法は、さらに、インタフェースを介して、前記第２座標系における第１位置を取得し、前記第１位置が前記第１領域外の場合、警告情報を前記ビューワが表示するように前記ビューワを制御し、前記警告情報は、前記第１位置から見た前記三次元モデルが表示されないことを示してもよい。

これによれば、当該ビューワ制御方法は、実視点から遠い、ユーザが指定した仮想視点の設定を禁止できる。

例えば、前記ビューワ制御方法は、さらに、前記第１位置が前記第１領域外の場合、前記実視点から見た前記三次元モデルを表示するように前記ビューワを制御してもよい。

これによれば、当該ビューワ制御方法は、ユーザが指定した仮想視点が実視点から遠い場合、例えば、ユーザの誤操作の場合に、単に禁止するのではなく、代わりに実視点から見た三次元モデルを表示できる。

例えば、前記ビューワ制御方法は、さらに、前記第１座標系における追加実視点から前記オブジェクトを撮影することで生成された追加フレームの前記追加実視点を特定し、インタフェースを介して、前記第２座標系における第１位置を取得し、前記第１位置が前記追加実視点よりも前記実視点に近い場合、前記実視点から見た前記三次元モデルを表示するように前記ビューワを制御し、前記第１位置が前記実視点よりも前記追加実視点に近い場合、前記追加実視点から見た前記三次元モデルを表示するように前記ビューワを制御してもよい。

これによれば、当該ビューワ制御方法は、複数フレームがある場合に、ユーザが指定した仮想視点に近い実視点から見た三次元モデルを表示できる。よって、ビューワの視点選択に制限がある場合において操作性を向上できる。

例えば、前記ビューワ制御方法は、さらに、前記第１領域を表示するように前記ビューワを制御してもよい。

これによれば、当該ビューワ制御方法は、ユーザによる適切な仮想視点の設定操作をサポートできる。

例えば、前記ビューワ制御方法は、さらに、前記第１領域以外の第２領域を表示するように前記ビューワを制御し、前記第２領域内の仮想視点から見た前記三次元モデルは、前記ビューワに表示されなくてもよい。

これによれば、当該ビューワ制御方法は、ユーザによる適切な仮想視点の設定操作をサポートできる。

例えば、前記第１領域は、前記オブジェクトを、前記実視点を含む複数の実視点からそれぞれ撮影することで生成された、前記フレームを含む複数のフレームの前記複数の実視点を含み、前記三次元モデルは、前記複数のフレームを用いた特徴点マッチングにより生成されてもよい。

これによれば、当該ビューワ制御方法は、特徴点マッチングに用いた複数のフレームの実視点に近い仮想視点を設定できる。ここで、特徴点マッチングに用いた複数のフレームの実視点に近い視点から見た三次元モデルは精度が高い可能性が高い。また、当該実視点から遠い視点から見た三次元モデルは、データ欠損が発生している可能性が高い。よって、当該ビューワ制御方法は、精度の高い三次元モデルを表示できる。

例えば、前記第１領域は、前記実視点から予め定められた距離以内の領域であってもよい。

これによれば、当該ビューワ制御方法は、実視点に近い仮想視点から見た三次元モデルをビューワに表示できる。

例えば、前記ビューワ制御方法は、さらに、前記フレームを表示してもよい。

これによれば、当該ビューワ制御方法は、表示するフレームの実視点に近い仮想視点から見た三次元モデルを表示できる。よって、ユーザは、フレームと三次元モデルの対応関係を容易に把握できるので、三次元モデルの精度が低い場合でもフレームを参照することで対象物の詳細を確認できる。

例えば、前記第１領域は、前記オブジェクトを、前記実視点を含む複数の第１実視点からそれぞれ撮影することで生成された、前記フレームを含む複数の第１フレームの前記複数の第１実視点を含み、前記ビューワ制御方法は、さらに、ユーザの操作に基づき指定された仮想視点である指定視点を取得し、前記複数の第１実視点のうち、前記指定視点の近傍の第１実視点から撮影された第２フレームを探索し、前記第２フレームを表示してもよい。

これによれば、当該ビューワ制御方法は、ユーザに指定された視点に近い実視点のフレームを表示できる。よって、ユーザは、フレームと三次元モデルの対応関係を容易に把握できるので、三次元モデルの精度が低い場合でもフレームを参照することで対象物の詳細を確認できる。

例えば、前記ビューワ制御方法は、さらに、前記第２フレームの前記第１実視点を前記ビューワに表示させてもよい。

これによれば、当該ビューワ制御方法は、ユーザの操作性を向上できる。

例えば、前記第２フレームの探索では、複数の第１実視点のうち、前記指定視点の近傍の複数の第１実視点である複数の第２実視点から撮影された、前記第２フレームを含む複数の第２フレームを探索し、前記第２フレームの表示では、前記複数の第２フレームを表示し、前記ビューワが表示する前記三次元モデルの視点が、前記複数の第２フレームのうち、ユーザの操作に基づき選択された第２フレームの第２実視点になるように前記ビューワを制御してもよい。

これによれば、当該ビューワ制御方法は、ユーザに指定された視点に近い実視点の複数のフレームのうち、ユーザが指定したフレームの実視点から見た三次元モデルをビューワに表示できる。これにより、ユーザの操作性を向上できる。

例えば、前記ビューワ制御方法は、さらに、前記選択された第２フレームの前記第２実視点と予め定められた関係にある複数の視点から見た複数の前記三次元モデルを前記ビューワに表示させてもよい。

これによれば、当該ビューワ制御方法は、ユーザに選択されたフレームの実視点と関連性がある複数の視点から見た三次元モデルをビューワに表示できる。よって、ユーザの利便性を向上できる。

例えば、前記第２フレームの探索では、前記指定視点から見た前記三次元モデルに含まれる複数の点を、前記複数の第１フレームの各々に投影し、各第１フレームに投影された点の数に基づき、前記第２フレームを判定してもよい。

これによれば、当該ビューワ制御方法は、ユーザに指定された視点に近い実視点のフレームを適切に判定できる。

また、本開示の一態様に係る情報処理装置は、ビューワを制御する情報処理装置であって、プロセッサと、メモリとを備え、前記プロセッサは前記メモリを用いて、オブジェクトを実視点から撮影することで生成されたフレームの前記実視点の周辺の第１領域を特定し、前記第１領域に関する情報を前記ビューワに出力し、前記ビューワは、前記第１領域内の仮想視点から見た前記オブジェクトの三次元モデルを表示する。

これによれば、当該情報処理装置は、実視点に近い仮想視点から見た三次元モデルをビューワに表示できる。よって、当該ビューワ制御方法は、ビューワにおける仮想視点の選択に自由度を持たせつつ、実視点に仮想視点を合わせることができる。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
［１．構成］
まず、本実施の形態に係る三次元モデル表示システムの構成を説明する。図１は、本実施の形態に係る三次元モデル表示システムの構成を示すブロック図である。三次元モデル表示システムは、三次元モデルをビューワに表示するシステムであり、複数の撮像装置１０１と、三次元モデル生成装置１０２と、表示装置１０３とを含む。

複数の撮像装置１０１（カメラ）は、それぞれ異なる視点から被写体（対象物）を撮影し、撮影した複数のフレームを三次元モデル生成装置１０２に出力する。撮影された複数のフレームは、多視点画像ともいう。また、フレームは、言い換えると、画像である。

なお、複数のフレームは、必ずしも複数の撮像装置１０１で撮影される必要はなく、１台の撮像装置１０１により移動しながら撮影されてもよい。つまり、複数のフレームのそれぞれは、位置及び姿勢の少なくとも一方が異なる視点から撮像装置１０１により撮影（生成）されたフレームである。

三次元モデル生成装置１０２は、カメラ位置姿勢推定部１１１と、三次元モデル生成部１１２とを備える。カメラ位置姿勢推定部１１１は、複数の撮像装置１０１で得られた複数のフレームを用いて、フレームの撮影時の撮像装置１０１の位置及び姿勢（視点とも呼ぶ）を示すカメラ位置姿勢情報を生成する。ここで、撮像装置１０１の姿勢とは、撮像装置１０１の撮影方向、及び、撮像装置１０１の傾きの少なくとも一方を示す。撮像装置１０１の撮影方向とは、撮像装置１０１の光軸の方向である。撮像装置１０１の傾きとは、基準姿勢からの撮像装置１０１の光軸周りの回転角度である。

具体的には、カメラ位置姿勢推定部１１１は、複数の撮像装置１０１から取得した複数のフレームに基づいて、複数の撮像装置１０１のカメラパラメータを推定する。ここで、カメラパラメータとは、撮像装置１０１の特性を示すパラメータであり、撮像装置１０１の焦点距離及び画像中心等からなる内部パラメータと、撮像装置１０１の位置（より具体的には、三次元位置）及び姿勢を示す外部パラメータとを含む。

なお、カメラ位置姿勢推定部１１１が撮像装置１０１の位置及び姿勢を推定する推定方法は、特に限定されない。カメラ位置姿勢推定部１１１は、例えば、Ｖｉｓｕａｌ－ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）、Ｓｔｒｕｃｔｕｒｅ－Ｆｒｏｍ－Ｍｏｔｉｏｎ、又はＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）を用いて複数の撮像装置１０１の位置及び姿勢を推定してもよい。または、複数の撮像装置１０１の位置及び姿勢は、ユーザにより入力されてもよい。

具体的には、カメラ位置姿勢推定部１１１は、複数の撮像装置１０１で撮影された複数のフレームに特徴点マッチング処理を行う。つまり、カメラ位置姿勢推定部１１１は、複数のフレームの特徴を抽出し、抽出された複数の特徴点のうち、複数のフレーム間で類似する類似点の組を抽出する。次に、カメラ位置姿勢推定部１１１は、抽出した類似点の組を用いて撮像装置１０１の位置及び姿勢を推定する。

三次元モデル生成部１１２は、複数のフレームと、カメラ位置姿勢情報（カメラパラメータ）とに基づいて、被写体の三次元モデルを生成する。例えば、三次元モデル生成部１１２は、ＭＶＳ（ｍｕｌｔｉ－ｖｉｅｗ ｓｔｅｒｅｏ）を用いて三次元モデルを生成する。まず、三次元モデル生成部１１２は、特徴点マッチング処理を行う。図２は、特徴点マッチング処理を説明するための図である。図２に示すように、フレーム１５１上の点１５２（画素）に類似する、フレーム１６１上の類似点１６２を探索する。具体的には、フレーム１５１内の点１５２について、探索範囲Ｒ１でフレーム１６１との間でマッチングが行われる場合、フレーム１６１において、視点Ｖ１と点１５２とを通過する直線Ｌ１に対応するエピポーラ線１６３は、フレーム１６１の端から端の全てに亘って存在する。なお、フレーム１５１は、視点Ｖ１において得られた画像であり、フレーム１６１は、視点Ｖ２において得られた画像である。直線Ｌ１は、視点Ｖ１に位置する撮像装置１０１による撮影方向と一致する。点１５２は、被写体１４１の点１４２に対応する。

三次元モデル生成部１１２は、以下の式１に示すように、フレームＩとフレームＪとの組み合せにおいて、小領域間のＮｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ（ＮＣＣ）をＮ（Ｉ、Ｊ）として算出し、フレーム間のマッチングを行った結果を示すマッチング情報を生成する。

なお、Ｉｘｙ及びＪｘｙは、フレームＩ及びフレームＪの小領域内の画素値である。また、

及び

は、それぞれフレームＩ及びフレームＪの小領域内の画素値の平均値である。

そして、三次元モデル生成部１１２は、マッチングにおける探索結果を用いて三角測量を実施することで三次元モデルを生成する。

表示装置１０３は、三次元モデル生成装置１０２で生成されたカメラ位置姿勢情報及び三次元モデルを用いて、ビューワに三次元モデルを表示する。例えば、表示装置１０３は、タブレット端末、スマートフォン又はパーソナルコンピュータ等である。

なお、複数の撮像装置１０１と、三次元モデル生成装置１０２と表示装置１０３との通信は、有線通信又は無線通信等の任意の手法で行われてよい。また、これらの通信は機器間で直接行われてもよいし、他の通信機器又はサーバ等を介して間接的に行われてもよい。また、複数のフレーム、カメラ位置姿勢情報及び三次元モデルの送受信はリアルタイムに行われてもよいし、一度メモリ又はクラウドサーバ等の外部記憶装置に記録された後、それらの外部記憶装置から三次元モデル生成装置１０２又は表示装置１０３に出力されてもよい。

また、複数のフレーム、カメラ位置姿勢情報及び三次元モデルの生成方法は、一例であり、複数のフレーム、カメラ位置姿勢情報及び三次元モデルは、上記に限らず、任意の手法で生成されてもよい。例えば、複数のフレームに加え、又は代わりに、深度センサ等で得られた深度画像（デプスマップ）、又は、三次元レーザ計測器（ＬｉＤＡＲ）、或いはミリ波レーダ計測器等のレーザ計測器で得られた三次元情報が用いられてもよい。

また、三次元モデルは被写体上の複数の三次元位置を示す位置情報を含む。例えば、三次元モデルは、複数の三次元位置を示す複数の三次元点を含む三次元点群（ポイントクラウド）である。なお、各三次元点は、色又は反射率等の属性情報を有してもよい。また、三次元モデルは、三次元点群に限らず、三次元メッシュの集合等であってもよい。

表示装置１０３は、取得部１２１と、記憶部１２２と、ビューワ制御部１２３と、ＵＩ部１２４と、表示部１２５とを備える。

取得部１２１は、三次元モデル生成装置１０２から、複数の撮像装置１０１が撮影した複数のフレームと、カメラ位置姿勢情報と、三次元モデルとを取得（受信）する。取得部１２１は、例えば、三次元モデル生成装置１０２と通信するための通信インタフェースである。

記憶部１２２は、取得部１２１により取得された、複数のフレーム、カメラ位置姿勢情報及び三次元モデルを記憶する。なお、記憶部１２２は、表示装置１０３が備える処理部の処理結果を記憶してもよい。また、記憶部１２２は、例えば、表示装置１０３が備える各処理部による処理を処理回路（プロセッサ）に実行させるための制御プログラムを記憶してもよい。記憶部１２２は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ等により実現される。

ＵＩ部１２４は、ユーザの操作を取得するユーザインタフェースであり、例えば、タッチパネル、又は、キーボード及びマウス等である。表示部１２５は、画像を表示するディスプレイである。ビューワ制御部１２３は、三次元モデルを仮想視点から見た三次元モデルを表示するビューワを表示部１２５に表示する。

なお、ここでは、ビューワ制御部１２３と、ＵＩ部１２４及び表示部１２５とは、単一の装置に含まれなくてもよい。また、表示装置１０３は、三次元モデル生成装置１０２に含まれる処理部の一部又は全てを備えてもよい。

［２．動作］
次に、表示装置１０３の動作を説明する。図３は、表示装置１０３の動作を示すフローチャートである。まず、取得部１２１は、三次元モデル生成装置１０２から、複数のフレームと、カメラ位置姿勢情報と、三次元モデルとを取得する（Ｓ１０１）。記憶部１２２は、取得された複数のフレームと、カメラ位置姿勢情報と、三次元モデルとを保存する。なお、記憶部１２２には、フレームのヘッダ情報として、当該フレームを撮影した撮像装置１０１を特定する情報が記憶されてもよい。

次に、ビューワ制御部１２３は、ある視点から見た三次元モデルを表示するビューワ１３１を表示部１２５に表示する（Ｓ１０２）。図４は、表示部１２５の表示例を示す図である。

次に、ＵＩ部１２４に対するユーザの操作に応じて仮想視点が選択される（Ｓ１０３）。例えば、ユーザは、ビューワ１３１上にタップ又はスライド操作を行うことで、仮想視点が選択される。具体的には、三次元モデルの拡大縮小、回転、及び平行移動等が行われる。なお、ユーザによる視点操作の方法は、これらに限らず、表示部１２５に表示された操作ボタン又は操作バーを操作する等、公知の任意の手法が用いられてよい。図５は、視点が変更された後の表示例を示す図である。

次に、ビューワ制御部１２３は、ビューワに表示されている三次元モデルの仮想視点に近い視点のフレームを検索する（Ｓ１０４）。例えば、図５に示す、表示部１２５に表示されている画像検索ボタン１３２がユーザによりタップされることで画像検索が行われる。なお、画像検索の開始の操作はこれに限らず、任意の手法が用いられてよい。また、ユーザによる操作を介さずに自動的に画像検索が行われてもよい。例えば、ユーザによる視点変更の操作が一定時間行われなかった場合に画像検索が行われてもよい。

図６は、画像検索処理の例を示す図である。ビューワ制御部１２３は、記憶部１２２に記憶されているカメラ位置姿勢情報で示される複数の撮像装置１０１の位置姿勢である複数の実視点と、現在の仮想視点とを比較し、仮想視点に近い実視点を検索する。例えば、図６に示す例では、実視点Ａ、Ｂ、Ｃのうち、仮想視点に近い実視点Ｂが選択される。

具体的には、ビューワ制御部１２３は、仮想視点と実視点との位置（例えばｘｙｚ座標）の差と、仮想視点と実視点の視線方向（撮影方向）の差とに基づき、仮想視点に近い実視点を検索する。例えば、ビューワ制御部１２３は、位置の差が予め定められた第１閾値より小さく、かつ、視線方向の差が予め定められた第２閾値より小さい実視点を複数の実視点から抽出する。例えば、位置の差としてユークリッド距離が用いられ、視線方向の差としてコサイン類似度が用いられてもよい。また、ビューワ制御部１２３は、視線方向の差で実視点を絞り込み、絞り込んだ後の実視点に対して位置の差を判定してもよい。また、ビューワ制御部１２３は、位置の差と視線方向の差とをそれぞれ閾値と比較するのではなく、位置の差と視線方向の差とを重み付け加算した値と閾値とを比較してもよい。

なお、ビューワ制御部１２３は、視線方向の差は用いず、位置の差のみを用いてもよい。ここで、複数のフレームは、例えば、被写体の三次元モデルの生成に用いられた複数のフレームであり、被写体を複数方向から撮影した複数のフレームである。よって、複数の実視点の複数の視線方向は、概ね被写体の方向を向いている。また、選択される仮想視点も三次元モデル（被写体）の方向を向いているため、仮想視点と実視点との位置が近い場合には、視線方向も近い可能性が高い。よって、位置のみを用いても一定の精度を確保できる。

また、位置の判定において、深さ方向（視点と被写体とを結ぶ方向）と、上下左右方向（深さ方向と直交する方向）とで異なる閾値が用いられてもよい。例えば、深さ位置（被写体の距離）が異なる場合と、上下左右方向が異なる場合とでは、深さ位置が異なる場合のほうが、三次元モデルとフレームとの比較が容易である。よって、深さ方向の閾値は、上下左右方向の閾値より小さくてもよい。なお、深さ方向の閾値は、上下左右方向の閾値より大きくてもよい。さらに、上下方向と左右方向とで異なる閾値が用いられてもよい。また、これらの方向毎の閾値の設定は、被写体又は使用用途に応じて切り替えられてもよいし、ユーザの設定に応じて切り替えられてもよい。

また、別の方法として、ビューワ制御部１２３は、仮想視点から見た三次元モデル、つまり、ビューワに表示されている三次元モデルを構成する複数の三次元点を、複数のフレームに各々に投影し、投影された三次元点の数が最も多いフレーム、又は、投影された三次元点か数が閾値より多いフレームを、仮想視点に近い実視点のフレームとして抽出してもよい。

ビューワ制御部１２３は、抽出した実視点のフレームを表示部１２５に表示する（Ｓ１０５）。図７は、画像検索後の表示例を示す図である。図７に示すようにビューワ１３１に表示される三次元モデルの仮想視点に近い実視点のフレーム１３４が表示部１２５に表示される。

次に、ビューワ制御部１２３は、三次元モデルの仮想視点を、表示されているフレームの実視点に変更する（Ｓ１０６）。つまり、ビューワ制御部１２３は、フレーム１３４の実視点から見た三次元モデルをビューワ１３１に表示する。例えば、図７に示す、表示部１２５に表示されている視点変更ボタン１３３がユーザによりタップされることで視点変更が行われる。なお、視点変更の操作はこれに限らず、任意の手法が用いられてよい。また、ユーザによる操作を介さずに自動的に視点変更が行われてもよい。

図８は、視点変更後の表示例を示す図である。図８に示すようにビューワ１３１に表示される三次元モデルの仮想視点がフレーム１３４の実視点に変更される。

また、変更される仮想視点は実視点と完全に一致していなくてもよく、実視点の近傍の視点であってもよい。ここで、近傍の視点とは、例えば、実視点との位置の差及び視線方向の差が予め定められた閾値より小さい視点である。

三次元モデルの表示処理が終了していない場合（Ｓ１０７でＮｏ）、次のユーザの操作により仮想視点が変更された場合に（Ｓ１０３）、ステップＳ１０４以降の処理が行われる。つまり、ステップＳ１０３～Ｓ１０６の処理が繰り返し行われる。三次元モデルの表示処理が終了した場合（Ｓ１０７でＹｅｓ）、例えば、ユーザにより処理終了の操作が行われた場合等、ビューワ制御部１２３は、処理を終了する。

以上により、本実施の形態に係る表示装置１０３は、表示されている三次元モデルの仮想視点に近い実視点のフレームを表示する。これにより、ユーザは、三次元モデルの解像度が十分でない場合等において、フレームを参照することで被写体の詳細な構成を確認できる。さらに、表示装置１０３は、フレームと三次元モデルの視点を合わすことができる。これにより、ユーザは、フレームと三次元モデルとの対応関係を容易に認識できる。よって、ユーザの利便性を向上できる。

［３．変形例］
なお、ステップＳ１０４において、仮想視点に近い実視点が複数存在する場合には、ステップＳ１０５において複数のフレームが表示されてもよい。図９は、この場合の表示例を示す図である。図９に示すように、表示部１２５は、仮想視点に近い複数の実視点の複数のフレーム１３４Ａ及び１３４Ｂを表示する。

また、この場合には、ステップＳ１０６において、ユーザにより複数のフレームから仮想視点に設定する実視点に対応するフレームが選択される。図１０は、ユーザによる選択例を示す図である。図１０に示す例では、例えば、ユーザがフレーム１３４Ａをタップすることで、フレーム１３４Ａが選択される。また、ビューワ１３１にフレーム１３４Ａの実視点から見た三次元モデルが表示される。また、図１０に示す状態において、フレーム１３４Ｂがタップされることで、ビューワ１３１に表示される三次元モデルの視点が、フレーム１３４Ｂの実視点に変更されてもよい。

なお、この場合においても、ユーザがフレーム１３４Ａ又は１３４Ｂを選択するのではなく、自動的に三次元モデルの仮想視点が変更されてもよい。例えば、フレーム１３４Ａの実視点から見た三次元モデルと、フレーム１３４Ｂの実視点から見た三次元モデルとが、所定の間隔で交互に表示されてもよい。または、表示部１２５は追加のビューワを表示し、ビューワ１３１と追加のビューワとにそれぞれフレーム１３４Ａの実視点から見た三次元モデルと、フレーム１３４Ｂの実視点から見た三次元モデルとが表示されてもよい。

また、ビューワ１３１上に三次元モデルに加え、フレーム１３４の実視点が表示されてもよい。図１１は、この場合の表示例を示す図である。図１１に示すように、表示部１２５は、ビューワ１３１上に、フレーム１３４の実視点１３５を表示する。この場合、ユーザが実視点１３５を選択する（例えばタップする）ことで、ビューワに表示される三次元モデルの視点が実視点１３５（つまりフレーム１３４の視点）に変更されてもよい。なお、図１０に示す例のように複数のフレーム１３４Ａ及び１３４Ｂが表示される場合には、フレーム１３４Ａに対応する実視点とフレーム１３４Ｂに対応する実視点とがビューワ１３１上に表示されてもよい。

また、ステップＳ１０６において視点変更が行われた場合に、フレーム１３４の実視点から見た三次元モデルに加え、当該実視点と予め定められた関係にある複数の視点から見た複数の三次元モデルが表示されてもよい。図１２は、この場合の表示例を示す図である。図１２に示す例では、フレーム１３４の実視点から見た三次元モデルに加え、当該三次元モデルを拡大した画像と、当該三次元モデルを縮小した画像とが表示される。なお、拡大縮小に限らず、フレーム１３４の実視点から見た三次元モデルを予め定められた方向に回転した三次元モデル、又は、平行移動した三次元モデルが表示されてもよい。また、オルソ表示した画像、又は、複数方向（上、横、下等）からのオルソ表示した複数の画像が表示されてもよい。

また、上記では、画像検索（Ｓ１０３）及び視点変更（Ｓ１０６）はユーザの操作に基づき行われたが、自動的に行われてもよい。図１３は、この場合の表示装置１０３の処理を示すフローチャートである。

ステップＳ１１１～Ｓ１１３は、例えば、図３に示すステップＳ１０１～Ｓ１０３と同様である。仮想視点が選択された後（Ｓ１１３）、ビューワ制御部１２３は、選択された仮想視点に近い実視点のフレームが存在するか（記憶部１２２に記憶されているか）を判定する（Ｓ１１４）。なお、仮想視点に近い実視点の判定方法は、例えば、上述したステップＳ１０４で用いた手法と同様である。

なお、カメラ位置姿勢情報で示される実視点の第１座標系と、三次元モデル及び仮想視点の第２座標系とが異なる場合、ビューワ制御部１２３は、第１座標系で表される実視点を第２座標系に変換し、当該第２座標系の実視点と、第２座標系の仮想視点とに基づき、仮想視点に近い実視点を判定してもよい。または、ビューワ制御部１２３は、第２座標系で表される仮想視点を第１座標系に変換し、当該第１座標系の仮想視点と、第１座標系の実視点とに基づき、仮想視点に近い実視点を判定してもよい。

選択された仮想視点に近い実視点のフレームが存在する場合（Ｓ１１４でＹｅｓ）、ビューワ制御部１２３は、実視点から見た三次元モデルをビューワ１３１に表示する（Ｓ１１５）。また、ビューワ制御部１２３は、当該実視点から撮影されたフレームを表示部１２５に表示する。なお、ビューワ制御部１２３は、当該フレームを表示部１２５に表示しなくてもよい。また、仮想視点に近い実視点が複数存在する場合には、ビューワ制御部１２３は、例えば、仮想視点に最も近い実視点から見た三次元モデルをビューワ１３１に表示してもよい。

一方、選択された仮想視点に近い実視点のフレームが存在しない場合（Ｓ１１４でＮｏ）、ビューワ制御部１２３は、表示部１２５に警告を表示し、ビューワ１３１に三次元モデルを表示しない（Ｓ１１６）。当該警告は、例えば、仮想視点に近い実視点から撮影されたフレームが存在しないため、三次元モデルが表示されないことを示す。なお、ビューワ制御部１２３は、選択された仮想視点から見た三次元モデルをビューワ１３１に表示するとともに、仮想視点に近い実視点から撮影されたフレームが存在しないことを示す警告を表示部１２５に表示してもよい。

三次元モデルの表示処理が終了していない場合（Ｓ１１７でＮｏ）、次のユーザの操作により仮想視点が変更された場合に（Ｓ１１３）、ステップＳ１１４以降の処理が行われる。つまり、ステップＳ１１３～Ｓ１１６の処理が繰り返し行われる。三次元モデルの表示処理が終了した場合（Ｓ１１７でＹｅｓ）、ビューワ制御部１２３は、処理を終了する。

上記の処理により、仮想視点が実視点から近い場合には三次元モデルは表示されるが、仮想視点が実視点から遠い場合には三次元モデルは表示されない。つまり、ユーザの視点操作は、実視点に近い仮想視点に制限される。これにより、対応するフレームが存在しない仮想視点が選択されることを禁止できる。また、複数のフレームを用いて三次元モデルが生成されている場合には、対応するフレームが存在しない仮想視点、つまり、実視点から遠い仮想視点から見た三次元モデルは精度が低い可能性がある。よって、上記の処理により、精度が低い三次元モデルが表示されることを抑制できる。

また、仮想視点に近い実視点が存在する場合、ビューワ１３１に仮想視点から見た三次元モデルが表示されてもよい。図１４は、この場合の表示装置１０３の処理を示すフローチャートである。図１４に示す処理は、図１３に示す処理に対してステップＳ１１５がステップＳ１１５Ａに置き換わっている点が異なる。ビューワ制御部１２３は、選択された仮想視点に近い実視点が存在する場合（Ｓ１１４でＹｅｓ）、選択された仮想視点から見た三次元モデルをビューワ１３１に表示する（Ｓ１１５Ａ）。

上記の処理により、ユーザの視点操作は、実視点に近い仮想視点に制限される。これにより、対応するフレームが存在しない仮想視点が選択されることを禁止できる。また、精度が低い三次元モデルが表示されることを抑制できる。さらに、実視点と完全には一致しない仮想視点を設定できるので、図１３に示す処理に比べて視点操作の制限を緩和できる。

また、仮想視点に近い実視点が存在しない場合、ビューワ１３１に実視点から見た三次元モデルが表示されてもよい。図１５は、この場合の表示装置１０３の処理を示すフローチャートである。図１５に示す処理は、図１４に示す処理に対してステップＳ１１６がステップＳ１１６Ａに置き換わっている点が異なる。ビューワ制御部１２３は、選択された仮想視点に近い実視点が存在しない場合（Ｓ１１４でＮｏ）、実視点から見た三次元モデルをビューワ１３１に表示する（Ｓ１１６Ａ）。例えば、ビューワ制御部１２３は、選択された仮想視点に最も近い実視点から見た三次元モデルをビューワ１３１に表示する。

上記の処理により、ユーザの視点操作は、実視点に近い仮想視点に制限される。これにより、対応するフレームが存在しない仮想視点が選択されることを禁止できる。また、精度が低い三次元モデルが表示されることを抑制できる。さらに、三次元モデルが表示されないケースが発生しないため、ユーザの操作性を向上できる。

また、図１３～図１５に示す処理を組み合わせてもよい。例えば、仮想視点と実視点との位置及び／又は視線方向の差が第１閾値未満の場合には、仮想視点から見た三次元モデルが表示され、上記差が第１閾値以上かつ、第１閾値より大きい第２閾値未満の場合には、実視点（例えば仮想視点に最も近い実視点）から見た三次元モデルが表示され、上記差が第２閾値以上の場合には警告が表示され、三次元モデルが表示されなくてもよい。

また、ビューワ制御部１２３は、ステップＳ１１４における、選択された仮想視点に近い実視点が存在するかの判定として、選択された仮想視点が実視点の近傍の第１領域に含まれるかを判定してもよい。図１６は、この場合の表示装置１０３の処理を示すフローチャートである。図１６に示す処理は、図１４に示す処理に対してステップＳ１１４がステップＳ１１４Ａに置き換わっている点が異なる。

この場合、例えば、複数のフレーム、カメラ位置姿勢情報、及び三次元モデルが取得された後の任意のタイミングにおいて、第１領域が判定される。例えば、第１領域は、複数の実視点の各々から所定距離未満の三次元領域の集合である。具体的には、例えば、上述したステップＳ１０４で用いた手法と同様の手法により、各実視点の近傍の領域が判定され、第１領域は、判定された複数の領域で構成される。

なお、カメラ位置姿勢情報で示される実視点の第１座標系と、三次元モデル及び仮想視点の第２座標系とが異なる場合、ビューワ制御部１２３は、第１座標系で表される実視点の第２領域を判定し、第１座標系で表される第２領域を第２座標系の第１領域に変換してもよい。これにより、ビューワ制御部１２３は、第２座標系で表される仮想視点が、同じく第２座標系で表される第１領域に含まれるかを判定できる。

また、第１領域を規定するための所定距離は、複数の方向において均一でなくてもよい。例えば、第１方向（例えば実視点から三次元モデルに向かう方向）における距離は、第１方向に直交する第２方向における距離より大きくてもよい。実視点から三次元モデルに向かう方向において仮想視点の位置が実視点から離れていても、ユーザは、当該仮想視点からみた三次元モデルの表示内容と、実視点から撮影されたフレームの表示内容の違いを感じにくい。

図１６に示すように、仮想視点が選択された後（Ｓ１１３）、ビューワ制御部１２３は、選択された仮想視点が第１領域に含まれるかを判定する（Ｓ１１４Ａ）。選択された仮想視点が第１領域に含まれる場合（Ｓ１１４ＡでＹｅｓ）、ビューワ制御部１２３は、選択された仮想視点から見た三次元モデルをビューワ１３１に表示する（Ｓ１１５Ａ）。一方、選択された仮想視点が第１領域に含まれない場合（Ｓ１１４ＡでＮｏ）、表示部１２５に警告を表示し、ビューワ１３１に三次元モデルを表示しない（Ｓ１１６）。

また、この場合、ビューワ制御部１２３は、ビューワ１３１に第１領域１７１を表示してもよい。図１７は、第１領域１７１の表示例を示す図である。これにより、ユーザは仮想視点として選択できる第１領域１７１を把握できるのでユーザの操作性を向上できる。

または、ビューワ制御部１２３は、ビューワ１３１に第１領域１７１以外の第２領域を表示してもよい。図１８は、第２領域１７２の表示例を示す図である。これにより、ユーザは仮想視点として選択できない第２領域１７２を把握できるのでユーザの操作性を向上できる。

また、図１６に示す処理は、図１４に示す処理に対して変更を加えた例であるが、図３、図１３、図１５又はその他の例に対しても同様の変更を適用できる。

［４．まとめ］
以上のように、本実施の形態に係る表示装置１０３（ビューワ制御部１２３）は、ビューワ１３１を制御するビューワ制御方法であって、オブジェクトを実視点から撮影することで生成されたフレームの実視点の周辺の第１領域（例えば第１領域１７１）を特定し、第１領域に関する情報をビューワ１３１（又は表示部１２５）に出力し、ビューワ１３１（又は表示部１２５）は、第１領域内の仮想視点から見たオブジェクトの三次元モデルを表示する（例えば、図１６のＳ１１５Ａ）。

これによれば、表示装置１０３は、実視点に近い仮想視点から見た三次元モデルをビューワ１３１に表示できる。よって、表示装置１０３は、ビューワ１３１における仮想視点の選択に自由度を持たせつつ、実視点に仮想視点を合わせることができる。

例えば、第１領域に関する情報は、第１領域の中心位置を示す情報と、当該中心位置から第１領域の外縁までの距離を示す情報とを含む。または、第１領域に関する情報は、第１領域の外縁を示す複数の位置の情報を含む。なお、第１領域に関する情報は、これらの情報に限らず、第１領域を特定できる情報であればよい。

例えば、表示装置１０３は、さらに、第１領域以外の第２領域（例えば第２領域１７２）内の仮想視点から見た三次元モデルをビューワ１３１が表示しないように、ビューワ１３１を制御する。これによれば、表示装置１０３は、実視点から遠い仮想視点の設定を禁止できる。なお、当該第２領域についても、上記第１領域と同様の情報により表現できる。

例えば、実視点は、第１座標系で表され、三次元モデルは、第２座標系で表される。表示装置１０３は、さらに、第１座標系における、実視点の周辺の第２領域を特定し、第２領域を第２座標系における第１領域に変換する。なお、当該第２領域についても、上記第１領域と同様の情報により表現できる。

これによれば、表示装置は、実視点と三次元モデルとで座標系が異なる場合においても第１領域に仮想視点が含まれるかを判定できる。

例えば、表示装置１０３は、さらに、インタフェース（例えばＵＩ部１２４）を介して、第２座標系における第１位置（仮想視点）を取得し、第１位置が第１領域内の場合、第１位置から見た三次元モデルをビューワが表示するようにビューワ１３１を制御する。

これによれば、表示装置１０３は、実視点に近い仮想視点から見た三次元モデルをビューワ１３１に表示できる。よって、表示装置１０３は、ビューワ１３１における仮想視点の選択に自由度を持たせつつ、実視点に仮想視点を合わせることができる。

例えば、表示装置１０３は、さらに、インタフェース（例えばＵＩ部１２４）を介して、第２座標系における第１位置（仮想視点）を取得し、第１位置が第１領域外の場合、警告情報をビューワ１３１が表示するようにビューワ１３１を制御し（例えば図１６のＳ１１６）、警告情報は、第１位置から見た三次元モデルが表示されないことを示す。なお、警告情報は、ＵＩ部１２４に操作入力がされているときのみに表示されてもよい。これによれば、表示装置１０３は、ユーザの誤った操作入力が確定する前に、適切な位置入力をユーザに促すことができる。

これによれば、表示装置１０３は、実視点から遠い、ユーザが指定した仮想視点の設定を禁止できる。

例えば、表示装置１０３は、さらに、第１位置が第１領域外の場合、実視点から見た三次元モデルを表示するようにビューワを制御する（例えば図１５のＳ１１６Ａ）。

これによれば、表示装置１０３は、ユーザが指定した仮想視点が実視点から遠い場合、例えば、ユーザの誤操作の場合に、単に禁止するのではなく、代わりに実視点から見た三次元モデルを表示できる。

例えば、表示装置１０３は、さらに、第１座標系における追加実視点からオブジェクトを撮影することで生成された追加フレームの追加実視点を特定し、インタフェース（例えばＵＩ部１２４）を介して、第２座標系における第１位置を取得し、第１位置が追加実視点よりも実視点に近い場合、実視点から見た三次元モデルを表示するようにビューワ１３１を制御し、第１位置が実視点よりも追加実視点に近い場合、追加実視点から見た三次元モデルを表示するようにビューワを制御する、つまり、表示装置１０３は、複数のフレームの複数の実視点うち、第１位置に最も近い実視点から見た三次元モデルを表示するようにビューワ１３１を制御する。

これによれば、表示装置１０３は、複数フレームがある場合に、ユーザが指定した仮想視点に近い実視点から見た三次元モデルを表示できる。よって、ビューワ１３１の視点選択に制限がある場合において操作性を向上できる。

例えば、図１７に示すように、表示装置１０３は、さらに、第１領域１７１を表示するようにビューワ１３１を制御する。これによれば、表示装置１０３は、ユーザによる適切な仮想視点の設定操作をサポートできる。

例えば、図１８に示すように、表示装置１０３は、さらに、第１領域１７１以外の第２領域１７２を表示するようにビューワ１３１を制御し、第２領域１７２内の仮想視点から見た三次元モデルは、ビューワに表示されない。これによれば、表示装置１０３は、ユーザによる適切な仮想視点の設定操作をサポートできる。

例えば、第１領域は、オブジェクトを、実視点を含む複数の実視点からそれぞれ撮影することで生成された、フレームを含む複数のフレームの複数の実視点を含む。三次元モデルは、複数のフレームを用いた特徴点マッチングにより生成される。

これによれば、表示装置１０３は、特徴点マッチングに用いた複数のフレームの実視点に近い仮想視点を設定できる。ここで、特徴点マッチングに用いた複数のフレームの実視点に近い視点から見た三次元モデルは精度が高い可能性が高い。また、当該実視点から遠い視点から見た三次元モデルは、データ欠損が発生している可能性が高い。よって、表示装置は、精度の高い三次元モデルを表示できる。

例えば、第１領域は、実視点から予め定められた距離以内の領域である。これによれば、表示装置１０３は、実視点に近い仮想視点から見た三次元モデルをビューワ１３１に表示できる。

例えば、表示装置１０３は、さらに、フレーム１３４を表示する。これによれば、表示装置１０３は、表示するフレーム１３４の実視点に近い仮想視点から見た三次元モデルを表示できる。よって、ユーザは、フレーム１３４と三次元モデルの対応関係を容易に把握できるので、三次元モデルの精度が低い場合でもフレームを参照することで対象物の詳細を確認できる。

例えば、第１領域は、オブジェクトを、実視点を含む複数の第１実視点からそれぞれ撮影することで生成された、フレームを含む複数の第１フレームの複数の第１実視点を含む。表示装置１０３は、さらに、ユーザの操作に基づき指定された仮想視点である指定視点を取得し、複数の第１実視点のうち、指定視点の近傍の第１実視点から撮影された第２フレームを探索し、第２フレームを表示する。

これによれば、表示装置１０３は、ユーザに指定された視点に近い実視点のフレームを表示できる。よって、ユーザは、フレームと三次元モデルの対応関係を容易に把握できるので、三次元モデルの精度が低い場合でもフレームを参照することで対象物の詳細を確認できる。

例えば、図１１に示すように、表示装置１０３は、さらに、第２フレームの第１実視点（実視点１３５）をビューワ１３１に表示させる。これによれば、表示装置１０３は、ユーザの操作性を向上できる。

例えば、第２フレームの探索では、複数の第１実視点のうち、指定視点の近傍の複数の第１実視点である複数の第２実視点から撮影された、第２フレームを含む複数の第２フレームを探索し、第２フレームの表示では、複数の第２フレーム（例えば図９に示すフレーム１３４Ａ及び１３４Ｂ）を表示し、ビューワ１３１が表示する三次元モデルの視点が、複数の第２フレームのうち、ユーザの操作に基づき選択された第２フレームの第２実視点になるようにビューワ１３１を制御する（例えば図１０）。

これによれば、表示装置１０３は、ユーザに指定された視点に近い実視点の複数のフレームのうち、ユーザが指定したフレームの実視点から見た三次元モデルをビューワ１３１に表示できる。これにより、ユーザの操作性を向上できる。

例えば、図１２に示すように、表示装置１０３は、さらに、選択された第２フレームの第２実視点と予め定められた関係にある複数の視点から見た複数の三次元モデルをビューワ１３１に表示させる。これによれば、表示装置１０３は、ユーザに選択されたフレームの実視点と関連性がある複数の視点から見た三次元モデルをビューワに表示できる。よって、ユーザの利便性を向上できる。

例えば、表示装置１０３は、第２フレームの探索では、指定視点から見た三次元モデルに含まれる複数の点を、複数の第１フレームの各々に投影し、各第１フレームに投影された点の数に基づき、第２フレームを判定する。これによれば、表示装置１０３は、ユーザに指定された視点に近い実視点のフレームを適切に判定できる。

また、上記処理は、表示装置１０３に含まれる情報処理装置（例えばビューワ制御部１２３）により実行されてもよい。

例えば、表示装置又は情報処理装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。

以上、本開示の実施の形態に係る表示装置等について説明したが、本開示は、この実施の形態に限定されるものではない。

また、上記実施の形態に係る表示装置等に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、本開示は、表示装置等により実行されるビューワ制御方法等として実現されてもよい。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

以上、一つまたは複数の態様に係る表示装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本開示は、三次元モデルを表示するビューワを表示する表示装置等に適用できる。

１０１ 撮像装置
１０２ 三次元モデル生成装置
１０３ 表示装置
１１１ カメラ位置姿勢推定部
１１２ 三次元モデル生成部
１２１ 取得部
１２２ 記憶部
１２３ ビューワ制御部
１２４ ＵＩ部
１２５ 表示部
１３１ ビューワ
１３２ 画像検索ボタン
１３３ 視点変更ボタン
１３４、１３４Ａ、１３４Ｂ フレーム
１３５ 実視点
１４１ 被写体
１４２、１５２ 点
１５１、１６１ フレーム
１６２ 類似点
１６３ エピポーラ線
１７１ 第１領域
１７２ 第２領域

Claims (18)

1. ビューワを制御するビューワ制御方法であって、
   オブジェクトを実視点から撮影することで生成されたフレームの前記実視点の周辺の第１領域を特定し、
   前記第１領域に関する情報を前記ビューワに出力し、
   前記ビューワは、前記第１領域内の仮想視点から見た前記オブジェクトの三次元モデルを表示する
   ビューワ制御方法。
2. 前記ビューワ制御方法は、さらに、
   前記第１領域以外の第２領域内の仮想視点から見た前記三次元モデルを前記ビューワが表示しないように、前記ビューワを制御する
   請求項１記載のビューワ制御方法。
3. 前記実視点は、第１座標系で表され、
   前記三次元モデルは、第２座標系で表され、
   前記ビューワ制御方法は、さらに、
   前記第１座標系における、前記実視点の周辺の第２領域を特定し、
   前記第２領域を前記第２座標系における前記第１領域に変換する
   請求項１記載のビューワ制御方法。
4. 前記ビューワ制御方法は、さらに、
   インタフェースを介して、前記第２座標系における第１位置を取得し、
   前記第１位置が前記第１領域内の場合、前記第１位置から見た前記三次元モデルを前記ビューワが表示するように前記ビューワを制御する
   請求項３記載のビューワ制御方法。
5. 前記ビューワ制御方法は、さらに、
   インタフェースを介して、前記第２座標系における第１位置を取得し、
   前記第１位置が前記第１領域外の場合、警告情報を前記ビューワが表示するように前記ビューワを制御し、前記警告情報は、前記第１位置から見た前記三次元モデルが表示されないことを示す
   請求項３記載のビューワ制御方法。
6. 前記ビューワ制御方法は、さらに、
   前記第１位置が前記第１領域外の場合、前記実視点から見た前記三次元モデルを表示するように前記ビューワを制御する
   請求項４記載のビューワ制御方法。
7. 前記ビューワ制御方法は、さらに、
   前記第１座標系における追加実視点から前記オブジェクトを撮影することで生成された追加フレームの前記追加実視点を特定し、
   インタフェースを介して、前記第２座標系における第１位置を取得し、
   前記第１位置が前記追加実視点よりも前記実視点に近い場合、前記実視点から見た前記三次元モデルを表示するように前記ビューワを制御し、
   前記第１位置が前記実視点よりも前記追加実視点に近い場合、前記追加実視点から見た前記三次元モデルを表示するように前記ビューワを制御する
   請求項３記載のビューワ制御方法。
8. 前記ビューワ制御方法は、さらに、
   前記第１領域を表示するように前記ビューワを制御する
   請求項１記載のビューワ制御方法。
9. 前記ビューワ制御方法は、さらに、
   前記第１領域以外の第２領域を表示するように前記ビューワを制御し、
   前記第２領域内の仮想視点から見た前記三次元モデルは、前記ビューワに表示されない
   請求項１記載のビューワ制御方法。
10. 前記第１領域は、前記オブジェクトを、前記実視点を含む複数の実視点からそれぞれ撮影することで生成された、前記フレームを含む複数のフレームの前記複数の実視点を含み、
    前記三次元モデルは、前記複数のフレームを用いた特徴点マッチングにより生成される
    請求項１記載のビューワ制御方法。
11. 前記第１領域は、前記実視点から予め定められた距離以内の領域である
    請求項１記載のビューワ制御方法。
12. 前記ビューワ制御方法は、さらに、
    前記フレームを表示する
    請求項１記載のビューワ制御方法。
13. 前記第１領域は、前記オブジェクトを、前記実視点を含む複数の第１実視点からそれぞれ撮影することで生成された、前記フレームを含む複数の第１フレームの前記複数の第１実視点を含み、
    前記ビューワ制御方法は、さらに、
    ユーザの操作に基づき指定された仮想視点である指定視点を取得し、
    前記複数の第１実視点のうち、前記指定視点の近傍の第１実視点から撮影された第２フレームを探索し、
    前記第２フレームを表示する
    請求項１記載のビューワ制御方法。
14. 前記ビューワ制御方法は、さらに、
    前記第２フレームの前記第１実視点を前記ビューワに表示させる
    請求項１３記載のビューワ制御方法。
15. 前記第２フレームの探索では、複数の第１実視点のうち、前記指定視点の近傍の複数の第１実視点である複数の第２実視点から撮影された、前記第２フレームを含む複数の第２フレームを探索し、
    前記第２フレームの表示では、前記複数の第２フレームを表示し、
    前記ビューワが表示する前記三次元モデルの視点が、前記複数の第２フレームのうち、ユーザの操作に基づき選択された第２フレームの第２実視点になるように前記ビューワを制御する
    請求項１３記載のビューワ制御方法。
16. 前記ビューワ制御方法は、さらに、
    前記選択された第２フレームの前記第２実視点と予め定められた関係にある複数の視点から見た複数の前記三次元モデルを前記ビューワに表示させる
    請求項１５記載のビューワ制御方法。
17. 前記第２フレームの探索では、前記指定視点から見た前記三次元モデルに含まれる複数の点を、前記複数の第１フレームの各々に投影し、各第１フレームに投影された点の数に基づき、前記第２フレームを判定する
    請求項１３記載のビューワ制御方法。
18. ビューワを制御する情報処理装置であって、
    プロセッサと、
    メモリとを備え、
    前記プロセッサは前記メモリを用いて、
    オブジェクトを実視点から撮影することで生成されたフレームの前記実視点の周辺の第１領域を特定し、
    前記第１領域に関する情報を前記ビューワに出力し、
    前記ビューワは、前記第１領域内の仮想視点から見た前記オブジェクトの三次元モデルを表示する
    情報処理装置。

Images