JP2018113021A5 - - Google Patents

Description

上記の目的を達成するための本発明の一態様による情報処理装置は以下の構成を備える。すなわち、現実空間の複数の特徴を複数の第一の特徴として保持する保持手段と、前記複数の第一の特徴の各々には、第一の時刻に撮像装置によって撮像された第一の画像における位置と、前記撮像装置の位置または姿勢の推定への利用可能性の情報とが関連付けられており、前記第一の時刻以降の第二の時刻に前記撮像装置によって撮像された第二の画像において検出された複数の第二の特徴と、前記複数の第一の特徴とを対応付ける対応付け手段と、前記対応付け手段によって対応付けられた第一の特徴に関連付けられている利用可能性に基づいて、前記複数の第二の特徴のうち前記撮像装置の位置または姿勢の推定に用いる第二の特徴を決定する決定手段と、を備える。

Claims (22)

1. 現実空間の複数の特徴を複数の第一の特徴として保持する保持手段と、
   前記複数の第一の特徴の各々には、第一の時刻に撮像装置によって撮像された第一の画像における位置と、前記撮像装置の位置または姿勢の推定への利用可能性の情報とが関連付けられており、
   前記第一の時刻以降の第二の時刻に前記撮像装置によって撮像された第二の画像において検出された複数の第二の特徴と、前記複数の第一の特徴とを対応付ける対応付け手段と、
   前記対応付け手段によって対応付けられた第一の特徴に関連付けられている利用可能性に基づいて、前記複数の第二の特徴のうち前記撮像装置の位置または姿勢の推定に用いる第二の特徴を決定する決定手段と、を備えることを特徴とする情報処理装置。
2. 前記決定手段は、前記複数の第二の特徴から前記撮像装置の位置または姿勢の推定に用いる第二の特徴を選択、または、前記複数の第二の特徴の各々の位置または姿勢の推定への寄与度を表す重みを調整することを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段が決定した第二の特徴を用いて前記第二の画像を撮像したときの前記撮像装置の位置または姿勢を推定する推定手段と、
   前記推定手段が推定した位置または姿勢に基づいて、前記保持手段が保持する利用可能性を更新する更新手段と、をさらに備えることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記更新手段は、前記複数の第一の特徴に関連付けられている位置を前記第二の画像における位置に更新することを特徴とする請求項３に記載の情報処理装置。
5. 前記推定手段が推定した位置または姿勢に基づいて前記複数の第一の特徴を前記第二の画像に投影し、前記第二の画像における、前記第二の特徴の位置と、前記対応付け手段により対応付けされた第一の特徴の投影位置との距離である再投影誤差を取得する取得手段をさらに備え、
   前記更新手段は、前記再投影誤差に基づいて前記複数の第一の特徴に対応する利用可能性を小さくすることを特徴とする請求項３または４に記載の情報処理装置。
6. 前記更新手段は、前記再投影誤差が大きいほど前記利用可能性を小さくすることを特徴とする請求項５に記載の情報処理装置。
7. 前記更新手段は、前記再投影誤差に基づいて推定された利用可能性と前記保持手段に保持されている利用可能性とのうちの小さい方、平均または重み付き平均、を用いて、前記保持手段に保持されている利用可能性を更新することを特徴とする請求項６に記載の情報処理装置。
8. 前記更新手段は、前記対応付け手段による対応付け結果に基づいて、前記保持手段が保持する利用可能性を更新することを特徴とする請求項３乃至６のいずれか１項に記載の情報処理装置。
9. 前記保持手段は、前記複数の第一の特徴の各々に関して、前記対応付け手段が対応付けに連続して成功した回数を保持し、
   前記更新手段は、画像特徴の前記回数が小さいほど前記保持手段が保持する該画像特徴の利用可能性を小さくすることを特徴とする請求項７または８に記載の情報処理装置。
10. 前記更新手段は、前記回数が所定回数以下の第一の特徴の利用可能性を０に設定することを特徴とする請求項９に記載の情報処理装置。
11. 前記推定手段が推定した位置または姿勢に基づいて前記複数の第一の特徴を前記第二の画像に投影し、前記第二の画像における、前記第二の特徴の位置と、前記対応付け手段により対応付けされた第一の特徴の投影位置との距離である再投影誤差を取得する取得手段をさらに備え、
    前記更新手段は、前記再投影誤差の値が所定回数以上にわたって連続して所定の閾値より小さい場合に、第一の特徴に関連付けられた利用可能性を大きくすることを特徴とする請求項３乃至７のいずれか１項に記載の情報処理装置。
12. 前記保持手段は、シーン中に存在する特徴の三次元幾何情報を含む三次元マップを保持し、
    前記三次元マップが有する特徴を前記第一の画像へ投影し、前記決定手段により決定された第二の特徴に対応する第一の特徴と投影された特徴とを対応付け、対応付けられた第一の特徴の位置を前記特徴の投影位置に変更する変更手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
13. 前記対応付け手段により対応付けられた第二の特徴のうち、利用可能性の値が所定の閾値より大きい第二の特徴を前記三次元マップに追加する追加手段をさらに備えることを特徴とする請求項１２に記載の情報処理装置。
14. 前記決定手段は、前記複数の第二の特徴のうち利用可能性の値が所定の閾値より大きい第二の特徴を選択する、または、利用可能性の値が所定の閾値より大きい第二の特徴の位置または姿勢の推定への寄与度を表す重みの値を大きくすることを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記決定手段は、前記複数の第二の特徴のうち利用可能性の値が大きなものから順に所定個の特徴を選択する、または、利用可能性の値が大きいほど第二の特徴の位置または姿勢の推定への寄与度を表す重みの値を大きくすることを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
16. 前記決定手段は、前記第二の画像を小領域に区切り、小領域ごとに利用可能性が高い順
    に所定個の第二の特徴を選択する、または、小領域ごとに利用可能性が高い順に第二の特徴の
    位置または姿勢の推定への寄与度を表す重みの値を大きくすることを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
17. 前記決定手段は、画像上の距離が所定の閾値よりも大きくなるように、かつ、利用可能性の値の大きな順に第二の特徴を選択することを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
18. 前記推定手段が推定した前記撮像装置の位置または姿勢に基づいて仮想物体の像を前記第一の画像に合成する合成手段と、
    前記合成手段が合成した画像を表示する表示手段と、をさらに備えることを特徴とする請求項３に記載の情報処理装置。
19. 撮像装置によって撮像された第一の画像における第一の特徴点の位置と、現実空間における前記撮像装置の位置または姿勢の推定への利用可能性であって第一の特徴点に関連付けられた利用可能性とを取得する取得手段と、
    前記撮像装置によって撮像された第二の画像における複数の第二の特徴点と、複数の第一の特徴点とを対応付ける対応付け手段と、
    前記第二の特徴点に関連付けられた第一の特徴点の利用可能性に基づいて、前記複数の第二の特徴のうち前記撮像装置の位置または姿勢の推定に用いる前記第二の画像における第二の特徴点を決定する決定手段と、を備えることを特徴とする情報処理装置。
20. 現実空間の複数の特徴を複数の第一の特徴として保持する保持手段を有する情報処理装置の制御方法であって、
    前記複数の第一の特徴の各々には、第一の時刻に撮像装置によって撮像された第一の画像における位置と、前記撮像装置の位置または姿勢の推定への利用可能性の情報とが関連付けられており、
    前記第一の時刻以降の第二の時刻に前記撮像装置によって撮像された第二の画像において検出された複数の第二の特徴と、前記複数の第一の特徴とを対応付ける対応付け工程と、
    前記対応付け工程によって対応付けられた第一の特徴に関連付けられている利用可能性に基づいて、前記複数の第二の特徴のうち、前記撮像装置の位置または姿勢の推定に用いる第二の特徴を調整する決定工程と、を有することを特徴とする情報処理装置の制御方法。
21. 情報処理装置の制御方法であって、
    撮像装置によって撮像された第一の画像における第一の特徴点の位置と、現実空間における前記撮像装置の位置または姿勢の推定への利用可能性であって第一の特徴点に関連付けられた利用可能性とを取得する取得工程と、
    前記撮像装置によって撮像された第二の画像における複数の第二の特徴点と、複数の第一の特徴点とを対応付ける対応付け工程と、
    前記第二の特徴点に関連付けられた第一の特徴点の利用可能性に基づいて、前記複数の第二の特徴のうち前記撮像装置の位置または姿勢の推定に用いる前記第二の画像における第二の特徴点を決定する決定工程と、を備えることを特徴とする情報処理装置の制御方法。
22. コンピュータを、請求項１乃至１９の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。