JP2016533557A5 - - Google Patents

Claims (15)

1. オブジェクト認識システムにおけるターゲットオブジェクトの追跡のコンピュータ実装方法であって、
   カメラで複数の画像を取得するステップと、
   前記ターゲットオブジェクトのオフライン地図データを取得するステップであって、オフライン地図データが前記複数の画像を取得する前に生成される、ステップと、
   同時に、前記ターゲットオブジェクトを追跡し、かつ、前記複数の画像からオンライン地図データを動的に構築するステップであって、前記ターゲットオブジェクトを追跡するステップが、前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するステップを含む、ステップと
   を備える、コンピュータ実装方法。
2. 前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するステップが、前記ターゲットオブジェクトの融合されたオンラインモデルを生成するために、前記オンライン地図データと前記オフライン地図データとを融合するステップを含み、前記ターゲットオブジェクトの追跡が前記融合されたオンラインモデルに基づく、請求項1に記載のコンピュータ実装方法。
3. 前記オンライン地図データと前記オフライン地図データとを融合するステップが、
   前記複数の取得された画像のうちの少なくとも1つから、1つまたは複数のオンラインフィーチャを抽出するステップと、
   オンラインフィーチャと、前記オフライン地図データに含まれるオフラインフィーチャとを比較するステップと、
   前記オンラインフィーチャと前記オフラインフィーチャの両方が、前記ターゲットオブジェクトの同じ3Dポイントに対応する場合、オフラインフィーチャの記述子を更新して、前記更新されたオフラインフィーチャを前記融合されたオンラインモデルに追加するステップと、
   前記オンラインフィーチャが前記ターゲットオブジェクト上の新しい3Dポイントに対応し、前記新しい3Dポイントがどのオフラインフィーチャにも対応しない場合、前記オンラインフィーチャを前記融合されたオンラインモデルに追加するステップと
   を含む、請求項2に記載のコンピュータ実装方法。
4. 前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するステップが、
   前記カメラに対する前記ターゲットオブジェクトのターゲットポーズを推定するステップであって、前記ターゲットポーズ推定が成功する場合もあり失敗する場合もある、ステップと、
   前記ターゲットポーズ推定が成功するかどうかを決定するステップと、成功した場合、
   後続の画像内の前記ターゲットオブジェクトの追跡のために、前記オンライン地図データまたは前記オフライン地図データを選択するステップと
   を含む、請求項1に記載のコンピュータ実装方法。
5. 前記後続の画像内の前記ターゲットオブジェクトの追跡のため、前記ターゲットオブジェクトの前記追跡が失敗した場合、追跡のために前記オンライン地図データと前記オフライン地図データの両方を選択するステップをさらに備える、請求項4に記載のコンピュータ実装方法。
6. 前記オンライン地図データまたは前記オフライン地図データを選択するステップが、
   前記ターゲットオブジェクトの領域サイズを計算するステップと、
   前記ターゲットオブジェクトの前記領域サイズが領域しきい値よりも大きい場合、追跡のために前記オフライン地図データを選択して、前記オンライン地図データを無効にするステップと、
   前記ターゲットオブジェクトの前記領域サイズが前記領域しきい値以下である場合、追跡のために前記オンライン地図データを選択して、前記オフライン地図データを無効にするステップと
   を含む、請求項4に記載のコンピュータ実装方法。
7. 前記ターゲットオブジェクトの前記領域サイズを計算するステップが、オフライン地図データフィーチャの境界ボックスを取得された画像に投影するステップを含む、請求項6に記載のコンピュータ実装方法。
8. 前記領域しきい値が、画像の少なくとも半分を仮定する前記ターゲットオブジェクトに対応する、請求項6に記載のコンピュータ実装方法。
9. 前記オンライン地図データが、前記カメラで取得された前記複数の画像に対応する1つまたは複数のキーフレームに基づく、請求項1に記載のコンピュータ実装方法。
10. 前記オンライン地図データを構築するステップが、キーフレームSLAM(Simultaneous Localization and Mapping)を含む、請求項1に記載のコンピュータ実装方法。
11. 前記オンライン地図データを構築するステップが、候補キーフレームと、前記カメラによって取得された画像に対応する他のオンラインキーフレームとの間のポーズ距離を計算することによって、1つまたは複数のキーフレームに前記候補キーフレームを追加するステップを含む、請求項1に記載のコンピュータ実装方法。
12. 請求項1乃至11のいずれか1項に記載の方法を実行するためのプログラムコードを記憶したコンピュータ可読記憶媒体。
13. カメラで複数の画像を取得するための手段と、
    ターゲットオブジェクトのオフライン地図データを取得するための手段であって、オフライン地図データが、前記複数の画像を取得する前に生成される、手段と、
    同時に、前記ターゲットオブジェクトを追跡し、かつ、前記複数の画像からオンライン地図データを動的に構築するための手段であって、前記ターゲットオブジェクトを追跡するための手段が、前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するための手段を含む、手段と
    を含む、装置。
14. 前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するための前記手段が、前記ターゲットオブジェクトの融合されたオンラインモデルを生成するために、前記オンライン地図データと前記オフライン地図データとを融合するための手段を含み、前記オンライン地図データと前記オフライン地図データとを融合するための前記手段が、
    前記複数の取得された画像のうちの少なくとも1つから、1つまたは複数のオンラインフィーチャを抽出するための手段と、
    前記1つまたは複数のオンラインフィーチャと、前記オフライン地図データに含まれるオフラインフィーチャとを比較するための手段と、
    前記オンラインフィーチャと前記オフラインフィーチャの両方が、前記ターゲットオブジェクトの同じ3Dポイントに対応する場合、オフラインフィーチャの記述子を更新して、前記更新されたオフラインフィーチャを前記融合されたオンラインモデルに追加するための手段と、
    前記オンラインフィーチャが前記ターゲットオブジェクト上の新しい3Dポイントに対応し、前記新しい3Dポイントがどのオフラインフィーチャにも対応しない場合、前記オンラインフィーチャを前記融合されたオンラインモデルに追加するための手段と
    を含む、請求項13に記載の装置。
15. 前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するための前記手段が、
    前記カメラに対する前記ターゲットオブジェクトのターゲットポーズを推定するための手段であって、前記ターゲットポーズ推定が成功する場合もあり失敗する場合もある、手段と、
    前記ターゲットポーズ推定が成功するかどうかを決定するための手段と、
    前記ターゲットオブジェクトの追跡が成功した場合、後続の画像内の前記ターゲットオブジェクトの追跡のために、前記オンライン地図データまたは前記オフライン地図データを選択するための手段と
    を含む、請求項13に記載の装置。