JP2008304268A5 - - Google Patents

Claims (20)

1. 環境マップの生成処理を実行する情報処理装置であり、
   画像を撮影するカメラと、
   前記カメラの取得した画像に基づいてカメラの位置および姿勢を検出する自己位置検出部と、
   前記カメラの取得した画像からオブジェクトを検出する画像認識処理部と、
   前記自己位置検出部の検出したカメラの位置姿勢情報と、前記画像認識処理部の検出したオブジェクト情報を入力して、環境マップの生成または更新処理を実行するデータ構築部と、
   オブジェクトに対応する少なくとも三次元形状データを含むオブジェクト情報を登録した辞書データを格納した辞書データ記憶部を有し、
   前記画像認識処理部は、
   前記辞書データを参照して前記カメラの取得した画像からオブジェクトを検出する処理を実行し、
   前記データ構築部は、
   前記辞書データに登録された三次元形状データを適用して環境マップへのオブジェクト配置を実行する構成であることを特徴とする情報処理装置。
2. 前記画像認識処理部は、
   前記カメラの取得した画像に含まれるオブジェクトの特徴点の位置を識別し、前記データ構築部に出力する処理を実行する構成であり、
   前記データ構築部は、
   前記画像認識処理部から入力する特徴点情報と、前記自己位置検出部から入力するカメラの位置姿勢情報とに基づいて、オブジェクトの世界座標系における位置および姿勢を算出して環境マップに登録する処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
3. 前記自己位置検出部は、
   前記カメラから入力する画像内の特徴点を利用して世界座標系で表されたカメラの推定位置および姿勢情報としてのカメラ位置（Ｃｗ）、カメラの回転行列（Ｒｗ）を算出して前記データ構築部に出力する処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
4. 前記自己位置検出部は、
   前記カメラから入力する画像内の特徴点の位置と、カメラの位置姿勢を併せて検出するＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
5. 前記情報処理装置は、さらに、
   前記画像認識処理部におけるオブジェクト検出対象フレームより以前の画像フレーム中のオブジェクト中の特徴点位置を、前記画像認識処理部におけるオブジェクト検出対象フレームの画像対応の座標上に変換する座標変換部を有し、
   前記画像認識処理部は、
   前記座標変換部の提供する特徴点情報を前記データ構築部に出力する処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
6. 前記情報処理装置は、さらに、
   前記画像認識処理部において検出した特徴点と、前記自己位置検出部において検出した特徴点との位置が予め定めた閾値以内の距離にある場合に、この特徴点を特徴点データベースに記録する特徴点照合部を有し、
   前記座標変換部は、前記特徴点データベースに記録された特徴点の位置を、前記画像認識処理部におけるオブジェクト検出対象フレームの画像対応の座標上に変換して画像認識処理部において利用可能とする処理を行なう構成であることを特徴とする請求項５に記載の情報処理装置。
7. 前記データ構築部は、
   生成済みの環境マップを格納した環境マップデータベースと、
   前記環境マップデータベースから環境マップを取得する環境情報取得部と、
   前記環境情報取得部の取得した環境マップと、前記画像認識処理部から入力するオブジェクト検出情報とを比較し、比較結果を環境マップ更新部に出力する認識結果比較部と、
   前記認識結果比較部から入力する比較結果に基づいて、前記環境マップデータベースに格納された環境マップの更新処理を実行する環境マップ更新部を有する構成であることを特徴とする請求項１に記載の情報処理装置。
8. 前記環境情報取得部は、
   前記環境マップデータベースから環境マップを取得し、取得した環境マップに含まれる特徴点の位置を含む特徴点情報を生成する特徴点情報生成部を有し、
   前記認識結果比較部は、
   前記画像認識処理部から入力するオブジェクト対応の特徴点情報と、前記特徴点情報生成部の生成した特徴点情報を比較して、比較情報を前記環境マップ更新部内の画像内変更領域抽出部に出力する特徴点情報比較部を有し、
   前記環境マップ更新部は、
   前記特徴点情報比較部から前記比較情報を入力し、マッチした特徴点の距離が予め設定した閾値より近い領域以外を環境マップの更新領域として抽出する画像内変更領域抽出部と、
   前記環境マップデータベースに格納された環境マップに対して、前記画像内変更領域抽出部の抽出した更新領域のみを更新対象として、前記画像認識処理部から入力する特徴点情報を用いた更新処理を実行する環境マップ更新部と、
   を有する構成であることを特徴とする請求項７に記載の情報処理装置。
9. 前記環境情報取得部は、
   前記環境マップデータベースから環境マップを取得し、取得した環境マップに含まれるオブジェクトの重心・姿勢の存在確率分布を抽出する存在確率分布抽出部を有し、
   前記認識結果比較部は、
   前記画像認識処理部から入力するオブジェクト認識結果を入力して、認識オブジェクトの存在確率分布を生成する存在確率分布生成部と、
   前記存在確率分布抽出部が環境マップに基づいて生成した認識オブジェクトの存在確率分布と、前記存在確率分布生成部が前記画像認識処理部の認識結果に基づいて生成したオブジェクトの存在確率分布との比較を行い、比較情報を前記環境マップ更新部に出力する確率分布比較部を有し、
   前記環境マップ更新部は、
   前記存在確率分布比較部から入力する比較情報に基づいて環境マップの更新領域を決定し、前記環境マップデータベースに格納された環境マップに対して、前記更新領域のみを更新対象として、前記画像認識処理部から入力する特徴点情報を用いた更新処理を実行する構成であることを特徴とする請求項７に記載の情報処理装置。
10. 前記確率分布比較部は、
    前記存在確率分布抽出部が環境マップに基づいて生成した認識オブジェクトの存在確率分布と、前記存在確率分布生成部が前記画像認識処理部の認識結果に基づいて生成したオブジェクトの存在確率分布との差分を示すマハラノビス距離（ｓ）を算出して前記環境マップ更新部に出力する構成であり、
    前記環境マップ更新部は、
    前記マハラノビス距離（ｓ）が、予め設定した閾値より大きい場合に、前記環境マップデータベースに登録された環境マップを更新する処理を実行する構成であることを特徴とする請求項９に記載の情報処理装置。
11. 環境マップに基づいてオブジェクト検索範囲を特定する処理を実行する情報処理装置であり、
    オブジェクトの隣接領域に特定オブジェクトが存在する可能性を示すオントロジーデータ（意味情報）を格納した記憶部と、
    前記オントロジーデータ（意味情報）に基づいて、特定オブジェクトの探索領域を決定する画像認識処理部と、
    を有することを特徴とする情報処理装置。
12. 情報処理装置において、環境マップの生成処理を実行する情報処理方法であり、
    カメラが画像を撮影する画像撮影ステップと、
    自己位置検出部が、前記カメラの取得した画像に基づいてカメラの位置および姿勢を検出する自己位置検出ステップと、
    画像認識処理部が、前記カメラの取得した画像からオブジェクトを検出する画像認識処理ステップと、
    データ構築部が、前記自己位置検出部の検出したカメラの位置姿勢情報と、前記画像認識処理部の検出したオブジェクト情報を入力して、環境マップの生成または更新処理を実行するデータ構築ステップとを有し、
    前記画像認識処理ステップは、
    オブジェクトに対応する少なくとも三次元形状データを含むオブジェクト情報を登録した辞書データを参照して前記カメラの取得した画像からオブジェクトを検出する処理を実行し、
    前記データ構築ステップは、
    前記辞書データに登録された三次元形状データを適用して環境マップへのオブジェクト配置を実行することを特徴とする情報処理方法。
13. 前記画像認識処理ステップは、
    前記カメラの取得した画像に含まれるオブジェクトの特徴点の位置を識別し、前記データ構築部に出力する処理を実行するステップであり、
    前記データ構築ステップは、
    前記画像認識処理部から入力する特徴点情報と、前記自己位置検出部から入力するカメラの位置姿勢情報とに基づいて、オブジェクトの世界座標系における位置および姿勢を算出して環境マップに登録する処理を実行するステップであることを特徴とする請求項１２に記載の情報処理方法。
14. 前記自己位置検出ステップは、
    前記カメラから入力する画像内の特徴点を利用して世界座標系で表されたカメラの推定位置および姿勢情報としてのカメラ位置（Ｃｗ）、カメラの回転行列（Ｒｗ）を算出して前記データ構築部に出力する処理を実行するステップであることを特徴とする請求項１２に記載の情報処理方法。
15. 前記自己位置検出ステップは、
    前記カメラから入力する画像内の特徴点の位置と、カメラの位置姿勢を併せて検出するＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）を実行するステップであることを特徴とする請求項１２に記載の情報処理方法。
16. 前記情報処理方法は、さらに、
    座標変換部が、前記画像認識処理部におけるオブジェクト検出対象フレームより以前の画像フレーム中のオブジェクト中の特徴点位置を、前記画像認識処理部におけるオブジェクト検出対象フレームの画像対応の座標上に変換する座標変換ステップを有し、
    前記画像認識処理ステップは、
    前記座標変換部の提供する特徴点情報を前記データ構築部に出力する処理を実行するステップであることを特徴とする請求項１２に記載の情報処理方法。
17. 前記情報処理方法は、さらに、
    特徴点照合部が、前記画像認識処理部において検出した特徴点と、前記自己位置検出部において検出した特徴点との位置が予め定めた閾値以内の距離にある場合に、この特徴点を特徴点データベースに記録する特徴点照合ステップを有し、
    前記座標変換ステップは、前記特徴点データベースに記録された特徴点の位置を、前記画像認識処理部におけるオブジェクト検出対象フレームの画像対応の座標上に変換して画像認識処理部において利用可能とする処理を行なうステップであることを特徴とする請求項１６に記載の情報処理方法。
18. 前記データ構築ステップは、
    環境情報取得部が、生成済みの環境マップを環境マップデータベースから取得する環境情報取得ステップと、
    認識結果比較部が、環境マップデータベースから取得した環境マップと、前記画像認識処理部から入力するオブジェクト検出情報とを比較し、比較結果を環境マップ更新部に出力する認識結果比較ステップと、
    環境マップ更新部が、前記認識結果比較部から入力する比較結果に基づいて、前記環境マップデータベースに格納された環境マップの更新処理を実行する環境マップ更新ステップを有することを特徴とする請求項１２に記載の情報処理方法。
19. 前記環境情報取得ステップは、
    特徴点情報生成部が、前記環境マップデータベースから環境マップを取得し、取得した環境マップに含まれる特徴点の位置を含む特徴点情報を生成する特徴点情報生成ステップを有し、
    前記認識結果比較ステップは、
    特徴点情報比較部が、前記画像認識処理部から入力するオブジェクト対応の特徴点情報と、前記特徴点情報生成部の生成した特徴点情報を比較して、比較情報を前記環境マップ更新部内の画像内変更領域抽出部に出力する特徴点情報比較ステップを有し、
    前記環境マップ更新ステップは、
    画像内変更領域抽出部が、前記特徴点情報比較部から前記比較情報を入力し、マッチした特徴点の距離が予め設定した閾値より近い領域以外を環境マップの更新領域として抽出する画像内変更領域抽出ステップと、
    環境マップ更新部が、前記環境マップデータベースに格納された環境マップに対して、前記画像内変更領域抽出部の抽出した更新領域のみを更新対象として、前記画像認識処理部から入力する特徴点情報を用いた更新処理を実行する環境マップ更新ステップと、
    を有することを特徴とする請求項１８に記載の情報処理方法。
20. 情報処理装置において、環境マップの生成処理を実行させるコンピュータ・プログラムであり、
    カメラに画像を撮影させる画像撮影ステップと、
    自己位置検出部に、前記カメラの取得した画像に基づいてカメラの位置および姿勢を検出させる自己位置検出ステップと、
    画像認識処理部に、前記カメラの取得した画像からオブジェクトを検出させる画像認識処理ステップと、
    データ構築部に、前記自己位置検出部の検出したカメラの位置姿勢情報と、前記画像認識処理部の検出したオブジェクト情報を入力して、環境マップの生成または更新処理を実行させるデータ構築ステップとを有し、
    前記画像認識処理ステップは、
    オブジェクトに対応する少なくとも三次元形状データを含むオブジェクト情報を登録した辞書データを参照して前記カメラの取得した画像からオブジェクトを検出するステップであり、
    前記データ構築ステップは、
    前記辞書データに登録された三次元形状データを適用して環境マップへのオブジェクト配置を実行するステップであることを特徴とするコンピュータ・プログラム。