JP2006058244A - 画像処理装置及びコンピュータプログラム - Google Patents

Abstract

【課題】 建築物の内装及び外装のモデリング及び３次元計測を行う画像処理装置及びコンピュータプログラムの提供。
【解決手段】 建築物の内装の各壁面を撮像した撮像画像を取込み（Ｓ１１）、各撮像画像から壁面の指定を受付ける（Ｓ１２）。そして、各壁面の頂点の座標に基づいて、撮像装置の位置及び姿勢を算出し（Ｓ１３）、撮像画像に写っている頂点と定義した頂点の位置との距離に関する評価関数を設定する（Ｓ１４）。そして、算出した撮像装置の位置及び姿勢を初期値として評価関数を最適化し（Ｓ１５）、室内寸法を表すパラメータを算出する（Ｓ１６）。
【選択図】 図５

Description

本発明は、建築物の内装及び外装のモデリング及び３次元計測を行う画像処理装置及びコンピュータプログラムに関する。

従来、３次元計測装置として、レンジファインダ、レンジスキャナ等の光学式計測装置が知られている。レンジファインダを用いた３次元計測では、まず、計測対象物にレーザ光源の光ビームを照射し、計測対象物の表面にスポット光の照射点が形成されるようにする。そして、その照射点を含めた計測対象物の撮像画像を２台の撮像装置により取得し、三角測量の原理に従って照射点の３次元位置を計測する。一方、レンジスキャナを利用した３次元計測では、計測対象物にレーザ光を照射し、計測対象物からの反射光を受光する時間を計測することで計測対象物までの距離情報を取得し、その距離情報に基づきレーザ光の照射点の３次元位置を計測する。レーザ光を計測対象物に対して走査させることにより広範囲の３次元計測を一度に行うことができ、例えば、建築物の計測、地形の計測等に利用されている（例えば、特許文献１参照）。
特開２００２−３６４１７５号公報

しかしながら、レンジファインダ又はレンジスキャナ等の光学式計測装置を用いて３次元計測を行う場合、複雑な機器を現場に持ち込んで設置しなければならないため、それらの設置時間に多くの時間を要するという問題点を有している。また、レンジファインダ、レンジスキャナを利用するためには予備的な知識が必要なり、初心者が容易に利用できる環境を提供することができないという問題点を有していた。

本発明は斯かる事情に鑑みてなされたものであり、方形状の１又は複数の平面からなる撮像対象を撮像して取込み、平面の形状を規定するパラメータを算出すべき変数として、平面の各頂点の３次元座標を記述し、頂点に対応する撮像画像上の点と記述した３次元座標に対応する撮像画像上の点との間の距離に関する評価関数を設定し、設定した評価関数に基づいて変数を求める構成とすることにより、予備知識がないユーザであっても容易に室内のモデリングを行うことができる画像処理装置及びコンピュータプログラムを提供することを目的とする。

第１発明に係る画像処理装置は、方形状の１又は複数の平面からなる撮像対象を撮像装置により撮像して取得した１又は複数の撮像画像を取込み、所定の３次元座標系にて表した前記撮像対象の３次元形状を、前記撮像画像に基づいて求める画像処理装置において、前記撮像対象に含まれる各平面の形状を規定するパラメータを算出すべき変数として設定する手段と、前記３次元座標系における前記平面の各頂点の３次元座標を、前記変数を用いて定義する手段と、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を設定する手段と、設定した位置及び姿勢に基づいて前記３次元座標を前記撮像画像上に投影した点と、前記撮像対象に含まれる各平面の頂点に対応した撮像画像上の点との間の距離に関する評価関数を設定する手段と、設定した評価関数に基づいて前記変数を算出する手段とを備えることを特徴とする。

第１発明にあっては、方形状の１又は複数の平面からなる撮像対象を撮像して取込み、各平面の形状を規定するパラメータを算出すべき変数として平面の各頂点の３次元座標を記述し、頂点に対応する撮像画像上の点と記述した３次元座標に対応する撮像画像上の点との間の距離に関する評価関数を設定し、設定した評価関数に基づいて変数を求めるようにしているため、任意の点の３次元座標を求める一般のモデリングと異なり、より少ない枚数の画像、及びより少ない特徴点によりモデリングが可能となるため、算出すべき変数を大幅に減らすことが可能となる。また、求まる平面は厳密に直交する。

第２発明に係る画像処理装置は、方形状の１又は複数の平面からなる撮像対象を撮像装置により撮像して取得した１又は複数の撮像画像を取込み、所定の３次元座標系にて表した前記撮像対象の３次元形状を、前記撮像画像に基づいて求める画像処理装置において、前記撮像対象に含まれる各平面の形状を規定するパラメータを算出すべき変数として設定する手段と、前記３次元座標系における前記平面の各頂点の３次元座標を、前記変数を用いて定義する手段と、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を設定する手段と、前記撮像対象に含まれる各平面の頂点に対応した撮像画像上の点を、設定した位置及び姿勢に基づいて変換した前記３次元座標系上の点と、前記各頂点との間の距離に関する評価関数を設定する手段と、設定した評価関数に基づいて前記変数を算出する手段とを備えることを特徴とする。

第２発明にあっては、方形状の１又は複数の平面からなる撮像対象を撮像して取込み、各平面を規定するパラメータを算出すべき変数として平面の各頂点の３次元座標を記述し、頂点に対応する撮像画像上の点を変換した３次元座標系上の点と各頂点との間の距離に関する評価関数を設定し、設定した評価関数に基づいて変数を求めるようにしているため、任意の点の３次元座標を求める一般のモデリングと異なり、より少ない枚数の画像、及びより少ない特徴点によりモデリングが可能となるため、算出すべき変数を大幅に減らすことが可能となる。また、求まる平面は厳密に直交する。

第３発明に係る画像処理装置は、方形状の１又は複数の平面を含み、特徴点を有する撮像対象を撮像装置により撮像して取得した１又は複数の撮像画像を取込み、所定の３次元座標系にて表した前記撮像対象の３次元形状を、前記撮像画像に基づいて求める画像処理装置において、前記撮像対象に含まれる各平面の形状を規定するパラメータを算出すべき変数として設定する手段と、前記３次元座標系における前記平面の各頂点の３次元座標を、前記変数を用いて定義する手段と、前記撮像対象を撮像した際の前記撮像対象の位置及び姿勢を設定する手段と、設定した位置及び姿勢に基づいて前記３次元座標を前記撮像画像上に投影した点と、前記撮像対象に含まれる各平面の頂点に対応した撮像画像上の点との間の距離、及び前記撮像対象に含まれる特徴点を前記位置及び姿勢に基づいて前記撮像画像上に投影した点と、前記特徴点に対応した前記撮像画像上の点との距離に関する評価関数を設定する手段と、設定した評価関数に基づいて前記変数を算出する手段とを備えることを特徴とする。

第３発明にあっては、方形状の１又は複数の平面を含み、特徴点を有する撮像対象を撮像して取込み、各平面の形状を規定するパラメータを算出すべき変数として平面の各頂点の３次元座標を記述し、頂点に対応する撮像画像上の点と記述した３次元座標に対応する撮像画像上の点との間の距離、撮像対象に含まれる特徴点を撮像画像上に投影した点と特徴点に対応する撮像画像上の点との間の距離に関する評価関数を設定し、設定した評価関数に基づいて変数を求めるようにしているため、任意の点の３次元座標を求める一般のモデリングと異なり、より少ない枚数の画像、及びより少ない特徴点によりモデリングが可能となるため、算出すべき変数を大幅に減らすことが可能となる。また、平面上にない３次元空間上の点についてもその３次元座標が求まる。

第４発明に係る画像処理装置は、方形状の１又は複数の平面を含み、特徴点を有する撮像対象を撮像装置により撮像して取得した１又は複数の撮像画像を取込み、所定の３次元座標系にて表した前記撮像対象の３次元形状を、前記撮像画像に基づいて求める画像処理装置において、前記撮像対象に含まれる各平面の形状を規定するパラメータを算出すべき変数として設定する手段と、前記３次元座標系における前記平面の各頂点の３次元座標を、前記変数を用いて定義する手段と、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を設定する手段と、前記撮像対象に含まれる各平面の頂点に対応した撮像画像上の点を、設定した位置及び姿勢に基づいて変換した前記３次元座標系上の点と、前記各頂点との間の距離、及び前記撮像対象に含まれる特徴点に対応した撮像画像上の点を、前記位置及び姿勢に基づいて変換した前記３次元座標系上の点と、前記特徴点との間の距離に関する評価関数を設定する手段と、設定した評価関数に基づいて前記変数を算出する手段とを備えることを特徴とする。

第４発明にあっては、方形状の１又は複数の平面を含み、特徴点を有する撮像対象を撮像して取込み、各平面を規定するパラメータを算出すべき変数として平面の各頂点の３次元座標を記述し、頂点に対応する撮像画像上の点を変換した３次元座標系上の点と各頂点との間の距離、及び特徴点に対応した点を変換した３次元座標系上の点と特徴点との間の距離に関する評価関数を設定し、設定した評価関数に基づいて変数を求めるようにしているため、任意の点の３次元座標を求める一般のモデリングと異なり、より少ない枚数の画像、及びより少ない特徴点によりモデリングが可能となるため、算出すべき変数を大幅に減らすことが可能となる。また、平面上にない３次元空間上の点についても３次元座標が求まる。

第５発明に係る画像処理装置は、第１発明乃至第４発明の何れかに記載した画像処理装置において、一の平面と他の平面との配置関係に関する情報を受付ける手段を備え、受付けた情報に基づいて前記変数を設定するようにしてあることを特徴とする。

第５発明にあっては、一の平面と他の平面との配置関係に関する情報を受付けるようにしているため、設定すべき変数を更に減らすことが可能となり、設定した評価関数を最小にする変数が比較的速やかに求まる。

第６発明に係る画像処理装置は、第５発明に係る画像処理装置において、前記配置関係は、一の平面と他の平面とのなす角度が９０度、１８０度、又は２７０度の何れかであることを特徴とする。

第６発明にあっては、一の平面と他の平面とのなす角度を９０度、１８０度、又は２７０度に限定して配置関係を定めているため、設定すべき変数を大幅に減らすことが可能となり、設定した評価関数を最小にする変数が比較的速やかに求まる。

第７発明に係る画像処理装置は、第１発明乃至第４発明の何れかに記載した画像処理装置において、前記平面の各頂点に対応した前記撮像画像上の点に基づいて各撮像画像を撮像した際の撮像装置の位置及び姿勢を算出する手段を備え、算出した位置及び姿勢を、前記３次元座標を前記撮像画像上に投影する際の値として設定するようにしてあることを特徴とする。

第７発明にあっては、各撮像画像を撮像した際の撮像装置の位置及び姿勢を算出するようにしているため、定義した３次元座標を撮像画像上に射影することが可能となり、射影した点を初期値として評価関数を最小化することで速やかに設定した変数が求まる。

第８発明に係る画像処理装置は、第１発明乃至第７発明の何れかに記載した画像処理装置において、算出した変数を用いて各平面の頂点の３次元座標を求める手段を備えることを特徴とする。

第８発明にあっては、算出した変数を用いて各平面の頂点の３次元座標を求めるようにしているため、撮像対象の３次元形状が求まる。

第９発明に係る画像処理装置は、第１発明乃至第８発明の何れかに記載した画像処理装置において、前記撮像対象は、建築物の内装又は外装であることを特徴とする。

第９発明にあっては、建築物の内装又は外装を撮像対象としているため、建築物の内装又は外装のモデリングが可能となる。

第１０発明に係るコンピュータプログラムは、コンピュータに、方形状の１又は複数の平面からなる撮像対象を撮像装置により撮像して取得した１又は複数の撮像画像を取込んだ後、所定の座標系で表した前記撮像対象の３次元形状を前記撮像画像に基づいて求めさせるステップを有するコンピュータプログラムにおいて、コンピュータに、前記撮像対象に含まれる各平面の形状を規定するパラメータを算出すべき変数として設定させるステップと、コンピュータに、前記３次元座標系における前記平面の各頂点の３次元座標を、前記変数を用いて定義させるステップと、コンピュータに、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を設定させるステップと、コンピュータに、設定した位置及び姿勢に基づいて前記３次元座標を前記撮像画像上に投影した点と、前記撮像対象に含まれる各平面の頂点に対応した撮像画像上の点との間の距離に関する評価関数を設定させるステップと、コンピュータに、設定した評価関数に基づいて前記変数を算出させるステップとを有することを特徴とする。

第１０発明にあっては、方形状の１又は複数の平面からなる撮像対象を撮像して取込み、各平面を規定するパラメータを算出すべき変数として、平面の各頂点の３次元座標を記述し、頂点に対応する撮像画像上の点と記述した３次元座標に対応する撮像画像上の点との間の距離に関する評価関数を設定し、設定した評価関数に基づいて変数を求めるようにしているため、任意の点の３次元座標を求める一般のモデリングと異なり、より少ない枚数の画像、及びより少ない特徴点によりモデリングが可能となるため、算出すべき変数を大幅に減らすことが可能となる。また、求まる平面は厳密に直交する。

第１１発明に係るコンピュータプログラムは、コンピュータに、方形状の１又は複数の平面からなる撮像対象を撮像装置により撮像して取得した１又は複数の撮像画像を取込んだ後、所定の座標系で表した前記撮像対象の３次元形状を前記撮像画像に基づいて求めさせるステップを有するコンピュータプログラムにおいて、コンピュータに、前記撮像対象に含まれる各平面の形状を規定するパラメータを算出すべき変数として設定させるステップと、コンピュータに、前記３次元座標系における前記平面の各頂点の３次元座標を、前記変数を用いて定義させるステップと、コンピュータに、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を設定させるステップと、コンピュータに、前記撮像対象に含まれる各平面の頂点に対応した撮像画像上の点を、設定した位置及び姿勢に基づいて変換した前記３次元座標系上の点と、前記各頂点との間の距離に関する評価関数を設定させるステップと、コンピュータに、設定した評価関数に基づいて前記変数を算出させるステップとを有することを特徴とする。

第１１発明にあっては、方形状の１又は複数の平面からなる撮像対象を撮像して取込み、各平面を規定するパラメータを算出すべき変数として平面の各頂点の３次元座標を記述し、頂点に対応する撮像画像上の点を変換した３次元座標系上の点と各頂点との間の距離に関する評価関数を設定し、設定した評価関数に基づいて変数を求めるようにしているため、任意の点の３次元座標を求める一般のモデリングと異なり、より少ない枚数の画像、及びより少ない特徴点によりモデリングが可能となるため、算出すべき変数を大幅に減らすことが可能となる。また、求まる平面は厳密に直交する。

第１２発明に係るコンピュータプログラムは、コンピュータに、方形状の１又は複数の平面を含み、特徴点を有する撮像対象を撮像装置により撮像して取得した１又は複数の撮像画像を取込んだ後、所定の座標系で表した前記撮像対象の３次元形状を前記撮像画像に基づいて求めさせるステップを有するコンピュータプログラムにおいて、コンピュータに、前記撮像対象に含まれる各平面の形状を規定するパラメータを算出すべき変数として設定させるステップと、コンピュータに、前記３次元座標系における前記平面の各頂点の３次元座標を、前記変数を用いて定義させるステップと、コンピュータに、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を設定させるステップと、コンピュータに、設定した位置及び姿勢に基づいて前記３次元座標を前記撮像画像上に投影した点と、前記撮像対象に含まれる各平面の頂点に対応した撮像画像上の点との間の距離、及び前記撮像対象に含まれる特徴点を前記位置及び姿勢に基づいて前記撮像画像上に投影した点と、前記特徴点に対応した前記撮像画像上の点との距離に関する評価関数を設定させるステップと、コンピュータに、設定した評価関数に基づいて前記変数を算出させるステップとを有することを特徴とする。

第１２発明にあっては、方形状の１又は複数の平面を含み、特徴点を有する撮像対象を撮像して取込み、各平面の形状を規定するパラメータを算出すべき変数として平面の各頂点の３次元座標を記述し、頂点に対応する撮像画像上の点と記述した３次元座標に対応する撮像画像上の点との間の距離、撮像対象に含まれる特徴点を撮像画像上に投影した点と特徴点に対応する撮像画像上の点との間の距離に関する評価関数を設定し、設定した評価関数に基づいて変数を求めるようにしているため、任意の点の３次元座標を求める一般のモデリングと異なり、より少ない枚数の画像、及びより少ない特徴点によりモデリングが可能となるため、算出すべき変数を大幅に減らすことが可能となる。また、平面上にない３次元空間上の点についても３次元座標が求まる。

第１３発明に係るコンピュータプログラムは、コンピュータに、方形状の１又は複数の平面を含み、特徴点を有する撮像対象を撮像装置により撮像して取得した１又は複数の撮像画像を取込んだ後、所定の座標系で表した前記撮像対象の３次元形状を前記撮像画像に基づいて求めさせるステップを有するコンピュータプログラムにおいて、コンピュータに、前記撮像対象に含まれる各平面の形状を規定するパラメータを算出すべき変数として設定させるステップと、コンピュータに、前記３次元座標系における前記平面の各頂点の３次元座標を、前記変数を用いて定義させるステップと、コンピュータに、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を設定させるステップと、コンピュータに、前記撮像対象に含まれる各平面の頂点に対応した撮像画像上の点を、設定した位置及び姿勢に基づいて変換した前記３次元座標系上の点と、前記各頂点との間の距離、及び前記撮像対象に含まれる特徴点に対応した撮像画像上の点を、前記位置及び姿勢に基づいて変換した前記３次元座標系上の点と、前記特徴点との間の距離に関する評価関数を設定させるステップと、コンピュータに、設定した評価関数に基づいて前記変数を算出させるステップとを有することを特徴とする。

第１３発明にあっては、方形状の１又は複数の平面を含み、特徴点を有する撮像対象を撮像して取込み、各平面を規定するパラメータを算出すべき変数として平面の各頂点の３次元座標を記述し、頂点に対応する撮像画像上の点を変換した３次元座標系上の点と各頂点との間の距離、及び特徴点に対応した点を変換した３次元座標系上の点と特徴点との間の距離に関する評価関数を設定し、設定した評価関数に基づいて変数を求めるようにしているため、任意の点の３次元座標を求める一般のモデリングと異なり、より少ない枚数の画像、及びより少ない特徴点によりモデリングが可能となるため、算出すべき変数を大幅に減らすことが可能となる。また、平面上にない３次元空間上の点についても３次元座標が求まる。

第１４発明に係るコンピュータプログラムは、第１０発明乃至第１３発明の何れかに記載したコンピュータプログラムにおいて、コンピュータに、一の平面と他の平面との配置関係に関する情報を受付けさせるステップを更に有することを特徴とする。

第１４発明にあっては、一の平面と他の平面との配置関係に関する情報を受付けるようにしているため、設定すべき変数を更に減らすことが可能となり、設定した評価関数を最小にする変数が比較的速やかに求まる。

第１５発明に係るコンピュータプログラムは、第１４発明に係るコンピュータプログラムにおいて、前記配置関係は、一の平面と他の平面とのなす角度が９０度、１８０度、又は２７０度の何れかであることを特徴とする。

第１５発明にあっては、一の平面と他の平面とのなす角度を９０度、１８０度、又は２７０度に限定して配置関係を定めているため、設定すべき変数を大幅に減らすことが可能となり、設定した評価関数を最小にする変数が比較的速やかに求まる。

第１６発明に係るコンピュータプログラムは、第１０発明乃至第１３発明の何れかに記載したコンピュータプログラムにおいて、コンピュータに、各撮像画像を撮像した際の撮像装置の位置及び姿勢を、前記平面の各頂点に対応した各撮像画像上の点に基づいて算出させるステップを有し、算出した位置及び姿勢を、前記３次元座標を前記撮像画像上に投影する際の値として設定するようにしてあることを特徴とする。

第１６発明にあっては、各撮像画像を撮像した際の撮像装置の位置及び姿勢を算出するようにしているため、定義した３次元座標を撮像画像上に射影することが可能となり、射影した点を初期値として評価関数を最小化することで速やかに設定した変数が求まる。

第１７発明に係るコンピュータプログラムは、第１０発明乃至第１６発明の何れかに記載したコンピュータプログラムにおいて、コンピュータに、算出した変数を用いて各平面の頂点の３次元座標を求めさせるステップを更に有することを特徴とする。

第１７発明にあっては、算出した変数を用いて各平面の頂点の３次元座標を求めるようにしているため、撮像対象の３次元形状が求まる。

第１発明及び第１０発明による場合は、方形状の１又は複数の平面からなる撮像対象を撮像して取込み、各平面の隣り合う２辺の長さを算出すべき変数として、平面の各頂点の３次元座標を記述し、頂点に対応する撮像画像上の点と記述した３次元座標に対応する撮像画像上の点との間の距離に関する評価関数を設定し、設定した評価関数に基づいて変数を求めるようにしている。したがって、任意の点の３次元座標を求める一般のモデリングと異なり、より少ない枚数の画像、及びより少ない特徴点によりモデリングが可能となるため、算出すべき変数を大幅に減らすことが可能となる。また、レンジファインダ又はレンジスキャナ等の大型の光学式計測装置を持ち込む必要がなくなるため、撮像対象の３次元形状を容易に取得することができると共に、設置時間等に伴う計測時間の長時間化を回避することができる。

第２発明及び第１１発明による場合は、方形状の１又は複数の平面からなる撮像対象を撮像して取込み、各平面を規定するパラメータを算出すべき変数として平面の各頂点の３次元座標を記述し、頂点に対応する撮像画像上の点を変換した３次元座標系上の点と各頂点との間の距離に関する評価関数を設定し、設定した評価関数に基づいて変数を求めるようにしている。したがって、任意の点の３次元座標を求める一般のモデリングと異なりより少ない枚数の画像、及びより少ない特徴点によりモデリングが可能となるため、算出すべき変数を大幅に減らすことが可能となる。また、レンジファインダ又はレンジスキャナ等の大型の光学式計測装置を持ち込む必要がなくなるため、撮像対象の３次元形状を容易に取得することができると共に、設置時間等に伴う計測時間の長時間化を回避することができる。

第３発明及び第１２発明による場合は、方形状の１又は複数の平面を含み、特徴点を有する撮像対象を撮像して取込み、各平面の形状を規定するパラメータを算出すべき変数として平面の各頂点の３次元座標を記述し、頂点に対応する撮像画像上の点と記述した３次元座標に対応する撮像画像上の点との間の距離、撮像対象に含まれる特徴点を撮像画像上に投影した点と特徴点に対応する撮像画像上の点との間の距離に関する評価関数を設定し、設定した評価関数に基づいて変数を求めるようにしている。したがって、任意の点の３次元座標を求める一般のモデリングと異なり、より少ない枚数の画像、及びより少ない特徴点の対応付けによりモデリングが可能となるため、算出すべき変数を大幅に減らすことが可能となる。また、平面上にない３次元空間上の点についてもその３次元座標を求めることができる。

第４発明及び第１３発明による場合は、方形状の１又は複数の平面を含み、特徴点を有する撮像対象を撮像して取込み、各平面を規定するパラメータを算出すべき変数として平面の各頂点の３次元座標を記述し、頂点に対応する撮像画像上の点を変換した３次元座標系上の点と各頂点との間の距離、及び特徴点に対応した点を変換した３次元座標系上の点と特徴点との間の距離に関する評価関数を設定し、設定した評価関数に基づいて変数を求めるようにしている。したがって、任意の点の３次元座標を求める一般のモデリングと異なり、より少ない枚数の画像、及びより少ない特徴点によりモデリングが可能となり、算出すべき変数を大幅に減らすことが可能となる。また、平面上にない３次元空間上の点についてもその３次元座標を求めることができる。

第５発明及び第１４発明による場合は、一の平面と他の平面との配置関係に関する情報を受付けるようにしている。したがって、設定すべき変数を更に減らすことが可能となり、設定した評価関数を最小にする変数を比較的速やかに求めることができる。

第６発明及び第１５発明による場合は、一の平面と他の平面とのなす角度を９０度、１８０度、又は２７０度に限定して配置関係を定めている。したがって、設定すべき変数を大幅に減らすことが可能となり、設定した評価関数を最小にする変数を比較的速やかに求めることができる。

第７発明及び第１６発明による場合は、各撮像画像を撮像した際の撮像装置の位置及び姿勢を算出するようにしている。したがって、定義した３次元座標を撮像画像上に射影することが可能となり、射影した点を初期値として評価関数を最小化することで速やかに設定した変数を求めることができる。

第８発明及び第１７発明による場合は、算出した変数を用いて各平面の頂点の３次元座標を求めるようにしているため、撮像対象の３次元形状を求めることができる。

第９発明による場合は、建築物の内装又は外装を撮像対象としているため、建築物の壁面の頂点の３次元座標を求めることによりモデリング及び３次元計測が可能となる。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１は本実施の形態においてモデリングの対象となる室内の平面図であり、図２は同じく側面図である。図１において紙面の上側を北、下側を南として以下の説明を行う。室内の外周は、北側の壁面Ｗ１、東側の３つの壁面Ｗ２，Ｗ３，Ｗ４、南側の壁面Ｗ５、西側の２つの壁面Ｗ６，Ｗ７により構成されている。

北側の壁面Ｗ１にはドア４１が設置されており、南側の壁面Ｗ５には窓４２が設置されている。東側の３つの壁面Ｗ２，Ｗ３，Ｗ４は、本来的には連続した１枚の壁面であるが、２本の柱によって分割されているため、３枚の別個の壁面Ｗ２，Ｗ３，Ｗ４として取扱うこととする。なお、本実施の形態では、柱Ｐ１，Ｐ２の表面も壁面として取扱うようにしている。すなわち、図１に示した例では、柱Ｐ１を３枚の壁面Ｗ８，Ｗ９，Ｗ１０として取扱い、柱Ｐ２は３枚の壁面Ｗ１１，Ｗ１２，Ｗ１３として取扱う。

西側の２つの壁面Ｗ６，Ｗ７も本来的には１枚の壁面で構成されているが、撮像装置２０（図３参照）の撮像範囲に収めきれない場合には、その壁面の中途部に吊下げ紐３１と錘３２とからなる振り子３０を吊り下げることによって、仮想的に２枚の壁面Ｗ６，Ｗ７に分割することを行う。

図３は室内を撮像している様子を示す模式図である。図３（ａ）は北側の壁面Ｗ１を撮像している様子を示している。ユーザが壁面Ｗ１の４つの頂点が撮像範囲に収まる撮像位置（例えば、ＰＯＳ１で示した位置）から撮像装置２０によって壁面Ｗ１を撮像することによって、壁面Ｗ１を含んだ撮像画像を取得する。同様に、図３（ｂ）は東側の３枚の壁面Ｗ２，Ｗ３，Ｗ４及び柱Ｐ１，Ｐ２（壁面Ｗ８〜Ｗ１３）を撮像している様子を示している。例えば、ＰＯＳ２〜ＰＯＳ４で示した位置から壁面Ｗ２，Ｗ３，Ｗ４及び柱Ｐ１，Ｐ２を撮像することにより、壁面Ｗ２〜Ｗ３，Ｗ８〜Ｗ１３が含まれた撮像画像を取得する。

南側の壁面Ｗ５、西側の壁面Ｗ６，Ｗ７についても同様であり、図３（ｃ）、図３（ｄ）に示したように、例えばＰＯＳ５〜ＰＯＳ７に示した位置から壁面Ｗ５〜Ｗ７を撮像することにより、各壁面Ｗ５，Ｗ６，Ｗ７が含まれた撮像画像を取得する。

本実施の形態では、このようにして各壁面Ｗ１，Ｗ２，…，Ｗ１３が含まれた７枚の撮像画像を用いて室内のモデリングを行う。

図４は本実施の形態に係る画像処理装置の内部構成を説明するブロック図である。画像処理装置１０はＣＰＵ１１を備えており、該ＣＰＵ１１にはＲＯＭ１３、ＲＡＭ１４、操作部１５、表示部１６、画像入力部１７、補助記憶部１８、記憶部１９等の各種ハードウェアがバス１２を介して接続されている。ＣＰＵ１１は、ＲＯＭ１３に格納された各種制御プログラムに従って前述のハードウェアを制御するとともに、記憶部１９にインストールされた本発明のコンピュータプログラムをＲＡＭ１４上のロードして実行することにより、画像入力部１７を通じて入力された撮像画像に基づいて室内の３次元形状を復元する装置として機能するように構成されている。なお、当該画像処理は必ずしもＣＰＵ１１が行う必要はなく、画像処理専用のＡＳＩＣ（Ａpplication Specifide Integrated Circiut）を設けて、ＣＰＵ１１から指示を与えることにより、画像処理専用のＡＳＩＣに画像処理を行わせる形態であってもよい。また、ＲＡＭ１４はＳＲＡＭ又はフラッシュメモリ等で構成され、ＲＯＭ１３に格納された制御プログラムの実行時に発生するデータ等を記憶する。

操作部１５は、キーボード、マウス、タブレット等の入力装置からなり、画像処理をする際の指示、選択操作等を受付ける。表示部１６は、ＣＲＴディスプレイ又は液晶ディスプレイ等の表示装置からなり、操作部１５を通じて入力された各種の情報を表示するとともに、外部から入力された撮像画像、及び３次元形状の復元を実行した後の画像等を表示する。

画像入力部１７は、撮像装置２０が生成した画像データを入力するための入力装置を備えている。この入力装置として、ＵＳＢ（Universal Serial Bus）の規格に準拠した接続ポート、可搬型の半導体メモリに記憶された画像データを読取るための読取装置等を採用することができる。撮像装置２０がＵＳＢに準拠した接続ポートを持ち、通信ケーブルを介して外部に画像データを送出できるようになっている場合には、前述の接続ポートに通信ケーブルを接続して画像データを通信により受信する。また、撮像装置２０がＵＳＢのインタフェースを持たず、可搬型の半導体メモリにより画像データの受渡しが行われる場合には、前述の読取装置が利用される。なお、この読取装置は画像処理装置１０に内蔵したものであってもよく、外付けにしたものであってもよい。

補助記憶部１８は、本発明のコンピュータプログラムを記録したＦＤ、ＣＤ−ＲＯＭ等の記録媒体Ｍからコンピュータプログラムを読取るＦＤドライブ、ＣＤ−ＲＯＭドライブ等からなり、読取られたコンピュータプログラムは記憶部１９に記憶される。ＣＰＵ１１が当該コンピュータプログラムを実行する場合、記憶部１９に記憶されたコンピュータプログラムを一旦ＲＡＭ１４上にロードし、ＣＰＵ１１がそのコンピュータプログラムに含まれる命令コードをデコードすることによって一連のプログラムとして解釈を行い、コンピュータプログラムを実行する。

記憶部１９は、ＨＤＤ装置等の記憶装置を備えており、前述のコンピュータプログラム、及び画像入力部１７から入力された画像データ、３次元形状を復元した画像データ等を一時的に記憶する。

図５は本画像処理装置１０による画像処理の手順を説明するフローチャートである。なお、本フローチャートでは、前述した１３枚の壁面Ｗ１〜Ｗ１３から構成される室内のモデリングを行う手順について説明する。画像処理装置１０による画像処理に先立って、ユーザは、まず、壁面Ｗ１〜Ｗ１３が撮像画像の何れかに含まれるように建築物の内装を撮像装置２０により撮像する。撮像装置２０が取得した撮像画像は画像入力部１７を通じて画像処理装置１０の内部に取込まれる（ステップＳ１１）。画像処理装置１０のＣＰＵ１１は、取込んだ撮像画像のデータを一時的に記憶部１９に記憶する。

次いで、画像処理装置１０のＣＰＵ１１は各撮像画像から壁面の指定を受付ける（ステップＳ１２）。具体的には、ＣＰＵ１１は、記憶部１９に一時的に記憶させた撮像画像から選択した一の撮像画像を表示部１６に表示し、操作部１５を利用した操作により各壁面の頂点の４つの座標の指定を受付けることにより、壁面を指定させる。

図６は壁面の指定を受付ける際に表示する撮像画像の一例を示す模式図である。図６（ａ）は、ＰＯＳ５で示した位置から壁面Ｗ５を撮像して取得した撮像画像を示しており、壁面Ｗ５の指定を受付ける際にＣＰＵ１１はその撮像画像を表示部１６に表示させる。そして、操作部１５に備えられたマウスを操作してカーソル（不図示）を移動させ、壁面Ｗ５の頂点の座標（ｕ₁₅，ｖ₁₅），（ｕ₂₅，ｖ₂₅），（ｕ₃₅，ｖ₃₅），（ｕ₄₅，ｖ₄₅）を指定させる。指定した座標はＲＡＭ１４に記憶される。

また、図６（ｂ）は、ＰＯＳ７で示した位置から壁面Ｗ７を撮像して取得した撮像画像を示しており、壁面Ｗ７の指定を受け付ける際にＣＰＵ１１はその撮像画像を表示部１６に表示させる。なお、この場合、壁面Ｗ７と隣接する壁面Ｗ６との継ぎ目がないため、壁面Ｗ７の頂点を示す点の一部が明瞭に表示されていない。そのため、図６（ｂ）に示した破線のように、振り子３０を鉛直方向に延出させたガイドラインを表示する。その結果、ユーザは壁面Ｗ７の頂点の座標を容易に選択することができる。そして、壁面Ｗ７の頂点として座標（ｕ₁₇，ｖ₁₇），（ｕ₂₇，ｖ₂₇），（ｕ₃₇，ｖ₃₇），（ｕ₄₇，ｖ₄₇）を指定させる。指定した座標はＲＡＭ１４に記憶される。

そして、ＣＰＵ１１は、他の撮像画像についても同様の操作を受付けることにより、各撮像画像に写されている壁面の指定を受付ける。このようにして、ｊ番目（ｊ＝１〜１３）の撮像画像に対して壁面Ｗｊ（ｊ＝１〜１３）の頂点の座標（ｕ_1j，ｖ_1j），（ｕ_2j，ｖ_2j），（ｕ_3j，ｖ_3j），（ｕ_4j，ｖ_4j）の指定を受付ける。ＣＰＵ１１は、受付けた座標をＲＡＭ１４に記憶させる。

次いで、ＣＰＵ１１は、壁面Ｗ１〜Ｗ１３の頂点の座標に基づき、壁面Ｗ１〜Ｗ１３を撮像した際の撮像装置２０の位置及び姿勢を算出する（ステップＳ１３）。以下、撮像装置２０の位置及び姿勢の算出手順を、図７に示した撮像画像と壁面との配置関係を示す模式図を用いて説明する。なお、撮像装置２０の位置及び姿勢の算出手順については、特定の壁面（Ｗ１〜Ｗ１３）に限定せずに説明することとする。また、これらの算出は、ＣＰＵ１１の演算処理によって行われる。

撮像画像の各画素を示すデジタル座標（ｘ，ｙ）と、壁面内（ＸＹ平面内）の任意の点の座標（Ｘ，Ｙ，０）との関係は、撮像装置２０の回転行列Ｒと並進ベクトルｔとを用いて、

のように表すことができる。ここで、行列Ｈを、

により定義し、注目している壁面の４つの頂点の座標（ａ，ｂ，０），（−ａ，ｂ，０），（ａ，−ｂ，０），（−ａ，−ｂ，０）を数式（１）の右辺に代入した場合、

となる。ここで、ａ及びｂはそれぞれ壁面の長辺又は短辺の半分の長さを表しており、λ₁ ，λ₂ ，λ₃ ，λ₄は定数を表している。数式（３−１）〜数式（３−４）から

が導かれ、λ₁ ，λ₂ ，λ₃ ，λ₄についてまとめた場合、

となる。ここで、

とした場合、Ｂ^T Ｂの最小固有値に対応する固有ベクトルとして、λ₁ ，λ₂，λ₃ ，λ₄ をこれらの自乗和が単位長である条件下で求めることができる。

一方、数式（３−１）〜数式（３−４）を次のように変形し、

数式（７−１）及び数式（７−２）のノルムをとった場合、

となる。これらの式により、ａ，ｂを求めることができる。ただし、空間のスケールが任意であるため、ａ，ｂの絶対値を求めることはできず、ａ及びｂの比率のみが求まる。更に、求めたａ，ｂを数式（７−１）及び数式（７−２）に代入した場合、回転行列Ｒを求めることができ、数式（７−３）により並進ベクトルｔを求めることができる。

次いで、ＣＰＵ１１は、パラメータとして設定した壁面の長辺及び短辺の長さを求めるために、撮像画像に写されている壁面の頂点と、前述のようにして求めた回転行列Ｒ及び並進ベクトルｔにより撮像画像上に射影した点との間の距離に関する評価関数を設定する（ステップＳ１４）。評価関数は次式により表すことができる。

ここで、Ｍ（ｉ，ｊ）は対応行列であり、ｉ番目の点がｊ番目の画像にある場合１となり、ｉ番目の点がｊ番目の画像にない場合０となる。（ｕ_ij，ｖ_ij）はｊ番目の撮像画像におけるｉ番目の頂点の座標であり、ｆ_j は撮像装置２０の焦点距離、Ｒ_j ，ｔ_jはそれぞれ世界座標系におけるｊ番目の撮像画像を取得した際の撮像装置２０の回転行列、並進ベクトルを表す。なお、撮像装置２０の焦点距離が未知である場合には、数式（９）に示した評価関数を最適化して求めるが、焦点距離が既知である場合には、評価関数のパラメータから外すようにしても良い。ｐ，ｑはそれぞれ３次元空間から撮像画像の横方向及び縦方向への射影関数を表す。また、Ｍ_i（ａ，ｂ，ｃ）はｉ番目の頂点の３次元座標であり、

のように表すことができる。ベクトルａ、ベクトルｂ、ベクトルｃは、それぞれＸ方向、Ｙ方向、Ｚ方向の室内寸法を表すパラメータを含んだベクトルであり、次のように表すことができる。

すなわち、ベクトルａ、ベクトルｂ、ベクトルｃの各要素はそれぞれＸ方向、Ｙ方向、Ｚ方向の各パーツの長さを表す。また、ベクトルｈ、ベクトルｉ、ベクトルｊの各要素は、−１，０，１の何れかの値をとり、それぞれの頂点のベクトルａ，ベクトルｂ，ベクトルｃの各要素との関係をあらわす。

次いで、ＣＰＵ１１は、ステップＳ１３にて算出した撮像装置２０の位置及び姿勢を初期値として評価関数を最適化し（ステップＳ１５）、室内寸法を表すパラメータを算出する（ステップＳ１６）。

次いで、ＣＰＵ１１は、任意の２点間の既知距離の入力を受付けることにより（ステップＳ１７）、空間のスケールを設定する。空間のスケールが設定された場合、３次元計測を実行することができ（ステップＳ１８）、壁面上の任意の２点間の距離、壁面上の閉領域の面積、壁面によって構成される閉領域の容積等を計測することができる。

また、本実施の形態では、前述した評価関数を最適化することにより各撮像画像を撮像した際の撮像装置２０の位置及び姿勢が求まるため、壁面上の点でない場合であってもその点が２枚以上の撮像画像に対応点として撮像されている場合には、三角測量の原理により３次元座標を求めることができる。例えば、建築物の外装を撮像対象として撮像し、水平面に対して垂直に建てられた壁面部分の３次元計測を本発明の手法により実施すると共に、それ以外の部分（例えば、屋根）の形状を三角測量の原理により求めることが可能となる。

なお、本実施の形態では、評価関数を最適化するに先立ち、壁面Ｗ１，Ｗ２，…，Ｗ１３を撮像したときの撮像装置２０の位置及び姿勢に関する初期値を求める構成としたが、各撮像画像が壁面Ｗ１，Ｗ２，…，Ｗ７の真正面から撮像された画像とみなして初期値を与える構成であってもよい。

実施の形態２．
実施の形態１では、撮像対象として含まれる壁面（Ｗ１〜Ｗ１３）の頂点の３次元座標を求めることによって３次元計測を行う構成としたが、撮像対象が壁面上又は壁面以外の任意の空間上に特徴点を含んでいる場合には、この特徴点を画像上に射影した点と画像上の対応点との間の距離に関する評価関数を前述した評価関数に組込み、前記特徴点の３次元座標を求めることも可能である。なお、本実施の形態でも撮像環境、及び画像処理装置１０の内部構成については実施の形態１と全く同様であるため、その説明を省略することとする。

図８は本画像処理装置による画像処理の手順を説明するフローチャートである。なお、本フローチャートでは、前述した１３枚の壁面Ｗ１〜Ｗ１３から構成される室内のモデリングを行う手順について説明する。画像処理装置１０による画像処理に先立って、ユーザは、まず、壁面Ｗ１〜Ｗ１３が撮像画像の何れかに含まれるように建築物の内装を撮像装置２０により撮像する。撮像装置２０が取得した撮像画像は画像入力部１７を通じて画像処理装置１０の内部に取込まれる（ステップＳ２１）。画像処理装置１０のＣＰＵ１１は、取込んだ撮像画像のデータを一時的に記憶部１９に記憶する。

次いで、画像処理装置１０のＣＰＵ１１は各撮像画像から壁面の指定を受付ける（ステップＳ２２）。具体的には、ＣＰＵ１１は、記憶部１９に一時的に記憶させた撮像画像から選択した一の撮像画像を表示部１６に表示し、操作部１５を利用した操作により各壁面の頂点の４つの座標の指定を受付けることにより、壁面を指定させる。そして、撮像画像を順次的に変更することによって、全ての撮像画像に含まれる壁面を指定させる。指定した頂点の座標はＲＡＭ１４に記憶される。

次いで、ＣＰＵ１１は、撮像対象に含まれる特徴点に対応した撮像画像上の点の指定を受付ける（ステップＳ２３）。具体的には、ＣＰＵ１１は、記憶部１９に一時的に記憶させた撮像画像から選択した一の撮像画像を表示部１６に表示し、操作部１５を利用した操作により特徴点に対応した点の座標の指定を受付ける。そして、撮像画像を順次的に変更することによって、全ての撮像画像に含まれる特徴点を指定させる。指定した特徴点の座標はＲＡＭ１４に記憶される。

次いで、ＣＰＵ１１は、壁面Ｗ１〜Ｗ１３の頂点の座標に基づき、壁面Ｗ１〜Ｗ１３を撮像した際の撮像装置２０の位置及び姿勢を算出する（ステップＳ２４）。算出手順については実施の形態１と全く同様であるため、その説明を省略することとする。

次いで、ＣＰＵ１１は、パラメータとして設定した壁面の長辺及び短辺の長さ、及び特徴点の３次元座標を求めるために、撮像画像に写されている壁面の頂点と、前述のようにして求めた回転行列Ｒ及び並進ベクトルｔにより撮像画像上に射影した点との間の距離、及び特徴点に対応した撮像画像上の点と、特徴点を撮像画像上に射影した点との間の距離に関する評価関数を設定する（ステップＳ２５）。評価関数は次式により表すことができる。

ここで、右辺の第１項及び第２項は、前述した数式（９）と同様である。すなわち、壁面の頂点に関する評価関数を表す。また、右辺の第３項及び第４項は、本実施の形態にて新たに加えられた評価関数を表す。ここで、Ｂ（ｋ，ｊ）は、ｋ番目の特徴点がｊ枚目の撮像画像に写っている場合は１、それ以外の場合は０となる係数である。ｕ_kj，ｖ_kjはｋ番目の特徴点がｊ枚目の撮像画像に写っている場合の特徴点のデジタル座標である。Ｘ_k ，Ｙ_k ，Ｚ_k はｋ番目の特徴点の３次元座標、ｐ（Ｘ_k，Ｙ_k ，Ｚ_k ，ｆ_j ，Ｒ_j ，ｔ_j ）、ｑ（Ｘ_k，Ｙ_k ，Ｚ_k ，ｆ_j ，Ｒ_j ，ｔ_j ）はｋ番目の特徴点をｊ枚目の撮像画像に射影する関数である。

次いで、ＣＰＵ１１は、ステップＳ２４にて算出した撮像装置２０の位置及び姿勢を初期値として評価関数を最適化し（ステップＳ２６）、室内寸法を表すパラメータを算出する（ステップＳ２７）。

次いで、ＣＰＵ１１は、任意の２点間の既知距離の入力を受付けることにより（ステップＳ２８）、空間のスケールを設定する。空間のスケールを設定した場合、３次元計測を実行することができる（ステップＳ２９）。

本実施の形態においてモデリングの対象となる室内の平面図である。 本実施の形態においてモデリングの対象となる室内の側面図である。 室内を撮像している様子を示す模式図である。 本実施の形態に係る画像処理装置の内部構成を説明するブロック図である。 本画像処理装置による画像処理の手順を説明するフローチャートである。 壁面の指定を受付ける際に表示する撮像画像の一例を示す模式図である。 撮像画像と壁面との配置関係を示す模式図である。 本画像処理装置による画像処理の手順を説明するフローチャートである。

符号の説明

１０ 画像処理装置
１１ ＣＰＵ
１２ バス
１３ ＲＯＭ
１４ ＲＡＭ
１５ 操作部
１６ 表示部
１７ 画像入力部
１８ 補助記憶部
１９ 記憶部
２０ 撮像装置
Ｍ 記録媒体

Claims (17)

1. 方形状の１又は複数の平面からなる撮像対象を撮像装置により撮像して取得した１又は複数の撮像画像を取込み、所定の３次元座標系にて表した前記撮像対象の３次元形状を、前記撮像画像に基づいて求める画像処理装置において、
   前記撮像対象に含まれる各平面の形状を規定するパラメータを算出すべき変数として設定する手段と、前記３次元座標系における前記平面の各頂点の３次元座標を、前記変数を用いて定義する手段と、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を設定する手段と、設定した位置及び姿勢に基づいて前記３次元座標を前記撮像画像上に投影した点と、前記撮像対象に含まれる各平面の頂点に対応した撮像画像上の点との間の距離に関する評価関数を設定する手段と、設定した評価関数に基づいて前記変数を算出する手段とを備えることを特徴とする画像処理装置。
2. 方形状の１又は複数の平面からなる撮像対象を撮像装置により撮像して取得した１又は複数の撮像画像を取込み、所定の３次元座標系にて表した前記撮像対象の３次元形状を、前記撮像画像に基づいて求める画像処理装置において、
   前記撮像対象に含まれる各平面の形状を規定するパラメータを算出すべき変数として設定する手段と、前記３次元座標系における前記平面の各頂点の３次元座標を、前記変数を用いて定義する手段と、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を設定する手段と、前記撮像対象に含まれる各平面の頂点に対応した撮像画像上の点を、設定した位置及び姿勢に基づいて変換した前記３次元座標系上の点と、前記各頂点との間の距離に関する評価関数を設定する手段と、設定した評価関数に基づいて前記変数を算出する手段とを備えることを特徴とする画像処理装置。
3. 方形状の１又は複数の平面を含み、特徴点を有する撮像対象を撮像装置により撮像して取得した１又は複数の撮像画像を取込み、所定の３次元座標系にて表した前記撮像対象の３次元形状を、前記撮像画像に基づいて求める画像処理装置において、
   前記撮像対象に含まれる各平面の形状を規定するパラメータを算出すべき変数として設定する手段と、前記３次元座標系における前記平面の各頂点の３次元座標を、前記変数を用いて定義する手段と、前記撮像対象を撮像した際の前記撮像対象の位置及び姿勢を設定する手段と、設定した位置及び姿勢に基づいて前記３次元座標を前記撮像画像上に投影した点と、前記撮像対象に含まれる各平面の頂点に対応した撮像画像上の点との間の距離、及び前記撮像対象に含まれる特徴点を前記位置及び姿勢に基づいて前記撮像画像上に投影した点と、前記特徴点に対応した前記撮像画像上の点との距離に関する評価関数を設定する手段と、設定した評価関数に基づいて前記変数を算出する手段とを備えることを特徴とする画像処理装置。
4. 方形状の１又は複数の平面を含み、特徴点を有する撮像対象を撮像装置により撮像して取得した１又は複数の撮像画像を取込み、所定の３次元座標系にて表した前記撮像対象の３次元形状を、前記撮像画像に基づいて求める画像処理装置において、
   前記撮像対象に含まれる各平面の形状を規定するパラメータを算出すべき変数として設定する手段と、前記３次元座標系における前記平面の各頂点の３次元座標を、前記変数を用いて定義する手段と、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を設定する手段と、前記撮像対象に含まれる各平面の頂点に対応した撮像画像上の点を、設定した位置及び姿勢に基づいて変換した前記３次元座標系上の点と、前記各頂点との間の距離、及び前記撮像対象に含まれる特徴点に対応した撮像画像上の点を、前記位置及び姿勢に基づいて変換した前記３次元座標系上の点と、前記特徴点との間の距離に関する評価関数を設定する手段と、設定した評価関数に基づいて前記変数を算出する手段とを備えることを特徴とする画像処理装置。
5. 一の平面と他の平面との配置関係に関する情報を受付ける手段を備え、受付けた情報に基づいて前記変数を設定するようにしてあることを特徴とする請求項１乃至請求項４の何れか１つに記載の画像処理装置。
6. 前記配置関係は、一の平面と他の平面とのなす角度が９０度、１８０度、又は２７０度の何れかであることを特徴とする請求項５に記載の画像処理装置。
7. 前記平面の各頂点に対応した前記撮像画像上の点に基づいて各撮像画像を撮像した際の撮像装置の位置及び姿勢を算出する手段を備え、算出した位置及び姿勢を、前記３次元座標を前記撮像画像上に投影する際の値として設定するようにしてあることを特徴とする請求項１乃至請求項４の何れか１つに記載の画像処理装置。
8. 算出した変数を用いて各平面の頂点の３次元座標を求める手段を備えることを特徴とする請求項１乃至請求項７の何れか１つに記載の画像処理装置。
9. 前記撮像対象は、建築物の内装又は外装であることを特徴とする請求項１乃至請求項８の何れか１つに記載の画像処理装置。
10. コンピュータに、方形状の１又は複数の平面からなる撮像対象を撮像装置により撮像して取得した１又は複数の撮像画像を取込んだ後、所定の座標系で表した前記撮像対象の３次元形状を前記撮像画像に基づいて求めさせるステップを有するコンピュータプログラムにおいて、
    コンピュータに、前記撮像対象に含まれる各平面の形状を規定するパラメータを算出すべき変数として設定させるステップと、コンピュータに、前記３次元座標系における前記平面の各頂点の３次元座標を、前記変数を用いて定義させるステップと、コンピュータに、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を設定させるステップと、コンピュータに、設定した位置及び姿勢に基づいて前記３次元座標を前記撮像画像上に投影した点と、前記撮像対象に含まれる各平面の頂点に対応した撮像画像上の点との間の距離に関する評価関数を設定させるステップと、コンピュータに、設定した評価関数に基づいて前記変数を算出させるステップとを有することを特徴とするコンピュータプログラム。
11. コンピュータに、方形状の１又は複数の平面からなる撮像対象を撮像装置により撮像して取得した１又は複数の撮像画像を取込んだ後、所定の座標系で表した前記撮像対象の３次元形状を前記撮像画像に基づいて求めさせるステップを有するコンピュータプログラムにおいて、
    コンピュータに、前記撮像対象に含まれる各平面の形状を規定するパラメータを算出すべき変数として設定させるステップと、コンピュータに、前記３次元座標系における前記平面の各頂点の３次元座標を、前記変数を用いて定義させるステップと、コンピュータに、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を設定させるステップと、コンピュータに、前記撮像対象に含まれる各平面の頂点に対応した撮像画像上の点を、設定した位置及び姿勢に基づいて変換した前記３次元座標系上の点と、前記各頂点との間の距離に関する評価関数を設定させるステップと、コンピュータに、設定した評価関数に基づいて前記変数を算出させるステップとを有することを特徴とするコンピュータプログラム。
12. コンピュータに、方形状の１又は複数の平面を含み、特徴点を有する撮像対象を撮像装置により撮像して取得した１又は複数の撮像画像を取込んだ後、所定の座標系で表した前記撮像対象の３次元形状を前記撮像画像に基づいて求めさせるステップを有するコンピュータプログラムにおいて、
    コンピュータに、前記撮像対象に含まれる各平面の形状を規定するパラメータを算出すべき変数として設定させるステップと、コンピュータに、前記３次元座標系における前記平面の各頂点の３次元座標を、前記変数を用いて定義させるステップと、コンピュータに、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を設定させるステップと、コンピュータに、設定した位置及び姿勢に基づいて前記３次元座標を前記撮像画像上に投影した点と、前記撮像対象に含まれる各平面の頂点に対応した撮像画像上の点との間の距離、及び前記撮像対象に含まれる特徴点を前記位置及び姿勢に基づいて前記撮像画像上に投影した点と、前記特徴点に対応した前記撮像画像上の点との距離に関する評価関数を設定させるステップと、コンピュータに、設定した評価関数に基づいて前記変数を算出させるステップとを有することを特徴とするコンピュータプログラム。
13. コンピュータに、方形状の１又は複数の平面を含み、特徴点を有する撮像対象を撮像装置により撮像して取得した１又は複数の撮像画像を取込んだ後、所定の座標系で表した前記撮像対象の３次元形状を前記撮像画像に基づいて求めさせるステップを有するコンピュータプログラムにおいて、
    コンピュータに、前記撮像対象に含まれる各平面の形状を規定するパラメータを算出すべき変数として設定させるステップと、コンピュータに、前記３次元座標系における前記平面の各頂点の３次元座標を、前記変数を用いて定義させるステップと、コンピュータに、前記撮像対象を撮像した際の前記撮像装置の位置及び姿勢を設定させるステップと、コンピュータに、前記撮像対象に含まれる各平面の頂点に対応した撮像画像上の点を、設定した位置及び姿勢に基づいて変換した前記３次元座標系上の点と、前記各頂点との間の距離、及び前記撮像対象に含まれる特徴点に対応した撮像画像上の点を、前記位置及び姿勢に基づいて変換した前記３次元座標系上の点と、前記特徴点との間の距離に関する評価関数を設定させるステップと、コンピュータに、設定した評価関数に基づいて前記変数を算出させるステップとを有することを特徴とするコンピュータプログラム。
14. コンピュータに、一の平面と他の平面との配置関係に関する情報を受付けさせるステップを更に有することを特徴とする請求項１０乃至請求項１３の何れか１つに記載のコンピュータプログラム。
15. 前記配置関係は、一の平面と他の平面とのなす角度が９０度、１８０度、又は２７０度の何れかであることを特徴とする請求項１４に記載のコンピュータプログラム。
16. コンピュータに、各撮像画像を撮像した際の撮像装置の位置及び姿勢を、前記平面の各頂点に対応した各撮像画像上の点に基づいて算出させるステップを有し、算出した位置及び姿勢を、前記３次元座標を前記撮像画像上に投影する際の値として設定するようにしてあることを特徴とする請求項１０乃至請求項１３に記載のコンピュータプログラム。
17. コンピュータに、算出した変数を用いて各平面の頂点の３次元座標を求めさせるステップを更に有することを特徴とする請求項１０乃至請求項１６の何れか１つに記載のコンピュータプログラム。

Images