JP2016170031A - 三次元モデル処理装置およびカメラ校正システム - Google Patents

Abstract

【課題】三次元計測して得た空間モデルにおけるエッジを抽出する際、未計測領域との境界にある真のエッジを正しく抽出することが難しい。
【解決手段】空間モデル記憶手段５１０は、対象の表面形状を表す複数の三次元座標データで構成され複数の計測位置姿勢にて計測して得た三次元モデル、当該複数の計測位置姿勢、及び当該複数の計測位置姿勢のそれぞれにて対象を撮影した画像を記憶している。変化点対応付け手段５３１は各画像から輝度変化点を抽出し、計測位置姿勢を用いて輝度変化点に対応する位置の三次元座標データを検出する。エッジ存在度付与手段５３２は三次元座標データに、輝度変化点との対応が検出された数に応じた高さのエッジ存在度を付与する。
【選択図】図２

Description

本発明は、所定対象を計測した三次元座標データから三次元モデルを生成する三次元モデル処理装置、三次元モデルから任意視点のエッジ画像を生成する三次元モデル処理装置および三次元モデルを利用してカメラを校正するカメラ校正システムに関する。

監視カメラを設置する空間を予め三次元計測して当該空間の三次元モデル（空間モデル）を生成しておけば、空間モデルを用いて監視カメラの撮影画像とマッチする視点を探索することによって、監視カメラの校正が可能となる。その探索においては、様々な位置姿勢の仮想カメラによって空間モデルを模擬撮影し、模擬撮影した画像と監視カメラで実際に撮影した画像とを比較して、エッジの位置が最も一致する仮想カメラの位置姿勢を監視カメラの位置姿勢と決定する。

下記非特許文献１には、居室の三次元モデルに対してカメラパラメータが既知の仮想カメラによる任意視点の画像（生成画像）を生成し、携帯カメラで撮影した実画像と生成画像とからそれぞれ抽出したエッジの一種であるＳＩＦＴ（Scale Invariant Feature Transform）をマッチング処理することによって携帯カメラの位置・姿勢を推定することが記載されている。

西田純、他、「仮想化現実環境モデルに基づく携帯カメラの位置方位推定に向けて」、電子情報通信学会技術研究報告、vol. 111, no. 101, MVE2011-28, pp. 73-78, 2011年6月

しかしながら、実際に三次元計測して得た空間モデルにおいては、オクルージョンによって生じた未計測領域が含まれ得る。この未計測領域が原因で監視カメラの校正などに有用なエッジが減少してしまう問題があった。

例えば、警備対象となる部屋を隅々まで三次元計測して回ることは困難であり、距離画像センサなどの計測装置から見て机の陰などにより生じた死角が未計測領域となる。そして、空間モデルを計測時の視点以外から模擬撮影すると、模擬画像上に、死角を作った机の縁が未計測領域と隣り合って現れてしまう。ここで、未計測領域においては、それに隣接して計測された机の面が連続して広がっているのか、又は未計測領域との境界で終わっているのかといった情報が得られない。そのため、机の縁自体は計測できているにもかかわらず監視カメラの校正などに有用な机の縁のエッジを抽出できなくなる。このことは監視カメラの校正精度低下につながる。

なお、陰を作った机の縁と模擬画像上で隣り合う未計測領域は、机の縁以外の床などとも隣り合う。そのため、仮に、模擬画像から机の縁のエッジを抽出するために未計測領域と計測領域の境界をエッジとみなしてしまうと、床部分から偽のエッジを抽出することになる。偽のエッジの抽出も、やはり監視カメラの校正精度低下につながる。

また、物体を計測して得た三次元モデルを用いた物体認識や共通の空間を計測して得た三次元モデル同士の連結処理などにおいても同様に有用なエッジが減少してしまう問題があった。

本発明は、上記問題を鑑みてなされたものであり、未計測領域との境界にある真のエッジを抽出可能な三次元モデルを提供できる三次元モデル処理装置の実現を目的とする。また、本発明は、三次元モデルから未計測領域との境界にある真のエッジを含めた任意視点のエッジ画像を生成できる三次元モデル処理装置の提供を別の目的とする。さらに本発明は、三次元モデルを利用したカメラ校正の精度を向上させることを別の目的とする。

（１）本発明に係る三次元モデル処理装置は、対象の表面形状を表す複数の三次元座標データで構成され複数の計測位置姿勢にて計測して得た三次元モデル、前記複数の計測位置姿勢、及び当該複数の計測位置姿勢のそれぞれにて前記対象を撮影した画像を記憶している記憶手段と、前記各画像から輝度変化点を抽出し、前記計測位置姿勢を用いて前記輝度変化点に対応する位置の三次元座標データを検出する変化点対応付け手段と、前記三次元座標データに前記輝度変化点との対応が検出された数に応じた高さのエッジ存在度を付与するエッジ存在度付与手段と、を備える。

（２）他の本発明に係る三次元モデル処理装置は、上記（１）の構成に加え、前記三次元モデルを任意の位置姿勢にて模擬撮影する仮想カメラを設定する仮想カメラ設定手段と、前記仮想カメラの撮影面にて、前記エッジ存在度が予め定めた高さよりも高い三次元座標データの投影位置をエッジ画素とする仮想エッジ画像を生成する仮想エッジ画像生成手段と、を備える。

（３）本発明に係るカメラ校正システムは、上記（２）の三次元モデル処理装置と、実カメラが前記対象を撮影した実画像を取得し、前記実画像からエッジを抽出して実エッジ画像を生成する実エッジ画像生成手段と、前記実エッジ画像と前記仮想エッジ画像との類似度を算出して、前記類似度を最大化する前記仮想カメラの位置姿勢を前記実カメラの位置姿勢と決定するエッジ画像照合手段と、を備える。

（４）別の本発明に係る三次元モデル処理装置は、対象の表面形状を表す複数の三次元座標データで構成され複数の計測位置姿勢にて計測して得た三次元モデルを記憶し、前記三次元座標データは前記複数の計測位置姿勢のそれぞれにて前記対象を撮影した画像から抽出した輝度変化点との対応が検出された数に応じたエッジ存在度を付与されている三次元モデル記憶手段と、前記三次元モデルを任意の位置姿勢にて模擬撮影する仮想カメラを設定する仮想カメラ設定手段と、前記仮想カメラの撮影面にて、エッジが存在することを示すエッジ存在度を有する三次元座標データの投影位置をエッジ画素とする仮想エッジ画像を生成する仮想エッジ画像生成手段と、を備える。

本発明によれば、未計測領域との境界にあるエッジをも抽出可能な三次元モデルを生成できる。また、本発明によれば、未計測領域を含む三次元モデルから未計測領域との境界にあるエッジを含めた任意の視点のエッジ画像を生成できる。また、本発明によれば、計測して得た三次元モデルを利用して精度よくカメラ校正を行うことができる。

本発明の実施形態に係るカメラ校正システムの概略の構成を示すブロック図である。 三次元計測装置から入力された計測データを用いて部屋の空間モデルを生成する際の三次元データ処理装置の機能ブロック図である。 三次元計測装置を用いた部屋の計測の様子を示す模式的な斜視図である。 空間モデルのデータ例を示す模式図である。 部屋を異なる計測位置姿勢で撮影したＲＧＢ画像の例を示す模式図である。 計測位置姿勢が異なる２つのＲＧＢ画像それぞれと空間モデルとの間での輝度変化点の対応関係を示す模式図である。 エッジ存在度付与の例を示す模式図である。 エッジ存在度の例を説明するための部屋の空間モデルの模式図である。 部屋の空間モデルを用いて、部屋に設置された監視カメラを校正するときの三次元データ処理装置の概略の機能ブロック図である。 空間モデル生成時のカメラ校正システムの動作の概略のフロー図である。 カメラ校正時のカメラ校正システムの動作の概略のフロー図である。

以下、本発明の実施の形態（以下実施形態という）として、監視カメラが設置された空間の三次元モデル（空間モデル）を利用して監視カメラを校正するカメラ校正システムの例を説明する。このカメラ校正システムには、上記空間を三次元計測した計測データから当該空間の空間モデルを生成し、また、当該空間モデルから任意視点のエッジ画像を生成する三次元モデル処理装置の例が含まれる。

［カメラ校正システム１の構成］
図１はカメラ校正システム１の概略の構成を示すブロック図である。カメラ校正システム１は、三次元計測装置２、監視カメラ３、監視装置４及び三次元データ処理装置５からなる。

三次元計測装置２は、監視カメラ３が設置された部屋を三次元計測して距離画像を取得すると共に、それと同期して部屋を撮影してＲＧＢ画像を取得し、部屋の距離画像およびＲＧＢ画像を含めた計測データを三次元データ処理装置５に出力する。例えば三次元計測装置２はＲＧＢＤカメラであり、投射したレーザー光が対象表面との往復にかかる時間から距離を計測するＴＯＦ（Time Of Flight）方式の距離センサ、および当該距離センサと同期して同一視野のＲＧＢ画像を撮影するカラーカメラを組み合わせた装置である。なお、カメラは濃淡画像を取得するモノクロカメラであってもよい。そして、三次元計測装置２による三次元計測と撮影とは少なくとも対象の共通部分を計測領域に含ませて、複数の計測位置姿勢にて行われる。すなわち、三次元計測装置２は、複数の計測位置姿勢にて所定対象を三次元計測して所定対象の三次元データを三次元データ処理装置５に出力し、さらに、三次元計測と同期して各計測位置姿勢にて所定対象を撮影し、各計測位置姿勢それぞれにて所定対象を撮影した二次元画像を三次元データ処理装置５に出力する。

監視カメラ３は校正対象のカメラである。例えば、複数の監視カメラ３がそれぞれ部屋の天井に設置され、天井から部屋を撮影し、監視画像と、予め付与されたカメラＩＤを監視装置４に出力する。また、監視カメラ３の校正時には監視カメラ３は監視画像とカメラＩＤを三次元データ処理装置５に出力する。

監視装置４は三次元データ処理装置５から監視カメラ３の位置姿勢（撮影位置姿勢）を含むカメラパラメータを入力され、これを格納する。撮影位置姿勢は、実空間を模した世界座標系における監視カメラ３の撮影位置（光点位置）および撮影姿勢（光軸方向とその回転角）である。そして、この監視カメラ３の撮影位置姿勢を求める処理が校正である。

また、監視装置４は監視カメラ３からの監視画像を解析して部屋内を移動する人物を追跡し、不審行動を検知する。不審人物を検知する際、監視装置４は校正されたカメラパラメータを基に監視画像から抽出した変化領域の実サイズなどを求めて変化領域が人によるものか否かなどの判定を行う。

三次元データ処理装置５は例えば、ＰＣ（Personal Computer）などのコンピュータで構成される。三次元データ処理装置５は三次元計測装置２から入力された計測データを用いて空間モデルを生成する。また、三次元データ処理装置５は監視カメラ３から監視画像とカメラＩＤとを入力され、監視画像と空間モデルとを基に監視カメラ３を校正し、校正結果である監視カメラ３の撮影位置姿勢を含むカメラパラメータを、対応するカメラＩＤと共に監視装置４に出力する。カメラパラメータには、撮影位置姿勢の他に焦点距離、解像度（幅方向画素数、高さ方向画素数）、レンズ歪みなどが含まれる。これらのうち撮影位置姿勢以外は基本的に変動しない。そのため、撮影位置姿勢以外のカメラパラメータについては監視カメラ３の仕様を参照して得た値、或いは予めの計測により得た値を予め三次元データ処理装置５に記憶させておく。

三次元データ処理装置５は計測データ入力部５０、記憶部５１、監視画像入力部５２、制御部５３、出力部５４及びユーザーインターフェース部５５を含む。

計測データ入力部５０は三次元計測装置２と制御部５３とを接続する通信インターフェース回路であり、三次元計測装置２から計測データを入力され、これを制御部５３に出力する。

記憶部５１はＲＯＭ (Read Only Memory)、ＲＡＭ (Random Access Memory)等の記憶装置であり、各種プログラムや各種データを記憶し、制御部５３との間でこれらの情報を入出力する。

監視画像入力部５２は監視カメラ３と制御部５３とを接続する通信インターフェース回路であり、監視カメラ３から撮影画像及びカメラＩＤを入力され、これらを制御部５３に出力する。

制御部５３はＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成される。制御部５３は記憶部５１からプログラムを読み出して実行することで後述する各手段として機能する。

出力部５４は制御部５３と監視装置４とを接続する通信インターフェース回路であり、制御部５３から監視カメラ３のカメラパラメータ及びカメラＩＤを入力され、これらを監視装置４に出力する。

ユーザーインターフェース部５５はキーボード、マウス、ディスプレイ等からなるユーザーインターフェース機器である。例えば、設置作業者などのユーザーにより使用され、計測データ中の床面領域を指定するなど各種パラメータの入力作業に用いられる。

［空間モデル生成時の三次元データ処理装置５］
図２は三次元計測装置２から入力された計測データを用いて空間モデルを生成するときの三次元データ処理装置５の機能ブロック図である。記憶部５１は空間モデル記憶手段５１０および計測パラメータ記憶手段５１１として機能する記憶手段である。また制御部５３は座標変換手段５３０、変化点対応付け手段５３１およびエッジ存在度付与手段５３２として機能する。

空間モデル記憶手段５１０は三次元計測装置２の計測により得た所定対象の空間モデル、つまり三次元計測装置２の計測により得た所定対象の三次元モデルを記憶する記憶手段である。空間モデルは、三次元計測装置２により計測され座標変換手段５３０が変換した複数の三次元座標データ（ポイントクラウドなどと称される）、各三次元座標データと対応付けられた輝度データ、およびエッジ存在度付与手段５３２により各三次元座標データに付与されたエッジ存在度からなる。ここで、三次元座標データはその位置に物体表面が存在することを意味し、複数の三次元座標データによって対象の表面形状を表す。輝度データはその位置における物体表面の色や輝度を表す。エッジ存在度は対応する三次元座標データの位置にエッジが存在する可能性の高さを表す値であり、本実施形態ではエッジ存在度の値域を０．０以上１．０以下であると定義する。エッジは、物体の凹凸や物体表面の模様等により輝度が大きく変化する三次元座標データが示す位置に現れる。エッジ存在度についてはさらに後述する。

計測パラメータ記憶手段５１１は三次元計測装置２の計測時の位置姿勢（計測位置姿勢）を含む計測パラメータを記憶する。計測位置姿勢は、実空間を模した世界座標系における三次元計測装置２の計測位置（光点位置）および計測姿勢（光軸方向とその回転角）で表される。計測位置姿勢は座標変換手段５３０により算出される。あるいは別途実測した計測位置姿勢をユーザーインターフェース部５５から予め入力し、これらを記憶してもよい。三次元計測装置２の計測は複数の位置姿勢で行われ、計測パラメータ記憶手段５１１は各計測時の位置姿勢を記憶する。

計測パラメータには、計測位置姿勢の他に焦点距離、解像度（幅方向画素数、高さ方向画素数）などがある。計測位置姿勢以外は基本的に変動しないため、三次元計測装置２の仕様を参照して得た値、或いは予めの計測により得た値を予め記憶させておく。なお画角は焦点距離と解像度とから導出可能である。また、計測パラメータから計測時の投影面が導出できる。

座標変換手段５３０は計測データ入力部５０経由で三次元計測装置２から入力された計測データを世界座標系の三次元座標データに座標変換して空間モデル記憶手段５１０に記憶させる。また、座標変換手段５３０は計測データから計測時の三次元計測装置２の計測位置姿勢を算出し、算出した計測位置姿勢を計測パラメータ記憶手段５１１に記憶させる。

座標変換処理の概略の手順は、（ａ）計測位置姿勢ごとに距離画像から計測位置を原点とするローカル座標系における三次元点群を計算し、（ｂ）或る１つの計測位置姿勢のローカル座標系を基準座標系として複数の計測位置姿勢の三次元点群を基準座標系に統合し、（ｃ）基準座標系に世界座標系の基準を設定して世界座標系における計測位置姿勢ＲＴを推定し、（ｄ）ＲＴを使って基準座標系の三次元点群を世界座標系の三次元座標データに変換するというものである。以下、各手順を説明する。

手順（ａ）では、計測位置姿勢ごとに、次式に従い、まず各画素（ｘ，ｙ）の画素値すなわち奥行き値がｄである距離画像（ｘ，ｙ，ｄ）の座標系を三次元計測装置２の光点（計測位置）を原点としたローカル座標系の三次元点群（Ｘc，Ｙc，Ｚc）に変換する。

ただし、距離画像の中心画素位置を（ｃｘ，ｃｙ）とする。ｆは三次元計測装置２の焦点距離である。

手順（ｂ）では、ローカル座標系の１つを基準座標系に定め、複数のローカル座標系を基準座標系に統合する。例えば計測位置姿勢α２のローカル座標系を、計測位置姿勢α１の基準座標系に統合するには、計測位置姿勢α１で計測した三次元点群と計測位置姿勢α２で計測した三次元点群とで共通する位置を計測した三次元点を複数個推定してそれらを対応付ける。そして、複数の対応付けから、計測位置姿勢α２のローカル座標系を計測位置姿勢α１の基準座標系に変換するための変換行列ＲＴ１を算出する。

手順（ｃ）では、計測位置姿勢ＲＴを算出するために、基準座標系の三次元点群のうち床面である点をユーザインターフェース部５５を用いて選択入力させ、この選択入力に基づいて、基準座標系の計測位置直下の床面の座標値を算出する。これにより例えば、床面をＸＹ平面、高さ方向をＺ軸、基準に定めた計測位置直下の床面上の点を原点とする世界座標系における計測位置姿勢ＲＴ０を算出することができる。そして次式に従い計測位置姿勢ＲＴを算出する。
ＲＴ＝ＲＴ０・ＲＴ１

手順（ｄ）では各計測位置姿勢について手順（ｃ）で求めたＲＴを利用して次式に従い、当該計測位置姿勢でのローカル座標系の三次元点群を世界座標系の三次元座標データ（Ｘ，Ｙ，Ｚ）に変換する。

さらに、座標変換手段５３０はＲＧＢ画像の各画素の画素値である輝度データとして、各画素と対応する距離画像の画素の変換先の三次元座標データと対応付けて、空間モデル記憶手段５１０に記憶させる。

図３は三次元計測装置２を用いた部屋６００の計測の様子を示す模式的な斜視図である。部屋６００は、例えば警備対象となる部屋であり、天井には校正対象の監視カメラ３が設置されている。また、部屋６００には床６０１や机６０２が存在し、床６０１には模様６０３が形成されている。ちなみに後述するように、カメラ校正システム１は机６０２の縁などのエッジを監視カメラ３の校正の基準として利用する。

監視カメラの設置作業者は三次元計測装置２を用いて部屋６００を三次元計測する。三次元計測装置２は計測位置６５０ａ及び計測姿勢６５１ａで表される第一の計測位置姿勢にて、各画素が計測位置６５０ａから床６０１や机６０２の表面の複数点それぞれまでの奥行きを表す距離画像を出力すると共に、部屋６００を第一の計測位置姿勢にて撮影したＲＧＢ画像を出力する。このときの計測を第一の計測と称する。

さらに、設置作業者が三次元計測装置２を移動させ、異なる計測位置姿勢にて部屋６００を三次元計測する。このときの計測を第二の計測と称する。すなわち、三次元計測装置２は、計測位置６５０ｂ及び計測姿勢６５１ｂで表される第二の計測位置姿勢にて、各画素が計測位置６５０ｂから床６０１や机６０２の表面の複数点それぞれまでの奥行きを表す距離画像を出力すると共に、部屋６００を第二の計測位置姿勢にて撮影したＲＧＢ画像を出力する。ちなみに監視カメラ３は基本的に第一の計測位置姿勢および第二の計測位置姿勢とは異なる撮影位置６５２・撮影姿勢６５３にて部屋６００を撮影する。

三次元計測装置２が出力する距離画像およびＲＧＢ画像が表す領域を計測領域と呼ぶ。計測領域は部屋６００の全体を網羅できず、オクルージョンが原因で未計測領域が生じる。図３において白抜き表示した領域は第一の計測による計測領域である。また図３において網掛け表示した領域は第一の計測で生じた未計測領域であり、机６０２によるオクルージョンが原因で生じた第一の計測位置姿勢からの死角である。また、図３において斜線表示した領域は第一の計測において三次元計測装置２の画角外であった画角外領域である。

図４は空間モデルのデータ例を示す模式図であり、例えば、三次元座標データ、輝度データ、エッジ存在度を対応付けたテーブル形式で空間モデル記憶手段５１０に記憶されている。ちなみに、図４に示すデータはいずれも計測領域のデータである。１番目の三次元座標データは空間モデルにおいて座標（Ｘ１，Ｙ１，Ｚ１）に物体の表面があり、その色はＲＧＢ表色系での（Ｒ１，Ｇ１，Ｂ１）であり、エッジ存在度の値“１．０”は当該座標に机６０２の縁などのエッジが存在することを示す。２番目の三次元座標データも同様に、空間モデルにおいて座標（Ｘ２，Ｙ２，Ｚ２）に物体表面のエッジが存在し、その色が（Ｒ２，Ｇ２，Ｂ２）であることを示す。３番目の三次元座標データは空間モデルにおいて座標（Ｘ３，Ｙ３，Ｚ３）に物体の表面があり、その色はＲＧＢ表色系での（Ｒ３，Ｇ３，Ｂ３）であり、エッジ存在度の値“０．０”はそこにエッジが存在する可能性が小さいことを示す。

さて、エッジは物体の縁などに生じる、カメラの校正などに有用な特徴点である。しかし空間モデルにおいて未計測領域との境界に位置する三次元座標データにエッジが存在していても利用できない問題が生じる。しかも物体の縁の近傍はオクルージョンが生じやすいため、有用なエッジが失われやすい。例えば図３の監視カメラ３が撮影する監視画像には第一の計測で生じた未計測領域が含まれる。部屋６００を計測した空間モデルを用いて監視カメラ３が撮影する監視画像を模擬すると、未計測領域の境界には机６０２の縁と床６０１の平面とが混在する。共に未計測領域との境界に位置する机６０２の縁の三次元座標データと床６０１の平面の三次元座標データとを識別できない限り机６０２の縁に現れる有用なエッジを棄てざるを得ない。本発明では変化点対応付け手段５３１およびエッジ存在度付与手段５３２により当該有用なエッジが存在する三次元座標データを識別し、識別した三次元座標データにエッジが存在することを示すエッジ肯定値を付与することで、有用なエッジを活用可能な三次元モデルを生成する。

変化点対応付け手段５３１は各ＲＧＢ画像から輝度変化点を抽出し、計測位置姿勢を用いて輝度変化点に対応する位置の三次元座標データを検出する。具体的には変化点対応付け手段５３１は各ＲＧＢ画像において周囲画素との輝度差が所定値以上である輝度変化点を抽出し、計測位置姿勢を用いて輝度変化点と対応する位置の三次元座標データを検出し、検出した対応関係をエッジ存在度付与手段５３２に出力する。

ここで輝度変化点の抽出について説明する。本実施形態では輝度差としてエッジ強度を利用する。変化点対応付け手段５３１は第一の計測位置姿勢にて撮影したＲＧＢ画像の各画素に所定のエッジオペレータを適用して当該画素とその周囲画素とのエッジ強度を算出し、エッジ強度がしきい値Ｔｉ以上である画素を第一の輝度変化点として抽出する。同様に、第二の計測位置姿勢にて撮影したＲＧＢ画像の各画素に所定のエッジオペレータを適用して当該画素とその周囲画素とのエッジ強度を算出し、エッジ強度がしきい値Ｔｉ以上である画素を第二の輝度変化点として抽出する。

本実施形態では三次元計測装置２から入力されるＲＧＢ画像を輝度変化点の抽出に用いる。一方、三次元計測装置２からのＲＧＢ画像を直接用いずに、空間モデルと計測パラメータとから上記ＲＧＢ画像を再現し、再現したＲＧＢ画像から輝度変化点を抽出してもよい。具体的には、空間モデルを構成する複数の三次元座標データについて対応する輝度データを計測パラメータが表す投影面に投影するレンダリング処理によりＲＧＢ画像を再現できる。なお、再現するＲＧＢ画像の画角は三次元計測装置２の画角に合わせる。計測時には記憶部５１にＲＧＢ画像を格納せずに座標変換手段５３０の処理だけを行っておき、変化点対応付け手段５３１の処理は計測後の別時刻に実行できる。当該構成は記憶部５１の容量や制御部５３の処理能力が低いときに有効である。エッジオペレータにはソーベルオペレータ（Sobel Operator）を用いることができるが、ラプラシアンフィルタ（Laplacian Filter）など他の公知のオペレータを用いてもよい。

次に、複数の計測位置姿勢それぞれにて抽出される輝度変化点と三次元座標データとの対応関係の検出について説明する。第一の計測と第二の計測とで実空間の同じ位置を計測していても、量子化の影響により、両者で得られる三次元座標データは最大で１画素分だけずれる。このずれを考慮して対応関係を検出する。

ところで、各計測において撮影したＲＧＢ画像の画素と、当該計測において得た三次元座標データとは、座標変換手段５３０が各計測時の計測パラメータを用いて行った変換処理において既に１対１で紐づけられている、或いは変化点対応付け手段５３１がＲＧＢ画像を再現するために各計測時の計測パラメータを用いて行った投影処理により既に１対１で紐づけられている。次に示す対応関係の検出ではこの紐づけを活用する。

第一の計測位置姿勢にて撮影したＲＧＢ画像から抽出された輝度変化点に紐づけられている三次元座標データを特定する。そして、特定した三次元座標データを、第二の計測位置姿勢にて撮影したＲＧＢ画像に、第二の計測位置姿勢を含む計測パラメータを用いて投影し、投影先の画素が輝度変化点であるか確認する。

投影先の画素が輝度変化点であれば、投影先の画素と紐づけられている三次元座標データと投影元の三次元座標データの間の三次元距離を算出して、当該三次元距離が１画素分の誤差の範囲内であるかを確認する。そして、三次元距離が誤差の範囲内である場合に、投影元の三次元座標データおよび投影先の画素と紐づけられている三次元座標データのそれぞれに対して、第一の計測位置姿勢にて撮影したＲＧＢ画像の輝度変化点および第二の計測位置姿勢にて撮影したＲＧＢ画像の輝度変化点との対応関係を検出したことになる。

他方、投影先の画素が輝度変化点でなければ投影元の三次元座標データと輝度変化点の対応関係は検出されなかったことになる。

なお、上述した方法の代わりに、第一の計測位置姿勢を用いて各三次元座標データを第一の計測にて撮影したＲＧＢ画像に投影し、および第二の計測位置姿勢を用いて各三次元座標データを第二の計測にて撮影したＲＧＢ画像に投影して、投影先の画素が輝度変化点であるか否かを確認することによって、三次元座標データと輝度変化点の対応関係を検出してもよい。

エッジ存在度付与手段５３２は空間モデルを構成する複数の三次元座標データに輝度変化点との対応が検出された数に応じたエッジ存在度を付与する。すなわち、変化点対応付け手段５３１が検出した輝度変化点と三次元座標データとの対応関係を参照して、三次元座標データに輝度変化点と対応が検出された数に応じた高さのエッジ存在度を付与する。具体的には、三次元座標データごとに当該三次元座標データとの対応が検出された第一の輝度変化点および第二の輝度変化点の数を計数する。エッジ存在度付与手段５３２は、計数値が２以上である三次元座標データに対してはエッジ存在度を１．０と判定し、計数値が２未満である三次元座標データに対してはエッジ存在度を０．０と判定する。また対応関係が検出されなかった三次元座標データに対してはエッジ存在度を０．０と判定する。エッジ存在度付与手段５３２は、判定したエッジ存在度を空間モデル記憶手段５１０に記憶させる。これにより未計測領域との境界に位置する三次元座標データのうち、実際に物体の外形部分のエッジが存在する三次元座標データに、エッジが存在することを示すエッジ存在度を付与でき、実際にエッジが存在する可能性が低い三次元座標データに、エッジが存在しないことを示すエッジ存在度を付与できる。

図５および図６は上述した対応関係の例を示す模式図である。図５は部屋６００を異なる計測位置姿勢で撮影したＲＧＢ画像の例を示す模式図であり、図５（ａ）のＲＧＢ画像７５０は第一の計測位置姿勢（計測位置６５０ａ、計測姿勢６５１ａ）にて撮影したものであり、図５（ｂ）のＲＧＢ画像７６０は部屋６００を第二の計測位置姿勢（計測位置６５０ｂ、計測姿勢６５１ｂ）にて撮影したものである。また、図６は、ＲＧＢ画像７５０と空間モデル８００との間での輝度変化点の対応関係、ＲＧＢ画像７６０と空間モデル８００の間での輝度変化点の対応関係を示した模式図である。図６（ａ）は各計測位置姿勢や輝度変化点などの位置関係を示す部屋６００の空間モデルの模式的な斜視図であり、図６（ｂ）は対応関係を表形式で表したものである。

図５（ａ）に示すＲＧＢ画像７５０の互いに隣接する画素７５１と画素７５２は輝度変化点として抽出される。このうち、図６（ａ）に示すように、画素７５１に対応する三次元座標データ８０１が表す位置には実際に机８５２の縁のエッジが存在する。一方、画素７５２に対応する三次元座標データ８０３が表す位置は実際には床８５１の平面上の位置でありエッジは存在しない。

ＲＧＢ画像７５０上では隣り合う画素（７５１，７５２）どうしが輝度変化点として抽出されるが、図６（ａ）に示すように、空間モデル中で対応する三次元座標（８０１，８０３）は離れており、その間には第一の計測における未計測領域８５０が介在している。つまり第一の計測位置姿勢にて撮影したＲＧＢ画像７５０の輝度変化点と対応する三次元座標データには、その位置にエッジが存在するものとしないものが混在している。そして、空間モデル中での当該混在に係る三次元座標データの場所は第一の計測における未計測領域の境界である。

第二の計測位置姿勢を含む計測パラメータを用いて三次元座標データ８０１をＲＧＢ画像７６０に投影する。投影先は画素７６１となる。画素７６１には机８５２の縁が写っており、画素７６１は輝度変化点として抽出される。画素７６１と紐づけられている三次元座標データ８０２は三次元座標データ８０１と同じく机８５２の縁を計測したデータであり、三次元座標データ８０２と三次元座標データ８０１との間には１画素分の誤差に満たない三次元距離が算出される。この結果、三次元座標データ８０１と８０２とに対して画素７５１および画素７６１との対応関係が検出される（図６（ｂ）参照）。つまり三次元座標データ８０１と８０２に対してはそれぞれ２つの輝度変化点との対応関係が検出される。

一方、ＲＧＢ画像７５０にて輝度変化点として抽出されたもう１つの画素７５２は三次元座標データ８０３と対応している。第二の計測位置を含む計測パラメータを用いて三次元座標データ８０３をＲＧＢ画像７６０に投影すると投影先は画素７６２となる。しかし床８５１上の平面部分が写っている画素７６２は輝度変化点として抽出されない。この結果、三次元座標データ８０３に対してはＲＧＢ画像７５０の輝度変化点との対応関係だけが検出される（図６（ｂ）参照）。つまり三次元座標データ８０３に対しては輝度変化点との対応関係が１つだけ検出される。

図７はエッジ存在度付与の例を示す模式図であり、図７（ａ）は部屋６００の空間モデルの模式的な斜視図にて三次元座標データの例であるＱ１〜Ｑ１４の位置を示しており、図７（ｂ）はＱ１〜Ｑ１４における輝度変化点対応数およびエッジ存在度を表形式で示している。図６を参照して説明したように、三次元座標データ８０１（Ｑ７）には、第一の計測位置姿勢にて撮影したＲＧＢ画像７５０から抽出された輝度変化点（画素７５１）との対応関係、および第二の計測位置姿勢にて撮影したＲＧＢ画像７６０から抽出された輝度変化点（画素７６１）との対応関係が検出され、三次元座標データＱ７と対応する輝度変化点数は２と計数される。輝度変化点数に応じ、三次元座標データＱ７にはエッジ存在度１．０が付与される。同様に、机６０２の縁に位置する三次元座標データＱ１〜Ｑ６，Ｑ８，Ｑ９に対しても輝度変化点数は２と計数されてエッジ存在度１．０が付与される。

また、図６を参照して説明したように、三次元座標データ８０３（Ｑ１１）には、第一の計測位置姿勢にて撮影したＲＧＢ画像７５０から抽出された輝度変化点７５１との対応関係は検出されたものの、第二の計測位置姿勢にて撮影したＲＧＢ画像７６０から抽出された輝度変化点との対応関係は検出されなかった。そのため、三次元座標データＱ１１と対応する輝度変化点数は１と計数される。輝度変化点数に応じ、三次元座標データＱ１１にはエッジ存在度０．０が付与される。同様に、床６０１の平面上で未計測領域（第一の計測において生じた未計測領域）との境界に位置する三次元座標データＱ１０，Ｑ１２に対しても輝度変化点数は１と計数されてエッジ存在度０．０が付与される。

また、床６０１の平面上で図３に示した模様６０３の縁に位置する三次元座標データＱ１４に対する輝度変化点数は２であり、輝度変化点数に応じてエッジ存在度１．０が付与される。

また、床６０１の平面上で未計測領域との境界でも模様６０３の縁でもない位置にある三次元座標データＱ１３に対する輝度変化点数は０であり、輝度変化点数に応じてエッジ存在度０．０が付与される。

図８はエッジ存在度の例を説明するための部屋６００の空間モデルの模式図である。図８において、実線部（直線Ｐ１−Ｐ２，Ｐ１−Ｐ３，Ｐ１−Ｐ５，Ｐ２−Ｐ４，Ｐ３−Ｐ４，Ｐ３−Ｐ６，Ｐ４−Ｐ７，Ｐ５−Ｐ６，Ｐ６−Ｐ７部および直線群Ｓ）の三次元座標データにエッジ存在度１．０が付与され、それ以外の三次元座標データにエッジ存在度０．０が付与されている。

これら実線部のうち直線Ｐ１−Ｐ２，Ｐ１−Ｐ５，Ｐ２−Ｐ４およびＰ４−Ｐ７部の三次元座標データは未計測領域（網掛け部）との境界に位置し、従来技術ではカメラ校正等に利用できなかったエッジであるが、本発明ではエッジが存在することを示すエッジ存在度が付与されカメラ校正等に利用可能となる。

［カメラ校正時の三次元データ処理装置５］
図９は部屋６００の空間モデルを用いて、部屋６００に設置された監視カメラ３を校正するときの三次元データ処理装置５の概略の機能ブロック図である。

記憶部５１は空間モデル記憶手段５１０として機能し、制御部５３は実エッジ画像生成手段５３５、仮想カメラ設定手段５３６、仮想エッジ画像生成手段５３７およびエッジ画像照合手段５３８などとして機能する。

実エッジ画像生成手段５３５は監視カメラ３（実カメラ）から入力された各監視画像（実画像）からエッジを抽出してエッジ画像を生成し、生成したエッジ画像を、対応するカメラＩＤと共にエッジ画像照合手段５３８に出力する。後述する仮想エッジ画像生成手段５３７が生成するエッジ画像と区別するために、ここで生成するエッジ画像を実エッジ画像と呼ぶ。

実エッジ画像生成手段５３５は監視画像における周囲画素との輝度差が予め定めたしきい値Ｔｉ以上である輝度変化点に対応する画素に画素値“１”、それ以外の画素に画素値“０”を設定して実エッジ画像を生成する。本実施形態では輝度差としてエッジ強度を利用する。実エッジ画像生成手段５３５は監視画像の各画素にソーベルオペレータなど所定のエッジオペレータを適用しエッジ強度を算出する。

仮想カメラ設定手段５３６は空間モデル内で部屋６００を任意の位置姿勢にて模擬撮影する仮想カメラを複数設定し、設定した仮想カメラのカメラパラメータを仮想エッジ画像生成手段５３７に出力する。仮想カメラのカメラパラメ―タに含まれる位置姿勢は校正対象である監視カメラ３の撮影位置姿勢の候補である。カメラパラメータのうち位置姿勢以外の焦点距離、解像度、レンズ歪みなどは予め記憶させてある監視カメラ３の値を用いる。

仮想カメラ設定手段５３６は空間モデルのＸＹＺ座標系において原点から予め定めた微小間隔でＸ方向、Ｙ方向、Ｚ方向に仮想カメラの位置を移動させると共に仮想カメラの姿勢（ピッチ角、ヨー角、ロール角）を予め定めた微小間隔で変更して総当たり的に複数の仮想カメラを設定してもよいが、ユーザーインターフェース部５５から予め監視カメラ３の設置仕様等に基づく設定範囲を入力し、当該範囲内に仮想カメラを設定することでカメラ校正の処理量を減ずることができる。例えば、設置仕様が鉛直下方に向けて天井設置する仕様であれば、天井高を予め入力しておくことで、仮想カメラのＺ方向の移動範囲とピッチ角の変動範囲を大幅に狭くできる。また、設置仕様に定められたＸ座標、Ｙ座標、Ｚ座標、ピッチ角、ヨー角、ロール角を予め入力し、入力した各値を中心として予め定めた設置誤差範囲内に一定の微小間隔で複数の仮想カメラを設定してもよいし、入力した各値から離れるに従って広がる微小間隔で複数の仮想カメラを設定してもよい。

仮想エッジ画像生成手段５３７は、仮想カメラ設定手段５３６が設定した各カメラパラメータが表す撮影面に部屋６００の空間モデルを投影してエッジ画像を生成し、生成したエッジ画像をエッジ画像照合手段５３８に出力する。ここで生成するエッジ画像を仮想エッジ画像と呼ぶ。

具体的には、空間モデルを構成する三次元座標データのうちエッジ存在度が“１．０”である三次元座標データを撮影面に投影し、エッジ存在度が“０．０”である三次元座標データを投影しないことで、仮想カメラの撮影面にて、エッジ存在度１．０を有する三次元座標データの投影位置をエッジ画素とする仮想エッジ画像が生成される。

上述のようにして複数の計測位置姿勢でのＲＧＢ画像を用いた輝度変化点対応数に応じてエッジ存在度を定義したことにより、計測時のオクルージョンによって空間モデルに生じる未計測領域の境界にて、実在するエッジを仮想エッジ画像に含ませることができ、一方、実在しないエッジを排除することができる。

ここで、計測視点からの距離よりも仮想視点からの距離の方が遠い三次元座標データにエッジが実在していても、当該仮想視点に監視カメラ３が存在した場合に得られる監視画像においては、当該三次元座標データと対応する画素位置の解像度が低下してエッジが抽出されない場合がある。そこで、空間モデルを構成する三次元座標データに対応付けられた輝度データを各仮想視点が表す撮影面に投影した投影像（レンダリング画像）からエッジ画像を生成し、仮想エッジ画像を、生成したエッジ画像と仮想エッジ画像との論理積画像に置き換えてもよい。特にこのとき、仮想視点からの距離が遠い三次元座標データについては、レンダリング画像の１画素に複数の三次元座標データが投影される。仮想エッジ画像生成手段５３７はこれら複数の三次元座標データに対応付けられた輝度データの平均値を投影先の画素に設定する。なお、レンダリング画像に投影される未計測領域には外れ値（例えばＲＧＢ値（２５５，２５５，２５５））を与えておけばよい。このようにするとレンダリング画像における未計測領域との境界から実在しないエッジが抽出され得るが、このエッジは仮想エッジ画像との論理積演算により消去されるため問題とならない。この輝度データの平均化によって、解像度の低下によるエッジの不抽出を再現でき、実エッジ画像と仮想エッジ画像の照合精度を向上させることができる。

エッジ画像照合手段５３８は実エッジ画像生成手段５３５が生成した実エッジ画像と仮想エッジ画像生成手段５３７が仮想カメラのカメラパラメータごとに生成した仮想エッジ画像との類似度を算出し、実エッジ画像に類似する仮想エッジ画像を与える仮想カメラの位置姿勢を監視カメラ３の位置姿勢と決定する。例えばエッジ画像照合手段５３８は最も類似度が高い仮想カメラの位置姿勢を監視カメラ３の位置姿勢と決定する。

ここで、類似度はエッジ位置の一致度合いに応じた値になるように定義される。例えば、エッジ位置の一致数を仮想エッジ画像のエッジ画素数、または実エッジ画像のエッジ画素数と仮想エッジ画像のエッジ画素数との和で除した値を類似度としてもよい。また例えば、仮想エッジ画像の各エッジ位置から実エッジ画像の最近傍エッジ位置までの距離、または実エッジ画像の各エッジ位置から仮想エッジ画像の最近傍エッジ位置までの距離を累積し、その累積値の逆数に応じた値を仮想エッジ画像のエッジ画素数、または実エッジ画像のエッジ画素数と仮想エッジ画像のエッジ画素数との和で除した値を類似度としてもよい。また、類似度に、輝度データの一致度合いを重み付け加算して類似度を補正してもよい。この場合、監視画像と上記レンダリング画像との間で対応する画素同士で画素値の正規化相関値を輝度データの一致度合いとすることができる。

ちなみに、本発明に係る三次元モデル処理装置は、空間モデル記憶手段５１０、変化点対応付け手段５３１、エッジ存在度付与手段５３２、仮想カメラ設定手段５３６および仮想エッジ画像生成手段５３７を含み、本発明に係るカメラ校正システムは、当該三次元モデル処理装置と、実エッジ画像生成手段５３５およびエッジ画像照合手段５３８とを含んで構成される。

［空間モデル生成時のカメラ校正システム１の動作］
図１０は空間モデル生成時のカメラ校正システム１の動作の概略のフロー図である。三次元計測装置２が部屋６００の計測を行うと、三次元計測装置２から三次元データ処理装置５に計測データが入力される。三次元データ処理装置５は入力された計測データに対して図１０に示す一連の処理を行い、部屋６００の空間モデルを生成する。

計測データ入力部５０は三次元計測装置２から計測データ、すなわち第一の計測位置姿勢にて計測した距離画像と第一の計測位置姿勢にて撮影したＲＧＢ画像、および第二の計測位置姿勢にて計測した距離画像と第二の計測位置姿勢にて撮影したＲＧＢ画像を取得し、これらを制御部５３に入力する（ステップＳ１０）。

制御部５３は座標変換手段５３０として動作し、座標変換手段５３０は、ステップＳ１０にて取得した距離画像から第一の計測位置姿勢および第二の計測位置姿勢を算出して、計測パラメータ記憶手段５１１として機能する記憶部５１に記憶させる（ステップＳ１１）。

座標変換手段５３０は、ステップＳ１１にて算出した第一の計測位置姿勢および第二の計測位置姿勢を用い、ステップＳ１０にて取得した距離画像の各画素を三次元座標データに変換して空間モデル記憶手段５１０として機能する記憶部５１に記憶させる（ステップＳ１２）。さらに、後段の処理のために距離画像の画素と三次元座標データとの対応関係も空間モデル記憶手段５１０に一時記憶させておく。また、座標変換手段５３０は、ステップＳ１０にて取得したＲＧＢ画像の各画素値を、対応する距離画像の画素の変換先となった三次元座標データに輝度データとして紐づけて空間モデル記憶手段５１０に記憶させる。なお、ＲＧＢ画像の複数の画素と対応する三次元座標データに対する輝度データは、対応する複数の画素の平均画素値とすればよい。

また、制御部５３は変化点対応付け手段５３１として動作し、ステップＳ１３〜Ｓ１６の処理を行う。まず、変化点対応付け手段５３１は、ステップＳ１１にて取得した複数の計測位置姿勢を順次、注目位置姿勢に設定する（ステップＳ１３）。

変化点対応付け手段５３１はステップＳ１０にて取得したＲＧＢ画像のうち注目位置姿勢のＲＧＢ画像から輝度変化点を抽出する（ステップＳ１４）。具体的には注目位置姿勢のＲＧＢ画像の各画素におけるエッジ強度を算出し、エッジ強度がしきい値Ｔｉ以上である画素を輝度変化点として抽出する。

変化点対応付け手段５３１はステップＳ１４にて抽出した輝度変化点と対応する三次元座標データを空間モデルの中から検出する（ステップＳ１５）。

変化点対応付け手段５３１は全ての計測位置姿勢を処理したか確認し（ステップＳ１６）、未処理のものがある場合は（Ｓ１６にてＮＯの場合）ステップＳ１３に戻り、次の計測位置姿勢の処理を行う。

一方、全ての計測位置姿勢を処理し終えた場合は（Ｓ１６にてＹＥＳの場合）、制御部５３はエッジ存在度付与手段５３２として動作し、ステップＳ１７〜Ｓ２１の処理を行う。

エッジ存在度付与手段５３２は、空間モデルを構成する複数の三次元座標データを順次、注目データに設定し（ステップＳ１７）、ステップＳ１５で検出した対応関係を参照し、注目データと対応する輝度変化点の数（すなわち計測位置姿勢の数）を計数する（ステップＳ１８）。注目データとの対応が検出された輝度変化点の数が２以上であれば、エッジ存在度付与手段５３２は空間モデル記憶手段５１０の注目データに対応付けてエッジ存在度１．０を記憶させる。一方、注目データとの対応が検出された輝度変化点の数が２未満であれば空間モデル記憶手段５１０の注目データに対応付けてエッジ存在度０．０を記憶させる。なお、注目データとの対応関係が検出されなかった場合も２未満の場合に含める。

エッジ存在度付与手段５３２は、全ての三次元座標データを処理したか確認し（ステップＳ２１）、未処理のものがある場合は（Ｓ２１にてＮＯの場合）ステップＳ１７に戻り、次の三次元座標データの処理を行う。一方、全ての三次元座標データを処理し終えるとモデル生成処理は終了する（Ｓ２１にてＹＥＳの場合）。

［カメラ校正時のカメラ校正システム１の動作］
図１１はカメラ校正時のカメラ校正システム１の動作の概略のフロー図である。部屋６００に設置された監視カメラ３が部屋６００の撮影を行うと、監視カメラ３から三次元データ処理装置５に監視画像が入力される。三次元データ処理装置５は入力された監視画像に対して図１１に示す一連の処理を行い、監視カメラ３の校正を行う。

監視画像入力部５２は監視カメラ３から監視画像を取得し、これを制御部５３に入力する（ステップＳ５０）。制御部５３は実エッジ画像生成手段５３５として動作し、ステップＳ５０にて取得した監視画像の各画素にエッジオペレータを適用して実エッジ画像を生成する（ステップＳ５１）。

次に制御部５３は仮想カメラ設定手段５３６として動作し、空間モデルの座標系に互いに位置姿勢の異なる複数の仮想カメラを設定する（ステップＳ５２）。

そして、制御部５３は仮想エッジ画像生成手段５３７として動作し、ステップＳ５２にて設定された各仮想カメラの撮影面に仮想エッジ画像を生成する（ステップＳ５３）。具体的には、仮想エッジ画像生成手段５３７は空間モデル記憶手段５１０から部屋６００の空間モデルを読み出し、ステップＳ５２にて設定された各仮想カメラのカメラパラメータが表す撮影面にエッジ存在度１．０が付与された三次元座標データを投影して仮想エッジ画像を生成する。また同投影面に輝度データをレンダリングし、レンダリングした画像の各画素にエッジオペレータを適用してエッジ画像を生成し、仮想エッジ画像を、生成したエッジ画像との論理積画像に更新する。

制御部５３はエッジ画像照合手段５３８として動作し、ステップＳ５１にて生成した実エッジ画像と、ステップＳ５３にて生成した仮想カメラごとの仮想エッジ画像それぞれとの類似度を算出する（ステップＳ５４）。エッジ画像照合手段５３８は、ステップＳ５４にて算出した仮想カメラごとの類似度に基づいて、最大の類似度が算出された仮想カメラの位置姿勢を検出し、検出した仮想カメラの位置姿勢を監視カメラ３の位置姿勢と決定して監視カメラ３のカメラＩＤと共に出力部５４に入力する（ステップＳ５５）。

ここで決定される監視カメラ３の位置姿勢は、空間モデルにおいて未計測領域の境界に位置するエッジをも利用して求めた高精度な推定結果となっている。

出力部５４は、監視カメラ３の位置姿勢とカメラＩＤを監視装置４に入力する。監視装置４は入力された監視カメラ３の位置姿勢を格納し、以降の監視処理にて利用する。

［変形例］
（１）上記実施形態では、互いに異なる２つの計測位置姿勢にて計測を行う例を示したが、３以上の計測位置姿勢にて計測を行ってもよい。

（２）上記実施形態においては、エッジ存在度付与手段５３２が“０．０”または“１．０”のいずれかエッジ存在度を付与する例を示したが、３種類以上のエッジ存在度を付与してもよい。その場合、エッジ存在度付与手段５３２は、例えば、輝度変化点対応数が０または１の三次元座標データにエッジ存在度“０．０”、輝度変化点対応数が２の三次元座標データにエッジ存在度“０．５”、輝度変化点対応数が３の三次元座標データにエッジ存在度“０．６２５”、輝度変化点対応数が４の三次元座標データにエッジ存在度“０．７５”、輝度変化点対応数が５の三次元座標データにエッジ存在度“０．８７５”、輝度変化点対応数が６以上の三次元座標データにはエッジ存在度“１．０”を付与する。そして、エッジ画像照合手段５３８は仮想エッジ画像のエッジ位置をエッジ存在度で重み付けて実エッジ画像との類似度を算出する。

（３）上記実施形態では、三次元モデルとして所定空間を計測して得た空間モデルを例示したが、三次元モデルは什器等の所定物体を計測して得た物体モデルであってもよい。

（４）上記実施形態では、三次元座標データが三次元空間中の点を表すポイントクラウド形式の三次元モデルを例示したが、物体面の頂点座標の集合を含むメッシュモデル形式の三次元モデルであってもよい。その場合、例えば、任意の頂点座標のペアを三次元座標データとし（つまり直線単位の三次元座標データとし）、エッジ存在度付与手段５３２は当該三次元座標データに対してエッジ存在度を付与する。

（５）上記実施形態においては監視カメラ３が１台の例を説明したが、監視カメラは２台以上でもよく、その場合は各監視カメラに上記例と同様の処理を繰り返せばよい。

（６）上記実施形態においては、撮影位置姿勢が固定されたカメラを校正するカメラ校正システムを例示したが、本発明は、パン・チルト動作するカメラ、ロボット等の移動体に設置されたカメラ、人が手持ちしたカメラなど撮影位置姿勢が変動するカメラを校正するカメラ校正システムにも適用することができる。すなわち、これらのカメラを校正する場合は、撮影位置姿勢が変動した後の撮影画像が入力されるたびに校正を行えばよい。

（７）上記実施形態では、エッジ存在度を付与した三次元モデルを投影して仮想エッジ画像を生成する例を示したが、エッジ存在度を付与した空間モデルは投影せずとも三次元データ間の位置合わせや照合の精度を向上させる効果を奏する。例えば、互いに異なる複数の計測視点から計測して得た空間モデル或いは物体モデルのそれぞれにエッジ存在度を付与し、これら複数の空間モデル或いは複数の物体モデルを、エッジが存在することを示すエッジ存在度が付与された三次元座標データを重視して位置合わせすれば、位置合わせ精度を向上させることができる。また例えば、所定物体を計測して得た物体モデルにエッジ存在度を付与して、該物体モデルと未知物体を計測して得た三次元データとを照合して物体認識を行う際に、エッジが存在することを示すエッジ存在度が付与された三次元座標データを重視して照合を行えば照合精度を向上させることができる。

（８）上記実施形態では、仮想エッジ画像を利用してカメラを校正する例を示したが、当該仮想エッジ画像を利用して物体照合の精度を向上させることも可能である。例えば、所定物体を計測して得た物体モデルにエッジ存在度を付与して仮想エッジ画像を生成し、撮影画像から生成した実エッジ画像との照合を行えば、撮影画像に写っている物体が所定物体であるか否かを判定する精度を向上させることができる。

１ カメラ校正システム、２ 三次元計測装置、３ 監視カメラ、４ 監視装置、５ 三次元データ処理装置、５０ 計測データ入力部、５１ 記憶部、５２ 監視画像入力部、５３ 制御部、５４ 出力部、５５ ユーザーインターフェース部、５１０ 空間モデル記憶手段、５１１ 計測パラメータ記憶手段、５３０ 座標変換手段、５３１ 変化点対応付け手段、５３２ エッジ存在度付与手段、５３５ 実エッジ画像生成手段、５３６ 仮想カメラ設定手段、５３７ 仮想エッジ画像生成手段、５３８ エッジ画像照合手段、６００ 部屋、６０１ 床、６０２ 机、６０３ 模様、６５０ 計測位置、６５１ 計測姿勢、６５２ 撮影位置、６５３ 撮影姿勢。

Claims (4)

1. 対象の表面形状を表す複数の三次元座標データで構成され複数の計測位置姿勢にて計測して得た三次元モデル、前記複数の計測位置姿勢、及び当該複数の計測位置姿勢のそれぞれにて前記対象を撮影した画像を記憶している記憶手段と、
   前記各画像から輝度変化点を抽出し、前記計測位置姿勢を用いて前記輝度変化点に対応する位置の三次元座標データを検出する変化点対応付け手段と、
   前記三次元座標データに前記輝度変化点との対応が検出された数に応じた高さのエッジ存在度を付与するエッジ存在度付与手段と、
   を備えたことを特徴とする三次元モデル処理装置。
2. 請求項１に記載の三次元モデル処理装置であって、さらに、
   前記三次元モデルを任意の位置姿勢にて模擬撮影する仮想カメラを設定する仮想カメラ設定手段と、
   前記仮想カメラの撮影面にて、前記エッジ存在度が予め定めた高さよりも高い三次元座標データの投影位置をエッジ画素とする仮想エッジ画像を生成する仮想エッジ画像生成手段と、
   を備えたことを特徴とする三次元モデル処理装置。
3. 請求項２に記載の三次元モデル処理装置と、
   実カメラが前記対象を撮影した実画像を取得し、前記実画像からエッジを抽出して実エッジ画像を生成する実エッジ画像生成手段と、
   前記実エッジ画像と前記仮想エッジ画像との類似度を算出して、前記類似度を最大化する前記仮想カメラの位置姿勢を前記実カメラの位置姿勢と決定するエッジ画像照合手段と、
   を備えたことを特徴とするカメラ校正システム。
4. 対象の表面形状を表す複数の三次元座標データで構成され複数の計測位置姿勢にて計測して得た三次元モデルを記憶し、前記三次元座標データは前記複数の計測位置姿勢のそれぞれにて前記対象を撮影した画像から抽出した輝度変化点との対応が検出された数に応じたエッジ存在度を付与されている三次元モデル記憶手段と、
   前記三次元モデルを任意の位置姿勢にて模擬撮影する仮想カメラを設定する仮想カメラ設定手段と、
   前記仮想カメラの撮影面にて、エッジが存在することを示すエッジ存在度を有する三次元座標データの投影位置をエッジ画素とする仮想エッジ画像を生成する仮想エッジ画像生成手段と、
   を備えたことを特徴とする三次元モデル処理装置。

Images