JP2007171092A

JP2007171092A - 三次元計測用マーカとこれを用いた三次元計測方法

Info

Publication number: JP2007171092A
Application number: JP2005371939A
Authority: JP
Inventors: Munehiko Maeda; 宗彦前田; Toshihiro Hayashi; 俊寛林; Hideo Terada; 英雄寺田
Original assignee: IHI Corp
Current assignee: IHI Corp
Priority date: 2005-12-26
Filing date: 2005-12-26
Publication date: 2007-07-05
Anticipated expiration: 2025-12-26
Also published as: JP5051493B2

Abstract

【課題】レーザレーダとカメラの光軸が大きくずれた場合でも、レーザレーダの計測点と二次元画像を精度良く重ね合わせることができる三次元計測用マーカとこれを用いた三次元計測方法を提供する。
【解決手段】レーザレーダ装置２０から得られる反射強度画像２２とデジタルカメラ３０から得られる二次元画像３２とを重ね合わせて計測対象を特定しその距離情報を求めるための三次元計測用マーカ１０。マーカは、デジタルカメラの二次元画像上で特定位置の識別が可能な模様１２と、特定位置に位置しレーザレーダ装置の分解能より小さくかつ他の物体よりレーザ反射率が高い反射板１４とからなる。
【選択図】図２

Description

本発明は、三次元計測用マーカとこれを用いた三次元計測方法に関する。

レーザレーダ装置は、レーザ光を計測対象に照射し、反射して戻ってくるまでの時間から距離を求めることにより、計測対象の三次元位置を計測する装置であり、レーザレーダ装置で得られる三次元位置データは、距離情報を含む二次元画像として表示することができる。しかしこの画像は、色情報や濃淡情報を含まないため、表示される画像により計測対象を識別しにくい欠点がある。なお、以下、レーザレーダ装置を単に「レーザレーダ」又は「レーザスキャナ」と呼ぶ。

一方、デジタルスチールカメラやデジタルビデオカメラ（以下、単に「デジタルカメラ」という）は、計測対象の二次元画像を撮像し、色情報や濃淡情報を含む画像として表示する装置である。デジタルカメラの二次元画像は、色情報や濃淡情報を含むため計測対象を容易に識別できるが、画像から精度の高い距離を把握することは困難である。

そこで、計測対象物をレーザレーダ装置とデジタルカメラの両方で計測・撮像し、レーザレーダ装置から得られる距離情報を含む二次元画像とデジタルカメラから得られる色情報や濃淡情報を含む二次元画像とを重ね合わせて、計測対象を色情報や濃淡情報から特定し、その距離情報を求めることが要望される。

この要望を満たすために、両センサの座標系の対応付けと、レーザレーダの距離スケールで表現されたカメラの内部パラメータの推定を行なうキャリブレーション作業が必要となり、例えば特許文献１、非特許文献１が開示されている。

特開２００５−０７７３８５号公報、「画像対応付け方法ならびに測量方法およびそれらを利用する計測システム」

徐剛、「写真から作る３次元ＣＧ」、近代科学社、２００１

特許文献１の方法は、レーザスキャナによって計測対象の三次元点群データを得ると共に、前記計測対象を撮影して二次元カラー画像を取得し、
前記二次元カラー画像上において任意に３点以上を選択し、当該選択した各点に、前記三次元点群データに基づく三次元位置情報を与え、
前記選択点の三次元位置情報に基づいて、前記計測対象の撮影時におけるカメラとレーザスキャナとの相対的な位置関係を求め、
求めた相対的位置関係と、選択した点における三次元位置情報とに基づいて、前記点群データの各点のデータに前記カラー画像の画像データを対応させるものである。

また、特許文献１の方法では、三次元点群データと二次元カラー画像との対応付けは、点群データを得た各点を、二次元カラー画像の各点に投影することで擬似的に結合させて得た像である擬似中心投影画像を作成し、当該擬似中心投影画像とカラー画像とを重ね合わせて行なっている。

しかし、レーザレーダとカメラの光軸が大きくずれた場合には、レーザレーダの計測点と二次元画像を精度良く重ね合わせるためには擬似中心射影を用いることはできない問題点がある。
すなわち、中心射影を行なうためのカメラパラメータ推定は、擬似中心射影を行なう場合に比べ、高精度な座標値の取得が必要とされる。

本発明はかかる問題点を解決するために創案されたものである。すなわち、本発明の目的は、レーザレーダとカメラの光軸が大きくずれた場合でも、レーザレーダの計測点と二次元画像を精度良く重ね合わせることができる三次元計測用マーカとこれを用いた三次元計測方法を提供することにある。

本発明によれば、マーカを計測対象に位置決めし、該計測対象をレーザレーダ装置とデジタルカメラの両方で計測・撮像し、レーザレーダ装置から得られる反射強度画像とデジタルカメラから得られる二次元画像とを重ね合わせて計測対象を特定しその距離情報を求めるマーカであって、
前記マーカは、デジタルカメラの二次元画像上で特定位置の識別が可能な模様と、該特定位置に位置しレーザレーダ装置の分解能より小さくかつ他の物体よりレーザ反射率が高い反射板とからなる、ことを特徴とする三次元計測用マーカが提供される。

本発明の好ましい実施形態によれば、前記マーカの位置をそれぞれの画像上で対応させることにより、それらマーカ位置データと、カメラパラメータ推定式からレーザレーダ装置とデジタルカメラの相対的位置関係とカメラの内部パラメータを取得する。
また、前記模様は、デジタルカメラの二次元画像上で十分大きく、前記特定位置で直交する直交線分で仕切られた色分け模様または濃淡模様からなり、前記反射板は、レーザ光を入射方向に反射させることが可能な反射板である。

また本発明によれば、計測対象をレーザレーダ装置とデジタルカメラの両方で計測・撮像し、レーザレーダ装置から得られる反射強度画像とデジタルカメラから得られる二次元画像とを重ね合わせて計測対象を特定しその距離情報を求める三次元計測方法であって、
デジタルカメラとレーザレーダ装置のそれぞれの画像から座標値抽出が容易なマーカを計測対象に位置決めし、このマーカの位置をそれぞれの画像上で対応させることにより、それらマーカ位置データと、カメラパラメータ推定式からレーザレーダ装置とデジタルカメラの相対的位置関係とカメラの内部パラメータを取得する、ことを特徴とする三次元計測方法が提供される。

上記本発明の装置及び方法によれば、レーザレーダとカメラから高精度に座標値を抽出可能なマーカを用いることにより、レーザレーダとカメラから同時に高精度にマーカ位置を抽出可能となり、それにより中心射影のためのカメラパラメータが推定可能となる。
従ってレーザレーダ装置とデジタルカメラの光軸が大きくずれた場合においても、中心射影を用いることにより、三次元データと二次元画像を正確に重ねることが可能となる。

以下、本発明の好ましい実施形態を図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

図１は、本発明の三次元計測方法の模式図であり、図２は本発明の三次元計測用マーカの構成図である。
本発明の三次元計測用マーカ１０は、図１のように、マーカ１０を計測対象に位置決めし、計測対象物をレーザレーダ装置２０とデジタルカメラ３０の両方で計測・撮像し、レーザレーダ装置から得られる反射強度画像２２とデジタルカメラから得られる二次元画像３２とを重ね合わせて計測対象を特定しその距離情報を求めるためのマーカである。

図２において、本発明の三次元計測用マーカ１０は、目視での識別が可能な模様１２と、レーザ反射率が高い反射板１４とからなる。

模様１２は、デジタルカメラの二次元画像３２上においてマーカを位置決めした計測対象位置（以下、「特定位置」と呼ぶ）の識別が容易な模様である。この模様１２は、デジタルカメラの二次元画像３２上で十分大きく、特定位置で直交する直交線分１２ａで仕切られた色分け模様１２ｂ，１２ｃまたは濃淡模様１２ｂ，１２ｃからなる。この例では、模様１２は一辺が５０〜８０ｍｍの正方形であり、一辺がその半分（２５〜４０ｍｍ）の黒色／白色の正方形１２ｂ，１２ｃからなる。

反射板１４は、模様１２上の特定位置に位置しレーザレーダ装置の分解能より小さくかつ他の物体よりレーザ反射率が高い反射板である。特定位置は、直交線分１２ａの交叉位置である。この反射板１４は、レーザ光を入射方向に反射させることが可能な反射板であり、好ましくはレーザ反射率が高い金属板または微小なガラスビーズの反射板であるのがよい。なお、反射板１４の形状はこの例では正方形であるが、レーザ光を効率よく反射できる限りで、任意であり、例えば円形でもよい。

図３は、本発明におけるマーカ位置の対応方法を示す模式図である。この図において、（Ａ）はレーザレーダ装置２０から得られる反射強度画像２２の模式図であり、（Ｂ）はデジタルカメラ３０から得られる二次元画像３２の模式図である。
レーザレーダ装置２０から得られる反射強度画像２２において、マーカ１０の反射板１４から得られる反射強度の強い領域２２ａを抽出し、マーカの中心位置を特定位置とする。
またデジタルカメラから得られる二次元画像３２において、マーカ位置を特定するため、マーカ近傍を画像上で拡大し、直交線分１２ａの交叉位置３２ａを特定位置として決定する。

従って上述した本発明の三次元計測用マーカ１０を用い、レーザレーダ装置から得られる反射強度画像２２とデジタルカメラから得られる二次元画像３２において、マーカの位置をそれぞれの二次元画像上で対応させることにより、それらマーカ位置データと、カメラパラメータ推定式から両センサの相対的位置関係とカメラの内部パラメータを取得することができる。

本発明の三次元計測方法は、計測対象物をレーザレーダ装置２０とデジタルカメラ３０の両方で計測・撮像し、レーザレーダ装置から得られる反射強度画像２２とデジタルカメラから得られる二次元画像３２とを重ね合わせて計測対象を特定しその距離情報を求める方法である。
本発明の方法では、デジタルカメラ３０とレーザレーダ装置２０のそれぞれの画像から座標値抽出が容易なマーカ１０を計測対象に位置決めし、このマーカ１０の位置をそれぞれの画像２２、３２上で対応させることにより、それらマーカ位置データと、カメラパラメータ推定式からレーザレーダ装置とデジタルカメラの相対的位置関係とカメラの内部パラメータを取得する。

図４は、三次元位置と二次元画像との関係を示す説明図である。この図はピンホールカメラを示し、画像平面Ｉから距離ｆのところにＩに平行な遮光面Ｆを置き、その上の点Ｃにピンホールを開ける。物体Ｍから来る光はピンホールＣを通り画像平面Ｉに像ｍを結ぶ。
ピンホールＣは、レンズに置き換えることができＣをレンズ中心、ｆを焦点距離と呼ぶ。またこのような（Ｃ，Ｘ，Ｙ，Ｚ）座標系をカメラ座標系と呼ぶ。

図５は、世界座標系とカメラ座標系との関係を示す説明図である。この図において、図４の画像平面Ｉはレンズ中心Ｃの前に反転させて表示している。また、カメラ座標系と異なる一般的な世界座標系は、カメラ座標系を回転・並進させることで得ることができる。

図５において、世界座標系の座標（Ｘ，Ｙ，Ｚ）と仮想画面平面上の座標（ｕ，ｖ）との関係、すなわち中心射影の射影演算子は、式（１）で表すことができる。
ここで、［Ｘ，Ｙ，Ｚ，１］^Ｔ＝（〜付）Ｍは、実空間上の三次元位置を同次座標表示、［ｕ，ｖ，１］^Ｔ＝（〜付）ｍは画像上の対応点の同次座標表示である。
ここで式（２）で示すＡはカメラの内部パラメータであり、ｆ_ｘ，ｆ_ｙはカメラの焦点距離のｘ方向とｙ方向成分、ｕ_０，ｖ_０はカメラのレンズ中心、θは画素の横軸と縦軸のなす角度である。内部パラメータは合計５自由度となる。

カメラの外部パラメータは、式（３）となり、Ｒとｔはそれぞれ回転、並進成分であり、外部パラメータは合計６自由度となる。
また、ここでは回転行列の定義として、数（４）で示すロール・ピッチ・ヨーを用いる。

射影行列はまとめてＰ＝Ａ［Ｒｔ］の３×４行列となる。Ｐはスケールは任意であり、独立な変数は内部パラメータと外部パラメータを合わせて１１個となる。カメラキャリブレーションを行なうためには、ｎ個の計測点から得られた（〜付）ｍｉと（〜付）Ｍｉ（Ｉは０〜ｎ）よりＰを求めなければならない。（〜付）Ｍｉは、レーザレーダから得られる特徴点の位置データであり、（〜付）ｍｉは画像上の特徴点の位置となる。

ここで、式（５）とすると、式（６）のように書ける。またこれは、まとめて式（６ａ）と書ける。ここでＢを書き下すと式（７）となる。これはｎ個の三次元位置の計測点と画像上の対応点位置からなる、２ｎ×１２の行列となる、ＰはＢの最小固有値に対応する固有ベクトルとして求めることができる。

上述したように、独立な変数は内部パラメータと外部パラメータを合わせて１１個であり、カメラキャリブレーションを行なうためには、少なくとも１１のマーカ１０を用いて、１１箇所の、世界座標系の座標（Ｘ，Ｙ，Ｚ）と仮想画面平面上の座標（ｕ，ｖ）との関係を求める必要がある。
また、世界座標系とカメラ座標系が一致する場合には、外部パラメータは既知であり、自由度は内部パラメータのみとなる。この場合には、少なくとも５のマーカ１０を用いて、５箇所の、世界座標系の座標（Ｘ，Ｙ，Ｚ）と仮想画面平面上の座標（ｕ，ｖ）との関係を求める必要がある。

上述したように本発明の装置及び方法によれば、マーカが、レーザレーダ装置とデジタルカメラから高精度に座標値を抽出可能であるため、このマーカを用いることにより、中心射影のためのカメラパラメータを推定するに必要な、精度の高いマーカ位置の抽出が可能となる。
従ってそれらマーカ位置データと、カメラパラメータ推定の式を用いることにより、レーザレーダ装置とデジタルカメラの相対的位置関係とカメラの内部パラメータを取得する。

なお、本発明は上述した実施例及び実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。

本発明の三次元計測用マーカの構成図である。本発明の三次元計測方法の模式図である。本発明におけるマーカ位置の対応方法を示す模式図である。三次元位置と二次元画像との関係を示す説明図である。世界座標系とカメラ座標系との関係を示す説明図である。

符号の説明

１０三次元計測用マーカ、１２模様、
１２ａ直交線分、１２ｂ，１２ｃ色分け模様（又は濃淡模様）、
１４反射板、
２０レーザレーダ装置、２２反射強度画像、２２ａ反射強度の強い領域、
３０デジタルカメラ、３２二次元画像、３２ａ交叉位置

Claims

マーカを計測対象に位置決めし、該計測対象をレーザレーダ装置とデジタルカメラの両方で計測・撮像し、レーザレーダ装置から得られる反射強度画像とデジタルカメラから得られる二次元画像とを重ね合わせて計測対象を特定しその距離情報を求めるマーカであって、
前記マーカは、デジタルカメラの二次元画像上で特定位置の識別が可能な模様と、該特定位置に位置しレーザレーダ装置の分解能より小さくかつ他の物体よりレーザ反射率が高い反射板とからなる、ことを特徴とする三次元計測用マーカ。
前記マーカの位置をそれぞれの画像上で対応させることにより、それらマーカ位置データと、カメラパラメータ推定式からレーザレーダ装置とデジタルカメラの相対的位置関係とカメラの内部パラメータを取得する、ことを特徴とする請求項１に記載の三次元計測用マーカ。
前記模様は、デジタルカメラの二次元画像上で十分大きく、前記特定位置で直交する直交線分で仕切られた色分け模様または濃淡模様からなり、
前記反射板は、レーザ光を入射方向に反射させることが可能な反射板である、ことを特徴とする請求項１に記載の三次元計測用マーカ。
計測対象をレーザレーダ装置とデジタルカメラの両方で計測・撮像し、レーザレーダ装置から得られる反射強度画像とデジタルカメラから得られる二次元画像とを重ね合わせて計測対象を特定しその距離情報を求める三次元計測方法であって、
デジタルカメラとレーザレーダ装置のそれぞれの画像から座標値抽出が容易なマーカを計測対象に位置決めし、このマーカの位置をそれぞれの画像上で対応させることにより、それらマーカ位置データと、カメラパラメータ推定式からレーザレーダ装置とデジタルカメラの相対的位置関係とカメラの内部パラメータを取得する、ことを特徴とする三次元計測方法。