JP2011227073A

JP2011227073A - ３次元位置測定装置

Info

Publication number: JP2011227073A
Application number: JP2011080924A
Authority: JP
Inventors: Noriyuki Mochizuki; 規之望月
Original assignee: Saxa Inc
Current assignee: Saxa Inc
Priority date: 2010-03-31
Filing date: 2011-03-31
Publication date: 2011-11-10

Abstract

【課題】画像法の３次元位置測定装置において、測定可能な測定対象物の大きさ、及び測定対象物までの距離の範囲を拡げる。
【解決手段】撮影視野の仰角、方位角、及び画角の設定を変更する機能を有するPTZカメラ１、２と、PTZカメラ１、２の撮影視野の設定情報及び撮影画像情報に基づいて、PTZカメラ１、２が撮影した測定対象点の３次元座標を算出する３次元座標算出手段３４とを有する。
【選択図】図３

Description

本発明は、物体の位置測定や、地形等の物体形状の測定に用いられる、非接触型の３次元位置測定装置に関する。

従来、物体の３次元位置を非接触で測定する方法としては、レーザスキャナを用いて、測定対象点に照射されたレーザ光の出射方向と、その反射光が戻るまでの時間を測定して、測定対象点の位置と距離を測定するTOF（Time-of-Flight）法や、相異なる位置に設置された２台のカメラで測定対象点を撮影し、カメラの画像上における測定対象点の位置関係から、三角測量の原理で測定対象点の３次元位置を測定する画像法（ステレオ法）などが知られている。一般に、レーザスキャナを用いる方法は、測定対象点の光の反射率によって測定できない場合がある一方、画像法は、測定対象点の反射率に依存せず、通常のカメラを用いて精度の良い測定が可能であることから、広く用いられている。

従来、画像法による３次元位置測定装置においては、撮影対象範囲や焦点距離などの条件が固定されたカメラ（固定カメラ）を２台使用して測定が行われていた。例えば、動く測定対象物に付着させたマーカーを２台の固定カメラで撮影して、その対象物の３次元位置を測定するものや（特許文献１参照）、測定対象点の変位を測定するために、固定カメラにより変位前後の測定対象点を撮影して３次元位置を測定し、その変位前後の座標から測定対象点の変位量を測定する方法が知られている（特許文献２及び３参照）。

しかしながら、上記従来の３次元位置測定装置では、測定対象物が微小である場合や、測定対象物が遠方にある場合には、その測定対象物について、固定カメラの解像度（画素数）に対し十分な大きさの映像が得られず、その測定対象物上の測定対象点を認識できなくなる。このため、３次元位置を測定できる範囲が限定されてしまうという問題がある。

これを解消する方法として、固定カメラの画角を狭くして測定対象範囲を絞り込む方法や、画素数が多く解像度の高い固定カメラを使用する方法がある。
しかし、画角を狭くする方法では、測定対象範囲が狭く限定されてしまい広範囲の測定が困難であり、高解像度のカメラを用いる方法では、画素数の増加とともに処理すべきデータの数が膨大となり、固定カメラから画像処理装置へのデータ転送や画像処理装置でのデータ処理に要する時間が長くなって、移動物体を対象とするような動的な測定を行うことが困難になるという問題がある。

特開平１１−０５１６１５号公報特許第４００６２９６号公報特開２００７−２２５４２３号公報

本発明は、上記従来の問題に鑑みなされたものであって、その目的は、画像法による３次元位置測定装置において、測定可能な測定対象物の大きさ、及び測定対象物までの距離の範囲を拡大することである。

請求項１に記載された発明は、互いに離れた位置に設置された複数の撮影手段により撮影した測定対象物の画像から、前記測定対象物の３次元位置を測定する３次元位置測定装置であって、撮影視野の仰角、方位角、及び画角の設定を変更する機能を有する複数の撮影手段と、前記複数の撮影手段の、撮影視野の設定の情報及び撮影画像情報に基づいて、前記撮影手段が撮影した測定対象点の３次元座標を算出する３次元座標算出手段と、を有することを特徴とする。
請求項２に記載された発明は、請求項１に記載された３次元位置測定装置において、前記３次元座標算出手段は、前記複数の撮影手段の撮影可能範囲内に置かれた複数の基準測定点の３次元座標並びに前記複数の基準測定点のそれぞれを前記複数の撮影手段から見たときの仰角及び方位角に基づき、前記測定対象点の３次元座標の算出に用いる射影行列を算出することを特徴とする。
請求項３に記載された発明は、請求項１又は２に記載された３次元位置測定装置において、前記３次元座標算出手段が測定対象点の３次元座標の算出又は射影行列の算出に用いる、前記複数の撮影手段の仰角及び方位角は、それぞれ、前記複数の撮影手段の光学中心とは異なる点を中心とする回転角で与えられることを特徴とする。
請求項４に記載された発明は、撮影視野の仰角、方位角、及び画角の設定を変更する機能を備えた複数の撮影手段を有する３次元位置測定装置により行う、３次元位置測定方法であって、前記複数の撮影手段の撮影可能範囲内に置かれた複数の基準測定点の、３次元座標と前記複数の撮影手段のそれぞれから見た仰角及び方位角に基づき、測定対象点の３次元座標の算出に用いる射影行列を算出する工程と、測定対象点を撮影する前記複数の撮影手段のそれぞれの仰角及び方位角に基づき、前記射影行列を用いて、前記測定対象点の３次元座標を算出する工程と、を有することを特徴とする。
請求項５に記載された発明は、請求項４に記載された３次元位置測定方法において、前記射影行列を算出する工程又は測定対象点の３次元座標を算出する工程に用いられる仰角及び方位角は、前記撮影手段の光学中心とは異なる点を中心とする回転角で与えられることを特徴とする。

本発明によれば、画像法による３次元位置測定装置において、測定可能な測定対象物の大きさ、及び測定対象物までの距離の範囲を拡大することができる。

本発明の３次元位置測定装置の一実施形態の構成を示す全体構成図である。本発明の３次元位置測定装置の一実施形態に使用される、PTZ（Pan-Tilt-Zoom）カメラの構成の一例を示す概略図である。本発明の３次元位置測定装置の一実施形態に使用される、画像処理装置の構成の一例を示すブロック図である。本発明の３次元位置測定装置の一実施形態における、校正作業時の動作手順を示すフロー図である。本発明の３次元位置測定装置の一実施形態における、測定時の動作手順を示すフロー図である。本発明の３次元位置測定装置の基本動作原理である、画像法の動作原理を説明するための図である。画像法において用いられるカメラの撮像面と測定対象点との、２次元の幾何光学的関係を示す図である。画像法において用いられるカメラの撮像面と測定対象点との、３次元の幾何光学的関係を示す図である。本発明の３次元位置測定装置の一実施形態における、PTZカメラの基準方向の設定について説明するための図である。本発明の３次元位置測定装置の一実施形態における、測定対象点の測定について説明するための図である。

次に、本発明の実施の形態を、図面を参照して説明する。
図１は、本発明の３次元位置測定装置の一実施形態を示す全体構成図である。
本３次元位置測定装置は、撮影視野の仰角、方位角及び画角を変更する機能を有する撮影手段、例えばPTZ（Pan-Tilt-Zoom）カメラ１、２と、PTZカメラ１、２からの画像データを処理する画像処理装置３と、ユーザが画像処理装置３に種々の指示を与えるための入力装置４と、PTZカメラ１、２が捉えた撮影画像等を表示するための出力装置５を有している。

また、図２は、PTZカメラ１、２の構成を示す構成図であり、図２（１）はPTZカメラ１の正面図、図２（２）はPTZカメラ１の側面図、図２（３）はPTZカメラ２の正面図である。本PTZカメラ１、２は、カメラ本体１１、２１の方位角を調整する方位角駆動部１２、２２と、カメラ本体の仰角を調整する仰角駆動部１４、２４と、方位角駆動部１２、２２を固定する台座１３、２３と、仰角駆動部１４、２４を固定すると共にカメラ全体を設置場所に固定するための固定板１５、２５を有している。カメラ本体１１、２１からは、撮影した画像のデータと、そのときの画角が、画像処理装置３に送信される。また、方位角駆動部１２、２２及び仰角駆動部１４、２４は、画像処理装置３から送信される駆動信号により駆動され、かつ、基準方向からの回転角度を画像処理装置３に送信する。

次に、図３に、本実施形態に使用される画像処理装置３の構成を示す。
本画像処理装置３は、PTZカメラ１、２、入力装置４、及び出力装置５と通信するための入出力インタフェース３５と、ＣＰＵ（Central Processing Unit）、プログラムが書き込まれたＲＯＭ（Read Only Memory）、データの一時記憶のためのＲＡＭ（Random Access Memory）等を有する処理部３１と、測定の際に種々のデータを記憶しておくための記憶部３６とを有している。また、処理部３１は、PTZカメラ１、２に撮影視野の仰角、方位角、及び画角を設定するための撮影視野設定手段３２と、PTZカメラ１、２から、現在の撮影視野の仰角、方位角、及び画角を取得するための視野情報取得手段３３と、測定対象点の３次元座標を算出するための３次元座標算出手段３４を有しており、これらの手段は、ＣＰＵを含む処理部３１がプログラムを実行することにより実現される。

上記の構成において、まず、ユーザは、PTZカメラ１、２を設置すると共に、PTZカメラ１、２の撮影可能範囲内に複数の基準測定点を設ける。次に、PTZカメラ１、２のそれぞれについて基準となる撮影方向（基準方向）を決め、順次、基準測定点をPTZカメラ１、２で撮影して、PTZカメラ１、２の光学中心から見た基準測定点の方向の仰角及び方位角を得る。この仰角及び方位角は、仰角駆動部１４、２４及び方位角駆動部１２、２２の回転角度に基づいて得ることができる。
次に、ユーザが各基準測定点の３次元座標を画像処理装置３に入力すると、３次元座標算出手段３４は、入力された３次元座標並びに上記において測定した仰角及び方位角から、測定対象点の位置測定の際に使用する射影行列を算出して、校正作業を終了する。

上記の校正作業の後、ユーザが、測定対象物上の測定対象点を定め、上述した基準測定点の場合と同様にして測定対象点の仰角及び方位角を測定すると、３次元座標算出手段３４は、これらの回転角度に基づき、上述の射影行列を用いて、測定対象点の３次元座標を算出する。

以上のように、本実施形態では、撮影手段として、撮影視野の仰角、方位角、及び画角を変更する機能を有するPTZカメラ１、２を用いているため、固定カメラを用いた場合に比して、測定可能な測定対象物の大きさ及び測定対象物までの距離の範囲を拡大することができる。

この場合、仰角駆動部１４、２４及び方位角駆動部１２、２２の回転中心とPTZカメラ１、２の光学的な中心位置とがずれている場合には、仰角及び方位角のデータに誤差を生ずることとなるが、本実施形態では、仰角駆動部１４、２４及び方位角駆動部１２、２２の回転角と正確な３次元座標との対応関係から射影行列を算出しているため、この射影行列を用いることにより、測定対象点の３次元座標の算出誤差を軽減することができる。すなわち、PTZカメラ１、２から取得する仰角及び方位角が、PTZカメラ１、２の光学中心とは異なる点を中心とする回転角で与えられる場合には、その光学中心とは異なる点を中心とする回転角で与えられる仰角及び方位角に基づいて、射影行列を計算することで、測定対象点の３次元座標の算出誤差を軽減している。

次に、本３次元位置測定装置の、校正作業時の動作及び測定対象物の測定時の動作の手順を、図４及び図５に示すフロー図に従って説明する。
（校正作業時の動作）
まず、校正作業時の動作手順を、図４に示すフロー図に従って説明する。
初めに、ユーザは、PTZカメラ１、２のそれぞれについて基準となる撮影方向（基準方向）を定める（Ｓ１０１）。
次に、PTZカメラ１、２の撮影可能範囲に複数の基準測定点を設定し（Ｓ１０２）、画像処理装置３に一の基準測定点の３次元座標を入力（Ｓ１０３）した後、画像処理装置３を用いて、その基準測定点がPTZカメラ１，２の撮影画像のほぼ中心位置に適度な大きさで映るように、方位角駆動部１２、２２、仰角駆動部１４、２４及び画角を調整する（Ｓ１０４）。

次に、画像処理装置３は、PTZカメラ１、２から、それぞれの撮影画像と、方位角駆動部１２、２２及び仰角駆動部１４、２４の回転角度、及び画角を取得する（Ｓ１０５）。
ここで、画像処理装置３は、各撮影画像における測定対象点の座標とPTZカメラ１、２の画角から、測定対象点の映像を各撮影画像の中心位置に移動させるために必要な、方位角駆動部１２、２２及び仰角駆動部１４、２４の角度補正量を算出し（Ｓ１０６）、方位角駆動部１２、２２及び仰角駆動部１４、２４の回転角度と角度補正量との和を方位角駆動部１２、２２及び仰角駆動部１４、２４の回転角度として記憶する（Ｓ１０７）。

次に、ユーザは、すべての基準測定点について３次元座標の入力と方位角駆動部１２、２２及び仰角駆動部１４、２４の回転角度の取得を終えたか否かを判断して（Ｓ１０８）、終えていなければ（Ｓ１０８、Ｎｏ）、Ｓ１０３からＳ１０７の作業を繰り返し、終えていれば（Ｓ１０８、Ｙｅｓ）、画像処理装置３に指示して、３次元座標算出手段３２により、各基準測定点の３次元座標と、方位角駆動部１２、２２及び仰角駆動部１４、２４の回転角度に基づき、測定に使用する射影行列を算出し、算出結果を記憶部３６に記憶して（Ｓ１０９）、校正作業を終了する。

（測定対象物の測定時の動作）
次に、測定対象物の測定を行う際の動作手順を、図５に示すフロー図に従って説明する。
まず、ユーザは、測定対象物上の測定対象点を定め（Ｓ２０１）、画像処理装置３を用いて、一の測定対象点がPTZカメラ１，２の撮影画像のほぼ中心位置に適度な大きさで映るように、方位角駆動部１２、２２、仰角駆動部１４、２４及び画角を調整する（Ｓ２０２）。
次に、画像処理装置３は、PTZカメラ１、２から、それぞれの撮影画像と、方位角駆動部１２、２２及び仰角駆動部１４、２４の回転角度、及び画角を取得する（Ｓ２０３）。

ここで、画像処理装置３は、各撮影画像における測定対象点の座標とPTZカメラ１、２の画角から、測定対象点を各撮影画像の中心位置に移動させるために必要な方位角駆動部１２、２２及び仰角駆動部１４、２４の角度補正量を算出する（Ｓ２０４）。次に、画像処理装置３の３次元座標算出手段３４は、方位角駆動部１２、２２及び仰角駆動部１４、２４の回転角度と角度補正量との和を方位角駆動部１２、２２及び仰角駆動部１４、２４の回転角度として、上述の校正作業時に算出した射影行列を用いて測定対象点の３次元座標を算出する（Ｓ２０５）。
次に、ユーザは、すべての測定対象点について３次元座標位置の測定を終えたか否かを判断して（Ｓ２０６）、終えていなければ（Ｓ２０６、Ｎｏ）、Ｓ２０２からＳ２０５の作業を繰り返し、終えていれば（Ｓ２０６、Ｙｅｓ）、測定作業を終了する。

次に、図を参照して、本実施形態の動作について詳細に説明する。
まず、２台のカメラを用いた場合の、画像法による３次元位置測定の原理について、図６及び図７を用いて説明する。
図６（１）のように、互いに離れた場所に設置された２つのカメラ４１、４２を、撮影可能範囲内にある測定対象点に向けると、例えば図６（２）に示すような撮影画像が得られる。ここで、カメラ４１、４２の撮影可能範囲内に、３次元座標が既知である複数の基準測定点を定め、各基準測定点をカメラ４１、４２により撮影し、カメラ４１、４２の撮影画像における各基準測定点の２次元座標を求めれば、撮影画像上の２次元座標と実際の空間における３次元座標との対応関係が明らかとなる。この対応関係を用いれば、測定対象点の撮影画像上の２次元座標から、現実の空間における測定対象点の３次元座標が求まる。そして、この対応関係は、通常、射影行列の形で表現される。

ここで、測定対象点の撮影画像上の２次元座標を求めるということは、その測定対象点が、カメラの光軸に対してどの方向にあるかを求めることに等しい。
以下、図７を用いて、測定対象点の、撮影画像上の座標と光軸に対する方向との関係を説明する。
図７は、カメラの撮像面と測定対象点の映像等との幾何光学的関係を示している。
カメラの撮像面の中心を、カメラ内部のレンズ光学系の光軸が貫いており、その光軸上の、撮像面からレンズ光学系と反対の方向へ向かって、レンズ光学系の焦点距離ｆだけ離れた点（光学中心）から、撮像面の両端部を見込んだ角度が画角２Θとなる。いま、測定対象点が、撮像面の中心すなわち光軸からｎ個目の画素の位置に結像しているとすると、このｎが撮像面における測定対象点の座標を与える。一方、光学中心と測定対象点の結像位置を結んだ線と光軸とのなす角をθとすれば、このθは、カメラの方向を変えて測定対象点を撮像面の中心に移動させるのに必要な回転角度に等しい。すなわち、カメラの撮影画像上における測定対象点の座標を求めるということは、そのカメラの光学中心から見た測定対象点の方向θを求めることと等価である。

図８は、これを３次元で表した図である。光学中心から見て撮像面の左下頂点を原点として、カメラの撮像面と光軸との交点（撮像面の中心）の座標を（Xc、Yc）とし、測定対象点の結像位置の座標を（X、Y）とすれば、撮像面の中心を原点とする測定対象点の結像位置の座標（X−Xc、Y−Yc）を求めるということは、光学中心から測定対象点を見込んだ方向の、光軸からの仰角θ及び方位角φを求めることと等価である。

次に、本実施形態の動作原理について、図９、１０を用いて説明する。
本実施形態では、測定可能範囲を広げるため、仰角、方位角及び画角を変えて撮影視野を変えることのできるPTZカメラ１、２を用いている。このため、撮影視野の変化を考慮しないまま、PTZカメラ１、２の撮影画像における２次元座標のみに基づいて、測定対象点の３次元座標を求めることはできない。

そこで、本実施形態では、図９のように、PTZカメラ１、２の基準方向をそれぞれ定め、図１０に示すように、測定対象点がPTZカメラ１、２の撮影画像のほぼ中心に結像するようにPTZカメラ１、２を調整し、そのときのPTZカメラ１、２の画像上における測定対象点の座標から、測定対象点をPTZカメラ１、２の画像中心に正確に結像させるための仰角及び方位角の角度補正量を計算する。そして、この角度補正量をPTZカメラ１、２の仰角及び方位角に加算した角度を、それぞれ、そのときのPTZカメラ１、２の光軸の仰角及び方位角とし、これらの角度に基づいて、測定対象点の３次元座標を算出している。また、この３次元座標の算出に用いられる射影行列は、複数の基準測定点についての仰角及び方位角と３次元座標に基づいて、予め算出している。

以上説明したように、本実施形態によれば、測定対象を撮影するカメラとして、撮影視野の仰角、方位角、画角を遠隔操作できるPTZカメラを用いているため、固定カメラを用いる従来の３次元位置測定装置に比して、測定可能な測定対象物の大きさ、及び測定対象物までの距離の範囲を広くすることができる。
また、複数の基準測定点を用いて、各基準測定点をＰＴＺカメラの視野中心に捉えたときの当該PTZカメラの仰角駆動部及び方位角駆動部の回転角と３次元座標との対応関係から射影行列を求めているため、３次元座標の算出誤差を軽減することができる。

１、２・・・PTZカメラ、３・・・画像処理装置、４・・・入力装置、５・・・出力装置、１１、２１・・・カメラ本体、１２、２２・・・方位角駆動部、１４、２４・・・仰角駆動部、３１・・・処理部、３２・・・撮影視野設定手段、３３・・・視野情報取得手段、３４・・・３次元座標算出手段、３５・・・入出力インタフェース、３６・・・記憶部、４１、４２・・・カメラ。

Claims

互いに離れた位置に設置された複数の撮影手段により撮影した測定対象物の画像から、前記測定対象物の３次元位置を測定する３次元位置測定装置であって、
撮影視野の仰角、方位角、及び画角の設定を変更する機能を有する複数の撮影手段と、
前記複数の撮影手段の、撮影視野の設定の情報及び撮影画像情報に基づいて、前記撮影手段が撮影した測定対象点の３次元座標を算出する３次元座標算出手段と、
を有することを特徴とする３次元位置測定装置。
請求項１に記載された３次元位置測定装置において、
前記３次元座標算出手段は、前記複数の撮影手段の撮影可能範囲内に置かれた複数の基準測定点の３次元座標並びに前記複数の基準測定点のそれぞれを前記複数の撮影手段から見たときの仰角及び方位角に基づき、前記測定対象点の３次元座標の算出に用いる射影行列を算出することを特徴とする３次元位置測定装置。
請求項１又は２に記載された３次元位置測定装置において、
前記３次元座標算出手段が測定対象点の３次元座標の算出又は射影行列の算出に用いる、前記複数の撮影手段の仰角及び方位角は、それぞれ、前記複数の撮影手段の光学中心とは異なる点を中心とする回転角で与えられることを特徴とする３次元位置測定装置。
撮影視野の仰角、方位角、及び画角の設定を変更する機能を備えた複数の撮影手段を有する３次元位置測定装置により行う、３次元位置測定方法であって、
前記複数の撮影手段の撮影可能範囲内に置かれた複数の基準測定点の、３次元座標と前記複数の撮影手段のそれぞれから見た仰角及び方位角に基づき、測定対象点の３次元座標の算出に用いる射影行列を算出する工程と、
測定対象点を撮影する前記複数の撮影手段のそれぞれの仰角及び方位角に基づき、前記射影行列を用いて、前記測定対象点の３次元座標を算出する工程と、
を有することを特徴とする３次元位置測定方法。
請求項４に記載された３次元位置測定方法において、
前記射影行列を算出する工程又は測定対象点の３次元座標を算出する工程に用いられる仰角及び方位角は、前記撮影手段の光学中心とは異なる点を中心とする回転角で与えられることを特徴とする３次元位置測定方法。