JP2010078466A - Method and system for automatic marker registration - Google Patents

Method and system for automatic marker registration Download PDF

Info

Publication number
JP2010078466A
JP2010078466A JP2008247348A JP2008247348A JP2010078466A JP 2010078466 A JP2010078466 A JP 2010078466A JP 2008247348 A JP2008247348 A JP 2008247348A JP 2008247348 A JP2008247348 A JP 2008247348A JP 2010078466 A JP2010078466 A JP 2010078466A
Authority
JP
Japan
Prior art keywords
marker
video camera
dimensional
measuring
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008247348A
Other languages
Japanese (ja)
Other versions
JP5019478B2 (en
Inventor
Hirotake Ishii
裕剛 石井
Hiroshi Shimoda
宏 下田
Shoufeng Yang
首峰 楊
Weida Yan
偉達 顔
Masanori Izumi
正憲 泉
Original Assignee
Japan Atomic Energy Agency
独立行政法人 日本原子力研究開発機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Atomic Energy Agency, 独立行政法人 日本原子力研究開発機構 filed Critical Japan Atomic Energy Agency
Priority to JP2008247348A priority Critical patent/JP5019478B2/en
Publication of JP2010078466A publication Critical patent/JP2010078466A/en
Application granted granted Critical
Publication of JP5019478B2 publication Critical patent/JP5019478B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To save a time and effort required for measuring a three-dimensional position and direction of a bifocal marker and storing measurement result, and reduce measurement errors. <P>SOLUTION: A method for automatic marker registration includes the steps of: pasting the bifocal markers 1 to a reference position (origin of a world coordinate system or a point on a coordinate axis) and appropriate positions in a working environment; installing an automatic marker registration system provided with a video camera 2 and a laser distance measuring device 3 in a position capable of looking over the bifocal markers 1 pasted in the working environment; measuring the three-dimensional position and direction of all the bifocal markers 1 pasted in the working environment; and storing the three-dimensional position and direction thereof converted into those represented by the world coordinate system W. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、拡張現実感の運用等に用いるのに好適なマーカの自動登録方法及びシステムに関する。   The present invention relates to a marker automatic registration method and system suitable for use in augmented reality operations and the like.
拡張現実感(Augmented Reality)が原子力発電プラント内で使用することができるようになれば、プラントで働く作業者に対して様々な支援を行なうことが可能となる。   If Augmented Reality can be used in a nuclear power plant, it will be possible to provide various support for workers working in the plant.
拡張現実感を使用するためには、作業者の位置と方向をリアルタイム計測するトラッキング技術が必要であるが、GPS(Global Positioning System)・磁気センサ・超音波センサ・慣性センサ等の既存のトラッキング技術は、単独では、原子力発電プラント内部で使用することができない。   In order to use augmented reality, tracking technology that measures the position and direction of the worker in real time is required, but existing tracking technologies such as GPS (Global Positioning System), magnetic sensor, ultrasonic sensor, inertial sensor, etc. Alone cannot be used inside a nuclear power plant.
そこで、発明者らは、原子力発電プラント内部でも使用可能なトラッキング手法として、カメラと遠近両用マーカを用いたトラッキング手法を開発してきた。   Thus, the inventors have developed a tracking method using a camera and a far / near marker as a tracking method that can be used even inside a nuclear power plant.
カメラと遠近両用マーカを用いたトラッキング手法は、作業環境内に複数のマーカを貼り付け、それらをカメラで撮影し、画像処理と幾何計算によりカメラとマーカの間の相対的な位置関係を求める手法である。   The tracking method using both camera and perspective markers is a method of pasting multiple markers in the work environment, shooting them with the camera, and obtaining the relative positional relationship between the camera and the marker by image processing and geometric calculation. It is.
この手法は、屋内でも使用可能、金属や騒音の影響を受けない、時間経過による精度低下や安定性低下がない等の利点があるが、事前に複数のマーカを作業環境内に貼り付け、その3次元位置と方向を計測して記憶しておくことが必要である。   This method has the advantage that it can be used indoors, is not affected by metal and noise, and does not degrade accuracy or stability over time. It is necessary to measure and store the three-dimensional position and direction.
再公表W2005−017644号公報Republished W2005-017644 特開2004−28788号公報JP 2004-28788 A
前述したカメラと遠近両用マーカを用いたトラッキング手法において、貼り付けたマーカの3次元位置と方向を予め計測して記憶させる作業は、手作業で行なってきたが、作業環境が原子力発電プラントであるような場合には、マーカの貼り付け方が複雑になり、非常に手間がかかると共に計測ミスも発生する問題があった。   In the tracking method using the above-described camera and perspective marker, the work of measuring and storing the three-dimensional position and direction of the attached marker in advance has been performed manually, but the working environment is a nuclear power plant. In such a case, there is a problem that the method of attaching the marker becomes complicated, which is very time-consuming and causes measurement errors.
従って、本発明の1つの目的は、遠近両用マーカの3次元位置と方向の計測と計測結果の記憶を自動化することにより手間を省くと共に計測ミスの発生を低減しようとすることにある。   Accordingly, one object of the present invention is to save labor and reduce the occurrence of measurement errors by automating the measurement of the three-dimensional position and direction of the bifocal marker and the storage of the measurement results.
本発明の他の目的は、更に、前記マーカの位置と方向を世界座標系の形態で記憶することにある。   Another object of the present invention is to store the position and direction of the marker in the form of a world coordinate system.
本発明のマーカ自動登録方法及びシステムは、小型コンピュータで制御可能なビデオカメラ、レーザ距離計測器、電動雲台等を使用して作業環境に貼り付けられている遠近両用マーカの3次元位置と方向を自動的に計測し、計測結果を登録(記憶)する構成であり、
具体的には、
環境の基準となる位置(世界座標系の原点や座標軸上の点)及び適宜な位置にマーカを貼り付け、ビデオカメラで撮影可能かつレーザ距離計測器で距離を計測可能な範囲にある総てのマーカの世界座標系で表された3次元位置と方向を全自動で計測して記憶する方法において、
ビデオカメラの焦点距離を設定可能な最も短い値に設定する第1のステップと、
ビデオカメラの稼動範囲の総ての領域を最低1回は撮影するように等間隔でビデオカメラの撮影方向を回転させ、各撮影方向において、ビデオカメラを用いてマーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、環境に貼り付けられたマーカとの距離と存在する方向を認識して記憶する第2のステップと、
ビデオカメラの焦点距離を最も短い値の2倍の値および3倍の値に設定して前記第2のステップを繰り返す第3のステップと、
第3のステップまでに認識して記憶した個々のマーカに対してレーザ距離計測器を用いてマーカ上の1点の位置を計測するアルゴリズムを実行することにより、認識した総てのマーカの3次元位置と方向を計測して記憶する第4のステップと、
第4のステップで記憶した総てのマーカの3次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系で表された3次元位置と方向を求めて記憶する第5のステップを行うことを特徴とするマーカ自動登録方法。
The marker automatic registration method and system according to the present invention includes a three-dimensional position and direction of a bifocal marker affixed to a work environment using a video camera, a laser distance measuring instrument, an electric pan head, etc. that can be controlled by a small computer. Is a configuration that automatically measures and registers (stores) the measurement results,
In particular,
Place the marker at the reference position of the environment (the origin of the world coordinate system or a point on the coordinate axis) and an appropriate position. In the method of measuring and storing the three-dimensional position and direction expressed in the world coordinate system of the marker fully automatically,
A first step of setting the focal length of the video camera to the shortest possible value;
The shooting direction of the video camera is rotated at equal intervals so that the entire range of the operating range of the video camera is shot at least once, and there is a distance from the marker using the video camera in each shooting direction. A second step of recognizing and storing the distance to the marker pasted in the environment and the existing direction by executing an algorithm for determining the direction;
A third step of repeating the second step by setting the focal length of the video camera to a value twice and three times the shortest value;
By executing an algorithm for measuring the position of one point on the marker using a laser distance measuring device for each marker recognized and stored up to the third step, the three-dimensional of all the recognized markers A fourth step of measuring and storing the position and direction;
Applying an algorithm that converts the marker position and direction to the world coordinate system to the three-dimensional position and direction of all markers stored in the fourth step, the three-dimensional position and direction expressed in the world coordinate system The marker automatic registration method characterized by performing the 5th step which calculates | requires and memorize | stores.
また、前記マーカとして、四角形の台紙の中心に配置した1つの大円と、台紙の4隅に配置した4つの小円を備え、前記大円は、10個の同型の扇形を円環状に配置し、白色の扇形を0、黒色の扇形を1とすることにより、各マーカのID番号を表現するように構成したものを使用することを特徴とする。   In addition, the marker includes one large circle disposed at the center of a square mount and four small circles disposed at four corners of the mount, and the large circle includes ten identical fan shapes arranged in an annular shape. In addition, a configuration in which the ID number of each marker is expressed by using a white sector as 0 and a black sector as 1 is used.
また、環境の基準となる位置(世界座標系の原点や座標軸上の点)及び適宜な位置に貼り付けられたマーカのうち、ビデオカメラで撮影可能かつレーザ距離計測器で距離を計測可能な範囲にある総てのマーカの世界座標系で表された3次元位置と方向を全自動で計測して記憶するシステムにおいて、
電動雲台によって向きを変えることができるようにしたビデオカメラと、電動雲台によって向きを変えることができるようにしたレーザ距離計測器と、前記ビデオカメラとレーザ距離計測器電動雲台と接続されてこれらを制御する小型コンピュータとを備え、
前記小型コンピュータは、
前記ビデオカメラの焦点距離を設定可能な最も短い値に設定する第1のステップと、
前記ビデオカメラの稼動範囲の総ての領域を最低1回は撮影するように等間隔でビデオカメラの撮影方向を回転させ、各撮影方向において、前記ビデオカメラを用いてマーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、環境に貼り付けられたマーカとの距離と存在する方向を認識して記憶する第2のステップと、
前記ビデオカメラの焦点距離を最も短い値の2倍の値および3倍の値に設定して前記第2のステップを繰り返す第3のステップと、
第3のステップまでに認識して記憶した個々のマーカに対して前記レーザ距離計測器を用いてマーカ上の1点の位置を計測するアルゴリズムを実行することにより、認識した総てのマーカの3次元位置と方向を計測して記憶する第4のステップと、
第4のステップで記憶した総てのマーカの3次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系で表された3次元位置と方向を求めて記憶する第5のステップを行うプログラムを備えたことを特徴とする。
In addition, the position that can be photographed with a video camera and the distance can be measured with a laser distance measuring instrument among the reference position of the environment (the origin of the world coordinate system and the point on the coordinate axis) and the marker attached at an appropriate position In a system that automatically measures and stores the three-dimensional position and direction of all markers in the world coordinate system,
Connected to a video camera that can be turned by an electric head, a laser distance measuring device that can be turned by an electric head, and the video camera and the laser distance measuring device. And a small computer that controls them,
The small computer is
A first step of setting the focal length of the video camera to the shortest possible value;
The shooting direction of the video camera is rotated at equal intervals so that all areas of the operating range of the video camera are shot at least once, and in each shooting direction, the distance from the marker A second step of recognizing and storing the distance to the marker pasted in the environment and the existing direction by executing an algorithm for determining the existing direction;
A third step of repeating the second step by setting the focal length of the video camera to a value twice and three times the shortest value;
By executing an algorithm for measuring the position of one point on the marker using the laser distance measuring device for each marker recognized and stored up to the third step, 3 of all the recognized markers A fourth step of measuring and storing the dimension position and direction;
Applying an algorithm that converts the marker position and direction to the world coordinate system to the three-dimensional position and direction of all markers stored in the fourth step, the three-dimensional position and direction expressed in the world coordinate system A program for performing the fifth step for obtaining and storing the above is provided.
また、前記マーカは、四角形の台紙の中心に配置した1つの大円と、台紙の4隅に配置した4つの小円を備え、前記大円は、10個の同型の扇形を円環状に配置し、白色の扇形を0、黒色の扇形を1とすることにより、各マーカのID番号を表現するように構成したものであることを特徴とする。   In addition, the marker includes one large circle arranged at the center of a square mount and four small circles arranged at four corners of the mount, and the large circle arranges ten identical fan shapes in an annular shape. The white fan shape is 0, and the black fan shape is 1, so that the ID number of each marker is expressed.
本発明によれば、遠近両用マーカの3次元位置と方向の計測と計測結果を世界座標系の形態で記憶する処理を自動化することにより手間を省くと共に計測ミスの発生を低減することができる。   According to the present invention, it is possible to save labor and reduce the occurrence of measurement errors by automating the measurement of the three-dimensional position and direction of the near / far marker and the process of storing the measurement results in the form of a world coordinate system.
本発明は、環境の基準となる位置(世界座標系の原点や座標軸上の点)及び適宜な位置に貼り付けられたマーカのうち、ビデオカメラで撮影可能かつレーザ距離計測器で距離を計測可能な範囲にある総てのマーカの世界座標系で表された3次元位置と方向を全自動で計測して記憶するシステムにおいて、
電動雲台によって向きを変えることができるようにしたビデオカメラと、電動雲台によって向きを変えることができるようにしたレーザ距離計測器と、前記ビデオカメラとレーザ距離計測器電動雲台と接続されてこれらを制御する小型コンピュータとを備え、
前記小型コンピュータは、
前記ビデオカメラの焦点距離を設定可能な最も短い値に設定する第1のステップと、
前記ビデオカメラの稼動範囲の総ての領域を最低1回は撮影するように等間隔でビデオカメラの撮影方向を回転させ、各撮影方向において、前記ビデオカメラを用いてマーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、環境に貼り付けられたマーカとの距離と存在する方向を認識して記憶する第2のステップと、
前記ビデオカメラの焦点距離を最も短い値の2倍の値および3倍の値に設定して前記第2のステップを繰り返す第3のステップと、
第3のステップまでに認識して記憶した個々のマーカに対して前記レーザ距離計測器を用いてマーカ上の1点の位置を計測するアルゴリズムを実行することにより、認識した総てのマーカの3次元位置と方向を計測して記憶する第4のステップと、
第4のステップで記憶した総てのマーカの3次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系で表された3次元位置と方向を求めて記憶する第5のステップを行うプログラムを備え、
前記マーカは、四角形の台紙の中心に配置した1つの大円と、台紙の4隅に配置した4つの小円を備え、前記大円は、10個の同型の扇形を円環状に配置し、白色の扇形を0、黒色の扇形を1とすることにより、各マーカのID番号を表現するように構成したものとする。
The present invention is capable of photographing with a video camera and measuring a distance with a laser distance measuring instrument among the reference position of the environment (the origin of the world coordinate system or a point on the coordinate axis) and the marker attached at an appropriate position. In a system that automatically measures and stores the three-dimensional positions and directions of all markers in the global range expressed in the world coordinate system,
Connected to a video camera that can be turned by an electric head, a laser distance measuring device that can be turned by an electric head, and the video camera and the laser distance measuring device. And a small computer that controls them,
The small computer is
A first step of setting the focal length of the video camera to the shortest possible value;
The shooting direction of the video camera is rotated at equal intervals so that all areas of the operating range of the video camera are shot at least once, and in each shooting direction, the distance from the marker A second step of recognizing and storing the distance to the marker pasted in the environment and the existing direction by executing an algorithm for determining the existing direction;
A third step of repeating the second step by setting the focal length of the video camera to a value twice and three times the shortest value;
By executing an algorithm for measuring the position of one point on the marker using the laser distance measuring device for each marker recognized and stored up to the third step, 3 of all the recognized markers A fourth step of measuring and storing the dimension position and direction;
Applying an algorithm that converts the marker position and direction to the world coordinate system to the three-dimensional position and direction of all markers stored in the fourth step, the three-dimensional position and direction expressed in the world coordinate system A program for performing a fifth step of determining and storing
The marker includes one large circle arranged at the center of a square mount and four small circles arranged at the four corners of the mount, and the great circle has ten identical fan shapes arranged in an annular shape, It is assumed that the white fan shape is 0 and the black fan shape is 1, so that the ID number of each marker is expressed.
図1は、この実施例1において使用する遠近両用マーカの平面図である。この遠近両用マーカ1は、四角形の白色の台紙11の中心に配置した1つの大円12と、台紙11の4隅に配置した4つの小円13〜13によって構成し、大円12と小円13〜13の中心を特徴点(画像処理により認識可能であり、トラッキングの基準となる点)とする。 FIG. 1 is a plan view of a perspective marker used in the first embodiment. The bifocal marker 1 includes one great circle 12 which is arranged in the center of the square white sheet 11, constituted by four small circles 13 0-13 3 4 arranged in a corner of the sheet 11, the great circle 12 (a recognizable by the image processing, the point serving as a reference for tracking) small circle 13 0-13 3 points, wherein centers of the.
大円12の中には、10個の同型の扇形12a〜12jを円環状に配置し、白色の扇形を0、黒色の扇形を1とすることにより、各マーカ1のID番号を表現するようにする。   In the great circle 12, ten identical sector shapes 12 a to 12 j are arranged in an annular shape, with the white sector shape being 0 and the black sector shape being 1 so as to express the ID number of each marker 1. To.
そして、この遠近両用マーカ1は、以下のようにしてトラッキングに使用する。   The near / far marker 1 is used for tracking as follows.
1)作業環境内に複数の遠近両用マーカ1を予め貼り付けて各遠近両用マーカのID番号と作業環境内での3次元位置を計測して記憶しておく。   1) A plurality of perspective markers 1 are pasted in advance in the work environment, and the ID number of each perspective marker and the three-dimensional position in the work environment are measured and stored.
2)遠近両用マーカ1が貼り付けられた作業環境を作業者が装着したカメラで撮影する。   2) Photograph the work environment with the far / near vision marker 1 attached with a camera worn by the worker.
3)撮影して得られたカメラ画像データを処理して各遠近両用マーカ1のID番号と特徴点のカメラ撮影画像上での位置を認識する。   3) The camera image data obtained by shooting is processed to recognize the ID number of each perspective marker 1 and the position of the feature point on the camera shot image.
4)カメラ撮影画像上での特徴点の位置と、作業環境内での各遠近両用マーカ1の3次元位置情報を用いて、PnP問題(Perspective N-Point Problem)(非特許文献1参照)を解いてカメラと遠近両用マーカ1とカメラの間の相対的な位置と方向を求める。   4) A PnP problem (Perspective N-Point Problem) (see Non-Patent Document 1) is obtained by using the position of the feature point on the camera-captured image and the three-dimensional position information of each perspective marker 1 in the work environment. It solves and calculates the relative position and direction between the camera, the near / far marker 1 and the camera.
このようにして行なうトラッキングにおいて、カメラと遠近両用マーカ1の間の相対的な位置と方向を一意に求めるためには、最低4個の特徴点が同時に認識されることが必要である。遠近両用マーカでは、カメラとマーカの間の距離が長いときには複数のマーカの大円の中心の特徴点を利用し、距離が短いときには、1つの遠近両用マーカの4つの小円の中心の特徴点を利用する。   In tracking performed in this way, in order to uniquely obtain the relative position and direction between the camera and the far / far marker 1, it is necessary to recognize at least four feature points simultaneously. In the perspective marker, the feature point at the center of the great circle of a plurality of markers is used when the distance between the camera and the marker is long, and the feature point at the center of the four small circles of one perspective marker is short when the distance is short. Is used.
したがって、この手法では、作業環境内に貼り付けた遠近両用マーカの総ての特徴点の3次元位置(もしくは、マーカ上の1点の3次元位置とマーカの方向)を事前に計測して記憶しておくことが必要である。   Therefore, in this method, the three-dimensional positions of all the feature points of the dual-purpose markers pasted in the work environment (or the three-dimensional position of one point on the marker and the direction of the marker) are measured and stored in advance. It is necessary to keep it.
図2は、このような作業環境に貼り付けられた遠近両用マーカを自動的に計測して計測結果を登録するマーカ自動登録システムのハードウエア構成を示す斜視図である。   FIG. 2 is a perspective view showing a hardware configuration of an automatic marker registration system that automatically measures a distance-use marker pasted in such a work environment and registers a measurement result.
2は小型コンピュータで制御可能な電動雲台を内蔵するビデオカメラ、3はレーザ距離計測器、4はレーザ距離計測器3を載置する電動雲台、5は前記ビデオカメラ2とレーザ距離計測器3と電動雲台4と通信ケーブル6を介して接続されてこれらを制御する小型コンピュータ(携帯用パーソナルコンピュータ)、7は前記ビデオカメラ2と電動雲台4を取り付けて作業環境内に貼り付けられた遠近両用マーカを見渡せる位置に設置する三脚である。   2 is a video camera with a built-in electric pan head that can be controlled by a small computer, 3 is a laser distance measuring device, 4 is an electric pan head on which the laser distance measuring device 3 is mounted, and 5 is the video camera 2 and the laser distance measuring device. 3 and a small computer (portable personal computer) 7 connected to the electric camera platform 4 and the communication cable 6 to control them, 7 is attached to the work environment with the video camera 2 and the electric camera platform 4 attached. It is a tripod that is installed at a position where you can see the far and far distance marker.
ビデオカメラ2は、小型コンピュータ5からの制御信号により、方向,ズーム値,シャッタースピード等が制御される。そして、ビデオカメラ2の撮影画像データは、ビデオキャプチャデバイス(図示省略)を用いて小型コンピュータ5に入力する。   In the video camera 2, the direction, zoom value, shutter speed, and the like are controlled by a control signal from the small computer 5. The captured image data of the video camera 2 is input to the small computer 5 using a video capture device (not shown).
レーザ距離計測器3は、小型コンピュータ5からの制御信号により、電動雲台4が制御されることによりレーザ光照射方向を目標である遠近両用マーカ1に向け、この目標の遠近両用マーカ1に向けてレーザ光を照射し、その反射光と照射光の位相差をもとにレーザ距離計測器3と目標の遠近両用マーカ1との間の距離を計測し、計測結果を小型コンピュータ5に伝送する。   The laser distance measuring device 3 is directed to the target bifocal marker 1 by directing the laser beam irradiation direction to the target bifocal marker 1 by controlling the electric head 4 by a control signal from the small computer 5. The distance between the laser distance measuring device 3 and the target bifocal marker 1 is measured based on the phase difference between the reflected light and the irradiated light, and the measurement result is transmitted to the small computer 5. .
具体的には、例えば、次のような各機器を使用することにより実現することができる。   Specifically, for example, it can be realized by using the following devices.
ビデオカメラ2
メーカ・型:SonyEVI−D30
映像出力 :NTSC
焦点距離 :5.4mm〜64.8mm
回転範囲 :水平±100度、垂直±25度
制御端子 :RS−232C
レーザ距離計測器3
メーカ・型:Leica Geosystems DISTO Pro 4a
測定範囲 :0.3m〜40m
測定精度 :標準±1.5mm 最大±2mm
制御端子 :RS−232C
電動雲台4
メーカ・型:Directed Perception PTU−D46−70
分解能 :0.012857度
最高速度 :60度/秒
回転範囲 :水平±159度、垂直−31度+48度
制御端子 :RS−232C
ビデオキャプチャ
メーカ・型:IO・DATA機器 USB−CAP2
画像入力 :NTSC
解像度 :最大352×288
画像出力 :USB1.1・RGB24bit
取得速度 :30fps
小型コンピュータ5
メーカ・型:ASUS M5N
CPU :Pentium M1.4GHz (Pentiumは登録商標)
メモリ :DDR333 768MB
OS :Microsoft Windows XP Home Edition (Microsoft Windowsは登録商標)
このようにして構成したマーカ自動登録システムは、作業環境に貼り付けられている遠近両用マーカ1の3次元位置と方向を自動的に計測し、計測結果を記憶する構成である。
Video camera 2
Manufacturer / model: Sony EVI-D30
Video output: NTSC
Focal length: 5.4 mm to 64.8 mm
Rotation range: Horizontal ± 100 degrees, vertical ± 25 degrees Control terminal: RS-232C
Laser distance measuring instrument 3
Manufacturer & Model: Leica Geosystems DISTO Pro 4a
Measurement range: 0.3m to 40m
Measurement accuracy: Standard ± 1.5mm, Maximum ± 2mm
Control terminal: RS-232C
Electric pan head 4
Manufacturer & Model: Directed Perception PTU-D46-70
Resolution: 0.012857 degrees Maximum speed: 60 degrees / second Rotation range: Horizontal ± 159 degrees, Vertical -31 degrees +48 degrees Control terminal: RS-232C
Video Capture Manufacturer / Model: IO / DATA device USB-CAP2
Image input: NTSC
Resolution: Maximum 352 x 288
Image output: USB1.1, RGB24bit
Acquisition speed: 30 fps
Small computer 5
Manufacturer & Model: ASUS M5N
CPU: Pentium M1.4GHz (Pentium is a registered trademark)
Memory: DDR333 768MB
OS: Microsoft Windows XP Home Edition (Microsoft Windows is a registered trademark)
The marker automatic registration system configured as described above is configured to automatically measure the three-dimensional position and direction of the far and near vision marker 1 attached to the work environment and store the measurement result.
このマーカ自動登録システムを用いて遠近両用マーカを計測して記憶(登録)するための具体的な方法は、次のようになる。   A specific method for measuring and storing (registering) the near-far marker using this marker automatic registration system is as follows.
ステップS1
作業環境の基準となる位置(世界座標系の原点や座標軸上の点)及び適宜な位置に遠近両用マーカ1を貼り付ける。
Step S1
The near-far marker 1 is pasted at a position (the origin of the world coordinate system or a point on the coordinate axis) as a reference of the work environment and an appropriate position.
ステップS2
作業環境に貼り付けた遠近両用マーカ1を見渡せる位置にマーカ自動登録システムを設置する。
Step S2
An automatic marker registration system is installed at a position where the two-way marker 1 affixed to the work environment can be seen.
ステップS3
マーカ自動登録システムを用いて作業環境に貼り付けられた総ての遠近両用マーカ1の3次元位置と方向を計測する。
Step S3
Using the automatic marker registration system, the three-dimensional positions and directions of all the perspective markers 1 attached to the work environment are measured.
ステップS4
計測結果をファイルに保存し、拡張現実感を使用するシステムに転送する。
Step S4
Save the measurement results to a file and transfer it to a system that uses augmented reality.
前記ステップS3における遠近両用マーカ1の計測は、次のようにして自動的に実行する。   The measurement of the near / far marker 1 in step S3 is automatically executed as follows.
ステップS31
ビデオカメラ2を稼動範囲全体で等間隔に回転させながら撮影し、ビデオカメラ2に写った遠近両用マーカ1のID番号,大きさ,方向から、どの遠近両用マーカ1がどの位置に貼り付けられているかを画像処理により求める。ここで得られる位置情報には、比較的大きな誤差が含まれる。
Step S31
The video camera 2 is photographed while being rotated at equal intervals over the entire operating range, and which perspective marker 1 is pasted to which position from the ID number, size, and direction of the perspective marker 1 reflected on the video camera 2. Is determined by image processing. The position information obtained here includes a relatively large error.
ステップS32
前記ステップS31において求めた総ての遠近両用マーカ1に対して、より正確な3次元位置と方向を、次のようにして計測する。
Step S32
More accurate three-dimensional positions and directions are measured in the following manner for all the near-far markers 1 obtained in step S31.
ステップS321
前記ステップS31において得られた遠近両用マーカ1の位置情報をもとに、ビデオカメラ2の撮影画像の中心に目標の遠近両用マーカ1の映像が写るようにビデオカメラ2の方向とズームを調整制御する。
Step S321
Based on the position information of the near / far marker 1 obtained in step S31, the direction and zoom of the video camera 2 are adjusted and controlled so that the image of the target far / far marker 1 is captured at the center of the image captured by the video camera 2. To do.
ステップS322
前記ステップS31において得られた遠近両用マーカ1の位置情報をもとに、レーザ距離計測器3のレーザ照射方向を目標の遠近両用マーカ1の方向に向けるように電動雲台4を制御する。
Step S322
Based on the position information of the far / far marker 1 obtained in step S31, the electric pan head 4 is controlled so that the laser irradiation direction of the laser distance measuring device 3 is directed toward the target far / far marker 1.
ステップS323
レーザ照射前のビデオカメラ2の撮影画像と、レーザ照射後のビデオカメラ2の撮影画像を比較することによりレーザ照射位置(レーザ照射スポットの位置)を認識する。
Step S323
The laser irradiation position (the position of the laser irradiation spot) is recognized by comparing the captured image of the video camera 2 before laser irradiation with the captured image of the video camera 2 after laser irradiation.
ステップS324
レーザ照射位置が目標の遠近両用マーカ1の中心(大円12の中心と同じ)になるように電動雲台4を制御してレーザ距離計測器3の向きを微調整する。
Step S324
The direction of the laser distance measuring instrument 3 is finely adjusted by controlling the electric camera platform 4 so that the laser irradiation position becomes the center of the target bifocal marker 1 (the same as the center of the great circle 12).
ステップS325
目標の遠近両用マーカ1とレーザ距離計測器3の間の距離を計測する。
Step S325
The distance between the target bifocal marker 1 and the laser distance measuring device 3 is measured.
ステップS326
前記ステップS324で調整したレーザ距離計測器3の向きとステップS325で計測した距離に基づいて、目標の遠近両用マーカ1の3次元位置を求める。
Step S326
Based on the orientation of the laser distance measuring device 3 adjusted in step S324 and the distance measured in step S325, the three-dimensional position of the target bifocal marker 1 is obtained.
ステップS327
前述したステップS322〜ステップS326と同様な方法により、目標の遠近両用マーカ1の4隅の小円近傍の3次元位置を求める。
Step S327
The three-dimensional positions near the small circles at the four corners of the target bifocal marker 1 are obtained by the same method as in steps S322 to S326 described above.
ステップS33
作業環境の基準となる位置に貼り付けた遠近両用マーカ1の3次元位置の情報を用いて、世界座標系を基準とした各遠近両用マーカ1の3次元位置と方向を計算により求める。
Step S33
Using the information of the three-dimensional position of the perspective marker 1 pasted at a position serving as a reference of the work environment, the three-dimensional position and direction of each perspective marker 1 with reference to the world coordinate system are obtained by calculation.
以上のように、このマーカ自動登録システムは、遠近両用マーカ1を貼り付けた作業環境に設置された後は、全自動で各遠近両用マーカ1の3次元位置と方向を計測するために、計測中に作業員がシステムを操作する必要がなく、多数の遠近両用マーカ1の3次元位置と方向を計測するのに要する労力を大幅に低減することができる。   As described above, this marker automatic registration system is used to measure the three-dimensional position and direction of each perspective marker 1 in a fully automatic manner after being installed in the work environment where the perspective marker 1 is pasted. There is no need for the operator to operate the system, and the labor required to measure the three-dimensional positions and directions of the multiple perspective markers 1 can be greatly reduced.
また、各遠近両用マーカ1の計測結果は、最終的には、世界座標系を基準とした値に変換されるために、マーカ自動登録システムを作業環境の何処に置いて使用しても、計測誤差を除いて、常に同じ結果を得ることができる。   In addition, since the measurement result of each bifocal marker 1 is finally converted into a value based on the world coordinate system, the measurement is performed regardless of where the marker automatic registration system is used in the work environment. Except for errors, the same result can always be obtained.
一方、前記方法では、このマーカ自動登録システムから見えない位置に貼り付けられている遠近両用マーカ1は計測することができないため、入り組んだ環境に貼り付けられた遠近両用マーカ1の総てを一度に計測することはできない。このような場合には、最低4個の遠近両用マーカ1を重複して計測することができることを条件にして、マーカ自動登録システムの設置位置を複数回移動させて遠近両用マーカ1を計測し、重複して計測した遠近両用マーカの位置情報を用いて、それらの計測結果を統合することが可能である。   On the other hand, in the above-described method, since the near-far marker 1 pasted at a position invisible from the marker automatic registration system cannot be measured, all the far-far markers 1 stuck in the complicated environment are once measured. Cannot be measured. In such a case, on the condition that at least four dual-use markers 1 can be measured redundantly, the installation position of the automatic marker registration system is moved a plurality of times to measure the near-far marker 1, It is possible to integrate the measurement results by using the position information of the bifocal markers measured in duplicate.
ここで、前述した遠近両用マーカの自動計測を実現するアルゴリズムを説明する。このアルゴリズムは、小型コンピュータ5に組み込んだ制御及び情報処理プログラムを実行することにより実現する。   Here, an algorithm for realizing the above-described automatic measurement of the bifocal marker will be described. This algorithm is realized by executing a control and information processing program incorporated in the small computer 5.
図3は、このマーカ自動登録システムで取り扱う座標系を示している。座標系は、総て右手系とする。   FIG. 3 shows a coordinate system handled by the marker automatic registration system. The coordinate system is all right-handed.
世界座標系Wは、拡張現実感を利用する作業環境内に固定され、1番の遠近両用マーカの中心を原点、この1番の遠近両用マーカの中心から2番の遠近両用マーカの中心へ向う方向をX軸とし、1番、2番、3番の遠近両用マーカの中心を含む平面をXY平面とする。   The world coordinate system W is fixed in a working environment that uses augmented reality, and the center of the first perspective marker is the origin, and from the center of the first perspective marker to the center of the second perspective marker. The direction is the X axis, and the plane including the centers of the first, second, and third bifocal markers is the XY plane.
レーザ雲台座標系Aは、レーザ距離計測器3を搭載する電動雲台4のチルト(上下)方向の回転軸と、パン(左右)方向の回転軸の交点を原点とし、電動雲台4が初期化されたときの上下方向をZ軸、正面方向をX軸の負の方向とする。レーザ距離計測器座標系Lは、レーザ雲台座標系Aの原点を通る電動雲台4の回転台面に垂直な直線と回転台面の交点を原点とし、電動雲台4が初期化されたときの上下方向をZ軸、正面方向をX軸の負の方向とする。   The laser head coordinate system A has an origin at the intersection of the rotation axis in the tilt (up and down) direction and the rotation axis in the pan (left and right) direction of the electric camera platform 4 on which the laser distance measuring device 3 is mounted. The vertical direction when initialized is the Z axis, and the front direction is the negative direction of the X axis. The laser distance measuring device coordinate system L has an origin at the intersection of a straight line perpendicular to the rotary platform surface of the electric camera platform 4 passing through the origin of the laser camera platform coordinate system A and the rotary platform surface, and when the electric camera platform 4 is initialized. The vertical direction is the Z axis, and the front direction is the negative direction of the X axis.
撮影画像(スクリーン)座標系Sは、ビデオカメラ2のCCD素子平面上に設定され、ビデオカメラ2の撮影方向を見て左上隅を原点、右向きをX軸、下向きをY軸とする。   The photographed image (screen) coordinate system S is set on the CCD element plane of the video camera 2, and when viewing the photographing direction of the video camera 2, the upper left corner is the origin, the right is the X axis, and the downward is the Y axis.
カメラ雲台座標系Bは、ビデオカメラ2に内蔵の電動雲台のチルト方向の回転軸と、パン方向の回転軸の交点を原点とし、電動雲台が初期化されたときの上方向をZ軸、正面方向をX軸の負の方向とする。   The camera head coordinate system B uses the intersection of the tilt direction rotation axis and the pan direction rotation axis of the electric camera platform built in the video camera 2 as the origin, and the upward direction when the electric camera platform is initialized is Z. The axis and the front direction are the negative directions of the X axis.
カメラ座標系Cは、ビデオカメラ2の焦点を原点、画像平面の中央を通り、該画像平面に垂直な方向をX軸負の方向、撮影画像座標系SのX軸に平行な方向をY軸とする。   The camera coordinate system C has the focal point of the video camera 2 as the origin, passes through the center of the image plane, the direction perpendicular to the image plane is the negative direction of the X axis, and the direction parallel to the X axis of the captured image coordinate system S is the Y axis. And
ID番号がiの遠近両用マーカ1のマーカi座標系Miは、遠近両用マーカ1の種類の数だけ設定され、遠近両用マーカ1の中心を原点、マーカ面の法線方向をZ軸とし、遠近両用マーカ1の番号を表す扇形12a(〜12j)の最上位ビットと最下位ビットの境界をX軸とする。   The marker i coordinate system Mi of the bifocal marker 1 whose ID number is i is set by the number of types of the bifocal marker 1, the center of the bifocal marker 1 is the origin, and the normal direction of the marker surface is the Z axis. The boundary between the most significant bit and the least significant bit of the sector 12a (to 12j) representing the number of the dual marker 1 is taken as the X axis.
この説明では、スカラー変数を小文字で表し、ベクトルや行列を大文字で表す。また、各変数の基準座標系(観測座標系)を12のように左上添え字で表す。 In this description, scalar variables are represented in lowercase letters, and vectors and matrices are represented in uppercase letters. Further, the reference coordinate system (observation coordinate system) of each variable is represented by an upper left subscript such as W R 12 .
この実施例では、カメラ雲台座標系Bとカメラ座標系Cの原点は同じであると近似し、レーザ雲台座標系Aとカメラ雲台座標系Bは、各軸が平行になるように予め固定されているものとする。また、レーザ距離計測器3をチルト方向に回転させる際、レーザ距離計測器座標系Lの原点は、回転軸から距離dAL離れた円周上を回転するものとする。 In this embodiment, it is approximated that the origins of the camera pan coordinate system B and the camera coordinate system C are the same, and the laser pan head coordinate system A and the camera pan coordinate system B are preliminarily set so that the respective axes are parallel to each other. It shall be fixed. Further, when the laser distance measuring instrument 3 is rotated in the tilt direction, the origin of the laser distance measuring instrument coordinate system L is assumed to rotate on a circumference that is a distance d AL away from the rotation axis.
マーカ認識アルゴリズムについて説明する。このアルゴリズムは、ビデオカメラ2に写った遠近両用マーカ1のID番号、大円12の特徴点の位置(x,y)、小円13〜13の特徴点の位置(xsi,ysi)(i=0,1,2,3)、大円12の大きさrimage(楕円の長軸半径)を認識するアルゴリズムである。このアルゴリズムは、遠近両用マーカ1を用いてトラッキングするときに用いるアルゴリズムと同じである。 A marker recognition algorithm will be described. The algorithm ID number multifocal marker 1 captured in the video camera 2, the position of the feature point of the great circles 12 (x l, y l) , the position of the small circle 13 0-13 3 feature points (x si, y si ) (i = 0, 1, 2, 3), an algorithm for recognizing the size r image of the great circle 12 (major axis radius of the ellipse). This algorithm is the same as the algorithm used when tracking using the near / far marker 1.
ビデオカメラ2から取得したカラー撮影画像データをグレー画像データに変換し、各画素の輝度値を対数変換することにより、高輝度領域と低輝度領域の輝度の変化を強調する。   Color photographed image data acquired from the video camera 2 is converted into gray image data, and the luminance value of each pixel is logarithmically converted to emphasize the change in luminance between the high luminance region and the low luminance region.
その後、3×3のSobelフィルタを適用し、予め定めた閾値で2値化することにより、画像のエッジ(輝度の変化の大きい部分)を認識する。   After that, by applying a 3 × 3 Sobel filter and binarizing with a predetermined threshold value, an edge of the image (a portion with a large change in luminance) is recognized.
その後、エッジとして認識された画素間の連結性(隣り合っているかどうか)を調べ、連結していると認識された個々のエッジ群が、楕円にフィッティングできるかどうかを判定する。楕円にフィッティングできると判定されたエッジ群の中の領域を解析し、その領域が遠近両用マーカ1であるかどうかを判定する。遠近両用マーカ1である場合は、このマーカのID番号と大円の長軸を認識すると共に大円と小円の中心を特徴点として認識する。   Thereafter, the connectivity between pixels recognized as edges (whether they are adjacent to each other) is examined, and it is determined whether or not each edge group recognized as connected can be fitted to an ellipse. The region in the edge group determined to be able to fit to the ellipse is analyzed, and it is determined whether or not the region is the bifocal marker 1. In the case of the perspective marker 1, the ID number of the marker and the major axis of the great circle are recognized, and the centers of the great circle and the small circle are recognized as feature points.
次に、ビデオカメラを用いて遠近両用マーカとの間の距離と存在する方向を求めるアルゴリズムを説明する。このアルゴリズムは、遠近両用マーカ1の大円12の半径rreal、カメラ撮影画像上のマーカの中心座標(x,y)、カメラ撮影画像上の大円の長軸半径rimage、ビデオカメラ2の内部パラメータ(焦点距離f、CCD素子の幅wCCD、画像の解像度wreso、hreso)から、ビデオカメラ2に写った遠近両用マーカ1とビデオカメラ2の間の距離dCMと、カメラ雲台座標系Bで表された遠近両用マーカ1のパン方向θとチルト方向φを求めるアルゴリズムである。 Next, an algorithm for obtaining the distance between the distance marker and the existing direction using a video camera will be described. This algorithm, perspective radius r real of dual great circle 12 of the marker 1, the center coordinates of the marker on the camera captured image (x l, y l), the great circle of the major axis radius r image on the camera captured image, a video camera The distance d CM between the near-far marker 1 and the video camera 2 reflected in the video camera 2 from the internal parameters 2 (focal length f, CCD element width w CCD , image resolution w reso , h reso ), and camera This is an algorithm for obtaining the pan direction B θ M and the tilt direction B φ M of the bifocal marker 1 represented in the pan head coordinate system B.
ビデオカメラ2のCCD素子の幅と解像度は、ビデオカメラ2とビデオキャプチャデバイスの仕様書から得ることができ、遠近両用マーカ1の大円12の半径は、事前に遠近両用マーカ1を調べておくことにより得ることができる。   The width and resolution of the CCD element of the video camera 2 can be obtained from the specifications of the video camera 2 and the video capture device, and the radius of the great circle 12 of the bifocal marker 1 is determined by checking the bifocal marker 1 in advance. Can be obtained.
ステップS41
マーカ認識アルゴリズムを用いてカメラ撮影画像上の遠近両用マーカの中心座標(x,y)と大円の長軸半径rimageを求める。
Step S41
Using the marker recognition algorithm, the center coordinates (x l , y l ) and the major axis radius r image of the great circle are obtained.
ステップS42
ビデオカメラ2と通信して前記カメラ撮影画像を撮影したときの該ビデオカメラ2のパン方向θ、チルト方向φ、焦点距離fを得る。
Step S42
The pan direction B θ C , the tilt direction B φ C , and the focal length f of the video camera 2 when the camera-captured image is captured by communicating with the video camera 2 are obtained.
ステップS43
ビデオカメラ2と遠近両用マーカ1の間の距離dCMを式(数1)により求める。
Step S43
The distance d CM between the video camera 2 and the near / far marker 1 is obtained by the equation (Equation 1).
ただし、dは、カメラ撮影画像上における撮影画像の中心と遠近両用マーカ1の中心の間の距離である。 Here, d is the distance between the center of the captured image on the camera captured image and the center of the bifocal marker 1.
ステップS44
カメラ雲台座標系Bで表された遠近両用マーカ1のパン方向θ、チルト方向φを式(数2)、(数3)により求める。
Step S44
The pan direction B θ M and the tilt direction B φ M of the bifocal marker 1 represented by the camera platform coordinate system B are obtained by the equations (Equation 2) and (Equation 3).
ただし、v=2arctan(wCCD/2f)は、ビデオカメラ2の水平方向の画角である。 However, v h = 2 arctan (w CCD / 2f) is the horizontal angle of view of the video camera 2.
次に、レーザ距離計測器3を用いて遠近両用マーカ1上の1点の位置を計測するアルゴリズムを説明する。このアルゴリズムは、レーザ距離計測器3を搭載する電動雲台4のパン方向Aθ、チルト方向Aφと、レーザ距離計測器3と遠近両用マーカ1上の1点の間の距離dから遠近両用マーカ1上の1点の高精度な3次元位置APを求めるアルゴリズムである。 Next, an algorithm for measuring the position of one point on the bifocal marker 1 using the laser distance measuring device 3 will be described. In this algorithm, the pan / tilt direction Aθ L and the tilt direction Aφ L of the electric camera platform 4 on which the laser distance measuring device 3 is mounted, and the distance d between the laser distance measuring device 3 and one point on the bifocal marker 1 are used for both perspective. This is an algorithm for obtaining a highly accurate three-dimensional position A TAP of one point on the marker 1.
ステップS51
後述する自動化方法により、レーザの照射位置を計測対象となる遠近両用マーカ1上の1点に合わせる。
Step S51
The laser irradiation position is adjusted to one point on the bifocal marker 1 to be measured by an automated method described later.
ステップS52
レーザ距離計測器3を制御して該レーザ距離計測器1と計測対象の点の間の距離dlpを得る。
Step S52
The laser distance measuring device 3 is controlled to obtain a distance d lp between the laser distance measuring device 1 and the point to be measured.
ステップS53
レーザ距離計測器1を搭載する電動雲台4から、前記距離を得たときのパン方向θとチルト方向φを得る。
Step S53
The pan direction A θ L and the tilt direction A φ L when the distance is obtained are obtained from the electric pan head 4 on which the laser distance measuring device 1 is mounted.
ステップS54
計測対象となる遠近両用マーカ1上の1点のレーザ雲台座標系Aで表した3次元位置APを式(数4)により求める。
Step S54
The three-dimensional position A T AP expressed in laser camera platform coordinate system A point on the multifocal marker 1 to be measured is obtained by equation (Equation 4).
ただし、=(−dlp,0,dAL)Tとし、Rθ)およびRφ)は、それぞれ、Z軸を中心にθ、Y軸を中心にφ回転させる回転行列である。 However, L D P = (− d lp , 0, d AL ) T, and R z ( A θ L ) and R y ( A φ L ) are A θ L and Y axis centered on the Z axis, respectively. This is a rotation matrix that rotates A φ L around the center.
次に、1つの遠近両用マーカの位置と方向を自動的に計測するアルゴリズムについて説明する。このアルゴリズムは、ビデオカメラ2に遠近両用マーカ1が写っている状態から、その遠近両用マーカ1の中心の正確な3次元位置AMと方向AMを自動的に計測するアルゴリズムである。 Next, an algorithm for automatically measuring the position and direction of one perspective marker will be described. This algorithm is an algorithm for automatically measuring the accurate three-dimensional position A T AM and direction A R AM of the center of the perspective marker 1 from the state in which the perspective marker 1 is reflected in the video camera 2.
ステップS601
ビデオカメラを用いて遠近両用マーカとの間の距離と存在する方向を求めるアルゴリズムを用いて、カメラ雲台座標系Bで表された遠近両用マーカ1のパン方向θ、チルト方向φを求める。
Step S601
A panning direction B θ M and a tilt direction B φ M of the bifocal marker 1 represented in the camera pan coordinate system B are obtained by using an algorithm for obtaining the distance between the bifocal marker and the existing direction using a video camera. Ask for.
ステップS602
前記ステップS601で求めた情報に基づいて、遠近両用マーカ1がビデオカメラ2の撮影画像の中心に写るようにビデオカメラ2の撮影方向を調整する。
Step S602
Based on the information obtained in step S601, the shooting direction of the video camera 2 is adjusted so that the near-far marker 1 appears in the center of the image shot by the video camera 2.
ステップS603
遠近両用マーカ1の大円12のカメラ撮影画像上での長軸半径rimageが、ビデオカメラ2の縦方向の解像度の30%になるように、ビデオカメラ2の焦点距離を調整する。その際、焦点距離を調整する前の長軸半径rimageが、ビデオカメラ2の縦方向の解像度の20%よりも小さい場合には、一旦、長軸半径rimageがビデオカメラ2の解像度の20%になるように焦点距離を調整した後にステップS601とステップS602を繰り返して、遠近両用マーカ1の中心が再度ビデオカメラ2の撮影画像の中心に来るようにビデオカメラ2の撮影方向を調整し、その後、長軸半径rimageがビデオカメラ2の縦方向の解像度の30%となるように焦点距離を調整する。長軸半径rimageがビデオカメラ2の縦方向の解像度のa%になる焦点距離fa%は、式(数5)により求める。
Step S603
The focal length of the video camera 2 is adjusted so that the major axis radius r image of the great circle 12 on the camera image of the far and near marker 1 is 30% of the vertical resolution of the video camera 2. At this time, if the long axis radius r image before adjusting the focal length is smaller than 20% of the vertical resolution of the video camera 2, the long axis radius r image is once the resolution of the video camera 2. After adjusting the focal length so that it becomes%, the steps S601 and S602 are repeated, and the shooting direction of the video camera 2 is adjusted so that the center of the bifocal marker 1 is again at the center of the image shot by the video camera 2, Thereafter, the focal length is adjusted so that the major axis radius r image is 30% of the vertical resolution of the video camera 2. The focal length fa% at which the major axis radius r image is a% of the resolution in the vertical direction of the video camera 2 is obtained by the equation (Equation 5).
ただし、fは、ステップS601において遠近両用マーカ1を認識したときのビデオカメラ2の焦点距離、rは、そのときの遠近両用マーカ1の大円12のカメラ撮影画像上における長軸半径とする。 However, f is the focal length of the video camera 2 when the near / far marker 1 is recognized in step S601, and r is the major axis radius on the camera image of the great circle 12 of the far / far marker 1 at that time.
ステップS604
ステップS601とステップS602を繰り返し、遠近両用マーカ1の中心がカメラ撮影画像の中心に来るように再度ビデオカメラ2の撮影方向を調整する。
Step S604
Steps S601 and S602 are repeated, and the shooting direction of the video camera 2 is adjusted again so that the center of the bifocal marker 1 comes to the center of the camera shot image.
ステップS605
ステップS601を実行し、カメラ雲台座標系Bで表された遠近両用マーカ1の中心へのパン方向θ、チルト方向φ、遠近両用マーカ1とビデオカメラ2の間の距離dCMを求める。このとき、カメラ撮影画像上での遠近両用マーカ1の中心座標(x,y)、4つの小円13の中心座標(xsi,ysi)(i=0,1,2,3)、大円12の短軸半径dを記憶しておく。
Step S605
Step S601 is executed, the pan direction B θ M to the center of the perspective marker 1 represented in the camera pan coordinate system B, the tilt direction B φ M , and the distance d CM between the perspective marker 1 and the video camera 2 Ask for. At this time, the center coordinates (x 1 , y 1 ) of the bifocal marker 1 on the camera photographed image and the center coordinates (x si , y si ) of the four small circles 13 (i = 0, 1, 2, 3) The minor axis radius d of the great circle 12 is stored.
ステップS606
遠近両用マーカ1の中心の3次元位置ベクトルAMを式(数6)により求める。
Step S606
A three-dimensional position vector A T AM at the center of the bifocal marker 1 is obtained by Expression (6).
ただし、=(−dCM,0,0)とし、AMは、レーザ雲台座標系Aからカメラ雲台座標系Bへ向かうベクトルであり、事前に計測しておくことが可能である。 However, C D M = (− d CM , 0,0) T, and A T AM is a vector from the laser camera platform coordinate system A to the camera camera platform coordinate system B, and can be measured in advance. Is possible.
ステップS607
ステップS606で求めた遠近両用マーカ1の中心の3次元位置ベクトルAM=()から、式(数7)および(数8)を用いて、レーザ雲台座標系Aで表された遠近両用マーカ1の中心のパン方向θとチルト方向φを求め、レーザ距離計測器3の向きを遠近両用マーカ1の中心の方向に向ける。
Step S607
From the three-dimensional position vector A T AM = ( A x M , A y M , A z M ) of the center of the bifocal marker 1 obtained in step S606, using the equations (Equation 7) and (Equation 8), the laser The pan direction A θ M and the tilt direction A φ M of the center of the bifocal marker 1 represented by the pan-tilt coordinate system A are obtained, and the direction of the laser distance measuring device 3 is directed toward the center of the bifocal marker 1.
ステップS608
ビデオカメラ2のシャッタースピードを短くすることによってカメラ撮影画像の全体的な明るさを下げる。これは、後の処理において、レーザの照射位置の認識を容易にするためである。
Step S608
By reducing the shutter speed of the video camera 2, the overall brightness of the camera-captured image is lowered. This is for facilitating recognition of the laser irradiation position in subsequent processing.
ステップS609
リーザ距離計測器3によるレーザ照射を止める。
Step S609
Laser irradiation by the laser distance measuring device 3 is stopped.
ステップS610
カメラ撮影画像データをIoffとして保存する。
Step S610
Save the camera image data as I off .
ステップS611
レーザ距離計測器3によるレーザ照射を再開する。
Step S611
The laser irradiation by the laser distance measuring device 3 is resumed.
ステップS612
レーザ照射再開後のカメラ撮影画像データをIonとして保存する。
Step S612
The camera captured image data after the laser irradiation resume to save as I on.
ステップS613
カメラ撮影画像データIoffとIonの差分を取り、予め定めた閾値よりも差が大きい画素の面積Sdiffを求める。
Step S613
The difference between the camera-captured image data I off and I on is taken, and the area S diff of the pixels having a difference larger than a predetermined threshold is obtained.
ステップS614
面積Sdiffが予め定めた閾値(レーザ照射スポットの面積)よりも小さい場合はビデオカメラ2にレーザの照射スポットが写っていないと判断してステップS615へ進み、大きい場合はステップS616へ進む。
Step S614
If the area S diff is smaller than a predetermined threshold (the area of the laser irradiation spot), it is determined that the laser irradiation spot is not captured in the video camera 2 and the process proceeds to step S615. If larger, the process proceeds to step S616.
ステップS615
レーザ照射方向をステップS607で求めた遠近両用マーカ1の3次元位置方向を中心にして螺旋状に等間隔で回転させながら、ステップS609〜ステップS614を繰り返す。ただし、この繰り返し回数が規定の回数を超えた場合は、自動計測が失敗したと判断する。
Step S615
Steps S609 to S614 are repeated while rotating the laser irradiation direction at a regular interval in a spiral manner around the three-dimensional position direction of the near-far marker 1 obtained in step S607. However, if the number of repetitions exceeds the specified number, it is determined that automatic measurement has failed.
ステップS616
ステップS613の差分計算で得た画素の重心座標G=(x,y)を求める。
Step S616
The barycentric coordinate G = (x G , y G ) of the pixel obtained by the difference calculation in step S613 is obtained.
ステップS617
重心座標GとステップS605で認識した遠近両用マーカ1の中心座標(x,y)の差のベクトルを計算し、その長さがステップS605で認識した遠近両用マーカ1の大円12の短軸半径bの1.5倍よりも小さい場合はステップS618へ進み、大きい場合はステップS615へ戻る。
Step S617
A vector of the difference between the center-of-gravity coordinates G and the center coordinates (x 1 , y 1 ) of the bifocal marker 1 recognized in step S605 is calculated, and the length is short of the great circle 12 of the bifocal marker 1 recognized in step S605. When it is smaller than 1.5 times the shaft radius b, the process proceeds to step S618, and when it is larger, the process returns to step S615.
ステップS618
ステップS617で求めたベクトルが予め定めた閾値よりも小さい場合は、レーザが遠近両用マーカ1の中心に照射されていると判断してステップS620へ進み、大きい場合はステップS619に進む。
Step S618
If the vector obtained in step S617 is smaller than a predetermined threshold value, it is determined that the laser is emitted to the center of the bifocal marker 1, and the process proceeds to step S620. If larger, the process proceeds to step S619.
ステップS619
ステップS617で求めたベクトルを用いて、レーザの照射位置を遠近両用マーカ1の中心に近づけた後、ステップS609へ戻る。レーザ距離計測器3を向けるべき方向は、式(数9)および(数10)により求める。
Step S619
Using the vector obtained in step S617, the laser irradiation position is brought close to the center of the bifocal marker 1, and then the process returns to step S609. The direction in which the laser distance measuring device 3 should be directed is determined by the equations (Equation 9) and (Equation 10).
ただし、vは、ステップS612の時点でのビデオカメラ2の水平方向の画角、θ’φ’は、ステップS611の時点でのレーザ距離計測器3の向きである。 However, v h is the angle of view in the horizontal direction of the video camera 2 at the time of step S612, and A θ ′ M and A φ ′ M are the directions of the laser distance measuring device 3 at the time of step S611.
ステップS620
レーザ距離計測器を用いて遠近両用マーカ上の1点の位置を計測するアルゴリズムを用いて遠近両用マーカ1の中心の正確な3次元位置AMを求める。
Step S620
Obtain an accurate three-dimensional position A T AM in the center of the bifocal marker 1 using an algorithm using a laser distance measuring device for measuring the position of a point on the bifocal marker.
ステップS621
遠近両用マーカ1の大円12と小円13の間の領域(台紙の白色の領域)の中間点の座標(xlsi,ylsi)(i=0,1,2,3)を式(数11)および(数12)により求める。
Step S621
The coordinates (x lsi , y lsi ) (i = 0, 1, 2, 3) of the area between the great circle 12 and the small circle 13 (white area of the mount) of the bifocal marker 1 are expressed as 11) and (Equation 12).
ただし、rsrealは小円13の半径、dは小円13の中心と遠近両用マーカ1の中心の間の距離である。 Here, r real is the radius of the small circle 13, and d is the distance between the center of the small circle 13 and the center of the bifocal marker 1.
ステップS622
ステップS609〜ステップS620と同様の処理をステップS621で求めた4点に対して行い、これらの正確な3次元位置AMi(i=0,1,2,3)を計測する。
Step S622
It performs the same processing as step S609~ Step S620 with respect to four points obtained in step S621, measuring these precise three-dimensional position A T AMi (i = 0,1,2,3) .
ステップS623
遠近両用マーカ1のX軸、Y軸、Z軸方向のベクトルを式(数13)〜(数15)により求める。
Step S623
Vectors A X M , A Y M , and A Z M in the X-axis, Y-axis, and Z-axis directions of the near-far marker 1 are obtained by equations (13) to (15).
ただし、i=0となる小円13がマーカ座標系上でx>0,y>0の位置にあり、遠近両用マーカ1を正面からみて時計回りに小円の番号が付けられているものとする。 However, i = 0 and becomes small circles 13 0 x on the marker coordinate system> 0, y> in the position of 0, which a bifocal marker 1 as viewed from the front of the number of small circle clockwise is attached And
ステップS624
の単位ベクトルMuMuMuから式(数16)により遠近両用マーカ1の方向AMを求める。
Step S624
From the unit vectors A X Mu , A Y Mu , and A Z Mu of A X M , A Y M , and A Z M , the direction A R AM of the near-far marker 1 is obtained from the equation (Equation 16).
この1つの遠近両用マーカの位置と方向を自動的に計測するアルゴリズムにおける前記ステップS617において、レーザの照射位置と遠近両用マーカ1の中心位置の距離がカメラ撮影画像上での遠近両用マーカ1の大円12の短軸半径の1.5倍よりも小さいときにのみステップS618を実行するようにしたのは、原子力発電プラント内部のような複雑な環境では、レーザが遠近両用マーカ1の背面を通過する場合があり、カメラ撮影画像上に写し出されたレーザと遠近両用マーカ1の位置関係だけでは、レーザの照射方向をどの方向に変更するべきかが判断できないためである。一方、レーザの照射位置と遠近両用マーカ1の中心位置の間の距離が遠近両用マーカ1の大円12のカメラ撮影画像上での短軸半径の1.5倍よりも小さい場合は、レーザは既に遠近両用マーカ1上に照射していると判断することができ、遠近両用マーカ1は必ず平面であるため、ステップS619により、必ずレーザの照射位置を遠近両用マーカ1の中心に近い方に調整することができる。ここで、短軸半径の1.5倍としたのは、遠近両用マーカ1の周辺には空白の領域があり、その領域も平面であるからである。   In step S617 in the algorithm for automatically measuring the position and direction of this one far / far marker, the distance between the laser irradiation position and the center position of the far / far marker 1 is larger than the far / far marker 1 on the camera image. The reason that step S618 is executed only when the minor axis radius of the circle 12 is smaller than 1.5 times is that, in a complicated environment such as the inside of a nuclear power plant, the laser passes through the back of the bifocal marker 1. This is because it is impossible to determine in which direction the laser irradiation direction should be changed based only on the positional relationship between the laser imaged on the camera-captured image and the bifocal marker 1. On the other hand, when the distance between the laser irradiation position and the center position of the perspective marker 1 is smaller than 1.5 times the short axis radius of the great circle 12 of the perspective marker 1 on the camera image, the laser is Since it can be determined that the far / far marker 1 has already been irradiated and the far / far marker 1 is always flat, the laser irradiation position is always adjusted closer to the center of the far / far marker 1 in step S619. can do. Here, the reason why the radius is 1.5 times the short axis radius is that there is a blank area around the bifocal marker 1 and that area is also a plane.
また、ステップS621以降において、小円13の中心位置を計測するのではなく、小円13と大円12の間の白色の領域を計測するのは、小円13の中心のように黒色の中心は、レーザの反射が弱く、遠近両用マーカ1を斜めから計測した場合に、レーザ距離計測器3では距離を計測することができない場合があるためである。   In step S621 and subsequent steps, instead of measuring the center position of the small circle 13, the white area between the small circle 13 and the great circle 12 is measured by the black center like the center of the small circle 13. This is because the laser reflection is weak, and the laser distance measuring device 3 may not be able to measure the distance when the distance measuring marker 1 is measured obliquely.
なお、このアルゴリズムを実行する際には、電動雲台を駆動制御した後は、次の処理に移る前に0.5秒〜1秒程度の猶予(動作休止)期間を設けることが必要である(この猶予期間は、電動雲台の動作の大きさに依存する。)。これは、電動雲台を駆動制御すると、システム全体が振動するためで、ビデオカメラ2で取得するカメラ撮影画像データやレーザの照射先(レーザ照射スポット)が静止するのを待つ必要があるためである。   When this algorithm is executed, it is necessary to provide a grace period (operation pause) of about 0.5 seconds to 1 second after the drive control of the electric pan head before moving to the next process. (This grace period depends on the movement of the electric head.) This is because when the electric pan head is driven and controlled, the entire system vibrates, and it is necessary to wait for the camera image data acquired by the video camera 2 and the laser irradiation destination (laser irradiation spot) to stop. is there.
次に、マーカの位置と方向を世界座標系に変換するアルゴリズムについて説明する。   Next, an algorithm for converting the marker position and direction to the world coordinate system will be described.
このアルゴリズムは、前述した1つの遠近両用マーカ1の位置と方向を自動的に計測するアルゴリズムにより得られたレーザ雲台座標系Aで表された遠近両用マーカ1の3次元位置と方向を、世界座標系Wで表された3次元位置と方向に変換するアルゴリズムである。このアルゴリズムを実行するにあたっては、計測対象となる遠近両用マーカ1に加え、1番と2番の遠近両用マーカが世界座標系Wの原点とX軸上の点にそれぞれ貼り付けられており、3番の遠近両用マーカがXY平面上に貼り付けられているものとする。   In this algorithm, the three-dimensional position and direction of the perspective marker 1 represented by the laser head coordinate system A obtained by the algorithm for automatically measuring the position and direction of the one perspective marker 1 described above This is an algorithm for converting to a three-dimensional position and direction represented by a coordinate system W. In executing this algorithm, in addition to the perspective marker 1 to be measured, the first and second perspective markers are pasted to the origin of the world coordinate system W and the point on the X axis, respectively. It is assumed that the number bifocal marker is pasted on the XY plane.
ステップS701
前述した1つの遠近両用マーカの位置と方向を自動的に計測するアルゴリズムを用いて、変換対象の遠近両用マーカ1の3次元位置AMiと方向AMiおよび1番から3番の遠近両用マーカの3次元位置AMj(j=1,2,3)を求める。
Step S701
Using the aforementioned algorithm for automatically measuring the position and direction of one perspective marker, the three-dimensional position A T AMi and direction A R AMi of the conversion target perspective marker 1 and the first to third perspectives are used. The three-dimensional position A T AMj (j = 1, 2, 3) of the marker is obtained.
ステップS702
レーザ雲台座標系Aで表された世界座標系WのX,Y,Z軸方向の単位ベクトルWuWuWuを式(数17)〜(数19)を用いて求める。
Step S702
The unit vectors A X Wu , A Y Wu , and A Z Wu in the X, Y, and Z axis directions of the world coordinate system W represented by the laser head coordinate system A are expressed using the equations (17) to (19). Ask.
ステップS703
世界座標系Wからレーザ雲台座標系Aへの回転行列WAを式(数20)により求める。
Step S703
A rotation matrix W R WA from the world coordinate system W to the laser head coordinate system A is obtained by the equation (Equation 20).
ステップS704
世界座標系Wからレーザ雲台座標系Aへの平行移動ベクトルWAを式(数21)により求める。
Step S704
A parallel movement vector W T WA from the world coordinate system W to the laser head coordinate system A is obtained by Expression (21).
ステップS705
レーザ雲台座標系Aから世界座標系Wへの同次変換行列44 AWを式(数22)により求める。
Step S705
A homogeneous transformation matrix A T 44 AW from the laser head coordinate system A to the world coordinate system W is obtained by the equation (Equation 22).
ステップS706
式(数23)により、レーザ雲台座標系Aで表された遠近両用マーカの3次元位置AMiを世界座標系Wで表された3次元位置WMiに変換する。
Step S706
The three-dimensional position A T AMi of the bifocal marker represented in the laser head coordinate system A is converted into a three-dimensional position W T WMi represented in the world coordinate system W by the equation (Equation 23).
ステップS707
前述した1つの遠近両用マーカの位置と方向を自動的に計測するアルゴリズムにおけるステップS623の処理の前に、AMi(i=0,1,2,3)を式(数23)で変換することにより、世界座標系Wで表された遠近両用マーカ1の方向WMiを得る。
Step S707
Before the process in step S623 in algorithm that automatically measures the position and orientation of one bifocal markers described above, to convert A T AMi the (i = 0, 1, 2, 3) in equation (23) Thus , the direction W R WMi of the bifocal marker 1 represented in the world coordinate system W is obtained.
次に、総ての遠近両用マーカの位置と方向を自動的に計測して登録するアルゴリズムを説明する。このアルゴリズムは、ビデオカメラ2で撮影可能かつレーザ距離計測器3で距離を計測可能な範囲にある総ての遠近両用マーカ1の世界座標系Wで表された3次元位置と方向を全自動で計測して記憶(登録)するアルゴリズムである。   Next, an algorithm for automatically measuring and registering the positions and directions of all the perspective markers will be described. In this algorithm, the three-dimensional position and direction represented by the world coordinate system W of all the bifocal markers 1 within the range that can be photographed by the video camera 2 and the distance can be measured by the laser distance measuring device 3 are fully automatic. It is an algorithm for measuring and storing (registering).
ステップS801
ビデオカメラ2の焦点距離を設定可能な最も短い値に設定する(ビデオカメラ2を最も広角にする)。
Step S801
The focal length of the video camera 2 is set to the shortest possible value (the video camera 2 is set to the widest angle).
ステップS802
ビデオカメラ2の稼動範囲の総ての領域を最低1回は撮影するように等間隔でビデオカメラ2の撮影方向を回転させ、各撮影方向において、前述したビデオカメラを用いて遠近両用マーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、作業環境に貼り付けられた遠近両用マーカ1との距離と存在する方向を認識して記憶する。
Step S802
The shooting direction of the video camera 2 is rotated at equal intervals so that the entire operating range of the video camera 2 is shot at least once, and in each shooting direction, the above-described video camera is used to By executing an algorithm for obtaining the distance between and the existing direction, the distance and the existing direction are recognized and stored in the working environment.
ステップS803
ビデオカメラ2の焦点距離を最も短い値の2倍の値および3倍の値に設定してステップS802を繰り返す。
Step S803
Step S802 is repeated with the focal length of the video camera 2 set to a value twice and three times the shortest value.
ステップS804
ステップS803までに認識して記憶した個々の遠近両用マーカ1に対して前述したレーザ距離計測器を用いて遠近両用マーカ上の1点の位置を計測するアルゴリズムを実行することにより、認識した総ての遠近両用マーカ1の3次元位置と方向を計測して記憶する。
Step S804
By executing an algorithm for measuring the position of one point on the perspective marker using the laser distance measuring instrument described above for each of the perspective markers 1 recognized and stored up to step S803, The three-dimensional position and direction of the two-way marker 1 are measured and stored.
ステップS805
ステップS804で記憶した総ての遠近両用マーカ1の3次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系Wで表された3次元位置と方向を求めて記憶(登録)する。
Step S805
A three-dimensional position represented in the world coordinate system W by applying an algorithm for converting the marker position and direction to the world coordinate system to the three-dimensional positions and directions of all the perspective markers 1 stored in step S804. The direction is obtained and stored (registered).
以上の方法で計測した遠近両用マーカ1の3次元位置と方向は、以下の方法で利用することができる。   The three-dimensional position and direction of the bifocal marker 1 measured by the above method can be used by the following method.
作業環境である原子力発電プラント内で使用するときには、壁や作業対象機器の周辺に貼り付けられた複数の遠近両用マーカ1について、事前に、前述したようにしてその3次元位置と方向を計測して得た世界座標系Wで表された3次元位置と方向の情報として拡張現実感に取得(記憶)しておく。   When used in a nuclear power plant, which is a work environment, the three-dimensional position and direction of a plurality of markers 1 attached to the periphery of a wall or work target device are measured in advance as described above. It is acquired (stored) in augmented reality as information on the three-dimensional position and direction represented by the world coordinate system W obtained in this way.
拡張現実感を使用するときの機器としてHMD(Head Mounted Display)を用いる場合には、ビデオカメラをMHDの前面か作業員のヘルメットの前部に取り付け、PDA(Personal Digital Assistant)等の小型ディスプレイを用いる場合には、ビデオカメラを機器画面の裏側に取り付ける。   When using HMD (Head Mounted Display) as equipment when using augmented reality, attach a video camera to the front of the MHD or the front of the worker's helmet, and install a small display such as a PDA (Personal Digital Assistant). If used, attach the video camera to the back of the device screen.
遠近両用マーカ1と作業員(ビデオカメラ)の間の距離が長いときは、ビデオカメラには多数の遠近両用マーカ1が小さく写ることになり、遠近両用マーカの大円の中心は認識することができるが、4つの小円の中心は認識することが困難である。従って、1つの遠近両用マーカ1からは1つの特徴点しか得ることができないが、複数の遠近両用マーカの特徴点を同時に得ることができるので、遠近両用マーカ1についての記憶情報を参照してトラッキングするのに必要な数の特徴点の認識が可能になる。   When the distance between the perspective marker 1 and the worker (video camera) is long, a large number of perspective markers 1 appear small on the video camera, and the center of the great circle of the perspective marker can be recognized. Although it is possible, the centers of the four small circles are difficult to recognize. Therefore, only one feature point can be obtained from one perspective marker 1, but feature points of a plurality of perspective markers can be obtained at the same time, and tracking is performed by referring to stored information about the perspective marker 1. It is possible to recognize as many feature points as necessary.
遠近両用マーカ1と作業員(ビデオカメラ)の間の距離が短いときは、ビデオカメラには少数の遠近両用マーカ1が大きく写ることになり、小円の特徴も認識することができることから、遠近両用マーカ1上の総ての特徴点を認識することが可能となり、1つの遠近両用マーカ1が写るだけでトラッキングするのに必要な数の特徴点の認識が可能になる。   When the distance between the near / far marker 1 and the worker (video camera) is short, a small number of the far and far markers 1 appear on the video camera and the feature of the small circle can be recognized. All feature points on the dual-purpose marker 1 can be recognized, and the number of feature points necessary for tracking can be recognized only by one single perspective-use marker 1 being captured.
このように、この実施例で使用する遠近両用マーカ1は、1つの遠近両用マーカ1が近距離と遠距離の両方で効果的にトラッキングに利用することが可能となり、作業環境に貼り付ける遠近両用マーカ1の数を減らすことができる利点がある。   As described above, the perspective marker 1 used in this embodiment can be effectively used for tracking at both a short distance and a long distance, and the perspective marker 1 to be pasted on the work environment can be used. There is an advantage that the number of markers 1 can be reduced.
この実施例で例示したマーカ自動登録システムによる計測精度と計測に要する時間に関する実験結果について説明する。   An experimental result relating to measurement accuracy and time required for measurement by the marker automatic registration system exemplified in this embodiment will be described.
この実験は、大型プリンタを用いて図4に示すように9個の遠近両用マーカ1を印刷した紙を壁に貼り付け、前記9個の遠近両用マーカ1の3次元位置と方向を自動登録システムを用いて自動計測して登録する処理における登録結果とそれに要した時間を記録するように行った。   In this experiment, as shown in FIG. 4, using a large printer, a paper on which nine perspective markers 1 are printed is pasted on a wall, and the three-dimensional position and direction of the nine perspective markers 1 are automatically registered. The registration result and the time required for the process of automatically measuring and registering the data were recorded.
遠近両用マーカ1は、大円12の半径を50mm、小円13〜13の半径を6mm、大円12の中心と小円13〜13の中心の間の距離を71mmとした。マーカ自動登録システムの設置位置は、図5に示すように、中央の1番の遠近両用マーカ1から2mの位置と4mの位置、中央の1番の遠近両用マーカ1の法線方向から0°の位置、20°の位置、40°の位置に変化させ(計6箇所)、総ての位置で5回繰り返して総ての遠近両用マーカ1を自動計測して登録した。 Bifocal marker 1, the radius of the great circle 12 and 50 mm, a small circle 13 0-13 3 6mm radius, the distance between the center and the small circle 13 0-13 3 in the center of the great circle 12 and 71 mm. As shown in FIG. 5, the automatic marker registration system is set at 0 ° from the normal direction of the center 1st bifocal marker 1 at 2m and 4m, and the center 1st bifocal marker 1 as shown in FIG. , 20 ° position, and 40 ° position (6 places in total), and it was repeated 5 times at all positions and all the near-far markers 1 were automatically measured and registered.
その結果、総ての場合において、失敗することなく、遠近両用マーカ1を計測することができた。   As a result, in all cases, the near / far marker 1 could be measured without failure.
計測に要した時間は、可動範囲全体でビデオカメラ2を回転させて遠近両用マーカ1の位置と方向を認識して記憶する処理(ステップS801〜ステップS803の処理)で平均195秒、レーザ距離計測器3を用いて遠近両用マーカ1の正確な3次元位置と方向を認識して記憶する処理(ステップS804〜ステップS805)では遠近両用マーカ1の1個当たり平均50秒であった。   The time required for the measurement is an average of 195 seconds in the process of rotating and recognizing the position and direction of the bifocal marker 1 by rotating the video camera 2 over the entire movable range (the process of steps S801 to S803), and measuring the laser distance. In the processing (step S804 to step S805) of recognizing and storing the accurate three-dimensional position and direction of the bifocal marker 1 using the device 3, the average per secular marker 1 was 50 seconds.
電動雲台を駆動制御した後に振動が収まるまでの猶予期間は、ビデオカメラ2とレーザ距離計測器3を異なる三脚を用いて設置したり、防振部材を用いてシステムの振動を低減する対策を行えば、猶予期間を短縮して所要時間を短縮することが可能となる。   During the grace period after vibration control is stopped after driving the electric pan head, measures to reduce the vibration of the system by installing the video camera 2 and the laser distance measuring device 3 using different tripods or using a vibration isolation member If it does, it becomes possible to shorten a grace period and to shorten a required time.
表1は、遠近両用マーカ1の計測結果と真値(大型プリンタにより遠近両用マーカ1を印刷する際に設定した遠近両用マーカ1の位置と方向から計算)を比較した結果(座標の規準となる1番〜3番の遠近両用マーカを除く)を示している。   Table 1 shows a result of comparison between the measurement result of the near / far marker 1 and the true value (calculated from the position and direction of the near / far marker 1 set when printing the near / far marker 1 by a large printer) (coordinate standard). 1 to 3).
マーカ自動登録システムを設置した総ての位置での計測結果の二乗平均誤差(Root Mean Square Error)を求めた結果、位置に関してX,Y,Zの各軸方向に2mm程度の誤差があり、方向に関しては、各軸を中心に1°未満の回転誤差があることが分かった(総ての軸を纏めた場合、位置は3.4mm、方向は1.1°の誤差)。   As a result of calculating the root mean square error of the measurement results at all positions where the marker automatic registration system is installed, there is an error of about 2 mm in each of the X, Y, and Z axes with respect to the position. In regard to, it has been found that there is a rotation error of less than 1 ° around each axis (when all axes are combined, the position is 3.4 mm and the direction is an error of 1.1 °).
図6は、遠近両用マーカ1の計測結果(登録情報)を用いて実際にトラッキングを行った際の精度を示している。   FIG. 6 shows the accuracy when tracking is actually performed using the measurement result (registered information) of the bifocal marker 1.
解像度XVGA、水平画角約33°のトラッキング用ビデオカメラを1番の遠近両用マーカ1の正面約0.5mの位置から約0.5m間隔で約5.0m移動させ、各位置で10回ずつトラッキングを行う処理を、前述した方法で登録した30セットのマーカ配置情報の総てを用いて繰り返し行い、それらの総ての結果に対する平均二乗誤差を求めた。その結果、トラッキング範囲全体で平均二乗誤差が200mm未満であり、危険箇所表示機能等を備えた拡張現実感環境を実現することが可能であることが分かった。   A tracking video camera with a resolution of XVGA and a horizontal angle of view of about 33 ° is moved about 5.0 m from the position of about 0.5 m in front of the first far-and-far marker 1 by about 0.5 m, and 10 times at each position. The tracking process was repeated using all of the 30 sets of marker arrangement information registered by the method described above, and the mean square error for all the results was obtained. As a result, it was found that the mean square error in the entire tracking range is less than 200 mm, and it is possible to realize an augmented reality environment equipped with a dangerous location display function and the like.
本発明の実施例1において使用する遠近両用マーカの平面図である。It is a top view of the bifocal marker used in Example 1 of this invention. 作業環境に貼り付けられた遠近両用マーカを自動的に計測して計測結果を登録する本発明の実施例1におけるマーカ自動登録システムのハードウエア構成を示す斜視図である。It is a perspective view which shows the hardware constitutions of the marker automatic registration system in Example 1 of this invention which automatically measures the bifocal marker affixed on the working environment, and registers a measurement result. このマーカ自動登録システムで取り扱う座標系を示すものである。The coordinate system handled by this marker automatic registration system is shown. 本発明の実施例1において9個の遠近両用マーカを印刷した紙を壁に貼り付けた状態を示す正面図である。It is a front view which shows the state which affixed the paper which printed nine markers for both perspective in Example 1 of this invention on the wall. 本発明の実施例1において壁に貼り付けた遠近両用マーカとシステムの設置位置関係を示す平面図である。It is a top view which shows the installation position relationship of the dual-use marker pasted on the wall in Example 1 of this invention and a system. 本発明の実施例1により記憶した遠近両用マーカの計測結果(登録情報)を用いて実際にトラッキングを行った際の精度を示す特性図である。It is a characteristic view which shows the precision at the time of actually tracking using the measurement result (registration information) of the bifocal marker memorize | stored by Example 1 of this invention.
符号の説明Explanation of symbols
1…遠近両用マーカ、11…台紙、12…大円、13〜13…小円、2…ビデオカメラ、3…レーザ距離計測器、4…電動雲台、5…小型コンピュータ、7…三脚。 1 ... bifocal marker, 11 ... mount, 12 ... great circle, 13 0-13 3 ... small circle, 2 ... video camera, 3 ... laser distance measuring device, 4 ... electric pan head, 5 ... small computer, 7 ... tripod .

Claims (4)

  1. 環境の基準となる位置(世界座標系の原点や座標軸上の点)及び適宜な位置にマーカを貼り付け、ビデオカメラで撮影可能かつレーザ距離計測器で距離を計測可能な範囲にある総てのマーカの世界座標系で表された3次元位置と方向を全自動で計測して記憶する方法であって、
    ビデオカメラの焦点距離を設定可能な最も短い値に設定する第1のステップと、
    ビデオカメラの稼動範囲の総ての領域を最低1回は撮影するように等間隔でビデオカメラの撮影方向を回転させ、各撮影方向において、ビデオカメラを用いてマーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、環境に貼り付けられたマーカとの距離と存在する方向を認識して記憶する第2のステップと、
    ビデオカメラの焦点距離を最も短い値の2倍の値および3倍の値に設定して前記第2のステップを繰り返す第3のステップと、
    第3のステップまでに認識して記憶した個々のマーカに対してレーザ距離計測器を用いてマーカ上の1点の位置を計測するアルゴリズムを実行することにより、認識した総てのマーカの3次元位置と方向を計測して記憶する第4のステップと、
    第4のステップで記憶した総てのマーカの3次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系で表された3次元位置と方向を求めて記憶する第5のステップを行うことを特徴とするマーカ自動登録方法。
    Place the marker at the reference position of the environment (the origin of the world coordinate system or a point on the coordinate axis) and an appropriate position. A method of measuring and storing a three-dimensional position and direction expressed in the world coordinate system of a marker fully automatically,
    A first step of setting the focal length of the video camera to the shortest possible value;
    The shooting direction of the video camera is rotated at equal intervals so that the entire range of the operating range of the video camera is shot at least once, and there is a distance from the marker using the video camera in each shooting direction. A second step of recognizing and storing the distance to the marker pasted in the environment and the existing direction by executing an algorithm for determining the direction;
    A third step of repeating the second step by setting the focal length of the video camera to a value twice and three times the shortest value;
    By executing an algorithm for measuring the position of one point on the marker using a laser distance measuring device for each marker recognized and stored up to the third step, the three-dimensional of all the recognized markers A fourth step of measuring and storing the position and direction;
    Applying an algorithm that converts the marker position and direction to the world coordinate system to the three-dimensional position and direction of all markers stored in the fourth step, the three-dimensional position and direction expressed in the world coordinate system The marker automatic registration method characterized by performing the 5th step which calculates | requires and memorize | stores.
  2. 請求項1において、前記マーカとして、四角形の台紙の中心に配置した1つの大円と、台紙の4隅に配置した4つの小円を備え、前記大円は、10個の同型の扇形を円環状に配置し、白色の扇形を0、黒色の扇形を1とすることにより、各マーカのID番号を表現するように構成したものを使用することを特徴とするマーカ自動登録方法。   2. The marker according to claim 1, wherein the marker includes one large circle disposed at the center of a square mount and four small circles disposed at four corners of the mount. An automatic marker registration method characterized by using an arrangement in which an ID number of each marker is expressed by arranging them in a ring shape, with a white sector being 0 and a black sector being 1.
  3. 環境の基準となる位置(世界座標系の原点や座標軸上の点)及び適宜な位置に貼り付けられたマーカのうち、ビデオカメラで撮影可能かつレーザ距離計測器で距離を計測可能な範囲にある総てのマーカの世界座標系で表された3次元位置と方向を全自動で計測して記憶するシステムであって、
    電動雲台によって向きを変えることができるようにしたビデオカメラと、電動雲台によって向きを変えることができるようにしたレーザ距離計測器と、前記ビデオカメラとレーザ距離計測器電動雲台と接続されてこれらを制御する小型コンピュータとを備え、
    前記小型コンピュータは、
    前記ビデオカメラの焦点距離を設定可能な最も短い値に設定する第1のステップと、
    前記ビデオカメラの稼動範囲の総ての領域を最低1回は撮影するように等間隔でビデオカメラの撮影方向を回転させ、各撮影方向において、前記ビデオカメラを用いてマーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、環境に貼り付けられたマーカとの距離と存在する方向を認識して記憶する第2のステップと、
    前記ビデオカメラの焦点距離を最も短い値の2倍の値および3倍の値に設定して前記第2のステップを繰り返す第3のステップと、
    第3のステップまでに認識して記憶した個々のマーカに対して前記レーザ距離計測器を用いてマーカ上の1点の位置を計測するアルゴリズムを実行することにより、認識した総てのマーカの3次元位置と方向を計測して記憶する第4のステップと、
    第4のステップで記憶した総てのマーカの3次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系で表された3次元位置と方向を求めて記憶する第5のステップを行うプログラムを備えたことを特徴とするマーカ自動登録システム。
    Out of the reference position of the environment (the origin of the world coordinate system and the point on the coordinate axis) and the marker pasted at an appropriate position, it is within the range that can be photographed with a video camera and the distance can be measured with a laser distance meter. A system that automatically measures and stores the three-dimensional position and direction of all markers represented in the world coordinate system,
    Connected to a video camera that can be turned by an electric head, a laser distance measuring device that can be turned by an electric head, and the video camera and the laser distance measuring device. And a small computer that controls them,
    The small computer is
    A first step of setting the focal length of the video camera to the shortest possible value;
    The shooting direction of the video camera is rotated at equal intervals so that all areas of the operating range of the video camera are shot at least once, and in each shooting direction, the distance from the marker A second step of recognizing and storing the distance to the marker pasted in the environment and the existing direction by executing an algorithm for determining the existing direction;
    A third step of repeating the second step by setting the focal length of the video camera to a value twice and three times the shortest value;
    By executing an algorithm for measuring the position of one point on the marker using the laser distance measuring device for each marker recognized and stored up to the third step, 3 of all the recognized markers A fourth step of measuring and storing the dimension position and direction;
    Applying an algorithm that converts the marker position and direction to the world coordinate system to the three-dimensional position and direction of all markers stored in the fourth step, the three-dimensional position and direction expressed in the world coordinate system An automatic marker registration system comprising a program for performing a fifth step for obtaining and storing
  4. 請求項3において、前記マーカは、四角形の台紙の中心に配置した1つの大円と、台紙の4隅に配置した4つの小円を備え、前記大円は、10個の同型の扇形を円環状に配置し、白色の扇形を0、黒色の扇形を1とすることにより、各マーカのID番号を表現するように構成したものであることを特徴とするマーカ自動登録システム。   4. The marker according to claim 3, wherein the marker includes one large circle disposed at the center of a square mount and four small circles disposed at the four corners of the mount, and the large circle includes ten fan-shaped circles. An automatic marker registration system, which is arranged in a ring so that the white fan shape is 0 and the black fan shape is 1, so that the ID number of each marker is expressed.
JP2008247348A 2008-09-26 2008-09-26 Marker automatic registration method and system Active JP5019478B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008247348A JP5019478B2 (en) 2008-09-26 2008-09-26 Marker automatic registration method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008247348A JP5019478B2 (en) 2008-09-26 2008-09-26 Marker automatic registration method and system

Publications (2)

Publication Number Publication Date
JP2010078466A true JP2010078466A (en) 2010-04-08
JP5019478B2 JP5019478B2 (en) 2012-09-05

Family

ID=42209088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008247348A Active JP5019478B2 (en) 2008-09-26 2008-09-26 Marker automatic registration method and system

Country Status (1)

Country Link
JP (1) JP5019478B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058245A (en) * 2010-09-10 2012-03-22 Ge-Hitachi Nuclear Energy Americas Llc Photographic survey system and method usable in nuclear reactor
JP5192598B1 (en) * 2012-07-03 2013-05-08 貴章 春日 Work system with self-propelled device
CN104596474A (en) * 2015-01-30 2015-05-06 中国科学院地质与地球物理研究所 Laser ranging measurement base
CN104819706A (en) * 2014-01-31 2015-08-05 株式会社拓普康 Measuring system
US9958268B2 (en) 2013-10-31 2018-05-01 Kabushiki Kaisha Topcon Three-dimensional measuring method and surveying system
CN110231023A (en) * 2019-04-29 2019-09-13 金钱猫科技股份有限公司 A kind of intelligent vision method of sampling, system and device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001296124A (en) * 2000-02-10 2001-10-26 Nkk Corp Method and apparatus for measurement of three- dimensional coordinates
JP2002071313A (en) * 2000-08-31 2002-03-08 Toshiba Corp Target marker, method for measuring location of object for using the same, and robot system
JP2003097922A (en) * 2001-09-21 2003-04-03 Ricoh Co Ltd Surface shape measuring system and method using the same, program used for the same and storage medium used for the same
JP2003130644A (en) * 2001-08-10 2003-05-08 Sokkia Co Ltd Automatic collimation surveying instrument equipped with imaging device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001296124A (en) * 2000-02-10 2001-10-26 Nkk Corp Method and apparatus for measurement of three- dimensional coordinates
JP2002071313A (en) * 2000-08-31 2002-03-08 Toshiba Corp Target marker, method for measuring location of object for using the same, and robot system
JP2003130644A (en) * 2001-08-10 2003-05-08 Sokkia Co Ltd Automatic collimation surveying instrument equipped with imaging device
JP2003097922A (en) * 2001-09-21 2003-04-03 Ricoh Co Ltd Surface shape measuring system and method using the same, program used for the same and storage medium used for the same

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012058245A (en) * 2010-09-10 2012-03-22 Ge-Hitachi Nuclear Energy Americas Llc Photographic survey system and method usable in nuclear reactor
JP5192598B1 (en) * 2012-07-03 2013-05-08 貴章 春日 Work system with self-propelled device
US9958268B2 (en) 2013-10-31 2018-05-01 Kabushiki Kaisha Topcon Three-dimensional measuring method and surveying system
CN104819706A (en) * 2014-01-31 2015-08-05 株式会社拓普康 Measuring system
US9773420B2 (en) 2014-01-31 2017-09-26 Kabushiki Kaisha Topcon Measuring system
CN104596474A (en) * 2015-01-30 2015-05-06 中国科学院地质与地球物理研究所 Laser ranging measurement base
CN110231023A (en) * 2019-04-29 2019-09-13 金钱猫科技股份有限公司 A kind of intelligent vision method of sampling, system and device
WO2020220522A1 (en) * 2019-04-29 2020-11-05 金钱猫科技股份有限公司 Intelligent visual sampling method, system and device

Also Published As

Publication number Publication date
JP5019478B2 (en) 2012-09-05

Similar Documents

Publication Publication Date Title
US10883819B2 (en) Registration of three-dimensional coordinates measured on interior and exterior portions of an object
Luhmann et al. Sensor modelling and camera calibration for close-range photogrammetry
US10060739B2 (en) Method for determining a position and orientation offset of a geodetic surveying device and such a surveying device
US8699005B2 (en) Indoor surveying apparatus
US8520067B2 (en) Method for calibrating a measuring system
JP4607095B2 (en) Method and apparatus for image processing in surveying instrument
Scaramuzza et al. Extrinsic self calibration of a camera and a 3d laser range finder from natural scenes
JP5019478B2 (en) Marker automatic registration method and system
EP3246660B1 (en) System and method for referencing a displaying device relative to a surveying instrument
WO2016179448A1 (en) Three-dimensional measuring device removably coupled to robotic arm on motorized mobile platform
Aliakbarpour et al. An efficient algorithm for extrinsic calibration between a 3d laser range finder and a stereo camera for surveillance
Núñez et al. Data Fusion Calibration for a 3D Laser Range Finder and a Camera using Inertial Data.
JP2011179908A (en) Three-dimensional measurement apparatus, method for processing the same, and program
Boochs et al. Increasing the accuracy of untaught robot positions by means of a multi-camera system
JP2011112401A (en) Calibration method for three-dimensional measurement and three-dimensional visual sensor
EP3421930A1 (en) Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method
Zalud et al. Calibration and evaluation of parameters in a 3D proximity rotating scanner
JP2003065714A (en) Guiding device and guiding method for camera calibration, and camera calibration apparatus
JP2001148025A (en) Device and method for detecting position, and device and method for detecting plane posture
JP2017120551A (en) Autonomous traveling device
JP2001296124A (en) Method and apparatus for measurement of three- dimensional coordinates
WO2019029991A1 (en) System and method for recalibrating a projector system
WO2005073669A1 (en) Semi and fully-automatic camera calibration tools using laser-based measurement devices
JP2009175012A (en) Measurement device and measurement method
JP2003023562A (en) Image photographic system and camera system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120607

R150 Certificate of patent or registration of utility model

Ref document number: 5019478

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150622

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250