JP2013106238A - Marker detection and tracking device - Google Patents
Marker detection and tracking device Download PDFInfo
- Publication number
- JP2013106238A JP2013106238A JP2011249365A JP2011249365A JP2013106238A JP 2013106238 A JP2013106238 A JP 2013106238A JP 2011249365 A JP2011249365 A JP 2011249365A JP 2011249365 A JP2011249365 A JP 2011249365A JP 2013106238 A JP2013106238 A JP 2013106238A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- image
- unit
- image feature
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、マーカの検出および追跡装置に関する。詳しくは、画像処理によりマーカを検出し、そのマーカを追跡する装置に関するものであり、特に検出したマーカの位置と方向を計測し出力する、マーカ検出および追跡装置に関するものである。 The present invention relates to a marker detection and tracking device. More specifically, the present invention relates to a device that detects a marker by image processing and tracks the marker, and particularly relates to a marker detection and tracking device that measures and outputs the position and direction of the detected marker.
赤外光を撮影することで対象物を検出する方法として以下の方法が提案されている。
特許文献１では、発光素子によりマーカを構成し、発光素子の点滅周期、点滅周期のパターンなどの検出によりマーカの識別を行った。このようなマーカを移動ロボットが動作する場所にランドマークとして配置し、移動ロボットの位置計測に用いた。
The following methods have been proposed as a method for detecting an object by photographing infrared light.
In Patent Document 1, a marker is constituted by a light emitting element, and the marker is identified by detecting a blinking cycle of the light emitting element, a blinking cycle pattern, and the like. Such markers are arranged as landmarks where the mobile robot operates, and are used to measure the position of the mobile robot.
特許文献２では、マーカとしての赤外光発信器を用意し、白黒ＣＣＤカメラ（赤外光透過フィルタ付）により撮影した画像から、赤外光発信器の発光を検出することでマーカを検出し、人物の追跡に用いた。 In Patent Document 2, an infrared light transmitter is prepared as a marker, and the marker is detected by detecting the light emission of the infrared light transmitter from an image taken by a monochrome CCD camera (with an infrared light transmission filter). Used to track people.
より一般的な手法として、以下のように画像特徴量を用いて既知の特定物体を認識する方法が提案されている。
即ち、非特許文献１では、各画素における輝度勾配を求め、画像の各部分の局所からＳＩＦＴ特徴量と呼ばれる画像特徴量を抽出し、登録画像を局所の画像特徴量の集まりとして表現した。
さらに、この画像特徴量の照合を行い、登録画像と同じ画像特徴量が集まっている部分に対象物体が存在するとして特定物体を認識した。
As a more general method, a method for recognizing a known specific object using an image feature amount as described below has been proposed.
That is, in Non-Patent Document 1, a luminance gradient at each pixel is obtained, an image feature amount called SIFT feature amount is extracted from the local portion of each image, and a registered image is expressed as a collection of local image feature amounts.
Further, this image feature amount is collated, and the specific object is recognized as the target object exists in the portion where the same image feature amount as the registered image is gathered.
参考文献（特願２０１１‐１２６０２２号）では、生活環境において道路標識・案内板・看板・表札・ワッペン・背番号・ステッカー等のような対象物を示す目印が枠に囲まれている場合が多いことに注目し、枠を閉曲線として抽出し、さらに閉曲線に囲まれた内側部分の画像の輝度情報を抽出して整理し、画像特徴量を構成し、この画像特徴量同士の照合により対象物を検出した。 In references (Japanese Patent Application No. 2011-126022), there are many cases in which signs indicating objects such as road signs, information boards, signboards, nameplates, patches, back numbers, stickers, etc. are surrounded by a frame in the living environment. Note that, the frame is extracted as a closed curve, and the luminance information of the image of the inner part surrounded by the closed curve is extracted and organized, and the image feature amount is configured. Detected.
特許文献１や特許文献２のような発光を基にマーカを検出する方法では、赤外光のみではマーカの特定ができないため、マーカそれぞれについて固有の点滅パターンを用意する必要がある。このため、マーカ側に発光させるための電源等の設置を行う必要がある。 In the method of detecting a marker based on light emission as in Patent Document 1 and Patent Document 2, since the marker cannot be specified only by infrared light, it is necessary to prepare a unique blinking pattern for each marker. For this reason, it is necessary to install a power source for causing the marker to emit light.
非特許文献１のような局所的な画像特徴量を基にマーカを検出する方法では、マーカとカメラとの距離が離れた場合、画像上でのマーカのサイズが小さくなり、さらにその局所部分は小さくなるため、局所的な画像特徴量自体の抽出が難しい。 In the method of detecting a marker based on a local image feature amount as in Non-Patent Document 1, when the distance between the marker and the camera is increased, the size of the marker on the image is reduced, and the local portion is Therefore, it is difficult to extract the local image feature amount itself.
なお、参考文献のようなマーカ全体を囲む枠の内側の画像特徴量を基にマーカを検出する方法では、非特許文献１よりも遠方に存在するマーカを検出することはできるが、マーカ全体の模様が画像上で潰れる程の遠距離になるとマーカの検出が難しい。 In addition, in the method of detecting a marker based on the image feature amount inside the frame surrounding the entire marker as in the reference document, it is possible to detect a marker that exists farther than Non-Patent Document 1, but the entire marker It is difficult to detect the marker when the pattern becomes far enough to be crushed on the image.
上記課題を解決する本発明の請求項１に係るマーカの検出および追跡装置は、マーカと、該マーカを撮影する撮影部と、該撮影部により撮影された画像を演算処理する演算処理部とからなるマーカの検出および追跡装置において、
前記マーカとしては、赤外光を反射する反射シートを下地として、マーカ模様を印刷した透明シートを前記下地に貼り付けて構成するか、又は、マーカ模様の切り抜きを前記下地に直接貼り付けて構成し、
前記撮影部としては、前記マーカを撮影するカメラの前に赤外線透過フィルタを設置すると共に前記カメラの近傍に赤外線照明手段を設置してなり、
前記演算処理部としては、前記マーカと前記カメラの距離が近距離のときには前記カメラにより撮影された入力画像の画像特徴量により前記マーカを検出する画像特徴量方法と、前記マーカと前記カメラとの距離がある程度離れた遠距離においては前記カメラにより撮影された入力画像の赤外光を基に前記マーカを追跡する赤外光方法とを切り替えて適用する演算処理を行うことを特徴とする。
The marker detection and tracking device according to claim 1 of the present invention that solves the above problems includes a marker, an imaging unit that images the marker, and an arithmetic processing unit that performs arithmetic processing on an image captured by the imaging unit. In the marker detection and tracking device
As the marker, a reflective sheet that reflects infrared light is used as a base, and a transparent sheet on which a marker pattern is printed is attached to the base, or a marker pattern cutout is attached directly to the base. And
As the photographing unit, an infrared transmission filter is installed in front of the camera for photographing the marker, and an infrared illumination means is installed in the vicinity of the camera,
The arithmetic processing unit includes: an image feature amount method for detecting the marker based on an image feature amount of an input image captured by the camera when a distance between the marker and the camera is a short distance; and the marker and the camera In a long distance that is some distance away, arithmetic processing is performed to switch and apply an infrared light method for tracking the marker based on the infrared light of the input image taken by the camera.
上記課題を解決する本発明の請求項２に係るマーカの検出および追跡装置は、請求項１記載のマーカ検出および追跡装置において、前記演算処理部は、前記特徴量法と前記赤外光法とを切り替える距離の閾値について、前記画像特徴量方法から前記赤外光方法へ切り替える際の距離の閾値と、前記赤外光方法から前記画像特徴量方法へ切り替える際の距離の閾値とを別々に持ち、前者の閾値が後者の閾値よりも大きな値であることを特徴とする。 The marker detection and tracking device according to claim 2 of the present invention for solving the above-described problem is the marker detection and tracking device according to claim 1, wherein the arithmetic processing unit includes the feature value method, the infrared light method, and the like. The distance threshold for switching from the image feature method to the infrared light method and the distance threshold for switching from the infrared light method to the image feature method are separately provided. The former threshold value is larger than the latter threshold value.
上記課題を解決する本発明の請求項３に係るマーカの検出および追跡装置は、請求項１又は２記載のマーカ検出および追跡装置において、前記演算処理部は、前記マーカの画像上位置と画像上の大きさを基に入力画像上で前記マーカを囲む画像軸に平行な矩形範囲を設定し、前記マーカを囲む画像上の矩形範囲及び前記マーカの実寸を基にマーカの実空間上の位置と方向を算出することを特徴とする。 The marker detection and tracking device according to a third aspect of the present invention for solving the above-described problems is the marker detection and tracking device according to the first or second aspect, wherein the arithmetic processing unit is configured to detect the position of the marker on the image and the image. A rectangular range parallel to the image axis surrounding the marker is set on the input image based on the size of the marker, and the position of the marker in the real space based on the rectangular range on the image surrounding the marker and the actual size of the marker The direction is calculated.
上記課題を解決する本発明の請求項４に係るマーカの検出および追跡装置は、請求項１，２又は３記載のマーカ検出および追跡装置において、前記演算処理部は、
画像特徴量抽出用のパラメータ・二値化閾値・カメラパラメータ・距離閾値等の各パラメータを設定する処理設定部と、
前記撮像部から画像データを入力し記憶部へ保管する画像データ入力部と、
現在のマーカ位置に応じて次回フレームでのマーカ検出方法として、前記特徴量方法又は前記赤外光方法を切り替えるマーカ検出方法選択部と、
前記撮像部から入力された入力画像から画像特徴量を抽出する画像特徴量抽出部と、
基準画像から抽出した画像特徴量と入力画像から抽出した画像特徴量との照合を行い、入力画像におけるマーカ有無を判断する画像特徴量照合部と、
画像特徴量の照合結果を基にマーカの画像上位置を検出する画像特徴量によるマーカ位置検出部と、
画像特徴量の照合結果を基にマーカの画像上の大きさを検出する画像特徴量によるマーカ大きさ検出部と、
画像特徴量の照合結果を基に検出したマーカの画像上位置とマーカの画像上の大きさを基に、マーカを囲む矩形範囲を設定するマーカ矩形範囲設定部と、
前記撮像部から入力された入力画像を二値化し二値画像を作成する二値画像作成部と、
二値画像中から白部分の塊を抽出する塊抽出部と、
塊に外接する画像軸に平行な矩形範囲を設定する塊矩形範囲設定部と、
検出した塊の中から、塊の矩形範囲を基にマーカに相当する塊を検出するマーカ塊検出部と、
マーカに相当する塊について、マーカの画像上位置および画像上の大きさを検出し、マーカに相当する塊の矩形範囲をマーカの矩形範囲として設定する二値化によるマーカ位置マーカ大きさ検出部と、
マーカの位置や矩形範囲を示す矩形の頂点位置等の位置データを画像上から撮像素子平面上へ座標変換して、撮像素子平面上の位置を求める画像上から撮像素子平面上への座標変換部と、
マーカの撮像素子平面上の位置および矩形範囲を基に、マーカの実空間上の位置と方向を算出するマーカ方向および位置算出部と、
各種データの保管を行う前記記憶部と、
マーカ有無・マーカの実空間上の位置や方向のマーカ検出結果を外部へ出力するデータ出力部と、
から構成することを特徴とする。
The marker detection and tracking device according to claim 4 of the present invention that solves the above-described problem is the marker detection and tracking device according to claim 1, 2, or 3, wherein the arithmetic processing unit includes:
A processing setting unit for setting each parameter such as a parameter for image feature amount extraction, a binarization threshold, a camera parameter, and a distance threshold;
An image data input unit for inputting image data from the imaging unit and storing it in a storage unit;
As a marker detection method in the next frame according to the current marker position, a marker detection method selection unit that switches between the feature value method or the infrared light method, and
An image feature amount extraction unit that extracts an image feature amount from an input image input from the imaging unit;
An image feature amount matching unit that performs matching between the image feature amount extracted from the reference image and the image feature amount extracted from the input image, and determines the presence or absence of a marker in the input image;
A marker position detection unit based on an image feature value for detecting the position of the marker on the image based on the image feature value comparison result;
A marker size detection unit based on an image feature value for detecting the size of the marker on the image based on the result of matching the image feature value;
A marker rectangular range setting unit for setting a rectangular range surrounding the marker based on the position on the image of the marker detected based on the result of collating the image feature amount and the size of the marker on the image;
A binary image creating unit that binarizes an input image input from the imaging unit and creates a binary image;
A lump extraction unit for extracting a lump of a white portion from a binary image;
A block rectangular range setting unit for setting a rectangular range parallel to the image axis circumscribing the block;
A marker lump detection unit that detects a lump corresponding to a marker based on a rectangular range of the lump from the detected lump;
A marker position marker size detection unit by binarization that detects the position of the marker on the image and the size on the image for the block corresponding to the marker, and sets the rectangular range of the block corresponding to the marker as the rectangular range of the marker; ,
A coordinate conversion unit for converting the position data such as the position of the marker and the vertex position of the rectangle indicating the rectangular range from the image to the image sensor plane to obtain the position on the image sensor plane from the image to the image sensor plane When,
Based on the position of the marker on the imaging device plane and the rectangular range, the marker direction and position calculation unit for calculating the position and direction of the marker in real space;
The storage unit for storing various data;
A data output unit that outputs the marker detection result of the marker presence / absence / marker real space position and direction to the outside,
It is characterized by comprising.
本発明の請求項１に係るマーカの検出および追跡装置によれば、画像特徴量方法と赤外線方法とを併用するので、カメラからマーカまでの距離が近傍から遠方までの広範囲に変化した場合においても、赤外線照明の届く範囲であれば、安定してマーカを検出することができる。また、マーカは赤外線反射シートを下地とするので、マーカを発光させる必要がなく、マーカ側に電源を必要としない。 According to the marker detection and tracking apparatus according to claim 1 of the present invention, since the image feature amount method and the infrared method are used in combination, even when the distance from the camera to the marker changes in a wide range from near to far. If it is within the reach of the infrared illumination, the marker can be detected stably. Further, since the marker is based on the infrared reflecting sheet, it is not necessary to cause the marker to emit light, and no power source is required on the marker side.
本発明の請求項２に係るマーカの検出および追跡装置によれば、画像特徴量方法と赤外線方法とを切り替える際の閾値として二つの閾値を別々に有するので、画像特徴量方法と赤外線方法とが煩雑に切り替わるのを防ぐことができる。 According to the marker detection and tracking device of the second aspect of the present invention, since the image feature value method and the infrared method have two threshold values separately when switching between the image feature value method and the infrared method, It is possible to prevent complicated switching.
本発明の請求項３に係るマーカの検出および追跡装置によれば、マーカの画像上位置と画像上の大きさを基に、マーカの実空間上の位置と方向を算出することができる。 According to the marker detection and tracking device of the third aspect of the present invention, the position and direction of the marker in the real space can be calculated based on the position of the marker on the image and the size on the image.
本発明の請求項４に係るマーカの検出および追跡装置によれば、処理設定部と、画像データ入力部と、マーカ検出方法選択部と、画像特徴量抽出部と、画像特徴量照合部と、マーカ位置検出部と、画像特徴量によるマーカ大きさ検出部と、マーカ矩形範囲設定部と、二値画像作成部と、塊抽出部と、塊矩形範囲設定部と、マーカ塊検出部と、二値化によるマーカ位置マーカ大きさ検出部と、画像上から撮像素子平面上への座標変換部と、マーカ方向および位置算出部と、各種データの保管を行う前記記憶部と、マーカ有無・マーカの実空間上の位置や方向のマーカ検出結果を外部へ出力するデータ出力部とを備えるため、画像処理部は画像特徴量方法と赤外線方法とを切り替えて適用することが可能となる。 According to the marker detection and tracking apparatus according to claim 4 of the present invention, a process setting unit, an image data input unit, a marker detection method selection unit, an image feature quantity extraction unit, an image feature quantity verification unit, A marker position detection unit, a marker size detection unit based on image features, a marker rectangular range setting unit, a binary image creation unit, a block extraction unit, a block rectangular range setting unit, a marker block detection unit, two Marker position marker size detection unit by value conversion, coordinate conversion unit from image to imaging device plane, marker direction and position calculation unit, storage unit for storing various data, marker presence / absence of marker Since the image output unit includes a data output unit that outputs the marker detection result of the position and direction in the real space to the outside, the image processing unit can switch between the image feature amount method and the infrared method.
以下、本発明について、図面を参照して具体的に説明する。 Hereinafter, the present invention will be specifically described with reference to the drawings.
本発明の基本的な考え方について、以下の実施例１に基づいて具体的に説明する。
本発明の目的は、マーカを検出してマーカの位置と方向を計測し出力する、マーカ検出および追跡装置を提供することである。
特に自動搬送車等の移動体にこの装置を搭載した場合、マーカと装置設置位置との間隔が近距離から遠距離まで大きく変動することが多い。
このような場合においても安定してマーカの位置と方向を検出することが要請される。
The basic concept of the present invention will be specifically described based on Example 1 below.
An object of the present invention is to provide a marker detection and tracking device that detects a marker and measures and outputs the position and direction of the marker.
In particular, when this apparatus is mounted on a moving body such as an automated guided vehicle, the distance between the marker and the apparatus installation position often varies greatly from a short distance to a long distance.
Even in such a case, it is required to stably detect the position and direction of the marker.
そこで、本発明では、マーカとカメラとの距離が近距離において画像特徴量によりマーカを検出し、マーカとカメラとの距離がある程度離れた遠距離においては赤外光を基にマーカを追跡する。
これらの異なるマーカ検出方法を用いる場合、通常ならば装置の撮影部を別々に用意するか、切り替える必要がある。
Therefore, in the present invention, the marker is detected by the image feature amount when the distance between the marker and the camera is a short distance, and the marker is traced based on infrared light at a long distance where the distance between the marker and the camera is some distance away.
When using these different marker detection methods, it is usually necessary to prepare or switch the imaging unit of the apparatus separately.
つまり、画像特徴量を用いる場合はマーカ上の模様を撮影するため可視光を撮影するが、赤外光を基にマーカを検出する場合は赤外光のみを撮影したいため赤外線透過フィルタを設置して可視光を除去した撮影を行う。
可視光を撮影した場合は、マーカ以外の様々な部分が画像上に明るく写るため赤外光を基にした方法ではマーカを検出することができず、赤外線透過フィルタを設置した場合マーカ上の模様が見えなくなるため画像特徴量を抽出することができない。
そこで、本発明では、これらの異なるマーカ検出方法を１つの撮影部で実現するため、マーカと撮影部において、次のような組み合わせを用いる。
In other words, when using image features, visible light is captured to capture the pattern on the marker, but when detecting a marker based on infrared light, an infrared transmission filter is installed to capture only infrared light. Take a picture without visible light.
When visible light is photographed, various parts other than the marker appear bright on the image, so the infrared light-based method cannot detect the marker. If an infrared transmission filter is installed, the pattern on the marker The image feature amount cannot be extracted because the image becomes invisible.
Therefore, in the present invention, in order to realize these different marker detection methods with one photographing unit, the following combinations are used in the marker and the photographing unit.
マーカとしては、図１に矢印で示すように、赤外光を反射する反射シート１を下地とし、マーカ模様２ａ，２ｂを印刷した透明シート２を下地である反射シート１に貼りつける。反射シート１は、矩形（四角形）であり、透明シート２も同様の形状である。印刷されるマーカ模様２ａは、透明シート２の中心に印刷された“Ａ” を示す文字であり、印刷されるマーカ模様２ｂは、反射シート１、透明シート２と同寸法の外枠である。
マーカ模様が濃淡の単純な場合は模様自身を切り取って、図２に矢印で示すように、反射シート１の下地にそのままマーカ模様の切り抜き（切り絵）３ａ，３ｂを貼り付けても良い。切り抜き３ｂは反射シート１と同寸法の外枠であり、切り抜き３ａは切り抜き３ｂである外枠内に位置する文字“Ａ”である。
なお、マーカとしては、矩形形状に限られるものではなく、他の形状であっても、位置計測の際に画像上で矩形範囲を設定すれば良い。
As a marker, as shown by an arrow in FIG. 1, a reflective sheet 1 that reflects infrared light is used as a base, and a transparent sheet 2 on which marker patterns 2a and 2b are printed is attached to the base reflective sheet 1. The reflection sheet 1 is rectangular (quadrangle), and the transparent sheet 2 has the same shape. The printed marker pattern 2 a is a character indicating “A” printed at the center of the transparent sheet 2, and the printed marker pattern 2 b is an outer frame having the same dimensions as the reflective sheet 1 and the transparent sheet 2.
When the marker pattern is simple in shading, the pattern itself may be cut out and the marker pattern cutouts (cuts) 3a and 3b may be pasted on the base of the reflection sheet 1 as shown by arrows in FIG. The cutout 3b is an outer frame having the same dimensions as the reflective sheet 1, and the cutout 3a is a letter “A” located in the outer frame which is the cutout 3b.
Note that the marker is not limited to the rectangular shape, and a rectangular range may be set on the image at the time of position measurement even if it has other shapes.
撮影部としては、図３に示すように、カメラ４の前に赤外線透過フィルタ５を設置し、カメラ４の近傍に赤外線照明器６を設置したものである。
このようなマーカ構成と撮影部構成の組み合わせを用いることによって、撮影部の赤外線照明から発する赤外光を反射したマーカ（反射シート１）のみを他の部分から切り離して明るく撮影することができ、かつ、マーカの表面に貼り付けた透明フィルム２上のマーカ模様２ａ，２ｂ又はその切り抜き３ａ，３ｂを撮影することができる。
例えば、図４に示すように、カメラ４の視野にマーカ１０、人物２０、角柱物３０が入っているが、撮影した画像４０上ではマーカ１０のみが明るく写り、マーカ１０は透明フィルム２上のマーカ模様２ａ，２ｂ又はその切り抜き３ａ，３ｂが見えている。
As shown in FIG. 3, an infrared transmission filter 5 is installed in front of the camera 4 and an infrared illuminator 6 is installed in the vicinity of the camera 4 as the photographing unit.
By using such a combination of the marker configuration and the imaging unit configuration, only the marker (reflective sheet 1) that reflects the infrared light emitted from the infrared illumination of the imaging unit can be separated from other parts and brightly imaged. And marker pattern 2a, 2b on the transparent film 2 affixed on the surface of the marker, or its cut-out 3a, 3b can be image | photographed.
For example, as shown in FIG. 4, the marker 10, the person 20, and the prism 30 are included in the field of view of the camera 4, but only the marker 10 appears brightly on the photographed image 40, and the marker 10 is on the transparent film 2. Marker patterns 2a, 2b or their cutouts 3a, 3b are visible.
本発明によるマーカ検出方法は、マーカとカメラとの距離が近距離において画像特徴量によりマーカを検出し、マーカとカメラとの距離がある程度離れた遠距離においては赤外光を基にマーカを追跡する。
このように２つの異なる方法をマーカまでの距離に応じて切り替える方法を採る。画像特徴量によりマーカを検出する方法を「画像特徴量方法」と呼ぶ。また、赤外光を基にマーカを追跡する方法を「赤外光方法」と呼ぶ。距離に応じて「画像特徴量方法」と「赤外光方法」とを切り換えることに対応して、「マーカを検出する」と「マーカを追跡する」と表現を異ならせた。
The marker detection method according to the present invention detects a marker by an image feature amount when the distance between the marker and the camera is a short distance, and tracks the marker based on infrared light at a long distance where the distance between the marker and the camera is some distance away. To do.
In this way, a method of switching between two different methods according to the distance to the marker is adopted. A method of detecting a marker based on an image feature amount is called an “image feature amount method”. A method of tracking a marker based on infrared light is called an “infrared light method”. Corresponding to switching between the “image feature amount method” and the “infrared light method” according to the distance, the expressions “detect the marker” and “track the marker” are different.
本発明によるマーカ検出および追跡方法の状態遷移を図５に示す。
図５に示すように、画像特徴量方法から開始し、マーカとカメラとの距離がある程度離れた遠距離となると赤外光方法に遷移し、赤外光方法で追跡に失敗した場合や、マーカとカメラとの距離が近距離になると画像特徴量方法に遷移する。画像特徴量方法で検出に失敗したときには、画像特徴量方法を繰り返す。画像特徴量方法、赤外光方法の何れもが停止して待機した後、画像特徴量方法から再開する。
The state transition of the marker detection and tracking method according to the present invention is shown in FIG.
As shown in FIG. 5, when starting from the image feature amount method, when the distance between the marker and the camera becomes a long distance, a transition is made to the infrared light method, and tracking by the infrared light method fails, When the distance between the camera and the camera becomes a short distance, a transition is made to the image feature amount method. When detection by the image feature amount method fails, the image feature amount method is repeated. After both the image feature method and the infrared light method stop and wait, the image feature method restarts.
本発明では、２つの異なる方法を切り替える距離の閾値について２つの閾値を別々に持つ。
即ち、画像特徴量方法から赤外光方法へ切り替える際の距離の閾値（これを「近遠距離閾値」と呼ぶ）と、赤外光方法から画像特徴量方法へ切り替える際の距離の閾値（これを「遠近距離閾値」と呼ぶ）である。
本発明では、近遠距離閾値の方が遠近距離閾値よりも大きな値とする。
このような閾値の構成にすることによって、２つの異なる方法を切り替える距離の閾値の近傍において、画像特徴量方法と赤外光方法を頻繁に切り替えることを防ぐことができる。
In the present invention, two threshold values are separately provided for the distance threshold value for switching between two different methods.
That is, a distance threshold for switching from the image feature method to the infrared light method (this is referred to as a “near distance threshold”) and a distance threshold for switching from the infrared light method to the image feature method (this) Is referred to as a “far / near distance threshold”).
In the present invention, the near / far distance threshold is larger than the far / far distance threshold.
By adopting such a threshold configuration, it is possible to prevent frequent switching between the image feature amount method and the infrared light method in the vicinity of the distance threshold for switching between two different methods.
画像特徴量方法と赤外光方法についてそれぞれ説明する。
本発明による画像特徴量方法は、次の手順により入力画像中からマーカを検出する。
（１）マーカを予め撮影しておいた基準画像から画像特徴量を抽出しておく。
（２）入力画像から画像特徴量を抽出する。
（３）画像特徴量同士を照合する。
（４）基準画像から抽出した画像特徴量に適合する入力画像上の画像特徴量の位置をマーカの画像上位置として検出する。
（５）基準画像から抽出した画像特徴量と、入力画像上の適合した画像特徴量との大きさの比を求め、基準画像上のマーカの大きさに画像特徴量同士の大きさの比を乗じた大きさを入力画像上のマーカの大きさとして検出する。
（６）検出したマーカの画像上位置と画像上の大きさを基に、入力画像上でマーカを囲む画像軸に平行な矩形範囲を設定する。
ここで、画像特徴量方法においては、透明フィルム２上のマーカ模様２ａ，２ｂ又はその切り抜き３ａ，３ｂが画像特徴量として抽出されるため、画像特徴量の抽出方式として、参考文献を用いることができる。即ち、マーカ全体を囲む枠の内側の画像特徴量を基にマーカを検出することができ、具体的には、枠を閉曲線として抽出し、さらに閉曲線に囲まれた内側部分の画像の輝度情報を抽出して整理し、画像特徴量を構成する。更には、抽出された閉曲線に外接する最小矩形を計算し、計算された最小矩形から画像特徴量全体の回転方向を決定し、これら最小矩形、回転方向を加えて画像特徴量として抽出する。
また、非特許文献１の方法により局所的な画像特徴量を検出し、基準画像におけるマーカ上の局所的な画像特徴量と適合する画像特徴量が集まっている入力画像上の位置をマーカ位置として検出しても良い。
The image feature amount method and the infrared light method will be described respectively.
The image feature amount method according to the present invention detects a marker from an input image by the following procedure.
(1) An image feature amount is extracted from a reference image obtained by photographing a marker in advance.
(2) Extract image feature values from the input image.
(3) The image feature values are collated.
(4) The position of the image feature amount on the input image that matches the image feature amount extracted from the reference image is detected as the marker image position.
(5) The ratio of the size of the image feature amount extracted from the reference image and the suitable image feature amount on the input image is obtained, and the ratio of the size of the image feature amounts to the size of the marker on the reference image is obtained. The multiplied size is detected as the size of the marker on the input image.
(6) Based on the detected position on the image of the marker and the size on the image, a rectangular range parallel to the image axis surrounding the marker on the input image is set.
Here, in the image feature amount method, since the marker patterns 2a and 2b or the cutouts 3a and 3b on the transparent film 2 are extracted as image feature amounts, a reference document may be used as an image feature amount extraction method. it can. That is, the marker can be detected based on the image feature amount inside the frame surrounding the entire marker. Specifically, the frame is extracted as a closed curve, and the luminance information of the image of the inner part surrounded by the closed curve is further obtained. Extract and organize and configure image features. Further, the minimum rectangle circumscribing the extracted closed curve is calculated, the rotation direction of the entire image feature amount is determined from the calculated minimum rectangle, and the minimum rectangle and the rotation direction are added and extracted as an image feature amount.
Further, a local image feature amount is detected by the method of Non-Patent Document 1, and the position on the input image where the image feature amounts that match the local image feature amount on the marker in the reference image are collected is set as the marker position. It may be detected.
本発明による赤外光方法は、次の手順により入力画像中からマーカを検出する。
（１）入力画像を二値化し二値画像を作成する。
（２）二値画像中から白部分の塊を抽出する。明るい部分として抽出される白部分の塊は、模様２ａ，２ｂ又は模様の切り抜き３ａ，３ｂにより遮られなかった反射シート１の部分である。
（３）抽出した塊に外接する画像軸に平行な矩形範囲を設定する。このようにして設定される矩形範囲は、透明フィルム２上の外枠であるマーカ模様２ｂ又は切り抜き３ｂの内側の領域である。
（４）前回フレームで検出したマーカを囲む矩形範囲と重なっている塊の矩形範囲を選出する。
（５）選出した矩形範囲がマーカであるか否かを判断する。
判断としては、次の検査を行う。即ち、前回フレームで検出したマーカを囲む矩形範囲の面積に対する選出した矩形範囲の面積の比が、予め設定した閾値範囲内であることである。ここで選出した矩形範囲が複数個ある場合は、前回フレームで検出したマーカを囲む矩形範囲の面積に最も近い矩形範囲をマーカとして判断する。
（６）選出した矩形範囲がマーカであると判断した場合、選出した矩形範囲の位置と大きさを、マーカの画像上位置および画像上の大きさとして検出する。
（７）選出した矩形範囲をマーカを囲む矩形範囲として設定する。
The infrared light method according to the present invention detects a marker from an input image by the following procedure.
(1) The input image is binarized to create a binary image.
(2) A white portion block is extracted from the binary image. The white portion lump extracted as the bright portion is the portion of the reflection sheet 1 that is not blocked by the patterns 2a and 2b or the pattern cutouts 3a and 3b.
(3) A rectangular range parallel to the image axis circumscribing the extracted block is set. The rectangular range set in this way is an area inside the marker pattern 2b or the cutout 3b which is the outer frame on the transparent film 2.
(4) Select a rectangular range of a lump that overlaps the rectangular range surrounding the marker detected in the previous frame.
(5) It is determined whether or not the selected rectangular range is a marker.
As a judgment, the following inspection is performed. That is, the ratio of the area of the selected rectangular range to the area of the rectangular range surrounding the marker detected in the previous frame is within a preset threshold range. If there are a plurality of selected rectangular ranges, the rectangular range closest to the area of the rectangular range surrounding the marker detected in the previous frame is determined as a marker.
(6) When it is determined that the selected rectangular range is a marker, the position and size of the selected rectangular range are detected as the position on the image of the marker and the size on the image.
(7) The selected rectangular area is set as a rectangular area surrounding the marker.
画像上でマーカを検出した後は、実空間上のマーカの位置と方向を算出する。
図６に示すように、レンズ焦点に原点を、カメラ光軸上にＸ軸を、鉛直上向きにｚ軸を持つようなカメラ座標系を設定する。
また、マーカ位置の計算を簡単にするため、マーカに回転が無くカメラと正対している、つまり、カメラの光軸に対してマーカは垂直であると仮定する。但し、このような仮定が成立しない場合でも、つまりカメラの光軸に対してマーカが多少傾いていても、実空間上のマーカの位置と方向を概算的に求めることが可能である。
さらに、マーカの画像上位置から撮像素子平面上へ変換した位置を（ｘi，ｙi）
とする。
カメラ座標系原点からマーカを見た際の仰角θと方位角ψは次式で求められる。
θ＝ｔａｎ-1（ｙi／ｆ）
ψ＝ｔａｎ-1（ｘi／ｆ）
After detecting the marker on the image, the position and direction of the marker in the real space are calculated.
As shown in FIG. 6, a camera coordinate system having an origin at the lens focal point, an X axis on the camera optical axis, and a z axis vertically upward is set.
Further, in order to simplify the calculation of the marker position, it is assumed that the marker does not rotate and faces the camera, that is, the marker is perpendicular to the optical axis of the camera. However, even if such an assumption is not satisfied, that is, even if the marker is slightly inclined with respect to the optical axis of the camera, it is possible to roughly determine the position and direction of the marker in the real space.
Further, the position converted from the position on the image of the marker onto the image sensor plane is (x i , y i ).
And
The elevation angle θ and azimuth angle ψ when the marker is viewed from the origin of the camera coordinate system can be obtained by the following equations.
θ = tan −1 (y i / f)
ψ = tan −1 (x i / f)
カメラ座標系上におけるマーカの位置は次のように求められる。
マーカの実寸の対角線長さをＤOとし、撮像素子平面上に投影されたマーカの対角線長さをｄとする。レンズ焦点距離をｆとし、カメラ座標系原点からマーカの実位置のｘ軸成分Ｘ（＝Ｌ）は、次の比例関係が成り立つ。
ＤO：Ｘ＝ｄ：ｆ
よってマーカまで位置のｘ軸成分Ｘは次式で求められる。
Ｘ＝（ＤO／ｄ）ｘｆ
次にｙ軸成分Ｙとｚ軸成分Ｚはマーカまで位置のｘ軸成分Ｘとマーカの方向を示す角度を用いて、次式で求められる。
Ｙ＝Ｘｔａｎ（ψ）
Ｚ＝Ｘｔａｎ（θ）
The position of the marker on the camera coordinate system is obtained as follows.
The actual diagonal length of the marker is D O, and the diagonal length of the marker projected on the image sensor plane is d. Let the lens focal length be f, and the x-axis component X (= L) from the camera coordinate system origin to the actual position of the marker has the following proportional relationship.
D O : X = d: f
Therefore, the x-axis component X at the position up to the marker is obtained by the following equation.
X = (D O / d) xf
Next, the y-axis component Y and the z-axis component Z are obtained by the following equations using the x-axis component X at the position up to the marker and the angle indicating the direction of the marker.
Y = X tan (ψ)
Z = Xtan (θ)
本発明では、マーカの実空間上での位置と方向を次の手順により算出する。
（１）検出したマーカの画像上位置と矩形範囲を撮像素子平面上でのマーカの位置と矩形範囲へ変換する。
（２）マーカの画像素子平面上での位置を基にマーカの方向を示す角度を算出する。
（３）マーカの矩形範囲の対角線長さとマーカの方向を基にマーカの実空間上の位置を算出する。
尚、撮像素子平面上に変換することなく、検出したマーカの画像上の位置と矩形範囲からマーカの実空間上の位置と矩形範囲を直接に求めることも可能である。また、実施例として、マーカは、図１，図２に示すように、矩形の反射シート１上に外枠としてマーカ模様２ｂ、切り抜き３ｂを設けたものであったが、それ以外の形状であっても、大まかなマーカの方向と位置とを求めることは可能である。
In the present invention, the position and direction of the marker in the real space are calculated by the following procedure.
(1) The detected image position and rectangular range of the marker are converted into the marker position and rectangular range on the imaging device plane.
(2) An angle indicating the direction of the marker is calculated based on the position of the marker on the image element plane.
(3) The position of the marker in real space is calculated based on the diagonal length of the rectangular range of the marker and the direction of the marker.
In addition, it is also possible to obtain | require the position in the real space and rectangular range of a marker directly from the position and rectangular range of the detected marker, without converting on an image pick-up element plane. Further, as an example, as shown in FIGS. 1 and 2, the marker is provided with a marker pattern 2b and a cutout 3b as an outer frame on a rectangular reflection sheet 1, but it has other shapes. However, it is possible to obtain a rough marker direction and position.
実施例２として、本発明に係るマーカ検出および追跡装置の演算処理部を図８に示す。
図８に示すように、演算処理部は、処理設定部１００、画像データ入力部１１０、マーカ検出方法選択部１２０、画像特徴量抽出部１３０、画像特徴量照合部１４０、画像特徴量によるマーカ位置検出部１５０、画像特徴量によるマーカ大きさ検出部１６０、マーカ矩形範囲設定部１７０、二値画像作成部１８０、塊抽出部１９０、塊矩形範囲設定部２００、マーカ塊検出部２１０、二値化によるマーカ位置マーカ大きさ検出部２２０、画像上から撮像素子平面上への座標変換部２３０、マーカ方向および位置算出部２４０、記憶部２５０、データ出力部２６０から構成する。
As Example 2, an arithmetic processing unit of the marker detection and tracking apparatus according to the present invention is shown in FIG.
As shown in FIG. 8, the arithmetic processing unit includes a processing setting unit 100, an image data input unit 110, a marker detection method selection unit 120, an image feature amount extraction unit 130, an image feature amount matching unit 140, and a marker position based on an image feature amount. Detection unit 150, marker size detection unit 160 based on image feature amount, marker rectangular range setting unit 170, binary image creation unit 180, block extraction unit 190, block rectangular range setting unit 200, marker block detection unit 210, binarization The marker position marker size detection unit 220 includes a coordinate conversion unit 230 from the image to the imaging element plane, a marker direction and position calculation unit 240, a storage unit 250, and a data output unit 260.
処理設定部１００では、画像特徴量抽出用のパラメータ・二値化閾値・カメラパラメータ・距離閾値等の各パラメータを設定する。
画像データ入力部１１０では、撮像部から画像データを入力し記憶部２５０へ保管する。
マーカ検出方法選択部１２０では、現在のマーカ位置に応じて次回フレームでのマーカ検出方法を選択し、画像特徴量抽出部１３０、画像特徴量照合部１４０、画像特徴量によるマーカ位置検出部１５０、画像特徴量によるマーカ大きさ検出部１６０、マーカ矩形範囲設定部１７０、二値画像作成部１８０、塊抽出部１９０、塊矩形範囲設定部２００、マーカ塊検出部２１０、二値化によるマーカ位置マーカ大きさ検出部２２０へマーカ検出指令を出力する。
画像特徴量抽出部１３０では、入力画像から画像特徴量を抽出する。
The process setting unit 100 sets parameters such as parameters for image feature amount extraction, binarization threshold, camera parameters, and distance threshold.
In the image data input unit 110, image data is input from the imaging unit and stored in the storage unit 250.
The marker detection method selection unit 120 selects a marker detection method in the next frame in accordance with the current marker position, an image feature amount extraction unit 130, an image feature amount matching unit 140, a marker position detection unit 150 based on an image feature amount, Marker size detection unit 160 by image feature amount, marker rectangular range setting unit 170, binary image creation unit 180, block extraction unit 190, block rectangular range setting unit 200, marker block detection unit 210, marker position marker by binarization A marker detection command is output to the size detection unit 220.
The image feature amount extraction unit 130 extracts an image feature amount from the input image.
画像特徴量照合部１４０では、基準画像から抽出した画像特徴量と入力画像から抽出した画像特徴量との照合を行い、入力画像におけるマーカ有無を判断する。
画像特徴量によるマーカ位置検出部１５０では、画像特徴量の照合結果を基にマーカの画像上位置を検出する。
画像特徴量によるマーカ大きさ検出部１６０では、画像特徴量の照合結果を基にマーカの画像上の大きさを検出する。
マーカ矩形範囲設定部１７０では、画像特徴量の照合結果を基に検出したマーカの画像上位置とマーカの画像上の大きさを基に、マーカを囲む矩形範囲を設定する。
The image feature amount matching unit 140 compares the image feature amount extracted from the reference image with the image feature amount extracted from the input image, and determines the presence or absence of a marker in the input image.
The marker position detection unit 150 based on the image feature amount detects the position of the marker on the image based on the collation result of the image feature amount.
The marker size detection unit 160 based on the image feature amount detects the size of the marker on the image based on the result of matching the image feature amount.
The marker rectangular range setting unit 170 sets a rectangular range surrounding the marker based on the position on the image of the marker detected based on the collation result of the image feature amount and the size of the marker on the image.
二値画像作成部１８０では、画像を二値化し二値画像を作成する。
塊抽出部１９０では、二値画像中から白部分の塊を抽出する。
塊矩形範囲設定部２００では、塊に外接する画像軸に平行な矩形範囲を設定する。
マーカ塊検出部２１０では、検出した塊の中から、塊の矩形範囲を基にマーカに相当する塊を検出する。具体的には、前述した通り、前回フレームで検出したマーカを囲む矩形範囲の面積に対する選出した矩形範囲の面積の比が、予め設定した閾値範囲内であることを条件としても良いし、後述するように、前回フレームで検出したマーカを囲む矩形範囲と重なっている塊の矩形範囲を選出しても良い。
二値化によるマーカ位置マーカ大きさ検出部２２０では、マーカに相当する塊について、マーカの画像上位置および画像上の大きさを検出し、マーカに相当する塊の矩形範囲をマーカの矩形範囲として設定する。
The binary image creation unit 180 binarizes the image and creates a binary image.
The lump extracting unit 190 extracts a white portion lump from the binary image.
The lump rectangle range setting unit 200 sets a rectangle range parallel to the image axis circumscribing the lump.
The marker lump detection unit 210 detects a lump corresponding to the marker from the detected lump based on the rectangular range of the lump. Specifically, as described above, the ratio of the area of the selected rectangular range to the area of the rectangular range surrounding the marker detected in the previous frame may be within a preset threshold range, which will be described later. As described above, a rectangular range of a lump that overlaps the rectangular range surrounding the marker detected in the previous frame may be selected.
The marker position marker size detection unit 220 by binarization detects the position on the image of the marker and the size on the image of the lump corresponding to the marker, and sets the rectangular range of the lump corresponding to the marker as the rectangular range of the marker Set.
画像上から撮像素子平面上への座標変換部２３０では、マーカの位置や矩形範囲を示す矩形の頂点位置等の位置データを画像上から撮像素子平面上へ座標変換して、撮像素子平面上の位置を求める。
マーカ方向および位置算出部２４０では、マーカの撮像素子平面上の位置および矩形範囲を基に、マーカの実空間上の位置と方向を算出する。
記憶部２５０では、各種データの保管を行う。
データ出力部２６０ではマーカ有無・マーカの実空間上の位置や方向等のマーカ検出結果を外部へ出力する。
The coordinate conversion unit 230 from the image to the image sensor plane converts the position data such as the marker position and the rectangular vertex position indicating the rectangular range from the image to the image sensor plane, Find the position.
The marker direction and position calculation unit 240 calculates the position and direction of the marker in the real space based on the position of the marker on the imaging device plane and the rectangular range.
The storage unit 250 stores various data.
The data output unit 260 outputs marker detection results such as the presence / absence of the marker and the position and direction of the marker in the real space to the outside.
上述した装置によれば、カメラからマーカまでの距離が近傍から遠方までの広範囲に変化した場合においても、赤外線照明の届く範囲であれば、安定してマーカを検出することができる。
本発明によるマーカ検出および追跡処理のフローチャートを図７に示す。
図７に示すように、マーカを予め撮影しておいた基準画像から画像特徴量を抽出しておき（ステップＳ１）、画像データ入力部１１０が撮像部から画像データを入力する（ステップＳ２）。
According to the above-described apparatus, even when the distance from the camera to the marker changes in a wide range from near to far, the marker can be detected stably as long as the infrared illumination reaches.
A flowchart of marker detection and tracking processing according to the present invention is shown in FIG.
As shown in FIG. 7, an image feature amount is extracted from a reference image in which a marker is captured in advance (step S1), and the image data input unit 110 inputs image data from the imaging unit (step S2).
次に、マーカ検出方法選択部１２０によりマーカ検出方法として、画像特徴量方法又は赤外光方法が選択されているか判定する（ステップＳ３）。
ステップＳ３において、画像特徴量方法が選択されていると判定されると、画像特徴量抽出部１３０により入力画像から画像特徴量を抽出し（ステップＳ４）、画像特徴量照合部１４０が基準画像から抽出した画像特徴量と入力画像から抽出した画像特徴量との照合を行い（ステップＳ５）、入力画像におけるマーカ有無を判断する（ステップＳ６）。
ステップＳ６において、マーカ無と判断されたとき、即ち、マーカ検出に成功しなかったときには、マーカ位置のリセットを行い（ステップＳ７）、ステップＳ２以降を繰り返す。
Next, it is determined whether an image feature amount method or an infrared light method is selected as a marker detection method by the marker detection method selection unit 120 (step S3).
If it is determined in step S3 that the image feature quantity method is selected, the image feature quantity extraction unit 130 extracts the image feature quantity from the input image (step S4), and the image feature quantity collation unit 140 determines from the reference image. The extracted image feature quantity is compared with the image feature quantity extracted from the input image (step S5), and the presence / absence of a marker in the input image is determined (step S6).
If it is determined in step S6 that there is no marker, that is, if marker detection is not successful, the marker position is reset (step S7), and step S2 and subsequent steps are repeated.
一方、ステップＳ６において、マーカ有と判断されたとき、即ち、マーカ検出に成功したときには、画像特徴量によるマーカ位置検出部１５０により画像特徴量の照合結果を基にマーカの画像上の位置を検出し（ステップＳ８）、画像特徴量によるマーカ大きさ検出部１６０により画像特徴量の照合結果を基にマーカの画像上の大きさを検出し（ステップＳ９）、マーカ矩形範囲設定部１７０により画像特徴量の照合結果を基に検出したマーカの画像上位置とマーカの画像上の大きさを基に、マーカを囲む矩形範囲を設定する（ステップＳ１０）。 On the other hand, when it is determined in step S6 that the marker is present, that is, when marker detection is successful, the marker position detection unit 150 based on the image feature amount detects the position of the marker on the image based on the result of collating the image feature amount. (Step S8), the marker size detection unit 160 based on the image feature amount detects the size of the marker on the image based on the collation result of the image feature amount (Step S9), and the marker rectangle range setting unit 170 detects the image feature. A rectangular range surrounding the marker is set based on the position of the marker on the image and the size of the marker detected on the basis of the result of collating the amounts (step S10).
他方、ステップＳ３において、赤外光方法が選択されていると判定されると、二値画像作成部１８０により入力画像を二値化して二値画像を作成し（ステップＳ１１）、塊抽出部１９０により二値画像中から白部分の塊を抽出し（ステップＳ１２）、塊矩形範囲設定部２００により塊に外接する画像軸に平行な矩形範囲を設定する（ステップＳ１３）。
そして、マーカ塊検出部２１０により前回フレームで検出したマーカを囲む矩形範囲と重なっている塊の矩形範囲を選出し（ステップＳ１４）、選出した矩形範囲をマーカと判断する（ステップＳ１５）。
ステップＳ１５にて、マーカとして判断された矩形範囲があるか否か、即ち、マーカ検出が成功したか否か判断し（ステップＳ１６）、マーカとして判断された矩形範囲がないとき、即ち、マーカ検出に成功しなかったときには、ステップＳ７にてマーカのリセットを行い、ステップＳ２以降を繰り返す。
On the other hand, if it is determined in step S3 that the infrared light method is selected, the binary image creating unit 180 binarizes the input image to create a binary image (step S11), and the lump extracting unit 190 Thus, a white portion block is extracted from the binary image (step S12), and a rectangular range parallel to the image axis circumscribing the block is set by the block rectangular range setting unit 200 (step S13).
Then, a rectangular range of a lump that overlaps the rectangular range surrounding the marker detected in the previous frame by the marker lump detection unit 210 is selected (step S14), and the selected rectangular range is determined as a marker (step S15).
In step S15, it is determined whether or not there is a rectangular range determined as a marker, that is, whether or not marker detection is successful (step S16), and when there is no rectangular range determined as a marker, that is, marker detection. If not successful, the marker is reset in step S7, and step S2 and subsequent steps are repeated.
逆に、マーカとして判断された矩形範囲があるとき、即ち、ステップＳ１６にて、マーカ検出が成功したときには、二値化によるマーカ位置マーカ大きさ検出部２２０によりマーカに相当する塊の矩形範囲について、マーカの画像上位置および画像上の大きさを検出し（ステップＳ１７）、マーカを囲む矩形範囲を設定する（ステップＳ１８）。マーカを囲む矩形範囲を設定するとは、マーカに相当する塊の矩形範囲をマーカの矩形範囲として設定することである。
このようにステップＳ４〜Ｓ１０又はＳ１１〜Ｓ１８の処理が終了して、画像特徴量方法又は赤外線方法により、マーカの矩形範囲が設定された後は、引き続き、画像上から撮像素子平面上への座標変換部２３０によりマーカの位置や矩形範囲を示す矩形の頂点位置等の位置データを画像上から撮像素子平面上へ座標変換して、撮像素子平面上の位置を求める（ステップＳ１９）。
そして、マーカ方向および位置算出部２４０によりマーカの撮像素子平面上の位置および矩形範囲を基に、マーカの実空間上の位置と方向を算出する（ステップＳ２０，Ｓ２１）。
On the contrary, when there is a rectangular range determined as a marker, that is, when marker detection is successful in step S16, the binarized marker position marker size detection unit 220 uses the binarized rectangular range corresponding to the marker. Then, the position on the image and the size of the marker on the image are detected (step S17), and a rectangular range surrounding the marker is set (step S18). Setting the rectangular range surrounding the marker means setting the rectangular range of the block corresponding to the marker as the rectangular range of the marker.
After the processing of steps S4 to S10 or S11 to S18 is completed in this way and the rectangular range of the marker is set by the image feature method or the infrared method, the coordinates from the image to the imaging device plane are continued. The conversion unit 230 performs coordinate conversion of the position data such as the marker position and the rectangular vertex position indicating the rectangular range from the image to the image sensor plane to obtain the position on the image sensor plane (step S19).
Then, the marker direction and position calculation unit 240 calculates the position and direction of the marker in the real space based on the position of the marker on the imaging device plane and the rectangular range (steps S20 and S21).
その後、処理を停止すべきか否か判定し（ステップＳ２２）、処理を停止すべきときには、終了すべきか否か判定し（ステップＳ２３）、終了すべきでないときには、ステップＳ７にてマーカのリセットを行い、ステップＳ２以降を繰り返す一方、終了すべきときには終了する。 Thereafter, it is determined whether or not the process should be stopped (step S22). If the process should be stopped, it is determined whether or not the process should be ended (step S23). If not, the marker is reset in step S7. Step S2 and subsequent steps are repeated, and when it should be ended, the process ends.
本発明のマーカの検出および追跡装置は、画像処理によりマーカを検出し、そのマーカを追跡する装置として広く産業上利用可能なものである。 The marker detection and tracking device according to the present invention is widely industrially available as a device for detecting a marker by image processing and tracking the marker.
１ 反射シート
２ 透明シート
２ａ，２ｂ マーカ模様
３ａ，３ｂ マーカ模様の切り抜き（切り絵）
４ カメラ
５ 赤外線透過フィルタ
６ 赤外線照明器
１０ マーカ
２０ 人物
３０ 角柱物
４０ 画像
１００ 処理設定部
１１０ 画像データ入力部
１２０ マーカ検出方法選択部
１３０ 画像特徴量抽出部
１４０ 画像特徴量照合部
１５０ 画像特徴量によるマーカ位置検出部
１６０ 画像特徴量によるマーカ大きさ検出部
１７０ マーカ矩形範囲設定部
１８０ 二値画像作成部
１９０ 塊抽出部
２００ 塊矩形範囲設定部
２１０ マーカ塊検出部
２２０ 二値化によるマーカ位置マーカ大きさ検出部
２３０ 画像上から撮像素子平面上への座標変換部
２４０ マーカ方向および位置算出部
２５０ 記憶部
２６０ データ出力部
DESCRIPTION OF SYMBOLS 1 Reflection sheet 2 Transparent sheet 2a, 2b Marker pattern 3a, 3b Marker pattern clipping (cutting out)
DESCRIPTION OF SYMBOLS 4 Camera 5 Infrared transmission filter 6 Infrared illuminator 10 Marker 20 Person 30 Square pillar 40 Image 100 Process setting part 110 Image data input part 120 Marker detection method selection part 130 Image feature-value extraction part 140 Image feature-value collation part 150 Image feature-value Marker position detection unit 160 based on image feature amount Marker size detection unit 170 Marker rectangular range setting unit 180 Binary image creation unit 190 Block extraction unit 200 Block rectangular range setting unit 210 Marker block detection unit 220 Marker position marker based on binarization Size detection unit 230 Coordinate conversion unit from image to image sensor plane 240 Marker direction and position calculation unit 250 Storage unit 260 Data output unit
Claims (4)
前記マーカとしては、赤外光を反射する反射シートを下地として、マーカ模様を印刷した透明シートを前記下地に貼り付けて構成するか、又は、マーカ模様の切り抜きを前記下地に直接貼り付けて構成し、
前記撮影部としては、前記マーカを撮影するカメラの前に赤外線透過フィルタを設置すると共に前記カメラの近傍に赤外線照明を設置してなり、
前記演算処理部としては、前記マーカと前記カメラの距離が近距離のときには前記カメラにより撮影された入力画像の画像特徴量により前記マーカを検出する画像特徴量方法と、前記マーカと前記カメラとの距離がある程度離れた遠距離においては前記カメラにより撮影された入力画像の赤外光を基に前記マーカを追跡する赤外光方法とを切り替えて適用する演算処理を行うことを特徴とするマーカの検出および追跡装置。 In a marker detection and tracking device comprising a marker, an imaging unit that images the marker, and an arithmetic processing unit that performs arithmetic processing on an image captured by the imaging unit,
As the marker, a reflective sheet that reflects infrared light is used as a base, and a transparent sheet on which a marker pattern is printed is attached to the base, or a marker pattern cutout is attached directly to the base. And
As the photographing unit, an infrared transmission filter is installed in front of the camera for photographing the marker and infrared illumination is installed in the vicinity of the camera,
The arithmetic processing unit includes: an image feature amount method for detecting the marker based on an image feature amount of an input image captured by the camera when a distance between the marker and the camera is a short distance; and the marker and the camera In a long distance at a certain distance, an arithmetic process is performed to switch and apply an infrared light method for tracking the marker based on the infrared light of the input image taken by the camera. Detection and tracking device.
画像特徴量抽出用のパラメータ・二値化閾値・カメラパラメータ・距離閾値等の各パラメータを設定する処理設定部と、
前記撮像部から画像データを入力し記憶部へ保管する画像データ入力部と、
現在のマーカ位置に応じて次回フレームでのマーカ検出方法として、前記特徴量方法又は前記赤外光方法を切り替えるマーカ検出方法選択部と、
前記撮像部から入力された入力画像から画像特徴量を抽出する画像特徴量抽出部と、
基準画像から抽出した画像特徴量と入力画像から抽出した画像特徴量との照合を行い、入力画像におけるマーカ有無を判断する画像特徴量照合部と、
画像特徴量の照合結果を基にマーカの画像上位置を検出する画像特徴量によるマーカ位置検出部と、
画像特徴量の照合結果を基にマーカの画像上の大きさを検出する画像特徴量によるマーカ大きさ検出部と、
画像特徴量の照合結果を基に検出したマーカの画像上位置とマーカの画像上の大きさを基に、マーカを囲む矩形範囲を設定するマーカ矩形範囲設定部と、
前記撮像部から入力された入力画像を二値化し二値画像を作成する二値画像作成部と、
二値画像中から白部分の塊を抽出する塊抽出部と、
塊に外接する画像軸に平行な矩形範囲を設定する塊矩形範囲設定部と、
検出した塊の中から、塊の矩形範囲を基にマーカに相当する塊を検出するマーカ塊検出部と、
マーカに相当する塊について、マーカの画像上位置および画像上の大きさを検出し、マーカに相当する塊の矩形範囲をマーカの矩形範囲として設定する二値化によるマーカ位置マーカ大きさ検出部と、
マーカの位置や矩形範囲を示す矩形の頂点位置等の位置データを画像上から撮像素子平面上へ座標変換して、撮像素子平面上の位置を求める画像上から撮像素子平面上への座標変換部と、
マーカの撮像素子平面上の位置および矩形範囲を基に、マーカの実空間上の位置と方向を算出するマーカ方向および位置算出部と、
各種データの保管を行う前記記憶部と、
マーカ有無・マーカの実空間上の位置や方向のマーカ検出結果を外部へ出力するデータ出力部と、
から構成することを特徴とするマーカの検出および追跡装置。 The marker detection and tracking device according to claim 1, 2, or 3, wherein the arithmetic processing unit is
A processing setting unit for setting each parameter such as a parameter for image feature amount extraction, a binarization threshold, a camera parameter, and a distance threshold;
An image data input unit for inputting image data from the imaging unit and storing it in a storage unit;
As a marker detection method in the next frame according to the current marker position, a marker detection method selection unit that switches between the feature value method or the infrared light method, and
An image feature amount extraction unit that extracts an image feature amount from an input image input from the imaging unit;
An image feature amount matching unit that performs matching between the image feature amount extracted from the reference image and the image feature amount extracted from the input image, and determines the presence or absence of a marker in the input image;
A marker position detection unit based on an image feature value for detecting the position of the marker on the image based on the image feature value comparison result;
A marker size detection unit based on an image feature value for detecting the size of the marker on the image based on the result of matching the image feature value;
A marker rectangular range setting unit for setting a rectangular range surrounding the marker based on the position on the image of the marker detected based on the result of collating the image feature amount and the size of the marker on the image;
A binary image creating unit that binarizes an input image input from the imaging unit and creates a binary image;
A lump extraction unit for extracting a lump of a white portion from a binary image;
A block rectangular range setting unit for setting a rectangular range parallel to the image axis circumscribing the block;
A marker lump detection unit that detects a lump corresponding to a marker based on a rectangular range of the lump from the detected lump;
A marker position marker size detection unit by binarization that detects the position of the marker on the image and the size on the image for the block corresponding to the marker, and sets the rectangular range of the block corresponding to the marker as the rectangular range of the marker; ,
A coordinate conversion unit for converting the position data such as the position of the marker and the vertex position of the rectangle indicating the rectangular range from the image to the image sensor plane to obtain the position on the image sensor plane from the image to the image sensor plane When,
Based on the position of the marker on the imaging device plane and the rectangular range, the marker direction and position calculation unit for calculating the position and direction of the marker in real space;
The storage unit for storing various data;
A data output unit that outputs the marker detection result of the marker presence / absence / marker real space position and direction to the outside,
A marker detection and tracking device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011249365A JP5862217B2 (en) | 2011-11-15 | 2011-11-15 | Marker detection and tracking device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011249365A JP5862217B2 (en) | 2011-11-15 | 2011-11-15 | Marker detection and tracking device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013106238A true JP2013106238A (en) | 2013-05-30 |
| JP5862217B2 JP5862217B2 (en) | 2016-02-16 |
Family
ID=48625464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011249365A Expired - Fee Related JP5862217B2 (en) | 2011-11-15 | 2011-11-15 | Marker detection and tracking device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5862217B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018078431A (en) * | 2016-11-09 | 2018-05-17 | 日本放送協会 | Object tracker and its program |
| JP2022134212A (en) * | 2021-03-03 | 2022-09-15 | ドリルマシン株式会社 | Excavation system using self-luminous marker |
| JP2022175245A (en) * | 2021-05-13 | 2022-11-25 | ドリルマシン株式会社 | Rock bolt hole drilling system using self-luminous marker |
| JP7291995B1 (en) | 2022-01-07 | 2023-06-16 | ドリルマシン株式会社 | Pre-receiving steel pipe placing position guidance system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1013729A (en) * | 1996-06-19 | 1998-01-16 | Matsushita Electric Works Ltd | Tracking device |
| JP2000050145A (en) * | 1998-05-26 | 2000-02-18 | Matsushita Electric Works Ltd | Automatic tracking device |
-
2011
- 2011-11-15 JP JP2011249365A patent/JP5862217B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1013729A (en) * | 1996-06-19 | 1998-01-16 | Matsushita Electric Works Ltd | Tracking device |
| JP2000050145A (en) * | 1998-05-26 | 2000-02-18 | Matsushita Electric Works Ltd | Automatic tracking device |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018078431A (en) * | 2016-11-09 | 2018-05-17 | 日本放送協会 | Object tracker and its program |
| JP2022134212A (en) * | 2021-03-03 | 2022-09-15 | ドリルマシン株式会社 | Excavation system using self-luminous marker |
| JP7278021B2 (en) | 2021-03-03 | 2023-05-19 | ドリルマシン株式会社 | Drilling system using self-luminous markers |
| JP2022175245A (en) * | 2021-05-13 | 2022-11-25 | ドリルマシン株式会社 | Rock bolt hole drilling system using self-luminous marker |
| JP7278022B2 (en) | 2021-05-13 | 2023-05-19 | ドリルマシン株式会社 | Rock bolt drilling system using self-luminous markers |
| JP7291995B1 (en) | 2022-01-07 | 2023-06-16 | ドリルマシン株式会社 | Pre-receiving steel pipe placing position guidance system |
| JP2023101082A (en) * | 2022-01-07 | 2023-07-20 | ドリルマシン株式会社 | Pre-receiver steel pipe driving position guidance system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5862217B2 (en) | 2016-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10152634B2 (en) | Methods and systems for contextually processing imagery | |
| JP4263737B2 (en) | Pedestrian detection device | |
| JP5423631B2 (en) | Image recognition device | |
| JP5747549B2 (en) | Signal detector and program | |
| JP2007156626A (en) | Object type determination device and object type determination method | |
| JP2016166853A (en) | Location estimation device and location estimation method | |
| JP4987826B2 (en) | Number plate recognition method and number plate recognition apparatus | |
| CN108197523A (en) | Vehicle detection at night method and system based on image conversion and profile neighborhood difference | |
| JP5065172B2 (en) | Vehicle lighting determination device and program | |
| JP2018063680A (en) | Traffic signal recognition method and traffic signal recognition device | |
| JP5862217B2 (en) | Marker detection and tracking device | |
| JP2019109624A (en) | Information processing apparatus, program, and information processing method | |
| JP2015064752A (en) | Vehicle monitoring device and vehicle monitoring method | |
| JP2019020956A (en) | Vehicle surroundings recognition device | |
| JP5200861B2 (en) | Sign judging device and sign judging method | |
| JP2011209896A (en) | Obstacle detecting apparatus, obstacle detecting method, and obstacle detecting program | |
| CN114760410A (en) | Systems, methods, and apparatus for focus selection using image disparity | |
| JP2023043632A (en) | Information processor, program, and method for positioning | |
| JP2010286995A (en) | Image processing system for vehicle | |
| JP4611919B2 (en) | Pedestrian recognition device | |
| JP5447164B2 (en) | Mobile object identification apparatus, computer program, and mobile object identification method | |
| JP3475700B2 (en) | Object recognition method, object recognition device, and vehicle recognition device | |
| JP2004334288A (en) | Engraved letter recognition device and method | |
| JP2009193130A (en) | Vehicle surrounding monitoring device, vehicle, program for vehicle surrounding monitoring and vehicle surrounding monitoring method | |
| US10621746B2 (en) | Methods and apparatus for rapidly dimensioning an object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140916 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150430 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150526 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150615 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151214 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5862217 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |
|
| LAPS | Cancellation because of no payment of annual fees |