JP2016139172A - Airport monitoring device - Google Patents
Airport monitoring device Download PDFInfo
- Publication number
- JP2016139172A JP2016139172A JP2015012131A JP2015012131A JP2016139172A JP 2016139172 A JP2016139172 A JP 2016139172A JP 2015012131 A JP2015012131 A JP 2015012131A JP 2015012131 A JP2015012131 A JP 2015012131A JP 2016139172 A JP2016139172 A JP 2016139172A
- Authority
- JP
- Japan
- Prior art keywords
- target object
- model
- airport
- dimensional
- aircraft
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
この発明は、空港面の管制作業を支援する空港監視装置に関する。 The present invention relates to an airport monitoring device that supports airport surface control work.
従来の空港監視装置では、空港面の管制作業を支援する空港監視装置において、特に画像認識処理及び文字認識処理を用いて、管制作業の負荷の軽減や警報の自動化を図っている(例えば特許文献1参照)。 In the conventional airport monitoring device, in the airport monitoring device that supports airport surface control work, particularly, image recognition processing and character recognition processing are used to reduce the load of control work and to automate alarms (for example, Patent Documents). 1).
具体的には、過密化する空港面において空港面を移動する全ての航空機及び車両の位置と識別番号を認識し、衝突の可能性がある対象物に対して衝突警報を自動的に発することにより、航空管制官の管制業務の軽減及び空港面の安全性を高めるために、以下の空港監視装置が開示されている。空港面の数箇所に設置したビデオカメラの画像データと画像処理による文字認識を用いて、空港面を移動する全ての航空機や車両の便名や車両番号、移動方向、及び位置を認識し、空港面探知レーダとの相関を取って表示する。また、衝突警告を空港面に自動的に発信する衝突警告送信装置と、発信された情報を受けて警告を発する航空機・車両搭載衝突警告受信装置を有している。 Specifically, by recognizing the position and identification number of all aircraft and vehicles moving on the airport surface in an overcrowded airport surface, and automatically issuing a collision warning for objects that may collide In order to reduce the air traffic controller's control duties and improve the safety of the airport, the following airport monitoring devices are disclosed. Using the image data of video cameras installed at several locations on the airport surface and character recognition by image processing, it recognizes the flight name, vehicle number, moving direction and position of all aircraft and vehicles moving on the airport surface. Display with correlation with surface detection radar. In addition, it has a collision warning transmission device that automatically transmits a collision warning to the airport surface, and an aircraft / vehicle collision warning reception device that issues a warning in response to the transmitted information.
しかしながら、1つのカメラを用いた目標物体の座標推定は、地面と目標物体の接地面を正確に求める必要がある。先行例では、重心や検出領域の下端を用いているが、検出領域の欠けや影の影響、夜間では精度が低下するという問題点があった。 However, for target object coordinate estimation using one camera, it is necessary to accurately determine the ground and the ground contact surface of the target object. In the preceding example, the center of gravity and the lower end of the detection area are used, but there are problems that the detection area is missing or affected by shadows, and the accuracy is reduced at night.
この発明の目的は以上の問題点を解決し、単眼カメラを用いた目標物体の座標推定において目標物体の位置を正確に求めることができる空港監視装置を提供することにある。 An object of the present invention is to provide an airport monitoring apparatus that solves the above problems and can accurately determine the position of a target object in the coordinate estimation of the target object using a monocular camera.
この発明に係る空港監視装置は、
所定の目標物体を含む空港面を撮影して当該空港面の画像信号を出力する撮像手段と、
上記撮影された画像の画像信号から上記目標物体を検出する目標物体検出手段と、
上記目標物体の輪郭データである所定のエッジモデルを用いて上記検出した目標物体を上記空港面において位置合わせを行って、位置合わせ結果の画像信号を出力する位置合わせ手段と、
上記位置合わせ結果の画像信号に基づいて、上記空港面上の上記目標物体の位置を推定する位置推定手段とを備えることを特徴とする。
The airport monitoring device according to the present invention is
Imaging means for photographing an airport surface including a predetermined target object and outputting an image signal of the airport surface;
Target object detection means for detecting the target object from the image signal of the captured image;
Alignment means for aligning the detected target object on the airport surface using a predetermined edge model, which is contour data of the target object, and outputting an image signal of the alignment result;
And a position estimating means for estimating the position of the target object on the airport surface based on the image signal of the alignment result.
この発明に係る空港監視装置によれば、カメラを用いた目標物体の位置推定精度が日照条件に頑健になり、精度が向上する。また、精度が向上することにより、他のレーダなどの情報との整合が容易になる。 According to the airport monitoring apparatus according to the present invention, the position estimation accuracy of the target object using the camera is robust to the sunshine conditions, and the accuracy is improved. In addition, since the accuracy is improved, matching with information such as other radars is facilitated.
以下、この発明に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。 Embodiments according to the present invention will be described below with reference to the drawings. In addition, in each following embodiment, the same code | symbol is attached | subjected about the same component.
実施の形態1.
図1はこの発明の実施の形態1に係る空港監視装置の動作を示す概略図である。また、図2は図1の空港監視装置の構成を示すブロック図である。図2において、実施の形態1に係る空港監視装置は、カメラ1と、目標物体検出部2と、2次元エッジモデルによる精密位置合わせ部3と、位置推定部4と、空港面3Dデータメモリ5と、結果表示部6と、航空機情報メモリ7と、2次元エッジモデルメモリ8とを備えて構成される。
Embodiment 1 FIG.
1 is a schematic diagram showing the operation of an airport monitoring apparatus according to Embodiment 1 of the present invention. FIG. 2 is a block diagram showing the configuration of the airport monitoring apparatus of FIG. In FIG. 2, the airport monitoring apparatus according to the first embodiment includes a camera 1, a target object detection unit 2, a precise alignment unit 3 based on a two-dimensional edge model, a
図1に示すように、実施の形態1では、カメラ1で目標物体である航空機を含む空港面を撮影し、このカメラ1から得られる画像の画像信号を用いて、航空機を検出する。そして、検出された航空機の領域に対して、予め作成しておいた航空機のエッジモデルを当てはめる。最後に、航空機が路面上と設置する座標から地図上への位置座標へ変換し、航空機の推定位置の検出結果を出力する。以下、図2を参照して、実施の形態1に係る空港監視装置について詳細説明する。 As shown in FIG. 1, in the first embodiment, an airport surface including an aircraft that is a target object is photographed with a camera 1, and an aircraft is detected using an image signal of an image obtained from the camera 1. Then, an aircraft edge model prepared in advance is applied to the detected aircraft area. Finally, the coordinates of the aircraft on the road surface are converted to the coordinates on the map, and the detection result of the estimated position of the aircraft is output. Hereinafter, the airport monitoring apparatus according to the first embodiment will be described in detail with reference to FIG.
図2において、カメラ1は目標物体である航空機を含む空港面を撮影し、撮影した画像の画像信号を目標物体検出部2、精密位置合わせ部3及び結果表示部6に転送する。目標物体検出部b2は、転送された画像信号の画像から航空機の空港面内での領域を検出し、検出した航空機の領域を2次元エッジモデルによる精密位置合わせ部3と結果表示部6に転送する。なお、結果表示部6は例えば液晶ディスプレイであって、入力される画像信号の画像を表示する。
In FIG. 2, the camera 1 captures an airport surface including an aircraft as a target object, and transfers an image signal of the captured image to the target object detection unit 2, the precise alignment unit 3, and the
図3は図2の目標物体検出部2による目標物体検出処理を示すフローチャートである。図3において、まず、ステップST1では、得られた画像と、基準画像(背景画像)とを用いて、画像内の静止物体のぶれ量を推定する。ぶれ量の計算は、背景画像I0(u座標,v座標,カラーチャンネル(3))と現フレームの画像It(u座標,v座標,カラーチャンネル(3))とすると、以下の式を満たすぶれ量(ub,vb)を算出することとなる。 FIG. 3 is a flowchart showing target object detection processing by the target object detection unit 2 of FIG. In FIG. 3, first, in step ST1, using the obtained image and the reference image (background image), the blur amount of a stationary object in the image is estimated. The amount of blur is calculated using the following expression when the background image I 0 (u coordinate, v coordinate, color channel (3)) and the current frame image I t (u coordinate, v coordinate, color channel (3)) are used. The amount of blurring (u b , v b ) to be satisfied is calculated.
ここで、ぶれ補正では、画像全体をずらした際の差分値が最も小さくなる(u,v)ように画像を選ぶこととなる。 Here, in blur correction, an image is selected so that the difference value when the entire image is shifted is minimized (u, v).
次いで、ステップST2では、ぶれ量(ub,vb)を加味した航空機の検出を行う。検出には、背景差分を用いた手法や予め航空機から特徴量を抽出し、機械学習により得られた学習データを用いて検出する手法などを用いればよい。 Next, in step ST2, the aircraft is detected in consideration of the shake amount (u b , v b ). For the detection, a method using a background difference, a method for extracting feature amounts from an aircraft in advance, and detecting using learning data obtained by machine learning may be used.
図4は図2の目標物体検出部2による追跡処理を説明するための概略図である。 FIG. 4 is a schematic diagram for explaining the tracking process by the target object detection unit 2 of FIG.
次いで、ステップST3では、図4のように1処理前の物体検出結果のテンプレート画像T(u座標,v座標,カラーチャンネル)を用いて、現フレームの画像It(u,v,カラーチャンネル)から以下の式を満たす物体位置を算出する。 Next, in step ST3, using the template image T (u coordinate, v coordinate, color channel) of the object detection result before one process as shown in FIG. 4, the image I t (u, v, color channel) of the current frame is used. To calculate an object position satisfying the following expression.
このとき、Nはu座標軸の探索範囲、Mはv座標軸の探索範囲を表し、上記式はSAD(差分絶対値和(Sum of Absolute Difference))が最小となる、座標(u,v)を出力する式となる。 At this time, N represents the search range of the u coordinate axis, M represents the search range of the v coordinate axis, and the above equation outputs the coordinates (u, v) at which the SAD (Sum of Absolute Difference) is minimized. It becomes the formula to do.
次いで、ステップST4では、ステップST2により出力された検出結果とステップST3により検出された検出結果の統合を行う。まず、2つの検出枠の重なり判定を行う。物体検出結果の検出枠の左上・右下座標をRdet(lu:左上u座標、lv:左上v座標、ru:右下u座標、rv:右下v座標)、追跡による検出枠の左上・右下標をRtrack(lu:左上u座標、lv:左上v座標、ru:右下u座標、rv:右下v座標)とすると、以下の式で判定を行う。 Next, in step ST4, the detection result output in step ST2 and the detection result detected in step ST3 are integrated. First, an overlap determination between two detection frames is performed. Upper left and lower right coordinates of the detection frame of the object detection result are detected by R det (l u : upper left u coordinate, l v : upper left v coordinate, ru : lower right u coordinate, r v : lower right v coordinate) and tracking If the upper left and lower right marks of the frame are R track (l u : upper left u coordinate, l v : upper left v coordinate, ru : lower right u coordinate, r v : lower right v coordinate) Do.
図5は図2の目標物体検出部2による重なり判定処理の一例を示す概略図である。図5に示すように、重なっている(O=1)と判定された場合、さらに重なり率の判定を行うことで、統合するかの判定を行う。重なり率は、次式のように、ステップST2の処理により出力された物体検出枠の面積areadetと、ステップST3の処理により出力された追跡による検出枠の面積areatrack、物体検出枠と追跡による検出枠の重なり領域の面積areaoverlapから算出する。 FIG. 5 is a schematic diagram showing an example of overlap determination processing by the target object detection unit 2 of FIG. As shown in FIG. 5, when it is determined that they overlap (O = 1), it is further determined whether or not they are integrated by further determining the overlap rate. As shown in the following equation, the overlapping rate is determined by the area area det of the object detection frame output by the process of step ST2, the area area track of the detection frame by tracking output by the process of step ST3, and the object detection frame and tracking. It is calculated from the area area overlap of the overlapping area of the detection frames.
この面積を用いて以下の条件に当てはまる場合、統合処理を行う。 When this area is used and the following conditions are met, an integration process is performed.
ここで、THは重なり率である。統合処理では、統合枠が1つの場合と2つ以上の場合で異なる。
(A)統合枠が1つの場合:背景差分の検出枠と追跡の検出枠の幅を比べ、追跡の検出枠の幅が大きい場合は、追跡の検出枠の幅を採用する。
(B)統合枠が2つ以上の場合:すべての枠を内包する統合枠を算出する。
Here, TH is an overlap rate. The integration process differs depending on whether the number of integration frames is one or two or more.
(A) When there is one integrated frame: The width of the detection frame of background tracking is compared with the width of the detection frame of tracking, and when the width of the tracking detection frame is large, the width of the tracking detection frame is adopted.
(B) When there are two or more integrated frames: An integrated frame including all the frames is calculated.
ステップST5の処理では、ステップST4の処理で得られた検出枠を元に、追跡で使用するテンプレート画像を抽出する。以上の処理により、目標物体検出を行い、その結果を精密位置合わせ部3に転送する。 In the process of step ST5, a template image used for tracking is extracted based on the detection frame obtained in the process of step ST4. Through the above processing, the target object is detected, and the result is transferred to the precision alignment unit 3.
次いで、2次元エッジモデルによる精密位置合わせ部3では、目標物体検出部2で得られた航空機の領域内を、2次元エッジモデルメモリ8に格納された航空機のエッジモデルを用いて、位置合わせを行う。
Next, the two-dimensional edge model precise alignment unit 3 uses the aircraft edge model stored in the two-dimensional
図6は図2の精密位置合わせ部3による2次元エッジモデルを用いた精密位置合わせ処理を示すフローチャートである。 FIG. 6 is a flowchart showing the precision alignment process using the two-dimensional edge model by the precision alignment unit 3 of FIG.
まず、ステップST11では、2次元エッジモデルメモリ8からエッジモデルを取得する。2次元エッジモデルは、2次元画像上の輪郭データであり、様々な角度から撮影された際の輪郭データを保持しておく。取得された2次元エッジモデルは、2次元エッジモデルメモリ8に保持される。一方、航空機の機種などの情報である航空機情報は、航空機等の位置を測定する監視システムであるマルチラレテーションなどから入手して航空機情報メモリ7に予め格納される。次いで、精密位置合わせ部3は、それに合わせたエッジモデルを選択する。また、カメラ1の設置位置からエッジモデルの選択に限定を持たせてもよい。
First, in step ST11, an edge model is acquired from the two-dimensional
図7は図2の精密位置合わせ部3による2次元エッジモデルを用いた精密位置合わせ処理を示す概略図である。 FIG. 7 is a schematic diagram showing a precision alignment process using a two-dimensional edge model by the precision alignment unit 3 of FIG.
図6のステップST12では、ステップST11の処理で取得したエッジモデルを用いて、図7のように、例えばチャンファ・マッチング(chamfer matching)法などを用いてエッジ画像に対して位置合わせを行う。図7において、m1は2次元エッジモデル、m2はエッジ画像、m3は位置合わせ後のエッジモデルであり、2次元エッジモデルm1とエッジ画像m2とを位置合わせして、位置合わせ後のエッジモデルm3を得る。 In step ST12 of FIG. 6, using the edge model acquired in the process of step ST11, as shown in FIG. 7, for example, a chamfer matching method is used to align the edge image. In FIG. 7, m1 is a two-dimensional edge model, m2 is an edge image, m3 is an edge model after alignment, the two-dimensional edge model m1 and the edge image m2 are aligned, and the edge model m3 after alignment is aligned. Get.
次いで、ステップST13では、ステップST12の処理での位置合わせの評価を行う。位置合わせの評価値(誤差)errorは、位置合わせを行ったエッジ上の輝度値eを総和したものとし、エッジ画像Ie、エッジモデルのエッジ座標e(E個の座標を持つ)から以下の式で算出する。 Next, in step ST13, the alignment in the process of step ST12 is evaluated. The alignment evaluation value (error) error is the sum of the luminance values e on the edge subjected to the alignment, and is calculated from the edge image I e and the edge coordinate e (with E coordinates) of the edge model as follows: Calculate with the formula.
ここで、δ(Ie(edgem))はエッジがあるときに1を出力する一方、エッジがないときに0を出力する関数である。 Here, δ (I e (edge m )) is a function that outputs 1 when there is an edge and outputs 0 when there is no edge.
次いで、ステップST14では、位置合わせの評価値(誤差)errorが所定のしきい値以下のとき、位置合わせが達成されたとして、処理を終了する。ステップST14において、NOであるときは、ステップST11からの処理を繰り返す。 Next, in step ST14, when the alignment evaluation value (error) error is equal to or smaller than a predetermined threshold value, it is determined that the alignment has been achieved, and the process ends. If NO in step ST14, the processing from step ST11 is repeated.
以上の処理により、精密な位置合わせを行い、位置合わせ結果の画像の画像信号を位置推定部4に転送する。
Through the above processing, precise alignment is performed, and the image signal of the alignment result image is transferred to the
次いで、位置推定部4は、2次元エッジモデルによる精密位置合わせ部3の位置合わせ結果の画像と、空港面3Dデータメモリ5に予め格納された空港面3Dデータを用いて、位置合わせされた航空機の位置について地図上の座標を算出する。位置推定部4は、2次元エッジモデルによる精密位置合わせ部3からの位置合わせ結果の画像から、航空機に関する、画像上の空港面との設置点を推定する。次いで、画像上の空港面での航空機の位置座標を、空港面3Dデータへの位置座標へ座標変換することで、地図上の位置座標を算出する。この算出結果を結果表示部6に転送して表示する。結果表示部6は、カメラ1で撮影した画像に目標物体検出部2で得られた目標物体である航空機の位置の画像と、位置推定部4で推定した航空機の地図上の位置を地図へ描画する。
Next, the
以上説明したように、本実施の形態によれば、カメラ1を用いた目標物体の位置推定精度が向上し、他のレーダなどの情報との整合が容易になる。
実施の形態2.
図8はこの発明の実施の形態2に係る空港監視装置の構成を示すブロック図である。実施の形態2に係る空港監視装置は、図2の実施の形態1に係る空港監視装置に比較して以下の点が異なる。
(1)2次元エッジモデルによる精密位置合わせ部3に代えて、3次元エッジモデルによる精密位置合わせ部3を備えた。
(2)2次元エッジモデルメモリ8に代えて、3次元エッジモデルメモリ8Aを備えた。
以下、相違点について詳述する。
As described above, according to the present embodiment, the accuracy of position estimation of the target object using the camera 1 is improved, and matching with information such as other radars is facilitated.
Embodiment 2. FIG.
FIG. 8 is a block diagram showing a configuration of an airport monitoring apparatus according to Embodiment 2 of the present invention. The airport monitoring apparatus according to the second embodiment is different from the airport monitoring apparatus according to the first embodiment in FIG.
(1) In place of the precise alignment unit 3 based on the two-dimensional edge model, the precise alignment unit 3 based on the three-dimensional edge model is provided.
(2) Instead of the two-dimensional
Hereinafter, the differences will be described in detail.
実施の形態2に係る空港監視装置は、カメラ1で目標物体である航空機を含む空港面を撮影し、このカメラ1から得られる画像の画像信号を用いて、航空機の領域を検出する。そして、検出された航空機の領域に対して、3次元エッジモデルから2次元エッジモデルを作成し航空機のエッジモデルを当てはめる。最後に、航空機が空港面の路面上と設置する座標から地図上への位置座標へ変換し、検出結果を出力する。 The airport monitoring apparatus according to the second embodiment captures an airport surface including an aircraft as a target object with the camera 1, and detects an area of the aircraft using an image signal of an image obtained from the camera 1. Then, a two-dimensional edge model is created from the three-dimensional edge model for the detected aircraft region, and the aircraft edge model is applied. Finally, the aircraft converts the coordinates on the road surface of the airport and the coordinates set on the map to output the detection results.
実施の形態2では、実施の形態1に比較して、特に、3次元エッジモデルによる精密位置合わせ部3Aは、目標物体検出部2で得られた航空機の領域内を、3次元エッジモデルメモリ8Aに格納された航空機の3次元エッジモデルから生成される2次元エッジモデルを用いて、位置合わせを行うことを特徴としている。
In the second embodiment, as compared with the first embodiment, the precision alignment unit 3A based on the three-dimensional edge model particularly has a three-dimensional
図9は図8の空港監視装置の精密位置合わせ部3Aによる3次元エッジモデルを用いた精密位置合わせ処理を示すフローチャートである。 FIG. 9 is a flowchart showing a precise alignment process using a three-dimensional edge model by the precise alignment unit 3A of the airport monitoring apparatus of FIG.
図9のステップST31では、2次元エッジモデルを3次元エッジモデルから生成して3次元エッジモデルメモリ8Aに格納する。ここで、3次元エッジモデルは、3次元空間上の航空機の輪郭データである。この3次元空間上の航空機の輪郭データから、航空機の2次元エッジモデルを生成する。一方、航空機の機種などの情報は、航空機等の位置を測定する監視システムであるマルチラレテーションなどから入手して航空機情報メモリ7に格納され、精密位置合わせ部3Aはそれに合わせた3次元エッジモデルを選択する。なお、2次元エッジモデルの生成は、カメラ1の設置位置を初期値として、その位置にカメラ1があった際の2次元エッジモデルを生成する。3次元エッジモデルのエッジの3次元座標e3D(x,y,z)とすると、2次元エッジの座標e(u,v)は以下の式で算出できる。
In step ST31 of FIG. 9, a two-dimensional edge model is generated from the three-dimensional edge model and stored in the three-dimensional
ここで、Aはカメラ1の内部パラメータ、Rは回転行列、Tは平行移動ベクトルを表す。これにより、2次元エッジモデルを得る。 Here, A represents an internal parameter of the camera 1, R represents a rotation matrix, and T represents a translation vector. Thereby, a two-dimensional edge model is obtained.
次いで、ステップST12では、ステップST11で取得したエッジモデルを用いて、図7のように、例えばチャンファ・マッチング(chamfer matching)法などを用いて、エッジ画像に対して位置合わせを行う。 Next, in step ST12, using the edge model acquired in step ST11, alignment is performed on the edge image using, for example, a chamfer matching method as shown in FIG.
次いで、ステップST13では、ステップST12での位置合わせの評価を行う。位置合わせの評価値(誤差)eiは、位置合わせを行ったエッジ上の輝度値eを総和したものとし、エッジ画像Ie、エッジモデルのエッジ座標edge(E個の座標を持つ)から以下の式で算出する。 Next, in step ST13, the alignment evaluation in step ST12 is performed. The alignment evaluation value (error) e i is the sum of the luminance values e on the aligned edges, and is calculated from the edge image I e and the edge coordinates edge of the edge model (having E coordinates). Calculate with the following formula.
ここで、δ(Ie(edgem))はエッジがあるときに1を出力し、エッジではないときに0を出力する関数である。 Here, δ (I e (edge m )) is a function that outputs 1 when there is an edge and outputs 0 when there is no edge.
次いで、ステップST14では、位置合わせの評価値(誤差)eiが所定のしきい値以下のとき、位置合わせが達成されたとして、処理を終了する。なお、ステップST14においてNOであるときは、ステップST31の処理から繰り返す。 Next, in step ST14, when the alignment evaluation value (error) e i is equal to or smaller than a predetermined threshold value, the processing is terminated assuming that the alignment has been achieved. In addition, when it is NO in step ST14, it repeats from the process of step ST31.
以上の処理により、精密な位置合わせを行い、その位置合わせ結果の画像を位置推定部4に転送する。
Through the above processing, precise alignment is performed, and an image of the alignment result is transferred to the
以上説明したように、本実施の形態によれば、3次元エッジモデルを持つことで、データ数が削減され、任意の2次元エッジモデルを生成することができるようになり、カメラを用いた目標物体の位置推定精度が向上する。また、他のレーダなどの情報との整合が容易になる。 As described above, according to the present embodiment, by having a three-dimensional edge model, the number of data can be reduced, and an arbitrary two-dimensional edge model can be generated. The object position estimation accuracy is improved. In addition, matching with information such as other radars is facilitated.
実施の形態3.
図10はこの発明の実施の形態3に係る空港監視装置の構成を示すブロック図である。実施の形態3に係る空港監視装置は、図2の実施の形態1に係る空港監視装置に比較して以下の点が異なる。
(1)目標物体検出部2に代えて、点光源検出部2Aを備えた。
(2)2次元エッジモデルによる精密位置合わせ部3に代えて、2次元ライトモデルによる精密位置合わせ部3Bを備えた。
(2)2次元エッジモデルメモリ8に代えて、2次元ライトモデルメモリ8Bを備えた。
以下、相違点について詳述する。
Embodiment 3 FIG.
FIG. 10 is a block diagram showing a configuration of an airport monitoring apparatus according to Embodiment 3 of the present invention. The airport monitoring apparatus according to Embodiment 3 differs from the airport monitoring apparatus according to Embodiment 1 of FIG.
(1) Instead of the target object detection unit 2, a point light
(2) In place of the precise alignment unit 3 based on the two-dimensional edge model, a
(2) Instead of the two-dimensional
Hereinafter, the differences will be described in detail.
実施の形態3では、カメラ1で目標物体である航空機を含む空港面を撮影し、このカメラ1から得られる画像を用いて、航空機の点光源群を検出する。そして、検出された点光源群に対して、予め作成しておいた航空機のライトモデルを当てはめる。最後に、航空機が路面上と設置する座標から地図上への位置座標へ変換し、航空機の位置座標の検出結果を出力する。 In the third embodiment, an airport surface including an aircraft that is a target object is photographed with the camera 1, and a point light source group of the aircraft is detected using an image obtained from the camera 1. Then, an aircraft light model prepared in advance is applied to the detected point light source group. Finally, the coordinates of the aircraft on the road surface are converted to the coordinates on the map, and the detection results of the aircraft position coordinates are output.
上述のように、実施の形態3は、点光源検出部2A、2次元ライトモデルによる精密位置合わせ部3B、2次元ライトモデルメモリ8Bが実施の形態1との相違点である。点光源検出部2Aは、カメラ1により撮像した画像の画像信号から航空機の点光源群を検出し、検出した点光源群の位置情報を、2次元ライトモデルによる精密位置合わせ部3Bに転送する。
As described above, the third embodiment is different from the first embodiment in the point light
図11は図10の点光源検出部2Aによる点光源検出処理を示すフローチャートである。
FIG. 11 is a flowchart showing point light source detection processing by the point light
まず、図11のステップST1では、実施の形態1と同様にぶれ量を推定する。次いで、ステップST32では、撮像された画像から航空機の点光源を検出する。点光源の検出は、背景差分を用いた手法により抽出し、点光源の位置と色成分を出力する。以上の処理により、点光源検出部2Aは、2次元ライトモデルによる精密位置合わせ部3Bに点光源の位置と色成分を転送する。
First, in step ST1 of FIG. 11, the blur amount is estimated as in the first embodiment. Next, in step ST32, an aircraft point light source is detected from the captured image. The point light source is detected by a method using background difference, and the position and color component of the point light source are output. With the above processing, the point light
次いで、2次元ライトモデルによる精密位置合わせ部3Bは、点光源検出部2Aで得られた点光源群の位置情報(色成分を含む)と、2次元ライトモデルメモリ8Bに予め格納された航空機の2次元ライトモデルを用いて、位置合わせを行う。
Next, the
図12は図10の精密位置合わせ部3Bによる2次元ライトモデルを用いた精密位置合わせ処理を示すフローチャートである。
FIG. 12 is a flowchart showing the precision alignment process using the two-dimensional light model by the
図12のステップST31では、まず、2次元ライトモデルメモリ8Bから2次元ライトモデルを取得する。2次元ライトモデルは、2次元画像上の航空機のライト設置位置のデータであり、様々な角度から撮影された際のライト設置位置を2次元ライトモデルメモリ8Bに保持しておく。一方、航空機の機種などの情報は、航空機等の位置を測定する監視システムであるマルチラレテーションなどから入手して予め航空機情報メモリ7に格納される。精密位置合わせ部3bはそれに合わせた2次元ライトモデルを選択する。ここで、カメラ1の設置位置から2次元ライトモデルの選択に限定を持たせてもよい。
In step ST31 of FIG. 12, first, a two-dimensional light model is acquired from the two-dimensional
次いで、ステップST32では、ステップST31の処理で取得した2次元ライトモデルを用いて、図12のように、入力画像に対して位置合わせを行う。この位置合わせは、点光源検出部2Aで得られた点光源群の位置情報と2次元ライトモデルの位置情報との間の相関を求めることで行う。
Next, in step ST32, the input image is aligned using the two-dimensional light model acquired in step ST31 as shown in FIG. This alignment is performed by obtaining a correlation between the position information of the point light source group obtained by the point light
次いで、ステップST33では、ステップST32の処理での位置合わせの評価を行う。位置合わせの評価値(誤差)errorは、位置合わせを行った点光源との距離dを総和したものとし、一致したE個の点光源群pとモデルの一致した点eから以下の式で算出する。 Next, in step ST33, the alignment in the process of step ST32 is evaluated. The alignment evaluation value (error) error is the sum of the distances d to the aligned point light sources, and is calculated from the matched E point light source groups p and the model matched point e by the following equation: To do.
次いで、ステップST14では、誤差erroriが所定のしきい値以下のとき、位置合わせが達成されたとして、処理を終了する。なお、ステップST14においてNOであるときは、ステップST31に戻り、処理を繰り返す。 Next, in step ST14, when the error error i is equal to or smaller than a predetermined threshold value, it is determined that the alignment has been achieved, and the process ends. In addition, when it is NO in step ST14, it returns to step ST31 and repeats a process.
図13は図10の精密位置合わせ部3による精密位置合わせ処理を説明するための概略図である。図13において、m30は2次元ライトモデル、m31は航空機がある場合の2次元エッジ、m32は夜間画像、m33は位置合わせ後のライトモデルである。すなわち、2次元ライトモデルm30における航空機の2次元エッジm31と、夜間画像m32との間で位置合わせすることで、位置合わせ後のライトモデルm33を得ることができる。 FIG. 13 is a schematic diagram for explaining the precision alignment processing by the precision alignment unit 3 of FIG. In FIG. 13, m30 is a two-dimensional light model, m31 is a two-dimensional edge when there is an aircraft, m32 is a night image, and m33 is a light model after alignment. That is, by aligning the two-dimensional edge m31 of the aircraft in the two-dimensional light model m30 and the night image m32, the light model m33 after alignment can be obtained.
以上の処理により、精密な位置合わせを行い、2次元ライトモデルに含まれる航空機と、空港面の路面の設置位置を位置推定部4に転送し、結果表示部6には航空機の領域とライトモデルに含まれる航空機と路面の設置位置を転送して表示する。
Through the above processing, precise alignment is performed, and the aircraft included in the two-dimensional light model and the installation position of the road surface on the airport surface are transferred to the
以上説明したように、本実施の形態によれば、点光源検出部2A及び2次元ライトモデルによる精密位置合わせ部3Bを備えたので、夜間におけるカメラ1を用いた目標物体の位置推定精度が向上する。また、他のレーダなどの情報との整合が容易になる。
As described above, according to the present embodiment, since the point light
実施の形態4.
図14はこの発明の実施の形態4に係る空港監視装置の構成を示すブロック図である。実施の形態4に係る空港監視装置は、図3の実施の形態3に係る空港監視装置に比較して以下の点が異なる。
(1)2次元ライトモデルによる精密位置合わせ部3Bに代えて、3次元ライトモデルによる精密位置合わせ部3Cを備えた。
(2)2次元ライトモデルメモリ8Bに代えて、3次元ライトモデルメモリ8Cを備えた。
以下、相違点について詳述する。
FIG. 14 is a block diagram showing a configuration of an airport monitoring apparatus according to
(1) Instead of the
(2) Instead of the two-dimensional
Hereinafter, the differences will be described in detail.
実施の形態4では、カメラ1で目標物体である航空機を含む空港面を撮影し、このカメラ1から得られる画像を用いて、航空機の点光源群を検出する。そして、検出された航空機の点光源群に対して、3次元エッジモデルから2次元エッジモデルを作成し航空機のエッジモデルを当てはめる。最後に、航空機が路面上と設置する座標から地図上への位置座標へ変換し、航空機の位置の検出結果を出力する。 In the fourth embodiment, an airport surface including an aircraft that is a target object is photographed with the camera 1, and a point light source group of the aircraft is detected using an image obtained from the camera 1. Then, a two-dimensional edge model is created from the three-dimensional edge model for the detected point light source group of the aircraft, and the edge model of the aircraft is applied. Finally, the coordinates of the aircraft on the road surface are converted to the coordinates on the map, and the detection result of the aircraft position is output.
上述のように、実施の形態4は、3次元ライトモデルによる精密位置合わせ部3Cと3次元ライトモデルメモリ8Cが実施の形態3との相違点である。3次元ライトモデルによる精密位置合わせ部3Cは、点光源検出部2Aで得られた航空機の点光源群と、航空機の3次元ライトモデルを用いて位置合わせを行う。
As described above, the fourth embodiment is different from the third embodiment in the
図15は図14の精密位置合わせ部3Cによる3次元ライトモデルを用いた精密位置合わせ処理を示すフローチャートである。
FIG. 15 is a flowchart showing the precision alignment process using the three-dimensional light model by the
図15のステップST41では、2次元ライトモデルを3次元ライトモデルから生成する。3次元ライトモデルは、3次元空間上の航空機のライト座標である。この3次元空間上のライト座標から、2次元ライトモデルを生成する。一方、航空機の機種などの情報は、航空機等の位置を測定する監視システムであるマルチラレテーションなどから入手して航空機情報メモリ7に予め格納される。精密位置合わせ部3Cはそれに合わせた3次元ライトモデルを選択する。なお、2次元ライトモデルの生成は、実施の形態2と同様の方法で求める。ステップST32以降は、実施の形態3と同様に実行される。以上の処理により、精密な位置合わせを行い、航空機の位置合わせの結果である航空機の位置情報を含む位置合わせ結果を位置推定部4に転送する。なお、位置推定部4の処理は実施の形態3と同様である。
In step ST41 of FIG. 15, a two-dimensional light model is generated from the three-dimensional light model. The three-dimensional light model is the light coordinates of the aircraft in a three-dimensional space. A two-dimensional light model is generated from the light coordinates in the three-dimensional space. On the other hand, information such as the aircraft model is obtained from multi-rotation or the like, which is a monitoring system for measuring the position of the aircraft or the like, and stored in the
以上説明したように、本実施の形態によれば、3次元ライトモデルを持つことにで、データ数が削減され、任意の2次元ライトモデルを生成することができるようになり、夜間におけるカメラ1を用いた目標物体の位置推定精度が向上する。また、他のレーダなどの情報との整合が容易になる。 As described above, according to the present embodiment, by having the three-dimensional light model, the number of data can be reduced, and an arbitrary two-dimensional light model can be generated. The position estimation accuracy of the target object using is improved. In addition, matching with information such as other radars is facilitated.
1 カメラ、2 目標物体検出部、2A 点光源検出部、3,3A,3B,3C 精密位置合わせ部、4 位置推定部、5 空港面3Dデータメモリ、6 結果表示部、7 航空機情報メモリ、8 2次元エッジモデルメモリ、8A 3次元エッジモデルメモリ、8B 2次元ライトモデルメモリ、8C 3次元ライトモデルメモリ、m1 2次元エッジモデル、m2 エッジ画像、m3 位置合わせ後のエッジモデル、m30 2次元ライトモデル、m31 航空機がある場合の2次元エッジ、m32 夜間画像、m33 位置合わせ後のライトモデル。 DESCRIPTION OF SYMBOLS 1 Camera, 2 Target object detection part, 2A Point light source detection part, 3, 3A, 3B, 3C Precision alignment part, 4 Position estimation part, 5 Airport surface 3D data memory, 6 Result display part, 7 Aircraft information memory, 8 2D edge model memory, 8A 3D edge model memory, 8B 2D light model memory, 8C 3D light model memory, m1 2D edge model, m2 edge image, m3 Edge model after alignment, m30 2D light model , M31 Two-dimensional edge when there is an aircraft, m32 Night image, m33 Light model after alignment.
Claims (9)
上記撮影された画像の画像信号から上記目標物体を検出する目標物体検出手段と、
上記目標物体の輪郭データである所定のエッジモデルを用いて上記検出した目標物体を上記空港面において位置合わせを行って、位置合わせ結果の画像信号を出力する位置合わせ手段と、
上記位置合わせ結果の画像信号に基づいて、上記空港面上の上記目標物体の位置を推定する位置推定手段とを備えることを特徴とする空港監視装置。 Imaging means for photographing an airport surface including a predetermined target object and outputting an image signal of the airport surface;
Target object detection means for detecting the target object from the image signal of the captured image;
Alignment means for aligning the detected target object on the airport surface using a predetermined edge model, which is contour data of the target object, and outputting an image signal of the alignment result;
An airport monitoring apparatus comprising: position estimation means for estimating the position of the target object on the airport surface based on the image signal of the alignment result.
上記撮影された画像の画像信号から上記目標物体の点光源を検出する点光源検出手段と、
上記目標物体の点光源の位置データである所定のライトモデルを用いて上記検出した目標物体の点光源を上記空港面において位置合わせを行って、位置合わせ結果の画像信号を出力する位置合わせ手段と、
上記位置合わせ結果の画像信号に基づいて、上記空港面上の上記目標物体の位置を推定する位置推定手段とを備えることを特徴とする空港監視装置。 Imaging means for photographing an airport surface including a point light source of a predetermined target object and outputting an image signal of the airport surface;
Point light source detection means for detecting the point light source of the target object from the image signal of the captured image;
Alignment means for aligning the detected point light source of the target object on the airport surface using a predetermined light model that is position data of the point light source of the target object, and outputting an image signal of the alignment result; ,
An airport monitoring apparatus comprising: position estimation means for estimating the position of the target object on the airport surface based on the image signal of the alignment result.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015012131A JP6593995B2 (en) | 2015-01-26 | 2015-01-26 | Airport monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015012131A JP6593995B2 (en) | 2015-01-26 | 2015-01-26 | Airport monitoring device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016139172A true JP2016139172A (en) | 2016-08-04 |
JP2016139172A5 JP2016139172A5 (en) | 2018-02-22 |
JP6593995B2 JP6593995B2 (en) | 2019-10-23 |
Family
ID=56559193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015012131A Active JP6593995B2 (en) | 2015-01-26 | 2015-01-26 | Airport monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6593995B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019068325A (en) * | 2017-10-03 | 2019-04-25 | 日本放送協会 | Dynamic body tracker and program therefor |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0966900A (en) * | 1995-09-01 | 1997-03-11 | Hitachi Ltd | Flight condition monitoring method and device |
JPH10170646A (en) * | 1996-12-12 | 1998-06-26 | Unyusho Senpaku Gijutsu Kenkyusho | Airport surface monitor |
JPH1149100A (en) * | 1997-08-05 | 1999-02-23 | Mitsubishi Electric Corp | Apron monitor |
JP2004094518A (en) * | 2002-08-30 | 2004-03-25 | Oki Electric Ind Co Ltd | Figure tracing device and figure tracing method and its program |
JP2005055184A (en) * | 2003-08-01 | 2005-03-03 | Toshiba Corp | Ground travel control display system and ground travel control display method |
JP2013242812A (en) * | 2012-05-22 | 2013-12-05 | Sony Computer Entertainment Inc | Information processing device and information processing method |
-
2015
- 2015-01-26 JP JP2015012131A patent/JP6593995B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0966900A (en) * | 1995-09-01 | 1997-03-11 | Hitachi Ltd | Flight condition monitoring method and device |
JPH10170646A (en) * | 1996-12-12 | 1998-06-26 | Unyusho Senpaku Gijutsu Kenkyusho | Airport surface monitor |
JPH1149100A (en) * | 1997-08-05 | 1999-02-23 | Mitsubishi Electric Corp | Apron monitor |
JP2004094518A (en) * | 2002-08-30 | 2004-03-25 | Oki Electric Ind Co Ltd | Figure tracing device and figure tracing method and its program |
JP2005055184A (en) * | 2003-08-01 | 2005-03-03 | Toshiba Corp | Ground travel control display system and ground travel control display method |
JP2013242812A (en) * | 2012-05-22 | 2013-12-05 | Sony Computer Entertainment Inc | Information processing device and information processing method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019068325A (en) * | 2017-10-03 | 2019-04-25 | 日本放送協会 | Dynamic body tracker and program therefor |
Also Published As
Publication number | Publication date |
---|---|
JP6593995B2 (en) | 2019-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6760114B2 (en) | Information processing equipment, data management equipment, data management systems, methods, and programs | |
US9888235B2 (en) | Image processing method, particularly used in a vision-based localization of a device | |
CN107305632B (en) | Monocular computer vision technology-based target object distance measuring method and system | |
KR102054455B1 (en) | Apparatus and method for calibrating between heterogeneous sensors | |
KR20190102665A (en) | Calibration system and method using real-world object information | |
US20160283774A1 (en) | Cloud feature detection | |
CN109471096B (en) | Multi-sensor target matching method and device and automobile | |
EP3159122A1 (en) | Device and method for recognizing location of mobile robot by means of search-based correlation matching | |
Chien et al. | Visual odometry driven online calibration for monocular lidar-camera systems | |
CN111164648B (en) | Position estimating device and position estimating method for mobile body | |
US20140286537A1 (en) | Measurement device, measurement method, and computer program product | |
WO2018142533A1 (en) | Position/orientation estimating device and position/orientation estimating method | |
JP2017181476A (en) | Vehicle location detection device, vehicle location detection method and vehicle location detection-purpose computer program | |
KR20150125862A (en) | Apparatus for augmented reality using 3d reconstruction and mehhod thereof | |
JP6410231B2 (en) | Alignment apparatus, alignment method, and computer program for alignment | |
KR101803340B1 (en) | Visual odometry system and method | |
KR20160125803A (en) | Apparatus for defining an area in interest, apparatus for detecting object in an area in interest and method for defining an area in interest | |
JP6593995B2 (en) | Airport monitoring device | |
JP6886136B2 (en) | Alignment device, alignment method and computer program for alignment | |
EP3288260A1 (en) | Image processing device, imaging device, equipment control system, equipment, image processing method, and carrier means | |
JP2018116147A (en) | Map creation device, map creation method and map creation computer program | |
CN114518106A (en) | High-precision map vertical element updating detection method, system, medium and device | |
KR20170122508A (en) | Coordination guide method and system based on multiple marker | |
JP2020076714A (en) | Position attitude estimation device | |
CN117649619B (en) | Unmanned aerial vehicle visual navigation positioning recovery method, system, device and readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190827 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190924 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6593995 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |