JP2007121111A - Target identifying technique using synthetic aperture radar image and device therof - Google Patents

Target identifying technique using synthetic aperture radar image and device therof Download PDF

Info

Publication number
JP2007121111A
JP2007121111A JP2005313575A JP2005313575A JP2007121111A JP 2007121111 A JP2007121111 A JP 2007121111A JP 2005313575 A JP2005313575 A JP 2005313575A JP 2005313575 A JP2005313575 A JP 2005313575A JP 2007121111 A JP2007121111 A JP 2007121111A
Authority
JP
Japan
Prior art keywords
target
feature
unit
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005313575A
Other languages
Japanese (ja)
Inventor
Shintaro Kumano
信太郎 熊野
Yuichi Sasano
祐一 佐々野
Mayumi Saito
真由美 斎藤
Shinji Satou
進司 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2005313575A priority Critical patent/JP2007121111A/en
Publication of JP2007121111A publication Critical patent/JP2007121111A/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021SAR image post-processing techniques
    • G01S13/9027Pattern recognition for feature extraction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To enhance identification accuracy by determining target domain itself with sufficient accuracy, while removing influences due to foreshortening effect in two-dimensional SAR images to enhance identification accuracy of targeting objects. <P>SOLUTION: The target identifying device is equipped with a SAR (synthetic aperture radar) section 161, a SAR image acquiring section 162 inputting radar reflection signals from the SAR section 161 to form the two-dimensional SAR images, an object extracting section 163 extracting the object from the SAR images, a feature calculating section 164 calculating the feature quantity of the object extracted, a model memory section 167 memorizing models, and an object discriminating section 165 discriminating whether features of the object coincide with features of models. Next, taking into account the deformation (foreshortening) appearing on the two-dimensional images of the object depending on flight direction of the flying object and attitude of the object, the discriminating section 165 projects the reflective intensity distribution to the radar irradiating direction and discriminates whether features of the object coincide with features of the model. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、飛翔体に搭載される合成開口レーダ(SAR)を使用し、飛翔体の飛翔方向及び目標物の姿勢に依存して変形する目標物の2次元レーダ画像の特徴が、記憶されたモデルの特徴と合致するか否か識別する目標物識別方法及び装置に関する。特に、2次元SAR画像において、背の高い構造物が飛翔体に向かって倒れ込む「倒れ込み」(フォーショートニング)を考慮した目標物識別方法及び装置に関する。   The present invention uses a synthetic aperture radar (SAR) mounted on a flying object, and the characteristics of a two-dimensional radar image of a target that is deformed depending on the flying direction of the flying object and the attitude of the target are stored. The present invention relates to a target identifying method and apparatus for identifying whether or not a feature of a model matches. In particular, the present invention relates to a target identification method and apparatus that takes into account “falling” (four shortening) in which a tall structure falls toward a flying object in a two-dimensional SAR image.

衛星からのリモートセンシングにおける合成開口レーダ(SAR)で取得した画像に基づいて、目標物を識別するためのひとつの手法として、特許文献1に開示された技術では、ステレオSAR(同じ目標に対して同時に複数の画像を取得することで、複数画像の位相差からベースラインを求め精度よく移動物体を抽出する。また、特許文献2に開示された技術では、分割SAR(画像化する際に少し時間のずれた複数画像を生成してその関係により安定した構造物を抽出する。また、特許文献3に開示された技術では、逆合成開口(焦点を合わせた画像を取得する方法)(特許文献4参照)で抽出した画像に対して、目標の2次元パターンをマッチングして対象の種類を判別する。
特開平10−232282号公報(段落0006) 特開2002−214334号公報(段落007) 特開平11−109013号公報(段落0016) 特開2001−221857号公報(段落0039)
As a technique for identifying a target based on an image acquired by a synthetic aperture radar (SAR) in remote sensing from a satellite, the technique disclosed in Patent Document 1 uses a stereo SAR (for the same target). By acquiring a plurality of images at the same time, a baseline is obtained from the phase difference of the plurality of images and a moving object is extracted with high accuracy.In the technique disclosed in Patent Document 2, divided SAR (a little time is required for imaging). A plurality of shifted images are generated, and a stable structure is extracted based on the relationship, and in the technique disclosed in Patent Document 3, a reverse synthetic aperture (a method of acquiring a focused image) (Patent Document 4). The target type is discriminated by matching the target two-dimensional pattern with respect to the image extracted in (Ref.).
Japanese Patent Laid-Open No. 10-232282 (paragraph 0006) JP 2002-214334 A (paragraph 007) JP 11-109013 A (paragraph 0016) JP 2001-221857 A (paragraph 0039)

しかし、これらの従来技術では、第1に、例えば船舶等の高さを持つ構造物の集まりで成り立つ対象を識別する場合、構造物同士の位置関係や高さの関係におけるSAR特有の変形(倒れ込み(フォーショートニング))の影響は除去できず、識別精度が低下するという問題点があった。   However, in these conventional techniques, first, for example, when identifying an object composed of a collection of structures having a height, such as a ship, a SAR-specific deformation (falling down) in the positional relationship and height relationship between the structures. (For shortening)) cannot be removed, and there is a problem that the identification accuracy is lowered.

そこで、図1を参照して、第1の問題点(倒れ込み)についてさらに説明する。図1(A)は人工衛星等の飛翔体が艦船にレーダ電波を照射している。レーダ電波は、艦船の高いところにある部分から反射されれば、それだけ短時間で飛翔体に戻る。すなわち、高いところにあるもの程、飛翔体に近づいて見える。これが倒れ込みであり、艦船S1のマスト1の頂上は海面上衛星に近い点Aに倒れ込む。また、マストより低い位置にあるブリッジ状の点Pは点Aより飛翔体から遠い点Bに倒れ込む。図1(B)は、2次元SAR画像における倒れ込みを示すもので、船腹方向からレーダ照射を行えば、船舶S1のマスト1の頂点は、船腹方向(レーダ照射方向と反対の飛翔体方向)に倒れ込む。図1(C)は、レーダ照射方向に斜めに進行する艦船S1での倒れ込みを示したものであるが、倒れ込み方向は、他の構成部分との関係では図1(B)の場合とは異なる。   Therefore, the first problem (falling down) will be further described with reference to FIG. In FIG. 1A, a flying object such as an artificial satellite irradiates a ship with radar radio waves. If the radar radio wave is reflected from a high part of the ship, it returns to the flying object in a shorter time. That is, the higher the object, the closer it appears to the flying object. This is a fall, and the top of the mast 1 of the ship S1 falls to a point A close to the sea surface satellite. Further, the bridge-like point P located at a position lower than the mast falls to a point B farther from the flying object than the point A. FIG. 1B shows the collapse in the two-dimensional SAR image. When radar irradiation is performed from the ship's stomach direction, the top of the mast 1 of the ship S1 is in the ship's stomach direction (the flying object direction opposite to the radar irradiation direction). Fall down. FIG. 1 (C) shows the fall of the ship S1 that progresses obliquely in the radar irradiation direction, but the fall direction is different from that of FIG. 1 (B) in relation to other components. .

また、第2に、目標の領域そのものを精度よく決定することが前提であるが、SARの信号の特徴(目標の領域でも反射強度の低い部分がありうる)を踏まえると必ずしも正確に目標領域を決定できるとは限らないという問題点があった。   Second, it is premised that the target area itself is accurately determined. However, the target area is not always accurately determined based on the characteristics of the SAR signal (the target area may have a portion having low reflection intensity). There was a problem that it could not be decided.

そこで、図2、図3、図4を参照して、第2の問題点(目標領域の決定)についてさらに説明する。まず、図2(A)は、艦船のモデルであり、この艦船は、胴体S、ブリッジB、マスト21、22からなる。図2(B)には、この艦船からのレーダ反射を概念的に示す。反射レーダは、スポットとして示されており、胴体のエッジ部からの反射Q、ブリッジのエッジ部からの反射Pなどの強度が強い。マスト21、22からの反射も強いが、2次元SAR画像では、エッジ部より面積の大きな反射として現れる。図3は、従来の目標物体認識のフローチャートである。まず、S30において、船舶にレーダ照射が行われ、S31において、2次元SAR画像が取得される。この2次元SAR画像には 目標船舶だけでなく、波浪や他の物体も含まれる。そこで、S32において、高輝度点群をピックアップし、S33において、目標対象を切り出す。しかし、胴体のエッジ、たとえば点Q1、Q2、ブリッジのエッジQ3などからの反射が強くないこともあり、目標対象が正しく切り出せないことがある。さらに、S34において、レーダ照射方向を考慮せずに切り出し長方形の長辺(船体軸方向)を横軸として反射強度信号のヒストグラムを計算すると(以下、このような計算処理を「射影」という)、目標対象のプロファイルを正確に表さないこともある。図4(A)、図4(B)は、船体の向きとレーダ照射方向に依存して信号強度プロファイルが変化することを示している。また、図4(C)、(D)は、岸壁Yが目標艦船Xに近接しており、高輝度点を切り出す長方形が、岸壁の一部に食い込んでおり、切り出しが正確に行われない場合を示す。   Therefore, the second problem (determination of the target area) will be further described with reference to FIG. 2, FIG. 3, and FIG. First, FIG. 2A shows a ship model, and this ship is composed of a fuselage S, a bridge B, and masts 21 and 22. FIG. 2B conceptually shows the radar reflection from the ship. The reflection radar is shown as a spot, and has strong intensities such as reflection Q from the edge portion of the fuselage and reflection P from the edge portion of the bridge. The reflection from the masts 21 and 22 is also strong, but in the two-dimensional SAR image, it appears as a reflection having a larger area than the edge portion. FIG. 3 is a flowchart of conventional target object recognition. First, radar irradiation is performed on the ship in S30, and a two-dimensional SAR image is acquired in S31. This two-dimensional SAR image includes not only the target ship but also waves and other objects. Therefore, in S32, a high luminance point group is picked up, and in S33, the target object is cut out. However, reflection from the edge of the body, for example, the points Q1 and Q2 and the edge Q3 of the bridge may not be strong, and the target object may not be cut out correctly. Further, in S34, when the histogram of the reflection intensity signal is calculated with the long side of the cut rectangle (in the hull axis direction) as the horizontal axis without considering the radar irradiation direction (hereinafter, such calculation processing is referred to as “projection”). It may not accurately represent the target profile. 4A and 4B show that the signal intensity profile changes depending on the direction of the hull and the radar irradiation direction. 4 (C) and 4 (D) show a case where the quay Y is close to the target ship X, and the rectangle that cuts out the high-intensity point bites into a part of the quay, so that the cutting is not performed accurately. Indicates.

そこで、本発明の第1の課題は、倒れ込みによる影響を除去し、目標対象の識別精度を向上させることである。また、本発明の第2の課題は、目標の領域そのものを精度良く決定し、目標対象の識別精度を向上させることである。   Therefore, a first problem of the present invention is to remove the influence due to the fall and improve the identification accuracy of the target object. The second problem of the present invention is to accurately determine the target area itself and improve the identification accuracy of the target object.

上述した課題を解決するための第1の手段は、飛翔体に搭載される合成開口レーダを使用し、上記飛翔体の飛翔方向及び目標物の姿勢に依存して変形する上記目標物の2次元レーダ画像の特徴が、記憶されたモデルの特徴と合致するか否か識別する目標物識別方法であって、上記2次元レーダ画像の中から上記目標物を切り出すステップと、レーダ電波を上記目標物に向けて照射する方向において、上記レーダ電波の反射強度分布を投影しヒストグラムを作成するステップと、上記投影後の反射強度分布が上記モデルの特徴と合致するか否か識別するステップとを含むことである。   A first means for solving the above-described problem is to use a synthetic aperture radar mounted on a flying object, and to deform the target two-dimensionally depending on the flying direction of the flying object and the posture of the target object. A target identification method for identifying whether or not a feature of a radar image matches a feature of a stored model, the step of cutting out the target from the two-dimensional radar image, and detecting a radar radio wave as the target Projecting the reflection intensity distribution of the radar radio wave to create a histogram in the direction of irradiating the light, and identifying whether or not the projected reflection intensity distribution matches the characteristics of the model. It is.

第2手段は、第1手段において、レーダ電波を上記目標物に向けて照射する方向において、上記レーダ電波の高強度の反射点群を囲む2本の平行線を決定するステップと、上記平行線を含み上記反射点群密度を最大とする平行四辺形を決定するステップと、上記目標物の特徴が、上記モデルの特徴と合致するか否か識別するステップとをさらに含むことである。   The second means determines, in the first means, two parallel lines surrounding a high-intensity reflection point group of the radar radio wave in a direction in which the radar radio wave is irradiated toward the target; And determining the parallelogram that maximizes the reflection point group density and identifying whether the feature of the target matches the feature of the model.

第3手段は、第1手段において、上記2次元レーダ画像から上記目標物を切り出す初期切り出し領域を決定する第1ステップと、上記初期切り出し領域内に存在する所定閾値以上の強度の上記レーダ電波の反射点群を選択する第2ステップと、上記反射点群中において該反射点相互の距離が最大であり上記初期切り出し領域の境界に最も近い反射点を除去する新切り出し領域を決定する第3ステップとを含み、上記反射点群の分散が収束するまで上記第3ステップを繰り返すステップとをさらに含み、上記目標物の特徴が上記モデルの特徴と合致するか否か識別するステップとを含むことである。   The third means includes a first step of determining an initial cutout area for cutting out the target from the two-dimensional radar image, and a radar radio wave having an intensity equal to or greater than a predetermined threshold existing in the initial cutout area. A second step of selecting a reflection point group, and a third step of determining a new cut-out area for removing a reflection point closest to the boundary of the initial cut-out area where the distance between the reflection points is maximum in the reflection point group And repeating the third step until the dispersion of the reflection point group converges, and further comprising identifying whether the feature of the target matches the feature of the model. is there.

第4手段は、第1手段において、上記モデルの2次元レーダ画像をシミュレーションにより生成するステップと、上記目標物の特徴が、該シミュレーション画像の特徴と合致するか否か識別するステップとをさらに含むことである。   The fourth means further includes, in the first means, generating a two-dimensional radar image of the model by simulation and identifying whether or not the feature of the target matches the feature of the simulation image. That is.

第5手段は、第1手段において、光学カメラによる光学画像を画像解析して上記目標物の上面図を作成するステップと、上記上面図中の構成要素の高さを計算するステップとをさらに含み、上記目標物の特徴が、上記モデルの特徴と合致するか否か識別することである。   The fifth means further includes a step of performing image analysis on the optical image obtained by the optical camera to create a top view of the target, and calculating a height of a component in the top view in the first means. Identifying whether the features of the target match the features of the model.

第6手段は、飛翔体に搭載されるSAR部と、レーダ反射信号を上記SAR部から入力し2次元SAR画像を生成するSAR画像取得部と、上記SAR画像の中から目標物を切り出す対象切り出し部と、該切り出された目標物の特徴量を計算する特徴計算部と、モデルを記憶するモデル記憶部と、上記目標物の特徴が上記モデルの特徴と合致するか否か識別する対象識別部とを備えた目標物識別装置において、上記対象識別部は、上記飛翔体の飛翔方向及び目標物の姿勢に依存して上記目標物の2次元レーダ画像上に現れる変形に基づいて、上記目標物の特徴が、上記モデルの特徴と合致するか否か識別することである。   The sixth means includes a SAR unit mounted on the flying object, a SAR image acquisition unit that inputs a radar reflection signal from the SAR unit to generate a two-dimensional SAR image, and a target segmentation that extracts a target from the SAR image. A feature calculation unit that calculates a feature amount of the cut target, a model storage unit that stores a model, and an object identification unit that identifies whether the feature of the target matches the feature of the model The target identification unit includes the target based on a deformation that appears on a two-dimensional radar image of the target depending on a flight direction of the flying object and a posture of the target. Is to identify whether or not the feature of the model matches the feature of the model.

第7手段は、第6手段において、上記特徴計算部は、レーダ電波を上記目標物に向けて照射する方向において、上記レーダ電波の反射強度分布を投影したヒストグラムを作成し、上記対象識別部は、上記投影後の反射強度分布が上記モデルの特徴と合致するか否か識別することである。   A seventh means is the sixth means, wherein the feature calculation unit creates a histogram in which the reflection intensity distribution of the radar radio wave is projected in a direction in which the radar radio wave is irradiated toward the target. And identifying whether the reflected intensity distribution after the projection matches the characteristics of the model.

第8手段は、第6手段において、上記切り出し部は、レーダ電波を上記目標物に向けて照射する方向において、上記レーダ電波による高強度の反射点群を囲む2本の平行線を決定し、上記平行線を含み上記反射点群密度を最大とする平行四辺形を決定し、上記対象識別部は、上記平行四辺形によって切り出された上記目標物の特徴が上記モデルの特徴と合致するか否か識別することである。   According to an eighth means, in the sixth means, the cutout unit determines two parallel lines surrounding a high-intensity reflection point group by the radar radio wave in a direction in which the radar radio wave is irradiated toward the target, A parallelogram including the parallel lines and maximizing the reflection point group density is determined, and the object identification unit determines whether the feature of the target cut out by the parallelogram matches the feature of the model. Is to identify.

第9手段は、第6手段において、上記切り出し部は、上記2次元レーダ画像から上記目標物を切り出す初期切り出し領域を決定し、さらに、上記初期切り出し領域内に存在する所定閾値以上の強度の上記レーダ電波による反射波を選択し、さらに、上記反射点群中において該反射点相互の距離が最大であり上記初期切り出し領域の境界に最も近い反射波を除去する新切り出し領域を決定し、さらに、上記反射点群の分散が収束するまで新切り出し領域を更新し、上記対象識別部は、上記目標物以外からの反射波を排除して切り出された上記目標物の特徴が、上記モデルの特徴と合致するか否か識別することである。   A ninth means is the sixth means, wherein the cut-out unit determines an initial cut-out area for cutting out the target from the two-dimensional radar image, and further, the intensity of the intensity equal to or higher than a predetermined threshold existing in the initial cut-out area. Select a reflected wave from the radar radio wave, further determine a new cutout area that removes the reflected wave closest to the boundary of the initial cutout area that has the maximum distance between the reflection points in the reflection point group, and The new cutout area is updated until the dispersion of the reflection point group converges, and the target identification unit excludes the reflected wave from other than the target, and the feature of the target cut out is the feature of the model. It is to identify whether or not they match.

第10手段は、第6手段において、上記モデルの2次元レーダ画像をシミュレーションにより生成するSARシミュレーション部をさらに備え、上記対象識別部は、上記対象切り出し部から入力される目標物の2次元レーダ画像が、該シミュレーション画像と合致するか否か識別することである。   The tenth means further comprises a SAR simulation unit for generating a two-dimensional radar image of the model by simulation in the sixth means, wherein the target identification unit is a two-dimensional radar image of the target inputted from the target cutout unit Is to identify whether or not it matches the simulation image.

第11手段は、第6手段において、上記飛翔体に搭載される光学カメラ部と、上記光学カメラ部による光学画像を画像解析し上記目標物の上面図を作成する光学画像解析部とをさらに備え、上記対象認識部は、上記上面図中の構成要素を符号で区別し区別結果を上記特徴計算部に入力し、上記特徴計算部は、上記対象認識部からの入力に基づいて、上記構成要素の高さを計算し計算結果を上記対象認識部に入力し、上記対象認識部は、上記特徴計算部からの入力に基づいて、上記目標物の特徴が上記モデルの特徴と合致するか否か識別することである。   The eleventh means further includes, in the sixth means, an optical camera unit mounted on the flying object, and an optical image analysis unit that analyzes an optical image obtained by the optical camera unit and creates a top view of the target. The object recognition unit distinguishes the constituent elements in the top view by reference numerals and inputs the discrimination results to the feature calculation section. The feature calculation section is configured to input the constituent elements based on the input from the target recognition section. Is calculated and the calculation result is input to the target recognition unit. The target recognition unit determines whether the feature of the target matches the feature of the model based on the input from the feature calculation unit. To identify.

本発明によれば、倒れ込みによる影響を除去し、目標対象の識別精度を向上させることができる。また、目標の領域そのものを精度良く決定し、目標対象の識別精度を向上させることができる。   According to the present invention, it is possible to remove the influence of falling and improve the identification accuracy of the target object. In addition, the target area itself can be determined with high accuracy, and the identification accuracy of the target object can be improved.

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但し本実施形態に記載されている構成部品の寸法、材質、形状、その相対的配置等に特定的な記載があっても、本発明をそれに限定する趣旨ではない。また、本実施形態は2次元SAR画像について記載されるが、広く、レーダ画像についても応用することができる。   Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. However, even if there are specific descriptions in the dimensions, materials, shapes, relative arrangements, and the like of the components described in the present embodiment, the present invention is not intended to be limited thereto. Moreover, although this embodiment is described about a two-dimensional SAR image, it is widely applicable also to a radar image.

[実施形態1]
実施形態1は、目標物識別方法に係り、2次元レーダ画像の中から目標物を切り出すステップと、レーダ電波を目標物に向けて照射する方向において、レーダ電波の反射強度分布を投影しヒストグラムを作成するステップと、投影後の反射強度分布がモデルの特徴と合致するか否か識別するステップとを含む。
[Embodiment 1]
Embodiment 1 relates to a target identification method, wherein a step of extracting a target from a two-dimensional radar image, and a reflection intensity distribution of radar radio waves are projected in a direction in which the radar radio waves are emitted toward the target, and a histogram is obtained. Creating and identifying whether the projected reflection intensity distribution matches the features of the model.

実施形態1の目的は、目標が正しく切り出された前提で、対象の構造物の高さによる変形は、衛星の移動方向(アジマス方向)と電波照射方向(レンジ方向)に依存するため、衛星運動情報を使って取得画像の対象候補領域の反射強度パターンを変形する方向(レンジ方向)に射影したパターンを生成することである。   The purpose of the first embodiment is based on the premise that the target is correctly cut out, and the deformation due to the height of the target structure depends on the moving direction of the satellite (azimuth direction) and the radio wave irradiation direction (range direction). It is to generate a pattern projected in the direction (range direction) to deform the reflection intensity pattern of the target candidate region of the acquired image using information.

図5を参照して、実施形態1の原理について説明する。図5(A)は、マストM1、M2、M3を含む艦船の進行方向に対して、斜めにレーダ照射が行われており、マストM1、M2、M3はレーダ照射方向と反対に倒れ込む。そこで、信号強度分布をレーダ照射方向に射影して計算する。図5(B)は、レーダ照射方向が艦船の進行方向に略垂直である場合であるが、この場合も、レーダ照射方向に射影した強度分布を計算する。このように計算された強度分布は、いずれも倒れ込み方向に射影した強度分布であり、マスト間の間隔を表すスポット位置間の間隔は、図5(A)と図5(B)では変わらない。なお、マスト位置での信号強度は、それらのマストの周辺からの反射波に影響されるため、図5(A)と図5(B)では必ずしも同じではない。   The principle of the first embodiment will be described with reference to FIG. In FIG. 5A, the radar irradiation is performed obliquely with respect to the traveling direction of the ship including the masts M1, M2, and M3, and the masts M1, M2, and M3 fall down opposite to the radar irradiation direction. Therefore, the signal intensity distribution is calculated by projecting in the radar irradiation direction. FIG. 5B shows a case where the radar irradiation direction is substantially perpendicular to the ship traveling direction. In this case as well, the intensity distribution projected in the radar irradiation direction is calculated. The intensity distribution calculated in this way is an intensity distribution projected in the falling direction, and the interval between the spot positions representing the interval between the masts does not change between FIG. 5 (A) and FIG. 5 (B). Note that the signal intensity at the mast position is not necessarily the same in FIGS. 5A and 5B because it is affected by the reflected waves from the periphery of those masts.

図6は、実施形態1の目標物識別方法のフローチャートである。まず、S50において、
2次元SAR画像が取得される。次に、S52において、艦船等の目標対象が切り出される。次に、S54において、切り出された画像中の点群をレーダ照射方向に投影して強度分布のヒストグラムを作成する。次に、S56において対象の長さを正規化する。そして、最後にS58において、登録データとの比較により対象が識別される。
FIG. 6 is a flowchart of the target identifying method of the first embodiment. First, in S50,
A two-dimensional SAR image is acquired. Next, in S52, a target object such as a ship is cut out. Next, in S54, a point group in the clipped image is projected in the radar irradiation direction to create an intensity distribution histogram. Next, the length of the object is normalized in S56. Finally, in S58, the object is identified by comparison with the registered data.

したがって、実施形態1の作用効果は、衛星運動パターンと目標の姿勢に影響を受けた変形をするSAR特有の反射強度パターンを、そういう情報に影響されない(不変な)特徴に変換することが出来るということである。   Therefore, the effect of the first embodiment is that the SAR-specific reflection intensity pattern that is deformed affected by the satellite motion pattern and the target attitude can be converted into a feature that is not affected by such information (invariable). That is.

[実施形態2]
実施形態2は、実施形態1において、レーダ電波を目標物に向けて照射する方向において、レーダ電波の高強度の反射点群を囲む2本の平行線を決定するステップと、平行線を含み反射点群密度を最大とする平行四辺形を決定するステップと、目標物の特徴が、モデルの特徴と合致するか否か識別するステップとをさらに含む目標物識別方法である。
[Embodiment 2]
In the second embodiment, the step of determining two parallel lines surrounding the high-intensity reflection point group of the radar radio wave in the direction of irradiating the radar radio wave toward the target in the first embodiment, and the reflection including the parallel line is reflected. A target identification method further comprising: determining a parallelogram that maximizes the point cloud density; and identifying whether the characteristics of the target match the characteristics of the model.

実施形態2の目的は、目標の切り出しにおいて、目標に外接する長方形で切り出すと倒れ込み成分の一部が領域からはみ出して貴重な情報が失われる問題があったため、切り出す際に長方形ではなく、倒れ込み方向を考慮した「平行四辺形」で切り出す(アフィン変換による領域同定の代わりに、スキューアフィン変換を使う)ことである。   The purpose of the second embodiment is that when a target is cut out with a rectangle circumscribing the target, there is a problem that a part of the fall component protrudes from the region and valuable information is lost. It is to cut out with a “parallelogram” in consideration of (using skew affine transformation instead of region identification by affine transformation).

図7を参照して、実施形態2の原理について説明する。図7(A)には、6つの反射スポットが実践の丸で示され、点線の2つの丸は倒れ込みがないと仮定したときのマストの位置を示す。4つの小円はブリッジのエッジを表す。そこで、まず、マストをあらわす大円2つをレーザ照射方向に平行な2つの平行線L1、L2で囲む。次に、図7(B)を参照すると、全てのスポットを包含するような2本の平行線L3、L4を初期設定する。そして、平行線L3、L4を平行線L1に対して回転させていき、点群密度が最大となるような方向の平行線L5、L6を決定する。こうして、目標切り出し用平行四辺形L1L2L5L6が得られる。   The principle of the second embodiment will be described with reference to FIG. In FIG. 7A, six reflective spots are indicated by practical circles, and two dotted circles indicate the position of the mast when it is assumed that there is no collapse. Four small circles represent the edge of the bridge. Therefore, first, two great circles representing a mast are surrounded by two parallel lines L1 and L2 parallel to the laser irradiation direction. Next, referring to FIG. 7B, two parallel lines L3 and L4 that include all the spots are initialized. Then, the parallel lines L3 and L4 are rotated with respect to the parallel line L1, and the parallel lines L5 and L6 in the direction in which the point group density is maximized are determined. In this way, the target cutting parallelogram L1L2L5L6 is obtained.

図8は、実施形態2の目標物識別方法のフローチャートである。まず、S70において、2次元SAR画像が取得される。次に、S72において、レーダ反射方向に平行な2つの直線L1、L2で高強度の反射点群を囲む。最後に、S74において、スキューアフィン変換により、点群密度を最大ならしめる平行四辺形(直線L1、L2を含む)を決定する。   FIG. 8 is a flowchart of the target identification method according to the second embodiment. First, in S70, a two-dimensional SAR image is acquired. Next, in S72, the high-intensity reflection point group is surrounded by two straight lines L1 and L2 parallel to the radar reflection direction. Finally, in S74, a parallelogram (including straight lines L1 and L2) that maximizes the point group density is determined by skew affine transformation.

したがって、実施形態2の作用効果は、目標切り出し時に、倒れ込みにより移動した特徴点を欠落させずに切り出すことができるということである。   Therefore, the operational effect of the second embodiment is that, at the time of target cutout, it is possible to cut out feature points that have moved due to falling down without being lost.

[実施形態3]
実施形態3は、実施形態1において、2次元レーダ画像から目標物を切り出す初期切り出し領域を決定する第1ステップと、初期切り出し領域内に存在する所定閾値以上の強度のレーダ電波の反射点群を選択する第2ステップと、反射点群中において該反射点相互の距離が最大であり初期切り出し領域の境界に最も近い反射点を除去する新切り出し領域を決定する第3ステップとを含み、反射点群の分散が収束するまで第3ステップを繰り返すステップとをさらに含み、目標物の特徴がモデルの特徴と合致するか否か識別するステップとを含む目標物識別方法である。
[Embodiment 3]
In the first embodiment, a first step of determining an initial cutout area for cutting out a target from a two-dimensional radar image, and a reflection point group of radar radio waves having an intensity equal to or higher than a predetermined threshold existing in the initial cutout area in the first embodiment. A second step of selecting, and a third step of determining a new cutout area for removing a reflection point that is the distance between the reflection points in the reflection point group and that is closest to the boundary of the initial cutout area, Repeating the third step until the variance of the group converges, and identifying whether or not the feature of the target matches the feature of the model.

実施形態3の目的は、目標の全長については、境界部分に必ずしも強い反射成分が存在しない可能性があり、目標の一部を切り出したり、目標以外のもの(船舶の場合に、停泊する桟橋の一部など)も含めてしまう問題があったため、強い反射成分の周囲を複数の可能性に基づいて切り出し、そのそれぞれを識別用のデータベースと照合することである。   The purpose of the third embodiment is that there is a possibility that a strong reflection component does not necessarily exist in the boundary portion for the total length of the target, and a part of the target is cut out, or other than the target (in the case of a ship, There is a problem that a part of the reflection component is included, and therefore, the periphery of the strong reflection component is cut out based on a plurality of possibilities, and each of them is compared with the database for identification.

図9を参照して、実施形態3の原理について説明する。図9は、岸壁Yに近接した対象Xを含む2次元SAR画像の中から、対象Xを切り出す方法を示す。まず、対象対象Xの点群、波、岸壁上の構造物など、閾値以上の反射点を選択し、第1の切り出しを行う。次に、対象対象Xの点群(特にマストをあらわす2つの大円)から最も遠い反射点である「波」を除去して第2の切り出しを行う。次に、対象対象Xの点群(特にマストをあらわす2つの大円)から最も遠い反射点である「岸壁上の構造物」を除去して第3の切り出しを行う。以下、点群密度が収束するまで、切り出しを繰り返す。   The principle of the third embodiment will be described with reference to FIG. FIG. 9 shows a method of cutting out the target X from the two-dimensional SAR image including the target X close to the quay Y. First, a reflection point that is equal to or higher than a threshold, such as a point group of the target object X, a wave, or a structure on a quay, is selected and a first cutout is performed. Next, the “wave” that is the farthest reflection point from the point group (particularly, two great circles representing the mast) of the target object X is removed, and a second cutout is performed. Next, a “structure on the quay” that is the farthest reflection point from the point group (particularly, two great circles representing the mast) of the target object X is removed, and a third cutout is performed. Thereafter, the clipping is repeated until the point cloud density converges.

図10は、実施形態3の目標物識別方法のフローチャートである。まず、S90において、切り出し領域の初期領域を決める。次に、S92において、閾値以上の強度の反射点を全て囲むよう初期領域を変形する。その際、レーダ照射方向を考慮し倒れ込みによって移動した反射点を逃すことがないようにする。次に、S94において、対象から最もはなれた反射点を除去するように切り出し領域を変形する。次に、S96において、反射点群同士の分散が収束したか否かを判定する。S96において、点群の分散が収束した場合(切り出し領域内の点群密度が収束した場合)は、切り出しを終了する。S96において、未だ分散が収束しない場合は、S94に戻り、切り出しを継続する。   FIG. 10 is a flowchart of the target identifying method of the third embodiment. First, in S90, the initial region of the cutout region is determined. Next, in S92, the initial region is deformed so as to surround all reflection points having an intensity equal to or higher than the threshold value. At this time, the radar irradiation direction is taken into consideration so as not to miss the reflection point that has moved due to falling down. Next, in S94, the cutout region is deformed so as to remove the reflection point farthest from the target. Next, in S96, it is determined whether or not the dispersion between the reflection point groups has converged. In S96, when the distribution of the point cloud converges (when the point cloud density in the cut-out area converges), the cut-out ends. In S96, if the variance has not yet converged, the process returns to S94 and the clipping is continued.

したがって、実施形態3の作用効果は、目標位置の切り出し精度によっては識別精度が低い場合があったが、切り出しを一意に決定しにくい対象や画像条件においても、識別精度を向上できるということである。   Therefore, the operational effect of the third embodiment is that although the identification accuracy may be low depending on the target position extraction accuracy, the identification accuracy can be improved even for objects and image conditions where it is difficult to uniquely determine the extraction. .

[実施形態4]
実施形態4は、実施例1において、モデルの2次元レーダ画像をシミュレーションにより生成するステップと、目標物の特徴が、シミュレーション画像の特徴と合致するか否か識別するステップとをさらに含む目標物識別方法である。
[Embodiment 4]
The fourth embodiment further includes a step of generating a two-dimensional radar image of the model by simulation in the first embodiment and a step of identifying whether or not the feature of the target matches the feature of the simulation image. Is the method.

実施形態4の目的は、目標物の特徴(反射強度分布のレーダ照射方向への投影など)を計算することなく、パターンマッチングにより目標を識別することである。   The purpose of the fourth embodiment is to identify the target by pattern matching without calculating the characteristics of the target (such as projection of the reflection intensity distribution in the radar irradiation direction).

図11を参照して、実施形態4の原理について説明する。1以上のモデル(モデルA、モデルB、モデルC)を用意し、レーダ照射方向ごとの(例えば、10度刻みごとの)反射パターンを計算により生成し、データベースに格納しておく。一方、実際にレーダを照射することによって取得した2次元SAR画像から、対象を切り出し(実施形態2、3による)、切り出し画像とデータベース画像をパターンマッチングにかける。   The principle of the fourth embodiment will be described with reference to FIG. One or more models (model A, model B, model C) are prepared, and a reflection pattern for each radar irradiation direction (for example, every 10 degrees) is generated by calculation and stored in a database. On the other hand, a target is cut out from the two-dimensional SAR image acquired by actually irradiating the radar (according to the second and third embodiments), and the cut-out image and the database image are subjected to pattern matching.

図12は、実施形態4の目標物識別方法のフローチャートである。まず、S110において、モデルのレーダ反射パターンを、レーダ照射方向ごとに、計算により合成する。次に、S112において、実際に得られた2次元SAR画像の長手方向を判断し、船体に対する倒れ込みの角度からレーダ照射方向を推定する。次に、S114において、切り出し画像と合成画像の大きさを揃え、対応する反射点の位置のズレ量を評価する。最後に、S116において、ズレ量が、例えば最小且つ閾値以下となさしめるモデルがあれば、対象は当該モデルと一致するものと識別される。   FIG. 12 is a flowchart of the target identification method according to the fourth embodiment. First, in S110, the radar reflection pattern of the model is synthesized by calculation for each radar irradiation direction. Next, in S112, the longitudinal direction of the actually obtained two-dimensional SAR image is determined, and the radar irradiation direction is estimated from the angle of collapse with respect to the hull. Next, in S114, the sizes of the cut-out image and the synthesized image are aligned, and the amount of deviation of the position of the corresponding reflection point is evaluated. Finally, in S116, if there is a model whose amount of deviation is, for example, the minimum and not more than the threshold value, the target is identified as matching the model.

したがって、実施形態4の作用効果は、特徴量計算を不要とし、対象を高速に識別することができるということである。   Therefore, the operational effect of the fourth embodiment is that feature quantity calculation is not required and the target can be identified at high speed.

[実施形態5]
実施形態5は、実施形態1において、光学カメラによる光学画像を画像解析して目標物の上面図を作成するステップと、上面図中の構成要素を符号で区別するステップと、構成要素の高さを計算するステップとをさらに含み、目標物の特徴が、モデルの特徴と合致するか否か識別する目標物識別方法である。
[Embodiment 5]
A fifth embodiment is the same as the first embodiment in that a step of creating a top view of a target by image analysis of an optical image obtained by an optical camera, a step of distinguishing components in the top view by reference numerals, and heights of the components A target identification method for identifying whether the feature of the target matches the feature of the model.

実施形態5の目的は、SAR画像と同時に撮影した光学画像があり、光学画像だけでは真上からの映像であるため構造物の(位置ではなく)高さが識別の決め手となる対象の識別を行う必要がある場合に、光学画像から構造物の位置を求め、SAR画像からその倒れ込み量を求めることで構造物の高さを得ることにより識別精度を向上させることである。   The purpose of Embodiment 5 is an optical image taken at the same time as the SAR image. Since the optical image alone is an image from directly above, identification of an object whose height (not position) is a decisive factor for identification is performed. When necessary, the position of the structure is obtained from the optical image, and the height of the structure is obtained by obtaining the amount of collapse from the SAR image, thereby improving the identification accuracy.

図13を参照して、実施形態5の原理について説明する。対象モデルAと対象モデルBはマストの高さが異なるだけで、光学画像での幾何学的配置は同一であるものとする。この場合、2次元SAR画像での倒れ込み量は、マストなどの高さに依存するため、光学画像により、マストなどの位置を正確に決定し符号を付して識別しておけば、2次元SAR画像中で当該識別番号を付された構成要素がどこまで倒れ込んだかについても正確に決定することができる。したがって、倒れ込み後の各反射点の点群中心からのズレ量で高さ情報を計算することができる。計算方法は、図13、図15を参照して、後述する。   The principle of the fifth embodiment will be described with reference to FIG. It is assumed that the target model A and the target model B differ only in the height of the mast and have the same geometrical arrangement in the optical image. In this case, since the amount of collapse in the two-dimensional SAR image depends on the height of the mast or the like, if the position of the mast or the like is accurately determined from the optical image and identified by a code, the two-dimensional SAR is identified. It is possible to accurately determine the extent to which the component assigned the identification number in the image has fallen. Therefore, height information can be calculated from the amount of deviation from the center of the point cloud of each reflection point after falling down. The calculation method will be described later with reference to FIGS.

図14は、実施形態5の目標物識別方法のフローチャートである。SAR画像解析側では、まず、S130において、2次元SAR画像が取得される。次に、S132において、対象が切り出される。最後に、S134において、構造物高さが計算される。一方、光学画像解析側では、まず、S131において、光学画像が取得される。次に、S133において、対象の角構造物の配置が計算され、対象の上面図が作成される。次に、この上面図に基づいて、例えば、ブリッジなどに対応する四角形の面積率、マストなどに対応する円の面積率などをモデルと比較し、識別モデルを、例えば図13に示したモデルAとモデルBに絞り込む。最後に、S135において、S134で計算された構造物高さを取り入れることによって、目標物が、対象モデルAと対象モデルBのいずれかであるかが判別され得る。   FIG. 14 is a flowchart of the target identifying method of the fifth embodiment. On the SAR image analysis side, first, in S130, a two-dimensional SAR image is acquired. Next, in S132, the target is cut out. Finally, in S134, the structure height is calculated. On the other hand, on the optical image analysis side, first, in S131, an optical image is acquired. Next, in S133, the arrangement of the target corner structure is calculated, and a top view of the target is created. Next, based on this top view, for example, the area ratio of a square corresponding to a bridge and the like, the area ratio of a circle corresponding to a mast and the like are compared with a model, and an identification model is obtained by, for example, And model B. Finally, in S135, it can be determined whether the target is the target model A or the target model B by taking in the structure height calculated in S134.

図15は、構造物高さ計算のフローチャートである。まず、S140において、対象(反射点群)が切り出される。次に、S142において、主軸(対象の長手方向の中心軸)が計算される(図13参照)。次に、S144において、各反射点と主軸との距離が計算される。この距離は、レーダ照射方向にて計算される。そして、この距離に基づいて高さが計算される。最後に、S146において、反射点ごとの高さを特徴量として、対象とモデルの合致が判定される。   FIG. 15 is a flowchart of the structure height calculation. First, in S140, a target (reflection point group) is cut out. Next, in S142, the main axis (the central axis in the longitudinal direction of the object) is calculated (see FIG. 13). Next, in S144, the distance between each reflection point and the principal axis is calculated. This distance is calculated in the radar irradiation direction. Then, the height is calculated based on this distance. Finally, in S146, the match between the target and the model is determined using the height of each reflection point as a feature amount.

したがって、実施形態5の作用効果は、SAR画像と光学画像を組み合わせることにより、識別精度を向上できるということである。   Therefore, the operational effect of the fifth embodiment is that the identification accuracy can be improved by combining the SAR image and the optical image.

[実施形態6]
実施形態6は、目標物識別装置であり、飛翔体に搭載されるSAR部と、レーダ反射信号をSAR部から入力し2次元SAR画像を生成するSAR画像取得部と、SAR画像の中から目標物を切り出す対象切り出し部と、該切り出された目標物の特徴量を計算する特徴計算部と、モデルを記憶するモデル記憶部と、目標物の特徴がモデルの特徴と合致するか否か識別する対象識別部とを備えた目標物識別装置において、対象識別部は、飛翔体の飛翔方向及び目標物の姿勢に依存して目標物の2次元レーダ画像上に現れる変形に基づいて、目標物の特徴が、モデルの特徴と合致するか否か識別する。
[Embodiment 6]
Embodiment 6 is a target identification device, which includes a SAR unit mounted on a flying object, a SAR image acquisition unit that inputs a radar reflection signal from the SAR unit and generates a two-dimensional SAR image, and a target from the SAR images. A target cutout unit that cuts out an object, a feature calculation unit that calculates a feature amount of the cut out target, a model storage unit that stores a model, and whether or not the feature of the target matches the feature of the model In the target object identification device including the target identification unit, the target identification unit is configured to detect the target based on the deformation that appears on the two-dimensional radar image of the target depending on the flying direction of the flying object and the attitude of the target. Identify whether the feature matches that of the model.

本装置は、さらに光学カメラ部を備えてもよい。すなわち、本装置は、飛翔体に搭載される光学カメラ部と、光学カメラ部による光学画像を画像解析し目標物の上面図を作成する光学画像解析部とをさらに備え、対象認識部は、上面図に基づいて目標物の構成要素を同定し同定結果を特徴計算部に入力し、特徴計算部は、対象認識部からの入力に基づいて、飛翔体の飛翔方向と目標物の姿勢に依存して生じる目標物の2次元レーダ画像状における変形に基づいて構成要素の高さを計算し計算結果を対象認識部に入力し、対象認識部は、特徴計算部からの入力に基づいて、2次元SAR画像及び光学画像により特定された目標物の特徴が、モデルの特徴と合致するか否か識別する。   The apparatus may further include an optical camera unit. That is, the apparatus further includes an optical camera unit mounted on the flying object, and an optical image analysis unit that performs image analysis of an optical image obtained by the optical camera unit and creates a top view of the target, Based on the figure, the components of the target are identified and the identification result is input to the feature calculation unit.The feature calculation unit depends on the flying direction of the flying object and the posture of the target based on the input from the object recognition unit. The height of the component is calculated based on the deformation of the target generated in the two-dimensional radar image, and the calculation result is input to the target recognition unit. The target recognition unit is based on the input from the feature calculation unit. It is identified whether the feature of the target specified by the SAR image and the optical image matches the feature of the model.

図16は、目標物識別装置のブロック図である。   FIG. 16 is a block diagram of the target object identification device.

SAR部161(合成開口レーダ部)から出力されたレーダ反射信号は、SAR画像取得部162に入力されて2次元SAR画像が形成される。その2次元SAR画像は対象切り出し部163に入力され、目標対象が切り出される。切り出された目標画像は、特徴計算部164に入力され、目標の特徴(反射強度分布のヒストグラムや目標中の構造物の高さなど)が計算される。特徴計算部164にて計算された特徴量は、対象識別部164に入力される。一方、モデル記憶部167には目標のモデルがデータベースとして格納されており、モデルは、対象識別部165の読み出し要求に応じて、対象識別部165に入力される。そこで、対象識別部165は、切り出し画像とモデルを照合し、識別結果を得る。その識別結果は識別結果出力部170(プリンタ、ディスプレイなど)に出力され、当該モデルとの合致の有無や合致の度合(相関係数)が出力される。当該モデルとの合致が認められないときは、別のモデルが対象識別部165に読み出され照合が繰り返されることもある。   The radar reflection signal output from the SAR unit 161 (synthetic aperture radar unit) is input to the SAR image acquisition unit 162 to form a two-dimensional SAR image. The two-dimensional SAR image is input to the target cutout unit 163, and the target target is cut out. The cut target image is input to the feature calculation unit 164, and target features (such as a histogram of the reflection intensity distribution and the height of the structure in the target) are calculated. The feature amount calculated by the feature calculation unit 164 is input to the object identification unit 164. On the other hand, the target model is stored as a database in the model storage unit 167, and the model is input to the target identification unit 165 in response to a read request from the target identification unit 165. Therefore, the object identification unit 165 collates the cut-out image with the model and obtains an identification result. The identification result is output to an identification result output unit 170 (printer, display, etc.), and the presence / absence of matching with the model and the degree of matching (correlation coefficient) are output. When a match with the model is not recognized, another model may be read out by the object identification unit 165 and collation may be repeated.

対象切り出し部163は、実施形態2、実施形態3に記載された方法にて、目標対象を切り出す。   The target cutout unit 163 cuts out the target target by the method described in the second and third embodiments.

実施形態4記載の方法を実行する場合には、対象切り出し部163は、切り出し画像を対象識別部165に入力する。一方、SARシミュレーション部166は、対象識別部165の要求に応じて、モデルのSARシミュレーション画像を、対象識別部165に入力する。当該モデルは、SARシミュレーション部166がモデル記憶部167から読み出されたものである。   When executing the method described in the fourth embodiment, the target cutout unit 163 inputs the cutout image to the target identification unit 165. On the other hand, the SAR simulation unit 166 inputs a SAR simulation image of the model to the target identification unit 165 in response to a request from the target identification unit 165. The model is read from the model storage unit 167 by the SAR simulation unit 166.

特徴計算部164は、実施形態1記載の方法にて目標の特徴量(レーダ方向に射影された反射強度ヒストグラムなど)を計算する。   The feature calculation unit 164 calculates a target feature amount (such as a reflection intensity histogram projected in the radar direction) by the method described in the first embodiment.

実施形態5記載の方法を実行する場合には、光学カメラ部168からの光学画像を光学画像解析部169にて解析して目標物の上面の幾何学的配置を計算し、上面図を作成し、作成結果が対象識別部165に入力される。対象識別部165は、例えば、幾何学的配置中の四角形(デッキに対応)や丸(マストに対応)の面積占有率などからモデル候補を絞りこむ。その際、対象識別部165は上面図中の構造物に符号(番号、名前など)を付して区別しておく。その区別結果は特徴計算部164に入力される。一方、対象切り出し部163から特徴計算部へは切り出された2次元SAR画像が入力されるため、符号付けされた構造物の高さが、図13、図15の方法により計算される。この計算結果は対象識別部165に入力される。これにより、対照の高さ情報と平面情報が特定され、モデルと対比される。   When the method described in the fifth embodiment is executed, the optical image from the optical camera unit 168 is analyzed by the optical image analysis unit 169 to calculate the geometric arrangement of the upper surface of the target, and a top view is created. The creation result is input to the object identification unit 165. The object identification unit 165 narrows down model candidates based on, for example, the area occupancy ratio of a square (corresponding to a deck) or a circle (corresponding to a mast) in the geometric arrangement. In that case, the object identification part 165 attaches | subjects a code | symbol (number, a name, etc.) to the structure in a top view, and distinguishes it. The discrimination result is input to the feature calculation unit 164. On the other hand, since the cut out two-dimensional SAR image is input from the target cutout unit 163 to the feature calculation unit, the height of the encoded structure is calculated by the method of FIGS. 13 and 15. This calculation result is input to the object identification unit 165. Thereby, the height information and plane information of the contrast are specified and compared with the model.

以上説明した本装置は、SAR部161、光学カメラ部168、モデル記憶部167(不揮発性メモリ)、識別結果出力部170を除き、単一のコンピュータシステム又はマイクロコンピュータであってもよい。その場合は、図示しないコンピュータプログラムにより、上述した各動作が実行される。   The apparatus described above may be a single computer system or microcomputer except for the SAR unit 161, the optical camera unit 168, the model storage unit 167 (nonvolatile memory), and the identification result output unit 170. In that case, each operation described above is executed by a computer program (not shown).

本発明は、2次元SAR画像による目標物認識に利用可能であり、目標物は船舶に限らず、移動又は停止している車両などについても利用可能である。   The present invention can be used for target recognition by a two-dimensional SAR image, and the target is not limited to a ship but can be used for a moving or stopped vehicle.

2次元SAR画像における画像の歪み(倒れ込み(フォーショートニング))について説明する図である。It is a figure explaining the distortion (falling down (four shortening)) of the image in a two-dimensional SAR image. 倒れ込みを含む2次元SAR画像について説明する図である。It is a figure explaining the two-dimensional SAR image containing a fall. 2次元SAR画像解析の一般的方法のフローチャートである。3 is a flowchart of a general method for analyzing a two-dimensional SAR image. 倒れ込みの影響と目標物切り出しの困難性を説明する図である。It is a figure explaining the influence of falling down and the difficulty of a target cutout. 実施形態1の方法の原理を説明する図である。It is a figure explaining the principle of the method of Embodiment 1. FIG. 実施形態1の方法のフローチャートである。2 is a flowchart of a method according to the first embodiment. 実施形態2の方法の原理を説明する図である。It is a figure explaining the principle of the method of Embodiment 2. FIG. 実施形態2の方法のフローチャートである。6 is a flowchart of a method according to the second embodiment. 実施形態3の方法の原理を説明する図である。It is a figure explaining the principle of the method of Embodiment 3. FIG. 実施形態3の方法のフローチャートである。10 is a flowchart of a method according to the third embodiment. 実施形態4の方法の原理を説明する図である。It is a figure explaining the principle of the method of Embodiment 4. FIG. 実施形態4の方法のフローチャートである。10 is a flowchart of a method according to the fourth embodiment. 実施形態5の方法の原理を説明する図である。It is a figure explaining the principle of the method of Embodiment 5. FIG. 実施形態5の方法の全体のフローチャートである。10 is an overall flowchart of a method according to the fifth embodiment. 実施形態5の方法の一部のフローチャートである。10 is a flowchart of a part of the method of the fifth embodiment. 実施形態6の装置のブロック図であるIt is a block diagram of the apparatus of Embodiment 6.

符号の説明Explanation of symbols

161 SAR部
162 SAR画像取得部
163 対象切り出し部
164 特徴計算部
165 対象識別部
166 SARシミュレーション部
167 モデル記憶部
168 光学カメラ部
169 光学画像解析部
170 認識結果出力部
161 SAR unit 162 SAR image acquisition unit 163 target segmentation unit 164 feature calculation unit 165 target identification unit 166 SAR simulation unit 167 model storage unit 168 optical camera unit 169 optical image analysis unit 170 recognition result output unit

Claims (11)

飛翔体に搭載される合成開口レーダを使用し、前記飛翔体の飛翔方向及び目標物の姿勢に依存して変形する前記目標物の2次元レーダ画像の特徴が、記憶されたモデルの特徴と合致するか否か識別する目標物識別方法であって、
前記2次元レーダ画像の中から前記目標物を切り出すステップと、
レーダ電波を前記目標物に向けて照射する方向において、前記レーダ電波の反射強度分布を投影しヒストグラムを作成するステップと、
前記投影後の反射強度分布が前記モデルの特徴と合致するか否か識別するステップとを含むことを特徴とする目標物識別方法。
Using a synthetic aperture radar mounted on the flying object, the characteristics of the two-dimensional radar image of the target deformed depending on the flight direction of the flying object and the attitude of the target match the characteristics of the stored model A target identification method for identifying whether or not to
Cutting out the target from the two-dimensional radar image;
Projecting a reflection intensity distribution of the radar radio wave in a direction of irradiating the radar radio wave toward the target, and creating a histogram;
And a step of identifying whether or not the projected reflection intensity distribution matches the feature of the model.
レーダ電波を前記目標物に向けて照射する方向において、前記レーダ電波の高強度の反射点群を囲む2本の平行線を決定するステップと、
前記平行線を含み前記反射点群密度を最大とする平行四辺形を決定するステップと、
前記目標物の特徴が、前記モデルの特徴と合致するか否か識別するステップとをさらに含むことを特徴とする請求項1記載の目標物識別方法。
Determining two parallel lines surrounding a high intensity reflection point group of the radar radio wave in a direction of irradiating the radar radio wave toward the target;
Determining a parallelogram that includes the parallel lines and maximizes the reflection point cloud density;
The method for identifying a target according to claim 1, further comprising a step of identifying whether or not the feature of the target matches the feature of the model.
前記2次元レーダ画像から前記目標物を切り出す初期切り出し領域を決定する第1ステップと、
前記初期切り出し領域内に存在する所定閾値以上の強度の前記レーダ電波の反射点群を選択する第2ステップと、
前記反射点群中において該反射点相互の距離が最大であり且つ前記初期切り出し領域の境界に最も近い反射点を除去する新切り出し領域を決定する第3ステップとを含み、
前記反射点群の分散が収束するまで前記第3ステップを繰り返すステップとをさらに含み、
前記目標物の特徴が前記モデルの特徴と合致するか否か識別するステップとを含むことを特徴とする請求項1記載の目標物識別方法。
A first step of determining an initial cutout region for cutting out the target from the two-dimensional radar image;
A second step of selecting a reflection point group of the radar radio wave having an intensity equal to or higher than a predetermined threshold existing in the initial cutout region;
A third step of determining a new cutout area for removing a reflection point that is the distance between the reflection points in the reflection point group and that is closest to the boundary of the initial cutout area,
Repeating the third step until the dispersion of the reflection point group converges,
The method of claim 1, further comprising the step of identifying whether the feature of the target matches the feature of the model.
前記モデルの2次元レーダ画像をシミュレーションにより生成するステップと、
前記目標物の特徴が、該シミュレーション画像の特徴と合致するか否か識別するステップとをさらに含むことを特徴とする請求項1記載の目標物識別方法。
Generating a two-dimensional radar image of the model by simulation;
The target identification method according to claim 1, further comprising the step of identifying whether or not the feature of the target matches the feature of the simulation image.
光学カメラによる光学画像を画像解析して前記目標物の上面図を作成するステップと、前記上面図中の構成要素の高さを計算するステップとをさらに含み、
前記目標物の特徴が、前記モデルの特徴と合致するか否か識別することを特徴とする請求項1記載の目標物識別方法。
Further comprising: analyzing an optical image from an optical camera to create a top view of the target; and calculating a height of a component in the top view,
The target object identifying method according to claim 1, further comprising: identifying whether or not the feature of the target object matches the feature of the model.
飛翔体に搭載されるSAR部と、
レーダ反射信号を前記SAR部から入力し2次元SAR画像を生成するSAR画像取得部と、
前記SAR画像の中から目標物を切り出す対象切り出し部と、
該切り出された目標物の特徴量を計算する特徴計算部と、
モデルを記憶するモデル記憶部と、
前記目標物の特徴が前記モデルの特徴と合致するか否か識別する対象識別部とを備えた目標物識別装置において、
前記対象識別部は、前記飛翔体の飛翔方向及び目標物の姿勢に依存して前記目標物の2次元レーダ画像上に現れる変形に基づいて、前記目標物の特徴が、前記モデルの特徴と合致するか否か識別することを特徴とする目標物識別装置。
A SAR unit mounted on a flying object;
A SAR image acquisition unit that inputs a radar reflection signal from the SAR unit and generates a two-dimensional SAR image;
A target cutout unit for cutting out a target from the SAR image;
A feature calculation unit for calculating a feature amount of the cut target;
A model storage unit for storing the model;
A target identification device comprising: an object identification unit for identifying whether the characteristics of the target matches the characteristics of the model;
The target identification unit is configured such that the feature of the target matches the feature of the model based on a deformation that appears on a two-dimensional radar image of the target depending on a flight direction of the flying object and a posture of the target. A target identification device for identifying whether or not to perform.
前記特徴計算部は、レーダ電波を前記目標物に向けて照射する方向において、前記レーダ電波の反射強度分布を投影したヒストグラムを作成し、
前記対象識別部は、前記投影後の反射強度分布が前記モデルの特徴と合致するか否か識別することを特徴とする請求項6記載の目標物識別装置。
The feature calculation unit creates a histogram in which a reflection intensity distribution of the radar radio wave is projected in a direction in which the radar radio wave is irradiated toward the target,
The target identifying apparatus according to claim 6, wherein the target identifying unit identifies whether the reflected intensity distribution after the projection matches the feature of the model.
前記切り出し部は、レーダ電波を前記目標物に向けて照射する方向において、前記レーダ電波による高強度の反射点群を囲む2本の平行線を決定し、前記平行線を含み前記反射点群密度を最大とする平行四辺形を決定し、
前記対象識別部は、前記平行四辺形によって切り出された前記目標物の特徴が前記モデルの特徴と合致するか否か識別することを特徴とする請求項6記載の目標物識別装置。
The cutout unit determines two parallel lines surrounding a high-intensity reflection point group by the radar radio wave in a direction in which the radar radio wave is irradiated toward the target, and includes the parallel lines and the reflection point group density Determine the parallelogram that maximizes
The target identifying apparatus according to claim 6, wherein the target identifying unit identifies whether or not the feature of the target cut out by the parallelogram matches the feature of the model.
前記切り出し部は、前記2次元レーダ画像から前記目標物を切り出す初期切り出し領域を決定し、さらに、前記初期切り出し領域内に存在する所定閾値以上の強度の前記レーダ電波による反射波を選択し、さらに、前記反射点群中において該反射点相互の距離が最大であり前記初期切り出し領域の境界に最も近い反射波を除去する新切り出し領域を決定し、さらに、前記反射点群の分散が収束するまで新切り出し領域を更新し、
前記対象識別部は、前記目標物以外からの反射波を排除して切り出された前記目標物の特徴が、前記モデルの特徴と合致するか否か識別することを特徴とする請求項6記載の目標物識別装置。
The cutout unit determines an initial cutout region for cutting out the target from the two-dimensional radar image, further selects a reflected wave by the radar radio wave having an intensity equal to or higher than a predetermined threshold existing in the initial cutout region, and Determining a new cut-out area that removes the reflected wave closest to the boundary of the initial cut-out area and having the maximum distance between the reflection points in the reflection point group, and further, until the dispersion of the reflection point group converges Update the new cutout area,
7. The object identification unit according to claim 6, wherein the target identification unit identifies whether or not a feature of the target cut out by removing a reflected wave from other than the target matches a feature of the model. Target identification device.
前記モデルの2次元レーダ画像をシミュレーションにより生成するSARシミュレーション部をさらに備え、
前記対象識別部は、前記対象切り出し部から入力される目標物の2次元レーダ画像が、該シミュレーション画像と合致するか否か識別することを特徴とする請求項6記載の目標物識別装置。
A SAR simulation unit that generates a two-dimensional radar image of the model by simulation;
The target identification apparatus according to claim 6, wherein the target identification unit identifies whether a two-dimensional radar image of the target input from the target cutout unit matches the simulation image.
前記飛翔体に搭載される光学カメラ部と、
前記光学カメラ部による光学画像を画像解析し前記目標物の上面図を作成する光学画像解析部とをさらに備え、
前記対象認識部は、前記上面図中の構成要素を符号で区別し区別結果を前記特徴計算部に入力し、
前記特徴計算部は、前記対象認識部からの入力に基づいて、前記構成要素の高さを計算し計算結果を前記対象認識部に入力し、
前記対象認識部は、前記特徴計算部からの入力に基づいて、前記目標物の特徴が前記モデルの特徴と合致するか否か識別することを特徴とする請求項6記載の目標物識別装置。
An optical camera unit mounted on the flying object;
An optical image analysis unit that analyzes an optical image by the optical camera unit and creates a top view of the target;
The object recognition unit distinguishes the constituent elements in the top view by a code and inputs the discrimination result to the feature calculation unit,
The feature calculation unit calculates the height of the component based on the input from the target recognition unit and inputs the calculation result to the target recognition unit;
The target identification apparatus according to claim 6, wherein the target recognition unit identifies whether the feature of the target matches the feature of the model based on an input from the feature calculation unit.
JP2005313575A 2005-10-27 2005-10-27 Target identifying technique using synthetic aperture radar image and device therof Withdrawn JP2007121111A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005313575A JP2007121111A (en) 2005-10-27 2005-10-27 Target identifying technique using synthetic aperture radar image and device therof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005313575A JP2007121111A (en) 2005-10-27 2005-10-27 Target identifying technique using synthetic aperture radar image and device therof

Publications (1)

Publication Number Publication Date
JP2007121111A true JP2007121111A (en) 2007-05-17

Family

ID=38145117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005313575A Withdrawn JP2007121111A (en) 2005-10-27 2005-10-27 Target identifying technique using synthetic aperture radar image and device therof

Country Status (1)

Country Link
JP (1) JP2007121111A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014048163A (en) * 2012-08-31 2014-03-17 Pasco Corp Aerial marking
JP2015114147A (en) * 2013-12-10 2015-06-22 三菱電機株式会社 Image synthesizer and image composition method
KR101736899B1 (en) * 2014-10-16 2017-05-17 한국해양과학기술원 Method for ship classification and identification
WO2019130554A1 (en) * 2017-12-28 2019-07-04 Nec Corporation Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program
CN112197690A (en) * 2020-09-30 2021-01-08 深圳市水务规划设计院股份有限公司 Earth-rock dam deformation monitoring method and system based on corner reflector and storage medium
CN113534093A (en) * 2021-08-13 2021-10-22 北京环境特性研究所 Propeller blade number inversion method for airplane target and target identification method
WO2022034666A1 (en) * 2020-08-13 2022-02-17 三菱電機株式会社 Learning device, image processing device, and alignment system
CN114114267A (en) * 2022-01-24 2022-03-01 中国人民解放军32035部队 Target attitude estimation method based on projection matching of spin space target model
CN114401440A (en) * 2021-12-14 2022-04-26 北京达佳互联信息技术有限公司 Video clip and clip model generation method, device, apparatus, program, and medium
JP2022078754A (en) * 2020-11-13 2022-05-25 株式会社東芝 Image identification device, radar device, image recognition method, and program

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014048163A (en) * 2012-08-31 2014-03-17 Pasco Corp Aerial marking
JP2015114147A (en) * 2013-12-10 2015-06-22 三菱電機株式会社 Image synthesizer and image composition method
KR101736899B1 (en) * 2014-10-16 2017-05-17 한국해양과학기술원 Method for ship classification and identification
WO2019130554A1 (en) * 2017-12-28 2019-07-04 Nec Corporation Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program
US11681036B2 (en) 2017-12-28 2023-06-20 Nec Corporation Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program
JP2021502557A (en) * 2017-12-28 2021-01-28 日本電気株式会社 Image processing equipment, image processing method, and image processing program
JP7088288B2 (en) 2017-12-28 2022-06-21 日本電気株式会社 Image processing device, image processing method, and image processing program
JPWO2022034666A1 (en) * 2020-08-13 2022-02-17
WO2022034666A1 (en) * 2020-08-13 2022-02-17 三菱電機株式会社 Learning device, image processing device, and alignment system
JP7262679B2 (en) 2020-08-13 2023-04-21 三菱電機株式会社 LEARNING DEVICE, IMAGE PROCESSING DEVICE, AND ALIGNMENT SYSTEM
CN112197690A (en) * 2020-09-30 2021-01-08 深圳市水务规划设计院股份有限公司 Earth-rock dam deformation monitoring method and system based on corner reflector and storage medium
JP2022078754A (en) * 2020-11-13 2022-05-25 株式会社東芝 Image identification device, radar device, image recognition method, and program
CN113534093A (en) * 2021-08-13 2021-10-22 北京环境特性研究所 Propeller blade number inversion method for airplane target and target identification method
CN113534093B (en) * 2021-08-13 2023-06-27 北京环境特性研究所 Method for inverting number of propeller blades of aircraft target and target identification method
CN114401440A (en) * 2021-12-14 2022-04-26 北京达佳互联信息技术有限公司 Video clip and clip model generation method, device, apparatus, program, and medium
CN114114267A (en) * 2022-01-24 2022-03-01 中国人民解放军32035部队 Target attitude estimation method based on projection matching of spin space target model

Similar Documents

Publication Publication Date Title
KR102061522B1 (en) Apparatus and method for detecting object based on density using lidar sensor
JP2007121111A (en) Target identifying technique using synthetic aperture radar image and device therof
JP5822255B2 (en) Object identification device and program
EP1959675A2 (en) Detection device, method and program thereof
US20130120575A1 (en) Apparatus and method for recognizing road markers
US20190163968A1 (en) Method for performing pedestrian detection with aid of light detection and ranging
JP2001134772A (en) Object recognizing device
JP2010541065A (en) 3D beverage container positioning device
JP4708712B2 (en) Image processing apparatus, control method therefor, and program
JP6172432B2 (en) Subject identification device, subject identification method, and subject identification program
CN114118252A (en) Vehicle detection method and detection device based on sensor multivariate information fusion
Armbruster et al. Maritime target identification in flash-ladar imagery
JP2010197378A (en) Radar image processing device
JP4340000B2 (en) Object recognition device
JP3499807B2 (en) Target classification method and apparatus for radar
US8005261B2 (en) Model-based object classification and target recognition
JP5829155B2 (en) Pedestrian detection device and program
JP2000048183A (en) Traveling lane recognizing device
CN113379921A (en) Track identification method, device, storage medium and equipment
Guerrero et al. A new Concentric Circles Detection method for Object Detection applied to Radar Images
JPH10232936A (en) Method and device for object recognition
Andonovski et al. Development of a novel visual feature detection-based method for aircraft door identification using vision approach
Daniel et al. Adaptation of a partial shape recognition approach
KR20210097418A (en) Apparatus and method for removing lidar noise
JP4674853B2 (en) Image processing component data creation method and image processing component data creation device

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20090106