JP2013096807A - Method for generating feature information reading image - Google Patents

Method for generating feature information reading image Download PDF

Info

Publication number
JP2013096807A
JP2013096807A JP2011239133A JP2011239133A JP2013096807A JP 2013096807 A JP2013096807 A JP 2013096807A JP 2011239133 A JP2011239133 A JP 2011239133A JP 2011239133 A JP2011239133 A JP 2011239133A JP 2013096807 A JP2013096807 A JP 2013096807A
Authority
JP
Japan
Prior art keywords
polarization
image data
resolution
radar
feature information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011239133A
Other languages
Japanese (ja)
Other versions
JP5523427B2 (en
Inventor
Akio Suehiro
明生 末廣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pasco Corp
Original Assignee
Pasco Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pasco Corp filed Critical Pasco Corp
Priority to JP2011239133A priority Critical patent/JP5523427B2/en
Publication of JP2013096807A publication Critical patent/JP2013096807A/en
Application granted granted Critical
Publication of JP5523427B2 publication Critical patent/JP5523427B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To generate a composite image from which more accurate feature information can be read by combining a single-polarization radar image such as an SAR image and a multi-polarization radar image.SOLUTION: When generating a feature information reading image on the basis of radar image data photographed by utilizing polarization and obtained from a radar device loaded on a flying vehicle, color information is allocated to each of multi-polarization radar image data with a low resolution in an area photographed by the radar device at first. Then the multi-polarization radar image data with the low resolution to which the color information is allocated and single-polarization radar image data with high resolution in the area photographed by the radar device are combined to obtain color radar image data with high resolution.

Description

本発明は、人工衛星等の飛翔体に搭載され、撮影対象地域の地表面を広範囲にわたり撮影して地表の状況を取得するレーダ装置により得られるレーダ画像データを利用して地物情報判読用画像を生成する地物情報判読用画像生成方法に関する。   The present invention is an image for interpreting feature information using radar image data obtained by a radar device mounted on a flying object such as an artificial satellite and capturing a wide range of the ground surface of a region to be imaged to obtain the surface condition. The present invention relates to an image generation method for interpreting feature information.

従来、地表面に照射した電波(マイクロ波パルス)の反射波を測定する能動型センサとしてレーダ装置がある。レーダ装置の一例として、例えば合成開口レーダ(SAR:Synthetic Aperture Radar)がある。合成開口レーダは、マイクロ波の特性を利用して、昼夜、天候に関係なく、広域を面的に撮影することができる。最新の人工衛星搭載型の合成開口レーダには、地上解像度が1mのものが出てきている。一般に人工衛星や航空機などのプラットフォームから撮影した合成開口レーダ画像(以下、「SAR画像」という)は、複雑な散乱メカニズムやノイズの影響等により地物の判読が難しいとされている。   Conventionally, there is a radar apparatus as an active sensor for measuring a reflected wave of a radio wave (microwave pulse) irradiated on the ground surface. As an example of the radar apparatus, for example, there is a synthetic aperture radar (SAR). Synthetic Aperture Radar can capture a wide area, day or night, regardless of the weather, using the characteristics of microwaves. The latest artificial satellite-borne synthetic aperture radars have a ground resolution of 1 m. In general, it is considered that a synthetic aperture radar image (hereinafter referred to as “SAR image”) taken from a platform such as an artificial satellite or an aircraft is difficult to interpret a feature due to a complicated scattering mechanism or the influence of noise.

現在打ち上げられている合成開口レーダ搭載の人工衛星において、多偏波(二重偏波〜四重偏波)のSAR画像を取得するときには、例えば解像度や撮影範囲に制約を受けるものが多く、一方、単偏波画像ではそのような制約を受けることは少ない。しかし、たとえ高解像度のSAR画像を取得できたとしても、SAR画像は、上記のとおり光学画像と比較して、複雑な散乱メカニズム等の影響により視認性が低く、補正なしには人間の目で見えるように画像化することが難しい。   In a satellite with a synthetic aperture radar currently being launched, when acquiring a SAR image with multiple polarizations (dual polarization to quadrupolar polarization), for example, there are many that are restricted by, for example, resolution and imaging range. In the case of a single polarization image, there is little such restriction. However, even if a high-resolution SAR image can be obtained, the SAR image is less visible than the optical image due to the influence of a complicated scattering mechanism, etc. as described above. It is difficult to make it visible.

一方、光学画像は、可視域の波長を用いているために、人が肉眼で見るものと同じ情報が得られ、地物を判読しやすい長所を持っている。光学画像の多くはカラー画像である。   On the other hand, since the optical image uses wavelengths in the visible range, the same information as that seen by the human eye can be obtained, and it has the advantage that the features can be easily read. Many optical images are color images.

そこで、上記単偏波のSAR画像と光学画像を組み合わせて、データフュージョンにより地物情報を的確に把握しようとする試みがなされている(例えば、非特許文献1を参照)。   Therefore, an attempt has been made to accurately grasp the feature information by data fusion by combining the single-polarized SAR image and the optical image (see, for example, Non-Patent Document 1).

「合成開口レーダによるリモートセンシングの商用化に関する調査研究(要旨)」,システム技術開発調査研究 17−R−6,財団法人機械システム振興協会(委託先 財団法人資源探査用観測システム研究開発機構),平成18年3月,p.11−12“Research on commercialization of remote sensing using synthetic aperture radar (summary)”, Research and development of system technology 17-R-6, Association for Promotion of Mechanical Systems (contractor: Research and Development Organization for Observation System for Resource Exploration), March 2006, p. 11-12

ところで、多偏波のSAR画像(マルチスペクトル画像に相当)は、地物の特徴や形状の情報をより多く含んでおり、画像判読の手助けとなるが、人工衛星に搭載した合成開口レーダ(衛星SAR)では、データ量、撮影範囲の関係から、一般に高い地上解像度を得ることが難しかった。また単偏波のSAR画像は空間分解能が高いものの、複雑な散乱メカニズム等の影響により視認性が低く、補正なしには人間の目で見えるように画像化することは難しかった。   By the way, a multi-polarized SAR image (corresponding to a multispectral image) contains more information on the features and shapes of features and helps to interpret the image. In SAR), it is generally difficult to obtain a high ground resolution because of the relationship between the data amount and the shooting range. Although a single-polarized SAR image has a high spatial resolution, the visibility is low due to the influence of a complicated scattering mechanism and the like, and it is difficult to form an image so that it can be seen by human eyes without correction.

これまで単偏波のSAR画像と多偏波のSAR画像を組み合わせて地物情報判読用の画像として用いられることはほとんどなかった。その理由としては、単偏波(高解像度)のSAR画像と多偏波(低解像度)のSAR画像を組み合わせて合成画像を作成する場合、一般にHSI変換法や主成分分析、Brovey変換法などを利用し、多偏波のSAR画像の明度(IやDN値)を単偏波のSAR画像の明度に置き換えることになるが、これでは単偏波で使用している偏波における明度が支配的となり自然な画像とならなかったということが挙げられる。   Up to now, a single-polarized SAR image and a multi-polarized SAR image have hardly been used as an image for interpreting feature information. The reason for this is that when a composite image is created by combining a single-polarization (high-resolution) SAR image and a multi-polarization (low-resolution) SAR image, the HSI conversion method, principal component analysis, Brovey conversion method, etc. are generally used. The lightness (I and DN values) of the multi-polarized SAR image is replaced with the lightness of the single-polarized SAR image. It is mentioned that it did not become a natural image.

例えば送受信モードがHH偏波(水平偏波で送信・水平偏波で受信)での撮影画像では暗いが、VV偏波(垂直偏波で送信・垂直偏波で受信)での撮影画像では明るいピクセルは、明度については中間の明るさになるのが好ましいと考えられるが、単偏波のSAR画像の偏波モードがHH偏波の場合、多偏波のSAR画像の明度をこのHH偏波の情報だけで置き換えると暗いピクセルになってしまい、色味(偏波情報)も判読しづらくなってしまう。   For example, it is dark in a captured image when the transmission / reception mode is HH polarization (transmission with horizontal polarization and reception with horizontal polarization), but bright with a captured image in VV polarization (transmission with vertical polarization and reception with vertical polarization). It is considered that the pixel is preferably set to an intermediate brightness. However, when the polarization mode of the unipolar SAR image is HH polarization, the brightness of the multipolarized SAR image is set to the HH polarization. If it is replaced only with the information, it becomes a dark pixel and the color (polarization information) becomes difficult to read.

斯かる点に鑑み、この発明の目的は、高解像度の単偏波のレーダ画像と低解像度の多偏波のレーダ画像とを組み合わせて、より容易に地物情報の判読が可能な合成画像を生成することにある。   In view of such a point, an object of the present invention is to combine a high-resolution single-polarization radar image and a low-resolution multi-polarization radar image into a composite image that can easily read feature information. It is to generate.

上記課題を解決するため、本発明の第1の側面においては、飛翔体に搭載したレーダ装置から得られる、偏波を利用して撮影されたレーダ画像データを基に地物情報判読用画像を生成する際、まずレーダ装置で撮影された地域の低解像度の多偏波レーダ画像データの各々に色情報を割り当てる。次に、その色情報が割り当てられた低解像度の多偏波レーダ画像データと、レーダ装置で撮影された地域の高解像度の単偏波レーダ画像データを合成し、高解像度のカラーレーダ画像データを得る。   In order to solve the above-described problems, in the first aspect of the present invention, an image for interpreting feature information is obtained based on radar image data obtained using a polarized wave obtained from a radar device mounted on a flying object. When generating, first, color information is assigned to each of the low-resolution multi-polarization radar image data of the area photographed by the radar device. Next, the low-resolution multi-polarization radar image data to which the color information is assigned and the high-resolution single-polarization radar image data of the area photographed by the radar device are combined to produce the high-resolution color radar image data. obtain.

上記第1の側面によれば、レーダ装置で撮影された地域の低解像度の多偏波レーダ画像データに色情報が割り当てられ、その色情報が割り当てられた低解像度の多偏波レーダ画像データと、レーダ装置で撮影された地域の高解像度の単偏波レーダ画像データが合成されることにより、色情報を持った判読し易い高解像度の合成レーダ画像データが生成される。   According to the first aspect, color information is assigned to the low-resolution multipolarization radar image data of the area captured by the radar device, and the low-resolution multipolarization radar image data to which the color information is assigned; By synthesizing the high-resolution single-polarization radar image data of the area photographed by the radar apparatus, high-resolution synthetic radar image data having color information and easy to read is generated.

また本発明の第2の側面においては、飛翔体に搭載したレーダ装置から得られる、偏波を利用して撮影されたレーダ画像データを基に地物情報判読用画像を生成する際、まずレーダ装置で撮影された地域の、送受信モードが異なる低解像度の2重偏波レーダ画像データを、レーダ装置で撮影された地域の、当該2重偏波とは異なる送受信モードである高解像度の単偏波レーダ画像データの解像度に合わせてサンプリングする。次に、そのサンプリングされた低解像度の2重偏波レーダ画像データ及び高解像度の単偏波レーダ画像データに色情報を割り当てる。そして、色情報が割り当てられた低解像度の多偏波レーダ画像データ及び高解像度の単偏波レーダ画像データを合成し、高解像度のカラーレーダ画像データを得る。   In the second aspect of the present invention, when generating a feature information interpretation image based on radar image data obtained by using polarized waves obtained from a radar device mounted on a flying object, first, a radar is used. Low-resolution dual-polarization radar image data of a region photographed by the apparatus and having a different transmission / reception mode is converted into a high-resolution unipolar signal having a transmission / reception mode different from that of the dual-polarization photographed by the radar apparatus Sampling is performed according to the resolution of the wave radar image data. Next, color information is assigned to the sampled low-resolution dual-polarization radar image data and high-resolution single-polarization radar image data. Then, the low-resolution multipolarization radar image data to which the color information is assigned and the high-resolution single-polarization radar image data are synthesized to obtain high-resolution color radar image data.

上記第2の側面によれば、単偏波レーダ画像の解像度に合わせてサンプリングされた所定の低解像度の2重偏波レーダ画像データ及び当該高解像度の単偏波レーダ画像データに色情報が割り当てられ、その色情報が割り当てられた低解像度の多偏波レーダ画像データ及び高解像度の単偏波レーダ画像データが合成されることにより、色情報を持った判読し易い高解像度の合成レーダ画像データが生成される。   According to the second aspect, color information is assigned to predetermined low-resolution double-polarization radar image data sampled in accordance with the resolution of the single-polarization radar image and the high-resolution single-polarization radar image data. High resolution combined radar image data with color information that is easy to read by combining low resolution multi-polarization radar image data and high resolution single polarization radar image data to which the color information is assigned Is generated.

また本発明の第3の側面においては、飛翔体に搭載したレーダ装置から得られる、偏波を利用して撮影されたレーダ画像データを基に地物情報判読用画像を生成する際、まずレーダ装置で撮影された地域の、送受信モードが異なる低解像度の3種類の偏波レーダ画像データを、レーダ装置で撮影された地域の、少なくとも当該3種類の偏波の1つと送受信モードが同一である高解像度の単偏波レーダ画像データの解像度に合わせてサンプリングする。次に、そのサンプリングされた3重偏波レーダ画像データを主成分分析し第1の第1主成分を抽出する。また、単偏波レーダ画像データと、これとは異なる2重偏波レーダ画像データを主成分分析し第2の第1主成分を抽出する。そして、第1の第1主成分を第2の第1主成分で置換したものを逆主成分分析し、高解像度のカラーレーダ画像データを生成する。   In the third aspect of the present invention, when generating an image for interpreting feature information based on radar image data obtained using a polarized wave obtained from a radar device mounted on a flying object, first, a radar is used. Three types of low-resolution polarization radar image data of the region captured by the apparatus and having different transmission / reception modes have the same transmission / reception mode as at least one of the three types of polarization of the region captured by the radar device. Sampling is performed according to the resolution of high-resolution single-polarization radar image data. Next, the sampled triple polarization radar image data is subjected to principal component analysis to extract a first first principal component. In addition, the principal component analysis is performed on the single polarization radar image data and the dual polarization radar image data different from the single polarization radar image data, and the second first principal component is extracted. Then, an inverse principal component analysis is performed on the first first principal component replaced with the second first principal component to generate high-resolution color radar image data.

上記第3の側面によれば、単偏波レーダ画像の解像度に合わせてサンプリングされた所定の3種類の偏波レーダ画像データが主成分分析され第1の第1主成分が抽出され、また、単偏波レーダ画像データと、これとは異なる2重偏波レーダ画像データが主成分分析され第2の第1主成分が抽出される。そして、第1の第1主成分を第2の第1主成分で置換したものを逆主成分分析し、高解像度のカラーレーダ画像データが生成される。   According to the third aspect, the principal component analysis is performed on the predetermined three types of polarization radar image data sampled in accordance with the resolution of the single polarization radar image, and the first first principal component is extracted. The single polarization radar image data and the dual polarization radar image data different from the single polarization radar image data are subjected to principal component analysis, and the second first principal component is extracted. Then, the inverse first principal component analysis is performed on the first first principal component replaced with the second first principal component, and high-resolution color radar image data is generated.

また本発明の第4の側面においては、飛翔体に搭載したレーダ装置から得られる、偏波を利用して撮影されたレーダ画像データを基に地物情報判読用画像を生成する際、まずレーダ装置で撮影された地域の、送受信モードが異なる低解像度の3種類の偏波レーダ画像データを、レーダ装置で撮影された地域の、少なくとも当該3重偏波の1つと送受信モードが同一である高解像度の単偏波レーダ画像データの解像度に合わせてサンプリングする。次に、そのサンプリングされた3種類の偏波レーダ画像データをHSI変換し第1の明度成分を抽出する。また、単偏波レーダ画像データと、これとは異なる2重偏波レーダ画像データをHSI変換し第2の明度成分を抽出する。そして、第1の明度成分を第2の明度成分で置換したものが逆HSI変換され、高解像度のカラーレーダ画像データを生成する。   In the fourth aspect of the present invention, when generating the feature information interpretation image based on the radar image data obtained using the polarization obtained from the radar device mounted on the flying object, first the radar is used. Three types of low-polarization radar image data of different resolutions in the transmission / reception mode photographed by the device, and the same transmission / reception mode as that of at least one of the three polarized waves in the region photographed by the radar device. Sampling is performed in accordance with the resolution of single-polarization radar image data of resolution. Next, the sampled three types of polarization radar image data are subjected to HSI conversion to extract a first brightness component. The second polarization component is extracted by HSI conversion of the single-polarization radar image data and the dual-polarization radar image data different from the single-polarization radar image data. Then, the one obtained by replacing the first lightness component with the second lightness component is subjected to inverse HSI conversion to generate high-resolution color radar image data.

上記第4の側面によれば、単偏波レーダ画像の解像度に合わせてサンプリングされた所定の3種類の偏波レーダ画像データがHSI変換され第1の明度成分が抽出され、また、単偏波レーダ画像データと、これとは異なる2重偏波レーダ画像データがHSI変換され第2の明度成分が抽出される。そして、第1の明度成分を第2の明度成分で置換したものが逆HSI変換され、高解像度のカラーレーダ画像データが生成される。   According to the fourth aspect, the predetermined three types of polarization radar image data sampled in accordance with the resolution of the single-polarization radar image are HSI-converted to extract the first brightness component, The radar image data and the dual polarization radar image data different from the radar image data are subjected to HSI conversion, and a second brightness component is extracted. Then, the one obtained by replacing the first lightness component with the second lightness component is subjected to inverse HSI conversion, and high-resolution color radar image data is generated.

少なくとも色情報が割り当てられた低解像度の多偏波レーダ画像データと高解像度の単偏波レーダ画像データとから、色情報を持つ高解像度のカラーレーダ画像データが得られるので、高解像度かつ色つきで地物の特徴や形状などを含む情報を取得でき、それゆえ地物情報の高精度な判読が実現可能である。   Since high-resolution color radar image data with color information can be obtained from low-resolution multi-polarization radar image data to which color information is assigned and high-resolution single-polarization radar image data, high resolution and color It is possible to acquire information including the feature and shape of the feature, and therefore, the feature information can be interpreted with high accuracy.

本発明の一実施形態に係るシステムの概要を示す構成図である。It is a block diagram which shows the outline | summary of the system which concerns on one Embodiment of this invention. 本発明の一実施形態に係るコンピュータの内部構成例を示すブロック図である。It is a block diagram which shows the internal structural example of the computer which concerns on one Embodiment of this invention. 地物情報判読用画像生成処理の概念を示す説明図である。It is explanatory drawing which shows the concept of the feature information interpretation image generation process. 偏波画像によるカラーデータ合成例を示す説明図である。It is explanatory drawing which shows the example of a color data synthesis | combination by a polarization image. 本発明の一実施形態に係る地物情報判読用画像の画像重畳による生成処理例(四重偏波画像使用時)を示すフローチャートである。It is a flowchart which shows the production | generation process example (at the time of quadruple-polarized image use) by the image superimposition of the feature information interpretation image which concerns on one Embodiment of this invention. 本発明の一実施形態に係る地物情報判読用画像の主成分変換法による生成処理例を示すフローチャートである。It is a flowchart which shows the production | generation processing example by the principal component conversion method of the feature information interpretation image which concerns on one Embodiment of this invention. 本発明の一実施形態に係る地物情報判読用画像のHSI変換法による生成処理例を示すフローチャートである。It is a flowchart which shows the production | generation processing example by the HSI conversion method of the feature information interpretation image which concerns on one Embodiment of this invention.

以下、本発明を実施するための形態の例について、添付図面を参照しながら説明する。説明は下記項目の順に行う。
1.第1の実施の形態(画像重畳による画像合成処理の例)
2.第2の実施の形態(主成分変換法による画像合成処理の例)
3.第3の実施の形態(HSI変換法による画像合成処理の例)
Hereinafter, an example of an embodiment for carrying out the present invention will be described with reference to the accompanying drawings. The description will be given in the following order.
1. First embodiment (example of image composition processing by image superimposition)
2. Second embodiment (example of image composition processing by principal component conversion method)
3. Third Embodiment (Example of image composition processing by HSI conversion method)

<1.第1の実施の形態>
以下、本発明の一実施の形態について、添付図面を参照しながら説明する。
<1. First Embodiment>
Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings.

以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以下の説明で挙げる使用材料とその使用量、処理時間、処理順序および各パラメータの数値的条件等は好適例に過ぎず、説明に用いた各図における寸法、形状および配置関係も概略的なものである。   Since the embodiments described below are preferred specific examples of the present invention, various technically preferable limitations are given. However, the scope of the present invention is particularly limited in the following description. Unless otherwise stated, the present invention is not limited to these forms. For example, the materials used in the following description, the amount used, the processing time, the processing order, and the numerical conditions of each parameter are only suitable examples, and the dimensions, shapes, and arrangement relationships in the drawings used for the description are also schematic. It is a thing.

図1は、本発明の一実施の形態に係るシステムの概要を示すものである。本システムでは、人工衛星にレーダ装置の一例として合成開口レーダ(SAR:Synthetic Aperture Radar)を搭載し、その合成開口レーダにより(データ解析センタ2からの指示に基づいて)地表面を撮影する例である。以下、人工衛星に搭載した合成開口レーダを「衛星SAR」と称す。   FIG. 1 shows an overview of a system according to an embodiment of the present invention. In this system, a synthetic aperture radar (SAR: Synthetic Aperture Radar) is mounted on an artificial satellite as an example of a radar device, and the ground surface is photographed (based on an instruction from the data analysis center 2) by the synthetic aperture radar. is there. Hereinafter, the synthetic aperture radar mounted on the artificial satellite is referred to as “satellite SAR”.

図1において、衛星SAR1は、所定の軌道を周回しながら定期的に、もしくはデータ解析センタ2からの指示に従って随時地表面3を撮影し、撮影データ(SAR画像データ)をデータ解析センタ2へ送信する。   In FIG. 1, the satellite SAR1 shoots the ground surface 3 periodically or while following a predetermined orbit and transmits the photographic data (SAR image data) to the data analysis center 2 at any time according to an instruction from the data analysis center 2. To do.

データ解析センタ2は、撮影計画を行い、その撮影計画に基づいた撮影指示の無線信号を衛星SAR1に送信する。また、衛星SAR1が撮影したSAR画像データを、アンテナを介して受信する。これを後述する地物情報判読用画像生成装置10で合成開口処理することにより再生画像を生成する。そして、高解像度の単偏波SAR画像データと低解像度の多偏波SAR画像データとの合成処理を行う。このとき、低解像度の多偏波SAR画像データに、適宜赤(R),緑(G),青(B)の色情報を割り当てておく。この結果、合成処理後の画像データとして、高解像度のカラーSAR画像データが得られる。   The data analysis center 2 makes a shooting plan and transmits a radio signal of a shooting instruction based on the shooting plan to the satellite SAR1. Also, SAR image data captured by the satellite SAR1 is received via an antenna. A reproduced image is generated by performing synthetic aperture processing on the feature information interpretation image generating apparatus 10 described later. Then, synthesis processing of high-resolution single-polarized SAR image data and low-resolution multi-polarized SAR image data is performed. At this time, color information of red (R), green (G), and blue (B) is appropriately assigned to the low-resolution multi-polarization SAR image data. As a result, high-resolution color SAR image data is obtained as image data after the synthesis process.

地物情報判読用画像生成装置10による一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。   A series of processing by the feature information interpretation image generating apparatus 10 can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, the program is installed in a general-purpose computer from a program recording medium.

図2は、上述した一連の処理をプログラムにより実行する地物情報判読用画像生成装置10の構成例を示すブロック図である。この地物情報判読用画像生成装置10は、例えば一連の処理を実行するために高性能化した専用コンピュータの他、一定の性能を備えるパーソナルコンピュータなどでもよい。   FIG. 2 is a block diagram illustrating a configuration example of the feature information interpretation image generating apparatus 10 that executes the above-described series of processing by a program. The feature information interpretation image generation apparatus 10 may be, for example, a personal computer having a certain performance in addition to a dedicated computer with high performance for executing a series of processes.

地物情報判読用画像生成装置10のCPU(Central Processing Unit)11は、ROM(Read Only Memory)12、または記録部18に記録されているプログラムに従って、上記一連の処理の他、各種の処理を実行する。RAM(Random Access Memory)13には、CPU11が実行するプログラムやデータなどが適宜記憶される。これらのCPU11、ROM12、およびRAM13は、バス14により相互に接続されている。   A CPU (Central Processing Unit) 11 of the feature information interpretation image generation apparatus 10 performs various processes in addition to the above-described series of processes according to a program recorded in a ROM (Read Only Memory) 12 or a recording unit 18. Run. A RAM (Random Access Memory) 13 appropriately stores programs executed by the CPU 11 and data. The CPU 11, ROM 12, and RAM 13 are connected to each other by a bus 14.

CPU11にはまた、バス14を介して入出力インタフェース15が接続されている。入出力インタフェース15には、キーボード、マウス、マイクロホンなどよりなる入力部16、ディスプレイ、スピーカなどよりなる出力部17が接続されている。CPU11は、入力部16から入力される指令に対応して各種の処理を実行する。そして、CPU11は、処理の結果を出力部17に出力する。   An input / output interface 15 is also connected to the CPU 11 via the bus 14. The input / output interface 15 is connected to an input unit 16 including a keyboard, a mouse, and a microphone, and an output unit 17 including a display and a speaker. The CPU 11 executes various processes in response to commands input from the input unit 16. Then, the CPU 11 outputs the processing result to the output unit 17.

入出力インタフェース15に接続されている記録部18は、例えばハードディスクからなり、CPU11が実行するプログラムや各種のデータを記録する。   The recording unit 18 connected to the input / output interface 15 includes, for example, a hard disk, and records programs executed by the CPU 11 and various data.

通信部19は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。この通信部19を介してプログラムを取得し、記録部18に記録してもよい。   The communication unit 19 communicates with an external device via a network such as the Internet or a local area network. A program may be acquired via the communication unit 19 and recorded in the recording unit 18.

入出力インタフェース15に接続されているドライブ20は、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD−ROM(Compact Disc - Read Only Memory)、DVD(Digital Versatile Disc),光磁気ディスク等を含む)、あるいは半導体メモリなどのリムーバブルメディア31が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部18に転送され、記録される。   The drive 20 connected to the input / output interface 15 includes a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (Compact Disc-Read Only Memory), a DVD (Digital Versatile Disc), a magneto-optical disk, etc.). Alternatively, when a removable medium 31 such as a semiconductor memory is loaded, it is driven to acquire programs and data recorded therein. The acquired program and data are transferred to the recording unit 18 and recorded as necessary.

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図2に示すように、磁気ディスク、光ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア31、または、プログラムが一時的もしくは永続的に格納されるROM12や、記録部18を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部19を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行ってもよい。   As shown in FIG. 2, a program recording medium that stores a program that is installed in a computer and can be executed by the computer is a removable medium 31 that is a package medium made of a magnetic disk, an optical disk, a semiconductor memory, or the like. The ROM 12 stores the program temporarily or permanently, the hard disk constituting the recording unit 18, and the like. The program is stored in the program recording medium using a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via a communication unit 19 that is an interface such as a router or a modem as necessary. You may go.

ここで、図3を参照して、地物情報判読用画像生成装置10のCPU11による地物情報判読用画像の生成処理例の基本概念である、高解像度カラーSAR画像合成処理について説明する。   Here, with reference to FIG. 3, the high-resolution color SAR image composition processing, which is a basic concept of the feature information interpretation image generation processing example by the CPU 11 of the feature information interpretation image generation apparatus 10, will be described.

高解像度カラーSAR画像合成処理とは、モノクロ(白黒)であるが空間密度を細かく取得した(分解能が高い)画像データと、空間密度は粗い(分解能が低い)がカラー情報(例えば、R,G,B)として取得された画像データとを合成処理することによって、空間密度が高いカラー情報を有する画像データを得る処理である。本発明の地物情報判読用画像生成方法では、高解像度カラーSAR画像合成処理におけるカラー合成画像データを、偏波画像を用いたカラー画像合成により取得する。そして、このカラー合成画像データと高解像度の単偏波SAR画像データを合成する。   The high-resolution color SAR image composition processing is monochrome (black and white), but image data obtained with fine spatial density (high resolution), and color information (for example, R, G, etc.) with a coarse spatial density (low resolution). , B) is a process of obtaining image data having color information with a high spatial density by synthesizing the image data acquired as B). In the feature information interpretation image generation method of the present invention, color composite image data in the high-resolution color SAR image composition processing is acquired by color image composition using a polarization image. Then, the color composite image data and the high-resolution single-polarized SAR image data are combined.

上記偏波画像によるカラー画像合成処理について、図4を参照して説明する。送受信モードが異なる4種類の偏波、すなわちHH偏波、HV偏波、VH偏波、VV偏波の四重偏波画像を取得する。これらは本実施形態における衛星SAR1の偏波の撮影により、偏波画像として同時に撮影され、それぞれがモノクロ画像である。これらをレイヤ合成(レイヤスタック)し、各レイヤに色情報(RGBカラーガン)を割り当てることにより、地表面状況(地物状況)の特徴がカラーで表示されたカラー合成画像を得ることができる。   The color image synthesis process using the polarization image will be described with reference to FIG. Four types of polarization images having different transmission / reception modes, that is, a quadruple polarization image of HH polarization, HV polarization, VH polarization, and VV polarization are acquired. These are simultaneously photographed as polarization images by photographing the polarization of the satellite SAR1 in this embodiment, and each is a monochrome image. By combining these layers (layer stack) and assigning color information (RGB color gun) to each layer, it is possible to obtain a color composite image in which the features of the ground surface state (feature state) are displayed in color.

なお、偏波モードの選択・組合せは自由に変えられる。例えば、VV偏波を単偏波画像(高分解能)、HH偏波(R)、VV偏波(G)およびVH偏波(B)をカラー合成画像(低分解能)としたり、あるいは同様にHH偏波を単偏波画像(高分解能)とし、HV偏波(R)、VH偏波(G)およびHH偏波(B)をカラー合成画像(低分解能)とするなどである。   The selection / combination of polarization modes can be freely changed. For example, VV polarization is a single polarization image (high resolution), HH polarization (R), VV polarization (G) and VH polarization (B) are color composite images (low resolution), or HH The polarization is a single polarization image (high resolution), and the HV polarization (R), VH polarization (G), and HH polarization (B) are color composite images (low resolution).

次に、地物情報判読用画像生成装置10のCPU11による地物情報判読用画像の生成処理例を、図5のフローチャートを参照して説明する。図5に示す地物情報判読用画像の生成処理例は、4重偏波画像(異なる4種類の偏波モードのSAR画像データ)を使用し、画像重畳により画像合成処理(パンシャープン処理)を行った場合の例である。   Next, an example of generation processing of the feature information interpretation image by the CPU 11 of the feature information interpretation image generation apparatus 10 will be described with reference to the flowchart of FIG. The feature information interpretation image generation processing example shown in FIG. 5 uses a quadrupolar polarization image (SAR image data of four different types of polarization modes), and image composition processing (pan sharpening processing) by image superposition. This is an example when

まず、地物情報判読用画像生成装置10は、衛星SAR1により撮影された任意の地域の高解像度の単偏波SAR画像データを取得する。この例では、単偏波のモードは、HH偏波すなわち水平・水平偏波であるとする(ステップS1a)。   First, the feature information interpretation image generation apparatus 10 acquires high-resolution single-polarization SAR image data of an arbitrary region photographed by the satellite SAR1. In this example, the single polarization mode is assumed to be HH polarization, that is, horizontal / horizontal polarization (step S1a).

また、上記衛星SAR1により撮影された任意の地域の一部または全部が含まれる低解像度の多偏波SAR画像データを取得する(ステップS1b)。この例では、4種類の偏波モード、HH偏波、HV偏波、VH偏波およびVV偏波のSAR画像を取得する。   Further, low-resolution multipolarization SAR image data including a part or all of an arbitrary region photographed by the satellite SAR1 is acquired (step S1b). In this example, SAR images of four types of polarization modes, HH polarization, HV polarization, VH polarization, and VV polarization are acquired.

これらステップS1aとステップS1bの処理において、画像データは、衛星SAR1から撮影データを含む無線信号を受信してもよいし、撮影データが記録されたリムーバブルメディア31から取得するようにしてもよい。また、ステップS1aとステップS1bの処理順序は問わない。例えば、衛星SAR1が高解像度の単偏波SAR画像と、低解像度の多偏波SAR画像を同時に撮影できない場合、先に高解像度の単偏波のSAR画像を撮影し、その数日後に同一軌道あるいは略同一軌道上で低解像度の多偏波のSAR画像を撮影するようにする。勿論、その逆の撮影順でもよい。   In the processes of step S1a and step S1b, the image data may be received from the satellite SAR1 or a radio signal including the shooting data, or may be acquired from the removable medium 31 on which the shooting data is recorded. Moreover, the processing order of step S1a and step S1b is not ask | required. For example, when the satellite SAR1 cannot simultaneously capture a high-resolution single-polarization SAR image and a low-resolution multi-polarization SAR image, the high-resolution single-polarization SAR image is first captured, and the same orbit is observed several days later. Alternatively, a low-resolution multi-polarized SAR image is taken on substantially the same orbit. Of course, the reverse order may be used.

次に、ステップS1bの処理にて得られた低解像度の多偏波SAR画像を単偏波のSAR画像の分解能に合わせてリサンプリングする(ステップS2)。このとき、高解像度の単偏波SAR画像と同じ偏波モード(本例ではHH偏波)で撮影された低解像度のSAR画像は除外することが好ましい。   Next, the low resolution multi-polarized SAR image obtained by the process of step S1b is resampled in accordance with the resolution of the single-polarized SAR image (step S2). At this time, it is preferable to exclude low-resolution SAR images taken in the same polarization mode (in this example, HH polarization) as the high-resolution single-polarization SAR image.

そして、ステップS1aの処理による高解像度の単偏波SAR画像と、ステップS1bの処理による低解像度の多偏波SAR画像について、それぞれオルソ画像を作成(オルソ化)する(ステップS3a、S3b)。すなわち、複数(例えば2枚)のSAR画像を用いたレーダグラメトリ処理もしくはインタフェロメトリ処理から求めた、あるいは国土地理院などから入手したDEM(Digital Elevation Model)等の地表面および構造物の高さ情報を基に、SAR画像の正射投影画像(オルソ画像)を作成する。SAR画像からDEMを作成することにより、SAR画像の歪み補正を正確に行うこともできる。なお、高解像度の単偏波SAR画像と、低解像度の多偏波SAR画像が同一軌道上の同一位置から撮影したものであれば、撮影地域に対する入射角も同じになるので、必ずしもオルソ化しなくてもよい。   Then, ortho images are respectively created (orthorectified) for the high-resolution single-polarized SAR image obtained by the process of step S1a and the low-resolution multi-polarized SAR image obtained by the process of step S1b (steps S3a and S3b). That is, the height of the ground surface and structure such as DEM (Digital Elevation Model) obtained from radar grammure processing or interferometry processing using a plurality of (for example, two) SAR images or obtained from the Geographical Survey Institute, etc. Based on the information, an orthographic projection image (ortho image) of the SAR image is created. By creating a DEM from the SAR image, distortion correction of the SAR image can be performed accurately. In addition, if the high-resolution single-polarized SAR image and the low-resolution multi-polarized SAR image are taken from the same position on the same orbit, the incident angle with respect to the photographing region is the same, so it is not always orthorectified. May be.

続いて、各SAR画像についてフィルタリング処理を行い、ノイズを除去する(ステップS4a、S4b)。なお、上記ステップS3aとステップS4a、またはステップS3bとステップS4bの処理順序はこの例に限られるものではなく、逆でもよい。また、フィルタリング処理については公知技術であるので、ここでは説明を省略する。   Subsequently, a filtering process is performed on each SAR image to remove noise (steps S4a and S4b). Note that the processing order of steps S3a and S4a or steps S3b and S4b is not limited to this example, and may be reversed. Further, since the filtering process is a known technique, the description thereof is omitted here.

ノイズ除去処理が終了した後、低解像度の多偏波SAR画像をRGBのカラーガンに割当て、低解像度カラーSAR画像を生成する(ステップS5)。本実施形態では、始めに4重偏波のSAR画像を単偏波のSAR画像の分解能に合わせてリサンプリングし、高解像度化している。このとき、上述したように単偏波のSAR画像と同じレイヤ(本例ではHH偏波モードのSAR画像)は除外することが好ましい。あるいは主成分分析等により、3つの偏波モードを選択してもよい。得られた3つの偏波モード(例えば、HH偏波,VV偏波,HV偏波)をRGBのカラーガンに割当て、低解像度のカラーSAR画像を生成する。   After the noise removal processing is completed, the low resolution multi-polarized SAR image is assigned to the RGB color gun to generate a low resolution color SAR image (step S5). In this embodiment, first, a quadruple-polarized SAR image is resampled in accordance with the resolution of a single-polarized SAR image to increase the resolution. At this time, as described above, it is preferable to exclude the same layer as the single-polarization SAR image (in this example, the SAR image in the HH polarization mode). Alternatively, three polarization modes may be selected by principal component analysis or the like. The obtained three polarization modes (for example, HH polarization, VV polarization, and HV polarization) are assigned to RGB color guns to generate a low-resolution color SAR image.

次に、ステップS4aの処理にて得られた高解像度の単偏波SAR画像とステップS5の処理にて得られた低解像度のカラーSAR画像の位置合わせを行う(ステップS6)。位置合わせは、例えば同じ地上基準点(GCP:Ground Control Point)にて幾何学情報(ジオメトリ)を補正することにより行うことができる。最後に、これらの画像をパンシャープン処理(合成処理)し(ステップS7)、高解像度のカラーSAR画像を得る(ステップS8)。   Next, the high-resolution single-polarized SAR image obtained by the process of step S4a and the low-resolution color SAR image obtained by the process of step S5 are aligned (step S6). The alignment can be performed, for example, by correcting geometric information (geometry) at the same ground control point (GCP). Finally, these images are pan-sharpened (synthesized) (step S7) to obtain a high-resolution color SAR image (step S8).

なお、ここでは低解像度の多偏波SAR画像データとして4種類の偏波モード、HH偏波、HV偏波、VH偏波およびVV偏波のSAR画像を取得した場合について説明したが、高解像度の単偏波SAR画像データと、これとは異なる2つの偏波モード(例えばVH偏波、VV偏波)の画像データ(SAR画像)を各々RGBのカラーガンに割当て、パンシャープン処理を行うことも可能である。   Here, a case has been described in which SAR images of four types of polarization modes, HH polarization, HV polarization, VH polarization, and VV polarization are acquired as low-resolution multi-polarization SAR image data. Single-polarization SAR image data and image data (SAR image) of two different polarization modes (for example, VH polarization and VV polarization) are assigned to RGB color guns, respectively, and pan-sharpening processing is performed. It is also possible.

以上説明したように、高解像度の単偏波SAR画像と低解像度の二重偏波SAR画像を組み合わせた場合、四重偏波モードの撮影を行わなくても、四重偏波のSAR画像を用いたときと同様の偏波情報が得られる。つまり複数の偏波情報を持ちながら同時に高分解能のSAR画像が得られる。   As described above, when a high-resolution single-polarization SAR image and a low-resolution dual-polarization SAR image are combined, a quadruple-polarization SAR image can be obtained without photographing in the quadrupolarization mode. Polarization information similar to that used is obtained. That is, a high-resolution SAR image can be obtained simultaneously with a plurality of polarization information.

<2.第2の実施の形態>
以上、解像度の異なる2つのSAR画像の画像重畳によるパンシャープン処理について説明したが、主成分変換法によりパンシャープン処理を行うことも可能である。
以下、図6を用いて、主成分変換法によるパンシャープン処理について説明する。まず、地物情報判読用画像生成装置10は、衛星SAR1により撮影された任意の地域の高解像度の単偏波SAR画像データを取得する。この例では、単偏波の偏波モードは、HH偏波すなわち水平・水平偏波であるとする(ステップS11a)。
<2. Second Embodiment>
As described above, the pan sharpening process by superimposing two SAR images having different resolutions has been described. However, the pan sharpening process can also be performed by the principal component conversion method.
Hereinafter, the pan sharpening process by the principal component conversion method will be described with reference to FIG. First, the feature information interpretation image generation apparatus 10 acquires high-resolution single-polarization SAR image data of an arbitrary region photographed by the satellite SAR1. In this example, it is assumed that the polarization mode of single polarization is HH polarization, that is, horizontal / horizontal polarization (step S11a).

また、上記衛星SAR1により撮影された任意の地域の一部または全部が含まれる低解像度の多偏波SAR画像データを取得する(ステップS11b)。この例では、4つの偏波モード、HH偏波、HV偏波、VH偏波およびVV偏波のSAR画像を取得する。   Further, low-resolution multipolarized SAR image data including a part or all of an arbitrary region photographed by the satellite SAR1 is acquired (step S11b). In this example, SAR images of four polarization modes, HH polarization, HV polarization, VH polarization, and VV polarization are acquired.

これらステップS11aとステップS11bの処理において、画像データは、衛星SAR1から撮影データを含む無線信号を受信してもよいし、撮影データが記録されたリムーバブルメディア31から取得するようにしてもよい。また、ステップS11aとステップS11bの処理順序は問わない。例えば、衛星SAR1が高解像度の単偏波のSAR画像と、低解像度の多偏波のSAR画像を同時に撮影できない場合、先に高解像度の単偏波のSAR画像を撮影し、その数日後に同一軌道あるいは略同一軌道上で低解像度の多偏波のSAR画像を撮影するようにする。勿論、その逆の撮影順でもよい。   In the processing of step S11a and step S11b, the image data may be received from the satellite SAR1 or a radio signal including shooting data, or may be acquired from the removable medium 31 on which shooting data is recorded. Moreover, the processing order of step S11a and step S11b is not ask | required. For example, when the satellite SAR1 cannot simultaneously capture a high-resolution single-polarized SAR image and a low-resolution multi-polarized SAR image, the high-resolution single-polarized SAR image is first captured, and a few days later. A low-resolution multi-polarized SAR image is taken on the same or substantially the same orbit. Of course, the reverse order may be used.

次に、ステップS11bの処理にて得られた低解像度の多偏波SAR画像を単偏波のSAR画像の分解能に合わせてリサンプリングする(ステップS12)。このとき、高解像度の単偏波SAR画像と同じ偏波モード(本例ではHH偏波)で撮影されたSAR画像は除外することが好ましい。そして、ステップS11aにより得られた単偏波SAR画像データ及びステップS12の処理にて得られた低解像度の多偏波SAR画像について、それぞれオルソ化(ステップS13a、ステップS13b)及びノイズ除去(ステップS14a、ステップS14b)を行った後、両者の位置合わせを行い、画像を合成する(ステップS15)。   Next, the low resolution multi-polarized SAR image obtained by the process of step S11b is resampled in accordance with the resolution of the single-polarized SAR image (step S12). At this time, it is preferable to exclude the SAR image captured in the same polarization mode (HH polarization in this example) as the high-resolution single-polarization SAR image. Then, the single-polarization SAR image data obtained in step S11a and the low-resolution multi-polarization SAR image obtained in step S12 are orthorectified (step S13a, step S13b) and noise-removed (step S14a), respectively. After performing step S14b), the two are aligned to synthesize an image (step S15).

次に、ステップS15の処理にて得られた合成画像を主成分分析し、第一成分(PC1)を抽出する(ステップS16)。この第一成分(PC1)とステップS14bの処理にて得られた低解像度SAR画像を主成分変換法によりパンシャープン処理する(ステップS17)。すなわち、色相の抽出処理として、低解像度SAR画像を主成分分析し、得られた第一成分(PC1’)を上記PC1で置き換える。この時、PC1’のヒストグラムにPC1のヒストグラムが整合するよう、ヒストグラム変換しておくことが好ましい。これを逆主成分分析することにより、高解像度のカラーSAR画像を得る(ステップS18)。   Next, a principal component analysis is performed on the composite image obtained by the process of step S15, and a first component (PC1) is extracted (step S16). The first component (PC1) and the low-resolution SAR image obtained by the processing in step S14b are pan-sharpened by the principal component conversion method (step S17). That is, as a hue extraction process, a low-resolution SAR image is subjected to principal component analysis, and the obtained first component (PC1 ') is replaced with the PC1. At this time, it is preferable to perform histogram conversion so that the histogram of PC1 matches the histogram of PC1 '. This is subjected to inverse principal component analysis to obtain a high-resolution color SAR image (step S18).

<3.第3の実施の形態>
上記第2の実施の形態におけるステップS16及びステップS17の処理では、主成分分析及び逆主成分分析を実施したが、これらの代わりにHSI(Hue Saturation-Intensity)変換法を利用してもよい。HSI変換は、画像のカラーモニターを赤・緑・青(RGB:加色法の三原色)のRGB色空間から、色相(Hue:H)・彩度(Saturation:S)・明度(Intensity:I)のHSI空間へ変換するものである。また出力されたHSI空間の画像の色相・彩度・明度を調整した後、逆変換によりRGB空間に戻し、カラー合成画像を表示することができる。
<3. Third Embodiment>
In the processing of step S16 and step S17 in the second embodiment, principal component analysis and inverse principal component analysis are performed, but an HSI (Hue Saturation-Intensity) conversion method may be used instead. HSI conversion is based on the RGB color space of red, green and blue (RGB: three primary colors), hue (Hue: H), saturation (S), and lightness (Intensity: I). To the HSI space. Further, after adjusting the hue, saturation, and brightness of the output image in the HSI space, it can be returned to the RGB space by inverse transformation, and a color composite image can be displayed.

この場合、明度の抽出処理として、始めに4重偏波のSAR画像のうち、高分解能の単偏波(HH偏波モード)と異なる3つの偏波モード(VV偏波モード,HV偏波モード、VH偏波モード)を単偏波(HH偏波モード)の高い分解能に合わせてリサンプリングする。次に、リサンプリングして高解像度化したうちの2つの偏波モード(VV偏波モード,HV偏波モード)のSAR画像と高分解能の単偏波(HH偏波モード)SAR画像をHSI変換し、それぞれの明度を抽出する。次に、2つの偏波モードのSAR画像から得られた明度(I’)を高分解能の単偏波SAR画像の明度(I)で置き換え、これを逆HSI変換することにより、パンシャープン処理された高解像度のカラーSAR画像を得る。一方、逆HSI変換により得られた3つの偏波モード(HH偏波,VV偏波,HV偏波)をRGBのカラーガンに割当て、高解像度のカラーSAR画像を生成する。この時、I’のヒストグラムにIのヒストグラムが整合するよう、ヒストグラム変換しておくことが好ましい。   In this case, as a lightness extraction process, three polarization modes (VV polarization mode and HV polarization mode) that are different from high-resolution single polarization (HH polarization mode) in the SAR image of quadrupolar polarization first. , VH polarization mode) is resampled according to the high resolution of single polarization (HH polarization mode). Next, SAR images of two polarization modes (VV polarization mode, HV polarization mode) and high resolution single polarization (HH polarization mode) SAR images that have been resampled to increase the resolution are HSI converted. Then, the brightness of each is extracted. Next, the brightness (I ′) obtained from the SAR images in the two polarization modes is replaced with the brightness (I) of the high-resolution single-polarization SAR image, and this is subjected to inverse HSI conversion, thereby performing pan-sharpening processing. A high resolution color SAR image is obtained. On the other hand, three polarization modes (HH polarization, VV polarization, and HV polarization) obtained by inverse HSI conversion are assigned to RGB color guns to generate a high-resolution color SAR image. At this time, it is preferable to perform histogram conversion so that the histogram of I matches the histogram of I ′.

以下図7を用いて、HSI変換法によるパンシャープン処理について説明する。図7は、地物情報判読用画像生成装置10のCPU11による地物情報判読用画像の生成処理例を示すフローチャートである。この図7において、図6と同様の処理ステップについては詳細な説明を省略する。   Hereinafter, pan-sharpening processing by the HSI conversion method will be described with reference to FIG. FIG. 7 is a flowchart illustrating an example of processing for generating a feature information interpretation image by the CPU 11 of the feature information interpretation image generation apparatus 10. In FIG. 7, detailed description of the same processing steps as those in FIG. 6 is omitted.

まず、地物情報判読用画像生成装置10は、衛星SAR1により撮影された任意の地域の高解像度の単偏波SAR画像データを取得する。この例では、単偏波の偏波モードは、HH偏波すなわち水平・水平偏波であるとする(ステップS21a)。   First, the feature information interpretation image generation apparatus 10 acquires high-resolution single-polarization SAR image data of an arbitrary region photographed by the satellite SAR1. In this example, it is assumed that the polarization mode of single polarization is HH polarization, that is, horizontal / horizontal polarization (step S21a).

また、上記衛星SAR1により撮影された任意の地域の一部または全部が含まれる低解像度の多偏波SAR画像データを取得する(ステップS21b)。この例では、HH偏波、HV偏波、VH偏波およびVV偏波の4種類の偏波モードでSAR画像を取得するものとする。   Further, low-resolution multipolarized SAR image data including a part or all of an arbitrary region photographed by the satellite SAR1 is acquired (step S21b). In this example, it is assumed that the SAR image is acquired in four types of polarization modes of HH polarization, HV polarization, VH polarization, and VV polarization.

これらステップS21aとステップS21bの処理は、衛星SAR1から撮影データを含む無線信号を受信してもよいし、撮影データが記録されたリムーバブルメディア31から取得するようにしてもよい。また、ステップS21aとステップS21bの処理順序は問わない。   The processing in step S21a and step S21b may be performed by receiving a radio signal including shooting data from the satellite SAR1 or acquiring it from the removable medium 31 on which shooting data is recorded. Moreover, the processing order of step S21a and step S21b is not ask | required.

次に、ステップS21bの処理にて得られた低解像度の4種類の偏波(HH偏波、HV偏波、VH偏波,VV偏波)SAR画像を、単偏波(HH偏波)のSAR画像と同様の解像度となるようリサンプリングし、高解像度の4種類の偏波SAR画像を生成する(ステップS22)。このとき、高解像度の単偏波SAR画像と同じ偏波モード(本例ではHH偏波)で撮影されたSAR画像は除外することが好ましい。   Next, four types of low-resolution polarization (HH polarization, HV polarization, VH polarization, VV polarization) SAR images obtained by the processing in step S21b are converted into single polarization (HH polarization). Resampling is performed to obtain the same resolution as that of the SAR image, and four types of high-resolution polarization SAR images are generated (step S22). At this time, it is preferable to exclude the SAR image captured in the same polarization mode (HH polarization in this example) as the high-resolution single-polarization SAR image.

次に、ステップS21aの処理による高解像度の単偏波SAR画像と、ステップS22の処理による低解像度の多偏波SAR画像について、それぞれオルソ画像を作成(オルソ化)する(ステップS23a、ステップS23b)。なお、上述した実施形態と同様に、高解像度の単偏波SAR画像と、低解像度の二重偏波SAR画像は同一軌道上の同一位置から撮影したものであれば、撮影地域に対する入射角も同じになるので、必ずしもオルソ化しなくてもよい。   Next, an ortho image is created (orthorectified) for each of the high-resolution single-polarized SAR image obtained in step S21a and the low-resolution multi-polarized SAR image obtained in step S22 (steps S23a and S23b). . As in the above-described embodiment, if the high-resolution single-polarized SAR image and the low-resolution dual-polarized SAR image are taken from the same position on the same trajectory, the incident angle with respect to the shooting area is also set. Since it becomes the same, it does not necessarily need to be orthorectified.

続いて、各SAR画像についてフィルタリング処理によりノイズ除去を実施する(ステップS24a、ステップS24b)。なお、上記ステップS23aとステップS24a、及びステップS23bとステップS24bの処理順序はこの例に限られるものではなく、逆でもよい。   Subsequently, noise removal is performed on each SAR image by filtering processing (steps S24a and S24b). Note that the processing order of steps S23a and S24a and steps S23b and S24b is not limited to this example, and may be reversed.

そして、ステップS24aにより得られた単偏波SAR画像及びステップS24bの処理により得られた低解像度の多偏波SAR画像の位置合わせを行い、画像を合成する(ステップS25)。次に、ステップS25の処理にて得られた合成画像をHSI変換し、明度(I)を抽出する(ステップS26)。これとステップS24bの処理にて得られた低解像度SAR画像を用いてパンシャープン処理する(ステップS27)。すなわち、ステップS24bの処理にて得られた低解像度SAR画像をHSI変換し、得られた明度(I’)を上記Iで置き換え、これを逆HSI変換することにより、高解像度のカラーSAR画像を得る(ステップS28)。   Then, the single-polarized SAR image obtained in step S24a and the low-resolution multi-polarized SAR image obtained by the processing in step S24b are aligned, and the images are synthesized (step S25). Next, HSI conversion is performed on the composite image obtained by the process of step S25, and brightness (I) is extracted (step S26). A pan-sharpening process is performed using this and the low-resolution SAR image obtained by the process of step S24b (step S27). That is, the low-resolution SAR image obtained in the process of step S24b is HSI-converted, the obtained brightness (I ′) is replaced with the above I, and this is inverse-HSI-converted to convert the high-resolution color SAR image. Obtain (step S28).

以上説明した実施形態によれば、高解像度の単偏波のSAR画像と、解像度の少し劣る四重偏波のSAR画像を取得して、カラー合成画像を得るようにしたので、より容易に地物情報の判読が可能になる。さらに、高解像度の単偏波のSAR画像だけを使うのではなく、低解像度の多偏波(四重偏波)のSAR画像を併用して、高解像度の明度のレイヤを作成し、これを用いてパンシャープン処理を実施している。このようにすることにより、高解像度の単偏波SAR画像をベースとして、低解像度の多偏波(四重偏波)SAR画像から得られる偏波情報を融合したカラー合成画像を作成することができるので、高解像度でかつ地物の特徴や形状などを含む情報を含んだカラー画像を取得可能である。したがって、地物情報の判読をより精度良く行うことができる。   According to the embodiment described above, since a high-resolution single-polarized SAR image and a quadruple-polarized SAR image having a slightly lower resolution are obtained and a color composite image is obtained, the ground can be more easily obtained. Interpretation of object information becomes possible. Furthermore, instead of using only a high-resolution single-polarized SAR image, a low-resolution multi-polarized (quadruplex) SAR image is used together to create a high-resolution brightness layer. It is used for pan sharpening. In this way, a color composite image can be created by combining polarization information obtained from a low-resolution multi-polarization (quad-polarization) SAR image based on a high-resolution single-polarization SAR image. As a result, it is possible to obtain a color image including information with high resolution and including features and shapes of features. Therefore, the feature information can be read more accurately.

応用例としては、例えば異なる軌道上で撮影した高解像度の単偏波SAR画像と、低解像度の多偏波SAR画像をオルソ化し、これらを用いて画像合成を行うことにより、建物のオクルージョンなどを減らすことができる。   As an application example, for example, a high-resolution single-polarized SAR image and a low-resolution multi-polarized SAR image taken on different orbits are orthorectified, and image synthesis is performed by using these to create a building occlusion. Can be reduced.

1…衛星SAR、2…データ解析処理センタ、3…地表面(撮影対象)、4,5…累積画素数、10…地物情報判読用画像生成装置、11…CPU、12…ROM、13…RAM、14…バス、15…入出力インタフェース、16…入力部、17…出力部、18…記録部、19…通信部、20…ドライブ、31…リムーバブルメディア   DESCRIPTION OF SYMBOLS 1 ... Satellite SAR, 2 ... Data analysis processing center, 3 ... Ground surface (photographing object), 4, 5 ... Accumulated pixel number, 10 ... Image generating apparatus for interpretation of feature information, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... bus, 15 ... input / output interface, 16 ... input unit, 17 ... output unit, 18 ... recording unit, 19 ... communication unit, 20 ... drive, 31 ... removable media

Claims (5)

飛翔体に搭載したレーダ装置から得られる、偏波を利用して撮影されたレーダ画像データを基に地物情報判読用画像を生成する地物情報判読用画像生成方法において、
前記レーダ装置で撮影された地域の低解像度の多偏波レーダ画像データに色情報を割り当てるステップと、
前記色情報が割り当てられた低解像度の多偏波レーダ画像データと、前記レーダ装置で撮影された地域の高解像度の単偏波レーダ画像データを合成するステップと
を含む地物情報判読用画像生成方法。
In a feature information interpretation image generation method for generating a feature information interpretation image based on radar image data obtained using a polarized wave obtained from a radar device mounted on a flying object,
Assigning color information to low-resolution multi-polarization radar image data of a region captured by the radar device;
The feature information interpretation image generation includes the step of synthesizing the low-resolution multi-polarization radar image data to which the color information is assigned and the high-resolution single-polarization radar image data of the region captured by the radar device. Method.
前記多偏波は送受信モードが異なる3種類の偏波であり、各低解像度のレーダ画像データに赤、緑、青の色情報を割り当てる
請求項1に記載の地物情報判読用画像生成方法。
The feature information interpretation image generating method according to claim 1, wherein the multi-polarized waves are three types of polarized waves having different transmission / reception modes, and red, green, and blue color information is assigned to each low-resolution radar image data.
飛翔体に搭載したレーダ装置から得られる、偏波を利用して撮影されたレーダ画像データを基に地物情報判読用画像を生成する地物情報判読用画像生成方法において、
前記レーダ装置で撮影された地域の、送受信モードが異なる低解像度の2重偏波レーダ画像データを、前記レーダ装置で撮影された地域の、前記2重偏波とは異なる送受信モードである高解像度の単偏波レーダ画像データの解像度に合わせてサンプリングするステップと、
前記サンプリングされた低解像度の2重偏波レーダ画像データ及び前記高解像度の単偏波レーダ画像データに色情報を割り当てるステップと、
前記色情報が割り当てられた低解像度の多偏波レーダ画像データ及び高解像度の単偏波レーダ画像データを合成するステップと
を含む地物情報判読用画像生成方法。
In a feature information interpretation image generation method for generating a feature information interpretation image based on radar image data obtained using a polarized wave obtained from a radar device mounted on a flying object,
Low resolution dual polarization radar image data of a region photographed by the radar device and having a different transmission / reception mode is a high resolution that is a transmission / reception mode different from the dual polarization of the region photographed by the radar device. Sampling according to the resolution of the single polarization radar image data of
Assigning color information to the sampled low resolution dual polarization radar image data and the high resolution single polarization radar image data;
A feature information interpretation image generation method comprising: synthesizing low-resolution multipolarization radar image data to which color information is assigned and high-resolution single-polarization radar image data.
飛翔体に搭載したレーダ装置から得られる、偏波を利用して撮影されたレーダ画像データを基に地物情報判読用画像を生成する地物情報判読用画像生成方法において、
前記レーダ装置で撮影された地域の、送受信モードが異なる低解像度の3種類の偏波レーダ画像データを、前記レーダ装置で撮影された地域の、少なくとも前記3種類の偏波の1つと送受信モードが同一である高解像度の単偏波レーダ画像データの解像度に合わせてサンプリングするステップと、
前記サンプリングされた3種類の偏波レーダ画像データを主成分分析し第1の第1主成分を抽出するステップと、
前記単偏波レーダ画像データと、これとは異なる2重偏波レーダ画像データを主成分分析し第2の第1主成分を抽出するステップと、
前記第1の第1主成分を前記第2の第1主成分で置換したものを逆主成分分析し、画像データを生成するステップと
を含む地物情報判読用画像生成方法。
In a feature information interpretation image generation method for generating a feature information interpretation image based on radar image data obtained using a polarized wave obtained from a radar device mounted on a flying object,
Three types of low-resolution polarization radar image data in different transmission / reception modes in the area photographed by the radar device, and at least one of the three types of polarization / transmission mode in the area photographed by the radar device. Sampling to match the resolution of the same high resolution single polarization radar image data;
Performing a principal component analysis on the three types of sampled polarization radar image data to extract a first first principal component;
Analyzing the single-polarization radar image data and the dual-polarization radar image data different from the single-polarization radar image data to extract a second first principal component;
A feature information interpretation image generating method comprising: performing inverse principal component analysis on the first first principal component replaced with the second first principal component and generating image data.
飛翔体に搭載したレーダ装置から得られる、偏波を利用して撮影されたレーダ画像データを基に地物情報判読用画像を生成する地物情報判読用画像生成方法において、
前記レーダ装置で撮影された地域の、送受信モードが異なる低解像度の3種類の偏波レーダ画像データを、前記レーダ装置で撮影された地域の、少なくとも前記3種類の偏波の1つと送受信モードが同一である高解像度の単偏波レーダ画像データの解像度に合わせてサンプリングするステップと、
前記サンプリングされた3種類の偏波レーダ画像データをHSI変換し第1の明度成分を抽出するステップと、
前記単偏波レーダ画像データと、これとは異なる2重偏波レーダ画像データをHSI変換し第2の明度成分を抽出するステップと、
前記第1の明度成分を前記第2の明度成分で置換したものを逆HSI変換し、画像データを生成するステップと
を含む地物情報判読用画像生成方法。
In a feature information interpretation image generation method for generating a feature information interpretation image based on radar image data obtained using a polarized wave obtained from a radar device mounted on a flying object,
Three types of low-resolution polarization radar image data in different transmission / reception modes in the area photographed by the radar device, and at least one of the three types of polarization / transmission mode in the area photographed by the radar device. Sampling to match the resolution of the same high resolution single polarization radar image data;
Extracting the first brightness component by performing HSI conversion on the three types of sampled polarization radar image data;
HSI conversion of the single polarization radar image data and the dual polarization radar image data different from the single polarization radar image data to extract a second brightness component;
A feature information interpretation image generation method comprising: performing inverse HSI conversion on the first lightness component replaced with the second lightness component and generating image data.
JP2011239133A 2011-10-31 2011-10-31 Image generation method for interpretation of feature information Active JP5523427B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011239133A JP5523427B2 (en) 2011-10-31 2011-10-31 Image generation method for interpretation of feature information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011239133A JP5523427B2 (en) 2011-10-31 2011-10-31 Image generation method for interpretation of feature information

Publications (2)

Publication Number Publication Date
JP2013096807A true JP2013096807A (en) 2013-05-20
JP5523427B2 JP5523427B2 (en) 2014-06-18

Family

ID=48618895

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011239133A Active JP5523427B2 (en) 2011-10-31 2011-10-31 Image generation method for interpretation of feature information

Country Status (1)

Country Link
JP (1) JP5523427B2 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103983968A (en) * 2014-03-20 2014-08-13 西安电子科技大学 Complete polarization type SAR super-resolution imaging method based on distributed compressed sensing
JP5636085B1 (en) * 2013-12-27 2014-12-03 アジア航測株式会社 Single-polarization SAR color image creation device
JP2015084192A (en) * 2013-10-25 2015-04-30 株式会社パスコ Forest physiognomy analyzing apparatus, forest physiognomy analyzing method, and program
JP2015114147A (en) * 2013-12-10 2015-06-22 三菱電機株式会社 Image synthesizer and image composition method
JP2017199066A (en) * 2016-04-25 2017-11-02 三菱電機株式会社 Image processor and image processing method
JP2018151775A (en) * 2017-03-10 2018-09-27 国際航業株式会社 Physical quantity distribution map creation method and physical quantity distribution map creation device
US20190064337A1 (en) * 2017-08-28 2019-02-28 Samsung Electronics Co., Ltd. Method and apparatus to identify object
JP2019035598A (en) * 2017-08-10 2019-03-07 株式会社パスコ Land cover learning data generation device, land cover learning data, land cover classification prediction device, and land cover learning data generation program
CN113538306A (en) * 2021-06-15 2021-10-22 西安电子科技大学 Multi-image fusion method for SAR image and low-resolution optical image
CN116245717A (en) * 2023-05-10 2023-06-09 长春理工大学 Method for generating simulated SAR radar image by aerial image
KR20240037690A (en) * 2022-09-15 2024-03-22 엘아이지넥스원 주식회사 Onboard electric device and method of performing target detection monitoring
KR102720568B1 (en) 2022-05-25 2024-10-21 고성윤 Method and apparatus of generating Super-Resolution image for the target object in Synthetic Aperture Radar image using deep learning

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6526428B2 (en) 2015-01-27 2019-06-05 キヤノンメディカルシステムズ株式会社 Medical image processing apparatus, medical image processing method and medical image diagnostic apparatus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000162326A (en) * 1998-12-01 2000-06-16 Fujitsu Ltd Apparatus and method for evaluating physical amount of image
JP2005189099A (en) * 2003-12-25 2005-07-14 National Institute Of Information & Communication Technology Method and device for removing noise in sar data processing
JP2006285310A (en) * 2005-03-31 2006-10-19 Kanazawa Univ Evaluation method of canopy of forest, and its canopy evaluation program
JP2009047516A (en) * 2007-08-17 2009-03-05 Pasuko:Kk Image formation method and program for reading feature information
JP2010085169A (en) * 2008-09-30 2010-04-15 Mitsubishi Electric Corp Image radar system
JP2011100426A (en) * 2009-11-09 2011-05-19 Iwate Univ Image processing device and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000162326A (en) * 1998-12-01 2000-06-16 Fujitsu Ltd Apparatus and method for evaluating physical amount of image
JP2005189099A (en) * 2003-12-25 2005-07-14 National Institute Of Information & Communication Technology Method and device for removing noise in sar data processing
JP2006285310A (en) * 2005-03-31 2006-10-19 Kanazawa Univ Evaluation method of canopy of forest, and its canopy evaluation program
JP2009047516A (en) * 2007-08-17 2009-03-05 Pasuko:Kk Image formation method and program for reading feature information
JP2010085169A (en) * 2008-09-30 2010-04-15 Mitsubishi Electric Corp Image radar system
JP2011100426A (en) * 2009-11-09 2011-05-19 Iwate Univ Image processing device and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6014003554; 山口芳雄: 「レーダポーラリメトリの基礎と応用 -偏波を用いたレーダリモートセンシング-」 , 20071225, p.101-102, (社)電子情報通信学会 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015084192A (en) * 2013-10-25 2015-04-30 株式会社パスコ Forest physiognomy analyzing apparatus, forest physiognomy analyzing method, and program
JP2015114147A (en) * 2013-12-10 2015-06-22 三菱電機株式会社 Image synthesizer and image composition method
JP5636085B1 (en) * 2013-12-27 2014-12-03 アジア航測株式会社 Single-polarization SAR color image creation device
CN103983968A (en) * 2014-03-20 2014-08-13 西安电子科技大学 Complete polarization type SAR super-resolution imaging method based on distributed compressed sensing
JP2017199066A (en) * 2016-04-25 2017-11-02 三菱電機株式会社 Image processor and image processing method
JP2018151775A (en) * 2017-03-10 2018-09-27 国際航業株式会社 Physical quantity distribution map creation method and physical quantity distribution map creation device
JP7045819B2 (en) 2017-08-10 2022-04-01 株式会社パスコ Land cover learning data generator, land cover learning data, land cover classification prediction device and land cover learning data generation program
JP2019035598A (en) * 2017-08-10 2019-03-07 株式会社パスコ Land cover learning data generation device, land cover learning data, land cover classification prediction device, and land cover learning data generation program
US10838055B2 (en) * 2017-08-28 2020-11-17 Samsung Electronics Co., Ltd. Method and apparatus to identify object
US20190064337A1 (en) * 2017-08-28 2019-02-28 Samsung Electronics Co., Ltd. Method and apparatus to identify object
CN113538306A (en) * 2021-06-15 2021-10-22 西安电子科技大学 Multi-image fusion method for SAR image and low-resolution optical image
CN113538306B (en) * 2021-06-15 2024-02-13 西安电子科技大学 SAR image and low-resolution optical image multi-image fusion method
KR102720568B1 (en) 2022-05-25 2024-10-21 고성윤 Method and apparatus of generating Super-Resolution image for the target object in Synthetic Aperture Radar image using deep learning
KR20240037690A (en) * 2022-09-15 2024-03-22 엘아이지넥스원 주식회사 Onboard electric device and method of performing target detection monitoring
KR102669780B1 (en) 2022-09-15 2024-05-28 엘아이지넥스원 주식회사 Onboard electric device and method of performing target detection monitoring
CN116245717A (en) * 2023-05-10 2023-06-09 长春理工大学 Method for generating simulated SAR radar image by aerial image

Also Published As

Publication number Publication date
JP5523427B2 (en) 2014-06-18

Similar Documents

Publication Publication Date Title
JP5523427B2 (en) Image generation method for interpretation of feature information
Filipponi Sentinel-1 GRD preprocessing workflow
JP5246391B2 (en) Feature information interpretation image generation method and program
US10235746B2 (en) Method and device for fusing panchromatic image and infrared image
US10122949B2 (en) High-resolution camera unit for a drone, with correction of the wobble-type distortions
CN111681171B (en) Full-color and multispectral image high-fidelity fusion method and device based on block matching
JP5458380B2 (en) Image processing apparatus and method
Saunier et al. Radiometric, geometric, and image quality assessment of ALOS AVNIR-2 and PRISM sensors
Hakim et al. Development of systematic image preprocessing of LAPAN-A3/IPB multispectral images
JP6018032B2 (en) Radar image interpretation support apparatus and radar image interpretation support method
Tingay et al. A multi-resolution, multi-epoch low radio frequency survey of the Kepler K2 mission Campaign 1 field
Haarpaintner et al. Tropical forest remote sensing services for the Democratic Republic Of Congo case inside the EU FP7 ‘ReCover’project (1 st iteration)
Barducci et al. Simulating the performance of the hyperspectral payload of the PRISMA mission
Benhadj et al. HyperScout-1 inflight calibration and product validation
WO2023058560A1 (en) Information processing device, program, and image correction method
JP7316004B1 (en) Information processing device, information processing method, and program
JP7345935B1 (en) Information processing device, information processing method, and program
Haarpaintner et al. Tropical Forest Remote Sensing Services for the Democratic Republic of Congo inside the EU FP7 ReCover Project (Final Results 2000-2012)
CN114234934B (en) Ocean internal wave monitoring method and system of non-uniform spatial resolution satellite-borne low-light-level imager
Imai et al. Outline of advanced land observing satellite-3 and its instruments
Lebègue et al. CO3D Products Qualification Forecast
Alibani et al. Sentinel-2 Image Generation via Stylegan3 Model
Demange Next-generation positioning for direct georeferencing of multispectral imagery from an Unmanned Aerial System (UAS)
Lee et al. Determination of Optimal Ground Sampling Distance for Matching Gcp Chips and Satellite Images
Li et al. Multitemporal Mid-Infrared Imagery Based Calibration and Super Resolution for Gaofen-4

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140408

R150 Certificate of patent or registration of utility model

Ref document number: 5523427

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250