JP2005310052A - Device, method and program for detecting illegal dumping site - Google Patents
Device, method and program for detecting illegal dumping site Download PDFInfo
- Publication number
- JP2005310052A JP2005310052A JP2004129805A JP2004129805A JP2005310052A JP 2005310052 A JP2005310052 A JP 2005310052A JP 2004129805 A JP2004129805 A JP 2004129805A JP 2004129805 A JP2004129805 A JP 2004129805A JP 2005310052 A JP2005310052 A JP 2005310052A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- region
- area
- vegetation
- illegal dumping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Processing Of Solid Wastes (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
Description
本発明は、廃棄物の不法投棄された場所を探索するための不法投棄箇所検知装置、方法、およびプログラムに関するものである。 The present invention relates to an illegal dumping point detection device, method, and program for searching for an illegal dumping place of waste.
廃棄物の不法投棄は重篤な環境汚染を引き起こし、この被害を抑えるためには投棄箇所を早期に発見することが重要である。従来の廃棄物の不法投棄箇所の検知方法は近隣住民の通報や監視員のパトロールといった人手に依るものであるため、多くの労力が必要であるとともに、不法投棄箇所を探索することができる範囲にも限界がある。しかも、通常不法投棄が行われる場所は、普段人目につきづらい所であることが多い。こうした理由から、廃棄物等の不法投棄箇所は発見が困難である。このような理由から、不法投棄箇所の効果的な発見のため、広域な対象範囲を網羅的に探索する方法が必要とされている。 The illegal dumping of waste causes serious environmental pollution, and it is important to detect the dumping site early in order to suppress this damage. Conventional methods of detecting illegal dumping places of waste depend on human resources such as notification of neighboring residents and patrols of observers, and thus require a lot of labor and are within the scope of searching for illegal dumping places. There is a limit. Moreover, the place where illegal dumping is usually performed is often a place where it is usually difficult to see. For these reasons, it is difficult to find illegal dumping places such as waste. For these reasons, a method for exhaustively searching a wide target range is required for effective discovery of illegal dumping locations.
また、従来の技術による画像を撮影して監視する不法投棄監視システムは、要注意箇所もしくは既に不法投棄が起きた場所において地上にカメラを設置し、状況を監視するものである。このため、新たな不法投棄場所を発見するという目的では使用困難であった。 In addition, an illegal dumping monitoring system that captures and monitors images according to a conventional technique is to monitor a situation by installing a camera on the ground at a point requiring caution or where illegal dumping has already occurred. For this reason, it was difficult to use for the purpose of finding a new illegal dumping place.
これに対し、人工衛星等によって上空から撮影された画像を用いて廃棄物の投棄された場所を発見することも検討されている。この人工衛星等からの画像をもとに目視により不法投棄箇所を発見する方法は多大な労力を必要とするため、これを補助する目的で衛星等の画像を解析し、不法投棄箇所を発見する方法も近年提案されている。しかし、従来の技術では、森林領域のみを不法投棄箇所発見の対象とするために探索範囲が限定されているという問題点がある。 On the other hand, it is also considered to find a place where waste is dumped using an image taken from the sky by an artificial satellite or the like. The method of finding illegal dumping sites by visual observation based on images from artificial satellites, etc. requires a great deal of labor. Analyzing images of satellites, etc. for the purpose of assisting this, find illegal dumping sites. A method has also been proposed in recent years. However, the conventional technique has a problem that the search range is limited because only the forest area is targeted for illegal dumping spot discovery.
なお、従来の技術として、特許文献1、特許文献2および特許文献3に記載されるものが知られている。特許文献1と、特許文献2の技術は特定の場所において廃棄物の不法投棄を監視するためのものであり、上述の新たな不法投棄箇所の発見については有効ではない。また、特許文献3に記載の技術は廃棄物などの不法投棄の巡回監視を補助するための技術であり、上述の新たな不法投棄箇所を発見する目的に対しては有効ではない。
本発明は上記の事情を考慮してなされたもので、その目的は、廃棄物などが投棄された場所を探し出し、検知することができる不法投棄箇所検知装置、方法、およびプログラムを提供することにある。 The present invention has been made in view of the above circumstances, and an object thereof is to provide an illegal dumping point detection device, method, and program capable of finding and detecting a place where waste or the like has been dumped. is there.
この発明は前述の課題を解決するためになされたもので、請求項1の発明は、同じ場所を異なる日時に上空から撮影した第1の画像データと、第2の画像データとを同質の領域に、かつ、両方の画像データを同じように分割する分割処理手段と、前記分割処理手段の処理結果を元に、前記第1の画像データ中の第1の領域と、前記第1の領域と同じ場所である前記第2の画像データ中の第2の領域との各々の領域の植生を求める植生判定手段と、前記第1の領域と、前記第2の領域との領域の植生が乏しいか、あるいは減少している場合にのみ、前記第1の領域と、前記第2の領域との空間的特徴の変化を求める統計量判定手段と、前記統計量判定手段の求めた空間的特徴の変化に基づいて廃棄物等が不法に投棄された可能性の高い領域を検知する領域判定手段とを具備することを特徴とする不法投棄箇所検知装置である。 SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems. The invention of claim 1 is directed to a region of the same quality for the first image data and the second image data obtained by photographing the same place from the sky at different dates and times. And a division processing unit that divides both image data in the same manner, a first area in the first image data, and the first area based on a processing result of the division processing unit. Vegetation determination means for obtaining vegetation in each region with the second region in the second image data at the same location, and whether the vegetation in the region between the first region and the second region is poor Or a statistic determination means for determining a change in spatial characteristics between the first area and the second area only when the statistic determination means has decreased, and a change in the spatial characteristics determined by the statistic determination means. Based on the above, the area where there is a high possibility that waste was illegally dumped A dumping position detecting device characterized by comprising a region determination unit that.
請求項2に記載の発明は、請求項1に記載の不法投棄箇所検知装置であって、前記分割処理手段による処理の前に、前記第1の画像データと、前記第2の画像データとの輝度の補正と、大気補正と、幾何補正とを行う補正処理手段をさらに具備することを特徴とするものである。 The invention according to claim 2 is the illegal dumping location detection apparatus according to claim 1, wherein the first image data and the second image data are processed before the processing by the division processing means. The image processing apparatus further includes correction processing means for performing luminance correction, atmospheric correction, and geometric correction.
請求項3に記載の発明は、請求項2に記載の不法投棄箇所検知装置であって、前記補正処理手段による処理の後で、前記第1の画像データと、前記第2の画像データとの画像の位置合わせを行う位置合わせ手段をさらに具備することを特徴とするものである。 The invention according to claim 3 is the illegal dumping location detecting device according to claim 2, wherein after the processing by the correction processing means, the first image data and the second image data The image processing apparatus further includes alignment means for aligning images.
請求項4に記載の発明は、請求項3に記載の不法投棄箇所検知装置であって、前記位置合わせ手段による処理の後で、前記第1の画像データと、前記第2の画像データとの画像の輝度合わせを行う輝度置合わせ手段をさらに具備することを特徴とするものである。 Invention of Claim 4 is an illegal dumping location detection apparatus of Claim 3, Comprising: After the process by the said alignment means, said 1st image data and said 2nd image data The image display apparatus further includes a brightness alignment unit that performs brightness adjustment of the image.
請求項5に記載の発明は、請求項1〜請求項4のいずれかに記載の不法投棄箇所検知装置であって、前記分割処理手段の処理結果から、前記第1の画像データと、前記第2の画像データとの上で雲に該当する領域を以降の処理対象外として設定する前処理手段をさらに具備することを特徴とするものである。 Invention of Claim 5 is an illegal dumping location detection apparatus in any one of Claims 1-4, Comprising: From the processing result of the said division | segmentation process means, said 1st image data and said 1st The image processing apparatus further includes pre-processing means for setting a region corresponding to a cloud on the second image data as a non-processing target thereafter.
請求項6に記載の発明は、同じ場所を異なる日時に上空から撮影した第1の画像データと、第2の画像データとを同質の領域に、かつ、両方の画像データを同じように分割し、前記分割結果を元に、前記第1の画像データ中の第1の領域と、前記第1の領域と同じ場所である前記第2の画像データ中の第2の領域との各々の領域の植生を求め、前記第1の領域と、前記第2の領域との領域の植生が乏しいか、あるいは減少している場合にのみ、前記第1の領域と、前記第2の領域との空間的特徴の変化を求め、前記求めた空間的特徴の変化に基づいて廃棄物等の不法投棄された可能性の高い領域を検知することを特徴とする不法投棄箇所検知方法である。 According to the sixth aspect of the present invention, the first image data obtained by shooting the same place from the sky at different dates and the second image data are divided into regions of the same quality, and both image data are divided in the same manner. Based on the division result, each of the first area in the first image data and the second area in the second image data that is the same location as the first area Only when the vegetation is sought and the vegetation in the region between the first region and the second region is poor or has decreased, the spatial relationship between the first region and the second region An illegal dumping point detection method characterized in that a change in characteristics is obtained, and an area that is likely to be illegally dumped such as waste is detected based on the obtained change in spatial characteristics.
請求項7に記載の発明は、不法投棄箇所検知装置のコンピュータに、同じ場所を異なる日時に上空から撮影した第1の画像データと、第2の画像データとを同質の領域に、かつ、両方の画像データを同じように分割する処理と、前記分割結果を元に、前記第1の画像データ中の第1の領域と、前記第1の領域と同じ場所である前記第2の画像データ中の第2の領域との各々の領域の植生を求める処理と、前記第1の領域と、前記第2の領域との領域の植生が乏しいか、あるいは減少している場合にのみ、前記第1の領域と、前記第2の領域との空間的特徴の変化を求める処理と、前記求めた空間的特徴の変化に基づいて廃棄物等の不法投棄された可能性の高い領域を検知する処理とを実行させるためのプログラムである。 According to the seventh aspect of the present invention, in the computer of the illegal dumping location detection device, the first image data obtained by photographing the same place from the sky at different dates and the second image data are in the same quality area and both. The image data in the same way, the first area in the first image data based on the result of the division, and the second image data in the same location as the first area Only when the processing for obtaining the vegetation of each region with the second region of the first region and the vegetation of the region with the first region and the second region is poor or reduced. A process for obtaining a change in spatial characteristics between the area and the second area, and a process for detecting an area likely to be illegally dumped such as waste based on the change in the obtained spatial characteristics; Is a program for executing
請求項1、請求項6、または請求項7の発明によれば、不法投棄箇所検知装置のユーザは廃棄物などの不法投棄が行われた可能性のある箇所を発見することができる効果がある。
請求項2の発明によれば、人工衛星などが撮影した画像データを使用する場合に、画像データが大気や人工衛星自身による補正の影響を受けていても、これを修正し、廃棄物などの不法投棄が行われた可能性のある箇所の発見を行うことができる効果がある。
According to the invention of claim 1, claim 6, or claim 7, there is an effect that the user of the illegal dumping location detection device can find a location where illegal dumping of waste or the like may have been performed. .
According to the invention of claim 2, when using image data taken by an artificial satellite or the like, even if the image data is affected by correction by the atmosphere or the artificial satellite itself, There is an effect that it is possible to find a place where illegal dumping may have occurred.
請求項3の発明によれば、人工衛星などが撮影した画像データを使用する場合に、第1の画像データと、第2の画像データとの間に位置的なずれがある場合でも、これを補正して廃棄物などの不法投棄が行われた可能性のある箇所の発見を行うことができる効果がある。
請求項4の発明によれば、人工衛星などが撮影した画像データを使用する場合に、第1の画像データと、第2の画像データとの間に天候などに起因する輝度の違いがある場合でも、これを補正して廃棄物などの不法投棄が行われた可能性のある箇所の発見を行うことができる効果がある。
According to the invention of claim 3, even when there is a positional deviation between the first image data and the second image data when using image data taken by an artificial satellite or the like, There is an effect that correction can be made to find a place where illegal dumping of waste or the like may have been performed.
According to the invention of claim 4, when using image data taken by an artificial satellite or the like, there is a difference in luminance caused by weather or the like between the first image data and the second image data. However, there is an effect that it is possible to find a place where illegal dumping of waste or the like may be performed by correcting this.
請求項5の発明によれば、人工衛星などが撮影した画像データを使用する場合に、第1の画像データと、第2の画像データとに雲が移っている場合でも、この領域を除外して解析可能な領域について廃棄物などの不法投棄が行われた可能性のある箇所の発見を行うことができる効果がある。 According to the invention of claim 5, when image data taken by an artificial satellite or the like is used, this region is excluded even when the clouds are moved to the first image data and the second image data. Thus, there is an effect that it is possible to find a place where illegal dumping of waste or the like may be performed in an area that can be analyzed.
図2は本実施の形態におけるコンピュータ100の構成を表している。このコンピュータ100は記憶領域に、人工衛星が撮影した現在の地上の画像である画像データCと、過去に人工衛星が画像データCと同じ場所を撮影した際の画像である画像データPとを予め格納する。この画像データCと、画像データPとは可視領域を含むマルチスペクトルの画像データであり、地上からの反射に含まれる可視の赤バンドであるR(Red)バンドと、可視の緑バンドであるG(Green)バンドと、可視の青バンドであるB(Blue)バンドと、近赤外バンドであるIr(Infrared)バンドとの情報を含む。
FIG. 2 shows the configuration of the
制御部101はコンピュータ100の制御機能であり、詳細は後述する。補正処理部102は画像データCと、画像データPとを解析可能な状態に補正し、処理済画像データC1と、処理済画像データP1とを得る処理を行う。分割処理部103は処理済画像データC1と、処理済画像データP1との中の森林や工場など同質の領域を識別し、領域分けを行う。
The
差分生成部104は処理済画像データC1と、処理済画像データP1との輝度の差分を計算し、差分画像データを生成する。前処理部105は処理済画像データC1と、処理済画像データP1とにおける雲などの領域を処理対象から除外する処理を行う。領域判定部106は植生判定部107に指示して、処理済画像データC1と、処理済画像データP1とにおける植生の変化を検知する。
The
植生判定部107は[表1]に表される記憶領域中の植生判定テーブルを参照して処理済画像データC1の領域の植生と、処理済画像データP1の領域の植生に基づく植生の変化に関する判定を行う。
The
[表1]の植生判定結果は処理済画像データC1の領域と、処理済画像データP1の領域との植生の有無に応じた植生の変化の判定結果の場合分けをあらわすものである。この場合分けにはCase1〜Case3の3通りがある。Case1は当該領域から植生が失われたケースであり、不法投棄が当該領域で発生している可能性がある。Case2は当該領域には元から植生が無かったケースであり、これも不法投棄が発生している可能性がある。そして、Case3は当該領域での植生が維持されているか、あるいは植生がより豊かになっている領域であり、不法投棄の発生している可能性は低い。 The vegetation determination result in [Table 1] represents a case classification of a determination result of a change in vegetation according to the presence or absence of vegetation between the region of the processed image data C1 and the region of the processed image data P1. In this case, there are three cases, Case 1 to Case 3. Case 1 is a case where vegetation is lost from the area, and illegal dumping may occur in the area. Case 2 is a case where there is no vegetation in the area, and there is a possibility that illegal dumping has occurred. Case 3 is an area where vegetation in the area is maintained or vegetation is richer, and the possibility of illegal dumping is low.
領域判定部106は、必要に応じて統計量判定部108に指示して処理済画像データC1中の領域と、処理済画像データP1の領域とにおける空間的な特徴の差異をチェックする。統計量判定部108は領域の空間的な特徴の差異をチェックすることにより、領域内の一様さ、あるいは乱雑さを検知し、これによって当該領域において廃棄物などの不法投棄が行われた可能性があるか否かを検知することができる。統計量判定部108はこの空間的な特徴の差異のチェックにおいて、[表2]に表される記憶領域中の空間的特徴判定テーブルを参照する。
The
[表2]の空間的特徴判定テーブルにおいて、植生判定結果は[表1]の植生判定結果である。[表2]の差分統計量の変化は、ある領域に関して、処理済画像データC1と、処理済画像データP1との間において空間的な特徴が変化した度合いであるDに基づいて場合分けしたものである。T1と、T2とは所定の閾値である。[表2]では空間的な特徴の変化の大小と、[表1]におけるCase1とCase2の組み合わせにより、CaseA〜CaseDの4通りに領域を分類している。 In the spatial feature determination table of [Table 2], the vegetation determination result is the vegetation determination result of [Table 1]. The difference statistic changes in [Table 2] are classified according to D, which is the degree to which the spatial characteristics have changed between the processed image data C1 and the processed image data P1 for a certain region. It is. T1 and T2 are predetermined threshold values. In [Table 2], regions are classified into four types, Case A to Case D, according to the size of changes in spatial characteristics and the combination of Case 1 and Case 2 in [Table 1].
これらCaseA〜CaseDの4通りのうち、CaseAはこれに該当する領域における植生が減少し、かつ、空間的な特徴の変化が大きなケースであり、廃棄物などの不法投棄が行われている可能性があるケースである。CaseBは領域の植生が減少し、かつ、空間的な特徴の変化が小さなケースであり、当該領域が森林から田畑などに変わり、もしくは田畑の収穫前後などで廃棄物などの不法投棄箇所となっている可能性が低いケースである。 Of these four cases, Case A to Case D, Case A is a case in which the vegetation in the corresponding region is reduced and the change in spatial characteristics is large, and there is a possibility that illegal dumping of waste or the like is performed There is a case. Case B is a case where the vegetation of the area is reduced and the change in spatial characteristics is small, and the area changes from forest to field, or becomes an illegal dumping place of waste etc. before and after harvesting of the field. This is a low possibility.
また、CaseCは領域における植生が以前から少なく、かつ、空間的な特徴の変化が大きなケースであり、廃棄物などの不法投棄箇所となっている可能性があるケースである。CaseDは領域における植生が以前から少なく、かつ、空間的な特徴の変化が小さなケースであり、当該領域が廃棄物などの不法投棄箇所となっている可能性が低いケースである。 Case C is a case where the vegetation in the region has been low for a long time, and the change in spatial characteristics is large, and it may be an illegal dumping place for waste and the like. Case D is a case where the vegetation in the area has been low for a long time, and the change in the spatial characteristics is small, and the possibility that the area is an illegal dumping place such as waste is low.
次に、本実施の形態における処理の流れについて、図1を参照しながら説明する。いま、コンピュータ100のユーザはコンピュータ100の操作部に画像データCと、画像データPとの指定を入力し、不法投棄が行われた可能性のある場所の表示をコンピュータ100に指示する。
コンピュータ100の制御部101はコンピュータ100の操作部を経由してユーザの指示を受け、補正処理部102に画像データCと、画像データPとを指定してこれらの画像データを分析可能な状態にすることを要求する。
Next, the flow of processing in the present embodiment will be described with reference to FIG. Now, the user of the
The
補正処理部102は制御部101の指示を受け、図1のステップS01にあたる画像補正処理を行う。補正処理部102はこの処理において、まず、画像データCを記憶領域から読み出し、人工衛星から送られてきた画像データCは人間にとって見やすいように補正されているため、この補正を戻す。これにより、画像データCは人工衛星のセンサが捉えた元の状態の画像になる。
The
次に、補正処理部102は画像データCに対して、画像データCを撮影した人工衛星のセンサと、撮影の対象物との間に存在する大気からの放射等による輝度等の減衰を取り除く処理である大気補正を行う。さらに、補正処理部102は画像データCに対して人工衛星のセンサのレンズの歪の補正や、人工衛星の位置や姿勢による画像の歪の補正である幾何補正を行う。補正処理部102はこうした補正を行った後に画像データCを記憶領域に書き込む。
補正処理部102は図1のステップS01と同様の処理を画像データPに対しても行う(図1のステップS02)。
Next, the
The
次に、補正処理部102は図1のステップS03にあたる位置合わせ処理を行う。この処理は、画像データPと、画像データCとが異なる日に撮影されたものであるため、人工衛星の位置や姿勢のわずかな変化等によって2つの画像の位置が多少異なることがあるため、これを補正するためのものである。補正処理部102はこの処理において、先ほど補正を行った画像データPと、画像データCとを記憶領域から読み出し、画像データPと、画像データCとの中に含まれる所定の建造物などの動かない地物に基づいて、2つの画像データの位置的なずれを補正する。
Next, the
さらに、補正処理部102は図1のステップS04にあたる輝度合わせ処理を行う。この処理は、画像データPと、画像データCとが異なる日に撮影されたものであるため、天候などの違いによって2つの画像の輝度が異なることがあるため、これを補正するためのものである。補正処理部102はこの処理において、先ほどの位置合わせ処理を行った画像データPと、画像データCとの中に含まれる所定の建造物などの撮影時期による変動の無い地物を基にして、2つの画像データの輝度の違いを検知し、これを補正する。
補正処理部102は位置と、輝度との整合性を確保した画像データCと、画像データPとを処理済画像データC1および処理済画像データP1として記憶領域に書き込み、“前処理完了”を制御部101に出力する。
Further, the
The
制御部101は補正処理部102から“前処理完了”を受け、図1のステップS05にあたる画像データPと、画像データCとの領域分けを分割処理部103に指示する。分割処理部103は制御部101の指示を受け、記憶領域から処理済画像データC1と、処理済画像データP1とを読み出す。
The
そして、分割処理部103は処理済画像データC1と、処理済画像データP1との上の同じ座標のピクセルのRバンドと、Gバンドと、Bバンドと、Irバンドとの合計8個のバンドに着目して各ピクセルを領域分けする。分割処理部103は処理済画像データC1上のピクセルについて、隣接するピクセルの輝度もしくは領域の平均輝度と差を取り、8個それぞれのバンドの輝度差がそれぞれの所定の閾値に収まる場合は、それぞれのピクセルをひとつの領域に統合して領域を生成する。分割処理部103はこの領域分けを処理済画像データC1上の全てのピクセルに関して行い、この結果を元に処理済画像データC1と、処理済画像データP1とのピクセルがどの領域に含まれるかを表す領域情報を生成して記憶領域に書き込み、制御部101に領域分けの完了を通知する(図1のステップS05)。この処理により、処理済画像データC1と、処理済画像データP1との上の森林や農地等を別の領域として区別することが可能となる。
Then, the
制御部101は分割処理部103からの通知を受け、後続の処理で使用するためのデータである差分画像データの作成を差分生成部104に指示する。
差分生成部104は制御部101からの指示を受け、記憶領域から処理済画像データC1と、処理済画像データP1とを読み出す。そして、差分生成部104は処理済画像データC1と、処理済画像データP1との上の同じ座標のピクセル同士のRバンドと、Gバンドと、Bバンドと、Irバンドとについて「差分画像=|画像(現在)−画像(過去)|」という式で表されるように各々差分の絶対値を計算し、全てのピクセルに関してこの計算を行い、この計算結果に基づいて新しい画像データを生成し、この新しい画像データを差分画像データとして記憶領域へ書き込む(図1のステップS06)。そして、差分生成部104は制御部101に差分画像データの生成完了を通知する。
Upon receiving the notification from the
The
制御部101は差分生成部104からの通知を受け、続いて処理済画像データC1と、処理済画像データP1との上の雲にあたる領域を以降の処理の対象から除外するため、これらの領域の検知を前処理部105に指示する。
前処理部105は制御部101からの指示を受け、記憶領域から処理済画像データC1と、処理済画像データP1と、領域情報とを読み出す。そして、前処理部105は処理済画像データC1の上の各領域に含まれる各ピクセルのRバンドと、Gバンドと、Bバンドとについて、全てのバンドの輝度をチェックし、所定の閾値よりも高いか否かを確認する。そして、前処理部105は、処理済画像データC1の上のある領域に含まれるピクセルのうち所定の割合のものがこのチェックにおいて該当すると判明した場合には、当該領域は雲であって以降の処理の対象外であると判断し、領域情報中の当該領域に関する情報を処理対象外として設定する。更に、前処理部105は前述の全てのバンドの輝度をチェックし、所定の閾値よりも低いか否かも確認する。そして、前処理部105は、処理済画像データC1の上のある領域に含まれるピクセルのうち所定の割合のものがこのチェックにおいて該当すると判明した場合には、当該領域は水域か影であって、以降の処理の対象外であると判断し、領域情報中の当該領域に関する情報を処理対象外として設定する。
また、前処理部105は処理済画像データP1に対しても同様のチェックを行う。その後、前処理部105は領域情報を記憶領域へ書き込む(図1のステップS07)。そして、前処理部105は制御部101へ前処理の完了を通知する。
The
In response to an instruction from the
Further, the
制御部101は前処理部105からの通知を受け、これまでの処理で得られたデータに基づいて処理済画像データC1および処理済画像データP1中の領域がそれぞれ不法投棄箇所である可能性があるか否かについてチェックを行う。このために、制御部101は領域判定部106に処理済画像データC1と、処理済画像データP1との各領域のチェックを要求する。
The
領域判定部106は制御部101からの要求を受け付け、まず、図1のステップS08において、処理済画像データC1と、処理済画像データP1とにおける各領域の植生の有無や多少、あるいは活性の度合いを調べる。このため、領域判定部106は記憶領域から処理済画像データC1と、処理済画像データP1と、領域情報とを読み出す。そして、処理済画像データC1上の領域ACと、処理済画像データP1上で領域ACと同じ場所に位置する領域APとを指定して、植生判定部107に植生の有無のチェックを要求する。
The
植生判定部107は領域判定部106からの要求を受け、領域ACの各々のピクセルのNDVI(Normalized Difference Vegetation Index:正規化植生指標)を計算する。このNDVIはピクセルのIrバンドと、Rバンドとに基づいて、(Irバンド−Rバンド)/(Irバンド+Rバンド)という計算式によって求められる。そして、植生判定部107は領域AC中の全てのピクセルのNDVIの平均を計算して領域ACのNDVIを求める。領域ACのNDVIが高い場合には、領域ACの植生が豊かであることが分かる。さらに、植生判定部107は領域ACのNDVIと、所定の閾値であるT_NDVIとを比較し、領域ACのNDVI≧T_NDVIである場合には、領域ACに関して、“植生有り”と判定する。逆に、植生判定部107は、領域ACのNDVI<T_NDVIである場合には、領域ACに関して、“植生無し”と判定する。
The
同様に、植生判定部107は領域APのNDVIを求め、また、領域APに関しても“植生有り”もしくは“植生無し”の判定を行う。そして、記憶領域から植生判定テーブルを読み出し、この植生判定テーブルに従ってCase1〜Case3の判定結果を得る。植生判定部107は植生の判定結果を領域判定部106へ出力する。
Similarly, the
領域判定部106は植生判定部107の出力を受け、植生判定部107による植生の判定結果であるCase1〜Case3に対応して以降の処理を決める。
植生判定部107による植生の判定結果がCase3である場合、領域判定部106は領域ACの植生が豊かであり、このため、廃棄物などの不法投棄場所ではないと判断し、他の領域を選んで再び図1のステップS08の処理を行い、当該領域のチェックを行う。
The
When the vegetation determination result by the
植生判定部107による植生の判定結果がCase2である場合、領域判定部106は領域AC及び領域APの植生が乏しく、このため、廃棄物などの不法投棄場所である可能性もあると判断し、以降に説明する図1のステップS09に該当する処理によって更なるチェックを行う。このために、図1のステッップS09において、領域判定部106は領域ACと、領域APとを指定して、統計量判定部108に当該領域における画像データの空間的な特徴の変化の大きさのチェックを要求する。
When the determination result of vegetation by the
統計量判定部108は領域判定部106からの要求を受け、統計量判定部108は領域ACと、領域APとの空間的特徴の変化の大きさの検知を試みる。統計量判定部108は記憶領域から差分画像データと、領域情報とを読み出し、領域ACに対応する差分画像データ中の領域である領域ADを識別する。そして、統計量判定部108は、領域ACと、領域APと、領域ADとについて、各々のエントロピー(Entropy)と、角度別2次モーメント(Angular Second Moment)とを求める。エントロピーと角度別2次モーメントとは差分統計量であり、領域内の空間的特徴が乱雑な場合にエントロピーが高い値となり、領域内の空間的特徴が一様な場合に角度別2次モーメントが高い値となる。
The
さらに、統計量判定部108は[数1]の計算式に従い、差分統計量の変化を表すDを求める。そして、統計量判定部108は空間的特徴判定テーブルを記憶領域から読み出し、求めたDに基づいて、当該領域内での空間的特長の変化の判定結果を得る。図1のステップS09においてはT2のみが比較の対象となる。T1は図1のステップS10において使用される。統計量判定部108は[表2]から、先ほど求めたDがT2と同じか、T2よりも大きい場合には、“CaseC”を領域判定部106へ出力する。DがT2より小さい場合には、統計量判定部108は[表2]から、“CaseD”を領域判定部106へ出力する。
Further, the
領域判定部106は統計量判定部108からの出力を受け、これが“CaseC”である場合には、即ち、植生が乏しい領域において空間的特徴の変化が大きかったことを検知したと判断し、このことから、当該領域には廃棄物などの不法投棄が発生した可能性があると判断する。そして、領域判定部106は記憶領域から領域情報を読み出し、領域ACに当たるデータに“検知”を設定する。
The
また、領域判定部106は統計量判定部108からの出力が“CaseD”である場合には、即ち、植生が乏しい領域において空間的特徴の変化が小さいことを検知したと判断し、このことから、当該領域には廃棄物などの不法投棄が発生した可能性がないため、特に当該領域に対する警戒は必要が無いと判断し、他の領域を選んで再び図1のステップS08の処理を行い、当該領域のチェックを行う。
Further, when the output from the
また、植生判定部107による植生の判定結果がCase1である場合、領域判定部106は領域APには植生があるが、領域ACの植生が乏しく、このため、廃棄物などの不法投棄場所である可能性もあると判断し、図1のステップS10に該当する処理によって更なるチェックを行う。この図1のステップS10における処理は、ステップS09の処理と同様である。ただし、[表2]における閾値はT1となる。
In addition, when the vegetation determination result by the
領域判定部106は統計量判定部108からの出力を受け、これが“CaseA”である場合には、即ち、植生が乏しくなった領域において空間的特徴の変化が大きかったことを検知したと判断し、このことから、当該領域には廃棄物などの不法投棄が発生した可能性があると判断する。そして、領域判定部106は記憶領域から領域情報を読み出し、領域ACに当たるデータに“検知”を設定する。
The
また、領域判定部106は統計量判定部108からの出力が“CaseB”である場合には、即ち、植生が乏しくなった領域において空間的特徴の変化が小さいことを検知したと判断し、このことから、当該領域が田畑などに変わり、このため廃棄物などの不法投棄が発生した可能性がないため、特に当該領域に対する警戒は必要が無いと判断し、他の領域を選んで再び図1のステップS08の処理を行い、当該領域のチェックを行う。
In addition, when the output from the
領域判定部106は処理済画像データC1と、処理済画像データP1との全ての領域に関して図1のステップS08と、必要があればステップS09、あるいはステップS10の処理を行い、その後、制御部101に処理の完了を通知する。
The
制御部101は領域判定部106からの通知を受け、記憶領域から領域情報を読み出し、“検知”が設定された領域に関して、廃棄物などの不法投棄が行われている可能性があることをコンピュータ100の表示部に表示する。コンピュータ100のユーザはコンピュータ100の表示部の表示を確認し、不法投棄の行われている可能性のある箇所を認識する。
The
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本実施の形態においては廃棄物の不法投棄箇所の検知を目的としたが、このほかにも自然破壊や砂漠化の進行などにおいても植生の変化が発生するため、これらの検知にも有効である。 As described above, the embodiments of the present invention have been described in detail with reference to the drawings, but the specific configuration is not limited to these embodiments, and includes design changes and the like within a scope not departing from the gist of the present invention. It is. For example, the purpose of this embodiment is to detect illegal dumping of waste, but in addition to this, vegetation changes occur due to the progress of natural destruction and desertification. It is.
また、本実施の形態においては森林領域のみを対象とした従来技術と併せて用いることも可能であり、更に、中間処理施設や最終処分場などにおける廃棄物の不適正保管の検知に用いることも可能である。 In the present embodiment, it can be used in combination with the conventional technology only for the forest area, and can also be used to detect improper storage of waste at intermediate treatment facilities and final disposal sites. Is possible.
100…コンピュータ(不法投棄箇所検知装置)
101…制御部
102…補正処理部
103…分割処理部
104…差分生成部
105…前処理部
106…領域判定部
107…植生判定部
108…統計量判定部
100 ... Computer (Illegal dumping point detection device)
DESCRIPTION OF
Claims (7)
前記分割処理手段の処理結果を元に、前記第1の画像データ中の第1の領域と、前記第1の領域と同じ場所である前記第2の画像データ中の第2の領域との各々の領域の植生を求める植生判定手段と、
前記第1の領域と、前記第2の領域との領域の植生が乏しいか、あるいは減少している場合にのみ、前記第1の領域と、前記第2の領域との空間的特徴の変化を求める統計量判定手段と、
前記統計量判定手段の求めた空間的特徴の変化に基づいて廃棄物等が不法に投棄された可能性の高い領域を検知する領域判定手段と
を具備することを特徴とする不法投棄箇所検知装置。 Division processing means for dividing the first image data obtained by photographing the same place from the sky at different dates and the second image data into homogeneous regions, and dividing both image data in the same manner;
Each of the first area in the first image data and the second area in the second image data at the same location as the first area based on the processing result of the division processing means A vegetation judging means for obtaining vegetation in the area,
Only when the vegetation of the region between the first region and the second region is poor or decreased, changes in spatial characteristics between the first region and the second region are changed. Statistic determination means to be obtained;
An illegal dumping location detection device comprising: an area determination unit that detects an area where waste or the like is likely to be illegally dumped based on a change in spatial characteristics obtained by the statistic determination unit .
前記分割結果を元に、前記第1の画像データ中の第1の領域と、前記第1の領域と同じ場所である前記第2の画像データ中の第2の領域との各々の領域の植生を求め、
前記第1の領域と、前記第2の領域との領域の植生が乏しいか、あるいは減少している場合にのみ、前記第1の領域と、前記第2の領域との空間的特徴の変化を求め、
前記求めた空間的特徴の変化に基づいて廃棄物等の不法投棄された可能性の高い領域を検知する
ことを特徴とする不法投棄箇所検知方法。 The first image data taken from the sky at the same place at different dates and the second image data are divided into homogeneous regions, and both image data are divided in the same manner,
Based on the division result, vegetation of each region of the first region in the first image data and the second region in the second image data at the same location as the first region Seeking
Only when the vegetation of the region between the first region and the second region is poor or decreased, changes in spatial characteristics between the first region and the second region are changed. Seeking
An illegal dumping point detection method, comprising: detecting an area where there is a high possibility of illegal dumping of waste or the like based on the obtained spatial characteristic change.
同じ場所を異なる日時に上空から撮影した第1の画像データと、第2の画像データとを同質の領域に、かつ、両方の画像データを同じように分割する処理と、
前記分割結果を元に、前記第1の画像データ中の第1の領域と、前記第1の領域と同じ場所である前記第2の画像データ中の第2の領域との各々の領域の植生を求める処理と、
前記第1の領域と、前記第2の領域との領域の植生が乏しいか、あるいは減少している場合にのみ、前記第1の領域と、前記第2の領域との空間的特徴の変化を求める処理と、
前記求めた空間的特徴の変化に基づいて廃棄物等の不法投棄された可能性の高い領域を検知する処理と
を実行させるためのプログラム。 In the computer of the illegal dumping spot detection device,
A process of dividing the first image data obtained by photographing the same place from the sky at different dates and the second image data into homogeneous regions and dividing both image data in the same manner;
Based on the division result, vegetation of each region of the first region in the first image data and the second region in the second image data at the same location as the first region Processing for
Only when the vegetation of the region between the first region and the second region is poor or decreased, changes in spatial characteristics between the first region and the second region are changed. The required processing,
And a process for detecting a region that is highly likely to be illegally dumped, such as waste, based on the obtained change in spatial characteristics.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004129805A JP4512778B2 (en) | 2004-04-26 | 2004-04-26 | Illegal dumping point detection device, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004129805A JP4512778B2 (en) | 2004-04-26 | 2004-04-26 | Illegal dumping point detection device, method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005310052A true JP2005310052A (en) | 2005-11-04 |
JP4512778B2 JP4512778B2 (en) | 2010-07-28 |
Family
ID=35438715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004129805A Expired - Fee Related JP4512778B2 (en) | 2004-04-26 | 2004-04-26 | Illegal dumping point detection device, method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4512778B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008107941A (en) * | 2006-10-24 | 2008-05-08 | Mitsubishi Electric Corp | Monitoring apparatus |
JP2009002914A (en) * | 2007-06-25 | 2009-01-08 | Nippon Telegr & Teleph Corp <Ntt> | Facility disaster monitoring device and facility disaster monitoring method |
JP2009115498A (en) * | 2007-11-02 | 2009-05-28 | Nec Corp | System for hyper-spectrum image analysis, its method, and its program |
JP2015023858A (en) * | 2013-06-20 | 2015-02-05 | 株式会社パスコ | Forest phase analyzer, forest phase analysis method and program |
JP2015026369A (en) * | 2013-06-20 | 2015-02-05 | 株式会社パスコ | Forest physiognomy analyzing device, forest physiognomy analysis method, and program |
JP2015023857A (en) * | 2013-06-20 | 2015-02-05 | 株式会社パスコ | Forest phase analyzer, forest phase analysis method and program |
JP2015148939A (en) * | 2014-02-06 | 2015-08-20 | 三菱電機株式会社 | Image positioning device and image positioning method |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS617979A (en) * | 1984-06-22 | 1986-01-14 | Hitachi Ltd | High-accuracy correction processing system of satellite image |
JPS63239566A (en) * | 1987-03-27 | 1988-10-05 | Hitachi Ltd | Method and device for evaluating classification of image data |
JPH0341348A (en) * | 1989-07-07 | 1991-02-21 | Ishikawajima Harima Heavy Ind Co Ltd | Formation measuring method and measurement control method using same |
JPH10149424A (en) * | 1996-11-19 | 1998-06-02 | Mitsubishi Electric Corp | Topography generation device |
JPH11283009A (en) * | 1998-03-30 | 1999-10-15 | Hitachi Ltd | System for processing satellite picture |
JPH11296654A (en) * | 1998-04-08 | 1999-10-29 | Mitsubishi Electric Corp | Image monitoring device and image monitoring method |
JP2001143054A (en) * | 1999-11-16 | 2001-05-25 | Hitachi Ltd | Satellite image-processing method |
JP2002041633A (en) * | 2000-07-24 | 2002-02-08 | Nippon Telegr & Teleph Corp <Ntt> | System for monitoring illegal waste dumping |
JP2002117402A (en) * | 2000-10-11 | 2002-04-19 | Orisu:Kk | Image processing method and device thereof |
JP2002334386A (en) * | 2001-05-08 | 2002-11-22 | Seiwa Electric Mfg Co Ltd | Object detection system and image processing method |
JP2003132443A (en) * | 2001-10-19 | 2003-05-09 | Teruo Osada | Business model for certifying illegal dumper by consistent intrusion automatic monitoring system and task maintenance |
JP2003279415A (en) * | 2002-03-20 | 2003-10-02 | Oyo Corp | Remote examination method for types and distribution of wastes |
JP2003288582A (en) * | 2002-03-28 | 2003-10-10 | Nippon Telegr & Teleph Corp <Ntt> | Method, apparatus, and program for urban area extraction, and recording medium for the program |
JP2005056102A (en) * | 2003-08-04 | 2005-03-03 | Nippon Telegr & Teleph Corp <Ntt> | Environment monitoring system |
JP2005157561A (en) * | 2003-11-21 | 2005-06-16 | Chubu Electric Power Co Inc | Image correcting method and device |
JP2005199154A (en) * | 2004-01-14 | 2005-07-28 | Oyo Corp | Management and monitoring method for waste disposal site |
JP2005276004A (en) * | 2004-03-26 | 2005-10-06 | Hitachi Ltd | Image information processing system |
JP2005283476A (en) * | 2004-03-30 | 2005-10-13 | Oyo Corp | Illegal dumping place detection system |
JP2005310053A (en) * | 2004-04-26 | 2005-11-04 | Ntt Data Corp | Illegal dumping spot detection device, method and program |
-
2004
- 2004-04-26 JP JP2004129805A patent/JP4512778B2/en not_active Expired - Fee Related
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS617979A (en) * | 1984-06-22 | 1986-01-14 | Hitachi Ltd | High-accuracy correction processing system of satellite image |
JPS63239566A (en) * | 1987-03-27 | 1988-10-05 | Hitachi Ltd | Method and device for evaluating classification of image data |
JPH0341348A (en) * | 1989-07-07 | 1991-02-21 | Ishikawajima Harima Heavy Ind Co Ltd | Formation measuring method and measurement control method using same |
JPH10149424A (en) * | 1996-11-19 | 1998-06-02 | Mitsubishi Electric Corp | Topography generation device |
JPH11283009A (en) * | 1998-03-30 | 1999-10-15 | Hitachi Ltd | System for processing satellite picture |
JPH11296654A (en) * | 1998-04-08 | 1999-10-29 | Mitsubishi Electric Corp | Image monitoring device and image monitoring method |
JP2001143054A (en) * | 1999-11-16 | 2001-05-25 | Hitachi Ltd | Satellite image-processing method |
JP2002041633A (en) * | 2000-07-24 | 2002-02-08 | Nippon Telegr & Teleph Corp <Ntt> | System for monitoring illegal waste dumping |
JP2002117402A (en) * | 2000-10-11 | 2002-04-19 | Orisu:Kk | Image processing method and device thereof |
JP2002334386A (en) * | 2001-05-08 | 2002-11-22 | Seiwa Electric Mfg Co Ltd | Object detection system and image processing method |
JP2003132443A (en) * | 2001-10-19 | 2003-05-09 | Teruo Osada | Business model for certifying illegal dumper by consistent intrusion automatic monitoring system and task maintenance |
JP2003279415A (en) * | 2002-03-20 | 2003-10-02 | Oyo Corp | Remote examination method for types and distribution of wastes |
JP2003288582A (en) * | 2002-03-28 | 2003-10-10 | Nippon Telegr & Teleph Corp <Ntt> | Method, apparatus, and program for urban area extraction, and recording medium for the program |
JP2005056102A (en) * | 2003-08-04 | 2005-03-03 | Nippon Telegr & Teleph Corp <Ntt> | Environment monitoring system |
JP2005157561A (en) * | 2003-11-21 | 2005-06-16 | Chubu Electric Power Co Inc | Image correcting method and device |
JP2005199154A (en) * | 2004-01-14 | 2005-07-28 | Oyo Corp | Management and monitoring method for waste disposal site |
JP2005276004A (en) * | 2004-03-26 | 2005-10-06 | Hitachi Ltd | Image information processing system |
JP2005283476A (en) * | 2004-03-30 | 2005-10-13 | Oyo Corp | Illegal dumping place detection system |
JP2005310053A (en) * | 2004-04-26 | 2005-11-04 | Ntt Data Corp | Illegal dumping spot detection device, method and program |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008107941A (en) * | 2006-10-24 | 2008-05-08 | Mitsubishi Electric Corp | Monitoring apparatus |
JP2009002914A (en) * | 2007-06-25 | 2009-01-08 | Nippon Telegr & Teleph Corp <Ntt> | Facility disaster monitoring device and facility disaster monitoring method |
JP2009115498A (en) * | 2007-11-02 | 2009-05-28 | Nec Corp | System for hyper-spectrum image analysis, its method, and its program |
JP2015023858A (en) * | 2013-06-20 | 2015-02-05 | 株式会社パスコ | Forest phase analyzer, forest phase analysis method and program |
JP2015026369A (en) * | 2013-06-20 | 2015-02-05 | 株式会社パスコ | Forest physiognomy analyzing device, forest physiognomy analysis method, and program |
JP2015023857A (en) * | 2013-06-20 | 2015-02-05 | 株式会社パスコ | Forest phase analyzer, forest phase analysis method and program |
JP2015148939A (en) * | 2014-02-06 | 2015-08-20 | 三菱電機株式会社 | Image positioning device and image positioning method |
Also Published As
Publication number | Publication date |
---|---|
JP4512778B2 (en) | 2010-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109978755B (en) | Panoramic image synthesis method, device, equipment and storage medium | |
CN110570454B (en) | Method and device for detecting foreign matter invasion | |
WO2019150872A1 (en) | Image processing device and image processing method | |
US11107246B2 (en) | Method and device for capturing target object and video monitoring device | |
KR101558467B1 (en) | System for revising coordinate in the numerical map according to gps receiver | |
JP2017534046A (en) | Building height calculation method, apparatus and storage medium | |
US8134614B2 (en) | Image processing apparatus for detecting an image using object recognition | |
CN108320270B (en) | Image correction method, device and storage medium | |
CN111815517B (en) | Self-adaptive panoramic stitching method based on snapshot pictures of dome camera | |
JP4512778B2 (en) | Illegal dumping point detection device, method, and program | |
JPWO2019009214A1 (en) | Image processing apparatus, image processing method, and program for detecting deformation from image | |
JP2005215760A (en) | Method, system and program for extracting figure candidate region in image, and method, system and program for deciding top/bottom of figure image | |
JP4452793B2 (en) | Illegal dumping point detection device, method, and program | |
CN111050027B (en) | Lens distortion compensation method, device, equipment and storage medium | |
JP2006041939A (en) | Monitor device and monitor program | |
JP4030318B2 (en) | Map data update device and map data update method | |
JP6716769B1 (en) | Image inspection method, image inspection apparatus, and image inspection program | |
CN115187989A (en) | Image processing method and device, electronic equipment, scanning pen and storage medium | |
US20190019059A1 (en) | Method and apparatus for identifying target | |
CN110060271B (en) | Fisheye image analysis method, electronic device and storage medium | |
CN116188348A (en) | Crack detection method, device and equipment | |
JP2012133587A (en) | Image analysis device, image analysis method and program | |
JP3362191B2 (en) | Method and apparatus for indicating coordinates of circular inspection target area and inspection apparatus using the apparatus | |
JP2011061651A (en) | Suspicious object detection system | |
CN113610881B (en) | Target object determination method and device, storage medium and electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061027 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20061027 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100330 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100407 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140521 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |