JP2018097506A - Satellite image processing system and method - Google Patents
Satellite image processing system and method Download PDFInfo
- Publication number
- JP2018097506A JP2018097506A JP2016240201A JP2016240201A JP2018097506A JP 2018097506 A JP2018097506 A JP 2018097506A JP 2016240201 A JP2016240201 A JP 2016240201A JP 2016240201 A JP2016240201 A JP 2016240201A JP 2018097506 A JP2018097506 A JP 2018097506A
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- satellite
- block image
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は衛星画像処理システム及び方法に関する。 The present invention relates to a satellite image processing system and method.
衛星画像からの変化抽出技術は、同一地域において地上の被覆状況の変化を観測したり、従来なかった地物が新たに出現したことを広域にわたって観測したりすることを可能とする。膨大な衛星画像から意味のある情報を手に入れるには画像処理が欠かせない。 The change extraction technique from the satellite image makes it possible to observe a change in the ground coverage in the same region, or to observe the appearance of a new feature that has not been heretofore over a wide area. Image processing is indispensable to obtain meaningful information from a huge amount of satellite images.
衛星画像の前処理として、クラスタリングを施して近似した領域ごとに分割する手法が検討されてきた。特許文献1では衛星画像をブロック単位で区切り、テクスチャによってクラス分けし、隣接ブロックと類似クラスをもつブロックを連結させるクラスタリングによって画像内分割する手法を開示している。 As a pre-processing of the satellite image, a method of dividing into approximate regions by performing clustering has been studied. Japanese Patent Application Laid-Open No. 2004-228561 discloses a technique of dividing a satellite image into blocks, classifying the images according to texture, and dividing the image by clustering in which adjacent blocks and blocks having similar classes are connected.
発明者らは複数の衛星画像から変化を抽出する精度を向上させるため、深層学習の適用を検討した。画像認識分野において、教師付き学習を利用した深層学習、特に畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)による画像認識は大きな成果を挙げている。衛星画像から、特定の目標物を高精度に抽出したい、あるいは同一地物の季節変化による輝度値の変化を変化としては認識したくない場合などに、深層学習を利用した画像認識手法が効果的と考えられる。 The inventors examined the application of deep learning to improve the accuracy of extracting changes from multiple satellite images. In the field of image recognition, deep learning using supervised learning, particularly image recognition using a convolutional neural network (CNN), has achieved great results. An image recognition method using deep learning is effective when you want to extract a specific target from satellite images with high precision or when you do not want to recognize changes in brightness due to seasonal changes in the same feature as changes. it is conceivable that.
CNNではブロックに区切られた画像から目標物体を認識するため、最初に衛星画像を適切なブロック画像に区切る処理が必要になってくる。衛星画像は非常に巨大な画像であるから、画像全体を網羅的にブロック区切りにしてCNNで認識をするのは効率が悪い。さらに、目標物体のサイズが既知ではない場合、サイズを変えたブロックごとに探索を繰り返す必要もありさらに効率が悪化する。 In CNN, in order to recognize a target object from an image divided into blocks, it is necessary to first divide a satellite image into an appropriate block image. Since the satellite image is a very large image, it is inefficient to recognize the entire image comprehensively by dividing the block into CNNs. Further, when the size of the target object is not known, it is necessary to repeat the search for each block whose size has been changed, and the efficiency further deteriorates.
このため、衛星画像からの変化抽出を抽出するために深層学習を適用するのは、まず変化が生じていそうなブロック画像を適切に抽出することが前提となる。衛星画像から被覆分類や物体認識をする場合には、特許文献1のように領域ごとに分割することは有効である。しかしながら、このようにして分割した領域が、画像比較(差分抽出)に適したブロックとは限らない。例えば、テクスチャが複雑かつ大きなブロックは画像合わせが困難であり、テクスチャが一様なブロックはわずかな変化を変化として誤抽出する可能性が高いといった問題があるためである。したがって、衛星画像からの変化抽出を適切に行うためには、衛星画像をその画像の内容に合わせて適切な分割を行う必要がある。 For this reason, applying deep learning to extract change extraction from a satellite image is based on the premise that a block image that is likely to change is first extracted appropriately. When covering classification or object recognition is performed from a satellite image, it is effective to divide into regions as in Patent Document 1. However, the area divided in this way is not necessarily a block suitable for image comparison (difference extraction). This is because, for example, it is difficult to match images of blocks having a complicated texture and large, and there is a high possibility that a block having a uniform texture is erroneously extracted as a small change. Therefore, in order to appropriately extract changes from the satellite image, it is necessary to appropriately divide the satellite image according to the contents of the image.
プロセッサと、メモリと、メモリに読み込まれ、プロセッサにより実行される変化抽出プログラムとを有し、変化抽出プログラムは、差分画像生成部と差分画像生成部で生成する差分画像を得るために比較する画像を得るための画像分割部とを有し、画像分割部は、第1解像度の衛星画像を分割し所定サイズの第1ブロック画像群を得る第1ブロック画像群生成処理部と、第1ブロック画像群に属する第1ブロック画像のそれぞれを、テクスチャ、植生指数、標高のうちいずれか一つまたは複数に基づきクラス分けするクラス分け処理部と、第1ブロック画像のクラスに基づき、第1ブロック画像を分割し、あるいは第1ブロック画像と隣接する第1ブロック画像に結合することにより第2ブロック画像群を得る第2ブロック画像群生成処理部とを有し、差分画像生成部において、第2ブロック画像群生成処理部で生成した第2ブロック画像に相当する領域に対して複数の衛星画像の差分画像を生成する。 A processor, a memory, and a change extraction program that is read into the memory and executed by the processor. The change extraction program is an image to be compared to obtain a difference image generated by the difference image generation unit and the difference image generation unit. An image dividing unit for obtaining a first block image group generation processing unit for dividing a satellite image of a first resolution to obtain a first block image group of a predetermined size, and a first block image A classification processing unit that classifies each of the first block images belonging to the group based on one or more of texture, vegetation index, and elevation, and the first block image based on the class of the first block image Second block image group generation processing for obtaining a second block image group by dividing or combining with a first block image adjacent to the first block image Has the door, in the differential image generating unit generates a difference image of a plurality of satellite images against the corresponding region in a second block image generated by the second block image group generation processing unit.
衛星画像をその画像の内容に合わせて適切な分割を行い、差分画像の生成を行うことにより、画像認識精度を高めることができる。 Image recognition accuracy can be improved by appropriately dividing the satellite image according to the content of the image and generating a difference image.
同一地点を観測した撮影条件の異なる複数の衛星画像について、深層学習を適用して変化を抽出する手順について説明する。撮影条件とは衛星の撮影角度、撮影時期、センサ性能、解像度等である。例えば撮影角度が異なれば同じ地物であっても異なった見え方で撮影され、撮影時期が異なると衛星画像間の輝度の差となって現れる。 A procedure for extracting changes by applying deep learning to a plurality of satellite images with different imaging conditions observed at the same point will be described. The imaging conditions include the satellite imaging angle, imaging timing, sensor performance, resolution, and the like. For example, if the shooting angle is different, even the same feature is shot in different ways, and if the shooting time is different, a difference in brightness between satellite images appears.
図2は本実施例を実現するためのシステムのハードウェア構成を図6に示す。本実施例の衛星画像の変化を抽出するプログラム、及び衛星画像等の画像データ、その他画像処理に必要なデータは記憶装置412に格納されている。キーボード、マウスに代表されるユーザインタフェース416を通じて、本実施例のシステムはユーザの指示を受けつける。プロセッサ413は、ユーザの指示を受けて記憶装置412から必要なプログラム、画像データをメモリ415に読み込み、当該プログラムを実行する。なお、衛星画像は通常大規模な画像データであるため、高速な画像処理演算が必要な場合にはグラフィックプロセッサ414のメモリに画像データを転送し、その演算サポートを使用する。表示装置411は、本実施例の画像処理前後の画像を表示するディスプレイである。これらはバス417を通じて接続されている。
FIG. 2 shows a hardware configuration of a system for realizing the present embodiment. A program for extracting changes in the satellite image of this embodiment, image data such as a satellite image, and other data necessary for image processing are stored in the
なお、図2は代表的なハードウェア構成を示したにすぎず、さまざま変形が可能であることはいうまでもない。例えば、プログラムや画像データは複数の記憶装置に格納されていてもよい。あるいは、ネットワークインタフェースを備えてシステム外部の記憶装置に接続し、プログラムや画像データがシステム外部の記憶装置に格納されていてもよい。同様に、外部端末より、ネットワークを介してユーザがシステムにアクセス可能にしてもよい。 Note that FIG. 2 only shows a typical hardware configuration, and it goes without saying that various modifications are possible. For example, programs and image data may be stored in a plurality of storage devices. Alternatively, a network interface may be provided and connected to a storage device outside the system, and programs and image data may be stored in the storage device outside the system. Similarly, a user may be able to access the system from an external terminal via a network.
図3に、記憶装置412に格納されるデータとプログラムとを示す。記憶装置412には、データとして、衛星画像を格納する衛星画像データベース(DB)201、地表面の標高を示すDEM(数値標高モデル:Digital Elevation Model)データを格納するDEMデータベース202、後述するクラス分類基準を格納するクラスデータベース203、深層学習を適用して差分画像を抽出するための教師データを格納する教師データデータベース204、ニューラルネットワークの認識器の結合状態を格納する学習モデルデータベース205が格納されている。
FIG. 3 shows data and programs stored in the
また、記憶装置412には、プログラムとして、変化抽出プログラム101と自動学習プログラム102が格納されている。変化抽出プログラム101は、画像分割部111、差分画像生成部112、変化抽出部113、レポート生成部114を含む。また、自動学習プログラム102は、判定受付部121、データベース更新部122、学習モデル更新部123を含む。これらプログラムの各機能については後述する。
The
以下、図4に示す衛星画像の例を用いて、本実施例の処理フロー(図1A、図1B)を説明する。矩形状の衛星画像300は、その座標情報として対角に位置する頂点301,302の緯度・経度情報を保持している。本座標情報により、衛星画像の任意の位置の緯度・経度が特定でき、異なる衛星画像の位置合わせが可能になる。また、衛星画像300の場合、境界303を境に左側が陸域304、右側が海域305である。陸域304上には、地物として建造物306のような人工物、河川307、草原308、樹木309のような自然物が画像として含まれている。なお、図4の衛星画像300は、陸域304の一部がハッチングにより示されるマスク311によって覆われていた状態で示されている。これについては後述する。
Hereinafter, the processing flow (FIGS. 1A and 1B) of the present embodiment will be described using the example of the satellite image shown in FIG. The
図1A及び図1Bの処理フローは、図4に示した衛星画像300のような第1の衛星画像A(比較ターゲット画像)と、第1の衛星画像とは異なる撮影条件で撮影された第2の衛星画像B(比較元画像)とを比較して差分画像を抽出し、差分画像に対して深層学習を適用した画像認識を実施するものである。
The processing flow of FIGS. 1A and 1B shows a second satellite image A (comparison target image) such as the
最初に複数の衛星画像の共通領域が対象となるため、衛星画像に含まれる座標情報を用いて、比較ターゲット画像と比較元画像との共通領域の画像を切り出す。計算機での取扱いを考えると共通領域は矩形で切り出すのが望ましい。複数の衛星画像の差分画像から画像認識を実施するのは高解像度の衛星画像が必要であるが、差分を抽出するためのあたりをつける段階では、そこまでの高解像度は必要ない。そのため、計算時間を短縮するため、予め解像度を落とした衛星画像を用意しておくことが望ましい(S1a,S1b)。例えば、衛星画像の読込み時にプロセッサ413の別スレッド使用あるいはグラフィックプロセッサ414を使った並列演算により低解像度の画像を生成する。このように高解像度衛星画像11a(11b)をそのまま加工して低解像度衛星画像12a(12b)を作ってもよいし、比較ターゲット画像、比較元画像とそれぞれ同時期に撮影されたとみなしうる時期に撮影された低解像度衛星画像12a’(12b’)を参照するようにしてもよい。
First, since a common area of a plurality of satellite images is a target, an image of a common area of the comparison target image and the comparison source image is cut out using coordinate information included in the satellite image. Considering the handling by a computer, it is desirable to cut out the common area by a rectangle. In order to perform image recognition from the difference images of a plurality of satellite images, a high-resolution satellite image is necessary. However, at the stage where a difference is extracted, a high resolution up to that point is not necessary. Therefore, in order to shorten the calculation time, it is desirable to prepare a satellite image with a reduced resolution in advance (S1a, S1b). For example, a low-resolution image is generated by using another thread of the
低解像度衛星画像12a(12a’)の座標情報と低解像度衛星画像12b(12b’)の座標情報とを用いて共通領域を抽出する(S2)。例えば、共通領域として図4の衛星画像300に相当する領域が得られたとして以下の処理ステップを説明する。
A common area is extracted using the coordinate information of the low
低解像度衛星画像を所定のサイズの第1ブロック画像群に分割する(S3a,S3b)。第1ブロック画像では、海と陸との分離、山間と平地との分離ができるサイズとする。この場合広域領域で分割してよい。例えば、DEM画像を利用して山間と平地の区別がつけば十分であるとすれば、国土地理院の発行するDEM画像の粗いサイズは250m相当であるから250mの単位で区切れば十分である。DEMの解像度が細かい地域については、それに比例してサイズを細かく区切ることは可能だが、過剰分割のおそれがある。過剰分割した画像、すなわちサイズの小さすぎる画像同士を比較すると、位置合わせのための画像調整は行いやすいが、そもそも比較する2つの画像に共通して写っている領域が小さくなり、比較可能な領域が小さくなってしまうおそれがある。なお、これに対して、過少分割した画像、すなわちサイズの大きすぎる画像同士を比較すると、場所ごとに位置合わせのための補正方向が打ち消し合い、位置合わせのための画像調整量が小さくなる傾向がある。 The low resolution satellite image is divided into a first block image group of a predetermined size (S3a, S3b). In the first block image, the size is such that separation between the sea and land and separation between mountains and flat ground can be performed. In this case, it may be divided in a wide area. For example, if it is sufficient to distinguish between a mountain and a flat land using a DEM image, the coarse size of the DEM image issued by the Geospatial Information Authority of Japan is equivalent to 250 m, so it is sufficient to divide it in units of 250 m. . For areas where the resolution of the DEM is fine, the size can be subdivided in proportion, but there is a risk of over-division. When comparing images that are over-divided, that is, images that are too small in size, it is easy to adjust the image for alignment, but the area that appears in common in the two images to be compared is small, and it can be compared. May become smaller. On the other hand, when underdivided images, that is, images that are too large, are compared with each other, the correction directions for alignment cancel each other and the image adjustment amount for alignment tends to be small. is there.
図4では第1ブロック画像312は点線の正方形で表示される。共通領域を所定のサイズに区切ることで第1ブロック画像群(312a,b,c・・・が得られる)。さらに、共通領域を互いの重なりなく第1ブロック画像に分割すると、画像端で比較できない領域が出るおそれがある。例えば、第1ブロック画像312aの画像端にかかった小島310があるような場合、第1ブロック画像312aにとっても、第1ブロック画像312dにとっても占める面積が小さく、その情報が失われてしまう可能性がある。このため、第1ブロック画像同士の間を補間するために、第1ブロック画像と同サイズかつ、座標をオフセットさせた矩形領域の画像313aを第1ブロック画像として追加する。なお、別の方法として、第1のブロック画像に分割する際に、隣接する第1のブロック画像同士に一定幅の重複領域をもたせるようにしてもよい。
In FIG. 4, the first block image 312 is displayed as a dotted square. A first block image group (312a, b, c... Is obtained) by dividing the common area into a predetermined size. Furthermore, if the common area is divided into the first block images without overlapping each other, there is a possibility that an area that cannot be compared at the end of the image appears. For example, when there is a
さらに、処理を高速するため、共通領域のうち、ユーザが検出したい対象が存在しないことがあらかじめ分かっている領域、あるいは興味対象領域314(ROI:Region of Interest)外の第1ブロック画像は以降の処理から除去するとよい。ユーザが検出したい対象が存在しないことがあらかじめ分かっている領域は、マスク311によって除外でよい。マスク領域がベクトル画像であれば、第1ブロック画像の四隅の座標がマスクのポリゴン形状の内側に含まれているか判定して、除外する。あるいはマスク領域がラスタ画像であれば、ラスタ乗算によりマスク領域にあたる衛星画像の画素データを無効化し、全ての画素データが無効化された第1ブロック画像は以降の処理から除外する。逆に、ROI指定の場合は逆に、ROI領域314(一点鎖線の円領域)にあたる画素が含まれていない第1ブロック画像は以降の処理から除外する。
Furthermore, in order to speed up the processing, the first block image outside the region of interest 314 (ROI: Region of Interest) that is known in advance that the target that the user wants to detect does not exist in the common region is It can be removed from the process. An area where it is known in advance that there is no target to be detected by the user may be excluded by the
このようにして得られた第1ブロック画像についてクラス分けする(S4a,S4b)。第1ブロック画像のクラス分けはクラスデータベース203に格納されるクラス定義テーブル500に従って行う。クラス定義テーブル500では、画像の一様性/複雑性を表すテクスチャ501、植生の分布状況や活性度を示す指標である植生指数(NVDI:Normalized Difference Vegetation Index)502、標高や土地利用データなどの地図地誌情報503(図では標高を指標として用いた例を示す)に基づいて複数のクラス505が定義され、クラスごとに異なる第2ブロック画像の分割サイズが定義されている。
The first block images obtained in this way are classified (S4a, S4b). The first block image is classified according to the class definition table 500 stored in the
クラス分けの狙いは、陸地と海、あるいは陸地の中でも土地利用が近似しているものに分類することにある。例えば、海洋は陸地や船が写らない限り、輝度分布が小さく一様であるからテクスチャ計算により推測可能である。テクスチャは例えば、画像の輝度ヒストグラムから算出される平均、分散、モーメントなどの統計量を指標として用いることができ、クラスごとの一様性または複雑性を表すため、当該指標の範囲をクラスごとに定義しておく。山間部はNVDIが大きく、DEMデータから標高が高い部分を抽出することで推測可能である。また、人工物が集まる都市部は土地利用データを参照するようにしてもよい。このため、クラスに応じて定義される第2ブロック画像の分割サイズは、テクスチャの一様性、植生指数、標高などの地図地誌情報に応じて定義する。一般に、標高の高いクラスは標高の低いクラスよりも小さく分割すべきであり、植生指数の高いクラスは植生指数の低いクラスよりも小さく分割すべきであり、一様性の低いクラスは一様性の高いクラスよりも小さく分割すべきである。前者の方が、より小さく分割しても過剰分割となる可能性が低く、その後の差分画像の取得に有効である。なお、クラス分けは例示した指標の1つまたは複数に基づいて行えばよい。例えば、興味対象領域が平地や海に限定されているならば標高をクラス分けの指標として使わなくてもよい。逆に、例示以外の指標を用いてクラスを定義することも可能である。 The aim of classification is to classify land and sea, or land that is close to land use. For example, the ocean can be estimated by texture calculation because the luminance distribution is small and uniform unless the land or ship is reflected. For example, a statistic such as an average, variance, or moment calculated from the luminance histogram of an image can be used as an index, and the range of the index for each class is expressed in order to represent uniformity or complexity for each class. Define it. The mountainous area has a large NVDI, and can be estimated by extracting a high altitude portion from the DEM data. Moreover, you may make it refer to land use data for the urban area where artifacts gather. For this reason, the division size of the second block image defined according to the class is defined according to map topography information such as texture uniformity, vegetation index, and altitude. In general, classes with higher elevation should be divided smaller than classes with lower elevation, classes with higher vegetation index should be divided smaller than classes with lower vegetation index, and classes with lower uniformity are more uniform Should be divided smaller than the higher class. The former is less likely to be over-divided even if it is divided smaller, and is effective in obtaining a subsequent difference image. The classification may be performed based on one or more of the exemplified indexes. For example, if the region of interest is limited to flat land or the sea, the altitude may not be used as an index for class classification. Conversely, a class can be defined using an index other than the example.
次に第1ブロック画像のクラスに基づき、第2ブロック画像を生成する(S5a,S5b)。第2ブロック画像は隣接する第1ブロック画像同士を結合、または第1ブロック画像を分割することによって生成する。クラス定義テーブル500のクラス1のように、テクスチャの一様性が極めて高い、すなわち均一性の高い画像の場合、わずかな値の違いを変化として抽出することにより、誤抽出の確率が上がる。そのため、海域305しか含まない第1ブロック312bは例えば、隣接するブロック312aと結合する。第1ブロック312aには小島310の画像が含まれているので、海上のわずかな輝度変化をとらえて抽出することがなくなる。一方、クラス1以外の第1ブロック画像については、クラス定義テーブル500に定義された分割サイズ506によって分割する。例えば、山間部などは第2ブロック画像を小さくすることで衛星画像の位置合わせが容易になる。例えば、図4において、第1ブロック画像312a及び312bを結合して得られる第2ブロック画像321、第1ブロック312eを分割して得られる第2ブロック画像322の双方が含まれる。これにより、異なる2つの画像を比較する際に生じる過剰分割、過少分割の影響を抑制することができる。
Next, a second block image is generated based on the class of the first block image (S5a, S5b). The second block image is generated by combining adjacent first block images or dividing the first block image. As in class 1 of the class definition table 500, in the case of an image with extremely high uniformity of texture, that is, an image with high uniformity, the probability of erroneous extraction increases by extracting a slight difference in value as a change. Therefore, the
得られた第2ブロック画像群の座標情報を用いて、高解像度画像から相当する画像領域を切り出す(S6a,S6b)。切り出された画像を「高解像度第2ブロック画像」と称する。以上の処理が、変化抽出プログラム101の画像分割部111の機能を実行することで実現される。すなわち、図1Aの処理フローで説明した処理フローの各ステップは変化抽出プログラム101のプログラム部分として実現されている。以降についても同様である。
Using the obtained coordinate information of the second block image group, a corresponding image region is cut out from the high resolution image (S6a, S6b). The cut out image is referred to as a “high-resolution second block image”. The above processing is realized by executing the function of the
図1Bに図1A以降の処理フローを示す。まず、同じ座標情報を有する高解像度第2ブロック画像同士の位置合わせを実施する。衛星画像は完全にオルソ化されていないと、緯度経度などの位置情報だけで位置合わせすることは完全にはできない。同じ位置であっても撮影する角度が異なっていれば、写り方も異なるためである。そのため、差分画像を得る前に、画像処理による位置合わせが必要である。このために、高解像度第2ブロック画像のそれぞれについて特徴点を抽出する(S7a,S7b)。抽出した特徴点を用いて、画像マッチングにより、高解像度第2ブロック画像同士の位置合わせを行う(S8)。位置合わせを行った高解像度第2ブロック画像同士について、画素ごとに輝度の差分をとることにより、差分画像14を生成する。
FIG. 1B shows a processing flow after FIG. 1A. First, alignment between the high-resolution second block images having the same coordinate information is performed. If the satellite image is not completely orthorectified, it is not possible to perfectly align only with position information such as latitude and longitude. This is because, even at the same position, if the shooting angle is different, the way the image is taken is also different. Therefore, before obtaining the difference image, alignment by image processing is necessary. For this purpose, feature points are extracted for each of the high-resolution second block images (S7a, S7b). Using the extracted feature points, the high-resolution second block images are aligned by image matching (S8). The
衛星画像の差分画像を生成する際に、そのまま差分を取ると、撮影条件の違いによる画像間の全体的な輝度差に影響を受ける可能性があるので、周辺画素との輝度勾配の画像を生成してから差分抽出するとよい。差分画像をより領域抽出しやすい形に成形するため、閾値決定を自動化し2値化することで領域をマスクする方法が考えられる。第1ブロック画像に対してクラス分けした情報に基づいて、2値化の閾値自動決定アルゴリズムを変更するとよい。2値化した画像は膨張収縮の処理を繰り返してノイズ除去する。クラス定義テーブル500の差分抽出アルゴリズム情報507として、クラスごとに差分画像を抽出するためのアルゴリズムやパラメータを定義しておき、これに従って差分画像の生成を行う。
When generating a difference image of a satellite image, if the difference is taken as it is, it may be affected by the overall brightness difference between images due to differences in shooting conditions, so an image of a brightness gradient with surrounding pixels is generated. Then, it is good to extract the difference. In order to form the difference image into a shape that makes it easier to extract the region, a method of masking the region by automating threshold determination and binarizing can be considered. The binarization threshold automatic decision algorithm may be changed based on information classified into the first block image. The binarized image is subjected to expansion and contraction processing to remove noise. As the difference
以上の処理が、変化抽出プログラム101の差分画像生成部112の機能を実行することで実現される。
The above processing is realized by executing the function of the difference
次に高解像度第2ブロック画像A13aと高解像度第2ブロック画像B13bとの差分画像14から、輝度変化の大きい領域を抽出し、当該領域の周辺を第3ブロック画像としてその座標情報を取得する(S10)。差分画像14における輝度変化の大きい画素集合に対し、当該画素集合を中心に、当該画素集合を含む矩形を選択し、この領域を元の衛星画像から切り出して第3ブロック画像15a,15bを生成する。矩形の大きさは、外接矩形であっても良いし、抽出したい目標物にターゲットを絞ってサイズを決めてもよい。画素集合のサイズが小さすぎる場合には、隣接する画素集合とセットで取り扱ってもよい。
Next, an area with a large luminance change is extracted from the
第3ブロック画像に対してCNNを適用した画像認識を行う(S12a,S12b)。具体的には、教師データデータベース204に格納されている教師データに対応する目標物体が存在するかどうか確認し、目標物体が存在すると判定した場合には、判定した目標物体の形状を第3ブロック画像から抽出するとともに、差分画像で得られた領域を目標物体の形状に更新する。
Image recognition using CNN is performed on the third block image (S12a, S12b). Specifically, it is confirmed whether or not a target object corresponding to the teacher data stored in the
画像認識S12の結果に基づき、ユーザの探索している変化が当該領域で生じたかどうかを判定する(S13)。具体的には、いずれか一方の第3ブロック画像から目標物体が存在すると判定されれば、比較元画像が撮影されたときから比較ターゲット画像が撮影されたときまでの間に目標物体が現れる、または失われる、という変化があったことが判定できる。あるいは、いずれの第3ブロック画像からも目標物体の存在が判定できなければ、ユーザが探索している変化は当該領域では生じていないと判定できる。 Based on the result of the image recognition S12, it is determined whether or not the change that the user is searching for has occurred in the region (S13). Specifically, if it is determined from any one of the third block images that the target object exists, the target object appears between when the comparison source image is captured and when the comparison target image is captured, Alternatively, it can be determined that there has been a change of being lost. Alternatively, if the presence of the target object cannot be determined from any third block image, it can be determined that the change being searched for by the user has not occurred in the region.
以上の処理が、変化抽出プログラム101の変化抽出部113の機能を実行することで実現される。なお、画像認識の方法はCNNのような深層学習を想定しているが、第3ブロック画像に対してパタンマッチングなどそれ以外の認識手法を利用することも可能である。
The above processing is realized by executing the function of the
変化抽出部113で抽出した変化は、表示装置411に表示する等の手段によりユーザに提示される(S14)。これによりユーザは変化抽出部113で抽出された変化が本当にユーザが探索している変化であるかどうかを判定することができる。以上の処理が、変化抽出プログラム101のレポート生成部114の機能を実行することで実現される。
The change extracted by the
変化抽出部113における画像認識に深層学習を利用している場合、教師データが増えるにつれて抽出精度が向上することが期待できる。このため、自動学習プログラム102を変化抽出プログラム101とは別プロセスで稼働し、教師データデータベース204や学習モデルデータべース205を更新させる。この処理フローを図6に示す。
When deep learning is used for image recognition in the
変化抽出部113で抽出された変化が表示装置411等に表示されると、ユーザは表示された変化が本当に探索している変化であるかどうかを判定し、その判定結果をユーザインタフェース416を通じて入力する。ユーザからのフィードバックを受け付け(S61)、教師データデータベース204を更新する(S62)。例えば、抽出したい変化が目標物体Xである場合、正しく目標物体Xの変化が抽出されていると判定された場合には、抽出された第3ブロック画像を「目標物体Xの画像」の学習データとして教師データデータベース204に登録する。逆に、目標物体Xに対して、Yの変化が抽出されていると判定された場合には、抽出された第3ブロック画像を「目標物体Xでない画像」の学習データとして教師データデータベース204に登録する。さらに、所定回数以上の教師データベースの更新が行われ、教師データデータベース204に一定量の新規学習データがたまるたびに、学習モデルデータベース205に格納されている認識器のネットワーク結合(学習モデル)を更新する(S63)。
When the change extracted by the
加えて、ユーザからのフィードバックを、画像の切り出し方や差分画像14の生成方法を調整することで変化抽出の精度の改善が期待できる。例えば、クラスデータベース203に格納されているクラスごとの第2ブロック画像の分割サイズや、差分抽出の判断基準を調整することによって変化抽出の精度は改善できる。差分抽出の判定基準とは、差分抽出に使用するアルゴリズムや、差分抽出後の2値化アルゴリズムなどである。例えば、フィードバックの結果に応じてクラス定義テーブル500の差分抽出アルゴリズム情報507の設定値を変更する。例えば、フィードバック回数が一定値たまったときに、間違い確率が一定値を超えているクラスの設定値の更新を行う。
In addition, the feedback extraction from the user can be expected to improve the accuracy of change extraction by adjusting the method of cutting out the image and the generation method of the
例えば、各クラスはテクスチャ、植生指数(NVDI)、標高(DEM)といった指標で定義されるため、当該クラスと隣接するクラスとはスペクトルパタンが比較的近い。このため、隣接するクラスの間違い確率が小さければ、当該クラスの設定値を隣接クラスの設定値に近づけるとよい。隣接クラスの設定に近づける更新の前後で、変化抽出の精度が改善しないとき、第2ブロック画像の分割サイズを変更する。例えば、分割サイズを一定のステップをもって拡大・縮小させる。見落とし(検出できなかったが、ユーザのフィードバックでは変化有り)が多い場合には、画像内の輝度分散が大きすぎる傾向があるから、画像サイズを小さくすることが望ましい。一方、誤検出(検出したが、ユーザのフィードバックでは変化なし)が多い場合は、画像内の輝度分散の値が小さすぎる可能性があるから、画像サイズを大きくすることが望ましい。差分抽出のアルゴリズムは基本的には、ブロック画像内の輝度分布に応じて適応的に変える必要があるから、画像の分割サイズが変わったときに、輝度分布が変化したことを確認して、都度、輝度分布に適切なアルゴリズムになるよう、再設定するとよい。なお、図6のステップS61,S62,S63はそれぞれ自動学習プログラム102の判定受付部121、データベース更新部122、学習モデル更新部123の機能を実行することで実現される。
For example, since each class is defined by indices such as texture, vegetation index (NVDI), and altitude (DEM), the spectrum pattern is relatively close to the class adjacent to the class. For this reason, if the error probability of the adjacent class is small, the set value of the class may be brought close to the set value of the adjacent class. When the accuracy of change extraction is not improved before and after the update to approach the setting of the adjacent class, the division size of the second block image is changed. For example, the division size is enlarged / reduced in a certain step. If there are many oversights (not detected but changed due to user feedback), the luminance dispersion in the image tends to be too large, so it is desirable to reduce the image size. On the other hand, if there are many false detections (detected but not changed by user feedback), the value of the luminance dispersion in the image may be too small, so it is desirable to increase the image size. Since the difference extraction algorithm basically needs to be adaptively changed according to the luminance distribution in the block image, confirm that the luminance distribution has changed when the image division size changes. It is better to reset it so that the algorithm is appropriate for the luminance distribution. Note that steps S61, S62, and S63 in FIG. 6 are realized by executing the functions of the
以上、実施例を詳細に説明したが、さまざまな変形が可能である。例えば、衛星画像が大量に準備できる状況であれば、同一地点を撮影した衛星画像の画素を平均化した画像を用いることで、短期的な変化領域を除外した背景画像を生成することができる。背景画像を比較元画像として、比較ターゲット画像と比較することで、目的物体の変化(出現、消失)をより容易に抽出可能である。この場合、差分画像14を抽出するにあたって、画素の位置合わせが行われているはずであるから、位置合わせを行った第2ブロック画像に基づき背景画像の更新を行うことが望ましい。
Although the embodiments have been described in detail above, various modifications are possible. For example, in a situation where a large number of satellite images can be prepared, a background image excluding a short-term change region can be generated by using an image obtained by averaging the pixels of the satellite image captured at the same point. By comparing the background image as a comparison source image with the comparison target image, the change (appearance or disappearance) of the target object can be extracted more easily. In this case, when extracting the
101:変化抽出プログラム、102:自動学習プログラム、111:画像分割部、112:差分画像生成部、113:変化抽出部、114:レポート生成部、121:判定受付部、122:データベース更新部、123:学習モデル更新部、201:衛星画像データベース、202:DEMデータベース、203:クラスデータベース、204:教師データデータベース、205:学習モデルデータベース、411:表示装置、412:記憶装置、413:プロセッサ、414:グラフィックプロセッサ、415:メモリ、416:ユーザインタフェース、417:バス。 101: change extraction program, 102: automatic learning program, 111: image division unit, 112: difference image generation unit, 113: change extraction unit, 114: report generation unit, 121: determination reception unit, 122: database update unit, 123 : Learning model update unit, 201: satellite image database, 202: DEM database, 203: class database, 204: teacher data database, 205: learning model database, 411: display device, 412: storage device, 413: processor, 414: Graphic processor, 415: memory, 416: user interface, 417: bus.
Claims (15)
メモリと、
上記メモリに読み込まれ、上記プロセッサにより実行される変化抽出プログラムとを有し、
上記変化抽出プログラムは、差分画像生成部と上記差分画像生成部で生成する差分画像を得るために比較する画像を得るための画像分割部とを有し、
上記画像分割部は、第1解像度の衛星画像を分割し所定サイズの第1ブロック画像群を得る第1ブロック画像群生成処理部と、
上記第1ブロック画像群に属する第1ブロック画像のそれぞれを、テクスチャ、植生指数、標高のうちいずれか一つまたは複数に基づきクラス分けするクラス分け処理部と、
上記第1ブロック画像のクラスに基づき、上記第1ブロック画像を分割し、あるいは上記第1ブロック画像と隣接する第1ブロック画像に結合することにより第2ブロック画像群を得る第2ブロック画像群生成処理部とを有し、
上記差分画像生成部において、上記第2ブロック画像群生成処理部で生成した第2ブロック画像に相当する領域に対して複数の衛星画像の差分画像を生成する衛星画像処理システム。 A processor;
Memory,
A change extraction program read into the memory and executed by the processor;
The change extraction program includes a difference image generation unit and an image division unit for obtaining an image to be compared in order to obtain a difference image generated by the difference image generation unit,
The image dividing unit includes a first block image group generation processing unit that divides a satellite image having a first resolution and obtains a first block image group having a predetermined size;
A classification processing unit that classifies each of the first block images belonging to the first block image group based on one or more of texture, vegetation index, and elevation;
Generation of a second block image group that obtains a second block image group by dividing the first block image based on the class of the first block image or combining the first block image with the first block image adjacent to the first block image A processing unit,
A satellite image processing system for generating a difference image of a plurality of satellite images for a region corresponding to the second block image generated by the second block image group generation processing unit in the difference image generation unit.
上記第1ブロック画像群に属する上記第1ブロック画像のうち、テクスチャの一様性が所定値以上の第1ブロック画像を隣接する第1ブロック画像に結合することにより第2ブロック画像とする衛星画像処理システム。 In claim 1,
Among the first block images belonging to the first block image group, a satellite image that is a second block image by combining a first block image having a texture uniformity equal to or greater than a predetermined value with an adjacent first block image. Processing system.
第1クラスの上記第1ブロック画像を第1サイズに分割し、第2クラスの上記第1ブロック画像を上記第1サイズよりも小さい第2サイズに分割することにより第2ブロック画像とする場合において、
上記第2クラスとして定義される標高は、上記第1クラスとして定義される標高よりも高い衛星画像処理システム。 In claim 1,
In the case where the first block image of the first class is divided into a first size and the first block image of the second class is divided into a second size smaller than the first size to obtain a second block image. ,
The satellite image processing system, wherein the altitude defined as the second class is higher than the altitude defined as the first class.
第1クラスの上記第1ブロック画像を第1サイズに分割し、第2クラスの上記第1ブロック画像を上記第1サイズよりも小さい第2サイズに分割することにより第2ブロック画像とする場合において、
上記第2クラスとして定義される植生指数は、上記第1クラスとして定義される植生指数よりも高い衛星画像処理システム。 In claim 1,
In the case where the first block image of the first class is divided into a first size and the first block image of the second class is divided into a second size smaller than the first size to obtain a second block image. ,
The satellite image processing system, wherein the vegetation index defined as the second class is higher than the vegetation index defined as the first class.
第1クラスの上記第1ブロック画像を第1サイズに分割し、第2クラスの上記第1ブロック画像を上記第1サイズよりも小さい第2サイズに分割することにより第2ブロック画像とする場合において、
上記第2クラスとして定義されたテクスチャは、上記第1クラスとして定義されたテクスチャよりも一様性が低い衛星画像処理システム。 In claim 1,
In the case where the first block image of the first class is divided into a first size and the first block image of the second class is divided into a second size smaller than the first size to obtain a second block image. ,
The texture defined as the second class has a lower uniformity than the texture defined as the first class.
上記変化抽出プログラムはさらに変化抽出部を有し、
上記変化抽出部は、上記差分画像に基づき上記第1解像度よりも高い第2解像度の衛星画像から切り出された第3ブロック画像に深層学習を適用した画像認識を行う衛星画像処理システム。 In claim 1,
The change extraction program further includes a change extraction unit,
The said change extraction part is a satellite image processing system which performs image recognition which applied deep learning to the 3rd block image cut out from the satellite image of the 2nd resolution higher than the said 1st resolution based on the said difference image.
上記画像認識に使用する教師データを格納する教師データデータベースと、
上記メモリに読み込まれ、上記プロセッサにより実行される自動学習プログラムとをさらに有し、
上記自動学習プログラムは、上記画像認識の結果についてのユーザからのフィードバックを受けて上記教師データデータベースに格納される教師データを更新するデータベース更新部を有する衛星画像処理システム。 In claim 6,
A teacher data database for storing teacher data used for the image recognition;
An automatic learning program that is read into the memory and executed by the processor;
The said automatic learning program is a satellite image processing system which has a database update part which receives the feedback from the user about the result of the said image recognition, and updates the teacher data stored in the said teacher data database.
上記画像認識に使用する認識器の学習モデルを格納する学習モデルデータベースをさらに有し、
上記自動学習プログラムは、所定回数以上の上記教師データの更新が行われたタイミングで上記学習モデルを更新する学習モデル更新部を有する衛星画像処理システム。 In claim 7,
A learning model database for storing a learning model of a recognizer used for the image recognition;
The said automatic learning program is a satellite image processing system which has a learning model update part which updates the said learning model at the timing when the said teacher data were updated more than predetermined times.
上記第1ブロック画像のクラスごとに、上記第2ブロック画像群を得るために上記第1ブロック画像を分割する分割サイズと、上記差分画像生成部において上記差分画像を生成するときに適用する差分抽出アルゴリズム情報とを有するクラス定義テーブルを格納するクラスデータベースをさらに有し、
上記自動学習プログラムは、上記画像認識の結果についてのユーザからのフィードバックを受けて上記クラスデータベースに格納される上記クラス定義テーブルを更新するデータベース更新部を有する衛星画像処理システム。 In claim 7,
For each class of the first block image, a division size for dividing the first block image to obtain the second block image group, and difference extraction applied when the difference image generation unit generates the difference image. A class database storing a class definition table having algorithm information;
The satellite image processing system, wherein the automatic learning program includes a database update unit that receives feedback from a user regarding the result of the image recognition and updates the class definition table stored in the class database.
第1解像度の第2衛星画像を分割し、所定サイズの上記第2衛星画像の第1ブロック画像群を生成し、
上記第1衛星画像の上記第1ブロック画像群に属する第1ブロック画像及び上記第2衛星画像の上記第1ブロック画像群に属する第1ブロック画像のそれぞれを、テクスチャ、植生指数、標高のうちいずれか一つまたは複数に基づきクラス分けし、
上記第1ブロック画像のクラスに基づき、上記第1ブロック画像を分割し、あるいは上記第1ブロック画像と隣接する第1ブロック画像に結合することにより、上記第1衛星画像の第2ブロック画像群及び上記第2衛星画像の第2ブロック画像群を生成し、
上記第1衛星画像の上記第2ブロック画像群に属する第2ブロック画像A及び上記第2衛星画像の上記第2ブロック画像群に属する第2ブロック画像Bにつき、上記第1解像度よりも高い第2解像度の上記第1衛星画像の上記第2ブロック画像Aに相当する領域と上記第2解像度の上記第2衛星画像の上記第2ブロック画像Bに相当する領域との間の差分画像を生成する衛星画像処理方法。 Dividing a first satellite image of a first resolution to generate a first block image group of the first satellite image of a predetermined size;
Dividing the second satellite image of the first resolution to generate a first block image group of the second satellite image of a predetermined size;
Each of the first block image belonging to the first block image group of the first satellite image and the first block image belonging to the first block image group of the second satellite image is selected from texture, vegetation index, and altitude. Classify based on one or more,
Based on the class of the first block image, the first block image is divided or combined with the first block image adjacent to the first block image, so that the second block image group of the first satellite image and Generating a second block image group of the second satellite image;
The second block image A belonging to the second block image group of the first satellite image and the second block image B belonging to the second block image group of the second satellite image are second higher than the first resolution. A satellite that generates a difference image between a region corresponding to the second block image A of the first satellite image having the resolution and a region corresponding to the second block image B of the second satellite image having the second resolution. Image processing method.
上記第1解像度の上記第1衛星画像は、上記第2解像度の上記第1衛星画像の解像度を落として生成した衛星画像であり、
上記第1解像度の上記第2衛星画像は、上記第2解像度の上記第2衛星画像の解像度を落として生成した衛星画像である衛星画像処理方法。 In claim 10,
The first satellite image of the first resolution is a satellite image generated by reducing the resolution of the first satellite image of the second resolution,
The satellite image processing method, wherein the second satellite image having the first resolution is a satellite image generated by reducing the resolution of the second satellite image having the second resolution.
上記第1ブロック画像群に属する上記第1ブロック画像のうち、テクスチャの一様性が所定値以上の第1ブロック画像を隣接する第1ブロック画像に結合することにより第2ブロック画像とする衛星画像処理方法。 In claim 10,
Among the first block images belonging to the first block image group, a satellite image that is a second block image by combining a first block image having a texture uniformity equal to or greater than a predetermined value with an adjacent first block image. Processing method.
異なるクラスの上記第1ブロック画像を異なるサイズに分割することにより第2ブロック画像とする衛星画像処理方法。 In claim 10,
A satellite image processing method for dividing a first block image of a different class into different sizes to form a second block image.
上記差分画像に基づき切り出された上記第2解像度の上記第1衛星画像の第3ブロック画像A及び上記差分画像に基づき切り出された上記第2解像度の上記第2衛星画像の第3ブロック画像Bのそれぞれに深層学習を適用した画像認識を行う衛星画像処理方法。 In claim 10,
The third block image A of the first satellite image of the second resolution cut out based on the difference image and the third block image B of the second satellite image of the second resolution cut out based on the difference image. A satellite image processing method that performs image recognition applying deep learning to each.
上記第3ブロック画像A及び上記第3ブロック画像Bの上記画像認識の結果についてのユーザからのフィードバックを受けて上記画像認識に用いる教師データデータベースに格納される教師データを更新し、所定回数以上の上記教師データの更新が行われたタイミングで上記画像認識に使用する認識器の学習モデルを更新する衛星画像処理方法。 In claim 14,
In response to feedback from the user regarding the results of the image recognition of the third block image A and the third block image B, the teacher data stored in the teacher data database used for the image recognition is updated, and a predetermined number of times or more is updated. A satellite image processing method for updating a learning model of a recognizer used for the image recognition at a timing when the teacher data is updated.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016240201A JP6661522B2 (en) | 2016-12-12 | 2016-12-12 | Satellite image processing system and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016240201A JP6661522B2 (en) | 2016-12-12 | 2016-12-12 | Satellite image processing system and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018097506A true JP2018097506A (en) | 2018-06-21 |
JP6661522B2 JP6661522B2 (en) | 2020-03-11 |
Family
ID=62633298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016240201A Active JP6661522B2 (en) | 2016-12-12 | 2016-12-12 | Satellite image processing system and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6661522B2 (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111047566A (en) * | 2019-12-04 | 2020-04-21 | 昆明市滇池高原湖泊研究院 | Method for carrying out aquatic vegetation annual change statistics by unmanned aerial vehicle and multispectral satellite image |
WO2020095545A1 (en) * | 2018-11-05 | 2020-05-14 | 日本電気株式会社 | Object recognition system, recognition device, object recognition method, and object recognition program |
JP2020095707A (en) * | 2018-12-11 | 2020-06-18 | キヤノン株式会社 | Alignment-free video change detection using deep blind image region prediction |
WO2020175308A1 (en) * | 2019-02-25 | 2020-09-03 | Dmg森精機株式会社 | Chip detection device, machine tool, chip detection method, and learning image synthesis device |
CN112233062A (en) * | 2020-09-10 | 2021-01-15 | 浙江大华技术股份有限公司 | Surface feature change detection method, electronic device, and storage medium |
JP2021043485A (en) * | 2019-09-06 | 2021-03-18 | 国立大学法人東北大学 | Image analysis program, image analysis method and image analysis device |
KR20210078326A (en) * | 2019-12-18 | 2021-06-28 | 한국항공우주연구원 | Method for determining unusual area for optical navigation based on artificial neural network, apparatus for producing onboard map, and method for determining direction of lander |
KR20210122523A (en) * | 2020-04-01 | 2021-10-12 | 전북대학교산학협력단 | Apparatus and Method for Index Discovery for Image Analysis |
JPWO2020116046A1 (en) * | 2018-12-07 | 2021-10-14 | ソニーセミコンダクタソリューションズ株式会社 | Sensor devices, electronic devices, sensor systems and control methods |
EP4050513A1 (en) * | 2021-02-25 | 2022-08-31 | Tata Consultancy Services Limited | Efficient retrieval of a target from an image in a collection of remotely sensed data |
CN115330778A (en) * | 2022-10-13 | 2022-11-11 | 浙江华是科技股份有限公司 | Substation target detection network model training method and system |
CN117993029A (en) * | 2024-04-03 | 2024-05-07 | 武昌首义学院 | Satellite information and training data warehouse network safety protection method and system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007114994A (en) * | 2005-10-20 | 2007-05-10 | Hitachi Software Eng Co Ltd | System and method for supporting extraction of variation between images |
JP2007188176A (en) * | 2006-01-11 | 2007-07-26 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for specifying content information, program, and computer readable recording medium |
JP2015023857A (en) * | 2013-06-20 | 2015-02-05 | 株式会社パスコ | Forest phase analyzer, forest phase analysis method and program |
-
2016
- 2016-12-12 JP JP2016240201A patent/JP6661522B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007114994A (en) * | 2005-10-20 | 2007-05-10 | Hitachi Software Eng Co Ltd | System and method for supporting extraction of variation between images |
JP2007188176A (en) * | 2006-01-11 | 2007-07-26 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for specifying content information, program, and computer readable recording medium |
JP2015023857A (en) * | 2013-06-20 | 2015-02-05 | 株式会社パスコ | Forest phase analyzer, forest phase analysis method and program |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2020095545A1 (en) * | 2018-11-05 | 2021-09-30 | 日本電気株式会社 | Object recognition system, recognition device, object recognition method and object recognition program |
WO2020095545A1 (en) * | 2018-11-05 | 2020-05-14 | 日本電気株式会社 | Object recognition system, recognition device, object recognition method, and object recognition program |
US11783602B2 (en) | 2018-11-05 | 2023-10-10 | Nec Corporation | Object recognition system, recognition device, object recognition method, and object recognition program |
JP7111175B2 (en) | 2018-11-05 | 2022-08-02 | 日本電気株式会社 | Object recognition system, recognition device, object recognition method, and object recognition program |
JPWO2020116046A1 (en) * | 2018-12-07 | 2021-10-14 | ソニーセミコンダクタソリューションズ株式会社 | Sensor devices, electronic devices, sensor systems and control methods |
JP2020095707A (en) * | 2018-12-11 | 2020-06-18 | キヤノン株式会社 | Alignment-free video change detection using deep blind image region prediction |
JPWO2020175308A1 (en) * | 2019-02-25 | 2021-03-11 | Dmg森精機株式会社 | Chip detection device, machine tool, chip detection method, image synthesizer for learning |
JP7503593B2 (en) | 2019-02-25 | 2024-06-20 | Dmg森精機株式会社 | Information processing device, information processing method, and program |
WO2020175308A1 (en) * | 2019-02-25 | 2020-09-03 | Dmg森精機株式会社 | Chip detection device, machine tool, chip detection method, and learning image synthesis device |
JP2021043485A (en) * | 2019-09-06 | 2021-03-18 | 国立大学法人東北大学 | Image analysis program, image analysis method and image analysis device |
JP7313676B2 (en) | 2019-09-06 | 2023-07-25 | 国立大学法人東北大学 | Image analysis program, image analysis method and image analysis device |
CN111047566B (en) * | 2019-12-04 | 2023-07-14 | 昆明市滇池高原湖泊研究院 | Method for carrying out aquatic vegetation annual change statistics by unmanned aerial vehicle and multispectral satellite image |
CN111047566A (en) * | 2019-12-04 | 2020-04-21 | 昆明市滇池高原湖泊研究院 | Method for carrying out aquatic vegetation annual change statistics by unmanned aerial vehicle and multispectral satellite image |
KR102314038B1 (en) | 2019-12-18 | 2021-10-19 | 한국항공우주연구원 | Method for determining unusual area for optical navigation based on artificial neural network, apparatus for producing onboard map, and method for determining direction of lander |
KR20210078326A (en) * | 2019-12-18 | 2021-06-28 | 한국항공우주연구원 | Method for determining unusual area for optical navigation based on artificial neural network, apparatus for producing onboard map, and method for determining direction of lander |
KR20210122523A (en) * | 2020-04-01 | 2021-10-12 | 전북대학교산학협력단 | Apparatus and Method for Index Discovery for Image Analysis |
KR102333149B1 (en) | 2020-04-01 | 2021-11-30 | 전북대학교산학협력단 | Apparatus and Method for Index Discovery for Image Analysis |
CN112233062A (en) * | 2020-09-10 | 2021-01-15 | 浙江大华技术股份有限公司 | Surface feature change detection method, electronic device, and storage medium |
EP4050513A1 (en) * | 2021-02-25 | 2022-08-31 | Tata Consultancy Services Limited | Efficient retrieval of a target from an image in a collection of remotely sensed data |
CN115330778B (en) * | 2022-10-13 | 2023-03-10 | 浙江华是科技股份有限公司 | Substation target detection network model training method and system |
CN115330778A (en) * | 2022-10-13 | 2022-11-11 | 浙江华是科技股份有限公司 | Substation target detection network model training method and system |
CN117993029A (en) * | 2024-04-03 | 2024-05-07 | 武昌首义学院 | Satellite information and training data warehouse network safety protection method and system |
Also Published As
Publication number | Publication date |
---|---|
JP6661522B2 (en) | 2020-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6661522B2 (en) | Satellite image processing system and method | |
CN107451999B (en) | Foreign matter detection method and device based on image recognition | |
JP6509275B2 (en) | Method and apparatus for updating a background model used for image background subtraction | |
KR101404640B1 (en) | Method and system for image registration | |
CN110717489A (en) | Method and device for identifying character area of OSD (on screen display) and storage medium | |
JP6977873B2 (en) | Image processing device, image processing method, and image processing program | |
CN108376232A (en) | A kind of method and apparatus of automatic interpretation for remote sensing image | |
KR101618996B1 (en) | Sampling method and image processing apparatus for estimating homography | |
Moriondo et al. | Use of digital images to disclose canopy architecture in olive tree | |
CN112785591B (en) | Method and device for detecting and segmenting rib fracture in CT image | |
US11841421B2 (en) | Synthetic aperture radar image analysis system, synthetic aperture radar image analysis method, and synthetic aperture radar image analysis program | |
JP2014032623A (en) | Image processor | |
CN111415364A (en) | Method, system and storage medium for converting image segmentation samples in computer vision | |
KR20180020421A (en) | Method and system for extracting coastline based on a large-scale high-resolution satellite images | |
JP2010197378A (en) | Radar image processing device | |
CN106683105B (en) | Image segmentation method and image segmentation device | |
CN113963009A (en) | Local self-attention image processing method and model based on deformable blocks | |
JP5290915B2 (en) | Image processing apparatus, image processing method, and program | |
JP2010020417A (en) | Object detection system | |
Das et al. | SAR image segmentation for land cover change detection | |
KR20210028966A (en) | Method and apparatus for disease classification of plant leafs | |
CN110796684B (en) | Target tracking method and related device | |
CN113240611A (en) | Foreign matter detection method based on picture sequence | |
Utama et al. | Young lunar crescent detection based on video data with computer vision techniques | |
Bucksch et al. | Skeleton-based botanic tree diameter estimation from dense LiDAR data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6661522 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |