JP2022529876A - 違法建築物の識別方法、装置、機器および記憶媒体 - Google Patents

違法建築物の識別方法、装置、機器および記憶媒体 Download PDF

Info

Publication number
JP2022529876A
JP2022529876A JP2021551984A JP2021551984A JP2022529876A JP 2022529876 A JP2022529876 A JP 2022529876A JP 2021551984 A JP2021551984 A JP 2021551984A JP 2021551984 A JP2021551984 A JP 2021551984A JP 2022529876 A JP2022529876 A JP 2022529876A
Authority
JP
Japan
Prior art keywords
building
target
feature
image
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021551984A
Other languages
English (en)
Inventor
冠皓 王
▲シ▼ 叶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022529876A publication Critical patent/JP2022529876A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/16—Real estate
    • G06Q50/163—Real estate management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/753—Transform-based matching, e.g. Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、違法建築物の識別方法、装置、機器及記憶媒体を開示しており、クラウドコンピューティング分野に関する。実現するための具体的な技術案は、目標画像および目標画像関連的参照画像を取得し、目標画像の目標建築物特徴および参照画像の参照建築物特徴をそれぞれ抽出し、目標建築物特徴および参照建築物特徴に基づいて目標画像の違法建築物の識別結果を確定する。本発明の実施例は、目標画像に関連する参照画像を取得することで、目標画像と参照画像とを結び付け、結び付けられた画像に対して特徴抽出を行い、これにより、参照画像の建築物特徴に基づいて、目標画像に対して違法建築物の識別を行い、違法建築物の自動識別を実現し、違法建築物の識別過程におけるデータ処理量を削減するとともに、双子思想に基づいて目標画像および参照画像に対して建築物特徴抽出を行い、さらに抽出された建築物特徴に基づいて違法建築物の識別を行い、識別結果の正確度を向上させる。【選択図】図１

Description

本発明は、出願日が２０２０年３月２７日であり、出願番号が２０２０１０２３１０８８．３である中国特許出願に対して優先権の利益を主張するものであり、該出願の全ての内容を引用により本発明に援用する。
本発明は、画像処理技術に関し、例えば、クラウドコンピューティング分野に関し、具体的には、違法建築物の識別方法、装置、機器及記憶媒体に関する。
都市建設において、違法建築物は、都市の外観を破壊する重要な要因として注目されつつ、違法建築物によって人々の生命や安全が大きく脅かされている。
現在、普通は、都市管理部署のオプションによる形態で違法建築物に対して検出を行う。しかしながら、上記形態は、大量の人件費がかかると共に、人による検査形態の効率が低く、検査漏れが発生しやすい状況である。
以下は、本明細書で詳細的に説明する主題に対する概要である。本発明の請求項の保護範囲は本概要によって限定されるものではない。
本発明の実施例は、違法建築物の自動識別を実現し、識別コストを削減し、識別効率を向上させるために、違法建築物の識別方法、装置、機器及記憶媒体を提供する。
第１態様によれば、本発明の実施例は、
目標画像および前記目標画像に関連する参照画像を取得することと、
前記目標画像の目標建築物特徴および前記参照画像の参照建築物特徴をそれぞれ抽出することと、
前記目標建築物特徴および前記参照建築物特徴に基づいて前記目標画像の違法建築物の識別結果を確定することと、を含む、
違法建築物の識別方法を提供する。
本発明は、目標画像および目標画像に関連する参照画像を取得し、目標画像の目標建築物特徴および参照画像の参照建築物特徴をそれぞれ抽出し、目標建築物特徴および参照建築物特徴に基づいて目標画像の違法建築物の識別結果を確定する。上記技術案は、目標画像に関連する参照画像を取得することで、目標画像と参照画像とを結び付け、結び付けられた画像に対して特徴抽出を行い、これにより、参照画像の建築物特徴に基づいて、目標画像に対して違法建築物の識別を行い、違法建築物の自動識別を実現し、違法建築物の識別過程におけるデータ処理量を削減するとともに、ｓｉａｍｅｓｅ（双子）思想に基づいて、目標画像および参照画像に対して建築物特徴抽出を行い、さらに抽出された建築物特徴に基づいて違法建築物の識別を行い、識別結果の正確度を向上させる。
一実施例において、前記目標画像および前記参照画像の取得位置の距離差値が所定距離閾値より小さく、又は、前記目標画像および前記参照画像の取得角度の角度差値が所定角度閾値より小さく、又は、前記目標画像および前記参照画像の取得位置の距離差値が所定距離閾値より小さく且つ前記目標画像および前記参照画像の取得角度の角度差値が所定角度閾値より小さい。
上記発明に係る代替的な実施形態では、目標画像および参照画像の取得位置の距離差値、又は取得角度の角度差値、又は目標画像および参照画像の取得位置の距離差値と取得角度の角度差値に制限を加えることで、目標画像と参照画像との結び付けを実現し、複数の参照画像に基づいて目標画像に対して違法建築物の識別を行う状況を回避し、データ演算量を削減した。
一実施例において、目標画像の目標建築物特徴および前記目標画像に関連する参照画像の参照建築物特徴をそれぞれ抽出することは、
前記目標画像の目標基礎特徴および前記目標画像に関連する前記参照画像の参照基礎特徴をそれぞれ抽出することと、
所定の少なくとも２つの基準で、前記目標基礎特徴および前記参照基礎特徴に対してそれぞれ特徴抽出を行い、前記少なくとの２つの基準での前記目標建築物特徴および前記参照建築物特徴を取得することと、を含む。
上記発明に係る代替的な実施形態では、建築物特徴の抽出過程を基礎特徴の抽出に細分化し、少なくとも２つの基準で基礎特徴に対して更なる特徴抽出を行うことで、異なる基準での画像の細部特徴を取得でき、さらに、少なくとも２つの基準での建築物特徴に基づいて違法建築物の識別を行うことで、識別結果の正確度を向上させた。
一実施例において、前記目標建築物特徴および前記参照建築物特徴に基づいて前記目標画像の違法建築物の識別結果を確定することは、
各基準の前記目標建築物特徴および前記参照建築物特徴に対して特徴融合を行うことと、
少なくとも２つの基準での特徴融合結果に基づいて、前記目標画像の違法建築物の識別結果を確定することと、を含む。
上記発明に係る代替的な実施形態では、違法建築物の識別結果を確定する過程を、各基準での建築物特徴の融合に細分化し、少なくとも２つの基準での特徴コンテンツおよび結果に基づいて違法建築物の識別を行うことで、多様な基準での違法建築物の識別仕組みを整えた。
一実施例において、各基準の前記目標建築物特徴および前記参照建築物特徴に対して特徴融合を行うことは、
各基準の前記目標建築物特徴及び前記参照建築物特徴に対して差演算を行い、得られた差値を当該基準での特徴融合結果とすることを含む。
上記発明に係る代替的な実施形態は、特徴融合の過程を、各基準の目標建築物特徴と参照建築物特徴との差値を特徴融合結果とすることに細分化することで、特徴融合の仕組みを整えた。
一実施例において、前記目標画像の目標基礎特徴および前記目標画像に関連する前記参照画像の参照基礎特徴をそれぞれ抽出することは、
深層残差ネットワークに基づいて、前記目標画像の目標基礎特徴および前記目標画像に関連する前記参照画像の参照基礎特徴をそれぞれ抽出することを含む。
上記発明に係る代替的な実施形態では、基礎特徴の抽出過程を、深層残差ネットワークに基づいて基礎特徴の抽出を行うことに細分化することで、特徴抽出の形態を整えるとともに、特徴抽出結果の正確度を向上させた。
一実施例において、前記方法は、前記参照画像の参照建築物特徴を抽出する前に、
前記目標画像に基づいて前記参照画像に対して座標変換を行うことをさらに含み、
前記座標変換に、収縮変換、引張変換、回転変換及び並進変換のうちの少なくとも１種が含まれる。
上記発明に係る代替的な実施形態では、参照画像に対して特徴抽出を行う前に、目標画像に基づいて、参照画像に対して収縮、引張、回転及び並進変換のうちの少なくとも１種を行うことで、変換後の画像と目標画像座標とをマッチングさせ、これにより、違法建築物の識別結果の正確度を保証した。
一実施例において、前記目標画像に基づいて前記参照画像に対して座標変換を行うことは、
前記目標画像の目標キーポイントおよび目標記述子と、前記参照画像の参照キーポイントおよび参照記述子とをそれぞれ抽出することと、
前記目標記述子および前記参照記述子に基づいて、前記目標キーポイント及び前記参照キーポイントに対してマッチング操作を行うことと、
マッチング結果に基づいて、変換行列を確定し、前記変換行列に基づいて前記参照画像に対して座標変化を行うことと、を含む。
上記発明に係る代替的な実施形態では、参照画像に対して座標変更を行う過程を、目標画像および参照画像に対してキーポイント及び記述子の抽出を行って目標画像と参照画像との記述子のマッチング状況に基づいてキーポイントマッチングを行うことに細分化することで、キーポイントマッチング結果に基づいて変換行列を確定し、さらに、確定された変換行列に基づいて参照画像の座標変化を行うことで、参照画像に対して座標変換を行う処理仕組みを整え、これにより、違法建築物の識別結果の正確度を保証した。
一実施例において、前記目標画像の違法建築物の識別結果を確定することは、
前記目標画像に違法建築物領域が含まれるか否かを確定することと、
前記目標画像に違法建築物領域が含まれる場合、前記違法建築物領域の位置座標を確定することと、を含む。
上記発明に係る代替的な実施形態では、違法建築物の識別結果を確定する過程を目標画像の建築物領域に対する２項分類に細分化し、建築物領域に違法建築物領域が含まれる場合、違法建築物領域の位置座標に対して検出を行うことで、違法建築物の識別結果のコンテンツを豊かにした。
第２態様によれば、本発明の実施例は、
目標画像および前記目標画像に関連する参照画像を取得するように構成される画像取得モジュールと、
前記目標画像の目標建築物特徴および前記参照画像の参照建築物特徴をそれぞれ抽出するように構成される建築物特徴抽出モジュールと、
前記目標建築物特徴および前記参照建築物特徴に基づいて前記目標画像の違法建築物の識別結果を確定するように構成される識別結果確定モジュールと、を備える、
違法建築物の識別装置をさらに提供する。
第３態様によれば、本発明の実施例は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続される記憶装置と、を備え、
前記記憶装置に前記少なくとも１つのプロセッサにより実行可能な命令が記憶され、
前記命令は、前記少なくとも１つのプロセッサが第１態様の実施例に記載の違法建築物の識別方法を実行可能であるように、少なくとも１つのプロセッサにより実行される、
電子機器をさらに提供する。
第４態様によれば、本発明の実施例は、
第１態様の実施例に記載の違法建築物の識別方法をコンピュータに実現させるためのコンピュータ命令が記憶されている、
非瞬時性コンピュータ可読記憶媒体をさらに提供する。
上記代替的な形態が有する他の効果については、以下で具体的な実施例を参照しながら説明する。
図面と詳細的な説明を読んでよく理解すれば、他の態様も把握できる。
図面は、本技術案がよりよく理解されるように提供され、本発明を限定するものではない。
本発明の実施例一に係る違法建築物の識別方法のフロー図である。 本発明の実施例二に係る違法建築物の識別方法のフロー図である。 本発明の実施例三に係る違法建築物の識別方法のフロー図である。 本発明の実施例四に係る違法建築物の識別方法のフロー図である。 本発明の実施例四に係る画像マッチング過程の構造ブロック図である。 本発明の実施例四に係る参照画像の概略図である。 本発明の実施例四に係る目標画像の概略図である。 本発明の実施例四に係る変換後の参照画像の概略図である。 本発明の実施例四に係る画像検出過程の構造ブロック図である。 本発明の実施例四に係る目標画像標記結果の概略図である。 本発明の実施例五に係る違法建築物の識別装置の構造図である。 本発明の実施例に係るデータアクセス方法を実現するための電子機器のブロック図である。
以下、図面を参照しながら、本発明の例示的な実施例について説明する。この内容には、理解を助けるための本発明の実施例の様々な詳細が含まれているが、単なる例示的なものと見なされるべきである。したがって、当業者であれば、本発明の範囲および精神から逸脱することなく、本明細書に記載の実施例に対して様々な変更および修正を実行することができることを認識すべきである。同様に、はっきりとよくわかるように、以下の説明では公知の機能と構造についての説明を省略した。
実施例一
図１は、本発明の実施例一に係る違法建築物の識別方法のフロー図である。本発明の実施例は、画像の違法建築物に対して識別を行う状況に適用され、当該方法は、違法建築物の識別装置により実施可能であり、当該装置は、ソフトウェア、又は、ハードウェア、又は、ソフトウェアとハードウェアにより実現可能であり、具体的には、電子機器に配置される。
図１に示すように、違法建築物の識別方法は、以下のＳ１０１、Ｓ１０２およびＳ１０３を含む。
Ｓ１０１において、目標画像および前記目標画像に関連する参照画像を取得する。
ここで、目標画像は、違法建築物の識別が必要な画像であり、参照画像は、デフォルトで違法建築物無しとされる画像である。ここで、目標画像および参照画像は、同様の領域又はほぼ同様の領域に対して、異なる時間に収集される画像に理解され得、ここで、参照画像の収集時間は、目標画像の収集時間より早い。
なお、参照画像は、現在の収集時刻から所定の収集間隔を経過して収集される画像であってもよく、初めて違法建築物の識別を実行した時に収集された画像を使用してもよいことを理解されたい。もちろん、繰り返し検出の状況を回避するためには、実時間又は定時に参照画像の交換を行ってもよく、本発明はこれに対して何ら限定するものではない。
目標画像と参照画像との一致性を保証し、次いで確定される違法建築物の識別結果の正確度を向上させるためには、一実施例では、目標画像および参照図形の取得位置が同様または接近することが確保されるように、取得された目標画像および参照画像の取得位置の距離差値が所定距離閾値より小さい。又は、一実施例では、目標画像と参照画像との取得角度が同様又は接近することが確保されるように、取得された目標画像と参照画像と取得角度の角度差値が所定角度閾値より小さい。ここで、所定距離閾値及び所定角度閾値は、必要や経験値によって、技術者より確定してもよい。ここで、取得角度は、画像の角度又は収集装置のピッチ角等であってもよい。
画像に含まれる建築物情報の全面性を保証するために、普通は、無人飛行機を使用して所定の巡査路線に従って、所定の収集頻度で画像を撮る。異なる収集領域の画像を区分するために、画像の収集順序によって収集される画像に順序番号を付けてもよい。従って、参照画像を取得する際、目標画像の画像番号と同様である参照画像が得られる。ここで、収集頻度は、収集要求事項または無人飛行機のレンズパラメータによって、技術者より確定してもよい。
例示的に、目標画像及び目標画像に関連する参照画像は、電子機器のローカルや電子機器に関連する他の記憶装置又はクラウドに記憶されてもよく、違法建築物の識別が必要される場合、電子機器のローカルや電子機器に関連する他の記憶装置、又はクラウドから目標画像および参照画像を取得できる。目標画像と参照画像との関連関係を保証するためには、同様の取得位置の目標画像と参照画像との番号が一致するように、画像の取得位置によって目標画像および参照画像に番号を付けてもよい。従って、目標画像および参照画像を取得する際、同様の番号の目標画像および参照画像を取得する。
例示的に、収集装置、例えば、無人飛行機で目標画像を収集する場合、目標画像を実時間で電子機器へ伝送し、電子機器のローカルや電子機器に関連する他の記憶装置、又はクラウドに参照画像を記憶させてもよい。従って、電子機器は、収集装置によって実時間で収集される目標画像を受信すると、電子機器のローカルや電子機器に関連する他の記憶装置、又はクラウドから目標画像に関連する参照画像を取得する。
Ｓ１０２において、前記目標画像の目標建築物特徴および前記参照画像の参照建築物特徴をそれぞれ抽出する。
目標画像の建築物群は複雑で様々であり、道路上の通行人および車両等により建築物領域が大きな影響を受ける場合もあることから、抽出される建築物特徴の正確度を向上させるために、一実施例では、抽出される特徴に画像のうちの語義情報を反映させ、発掘された特徴がより豊かで全面的となるように、深層学習の形態によって目標画像および参照画像の建築物特徴を抽出する。
なお、本発明は、画像全体に対して建築物特徴を抽出することから、画像の一つ一つの建築物を分割し、それぞれの建築物に対して特徴抽出を行うことなく、特徴抽出過程における演算量を削減した。また、画像に建築物が密集して分布されている場合、一つ一つの建築物を分割し、そして、分割されたそれぞれの建築物に対して特徴抽出を行うと、抽出される特徴の正確度も比較的に低いため、最終に行われる違法建築物の識別結果の正確度に影響を与えるおそれがあることを理解されたい。
なお、違法建築物に対して識別を実行する際、普通は、郷や鎮などの行政区域によって識別待ち領域に対して区画する。このため、当該識別待ち領域において収集される画像様本の数量には限度があり、画像による差異が顕著であることから、目標画像と参照画像とを結び付ける形態を使用して、ｓｉａｍｅｓｅ思想に基づいて、特徴抽出モデルをトレーニングする。従って、特徴抽出モデルを使用して特徴抽出を行う際、抽出された建築物特徴の一致性を保証するために、同様の特徴抽出モデルおよびモデルパラメータを使用して、目標画像と目標画像に関連する参照画像に対してそれぞれ建築物特徴の抽出を行う。
Ｓ１０３において、前記目標建築物特徴および前記参照建築物特徴に基づいて前記目標画像の違法建築物の識別結果を確定する。
例示的に、目標建築物特徴および参照建築物特徴に基づいて目標画像の違法建築物の識別結果を確定することは、目標建築物特徴および参照建築物特徴の特徴を融合させ、融合させた特徴に基づいて、目標画像の違法建築物の識別結果を確定することとなってもよい。
一実施例において、目標建築物特徴と参照建築物特徴に対して差演算を行う形態を使用し、差値結果を特徴融合結果とする。なお、差演算を行う形態によって特徴を融合させることで、目標画像と参照画像との類似しない領域が対応する融合化建築物特徴を際立たせ得、従って、融合化建築物特徴によって違法建築物の識別を実行する際、識別結果の正確度を顕著に向上させることができる。
本発明の実施例の代替的な実施形態では、目標画像の違法建築物の識別結果を確定することは、目標画像の建築物領域に違法建築物が存在するか否かに関する２項分類を行うこととなってもよい。従って、目標画像に対して違法建築物の識別を実行する際、分類モデルに基づいて、目標建築物特徴および参照建築物特徴の特徴を融合させた融合化建築物特徴に応じた分類結果が得られる。
本発明の実施例の別の代替的な実施形態では、目標画像の違法建築物の識別結果を確定することは、目標画像に違法建築物領域が含まれるか否かを確定し、目標画像に違法建築物領域が含まれる場合、違法建築物領域の位置座標を確定することとなってもよい。
例示的に、検出モデルに基づいて、目標建築物特徴および参照建築物特徴の特徴を融合させた融合化建築物特徴に基づいて、目標画像の違法建築物領域に対して検出を行い、違法建築物領域の位置座標を確定する。
一実施例において、検出モデルのトレーニング過程において、識別損失関数および位置付け損失関数を導入し、識別損失関数及び位置付け偏差損失関数に基づいて、検出モデルにおけるネットワークパラメータに対して最適化調整を行ってもよい。ここで、識別損失関数は、モデルから出力される分類結果と実際の分類結果との偏差に対して特徴付けを行うことに用いられ、位置付け損失関数は、モデルから出力される違法建築物領域の位置座標と、違法建築物領域の実際の位置座標との偏差に対して特徴付けを行うように構成される。
ここで、違法建築物領域は、円形領域又は矩形領域で示してもよい。円形領域で示す場合、位置座標に円心位置および円形半径が含まれてもよい。矩形領域で示す場合、位置座標に矩形領域のうちの１つの頂点座標、矩形の長度値および矩形の幅値が含まれ、或いは、位置座標に少なくとも２つの頂点座標、例えば、対角線に対応する２つの頂点座標が含まれる。
なお、違法建築物領域の混乱を回避するために、普通は、統合された位置座標確定形態を採用し、例えば、位置座標に矩形領域の左上頂点座標、矩形の長度値および矩形の幅値が含まれることを理解されたい。従って、左上頂点から、目標画像の長手方向と平行する方向に、矩形の長度値となる距離を置いて、矩形の一つの辺を確定し、目標画像の短手方向と平行する方向に、矩形の幅値となる距離を置いて、矩形のもう１つの辺を確定することで、違法建築物領域を確定する。
違法建築物領域をより可視化的に表示するためには、さらに、違法建築物領域の位置座標に基づいて、目標画像又は参照画像において違法建築物領域を標記する。目標画像および参照画像を収集する角度が異なることから、両方の座標には差異があり、普通は、目標画像の違法建築物領域を標記する。
本発明は、目標画像および目標画像に関連する参照画像を取得し、目標画像の目標建築物特徴および参照画像の参照建築物特徴をそれぞれ抽出し、目標建築物特徴および参照建築物特徴に基づいて目標画像の違法建築物の識別結果を確定する。上記技術案は、目標画像に関連する参照画像を取得することで、目標画像と参照画像とを結び付け、結び付けられた画像に対して特徴抽出を行い、これにより、参照画像の建築物特徴に基づいて、目標画像に対して違法建築物の識別を行い、違法建築物の自動識別を実現し、違法建築物の識別過程におけるデータ処理量を削減するとともに、ｓｉａｍｅｓｅ（双子）思想に基づいて、目標画像および参照画像に対して建築物特徴抽出を行い、さらに抽出された建築物特徴に基づいて違法建築物の識別を行い、識別結果の正確度を向上させる。
実施例二
図２は本発明の実施例二に係る違法建築物の識別方法のフロー図であり、本発明の実施例は上記各実施例の技術案の上で、最適化し改進したものである。
一実施例において、建築物特徴の抽出形態を整えるために、「目標画像の目標建築物特徴および前記目標画像に関連する参照画像の参照建築物特徴をそれぞれ抽出すること」なる操作を「前記目標画像の目標基礎特徴および前記目標画像に関連する前記参照画像の参照基礎特徴をそれぞれ抽出し、前記目標基礎特徴および前記参照基礎特徴に対して所定の少なくとも２つの基準で特徴抽出を行い、前記少なくとの２つの基準での前記目標建築物特徴および前記参照建築物特徴を取得すること」に細分化する。
図２に示すように、違法建築物の識別方法は、以下のＳ２０１、Ｓ２０２、Ｓ２０３およびＳ２０４を含む。
Ｓ２０１において、目標画像および前記目標画像に関連する参照画像を取得する。
Ｓ２０２において、前記目標画像の目標基礎特徴および前記目標画像に関連する前記参照画像の参照基礎特徴をそれぞれ抽出する。
例示的に、深層残差ネットワークに基づいて、前記目標画像の目標基礎特徴および前記目標画像に関連する前記参照画像の参照基礎特徴をそれぞれ抽出する。ここで、深層残差ネットワークのネットワーク深さは、経験値又は大量の試験によって確定し得る。例えば、ネットワークの深さを５０に設置してもよい。
Ｓ２０３において、所定の少なくとも２つの基準で、前記目標基礎特徴および前記参照基礎特徴に対してそれぞれ特徴抽出を行い、前記少なくとの２つの基準での前記目標建築物特徴および前記参照建築物特徴を取得する。
異なる基準での特徴に含まれる細部の情報次元が異なることから、少なくとも２つ基準で抽出される基礎特徴に対して更なる特徴発掘を行うことで、より高い特徴付け機能を有する特徴図譜が得られ、これにより、違法建築物の識別結果の識別正確度を保証した。
ここで、基準数量は、必要や経験値によって、技術者により確定してもよく、モデルトレーニング過程において、モデルのトレーニング結果によって確定してもよい。例示的に、基準数量を５に設定してもよい。
例示的に、特徴ピラミッドモデルを使用して所定の少なくとも２つの基準で、目標基礎特徴および参照基礎特徴に対してそれぞれ特徴抽出を行い、少なくとも２つの基準での目標建築物特徴および参照建築物特徴を得てもよい。
Ｓ２０４において、前記目標建築物特徴および前記参照建築物特徴に基づいて前記目標画像の違法建築物の識別結果を確定する。
目標建築物特徴および参照建築物特徴は、いずれにも異なる基準の特徴図譜が含まれていることから、目標建築物特徴および参照建築物特徴に基づいて目標画像の違法建築物の識別を行う際、異なる基準での目標建築物特徴と参照建築物特徴との特徴を融合させる必要がある。
一実施例において、前記目標建築物特徴および前記参照建築物特徴に基づいて前記目標画像の違法建築物の識別結果を確定することは、各基準の前記目標建築物特徴および前記参照建築物特徴に対して特徴融合を行い、少なくとも２つの基準での特徴融合結果に基づいて、前記目標画像の違法建築物の識別結果を確定することとなってもよい。
例示的に、各基準の前記目標建築物特徴および前記参照建築物特徴に対して特徴融合を行うことは、各基準の前記目標建築物特徴及び前記参照建築物特徴に対して差演算を行い、得られた差値を当該基準での特徴融合結果とすることとなってもよい。
なお、各基準の目標建築物特徴および参照建築物特徴に対して差演算を行い、得られた差値を当該基準での特徴融合結果とすることは、当該基準での目標画像と参照画像との差異をを際立たせ得、さらに、少なくとも２つの基準での特徴融合結果に基づいて、目標画像の違法建築物の識別結果を確定する際、参照する情報がより豊かで全面的となるように、各基準での目標画像と参照画像との差異性を参照し、違法建築物の識別結果の正確度を向上させた。
本発明の実施例は、目標画像および参照画像の建築物特徴に対する抽出過程を目標画像および参照画像の基礎特徴のそれぞれの抽出に細分化し、基礎特徴に対して複数基準で特徴抽出を行い、建築物特徴を取得することで、複数基準の目標建築物特徴および参照建築物特徴に基づいて目標画像の違法建築物の識別結果を確定し、抽出される建築物特徴の正確度および豊かさを向上させ、建築物特徴の特徴付け機能を向上させ、さらに違法建築物の識別結果の正確度を向上させた。
実施例三
図３は、本発明の実施例三に係る違法建築物の識別方法のフロー図であり、本発明の実施例は上記各実施例の技術案の上で、最適化し改進したものである。
さらに、目標画像と参照画像の座標をマッチングさせるために、「前記参照画像の参照建築物特徴を抽出すること」なる操作を行う前に、「前記目標画像に基づいて、前記参照画像に対して収縮変換、引張変換および回転変換のうちの少なくとも１種を含む座標変換を行うこと」を追加する。
図３に示す違法建築物の識別方法は、以下のＳ３０１、Ｓ３０２、Ｓ３０３およびＳ３０４を含む。
Ｓ３０１において、目標画像および前記目標画像に関連する参照画像を取得する。
Ｓ３０２において、前記目標画像に基づいて前記参照画像に対して座標変換を行う。
ここで、前記座標変換には、収縮変換、引張変換、回転変換及び並進変換のうちの少なくとも１種が含まれる。
目標画像および参照画像の収集過程において、収集装置の取得位置、取得角度等の収集パラメータは異なることから、目標画像と参照画像との座標がマッチングしない場合がある。目標画像と参照画像との座標がマッチングしないと、目標画像の違法建築物の識別結果の正確度に影響を与える恐れがある。
違法建築物の識別結果の正確度を保証するためには、参照画像に対して特徴抽出を行う前に、参照画像と目標画像との座標がマッチングするように、目標画像に基づいて参照画像に対して座標変換を行うことがさらに必要である。
一実施例において、マシンによる学習モデルで目標画像の目標指向性特徴および参照画像の参照指向性特徴をそれぞれ抽出し、目標指向性特徴と参照指向性特徴とのマッチング状況に基づいて、目標画像に対する参照画像の変形状況を確定し、変形状況に基づいて、参照画像と目標画像との座標がマッチングするように、参照画像を調整してもよい。
例示的に、前記目標画像の目標キーポイントおよび目標記述子と、前記参照画像の参照キーポイントおよび参照記述子とをそれぞれ抽出し、前記目標記述子および前記参照記述子に基づいて、前記目標キーポイント及び前記参照キーポイントに対してマッチング操作を行い、マッチング結果に基づいて、変換行列を確定し、前記変換行列に基づいて前記参照画像に対して座標変換を行う。
例えば、基準不変特徴変換（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ、ＳＩＦＴ）アルゴリズムによって目標画像に対してキーポイントおよび記述子の抽出を行い、目標キーポイントおよび目標記述子を得、ＳＩＦＴアルゴリズムによって参照画像に対してキーポイントおよび記述子の抽出を行い、参照キーポイントおよび参照記述子を得る。ＫＤ木（Ｋ ｄｉｍｅｎｓｉｏｎａｌ ｔｒｅｅ、ＫＤ Ｔｒｅｅ）を使用して、目標記述子と参照記述子とのマッチング状況に基づいて、目標キーポイントと参照キーポイントとのマッチング操作を行い、初期のマッチング関係を得、ランダムサンプルコンセンサス（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ、ＲＡＮＳＡＣ）アルゴリズムによって、無効となった初期のマッチング関係を除去して目標マッチング関係を得、目標マッチング関係に基づいて、参照画像と目標画像との変換行列を確定し、変換行列に基づいて、変換後の参照画像と目標画像との座標がマッチングするように参照画像に対して座標変換を行う。
Ｓ３０３において、前記目標画像の目標建築物特徴及び変換後の参照画像の参照建築物特徴をそれぞれ抽出する。
なお、目標画像に対して目標建築物特徴の抽出操作を実行することは、Ｓ３０２の前に実行してもよく、Ｓ３０３の後に実行してもよく、Ｓ３０２と同時に実行してもよく、本発明の実施例は両物に対して実行する前後順番を限定するものではない。
Ｓ３０４において、前記目標建築物特徴および前記参照建築物特徴に基づいて前記目標画像の違法建築物の識別結果を確定する。
本発明の実施例は、参照画像の参照建築物特徴を抽出する前に、目標画像に基づいて、参照画像と目標画像との座標がマッチングするように参照画像に対して座標変換を行うことで、違法建築物の識別結果の正確度を保証した。
上記各実施例の技術案の上で、違法建築物の識別結果から画像のサイズ、光環境および取得角度などの収集パラメータによる影響を取り除くために、目標画像および参照画像を取得した後、目標画像および参照画像に対して処理を行う前に、目標画像および参照画像に対して前処理を行ってもよい。
本発明の実施例の代替的な実施形態では、目標画像と参照画像とのサイズが一致するように、目標画像、又は参照画像、又は目標画像と参照画像に対してズーム処理を行う。
本発明の実施例の別の代替的な実施形態では、画像の色調および彩度情報を取り除きながら、輝度情報を残し、ＲＧＢ画像またはカラー画像をグレー画像に変換させるために、目標画像および参照画像に対してグレー基準変換（ｒｇｂ２ｇｒａｙ）を行う。
本発明の実施例の更なる代替的な実施形態では、画像のコントラスト比を高め、照度などの要素の影響を取り除くために、目標画像および参照画像に対してヒストグラム平均化（Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎ）を行う。
なお、上記の少なくとも２種によって画像前処理を行う場合、前処理操作の前後順序は限定されるものではない。
実施例四
図４Ａは本発明の実施例四に係る違法建築物の識別方法のフロー図であり、本発明の実施例は、上記各実施例の技術案の上で、好ましい実施形態を提供した。
図４Ａに示すように、違法建築物の識別方法は、
Ｓ４１０において、画像を収集することと、
Ｓ４２０において、画像をマッチングすることと、
Ｓ４３０において、画像を検出することと、を含む。
ここで、画像の収集過程は、
Ｓ４１１において、目標画像を取得することと、
Ｓ４１２において、目標画像と同一収集地点に位置する参照画像を取得することと、を含む。
ここで、目標画像は、現時点に無人飛行機を制御して所定路線に従って、所定頻度で収集された、建築物が含まれている画像である。ここで、参照画像は、履歴時点に無人飛行機を制御して所定路線に従って、所定頻度で収集された、建築物が含まれている画像である。
ここで、毎回控制無人飛行機を制御して画像を収集する時に、画像を収集するパラメータは一致するように保持する。ここで、画像を収集するパラメータに、収集頻度および取得角度等が含まれる。ここで、無人飛行機の収集路線、収集頻度およびその他の収集パラメータは、必要や経験値によって、技術者により確定してもよい。
なお、無人飛行機による収集過程において、すべての収集パラメータが一致するように設置しても、外部環境やシステムの誤差により、画像の収集地点、又は取得角度等が不一致となる場合がある。従って、新規に収集された目標画像と参照画像との収集地点間の距離差値が所定距離閾値に満たし、取得角度間の角度差値が所定角度閾値に満たすように保証すればよい。ここで、所定距離閾値および所定角度閾値は、必要や経験値によって、技術者により確定してもよく、または、大量な試験によって確定してもよい。
例示的に、無人飛行機によって収集される画像解像度は４０００＊６０００である。ここで、高さが４０００であり、幅が６０００である。
ここで、画像のマッチング過程は、以下のＳ４２１、Ｓ４２２およびＳ４２３を含む。
Ｓ４２１において、参照画像および目標画像に対して画像前処理を行う。
図４Ｂに示す画像のマッチング過程の構造ブロック図を参照し、ここで、参照画像はＩｍｇ１であり、目標画像はＩｍｇ２である。
ここで、画像の前処理操作は、処理後の目標画像と参照画像とのサイズが一致するように、例えば、サイズを一括して１０００＊１５００となるように、参照画像および目標画像に対してズーム処理を行うように構成されるズーム変換（ｒｅｓｉｚｅ）を含む。
ここで、画像の前処理操作は、ズーム処理を経た参照画像および目標画像を、カラー画像からグレー画像に変換させるように構成されるグレー基準変換（ｒｇｂ２ｇｒａｙ）をさらに含む。
ここで、画像の前処理操作は、目標画像と参照画像との異なる照度等の収集環境が検出結果に与える影響を取り除くためのヒストグラム平均化（ＥｑｕａｌｉｚｅＨｉｓｔ）をさらに含む。
Ｓ４２２において、参照画像および目標画像に対して画像マッチング操作を行い、参照画像から目標画像へ変換する際の変換行列を得る。
ここで、画像のマッチング操作は、ＳＩＦＴアルゴリズムによって、参照画像に対して特徴抽出操作を行い、参照画像の参照キーポイントおよび参照記述子を得、同様のアルゴリズムによって、目標画像に対して特徴抽出操作を行い、目標画像の目標キーポイントおよび目標記述子を得るように構成されるキーポイントおよび記述子の抽出を含む。
ここで、画像のマッチング操作は、ＫＤ Ｔｒｅｅアルゴリズムによって、参照記述子と目標記述子との一致性に基づいて、目標キーポイントおよび参照キーポイントをマッチングさせ、キーポイントマッチング結果を得るように構成されるキーポイントのマッチングをさらに含む。
ここで、目標マッチング操作は、ＲＡＮＳＡＣアルゴリズムによって、キーポイントのマッチング結果のうちの無効となったマッチング関係を除去し、最終的に正確なマッチング関係を得、正確なマッチング関係に対応する変換行列を確定するように構成される異常点除去をさらに含む。
Ｓ４２３において、変換行列に基づいて参照画像に対して座標変換を行う。
ここで、座標変換には、収縮、引張、回転および並進変換などのうちの少なくとも１つが含まれる。座標変換後の参照画像と目標画像との座標は一致する。
例を挙げて説明すると、図４Ｃおよび図４Ｄは、それぞれ参照画像Ｉｍｇ１および目標画像Ｉｍｇ２であり、図４Ｅは、変換後の参照画像Ｉｍｇ１＿ｔｒａｎｓである。図４Ｅと図４Ｃを比較すると、図４Ｃにおける参照画像Ｉｍｇ１に対して回転変換を行った場合、図４Ｅが得られる。図４Ｅおよび図４Ｄを比較して分かるように、両方の座標は一致するものである。
ここで、画像の検出過程は、以下のＳ４３１、Ｓ４３２、Ｓ４３３、Ｓ４３４、Ｓ４３５およびＳ４３６を含む。
Ｓ４３１において、第１特徴抽出によって、目標画像および変換後の参照画像の基礎特徴を抽出する。
図４Ｆに示す画像検出過程の構造ブロック図を参照しながら説明する。
例えば、深層残差ネットワークを使用して、目標画像および変換後の参照画像の基礎特徴を抽出する。ここで、目標画像および変換後の参照画像に対して基礎特徴抽出を行う際、両方に使用される深層残差ネットワークのネットワークパラメータは一致するものである。ここで、深層残差ネットワークのネットワーク深さは、必要や経験値によって、技術者により確定してもよく、大量の試験によって繰り返して確定してもよい。例えば、ネットワーク深さは５０となってもよい。
Ｓ４３２において、第２特徴抽出モデルを使用して、参照画像および目標画像の基礎特徴のうち、異なる基準での建築物特徴を抽出する。
例えば、特徴ピラミッドネットワークＦＰＮによって、目標画像および参照画像の基礎特徴のうち、異なる基準での建築物特徴をそれぞれ抽出し、目標建築物特徴Ｆｅａ１および参照建築物特徴Ｆｅａ２を得る。
なお、無人飛行機の画像解像度は比較的に高く、コンテンツは複雑で、且つ、建築物領域が比較的に小さく、建築物群が様々に複雑で、道路を通行する人などの他の要素によって邪魔される恐れがあることから、異なる基準での建築物特徴を抽出して、後続の画像検出に根拠とする必要があり、これにより、検出結果の正確度を向上させたことを理解されたい。
Ｓ４３３において、各基準の目標画像の建築物特徴および参照画像の建築物特徴に対して差演算を行い、融合特徴を得る。
なお、特徴の減算形態を使用して、基準事の目標建築物特徴および参照建築物特徴を融合させ、融合特徴Ｆｅａｔｕｒｅを得ることで、同様の基準での目標画像と参照画像との差異を際立たせ、違法と疑われる建築物領域が得られることを理解されたい。
なお、差演算を行う場合、参照画像と目標画像と前後順序を注意することなく、検出モデルの汎化機能を向上させた。
Ｓ４３４において、検出モデルに基づいて、あらゆる基準での融合特徴に基づいて、目標画像に違法建築物領域が含まれるか否かを確定する。
Ｓ４３５において、目標画像に違法建築物領域が含まれる場合、違法建築物領域の座標を出力する。
Ｓ４３６において、目標画像又は変換後の参照画像において、違法建築物領域の座標に基づいて、違法建築物領域を標記する。
ここで、違法建築物領域には、少なくとも１つの違法建築物が含まれる。ここで、違法建築物は、既存の建築物に、カラー鋼板、足場および屋根の修理などが加えられたものであってもよく、住宅建設をしてはいけない領域に住宅建設等を行ったものであってもよい。
ここで、検出モデルは、ニューラルネットワークモデルに基づいて構築してもよい。検出モデルのモデルトレーニング段階では、識別損失関数Ｆｏｃａｌ＿ｌｏｓｓおよび位置付け損失関数ＳｍｏｏｔｈＬ１＿ｌｏｓｓを導入して、識別損失関数及び位置付け偏差損失関数に基づいて、検出モデルにおけるネットワークパラメータに対して最適化調整を行ってもよい。ここで、識別損失関数は、モデルから出力された分類結果と実際の分類結果との偏差を特徴付けることに用いられ、位置付け損失関数は、モデルから出力された違法建築物領域の位置座標と違法建築物領域の実際の位置座標との偏差を特徴付けるように構成される。
図４Ｇに示す標記結果の概略図のように、矩形枠で目標画像の違法建築物領域を標記する。
なお、目標画像の違法建築物領域を標記することにより、違法建築物領域が所在する位置を可視化的に表示することができ、オフラインの法執行者が標記された違法建築物領域に基づいて対象を絞って法執行を行うために根拠を提供し、法執行者の作業量を削減し、違法建築物領域に対する識別効率および識別結果の正確度を向上させた。
実施例五
図５は、本発明の実施例五に係る違法建築物の識別装置の構造図である。本発明の実施例は、画像の違法建築物に対して識別を行う状況に適用され、当該装置は、ソフトウェア、又はハードウェア、又は、ソフトウェアとハードウェアにより実現可能であり、具体的には、電子機器に配置される。
図５に示すように、違法建築物識別装置５００は、
目標画像および前記目標画像に関連する参照画像を取得するように構成される画像取得モジュール５０１と、
前記目標画像の目標建築物特徴および前記参照画像の参照建築物特徴をそれぞれ抽出するように構成される建築物特徴抽出モジュール５０２と、
前記目標建築物特徴および前記参照建築物特徴に基づいて前記目標画像の違法建築物の識別結果を確定するように構成される識別結果確定モジュール５０３と、を備える。
本発明は、画像取得モジュールによって、目標画像および目標画像に関連する参照画像を取得し、建築物特徴抽出モジュールによって、目標画像の目標建築物特徴および参照画像の参照建築物特徴をそれぞれ抽出し、識別結果確定モジュールによって、目標建築物特徴および参照建築物特徴に基づいて目標画像の違法建築物の識別結果を確定する。上記技術案は、目標画像に関連する参照画像を取得することで、目標画像と参照画像とを結び付け、結び付けられた画像に対して特徴抽出を行い、これにより、参照画像の建築物特徴に基づいて、目標画像に対して違法建築物の識別を行い、違法建築物の自動識別を実現し、違法建築物の識別過程におけるデータ処理量を削減するとともに、ｓｉａｍｅｓｅ（双子）思想に基づいて、目標画像および参照画像に対して建築物特徴抽出を行い、さらに抽出された建築物特徴に基づいて違法建築物の識別を行い、識別結果の正確度を向上させる。
一実施例において、前記目標画像および前記参照画像の取得位置の距離差値が所定距離閾値より小さく、又は、前記目標画像および前記参照画像の取得角度の角度差値が所定角度閾値より小さく、又は、前記目標画像および前記参照画像の取得位置の距離差値が所定距離閾値より小さく且つ前記目標画像および前記参照画像の取得角度の角度差値が所定角度閾値より小さい。
一実施例において、建築物特徴抽出モジュール５０２は、
前記目標画像の目標基礎特徴および前記目標画像に関連する前記参照画像の参照基礎特徴をそれぞれ抽出するように構成される基礎特徴抽出ユニットと、
所定の少なくとも２つの基準で、前記目標基礎特徴および前記参照基礎特徴に対してそれぞれ特徴抽出を行い、前記少なくとの２つの基準での前記目標建築物特徴および前記参照建築物特徴が得られるように構成される建築物特徴抽出ユニットと、を備える。
一実施例において、識別結果確定モジュール５０３は、
各基準の前記目標建築物特徴および前記参照建築物特徴に対して特徴融合を行うように構成される特徴融合ユニットと、
少なくとも２つの基準での特徴融合結果に基づいて、前記目標画像の違法建築物の識別結果を確定するように構成される識別結果確定ユニットと、を備える。
一実施例において、特徴融合ユニットは、
各基準の前記目標建築物特徴及び前記参照建築物特徴に対して差演算を行い、得られた差値を当該基準での特徴融合結果とするように構成される特徴融合サブユニットを備える。
一実施例において、基礎特徴抽出ユニットは、
深層残差ネットワークに基づいて、前記目標画像の目標基礎特徴および前記目標画像に関連する前記参照画像の参照基礎特徴をそれぞれ抽出するように構成される基礎特徴抽出サブユニットを備える。
一実施例において、当該装置は、
前記参照画像の参照建築物特徴を抽出する前に、前記目標画像に基づいて前記参照画像に対して座標変換を行うように構成される座標変換モジュールをさらに備える。
ここで、前記座標変換には、収縮変換、引張変換、回転変換及び並進変換のうちの少なくとも１種が含まれる。
一実施例において、座標変換モジュールは、
前記目標画像の目標キーポイントおよび目標記述子と、前記参照画像の参照キーポイントおよび参照記述子とをそれぞれ抽出するように構成されるキーポイント抽出ユニットと、
前記目標記述子および前記参照記述子に基づいて、前記目標キーポイント及び前記参照キーポイントに対してマッチング操作を行うように構成されるキーポイントマッチングユニットと、
マッチング結果に基づいて、変換行列を確定し、前記変換行列に基づいて前記参照画像に対して座標変換を行うように構成される座標変換ユニットと、を備える。
一実施例において、識別結果確定モジュール５０３は、
前記目標建築物特徴および前記参照建築物特徴に基づいて、前記目標画像に違法建築物領域が含まれるか否かを確定するように構成される違法建築物領域確定ユニットと、
前記目標画像に違法建築物領域が含まれる場合、前記違法建築物領域の位置座標を確定するように構成される位置座標確定ユニットと、を備える。
上記違法建築物の識別装置は、本発明のいずれかの実施例に係る違法建築物の識別方法を実行可能であり、違法建築物の識別方法を実行するためのそれぞれの機能モジュールおよび有利な効果を有している。
実施例六
本発明の実施例によれば、本発明は、電子機器および可読記憶媒体をさらに提供する。
図６に示すように、本発明の実施例に係る違法建築物の識別方法を実現するための電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータおよびその他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことを意図している。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブル機器及びその他の類似的なコンピューティング機器などの様々な形態のモバイル機器を表すこともできる。本明細書に記載の構成要素、それらの接続及び関係、ならびにそれらの機能は、単に例示的なものであり、本明細書に記載又は要求される本開示の実現を制限することを意図するものではない。
図６に示すように、当該電子機器は、１つの又は複数のプロセッサ６０１と、記憶装置６０２と、および高速インターフェースと低速インターフェースを含める各構成要素の接続に用いられるインターフェースと、を備える。各構成要素は、異なるバスにより相互接続され、且つ、共通のマザーボードに設置または必要に応じてその他の形態で設置してもよい。プロセッサは、記憶装置に記憶される命令または記憶装置におけるインターフェースに結合される表示装置などの外部入力／出力装置にグラフィカルユーザインタフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ＧＵＩ）のグラフィック情報を表示するための命令を含めて、電子機器で実行される命令に対して処理を行う。別の実施形態において、必要に応じて、複数のプロセッサ又は複数のバスを複数の記憶装置と共に使用してもよく、又は、複数のサーバおよび複数のバスを複数の記憶装置と共に使用してもよい。同様に、例えば、サーバアレイ、ブレードサーバセット、又は多重プロセッサシステムとして、複数の電子機器を接続して各デバイスで必要となる一部の操作を提供してもよい。図６は１つのプロセッサ６０１を例とする。
記憶装置６０２は、本発明に係る非瞬時性コンピュータ可読記憶媒体である。本発明に係る違法建築物の識別方法を前記少なくとも１つのプロセッサに実行させるために、前記記憶装置に、前記少なくとも１つのプロセッサにより実行可能な命令が記憶されている。本発明の非瞬時性コンピュータ可読記憶媒体に、本発明に係る違法建築物の識別方法をコンピュータに実行させるためのコンピュータ命令が記憶されている。
記憶装置６０２は、非瞬時性コンピュータ可読記憶媒体として、非瞬時性ソフトウェアプログラム、非瞬時性コンピュータにより実行可能なプログラムおよびモジュールに構成され、例えば、本発明の実施例に係る違法建築物の識別方法に対応するプログラム命令／モジュール、例えば、図面５に示す画像取得モジュール５０１、建築物特徴抽出モジュール５０２および識別結果確定モジュール５０３に構成されてもよい。プロセッサ６０１は、記憶装置６０２に記憶されている非瞬時性ソフトウェアプログラム、命令およびモジュールを実行することで、サーバの様々な機能応用およびデータ処理を実行し、即ち、上記方法の実施例に係る違法建築物の識別方法を実現する。
記憶装置６０２は、プログラム記憶エリアおよびデータ記憶エリアを含んでもよいが、ここで、プログラム記憶エリアには、オペレーティングシステムと、少なくとも１つの機能に要求されるアプリケーションプログラムが記憶されてもよく、データ記憶エリアには、本発明の実施例に係る違法建築物の識別方法による電子機器の使用によって発生されるデータなどが記憶されてもよい。また、記憶装置６０２には、高速ランダムアクセスメモリが含まれてもよく、非瞬時性記憶装置、例えば、少なくとも１つのディスク記憶装置、フラッシュ記憶装置またはその他の非瞬時性固体記憶装置が含まれてもよい。いくつかの実施例において、記憶装置６０２は、代替的に、プロセッサ６０１に対して遠距離で設置される記憶装置を含んでもよいが、これらの遠距離記憶装置は、ネットワークを介して違法建築物の識別方法を実現する電子機器に接続されてもよい。上記ネットワークの例としては、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワークおよびこれらの組み合わせを含んでもよいが、これらに限定されるものではない。
違法建築物の識別方法を実現するための電子機器は、入力装置６０３および出力装置６０４をさらに備える。プロセッサ６０１と、記憶装置６０２と、入力装置６０３と、および出力装置６０４とは、バス又はその他の形態によって接続されてもよく、図６では、バスによる接続を例とする。
入力装置６０３は、入力したデータ又は文字符号情報を受信可能、且つ、違法建築物の識別方法を実現するための電子機器のユーザ設置および機能控制に関連するキー信号の入力を発生可能であり、例えば、タッチスクリーン、キーパッド、マウス、ポインティングスティック、タッチパッド、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置が挙げられる。出力装置６０４には、表示装置、補助照明デバイス機器、例えば、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＬＥＤ）、及び触覚フィードバック装置、例えば、振動モータなどが含まれてもよい。当該表示装置には、液晶（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）ディスプレイ、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＬＥＤ）ディスプレイ及びプラズマディスプレイが含まれてもよいが、これらに限定されるものではない。いくつかの実施形態において、表示装置はタッチスクリーンであってもよい。
本明細書に記載の上記システムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせによって実現可能である。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムに実施させることを含んでもよく、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行可能、又は解釈可能、又は、実行且つ解釈可能であり、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、記憶システムと、少なくとも１つの入力装置と、および少なくとも１つの出力装置とからデータおよび命令を受信し、データおよび命令を当該記憶システムと、当該少なくとも１つの入力装置と、および当該少なくとも１つの出力装置とに伝送可能である。
これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる）には、プログラマブルプロセッサの機械命令が含まれており、高レベルプロセス、又はオブジエクト向けのプログラミング言語、又はアセンブラ言語／機械言語を通じてこれらのコンピューティングプログラムを実施可能である。本明細書で使用される用語「機械可読媒体」および「コンピュータ可読媒体」とは、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、又は装置、例えば、ディスク、光ディスク、記憶装置、プログラマブルロジック機器（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ、ＰＬＤ）を指し、機械可読信号となる機械命令を受信する機械可読媒体を含む。用語「機械可読信号」とは、機械命令又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。
ユーザとの相互作用を提供するために、本明細書に記載のシステム及び技術はコンピュータに実施させてもよく、当該コンピュータは、例えば、陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、ＣＲＴ）又は液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）モニタなどのユーザに情報を表示するための表示装置と、キーボードと、例えば、マウス又はトラックボールなどのポインティングデバイス機器（Ｐｏｉｎｔｉｎｇ ｄｅｖｉｃｅ）と、を有しており、ユーザは、当該キーボード及び当該ポインティングデバイス機器を介してコンピュータに入力を提供してもよい。ユーザとの相互作用を提供するために、その他のタイプの装置を使用してもよく、例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックの任意の形態の感覚フィードバックであってもよく、音声入力又は触覚入力を含むいずれかの形態でユーザからの入力を受信してもよい。
本明細書に記載のシステムおよび技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとして）、又は、ミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又は、フロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィックスユーザインターフェース、又は、ネットワークブラウザを有するユーザコンピュータ、ユーザは当該グラフィックスユーザインターフェース又は当該ネットワークブラウザを介して本明細書に記載のシステムおよび技術の実施形態と相互作用してもよい）、又は、これらのバックエンド構成要素、ミドルウェア構成要素、又は、フロントエンド構成要素の任意の組み合わせを含むコンピューティングシステムで実施されてもよい。システムの構成要素は、任意の形態又は媒体によるデジタルデータ通信（例えば、通信ネットワーク）によって相互接続されてもよい。通信ネットワークの例には、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）、インターネットおよびブロックチェーンネットワーク（Ｂｌｏｃｋｃｈａｉｎ Ｎｅｔｗｏｒｋ）が含まれる。
コンピュータシステムは、クライアントおよびサーバを備えてもよい。クライアントとサーバは、一般に互いに遠く離れており、通常では通信ネットワークを介して相互作用を実行する。それぞれのコンピュータで稼働し、互いにクライアント‐サーバ関係を有するコンピュータプログラムによってクライアントとサーバの関係を発生する。
本発明は、目標画像および目標画像に関連する参照画像を取得し、目標画像の目標建築物特徴および参照画像の参照建築物特徴をそれぞれ抽出し、目標建築物特徴および参照建築物特徴に基づいて目標画像の違法建築物の識別結果を確定する。上記技術案は、目標画像に関連する参照画像を取得することで、目標画像と参照画像とを結び付け、結び付けられた画像に対して特徴抽出を行い、これにより、参照画像の建築物特徴に基づいて、目標画像に対して違法建築物の識別を行い、違法建築物の自動識別を実現し、違法建築物の識別過程におけるデータ処理量を削減するとともに、ｓｉａｍｅｓｅ（双子）思想に基づいて、目標画像および参照画像に対して建築物特徴抽出を行い、さらに抽出された建築物特徴に基づいて違法建築物の識別を行い、識別結果の正確度を向上させる。
なお、上記の様々な形態のプロセスを使用して、ステップを並べ替え、追加又は削除できる。例えば、本発明に記載の各ステップは、並行的に実行してもよく、順次的に実行してもよく、異なる順序で実行してもよく、本発明に開示の技術案で要望される結果が達成できる限り、本明細書において、これらに限定されるものではないことを理解されたい。
本発明は、上述した実施するための具体的な形態によって保護範囲が限定されるものではない。当業者であれば、本発明は、設計要件およびその他の要因に従って様々な修正、組み合わせ、下位組み合わせ及び代替を実行できることを認識すべきである。本発明の精神と原則の範囲内で行われるいわゆる修正、同等置換および改良等はすべて本発明の保護範囲に含まれるものである。
本発明の実施例一に係る違法建築物の識別方法のフロー図である。 本発明の実施例二に係る違法建築物の識別方法のフロー図である。 本発明の実施例三に係る違法建築物の識別方法のフロー図である。 本発明の実施例四に係る違法建築物の識別方法のフロー図である。 本発明の実施例四に係る画像マッチング過程の構造ブロック図である。 本発明の実施例四に係る参照画像の概略図である。 本発明の実施例四に係る目標画像の概略図である。 本発明の実施例四に係る変換後の参照画像の概略図である。 本発明の実施例四に係る画像検出過程の構造ブロック図である。 本発明の実施例四に係る目標画像標記結果の概略図である。 本発明の実施例五に係る違法建築物の識別装置の構造図である。 本発明の実施例に係る違法建築物の識別方法を実現するための電子機器のブロック図である。

Claims (20)

  1. 目標画像および前記目標画像に関連する参照画像を取得することと、
    前記目標画像の目標建築物特徴および前記参照画像の参照建築物特徴をそれぞれ抽出することと、
    前記目標建築物特徴および前記参照建築物特徴に基づいて前記目標画像の違法建築物の識別結果を確定することと、を含む、
    違法建築物の識別方法。
  2. 前記目標画像および前記参照画像の取得位置の距離差値が所定距離閾値より小さく、又は、
    前記目標画像および前記参照画像の取得角度の角度差値が所定角度閾値より小さく、又は、
    前記目標画像および前記参照画像の取得位置の距離差値が所定距離閾値より小さく、且つ、前記目標画像および前記参照画像の取得角度の角度差値が所定角度閾値より小さい、
    請求項１に記載の違法建築物の識別方法。
  3. 目標画像の目標建築物特徴および前記目標画像に関連する参照画像の参照建築物特徴をそれぞれ抽出することは、
    前記目標画像の目標基礎特徴および前記目標画像に関連する前記参照画像の参照基礎特徴をそれぞれ抽出することと、
    所定の少なくとも２つの基準で、前記目標基礎特徴および前記参照基礎特徴に対してそれぞれ特徴抽出を行い、前記少なくとの２つの基準での前記目標建築物特徴および前記参照建築物特徴を得ることと、を含む、
    請求項１に記載の違法建築物の識別方法。
  4. 前記目標建築物特徴および前記参照建築物特徴に基づいて前記目標画像の違法建築物の識別結果を確定することは、
    各基準の前記目標建築物特徴および前記参照建築物特徴に対して特徴融合を行うことと、
    少なくとも２つの基準での特徴融合結果に基づいて、前記目標画像の違法建築物の識別結果を確定することと、を含む、
    請求項３に記載の違法建築物の識別方法。
  5. 各基準の前記目標建築物特徴および前記参照建築物特徴に対して特徴融合を行うことは、
    各基準の前記目標建築物特徴及び前記参照建築物特徴に対して差演算を行い、得られた差値を当該基準での特徴融合結果とすることを含む、
    請求項３に記載の違法建築物の識別方法。
  6. 前記目標画像の目標基礎特徴および前記目標画像に関連する前記参照画像の参照基礎特徴をそれぞれ抽出することは、
    深層残差ネットワークに基づいて、前記目標画像の目標基礎特徴および前記目標画像に関連する前記参照画像の参照基礎特徴をそれぞれ抽出することを含む、
    請求項３に記載の違法建築物の識別方法。
  7. 前記参照画像の参照建築物特徴を抽出する前に、
    前記目標画像に基づいて前記参照画像に対して座標変換を行うことをさらに含み、
    前記座標変換に、収縮変換、引張変換、回転変換及び並進変換のうちの少なくとも１種が含まれる、
    請求項１～６のいずれか１項に記載の違法建築物の識別方法。
  8. 前記目標画像に基づいて前記参照画像に対して座標変換を行うことは、
    前記目標画像の目標キーポイントおよび目標記述子と、前記参照画像の参照キーポイントおよび参照記述子とをそれぞれ抽出することと、
    前記目標記述子および前記参照記述子に基づいて、前記目標キーポイント及び前記参照キーポイントに対してマッチング操作を行うことと、
    マッチング結果に基づいて、変換行列を確定し、前記変換行列に基づいて前記参照画像に対して座標変換を行うことと、を含む、
    請求項７に記載の違法建築物の識別方法。
  9. 前記目標画像の違法建築物の識別結果を確定することは、
    前記目標画像に違法建築物領域が含まれるか否かを確定することと、
    前記目標画像に違法建築物領域が含まれる場合、前記違法建築物領域の位置座標を確定することと、を含む、
    請求項１に記載の違法建築物の識別方法。
  10. 目標画像および前記目標画像に関連する参照画像を取得するように構成される画像取得モジュールと、
    前記目標画像の目標建築物特徴および前記参照画像の参照建築物特徴をそれぞれ抽出するように構成される建築物特徴抽出モジュールと、
    前記目標建築物特徴および前記参照建築物特徴に基づいて前記目標画像の違法建築物の識別結果を確定するように構成される識別結果確定モジュールと、を備える、
    違法建築物の識別装置。
  11. 前記目標画像および前記参照画像の取得位置の距離差値が所定距離閾値より小さく、又は、
    前記目標画像および前記参照画像の取得角度の角度差値が所定角度閾値より小さく、又は、
    前記目標画像および前記参照画像の取得位置の距離差値が所定距離閾値より小さく、且つ、前記目標画像および前記参照画像の取得角度の角度差値が所定角度閾値より小さい、
    請求項１０に記載の違法建築物の識別装置。
  12. 建築物特徴抽出モジュールは、
    前記目標画像の目標基礎特徴および前記目標画像に関連する前記参照画像の参照基礎特徴をそれぞれ抽出するように構成される基礎特徴抽出ユニットと、
    所定の少なくとも２つの基準で、前記目標基礎特徴および前記参照基礎特徴に対してそれぞれ特徴抽出を行い、前記少なくとの２つの基準での前記目標建築物特徴および前記参照建築物特徴を取得するように構成される建築物特徴抽出ユニットと、を備える、
    請求項１０に記載の違法建築物の識別装置。
  13. 識別結果確定モジュールは、
    各基準の前記目標建築物特徴および前記参照建築物特徴に対して特徴融合を行うように構成される特徴融合ユニットと、
    少なくとも２つの基準での特徴融合結果に基づいて、前記目標画像の違法建築物の識別結果を確定するように構成される識別結果確定ユニットと、を備える、
    請求項１２に記載の違法建築物の識別装置。
  14. 特徴融合ユニットは、
    各基準の前記目標建築物特徴及び前記参照建築物特徴に対して差演算を行い、得られた差値を当該基準での特徴融合結果とするように構成される特徴融合サブユニットを備える、
    請求項１３に記載の違法建築物の識別装置。
  15. 基礎特徴抽出ユニットは、
    深層残差ネットワークに基づいて、前記目標画像の目標基礎特徴および前記目標画像に関連する前記参照画像の参照基礎特徴をそれぞれ抽出するように構成される基礎特徴抽出サブユニットを備える、
    請求項１２に記載の違法建築物の識別装置。
  16. 前記参照画像の参照建築物特徴を抽出する前に、前記目標画像に基づいて前記参照画像に対して座標変換を行うように構成される座標変換モジュールをさらに備え、
    前記座標変換に、収縮変換、引張変換、回転変換及び並進変換のうちの少なくとも１種が含まれる、
    請求項１０～１５のいずれか１項に記載の違法建築物の識別装置。
  17. 座標変換モジュールは、
    前記目標画像の目標キーポイントおよび目標記述子と、前記参照画像の参照キーポイントおよび参照記述子とをそれぞれ抽出するように構成されるキーポイント抽出ユニットと、
    前記目標記述子および前記参照記述子に基づいて、前記目標キーポイント及び前記参照キーポイントに対してマッチング操作を行うように構成されるキーポイントマッチングユニットと、
    マッチング結果に基づいて、変換行列を確定し、前記変換行列に基づいて前記参照画像に対して座標変換を行うように構成される座標変換ユニットと、を備える、
    請求項１６に記載の違法建築物の識別装置。
  18. 識別結果確定モジュールは、
    前記目標建築物特徴および前記参照建築物特徴に基づいて、前記目標画像に違法建築物領域が含まれるか否かを確定するように構成される違法建築物領域確定ユニットと、
    前記目標画像に違法建築物領域が含まれる場合、前記違法建築物領域の位置座標を確定するように構成される位置座標確定ユニットと、を備える、
    請求項１０に記載の違法建築物の識別装置。
  19. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信接続される記憶装置と、を備え、
    前記記憶装置に前記少なくとも１つのプロセッサにより実行可能な命令が記憶され、
    前記命令は、前記少なくとも１つのプロセッサが請求項１～９のいずれか１項に記載の違法建築物の識別方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
    電子機器。
  20. 請求項１～９のいずれか１項に記載の違法建築物の識別方法をコンピュータに実行させるためのコンピュータ命令が記憶されている、
    非瞬時性コンピュータ可読記憶媒体。
JP2021551984A 2020-03-27 2020-11-12 違法建築物の識別方法、装置、機器および記憶媒体 Pending JP2022529876A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010231088.3 2020-03-27
CN202010231088.3A CN111460967B (zh) 2020-03-27 2020-03-27 一种违法建筑识别方法、装置、设备及存储介质
PCT/CN2020/128257 WO2021189870A1 (zh) 2020-03-27 2020-11-12 违法建筑识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
JP2022529876A true JP2022529876A (ja) 2022-06-27

Family

ID=71680219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021551984A Pending JP2022529876A (ja) 2020-03-27 2020-11-12 違法建築物の識別方法、装置、機器および記憶媒体

Country Status (6)

Country Link
US (1) US20230005257A1 (ja)
EP (1) EP3916629A4 (ja)
JP (1) JP2022529876A (ja)
KR (1) KR20210116665A (ja)
CN (1) CN111460967B (ja)
WO (1) WO2021189870A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460967B (zh) * 2020-03-27 2024-03-22 北京百度网讯科技有限公司 一种违法建筑识别方法、装置、设备及存储介质
CN111950493B (zh) * 2020-08-20 2024-03-08 华北电力大学 图像识别方法、装置、终端设备和可读存储介质
CN112414374A (zh) * 2020-10-27 2021-02-26 江苏科博空间信息科技有限公司 基于无人机违法用地勘测系统
CN112967264A (zh) * 2021-03-19 2021-06-15 深圳市商汤科技有限公司 缺陷检测方法及装置、电子设备和存储介质
CN113920425A (zh) * 2021-09-03 2022-01-11 佛山中科云图智能科技有限公司 一种基于神经网络模型的目标违建点获取方法和获取系统
CN115049935B (zh) * 2022-08-12 2022-11-11 松立控股集团股份有限公司 一种城市违章建筑分割检测方法
US11869260B1 (en) * 2022-10-06 2024-01-09 Kargo Technologies Corporation Extracting structured data from an image
CN116070314B (zh) * 2022-12-16 2024-01-09 二十一世纪空间技术应用股份有限公司 一种自适应形状特征优化的建筑物矢量化简方法和装置
CN116385651A (zh) * 2023-04-10 2023-07-04 北京百度网讯科技有限公司 图像处理方法、神经网络模型的训练方法、装置和设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5962497B2 (ja) * 2012-12-25 2016-08-03 富士通株式会社 画像処理方法、画像処理装置および画像処理プログラム
CN104331682B (zh) * 2014-10-11 2018-11-30 东南大学 一种基于傅里叶描述子的建筑物自动识别方法
CN107092871B (zh) * 2017-04-06 2018-01-16 重庆市地理信息中心 基于多尺度多特征融合的遥感影像建筑物检测方法
CN108805864A (zh) * 2018-05-07 2018-11-13 广东省电信规划设计院有限公司 基于图像数据的违章建筑物的获取方法以及装置
CN109145812A (zh) * 2018-08-20 2019-01-04 贵州宜行智通科技有限公司 违建监测方法及装置
TWI680440B (zh) * 2018-08-31 2019-12-21 雲云科技股份有限公司 判斷使用者之姿勢之影像偵測方法以及影像偵測裝置
CN109753928B (zh) * 2019-01-03 2022-03-29 北京百度网讯科技有限公司 违章建筑物识别方法和装置
CN110032983B (zh) * 2019-04-22 2023-02-17 扬州哈工科创机器人研究院有限公司 一种基于orb特征提取和flann快速匹配的轨迹识别方法
CN110675408A (zh) * 2019-09-19 2020-01-10 成都数之联科技有限公司 基于深度学习的高分辨率影像建筑物提取方法及系统
CN111460967B (zh) * 2020-03-27 2024-03-22 北京百度网讯科技有限公司 一种违法建筑识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111460967B (zh) 2024-03-22
US20230005257A1 (en) 2023-01-05
EP3916629A1 (en) 2021-12-01
KR20210116665A (ko) 2021-09-27
CN111460967A (zh) 2020-07-28
EP3916629A4 (en) 2022-05-11
WO2021189870A1 (zh) 2021-09-30

Similar Documents

Publication Publication Date Title
JP2022529876A (ja) 違法建築物の識別方法、装置、機器および記憶媒体
US20220139014A1 (en) Overlay contrast control in augmented reality displays
KR20210038445A (ko) 교통 신호등 신호의 제어 방법, 장치, 기기 및 저장매체
CN109766879B (zh) 字符检测模型的生成、字符检测方法、装置、设备及介质
CN105518712B (zh) 基于字符识别的关键词通知方法及设备
WO2021143739A1 (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
US10152815B2 (en) Overlay emphasis modification in augmented reality displays
EP3951741A2 (en) Method for acquiring traffic state, relevant apparatus, roadside device and cloud control platform
JP7390454B2 (ja) 画像生成方法、装置、電子機器及び記憶媒体
CN111833423A (zh) 展示方法、装置、设备和计算机可读存储介质
KR20220002063A (ko) 이미지를 처리하는 방법, 장치, 기기, 저장 매체 및 프로그램
CN113408662A (zh) 图像识别、图像识别模型的训练方法和装置
CN108665769B (zh) 基于卷积神经网络的网络教学方法以及装置
JP2023531759A (ja) 車線境界線検出モデルの訓練方法、車線境界線検出モデルの訓練装置、電子機器、記憶媒体及びコンピュータプログラム
WO2024093641A1 (zh) 多模态融合的高精地图要素识别方法、装置、设备及介质
Ouali et al. Architecture for real-time visualizing arabic words with diacritics using augmented reality for visually impaired people
Yi et al. The model of face recognition in video surveillance based on cloud computing
CN113784045B (zh) 聚焦互动方法、装置、介质和电子设备
US20230298373A1 (en) Detecting graphical elements in charts using predicted heatmaps
CN115937993A (zh) 活体检测模型训练方法、活体检测方法、装置和电子设备
KR101314687B1 (ko) 시선 경로 제공장치 및 시선 경로 제공방법
CN112542172A (zh) 基于在线会议的沟通辅助方法、装置、设备及介质
US11835356B2 (en) Intelligent transportation road network acquisition method and apparatus, electronic device and storage medium
TWI814503B (zh) 深度識別模型訓練方法、圖像深度識別方法及相關設備
CN114881063A (zh) 图形化信息解析方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230306

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230711