CN111754536B - 图像标注方法、装置、电子设备及存储介质 - Google Patents

图像标注方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111754536B
CN111754536B CN202010611570.XA CN202010611570A CN111754536B CN 111754536 B CN111754536 B CN 111754536B CN 202010611570 A CN202010611570 A CN 202010611570A CN 111754536 B CN111754536 B CN 111754536B
Authority
CN
China
Prior art keywords
building
image
remote sensing
contour
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010611570.XA
Other languages
English (en)
Other versions
CN111754536A (zh
Inventor
李唯嘉
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202010611570.XA priority Critical patent/CN111754536B/zh
Publication of CN111754536A publication Critical patent/CN111754536A/zh
Priority to PCT/CN2021/084175 priority patent/WO2022001256A1/zh
Priority to KR1020217035938A priority patent/KR20220004074A/ko
Priority to JP2021565978A priority patent/JP2022541977A/ja
Priority to US17/886,565 priority patent/US20220392239A1/en
Application granted granted Critical
Publication of CN111754536B publication Critical patent/CN111754536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种图像标注方法、装置、电子设备及存储介质，该方法包括：获取遥感图像；基于所述遥感图像，确定所述遥感图像中至少一个建筑物分别对应的局部二值图像以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息，其中，所述方向角信息用于指示所述轮廓像素点所在的轮廓边与预设基准方向之间的角度信息；基于所述至少一个建筑物对应的所述局部二值图像以及所述方向角信息，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像。

Description

图像标注方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉技术领域，具体而言，涉及一种图像标注方法、装置、电子设备及存储介质。
背景技术
建筑物轮廓提取可以为城市规划、环境管理、地理信息更新等方面提供重要的基础信息。目前，由于建筑物的形状较为多样及复杂，使得全自动的建筑物轮廓提取方法的准确度较低，难以满足实际应用需求，不能取代传统的人工标注方法。但是，人工标注建筑物多边形是一个费时费力的工作，并且通常由专业的遥感图像解译人员完成，使得人工标注方法的效率较低。
因此，提出一种兼顾标注准确度和标注效率的方法至关重要。
发明内容
有鉴于此，本公开至少提供一种图像标注方法、装置、电子设备及存储介质。
第一方面，本公开提供了一种图像标注方法，包括：
获取遥感图像；
基于所述遥感图像，确定所述遥感图像中至少一个建筑物分别对应的局部二值图像以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息，其中，所述方向角信息用于指示所述轮廓像素点所在的轮廓边与预设基准方向之间的角度信息；
基于所述至少一个建筑物对应的所述局部二值图像以及所述方向角信息，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像。
采用上述方法，通过确定遥感图像中至少一个建筑物分别对应的局部二值图像以及局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息，其中，方向角信息用于指示轮廓像素点所在的轮廓边与预设基准方向之间的角度信息；基于至少一个建筑物对应的局部二值图像以及方向角信息，生成标注有遥感图像中至少一个建筑物的多边形轮廓的标注图像，实现了自动生成标注有遥感图像中至少一个建筑物的多边形轮廓的标注图像，提高了建筑物标注的效率；同时，由于位于建筑物的边缘轮廓上的顶点位置处的像素点与相邻像素点之间位于不同的轮廓边上，不同的轮廓边对应不同的方向，故通过建筑物对应的局部二值图像以及方向角信息，可以校准确的确定建筑物的顶点位置，进而可以较准确的生成标注图像。
一种可能的实施方式中，所述基于所述遥感图像，确定所述遥感图像中至少一个建筑物分别对应的局部二值图像以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息，包括：
基于所述遥感图像以及已训练的第一图像分割神经网络，获取所述遥感图像的全局二值图像、所述全局二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息、以及至少一个建筑物的边界框的边界框信息；
基于所述边界框信息、所述全局二值图像、所述全局二值图像中位于建筑物轮廓上的轮廓像素点对应的方向角信息、和所述遥感图像，确定所述遥感图像中至少一个建筑物对应的局部二值图像、以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息。
上述实施方式中，通过已训练的第一图像分割神经网络，确定遥感图像的全局二值图像、全局二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息、以及至少一个建筑物的边界框的边界框信息，进而可以得到每个建筑物对应的局部二值图像、以及局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息，为后续生成标注图像提供了数据支持。
一种可能的实施方式中，根据以下方式确定所述遥感图像中至少一个建筑物对应的局部二值图像、以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息：
基于所述边界框信息，从所述至少一个边界框中选择尺寸大于预设尺寸阈值的第一边界框；
基于所述第一边界框的边界框信息，从所述全局二值图像中截取得到所述第一边界框内的建筑物的局部二值图像，并从所述全局二值图像对应的所述方向角信息中提取所述第一边界框对应的所述方向角信息。
一种可能的实施方式中，根据以下方式确定所述遥感图像中至少一个建筑物对应的局部二值图像、以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息：
基于所述边界框信息，从所述至少一个边界框中选择尺寸小于或等于预设尺寸阈值的第二边界框；
基于所述第二边界框的边界框信息，从所述遥感图像中截取得到所述第二边界框对应的局部遥感图像；
基于所述局部遥感图像和已训练的第二图像分割神经网络，获取所述局部遥感图像对应的所述建筑物的局部二值图像、以及所述局部遥感图像对应的局部二值图像中位于所述建筑物轮廓上的轮廓像素点的方向角信息。
一般的，神经网络的输入数据的尺寸为设置好，若建筑物的边界框的尺寸较大时，则需要将边界框的尺寸通过缩小、裁剪等方式调整为设置好的尺寸值，会导致边界框中的信息丢失，进而降低了边界框中建筑物的检测准确度。故为了解决上述问题，上述实施方式中，通过基于边界框的尺寸，将建筑物的边界框分为尺寸大于预设尺寸阈值的第一边界框和尺寸小于预设尺寸阈值的第二边界框，通过第一图像分割神经网络的检测结果，确定第一边界框中的建筑物对应的局部二值图像和方向角信息，以及通过第二图像分割神经网络的检测结果，确定第二边界框中的建筑物对应的局部二值图像和方向角信息，使得建筑物的检测结果较为准确。
一种可能的实施方式中，在获取所述至少一个边界框的边界框信息之后，还包括：
基于所述遥感图像，以及所述至少一个边界框的边界框信息，生成标注有所述至少一个边界框的第一标注遥感图像；
响应作用于所述第一标注遥感图像上的边界框调整操作，得到调整后的边界框的边界框信息。
这里，在得到至少一个边界框的边界框信息之后，可以生成第一标注遥感图像，使得标注员可以对第一标注遥感图像上的边界框进行调整操作，比如删除冗余的边界框、增加缺失的边界框等，提高边界框信息的准确度，进而可以提高后续得到的标注图像的准确度；且边界框的调整操作简单、易操作、耗时少，边界框调整操作的效率较高。
一种可能的实施方式中，通过下述步骤训练所述第一图像分割神经网络：
获取携带有标注结果的第一遥感图像样本，所述第一遥感图像样本中包括至少一个建筑物的图像，所述标注结果中包括标注的至少一个建筑物的轮廓信息、所述第一遥感图像样本的二值图像、以及所述第一遥感图像样本中每个像素点对应的方向角信息；
将所述第一遥感图像样本输入至待训练的第一神经网络中，得到所述第一遥感图像样本对应的预测结果；基于所述预测结果以及所述标注结果，对所述待训练的第一神经网络进行训练，训练完成后得到所述第一图像分割神经网络。
上述方式中，通过获取第一遥感图像样本对第一神经网络进行训练，训练完成后得到第一图像分割神经网络，实现了通过第一图像分割神经网络，确定第一边界框中建筑物的局部二值图像和方向角信息。
一种可能的实施方式中，通过下述步骤训练所述第二图像分割神经网络：
获取携带有标注结果的第二遥感图像样本，每个所述第二遥感图像样本为从所述第一遥感图像样本中截取的目标建筑物的区域图像，所述标注结果中包括所述目标建筑物在所述区域图像中的轮廓信息、所述第二遥感图像样本的二值图像、以及所述第二遥感图像样本中每个像素点对应的方向角信息；
将所述第二遥感图像样本输入至待训练的第二神经网络中，得到所述第二遥感图像样本对应的预测结果；基于所述预测结果以及所述标注结果，对所述待训练的第二神经网络进行训练，训练完成后得到所述第二图像分割神经网络。
上述方式中，通过从第一遥感图像样本中截取得到第二遥感图像，使用获取的第二遥感图像样本对第二神经网络进行训练，训练完成后得到第二图像分割神经网络，实现了通过第二图像分割神经网络，确定第二边界框中建筑物的局部二值图像和方向角信息。
一种可能的实施方式中，所述基于所述至少一个建筑物对应的所述局部二值图像以及所述方向角信息，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像，包括：
针对每个建筑物，基于该建筑物对应的所述局部二值图像、以及所述局部二值图像中位于该建筑物轮廓上的轮廓像素点对应的方向角信息，确定由该建筑物多边形轮廓的多个顶点位置构成的顶点位置集合；
基于各个建筑物分别对应的顶点位置集合，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像。
上述实施方式下，由于位于建筑物的顶点位置处的像素点与相邻像素点之间位于不同的轮廓边上，不同的轮廓边对应不同的方向，故可以通过每个建筑物对应的局部二值图像以及方向角信息，较准确的确定建筑物的顶点位置集合，该顶点位置集合中包括建筑物的多边形轮廓上的每个顶点的位置，进而可以基于得到顶点位置集合，较准确的生成标注图像。
一种可能的实施方式中，在基于各个建筑物分别对应的顶点位置集合，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像之前，还包括：
基于已训练的顶点修正神经网络，对确定的所述顶点位置集合中的每个顶点的位置进行修正。
在上述实施方式下，还可以通过训练得到的顶点修正神经网络，对顶点位置集合中的每个顶点的位置进行修正，使得修正后的每个顶点的位置与真实位置更相符，进而基于各个建筑物分别对应的修正后的顶点位置集合，可以得到准确度较高的标注图像。
一种可能的实施方式中，所述基于各个建筑物分别对应的顶点位置集合，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像之后，所述方法还包括：
响应作用于所述标注图像上的顶点位置调整操作，对任一顶点的顶点位置进行调整。
这里，还可以对标注图像上的任一顶点的顶点位置进行调整操作，提高了顶点位置调整操作后的标注图像的准确度。
一种可能的实施方式中，所述基于该建筑物对应的所述局部二值图像、以及所述局部二值图像中位于该建筑物轮廓上的轮廓像素点对应的方向角信息，确定由该建筑物多边形轮廓的多个顶点位置构成的顶点位置集合，包括：
从所述局部二值图像中的建筑物轮廓上选取多个像素点；
针对所述多个像素点中的每个像素点，基于该像素点对应的方向角信息以及该像素点对应的相邻像素点的方向角信息，确定该像素点是否属于建筑物多边形轮廓的顶点；
将确定的属于顶点的各个像素点的位置，构成该建筑物对应的顶点位置集合。
上述实施方式中，可以通过在建筑物轮廓上选取多个像素点，判断每个像素点是否为顶点，进而基于属于顶点的各个像素点的位置，生成了建筑物对应的顶点位置集合，为后续生成标注图像提供了数据支持。
一种可能的实施方式中，基于该像素点对应的方向角信息以及该像素点对应的相邻像素点的方向角信息，确定该像素点是否属于建筑物多边形轮廓的顶点，包括：
若该像素点的方向角信息与所述相邻像素点的方向角信息之间的差异满足设定条件，则确定该像素点属于建筑物多边形轮廓的顶点。
上述实施方式中，在像素点的方向角信息与相邻像素点的方向角信息黄子健的差异满足设定条件时，则确定该像素点属于建筑物多边形轮廓的顶点，确定顶点的过程较为简单，耗时少。
一种可能的实施方式中，在标注的每个像素点对应的所述方向角信息为方向类型信息的情况下，根据以下步骤获取每个像素点对应的所述方向类型信息：
确定该像素点所在的轮廓边与设置的基准方向之间的目标角度；
根据不同方向类型信息与角度范围之间的对应关系、和所述目标角度，确定该像素点对应的方向类型信息。
这里，通过像素点的目标角度与设置的不同方向类型与角度范围之间的对应关系，确定像素点对应的方向类型信息，像素点的方向类型信息的确定过程简单、快速。
以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。
第二方面，本公开提供了一种图像标注装置，包括：
获取模块，用于获取遥感图像；
确定模块，用于基于所述遥感图像，确定所述遥感图像中至少一个建筑物分别对应的局部二值图像以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息，其中，所述方向角信息用于指示所述轮廓像素点所在的轮廓边与预设基准方向之间的角度信息；
生成模块，用于基于所述至少一个建筑物对应的所述局部二值图像以及所述方向角信息，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像。
一种可能的实施方式中，所述确定模块，在基于所述遥感图像，确定所述遥感图像中至少一个建筑物分别对应的局部二值图像以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息时，用于：
基于所述遥感图像以及已训练的第一图像分割神经网络，获取所述遥感图像的全局二值图像、所述全局二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息、以及至少一个建筑物的边界框的边界框信息；
基于所述边界框信息、所述全局二值图像、所述全局二值图像中位于建筑物轮廓上的轮廓像素点对应的方向角信息、和所述遥感图像，确定所述遥感图像中至少一个建筑物对应的局部二值图像、以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息。
一种可能的实施方式中，所述确定模块，用于根据以下方式确定所述遥感图像中至少一个建筑物对应的局部二值图像、以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息：
基于所述边界框信息，从所述至少一个边界框中选择尺寸大于预设尺寸阈值的第一边界框；
基于所述第一边界框的边界框信息，从所述全局二值图像中截取得到所述第一边界框内的建筑物的局部二值图像，并从所述全局二值图像对应的所述方向角信息中提取所述第一边界框对应的所述方向角信息。
一种可能的实施方式中，所述确定模块，还用于根据以下方式确定所述遥感图像中至少一个建筑物对应的局部二值图像、以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息：
基于所述边界框信息，从所述至少一个边界框中选择尺寸小于或等于预设尺寸阈值的第二边界框；
基于所述第二边界框的边界框信息，从所述遥感图像中截取得到所述第二边界框对应的局部遥感图像；
基于所述局部遥感图像和已训练的第二图像分割神经网络，获取所述局部遥感图像对应的所述建筑物的局部二值图像、以及所述局部遥感图像对应的局部二值图像中位于所述建筑物轮廓上的轮廓像素点的方向角信息。
一种可能的实施方式中，在获取所述至少一个边界框的边界框信息之后，还包括：边界框调整模块；
所述边界框调整模块，用于基于所述遥感图像，以及所述至少一个边界框的边界框信息，生成标注有所述至少一个边界框的第一标注遥感图像；响应作用于所述第一标注遥感图像上的边界框调整操作，得到调整后的边界框的边界框信息。
一种可能的实施方式中，所述确定模块，用于通过下述步骤训练所述第一图像分割神经网络：
获取携带有标注结果的第一遥感图像样本，所述第一遥感图像样本中包括至少一个建筑物的图像，所述标注结果中包括标注的至少一个建筑物的轮廓信息、所述第一遥感图像样本的二值图像、以及所述第一遥感图像样本中每个像素点对应的方向角信息；
将所述第一遥感图像样本输入至待训练的第一神经网络中，得到所述第一遥感图像样本对应的预测结果；基于所述预测结果以及所述标注结果，对所述待训练的第一神经网络进行训练，训练完成后得到所述第一图像分割神经网络。
一种可能的实施方式中，所述确定模块，用于通过下述步骤训练所述第二图像分割神经网络：
获取携带有标注结果的第二遥感图像样本，每个所述第二遥感图像样本为从所述第一遥感图像样本中截取的目标建筑物的区域图像，所述标注结果中包括所述目标建筑物在所述区域图像中的轮廓信息、所述第二遥感图像样本的二值图像、以及所述第二遥感图像样本中每个像素点对应的方向角信息；
将所述第二遥感图像样本输入至待训练的第二神经网络中，得到所述第二遥感图像样本对应的预测结果；基于所述预测结果以及所述标注结果，对所述待训练的第二神经网络进行训练，训练完成后得到所述第二图像分割神经网络。
一种可能的实施方式中，所述生成模块，在基于所述至少一个建筑物对应的所述局部二值图像以及所述方向角信息，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像时，用于：
针对每个建筑物，基于该建筑物对应的所述局部二值图像、以及所述局部二值图像中位于该建筑物轮廓上的轮廓像素点对应的方向角信息，确定由该建筑物多边形轮廓的多个顶点位置构成的顶点位置集合；
基于各个建筑物分别对应的顶点位置集合，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像。
一种可能的实施方式中，在基于各个建筑物分别对应的顶点位置集合，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像之前，还包括：顶点位置修正模块；
所述顶点位置修正模块，用于基于已训练的顶点修正神经网络，对确定的所述顶点位置集合中的每个顶点的位置进行修正。
一种可能的实施方式中，所述基于各个建筑物分别对应的顶点位置集合，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像之后，所述装置还包括：顶点位置调整模块；
所述顶点位置调整模块，用于响应作用于所述标注图像上的顶点位置调整操作，对任一顶点的顶点位置进行调整。
一种可能的实施方式中，所述生成模块，在基于该建筑物对应的所述局部二值图像、以及所述局部二值图像中位于该建筑物轮廓上的轮廓像素点对应的方向角信息，确定由该建筑物多边形轮廓的多个顶点位置构成的顶点位置集合时，用于：
从所述局部二值图像中的建筑物轮廓上选取多个像素点；
针对所述多个像素点中的每个像素点，基于该像素点对应的方向角信息以及该像素点对应的相邻像素点的方向角信息，确定该像素点是否属于建筑物多边形轮廓的顶点；
将确定的属于顶点的各个像素点的位置，构成该建筑物对应的顶点位置集合。
一种可能的实施方式中，所述生成模块，在基于该像素点对应的方向角信息以及该像素点对应的相邻像素点的方向角信息，确定该像素点是否属于建筑物多边形轮廓的顶点时，用于：
若该像素点的方向角信息与所述相邻像素点的方向角信息之间的差异满足设定条件，则确定该像素点属于建筑物多边形轮廓的顶点。
一种可能的实施方式中，在标注的每个像素点对应的所述方向角信息为方向类型信息的情况下，所述确定模块，用于根据以下步骤获取每个像素点对应的所述方向类型信息：
确定该像素点所在的轮廓边与设置的基准方向之间的目标角度；
根据不同方向类型信息与角度范围之间的对应关系、和所述目标角度，确定该像素点对应的方向类型信息。
第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的图像标注方法的步骤。
第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的图像标注方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种图像标注方法的流程示意图；
图2示出了本公开实施例所提供的一种建筑物多边形轮廓的示意图；
图3示出了本公开实施例所提供的一种图像标注装置的架构示意图；
图4示出了本公开实施例所提供的一种电子设备400的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
一般的，由于全自动的建筑物提取方法的准确度较低，难以满足实际应用需求，故全自动的建筑物提取方法不能取代传统的人工标注方法，被广泛应用。而传统的人工标注建筑物多边形的方法是一个费时费力的工作，并且通常由专业的遥感图像解译人员完成，使得人工标注方法的效率较低。
为了解决上述问题，本公开实施例提供了一种图像标注方法，在保障建筑物标注准确度的情况下，提高了建筑物标注的效率。
为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种图像标注方法进行详细介绍。
本公开实施例提供的图像标注方法可应用于终端设备，也可以应用于服务器。其中，终端设备可以是电脑、智能手机、平板电脑等，本公开对此并不限定。
参见图1所示，为本公开实施例所提供的图像标注方法的流程示意图，该方法包括S101-S103，其中：
S101，获取遥感图像。
S102，基于遥感图像，确定遥感图像中至少一个建筑物分别对应的局部二值图像以及局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息，其中，方向角信息用于指示轮廓像素点所在的轮廓边与预设基准方向之间的角度信息。
S103，基于至少一个建筑物对应的局部二值图像以及方向角信息，生成标注有遥感图像中至少一个建筑物的多边形轮廓的标注图像。
上述方法中，通过确定遥感图像中至少一个建筑物分别对应的局部二值图像以及局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息，其中，方向角信息用于指示轮廓像素点所在的轮廓边与预设基准方向之间的角度信息；基于至少一个建筑物对应的局部二值图像以及方向角信息，生成标注有遥感图像中至少一个建筑物的多边形轮廓的标注图像，实现了自动生成标注有遥感图像中至少一个建筑物的多边形轮廓的标注图像，提高了建筑物标注的效率。
同时，由于位于建筑物的边缘轮廓上的顶点位置处的像素点与相邻像素点之间位于不同的轮廓边上，不同的轮廓边对应不同的方向，故通过建筑物对应的局部二值图像以及方向角信息，可以校准确的确定建筑物的顶点位置，进而可以较准确的生成标注图像。
针对S101以及S102：
这里，遥感图像可以为记录有至少一个建筑物的图像。在获取了遥感图像之后，确定该遥感图像中包括的每个建筑物对应的局部二值图像，以及该局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息。比如，每个建筑物对应的局部二值图像中，建筑物对应区域中像素点的像素值可以为1，局部二值图像中除建筑物对应区域之外的背景区域中像素点的像素值可以为0。其中，方向角信息用于指示轮廓像素点所在的轮廓边与预设基准方向之间的角度信息。
作为一可选实施方式，基于遥感图像，确定遥感图像中至少一个建筑物分别对应的局部二值图像以及局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息，可以包括：
A1，基于遥感图像以及已训练的第一图像分割神经网络，获取遥感图像的全局二值图像、全局二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息、以及至少一个建筑物的边界框的边界框信息。
A2，基于边界框信息、全局二值图像、全局二值图像中位于建筑物轮廓上的轮廓像素点对应的方向角信息、和遥感图像，确定遥感图像中至少一个建筑物对应的局部二值图像、以及局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息。
上述实施方式中，通过已训练的第一图像分割神经网络，确定遥感图像的全局二值图像、全局二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息、以及至少一个建筑物的边界框的边界框信息，进而可以得到每个建筑物对应的局部二值图像、以及局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息，为后续生成标注图像提供了数据支持。
在步骤A1中，可以将遥感图像输入至已训练的第一图像分割神经网络中，得到遥感图像的全局二值图像、全局二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息、以及至少一个建筑物的边界框的边界框信息。
示例性的，全局二值图像与遥感图像的尺寸相同，全局二值图像可以为建筑物区域中像素点的像素值为1，除建筑物区域之外的背景区域中的像素点的像素值为0的二值图像。建筑物轮廓上的轮廓像素点的方向角信息可以为该轮廓像素点所处的轮廓边与设置的方向之间的角度，比如，轮廓像素点A的方向角信息可以为180°，轮廓像素点B的方向角信息可以为250°；或者，建筑物轮廓上的轮廓像素点的方向角信息还可以该轮廓像素点对应的方向类型，比如，轮廓像素点A的方向角信息可以为第19方向类型，轮廓像素点B的方向角信息可以为第26方向类型；其中，该方向类型可以为通过该轮廓像素点所处的轮廓边与设置的方向之间的角度确定得到的。
示例性的，还可以根据全局二值图像中包括的每个建筑物的轮廓信息，确定每个建筑物的边界框，该边界框可以为包围建筑物的轮廓区域的正方形框。在具体实施时，可以确定建筑物在长度方向上的第一尺寸最大值、和在宽度方向的第二尺寸最大值，将第一尺寸最大值和第二尺寸最大值中较大的值，确定为该建筑物的边界框的尺寸值。其中该边界框的边界框信息中可以包括边界框的尺寸信息和边界框的位置信息等。
可以通过下述步骤训练第一图像分割神经网络，得到已训练的第一图像分割神经网络：
B1、获取携带有标注结果的第一遥感图像样本，第一遥感图像样本中包括至少一个建筑物的图像，标注结果中包括标注的至少一个建筑物的轮廓信息、第一遥感图像样本的二值图像、以及第一遥感图像样本中每个像素点对应的方向角信息。
B2、将第一遥感图像样本输入至待训练的第一神经网络中，得到第一遥感图像样本对应的预测结果；基于预测结果以及标注结果，对待训练的第一神经网络进行训练，训练完成后得到第一图像分割神经网络。
针对步骤B1，获取的第一遥感图像中包括一个或多个建筑物的图像，标注结果中包括：第一遥感图像样本中的每个建筑物的轮廓信息、第一遥感图像样本的二值图像、以及第一遥感图像样本中每个像素点对应的方向角信息。
其中，第一遥感图像样本中位于建筑物边缘轮廓上的像素点的方向角信息，可以根据该像素点所处的建筑物边缘轮廓边与预设方向之间的角度进行确定，位于建筑物边缘轮廓之外的其他像素点的方向角信息可以设置为预设值，比如，可以将位于建筑物边缘轮廓之外的其他像素点的方向角信息设置为0。
在标注的每个像素点对应的方向角信息为角度信息时，可以将像素点所处的建筑物边缘轮廓边与预设基准方向之间的目标角度，确定为该像素点的方向角信息。
在标注的每个像素点对应的方向角信息为方向类型信息的情况下，根据以下步骤获取每个像素点对应的方向类型信息：确定该像素点所在的轮廓边与设置的基准方向之间的目标角度；根据不同方向类型信息与角度范围之间的对应关系、和目标角度，确定该像素点对应的方向类型信息。
这里，通过像素点的目标角度与设置的不同方向类型与角度范围之间的对应关系，确定像素点对应的方向类型信息，像素点的方向类型信息的确定过程简单、快速。
这里，设置的不同方向类型信息与角度范围之间的对应关系可以为：角度范围为[0°-10°)，对应的方向类型信息为第1方向类型，其中，该范围内包括0°、不包括10°；角度范围为[10°-20°)，对应的方向类型信息为第2方向类型，……，角度范围为[350°-360°)，对应的方向类型信息为第36方向类型。进而在确定了像素点所在的轮廓边与设置的基准方向之间的目标角度之后，可以根据目标角度、和不同方向类型信息与角度范围之间的对应关系，确定该像素点对应的方向类型信息。比如，若像素点对弈的目标角度为15°，则该像素点对应的方向类型信息为第2方向类型。
在具体实施时，还可以根据下述公式(1)利用目标角度，计算像素点对应的方向类型信息：
yo(i)＝[αi×K/360°+1]； (1)
其中，αi为像素点i对应的目标角度，K为方向类型的数量，yo(i)为像素点对应的方向类型标识，其中符号[]可以为取整运算符号。比如，若像素点A所在的轮廓边与设置的基准方向之间的目标角度为180°，设置的方向类型的数量为36，即K为36，则yo(i)＝19，即该像素点A对应的方向类型信息为第19方向类型；若像素点C所在的轮廓边与设置的基准方向之间的目标角度为225°，则yo(i)＝23，即该像素点A对应的方向类型信息为第23方向类型。
参见图2所示的一种建筑物多边形轮廓的示意图，图中包括建筑物的多边形轮廓21和角度示例22，其中角度示例中的0°方向可以为设置的基准方向，多边形轮廓21中包括：第一轮廓边211、和第一轮廓边的方向①；第二轮廓边212、和第二轮廓边的方向②；第三轮廓边213、和第三轮廓边的方向③；第四轮廓边214、和第四轮廓边的方向④；第五轮廓边215、和第五轮廓边的方向⑤；第六轮廓边216、和第六轮廓边的方向⑥；第七轮廓边217、和第七轮廓边的方向⑦；第八轮廓边218，和第八轮廓边的方向⑧。其中，可以将与每条轮廓边垂直、且朝向建筑物外部的方向，确定为该轮廓边的方向。
进一步的，结合角度示例22可知建筑物的多边形轮廓21中每一条轮廓边与基准方向之间的角度。即第一轮廓边与基准方向之间的角度为0°，第二轮廓边与基准方向之间的角度为90°，第三轮廓边与基准方向之间的角度为180°，第四轮廓边与基准方向之间的角度为90°，第五轮廓边与基准方向之间的角度为0°，第六轮廓边与基准方向之间的角度为90°，第七轮廓边与基准方向之间的角度为180°，第八轮廓边与基准方向之间的角度为270°。
针对步骤B2，可以将获取的携带有标注结果的第一遥感图像样本输入至待训练的第一神经网络中，得到第一遥感图像样本对应的预测结果；其中，预测结果中包括：第一遥感图像样本中包括的每个建筑物的预测轮廓信息、第一遥感图像样本的预测二值图像、和第一遥感图像样本中每个像素点对应的预测方向角信息。
进一步的，可以基于预测结果和标注结果，确定第一神经网络的损失值，利用确定的损失值训练第一神经网络，训练完成后得到第一图像分割神经网络。比如，可以利用预测结果中每个建筑物的预测轮廓信息和标注结果中标注的对应建筑物的轮廓信息，确定第一损失值Lbound；利用预测结果中第一遥感图像样本的预测二值图像和标注结果中的第一遥感图像样本的二值图像，确定第二损失值Lseg；利用预测结果中第一遥感图像样本中每个像素点对应的预测方向角信息和标注结果中第一遥感图像样本中每个像素点对应的方向角信息，确定第三损失值Lorient，将第一损失值Lbound、第二损失值Lseg、第三损失值Lorient的和Ltotal(即Ltotal＝Lbound+Lseg+Lorient)，作为第一神经网络的损失值，对第一神经网络进行训练。示例性的，可以通过交叉熵损失函数计算第一损失值、第二损失值、和第三损失值。
上述方式中，通过获取第一遥感图像样本对第一神经网络进行训练，训练完成后得到第一图像分割神经网络，实现了通过第一图像分割神经网络，确定第一边界框中建筑物的局部二值图像和方向角信息。
在步骤A2中，作为一可选实施方式，根据以下方式确定遥感图像中至少一个建筑物对应的局部二值图像、以及局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息：
方式一：基于边界框信息，从至少一个边界框中选择尺寸大于预设尺寸阈值的第一边界框；基于第一边界框的边界框信息，从全局二值图像中截取得到第一边界框内的建筑物的局部二值图像，并从全局二值图像对应的方向角信息中提取第一边界框对应的方向角信息。
方式二：基于边界框信息，从至少一个边界框中选择尺寸小于或等于预设尺寸阈值的第二边界框；基于第二边界框的边界框信息，从遥感图像中截取得到第二边界框对应的局部遥感图像；基于局部遥感图像和已训练的第二图像分割神经网络，获取局部遥感图像对应的建筑物的局部二值图像、以及局部遥感图像对应的局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息。
这里，可以根据建筑物的边界框的尺寸，确定是利用选择方式一还是利用方式二，确定该建筑物对应的局部二值图像、以及局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息。具体的，若建筑物的边界框的尺寸大于预设尺寸阈值，则选择方式一，确定该建筑物对应的局部二值图像、以及局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息；若建筑物的边界框的尺寸小于或等于预设尺寸阈值，则选择方式二，确定该建筑物对应的局部二值图像、以及局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息。
一般的，神经网络的输入数据的尺寸为设置好，若建筑物的边界框的尺寸较大时，则需要将边界框的尺寸通过缩小、裁剪等方式调整为设置好的尺寸值，会导致边界框中的信息丢失，进而降低了边界框中建筑物的检测准确度。故为了解决上述问题，上述实施方式中，通过基于边界框的尺寸，将建筑物的边界框分为尺寸大于预设尺寸阈值的第一边界框和尺寸小于预设尺寸阈值的第二边界框，通过第一图像分割神经网络的检测结果，确定第一边界框中的建筑物对应的局部二值图像和方向角信息，以及通过第二图像分割神经网络的检测结果，确定第二边界框中的建筑物对应的局部二值图像和方向角信息，使得建筑物的检测结果较为准确。
对方式一进行说明，可以基于边界框信息中指示的边界框的尺寸，从至少一个边界框中选择尺寸大于预设尺寸阈值的第一边界框；基于第一边界框的边界框信息中指示的边界框的位置，从全局二值图像中截取得到第一边界框内建筑物的局部二值图像，该二值图像的尺寸可以与第一边界框的尺寸相同；并从全局二值图像对应的方向角信息中提取第一边界框对应的方向角信息，即得到局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息。
对方式二进行说明，可以基于边界框信息中指示的边界框的尺寸，从至少一个边界框中选择尺寸小于或等于预设尺寸阈值的第二边界框，该第二边界框即为检测得到的遥感图像的至少一个边界框中，除第一边界框之外的其他边界框。进一步，基于第二边界框的边界框信息中指示的边界框的位置，从遥感图像中截取得到第二边界框对应的局部遥感图像；并将得到的局部遥感图像输入至已训练的第二图像分割神经网络中，确定局部遥感图像对应的建筑物的局部二值图像、以及局部遥感图像对应的局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息。
一种可选实施方式中，可以通过下述步骤训练得到第二图像分割神经网络：
一、获取携带有标注结果的第二遥感图像样本，每个第二遥感图像样本为从第一遥感图像样本中截取的目标建筑物的区域图像，标注结果中包括目标建筑物在区域图像中的轮廓信息、第二遥感图像样本的二值图像、以及第二遥感图像样本中每个像素点对应的方向角信息。
二、将第二遥感图像样本输入至待训练的第二神经网络中，得到第二遥感图像样本对应的预测结果；基于预测结果以及标注结果，对待训练的第二神经网络进行训练，训练完成后得到第二图像分割神经网络。
这里，第二遥感图像样本可以为从第一遥感图像样本中截取的目标建筑物的区域图像，即第二遥感图像样本中包括一个目标建筑物，第二遥感图像样本对应的尺寸小于第一遥感图像样本。第二遥感图像样本携带的标注结果可以为从第一遥感图像样本的标注结果中获取得到，比如，第二遥感图像样本中的目标建筑物的轮廓信息，可以从第一遥感图像样本中包括的每个建筑物的轮廓信息中截取得到。
可以将获取的携带有标注结果的第二遥感图像样本输入至待训练的第二神经网络中，得到第二遥感图像样本对应的预测结果；其中，预测结果中包括：第二遥感图像样本中包括的每个建筑物的预测轮廓信息、第二遥感图像样本的预测二值图像、和第二遥感图像样本中每个像素点对应的预测方向角信息。进一步的，可以基于第二遥感图像样本对应的预测结果和标注结果，确定第二神经网络的损失值，利用确定的第二神经网络的损失值训练第二神经网络，训练完成后得到第二图像分割神经网络。其中，第二神经网络的训练过程可参考第一神经网络的训练过程，此处不再进行详细说明。
上述方式中，通过从第一遥感图像样本中截取得到第二遥感图像，使用获取的第二遥感图像样本对第二神经网络进行训练，训练完成后得到第二图像分割神经网络，实现了通过第二图像分割神经网络，确定第二边界框中建筑物的局部二值图像和方向角信息。
一种可选实施方式中，在获取至少一个边界框的边界框信息之后，还包括：基于遥感图像，以及至少一个边界框的边界框信息，生成标注有至少一个边界框的第一标注遥感图像；响应作用于第一标注遥感图像上的边界框调整操作，得到调整后的边界框的边界框信息。
这里，可以在获取至少一个边界框的边界框信息之后，基于遥感图像以及确定的至少一个边界框的边界框信息，生成标注有至少一个边界框的第一标注遥感图像，并可以将第一标注遥感图像显示在显示屏上，以便标注员可以在显示屏上查看该第一标注遥感图像，并可以对第一标注遥感图像进行边界框调整操作。
比如，可以将第一标注遥感图像中冗余的边界框进行删除操作，即在第一标注遥感图像中，存在边界框A中未包括建筑物时(第一标注遥感图像中该边界框A为冗余的边界框)，则可以将边界框A从第一标注遥感图像中删除。以及，还可以在第一标注遥感图像中增加缺失的边界框，即在第一标注遥感图像中包括建筑物A，但是该建筑物A没有检测得到对应的边界框时(第一标注遥感图像中缺失该建筑物A的边界框)，则可以为该建筑物A添加对应的边界框。进而，响应作用于第一标注遥感图像上的边界框调整操作，得到调整后的边界框的边界框信息。
这里，在得到至少一个边界框的边界框信息之后，可以生成第一标注遥感图像，使得标注员可以对第一标注遥感图像上的边界框进行调整操作，比如删除冗余的边界框、增加缺失的边界框等，提高边界框信息的准确度，进而可以提高后续得到的标注图像的准确度；且边界框的调整操作简单、易操作、耗时少，边界框调整操作的效率较高。
针对S103：
这里，可以基于遥感图像中包括的各个建筑物分别对应的局部二值图像以及方向角信息，生成标注有遥感图像中至少一个建筑物的多边形轮廓的标注图像。
一种可选实施方式中，基于至少一个建筑物对应的局部二值图像以及方向角信息，生成标注有遥感图像中至少一个建筑物的多边形轮廓的标注图像，可以包括：
C1，针对每个建筑物，基于该建筑物对应的局部二值图像、以及局部二值图像中位于该建筑物轮廓上的轮廓像素点对应的方向角信息，确定由该建筑物多边形轮廓的多个顶点位置构成的顶点位置集合。
C2，基于各个建筑物分别对应的顶点位置集合，生成标注有遥感图像中至少一个建筑物的多边形轮廓的标注图像。
上述实施方式下，由于位于建筑物的顶点位置处的像素点与相邻像素点之间位于不同的轮廓边上，不同的轮廓边对应不同的方向，故可以通过每个建筑物对应的局部二值图像以及方向角信息，较准确的确定建筑物的顶点位置集合，该顶点位置集合中包括建筑物的多边形轮廓上的每个顶点的位置，进而可以基于得到顶点位置集合，较准确的生成标注图像。
针对步骤C1，针对遥感图像中包括的每个建筑物，可以基于该建筑物对应的局部二值图像、以及局部二值图像中位于该建筑物轮廓上的轮廓像素点对应的方向角信息，确定由该建筑物多边形轮廓的多个顶点位置构成的顶点位置集合，即该建筑物对应的顶点位置集合中包括：该建筑物对应的建筑物多边形轮廓上每个顶点的位置信息。
作为一可选实施方式，步骤C1中，基于该建筑物对应的局部二值图像、以及局部二值图像中位于该建筑物轮廓上的轮廓像素点对应的方向角信息，确定由该建筑物多边形轮廓的多个顶点位置构成的顶点位置集合，可以包括：
D1，从局部二值图像中的建筑物轮廓上选取多个像素点。
D2，针对多个像素点中的每个像素点，基于该像素点对应的方向角信息以及该像素点对应的相邻像素点的方向角信息，确定该像素点是否属于建筑物多边形轮廓的顶点。
D3，将确定的属于顶点的各个像素点的位置，构成该建筑物对应的顶点位置集合。
上述实施方式中，可以通过在建筑物轮廓上选取多个像素点，判断每个像素点是否为顶点，进而基于属于顶点的各个像素点的位置，生成了建筑物对应的顶点位置集合，为后续生成标注图像提供了数据支持。
对步骤D1进行说明，可以从局部二值图像中的建筑物轮廓上选取多个像素点，比如，可以通过密集采点的方式，从建筑物轮廓上选取多个像素点。
这里，还可以为选取的多个像素点按照顺序进行标号，比如可以选定一个起点，将起点位置处的像素点的标号设置为0，按照顺时针的方向，将与标号为0的像素点相邻的像素点的标号设置为1，依次类推，为选取的多个像素点中的每个像素点都确定一对应的标号。并利用多个像素点的像素坐标，构成了一个密集像素点坐标集合P＝{p0，p1，…，pn}，n为正整数，其中，p0为标号为0的像素点的像素坐标，pn为标号为n的像素点的像素坐标。
对步骤D2进行说明，对选取的多个像素点中的每个像素点进行判断，判断该像素点是否属于建筑物多边形轮廓的顶点。
作为一可选实施方式，步骤D2中，基于该像素点对应的方向角信息以及该像素点对应的相邻像素点的方向角信息，确定该像素点是否属于建筑物多边形轮廓的顶点，可以包括：若该像素点的方向角信息与相邻像素点的方向角信息之间的差异满足设定条件，则确定该像素点属于建筑物多边形轮廓的顶点。
上述实施方式中，在像素点的方向角信息与相邻像素点的方向角信息黄子健的差异满足设定条件时，则确定该像素点属于建筑物多边形轮廓的顶点，确定顶点的过程较为简单，耗时少。
在方向角信息为目标角度时，可以判断该像素点的目标角度与相邻像素点的目标角度之间的差异是否大于或等于设定的角度阈值，若是，则确定该像素点属于建筑物多边形轮廓的顶点；若否，则确定该像素点不属于建筑物多边形轮廓的顶点。比如，针对像素点p2，可以判断该像素点p2的目标角度与相邻像素点p1的目标角度之间的差异是否大于或等于设定的角度阈值。其中，该角度阈值可以根据实际情况进行设置。
在方向角信息为方向类型时，可以判断该像素点的方向类型与相邻像素点的方向类型之间的差异是否大于或等于设定的方向类型阈值，若是，则确定该像素点属于建筑物多边形轮廓的顶点；若否，则确定该像素点不属于建筑物多边形轮廓的顶点。即可以利用下述公式(2)确定该多个像素点中的每个像素点是否属于建筑物多边形轮廓的顶点：
其中，yvertex(pi)＝1时，则像素点pi属于建筑物多边形轮廓的顶点；yvertex(pi)＝0时，则像素点pi不属于建筑物多边形轮廓的顶点；yorient(pi)为像素点pi的方向类型，yorient(pi-1)为像素点pi-1的方向类型；torient为设置的方向类型阈值，torient的值可以根据实际情况进行设置。
对步骤D3进行说明，进而可以将确定的属于顶点的各个像素点的位置，构成该建筑物对应的顶点位置集合。示例性的，可以通过顶点选择模块确定每个建筑物对应的顶点位置集合。比如，可以将建筑物对应的局部二值图像、以及局部二值图像中位于该建筑物轮廓上的轮廓像素点对应的方向角信息，输入至顶点选择模块，确定该建筑物对应的顶点位置集合。
针对步骤C2，在得到每个建筑物对应的顶点位置集合之后，可以基于各个建筑物分别对应的顶点位置集合，生成标注有遥感图像中至少一个建筑物的多边形轮廓的标注图像。比如，可以确定每个建筑物中包括的顶点的连接顺序，将每个建筑物对应的顶点，按照确定的连接顺序、不交叉的进行相连，得到每个建筑物的多边形轮廓；基于各个建筑物的多边形轮廓、和遥感图像，生成了该遥感图像对应的标注图像。
一种可选实施方式中，在基于各个建筑物分别对应的顶点位置集合，生成标注有遥感图像中至少一个建筑物的多边形轮廓的标注图像之前，还可以包括：基于已训练的顶点修正神经网络，对确定的顶点位置集合中的每个顶点的位置进行修正。
这里，可以将顶点位置集合输入至已训练的顶点修正神经网络，对确定的顶点位置集合中的每个顶点的位置进行修正，得到修正后的顶点位置集合；进而可以基于各个建筑物分别对应的修正后的顶点位置集合，生成标注有遥感图像中至少一个建筑物的多边形轮廓的标注图像。
在上述实施方式下，还可以通过训练得到的顶点修正神经网络，对顶点位置集合中的每个顶点的位置进行修正，使得修正后的每个顶点的位置与真实位置更相符，进而基于各个建筑物分别对应的修正后的顶点位置集合，可以得到准确度较高的标注图像。
一种可选实施方式中，基于各个建筑物分别对应的顶点位置集合，生成标注有遥感图像中至少一个建筑物的多边形轮廓的标注图像之后，该方法还可以包括：响应作用于标注图像上的顶点位置调整操作，对任一顶点的顶点位置进行调整。
这里，在得到标注图像之后，可以将标注图像显示在显示屏上，比如在执行主体为具有显示屏的终端设备时，可以将标注图像显示在终端设备的显示屏上，或者，在执行主体为服务器时，也可以将标注图像发送给显示设备，使得显示设备的显示屏上可以显示该标注图像，标注员可以查看显示屏上显示的标注图像，在标注图像中任一建筑物的任一顶点位置与实际情况不吻合时，可以对该顶点位置进行调整，进而响应作用于标注图像上的顶点位置调整操作，对任一顶点的顶点位置进行调整，得到顶点位置调整后的标注图像。其中，作用于标注图像上的顶点位置调整操作，可以为生成标注图像之后实时进行操作的，也可以为生成标注图像之后非实时进行操作的。
这里，还可以对标注图像上的任一顶点的顶点位置进行调整操作，提高了顶点位置调整操作后的标注图像的准确度。
示例性的，可以在获取遥感图像之后，将遥感图像输入至标注网络中，生成该遥感图像对应的标注图像，该标注图像中标注有遥感图像中至少一个建筑物的多边形轮廓。其中，标注网络中可以包括第一图像分割神经网络、第二图像分割神经网络、顶点选择模块、顶点修正神经网络。标注网络的工作过程可参照上述描述，此处不再赘述。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思，本公开实施例还提供了一种图像标注装置，参见图3所示，为本公开实施例提供的图像标注装置的架构示意图，包括获取模块301、确定模块302、生成模块303、边界框调整模块304、顶点位置修正模块305、顶点位置调整模块306，具体的：
获取模块301，用于获取遥感图像；
确定模块302，用于基于所述遥感图像，确定所述遥感图像中至少一个建筑物分别对应的局部二值图像以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息，其中，所述方向角信息用于指示所述轮廓像素点所在的轮廓边与预设基准方向之间的角度信息；
生成模块303，用于基于所述至少一个建筑物对应的所述局部二值图像以及所述方向角信息，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像。
一种可能的实施方式中，所述确定模块302，在基于所述遥感图像，确定所述遥感图像中至少一个建筑物分别对应的局部二值图像以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息时，用于：
基于所述遥感图像以及已训练的第一图像分割神经网络，获取所述遥感图像的全局二值图像、所述全局二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息、以及至少一个建筑物的边界框的边界框信息；
基于所述边界框信息、所述全局二值图像、所述全局二值图像中位于建筑物轮廓上的轮廓像素点对应的方向角信息、和所述遥感图像，确定所述遥感图像中至少一个建筑物对应的局部二值图像、以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息。
一种可能的实施方式中，所述确定模块302，用于根据以下方式确定所述遥感图像中至少一个建筑物对应的局部二值图像、以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息：
基于所述边界框信息，从所述至少一个边界框中选择尺寸大于预设尺寸阈值的第一边界框；
基于所述第一边界框的边界框信息，从所述全局二值图像中截取得到所述第一边界框内的建筑物的局部二值图像，并从所述全局二值图像对应的所述方向角信息中提取所述第一边界框对应的所述方向角信息。
一种可能的实施方式中，所述确定模块302，还用于根据以下方式确定所述遥感图像中至少一个建筑物对应的局部二值图像、以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息：
基于所述边界框信息，从所述至少一个边界框中选择尺寸小于或等于预设尺寸阈值的第二边界框；
基于所述第二边界框的边界框信息，从所述遥感图像中截取得到所述第二边界框对应的局部遥感图像；
基于所述局部遥感图像和已训练的第二图像分割神经网络，获取所述局部遥感图像对应的所述建筑物的局部二值图像、以及所述局部遥感图像对应的局部二值图像中位于所述建筑物轮廓上的轮廓像素点的方向角信息。
一种可能的实施方式中，在获取所述至少一个边界框的边界框信息之后，还包括：边界框调整模块304；
所述边界框调整模块304，用于基于所述遥感图像，以及所述至少一个边界框的边界框信息，生成标注有所述至少一个边界框的第一标注遥感图像；响应作用于所述第一标注遥感图像上的边界框调整操作，得到调整后的边界框的边界框信息。
一种可能的实施方式中，所述确定模块302，用于通过下述步骤训练所述第一图像分割神经网络：
获取携带有标注结果的第一遥感图像样本，所述第一遥感图像样本中包括至少一个建筑物的图像，所述标注结果中包括标注的至少一个建筑物的轮廓信息、所述第一遥感图像样本的二值图像、以及所述第一遥感图像样本中每个像素点对应的方向角信息；
将所述第一遥感图像样本输入至待训练的第一神经网络中，得到所述第一遥感图像样本对应的预测结果；基于所述预测结果以及所述标注结果，对所述待训练的第一神经网络进行训练，训练完成后得到所述第一图像分割神经网络。
一种可能的实施方式中，所述确定模块302，用于通过下述步骤训练所述第二图像分割神经网络：
获取携带有标注结果的第二遥感图像样本，每个所述第二遥感图像样本为从所述第一遥感图像样本中截取的目标建筑物的区域图像，所述标注结果中包括所述目标建筑物在所述区域图像中的轮廓信息、所述第二遥感图像样本的二值图像、以及所述第二遥感图像样本中每个像素点对应的方向角信息；
将所述第二遥感图像样本输入至待训练的第二神经网络中，得到所述第二遥感图像样本对应的预测结果；基于所述预测结果以及所述标注结果，对所述待训练的第二神经网络进行训练，训练完成后得到所述第二图像分割神经网络。
一种可能的实施方式中，所述生成模块303，在基于所述至少一个建筑物对应的所述局部二值图像以及所述方向角信息，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像时，用于：
针对每个建筑物，基于该建筑物对应的所述局部二值图像、以及所述局部二值图像中位于该建筑物轮廓上的轮廓像素点对应的方向角信息，确定由该建筑物多边形轮廓的多个顶点位置构成的顶点位置集合；
基于各个建筑物分别对应的顶点位置集合，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像。
一种可能的实施方式中，在基于各个建筑物分别对应的顶点位置集合，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像之前，还包括：顶点位置修正模块305；
所述顶点位置修正模块305，用于基于已训练的顶点修正神经网络，对确定的所述顶点位置集合中的每个顶点的位置进行修正。
一种可能的实施方式中，所述基于各个建筑物分别对应的顶点位置集合，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像之后，所述装置还包括：顶点位置调整模块306；
所述顶点位置调整模块306，用于响应作用于所述标注图像上的顶点位置调整操作，对任一顶点的顶点位置进行调整。
一种可能的实施方式中，所述生成模块303，在基于该建筑物对应的所述局部二值图像、以及所述局部二值图像中位于该建筑物轮廓上的轮廓像素点对应的方向角信息，确定由该建筑物多边形轮廓的多个顶点位置构成的顶点位置集合时，用于：
从所述局部二值图像中的建筑物轮廓上选取多个像素点；
针对所述多个像素点中的每个像素点，基于该像素点对应的方向角信息以及该像素点对应的相邻像素点的方向角信息，确定该像素点是否属于建筑物多边形轮廓的顶点；
将确定的属于顶点的各个像素点的位置，构成该建筑物对应的顶点位置集合。
一种可能的实施方式中，所述生成模块303，在基于该像素点对应的方向角信息以及该像素点对应的相邻像素点的方向角信息，确定该像素点是否属于建筑物多边形轮廓的顶点时，用于：
若该像素点的方向角信息与所述相邻像素点的方向角信息之间的差异满足设定条件，则确定该像素点属于建筑物多边形轮廓的顶点。
一种可能的实施方式中，在标注的每个像素点对应的所述方向角信息为方向类型信息的情况下，所述确定模块302，用于根据以下步骤获取每个像素点对应的所述方向类型信息：
确定该像素点所在的轮廓边与设置的基准方向之间的目标角度；
根据不同方向类型信息与角度范围之间的对应关系、和所述目标角度，确定该像素点对应的方向类型信息。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图4所示，为本公开实施例提供的电子设备的结构示意图，包括处理器401、存储器402、和总线403。其中，存储器402用于存储执行指令，包括内存4021和外部存储器4022；这里的内存4021也称内存储器，用于暂时存放处理器401中的运算数据，以及与硬盘等外部存储器4022交换的数据，处理器401通过内存4021与外部存储器4022进行数据交换，当电子设备400运行时，处理器401与存储器402之间通过总线403通信，使得处理器401在执行以下指令：
获取遥感图像；
基于所述遥感图像，确定所述遥感图像中至少一个建筑物分别对应的局部二值图像以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息，其中，所述方向角信息用于指示所述轮廓像素点所在的轮廓边与预设基准方向之间的角度信息；
基于所述至少一个建筑物对应的所述局部二值图像以及所述方向角信息，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像。
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像标注方法的步骤。
本公开实施例所提供的图像标注方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像标注方法的步骤，具体可参见上述方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种图像标注方法，其特征在于，包括：
获取遥感图像；
基于所述遥感图像，确定所述遥感图像中至少一个建筑物分别对应的局部二值图像以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息，其中，所述方向角信息用于指示所述轮廓像素点所在的轮廓边与预设基准方向之间的角度信息；
基于所述至少一个建筑物对应的所述局部二值图像以及所述方向角信息，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像；
所述基于所述遥感图像，确定所述遥感图像中至少一个建筑物分别对应的局部二值图像以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息，包括：
基于所述遥感图像以及已训练的第一图像分割神经网络，获取所述遥感图像的全局二值图像、所述全局二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息、以及至少一个建筑物的边界框的边界框信息；
基于所述边界框信息、所述全局二值图像、所述全局二值图像中位于建筑物轮廓上的轮廓像素点对应的方向角信息、和所述遥感图像，确定所述遥感图像中至少一个建筑物对应的局部二值图像、以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息。
2.根据权利要求1所述的方法，其特征在于，根据以下方式确定所述遥感图像中至少一个建筑物对应的局部二值图像、以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息：
基于所述边界框信息，从所述至少一个边界框中选择尺寸大于预设尺寸阈值的第一边界框；
基于所述第一边界框的边界框信息，从所述全局二值图像中截取得到所述第一边界框内的建筑物的局部二值图像，并从所述全局二值图像对应的所述方向角信息中提取所述第一边界框对应的所述方向角信息。
3.根据权利要求1所述的方法，其特征在于，根据以下方式确定所述遥感图像中至少一个建筑物对应的局部二值图像、以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息：
基于所述边界框信息，从所述至少一个边界框中选择尺寸小于或等于预设尺寸阈值的第二边界框；
基于所述第二边界框的边界框信息，从所述遥感图像中截取得到所述第二边界框对应的局部遥感图像；
基于所述局部遥感图像和已训练的第二图像分割神经网络，获取所述局部遥感图像对应的所述建筑物的局部二值图像、以及所述局部遥感图像对应的局部二值图像中位于所述建筑物轮廓上的轮廓像素点的方向角信息。
4.根据权利要求1-3任一所述的方法，其特征在于，在获取所述至少一个边界框的边界框信息之后，还包括：
基于所述遥感图像，以及所述至少一个边界框的边界框信息，生成标注有所述至少一个边界框的第一标注遥感图像；
响应作用于所述第一标注遥感图像上的边界框调整操作，得到调整后的边界框的边界框信息。
5.根据权利要求3所述的方法，其特征在于，通过下述步骤训练所述第一图像分割神经网络：
获取携带有标注结果的第一遥感图像样本，所述第一遥感图像样本中包括至少一个建筑物的图像，所述标注结果中包括标注的至少一个建筑物的轮廓信息、所述第一遥感图像样本的二值图像、以及所述第一遥感图像样本中每个像素点对应的方向角信息；
将所述第一遥感图像样本输入至待训练的第一神经网络中，得到所述第一遥感图像样本对应的预测结果；基于所述预测结果以及所述标注结果，对所述待训练的第一神经网络进行训练，训练完成后得到所述第一图像分割神经网络。
6.根据权利要求5所述的方法，其特征在于，通过下述步骤训练所述第二图像分割神经网络：
获取携带有标注结果的第二遥感图像样本，每个所述第二遥感图像样本为从所述第一遥感图像样本中截取的目标建筑物的区域图像，所述标注结果中包括所述目标建筑物在所述区域图像中的轮廓信息、所述第二遥感图像样本的二值图像、以及所述第二遥感图像样本中每个像素点对应的方向角信息；
将所述第二遥感图像样本输入至待训练的第二神经网络中，得到所述第二遥感图像样本对应的预测结果；基于所述预测结果以及所述标注结果，对所述待训练的第二神经网络进行训练，训练完成后得到所述第二图像分割神经网络。
7.根据权利要求1-3任一所述的方法，其特征在于，所述基于所述至少一个建筑物对应的所述局部二值图像以及所述方向角信息，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像，包括：
针对每个建筑物，基于该建筑物对应的所述局部二值图像、以及所述局部二值图像中位于该建筑物轮廓上的轮廓像素点对应的方向角信息，确定由该建筑物多边形轮廓的多个顶点位置构成的顶点位置集合；
基于各个建筑物分别对应的顶点位置集合，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像。
8.根据权利要求7所述的方法，其特征在于，在基于各个建筑物分别对应的顶点位置集合，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像之前，还包括：
基于已训练的顶点修正神经网络，对确定的所述顶点位置集合中的每个顶点的位置进行修正。
9.根据权利要求7所述的方法，其特征在于，所述基于各个建筑物分别对应的顶点位置集合，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像之后，所述方法还包括：
响应作用于所述标注图像上的顶点位置调整操作，对任一顶点的顶点位置进行调整。
10.根据权利要求7所述的方法，其特征在于，所述基于该建筑物对应的所述局部二值图像、以及所述局部二值图像中位于该建筑物轮廓上的轮廓像素点对应的方向角信息，确定由该建筑物多边形轮廓的多个顶点位置构成的顶点位置集合，包括：
从所述局部二值图像中的建筑物轮廓上选取多个像素点；
针对所述多个像素点中的每个像素点，基于该像素点对应的方向角信息以及该像素点对应的相邻像素点的方向角信息，确定该像素点是否属于建筑物多边形轮廓的顶点；
将确定的属于顶点的各个像素点的位置，构成该建筑物对应的顶点位置集合。
11.根据权利要求10所述的方法，其特征在于，基于该像素点对应的方向角信息以及该像素点对应的相邻像素点的方向角信息，确定该像素点是否属于建筑物多边形轮廓的顶点，包括：
若该像素点的方向角信息与所述相邻像素点的方向角信息之间的差异满足设定条件，则确定该像素点属于建筑物多边形轮廓的顶点。
12.根据权利要求5或6所述的方法，其特征在于，在标注的每个像素点对应的所述方向角信息为方向类型信息的情况下，根据以下步骤获取每个像素点对应的所述方向类型信息：
确定该像素点所在的轮廓边与设置的基准方向之间的目标角度；
根据不同方向类型信息与角度范围之间的对应关系、和所述目标角度，确定该像素点对应的方向类型信息。
13.一种图像标注装置，其特征在于，包括：
获取模块，用于获取遥感图像；
确定模块，用于基于所述遥感图像，确定所述遥感图像中至少一个建筑物分别对应的局部二值图像以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息，其中，所述方向角信息用于指示所述轮廓像素点所在的轮廓边与预设基准方向之间的角度信息；
生成模块，用于基于所述至少一个建筑物对应的所述局部二值图像以及所述方向角信息，生成标注有所述遥感图像中所述至少一个建筑物的多边形轮廓的标注图像；
所述确定模块，在基于所述遥感图像，确定所述遥感图像中至少一个建筑物分别对应的局部二值图像以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息时，用于：
基于所述遥感图像以及已训练的第一图像分割神经网络，获取所述遥感图像的全局二值图像、所述全局二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息、以及至少一个建筑物的边界框的边界框信息；
基于所述边界框信息、所述全局二值图像、所述全局二值图像中位于建筑物轮廓上的轮廓像素点对应的方向角信息、和所述遥感图像，确定所述遥感图像中至少一个建筑物对应的局部二值图像、以及所述局部二值图像中位于建筑物轮廓上的轮廓像素点的方向角信息。
14.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至12任一所述的图像标注方法的步骤。
15.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至12任一所述的图像标注方法的步骤。
CN202010611570.XA 2020-06-29 2020-06-29 图像标注方法、装置、电子设备及存储介质 Active CN111754536B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010611570.XA CN111754536B (zh) 2020-06-29 2020-06-29 图像标注方法、装置、电子设备及存储介质
PCT/CN2021/084175 WO2022001256A1 (zh) 2020-06-29 2021-03-30 图像标注方法、装置、电子设备及存储介质
KR1020217035938A KR20220004074A (ko) 2020-06-29 2021-03-30 이미지 라벨링 방법, 장치, 전자 기기 및 저장 매체
JP2021565978A JP2022541977A (ja) 2020-06-29 2021-03-30 画像のラベリング方法、装置、電子機器及び記憶媒体
US17/886,565 US20220392239A1 (en) 2020-06-29 2022-08-12 Method for labeling image, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010611570.XA CN111754536B (zh) 2020-06-29 2020-06-29 图像标注方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111754536A CN111754536A (zh) 2020-10-09
CN111754536B true CN111754536B (zh) 2024-04-16

Family

ID=72678212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010611570.XA Active CN111754536B (zh) 2020-06-29 2020-06-29 图像标注方法、装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US20220392239A1 (zh)
JP (1) JP2022541977A (zh)
KR (1) KR20220004074A (zh)
CN (1) CN111754536B (zh)
WO (1) WO2022001256A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754536B (zh) * 2020-06-29 2024-04-16 上海商汤智能科技有限公司 图像标注方法、装置、电子设备及存储介质
CN113806573A (zh) * 2021-09-15 2021-12-17 上海商汤科技开发有限公司 标注方法、装置、电子设备、服务器及存储介质
CN113989675B (zh) * 2021-11-02 2022-06-14 四川睿迈威科技有限责任公司 基于遥感影像的地理信息提取深度学习训练样本交互制作方法
TWI793865B (zh) * 2021-11-18 2023-02-21 倍利科技股份有限公司 Ai自動輔助標記之系統及方法
TWI826316B (zh) * 2023-05-11 2023-12-11 宏碁股份有限公司 影像分割模型訓練方法及電子裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719306A (zh) * 2016-01-26 2016-06-29 郑州恒正电子科技有限公司 一种高分辨率遥感影像中的建筑物快速提取方法
CN107092877A (zh) * 2017-04-12 2017-08-25 武汉大学 基于建筑物基底矢量的遥感影像屋顶轮廓提取方法
CN109635715A (zh) * 2018-12-07 2019-04-16 福建师范大学 一种遥感图像建筑物提取方法
CN110197147A (zh) * 2019-05-23 2019-09-03 星际空间（天津）科技发展有限公司 遥感影像的建筑物实例提取方法、装置、存储介质及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI590197B (zh) * 2016-07-19 2017-07-01 私立淡江大學 影像物體特徵描述方法及影像處理裝置
CN111754536B (zh) * 2020-06-29 2024-04-16 上海商汤智能科技有限公司 图像标注方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719306A (zh) * 2016-01-26 2016-06-29 郑州恒正电子科技有限公司 一种高分辨率遥感影像中的建筑物快速提取方法
CN107092877A (zh) * 2017-04-12 2017-08-25 武汉大学 基于建筑物基底矢量的遥感影像屋顶轮廓提取方法
CN109635715A (zh) * 2018-12-07 2019-04-16 福建师范大学 一种遥感图像建筑物提取方法
CN110197147A (zh) * 2019-05-23 2019-09-03 星际空间（天津）科技发展有限公司 遥感影像的建筑物实例提取方法、装置、存储介质及设备

Also Published As

Publication number Publication date
JP2022541977A (ja) 2022-09-29
KR20220004074A (ko) 2022-01-11
US20220392239A1 (en) 2022-12-08
WO2022001256A1 (zh) 2022-01-06
CN111754536A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN111754536B (zh) 图像标注方法、装置、电子设备及存储介质
CN111583188B (zh) 手术导航标记点定位方法、存储介质及计算机设备
CN104574421B (zh) 一种大幅面小重合区域高精度多光谱图像配准方法及装置
CN110097542B (zh) 芯片气泡的检测方法、装置及存储介质
CN107239742B (zh) 一种仪表指针刻度值计算方法
CN112528813B (zh) 表格识别方法、装置以及计算机可读存储介质
CN105046213A (zh) 一种增强现实的方法
CN105160686B (zh) 一种基于改进sift算子的低空多视角遥感影像匹配方法
CN112132907B (zh) 一种相机标定方法、装置、电子设备及存储介质
CN109325381B (zh) 一种qr码定位和校正方法
CN110189341B (zh) 一种图像分割模型训练的方法、图像分割的方法及装置
CN107545223B (zh) 图像识别方法及电子设备
CN112036317A (zh) 一种人脸图像截取方法、装置及计算机设备
CN108573251A (zh) 文字区域定位方法和装置
CN111539238A (zh) 二维码图像修复方法、装置、计算机设备和存储介质
CN114880730A (zh) 确定目标设备的方法、装置及光伏系统
JP2012067462A (ja) 鉄筋撮影用具及び配筋情報取得方法
JP5097629B2 (ja) 地物形状変化検出プログラム、及び、地物形状変化検出システム
CN103854271A (zh) 一种平面摄像机标定方法
Goebbels et al. Roof reconstruction from airborne laser scanning data based on image processing methods
CN111340040A (zh) 一种纸张字符识别方法、装置、电子设备及存储介质
JP5841760B2 (ja) 鉄筋領域抽出装置、鉄筋領域抽出方法及び鉄筋領域抽出プログラム
JP3638845B2 (ja) 画像処理装置及び方法
JP2005241886A (ja) 地理画像間変化領域の抽出方法、地理画像間変化領域を抽出可能なプログラム、閉領域抽出方法及び閉領域抽出可能なプログラム
JP7188798B2 (ja) 座標算出装置、座標算出方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant