CN112990141A - 图像识别方法、装置、设备及存储介质 - Google Patents

图像识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112990141A
CN112990141A CN202110477175.1A CN202110477175A CN112990141A CN 112990141 A CN112990141 A CN 112990141A CN 202110477175 A CN202110477175 A CN 202110477175A CN 112990141 A CN112990141 A CN 112990141A
Authority
CN
China
Prior art keywords
image
training
vector
model
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110477175.1A
Other languages
English (en)
Other versions
CN112990141B (zh
Inventor
郑李辉
曾宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tuxi Digital Technology Beijing Co ltd
Original Assignee
Tuxi Digital Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tuxi Digital Technology Beijing Co ltd filed Critical Tuxi Digital Technology Beijing Co ltd
Priority to CN202110477175.1A priority Critical patent/CN112990141B/zh
Publication of CN112990141A publication Critical patent/CN112990141A/zh
Application granted granted Critical
Publication of CN112990141B publication Critical patent/CN112990141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种图像识别方法,包括:获取待识别图像;根据图斑模型对待识别图像进行处理,得到图斑矢量;根据密集区域分割线模型对待识别图像进行处理,得到区域间的共有分割线矢量;根据图斑矢量和区域间的共有分割线矢量,得到分割后的图斑矢量;对分割后的图斑矢量进行修正处理,以识别待识别图像中的各个区域。本公开实施例能够解决无法准确地实现临近房屋间的分割问题,从而对遥感影像中的建筑物进行精确识别。

Description

图像识别方法、装置、设备及存储介质
技术领域
本申请涉及图像识别技术领域,尤其涉及一种图像识别方法、装置、设备及存储介质。
背景技术
随着遥感影像智能解译技术的不断发展,以建筑物精确轮廓提取为代表的AI智能解译应用也越来越普及,但是,长期以来,对于密集区域的识别和提取始终是个难题。目前的解译技术在生成提取出的黑白掩模的过程中,稠密部位不可避免地会出现粘连、融合等严重问题,无法准确地实现临近房屋间的分割,从而无法对遥感影像中的建筑物进行精确识别。
发明内容
本申请实施例提供一种图像识别方法、装置、设备及存储介质,以解决相关技术存在的问题,技术方案如下:
第一方面,本申请实施例提供了一种图像识别方法,包括:
获取待识别图像;
根据图斑模型对所述待识别图像进行处理,得到图斑矢量;
根据密集区域分割线模型对所述待识别图像进行处理,得到区域间的共有分割线矢量;
根据所述图斑矢量和所述区域间的共有分割线矢量,得到分割后的图斑矢量;
对所述分割后的图斑矢量进行修正处理,以识别所述待识别图像中的各个区域。
在一种实施方式中,所述方法还包括:
获取第一训练图像集,其中,所述第一训练图像集中的训练图像均为区域分割线标注后的遥感影像;
根据对抗生成器网络对所述第一训练图像集进行训练,得到密集区域分割线模型。
在一种实施方式中,所述第一训练图像集中的训练图像采用如下方式获得:
获取遥感影像,并对所述遥感影像进行数据增强处理;
将数据增强处理后的遥感影像进行区域分割线标注,得到区域分割线标注后的遥感影像。
在一种实施方式中,所述根据对抗生成器网络对所述第一训练图像集进行训练,得到密集区域分割线模型,包括:
根据生成模型与判断模型对所述第一训练图像集进行训练,得到密集区域分割线模型,其中,所述生成模型为卷积神经网络。
在一种实施方式中,所述对所述分割后的图斑矢量进行修正处理,以识别所述待识别图像中的各个区域,包括:
对所述分割后的图斑矢量中的共有分割线进行角度修正处理,以识别所述待识别图像中的各个区域。
在一种实施方式中,所述对所述分割后的图斑矢量中的共有分割线进行角度修正处理,以识别所述待识别图像中的各个区域,包括:
若所述分割后的图斑矢量中的共有分割线形成的角度与90度的差值处于允许的修正范围内,则基于所述分割线的中点对所述分割线进行角度修正,得到所述待识别图像中的各个区域。
第二方面,本申请实施例提供了一种图像识别装置,包括:
第一获取模块,用于获取待识别图像;
第一处理模块,用于根据图斑模型对所述待识别图像进行处理,得到图斑矢量;
第二处理模块,用于根据密集区域分割线模型对所述待识别图像进行处理,得到区域间的共有分割线矢量;
分割模块,用于根据所述图斑图像和所述区域间的共有分割线矢量,得到分割后的图斑矢量;
识别模块,用于对所述分割后的图斑矢量进行修正处理,以识别所述待识别图像中的各个区域。
在一种实施方式中,所述装置还包括:
第二获取模块,用于获取第一训练图像集,其中,所述第一训练图像集中的训练图像均为区域分割线标注后的遥感影像;
训练模块,用于根据对抗生成器网络对所述第一训练图像集进行训练,得到密集区域分割线模型。
在一种实施方式中,所述第二获取模块,包括:
图像处理单元,用于获取遥感影像,并对所述遥感影像进行数据增强处理;
图像标注单元,用于将数据增强处理后的遥感影像进行区域分割线标注,得到区域分割线标注后的遥感影像。
在一种实施方式中,所述训练模块,包括:
模型训练子单元,用于根据生成模型与判断模型对所述第一训练图像集进行训练,得到密集区域分割线模型,其中,所述生成模型为卷积神经网络。
在一种实施方式中,所述识别模块,包括:
修正识别单元,用于对所述分割后的图斑矢量中的共有分割线进行角度修正处理,以识别所述待识别图像中的各个区域。
在一种实施方式中,所述修正识别单元,包括:
图像识别子单元,用于若所述分割后的图斑矢量中的共有分割线形成的角度与90度的差值处于允许的修正范围内,则基于所述分割线的中点对所述分割线进行角度修正,得到所述待识别图像中的各个区域。
第三方面,本申请实施例提供了一种图像识别设备,该设备包括:存储器和处理器。其中,该存储器和该处理器通过内部连接通路互相通信,该存储器用于存储指令,该处理器用于执行该存储器存储的指令,并且当该处理器执行该存储器存储的指令时,使得该处理器执行上述各方面任一种实施方式中的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储计算机程序,当计算机程序在计算机上运行时,上述各方面任一种实施方式中的方法被执行。
根据本公开的技术,获取待识别图像,图斑模型和密集区域分割线模型分别对待识别图像进行处理,再将处理后的图像结合得到分割后的图斑矢量,对分割后的图斑矢量进行修正处理,从而准确对图像中的各个区域进行分割,使得识别出的各个区域更加精确。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本申请进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本申请公开的一些实施方式,而不应将其视为是对本申请范围的限制。
图1是根据本公开一实施例的图像识别方法的流程图;
图2是根据本公开一实施例的遥感影像的识别结果与传统的解译手段对遥感影像的识别结果对比的示意图;
图3是根据本公开一实施例的训练图斑模型过程中对遥感影像的建筑物进行标注的示意图;
图4是根据本公开一实施例的识别出的图斑矢量的示意图;
图5是根据本公开一实施例的密集区域分割线模型识别出的共有分割线黑白掩膜的示意图;
图6是根据本公开一实施例的识别出的共有分割线矢量的示意图;
图7是根据本公开一实施例的分割后的图斑矢量的示意图;
图8是根据本公开一实施例的图像识别方法中训练密集区域分割线模型的流程示意图;
图9是根据本公开一实施例的训练密集区域分割线模型过程中对区域间的共有分割线进行标注的示意图;
图10是根据本公开一实施例的ResNet结构的示意图;
图11是根据本公开一实施例的Xmap网络结构示意图;
图12是根据本公开一实施例的图像识别方法的具体流程示意图;
图13是根据本公开另一实施例的图像识别方法的流程图;
图14是根据本公开一实施例修正共有分割线的示意图;
图15是根据本公开一实施例图像识别装置的示意性框图;
图16是根据本公开一实施例的图像识别装置中训练密集区域分割线模型的示意性框图;
图17是根据本公开另一实施例的图像识别设备示意性框图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本申请的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
图1示出根据本申请一实施例的图像识别方法的流程图。如图1所示,该图像识别方法可以包括:
S11、获取待识别图像。
S12、根据图斑模型对待识别图像进行处理,得到图斑矢量。
S13、根据密集区域分割线模型对待识别图像进行处理,得到区域间的共有分割线矢量。
S14、根据图斑矢量和区域间的共有分割线矢量,得到分割后的图斑矢量。
S15、对分割后的图斑矢量进行修正处理,以识别待识别图像中的各个区域。
图2是遥感影像的识别结果的示意图。参见图2,图2左边的图表示遥感影像,其中,标注出的是零间距房屋的共有分割线,图2中间的图表示传统的解译手段对遥感影像的识别结果,图2右边的图表示采用本申请的图像识别方法对遥感影像进行识别的识别结果(即区域A和区域B)。需要说明的是,传统的解译手段在生成提取出的黑白掩膜时,稠密部位不可避免地会出现粘连,融合等严重问题,尤其在对遥感影像上零间距(像素距离)的目标要素提取后往往粘连在一起,融合成一块大的图斑(参见图2中间的图),无法做到单体识别,单实例分割。由于粘连成图斑,因此只能统计出总体的面积和轮廓,无法精确地得到每一栋建筑真实的面积和外形,也无法统计出准确的建筑物总数。而传统的分割方法只能在建筑物稀疏的区域进行识别,因此,无法对零间距目标要素(如房屋)实现精确分割。然而采用本申请的方法不仅能够对稀疏区域的非零间距房屋识别,还能够将零间距(像素距离)的目标要素完整分割开来,形成实例级识别与分割方法。以房屋识别为例,经过这种实例级分割处理后得到的矢量数据,不但可以准确地提取出房屋的总面积,更可以提取出房屋的数量、每个单体房屋的面积、单体房屋的形状及位置。有了这些单实例,单体数据才能更好地满足农业、城乡建设、林业、水利、电信、零售等各行业的统计需求,有助于提供进一步的数据支持。
需要说明的是,步骤S12和13可以是同时执行,也可以是按次序执行,在此不做限定。
具体地,待识别图像可以通过摄像机、照相机等成像设备拍摄得到。在本实施例中,待识别图像为遥感影像,遥感影像一般通过航空摄影得到。
在步骤S12中,图斑模型可以为决策树分类模型、神经网络模型等。以图斑模型为神经网络模型为例进行说明,例如,U-NET模型。
图3是根据本公开一实施例的训练图斑模型过程中对遥感影像的建筑物进行标注的示意图。参见图3,图3中左边的图表示遥感影像,图3中右边的图表示遥感影像中每个建筑物的矢量外形。获取图斑模型的具体步骤如下:将采集的遥感影像进行数据增强处理,并标注遥感影像中每个建筑物的矢量外形,然后矢量转栅格得到建筑物图斑以形成数据集,将数据集按照一定的比例分为测试集、训练集和验证集,可以理解的是,比例是可以是根据用户需要设定的,也可以是根据大量实验进行设定的,在此不作限定。在本实施例中,训练集和验证集的比例是9:1。在图斑模型采用多个损失函数构成的复合损失函数进行训练,以生成训练好的图斑模型。其中,复合损失函数包括diceloss和shape-aware loss。
Dice loss:
Figure 393551DEST_PATH_IMAGE001
其中:
Figure 717216DEST_PATH_IMAGE002
表示ground truth,
Figure 922719DEST_PATH_IMAGE003
表示predicted segmentation,N表示像素点个数,C表示类别;通过逐像素对比,Dice Loss旨在最小化不匹配区域,也是最大化groundtruth和predicted segmentation之间的重叠区域,来度量集合相似度,或者说两个样本的相似度。
Shape-aware Loss:
Figure 803082DEST_PATH_IMAGE004
其中:
Figure 584831DEST_PATH_IMAGE005
Figure 454016DEST_PATH_IMAGE006
度量的是平均
Figure 143885DEST_PATH_IMAGE007
(the curves of predictedsegmentation)各个点到
Figure 74276DEST_PATH_IMAGE008
(the curves of ground truth边缘曲线)的欧式距离;CE指交叉熵损失函数;
Figure 431571DEST_PATH_IMAGE009
旨在通过将
Figure 647438DEST_PATH_IMAGE010
作为交叉熵损失函数的权重,来强调分割边缘的重要性。
在本实施例中,图斑模型是对块状的要素进行提取,即对待识别图像中的特征进行逐层提取,从而识别图像中的建筑物图斑。示例性地,当采用RESNet101作为图斑模型时,原始输入图像(像素)-浅层特征(线条)-中层特征(纹理)-高层特征(局部图案)-高级抽象特征(物体/房屋)。由此可见,由于采用U-NET模型结合复合损失函数进行训练,强化了区域的边缘特征,有助于图斑模型快速收敛,从而能够准确、快速的对图像进行图斑识别。
又例如,图4是根据本公开一实施例的识别出的图斑矢量的示意图。参见图3,将待识别的遥感影像输入至训练好的图斑模型中,识别出的建筑物黑白掩膜,黑白掩膜尺寸大小和原遥感影像一致,每个像素的值为0或1,其中,1表示该像素属于建筑物,0表示该像素不属于建筑物。再将黑白的栅格掩膜转换为矢量的多边形,得到建筑物图斑多边形矢量文件。
图5是根据本公开一实施例的密集区域分割线模型识别出的共有分割线黑白掩膜的示意图,参见图5。将待识别图像输入至密集区域分割线模型,识别出的相邻区域/建筑物共有分割线黑白掩膜,黑白掩膜尺寸和原遥感影像一致,每个像素的值为0或1,其中1表示该像素属于共有分割线,0表示该像素不属于共有分割线。图6是根据本公开一实施例的识别出的共有分割线矢量的示意图,参见图6,可以理解的是,密集区域分割线模型输出的掩膜是较大的区域,因此,图5与图6可以不一一对应。再将黑白的栅格掩膜转换为矢量的线段,得到建筑物间的共有分割线矢量。
图7是根据本公开一实施例的分割后的图斑矢量的示意图。参见图7,
在步骤S14中,将共有分割线矢量结合步骤12得到的图斑矢量,即通过共有分割线分割图斑矢量,得到分割后的图斑矢量。实现实例级分割提取。
在步骤S15中,修正处理可以包括:对分割后的图斑矢量进行内角调整,例如直角化处理,还可以将分割不完全的位置进行补全,还可以是对共有分割线进行修正。从而更准确对图像中的各个区域进行分割。
综上所述,图斑模型和密集区域分割线模型分别对待识别图像进行识别处理,再将处理后的图斑矢量和分割线矢量结合得到分割后的图斑矢量,对分割后的图斑矢量进行修正处理,由此可见,即使是临近区域都可以准确进行分割,使得识别的出的各个区域更加精确。
图8是本公开另一实施例的图像识别方法中训练密集区域分割线模型的流程示意图的流程图。该图像识别方法还可以包括:
S61、获取第一训练图像集,其中,第一训练图像集中的训练图像均为区域分割线标注后的遥感影像。
S62、根据对抗生成器网络对第一训练图像集进行训练,得到密集区域分割线模型。
在步骤S61中,第一训练图像集中的训练图像采用如下方式获得:
获取遥感影像,并对遥感影像进行数据增强处理;
将数据增强处理后的遥感影像进行区域分割线标注,得到区域分割线标注后的遥感影像。
具体地,获取不同地域,不同时相,不同分辨率,不同尺度的遥感影像,并将其进行混合、拼接和融合。数据增强处理主要表现为对图片进行随机翻转、旋转、缩放、剪裁、拼接等,有助于丰富训练数据,提高模型的泛化性,鲁棒性。可以理解的是,为了使得密集区域分割线模型能够更好的对影像进行分割,因此重点采集建筑物稠密的影像。人工标注遥感影像中每个建筑物的矢量外形,然后矢量转栅格得到建筑物图斑,将建筑物图斑通过膨胀法,计算出相邻的共用分割线,从而得到区域分割线标注,以供后续密集区域分割线模型训练时进行使用。
图9是根据本公开一实施例的训练密集区域分割线模型过程中对区域间的共有分割线进行标注的示意图。参见图9,图9中左边的图表示遥感影像,图9中右边的图表示遥感影像中区域间的共有分割线。由此可见,由于对遥感影像进行数据增强处理,使得训练数据更丰富,提高了模型的泛化性,鲁棒性。
在步骤S62中,根据生成模型与判断模型对第一训练图像集进行训练,得到密集区域分割线模型,其中,生成模型为卷积神经网络。在本实施例中,图10是根据本公开一实施例的ResNet结构的示意图。参见图10,生成模型为U-NET模型,例如,ResNet101,将去掉全连接层的ResNet101作为骨干网。可以理解的是,由于生成模型采用了U-NET模型有助于精确地分割图像中的细节,使得识别出的图像更加准确。
具体地,图11是根据本公开一实施例的Xmap网络结构示意图。参见图11,根据神经网络进行特征提取时,在编码过程中一共经历了5次下采样,输入shape从(512,512,3)分别到c1(256,256,64), c2(128,128,256),c3(64,64,512),c4(32,32,1024),c5(16,16,2048)。然后在解码部分采用了对应的5次上采样,使得输出恢复为(512,512,1)。在解码部分,通过4次连接操作(即concat操作),跨层连接编码部分和解码部分,使得解码部分的来源不仅仅是来自编码部分末端的c5,避免了细节特征在多次下采样过程中的丢失。最后再添加2次卷积操作,用sigmoid函数激活输出。但是,若仅通过神经网络进行训练,容易造成共用分割线样本稀疏,类不平衡严重的问题,因此引入了对抗生成器网络来训练,以使训练处于对抗博弈状态中,从而训练好的密集区域分割线模型能够更准确的确定共有分割线。对抗生成器网络(GAN, Generative Adversarial Networks )包括两个模块:生成模型(Generative Model)和判断模型(Discriminative Model),而生成模型与判断模型互相博弈学习可以产生相当好的输出。初始时,由于生成模型的推理结果和真实结果区别较大,并且判断模型判别准确的概率不是很稳定,因此会先训练判断模型以使判断模型更好地分辨样本,然后再对生成模型进行训练,以使生成模型的生成结果达到更接近真实结果的状态。经过多次反复训练迭代之后,生成模型推理样本分布拟合于真实样本分布,并且判断模型分辨不出样本是生成的还是真实的(即判别概率均为0.5)。此时,得到训练好的密集区域分割线模型,从而根据密集区域分割线模型能够确定精确的共有分割线。图12是根据本公开一实施例的图像识别方法的具体流程示意图。参见图12,根据训练好的密集区域分割线模型和训练好的图斑模型对待识别图像进行识别,不仅可以对稀疏区域的非零间距房屋识别,还可以将零间距的目标要素完整分割开来,实现实例级的分割方法。
需要说明的是,在本实施例中,在获取遥感影像,对遥感影像进行数据增强处理后,可以根据上述数据分别训练图斑模型和密集区域分割线模型,也可以分别获取数据分别进行模型训练,在此不作限定。
图13是本公开另一实施例的图像识别方法的流程图。该方法可以包括:
S101、获取待识别图像。
S102、根据图斑模型对待识别图像进行处理,得到图斑矢量。
S103、根据密集区域分割线模型对待识别图像进行处理,得到区域间的共有分割线矢量。
S104、根据图斑矢量和区域间的共有分割线矢量,得到分割后的图斑矢量。
S105、对分割后的图斑矢量中的共有分割线进行角度修正处理,以识别待识别图像中的各个区域。
本实施例中,S101~S104分别与上一实施例中的S11~ S14相同,在此不赘述。S105是上一实施例中的S15的一种示例性方式。
具体地,图斑矢量中可以包括多个零距离的建筑物,将共有分割线与图斑矢量相交,此时,该图斑矢量被分割为两个相邻的多边形,但是由于大多数的建筑物的外形遵循直角化原理,因此对共有分割线进行角度调整,使得分割后的区域更加准确。
在一种实施方式中,步骤S105,包括:
若分割后的图斑矢量中的共有分割线形成的角度与90度的差值处于允许的修正范围内,则基于分割线的中点对分割线进行角度修正,得到待识别图像中的各个区域。
在本实施例中,允许的修正范围可以为[90°-5°,90°+5°],还可以根据实际需要进行设定,在此不作限定。
进一步地,若分割后的图斑矢量中的共有分割线形成的角度与90度的差值不处于允许的修正范围内,则直接输出待识别图像中的各个区域。
示例性地,当分割后的图斑矢量中的共有分割线形成的角度为60°时,则无需对其角度进行修正,说明待识别图像中的建筑物的角度就是为60°。
需要说明的是,预设的角度误差范围根据需要进行设置,在此不做限定。
图14是根据本公开一实施例修正共有分割线的示意图。实例级分割方法:参见图14,aefd为识别出的建筑物多边形矢量,bc所在的线段是共用分割线矢量,共有分割线矢量和多边形矢量做矢量相交,则多边形分为了cut1和cut2两个相邻的多边形。判断∠abc和∠bcd的角度值是否处于[90°-0.5°,90°+0.5°](即预设的允许的修正范围),若符合,则可以进行直角化修正处理;确定分割位置不变,选取原有分割线的中点m,并计算中点的坐标。通过a点和b点的坐标,计算线段ab的斜率ab_k。计算修正后的分割线的斜率new_k,其中,new_k = tan(arctan(ab_k)- π + delta)。Delta=∠ab’c’=(∠abc+∠bcd)/2。根据中点m和斜率new_k得到修正后的分割线new_cutline,计算new_cutline和多边形aefd的分割交点,得到b’和c’。修正后新的多边形为ab’c’d和b’efc’。由此可见,上述方式下即能保证分割位置不变,还能够对共有分割线进行修正,从而保证了图像分割的准确性。直接利用线段和多边形的矢量计算出交点(切割点),切割出相邻有共线关系的目标要素各实例轮廓,并可做切割角度优化,使得最终的多边形内外轮廓都有精度高,外形好的优点,解决了以往分割线弯曲不规整的难题。
图15示出根据本发明一实施例的图像识别装置的结构框图。如图15所示,该装置可以包括:
第一获取模块1201,用于获取待识别图像;
第一处理模块1202,用于根据图斑模型对待识别图像进行处理,得到图斑矢量;
第二处理模块1203,用于根据密集区域分割线模型对待识别图像进行处理,得到区域间的共有分割线矢量;
分割模块1204,用于根据图斑矢量和区域间的共有分割线矢量,得到分割后的图斑矢量;
识别模块1205,用于对分割后的图斑矢量进行修正处理,以识别待识别图像中的各个区域。
在一种实施方式中,图16是根据本公开一实施例的图像识别装置中训练密集区域分割线模型的示意性框图,参见图16,所述装置还包括:
第二获取模块1301,用于获取第一训练图像集,其中,第一训练图像集中的训练图像均为区域分割线标注后的遥感影像;
训练模块1302,用于根据对抗生成器网络对第一训练图像集进行训练,得到密集区域分割线模型。
在一种实施方式中,第二获取模块1301,包括:
图像处理单元,用于获取遥感影像,并对遥感影像进行数据增强处理;
图像标注单元,用于将数据增强处理后的遥感影像进行区域分割线标注,得到区域分割线标注后的遥感影像。
在一种实施方式中,训练模块1302,包括:
模型训练子单元,用于根据生成模型与判断模型对第一训练图像集进行训练,得到密集区域分割线模型,其中,生成模型为卷积神经网络。
在一种实施方式中,识别模块1205,包括:
修正识别单元,用于对分割后的图斑矢量中的共有分割线进行角度修正处理,以识别待识别图像中的各个区域。
在一种实施方式中,修正识别单元,包括:
图像识别子单元,用于若分割后的图斑矢量中的共有分割线形成的角度与90度的差值处于允许的修正范围内,则基于分割线的中点对分割线进行角度修正,得到待识别图像中的各个区域。
本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述,在此不再赘述。
图17示出根据本发明一实施例的图像识别设备的结构框图。如图17所示,该图像识别设备包括:存储器1401和处理器1402,存储器1401内存储有可在处理器1402上运行的计算机程序。处理器1402执行该计算机程序时实现上述实施例中的图像识别方法。存储器1401和处理器1402的数量可以为一个或多个。
该图像识别设备还包括:
通信接口1403,用于与外界设备进行通信,进行数据交互传输。
如果存储器1401、处理器1402和通信接口1403独立实现,则存储器1401、处理器1402和通信接口1403可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(PeripheralComponentInterconnect,PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture,EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图14中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器1401、处理器1402及通信接口1403集成在一块芯片上,则存储器1401、处理器1402及通信接口1403可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现本申请实施例中提供的方法。
本申请实施例还提供了一种芯片,该芯片包括,包括处理器,用于从存储器中调用并运行存储器中存储的指令,使得安装有芯片的通信设备执行本申请实施例提供的方法。
本申请实施例还提供了一种芯片,包括:输入接口、输出接口、处理器和存储器,输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连,处理器用于执行存储器中的代码,当代码被执行时,处理器用于执行申请实施例提供的方法。
应理解的是,上述处理器可以是中央处理器(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(digital signal processing,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(fieldprogrammablegate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是,处理器可以是支持进阶精简指令集机器(advanced RISC machines,ARM)架构的处理器。
进一步地,可选的,上述存储器可以包括只读存储器和随机存取存储器,还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以包括只读存储器(read-onlymemory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以包括随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用。例如,静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic random access memory ,DRAM) 、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。
应理解的是,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种图像识别方法,其特征在于,包括:
获取待识别图像;
根据图斑模型对所述待识别图像进行处理,得到图斑矢量;
根据密集区域分割线模型对所述待识别图像进行处理,得到区域间的共有分割线矢量;
根据所述图斑矢量和所述区域间的共有分割线矢量,得到分割后的图斑矢量;
对所述分割后的图斑矢量进行修正处理,以识别所述待识别图像中的各个区域。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第一训练图像集,其中,所述第一训练图像集中的训练图像均为区域分割线标注后的遥感影像;
根据对抗生成器网络对所述第一训练图像集进行训练,得到密集区域分割线模型。
3.根据权利要求2所述的方法,其特征在于,所述第一训练图像集中的训练图像采用如下方式获得:
获取遥感影像,并对所述遥感影像进行数据增强处理;
将数据增强处理后的遥感影像进行区域分割线标注,得到区域分割线标注后的遥感影像。
4.根据权利要求2所述的方法,其特征在于,所述根据对抗生成器网络对所述第一训练图像集进行训练,得到密集区域分割线模型,包括:
根据生成模型与判断模型对所述第一训练图像集进行训练,得到密集区域分割线模型,其中,所述生成模型为卷积神经网络。
5.根据权利要求1所述的方法,其特征在于,所述对所述分割后的图斑矢量进行修正处理,以识别所述待识别图像中的各个区域,包括:
对所述分割后的图斑矢量中的共有分割线进行角度修正处理,以识别所述待识别图像中的各个区域。
6.根据权利要求5所述的方法,其特征在于,所述对所述分割后的图斑矢量中的共有分割线进行角度修正处理,以识别所述待识别图像中的各个区域,包括:
若所述分割后的图斑矢量中的共有分割线形成的角度与90度的差值处于允许的修正范围内,则基于所述分割线的中点对所述分割线进行角度修正,得到所述待识别图像中的各个区域。
7.一种图像识别装置,其特征在于,包括:
第一获取模块,用于获取待识别图像;
第一处理模块,用于根据图斑模型对所述待识别图像进行处理,得到图斑矢量;
第二处理模块,用于根据密集区域分割线模型对所述待识别图像进行处理,得到区域间的共有分割线矢量;
分割模块,用于根据所述图斑矢量和所述区域间的共有分割线矢量,得到分割后的图斑矢量;
识别模块,用于对所述分割后的图斑矢量进行修正处理,以识别所述待识别图像中的各个区域。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于获取第一训练图像集,其中,所述第一训练图像集中的训练图像均为区域分割线标注后的遥感影像;
训练模块,用于根据对抗生成器网络对所述第一训练图像集进行训练,得到密集区域分割线模型。
9.根据权利要求8所述的装置,其特征在于,所述第二获取模块,包括:
图像处理单元,用于获取遥感影像,并对所述遥感影像进行数据增强处理;
图像标注单元,用于将数据增强处理后的遥感影像进行区域分割线标注,得到区域分割线标注后的遥感影像。
10.根据权利要求8所述的装置,其特征在于,所述训练模块,包括:
模型训练子单元,用于根据生成模型与判断模型对所述第一训练图像集进行训练,得到密集区域分割线模型,其中,所述生成模型为卷积神经网络。
11.根据权利要求7所述的装置,其特征在于,所述识别模块,包括:
修正识别单元,用于对所述分割后的图斑矢量中的共有分割线进行角度修正处理,以识别所述待识别图像中的各个区域。
12.根据权利要求11所述的装置,其特征在于,所述修正识别单元,包括:
图像识别子单元,用于若所述分割后的图斑矢量中的共有分割线形成的角度与90度的差值处于允许的修正范围内,则基于所述分割线的中点对所述分割线进行角度修正,得到所述待识别图像中的各个区域。
13.一种图像识别设备,其特征在于,包括:处理器和存储器,所述存储器中存储指令,所述指令由处理器加载并执行,以实现如权利要求1至6任一项所述的方法。
14.一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202110477175.1A 2021-04-30 2021-04-30 图像识别方法、装置、设备及存储介质 Active CN112990141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110477175.1A CN112990141B (zh) 2021-04-30 2021-04-30 图像识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110477175.1A CN112990141B (zh) 2021-04-30 2021-04-30 图像识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112990141A true CN112990141A (zh) 2021-06-18
CN112990141B CN112990141B (zh) 2021-08-03

Family

ID=76336744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110477175.1A Active CN112990141B (zh) 2021-04-30 2021-04-30 图像识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112990141B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516539A (zh) * 2019-07-17 2019-11-29 苏州中科天启遥感科技有限公司 基于对抗网络的遥感影像建筑物提取方法、系统、存储介质及设备
CN112084872A (zh) * 2020-08-10 2020-12-15 浙江工业大学 一种融合语义分割与边缘的高分遥感目标精准检测方法
CN112581468A (zh) * 2020-12-29 2021-03-30 二十一世纪空间技术应用股份有限公司 一种面向遥感影像提取信息的处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516539A (zh) * 2019-07-17 2019-11-29 苏州中科天启遥感科技有限公司 基于对抗网络的遥感影像建筑物提取方法、系统、存储介质及设备
CN112084872A (zh) * 2020-08-10 2020-12-15 浙江工业大学 一种融合语义分割与边缘的高分遥感目标精准检测方法
CN112581468A (zh) * 2020-12-29 2021-03-30 二十一世纪空间技术应用股份有限公司 一种面向遥感影像提取信息的处理方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAO SU等: "HQ-ISNet: High-Quality Instance Segmentation for Remote Sensing Imagery", 《REMOTE SENSING》 *
SHUTING SUN等: "Semantic Segmentation for Buildings of Large Intra-Class Variation in Remote Sensing Images with O-GAN", 《REMOTE SENSING》 *
綦晓杰: "基于深度学习的城市高分辨率遥感图像语义分割模型优化", 《中国优秀硕士学位论文全文数据库(电子期刊)工程科技Ⅱ辑》 *

Also Published As

Publication number Publication date
CN112990141B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN110298298B (zh) 目标检测及目标检测网络的训练方法、装置及设备
CN109697441B (zh) 一种目标检测方法、装置及计算机设备
CN110598512B (zh) 一种车位检测方法及装置
CN112560980B (zh) 目标检测模型的训练方法、装置及终端设备
CN112084869A (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN111680704B (zh) 海洋红线新增人类活动斑块自动化快速提取方法和装置
CN113158789B (zh) 一种遥感图像的目标检测方法、系统、装置及介质
CN114926511A (zh) 一种基于自监督学习的高分辨率遥感影像变化检测方法
CN113326763A (zh) 一种基于边界框一致性的遥感目标检测方法
CN112465886A (zh) 模型生成方法、装置、设备和可读存储介质
CN113486975A (zh) 遥感图像的地物分类方法、装置、设备及存储介质
CN110084743A (zh) 基于多航带起始航迹约束的图像拼接与定位方法
CN116958962A (zh) 一种基于改进YOLOv8s的疏果前石榴果实检测方法
CN111105435B (zh) 标志物匹配方法、装置及终端设备
CN112101310B (zh) 基于上下文信息的道路提取方法、装置和计算机设备
CN112990141B (zh) 图像识别方法、装置、设备及存储介质
CN110874170A (zh) 一种图像区域修正方法、图像分割方法及装置
JP7028336B2 (ja) 学習装置、学習方法および学習プログラム
CN113298755B (zh) 基于时序影像的生态环境变化斑块快速检测方法和装置
Ziems et al. Multiple-model based verification of road data
CN116129191A (zh) 基于遥感ai的多目标智能识别与精细分类方法
CN115731458A (zh) 一种遥感影像的处理方法、装置和电子设备
CN113255405A (zh) 车位线识别方法及其系统、车位线识别设备、存储介质
CN117456542B (zh) 图像匹配方法、装置、电子设备及存储介质
CN112749670B (zh) 一种多源遥感图像的逐像素分类方法、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: A509-A510, 5th Floor, Training Center, No. 12 Zhongguancun South Street, Haidian District, Beijing 100081

Patentee after: Tuxi digital technology (Beijing) Co.,Ltd.

Address before: 100176 room 1702, 14th floor, building 1, courtyard 8, Wenhua Yuan West Road, economic and Technological Development Zone, Daxing District, Beijing

Patentee before: Tuxi digital technology (Beijing) Co.,Ltd.

CP02 Change in the address of a patent holder