CN113989305B - 目标语义分割方法及应用其的街道目标异常检测方法 - Google Patents

目标语义分割方法及应用其的街道目标异常检测方法 Download PDF

Info

Publication number
CN113989305B
CN113989305B CN202111607986.5A CN202111607986A CN113989305B CN 113989305 B CN113989305 B CN 113989305B CN 202111607986 A CN202111607986 A CN 202111607986A CN 113989305 B CN113989305 B CN 113989305B
Authority
CN
China
Prior art keywords
target
region
segmentation
semantic segmentation
growth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111607986.5A
Other languages
English (en)
Other versions
CN113989305A (zh
Inventor
徐志坚
章东平
陈斌
雷羽文
董墨江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCI China Co Ltd
Original Assignee
CCI China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCI China Co Ltd filed Critical CCI China Co Ltd
Priority to CN202111607986.5A priority Critical patent/CN113989305B/zh
Publication of CN113989305A publication Critical patent/CN113989305A/zh
Application granted granted Critical
Publication of CN113989305B publication Critical patent/CN113989305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出了一种目标语义分割方法，包括：获取包括至少一目标的待检测图像；将待检测图像输入目标检测网络得到至少一目标的检测框；根据检测框设置生长区域和初始种子点，并根据每一初始种子点的区域生长结果得到对应目标的分割轮廓；将待检测图像输入目标分割网络每一目标的预测轮廓；根据每一相同目标的分割轮廓和预测轮廓的并集区域获得对应目标的语义分割结果。该方法通过使用目标检测生成目标的检测框来解决语义分割中标注困难的问题，并且根据检测框确定生长区域和初始种子点，使用区域生长算法分割目标可以得到目标更加精准的分割轮廓，以及使用目标分割网络得到目标的预测轮廓，根据相同目标的分割轮廓和分割轮廓获得语义分割结果。

Description

目标语义分割方法及应用其的街道目标异常检测方法
技术领域
本申请涉及目标检测技术领域，特别是涉及一种目标语义分割方法及应用其的街道目标异常检测方法。
背景技术
语义分割是对图像中的每一个像素进行分类，目前广泛引用于各个领域。通常的语义分割体系结构可以被广泛认为是一个编码器网络和一个解码器网络：编码器通常是一个预先训练的分类网络，如vgg/resnet，解码器的任务是将编码器学习到的识别特征（低分辨率）语义投影到像素空间（高分辨率）上，得到每个像素的分类。
目前的语义分割明显存在标注数据难、小目标分割难以及大目标分割不精准等问题。
发明内容
本申请提供了一种目标语义分割方法及应用其的街道目标异常检测方法，其中，目标语义分割方法通过根据目标检测网络获取目标的检测框，在检测框中使用区域生长算法将待检测图像中的目标进行分割得到每一目标的分割轮廓，并且使用目标分割网络得到待检测图像中每一像素的目标类别概率，根据每一像素的目标类别概率得到每一目标的预测轮廓，再根据同一目标的分割轮廓和预测轮廓得到该目标的语义分割结果。街道目标异常检测方法应用该目标语义分割方法从待测视频图像中获取街道目标的语义分割结果，并根据街道目标的语义分割结果获取对应的图像，检查每一图像中的街道目标是否存在异常。
第一方面，本申请实施例提供了一种目标语义分割方法，包括以下步骤：
获取包括至少一目标的待检测图像；
将所述待检测图像输入目标检测网络得到至少一所述目标的检测框；
根据每一所述检测框确定至少一生长区域，在每一所述生长区域中选取初始种子点进行区域生长，并根据每一所述初始种子点的区域生长结果得到对应目标的分割轮廓；
将所述待检测图像输入目标分割网络得到每一像素的目标类别概率，并将所述目标类别概率不小于目标分类阈值的每一像素判定为对应的目标类别，合并相同目标类别的像素得到至少一所述目标的预测轮廓；
获取每一相同目标的所述分割轮廓和所述预测轮廓的并集区域，所述并集区域包括差集区域和交集区域，剔除所述差集区域中多余的像素修正所述并集区域，并根据修正后的所述并集区域获得对应所述目标的语义分割结果。
在一些申请实施例中，“剔除所述差集区域中多余的像素修正所述并集区域，并根据修正后的所述并集区域获得对应所述目标的语义分割结果”包括：获取每一相同目标的所述分割轮廓和所述预测轮廓的并集区域，其中所述并集区域分为差集区域和交集区域；降低每一所述差集区域中的像素的所述目标类别概率，并根据降低后的目标类别概率重新确定每一像素的目标类别；合并所述并集区域中相同目标类别的所有像素获得对应所述目标的语义分割结果。
在一些申请实施例中，“根据每一所述检测框构建至少生长区域”包括：将每一所述检测框设为一生长区域，以及将标记为不同目标类别且相互重叠的任意两所述检测框形成的重叠区域设为生长区域。
在一些申请实施例中，“在每一所述生长区域中选取初始种子点进行区域生长，并根据每一所述初始种子点的区域生长结果得到每一所述目标的分割轮廓”包括：在每一所述生长区域中选取一像素作为初始种子点，并将所述初始种子点标记为对应检测框的目标类别；设置像素块大小，将包括每一所述初始种子点的所述像素块作为种子区域；以每一所述种子区域为中心区域向外执行区域扩展步骤获取新的种子区域，其中所述区域扩展步骤为获取与所述中心区域相似度大于设定阈值的每一邻居区域作为新的种子区域，以所述新的种子区域为中心区域继续执行所述区域扩展步骤，直到每一所述生长区域中不存在新的种子区域，将每一所述生长区域中所有种子区域内的像素标记为与该生长区域的初始种子点相同的目标类别，得到区域生长结果；合并每一所述生长区域中相邻且相似的种子区域得到对应目标的分割轮廓。
在一些申请实施例中，在“合并每一所述生长区域中相邻且相似的种子区域得到对应目标的分割轮廓”前，包括：计算对应每一重叠区域的生长区域的色调分量均值和饱和度分量均值，以及计算形成该重叠区域的两检测框各自生长区域的色调分量均值和饱和度分量均值，根据三者的色调分量均值和饱和度分量均值，将每一所述重叠区域的生长区域与色调分量均值和饱和度分量均值差别较小的检测框的生长区域合并为一个新的生长区域。
在一些申请实施例中，在“合并每一所述生长区域中相邻且相似的种子区域得到对应目标的分割轮廓”前，包括：选取相同目标类别的所有检测框中符合筛选条件的多个所述检测框合并得到复合多边框，将所述复合多边框中所有生长区域合并为一个新的生长区域，其中所述筛选条件为：多个所述检测框之间相互重叠，且相互重叠的任意两所述检测框的中心点之间的距离小于合并阈值。
在一些申请实施例中，“合并每一所述生长区域中相邻且相似的种子区域得到对应目标的分割轮廓”包括：合并每个同一生长区域中，色调分量均值的差小于第一阈值且饱和度分量均值的差小于第二阈值的相邻的种子区域。
在一些申请实施例中，每一所述生长区域的初始种子点为该生长区域的中心点。
在一些申请实施例中，根据每一所述种子区域的色调分量均值和饱和度分量均值以及该种子区域的邻居区域的色调分量均值和饱和度分量均值计算所述相似度；所述色调分量均值为所述种子区域或所述邻居区域中所有像素点的色调分量的平均值；所述饱和度分量均值为所述种子区域或所述邻居区域中所有像素点的饱和度分量的平均值。
在一些申请实施例中，所述邻居区域为与所述种子区域相邻且同样大小的所述像素块。
第二方面，本申请实施例提供了一种街道目标异常检测方法，应用第一方面所述的目标语义分割方法，实现街道目标的识别，并对识别到的每一街道目标进行异常检测，该方法包括以下步骤：
获取待测视频图像；
根据如上任一所述的目标语义分割方法从所述待测视频图像中获得至少一街道目标的语义分割结果；
根据每一所述街道目标的语义分割结果从所述待检测图像中截取对应的街道目标图像，并检查每一所述街道目标图像中的街道目标是否异常。
第三方面，本申请实施例提供了一种目标语义分割装置，用于实现第一方面中所述的目标语义分割方法，该装置包括以下模块：
第一获取模块，用于获取包括至少一目标的待检测图像；
目标检测模块，用于将所述待检测图像输入目标检测网络得到至少一所述目标的检测框；
区域生长模块，用于根据每一所述检测框确定至少一生长区域，在每一所述生长区域中选取初始种子点进行区域生长，并根据每一所述初始种子点的区域生长结果得到对应目标的分割轮廓；
第一分割模块，用于将所述待检测图像输入目标分割网络得到每一像素的目标类别概率，并将所述目标类别概率不小于目标分类阈值的每一像素判定为对应的目标类别，合并相同目标类别的像素得到对应至少一所述目标的预测轮廓；
分割修正模块，用于根据每一相同目标的所述分割轮廓和所述预测轮廓的并集区域获得对应所述目标的语义分割结果。
第四方面，本申请实施例提供了一种街道目标异常检测装置，用于实现第二方面中所述的街道目标异常检测方法，该装置包括以下模块：
第二获取模块，用于获取待测视频图像；
第二分割模块，用于根据如上任一所述的目标语义分割方法从所述待测视频图像中获得至少一街道目标的语义分割结果；
异常检测模块，用于根据每一所述街道目标的语义分割结果从所述待检测图像中截取对应的街道目标图像，并检查每一所述街道目标图像中的街道目标是否异常。
第五方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以如上任意申请实施例所述的目标语义分割方法或街道目标异常检测方法。
第六方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述软件代码部分用于执行如上任一申请实施例所述的目标语义分割方法或街道目标异常检测方法。
第七方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据如上任意申请实施例所述的目标语义分割方法或街道目标异常检测方法。
本申请实施例的主要贡献和创新点如下：
本申请实施例提供了一种目标语义分割方法，通过根据目标检测算法获取目标的检测框，在检测框中使用区域生长算法将待检测图像中的目标进行分割得到每一目标的分割轮廓，并且使用目标分割网络得到待检测图像中每一像素的目标类别概率并根据每一像素的目标类别概率得到每一目标的预测轮廓，根据相同目标的分割轮廓和预测轮廓的并集区域获得对应目标的语义分割结果。
值得一提的是，本申请实施例通过使用目标检测生成检测框来解决标注困难的问题，并且根据检测框确定生长区域和初始种子点，使用区域生长算法分割目标可以得到目标更加精准的分割轮廓，结合分割轮廓与目标分割网络得到相同目标的预测轮廓获得语义分割结果。
进一步的，在一些申请实施例中，通过降低同一目标的分割轮廓和预测轮廓的差集区域中像素的目标类别概率，剔除多余的像素，优化该目标的语义分割结果。
在另一申请实施例中，提供了一种街道目标异常检测方法，应用上述目标语义分割方法从待测视频图像中获取街道目标的语义分割结果，并根据该语义分割结果从待检测图像中截取出街道目标图像，检查每一街道目标是否存在异常。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的目标语义分割方法的流程图；
图2是根据本申请实施例的目标检测模型的结构示意图；
图3是根据本申请实施例的复合多边框的示意图；
图4是根据本申请实施例的电子装置的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
实施例一
本实施例提供了一种目标语义分割方法，用于将待检测图像进行目标语义分割。如图1所示，该方法可以归纳为3个步骤：
步骤1，采用区域生长算法，对待检测图像中的目标进行分割，得到待检测图像中每个目标的分割轮廓；步骤2，将待检测图像输入分割网络得到每一像素的目标类别概率，根据每一像素的目标类别概率得到每一目标的预测轮廓；步骤3，根据对应同一目标的分割轮廓和预测轮廓得到该目标的语义分割结果。
在步骤1中，先获取待检测图像，将待检测图像输入目标检测网络中进行目标检测，得到至少一个检测框，再根据检测框确定生长区域并选取初始种子点，基于初始种子点进行区域生长，得到每个目标的分割轮廓。
具体的，本实施例中采用如图2所示的目标检测网络，主要包括特征提取模块、特征融合模块和分类定位模块。特征提取模块用于根据待检测图像提取图像特征，其中使用了Darknet53主干网络提取图像细节信息，以及使用了Mish激活函数有效避免梯度饱和的问题，该Mish激活函数的公式为：Mish=x×tanh(ln(1+ex))。特征融合模块用于融合特征提取模块得到的图像特征得到融合特征图，使用了FPN（Feature Pyramid Network）将不同尺度的特征进行融合。分类定位模块用于根据融合特征图预测目标的位置和目标的类别概率值，生成对应目标的检测框，且每一检测框都根据类别概率值标记出对应目标的目标类别。
该目标检测网络需要使用针对某一类或者某几类目标的样本图像进行训练，具体的，将该目标检测网络输入的BatchSize设置为64，随机初始化各层的连接权值W和偏置b，给定学习速率η。获取大量样本图像，为样本图像中的目标进行检测框标注和类别标注，在本实施例中，对大目标标注多个检测框，对小目标标注单个检测框，因为大目标只标注一个检测框的话会包含很多与该目标无关的内容，而使用多个小检测框能更好的描述其轮廓。将样本图像分为训练集和测试集，训练集送入该目标检测网络进行训练并迭代，直到损失值区域稳定时停止训练，测试集可以用于检测训练后的目标检测网络的预测准确率，若预测准确率不达标可以对该目标检测网络继续进行训练和迭代。
将待检测图像输入到已训练的目标检测网络，可以得到至少一包裹目标的检测框。由于区域生长算法是先将整个图像划分成多个生长区域，再在每一生长区域中指定一个种子点作为生长的起点，因此可以将每个检测框都作为一个生长区域，以及将标记为不同目标类别且相互重叠的任意两所述检测框形成的重叠区域设为一个生长区域，然后从每个生长区域中选一个初始种子点。
在本实施例中，将每个生长区域的中心点选作初始种子点，然后根据选取的初始种子点使用区域生长算法在各自的生长区域内进行生长。
其中，生长区域的中心点就是对应检测框的中心点。具体的，目标检测网络会输出每一检测框的相关信息，例如左上角坐标和右下角坐标，或者是左上角坐标和检测框的长度、宽度，根据每一检测框的相关信息可以计算得到该检测框的中心点的坐标。
按照常规的区域生长算法，将每一初始种子点标记为对应检测框的目标类别，也就是说不同的初始种子点代表不同的目标类别，以初始种子点为起点，获取与每一初始种子点相邻且相似度大于设定阈值的所有像素作为种子点；以每一种子点为起点向外执行扩展步骤，扩展步骤包括获取与种子点相邻且相似度大于设定阈值的像素为新的种子点，以新的种子点为起点继续向外执行扩展步骤；直到每一生长区域中不存在与各自的任意种子点相邻且相似的像素，合并成为种子点的所有像素。
在一些实施例中，为了加快区域生长的速度，设置像素块大小，将包括每一初始种子点的像素块作为种子区域；以每一种子区域为中心区域向外执行区域扩展步骤获取新的种子区域，其中区域扩展步骤为获取与中心区域相似度大于设定阈值的每一邻居区域作为新的种子区域，以新的种子区域为中心区域继续执行区域扩展步骤，直到每一生长区域中不存在新的种子区域，将每一生长区域中所有种子区域内的像素标记为与该生长区域的初始种子点相同的目标类别，得到区域生长结果；合并每一生长区域中相邻且相似的种子区域得到对应目标的分割轮廓。
具体的，本实施例中使用的待检测图像为RGB图像，先将待检测图像通过非线性变化转化为HIS彩色图像，再按照上述方法在每一生长区域中进行区域生长。并且，像素块包括至少一像素，根据像素块包括的像素个数可以调节区域生长的速度和准确性，本实施例中使用的像素块是包括9个像素，且排布为3*3的像素块，在一定程度上加快了区域生长的速度，并且不会太影响区域生长的准确性。
区域生长的规则是根据色调和饱和度来设定的，也就是根据每一种子区域的色调分量均值和饱和度分量均值以及该种子区域的邻居区域的色调分量均值和饱和度分量均值计算相似度；色调分量均值为种子区域或邻居区域中所有像素点的色调分量的平均值；饱和度分量均值为种子区域或邻居区域中所有像素点的饱和度分量的平均值，来判断邻居区域是否能被选作种子区域。
具体的，将种子区域Ri以及Ri所有的邻居区域Rj定义为集合Vi R，Vi R=Ri∪Rj（j=1，...，k，Rj是Ri的邻居区域），因此种子区域与它邻居区域的相似度函数定义为：
Figure DEST_PATH_IMAGE002
，
其中，
Figure DEST_PATH_IMAGE004
，
xt为Vi R中每个区域的色调分量均值，也就是单个区域中所有像素点的色调分量的平均值；
Figure DEST_PATH_IMAGE006
为Vi R中所有区域的色调分量均值，也就是将Vi R中所有区域的所有像素点的色调分量的平均值。
以及，
Figure DEST_PATH_IMAGE008
，
yt为Vi R中每个区域的饱和度分量均值，也就是单个区域中所有像素点的饱和度分量的平均值；
Figure DEST_PATH_IMAGE010
为Vi R中所有区域的饱和度分量均值，也就是将Vi R中所有区域的所有像素点的饱和度分量的平均值；ω1和ω2是预先定义好的系数。
在所有生长区域都完成了生长的过程后，将同一生长区域中相邻且相似的种子区域进行合并得到对应目标的分割轮廓。具体的，对应检测框的生长区域内，色调分量均值的差小于第一阈值且饱和度分量均值的差小于第二阈值的相邻的种子区域，为相邻且相似的种子区域。
特别的是，当任意两个被标记为不同类别的检测框重叠时，会形成一个重叠区域，通常很难直接判定这个重叠区域中的每一个像素块分别属于哪个检测框，因此，在本实施例中也将重叠区域作为一个生长区域，选取该重叠区域的中心点作为初始种子点，并同样按照上述过程在该生长区域内进行生长。因此，在“合并对应每一检测框的所述生长区域中相邻且相似的种子区域得到对应目标的分割轮廓”前，计算对应每一重叠区域的生长区域的色调分量均值和饱和度分量均值，以及计算形成该重叠区域的两检测框各自生长区域的色调分量均值和饱和度分量均值，根据三者的色调分量均值和饱和度分量均值，将每一重叠区域的生长区域与色调分量均值和饱和度分量均值差别较小的检测框的生长区域合并为一个新的生长区域。
但对于任意两个被标记为同类别的检测框重叠的情况，本实施例先对部分可能对应的是同一目标的检测框进行合并得到复合多边框，再将复合多边框中所有的种子区域按照上述合并条件进行合并，以解决检测框过多和检测框不准确的问题。
如图3所示，选取相同目标类别的所有检测框中符合筛选条件的多个检测框合并得到复合多边框，将复合多边框中所有生长区域合并为一个新的生长区域，其中筛选条件为：多个检测框之间相互重叠，且相互重叠的任意两检测框的中心点之间的距离小于合并阈值。
具体的，如果标记为同类别的多个检测框都相互重叠，那么根据这些检测框的中心点坐标计算多个检测框中每任意两个检测框的中心点之间的距离，如果这些检测框中每任意两检测框的中心点之间的距离都小于合并阈值，则将这些检测框合并为一个复合多边框。这样做的好处是，便于在所有生长区域都完成了生长的过程后，将该复合多边框内所有的生长区域合并为一个新的生长区域，并将新的生长区域所有的种子区域按照上述筛选条件进行筛选后合并，修正了单个检测框包裹目标不准确或不完全导致对应同一目标的种子区域无法完全合并的问题。
在步骤2中，将待检测图像输入目标分割网络得到每一像素的目标类别概率，将目标类别概率不小于目标分类阈值的像素都判定为对应的目标类别，合并相同目标类别的像素得到对应目标的预测轮廓。在本实施例中采用的目标分割网络是现有的Deeplab系列模型Deeplabv3+模型，由一个编码器和一个解码器组成，编码器由四个下采样层组成，利用空洞空间金字塔池化（ASPP）充分提取上下文信息，解码器通过连接编码器中的每个下采样层充分融合深层特征和浅层特征，进行多次反卷积上采样，得到待检测图像中每个像素的目标类别概率，根据目标类别概率将每个像素归为不同的目标，以此得到每个目标的预测轮廓。
在步骤3中，根据对应同一目标的分割轮廓和预测轮廓得到该目标的语义分割结果。具体的，首先，获取每一相同目标的分割轮廓和预测轮廓的并集区域，并集区域包括了分割轮廓和预测轮廓差集区域和交集区域；然后，降低每一差集区域中的像素的目标类别概率，并根据降低后的目标类别概率重新确定每一像素的目标类别以剔除差集区域中多余的像素，修正并集区域；最后，合并并集区域中相同目标类别的所有像素获得对应目标的语义分割结果。
在本实施例中，为差集区域中的每一像素设置小于1的弱化权重，使用每一像素的弱化权重乘以该像素的目标类别概率得到新的目标类别概率，将差集区域中每一像素的目标类别概率进行统一降低，然后根据新的目标类别概率判断每一像素的目标类别，最后再合并相同目标类别的像素得到对应目标的语义分割结果。这样做的目的是，在保证同一目标分割轮廓和预测轮廓的交集区域中像素的目标类别概率不变的情况下，降低差集区域中像素的目标类别概率，可以将差集区域中多余的像素剔除，得到目标更加精准的语义分割结果。
具体的，弱化权重属于目标分割网络中的一个参数，通过训练目标分割网络得到。在训练过程中，按照上述方法获取样本图像的分割轮廓和预测轮廓，计算每个目标的分割轮廓和预测轮廓的交并比，以及根据每一像素的目标类别和每一像素的真实目标类别，使用交叉熵损失函数计算整个目标分割网络的交叉熵损失值。由于一个样本图像中可能包含多个目标，因此将所有目标的交并比相加后计算交并比平均值，交并比平均值越高说明目标分割网络得到的预测轮廓的准确率越高。
获取相同目标的分割轮廓和预测轮廓的差集区域，每调整一次差集区域中像素的权重的值，使用每一像素的权重乘以目标类别概率得到新的目标类别概率，并对每一像素重新判定目标类别，得到新的预测轮廓，计算交并比平均值和交叉熵损失值，然后继续获取相同目标的分割轮廓和新的预测轮廓的差集区域，直到交并比平均值和交叉熵损失值满足需求，或者计算得到的交并比平均值最大和/或交叉熵损失值最小的时候，获得的弱化权重的值。
在本实施例中，为待检测图像中不同种类的目标设置不同的标识颜色，然后使用每一目标的标识颜色填充待检测图像对应分割轮廓内的区域得到第一分割图，同理的，使用每一目标的标识颜色填充待检测图像对应预测轮廓内的区域得到第二分割图。最初，将第一分割图和第二分割图相同颜色的差集区域中每一像素初始的权重设为0.5，并将步骤2中的目标类别概率，作为第一目标类别概率，然后将每一像素的权重与该像素的第一目标类别概率相乘得到该像素的第二目标类别概率，根据每一像素的第二目标类别概率得到每个目标新的预测轮廓，然后计算每个目标的分割轮廓与新的预测轮廓的交并比以及当前目标分割网络的交叉熵损失值，不断调整权重，直到交并比平均值和交叉熵损失值满足需求，或者计算得到的交并比平均值最大和/或交叉熵损失值最小的时候，停止调整得到最优的弱化权重的值。
本实施例还将上述目标语义分割方法应用于街道目标的异常检测，提供一种街道目标异常检测方法，包括以下步骤：获取待测视频图像；根据上述的目标语义分割方法从所述待测视频图像中获得至少一街道目标的语义分割结果；根据每一所述街道目标的语义分割结果从所述待检测图像中截取对应的街道目标图像，并检查每一所述街道目标图像中的街道目标是否异常。
具体的，待测视频图像可以是从监控设备中获取视频流，并将视频流在中的每一帧视频图形都作为待测视频图像。并且，可以通过人为或者训练目标异常检测模型用于检测街道目标是否异常，获取异常的街道目标的位置信息，根据这些位置信息下达相应的维修指令，派遣员工达到位置信息对应的实际位置对异常的街道目标进行维修。
其中，应用于街道目标异常检测中目标语义分割的目标检测网络需要使用大量街道目标的样本图像进行训练，例如：马路、人行道、建筑物、消防设施、垃圾桶、电线杆、红绿灯、绿植、人、汽车、公共汽车、工程车、电动车/摩托车、自行车、井盖、警示柱等。特别的是，在本实施例中，对样本图像进行标注时，对大物体标注多个目标矩形框，小物体标注单个目标矩形框，这样的好处是若对大物体只用一个检测框则会包含其他多余的目标，而标注成多个小检测框能更好的描述其轮廓，也为生长区域算法提供了更多的初始种子点选择，能够更好的进行区域生长和合并。
实施例二
基于相同的构思，本实施例还提供了一种目标语义分割装置，用于实现实施例一中所描述的目标语义分割方法，该装置包括以下模块：
第一获取模块，用于获取包括至少一目标的待检测图像；
目标检测模块，用于将所述待检测图像输入目标检测网络得到至少一所述目标的检测框；
区域生长模块，用于根据每一所述检测框确定至少一生长区域，在每一所述生长区域中选取初始种子点进行区域生长，并根据每一所述初始种子点的区域生长结果得到对应目标的分割轮廓；
第一分割模块，用于将所述待检测图像输入目标分割网络得到每一像素的目标类别概率，并将所述目标类别概率不小于目标分类阈值的每一像素判定为对应的目标类别，合并相同目标类别的像素得到对应至少一所述目标的预测轮廓；
分割修正模块，用于根据每一相同目标的所述分割轮廓和所述预测轮廓的并集区域获得对应所述目标的语义分割结果。
以及本实施例还提供了一种街道目标异常检测装置，用于实现实施例一种所描述的街道目标异常检测方法，该装置包括以下模块：
第二获取模块，用于获取待测视频图像；
第二分割模块，用于根据如上所述的目标语义分割方法从所述待测视频图像中获得至少一街道目标的语义分割结果；
异常检测模块，用于根据每一所述街道目标的语义分割结果从所述待检测图像中截取对应的街道目标图像，并检查每一所述街道目标图像中的街道目标是否异常。
实施例三
本实施例还提供了一种电子装置，参考图4，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述实施例中的任意一种目标语义分割方法或街道目标异常检测方法的步骤。
具体地，上述处理器402可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（Hard Disk Drive，简称为HDD）、软盘驱动器、固态驱动器（Solid State Drive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerial Bus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（Non-Volatile）存储器。在特定实施例中，存储器404包括只读存储器（Read-Only Memory，简称为ROM）和随机存取存储器（Random Access Memory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（Programmable Read-Only Memory，简称为PROM）、可擦除PROM（Erasable Programmable Read-Only Memory，简称为EPROM）、电可擦除PROM（Electrically Erasable Programmable Read-Only Memory，简称为EEPROM）、电可改写ROM（Electrically Alterable Read-Only Memory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（StaticRandom-Access Memory，简称为SRAM）或动态随机存取存储器（Dynamic Random AccessMemory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器404（Fast PageMode Dynamic Random Access Memory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（Extended Date Out Dynamic Random Access Memory，简称为EDODRAM）、同步动态随机存取内存（Synchronous Dynamic Random-Access Memory，简称SDRAM）等。
存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种目标语义分割方法或街道目标异常检测方法。
可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是当前数据表例如疫情流调文档、特征数据、模板表等，输出的信息可以是特征指纹、指纹模板、文本分类推荐信息、文件模板配置映射表、文件模板配置信息表等。
可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：
获取包括至少一目标的待检测图像；
将所述待检测图像输入目标检测网络得到对应至少一所述目标的检测框以及每一所述检测框标记的目标类别；
将每一所述检测框设为生长区域，在每一所述生长区域中选取初始种子点进行区域生长，并根据每一所述初始种子点的区域生长结果得到对应目标的分割轮廓；
将所述待检测图像输入目标分割网络得到每一像素的目标类别概率，并将所述目标类别概率不小于目标分类阈值的每一像素判定为对应的目标类别，合并相同目标类别的像素得到至少一所述目标的预测轮廓；
获取每一相同目标的所述分割轮廓和所述预测轮廓的差集区域，降低每一所述差集区域中每一像素的所述目标类别概率并重新确定每一像素的目标类别，合并相同目标类别的像素得到对应目标的语义分割结果。
或者执行：
获取待测视频图像；
根据上述的目标语义分割方法从所述待测视频图像中获得至少一街道目标的语义分割结果；
根据每一所述街道目标的语义分割结果从所述待检测图像中截取对应的街道目标图像，并检查每一所述街道目标图像中的街道目标是否异常。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例一中的任意一种目标语义分割方法或街道目标异常检测方法，本申请实施例可一种计算机程序产品来实现。该计算机程序产品该计算机程序产品包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述软件代码部分用于执行实现上述实施例一中的任意一种目标语义分割方法或街道目标异常检测方法。
并且，结合上述实施例一中的任意一种目标语义分割方法或街道目标异常检测方法，本申请实施例可提供一种可读存储介质来实现。该可读存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种目标语义分割方法或街道目标异常检测方法。
通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (15)

1.目标语义分割方法，其特征在于，包括以下步骤：
获取包括至少一目标的待检测图像；
将所述待检测图像输入目标检测网络得到至少一所述目标的检测框；
根据每一所述检测框确定至少一生长区域，在每一所述生长区域中选取初始种子点进行区域生长，并根据每一所述初始种子点的区域生长结果得到对应目标的分割轮廓；
将所述待检测图像输入目标分割网络得到每一像素的目标类别概率，并将所述目标类别概率不小于目标分类阈值的每一像素判定为对应的目标类别，合并相同目标类别的像素得到至少一所述目标的预测轮廓；
获取每一相同目标的所述分割轮廓和所述预测轮廓的并集区域，所述并集区域包括差集区域和交集区域，降低每一所述差集区域中的像素的所述目标类别概率，并根据降低后的目标类别概率重新确定每一像素的目标类别,合并所述并集区域中相同目标类别的所有像素获得对应所述目标的语义分割结果。
2.根据权利要求1所述的目标语义分割方法，其特征在于，“根据每一所述检测框确定至少一生长区域”包括：将每一所述检测框设为生长区域，以及将标记为不同目标类别且相互重叠的任意两所述检测框形成的重叠区域设为生长区域。
3.根据权利要求1至权利要求2中任一所述的目标语义分割方法，其特征在于，“在每一所述生长区域中选取初始种子点进行区域生长，并根据每一所述初始种子点的区域生长结果得到每一所述目标的分割轮廓”包括：在每一所述生长区域中选取一像素作为初始种子点，并将所述初始种子点标记为对应检测框的目标类别；设置像素块大小，将包括每一所述初始种子点的所述像素块作为种子区域；以每一所述种子区域为中心区域向外执行区域扩展步骤获取新的种子区域，其中所述区域扩展步骤为获取与所述中心区域相似度大于设定阈值的每一邻居区域作为新的种子区域，以所述新的种子区域为中心区域继续执行所述区域扩展步骤，直到每一所述生长区域中不存在新的种子区域，将每一所述生长区域中所有种子区域内的像素标记为与该生长区域的初始种子点相同的目标类别，得到区域生长结果；合并每一所述生长区域中相邻且相似的种子区域得到对应目标的分割轮廓。
4.根据权利要求3所述的目标语义分割方法，其特征在于，在“合并每一所述生长区域中相邻且相似的种子区域得到对应目标的分割轮廓”前，包括：计算对应每一重叠区域的生长区域的色调分量均值和饱和度分量均值，以及计算形成该重叠区域的两检测框各自生长区域的色调分量均值和饱和度分量均值，根据三者的色调分量均值和饱和度分量均值，将每一所述重叠区域的生长区域与色调分量均值和饱和度分量均值差别较小的检测框的生长区域合并为一个新的生长区域。
5.根据权利要求3所述的目标语义分割方法，其特征在于，在“合并每一所述生长区域中相邻且相似的种子区域得到对应目标的分割轮廓”前，包括：选取相同目标类别的所有检测框中符合筛选条件的多个所述检测框合并得到复合多边框，将所述复合多边框中所有生长区域合并为一个新的生长区域，其中所述筛选条件为：多个所述检测框之间相互重叠，且相互重叠的任意两所述检测框的中心点之间的距离小于合并阈值。
6.根据权利要求3所述的目标语义分割方法，其特征在于，“合并每一所述生长区域中相邻且相似的种子区域得到对应目标的分割轮廓”包括：合并每个同一生长区域中，色调分量均值的差小于第一阈值且饱和度分量均值的差小于第二阈值的相邻的种子区域。
7.根据权利要求3所述的目标语义分割方法，其特征在于，每一所述生长区域的初始种子点为该生长区域的中心点。
8.根据权利要求3所述的目标语义分割方法，其特征在于，根据每一所述种子区域的色调分量均值和饱和度分量均值以及该种子区域的邻居区域的色调分量均值和饱和度分量均值计算所述相似度；所述色调分量均值为所述种子区域或所述邻居区域中所有像素点的色调分量的平均值；所述饱和度分量均值为所述种子区域或所述邻居区域中所有像素点的饱和度分量的平均值。
9.根据权利要求3所述的目标语义分割方法，其特征在于，所述邻居区域为与所述种子区域相邻且同样大小的所述像素块。
10.街道目标异常检测方法，其特征在于，包括以下步骤：
获取待测视频图像；
根据权利要求1-9任一所述的目标语义分割方法从所述待测视频图像中获得至少一街道目标的语义分割结果；
根据每一所述街道目标的语义分割结果从所述待检测图像中截取对应的街道目标图像，并检查每一所述街道目标图像中的街道目标是否异常。
11.目标语义分割装置，其特征在于，包括以下模块：
第一获取模块，用于获取包括至少一目标的待检测图像；
目标检测模块，用于将所述待检测图像输入目标检测网络得到至少一所述目标的检测框；
区域生长模块，用于根据每一所述检测框确定至少一生长区域，在每一所述生长区域中选取初始种子点进行区域生长，并根据每一所述初始种子点的区域生长结果得到对应目标的分割轮廓；
第一分割模块，用于将所述待检测图像输入目标分割网络得到每一像素的目标类别概率，并将所述目标类别概率不小于目标分类阈值的每一像素判定为对应的目标类别，合并相同目标类别的像素得到对应至少一所述目标的预测轮廓；
分割修正模块，用于获取每一相同目标的所述分割轮廓和所述预测轮廓的并集区域，所述并集区域包括差集区域和交集区域，降低每一所述差集区域中的像素的所述目标类别概率，并根据降低后的目标类别概率重新确定每一像素的目标类别,合并所述并集区域中相同目标类别的所有像素获得对应所述目标的语义分割结果。
12.街道目标异常检测装置，其特征在于，包括以下模块：
第二获取模块，用于获取待测视频图像；
第二分割模块，用于根据权利要求1-9任一所述的目标语义分割方法从所述待测视频图像中获得至少一街道目标的语义分割结果；
异常检测模块，用于根据每一所述街道目标的语义分割结果从所述待检测图像中截取对应的街道目标图像，并检查每一所述街道目标图像中的街道目标是否异常。
13.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至9任一所述的目标语义分割方法或权利要求10所述的街道目标异常检测方法。
14.一种计算机程序产品，其特征在于，包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述软件代码部分用于执行根据权利要求1至9任一所述的目标语义分割方法或权利要求10所述的街道目标异常检测方法。
15.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1至9任一所述的目标语义分割方法或权利要求10所述的街道目标异常检测方法。
CN202111607986.5A 2021-12-27 2021-12-27 目标语义分割方法及应用其的街道目标异常检测方法 Active CN113989305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111607986.5A CN113989305B (zh) 2021-12-27 2021-12-27 目标语义分割方法及应用其的街道目标异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111607986.5A CN113989305B (zh) 2021-12-27 2021-12-27 目标语义分割方法及应用其的街道目标异常检测方法

Publications (2)

Publication Number Publication Date
CN113989305A CN113989305A (zh) 2022-01-28
CN113989305B true CN113989305B (zh) 2022-04-22

Family

ID=79734463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111607986.5A Active CN113989305B (zh) 2021-12-27 2021-12-27 目标语义分割方法及应用其的街道目标异常检测方法

Country Status (1)

Country Link
CN (1) CN113989305B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596440B (zh) * 2022-03-22 2023-08-04 小米汽车科技有限公司 语义分割模型的生成方法、装置、电子设备及存储介质
CN115115923B (zh) * 2022-07-18 2024-04-09 北京有竹居网络技术有限公司 模型训练方法、实例分割方法、装置、设备及介质
CN115147770B (zh) * 2022-08-30 2022-12-02 山东千颐科技有限公司 基于图像处理的皮带异物视觉识别系统
CN115810042B (zh) * 2023-02-14 2023-05-05 成都数联云算科技有限公司 基于目标检测的图像iou获取方法、装置、介质及设备
CN115965927B (zh) * 2023-03-16 2023-06-13 杭州枕石智能科技有限公司 一种路面信息提取方法、装置、电子设备及可读存储介质
CN117350985B (zh) * 2023-10-24 2024-04-19 云途信息科技(杭州)有限公司 井盖病害检测方法、装置、计算机设备及存储介质
CN117611590B (zh) * 2024-01-24 2024-04-09 深存科技(无锡)有限公司 一种缺陷轮廓复合检测方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839269A (zh) * 2014-03-21 2014-06-04 南京大学 基于四元数和模糊c均值聚类的图像分割方法
CN104376551A (zh) * 2014-08-25 2015-02-25 浙江工业大学 一种融合区域生长和边缘检测的彩色图像分割方法
CN105844625A (zh) * 2016-03-18 2016-08-10 常州大学 一种融合边缘和区域的活动轮廓图像分割方法
CN110110617A (zh) * 2019-04-22 2019-08-09 腾讯科技（深圳）有限公司 医学影像分割方法、装置、电子设备和存储介质
CN111798467A (zh) * 2020-06-30 2020-10-20 中国第一汽车股份有限公司 一种图像分割方法、装置、设备及存储介质
CN112766069A (zh) * 2020-12-31 2021-05-07 广东电网有限责任公司 基于深度学习的车辆违停检测方法、装置及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009038436B4 (de) * 2009-08-21 2012-02-23 Siemens Aktiengesellschaft Verfahren zur Segmentierung eines Organs in Volumendatensätzen der Magnetresonanztomographie
US9269155B2 (en) * 2012-04-05 2016-02-23 Mediatek Singapore Pte. Ltd. Region growing method for depth map/color image
CN109993789B (zh) * 2017-12-29 2021-05-25 杭州海康威视数字技术股份有限公司 一种共享单车的违停判定方法、装置及相机
CN111368687B (zh) * 2020-02-28 2022-07-19 成都市微泊科技有限公司 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN112084872A (zh) * 2020-08-10 2020-12-15 浙江工业大学 一种融合语义分割与边缘的高分遥感目标精准检测方法
CN111985376A (zh) * 2020-08-13 2020-11-24 湖北富瑞尔科技有限公司 一种基于深度学习的遥感影像舰船轮廓提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839269A (zh) * 2014-03-21 2014-06-04 南京大学 基于四元数和模糊c均值聚类的图像分割方法
CN104376551A (zh) * 2014-08-25 2015-02-25 浙江工业大学 一种融合区域生长和边缘检测的彩色图像分割方法
CN105844625A (zh) * 2016-03-18 2016-08-10 常州大学 一种融合边缘和区域的活动轮廓图像分割方法
CN110110617A (zh) * 2019-04-22 2019-08-09 腾讯科技（深圳）有限公司 医学影像分割方法、装置、电子设备和存储介质
CN111798467A (zh) * 2020-06-30 2020-10-20 中国第一汽车股份有限公司 一种图像分割方法、装置、设备及存储介质
CN112766069A (zh) * 2020-12-31 2021-05-07 广东电网有限责任公司 基于深度学习的车辆违停检测方法、装置及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Image Segmentation by Fuzzy Edge Detection and Region Growing Technique;Khwairakpam, A等;《Proceedings of the Third International Conference on Microelectronics, Computing and Communication Systems》;20190524;全文 *
基于多标签特征融合的实例分割网络框架;车翔玖 等;《吉林大学学报(工学版)》;20200701;第50卷(第06期);全文 *
基于视觉注意机制及区域生长的图像分割方法研究;梁丹;《中国优秀硕士学位论文全文数据库信息科技辑》;20131215;第2013年卷(第S2期);全文 *

Also Published As

Publication number Publication date
CN113989305A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN113989305B (zh) 目标语义分割方法及应用其的街道目标异常检测方法
Wei et al. Toward automatic building footprint delineation from aerial images using CNN and regularization
CN107784654B (zh) 图像分割方法、装置及全卷积网络系统
CN106570453B (zh) 用于行人检测的方法、装置和系统
CN112101361B (zh) 针对鱼眼图像的目标检测方法、装置、设备和存储介质
Gupta et al. Detection and localization of potholes in thermal images using deep neural networks
CN109978807B (zh) 一种基于生成式对抗网络的阴影去除方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN109993101B (zh) 基于多分支循环自注意力网络与循环边框回归的车辆检测方法
CN108154149B (zh) 基于深度学习网络共享的车牌识别方法
CN111191570B (zh) 图像识别方法和装置
CN110399762A (zh) 一种基于单目图像的车道线检测的方法及装置
CN108961180B (zh) 红外图像增强方法及系统
CN111680704B (zh) 海洋红线新增人类活动斑块自动化快速提取方法和装置
CN111046950B (zh) 一种图像处理方法、装置、存储介质和电子装置
CN114972191A (zh) 一种耕地变化检测方法和装置
CN114529873A (zh) 目标检测方法及应用其的城市违规事件监测方法
CN109427062A (zh) 道路特征标记方法、装置、计算机设备以及可读存储介质
CN114283383B (zh) 一种智慧城市公路养护方法、计算机设备及介质
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN114418950A (zh) 道路病害检测方法、装置、设备及存储介质
WO2020024206A1 (zh) 基于dcgan的停车数据修补方法、装置、设备及存储介质
CN113538351B (zh) 一种融合多参数电信号的外绝缘设备缺陷程度评估方法
CN115187770A (zh) 基于边界缓冲深度学习的地块精细识别方法及系统
CN115700541A (zh) 一种单个沙尘气象灾害判定方法及判定系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant