CN110751157B - 图像显著性分割、图像显著性模型训练方法及装置 - Google Patents

图像显著性分割、图像显著性模型训练方法及装置 Download PDF

Info

Publication number
CN110751157B
CN110751157B CN201910995138.2A CN201910995138A CN110751157B CN 110751157 B CN110751157 B CN 110751157B CN 201910995138 A CN201910995138 A CN 201910995138A CN 110751157 B CN110751157 B CN 110751157B
Authority
CN
China
Prior art keywords
saliency
sample image
preset
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910995138.2A
Other languages
English (en)
Other versions
CN110751157A (zh
Inventor
罗永豪
李骈臻
陈星�
张长定
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN201910995138.2A priority Critical patent/CN110751157B/zh
Publication of CN110751157A publication Critical patent/CN110751157A/zh
Application granted granted Critical
Publication of CN110751157B publication Critical patent/CN110751157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种图像显著性分割、图像显著性模型训练方法及装置，涉及图像处理技术领域。本申请可以采用预设显著性模型提取待处理图像的特征信息，采用预设显著性模型、根据特征信息，获取待处理图像的显著性分割图，显著性分割图通过显著性区域框标识显著性物体，实现对待处理图像的显著性分割，可以得到显著性区域框和显著性分割图相结合的显著性分割结果，相对于现有技术中进行显著性分割所得到显著性分割结果而言，本申请得到的显著性区域框和显著性分割图相结合的显著性分割结果分割效果更加明显，从而能够适应针对较为复杂场景的待处理图像的显著性分割。

Description

图像显著性分割、图像显著性模型训练方法及装置
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种图像显著性分割、图像显著性模型训练方法及装置。
背景技术
图像处理任务通常是指根据图片内容对图片进行缩放、针对图片进行前背景分离等。而进行图像处理任务，一般需要先将图像中的该显著性物体从图像中分割出来，然后基于图像中的显著性物体对图像进行相应的处理。其中，显著性物体是指图像中视觉信息最突出的物体。
目前，对图像中的显著性物体进行分割的方法中通常为：首先根据图像本身的像素信息进行数据统计，然后计算每个像素点的显著性值，最后根据各像素点的显著性值的分布对显著性物体进行分割。
但是，上述现有的图像显著性分割方法难以适应较为复杂的场景，针对场景较为复杂的图像进行显著性分割时，分割效果不佳。
发明内容
本申请提供一种图像显著性分割、图像显著性模型训练方法及装置，可以适应复杂场景对图像进行显著性分割。
第一方面，本申请实施例提供一种图像显著性分割方法，包括：
采用预设显著性模型提取待处理图像的特征信息；
采用预设显著性模型、根据特征信息，获取待处理图像的显著性分割图，显著性分割图通过显著性区域框标识显著性物体，其中预设显著性模型根据样本图像集合训练获取，样本图像集合包括：样本图像，样本图像包含显著性区域标注框、以及样本图像对应的预设显著性分割图。
可选地，上述采用预设显著性模型、根据特征信息，获取待处理图像的显著性分割图，包括：
采用预设显著性模型、根据特征信息，预测获取待处理图像的显著性区域框、以及至少一个待选显著性分割图；
将待选显著性分割图二值化，得到二值化后的分割图；
根据显著性区域框，计算获取二值化后的分割图中显著性区域框所圈范围内图像的连通区域面积；
根据连通区域面积、显著性区域框，在待选显著性分割图中筛选获取待处理图像的显著性分割图。
可选地，上述采用预设显著性模型提取待处理图像的特征信息，包括：
采用预设显著性模型对待处理图像进行特征提取，获取密集式特征组合；
根据密集式特征组合，计算获取待处理图像的密集式组合特征图。
第二方面，本申请实施例提供一种图像显著性模型训练方法，包括：
获取样本图像集合，样本图像集合包括：样本图像，样本图像包含显著性区域标注框、以及样本图像对应的预设显著性分割图；
采用预设卷积神经网络以及样本图像集合，训练获取显著性模型。
可选地，上述采用预设卷积神经网络以及样本图像集合，训练获取显著性模型，包括：
根据预设卷积神经网络，获取样本图像的显著性区域框、以及样本图像对应的显著性分割图；
计算样本图像的显著性区域框相对于显著性区域标注框的绝对损失；
计算样本图像的显著性分割图相对于预设显著性分割图的交叉熵损失；
根据绝对损失、交叉熵损失、以及预设算法对预设卷积神经网络进行参数优化，获取显著性模型。
可选地，上述根据绝对损失、交叉熵损失、以及预设算法对预设卷积神经网络进行参数优化，获取显著性模型之前，该方法还包括：
根据预设卷积神经网络，获取样本图像的显著性区域框的置信度；
根据样本图像的显著性区域框的置信度，计算样本图像的显著性区域框相对于显著性区域标注框的置信度损失；
相应地，上述根据绝对损失、交叉熵损失、以及预设算法对预设卷积神经网络进行参数优化，获取显著性模型，包括：
根据绝对损失、交叉熵损失、置信度损失、以及预设算法对预设卷积神经网络进行参数优化，获取显著性模型。
可选地，上述采用预设卷积神经网络以及样本图像集合，训练获取显著性模型之前，该方法还包括：
获取待选样本图像，并计算待选样本图像的显著性区域占比；
筛选待选样本图像中显著性区域占比不小于预设阈值的样本图像，得到样本图像集合。
可选地，上述采用预设卷积神经网络以及样本图像集合，训练获取显著性模型，包括：
按照预设规则对样本图像进行增益处理，获取增益处理后的样本图像；
采用预设卷积神经网络以及增益处理后的样本图像，训练获取显著性模型。
可选地，上述按照预设规则对样本图像进行增益处理，获取增益处理后的样本图像，包括：
采用高斯模糊、加性噪声、对比度调整、色调偏移、位置翻转或恒等变换中的一种或多种按照预设顺序，依次对样本图像进行增益处理，获取增益处理后的样本图像。
可选地，上述采用预设卷积神经网络以及增益处理后的样本图像，训练获取显著性模型，包括：
将增益后的样本图像缩放到预设尺寸，得到预设尺寸的样本图像；
采用预设卷积神经网络以及预设尺寸的样本图像，训练获取显著性模型。
第三方面，本申请实施例提供一种图像显著性分割装置，包括：
提取模块，用于采用预设显著性模型提取待处理图像的特征信息；
第一获取模块，用于采用预设显著性模型、根据特征信息，获取待处理图像的显著性分割图，显著性分割图通过显著性区域框标识显著性物体，其中预设显著性模型根据样本图像集合训练获取，样本图像集合包括：样本图像，样本图像包含显著性区域标注框、以及样本图像对应的预设显著性分割图。
可选地，第一获取模块具体用于采用预设显著性模型、根据特征信息，预测获取待处理图像的显著性区域框、以及至少一个待选显著性分割图；将待选显著性分割图二值化，得到二值化后的分割图；根据显著性区域框，计算获取二值化后的分割图中显著性区域框所圈范围内图像的连通区域面积；根据连通区域面积、显著性区域框，在待选显著性分割图中筛选获取待处理图像的显著性分割图。
可选地，提取模块具体用于采用预设显著性模型对待处理图像进行特征提取，获取密集式特征组合；根据密集式特征组合，计算获取待处理图像的密集式组合特征图。
第四方面，本申请实施例提供一种图像显著性模型训练装置，包括：
第二获取模块，用于获取样本图像集合，样本图像集合包括：样本图像，样本图像包含显著性区域标注框、以及样本图像对应的预设显著性分割图；
训练模块，用于采用预设卷积神经网络以及样本图像集合，训练获取显著性模型。
可选地，训练模块具体用于根据预设卷积神经网络，获取样本图像的显著性区域框、以及样本图像对应的显著性分割图；计算样本图像的显著性区域框相对于显著性区域标注框的绝对损失；计算样本图像的显著性分割图相对于预设显著性分割图的交叉熵损失；根据绝对损失、交叉熵损失、以及预设算法对预设卷积神经网络进行参数优化，获取显著性模型。
可选地，训练模块还用于根据预设卷积神经网络，获取样本图像的显著性区域框的置信度；根据样本图像的显著性区域框的置信度，计算样本图像的显著性区域框相对于显著性区域标注框的置信度损失；
相应地，训练模块具体还用于根据绝对损失、交叉熵损失、置信度损失、以及预设算法对预设卷积神经网络进行参数优化，获取显著性模型。
可选地，第二获取模块具体用于在所述采用预设卷积神经网络以及样本图像集合，训练获取显著性模型之前，获取待选样本图像，并计算待选样本图像的显著性区域占比；筛选待选样本图像中显著性区域占比不小于预设阈值的样本图像，得到样本图像集合。
可选地，训练模块具体用于按照预设规则对样本图像进行增益处理，获取增益处理后的样本图像；采用预设卷积神经网络以及增益处理后的样本图像，训练获取显著性模型。
可选地，训练模块具体还用于采用高斯模糊、加性噪声、对比度调整、色调偏移、位置翻转或恒等变换中的一种或多种按照预设顺序，依次对样本图像进行增益处理，获取增益处理后的样本图像。
可选地，训练模块具体还用于将增益后的样本图像缩放到预设尺寸，得到预设尺寸的样本图像；采用预设卷积神经网络以及预设尺寸的样本图像，训练获取显著性模型。
第五方面，本申请实施例提供一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行如第一方面或第二方面所述的方法。
第六方面，本申请实施例还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行如第一方面或第二方面所述的方法。
本申请实施例可以采用预设显著性模型提取待处理图像的特征信息，采用预设显著性模型、根据特征信息，获取待处理图像的显著性分割图，显著性分割图通过显著性区域框标识显著性物体，实现对待处理图像的显著性分割，可以得到显著性区域框和显著性分割图相结合的显著性分割结果，相对于现有技术中进行显著性分割所得到显著性分割结果而言，本申请实施例得到的显著性区域框和显著性分割图相结合的显著性分割结果分割效果更加明显，从而能够适应针对较为复杂场景的待处理图像的显著性分割。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的图像显著性分割方法的流程示意图；
图2示出了本申请实施例提供的图像显著性分割方法的另一流程示意图；
图3示出了本申请实施例提供的图像显著性分割方法的又一流程示意图；
图4示出了本申请实施例提供的图像显著性模型训练方法的流程示意图；
图5示出了本申请实施例提供的图像显著性模型训练方法的另一流程示意图；
图6示出了本申请实施例提供的图像显著性模型训练方法的又一流程示意图；
图7示出了本申请实施例提供的图像显著性模型训练方法的又一流程示意图；
图8示出了本申请实施例提供的图像显著性模型训练方法的又一流程示意图；
图9示出了本申请实施例提供的图像显著性模型训练方法的又一流程示意图；
图10示出了本申请实施例提供的图像显著性分割装置的结构示意图；
图11示出了本申请实施例提供的图像显著性模型训练装置的结构示意图；
图12示出了本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本申请实施例提供一种图像显著性分割方法，通过该方法可以对复杂场景的图像进行显著性分割。该方法可以应用于服务器、计算机等具备数据处理能力的设备，本申请对此不作限制。
图1示出了本申请实施例提供的图像显著性分割方法的流程示意图。
如图1所示，该图像显著性分割方法，可以包括：
S101、采用预设显著性模型提取待处理图像的特征信息。
可选地，待处理图像可以包含有不同显著性物体的图像，显著性物体可以是人、车辆、建筑、或者食物等。采用预设显著性模型所提取的待处理图像特征信息可以是待处理图像对应的特征图，如可以是不同尺度下的特征图。特征图中可以包含有待处理图像的颜色特征、纹理特征、形状特征和空间关系特征等。
S102、采用预设显著性模型、根据特征信息，获取待处理图像的显著性分割图，显著性分割图通过显著性区域框标识显著性物体。
其中，预设显著性模型根据样本图像集合训练获取，样本图像集合包括：样本图像，样本图像包含显著性区域标注框、以及样本图像对应的预设显著性分割图。
可选地，可以根据特征信息，采用预设显著性模型获取待处理图像的显著性区域框，显著性区域框所在区域为待处理图像中显著性物体的所在区域。还可以根据特征信息，采用预设显著性模型对待处理图像进行显著性分割，得到待处理图像对应的显著性分割图，并用前述显著性区域框对显著性分割图中的显著性物体进行标识。
以待处理图像为包含有食物的食物图像为例，可以将食物图像输入预设显著性模型中，预设显著性模型可以提取食物图像的特征信息，根据食物图像的特征信息分别获取食物图像对应的显著性分割图和显著性区域框，显著性分割图中包含有显著性食物区域，并通过显著性区域框在分割图中标识显著性食物所在区域，从而得到通过显著性区域框标识显著性食物区域的显著性分割图，进而实现对食物图像的显著性分割。
由上所述，本申请实施例可以采用预设显著性模型提取待处理图像的特征信息，采用预设显著性模型、根据特征信息，获取待处理图像的显著性分割图，显著性分割图通过显著性区域框标识显著性物体，实现对待处理图像的显著性分割，可以得到显著性区域框和显著性分割图相结合的显著性分割结果，相对于现有技术中进行显著性分割所得到显著性分割结果而言，本申请实施例得到的显著性区域框和显著性分割图相结合的显著性分割结果分割效果更加明显，从而能够适应针对较为复杂场景的待处理图像的显著性分割。
图2示出了本申请实施例提供的图像显著性分割方法的另一流程示意图。
可选地，如图2所示，上述采用预设显著性模型、根据特征信息，获取待处理图像的显著性分割图，可以包括：
S201、采用预设显著性模型、根据特征信息，预测获取待处理图像的显著性区域框、以及至少一个待选显著性分割图。
可选地，采用预设显著性模型、根据特征信息，预测所获取的待处理图像对应的待选显著性分割图可以包括一个或多个，本申请对此不作限制。
S202、将待选显著性分割图二值化，得到二值化后的分割图。
其中，二值化是指将待选显著性分割图各像素点的灰度值设置为0或255，也即，可以将待选显著性分割图呈现为明显的黑白效果(0对应黑，255对应白)。对待选显著性分割图进行前述二值化处理，可以得到待选显著性分割图对应的二值化后的分割图，二值化后的分割图中可以凸显有显著性区域的轮廓，而且，二值化后的分割图中数据量更少，可以提高后续处理过程的处理效率。
S203、根据显著性区域框，计算获取二值化后的分割图中显著性区域框所圈范围内图像的连通区域面积。
可选地，可以根据步骤S201中预测得到的待处理图像的显著性区域框，计算步骤S202中所得到的二值化后的分割图中，显著性区域框所圈范围内图像的连通区域面积。
例如，若待选显著性分割图包括多个，如：2个、3个或更多个，则相应的二值化后的分割图也包括多个。可以分别计算每个二值化后的分割图中，显著性区域框所圈范围内图像的连通区域面积，得到多个二值化后的分割图对应的多个连通区域面积计算结果。
S204、根据连通区域面积、显著性区域框，在待选显著性分割图中筛选获取待处理图像的显著性分割图。
可选地，在计算得到二值化后的分割图中显著性区域框所圈范围内图像的连通区域面积后，可以确定连通区域面积最大的二值化后的分割图所对应的待选显著性分割图为待处理图像的显著性分割图。
例如，若待选显著性分割图包括多个，则对应包括多个连通区域面积计算结果；可以根据多个连通区域面积计算结果，筛选连通区域面积最大的二值化后的分割图所对应的待选显著性分割图为待处理图像的显著性分割图。若待选显著性分割图为1个，则也可以无需计算连通区域面积，直接确定待选显著性分割图为待处理图像的显著性分割图。
也即，本申请实施例中，待处理图像对应的显著性分割结果中，显著性分割图不仅可以是通过显著性区域框标识显著性物体，而且还可以是经过连通区域筛选后、具有最大连通区域面积的显著性分割图，从而可以具有更好的分割效果。
图3示出了本申请实施例提供的图像显著性分割方法的又一流程示意图。
可选地，如图3所示，上述采用预设显著性模型提取待处理图像的特征信息，可以包括：
S301、采用预设显著性模型对待处理图像进行特征提取，获取密集式特征组合。
可选地，可以采用预设显著性模型对待处理图像提取待处理图像对应的多尺度特征图，得到密集式特征组合。例如，所得到的多尺度特征图可以表示为：{F1，F2，…，Fk}，其中，k为大于等于1的整数，F1，F2，…，Fk分别用于表示不同尺度的特征图，如：Fk表示第k尺度的特征图。
S302、根据密集式特征组合，计算获取待处理图像的密集式组合特征图。
以上述多尺度特征图{F1，F2，…，Fk}为例，可以采用迭代算法计算获取待处理图像的密集式组合特征图。假设密集式组合特征图可以表示为：{G1，G2，…，Gk}，对于密集式组合特征图中的任一特征图Gi(1≤i≤k)，其计算过程如下：
当i等于1时，Gi＝G1＝F1；
当i大于1时，Gi可以由密集式组合特征图{G1，G2，…，Gi-1}以及特征图Fi进行组合得到，如：可以将密集式组合特征图{G1，G2，…，Gi-1}中的每个特征图进行双线性插值计算，得到每个特征图与特征图Fi尺寸相同的密集式组合特征图{G1，G2，…，Gi-1}，然后可以将密集式组合特征图{G1，G2，…，Gi-1}中与特征图Fi尺寸相同的每个特征图和特征图Fi进行拼接，并通过可分离卷积层进行处理得到Gi。
上述密集式组合特征图的计算过程可以通过如下公式进行表示：
Figure BDA0002239497300000131
其中，Concat({G1，G2，…，G-1},Fi)表示将密集式组合特征图{G1，G2，…，Gi-1}中与特征图Fi尺寸相同的每个特征图和特征图Fi进行拼接；SepConvi-1表示第(i-1)个可分离卷积层。
例如，计算得到的密集式组合特征图中的每个特征图可以如下：
G1＝F1；
G2＝SepConvi-1(Concat({G1},F2))；
G3＝SepConvi-1(Concat({G1，G2},F3))；
G4＝SepConvi-1(Concat({G1，G2，G3},F4))；
……；
G10＝SepConvi-1(Concat({G1，G2，…，G9},F10))等。
本申请实施例还提供一种图像显著性模型训练方法，通过该方法可以训练获取前述方法实施例中所述的预设显著性模型。
图4示出了本申请实施例提供的图像显著性模型训练方法的流程示意图。
如图4所示，该图像显著性模型训练方法，可以包括：
S401、获取样本图像集合。
其中，样本图像集合可以包括：样本图像，样本图像可以包含显著性区域标注框、以及样本图像对应的预设显著性分割图。
以食物图像为例，可以通过图像获取设备采集食物图像作为样本图像，图像获取设备可以是摄像机、具有摄像头的手机等，采集到的食物图像可以存储为JPEG(JointPhotographic Experts Group)格式进行存储。对于采集到的食物图像，还可以进行食物遮罩标注。例如，可以先用绘制多边形的方法标注食物图像中的显著性食物的轮廓，然后可以将绘制的多边形内部填充为白色，多边形外部填充为黑色，形成以遮罩形式展示的显著性食物标注图，该显著性食物标注图可以作为样本图像(食物图像)对应的预设显著性分割图。
可选地，可以根据食物图像中白色填充部分的边界确定得到一个显著性区域框，该显著性区域框可以通过左上角的横坐标、纵坐标、宽度和高度所组成的4维向量进行表示，可将其标注于食物图像中用于表示显著性食物的区域。或者，该显著性区域框也可以通过右上角、左下角、右下角或区域中心点的横坐标、纵坐标、宽度和高度所组成的4维向量进行表示，本申请在此不做限制。
S402、采用预设卷积神经网络以及样本图像集合，训练获取显著性模型。
其中，预设卷积神经网络可以是预先构建得到的。例如，预设卷积神经网络可以包括：特征提取层、密集式特征组合层、显著性区域框确定层、以及显著性分割图判别层。特征提取层可以是通过先构建轻量化网络MobileNetV2卷积神经网络的主干网，并进行k次的下采样操作，再新增(k-1)个可分离卷积层所组成，可以用于提取样本图像的多尺度特征图。密集式特征组合层可以按照前述实施例中所述的密集式组合特征图的计算过程，根据多尺度特征图计算获取样本图像的密集式组合特征图。显著性区域框确定层可以将密集式组合特征图通过全局池化(Global Pooling，GP)后，通过第一卷积运算(记作：Convb)获取样本图像对应的显著性区框，显著性区域框可以以前述实施例中所述的4维向量的形式进行表示。显著性分割图判别层可以将密集式组合特征图通过第二卷积运算(记作：Convs)，得到2个通道的分割灰度图S，第1个通道S1表示非显著性分割图，第2个通道S2表示显著性分割图。
通过上述预设卷积神经网络对样本图像集合进行训练，可以得到显著性模型。
图5示出了本申请实施例提供的图像显著性模型训练方法的另一流程示意图。
可选地，如图5所示，上述采用预设卷积神经网络以及样本图像集合，训练获取显著性模型，可以包括：
S501、根据预设卷积神经网络，获取样本图像的显著性区域框、以及样本图像对应的显著性分割图。
如上所述，首先可以将样本图像输入预设卷积神经网络，通过特征提取层提取样本图像的多尺度特征图；然后，可以将提取到的多尺度特征图输入密集式特征组合层得到样本图像的密集式组合特征图；显著性区域框确定层可以根据密集式组合特征图获取样本图像的显著性区域框；显著性分割图判别层可以根据密集式组合特征图获取样本图像的显著性分割图。
S502、计算样本图像的显著性区域框相对于显著性区域标注框的绝对损失。
绝对损失的计算公式如下：
Figure BDA0002239497300000161
其中，B表示显著性区域框；BI表示显著性区域标注框；LB表示绝对损失；i表示显著性区域框或显著性标注框的向量维度。
S503、计算样本图像的显著性分割图相对于预设显著性分割图的交叉熵损失。
交叉熵损失的计算公式如下：
Figure BDA0002239497300000171
Figure BDA0002239497300000172
其中，S表示图像显著性模型输出的2个通道的分割灰度图，Si表示第i(i等于1或2，表示第1个通道或第2个通道)个通道的分割灰度图；x表示显著性分割图或预设显著性分割图中的各像素点；Si(x)则表示第i通道x点上的像素值；Pi(x)表示在第i通道x点上计算得到的概率值；SI表示预设显著性分割图；Si(x)表示在预设显著性分割图中x点的像素值；Ω表示显著性分割图或预设显著性分割图中的像素点集合；x表示显著性分割图或预设显著性分割图中的各像素点；Q表示预设映射函数；LA表示交叉熵损失。
例如，预设映射函数Q可以为
Figure BDA0002239497300000173
t表示SI(x)，即在预设显著性分割图中x点的像素值。
S504、根据绝对损失、交叉熵损失、以及预设算法对预设卷积神经网络进行参数优化，获取显著性模型。
可选地，可以根据上述步骤S502计算得到的绝对损失、步骤S503得到的交叉熵损失，并采用预设算法，对预设卷积神经网络进行参数优化，从而得到显著性模型。
可选地，预设算法可以是：计算绝对损失与交叉熵损失的和，例如，若L1表示交叉熵损失与绝对损失的和，则
L1＝LA+LB。
然后可以根据交叉熵损失与绝对损失的和，判断预设卷积神经网络是否收敛，若收敛，则确定训练结束，得到显著性模型；若不收敛，则可以对预设卷积神经网络的参数进行优化更新，并重新进行计算和判断是否收敛。例如，可以采用误差反向传播算法(errorBackPropagation，BP)计算出预设卷积神经网络中各参数的梯度；最后根据预设卷积神经网络中各参数的梯度，采用随机梯度下降算法对各参数进行更新，进而得到显著性模型。
其中，BP算法可以用于多层神经网络训练，当正向传播时，输入样本从输入层进入神经网络，经隐层逐层传递至输出层，如果输出层的实际输出与期望输出(导师信号)不同，则转至误差反向传播；如果输出层的实际输出与期望输出(导师信号)相同，结束学习算法。当反向传播时，将输出误差(期望输出与实际输出之差)按原通路反传计算，通过隐层反向，直至输入层，在反传过程中将误差分摊给各层的各个单元，获得各层各单元的误差信号，并将其作为修正各单元权值的根据。这一计算过程可以使用梯度下降法迭代完成，在不停地调整各层神经元的权值和阈值后，可以使误差信号减小到最低限度，即可以使得显著性模型的前后预测深度值损失明显降低。
通过上述图像显著性模型训练方法获取的显著性模型不仅算法简单、运算速度快，而且模型中的参数量较少，对图像的显著性分割效果可以更加明显。
图6示出了本申请实施例提供的图像显著性模型训练方法的又一流程示意图。
可选地，如图6所示，上述根据绝对损失、交叉熵损失、以及预设算法对预设卷积神经网络进行参数优化，获取显著性模型之前，该方法还包括：
S601、根据预设卷积神经网络，获取样本图像的显著性区域框的置信度。
S602、根据样本图像的显著性区域框的置信度，计算样本图像的显著性区域框相对于显著性区域标注框的置信度损失。
如上所述，还可以采用预设卷积神经网络，获取样本图像的显著性区域框的置信度。例如，所构建预设卷积神经网络中，显著性区域框确定将密集式组合特征图通过全局池化(Global Pooling，GP)后，不仅可以通过第一卷积运算(记作：Convb)获取样本图像对应的显著性区框，还可以通过第三卷积运算(记作：Convc)获取该显著性区域框的置信度。
可选地，在实施例中所述的图像显著性模型训练方法的基础上，采用预设算法，对预设卷积神经网络进行参数优化，获取显著性模型时，还可以考虑样本图像的显著性区域框相对于显著性区域标注框的置信度损失，也即，可以根据绝对损失、交叉熵损失、置信度损失、以及预设算法对预设卷积神经网络进行参数优化，获取显著性模型。
置信度损失的计算公式可以如下：
LC＝1-C
其中，LC表示置信度损失，C表示样本图像的显著性区域框的置信度。
可选地，可以计算绝对损失、交叉熵损失、以及置信度损失的和，根据绝对损失、交叉熵损失、以及置信度损失的和对预设卷积神经网络的参数进行优化。例如，若L2表示绝对损失、交叉熵损失、以及置信度损失的和，则
L2＝LA+LB+LC。
图7示出了本申请实施例提供的图像显著性模型训练方法的又一流程示意图。
可选地，如图7所示，上述采用预设卷积神经网络以及样本图像集合，训练获取显著性模型之前，该方法还包括：
S701、获取待选样本图像，并计算待选样本图像的显著性区域占比。
S702、筛选待选样本图像中显著性区域占比不小于预设阈值的样本图像，得到样本图像集合。
其中，预设阈值可以为40％、60％、65％等预先设定的值，本申请对此不作限制。假设预设阈值为a，计算得到待选样本图像的显著性区域占比为b，则可以判断b是否大于或等于a，若b大于或等于a，则可以将待选样本图像确定为样本图像；若b小于a，则可以将待选样本图像丢弃或删除，从而得到显著性区域占比不小于a的样本图像所构成的样本图像集合。
图8示出了本申请实施例提供的图像显著性模型训练方法的又一流程示意图。
可选地，如图8所示，上述采用预设卷积神经网络以及样本图像集合，训练获取显著性模型，包括：
S801、按照预设规则对样本图像进行增益处理，获取增益处理后的样本图像。
S802、采用预设卷积神经网络以及增益处理后的样本图像，训练获取显著性模型。
其中，预设规则可以是指采用高斯模糊、加性噪声、对比度调整、色调偏移、位置翻转或恒等变换中的任一一种对样本图像进行增益处理。或者，预设规则也可以是采用高斯模糊、加性噪声、对比度调整、色调偏移、位置翻转或恒等变换中的多种方式对样本图像进行组合处理。
例如，若预设规则中包括：高斯模糊、加性噪声、对比度调整三种方式，则可以按照高斯模糊、加性噪声、对比度调整的预设顺序，依次对样本图像进行增益处理，获取增益处理后的样本图像。可选地，预设顺序可以是：1)高斯模糊，2)加性噪声，3)对比度调整；或者，也可以是1)加性噪声，2)对比度调整，3)高斯模糊；或者，预设顺序还可以是多种方式的随机组合等。
需要说明的是，本申请对上述预设规则的具体类型，以及预设顺序中的具体排序方式，均不作限制。
图9示出了本申请实施例提供的图像显著性模型训练方法的又一流程示意图。
可选地，如图9所示，上述采用预设卷积神经网络以及增益处理后的样本图像，训练获取显著性模型，包括：
S901、将增益后的样本图像缩放到预设尺寸，得到预设尺寸的样本图像。
假设样本图像缩放到预设尺寸后，预设尺寸的样本图像高度为H、宽度为W，则预设尺寸为：H×W。例如，预设尺寸可以是256×256、224×224、256×192等，本申请在此对预设尺寸的具体大小不作具体限制。将增益后的样本图像缩放到预设尺寸可以更加便于预设神经网络对样本图像进行处理，提高图像处理效率。
S902、采用预设卷积神经网络以及预设尺寸的样本图像，训练获取显著性模型。
基于前述方法实施例，本申请实施例还提供一种图像显著性分割装置，图10示出了本申请实施例提供的图像显著性分割装置的结构示意图。
如图10所示，该图像显著性分割装置可以包括：提取模块11和第一获取模块12。提取模块11用于采用预设显著性模型提取待处理图像的特征信息。第一获取模块12用于采用预设显著性模型、根据特征信息，获取待处理图像的显著性分割图，显著性分割图通过显著性区域框标识显著性物体，其中预设显著性模型根据样本图像集合训练获取，样本图像集合包括：样本图像，样本图像包含显著性区域标注框、以及样本图像对应的预设显著性分割图。
可选地，第一获取模块12具体用于采用预设显著性模型、根据特征信息，预测获取待处理图像的显著性区域框、以及至少一个待选显著性分割图；将待选显著性分割图二值化，得到二值化后的分割图；根据显著性区域框，计算获取二值化后的分割图中显著性区域框所圈范围内图像的连通区域面积；根据连通区域面积、显著性区域框，在待选显著性分割图中筛选获取待处理图像的显著性分割图。
可选地，提取模块11具体用于采用预设显著性模型对待处理图像进行特征提取，获取密集式特征组合；根据密集式特征组合，计算获取待处理图像的密集式组合特征图。
基于前述方法实施例，本申请实施例还提供一种图像显著性模型训练装置，图11示出了本申请实施例提供的图像显著性模型训练装置的结构示意图。
如图11所示，该图像显著性模型训练装置可以包括：第二获取模块21和训练模块22。第二获取模块21用于获取样本图像集合，样本图像集合包括：样本图像，样本图像包含显著性区域标注框、以及样本图像对应的预设显著性分割图。训练模块22用于采用预设卷积神经网络以及样本图像集合，训练获取显著性模型。
可选地，训练模块22具体用于根据预设卷积神经网络，获取样本图像的显著性区域框、以及样本图像对应的显著性分割图；计算样本图像的显著性区域框相对于显著性区域标注框的绝对损失；计算样本图像的显著性分割图相对于预设显著性分割图的交叉熵损失；根据绝对损失、交叉熵损失、以及预设算法对预设卷积神经网络进行参数优化，获取显著性模型。
可选地，训练模块22还用于根据预设卷积神经网络，获取样本图像的显著性区域框的置信度；根据样本图像的显著性区域框的置信度，计算样本图像的显著性区域框相对于显著性区域标注框的置信度损失。
相应地，训练模块22具体还用于根据绝对损失、交叉熵损失、置信度损失、以及预设算法对预设卷积神经网络进行参数优化，获取显著性模型。
可选地，第二获取模块21具体用于在所述采用预设卷积神经网络以及样本图像集合，训练获取显著性模型之前，获取待选样本图像，并计算待选样本图像的显著性区域占比；筛选待选样本图像中显著性区域占比不小于预设阈值的样本图像，得到样本图像集合。
可选地，训练模块22具体用于按照预设规则对样本图像进行增益处理，获取增益处理后的样本图像；采用预设卷积神经网络以及增益处理后的样本图像，训练获取显著性模型。
可选地，训练模块22具体还用于采用高斯模糊、加性噪声、对比度调整、色调偏移、位置翻转或恒等变换中的一种或多种按照预设顺序，依次对样本图像进行增益处理，获取增益处理后的样本图像。
可选地，训练模块22具体还用于将增益后的样本图像缩放到预设尺寸，得到预设尺寸的样本图像；采用预设卷积神经网络以及预设尺寸的样本图像，训练获取显著性模型。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中方法的对应过程，本申请中不再赘述。
本申请实施例提供一种电子设备，该电子设备可以是计算机、服务器等设备，也可以是平板电脑、手机等移动终端，本申请对此不作限制。
图12示出了本申请实施例提供的电子设备的结构示意图。
如图12所示，该电子设备可以包括：处理器31、存储介质32和总线(图中未标出)，存储介质32存储有处理器31可执行的机器可读指令，当电子设备运行时，处理器31与存储介质32之间通过总线通信，处理器31执行机器可读指令，以执行如前述任一方法实施例中所述的方法。具体实现方式和技术效果类似，在此不再赘述。
本申请实施例还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行如前述任一方法实施例中所述的方法。具体实现方式和技术效果类似，在此同样不再赘述。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种图像显著性分割方法，其特征在于，包括：
采用预设显著性模型提取待处理图像的特征信息；
采用所述预设显著性模型、根据所述特征信息，获取所述待处理图像的显著性分割图，所述显著性分割图通过显著性区域框标识显著性物体，其中所述预设显著性模型根据样本图像集合训练获取，所述样本图像集合包括：样本图像，所述样本图像包含显著性区域标注框、以及所述样本图像对应的预设显著性分割图；
根据预设卷积神经网络，获取所述样本图像的显著性区域框、所述样本图像的显著性区域框的置信度、以及所述样本图像对应的显著性分割图；
计算所述样本图像的显著性区域框相对于所述显著性区域标注框的绝对损失；
根据所述样本图像的显著性区域框的置信度，计算所述样本图像的显著性区域框相对于所述显著性区域标注框的置信度损失；
计算所述样本图像的显著性分割图相对于所述预设显著性分割图的交叉熵损失；
根据所述绝对损失、所述置信度损失、所述交叉熵损失、以及预设算法对所述预设卷积神经网络进行参数优化，获取所述预设显著性模型。
2.根据权利要求1所述的方法，其特征在于，所述采用所述预设显著性模型、根据所述特征信息，获取所述待处理图像的显著性分割图，包括：
采用所述预设显著性模型、根据所述特征信息，预测获取所述待处理图像的显著性区域框、以及至少一个待选显著性分割图；
将所述待选显著性分割图二值化，得到二值化后的分割图；
根据所述显著性区域框，计算获取所述二值化后的分割图中所述显著性区域框所圈范围内图像的连通区域面积；
根据所述连通区域面积、所述显著性区域框，在所述待选显著性分割图中筛选获取所述待处理图像的显著性分割图。
3.根据权利要求 1所述的方法，其特征在于，所述采用预设显著性模型提取待处理图像的特征信息，包括：
采用预设显著性模型对所述待处理图像进行特征提取，获取密集式特征组合；
根据所述密集式特征组合，计算获取所述待处理图像的密集式组合特征图。
4.一种图像显著性模型训练方法，其特征在于，包括：
获取样本图像集合，所述样本图像集合包括：样本图像，所述样本图像包含显著性区域标注框、以及所述样本图像对应的预设显著性分割图；
采用预设卷积神经网络以及所述样本图像集合，训练获取显著性模型；
所述采用预设卷积神经网络以及所述样本图像集合，训练获取显著性模型，包括：
根据所述预设卷积神经网络，获取所述样本图像的显著性区域框、所述样本图像的显著性区域框的置信度、以及所述样本图像对应的显著性分割图；
计算所述样本图像的显著性区域框相对于所述显著性区域标注框的绝对损失；
根据所述样本图像的显著性区域框的置信度，计算所述样本图像的显著性区域框相对于所述显著性区域标注框的置信度损失；
计算所述样本图像的显著性分割图相对于所述预设显著性分割图的交叉熵损失；
根据所述绝对损失、所述置信度损失、所述交叉熵损失、以及预设算法对所述预设卷积神经网络进行参数优化，获取所述显著性模型。
5.一种图像显著性分割装置，其特征在于，包括：
提取模块，用于采用预设显著性模型提取待处理图像的特征信息，所述预设显著性模型是采用获取样本图像集合，所述样本图像集合包括：样本图像，所述样本图像包含显著性区域标注框、以及所述样本图像对应的预设显著性分割图；
第一获取模块，用于采用所述预设显著性模型、根据所述特征信息，获取所述待处理图像的显著性分割图，所述显著性分割图通过显著性区域框标识显著性物体，其中所述预设显著性模型根据样本图像集合训练获取，所述样本图像集合包括：样本图像，所述样本图像包含显著性区域标注框、以及所述样本图像对应的预设显著性分割图；根据预设卷积神经网络，获取所述样本图像的显著性区域框、所述样本图像的显著性区域框的置信度、以及所述样本图像对应的显著性分割图；计算所述样本图像的显著性区域框相对于所述显著性区域标注框的绝对损失；根据所述样本图像的显著性区域框的置信度，计算所述样本图像的显著性区域框相对于所述显著性区域标注框的置信度损失；计算所述样本图像的显著性分割图相对于所述预设显著性分割图的交叉熵损失；根据所述绝对损失、所述置信度损失、所述交叉熵损失、以及预设算法对所述预设卷积神经网络进行参数优化，获取所述预设显著性模型。
6.一种图像显著性模型训练装置，其特征在于，包括：
第二获取模块，用于获取样本图像集合，所述样本图像集合包括：样本图像，所述样本图像包含显著性区域标注框、以及所述样本图像对应的预设显著性分割图；
训练模块，用于采用预设卷积神经网络以及所述样本图像集合，训练获取显著性模型；
所述训练模块具体用于根据所述预设卷积神经网络，获取所述样本图像的显著性区域框、所述样本图像的显著性区域框的置信度、以及所述样本图像对应的显著性分割图；计算所述样本图像的显著性区域框相对于所述显著性区域标注框的绝对损失；根据所述样本图像的显著性区域框的置信度，计算所述样本图像的显著性区域框相对于所述显著性区域标注框的置信度损失；计算所述样本图像的显著性分割图相对于所述预设显著性分割图的交叉熵损失；根据所述绝对损失、所述置信度损失、所述交叉熵损失、以及预设算法对所述预设卷积神经网络进行参数优化，获取所述显著性模型。
7.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过所述总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-4任一项所述的方法。
8.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-4任一项所述的方法。
CN201910995138.2A 2019-10-18 2019-10-18 图像显著性分割、图像显著性模型训练方法及装置 Active CN110751157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910995138.2A CN110751157B (zh) 2019-10-18 2019-10-18 图像显著性分割、图像显著性模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910995138.2A CN110751157B (zh) 2019-10-18 2019-10-18 图像显著性分割、图像显著性模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN110751157A CN110751157A (zh) 2020-02-04
CN110751157B true CN110751157B (zh) 2022-06-24

Family

ID=69278859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910995138.2A Active CN110751157B (zh) 2019-10-18 2019-10-18 图像显著性分割、图像显著性模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN110751157B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429463A (zh) * 2020-03-04 2020-07-17 北京三快在线科技有限公司 实例分割方法、装置、电子设备和存储介质
CN113505799B (zh) * 2021-06-30 2022-12-23 深圳市慧鲤科技有限公司 显著性检测方法及其模型的训练方法和装置、设备、介质
CN113505800A (zh) * 2021-06-30 2021-10-15 深圳市慧鲤科技有限公司 图像处理方法及其模型的训练方法和装置、设备、介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426895A (zh) * 2015-11-10 2016-03-23 河海大学 基于马尔科夫模型的显著性检测方法
WO2016154440A1 (en) * 2015-03-24 2016-09-29 Hrl Laboratories, Llc Sparse inference modules for deep learning
CN106682679A (zh) * 2016-06-24 2017-05-17 大连理工大学 一种基于水平集超像素和贝叶斯框架的显著性检测方法
CN108805889A (zh) * 2018-05-07 2018-11-13 中国科学院自动化研究所 边缘引导的精细化显著性物体分割方法与系统、设备
WO2019005255A2 (en) * 2017-06-07 2019-01-03 Hrl Laboratories, Llc SYSTEM FOR DETECTING HIGHLIGHTS IN IMAGES
CN110263813A (zh) * 2019-05-27 2019-09-20 浙江科技学院 一种基于残差网络和深度信息融合的显著性检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133955B (zh) * 2017-04-14 2019-08-09 大连理工大学 一种多层次结合的协同显著性检测方法
CN108460383B (zh) * 2018-04-11 2021-10-01 四川大学 基于神经网络与图像分割的图像显著性精化方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016154440A1 (en) * 2015-03-24 2016-09-29 Hrl Laboratories, Llc Sparse inference modules for deep learning
CN105426895A (zh) * 2015-11-10 2016-03-23 河海大学 基于马尔科夫模型的显著性检测方法
CN106682679A (zh) * 2016-06-24 2017-05-17 大连理工大学 一种基于水平集超像素和贝叶斯框架的显著性检测方法
WO2019005255A2 (en) * 2017-06-07 2019-01-03 Hrl Laboratories, Llc SYSTEM FOR DETECTING HIGHLIGHTS IN IMAGES
CN108805889A (zh) * 2018-05-07 2018-11-13 中国科学院自动化研究所 边缘引导的精细化显著性物体分割方法与系统、设备
CN110263813A (zh) * 2019-05-27 2019-09-20 浙江科技学院 一种基于残差网络和深度信息融合的显著性检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Exploring to learn visual saliency:The RL-IAC approach;Celine Craye et al.;《arXiv》;20180402;第1-19页 *
弱监督学习下的视觉显著性目标检测算法;李策 等;《计算机工程与设计》;20170531;第38卷(第5期);第1335-1341页 *

Also Published As

Publication number Publication date
CN110751157A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
CN110751157B (zh) 图像显著性分割、图像显著性模型训练方法及装置
CN108664981B (zh) 显著图像提取方法及装置
CN109035319B (zh) 单目图像深度估计方法及装置、设备、程序及存储介质
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
CN108345892B (zh) 一种立体图像显著性的检测方法、装置、设备及存储介质
CN112288658A (zh) 一种基于多残差联合学习的水下图像增强方法
CN111062355A (zh) 一种人体动作识别方法
CN108764039B (zh) 神经网络、遥感影像的建筑物提取方法、介质及计算设备
CN110148088B (zh) 图像处理方法、图像去雨方法、装置、终端及介质
CN107871321B (zh) 图像分割方法及装置
CN107506792B (zh) 一种半监督的显著对象检测方法
CN108377374A (zh) 用于产生与图像相关的深度信息的方法和系统
CN113657528B (zh) 图像特征点提取方法、装置、计算机终端及存储介质
JP2019125204A (ja) 目標認識装置、目標認識方法、プログラム及び畳み込みニューラルネットワーク
JP2019125203A (ja) 目標認識装置、目標認識方法、プログラム及び畳み込みニューラルネットワーク
CN113935917A (zh) 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法
CN110298809B (zh) 一种图像去雾方法及装置
CN117409244A (zh) 一种SCKConv多尺度特征融合增强的低照度小目标检测方法
CN110599532A (zh) 图像的深度估计模型优化、深度估计处理方法及装置
JP2021189527A (ja) 情報処理装置、情報処理方法及びプログラム
CN114399440B (zh) 图像处理方法、图像处理网络训练方法、装置及电子设备
CN110717913A (zh) 一种图像分割方法及装置
CN114782239A (zh) 一种基于卷积神经网络的数字水印添加方法及系统
CN114419086A (zh) 边缘提取方法、装置、电子设备及存储介质
CN109492579B (zh) 一种基于st-sin的视频物体检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant