CN112861858A - 显著性真值图的生成方法及显著性检测模型的训练方法 - Google Patents
显著性真值图的生成方法及显著性检测模型的训练方法 Download PDFInfo
- Publication number
- CN112861858A CN112861858A CN202110194993.0A CN202110194993A CN112861858A CN 112861858 A CN112861858 A CN 112861858A CN 202110194993 A CN202110194993 A CN 202110194993A CN 112861858 A CN112861858 A CN 112861858A
- Authority
- CN
- China
- Prior art keywords
- image
- map
- saliency
- significance
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000010586 diagram Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 230000004913 activation Effects 0.000 claims abstract description 44
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013145 classification model Methods 0.000 claims description 6
- 238000012805 post-processing Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 10
- 238000011176 pooling Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种显著性真值图的生成方法及显著性检测模型的训练方法。显著性真值图的生成方法包括：获取待标记图像；将所述待标记图像输入至分类分支模型中，生成类激活图；其中，所述类激活图表征所述待标记图像中所述分类分支模型所关注的高亮区域；将所述待标记图像输入至回归分支模型中，生成显著性区域图；其中，所述显著性区域图为包含显著性边框的待标记图像；将所述类激活图中的高亮区域与所述显著性区域图中的显著性边框的内部区域的交集进行标记，生成显著性真值图。通过该方式了减少了人工逐像素标记真值过于繁琐、无法提供大量的真值标注图像等问题，缓解了标注的压力。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种显著性真值图的生成方法及显著性检测模型的训练方法。
背景技术
视觉注意机制是指面对一个场景时，人类自动地对感兴趣区域(ROI，Region OfInterest)进行处理，而选择性地忽略不感兴趣区域。这些感兴趣区域被称之为显著性区域，而视觉显著性检测就是提取这种显著的区域。显著性检测在视觉跟踪、车辆检测、机器人人机交互中有十分广泛的应用。
传统方法利用对比度、颜色、中心目标等先验知识通过计算显著性值来进行显著性检测，但在复杂场景下无法准确计算显著性值，显著性识别效果差。深度卷积神经网络利用全监督方法在逐像素标注的真值下，通过改进网络结构，对网络不同层的特征采用不同的融合策略进行融合，并结合边缘检测任务或边缘保持方法细化边缘，获得了与真值标注相近的显著性图，在很大程度上超越了传统方法。全监督方法往往需要人工对图像进行逐像素标注，然后根据人工标注的真值来计算损失完成对模型的不断迭代更新以实现更好的性能，但此类方法对于图像的标注方式过于繁琐，且该方式往往无法提供大量的真值标注图像，从而进而影响显著性检测模型的训练结果。
发明内容
本申请实施例的目的在于提供一种显著性真值图的生成方法及显著性检测模型的训练方法，以改善“目前人工逐像素标注真值图像过于繁琐，且往往无法提供大量的真值标注图像，从而进而影响显著性检测模型的训练结果”的问题。
本发明是这样实现的：
第一方面，本申请实施例提供一种显著性真值图的生成方法，包括：获取待标记图像；将所述待标记图像输入至分类分支模型中，生成类激活图；其中，所述类激活图表征所述待标记图像中所述分类分支模型所关注的高亮区域；将所述待标记图像输入至回归分支模型中，生成显著性区域图；其中，所述显著性区域图为包含显著性边框的待标记图像；将所述类激活图中的高亮区域与所述显著性区域图中的显著性边框的内部区域的交集进行标记，生成显著性真值图。
在本申请实施例中，获取到待标记图像后，可以通过预先训练好的分类分支模型以及回归分支模型生成与待标记图像所对应的类激活图以及显著性区域图，然后通过对类激活图以及显著性区域图的交集区域进行自动标记即可生成显著性真值图。通过该方式了减少了人工逐像素标记真值过于繁琐、无法提供大量的真值标注图像等问题，缓解了标注的压力。且通过将类激活图与显著性区域图结合的方式来获取显著性真值图，也保证了显著性真值图标记的准确性。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，通过如下步骤获取所述分类分支模型以及所述回归分支模型：获取训练样本图像；其中，所述训练样本图像包括多个第一图像以及与每个所述第一图像对应的显著性特征图；依次将所述训练样本图像输入至初始分类模型中进行训练，得到所述分类分支模型，以及依次将所述训练样本图像输入至初始回归模型中进行训练，得到所述回归分支模型。
在本申请实施例中，在对分类分支模型以及回归分支模型进行训练时，训练样本图像中还结合了每个第一图像所对应的显著性特征图，通过该方式，一来提高了训练样本图像的多样性，二来可以使得分类分支模型所训练出的类激活图能够更加关注图像的显著性。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述生成与所述第一图像对应的显著性特征图，包括：获取多个所述第一图像；采用频率调谐算法对每个所述第一图像进行处理，生成与每个所述第一图像对应的频率调谐结果图；采用多尺度边缘算法对每个所述第一图像进行处理，生成与每个所述第一图像对应的多尺度边缘特征图；其中，所述频率调谐结果图以及所述多尺度边缘特征图均为所述显著性特征图。
在本申请实施例中，显著性特征图包括频率调谐结果图以及多尺度边缘特征图，通过该方式，能够进一步地提高训练样本图像的多样性，此外，还可以使得分类分支模型所训练出的类激活图能够从不同维度去关注到图像的显著性。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述将所述类激活图中的高亮区域与所述显著性区域图中的边框内部区域的交集进行标记，生成显著性真值图，包括：将所述类激活图中的高亮区域与所述显著性区域图中的边框内部区域的交集进行标记，生成第一标记图；通过全连接条件随机场算法对所述第一标记图进行后处理，生成对所述第一标记图中的粗糙标记进行优化后的第二标记图；其中，所述第二标记图为所述显著性真值图。
在本申请实施例中，首先将类激活图中的高亮区域与显著性区域图中的边框内部区域的交集进行标记，生成第一标记图，然后再通过全连接条件随机场算法对第一标记图进行后处理，进而得到显著性真值图，通过全连接条件随机场算法能够结合第一标记图中所有像素之间的关系对标记结果进行处理，优化第一标记图中粗糙标记，修正细碎的错分区域，同时得到更细致的标记结果。
第二方面，本申请实施例提供一种显著性检测模型的训练方法，包括：获取训练样本图像；将所述训练样本图像输入至初始模型中，得到所述训练样本图像中的每个像素点为显著区域的概率值；基于所述概率值以及显著性真值图计算损失值，并基于所述损失值对所述初始模型的模型参数进行优化，得到预测模型；其中，通过如上述第一方面实施例提供的显著性真值图的生成方法对所述训练样本图像进行标记，得到所述显著性真值图。
结合上述第二方面提供的技术方案，在一些可能的实现方式中，所述损失值的计算公式为：
其中，L表示损失值，H表示所述训练样本图像的高度，W表示所述训练样本图像的宽度，i表示所述训练样本图像的像素点的横坐标，j表示所述训练样本图像的像素点的纵坐标，Gij表示所述显著性真值图在像素点(i,j)的标记数值；Sij所述训练样本图像中的像素点(i,j)为显著区域的概率值。
第三方面，本申请实施例提供一种显著性真值图的生成装置，包括：获取模块，用于获取待标记图像；第一生成模块，用于将所述待标记图像输入至分类分支模型中，生成类激活图；其中，所述类激活图表征所述待标记图像中所述分类分支模型所关注的高亮区域；第二生成模块，用于将所述待标记图像输入至回归分支模型中，生成显著性区域图；其中，所述显著性区域图为包含显著性边框的待标记图像；标记模块，用于将所述类激活图中的高亮区域与所述显著性区域图中的显著性边框的内部区域的交集进行标记，生成显著性真值图。
第四方面，本申请实施例提供一种显著性检测模型的训练装置，包括：获取模块，用于获取训练样本图像；输入模块，用于将所述训练样本图像输入至初始模型中，得到所述训练样本图像中的每个像素点为显著区域的概率值；训练模块，用于基于所述概率值以及显著性真值图计算损失值，并基于所述损失值对所述初始模型的模型参数进行优化，得到预测模型；其中，通过如上述第三方面实施例提供的显著性真值图的生成装置对所述训练样本图像进行标记，得到所述显著性真值图。
第五方面，本申请实施例提供一种电子设备，包括：处理器和存储器，所述处理器和所述存储器连接；所述存储器用于存储程序；所述处理器用于调用存储在所述存储器中的程序，执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。
第六方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种电子设备的结构示意图。
图2为本申请实施例提供的一种显著性真值图的生成方法的步骤流程图。
图3为本申请实施例提供的一种分类分支模型的结构示意图。
图4为本申请实施例提供的一种回归分支模型的结构示意图。
图5为本申请实施例提供的一种显著性检测模型的训练方法的步骤流程图。
图6为本申请实施例提供的一种显著性真值图的生成装置的模块框图。
图7为本申请实施例提供的一种显著性检测模型的训练装置的模块框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
鉴于目前人工逐像素标注真值图像过于繁琐，且往往无法提供大量的真值标注图像，从而进而影响显著性检测模型的训练结果，本申请发明人经过研究探索，提出以下实施例以解决上述问题。
请参阅图1，本申请实施例提供的一种应用显著性真值图的生成方法和/或显著性检测模型的训练方法的电子设备100的示意性结构框图。本申请实施例中，电子设备100可以是，但不限于个人计算机(Personal Computer，PC)、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、移动上网设备(Mobile Internet Device，MID)等。在结构上，电子设备100可以包括处理器110和存储器120。
处理器110与存储器120直接或间接地电性连接，以实现数据的传输或交互，例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。显著性真值图的生成装置包括至少一个可以软件或固件(Firmware)的形式存储在存储器120中或固化在电子设备100的操作系统(Operating System，OS)中的软件模块。显著性检测模型的训练装置包括至少一个可以软件或固件(Firmware)的形式存储在存储器120中或固化在电子设备100的操作系统(Operating System，OS)中的软件模块。处理器110用于执行存储器120中存储的可执行模块，例如，显著性真值图的生成装置所包括的软件功能模块及计算机程序等，以实现显著性真值图的生成方法。处理器110可以在接收到执行指令后，执行计算机程序。
其中，处理器110可以是一种集成电路芯片，具有信号处理能力。处理器110也可以是通用处理器，例如，可以是中央处理器(Central Processing Unit，CPU)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、分立门或晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。此外，通用处理器可以是微处理器或者任何常规处理器等。
存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-OnlyMemory，PROM)、可擦可编程序只读存储器(Erasable Programmable Read-Only Memory，EPROM)，以及电可擦编程只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)。存储器120用于存储程序，处理器110在接收到执行指令后，执行该程序。
应当理解，图1所示的结构仅为示意，本申请实施例提供的电子设备100还可以具有比图1更少或更多的组件，或是具有与图1所示不同的配置。此外，图1所示的各组件可以通过软件、硬件或其组合实现。
请参阅图2，图2为本申请实施例提供的显著性真值图的生成方法的步骤流程图，该方法应用于图1所示的电子设备100。需要说明的是，本申请实施例提供的显著性真值图的生成方法不以图2及以下所示的顺序为限制，该方法包括：步骤S101-步骤S104。
步骤S101：获取待标记图像。
步骤S102：将待标记图像输入至分类分支模型中，生成类激活图；其中，类激活图表征待标记图像中分类分支模型所关注的高亮区域。
步骤S103：将待标记图像输入至回归分支模型中，生成显著性区域图；其中，显著性区域图为包含显著性边框的待标记图像。
步骤S104：将类激活图中的高亮区域与显著性区域图中的显著性边框的内部区域的交集进行标记，生成显著性真值图。
综上，在本申请实施例中，获取到待标记图像后，可以通过预先训练好的分类分支模型以及回归分支模型生成与待标记图像所对应的类激活图以及显著性区域图，然后通过对类激活图以及显著性区域图的交集区域进行自动标记即可生成显著性真值图。通过该方式了减少了人工逐像素标记真值过于繁琐、无法提供大量的真值标注图像等问题，缓解了标注的压力。且通过将类激活图与显著性区域图结合的方式来获取显著性真值图，也保证了显著性真值图标记的准确性。
下面结合示例对显著性真值图的生成方法的具体步骤流程进行说明。
在步骤S101中，待标记图像可以是场景图，比如需要对车辆进行检测，则场景图可以是路口的电子眼采集的图像；待标记图像也可以是人体图，比如需要对人体进行检测，则人体图为包含整个人体的图像，具体的，可以是包含一两个行人的图像。
在步骤S102中，分类分支模型为预先训练好的网络模型，该模型用于输出与输入的待标记图像所对应的类激活图。需要说明的是，类激活图表征待标记图像中分类分支模型所关注的高亮区域，更能表现各类别的形状。
具体的，通过如下步骤获取分类分支模型：获取训练样本图像，将训练样本图像输入至初始分类模型中进行训练，得到分类分支模型。
请参阅图3，图3示出了初始分类模型的结构示意图。初始分类模块包括多个卷积层(CONV)、一个全局平均池化层(GAP)以及输出层，最终训练完成的分类分支模型结构与初始分类模型结构相同。
其中，多个卷积层、全局平均池化层以及输出层之间依次连接。第一个卷积层用于接收输入的样本训练图像，全局平均池化层用于将最后一个卷积层输出的特征图进行均值化，例如输入一个维度为5*5*10特征图，其中10代表通道，那么经过GAP输出后，维度大小则为1*1*10，也就是把每一张特征图全局做了一个均值，得到一个值。输出层用于将特征图与各自对应的权重值(W1、W2···Wk)相乘，即可得到类激活图(CAM)进行输出。
可选地，为了提高训练样本图像的多样性以及使分类分支模型所训练出的类激活图能够更加关注图像的显著性，还可以对图像进行显著性处理，具体的，所述获取训练样本图像，包括：获取多个第一图像，生成与每个第一图像对应的显著性特征图。其中，多个第一图像以及每个第一图像对应的显著性特征图均为训练样本图像。
可选地，上述的显著性特征图可以是频率调谐结果图。也即，生成与每个第一图像对应的显著性特征图，包括：采用频率调谐(Frequency-tuned，FT)算法对每个第一图像进行处理，生成与每个第一图像对应的频率调谐结果图。
需要说明的是，FT算法是利用颜色特征的中央-周边算子来得到显著图。该算法的表达式为：
S(p)＝||Iu-Iwch(p)|| (1)
上式(1)中，S(p)表示频率调谐结果图，Iu为第一图像的平均特征向量，Iwch(p)为像素p在高斯平滑后的Lab(L表示亮度、a和b为两个颜色通道)颜色特征向量。||.||为L2范式。
可选地，上述的显著性特征图还可以是多尺度边缘特征图。也即，生成与每个第一图像对应的显著性特征图，包括：采用多尺度边缘算法对每个所述第一图像进行处理，生成与每个所述第一图像对应的多尺度边缘特征图。
其中，多尺度边缘算法的表达是为：
上述(2)中，fE表示多尺度边缘特征图；fn表示第一图像第n种的尺度；Edgec表示使用Sobel算子计算得到第n种的尺度的边缘特征图。上述中，通过上采样回原图像大小，然后取平均的方式获得多尺度边缘特征图fE。
当然，为了进一步的提高样本的多样性，显著性特征图还可以同时包括多尺度边缘特征图以及频率调谐结果图。当采用上述两种显著性特征特作为训练样本图像能够进一步地提高训练样本图像的多样性，此外，还可以使得分类分支模型所训练出的类激活图能够从不同维度去关注到图像的显著性。
在其他实施例中，还可以利用其他传统的获取显著性特征图的方式，比如通过对比度来获取显著性特征图，对此，本申请不作限定。
在步骤S103中，回归分支模型为预先训练好的网络模型，该模型用于输出与输入的待标记图像所对应的显著性区域图。需要说明的是，显著性区域图为包含显著性边框的待标记图像。
具体的，通过如下步骤获取回归分支模型：获取训练样本图像，将训练样本图像输入至初始回归模型中进行训练，得到回归分支模型。
请参阅图4，图4示出了初始回归模型的结构示意图。图4示出了初始回归模型的结构示意图。初始回归模块包括多个卷积层(CONV)、一个RPN(Region Proposal Network，区域生成网络)模块、一个ROI池化层(pooling)以及全局平均池化层(avg)。最终训练完成的模型结构与初始回归模型结构相同。
初始回归模块的具体连接关系可以参考图4，其中，RPN模块为提取候选框的网络。ROI池化层其功能是能够将映射在卷积特征图上的不同大小的ROI，提取相同大小的特征图(feature map)。其中，训练过程中需要对图像进行标记，此处的标记仅为标记显著性区域的边框即可，然后根据标记显著性区域的边框来计算损失完成对模型的不断迭代更新训练。
可选地，为了增强样本的多样性等，还可以对图像进行显著性处理，具体的，所述获取训练样本图像，包括：获取多个第一图像，生成与每个第一图像对应的显著性特征图。其中，多个第一图像以及每个第一图像对应的显著性特征图均为训练样本图像。
可选地，上述的显著性特征图同样可以包括多尺度边缘特征图以及频率调谐结果图中的任意一种或两种，该步骤下显著性特征图的生成方式可以参考前述实施例中的说明，对此，本申请不作限定。但需要说明的，训练分类分支模型以及回归分支模型需采用相同的训练样本图像。
在上述步骤S104中，在得到类激活图以及显著性区域图后，将类激活图中的高亮区域与显著性区域图中的显著性边框的内部区域的交集进行标记，最终即可生成显著性真值图。需要说明的是，可以采用二值化的方式进行标记，比如交集区域的像素点标记为1，其余区域的像素点则为0，本申请不作限定。
为了进一步的提高比较的精确度。作为一种可选的实施方式，步骤S104具体包括：将类激活图中的高亮区域与显著性区域图中的边框内部区域的交集进行标记，生成第一标记图；通过全连接条件随机场(Dense CRF)算法对第一标记图进行后处理，生成对第一标记图中的粗糙标记进行优化后的第二标记图；其中，第二标记图为显著性真值图。
也即，第一标记图为粗糙的显著性真值图，于本申请实施例中，将上述生成的粗糙的显著性图通过Dense CRF的方法进行自迭代的更新细化。条件随机场符合吉布斯分布。
条件随机场符合吉布斯分布的表达式为：
上式(3)中，(I,X)为一个条件随机场，Z(I)表示归一化系数，E(x|I)表示能量函数，X表示第一标记图。
能量函数的表达式为：
E(x)＝∑iΦu(xi)+∑i<jΦp(xi,xj) (4)
上式(4)中，Φu(xi)是一元势函数，Φp(xi,xj)为二元势函数，xi,xj是第一标记图中像素点(i,j)对应的标签值。
其中，二元势函数Φp(xi,xj)的表达式为：
上式(5)中，μ(xi,xj)是标签兼容性函数，w(m)是权重的线性组合，k(m)为高斯核。k(m)的具体表达式为：
上式(6)中，fi与fj表示特征向量，像素的值(Ii，Ij)和像素位置(pi，pj)定义了两核势函数，第一项为外观核，第二项为平滑核。高斯核的接近度和相似度有参数θa和θβ控制，平滑度由θγ控制。
需要说明的是，由于Dense CRF算法为领域以熟知的算法，为了避免累赘，此处不对该算法作详细的解释。
综上，在本申请实施例中，首先将类激活图中的高亮区域与显著性区域图中的边框内部区域的交集进行标记，生成第一标记图，然后再通过全连接条件随机场算法对第一标记图进行后处理，进而得到显著性真值图，通过全连接条件随机场算法能够结合第一标记图中所有像素之间的关系对标记结果进行处理，优化第一标记图中粗糙标记，修正细碎的错分区域，同时得到更细致的标记结果。
请参阅图5，基于同一发明构思，本申请实施例还提供一种显著性检测模型的训练方法，该方法应用于如图1所示的电子设备100中，该方法包括：步骤S201-步骤S203。
步骤S201：获取训练样本图像。
步骤S202：将训练样本图像输入至初始模型中，得到训练样本图像中的每个像素点为显著区域的概率值。
步骤S203：基于概率值以及显著性真值图计算损失值，并基于损失值对初始模型的模型参数进行优化，得到预测模型。
其中，通过前述实施例中的显著性真值图的生成方法对训练样本图像进行标记，得到显著性真值图。
于本申请实施例中，损失函数采用二值交叉熵函数，其具体的计算公式为：
公式(7)中，L表示损失值，H表示训练样本图像的高度，W表示训练样本图像的宽度，i表示训练样本图像的像素点的横坐标，j表示训练样本图像的像素点的纵坐标，Gij表示显著性真值图在像素点(i,j)的标记数值；Sij训练样本图像中的像素点(i,j)为显著区域的概率值。
通过上述方式，即可完成对显著性检测模型的训练，且该方式无需逐像素标记的真值图，缓解了标注的压力。
在完成上述显著性检测模型的训练后，即可利用该模型进行准确的显著性检测，具体的应用过程为：接收输入的待检测图像，将待检测图像输入至训练好的显著性检测模型，得到识别到显著性区域的结果图。
请参阅图6，基于同一发明构思，本申请实施例还提供一种显著性真值图的生成装置300，包括：获取模块301、第一生成模块302、第二生成模块303、标记模块304。
获取模块301，用于获取待标记图像。
第一生成模块302，用于将所述待标记图像输入至分类分支模型中，生成类激活图；其中，所述类激活图表征所述待标记图像中所述分类分支模型所关注的高亮区域。
第二生成模块303，用于将所述待标记图像输入至回归分支模型中，生成显著性区域图；其中，所述显著性区域图为包含显著性边框的待标记图像。
标记模块304，用于将所述类激活图中的高亮区域与所述显著性区域图中的显著性边框的内部区域的交集进行标记，生成显著性真值图。
可选地，显著性真值图的生成装置300还包括样本获取模块305以及训练模块306。
其中，样本获取模块305用于获取训练样本图像；其中，所述训练样本图像包括多个第一图像以及与每个所述第一图像对应的显著性特征图。
其中，训练模块306用于依次将所述训练样本图像输入至初始分类模型中进行训练，得到所述分类分支模型，以及依次将所述训练样本图像输入至初始回归模型中进行训练，得到所述回归分支模型。
可选地，样本获取模块305具体用于获取多个所述第一图像；采用频率调谐算法对每个所述第一图像进行处理，生成与每个所述第一图像对应的频率调谐结果图；采用多尺度边缘算法对每个所述第一图像进行处理，生成与每个所述第一图像对应的多尺度边缘特征图；其中，所述频率调谐结果图以及所述多尺度边缘特征图均为所述显著性特征图。
可选地，标记模块304具体用于将所述类激活图中的高亮区域与所述显著性区域图中的边框内部区域的交集进行标记，生成第一标记图；通过全连接条件随机场算法对所述第一标记图进行后处理，生成对所述第一标记图中的粗糙标记进行优化后的第二标记图；其中，所述第二标记图为所述显著性真值图。
请参阅图7，基于同一发明构思，本申请实施例还提供一种显著性检测模型的训练装置400，包括：获取模块401、输入模块402以及训练模块403。
获取模块401，用于获取训练样本图像。
输入模块402，用于将所述训练样本图像输入至初始模型中，得到所述训练样本图像中的每个像素点为显著区域的概率值。
训练模块403，用于基于所述概率值以及显著性真值图计算损失值，并基于所述损失值对所述初始模型的模型参数进行优化，得到预测模型；其中，通过上述实施例的显著性真值图的生成装置对所述训练样本图像进行标记，得到所述显著性真值图。
需要说明的是，由于所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
基于同一发明构思，本申请实施例还提供一种存储介质，其上存储有计算机程序，计算机程序在被运行时执行上述实施例中提供的方法。
该存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种显著性真值图的生成方法，其特征在于，包括：
获取待标记图像；
将所述待标记图像输入至分类分支模型中，生成类激活图；其中，所述类激活图表征所述待标记图像中所述分类分支模型所关注的高亮区域；
将所述待标记图像输入至回归分支模型中，生成显著性区域图；其中，所述显著性区域图为包含显著性边框的待标记图像；
将所述类激活图中的高亮区域与所述显著性区域图中的显著性边框的内部区域的交集进行标记，生成显著性真值图。
2.根据权利要求1所述的显著性真值图的生成方法，其特征在于，通过如下步骤获取所述分类分支模型以及所述回归分支模型：
获取训练样本图像；其中，所述训练样本图像包括多个第一图像以及与每个所述第一图像对应的显著性特征图；
依次将所述训练样本图像输入至初始分类模型中进行训练，得到所述分类分支模型，以及
依次将所述训练样本图像输入至初始回归模型中进行训练，得到所述回归分支模型。
3.根据权利要求2所述的显著性真值图的生成方法，其特征在于，所述获取训练样本图像，包括：
获取多个所述第一图像；
采用频率调谐算法对每个所述第一图像进行处理，生成与每个所述第一图像对应的频率调谐结果图；
采用多尺度边缘算法对每个所述第一图像进行处理，生成与每个所述第一图像对应的多尺度边缘特征图；
其中，所述频率调谐结果图以及所述多尺度边缘特征图均为所述显著性特征图。
4.根据权利要求1所述的显著性真值图的生成方法，其特征在于，所述将所述类激活图中的高亮区域与所述显著性区域图中的边框内部区域的交集进行标记，生成显著性真值图，包括：
将所述类激活图中的高亮区域与所述显著性区域图中的边框内部区域的交集进行标记，生成第一标记图；
通过全连接条件随机场算法对所述第一标记图进行后处理，生成对所述第一标记图中的粗糙标记进行优化后的第二标记图；其中，所述第二标记图为所述显著性真值图。
5.一种显著性检测模型的训练方法，其特征在于，包括：
获取训练样本图像；
将所述训练样本图像输入至初始模型中，得到所述训练样本图像中的每个像素点为显著区域的概率值；
基于所述概率值以及显著性真值图计算损失值，并基于所述损失值对所述初始模型的模型参数进行优化，得到预测模型；其中，通过如权利要求1所述的显著性真值图的生成方法对所述训练样本图像进行标记，得到所述显著性真值图。
6.根据权利要求5所述的显著性检测模型的训练方法，其特征在于，所述损失值的计算公式为：
其中，L表示损失值，H表示所述训练样本图像的高度，W表示所述训练样本图像的宽度，i表示所述训练样本图像的像素点的横坐标，j表示所述训练样本图像的像素点的纵坐标，Gij表示所述显著性真值图在像素点(i,j)的标记数值；Sij所述训练样本图像中的像素点(i,j)为显著区域的概率值。
7.一种显著性真值图的生成装置，其特征在于，包括：
获取模块，用于获取待标记图像；
第一生成模块，用于将所述待标记图像输入至分类分支模型中，生成类激活图；其中，所述类激活图表征所述待标记图像中所述分类分支模型所关注的高亮区域；
第二生成模块，用于将所述待标记图像输入至回归分支模型中，生成显著性区域图；其中，所述显著性区域图为包含显著性边框的待标记图像；
标记模块，用于将所述类激活图中的高亮区域与所述显著性区域图中的显著性边框的内部区域的交集进行标记，生成显著性真值图。
8.一种显著性检测模型的训练装置，其特征在于，包括：
获取模块，用于获取训练样本图像；
输入模块，用于将所述训练样本图像输入至初始模型中，得到所述训练样本图像中的每个像素点为显著区域的概率值；
训练模块，用于基于所述概率值以及显著性真值图计算损失值，并基于所述损失值对所述初始模型的模型参数进行优化，得到预测模型；其中，通过如权利要求7所述的显著性真值图的生成装置对所述训练样本图像进行标记，得到所述显著性真值图。
9.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器和所述存储器连接；
所述存储器用于存储程序；
所述处理器用于运行存储在所述存储器中的程序，执行如权利要求1-4中任一项所述的方法，和/或执行如权利要求5-6中任一项所述的方法。
10.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在被计算机运行时执行如权利要求1-4中任一项所述的方法，和/或执行如权利要求5-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110194993.0A CN112861858B (zh) | 2021-02-19 | 2021-02-19 | 显著性真值图的生成方法及显著性检测模型的训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110194993.0A CN112861858B (zh) | 2021-02-19 | 2021-02-19 | 显著性真值图的生成方法及显著性检测模型的训练方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112861858A true CN112861858A (zh) | 2021-05-28 |
| CN112861858B CN112861858B (zh) | 2024-06-07 |
Family
ID=75988486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110194993.0A Active CN112861858B (zh) | 2021-02-19 | 2021-02-19 | 显著性真值图的生成方法及显著性检测模型的训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112861858B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106327507A (zh) * | 2016-08-10 | 2017-01-11 | 南京航空航天大学 | 一种基于背景和前景信息的彩色图像显著性检测方法 |
| US20170372162A1 (en) * | 2016-06-24 | 2017-12-28 | Ebay | Automated saliency map estimation |
| WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| WO2018121690A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京市商汤科技开发有限公司 | 对象属性检测、神经网络训练、区域检测方法和装置 |
| CN108898145A (zh) * | 2018-06-15 | 2018-11-27 | 西南交通大学 | 一种结合深度学习的图像显著目标检测方法 |
| US20190050981A1 (en) * | 2017-08-09 | 2019-02-14 | Shenzhen Keya Medical Technology Corporation | System and method for automatically detecting a target object from a 3d image |
| US20200218888A1 (en) * | 2017-07-18 | 2020-07-09 | Vision Semantics Limited | Target Re-Identification |
| US20200327193A1 (en) * | 2019-04-10 | 2020-10-15 | International Business Machines Corporation | Displaying text classification anomalies predicted by a text classification model |
| CN112270695A (zh) * | 2020-11-04 | 2021-01-26 | 首都师范大学 | 一种确定相机运动状态的方法、装置、设备及存储介质 |
| CN112329810A (zh) * | 2020-09-28 | 2021-02-05 | 北京师范大学 | 一种基于显著性检测的图像识别模型训练方法及装置 |
-
2021
- 2021-02-19 CN CN202110194993.0A patent/CN112861858B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170372162A1 (en) * | 2016-06-24 | 2017-12-28 | Ebay | Automated saliency map estimation |
| CN106327507A (zh) * | 2016-08-10 | 2017-01-11 | 南京航空航天大学 | 一种基于背景和前景信息的彩色图像显著性检测方法 |
| WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| WO2018121690A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京市商汤科技开发有限公司 | 对象属性检测、神经网络训练、区域检测方法和装置 |
| US20200218888A1 (en) * | 2017-07-18 | 2020-07-09 | Vision Semantics Limited | Target Re-Identification |
| US20190050981A1 (en) * | 2017-08-09 | 2019-02-14 | Shenzhen Keya Medical Technology Corporation | System and method for automatically detecting a target object from a 3d image |
| CN108898145A (zh) * | 2018-06-15 | 2018-11-27 | 西南交通大学 | 一种结合深度学习的图像显著目标检测方法 |
| US20200327193A1 (en) * | 2019-04-10 | 2020-10-15 | International Business Machines Corporation | Displaying text classification anomalies predicted by a text classification model |
| CN112329810A (zh) * | 2020-09-28 | 2021-02-05 | 北京师范大学 | 一种基于显著性检测的图像识别模型训练方法及装置 |
| CN112270695A (zh) * | 2020-11-04 | 2021-01-26 | 首都师范大学 | 一种确定相机运动状态的方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| JIALI DING, ET AL: "Visual Saliency Oriented Vehicle Scale Estimation", 《2020 25TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》, pages 1867 - 1873 * |
| 邵珠宏，等: "局部特征及视觉一致性的柱面全景拼接算法", 《中国图象图形学报》, vol. 21, no. 11, pages 1523 - 1529 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112861858B (zh) | 2024-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110674866B (zh) | 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 | |
| US11670071B2 (en) | Fine-grained image recognition | |
| Yu et al. | Adaptive soft erasure with edge self-attention for weakly supervised semantic segmentation: thyroid ultrasound image case study | |
| Ramadan et al. | A survey of recent interactive image segmentation methods | |
| US11037291B2 (en) | System and method for detecting plant diseases | |
| Abbass et al. | A survey on online learning for visual tracking | |
| Kim et al. | A shape-based approach for salient object detection using deep learning | |
| US8213726B2 (en) | Image labeling using multi-scale processing | |
| US8224072B2 (en) | Method for normalizing displaceable features of objects in images | |
| WO2021136368A1 (zh) | 钼靶图像中胸大肌区域自动检测方法及装置 | |
| An et al. | Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model | |
| Kabiraj et al. | Number plate recognition from enhanced super-resolution using generative adversarial network | |
| CN112784750B (zh) | 基于像素和区域特征匹配的快速视频物体分割方法和装置 | |
| WO2010043954A1 (en) | Method, apparatus and computer program product for providing pattern detection with unknown noise levels | |
| Jia et al. | Saliency detection via a unified generative and discriminative model | |
| Liu et al. | Extracting lungs from CT images via deep convolutional neural network based segmentation and two-pass contour refinement | |
| Wei et al. | Attentive boundary aware network for multi-scale skin lesion segmentation with adversarial training | |
| CN113920382A (zh) | 基于类一致性结构化学习的跨域图像分类方法和相关装置 | |
| Singh et al. | SEAM-an improved environmental adaptation method with real parameter coding for salient object detection | |
| Chen et al. | Image segmentation based on mathematical morphological operator | |
| CN111898408B (zh) | 一种快速人脸识别方法及装置 | |
| Tang et al. | Random walks with efficient search and contextually adapted image similarity for deformable registration | |
| CN116630610A (zh) | 基于语义分割模型和条件随机场的roi区域提取方法 | |
| Dou et al. | Robust visual tracking based on joint multi-feature histogram by integrating particle filter and mean shift | |
| Tang et al. | Salient object detection via two-stage absorbing Markov chain based on background and foreground |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240131 Address after: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province Applicant after: Shenzhen Wanzhida Technology Co.,Ltd. Country or region after: China Address before: 105 West Third Ring Road North, Haidian District, Beijing Applicant before: Capital Normal University Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240428 Address after: Room 307, 3rd Floor, Block C, No. 8, Malianwa North Road, Haidian District, Beijing 100000 Applicant after: Beijing longyifeng Technology Co.,Ltd. Country or region after: China Address before: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province Applicant before: Shenzhen Wanzhida Technology Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant |