CN110738638A - 视觉显著性检测算法适用性预测与性能盲评价方法 - Google Patents

视觉显著性检测算法适用性预测与性能盲评价方法 Download PDF

Info

Publication number
CN110738638A
CN110738638A CN201910896895.4A CN201910896895A CN110738638A CN 110738638 A CN110738638 A CN 110738638A CN 201910896895 A CN201910896895 A CN 201910896895A CN 110738638 A CN110738638 A CN 110738638A
Authority
CN
China
Prior art keywords
saliency
prediction
network
applicability
significance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910896895.4A
Other languages
English (en)
Other versions
CN110738638B (zh
Inventor
李坤乾
石舵
张永昌
周丽芹
宋大雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN201910896895.4A priority Critical patent/CN110738638B/zh
Publication of CN110738638A publication Critical patent/CN110738638A/zh
Application granted granted Critical
Publication of CN110738638B publication Critical patent/CN110738638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视觉显著性检测算法适用性预测与性能盲评价方法，涉及识别方法技术领域，包括算法适用性分析模块和显著性检测性能盲评价模块，算法适用性分析模块在仅给定原始图像的条件下，通过适用性预测网络预测并筛选最适用于该图像的候选显著性方法，再将候选的显著性方法生成的显著图输入显著性检测性能盲评价模块，最后进行排序，得到最佳显著图。在进行显著性检测性能盲评价时，通常需要预先生成每种算法的显著图，再输入质量评估网络进行排序，选择分数最高的显著图，但生成每种算法的显著图耗费大部分时间，降低了质量评价的效率，视觉显著性检测算法适用性预测与性能盲评价方法解决了该技术问题，还具有全面、精度高等优点。

Description

视觉显著性检测算法适用性预测与性能盲评价方法
技术领域
本发明涉及识别方法技术领域，尤其是一种视觉显著性检测算法适用性预测与性能盲评价方法。
背景技术
视觉显著性检测旨在通过设计智能算法模拟人的视觉特点，自动检测出数字图像中易受到观察者关注的显著区域，并通过热度图的形式加以标注和显示。因视觉显著性检测在各类高级视觉感知算法中的重要作用，近年来这一问题得到了广泛地关注和研究。视觉显著性检测可应用于诸多高级计算机视觉问题中，例如图像压缩、图像拼接、图像分割等。给定待检测图像，视觉显著性检测算法输出像素级的显著性预测图，以输出灰度显著性值为例，高灰度值区域标记显著性目标(前景对象)区域，低灰度值区域标记非显著性目标(背景)区域。显著性检测结果的优劣对于基于显著性技术的其他视觉任务有着重要的影响。由于不同显著性检测方法的设计思路各异，加之不同的图像所含有的视觉模式复杂繁多，所以不同的图像往往适配不同的显著性检测方法。在真实的视觉任务中，由于通常无法预先提供真值标记文件，故无法用传统的量化评价方法进行评价，可靠的视觉显著性预测性能的盲评价方法在上述应用中尤为重要。
目前，有人利用深度显著性质量评估网络(Deep Saliency Quality AssessmentNetwork，简称DSQAN)，通过直接向深度网络中输入生成的显著图来评价其显著图的质量，该模型框架基于图像分类深度卷积网络，通过改造全连接层将显著图质量评估问题建模为回归问题，最终输出显著图的质量评分。但是DSQAN只采用了一种指标来评判显著图的优劣，显然基于单一评价指标的评价预测是较为片面的。另外，DSQAN的改进，采用了四种指标来度量显著图的优劣，分别为AUC、MAE、MAXF(精确率和召回率的加权平均值)和ADAPF(F度量的自适应阈值)，通过实验证明这四种指标互相影响，将这四种指标作为联合度量标准，所得到的显著图的质量评价更为鲁棒和可靠。但是改进的方法在进行显著图质量评估过程中仅利用了显著图的信息，并没有利用图像自身的内容信息，对于具有不同真实显著区域的图像，若给定相同的显著图，上述方法将会得到完全一致的得分，这显然不符合真实情况。
视觉显著性检测性能的盲评价指在没有人工干预及真值标记文件的情况下，由计算机自动地给出视觉显著性检测结果的质量评价。此外，自然图像中的视觉模式千差万别，加之不同的视觉显著性检测方法设计思路各异，各种方法往往适用于不同类型的图像。由于真实应用场景中并无待检测图像的显著性真值标记文件，自动地筛选出最适用于当前图像的检测算法从而获取最优的显著性检测结果意义重大。针对上述问题，需要提供一种视觉显著性检测算法适用性分析与性能盲评价方法，能够针对给定图像快速筛选适用的视觉显著性检测算法，并对选中方法的视觉显著性结果进行质量盲评。
发明内容
为解决显著性检测性能盲评价时，需要预先生成每种算法的显著图，再输入质量评估网络进行排序，选择分数最高的显著图，生成每种算法的显著图耗费大部分时间，降低了质量评价的效率的技术问题，本发明提供了一种视觉显著性检测算法适用性预测与性能盲评价方法，具体技术方案如下：
一种视觉显著性检测算法适用性预测与性能盲评价方法，包括显著性算法适用性预测网络模型、显著图质量评估网络模型和构建训练样本，所述构建训练样本分别输入显著性算法适用性预测网络模型和显著图质量评估网络模型中作为训练数据；
所述显著性算法适用性预测网络模型构建步骤包括：
步骤A1.建立深度卷积网络-AlexNet；
步骤A2.修改深度卷积网络模型的全连接层结构，确定输出为2*N的适用性得分矩阵；
步骤A3.确定算法适用性的均方误差损失函数；
步骤A4.以构建训练样本集T1为训练数据进行学习；
步骤A5.得到显著性算法适用性预测网络；
所述显著图质量评估网络模型构建步骤包括：
步骤B1.建立2路并行深度卷积网络(如VGG16卷积层结构)作为特征特征提取模块；
步骤B2.将卷积层提取后的成对网络特征在通道维度上进行聚合操作；
步骤B3.修改深度卷积网络模型的全连接层结构，确定输出为2*1的性能预测得分矩阵；
步骤B4.设定质量评价均方误差损失函数；
步骤B5.以构建训练样本集T2为训练数据进行学习；
步骤B6.得到显著图质量评估网络；
所述构建训练样本的步骤包括：
步骤C1.获取待检测图片集和待检测图片集的真值标记文件；
步骤C2.选择N种显著性方法，并生成每种类型的显著性方法的显著图；
步骤C3.每个显著图和真值标记文件计算得到平均绝对误差，以及操作特性曲线与坐标轴围成的面积；
步骤C4.每张原图搭配2*N个指标，其中N个指标为平均绝对误差(MAE)，另外N个为操作特性曲线与坐标轴围成的面积(AUC)，多个原图构成训练样本集T1；每张原图分别搭配2种方法的显著图组成新的2个四维图片，每张四维图片搭配对应显著图的平均绝对误差和操作特性曲线与坐标轴围成的面积，每张原图的扩展样本数量为N*(N-1)个，共同构成训练集T2。
完成所述显著性算法适用性预测网络和显著图质量评估网络；将输入图片送入显著性算法适用性预测网络，得到从多种类型的显著性方法中选取的适用性得分前K的显著性方法，利用适用性得分前K的显著性方法生产显著图，送入显著图质量评估网络，选取性能预测得分最高的显著图。
进一步的，显著性算法适用性预测网络和显著图质量评估网络采用图片集M＝{m1,m2,…,mn}，及其真值标记文件为G＝{g1,g2,…,gn}作为模型训练样本。
进一步的，所述待训练、测试样本图片集可选用THUS数据集和DUT-OMRON数据集。
还进一步的，视觉显著性检测算法适用性预测网络输出为2*N的适用性得分矩阵，具体为N个操作特性曲线与坐标轴围成的面积指标，以及N个平均绝对误差指标；其中适用性预测网络的训练采用均方误差损失函数评价显著性方法的真实值评价指标与网络预测指标的差异，差值越小，预测值越接近真实值，模型性能越好。
还进一步的，性能盲评价网络利用2路并行深度卷积网络(如VGG16卷积层结构)作为特征提取模块，其单支网络的输入为待检测图片和对应1种方法的显著图。将2组输入提取特征后，进行特征通道维度聚合，再输入至全连接层。输出的性能预测得分矩阵为2组预测值。每组预测值分别为对应方法的平均绝对误差指标和1个预测的操作特性曲线与坐标轴围成的面积指标；其中显著图质量评估网络的训练采用均方误差损失函数评价真实值评价指标与网络预测指标的差异，差值越小，预测值越接近真实值，模型性能越好。
进一步的，视觉显著性检测算法适用性预测网络及显著图质量评估网络搭建并训练完毕后，测试预测环节执行模块包括：采集模块，用于采集输入图片；显著性算法适用性预测模块，利用输入图片从多种类型的显著性方法中选取最适宜的K种显著性方法；显著图处理模块，利用上述K种显著性方法分别处理输入图片，获得所述输入图片的显著图；显著图质量评估模块，用于评估显著图的性能预测得分；输出模块，用于输出最优显著图。
本发明的有益效果是，通过构建显著性算法适用性预测网络模型实现了显著性方法的预选，从多个显著性方法中选取1个或整数个合适的显著性方法，从而不需要预先生成所有显著性方法对应的显著图，大大节省时间，提高了显著性质量评估的效率；显著图质量评估网络模型构建可以全面、准确地对显著图进行质量评估，并有效的选取最优的显著图。
附图说明
图1是视觉显著性检测算法适用性预测模型与性能盲评价模型训练方法流程图；
图2是视觉显著图筛选算法整体流程图；
具体实施方式
结合图1至图2所示，本发明提供的一种视觉显著性检测算法适用性预测与性能盲评价方法具体实施方式如下。
随着图像识别技术的发展，为了使具备视觉感知功能的智能化装备更有效的识别视野内的兴趣区域，提高视觉信号处理的效率，新的视觉显著性检测算法不断被提出，对于同一幅图像可生成更多用于质量评价的显著图。在进行显著性检测性能盲评价时常规的显著性检测性能盲评价时，需要预先生成每种算法的显著图，再输入质量评估网络进行排序，选择分数最高的显著图，生成每种算法的显著图耗费大部分时间，因此大大降低了质量评价的效率。
不同的视觉显著性检测方法设计思路各异，各种方法分别适用于不同类型的图像，由于真实应用场景中并无待检测图像的显著性真值标记文件，自动地筛选出最适用于当前图像的检测算法从而获取最优的显著性检测结果意义重大。本发明提供一种视觉显著性检测算法适用性分析与性能盲评价方法，采用预测接受者操作特性曲线(ReceiverOperating Characteristic Curve，简称ROC曲线)与坐标轴围成的面积(Area UnderCurve，简称AUC)和平均绝对误差(Mean Absolute Error，简称MAE)等指标对该方法在每幅图像上的显著性检测结果进行评价；能够针对给定图像快速筛选适用的视觉显著性检测算法，并对选中方法的视觉显著性结果进行质量盲评，从而提高了工作效率，全面地对显著图进行质量评估，更有效地选取最优的显著图。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种视觉显著性检测算法适用性预测与性能盲评价方法，包括显著性算法适用性预测网络模型、显著图质量评估网络模型和构建训练样本，如图1所示，构建训练样本分别输入显著性算法适用性预测网络模型和显著图质量评估网络模型中作为训练数据；通过构建显著性算法适用性预测网络模型实现了显著性方法的预选，从多个显著性方法中选取1个或整数个合适的显著性方法，从而不需要预先生成所有显著性方法对应的显著图，大大节省时间，提高了显著性质量评估的效率；显著图质量评估网络模型构建可以全面的对显著图进行质量评估，并有效的选取最优的显著图。
其中，显著性算法适用性预测网络模型构建步骤包括：
步骤A1.建立深度卷积网络-AlexNet；
步骤A2.修改深度卷积网络模型的全连接层结构，确定输出为2*N的适用性得分矩阵；
步骤A3.确定算法适用性的均方误差损失函数；
步骤A4.以构建训练样本集T1为训练数据进行学习；
步骤A5.得到显著性算法适用性预测网络。
另外，对于每幅输入图像，适用性预测网络输出为2*N的适用性得分矩阵，具体为N个操作特性曲线与坐标轴围成的面积指标，以及N个平均绝对误差指标；其中适用性预测网络的训练采用均方误差损失函数评价显著性方法的真实值评价指标与网络预测指标的差异，差值越小，预测值越接近真实值，模型性能越好。
其中，显著图质量评估网络模型构建步骤包括：
步骤B1.建立2路并行深度卷积网络(如VGG16卷积层结构)作为特征特征提取模块；
步骤B2.将卷积层提取后的成对网络特征在通道维度上进行聚合操作；
步骤B3.修改深度卷积网络模型的全连接层结构，确定输出为2*2的性能预测得分矩阵；
步骤B4.设定质量评价均方误差损失函数；
步骤B5.以构建训练样本集T2为训练数据进行学习；
步骤B6.得到显著图质量评估网络。
显著图质量评价网络利用2路并行深度卷积网络(如VGG16卷积层结构)作为特征提取模块，其单支网络的输入为待检测图片和对应1种方法的显著图。将2组输入提取特征后，进行特征通道维度聚合，再输入至全连接层。输出的性能预测得分矩阵为2组预测值。每组预测值分别为对应方法的平均绝对误差指标和1个预测的操作特性曲线与坐标轴围成的面积指标；
其中，构建训练样本的步骤包括：
步骤C1.获取样本图片集和样本图片集的真值标记文件；具体的是，样本图片集记为M＝{m1,m2,…,mn}，样本图片集的真值标记文件为G＝{g1,g2,…,gn}，样本图片集可选用THUS数据集和DUT-OMRON数据集；
步骤C2.选择N种显著性方法，并生成每种类型的显著性方法的显著图；
步骤C3.每个显著图和真值标记文件计算得到平均绝对误差，以及操作特性曲线与坐标轴围成的面积；
步骤C4.每张原图搭配2*N个指标，其中N个指标为平均绝对误差(MAE)，另外N个为操作特性曲线与坐标轴围成的面积(AUC)，多个原图构成训练样本集T1；每张原图分别搭配2种方法的显著图组成新的2个四维图片，每张四维图片搭配对应显著图的平均绝对误差和操作特性曲线与坐标轴围成的面积，每张原图的扩展样本数量为N*(N-1)个，共同构成训练集T2。
完成所述显著性算法适用性预测网络和显著图质量评估网络；将输入图片送入显著性算法适用性预测网络，得到从多种类型的显著性方法中选取的适用性得分前K的显著性方法，利用适用性得分前K的显著性方法生产显著图，送入显著图质量评估网络，选取性能预测得分最高的显著图。
为实现上述方法的步骤的有效运行，还提供一种视觉显著性检测算法适用性预测与性能盲评价装置，包括，
采集模块，用于采集输入图片；显著性算法适用性预测模块，利用输入图片从多种类型的显著性方法中选取Top K种显著性方法，K为小于N的整数；显著图处理模块，利用选定的K种显著性方法分别处理输入图片，获得所述输入图片的显著图；显著图质量评估模块，用于评估显著图的性能预测得分；输出模块，用于输出最优显著图；存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上所述一种视觉显著性检测算法适用性预测与性能盲评价方法的步骤。
上述方法可应用于多种实际场景，例如可以应用于具备视觉感知功能的智能装备以获取最优视觉兴趣区域，进而提高视觉信号的处理效率；也可应用于安防图像、视频压缩存储任务中的高保真区域快速提取，其流程即实现最优视觉显著图筛选的整体流程如图2所示，具体步骤如下：
采集模块采集输入图片，输入图像I，将其送入显著性算法适用性预测模块，计算N种视觉显著性算法对图像I的适用性评分，其中N为大于1的整数。然后，选取评分排在前K的视觉显著性方法对图像I进行视觉显著性检测，获取K幅视觉显著图SM1,SM2,…,SMK。最后，将输入图像I与各幅显著图联合，分别送入显著图质量评估模块，计算每幅显著图的质量评价得分，输出模块输出最优的显著图SMi。
实施例描述的各示例的模块及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明提供的视觉显著性检测算法适用性预测与性能盲评价方法，包含显著性算法适用性预测网络模型和显著图质量评估网络模型。其中，显著性算法适用性预测网络模型旨在仅给定原始图像的条件下，通过适用性预测网络预测并筛选最适用于该图像的候选显著性方法。随后，再将候选的显著性方法生成的显著图输入显著图质量评估网络模型，最后进行基于双深度卷积通路的比较预测排序策略，能够有效地得到最佳显著图。由于无需预先运行所有显著性方法生成显著图，将大大减少筛选最优显著图的时间成本，提高运行效率。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (5)

1.一种视觉显著性检测算法适用性预测与性能盲评价方法，其特征在于，包括显著性算法适用性预测网络模型、显著图质量评估网络模型和构建训练样本，所述构建训练样本分别输入显著性算法适用性预测网络模型和显著图质量评估网络模型中作为训练数据；
所述显著性算法适用性预测网络模型构建步骤包括：
步骤A1.建立深度卷积网络-AlexNet；
步骤A2.修改深度卷积网络模型的全连接层结构，确定输出为2*N的适用性得分矩阵；
步骤A3.确定算法适用性的均方误差损失函数；
步骤A4.以构建训练样本集T1为训练数据进行学习；
步骤A5.得到显著性算法适用性预测网络；
所述显著图质量评估网络模型构建步骤包括：
步骤B1.建立2路并行深度卷积网络(如VGG16卷积层结构)作为特征特征提取模块；
步骤B2.将卷积层提取后的成对网络特征在通道维度上进行聚合操作；
步骤B3.修改深度卷积网络模型的全连接层结构，确定输出为2*2的性能预测得分矩阵；
步骤B4.设定质量评价均方误差损失函数；
步骤B5.以构建训练样本集T2为训练数据进行学习；
步骤B6.得到显著图质量评估网络；
所述构建训练样本的步骤包括：
步骤C1.获取待检测图片集和待检测图片集的真值标记文件；
步骤C2.选择N种显著性方法，并生成每种类型的显著性方法的显著图；
步骤C3.每个显著图和真值标记文件计算得到平均绝对误差(MAE)，以及操作特性曲线与坐标轴围成的面积(AUC)；
步骤C4.每张原图搭配2*N个指标，其中N个指标为平均绝对误差(MAE)，另外N个为操作特性曲线与坐标轴围成的面积(AUC)，多个原图构成训练样本集T1；每张原图分别搭配2种方法的显著图组成新的2个四维图片，每张四维图片搭配对应显著图的平均绝对误差和操作特性曲线与坐标轴围成的面积，每张原图的扩展样本数量为N*(N-1)个，共同构成训练集T2；
完成所述显著性算法适用性预测网络和显著图质量评估网络；将输入图片送入显著性算法适用性预测网络，得到从多种类型的显著性方法中选取的适用性得分前K的显著性方法，利用适用性得分前K的显著性方法生产显著图，送入显著图质量评估网络，选取性能预测得分最高的显著图。
2.根据权利要求1所述的一种视觉显著性检测算法适用性预测与性能盲评价方法，其特征在于，显著性算法适用性预测网络和显著图质量评估网络采用图片集M＝{m1,m2,…,mn}，及其真值标记文件为G＝{g1,g2,…,gn}作为模型训练样本。
3.根据权利要求1所述的一种视觉显著性检测算法适用性预测与性能盲评价方法，其特征在于，所述视觉显著性检测算法适用性预测网络输出为2*N的适用性得分矩阵，具体为N个操作特性曲线与坐标轴围成的面积指标，以及N个平均绝对误差指标；其中视觉显著性检测算法适用性预测网络的训练采用均方误差损失函数评价显著性方法的真实值评价指标与网络预测指标的差异，用于约束网络训练，差值越小，预测值越接近真实值，模型性能越好。
4.根据权利要求1所述的一种视觉显著性检测算法适用性预测与性能盲评价方法，其特征在于，显著性图质量盲评价网络利用2路并行网络结构作为特征提取器，其单个通道的输入为待检测图片和对应1种方法的显著图。将2组输入提取特征后融合为一组三维向量，再输入至全连接层。盲评价网络输出的性能预测得分矩阵为2组预测值。每组预测值分别为对应方法的平均绝对误差指标和1个预测的操作特性曲线与坐标轴围成的面积指标；其中显著性图质量盲评价网络训练采用均方误差损失函数评价真实值评价指标与网络预测指标的差异，差值越小，预测值越接近真实值，模型性能越好。
5.根据权利要求1所述的一种视觉显著性检测算法适用性预测与性能盲评价方法，其特征在于，基于上述训练模型的预测算法执行包括：采集模块，用于采集输入图片；显著性算法适用性预测模块，利用输入图片从多种类型的显著性方法中选取K种显著性方法，K为小于N的整数；显著图生成模块，利用N种显著性方法分别处理输入图片，获得所述输入图片的显著图；显著图质量评估模块，用于评估显著图的性能预测得分；输出模块，用于输出最优显著图。
CN201910896895.4A 2019-09-23 2019-09-23 视觉显著性检测算法适用性预测与性能盲评价方法 Active CN110738638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910896895.4A CN110738638B (zh) 2019-09-23 2019-09-23 视觉显著性检测算法适用性预测与性能盲评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910896895.4A CN110738638B (zh) 2019-09-23 2019-09-23 视觉显著性检测算法适用性预测与性能盲评价方法

Publications (2)

Publication Number Publication Date
CN110738638A true CN110738638A (zh) 2020-01-31
CN110738638B CN110738638B (zh) 2022-08-02

Family

ID=69269396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910896895.4A Active CN110738638B (zh) 2019-09-23 2019-09-23 视觉显著性检测算法适用性预测与性能盲评价方法

Country Status (1)

Country Link
CN (1) CN110738638B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078579A (zh) * 2020-08-14 2022-02-22 迪迈医疗科技(宁波)有限公司 组织病理阅片模式学习系统、方法以及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834933A (zh) * 2014-02-10 2015-08-12 华为技术有限公司 一种图像显著性区域的检测方法和装置
CN106127197A (zh) * 2016-04-09 2016-11-16 北京交通大学 一种基于显著标签排序的图像显著性目标检测方法
CN108711147A (zh) * 2018-05-11 2018-10-26 天津大学 一种基于卷积神经网络的显著性融合检测算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834933A (zh) * 2014-02-10 2015-08-12 华为技术有限公司 一种图像显著性区域的检测方法和装置
CN106127197A (zh) * 2016-04-09 2016-11-16 北京交通大学 一种基于显著标签排序的图像显著性目标检测方法
CN108711147A (zh) * 2018-05-11 2018-10-26 天津大学 一种基于卷积神经网络的显著性融合检测算法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078579A (zh) * 2020-08-14 2022-02-22 迪迈医疗科技(宁波)有限公司 组织病理阅片模式学习系统、方法以及终端

Also Published As

Publication number Publication date
CN110738638B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
Reda et al. Unsupervised video interpolation using cycle consistency
Yang et al. A survey of DNN methods for blind image quality assessment
US20220358334A1 (en) Assembly body change detection method, device and medium based on attention mechanism
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN109671063B (zh) 一种基于深度网络特征间重要性的图像质量评估方法
CN108805151B (zh) 一种基于深度相似性网络的图像分类方法
CN112101262B (zh) 一种多特征融合手语识别方法及网络模型
CN110570402B (zh) 基于边界感知神经网络的双目显著物体检测方法
CN112950579B (zh) 图像质量评价方法、装置和电子设备
CN112818849B (zh) 基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法
CN111369548A (zh) 一种基于生成对抗网络的无参考视频质量评价方法及装置
CN114612832A (zh) 一种实时手势检测方法及装置
KR20190125029A (ko) 시계열 적대적인 신경망 기반의 텍스트-비디오 생성 방법 및 장치
CN113963170A (zh) 一种基于交互式特征融合的rgbd图像显著性检测方法
CN115761568A (zh) 一种基于YOLOv7网络和Deepsort网络的猕猴检测方法
Sendjasni et al. Perceptually-weighted CNN for 360-degree image quality assessment using visual scan-path and JND
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN116563913A (zh) 一种基于多层特征融合的口罩规范佩戴检测方法
US11798254B2 (en) Bandwidth limited context based adaptive acquisition of video frames and events for user defined tasks
CN110738638A (zh) 视觉显著性检测算法适用性预测与性能盲评价方法
CN109409305A (zh) 一种人脸图像清晰度评价方法及装置
CN115953330B (zh) 虚拟场景图像的纹理优化方法、装置、设备和存储介质
Liu et al. Progressive knowledge transfer based on human visual perception mechanism for perceptual quality assessment of point clouds
CN116980549A (zh) 视频帧处理方法、装置、计算机设备和存储介质
CN114449362B (zh) 视频封面的选取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant