CN104834933B - 一种图像显著性区域的检测方法和装置 - Google Patents

一种图像显著性区域的检测方法和装置 Download PDF

Info

Publication number
CN104834933B
CN104834933B CN201410046715.0A CN201410046715A CN104834933B CN 104834933 B CN104834933 B CN 104834933B CN 201410046715 A CN201410046715 A CN 201410046715A CN 104834933 B CN104834933 B CN 104834933B
Authority
CN
China
Prior art keywords
image
test image
frequency
component
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410046715.0A
Other languages
English (en)
Other versions
CN104834933A (zh
Inventor
杜馨瑜
王栋
顾子晨
魏代玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201410046715.0A priority Critical patent/CN104834933B/zh
Priority to US14/581,418 priority patent/US9659233B2/en
Priority to EP14200509.9A priority patent/EP2905722B1/en
Publication of CN104834933A publication Critical patent/CN104834933A/zh
Application granted granted Critical
Publication of CN104834933B publication Critical patent/CN104834933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像显著性区域的检测方法和装置，通过利用预先训练获得的分类器，根据测试图像的图像特征向量，对所述测试图像进行分类处理，获得分类标签，所述分类标签用于指示对所述测试图像进行显著性区域检测的显著性区域检测算法；利用该分类标签指示的显著性检测算法，对所述测试图像进行显著性检测，获得所述测试图像的显著性区域，由于利用该测试图像的图像特征向量，获取检测效果最好的显著性检测算法对该测试图像进行显著性区域检测，提高了显著性区域检测的准确度。

Description

一种图像显著性区域的检测方法和装置
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种图像显著性区域的检测方法和装置。
背景技术
图像的显著性是图像的重要视觉特征，体现了人眼对图像某些区域的重视程度。在图像处理过程中，常需要利用显著性检测算法对图像进行检测，以获得该图像的显著性区域，其主要应用于手机拍照软件、目标检测软件和图像压缩软件中。
现有技术中存在基于低层视觉特征的显著性检测算法，对图像进行显著性区域检测，从而获得该图像的显著性区域的方式，该算法是一种模拟生物体视觉注意机制的选择性注意算法；同时，现有技术中还存在不基于任何生物视觉原理的纯数学计算方法，对图像进行显著性区域检测，从而获得该图像的显著性区域的方式。但上述两种方式均存在显著性区域检测的准确度不高情况，因此，如何提高图像显著性区域检测的准确度是目前亟待解决的技术问题。
发明内容
本发明实施例提供一种图像显著性区域的检测方法和装置，用于提高显著性区域检测的准确度。
第一方面是提供一种图像显著性区域的检测方法，包括：
利用预先训练获得的分类器，根据测试图像的图像特征向量，对所述测试图像进行分类处理，获得分类标签，所述分类标签用于指示对所述测试图像进行显著性区域检测的显著性检测算法；
利用所述分类标签指示的显著性检测算法，对所述测试图像进行显著性区域检测，获得所述测试图像的显著性区域。
在第一方面的第一种可能的实现方式中，所述利用预先训练获得的分类器，根据测试图像的图像特征向量，对所述测试图像进行分类处理，获得分类标签之前，还包括：采用至少两种特征提取算法，提取所述测试图像的至少两个图像特征向量。
结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述至少两个图像特征向量是如下图像特征向量中的至少两个：稀疏加权熵、导数图像颜色数、所述测试图像的一维频谱图相对于训练集图像的一维频谱图偏移的均值和方差、中频比以及HSV空间的色度H分量、饱和度S分量、亮度V分量的一阶矩和所述H分量、S分量、V分量的二阶矩。
结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述测试图像的图像特征向量包括所述稀疏加权熵；所述采用特征提取算法，提取所述测试图像的至少两个图像特征向量，包括：在RGB颜色空间内，对所述测试图像进行下采样滤波；对下采样滤波后测试图像进行计算，获得下采样滤波后测试图像的颜色直方图向量，所述颜色直方图向量包括n个元素，n为下采样滤波后测试图像的RGB颜色空间所包含的第一颜色数，n为自然数；计算稀疏加权系数其中，xi为所述颜色直方图向量中的第i个元素，q为预设值，取q≥2；计算所述稀疏加权熵其中，eH(x)用于指示所述颜色直方图向量的熵，p(xi)为归一化后的所述测试图像的颜色直方图向量中的第i个元素，b取值为2、10或e。
结合第一方面的第二种可能的实现方式，在第四种可能的实现方式中，所述测试图像的图像特征向量包括所述导数图像颜色数；所述采用特征提取算法，提取所述测试图像的至少两个图像特征向量，包括：确定所述测试图像的导数图像；在RGB颜色空间内，对所述导数图像进行下采样滤波；统计下采样滤波后导数图像的RGB颜色空间所包含的第二颜色数；将所述第二颜色数作为所述导数图像颜色数。
结合第一方面的第二种可能的实现方式，在第五种可能的实现方式中，所述测试图像的图像特征向量包括所述测试图像的一维频谱图相对于训练集图像的一维频谱图偏移的均值和方差；所述采用特征提取算法，提取所述测试图像的至少两个图像特征向量，包括：确定所述测试图像的一维频谱图；将所述测试图像的一维频谱图与所述训练集图像的一维频谱图进行比较，获得所述测试图像的一维频谱图相对于所述训练集图像的一维频谱图偏移的均值和方差；所述训练集图像的一维频谱图中各频率点上的频率值是对各训练图像的一维频谱图中所述频率点上的频率值进行平均获得的；所述训练图像用于对所述分类器进行训练。
结合第一方面的第二种可能的实现方式，在第六种可能的实现方式中，所述测试图像的图像特征向量包括所述中频比；所述采用特征提取算法，提取所述测试图像的至少两个图像特征向量，包括：确定所述测试图像的二维频谱图，所述二维频谱图包括横向频率坐标轴和纵向频率坐标轴，所述横向频率坐标轴包括m个横向频率段，所述纵向频率坐标轴包括m个纵向频率段；所述频率段按照频率大小排序；将所述二维频谱图中的第r个到第s个横向频率段，以及第r个到第s个纵向频率段内的频率点作为中频频率点；其中，1＜r＜s＜m；将所述中频频率点的频率值之和，与所述二维频谱图中m个横向频率段和m个纵向频率段内的各频率点的频率值之和相除，获得所述中频比。
结合第一方面的第二种可能的实现方式，在第七种可能的实现方式中，所述测试图像的图像特征向量包括HSV空间的所述H分量、S分量、V分量的一阶矩和所述H分量、S分量、V分量的二阶矩；所述采用特征提取算法，提取所述测试图像的至少两个图像特征向量，包括：在HSV空间内，对所述测试图像进行计算，获得所述测试图像在HSV空间的所述H分量、S分量和V分量的一阶矩，以及所述测试图像在HSV空间的所述H分量、S分量和V分量的二阶矩。
结合第一方面、第一方面的第一种可能的实现方式、第一方面的第二种可能的实现方式、第一方面的第三种可能的实现方式、第一方面的第四种可能的实现方式、第一方面的第五种可能的实现方式、第一方面的第六种可能的实现方式和第一方面的第七种可能的实现方式，在第八种可能的实现方式中，所述分类器为反向传播BP神经网络。
结合第一方面的第八种可能的实现方式，在第九种可能的实现方式中，所述BP神经网络，包括输入层、中间层和输出层；所述输入层与所述中间层之间的传递函数为双正切S型函数；所述中间层与所述输出层之间的传递函数为对数S型函数；所述利用预先训练获得的分类器，根据测试图像的图像特征向量，对所述测试图像进行分类处理，获得分类标签，包括：利用预先训练获得的所述BP神经网络，根据通过所述BP神经网络的输入层输入的所述测试图像的图像特征向量，通过所述BP神经网络的输入层与所述BP神经网络的中间层之间的双正切S型函数和所述BP神经网络的中间层与所述BP神经网络的输出层之间的对数S型函数，对所述测试图像进行分类处理，从所述BP神经网络的输出层获得所述分类标签。
结合第一方面的第一种可能的实现方式，在第十种可能的实现方式中，所述采用至少两种特征提取算法，提取所述测试图像的至少两个图像特征向量之前，还包括：利用预设训练集中的各训练图像的图像特征向量，基于列文伯格-马夸尔特LM学习算法对所述分类器进行训练，以使通过所述分类器获得分类标签之后，利用所述分类标签所指示的显著性检测算法对所述训练图像进行图像显著性区域检测的误差最小。
结合第一方面、第一方面的第一种可能的实现方式、第一方面的第二种可能的实现方式、第一方面的第三种可能的实现方式、第一方面的第四种可能的实现方式、第一方面的第五种可能的实现方式、第一方面的第六种可能的实现方式、第一方面的第七种可能的实现方式、第一方面的第八种可能的实现方式、第一方面的第九种可能的实现方式和第一方面的第十种可能的实现方式，在第十一种可能的实现方式中，所述显著性检测算法包括频率调谐FT、直方图对比度HC、局部线索LC和频谱余量SR中的至少一个。
结合第一方面、第一方面的第一种可能的实现方式、第一方面的第二种可能的实现方式、第一方面的第三种可能的实现方式、第一方面的第四种可能的实现方式、第一方面的第五种可能的实现方式、第一方面的第六种可能的实现方式、第一方面的第七种可能的实现方式、第一方面的第八种可能的实现方式、第一方面的第九种可能的实现方式、第一方面的第十种可能的实现方式和第一方面的第十一种可能的实现方式，在第十二种可能的实现方式中，所述利用所述分类标签指示的显著性检测算法，对所述测试图像进行显著性区域检测，获得显著性区域之后，还包括：根据预设的筛选策略，对所述显著性区域进行筛选处理。
第二方面是提供一种图像显著性区域的检测装置，包括：
分类模块，用于利用预先训练获得的分类器，根据测试图像的图像特征向量，对所述测试图像进行分类处理，获得分类标签，所述分类标签用于指示对所述测试图像进行显著性区域检测的显著性检测算法；
检测模块，用于利用所述分类标签指示的显著性检测算法，对所述测试图像进行显著性区域检测，获得所述测试图像的显著性区域。
在第二方面的第一种可能的实现方式中，所述检测装置，还包括：提取模块，用于采用至少两种特征提取算法，提取所述测试图像的至少两个图像特征向量。
结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述提取模块具体用于采用至少两个特征提取算法，提取所述测试图像的如下图像特征向量中的至少两个：稀疏加权熵、导数图像颜色数、所述测试图像的一维频谱图相对于训练集图像的一维频谱图偏移的均值和方差、中频比以及HSV空间的色度H分量、饱和度S分量、亮度V分量的一阶矩和所述H分量、S分量、V分量的二阶矩。
结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述测试图像的图像特征向量包括稀疏加权熵；所述提取模块具体用于在RGB颜色空间内，对所述测试图像进行下采样滤波；对下采样滤波后测试图像进行计算，获得下采样滤波后测试图像的颜色直方图向量，所述颜色直方图向量包括n个元素，n为下采样滤波后测试图像的RGB颜色空间所包含的第一颜色数，n为自然数；计算稀疏加权系数其中，xi为所述颜色直方图向量中的第i个元素，q为预设值，取q≥2；计算稀疏加权熵其中，eH(x)用于指示所述颜色直方图向量的熵，p(xi)为归一化后的所述测试图像的颜色直方图向量中的第i个元素，b取值为2、10或e。
结合第二方面的第二种可能的实现方式，在第四种可能的实现方式中，所述测试图像的图像特征向量包括导数图像颜色数；所述提取模块具体用于确定所述测试图像的导数图像；在RGB颜色空间内，对所述导数图像进行下采样滤波；统计下采样滤波后导数图像的RGB颜色空间所包含的第二颜色数；将所述第二颜色数作为所述导数图像颜色数。
结合第二方面的第二种可能的实现方式，在第五种可能的实现方式中，所述测试图像的图像特征向量包括所述测试图像的一维频谱图相对于训练集图像的一维频谱图偏移的均值和方差；所述提取模块具体用于确定所述测试图像的一维频谱图；将所述测试图像的一维频谱图与所述训练集图像的一维频谱图进行比较，获得所述测试图像的一维频谱图相对于所述训练集图像的一维频谱图偏移的均值和方差；所述训练集图像的一维频谱图中各频率点上的频率值是对各训练图像的一维频谱图中所述频率点上的频率值进行平均获得的；所述训练图像用于对所述分类器进行训练。
结合第二方面的第二种可能的实现方式，在第六种可能的实现方式中，所述测试图像的图像特征向量包括所述中频比；所述提取模块具体用于确定所述测试图像的二维频谱图，所述二维频谱图包括横向频率坐标轴和纵向频率坐标轴，所述横向频率坐标轴包括m个横向频率段，所述纵向频率坐标轴包括m个纵向频率段；所述频率段按照频率大小排序；将所述二维频谱图中的第r个到第s个横向频率段，以及第r个到第s个纵向频率段内的频率点作为中频频率点；其中，1＜r＜s＜m；将所述中频频率点的频率值之和，与所述二维频谱图中m个横向频率段和m个纵向频率段内的各频率点的频率值之和相除，获得所述中频比。
结合第二方面的第二种可能的实现方式，在第七种可能的实现方式中，所述测试图像的图像特征向量包括HSV空间的所述H分量、S分量、V分量的一阶矩和所述H分量、S分量、V分量的二阶矩；所述提取模块具体用于在HSV空间内，对所述测试图像进行计算，获得所述测试图像在HSV空间的所述H分量、S分量和V分量的一阶矩，以及所述测试图像在HSV空间的所述H分量、S分量和V分量的二阶矩。
结合第二方面、第二方面的第一种可能的实现方式、第二方面的第二种可能的实现方式、第二方面的第三种可能的实现方式、第二方面的第四种可能的实现方式、第二方面的第五种可能的实现方式、第二方面的第六种可能的实现方式和第二方面的第七种可能的实现方式，在第八种可能的实现方式中，所述分类器为反向传播BP神经网络。
结合第二方面的第八种可能的实现方式，在第九种可能的实现方式中，所述BP神经网络，包括输入层、中间层和输出层；所述输入层与所述中间层之间的传递函数为双正切S型函数；所述中间层与所述输出层之间的传递函数为对数S型函数；
所述分类模块具体用于利用预先训练获得的所述BP神经网络，根据通过所述BP神经网络的输入层输入的所述测试图像的图像特征向量，通过所述BP神经网络的输入层与所述BP神经网络的中间层之间的双正切S型函数和所述BP神经网络的中间层与所述BP神经网络的输出层之间的对数S型函数，对所述测试图像进行分类处理，从所述BP神经网络的输出层获得所述分类标签。
结合第二方面的第一种可能的实现方式，在第十种可能的实现方式中，所述检测装置，还包括：训练模块，用于利用预设训练集中的各训练图像的图像特征向量，基于列文伯格-马夸尔特LM学习算法对所述分类器进行训练，以使通过所述分类器获得分类标签之后，利用所述分类标签所指示的显著性检测算法对所述训练图像进行图像显著性区域检测的误差最小；
所述分类模块具体用于利用经所述训练模块训练后获得的所述分类器，根据所述测试图像的图像特征向量，对所述测试图像进行分类处理，获得所述分类标签。
结合第二方面、第二方面的第一种可能的实现方式、第二方面的第二种可能的实现方式、第二方面的第三种可能的实现方式、第二方面的第四种可能的实现方式、第二方面的第五种可能的实现方式、第二方面的第六种可能的实现方式、第二方面的第七种可能的实现方式、第二方面的第八种可能的实现方式、第二方面的第九种可能的实现方式和第二方面的第十种可能的实现方式，在第十一种可能的实现方式中，所述显著性检测算法，包括频率调谐FT、直方图对比度HC、局部线索LC和频谱余量SR中的至少一个。
结合第二方面、第二方面的第一种可能的实现方式、第二方面的第二种可能的实现方式、第二方面的第三种可能的实现方式、第二方面的第四种可能的实现方式、第二方面的第五种可能的实现方式、第二方面的第六种可能的实现方式、第二方面的第七种可能的实现方式、第二方面的第八种可能的实现方式、第二方面的第九种可能的实现方式、第二方面的第十种可能的实现方式和第二方面的第十一种可能的实现方式，在第十二种可能的实现方式中，所述检测装置，还包括：筛选模块，用于根据预设的筛选策略，对所述显著性区域进行筛选处理。
本发明实施例提供的图像显著性区域的检测方法和装置，通过利用预先训练获得的分类器，根据测试图像的图像特征向量，对测试图像进行分类处理，获得分类标签，进而利用该分类标签指示的显著性检测算法，对测试图像进行显著性区域检测，获得显著性区域，由于本发明实施例采用的显著性检测算法是通过利用分类器对测试图像的图像特征向量进行处理获得的，该显著性检测算法是所有显著性检测算法集中针对所述检测图像来说检测效果最好的检测算法，所以采用本发明实施例所述的图像显著区域检测方法可以提高了显著性区域检测的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种图像显著性区域的检测方法的流程示意图；
图2A为本发明另一实施例提供的一种图像显著性区域的检测方法的流程示意图；
图2B是本发明另一实施例提供的BP神经网络的结构示意图；
图2C是本发明另一实施例提供的对BP神经网络进行训练的流程示意图；
图2D是本发明另一实施例提供的测试图像的一维频谱图和训练集图像的一维频谱图的对比图；
图3为本发明一实施例提供的一种图像显著性区域的检测装置的结构示意图；
图4为本发明另一实施例提供的一种图像显著性区域的检测装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明一实施例提供的一种图像显著性区域的检测方法的流程示意图，如图1所示，本实施例包括：
101、利用预先训练获得的分类器，根据测试图像的图像特征向量，对测试图像进行分类处理，获得分类标签。
其中，图像特征向量用于指示图像特征，图像特征包括但不限于颜色特征、纹理特征、形状特征和空间关系特征中的至少一个或多个组合。分类标签用于指示对所述测试图像进行显著性区域检测的显著性检测算法。
可选的，分类器可为反向传播（Back Propagation，BP）神经网络，包括输入层、中间层和输出层，输入层与所述中间层之间的传递函数为双正切S型函数，中间层与所述输出层之间的传递函数为对数S型函数。采用特征提取算法，对所述测试图像进行特征提取，获得所述测试图像的图像特征向量。从而利用预先训练获得的BP神经网络，通过在BP神经网络的输入层输入测试图像的图像特征向量，以及经过BP神经网络的输入层与BP神经网络的中间层之间的双正切S型函数和BP神经网络的中间层与BP神经网络的输出层之间的对数S型函数，对测试图像进行分类处理，从BP神经网络的输出层获得分类标签。
进一步，在101之前，利用预设训练集中的各训练图像的图像特征向量，基于列文伯格-马夸尔特LM学习算法对所述分类器进行训练，以使通过该分类器获得分类标签之后，利用该分类标签所指示的显著性检测算法，对所述训练图像进行显著性检测的误差最小。
102、利用该分类标签指示的显著性检测算法，对测试图像进行显著性区域检测，获得所述测试图像的显著性区域。
其中，显著性检测算法包括频率调谐（Frequency Tuned，FT）、直方图对比度(Histogram-based contrast，HC)、局部线索（Local Cues，LC）和频谱余量（SpectralResidual，SR）中的至少两种。
可选的，若指示的显著性检测算法为FT算法，该算法是一种具有代表性的显著性检测算法，首先对测试图像进行计算，获得图像像素的算术平均值Iμ，另外，对测试图像进行高斯模糊获得该算法的实质是利用测试图像的中频滤波特性计算显著性区域，其中，显著性区域即为
或者可选的，若指示的显著性检测算法为HC算法，先计算出测试图像在颜色-对立 颜色空间即LAB颜色空间的直方图其中，cl是测试图像像素Ik在 颜色空间的对应值，n是把颜色空间分成的份数，相当于直方图的横轴，fj是颜色cj在直方图 中的概率，D(cl,cj)是两种颜色在颜色空间的距离，可以用欧式距离表示。然后再对颜色空 间进行平滑，以得到加权后的显著性区域其中，m=n4是选择 的具有最近颜色聚类的颜色数，是颜色c与它的m个最近邻颜色的距离的和。 显然可以得到归一化因子
或者可选的，若指示的显著性检测算法为LC算法，该LC算法可以对视频进行显著性区域检测，这里针对图像数据，我们只用到LC的空域检测部分，其原理就是以测试图像的颜色直方图作为特征进行显著性区域检测，LC与HC的不同之处在于HC对原始的颜色直方图做了分块与滤波处理。
或者可选的，若指示的显著性检测算法为SR算法，将测试图像记为I(x)，对I(x)依 次进行如下计算：A(f)=Λ(FFT[I(x)])，P(f)=Ω(FFT[I(x)])，L(f)=log(A(f))， 其中，FFT为傅里叶变换，Λ为取幅度，A(f)为测试图像的幅度谱，Ω 为取相位，P(f)为测试图像的相位谱，L(f)就是对数标度下的幅度谱，hn(f)为均值滤波， 为卷积符号，显然，R(f)为频谱余量，IFFT为反傅里叶变换，g(x)为标准高斯函数，则最后得 到的显著性区域为S(x)。SR算法的实质是将测试图像的高频部分作为显著性区域，利用自 然图像的频谱符合1/f分布这种统计规律，通过求出频谱余量从而得到显著性区域。
进一步，102之后，还可根据预设的筛选策略，对102中所获得的显著性区域进行筛选处理，也就是说，从102中所获得的显著性区域中，进一步筛选掉不必要的显著性区域，从而提高显著检测的准确性。
本实施例中，通过利用预先训练获得的分类器，根据测试图像的图像特征向量，对测试图像进行分类处理，获得分类标签，进而利用该分类标签指示的显著性检测算法，对测试图像进行显著性区域检测，获得显著性区域，由于对测试图像进行分类处理，利用测试图像所属的分类对应的显著性检测算法，对测试图像进行显著性区域检测，提高了显著性检测的准确度。
图2A为本发明另一实施例提供的一种图像显著性区域的检测方法的流程示意图，如图2A所示，本实施例包括：
201、设计获得BP神经网络。
可选的，BP神经网络包括输入层、中间层和输出层，输入层包括至少一个第一节点，该第一节点的个数与所述测试图像的图像特征向量的个数相同，例如：图2B是本发明另一实施例提供的BP神经网络的结构示意图，其中，W和b为BP神经网络参数，W为权重，b为偏置值，如图2B所示，若图像特征向量个数为11则该输入层中的第一节点为11个，中间层包括至少一个隐含神经元，例如：100个，输入层与中间层之间的传递函数为双正切S型函数；输出层包括至少一个第二节点，第二节点与分类标签一一对应；中间层与输出层之间的传递函数为对数S型函数。分类标签可为输出向量，该输出向量包含至少两个元素，BP神经网络的输出层中的一个节点输出上述输出向量中的一个元素，从而输出向量包含的元素的个数与BP神经网络的输出层所包含的第二节点个数相同，该输出向量所包含的至少两个元素中仅有一个元素取值为1，其余元素取值为0。如图2B所示，若BP神经网络的输出层所包含的第二节点个数为4，则输出向量包含四个元素，输出向量的取值有四种可能性，分别为（1,0,0,0）、（0,1,0,0）、（0,0,1,0）和（0,0,0,1）,上述四个输出向量中的每个输出向量均为一个分类标签，每个分类标签对应一种显著性检测算法。由于本实施例中涉及多分类问题，也就是说，测试图像可分为至少两个分类，因此，采用神经网络作为分类器，可以直接从输出层中的第二层节点进行设计，从而实现多分类，降低了分类器的复杂度。另外，具体采用神经网络中的BP神经网络主要是考虑到BP神经网络没有反馈，便于计算；与前向型神经网络相比，不仅降低了网络复杂性，而且分类能力较强。在利用该BP神经网络进行分类处理时，通过BP神经网络的输入层输入测试图像的图像特征向量，经过BP神经网络的输入层与BP神经网络的中间层之间的双正切S型函数和BP神经网络的中间层与BP神经网络的输出层之间的对数S型函数，对测试图像进行分类处理，最终从BP神经网络的输出层获得分类标签。
202、对BP神经网络进行训练。
具体的，图2C是本发明另一实施例提供的对BP神经网络进行训练的流程示意图，如图2C所示，包括：
202a、构建训练集。
可选的，选择国际通用的显著性测试库中的图片，如显著性测试库Achanta1000，构建训练集。
202b、对训练集中的训练图片进行特征提取。
可选的，将训练集中的训练图片划分为六组，采用特征提取算法，对训练图片进行特征提取，获得训练图片的图像特征向量。该特征提取算法为至少两种，从而获得训练图片的至少两个图像特征向量，该至少两个图像特征向量是如下图像特征向量中的至少两个：稀疏加权熵、导数图像颜色数、所述测试图像的一维频谱图相对于训练集图像的一维频谱图偏移的均值和方差、中频比以及HSV空间的色度H分量、饱和度S分量、亮度V分量的一阶矩和所述H分量、S分量、V分量的二阶矩。
202c、根据特征提取所获得的图像特征向量，基于列文伯格-马夸尔特LM学习算法对BP神经网络进行训练。
可选的，将训练图片的图像特征向量作为输入，采用六重交叉验证方法，基于列文伯格-马夸尔特LM学习算法对BP神经网络进行训练，不断调整权重和偏置值等BP神经网络参数。
202d、计算BP神经网络的最小均方误差。
可选的，利用该BP神经网络对训练图像进行分类，获得分类标签之后，采用分类标签所指示的显著性检测算法，对训练图像进行显著性区域检测，将显著性检测的结果与训练图像的金标准相比较，获得最小均方误差。例如：轮流选择六组中的一组作为测试组，另外五组作为训练组，利用五组训练组对BP神经网络进行训练之后，利用测试组进行验证，即利用该BP神经网络，根据测试组中的训练图片的图像特征向量进行分类，获得分类标签之后，利用该分类标签指示的显著性检测算法进行显著性区域检测，将所获得的结果与该训练图片的金标准进行比较，计算最小均方误差。
如此反复执行步骤202c和202d，直至202d计算获得最小的最小均方误差。
203、采用至少两种特征提取算法，对测试图像进行特征提取，获得测试图像的至少两个图像特征向量。
可选的，测试图像的图像特征向量包括所述稀疏加权熵，稀疏加权熵计算方法如下：对测试图像的RGB颜色空间进行下采样滤波，计算下采样滤波后测试图像的颜色直方图向量，所述颜色直方图向量包括n个元素，n为下采样滤波后测试图像的RGB颜色空间所包含的第一颜色数。如将每个颜色轴分为64等份，则整个RGB空间的颜色数为64×64×64，即获得下采样滤波后测试图像的RGB颜色空间所包含的第一颜色数为64×64×64；计算稀疏加权系数其中，xi为所述颜色直方图向量中的第i个元素，q为预设值，取q≥2；计算稀疏加权熵其中，eH(x)用于指示所述颜色直方图向量的熵，p(xi)为归一化后的所述测试图像的颜色直方图向量中的第i个元素，b取值为2、10或e。采用上述方法所获得的稀疏加权熵可以用来指示测试图像色彩纷杂或者颜色单一。
可选的，测试图像的图像特征向量包括导数图像颜色数，导数图像颜色数计算方法如下：确定测试图像的导数图像；对导数图像的RGB颜色空间进行下采样滤波，如将每个颜色轴分为64等份，则整个RGB空间的颜色数为64×64×64，获得第二颜色数，将第二颜色数作为导数图像颜色数。由于采用了导数图像进行计算，消除了显著性区域的颜色渐变所带来的噪声。
可选的，测试图像的图像特征向量包括所述测试图像的一维频谱图相对于训练集图像的一维频谱图偏移的均值和方差，测试图像的一维频谱图相对于训练集图像的一维频谱图偏移的均值和方差计算方法如下：利用一维傅里叶变换，确定测试图像的一维频谱图。图2D是本发明另一实施例提供的测试图像的一维频谱图和训练集图像的一维频谱图的对比图，如图2所示，将测试图像的一维频谱图与训练集图像的一维频谱图进行比较，获得测试图像的一维频谱图相对于训练集图像的一维频谱图偏移的均值和方差；训练集图像的一维频谱图中各频率点上的频率值是对各训练图像的一维频谱图中频率点上的频率值进行平均获得的，其中，训练图像用于对分类器进行训练。
可选的，测试图像的图像特征向量包括中频比，中频比计算方法如下：利用二维傅里叶变换，确定测试图像的二维频谱图，该二维频谱图包括m个横向频率段和m个纵向频率段；频率段按照频率大小排序；将二维频谱图中的第r个到第s个横向频率段，以及第r个到第s个纵向频率段内的频率点作为中频频率点；其中，1＜r＜s＜m；将中频频率点的频率值之和，与所述二维频谱图中m个横向频率段和m个纵向频率段内的各频率点的频率值之和相除，获得中频比。
可选的，测试图像的图像特征向量包括HSV空间的H分量、S分量、V分量的一阶矩和H分量、S分量、V分量的二阶矩。该HSV空间的H分量、S分量、V分量的一阶矩和H分量、S分量、V分量的二阶矩的计算方法如下：分别计算测试图像在HSV空间中色度H分量、饱和度S分量和亮度V分量的一阶矩，以及分别计算测试图像在HSV空间中所述H分量、S分量和V分量的二阶矩。
需要说明的是，上述特征提取算法可以分别实施，也可以结合实施，本实施例中对此不做限定。例如：将采用上述算法计算获得的稀疏加权熵、导数图像颜色数、测试图像的一维频谱图相对于训练集图像的一维频谱图偏移的均值和方差、中频比以及HSV空间的色度H分量、饱和度S分量、亮度V分量的一阶矩和所述H分量、S分量、V分量的二阶矩均作为图像特征向量，从而图像特征向量的维数为十一维。
另外需要说明的是，对测试图像进行特征提取所采用的特征提取算法，与对训练图像进行特征提取所采用的特征提取算法相同。
204、利用训练后的BP神经网络，根据测试图像的图像特征向量，对测试图像进行分类处理，获得分类标签。
可选的，将测试图像的图像特征向量作为BP神经网络的输入，利用训练后的BP神经网络，根据测试图像的图像特征向量，对测试图像进行分类处理，获得分类标签。
205、利用分类标签指示的显著性检测算法，对测试图像进行显著性区域检测，获得显著性区域。
可选的，利用分类标签指示的显著性检测算法，对测试图像进行显著性区域检测之后，获得各区域，以及各区域的显著性值，将显著性值超过阈值的区域，作为显著性区域。
206、根据预设的筛选策略，对显著性区域进行筛选处理。
其中，筛选策略包括：若显著性值最高的显著性区域与其余显著性区域的面积之间的比值，大于预设阈值a，则筛选掉该显著性值最高的显著性区域；若显著性区域的横向宽度与测试图像的横向宽度之间的比值，大于预设阈值b，则筛选掉该显著性区域；若显著性区域中不包含显著性值最高的点，则筛选掉该显著性值最高的点，其中，区域包含多个点；若显著性区域的外接矩形的面积与测试图像的面积之间的比值，大于预设阈值c，则筛选掉该显著性区域；若显著性区域的HSV颜色空间中的H分量的值在预设上限d和预设下限e之间，以及S分量的值在预设上限f和预设下限g之间，则确定该显著性区域内为天空，筛选掉该显著性区域。
进一步，根据上述预设的筛选策略，对获得的显著性区域进行筛选处理，从而筛选掉上述显著性区域中的非必要显著性区域之后，在测试图像中标记筛选处理后的显著性区域。由于采用了上述筛选处理，进一步减小了显著性区域检测的误差。
本实施例中，通过利用预先训练获得的分类器，根据测试图像的图像特征向量，对测试图像进行分类处理，获得分类标签，进而利用该分类标签指示的显著性检测算法，对测试图像进行显著性区域检测，获得显著性区域，由于对测试图像进行分类处理，利用测试图像所属的分类对应的显著性检测算法，对测试图像进行显著性区域检测，提高了显著性区域检测的准确度。另外，由于采用了上述特征提取算法和显著性检测算法，提高了显著性区域检测的效率，减小了通常情况下为保证检测质量而选择的大部分复杂性高的显著性检测算法进行显著性区域检测所需要的计算开销，更加适用于手机、机顶盒等计算资源相对紧张的场合。
图3为本发明一实施例提供的一种图像显著性区域的检测装置的结构示意图，如图3所示，本实施例包括：分类模块31和检测模块32。
分类模块31，用于利用预先训练获得的分类器，根据测试图像的图像特征向量，对所述测试图像进行分类处理，获得分类标签。
其中，分类标签用于指示所述对所述测试图像进行显著性区域检测的显著性检测算法。分类器为反向传播BP神经网络，包括输入层、中间层和输出层；所述输入层与所述中间层之间的传递函数为双正切S型函数；所述中间层与所述输出层之间的传递函数为对数S型函数。
可选的，分类模块31具体用于利用预先训练获得的BP神经网络，根据通过所述BP神经网络的输入层输入的所述测试图像的图像特征向量，通过所述BP神经网络的输入层与所述BP神经网络的中间层之间的双正切S型函数和所述BP神经网络的中间层与所述BP神经网络的输出层之间的对数S型函数，对所述测试图像进行分类处理，从所述BP神经网络的输出层获得所述分类标签。
检测模块32，与分类模块31连接，用于利用所述分类标签指示的显著性检测算法，对所述测试图像进行显著性区域检测，获得显著性区域。
其中，显著性检测算法，包括频率调谐、直方图对比度、局部线索和频谱余量中的至少两种。
本实施例中，通过利用预先训练获得的分类器，根据测试图像的图像特征向量，对测试图像进行分类处理，获得分类标签，进而利用该分类标签指示的显著性检测算法，对测试图像进行显著性区域检测，获得显著性区域，由于对测试图像进行分类处理，利用测试图像所属的分类指示的显著性检测算法，对测试图像进行显著性区域检测，提高了显著性区域检测的准确度。
图4为本发明另一实施例提供的一种图像显著性区域的检测装置的结构示意图，如图4所示，在上一实施例的基础上，本实施例中的检测装置进一步包括：
提取模块33，与分类模块31连接，用于采用至少两种特征提取算法，提取所述测试图像的至少两个图像特征向量。
其中，至少两个图像特征向量是如下图像特征向量中的至少两个：稀疏加权熵、导数图像颜色数、所述测试图像的一维频谱图相对于训练集图像的一维频谱图偏移的均值和方差、中频比以及HSV空间的色度H分量、饱和度S分量、亮度V分量的一阶矩和所述H分量、S分量、V分量的二阶矩。
可选的，提取模块33具体用于采用至少两个特征提取算法，提取所述测试图像的如下图像特征向量中的至少两个：稀疏加权熵、导数图像颜色数、所述测试图像的一维频谱图相对于训练集图像的一维频谱图偏移的均值和方差、中频比以及HSV空间的色度H分量、饱和度S分量、亮度V分量的一阶矩和所述H分量、S分量、V分量的二阶矩。
基于此，若测试图像的图像特征向量包括稀疏加权熵，则提取模块33，具体用于在RGB颜色空间内，对所述测试图像进行下采样滤波；对下采样滤波后测试图像进行计算，获得下采样滤波后测试图像的颜色直方图向量，所述颜色直方图向量包括n个元素，n为下采样滤波后测试图像的RGB颜色空间所包含的第一颜色数，n为自然数；计算稀疏加权系数其中，xi为所述颜色直方图向量中的第i个元素，q为预设值，取q≥2；计算稀疏加权熵其中，eH(x)用于指示所述颜色直方图向量的熵，p(xi)为归一化后的所述测试图像的颜色直方图向量中的第i个元素，b取值为2、10或e。
可选的，若测试图像的图像特征向量包括导数图像颜色数，则提取模块33，具体用于确定该测试图像的导数图像；在RGB颜色空间内，对所述导数图像进行下采样滤波；统计下采样滤波后导数图像的RGB颜色空间所包含的第二颜色数；将所述第二颜色数作为所述导数图像颜色数。
可选的，若测试图像的图像特征向量包括所述测试图像的一维频谱图相对于训练集图像的一维频谱图偏移的均值和方差，则提取模块33具体用于确定所述测试图像的一维频谱图；将所述测试图像的一维频谱图与所述训练集图像的一维频谱图进行比较，获得所述测试图像的一维频谱图相对于所述训练集图像的一维频谱图偏移的均值和方差；所述训练集图像的一维频谱图中各频率点上的频率值是对各训练图像的一维频谱图中所述频率点上的频率值进行平均获得的；所述训练图像用于对所述分类器进行训练。
可选的，若测试图像的图像特征向量包括中频比，则提取模块33具体用于确定所述测试图像的二维频谱图，所述二维频谱图包括横向频率坐标轴和纵向频率坐标轴，所述横向频率坐标轴包括m个横向频率段，所述纵向频率坐标轴包括m个纵向频率段；所述频率段按照频率大小排序；将所述二维频谱图中的第r个到第s个横向频率段，以及第r个到第s个纵向频率段内的频率点作为中频频率点；其中，1＜r＜s＜m；将所述中频频率点的频率值之和，与所述二维频谱图中m个横向频率段和m个纵向频率段内的各频率点的频率值之和相除，获得中频比。
可选的，若测试图像的图像特征向量包括HSV空间的所述H分量、S分量、V分量的一阶矩和所述H分量、S分量、V分量的二阶矩，则提取模块33，具体用于在HSV空间内，对所述测试图像进行计算，获得所述测试图像在HSV空间的所述H分量、S分量和V分量的一阶矩，以及所述测试图像在HSV空间的所述H分量、S分量和V分量的二阶矩。
进一步，显著性检测装置，还包括：训练模块34和筛选模块35。
训练模块34，与分类模块31连接，用于利用预设训练集中的各训练图像的图像特征向量，基于列文伯格-马夸尔特LM学习算法对所述分类器进行训练，以使通过所述分类器获得分类标签之后，利用所述分类标签所指示的显著性检测算法，对所述训练图像进行显著性检测的误差最小。
筛选模块35，与检测模块32连接，用于根据预设的筛选策略，对所述显著性区域进行筛选处理。
本实施例中，通过利用预先训练获得的分类器，根据测试图像的图像特征向量，对测试图像进行分类处理，获得分类标签，进而利用该分类标签指示的显著性检测算法，对测试图像进行显著性区域检测，获得显著性区域，由于对测试图像进行分类处理，利用测试图像所属的分类对应的显著性检测算法，对测试图像进行显著性区域检测，提高了显著性区域检测的准确度。另外，由于采用了上述特征提取算法和显著性检测算法，提高了显著性区域检测的效率，减小了进行显著性检测所需要的计算开销，更加适用于手机、机顶盒等计算资源相对紧张的场合。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (22)

1.一种图像显著性区域的检测方法，其特征在于，包括：
利用预先训练获得的分类器，根据测试图像的图像特征向量，对所述测试图像进行分类处理，获得分类标签，所述分类标签用于指示对所述测试图像进行显著性区域检测的显著性检测算法；
利用所述分类标签指示的显著性检测算法，对所述测试图像进行显著性区域检测，获得所述测试图像的显著性区域；
所述分类器为反向传播BP神经网络；
所述BP神经网络，包括输入层、中间层和输出层；所述输入层与所述中间层之间的传递函数为双正切S型函数；所述中间层与所述输出层之间的传递函数为对数S型函数；
所述利用预先训练获得的分类器，根据测试图像的图像特征向量，对所述测试图像进行分类处理，获得分类标签，包括：
利用预先训练获得的所述BP神经网络，根据通过所述BP神经网络的输入层输入的所述测试图像的图像特征向量，通过所述BP神经网络的输入层与所述BP神经网络的中间层之间的双正切S型函数和所述BP神经网络的中间层与所述BP神经网络的输出层之间的对数S型函数，对所述测试图像进行分类处理，从所述BP神经网络的输出层获得所述分类标签。
2.根据权利要求1所述的图像显著性区域的检测方法，其特征在于，所述利用预先训练获得的分类器，根据测试图像的图像特征向量，对所述测试图像进行分类处理，获得分类标签之前，还包括：
采用至少两种特征提取算法，提取所述测试图像的至少两个图像特征向量。
3.根据权利要求2所述的图像显著性区域的检测方法，其特征在于，
所述至少两个图像特征向量是如下图像特征向量中的至少两个：稀疏加权熵、导数图像颜色数、所述测试图像的一维频谱图相对于训练集图像的一维频谱图偏移的均值和方差、中频比以及HSV空间的色度H分量、饱和度S分量、亮度V分量的一阶矩和所述H分量、S分量、V分量的二阶矩。
4.根据权利要求3所述的图像显著性区域的检测方法，其特征在于，所述测试图像的图像特征向量包括所述稀疏加权熵；
所述采用特征提取算法，提取所述测试图像的至少两个图像特征向量，包括：
在RGB颜色空间内，对所述测试图像进行下采样滤波；
对下采样滤波后测试图像进行计算，获得下采样滤波后测试图像的颜色直方图向量，所述颜色直方图向量包括n个元素，n为下采样滤波后测试图像的RGB颜色空间所包含的第一颜色数，n为自然数；
计算稀疏加权系数其中，xi为所述颜色直方图向量中的第i个元素，q为预设值，取q≥2；
计算所述稀疏加权熵其中，eH(x)用于指示所述颜色直方图向量的熵，p(xi)为归一化后的所述测试图像的颜色直方图向量中的第i个元素，b取值为2、10或e。
5.根据权利要求3所述的图像显著性区域的检测方法，其特征在于，所述测试图像的图像特征向量包括所述导数图像颜色数；
所述采用特征提取算法，提取所述测试图像的至少两个图像特征向量，包括：
确定所述测试图像的导数图像；
在RGB颜色空间内，对所述导数图像进行下采样滤波；
统计下采样滤波后导数图像的RGB颜色空间所包含的第二颜色数；
将所述第二颜色数作为所述导数图像颜色数。
6.根据权利要求3所述的图像显著性区域的检测方法，其特征在于，所述测试图像的图像特征向量包括所述测试图像的一维频谱图相对于训练集图像的一维频谱图偏移的均值和方差；
所述采用特征提取算法，提取所述测试图像的至少两个图像特征向量，包括：
确定所述测试图像的一维频谱图；
将所述测试图像的一维频谱图与所述训练集图像的一维频谱图进行比较，获得所述测试图像的一维频谱图相对于所述训练集图像的一维频谱图偏移的均值和方差；所述训练集图像的一维频谱图中各频率点上的频率值是对各训练图像的一维频谱图中所述频率点上的频率值进行平均获得的；所述训练图像用于对所述分类器进行训练。
7.根据权利要求3所述的图像显著性区域的检测方法，其特征在于，所述测试图像的图像特征向量包括所述中频比；
所述采用特征提取算法，提取所述测试图像的至少两个图像特征向量，包括：
确定所述测试图像的二维频谱图，所述二维频谱图包括横向频率坐标轴和纵向频率坐标轴，所述横向频率坐标轴包括m个横向频率段，所述纵向频率坐标轴包括m个纵向频率段；所述频率段按照频率大小排序；
将所述二维频谱图中的第r个到第s个横向频率段，以及第r个到第s个纵向频率段内的频率点作为中频频率点；其中，1＜r＜s＜m；
将所述中频频率点的频率值之和，与所述二维频谱图中m个横向频率段和m个纵向频率段内的各频率点的频率值之和相除，获得所述中频比。
8.根据权利要求3所述的图像显著性区域的检测方法，其特征在于，所述测试图像的图像特征向量包括HSV空间的所述H分量、S分量、V分量的一阶矩和所述H分量、S分量、V分量的二阶矩；
所述采用特征提取算法，提取所述测试图像的至少两个图像特征向量，包括：
在HSV空间内，对所述测试图像进行计算，获得所述测试图像在HSV空间的所述H分量、S分量和V分量的一阶矩，以及所述测试图像在HSV空间的所述H分量、S分量和V分量的二阶矩。
9.根据权利要求2所述的图像显著性区域的检测方法，其特征在于，所述采用至少两种特征提取算法，提取所述测试图像的至少两个图像特征向量之前，还包括：
利用预设训练集中的各训练图像的图像特征向量，基于列文伯格-马夸尔特LM学习算法对所述分类器进行训练，以使通过所述分类器获得分类标签之后，利用所述分类标签所指示的显著性检测算法对所述训练图像进行图像显著性区域检测的误差最小。
10.根据权利要求1所述的图像显著性区域的检测方法，其特征在于，所述显著性检测算法包括频率调谐FT、直方图对比度HC、局部线索LC和频谱余量SR中的至少一个。
11.根据权利要求1-10任一项所述的图像显著性区域的检测方法，其特征在于，所述利用所述分类标签指示的显著性检测算法，对所述测试图像进行显著性区域检测，获得显著性区域之后，还包括：
根据预设的筛选策略，对所述显著性区域进行筛选处理。
12.一种图像显著性区域的检测装置，其特征在于，包括：
分类模块，用于利用预先训练获得的分类器，根据测试图像的图像特征向量，对所述测试图像进行分类处理，获得分类标签，所述分类标签用于指示对所述测试图像进行显著性区域检测的显著性检测算法；
检测模块，用于利用所述分类标签指示的显著性检测算法，对所述测试图像进行显著性区域检测，获得所述测试图像的显著性区域；
所述分类器为反向传播BP神经网络；
所述BP神经网络，包括输入层、中间层和输出层；所述输入层与所述中间层之间的传递函数为双正切S型函数；所述中间层与所述输出层之间的传递函数为对数S型函数；
所述分类模块具体用于利用预先训练获得的所述BP神经网络，根据通过所述BP神经网络的输入层输入的所述测试图像的图像特征向量，通过所述BP神经网络的输入层与所述BP神经网络的中间层之间的双正切S型函数和所述BP神经网络的中间层与所述BP神经网络的输出层之间的对数S型函数，对所述测试图像进行分类处理，从所述BP神经网络的输出层获得所述分类标签。
13.根据权利要求12所述的图像显著性区域的检测装置，其特征在于，所述检测装置，还包括：
提取模块，用于采用至少两种特征提取算法，提取所述测试图像的至少两个图像特征向量。
14.根据权利要求13所述的图像显著性区域的检测装置，其特征在于，
所述提取模块具体用于采用至少两个特征提取算法，提取所述测试图像的如下图像特征向量中的至少两个：稀疏加权熵、导数图像颜色数、所述测试图像的一维频谱图相对于训练集图像的一维频谱图偏移的均值和方差、中频比以及HSV空间的色度H分量、饱和度S分量、亮度V分量的一阶矩和所述H分量、S分量、V分量的二阶矩。
15.根据权利要求14所述的图像显著性区域的检测装置，其特征在于，所述测试图像的图像特征向量包括稀疏加权熵；所述提取模块具体用于在RGB颜色空间内，对所述测试图像进行下采样滤波；对下采样滤波后测试图像进行计算，获得下采样滤波后测试图像的颜色直方图向量，所述颜色直方图向量包括n个元素，n为下采样滤波后测试图像的RGB颜色空间所包含的第一颜色数，n为自然数；计算稀疏加权系数其中，xi为所述颜色直方图向量中的第i个元素，q为预设值，取q≥2；计算稀疏加权熵其中，eH(x)用于指示所述颜色直方图向量的熵，p(xi)为归一化后的所述测试图像的颜色直方图向量中的第i个元素，b取值为2、10或e。
16.根据权利要求14所述的图像显著性区域的检测装置，其特征在于，所述测试图像的图像特征向量包括导数图像颜色数；所述提取模块具体用于确定所述测试图像的导数图像；在RGB颜色空间内，对所述导数图像进行下采样滤波；统计下采样滤波后导数图像的RGB颜色空间所包含的第二颜色数；将所述第二颜色数作为所述导数图像颜色数。
17.根据权利要求14所述的图像显著性区域的检测装置，其特征在于，所述测试图像的图像特征向量包括所述测试图像的一维频谱图相对于训练集图像的一维频谱图偏移的均值和方差；
所述提取模块具体用于确定所述测试图像的一维频谱图；将所述测试图像的一维频谱图与所述训练集图像的一维频谱图进行比较，获得所述测试图像的一维频谱图相对于所述训练集图像的一维频谱图偏移的均值和方差；所述训练集图像的一维频谱图中各频率点上的频率值是对各训练图像的一维频谱图中所述频率点上的频率值进行平均获得的；所述训练图像用于对所述分类器进行训练。
18.根据权利要求14所述的图像显著性区域的检测装置，其特征在于，所述测试图像的图像特征向量包括所述中频比；
所述提取模块具体用于确定所述测试图像的二维频谱图，所述二维频谱图包括横向频率坐标轴和纵向频率坐标轴，所述横向频率坐标轴包括m个横向频率段，所述纵向频率坐标轴包括m个纵向频率段；所述频率段按照频率大小排序；将所述二维频谱图中的第r个到第s个横向频率段，以及第r个到第s个纵向频率段内的频率点作为中频频率点；其中，1＜r＜s＜m；将所述中频频率点的频率值之和，与所述二维频谱图中m个横向频率段和m个纵向频率段内的各频率点的频率值之和相除，获得所述中频比。
19.根据权利要求14所述的图像显著性区域的检测装置，其特征在于，所述测试图像的图像特征向量包括HSV空间的所述H分量、S分量、V分量的一阶矩和所述H分量、S分量、V分量的二阶矩；
所述提取模块具体用于在HSV空间内，对所述测试图像进行计算，获得所述测试图像在HSV空间的所述H分量、S分量和V分量的一阶矩，以及所述测试图像在HSV空间的所述H分量、S分量和V分量的二阶矩。
20.根据权利要求13所述的图像显著性区域的检测装置，其特征在于，所述检测装置，还包括：
训练模块，用于利用预设训练集中的各训练图像的图像特征向量，基于列文伯格-马夸尔特LM学习算法对所述分类器进行训练，以使通过所述分类器获得分类标签之后，利用所述分类标签所指示的显著性检测算法对所述训练图像进行图像显著性区域检测的误差最小；
所述分类模块具体用于利用经所述训练模块训练后获得的所述分类器，根据所述测试图像的图像特征向量，对所述测试图像进行分类处理，获得所述分类标签。
21.根据权利要求12所述的图像显著性区域的检测装置，其特征在于，所述显著性检测算法，包括频率调谐FT、直方图对比度HC、局部线索LC和频谱余量SR中的至少一个。
22.根据权利要求12-21任一项所述的图像显著性区域的检测装置，其特征在于，所述检测装置，还包括：
筛选模块，用于根据预设的筛选策略，对所述显著性区域进行筛选处理。
CN201410046715.0A 2014-02-10 2014-02-10 一种图像显著性区域的检测方法和装置 Active CN104834933B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410046715.0A CN104834933B (zh) 2014-02-10 2014-02-10 一种图像显著性区域的检测方法和装置
US14/581,418 US9659233B2 (en) 2014-02-10 2014-12-23 Method and apparatus for detecting salient region of image
EP14200509.9A EP2905722B1 (en) 2014-02-10 2014-12-30 Method and apparatus for detecting salient region of image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410046715.0A CN104834933B (zh) 2014-02-10 2014-02-10 一种图像显著性区域的检测方法和装置

Publications (2)

Publication Number Publication Date
CN104834933A CN104834933A (zh) 2015-08-12
CN104834933B true CN104834933B (zh) 2019-02-12

Family

ID=52394046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410046715.0A Active CN104834933B (zh) 2014-02-10 2014-02-10 一种图像显著性区域的检测方法和装置

Country Status (3)

Country Link
US (1) US9659233B2 (zh)
EP (1) EP2905722B1 (zh)
CN (1) CN104834933B (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834933B (zh) * 2014-02-10 2019-02-12 华为技术有限公司 一种图像显著性区域的检测方法和装置
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10726560B2 (en) * 2014-10-31 2020-07-28 Fyusion, Inc. Real-time mobile device capture and generation of art-styled AR/VR content
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US10373019B2 (en) * 2016-01-13 2019-08-06 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
US10489691B2 (en) * 2016-01-15 2019-11-26 Ford Global Technologies, Llc Fixation generation for machine learning
CN105931217A (zh) * 2016-04-05 2016-09-07 李红伟 一种基于图像处理技术的机场道面fod异物检测方法
CN105956592B (zh) * 2016-05-10 2019-03-29 西北工业大学 一种基于图像显著性与svm的飞机目标检测方法
CN106228544B (zh) * 2016-07-14 2018-11-06 郑州航空工业管理学院 一种基于稀疏表示和标签传播的显著性检测方法
WO2018023734A1 (zh) * 2016-08-05 2018-02-08 深圳大学 一种3d图像的显著性检测方法
CN106296692A (zh) * 2016-08-11 2017-01-04 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN106295705B (zh) * 2016-08-17 2019-04-05 广东三三智能科技有限公司 一种运动背景下的多颜色物料筛选计数系统
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US11580398B2 (en) * 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
CN107146219B (zh) * 2017-04-13 2019-12-17 大连理工大学 一种基于流形正则化支持向量机的图像显著性检测方法
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
CN109656433B (zh) * 2017-10-11 2021-07-06 腾讯科技（深圳）有限公司 类目信息处理方法、装置、计算机设备和存储介质
CN108345898A (zh) * 2017-12-31 2018-07-31 国网山西省电力公司检修分公司 一种新型的线路绝缘子绝缘状态评估方法
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
CN108734138B (zh) * 2018-05-24 2020-10-30 浙江工业大学 一种基于集成学习的黑色素瘤皮肤病图像分类方法
CN109492592A (zh) * 2018-11-15 2019-03-19 杭州芯影科技有限公司 毫米波成像图像处理方法
CN109583341B (zh) * 2018-11-19 2021-02-05 清华大学深圳研究生院 对包含人像的图像的多人骨骼关键点检测方法及装置
CN109598291B (zh) * 2018-11-23 2021-07-23 安徽大学 一种基于pso的rgbd图的协同显著目标检测方法
CN109584243B (zh) * 2018-11-27 2023-06-30 东南大学 一种基于对比度迭代的显著区域检测方法
CN110008969B (zh) * 2019-04-15 2021-05-14 京东方科技集团股份有限公司 图像显著性区域的检测方法和装置
US20220215252A1 (en) * 2019-05-07 2022-07-07 Imagia Cybernetics Inc. Method and system for initializing a neural network
CN110321892B (zh) * 2019-06-04 2022-12-13 腾讯科技（深圳）有限公司 一种图片筛选方法、装置及电子设备
CN112200207B (zh) * 2019-07-08 2024-02-20 浙江宇视科技有限公司 光源颜色的确定方法、装置、存储介质及电子设备
CN110516618B (zh) * 2019-08-29 2022-04-12 苏州大学 装配机器人及基于视觉和力位混合控制的装配方法和系统
CN110738638B (zh) * 2019-09-23 2022-08-02 中国海洋大学 视觉显著性检测算法适用性预测与性能盲评价方法
CN110796184B (zh) * 2019-10-17 2022-09-06 Oppo广东移动通信有限公司 图像分类方法、装置、电子设备及存储介质
CN110909660A (zh) * 2019-11-19 2020-03-24 佛山市南海区广工大数控装备协同创新研究院 一种基于目标检测的塑料瓶检测与定位方法
US20210304357A1 (en) * 2020-03-27 2021-09-30 Alibaba Group Holding Limited Method and system for video processing based on spatial or temporal importance
CN111881922B (zh) * 2020-07-28 2023-12-15 成都工业学院 一种基于显著性特征的绝缘子图像识别方法及系统
CN112381070B (zh) * 2021-01-08 2021-08-31 浙江科技学院 一种快速鲁棒人脸识别方法
CN112766285B (zh) * 2021-01-26 2024-03-19 北京有竹居网络技术有限公司 图像样本生成方法、装置和电子设备
CN113676667B (zh) * 2021-08-23 2023-08-18 Oppo广东移动通信有限公司 抑制比测试方法、装置、电子设备和存储介质
CN113705501B (zh) * 2021-09-02 2024-04-26 浙江索思科技有限公司 一种基于图像识别技术的海上目标检测方法和系统
CN114972346B (zh) * 2022-07-29 2022-11-04 山东通达盛石材有限公司 基于计算机视觉的石材识别方法
CN116630325B (zh) * 2023-07-25 2023-10-13 苏州赫芯科技有限公司 基于电路板的uv胶检测方法、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551864A (zh) * 2009-05-13 2009-10-07 西安电子科技大学 基于频域方向特征相关性的图像分类方法
EP2431919A1 (en) * 2010-09-16 2012-03-21 Thomson Licensing Method and device of determining a saliency map for an image
CN102521616A (zh) * 2011-12-28 2012-06-27 江苏大学 基于稀疏表示的行人检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040125877A1 (en) * 2000-07-17 2004-07-01 Shin-Fu Chang Method and system for indexing and content-based adaptive streaming of digital video content
US7940985B2 (en) * 2007-06-06 2011-05-10 Microsoft Corporation Salient object detection
CN102449660B (zh) * 2009-04-01 2015-05-06 I-切塔纳私人有限公司 用于数据检测的系统和方法
US8401292B2 (en) * 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US20120294514A1 (en) * 2011-05-19 2012-11-22 Xerox Corporation Techniques to enable automated workflows for the creation of user-customized photobooks
WO2013075316A1 (en) * 2011-11-24 2013-05-30 Microsoft Corporation Interactive multi-modal image search
WO2013149038A1 (en) * 2012-03-28 2013-10-03 University Of Houston System Methods and software for screening and diagnosing skin lesions and plant diseases
US9330334B2 (en) * 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
CN104834933B (zh) * 2014-02-10 2019-02-12 华为技术有限公司 一种图像显著性区域的检测方法和装置
US9734426B2 (en) * 2014-09-03 2017-08-15 Sri International Automated food recognition and nutritional estimation with a personal mobile electronic device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551864A (zh) * 2009-05-13 2009-10-07 西安电子科技大学 基于频域方向特征相关性的图像分类方法
EP2431919A1 (en) * 2010-09-16 2012-03-21 Thomson Licensing Method and device of determining a saliency map for an image
CN102521616A (zh) * 2011-12-28 2012-06-27 江苏大学 基于稀疏表示的行人检测方法

Also Published As

Publication number Publication date
US20150227816A1 (en) 2015-08-13
EP2905722B1 (en) 2020-08-26
US9659233B2 (en) 2017-05-23
EP2905722A1 (en) 2015-08-12
CN104834933A (zh) 2015-08-12

Similar Documents

Publication Publication Date Title
CN104834933B (zh) 一种图像显著性区域的检测方法和装置
CN108305240B (zh) 图像质量检测方法及装置
Shakeri et al. Image contrast enhancement using fuzzy clustering with adaptive cluster parameter and sub-histogram equalization
CN108399362A (zh) 一种快速行人检测方法及装置
CN104091341B (zh) 一种基于显著性检测的图像模糊检测方法
CN109635627A (zh) 图片信息提取方法、装置、计算机设备及存储介质
CN109035260A (zh) 一种天空区域分割方法、装置和卷积神经网络
CN103218832B (zh) 基于图像中全局颜色对比度和空域分布的视觉显著性算法
CN106780485A (zh) 基于超像素分割和特征学习的sar图像变化检测方法
CN108664981A (zh) 显著图像提取方法及装置
CN108764039B (zh) 神经网络、遥感影像的建筑物提取方法、介质及计算设备
CN109558806A (zh) 高分遥感图像变化的检测方法和系统
Qu et al. A pedestrian detection method based on yolov3 model and image enhanced by retinex
CN105118048A (zh) 翻拍证件图片的识别方法及装置
CN108647641A (zh) 基于双路模型融合的视频行为分割方法和装置
CN109472193A (zh) 人脸检测方法及装置
CN104463881B (zh) 一种基于光谱反射率邻域差异图和邻域概率融合的多光谱遥感影像变化检测方法
CN107273870A (zh) 一种监控场景下融合上下文信息的行人位置检测方法
CN108596818A (zh) 一种基于多任务学习卷积神经网络的图像隐写分析方法
CN110705634B (zh) 一种鞋跟型号识别方法、装置及存储介质
CN108960404A (zh) 一种基于图像的人群计数方法及设备
CN110111347B (zh) 图像标志提取方法、装置及存储介质
CN110135446A (zh) 文本检测方法及计算机存储介质
CN109829868A (zh) 一种轻量级深度学习模型图像去雾方法、电子设备及介质
CN109949200A (zh) 基于滤波器子集选择和cnn的隐写分析框架构建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant