CN107784662B - 一种图像目标显著性度量方法 - Google Patents

一种图像目标显著性度量方法 Download PDF

Info

Publication number
CN107784662B
CN107784662B CN201711124512.9A CN201711124512A CN107784662B CN 107784662 B CN107784662 B CN 107784662B CN 201711124512 A CN201711124512 A CN 201711124512A CN 107784662 B CN107784662 B CN 107784662B
Authority
CN
China
Prior art keywords
target
image
background
image block
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711124512.9A
Other languages
English (en)
Other versions
CN107784662A (zh
Inventor
牛晓可
王治忠
王松伟
朱民杰
朱中美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Buen Technology Co ltd
Original Assignee
Zhengzhou Buen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Buen Technology Co ltd filed Critical Zhengzhou Buen Technology Co ltd
Priority to CN201711124512.9A priority Critical patent/CN107784662B/zh
Publication of CN107784662A publication Critical patent/CN107784662A/zh
Application granted granted Critical
Publication of CN107784662B publication Critical patent/CN107784662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像目标显著性度量方法，涉及图像目标显著度算法领域；其包括如下步骤：1)将图像的目标进行手动图像‑背景分割得到目标显著图、获得边界所在位置坐标集合；2)对图像采样得到N×N的图像块后，结合目标显著图将其分类得到目标与背景图像块库；3)分别在M个边界所在的坐标位置处筛选离每个边界最临近的目标和背景图像块后对其配对得到M对目标和背景图像块；4)对每个图像块进行稀疏表征获取其参数；5)将步骤3所得和步骤4所得参数进行整合得到任意目标的显著值；本发明解决了现有技术未考虑目标在图像中的显著因素导致显著值不准确，从而不符合视觉显著性的问题，达到了图像目标显著值符合视觉显著性的效果。

Description

一种图像目标显著性度量方法
技术领域
本发明涉及图像目标显著度算法领域，尤其是一种图像目标显著性度量方法。
背景技术
随着计算机视觉和图像处理技术的发展，图像目标显著性检测算法层出不穷，而对其检测质量的判定逐渐成为挑战；由于目标所处背景不同其显著性存在差异，从而会对检测算法的输出产生影响，现有技术中图像目标显著性的度量是通过计算显著性算法输出显著图与手工标定显著图的差值，作为衡量非显著性信息多少的指标，进而评价显著图的质量，但是该方法未考虑目标在图像中的显著程度，导致显著度结果不准确，不符合视觉上的显著性；因此，依照视觉的相关属性，需要一种图像目标显著性度量方法考虑目标在图像中的显著程度，从而实现对图像中任意目标显著性的度量。
发明内容
本发明的目的在于：本发明提供了一种图像目标显著性度量方法，解决了现有技术未考虑目标在图像中显著因素导致显著值不准确，从而不符合视觉显著性的问题。
本发明采用的技术方案如下：
一种图像目标显著性度量方法，包括如下步骤：
步骤1：将自然图像的任意目标进行图像-背景分割，得到目标显著图，并根据其获得边界所在位置的坐标集合；
步骤2：将自然图像进行连续采样得到N×N大小的图像块，并结合目标显著图判断每个图像块属于目标图像或者背景图像后生成目标图像库和背景图像库；
步骤3：分别在M个边界所在的坐标位置处筛选目标图像库和背景图像库中离每个边界最临近的图像块后，并将图像块配对得到M对目标和背景图像块；
步骤4：分别对目标图像块和背景图像块进行稀疏表征，获取目标图像块和背景图像块的朝向、空间频率、对比度信息和权值；
步骤5：将步骤3所得M对目标和背景图像块以及步骤4所得目标图像块与背景图像块的朝向、空间频率、对比度信息和权值进行整合得到图像中任意目标的显著值。
优选地，所述整合采用的公式如下：
Figure BDA0001468105870000011
(其中，M表示边界的像素数目，N×N为基函数的数量，下标1和2分别表示目标图像块和背景图像块，α表示每个基函数表征图像块的权值，θ、f、W代表每个基函数的朝向、空间频率和对比度信息)。
优选地，所述步骤4包括如下步骤：
步骤4.1：选择自然图像进行训练得到用于表征任意自然图像块的N×N基函数集合；
步骤4.2：对每个基函数进行拟合获得每个基函数的朝向、空间频率和对比度信息；
步骤4.3：采用稀疏表征模型，用N×N基函数集合分别表征每对目标图像块和背景图像块，得到每个基函数表征每对目标图像块和背景图像块的权值。
优选地，所述步骤2中N取16或者16的其他整数倍。
优选地，所述步骤1中的目标区域标定为255，背景区域标定为0，边界区域介于背景区域和目标区域之间。
优选地，所述步骤4.2中拟合采用初级视皮层神经元感受野模型。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.本发明提出了一种方法用于量化特定目标在任意背景图像中显著程度，根据整合公式得出目标的显著值，解决了现有技术未考虑目标在图像中的显著因素导致显著值不准确，从而不符合视觉上的显著性的问题，达到了图像目标显著度结果符合视觉上显著性的效果；
2.本发明通过将自然图像分割、采样和稀疏表征后获取整合所需参数，通过整合公式得出目标的显著度，计算全面，参数获取准确，避免了现有技术未考虑目标在图像中的显著因素导致的复杂图像的显著值计算不准确的缺点，进一步实现计算任意目标的显著度；
3.本发明可用于将任意图像库中的目标图像按照输出的显著值进行分类，分成最显著、稍显著和不显著等类别，从而选用具有相近显著值的图像对机器视觉领域的图像分割、显著区域检测等算法进行验证，可保证算法验证的公平性；
4.本发明实现量化图像中任意目标的显著度，为心理物理学和神经电生理领域关于不同程度显著图引导下注意机制的研究提供了量化指标。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明的流程图；
图2是本发明步骤4的流程图；
图3是本发明的自然图像基函数集示意图；
图4是本发明图像库若干图像分类后的效果图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
下面结合图1-4对本发明作详细说明。
实施例1
一种图像目标显著性度量方法，包括如下步骤：
步骤1：将自然图像的任意目标进行图像-背景分割，得到目标显著图，并根据其获得边界所在位置的坐标集合；
步骤2：将自然图像进行连续采样得到N×N大小的图像块，并结合目标显著图判断每个图像块属于目标图像或者背景图像后生成目标图像库和背景图像库；
步骤3：分别在M个边界所在的坐标位置处筛选目标图像库和背景图像库中离每个边界最临近的图像块后，并将图像块配对得到M对目标和背景图像块；
步骤4：分别对目标图像块和背景图像块进行稀疏表征，获取目标图像块和背景图像块的朝向、空间频率、对比度信息和权值；
步骤5：将步骤3所得M对目标和背景图像块以及步骤4所得目标图像块与背景图像块的朝向、空间频率、对比度信息和权值进行整合得到图像中任意目标的显著值。
整合采用的公式如下：
Figure BDA0001468105870000031
(其中，M表示边界的像素数目，N×N为基函数的数量，下标1和2分别表示目标图像块和背景图像块，α表示每个基函数表征图像块的权值，θ、f、W代表每个基函数的朝向、空间频率和对比度信息)。
步骤4包括如下步骤：
步骤4.1：选择自然图像进行训练得到用于表征任意自然图像块的N×N基函数集合；
步骤4.2：对每个基函数进行拟合获得每个基函数的朝向、空间频率和对比度信息；
步骤4.3：采用稀疏表征模型，用N×N基函数集合分别表征每对目标图像块和背景图像块，得到每个基函数表征每对目标图像块和背景图像块的权值。
步骤2中N取16或者16的其他整数倍。
步骤1中的目标区域标定为255，背景区域标定为0，边界区域介于背景区域和目标区域之间。
步骤4.2中拟合采用初级视皮层神经元感受野模型。
实施例2
N取16时，
(1)给定的任意一幅自然图像，对其中任意目标进行手动的图像-背景分割，获得二值化的显著图，其中目标所在区域标定为255，背景区域为0，边界部分介于二者之间；根据目标显著图，获取边界所在位置坐标集合；
(2)对原始自然图像进行连续采样，得到16×16大小的图像块，结合获取的目标显著图，判断每个图像块属于目标图像或是背景图像并保存进目标图像库和背景图像库，并标记对应的起始坐标位置；
(3)对于每一个边界设有M个坐标位置，筛选目标图像库和背景图像库中离该边界最临近的图像块进行配对，得到M对目标和背景图像；
(4)采用稀疏表征模型对目标图像块和背景图像块进行稀疏表征，获取目标图像块和背景图像块的朝向、空间频率和对比度信息，具体步骤如下：
①训练基函数：选择广泛用于测试稀疏编码模型的自然图像库(包含13幅自然图像)，对库中的图像进行随机抽样，获得不少于50000个图像块(16×16大小)的样本库，采用拓扑独立成分分析的方法，对样本库中的图像进行训练，得到能够用于表征任意自然图像块(16×16)的基函数集合，用Bi(i＝1,…,N2)表示，如图3所示：
②采用二维Gabor函数(神经元感受野模型即公式1)对每个基函数图像块进行拟合，可近似获取每个基函数的朝向、空间频率与对比度信息。
Figure BDA0001468105870000041
其中，W表示幅值，x0和y0分别表示感受野中心位置的坐标，θ为朝向，f表示空间频率，
Figure BDA0001468105870000043
表示不同的感受野结构：
Figure BDA0001468105870000044
指对称型感受野，而
Figure BDA0001468105870000045
则对应非对称型感受野；幅值从一定程度上反映了感受野的对比度信息。
③根据已训练的基函数集合(用B表示)，分别表征每对目标图像块和背景图像块，得到每个基函数表征每对目标图像块和背景图像块的权值，表达式为：
Figure BDA0001468105870000042
结合公式(1)和公式(2)，可获得目标图像块和背景图像块的朝向、空间频率和对比度信息以及权值。
(5)将步骤3所得M对目标和背景图像块以及步骤4所得目标图像块与背景图像块的朝向、空间频率、对比度信息和权值采用公式3进行整合得到图像中任意目标的显著值，记为D，整合公式如下：
Figure BDA0001468105870000051
其中，M表示边界的像素数目，N×N为基函数的数量，这里为16×16，下标1和2 分别表示目标图像块和背景图像块，α表示每个基函数表征图像块的权值，θ、f、W代表每个基函数的朝向、空间频率和对比度信息。
根据图4分析：第01排代表不显著图片，第02排代表稍显著图片，第03排代表最显著图片，根据显著度定义将数据库中的若干幅图像进行分类，得到的显著度结果如图4所示，准确性高，符合视觉上的显著度；本发明提出了一种方法用于量化特定目标在任意背景中显著程度，根据整合公式得出显著值，解决了现有技术未考虑目标在图像中显著因素导致显著值不准确，从而不符合视觉显著性的问题，达到了图像目标显著值符合视觉上显著性的效果。

Claims (5)

1.一种图像目标显著性度量方法，其特征在于：包括如下步骤：
步骤1：将自然图像的任意目标进行图像-背景分割，得到目标显著图，并根据其获得边界所在位置的坐标集合；
步骤2：将自然图像进行连续采样得到N×N大小的图像块，并结合目标显著图判断每个图像块属于目标图像或者背景图像后生成目标图像库和背景图像库；
步骤3：分别在M个边界所在的坐标位置处筛选目标图像库和背景图像库中离每个边界最临近的图像块后，并将图像块配对得到M对目标和背景图像块；
步骤4：分别对目标图像块和背景图像块进行稀疏表征，获取目标图像块和背景图像块的朝向、空间频率、对比度信息和权值；
步骤5：将步骤3所得M对目标和背景图像块以及步骤4所得目标图像块与背景图像块的朝向、空间频率、对比度信息和权值进行整合得到图像中任意目标的显著值；
所述整合采用的公式如下：
Figure FDA0003019652980000011
其中，M表示边界的像素数目，N×N为基函数的数量，下标1和2分别表示目标图像块和背景图像块，α表示每个基函数表征图像块的权值，θ、f、W代表每个基函数的朝向、空间频率和对比度信息。
2.根据权利要求1所述的一种图像目标显著性度量方法，其特征在于：所述步骤4包括如下步骤：
步骤4.1：选择自然图像进行训练得到用于表征任意自然图像块的N×N基函数集合；
步骤4.2：对每个基函数进行拟合获得每个基函数的朝向、空间频率和对比度信息；
步骤4.3：采用稀疏表征模型，用N×N基函数集合分别表征每对目标图像块和背景图像块，得到每个基函数表征每对目标图像块和背景图像块的权值。
3.根据权利要求1所述的一种图像目标显著性度量方法，其特征在于：所述步骤2中N取16或者16的其他整数倍。
4.根据权利要求1所述的一种图像目标显著性度量方法，其特征在于：所述步骤1中的目标区域标定为255，背景区域标定为0，边界区域介于背景区域和目标区域之间。
5.根据权利要求2所述的一种图像目标显著性度量方法，其特征在于：所述步骤4.2中拟合采用初级视皮层神经元感受野模型。
CN201711124512.9A 2017-11-14 2017-11-14 一种图像目标显著性度量方法 Active CN107784662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711124512.9A CN107784662B (zh) 2017-11-14 2017-11-14 一种图像目标显著性度量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711124512.9A CN107784662B (zh) 2017-11-14 2017-11-14 一种图像目标显著性度量方法

Publications (2)

Publication Number Publication Date
CN107784662A CN107784662A (zh) 2018-03-09
CN107784662B true CN107784662B (zh) 2021-06-11

Family

ID=61433180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711124512.9A Active CN107784662B (zh) 2017-11-14 2017-11-14 一种图像目标显著性度量方法

Country Status (1)

Country Link
CN (1) CN107784662B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129693A (zh) * 2011-03-15 2011-07-20 清华大学 基于色彩直方图和全局对比度的图像视觉显著性计算方法
CN103210651A (zh) * 2010-11-15 2013-07-17 华为技术有限公司 用于视频概要的方法和系统
CN103996195A (zh) * 2014-05-26 2014-08-20 清华大学深圳研究生院 一种图像显著性检测方法
CN104700412A (zh) * 2015-03-17 2015-06-10 苏州大学 一种视觉显著图的计算方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9202137B2 (en) * 2008-11-13 2015-12-01 Google Inc. Foreground object detection from multiple images
US9171578B2 (en) * 2010-08-06 2015-10-27 Futurewei Technologies, Inc. Video skimming methods and systems
CN102779338B (zh) * 2011-05-13 2017-05-17 欧姆龙株式会社 图像处理方法和图像处理装置
US9025880B2 (en) * 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
CN103679173B (zh) * 2013-12-04 2017-04-26 清华大学深圳研究生院 图像显著区域检测方法
CN106296638A (zh) * 2015-06-04 2017-01-04 欧姆龙株式会社 显著性信息取得装置以及显著性信息取得方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103210651A (zh) * 2010-11-15 2013-07-17 华为技术有限公司 用于视频概要的方法和系统
CN102129693A (zh) * 2011-03-15 2011-07-20 清华大学 基于色彩直方图和全局对比度的图像视觉显著性计算方法
CN103996195A (zh) * 2014-05-26 2014-08-20 清华大学深圳研究生院 一种图像显著性检测方法
CN104700412A (zh) * 2015-03-17 2015-06-10 苏州大学 一种视觉显著图的计算方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"An Object-Oriented Visual Saliency Detection Framework Based on Sparse Coding Representations";J. Han等;《IEEE Transactions on Circuits and Systems for Video Technology》;20131231;第23卷(第12期);全文 *
"Quantitative Analysis of Human-Model Agreement in Visual Saliency Modeling: A Comparative Study";A. Borji等;《IEEE Transactions on Image Processing》;20130131;第22卷(第1期);全文 *
"Visual acuity inspired saliency detection by using sparse features";Yuming Fang等;《Information Sciences》;20150710;第309卷;全文 *
"图像显著性算法和评价研究";涂小坡;《中国优秀硕士学位论文全文数据库·信息科技辑》;20111115;第2011年卷(第11期);全文 *
"显著性区域检测算法研究";万成涛;《中国优秀硕士学位论文全文数据库·信息科技辑》;20170515;第2017年卷(第5期);全文 *

Also Published As

Publication number Publication date
CN107784662A (zh) 2018-03-09

Similar Documents

Publication Publication Date Title
CN110473173A (zh) 一种基于深度学习语义分割的缺陷检测方法
CN105046277B (zh) 特征显著性在图像质量评价中的鲁棒机理研究方法
CN111028327B (zh) 一种三维点云的处理方法、装置及设备
CN108921057B (zh) 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置
CN114359283B (zh) 基于Transformer的缺陷检测方法和电子设备
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN109871845B (zh) 证件图像提取方法及终端设备
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN111127360B (zh) 一种基于自动编码器的灰度图像迁移学习方法
Veras et al. Discriminability tests for visualization effectiveness and scalability
CN109344845A (zh) 一种基于Triplet深度神经网络结构的特征匹配方法
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN111652273A (zh) 一种基于深度学习的rgb-d图像分类方法
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
CN109741351A (zh) 一种基于深度学习的类别敏感型边缘检测方法
CN117237736A (zh) 一种基于机器视觉和深度学习的大曲质量检测方法
CN116993639A (zh) 基于结构重参数化的可见光与红外图像融合方法
CN107784662B (zh) 一种图像目标显著性度量方法
CN111222576A (zh) 一种高分辨率遥感图像分类方法
CN116051808A (zh) 一种基于YOLOv5的轻量化零件识别定位方法
CN114964628A (zh) 一种氨气泄漏混洗自注意力轻量化红外检测方法及系统
CN113435389B (zh) 基于图像特征深度学习的小球藻和金藻分类识别方法
CN114548250A (zh) 一种基于数据分析的手机外观检测方法及装置
CN114186784A (zh) 基于边缘计算的电学考试评分方法、系统、介质及设备
CN114897884A (zh) 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant