CN107784662A - 一种图像目标显著性度量方法 - Google Patents

一种图像目标显著性度量方法 Download PDF

Info

Publication number
CN107784662A
CN107784662A CN201711124512.9A CN201711124512A CN107784662A CN 107784662 A CN107784662 A CN 107784662A CN 201711124512 A CN201711124512 A CN 201711124512A CN 107784662 A CN107784662 A CN 107784662A
Authority
CN
China
Prior art keywords
image
target
image block
background
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711124512.9A
Other languages
English (en)
Other versions
CN107784662B (zh
Inventor
牛晓可
王治忠
王松伟
朱民杰
朱中美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Boone Technology Co Ltd
Original Assignee
Zhengzhou Boone Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Boone Technology Co Ltd filed Critical Zhengzhou Boone Technology Co Ltd
Priority to CN201711124512.9A priority Critical patent/CN107784662B/zh
Publication of CN107784662A publication Critical patent/CN107784662A/zh
Application granted granted Critical
Publication of CN107784662B publication Critical patent/CN107784662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像目标显著性度量方法，涉及图像目标显著度算法领域；其包括如下步骤：1)将图像的目标进行手动图像‑背景分割得到目标显著图、获得边界所在位置坐标集合；2)对图像采样得到N×N的图像块后，结合目标显著图将其分类得到目标与背景图像块库；3)分别在M个边界所在的坐标位置处筛选离每个边界最临近的目标和背景图像块后对其配对得到M对目标和背景图像块；4)对每个图像块进行稀疏表征获取其参数；5)将步骤3所得和步骤4所得参数进行整合得到任意目标的显著值；本发明解决了现有技术未考虑目标在图像中的显著因素导致显著值不准确，从而不符合视觉显著性的问题，达到了图像目标显著值符合视觉显著性的效果。

Description

一种图像目标显著性度量方法
技术领域
本发明涉及图像目标显著度算法领域，尤其是一种图像目标显著性度量方法。
背景技术
随着计算机视觉和图像处理技术的发展，图像目标显著性检测算法层出不穷，而对其检测质量的判定逐渐成为挑战；由于目标所处背景不同其显著性存在差异，从而会对检测算法的输出产生影响，现有技术中图像目标显著性的度量是通过计算显著性算法输出显著图与手工标定显著图的差值，作为衡量非显著性信息多少的指标，进而评价显著图的质量，但是该方法未考虑目标在图像中的显著程度，导致显著度结果不准确，不符合视觉上的显著性；因此，依照视觉的相关属性，需要一种图像目标显著性度量方法考虑目标在图像中的显著程度，从而实现对图像中任意目标显著性的度量。
发明内容
本发明的目的在于：本发明提供了一种图像目标显著性度量方法，解决了现有技术未考虑目标在图像中显著因素导致显著值不准确，从而不符合视觉显著性的问题。
本发明采用的技术方案如下：
一种图像目标显著性度量方法，包括如下步骤：
步骤1：将自然图像的任意目标进行图像-背景分割，得到目标显著图，并根据其获得边界所在位置的坐标集合；
步骤2：将自然图像进行连续采样得到N×N大小的图像块，并结合目标显著图判断每个图像块属于目标图像或者背景图像后生成目标图像库和背景图像库；
步骤3：分别在M个边界所在的坐标位置处筛选目标图像库和背景图像库中离每个边界最临近的图像块后，并将图像块配对得到M对目标和背景图像块；
步骤4：分别对目标图像块和背景图像块进行稀疏表征，获取目标图像块和背景图像块的朝向、空间频率、对比度信息和权值；
步骤5：将步骤3所得M对目标和背景图像块以及步骤4所得目标图像块与背景图像块的朝向、空间频率、对比度信息和权值进行整合得到图像中任意目标的显著值。
优选地，所述整合采用的公式如下：(其中，M表示边界的像素数目，N×N为基函数的数量，下标1和2分别表示目标图像块和背景图像块，α表示每个基函数表征图像块的权值，θ、f、W代表每个基函数的朝向、空间频率和对比度信息)。
优选地，所述步骤4包括如下步骤：
步骤4.1：选择自然图像进行训练得到用于表征任意自然图像块的N×N基函数集合；
步骤4.2：对每个基函数进行拟合获得每个基函数的朝向、空间频率和对比度信息；
步骤4.3：采用稀疏表征模型，用N×N基函数集合分别表征每对目标图像块和背景图像块，得到每个基函数表征每对目标图像块和背景图像块的权值。
优选地，所述步骤2中N取16或者16的其他整数倍。
优选地，所述步骤1中的目标区域标定为255，背景区域标定为0，边界区域介于背景区域和目标区域之间。
优选地，所述步骤4.2中拟合采用初级视皮层神经元感受野模型。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.本发明提出了一种方法用于量化特定目标在任意背景图像中显著程度，根据整合公式得出目标的显著值，解决了现有技术未考虑目标在图像中的显著因素导致显著值不准确，从而不符合视觉上的显著性的问题，达到了图像目标显著度结果符合视觉上显著性的效果；
2.本发明通过将自然图像分割、采样和稀疏表征后获取整合所需参数，通过整合公式得出目标的显著度，计算全面，参数获取准确，避免了现有技术未考虑目标在图像中的显著因素导致的复杂图像的显著值计算不准确的缺点，进一步实现计算任意目标的显著度；
3.本发明可用于将任意图像库中的目标图像按照输出的显著值进行分类，分成最显著、稍显著和不显著等类别，从而选用具有相近显著值的图像对机器视觉领域的图像分割、显著区域检测等算法进行验证，可保证算法验证的公平性；
4.本发明实现量化图像中任意目标的显著度，为心理物理学和神经电生理领域关于不同程度显著图引导下注意机制的研究提供了量化指标。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明的流程图；
图2是本发明步骤4的流程图；
图3是本发明的自然图像基函数集示意图；
图4是本发明图像库若干图像分类后的效果图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
下面结合图1-4对本发明作详细说明。
实施例1
一种图像目标显著性度量方法，包括如下步骤：
步骤1：将自然图像的任意目标进行图像-背景分割，得到目标显著图，并根据其获得边界所在位置的坐标集合；
步骤2：将自然图像进行连续采样得到N×N大小的图像块，并结合目标显著图判断每个图像块属于目标图像或者背景图像后生成目标图像库和背景图像库；
步骤3：分别在M个边界所在的坐标位置处筛选目标图像库和背景图像库中离每个边界最临近的图像块后，并将图像块配对得到M对目标和背景图像块；
步骤4：分别对目标图像块和背景图像块进行稀疏表征，获取目标图像块和背景图像块的朝向、空间频率、对比度信息和权值；
步骤5：将步骤3所得M对目标和背景图像块以及步骤4所得目标图像块与背景图像块的朝向、空间频率、对比度信息和权值进行整合得到图像中任意目标的显著值。
整合采用的公式如下：(其中，M表示边界的像素数目，N×N为基函数的数量，下标1和2分别表示目标图像块和背景图像块，α表示每个基函数表征图像块的权值，θ、f、W代表每个基函数的朝向、空间频率和对比度信息)。
步骤4包括如下步骤：
步骤4.1：选择自然图像进行训练得到用于表征任意自然图像块的N×N基函数集合；
步骤4.2：对每个基函数进行拟合获得每个基函数的朝向、空间频率和对比度信息；
步骤4.3：采用稀疏表征模型，用N×N基函数集合分别表征每对目标图像块和背景图像块，得到每个基函数表征每对目标图像块和背景图像块的权值。
步骤2中N取16或者16的其他整数倍。
步骤1中的目标区域标定为255，背景区域标定为0，边界区域介于背景区域和目标区域之间。
步骤4.2中拟合采用初级视皮层神经元感受野模型。
实施例2
N取16时，
(1)给定的任意一幅自然图像，对其中任意目标进行手动的图像-背景分割，获得二值化的显著图，其中目标所在区域标定为255，背景区域为0，边界部分介于二者之间；根据目标显著图，获取边界所在位置坐标集合；
(2)对原始自然图像进行连续采样，得到16×16大小的图像块，结合获取的目标显著图，判断每个图像块属于目标图像或是背景图像并保存进目标图像库和背景图像库，并标记对应的起始坐标位置；
(3)对于每一个边界设有M个坐标位置，筛选目标图像库和背景图像库中离该边界最临近的图像块进行配对，得到M对目标和背景图像；
(4)采用稀疏表征模型对目标图像块和背景图像块进行稀疏表征，获取目标图像块和背景图像块的朝向、空间频率和对比度信息，具体步骤如下：
①训练基函数：选择广泛用于测试稀疏编码模型的自然图像库(包含13幅自然图像)，对库中的图像进行随机抽样，获得不少于50000个图像块(16×16大小)的样本库，采用拓扑独立成分分析的方法，对样本库中的图像进行训练，得到能够用于表征任意自然图像块(16×16)的基函数集合，用Bi(i＝1,…,N2)表示，如图3所示：
②采用二维Gabor函数(神经元感受野模型即公式1)对每个基函数图像块进行拟合，可近似获取每个基函数的朝向、空间频率与对比度信息。
其中，W表示幅值，x0和y0分别表示感受野中心位置的坐标，θ为朝向，f表示空间频率，表示不同的感受野结构：指对称型感受野，而则对应非对称型感受野；幅值从一定程度上反映了感受野的对比度信息。
③根据已训练的基函数集合(用B表示)，分别表征每对目标图像块和背景图像块，得到每个基函数表征每对目标图像块和背景图像块的权值，表达式为：
结合公式(1)和公式(2)，可获得目标图像块和背景图像块的朝向、空间频率和对比度信息以及权值。
(5)将步骤3所得M对目标和背景图像块以及步骤4所得目标图像块与背景图像块的朝向、空间频率、对比度信息和权值采用公式3进行整合得到图像中任意目标的显著值，记为D，整合公式如下：
其中，M表示边界的像素数目，N×N为基函数的数量，这里为16×16，下标1和2 分别表示目标图像块和背景图像块，α表示每个基函数表征图像块的权值，θ、f、W代表每个基函数的朝向、空间频率和对比度信息。
根据图4分析：第01排代表不显著图片，第02排代表稍显著图片，第03排代表最显著图片，根据显著度定义将数据库中的若干幅图像进行分类，得到的显著度结果如图4所示，准确性高，符合视觉上的显著度；本发明提出了一种方法用于量化特定目标在任意背景中显著程度，根据整合公式得出显著值，解决了现有技术未考虑目标在图像中显著因素导致显著值不准确，从而不符合视觉显著性的问题，达到了图像目标显著值符合视觉上显著性的效果。

Claims (6)

1.一种图像目标显著性度量方法，其特征在于：包括如下步骤：
步骤1：将自然图像的任意目标进行图像-背景分割，得到目标显著图，并根据其获得边界所在位置的坐标集合；
步骤2：将自然图像进行连续采样得到N×N大小的图像块，并结合目标显著图判断每个图像块属于目标图像或者背景图像后生成目标图像库和背景图像库；
步骤3：分别在M个边界所在的坐标位置处筛选目标图像库和背景图像库中离每个边界最临近的图像块后，并将图像块配对得到M对目标和背景图像块；
步骤4：分别对目标图像块和背景图像块进行稀疏表征，获取目标图像块和背景图像块的朝向、空间频率、对比度信息和权值；
步骤5：将步骤3所得M对目标和背景图像块以及步骤4所得目标图像块与背景图像块的朝向、空间频率、对比度信息和权值进行整合得到图像中任意目标的显著值。
2.根据权利要求1所述的一种图像目标显著性度量方法，其特征在于：所述整合采用的公式如下：(其中，M表示边界的像素数目，N×N为基函数的数量，下标1和2分别表示目标图像块和背景图像块，α表示每个基函数表征图像块的权值，θ、f、W代表每个基函数的朝向、空间频率和对比度信息)。
3.根据权利要求1所述的一种图像目标显著性度量方法，其特征在于：所述步骤4包括如下步骤：
步骤4.1：选择自然图像进行训练得到用于表征任意自然图像块的N×N基函数集合；
步骤4.2：对每个基函数进行拟合获得每个基函数的朝向、空间频率和对比度信息；
步骤4.3：采用稀疏表征模型，用N×N基函数集合分别表征每对目标图像块和背景图像块，得到每个基函数表征每对目标图像块和背景图像块的权值。
4.根据权利要求1所述的一种图像目标显著性度量方法，其特征在于：所述步骤2中N取16或者16的其他整数倍。
5.根据权利要求1所述的一种图像目标显著性度量方法，其特征在于：所述步骤1中的目标区域标定为255，背景区域标定为0，边界区域介于背景区域和目标区域之间。
6.根据权利要求3所述的一种图像目标显著性度量方法，其特征在于：所述步骤4.2中拟合采用初级视皮层神经元感受野模型。
CN201711124512.9A 2017-11-14 2017-11-14 一种图像目标显著性度量方法 Active CN107784662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711124512.9A CN107784662B (zh) 2017-11-14 2017-11-14 一种图像目标显著性度量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711124512.9A CN107784662B (zh) 2017-11-14 2017-11-14 一种图像目标显著性度量方法

Publications (2)

Publication Number Publication Date
CN107784662A true CN107784662A (zh) 2018-03-09
CN107784662B CN107784662B (zh) 2021-06-11

Family

ID=61433180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711124512.9A Active CN107784662B (zh) 2017-11-14 2017-11-14 一种图像目标显著性度量方法

Country Status (1)

Country Link
CN (1) CN107784662B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129693A (zh) * 2011-03-15 2011-07-20 清华大学 基于色彩直方图和全局对比度的图像视觉显著性计算方法
US20120033949A1 (en) * 2010-08-06 2012-02-09 Futurewei Technologies, Inc. Video Skimming Methods and Systems
CN102779338A (zh) * 2011-05-13 2012-11-14 欧姆龙株式会社 图像处理方法和图像处理装置
CN103210651A (zh) * 2010-11-15 2013-07-17 华为技术有限公司 用于视频概要的方法和系统
CN103679173A (zh) * 2013-12-04 2014-03-26 清华大学深圳研究生院 图像显著区域检测方法
CN103996195A (zh) * 2014-05-26 2014-08-20 清华大学深圳研究生院 一种图像显著性检测方法
CN104700412A (zh) * 2015-03-17 2015-06-10 苏州大学 一种视觉显著图的计算方法
US20150169989A1 (en) * 2008-11-13 2015-06-18 Google Inc. Foreground object detection from multiple images
US20150227810A1 (en) * 2012-08-29 2015-08-13 Disney Enterprises, Inc. Visual saliency estimation for images and video
US20160358035A1 (en) * 2015-06-04 2016-12-08 Omron Corporation Saliency information acquisition device and saliency information acquisition method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150169989A1 (en) * 2008-11-13 2015-06-18 Google Inc. Foreground object detection from multiple images
US20120033949A1 (en) * 2010-08-06 2012-02-09 Futurewei Technologies, Inc. Video Skimming Methods and Systems
CN103210651A (zh) * 2010-11-15 2013-07-17 华为技术有限公司 用于视频概要的方法和系统
CN102129693A (zh) * 2011-03-15 2011-07-20 清华大学 基于色彩直方图和全局对比度的图像视觉显著性计算方法
CN102779338A (zh) * 2011-05-13 2012-11-14 欧姆龙株式会社 图像处理方法和图像处理装置
US20150227810A1 (en) * 2012-08-29 2015-08-13 Disney Enterprises, Inc. Visual saliency estimation for images and video
CN103679173A (zh) * 2013-12-04 2014-03-26 清华大学深圳研究生院 图像显著区域检测方法
CN103996195A (zh) * 2014-05-26 2014-08-20 清华大学深圳研究生院 一种图像显著性检测方法
CN104700412A (zh) * 2015-03-17 2015-06-10 苏州大学 一种视觉显著图的计算方法
US20160358035A1 (en) * 2015-06-04 2016-12-08 Omron Corporation Saliency information acquisition device and saliency information acquisition method

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A. BORJI等: ""Quantitative Analysis of Human-Model Agreement in Visual Saliency Modeling: A Comparative Study"", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
J. HAN等: ""An Object-Oriented Visual Saliency Detection Framework Based on Sparse Coding Representations"", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
YUMING FANG等: ""Visual acuity inspired saliency detection by using sparse features"", 《INFORMATION SCIENCES》 *
万成涛: ""显著性区域检测算法研究"", 《中国优秀硕士学位论文全文数据库·信息科技辑》 *
涂小坡: ""图像显著性算法和评价研究"", 《中国优秀硕士学位论文全文数据库·信息科技辑》 *

Also Published As

Publication number Publication date
CN107784662B (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN107665492B (zh) 基于深度网络的结直肠全景数字病理图像组织分割方法
CN110176027A (zh) 视频目标跟踪方法、装置、设备及存储介质
CN110473173A (zh) 一种基于深度学习语义分割的缺陷检测方法
CN111860494B (zh) 图像目标检测的优化方法、装置、电子设备和存储介质
CN106462771A (zh) 一种3d图像的显著性检测方法
CN107808143A (zh) 基于计算机视觉的动态手势识别方法
CN103810491B (zh) 融合深度和灰度图像特征点的头姿估计兴趣点检测方法
CN107679503A (zh) 一种基于深度学习的人群计数算法
CN106682569A (zh) 一种基于卷积神经网络的快速交通标识牌识别方法
CN106529432B (zh) 一种深度融合显著性检测与先验知识的手部区域分割方法
CN110490099B (zh) 一种基于机器视觉的地铁公共地点人流量分析方法
CN110110646A (zh) 一种基于深度学习的手势图像关键帧提取方法
CN106780546B (zh) 基于卷积神经网络的运动模糊编码点的身份识别方法
CN106529006A (zh) 基于深度图像的肉鸡生长模型拟合方法及装置
CN106600595A (zh) 一种基于人工智能算法的人体特征尺寸自动测量方法
CN108921057A (zh) 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置
CN106228569A (zh) 一种适用于水质监测的鱼体运动速度检测方法
CN105931270B (zh) 基于运动轨迹分析的视频关键帧提取方法
CN102930576A (zh) 一种基于特征流的抽象线条画生成方法
CN112528939B (zh) 一种人脸图像的质量评价方法及装置
CN110390673A (zh) 一种监控场景下基于深度学习的香烟自动检测方法
CN108830856A (zh) 一种基于时间序列sd-oct视网膜图像的ga自动分割方法
CN109429051A (zh) 基于多视图特征学习的无参考立体视频质量客观评价方法
CN108805980A (zh) 一种基于3d的马体尺测量系统及数据修正方法
CN110070106A (zh) 烟雾检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant