CN104732534A - 一种图像中显著目标的抠取方法及系统 - Google Patents
一种图像中显著目标的抠取方法及系统 Download PDFInfo
- Publication number
- CN104732534A CN104732534A CN201510118282.XA CN201510118282A CN104732534A CN 104732534 A CN104732534 A CN 104732534A CN 201510118282 A CN201510118282 A CN 201510118282A CN 104732534 A CN104732534 A CN 104732534A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- value
- scratched
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000011159 matrix material Substances 0.000 claims description 73
- 238000004364 calculation method Methods 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 20
- 238000006748 scratching Methods 0.000 claims description 10
- 230000002393 scratching effect Effects 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 9
- 241001465754 Metazoa Species 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 5
- 239000012634 fragment Substances 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 206010003591 Ataxia Diseases 0.000 description 1
- 206010010947 Coordination abnormal Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 208000016290 incoordination Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种图像中显著目标的抠取方法及系统,涉及图像智能处理技术领域。该方法及系统包括:首先获取图像的显著性图,得到图像中每个像素点的显著性值,之后根据图像中像素的显著性值确定出图像中的显著目标像素和背景像素,最后根据图像的像素的显著性特征以及像素间的密切度确定出图像中的显著目标像素,得到图像中的显著目标区域,完成图像中显著目标的抠取。本发明所述的方法及系统可自动抠取图像中单个或者多个显著目标并且大大提高了图像中显著目标的抠取效率及准确率。
Description
技术领域
本发明涉及图像智能处理技术领域,具体涉及一种图像中显著目标的抠取方法及系统。
背景技术
随着信息技术的迅速方法,图像成为信息传递的主要媒介之一,怎样有效而又准确的分析和处理大量的图像信息时目前一个重要的课题。经过研究人们发现图像中最重要的信息往往集中在一些小的关键的区域,人们把这些关键的区域称为显著性目标,图像中显著目标的产生是由图像某部分的属性特征与其它部分属性特征的不协调造成的,这些属性特征包括颜色、纹理朝向、亮度等。特征的不协调能够产生新异的刺激,能容易引起观察者的注意力,产生视觉显著性。如果能够准确的提取这些显著性目标,就能够有效的处理图像信息,大大减少计算的复杂度和计算的时间。目前,图像的显著性分析在图像分割、图像目标提取、图像检索等领域都有着非常成功的应用。
图像中显著目标的自动抠取技术一直是智能图像处理技术、计算机视觉技术、人机交互工程中重要的、基础性的处理技术。通过显著目标抠取可以得到图像中引人注目的目标,图像中显著目标的自动抠取技术可用于目标识别、目标敏感的图像缩放(专利CN200910092756)、基于内容的图像检索(专利CN200910081069)等领域。准确地抠取图像中的显著目标是这些应用技术的基础。
显著性目标的抠取技术在遵循人视觉显著性规律的基础上,综合利用图像的颜色、强度、局部方向等特征,计算出图像中各个区域的显著程度。目前已经提出了很多种显著性检测方法,但是现有的方法中图像显著性检测结果质量并不高,还不能够较准确的反映出图像的显著性信息,使得图像显著性图在实际的具体应用中的效果并不好。
发明内容
针对现有技术中存在的缺陷,本发明的目的在于提供一种图像中显著目标的抠取方法及系统,通过方法及系统能够实现图像中显著目标的快速抠取。
为实现上述目的,本发明采用的技术方案为:一种图像中显著目标的抠取方法,包括以下步骤:
(1)获取待抠取图像的显著性图,得到待抠取图像中每个像素的显著性值;
(2)根据待抠取图像的显著性图S抠取图像中的显著目标,抠取方式为:
1)根据待抠取图像中像素的显著性值确定图像中的代表性像素;所述代表性像素包括显著目标代表像素和背景代表像素,将显著性值大于第一设定值的像素作为显著目标代表像素,将显著性值小于第二设定值的像素作为背景代表像素;
2)构建与待抠取图像大小相同的两个二值矩阵m和v,如果待抠取图像中的像素为代表性像素,则将矩阵m中与该像素对应位置的值设置为1,否则设置为0;如果待抠取图像中的像素为显著目标代表元素,则将矩阵v中与该像素对应位置的值设置为1,否则设置为0;
3)根据所述二值矩阵m和v计算出待抠取图像中的显著目标像素和背景像素,确定出图像中的显著目标区域,根据确定出的显著目标区域抠取出图像中的显著目标;计算待抠取图像中显著目标像素和背景像素的公式为:
其中,α*为判断图像中像素是显著目标像素和背景像素的判断标识矩阵,如果矩阵α*中的元素取值为1,则像素为显著目标像素,如果矩阵α*中的元素取值为0,则像素为背景像素;round()为四舍五入取整函数,diag()为对角矩阵构造函数,i、j为待抠取图像中的任意像素点,为在像素点i的特征空间中与像素点i的欧氏距离最近的个像素点构成的集合,表示图像中像素点i与像素点j的密切度,X(i)、X(j)分别表示像素点i和像素点j的特征向量,||X(i)-X(j)||表示X(i)和X(j)的欧氏距离,为由构成的矩阵,为矩阵中第i行第j的元素;m1为将二值矩阵m中的元素先按照元素所在的行顺序、再按照元素的所在的列顺序进行排序后得到的行向量;λ为调整系数、为经验值。
可选的,如上所述的一种图像中显著目标的抠取方法,步骤(1)中,所述获取待抠取图像的显著性图,包括:
根据待抠取图像的底层特征计算图像的底层特征显著性图Slow,根据待抠取图像的高层特征计算图像的高层特征显著性图Shigh,并根据所述图像的底层特征显著性图Slow和图像的高层特征显著性图Shigh计算得到待抠取图像的显著性图S,计算公式为:
S=Slow×Shigh。
可选的,如上所述的一种图像中显著目标的抠取方法,步骤(1)中,所述图像的底层特征包括图像的颜色、纹理和目标大小;所述图像的高层特征包括图像中的文字、人脸、动物、身体和目标物体。
可选的,如上所述的一种图像中显著目标的抠取方法,步骤3)中,X(i)=(cos(h),sin(h),s,v,x,y)i;其中,h,s,v分别是像素i在HSV颜色空间的色度值、饱和度和纯度,(x,y)为像素点i的坐标。
可选的,如上所述的一种图像中显著目标的抠取方法,步骤3)中,λ的优选值为100。
为实现上述目的,本发明还提供了一种图像中显著目标的抠取系统,包括:
显著性图获取模块,用于获取待抠取图像的显著性图,得到待抠取图像中每个像素的显著性值;
显著目标抠取模块,用于根据待抠取图像的显著性图S抠取图像中的显著目标;该模块包括:
代表性元素确定单元,用于根据待抠取图像中像素的显著性值确定图像中的代表性像素;所述代表性像素包括显著目标代表像素和背景代表像素,将显著性值大于第一设定值的像素作为显著目标代表像素,将显著性值小于第二设定值像素作为背景代表像素;
代表性元素矩阵构建单元,用于构建与待抠取图像大小相同的两个二值矩阵m和v,如果图像中的像素为代表性像素,则将矩阵m中与该像素对应位置的值设置为1,否则设置为0;如果待抠取图像中的像素为显著目标代表元素,则将矩阵v中与该像素对应位置的值设置为1,否则设置为0;
显著目标确定单元,用于根据所述二值矩阵m和v计算出待抠取图像中的显著目标像素和背景像素,确定出图像中的显著目标区域,根据确定出的显著性目标区域抠取出图像中的显著性目标;计算图像中显著目标像素和背景像素的公式为:
其中,α*为判断图像中像素是显著目标像素和背景像素的判断标识矩阵,如果矩阵α*中的元素取值为1,则像素为显著目标像素,如果矩阵α*中的元素取值为0,则像素为背景像素;round()为四舍五入取整函数,diag()为对角矩阵构造函数,i、j为待抠取图像中的任意像素点,为在像素点i的特征空间中与像素点i的欧氏距离最近的个像素点构成的集合,表示图像中像素点i与像素点j的密切度,X(i)、X(j)分别表示像素点i和像素点j的特征向量,||X(i)-X(j)||表示X(i)和X(j)的欧氏距离,为由构成的矩阵,为矩阵中第i行第j的元素;m1为将二值矩阵m中的元素先按照元素所在的行顺序、再按照元素的所在的列顺序进行排序后得到的行向量;λ为调整系数、为经验值。
可选的,如上所述的一种图像中显著目标的抠取系统,所述显著性图获取模块包括:
底层特征显著性图计算单元,用于根据待抠取图像的底层特征计算图像的底层特征显著性图Slow;
高层特征显著性图计算单元,用于根据待抠取图像的高层特征计算图像的高层特征显著性图Shigh;
显著性图获取单元,用于根据所述图像的底层特征显著性图Slow和图像的高层特征显著性图Shigh计算得到待抠取图像的显著性图S,计算公式为:
S=Slow×Shigh。
可选的,如上所述的一种图像中显著目标的抠取系统,所述图像的底层特征包括图像的颜色、纹理和目标大小;所述图像的高层特征包括图像中的文字、人脸、动物、身体和目标物体。
可选的,如上所述的一种图像中显著目标的抠取系统,X(i)=(cos(h),sin(h),s,v,x,y)i;其中,h,s,v分别是像素i在HSV颜色空间的色度值、饱和度和纯度,(x,y)为像素点i的坐标。
可选的,如上所述的一种图像中显著目标的抠取系统,λ的优选值为100。
本发明的有益效果在于:本发明所述的方法及系统,首先以图像的显著性图为参考确定出图像中显著性目标的代表像素点和背景区域的代表像素点,再利用像素点在特征空间中的密切度实现了图像中显著目标的抠取,该方法大大提高了图像中显著目标的抠取效率及准确率。
附图说明
图1为本发明实施方式中一种图像中显著目标的抠取方法的流程图;
图2为本发明实施方式中一种图像中显著目标的抠取系统的示意图;
图3为采用本发明的显著目标的抠取方法进行图像中显著目标抠取的结果示意图。
具体实施方式
下面结合说明书附图与具体实施方式对本发明做进一步的详细说明。
图1示出了本发明实施例中一种图像中显著目标的抠取的流程图,该方法可以包括以下步骤:
步骤S100:获取待抠取图像的显著性图,得到待抠取图像中每个像素点的显著性值;
首先,根据待抠取图像中的特征获取图像的显著性图(显著图)。对于图像的显著性图的获取以及根据得到的显著性图得到图像中每个像素点的显著性值的方式可以选用现有的方式。
本实施例中提供了一种新的获取待抠取图像的显著性图的方式,该方式如下:
根据待抠取图像的底层特征计算图像的底层特征显著性图Slow,根据待抠取图像的高层特征计算图像的高层特征显著性图Shigh,并根据所述图像的底层特征显著性图Slow和图像的高层特征显著性图Shigh计算得到待抠取图像的显著性图S,计算公式为:
S=Slow×Shigh
其中,图像的底层特征(低级视觉特征)包括但并不限于图像的颜色、纹理、亮度、形状、目标大小等;图像的高层特征(高级视觉特征)包括但并不限于图像中的人脸、身体、文字、动物和目标物体等。
底层特征显著性图和高级特征显著性图的计算可以选择现有多种计算图像的底层特征显著性图和高级特征显著性图的方式中的一种。
本实施例中,对于底层特征显著性图的计算可以选用申请号为CN201210451657.0、名称为“一种基于底层特征融合的图像视觉显著性计算方法”中所公开的方法,该方法选取了图像的颜色和纹理特征作为底层特征,通过计算图像的颜色显著性图和纹理显著性图得到了图像的底层特征显著性图,具体方式如下:
首先采用简单线性迭代聚类的方法把待抠取图像分割成N个不规则“碎片”,N>1,然后计算每个碎片的颜色显著性和纹理显著性,得到图像的颜色显著性图和纹理显著性图,最后利用颜色显著性图和纹理显著性图的线性组合,得到图像的显著性图。其中,计算第i个碎片的颜色显著性的公式为:
为第i个碎片的颜色独特性,为第i个碎片的颜色分散性;kC为一颜色显著性调整系数,在实验中,kC取3就能得到比较好结果。计算出每个碎片颜色特征的显著后就可以得到图像的颜色显著性图SC。
计算第i个碎片的纹理显著性的公式为:
其中,为第i个碎片的纹理独特性,为第i个碎片的纹理分散性;kT为颜色文理性调整系数,在实验中,kT取3就能得到比较好结果。计算出每个碎片颜色特征的显著后就可以得到图像的颜色显著性图ST。
最后,利用了纹理显著性图和颜色显著性图的线性组合,得到第i个碎片的底层特征显著性其中,α为权重系数,满足条件:0≤α≤1,从而得到整幅图像的底层特征显著性图Slow。
本实施例中,对于高层特征显著性图的计算可以选用以基于“中心位置先验”特征的方法来计算,该方法的核心思想是距离图像中心越近的区域越容易吸引人类视觉的注意力即显著性越高。该方法利用以下公式计算图像第i个碎片相对于图像的中心的高斯距离Gi来表征碎片的纹理显著性,
其中,d(i,pc)代表碎片i距离图像中点pc的距离;σg为高斯函数的标准差。计算出所有碎片相对于图像中心的高斯距离(该高斯距离作为碎片的纹理显著性)后就可以得到整幅图像的“中心位置先验”高层特征显著性图Shigh,。
将所得到的高层特征显著性图Shigh和底层特征显著性图Slow有机地结合起来就可得到图像的显著性图S。具体地,根据以下公式S=Slow×Shigh计算得到。可以,通过计算每个碎片的显著性的加权平均,得到图像的每个像素点的显著性值。
本实施例中,通过S=Slow×Shigh计算图像显著性图的方式,利用图像的高层特征显著性图来Shigh进一步突显出底层特征显著性图Slow中的显著性目标,得到了图像的显著性图S。
需要指出的是,在完成图像显著性图的计算后,还需要对图像的显著性进行归一化处理,将图像中所有像素点的显著性值归一化到[0,1]范围内。
步骤S200:根据待抠取图像的显著性图S确定出图像中的显著性目标区域,根据确定出的显著性目标区域抠取出图像中的显著目标。
本实施例中,根据步骤S100中所得到的待抠取图像的显著性图S确定出图像中的显著性目标区域,根据确定出的显著性目标区域抠取出图像中的显著目标的具体方式如下:
1)根据待抠取图像中像素的显著性值确定待抠取图像中的代表性像素;所述代表性像素包括显著目标代表像素和背景代表像素,将显著性值大于第一设定值的像素作为显著目标代表像素,将显著性值小于第二设定值的像素作为背景代表像素。
其中,显著目标代表像素指的是一定属于显著性目标部分的像素,背景代表像素指的是一定属于图像背景部分的像素。通过该方式,可以确定出图像中属于显著性目标的一部分像素。其中,上述第一设定值、第二设定值均为经验值,为正数,可以根据需要进行设置。
在实际应用中,上述确定方式除了采用设定显著性值阈值(第一设定值、第二设定值)的方式确定图像中的代表像素外,还可以直接设定显著目标像素的百分比,如根据图像的显著性图,对图像的所有像素按照其显著性值从大到小进行排序,将显著性值最大(即排序靠前的)的τ%的像素作为显著目标代表像素,将显著性值最小(即排序靠后的)的ψ%像素作为背景代表像素。其中,τ、ψ根据需要进行设置。
2)构建与待抠取图像大小相同的两个二值矩阵m和v,如果待抠取图像中的像素为代表性像素,则将矩阵m中与该像素对应位置的值设置为1,否则设置为0;如果图像中的像素为显著目标代表像素,则将矩阵v中与该像素对应位置的值设置为1,否则设置为0。
该步骤中,通过二值矩阵的方式实现对待抠取图像中像素点的显著性进行表示,其中,二值矩阵m中为1的元素表示了步骤1)中确定出的代表性像素点,二值矩阵v中为1的元素表示了步骤1)中确定出的显著目标代表像素点。二值矩阵m和v的大小均为待抠取图像的大小,待抠取图像的大小指的是图像中像素点的个数,图像中像素点的位置与二值矩阵中元素的位置一一对应。
3)根据所述二值矩阵m和v计算出图像中的显著目标像素和背景像素,确定出图像中的显著目标区域,根据确定出的显著目标区域抠取出图像中的显著目标;计算图像中显著目标像素和背景像素的公式为:
其中,α*为判断图像中像素是显著目标像素和背景像素的判断标识矩阵,如果矩阵α*中的元素取值为1,则像素为显著目标像素,如果矩阵α*中的元素取值为0,则像素为背景像素;round()为四舍五入取整函数,diag()为对角矩阵构造函数,i、j为待抠取图像中的任意像素点,为在像素点i的特征空间中与像素点i之间的距离小于设定距离的像素点构成的集合,表示图像中像素点i与像素点j的密切度,X(i)、X(j)分别表示像素点i和像素点j的特征向量,||X(i)-X(j)||表示X(i)和X(j)的欧氏距离,为由构成的矩阵,为矩阵中第i行第j的元素;m1为将二值矩阵m中的元素先按照元素所在的行顺序、再按照元素的所在的列顺序进行排序后得到的行向量;λ为调整系数、为经验值,λ的优选值为100。
在上述计算公式中,为在像素点i的特征空间中与像素点i之间的距离小于设定值的像素点构成的集合,其中,所述特征空间是指像素的特征向量构成的特征空间,比如将像素i的特征向量X(i)设置为X(i)=(cos(h),sin(h),s,v,x,y)i,其中,h,s,v分别是像素i在HSV颜色空间的色度Hue值、饱和度Saturation和纯度Value,(x,y)为像素点i的坐标,那么特征向量X(i)所有可能的取值就构成了像素点i特征空间。需要说明书的是,特征向量的设置方式是多种多样的,上述X(i)=(cos(h),sin(h),s,v,x,y)i只是其中一种,可以在实际应用中根据不同的应用场景选择不同的参数来设置为像素点的特征向量。
表示了图像中像素点i与像素点j的密切度,所述密切度指的时像素点之间的关联度,通过的计算可以得到像素点i与其在特征空间邻居的所有像素点(像素点间的欧式距离小于设定值)之间的关联度的和,而是以作为主对角线的方阵,则该矩阵中的主对角线的值反映出了待抠取图像中每一个像素点与其在特征空间邻居的所有像素点之间的关联度的和,如方阵第一行第一列的元素为图像中第一个像素点与其邻居的所有像素点之间的关联度的和,第二行第二列的元素为图像中第二个元素与其邻居的所有像素点之间的关联度的和。为由构成的矩阵,其元素之反映出了待抠取图像中任意两个像素点之间的关联度,矩阵的大小为图像中像素点个数×图像中像素点个数。
m1为将二值矩阵m中的元素先按照元素所在的行顺序、再按照元素的所在的列顺序进行排序后得到的行向量。也就是说将二值矩阵中的所有元素进行排序,排序的规则是先考虑元素所在的行,再考虑行中元素所在的列,具体的,如二值矩阵为 则排序后的行向量为|011110001|,而diag(m1)则是以排序后的行向量作为主对角线元素的方阵。
上述公式利用了图像中像素点本身的显著性以及像素点与其邻居的像素点之间的关联度,计算得到了图像中的显著目标像素和背景像素的判断标识矩阵α*,如果矩阵α*中的元素取值为1,则像素为显著目标像素,如果矩阵α*中的元素取值为0,则像素为背景像素,从而判断出了图像中的所有显著目标像素,所有显著目标像素所在的区域即为图像中的显著目标区域,根据确定出的显著目标区域完成图像中显著目标的抠取。通过测试验证了本发明所提供的方法取得了明显优于现有显著目标提取方法的结果。需要说明的是,本实施例中所提供的显著目标抠取方法,在该步骤完成显著目标的抠取时,显著目标可以是一个,也可以是多个,如果待抠取图像中存在多个显著目标,步骤3)中便可以确定出的多个显著目标区域,完成多个显著目标区域的抠取。其中,可以通过阈值的方式确定出图像中是否有多个显著目标区域,如在确定出的所有显著目标像素中,以一个显著目标像素为基准,确定出与该基准像素之间距离小于设定阈值的像素为属于同一个显著目标区域的像素,再以确定出的像素为基准,再次确定出与所述确定出的像素属于同一个显著目标区域的像素,循环上述步骤,直到找到属于同一显著目标区域的所有显著目标像素,从而得到图像中的一个显著目标区域,如果一个显著目标像素与一个显著目标区域中所有像素之间的距离均不小于设定阈值,则该显著目标像素为另一个显著目标区域的像素。通过上述方式即可以得到图像中多个显著目标区域。通过本实施方式中所述的显著目标的抠取方法,能够大大提高显著目标抠取的效率及准确性,且该方法适用于图像中一个或多个显著目标的情况,提高了适用范围。如图3所示,图中第一列为一系列待抠取图像,第二列为采用本实施方式中的抠取方法及系统确定出的显著目标区域即显著目标所在的区域,第三列为根据确定出的显著目标区域抠取出的显著目标。而对于图3中最后一行第一幅的待抠取图像,其中含有三个显著目标(人),采用本实施方式中的上述抠取方法确定出的显著目标区域也为三个区域,第二幅图像所示,从而可以抠取出图像中的三个显著目标,第三幅图像所示。
与上述图1中所示的方法相对应,本发明实施例中还提供了一种图像中显著目标的抠取系统,如图2所示,该系统可以包括显著性图获取模块100和显著目标抠取模块200。其中,
显著性图获取模块100,用于获取待抠取图像的显著性图;本实施方式中,所述显著性图获取模块100包括底层特征显著性图计算单元101、高层特征显著性图计算单元102和显著性图获取单元103。
底层特征显著性图计算单元101,用于根据待抠取图像的底层特征计算图像的底层特征显著性图Slow;所述图像的底层特征包括图像的颜色、纹理和目标大小等;
高层特征显著性图计算单元102,用于根据待抠取图像的高层特征计算图像的高层特征显著性图Shigh;所述图像的高层特征包括图像中的文字、人脸、动物、身体和目标物体等等。
显著性图获取单元103,用于根据所述图像的底层特征显著性图Slow和图像的高层特征显著性图Shigh计算得到待抠取图像的显著性图S,计算公式为:
S=Slow×Shigh
显著目标抠取模块200,用于根据待抠取图像的显著性图S确定出图像中的显著目标区域,根据确定出的显著目标区域抠取出图像中的显著目标;该模块包括代表性像素确定单元201、代表性像素矩阵构建单元202和显著目标确定单元203。
代表性像素确定单元201,用于根据待抠取图像中像素的显著性值确定图像中的代表性像素;所述代表性像素包括显著目标代表像素和背景代表像素,将显著性值大于第一设定值的像素作为显著目标代表像素,将显著性值小于第二设定值的像素作为背景代表像素;
代表性元素矩阵构建单元202,用于构建与图像大小相同的两个二值矩阵m和v,如果图像中的像素为代表性像素,则将矩阵m中与该像素对应位置的值设置为1,否则设置为0;如果图像中的像素为显著目标代表元素,则将矩阵v中与该像素对应位置的值设置为1,否则设置为0;
显著目标确定单元203,用于根据所述二值矩阵m和v计算出图像中的显著目标像素和背景像素,确定出图像中的显著目标区域,根据确定出的显著目标区域抠取出图像中的显著目标;计算图像中显著目标像素和背景像素的公式为:
其中,α*为判断图像中像素是显著目标像素和背景像素的判断标识矩阵,如果矩阵α*中的元素取值为1,则像素为显著目标像素,如果矩阵α*中的元素取值为0,则像素为背景像素;round()为四舍五入取整函数,diag()为对角矩阵构造函数,i、j为待抠取图像中的任意像素点,为在像素点i的特征空间中与像素点i的欧氏距离最近的个像素点构成的集合,表示图像中像素点i与像素点j的密切度,X(i)、X(j)分别表示像素点i和像素点j的特征向量,||X(i)-X(j)||表示X(i)和X(j)的欧氏距离,为由构成的矩阵,为矩阵中第i行第j的元素;m1为将二值矩阵m中的元素先按照元素所在的行顺序、再按照元素的所在的列顺序进行排序后得到的行向量;λ为调整系数、为经验值,λ的优选值为100。本实施例中,向量特征X(i)=(cos(h),sin(h),s,v,x,y)i;其中,h,s,v分别是像素i在HSV颜色空间的色度值、饱和度和纯度,(x,y)为像素点i的坐标。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种图像中显著目标的抠取方法,包括以下步骤:
(1)获取待抠取图像的显著性图,得到待抠取图像中每个像素的显著性值;
(2)根据待抠取图像的显著性图S确定出图像中的显著性目标区域,根据确定出的显著性目标区域抠取出图像中的显著目标,包括:
1)根据待抠取图像中像素的显著性值确定图像中的代表性像素;所述代表性像素包括显著目标代表像素和背景代表像素,将显著性值大于第一设定值的像素作为显著目标代表像素,将显著性值小于第二设定值的像素作为背景代表像素;
2)构建与待抠取图像大小相同的两个二值矩阵m和v,如果待抠取图像中的像素为代表性像素,则将矩阵m中与该像素对应位置的值设置为1,否则设置为0;如果待抠取图像中的像素为显著目标代表元素,则将矩阵v中与该像素对应位置的值设置为1,否则设置为0;
3)根据所述二值矩阵m和v计算出待抠取图像中的显著目标像素和背景像素,确定出图像中的显著目标区域,根据确定出的显著目标区域抠取出图像中的显著目标;计算待抠取图像中显著目标像素和背景像素的公式为:
其中,α*为判断图像中像素是显著目标像素和背景像素的判断标识矩阵,如果矩阵α*中的元素取值为1,则像素为显著目标像素,如果矩阵α*中的元素取值为0,则像素为背景像素;round()为四舍五入取整函数,diag()为对角矩阵构造函数,i、j为待抠取图像中的任意像素点,为在像素点i的特征空间中与像素点i的欧氏距离最近的个像素点构成的集合,表示图像中像素点i与像素点j的密切度,X(i)、X(j)分别表示像素点i和像素点j的特征向量,||X(i)-X(j)||表示X(i)和X(j)的欧氏距离,为由构成的矩阵,为矩阵中第i行第j的元素;m1为将二值矩阵m中的元素先按照元素所在的行顺序、再按照元素的所在的列顺序进行排序后得到的行向量;λ为调整系数、为经验值。
2.根据权利要求1所述的一种图像中显著目标的抠取方法,其特征在于,步骤(1)中,所述获取待抠取图像的显著性图,包括:
根据待抠取图像的底层特征计算图像的底层特征显著性图Slow,根据待抠取图像的高层特征计算图像的高层特征显著性图Shigh,并根据所述图像的底层特征显著性图Slow和图像的高层特征显著性图Shigh计算得到待抠取图像的显著性图S,计算公式为:
S=Slow×Shigh。
3.根据权利要求2所述的一种图像中显著目标的抠取方法,其特征在于,步骤(1)中,所述图像的底层特征包括图像的颜色、纹理和目标大小;所述图像的高层特征包括图像中的文字、人脸、动物、身体和目标物体。
4.根据权利要求1至3之一所述的一种图像中显著目标的抠取方法,其特征在于,步骤3)中,X(i)=(cos(h),sin(h),s,v,x,y)i;其中,h,s,v分别是像素i在HSV颜色空间的色度值、饱和度和纯度,(x,y)为像素点i的坐标。
5.根据权利要求1至3之一所述的一种图像中显著目标的抠取方法,其特征在于,步骤3)中,λ的优选值为100。
6.一种图像中显著目标的抠取系统,包括:
显著性图获取模块,用于获取待抠取图像的显著性图,得到待抠取图像中每个像素的显著性值;
显著目标抠取模块,用于根据待抠取图像的显著性图S抠取图像中的显著目标;该模块包括:
代表性元素确定单元,用于根据待抠取图像中像素的显著性值确定图像中的代表性像素;所述代表性像素包括显著目标代表像素和背景代表像素,将显著性值大于第一设定值的像素作为显著目标代表像素,将显著性值小于第二设定值像素的作为背景代表像素;
代表性元素矩阵构建单元,用于构建与待抠取图像大小相同的两个二值矩阵m和v,如果图像中的像素为代表性像素,则将矩阵m中与该像素对应位置的值设置为1,否则设置为0;如果待抠取图像中的像素为显著目标元素,则将矩阵v中与该像素对应位置的值设置为1,否则设置为0;
显著目标确定单元,用于根据所述二值矩阵m和v计算出待抠取图像中的显著目标像素和背景像素,确定出图像中的显著目标区域,根据确定出的显著性目标区域抠取出图像中的显著性目标;计算图像中显著目标像素和背景像素的公式为:
其中,α*为判断图像中像素是显著目标像素和背景像素的判断标识矩阵,如果矩阵α*中的元素取值为1,则像素为显著目标像素,如果矩阵α*中的元素取值为0,则像素为背景像素;round()为四舍五入取整函数,diag()为对角矩阵构造函数,i、j为待抠取图像中的任意像素点,为在像素点i的特征空间中与像素点i的欧氏距离最近的个像素点构成的集合,表示图像中像素点i与像素点j的密切度,X(i)、X(j)分别表示像素点i和像素点j的特征向量,||X(i)-X(j)||表示X(i)和X(j)的欧氏距离,为由构成的矩阵,为矩阵中第i行第j的元素;m1为将二值矩阵m中的元素先按照元素所在的行顺序、再按照元素的所在的列顺序进行排序后得到的行向量;λ为调整系数、为经验值。
7.根据权利要求6所述的一种图像中显著目标的抠取系统,其特征在于,所述显著性图获取模块包括:
底层特征显著性图计算单元,用于根据待抠取图像的底层特征计算图像的底层特征显著性图Slow;
高层特征显著性图计算单元,用于根据待抠取图像的高层特征计算图像的高层特征显著性图Shigh;
显著性图获取单元,用于根据所述图像的底层特征显著性图Slow和图像的高层特征显著性图Shigh计算得到待抠取图像的显著性图S,计算公式为:
S=Slow×Shigh。
8.根据权利要求7所述的一种图像中显著目标的抠取系统,其特征在于,所述图像的底层特征包括图像的颜色、纹理和目标大小;所述图像的高层特征包括图像中的文字、人脸、动物、身体和目标物体。
9.根据权利要求6至8之一所述的一种图像中显著目标的抠取系统,其特征在于,X(i)=(cos(h),sin(h),s,v,x,y)i;其中,h,s,v分别是像素i在HSV颜色空间的色度值、饱和度和纯度,(x,y)为像素点i的坐标。
10.根据权利要求6至8所述的一种图像中显著目标的抠取系统,其特征在于,λ的优选值为100。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510118282.XA CN104732534B (zh) | 2015-03-18 | 2015-03-18 | 一种图像中显著目标的抠取方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510118282.XA CN104732534B (zh) | 2015-03-18 | 2015-03-18 | 一种图像中显著目标的抠取方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104732534A true CN104732534A (zh) | 2015-06-24 |
CN104732534B CN104732534B (zh) | 2017-06-20 |
Family
ID=53456402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510118282.XA Expired - Fee Related CN104732534B (zh) | 2015-03-18 | 2015-03-18 | 一种图像中显著目标的抠取方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104732534B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107729901A (zh) * | 2016-08-10 | 2018-02-23 | 阿里巴巴集团控股有限公司 | 图像处理模型的建立方法、装置及图像处理方法及系统 |
CN108354818A (zh) * | 2017-11-06 | 2018-08-03 | 田孝东 | 鼻腔污物实时检测器 |
CN110141494A (zh) * | 2019-06-26 | 2019-08-20 | 东莞市精确电子科技有限公司 | 一种洗鼻器及洗鼻方法 |
CN110443805A (zh) * | 2019-07-09 | 2019-11-12 | 浙江大学 | 一种基于像素密切度的语义分割方法 |
CN111833355A (zh) * | 2020-06-05 | 2020-10-27 | 杭州艺旗网络科技有限公司 | 一种抠取图片的方法 |
CN113592893A (zh) * | 2021-08-29 | 2021-11-02 | 浙江工业大学 | 一种确定主体和精准化边缘相结合的图像前景分割方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120294476A1 (en) * | 2011-05-16 | 2012-11-22 | Microsoft Corporation | Salient Object Detection by Composition |
CN102999926A (zh) * | 2012-11-12 | 2013-03-27 | 北京交通大学 | 一种基于底层特征融合的图像视觉显著性计算方法 |
CN103679173A (zh) * | 2013-12-04 | 2014-03-26 | 清华大学深圳研究生院 | 图像显著区域检测方法 |
JP2014167673A (ja) * | 2013-02-28 | 2014-09-11 | Dainippon Printing Co Ltd | 顕著性分析装置 |
CN104217438A (zh) * | 2014-09-19 | 2014-12-17 | 西安电子科技大学 | 基于半监督的图像显著性检测方法 |
-
2015
- 2015-03-18 CN CN201510118282.XA patent/CN104732534B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120294476A1 (en) * | 2011-05-16 | 2012-11-22 | Microsoft Corporation | Salient Object Detection by Composition |
CN102999926A (zh) * | 2012-11-12 | 2013-03-27 | 北京交通大学 | 一种基于底层特征融合的图像视觉显著性计算方法 |
JP2014167673A (ja) * | 2013-02-28 | 2014-09-11 | Dainippon Printing Co Ltd | 顕著性分析装置 |
CN103679173A (zh) * | 2013-12-04 | 2014-03-26 | 清华大学深圳研究生院 | 图像显著区域检测方法 |
CN104217438A (zh) * | 2014-09-19 | 2014-12-17 | 西安电子科技大学 | 基于半监督的图像显著性检测方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107729901A (zh) * | 2016-08-10 | 2018-02-23 | 阿里巴巴集团控股有限公司 | 图像处理模型的建立方法、装置及图像处理方法及系统 |
CN107729901B (zh) * | 2016-08-10 | 2021-04-27 | 阿里巴巴集团控股有限公司 | 图像处理模型的建立方法、装置及图像处理方法及系统 |
CN108354818A (zh) * | 2017-11-06 | 2018-08-03 | 田孝东 | 鼻腔污物实时检测器 |
CN110141494A (zh) * | 2019-06-26 | 2019-08-20 | 东莞市精确电子科技有限公司 | 一种洗鼻器及洗鼻方法 |
CN110443805A (zh) * | 2019-07-09 | 2019-11-12 | 浙江大学 | 一种基于像素密切度的语义分割方法 |
CN111833355A (zh) * | 2020-06-05 | 2020-10-27 | 杭州艺旗网络科技有限公司 | 一种抠取图片的方法 |
CN113592893A (zh) * | 2021-08-29 | 2021-11-02 | 浙江工业大学 | 一种确定主体和精准化边缘相结合的图像前景分割方法 |
CN113592893B (zh) * | 2021-08-29 | 2024-03-05 | 浙江工业大学 | 一种确定主体和精准化边缘相结合的图像前景分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104732534B (zh) | 2017-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
CN111126360B (zh) | 基于无监督联合多损失模型的跨域行人重识别方法 | |
CN107564025B (zh) | 一种基于深度神经网络的电力设备红外图像语义分割方法 | |
CN104732534B (zh) | 一种图像中显著目标的抠取方法及系统 | |
CN107833213B (zh) | 一种基于伪真值自适应法的弱监督物体检测方法 | |
CN108520226B (zh) | 一种基于躯体分解和显著性检测的行人重识别方法 | |
CN102663391B (zh) | 一种图像的多特征提取与融合方法及系统 | |
CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
CN104462494B (zh) | 一种基于无监督特征学习的遥感图像检索方法及系统 | |
US8503792B2 (en) | Patch description and modeling for image subscene recognition | |
CN111767882A (zh) | 一种基于改进yolo模型的多模态行人检测方法 | |
CN105761238B (zh) | 一种通过灰度统计数据深度信息提取显著目标的方法 | |
CN103020265B (zh) | 图像检索的方法和系统 | |
US10803116B2 (en) | Logo detection system for automatic image search engines | |
CN102662949A (zh) | 一种基于多特征融合的指定目标检索方法及系统 | |
CN105243154B (zh) | 基于显著点特征和稀疏自编码的遥感图像检索方法及系统 | |
EP1700269A2 (en) | Detection of sky in digital color images | |
CN108846404B (zh) | 一种基于相关约束图排序的图像显著性检测方法及装置 | |
CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
CN106780639B (zh) | 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法 | |
CN111382690B (zh) | 基于多损失融合模型的车辆再识别方法 | |
CN102176208A (zh) | 基于三维空时特征的鲁棒视频指纹方法 | |
CN111814705B (zh) | 一种基于批次分块遮挡网络的行人再辨识方法 | |
CN114067444A (zh) | 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统 | |
CN103678552A (zh) | 基于显著区域特征的遥感影像检索方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170620 Termination date: 20200318 |