CN114998320B - 视觉显著性检测的方法、系统、电子装置和存储介质 - Google Patents
视觉显著性检测的方法、系统、电子装置和存储介质 Download PDFInfo
- Publication number
- CN114998320B CN114998320B CN202210841227.3A CN202210841227A CN114998320B CN 114998320 B CN114998320 B CN 114998320B CN 202210841227 A CN202210841227 A CN 202210841227A CN 114998320 B CN114998320 B CN 114998320B
- Authority
- CN
- China
- Prior art keywords
- value
- pixel
- block
- superpixel
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000000007 visual effect Effects 0.000 title claims abstract description 32
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000000694 effects Effects 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 43
- 230000011218 segmentation Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种视觉显著性检测的方法、系统、电子装置和存储介质,通过将RGB图像分为多个通道图像,获得每个通道图像的多个第一超像素块以及对应的特异性指标,进而获取每个第一超像素块中每个像素点的显著性值;获取灰度图像中每个像素点对应的局部显著度,结合每个像素点的局部显著度和显著性值得到该像素点对应的第一显著值;获得深度图像的多个第二超像素块,以及每个第二超像素块的深度调整值,根据每个第二超像素块的深度调整值获得该第二超像素块内每个像素点的第二显著值,基于每个像素点的第一显著值和第二显著值得到最终显著性检测效果图,解决了相关技术中传统的显著性检测方法存在检测效果较差、运算复杂度高和效率低的问题。
Description
技术领域
本申请涉及图像数据处理技术领域,特别是涉及视觉显著性检测的方法、系统、电子装置和存储介质。
背景技术
显著性检测技术是立体视频处理技术的一个重要组成部分,也是许多不同的应用程序对图像处理的基础,尤其在目标检测与识别、图像压缩、视觉导航、图像质量评估和医学影像分析等方面具有广泛的应用。可以通过显著性检测技术获取立体视频的视觉显著区域,进一步对视觉显著区域的视频图像质量进行完善提高,从而减少非视觉显著区域的处理时间以及降低了对视觉显著区域分析检测精度的影响。随着三维立体技术的发展,围绕3D图像和视频处理产生了一系列新的研究方向,如医学图像的三维重建、医用立体手术导航、三维感知技术、三维场景理解等。而传统的2D图像显著性检测己经不能满足这些新兴的3D研究的需要。在相关技术中,传统的2D图像显著性检测方法在显著性特征提取时仍然存在一定的局限性,且对于复杂场景的图像中进行显著性检测的效果较差、运算的复杂度较高,效率较低。
目前针对相关技术中传统的2D图像显著性检测方法,存在显著性检测的效果较差、运算的复杂度较高和效率较低的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种视觉显著性检测的方法、系统、电子装置和存储介质,以至少解决相关技术中传统的2D图像显著性检测方法,存在显著性检测的效果较差、运算的复杂度较高和效率较低的问题。
第一方面,本申请实施例提供了一种视觉显著性检测的方法,所述方法包括:
获取目标物体对应的RGB图像与深度图像,将所述RGB图像划分为多个通道图像;
对每个所述通道图像进行超像素分割得到多个第一超像素块,基于每个所述第一超像素块中像素值的差异得到每个所述第一超像素块的特异性指标,根据每个所述第一超像素块的特异性指标得到对应的显著性值,其中,所述第一超像素块的显著性值为所述第一超像素块中每个像素点的显著性值;
获取所述RGB图像对应的灰度图像,选取所述灰度图像中任意像素点为中心像素点构建窗口,基于所述窗口内每个像素点的灰度值得到所述中心像素点的中心灰度向量,根据所述中心灰度向量得到所述中心像素点对应的局部显著度;
根据所述第一超像素块中每个像素点的显著性值以及所述局部显著度得到所述第一超像素块内每个像素点的第一显著值;
对所述深度图像进行超像素分割得到多个第二超像素块,获取每个所述第二超像素块对应的深度值,基于所述深度值将所有所述第二超像素块分为多个类别,对每个类别内的所述第二超像素块的深度值进行深度调整得到每个所述第二超像素块的深度调整值,根据每个所述第二超像素块的深度调整值得到所述第二超像素块的显著性值,其中,所述第二超像素块的显著性值为所述第二超像素块内每个像素点的第二显著值;
基于每个像素点的所述第一显著值与每个像素点的所述第二显著值得到像素点的最终显著性值,根据每个像素点的所述最终显著性值得到所述目标物体的最终显著性检测效果图。
在其中一些实施例中,所述基于每个所述第一超像素块中像素值的差异得到每个所述第一超像素块的特异性指标包括:
获取任意所述第一超像素块的通道值,其中,所述通道值为所述第一超像素块内所有像素点在对应通道图像中像素值的均值;
识别所述第一超像素块的多个相似像素块,根据所述第一超像素块与所述相似像素块之间的通道值差异得到所述第一超像素块的特异性指标。
在其中一些实施例中,识别所述第一超像素块的多个相似像素块包括:
识别与所述第一超像素块存在公共边的其余第一超像素块为所述第一超像素块的第一相似块;
获取与每个所述第一相似块具有公共边的第一超像素块为第二相似块,所述第一相似块与所述第二相似块均为所述第一超像素块的相似像素块。
在其中一些实施例中,根据所述中心灰度向量得到所述中心像素点对应的局部显著度包括:
获取所述中心灰度向量的多个邻域灰度向量,其中,所述邻域灰度向量由所述中心灰度向量对应窗口的多个邻域窗口得到;
根据所述中心灰度向量与每个所述邻域灰度向量之间的欧式距离得到每个所述邻域窗口对应的灰度表征值;
根据所有所述邻域窗口的灰度表征值得到所述中心灰度向量对应窗口中所述中心像素点的局部显著度。
在其中一些实施例中,所述对每个类别内的所述第二超像素块的深度值进行深度调整得到每个所述第二超像素块的深度调整值包括:
对所述第二超像素块进行深度调整的计算公式为:
其中,表示第个类别中第个第二超像素块的深度调整值,表示第个第二超像素块的深度值,表示该类别内第个第二超像素块与第个第二超像
素块之间的欧式距离,表示第个第二超像素块的深度值,表示第个类别中所有
第二超像素块的数量,表示模型权重。
在其中一些实施例中,所述根据每个所述第二超像素块的深度调整值得到所述第二超像素块的显著性值包括:
获取每个像素点对应的视差值,基于所述视差值得到每个所述第二超像素块对应的深度显著指标优化因子;
根据每个所述第二超像素块对应的所述深度调整值与所述深度显著指标优化因子的乘积得到所述第二超像素块的显著性值。
在其中一些实施例中,所述获取每个所述第二超像素块对应的深度值包括:
获取所述第二超像素块中所有像素点的深度值,所有所述像素点深度值的均值为所述第二超像素块的深度值。
第二方面,本申请实施例提供了一种视觉显著性检测的系统,所述系统包括获取模块、分割模块和构建模块,
所述获取模块,用于获取目标物体对应的RGB图像与深度图像,将所述RGB图像划分为多个通道图像;
所述分割模块,用于对每个所述通道图像进行超像素分割得到多个第一超像素块,基于每个所述第一超像素块中像素值的差异得到每个所述第一超像素块的特异性指标,根据每个所述第一超像素块的特异性指标得到对应的显著性值,其中,所述第一超像素块的显著性值为所述第一超像素块中每个像素点的显著性值;
所述构建模块,用于获取所述RGB图像对应的灰度图像,选取所述灰度图像中任意像素点为中心像素点构建窗口,基于所述窗口内每个像素点的灰度值得到所述中心像素点的中心灰度向量,根据所述中心灰度向量得到所述中心像素点对应的局部显著度;
所述获取模块,还用于根据所述第一超像素块中每个像素点的显著性值以及所述局部显著度得到所述第一超像素块内每个像素点的第一显著值;
所述分割模块,还用于对所述深度图像进行超像素分割得到多个第二超像素块,获取每个所述第二超像素块对应的深度值,基于所述深度值将所有所述第二超像素块分为多个类别,对每个类别内的所述第二超像素块的深度值进行深度调整得到每个所述第二超像素块的深度调整值,根据每个所述第二超像素块的深度调整值得到所述第二超像素块的显著性值,其中,所述第二超像素块的显著性值为所述第二超像素块内每个像素点的第二显著值;
所述获取模块,还用于基于每个像素点的所述第一显著值与每个像素点的所述第二显著值得到像素点的最终显著性值,根据每个像素点的所述最终显著性值得到所述目标物体的最终显著性检测效果图。
第三方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的视觉显著性检测的方法。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的视觉显著性检测的方法。
相比于相关技术,本申请实施例提供的视觉显著性检测的方法,通过获取物体的RGB图像与深度图像对立体图像的视觉显著性进行检测,将获取得到RGB图像分为多个通道图像,基于每个通道图像进行超像素分割得到多个第一超像素块,对每个第一超像素块中的像素值进行分析得到第一超像素块对应的特异性指标,进而获取每个第一超像素块中每个像素点的显著性值。将RGB图像转化为灰度图像继续分析,根据灰度图像中每个像素点的灰度值得到该像素点对应的局部显著度,结合每个像素点的局部显著度和显著性值得到该像素点对应的第一显著值。进一步的,对深度图像进行超像素分割得到多个第二超像素块,对每个第二超像素块的深度值进行调整得到对应的深度调整值,根据每个第二超像素块的深度调整值计算得到该第二超像素块内每个像素点的第二显著值,基于每个像素点的第一显著值和第二显著值得到该像素点对应的最终显著性值,进而构成立体图像的最终显著性检测效果图。即本实施例结合立体图像的颜色信息的特异性、深度信息增强以及空间位置的距离对显著性进行检测计算,提高了显著性检测的精度与效率,解决了相关技术中传统的2D图像显著性检测方法,存在显著性检测的效果较差、运算的复杂度较高和效率较低的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的视觉显著性检测的方法的流程图;
图2是根据本申请实施例的视觉显著性检测的系统的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本实施例提供了一种视觉显著性检测的方法,图1是根据本申请实施例的视觉显著性检测的方法的流程图,如图1所示,该方法包括如下步骤:
步骤S101,获取目标物体对应的RGB图像与深度图像,将RGB图像划分为多个通道图像;在实际应用中,可设置RGB-D相机作为图像采集设备对目标物体进行图像采集,其中,具体相机的类别以及摄像头的拍摄范围可由实施者根据实际情况自行选取,例如,可采用kinect双目相机进行图像采集,从而得到待处理的RGB图像以及深度图像,由RGB图像与深度图像可获得对应的立体图像。
为了提高后续对立体图像的显著性检测的准确度,本发明实施例中的RGB图像以及深度图像均为经过去噪处理的图像。对于RGB图像,本发明实施例中将该RGB图像进行通道分离从而得到多个通道对应的通道图像,即红色通道图像、绿色通道图像以及蓝色通道图像,基于通道分离后的多个通道图像以及深度图像进行对立体图像的显著性分析。
步骤S102,对每个通道图像进行超像素分割得到多个第一超像素块,基于每个第一超像素块中像素值的差异得到每个第一超像素块的特异性指标,根据每个第一超像素块的特异性指标得到对应的显著性值,其中,第一超像素块的显著性值为第一超像素块中每个像素点的显著性值;本实施例中,对每张通道图像的颜色信息进行分析,为了提高分析的准确度,利用超像素分割算法对每个通道图像进行分割,即每张通道图像被划分为多个第一超像素块。
步骤S103,获取RGB图像对应的灰度图像,选取灰度图像中任意像素点为中心像素点构建窗口,基于窗口内每个像素点的灰度值得到中心像素点的中心灰度向量,根据中心灰度向量得到中心像素点对应的局部显著度;本实施例中,为了减少对图像分析的误差,提高显著性检测的准确度,将RGB图像进行灰度化处理得到对应的灰度图像,对获取到的灰度图像继续进行显著性分析,具体灰度化的方法为常规手段,不再赘述。
步骤S104,根据第一超像素块中每个像素点的显著性值以及局部显著度得到第一超像素块内每个像素点的第一显著值;具体的,第一显著值为下述公式1所示:
其中,表示每个像素点对应的第一显著值,表示该像素点在红色通道图像中
对应的显著性值,表示该像素点在绿色通道图像中对应的显著性值,表示该像素点在
蓝色通道图像中对应的显著性值,表示该像素点对应的局部显著度,基于上述获取第一
显著值相同的方法,得到立体图像中每个像素点对应的第一显著值。
步骤S105,对深度图像进行超像素分割得到多个第二超像素块,获取每个第二超像素块对应的深度值,基于深度值将所有第二超像素块分为多个类别,对每个类别内的第二超像素块的深度值进行深度调整得到每个第二超像素块的深度调整值,根据每个第二超像素块的深度调整值得到第二超像素块的显著性值,其中,第二超像素块的显著性值为第二超像素块内每个像素点的第二显著值;本实施例中,进行类别划分的方法可以采用聚类算法进行分类,例如,k-means聚类算法。
具体的,利用超像素分割算法对深度图像进行分割得到多个第二超像素块,获取第二超像素块中所有像素点的深度值,所有像素点深度值的均值为第二超像素块的深度值。
步骤S106,基于每个像素点的第一显著值与每个像素点的第二显著值得到像素点的最终显著性值,根据每个像素点的最终显著性值得到目标物体的最终显著性检测效果图。
可选的,像素点的最终显著性值由像素点的第一显著值与第二显著值的加权求和得到,即该最终显著性值为下述公式2所示:
基于相同的方法得到每个像素点对应的最终显著性值,以每个像素点的最终显著性值作为该像素点的像素值构成最终显著性检测效果图,从而实现了对立体图像的视觉显著性的准确提取。
通过步骤S101至步骤S106,相对于相关技术中传统的2D图像显著性检测方法,存在显著性检测的效果较差、运算的复杂度较高和效率较低的问题,本实施例通过获取物体的RGB图像与深度图像对立体图像的视觉显著性进行检测,将获取得到RGB图像分为多个通道图像,基于每个通道图像进行超像素分割得到多个第一超像素块,对每个第一超像素块中的像素值进行分析得到第一超像素块对应的特异性指标,进而获取每个第一超像素块中每个像素点的显著性值。将RGB图像转化为灰度图像继续分析,根据灰度图像中每个像素点的灰度值得到该像素点对应的局部显著度,结合每个像素点的局部显著度和显著性值得到该像素点对应的第一显著值。进一步的,对深度图像进行超像素分割得到多个第二超像素块,对每个第二超像素块的深度值进行调整得到对应的深度调整值,根据每个第二超像素块的深度调整值计算得到该第二超像素块内每个像素点的第二显著值,基于每个像素点的第一显著值和第二显著值得到该像素点对应的最终显著性值,进而构成立体图像的最终显著性检测效果图。即本实施例结合立体图像的颜色信息的特异性、深度信息增强以及空间位置的距离对显著性进行检测计算,提高了显著性检测的精度与效率,解决了相关技术中传统的2D图像显著性检测方法,存在显著性检测的效果较差、运算的复杂度较高和效率较低的问题。
在其中一些实施例中,基于每个第一超像素块中像素值的差异得到每个第一超像素块的特异性指标包括:
获取任意第一超像素块的通道值,其中,通道值为第一超像素块内所有像素点在对应通道图像中像素值的均值;
识别第一超像素块的多个相似像素块,根据第一超像素块与相似像素块之间的通道值差异得到第一超像素块的特异性指标,如下述公式3所示:
其中,表示第个第一超像素块对应的特异性指标,表示第个相似像素块对
应的权值,由实施者自行设定,表示第个第一超像素块对应的通道值,表示第个相似
像素块对应的通道值,表示模型参数,由实施者自行设定,表示第个第一超像素
块与第个相似像素块在当前通道图像中的欧式距离,表示第个第一超像素块与
第个相似像素块在深度图像中对应的欧式距离,需要说明的是,超像素块之间的欧式距离
均为每两个超像素块内中心像素点之间的欧式距离。
以此类推,获取每张通道图像中每个第一超像素块对应的特异性指标,基于每个第一超像素块对应的特异性指标获取每个第一超像素块对应的显著性值,每个第一超像素块的显著性值与第一超像素块的特异性指标呈正相关关系,则第一超像素块的显著性值具体为下述公式4所示:
以此类推,根据每个第一超像素块对应的特异性指标得到对应的显著性值,本发明实施例中将每个第一超像素块对应的显著性值赋予该第一超像素块中每一个像素点,即该第一超像素块中每个像素点的显著性值为对应第一超像素块的显著性值,由此得到所有像素点对应的显著性值。
可选的,识别第一超像素块的多个相似像素块包括:
识别与第一超像素块存在公共边的其余第一超像素块为第一超像素块的第一相似块;获取与每个第一相似块具有公共边的第一超像素块为第二相似块,第一相似块与第二相似块均为第一超像素块的相似像素块。
在其中一些实施例中,根据中心灰度向量得到中心像素点对应的局部显著度包括:
获取中心灰度向量的多个邻域灰度向量,其中,邻域灰度向量由中心灰度向量对应窗口的多个邻域窗口得到;根据中心灰度向量与每个邻域灰度向量之间的欧式距离得到每个邻域窗口对应的灰度表征值;根据所有邻域窗口的灰度表征值得到中心灰度向量对应窗口中中心像素点的局部显著度。
具体的,以灰度图像中任意像素点作为中心像素点构建窗口,窗口大小由实施者自行设定,本发明实施例中以该中心像素点的八邻域像素点构建3*3大小的窗口,将该窗口中除了中心像素点之外所有像素点对应的灰度值按照由小到大的顺序进行排列得到该中心像素点对应的中心灰度向量,如下述公式5所示:
其中,表示该中心像素点对应的中心灰度向量,表示该窗口内除了中心像素
点之外所有像素点中灰度值最小值,表示该窗口内除了中心像素点之外所有像素点中
灰度值最大值,即除中心像素点之外,窗口内共有八个像素点,八个像素点对应的灰度值从
小到大排列为、、、、、、和。
然后,获取该中心像素点所构成窗口的八邻域窗口,每个邻域窗口的大小均为3*3,相应的,获取每个邻域窗口内中心点对应的邻域灰度向量,获取每个邻域灰度向量与该中心灰度向量之间的欧式距离,基于得到欧式距离的大小得到每个邻域窗口的灰度表征值,每个邻域窗口的灰度表征值具体为下述公式6所示:
由此得到每个邻域窗口对应的灰度表征值,基于每个邻域窗口对应的灰度表征值得到该中心像素点的局部显著度为下述公式7所示:
在其中一些实施例中,为了使得深度图像中的显著区域更加突出,对聚类后得到的每个类别中的第二超像素块进行深度调整,以实现对显著区域的显著度进行提升,对第二超像素块进行深度调整的计算公式为下述公式8所示:
其中,表示第个类别中第个第二超像素块的深度调整值,表示第个第二超像素块的深度值,表示该类别内第个第二超像素块与第个第二超像
素块之间的欧式距离,表示第个第二超像素块的深度值,表示第个类别中所有
第二超像素块的数量,表示模型权重,由实施者自行设定,可设置为,以此类推,
获取每个类别中每个第二超像素块对应的深度调整值。
在其中一些实施例中,根据每个第二超像素块的深度调整值得到第二超像素块的显著性值包括:
获取每个像素点对应的视差值,基于视差值得到每个第二超像素块对应的深度显著指标优化因子;根据每个第二超像素块对应的深度调整值与深度显著指标优化因子的乘积得到第二超像素块的显著性值。
为了实现避免对深度图像中显著区域的特征的过度增强,本实施例基于视差信息对显著区域进行后续分析。
具体的,在立体图像中存在比较突出或者特征明显的区域时,人体视觉特征看上去该区域是从图像中凸显出来的,即此时该区域的视差值小于零。视差值大于零的区域是关注度较低的区域,因此本实施例根据每个像素点对应的视差值建立深度显著指标优化因子,用于对深度显著信息进行修正和优化。该深度显著指标优化因子具体为下述公式9所示:
需要说明的是,本发明实施例中每个第二超像素块对应的视差值为该第二超像素块内所有像素点视差值的均值,每个像素点对应视差值的获取手段为现有公知技术,不再赘述。
基于上述获取的每个第二超像素块的深度调整值以及深度显著指标优化因子得到该第二超像素块对应的显著性值为下述公式10所示:
以此类推,获取每个类别中每个第二超像素块的显著性值,且该显著性值为对应第二超像素块中每个像素点对应的第二显著值,从而得到每个像素点对应的第二显著值。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种视觉显著性检测的系统,该系统用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本申请实施例的视觉显著性检测的系统的结构框图,如图2所示,该系统包括获取模块21、分割模块22和构建模块23,获取模块21用于获取目标物体对应的RGB图像与深度图像,将RGB图像划分为多个通道图像,分割模块22用于对每个通道图像进行超像素分割得到多个第一超像素块,基于每个第一超像素块中像素值的差异得到每个第一超像素块的特异性指标,根据每个第一超像素块的特异性指标得到对应的显著性值,其中,第一超像素块的显著性值为第一超像素块中每个像素点的显著性值,构建模块23用于获取RGB图像对应的灰度图像,选取灰度图像中任意像素点为中心像素点构建窗口,基于窗口内每个像素点的灰度值得到中心像素点的中心灰度向量,根据中心灰度向量得到中心像素点对应的局部显著度。
获取模块21还用于根据第一超像素块中每个像素点的显著性值以及局部显著度得到第一超像素块内每个像素点的第一显著值,分割模块22还用于对深度图像进行超像素分割得到多个第二超像素块,获取每个第二超像素块对应的深度值,基于深度值将所有第二超像素块分为多个类别,对每个类别内的第二超像素块的深度值进行深度调整得到每个第二超像素块的深度调整值,根据每个第二超像素块的深度调整值得到第二超像素块的显著性值,其中,第二超像素块的显著性值为第二超像素块内每个像素点的第二显著值,获取模块21还用于基于每个像素点的第一显著值与每个像素点的第二显著值得到像素点的最终显著性值,根据每个像素点的最终显著性值得到目标物体的最终显著性检测效果图,解决了相关技术中传统的2D图像显著性检测方法,存在显著性检测的效果较差、运算的复杂度较高和效率较低的问题。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
另外,结合上述实施例中的视觉显著性检测的方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种视觉显著性检测的方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视觉显著性检测的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种视觉显著性检测的方法,其特征在于,所述方法包括:
获取目标物体对应的RGB图像与深度图像,将所述RGB图像划分为多个通道图像;
对每个所述通道图像进行超像素分割得到多个第一超像素块,基于每个所述第一超像素块中像素值的差异得到每个所述第一超像素块的特异性指标,根据每个所述第一超像素块的特异性指标得到对应的显著性值,其中,所述第一超像素块的显著性值为所述第一超像素块中每个像素点的显著性值,所述基于每个所述第一超像素块中像素值的差异得到每个所述第一超像素块的特异性指标包括:
获取任意所述第一超像素块的通道值,其中,所述通道值为所述第一超像素块内所有像素点在对应通道图像中像素值的均值;
识别所述第一超像素块的多个相似像素块,根据所述第一超像素块与所述相似像素块之间的通道值差异得到所述第一超像素块的特异性指标;
获取所述RGB图像对应的灰度图像,选取所述灰度图像中任意像素点为中心像素点构建窗口,基于所述窗口内每个像素点的灰度值得到所述中心像素点的中心灰度向量,根据所述中心灰度向量得到所述中心像素点对应的局部显著度;
根据所述第一超像素块中每个像素点的显著性值以及所述局部显著度得到所述第一超像素块内每个像素点的第一显著值;
对所述深度图像进行超像素分割得到多个第二超像素块,获取每个所述第二超像素块对应的深度值,基于所述深度值将所有所述第二超像素块分为多个类别,对每个类别内的所述第二超像素块的深度值进行深度调整得到每个所述第二超像素块的深度调整值,根据每个所述第二超像素块的深度调整值得到所述第二超像素块的显著性值,其中,所述第二超像素块的显著性值为所述第二超像素块内每个像素点的第二显著值,其中,所述对每个类别内的所述第二超像素块的深度值进行深度调整得到每个所述第二超像素块的深度调整值包括:
对所述第二超像素块进行深度调整的计算公式为:
其中,表示第个类别中第个第二超像素块的深度调整值,表示第个第二超像素块的深度值,表示该类别内第个第二超像素块与第个第二超像素块之间的欧式距离,表示第个第二超像素块的深度值,表示第个类别中所有第二超像素块的数量,表示模型权重;
基于每个像素点的所述第一显著值与每个像素点的所述第二显著值得到像素点的最终显著性值,根据每个像素点的所述最终显著性值得到所述目标物体的最终显著性检测效果图。
2.根据权利要求1所述的方法,其特征在于,识别所述第一超像素块的多个相似像素块包括:
识别与所述第一超像素块存在公共边的其余第一超像素块为所述第一超像素块的第一相似块;
获取与每个所述第一相似块具有公共边的第一超像素块为第二相似块,所述第一相似块与所述第二相似块均为所述第一超像素块的相似像素块。
3.根据权利要求1所述的方法,其特征在于,根据所述中心灰度向量得到所述中心像素点对应的局部显著度包括:
获取所述中心灰度向量的多个邻域灰度向量,其中,所述邻域灰度向量由所述中心灰度向量对应窗口的多个邻域窗口得到;
根据所述中心灰度向量与每个所述邻域灰度向量之间的欧式距离得到每个所述邻域窗口对应的灰度表征值;
根据所有所述邻域窗口的灰度表征值得到所述中心灰度向量对应窗口中所述中心像素点的局部显著度。
4.根据权利要求1所述的方法,其特征在于,所述根据每个所述第二超像素块的深度调整值得到所述第二超像素块的显著性值包括:
获取每个像素点对应的视差值,基于所述视差值得到每个所述第二超像素块对应的深度显著指标优化因子;
根据每个所述第二超像素块对应的所述深度调整值与所述深度显著指标优化因子的乘积得到所述第二超像素块的显著性值。
5.根据权利要求1所述的方法,其特征在于,所述获取每个所述第二超像素块对应的深度值包括:
获取所述第二超像素块中所有像素点的深度值,所有所述像素点深度值的均值为所述第二超像素块的深度值。
6.一种视觉显著性检测的系统,其特征在于,所述系统包括获取模块、分割模块和构建模块,
所述获取模块,用于获取目标物体对应的RGB图像与深度图像,将所述RGB图像划分为多个通道图像;
所述分割模块,用于对每个所述通道图像进行超像素分割得到多个第一超像素块,基于每个所述第一超像素块中像素值的差异得到每个所述第一超像素块的特异性指标,根据每个所述第一超像素块的特异性指标得到对应的显著性值,其中,所述第一超像素块的显著性值为所述第一超像素块中每个像素点的显著性值,所述基于每个所述第一超像素块中像素值的差异得到每个所述第一超像素块的特异性指标包括:
获取任意所述第一超像素块的通道值,其中,所述通道值为所述第一超像素块内所有像素点在对应通道图像中像素值的均值;
识别所述第一超像素块的多个相似像素块,根据所述第一超像素块与所述相似像素块之间的通道值差异得到所述第一超像素块的特异性指标;
所述构建模块,用于获取所述RGB图像对应的灰度图像,选取所述灰度图像中任意像素点为中心像素点构建窗口,基于所述窗口内每个像素点的灰度值得到所述中心像素点的中心灰度向量,根据所述中心灰度向量得到所述中心像素点对应的局部显著度;
所述获取模块,还用于根据所述第一超像素块中每个像素点的显著性值以及所述局部显著度得到所述第一超像素块内每个像素点的第一显著值;
所述分割模块,还用于对所述深度图像进行超像素分割得到多个第二超像素块,获取每个所述第二超像素块对应的深度值,基于所述深度值将所有所述第二超像素块分为多个类别,对每个类别内的所述第二超像素块的深度值进行深度调整得到每个所述第二超像素块的深度调整值,根据每个所述第二超像素块的深度调整值得到所述第二超像素块的显著性值,其中,所述第二超像素块的显著性值为所述第二超像素块内每个像素点的第二显著值,其中,所述对每个类别内的所述第二超像素块的深度值进行深度调整得到每个所述第二超像素块的深度调整值包括:
对所述第二超像素块进行深度调整的计算公式为:
其中,表示第个类别中第个第二超像素块的深度调整值,表示第个第二超像素块的深度值,表示该类别内第个第二超像素块与第个第二超像素块之间的欧式距离,表示第个第二超像素块的深度值,表示第个类别中所有第二超像素块的数量,表示模型权重;
所述获取模块,还用于基于每个像素点的所述第一显著值与每个像素点的所述第二显著值得到像素点的最终显著性值,根据每个像素点的所述最终显著性值得到所述目标物体的最终显著性检测效果图。
7.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的视觉显著性检测的方法。
8.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至5中任一项所述的视觉显著性检测的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210841227.3A CN114998320B (zh) | 2022-07-18 | 2022-07-18 | 视觉显著性检测的方法、系统、电子装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210841227.3A CN114998320B (zh) | 2022-07-18 | 2022-07-18 | 视觉显著性检测的方法、系统、电子装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114998320A CN114998320A (zh) | 2022-09-02 |
CN114998320B true CN114998320B (zh) | 2022-12-16 |
Family
ID=83022238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210841227.3A Active CN114998320B (zh) | 2022-07-18 | 2022-07-18 | 视觉显著性检测的方法、系统、电子装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114998320B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115331094B (zh) * | 2022-10-11 | 2023-01-24 | 山东辰升科技有限公司 | 一种基于无人机遥感的海洋安全监测方法及系统 |
CN116503393B (zh) * | 2023-06-26 | 2023-09-08 | 深圳市创智捷科技有限公司 | 基于图像处理的线路板等离子纳米镀膜质量检测方法 |
CN118014991B (zh) * | 2024-04-08 | 2024-06-14 | 青岛山大齐鲁医院(山东大学齐鲁医院(青岛)) | 基于机器视觉的瘢痕轮廓快速检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107369131A (zh) * | 2017-07-04 | 2017-11-21 | 华中科技大学 | 图像的显著性检测方法、装置、存储介质和处理器 |
CN110189294A (zh) * | 2019-04-15 | 2019-08-30 | 杭州电子科技大学 | 基于深度可信度分析的rgb-d图像显著性检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110088805B (zh) * | 2016-12-20 | 2023-06-06 | 柯达阿拉里斯股份有限公司 | 用于检测和分割多个前景对象的方法 |
CN109741293A (zh) * | 2018-11-20 | 2019-05-10 | 武汉科技大学 | 显著性检测方法及装置 |
CN109636784B (zh) * | 2018-12-06 | 2021-07-27 | 西安电子科技大学 | 基于最大邻域和超像素分割的图像显著性目标检测方法 |
CN113470054B (zh) * | 2021-06-17 | 2024-04-16 | 浙江工业大学 | 一种基于边缘概率的口腔cbct超像素生成方法 |
-
2022
- 2022-07-18 CN CN202210841227.3A patent/CN114998320B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107369131A (zh) * | 2017-07-04 | 2017-11-21 | 华中科技大学 | 图像的显著性检测方法、装置、存储介质和处理器 |
CN110189294A (zh) * | 2019-04-15 | 2019-08-30 | 杭州电子科技大学 | 基于深度可信度分析的rgb-d图像显著性检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114998320A (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114998320B (zh) | 视觉显著性检测的方法、系统、电子装置和存储介质 | |
US11562498B2 (en) | Systems and methods for hybrid depth regularization | |
KR101537174B1 (ko) | 스테레오스코픽 영상에서의 주요 객체 검출 방법 | |
US10198623B2 (en) | Three-dimensional facial recognition method and system | |
CN110222787B (zh) | 多尺度目标检测方法、装置、计算机设备及存储介质 | |
WO2018000752A1 (zh) | 一种基于多尺度cnn和连续crf的单目图像深度估计方法 | |
Nalpantidis et al. | Biologically and psychophysically inspired adaptive support weights algorithm for stereo correspondence | |
CN111583220B (zh) | 影像数据检测方法和装置 | |
CN102665086B (zh) | 利用基于区域的局部立体匹配获取视差的方法 | |
CN110381268B (zh) | 生成视频的方法,装置,存储介质及电子设备 | |
WO2018082389A1 (zh) | 一种肤色检测方法、装置及终端 | |
US9111350B1 (en) | Conversion of monoscopic visual content to stereoscopic 3D | |
KR20110014067A (ko) | 스테레오 컨텐트의 변환 방법 및 시스템 | |
CN106530336B (zh) | 基于色彩信息和图割理论的立体匹配方法 | |
CN107871321B (zh) | 图像分割方法及装置 | |
CN111611934A (zh) | 一种人脸检测模型生成和人脸检测方法、装置及设备 | |
CN112884682A (zh) | 一种基于匹配与融合的立体图像颜色校正方法及系统 | |
Haq et al. | An edge-aware based adaptive multi-feature set extraction for stereo matching of binocular images | |
CN107155100B (zh) | 一种基于图像的立体匹配方法及装置 | |
EP2932710B1 (en) | Method and apparatus for segmentation of 3d image data | |
CN107464273B (zh) | 图像风格刷的实现方法与装置 | |
CN108377379B (zh) | 影像深度信息的优化方法与影像处理装置 | |
CN111695573B (zh) | 一种基于显著目标深度动态调节的视疲劳缓解系统及方法 | |
Dumont et al. | Real-time local stereo matching using edge sensitive adaptive windows | |
Doan et al. | Hole-Filling Algorithm with Spatio-Temporal Background Information for View Synthesis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |