CN106682599B - 一种基于稀疏表示的立体图像视觉显著提取方法 - Google Patents

一种基于稀疏表示的立体图像视觉显著提取方法 Download PDF

Info

Publication number
CN106682599B
CN106682599B CN201611156751.8A CN201611156751A CN106682599B CN 106682599 B CN106682599 B CN 106682599B CN 201611156751 A CN201611156751 A CN 201611156751A CN 106682599 B CN106682599 B CN 106682599B
Authority
CN
China
Prior art keywords
rgb
image
log
coordinate position
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611156751.8A
Other languages
English (en)
Other versions
CN106682599A (zh
Inventor
周武杰
顾鹏笠
张爽爽
潘婷
蔡星宇
邱薇薇
周扬
赵颖
陈芳妮
陈寿法
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Donglong Color Printing Packaging Printing Co ltd
Original Assignee
Zhejiang Lover Health Science and Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lover Health Science and Technology Development Co Ltd filed Critical Zhejiang Lover Health Science and Technology Development Co Ltd
Priority to CN201611156751.8A priority Critical patent/CN106682599B/zh
Publication of CN106682599A publication Critical patent/CN106682599A/zh
Application granted granted Critical
Publication of CN106682599B publication Critical patent/CN106682599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于稀疏表示的立体图像视觉显著提取方法，其在字典学习阶段，先获取每幅立体图像的左视点图像的左视点视觉特征图和右视点图像的右视点视觉特征图，然后根据左视点图像和右视点图像及两者之间的视差图像、左视点视觉特征图和右视点视觉特征图，获取每幅立体图像的左右视点融合图像，接着根据所有左右视点融合图像进行联合字典训练操作得到融合图像字典表；在显著预测阶段，以相同的方式获取待视觉显著提取的立体图像的左右视点融合图像，然后根据融合图像字典表对左右视点融合图像进行处理得到融合稀疏特征图，进而提取得到视觉显著图；优点是符合显著语义特征，且具有较强的提取稳定性和较高的提取准确性。

Description

一种基于稀疏表示的立体图像视觉显著提取方法
技术领域
本发明涉及一种图像信号的处理方法，尤其是涉及一种基于稀疏表示的立体图像视觉显著提取方法。
背景技术
在人类视觉接收与信息处理中，由于大脑资源有限以及外界环境信息重要性区别，因此在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们在观看图像或者视频片段时注意力并非均匀分布到图像的每个区域，而是对某些显著区域关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来是计算机视觉以及基于内容的视频检索领域的一个重要的研究内容。而随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，针对立体图像/视频的显著区域检测及建模也是一个非常重要的研究内容。
然而，立体图像并不是平面图像的简单空间拓展，因此人眼感知立体图像产生立体视觉的过程也不是简单的左视点图像和右视点图像叠加的过程，因此，立体视觉特征(例如：三维视觉注意力)并不是平面视觉特性的简单拓展。然而，现有的立体图像显著提取方法还停留在平面图像显著提取方法的简单拓展上。因此，如何从立体图像中有效地提取出立体视觉特征、如何使得提取出的立体视觉特征符合人眼三维观看行为都是在对立体图像进行视觉显著图提取过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种基于稀疏表示的立体图像视觉显著提取方法，其符合显著语义特征，且具有较强的提取稳定性和较高的提取准确性。
本发明解决上述技术问题所采用的技术方案为：一种基于稀疏表示的立体图像视觉显著提取方法，其特征在于包括字典学习阶段和显著预测阶段两个过程；
所述的字典学习阶段的具体步骤如下：
①_1、选取K幅宽度为W且高度为H的立体图像，将第k幅立体图像记为SRGB,k，将SRGB,k的左视点图像记为{LRGB,k(x,y)}，将SRGB,k的右视点图像记为{RRGB,k(x,y)}，其中，1≤K≤100，1≤k≤K，1≤x≤W,1≤y≤H，LRGB,k(x,y)表示{LRGB,k(x,y)}中坐标位置为(x,y)的像素点的像素值，RRGB,k(x,y)表示{RRGB,k(x,y)}中坐标位置为(x,y)的像素点的像素值；
①_2、根据每幅立体图像的左视点图像和右视点图像，并采用块匹配方法，计算每幅立体图像的左视点图像与右视点图像之间的视差图像，将{LRGB,k(x,y)}与{RRGB,k(x,y)}之间的视差图像记为{dk(x,y)}，其中，dk(x,y)表示{dk(x,y)}中坐标位置为(x,y)的像素点的像素值；
①_3、采用LOG滤波方法，对每幅立体图像的左视点图像进行操作，得到每幅立体图像的左视点图像的左视点视觉特征图，将{LRGB,k(x,y)}的左视点视觉特征图记为{LLOG,k(x,y)}，其中，LLOG,k(x,y)表示{LLOG,k(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，采用LOG滤波方法，对每幅立体图像的右视点图像进行操作，得到每幅立体图像的右视点图像的右视点视觉特征图，将{RRGB,k(x,y)}的右视点视觉特征图记为{RLOG,k(x,y)}，其中，RLOG,k(x,y)表示{RLOG,k(x,y)}中坐标位置为(x,y)的像素点的像素值；
①_4、根据每幅立体图像的左视点图像和右视点图像、左视点图像与右视点图像之间的视差图像、左视点图像的左视点视觉特征图和右视点图像的右视点视觉特征图，计算每幅立体图像的左右视点融合图像，将SRGB,k的左右视点融合图像记为{RL,R,k(x,y)}，其中，RL,R,k(x,y)表示{RL,R,k(x,y)}中坐标位置为(x,y)的像素点的像素值；
①_5、采用K-SVD方法，对所有立体图像的左右视点融合图像进行联合字典训练操作，得到融合图像字典表，记为{Dc(x,y)}，其中，Dc(x,y)表示{Dc(x,y)}中坐标位置为(x,y)的像素点的像素值；
所述的显著预测阶段的具体步骤如下：
②_1、令SRGB表示宽度为W且高度为H的待视觉显著提取的立体图像，将SRGB的左视点图像记为{LRGB(x,y)}，将SRGB的右视点图像记为{RRGB(x,y)}，其中，1≤x≤W,1≤y≤H，LRGB(x,y)表示{LRGB(x,y)}中坐标位置为(x,y)的像素点的像素值，RRGB(x,y)表示{RRGB(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_2、根据{LRGB(x,y)}和{RRGB(x,y)}，采用块匹配方法，计算{LRGB(x,y)}与{RRGB(x,y)}之间的视差图像，记为{d(x,y)}，其中，d(x,y)表示{d(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_3、采用LOG滤波方法，对{LRGB(x,y)}进行操作，得到{LRGB(x,y)}的左视点视觉特征图，记为{LLOG(x,y)}，其中，LLOG(x,y)表示{LLOG(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，采用LOG滤波方法，对{RRGB(x,y)}进行操作，得到{RRGB(x,y)}的右视点视觉特征图，记为{RLOG(x,y)}，其中，RLOG(x,y)表示{RLOG(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_4、根据{LRGB(x,y)}和{RRGB(x,y)}、{d(x,y)}、{LLOG(x,y)}和{RLOG(x,y)}，计算SRGB的左右视点融合图像，记为{RL,R(x,y)}，其中，RL,R(x,y)表示{RL,R(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_5、根据字典学习阶段得到的融合图像字典表{Dc(x,y)}，并采用K-SVD求解方法对{RL,R(x,y)}进行处理，得到SRGB的融合稀疏特征图，记为{SR(x,y)}，其中，SR(x,y)表示{SR(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_6、采用中央周边差操作对{SR(x,y)}中的所有像素点的像素值进行处理，得到SRGB的视觉显著图，记为{S(x,y)}，其中，S(x,y)表示{S(x,y)}中坐标位置为(x,y)的像素点的像素值。
所述的步骤①_4中的
Figure BDA0001180782650000041
Figure BDA0001180782650000042
其中，RRGB,k(x+dk(x,y),y)表示{RRGB,k(x,y)}中坐标位置为(x+dk(x,y),y)的像素点的像素值，RLOG,k(x+dk(x,y),y)表示{RLOG,k(x,y)}中坐标位置为(x+dk(x,y),y)的像素点的像素值。
所述的步骤②_4中的
Figure BDA0001180782650000043
Figure BDA0001180782650000044
其中，RRGB(x+d(x,y),y)表示{RRGB(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值，RLOG(x+d(x,y),y)表示{RLOG(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值。
与现有技术相比，本发明的优点在于：
1)本发明方法采用双目融合模型对左右视点进行融合，左右视点融合图像很好的模拟了双目视觉特性，为提高视觉显著值预测的准确性和稳定性做了准备。
2)本发明方法采用稀疏表示的方法提取融合稀疏特征图，提取的融合稀疏特征图能够较好地反映各种因素的显著变化情况，符合显著语义特征。
3)本发明方法采用了中央周边差操作对融合稀疏特征图中的所有像素点的像素值进行处理，并最终获得立体图像的视觉显著图，通过这个过程进一步提高了视觉显著值的预测准确性和预测稳定性，从而进一步提高了立体图像的视觉显著图的提取稳定性和提取准确性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于稀疏表示的立体图像视觉显著提取方法，其总体实现框图如图1所示，其包括字典学习阶段和显著预测阶段两个过程。
所述的字典学习阶段的具体步骤如下：
①_1、选取K幅宽度为W且高度为H的立体图像，将第k幅立体图像记为SRGB,k，将SRGB,k的左视点图像记为{LRGB,k(x,y)}，将SRGB,k的右视点图像记为{RRGB,k(x,y)}，其中，1≤K≤100，如可取K＝60，1≤k≤K，1≤x≤W,1≤y≤H，LRGB,k(x,y)表示{LRGB,k(x,y)}中坐标位置为(x,y)的像素点的像素值，RRGB,k(x,y)表示{RRGB,k(x,y)}中坐标位置为(x,y)的像素点的像素值。
①_2、根据每幅立体图像的左视点图像和右视点图像，并采用现有的块匹配方法，计算每幅立体图像的左视点图像与右视点图像之间的视差图像，将{LRGB,k(x,y)}与{RRGB,k(x,y)}之间的视差图像记为{dk(x,y)}，其中，dk(x,y)表示{dk(x,y)}中坐标位置为(x,y)的像素点的像素值。
①_3、采用现有的LOG(Laplacian of Gaussian)滤波方法，对每幅立体图像的左视点图像进行操作，得到每幅立体图像的左视点图像的左视点视觉特征图，将{LRGB,k(x,y)}的左视点视觉特征图记为{LLOG,k(x,y)}，其中，LLOG,k(x,y)表示{LLOG,k(x,y)}中坐标位置为(x,y)的像素点的像素值。
同样，采用现有的LOG滤波方法，对每幅立体图像的右视点图像进行操作，得到每幅立体图像的右视点图像的右视点视觉特征图，将{RRGB,k(x,y)}的右视点视觉特征图记为{RLOG,k(x,y)}，其中，RLOG,k(x,y)表示{RLOG,k(x,y)}中坐标位置为(x,y)的像素点的像素值。
①_4、根据每幅立体图像的左视点图像和右视点图像、左视点图像与右视点图像之间的视差图像、左视点图像的左视点视觉特征图和右视点图像的右视点视觉特征图，计算每幅立体图像的左右视点融合图像，将SRGB,k的左右视点融合图像记为{RL,R,k(x,y)}，其中，RL,R,k(x,y)表示{RL,R,k(x,y)}中坐标位置为(x,y)的像素点的像素值。
在此具体实施例中，步骤①_4中的
Figure BDA0001180782650000061
Figure BDA0001180782650000062
其中，RRGB,k(x+dk(x,y),y)表示{RRGB,k(x,y)}中坐标位置为(x+dk(x,y),y)的像素点的像素值，RLOG,k(x+dk(x,y),y)表示{RLOG,k(x,y)}中坐标位置为(x+dk(x,y),y)的像素点的像素值。
①_5、采用现有的K-SVD(K-means Singular Value Decomposition)方法，对所有立体图像的左右视点融合图像进行联合字典训练操作，得到融合图像字典表，记为{Dc(x,y)}，其中，Dc(x,y)表示{Dc(x,y)}中坐标位置为(x,y)的像素点的像素值。
所述的显著预测阶段的具体步骤如下：
②_1、令SRGB表示宽度为W且高度为H的待视觉显著提取的立体图像，将SRGB的左视点图像记为{LRGB(x,y)}，将SRGB的右视点图像记为{RRGB(x,y)}，其中，1≤x≤W,1≤y≤H，LRGB(x,y)表示{LRGB(x,y)}中坐标位置为(x,y)的像素点的像素值，RRGB(x,y)表示{RRGB(x,y)}中坐标位置为(x,y)的像素点的像素值。
②_2、根据{LRGB(x,y)}和{RRGB(x,y)}，采用现有的块匹配方法，计算{LRGB(x,y)}与{RRGB(x,y)}之间的视差图像，记为{d(x,y)}，其中，d(x,y)表示{d(x,y)}中坐标位置为(x,y)的像素点的像素值。
②_3、采用现有的LOG滤波方法，对{LRGB(x,y)}进行操作，得到{LRGB(x,y)}的左视点视觉特征图，记为{LLOG(x,y)}，其中，LLOG(x,y)表示{LLOG(x,y)}中坐标位置为(x,y)的像素点的像素值。
同样，采用现有的LOG滤波方法，对{RRGB(x,y)}进行操作，得到{RRGB(x,y)}的右视点视觉特征图，记为{RLOG(x,y)}，其中，RLOG(x,y)表示{RLOG(x,y)}中坐标位置为(x,y)的像素点的像素值。
②_4、根据{LRGB(x,y)}和{RRGB(x,y)}、{d(x,y)}、{LLOG(x,y)}和{RLOG(x,y)}，计算SRGB的左右视点融合图像，记为{RL,R(x,y)}，其中，RL,R(x,y)表示{RL,R(x,y)}中坐标位置为(x,y)的像素点的像素值。
在此具体实施例中，步骤②_4中的
Figure BDA0001180782650000071
Figure BDA0001180782650000072
其中，RRGB(x+d(x,y),y)表示{RRGB(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值，RLOG(x+d(x,y),y)表示{RLOG(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值。
②_5、根据字典学习阶段得到的融合图像字典表{Dc(x,y)}，并采用现有的K-SVD求解方法对{RL,R(x,y)}进行处理，得到SRGB的融合稀疏特征图，记为{SR(x,y)}，其中，SR(x,y)表示{SR(x,y)}中坐标位置为(x,y)的像素点的像素值。
②_6、采用现有的中央周边差操作(Center-surround difference operations)对{SR(x,y)}中的所有像素点的像素值进行处理，得到SRGB的视觉显著图，记为{S(x,y)}，其中，S(x,y)表示{S(x,y)}中坐标位置为(x,y)的像素点的像素值。
为了验证本发明方法的可行性和有效性，进行实验。
在此，采用法国南特大学提供的三维人眼跟踪数据库(3Deye-trackingdatabase)来分析本发明方法的提取准确性和提取稳定性。这里，利用评估视觉显著提取方法的3个常用客观参量作为评价指标，即Pearson相关系数(Pearson linear correlationcoefficient，PLCC)、Kullback-Leibler散度系数(Kullback-Leibler divergence，KLD)、AUC参数(the Area Under the receiver operating characteristics Curve，AUC)。
利用本发明方法获取法国南特大学提供的三维人眼跟踪数据库中的每幅立体图像的视觉显著图，并与三维人眼跟踪数据库中的每幅立体图像的主观视觉显著图(三维人眼跟踪数据库中存在)进行比较，PLCC和AUC值越高、KLD值越低说明本发明方法提取的视觉显著图与主观视觉显著图的一致性越好。反映本发明方法的显著提取性能的PLCC、KLD和AUC相关指标如表1所列。从表1所列的数据可知，按本发明方法提取得到的视觉显著图的提取准确性和提取稳定性是很好的，表明客观提取结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。
表1 利用本发明方法提取得到的视觉显著图的提取准确性和提取稳定性
性能指标 性能指标值
PLCC 0.405
KLD 0.670
AUC 0.673

Claims (1)

1.一种基于稀疏表示的立体图像视觉显著提取方法，其特征在于包括字典学习阶段和显著预测阶段两个过程；
所述的字典学习阶段的具体步骤如下：
①_1、选取K幅宽度为W且高度为H的立体图像，将第k幅立体图像记为SRGB,k，将SRGB,k的左视点图像记为{LRGB,k(x,y)}，将SRGB,k的右视点图像记为{RRGB,k(x,y)}，其中，1≤K≤100，1≤k≤K，1≤x≤W,1≤y≤H，LRGB,k(x,y)表示{LRGB,k(x,y)}中坐标位置为(x,y)的像素点的像素值，RRGB,k(x,y)表示{RRGB,k(x,y)}中坐标位置为(x,y)的像素点的像素值；
①_2、根据每幅立体图像的左视点图像和右视点图像，并采用块匹配方法，计算每幅立体图像的左视点图像与右视点图像之间的视差图像，将{LRGB,k(x,y)}与{RRGB,k(x,y)}之间的视差图像记为{dk(x,y)}，其中，dk(x,y)表示{dk(x,y)}中坐标位置为(x,y)的像素点的像素值；
①_3、采用LOG滤波方法，对每幅立体图像的左视点图像进行操作，得到每幅立体图像的左视点图像的左视点视觉特征图，将{LRGB,k(x,y)}的左视点视觉特征图记为{LLOG,k(x,y)}，其中，LLOG,k(x,y)表示{LLOG,k(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，采用LOG滤波方法，对每幅立体图像的右视点图像进行操作，得到每幅立体图像的右视点图像的右视点视觉特征图，将{RRGB,k(x,y)}的右视点视觉特征图记为{RLOG,k(x,y)}，其中，RLOG,k(x,y)表示{RLOG,k(x,y)}中坐标位置为(x,y)的像素点的像素值；
①_4、根据每幅立体图像的左视点图像和右视点图像、左视点图像与右视点图像之间的视差图像、左视点图像的左视点视觉特征图和右视点图像的右视点视觉特征图，计算每幅立体图像的左右视点融合图像，将SRGB,k的左右视点融合图像记为{RL,R,k(x,y)}，其中，RL,R,k(x,y)表示{RL,R,k(x,y)}中坐标位置为(x,y)的像素点的像素值；
所述的步骤①_4中的
Figure FDA0001985505360000021
，其中，RRGB,k(x+dk(x,y),y)表示{RRGB,k(x,y)}中坐标位置为(x+dk(x,y),y)的像素点的像素值，RLOG,k(x+dk(x,y),y)表示{RLOG,k(x,y)}中坐标位置为(x+dk(x,y),y)的像素点的像素值；
①_5、采用K-SVD方法，对所有立体图像的左右视点融合图像进行联合字典训练操作，得到融合图像字典表，记为{Dc(x,y)}，其中，Dc(x,y)表示{Dc(x,y)}中坐标位置为(x,y)的像素点的像素值；
所述的显著预测阶段的具体步骤如下：
②_1、令SRGB表示宽度为W且高度为H的待视觉显著提取的立体图像，将SRGB的左视点图像记为{LRGB(x,y)}，将SRGB的右视点图像记为{RRGB(x,y)}，其中，1≤x≤W,1≤y≤H，LRGB(x,y)表示{LRGB(x,y)}中坐标位置为(x,y)的像素点的像素值，RRGB(x,y)表示{RRGB(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_2、根据{LRGB(x,y)}和{RRGB(x,y)}，采用块匹配方法，计算{LRGB(x,y)}与{RRGB(x,y)}之间的视差图像，记为{d(x,y)}，其中，d(x,y)表示{d(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_3、采用LOG滤波方法，对{LRGB(x,y)}进行操作，得到{LRGB(x,y)}的左视点视觉特征图，记为{LLOG(x,y)}，其中，LLOG(x,y)表示{LLOG(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，采用LOG滤波方法，对{RRGB(x,y)}进行操作，得到{RRGB(x,y)}的右视点视觉特征图，记为{RLOG(x,y)}，其中，RLOG(x,y)表示{RLOG(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_4、根据{LRGB(x,y)}和{RRGB(x,y)}、{d(x,y)}、{LLOG(x,y)}和{RLOG(x,y)}，计算SRGB的左右视点融合图像，记为{RL,R(x,y)}，其中，RL,R(x,y)表示{RL,R(x,y)}中坐标位置为(x,y)的像素点的像素值；
所述的步骤②_4中的
Figure FDA0001985505360000031
，其中，RRGB(x+d(x,y),y)表示{RRGB(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值，RLOG(x+d(x,y),y)表示{RLOG(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值；
②_5、根据字典学习阶段得到的融合图像字典表{Dc(x,y)}，并采用K-SVD求解方法对{RL,R(x,y)}进行处理，得到SRGB的融合稀疏特征图，记为{SR(x,y)}，其中，SR(x,y)表示{SR(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_6、采用中央周边差操作对{SR(x,y)}中的所有像素点的像素值进行处理，得到SRGB的视觉显著图，记为{S(x,y)}，其中，S(x,y)表示{S(x,y)}中坐标位置为(x,y)的像素点的像素值。
CN201611156751.8A 2016-12-15 2016-12-15 一种基于稀疏表示的立体图像视觉显著提取方法 Active CN106682599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611156751.8A CN106682599B (zh) 2016-12-15 2016-12-15 一种基于稀疏表示的立体图像视觉显著提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611156751.8A CN106682599B (zh) 2016-12-15 2016-12-15 一种基于稀疏表示的立体图像视觉显著提取方法

Publications (2)

Publication Number Publication Date
CN106682599A CN106682599A (zh) 2017-05-17
CN106682599B true CN106682599B (zh) 2020-04-17

Family

ID=58868957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611156751.8A Active CN106682599B (zh) 2016-12-15 2016-12-15 一种基于稀疏表示的立体图像视觉显著提取方法

Country Status (1)

Country Link
CN (1) CN106682599B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665488B (zh) * 2017-09-14 2019-12-24 浙江科技学院 一种立体图像视觉显著提取方法
CN108470176B (zh) * 2018-01-24 2020-06-26 浙江科技学院 一种基于频域稀疏表示的立体图像视觉显著提取方法
CN109409380B (zh) * 2018-08-27 2021-01-12 浙江科技学院 一种基于双学习网络的立体图像视觉显著提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130068182A (ko) * 2011-12-14 2013-06-26 한국전자통신연구원 장면 중요 영역 판단 방법 및 이러한 방법을 사용하는 장치
CN104036501A (zh) * 2014-06-03 2014-09-10 宁波大学 一种基于稀疏表示的立体图像质量客观评价方法
CN104463890A (zh) * 2014-12-19 2015-03-25 北京工业大学 一种立体图像显著性区域检测方法
CN104658001A (zh) * 2015-03-10 2015-05-27 浙江科技学院 一种无参考非对称失真立体图像客观质量评价方法
CN105976395A (zh) * 2016-04-27 2016-09-28 宁波大学 一种基于稀疏表示的视频目标跟踪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883291B (zh) * 2010-06-29 2012-12-19 上海大学 感兴趣区域增强的视点绘制方法
CN104732208B (zh) * 2015-03-16 2018-05-18 电子科技大学 基于稀疏子空间聚类的视频人体行为识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130068182A (ko) * 2011-12-14 2013-06-26 한국전자통신연구원 장면 중요 영역 판단 방법 및 이러한 방법을 사용하는 장치
CN104036501A (zh) * 2014-06-03 2014-09-10 宁波大学 一种基于稀疏表示的立体图像质量客观评价方法
CN104463890A (zh) * 2014-12-19 2015-03-25 北京工业大学 一种立体图像显著性区域检测方法
CN104658001A (zh) * 2015-03-10 2015-05-27 浙江科技学院 一种无参考非对称失真立体图像客观质量评价方法
CN105976395A (zh) * 2016-04-27 2016-09-28 宁波大学 一种基于稀疏表示的视频目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Learning to detect stereo saliency;Fang Guo et al.;《 2014 IEEE International Conference on Multimedia and Expo (ICME)》;20140908;第1-6页 *
基于多尺度超像素和字典学习的图像显着性检测;闫和鑫;《中国优秀硕士学位论文全文数据库 信息科技辑》;20151231;第1-45页 *

Also Published As

Publication number Publication date
CN106682599A (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
CN107767413B (zh) 一种基于卷积神经网络的图像深度估计方法
CN101610425B (zh) 一种评测立体图像质量的方法和装置
CN101877143B (zh) 一种二维图像组的三维场景重建方法
CN109523513B (zh) 基于稀疏重建彩色融合图像的立体图像质量评价方法
CN105376563B (zh) 基于双目融合特征相似度的无参考立体图像质量评价方法
CN107635136B (zh) 基于视觉感知和双目竞争的无参考立体图像质量评价方法
CN108520510B (zh) 一种基于整体和局部分析的无参考立体图像质量评价方法
CN109409380B (zh) 一种基于双学习网络的立体图像视觉显著提取方法
CN106682599B (zh) 一种基于稀疏表示的立体图像视觉显著提取方法
CN104361583B (zh) 一种确定非对称失真立体图像客观质量的方法
CN104392233A (zh) 一种基于区域的图像显著图提取方法
Kuo et al. Depth estimation from a monocular view of the outdoors
CN104902268A (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN114648482A (zh) 立体全景图像的质量评价方法、系统
CN108470336B (zh) 基于堆栈式自动编码器的立体图像质量评价方法
CN104243956B (zh) 一种立体图像视觉显著图提取方法
CN107665488B (zh) 一种立体图像视觉显著提取方法
CN103632372A (zh) 一种视频显著图提取方法
CN106780432B (zh) 一种基于稀疏特征相似度的立体图像质量客观评价方法
CN105488792A (zh) 基于字典学习和机器学习的无参考立体图像质量评价方法
CN104822058A (zh) 一种立体图像显著图提取方法
CN115965844B (zh) 基于视觉显著性先验知识的多聚焦图像融合方法
CN108470176B (zh) 一种基于频域稀疏表示的立体图像视觉显著提取方法
CN108648186B (zh) 基于初级视觉感知机制的无参考立体图像质量评价方法
CN103780903A (zh) 一种立体相机近距会聚拍摄质量客观评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230118

Address after: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen dragon totem technology achievement transformation Co.,Ltd.

Address before: 310023 No. 318 stay Road, Xihu District, Zhejiang, Hangzhou

Patentee before: ZHEJIANG University OF SCIENCE AND TECHNOLOGY

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231122

Address after: 422000 Printing Industrial Park, Sanyi village, heitianpu Town, Shaodong City, Shaoyang City, Hunan Province

Patentee after: Hunan Donglong color printing packaging printing Co.,Ltd.

Address before: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen dragon totem technology achievement transformation Co.,Ltd.