CN107680076A - 基于显著性区域的立体图像舒适度对比度范围测量方法 - Google Patents

基于显著性区域的立体图像舒适度对比度范围测量方法 Download PDF

Info

Publication number
CN107680076A
CN107680076A CN201710729853.2A CN201710729853A CN107680076A CN 107680076 A CN107680076 A CN 107680076A CN 201710729853 A CN201710729853 A CN 201710729853A CN 107680076 A CN107680076 A CN 107680076A
Authority
CN
China
Prior art keywords
stereo
contrast
picture
image
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710729853.2A
Other languages
English (en)
Inventor
李素梅
胡佳洁
朱兆琪
侯春萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710729853.2A priority Critical patent/CN107680076A/zh
Publication of CN107680076A publication Critical patent/CN107680076A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理领域，本发明旨在为立体内容的制作提供更合理可行的定量标准。本发明采用的技术方案是，基于显著性区域的立体图像舒适度对比度范围测量方法，步骤如下：1)立体显著度图的提取：二维图像显著图与立体图像视差图结合得到立体显著度图；2)显著立体图像的获取：对立体显著度图进行优化处理，立体显著度图经模糊原理及掩膜优化得到显著立体图像；3)主观实验：将显著立体图像以0.1为步长进行对比度变换并进行主观实验；4)得到舒适对比度匹配图和舒适对比度差异图。本发明主要应用于图像处理。

Description

基于显著性区域的立体图像舒适度对比度范围测量方法
技术领域
本发明属于图像处理领域，涉及影响立体图像观看舒适度的因素研究，尤其是涉及一种 基于立体图像显著区域的舒适对比度定量研究方法。
背景技术
立体显示技术在给用户带来身临其境视觉体验的同时，也会使观看者产生不同程度的不 舒适感。视觉疲劳，视觉敏感度降低，双眼调节能力下降等视觉不舒适现象被认为是3D产 品在市场领域快速扩展的主要障碍[1][2]。研究表明引起视觉不舒适的主要因素包括：观看环境、 立体显示设备、人的生理心理状况和立体内容等四个方面，其中舒适立体内容的缺乏是制约 立体成像技术普及的重要因素之一[3]。影响立体内容舒适度的因素有许多，比如对比度、亮 度、色度、饱和度、串扰和视差等[4]。本发明首次结合人眼视觉显著特性，定量研究对比度 因素对视觉舒适度的影响，得到对比度因素影响舒适度的定量标准。
国内外专家学者对影响立体图像舒适度的因素进行了广泛研究。文献[5][6][7]分别研究了 视觉舒适度与立体图像视差大小、视差分布、立体内容拍摄方法之间的关系。文献[8]定量研 究了立体图像的色度对立体图像舒适度的影响，表明当左右视图的色度差异超过一定门限时 立体图像舒适度降低。文献[9]明确指出，长时间观看双目差异较大的立体内容会导致视觉疲 劳并诱发眼部疾病。文献[10]表明，立体图像的亮度分布会影响立体内容的舒适度。文献[11] 综合研究了视差、图像背景的复杂度、对比度等因素对立体图像质量的定性影响。
由于定量研究影响立体内容舒适度的因素耗时耗力，目前国内外对立体图像舒适度的研 究大都是定性的，且尚没有形成统一明确的标准。为了更准确地判断立体图像的舒适度，为 立体内容的制作提供直接依据，需要进行定量研究。文献[12]定量研究了对比度因素对立体 图像舒适度的影响，此文采用基于整幅立体图像的研究方法，没有充分考虑人眼的视觉特性。 众多研究表明，在观看立体内容时，观看者的注意力会立刻被场景中的显著区域吸引，随后 人类视觉系统(Human Visual System,HVS)控制人眼的晶状体聚焦于显著物体，使得人眼在观 察图像时往往只观察到其中的显著部分而不是整幅图像，这种现象称为视觉注意，视觉注意 机制对人眼视觉舒适有重要影响[13]，因此本发明首次结合视觉注意机制，通过大量主观实验 定量研究对比度因素对立体图像舒适度的影响。该工作首先采用平面显著图和立体视差图相 结合的方法得到立体显著度图，将优化后的立体显著度图与源图像结合得到显著立体图像， 并利用眼动仪实验验证了立体显著算法提取显著区域的正确性；然后对左右视图进行对比度 线性变化得到失真图像进行主观实验。对实验数据用最小二乘法进行拟合，得到显著立体图 像的舒适对比度匹配图和舒适对比度差异图，并对图中各部分进行分析。对比验证和测试验 证的结果表明，依据本发明的方法得到的舒适对比度范围更符合人眼视觉主观观测结果，为 立体内容的制作提供了更科学合理和简单易行的定量标准。
发明内容
为克服现有技术的不足，本发明旨在为立体内容的制作提供更合理可行的定量标准。本 发明采用的技术方案是，基于显著性区域的立体图像舒适度对比度范围测量方法，步骤如下：
1)立体显著度图的提取：二维图像显著图与立体图像视差图结合得到立体显著度图；
2)显著立体图像的获取：对立体显著度图进行优化处理，立体显著度图经模糊原理及掩 膜优化得到显著立体图像；
3)主观实验：将显著立体图像以0.1为步长进行对比度变换并进行主观实验；
4)得到舒适对比度匹配图和舒适对比度差异图。
立体显著度图的提取的具体步骤是：首先采用GBVS(Graph-based visualsaliency)算法计 算得到右视图的平面显著图SMR(x,y)，然后采用快速立体匹配算法得到以右视图为基准的视 差图dR(x,y)，最后采用线性方式将视觉显著图和右视差图像进行加权得到立体显著度图 I(x,y)，如公式(1)：
I(x,y)＝w1dR(x,y)+w2SMR(x,y) (1)
式中：I(x,y)为立体显著度图；w1和w2为加权比重，且w1+w2＝1。
显著立体图像的获取具体过程是，论域X为立体显著度图，将论域中的像素点(x,y)分为 两类，显著区域A和非显著区域B，A和B是X的一个划分，即A∪B＝X,
立体显著度图的灰度值表示原始图像中该像素点隶属于显著区域的程度，像素点(x,y)的 灰度值为L，该点对显著区域A的隶属度为
为得到显著区域A需要进行去模糊操作，采用阈值分割的方法得到掩模图像M(x,y)，如 公式(2)所示，分割阈值T由最大类间方差方法确定：
对于立体显著度图I(x,y)中的任一像素点(x,y)，若(x,y)对显著区域的的隶属度大于阈值 T，则该像素点属于视觉显著性区域，对应掩模图像M(x,y)中的白色区域，否则属于黑色区 域，采用形态学的开闭运算对掩膜图像M(x,y)进行优化得到优化掩膜图像M'(x,y)；
最后将优化掩模图像与原始视点图像相乘得到显著立体图像。
对比度变换进行主观实验的具体步骤是，获得显著立体图像后，采用对比度线性变换法， 对左右视图进行不同等级的对比度失真，得到一系列失真的待测立体图像，对图像进行对比 度变换时，记图像原始像素点的灰度值为In，按对比度变换公式(3)计算得到变换后像素 点的灰度值Out：
Out＝Avg+(In-Avg)×(1-α) (3)
其中Avg表示整张图片的平均灰度值，α∈[-1,1]为对比度调整因子，控制输出像素点与 输入像素点灰度值的关系，取α的变换步长为0.1,得到21条对比度变换直线，对应21种等 级的对比度失真，横轴为输入像素点的灰度值In，纵轴为像素点经对比度变换后得到的灰度 值Out，每条对比度变换直线都经过点(Avg,Avg)且关于(Avg,Avg)对称，保证了对比度变换 前后图片的平均亮度保持不变。
得到舒适对比度匹配图和舒适对比度差异图具体步骤是，采用最小二乘分段线性拟合法 对4组实验数据进行处理，得到4组立体图像舒适归一化对比度匹配图MM(MatchingMap) 及舒适归一化对比度差异图DM(Difference Map)。
本发明的特点及有益效果是：
本发明基于视觉注意机制，通过大量主观实验定量研究了对比度因素对立体图像舒适度 的影响，相比于未考虑视觉注意机制的实验，本发明更好地反应了人眼的视觉感受，并得到 了立体图像舒适对比度匹配图和立体图像舒适对比度差异图，如图7和图8所示。这两个结 果图体现了双目立体图像的对比度变化对人眼舒适性的影响，可以依据本发明实验结果判断 立体图像是否舒适，很好地弥补了主观实验费时费力的缺点；对结果图的全面详细分析，也 为立体内容的制作和处理提供了参考和依据。相比于文献[12]中未考虑视觉注意机制的实验， 本发明所得舒适范围更符合人眼视觉特性，能为立体内容的制作提供更合理更可行的定量标 准。
附图说明：
图1幅源立体图像。
图2算法流程图。
图3显著立体图提取过程图。
图4眼动仪实验显著热图。
图5对比度线性变化示意图。
图6立体图像舒适对比度匹配图。
图7立体图像舒适对比度差异图。
图8本发明实验结果与文献[12]结果对比。
图9源立体图像。
具体实施方式
为立体内容的制作提供定量标准是立体产品普及亟待解决的关键问题。本发明首次结合 视觉注意机制，通过大量主观实验定量研究对比度因素对立体图像视觉舒适度的影响。本发 明先结合平面显著图和立体视差图获得立体显著度图，再利用模糊隶属度和掩膜对其优化获 得最终的显著立体图像，并用眼动仪验证其合理性；然后对左右视图做对比度变换并进行主 观实验，数据筛选后得到显著立体图像的舒适对比度匹配图和差异图。实验结果表明：左右 视图的对比度差异门限值随着左视图的对比度值不同而改变，且左右视图对比度差异不能过 大，最大、最小差异值分别为1.97和-2.40。实验所得舒适对比度范围很好地反映了立体图 像的舒适度，验证实验的正确率达95％，为立体内容的制作提供了更合理可行的定量标准。
本发明实验流程为1)立体显著度图的提取。二维图像显著图与立体图像视差图结合得 到立体显著度图。2)显著立体图像的获取。对立体显著度图进行优化处理，立体显著度图经 模糊原理及掩膜优化得到显著立体图像。3)主观实验。将显著立体图像以0.1为步长进行对 比度变换并进行主观实验。4)得到舒适对比度匹配图和舒适对比度差异图。所使用的源立体 图像如图1所示，实验流程图如图2所示。
下面将对各个步骤进行详细的分析：
1.立体显著度图的获取
根据人类视觉系统特性，人眼对场景不同部分的注意力呈非均匀分布，大部分注意力集 中在场景中的显著区域，对场景中的非显著区域关注较少[14]。因此，可以用显著立体图像的 舒适度来反映整幅立体图像的舒适度情况，以提高测试准确率并减少计算复杂度。立体图像 的视差特性和图像空间频率都会影响视觉舒适度[15]，因此通过二维图像显著图和立体图像视 差图获得立体显著度图。
多数人主眼为右眼，因此本发明首先采用GBVS(Graph-based visual saliency)算法[16]计算得到右视图的平面显著图SMR(x,y)。然后采用快速立体匹配算法[17]得到以右视图为基准 的视差图dR(x,y)。最后采用线性方式将视觉显著图和右视差图像进行加权得到立体显著度图 I(x,y)，如公式(1)：
I(x,y)＝w1dR(x,y)+w2SMR(x,y) (1)
式中：I(x,y)为立体显著度图；w1和w2为加权比重，且w1+w2＝1；本发明中取 w1＝w2＝0.5。
2.显著立体图像的获取
得到的立体显著度图中，图像显著区域的边缘模糊，无法根据此图将源图像直接划分为 显著区域和非显著区域，因此利用模糊数学的隶属度理论来描述图像中各像素的显著程度[18]， 对立体显著度图进行优化，得到一幅二值掩模图像M[19]。像素点的像素值为1表明原立体图 像中的该点属于显著区域，反之属于非显著区域。具体过程如下：
论域X为立体显著度图，将论域中的像素点(x,y)分为两类，显著区域A和非显著区域B， A和B是X的一个划分，即A∪B＝X, 为空集。
立体显著度图的灰度值表示原始图像中该像素点隶属于显著区域的程度，像素点(x,y)的 灰度值为L，该点对显著区域A的隶属度为
为得到显著区域A需要进行去模糊操作[18]。本发明采用阈值分割的方法得到掩模图像 M(x,y)[19]，如公式(2)所示。分割阈值T由最大类间方差方法确定[20]。
对于立体显著度图I(x,y)中的任一像素点(x,y)，若(x,y)对显著区域的的隶属度大于阈值 T，则该像素点属于视觉显著性区域，对应掩模图像M(x,y)中的白色区域，否则属于黑色区 域。为了去除掩膜图像边缘的毛刺及空洞现象，采用形态学的开闭运算对掩膜图像M(x,y)进 行优化得到优化掩膜图像M'(x,y)。
最后将优化掩模图像与原始视点图像相乘得到显著立体图像，如图3(a-g)所示。图3 分别给出了4组立体图像右视点、视差图、平面显著图、立体显著度图、掩膜图像、优化掩 膜图像和显著立体图像。
为了验证本发明算法所得显著立体图像的显著性区域是否准确，本发明采用眼动仪对源 立体图像的显著区域进行主观测量。每次实验前先进行校准实验和基准测量，当被试者对校 准基准点的观测误差小于1度时进行实验。每张图片随机呈现且呈现时间为5s。根据眼动仪 测量出的图像感兴趣区域的热图，与本发明的显著立体图像区域对比发现，二者所提出的显 著区域基本一致，图4为眼动仪测量出的图像感兴趣区域的热图。
3.对比度变换进行主观实验
获得显著立体图像后，采用对比度线性变换法[12]，对左右视图进行不同等级的对比度失 真，得到一系列失真的待测立体图像。对图像进行对比度变换时，记图像原始像素点的灰度 值为In，按对比度变换公式(3)计算得到变换后像素点的灰度值Out：
Out＝Avg+(In-Avg)×(1-α) (3)
其中Avg表示整张图片的平均灰度值，α∈[-1,1]为对比度调整因子，控制输出像素点与 输入像素点灰度值的关系。本发明实验取α的变换步长为0.1,得到21条对比度变换直线， 对应21种等级的对比度失真，如图5所示。横轴为输入像素点的灰度值In，纵轴为像素点 经对比度变换后得到的灰度值Out。每条对比度变换直线都经过点(Avg,Avg)且关于(Avg,Avg)对称，保证了对比度变换前后图片的平均亮度保持不变。
4.得到实验结果图
采用最小二乘分段线性拟合法[21]对4组实验数据进行处理，得到4组立体图像舒适归一 化对比度匹配图(Matching Map,MM)及舒适归一化对比度差异图(DifferenceMap,DM)，如图 6、7所示。
实验设备及素材
实验中用到的立体显示器为冠捷(AOC)公司22英寸偏光式3D立体显示器，使用德国 SM公司的iView X RED眼动仪验证显著区域算法提取的正确性。
实验素材选用韩国先进科学技术院所提供的立体图像数据库作为立体图像样本数据集合 [22]。该立体图像库由120对分辨率为1920×1080的立体图像对组成，涵盖人物，植物，建 筑等多种类型的图像。本实验选择该立体图像库中四幅源立体图像ball.bmp、plant.bmp、 orange.bmp和baby.bmp，如图1所示，这4幅源立体图像立体感强，视觉舒适度高,对比度 值分布在不同的梯度，具有较好的代表性。
实验环境及被试者
根据ITU主观评价标准[23]，进行实验时周围环境的光照亮度必须低于3lux，对于22英 寸全高清显示器，观看距离应为屏幕高度的三倍。
为确保所得结论的准确性，实验所选择的30名被试者都经过了正规眼科医院的功能检查。 选择17名男性，13名女性，其中有先验知识的10人，无先验知识的20人，所有被试的主 眼都是右眼。
主观评价
主观评价是该论文实验定量研究的重要依据。实验前，先向被试者介绍实验科学的主观 评价过程是本发明定量研究的基础。评价前需向被试者介绍实验评价方法并进行预训练，预 训练图像应具有完备性，使被试者能正确理解图像所属等级，测试时长不得超过0.5小时。 主观实验采用ITU建议的双刺激损伤标度方法(Double-Stimulus ImpairmentScale，DSIS) 方法，评分等级和对应的损伤术语如表1所示[24]。
主观实验完成后，为了排除因30名被试的知识背景、实验动机等因素的影响，需要剔除 实验数据中的异常值[23]。本发明提出了两级数据筛选法，首先采用基于均值和置信区间的格 鲁布斯检验法[24]，用于剔除某幅图像得到的所有主观分值中的异常值；然后采用标准 (ITU-R)BT.500中推荐的方法，用于检测是否存在评分偏差很大的被试，若存在则淘汰此被 试并剔除其给出所有的分数。两级数据筛选严格保证了本发明实验所得数据的客观性。
对筛选后的实验数据进行统计平均得到一幅立体图像的平均主观分值(Meanopinion Score,MOS)，图像的MOS值越高表明舒适度越好，规定MOS≥4的立体图像为视觉舒适的立 体图像[25]。
下面结合技术方案，详细分析本方法得到的实验结果：
一、对图6图7实验结果的分析
将分段拟合直线围成的视觉舒适区域划分为4个部分，对图6各部分的分析如表2：
(1)由图6与表2可知，R1区域关于直线y＝x不对称且处于直线上方，表明R1区域右视图对比度高于左视图。因为右眼是主眼，双目融合时右视图作用较大，左视图对比度过低时，由Fechner悖论可知，适当增大右视点的对比度值可以一定程度地抑制左视点的低对比度对视觉舒适度的影响，此时主辅眼起作用。R2区域关于直线y＝x大体对称，说明受主辅眼的影响较小。R3、R4区域关于y＝x不对称，处于直线下方，表明左视图对比度高于右 视图，这是因为左视图对比度过高时，适当减小右视图的对比度值可以一定程度地抑制左视图的高对比度刺激对视觉舒适度的影响，主辅眼起作用。
(2)图6中，R1区域左视图对比度值很低，左眼感知到的图像纹理不清晰，细节模糊， 与右视图组合形成立体图像时，人眼可能观察到一个视图纹理清晰另一个视图几乎没有纹 理，双目差异过大难以进行双目融合，因此随着左视图对比度值逐渐增大，双目差异减小， 舒适区域逐渐增大。R2区域左右视图归一化对比度的值都在1.5附近，相当于对源立体图像 进行小幅度的对比度增强，左右视图纹理清晰，视觉质量较好，且对比度差异不大，容易进 行双目融合得到舒适度高的立体图像，因此R2区域面积较大。R3区域左视图对比度较高， 图像逐渐出现颜色失真，亮度较低的区域细节丢失，纹理模糊的现象，因此R3舒适区域逐渐 减小。R4区域对比度很高，高对比度刺激造成了视觉不舒适。当右视点的对比度较小，两个 视点差异过大，双眼无法舒适融像；当右视点的对比度过大，双目融合得到的图像对比度太 高，视觉舒适度仍不好，因此在R4区域，舒适区域逐渐减小并收缩趋于闭合。
(3)由图7可知，当左视点的对比度不同时，舒适立体图像的右左视点对比度差异的门 限值也不一样。给定一幅左视图及其对比度，能根据图7确定要合成一幅舒适的立体图像， 可以在左视图基础上进行多大幅度的对比度增强或减弱。整体看来，右左视图对比度差异的 最小值为-2.40，右左视图对比度差异的最大值为1.97，立体图像两个视图对比度的差异不 能过大，否则会降低立体图像的观看舒适度。由于图7不关于主对角线对称，图7也不关于 水平轴对称，说明在研究对比度因素对双目立体图像舒适度时，主辅眼有着不能忽视的影响， 若被试的主眼均为左眼，则测试得到的舒适区域与图6关于y＝x对称。舒适区域中，对 比度大于1的区域面积远大于对比度小于1的区域面积，说明对比度增大对立体图像舒适度 的影响远小于对比度减小对舒适度的影响。
(4)以上为对视觉舒适区域的分析，以下结合图6分析造成立体图像不舒适的原因及解 决方法。图中的左上角和右下角为非舒适区域，主要因为左右视点对比度差异过大，双眼无 法舒适融像，长时间观看双目差异过大的立体图像或立体视频易造成视觉疲劳，诱发眼部疾 病，此时应该适当减小或增大右视点的对比度，便于人眼双目融合得到舒适图像；图中的左 下角和右上角为非舒适区域，主要因为左右视点的对比度虽然接近，易于双目融合，但由于 两个视点的对比度都过低或者过高，融合得到的立体图像质量不佳，造成视觉不舒适，在制 作双目立体图像时要注意利用主眼图像的调节作用，例如可用主眼视图较小对比度抑制另一 视图的高对比度刺激，以生成适于人眼观看的立体内容。
二、对比验证实验
文献[12]在没有考虑视觉显著性的情况下，直接对整幅立体图像定量研究对比度因素对 视觉舒适度的影响，图8为本发明实验结果与文献[12]结果的对比图，实心符号的连线所围 舒适区域代表本发明实验结果，记作RA，空心符号的连线所围舒适区域表示文献[12]的实验 结果，记作RB，R6＝RA∩RB，R7＝RA\R6，R5＝RB\R6。
图8的R6区域表明，文献[12]所得舒适区域基本包含于本发明所得舒适区域，说明显著 区域的舒适度与整幅立体图像的舒适度有较强的一致性，与理论相符。R5区域表明，当左视 点的对比度非常低时，文献[12]得到的舒适区域中对应的右视点对比度也非常低，但是此时 左右视图的纹理细节都很模糊，图像亮度低，人眼难以通过双目融合得到较舒适的立体图像， 因此文献[12]所得R5区域并不符合人眼视觉特性。而本发明所得舒适区域中，当左视点对比 度很低时，右视点对比度明显高于左视点对比度，根据Fechner悖论可知，在双目融合的过 程中，对比度较大视点可以弥补另一视点对比度过小的影响，使得感知到的立体图像仍处于 人眼视觉舒适范围，因此本发明所得舒适区域更加符合人眼视觉特性。R7区域表明，对于固 定的左视图，根据本发明所得舒适范围制作立体内容时，右视点对比度具有更大的动态舒适 范围，有效地放宽了立体内容制作的限制条件，为制作提供了便利。
由于立体图像的显著区域较非显著区域包含更多细节和纹理信息，显著区域的空间频率 集中于高频区[26]。对比度敏感函数CSF指出[27]，在高频段人眼的对比度灵敏度降低，要感知 到相同的对比度，需要增大图像实际的对比度值。定义CL为右视点具有最大舒适范围时左视 点恰好对应的对比度，下表3列出了本发明和文献[12]所得舒适区域中CL、左视点可取最大、 最小对比度CLmax、CLmin，右视点可取最大、最小对比度CRmax、CRmin取值。
从表3可以看出，本发明所得舒适区域五个特征值都比文献[12]的高，并且因为被试的 主眼是右眼，CRmax、CRmin的增加幅度更大，这一现象与人眼对比度敏感特性相符。表3进一步说明了本发明所得舒适对比度区域非常符合人眼视觉特性。
三、测试验证实验
为了验证本发明实验得到的立体图像舒适对比度匹配图和差异图是否具有普适性，本发 明又另外选取了两幅源立体图像进行结果验证，将这两幅立体图像按照本发明上述步骤进行 对比度处理，每幅图像得到441幅对比度失真图。进行主观实验并分析实验结果。toy这组 图片统计平均分分的合格立体图像有91幅，左右视图对比度平均值落在立体图像舒适 对比度匹配图内的立体图像有87幅，在合格立体图像中所占比例为95.6％；同样计算得到， kid这组图片中正确率为97.5％。两组图片的正确率都超过了95％，验证了本发明实验所得立 体图像舒适对度匹配图和差异图具有较好的普适性，因此利用本发明所得结论可以快速直接 地根据立体图像左右视图的对比度判断是否图像舒适，很大程度上改善了主观实验的费时费 力的现状。
参考文献
[1]Yano S,Emoto M,Mitsuhashi T.Two factors in visual fatigue causedby stereoscopic HDTV images[J].Displays,2004,25(4):141-150
[2]Yano S,Ide S,Mitsuhashi T,et al.A study of visual fatigue andvisual comfort for 3D HDTV/HDTV images[J].Displays,2002,23(4):191-201.
[3]Lambooij M,Ijsselsteijn W,Heynderickx A I.Stereoscopic displaysand visual comfort:a review[M].2007
[4]Zheng H D,Yu Y J,Cheng W M.Areview on three-dimensional displaytechniques. Optical Technique,2008,34(3):426
郑华东,于瀛洁,程维明.三维立体显示技术研究新进展.光学技术,2008,34(3):426
[5]Pan H,Daly S.3D video disparity scaling for preference andprevention of discomfort[J]. Proceedings of SPIE-The International Societyfor Optical Engineering,2011, 7863(4):786306-786306-8.
[6]Park J,Oh H,Lee S,et al.3D Visual Discomfort Predictor:Analysis ofDisparity and Neural Activity Statistics[J].IEEE Transactions on ImageProcessing A Publication of the IEEE Signal Processing Society,2015,24(3):1101.
[7]Yu Yang,Xutang Lib,Pin Xuc,et al.A Modifed Method for MultipleRegion Depth Mapping of Stereoscopic Image Generation[C].2016.IEEEInternational Conference on Software Engineering and Service Science.
[8]LIU C,LI S M,ZHU D,et al.Quantitative research of the hueparameter influence on the visual comfort of stereoscopic images.Journal ofOptoelectronics Laser,2014,01:178
刘畅,李素梅,朱丹,臧艳军.色度对立体图像视觉舒适度影响的定量研究.光电子.激 光,2014,01:178
[9]ISO IWA 3 2005(E).Image safety:Reducing the incidence ofundesirable biomedical effects caused by visual image sequences.Switzerland:ISO Copyright Office IHS，2005
[10]Chen J,Zhou J,Sun J,et al.Visual discomfort prediction onstereoscopic 3D images without explicit disparities[J].Image Communication,2017,51(C):50-60.
[11]So G J,Kim S H,Kim J Y.Evaluation Model of the Visual Fatigue onthe 3D Stereoscopic Video[J].Acta Chirurgica Scandinavica Supplementum,2016,325.
[12]LIU CH,LI S M.Measurement of contrast range affecting comfort ofstereoscopic images.Journal of Optoelectronics Laser,2014,25(4):748.
刘畅，李素梅.影响立体图像舒适度的对比度范围的测定.光电子.激光,2014,25(4): 748.
[13]Jung C,Wang S.Visual comfort assessment in stereoscopic 3D imagesusing salient object disparity[J].Electronics Letters,2015,51(6):482-484.
[14]Harel,Jonathan,Christof K,et al.Graph-based visualsaliency.Advances in neural information processing systems,2007,19:545.
[15]Wang J,Da Silva M P,Le Callet P,et al.Computational model ofstereoscopic 3D visual saliency.IEEE Transactions on Image Processing,2013,22(6):2151
[16]B,Platt J,Hofmann T.Graph-Based Visual Saliency[J].Advances in Neural Information Processing Systems,2007,19:545-552.
[17]Rhemann C,Hosni A,Bleyer M,et al.Fast cost-volume filtering forvisual correspondence and beyond[C].Computer Vision and Pattern Recognition(CVPR),2011 IEEE Conference on.IEEE,2011:3017-3024.
[18]JIANG Q P,SHAO F,YU M,et al.An Objective Stereoscopic ImageVisual Comfort Assessment Metric Based on Visual Important Regions.ChineseJournal of electronics and information technology,2014,36(04):875
姜求平,邵枫,蒋刚毅,郁梅,彭宗举.基于视觉重要区域的立体图像视觉舒适度客观评价方 法.电子与信息学报,2014,36(04):875
[19]LI ZH M.Research on image segmentation algorithm based on FuzzyClustering [Dissertation].Hunan University,2009.
李志梅.基于模糊聚类的图像分割算法研究[D].湖南大学,2009.
[20]YU W J.Study of Otsu image segmentation based on Improved GeneticAlgorithm [Dissertation].Hainan University,2012.
余文姣.基于改进遗传算法的最大类间方差图像分割方法研究[学位论文].海南大 学,2012.
[21]XIE Y B.Least square piecewise linear fitting.modern electricpower,1992,01:19.
谢友宝.最小二乘法分段直线拟合.现代电力,1992,01:19.
[22]IVY Lab stereoscopic image database[OL].[2013-03-12].http://ivylab.kaist.ac. kr/demo/3DVCA/3DVCA.html.
[23]Rec.ITU-R BT.1438.Subjective assessment of stereoscopictelevision pictures [S].2000,1-14.
[24]Ma L S.Application of Grubbs test in equipment comparison test[J].Opencast Mining Technology,2014,(04):62-64.
马立爽.格鲁布斯检验法在设备比对试验中的应用[J].露天采矿技术,2014,(04):62-64..
[25]Beijing Technology Quality Control Office.DBII/T384.5-2009,Imageinformation management system technical:image quality requirements andevaluation methods.Beijing:China Standards Press,2009.
北京市质量技术监督局.DBII/T384.5-2009图像信息管理系统技术规范第5部分：图像 质量要求与评价方法.北京:中国标准出版社,2009
[26]Hou X,Zhang L.Saliency Detection:A Spectral Residual Approach[C]//Computer Vision and Pattern Recognition,2007.CVPR'07.IEEE Conferenceon.IEEE,2007:1-8.
[27]Johnson G M,Fairchild M D.A top down description of S‐CIELAB andCIEDE2000[J].Color Research&Application,2010,28(6):425-435。

Claims (5)

1.一种基于显著性区域的立体图像舒适度对比度范围测量方法，其特征是，步骤如下：
1)立体显著度图的提取：二维图像显著图与立体图像视差图结合得到立体显著度图；
2)显著立体图像的获取：对立体显著度图进行优化处理，立体显著度图经模糊原理及掩膜优化得到显著立体图像；
3)主观实验：将显著立体图像以0.1为步长进行对比度变换并进行主观实验；
4)得到舒适对比度匹配图和舒适对比度差异图。
2.如权利要求1所述的基于显著性区域的立体图像舒适度对比度范围测量方法，其特征是，立体显著度图的提取的具体步骤是：首先采用GBVS(Graph-based visual saliency)算法计算得到右视图的平面显著图SMR(x,y)，然后采用快速立体匹配算法得到以右视图为基准的视差图dR(x,y)，最后采用线性方式将视觉显著图和右视差图像进行加权得到立体显著度图I(x,y)，如公式(1)：
I(x,y)＝w1dR(x,y)+w2SMR(x,y) (1)
式中：I(x,y)为立体显著度图；w1和w2为加权比重，且w1+w2＝1。
3.如权利要求1所述的基于显著性区域的立体图像舒适度对比度范围测量方法，其特征是，显著立体图像的获取具体过程是，论域X为立体显著度图，将论域中的像素点(x,y)分为两类，显著区域A和非显著区域B，A和B是X的一个划分，即A∪B＝X,
立体显著度图的灰度值表示原始图像中该像素点隶属于显著区域的程度，像素点(x,y)的灰度值为L，该点对显著区域A的隶属度为
为得到显著区域A需要进行去模糊操作，采用阈值分割的方法得到掩模图像M(x,y)，如公式(2)所示，分割阈值T由最大类间方差方法确定：
对于立体显著度图I(x,y)中的任一像素点(x,y)，若(x,y)对显著区域的的隶属度大于阈值T，则该像素点属于视觉显著性区域，对应掩模图像M(x,y)中的白色区域，否则属于黑色区域，采用形态学的开闭运算对掩膜图像M(x,y)进行优化得到优化掩膜图像M'(x,y)；
最后将优化掩模图像与原始视点图像相乘得到显著立体图像。
4.如权利要求1所述的基于显著性区域的立体图像舒适度对比度范围测量方法，其特征是，对比度变换进行主观实验的具体步骤是，获得显著立体图像后，采用对比度线性变换法，对左右视图进行不同等级的对比度失真，得到一系列失真的待测立体图像，对图像进行对比度变换时，记图像原始像素点的灰度值为In，按对比度变换公式(3)计算得到变换后像素点的灰度值Out：
Out＝Avg+(In-Avg)×(1-α) (3)
其中Avg表示整张图片的平均灰度值，α∈[-1,1]为对比度调整因子，控制输出像素点与输入像素点灰度值的关系，取α的变换步长为0.1,得到21条对比度变换直线，对应21种等级的对比度失真，横轴为输入像素点的灰度值In，纵轴为像素点经对比度变换后得到的灰度值Out，每条对比度变换直线都经过点(Avg,Avg)且关于(Avg,Avg)对称，保证了对比度变换前后图片的平均亮度保持不变。
5.如权利要求1所述的基于显著性区域的立体图像舒适度对比度范围测量方法，其特征是，得到舒适对比度匹配图和舒适对比度差异图具体步骤是，采用最小二乘分段线性拟合法对4组实验数据进行处理，得到4组立体图像舒适归一化对比度匹配图MM(MatchingMap)及舒适归一化对比度差异图DM(Difference Map)。
CN201710729853.2A 2017-08-23 2017-08-23 基于显著性区域的立体图像舒适度对比度范围测量方法 Pending CN107680076A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710729853.2A CN107680076A (zh) 2017-08-23 2017-08-23 基于显著性区域的立体图像舒适度对比度范围测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710729853.2A CN107680076A (zh) 2017-08-23 2017-08-23 基于显著性区域的立体图像舒适度对比度范围测量方法

Publications (1)

Publication Number Publication Date
CN107680076A true CN107680076A (zh) 2018-02-09

Family

ID=61134411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710729853.2A Pending CN107680076A (zh) 2017-08-23 2017-08-23 基于显著性区域的立体图像舒适度对比度范围测量方法

Country Status (1)

Country Link
CN (1) CN107680076A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108521568A (zh) * 2018-03-26 2018-09-11 天津大学 基于显著性区域的立体图像舒适度视差范围的测定方法
CN109727274A (zh) * 2018-11-28 2019-05-07 吉林大学 视频处理方法
CN116664431A (zh) * 2023-05-30 2023-08-29 原朗智芯(苏州)数字科技有限公司 一种基于人工智能的图像处理系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120121138A1 (en) * 2010-11-17 2012-05-17 Fedorovskaya Elena A Method of identifying motion sickness
CN103096125A (zh) * 2013-02-22 2013-05-08 吉林大学 基于区域分割的立体视频视觉舒适度评价方法
CN103139598A (zh) * 2013-03-14 2013-06-05 天津大学 一种影响立体图像舒适度的归一化对比度范围的测定方法
CN104853183A (zh) * 2015-05-22 2015-08-19 天津大学 感知立体图像立体感的客观评价方法
CN105744256A (zh) * 2016-03-31 2016-07-06 天津大学 基于图谱视觉显著的立体图像质量客观评价方法
CN106993183A (zh) * 2017-03-28 2017-07-28 天津大学 基于立体图像显著区域的舒适亮度定量方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120121138A1 (en) * 2010-11-17 2012-05-17 Fedorovskaya Elena A Method of identifying motion sickness
CN103096125A (zh) * 2013-02-22 2013-05-08 吉林大学 基于区域分割的立体视频视觉舒适度评价方法
CN103139598A (zh) * 2013-03-14 2013-06-05 天津大学 一种影响立体图像舒适度的归一化对比度范围的测定方法
CN104853183A (zh) * 2015-05-22 2015-08-19 天津大学 感知立体图像立体感的客观评价方法
CN105744256A (zh) * 2016-03-31 2016-07-06 天津大学 基于图谱视觉显著的立体图像质量客观评价方法
CN106993183A (zh) * 2017-03-28 2017-07-28 天津大学 基于立体图像显著区域的舒适亮度定量方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108521568A (zh) * 2018-03-26 2018-09-11 天津大学 基于显著性区域的立体图像舒适度视差范围的测定方法
CN109727274A (zh) * 2018-11-28 2019-05-07 吉林大学 视频处理方法
CN116664431A (zh) * 2023-05-30 2023-08-29 原朗智芯(苏州)数字科技有限公司 一种基于人工智能的图像处理系统及方法
CN116664431B (zh) * 2023-05-30 2024-04-12 新疆美特智能安全工程股份有限公司 一种基于人工智能的图像处理系统及方法

Similar Documents

Publication Publication Date Title
CN110991266B (zh) 一种双目人脸活体检测方法及装置
Park et al. 3D visual discomfort prediction: vergence, foveation, and the physiological optics of accommodation
CN103986925B (zh) 基于亮度补偿的立体视频视觉舒适度评价方法
CN106973288B (zh) 一种立体视频舒适度评价方法及装置
CN107578403A (zh) 基于梯度信息指导双目视图融合的立体图像质量评价方法
CN104853184B (zh) 一种影响立体图像舒适度的视差范围的检测方法
CN102497565B (zh) 一种影响立体图像舒适度的亮度范围的测定方法
CN108449596A (zh) 一种融合美学和舒适度的3d立体图像质量评估方法
CN107680076A (zh) 基于显著性区域的立体图像舒适度对比度范围测量方法
CN107194927A (zh) 基于显著性区域的立体图像舒适度色度范围的测量方法
CN104853185A (zh) 结合多视差和运动的立体视频舒适度评价方法
CN105976351A (zh) 基于中央偏移的立体图像质量评价方法
CN107452032A (zh) 人体背部深度图像预处理方法
CN106993183A (zh) 基于立体图像显著区域的舒适亮度定量方法
CN103139598B (zh) 一种影响立体图像舒适度的归一化对比度范围的测定方法
Chen et al. Study of subject agreement on stereoscopic video quality
CN108521568A (zh) 基于显著性区域的立体图像舒适度视差范围的测定方法
Wan et al. Depth perception assessment of 3D videos based on stereoscopic and spatial orientation structural features
Barkowsky et al. Is visual fatigue changing the perceived depth accuracy on an autostereoscopic display?
CN108259888A (zh) 立体显示效果的测试方法及系统
Wu et al. Subjective quality assessment of stereo image compression based on stereoscopic fusion in binocular vision
CN110060291B (zh) 一种考虑人因的立体视在距离解算方法
CN105208369B (zh) 一种立体图像视觉舒适度增强方法
Liu et al. Comfort evaluation of stereo images based on machine learning
Salmimaa et al. 55.2: Luminance Asymmetry in Stereoscopic Content: Binocular Rivalry or Luster

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180209