CN105959679B - 一种立体图像视觉舒适度和深度感联合优化方法 - Google Patents
一种立体图像视觉舒适度和深度感联合优化方法 Download PDFInfo
- Publication number
- CN105959679B CN105959679B CN201610269773.9A CN201610269773A CN105959679B CN 105959679 B CN105959679 B CN 105959679B CN 201610269773 A CN201610269773 A CN 201610269773A CN 105959679 B CN105959679 B CN 105959679B
- Authority
- CN
- China
- Prior art keywords
- image
- parallax
- equal
- pixel
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000005457 optimization Methods 0.000 title claims abstract description 12
- 230000008447 perception Effects 0.000 title claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 47
- 230000000007 visual effect Effects 0.000 claims abstract description 38
- 230000006870 function Effects 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 4
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 206010052143 Ocular discomfort Diseases 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010019233 Headaches Diseases 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 206010047513 Vision blurred Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种立体图像视觉舒适度和深度感联合优化方法，其通过训练得到的舒适度客观预测函数来预测得到局部分割对象和全局图像的舒适度预测值，作为视差调整的约束条件，从而能够较为精确地将立体图像的视觉舒适度从不舒适调整到舒适程度；其在测试阶段包括两个主要过程，先对待处理的立体图像的左视差图像中的所有分割对象逐个进行视差调整，后对第一个过程得到的视差调整后的图像中的所有分割对象同步进行视差调整，接着根据两次视差调整后得到的图像计算经视差调整后的右视点图像，再根据待处理的立体图像的左视点图像与经视差调整后的右视点图像获得新的立体图像，从而有效地提升了观看者的深度感和视觉舒适性。
Description
技术领域
本发明涉及一种图像信号的处理方法，尤其是涉及一种立体图像视觉舒适度和深度感联合优化方法。
背景技术
随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，立体视频的视觉体验质量(QoE，Quality ofExperience)已成为立体视频系统设计中的一个重要问题，而视觉舒适度(VC，Visual Comfort)是影响立体视频的视觉体验质量的重要因素。目前，对立体视频/立体图像的质量评价研究主要考虑了内容失真对于图像质量的影响，而很少考虑视觉舒适度、深度感等因素的影响。因此，为了提高观看者的视觉体验质量，研究立体视频/立体图像的视觉舒适度和深度感联合优化方法对3D内容制作和后期处理具有十分重要的指导作用。
与常规的平面图像相比，观看基于视差形成的立体图像具有较强的立体感和沉浸感，但是长时间观看立体图像会出现头疼、视觉疲劳、视力模糊甚至恶心等症状。过大的双目视差、人眼焦点调节与辐辏机制冲突通常被认为是引起视觉不舒适的主要原因。人眼的双眼融合机制为具有水平视差的左、右眼物像融合成具有立体感的单一清晰物像提供了生理保证，然而如果水平视差过大，则会导致物像落在Panum融合区域外，人眼将无法正常形成双眼单视性，长时间观看容易造成严重的视觉疲劳。而与引起视觉不舒适的影响相比，较大的双目视差被认为是产生较强深度感的主要原因。因此，如何有效地对引起视觉不舒适和深度感的因素进行表征、以及如何在视觉舒适性和深度感之间进行平衡，都是在对立体图像进行视觉舒适度和深度感联合优化过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种立体图像视觉舒适度和深度感联合优化方法，其能够有效地提升观看者的深度感和视觉舒适性。
本发明解决上述技术问题所采用的技术方案为：一种立体图像视觉舒适度和深度感联合优化方法，其特征在于包括训练阶段和测试阶段两个过程；
所述的训练阶段包括以下步骤：
①-1、选取不同舒适度等级的M幅宽度为W且高度为H的立体图像构成训练图像集，记为{Sm|1≤m≤M}，其中，M>5，Sm表示{Sm|1≤m≤M}中的第m幅立体图像；
①-2、计算{Sm|1≤m≤M}中的每幅立体图像的用于反映视觉舒适度的特征矢量，将Sm的用于反映视觉舒适度的特征矢量记为Fm，其中，Fm的维数为7，符号“[]”为矢量表示符号，χm表示Sm的左视差图像中的所有像素点的平均绝对视差幅值，表示Sm的左视差图像中的所有像素点的视差方差值，表示Sm的左视差图像中的所有像素点的视差范围，和对应表示Sm的左视差图像中的所有像素点的最大视差均值和最小视差均值，表示Sm的左视差图像的相对视差，表示Sm的左视差图像的对象宽度；
①-3、根据{Sm|1≤m≤M}中的每幅立体图像的用于反映视觉舒适度的特征矢量和平均主观评分差值，采用支持向量回归作为机器学习的方法，获得舒适度客观预测函数，将以Finp作为舒适度客观预测函数的输入矢量得到的舒适度客观预测值记为Φ(Finp)，其中，Φ()为函数表示形式；
所述的测试阶段包括以下步骤：
②-1、将待处理的宽度为W且高度为H的立体图像的左视点图像及左视差图像对应记为{IL(x,y)}及{dL(x,y)}，其中，1≤x≤W，1≤y≤H，IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值，dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值；
②-2、采用K-mean聚类方法将{dL(x,y)}分割成P个分割对象，其中，P≥1；然后计算{dL(x,y)}中的每个分割对象中的所有像素点的平均视差值；接着按计算得到的平均视差值从小到大的顺序对{dL(x,y)}中的所有分割对象进行排序，将排序后的分割对象构成的集合记为其中，表示中的第1个分割对象，…，第i个分割对象，…，第P个分割对象，1≤i≤P；
②-3、根据训练阶段获得的舒适度客观预测函数，逐个对中的每个分割对象进行视差调整，得到对应的经视差调整后的分割对象，由所有经视差调整后的分割对象构成{dL(x,y)}经视差调整后的图像，记为其中，表示中坐标位置为(x,y)的像素点的像素值；
②-4、根据训练阶段获得的舒适度客观预测函数，同步对中的所有分割对象进行视差调整，得到对应的视差调整后的分割对象，由所有视差调整后的分割对象构成经视差调整后的图像，记为其中，表示中坐标位置为(x,y)的像素点的像素值；
②-5、计算经视差调整后的右视点图像，记为将中坐标位置为(x,y)的像素点的像素值记为其中，表示{IL(x,y)}中坐标位置为的像素点的像素值；然后将{IL(x,y)}和构成一幅新的立体图像。
所述的步骤①-2中的 其中，1≤x≤W，1≤y≤H，dm(x,y)表示Sm的左视差图像中坐标位置为(x,y)的像素点的像素值，符号“| |”为取绝对值符号，dmax表示Sm的左视差图像中的所有像素点的像素值按从大到小的顺序排序后、前1％的所有像素值的平均值，dmin表示Sm的左视差图像中的所有像素点的像素值按从大到小的顺序排序后、后1％的所有像素值的平均值，表示Sm的左视差图像中的所有像素点的像素值按从大到小的顺序排序后、前10％的所有像素值对应的像素点的坐标位置构成的集合， 表示Sm的左视差图像中的所有像素点的像素值按从小到大的顺序排序后、前10％的所有像素值对应的像素点的坐标位置构成的集合，max()为取最大值函数，1≤i≤P，P亦表示Sm的左视差图像中的分割对象的总个数，P≥1，Ni表示Sm的左视差图像中与第i个分割对象相邻的分割对象的总个数，1≤j≤Ni，ri,j＝εi-εj， 表示Sm的左视差图像中的第i个分割对象中的像素点的总个数，表示Sm的左视差图像中的第i个分割对象中的所有像素点的坐标位置构成的集合，表示Sm的左视差图像中与第i个分割对象相邻的第j个分割对象中的像素点的总个数，表示Sm的左视差图像中与第i个分割对象相邻的第j个分割对象中的所有像素点的坐标位置构成的集合，min()为取最小值函数，ln()表示以自然基数e为底的对数函数，Li表示Sm的左视差图像中的第i个分割对象中的水平线的总个数，1≤u≤Li，表示Sm的左视差图像中的第i个分割对象中的第u条水平线的宽度，
所述的Sm的左视差图像中的分割对象采用K-mean聚类方法获得。
所述的步骤②-3的具体过程为：
②-3a、将中当前待处理的第i个分割对象定义为当前分割对象，其中，i的初始值为1，1≤i≤P；
②-3b、计算当前分割对象中的每个像素点经视差调整后的像素值以得到对应的经视差调整后的分割对象，假设{dL(x,y)}中坐标位置为(x,y)的像素点属于当前分割对象，则将该像素点经视差调整后的像素值记为其中，ρi表示当前分割对象中的所有像素点的视差调整参数，ρi通过求解得到，表示中与当前分割对象对应的分割对象的用于反映视觉舒适度的特征矢量，表示以作为训练阶段获得的舒适度客观预测函数的输入矢量得到的舒适度客观预测值，VCGT为舒适度阈值，1≤j≤Ni'，Ni'表示{dL(x,y)}中与第i个分割对象相邻的分割对象的总个数，符号“| |”为取绝对值符号，max()为取最大值函数，表示中与当前分割对象对应的分割对象中的所有像素点的像素值的均值，μj表示{dL(x,y)}中与当前分割对象相邻的第j个分割对象中的所有像素点的像素值的均值，dJNDD()为最小可察觉视差变化阈值模型，dJNDD(μj)＝α×DJNDD(d)+β， f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，Znear表示最小的场景深度值，Zfar表示最大的场景深度值；
②-3c、令i＝i+1，然后将中下一个待处理的分割对象作为当前分割对象，再返回步骤②-3b继续执行，直至中的所有分割对象处理完毕，由所有经视差调整后的分割对象构成{dL(x,y)}经视差调整后的图像其中，i＝i+1中的“＝”为赋值符号。
所述的步骤②-4中的其中，θi表示中的第i个分割对象中的所有像素点的视差调整参数，θi通过求解得到，min()为取最小值函数，
βi和λi均为加权参数，表示中的第i个分割对象中的所有像素点的像素值的均值，表示中的第i个分割对象中的所有像素点的像素值的均值，符号“|| ||2”为求2-范数符号，表示中与第i个分割对象相邻的第j个分割对象中的所有像素点的像素值的均值，ω1为调节参数，max()为取最大值函数，Ni'亦表示中与第i个分割对象相邻的分割对象的总个数，dJNDD()为最小可察觉视差变化阈值模型， f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，Znear表示最小的场景深度值，Zfar表示最大的场景深度值，表示的用于反映视觉舒适度的特征矢量，表示以作为训练阶段获得的舒适度客观预测函数的输入矢量得到的舒适度客观预测值，VCGT为舒适度阈值。
与现有技术相比，本发明的优点在于：
1)本发明方法通过训练得到舒适度客观预测函数，并以此训练得到的舒适度客观预测函数来预测得到局部分割对象和全局图像的舒适度预测值，作为视差调整的约束条件，从而能够较为精确地将立体图像的视觉舒适度从不舒适调整到舒适程度。
2)本发明方法在测试阶段包括两个主要过程，第一个过程为对待处理的立体图像的左视差图像中的所有分割对象逐个进行视差调整，第二个过程为对第一个过程得到的视差调整后的图像中的所有分割对象同步进行视差调整，接下来根据两次视差调整后得到的图像计算经视差调整后的右视点图像，再根据待处理的立体图像的左视点图像与经视差调整后的右视点图像获得新的立体图像，从而有效地提升了观看者的深度感和视觉舒适性。
附图说明
图1为本发明方法的总体实现框图；
图2a为“Image1”的原始立体图像的“红/绿”图；
图2b为图2a经视差调整后的立体图像的“红/绿”图；
图3a为“Image2”的原始立体图像的“红/绿”图；
图3b为图3a经视差调整后的立体图像的“红/绿”图；
图4a为“Image3”的原始立体图像的“红/绿”图；
图4b为图4a经视差调整后的立体图像的“红/绿”图；
图5a为“Image4”的原始立体图像的“红/绿”图；
图5b为图5a经视差调整后的立体图像的“红/绿”图；
图6a为“Image5”的原始立体图像的“红/绿”图；
图6b为图6a经视差调整后的立体图像的“红/绿”图；
图7a为“Image6”的原始立体图像的“红/绿”图；
图7b为图7a经视差调整后的立体图像的“红/绿”图；
图8a为“Image7”的原始立体图像的“红/绿”图；
图8b为图8a经视差调整后的立体图像的“红/绿”图；
图9a为“Image8”的原始立体图像的“红/绿”图；
图9b为图9a经视差调整后的立体图像的“红/绿”图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种立体图像视觉舒适度和深度感联合优化方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程；
所述的训练阶段包括以下步骤：
①-1、选取不同舒适度等级的M幅宽度为W且高度为H的立体图像构成训练图像集，记为{Sm|1≤m≤M}，其中，M>5，在本实施例中取M＝50，Sm表示{Sm|1≤m≤M}中的第m幅立体图像，符号“{}”为集合表示符号。
①-2、计算{Sm|1≤m≤M}中的每幅立体图像的用于反映视觉舒适度的特征矢量，将Sm的用于反映视觉舒适度的特征矢量记为Fm，其中，Fm的维数为7，符号“[]”为矢量表示符号，χm表示Sm的左视差图像中的所有像素点的平均绝对视差幅值，表示Sm的左视差图像中的所有像素点的视差方差值，表示Sm的左视差图像中的所有像素点的视差范围，和对应表示Sm的左视差图像中的所有像素点的最大视差均值和最小视差均值，表示Sm的左视差图像的相对视差，表示Sm的左视差图像的对象宽度。
在此具体实施例中，步骤①-2中的 其中，1≤x≤W，1≤y≤H，dm(x,y)表示Sm的左视差图像中坐标位置为(x,y)的像素点的像素值，符号“||”为取绝对值符号，dmax表示Sm的左视差图像中的所有像素点的像素值按从大到小的顺序排序后、前1％的所有像素值的平均值，dmin表示Sm的左视差图像中的所有像素点的像素值按从大到小的顺序排序后、后1％的所有像素值的平均值，表示Sm的左视差图像中的所有像素点的像素值按从大到小的顺序排序后、前10％的所有像素值对应的像素点的坐标位置构成的集合，即表示将Sm的左视差图像中的所有像素点的像素值按从大到小的顺序排序后、前10％的像素值对应的像素点的总个数，表示Sm的左视差图像中的所有像素点的像素值按从小到大的顺序排序后、前10％的所有像素值对应的像素点的坐标位置构成的集合，即表示将Sm的左视差图像中的所有像素点的像素值按从小到大的顺序排序后、前10％的像素值对应的像素点的总个数，max()为取最大值函数，1≤i≤P，P亦表示Sm的左视差图像中的分割对象的总个数，P≥1，在本实施例中取P＝3，Ni表示Sm的左视差图像中与第i个分割对象相邻的分割对象的总个数，1≤j≤Ni，ri,j＝εi-εj， 表示Sm的左视差图像中的第i个分割对象中的像素点的总个数，Sm的左视差图像中的分割对象采用现有的K-mean聚类方法获得，即采用现有的K-mean聚类方法将Sm的左视差图像分割成P个分割对象，表示Sm的左视差图像中的第i个分割对象中的所有像素点的坐标位置构成的集合，表示Sm的左视差图像中与第i个分割对象相邻的第j个分割对象中的像素点的总个数，表示Sm的左视差图像中与第i个分割对象相邻的第j个分割对象中的所有像素点的坐标位置构成的集合，min()为取最小值函数，ln()表示以自然基数e为底的对数函数，e＝2.71828183…，Li表示Sm的左视差图像中的第i个分割对象中的水平线的总个数，Li的取值由Sm的左视差图像中的第i个分割对象的形状所决定，1≤u≤Li，表示Sm的左视差图像中的第i个分割对象中的第u条水平线的宽度，的取值由Sm的左视差图像中的第i个分割对象的形状所决定，
①-3、根据{Sm|1≤m≤M}中的每幅立体图像的用于反映视觉舒适度的特征矢量和平均主观评分差值，采用支持向量回归作为机器学习的方法，获得舒适度客观预测函数，将以Finp作为舒适度客观预测函数的输入矢量得到的舒适度客观预测值记为Φ(Finp)，其中，Φ()为函数表示形式。
在此，根据立体图像的用于反映视觉舒适度的特征矢量和平均主观评分差值，采用支持向量回归作为机器学习的方法，获得舒适度客观预测函数的过程采用现有技术。
所述的测试阶段包括以下步骤：
②-1、将待处理的宽度为W且高度为H的立体图像的左视点图像及左视差图像对应记为{IL(x,y)}及{dL(x,y)}，其中，1≤x≤W，1≤y≤H，IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值，dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值。
②-2、采用现有的K-mean聚类方法将{dL(x,y)}分割成P个分割对象，其中，P≥1，在本实施例中取P＝3；然后计算{dL(x,y)}中的每个分割对象中的所有像素点的平均视差值；接着按计算得到的平均视差值从小到大的顺序对{dL(x,y)}中的所有分割对象进行排序，将排序后的分割对象构成的集合记为其中，表示中的第1个分割对象，…，第i个分割对象，…，第P个分割对象，1≤i≤P。
②-3、根据训练阶段获得的舒适度客观预测函数，逐个对中的每个分割对象进行视差调整，得到对应的经视差调整后的分割对象，由所有经视差调整后的分割对象构成{dL(x,y)}经视差调整后的图像，记为其中，表示中坐标位置为(x,y)的像素点的像素值。
在此具体实施例中，步骤②-3的具体过程为：
②-3a、将中当前待处理的第i个分割对象定义为当前分割对象，其中，i的初始值为1，1≤i≤P。
②-3b、计算当前分割对象中的每个像素点经视差调整后的像素值以得到对应的经视差调整后的分割对象，假设{dL(x,y)}中坐标位置为(x,y)的像素点属于当前分割对象，则将该像素点经视差调整后的像素值记为其中，ρi表示当前分割对象中的所有像素点的视差调整参数，ρi通过求解得到，表示中与当前分割对象对应的分割对象的用于反映视觉舒适度的特征矢量，即表示中的第i个分割对象的用于反映视觉舒适度的特征矢量，的获取采用与步骤①-2相同的方式，即 的维数为7，符号“[]”为矢量表示符号，表示中与当前分割对象对应的分割对象中的所有像素点的平均绝对视差幅值，表示中与当前分割对象对应的分割对象中的所有像素点的视差方差值，表示中与当前分割对象对应的分割对象中的所有像素点的视差范围，和对应表示中与当前分割对象对应的分割对象中的所有像素点的最大视差均值和最小视差均值，表示中与当前分割对象对应的分割对象的相对视差，表示中与当前分割对象对应的分割对象的对象宽度，表示以作为训练阶段获得的舒适度客观预测函数的输入矢量得到的舒适度客观预测值，VCGT为舒适度阈值，在本实施例中取VCGT＝4，1≤j≤Ni'，Ni'表示{dL(x,y)}中与第i个分割对象相邻的分割对象的总个数，符号“| |”为取绝对值符号，max()为取最大值函数，表示中与当前分割对象对应的分割对象中的所有像素点的像素值的均值，μj表示{dL(x,y)}中与当前分割对象相邻的第j个分割对象中的所有像素点的像素值的均值，dJNDD()为最小可察觉视差变化阈值模型，dJNDD(μj)＝α×DJNDD(d)+β， f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，Znear表示最小的场景深度值，Zfar表示最大的场景深度值，在本实施例中f、L、Znear和Zfar的值根据具体的测试序列确定。
②-3c、令i＝i+1，然后将中下一个待处理的分割对象作为当前分割对象，再返回步骤②-3b继续执行，直至中的所有分割对象处理完毕，由所有经视差调整后的分割对象构成{dL(x,y)}经视差调整后的图像其中，i＝i+1中的“＝”为赋值符号。
②-4、根据训练阶段获得的舒适度客观预测函数，同步对中的所有分割对象进行视差调整，得到对应的视差调整后的分割对象，由所有视差调整后的分割对象构成经视差调整后的图像，记为其中，表示中坐标位置为(x,y)的像素点的像素值。
在此具体实施例中，步骤②-4中的其中，θi表示中的第i个分割对象中的所有像素点的视差调整参数，θi通过求解得到，min()为取最小值函数， βi和λi均为加权参数，在本实施例中取β1＝0.5、β2＝4、β3＝2，λ1＝λ2＝λ3＝4，表示中的第i个分割对象中的所有像素点的像素值的均值，表示中的第i个分割对象中的所有像素点的像素值的均值，符号“|| ||2”为求2-范数符号，表示中与第i个分割对象相邻的第j个分割对象中的所有像素点的像素值的均值，ω1为调节参数，在本实施例中取ω1＝100，max()为取最大值函数，Ni'亦表示中与第i个分割对象相邻的分割对象的总个数，dJNDD()为最小可察觉视差变化阈值模型， f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，Znear表示最小的场景深度值，Zfar表示最大的场景深度值，在本实施例中f、L、Znear和Zfar的值根据具体的测试序列确定，表示的用于反映视觉舒适度的特征矢量，表示以作为训练阶段获得的舒适度客观预测函数的输入矢量得到的舒适度客观预测值，的获取采用与步骤①-2相同的方式，即 的维数为7，符号“[]”为矢量表示符号，表示中的所有像素点的平均绝对视差幅值，表示中的所有像素点的视差方差值，表示中的所有像素点的视差范围，和对应表示中的所有像素点的最大视差均值和最小视差均值，表示的相对视差，表示的对象宽度，VCGT为舒适度阈值，在本实施例中取VCGT＝4。
②-5、计算经视差调整后的右视点图像，记为将中坐标位置为(x,y)的像素点的像素值记为其中，表示{IL(x,y)}中坐标位置为的像素点的像素值；然后将{IL(x,y)}和构成一幅新的立体图像。
以下就利用本发明方法分别对韩国科学技术院(KAIST)提供的立体图像数据库(IVY LAB Stereoscopic 3D image database)中的Image1、Image2、Image3、Image4、Image5、Image6、Image7和Image8八幅立体图像进行视差调整，其中，Image1、Image2、Image3和Image4的原始立体图像为视觉不舒适，Image5、Image6、Image7和Image8的原始立体图像为视觉舒适。图2a给出了“Image1”的原始立体图像的“红/绿”图，图2b给出了图2a经视差调整后的立体图像的“红/绿”图；图3a给出了“Image2”的原始立体图像的“红/绿”图，图3b给出了图3a经视差调整后的立体图像的“红/绿”图；图4a给出了“Image3”的原始立体图像的“红/绿”图，图4b给出了图4a经视差调整后的立体图像的“红/绿”图；图5a给出了“Image4”的原始立体图像的“红/绿”图，图5b给出了图5a经视差调整后的立体图像的“红/绿”图；图6a给出了“Image5”的原始立体图像的“红/绿”图，图6b给出了图6a经视差调整后的立体图像的“红/绿”图；图7a给出了“Image6”的原始立体图像的“红/绿”图，图7b给出了图7a经视差调整后的立体图像的“红/绿”图；图8a给出了“Image7”的原始立体图像的“红/绿”图，图8b给出了“图8a经视差调整后的立体图像的“红/绿”图；图9a给出了“Image8”的原始立体图像的“红/绿”图，图9b给出了图9a经视差调整后的立体图像的“红/绿”图。从图2a至图9b中可以看出，对于视觉不舒适的原始立体图像，采用本发明方法得到的经调整后的立体图像，由于增加了视觉舒适度约束条件，明显增强了观看者的视觉舒适性；而对于视觉舒适的原始立体图像，采用本发明方法得到的经调整后的立体图像，由于增加了最小可察觉视差变化阈值约束条件，明显提升了观看者的深度感。
Claims (5)
1.一种立体图像视觉舒适度和深度感联合优化方法，其特征在于包括训练阶段和测试阶段两个过程；
所述的训练阶段包括以下步骤：
①-1、选取不同舒适度等级的M幅宽度为W且高度为H的立体图像构成训练图像集，记为{Sm|1≤m≤M}，其中，M>5，Sm表示{Sm|1≤m≤M}中的第m幅立体图像；
①-2、计算{Sm|1≤m≤M}中的每幅立体图像的用于反映视觉舒适度的特征矢量，将Sm的用于反映视觉舒适度的特征矢量记为Fm，其中，Fm的维数为7，符号“[]”为矢量表示符号，χm表示Sm的左视差图像中的所有像素点的平均绝对视差幅值，表示Sm的左视差图像中的所有像素点的视差方差值，表示Sm的左视差图像中的所有像素点的视差范围，和对应表示Sm的左视差图像中的所有像素点的最大视差均值和最小视差均值，表示Sm的左视差图像的相对视差，表示Sm的左视差图像的对象宽度；
①-3、根据{Sm|1≤m≤M}中的每幅立体图像的用于反映视觉舒适度的特征矢量和平均主观评分差值，采用支持向量回归作为机器学习的方法，获得舒适度客观预测函数，将以Finp作为舒适度客观预测函数的输入矢量得到的舒适度客观预测值记为Φ(Finp)，其中，Φ()为函数表示形式；
所述的测试阶段包括以下步骤：
②-1、将待处理的宽度为W且高度为H的立体图像的左视点图像及左视差图像对应记为{IL(x,y)}及{dL(x,y)}，其中，1≤x≤W，1≤y≤H，IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值，dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值；
②-2、采用K-mean聚类方法将{dL(x,y)}分割成P个分割对象，其中，P≥1；然后计算{dL(x,y)}中的每个分割对象中的所有像素点的平均视差值；接着按计算得到的平均视差值从小到大的顺序对{dL(x,y)}中的所有分割对象进行排序，将排序后的分割对象构成的集合记为其中，表示中的第1个分割对象，…，第i个分割对象，…，第P个分割对象，1≤i≤P；
②-3、根据训练阶段获得的舒适度客观预测函数，逐个对中的每个分割对象进行视差调整，得到对应的经视差调整后的分割对象，由所有经视差调整后的分割对象构成{dL(x,y)}经视差调整后的图像，记为其中，表示中坐标位置为(x,y)的像素点的像素值；
②-4、根据训练阶段获得的舒适度客观预测函数，同步对中的所有分割对象进行视差调整，得到对应的视差调整后的分割对象，由所有视差调整后的分割对象构成经视差调整后的图像，记为其中，表示中坐标位置为(x,y)的像素点的像素值；
②-5、计算经视差调整后的右视点图像，记为将中坐标位置为(x,y)的像素点的像素值记为其中，表示{IL(x,y)}中坐标位置为的像素点的像素值；然后将{IL(x,y)}和构成一幅新的立体图像。
2.根据权利要求1所述的一种立体图像视觉舒适度和深度感联合优化方法，其特征在于所述的步骤①-2中的 其中，1≤x≤W，1≤y≤H，dm(x,y)表示Sm的左视差图像中坐标位置为(x,y)的像素点的像素值，符号“| |”为取绝对值符号，dmax表示Sm的左视差图像中的所有像素点的像素值按从大到小的顺序排序后、前1％的所有像素值的平均值，dmin表示Sm的左视差图像中的所有像素点的像素值按从大到小的顺序排序后、后1％的所有像素值的平均值，表示Sm的左视差图像中的所有像素点的像素值按从大到小的顺序排序后、前10％的所有像素值对应的像素点的坐标位置构成的集合， 表示Sm的左视差图像中的所有像素点的像素值按从小到大的顺序排序后、前10％的所有像素值对应的像素点的坐标位置构成的集合，max()为取最大值函数，1≤i≤P，P亦表示Sm的左视差图像中的分割对象的总个数，P≥1，Ni表示Sm的左视差图像中与第i个分割对象相邻的分割对象的总个数，1≤j≤Ni，ri,j＝εi-εj， 表示Sm的左视差图像中的第i个分割对象中的像素点的总个数，表示Sm的左视差图像中的第i个分割对象中的所有像素点的坐标位置构成的集合，表示Sm的左视差图像中与第i个分割对象相邻的第j个分割对象中的像素点的总个数，表示Sm的左视差图像中与第i个分割对象相邻的第j个分割对象中的所有像素点的坐标位置构成的集合，min()为取最小值函数，ln()表示以自然基数e为底的对数函数，Li表示Sm的左视差图像中的第i个分割对象中的水平线的总个数，1≤u≤Li，表示Sm的左视差图像中的第i个分割对象中的第u条水平线的宽度，
3.根据权利要求2所述的一种立体图像视觉舒适度和深度感联合优化方法，其特征在于所述的Sm的左视差图像中的分割对象采用K-mean聚类方法获得。
4.根据权利要求1所述的一种立体图像视觉舒适度和深度感联合优化方法，其特征在于所述的步骤②-3的具体过程为：
②-3a、将中当前待处理的第i个分割对象定义为当前分割对象，其中，i的初始值为1，1≤i≤P；
②-3b、计算当前分割对象中的每个像素点经视差调整后的像素值以得到对应的经视差调整后的分割对象，假设{dL(x,y)}中坐标位置为(x,y)的像素点属于当前分割对象，则将该像素点经视差调整后的像素值记为其中，ρi表示当前分割对象中的所有像素点的视差调整参数，ρi通过求解
满足得到，表示中与当前分割对象对应的分割对象的用于反映视觉舒适度的特征矢量，表示以作为训练阶段获得的舒适度客观预测函数的输入矢量得到的舒适度客观预测值，VCGT为舒适度阈值，1≤j≤Ni'，Ni'表示{dL(x,y)}中与第i个分割对象相邻的分割对象的总个数，符号“||”为取绝对值符号，max()为取最大值函数，表示中与当前分割对象对应的分割对象中的所有像素点的像素值的均值，μj表示{dL(x,y)}中与当前分割对象相邻的第j个分割对象中的所有像素点的像素值的均值，dJNDD()为最小可察觉视差变化阈值模型，dJNDD(μj)＝α×DJNDD(d)+β， f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，Znear表示最小的场景深度值，Zfar表示最大的场景深度值；
②-3c、令i＝i+1，然后将中下一个待处理的分割对象作为当前分割对象，再返回步骤②-3b继续执行，直至中的所有分割对象处理完毕，由所有经视差调整后的分割对象构成{dL(x,y)}经视差调整后的图像其中，i＝i+1中的“＝”为赋值符号。
5.根据权利要求1所述的一种立体图像视觉舒适度和深度感联合优化方法，其特征在于所述的步骤②-4中的其中，θi表示中的第i个分割对象中的所有像素点的视差调整参数，θi通过求解得到，min()为取最小值函数， βi和λi均为加权参数，表示中的第i个分割对象中的所有像素点的像素值的均值，表示中的第i个分割对象中的所有像素点的像素值的均值，符号“|| ||2”为求2-范数符号，表示中与第i个分割对象相邻的第j个分割对象中的所有像素点的像素值的均值，ω1为调节参数，max()为取最大值函数，Ni'亦表示中与第i个分割对象相邻的分割对象的总个数，dJNDD()为最小可察觉视差变化阈值模型， f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，Znear表示最小的场景深度值，Zfar表示最大的场景深度值，表示的用于反映视觉舒适度的特征矢量，表示以作为训练阶段获得的舒适度客观预测函数的输入矢量得到的舒适度客观预测值，VCGT为舒适度阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610269773.9A CN105959679B (zh) | 2016-04-27 | 2016-04-27 | 一种立体图像视觉舒适度和深度感联合优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610269773.9A CN105959679B (zh) | 2016-04-27 | 2016-04-27 | 一种立体图像视觉舒适度和深度感联合优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105959679A CN105959679A (zh) | 2016-09-21 |
| CN105959679B true CN105959679B (zh) | 2017-09-19 |
Family
ID=56915739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610269773.9A Active CN105959679B (zh) | 2016-04-27 | 2016-04-27 | 一种立体图像视觉舒适度和深度感联合优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105959679B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106851246B (zh) | 2017-02-06 | 2019-08-23 | 京东方科技集团股份有限公司 | 用于确定三维图像或视频的视觉疲劳度的方法和设备 |
| CN110287964B (zh) * | 2019-06-13 | 2021-08-03 | 浙江大华技术股份有限公司 | 一种立体匹配方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101289656B1 (ko) * | 2010-08-24 | 2013-07-25 | 엘지디스플레이 주식회사 | 입체 영상 표시장치의 크로스토크 평가 시스템과 그 방법 |
| CN105338335B (zh) * | 2015-10-15 | 2017-03-29 | 宁波大学 | 一种立体图像显著图提取方法 |
| CN105430370B (zh) * | 2015-11-24 | 2017-05-03 | 宁波大学 | 一种基于排序学习的立体图像视觉舒适度评价方法 |
| CN105472393B (zh) * | 2015-11-24 | 2018-04-17 | 宁波大学 | 一种基于联合字典的彩色与深度图像后处理方法 |
| CN105407349B (zh) * | 2015-11-30 | 2017-05-03 | 宁波大学 | 基于双目视觉感知的无参考立体图像质量客观评价方法 |
-
2016
- 2016-04-27 CN CN201610269773.9A patent/CN105959679B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN105959679A (zh) | 2016-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI528781B (zh) | 用以訂製立體內容之三維效果的方法及裝置 | |
| US8798160B2 (en) | Method and apparatus for adjusting parallax in three-dimensional video | |
| US9754379B2 (en) | Method and system for determining parameters of an off-axis virtual camera | |
| US20130038606A1 (en) | Image processing apparatus, image processing method, and program | |
| CN107396111B (zh) | 介导现实中自动视频插帧补偿方法及系统 | |
| US20120163701A1 (en) | Image processing device, image processing method, and program | |
| CN106651853B (zh) | 基于先验知识和深度权重的3d显著性模型的建立方法 | |
| CN104754322B (zh) | 一种立体视频舒适度评价方法及装置 | |
| JP2012227924A (ja) | 画像解析装置、画像解析方法及びプログラム | |
| US20140043335A1 (en) | Image processing device, image processing method, and program | |
| CN104581141B (zh) | 一种立体图像视觉舒适度评价方法 | |
| CN114648482A (zh) | 立体全景图像的质量评价方法、系统 | |
| US20080158347A1 (en) | Method for displaying stereoscopic image | |
| CN105959679B (zh) | 一种立体图像视觉舒适度和深度感联合优化方法 | |
| CN108848365B (zh) | 一种重定位立体图像质量评价方法 | |
| US9082210B2 (en) | Method and apparatus for adjusting image depth | |
| TW201733351A (zh) | ３ｄ自動對焦顯示方法及其系統 | |
| Mangiat et al. | Disparity remapping for handheld 3D video communications | |
| Zhang et al. | Visual comfort assessment of stereoscopic images with multiple salient objects | |
| CN105430370B (zh) | 一种基于排序学习的立体图像视觉舒适度评价方法 | |
| US20140085434A1 (en) | Image signal processing device and image signal processing method | |
| CN110944166B (zh) | 一种立体图像视觉满意度的客观评价方法 | |
| CN110636282B (zh) | 一种无参考非对称虚拟视点立体视频质量评价方法 | |
| KR101218723B1 (ko) | 사용자의 시각적 피로도를 고려한 3ｄ 영상 제공방법 | |
| KR20130005148A (ko) | 입체감 조절 장치 및 입체감 조절 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20191220 Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000 Patentee after: Huzhou You Yan Intellectual Property Service Co.,Ltd. Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818 Patentee before: Ningbo University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231218 Address after: Room A812, No. 2 Xingye Avenue, Ningbo Free Trade Zone, Ningbo City, Zhejiang Province, 315000 (under the custody of Yongbao Business Secretary Company, B1538) Patentee after: Zhejiang Rongyou Information Technology Co.,Ltd. Address before: 313000 room 1020, science and Technology Pioneer Park, 666 Chaoyang Road, Nanxun Town, Nanxun District, Huzhou, Zhejiang. Patentee before: Huzhou You Yan Intellectual Property Service Co.,Ltd. |