CN112738501B - 一种立体图像舒适度测试方法 - Google Patents
一种立体图像舒适度测试方法 Download PDFInfo
- Publication number
- CN112738501B CN112738501B CN202011592782.4A CN202011592782A CN112738501B CN 112738501 B CN112738501 B CN 112738501B CN 202011592782 A CN202011592782 A CN 202011592782A CN 112738501 B CN112738501 B CN 112738501B
- Authority
- CN
- China
- Prior art keywords
- parallax
- features
- color
- disparity
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种立体图像舒适度测试方法。传统的舒适度测试技术提取的特征较为简单,预测结果不够准确。本发明方法首先输入立体图像视差图提取基础视差特征,然后由视差图和中颞区皮层图提取视觉神经活动特征,再与颜色特征线性结合得到最终的舒适度预测特征,采用随机森林回归模型进行不舒适度测试,获得最终的立体视觉不舒适度分值。本发明的视觉神经活动特征模拟了大脑中颞区皮层视觉处理过程,视差特征和颜色特征则代表了图像内容本身。本发明方法充分考虑了影响立体图像舒适度的相关因素,在舒适度测试方面有很好的效果。
Description
技术领域
本发明属于视频图像处理领域,涉及一种立体图像舒适度测试方法,具体是一种结合视 觉神经活动特征和颜色特征的立体图像舒适度测试方法。
背景技术
相较于二维图像,3D图像能给用户带来更多的视觉信息和更逼真的视觉体验,在军事、 医学、教学、建筑、影视、虚拟现实等方面的应用越来越广泛。但是,当前立体显示器是平 面型的,由于视差过大等因素,在观看立体视觉内容时会产生聚焦和汇聚冲突,导致观看者 产生头晕、眼疲劳、恶心、肩颈疼痛等不适感,这些不适感不仅会对人们的健康产生负面或 不可逆的损害,也制约着3D图像和视频服务的应用普及和推广。因此,研究者对立体内容 舒适度研究日益重视,而3D视觉舒适度评价是当前研究的重点。
3D视觉舒适度评价在方法上可以分为主观评价与客观评价两种,主观评价需要观察者 对立体内容进行观察和测定,耗费人力和物力,对实验环境要求十分苛刻。传统的立体图像 舒适度测试方法主要是基于简单的视差特征,这些特征只局限于立体内容本身,缺乏对视觉 生理学特征的研究,与主观评价结果的匹配程度不高。准确地对立体图像的视觉舒适度进行 客观评价就显得尤为重要。虽然在3D领域中关于立体图像视觉舒适度的研究很广泛,但没 有统一的标准来客观评价3D内容的视觉舒适度。
发明内容
本发明的目的是针对现有技术的不足,提供了一种立体图像舒适度测试方法,将人类的 视觉系统引入立体图像舒适度评价中,分别提取基础视差特征、视觉神经活动特征和颜色特 征,通过随机森林回归模型融合各种特征,进而测试出立体图像的不舒适度分数,通过不同 的立体图像数据库实验证实提出方法能够准确地测试立体图像的舒适度。
本发明方法是从视差图中提取基础视差特征,从视差图和中颞区皮层图(简称MT图) 中提取视觉神经活动特征,从彩色图中提取颜色特征,然后采用随机森林作为回归模型进行 不舒适度测试,获得最终的立体视觉不舒适度分值。
本发明方法具体步骤是:
步骤(1)从视差图中提取六个维度的基础视差特征,包括:视差均值、视差方差、高视 差均值、低视差均值、视差离散度和视差偏度;
步骤(2)从视差图和中颞区皮层图中提取视觉神经活动特征;
步骤(3)从彩色图中提取颜色特征;
步骤(4)采用随机森林作为回归模型进行不舒适度测试,获得立体视觉不舒适度分值;
步骤(5)采用多次随机森林融合取均值的方式,获得最终的立体视觉不舒适度分值,得 到最终测试结果。
进一步,步骤(1)基础视差特征具体方法是:
高视差均值低视差均值对视差图中各 像素的视差值按大小重新排序,Wh和Hh分别表示排序后高视差值像素的行数和列数,Wl和 Hl分别表示排序后低视差值像素的行数和列数,Dh(i,j)和Dl(i,j)分别表示高视差像素和 低视差像素在坐标(i,j)处的视差值,nh和nl分别为视差图中高视差值像素和低视差值像素 对应的数量,nh=nl=W·H·p,p为高视差值像素和低视差值像素在视差图中所占的比重;
再进一步,步骤(2)具体是:
(2.1)输入立体图像的视差图,用Gabor函数模拟中颞区皮层中刺激和神经元反应之间 的关系,神经元的放电频率其中,为Gabor函数的基线反应,,Ak为Gabor函数的幅度,d表示水平视差,为Gabor函数中心, 为Gabor函数方差,fk为Gabor函数的频率,Φk为Gabor函数相位,k为神经元序号, k=1,2,…,13;
(2.2)由中颞区皮层图描述中颞区皮层区域的视觉神经活动,序号为1~4、11、12神经 元对应正视差敏感,序号为6~8神经元对应零视差敏感,序号为10、13神经元对应负视 差敏感;视觉神经活动特征包括正视差神经特征、零视差神经特征和负视差神经特征;
npos、nzero、nneg分别表示对应正视差、零视差和负视差敏感的神经元的种类数量。
又进一步,步骤(3)具体是:
(3.1)首先对输入的彩色图像做对数预处理;
预处理后红色分量R1(i,j)=log(R(i,j))-μR;
预处理后绿色分量G1(i,j)=log(G(i,j))-μG;
预处理后蓝色分量B1(i,j)=log(B(i,j))-μB;
R(i,j)、G(i,j)、B(i,j)分别表示预处理前彩色图在坐标(i,j)处各像素的红、绿、蓝 色彩分量,μR、μG、μB分别表示彩色图的RGB三个色彩通道中R、G、B分量的均值;
(3.2)将预处理后的彩色图由RGB颜色空间转换到新的颜色空间,计算彩色图的亮度 Lum、色调Hue和饱和度Sat:
Lum(i,j)=max{R1(i,j),G1(i,j),B1(i,j)};
max(·)和min(·)分别表示求最大和最小值;
Wc和Hc分别表示彩色图的宽度和高度。
本发明方法从视差图中提取基础视差特征,从视差图和MT图中提取视觉神经活动特征, 从彩色图中提取颜色特征,通过随机森林的方法进行舒适度测试获得最终的分数。实验表明 该方法对立体图像舒适度的测试效果很准确。
附图说明
图1为本发明方法的流程图。
具体实施方式
如图1所示,一种立体图像舒适度测试方法,具体流程是:
步骤(1)从视差图中提取六个维度的基础视差特征,包括:视差均值、视差方差、高视差 均值、低视差均值、视差离散度和视差偏度;
高视差均值低视差均值对视差图中各 像素的视差值按大小重新排序,Wh和Hh分别表示排序后高视差值像素的行数和列数,Wl和 Hl分别表示排序后低视差值像素的行数和列数,Dh(i,j)和Dl(i,j)分别表示高视差像素和 低视差像素在坐标(i,j)处的视差值,nh和nl分别为视差图中高视差值像素和低视差值像素 对应的数量,nh=nl=W·H·p,p为高视差值像素和低视差值像素在视差图中所占的比重, 本实施例中p=0.06。
步骤(2)从视差图和中颞区皮层图中提取视觉神经活动特征,具体是:
(2.1)大脑调整视差活动主要位于中颞区皮层的13类神经元,控制双目融合活动。当 眼球的汇聚和调焦发生冲突时,会造成视觉不舒适。该区域的神经元反应可以定量描述视觉 不舒适。输入立体图像的视差图,用Gabor函数模拟中颞区皮层中刺激和神经元反应之间的 关系,神经元的放电频率其中,为 Gabor函数的基线反应,Ak为Gabor函数的幅度,d表示水平视差,为Gabor函数中心, 为Gabor函数方差,fk为Gabor函数的频率,Φk为Gabor函数相位,k为神经元序号, k=1,2,…,13。下表给出了具体的参数设置,MT图用来直观的表示13类神经元的放电频率曲线。
(2.2)由中颞区皮层图描述中颞区皮层区域的视觉神经活动,该区域对视差的敏感程度 与主观视觉舒适度相关。序号为1~4、11、12神经元对应正视差敏感,序号为6~8神经元 对应零视差敏感,序号为10、13神经元对应负视差敏感。
视觉神经活动特征包括正视差神经特征、零视差神经特征和负视差神经特征;
npos、nzero、nneg分别表示对应正视差、零视差和负视差敏感的神经元的种类数量,本 实施例中npos=6,nzero=3,nneg=2。
步骤(3)从彩色图中提取颜色特征,具体是:
(3.1)首先对输入的彩色图像做对数预处理;
预处理后红色分量R1(i,j)=log(R(i,j))-μR;
预处理后绿色分量G1(i,j)=log(G(i,j))-μG;
预处理后蓝色分量B1(i,j)=log(B(i,j))-μB;
R(i,j)、G(i,j)、B(i,j)分别表示预处理前彩色图在坐标(i,j)处各像素的红、绿、蓝 色彩分量,μR、μG、μB分别表示彩色图的RGB三个色彩通道中R、G、B分量的均值;
(3.2)将预处理后的彩色图由RGB颜色空间转换到新的颜色空间,计算彩色图的亮度 Lum、色调Hue和饱和度Sat:Lum(i,j)=max{R1(i,j),G1(i,j),B1(i,j)};
max(·)和min(·)分别表示求最大和最小值。
步骤(4)采用随机森林作为回归模型进行不舒适度测试,获得立体视觉不舒适度分值。
使用自助采样来获取训练数据集,决策树的数量设置为19,该值是通过衡量训练时间 和预测准确性获得的。最终的预测结果可以通过平均每个决策树的预测结果来得到。
步骤(5)由于采样存在随机性,样本会存在差异会导致每次随机森林融合后的测试结果 存在差异,采用M次随机森林融合取均值的方式,获得最终的立体视觉不舒适度分值 VCSm表示第m次随机森林融合结果,本实施例设置M=1000。
为了避免过拟合,还采用k折交叉验证独立选择训练样本和测试样本。本实施例采用5 折交叉验证来选择独立的测试数据和训练数据。整个数据集被分为5组大小相同的部分, 用其中的4组进行训练,剩余1组用于测试。交叉验证共需要进行5次迭代,每完成一组测试后更换另一组数据,直到所有5个部分都被当作测试集测试过。通过对所有迭代产生的数据计算均值产生最终的结果。
本发明的保护内容不局限于以上实例。在不背离发明构思的精神和范围下,本领域技术 人员能够想到的变化和优点都被包括在本发明中,并且以所附的权利要求书为保护范围。
Claims (5)
1.一种立体图像舒适度测试方法,其特征在于,该方法具体是:
步骤(1)从视差图中提取六个维度的基础视差特征,包括:视差均值、视差方差、高视差均值、低视差均值、视差离散度和视差偏度;
步骤(2)从视差图和中颞区皮层图中提取视觉神经活动特征;具体是:
(2.1)输入立体图像的视差图,用Gabor函数模拟中颞区皮层中刺激和神经元反应之间的关系,神经元的放电频率其中,为Gabor函数的基线反应,Ak为Gabor函数的幅度,d表示水平视差,为Gabor函数中心,为Gabor函数方差,fk为Gabor函数的频率,Φk为Gabor函数相位,k为神经元序号,k=1,2,…,13;
(2.2)由中颞区皮层图描述中颞区皮层区域的视觉神经活动,序号为1~4、11、12神经元对应正视差敏感,序号为6~8神经元对应零视差敏感,序号为10、13神经元对应负视差敏感;视觉神经活动特征包括正视差神经特征、零视差神经特征和负视差神经特征;
npos、nzero、nneg分别表示对应正视差、零视差和负视差敏感的神经元的种类数量;
步骤(3)从彩色图中提取颜色特征;
步骤(4)采用随机森林作为回归模型融合基础视差特征、视觉神经活动特征、颜色特征,进行不舒适度测试,获得立体视觉不舒适度分值;
步骤(5)采用多次随机森林融合取均值的方式,获得最终的立体视觉不舒适度分值,得到最终测试结果。
2.如权利要求1所述的一种立体图像舒适度测试方法,其特征在于,步骤(1)基础视差特征具体方法是:
高视差均值低视差均值对视差图中各像素的视差值按大小重新排序,Wh和Hh分别表示排序后高视差值像素的行数和列数,Wl和Hl分别表示排序后低视差值像素的行数和列数,Dh(i,j)和Dl(i,j)分别表示高视差像素和低视差像素在坐标(i,j)处的视差值,nh和nl分别为视差图中高视差值像素和低视差值像素对应的数量,nh=W·H·ph,nl=W·H·pl,ph和pl分别为高视差值像素和低视差值像素在视差图中所占的比重;
3.如权利要求2所述的一种立体图像舒适度测试方法,其特征在于,步骤(3)具体是:
(3.1)首先对输入的彩色图像做对数预处理;
预处理后红色分量R1(i,j)=log(R(i,j))-μR;
预处理后绿色分量G1(i,j)=log(G(i,j))-μG;
预处理后蓝色分量B1(i,j)=log(B(i,j))-μB;
R(i,j)、G(i,j)、B(i,j)分别表示预处理前彩色图在坐标(i,j)处各像素的红、绿、蓝色彩分量,μR、μG、μB分别表示彩色图的RGB三个色彩通道中R、G、B分量的均值;
(3.2)将预处理后的彩色图由RGB颜色空间转换到新的颜色空间,计算彩色图的亮度Lum、色调Hue和饱和度Sat:
Lum(i,j)=max{R1(i,j),G1(i,j),B1(i,j)};
max(·)和min(·)分别表示求最大和最小值;
Wc和Hc分别表示彩色图的宽度和高度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011592782.4A CN112738501B (zh) | 2020-12-29 | 2020-12-29 | 一种立体图像舒适度测试方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011592782.4A CN112738501B (zh) | 2020-12-29 | 2020-12-29 | 一种立体图像舒适度测试方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112738501A CN112738501A (zh) | 2021-04-30 |
CN112738501B true CN112738501B (zh) | 2022-05-17 |
Family
ID=75607407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011592782.4A Active CN112738501B (zh) | 2020-12-29 | 2020-12-29 | 一种立体图像舒适度测试方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112738501B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013042392A1 (ja) * | 2011-09-21 | 2013-03-28 | シャープ株式会社 | 立体画像評価装置 |
CN104811693A (zh) * | 2015-04-14 | 2015-07-29 | 宁波大学 | 一种立体图像视觉舒适度客观评价方法 |
CN108449596A (zh) * | 2018-04-17 | 2018-08-24 | 福州大学 | 一种融合美学和舒适度的3d立体图像质量评估方法 |
CN111696076A (zh) * | 2020-05-07 | 2020-09-22 | 杭州电子科技大学 | 一种新型立体图像舒适度预测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8885017B2 (en) * | 2005-07-14 | 2014-11-11 | 3Ality Digital Systems, Llc | Real-time process and technology using image processing to maintain and ensure viewer comfort during capture, live transmission, and post-production of stereoscopic 3D imagery |
CN103581661B (zh) * | 2013-10-28 | 2015-06-03 | 宁波大学 | 一种立体图像视觉舒适度评价方法 |
CN108521568A (zh) * | 2018-03-26 | 2018-09-11 | 天津大学 | 基于显著性区域的立体图像舒适度视差范围的测定方法 |
CN110458880B (zh) * | 2019-07-15 | 2023-04-11 | 天津大学 | 基于光学和神经注意机制的立体图像视觉舒适度评价方法 |
-
2020
- 2020-12-29 CN CN202011592782.4A patent/CN112738501B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013042392A1 (ja) * | 2011-09-21 | 2013-03-28 | シャープ株式会社 | 立体画像評価装置 |
CN104811693A (zh) * | 2015-04-14 | 2015-07-29 | 宁波大学 | 一种立体图像视觉舒适度客观评价方法 |
CN108449596A (zh) * | 2018-04-17 | 2018-08-24 | 福州大学 | 一种融合美学和舒适度的3d立体图像质量评估方法 |
CN111696076A (zh) * | 2020-05-07 | 2020-09-22 | 杭州电子科技大学 | 一种新型立体图像舒适度预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112738501A (zh) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Park et al. | 3D visual discomfort prediction: vergence, foveation, and the physiological optics of accommodation | |
Caldara et al. | i Map: A novel method for statistical fixation mapping of eye movement data | |
Li et al. | Perceptual color map in macaque visual area V4 | |
Rodger et al. | Inverting faces does not abolish cultural diversity in eye movements | |
Loschky et al. | The contributions of central and peripheral vision to scene-gist recognition with a 180 visual field | |
Su et al. | Social interactions receive priority to conscious perception | |
Liu et al. | Blind stereoscopic image quality assessment based on hierarchical learning | |
Zhou et al. | Utilizing binocular vision to facilitate completely blind 3D image quality measurement | |
CN111882516B (zh) | 一种基于视觉显著性和深度神经网络的图像质量评价方法 | |
Maloney et al. | Measuring and modeling visual appearance | |
Groen et al. | Low-level contrast statistics are diagnostic of invariance of natural textures | |
CN110473176B (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
Abromavičius et al. | Eye and EEG activity markers for visual comfort level of images | |
CN109345552A (zh) | 基于区域权重的立体图像质量评价方法 | |
Khan et al. | Visual attention: Effects of blur | |
CN112738501B (zh) | 一种立体图像舒适度测试方法 | |
CN110916991B (zh) | 一种个性化视觉训练方法及训练装置 | |
CN113706400A (zh) | 图像矫正方法、装置、显微镜图像的矫正方法及电子设备 | |
To et al. | Averaging sets of expressive faces is modulated by eccentricity | |
Li et al. | Saliency consistency-based image re-colorization for color blindness | |
Zhou et al. | Simulating binocular vision for no-reference 3D visual quality measurement | |
CN110060291B (zh) | 一种考虑人因的立体视在距离解算方法 | |
Balas et al. | “Filling-in” colour in natural scenes | |
CN110148468B (zh) | 动态人脸图像重建的方法及装置 | |
Montrucchio et al. | Thresholds of vision of the human visual system: Visual adaptation for monocular and binocular vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |