CN107181940A - 一种立体视频舒适度评价方法及装置 - Google Patents
一种立体视频舒适度评价方法及装置 Download PDFInfo
- Publication number
- CN107181940A CN107181940A CN201710203860.9A CN201710203860A CN107181940A CN 107181940 A CN107181940 A CN 107181940A CN 201710203860 A CN201710203860 A CN 201710203860A CN 107181940 A CN107181940 A CN 107181940A
- Authority
- CN
- China
- Prior art keywords
- mrow
- frame
- stereoscopic video
- video segment
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000000007 visual effect Effects 0.000 claims description 58
- 230000002123 temporal effect Effects 0.000 claims description 53
- 230000000694 effects Effects 0.000 claims description 48
- 230000008859 change Effects 0.000 claims description 39
- 230000033001 locomotion Effects 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 description 18
- 230000014509 gene expression Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 241000282414 Homo sapiens Species 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 108010014172 Factor V Proteins 0.000 description 5
- 208000003464 asthenopia Diseases 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000013210 evaluation model Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请公开了一种立体视频舒适度评价方法及装置。该方法包括：获取立体视频段的视频帧；提取所述立体视频段的视频帧的空域特性和时域特性；根据所述立体视频段的视频帧的空域特性和时域特性，确定所述立体视频段的观看舒适度。采用本发明可实现对立体视频的舒适度进行评价。
Description
技术领域
本发明涉及通信领域的视频技术，尤其涉及一种立体视频舒适度评价方法 及装置。
背景技术
立体视频通常有两个视频通道，利用立体眼镜可使左右眼分别看到两幅不 同的画面，使眼睛聚焦的点(在屏幕上)与双眼视线汇聚点(屏幕前或后)不 在一个平面上，从而产生具有一定景深的3D画面。这种基于双眼视差原理的 3D显示技术与人正常观看物体时，聚焦和汇聚在一个点上的生理状态是不同 的，因此长时间会导致视觉疲劳。
立体视频的舒适性是影响立体视频发展的主要问题之一，改善立体视频观 看舒适度的前提是评价立体视频的舒适度。
发明内容
本发明实施例提供了一种立体视频舒适度评价方法及装置，用以实现对立 体视频的舒适度进行评价。
第一方面，提供一种立体视频舒适度评价方法，该方法包括：
获取立体视频段的视频帧；
提取所述立体视频段的视频帧的空域特性和时域特性；
根据所述立体视频段的视频帧的空域特性计算所述立体视频段的空域特 性，根据所述立体视频段的视频帧的时域特性计算所述立体视频段的时域特 性，根据所述立体视频段的空域特性和时域特性计算所述立体视频段的观看舒 适度；
其中，所述立体视频段的空域特性根据以下公式计算：
所述立体视频段的时域特性根据以下公式计算：
所述立体视频段的观看舒适度采用如下公式计算：
VC＝α*Spatial_vc+β*Temperal_vc
其中，VC为所述立体视频段的观看舒适度，α和β为加权值；b1、c3为 设定值；Spatial_vc为空域特性决定的所述立体视频段的观看舒适度， Temperal_vc为时域特性决定的所述立体视频段的观看舒适度；为 所述立体视频段内所有视频帧的第一观看舒适度印象因子的平均值，为所述立体视频段中所有视频帧的参考视差的加权平均值，为所述立体视 频段的第二观看舒适度影响因子。
第二方面。提供一种立体视频舒适度评价装置，包括：
获取模块，用于获取立体视频段的视频帧；
提取模块，用于提取所述获取模块获取到的立体视频段的视频帧的空域特 性和时域特性；
评价模块，用于根据所述立体视频段的视频帧的空域特性计算所述立体视 频段的空域特性，根据所述立体视频段的视频帧的时域特性计算所述立体视频 段的时域特性，根据所述立体视频段的空域特性和时域特性计算所述立体视频 段的观看舒适度；
其中，所述立体视频段的空域特性根据以下公式计算：
所述立体视频段的时域特性根据以下公式计算：
所述立体视频段的观看舒适度采用如下公式计算：
VC＝α*Spatial_vc+β*Temperal_vc
其中，VC为所述立体视频段的观看舒适度，α和β为加权值；b1、c3为 设定值；Spatial_vc为空域特性决定的所述立体视频段的观看舒适度， Temperal_vc为时域特性决定的所述立体视频段的观看舒适度；为 所述立体视频段内所有视频帧的第一观看舒适度印象因子的平均值，为所述立体视频段中所有视频帧的参考视差的加权平均值，为所述立体视 频段的第二观看舒适度影响因子。
本发明的上述实施例中，通过检测立体视频段内视频帧的空域特性和时域 特性，并根据视频帧的空域特性和时域特性对整个立体视频段的观看舒适度进 行评价。本发明实施例提出的立体视频舒适度评价方案考虑了视差空间分布 (即空域特性)和时间分布(即时域特性)对立体视频舒适度的影响，且可突 出舒适度较差的帧对整体舒适度的影响，从而可以较为客观的对立体视频舒适 度进行评价。
附图说明
图1为本发明实施例提供的立体视频舒适度评价流程示意图；
图2为本发明实施例提供的单帧频域特性和时域特性提取流程示意图；
图3为本发明实施例提供的基于单帧频域特性和时域特性对立体视频段舒 适度进行评价的流程示意图；
图4为本发明另一实施例提供的基于单帧频域特性和时域特性对立体视频 段舒适度进行评价的流程示意图；
图5为本发明实施例提供的立体视频舒适度评价装置示意图；
图6为本发明另一实施例提供的立体视频舒适度评价装置示意图。
具体实施方式
本发明实施例首先获得立体视频段包含的视频帧的视差图，然后提取视频 帧的空域特性和时域特性，经过舒适度评价模型获得整个段的舒适度。本发明 实施例提出的舒适度评价方法，考虑到了物体时域视差大小以及频率的变化对 立体视频舒适度的影响。观众在观看视频过程中，质量较差的片段往往对整体 观看体验的影响更大，现有技术不能体现出较差帧或者较差片段的影响，而本 发明实施例提出的评估方法，可以突出舒适度较差帧的影响。
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发 明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例， 而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
参见图1，为本发明实施例提供的立体视频舒适度评价流程示意图，如图 所示，该流程可包括：
步骤101：获取待评价的立体视频段的视频帧。
步骤102：提取所述立体视频段的视频帧的空域特性和时域特性。
步骤103：根据该立体视频段的视频帧的空域特性和时域特性，确定该立 体视频段的观看舒适度。
步骤102中，可通过以下方式实现：针对立体视频段的每一个视频帧，执 行以下操作：估计该视频帧的视差，根据该视频帧的视差以及运动信息确定该 视频帧的视觉焦点位置，根据该视频帧的视觉焦点位置确定该视频帧的可视区 域，根据该视频帧的视差以及该视频帧的可视区域。为了更清楚的对步骤102 进行说明，图2示出了图1中步骤102的一种可选实现方式，该流程可包括：
步骤201：初始化i值，即设置i＝1。
步骤202：估计第i帧的视差。
通常，立体视频的每一帧包含左眼图像和右眼图像，称为立体图像对。视 频帧内一个像素的视差是指一个立体图像对中匹配的像素间的距离，通常交叉 视差为负，非交叉视差为正。立体视频的视差估计算法有多种，本发明实施例 可选立体匹配算法来进行视差估计，比如可利用基于颜色分割的立体匹配算法 获得稠密视差图。通过立体匹配算法获得视差后，还可以进一步进行滤波，以 去除视差图中的误匹配点，使得到的视差图平滑、连续、准确。具体实施时， 可以使用中值滤波去除异常点。
在利用基于颜色分割的立体匹配算法获得稠密视差图的过程中，通常需要 定义搜索窗口，根据定义的搜索窗口进行立体匹配(即搜索匹配的像素)。比 如，以当前像素为基准向左和向右分别搜索32个像素(此时搜索范围为32， 视差的范围为-32～32)，即在该搜索范围内搜索与当前像素匹配的像素。本发 明实施例中，根据视频段内容的不同，可以调整搜索窗口的大小。搜索窗口的 大小除了与视频的分辨率有关，还与视频帧的整体视差大小相关。若搜索窗口 太小，会导致部分像素找不到匹配像素；若窗口太大，误匹配的概率会增大， 得到的视差图准确度较低。为避免上述问题，搜索窗口的大小可与视频帧的视 差幅度相近。
采用基于颜色分割的立体匹配算法估计视差时，有可能有些像素得不到视 差，比如，当存在遮挡等问题时，部分像素不能获得视差。为解决该问题，本 发明实施例中，在进行立体匹配过程中，若某像素未找到与之匹配的像素，则 可将该像素的视差可设置为经验值，表明未找到匹配的像素，比如，仍以上述 搜索范围是32为例，若针对当前像素未搜索到匹配的像素，则将该当前像素 的视差设置为搜索范围加一，即设置为33。
步骤203：根据第i帧的视差以及运动信息，确定第i帧的视觉焦点位置。
该步骤中，可首先确定第i帧内每个像素的权值，将具有最大权值的像素 的位置确定为第i帧的视觉焦点位置。进一步的，若第i帧内具有最大权值的 像素有多个，则可将该多个具有最大权值的像素中，距离第i帧的图像中心位 置最近的像素的位置，确定为第i帧的视觉焦点位置。
由于视频中较为剧烈的运动(比如平面运动和/或深度方向的运动)和较大 的交叉视差容易引起观众的注意，因此本发明实施例在计算像素的权值时，可 根据视频帧内匹配像素的平面运动(包括水平运动和垂直运动)、深度方向的 运动以及交叉视差进行计算。其中，交叉视差是指物体成像于屏幕前方。
具体的，可根据以下公式计算第i帧内像素的权值：
W＝γ*|mv|+η*|dispcrossed|+λ*|δd|………………………………[1]
其中，W为坐标为(x,y)的像素的权值，γ、η和λ为加权值，γ、η和λ 之和可以取值为1，可选的，γ＝0.2，η＝0.4，λ＝0.4；mv表示平面运动矢量， mv的大小表明平面运动的剧烈程度，表示坐标为(x,y)的像 素的平面运动矢量，dx和dy分别为第i帧内的坐标为(x,y)像素的水平位移 和垂直位移，所述dx和dy在第i帧及第i帧的相邻视频帧(所述第i帧的相邻 视频帧例如为第i-1帧或第i+1帧)内搜索得到，比如，通过比较第i帧中坐标 为(x,y)的像素以及与该像素匹配的像素在第i-1帧中的坐标，可得到该像素 的dx和dy；dispcrossed为交叉视差值，对于每一个像素，只有在其视差为交叉视 差时dispcrossed才有值，如果像素的视差为非交叉，则将dispcrossed取值为0；δd 为第i帧及第i帧的相邻视频帧(所述第i帧的相邻视频帧例如为第i-1帧或第 i+1帧)的匹配块的平均视差的差值，δd的大小表明深度方向运动的快慢。
步骤204：根据第i帧的视觉焦点位置确定该视频帧的可视区域。
该步骤中，在确定出视频帧i的视觉焦点位置后，可根据人眼分辨视域和 观看距离确定图像可视区域。本发明实施例中，可选的可以取以焦点为中心、 15°视角范围内的区域为可视区域。比如，一个立体视频段的分辨率为 640*480，该立体视频段中的一个视频帧的可视区域可能在350*262像素范围 内。
步骤205：根据第i帧的视差以及该视频帧的可视区域，提取第i帧的空域 特性和时域特性。
本发明实施例中，一个视频帧的空域特性可包括以下参数之一或任意组 合：该视频帧的参考视差(以下将第i帧的参考视差表示为minDisp)、参考 视差的百分比(以下表示为P(minDisp))、边框效应的严重程度、是否满足“下 近上远”空间布局。其中：
视频帧的参考视差minDisp，可以是视频帧的可视区域内的最小像素视差 值。进一步的，考虑到在立体匹配时可能存在误匹配的现象，有时候会有一些 像素的视差异常大或者异常小，但是这些像素往往都是离散的、数量较少的一 些像素。但实际上，对于同一个物体来说，相邻区域的像素视差都应该是相同 或相近的，因此像素视差的数量较少时就认为这些像素的匹配是不准的，因此 可以在排除这些视差异常的像素后，根据其余的像素的视差选取出最小视差， 作为该视频帧的参考视差。比如，可将所述视频帧的可视区域内，除噪声像素 以外的其他像素的视差中的最小值，确定为所述视频帧的参考视差；其中，针 对噪声像素的每一个视差值，其对应的像素(即具有该视差值的像素)数量低 于设定像素数量阈值。这样，可以避免一些噪点对参考视差的选择，进而提高 舒适度评估的准确性。
参考视差的百分比P(minDisp)，是指视频帧的可视区域内，视差值为参考 视差minDispi的像素数目与有效像素数目的比值，其中，有效像素的视差绝对 值小于搜索范围。立体匹配过程中，存在一些像素匹配失败的现象，此时该像 素的视差被设置为一个确定的经验值来标志该像素匹配失败，比如之前所说的 搜索范围为32时，将匹配失败的像素的视差值设置为33。由于搜索窗口的大 小限制了有效视差范围为[-32,32]，因此视差在[-32,32]内的像素为匹配成功的 像素，即有效像素，而视差不在[-32,32]内的像素即为无效像素，即误匹配像素， 比如视差为33的像素即为误匹配像素。
边框效应，是指对于一个视频帧，如果位于屏幕边缘的物体(即成像于屏 幕边缘的物体)的视差为交叉视差(即物体成像于屏幕前方)，且物体的一部 分超出了屏幕范围，则该视频帧存在边框效应(frame-effect)，这会使观众在 观看时产生极其不舒服的感觉。
“下近上远(bottom-up)”，是指一个视频帧对应的屏幕底端的物体(即成 像于屏幕底端的物体)的感知深度离观众近、屏幕顶端物体(即成像于屏幕顶 端的物体)的感知深度离观众远。符合“下近上远”的空间布局的视频帧不易 导致视觉疲劳。
具体实施时，可使用观看舒适度影响因子dispdistribution(可称为第一观看舒 适度影响因子)来表示边框效应的严重程度以及是否满足“下近上远”空间布 局。参考视差、参考视差的百分比，以及dispdistribution反映了视频帧内视差的空 间分布情况。
下面以第i帧为例，说明视频帧的参考视差minDisp、参考视差的百分比 P(minDisp)，以及dispdistribution的计算方法。
对于第i帧，确定其参考视差minDispi的方法可以是：在第i帧的可视区 域内所有像素的视差中，选取最小值作为第i帧的参考视差的取值。另一种可 选的实现方式可以是：确定第i帧对应的视差集合，该视差集合为所i帧可视 区域内的像素视差集合，且其中的每个视差值对应的像素数量均大于所述设定 阈值；将该视差集合中的最小视差值确定为第i帧的minDispi。比如，在N*N (N为像素数量)的统计窗口内，取最小视差，判断具有该最小视差值的像素 数量是否大于阈值0.875*N*N，若大于，则将该最小视差作为第i帧的参考视差；若小于，则在该统计窗口内再选取除该最小视差以外的其余视差中的最小 值，判断具有该最小值的像素数量是否大于阈值0.875*N*N，若大于，则将该 最小视差作为第i帧的参考视差，否则参照上述方式排除该最小值，在其余的 视差中再选择一个最小值，并参照上述方式进行判断和处理。
对于第i帧，参考视差的百分比P(minDisp)可通过计算第i帧的可视区域 内，视差为参考视差minDispi的像素数目与有效像素数目的比值得到。
对于第i帧，可通过检测第i帧对应的屏幕边缘一定范围内，是否存在集 中的小于设定视差值的交叉视差，来确定第i帧是否存在边框效应。比如，对 于第i帧，可在屏幕边缘一定范围内，通过N*N的搜索窗口检测小于设定视差 门限T的交叉视差的数目是否大于阈值0.75*N*N，如果大于，则判断第i帧 存在边框效应，否则判断第i帧不存在边框效应。其中，门限T的取值要求小 于“comfort zone”的下界，而“comfort zone”的范围与视频的分辨率、人眼 瞳距、观看距离等一系列因素相关，因此门限T的取值不是一个固定值，可选 值也与视频的分辨率相关。“comfort zone”是指：视差小于一定范围时，人眼 不会产生视觉疲劳，比如当前视频分辨率下“comfort zone”是{-5pixels，8 pixels]，则门限T的值应该小于-5。比如，对于分辨率为640*480的视频帧， 在屏幕边缘5％的范围内，如果在20*20的窗口内检测到小于-5的交叉视差的 数目大于300个，则判断该视频帧存在边框效应。
对于第i帧，可将第i帧按照一定比例划分为三个区域，通过比较三个区 域内有效像素的平均视差的大小关系来判断第i帧是否满足“下近上远”的空 间布局。比如，对于第i帧，可将第i帧图像按照Q％、1-Q％(0＜Q＜100) 的图像高度划分为三个区域，通过比较三个区域内有效像素的平均视差的大小 关系判断是否满足“下近上远”。例如，将第i帧图像在高度方向划分为三个区 域，从上到下每个区域的高度比例为：0～20％、20％～80％、80％～1，分别计算 每个区域有效像素的平均视差，如果topdisp<middledisp<bottomdisp,，则判断第i 帧满足“下近上远”的空间布局。其中topdisp、middledisp、bottomdisp分别代表 三个区域内有效像素的平均视差值。当然，也可以将第i帧按照一定比例划分 为两个区域或多于三个区域，按照上述原则，通过比较各个区域内有效像素的 平均视差的大小关系来判断第i帧是否满足“下近上远”的空间布局。
如上所述，本发明实施例可根据边框效应的严重程度和是否满足“下近上 远”的空间布局，确定视差空间布局对舒适度的影响因子dispdistribution。 dispdistribution取值高，表明视差分布较好，不易使观看者产生视觉疲劳， dispdistribution取值低，表明视差分布较差，容易使观看者产生视觉疲劳。在具体 实施时，dispdistribution的取值范围可设置为[0,1]，在视频帧不存在边框效应且满 足下近上远空间布局的情况下，可将dispdistribution取较大值，比如可在[0.9,1]的 范围内取值。在视频帧存在边框效应且不满足下近上远空间布局的情况下，可 将dispdistribution取值较小。
本发明实施例给出了以下一种dispdistribution取值的可选方案：
若仅满足“下近上远”的空间分布，则dispdistribution＝0.8；
若仅满足不存在边框效应，则dispdistribution＝0.9；
若满足最佳布局，即，不存在边框效应且满足“下近上远”的空间分布， 则dispdistribution＝1；
若存在边框效应且不满足“下近上远”的空间分布，则dispdistribution＝0.7。
可以看出，dispdistribution在视频帧不存在边框效应且满足下近上远空间布局 时取第一值，在视频帧存在边框效应但满足下近上远空间布局时取第二值，在 视频帧不存在边框效应但不满足下近上远空间布局时取第三值，在视频帧存在 边框效应且不满足下近上远空间布局时取第四值，其中，第一值、第二值、第 三值和第四值为预设值，且第一值小于第四值，第三值在第一值和第二值之间 且与第一值和第二值均不相等。可选的，第一值、第二值、第三值和第四值的 取值范围为：大于零且小于等于1。按照dispdistribution取值从小到大的顺序，计 算得到的观看舒适度评价分值也按照从小到大的顺序增加(观看舒适度评价分 值越高，表明观看舒适度越高)
一个视频帧的时域特性可包括该视频帧的可视区域内的视差在深度方向 的变化。具体实施时，可使用观看舒适度影响因子Vd(可称为第二观看舒适度 影响因子)来表示可视区域内的视差在深度方向的变化的影响。
视差在深度方向的变化(Vd)的影响因素有两个，一个是参考视差的在时 域的变化(V1)，另一个是参考视差出现的频率在时域的变化(V2)，Vd＝f(V1,V2)。 本发明实施例中，可根据一个视频帧的参考视差在时域的变化，和/或该视频帧 的参考视差出现的频率在时域的变化，计算得到该视频帧的观看舒适度影响因 子Vd。
对于第i帧，一种简单度量视差在深度方向的变化(Vd)的函数为：
其中，V1 i表示第i帧的参考视差在时域的变化；表示第i帧的参考视差 出现的频率在时域的变化；γ和μ为加权值，比如，γ+μ＝1，可选的，γ和μ 均取0.5。可以根据V1 i和影响的重要程度，调整γ和μ的值。一种极端的做 法是γ＝1,μ＝0，此时只考虑视差在时域变化的影响。或者μ＝1,γ＝0，此时只 考虑参考视差出现的频率在时域的变化的影响。
对于第i帧的V1 i，本发明实施例提供了两种可选计算方法：
方法1：将立体视频段分段，同一视频段内的视频帧的参考视差单调变化 且变化速度相同，根据以下公式计算第i帧的V1 i：
V1 i＝(displast-dispfirst)/(Np-1)…………………………………[3]
其中，dispfirst和displast分别为第i帧所属视频段的第一帧和最后一帧的参 考视差，Np为第i帧所属视频段的视频帧数量。
方法2：根据以下公式计算第i帧的V1 i：
V1i＝minDispi-minDispi-1……………………………………[4]
其中，minDispi和minDispi-1分别为第i帧和第i-1帧的参考视差。
对于第i帧的可根据以下公式计算：
其中，P(minDispi)和P(minDispi-1)分别为第i帧和第i-1帧的参考视差 的百分比。
步骤206：递增i值，即设置i＝i+1，并判断递增后的i值是否超过所述立 体视频段的视频帧数目N，若判断为否，则转入步骤202，否则结束本流程。
通过以上流程可以看出，由于视频帧中较为剧烈的运动(比如平面运动和 /或深度方向的运动)和较大的交叉视差容易引起观众的注意，因此本发明实施 例在计算像素的权值时，可根据视频帧内匹配像素的平面运动(包括水平运动 和垂直运动)、深度方向的运动以及交叉视差进行计算，选取其中权值最大的 像素作为视觉焦点，根据该视觉焦点确定可视区域，该可视区域通常为观众感 兴趣的区域，从而可以针对观众感兴趣的区域进行观看舒适度评价。
立体视频播放过程中，人眼无法准确识别每一个视频帧的舒适度，对于视 频舒适度的反映是基于视频段的，而不是基于视频帧。因此，在图1的步骤103 中，需要评估视频段的舒适度。
图3示出了图1中步骤103的一种可选实现方法，如图所示，该方法可包 括以下步骤：
步骤301：计算立体视频段的每一个视频帧的观看舒适度。一个视频帧的 舒适度由时域特性和空域特性共同决定。
在具体实施时，一个视频帧的舒适度模型可以为(以下以第i帧为例)：
其中，为第i帧的观看舒适度，Spatial_frame_vci为第i帧的空域特 性决定的第i帧的观看舒适度，Temperal_frame_vci为第i帧的时域特性决定 的第i帧的观看舒适度，α和β为加权值。
其中，dispdistribution i为第i帧的dispdistribution因子，minDispi为第i帧的参考视差，P(minDispi)为第i帧的参考视差的百分比，b1为模型参数；为第i帧的 Vd因子；b2为模型参数，b2的取值与V1 i和minDispi的符号有关。b1和b2是 在拟合主观数据的过程中训练出来的模型参数，其取值可根据实际训练结果来 确定。
可选的，如果对视频观看舒适度的主观评估时采用的是5分制，最低1分 最高5分，则上述公式7和公式8中的参数c1取值为4。由于视频观看舒适度 的主观评估时采用的是5分制，最低1分最高5分，将c1取值为4可保证最 小值为1和最大值为5。同理，如果是其他分制，如11分制或百分制，则可对 公式7和公式8中的模型参数的取值进行相应调整。
表1示出了一组可选的模型参数值。
表1模型参数
步骤302：根据所述立体视频段每一个视频帧的视觉焦点位置，对所述立 体视频段进行子段划分，每个子段至少包含一个视频帧，每个子段的视频帧的 视觉焦点位置转移量不大于设定转移量阈值，然后计算每个子段的观看舒适 度。
该步骤中，分段依据是焦点在空间位置的转换量大小，如果连续多帧的焦 点的空间位置相近，则将该连续多帧划分到一个子段内。比如，若相邻视频帧 的空间焦点位置转移量δp小于5，则将所述相邻视频帧划分到一个子段，否 则将所述相邻视频帧划分为不同子段。其中，dx和dy分别代 表焦点转移的水平和垂直位移。
具体实施时，计算每个子段的观看舒适度的具体计算公式可以是：
其中，为第k个子段的舒适程度，NF为第k个子段内视频帧的数目， P1为联合参数，为设定数值，比如可选取值为7。P1可取值为大于1的整数。P1的可选值的选取可根据已有的测试段和对应的主观舒适度分值训练得到，通过 设置合理取值，可以使主观分值和客观分值的相关性最高。
可选的，如果对视频观看舒适度的主观评估时采用的是5分制，最低1分 最高5分，则上述公式9和公式10中的参数c2取值为5，即取值为主观评估 的最高分。同理，如果是其他分制，如11分制或百分制，则可对公式7和公 式8中的模型参数的取值进行相应调整。
步骤303：根据每个子段的观看舒适度计算所述立体视频段的观看舒适度。
具体实施时，具体计算公式可以是：
其中，Q为所述立体视频段的观看舒适度，NS为所述视频段内子段的数 目，P2为时域联合参数，为设定值，比如可选取值为3。P2可取值为大于1的 整数。P2的可选值的选取可根据已有的测试段和对应的主观舒适度分值训练得 到，通过设置合理取值，可以使主观分值和客观分值的相关性最高。
图4示出了图1中步骤103的另一种可选实现方法，该方法中，观看舒适 度评价模型中提取的特性参数均为段的统计参数，不需要单独计算每个视频帧 的舒适度以及子段的舒适度。如图所示，该方法可包括以下步骤：
步骤401：根据立体视频段的每一个视频帧的空域特性，计算该立体视频 段的空域特性。
所述立体视频段的空域特性可包括以下参数之一或任意组合：该立体视频 段的参考视差、该立体视频段的观看舒适度影响因子
具体实施时，立体视频段的参考视差可通过如下方式计算得到：计算所述 立体视频段中所有视频帧的参考视差的加权平均值。具体计算公式可以是：
其中，为所述立体视频段中所有视频帧的参考视差的加权平均值， N为所述立体视频段中视频帧的数目，minDispi为第i帧的参考视差， P(minDispi)为第i帧的参考视差的百分比。
具体实施时，立体视频段的观看舒适度影响因子可通过如下方式 计算得到：计算所述立体视频段内所有视频帧的观看舒适度影响因子 dispdistribution的平均值。具体计算公式可以是：
其中，为所述立体视频段内所有视频帧的观看舒适度影响因子dispdistribution的平均值，dispdistribution i为第i帧的观看舒适度影响因子dispdistribution；
步骤402：根据该立体视频段的每一个视频帧的时域特性，计算该立体视 频段的时域特性。
所述立体视频段的时域特性可包括该立体视频段的观看舒适度影响因子 所述立体视频段的观看舒适度影响因子Vd，具体可通过以下公式计算：
其中，为所述立体视频段的观看舒适度影响因子Vd，为所述立体视 频段内第i帧的观看舒适度影响因子Vd，Pi为设定值，Pi的取值根据V1 i和 minDispi的符号来确定，即，Pi的值与V1 i和minDispi的符号有关，一种可取 的值为：
当V1 i与minDispi异号时，Pi＝0.8；
当V1 i与minDispi同号时，Pi＝1；
通过Pi可区分不同运动方向对观看舒适度的不同影响。当V1 i与minDispi同号时，物体向远离屏幕的方向运动，这种情况下的舒适度非常差，Pi可取较 大值，比如上述Pi＝1；当V1 i与minDispi异号时，物体向靠近屏幕的方向运动， 这种情况下的舒适度较好，Pi可取较小值，比如上述Pi＝0.8。
步骤403：根据步骤401～402计算出的参数，计算所述立体视频段的观看 舒适度。
具体计算公式可以是：
VC＝α*Spatial_vc+β*Temperal_vc………………………………[14]
其中，VC为所述立体视频段的观看舒适度，α和β为加权值，可选的， α+β＝1；b1为模型参数。一组可用的模型参数为：α＝0.8，β＝0.2，b1＝0.04。 b1的可选值的选取可根据已有的测试段和对应的主观舒适度分值训练得到，取 该值时，主观分值和客观分值的相关性最高。
可选的，如果对视频观看舒适度的主观评估时采用的是5分制，最低1分 最高5分，则上述公式15和公式16中的参数c3取值为4，即取值为主观评估 的最高分。同理，如果是其他分制，如11分制或百分制，则可对公式15和公 式16中的模型参数的取值进行相应调整。
通过以上流程可以看出，本发明实施例通过检测人眼视觉焦点位置，根据 人眼视角范围确定可视区域，利用可视区域内辐辏与调节冲突的严重程度度量 立体视频观看舒适度。辐辏与调节冲突的严重程度是通过分析立体视频空间视 差分布状况以及时域视差分布情况度量的。本发明实施例提出的评估方法充分 考虑了视差空间分布和时间分布对立体视频舒适度的影响，且可突出舒适度较 差的帧对整体舒适度的影响。
综上所述，立体视频舒适度评估是改善立体视频观看舒适度的前提条件， 是影响立体视频发展的关键技术之一。本发明实施例提出的立体视频舒适度的 客观评价方案，计算复杂度低，可靠性高，可以广泛应用与立体视频舒适度评 估及监测。该方案与已有方案相比充分考虑了立体视频的空域特性和时域特性 对立体视频舒适度的影响，且考虑到了人类视觉特性以及观众观看习惯，涵盖 了影响观看舒适度的最主要影响因素，从而使立体视频观看舒适度评价较为客 观和准确。
基于相同的技术构思，本发明实施例还提供了一种立体视频评价装置。
参见图5，为本发明实施例提供的立体视频评价装置的结构示意图。
获取模块501，用于获取立体视频段的视频帧；
提取模块502，用于提取所述获取模块获取到的立体视频段的视频帧的空 域特性和时域特性；
评价模块503，用于根据所述提取模块提取到的所述立体视频段的视频帧 的空域特性和时域特性，确定所述立体视频段的观看舒适度。
结合上述装置，在第一种可能的实现方式中，提取模块502具体用于：估 计所述立体视频段的视频帧的视差，根据所述立体视频段的视频帧的视差以及 运动信息确定所述立体视频段的视频帧的视觉焦点位置，根据所述立体视频段 的视频帧的视觉焦点位置确定所述立体视频段的视频帧的可视区域，以及根据 所述立体视频段的视频帧的视差以及所述立体视频段的视频帧的可视区域，提 取所述立体视频段的视频帧的空域特性和时域特性。
结合上述装置的第一种可能的实现方式，在第二种可能的实现方式中，提 取模块502可确定所述立体视频段的视频帧内每个像素的权值，将具有最大权 值的像素的位置确定为所述立体视频段的视频帧的视觉焦点位置。
结合上述装置的第二种可能的实现方式，在第三种可能的实现方式中，提 取模块502可采用公式(1)计算所述像素的权值，公式(1)的表达式以及相 关参数的含义同前所述，在此不再重复。
结合上述装置的第二种或第三种可能的实现方式，在第四种可能的实现方 式中，提取模块502具体用于：若所述立体视频段的视频帧内具有最大权值的 像素有多个，则将所述多个具有最大权值的像素中，距离所述立体视频段的视 频帧的图像中心位置最近的像素的位置，确定为所述立体视频段的视频帧的视 觉焦点位置。
结合上述装置的第一种至第四种可能的实现方式中的任意一种可能的实 现方式，在第五种可能的实现方式中，所述空域特性包括以下参数之一或任意 组合：参考视差、参考视差的百分比、第一观看舒适度影响因子；
提取模块502具体用于：确定所述立体视频段的视频帧对应的视差集合， 所述视差集合为所述立体视频段的视频帧可视区域内的像素视差集合，且其中 的每个视差值对应的像素数量均大于所述设定阈值；将所述视差集合中的最小 视差值确定为所述立体视频段的视频帧的参考视差；
计算所述立体视频段的视频帧的可视区域内，视差为所述参考视差的像素 的数目与有效像素的数目的比值，得到所述立体视频段的视频帧的参考视差的 百分比，所述有效像素是指的视差绝对值小于搜索范围的像素；
根据所述立体视频段的视频帧是否存在边框效应以及是否满足下近上远 空间布局，确定所述立体视频段的视频帧的第一观看舒适度影响因子，所述第 一观看舒适度影响因子在所述立体视频段的视频帧不存在边框效应且满足下 近上远空间布局时取第一值，在所述立体视频段的视频帧存在边框效应但满足 下近上远空间布局时取第二值，在所述立体视频段的视频帧不存在边框效应但 不满足下近上远空间布局时取第三值，在所述立体视频段的视频帧存在边框效 应且不满足下近上远空间布局时取第四值，其中，第一值、第二值、第三值和 第四值为预设值，且第一值小于第四值，第三值在第一值和第二值之间且与第 一值和第二值均不相等；所述边框效应是指对于一个视频帧，如果成像于屏幕 边缘的物体的视差为交叉视差，且所述物体的一部分超出了屏幕范围，则存在 边框效应；所述下近上远是指一个视频帧对应的成像于屏幕底端的物体的感知 深度离观众近、成像于屏幕顶端的物体的感知深度离观众远。
结合上述装置的第一种至第五种可能的实现方式中的任意一种可能的实 现方式，在第六种可能的实现方式中，所述时域特性包括第二观看舒适度影响 因子；
提取模块502具体用于：根据所述立体视频段的视频帧的参考视差在时域 的变化，和/或所述立体视频段的视频帧的参考视差出现的频率在时域的变化， 计算得到所述立体视频段的视频帧的第二观看舒适度影响因子，所述第二观看 舒适度影响因子数值的大小表示视频帧的参考视差在深度方向变化的程度。
结合上述装置的第六种可能的实现方式，在第七种可能的实现方式中，提 取模块502具体用于：将所述立体视频段进行子段划分，同一子段内的视频帧 的参考视差单调变化且变化速度相同，根据公式(3)计算所述立体视频段的 视频帧的参考视差在时域的变化，根据公式(5)计算所述立体视频段的视频 帧的参考视差出现的频率在时域的变化，根据公式(2)计算所述立体视频段 的视频帧的第二观看舒适度影响因子。公式(3)、公式(2)和公式(5)的表 达式以及相关参数的含义同前所述，在此不再重复。
结合上述装置的第六种可能的实现方式，在第八种可能的实现方式中，提 取模块502可根据公式(4)计算所述立体视频段的视频帧的参考视差在时域 的变化，根据公式(5)计算所述立体视频段的视频帧的参考视差出现的频率 在时域的变化，根据公式(2)计算所述立体视频段的视频帧的第二观看舒适 度影响因子。公式(4)、公式(5)和公式(2)的表达式以及相关参数的含义 同前所述，在此不再重复。
结合上述装置或者上述装置的第一种至第八种可能的实现方式中的任意 一种可能的实现方式，在第九种可能的实现方式中，评价模块503具体用于：
根据所述立体视频段的每一个视频帧的空域特性和时域特性，分别计算所 述每一个视频帧的观看舒适度；
根据所述立体视频段的每一个视频帧的视觉焦点位置，对所述立体视频段 进行子段划分，每个子段的视频帧的视觉焦点位置转移量不大于设定转移量阈 值；根据每个子段内每个视频帧的观看舒适度，分别计算所述每个子段的观看 舒适度；
根据每个子段的观看舒适度计算所述立体视频段的观看舒适度。
结合上述装置的第九种可能的实现方式，在第十种可能的实现方式中，评 价模块503可根据公式(6)、公式(7)和公式(8)计算所述立体视频段的视 频帧的观看舒适度。公式(4)、公式(5)和公式(2)的表达式以及相关参数 的含义同前所述，在此不再重复。计算过程中涉及到的立体视频段的视频帧的 参考视差、立体视频段的视频帧的参考视差的百分比、第一观看舒适度影响因 子、第二观看舒适度影响因子等参数的计算方法，同前所述，在此不再重复。
结合上述装置的第九种或第十种可能的实现方式，在第十一种可能的实现 方式中，评价模块503具体用于：根据公式(9)计算所立体视频段的的观看 舒适度。公式(9)表达式以及相关参数的含义同前所述，在此不再重复。
结合上述装置的第九种至第十一种可能的实现方式中的任意一种可能的 实现方式，在第十二种可能的实现方式中，评价模块503可根据公式(10)计 算所述立体视频段的观看舒适度。公式(10)表达式以及相关参数的含义同前 所述，在此不再重复。
结合上述装置或者上述装置的第一种至第十二种可能的实现方式中的任 意一种可能的实现方式，在第十三种可能的实现方式中，评价模块503可根据 所述立体视频段的视频帧的空域特性，计算所述立体视频段的空域特性，根据 所述立体视频段的视频帧的时域特性，计算所述立体视频段的时域特性，根据 所述立体视频段的空域特性和时域特性，计算所述立体视频段的观看舒适度。
结合上述装置的第十三种可能的实现方式，在第十四种可能的实现方式 中，所述立体视频段的视频帧的空域特性包括以下参数之一或任意组合：所述 立体视频段的视频帧的参考视差，参考视差的百分比和第一观看舒适度影响因 子，这些参数的具体计算方法同前所述，在此不再重复。相应的，评价模块503 可根据公式(11)计算所述立体视频段中所有视频帧的参考视差的加权平均值， 根据公式(12)计算所述立体视频段内所有视频帧的第一观看舒适度影响因子 的平均值。公式(11)和公式(12)表达式以及相关参数的含义同前所述，在 此不再重复。
结合上述装置的第十三种或第十四种可能的实现方式，在第十五种可能的 实现方式中，所述立体视频段的视频帧的时域特性包括：所述立体视频段的视 频帧的第二观看舒适度影响因子(具体计算方法同前所述，在此不再重复)， 评价模块503可根据公式(13)计算所述立体视频段的第二观看舒适度影响因 子。公式(13)表达式以及相关参数的含义同前所述，在此不再重复。
结合上述装置的第十三种至第十五种可能的实现方式中的任意一种可能 的实现方式，在第十六种可能的实现方式中，评价模块503可根据公式(14)、 公式(15)和公式(16)计算所述立体视频段的观看舒适度。公式(14)、公 式(15)和公式(16)表达式以及相关参数的含义同前所述，在此不再重复。
基于相同的技术构思，本发明实施例还提供了一种立体视频评价装置。
参见图6，为本发明实施例提供的立体视频评价装置的结构示意图。该装 置可包括：收发器601、存储器602和处理器603。存储器602用于存储应用 程序、算法规则、计算参数等信息，还可用来存储处理器603处理过程中产生 的中间结果。
收发器601，用于获取立体视频段的视频帧；
处理器603，用于提取所述获取模块获取到的立体视频段的视频帧的空域 特性和时域特性；根据所述提取模块提取到的所述立体视频段的视频帧的空域 特性和时域特性，确定所述立体视频段的观看舒适度。
结合上述装置，在第一种可能的实现方式中，处理器603具体用于：估计 所述立体视频段的视频帧的视差，根据所述立体视频段的视频帧的视差以及运 动信息确定所述立体视频段的视频帧的视觉焦点位置，根据所述立体视频段的 视频帧的视觉焦点位置确定所述立体视频段的视频帧的可视区域，以及根据所 述立体视频段的视频帧的视差以及所述立体视频段的视频帧的可视区域，提取 所述立体视频段的视频帧的空域特性和时域特性。
结合上述装置的第一种可能的实现方式，在第二种可能的实现方式中，处 理器603可确定所述立体视频段的视频帧内每个像素的权值，将具有最大权值 的像素的位置确定为所述立体视频段的视频帧的视觉焦点位置。
结合上述装置的第二种可能的实现方式，在第三种可能的实现方式中，处 理器603可采用公式(1)计算所述像素的权值，公式(1)的表达式以及相关 参数的含义同前所述，在此不再重复。
结合上述装置的第二种或第三种可能的实现方式，在第四种可能的实现方 式中，处理器603具体用于：若所述立体视频段的视频帧内具有最大权值的像 素有多个，则将所述多个具有最大权值的像素中，距离所述立体视频段的视频 帧的图像中心位置最近的像素的位置，确定为所述立体视频段的视频帧的视觉 焦点位置。
结合上述装置的第一种至第四种可能的实现方式中的任意一种可能的实 现方式，在第五种可能的实现方式中，所述空域特性包括以下参数之一或任意 组合：参考视差、参考视差的百分比、第一观看舒适度影响因子；
处理器603具体用于：确定所述立体视频段的视频帧对应的视差集合，所 述视差集合为所述立体视频段的视频帧可视区域内的像素视差集合，且其中的 每个视差值对应的像素数量均大于所述设定阈值；将所述视差集合中的最小视 差值确定为所述立体视频段的视频帧的参考视差；
计算所述立体视频段的视频帧的可视区域内，视差为所述参考视差的像素 的数目与有效像素的数目的比值，得到所述立体视频段的视频帧的参考视差的 百分比，所述有效像素是指的视差绝对值小于搜索范围的像素；
根据所述立体视频段的视频帧是否存在边框效应以及是否满足下近上远 空间布局，确定所述立体视频段的视频帧的第一观看舒适度影响因子，所述第 一观看舒适度影响因子在所述立体视频段的视频帧不存在边框效应且满足下 近上远空间布局时取第一值，在所述立体视频段的视频帧存在边框效应但满足 下近上远空间布局时取第二值，在所述立体视频段的视频帧不存在边框效应但 不满足下近上远空间布局时取第三值，在所述立体视频段的视频帧存在边框效 应且不满足下近上远空间布局时取第四值，其中，第一值、第二值、第三值和 第四值为预设值，且第一值小于第四值，第三值在第一值和第二值之间且与第 一值和第二值均不相等；所述边框效应是指对于一个视频帧，如果成像于屏幕 边缘的物体的视差为交叉视差，且所述物体的一部分超出了屏幕范围，则存在 边框效应；所述下近上远是指一个视频帧对应的成像于屏幕底端的物体的感知 深度离观众近、成像于屏幕顶端的物体的感知深度离观众远。
结合上述装置的第一种至第五种可能的实现方式中的任意一种可能的实 现方式，在第六种可能的实现方式中，所述时域特性包括第二观看舒适度影响 因子；
处理器603具体用于：根据所述立体视频段的视频帧的参考视差在时域的 变化，和/或所述立体视频段的视频帧的参考视差出现的频率在时域的变化，计 算得到所述立体视频段的视频帧的第二观看舒适度影响因子，所述第二观看舒 适度影响因子数值的大小表示视频帧的参考视差在深度方向变化的程度。
结合上述装置的第六种可能的实现方式，在第七种可能的实现方式中，处 理器603具体用于：将所述立体视频段进行子段划分，同一子段内的视频帧的 参考视差单调变化且变化速度相同，根据公式(3)计算所述立体视频段的视 频帧的参考视差在时域的变化，根据公式(5)计算所述立体视频段的视频帧 的参考视差出现的频率在时域的变化，根据公式(2)计算所述立体视频段的 视频帧的第二观看舒适度影响因子。公式(3)、公式(2)和公式(5)的表达 式以及相关参数的含义同前所述，在此不再重复。
结合上述装置的第六种可能的实现方式，在第八种可能的实现方式中，处 理器603可根据公式(4)计算所述立体视频段的视频帧的参考视差在时域的 变化，根据公式(5)计算所述立体视频段的视频帧的参考视差出现的频率在 时域的变化，根据公式(2)计算所述立体视频段的视频帧的第二观看舒适度 影响因子。公式(4)、公式(5)和公式(2)的表达式以及相关参数的含义同 前所述，在此不再重复。
结合上述装置或者上述装置的第一种至第八种可能的实现方式中的任意 一种可能的实现方式，在第九种可能的实现方式中，处理器603具体用于：
根据所述立体视频段的每一个视频帧的空域特性和时域特性，分别计算所 述每一个视频帧的观看舒适度；
根据所述立体视频段的每一个视频帧的视觉焦点位置，对所述立体视频段 进行子段划分，每个子段的视频帧的视觉焦点位置转移量不大于设定转移量阈 值；根据每个子段内每个视频帧的观看舒适度，分别计算所述每个子段的观看 舒适度；
根据每个子段的观看舒适度计算所述立体视频段的观看舒适度。
结合上述装置的第九种可能的实现方式，在第十种可能的实现方式中，处 理器603可根据公式(6)、公式(7)和公式(8)计算所述立体视频段的视频 帧的观看舒适度。公式(4)、公式(5)和公式(2)的表达式以及相关参数的 含义同前所述，在此不再重复。计算过程中涉及到的立体视频段的视频帧的参 考视差、立体视频段的视频帧的参考视差的百分比、第一观看舒适度影响因子、 第二观看舒适度影响因子等参数的计算方法，同前所述，在此不再重复。
结合上述装置的第九种或第十种可能的实现方式，在第十一种可能的实现 方式中，处理器603具体用于：根据公式(9)计算所立体视频段的的观看舒 适度。公式(9)表达式以及相关参数的含义同前所述，在此不再重复。
结合上述装置的第九种至第十一种可能的实现方式中的任意一种可能的 实现方式，在第十二种可能的实现方式中，处理器603可根据公式(10)计算 所述立体视频段的观看舒适度。公式(10)表达式以及相关参数的含义同前所 述，在此不再重复。
结合上述装置或者上述装置的第一种至第十二种可能的实现方式中的任 意一种可能的实现方式，在第十三种可能的实现方式中，处理器603可根据所 述立体视频段的视频帧的空域特性，计算所述立体视频段的空域特性，根据所 述立体视频段的视频帧的时域特性，计算所述立体视频段的时域特性，根据所 述立体视频段的空域特性和时域特性，计算所述立体视频段的观看舒适度。
结合上述装置的第十三种可能的实现方式，在第十四种可能的实现方式 中，所述立体视频段的视频帧的空域特性包括以下参数之一或任意组合：所述 立体视频段的视频帧的参考视差，参考视差的百分比和第一观看舒适度影响因 子，这些参数的具体计算方法同前所述，在此不再重复。相应的，处理器603 可根据公式(11)计算所述立体视频段中所有视频帧的参考视差的加权平均值， 根据公式(12)计算所述立体视频段内所有视频帧的第一观看舒适度影响因子 的平均值。公式(11)和公式(12)表达式以及相关参数的含义同前所述，在 此不再重复。
结合上述装置的第十三种或第十四种可能的实现方式，在第十五种可能的 实现方式中，所述立体视频段的视频帧的时域特性包括：所述立体视频段的视 频帧的第二观看舒适度影响因子(具体计算方法同前所述，在此不再重复)， 处理器603可根据公式(13)计算所述立体视频段的第二观看舒适度影响因子。 公式(13)表达式以及相关参数的含义同前所述，在此不再重复。
结合上述装置的第十三种至第十五种可能的实现方式中的任意一种可能 的实现方式，在第十六种可能的实现方式中，处理器603可根据公式(14)、 公式(15)和公式(16)计算所述立体视频段的观看舒适度。公式(14)、公 式(15)和公式(16)表达式以及相关参数的含义同前所述，在此不再重复。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产 品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入 式处理机或其他可编程数据处理设备的处理器，使得通过该计算机或其他可编 程数据处理设备的处理器执行的指令可实现流程图中的一个流程或多个流程 和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设 备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中 的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个 流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处 理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图的一 个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的可选实施例，但本领域内的技术人员一旦得知了基 本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要 求意欲解释为包括可选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发 明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (22)
1.一种立体视频舒适度评价方法，其特征在于，包括：
获取立体视频段的视频帧；
提取所述立体视频段的视频帧的空域特性和时域特性；
根据所述立体视频段的视频帧的空域特性计算所述立体视频段的空域特性，根据所述立体视频段的视频帧的时域特性计算所述立体视频段的时域特性，根据所述立体视频段的空域特性和时域特性计算所述立体视频段的观看舒适度；
其中，所述立体视频段的空域特性根据以下公式计算：
<mrow>
<mi>S</mi>
<mi>p</mi>
<mi>a</mi>
<mi>t</mi>
<mi>i</mi>
<mi>a</mi>
<mi>l</mi>
<mo>_</mo>
<mi>v</mi>
<mi>c</mi>
<mo>=</mo>
<mn>1</mn>
<mo>+</mo>
<mi>c</mi>
<mn>3</mn>
<mo>*</mo>
<mover>
<mrow>
<msub>
<mi>disp</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
<mi>r</mi>
<mi>i</mi>
<mi>b</mi>
<mi>u</mi>
<mi>t</mi>
<mi>i</mi>
<mi>o</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>*</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mo>|</mo>
<mover>
<mrow>
<mi>min</mi>
<mi>D</mi>
<mi>i</mi>
<mi>s</mi>
<mi>p</mi>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>|</mo>
<mo>*</mo>
<mi>b</mi>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
所述立体视频段的时域特性根据以下公式计算：
<mrow>
<mi>T</mi>
<mi>e</mi>
<mi>m</mi>
<mi>p</mi>
<mi>e</mi>
<mi>r</mi>
<mi>a</mi>
<mi>l</mi>
<mo>_</mo>
<mi>v</mi>
<mi>c</mi>
<mo>=</mo>
<mn>1</mn>
<mo>+</mo>
<mi>c</mi>
<mn>3</mn>
<mo>*</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mo>|</mo>
<mover>
<msub>
<mi>V</mi>
<mi>d</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>|</mo>
<mo>)</mo>
</mrow>
</mrow>
所述立体视频段的观看舒适度采用如下公式计算：
VC＝α*Spatial_vc+β*Temperal_vc
其中，VC为所述立体视频段的观看舒适度，α和β为加权值；b1、c3为设定值；Spatial_vc为空域特性决定的所述立体视频段的观看舒适度，Temperal_vc为时域特性决定的所述立体视频段的观看舒适度；为所述立体视频段内所有视频帧的第一观看舒适度印象因子的平均值，为所述立体视频段中所有视频帧的参考视差的加权平均值，为所述立体视频段的第二观看舒适度影响因子。
2.如权利要求1所述的方法，其特征在于，所述提取所述立体视频段的视频帧的空域特性和时域特性包括：
估计所述立体视频段的视频帧的视差；
根据所述立体视频段的视频帧的视差以及运动信息确定所述立体视频段的视频帧的视觉焦点位置；
根据所述立体视频段的视频帧的视觉焦点位置确定所述立体视频段的视频帧的可视区域；
根据所述立体视频段的视频帧的视差以及所述立体视频段的视频帧的可视区域，提取所述立体视频段的视频帧的空域特性和时域特性。
3.如权利要求2所述的方法，其特征在于，所述根据所述立体视频段的视频帧的视差以及运动信息确定所述立体视频段的视频帧的视觉焦点位置，包括：
确定所述立体视频段的视频帧内每个像素的权值，将具有最大权值的像素的位置确定为所述立体视频段的视频帧的视觉焦点位置。
4.如权利要求3所述的方法，其特征在于，所述像素的权值采用如下公式计算：
W＝γ*|mv|+η*|dispcrossed|+λ*|δd|
其中，W为坐标为(x,y)的像素的权值，γ、η和λ为加权值；表示所述坐标为(x,y)的像素的平面运动矢量，dx和dy分别为所述坐标为(x,y)的像素的水平位移和垂直位移，所述dx和dy在所述坐标为(x,y)的像素所在视频帧及所述坐标为(x,y)的像素所在的视频帧的相邻视频帧内搜索得到；dispcrossed为交叉视差值；δd为所述立体视频段的视频帧及其相邻视频帧的匹配块的平均视差的差值。
5.如权利要求3或4所述的方法，其特征在于，若所述立体视频段的视频帧内具有最大权值的像素有多个，则将所述多个具有最大权值的像素中，距离所述立体视频段的视频帧的图像中心位置最近的像素的位置，确定为所述立体视频段的视频帧的视觉焦点位置。
6.如权利要求2-4中任一项所述的方法，其特征在于，所述空域特性包括以下参数之一或任意组合：参考视差、参考视差的百分比和第一观看舒适度影响因子；
所述根据所述立体视频段的视频帧的视差以及所述立体视频段的视频帧的可视区域，提取所述立体视频段的视频帧的空域特性，包括以下步骤之一或任意组合：
确定所述立体视频段的视频帧对应的视差集合，所述视差集合为所述立体视频段的视频帧可视区域内的像素视差集合，且其中的每个视差值对应的像素数量均大于设定阈值；将所述视差集合中的最小视差值确定为所述立体视频段的视频帧的参考视差；
计算所述立体视频段的视频帧的可视区域内，视差为所述参考视差的像素的数目与有效像素的数目的比值，得到所述立体视频段的视频帧的参考视差的百分比，所述有效像素是指的视差绝对值小于搜索范围的像素；
根据所述立体视频段的视频帧是否存在边框效应以及是否满足下近上远空间布局，确定所述立体视频段的视频帧的第一观看舒适度影响因子，所述第一观看舒适度影响因子在所述立体视频段的视频帧不存在边框效应且满足下近上远空间布局时取第一值，在所述立体视频段的视频帧存在边框效应但满足下近上远空间布局时取第二值，在所述立体视频段的视频帧不存在边框效应但不满足下近上远空间布局时取第三值，在所述立体视频段的视频帧存在边框效应且不满足下近上远空间布局时取第四值，其中，第一值、第二值、第三值和第四值为预设值，且第一值小于第四值，第三值在第一值和第二值之间且与第一值和第二值均不相等；所述边框效应是指对于一个视频帧，如果成像于屏幕边缘的物体的视差为交叉视差，且所述物体的一部分超出了屏幕范围，则存在边框效应；所述下近上远是指一个视频帧对应的成像于屏幕底端的物体的感知深度离观众近、成像于屏幕顶端的物体的感知深度离观众远。
7.如权利要求6所述的方法，其特征在于，所述根据所述立体视频段的视频帧的空域特性，计算所述立体视频段的空域特性，包括：
根据以下公式计算所述立体视频段中所有视频帧的参考视差的加权平均值：
<mrow>
<mover>
<mrow>
<mi>min</mi>
<mi>D</mi>
<mi>i</mi>
<mi>s</mi>
<mi>p</mi>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>minDisp</mi>
<mi>i</mi>
</msub>
<mo>*</mo>
<mi>P</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>minDisp</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mi>P</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>minDisp</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中，为所述立体视频段中所有视频帧的参考视差的加权平均值，N为所述立体视频段中视频帧的数目，minDispi为第i帧的参考视差，P(min Dispi)为第i帧的参考视差的百分比，所述第i帧为所述立体视频段中的任意视频帧；
根据以下公式计算所述立体视频段内所有视频帧的第一观看舒适度影响因子的平均值：
<mrow>
<mover>
<mrow>
<msub>
<mi>disp</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
<mi>r</mi>
<mi>i</mi>
<mi>b</mi>
<mi>u</mi>
<mi>t</mi>
<mi>i</mi>
<mi>o</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msup>
<msub>
<mi>disp</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
<mi>r</mi>
<mi>i</mi>
<mi>b</mi>
<mi>u</mi>
<mi>t</mi>
<mi>i</mi>
<mi>o</mi>
<mi>n</mi>
</mrow>
</msub>
<mi>i</mi>
</msup>
</mrow>
其中，为所述立体视频段内所有视频帧的第一观看舒适度影响因子的平均值，dispdistribution i为第i帧的第一观看舒适度影响因子，N为所述立体视频段中视频帧的数目，所述第i帧为所述立体视频段中的任意视频帧。
8.如权利要求2-4中任一项所述的方法，其特征在于，所述时域特性包括第二观看舒适度影响因子；
所述根据所述立体视频段的视频帧的视差以及所述立体视频段的视频帧的可视区域，提取所述立体视频段的视频帧的时域特性，包括：
根据所述立体视频段的视频帧的参考视差在时域的变化，和/或所述立体视频段的视频帧的参考视差出现的频率在时域的变化，计算得到所述立体视频段的视频帧的第二观看舒适度影响因子，所述第二观看舒适度影响因子数值的大小表示视频帧的参考视差在深度方向变化的程度。
9.如权利要求8所述的方法，其特征在于，根据所述立体视频段的视频帧的参考视差在时域的变化，和/或所述立体视频段的视频帧的参考视差出现的频率在时域的变化，计算得到所述立体视频段的视频帧的第二观看舒适度影响因子，包括：
根据以下公式计算所述立体视频段的第二观看舒适度影响因子：
<mrow>
<mover>
<msub>
<mi>V</mi>
<mi>d</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>|</mo>
<msubsup>
<mi>V</mi>
<mi>d</mi>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<mo>*</mo>
<msub>
<mi>P</mi>
<mi>i</mi>
</msub>
</mrow>
其中，为所述立体视频段的第二观看舒适度影响因子，为所述立体视频段内第i帧的第二观看舒适度印象因子，Pi为设定值，Pi的取值根据V1 i和min Dispi的符号来确定，N为所述立体视频段中视频帧的数目，所述第i帧为所述立体视频段中的任意视频帧。
10.如权利要求8所述的方法，其特征在于，根据所述立体视频段的视频帧的参考视差在时域的变化，和/或所述立体视频段的视频帧的参考视差出现的频率在时域的变化，计算得到所述立体视频段的视频帧的第二观看舒适度影响因子，包括：
将所述立体视频段进行子段划分，同一子段内的视频帧的参考视差单调变化且变化速度相同，根据以下公式计算所述立体视频段的视频帧的参考视差在时域的变化：
V1 i＝(displast-dispfirst)/(Np-1)
根据以下公式计算所述立体视频段的视频帧的参考视差出现的频率在时域的变化：
<mrow>
<msubsup>
<mi>V</mi>
<mn>2</mn>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mi>P</mi>
<mo>(</mo>
<mrow>
<mi>min</mi>
<mi> </mi>
<msub>
<mi>Disp</mi>
<mi>i</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mi>P</mi>
<mo>(</mo>
<mrow>
<mi>min</mi>
<mi> </mi>
<msub>
<mi>Disp</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mi>P</mi>
<mrow>
<mo>(</mo>
<mi>min</mi>
<mi> </mi>
<msub>
<mi>Disp</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
根据以下公式计算所述立体视频段的视频帧的第二观看舒适度影响因子：
<mrow>
<msubsup>
<mi>V</mi>
<mi>d</mi>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mi>&gamma;</mi>
<mo>&times;</mo>
<mo>|</mo>
<msubsup>
<mi>V</mi>
<mn>1</mn>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<mo>+</mo>
<mi>&mu;</mi>
<mo>&times;</mo>
<mo>|</mo>
<msubsup>
<mi>V</mi>
<mn>2</mn>
<mi>i</mi>
</msubsup>
<mo>|</mo>
</mrow>
其中，V1 i表示第i帧的参考视差在时域的变化，dispfirst和displast分别为第i帧所属子段的第一帧和最后一帧的参考视差，Np为第i帧所属子段的视频帧数量；表示第i帧的参考视差出现的频率在时域的变化，P(min Dispi)和P(min Dispi-1)分别为第i帧和第i-1帧的参考视差的百分比；为第i帧的第二观看舒适度影响因子，γ和μ为加权值；所述第i帧为所述立体视频段中的任意视频帧。
11.如权利要求8所述的方法，其特征在于，根据所述立体视频段的视频帧的参考视差在时域的变化，和/或所述立体视频段的视频帧的参考视差出现的频率在时域的变化，计算得到所述立体视频段的视频帧的第二观看舒适度影响因子，包括：
根据以下公式计算所述立体视频段的视频帧的参考视差在时域的变化：
V1 i＝min Dispi-min Dispi-1
根据以下公式计算所述立体视频段的视频帧的参考视差出现的频率在时域的变化：
<mrow>
<msubsup>
<mi>V</mi>
<mn>2</mn>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mi>P</mi>
<mo>(</mo>
<mrow>
<mi>min</mi>
<mi> </mi>
<msub>
<mi>Disp</mi>
<mi>i</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mi>P</mi>
<mo>(</mo>
<mrow>
<mi>min</mi>
<mi> </mi>
<msub>
<mi>Disp</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mi>P</mi>
<mrow>
<mo>(</mo>
<mi>min</mi>
<mi> </mi>
<msub>
<mi>Disp</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
根据以下公式计算所述立体视频段的视频帧的第二观看舒适度影响因子：
<mrow>
<msubsup>
<mi>V</mi>
<mi>d</mi>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mi>&gamma;</mi>
<mo>&times;</mo>
<mo>|</mo>
<msubsup>
<mi>V</mi>
<mn>1</mn>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<mo>+</mo>
<mi>&mu;</mi>
<mo>&times;</mo>
<mo>|</mo>
<msubsup>
<mi>V</mi>
<mn>2</mn>
<mi>i</mi>
</msubsup>
<mo>|</mo>
</mrow>
其中，V1 i表示第i帧的参考视差在时域的变化，min Dispi和min Dispi-1分别为第i帧和第i-1帧的参考视差；表示第i帧的参考视差出现的频率在时域的变化，P(min Dispi)和P(min Dispi-1)分别为第i帧和第i-1帧的参考视差的百分比；为第i帧的第二观看舒适度影响因子，γ和μ为加权值；所述第i帧为所述立体视频段中的任意视频帧。
12.一种立体视频舒适度评价装置，其特征在于，包括：
获取模块，用于获取立体视频段的视频帧；
提取模块，用于提取所述获取模块获取到的立体视频段的视频帧的空域特性和时域特性；
评价模块，用于根据所述立体视频段的视频帧的空域特性计算所述立体视频段的空域特性，根据所述立体视频段的视频帧的时域特性计算所述立体视频段的时域特性，根据所述立体视频段的空域特性和时域特性计算所述立体视频段的观看舒适度；
其中，所述立体视频段的空域特性根据以下公式计算：
<mrow>
<mi>S</mi>
<mi>p</mi>
<mi>a</mi>
<mi>t</mi>
<mi>i</mi>
<mi>a</mi>
<mi>l</mi>
<mo>_</mo>
<mi>v</mi>
<mi>c</mi>
<mo>=</mo>
<mn>1</mn>
<mo>+</mo>
<mi>c</mi>
<mn>3</mn>
<mo>*</mo>
<mover>
<mrow>
<msub>
<mi>disp</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
<mi>r</mi>
<mi>i</mi>
<mi>b</mi>
<mi>u</mi>
<mi>t</mi>
<mi>i</mi>
<mi>o</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>*</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mo>|</mo>
<mover>
<mrow>
<mi>min</mi>
<mi>D</mi>
<mi>i</mi>
<mi>s</mi>
<mi>p</mi>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>|</mo>
<mo>*</mo>
<mi>b</mi>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
所述立体视频段的时域特性根据以下公式计算：
<mrow>
<mi>T</mi>
<mi>e</mi>
<mi>m</mi>
<mi>p</mi>
<mi>e</mi>
<mi>r</mi>
<mi>a</mi>
<mi>l</mi>
<mo>_</mo>
<mi>v</mi>
<mi>c</mi>
<mo>=</mo>
<mn>1</mn>
<mo>+</mo>
<mi>c</mi>
<mn>3</mn>
<mo>*</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mo>|</mo>
<mover>
<msub>
<mi>V</mi>
<mi>d</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>|</mo>
<mo>)</mo>
</mrow>
</mrow>
所述立体视频段的观看舒适度采用如下公式计算：
VC＝α*Spatial_vc+β*Temperal_vc
其中，VC为所述立体视频段的观看舒适度，α和β为加权值；b1、c3为设定值；Spatial_vc为空域特性决定的所述立体视频段的观看舒适度，Temperal_vc为时域特性决定的所述立体视频段的观看舒适度；为所述立体视频段内所有视频帧的第一观看舒适度印象因子的平均值，为所述立体视频段中所有视频帧的参考视差的加权平均值，为所述立体视频段的第二观看舒适度影响因子。。
13.如权利要求12所述的装置，其特征在于，所述提取模块具体用于，估计所述立体视频段的视频帧的视差；
根据所述立体视频段的视频帧的视差以及运动信息确定所述立体视频段的视频帧的视觉焦点位置；
根据所述立体视频段的视频帧的视觉焦点位置确定所述立体视频段的视频帧的可视区域；
根据所述立体视频段的视频帧的视差以及所述立体视频段的视频帧的可视区域，提取所述立体视频段的视频帧的空域特性和时域特性。
14.如权利要求13所述的装置，其特征在于，所述提取模块具体用于，确定所述立体视频段的视频帧内每个像素的权值，将具有最大权值的像素的位置确定为所述立体视频段的视频帧的视觉焦点位置。
15.如权利要求14所述的装置，其特征在于，所述提取模块采用如下公式计算所述像素的权值：
W＝γ*|mv|+η*|dispcrossed|+λ*|δd|
其中，W为坐标为(x,y)的像素的权值，γ、η和λ为加权值；表示所述坐标为(x,y)的像素的平面运动矢量，dx和dy分别为所述坐标为(x,y)像素的水平位移和垂直位移，所述dx和dy在所述坐标为(x,y)的像素所在视频帧及所述坐标为(x,y)的像素所在的视频帧的相邻视频帧内搜索得到；dispcrossed为交叉视差值；δd为所述立体视频段的视频帧及其相邻视频帧的匹配块的平均视差的差值。
16.如权利要求14或15所述的装置，其特征在于，所述提取模块具体用于，若所述立体视频段的视频帧内具有最大权值的像素有多个，则将所述多个具有最大权值的像素中，距离所述立体视频段的视频帧的图像中心位置最近的像素的位置，确定为所述立体视频段的视频帧的视觉焦点位置。
17.如权利要求13-16中任一项所述的装置，其特征在于，所述空域特性包括以下参数之一或任意组合：参考视差、参考视差的百分比、第一观看舒适度影响因子；
所述提取模块具体用于，确定所述立体视频段的视频帧对应的视差集合，所述视差集合为所述立体视频段的视频帧可视区域内的像素视差集合，且其中的每个视差值对应的像素数量均大于所述设定阈值；将所述视差集合中的最小视差值确定为所述立体视频段的视频帧的参考视差；
计算所述立体视频段的视频帧的可视区域内，视差为所述参考视差的像素的数目与有效像素的数目的比值，得到所述立体视频段的视频帧的参考视差的百分比，所述有效像素是指的视差绝对值小于搜索范围的像素；
根据所述立体视频段的视频帧是否存在边框效应以及是否满足下近上远空间布局，确定所述立体视频段的视频帧的第一观看舒适度影响因子，所述第一观看舒适度影响因子在所述立体视频段的视频帧不存在边框效应且满足下近上远空间布局时取第一值，在所述立体视频段的视频帧存在边框效应但满足下近上远空间布局时取第二值，在所述立体视频段的视频帧不存在边框效应但不满足下近上远空间布局时取第三值，在所述立体视频段的视频帧存在边框效应且不满足下近上远空间布局时取第四值，其中，第一值、第二值、第三值和第四值为预设值，且第一值小于第四值，第三值在第一值和第二值之间且与第一值和第二值均不相等；所述边框效应是指对于一个视频帧，如果成像于屏幕边缘的物体的视差为交叉视差，且所述物体的一部分超出了屏幕范围，则存在边框效应；所述下近上远是指一个视频帧对应的成像于屏幕底端的物体的感知深度离观众近、成像于屏幕顶端的物体的感知深度离观众远。
18.如权利要求17所述的装置，其特征在于，所述评价模块具体用于：
根据以下公式计算所述立体视频段中所有视频帧的参考视差的加权平均值：
<mrow>
<mover>
<mrow>
<mi>min</mi>
<mi>D</mi>
<mi>i</mi>
<mi>s</mi>
<mi>p</mi>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>minDisp</mi>
<mi>i</mi>
</msub>
<mo>*</mo>
<mi>P</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>minDisp</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mi>P</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>minDisp</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中，为所述立体视频段中所有视频帧的参考视差的加权平均值，N为所述立体视频段中视频帧的数目，minDispi为第i帧的参考视差，P(min Dispi)为第i帧的参考视差的百分比，所述第i帧为所述立体视频段中的任意视频帧；
根据以下公式计算所述立体视频段内所有视频帧的第一观看舒适度影响因子的平均值：
<mrow>
<mover>
<mrow>
<msub>
<mi>disp</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
<mi>r</mi>
<mi>i</mi>
<mi>b</mi>
<mi>u</mi>
<mi>t</mi>
<mi>i</mi>
<mi>o</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msup>
<msub>
<mi>disp</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
<mi>r</mi>
<mi>i</mi>
<mi>b</mi>
<mi>u</mi>
<mi>t</mi>
<mi>i</mi>
<mi>o</mi>
<mi>n</mi>
</mrow>
</msub>
<mi>i</mi>
</msup>
</mrow>
其中，为所述立体视频段内所有视频帧的第一观看舒适度影响因子的平均值，dispdistribution i为第i帧的第一观看舒适度影响因子，N为所述立体视频段中视频帧的数目，所述第i帧为所述立体视频段中的任意视频帧。
19.如权利要求13-15中任一项所述的装置，其特征在于，所述时域特性包括第二观看舒适度影响因子；
所述提取模块具体用于，根据所述立体视频段的视频帧的参考视差在时域的变化，和/或所述立体视频段的视频帧的参考视差出现的频率在时域的变化，计算得到所述立体视频段的视频帧的第二观看舒适度影响因子，所述第二观看舒适度影响因子数值的大小表示视频帧的参考视差在深度方向变化的程度。
20.如权利要求19所述的装置，其特征在于，所述提取模块具体用于：根据以下公式计算所述立体视频段的第二观看舒适度影响因子：
<mrow>
<mover>
<msub>
<mi>V</mi>
<mi>d</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>|</mo>
<msubsup>
<mi>V</mi>
<mi>d</mi>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<mo>*</mo>
<msub>
<mi>P</mi>
<mi>i</mi>
</msub>
</mrow>
其中，为所述立体视频段的第二观看舒适度影响因子，为所述立体视频段内第i帧的第二观看舒适度印象因子，Pi为设定值，Pi的取值根据V1 i和min Dispi的符号来确定，N为所述立体视频段中视频帧的数目，所述第i帧为所述立体视频段中的任意视频帧。
21.如权利要求19所述的装置，其特征在于，所述提取模块具体用于，将所述立体视频段进行子段划分，同一子段内的视频帧的参考视差单调变化且变化速度相同，根据以下公式计算所述立体视频段的视频帧的参考视差在时域的变化：
V1 i＝(displast-dispfirst)/(Np-1)
根据以下公式计算所述立体视频段的视频帧的参考视差出现的频率在时域的变化：
<mrow>
<msubsup>
<mi>V</mi>
<mn>2</mn>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mi>P</mi>
<mo>(</mo>
<mrow>
<mi>min</mi>
<mi> </mi>
<msub>
<mi>Disp</mi>
<mi>i</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mi>P</mi>
<mo>(</mo>
<mrow>
<mi>min</mi>
<mi> </mi>
<msub>
<mi>Disp</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mi>P</mi>
<mrow>
<mo>(</mo>
<mi>min</mi>
<mi> </mi>
<msub>
<mi>Disp</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
根据以下公式计算所述立体视频段的视频帧的第二观看舒适度影响因子：
<mrow>
<msubsup>
<mi>V</mi>
<mi>d</mi>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mi>&gamma;</mi>
<mo>&times;</mo>
<mo>|</mo>
<msubsup>
<mi>V</mi>
<mn>1</mn>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<mo>+</mo>
<mi>&mu;</mi>
<mo>&times;</mo>
<mo>|</mo>
<msubsup>
<mi>V</mi>
<mn>2</mn>
<mi>i</mi>
</msubsup>
<mo>|</mo>
</mrow>
其中，V1 i表示第i帧的参考视差在时域的变化，dispfirst和displast分别为第i帧所属子段的第一帧和最后一帧的参考视差，Np为第i帧所属子段的视频帧数量；表示第i帧的参考视差出现的频率在时域的变化，P(min Dispi)和P(min Dispi-1)分别为第i帧和第i-1帧的参考视差的百分比；为第i帧的第二观看舒适度影响因子，γ和μ为加权值；所述第i帧为所述立体视频段中的任意视频帧。
22.如权利要求19所述的装置，其特征在于，所述提取模块具体用于，根据以下公式计算所述立体视频段的视频帧的参考视差在时域的变化：
V1 i＝min Dispi-min Dispi-1
根据以下公式计算所述立体视频段的视频帧的参考视差出现的频率在时域的变化：
<mrow>
<msubsup>
<mi>V</mi>
<mn>2</mn>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mi>P</mi>
<mo>(</mo>
<mrow>
<mi>min</mi>
<mi> </mi>
<msub>
<mi>Disp</mi>
<mi>i</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mi>P</mi>
<mo>(</mo>
<mrow>
<mi>min</mi>
<mi> </mi>
<msub>
<mi>Disp</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mi>P</mi>
<mrow>
<mo>(</mo>
<mi>min</mi>
<mi> </mi>
<msub>
<mi>Disp</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
根据以下公式计算所述立体视频段的视频帧的第二观看舒适度影响因子：
<mrow>
<msubsup>
<mi>V</mi>
<mi>d</mi>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mi>&gamma;</mi>
<mo>&times;</mo>
<mo>|</mo>
<msubsup>
<mi>V</mi>
<mn>1</mn>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<mo>+</mo>
<mi>&mu;</mi>
<mo>&times;</mo>
<mo>|</mo>
<msubsup>
<mi>V</mi>
<mn>2</mn>
<mi>i</mi>
</msubsup>
<mo>|</mo>
</mrow>
其中，V1 i表示第i帧的参考视差在时域的变化，min Dispi和min Dispi-1分别为第i帧和第i-1帧的参考视差；表示第i帧的参考视差出现的频率在时域的变化，P(min Dispi)和P(min Dispi-1)分别为第i帧和第i-1帧的参考视差的百分比；为第i帧的第二观看舒适度影响因子，γ和μ为加权值，所述第i帧为所述立体视频段中的任意视频帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710203860.9A CN107181940B (zh) | 2013-12-27 | 2013-12-27 | 一种立体视频舒适度评价方法及装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710203860.9A CN107181940B (zh) | 2013-12-27 | 2013-12-27 | 一种立体视频舒适度评价方法及装置 |
| CN201310740605.XA CN104754322B (zh) | 2013-12-27 | 2013-12-27 | 一种立体视频舒适度评价方法及装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310740605.XA Division CN104754322B (zh) | 2013-12-27 | 2013-12-27 | 一种立体视频舒适度评价方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107181940A true CN107181940A (zh) | 2017-09-19 |
| CN107181940B CN107181940B (zh) | 2019-05-03 |
Family
ID=53477473
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710204296.2A Active CN106973288B (zh) | 2013-12-27 | 2013-12-27 | 一种立体视频舒适度评价方法及装置 |
| CN201710203860.9A Active CN107181940B (zh) | 2013-12-27 | 2013-12-27 | 一种立体视频舒适度评价方法及装置 |
| CN201310740605.XA Active CN104754322B (zh) | 2013-12-27 | 2013-12-27 | 一种立体视频舒适度评价方法及装置 |
| CN201710203859.6A Active CN107155106B (zh) | 2013-12-27 | 2013-12-27 | 一种立体视频舒适度评价方法及装置 |
| CN201710203858.1A Active CN107155105B (zh) | 2013-12-27 | 2013-12-27 | 一种立体视频舒适度评价方法及装置 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710204296.2A Active CN106973288B (zh) | 2013-12-27 | 2013-12-27 | 一种立体视频舒适度评价方法及装置 |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310740605.XA Active CN104754322B (zh) | 2013-12-27 | 2013-12-27 | 一种立体视频舒适度评价方法及装置 |
| CN201710203859.6A Active CN107155106B (zh) | 2013-12-27 | 2013-12-27 | 一种立体视频舒适度评价方法及装置 |
| CN201710203858.1A Active CN107155105B (zh) | 2013-12-27 | 2013-12-27 | 一种立体视频舒适度评价方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (5) | CN106973288B (zh) |
| WO (1) | WO2015096461A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909565A (zh) * | 2017-10-29 | 2018-04-13 | 天津大学 | 基于卷积神经网络的立体图像舒适度评价方法 |
| CN109089111A (zh) * | 2018-10-22 | 2018-12-25 | Oppo广东移动通信有限公司 | 一种立体视频舒适度评价方法、系统及终端设备 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106341677B (zh) * | 2015-07-07 | 2018-04-20 | 中国科学院深圳先进技术研究院 | 虚拟视点视频质量评价方法 |
| CN105335992B (zh) * | 2015-10-15 | 2020-02-04 | 北京邮电大学 | 一种三维动画场景帧评分模型确定方法及装置 |
| CN106028025B (zh) * | 2016-05-11 | 2017-11-21 | 吉林大学 | 一种针对辐辏与调节一致性的3d视频舒适度评价方法 |
| CN106210710B (zh) * | 2016-07-25 | 2018-01-30 | 宁波大学 | 一种基于多尺度字典的立体图像视觉舒适度评价方法 |
| CN106851246B (zh) | 2017-02-06 | 2019-08-23 | 京东方科技集团股份有限公司 | 用于确定三维图像或视频的视觉疲劳度的方法和设备 |
| CN109429051B (zh) * | 2017-07-12 | 2020-08-18 | 天津大学 | 基于多视图特征学习的无参考立体视频质量客观评价方法 |
| CN109905694B (zh) * | 2017-12-08 | 2020-09-08 | 中移（杭州）信息技术有限公司 | 一种立体视频的质量评价方法、装置和设备 |
| CN110691236B (zh) * | 2019-09-18 | 2021-05-07 | 宁波大学 | 一种全景视频质量评价方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120098823A1 (en) * | 2010-10-22 | 2012-04-26 | Samsung Electronics Co., Ltd. | Display apparatus and method |
| CN103096122A (zh) * | 2013-01-24 | 2013-05-08 | 上海交通大学 | 基于感兴趣区域内运动特征的立体视觉舒适度评价方法 |
| CN103096125A (zh) * | 2013-02-22 | 2013-05-08 | 吉林大学 | 基于区域分割的立体视频视觉舒适度评价方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101582063A (zh) * | 2008-05-13 | 2009-11-18 | 华为技术有限公司 | 视频服务系统、视频服务装置及其关键帧的提取方法 |
| KR101105359B1 (ko) * | 2010-06-22 | 2012-01-16 | 연세대학교 산학협력단 | 깊이 영상에 기반한 3차원 영상의 피로도 측정 방법 및 장치 |
| GB2485532A (en) * | 2010-11-12 | 2012-05-23 | Sony Corp | Three dimensional (3D) image duration-related metadata encoding of apparent minimum observer distances (disparity) |
| KR101960844B1 (ko) * | 2011-11-01 | 2019-03-22 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| CN103595990B (zh) * | 2013-10-30 | 2015-05-20 | 清华大学 | 运动感知的双目立体视频舒适度获取方法 |
-
2013
- 2013-12-27 CN CN201710204296.2A patent/CN106973288B/zh active Active
- 2013-12-27 CN CN201710203860.9A patent/CN107181940B/zh active Active
- 2013-12-27 CN CN201310740605.XA patent/CN104754322B/zh active Active
- 2013-12-27 CN CN201710203859.6A patent/CN107155106B/zh active Active
- 2013-12-27 CN CN201710203858.1A patent/CN107155105B/zh active Active
-
2014
- 2014-07-11 WO PCT/CN2014/082079 patent/WO2015096461A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120098823A1 (en) * | 2010-10-22 | 2012-04-26 | Samsung Electronics Co., Ltd. | Display apparatus and method |
| CN103096122A (zh) * | 2013-01-24 | 2013-05-08 | 上海交通大学 | 基于感兴趣区域内运动特征的立体视觉舒适度评价方法 |
| CN103096125A (zh) * | 2013-02-22 | 2013-05-08 | 吉林大学 | 基于区域分割的立体视频视觉舒适度评价方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909565A (zh) * | 2017-10-29 | 2018-04-13 | 天津大学 | 基于卷积神经网络的立体图像舒适度评价方法 |
| CN109089111A (zh) * | 2018-10-22 | 2018-12-25 | Oppo广东移动通信有限公司 | 一种立体视频舒适度评价方法、系统及终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107155105B (zh) | 2019-03-01 |
| CN107155106A (zh) | 2017-09-12 |
| CN107155106B (zh) | 2019-03-01 |
| WO2015096461A1 (zh) | 2015-07-02 |
| CN107181940B (zh) | 2019-05-03 |
| CN106973288B (zh) | 2019-08-13 |
| CN106973288A (zh) | 2017-07-21 |
| CN104754322B (zh) | 2018-01-23 |
| CN104754322A (zh) | 2015-07-01 |
| CN107155105A (zh) | 2017-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107155105B (zh) | 一种立体视频舒适度评价方法及装置 | |
| Nojiri et al. | Measurement of parallax distribution and its application to the analysis of visual comfort for stereoscopic HDTV | |
| CN103096125B (zh) | 基于区域分割的立体视频视觉舒适度评价方法 | |
| EP3311361B1 (en) | Method and apparatus for determining a depth map for an image | |
| US9277207B2 (en) | Image processing apparatus, image processing method, and program for generating multi-view point image | |
| CN103763552B (zh) | 基于视觉感知特性的立体图像无参考质量评价方法 | |
| US20110032341A1 (en) | Method and system to transform stereo content | |
| CN103986925B (zh) | 基于亮度补偿的立体视频视觉舒适度评价方法 | |
| US10110872B2 (en) | Method and device for correcting distortion errors due to accommodation effect in stereoscopic display | |
| CN103260039A (zh) | 图像处理设备、图像处理方法以及程序 | |
| CN103384343B (zh) | 一种填补图像空洞的方法及其装置 | |
| CN104581141B (zh) | 一种立体图像视觉舒适度评价方法 | |
| US9186056B2 (en) | Device and method for determining convergence eye movement performance of a user when viewing a stereoscopic video | |
| WO2013054632A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| CN108848365A (zh) | 一种重定位立体图像质量评价方法 | |
| WO2012118231A1 (en) | Method and device for displaying a pair of stereoscopic images | |
| CN102821299B (zh) | 半自动3d立体像差光标 | |
| CN105959679A (zh) | 一种立体图像视觉舒适度和深度感联合优化方法 | |
| KR101649185B1 (ko) | 시각 주의도의 산출 방법 및 장치 | |
| Hwang et al. | User-friendly inter-pupillary distance calibration method using a single camera for autostereoscopic 3D displays | |
| Jung et al. | Visualizing the perceived discomfort of stereoscopic video | |
| Toyosawa et al. | Measurement of perceived stereoscopic sensation through disparity metrics and compositions | |
| Yamanoue et al. | Psychological factors and parallax distribution in the case of 3-D HDTV images | |
| Cho et al. | Eye-Movement-based Visual Discomfort Estimation Model while Viewing Stereoscopic 3D Content. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |