CN103999459B - 可量化的立体三维视频评估方法 - Google Patents
可量化的立体三维视频评估方法 Download PDFInfo
- Publication number
- CN103999459B CN103999459B CN201180075650.7A CN201180075650A CN103999459B CN 103999459 B CN103999459 B CN 103999459B CN 201180075650 A CN201180075650 A CN 201180075650A CN 103999459 B CN103999459 B CN 103999459B
- Authority
- CN
- China
- Prior art keywords
- scoring
- video
- classification
- factor
- described video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000011156 evaluation Methods 0.000 title claims description 7
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 claims description 7
- 208000003464 asthenopia Diseases 0.000 claims description 4
- 238000006116 polymerization reaction Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 230000005611 electricity Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 231100000572 poisoning Toxicity 0.000 description 1
- 230000000607 poisoning effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0077—Colour aspects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
描述了用于可量化的三维视频评估的方法论。在一个示例中,图形处理器针对影响视频呈现的多个类别中的多个因素对所述视频进行分析。通用处理器将每个因素的评分汇编成类别的评分,并且将类别的评分汇编成总体三维评分,外部接口呈现所述评分以供评估。
Description
背景技术
广播设备正在快速发展,从而经由对诸如体育运动的事件的实况传递和发布而将S3D(立体三维视频)带入家庭。市场预测预计到2015年,S3D HDTV电视机的年单位销售量将超过八千万台。制造商和内容制作商急于向商店填充针对最终用户消费的产品和服务。由于在2009年之前没有实况S3D广播,因而S3D是一种新生的广播技术,其具有很大的打入市场以及补充预先记录的S3D资料的匮乏的潜力。
因为缺乏有品质的内容,S3D的上升势头已经放缓。实况S3D广播至少由于两个主要的原因而存在问题。首先,实况广播尽管受到规划,但是不像其他形式的广播(电影、电视节目等)那样能够得到有效的控制。由于这些不可预知的变数的原因可能威胁到S3D实况广播的完整性,并导致不良消费者体验。其次,在可比较的实况2D广播当中无足轻重的问题在S3D当中可能变得加重,从而给观看者带来不适、混淆和降级的质量。在最坏的情况下,问题可能毁掉观看者的整个体验。
当前,现场摄影师、图形设计者、编辑、制片人、导演、以及其他广播专家没有可量化的度量来帮助他们评估和改善他们的S3D内容创建。
附图说明
在附图的图示当中,通过举例而非限定性的方式示出了本发明的实施例,在附图中采用类似的参考数字表示类似的元件。
图1是根据本发明的实施例的评估类别的实际呈现的图示。
图2是根据本发明的实施例的S3D视频的质量度量的呈现的图示。
图3是根据本发明的实施例的S3D视频的平均舒适度评分的呈现的图示。
图4是根据本发明的实施例的S3D视频的平均视频评分的呈现的图示。
图5是根据本发明的实施例的S3D视频的平均生态系统评分的呈现的图示。
图6是根据本发明的实施例的S3D视频的平均广播评分的呈现的图示。
图7是根据本发明的实施例的适于实施本公开的过程的视频系统的方框图。
图8是根据本发明的实施例的分析视频的质量的过程流程图。
图9是根据本发明的实施例的适于实施本公开的过程的广播设施的图示。
具体实施方式
本发明的实施例能够在指导S3D的产品和内容的开发方面起到重要的作用。嵌入到IA(Intel架构)或者其他类型的处理器当中的体验质量度量能够提供基础语言和测量系统。本发明的实施例提供了可以用于对实况S3D广播进行分级的明确定义的可量化的度量集合。经培训的专家能够将这一方法论与广播团队的适当成员结合使用以改善实况S3D体验。
内容制作商和展示者连同制作和发布链条中的所有点都可以在划分类别的构成部分的背景下,对实况S3D广播中的潜在问题进行分析。这更好地识别出了实况S3D广播当中的问题出现在哪里,从而有助于更好地推动可潜在适应和扩展的解决方案,以改善实况S3D广播。在问题出现在特定用户的制作或发布范围以外的情况下,本发明的实施例允许用户以可量化的术语与制作和发布合作伙伴通信关于测得的问题。
例如可以定义广播类别,从而使出现在广播类别当中的问题是主要出现在制作现场当中的问题。这一方法论的结果将告知内容制作商需要由现场的团队解决这一问题,捕捉内容或者从场所外供给内容。相反,可以定义视频类别,从而使在视频类别内报告的问题更可能出现在显示当中(在显示点,而不是现场制作点)。尽管存在一些跨类别的交叉(例如在两个类别内都出现亮度),但是所述方法允许现场工作的团队采用相同的过程和等同的术语与来自展示侧的团队通信。因而,那些在制作-发布链条内工作的人能够判定所述问题发生在那个点上,并驱动相关解决方案。
换言之,本发明描述的实施例提供了可量化的度量集合和可靠的方法论,其可以用于有效地评估广播,并且允许内容制作商采用同一组基线度量集合跨事件类型进行体验比较。其采用S3D评估语言,并添加主观含义(形容词)标度,从而使评估者和制作商能够基于同一组描述符信息决定适当的做法。
所描述的可量化的分级标度使得这一评估系统独一无二。S3D内的问题和议题具有基本的定义,但是当前标准化的评估系统当中没有任何一者能够以创建有意义的结果作为跨广播的比较的基础的方式量化问题。
可以将所描述的技术划分成三个主要的类别:
1.质量类别:沿制作链条中的所有点聚合的定义S3D广播的质量的可量化的度量。质量类别划分为三个子类别:
a.视频子类别:本地显示器或屏幕上的图像的问题。
b.生态系统子类别:与沿制作和发布链条(从捕捉到传递但非显示)的所有部分用于对事件进行广播的设施和设备相关的问题
c.广播子类别:与现场的制作决定(驱动实况可适应改变的决定)直接相关的问题
2.S3D完整性类别:测量S3D广播空间内排它地存在的问题的完整性的通过/失败度量。这些特征不存在于2D空间内,其要么成功要么失败,因而采用二分编码机制进行度量。
3.舒适度类别:描述在观看者的S3D体验过程中的身体舒适度水平的可量化的度量。
可以采用视频和图像分析硬件或者由技术专家在某个标度(例如从1-5的标度)上对质量和舒适度类别进行评估。然后,可以跨整个广播、几个广播,跨几个观看者对所述数据进行统计分析,以及跨各个类别对所述数据进行重叠。这些不同的方案允许人们得到数值评分,作为对广播及其部件的定量评估。表1提供了可以由硬件或者由技术专家用来对内容评分的标度。表1还提供了能够与任何特定的数字评分相关联的形容词。
表1
在表2中更加详细地介绍了类别。
舒适度 | 质量 | S3D完整性 |
眼疲劳 | 视频:重影 | 抽样时间偏移 |
令人眩晕的移动 | 视频:分辨率 | 窗口侵入 |
恶心 | 视频:亮度 | 垂直偏差 |
生态系统:广播中断 | 水平偏差 | |
生态系统:分辨率 | 旋转误差 | |
广播:侵入对象 |
广播:消失 | ||
广播:图形聚焦 | ||
广播:图形放置 | ||
广播:亮度 |
表2
可以对这些因素中的每个进行表征和描述,并且能够通过各种方式对评分进行汇编。这些因素可以描述如下:
舒适度类别
眼疲劳:观看者的眼睛/枕叶在暴露于3D图像下的过程中变得疲劳或者开始疼痛。
令人眩晕的移动:摄像机移动过快从而使观看者无法对自身定位,因而观看者变得眩晕。
恶心:观看者在暴露于3D图像的过程中变得恶心。
质量类别
视频子类别
重影:文本或对象具有可见的阴影或“重影”
分辨率:广播的分辨率水平(完全HD内容为1920×1080分辨率)
亮度:对于观看者而言的广播的可见光水平(例如尼特值)
生态系统子类别
广播中断:由于现场的传输或者发布方面的小故障导致的广播流的中断,其可以包括画面定格、色彩变相、切换至黑色、停帧等。
分辨率:广播的分辨率水平。广播3D在与单HD图像相同的空间内发送2幅图像,因而与HDTV相比具有显著降低的分辨率,其最多只有3D蓝光盘的分辨率的1/2。
广播子类别
侵入对象:不想要的对象出现在前景当中,从而分散了观看者对旨在为其提供的行动的注意力。实况广播当中的侵入对象难以消除,而且在3D当中远比在2D当中更使人分心。它是恼人的,但不是毁灭性的。常见的对象很少在屏幕上出现超过几秒的时间。它们可能包括人群当中的扇子或旗子、在动作前面突然切入的演员、摄像机、教练和工作人员、门柱或雨。
消失:对象完全或部分地消失
图形聚焦:图形跨屏幕移动过快使得观看者无法正确地看到它们
图形放置:图形应当呈现为与立体窗口共面,而且应当具有等于1的会聚度。不应当允许对象延伸到窗口前面而干扰菜单或字幕,从而建立在物理上不可能的场景。
亮度:对于观看者而言广播的可见光水平(尼特值)
S3D完整性类别
抽样时间偏移:在捕捉和回放含有运动的60fps立体视频时,在左(L)眼视图和右(R)眼视图之间有可能存在时间偏移。这可以例如由以下造成:如果对L/R帧同时抽样并且顺次回放而不是对L/R眼视图顺次抽样并对其顺次回放。
窗口侵入:在会聚度等于1的情况下出现在窗口前面的对象必须与窗口边缘保持合理的距离。否则,大脑由于要渲染在物理上不可能的场景而得到矛盾的消息。
垂直偏差:摄像机倾斜偏离了理想水平,从而导致了必须通过沿水平和垂直两个维度对捕捉到的视频/图像进行修剪而予以校正的垂直偏差。这可能导致极度的眼疲劳。
水平偏差:将出现在立体窗口的表面上的对象将会“紧扣”会聚度1,而其余的场景将相应地水平偏移相同的量。
旋转误差:左右摄像机模块安装不精确,从而使它们相互之间没有理想地拉平。
图1示出了可以根据本发明做出的评分的呈现的示例。所述呈现具有上文提及的每个类别,舒适度11、质量13、以及S3D完整性15。在每个类别下,列出了所有的因素并对其编号以便于参考。与上面的表2一样将质量因素中的每个列举到了相应的子类别下。可以将这样的呈现用作介绍,从而允许用户单独检查每个类别和因素。可以将各项列举渲染为到命令或数据文件的链接,其含有每个项目的相关信息。可以采用网络浏览器、数据库、链接的文档或者各种其他呈现系统制作这样的呈现。提供单独的解释链接17,从而在数据呈现的理解方面提供帮助。
图2示出了针对特定视频的结果的呈现的图示。所述视频可以是广播S3D视频或者另一3D视频。可以在对视频进行分析之后提供这样的呈现。所述呈现包括解说文本21,可以根据特定的实现清除或者增强它。也可以将所述文本提供为链接,以供用户在希望的情况下获得额外的信息。该示出的文本解释了关于采用从一到五的标度,如在表1的上下文中对此给出的更加详细的描述。可以采用任何标度。较小的标度允许更快速地评分,但是可能不允许做出精细的区分。
所述呈现还示出了针对类别23、24、25、26中的每个的评分以及总体评分22。在本示例中,所述评分不是从一到五的整数,而是包括小数点后两位,例如4.17。这些值是通过判定在视频长度内判定的很多评分的算术平均值而获得的。对评分可以采用更高或更低的精确度,并且可以采用平均值以外的不同值。还可以采用额外类型的统计学评估(例如平均值、标准偏差等)扩充所述评分。可以将每个评分的标题栏提供为链接,可以对其点击或选择,以提供关于每个评分的更多信息,例如参与所述评分的因素以及进一步的统计分析。
除了列举评分之外,所述呈现还包括评分的图形呈现。在这种情况下,饼图允许比较不同类型的问题的数量。可以采用其他类型的图形呈现,例如条形图、线图、直方图等。饼图显示大部分问题以43%处于视频类别,生态系统问题以41%紧随其后。为了使S3D视频的质量得到最为显著的改善,制作商应当关注这两个类别。比较而言,关注占报告问题的3%的舒适度问题在质量上只会取得非常小的效果。所述系统根据所报告的问题参考检测到的错误、缺陷、或负评分。在替代实施例中,可以使观看者参与观看视频并报告各个类别和子类别中的问题。在这种情况下,所报告的问题将参考由观看者所做的报告。如果不使观看者参与,那么可以利用广播产品的消费者、选定的观众、或者自然观众生成问题报告。
图3示出了仅处于舒适度类别23内的评分的呈现的图示。其允许呈现平均评分的细目(breakdown)。可以根据实现,通过选择或点击总体呈现的平均舒适度评分框23或者通过各种其他额外的方式取得这样的呈现。舒适度类别呈现首先提供平均舒适度评分(在这一示例中为4.86)连同表征总体评分的形容词(在这一示例中为非常好)。所述呈现还为舒适度类别内的每个因素31、33、35提供了详细的评分。也可以使这些与描述性形容词(未示出)相关联。可以根据具体的应用采用更多或更少的因素。每个因素具有评分,可以将平均舒适度评分提供为三个评分的算术平均。在本范例中,4.86的平均舒适度评分是每个因素的评分的平均值。每个因素的评分也可以是整个视频长度上的平均评分,或者可以是以各种其他方式判定的。
舒适度评分呈现还提供了与由所述系统进行评分的三个因素相关的舒适度问题的饼图37。所述饼图与图2的类似,出于参考的目的还示出了图2的饼图27。其允许在详细地考虑每个类别时快速地提醒用户每个类别的重要性。
图4按照与图3的平均舒适度评分相同的方式示出了平均视频评分的呈现。在这种情况下,呈现了三个视频因素41、43、45的评分连同每个评分的相对大小的饼图47呈现。再一次包括总体饼图27以供参考。
图5按照与图3的平均舒适度评分相同的方式示出了平均生态系统评分的呈现。在这种情况下,呈现了两个生态系统因素51、53的评分连同每个评分的相对大小的饼图57呈现。再一次包括总体饼图27以供参考。
图6按照与图3的平均舒适度评分相同的方式呈现了平均广播评分。在这种情况下,呈现了五个视频因素1、3、3、4、5的评分连同每个评分的相对大小的饼图7呈现。再一次包括总体饼图27以供参考。应当注意的是,视频、生态系统、以及广播在质量类别内被提供为子类别。相应地,可以生成以总体子类别评分为特征的质量类别呈现,并按照类似方式呈现所述质量类别呈现。可以采用与图3、4、5、以及6所示的相同的格式生成S3D完整性类别的类似呈现。
如上文所述判定出的评分允许在对单个视频进行广播时以及在对它进行广播或者采用存储的版本产生它后,对单个视频进行评估。从1到5的评分提供了沿1到5的标度规格化的可量化的度量集合。如上所述,出于方便和简单的目的选择了从1到5的标度,可以根据所述系统的具体应用而选择任何其他数字、字母、或其他类型的标度。
可量化的度量集合允许对视频进行相互比较。表3示出了针对第一视频和第二视频且采用上文提到的许多因素进行判定的度量的示例。所述表格允许对两个视频进行比较,并且显示,例如尽管第二视频的重影情况好些,但是第一视频的广播中断情况好些。可以对所述视频进行比较,并且可以由这些差异提高两视频的质量。表3还示出了对每个视频以及对组合的两个视频的总体评分,在这一示例中,其碰巧是相同的。
表3
图7是实施上文描述的技术的电视或机顶盒的方框图。所述系统采用耦合至各种外围设备和电源(未示出)的SOC 60。可以在系统的中央处理资源当中或者在具体的专用处理资源当中执行如上所述的操作。在这一示例中,SOC的CPU 61运行OS栈和应用,并且被耦合至SOC内的系统总线68。OS栈包括或接合由CPU执行的管线管理器,并且被存储在也耦合至所述总线的大容量存储设备66内。所述大容量存储可以是闪存、磁盘存储器、或者任何其他类型的非易失性存储器。所述OS、管线管理器、应用、以及各种系统和用户参数存储在那里,从而在启动系统时加载。
所述SOC还包括全部通过系统总线连接的额外的硬件处理资源,用来执行可以由CPU分配的具体重复性任务。这些包括用于对所述机顶盒被设计用来支持的任何流、存储、磁盘、以及摄像格式中的视频进行解码的视频解码器62。上文所述的音频解码器63对来自任何各种不同源格式的音频进行解码,执行抽样速率转换、混合、以及编码成其他格式。所述音频解码器还可以对接收到的音频应用环绕声或其他音频效果。
显示处理器可以被提供用来执行视频处理任务,例如去隔行、反锯齿、降噪、或者格式和分辨率变换。可以将图形处理器65耦合至总线以执行遮蔽(shading)、视频覆盖、以及混合,以及生成各种图形效果。也可以采用图形处理器分析视频,以判定如上文所述的质量、完整性、以及舒适度向量的度量。也可以将所有的硬件处理资源和CPU耦合至缓存存储器67,例如DRAM(动态随机存取存储器)或SRAM(静态RAM),以供执行所分配的任务之用。可以在将汇编结果移动到大容量存储66之前将命令、指令、以及向量度量存储到这里。它们当中的每个也可以合并一定量的本地缓存。每个单元还可以具有用于配置以及指令和变量的短期存储的内部寄存器。
也可以在SOC内提供各种不同的输入和输出接口,并使其通过系统总线或者通过采用适合于通信的特定类型的数据的具体协议操作的特定总线耦合。视频传送器71接收来自任何各种各样不同视频源78的视频,例如调谐器、外部存储、磁盘播放器、互联网源等。音频传送器72接收来自音频源79的音频,例如调谐器、播放器、外部存储器、以及互联网源。
通用输入/输出块73耦合至系统总线,从而连接至用户接口设备80,例如遥控器或控制器、键盘、控制面板等,以及还连接至外部存储81的其他一般数据接口。外部存储可以是智能卡、磁盘存储、闪存、媒体播放器、或者任何其他类型的存储器。可以采用这样的设备提供媒体以回放、软件应用、或者操作系统修改。
将网络接口74耦合至总线,以允许连接至任何各种各样的网络85,包括局域网和广域网,无论是有线的还是无线的。通过由系统总线提供数据和指令,可以通过网络接口提供互联网媒体和升级以及通信。也可以将网络接口用作汇编的度量和远程命令的通信的反向信道,以执行和引导视频分析。通过网络接口74将上文所述的蓝牙A2DP栈馈送至蓝牙无线电85。也可以通过网络接口85或者通过视频源78接收将分析的视频。
也可以将显示接口75耦合至系统总线68,以向显示驱动器82提供模拟或数字视频输出。显示驱动器供应显示器83和扬声器84。可以由显示驱动器供给不同的视频和音频汇点(sink)。显示驱动器可以是有线或无线的。例如如果不采用用于蓝牙无线电接口的网络接口,那么可以采用显示驱动器向远程扬声器发送无线蓝牙音频。也可以采用显示驱动器向远程显示器无线地发送WiDi(无线显示)视频。
对于某些实现而言,可能优选比上文描述的示例更少或更多配备的系统。因此,芯片或机顶盒上的示例性系统配置将根据很多因素,例如价格限制、性能要求、技术改进、或者其他环境而在不同的实现之间变化。
可以将实施例实现为下述当中的任何一个或其组合:一个或多个采用采用母板互连的微芯片或集成电路、硬连接逻辑、由存储设备存储并且由微处理器运行的软件、固件、特定用途集成电路(ASIC)、和/或现场可编程门阵列(FPGA)。“逻辑”一词可以包括,例如软件或硬件和/或软件和硬件的组合。
实施例可以被提供为例如计算机程序产品,其可以包括具有存储于其上的机器可执行指令的一个或多个机器可读介质,当所述指令由一个或多个诸如计算机、计算机网络、或其他电子设备的机器执行时可以使得所述一个或多个机器实施根据本发明的实施例的操作。机器可读介质可以包括但不限于软盘、光盘、CD-ROM(高密度盘-只读存储器)、以及磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦可编程只读存储器)、EEPROM(电可擦可编程只读存储器)、磁或光卡、闪存、或者适合存储机器可执行指令的其他类型的介质/机器可读介质。
此外,实施例可以作为计算机程序产品下载,其中,可以通过一个或多个体现在载波内和/或受到载波调制的数据信号或者经由通信链路(例如调制解调器和/或网络连接)的其他传播介质的方式,将所述程序从远程计算机(例如服务器)传送至请求计算机(例如客户端)。相应地,如在这采用的,机器可读介质可以,但不要求包括这样的载波。
在实施例中,可以将本发明结合到个人计算机(PC)、膝上计算机、超级膝上计算机、平板、触控板、便携式计算机、手提计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、蜂窝电话/PDA的组合、电视、智能设备(例如智能电话、智能平板、或者智能电视)、移动互联网设备(MID)、消息发送设备、数据通信设备等。
图8是示出了上文描述的用于估计视频的质量的技术的过程流程图。在91处,在处理器或者一些其他用于评估的设备处接收到立体三维视频。在92处,对视频进行质量分析。如上所述,将视频与建立的不同类别的因素的集合进行比较,所述类别影响视频的呈现。可以采用以硬件或者软件实现的视频评估和帧分析工具,以任何各种各样的不同方式做出评估。在一些情况下,也可以对视频的基本属性,例如分辨率、帧速率、音轨类型、以及其他类型的因素进行评估。
在94处,对每个因素的评分进行汇编。在95处,将因素评分汇编成每个类别的评分。可以具有一个或多个类别。在所描述的示例中,例如在表2中,有三个类别,所述类别之一具有三个子类别。因素的数量可以是相同的,或者可以象表2中那样根据类别而不同。尽管在这里描述的特定因素和类别被发现对于S3D实况广播评估特别有用,但是可以增加或删除以及重新分类因素,以适合于特定的应用。
在95处,总体评分是从类别的评分汇编到总体的三维评分,在97处,呈现评分用于评估。所述呈现可以采取图1到6或者表3中所示的形式或者任何其他形式。
图8还包括一些可选的操作,其可以被执行以适应特定的应用。可以从所述过程增加或者删除这些操作中的任何一个或多个,以适应特定的应用。在98处,形容词与每个类别的评分相关联。这可以用于帮助用户理解由评分提供的定量的度量。在99处,可以存储所述评分,以供与后面的或者类似的其他S3D视频或者与其他资料进行比较。例如在表3中示出了这样的比较。然后可以将所存储的度量用于评估针对其他视频的度量。
在100处,跨类别对评分进行比较。然后可以呈现所述比较用于评估。在上面的示例中,呈现了饼图,以比较来自不同类别的不同评分并且比较来自相同类别内的不同因素的不同评分。
图9示出了上文所述技术的系统实现。该图显示,采用视频制作和发布链条中的硬件或软件资源对到来的视频解码然后分析。在这一示例中,客户端设备处的资源计算三个类别的因素:质量、完整性和舒适度,并将那些度量反馈给提供者。然后提供者可以采用这些度量辅助修正或改善S3D的视频体验。这一点在可能会出现无法预测的问题的实况广播视频的上下文中特别有价值,然而本发明不限如此。
在图9的发布网络中,网络提供者111,例如电视或互联网信道11接收来自源113的视频。所述源可以是其自己的新闻、体育运动、或制作团队、或独立的内容提供者。在上面的示例中,所述视频是实况S3D视频。通过互联网或广播介质115,例如电缆、卫星、或者陆地无线电广播将所述视频发送给客户端125-1,例如家庭或机构观看者。尽管显示了3个客户端,但是可能会有几百或几百万个。
客户端设备125在解码器121中接收并解码视频,并如上文所述在分析块123中针对质量因素对其进行分析。所述分析可以是在硬件、软件或固件中完成的。然后,将所述视频提供给显示控制器127,从而将其在显示器129上呈现给客户端。也可以邀请客户端以在所述视频之后或者过程中提供分析。可以在显示器129上将问题呈现给客户端,客户端可以采用诸如遥控器的客户端系统用户接口做出响应。所述问题可以询问主观意见或者被询问关于所呈现的视频的质量的客观比较,或者客户是否喜欢视频。
在分析块中确定的结果119通过网络115被提供回给提供者111。可以与广播机构和视频源共享结果。在所示出的示例中,通过广播连接,例如卫星或电缆接收视频,并通过诸如互联网的点对点连接将其返回。然而一些广播系统提供返回信道并且一些点对点系统提供多播或广播功能,因而可以根据应用采用相同或不同的信道。
尽管所述分析被示为是通过客户端设备125执行和发回的,但是可以在视频源113、网络提供者111、或者广播机构115处执行相同或类似的分析。这些分析可以替代或者额外于客户端分析。
对“一个实施例”、“实施例”、“示例实施例”、“各种实施例”等的参考是指如此描述的本发明的实施例可以包括特定的特征、结构、或特性,但未必每个实施例都包括所述的特定的特征、结构、或特性。进一步地,一些实施例可以具有其他实施例描述的特征当中的一些、全部、或者没有任何特征。
在下面的描述和权利要求中,可能采用术语“耦合”连同其派生词。采用“耦合”指示两个或更多个元件协作或者相互交互,但是它们可以有或者没有处于它们之间的中间物理或电部件。
除非另行说明,否则如权利要求中采用的,采用普通形容词“第一”、“第二”、“第三”等描述共同的元件只是指示正在参考的类似的元件的不同实例,其并非旨在暗示如此描述的元件必须在时间、空间、排序、或者任何其他的方式上具有给定的顺序。附图和前面的描述给出了实施例的示例。本领域技术人员将领会:也可以将所描述的元件中的一个或多个合并成单一的功能元件。或者,可以将某些元件拆分成多个功能元件。可以将来自一个实施例的元件添加到另一实施例。例如可以改变文中描述的过程的顺序,而且其不限于文中描述的方式。此外,未必需要按照示出的顺序实施任何流程图的动作,而且未必需要执行所有的所述行动。而且,可以与其他行动并行执行那些不依赖于其他行动的行动。实施例的范围决不受这些具体示例的限制。不管是否在说明书中明确的给出,很多变化都是可能的,例如结构、尺寸、以及采用材料的差异。实施例的范围至少与下面的权利要求给出的一样宽泛。
Claims (20)
1.一种用于立体三维视频评估的方法,包括:
在处理器处接收立体三维视频;
针对影响所述视频的呈现的多个类别中的多个因素对所述视频进行分析,每个类别具有多个因素,第一可量化的度量类别有关于所述视频的制作,第二通过/失败类别有关于三维效果的完整性,以及第三可量化的度量类别有关于观看者舒适度;
将每个因素的评分汇编成类别的评分;
将所述类别的评分汇编成总体三维评分;以及
呈现评分以供评估。
2.根据权利要求1所述的方法,进一步包括使形容词与每个类别的评分相关联。
3.根据权利要求1所述的方法,其中所述评分包括可量化的度量集合。
4.根据权利要求3所述的方法,其中将所述评分应用到规格化均匀标度。
5.根据权利要求4所述的方法,其中所述标度是从一到五。
6.根据权利要求3所述的方法,其中所述度量被保存以供针对其他视频的度量进行评估。
7.根据权利要求1所述的方法,进一步包括跨类别进行评分的比较,并呈现所述比较以供评估。
8.根据权利要求1所述的方法,其中所述类别与影响所述评分的源相关联。
9.根据权利要求1所述的方法,其中所述第一可量化的度量类别有关于由沿视频制作和广播链条中的不同点聚合的因素呈现并影响的所述视频的质量。
10.根据权利要求1所述的方法,其中所述第二通过/失败类别有关于所述视频的三维方面的完整性,并且包括以下因素:眼疲劳、令人眩晕的移动、恶心。
11.根据权利要求1所述的方法,其中所述第三可量化的度量类别有关于观看者在观看所述视频的呈现时的身体舒适度,并且包括以下因素:抽样时间偏移、窗口侵入、垂直偏差、水平偏差、旋转误差。
12.一种用于立体三维视频评估的装置,包括:
接收来自外部源的立体三维视频的视频传送器;
解码所述视频以供在所述装置内使用的视频解码器;
针对影响所述视频的呈现的多个类别中的多个因素,对所述视频进行分析的图形处理器,每个类别具有多个因素,第一可量化的度量类别有关于所述视频的制作,第二通过/失败类别有关于三维效果的完整性,以及第三可量化的度量类别有关于观看者舒适度;
将每个因素的评分汇编成类别的评分,以及将所述类别的评分汇编成总体三维评分的通用处理器;以及
呈现评分以供评估的外部接口。
13.根据权利要求12所述的装置,其中所述图形处理器和所述通用处理器是相同的处理器。
14.根据权利要求12所述的装置,其中所述外部接口包括呈现所述评分的视觉表示的显示接口。
15.根据权利要求12所述的装置,进一步包括存储经汇编的评分的大容量存储设备。
16.一种用于立体三维视频评估的装置,包括:
用于在处理器处接收立体三维视频的单元;
用于针对影响所述视频的呈现的多个类别中的多个因素对所述视频进行分析的单元,每个类别具有多个因素,第一可量化的度量类别有关于所述视频的制作,第二通过/失败类别有关于三维效果的完整性,以及第三可量化的度量类别有关于观看者舒适度;
用于将每个因素的评分汇编成类别的评分的单元;
用于将所述类别的评分汇编成总体三维评分的单元;以及
用于呈现评分以供评估的单元。
17.根据权利要求16所述的装置,进一步包括用于使形容词与每个类别的评分相关联的单元。
18.根据权利要求16所述的装置,进一步包括用于跨类别进行评分的比较以及呈现所述比较以供评估的单元。
19.一种用于立体三维视频评估的装置,包括:
接收来自外部源的立体三维视频的视频调谐器;
解码所述视频以供在装置内使用的视频解码器;
针对影响所述视频的呈现的多个类别中的多个因素,对所述视频进行分析的图形处理器,每个类别具有多个因素,第一可量化的度量类别有关于所述视频的制作,第二通过/失败类别有关于三维效果的完整性,以及第三可量化的度量类别有关于观看者舒适度;
将每个因素的评分汇编成类别的评分,以及将所述类别的评分汇编成总体三维评分的通用处理器;
存储经汇编的评分的大容量存储设备;
将所述评分发送至所述外部源以供评估的网络接口;以及
渲染所述视频给本地用户的显示器。
20.根据权利要求19所述的装置,进一步包括接收来自所述显示器上的所述视频的观看者的质量评分的用户输入设备。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2011/066954 WO2013095534A1 (en) | 2011-12-22 | 2011-12-22 | Quantifiable stereoscopic three-dimensional video evaluation methodology |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103999459A CN103999459A (zh) | 2014-08-20 |
CN103999459B true CN103999459B (zh) | 2016-12-21 |
Family
ID=48669175
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180075650.7A Expired - Fee Related CN103999459B (zh) | 2011-12-22 | 2011-12-22 | 可量化的立体三维视频评估方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20150326844A1 (zh) |
EP (1) | EP2795908A4 (zh) |
CN (1) | CN103999459B (zh) |
WO (1) | WO2013095534A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10622023B2 (en) | 2016-07-01 | 2020-04-14 | Snap Inc. | Processing and formatting video for interactive presentation |
US10623662B2 (en) | 2016-07-01 | 2020-04-14 | Snap Inc. | Processing and formatting video for interactive presentation |
US10475483B2 (en) | 2017-05-16 | 2019-11-12 | Snap Inc. | Method and system for recording and playing video using orientation of device |
CN107241621A (zh) * | 2017-05-26 | 2017-10-10 | 北京小米移动软件有限公司 | 主播评分方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101478697A (zh) * | 2009-01-20 | 2009-07-08 | 中国测绘科学研究院 | 影像有损压缩质量评价方法 |
CN102170581A (zh) * | 2011-05-05 | 2011-08-31 | 天津大学 | 基于hvs的ssim与特征匹配立体图像质量评价方法 |
CN102750695A (zh) * | 2012-06-04 | 2012-10-24 | 清华大学 | 一种基于机器学习的立体图像质量客观评价方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101102004B1 (ko) * | 2005-12-30 | 2012-01-04 | 삼성전자주식회사 | 3차원 입체 영상에 대한 피로도를 정량화하는 방법 및시스템 |
TW200820767A (en) * | 2006-06-26 | 2008-05-01 | Genesis Microchip Inc | Universal, highly configurable video and graphic measurement device |
KR20100085628A (ko) * | 2009-01-21 | 2010-07-29 | 광운대학교 산학협력단 | 3차원 디스플레이 유발 피로감을 삼차원 영상 컨텐츠의 고유 요인별로 체계적으로 측정할 수 있는 방법 및 장치 |
EP2401870A4 (en) * | 2009-02-27 | 2012-12-26 | Deluxe Lab Inc | SYSTEMS, DEVICES AND METHODS FOR SUBTITLEING STEREOSCOPIC CONTENT |
US20110032341A1 (en) * | 2009-08-04 | 2011-02-10 | Ignatov Artem Konstantinovich | Method and system to transform stereo content |
US20150206000A1 (en) * | 2010-06-07 | 2015-07-23 | Affectiva, Inc. | Background analysis of mental state expressions |
US20120044323A1 (en) * | 2010-08-20 | 2012-02-23 | Texas Instruments Incorporated | Method and Apparatus for 3D Image and Video Assessment |
GB2489930A (en) * | 2011-04-08 | 2012-10-17 | Sony Corp | Analysis of Three-dimensional Video to Produce a Time-Varying Graphical Representation of Displacements |
-
2011
- 2011-12-22 CN CN201180075650.7A patent/CN103999459B/zh not_active Expired - Fee Related
- 2011-12-22 WO PCT/US2011/066954 patent/WO2013095534A1/en active Application Filing
- 2011-12-22 EP EP11877995.8A patent/EP2795908A4/en not_active Withdrawn
- 2011-12-22 US US13/977,534 patent/US20150326844A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101478697A (zh) * | 2009-01-20 | 2009-07-08 | 中国测绘科学研究院 | 影像有损压缩质量评价方法 |
CN102170581A (zh) * | 2011-05-05 | 2011-08-31 | 天津大学 | 基于hvs的ssim与特征匹配立体图像质量评价方法 |
CN102750695A (zh) * | 2012-06-04 | 2012-10-24 | 清华大学 | 一种基于机器学习的立体图像质量客观评价方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103999459A (zh) | 2014-08-20 |
WO2013095534A1 (en) | 2013-06-27 |
EP2795908A4 (en) | 2015-08-05 |
EP2795908A1 (en) | 2014-10-29 |
US20150326844A1 (en) | 2015-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100437453C (zh) | 标签信息显示控制设备及方法、信息处理设备和显示设备 | |
CN102696223B (zh) | 多功能多媒体装置 | |
DE102014008038A1 (de) | Anordnen von unaufdringlichen Oberlagerungen in einem Videocontent | |
US8094168B2 (en) | Adding secondary content to underutilized space on a display device | |
CN105307027A (zh) | 用于调整内容的方法和装置 | |
CN104065979A (zh) | 一种动态显示和视频内容相关联信息方法及系统 | |
US20230283821A1 (en) | Data translation for video-viewing activity | |
CN102347839B (zh) | 具有内容签名功能的显示接收器设备 | |
CN103999459B (zh) | 可量化的立体三维视频评估方法 | |
CN105493031A (zh) | 用于响应于用户动作而自动调整窗口大小的方法和系统 | |
CN102508646A (zh) | 内容签名用户界面 | |
Canella | Video goes vertical: Local news videographers discuss the problems and potential of vertical video | |
US9876967B2 (en) | News production system with DVE template feature | |
CN102265272A (zh) | 有偏向的推荐器系统 | |
US10257552B2 (en) | News production system with program schedule modification feature | |
Ibrus et al. | Strategic management of crossmedia production at Estonian public broadcasting | |
US9172936B2 (en) | Inter-video corresponding relationship display system and inter-video corresponding relationship display method | |
CN113383556A (zh) | 视听历史分析装置 | |
Bogaert | Cloud Content Contention | |
EP2875473A1 (en) | System and method for providing visual job information and job seeker's information | |
US20160212475A1 (en) | Dynamically generated user interface | |
Mariátegui | Image, information and changing work practices: the case of the BBC’s Digital Media Initiative | |
Sanz Lara et al. | Economic analysis of firms in the European film industry through their financial ratios | |
Sidiq | The Role and Challenges of Indonesian Broadcasting Commission (KPI) in Facing the Digitalization Era of Broadcasting Media in Indonesia: The Role and Challenges of Indonesian Broadcasting Commission (KPI) in Facing the Digitalization Era of Broadcasting Media in Indonesia | |
CN116405715A (zh) | 基于轮播节目单可视化操作的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161221 Termination date: 20191222 |
|
CF01 | Termination of patent right due to non-payment of annual fee |