CN103369333A - 识别成对立体图像实际观看顺序的方法和电子装置 - Google Patents
识别成对立体图像实际观看顺序的方法和电子装置 Download PDFInfo
- Publication number
- CN103369333A CN103369333A CN2012104478530A CN201210447853A CN103369333A CN 103369333 A CN103369333 A CN 103369333A CN 2012104478530 A CN2012104478530 A CN 2012104478530A CN 201210447853 A CN201210447853 A CN 201210447853A CN 103369333 A CN103369333 A CN 103369333A
- Authority
- CN
- China
- Prior art keywords
- comparative result
- generation tabular
- tabular value
- order
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000000052 comparative effect Effects 0.000 claims description 106
- 238000009434 installation Methods 0.000 claims description 16
- 238000006116 polymerization reaction Methods 0.000 description 25
- 230000000694 effects Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 239000011521 glass Substances 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 210000000887 face Anatomy 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241001062009 Indigofera Species 0.000 description 1
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001550 time effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种识别成对立体图像中图像帧的实际观看顺序的方法和电子装置。其中识别成对立体图像中图像帧的实际观看顺序的方法包括：接收图像帧；根据假定观看顺序，通过分析图像帧获取图像特性；以及通过检查图像特性识别所述实际观看顺序。通过利用本发明，观看者可获得更好的3D观看体验。
Description
技术领域
本发明有关于三维(three-dimensional,3D)图像/视频回放(playback)，且尤其有关于根据图像特性识别成对立体图像(stereo image pair)中图像帧的观看顺序的方法和相关装置。
背景技术
随着科技的不断发展，高清图像已无法满足需求，用户开始追求立体和更真实的图像/视频显示。目前立体图像/视频显示有两种技术，一种技术采用视频显示装置并附带眼镜，其中眼镜如红蓝/红绿眼镜(anaglyph glasses)、偏光眼镜(polarization glasses)或快门眼镜(shutter glasses)；而另一种技术仅采用视频显示装置，并不需要附带眼镜。无论采用哪种技术，立体显示的主要原理在于使左眼和右眼看到不同的图像，如此一来，观看者的大脑就会将两只眼睛观察到的不同图像视为立体图像。
目前已经有了越来越多的3D内容，而且其中一些已经可以通过互联网观看。同时，储存3D内容有很多共存的格式。举例来说，可用的3D格式包含水平交织(horizontal interlaced)、棋盘(checkerboard)、上下(over-under)等格式。网络电视(Internet television,Internet TV)可直接从网络上观看图像或视频内容。为了支持3D内容的回放，网络电视应可检测3D格式。
一些如运动图像专家组(Motion Picture Experts Group,MPEG)等新加入的视频标准可通过标记(tag)支持某些3D格式。高清多媒体接口(High-Definition Multimedia Interface,HDMI)1.4接口也支持多种流行的3D格式。不过，MPEG标准或HDMI1.4接口并无法支持所有的流行3D格式。网络上大部分3D内容采用了不同的3D格式，并不支持上述MPEG和HDMI1.4标准。除了3D视频之外，还存在大量的3D图像，而3D图像并没有一种标准方式，所以会通过不同的图像类型储存3D格式信息。因此，网络电视需要自动区分2D和3D图像/视频内容，并为3D内容决定3D格式。传统的方法可以检测3D格式，但是无法知晓成对立体图像中图像帧的观看顺序。也就是说，传统的3D格式方法并不知道成对立体图像中哪个图像帧为左视图(即左眼图像帧)，也不知道哪个图像帧为右视图(即右眼图像帧)。
有趣的是，即使左视图和右视图的回放顺序发生了颠倒(switch)，大部分人仍能看出3D效果。不过，这时所感知的3D效果一般比较奇怪，而且会很快造成视觉疲劳。明确来说，由于大部分人在左视图和右视图顺序颠倒时仍可感知到3D效果，分辨左视图和右视图很难。从数学上来说，左视图和右视图颠倒的操作可改变数学公式的符号。对于3D效果来说，这意味着深度值改变了符号。也就是说，相邻物体会显得较远，而较远的物体会显得较近。不过，虽然顺序颠倒，两个视图中物体的尺寸并不会因此而发生变化。由于深度值表示越小的物体越近，而物体尺寸表示越小的物体应该越远，所以所感知的3D效果就会很奇怪。上述矛盾会很快造成视疲劳。
对于诸如棋格样式的某些3D格式来说，左视图或右视图的顺序是确定的，而另一些格式则并不确定。此外，如何安排左视图或右视图也并没有通用规则。如此一来，很多3D软件封包具有根据用户喜好安排左视图和右视图的视图顺序的选项。如上所述，区分左视图和右视图的一种方法是按照某些标准中所定义的，将视频文件中的信息做标记；另一种方法是如当前软件3D玩家的通用做法，由用户手动进行设置。这两种方法显然不适合通过网络电视在网络上观看3D视频/图像内容。
因此，为了使3D观看体验更为舒适，不仅需要注重检测3D内容的正确3D格式，更需要注重识别左视图和右视图的正确观看顺序。
发明内容
有鉴于此，本发明提供一种识别成对立体图像中图像帧的实际观看顺序的方法和电子装置。
本发明一实施例提供一种识别成对立体图像中图像帧的实际观看顺序的方法，包括：接收图像帧；根据假定观看顺序，通过分析图像帧获取图像特性；以及通过检查图像特性识别所述实际观看顺序。
本发明另一实施例提供一种电子装置，用来识别成对立体图像中图像帧的实际观看顺序，其特征在于，包含处理器，用来接收所述图像帧；根据假定观看顺序，通过分析所述图像帧获取图像特性；以及通过检查所述图像特性识别所述实际观看顺序。
通过利用本发明，观看者可获得更好的3D观看体验。
附图说明
图1是示范性平行摄像头配置的示意图。
图2是示范性聚合摄像头配置的示意图。
图3是视差值和感知到的3D效果的示意图。
图4是根据本发明第一实施例的成对立体图像中图像帧观看顺序识别方法的流程图。
图5是根据本发明第二实施例的成对立体图像中图像帧观看顺序识别方法的流程图。
图6是根据本发明一实施例的图像/视频处理系统的示意图。
具体实施方式
在本专利说明书及权利要求当中使用了某些词汇来指称特定的组件。所属领域中具有通常知识者应可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本专利说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及请求项当中所提及的“包含”为一开放式的用语，故应解释成“包含但不限定于”。另外，“耦接”一词在此包含任何直接及间接的电气连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电气连接于该第二装置，或透过其他装置或连接手段间接地电气连接至该第二装置。
本发明的主要理念在于检查图像特性，以通过自动方式识别成对立体图像中图像帧的观看顺序。其中，成对立体图像可通过传统的3D格式检测方法获取。明确来说，可通过处理/分析成对立体图像的图像帧获取图像特性，如视差特性(parallax characteristic)。因此，图像特性(如视差特性)可提供信息指示视频帧的观看顺序。下面将进行更细节描述。
一般来说，3D内容通过成对摄像头(camera)产生。在3D内容制作中，一般有两种摄像头布置方式。一种如图1所示，采用平行摄像头(parallelcamera)102和104，另一种如图2所示，采用聚合摄像头(converging camera)202和204。其中图1是示范性平行摄像头配置的示意图；图2是示范性聚合摄像头配置的示意图。在一实施例中，成对立体图像中左视图(即左眼图像帧)中特征点(feature point)的位置为XL，成对立体图像中右视图(即左眼图像帧)中特征点(feature point)的位置为XR。成对立体图像中不同图像帧的特征点的视差值P(XL,XR)可通过下列等式表示。
P(XL,XR)=XR-XL (1)
因此，基于位置值XR和XL，视差值可为正，可为负，也可为零。一般来说，零视差值表示可在屏幕上感知到点，正视差值表示可在屏幕后面感知到点，而负视差值表示可在屏幕前面感知到点。请参照图3，图3是视差值和感知到的3D效果的示意图。由于XR=AR、XL=AL且AR>AL，点A具有正视差值P(AL,AR)，其感知位置在观看平面(即显示屏)后面。由于XR=BR、XL=BL且BR=BL，点B具有零视差值P(BL,BR)，其感知位置在观看平面(即显示屏)上。由于XR=CR、XL=CL且CR<CL，点C具有负视差值P(CL,CR)，其感知位置在观看平面(即显示屏)前面。
由于平行摄像头的配置和聚合摄像头的配置并不相同，平行摄像头配置和聚合摄像头配置下的视差值分布并不相同。基于上述结论，视差值的分布可用来分辨出3D内容是通过平行摄像头配置制作的，还是通过聚合摄像头配置制作的。在理想状况下，平行摄像头配置时的视差值均为负视差值，并不存在零视差值或正视差值。而基于实际制作的3D内容，聚合摄像头配置下的视差值可具有负视差值、零视差值以及/或者正视差值。
3D内容制作中还需要注意如何避免不舒适。在3D视频或者数据制作中，一般会限制弹出(pop-up)效果，以避免眼睛不舒适。弹出效果即观看者观看3D内容时，某些物体会在屏幕前面出现。理论上来说，在平行摄像头配置中，几乎所有的像素/点具有负视差值，应在观看平面前面感知到。如此一来，由于没有零视差值或正视差值，弹出效果并不明显。因此，弹出效果一般通过聚合摄像头配置产生。在3D观看中，弹出效果是非常有吸引力的。然而，弹出效果使得观看者的眼睛随之进行太多转动。因此，3D内容制作中会避免采用过多和过长时间的弹出效果，以减小眼睛的不舒适度。这意味着实际聚合摄像头配置的视差值分布应具有以下特性：正视差值所占的百分比应比负视差值所占的百分比多得多。
此外，当采用图2所示的聚合摄像头202和204时，摄像头202和204聚焦于屏幕上的某些物体，且一般具有较大的会聚角。这是很重要的，因为这样一来，实际的聚合摄像头配置即可与偏离的平行摄像头轻易分辨开来。理想状况下，平行摄像头102和104应平行放置。不过，由于某些原因，平行摄像头102和104可能会有所偏离，存在较小的会聚角。偏离的平行摄像头会在远处(屏幕之外)会聚。如此一来，视差值符号分布与平行摄像头处理结果类似，而不是与聚合摄像头类似。
因为一般来说，制作的3D内容应便于观看者获取方便舒适的3D效果，所以应排除一种极端的聚合摄像头配置。在上述极端状况中，会聚角可能会太大，以致于摄像头的聚焦点太靠近摄像头，屏幕上的所有像素会被放置到观看平面之前。
表1是排除实际3D内容制作的一些不可能的状况后，正确观看顺序下视差值的符号分布示意图。
表1平行和聚合摄像头视差值的符号分布(正确观看顺序)
| 视差值 | 平行摄像头 | 聚合摄像头 |
| 正 | 0 | 很多 |
| 零 | 0 | 很多 |
| 负 | 全部 | 几个 |
如表1所示，对于平行摄像头(或者偏离的平行摄像头)来说，正视差值和零视差值的百分比等于或接近于(存在错误时)0，而负视差值的百分比等于或接近于100%。对于聚合摄像头来说，零值和正值占所有或者大部分，而负值占据很小一部分。
不过，若观看顺序错误，视差值的符号分布即如表2所示。
表2平行和聚合摄像头视差值的符号分布(错误观看顺序)
| 视差值 | 平行摄像头 | 聚合摄像头 |
| 正 | 全部 | 几个 |
| 零 | 0 | 很多 |
| 负 | 0 | 很多 |
如表1和表2所示，无论观看顺序是否正确，平行摄像头和聚合摄像头的零视差值分布均有很大不同，因此可用于区分不同的摄像头配置。此外，如表1和表2所示，无论观看顺序是否正确，相同摄像头配置的正视差值和负视差值分布有很大不同。因此，确定摄像头配置后，正视差值和负视差值之间所显示的不同分布样式可用于区分左视图和右视图的观看顺序。为了使本领域技术人员更好地理解本发明的技术特征，以下给出左视图和右视图自动识别的几个示范例。
请参照图4，图4是根据本发明第一实施例的成对立体图像中图像帧观看顺序识别方法的流程图。若结果大致相同，则可不需严格按照图4所示的执行顺序。本发明的示范性自动识别方案可包括以下步骤。
步骤400：开始。
步骤402：接收成对立体图像的图像帧。
步骤404：从图像帧中选择多个特征点相应对(correspondence pair)。
步骤406：根据假定观看顺序计算特征点相应对的视差值。
步骤408：对视差值中的正视差值、负视差值和零视差值进行计数，并分别获取第一代表值(representative value)、第二代表值和第三代表值。
步骤410：将第三代表值与预定阈值TH1进行比较，并生成比较结果R1。
步骤412：判断比较结果R1是否指示第三代表值小于预定阈值TH1。若第三代表值小于预定阈值TH1，则进行步骤414；若第三代表值并不小于预定阈值TH1，则进行步骤418。
步骤414：将第二代表值与第一代表值进行比较，并生成比较结果R2。
步骤416：判断比较结果R2是否指示第一代表值大于第二代表值。若第一代表值大于第二代表值，则进行步骤422；若第一代表值并不大于第二代表值，则进行步骤424。
步骤418：将第二代表值与第一代表值进行比较，并生成比较结果R2。
步骤420：判断比较结果R2是否指示第二代表值大于第一代表值。若第二代表值大于第一代表值，则进行步骤422；若第二代表值并不大于第一代表值，则进行步骤424。
步骤422：判断出成对立体图像中图像帧的实际观看顺序与假定观看顺序相反，并进行步骤426。
步骤424：判断出成对立体图像中图像帧的实际观看顺序与假定观看顺序一致，并进行步骤426。
步骤426：结束。
执行步骤402-406可通过按照假定观看顺序分析图像帧，来获取图像特性。在本实施例中，图像特性为视差特性。因此开始时，会先将接收到的图像帧中的一个假定为左视图，并将另一个假定为右视图。基于上述假定的观看顺序，根据上述等式(1)来计算图像帧中所找到相同特征点的视差值。基于实际设计考量，可适当调整所选择的特征点相应对的个数。此外，为了提高所提出的自动识别方案的准确性，一个图像帧中所选择的特征点不应聚集在几个受限区域(limited area)，而应均匀、随机地分布在图像帧中。需注意，成对立体图像可在对3D图像输入或3D视频输入进行3D格式检测时获取。也就是说，成对立体图像可为3D图像，也可从3D视频比特流中提取。
在步骤408中，第一代表值、第二代表值和第三代表值根据视差值获取。在较佳实施例中，第一代表值为表示视差值中正视差值所占百分比的百分比值P(+)，第二代表值为表示视差值中负视差值所占百分比的百分比值P(-)，第三代表值为表示视差值中零视差值所占百分比的百分比值P(0)。不过，这并非用于限制本发明。在另一实施例中，第一代表值可为视差值中所包含的正视差值的计数值，第二代表值可为视差值中所包含的负视差值的计数值，第三代表值可为视差值中所包含的零视差值的计数值。
根据正视差值、负视差值和零视差值分别获取第一代表值、第二代表值和第三代表值后，首先区分摄像头的配置。在步骤408中，将第三代表值(如P(0))与预定阈值TH1比较，以检测第三代表值是否接近于0。也就是说，预定阈值TH1可设定为接近于0的正值。若比较结果R1指示第三代表值小于预定阈值TH1，则可判断出制作出所接收到的成对立体图像的摄像头采用平行摄像头配置(如图1所示的摄像头102和104)。否则，若比较结果R1指示第三代表值并不小于预定义阈值TH1，可判断出制作出所接收到的成对立体图像的摄像头采用聚合摄像头配置(如图2所示的摄像头202和204)。
成功检测摄像头配置后，可验证假定观看顺序的准确性，以判断出假定观看顺序是否为实际观看顺序。若步骤412中检测出的摄像头为平行摄像头配置，则通过执行步骤414和416来验证假定观看顺序。如表1所示，在正确观看顺序下，平行摄像头配置时所有或大部分视差值为负值。在较佳实施例中，将第一代表值与第二代表值进行比较。若在步骤416中，比较结果R2指示第一代表值大于第二代表值，则意味着假定观看顺序是错误的。换句话说，由于假定观看顺序与实际观看顺序不同，一个图像被错误地认作左视图，而另一个图像被错误地认作右视图。因此，假定观看顺序为转换的(switched)/颠倒的(步骤422)。如此一来，可判断出实际观看顺序与假定观看顺序相反。若在步骤416中，比较结果R2指示第一代表值并不大于第二代表值，则意味着假定观看顺序是正确的。换句话说，由于假定观看顺序与实际观看顺序一致，一个图像被正确地认作左视图，而另一个图像被正确地认作右视图。如此一来，可判断出实际观看顺序与假定观看顺序一致(步骤424)。
若步骤412中检测出的摄像头为聚合摄像头配置，则通过执行步骤418和420来验证假定观看顺序。如表1所示，在正确观看顺序下，聚合摄像头配置时很少的视差值为负值。在较佳实施例中，将第一代表值与第二代表值进行比较。若在步骤420中，比较结果R2指示第一代表值小于第二代表值，则意味着假定观看顺序是错误的。换句话说，由于假定观看顺序与实际观看顺序不同，一个图像被错误地认作左视图，而另一个图像被错误地认作右视图。因此，假定观看顺序为转换的/颠倒的(步骤422)。如此一来，可判断出实际观看顺序与假定观看顺序相反。若在步骤420中，比较结果R2指示第一代表值并不小于第二代表值，则意味着假定观看顺序是正确的。换句话说，由于假定观看顺序与实际观看顺序一致，一个图像被正确地认作左视图，而另一个图像被正确地认作右视图。如此一来，可判断出实际观看顺序与假定观看顺序一致(步骤424)。
在大部分实施例中，3D内容是通过平行摄像头或聚合摄像头制作的。不过，也有可能发生不同的情形。举例来说，3D内容是在二维(two-dimensional,2D)内容(如2D背景)的基础上进行叠加产生的最终3D内容。最常见的如将3D字幕(caption)或文本加到2D内容上。尽管通过上述方法制作的3D内容也可能有零视差值、正视差值和负视差值，但在实际中，由于上述内容加入了弹出效果，因此只能呈现出负视差值。
因此，对于通过将3D内容叠加在2D背景上制作的3D内容来说，正视差值所占的百分比为零，正视差值占大部分，负视差值占较小部分。为了明确起见，表3列出了正确观看顺序下视差值的符号分布。
表3特殊情况下视差值的符号分布(正确观看顺序)
| 视差值 | 特殊情况(2D+弹出3D) |
| 正 | 0 |
| 零 | 很多 |
| 负 | 几个 |
若假定观看顺序错误，负视差值所占的百分比为0，零视差值占大部分，正视差值占较小部分。为了明确起见，表4列出了错误观看顺序下视差值的符号分布。
表4特殊情况下视差值的符号分布(错误观看顺序)
| 视差值 | 特殊情况(2D+弹出3D) |
| 正 | 几个 |
| 零 | 很多 |
| 负 | 0 |
为了处理上述特殊情况，图4中所示的流程图应添加额外步骤。请参照图5，图5是根据本发明第二实施例的成对立体图像中图像帧观看顺序识别方法的流程图。若结果大致相同，则不需严格按照图5所示的顺序执行。图5所示的流程图以图4的流程图为基础，二者主要的不同在于步骤512-522。
步骤512：判断比较结果R1是否指示第三代表值小于预定阈值TH1。若第三代表值小于预定阈值TH1，则进行步骤414；否则若第三代表值并不小于预定阈值TH1，进行步骤514。
步骤514：将第一代表值与预定阈值TH2进行比较，以生成比较结果R3。
步骤516：将第二代表值与预定阈值TH3进行比较，以生成比较结果R4。
步骤518：判断比较结果R3和R4是否指示第一代表值和第二代表值均小于相应的预定阈值。若第一代表值和第二代表值均小于相应的预定阈值，则进行步骤520；否则进行步骤418。
步骤520：将第二代表值与第一代表值进行比较，以生成比较结果R2。
步骤522：判断比较结果R2是否指示第二代表值小于第一代表值。若第二代表值小于第一代表值，则进行步骤422；否则进行步骤424。
步骤512取代了图4中所示的步骤412。因此，若检测出的摄像头配置为聚合摄像头配置，则图5所示的流程图会进行步骤514、516和518，以检查是否发生了上述的特殊情形。预定阈值TH2和TH3可设置为相同的较小值，这只是为了说明的目的，并无意图限制本发明。
如表3和表4所示，若比较结果R3指示第一代表值并不小于预定阈值TH2以及/或者比较结果R4指示第二代表值并不小于预定阈值TH3(即负视差值和正视差值中的至少一个所占百分比较大)，则意味着不存在上述特殊情况。因此，流程接下来如上所述进行步骤418，检查假定观看顺序是否正确。
如表3和表4所示，若比较结果R3指示第一代表值小于预定阈值TH2且比较结果R4指示第二代表值小于预定阈值TH3(即负视差值和正视差值所占百分比均较小)，则意味着存在上述特殊状况。为了更准确检测特殊状况的发生，可执行额外步骤。举例来说，若负视差值和正视差值所占的百分比均较小，且二者之一接近于0，则可判断存在特殊状况。因此，可在步骤520和步骤522之间插入一个步骤，通过将第一代表值和第二代表值与预定的较小阈值进行比较，检查第一代表值和第二代表值中是否有一个接近于0。不过，若预定阈值TH2和TH3设置合适，上述可选步骤即可省略。明确来说，因为一般的平行摄像头配置和聚合摄像头配置的视差值分布中，都不存在负视差值所占百分比和正视差值所占百分比均很小的情况，因此若第一代表值和第二代表值均足够小，则可识别出该配置为特殊情况。接下来，流程进行步骤520和522，以验证假定观看顺序的正确性。
如图3所示，理想状况下，特殊状况中并不存在正视差值，且负视差值占很小一部分。在本实施例中，将第一代表值与第二代表值进行比较。若在步骤522中，比较结果R2指示第二代表值小于第一代表值，则意味着假定观看顺序是错误的。换句话说，由于假定观看顺序与实际观看顺序不同，一个图像被错误地认作左视图，而另一个图像被错误地认作右视图。因此，假定观看顺序为转换的/颠倒的(步骤422)。如此一来，可判断出实际观看顺序与假定观看顺序相反。若在步骤522中，比较结果R2指示第二代表值并不小于第一代表值，则意味着假定观看顺序是正确的。换句话说，由于假定观看顺序与实际观看顺序一致，一个图像被正确地认作左视图，而另一个图像被正确地认作右视图。如此一来，可判断出实际观看顺序与假定观看顺序一致(步骤424)。
图4/图5中所示的自动识别算法可由处理器执行，以找到正确的观看顺序。根据本发明一实施例，可提供一种电子装置，用来识别成对立体图像中图像帧的实际观看顺序，该电子装置包含处理器，用来接收图像帧；根据假定观看顺序，通过分析图像帧获取图像特性；以及通过检查图像特性识别所述实际观看顺序。图6是根据本发明一实施例的图像/视频处理系统的示意图。图像/视频处理系统600包含处理器602和机器可读媒介(如存储装置)604。机器可读媒介604耦接于处理器602，用来存储程序码。加载并执行程序码后，处理器602可接收根据传统3D格式检测生成的成对立体图像IMG(L,R)/IMG(R,L)，并通过执行图4/图5所示的步骤，识别出所接收到的成对立体图像的实际观看顺序VO(L,R)/VO(R,L)。举例来说，处理器602可为中央处理器单元(CentralProcessing Unit,PCU)或微控制单元(Micro Control Unit,MCU)，而程序码可为图像/视频处理系统所处的电子装置(如网络电视)中韧件的一部分。
简单来说，若3D内容的文件中并没有任何标记信息，本发明所提出的自动识别方案可使得装置或软件改变/不改变左视图和右视图的顺序，从而以正确的观看顺序显示左视图和右视图。需注意，若采用电脑绘图制作某些3D内容，该3D内容没有零视差值，正视差值多于负视差值。在上述状况下，本发明所提出的自动识别方案可能会将正确的视图顺序判断为错误，因为上述3D内容并未采用上述常用摄像头配置来制作。
另外，根据视差特性来识别成对立体图像中图像帧的正确视图顺序仅为说明目的。在实际中，任何根据处理/分析成对立体图像的图像帧而获取的图像特性，识别出成对立体图像中图像帧的正确视图顺序的自动识别方案均落入本发明的范围。
此外，图4和图5中所示的流程图仅为说明目的。也就是说，本发明所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作各种的变更和润饰。举例来说，若两个摄像头的配置与表1/表3中所示配置的视差值分布不同，图4/图5中所示的流程图可适当修改，以达到识别所接收到的成对立体图像观看顺序的目的。举例来说，区分不同摄像头配置并不局限于将零视差值所占的百分比与预定义阈值相比较。
虽然本发明已就较佳实施例揭露如上，然其并非用以限制本发明。本发明所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作各种的变更和润饰。因此，本发明的保护范围当视之前的权利要求书所界定为准。
Claims (20)
1.一种识别成对立体图像中图像帧的实际观看顺序的方法，包括：
接收所述图像帧；
根据假定观看顺序，通过分析所述图像帧获取图像特性；以及
通过检查所述图像特性识别所述实际观看顺序。
2.如权利要求1所述的识别成对立体图像中图像帧的实际观看顺序的方法，其特征在于，获取所述图像特性的步骤包括：
从所述图像帧中选择多个特征点相应对；以及
计算所述多个特征点相应对的视差值，并生成所述图像特性。
3.如权利要求2所述的识别成对立体图像中图像帧的实际观看顺序的方法，其特征在于，识别所述实际观看顺序的步骤包括：
对所述视差值中正视差值、负视差值和零视差值进行计数，并分别获取第一代表值、第二代表值和第三代表值；以及
根据所述第一代表值、所述第二代表值和所述第三代表值验证所述假定观看顺序，以确定所述实际观看顺序。
4.如权利要求3所述的识别成对立体图像中图像帧的实际观看顺序的方法，其特征在于，所述第一代表值指示所述正视差值在所述视差值中所占的百分比，所述第二代表值指示所述负视差值在所述视差值中所占的百分比，所述第三代表值指示所述零视差值在所述视差值中所占的百分比。
5.如权利要求3所述的识别成对立体图像中图像帧的实际观看顺序的方法，其特征在于，验证所述假定观看顺序以确定所述实际观看顺序的步骤包括：
将所述第三代表值与第一预定阈值进行比较，以生成第一比较结果；
将所述第二代表值与所述第一代表值进行比较，以生成第二比较结果；以及
至少根据所述第一比较结果和所述第二比较结果，验证所述假定观看顺序，以相应确定所述实际观看顺序。
6.如权利要求5所述的识别成对立体图像中图像帧的实际观看顺序的方法，其特征在于，至少根据所述第一比较结果和所述第二比较结果，验证所述假定观看顺序，以相应确定所述实际观看顺序的步骤包括：
若所述第一比较结果指示所述第三代表值小于所述第一预定阈值，且所述第二比较结果指示所述第一代表值不大于所述第二代表值，则确定所述实际观看顺序与所述假定观看顺序一致；以及
若所述第一比较结果指示所述第三代表值小于所述第一预定阈值，且所述第二比较结果指示所述第一代表值大于所述第二代表值，则确定所述实际观看顺序与所述假定观看顺序相反。
7.如权利要求5所述的识别成对立体图像中图像帧的实际观看顺序的方法，其特征在于，至少根据所述第一比较结果和所述第二比较结果，验证所述假定观看顺序，以相应确定所述实际观看顺序的步骤包括：
若所述第一比较结果指示所述第三代表值不小于所述第一预定阈值，且所述第二比较结果指示所述第二代表值不大于所述第一代表值，则确定所述实际观看顺序与所述假定观看顺序一致；以及
若所述第一比较结果指示所述第三代表值不小于所述第一预定阈值，且所述第二比较结果指示所述第二代表值大于所述第一代表值，则确定所述实际观看顺序与所述假定观看顺序相反。
8.如权利要求5所述的识别成对立体图像中图像帧的实际观看顺序的方法，其特征在于，验证所述假定观看顺序，以相应确定所述实际观看顺序的步骤包括：将所述第一代表值与第二预定阈值进行比较，并生成第三比较结果；将所述第二代表值与第三预定阈值进行比较，并生成第四比较结果；以及
至少根据所述第一比较结果和所述第二比较结果验证所述假定观看顺序的步骤包括：至少根据所述第一比较结果、所述第二比较结果、所述第三比较结果以及所述第四比较结果验证所述假定观看顺序。
9.如权利要求8所述的识别成对立体图像中图像帧的实际观看顺序的方法，其特征在于，至少根据所述第一比较结果、所述第二比较结果、所述第三比较结果以及所述第四比较结果验证所述假定观看顺序的步骤包括：
若所述第一比较结果指示所述第三代表值不小于所述第一预定阈值，所述第三比较结果和所述第四比较结果指示所述第一代表值和所述第二代表值均小于相应的预定阈值，且所述第二比较结果指示所述第二代表值不小于所述第一代表值，则确定所述实际观看顺序与所述假定观看顺序一致；以及
若所述第一比较结果指示所述第三代表值不小于所述第一预定阈值，所述第三比较结果和所述第四比较结果指示所述第一代表值和所述第二代表值均小于相应的预定阈值，且所述第二比较结果指示所述第二代表值小于所述第一代表值，则确定所述实际观看顺序与所述假定观看顺序相反。
10.如权利要求8所述的识别成对立体图像中图像帧的实际观看顺序的方法，其特征在于，至少根据所述第一比较结果、所述第二比较结果、所述第三比较结果以及所述第四比较结果验证所述假定观看顺序的步骤包括：
若所述第一比较结果指示所述第三代表值不小于所述第一预定阈值，所述第三比较结果和所述第四比较结果指示所述第一代表值和所述第二代表值中至少一个不小于相应的预定阈值，且所述第二比较结果指示所述第二代表值不大于所述第一代表值，则确定所述实际观看顺序与所述假定观看顺序一致；以及
若所述第一比较结果指示所述第三代表值不小于所述第一预定阈值，所述第三比较结果和所述第四比较结果指示所述第一代表值和所述第二代表值中至少一个不小于相应的预定阈值，且所述第二比较结果指示所述第二代表值大于所述第一代表值，则确定所述实际观看顺序与所述假定观看顺序相反。
11.一种电子装置，用来识别成对立体图像中图像帧的实际观看顺序，包含处理器，用来接收所述图像帧；根据假定观看顺序，通过分析所述图像帧获取图像特性；以及通过检查所述图像特性识别所述实际观看顺序。
12.如权利要求11所述的电子装置，其特征在于，所述处理器从所述图像帧中选择多个特征点相应对；以及计算所述多个特征点相应对的视差值，并生成所述图像特性。
13.如权利要求12所述的电子装置，其特征在于，所述处理器对所述视差值中正视差值、负视差值和零视差值进行计数，并分别获取第一代表值、第二代表值和第三代表值；以及根据所述第一代表值、所述第二代表值和所述第三代表值验证所述假定观看顺序，以确定所述实际观看顺序。
14.如权利要求13所述的电子装置，其特征在于，所述第一代表值指示所述正视差值在所述视差值中所占的百分比，所述第二代表值指示所述负视差值在所述视差值中所占的百分比，所述第三代表值指示所述零视差值在所述视差值中所占的百分比。
15.如权利要求13所述的电子装置，其特征在于，所述处理器将所述第三代表值与第一预定阈值进行比较，以生成第一比较结果；将所述第二代表值与所述第一代表值进行比较，以生成第二比较结果；以及至少根据所述第一比较结果和所述第二比较结果，验证所述假定观看顺序，以相应确定所述实际观看顺序。
16.如权利要求15所述的电子装置，其特征在于，所述处理器在所述第一比较结果指示所述第三代表值小于所述第一预定阈值，且所述第二比较结果指示所述第一代表值不大于所述第二代表值时，确定所述实际观看顺序与所述假定观看顺序一致；以及在所述第一比较结果指示所述第三代表值小于所述第一预定阈值，且所述第二比较结果指示所述第一代表值大于所述第二代表值时，确定所述实际观看顺序与所述假定观看顺序相反。
17.如权利要求15所述的电子装置，其特征在于，所述处理器在所述第一比较结果指示所述第三代表值不小于所述第一预定阈值，且所述第二比较结果指示所述第二代表值不大于所述第一代表值时，确定所述实际观看顺序与所述假定观看顺序一致；以及在所述第一比较结果指示所述第三代表值不小于所述第一预定阈值，且所述第二比较结果指示所述第二代表值大于所述第一代表值时，确定所述实际观看顺序与所述假定观看顺序相反。
18.如权利要求15所述的电子装置，其特征在于，所述处理器将所述第一代表值与第二预定阈值进行比较，并生成第三比较结果；将所述第二代表值与第三预定阈值进行比较，并生成第四比较结果；以及至少根据所述第一比较结果、所述第二比较结果、所述第三比较结果以及所述第四比较结果验证所述假定观看顺序。
19.如权利要求18所述的电子装置，其特征在于，所述处理器在所述第一比较结果指示所述第三代表值不小于所述第一预定阈值，所述第三比较结果和所述第四比较结果指示所述第一代表值和所述第二代表值均小于相应的预定阈值，且所述第二比较结果指示所述第二代表值不小于所述第一代表值时，确定所述实际观看顺序与所述假定观看顺序一致；以及在所述第一比较结果指示所述第三代表值不小于所述第一预定阈值，所述第三比较结果和所述第四比较结果指示所述第一代表值和所述第二代表值均小于相应的预定阈值，且所述第二比较结果指示所述第二代表值小于所述第一代表值时，确定所述实际观看顺序与所述假定观看顺序相反。
20.如权利要求18所述的电子装置，其特征在于，所述处理器在所述第一比较结果指示所述第三代表值不小于所述第一预定阈值，所述第三比较结果和所述第四比较结果指示所述第一代表值和所述第二代表值中至少一个不小于相应的预定阈值，且所述第二比较结果指示所述第二代表值不大于所述第一代表值时，确定所述实际观看顺序与所述假定观看顺序一致；以及在所述第一比较结果指示所述第三代表值不小于所述第一预定阈值，所述第三比较结果和所述第四比较结果指示所述第一代表值和所述第二代表值中至少一个不小于相应的预定阈值，且所述第二比较结果指示所述第二代表值大于所述第一代表值时，确定所述实际观看顺序与所述假定观看顺序相反。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261620458P | 2012-04-05 | 2012-04-05 | |
| US61/620,458 | 2012-04-05 | ||
| US13/612,893 | 2012-09-13 | ||
| US13/612,893 US9031316B2 (en) | 2012-04-05 | 2012-09-13 | Method for identifying view order of image frames of stereo image pair according to image characteristics and related machine readable medium thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103369333A true CN103369333A (zh) | 2013-10-23 |
| CN103369333B CN103369333B (zh) | 2015-11-18 |
Family
ID=49292341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210447853.0A Expired - Fee Related CN103369333B (zh) | 2012-04-05 | 2012-11-09 | 识别成对立体图像实际观看顺序的方法和电子装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9031316B2 (zh) |
| CN (1) | CN103369333B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104639934A (zh) * | 2015-01-22 | 2015-05-20 | 深圳超多维光电子有限公司 | 立体图像反视处理方法及显示装置 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103593837A (zh) * | 2012-08-15 | 2014-02-19 | 联咏科技股份有限公司 | 自动侦测图像格式的方法及其相关装置 |
| JP6233345B2 (ja) * | 2015-04-17 | 2017-11-22 | トヨタ自動車株式会社 | 路面勾配検出装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011066848A1 (en) * | 2009-12-04 | 2011-06-09 | Nokia Corporation | A processor, apparatus and associated methods |
| CN102158723A (zh) * | 2011-04-13 | 2011-08-17 | 上海文广科技（集团）有限公司 | 3d双投影仪自动同步方法及自动同步的3d播放系统 |
| CN102187680A (zh) * | 2008-08-18 | 2011-09-14 | 三星电子株式会社 | 用于确定图像序列的二维或三维显示模式的方法和设备 |
| WO2011148556A1 (ja) * | 2010-05-25 | 2011-12-01 | パナソニック株式会社 | 画像符号化装置、画像符号化方法、プログラムおよび集積回路 |
| CN102395037A (zh) * | 2011-06-30 | 2012-03-28 | 深圳超多维光电子有限公司 | 一种格式识别方法及识别装置 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8330801B2 (en) * | 2006-12-22 | 2012-12-11 | Qualcomm Incorporated | Complexity-adaptive 2D-to-3D video sequence conversion |
| KR101520619B1 (ko) * | 2008-02-20 | 2015-05-18 | 삼성전자주식회사 | 스테레오 동기화를 위한 스테레오스코픽 영상의 시점 결정방법 및 장치 |
| WO2010048632A1 (en) * | 2008-10-24 | 2010-04-29 | Real D | Stereoscopic image format with depth information |
| US9380292B2 (en) * | 2009-07-31 | 2016-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene |
| US8436893B2 (en) * | 2009-07-31 | 2013-05-07 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images |
| JP2012009010A (ja) * | 2010-05-25 | 2012-01-12 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法および画像表示装置 |
| EP2434764A1 (en) * | 2010-09-23 | 2012-03-28 | Thomson Licensing | Adaptation of 3D video content |
| US20130004059A1 (en) * | 2011-07-01 | 2013-01-03 | Amir Said | Aligning stereoscopic images |
| JP5352869B2 (ja) * | 2011-09-07 | 2013-11-27 | シャープ株式会社 | 立体画像処理装置、立体画像処理方法、及びプログラム |
| JP5840022B2 (ja) * | 2012-02-17 | 2016-01-06 | キヤノン株式会社 | 立体画像処理装置、立体画像撮像装置、立体画像表示装置 |
| US20140104268A1 (en) * | 2012-10-15 | 2014-04-17 | Lenny Lipton | Method and apparatus for correcting stereoscopic display edge violations |
-
2012
- 2012-09-13 US US13/612,893 patent/US9031316B2/en not_active Expired - Fee Related
- 2012-11-09 CN CN201210447853.0A patent/CN103369333B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102187680A (zh) * | 2008-08-18 | 2011-09-14 | 三星电子株式会社 | 用于确定图像序列的二维或三维显示模式的方法和设备 |
| WO2011066848A1 (en) * | 2009-12-04 | 2011-06-09 | Nokia Corporation | A processor, apparatus and associated methods |
| WO2011148556A1 (ja) * | 2010-05-25 | 2011-12-01 | パナソニック株式会社 | 画像符号化装置、画像符号化方法、プログラムおよび集積回路 |
| CN102158723A (zh) * | 2011-04-13 | 2011-08-17 | 上海文广科技（集团）有限公司 | 3d双投影仪自动同步方法及自动同步的3d播放系统 |
| CN102395037A (zh) * | 2011-06-30 | 2012-03-28 | 深圳超多维光电子有限公司 | 一种格式识别方法及识别装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104639934A (zh) * | 2015-01-22 | 2015-05-20 | 深圳超多维光电子有限公司 | 立体图像反视处理方法及显示装置 |
| US9743063B2 (en) | 2015-01-22 | 2017-08-22 | Superd Co. Ltd. | Method and apparatus for processing three-dimensional (3D) pseudoscopic images |
| CN104639934B (zh) * | 2015-01-22 | 2017-11-21 | 深圳超多维光电子有限公司 | 立体图像反视处理方法及显示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130266207A1 (en) | 2013-10-10 |
| US9031316B2 (en) | 2015-05-12 |
| CN103369333B (zh) | 2015-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kim et al. | Visual fatigue prediction for stereoscopic image | |
| Huynh-Thu et al. | The importance of visual attention in improving the 3D-TV viewing experience: Overview and new perspectives | |
| RU2568309C2 (ru) | Обнаружение формата трехмерного видео | |
| CN103392343B (zh) | 显示装置、显示方法与播放系统 | |
| WO2017142712A1 (en) | 3d system including a marker mode | |
| US20120013604A1 (en) | Display apparatus and method for setting sense of depth thereof | |
| US8982187B2 (en) | System and method of rendering stereoscopic images | |
| US9154762B2 (en) | Stereoscopic image system utilizing pixel shifting and interpolation | |
| CN104683787A (zh) | 识别视频类型的方法、装置和显示设备及其投影视频方法 | |
| US20130155192A1 (en) | Stereoscopic image shooting and display quality evaluation system and method applicable thereto | |
| CN102970565A (zh) | 视频处理装置及视频处理方法 | |
| CN103369333B (zh) | 识别成对立体图像实际观看顺序的方法和电子装置 | |
| US10122987B2 (en) | 3D system including additional 2D to 3D conversion | |
| US9807362B2 (en) | Intelligent depth control | |
| US9185395B2 (en) | Method and system for automatically adjusting autostereoscopic 3D display device | |
| CN103650491A (zh) | 用于解码立体视频信号的方法和系统 | |
| US20110221875A1 (en) | Three-dimensional image display apparatus and image processing apparatus | |
| Knee | Getting machines to watch 3d for you | |
| CN104883559A (zh) | 视频播放方法和视频播放装置 | |
| US20240121373A1 (en) | Image display method and 3d display system | |
| TWI825892B (zh) | 立體格式影像偵測方法與使用該方法的電子裝置 | |
| CN102918520A (zh) | 用于来自互联网的流送消耗的立体三维内容自动格式适配器中间件 | |
| CN107392240B (zh) | 图像检测方法和装置 | |
| TW202416709A (zh) | 影像顯示方法與3d顯示系統 | |
| JP5417356B2 (ja) | 映像処理装置、映像処理方法および立体映像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220210 Address after: ottawa Patentee after: Xueshan Technology Co.,Ltd. Address before: One of the third floor of Soras building, No. 1 downtown Avenue, Singapore Patentee before: MediaTek (Singapore) Pte. Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151118 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |