CN102461185B - 用于三维视频的自动转换的方法和设备 - Google Patents

用于三维视频的自动转换的方法和设备 Download PDF

Info

Publication number
CN102461185B
CN102461185B CN201080028422.XA CN201080028422A CN102461185B CN 102461185 B CN102461185 B CN 102461185B CN 201080028422 A CN201080028422 A CN 201080028422A CN 102461185 B CN102461185 B CN 102461185B
Authority
CN
China
Prior art keywords
video
format
frame
difference
viewpoint video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080028422.XA
Other languages
English (en)
Other versions
CN102461185A (zh
Inventor
金容台
金床炫
金大式
闵钟述
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102461185A publication Critical patent/CN102461185A/zh
Application granted granted Critical
Publication of CN102461185B publication Critical patent/CN102461185B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Abstract

一种转换3D视频的3D视频格式的方法，所述方法包括：接收包括3D视频的视频序列，所述3D视频包括左视点视频和右视点视频；估计在左视点视频和右视点视频之间的视差信息以及在左视点视频和右视点视频的邻近像素值之间的相关性信息中的至少一个，并基于估计的结果确定3D视频的3D视频格式；基于确定的3D视频格式将左视点视频和右视点视频转换为格式；在显示装置上三维地显示转换的左视点视频和转换的右视点视频。

Description

用于三维视频的自动转换的方法和设备
技术领域
与示例性实施例一致的设备和方法涉及重建三维(3D)视频执行的视频格式转换，所述3D视频是左视点视频和右视点视频的混合。
背景技术
从多个视点获得的多条二维(2D)视频被用于显示3D视频。可用多种格式记录所述多条2D视频。现有3D显示设备交替地显示从不同视点获取的多条2D视频以显示3D视频。因此，为了准确地显示3D视频，需要准确地从3D视频中提取所述多条2D视频。为此，需要关于3D视频的格式的正确信息。
发明内容
解决方案
根据示例性实施例的一方面，提供了一种转换3D视频格式的方法，所述方法包括：接收包括具有左视点视频和右视点视频的3D视频的视频序列；估计左视点视频和右视点视频之间的视差信息以及左视点视频和右视点视频的邻近像素值之间的相关性信息中的至少一个，并基于估计的结果确定3D视频的3D视频格式，所述3D视频格式表示左视点视频和右视点视频被布置在3D视频中的方式；基于3D视频格式将左视点视频和右视点视频转换为这样的格式，以在显示装置中三维地显示所述左视点视频和右视点视频；在显示装置中显示转换的左视点视频和右视点视频。
示例性实施例提供一种通过分析3D视频并确定3D视频的格式来三维地显示视频的方法，所述3D视频格式表示左视点视频和右视点视频被布置的方式。
附图说明
通过参照附图以上述和其它方面的特定示例性实施例进行描述，上述和其它方面将变得更加清楚，其中：
图1是根据示例性实施例的3D视频格式转换设备的框图；
图2是根据示例性实施例的对3D视频编码/解码的系统的框图；
图3是根据示例性实施例的生成3D视频并对3D视频编码/解码的系统的框图；
图4示出根据示例性实施例的3D视频的多种3D视频格式；
图5是详细示出根据示例性实施例的包括在图1的3D视频格式转换设备中的格式确定单元的构造的框图；
图6示出示图，并示出根据示例性实施例的估计3D视频的左区域和右区域之间的视差信息的方法，以及根据示例性实施例的估计3D视频的上区域和下区域之间的视差信息的方法；
图7示出示图，所述示图示出根据示例性实施例的估计关于3D视频的水平线的视差信息的方法，以及根据示例性实施例的估计关于3D视频的垂直线的视差信息的方法；
图8示出曲线图和流程图，所述曲线图示出根据示例性实施例的估计3D视频中的视差区间的方法，所述流程图示出根据示例性实施例的估计视差信息的方法；
图9示出根据示例性实施例的估计水平像素值之间的相关性信息的方法，以及根据示例性实施例的估计垂直像素值之间的相关性信息的方法；
图10示出根据示例性实施例的具有顶底格式的3D视频，并更详细地示出在3D视频的上区域和下区域之间的边界线的部分；
图11示出根据示例性实施例的具有并排格式的3D视频，并更详细地示出在3D视频的左区域和右区域之间的边界线的部分；
图12示出根据示例性实施例的具有边界区域和并排格式的3D视频，并更详细地示出3D视频的边界区域的部分；
图13示出曲线图，其中，一曲线图示出根据示例性实施例的在时间轴上的2D视频的连续帧的像素值之间的差的平均值，一曲线图示出根据示例性实施例的在时间轴上具有帧序列格式的3D视频的连续帧的像素值之间的差的平均值；
图14示出根据示例性实施例的通过使用时间轴上的三个连续帧来确定3D视频格式是否是帧序列格式的方法；
图15示出当3D视频格式被确定时发生错误的情况；
图16示出根据示例性实施例的纠正当3D视频格式被确定时发生的错误的方法；
图17是示出根据示例性实施例的包含格式转换和3D显示的后处理的框图；
图18是示出根据示例性实施例的转换3D视频格式的方法的流程图；
图19示出根据示例性实施例的在互联网网站搜索具有3D视频格式的3D视频内容的方法；
图20示出根据示例性实施例的再现网络中的具有3D视频格式的3D视频内容的方法。
最佳实施方式
根据示例性实施例的一方面，提供了一种转换3D视频的格式的方法，所述方法包括：接收包括具有左视点视频和右视点视频的3D视频的视频序列；估计左视点视频和右视点视频之间的视差信息和左视点视频和右视点视频的邻近像素值之间的相关性信息中的至少一个，并基于估计的结果确定3D视频的3D视频格式，其中，所述3D视频格式表示左视点视频和右视点视频在3D视频中被布置的方式；基于3D视频格式将左视点视频和右视点视频转换为使得左视点视频和右视点视频在显示装置中被三维地显示的格式；在显示装置中三维地显示转换的左视点视频和右视点视频。
3D视频格式的确定可包括：基于左视点视频和右视点视频之间的视差信息，确定3D视频格式是否是并排格式、顶底格式、水平线交错格式或垂直线交错格式。
3D视频格式的确定可包括：基于左视点视频和右视点视频的邻近像素值之间的相关性信息，确定3D视频格式是否是水平线交错格式、垂直线交错格式或跳棋盘格式。
3D视频格式的确定可包括：基于左视点视频和右视点视频的邻近像素值之间的相关性信息，确定3D视频格式是否是水平线交错格式、垂直线交错格式或跳棋盘格式；并基于视差信息确定3D视频格式是场序列格式还是帧序列格式。
3D视频格式的确定可包括：通过检测左视点视频和右视点视频之间的边界线来确定3D视频格式是并排格式还是顶底格式。
为了在3D视频的具有纹理的区域中确定3D视频的3D视频格式，3D视频格式的确定还可包括：通过计算左视点视频和右视点视频的对应区域的平滑度来检测具有纹理的区域。
3D视频格式的确定可包括：通过使用上下差分图像来估计第一视差信息(考虑顶底格式而估计的视差)，所述上下差分图像表示3D视频的上区域和下区域之间的差值的绝对值；通过使用左右差分图像来估计第二视差信息(考虑并排格式而估计的视差)，所述左右差分图像表示3D视频的左区域和右区域之间的差值的绝对值。
3D视频格式的确定可包括：基于第一视差信息和第二视差信息确定3D视频格式是顶底格式还是并排格式。
3D视频格式的确定可包括：将3D视频中的垂直线分为奇数垂直线和偶数垂直线，并通过使用垂直线差分图像来估计第三视差信息，所述垂直线差分图像表示奇数垂直线和偶数垂直线之间的差值的绝对值；将3D视频中的水平线分为奇数水平线和偶数水平线，并通过使用水平线差分图像来估计第四视差信息，所述水平线差分图像表示奇数水平线和偶数水平线之间的差值的绝对值。
3D视频格式的确定还可包括：基于第三视差信息和第四视差信息确定3D视频格式是垂直线交错格式还是水平线交错格式。
3D视频格式的确定还可包括：当第一区间的长度比第一最长视差大时，将第一区间选为第一视差信息的候选区间，其中，在所述第一区间中上下差分图像中的连续像素的值比第一阈值大；当第二区间的长度比第二最长视差大时，将第二区间选为第二视差信息的候选区间，其中，在所述第二区间中左右差分图像的连续像素的值比第二阈值大。
3D视频格式的确定还可包括：将第一视差信息的候选区间的总数与第二视差信息的候选区间的总数进行比较，当第一视差信息的候选区间的总数比第二视差信息的候选区间的总数小时确定3D视频格式是顶底格式，当第一视差信息的候选区间的总数比第二视差信息的候选区间的总数大时确定3D视频格式是并排格式。
3D视频格式的确定还可包括：当第三区间的长度比第三最长视差大时，将第三区间选为第三视差信息的候选区间，其中，在所述第三区间中垂直线差分图像的连续像素的值比第三阈值大；当第四区间的长度比第四最长视差大时，将第四区间选为第四视差信息的候选区间，其中，在所述第四区间中水平线差分图像的连续像素的值比第四阈值大。
3D视频格式的确定还可包括：将第三视差信息的候选区间的总数与第四视差信息的候选区间的总数进行比较，当第三视差信息的候选区间的总数比第四视差信息的候选区间的总数大时确定3D视频格式是垂直线交错格式，当第三视差信息的候选区间的总数比第四视差信息的候选区间的总数小时确定3D视频格式是水平线交错格式。
3D视频格式的确定还可包括：估计在垂直方向连续的3D视频的三个像素的值之间的相关性信息；估计在水平方向连续的3D视频的三个像素的值之间的相关性信息。
3D视频格式的确定可包括：当在水平方向的像素的值之间的多条相关性信息(所述相关性信息比像素值之间的相关性的阈值大)的总数比预定阈值大时，并且当在垂直方向的像素的值之间的多条相关性信息(所述相关性信息比像素值之间的相关性的阈值大)的总数比预定阈值小时，确定3D视频格式为垂直线交错格式；当在水平方向的像素的值之间的多条相关性信息(所述相关性信息比像素值之间的相关性的阈值大)的总数比预定阈值小时，并且当在垂直方向的像素的值之间的多条相关性信息(所述相关性信息比像素值之间的相关性的阈值大)的总数比预定阈值大时，确定3D视频格式为水平线交错格式；当在水平方向的像素的值之间的多条相关性信息(所述相关性信息比像素值之间的相关性的阈值大)的总数和在垂直方向的像素的值之间的多条相关性信息(所述相关性信息比像素值之间的相关性的阈值大)的总数两者都比预定阈值大时，确定3D视频格式为跳棋盘格式。
在垂直方向连续的三个像素的值之间的相关性信息可以是第二差值和第三差值的总和与第一差值的比，其中，所述第一差值是上像素和下像素之间的差值的绝对值，所述第二差值是上像素和中间像素之间的差值的绝对值，所述第三差值是在垂直方向连续的三个像素中的中间像素和下像素之间的差值的绝对值。在水平方向连续的三个像素的值之间的相关性信息可以是第五差值和第六差值的总和与第四差值的比，其中，所述第四差值是左像素和右像素之间的差值的绝对值，所述第五差值是左像素和中心像素之间的差值的绝对值，所述第六差值是在水平方向连续的三个像素中的中心像素和右像素之间的差值的绝对值。
3D视频格式的确定还可包括：估计在时间轴上的3D视频的三个连续的帧之间的暂时视差的改变。
在时间轴上的3D视频的三个连续帧之间的暂时视差的改变可以是第二差分帧数据和第三差分帧数据的总和与第一差分帧数据的比，其中，所述第一差分帧数据是第一帧和第三帧之间的差值的绝对值，所述第二差分帧数据第一帧和第二帧之间的差值的绝对值，所述第三差分帧数据是在时间轴上的三个连续帧中的第二帧和第三帧的差值的绝对值。
左视点视频和右视点视频之间的边界线的检测可包括：将3D视频分为两个相等的上区域和下区域，计算水平边界线差值与上水平边界线差值和下水平边界线差值的总和的比，其中，所述上水平边界线差值是被置于上区域和下区域之间的水平边界线之上并与该水平边界线垂直的两个邻近像素之间的差值的绝对值，所述下水平边界线差值是被置于该水平边界线之下并与该水平边界线垂直的两个邻近像素之间的差值的绝对值，所述水平边界线差值是该水平边界线之上的像素和该水平边界线之下的像素之间的差值的绝对值；并可包括：当水平边界线差值与上水平边界线差值和下水平边界线差值的总和的比的总和大于水平边界线阈值时，确定3D视频为顶底格式。
左视点视频和右视点视频之间的边界线的检测可包括：将3D视频分为两个相等的左区域和右区域，计算垂直边界线差值与左垂直边界线差值和下垂直边界线差值的总和的比，其中，所述左垂直边界线差值是被垂直置于左区域和右区域之间的垂直边界线的左侧的两个邻近像素之间的差值的绝对值，所述右水平边界差值是被垂直置于水平边界线的右侧的两个邻近像素之间的差值的绝对值，所述水平边界线差值是被分别置于垂直边界线左侧的像素和被置于垂直边界线右侧的像素之间的差值的绝对值；并可包括：当垂直边界线差值与左水平边界线差值和右水平边界线差值的总和的比的总和大于垂直边界线阈值时，确定3D视频为并排格式。
边界线的检测可包括：当3D视频具有关于边界线的包括至少预定数量的黑线的边界区域时，确定除边界区域之外的3D视频的3D视频格式。
如果来自于3D视频的多个帧，第一多个帧的3D视频格式被确定为第一格式，第二多个帧的3D视频格式被确定为第二格式，剩余多个帧的3D视频格式被确定为第一格式，则3D视频格式的确定可包括：基于3D视频格式被确定为第二格式的预定数量的帧的总数将第二多个帧的3D视频格式从第二格式改变为第一格式。
预定数量的帧的3D视频格式的改变可包括：在确定第二多个帧具有第二格式之后检查预定数量的另外的帧是否被确定为具有第二格式；将第二多个帧的3D视频格式改变为第一格式，最终确定剩余多个帧具有第二格式。
所述方法还可包括：通过将3D视频格式用作关键字在互联网网站中搜索3D视频内容，其中，视频序列的接收包括接收在网络中搜索的3D视频内容。
在网络中对3D视频内容的搜索可包括：搜索作为2D视频和3D视频的混合的视频内容。视频序列的接收可包括：接收在网络中搜索的视频内容。将3D视频的左视点视频和右视点视频转换为格式的步骤可包括：基于作为关键字的3D视频格式将左视点视频和右视点视频转换为使得左视点视频和右视点视频被三维地再现的格式。所述方法还可包括：二维地再现视频序列的2D视频，并且以3D视频被转换为的述格式三维地再现3D视频。
3D视频的位置信息可从3D视频内容的提供者被发送到网络浏览器。网络浏览器可估计视差信息和邻近像素值之间的相关性信息中的至少一个，确定3D视频的3D视频格式，将3D视频转换成使得3D视频被三维地再现的格式，然后三维地再现3D视频。
所述方法还可包括：检测3D视频内容中的3D视频的位置，其中，该检测由3D显示装置执行。3D显示装置可在3D视频的位置三维地再现转换的3D视频。
根据另一示例性实施例的一方面，提供一种用于转换3D视频的格式的设备，所述设备包括：视频输入单元，接收包括具有左视点视频和右视点视频的3D视频的视频序列；格式确定单元，估计左视点视频和右视点视频之间的视差信息和左视点视频和右视点视频的邻近像素值之间的相关性信息中的至少一个，并基于估计的结果确定3D视频的3D视频格式，其中，所述3D视频格式表示左视点视频和右视点视频在3D视频中被布置的方式；格式转换单元，基于3D视频格式将左视点视频和右视点视频转换成使得左视点视频和右视点视频在显示装置中被三维地显示的格式；显示单元，将转换的左视点视频和右视点视频三维地显示在显示装置中。
根据另一示例性实施例的一方面，提供了一种记录有用于执行转换3D视频的格式的方法的计算机程序的计算机可读记录介质。
示例性实施例可解决至少上述问题和/或缺点以及上面没有描述的其它缺点。此外，不需要示例性实施例克服上面描述的缺点，示例性实施例可不克服上面描述的任何问题。
具体实施方式
本申请要求于2009年6月23日提交的第61/219,438号美国临时申请以及于2009年8月25日提交的第10-2009-0078841号韩国专利申请的优先权，所述申请的公开通过引用整体包含于此。
下面参照附图更详细地描述特定示例性实施例。
在下面的描述中，即使在不同的附图中，相同的标号被用于相同的元件。提供在描述中限定的事物(例如，详细的结构和元件)以帮助对示例性实施例的全面理解。然而，示例性实施例可在没有那些特别限定的事物的情况下被实践。
在下文，将参照图1至图20详细描述用于转换3D视频的格式的多个示例性实施例。
图1是根据示例性实施例的3D视频格式转换设备100的框图。参照图1，3D视频转换设备100包括：视频输入单元110、格式确定单元120、格式转换单元130以及显示单元140。
经由视频输入单元110输入的视频的序列包括：包含左视点视频和右视点视频的3D视频。输入视频可以是2D视频、3D视频或2D视频和3D视频的混合视频。在混合视频中，可根据时间或空间混合2D视频部分和3D视频部分。
例如，左视点视频和右视点视频可被布置在3D视频的一帧中，从而3D视频帧可包括关于左视点视频和右视点视频的信息。另一方面，可通过交替地重复左视点视频帧和右视点视频帧或者交替地重复左视点视频场和右视点视频场来生成3D视频序列。在下文，左视点视频和右视点视频在3D视频中被布置的方式将被表示为“3D视频格式”。
格式确定单元120分析包含在输入视频中的3D视频并确定3D视频格式。格式确定单元120分析3D视频，并估计关于3D视频的视差信息和3D视频的邻近像素的值之间的相关性信息中的至少一个。格式确定单元120基于估计的视差信息和/或估计的相关性信息确定3D视频格式。如果输入视频是2D视频，则不确定3D视频格式。
根据示例性实施例，格式确定单元120可基于相关性信息或包含在3D视频中的左视点视频和右视点视频之间的视差信息来确定3D视频格式是否是并排(side by side)格式、顶底(top and bottom)格式、水平线交错(horizontalline interleaved)格式、垂直线交错(vertical line interleaved)格式或跳棋盘(checker board)格式。可选地，格式确定单元120可基于关于3D视频的每个场或帧的视差信息来确定3D视频格式是场序列格式或是帧序列格式。格式确定单元120可以按照并行方式估计视差信息和相关性信息以确定3D视频格式。可选地，格式确定单元120可仅估计视差信息或仅估计相关性信息以确定3D视频格式。
例如，格式确定单元120可基于关于左视点视频和右视点视频的视差信息来确定3D视频格式是否是并排格式、顶底格式、水平线交错格式或垂直线交错格式。此外，格式确定单元120可通过使用左视点视频和右视点视频的邻近像素的值之间的相关性信息来确定3D视频格式是否是水平线交错格式、垂直线交错格式或跳棋盘格式。
格式确定单元120可检测并使用左视点视频和右视点视频之间的边界线以改进用于确定3D视频格式是并排格式还是顶底格式的性能。
在没有纹理的单调宽阔的图像区域中可能不正确地估计视差信息或相关性信息。因此，格式确定单元120可计算左视点视频和右视点视频的对应区域的平滑度，并且检测3D视频的具有纹理的区域，所述3D视频的3D视频格式将被确定。
格式确定单元120可通过下述方式估计视差信息：从上区域和下区域之间的差值估计关于3D视频的上区域和下区域之间的视差的信息，并且基于左区域和右区域之间的差的绝对值估计关于3D视频的左区域和右区域之间的视差的信息。
格式确定单元120可基于估计的关于上区域和下区域之间的或左区域和右区域之间的视差的信息来确定3D视频格式是顶底格式还是并排格式。
可选地，格式确定单元120可通过下述方式估计视差信息：从垂直线差分图像估计关于3D视频的垂直线之间的视差的信息，所述垂直线差分图像表示3D视频的奇数垂直线和偶数垂直线之间的差的绝对值；以及从水平线差分图像估计关于3D视频的水平线之间的视差的信息，所述水平线差分图像表示3D视频的奇数水平线和偶数水平线之间的差的绝对值。
格式确定单元120可基于估计的关于水平线之间的视差的信息以及关于垂直线之间的视差的信息来确定3D视频格式是水平线交错格式还是垂直线交错格式。
关于上区域和下区域之间的视差的信息、关于左区域和右区域之间的视差的信息、关于垂直线之间的视差的信息以及关于水平线之间的视差的信息可包括估计的视差、视差区间的最大阈值、候选视差区间的总数等。
格式确定单元120可通过下述方式估计相关性信息：估计沿垂直方向连续的3D视频的第一、第二和第三像素的垂直像素值之间的相关性信息，并估计沿水平方向连续的3D视频的三个(第一、第二和第三)像素的水平像素值之间的相关性信息。格式确定单元120可通过将垂直像素值之间的相关性信息与垂直像素值之间的相关性阈值进行比较并将水平像素值之间的相关性信息与水平像素值之间的相关性阈值进行比较，来确定3D视频格式是否是垂直线交错格式、水平线交错格式或跳棋盘格式。
如果三个连续像素的第一像素和第三像素之差的绝对值是第一差值，第一像素值和第二像素值之差的绝对值是第二差值，第二像素值和第三像素值之差的绝对值是第三差值，则垂直像素值之间的相关性信息或水平像素值之间的相关性信息可以是第二差值和第三差值的总和与第一差值的比。
格式确定单元120可通过使用第一差分帧、第二差分帧和第三差分帧来估计暂时视差的变化，所述第一差分帧表示在时间轴上连续的三个帧的第一帧和第三帧之差的绝对值，所述第二差分帧表示第一帧和第二帧之差的绝对值，所述第三差分帧表示第二帧和第三帧之差的绝对值。在这种情况下，第一帧、第二帧和第三帧之间的视差信息是第二差分帧的数据和第三差分帧的数据的总和与第一差分帧的数据的比。
格式确定单元120可根据估计的暂时视差的变化来确定3D视频格式是否是帧序列格式。类似地，可确定3D视频格式是否是场序列格式。
格式确定单元120可通过使用垂直于3D视频的上区域和下区域之间的水平边界线的邻近像素之间的差值的比来确定3D视频格式是否是顶底格式。
此外，格式确定单元120可通过使用垂直于3D视频的左区域和右区域之间的垂直边界线的邻近像素之间的差值的比来确定3D视频格式是否是并排格式。在这种情况下，可使用在图像区域而非在垂直边界线周围的区域中被估计的一个区域的邻近像素的值之间的相关性。
如果格式确定单元120确定第一组连续帧具有第一格式，第二组预定数量的随后帧具有第二格式，在第二组之后的第三组其它剩余随后帧具有第一格式，则格式确定单元120可最终确定所有帧具有第一格式，从而防止3D视频格式的突然改变而引起错误或降低立体效果。
如果格式确定单元120确定第一组帧具有第一格式，大于预定数量的第二组的多个帧具有第二格式，且第三组的帧也具有第二格式，则格式确定单元120可最终确定第一组的帧和第二组的帧具有第一格式，第三组的帧具有第二格式。
也就是说，如果第一组和第二组的确定结果被从第一格式切换到第二格式，并且至少预定数量的第三组的帧保持具有第二格式，则格式确定单元120可基于对第二组的3D视频格式的观测最终确定第三组的帧具有第二格式。
格式转换单元130从3D视频分离作为2D视频的左视点视频和右视点视频，并转换左视点视频和右视点视频的格式从而左视点视频和右视点视频可被显示单元140三维地重建。
例如，如果3D视频具有帧序列格式或场序列格式，则格式转换单元130在不用恢复左视点视频和右视点视频的分辨率的情况下将左视点视频和右视点视频发送到显示单元140，从而左视点视频和右视点视频可彼此同步。
如果3D视频具有并排格式、顶底格式、垂直线交错格式、水平线交错格式或跳棋盘格式，则左视点视频和右视点视频以半全分辨率的分辨率被记录在一帧中。当包含在3D视频中的左视点视频和右视点视频不是以全分辨率被记录时，格式转换单元130可从3D视频分离左视点视频和右视点视频并对左视点视频和右视点视频进行内插从而可将左视点视频和右视点视频恢复为全分辨率。
如果输入视频是2D视频，则格式转换单元130不需要执行所述分辨率恢复处理。
显示单元140从转换了格式的左视点视频和右视点视频重建3D视频。
根据示例性实施例，3D视频格式转换设备100可从互联网网站获得3D视频内容。当通过使用网络浏览器搜索3D视频格式时，可检测通过网站被共享的3D视频格式的3D视频内容。根据示例性实施例，3D视频格式转换设备100可被连接到网络，从而可接收在网络上检测到的3D视频内容并通过使用格式转换单元130转换3D视频内容的3D视频格式，从而可三维地显示3D视频内容。如果不知道3D视频内容的3D视频格式，则可使用格式确定单元120确定3D视频格式。
根据示例性实施例，3D视频格式转换设备100可在网络浏览器上显示从互联网网站获得的3D视频内容。当在网络浏览器上的网页窗口中显示2D视频内容和3D视频内容时，3D视频格式转换设备100可二维地显示2D视频内容并且三维地显示3D视频内容。
3D视频格式转换设备100可在网页上直接检测3D视频内容的位置，或者可从网页提供者接收关于3D视频内容的位置的信息。
3D视频格式转换设备100可向网络浏览器提供关于3D视频格式的信息，所述3D视频格式关于3D视频内容被确定，从而可在网络浏览器的窗口中三维地显示所述3D视频内容。
在示例性实施例中，3D视频格式转换设备100可分析3D视频并估计3D视频的3D视频格式，而不需要必须获得任何关于3D视频格式的额外信息。因此，不需要额外的存储空间或传输通道来传输关于3D视频格式的信息。
图2是根据示例性实施例的对3D视频编码/解码的系统200的框图。系统200包括：发送终端228，该发送终端228具有运动图像专家组(MPEG)编码单元230和发送/记录单元240；接收终端248，该接收终端248具有接收/恢复单元250和MPEG解码单元260。
在垂直线交错格式201中，奇数垂直线202中的像素是左视点视频的数据，偶数垂直线203中的像素是右视点视频的数据。在水平线交错格式211中，左视点视频数据和右视点视频数据分别被交替并重复地布置在奇数水平线212和偶数水平线213中。在场序列格式221中，奇数场222和偶数场223分别被存储为左视点视频场和右视点视频场。
当将多种3D视频格式201、211和221的3D视频输入MPEG编码单元230时，3D视频根据MPEG编码/解码方法被压缩和编码，并被发送/记录单元240经由网络从发送终端228发送到接收终端248或者被记录在记录介质(未示出)上。在接收终端248中，接收/恢复单元250接收编码3D视频，MPEG解码单元260根据MPEG编码/解码方法将编码3D视频解码以产生3D视频270。
3D视频270的3D视频格式与从发送终端228接收的输入3D视频的3D视频格式201、211和221对应。
图3是根据示例性实施例的生成3D视频并对3D视频编码/解码的系统300的框图。系统300包括：发送终端，该发送终端具有立体视频预处理器320、MPEG编码单元230、发送/记录单元240；接收终端，该接收终端具有接收/恢复单元250、MPEG解码单元260以及立体视频后处理器370。立体视频预处理器320包括第一像素结构转换单元322和帧到场转换单元324，立体视频后处理器370包括场到帧转换单元374和第二像素结构转换单元372。
3D视频是左视点视频和右视点视频的混合。因此，当左视点视频信号311和右视点视频信号312被单独输入立体视频预处理器320时，立体视频预处理器320通过使用第一像素结构转换单元322和帧到场转换单元324生成3D视频格式，从而左视点视频和右视点视频以像素为单位被混合在一帧中，或以帧或场为单位被混合。
由立体视频预处理器320生成的3D视频格式的3D视频被MPEG编码单元230压缩和编码，并被发送/记录单元240从发送终端发送到接收终端或者被记录在记录介质(未示出)上。
在接收终端中，接收/恢复单元250接收编码3D视频，MPEG解码单元260根据MPEG编码/解码方法将编码3D视频解码以重建3D视频。立体视频后处理器370通过使用场到帧转换单元374和第二像素结构转换单元372从3D视频分离左视点视频和右视点视频。然后将左视点视频和右视点视频转换为将三维地显示在显示装置(未示出)上的左视点视频信号381和右视点视频信号382。
图4示出根据示例性实施例的3D视频的多种3D视频格式。如果3D视频编码/解码系统200、300适当地从3D视频分离左视点视频和右视点视频，则可三维地显示3D视频。3D视频的3D视频格式表示左视点视频和右视点视频在3D视频中被布置的方式。
3D视频格式的示例包括：并排格式、顶底格式、水平线交错格式、垂直线交错格式、帧/场序列格式以及跳棋盘格式。
在并排格式中，分别与3D视频帧410的左区域412和右区域414对应的左视点视频和右视点视频被水平平行地布置。左视点视频和右视点视频被布置的顺序可根据初始设置而改变，以分别与左区域412和右区域414或者分别与右区域414和左区域412对应。因此，左区域412和右区域414之间的相关性较高，高频不连续的线呈现在左区域412和右区域414之间的垂直边界线413上。
在并排格式中，对系统进行驱动所需的存储量较小并且可将现有记录介质作为存储器重新使用。
在顶底格式中，分别与3D视频帧420的上区域422和下区域424对应的左视点视频和右视点视频被垂直平行地布置。左视点视频和右视点视频被布置的顺序可根据初始设置而改变，以分别与上区域422和下区域424或者分别与下区域424和上区域422对应。因此，上区域422和下区域424之间的相关性较高，高频不连续的线呈现在上区域422和下区域424之间的水平边界线423上。
顶底格式允许重新使用现有记录介质。
在水平线交错格式中，分别与3D视频帧430的奇数水平线432和偶数水平线434对应的左视点视频和右视点视频被水平平行地布置。左视点视频和右视点视频被布置的顺序可根据初始设置而改变，以分别与奇数水平线432和偶数水平线434或者分别与偶数水平线434和奇数水平线432对应。因此，在区域433中的邻近水平线之间生成高频成分，其中，在所述区域433中，左视点视频和右视点视频之间的视差较大。
水平线交错格式是对隔行扫描型的立体显示优化的3D视频格式。
在垂直线交错格式中，分别与3D视频帧440的奇数垂直线442和偶数垂直线444对应的左视点视频和右视点视频被垂直平行地布置。左视点视频和右视点视频被布置的顺序可根据初始设置而改变，以分别与奇数垂直线442和偶数垂直线444或者分别与偶数垂直线444和奇数垂直线442对应。因此，在区域443中的邻近垂直线之间生成高频成分，其中，在所述区域443中，左视点视频和右视点视频之间的视差较大。
垂直线交错格式是对平行栅栏型的立体显示优化的3D视频格式。
在帧/场序列格式中，分别与3D视频帧/场序列450的奇数帧/场452和偶数帧/场454对应的左视点视频和右视点视频被平行地布置。左视点视频和右视点视频被布置的顺序可根据初始设置而改变，以分别与奇数帧/场452和偶数帧/场454或者分别与偶数帧/场454和奇数帧/场452对应。因此，在帧/场序列格式中，像素值和运动矢量以帧或场为单位重复地改变。
在帧序列格式中，可将3D视频的分辨率保持为与2D视频序列的分辨率相同。
在跳棋盘格式中，分别与水平像素462、464和垂直像素462、466对应的左视点视频和右视点视频以3D视频帧460的像素为单位被交替地布置。左视点视频和右视点视频被布置的顺序可根据初始设置而改变，以分别与水平/垂直第一和第二像素或者分别与水平/垂直第二和第一像素对应。因此，在跳棋盘格式中，在全方向生成高频成分。
在跳棋盘格式上执行内插时，内插的结果可以是优良的。
图5是详细示出根据示例性实施例的图1的3D视频格式转换设备100的格式确定单元120的构造的框图。根据示例性实施例，格式确定单元120可执行多步处理以确定输入视频510的3D视频格式。框图500示出这样的情况：使用视差信息和邻近像素的值之间的相关性信息两者来确定3D视频格式是否是并排格式、顶底格式、垂直线交错格式、水平线交错格式、跳棋盘格式或帧序列格式。
在框图5中，视差信息估计模块530包括：并排格式检查模块532，估计并使用关于3D视频的左区域和右区域之间的视差的信息；顶底格式检查模块534，估计并使用关于3D视频上区域和下区域之间的视差的信息；垂直线交错格式检查模块536，估计并使用关于垂直线的视差信息；水平线交错格式检查模块538，估计并使用关于水平线的视差信息。
相关性信息估计模块540包括：水平像素值估计检查模块542，估计并使用水平方向上的邻近像素之间的相关性信息；垂直像素值相关性检查模块544，估计并使用垂直方向上的邻近像素之间的相关性信息。
边界线检测模块550检测边界线，并包括水平边界线检测模块552和垂直边界线检测模块554。
帧序列检查模块570包括：帧序列格式检查模块572，估计并使用帧之间的暂时视差的变化。针对帧序列格式检查模块572的算术操作，使用三个或更多个连续的帧，因此，经由两个或更多个延迟器556和558以及两个或更多个存储器560和565来输入帧。
当左视点视频的像素值与右视点视频的对应像素值不同时，可更有效地使用视差信息和相关性信息。为此，在单调宽阔的区域中，可减少通过使用视差信息或相关性信息确定3D视频格式的性能。因此，有效线确定模块520基于左视点视频和右视点视频之间的平滑度来确定有效线，所述有效线的视差信息或相关性信息将被计算。可通过使用区域的像素的值的离散度(dispersion)的量或通过使用多种类型的滤波器(诸如索贝尔算子)来计算区域的平滑度。
有效线确定模块520可向视差信息估计模块530、相关性信息估计模块540、边界线检测模块550以及帧序列检查模块570提供关于有效线的信息，从而可确定有效线的3D视频格式。
多个比较器535、539、545和555将检查3D视频格式的结果彼此进行比较，并且将示出最高可能性的检查结果提供给最终格式确定模块580。也就是说，比较器535将通过视差信息估计模块530的并排格式检查模块532和顶底格式检查模块534估计视差信息来检查3D视频格式的结果彼此进行比较，并且将示出最高可能性的检查结果提供给最终格式确定模块580。比较器539将通过视差信息估计模块530的垂直线交错格式检查模块536和水平线交错格式检查模块538估计视差信息来检查3D视频格式的结果彼此进行比较，并且将示出最高可能性的检查结果提供给最终格式确定模块580。
此外，比较器545将通过相关性信息估计模块540的水平像素值相关性检查模块542和垂直像素值相关性检查模块544估计邻近像素之间的相关性信息来检查3D视频格式的结果彼此进行比较，并且将示出最高可能性的检查结果提供给最终格式确定模块580。比较器555将通过边界线检测模块550的水平边界线检测模块552和垂直边界线检测模块554检测边界线来检查3D视频格式的结果彼此进行比较，并且将示出最高可能性的检查结果提供给最终格式确定模块580。
此外，将帧序列检查模块570的帧序列格式检查模块572检查3D视频格式的结果提供给最终格式确定模块580。
最终格式确定模块580收集：检查3D视频格式是并排格式还是顶底格式的结果、检查3D视频格式是垂直线交错格式还是水平线交错格式的结果、检查水平像素值之间的相关性和垂直像素值之间的相关性的结果、检测水平边界线和垂直边界线的结果以及检查3D视频格式是否是帧序列格式的结果；将上述结果彼此进行比较；然后最终确定3D视频格式。将关于确定的3D视频格式的信息提供给3D视频格式转换模块590，且3D视频被转换为使得3D视频在显示装置(未示出)上被三维地显示的格式。
此外，当观测到关于3D视频格式的信息中的错误(所述错误针对预先帧被确定并经由延迟器592被存储在存储器585中)时，可通过纠正该错误来更精确地确定关于3D视频格式的信息。
在图5的框图中，考虑视差信息、邻近像素值之间的相关性信息、边界线以及检查帧序列的结果来确定3D视频格式。然而，在根据示例性实施例的3D视频格式转换设备100中，可基于系统设计或用户设置通过使用从由视差信息、邻近像素值之间的相关性信息、边界线以及检查帧序列的结果构成的组中选择至少一条信息来确定3D视频格式。
现在将参照图6到图14详细描述基于视差信息或者邻近像素值之间的相关性信息来确定3D视频格式的方法。具体地，将参照图6、图7和图8详细描述估计视差信息的方法、基于视差信息检查3D视频格式是并排格式还是顶底格式的方法、以及基于视差信息检查3D视频格式是垂直线交错格式还是水平线交错格式的方法。将参照图9和表1详细描述估计邻近像素之间的相关性信息的方法、将水平像素值之间的相关性与垂直像素值之间的相关性进行比较的方法、以及检查3D视频格式是否是垂直线交错格式、水平线交错格式或跳棋盘格式的方法。
此外，将参照图10、图11和图12详细描述检测边界线的方法、基于边界线检查3D视频格式是并排格式还是顶底格式的方法。将参照图13和图14详细描述检查3D视频格式是否是帧序列格式的方法。
图6示出示图，并示出根据示例性实施例的估计3D视频的左区域和右区域之间的视差信息的方法，以及根据示例性实施例的估计3D视频的上区域和下区域之间的视差信息的方法。
图1的格式确定单元120将3D视频帧分为左区域和右区域，计算左区域和右区域的像素的值之差，并检查该差是否与并排格式的3D视频中生成的视差对应，以确定输入视频的3D视频格式是否是并排格式。
参照图6的(A)，如果3D视频帧600具有并排格式，则左区域602和右区域604分别与左视点视频和右视点视频对应。左视点视频和右视点视频包含相同对象的视频信息，但是左视点视频和右视点视频在相同位置根据视点彼此存在微小差别。因此，至少预定量的视差会发生在分别与左视点视频和右视点视频对应的像素之间。
在3D视频帧600中呈现了在预定水平线610上的彼此对应的左视点视频像素和右视点视频像素之间的多个组合611、612、613、614和615。至少预定量的视差会发生在组合611、612、613、614和615的每个中。
如下计算3D视频帧600的左区域602和右区域604之间的差值：
Idiff(i，j)＝|I(i，j)-I(i，j+w/2)|…(1)，
其中，(i，j)表示像素位置的索引，I(i，j)表示3D视频帧600的像素值，w表示3D视频帧600的整体宽度，Idiff(i，j)表示3D视频帧600的左区域602和右区域604的绝对差分图像的像素值。可从左区域602和右区域604的绝对差分图像估计对应的左视点视频像素和右视点视频像素之间的视差。
格式确定单元120计算输入视频的在相同水平线上的左区域和右区域的多对对应的像素的值之间的差的绝对值。如果具有至少预定绝对值的对应的连续像素的对的总数等于或大于预定数量，则呈现所述多对对应的连续像素的区间可被估计为发生视差的视差区间。
当如上所述估计3D视频(所述3D视频的格式不是并排格式)中的视差区间时，3D视频的左区域的信息基本上与3D视频的右区域的信息不同，因此，左区域和右区域之间的视差较大。如果视差区间的信息比阈值小，则3D视频格式可被确定为并排格式，如果该信息等于或大于阈值，则3D视频格式可被确定为非并排格式。
图1的格式确定单元120将3D视频帧分为上区域和下区域，计算上区域和下区域的像素的值之间差，并确定上区域和下区域之间的视差是否与在具有顶底格式的3D视频中发生的视差对应，以确定3D视频格式是否是顶底格式。
在具有顶底格式的3D视频中，上区域和下区域与左视点视频和右视点视频对应。视差发生在从相同位置获取的一对对应的左视点视频像素和右视点视频像素中。
参照图6的(B)，在具有顶底格式的3D视频帧620中，上区域622和下区域624分别与左视点视频和右视点视频对应。在3D视频帧620中，呈现了在预定垂直线630的对应的左视点视频像素和右视点视频像素的多个组合631、633、635、637和639。至少预定量的视差会发生在对应的左视点视频像素和右视点视频像素的组合631、633、635、637和639的每个中。
可如下计算3D视频帧620的上区域622和下区域624之间的差值：
Idiff(i，j)＝|I(i，j)-I(I+h/2，j)|…(2)，
其中，h表示3D视频帧620的整体高度，Idiff(i，j)表示上区域622和下区域624之间的绝对差分图像的像素值。可从上区域622和下区域624之间的绝对差分图像估计多对对应的左视点视频像素和右视点视频像素之间的视差。
也就是说，格式确定单元120计算输入视频的在相同垂直线的上区域622和下区域624的多对对应的像素之间的差的绝对值。如果具有至少预定绝对值的对应的连续像素的对的总数等于或大于预定数，则呈现所述多对对应的连续像素的区间被估计为发生视差的视差区间。
当如上所述确定3D视频(所述3D视频的格式不是顶底格式)中的视差区间时，3D视频的上区域的信息基本上与3D视频的下区域的信息不同，因此上区域和下区域之间的视差较大。如果视差区间的信息比阈值小，则3D视频格式可被确定为顶底格式，如果该信息等于或大于阈值，则3D视频格式可被确定为非顶底格式。
图7示出示图，所述示图示出根据示例性实施例的估计关于3D视频的水平线的视差信息的方法，以及根据示例性实施例的估计关于3D视频的垂直线的视差信息的方法。
图1的格式确定单元120将输入3D视频帧分为以水平线为单位的部分，基于所述多条水平线估计输入3D视频中的视差，检查该视差是否与在具有水平线交错格式的3D视频中发生的视差对应，以确定3D视频的3D视频格式是否是水平线交错格式。
在具有水平线交错格式的3D视频中，奇数水平线和偶数水平线分别与左视点视频数据和右视点视频数据对应。
参照图7的(A)，在具有水平线交错格式的3D视频帧640的连续水平线的放大区域650中，奇数水平线652和偶数水平线654分别与左视点视频数据和右视点视频数据对应。在3D视频帧640中，至少预定量的视差可发生在对应的奇数水平线652和偶数水平线654之间。
可如下计算奇数水平线652和偶数水平线654之间的差值：
Idiff(i，j)＝|I(i×2，j)-I(i×2+1，j)|…(3)，
其中，Idiff(i，j)表示3D视频帧640的水平线652、654之间的绝对差分图像的像素值。可从绝对差分图像的像素值估计一对对应的左视点视频水平线和右视点视频水平线之间的视差。
如果在具有多个连续水平线的区间中输入3D视频的奇数水平线和偶数水平线之间的差的绝对值等于或大于预定值，则格式确定单元120可估计该区间是以水平线交错格式发生视差的视差区间。
当如上所述确定3D视频(所述3D视频的格式不是水平线交错格式)中的视差区间时，奇数水平线的信息基本上与偶数水平线的信息相似，因此，奇数水平线和偶数水平线之间的视差较小。如果关于视差区间的信息等于或大于阈值，则3D视频格式可被确定为水平线交错格式，如果该信息比阈值小，则3D视频格式可被确定为非水平线交错格式。
图1的格式确定单元120将输入3D视频帧分为以垂直线为单位的部分，基于所述多条垂直线估计输入3D视频中的视差，检查该视差是否与在具有垂直线交错格式的3D视频中发生的视差对应，以确定输入3D视频的3D视频格式是否是垂直线交错格式。
在具有垂直线交错格式的3D视频中，奇数垂直线和偶数垂直线分别与左视点视频数据和右视点视频数据对应。
参照图7的(B)，在具有垂直线交错格式的3D视频帧660的连续垂直线的放大区域670中，奇数垂直线672和偶数垂直线674分别与左视点视频数据和右视点视频数据对应。在3D视频帧660中，至少预定量的视差可发生在对应的奇数垂直线672和偶数垂直线674之间。
可如下计算奇数垂直线672和偶数垂直线674之间的差值：
Idiff(i，j)＝|I(i，j×2)-I(i，j×2+1)|…(4)，
其中，Idiff(i，j)表示3D视频帧660的垂直线672、674之间的绝对差分图像的像素值。可从绝对差分图像的像素值估计对应的左视点视频垂直线和右视点视频垂直线之间的视差。
如果在具有多个连续垂直线的区间中输入3D视频的奇数垂直线和偶数垂直线之间的差的绝对值等于或大于预定值，则格式确定单元120可估计该区间是以垂直线交错格式发生视差的视差区间。
当如上所述确定3D视频(所述3D视频的格式不是垂直线交错格式)中的视差区间时，奇数垂直线的信息基本上与偶数垂直线的信息相似，因此奇数垂直线和偶数垂直线之间的视差较小。如果关于视差区间的信息等于或大于阈值，则3D视频格式可被确定为垂直线交错格式，如果该信息比阈值小，则3D视频格式可被确定为非垂直线交错格式。
图8示出曲线图和流程图，所述曲线图示出根据示例性实施例的估计3D视频中的视差区间的方法，所述流程图示出根据示例性实施例的估计视差信息的方法。
这里，视差区间是被分别估计为左视点视频和右视点视频的两个区域之间的绝对差分图像的区间，在该区间中连续像素之间的差等于或大于预定值。视差区间的宽度与左视点视频和右视点视频的相关性有关。
曲线图700显示左视点视频和右视点视频的多对对应的像素或线之间的差值。曲线图700的水平轴线表示左视点视频和右视点视频的多对对应的像素或线的索引，曲线图700的垂直轴线表示关于0的正值和负值之间的差值。
左视点视频和右视点视频的多对对应的像素或线之间的差值可包括连续发生视差的区间710、712、714和716。当曲线具有比上限阈值Hlimit720大的值并具有小于或等于最大宽度730的宽度时，连续发生正视差的区间712和716中的每个的部分可被选为视差区间。例如，由于连续发生正视差的区间712的部分722具有比上限阈值Hlimit720大的曲线值并具有小于或等于最大宽度730的宽度，因此连续发生正视差的区间712的部分722可被选为视差区间。类似地，当连续发生负视差的区间710和714中的每个的部分具有比下限阈值Llimit725小的曲线值并具有小于或等于最大宽度730的宽度时，连续发生负视差的区间710和714中的每个的部分可被选为视差区间。
也就是说，不使用视差估计处理直接计算左视点视频和右视点视频之间的视差，而是基于关于连续像素或线的信息(在所述连续像素或线中，左视点视频和右视点视频之间的差值的绝对值较大)间接估计左视点视频和右视点视频之间的视差。
由于左视点和右视点相机之间的位置和距离的不一致等，与左视点视频对应的区域可不同于与右视点视频对应的区域。因此，只有当左视点视频和右视点视频之间的差值大于上限阈值Hlimit或小于下限阈值Llimit时，才可认为视差发生在左视点视频和右视点视频之间。此外，当连续发生视差的区间具有等于或大于预定值的宽度时，该区间可被选为候选视差区间。对在3D视频中检测的候选视差区间的总数进行计数。
可将3D视频的左区域和右区域之间的候选视差区间的总数与3D视频的上区域和下区域之间的候选视差区间的总数进行比较，根据比较的结果可将3D视频的3D视频格式确定为并排格式或顶底格式。
此外，可将3D视频的奇数平行线和偶数平行线之间的候选视差区间的总数与3D视频的奇数垂直线和偶数垂直线之间的候选视差区间的总数进行比较，根据比较的结果可将3D视频的3D视频格式确定为水平线交错格式或垂直线交错格式。
在图8的(B)的方法中，图2的格式确定单元120可对3D视频中的候选视差区间的总数进行计数，并根据该总数确定3D视频的3D视频格式。
特别地，参照图8的(B)，在操作750，针对3D视频的左视点视频和右视点视频之间的差分图像的像素值Idiff(i，j)，对发生视差的连续视差区间的总数进行计数。
在操作755，将左视点视频和右视点视频之间的差分图像的像素值的绝对值与阈值THvalid_diff进行比较(|Idiff(i，j)|＞THvalid_diff？)。在操作755，临界值THvalid_diff与图8的(A)示出的上限阈值值Hlimit720或下限阈值Llimit725对应。如果差分图像的像素值Idiff(i，j)的绝对值|Idiff(i，j)|小于或等于临界值THvalid_diff，则在操作775初始化连续视差区间的宽度，并且在操作750针对差分图像的下一像素对视差区间的总数进行计数。
如果在操作755确定绝对值|Idiff(i，j)|大于临界值THvali_diff，则在操作760增加视差区间的宽度。
在操作765，将视差的总数(即，视差区间的宽度)与视差区间SR(搜索范围)的最大宽度进行比较。如果在操作765确定视差区间的宽度不大于视差区间SR的最大宽度，则不将该视差区间选为候选视差区间，且在操作750针对差分图像的下一像素对视差区间的总数进行计数。
如果在操作765确定连续视差区间的宽度大于视差区间SR的最大宽度，则在操作770增加候选视差区间的数量DRcount。然后，所述方法返回操作750，且针对差分图像的下一像素对视差区间的总数进行计数。
当确定3D视频的左区域和右区域的3D视频格式或3D视频的上区域和下区域的3D视频格式时，如果3D视频的左区域和右区域的候选视差区间的总数DRcount小于阈值THSBS_DRcount，则格式确定单元120可确定3D视频格式为并排格式。这里，阈值THSBS_DRcount表示视差区间的总数的阈值，该阈值被用于确定3D视频格式是否是并排格式。
此外，如果3D视频的上区域和下区域的候选视差区间的总数DRcount小于阈值THTNB_DRcount，则格式确定单元120可确定3D视频格式为顶底格式。阈值THTNB_DRcount表示视差区间的总数的阈值，该阈值被用于确定3D视频格式是否是顶底格式。
当确定3D视频的连续线的3D视频格式时，如果3D视频的水平线的候选视差区间的总数DRcount大于阈值THHOR_DRcount，则格式确定单元120可确定3D视频格式为水平线交错格式。阈值THHOR_DRcount表示候选视差区间的总数的阈值，该阈值被用于确定3D视频格式是否是水平线交错格式。
如果3D视频的垂直线的候选视差区间的总数DRcount大于阈值THVER- _DRcount，则格式确定单元120可确定3D视频格式为垂直线交错格式。阈值THVER_DRcount表示候选视差区间的总数的阈值，该阈值被用于确定3D视频格式是否是垂直线交错格式。
当确定3D视频的左区域和右区域的3D视频格式或3D视频的上区域和下区域的3D视频格式时，较大的视差区间可被估计为彼此关联较小的多条视频之间的视差。因此，当候选视差区间的总数小于视差区间的总数的阈值THDRcount时，3D视频格式很可能是并排格式或顶底格式。
然而，由于在左视点视频和右视点视频中人工混合交错格式的连续水平或垂直线，因此水平线与垂直线有很大不同。因此，当确定3D视频的水平线或垂直线的3D视频格式时，如果候选视差区间的总数大于视差区间的总数的阈值THDRcount，则3D视频格式很可能是水平线交错格式或垂直线交错格式。
图9示出根据示例性实施例的估计水平像素值之间的相关性信息的方法，以及根据示例性实施例的估计垂直像素值之间的相关性信息的方法。
图1的格式确定单元120可基于水平像素的值之间的相关性和垂直像素的值之间的相关性来确定3D视频的3D视频格式，其中，在所述3D视频中，左视点视频和右视点视频以像素为单位被混合在一起。
根据示例性实施例，格式确定单元120可将邻近像素值之间的差的比用作邻近像素值之间的相关性信息。因此，布置在垂直方向的连续像素的值之间的差的比可被用作垂直像素值之间的相关性信息，且布置在水平方向的连续像素的值之间的差的比可被用作水平像素值之间的相关性信息。在下文，布置在垂直方向的连续像素的值之间的差的比可被称为“垂直像素值之间的差的比”，布置在水平方向的连续像素的值之间的差的比可被称为“水平像素值之间的差的比”。
参照图9的(A)，可从第一、第二和第三水平像素的值之间的差的比计算水平像素之间的差的比，所述第一、第二和第三水平像素选自3D视频帧的3×3像素801、802、803、804、805、806、807、808和809。可如下计算水平像素值之间的差的比：
Valhor(i，j)＝(|I(i-1，j)-I(i，j)|+|I(i，j)-I(i+1，j)|)/(|I(i-1，j)-I(i+1，j)|+c)…(5)，
其中，Valhor(i，j)表示水平像素值之间的差的比，c表示防止分母为0的常数值。关于在水平方向上平行地顺序布置的第一、第二和第三像素804、805和806，左(第一)像素804和右(第三)像素806之间的差的绝对值810与等式(5)的分母的第一项对应，左(第一)像素804和中心(第二)像素805之间的差的绝对值820与等式(5)的分子的第一项对应，中心(第二)像素805和右(第三)像素806之间的差的绝对值830与等式(5)的分子的第二项对应。
也就是说，水平像素值之间的差的比Valhor(i，j)是第一像素804和第二像素805之间的差的绝对值820与第二像素805和第三像素806之间的差的绝对值830的和与第一像素804和第三像素806之间的差的绝对值810的比。
参照图9的(B)，类似地，可从在垂直方向上平行布置的三个像素的值之间的差的比计算垂直像素值之间的差的比。可如下计算垂直像素值之间的差的比：
Valver(i，j)＝(|I(i，j-1)-I(i，j)|+|I(i，j)-I(i，j+1)|)/(|I(i，j-1)-I(i，j+1)|+c)…(6)，
其中，Valver(i，j)表示垂直像素值之间的差的比，c表示防止分母为0的常数值。关于在垂直方向上平行地顺序布置的第四、第五和第六像素802、805和808，上(第四)像素802和下(第六)像素808之间的差的绝对值840与等式(6)的分母的第一项对应，上(第四)像素802和中间(第五)像素805之间的差的绝对值850与等式(6)的分子的第一项对应，中间(第五)像素805和下(第六)像素808之间的差的绝对值860与等式(6)的分子的第二项对应。
也就是说，垂直像素值之间的差的比Valver(i，j)是第四像素802和第五像素805之间的差的绝对值850与第五像素805和第六像素808之间的差的绝对值860的和与第四像素802和第六像素808之间的差的绝对值840的比。
如果使用等式(5)和等式(6)，则格式确定单元120可针对2D视频计算水平像素值之间的差的比Valhor以及垂直像素值之间的差的比Valver，从而当确定3D视频格式时防止在2D视频的边界线将2D视频错误地确定为3D视频。当等式(5)和等式(6)被应用于视频的边界线时，分子具有较大值但是分母也具有较大值。因此，在2D视频的边界线的水平像素值之间的差的比Valhor以及垂直像素值之间的差的比Valver不大于2D视频的其它部分的水平像素值之间的差的比Valhor以及垂直像素值之间的差的比Valver。
由于3D视频包括每个都与左视点视频或右视点视频对应的像素，因此等式(5)和等式(6)的分母项与从相同视点获取的视频的像素之间的绝对差值对应，从而具有较小值。然而，等式(5)和等式(6)的分子项与从不同视点获取的多条视频的像素之间的绝对差值对应，并具有比分母项的值大的值。因此，当3D视频具有这样的3D视频格式：在所述3D视频格式中左视点视频数据和右视点视频数据以像素为单位被交替地重复时，等式(5)中给出的水平像素值之间的差的比和等式(6)中给出的垂直像素值之间的差的比具有较大值。
表1
[表1]
[表]
图1的格式确定单元120可针对输入视频的部分或整体计算作为邻近像素值之间的相关性信息的水平像素值之间的差的比和垂直像素值之间的差的比，并可对水平像素值之间的差的比和垂直像素值之间的差的比进行计数，所述水平像素值之间的差的比和所述垂直像素值之间的差的比大于像素值之间的差的比的阈值。格式确定单元120可比较计数结果并确定输入视频的3D视频是否是水平线交错格式、垂直线交错格式或跳棋盘格式。
特别地，如果大于像素值之间的差的阈值的水平像素值之间的差的比的总数是Numhor(i，j)，大于像素值之间的差的阈值的垂直像素值之间的差的比的总数是Numver(i，j)，且给出预定阈值THpel_count，则如下示出情况1、2和3的计数结果：
情况1：水平像素值之间的差的比的总数Numhor(i，j)大于预定阈值THpel_count(Numhor(i，j)＞THpel_count)，其中，所述水平像素值之间的差大于像素值之间的差的阈值；并且垂直像素值之间的差的比的总数Numver(i，j)小于预定阈值THpel_count(Numver(i，j)＜THpel_count)，其中，所述垂直像素值之间的差大于像素值之间的差的阈值。
情况2：水平像素值之间的差的比的总数Numhor(i，j)小于预定阈值THpel_count(Numhor(i，j)＜THpel_count)，其中，所述水平像素值之间的差大于像素值之间的差的阈值；并且垂直像素值之间的差的比的总数Numver(i，j)大于预定阈值THpel_count(Numver(i，j)＞THpel_count)，其中，所述垂直像素值之间的差大于像素值之间的差的阈值。
情况3：水平像素值之间的差的比的总数Numhor(i，j)和垂直像素值之间的差的比的总数Numver(i，j)大于预定阈值(Numhor(i，j)＞THpel_count，Numver(i，j)＞THpel_count)，其中，所述水平像素值之间的差和所述垂直像素值之间的差大于像素值之间的差的阈值。
如果水平像素值之间的差的比的总数Numhor(i，j)小于预定阈值THpel_count，其中，所述水平像素值之间的差大于像素值之间的差的阈值，则可将水平线上的像素之间的相关性确定为高。如果垂直像素值之间的差的比的总数Numver(i，j)小于预定阈值THpel_count，其中，所述垂直像素值之间的差大于像素值之间的差的阈值，则可将垂直线上的像素之间的相关性确定为高。可以根据水平线上的像素之间的相关性以及垂直线上的像素之间的相关性来估计水平线或垂直线是否分别与3D视频的左视点视频和右视点视频对应。
因此，格式确定单元120可计算输入视频的水平像素值之间的差的比和垂直像素值之间的差的比，并可根据计算的比确定输入视频是否是3D视频并确定输入视频的3D视频格式。
当大于像素值之间的差的阈值的水平像素值之间的差的比的总数Numhor(i，j)大于预定阈值THpel_count(情况1)时，格式确定单元120可将水平线上的像素之间的相关性确定为低并将垂直线上的像素之间的相关性确定为高。可以根据垂直线上的像素之间的高相关性来估计垂直线是否与3D视频的左视点视频和右视点视频对应。因此，格式确定单元120确定输入视频的3D视频格式为垂直线交错格式。
当大于像素值之间的差的阈值的垂直像素值之间的差的比的总数Numver(i，j)大于预定阈值THpel_count(情况2)时，格式确定单元120可将水平线上的像素之间的相关性确定为高并将垂直线上的像素之间的相关性确定为低。可以根据水平线上的像素之间的高相关性来估计水平线是否与3D视频的左视点视频和右视点视频对应。因此，格式确定单元120确定输入视频的3D视频格式为水平线交错格式。
当大于像素值之间的差的阈值的水平像素值之间的差的比的总数Numhor(i，j)和大于像素值之间的差的阈值的垂直像素值之间的差的比的总数Numver(i，j)两者都大于预定阈值THpel_count(情况3)时，格式确定单元120可将水平线上的像素之间的相关性和垂直线上的像素之间的相关性确定为低。因此，格式确定单元120确定输入视频的3D视频格式为跳棋盘格式。
在本示例性实施例中，格式确定单元120将邻近像素值之间的差的比用作邻近像素之间的相关性信息的示例，但是根据本发明构思的确定输入视频的目标像素的邻近像素之间的相关性的方法不限于此。多种因素(例如，像素值的比、像素值的变化、像素值的离散度或像素值的标准偏差)可被用于确定邻近像素之间的相关性。
图10更详细地示出根据示例性实施例的具有顶底格式的3D视频帧1000以及围绕3D视频帧1000的上区域1010和下区域1020之间的边界线1030的部分1040。
参照图10的(A)，在具有顶底格式的3D视频帧1000中，上区域1010和下区域1020可分别包括左视点视频和右视点视频。在这种情况下，不连续的线出现在上区域1010和下区域1020之间的水平边界线1030。
参照图10的(B)，在围绕边界线1030的部分1040中，水平线1012和1014被置于上区域1010中，水平线1022和1024被置于下区域1020中。在3D视频帧1000中，水平线1012和1014包括从相同视点获得的视频数据，水平线1022和1024包括从相同视点获得的视频数据。然而，邻近边界线1030的水平线1012和1022包括从不同视点获得的视频数据。两个邻近像素1052和1054被布置得垂直于水平边界线1030的上部分，两个邻近像素1072和1074被布置得垂直于水平边界线1030的下部分。
因此，水平线1012上的像素1052和水平线1022上的像素1072之间的差值diffbound1060相对较大，而水平线1012上的像素1052和水平线1014上的像素1054之间的差值diffupper1050以及水平线1022上的像素1072和水平线1024上的像素1074之间的差值difflower1070相对较小。
因此，计算关于输入视频的上区域和下区域之间的边界线的上侧线之间和下侧线之间的差值。输入视频是否是3D视频是基于所述差值确定的，还确定输入视频的3D视频格式。
Boundhor＝∑|diffbound/(|diffupper|+|difflower|+c)|…(7)，
其中，Boundhor表示围绕上区域和下区域之间的边界线的水平线之间的不连续的量。针对边界线的整体或部分计算不连续的量Boundhor，且以像素为单位添加计算的结果。也就是说，通过计算|diffbound|与总和|diffupper|+|difflower|的比并随后对所述比求和来获得不连续的量Boundhor，其中，所述|diffbound|是位于边界线1030之上和之下并垂直于边界线1030的两个邻近像素1052、1072之间的绝对差值，所述|diffupper|是上区域1010的两个邻近像素1052、1054之间的差值diffupper的绝对值，所述|difflower|是被布置得垂直于边界线1030的下区域1020的两个邻近像素1072、1074之间的差值difflower的绝对值。
格式确定单元120可计算在输入视频的上区域和下区域之间的边界线的不连续的量Boundhor，并将不连续的量Boundhor与不连续的阈值THhorBound进行比较。如果不连续的量Boundhor大于不连续的阈值THhorBound，则格式确定单元120可确定输入视频的3D视频格式为顶底格式。
图11示出根据示例性实施例的具有并排格式的3D视频帧1100，并更详细地示出围绕3D视频帧1100的左区域1110和右区域1120之间的边界线1040的部分1140。
参照图11的(A)，在具有并排格式的3D视频帧1100中，左区域1110和右区域1120可分别具有左视点视频和右视点视频。在这种情况下，不连续的线出现在左区域1110和右区域1120之间的水平边界线1130。
参照图11的(B)，在围绕边界线1130的部分1140中，垂直线1112和1114被置于左区域1110中，垂直线1122和1124被置于右区域1120中。两个邻近像素1152和1154被布置得垂直于垂直边界线1130的左侧，两个邻近像素1172和1174被布置得垂直于垂直边界线1130的右侧。
垂直线1112上的像素1152和垂直线1122上的像素1172之间的差值diffbound1160相对较大，而垂直线1112上的像素1152和垂直线1114上的像素1154之间的差值diffleft1150以及垂直线1122上的像素1172和垂直线1124上的像素1174之间的差值diffright1170相对较小。
因此，计算关于输入视频的左区域和右区域之间的边界线的左区域之间和右区域之间的差值。输入视频是否是3D视频是基于所述差值确定的，还确定输入视频的3D视频格式。
Boundver＝∑|difffbound/(|diffleft|+|diffright|+c)|…(8)，
其中，Boundver表示围绕上区域和下区域之间的边界线的垂直线之间的不连续的量。针对边界线的整体或部分来计算不连续的量Boundver，且以像素为单位添加计算的结果。也就是说，通过计算|diffbound|与总和|diffleft|+|diffright|的比并随后对所述比求和来获得不连续的量Boundver，其中，所述|diffbound|是位于边界线1130之左和之右并且垂直于边界线1030的两个邻近像素1152、1172之间的绝对差值，所述|diffleft|是左区域1110的两个邻近像素1152、1154之间的差值diffleft的绝对值，所述|diffright|是被布置得垂直于边界线1130的右区域1120的两个邻近像素1172、1174之间的差值diffright的绝对值。
格式确定单元120可计算在输入视频的左区域和右区域之间的边界线的不连续的量Boundver，并将不连续的量Boundver与不连续的阈值THverBound进行比较。如果不连续的量Boundver大于不连续的阈值THverBound，则格式确定单元120可确定输入视频的3D视频格式为并排格式。
图12示出根据示例性实施例的具有边界区域1230和并排格式的3D视频帧1200并更详细地示出3D视频帧1200的边界区域1230的部分1240。
具有无意义数据的多个不连续的线可存在于3D视频的左区域和右区域之间或3D视频的上区域和下区域之间。例如，在具有并排格式的3D视频1200中，左区域1210和右区域1220之间的边界线可形成具有预定宽度以及例如黑线的边界区域1230。
在边界区域1230的部分1240中，在左区域1210和右区域1220中示出垂直线。如果边界区域1230具有无意义数据，则当计算不连续的量Boundver时可忽略该边界区域1230。因此，忽略边界区域1230，并从左区域1210中的垂直线1212、1214上的像素1231、1232之间的差值diffleft1250、右区域1220中的垂直线1222、1224上的像素1272、1274之间的差值diffright1270以及位于边界区域1230附近的垂直线1212、1222上的像素1231、1272之间的差值diffbound1260计算不连续的量Boundver。
如上参照图10至图12的描述，当计算3D视频中的边界线的不连续Boundhor和Boundver的量时，不仅使用邻近边界线的两条线上的像素之间的差值diffbound，还使用上区域中的线上的像素之间的差值diffupper、下区域中的线上的像素之间的差值difflower、左区域中的线上的像素之间的差值diffleft以及右区域中的线上的像素之间的差值diffright。因此，可防止在2D视频的边界区域确定3D视频格式。
图13示出曲线图，其中，一曲线图示出根据示例性实施例的在时间轴上的2D视频的连续帧的像素值之间的差的平均值，一曲线图示出根据示例性实施例的在时间轴上具有帧序列格式的3D视频的连续帧的像素值之间的差的平均值。
这里，水平轴线表示帧的次序，垂直轴线表示每一帧的像素值的平均值。
参照图13的(A)，在2D视频序列中，以帧为单位显示从同一视点获取的视频，因此，各个帧的像素值根据帧的次序相对连续地改变。然而，参照图13的(B)，在具有帧序列格式的3D视频中，以帧为单位交替地布置左视点视频和右视点视频，因此，各个帧的像素值不连续地改变。这是因为像素的分布在左视点视频和右视点视频之间是不同的。
因此，图1的格式确定单元120可基于输入视频序列的各个帧的像素值的改变来确定输入视频的3D视频格式是否是帧序列格式。
图14示出根据示例性实施例的通过使用时间轴上的三个连续帧来确定3D视频格式是否是帧序列格式的方法。
图1的格式确定单元120对时间轴上的三个连续帧(例如，在时间t-l的第一帧1410、在时间t的第二帧1420以及在时间t+1的第三帧1430)之间的视差进行比较，以确定这些帧是否属于包括左视点视频帧和右视点视频帧的组。可通过使用如下等式来比较帧1410、1420和1430之间的视差：
DFSQ＝[diff(t-1，t)+diff(t，t+1)]/[diff(t-1，t+1)+c]…(9)，
其中，DFSQ表示帧1410、1420和1430的变化，diff(t，t+1)表示在时间t的第二帧和在时间t+1的第三帧的像素值之间的差的绝对值。
diff(t-1，t)＝|It-l(i，j)-It(i，j)|
diff(t，t+1)＝|It(i，j)-It+l(i，j)|
diff(t-1，t+1)＝|It-l(i，j)-It+l(i，j)|…(10)，
其中，It(i，j)表示在时间t的第二帧1420的像素值。
也就是说，帧1410、1420和1430的变化DFSQ等于在时间t-1的像素1415和在时间t的像素1425之间的差的绝对值diff(t-1，t)和在时间t的像素1425和在时间t+1的像素1435之间的差的绝对值diff(t，t+1)的总和与在时间t-1的像素1415和在时间t+1的像素1435之间的差的绝对值diff(t-1，t+1)的比。
如果输入视频序列是2D视频序列，则从在时间t-1的第一帧1410到时间t的第二帧1420以及从在时间t的第二帧1420到时间t+1的第三帧1430，每两个邻近帧的像素值之间的差值不会变化很大。因此，帧1410、1420和1430的变化DFSQ具有不大的值。
然而，如果输入视频序列是具有帧序列格式的3D视频帧，则从相同视点获得在时间t-1的第一帧1410和在时间t+1的第三帧1430，而从不同视点获得在时间t的第二帧1420。因此，在时间t-1的第一帧1410和在时间t+1的第三帧1430的像素之间的差的绝对值相对较小，而在时间t-1的第一帧1410和在时间t的第二帧1420的像素之间的差的绝对值以及在时间t的第二帧1420和在时间t+1的第三帧1430之间的差的绝对值相对较大。因此，帧1410、1420和1430的变化DFSQ较大。
因此，格式确定单元120可计算输入视频序列的帧的变化值DFSQ，并使用计算的变化值DFSQ确定输入视频序列的3D视频格式。
如上参照图13和图14描述了确定3D视频格式是否是帧序列格式的方法，而具有场序列格式的3D视频与具有帧序列格式的3D视频具有相似的特征，因此格式确定单元120可通过以3D视频的场为单位应用等式(9)来确定3D视频是否是场序列格式。
格式确定单元120可检查在以帧为单位的输入视频序列的3D视频格式对进行确定的结果中是否发生错误，纠正该错误，然后最终确定3D视频格式，从而增加确定3D视频格式的结果的精度。现在将参照图15和图16描述检查在对输入视频序列的3D视频格式进行确定的结果中是否发生错误的方法。
图15示出当3D视频格式被确定时发生错误的情况。当输入视频序列包括第一、第二、…、第十五帧时，图1的格式确定单元120通过使用视差信息或邻近像素之间的相关性信息确定这些帧中的每帧的3D视频格式。在确定第一帧到第十五帧中的每帧的3D视频格式的结果曲线1500中，在第一确定区间1510中确定第一帧到第七帧具有并排格式，在第二确定区间1520中确定第八帧具有顶底格式，在第三确定区间1530中确定第九帧到第十五帧具有并排格式。
如果输入视频序列根据结果1500被转换为可使得输入视频序列被三维地显示的格式，则当三维地显示第一帧至第十五帧时，在显示其格式在第二确定区间1520中被确定为顶底格式的第八帧期间用户会感觉不协调。因此，当最终确定3D视频的格式时，将第八帧的格式从顶底变为并排格式。
图16示出根据示例性实施例的纠正当3D视频格式被确定时发生的错误的方法。
在由图1的格式确定单元120基于视差信息或关于邻近像素的相关性信息来对输入视频序列的第一、第二、…、第十五帧中的每帧的3D视频格式进行确定的结果曲线1600中，在第四确定区间1620中确定第一帧至第七帧具有并排格式，在第五确定区间1628中确定第八帧至第十五帧具有顶底格式。
在这种情况下，在格式确定单元120在第四确定区间1620中确定第一帧至第七帧具有并排格式之后，当将输入视频序列的3D视频格式从并排格式切换到顶底格式时，当确定第八帧的3D视频格式时，格式确定单元120不直接确定第八帧具有顶底格式，而另外在检查区间1630中检查对预定数量的连续帧的3D视频格式进行确定的结果。
例如，如果在检查区间1630中，对四个连续帧(即，第八帧至第十一帧)中的每帧的3D视频格式进行确定的结果揭示所述四个连续帧具有顶底格式，则对第十二帧至第十五帧的3D视频格式进行确定的结果可最终被确定为输入视频序列的3D格式。可选地，在检查区间1630中确定的3D视频格式被明确地从顶底格式改变为并排格式，以保持之前在第四确定区间1620中确定的确定结果。
因此，与在结果1600中不同，在明确地确定输入视频序列的3D视频格式的结果曲线1610中，第一帧至第十一帧最终被确定为具有并排格式且第十二帧至第十五帧被最终确定为具有顶底格式。
如果第四确定区间1620和检查区间1630的确定结果被转换，则检查区间1630将检查区间1630的确定结果保持为第四区间1620的确定结果，以防止3D视频格式的突然改变而引起错误或降低立体效果。检查区间1630的长度被确定为比输入视频序列的长度短很多。虽然在检查区间1630中检查的预定数量的帧的格式转换被延迟，但是在格式确定错误发生的情况下，可更稳定地执行格式转换和显示。
图17是示出根据示例性实施例的包含格式转换和3D显示的后处理的框图。
如果根据示例性实施例的3D视频格式转换设备100被安装在3D电视(TV)系统1700中，则所述3D TV系统1700能够自动感测并转换输入视频的3D视频格式并三维地显示该输入视频。
在3D TV系统1700中，如果从源装置(诸如数字通用盘(DVD)/蓝光盘(BD)播放器1702、个人计算机(PC)或机顶盒1704)输入3D视频，则3D视频被顺序提供给作为3D集成电路(3DIC)的格式确定单元1710和格式转换单元1720，然后被转换成使得3D视频可被三维地显示的格式。
格式确定单元1710分析3D视频并确定3D视频的3D视频格式，将关于3D视频格式的信息提供给格式转换单元1720，从而格式转换单元1720可执行格式转换。
格式转换单元1720转换3D视频的左视点视频和右视点视频的结果被提供给3D视频增强器1730，从而执行后处理以改进3D视频的质量或减少当用户观看显示的3D视频时用户会感到的疲劳感觉。然后，最终的左视点视频和最终的右视点视频被提供给显示装置(未示出)。在这种情况下，立体同步信号生成器1740通过使用从格式转换单元1720接收的对左视点视频和右视点视频进行转换的结果并通过使用从源装置接收的同步信号，生成并输出立体同步信号，从而左视点视频和右视点视频可在彼此同步的同时被显示。
在示例性实施例中，如上所述，3D视频格式转换设备100可被实施为安装在3D显示系统中的硬件，由3D视频格式转换设备100执行确定并转换3D视频格式的方法可被实施为软件，例如，在PC中使用的图形装置驱动程序。
图18是示出根据示例性实施例的转换3D视频格式的方法的流程图。参照图18，在操作1810，接收具有3D视频的视频序列，所述3D视频具有左视点视频和右视点视频。
在操作1820，估计左视点视频和右视点视频之间的视差信息和邻近像素值之间的相关性信息中的至少一个，基于估计的结果确定3D视频的3D视频格式。
在操作1830，基于该3D视频格式将左视点视频和右视点视频转换为使得左视点视频和右视点视频可被三维地显示的格式。
在操作1840，通过使用显示装置三维地再现转换的左视点视频和右视点视频。
图18中示出的转换3D视频格式的方法可通过使用以上参照图1至图17描述的图1的3D视频格式转换设备100被实施为硬件。
图19示出根据示例性实施例在互联网网站搜索具有3D视频格式的3D视频内容的方法。
在根据示例性实施例的转换3D视频格式的方法中，可提供3D视频网络搜索服务以搜索作为输入视频的3D视频。参照图19，支持搜索3D视频的网络浏览器窗口1900包括搜索功能设置区域1910和搜索词输入区域1920。
例如，当搜索具有并排格式的3D视频时，在搜索功能设置区域1910中选择“3D搜索”功能，并在搜索词输入区域1920中输入短语“并排”作为3D视频格式。然后，在搜索结果窗口1930中显示具有并排格式的3D视频的列表。如果从3D视频的列表中选择一条3D视频1940，则在网络浏览器窗口1900的主窗口中显示3D视频1940。
在根据示例性实施例的转换3D视频格式方法中，可执行3D视频网络搜索服务以在互联网网站搜索具有期望的3D视频格式的3D视频并将该3D视频提供给用户。
图20示出根据示例性实施例的在网络中再现具有3D视频格式的3D视频内容的方法。
当通过使用根据示例性实施例的转换3D视频格式的方法在网络浏览器窗口1950中显示2D视频和3D视频的混合时，可二维地显示2D视频并可三维地显示3D视频。
可使用3D视频格式确定算法确定3D视频的3D视频格式。在网络浏览器窗口1950中，检测的3D视频的列表1930和从列表1930选择的视频1940都是3D视频，但是显示的其它部分都是2D视频。为了仅三维地显示3D视频，可使用下面的方法。
作为示例，3D视频格式转换单元可将关于3D视频部分1960和1970的位置信息(例如，其坐标)提供给网络浏览器的显示处理模块从而网络浏览器可在网络浏览器窗口1950中三维地显示3D视频部分1960和1970。
作为示例，3D视频格式转换单元可分析网络浏览器窗口1950以确定3D视频部分1960和1970的位置，并仅三维地显示3D视频部分1960和1970。
根据以上在网络浏览器窗口中显示3D视频的示例，即使在网络浏览器窗口中显示2D视频和3D视频的混合，用户也可三维地观看3D视频。
以上描述的示例性实施例可被实施为计算机程序。所述计算机程序可被存储在计算机可读记录介质中，并使用通用数字计算机被执行。计算机可读记录介质的示例包括：磁记录介质(ROM、闪盘、硬盘等)以及光学记录介质(CD-ROM、DVD等)。虽然具体显示和描述了示例性实施例，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以在其中进行形式和细节的各种改变。

Claims (14)

1.一种转换三维(3D)视频的格式的方法，所述方法包括：
接收包括包含左视点视频和右视点视频的3D视频的视频序列；
估计左视点视频和右视点视频之间的视差信息和左视点视频和右视点视频的邻近像素值之间的相关性信息中的至少一个；
基于估计的结果确定3D视频的3D视频格式；
基于确定的3D视频格式转换左视点视频和右视点视频的格式；
在显示装置上三维地显示转换的左视点视频和转换的右视点视频；
将来自3D视频的多个帧的第一连续多个帧确定为第一格式，并将在第一连续多个帧之后的预定数量的帧的第二连续多个帧确定为第二格式；
将在第二连续多个帧之后的剩余的第三连续多个帧确定为第一格式；
将第二连续多个帧的3D视频格式从第二格式改变为第一格式。
2.如权利要求1所述的方法，其中，确定3D视频格式的步骤包括：基于左视点视频和右视点视频之间的视差信息，确定3D视频格式是否是并排格式、顶底格式、水平线交错格式和垂直线交错格式中的一个。
3.如权利要求1所述的方法，其中，确定3D视频格式的步骤包括：基于左视点视频和右视点视频的邻近像素值之间的相关性信息，确定3D视频格式是否是水平线交错格式、垂直线交错格式和跳棋盘格式中的一个。
4.如权利要求1所述的方法，其中，确定3D视频格式的步骤还包括：
基于左视点视频和右视点视频的邻近像素值之间的相关性信息，确定3D视频格式是否是水平线交错格式、垂直线交错格式和跳棋盘格式中的一个；
基于所述视差信息确定3D视频格式是否是场序列格式和帧序列格式中的一个。
5.如权利要求1所述的方法，其中，确定3D视频格式的步骤还包括：通过检测左视点视频和右视点视频之间的边界线来确定3D视频格式是否是并排格式和顶底格式中的一个。
6.如权利要求1所述的方法，其中，确定3D视频格式的步骤包括：通过检测3D视频的具有纹理的区域在3D视频的具有纹理的区域中确定3D视频的3D视频格式，通过计算左视点视频和右视点视频的对应区域的平滑度来检测3D视频的具有纹理的区域。
7.如权利要求2所述的方法，其中，确定3D视频格式的步骤还包括：
将3D视频的帧分为相等的上区域和下区域；
通过使用上下差分图像来估计第一视差信息，所述上下差分图像表示上区域和下区域之间的差值的绝对值；
将3D视频的帧分为相等的左区域和右区域；
通过使用左右差分图像来估计第二视差信息，所述左右差分图像表示左区域和右区域之间的差值的绝对值；
基于第一视差信息和第二视差信息确定3D视频格式是顶底格式还是并排格式。
8.如权利要求2所述的方法，其中，确定3D视频格式的步骤还包括：
将3D视频的帧的垂直线分为奇数垂直线和偶数垂直线；
通过使用垂直线差分图像来估计第三视差信息，所述垂直线差分图像表示奇数垂直线和偶数垂直线之间的差值的绝对值；
将3D视频的帧的水平线分为奇数水平线和偶数水平线；
通过使用水平线差分图像来估计第四视差信息，所述水平线差分图像表示奇数水平线和偶数水平线之间的差值的绝对值；
基于第一视差信息和第二视差信息确定3D视频格式是否是顶底格式和并排格式中的一个，并提供第一确定结果；
基于第三视差信息和第四视差信息确定3D视频格式是否是垂直线交错格式和水平线交错格式中的一个，并提供第二确定结果。
9.如权利要求3所述的方法，其中，确定3D视频格式的步骤还包括：
估计在水平方向连续的3D视频的第一像素、第二像素和第三像素的值之间的第一相关性值；
估计在垂直方向连续的3D视频的第四像素、第五像素和第六像素的值之间的第二相关性值；
如果大于相关性阈值的第一相关性值的总数大于预定格式阈值，且大于相关性阈值的第二相关性值的总数小于预定格式阈值，则将3D视频格式确定为垂直线交错格式；
如果大于相关性阈值的第一相关性值的总数小于预定格式阈值，且大于相关性阈值的第二相关性值的总数大于预定格式阈值，则将3D视频格式确定为水平线交错格式；
如果大于相关性阈值的第一相关性值的总数和大于相关性阈值的第二相关性值的总数大于预定格式阈值，则将3D视频格式确定为跳棋盘格式。
10.如权利要求4所述的方法，其中，确定3D视频格式的步骤还包括：估计在时间轴上的3D视频的三个连续帧之间的暂时视差的改变。
11.如权利要求5所述的方法，其中，所述3D视频具有边界区域，该边界区域围绕边界线并至少包括多个黑线，确定3D视频格式的步骤还包括：确定3D视频的3D视频格式，而排除确定边界区域。
12.如权利要求1所述的方法，其中，确定3D视频格式的步骤还包括：如果至少预定数量的第三连续多个帧具有第二格式，则将第二连续多个帧的3D视频格式改变为第一格式，并最终将第三连续多个帧确定为具有第二格式。
13.如权利要求1所述的方法，还包括：通过将选择的3D视频格式用作关键字在互联网网站中搜索3D视频内容，其中，接收视频序列的步骤包括接收在网络中搜索的3D视频内容；
其中，在网络中搜索3D视频内容的步骤包括：搜索作为二维(2D)视频和3D视频的混合的视频内容，
接收视频序列的步骤还包括：接收在网络中搜索的2D视频内容和3D视频内容，
转换3D视频的左视点视频和右视点视频的格式的步骤还包括：基于选择的用作关键字的3D视频格式将左视点视频和右视点视频转换为所述格式以被三维地再现，
所述方法还包括：二维地再现视频序列的2D视频，并以3D视频被转换为的格式三维地再现视频序列的3D视频。
14.一种用于转换三维(3D)视频的格式的设备，所述设备包括：
视频输入单元，接收包括包含左视点视频和右视点视频的3D视频的视频序列；
格式确定单元，估计左视点视频和右视点视频之间的视差信息和左视点视频和右视点视频的邻近像素值之间的相关性信息中的至少一个，并基于估计的结果确定3D视频的3D视频格式；
格式转换单元，基于确定的3D视频格式转换左视点视频和右视点视频的格式；
显示单元，将转换的左视点视频和转换的右视点视频三维地显示在显示装置上，
其中，格式确定单元将来自3D视频的多个帧的第一连续多个帧确定为第一格式，并将在第一连续多个帧之后的预定数量的帧的第二连续多个帧确定为第二格式；将在第二连续多个帧之后的剩余的第三连续多个帧确定为第一格式；将第二连续多个帧的3D视频格式从第二格式改变为第一格式。
CN201080028422.XA 2009-06-23 2010-06-23 用于三维视频的自动转换的方法和设备 Expired - Fee Related CN102461185B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US21943809P 2009-06-23 2009-06-23
US61/219,438 2009-06-23
KR20090078841 2009-08-25
KR10-2009-0078841 2009-08-25
PCT/KR2010/004079 WO2010151049A2 (en) 2009-06-23 2010-06-23 Method and apparatus for automatic transformation of three-dimensional video

Publications (2)

Publication Number Publication Date
CN102461185A CN102461185A (zh) 2012-05-16
CN102461185B true CN102461185B (zh) 2015-05-13

Family

ID=43353918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080028422.XA Expired - Fee Related CN102461185B (zh) 2009-06-23 2010-06-23 用于三维视频的自动转换的方法和设备

Country Status (7)

Country Link
US (1) US8624897B2 (zh)
EP (1) EP2422526B1 (zh)
JP (1) JP5575891B2 (zh)
KR (1) KR20100138806A (zh)
CN (1) CN102461185B (zh)
MX (1) MX2011012534A (zh)
WO (1) WO2010151049A2 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7804995B2 (en) * 2002-07-02 2010-09-28 Reald Inc. Stereoscopic format converter
JP2008106185A (ja) * 2006-10-27 2008-05-08 Shin Etsu Chem Co Ltd 熱伝導性シリコーン組成物の接着方法、熱伝導性シリコーン組成物接着用プライマー及び熱伝導性シリコーン組成物の接着複合体の製造方法
JP5446913B2 (ja) * 2009-06-29 2014-03-19 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
US9491432B2 (en) * 2010-01-27 2016-11-08 Mediatek Inc. Video processing apparatus for generating video output satisfying display capability of display device according to video input and related method thereof
EP3258688A2 (en) 2010-02-09 2017-12-20 Koninklijke Philips N.V. 3d video format detection
JP5424926B2 (ja) * 2010-02-15 2014-02-26 パナソニック株式会社 映像処理装置、映像処理方法
US11711592B2 (en) 2010-04-06 2023-07-25 Comcast Cable Communications, Llc Distribution of multiple signals of video content independently over a network
US10448083B2 (en) 2010-04-06 2019-10-15 Comcast Cable Communications, Llc Streaming and rendering of 3-dimensional video
US9414042B2 (en) 2010-05-05 2016-08-09 Google Technology Holdings LLC Program guide graphics and video in window for 3DTV
EP2426931A1 (en) * 2010-09-06 2012-03-07 Advanced Digital Broadcast S.A. A method and a system for determining a video frame type
WO2012037713A1 (en) * 2010-09-20 2012-03-29 Mediatek Singapore Pte. Ltd. Method for performing display management regarding three-dimensional video stream, and associated video display system
EP2472879B1 (en) * 2010-12-31 2013-06-05 Advanced Digital Broadcast S.A. A method and a system for determining a video frame type
EP2659453A1 (en) * 2010-12-31 2013-11-06 Arçelik Anonim Sirketi A stereoscopic display device comprising a control
US8600151B2 (en) * 2011-01-03 2013-12-03 Apple Inc. Producing stereoscopic image
US9204123B2 (en) * 2011-01-14 2015-12-01 Comcast Cable Communications, Llc Video content generation
FR2971603A1 (fr) * 2011-02-15 2012-08-17 Thomson Licensing Procede de traitement d’image stereoscopique comprenant une bande noire et dispositif correspondant
CN102137298B (zh) * 2011-03-02 2015-12-09 华为技术有限公司 3d格式描述信息的获取方法和装置
KR101219442B1 (ko) * 2011-03-30 2013-01-11 전자부품연구원 3차원 영상 자동 포맷 변환장치 및 방법
US20140132717A1 (en) * 2011-04-19 2014-05-15 Institut Fur Rundfunktechnik Gmbh Method and system for decoding a stereoscopic video signal
KR101773616B1 (ko) * 2011-05-16 2017-09-13 엘지디스플레이 주식회사 영상처리방법과 이를 이용한 입체영상 표시장치
JP2013005410A (ja) * 2011-06-21 2013-01-07 Sony Corp 画像フォーマット判別装置、画像フォーマット判別方法、画像再生装置および電子機器
TWI481262B (zh) * 2011-07-28 2015-04-11 Ind Tech Res Inst 影像編碼系統及影像編碼方法
US20130070051A1 (en) * 2011-09-20 2013-03-21 Cheng-Tsai Ho Video encoding method and apparatus for encoding video data inputs including at least one three-dimensional anaglyph video, and related video decoding method and apparatus
US8994798B2 (en) * 2011-11-17 2015-03-31 Target Brands, Inc. 3D TV display system with sensor detecting an optical tool
KR20130062012A (ko) * 2011-12-02 2013-06-12 삼성전자주식회사 영상처리장치 및 영상처리방법
CN102547344B (zh) * 2011-12-23 2014-07-30 Tcl集团股份有限公司 一种视频格式识别方法及装置
WO2013117001A1 (en) * 2012-02-09 2013-08-15 Thomson Licensing Efficient compression of 3d models based on octree decomposition
CN102665085A (zh) * 2012-03-15 2012-09-12 广州嘉影软件有限公司 一种3d影片格式的自动识别方法及其自动识别装置
JP5817639B2 (ja) * 2012-05-15 2015-11-18 ソニー株式会社 映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置
WO2013180590A1 (en) * 2012-05-29 2013-12-05 Sc Movidius Srl Method and system for detecting frame compatible 3d content
CN102780895A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种单视频文件到3d视频文件的实现方法
CN102780897A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种单文件视频素材支持3d技术的方法
US9361699B2 (en) * 2012-06-27 2016-06-07 Imec Taiwan Co. Imaging system and method
WO2014025295A1 (en) * 2012-08-08 2014-02-13 Telefonaktiebolaget L M Ericsson (Publ) 2d/3d image format detection
CN103593837A (zh) * 2012-08-15 2014-02-19 联咏科技股份有限公司 自动侦测图像格式的方法及其相关装置
CN102821298B (zh) * 2012-08-27 2015-06-17 深圳市维尚视界立体显示技术有限公司 一种3d播放调节自适应的方法、装置和设备
CN102957930B (zh) * 2012-09-03 2015-03-11 雷欧尼斯（北京）信息技术有限公司 一种数字内容3d格式自动识别方法和系统
CN103888839B (zh) * 2012-12-20 2017-03-29 深圳市快播科技有限公司 一种视频播放方法和设备
JP5857346B2 (ja) * 2013-07-30 2016-02-10 株式会社アクセル 画像表示処理装置
US20150054914A1 (en) * 2013-08-26 2015-02-26 Amlogic Co. Ltd. 3D Content Detection
CN104469440B (zh) * 2014-04-16 2018-10-30 成都理想境界科技有限公司 视频播放方法、视频播放器及对应的播放设备
EP2963924B1 (en) * 2014-07-01 2017-05-24 Advanced Digital Broadcast S.A. A method and a system for determining a video frame type
CN104125448A (zh) * 2014-07-09 2014-10-29 北京京东方视讯科技有限公司 显示处理系统、方法及电子设备
US10979689B2 (en) * 2014-07-16 2021-04-13 Arris Enterprises Llc Adaptive stereo scaling format switch for 3D video encoding
EP3285257A4 (en) 2015-06-17 2018-03-07 Samsung Electronics Co., Ltd. Method and device for processing internal channels for low complexity format conversion
CN106067966B (zh) * 2016-05-31 2018-08-28 上海易维视科技股份有限公司 视频三维格式自动检测方法
DE102018113822A1 (de) * 2018-06-11 2019-12-12 Seefront Gmbh Konvertieren eines Bildstroms mit stereoskopischen Bildinhalten
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
JP2022512600A (ja) 2018-10-05 2022-02-07 マジック リープ， インコーポレイテッド 任意の場所における場所特有の仮想コンテンツのレンダリング
EP4073763A4 (en) * 2019-12-09 2023-12-27 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH SIMPLIFIED PROGRAMMING OF VIRTUAL CONTENT
US11562525B2 (en) 2020-02-13 2023-01-24 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
EP3923241B1 (en) 2020-06-09 2022-04-06 Axis AB Aligning digital images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1024672A1 (en) * 1997-03-07 2000-08-02 Sanyo Electric Co., Ltd. Digital broadcast receiver and display
CN1756317A (zh) * 2004-10-01 2006-04-05 三星电子株式会社 变换多维视频格式的设备和方法
CN1816160A (zh) * 2005-02-04 2006-08-09 三星电子株式会社 根据输入图像特性创建立体图像及其再现的方法及设备
JP2006332985A (ja) * 2005-05-25 2006-12-07 Sharp Corp 立体画像フォーマット判定装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3096612B2 (ja) * 1995-05-29 2000-10-10 三洋電機株式会社 時分割方式立体映像信号検出方法、時分割方式立体映像信号検出装置および立体映像表示装置
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
KR20000072482A (ko) * 2000-09-06 2000-12-05 이재학 이용자의 검색을 용이하게 하는 인터넷 검색 시스템 및 그방법
US20040027267A1 (en) * 2002-03-22 2004-02-12 Rousso Armand M. 3D entertainment system
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
JP4421940B2 (ja) * 2004-05-13 2010-02-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置および方法、並びに動画像復号化装置および方法
KR100716982B1 (ko) * 2004-07-15 2007-05-10 삼성전자주식회사 다차원 영상 포맷의 변환장치 및 방법
JP4638784B2 (ja) * 2005-07-19 2011-02-23 オリンパスイメージング株式会社 画像出力装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1024672A1 (en) * 1997-03-07 2000-08-02 Sanyo Electric Co., Ltd. Digital broadcast receiver and display
CN1756317A (zh) * 2004-10-01 2006-04-05 三星电子株式会社 变换多维视频格式的设备和方法
CN1816160A (zh) * 2005-02-04 2006-08-09 三星电子株式会社 根据输入图像特性创建立体图像及其再现的方法及设备
JP2006332985A (ja) * 2005-05-25 2006-12-07 Sharp Corp 立体画像フォーマット判定装置

Also Published As

Publication number Publication date
EP2422526A2 (en) 2012-02-29
US8624897B2 (en) 2014-01-07
EP2422526A4 (en) 2013-04-10
WO2010151049A3 (en) 2011-04-28
US20100321390A1 (en) 2010-12-23
KR20100138806A (ko) 2010-12-31
EP2422526B1 (en) 2016-05-04
JP5575891B2 (ja) 2014-08-20
MX2011012534A (es) 2011-12-16
CN102461185A (zh) 2012-05-16
JP2012531797A (ja) 2012-12-10
WO2010151049A2 (en) 2010-12-29

Similar Documents

Publication Publication Date Title
CN102461185B (zh) 用于三维视频的自动转换的方法和设备
TWI536801B (zh) 三維視訊格式偵測
US8565530B2 (en) Encoding and decoding multi-view video while accommodating absent or unreliable camera parameters
CN101668221B (zh) 图像处理设备以及图像处理方法
CN102047668B (zh) 通过使用照相机参数产生立体图像数据流的方法和设备以及通过使用照相机参数恢复立体图像的方法和设备
US8553029B2 (en) Method and apparatus for determining two- or three-dimensional display mode of image sequence
TWI469623B (zh) 用於區別３維影像與２維影像以及藉由特徵對應決定來識別３維影像格式之存在的方法
CN103354997A (zh) 图像处理设备和图像处理方法
CN105122809A (zh) 帧内编码的预测值派生的方法和装置
US20130265389A1 (en) Method and a system for determining a video frame type
US9467676B2 (en) Multi-view video coding and decoding methods and apparatuses, coder, and decoder
CN103650491A (zh) 用于解码立体视频信号的方法和系统
CN102761762A (zh) 处理视频输入的处理方法与处理装置
US7233363B2 (en) De-interlacing method, apparatus, video decoder and reproducing apparatus thereof
CN103250185A (zh) 使用能量值的图像处理装置及其图像处理方法和显示方法
KR101313223B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
WO2011162737A1 (en) Detection of frame sequential stereoscopic 3d video format based on the content of successive video frames
Rodrigo et al. Real-time 3-D HDTV depth cue conflict optimization
KR20120131138A (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101343576B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150513

CF01 Termination of patent right due to non-payment of annual fee