CN102104790A - 一种视频处理方法和系统 - Google Patents

一种视频处理方法和系统 Download PDF

Info

Publication number
CN102104790A
CN102104790A CN2010105937135A CN201010593713A CN102104790A CN 102104790 A CN102104790 A CN 102104790A CN 2010105937135 A CN2010105937135 A CN 2010105937135A CN 201010593713 A CN201010593713 A CN 201010593713A CN 102104790 A CN102104790 A CN 102104790A
Authority
CN
China
Prior art keywords
video
frame
video stream
input
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010105937135A
Other languages
English (en)
Inventor
马库斯·凯勒曼
陈雪敏
萨米尔·赫尔亚尔卡
伊利亚·克莱巴诺夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Broadcom Corp
Zyray Wireless Inc
Original Assignee
Zyray Wireless Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zyray Wireless Inc filed Critical Zyray Wireless Inc
Publication of CN102104790A publication Critical patent/CN102104790A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种视频处理方法和系统。视频处理设备在生成与所接收的输入三维视频流对应的输出视频流时执行下拉。所述下拉基于所接收的输入三维视频流的所确定的本质特征和与用于显示所生成的输出视频流的显示设备相对应的显示参数来执行。所接收的输入三维视频流的所述本质特征可以包括电影模式，该模式可以用于确定捕捉帧率。所述显示参数可以包括扫描模式和/或显示帧率。当所述输入三维视频流包括具有每秒24帧捕捉帧率的电影模式和所述显示设备使用60赫兹逐行扫描时，可以复制所述输入三维视频流中的每一组帧中的左视图或右视图帧，该每一组帧包括两个连续左视图帧和相应的两个连续右视图帧。

Description

一种视频处理方法和系统
技术领域
本发明涉及视频处理，更具体地说，本发明涉及用于三维视频的下拉处理(pulldown processing)的方法和系统。
背景技术
显示设备，例如电视机(TV)，可以用于输出或播放视听或多媒体流，其包括TV广播、电视广播和/或来自于一个或多个可用的用户设备的局部音频/视频(Audio/Video，A/V)流，例如盒式磁带录像机(videocassette recorders，VCRs)和/或数字视频光盘(Digital Video Disc，DVD)播放器。TV广播和/或视听或多媒体流可以直接输入到TV，或者通过一个或多个可以用于提供任何必要处理操作的机顶盒间接传输。可用于输入数据至TV的连接器的典型类型，包括但不限于F-连接器(F-connector)、二分量视频接口(S-video)，复合连接器和/或视频组件连接器，和/或较新地高清晰度多媒体接口(High DefinitionMultimedia Interface，缩写为HDMI)。
电视广播通常由电视头端通过广播频道藉由射频(RF)载波或有线连接来发送。TV头端包括地面微波TV头端、有线电视(CableTelevision，CATV)、卫星TV头端和/或广播电视头端。地面微波TV头端可以使用例如一组地面微波广播信道，在美国所述地面微波广播信道包括例如信道2至69。有线电视广播可以使用更多数量的广播信道。TV广播包括视频和/或音频信息的传输，其中视频和/或音频信息可以通过多个可用的调制方案中的一个方案编码入广播信道。TV广播可以使用模拟和/或数字调制格式。在模拟电视系统中，编码入图片和声音信息并通过模拟信号传输，其中视频/音频信息可以基于模拟电视编码标准通过对电视信号进行振幅和/或频率调制后通过广播信号传输。模拟电视广播可以例如使用NTSC、PAL和/或塞康制(SECAM)模拟编码方案来编码它们的信号，然后调制这些信号到例如甚高频(VHF)或特高频(UHF)射频载波上。
在数字电视(DTV)系统中，电视广播可以通过离散信号使用一种可行的数字调制方案由地面微波、电缆和/或卫星头端传送，该数字调制方案包括例如正交振幅调制QAM)、残留边带调制(VSB)、四相移键控(QPSK)和/或正交频分复用(OFDM)。因为传输同样的信息，使用数字信号通常比模拟信息需要更少的宽带，DTV系统比起可用的模拟电视系统可以使广播商在相同的空间提供更多的数字信道。此外，使用数字电视信号通过数字系统可以使广播商能提供HDTV广播和/或提供其他的非电视相关服务。可用的数字电视系统包括例如基于ATSC、DVB、DMB-T/H和/或ISDN的系统。使用各种视频和/或音频编码和/或压缩算法可以将视频和/或音频信息编码为数字电视信号，所述算法可以包括例如MPEG-1/2、MPEG-4AVC、MP3、AC-3、AAC和/或HE-AAC。
目前大多数TV广播(和类似多媒体源)使用视频格式标准，该标准使比特流格式的视频图像通信成为可能。这些视频标准可以使用各种插值和/或比率转换函数在显示设备上呈现包括静态和/或动态的图像。例如，可以使用反交错处理函数将动态和/或静态图像转换为适合于不能处理交错内容的显示设备的特定类型的格式。TV广播和类似的视频源可能是隔行或者逐行扫描的。隔行的视频包括场，每一场可能在不同的时间间隔内捕捉到。一帧可以包括两场，例如一个前场(top field)和一个后场(bottom field)。形成视频的图像可以包括多个有序的行。在一个时间间隔内，可捕捉偶数行的视频内容。在随后的时间间隔内，可能获捕捉奇数行的视频内容。所有偶数行可被统一称为前场，而所有奇数行可被统一称为后场。作为另一种选择，所有奇数行可被统一称为前场，而所有偶数行可被统一称为后场。在逐行扫描视频帧的情况下，帧的所有行在一个时间间隔内顺序捕捉或播放。隔行的视频可以包括从逐行扫描帧转换来的场。例如，一个逐行扫描帧通过将偶数行组织到一个场中而将奇数行组织到另一场中而转换成两个隔行场。
比较本发明后续将要结合附图介绍的系统，现有技术的其它局限性和弊端对于本领域的普通技术人员来说是显而易见的。
发明内容
本发明涉及一种用于三维视频的下拉处理的系统和/或方法，在相关的至少一个附图中有充分的显示和或描述，在权利要求书中有更完整的说明。
根据本发明的一个方面，一种视频处理方法包括：
通过视频处理系统中的一个或多个处理器和/或电路执行如下步骤：
确定一个或多个与输入三维视频流相关的本质特征；以及
生成一个或多个与所述输入三维视频流相对应的输出视频流，其中基于所确定的一个或多个本质特征和与一个或多个显示设备相对应的显示参数修改所述三维视频流的下拉，所述显示设备用于显示所述生成的一个或多个输出视频流。
优选地，所述与输入三维视频流相关的一个或多个本质特征包括电影模式。
优选地，所述方法进一步包括：基于所确定的与所述输入三维视频流相关的一个或多个本质特征，确定所述输入三维视频流的帧率。
优选地，所述方法进一步包括：动态地确定所述显示参数。
优选地，所述显示参数包括显示帧率和/或扫描模式。
优选地，所述扫描模式包括逐行扫描或隔行扫描。
优选地，所述输入三维视频流包括左和右参考帧或场的序列。
优选地，所述方法进一步包括：当与所述输入三维视频流相关的所述一个或多个本质特征包括具有每秒25帧帧率的电影模式并且所述显示参数包括50赫兹逐行扫描时，将左视图帧和相应的右视图帧不进行任何帧复制地转送到所述一个或多个显示设备。
优选地，所述方法进一步包括：当与所述输入三维视频流相关的所述一个或多个本质特征包括具有每秒24帧帧率的电影模式并且所述显示参数包括60赫兹逐行扫描时，为所述输入三维视频流中的每组四帧复制左视图帧或右视图帧，其中所述每组四帧包括两个连续左视图帧和相应的两个连续右视图帧。
优选地，所述方法进一步包括：基于所述输出视频流的处理期间最后缓冲的帧选择所述复制的帧。
根据本发明的一个方面，一种视频处理系统包括：
一个或多个电路和/或处理器，其用于确定与输入三维视频流相关的一个或多个本质特征的；以及
所述一个或多个电路和/或处理器用于生成一个或多个与所述输入三维视频流相对应的输出视频流，其中基于所确定的一个或多个本质特征和与一个或多个显示设备相对应的显示参数修改所述三维视频流的下拉，所述显示设备用于显示所述生成的一个或多个输出视频流。
优选地，所述与输入三维视频流相关的一个或多个本质特征包括电影模式。
优选地，所述一个或多个电路和/或处理器用于基于所确定的与所述输入三维视频流相关的一个或多个本质特征，确定所述输入三维视频流的帧率。
优选地，所述一个或多个电路和/或处理器用于动态地确定所述显示参数。
优选地，所述显示参数包括显示帧率和/或扫描模式。
优选地，所述扫描模式包括逐行扫描或隔行扫描。
优选地，所述输入三维视频流包括左和右参考帧或场的序列。
优选地，当与所述输入三维视频流相关的所述一个或多个本质特征包括具有每秒25帧帧率的电影模式，并且所述显示参数包括50赫兹逐行扫描时，所述一个或多个电路和/或处理器用于将左视图帧和相应的右视图帧不进行任何帧复制地转送到所述一个或多个显示设备。
优选地，当与所述输入三维视频流相关的所述一个或多个本质特征包括具有每秒24帧帧率的电影模式，并且所述显示参数包括60赫兹逐行扫描时，所述一个或多个电路和/或处理器用于为所述输入三维视频流中的每组四帧复制左视图帧或右视图帧，其中所述每组四帧包括两个连续左视图帧和相应的两个连续右视图帧。
优选地，所述一个或多个电路和/或处理器用于基于所述输出视频流的处理期间最后缓冲的帧选择所述复制的帧。
本发明的各种优点、各个方面和创新特征，以及其中所示例的实施例的细节，将在以下的描述和附图中进行详细介绍。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是根据本发明一实施例的支持TV广播和/或本地多媒体源的典型视频系统的框图；
图2A是根据本发明一实施例的用于提供三维视频通信的典型视频系统的框图；
图2B是根据本发明一实施例的用于生成包括三维视频的视频流的典型视频处理系统的框图；
图2C是根据本发明一实施例的用于处理和显示包括三维视频的视频输入的典型视频处理系统的框图；
图3A是与本发明一实施例相关的为传统二维视频流提供3∶2下拉的典型方法的示意图；
图3B是根据本发明一实施例的为三维视频流提供3∶2下拉的典型方法的示意图；
图3C是与本发明一实施例相关的为传统二维视频流提供2∶2下拉的典型方法的示意图；
图3D是根据本发明一实施例的为三维视频流提供2∶2下拉的典型方法的示意图；
图4是根据本发明一实施例的为三维视频执行下拉处理的典型步骤的流程图。
具体实施方式
本发明的特定实施例可以在用于三维视频下拉处理的方法和系统中找到。在本发明的各实施例中，视频处理设备可以用于接收和处理可能包括三维视频的输入视频流。所述视频处理设备可以确定与接收的输入三维视频流相关的本质特征并可以生成与所输入的三维视频流相对应的输出视频流，其中输入三维视频流的下拉可以被执行和/或调整，该执行和/或调整基于所确定的输入三维视频流的本质特征和与可以用于呈现所生成的输出视频流的显示设备相对应的显示参数。与所述输入三维视频流相关的所述本质特征可以包括电影模式，该电影模式可以表明所接收的输入三维视频流可以包括针对电影生成的和/或捕捉的视频内容。输入三维视频流的捕捉和/或生成帧率可以基于例如所确定的与输入三维视频流相关的本质特征确定。所述显示参数可以通过视频处理设备动态地确定。所述显示参数包括显示帧率和/或扫描模式，其中扫描模式可以包括逐行扫描或隔行扫描。所述输入三维视频流可以包括对应于左、右参考帧或场序列的立体三维视频内容。
在与所述输入三维视频流相关的本质特征包括具有每秒25帧帧率的电影模式并且所述显示参数包括50赫兹逐行扫描的情况下，所接收的左、右视图帧序列可以在不改变的情况下实现3∶2下拉。在与所述输入三维视频流相关的本质特征包括具有每秒24帧帧率的电影模式并且所述显示参数包括60赫兹逐行扫描的情况下，可以通过在所述输入三维视频流中的每组四帧中复制左视图帧或右视图帧来实现3∶2下拉，其中所述每组四帧包括两个连续左视图帧和相应的两个连续右视图帧。所述复制的帧可以基于所述输出视频流的所述处理期间最后缓冲的帧来选择。
图1是根据本发明一实施例的支持TV广播和/或本地多媒体流的典型视频系统的框图。如图1所示，显示了媒体系统100，所述媒体系统100可以包括显示设备102、地面微波电视(terrestrial-TV)头端104、TV塔106、TV天线108、有线电视(CATV)头端110、CATV分发网络112、卫星电视(satellite-TV)头端114、卫星电视接收器116、宽频电视(broadband TV)头端118、宽带网络120、机顶盒122和视听播放设备124。
所述显示设备102可以包括合适的逻辑单元、电路、接口和/或编码，用于播放包括视听数据的多媒体流。所述显示设备102可以包括，例如电视机、显示器、和/或其他显示和/或声音播放设备、和/或可以用于播放视频流和/或相应的音频数据的组件，该视频流和/或音频数据可以由显示设备102直接接收和/或通过中间设备例如机顶盒122间接接收，和/或从本地媒体刻录/播放设备和/或存储资源例如视听播放设备124接收。
地面微波电视头端104可以包括合适的逻辑单元、电路、接口和/或编码，可以通过一个或多个TV塔106实现TV信号的无线广播。所述地面微波电视头端104可以用于广播模拟和/或数字编码的地面微波电视信号。所述TV天线108可以包括合适的逻辑单元、电路、接口和/或编码，可以接收由所述地面微波电视头端104通过所述TV塔106传输的TV信号。所述CATV头端110可以包括合适的逻辑单元、电路、接口和/或编码，可以用于有线电视信号通信。所述CATV头端110可以用于广播模拟和/或数字格式的有线电视信号。所述CATV分发网络112可以包括合适的分发系统，该分发系统可以用于转发从所述CATV头端110到多个有线电视接收端的通信，该有线电视接收端包括例如所述显示设备102。例如，所述CATV分发网络112可以包括光纤和/或同轴电缆网络，该网络使得所述CATV头端110和所述显示设备102间在一种或多种情况下可通信。
所述卫星电视头端114可以包括合适的逻辑单元、电路、接口和/或编码，可以实现卫星电视信号至地面微波接收端例如所述显示设备102的下行链路通信。所述卫星电视头端114可以包括例如在卫星电视系统中的多个轨道卫星节点中的一个。所述卫星电视接收器116可以包括合适的逻辑单元、电路、接口和/或编码，用于接收所述卫星电视头端114传输的下线链路卫星电视信号。例如，所述卫星电视接收器116可以包括专用的抛物面天线，该天线可以用于接收来自于卫星电视头端的卫星电视信号，并反射和/或将接收到的卫星信号集中到一个焦点，在此可以使用一个或多个低噪声放大器(LNA)来降频所接收到的信号到对应的中间频率，并可以通过例如所述机顶盒122进一步处理以提取音频/视频数据。此外，因为大部分卫星电视下行链路源可以被安全地编码和/或置乱，所述卫星电视接收器116可以包括合适的逻辑单元、电路、接口和/或编码，可以用于解码、解扰扰、和/或解密接收到的卫星电视源。
所述宽频电视头端118可以包括合适的逻辑单元、电路、接口和/或编码，可以通过所述宽带网络120实现多媒体/TV广播。所述宽带网络120可以包括互联网络系统，用于在一个或多个网络标准的基础上在多个节点之间交换信息和/或数据，该网络标准包括例如传输控制协议/因特网互联协议(TCP/IP)。所述宽带网络120可以包括多个支持宽带的子网，包括例如卫星网络、电缆网络、DVB网络、英特网和/或类似局域或广域网，其均能将包括多媒体内容的数据传输到多个终端用户。可以通过基于铜轴和/或光纤有线连接、无线接口和/或其他基于标准接口的宽带网络120提供连接。所述宽频电视头端118和所述宽带网络120可以对应于例如网际协议电视(Internet ProtocolTelevision，IPTV)系统。
所述机顶盒122可以包括合适的逻辑单元、电路、接口和/或编码，可以用于处理通过所述显示设备102外设的一个或多个TV头端传输的TV和/或多媒体流/信号。所述视听播放设备124可以包括合适的逻辑单元、电路、接口和/或编码，用于提供视频/音频源给显示设备102。例如，所述视听播放设备124可以包括DVD播放器、蓝光(Blu-ray)播放器、数字视频录像机(DigitalVideo Recorder，DVR)、视频游戏控制台、监视系统和/或个人电脑(PC)视频采集/播放卡。当所述机顶盒122和所述视听播放设备124展示为独立的实体时，通过所述机顶盒122和/或所述视听播放设备124执行的至少一部分功能可以被直接集成到所述显示设备102中。
在操作过程中，所述显示设备102可以用于播放接收自一个可用广播头端和/或一个或多个本地源的媒体流。所述显示设备102可以通过TV天线接收例如通过TV塔106从地面微波电视机头端104发射的无线TV广播。所述显示设备102也可以接收有线电视广播，其可以经由所述CATV分发网络112由所述CATV头端110传送；卫星电视广播，其可以由所述卫星头端114传送并经由所述卫星接收器116接收；和/或网络媒体广播，其可以经由所述宽带网络120由所述宽频电视头端118传送。
TV头端可以在TV广播中使用各种格式化方案。历史上，TV广播已经使用过模拟调制格式化方案，包括例如NTSC、PAL和/或SECAM。音频编码方案可以包括使用单独的调制方案，例如BTSC、NICAM、单声道调频(mono FM)和/或AM。然而近来已经稳定的朝着基于数字TV(DTV)的广播技术发展。例如，所述地面微波电视头端104可以使用基于ATSC和/或DVB的标准来促进DTV地面微波广播。类似地，所述CATV头端110和/或所述卫星电视头端114也可以使用适当的编码标准来促进基于有线和/或卫星的广播。
所述显示设备102可以用于直接处理多媒体/TV广播来实现相应视频和/或音频数据的播放。作为另一种选择，外设设备，例如所述机顶盒122，可以被用于执行处理操作和/或功能，其可以用于从接收到的媒体流中提取视频和/或音频数据，并且提取到的音频和/或视频数据接着可以通过所述显示设备102播放。
在本发明的一个典型方面，所述媒体系统100可以用于支持三维视频。目前大部分视频内容以二维格式生成并播放。然而最近有向三维视频发展和/或使用的推动。在各种视频相关应用例如DVD/蓝光电影和/或数字电视中，三维视频更加令人满意，因为人类感知三维图像比起二维图像更加真实。各种方法可以用于捕捉、生成(在捕捉或播放时)和/或呈现三维视频图像。实现三维视频的较通用的方法中的一种是立体三维视频。在基于立体三维视频的应用中，所述三维视频影像通过呈现多个视图来产生，最通用的是两个视图：左视图和右视图，对应于观看者的左眼和右眼来向所播放的图像提供深度。就这个方面而言，可以捕捉和/或处理左视图和右视图视频序列以产生三维图像。接着左视图和右视图数据可以作为独立的流传输，或者可以合并到一个传输流并仅仅由终端用户接收/播放设备将其分离成不同的视频序列。所述立体三维视频可以使用TV广播来传送。就这方面而言，一个或多个TV头端可以用于直接和/或经由所述机顶盒122传输三维视频内容至所述显示设备102。所述立体三维视频的传送也可以通过使用例如DVD或蓝光光盘(Blu-ray disc)等多媒体存储设备实现，该多媒体存储设备可以用于存储随后将通过适当的例如所述视听播放器124等播放器播放的三维视频数据。各种压缩/编码标准可以用于在立体三维视频通信期间压缩和/或编码视图序列为传输流。例如，单独的左和右视图视频序列可以基于MPEG-2MVP、H.264和/或MPEG-4高级视频编码(Advanced Video Coding，AVC)或MPEG-4多视图视频编码(multi-view videocoding，MVC)压缩。
在本发明的各实施例中，在视频处理期间的显示和/或播放时刻可以对输入三维视频执行下拉处理。就这个方面而言，下拉是指与帧相关的操作以解决输入视频流帧率和显示帧率间的差异。例如电影通常以每秒24或25帧获取。然而大部分显示设备使用至少50或60赫兹的显示帧率。相应地，在输入视频流对应于电影的情况下，在视频输出生成期间实现的视频处理和/或在显示或播放期间的处理包括有帧操作以生成与所述显示设备帧率相匹配的输出视频流。就这个方面而言，输入视频流中的特定帧可以被复制，例如，以增加输出视频流中的帧的数量以便输出视频流具有适合于所述显示设备的帧率的帧率。
图2A是根据本发明一实施例的用于提供三维视频通信的典型视频系统的框图。如图2A所示，其中显示了三维视频传输单元(3D-VTU)202和三维视频接收单元(3D-VRU)204。
所述3D-VTU 202可以包括合适的逻辑单元、电路、接口和/或编码，可以用于生成包括编码的/压缩的三维视频数据的视频流，所述视频流可以传输到例如3D-VRU 204进行显示和/或播放。由所述3D-VTU 202生成的所述三维视频可以通过TV广播由一个或多个TV头端传输，所述TV头端为例如图1中的所述地面微波电视头端104、所述CATV头端110、所述卫星头端114和/或所述宽频电视头端118。由所述3D-VTU 202生成的所述三维视频可以存入多媒体存储设备，例如DVD或蓝光光盘。
所述3D-VRU 204可以包括合适的逻辑单元、电路、接口和/或编码，可以用于接收或处理包括三维视频数据的视频流以显示和/或播放。所述3D-VRU204可以用于例如接收和/或处理包括三维视频数据的传输流，其可以由例如所述3D-VTU 202通过TV广播直接传输。所述3D-VRU 204也可以用于接收由所述3D-VTU 202生成的视频流，该视频流可以经由多媒体存储设备间接传输，该多媒体存储设备通过所述3D-VRU 204和/或本地适当的播放设备直接播放。就这个方面而言，所述3D-VRU 204的操作通过例如图1中的所述显示设备102、所述机顶盒122和/或所述视听播放设备124实现。所述接收到的视频流可以包括编码的/压缩的三维视频数据。相应地，所述3D-VRU 204可以用于处理所述接收到的视频流以分离和/或提取传输流中的各种视频内容，以及可以用于解码和/或处理所提取的视频流和/或内容以便于显示操作。
在操作过程中，所述3D-VTU 202可以用于生成包括三维视频数据的视频流。所述3D-VTU 202可以编码例如三维视频数据为包括左视图和右视图序列的立体三维视频。所述3D-VRU 204可以用于接收和处理所述视频流以利于包含于所述视频流中的视频内容通过合适的显示设备播放。就这个方面而言，所述3D-VRU 204可以用于例如将接收到的传输流解复用成编码的三维视频流和/或附加的视频流。所述3D-VRU 204可以用于解码所述编码的三维视频数据以显示。
在本发明的一个典型方面，所述3D-VRU 204也可以用于对所接收的视频数据执行必要的下拉处理。就这个方面而言，在所接收的视频流帧率小于显示帧率的情况下，所述3D-VRU 204可以执行帧操作来生成具有适合于所述显示帧率的合适的帧率的用于显示和/或播放的输出视频流。例如，在所述接收的视频流具有每秒24帧的帧率和所述显示帧率为60赫兹的情况下，所述3D-VRU204可以用于执行3∶2下拉。在所述接收的视频流具有每秒25帧的帧率和所述显示帧率为50赫兹的情况下，所述3D-VRU 204可以用于执行2∶2下拉。
图2B是根据本发明一实施例的用于生成包括三维视频的视频流的典型视频处理系统的框图。如图2B所示，其中显示了视频处理系统220、三维视频源222、基本视图编码器224、加强视图编码器226和传输多路转换器228。
所述视频处理系统220可以包括合适的逻辑单元、电路、接口和/或编码，可以用于获取、生成和/或处理三维视频数据，并用于生成包括所述三维视频的传输流。所述视频处理系统220可以包括例如所述三维视频源222、所述基本视图编码器224、所述加强视图编码器226和/或所述传输多路转换器228。所述视频处理系统220可以集成到所述3D-VTU 202中以利于包括三维视频数据的视频和/或传输流的生成。
所述三维视频源222可以包括合适的逻辑单元、电路、接口和/或编码，可以用于获取和/或生成源三维视频内容。所述三维视频源222可以用于生成包括有来自于所获取的源三维视频内容的左视图和右视图视频数据的立体三维视频，以利于三维视频显示/播放。所述左视图视频和所述右视图视频可以分别传送给所述基本视图编码器224和所述加强视图编码器226以进行视频处理。
所述基本视图编码器224可以包括合适的逻辑单元、电路、接口和/或编码，可以用于例如以帧为基础编码来自于所述三维视频源222的左视图视频。所述基本视图编码器224可以用于利用各种视频编码和/或压缩算法(例如MPEG-2、MPEG-4、AVC、VC1、VP6中所规定的)和/或其他视频格式来针对来自于所述三维视频源222的左视图视频产生压缩的和/或编码的视频内容。此外，基本视图编码器224可传送信息例如基本视图编码的场景信息给加强视图编码器226以用于加强视图编码。
所述加强视图编码器226可以包括合适的逻辑单元、电路、接口和/或编码，可以用于例如以帧为基础编码来自于所述三维视频源222的右视图视频。所述加强视图编码器226可以用于利用各种视频编码和/或压缩算法(例如MPEG-2、MPEG-4、AVC、VC1、VP6中规定的)和/或其他视频格式来针对来自于所述三维视频源222的所述右视图视频产生压缩的和/或编码的视频内容。尽管在图2B中仅显示了一个加强视图编码器226，但本发明不限于此。相应地，任何数量的加强视图编码器可以用于处理由所述三维视频源222生成的左视图视频和右视图视频，而不脱离本发明各实施例的实质和范围。
所述传输多路转换器228可以包括合适的逻辑单元、电路、接口和/或编码，可以用于合并多个视频序列到一个合成的视频流。所述合成的视频流可以包括所述左(基本)视图视频序列、所述右(加强)视图视频序列和多个附加视频流(其包括例如广告流)。
在操作过程中，所述三维视频源222可以用于获取和/或生成源三维视频内容，来产生例如可以包括左视图视频和右视图视频立体三维视频数据以用于视频压缩。所述左视图视频可以通过所述基本视频编码器224编码生成左(基本)视图视频序列。所述右视图视频可以通过所述加强视图编码器226编码生成右(加强)视图视频序列。所述基本视图编码器224可以提供信息例如场景信息给所述加强视图编码器226以用于加强视图编码，用于实现例如深度数据的生成。所述传输多路转换器228可以用于合并左(基本)视图视频序列和右(加强)视图视频序列来生成合成的视频流。此外，一个或多个附加视频流可以通过所述传输多路转换器228被多路复用到所述合成的视频流中。接着所述得到的视频流可以传送给例如所述3D-VRU 204，如图2A所示。
在本发明的一个典型方面，可以以小于一个或多个相应的显示设备帧率的帧率生成和/或获取所述左视图视频和/或所述右视图视频，该显示设备用于播放编码到所述合成的视频流中的所述视频内容。例如，对于电影，所述左视图视频和/或所述右视图视频可以以24或者25帧每秒的帧率获取。相应地，在没有通过所述基本视频编码器224和/或所述加强视图编码器226执行帧操作和/或调整来解决特定显示帧率的情况下，可以在显示操作期间使用所述合成视频流时通过终端用户接收/显示设备执行下拉处理，如图2A所示。
图2C是根据本发明一实施例的用于处理和显示包括三维视频的视频输入的典型视频处理系统的框图。如图2C所示，其中显示了视频处理系统240、主处理器242、系统存储设备244、视频解码器246、视频处理器248、时间控制器250、视频缩放器252和显示设备256。
所述视频处理系统240可以包括合适的逻辑单元、电路、接口和/或编码，可以用于接收和处理包括三维视频数据的压缩的和/或编码的视频流，可以呈现重构的输出视频已进行显示。所述视频处理系统240可以包括例如所述主处理器242、所述系统存储设备244、所述视频解码器246、所述视频处理器248、所述视频缩放器252和所述时间控制器250。所述视频处理系统240可以集成到例如所述3D-VRU 204中，以利于包括三维视频内容的传输流的接收和/或处理，所述三维视频内容经由TV广播通过3D-VTU 202传输和/或从多媒体存储设备本地播放。所述视频处理系统240可以用于处理隔行扫描视频场和/或逐行扫描视频帧。就这个方面而言，所述视频处理系统240可以用于解压和/或向上变频隔行扫描视频和/或逐行扫描视频。所述视频场，例如隔行扫描场和/或逐行扫描视频帧也可以被称为场、视频场、帧或视频帧。在本发明的一个典型方面，所述视频处理系统240可以用于执行视频下拉，以消除输入视频流的帧率与产生的适合于所述显示设备256的输出视频流的所需帧率之间的差异。
所述主处理器242可以包括合适的逻辑单元、电路、接口和/或编码，可以用于处理数据和/或控制所述视频处理系统240的操作。就这个方面而言，所述主处理器242可以用于配置和/或控制各种其他组件和/或所述视频处理系统240的子系统的操作，这通过向各种其他组件和/或所述视频处理系统240的子系统提供例如控制信号来实现。所述主处理器242也可以在例如视频处理操作期间控制与所述视频处理系统240的数据传输。所述主处理器242也可以执行存储于和从内置缓存或所述系统存储设备244中取回的应用程序、程序和/或代码，以执行例如解压缩、运动补偿、插值、下拉或其他三维视频数据处理等各种视频处理操作。
所述系统存储设备244可以包括合适的逻辑单元、电路、接口和/或编码，可以用于存储包括可以实现所述视频处理系统240操作的参数和/或代码的信息。所述参数可以包括配置数据，代码可以包括例如软件和/或固件等操作码，但是所述信息并不局限于这个方面。此外，所述系统存储设备244可以用于存储三维视频数据，例如所述数据可以包括立体图形数据的左和右视图。所述系统存储设备244也可以用于缓冲视频数据，例如包括左和/或右视图视频序列的三维视频数据，当其在所述视频处理系统240中处理和/或从一个处理进程和/或组件传送到另一个的时候。所述主处理器242可以提供控制信号以管理到和/或从所述系统存储设备244的视频数据写/读操作。
所述视频解码器246可以包括合适的逻辑单元、电路、接口和/或编码，可以用于处理编码的和/或压缩的视频数据。所述视频数据可以通过例如MPEG-2传输流(transport stream)协议或MPEG-2程序流(program stream)封装格式压缩和/或编码。压缩的视频数据可以是包括帧或场的立体三维视频序列例如左和右视频序列的三维数据。就这方面而言，所述视频解码器246可以基于例如MPEG-2MVP、H.264和/或MPEG-4AVC或MPEG-4多视图视频编码(MVC)来解压所接收的独立的左和右视图视频。在本发明的其他实施例中，所述立体的左和右视图可以并入到一个帧序列中。例如，基于并行(side-by-side)、上下(top-bottom)、和/或棋盘格(checkerboard lattice)的三维编码器可以将包括左视图数据和右视图数据的三维流中的帧转换为单个压缩帧，并且可以使用MPEG-2、H.264、AVC和/或其他编码技术。在这种情形下，所述视频数据可以通过视频解码器246基于例如MPEG-4AVC和/或MPEG-2主规范(MP)来解码。所述视频解码器246也可以用于多路解复用和/或解析所接收的传输流以提取其中的流和/或序列，以便解压通过所接收的传输流承载的视频数据，和/或可以实现额外的安全操作例如数字权限管理。作为另一种选择，可以使用专用的多路信号分离器(未示出)。
所述视频处理器248可以包括合适的逻辑单元、电路、接口和/或编码，可以用于对所接收的视频数据执行视频处理操作，以利于生成可以通过所述显示设备256播放的输出视频流。所述视频处理器248可以用于例如生成视频帧，该视频帧可以通过所述显示设备256基于多个从所接收的视频流提取的视图序列提供三维视频播放。
所述时间控制器250可以包括合适的逻辑单元、电路、接口和/或编码，可以用于控制到所述显示设备256的视频输出操作的时间。就这个方面而言，所述时间控制器250可以用于确定和/或控制所述输出视频流的各种特征，所述输出视频流由所述视频处理系统240基于预先设定的和/或动态确定的准则例如显示设备256的运行参数生成。例如，所述时间控制器250可以确定所述显示设备256的分辨率、帧率和/或扫描模式。就这个方面而言，所述扫描模式指的是是否所述显示设备256使用逐行或隔行扫描。所述显示帧率指的是可以通过所述显示设备256显示的每秒钟帧的频率或数量。例如，在所述显示设备256以每60秒1080帧的帧率使用的情况下，所述时间控制器250可以确定所述显示设备256具有1920×1080的分辨率、60秒的帧率，以及正以逐行扫描模式操作，即使用帧而不是场。
所述视频缩放器252可以包括合适的逻辑单元、电路、接口和/或编码，可以用于调整所述输出视频流，该视频流由所述视频处理系统240基于例如通过所述时间控制器250提供的输入生成。就这个方面而言，所述视频缩放器252可以用于单独和/或与所述视频处理系统240的其他处理器和/或组件例如所述视频处理器248联合执行下拉操作。例如，在所述输入视频流具有24帧每秒的帧率并且由所述时间控制器250所确定的需要的输出视频流的帧率更高例如60赫兹的情况下，所述视频缩放器252可以确定一个或多个可以被复制用于提供所需要的输出帧率。
所述显示设备256可以包括合适的逻辑单元、电路、接口和/或编码，可以在由所述视频处理系统240的各种组件处理之后，用于显示重构的和生成的显示为输出视频流的视频数据的场和/或帧，并且可以呈现相应的图像。所述显示设备256可以是独立的设备，或者所述显示设备256和所述视频处理系统240可以作为一个单一设备实现。所述显示设备256可以实现三维视频显示。就这一方面而言，所述显示设备256可以利用三维视频图像呈现技术呈现出对应于左视图和右视图视频序列的图像。
在操作过程中，所述视频处理系统240可以用于促进包括三维视频数据的视频流的接收和/或处理，并且生成和/或处理通过所述显示设备256可显示的输出视频流。所述视频数据通过经由TV广播传输的传输流接收，处理所接收的传输流可以包括多路解码所述传输流以提取多个与例如视频序列和/或附加信息相对应的压缩的视频序列。多路解码所述传输流可以在所述视频解码器246中实现，或通过专用的多路信号分离器组件(未显示)来实现。所述视频解码器246可以用于接收包括以例如多视图压缩格式压缩的立体三维视频数据的传输流，以及用于解码和/或解压所述视频数据。例如，所接收的视频流可以包括左和右立体视图视频序列。所述视频解码器246可以用于解压所接收的立体视频数据，并且可以缓冲所解压的数据到所述系统存储设备244中。接着所解压的视频数据可以被处理以便能够通过所述显示设备256播放。所述视频处理器248可以用于基于解压的视频数据生成输出视频流，该输出视频流可以包括三维和/或二维视频流。就这个方面而言，使用三维视频时，所述视频处理器248可以解压缩对应于多个视图序列的参考帧和/或场(其可从系统存储设备244获取)，以生成相应的三维输出视频流，该三维输出视频流可以在由所述显示设备256显示之前通过所述视频处理系统204中的其他处理器和/或组件进行进一步处理。
在本发明的各实施例中，所述视频处理系统240可以用于在处理过程中或输入视频流的基础上提供下拉操作生成输出视频流以通过所述显示设备256播放。就这个方面而言，输出视频流可以通过所述视频处理器248基于输入视频流首先被生成和/或格式化。接着所述时间控制器250可以用于确定所述显示设备256的操作参数。例如，所述时间控制器250可以确定所述显示设备256的显示帧率、扫描模式和/或显示分辨率。可以通过例如所述视频处理器248来确定所接收的输入视频流的模式。就这个方面而言，所接收的输入视频流的模式是指是否该输入视频流包括电影内容。基于所确定的操作参数和输入视频流模式的确定，可以通过所述视频缩放器252进一步格式化和/或处理输出视频流，以便输出视频流可以适合于所述显示设备256播放。就这个方面而言，所确定的输入视频流的模式可以用于确定输入视频流的帧率。例如，在输入视频流的模式表明输入视频流对应于电影时，可以确定输入视频流的帧率为例如24或25帧每秒。相应地，输出视频流的帧率可以通过增加例如一个或多个复制帧来增加，以便输出视频流可以具有与所述显示设备256的显示帧率类似的帧率。
图3A是与本发明一实施例相关的为传统二维视频流提供3∶2下拉的典型方法的示意图。如图3A所示，其中显示了包括多个视频帧的二维输入视频流302。为了通信可以基于压缩标准编码所述二维输入视频流302。就这个方面而言，所述二维输入视频流302可以包括MPEG流。图3A中也显示了输出视频流304，其可以包括为了通过特定设备例如所述显示设备256显示而生成的多个视频帧。在播放操作期间，可以基于所述二维输入视频流302生成所述输出视频流304。
所述二维输入视频流302可以对应于针对电影而生成的和/或获取的视频数据。就这个方面而言，所述二维输入视频流302可以具有24帧每秒的帧率。所述二维输入视频流302可以通过TV广播传送。作为另一种选择，可以将所述二维输入视频流302编码入多媒体存储设备，例如DVD或蓝光光盘，以便使用适当的视听播放设备例如所述视听播放设备124实现播放。一旦接收到所述二维输入视频流302，便可以对其进行处理用于播放。
在操作过程中，当通过TV广播接收到或通过所述视听播放设备120从多媒体存储设备中读取到所述二维输入视频流302时，可以通过所述视频处理系统240基于所述二维输入视频流302生成所述输出视频流304。此外，在播放操作期间，可以基于例如通过所述事时间控制器250确定的所述显示设备256的显示操作参数对所述输出视频流304进一步格式化和/或处理以便通过显示设备256显示。就这个方面而言，当显示帧率为60赫兹并且使用逐行扫描时，所述输出视频流304被格式化以便可以通过所述显示设备256播放。相应地，在视频处理操作期间，在生成所述输出视频流304时，可以通过所述视频缩放器252对所述二维输入视频流302执行3∶2下拉。就这个方面而言，在所述二维输入视频流302具有24帧每秒的帧率的情况下，所述显示设备256使用逐行扫描，并且所述显示设备256的显示帧率为60赫兹时，可以执行3∶2下拉处理，针对二维输入视频流302中的每两帧，通过复制所述输入的两帧生成3个附加帧来产生所述输出视频流304中相对应的5个帧。例如，对于所述二维输入视频流302中的帧1和帧2(F1和F2)，帧F1可以被复制一次并且帧F2被复制两次，以在所述输出视频流304中产生5个相应的帧。
图3B是根据本发明一实施例的为三维视频流提供3∶2下拉的典型方法的示意图。如3B所示，其中显示了包括多个三维视频帧的三维输入视频流312，其对应于例如立体左和右视图序列。为了通信，可以基于压缩标准编码所述三维输入视频流312。就这个方面而言，所述三维输入视频流312可以包括MPEG流。图3B中也显示了包括多个视频帧的三维输出视频流314，所述多个视频帧为了通过特定的显示设备例如所述显示设备256显示而生成。所述三维输出视频流314可以基于所述三维输入视频流312生成。
所述三维输入视频流312可以对应于针对三维电影所生成和/或获取的视频数据。就这个方面而言，所述三维输入视频流312中的每一个左视图和右视图视频序列都是以24帧每秒的帧率生成的。相应地，所述三维输入视频流312在总体上可以具有48帧每秒的帧率。所述三维输入视频流312可以通过TV广播传输。作为另一种选择，可以将所述三维输入视频流312编码入多媒体存储设备例如DVD或蓝光光盘中，以便使用适当的视听播放设备例如所述视听播放设备124来实现播放。一旦接收到所述三维输入视频流312，便为了播放而对其进行处理。
在操作过程中，当通过TV广播接收到或通过所述视听播放设备120从多媒体存储设备中读取到所述三维输入视频流312时，通过例如所述视频处理系统240，基于所述三维输入视频流312生成所述三维输出视频流314。在所述显示设备256用于显示三维图像时，所述三维输出视频流314可以包括左视图和右视图帧。此外，在播放操作期间，可以基于通过所述时间控制器250确定的所述显示设备256的显示操作参数，进一步格式化和/或处理所述三维输出视频流314以便由显示设备256显示。就这个方面而言，当所述显示帧率为60赫兹并且使用逐行扫描时，可以格式化所述三维输出视频流314以便通过所述显示设备256显示。相应地，在视频处理操作期间，在生成或处理所述三维输出视频流314时，可以通过所述视频缩放器252对所述三维输入视频流312执行3∶2下拉。就这个方面而言，因为所述三维输入视频流312具有48帧每秒的总帧率，所述显示设备256使用逐行扫描，并且所述显示设备256的显示帧率为60赫兹，可以执行3∶2下拉处理，针对所述三维输入视频流312中的每两组左右帧，通过复制四个所述输入的两帧中的一个帧生成一个附加帧来产生总共5个帧，。例如，针对所述三维输入视频流312中的左帧1(L1)、右帧1(R1)、左帧2(L2)和右帧2(R2)，可以复制所述四帧中的一帧以产生所述三维输出视频流314中相对应的五个帧。在相关的图3B阐明的本发明的实施例中，可以复制帧R2。该方法是有效的，因为帧R2是在所述视频处理系统240中的视频处理操作期间最后缓冲的帧。然而，本发明并不需要做如此限定并且可以规定其他的选择标准。例如，因为在立体三维视频中，左视图可以用作主/基本视图，左视图帧可以比对应的右帧包括更多的数据。相应地，在上述的典型实施例中，在3∶2下拉操作期间可以复制帧L2而不是帧R2。
图3C是与本发明一实施例相关的为传统二维视频流提供2∶2下拉的典型方法的示意图。如图3C所示，其中显示了包括多个视频帧的二维输入视频流322。为了传输，可以基于压缩标准对所述二维输入视频流322进行编码。就这个方面而言，所述二维输入视频流322可以包括MPEG流。在图3C中也显示了输出视频流324，其可以包括为了通过特定设备例如所述显示设备256显示而生成的多个视频帧。可以基于所述二维输入视频流322生成所述输出视频流324。
所述二维输入视频流322可以对应于针对电影而生成的和/或获取的视频数据。就这个方面而言，所述二维输入视频流322可以具有25帧每秒的帧率。所述二维输入视频流322可以通过TV广播传输。作为另一种选择，可以将所述二维输入视频流322编码入多媒体存储设备例如DVD或蓝光光盘，以便使用适当的视听播放设备例如所述视听播放设备124实现播放。一旦接收到所述二维输入视频流322，便可以对其进行处理用于播放。
在实施中，当通过TV广播接收到或通过所述视听播放设备120从多媒体存储设备中读取到所述二维输入视频流322时，可以通过所述视频处理系统240，基于所述二维输入视频流322生成所述输出视频流324。此外，在播放操作期间，可以基于例如通过所述事时间控制器250确定的所述显示设备256的显示操作参数对所述输出视频流324进一步格式化和/或处理以便通过显示设备256显示。就这个方面而言，当扫描模式为逐行扫描并且所述显示帧率为50赫兹时，所述输出视频流324被格式化以便可以通过所述显示设备256播放。相应地，在视频处理操作期间，在生成或处理所述输出视频流324时，可以通过例如所述视频缩放器252对所述二维输入视频流322执行2∶2下拉处理。就这个方面而言，当所述二维输入视频流322具有25帧每秒的帧率，所述显示设备26的显示扫描模式为逐行扫描，并且所述显示设备26的扫描帧率为50赫兹时，可以执行2∶2下拉处理，针对二维输入视频流322中的每两帧，通过复制所述输入的两帧生成2个附加帧来产生所述输出视频流324中相对应的4个帧。例如，可以复制所述二维输入视频流322中的每一个帧1和帧2(F1和F2)，以在所述输出视频流324中生成4个相应的帧。
图3D是根据本发明一实施例的为三维视频流提供2∶2下拉的典型方法的示意图。如图3D所示，其中显示了三维视频流332，所述三维视频流包括多个与例如立体左右视图序列相关的三维视频帧。为了传输，可以基于压缩标准编码所述三维视频流332。在这点上，所述三维视频流332可以包括MPEG流。图3D还显示了三维视频输出流334，它包括为了通过特定的显示设备例如所述显示设备256显示而生成的多个视频帧。在播放操作期间，基于所述视频流332可以生成所述三维视频输出流334。
所述视频流332可以对应于为三维电影所生成的和/或获取的视频数据。在这点上，所述三维输入视频流332中的每一个左视图和右视图视频序列都是以25帧每秒的帧率生成的。相应地，所述视频流332总体上具有50帧每秒的帧率。所述视频流332通过TV广播进行传输。或者，可以将所述视频流332编码入多媒体存储设备，例如DVD或蓝光光盘，以使用合适的视听播放设备例如所述视听播放设备124进行播放。一旦接收到所述视频流332，便可以对其进行处理以播放。
在操作中，当通过TV广播接收到或通过所述视听播放设备120从多媒体存储设备中读取到所述视频流332时，可以通过例如所述视频处理系统240，基于所述视频流332产生所述三维输出视频流334。在所述显示设备256用于显示三维图像的情况下，所述三维输出视频流334可以包括左视图和右视图帧。此外，在播放操作期间，可以基于通过所述时间控制器250确定的所述显示设备256的显示操作参数，进一步格式化和/或处理所述三维输出视频流334以便由显示设备256显示。就这个方面而言，当所述显示帧率为50赫兹并且使用逐行扫描时，可以格式化所述三维输出视频流334以便通过所述显示设备256显示。相应地，在视频处理操作期间，当生成和/或处理所述三维输出视频流334时，通过例如所述视频缩放器252对所述视频流332执行2∶2下拉处理。在这点上，因为所述视频流332具有总共50帧每秒的帧率，所述显示设备256使用逐行扫描并且其显示帧率为50赫兹，所以在实现2∶2下拉时不需要复制帧。相应地，所述三维输出视频流334可以简单地包括有与所述三维输入视频流332中同样的帧。
图4是根据本发明一实施例的为三维视频执行下拉处理的典型步骤的流程图。如图4所示，其中显示了包括多个典型步骤的流程图300，执行该流程可以实现三维视频的3∶2下拉。
在步骤402中，可以接收和处理三维输入视频流。例如，所述视频处理系统240可以用于接收和处理包括有与立体三维视频相对应的压缩视频数据的输入视频流。在这点上，压缩视频数据可以对应于多个视图视频序列，其可被用于通过适当的播放设备呈现出三维图像。处理所接收的输入流可以包括生成相应的输出视频流，所述输出视频流可以通过相应的视频流用于播放输入视频流。在步骤404中，可以确定所接收的三维输入视频流的模式。在这点上，所接收的三维输入视频流的模式可以指所述三维输入视频流是否包括电影内容。例如所述视频处理器248和/或所述视频缩放器252可以用于确定所接收的输入视频流的模式。输入视频流的所确定的模式可以用于确定获得/生成帧率。在这点上，在所述三维输入视频流对应电影的情况下，每个视图序列例如左视图和右视图序列的帧率，可以为24或25帧每秒。在步骤406中，确定出显示设备在播放接收的输入视频流时所使用的显示操作参数。例如，所述时间控制器250可以用于确定所述显示设备256的扫描模式和/或显示帧率。在步骤408中，基于所确定的输入视频流的模式和/或显示设备的操作参数进一步处理输出视频流以产生合适的下拉。在这点上，当显示帧率高于输出视频流的帧率时，可以复制一个或多个帧以增加输出视频流的帧率，在相关的的附图3B和3D中有详细的描述。
本发明的各实施例可以包括一种用于实现三维视频的下拉处理的方法和系统。所述视频处理系统240可以用于接收和处理包括三维视频的输入视频流。通过例如所述视频处理器248，所述视频处理系统240可以确定与接收的输入三维视频流相关的本质特征，并且可以生成与输入三维视频流对应的输出视频流以通过所述显示设备256播放。通过所述视频处理系统240，基于输入三维视频流的所确定的本质特征和与可以用于显示所生成的输出视频流的显示设备256相对应的显示参数，可以执行和/或修改所接收的输入三维视频流的下拉处理。与所述输入三维视频流相关的本质特征可以包括电影模式，其表明接收的输入三维视频流包括有为电影所生成的和/或获取的视频内容。通过所述视频处理器248，基于例如与所述输入三维视频流相关的本质特征，可以确定所述输入三维视频流的获取和/或生成帧率。通过例如时间控制器250可以动态地确定所述显示参数。显示产生可以包括显示帧率和/或扫描模式，其中扫描模式可以包括逐行或隔行扫描。所述三维视频流可以包括对应于左和右参考帧或场序列的立体三维视频内容。
在与所述输入三维视频流相关的本质特征包括具有25帧每秒帧率的电影模式并且显示参数包括50赫兹逐行扫描的情况下，所述视频缩放器252转发接收的帧的左右视图序列而不用改变来实现3∶2下拉。在与所述输入三维视频流相关的本质特征包括具有24帧每秒帧率的电影模式并且显示参数包括60赫兹逐行扫描的情况下，所述视频缩放器可以通过复制所述输入三维视频流中每组四帧中的左视图帧或右视图帧来实现3∶2下拉，其中所述输入三维视频流中的每组四帧包括两个连续左视图帧和相应地两个连续右视图帧。通过例如所述视频缩放器252，可以基于在输出视频流处理期间最后缓冲的帧来选择所复制的帧。或者，通过所述视频缩放器252，在选择复制的帧时可以利用其他标准，例如根据要求的质量和/或清晰度参数。
本发明的另一个实施例提供一种机器和/或计算机可读存储和/或媒介，在上面所存储的机器代码和/或计算机程序中，至少含有一个代码段对机器和/或计算机是可执行的，能够令机器和/或计算机执行以上所描述的步骤来实现三维视频的下拉处理。
相应地，本发明可以在硬件、软件或软硬件中实现。本发明可以以集中式在至少一个计算机系统中实现，或者以分布式在分散在一些互联的计算机系统的不同网元上。任何计算机系统或其他适合实现所述方法的仪器都是合适的。典型的软件和硬件的结合体可以是一个有计算机程序的通用计算机系统，所述计算机程序被装载和开始执行之后，可以控制计算机系统用以实现所述的方法。
本发明也可以被嵌入计算机程序里面，所述计算机程序包括了实现所述方法的所有的特性，并且当在计算机系统中被加载之后可以实现这些方法。本文中所述的计算机程序意味着任何表达式、任何语言、代码或符号，这些指令集能够使系统具有信息处理能力，能过直接或者通过后面的一种或两种方式来实现特定的功能：a)转换成另外一种语言、代码或符号；b)复制为不同的物质形态。
虽然本发明是通过具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或材料，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。
相关申请的交叉引用：
本申请引用并主张申请日为2009年12月17日的美国临时专利申请No.61/287,682的优先权
本申请还引用：
申请日为2009年12月17日的美国临时专利申请No.61/287,624(代理案号：20677US01)；
申请日为2009年12月17日的美国临时专利申请No.61/287,634(代理案号：20678US01)；
申请日为2009年9月4日的美国专利申请No.12/554,416(代理案号：20679US01)；
申请日为2009年8月24日的美国专利申请No.12/546,644(代理案号：20680US01)；
申请日为2009年11月6日的美国专利申请No.12/619,461(代理案号：20681US01)；
申请日为2009年10月13日的美国专利申请No.12/578,048(代理案号：20682US01)；
申请日为2009年12月17日的美国临时专利申请No.61/287,653(代理案号：20683US01)；
申请日为2009年10月23日的美国专利申请No.12/604,980(代理案号：20684US02)；
申请日为2009年8月21日的美国专利申请No.12/545,679(代理案号：20686US01)；
申请日为2009年9月16日的美国专利申请No.12/560,554(代理案号：20687US01)；
申请日为2009年9月16日的美国专利申请No.12/560,587(代理案号：20688US01)；
申请日为2009年9月16日的美国专利申请No.12/560,592(代理案号：20689US01)；
申请日为2009年10月23日的美国专利申请No.12/604,936(代理案号：20690US01)；
申请日为2009年12月17日的美国临时专利申请No.61/287,668(代理案号：20691US01)；
申请日为2009年10月5日的美国专利申请No.12/573,746(代理案号：20692US01)；
申请日为2009年10月5日的美国专利申请No.12/573,771(代理案号：20693US01)；
申请日为2009年12月17日的美国临时专利申请No.61/287,673(代理案号：20694US01)；
申请日为2009年10月23日的美国专利申请No.12/605,039(代理案号：20696US01)；
申请日为2009年12月17日的美国临时专利申请No.61/287,689(代理案号：20697US01)；
申请日为2009年12月17日的美国临时专利申请No.61/287,692(代理案号：20698US01)。
以上参考申请以引用的方式整体并入本文中。

Claims (10)

1.一种视频处理方法，其特征在于，所述方法包括：
通过视频处理系统中的一个或多个处理器和/或电路执行如下步骤：
确定一个或多个与输入三维视频流相关的本质特征；以及
生成一个或多个与所述输入三维视频流相对应的输出视频流，其中基于所确定的一个或多个本质特征和与一个或多个显示设备相对应的显示参数修改所述三维视频流的下拉，所述显示设备用于显示所述生成的一个或多个输出视频流。
2.根据权利要求1所述的方法，其特征在于，所述与输入三维视频流相关的一个或多个本质特征包括电影模式。
3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：基于所确定的与所述输入三维视频流相关的一个或多个本质特征，确定所述输入三维视频流的帧率。
4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：动态地确定所述显示参数。
5.根据权利要求1所述的方法，其特征在于，所述显示参数包括显示帧率和/或扫描模式。
6.根据权利要求5所述的方法，其特征在于，所述扫描模式包括逐行扫描或隔行扫描。
7.根据权利要求1所述的方法，其特征在于，所述输入三维视频流包括左和右参考帧或场的序列。
8.根据权利要求7所述的方法，其特征在于，所述方法进一步包括：当与所述输入三维视频流相关的所述一个或多个本质特征包括具有每秒25帧帧率的电影模式并且所述显示参数包括50赫兹逐行扫描时，将左视图帧和相应的右视图帧不进行任何帧复制地转送到所述一个或多个显示设备。
9.根据权利要求7所述的方法，其特征在于，所述方法进一步包括：当与所述输入三维视频流相关的所述一个或多个本质特征包括具有每秒24帧帧率的电影模式并且所述显示参数包括60赫兹逐行扫描时，为所述输入三维视频流中的每组四帧复制左视图帧或右视图帧，其中所述每组四帧包括两个连续左视图帧和相应的两个连续右视图帧。
10.一种视频处理系统，其特征在于，所述系统包括：
一个或多个电路和/或处理器，其用于确定与输入三维视频流相关的一个或多个本质特征的；以及
所述一个或多个电路和/或处理器用于生成一个或多个与所述输入三维视频流相对应的输出视频流，其中基于所确定的一个或多个本质特征和与一个或多个显示设备相对应的显示参数修改所述三维视频流的下拉，所述显示设备用于显示所述生成的一个或多个输出视频流。
CN2010105937135A 2009-12-17 2010-12-17 一种视频处理方法和系统 Pending CN102104790A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US28768209P 2009-12-17 2009-12-17
US61/287,682 2009-12-17
US12/707,822 2010-02-18
US12/707,822 US20110149029A1 (en) 2009-12-17 2010-02-18 Method and system for pulldown processing for 3d video

Publications (1)

Publication Number Publication Date
CN102104790A true CN102104790A (zh) 2011-06-22

Family

ID=43754980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105937135A Pending CN102104790A (zh) 2009-12-17 2010-12-17 一种视频处理方法和系统

Country Status (4)

Country Link
US (1) US20110149029A1 (zh)
EP (1) EP2337365A2 (zh)
CN (1) CN102104790A (zh)
TW (1) TW201143362A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108235077A (zh) * 2016-12-15 2018-06-29 三星电子株式会社 图像提供装置、其控制方法以及图像提供系统
CN111432291A (zh) * 2020-03-20 2020-07-17 稿定（厦门）科技有限公司 视频分段取帧场景下的视图更新方法及装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9237366B2 (en) 2010-04-16 2016-01-12 Google Technology Holdings LLC Method and apparatus for distribution of 3D television program materials
US8873642B2 (en) * 2010-12-22 2014-10-28 Verizon Patent And Licensing Inc. Video content analysis methods and systems
US8872894B2 (en) * 2011-07-07 2014-10-28 Vixs Systems, Inc. Stereoscopic video transcoder and methods for use therewith
JP5733139B2 (ja) * 2011-09-27 2015-06-10 株式会社Ｊｖｃケンウッド 動きベクトル検出装置及び方法、並びに、映像信号処理装置及び方法
KR20130123526A (ko) 2012-05-03 2013-11-13 삼성전자주식회사 입체 영상 디스플레이 장치 및 입체 영상 디스플레이 방법
US9503645B2 (en) 2012-05-24 2016-11-22 Mediatek Inc. Preview system for concurrently displaying multiple preview images generated based on input image generated by image capture apparatus and related preview method thereof
US10554953B2 (en) * 2017-12-17 2020-02-04 Google Llc Distortion of video for seek in 360 degree video

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1756317A (zh) * 2004-10-01 2006-04-05 三星电子株式会社 变换多维视频格式的设备和方法
CN1766317A (zh) * 2005-09-23 2006-05-03 章年平 低功耗的微型气压泵
CN1913616A (zh) * 2005-08-10 2007-02-14 三星电子株式会社 处理视频信号的方法与装置
CN1941854A (zh) * 2005-09-26 2007-04-04 英特尔公司 在视频图像序列中检测视频格式信息
CN101031042A (zh) * 2006-02-28 2007-09-05 三星电子株式会社 具有帧率转换的图像显示设备及其方法
CN101266546A (zh) * 2008-05-12 2008-09-17 深圳华为通信技术有限公司 一种实现操作系统三维显示的方法和一种三维操作系统
CN101291415A (zh) * 2008-05-30 2008-10-22 深圳华为通信技术有限公司 一种三维视频通信的方法、装置及系统
CN101518067A (zh) * 2006-09-20 2009-08-26 夏普株式会社 图像显示装置及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317398A (en) * 1992-08-17 1994-05-31 Rca Thomson Licensing Corporation Video/film-mode (3:2 pulldown) detector using patterns of two-field differences
US5870137A (en) * 1993-12-29 1999-02-09 Leica Mikroskopie Systeme Ag Method and device for displaying stereoscopic video images
US5929902A (en) * 1996-02-28 1999-07-27 C-Cube Microsystems Method and apparatus for inverse telecine processing by fitting 3:2 pull-down patterns
US8479253B2 (en) * 2007-12-17 2013-07-02 Ati Technologies Ulc Method, apparatus and machine-readable medium for video processing capability communication between a video source device and a video sink device
US8830393B2 (en) * 2007-12-20 2014-09-09 Ati Technologies Ulc Method, apparatus and machine-readable medium for handling interpolated video content

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1756317A (zh) * 2004-10-01 2006-04-05 三星电子株式会社 变换多维视频格式的设备和方法
CN1913616A (zh) * 2005-08-10 2007-02-14 三星电子株式会社 处理视频信号的方法与装置
CN1766317A (zh) * 2005-09-23 2006-05-03 章年平 低功耗的微型气压泵
CN1941854A (zh) * 2005-09-26 2007-04-04 英特尔公司 在视频图像序列中检测视频格式信息
CN101031042A (zh) * 2006-02-28 2007-09-05 三星电子株式会社 具有帧率转换的图像显示设备及其方法
CN101518067A (zh) * 2006-09-20 2009-08-26 夏普株式会社 图像显示装置及方法
CN101266546A (zh) * 2008-05-12 2008-09-17 深圳华为通信技术有限公司 一种实现操作系统三维显示的方法和一种三维操作系统
CN101291415A (zh) * 2008-05-30 2008-10-22 深圳华为通信技术有限公司 一种三维视频通信的方法、装置及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108235077A (zh) * 2016-12-15 2018-06-29 三星电子株式会社 图像提供装置、其控制方法以及图像提供系统
CN108235077B (zh) * 2016-12-15 2022-08-26 三星电子株式会社 图像提供装置、其控制方法以及图像提供系统
CN111432291A (zh) * 2020-03-20 2020-07-17 稿定（厦门）科技有限公司 视频分段取帧场景下的视图更新方法及装置
CN111432291B (zh) * 2020-03-20 2021-11-05 稿定（厦门）科技有限公司 视频分段取帧场景下的视图更新方法及装置

Also Published As

Publication number Publication date
EP2337365A2 (en) 2011-06-22
TW201143362A (en) 2011-12-01
US20110149029A1 (en) 2011-06-23

Similar Documents

Publication Publication Date Title
TWI520567B (zh) ㄧ種用於視頻處理的方法和系統
CN102104790A (zh) 一种视频处理方法和系统
US9148646B2 (en) Apparatus and method for processing video content
CN102835047B (zh) 使用关于多视点视频流的链接信息发送数字广播流的方法和设备以及接收数字广播流的方法和设备
TWI519173B (zh) 組合式視訊圖框所組成之視訊串流及用來產生、傳送、接收及重現該視訊串流之方法與系統
US8665968B2 (en) Method and system for 3D video coding using SVC spatial scalability
US20110149022A1 (en) Method and system for generating 3d output video with 3d local graphics from 3d input video
US20110032333A1 (en) Method and system for 3d video format conversion with inverse telecine
CN102123249A (zh) 一种视频处理方法和系统
US20110134214A1 (en) Method and system for 3d video coding using svc temporal and spatial scalabilities
RU2605368C2 (ru) Способ формирования и восстановления стереоскопически совместимого видеопотока и связанные с ним устройства кодирования и декодирования
CN102845068A (zh) 用于3d电视节目素材的分配的方法和装备
US20110149040A1 (en) Method and system for interlacing 3d video
WO2013015116A1 (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
US20130322544A1 (en) Apparatus and method for generating a disparity map in a receiving device
US20110150355A1 (en) Method and system for dynamic contrast processing for 3d video
JP2013518458A (ja) デジタルビデオストリーム内の情報及び／又はアプリケーションデータを転送する方法、及び、ビデオストリームを生成及び再生するための関連装置
US20110149021A1 (en) Method and system for sharpness processing for 3d video
US9998800B2 (en) 3D broadcast service providing method and apparatus, and 3D broadcast service reproduction method and apparatus for using image of asymmetric aspect ratio
KR20130063603A (ko) 부가 영상 부복호화 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1158416

Country of ref document: HK

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110622

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1158416

Country of ref document: HK