CN101669361B - 用于改善低分辨率和低帧速率视频的方法和系统 - Google Patents

用于改善低分辨率和低帧速率视频的方法和系统 Download PDF

Info

Publication number
CN101669361B
CN101669361B CN2008800123343A CN200880012334A CN101669361B CN 101669361 B CN101669361 B CN 101669361B CN 2008800123343 A CN2008800123343 A CN 2008800123343A CN 200880012334 A CN200880012334 A CN 200880012334A CN 101669361 B CN101669361 B CN 101669361B
Authority
CN
China
Prior art keywords
frame rate
video
vision signal
frame
video content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008800123343A
Other languages
English (en)
Other versions
CN101669361A (zh
Inventor
尼克希尔·巴拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National LLC
Xinatiekesi Ltd By Share Ltd
Original Assignee
Mawier International Trade Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mawier International Trade Co Ltd filed Critical Mawier International Trade Co Ltd
Publication of CN101669361A publication Critical patent/CN101669361A/zh
Application granted granted Critical
Publication of CN101669361B publication Critical patent/CN101669361B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0229De-interlacing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0414Vertical resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0421Horizontal resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode

Abstract

本发明提供了用于改善在大屏幕显示器上显示的低分辨率和/或低帧速率视频内容的视觉质量的系统和方法。视频格式转换器可被用于在视频被显示前处理来自媒体提供设备的低分辨率和/或低帧速率的视频信号。视频格式转换器可以检测视频的真实分辨率并且相应地对视频信号进行去交错。视频格式转换器还可以确定视频的帧速率并且可以在接收到的帧速率低于一定阈值的情况下增大帧速率。对于质量也低的视频,视频格式转换器可以减少压缩瑕疵并且应用用于增强视频的外观的技术。

Description

用于改善低分辨率和低帧速率视频的方法和系统
相关申请的交叉引用
基于35 U.S.C.§119(e),本申请要求在2007年2月16日提交的美国临时申请No.60/902,027的优先权。该申请还与在2008年1月4日提交的美国专利申请No.11/969,705有关。这两个在先申请都整体通过引用结合于此。
技术领域
本发明涉及电子设备,更具体地涉及具有视频能力的便携式媒体设备。
背景技术
在因特网上提供的视频正成为流行的媒体格式。传统上,因特网提供的视频被显示在屏幕尺寸相对小的个人计算机(PC)或膝上型计算机的监视器上。然而,随着联网的进步,因特网内容可被显示在具有更大屏幕的其他设备上,例如被显示在电视屏幕上。因特网提供的视频不同于通常显示在电视上的视频,这是因为因特网提供的视频一般具有低分辨率。因此,当因特网内容被示出在大屏幕电视上时,画面中可能有非常少的细节,从而产生不令人愉快的观看体验。
另外,因特网上的许多视频是用户生成的,并且因而由不熟悉专业视频生成技术或者无法使用专业视频生成技术的业余人士创建。例如,用户生成的视频可能是在手持摄像机上摄制的。因此,由于震动的相机,即使对于不改变的背景,逐帧视频也可能改变。对于给定的数据速率,这导致不成比例的压缩视频数据量被用于背景和其他静态图像。由于该原因以及其他原因,用户生成的内容不仅常常受低分辨率之苦,而且受瑕疵(artifact)之苦。瑕疵在这里指代显示中由视频压缩造成的令人不快的部分。常见的瑕疵包括块状瑕疵和蚊式噪声。块状瑕疵指低分辨率视频的块状外观,其通常见于图像中的更少细节区域。蚊式噪声是由截去高频亮度和/或色度系数造成的振铃效应,其通常见于视频中的锐边缘周围。当具有低分辨率和压缩瑕疵的视频被放大为大尺寸时,画面质量可能变得无法接受地不佳。
另外,大屏幕显示设备在准备供在该设备上显示的视频信号时执行的处理技术可能恶化低分辨率视频的呈现。由显示设备执行的一种这样的处理技术是去交错,一种改变在屏幕上绘制像素的方式的过程。显示设备通过以足够快的速率(例如,每秒50帧)绘制连续的图像来显示视频。通常,显示器使用逐行扫描或交错扫描来逐像素地呈现这些图像像素。逐行扫描从屏幕的顶部到底部绘制出图像中的每个像素。因此,在每次扫描之后,逐行显示显示整个帧。另一方面,交错扫描绘制出图像中的奇数像素行。然后,在下一时刻,偶数像素行被绘制出。交错扫描因而通过交替地显示连续图像的奇数行和偶数行来创建视频。这些半分辨率图像被称为场。
目前,许多显示设备(例如,一些数字电视、液晶显示器(LCD)等)是逐行显示器。然而,诸如电视广播标准之类的视频传输标准一般使用交错。因此,这些显示设备常常包括用于将交错视频转换为逐行视频的去交错电路。存在若干种由数字显示设备使用的不同去交错技术。这些技术试图用尽可能高的视觉质量来显示交错视频。因此,为了有效地显示电视广播和其他交错视频,电视和其他显示设备中的去交错电路正变得愈发复杂。
通常,由于这些去交错和其他用于有效处理更高分辨率视频信号的新型复杂技术,观众变得期望其电视机上的生动且高质量的图像。特别地,这些技术正被结合到常见的电视机中,以用更高的亮度、对比度和分辨率来显示大型图像。然而,当对低分辨率并且/或者低帧速率并且可能压缩不良的视频执行时,这些去交错和/或其他复杂处理技术可能不有效。因此,当前没有在大屏幕设备上呈现诸如电视广播之类的高分辨率视频内容和诸如因特网内容之类的低分辨率视频内容的有效方式。因而期望改善低分辨率视频在大屏幕显示器上的外观。
除了来自因特网的视频之外,便携式媒体播放器或其他便携式媒体设备可能提供由该设备捕捉或者从别处获得的视频。这些便携式设备能够存储和提供大量视频内容。事实上,许多这些便携式媒体播放器可以存储80吉字节(Gigabyte)或更多的视频内容。利用这么多的存储器,便携式媒体播放器可以存储和回放多个小时的视频内容。因此,用户可以容易地随身携带具有大量视频内容的设备。
另外,随着技术的进步,这些便携式媒体设备变得愈发复杂,并且可能因而具有越来越多的功能。例如,存在具有视频捕捉、存储和回放能力的蜂窝电话。因此,便携式媒体设备所存储的媒体可包括由该设备自身捕捉的视频。当所捕捉的视频在便携式媒体设备的小型显示器上回放时,该视频的质量在分辨率和帧速率方面可能是可以接受的。然而,由于便携式媒体设备显示器的小尺寸,可能希望在诸如电视之类的大屏幕显示器上显示所捕捉的视频内容。然而,由于观众对电视和其他大屏幕设备上的内容质量的高期望,当便携式媒体设备所捕捉的视频在大屏幕上播放时,观众可能发现视频内容不可接受地不佳。
因此,还希望提供在大屏幕设备上有效显示从便携式媒体设备捕捉的视频或者用低分辨率和/或低帧速率捕捉的其他视频的方法或系统。
发明内容
因此,提供了用于改善在高分辨率、大屏幕设备上显示的低分辨率和/或低帧速率视频的视觉外观的系统和方法。
根据本发明的一个方面,视频格式转换器被用于在由视频提供设备(例如,便携式媒体播放器)提供的视频被大屏幕设备处理之前处理该视频。视频格式转换器可被嵌入在位于视频提供设备和大屏幕设备两者的外部的称为坞或坞站的设备中。在一些实施例中,坞可以针对特定类型的视频提供设备而设计,或者可以针对特定品牌的视频提供设备而设计。例如,坞可以具有一接口,该接口被成形为使得仅可以接受来自某一品牌的便携式媒体播放器的输入。在这些实施例中,视频提供设备和坞可以利用非标准或者专用接口来通信。坞还可被用作视频提供设备的充电站。
可以或者或可以不位于坞内的视频格式转换器可以处理具有低分辨率的视频。低分辨率视频常常利用针对更高分辨率视频的视频传输标准来发送,因此低分辨率视频看来具有比其实际具有的分辨率更高的分辨率。因此,为了确定是否利用低分辨率技术对视频信号进行去交错和/或处理,视频格式转换器可以检测视频内容的真实分辨率。在一些实施例中,如果视频转换器检测到视频是低分辨率的并且是交错的,那么视频转换器的去交错器可以利用基于真实分辨率而确定的技术对接收到的视频信号进行去交错。在其他实施例中,视频转换器的去交错器可以将接收到的视频信号转换为其真实分辨率并且对转换后的视频信号进行去交错。总之,视频转换器产生逐行视频信号(例如,HDMI或DVI格式的,等等)。因此,可能不适合于低分辨率视频的大屏幕设备的去交错电路可被避免。
根据本发明的另一方面,视频格式转换器可以采用额外的处理步骤来改善质量也低的低分辨率视频的外观。在一些实施例中,为了确定视频信号是否需要额外的处理,视频转换器可以寻找视频信号中的低质量签名。如果视频转换器确定视频信号是低质量的,那么视频转换器首先利用用于减少蚊式噪声和块状瑕疵的MPEG降噪等技术来减少视频信号中的瑕疵。由于低质量压缩,压缩视频文件中的许多信息可能是噪声信息而非真实视频信息。因此,在该噪声信息被减少或除去之后,可能有较少视频数据留下。减少后的视频信号然后被增强以改善降噪后视频的外观。在一些实施例中,增强视频信号涉及增大画面的对比度。在一些实施例中,增强视频信号涉及添加胶片颗粒以产生纹理的幻觉并且掩盖图像中的缺陷。用于增强视频信号的这些以及其他技术在画面中有极少细节时改善观众的视觉感知。
根据本发明的另一方面,视频格式转换器可以在视频被提供给大屏幕显示器之前处理该视频。视频格式转换器可以利用例如运动补偿帧速率转换来执行将低帧速率视频转换为更高帧速率视频的帧速率转换。视频格式转换器可以确定接收到的视频的帧速率,并且可以忽略作为其他帧的重复或者因其他原因而不必要的帧。在一些实施例中,视频格式转换器可以将视频转换为更高的、中等帧速率,该中等帧速率可被大屏幕显示设备再次处理以生成甚至更高帧速率的最终视频。利用该技术,便携式媒体播放器或者任何其他适合的视频提供设备可以捕捉或者以其它方式获取低帧速率的视频,而不牺牲视频内容的外观。因此,视频捕捉设备的视频捕捉电路可被极大减少,或者视频的大小可被减小。这可以是有利的,特别是对具有有限能力和其他约束的便携式设备而言。
在一些实施例中,视频格式转换器可以包括去交错器和帧速率转换器两者,以及任何相关或者附加电路。利用上述技术的组合,视频转换器可以将低分辨率和低帧速率的视频转换为可被有效显示在大屏幕显示器上的视频。因此,视频提供设备可以提供特定组合的(低)帧速率和(低)分辨率的视频内容,该视频内容可被视频格式转换器有效地处理以供在大屏幕显示器上显示。可替代地,视频格式转换器可以专门针对特定视频提供设备所提供的特定视频特性而设计。
因此,在一些实施例中,用于处理供在视频显示器上显示的视频内容的视频格式转换器可被提供。视频格式转换器可以包括用于接收对应于视频内容的视频信号的装置。接收到的视频信号可以具有比捕捉视频内容的帧速率更高的第一帧速率。视频格式转换器还可以包括用于根据接收到的信号来检测捕捉视频信号的帧速率的装置以及用于基于检测到的帧速率来执行帧速率转换的装置。用于执行帧速率转换的装置可以将接收到的视频信号转换为具有比捕捉视频内容的帧速率高得多的帧速率的视频内容。
视频格式转换器可以包括用于将接收到的视频信号从第一传输标准转换为第二传输标准的装置。第二传输标准可以与第一传输标准相同。可替代地,第二传输标准可以与比第一传输标准所关联于的第一帧速率更高的第二帧速率相关联。例如,视频内容可以是以15fps捕捉的,第一传输标准的第一帧速率可以是30fps,并且第二传输标准的第二帧速率可以是60fps。在一些实施例中,视频信号所被转换为的第二帧速率可以对应于视频显示器的帧速率。
用于检测帧速率的装置可以包括用于检测视频信号中的帧重复的装置。例如,用于检测帧重复的装置可以将一个帧中的像素与连续帧中的等同像素相比较。在一些实施例中,视频格式转换器还可以包括用于确定捕捉视频内容的帧速率是否低于预定阈值的装置,以及用于在该帧速率低于预定阈值的情况下绕过用于执行帧速率转换的装置的装置。
在一些实施例中,用于执行帧速率转换的装置可以包括用于确定视频内容的连续帧中的对象运动的装置,以及用于基于所确定的运动来添加中间帧的装置。可以仅基于视频内容的原始帧而非后来添加的其他中间帧来确定对象的运动。为了执行帧速率转换,用于执行帧速率转换的装置可以包括用于执行将接收到的视频信号转换为具有捕捉视频内容的帧速率的视频信号的第一转换的装置,以及用于执行将转换后的视频信号转换为具有第二帧速率的视频信号的第二转换的装置。第二帧速率可以比第一帧速率高得多。
视频转换器可以包括用于根据接收到的视频信号来检测捕捉视频内容的分辨率的装置。该分辨率可以小于发送视频信号的分辨率。为了改善接收到的视频信号的外观,视频格式转换器可以包括用于基于检测到的分辨率对视频信号进行去交错的装置。
在一些实施例中,视频格式转换器可以改善低质量视频信号。视频格式转换器可以包括用于检测视频内容的压缩质量的装置,并且可以包括用于在压缩质量高于阈值的情况下绕过用于减少瑕疵的装置的装置。为了改善低质量信号,视频格式转换器可以包括用于减少视频信号中的瑕疵的装置。用于减少瑕疵的装置可以执行3D降噪和MPEG降噪中的一种或多种。视频格式转换器还可以包括用于增强视频信号的装置,该装置可以在瑕疵已被减少之后对视频信号进行操作。为了增强视频信号,用于增强的装置可以执行颜色重新映射、对比度增强和胶片颗粒添加中的一种或多种。
在本发明的另一实施例中,用于获取和处理供在显示设备上显示的视频内容的系统被提供。该系统可以包括用于以第一帧速率在便携式媒体设备(例如,具有电话能力的便携式设备)上捕捉视频内容的装置,以及用于将所捕捉的视频内容转换为具有第二帧速率的视频内容的装置。用于转换所捕捉内容的装置可以在充当便携式媒体设备与显示设备之间的接口的装置上,并且第二帧速率可以比第一帧速率高得多。例如,第一帧速率可以基于用户设定或者便携式媒体设备或充当接口的设备的能力。
充当便携式媒体设备与显示设备之间的接口的设备还可以向便携式媒体设备提供电力。可选地,该设备的主要功能可以是处理供在显示设备上显示的视频内容。
在一些实施例中,所捕捉的视频内容可以具有第一帧速率,并且所捕捉的视频内容可被以高于第一帧速率的帧速率(例如,基于视频传输标准)或者以第一帧速率提供给充当接口的设备。在一些实施例中,所捕捉的视频内容可被利用专用接口提供给充当接口的设备,并且系统还可以包括用于利用视频传输标准对充当接口的设备上的第二帧速率的视频内容进行编码的装置。
附图说明
在考虑到结合附图作出的以下详细描述之后,本发明的上面以及其他目的和优点将会显而易见,在整个附图中相似的标号指代相似的部件,并且在附图中:
图1示出了与显示设备相耦接的视频提供设备;
图2图示出可以连接到显示设备的若干个视频提供设备;
图3图示出二维(2D)去交错与三维(3D)去交错之间的差异;
图4图示出使用坞或其他硬件来处理视频信号的系统;
图5示出了例示性的视频格式转换器;
图6示出了用于捕捉和处理低帧速率和/或低分辨率视频内容的例示性流程图;
图7至图8是用于处理低分辨率视频信号的例示性流程图;
图9至图10是用于处理低帧速率视频的例示性流程图;
图11至图12是用于改善低分辨率和/或低帧速率视频的视觉质量的例示性流程图;
图13A是可使用所公开技术的示例性硬盘驱动器的框图;
图13B是可使用所公开技术的示例性数字通用盘的框图;
图13C是可使用所公开技术的示例性高清晰度电视的框图;
图13D是可使用所公开技术的示例性车辆的框图;
图13E是可使用所公开技术的示例性蜂窝电话的框图;
图13F是可使用所公开技术的示例性机顶盒的框图;以及
图13G是可使用所公开技术的示例性媒体播放器的框图。
具体实施方式
图1示出用于向显示设备提供视频内容的例示性系统100。系统100中的显示设备104可以是电视或者任何其他可以显示视频的设备。视频内容106可以由视频提供设备102提供,以供在显示设备104上显示。视频提供设备102可以是便携式媒体播放器、DVD播放器、机顶盒,或者任何其他可以提供视频的适合设备。
视频内容106可以由视频提供设备捕捉。视频提供设备102可以包括用于捕捉和编码视频的视频捕捉电路105。为了生成视频,视频捕捉电路105可以按照预定的时间间隔(例如,每33毫秒)捕捉连续的图像。从而,视频捕捉电路可以使用帧内和/或帧间编码技术实时编码所捕捉的帧。连续图像的时间间隔可以对应于视频提供设备102最终提供给显示设备104的相应视频的帧速率。
在一些实施例中,视频捕捉电路105可以包括用于将来自另一源(例如,因特网、DVD等)的视频内容转换为适合于在视频提供设备上存储和/或显示的视频内容。例如,视频捕捉电路105可以将分辨率为720x480并且帧速率为每秒30帧的DVD视频转换为每秒15帧的320x240的视频。因此,如果视频内容被存储在视频提供设备上,则视频内容可以占用该设备中的更少存储器。另外,如果视频提供设备102是便携式媒体播放器并且包括小屏幕显示器,那么取决于在该小屏幕显示器上显示的视频内容的预期分辨率和/或帧速率,该更低分辨率和/或帧速率的视频仍可以在便携式媒体设备的显示器上有效显示。
由视频提供设备102提供给显示设备104的视频内容106可以是由视频捕捉电路105捕捉并且在视频提供设备的存储器中存储的内容,或者视频内容106可以是在另一个源(例如,因特网等)处存储并且从其获得的内容。视频内容可以由具有视频捕捉能力的另一设备捕捉,并且利用任何适合手段被传送到视频提供设备102以供存储。可替代地,视频提供设备可以直接从外部源(例如,因特网、DVD等)获得并提供视频内容106。视频内容106可以具有任何适合的分辨率(例如,320x240、160x120、640x480、1920x1080等),可以使用任何适合的编码(例如,未经压缩、H.264、MPEG等),可以具有任何适合的帧速率(例如,每秒15帧(15fps)、30fps、60fps等),并且可以具有任何其他适合的视频特性。如果视频内容106是由视频捕捉电路105捕捉的,那么视频内容的特性可以取决于视频捕捉电路的能力或者取决于用户设定。
视频提供设备102包括处理电路108。处理电路108将视频内容106转换为适合于传输给显示设备104的视频信号。视频信号可以具有任何适合的格式。例如,视频信号可以是复合视频、S-视频或者分量视频(例如,YPbPr、RGB等)格式。视频信号可以利用诸如高清晰度多媒体接口(HDMI)或者数字视频接口(DVI)格式之类的数字格式。处理电路108可以包括用于将视频内容106映射到给定视频传输标准的视频信号的编码器。处理电路108可以包括例如国家电视系统委员会(NTSC)、逐行倒相(PAL)或者SECAM编码器。如果视频内容106的实际分辨率低于视频传输标准所设置的分辨率,那么处理电路108可以通过重复像素来伪造更高的分辨率。类似地,如果视频内容106的实际帧速率低于标准所设置的帧速率,那么处理电路108可以通过重复帧来伪造更高的帧速率。为了简明,在适当的时候,“视频内容”和“视频信号”在下文中可以互换地使用。例如,“低分辨率视频信号”指代对应于低分辨率视频内容的视频信号。
来自处理电路108的视频信号可以利用链路110被发送到显示设备104。链路110可以是一个或多个线缆或其他有线连接。链路110还可以是无线连接。显示设备104从链路110接收到所发送的视频信号。显示设备104可以包括处理电路112和显示屏114。显示屏114向用户显示视频内容106的经处理版本。显示屏114可以具有任何适合的分辨率(例如640x480、1280x720等)并且可以以任何适合的帧速率(例如,60fps、120fps等)显示视频内容。处理电路112处理从链路110接收到的视频信号并且准备供在显示屏114上显示的视频。处理电路112可以基于显示屏114的分辨率、帧速率和/或其他特性来处理视频信号,并且可以尝试改善视频的视觉质量。
为了逐行显示或者在每个时刻示出全帧的显示,处理电路112包括用于给交错视频去交错的电路。交错视频是由以下两类场构成的视频:由图像中的像素的奇数行组成的奇数场和由图像中的偶数行组成的偶数场。为了创建交错视频,以每个时间间隔(例如,对于NTSC而言是每16.67毫秒,对于PAL而言是每20毫秒,等等)按照交替方式显示这两种类型的场。因此,奇数场每隔一个时间间隔被显示,而偶数场在剩余时间间隔中被显示。因为在给定时刻仅利用显示器中的一半像素,因此交错视频至多具有显示器的一半分辨率。另一方面,逐行视频可以利用多达显示器的全分辨率。将交错视频转换为逐行视频涉及被称作去交错的过程。去交错涉及利用不完全的信息来确定偶数场中的奇数像素行并且/或者确定奇数场中的偶数像素行。下面将结合图2来讨论显示设备104的更多属性。
图2中的系统200是包括多类视频提供设备的例示性系统。系统200中的视频提供设备包括便携式媒体设备208(例如,视频MP3播放器、支持视频的移动电话、个人数字助理(PDA)、便携式DVD播放器、结合不同便携式设备的能力的混合设备,等等)、DVD播放器210、机顶盒206、盒式磁带录像机(VCR)212和计算机/膝上型计算机设备204。应当明白,系统200中可以包括任何其他类型的视频提供设备,并且因而系统200不限于图2所示的视频提供设备。例如,系统200可以包括除DVD播放器210之外的支持可移动数字盘(例如,HD-DVD和蓝光盘)的视频提供设备。因此,虽然在遍及本说明书的各实施例中提到DVD,但是应当明白这些实施例可被应用于HD-DVD和蓝光。
在一些实施例中,便携式媒体设备208可以是无法播放视频但是可以存储视频内容和向显示设备提供视频内容的便携式设备(例如,便携式硬盘驱动器等)。系统200中的每个视频提供设备可以支持上面结合图1描述的格式和标准中的一种或多种,或者任何其他适合的格式或标准。例如,便携式媒体设备208可以经由链路214提供复合和S-视频格式的视频信号。链路214可以包括任何数目的有线(例如,线缆等)或者无线链路。虽然便携式媒体设备208在图2和图4中被示出为提供复合和S-视频格式的视频信号,但是这仅仅是一个例示性示例。在一些实施例中,便携式媒体设备208可以支持代替复合和S-视频的或者除复合和S-视频之外的其他适合输出格式,例如上面结合图1讨论的格式中的任何格式。例如,便携式媒体设备208可以支持交错或逐行的分量视频,并且/或者可以支持一种或多种数字视频接口,例如HDMI或DVI。
如图2所示,显示设备104可以具有用于接收视频信号的一种或多种插座/接口202(未在图1中示出),其中每种接口可以支持上面结合图1描述的视频格式中的一种或多种。例如,显示设备104可以具有用于复合视频、S-视频、分量视频、HDMI和DVI的单独输入插座或者连接器。因此,系统200中的任何视频提供设备可以经由插座202中的一个或多个来提供视频内容。如果链路214是无线的,那么插座/接口202可以是网络接口。在系统200中,虽然便携式媒体设备208被示出为通过符合视频和S-视频插座而耦接到显示设备104,但是其他视频提供设备中的任何视频提供设备可以利用这些或其他插座中的一个或多个插座来耦接到显示设备104。因此,多种类型的视频提供设备可以利用相同接口向显示设备104提供视频内容。
处理电路112(图2)可以接收来自插座/接口202之一的视频信号。处理电路112可以处理所接收的视频信号,以在显示屏114上显示视频内容。处理电路112可以执行帧速率转换,以将视频信号的帧速率转换为显示设备所使用的帧速率。例如,处理电路可以接收来自电视广播的每秒60场的视频信号,并且将该广播转换为全分辨率的每秒60帧。为了将电视广播或者任何其他交错视频转换为基于帧的视频,处理电路112可以使用3维(3D)去交错将接收到的视频信号转换为逐行格式。3D去交错可以通过空间内插(例如,像素重复、对相邻像素求平均,等等)并且/或者通过时间结合(例如,结合奇数和偶数场,等等)从半分辨率场获得全帧。因此,3D去交错器可以利用(例如,空间和时间的)所有相关信息来对视频信号进行去交错。这些处理技术可能适合于已经是有些高分辨率并且具有更高帧速率的视频,例如意图在电视上显示的视频(例如,机顶盒206所接收到的电视广播、来自DVD播放器210的商业电影,等等)。
然而,视频内容的特性常常取决于视频提供设备的类型而变化。虽然许多设备提供高分辨率(例如,720x480)、高帧速率(例如,每秒60场)和高质量(专业生成的)视频,但是许多视频提供设备可能提供更低分辨率(例如,320x240、160x120,等等)、更低帧速率(例如,15fps或者每秒30场,等等)并且/或者更低质量(例如,业余人士生成的)视频。例如,计算机/膝上型计算机设备204和机顶盒206可以提供常常是低分辨率并且/或者是用户生成的因特网内容。系统200(图2)中示出的视频提供设备中的任何设备可以提供经高度压缩并且因而质量低下的视频内容。另外,便携式媒体设备208由于其小屏幕尺寸而可能提供具有低分辨率的视频。在一些情况下,便携式媒体设备208或者任何其他视频处理设备可以有意地使更高分辨率/帧速率的视频转换为低分辨率和/或低帧速率的视频以节省设备中的存储器。另外,便携式媒体设备208或者任何其他视频提供设备可以提供由便携式设备自身捕捉的内容。因为视频内容是实时捕捉并编码的,并且可能不希望在便携式设备上实现大型、高功耗并且/或者复杂的电路,因此便携式媒体设备的视频捕捉电路可能为了分辨率而牺牲帧速率,或者反之亦然。就是说,如果视频的帧是以高分辨率捕捉的,那么编码高分辨率帧所需的编码电路可能使以高速率对帧进行编码变得不切实际。因此,便携式媒体设备208所捕捉的视频内容可能具有低分辨率和/或低帧速率。
在一些实施例中,便携式媒体设备208或者任何其他视频提供设备可以其捕捉和编码设定。这些设定可以由用户指定。例如,便携式媒体设备208可以具有使得用户能够在更高分辨率/更低帧速率的设定与更低分辨率/更高帧速率的设定之间进行选择的开关。用户可以随后基于其希望拍摄的视频类型来选择要使用哪个设定。例如,用户可以选择以高分辨率捕捉相对静止的风景的视频。在一些实施例中,便携式媒体设备208或者任何其他视频提供设备可以使得用户能够有目的地以低于视频捕捉电路的能力的质量来捕捉视频。因此,用户可以选择以低帧速率和/或低分辨率保存视频以节省设备上的存储器。在一些实施例中,视频提供设备可以基于各对象的运动量来自动改变其捕捉和编码设定。
在一些实施例中,便携式媒体设备208或者任何其他视频提供设备可以改变其用于转换来自外部源的视频的设定。便携式媒体设备208可以使得用户能够例如通过拨动设备上的开关或者从设备上的菜单输入偏好来选择被转换的视频的帧速率。因此,用户可以选择以低帧速率和/或低分辨率保存外部提供的视频来节省设备上的存储器。在一些实施例中,视频提供设备可以基于分析视频内容并确定视频中的运动量来改变其转换设定。
通常,由于视频提供设备的多样性、视频提供设备可以具有的视频捕捉能力或设定的多样性以及视频压缩/编码算法的多样性,提供给显示设备104的视频的分辨率和质量可以相当大地变化。然而,处理电路112通常不知道视频信号的来源,并且因而可能以与高分辨率、高帧速率信号基本相同的方式处理低分辨率和/或低帧速率的视频信号。诸如上述的3D去交错技术之类的这些处理技术对于低分辨率、低帧速率和/或低质量的视频信号而言可能不同样有效。事实上,在一些实例中,应用意图用于高分辨率和高帧速率的视频的处理技术实际上可能降低低分辨率和/或低帧速率视频信号的视觉质量。
图3图示出可能由于将显示设备104的3D去交错电路用于例如由便携式媒体设备208提供的低分辨率视频而造成的一种不利效果。便携式媒体设备208可能存储并显示具有诸如320x240之类的低分辨率的视频。320x240静态视频的一个帧(或者说两个组合场)由图像/帧302表示,其中每个正方形表示一个像素。就是说,图像302表示视频中的一系列不变图像,使得得到的视频在一时间段内不动。在用户希望在另一显示设备(例如,显示设备104)上观看在便携式媒体设备208中存储的视频时,视频内容可以通过链路214作为视频信号发送。在一些实施例中,所发送的视频信号具有一标准格式,该标准格式要求视频信号以更高的分辨率(例如,640x480)发送。因此,便携式媒体设备208可以简单地增加(例如,倍增)行的数目和每行中的像素数目。图像304表示图像302在转换为640x480之后的奇数场。偶数场与奇数场相同。显然,虽然图像304好像具有640x480分辨率似的被发送,但是图像304不具有640x480的分辨率。不知道视频信号的来源的显示设备104的处理电路112可能盲目地应用3D去交错306,好像视频是真的640x480分辨率视频似的。处理电路112因而注意到视频在连续的时间实例中不变,并且组合奇数和偶数场。对于正常的640x480视频,组合将产生具有完全信息的全640x480分辨率帧。然而,对作为640x480而发送的320x240视频的3D去交错306产生图像308。注意到图像308不是对原始图像302的改进,并且如果被以更大比例显示,图像308将会是明显的锯齿状和块状。
对于用更高分辨率标准发送的低分辨率视频,2D去交错可以产生具有更好视觉质量的结果。2D去交错不利用时间信息进行插入,而是基于周围的已知像素来插入未知像素。这种形式的去交错可能对以640x480发送的320x240视频更适合,因为从组合奇数和偶数场未得到信息。在一些实施例中,2D去交错可能涉及向量内插,其中每个图像中的边缘(例如,对象的轮廓,等等)被确定,边缘的角度被计算,并且未知像素根据位于沿着计算出的边缘角度的相邻像素而被插入。利用向量内插对场304执行2D去交错310可以产生图像312。图像312可以是对图像308的改进,因为锯齿状和块状的边缘已被明显平滑。向量内插和其功能在Sahu等人的美国专利申请No.11/294,709中有更详细的描述,该申请整体通过引用被结合于此。
类似地,处理电路112中的帧速率转换电路可能恶化具有低帧速率的视频的外观。处理电路112可能选择适合于具有标准、更高帧速率(例如,60fps)的视频的帧速率转换技术。然而,对于被转换为更低帧速率(例如,15fps)的视频内容或者以更低帧速率捕捉的视频内容,处理电路112用来增大帧速率的技术可能不适合。例如,便携式媒体设备208可以以15fps捕捉视频内容,并且可以通过重复每个帧来符合视频标准,以便以30fps发送视频。处理电路112可以将接收到的视频看作真的30fps视频,并且可以相应地执行帧速率转换。因为视频不是真的处于处理电路所预期的帧速率,因此处理电路112所执行的转换技术可能不有效,或者可能恶化所显示的视频内容的外观。
因此,为了改善低分辨率、低帧速率和/或低质量视频的呈现,对应于低分辨率视频的视频信号在被处理电路112接收之前可被处理(图1)。视频信号可以首先被视频格式转换器处理以将视频内容转换为更适合于由显示设备中的处理电路112处理的内容,而不是将来自视频提供设备的视频信号直接馈送到显示设备104,如图1和图2所示。在一些实施例中,视频格式转换器可被嵌入在位于视频提供设备和显示设备两者外部的设备中。图4示出了利用这种外部设备(例如,坞408)的例示性系统400。低分辨率和/或低帧速率的视频内容可以由作为一类视频提供设备102的便携式媒体设备208提供。便携式媒体设备208可以以任何适合的方式和利用任何适合的朝向与坞408相耦接。例如,便携式媒体设备208可以位于坞408的顶部,或者便携式媒体设备208可以紧邻坞408放置,放置在坞408内部,或者放置在坞408下面。在一些实施例中,便携式媒体设备208可能需要接触坞408以在便携式媒体设备208和嵌入式视频格式转换器之间形成链路214。在其他实施例中,链路214可以包括另一耦接设备(例如,导线)。低分辨率和/或低帧速率的视频内容可被存储在便携式媒体设备内部的存储装置402中。视频内容可能是从视频捕捉电路401捕捉的或是从任何其他适合源获得的。处理电路404可以利用结合图1中的处理电路108描述的技术中的任何技术将所存储的视频内容转换为视频信号。视频信号可以通过链路214被发送到坞408。转换器410可以将来自链路214的视频信号转换为被输出给链路412的视频信号,被输出给链路412的视频信号当被显示在显示设备104上时将比未使用转换器时(例如图1中的系统100)在视觉上更令人愉悦。经转换的视频信号可以具有任何适合的格式(例如,复合、分量、HD,等等),该格式可以或者可以不与便携式媒体设备208所提供的视频信号的格式相同。
图5示出了包括检测器502、视频信号处理器508的视频格式转换器410的一个实施例的更详细视图。检测器502可以检测从链路110接收到的视频信号的任何适合视频特性。检测器502可以包括帧速率检测器504和分辨率检测器506,或者任何其他适合的检测器(例如,用于检测编码质量,等等)。虽然检测器504和506被示出为单独的块,但是两个功能可以由单个块执行。帧速率检测器504和分辨率检测器506分别可以检测从链路214接收到的视频信号的真实帧速率和真实分辨率。检测器504和506可以把与真实帧速率和真实分辨率有关的信息经由链路514和516发送到处理块508。检测器504和506可以提供帧速率/分辨率的实际值、所发送的值与实际值的比率、基于真实帧速率/分辨率对是否处理接收到的视频信号的确定,或者任何其他和接收到的视频信号有关的适合信息。如果检测器发送对是否处理视频信号的确定,那么检测器502可以另外确定真实分辨率和帧速率是否在预定阈值之下。预定阈值可以由用户设置或者被硬编码/硬连线到检测器502中。因此,如果320x240视频被作为640x480发送,那么分辨率检测器506可以输出值320x240、比率0.5、320x240的预定阈值的YES信号,或者任何其他格式的适合值。
视频信号处理器508可以处理从链路214接收到的视频信号。视频信号处理器508可以包括去交错器510和帧速率转换器512。如图5所示,接收到的视频信号在经由链路412被发送到显示设备之前可被去交错器510处理然后被帧速率转换器512处理。然而应当明白,帧速率转换可以在去交错之前执行,或者这两个块所执行的步骤可被交叉或整合。事实上,这两个步骤可以由单个整合组件或块来执行。可以在信号处理器508中实现其他模块,这些模块可以执行其他视频信号处理功能,例如缩放、视频增强,等等。另外,去交错器510和帧速率转换器512分别可以执行除去交错和帧速率转换之外的处理功能。在视频转换器410的一些实施例中,去交错器510和帧速率转换器512中的一个或两个可被不同的处理功能代替。
继续参考图5,视频格式转换器410可以将链路214上的复合视频或S-视频输出或者便携式媒体设备可以支持的任何其他交错视频格式转换为链路412处的逐行格式,例如HDMI。因此,为了辅助转换为逐行格式,去交错器510可以对交错视频信号进行去交错。去交错器510可以基于检测器502提供的信息来选择性地对视频信号进行操作。例如,如果分辨率检测器506检测到以640x480发送的视频信号的分辨率实际上是320x240,那么去交错器510可以利用适合的技术对视频信号进行去交错。另一方面,如果检测到的分辨率是640x480,那么去交错器510可以不对视频信号进行操作,并且可以允许显示设备的处理电路执行去交错。如果确定去交错器510应当对接收到的视频信号进行去交错,那么去交错器510可以基于分辨率检测器506提供的信息来选择具体处理技术。对于上面结合图3讨论的示例,去交错器510可以利用2D去交错而非3D去交错对视频信号进行去交错。因此,因为利用逐行格式将视频发送到显示器104,因而可以避免显示设备104的可能不适合的去交错电路。
除了对视频信号进行去交错之外,帧速率转换器512还可以通过相应调节帧速率将接收到的视频信号从一种格式转换为另一种格式。帧速率转换器512可以基于检测器502提供的信息选择性地对视频信号进行操作。例如,如果帧速率检测器504确定以30fps发送的视频信号的帧速率实际是15fps,那么帧速率转换器512可以利用适合的技术将该视频信号转换为实际为30fps的视频。另一方面,如果检测到的帧速率是30fps,那么帧速率转换器512可以不对视频信号进行操作。如果确定帧速率转换器512应当转换接收到的视频信号,那么转速率转换器512可以基于检测器502提供的信息选择具体帧速率转换技术。帧速率转换器512可以使用运动补偿帧速率转换或者任何其他适合技术。运动补偿帧速率转换器确定视频中的对象的运动,并且基于对象如何移动的知识来添加中间帧。运动补偿帧速率转换和其功能在Biswas等人的美国专利申请No.11/803,535中有更详细的描述,该申请整体通过引用被结合于此。
通过利用帧速率转换器512处理视频信号,视频内容可被以低帧速率(例如,10或15fps)捕捉或被转换为低帧速率视频,但是可以在具有低帧速率视频的更少典型不利效果的情况下被显示。特别地,帧速率转换器512可以产生比视频提供设备所提供的视频更适合于在显示设备上显示的视频。在一些实施例中,帧速率转换器512可以将低帧速率视频转换为可以在显示设备上有效显示的视频,而无需进一步的帧速率转换。例如,以15fps或30fps捕捉的视频内容可被帧速率转换器512利用适合的帧速率转换技术转换为60fps。帧速率转换器512可以利用以下方法在现有帧之间向15fps和30fps的视频添加新帧,该方法使得新视频看起来好像每个帧(包括每个新帧)是由视频提供设备实际捕捉似的,从而有效创建可被显示在显示设备上的真实60fps视频。该视频可以比在未使用帧速率转换器512的情况下可能得到的具有重复帧的视频在视觉上令人愉悦得多。
在其他实施例中,帧速率转换器512可以将低帧速率的视频转换为具有可以由显示设备成功处理的帧速率的视频。例如,在预期到显示设备104将利用适合于真30fps视频内容的技术将30fps视频进一步转换为60fps的情况下,帧速率转换器512可以将15fps的视频转换为30fps的视频,而非将视频转换为60fps。在该情形下,因为视频格式转换器410所提供的30fps视频可以具有真30fps视频的属性,因此显示设备104中的帧速率转换器可以有效。因此,视频捕捉电路401可以捕捉或转换为低速率的帧而不牺牲具有高帧速率的外表,并且便携式媒体设备所捕捉的视频内容(或者任何其他低帧速率视频内容)可被有效地显示在大屏幕显示设备上。
通过利用适合的去交错器和适合的帧速率转换器,兼具有低分辨率和低帧速率的视频可被有效地显示在显示屏114上。去交错器510可以在某种程度上处理不希望的低分辨率效果,并且帧速率转换器512可以在某种程度上处理不希望的低帧速率效果。因此,如果视频内容被便携式媒体设备的视频捕捉电路401捕捉,那么便携式设备可以根据去交错器和帧速率转换器的组合能力在获得更高分辨率或者更高帧速率之间划分资源。就是说,取决于去交错器和帧速率转换器的具体实施例,视频格式转换器可能对处理一些分辨率和帧速率组合的视频信号特别有效。因此,便携式媒体设备208可被设计为使得其提供特别适合于视频格式转换器所执行的处理技术的视频内容。可替代地,视频格式转换器可被设计为使得其特别适合处理特定媒体提供设备所提供的视频信号。
在一些实施例中,图5的视频格式转换器410可以不包括检测器502。在一些实施例中,视频格式转换器410可被设计为与特定类型的视频提供设备(例如,指定品牌的便携式媒体设备)一起工作,并且因而可以预期来自链路214的预定帧速率和分辨率。在一些实施例中,这些预定视频特性可以不对应于特定传输标准。例如,视频提供设备可以直接提供320x240分辨率的视频内容,即使这可能不是标准的传输分辨率也是如此。因为视频提供设备和坞408可被设计为彼此一起工作,因此视频提供设备可以利用这种或者另一种非标准的、专用或者半专用的格式来发送视频信号。预期该非标准格式的坞可以适当地处理该非标准视频信号。因此,视频提供设备和坞408可以包括非标准接口电路(未示出)。在一些实施例中,耦接两个设备的链路214也可以是非标准连接器、线缆或者其他耦接设备。应当明白,可以出于任何原因(例如为了减少视频提供设备和/或坞中的必要处理的量)而使用这种利用专用或半专用格式的技术。该技术还可以用于任何类型的视频提供设备,例如蜂窝电话或者便携式音乐播放器。
可以预期,图5的视频格式转换器410可以包括帧速率检测器504和分辨率检测器506之一。在这些实施例中,视频格式转换器410可以期望帧速率或者分辨率是恒定的或者是由视频传输方案指定的,并且可以检测另一视频特性。出于相同或者类似的原因,还可以预期到视频格式转换器410可以包括去交错器510和帧速率转换器512中的仅一者。因此应当明白,图5的视频格式转换器410仅仅是例示性的。
回头参考图4,坞408可以另外包含除视频格式转换器410之外的电路或功能。如果链路214是无线的,那么坞408可以包含用于接收和处理无线视频信号的网络接口。在一些实施例中,接收到的视频信号可以是压缩格式的(例如,H.264、MPEG4、VC-1、MPEG2,等等)。坞408因而可以包括对压缩视频信号进行解压缩并且将解压缩后的视频信号提供给视频转换器410的电路。在一些实施例中,坞408可以支持利用一条链路(例如,一条线缆、无线链路)接收多种视频格式。于是,坞408可以另外包括多格式解码器(未示出)。多格式解码器可以基于视频的格式来预处理接收到的视频信号。例如,对视频信号进行解码可以涉及根据所使用的压缩类型对压缩视频信号进行解压缩,如上所述。
除了处理由便携式媒体设备提供的视频信号之外,在一些实施例中,坞408(图4和图5)可以另外包括用来给便携式媒体设备提供电力并且给便携式媒体设备的电池充电的电源电路。因此,在这些实施例中,便携式媒体设备在向显示设备提供视频内容时将不会被耗尽电力。该特征对于具有除捕捉和提供视频内容之外的功能的便携式媒体设备而言特别有利。例如,如果便携式媒体设备208是具有视频捕捉能力的蜂窝电话,则该蜂窝电话在被用于向显示设备(例如电视)提供视频之后仍将具有充足的电力来接收和维持电话呼叫。因此,电话的用户将无需担心多久或多频繁将电话用于提供视频。另外,即使当便携式媒体设备不在向显示设备提供视频时,坞408也可以充当充电站。
在一些实施例中,图4中的坞408是针对指定类型的便携式媒体设备(例如,视频MP3播放器)而设计的。例如,坞408可以包括用于将便携式媒体播放器耦接到该设备的接口。该接口可被成形为仅接受来自一种品牌或者一类便携式媒体设备的输入。可替代地,接口可以包括专用连接器。在其他实施例中,坞408的接口可以支持一组便携式媒体设备、一组DVD播放器、一组计算机/膝上型计算机设备,或者一组任何其他类型的视频提供设备。在其他实施例中,坞408可以支持一组视频提供设备(例如,所有提供NTSC的视频提供设备,等等)。因此,在这里描述的本发明不限于便携式媒体设备,而是可被应用于提供低分辨率和/或低帧速率视频的任何设备。因而应当明白,坞408可以包括用于将电子设备耦接到坞的任何类型的接口(例如,物理连接器、网络、专用,等等)。
另外,视频格式转换器410(图4)和结合坞408描述的任何其他电路无需被嵌入在位于视频提供设备和显示设备外部的设备中。在一些实施例中,视频格式转换器410可以是显示设备104中的处理电路112(图1)的一部分。例如,视频格式转换器410可被嵌入在电视中,并且可以基于视频的分辨率、帧速率和/或质量而选择性地处理接收到的视频信号。可替代地,视频格式转换器410可以处理所有接收到的视频信号,而不管视频特性。在其他实施例中,视频格式转换器410可以是视频提供设备中的处理电路的一部分。例如,视频格式转换器410可被嵌入在计算机/膝上型计算机设备中,并且可以在发送之前基于视频的分辨率、帧速率和/或质量选择性地处理视频信号。可替代地,视频格式转换器410可以在发送之前处理所有视频信号,而不管视频特性。嵌入在设备中的视频格式转换器可以由用户启用或禁用(例如,通过按下电视遥控器上的按钮、通过选择计算机上的设定,等等)。
现在参考图6,根据本发明实施例的用于捕捉和处理视频内容的流程图600被示出。在步骤602,在便携式媒体设备上捕捉视频内容。便携式媒体设备可以是蜂窝电话、便携式音乐播放器,或者任何其他具有视频捕捉能力的适合便携式媒体设备(例如,图2的便携式媒体设备208)。可以用任何适合的视频特性来捕捉视频内容。在一些实施例中,由于便携式媒体设备的复杂性或功率约束,便携式媒体设备的捕捉能力可能受限。因此,在一些实施例中,媒体设备可以把其更多资源用于提供高分辨率视频(例如,640x480,等等),并且可以限制视频的帧速率(例如,每秒10或者15帧,等等)。
在捕捉视频内容之后,所捕捉的视频内容可被提供给充当便携式媒体设备与显示设备之间的接口的设备。在一些实施例中,该充当接口的设备可主要适用于处理来自便携式媒体设备的视频信号。该接口设备可以是坞站,例如上面结合图4和图5描述的坞408。为了方便,将假定该接口设备是坞。因此,通过(例如,利用图2-4的链路214)将便携式电子播放器耦接到坞可以将所捕捉的视频内容提供给坞。在一些实施例中,该耦接可以涉及将物理适配器或连接器附接在设备的端口之间。
继续参考图6,视频内容可以作为使用标准传输格式(例如,NTSC,等等)的视频信号被提供给坞(例如,图4至图5的坞408)。在一些实施例中,为了使用传输格式的分辨率和帧速率来提供视频信号,便携式媒体设备可以重复像素和/或帧/场来伪造标准视频。在本发明的其他实施例中,在步骤604处可以利用专用或半专用通信接口来提供视频内容。在这些实施例中,便携式媒体设备和坞可被设计为一起工作。因此,便携式媒体设备可以发送对应于所捕捉视频内容的实际帧速率和分辨率的视频信号。对于上面描述的仅帧速率较低(例如,15fps)的示例,可以用重复的帧/场、利用标准传输标准来提供视频内容,或者可以利用专用接口以较低帧速率提供视频内容。
继续参考图6,在步骤606,被提供给坞的视频内容可被转换为更高分辨率和/或帧速率的内容。该转换可以利用适合于所捕捉视频的实际分辨率和实际帧速率的技术来执行。下面结合图7至图12来描述用于对视频信号进行去交错和对低分辨率和/或低帧速率的视频内容执行帧速率转换的技术。因此,对于视频内容仅具有低帧速率的示例,坞可以执行(例如,使用流程图900或1000的技术)将视频内容的实际帧速率转换为更高帧速率的帧速率转换。该更高帧速率可以是显示设备(例如,电视)所期望的帧速率,或者其可以是适合于作为视频显示的帧速率。因此,仍可以利用上面描述的技术适当地显示以正常或高分辨率但是以低帧速率捕捉的视频。
因此,如图6的流程图600所示,在本发明的一些实施例中,坞(例如,图4的坞408)可以利用专用接口将便携式媒体设备提供的视频信号转换为显示设备(例如,电视)可辨别的视频信号。这样,坞可以充当便携式媒体设备与显示设备之间的适配器。这对于便携式媒体设备而言可以是有利安排,因为专用接口可以简化便携式设备中的电路。另外,坞不仅可以利用适当格式向显示设备提供该视频信号,坞还可以提高帧速率和/或分辨率以及执行用于改善显示设备上的视频内容的外观的任何其他功能。即使便携式媒体设备使用显示设备可辨别的标准传输格式(例如,NTSC,等等),对显示设备上的视频呈现的改善也是非常希望的。
另外,如流程图600所示,由具有有限视频捕捉和编码能力的便携式媒体设备提供的内容仍可被有效显示在显示设备(例如,电视)上。对于上面描述的示例,便携式媒体设备可以把其更多处理能力用于提供高分辨率但是低帧速率的视频。如果被直接显示,则该视频对于用户而言可能看起来是有所不同的图像序列。然而,通过利用具有帧速率转换器的坞站(例如,图4的坞408),高分辨率视频的帧速率可被有效增大,从而允许视频内容作为真视频被显示在显示设备上。这对于便携式媒体设备而言可能是有利的,因为利用该技术,这些便携式媒体设备的有限捕捉/编码能力可以不限制其提供供在更大屏幕设备上显示的内容的能力。虽然该示例针对高分辨率且低帧速率的视频内容,但是应当明白,本发明还适用于低分辨率/高帧速率和低分辨率/低帧速率的情形。
图7中的流程图700示出了视频格式转换器410(图4和图5)可用来对视频信号进行去交错和处理的例示性步骤。视频转换器410在步骤702处接收对应于视频内容的视频信号。视频内容可以是由便携式媒体设备(例如,蜂窝电话)捕捉的内容。视频信号可以具有任何适合的格式,并且可以对应于传输标准。在步骤704处,视频转换器410可以根据视频信号来检测视频内容的分辨率,该分辨率可以是用来捕捉视频内容的分辨率。在一些实施例中,视频转换器410可以仅采用特定类型或品牌的视频提供设备的视频输入。例如,坞408(图4)可以包括被成形为适合一类设备的接口,坞408可以包括专用或者半专用接口,或者视频转换器410可被嵌入在特定视频提供设备中。在这些实施例中,步骤704处的分辨率检测可以更简单,因为分辨率可以基于视频提供设备的已知编码而被硬编码或者硬连线。另外的专用或者其他更高级的连接可以包括嵌入的分辨率信息。在一些实施例中,针对某些类型的产品,还可以响应于用户输入(例如响应于用户明确选择特定分辨率的内容)而提供分辨率信息。例如,当下载在线内容时,常常可以明确选择用哪种分辨率来下载在线内容。对于结合图3讨论的示例,视频格式转换器410可被硬连线或者硬编码为期望所发送的每个视频的分辨率是320x240,或者等同地期望实际分辨率是所发送分辨率的一半。
在图4中的系统400的其他实施例中,视频格式转换器410可被用于多种视频提供设备。因此,在流程图700(图7)中的步骤702处接收到的视频信号的分辨率或者缩放因数可能发生变化。在这种情况下,步骤704处的视频内容的分辨率检测更加复杂。视频转换器例如可以具有检测视频信号中的像素重复的前端电路(例如,分辨率检测器506)。该检测器可以比较在垂直和/或水平方向上相邻的像素,或者检测器可以比较周围像素的数目。用于给定比较的像素范围(pixel radius)或者类似度量可以是可编程的。另外,为了形成对分辨率的确信确定而应当匹配的像素百分比阈值也可以是可编程的。对于上面结合图3讨论的示例,视频转换器410可以检测到接收到的640x480视频信号实际上具有320x240的分辨率。如果改为将具有160x120分辨率的蜂窝电话耦接到视频转换器410,视频转换器410可以检测到真实分辨率或者检测到真实分辨率是所发送分辨率的四分之一(再次假定所发送的分辨率是640x480)。
在图7中的步骤706处,所接收到的视频信号可被去交错。视频信号可以按照其发送分辨率而被去交错,而不管发送分辨率与实际分辨率之间的任何差异。然而,用于对视频信号进行去交错的技术可以基于检测到的分辨率来选择。对于结合图3讨论的示例,所发送的640x480分辨率的视频可被视频转换器410直接去交错,并且由于所检测到的320x240分辨率,2D去交错可被使用。在其他情形中,去交错可以涉及其他形式的2D去交错、某种形式的3D去交错,或者任何其他去交错技术。一种高级形式的3D去交错在美国专利申请No.11/932,686中有更详细的讨论,该申请整体通过引用被结合于此。
图7中的步骤706处的去交错可以另外涉及将视频缩放为适合于在电视或其他大屏幕显示设备(例如,显示设备104)上显示的图像尺寸。例如,视频转换器410可以将640x480的视频缩放为显示屏114的尺寸,显示屏114例如可以具有1280x720或1920x1080的分辨率。当除了改变视频信号的分辨率之外视频信号还被从一种标准转换为另一种标准(例如,NTSC至HD)时,视频转换器410可以根据标准的规范来调节帧速率。在接收到的视频信号已经是逐行格式的情况下,视频格式转换器410可以无需对视频信号进行去交错,并且可以改为执行其他处理步骤,例如缩放视频和/或执行帧速率转换。例如,如果原始内容被确定为每秒30帧的逐行320x240,但是显示屏114是每秒60帧的1280x720,那么转换器410可以利用向量内插将视频信号缩放为1280x720,并且通过重复每个帧一次来将视频信号转换为每秒60帧。可替代地,由转换器410进行的帧速率转换可以涉及更高级形式的帧速率转换,例如运动补偿的帧速率转换。下面将结合图9和图10更详细地讨论帧速率转换、其功能和更多具体实现方式。除了上述处理技术之外或者代替上述处理技术,视频转换器410可以以其他方式处理视频信号。另外的处理可以包括下面结合流程图1100和1200(图11和12)中的步骤1102和1104讨论的技术中的任何技术。这些技术可以基于视频信号的检测到的分辨率来选择。在一些实施例中,如果在步骤704中检测到的真实分辨率足够高,那么视频格式转换器410可以不执行去交错和/或任何其他处理技术,并且可以改为允许显示设备的处理电路来执行任何必要的处理。
图8中的流程图800示出了视频格式转换器410(图4)为了对视频信号进行去交错和处理所可以采用的替代步骤。在步骤802处,从视频提供设备接收对应于视频内容的视频信号。视频信号可以具有任何适合格式。在步骤804,根据视频信号来确定视频内容的实际分辨率。视频分辨率的检测或确定可以利用结合流程图700(图7)的步骤704讨论的技术中的任何技术而发生。在确定视频分辨率之后,视频转换器410在步骤806处可以将视频信号转换为具有实际分辨率的视频内容。对于结合图3讨论的示例,视频转换器410可以将所发送的640x480视频信号恢复为320x240视频信号。视频转换器410可以还原由视频提供设备执行的任何像素重复,从而恢复原始视频信号的分辨率。视频转换器410可以忽略其确定为其他像素的重复的像素,或者视频转换器410可以执行恢复具有其真实分辨率的视频信号的其他处理技术。然而,如果视频格式转换器确定所发送的分辨率基本等于真实分辨率,那么视频格式转换器可以不对视频信号进行去交错,并且可以改为允许显示设备执行去交错。
在步骤806处获得具有其原始分辨率的视频信号之后,视频转换器410(图4)在步骤808处可以对转换后的视频信号进行去交错和处理。因为视频信号处于其固有分辨率,因此去交错器可以选择最适于将视频从其原始的真实分辨率(例如,对于图4中的图像而言是320x240)缩放为显示屏(例如,显示屏114)的最终分辨率的去交错技术。步骤808处的去交错可以涉及上面结合流程图700(图7)的步骤706讨论的去交错类型(例如,2D、3D,等等)中的任一种。另外的处理也可被应用于视频信号,这些处理包括下面结合流程图1100和1200(图11和12)中的步骤1102和1104讨论的技术中的任何技术。
图9中的流程图900示出了视频格式转换器410(图4和5)可以用来执行帧速率转换的例示性步骤。在步骤902处,对应于视频内容的视频信号可被接收。视频内容可能是从便携式媒体设备(例如,蜂窝电话,等等)捕捉的,并且视频信号可以具有任何适当的格式。在步骤904,相关视频内容的帧速率可被检测或确定(例如,通过帧速率检测器504(图5))。因此,在一些实施例中,该确定可以揭示最初捕捉视频内容的帧速率。在一些实施例中,该确定可以涉及确定视频信号所使用的视频传输标准的帧速率。在一些情况下,如果坞408是针对总是提供具有给定帧速率的视频内容的单类播放器而设计的,那么该确定可以相对简单。在其他情况下,确定可以涉及确定视频信号是否具有重复的帧。例如,如果视频内容具有15fps的帧速率但是利用针对30fps的视频传输标准被发送,那么处理电路108可能通过倍增每个真实帧而伪造了30fps的帧速率。因此,视频转换器可以确定视频内容的真实帧速率是15fps。检测重复帧可以涉及比较在连续帧中的等同或周围位置处的像素。为了形成对真实帧速率的确信确定而应当匹配的像素百分比阈值可被硬编码/硬连线,或者是可编程的。用于每一次比较的连续帧的数目也可被硬编码/硬连线,或者是可编程的。视频转换器可以进一步确定视频内容的真实帧速率是否在给定的预定阈值之下。预定阈值可以是可由用户编程的,或者可被硬编码或硬连线。在一些实施例中,帧速率检测可以使用类似于在影片步调处理器(FCH)中使用的技术的“帧运动”技术,所述影片步调处理器是在上面结合的专利申请No.11/932,686中描述的高级3D去交错器的一部分。
在对帧速率的检测或确定之后,视频转换器在步骤906处可以基于检测到的帧速率(例如,通过帧速率转换器512(图5))执行帧速率转换。帧速率转换可以涉及上面结合图5中的帧速率转换器512讨论的运动补偿帧速率转换,或者帧速率转换可以涉及用于调节帧速率的任何其他适合技术。在一些实施例中,视频转换器在帧速率不足够低的情况下(例如,如果帧速率在给定阈值之上)可以绕过该步骤,并且可以允许显示设备的帧速率转换电路(如果存在的话)执行任何适合的帧速率转换。
在一些实施例中,步骤906处的帧速率转换可以涉及将视频信号转换为具有高于实际帧速率和发送帧速率两者的帧速率的视频信号。例如,如果实际帧速率和发送帧速率分别是15fps和30fps,那么视频信号在步骤906处可被转换为60fps。转换后的视频信号然后可以利用与接收到的视频信号的视频传输标准不同的视频传输标准而被输出。帧速率转换可以涉及利用接收到的视频信号的所有帧执行帧速率转换,而不管这些帧仅仅是其他帧的重复还是利用某些其他技术获得的。可以仅基于视频信号的真实帧或者基于视频信号中的任何周围帧来确定任何内插帧。所执行的转换的类型可以基于在步骤904处确定的实际帧速率来选择,并且可以取决于是仅对接收到的视频信号中的真实帧还是对接收到的视频信号中的所有帧执行转换而改变。
现在参考图10,根据本发明实施例的用于转换低帧速率视频内容的帧速率的另一例示性流程图被示出。在步骤1002和1004处,对应于视频内容的视频信号被接收并且该视频内容的真实帧速率被检测。利用上面结合流程图900(图9)的步骤902和904分别描述的技术中的任何技术,视频信号可被接收并且帧速率可被检测。在步骤1006,视频信号可被转换为具有在步骤1002处检测到的实际分辨率的视频信号/内容。可以通过忽略或除去任何冗余帧或者利用任何其他适当技术将视频信号转换为其真实分辨率。因此,可以根据接收到的视频信号恢复视频内容的原始帧速率。
继续参考图10,在步骤1008处可以对转换后的视频信号执行帧速率转换。在一些实施例中,如果真实帧速率(例如,15fps)低于发送帧速率(例如,30fps),那么帧速率转换可以涉及将真实帧速率转换为发送帧速率(例如,将15fps的视频转换为实际为30fps的视频)。因此,转换后的视频信号可以具有与接收到的视频信号相同的传输格式。为了将实际帧速率转换为发送帧速率,具有实际帧速率的视频信号可以利用任何适合的帧速率转换技术(例如,运动补偿帧速率转换)而被转换为具有发送帧速率的视频信号。所使用的帧速率转换的类型可以取决于实际帧速率和/或发送帧速率。在其他实施例中,并且如上所述,步骤1008处的帧速率转换可以涉及将视频信号转换为具有比实际帧速率和发送帧速率两者更高的帧速率的视频信号。因此,用于在步骤1008处执行帧速率转换的技术可以涉及选择适合于将视频信号的帧从其实际帧速率转换为最终帧速率的技术。上面结合流程图900的步骤906描述的任何其他帧速率转换技术也可以在步骤1008处使用。
图11和12示出了用于改善大屏幕显示器上的低分辨率视频的外观的例示性流程图1100和1200。首先参考图11,在步骤706处的去交错之后执行另外的处理步骤。虽然流程图1100示出了使用来自流程图700(图7)的步骤的去交错,但是可以改为使用流程图800(图8)中的步骤(例如,通过用步骤802至808来代替图11中的步骤702至706)。流程图1100另外可被修改为也改善低帧速率视频的外观。例如,图9的步骤904和906或者图10的步骤1004至1008可被添加到流程图1100中步骤702之后的任何位置。可替代地,流程图1100可被修改为通过用步骤904和906或者步骤1004至1008代替步骤704和706来改善高分辨率和低帧速率视频的外观。除了去交错和/或执行帧速率转换之外,对视频执行的特定处理技术可以取决于视频是高质量(例如,因特网上的专业生成的、低分辨率视频、来自便携式媒体设备208的视频,等等)还是低质量(例如,因特网上的业余人士生成的视频、高度压缩的视频,等等)。视频的质量可以以任何适合方式确定。例如,如果坞408采用来自仅一类视频提供设备的输入,并且该视频提供设备通常提供基本相同质量的视频,那么质量可被硬编码或者硬连线。可替代地,用于评估视频质量的适合度量可被确定。如果计算出的度量高于某一阈值,那么视频可被看作是高质量的。
低质量视频可能受诸如块状瑕疵和蚊式噪声之类的瑕疵之苦。块状瑕疵指低分辨率视频的块状外观,其通常见于图像中的更少细节区域。蚊式噪声是由截去高频亮度和/或色度系数造成的振铃效应,其通常见于视频中的锐边缘周围。这些和其他瑕疵可能由业余的记录和/或编码技术(例如,使用不理想的压缩设定、握持手持相机而非使用三脚架)造成。
对于低质量视频,压缩瑕疵在步骤1102处可被减少(例如,通过图4和图5中的转换器410)。步骤1102处的瑕疵减少可以涉及减少一种或多种类型的瑕疵(例如,蚊式噪声、块状瑕疵,等等)。可以利一个或多个基于硬件或基于软件的模块来减少瑕疵。可以通过将不同的降噪技术结合到单个模块中、通过级联各种降噪模块或者利用任何其他适合技术来减少一种或多种类型的瑕疵。在一些实施例中,在步骤1102处可以使用块状和蚊式降噪。这可被称作“MPEG降噪”,但是其应用有助于基于离散余弦变换(DCT)的任何压缩方案,包括H.264、VC-1、MPEG4和MPEG2。在一些实施例中,3D视频降噪可被用于降低时间和空间噪声两者。在步骤1102处执行的降噪的量(例如,所使用的降噪技术的数目、每种技术的使用程度,等等)可以取决于对视频质量的评估。MPEG降噪和3D视频降噪分别在Pathak的美国专利申请No.11/521,927和Pathak等人的美国专利申请No.11/400,505中有更详细的描述,这两个申请整体通过引用被结合于此。每个公开还描述了评估视频质量的方式。前者具有块状和蚊式噪声测量,并且后者具有自动噪声估计。任一种、两者或者任何其他适合的测量可被用于确定视频是高质量还是低质量并且/或者用于确定必需的降噪量。
如上所述,在步骤1102处(图11)的降噪之前,视频信号可以包括关于视频内容以及噪声的真实信息。因为视频信号的不良质量,信号中不成比例数量的视频信息可能是噪声信息而非真实视频信息。因此,在步骤1102处减少该噪声之后,不成比例数量的原始信息可被减少或者甚至被完全除去。因此,仅显示剩余信息不能创建令人愉悦的画面,这是因为可能有非常少的细节。特别地,与如果利用高质量技术捕捉视频相比,可能有更少的实际视频数据。例如,手持式相机所拍摄的低质量视频可能具有由震动的相机造成的移动画面,即使画面的背景或其他部分对于连续图像而言基本不动也是如此。因此,当视频被压缩时,否则将注意到场/帧是不变的帧间压缩技术可能不同样有效。对于给定的数据速率或者文件大小,额外的比特被用于捕捉震动“噪声”,从而给细节和其他实际信息留下更少的比特。降噪可以减少由震动的相机造成的噪声,从而有效地从视频信号减少或者除去信息。因此,如果剩余信息被显示给用户,可能没有足够的视频信息来创建令人愉悦的显示。例如,得到的视频可能具有模糊的边缘,这是因为原始边缘充满噪声并且被除去。类似地,得到的视频可能具有低对比度。一般地,一旦从画面的充满噪声区域除去瑕疵,在这些区域中就可能剩下非常少的细节。
因此,在步骤1102处的降噪之后,视频信号在步骤1104处被增强(例如,通过图4和图5中的转换器410)。步骤1104处的视频增强可以涉及增强视频的不同方面(例如,边缘、颜色/光对比度,等等)。视频增强可以利用一个或多个基于硬件或基于软件的模块而发生。可以通过将不同的视频增强技术结合到单个模块中、通过级联各种视频增强模块或者利用任何其他适合技术来增强视频的一个或多个方面。在一些实施例中,视频增强可以涉及颜色重新映射。就是说,视频中的某些颜色可被映射到其他阴影或者其他颜色。例如,通常对应于草的颜色的某些形状的绿色阴影可被重新映射到更有活力的、看起来更健康的绿色阴影。在一些实施例中,视频增强可以涉及改变颜色或光的对比度。例如,为了使画面更加生动,视频处理器可以增大光照对比度。颜色重映射和视频对比度增强以及它们的功能分别在Srinivasan等人的美国专利申请No.11/296,163和Srinivasan等人的美国专利申请No.11/295,750中有更详细地讨论,这两个申请整体通过引用被结合于此。
继续参考图11,步骤1104处的视频增强可以涉及添加胶片颗粒。胶片颗粒是在胶片中自然存在的高频噪声,但是在数字视频中不自然存在。其在此被称作可被添加到视频信号的任何分布和幅度的噪声源。通常,胶片颗粒由胶片颗粒生成器生成并被添加到高清晰度数字视频。高清晰度数字视频上的胶片颗粒被用来在画面中产生胶片所特有的更柔软、柔滑的感觉。这常常通过添加时空噪声样式(一种产生“感知遮蔽”的特别有效的方式,其涉及视觉灵敏度的降低)来完成。另一方面,对于低分辨率视频,添加胶片颗粒可以在模糊图像中建立纹理外表。虽然由于低分辨率和步骤1102处的降噪,实际可能有非常少的细节,但是添加胶片颗粒可以产生画面中有细节的幻觉。可以添加胶片颗粒来掩盖剩余瑕疵或者其他视觉质量不佳的区域。例如,如果具有高时空频率的噪声样式被使用,那么“感知遮蔽”可能使得观众更少注意到剩余瑕疵或者更少被剩余瑕疵所困扰。胶片颗粒生成和添加以及其功能在Balram等人的美国专利申请No.11/313,577中有更详细的讨论,该申请整体通过引用被结合于此。
高质量但是低分辨率的视频(例如,来自因特网的专业生成的视频)也可以根据上面结合步骤1104描述的步骤而得到增强。步骤1102常常可被跳过,这是因为专业生成的视频通常不受大量压缩瑕疵之苦。上述视频增强技术或者任何其他适合技术可被用于掩盖缺陷、模拟细节、使块状区域平滑、向画面添加对比度,或者用于提供可以增加在大屏幕显示器(例如,具有1280x720分辨率的显示屏114)上观看低分辨率视频(例如,来自便携式媒体设备208的320x240视频)的愉悦。
现在参考图12,例示性流程图1200示出了用于改善视频的视觉质量的替代实施例。注意到流程图1200中的步骤与流程图1100(图11)中的那些相同,但是被按照不同顺序布置。如上面结合图11所讨论的,来自图9或图10的用于执行帧速率转换的步骤可被添加在流程图1200中的任何适当位置,或者在适当情况下可以代替去交错步骤(即,步骤702、704和706)中的任何步骤。虽然流程图1200示出了使用来自流程图700(图7)的步骤的去交错,但是也可以改为使用流程图800(图8)中的步骤(例如,通过用步骤802至806代替步骤702和704并用步骤808代替步骤706)。流程图1200示出了去交错不一定在其他处理步骤之前发生。特别地,去交错步骤706在流程图1200中被示出为在处理步骤1102与1104之间发生。然而,应当明白,可以在相对于与步骤1102和1104相关联的各个降噪和视频增强技术的任何时间执行去交错。就是说,可以改变流程图1200,使得与步骤1102相关联的降噪技术中的任何技术可以与去交错同时执行或者在去交错之后执行(对于压缩不良或过度压缩的视频),并且与步骤1104相关联的视频增强技术中的任何技术可以与去交错同时执行或者在去交错之前执行。因此,去交错技术706也可以跟在处理步骤1104之后。类似地,如果帧速率转换被执行,那么步骤1102可以与帧速率转换同时执行或者在帧速率转换之后执行,并且与步骤1104相关联的视频增强技术中的任何技术可以与帧速率转换同时执行或者在帧速率转换之前执行。
现在参考图13A-13G,示出了本发明的各种示例性实现方式。
现在参考图13A,本发明可被实现在硬盘驱动器1300中。本发明可被实现为信号处理和/或控制电路的任一者或两者的一部分,这总地在图13A的1302处标识出。在一些实现方式中,HDD 1300中的信号处理和/或控制电路1302和/或其他电路(未示出)可以处理数据、执行编码和/或加密、执行计算和/或对输出到和/或接收自磁性存储介质1306的数据格式化。
HDD 1300可以经由一个或多个有线或无线通信链路1308来与诸如计算机之类的主机设备(未示出)、诸如个人数字助理、蜂窝电话、媒体或MP3播放器等的移动计算设备和/或其他设备通信。HDD 1300可以连接到存储器1309,存储器1309例如是随机存取存储器(RAM)、诸如闪存之类的非易失性存储器、只读存储器(ROM)和/或其他合适的电子数据存储装置。
现在参考图13B,本发明可被实现在数字通用盘(DVD)驱动器1310中。本发明可被实现为DVD驱动器1310的信号处理和/或控制电路的任一者或两者(总地在图13B的1312处标识出)和/或海量数据存储装置1318的一部分。DVD驱动器1310中的信号处理和/或控制电路1312和/或其他电路(未示出)可以处理数据、执行编码和/或加密、执行计算和/或对读取自和/或写入到光学存储介质1316的数据格式化。在一些实现方式中,DVD驱动器1310中的信号处理和/或控制电路1312和/或其他电路(未示出)也可以执行其他功能,例如编码和/或解码和/或任何其他与DVD驱动器相关的信号处理功能。
DVD驱动器1310可以经由一个或多个有线或无线通信链路1317来与诸如计算机、电视或其他设备之类的输出设备(未示出)通信。DVD驱动器1310可以与以非易失性方式存储数据的海量数据存储装置1318通信。海量数据存储装置1318可以包括硬盘驱动器(HDD)。HDD可以具有图13A所示的配置。HDD可以是包括一个或多个直径小于大约1.8″的盘片的小型HDD。DVD驱动器1310可以连接到存储器1319,存储器1319例如是RAM、ROM、诸如闪存之类的非易失性存储器和/或其他合适的电子数据存储装置。
现在参考图13C,本发明可被实现在高清晰度电视(HDTV)1320中。本发明可被实现为HDTV 1320的信号处理和/或控制电路的任一者或两者(总地在图13C的1322处标识出)、WLAN接口1329和/或海量数据存储装置1327的一部分。HDTV 1320接收有线或无线格式的HDTV输入信号,并生成用于显示器1326的HDTV输出信号。在一些实现方式中,HDTV 1320的信号处理和/或控制电路1322和/或其他电路(未示出)可以处理数据、执行编码和/或加密、执行计算、格式化数据和/或执行可能需要的任何其他类型的HDTV处理。
HDTV 1320可以与以非易失性方式存储数据的海量数据存储装置1327(例如诸如硬盘驱动器和/或DVD之类的光学和/或磁性存储设备)通信。至少一个HDD可以具有图13A所示的配置,并且/或者至少一个DVD可以具有图13B所示的配置。HDD可以是包括一个或多个直径小于大约1.8″的盘片的小型HDD。HDTV 1320可以连接到存储器1328,存储器1328例如是RAM、ROM、诸如闪存之类的非易失性存储器和/或其他合适的电子数据存储装置。HDTV 1320还可以支持经由WLAN网络接口1329而与WLAN的连接。
现在参考图13D,本发明可被实现在车辆1330的数字娱乐系统1332中,数字娱乐系统1332可以包括WLAN接口1344和/或海量数据存储装置1340。
数字娱乐系统1332可以与以非易失性方式存储数据的海量数据存储装置1340通信。海量数据存储装置1340可以包括光学和/或磁性存储设备,例如硬盘驱动器(HDD)和/或DVD驱动器。HDD可以是包括一个或多个直径小于大约1.8″的盘片的小型HDD。数字娱乐系统1332可以连接到存储器1342,存储器1342例如是RAM、ROM、诸如闪存之类的非易失性存储器和/或其他合适的电子数据存储装置。数字娱乐系统1332还可以支持经由WLAN网络接口1344而与WLAN的连接。在一些实现方式中,车辆1330包括诸如扬声器之类的音频输出1334、显示器1336和/或诸如小键盘、触摸板等之类的用户输入1338。
现在参考图13E,本发明可被实现在蜂窝电话1350中,蜂窝电话1350可以包括蜂窝天线1351。本发明可被实现为蜂窝电话1350的信号处理和/或控制电路的任一者或两者(总地在图13E的1352处标识出)、WLAN接口1368和/或海量数据存储装置1364的一部分。在一些实现方式中,蜂窝电话1350包括麦克风1356、音频输出1358(例如扬声器和/或音频输出插口)、显示器1360和/或输入设备1362(例如小键盘、点选设备、语音致动和/或其他输入设备)。蜂窝电话1350中的信号处理和/或控制电路1352和/或其他电路(未示出)可以处理数据、执行编码和/或加密、执行计算、格式化数据和/或执行其他蜂窝电话功能。
蜂窝电话1350可以与以非易失性方式存储数据的海量数据存储装置1364通信,海量数据存储装置1364例如是光学和/或磁性存储设备,例如硬盘驱动器HDD和/或DVD。至少一个HDD可以具有图13A所示的配置,并且/或者至少一个DVD可以具有图13B所示的配置。HDD可以是包括一个或多个直径小于大约1.8″的盘片的小型HDD。蜂窝电话1350可以连接到存储器1366,存储器1366例如是RAM、ROM、诸如闪存之类的非易失性存储器和/或其他合适的电子数据存储装置。蜂窝电话1350还可以支持经由WLAN网络接口1368而与WLAN的连接。
现在参考图13F,本发明可被实现在机顶盒1380中。本发明可被实现为机顶盒1380的信号处理和/或控制电路的任一者或两者(总地在图13F的1384处标识出)、WLAN接口1396和/或海量数据存储装置1390的一部分。机顶盒1380从诸如宽带源之类的源接收信号,并输出适合于显示器1388的标准和/或高清晰度音频/视频信号,显示器1388例如是电视和/或监视器和/或其他视频和/或音频输出设备。机顶盒1380的信号处理和/或控制电路1384和/或其他电路(未示出)可以处理数据、执行编码和/或加密、执行计算、格式化数据并且/或者执行其他机顶盒功能。
机顶盒1380可以与以非易失性方式存储数据的海量数据存储装置1390通信。海量数据存储装置1390可以包括光学和/或磁性存储设备,例如硬盘驱动器HDD和/或DVD。至少一个HDD可以具有图13A所示的配置,并且/或者至少一个DVD可以具有图13B所示的配置。HDD可以是包括一个或多个直径小于大约1.8″的盘片的小型HDD。机顶盒1380可以连接到存储器1394,存储器1394例如是RAM、ROM、诸如闪存之类的非易失性存储器和/或其他合适的电子数据存储装置。机顶盒1380还可以支持经由WLAN网络接口1396而与WLAN的连接。
现在参考图13G,本发明可被实现在媒体播放器1400中。本发明可被实现为媒体播放器1400的信号处理和/或控制电路的任一者或两者(总地在图13G的1404处标识出)、WLAN接口1416和/或海量数据存储装置1410的一部分。在一些实现方式中,媒体播放器1400包括显示器1407和/或诸如小键盘、触摸板等的用户输入1408。在一些实现方式中,媒体播放器1400可以经由显示器1407和/或用户输入1408来采用图形用户界面(GUI),图形用户界面通常采用菜单、下拉菜单、图标和/或点击界面。媒体播放器1400还包括诸如扬声器和/或音频输出插口之类的音频输出1409。媒体播放器1400的信号处理和/或控制电路1404和/或其他电路(未示出)可以处理数据、执行编码和/或加密、执行计算、格式化数据和/或执行其他媒体播放器功能。
媒体播放器1400可以与以非易失性方式存储诸如经压缩的音频和/或视频内容之类的数据的海量数据存储装置1410通信。在一些实现方式中,经压缩的音频文件包括遵从MP3格式或者其他合适的压缩音频和/或视频格式的文件。海量数据存储装置可以包括光学和/或磁性存储设备,例如硬盘驱动器HDD和/或DVD。至少一个HDD可以具有图13A所示的配置,并且/或者至少一个DVD可以具有图13B所示的配置。HDD可以是包括一个或多个直径小于大约1.8″的盘片的小型HDD。媒体播放器1400可以连接到存储器1414,存储器1414例如是RAM、ROM、诸如闪存之类的非易失性存储器和/或其他合适的电子数据存储装置。媒体播放器1400还可以支持经由WLAN网络接口1416而与WLAN的连接。除了上述实现方式之外的其他实现方式被预期到。
前面描述了用于改善大屏幕显示器上的低分辨率视频的视觉质量的系统和方法。本发明的上述实施例是为了例示目的而非限制目的而给出。

Claims (63)

1.一种处理用于在视频显示器上显示的视频内容的方法,所述方法包括:
接收对应于所述视频内容的视频信号,其中所接收到的视频信号具有用来传输所述视频内容的第一帧速率;
根据所接收到的信号来检测用来捕捉所述视频内容的第二帧速率;
确定所述第一帧速率高于所述第二帧速率;以及
基于所检测到的第二帧速率执行帧速率转换,以将所述视频信号转换为具有高于所述第二帧速率的第三帧速率的视频内容。
2.根据权利要求1所述的方法,其中所述视频信号使用第一传输标准,并且所述方法还包括使用第二传输标准来输出转换后的视频信号。
3.根据权利要求2所述的方法,其中所述第一传输标准和所述第二传输标准是相同的传输标准。
4.根据权利要求1所述的方法,其中所述第三帧速率高于所述第一帧速率。
5.根据权利要求4所述的方法,其中所述第三帧速率对应于所述视频显示器的帧速率。
6.根据权利要求4所述的方法,其中所述第二帧速率是每秒15帧,所述第一帧速率是每秒30帧,并且所述第三帧速率是每秒60帧。
7.根据权利要求1所述的方法,其中执行帧速率转换的步骤包括:
确定连续帧中的对象的运动;以及
基于所确定的运动而添加中间帧。
8.根据权利要求7所述的方法,其中仅基于所述视频内容的帧来确定对象的运动。
9.根据权利要求1所述的方法,其中检测所述第二帧速率的步骤包括检测所述视频信号中的帧重复。
10.根据权利要求9所述的方法,其中检测帧重复的步骤包括将一个帧的像素与连续帧中的等同像素相比较。
11.根据权利要求1所述的方法,还包括:
确定用来捕捉所述视频内容的第二帧速率是否低于预定阈值;以及
如果所述第二帧速率不低于所述预定阈值,那么绕过帧速率转换步骤。
12.根据权利要求1所述的方法,其中执行帧速率转换的步骤包括:
执行将所接收到的视频信号转换为具有所述第二帧速率的视频信号的第一转换;以及
执行将转换后的视频信号转换为具有所述第三帧速率的视频信号的第二转换,其中所述第三帧速率高于所述第二帧速率。
13.根据权利要求1所述的方法,其中所接收到的视频信号具有比用来捕捉所述视频内容的第二分辨率更高的第一分辨率,并且所述方法还包括:
根据所接收到的视频信号检测所述第二分辨率;以及
基于所检测到的第二分辨率对所述视频信号进行去交错。
14.根据权利要求1所述的方法,所述方法还包括:
减少所述视频信号中的瑕疵;以及
增强所述视频信号。
15.根据权利要求14所述的方法,其中减少瑕疵的步骤包括3D视频降噪和MPEG降噪中的一种或多种。
16.根据权利要求14所述的方法,其中增强所述视频信号的步骤包括颜色重新映射、对比度增强和胶片颗粒添加中的一种或多种。
17.根据权利要求14所述的方法,还包括:
检测所述视频内容的压缩质量;以及
如果所述压缩质量高于阈值,那么绕过所述减少步骤。
18.一种获取并处理用于在显示设备上显示的视频内容的方法,所述方法包括:
以第一帧速率在便携式媒体设备上捕捉所述视频内容;
在充当所述便携式媒体设备与所述显示设备之间的接口的设备上以第二帧速率接收所述视频内容,其中所述第二帧速率高于所述第一帧速率;以及
基于所述第一帧速率在充当所述便携式媒体设备与所述显示设备之间的接口的所述设备上将所接收的视频内容转换为具有第三帧速率的视频内容,其中所述第三帧速率高于所述第一帧速率。
19.根据权利要求18所述的方法,其中所述便携式媒体设备具有电话能力。
20.根据权利要求18所述的方法,其中所述充当接口的设备向所述便携式媒体设备提供电力。
21.根据权利要求18所述的方法,其中所述充当接口的设备的主要功能是处理用于在所述显示设备上显示的视频内容。
22.根据权利要求18所述的方法,其中所述第一帧速率是由用户设定决定的。
23.根据权利要求18所述的方法,其中所述第一帧速率是由所述便携式媒体设备的能力决定的。
24.根据权利要求18所述的方法,其中所述第一帧速率是由所述充当接口的设备的能力决定的。
25.根据权利要求18所述的方法,其中所述第三帧速率至少是所述第一帧速率的两倍高。
26.根据权利要求18所述的方法,还包括使用视频传输标准向所述充当接口的设备提供所捕捉的视频内容,其中所述视频传输标准指定比所述第一帧速率更高的帧速率。
27.根据权利要求18所述的方法,还包括将所捕捉的视频内容以具有所述第二帧速率的视频信号的形式提供给所述充当接口的设备。
28.根据权利要求27所述的方法,其中所捕捉的视频内容是利用专用接口来提供的,所述方法还包括使用视频传输标准对所述充当接口的设备上的所述第三帧速率的视频内容进行编码。
29.根据权利要求18所述的方法,其中执行帧速率转换的步骤包括:
确定连续帧中的对象的运动;以及
基于所确定的运动添加中间帧。
30.一种用于处理供在视频显示器上显示的视频内容的视频格式转换器,所述视频格式转换器包括:
接收器,用于接收对应于所述视频内容的视频信号,其中所接收到的视频信号具有用来传输所述视频内容的第一帧速率;
检测电路,用于根据所接收到的信号检测用来捕捉所述视频内容的第二帧速率并用于确定所述第一帧速率高于所述第二帧速率;以及
帧速率转换器,用于基于所检测到的第二帧速率将所述视频信号转换为具有高于所述第二帧速率的第三帧速率的视频内容。
31.根据权利要求30所述的视频格式转换器,其中所述视频信号使用第一传输标准,并且所述视频格式转换器还包括用于使用第二传输标准输出转换后的视频信号的编码器。
32.根据权利要求31所述的视频格式转换器,其中所述第一传输标准和所述第二传输标准是相同的传输标准。
33.根据权利要求30所述的视频格式转换器,其中所述第三帧速率高于所述第一帧速率。
34.根据权利要求33所述的视频格式转换器,其中所述第三帧速率对应于所述视频显示器的帧速率。
35.根据权利要求33所述的视频格式转换器,其中所述第二帧速率是每秒15帧,所述第一帧速率是每秒30帧,并且所述第三帧速率是每秒60帧。
36.根据权利要求30所述的视频格式转换器,其中所述帧速率转换器包括用于以下操作的电路:
确定连续帧中的对象的运动;以及
基于所确定的运动添加中间帧。
37.根据权利要求36所述的视频格式转换器,其中仅基于所述视频内容的帧来确定对象的运动。
38.根据权利要求30所述的视频格式转换器,其中所述检测电路包括用于检测所述视频信号中的帧重复的重复检测电路。
39.根据权利要求38所述的视频格式转换器,其中所述重复检测电路包括用于将一个帧的像素与连续帧中的等同像素相比较的比较器。
40.根据权利要求30所述的视频格式转换器,还包括:
判定电路,用于确定用来捕捉所述视频内容的第二帧速率是否低于预定阈值;以及
绕过电路,用于在所述第二帧速率不低于所述预定阈值的情况下绕过所述帧速率转换器。
41.根据权利要求30所述的视频格式转换器,其中所述帧速率转换器包括:
第一转换器,用于将所接收到的视频信号转换为具有所述第二帧速率的视频信号;以及
第二转换器,用于将转换后的视频信号转换为具有所述第三帧速率的视频信号,其中所述第三帧速率高于所述第二帧速率。
42.根据权利要求30所述的视频格式转换器,其中所接收到的视频信号具有比用来捕捉所述视频内容的第二分辨率更高的第一分辨率,并且所述视频格式转换器还包括:
分辨率检测电路,用于根据所接收到的视频信号检测所述第二分辨率;以及
去交错电路,用于基于所检测到的第二分辨率对所述视频信号进行去交错。
43.根据权利要求30所述的视频格式转换器,所述视频格式转换器还包括:
降噪电路,用于减少所述视频信号中的瑕疵;以及
增强电路,用于增强所述视频信号。
44.根据权利要求43所述的视频格式转换器,其中所述降噪电路包括用于执行3D视频降噪和MPEG降噪中的一种或多种的电路。
45.根据权利要求43所述的视频格式转换器,其中所述增强电路包括用于执行颜色重新映射、对比度增强和胶片颗粒添加中的一种或多种的电路。
46.根据权利要求43所述的视频格式转换器,还包括:
质量检测电路,用于检测所述视频内容的压缩质量;以及
绕过电路,用于在所述压缩质量高于阈值的情况下绕过所述降噪电路。
47.一种包括根据权利要求30中限定的所述视频格式转换器的坞。
48.根据权利要求47所述的坞,其中所述坞的接口被成形为接受来自一类视频提供设备的视频信号。
49.根据权利要求47所述的坞,还包括用于可控地绕过所包括的视频格式转换器的选择电路。
50.一种包括根据权利要求30中限定的所述视频格式转换器的显示设备。
51.一种包括根据权利要求30中限定的所述视频格式转换器的媒体提供设备。
52.一种获取和处理供在显示设备上显示的视频内容的系统,所述系统包括:
便携式媒体设备,包括用于以第一帧速率捕捉所述视频内容的视频捕捉电路;以及
充当所述便携式媒体设备与所述显示设备之间的接口的设备,所述设备包括:
接收器,用于以第二帧速率接收所述视频内容,其中所述第二帧速率高于所述第一帧速率;以及
用于基于所述第一帧速率将所接收的视频内容转换为具有第三帧速率的视频内容的帧速率转换器,其中所述第三帧速率高于所述第一帧速率。
53.根据权利要求52所述的系统,其中所述便携式媒体设备具有电话能力。
54.根据权利要求52所述的系统,其中所述充当接口的设备包括用于向所述便携式媒体设备提供电力的电源电路。
55.根据权利要求52所述的系统,其中所述充当接口的设备的主要功能是处理供在所述显示设备上显示的视频内容。
56.根据权利要求52所述的系统,其中所述第一帧速率是由用户设定决定的。
57.根据权利要求52所述的系统,其中所述第一帧速率是由所述视频捕捉电路的能力决定的。
58.根据权利要求52所述的系统,其中所述第一帧速率是由所述帧速率转换器的能力决定的。
59.根据权利要求52所述的系统,其中所述第三帧速率至少是所述第一帧速率的两倍高。
60.根据权利要求52所述的系统,还包括用于使用视频传输标准向所述充当接口的设备提供所捕捉的视频内容的耦接设备,其中所述视频传输标准指定比所述第一帧速率更高的帧速率。
61.根据权利要求52所述的系统,还包括用于将所捕捉的视频内容以具有所述第二帧速率的视频信号的形式提供给所述充当接口的设备的耦接设备。
62.根据权利要求61所述的系统,其中所述耦接设备是专用的,并且所述充当接口的设备还包括使用视频传输标准对所述第三帧速率的视频内容进行编码的编码器。
63.根据权利要求52所述的系统,其中所述帧速率转换器包括用于以下操作的电路:
确定连续帧中的对象的运动;以及
基于所确定的运动添加中间帧。
CN2008800123343A 2007-02-16 2008-02-19 用于改善低分辨率和低帧速率视频的方法和系统 Expired - Fee Related CN101669361B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US90202707P 2007-02-16 2007-02-16
US60/902,027 2007-02-16
PCT/US2008/002219 WO2008100640A1 (en) 2007-02-16 2008-02-19 Methods and systems for improving low resolution and low frame rate video

Publications (2)

Publication Number Publication Date
CN101669361A CN101669361A (zh) 2010-03-10
CN101669361B true CN101669361B (zh) 2013-09-25

Family

ID=39523478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800123343A Expired - Fee Related CN101669361B (zh) 2007-02-16 2008-02-19 用于改善低分辨率和低帧速率视频的方法和系统

Country Status (3)

Country Link
US (1) US8885099B2 (zh)
CN (1) CN101669361B (zh)
WO (1) WO2008100640A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2712821C2 (ru) * 2016-11-02 2020-01-31 Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации Способ повышения разрешающей способности видеосистем

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080165287A1 (en) * 2006-08-30 2008-07-10 Daniel Doswald Framebuffer Sharing for Video Processing
US8583981B2 (en) * 2006-12-29 2013-11-12 Marvell World Trade Ltd. Concatenated codes for holographic storage
TWI466547B (zh) 2007-01-05 2014-12-21 Marvell World Trade Ltd 用於改善低解析度視訊之方法與系統
KR20090054828A (ko) * 2007-11-27 2009-06-01 삼성전자주식회사 Frc된 비디오에 gui를 부가하는 비디오 기기 및 그의gui 제공방법
US8041300B2 (en) * 2008-09-26 2011-10-18 Apple Inc Adapter
CN101742079A (zh) * 2008-11-17 2010-06-16 深圳Tcl新技术有限公司 调整视频设置的方法和相应设备
WO2010077255A1 (en) * 2008-12-31 2010-07-08 Abbruzzese Jared E Mobile set top box
US20110032331A1 (en) * 2009-08-07 2011-02-10 Xuemin Chen Method and system for 3d video format conversion
JP2011082628A (ja) * 2009-10-02 2011-04-21 Sony Corp 情報処理装置および方法
US20110157470A1 (en) * 2009-12-28 2011-06-30 Sadao Tsuruga Receiver, receiving method and output control method
CN102082951A (zh) * 2010-12-08 2011-06-01 广东威创视讯科技股份有限公司 一种图像信号的传输方法、装置以及格式化方法、装置
CN202026420U (zh) * 2011-01-04 2011-11-02 旭丽电子(广州)有限公司 无线影音传输模块、传输装置、影音产生装置及播放装置
WO2013077525A1 (ko) * 2011-11-24 2013-05-30 엘지전자 주식회사 제어 방법 및 그를 이용한 장치
US8478913B2 (en) 2011-11-30 2013-07-02 Apple Inc. Adapter for electronic devices
US8762605B2 (en) 2011-11-30 2014-06-24 Apple Inc. Adapter for electronic devices
US9589540B2 (en) 2011-12-05 2017-03-07 Microsoft Technology Licensing, Llc Adaptive control of display refresh rate based on video frame rate and power efficiency
US9355585B2 (en) * 2012-04-03 2016-05-31 Apple Inc. Electronic devices with adaptive frame rate displays
CN102724467B (zh) * 2012-05-18 2016-06-29 中兴通讯股份有限公司 提升视频输出清晰度的方法及终端设备
EP2677732B1 (en) 2012-06-22 2019-08-28 Nokia Technologies Oy Method, apparatus and computer program product for capturing video content
US9355613B2 (en) 2012-10-09 2016-05-31 Mediatek Inc. Data processing apparatus for transmitting/receiving compression-related indication information via display interface and related data processing method
CN104854535A (zh) * 2012-10-16 2015-08-19 雷蛇(亚太)私人有限公司 计算系统及用于控制计算系统的方法
US9183665B2 (en) 2013-02-08 2015-11-10 Thomson Licensing Film grain for stereoscopic or multi-view images
CN104243902A (zh) * 2013-06-24 2014-12-24 京东方科技集团股份有限公司 显示装置的显示方法及显示装置
KR102062724B1 (ko) 2013-08-14 2020-01-06 엘지전자 주식회사 이동 단말기와 그 구동방법
US9275434B2 (en) 2014-03-11 2016-03-01 Qualcomm Incorporated Phase control multi-tap downscale filter
KR101609280B1 (ko) * 2014-10-01 2016-04-05 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN105049914B (zh) * 2015-07-07 2019-02-26 深圳Tcl数字技术有限公司 图片帧播放方法和装置
CN105657488A (zh) * 2015-08-21 2016-06-08 乐视致新电子科技(天津)有限公司 音视频播放设备
CN105657489A (zh) * 2015-08-21 2016-06-08 乐视致新电子科技(天津)有限公司 音视频播放设备
CN105657485A (zh) * 2015-08-21 2016-06-08 乐视致新电子科技(天津)有限公司 一种音视频播放设备
US10178350B2 (en) * 2015-08-31 2019-01-08 Getgo, Inc. Providing shortened recordings of online conferences
CN105141876B (zh) * 2015-09-24 2019-02-22 京东方科技集团股份有限公司 视频信号转换方法、视频信号转换装置以及显示系统
JP6714078B2 (ja) * 2016-05-10 2020-06-24 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10224074B2 (en) * 2017-07-12 2019-03-05 Karl Storz Imaging, Inc. Apparatus and methods for improving video quality from a digital video signal including replicated image frames
CN107707860B (zh) * 2017-10-24 2020-04-10 南昌黑鲨科技有限公司 一种视频数据处理方法、处理装置及计算机可读存储介质
CN107707934A (zh) * 2017-10-24 2018-02-16 南昌黑鲨科技有限公司 一种视频数据处理方法、处理装置及计算机可读存储介质
US11303846B2 (en) * 2017-12-06 2022-04-12 Medicapture, Inc. Imaging system and method capable of processing multiple imaging formats
TW201946443A (zh) * 2018-04-30 2019-12-01 圓剛科技股份有限公司 智能調整影像的方法
US11403979B2 (en) * 2019-06-20 2022-08-02 Apple Inc. Dynamic persistence for judder reduction
CN110475065B (zh) * 2019-08-19 2021-03-16 北京字节跳动网络技术有限公司 图像处理的方法、装置、电子设备及存储介质
CN111510644B (zh) * 2020-04-24 2022-06-07 Oppo广东移动通信有限公司 一种视频处理方法、装置、移动终端及存储介质
US11388324B2 (en) * 2020-06-15 2022-07-12 Intel Corporation Camera device, base unit, computation device, and corresponding methods and computer programs
CN114512088A (zh) * 2020-10-27 2022-05-17 瑞昱半导体股份有限公司 影像显示设备
CN115225928B (zh) * 2022-05-11 2023-07-25 北京广播电视台 一种多类型音视频混播系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1499836A (zh) * 2002-11-07 2004-05-26 ������������ʽ���� 与图像数据相应的帧速率的变换
CN1652569A (zh) * 2003-12-23 2005-08-10 创世纪微芯片公司 自适应显示控制器

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2591338B2 (ja) 1990-11-20 1997-03-19 松下電器産業株式会社 サブサンプル装置、補間装置、送信装置、受信装置および記録媒体
KR950012664B1 (ko) 1993-08-18 1995-10-19 엘지전자주식회사 1050라인 비월주사식 모니터 디스플레이 영상포맷을 갖는 에치디티브이(hdtv)수신장치
US5828786A (en) * 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
GB9600293D0 (en) 1996-01-08 1996-03-13 Digi Media Vision Ltd Improvements in or relating to noise reduction
US6037991A (en) * 1996-11-26 2000-03-14 Motorola, Inc. Method and apparatus for communicating video information in a communication system
US20020118296A1 (en) 1999-05-06 2002-08-29 Schwab Barry H. Integrated multi-format audio/video production system
US5995150A (en) * 1998-02-20 1999-11-30 Winbond Electronics Corporation America Dual compressed video bitstream camera for universal serial bus connection
US7257158B1 (en) * 1998-05-18 2007-08-14 Kendyl A. Román System for transmitting video images over a computer network to a remote receiver
US6434197B1 (en) 1999-01-07 2002-08-13 General Instrument Corporation Multi-functional transcoder for compressed bit streams
US6658056B1 (en) * 1999-03-30 2003-12-02 Sony Corporation Digital video decoding, buffering and frame-rate converting method and apparatus
US6625333B1 (en) * 1999-08-06 2003-09-23 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre Method for temporal interpolation of an image sequence using object-based image analysis
US6906687B2 (en) * 2000-07-31 2005-06-14 Texas Instruments Incorporated Digital formatter for 3-dimensional display applications
US6724433B1 (en) * 2000-12-06 2004-04-20 Realnetworks, Inc. Automated inverse telecine conversion
US7136538B2 (en) 2000-12-21 2006-11-14 Matsushita Electric Industrial Co., Ltd. Noise reducing apparatus and noise reducing method
US7013163B2 (en) * 2001-01-26 2006-03-14 Dell Products L.P. Portable wireless communication device docking system
US7242850B2 (en) * 2001-02-23 2007-07-10 Eastman Kodak Company Frame-interpolated variable-rate motion imaging system
GB0106395D0 (en) 2001-03-15 2001-05-02 Pace Micro Tech Plc Television system
CN1260978C (zh) 2001-05-10 2006-06-21 松下电器产业株式会社 图像处理装置
US6864891B2 (en) * 2002-01-31 2005-03-08 Hewlett-Packard Development Company L.P. Switching between internal and external display adapters in a portable computer system
US20060218482A1 (en) * 2002-04-19 2006-09-28 Droplet Technology, Inc. Mobile imaging application, device architecture, service platform architecture and services
US20040257434A1 (en) * 2003-06-23 2004-12-23 Robert Davis Personal multimedia device video format conversion across multiple video formats
KR100510147B1 (ko) 2003-08-26 2005-08-25 삼성전자주식회사 Picture In Picture(PIP) 장치
JP2005217532A (ja) 2004-01-27 2005-08-11 Canon Inc 解像度変換方法及び解像度変換装置
WO2005076595A2 (en) 2004-02-02 2005-08-18 Thomson Licensing S.A. Method and apparatus for providing automatic format switching according to input aspect ratio
TWI253848B (en) 2004-04-09 2006-04-21 Mstar Semiconductor Inc Pixel interpolation method and related pixel interpolation device
WO2005107272A1 (en) 2004-04-14 2005-11-10 Thomson Licensing S.A. A system and a method for sharing video input jacks
US7899492B2 (en) 2004-07-16 2011-03-01 Sellerbid, Inc. Methods, systems and apparatus for displaying the multimedia information from wireless communication networks
KR20060021446A (ko) 2004-09-03 2006-03-08 삼성전자주식회사 디인터레이싱 방법 및 이를 적용한 영상기기
US20060140268A1 (en) * 2004-12-29 2006-06-29 Samsung Electronics Co., Ltd. Method and apparatus for reduction of compression noise in compressed video images
US8015590B2 (en) 2004-12-30 2011-09-06 Mondo Systems, Inc. Integrated multimedia signal processing system using centralized processing of signals
US20060152627A1 (en) 2005-01-13 2006-07-13 Ruggiero Carl J Video processing system and method with dynamic tag architecture
EP1902584B1 (en) 2005-04-13 2011-11-09 Panasonic Corporation Resampling detection apparatus, resampling detection method, resampling apparatus, and resampling method
EP1886498A2 (en) 2005-04-20 2008-02-13 Jupiter Systems Audiovisual signal routing and distribution system
JP2007228019A (ja) * 2006-02-21 2007-09-06 Olympus Corp 撮像装置
TWI466547B (zh) 2007-01-05 2014-12-21 Marvell World Trade Ltd 用於改善低解析度視訊之方法與系統

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1499836A (zh) * 2002-11-07 2004-05-26 ������������ʽ���� 与图像数据相应的帧速率的变换
CN1652569A (zh) * 2003-12-23 2005-08-10 创世纪微芯片公司 自适应显示控制器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2712821C2 (ru) * 2016-11-02 2020-01-31 Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации Способ повышения разрешающей способности видеосистем

Also Published As

Publication number Publication date
WO2008100640A1 (en) 2008-08-21
CN101669361A (zh) 2010-03-10
US20080198264A1 (en) 2008-08-21
US8885099B2 (en) 2014-11-11

Similar Documents

Publication Publication Date Title
CN101669361B (zh) 用于改善低分辨率和低帧速率视频的方法和系统
US8819760B2 (en) Methods and systems for improving low-resolution video
US8139081B1 (en) Method for conversion between YUV 4:4:4 and YUV 4:2:0
CN103841389B (zh) 一种视频播放方法及播放器
CN107920251A (zh) 基于观看者到显示器的距离来调整视频质量的方法和系统
CN1981522A (zh) 立体电视信号处理方法、传输系统与观众增强
CN101652994A (zh) 视频发送装置、视频接收装置、视频记录装置、视频重放装置及视频显示装置
JP2011087195A (ja) 画像処理装置および画像処理方法
US9161030B1 (en) Graphics overlay system for multiple displays using compressed video
US8948531B2 (en) Image processing apparatus, image processing method, and program
US8810725B2 (en) Process for digitizing video over analog component video cables
US20110069225A1 (en) Method and system for transmitting and processing high definition digital video signals
US8483389B1 (en) Graphics overlay system for multiple displays using compressed video
KR100793751B1 (ko) 피브이알 시스템의 영상 포맷 변환 장치 및 방법
WO2012067021A1 (ja) 情報統合装置、情報表示装置、情報記録装置、情報統合方法、情報統合プログラム、および、情報統合プログラムを記録したコンピュータ読み取り可能な記録媒体
US9743034B2 (en) Video transmitting/receiving device and video display device
JP4631736B2 (ja) 記録装置、記録方法、およびプログラム
CN2922341Y (zh) 一种实现高清晰度视频信号输入输出的视频会议终端
JP2005341093A (ja) コンテンツ適応化装置、コンテンツ適応化システム、コンテンツ適応化方法
US11930207B2 (en) Display device, signal processing device, and signal processing method
US20120075524A1 (en) System and method for frame rate conversion
KR101822845B1 (ko) 고화질 dmb 수신 장치 및 그 방법
WO2015155893A1 (ja) 映像出力装置、映像受信装置、および映像出力方法
Viéron et al. UHDTV Capture: Early Experiences
KR100953508B1 (ko) 디지털 영상 송수신 방법 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20171019

Address after: Bermuda Hamilton

Patentee after: MARVELL INTERNATIONAL Ltd.

Address before: Babado J San Michael

Patentee before: MARVELL WORLD TRADE Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180716

Address after: California, USA

Co-patentee after: National LLC

Patentee after: Xinatiekesi Limited by Share Ltd.

Address before: Bermuda Hamilton

Patentee before: MARVELL INTERNATIONAL Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130925

Termination date: 20220219

CF01 Termination of patent right due to non-payment of annual fee