CN1582569A - 隔行格式到逐行格式的转换 - Google Patents

隔行格式到逐行格式的转换 Download PDF

Info

Publication number
CN1582569A
CN1582569A CNA028221206A CN02822120A CN1582569A CN 1582569 A CN1582569 A CN 1582569A CN A028221206 A CNA028221206 A CN A028221206A CN 02822120 A CN02822120 A CN 02822120A CN 1582569 A CN1582569 A CN 1582569A
Authority
CN
China
Prior art keywords
pixel
macro block
video
bit stream
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028221206A
Other languages
English (en)
Other versions
CN1258910C (zh
Inventor
C·－Y·苏
D·T·黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Electronics Inc
Original Assignee
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Electronics Inc filed Critical Sony Electronics Inc
Publication of CN1582569A publication Critical patent/CN1582569A/zh
Application granted granted Critical
Publication of CN1258910C publication Critical patent/CN1258910C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的一个实施例提供了一种方法和系统，用于将隔行格式的视频比特流转换成可由数字电视显示的逐行格式。例如，本实施例利用隔行视频比特流的当前场、前一场和后续场的像素信息尝试确定哪些原始内容属于当前场的缺失行。具体而言，本实施例利用不同的像素信息集来估计视频比特流内存在的运动量。这样，本实施例可以更精密地确定隔行视频比特流的每个场的缺失像素的原始值。因此，本实施例提供了一种使数字电视能够接收隔行视频比特流并以逐行格式显示它们的去交错功能。

Description

隔行格式到逐行格式的转换
技术领域
本发明公开内容涉及电视节目广播格式领域。具体而言，本发明公开内容涉及将隔行格式的接收电视节目转换成逐行格式的领域。本发明公开内容揭示了用于数字电视的自适应去交错扫描方法和系统。
背景技术
现代研究和技术发展为社会提供了范围广泛的电子设备。勿庸置疑，这些现代电子设备中的一些电子设备对它们的用户而言功能非常强大而有用。例如，属于此类的一些电子设备包括：从占用大量办公空间的计算机至手持计算机、绕地球飞行中继大量通信信号的卫星、可以确定其用户在地球上具体位置的全球定位系统(GPS)设备、允许用户以无线方式与其他人通信的蜂窝电话等。此外，还应理解，一些现代电子设备还为用户提供娱乐。例如，属于此类的一些电子设备包括：为用户提供音乐以及范围广泛的各种音频节目的便携式和固定式无线电接收机、让用户在不同虚拟现实中体验不同情形的视频游戏控制台、向用户提供音乐的便携式和固定式光盘(CD)播放器以及向用户提供各种各样视频和音频节目的便携式和固定式电视。
众所周知，电视节目内容以各种方式分发到公众电视机。例如，公众中的消费者可以在他们住宅和/或公司通过同轴电缆、个人碟形卫星天线(大型或小型)、天线、宽带因特网等在电视机上接收电视节目内容。再者，电视节目内容可以不同格式广播给公众。例如，电视节目内容提供者通常将他们的节目内容以隔行格式广播给公众。具体而言，在隔行格式内，广播装置不会发送与电视视频内容的每个帧(也称为场)相关联的所有数据，而是可先发送视频内容第一帧的偶数行，然后在下一帧发送奇数行。广播装置就这样对人眼不能检测到视频连续帧的交替行缺失的特性加以利用。此外，广播者还通过只传送每个视频帧的一半数据来节约传输带宽。
但是，广播者以隔行格式传送电视节目内容存在相关的缺点。例如，数字电视和高清晰度电视(HDTV)最初不是设计来以隔行格式接收和处理电视节目内容。数字电视和高清晰度电视被有意设计及定制成接收所谓逐行格式的电视节目内容。与隔行格式相反，逐行格式包括视频比特流内每个视频帧的所有图像数据。这样，数字电视和高清晰度电视可以为其观看者提供清晰度较常规隔行格式电视高的图像质量。
针对上述缺点的一种解决方案是，修改数字电视和高清晰度电视，以使它们可以处理以隔行格式接收的电视内容。例如，使数字电视和高清晰度电视可以处理隔行电视内容的方法之一是，使它们的硬件可以将每个帧的每条接收行的像素信息倍增，并利用该信息填充该帧的缺失行。但是，此解决方案存在相关缺点。主要缺点之一是所得图像质量的清晰度较差。
针对上述缺点的另一种解决方案是，尝试确定哪些原始内容属于隔行电视内容每个帧的缺失行。但是，此解决方案也存在相关的缺点。主要缺点之一是，实施这种解决方案通常较为复杂，从而增加了数字电视或高清晰度电视的总生产成本。
概述
因此，需要一种方法和系统，用于使数字电视和高清晰度电视能够以具成本效益的方式将隔行视频比特流转换成逐行格式，同时提供好的图像解像率。本发明提供了一种满足上述需求的方法和系统。
例如，本发明的一个实施例提供了一种方法和系统，用于将隔行格式的视频比特流转换成可由数字电视显示的逐行格式。例如，本实施例利用隔行视频比特流的当前场、前一场和后续场的像素信息尝试确定哪些原始内容属于当前场的缺失行。具体而言，本实施例利用不同的像素信息集来估计视频比特流内存在的运动量。这样，本实施例可以更精密地确定隔行视频比特流的每个场的缺失像素的原始值。因此，本实施例提供了一种使数字电视能够接收隔行视频比特流并以逐行格式显示它们的去交错功能。
在另一个实施例中，本发明提供了一种系统，用于将隔行格式的视频比特流转换成逐行格式。具体而言，该系统包括用于接收隔行格式的视频比特流的调谐器装置。此外，该系统还包括视频解码器装置，用于利用视频比特流的当前场的像素、前一场的像素和后续场的像素确定像素级运动强度值。该系统还包括视频解码器装置，用于利用视频比特流的前一场的第一宏块和后续场的第二宏块确定宏块运动强度值。而且，该系统还包括用于利用视频比特流的前一场的第一总像素值和后续场的第二总像素值确定全局运动强度值的视频解码器装置。再者，该系统还包括用于利用视频比特流的像素级运动强度值、宏块运动强度值和全局运动强度值确定隔行格式的视频比特流的缺失精细度的缺失像素的值的视频解码器装置。
在阅读对附图所示优选实施例的如下详细说明之后，本领域技术人员将清楚本发明的这些和其他优点。
附图简介
附图包括在本说明书中，并构成它的一部分，这些附图图解本发明实施例，与说明书一起用于说明本发明的原理。
图1是根据本发明实施例的示范性数字电视的方框图。
图2是说明根据本发明实施例，利用空间和时间像素内插来恢复隔行视频场中缺失像素信息的示意图。
图3是说明根据本发明实施例，确定用于确定隔行视频序列中的运动的宏块运动强度的示意图。
图4是说明根据本发明实施例确定用于确定隔行视频序列中的运动的全局运动强度的示意图。
图5是根据本发明执行的、用于将隔行格式的视频比特流转换成可由数字电视显示的逐行格式的步骤的流程图。
发明详细说明
现在将详细参考本发明的优选具体实施方式，附图中显示它们的实例。虽然本发明将结合优选实施例来说明，但要明确，意图并不是要将本发明局限于这些实施例。相反，本发明旨在涵盖包括在所附权利要求书所限定的本发明精神和范围内的各种替代方案、修改方案和等效方案。再者，在本发明的如下详细说明中，提出了大量具体细节，以便彻底地理解本发明。但是，对本领域技术人员而言，本发明显然可以不采用这些具体细节来实施。在其他情况中，对于众所周知的方法、过程、部件和电路不作详细描述，以免不必要地使本发明的方面不够清楚。
                  表示符号和术语
以下部分详细说明描述了对计算机内存中的数据比特所执行操作的过程、逻辑块、处理和其他符号表示。这些说明和表示法是数据处理领域的技术人员所采用的表示方式，以便非常有效地向本技术领域的其他人员传达其工作实质。在本申请中，过程、逻辑块、处理等被设想为产生预期结果的步骤或指令的自相一致的序列。这些步骤是需要对物理量进行物理操作的步骤。通常(虽然并非一定如此)，这些物理量取可以在计算机系统中加以存储、传递、组合、比较和以其他方式加以操作的电信号或磁信号的形式。主要出于通用的原因，以比特、值、元素、符号、特征、术语、数字等形式引用这些信号时常被证明是很方便的。
但是切记，所有这些和类似术语要与适当的物理量相关联，且只是适用于这些物理量的方便标记。除非下文讨论中明确地另行说明，否则要明确，在本发明中使用诸如“确定”或“接收”或“输出”或“存储”或“访问”或“发送”或“量化”等术语的讨论涉及消费电子媒体装置或类似电子计算装置(例如专用或嵌入式计算机系统)用于操纵和转换数据的操作和处理。数据表示为消费电子媒体装置中寄存器和/或存储器内的物理(电气)量，并被转换成其他数据，这些数据同样表示为消费电子媒体装置存储器、寄存器和/或其他这样的信息存储装置、传输装置或显示屏内的物理量。
            本发明的示范性数字电视系统
图1是根据本发明实施例所采用的示范性数字电视系统100的方框图。应理解，系统100并不严格局限于数字电视系统。因此，适合于本实施例的系统100为处理电视信号的任何类型的电子媒体装置(例如，机顶盒、数字录像机等)。在本发明的以下讨论中，所讨论的某些处理过程和步骤在一个实施例中实现为一系列指令(例如软件程序)，这些指令驻留在数字电视系统100的可读存储器单元中并由系统100的处理器执行。执行时，这些指令驱使数字电视100执行特定操作并呈现出如下所述的特定特征。
图1的数字电视系统100包括用于传送信息的地址/数据总线110、与总线110相连的用于处理信息和指令的一个或多个处理器102。要明确的是，处理器单元102可以是微处理器或其他任何类型的处理器。数字电视系统100还包括与总线110相连的用于存储处理器102的信息和指令的数据存储装置(如易失性存储器单元104(例如随机存取存储器、静态RAM、动态RAM等)、与总线110相连的用于存储处理器102的静态信息和指令的非易失性存储器单元106(如只读存储器、可编程ROM、闪速存储器、EPROM、EEPROM等)。数字电视系统100还可选地包括数据存储装置(未显示)，如用于存储信息和指令的磁盘或光盘以及与总线110相连的磁盘驱动器。
系统100还包括连接到总线110视频解码器112，视频解码器112通过总线122连接以向例如数字显示器116提供视频信号。应理解，显示器116可以是平板液晶显示器(LCD)、阴极射线管(CRT)、场致发射显示器(FED)、等离子显示器或其他任何适合于显示视频和/或用户可识别图形图像的显示器。数字系统100还包括连接到总线110的音频解码器114(例如声卡)，音频解码器114在总线124上产生数字音频信号，传送到外部扬声器118。可以将任意数量的众所周知的音频解码器用作本发明的音频解码器114。可以理解，视频解码器112处理来自总线110的视频信息，音频解码器114处理来自总线110的音频信息。
图1的数字电视系统100连接以从电视前端广播装置(未显示)接收电视广播信号128。应理解，电视广播信号128可以利用陆地线路(例如有线电视)传送到数字电视系统100，或者它可以通过无线传输装置(例如天线、卫星系统等)来传送。电视广播信号128由电视系统100通过调谐器120接收和处理。调谐器120通过总线126连接到调制器108，而调制器108连接到总线110。调制器108对总线126的信号执行模数转换，还充当总线110的总线接口。调制器108和调谐器120是本专业技术人员所熟知的。
在处理器102的处理器控制下，从调谐器120接收的电视音频/视频信息通过总线110导入到视频解码器112和音频解码器114。这样，视频解码器112可以处理并通过总线122向显示器116提供视频信号，而音频解码器114处理并通过总线124向扬声器118提供音频信号。应理解，根据本实施例，总线122和总线124可以合并为一条同时承载视频和音频数据信号的大型总线。
              根据本发明的示范性操作
本发明的一个实施例提供了一种方法和系统，用于将隔行格式的视频比特流转换成可通过数字电视(例如100)显示的逐行格式。具体而言，本实施例可以实现为数字电视系统100的硬件和/或软件，并在此基础上实施。在本实施例中，利用输入隔行视频比特流(例如128)的当前场、前一场和后续场的像素信息来确定哪些原始内容属于当前场(也称为帧)的缺失行。此外，利用三个不同的像素信息集来估计视频比特流内存在的运动量，以便更充分地确定缺失像素的原始内容。具体而言，在时间和空间像素轴上执行动态加权内插来恢复缺失的像素信息。此外，为了更好地估计视频序列中的运动，还通过前一帧与后续帧中宏块直流(DC)值(也称为宏块运动强度)之间所确定的差值以及前一帧与后续帧中所有像素DC值之间所确定的差值来补偿动态加权内插。图2、3和4说明了根据本发明实施例的这些不同像素级运动测定。
图2是说明根据本发明实施例，利用空间和时间像素内插来恢复隔行视频帧、如场(n)中缺失像素信息的示意图。具体而言，图200说明可由数字电视(例如100)接收的隔行视频比特流的三个场(也称为帧)的像素级视图。X表示位于称之为输入隔行视频比特流当前场的场(n)内的扫描行的缺失像素。此外，场(n-1)是已经显示在显示器(例如116)上的隔行视频比特流的前一场，而场(n+1)是在场(n)之后显示的后续场。本实施例利用与场(n-1)、(n)和(n+1)内找到的附近像素A、B、C和D相关的像素信息来尝试恢复缺失像素X的数据。像素C位于场(n)内的像素X上方，而像素D位于像素C下方。应理解，因为场(n-1)、(n)和(n+1)存储在数字电视100的存储装置(例如易失性存储器104和/或非易失性存储器106)中，所以本实施例可以执行此功能。
在本实施例中，内插系数动态调整以便与时间和空间方向上局部像素值之差相适应。也即，当时间轴上的相邻像素值(如像素A和B)之差相对小于空间轴上的相邻像素值(如像素C和D)之差(说明感兴趣区域中有小的局部运动)时，就偏重在时间方向上进行内插。但是，当时间轴上的相邻像素值(如像素A和B)之差相对大于空间轴上的相邻像素值(如像素C和D)之差(说明感兴趣区域中有大的局部运动)时，则偏重在空间方向上进行内插。因此，此方法在适用于静止视频场景序列的时间内插与适用于快速移动视频场景序列的空间内插之间找到了一种平衡。
例如，场(n)的像素运动强度内插系数(Mp)可以通过如下关系式确定：
M P = Max ( | A - B | - t th 2 t Q - | C - D | - v th 2 v Q , 0 )
其中tth是阈值，tQ是像素A和像素B之间的时间差的量化系数，而vth是阈值，vQ是像素C和像素D之间的空间差的量化系数。已经认识到，tth、tQ、vth和vQ的期望值可以通过试验来确定。对时间差和空间差进行量化的原因之一是，这样就没有要由数字电视100的硬件来处理的浮点数。以这种方式，本实施例更易于在数字电视100的现有硬件中实施。一旦已确定对应于场(n)的像素X的像素级运动强度内插系数，则本实施例就可以将该信息存储在存储器(例如易失存储器104和/或非易失存储器106)中。
为了更好地估计输入视频序列中的运动，还通过两种其他运动确定方法来完善上述去交错方法。本实施例所用的一种运动测定数据是宏块运动强度(MBMS)。图3是说明根据本发明实施例确定用于确定隔行视频序列中的运动的宏块运动强度的示意图300。应理解，词汇“宏块”是与数字视频压缩相关的术语，相当于16×16的像素块。本实施例的宏块运动强度可以用前一场(n-1)和后续场(n+1)中对应宏块的DC值之差来度量。应理解，宏块级信息可以通过MPEG-2(运动图像专家组-2)解码处理过程来获得，该处理过程可以在数字电视100的视频解码器112内实现。
为了在本施例内确定像素X所对应的宏块运动强度(MBMS)，首先要确定对应于像素X的前一场(n-1)和后续场(n+1)的宏块的子块和(SBS)。在本发明的实施例中，一个场的宏块的子块和可以通过将对应于当前场(n)的像素(如X)的宏块中的所有像素值求和来确定。例如，场(n-1)的宏块302的子块和可以通过将对应于场(n)的像素X的位置所对应的宏块302内的所有像素值求和来确定。但是，要明确的是，场的宏块的DC值等效于宏块的子块和。因此，本发明实施例可以通过确定场的宏块的DC值而不是将该宏块内所有像素值求和来确定场的宏块的子块和。
一旦确定了对应于像素X的前一场(n-1)和后续场(n+1)的宏块的子块和(SBS)，可以按根据如下关系式来确定场(n)的像素X所对应的宏块运动强度(MBMS)：
MBMS(n)＝|SBS(n+1)-SBS(n-1)|
其中，SBS(n+1)等于像素X位置所对应的场(n+1)的宏块(如304)的子块和，而SBS(n-1)等于也对应于像素X位置的场(n-1)的宏块(如302)的子块和。一旦确定了场(n)的像素X所对应的宏块运动强度，则本实施例就可以将该值存储在存储器(如易失存储器104和/或非易失存储器106)中。如上所述，已经认识到可以通过MPEG-2解码处理过程获得子块和，此处理过程可以在数字电视100的视频解码器112内实现。
本实施例所用的另一运动测定数据是全局运动强度(GMS)。
图4是说明根据本发明实施例，确定用于确定隔行视频序列中运动的全局运动强度的示意图400。具体而言，全局运动强度可以用前一场(n-1)和后续场(n+1)中所有像素的DC值之差来度量。确定全局运动强度的原因之一是，为了能够检测视频内容中是否有场景变化(这会导致相邻场的像素值之差很大)。如果视频内容中存在场景变化，比较可取的是本实施例不执行时间内插，而执行空间内插。场(n)的像素X所对应的全局运动强度(GMS)可以通过如下关系式确定：
GMS(n)＝|∑SBS(n+1)-∑SBS(n-1)|其中∑SBS(n+1)等于场(n+1)的宏块的所有子块和的和值，而∑SBS(n-1)等于等于场(n-1)的宏块的所有子块和的和值。应理解，对于输入隔行视频比特流的每个场，只确定一次全局运动强度。一旦对场(n)确定了全局运动强度，则本实施例就可以将该值存储在存储器(如易失存储器104和/或非易失存储器106)中。
在本实施例中，宏块运动强度(MBMS)和全局运动强度(GMS)可以在用于下述去交错关系式中之前进行非线性量化。例如，可以使用如下关系式对宏块运动强度进行非线性量化：
M g = ( GMS - b th ) / 2 b Q
其中bth是阈值，bQ量化系数。应理解，bth和bQ的期望值可以通过试验来确定。
再者，可以使用如下关系式对全局运动强度(GMS)进行非线性量化：
M g = ( GMS - g th ) / 2 b Q
其中gth是阈值，gQ是量化系数。应理解，gth和gQ的期望值可以通过试验来确定。量化宏块运动强度(MBMS)和全局运动强度(GMS)的原因之一是，这样，典型数字电视(如100)的硬件就不处理任何浮点数。以这种方式，在数字电视100的硬件中实施本实施例就更任意，且更经济。因此，本实施例是一种针对数字电视应用的具成本效益的解决方案。
一旦确定了量化的全局运动强度(Mg)、量化的宏决运动强度(Mb)以及量化的像素级运动强度(Mp)，就可以确定总运动强度。即，总运动强度(M)可以使用如下关系式来确定：
M＝Mp+Mb+Mg
应理解，可以专门确定本说明书中提及的阈值和量化系数(如，tth、tQ、vth、vQ、bth、bQ、gth和gQ)，以确保所得总运动强度(M)值落在某个预定义动态范围内。例如，总运动强度(M)的动态范围可以预定义为：
                       0≤M≤MMax
其中MMax等于255。但是，可以理解，本实施例的MMax适合采用任何值。此外，本实施例适用于总运动强度(M)的任何预定义动态范围(例如，包括正值和/或负值的范围)。
一旦确定了总运动强度(M)，就可以使用如下关系式确定像素X的去交错像素值：
X = ( M · | A - B | ) + ( ( M Max - M ) · | C - D | ) M Max
其中，A、B、C和D是场(n-1)、(n)和(n+1)的像素A、B、C和D的值。已清楚，X的确定值等于当前场(n)的缺失像素X的值。一旦确定了X的值，则本实施例就可以保存它，还可以将其输出到数字电视100的显示器116。这样，本实施例可以确定隔行视频比特流的每个场的每个缺失像素的去交错像素值。
应理解，本实施例的像素级运动强度、宏块运动强度和全局运动强度在用于上述像素X去交错关系式之前不进行量化也是很合适的。但是，如果像素级运动强度、宏块运动强度和全局运动强度不量化，则可能必须增加数字电视系统(如100)的硬件，以便它可以处理这些不同运动测定方法可能产生的浮点数。此外，浮点硬件通常增加数字电视系统(如100)的制造成本。
图5是根据本发明执行用于将隔行格式的视频比特流转换成可由数字电视(如100)显示的逐行格式的步骤的流程图500。流程图500包括本发明的各种处理，这些处理在一个实施例中由在可读和可执行的指令控制下的处理器和电子组件来执行。这些可读和可执行指令驻留在例如数据存储装置中，例如存储在图1的易失性存储器104和/或非易失性存储器106中。但是，这些可读和可执行的指令可以驻留在任何类型的可读媒体中。虽然流程图500中公开了一些具体步骤，但这些步骤是示范性的。即，本实施例适合于执行其他步骤和图5所示步骤的变型。在本实施例中，应理解，流程图500中的步骤可以由软件、硬件、或硬件和软件的任意组合来执行。
本具体流程图500提供了一种方法和系统，用于将隔行格式的视频比特流转换成可由数字电视(如100)显示的逐行格式。具体而言，本实施例利用输入的隔行视频比特流(如128)的当前场、前一场和后续场的像素信息来尝试确定当前场(也称为帧)的缺失行的原始内容。再者，利用三个不同像素信息集来估计视频比特流内存在的运动量，以便充分确定缺失像素的原始内容。具体而言，在时间和空间像素轴上执行动态加权内插来恢复缺失的像素信息。此外，还通过确定宏块运动强度(MBMS)和全局运动强度(GMS)来补偿动态加权内插。
在图5所示步骤502中，本实施例判断数字电视(如100)是否在接收隔行视频比特流。如果本实施例在步骤502判断数字电视未在接收隔行视频比特流，则转至步骤502的开始。但是，如果本实施例在步骤502判断数字电视在接收隔行视频比特流，则转至步骤504。可以理解，根据本实施例，步骤502所作关于数字电视是否在接收隔行视频比特流的判断可以各种各样的方式来执行。例如，本实施例可以利用输入隔行视频比特流内嵌入的编码来确定它的格式。
在步骤504，在输入视频比特流的场开始处，如在视频消隐间隔(VBI)期间之前，本实施例确定当前场所对应的宏块运动强度(MBMS)和全局运动强度(GMS)。可以理解，根据本实施例，步骤504所作的判断可以各种方式来执行。例如，在步骤504，本实施例可以以类似于参照图3和图4所述的方式来确定宏块运动强度和全局运动强度。应理解，输入视频比特流的第一和最后一个场可能需要以不同于中间视频场的方式来处理。这样做的原因之一是，输入视频的第一场不具有前一场，而最后一个场不具有后续场。因此，本实施例可以在步骤504处理第一场的一种方法是，利用第一场(而非前一场)和下一场的像素信息来确定第一场的宏块运动强度和全局运动强度。此外，本实施例可以如下方法在步骤504处理最后一个场：利用最后一个场(而非后续场)和前一场的像素信息，确定最后一场的宏块运动强度和全局运动强度。
在图5的步骤506，本实施例将对应于当前视频场的宏块运动强度值和全局运动强度值存储在存储器(如易失存储器104和/或非易失存储器106)中。可以理解，本实施例可以将宏块运动强度值和全局运动强度值存储在任何类型的存储器中。在步骤508，本实施例访问对应于当前视频场的缺失像素行(也称为去交错行周期)的宏块运动强度(MBMS)和全局运动强度(GMS)。
在步骤510，本实施例确定当前去交错行周期的每个像素值。可以理解，根据本实施例，步骤510确定当前去交错行周期的每个像素值可以各种方式执行。例如，根据本实施例，可以以类似于参照图1、2、3和4所述的方式在步骤510确定当前去交错行周期的每个像素值。在步骤512，本实施例将步骤510所确定的像素值存储在存储器(如易失存储器104和/或非易失存储器106)中，同时将这些像素值输出到显示器(如116)。
在步骤514，本实施例判断当前去交错行是否是当前视频场的最后一行。如果本实施例在步骤514判断当前去交错行不是当前视频场的最后一行，则转至步骤508的开始。但是，如果本实施例在步骤514确定当前去交错行是当前视频场的最后一行，则转至步骤516。在步骤516，本实施例判断当前场是否是输入视频比特流的最后一个。如果本实施例在步骤516判断当前场不是输入视频比特流的最后一场，则转至步骤504的开始。否则，如果本实施例在步骤516判断当前场是输入视频比特流的最后一场，则转至步骤502的开始。
因此，本发明提供了一种方法和系统，用于以具成本效益、同时提供好的图像解像率的方式，使数字电视和高清晰度电视能够将隔行视频比特流转换成逐行格式。
以上对本发明特定实施例的说明是为了举例和说明。它们并不是为了穷举本发明的实施方式，或者将本发明限制为所公开的精确形式，显然，根据以上论述，可以对所述特定实施例进行各种修改和变化。选择实施例并加以说明是为了以最合适的方式来说明本发明原理及其实际应用，以便使本专业的其他技术人员可以以最佳方式利用本发明和不同实施例，这些不同的实施例可以针对预期的特定用途加以各种修改。本发明的范围旨在由所附权利要求书及其等效物来限定。

Claims (14)

1.一种用于将隔行格式的视频转换成逐行格式的方法，所述方法包括如下步骤：
(a)接收所述隔行格式的所述视频；
(b)利用所述视频的当前场的像素、前一场的像素和后续场的像素确定像素级运动强度值；
(c)利用所述视频的所述前一场的第一宏块和所述后续场的第二宏块确定宏块运动强度值；
(d)利用所述视频的所述前一场的第一总像素值和所述后续场的第二总像素值确定全局运动强度值；以及
(e)利用所述像素级运动强度值、所述宏块运动强度值和所述全局运动强度值确定所述隔行格式的所述视频的缺失行的缺失像素的值。
2.如权利要求1所述的方法，其特征在于所述缺失像素位于所述所述视频的所述当前场内。
3.如权利要求1所述的方法，其特征在于所述步骤(c)还包括：
(c1)通过确定所述视频的所述前一场的所述第一宏块和所述后续场的所述第二宏块之差确定所述宏块运动强度值；
4.一种用于将隔行格式的视频比特流转换成逐行格式的系统，所述系统包括：
调谐器装置，用于接收所述隔行格式的所述视频比特流；
视频解码器装置，用于利用所述视频比特流的当前场的像素、前一场的像素和后续场的像素确定像素级运动强度值；
所述视频解码器装置还用于利用所述视频比特流的所述前一场的第一宏块和所述后续场的第二宏块确定宏块运动强度值；
所述视频解码器装置还用于利用所述视频比特流的所述前一场的第一总像素值和所述后续场的第二总像素值确定全局运动强度值；以及
所述视频解码器装置还用于利用所述像素级运动强度值、所述宏块运动强度值和所述全局运动强度值确定所述隔行格式的所述视频比特流的缺失行的缺失像素的值。
5.如权利要求4所述的系统，其特征在于所述缺失像素位于所述视频的所述当前场内。
6.如权利要求4所述的系统，其特征在于所述调谐器是数字电视的一部分。
7.如权利要求4所述的系统，其特征在于所述调谐器是数字机顶盒的一部分。
8.如权利要求4所述的系统，其特征在于所述调谐器是处理数字电视信号的电子媒体装置的一部分。
9.如权利要求4所述的系统，其特征在于所述系统还包括：
所述视频解码器装置，用以通过确定所述视频比特流的所述前一场的所述第一总像素值和所述后续场的所述第二总像素值之差来确定所述全局运动强度值。
10.如权利要求4所述的系统，其特征在于所述系统还包括：
所述视频解码器装置，用以通过确定所述视频比特流的所述前一场的所述第一宏块和所述后续场的所述第二宏块之差来确定所述宏块运动强度值。
11.如权利要求1所述的方法，其特征在于所述视频是视频比特流，以及在所述步骤(e)中，所述混合像素位于所述视频比特流的所述当前场内。
12.如权利要求1或11所述的方法，其特征在于所述步骤(a)由数字电视、数字机顶盒或处理数字电视信号的电子媒体装置执行。
13.如权利要求1或11所述的方法，其特征在于所述步骤(d)还包括：
(d1)通过确定所述视频比特流的所述前一场的所述第一总像素值和所述后续场的所述第二总像素值之差来确定所述全局运动强度值。
14.如权利要求1或11所述的方法，其特征在于所述步骤(c)还包括：
(c1)通过确定所述视频比特流的所述前一场的所述第一宏块和所述后续场的所述第二宏块之差来确定所述宏块运动强度值。
CNB028221206A 2001-09-14 2002-09-11 隔行格式到逐行格式转换的方法和系统 Expired - Fee Related CN1258910C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/953,465 2001-09-14
US09/953,465 US6847405B2 (en) 2001-09-14 2001-09-14 Motion-adaptive de-interlacing method and system for digital televisions

Publications (2)

Publication Number Publication Date
CN1582569A true CN1582569A (zh) 2005-02-16
CN1258910C CN1258910C (zh) 2006-06-07

Family

ID=25494037

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028221206A Expired - Fee Related CN1258910C (zh) 2001-09-14 2002-09-11 隔行格式到逐行格式转换的方法和系统

Country Status (6)

Country Link
US (1) US6847405B2 (zh)
EP (1) EP1425905B1 (zh)
JP (1) JP4068059B2 (zh)
CN (1) CN1258910C (zh)
GB (1) GB2396510B (zh)
WO (1) WO2003026284A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127908B (zh) * 2007-08-27 2010-10-27 宝利微电子系统控股公司 引入全局特征分类的视频图像运动处理方法及其实现装置
CN112788234A (zh) * 2020-12-29 2021-05-11 紫光展锐(重庆)科技有限公司 一种图像处理方法及相关装置

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7215376B2 (en) * 1997-10-06 2007-05-08 Silicon Image, Inc. Digital video system and methods for providing same
US7359624B2 (en) * 1997-10-06 2008-04-15 Silicon Image, Inc. Portable DVD player
US6587158B1 (en) * 1998-07-23 2003-07-01 Dvdo, Inc. Method and apparatus for reducing on-chip memory in vertical video processing
US6489998B1 (en) 1998-08-11 2002-12-03 Dvdo, Inc. Method and apparatus for deinterlacing digital video images
US20070211167A1 (en) * 1998-10-05 2007-09-13 Adams Dale R Digital video system and methods for providing same
US6909469B2 (en) * 1999-08-11 2005-06-21 Silicon Image, Inc. Interlace motion artifact detection using vertical frequency detection and analysis
CN1218561C (zh) * 2000-06-15 2005-09-07 皇家菲利浦电子有限公司 对图象序列的噪声滤除
US7095445B2 (en) * 2000-12-20 2006-08-22 Samsung Electronics Co., Ltd. Method of detecting motion in an interlaced video sequence based on logical operation on linearly scaled motion information and motion detection apparatus
JP4563030B2 (ja) * 2001-11-23 2010-10-13 エヌエックスピー ビー ヴィ ワンパスで複数の出力画像を提供するための信号処理装置
US7023487B1 (en) 2002-01-25 2006-04-04 Silicon Image, Inc. Deinterlacing of video sources via image feature edge detection
US7362374B2 (en) * 2002-08-30 2008-04-22 Altera Corporation Video interlacing using object motion estimation
GB0307307D0 (en) * 2003-03-29 2003-05-07 Atelier Vision Ltd Image processing
JP4261970B2 (ja) * 2003-04-24 2009-05-13 キヤノン株式会社 映像情報処理装置及び映像情報処理方法
US20050094899A1 (en) * 2003-10-29 2005-05-05 Changick Kim Adaptive image upscaling method and apparatus
US7349026B2 (en) * 2004-01-30 2008-03-25 Broadcom Corporation Method and system for pixel constellations in motion adaptive deinterlacer
US7483077B2 (en) * 2004-01-30 2009-01-27 Broadcom Corporation Method and system for control of a multi-field deinterlacer including providing visually pleasing start-up and shut-down
US20050273657A1 (en) * 2004-04-01 2005-12-08 Hiroshi Ichiki Information processing apparatus and method, and recording medium and program for controlling the same
JP4306536B2 (ja) * 2004-05-31 2009-08-05 パナソニック電工株式会社 スキャンコンバータ
US7466361B2 (en) * 2004-10-08 2008-12-16 Wyman Richard H Method and system for supporting motion in a motion adaptive deinterlacer with 3:2 pulldown (MAD32)
US7542095B2 (en) * 2005-01-20 2009-06-02 Samsung Electronics Co., Ltd. Method and system of noise-adaptive motion detection in an interlaced video sequence
KR100722773B1 (ko) * 2006-02-28 2007-05-30 삼성전자주식회사 동영상에서 그래픽 영역을 검출하는 방법 및 장치
US8116576B2 (en) * 2006-03-03 2012-02-14 Panasonic Corporation Image processing method and image processing device for reconstructing a high-resolution picture from a captured low-resolution picture
US8098898B2 (en) * 2006-10-27 2012-01-17 Panasonic Corporation Motion detection device, MOS (metal-oxide semiconductor) integrated circuit, and video system
US7982800B2 (en) * 2007-02-02 2011-07-19 Freescale Semiconductor, Inc. Video de-interlacer using motion residue compensation
US8115863B2 (en) * 2007-04-04 2012-02-14 Freescale Semiconductor, Inc. Video de-interlacer using pixel trajectory
US8828912B2 (en) 2009-09-21 2014-09-09 Akonni Biosystems, Inc. Method of making a microarray assembly
US8508661B1 (en) 2008-02-01 2013-08-13 Zenverge, Inc. Enhanced deinterlacing using predictors from motion estimation engine
US9078007B2 (en) * 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
CN102457737A (zh) * 2010-10-26 2012-05-16 重庆大学 一种基于深度图像的3d视频去隔行方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5410356A (en) * 1991-04-19 1995-04-25 Matsushita Electric Industrial Co., Ltd. Scanning-line interpolation apparatus
SE9201183L (sv) * 1992-04-13 1993-06-28 Dv Sweden Ab Saett att adaptivt estimera icke oenskade globala bildinstabiliteter i bildsekvenser i digitala videosignaler
US5305104A (en) * 1992-07-27 1994-04-19 The Trustees Of Columbia University In The City Of New York Digitally assisted motion compensated deinterlacing for enhanced definition television
EP0624032B1 (en) 1993-05-07 2000-07-26 Lg Electronics Inc. Video format conversion apparatus and method
US5828786A (en) * 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
US5689305A (en) * 1994-05-24 1997-11-18 Kabushiki Kaisha Toshiba System for deinterlacing digitally compressed video and method
US5579054A (en) * 1995-04-21 1996-11-26 Eastman Kodak Company System and method for creating high-quality stills from interlaced video
KR0176568B1 (ko) 1996-01-27 1999-05-01 김광호 모션과 공간적인 상관도를 이용한 비월순차 변환장치 및 그 방법
US6205178B1 (en) * 1996-09-20 2001-03-20 Hitachi, Ltd. Method and synthesizing a predicted image, video coding device and video coding method
US5784115A (en) 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
US6269484B1 (en) * 1997-06-24 2001-07-31 Ati Technologies Method and apparatus for de-interlacing interlaced content using motion vectors in compressed video streams
TW454423B (en) * 1998-08-03 2001-09-11 Equator Technologies Inc Circuit and method for generating filler pixels from the original pixels in a video stream
JP2003500944A (ja) * 1999-05-25 2003-01-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ インターレースされた画像信号からプログレッシブ走査された画像信号への変換方法
JP4419210B2 (ja) * 1999-06-01 2010-02-24 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US6542196B1 (en) * 1999-11-05 2003-04-01 Lsi Logic Corporation Adaptive field pairing system for de-interlacing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127908B (zh) * 2007-08-27 2010-10-27 宝利微电子系统控股公司 引入全局特征分类的视频图像运动处理方法及其实现装置
CN112788234A (zh) * 2020-12-29 2021-05-11 紫光展锐(重庆)科技有限公司 一种图像处理方法及相关装置

Also Published As

Publication number Publication date
EP1425905A1 (en) 2004-06-09
GB2396510A (en) 2004-06-23
US6847405B2 (en) 2005-01-25
JP2005503732A (ja) 2005-02-03
WO2003026284A1 (en) 2003-03-27
US20030052995A1 (en) 2003-03-20
CN1258910C (zh) 2006-06-07
GB0405761D0 (en) 2004-04-21
GB2396510B (en) 2005-04-06
JP4068059B2 (ja) 2008-03-26
EP1425905B1 (en) 2012-07-04

Similar Documents

Publication Publication Date Title
CN1258910C (zh) 隔行格式到逐行格式转换的方法和系统
CN1231047C (zh) 数字电视频道冲浪系统
CN1121786C (zh) 电视接收机
CN111316625B (zh) 用于从第一图像生成第二图像的方法和设备
CN1623165A (zh) 用于降低轮廓的方法和系统
KR20000068542A (ko) 비디오 엔코더, 비디오 디코더, 비디오 프로세서 및 그 방법
CN1728798A (zh) 数字有线电视接收机及其诊断方法和状态报告的数据结构
CN1717935A (zh) 根据请求进行ⅰ图像插入
CN1905666A (zh) 广播接收/发送装置、无线音频/视频系统及其控制方法
CN101094412A (zh) 视频信号编码系统和方法以及视频输出和信号转换装置
JP2004173011A (ja) 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
CN1477874A (zh) 数字视频系统及其控制方法
US20130229572A1 (en) Converting image format
KR20070000365A (ko) 화상 처리 장치, 화상 처리 방법, 및 프로그램
CN1794796A (zh) 显示设备及其控制方法
CN201585053U (zh) 电视
US20070230918A1 (en) Video Quality Enhancement and/or Artifact Reduction Using Coding Information From a Compressed Bitstream
US8270773B2 (en) Image processing apparatus and image processing method
CN1838746A (zh) 具有定格功能的广播接收机及其方法
CN1255719C (zh) 用于处理视频信号的方法和显示系统以及视频显示设备
US9456215B2 (en) Image transmission apparatus in digital TV broadcasting
KR20140090288A (ko) 케이블 방송망을 통한 uhd급 지상파 방송 재전송 장치
CN1698371A (zh) 使用反离散余弦变换缩放图像的方法
CN1684509A (zh) 数码电视机的音频处理装置及方法
CN1812588A (zh) 用于通知视频接收延迟的方法及其广播接收设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060607

Termination date: 20150911

EXPY Termination of patent right or utility model