CN1655619A - 执行代码转换前后保持定时参数的代码转换系统和方法 - Google Patents

执行代码转换前后保持定时参数的代码转换系统和方法 Download PDF

Info

Publication number
CN1655619A
CN1655619A CNA2005100053989A CN200510005398A CN1655619A CN 1655619 A CN1655619 A CN 1655619A CN A2005100053989 A CNA2005100053989 A CN A2005100053989A CN 200510005398 A CN200510005398 A CN 200510005398A CN 1655619 A CN1655619 A CN 1655619A
Authority
CN
China
Prior art keywords
video
code conversion
stc1
pts2
clock reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005100053989A
Other languages
English (en)
Other versions
CN100364339C (zh
Inventor
成英庆
申孝燮
姜仁鲜
具吉谟
李蕙受
赵宰薰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1655619A publication Critical patent/CN1655619A/zh
Application granted granted Critical
Publication of CN100364339C publication Critical patent/CN100364339C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F11/00Coin-freed apparatus for dispensing, or the like, discrete articles
    • G07F11/02Coin-freed apparatus for dispensing, or the like, discrete articles from non-movable magazines
    • G07F11/04Coin-freed apparatus for dispensing, or the like, discrete articles from non-movable magazines in which magazines the articles are stored one vertically above the other
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F11/00Coin-freed apparatus for dispensing, or the like, discrete articles
    • G07F11/72Auxiliary equipment, e.g. for lighting cigars, opening bottles
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F9/00Details other than those peculiar to special kinds or types of apparatus
    • G07F9/10Casings or parts thereof, e.g. with means for heating or cooling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors

Abstract

一种当使用段浏览器将一种MPEG流转换成另一种格式的流时有效地使分段元数据和A/V内容同步的代码转换系统和方法。该代码转换系统包括:定时同步器,其调整定时参数从而即使在代码转换过程之后也能使视频数据同步于分段元数据;代码转换条件判定器,其判定适合于末端用户环境的转换条件;和编码器,其根据由代码转换条件判定器判定的转换条件来压缩从视频数据重新构造的视频序列并将作为已调整的定时参数之一的显示时间标记记录在已压缩的视频序列中。

Description

执行代码转换前后保持定时参数的代码转换系统和方法
                         技术领域
本发明涉及视频压缩,更具体地讲,涉及一种当使用段浏览器将MPEG流从一种比特率转换成另一种、从一种帧大小转换成另一种、或从一种压缩格式转换成另一种,存储或发送已转换的流,或再现已转换的流时,能够有效地使分段元数据和AV内容同步的代码转换系统和方法,
                         背景技术
代码转换过程是将一种压缩视频信号转换成另一种具有与该压缩视频信号不同速率、不同视频帧速率、不同视频帧大小、或不同压缩方式的视频信号的过程,而代码转换器是执行代码转换过程的装置。
由于各种多媒体应用程序的发展和通信环境的改善,所以对不同类型的网络或协议之间的通信的需求正在稳步地增长。例如,为了在不同类型的网络之间发送视频流,应该在视频源和用户之间建立特殊的通信路径。在这种情况下,当对源视频编码时,调整压缩视频流的带宽以适应网络连接中提供的最严格(最低)的传输率。
通过改变源编码器的编码参数来调整实时视频流的带宽。然而,在这种情况下,由于编码比特率应该被降低以适应最坏条件下的链接,所以可能导致差的画面质量。换言之,即使能够处理较高质量图像的系统也可能最终具有低质量图像。在各种的用户设备在其中一起被使用的当前的通信环境中,由于传输信道可能具有相互不同的特性和不同的能力,所以可能引起许多问题。
最近,越来越多的用户偏爱尺寸紧凑的便携式设备,如移动电话或个人数字助理(PDA),用于视频通信或访问因特网。然而,多数便携式设备具有有限的计算和显示能力。所以,它们不适合于高分辨率视频解码或显示处理。为了使用这样的便携式设备来显示高分辨率视频流,应该将高分辨视频流转换成较低分辨率视频流。
随着这种视频压缩标准,如H.261、H.263、H.264、MPEG1、MPEG2、和MPEG4已经发展起来,对将一种视频压缩类型的视频流到另一种视频压缩类型的视频流的可转换性的需求稳步增长。在将视频源加载到视频流中并经不同能力的客户信道发送视频流的情况下,应该将视频流转换成具有适合每个客户信道的比特率。特别地,当举行其中在适当地转换多个视频流各自的比特率之后应该将它们经有限数目的信道发送的多点视频会议时,这个需求变得重要。
已经开发出视频代码转换技来解决上述的问题。这种技术通过将压缩视频流从一种格式转换成另一种格式,能够使压缩视频流在不同类型的网络之间或不同的用户设备之间发送。视频代码转换器,如源编码器,能够通过调整一些参数如画面质量、帧速率、和分辨率来改变图像数据。
在这样的代码转换过程之后,需要适当地重新设置定时参数。以下将描述在代码转换过程之后适当调整定时参数的各种传统技术。
MEPG解码器基于指示编码器的本地系统时间的时间标记来改变它的本地系统时间。将来自原始输入源的数据以预定比特率输入到编码器。编码器输出具有可变比特率的数据。将从编码器输出的数据输入到编码器的缓冲器。最后,从编码器的缓冲器输出具有不变比特率的流数据。流数据以预定的比特率经射频(RF)传输信道输入到解码器缓冲器,然后以可变的比特率输入到MEPG解码器。因此,从解码器缓冲器输出具有预定比特率的数据。执行定时同步过程以处理从可变比特率转换到固定比特率或者从固定比特率转换到可变比特率的数据。
假设在解码块、传输端口、和编码器的末端之间的延迟为零,传统的代码转换器以预定的延迟工作。解码器按后面的方式同步于编码器的时间标记而工作。编码器包括作为系统定时时钟(STC)的主振荡器、和计数器。STC属于预定的节目,并且是视频和音频编码器的程序的主时钟。
在一些MEPG标准中,时间标记可能没有用于时间同步,在这种情况下,不能保证不同部件相互的同步。当视频帧或音频块输入到编码器时,编码器从视频帧或音频块抽样STC。将指示编码器和解码器缓冲器之间的延迟的常数加到抽样的STC,从而形成显示时间标记(PTS)。在视频帧或音频块的首标中内插PTS。
在重新排序视频帧的情况下,在视频帧中分别内插指示解码器何时对每个视频帧进行解码的解码时间标记(DTS)。除了重新排序B图像的情况,帧重新排序过程所需的DTS可以是和它们各自的PTS相同的值。在视频帧中内插DTS和PTS,从而设置它们相互小于或等于700毫秒。
根据高级电视系统委员会(ATSC),在每幅画面的首标中内插PTS和DTS。编码器缓冲器输出每个具有叫作节目时钟参考(PCR)的时间标记的传输包或每个具有称为系统时钟参考(SCR)的时间标记的打包基本流(PES)。PCR以100毫秒的间隔被产生,并且SCR以最大700毫秒的间隔被产生。PCR或SCR用于使解码器的STC和编码器的STC同步。
节目流(PS)具有作为其时钟参考的SCR,并且传输流(TS)具有作为其时钟参考的PCR。所以每种视频流或音频流具有相应于STC的时间标记,从而使解码器的STC和编码器的STC同步。
如TV-anytime论坛所定义,段浏览器提供使用分段元数据非线性地再生广播流的功能。TV-anytime论坛是私有标准组织的协会,其寻求使观众在任何时候使用他们的存储设备都能够观看各种包括传统类型的广播节目和在线交互式广播服务的广播节目。更具体地讲,TV-anytime论坛的目的是发展关于服务环境的标准,在该服务环境中实时广播服务和因特网服务结合在一起。
在段浏览器中使用的分段元数据提供另外的内容信息,例如最重要部分、内容表、和书签。例如,分段元数据使仅足球比赛的精彩场面,如进球得分场面或仅关于用户特殊喜爱的领域的新闻能够被播放给用户。
广播流由内容提供器提供并且经广播系统向用户广播,而分段元数据由元数据提供器提供并且由经因特网向用户广播。换言之,由于广播流和分段元数据由不同的提供器提供,所以需要将广播流提供的定时和分段元数据提供的定时同步。
由于用户环境中的变化,所以对多种平台的需求不断增加。最近,开发了在其中广播流接收机和数字存储介质结合在一起的个人数字录像机(PDR)。PDR需要将一种类型广播流转换成另一种类型广播流并将其临时存储。因此,越来越希望服务提供器提供在任何时间易于从一种格式转换到另一种格式的广播内容。代码转换器执行用于将广播内容从一种格式转换到另一种格式的功能。更具体地讲,代码转换器将以MPEG格式压缩的广播流解码并将已解码的流压缩成另一种格式。
MPEG广播流作为TS或PS存储在存储介质中。MPEG广播流包括时间信息,如用于将编码器和解码器同步的PCR或SCR,以及用于将音频内容和视频内容同步的STC、PTS和DTS。使用解码器重新构造MPEG广播流,并且这些时间信息在被用于将解码器和编码器同步和使音频内容和视频内容同步之后消失。
分段元数据的每段包括PTS和DTS,从而视频流能够同步于音频流。因此,如果在末端解码器搜索和选择的任何期望的分段元数据的段,那么相应的元数据输出到用户,并且与所选的段相应的视频或音频数据被显示。
例如,如在第2003-230092号日本专利公开中所公开的,在通过解码和重新编码过程来重新设置PTS(或DTS)的情况下,或在将多个TS多路复用成单个的TS的情况下,PTS(或DTS)的值以和发生在转换代码器中的延迟同样多的值增加,然后对每个流重新编码,以使视频数据和音频数据同步。然而,如上所述,在既使用元数据又使用音频/视频数据的情况下,不应任意重设音频/视频数据的PTS(或DTS),否则末端用户可能不能正确使用元数据。
因此,需要将流相互同步而不改变每个视频帧或每个音频块的PTS或DTS。
                        发明内容
本发明提供一种在给多种平台提供多媒体服务并将数据流从一种格式转换和压缩成段浏览器可处理的另一种格式所需的代码转换器中执行的定时同步方法。
该发明还提供一种保存时间信息的方法从而段浏览器能够以帧接帧为基础精确地访问数据。
根据本发明的一个方面,提供一种代码转换系统,其在执行代码转换前后保持定时参数。该代码转换系统包括:多路分解器,其从输入传输流中提取定时参数和以预定方式压缩的视频数据;定时同步器,其调整定时参数从而即使在代码转换过程之后也能使视频数据同步于分段元数据;代码转换条件判定器,其判定适合于末端用户环境的代码转换条件;编码器,其压缩根据由代码转换条件判定器判定的代码转换条件而从视频数据重新构造的视频序列,并将作为已调整的定时参数之一的显示时间标记记录在已压缩的视频序列中;多路复用器,其通过多路复用视频序列和分段元数据来产生输出传输流,并将作为已调整定时参数之一的节目时钟参考记录在输出传输流的首标中。
定时同步器可以包括:总延迟计算器,其计算发生在代码转换过程中的总延迟时间和延迟计数的总数;锁相环,其从多路分解器接收节目时钟参考(PCR1),调整系统时钟,并且基于已调整的系统时钟来输出系统时间计数STC1;第一加法器,其通过将从锁相环输出的系统时间计数STC1的符号和由总延迟计数器计算的延迟计数的总数的符号取反并将取反的结果相加,来获得系统时间计数STC1*,并将系统时间计数STC1*输出到节目时钟参考发生器;节目时钟参考发生器,其从第一加法器接收系统时间计数STC1*,并基于预定时钟信号的频率来产生节目时钟参考PCR2,并将节目时钟参考PCR2发送到多路复用器;和第二加法器,其通过将从多路分解器输出的显示时间标记PTS1的符号和由总延迟计数器计算的延迟计数的总数的符号取反并将取反的结果相加,来获得显示时间标记PTS2,并将显示时间标记PTS2发送到代码转换条件判定器。
另外定时同步器可以包括:总延迟计算器,其计算发生在代码转换系统的总延迟时间和延迟计数的总数;第一锁相环,其从多路分解器接收节目时钟参考PCR1,调整系统时钟,并且基于已调整的系统时钟来输出系统时间计数STC1;第一加法器,其通过将从第一锁相环输出的系统时间计数STC1的符号和由总延迟计算器计算的延迟计数的总数的符号取反并将取反的结果相加,来获得系统时间计数STC1*,并将系统时间计数STC1*输出到节目时钟参考发生器;第二锁相环,其从第一加法器接收系统时间STC1*,调整系统时间,并基于已调整的系统时钟来输出系统时间计数STC2;节目时钟参考发生器,其从第一加法器接收系统时间STC1*,并基于预定时钟信号的频率来产生节目时钟参考PCR2,并将节目时钟参考PCR2发送到多路复用器;第二加法器,其通过将从多路复用器输出的显示时间标记PTS1的符号和由总延迟计算器计算的延迟计数的总数的符号取反并将取反的结果相加,来获得显示时间标记PTS2,并将该显示时间标记PTS2发送到代码转换条件判定器。
预定时钟信号的频率最好是10Hz。
代码转换条件判定器从第二加法器接收显示时间标记PTS2,并判定适合于末端用户环境的代码转换条件,并将由根据代码转换条件调整PTS2的结果而获得的显示时间标记PTS2*经寄存器发送到编码器,并将根据代码转换条件调整的目标帧速率发送到编码器。
当代码转换条件判定器决定改变帧速率,显示时间标记PTS2*可由下面的方程确定:
PTS2*(i)=PTS_start+ΔPTS×(f1/f2)×i
其中,f1代表原始视频帧速率,f2代表重新设置的视频帧速率,PTS_start代表当视频帧速率的重新设置开始时的PTS2值,ΔPTS代表在视频帧之间所计的时钟数,并且i代表根据视频帧显示的次序分配给每个视频帧的序列号。
当代码转换条件判定器决定增加帧速率,编码器可以通过帧内插方法产生新帧。
定时同步器可以包括:总延迟计算器,其计算在代码转换系统中发生的总延迟时间和延迟计数的总数;锁相环,其从多路分解器接收节目时钟参考PCR1,调整系统时钟,并基于已调整的系统时钟输出系统时间计数STC1;加法器,其通过将从锁相环输出的系统时间计数STC1的符号和由总延迟计算器计算的延迟计数的总数的符号取反并将取反的结果相加,来获得系统时间计数STC2,并将系统时间计数STC2输出到节目时钟参考发生器;节目时钟参考发生器,其从加法器接收系统时间计数STC2,并基于预定时钟信号的频率来产生节目时钟参考PCR2,并将节目时钟参考PCR2发送到多路复用器;和寄存器,其当收到指示来自编码器的预定帧的准备的加载信号时,将系统时间计数STC2设置为最终的显示时间标记PTS2*,并向编码器提供最终的显示时间标记PTS2*
或者,定时同步器可以包括:总延迟计算器,其计算在代码转换系统中发生的总延迟时间和延迟计数的总数;第一锁相环,其从多路分解器接收节目时钟参考PCR1,调整系统时钟,并基于已调整的系统时钟来输出系统时间计数STC1;加法器,其通过将从第一锁相环输出的系统时间计数STC1的符号和由总延迟计算器计算的延迟计数的总数的符号取反并将取反的结果相加,来获得系统时间计数STC1*,并将系统时间计数STC1*输出到节目时钟参考发生器;第二锁相环,其从第一加法器接收系统时间计数STC1*,调整系统时钟,并基于已调整的系统时钟来输出系统时间计数STC2;节目时钟参考发生器,其从第一加法器接收系统时间计数STC1*,并基于预定的时钟信号的频率来产生节目时钟参考PCR2,并将节目时钟参考PCR2发送到多路复用器;和寄存器,其当收到指示来自编码器的预定帧的准备的加载信号时,将系统时间计数STC2设置为最终的显示时间标记PTS2*,并向编码器提供最终的显示时间标记PTS2*
另外,定时同步器可以包括:总延迟计算器,其计算在代码转换系统中发生的总延迟时间和延迟计数的总数;节目时钟参考缓冲器,其从多路分解器接收节目时钟参考PCR1,并存储用于由总延迟计算器计算的总延迟时间的节目时钟参考PCR1,然后将节目时钟参考PCR1发送到节目时钟参考发生器;节目时钟参考发生器,其从节目时钟参考缓冲器接收节目时钟参考PCR1,并基于预定时钟信号的频率产生节目时钟参考PCR2,并将节目时钟参考PCR2发送到多路复用器;和显示时间标记缓冲器,其从多路分解器接收显示时间标记PTS1,并存储用于由总延迟计算器计算的总延迟时间的显示时间标记PTS1,然后将显示时间标记PTS1发送到代码转换条件判定器。
可以由下面的方程计算:
延迟计数的总数=M/f×N
其中M代表用于形成PTS的系统时钟频率,f代表原始视频帧速率,并且N代表在总延迟计算器计算的总延迟时间期间进行代码转换的视频帧数。
根据本发明的另一方面,提供在执行代码转换前后保持定时参数的代码转换方法,该代码转换方法包括:从输入传输流提取定时参数和以预定方式压缩的视频数据;调整定时参数从而即使在代码转换过程之后也能使视频数据同步于分段元数据;接收从输入传输流提取的视频数据并通过解压缩收到的视频数据来恢复视频序列;判定适合于末端用户的代码转换条件;根据代码转换条件重新压缩已恢复的视频序列,并将作为已调整的定时参数之一的显示时间标记记录在压缩的视频序列中;和通过多路复用视频序列和分段元数据产生输出传输流,并将作为已调整的定时参数之一的节目时钟参考记录在输出传输流的首标中。
                          附图说明
通过下面结合附图详细地描述本发明的实施例,本发明的以上和其他方面将会变得更加清楚,其中:
图1是根据本发明示例性的实施例的代码转换系统的示意方框图;
图2A是示出打包基本流(PES)格式的图解;
图2B是示出传输流(TS)格式的图解;
图3是示出根据本发明示例性的实施例的在代码转换过程之后保持PTS等于PCR的方法的图解;
图4是示出总延迟时间的图解;
图5是根据本发明第一示例性的实施例的代码转换系统的方框图;
图6是根据本发明第二示例性的实施例的代码转换系统的方框图;
图7是根据本发明第三示例性的实施例的代码转换系统的方框图;
图8是根据本发明第四示例性的实施例的代码转换系统的方框图;和
图9是根据本发明第五示例性的实施例的代码转换系统的方框图。
                      具体实施方式
现在将参照在其中显示本发明示例性的实施例的附图来充分描述本发明。然而,该发明可能以许多不同的形式实施并且不应解释为受限于这里阐述的示例性的实施例;而且,这些示例性的实施例被提供从而该公开将全面和完整,并且向本领域内的技术人员充分表达本发明构思。本发明的精神和范围由所附的权利要求来限定。在附图中,相同的标号表示相同的部件。
图1是根据本发明示例性的实施例的代码转换系统200的示意方框图。参照图1,代码转换系统200包括代码转换器100。代码转换器100包括定时同步器90(190、290、390、和490)、解码器60、和编码器70。代码转换系统200还可以包括多路分解器61和多路复用器73。
多路分解器61接收输入的传输流(TS)或节目流(PS),从输入TS或PS提取定时参数,并将提取的定时参数发送到定时同步器90。多路分解器61还从输入TS或PS提取先前以预定方式压缩的视频数据,并将提取的视频数据发送到解码器60。这里,定时参数包括显示时间标记(PTS)、解码时间标记(DTS)、和节目时钟参考(PCR)。
定时同步器90保持从多路分解器61接收的定时参数完好,从而即使在视频帧经历代码转换过程之后也能使它们同步于分段元数据,并将定时参数发送到编码器70和多路复用器73。
解码器60使用预定的解码方法将从多路分解器61接收的压缩视频数据恢复成视频序列,并将该视频序列提供给编码器70。
编码器70根据由代码转换条件判定器95设置的预定条件来压缩从解码器60接收的视频序列,将从定时同步器90接收的定时参数记录在压缩视频序列中,并将所得到的压缩视频序列发送到多路复用器73。
代码转换条件判定器95判定适合于末端用户环境的代码转换条件并将判定的代码转换条件提供给编码器70和定时同步器90。代码转换条件包括视频质量、分辨率、比特率、和视频帧速率。
多路复用器73多路复用从编码器70接收的视频序列和分段元数据,从而产生输出TS或PS。多路复用器73将从定时同步器90接收的定时参数记录在输出TS或PS的首标中。分段元数据可以已经由多路分解器61从输入TS或PS提取或已经由另一元数据提供器提供。
在本发明中,输入到多路分解器61的流可以是TS或PS,并且从多路复用器73输出的流可以是TS或PS。另外,不管输入到多路分解器61的流是TS还是PS,多路复用器73可能输出TS或PS。
然而,为了解释方便现在将以TS而不是PS为例来描述本发明。例如,在下面的段落中,仅将PCR描述作参考时钟指示项(indicator),而在输入到代码转换系统200或从代码转换系统200输出的流是PS的情况下,SCR也可以用作参考时钟指示项。即使将PCR输入到代码转换系统200作为参考时钟指示项,也可以将SCR从代码转换系统200输出作为参考时钟指示项,反之亦然。
图2A和2B分别示出MPEG-2打包基本流(PES)包和MPEG-2 TS。参照图2A,将使用MPEG-2编码器压缩的MPEG-2视频流打包成每个具有预定大小的PES包。每个PES包包括PES首标和PES包数据字段。PES首标包括可选的PES首标500。
参照图2B,通过多路复用过程构成的TS长188字节并包括首标610和净荷620。在净荷620中包括PES包、节目关联表(PAT)、节目映射表(PMT)。
以同步字节开始的首标610包括多种字段,如适应字段611。适应字段611包括可选字段612,并且可选字段612包括PCR字段613。作为参考时间信息的PCR信息记录在PCR字段613中。
图3是示出在执行根据本发明示例性的实施例的代码转换过程之后保持PTS和PCR相等的方法的图解。参照图3,PTS1[t]代表在t时刻PTS1的值,PTS2[t+k]代表在t+k时刻PTS2的值,k代表预定视频帧输入到代码转换器的时间和预定视频帧被解码和重新编码的时间之间的时间间隔,即发生在代码转换器中的总延迟时间。如图4所示,总延迟时间k是预测(look-ahead)延迟和缓冲器延迟的和。与总延迟时间k相应的时间计数的个数可以被定义为延迟计数的总数。
在图3中,PTS1[t]=PTS2[t+k]。换言之,在t时刻被编码以具有PTS1的视频帧应在t+k时刻被重新编码以具有PTS2,其可由下面的方程(1)表示:
PTS1[t]=PTS2[t]+延迟计数的总数
PCR1[t]=PTS1[t]-c
PCR2[t]=PTS2[t]-c                                     …(1)其中c代表预定的常数。因此,延迟计数的总数可由下面的方程(2)表示:
延迟计数的总数
=PTS1[t]-PTS2[t]
=PCR1[t]+c-(PCR2[t]+c)
=PCR1[t]-PCR2[t]                                      …(2)其中PTS2[t]和PCR2[t]可用下面的方程(3)得到:
PTS2[t]=PTS1[t]-延迟计数的总数
PCR2[t]=PCR1[t]-延迟计数的总数                        …(3)
如方程(3)所示,为了精确校正PTS,应定义在具有PTS1[t]的视频帧输入到代码转换器的时间和该输入视频帧被重新编码的时间之间的延迟计数的总数。为了确定延迟计数的总数,应首先确定总延迟时间k。如上所述,总延迟时间k是由多路分解器61多路分解预定视频帧的时间和被多路分解的视频帧输入到视频编码器71的时间之间的时间间隔,即缓冲器延迟和预测延迟的和。
假设f代表原始视频帧速率(视频帧/秒),M代表用于形成PTS的系统时钟频率(例如27MHz),和N代表在总延迟时间k期间进行代码转换的视频帧数,那么帧之间的PTS间隔可以由M/f表示。延迟计数的总数具有作为M/f倍数的离散值。因此,延迟计数的总数和总延迟时间k可由下面的方程(4)表示:
延迟计数的总数=M/f×N                                …(4)
使用方程(4)计算的延迟计数的总数将被用于在图5到8中示出的本发明的示例性的实施例中。
图5是根据本发明第一示例性的实施例的代码转换系统200的详细方框图。参照图5,定时同步器90包括第一锁相环(PLL)10、第二PLL 20、总延迟计算器80、加法器91和92、寄存器30、和PCR发生器40。
输入到代码转换系统200的TS由多路分解器61多路分解成PES包。PES包被编码成视频数据,并且该视频数据输出到解码器的缓冲器62。解码器缓冲器62临时存储视频数据并将视频数据以先入先出(FIFO)的方式输出到视频解码器63。视频解码器63从在视频编码器中编码的视频数据重新构造视频序列。多路分解器61从输入TS提取PCR1并将提取的PCR1发送到第一PLL10。多路分解器61从输入TS提取PTS1并将提取的PTS1发送到加法器92。
一般的PLL是将输入信号的相位和参考信号相位比较并将输入信号和参考信号同步的电路。更具体地讲,一般的PLL将输入时钟信号和反馈时钟信号比较并基于比较结果控制振荡器的时钟信号直到输入时钟的上升沿和反馈时钟信号的上升沿对准。
第一PLL 10提供和一般的PLL几乎相同的功能。更具体地讲,第一PLL10基于从多路分解器61输入的PCR1来调整系统时钟信号并且通过使用已调整的系统时钟信号来输出STC1。
更具体地讲,将从输入TS提取的PCR1发送到减法器12和寄存器14。减法器12从PCR1中减去从寄存器14输出的STC1,并将由相减的结果得到的差值数据发送到电压控制振荡器11。电压控制振荡器11通过使用差值数据来调整从这里输出的系统时钟信号的频率等于发送方,即原编码器的系统时钟信号的频率,如27MHz,输出已调整的系统时钟信号,并且基于PCR1正确地恢复参考时间。将从电压控制振荡器11输出的系统时钟信号输入到时钟计数器13。时钟计数器13对从电压控制振荡器11接收的系统时钟信号计数,即计算STC1,并将STC1输出到寄存器14。当寄存器14接收到指示PCR1的提供的定时的加载信号时,其将STC1反馈给减法器12。
如上面的方程(4)所示,总延迟计算器80通过将缓冲器延迟和预测延迟加起来计算总延迟时间,即延迟计数的总数。
加法器91将从寄存器14输出的STC1的符号和由总延迟计算器80计算的延迟计数的总数的符号取反,并将取反的结果相加,从而得到STC1*。之后,加法器91将STC1*发送到第二PLL 20。
和第一PLL 10相同的提供和一般的PLL几乎相同的功能的第二PLL 20通过使用从这里输入的STC1*作为输入时钟信号来调整系统时钟信号,并通过使用已调整的系统时钟信号来输出STC2。
更具体地讲,将加法器91获得的STC1*提供给减法器22和寄存器24。减法器22通过从STC1*中减去从寄存器24输出的STC2来获得差值数据并将该差值数据发送到电压控制振荡器21。电压控制振荡器21调整从这里输出的系统时钟信号的频率等于从发送方,即第一PLL输出的系统时钟信号的频率,如27MHz,并且基于STC1*正确地恢复参考时间。
从电压控制振荡器21输出的系统时钟信号输入到时钟计数器23。然后,时钟计数器23对从电压控制振荡器21接收的系统时钟信号计数,即计算STC2。之后,时钟计数器23将STC2输出到寄存器24。当寄存器24接收到指示STC1*的供应的定时的加载信号时,其将STC2反馈给减法器22。
PCR发生器40从计数器23接收STC2,根据预定时钟信号的频率产生PCR2,并且将PCR2发送到多路复用器73。PCR发生器40包括加载脉冲发生器41和寄存器42。寄存器42从计数器23接收STC2。寄存器42将当具有10Hz频率的信号从加载脉冲发生器41输入到这里时输入到此的STC2设置为PCR2,并向多路复用器73提供PCR2。多路复用器73将具有预定频率(如10Hz)的PCR2记录在输出TS的首标中。
加法器92将从多路分解器61输出的PTS1的符号和由总延迟计算器80计算的延迟计数的总数的符号取反,并将取反的结果相加,从而得到PTS2。之后,加法器92将PTS2提供给代码转换条件判定器95。
代码转换条件判定器95从加法器92接收PTS2,判定适合于末端用户环境的代码转换条件,并且根据已判定的代码转换条件调整PTS2,从而获得PTS2*。之后,代码转换条件判定器95将PTS2*发送到寄存器30,并将已根据已判定的代码转换条件被重新设置的目标视频帧速率发送到视频编码器71。
如果即使其他参数,即画面质量、分辨率、和比特率已经根据已判定的代码转换条件改变,原始视频帧速率还保持完好,那么无需改变PTS,在这种情况下,代码转换条件判定器95向寄存器30输出PTS2而不是PTS2*,并将原始视频帧速率设置为目标视频帧速率。
然而,如果代码转换条件判定器95决定通过在现存的视频帧之间内插或者跳过现存的一些视频帧而获得新视频帧来改变原始视频帧速率,那么现存的每个视频帧的PTS不能按原样使用并且必须被改变。调整结果,即PTS2*可使用下面的方程得到:
PTS2*(i)=PTS_start+ΔPTS×(f1/f2)×i                    …(5)
其中,f1代表原始视频帧速率,f2代表重新设置的视频帧速率,PTS_start代表当视频帧速率的重新设置开始时获得的PTS2的值,ΔPTS代表在视频帧之间所记数的时钟数,即视频帧的PTS2值之间的差,和i代表根据视频帧出现的次序分配给每个视频帧的序列号。
在不经常发生的原始帧速率增加的情况下,PTS应当适合于增加的视频帧速率。可以通过产生新视频帧并在现存视频帧之间内插这些新视频帧来增加原始视频帧速率。在已从代码转换条件判定器95接收到目标视频帧速率并使用预定的视频压缩方法压缩现存视频帧的视频编码器71之前,执行视频内插过程。之后,使用上面的方程(5)来获得包括现存的和新产生的视频帧的合成的视频帧的每个的PTS2*
在减小原始视频帧速率的情况下,在每预定数目的现存视频帧中一帧可以被跳过。之后,可以剥夺被跳过的视频帧的PTS,并可以允许剩余的现存视频帧具有它们原始的PTS。或者,可以跳过预定百分比的现存视频帧,在剩余的现存视频帧中内插新视频帧,并且对所得到的视频帧编码,在这种情况下,可以使用上面的方程(5)得到每个得到的视频帧的PTS2*
DTS可以取决于相应的视频帧被如何编码而以各种方式被改变。改变的DTS可以以与用于获得PTS2相同的方式来被获得。
参照图5,视频编码器71从视频解码器63接收视频序列,通过基于从代码转换条件判定器95接收的目标帧速率而执行内插来产生新视频帧,并当将被内插的视频帧准备好在视频帧内插过程中被使用时,将指示将被内插的视频帧的产生已完成的预定加载信号发送到寄存器30。视频编码器71从寄存器30接收PTS2*,将PTS2*记录在每个视频帧的首标中,通过使用预定的视频压缩方法,以预定编码单元为基础,例如,以图像组(GOP)接GOP为基础,来压缩得到的视频帧,并将压缩的视频帧经视频缓冲器72发送到多路分解器73。
多路分解器73将从PCR发生器40接收的PCR2记录在输出TS的首标中,并以预定单元为基础将由从视频编码器71接收的由压缩视频帧组成的视频流记录在输出TS的净荷中,从而产生输出TS。
寄存器30从代码转换条件判定器95接收PTS2*,并当其从视频编码器71接收预定加载信号时,将PTS2*提供给视频编码器71。
图6是根据本发明的第二示例性的实施例的代码转换系统200的方框图。本发明的第二示例性的实施例通过用延迟计数的总数来减少STC而不调整输入的PTS来提供和本发明的第一示例性的实施例相同的效果。
参照图6,定时同步器90可以包括第一PLL 10、第二PLL 20、总延迟计算器80、加法器91、寄存器30、和PCR发生器40。
多路分解器61从输入TS提取PCR1并将PCR1发送到第一PLL 10。多路分解器61从输入TS提取PTS1并将PTS1发送到加法器92。
作为一般PLL的第一PLL通过使用PCR1作为输入时钟信号来调整STC,并将STC1作为调整的结果输出。
更具体地讲,将从输入TS提取的PCR1提供给减法器12和寄存器14。减法器12从PCR1中减去从寄存器14输出的STC1,从而得到差值数据。之后,减法器12将差值数据发送到电压控制振荡器11。电压控制振荡器11通过使用差值数据来调整系统时钟信号的频率等于发送方,即原编码器输出的系统时钟信号的频率,如27MHz,并且基于PCR1恢复参考时间。
从电压控制振荡器11输出的系统时钟信号输入到时钟计数器13。时钟计数器13对系统时钟信号计数,即计算STC1。STC1被输入到寄存器14,并当寄存器14接收到指示PCR1的提供的定时的加载信号时,STC1被反馈给减法器12。
总延迟计算器80通过计算缓冲器延迟和预测延迟并将缓冲器延迟和预测延迟相加来计算总延迟时间,即延迟计数的总数。加法器91将从寄存器14输出的STC1的符号和由总延迟计算器80计算的延迟计数的总数的符号取反,并将取反的结果相加,从而得到STC1*。之后,加法器91将STC1*发送到和第一PLL 10相同的一般PLL的第二PLL 20。
更具体地讲,将从加法器91输出的STC1*发送到减法器22和寄存器24。减法器22通过从STC1*中减去从寄存器24输出的STC2来获得差值数据并将该差值数据发送到电压控制振荡器21。电压控制振荡器21调整从这里输出的系统时钟信号的频率等于从发送方,即第一PLL输出的系统时钟信号的频率,如27MHz,并且基于STC1*正确地恢复参考时间。
从电压控制振荡器21输出的系统时钟信号输入到时钟计数器23。时钟计数器23对从电压控制振荡器21接收的系统时钟信号计数,即计算STC2。将STC2输出到寄存器24,并且当寄存器24接收到指示STC1*的提供的定时的加载信号时,STC2被反馈给减法器22。
PCR发生器40从计数器23接收STC2,根据预定时钟信号的频率产生PCR2,并且将PCR2发送到多路复用器73。更具体地说,PCR发生器40包括加载脉冲发生器41和寄存器42。寄存器42从计数器23接收STC2,并且将当其从加载脉冲发生器41接收具有10Hz频率的时钟信号时输入的STC2设置为PCR2,并将PCR2提供给多路复用器73。然后多路复用器73将具有预定频率如10Hz的PCR2记录在输出TS的首标中。
代码转换条件判定器95判定适合于末端用户环境的代码转换条件并将根据代码转换条件变化的目标视频帧速率发送到视频编码器71。在增加视频帧速率的情况下,需要产生新视频帧并在现存视频帧之间内插这些新产生的视频帧,在已从代码转换条件判定器95接收到目标视频帧速率的在视频编码器71之前执行的过程使用预定的视频压缩方法来压缩现存视频帧。
在减小原始视频帧速率的情况下,在每预定数目的现存视频帧中的一帧可以被跳过,在这种情况下,不需要视频帧内插过程。然而,如果跳过预定百分比的现存视频帧来减小原始视频帧速率,那么应在剩余的视频帧中内插新产生的视频帧。
回去参照图6,视频编码器71接收视频序列,通过基于从代码转换条件判定器95接收的目标视频帧速率执行内插来产生新视频帧,并当将被内插的视频帧准备好在视频帧内插过程中被使用时,将指示将被内插的视频帧的产生已完成的预定加载信号发送到寄存器30。视频编码器71从寄存器30接收PTS2*,将PTS2*记录在每个视频帧的首标中,通过使用预定的视频压缩方法,以预定编码单元的为基础来压缩得到的视频帧,并将压缩的视频帧经视频缓冲器72发送到多路分解器73。
多路分解器73将从PCR发生器40接收的PCR2记录在输出TS的首标中,并以预定单元为基础将从视频编码器71接收的视频流记录在输出TS的净荷中,从而产生输出TS。
寄存器30从代码转换条件判定器95接收STC2,并将STC2设置为最终的PTS,即PTS2*,并且当其从视频编码器71接收预定加载信号时,将PTS2*提供给视频编码器71。
图7是根据本发明第三示例性的实施例的代码转换系统200的方框图。该代码转换系统200仅包括一个PLL,而其在本发明第一示例性的实施例的对应部分包括两个PLL,即一个用于解码器63和另一用于编码器71。
换言之,根据本发明第三示例性的实施例的代码转换系统200除了其不包括如图5所示的第二PLL 20之外,和根据本发明第一示例性的实施例的代码转换系统200相同。因此,在本示例性的实施例中,将加法器91的输出,即从STC1减去延迟计数的总数的结果,被直接输入到寄存器42中,而不经过图5所示的第二PLL 20。如上所述,对本领域的技术人员明显的是本发明示例性的实施例能够通过和第一示例性的实施例中相同的方法来实现。
图8是根据本发明第四示例性的实施例的代码转换系统200的方框图。该代码转换系统200除了其包括一个PLL而不是两个PLL之外,和本发明第二示例性的实施例的对应部分相同。
更具体地讲,该代码转换系统200不包括图6的第二PLL 20。因此,在本示例性的实施例中,加法器91的输出,即从STC1减去延迟计数的总数的结果,被直接输入到寄存器30和42中,而不经过图6所示的第二PLL 20。
图9是根据本发明第五示例性的实施例的代码转换系统200的方框图。和本发明的前面所有的示例性的实施例的对应部分不同,该代码转换系统200分别在缓冲器中存储PCR和PTS并在视频编码过程中使用PCR和PTS而不改变它们。
代码转换系统200包括定时同步器490、多路分解器61、解码器缓冲器62、视频解码器63、视频编码器71、视频缓冲器72、多路复用器73、和代码转换条件判定器95。
定时同步器490包括PCR缓冲器93、PTS缓冲器94、总延迟计算器80、寄存器30、PCR发生器40。
多路分解器61从输入TS提取PCR1,并将PCR1发送到PCR缓冲器93。另外,多路分解器61从输入TS提取PTS1,并将PTS1发送到PTS缓冲器94。
总延迟计算器80使用上面的方程(4)计算总延迟时间并将计算的结果提供给PCR缓冲器93和PTS缓冲器94。
PCR缓冲器93存储从多路分解器61接收的PCR1,然后将PCR1提供给寄存器40。
PTS缓冲器94存储从多路分解器61接收用于总延迟时间的PTS1,并将PTS1提供给代码转换条件判定器95。
PCR发生器40从PCR缓冲器93接收PCR1,根据预定的时钟信号的频率产生PCR2,并将PCR2发送到多路复用器73。PCR发生器40包括加载脉冲发生器41和寄存器42。寄存器42从PCR缓冲器93接收PCR1,并当其接收具有10Hz频率的时钟信号时,将PCR2发送到多路复用器73。然后多路复用器73将具有预定频率(如10Hz)的PCR2记录在输出TS的首标中。
代码转换条件判定器95判定适合于末端用户环境的代码转换条件,根据代码转换条件调整PTS1,将调整的结果,即PTS2*,发送到寄存器30,并将根据代码转换条件变化的目标视频帧速率发送到视频编码器71。
如果即使其他参数即画面质量、分辨率、和比特率都已经改变,原始视频帧速率还保持完好,那么无需改变PTS。因此,代码转换条件判定器95向寄存器30输出PTS2而不是PTS2*,并将作为目标视频帧速率设置为原始视频帧速率。
然而,如果代码转换条件判定器95决定通过在现存的视频帧之间内插或者跳过现存的一些视频帧来改变原始视频帧速率,那么包括内插帧的所有视频帧的PTS2*可使用上面的方程(5)得到。
在增加原始视频帧速率的情况下,需要产生新视频帧并在现存视频帧之间内插新视频帧,正好在接收到目标视频帧速率的视频编码器之前执行的过程使用预定的视频压缩方法来压缩现存视频帧。因此,和以上的情况相同,包括内插帧的所有视频帧的PTS2*可使用上面的方程(5)得到。
在减小原始视频帧速率的情况下,在每预定数目的现存视频帧中的一帧可以被跳过。之后,可以剥夺被跳过的视频帧的PTS,并允许剩余的现存视频帧具有它们各自原始的PTS。或者,可以跳过预定百分比的现存视频帧,在剩余的现存视频帧中内插新视频帧,并且对得到的视频帧编码,在这种情况下,可以使用上面的方程(5)得到每个得到的视频帧的PTS2*
视频编码器71从视频解码器63接收视频序列,并且,如果需要的话,通过基于从代码转换条件判定器95接收的目标帧速率而执行内插来产生新视频帧。然后当将被内插的视频帧准备好在视频帧内插过程中被使用时,视频编码器71将指示将被内插的视频帧的产生已完成的预定加载信号发送到寄存器30。视频编码器71从寄存器30接收PTS2*,将PTS2*记录在每个视频帧的首标中,通过使用预定的视频压缩方法,以预定编码单元为基础,来压缩现存的视频帧,并将压缩的视频帧经视频缓冲器72发送到多路分解器73。
多路分解器73将从PCR发生器40接收的PCR2记录在输出TS的首标中,并以预定单元为基础将从视频编码器71接收的由压缩视频帧组成的视频流记录在输出TS的净荷中,从而产生输出TS。
寄存器30从代码转换条件判定器95接收PTS2*,并当其从视频编码器71接收预定加载信号时,将PTS2*提供给视频编码器71。
尽管参照附图通过本发明的示例性的实施例具体地示出和描述了本发明,本领域的一般技术人员应当理解在不偏离下面的权利要求所限定的本发明的精神和范围的情况下,可以在形式和细节上作各种变化。因此,所揭示的本发明示例性的实施例仅用在一般的和描述性的场合而不是为了限制的目的。
根据本发明,可以有效地解决当将一种MPEG流转换成另一种具有与该MPEG流不同的比特率、不同的视频帧速率、不同的视频帧大小、或不同压缩方式的MPEG流并存储所得的流时,不能同步分段元数据和AV内容的使用段浏览器的传统装置的问题。

Claims (16)

1、一种执行代码转换前后保持定时参数的代码转换系统,该代码转换系统包括:
多路分解器,其从输入传输流提取定时参数和以预定方式压缩的视频数据;
定时同步器,其调整定时参数,从而即使在代码转换过程之后也能使视频数据同步于分段元数据;
代码转换条件判定器,其判定适合于末端用户环境的代码转换条件;
编码器,其根据由代码转换条件判定器判定的代码转换条件压缩而从视频数据重新构造的视频序列,并将作为已调整的定时参数之一的显示时间标记记录在已压缩的视频序列中;和
多路复用器,其通过多路复用视频序列和分段元数据来产生输出传输流,并将作为已调整定时参数之一的节目时钟参考记录在输出传输流的首标中。
2、根据权利要求1的代码转换系统,其中定时同步器包括:
总延迟计算器,其计算发生在代码转换系统中的总延迟时间和延迟计数的总数;
锁相环,其从多路分解器接收节目时钟参考PCR1,调整系统时钟,并且基于已调整的系统时钟来输出系统时间计数STC1;
第一加法器,其通过将从锁相环输出的系统时间计数STC1的符号和由总延迟计数器计算的延迟计数的总数的符号取反并将取反结果相加,来获得系统时间计数STC1*,并输出系统时间计数STC1*
节目时钟参考发生器,其从第一加法器接收系统时间计数STC1*,并基于预定时钟信号的频率产生节目时钟参考PCR2,并将节目时钟参考PCR2发送到多路复用器;和
第二加法器,其通过将从多路分解器输出的显示时间标记PTS1的符号和由总延迟计数器计算的延迟计数的总数的符号取反并将取反结果相加,来获得显示时间标记PTS2,并将显示时间标记PTS2发送到代码转换条件判定器。
3、根据权利要求1的代码转换系统,其中定时同步器包括:
总延迟计算器,其计算发生在代码转换系统中的总延迟时间和延迟次数的总数;
第一锁相环,其从多路分解器接收节目时钟参考PCR1,调整系统时钟,并且基于已调整的系统时钟来输出的系统时间计数STC1;
第一加法器,其通过将从第一锁相环输出的系统时间计数STC1的符号和由总延迟计算器计算的延迟计数的总数的符号取反并将取反结果相加,来获得系统时间计数STC1*,并输出系统时间计数STC1*
第二锁相环,其从第一加法器接收系统时间计数STC1*,调整系统时钟,并基于已调整的系统时钟来输出系统时间计数STC2;
节目时钟参考发生器,其从第一加法器接收系统时间STC1*,并基于预定时钟信号的频率来产生节目时钟参考PCR2,并将节目时钟参考PCR2发送到多路复用器;和
第二加法器,其通过将从多路复用器输出的显示时间标记PTS1的符号和由总延迟计算器计算的延迟计数的总数的符号取反并将取反结果相加,来获得显示时间标记PTS2,并将该显示时间标记PTS2发送到代码转换条件判定器。
4、根据权利要求2的代码转换系统,其中预定时钟信号的频率是10Hz。
5、根据权利要求2的代码转换系统,其中,代码转换条件判定器从第二加法器接收显示时间标记PTS2,判定适合于末端用户环境的代码转换条件,将由根据代码转换条件调整的显示时间标记PTS2的结果而获得的显示时间标记PTS2*经寄存器发送到编码器,并将根据代码转换条件调整的目标帧速率发送到编码器。
6、根据权利要求5的代码转换系统,其中如果代码转换条件判定器决定改变帧速率,则显示时间标记PTS2*由下面的方程确定:
PTS2*(i)=PTS_start+ΔPTS×(f1/f2)×i
其中,f1代表原始视频帧速率,f2代表重新设置的视频帧速率,PTS_start代表如果视频帧速率的重新设置开始而得到的PTS2的值,ΔPTS代表在视频帧之间所计的时钟数,并且i代表根据显示视频帧的次序分配给每个视频帧的序列号。
7、根据权利要求6的代码转换系统,其中如果代码转换条件判定器决定增加帧速率,那么编码器通过帧内插过程产生新帧。
8、根据权利要求1的代码转换系统,其中定时同步器包括:
总延迟计算器,其计算发生在代码转换系统中的总延迟时间和延迟计数的总数;
锁相环,其从多路分解器接收节目时钟参考PCR1,调整系统时钟,并基于已调整的系统时钟来输出系统时间计数STC1;
加法器,其通过将从锁相环输出的系统时间计数STC1的符号和由总延迟计算器计算的延迟计数的总数的符号取反并将取反的结果相加,来获得系统时间计数STC2,并输出系统时间计数STC;
节目时钟参考发生器,其从加法器接收系统时间计数STC2,并基于预定时钟信号的频率来产生节目时钟参考PCR2,并将节目时钟参考PCR2发送到多路复用器;和
寄存器,其如果从编码器接收到指示预定帧的准备的加载信号,那么将系统时间计数STC2设置为最终的显示时间标记PTS2*,并向编码器提供最终的显示时间标记PTS2*
9、根据权利要求1的代码转换系统,其中定时同步器包括:
总延迟计算器,其计算在代码转换系统中发生的总延迟时间和延迟计数的总数;
第一锁相环,其从多路分解器接收节目时钟参考PCR1,调整系统时钟,并基于已调整的系统时钟来输出系统时间计数STC1;
加法器,其通过将从第一锁相环输出的系统时间计数STC1的符号和由总延迟计算器计算的延迟计数的总数的符号取反并将取反的结果相加,来获得系统时间计数STC1*,并输出系统时间计数STC1*
第二锁相环,其从第一加法器接收系统时间计数STC1*,调整系统时钟,并基于已调整的系统时钟来输出系统时间计数STC2;
节目时钟参考发生器,其从第一加法器接收系统时间计数STC1*,并基于预定时钟信号的频率来产生节目时钟参考PCR2,并将节目时钟参考PCR2发送到多路复用器;和
寄存器,其如果从编码器接收到指示预定帧的准备的加载信号,那么将系统时间计数STC2设置为最终的显示时间标记PTS2*,并向编码器提供最终的显示时间标记PTS2*
10、根据权利要求8的代码转换系统,其中代码转换条件判定器判定适合于末端用户环境的代码转换条件,并将根据代码转换条件调整的目标帧速率发送到编码器。
11、根据权利要求10的代码转换系统,其中如果代码转换条件判定器决定增加帧速率,那么编码器通过帧内插过程产生新帧。
12、根据权利要求1的代码转换系统,其中,定时同步器包括:
总延迟计算器,其计算发生在代码转换系统中的总延迟时间和延迟计数的总数;
节目时钟参考缓冲器,其从多路分解器接收节目时钟参考PCR1,存储用于由总延迟计算器计算的总延迟时间的节目时钟参考PCR1,并且然后发送节目时钟参考PCR1;
节目时钟参考发生器,其从节目时钟参考缓冲器接收节目时钟参考PCR1,基于预定时钟信号的频率产生节目时钟参考PCR2,并将节目时钟参考PCR2发送到多路复用器;和
显示时间标记缓冲器,其从多路分解器接收显示时间标记PTS1,并存储用于由总延迟计算器计算的总延迟时间的显示时间标记PTS1,然后将显示时间标记PTS1发送到代码转换条件判定器。
13、根据权利要求12的代码转换系统,其中如果代码转换条件判定器决定改变帧速率,则显示时间标记PTS2*由下面的方程确定:
PTS2*(i)=PTS_start+ΔPTS×(f1/f2)×i
其中,f1代表原始视频帧速率,f2代表重新设置的视频帧速率,PTS_start代表如果重新设置的视频帧速率开始而得到的PTS2的值,ΔPTS代表在视频帧之间所记的时钟数,并且i代表根据出现视频帧的次序分配给每个视频帧的序列号。
14、根据权利要求2的代码转换系统,其中由下面的方程计算延迟计数的总数:
延迟计数的总数=M/f×N
其中M代表用于形成PTS的系统时钟频率,f代表原始视频帧速率,并且N代表在总延迟计算器计算的总延迟时间期间进行代码转换的视频帧数。
15、一种在执行代码转换过程的前后保持定时参数的代码转换方法,该代码转换方法包括:
从输入传输流提取定时参数和以预定方式压缩的视频数据;
调整定时参数从而即使在代码转换过程之后也能使视频数据同步于分段元数据;
接收从输入传输流提取的视频数据并通过解压缩该视频数据来恢复视频序列;
判定适合于末端用户的代码转换条件;
根据代码转换条件重新压缩已恢复的视频序列,并将作为已调整的定时参数之一的显示时间标记记录在已压缩的视频序列中;和
通过多路复用视频序列和分段元数据产生输出传输流,并将作为已调整的定时参数之一的节目时钟参考记录在输出传输流的首标中。
16、一种具有记录在其上的计算机可读程序的记录介质,该程序使计算机执行在代码转换过程的前和后保持定时参数的代码转换方法,该代码转换方法包括:
从输入传输流提取定时参数和以预定方式压缩的视频数据;
调整定时参数从而即使在代码转换过程之后也能使视频数据同步于分段元数据;
接收从输入传输流提取的视频数据并通过解压缩该视频数据来恢复视频序列;
判定适合于末端用户的代码转换条件;
根据代码转换条件重新压缩已恢复的视频序列,并将作为已调整的定时参数之一的显示时间标记记录在已压缩的视频序列中;和
通过多路复用视频序列和分段元数据产生输出传输流,并将作为已调整的定时参数之一的节目时钟参考记录在输出传输流的首标中。
CNB2005100053989A 2004-02-14 2005-02-05 执行代码转换前后保持定时参数的代码转换系统 Active CN100364339C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR9861/04 2004-02-14
KR10-2004-0009861A KR100526189B1 (ko) 2004-02-14 2004-02-14 트랜스코딩 전후에 타이밍 파라미터를 일정하게유지시키는 트랜스코딩 시스템 및 방법
KR9861/2004 2004-02-14

Publications (2)

Publication Number Publication Date
CN1655619A true CN1655619A (zh) 2005-08-17
CN100364339C CN100364339C (zh) 2008-01-23

Family

ID=34880249

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100053989A Active CN100364339C (zh) 2004-02-14 2005-02-05 执行代码转换前后保持定时参数的代码转换系统

Country Status (5)

Country Link
US (1) US7656948B2 (zh)
EP (1) EP1585336B1 (zh)
JP (1) JP2005229593A (zh)
KR (1) KR100526189B1 (zh)
CN (1) CN100364339C (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102100082A (zh) * 2009-05-27 2011-06-15 索尼公司 信息处理设备和方法
CN101449584B (zh) * 2006-05-26 2013-03-13 英国电讯有限公司 视频处理
CN103294416A (zh) * 2012-02-01 2013-09-11 株式会社理光 信息处理装置、信息处理系统及数据转换方法

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100145794A1 (en) * 1999-10-21 2010-06-10 Sean Barnes Barger Media Processing Engine and Ad-Per-View
US6792575B1 (en) 1999-10-21 2004-09-14 Equilibrium Technologies Automated processing and delivery of media to web servers
CN101107859B (zh) * 2005-01-24 2010-11-10 汤姆森许可贸易公司 对编码转换视频进行视觉检查的方法、设备和系统
US7649874B2 (en) * 2005-03-10 2010-01-19 Qualcomm Incorporated Methods and apparatus for providing power efficient time management for mobile media
US20070067480A1 (en) * 2005-09-19 2007-03-22 Sharp Laboratories Of America, Inc. Adaptive media playout by server media processing for robust streaming
WO2007060722A1 (ja) * 2005-11-24 2007-05-31 Fujitsu Limited 受信装置
US8125987B2 (en) * 2006-03-30 2012-02-28 Broadcom Corporation System and method for demultiplexing different stream types in a programmable transport demultiplexer
KR101296953B1 (ko) 2007-02-14 2013-08-14 엘지전자 주식회사 녹화물 압축 시 타임 스탬프 생성 장치 및 방법
US20080212690A1 (en) * 2007-03-01 2008-09-04 Qualcomm Incorporated Transcoder media time conversion
US8447003B2 (en) * 2007-03-28 2013-05-21 Panasonic Corporation Clock synchronization method for use in communication system for transmitting at least one of video data and audio data
EP2163016A2 (en) * 2007-06-15 2010-03-17 Michele Bargauan Deterministic program clock reference re-stamping for synchronous bit rate adaptation based on mega-frame initialization packet
BRPI0813507A2 (pt) * 2007-06-15 2015-12-22 Michele Bargauan sistema de comunicação para alimentar múltiplas redes de frequência única com conteúdo múltiplo
US9794605B2 (en) * 2007-06-28 2017-10-17 Apple Inc. Using time-stamped event entries to facilitate synchronizing data streams
US8077222B2 (en) * 2007-11-06 2011-12-13 Canon Kabushiki Kaisha Image processing apparatus to transmit moving image data
KR100916505B1 (ko) * 2008-02-20 2009-09-08 한국전자통신연구원 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치
EP2104103A1 (en) * 2008-03-20 2009-09-23 British Telecommunications Public Limited Company Digital audio and video clip assembling
EP2104105A1 (en) * 2008-03-20 2009-09-23 British Telecommunications Public Limited Company Digital audio and video clip encoding
EP2129130A1 (fr) * 2008-05-26 2009-12-02 THOMSON Licensing Procédé de transmission simplifié d'un flux de signaux entre un émetteur et un appareil électronique
US20090300687A1 (en) * 2008-05-28 2009-12-03 Broadcom Corporation Edge device establishing and adjusting wireless link parameters in accordance with qos-desired video data rate
US8625662B2 (en) * 2008-05-28 2014-01-07 Broadcom Corporation Modification of delivery of video stream to wireless device based upon position/motion of wireless device
US8209733B2 (en) * 2008-05-28 2012-06-26 Broadcom Corporation Edge device that enables efficient delivery of video to handheld device
US8255962B2 (en) * 2008-05-28 2012-08-28 Broadcom Corporation Edge device reception verification/non-reception verification links to differing devices
EP2150059A1 (en) * 2008-07-31 2010-02-03 Vodtec BVBA A method and associated device for generating video
JP5131101B2 (ja) * 2008-09-09 2013-01-30 富士通株式会社 動画像編集装置および動画像編集プログラム
US7769049B2 (en) * 2008-10-17 2010-08-03 Ixia Traffic generator using parallel coherent transmit engines
WO2010070054A1 (en) * 2008-12-19 2010-06-24 Thomson Licensing Method for transport stream synchronizing in a multiplexer comprising an external coprocessor
FR2940491B1 (fr) * 2008-12-23 2011-03-18 Thales Sa Systeme de procede interactif pour la transmission sur un reseau bas debit d'images clefs selectionnees dans un flux video
JP4519934B2 (ja) * 2008-12-26 2010-08-04 株式会社東芝 音声再生装置
US9549197B2 (en) * 2010-08-16 2017-01-17 Dolby Laboratories Licensing Corporation Visual dynamic range timestamp to enhance data coherency and potential of metadata using delay information
EP2619978B1 (en) * 2010-10-27 2019-03-27 LG Electronics Inc. Electronic device and method of controlling an electronic device
US8719688B2 (en) 2010-10-29 2014-05-06 Lg Electronics Inc. Device for processing bookmark information generated by another device and method for displaying bookmark information
US8755438B2 (en) * 2010-11-29 2014-06-17 Ecole De Technologie Superieure Method and system for selectively performing multiple video transcoding operations
CN102014284B (zh) * 2010-12-10 2014-09-10 中兴通讯股份有限公司 转码业务中获取视频码流的参数集值的方法、系统及装置
US8782165B2 (en) * 2011-01-26 2014-07-15 Openwave Mobility, Inc. Method and transcoding proxy for transcoding a media stream that is delivered to an end-user device over a communications network
US9509945B2 (en) * 2011-02-08 2016-11-29 Texas Instruments Incorporated Automatic program clock reference correction
US9691339B2 (en) * 2011-03-29 2017-06-27 Renesas Electronics Corporation Display apparatus and display apparatus control circuit
JP2013062624A (ja) * 2011-09-12 2013-04-04 Sharp Corp 再生装置、再生方法、配信装置、配信システム、再生プログラムおよび記録媒体
US20130117418A1 (en) * 2011-11-06 2013-05-09 Akamai Technologies Inc. Hybrid platform for content delivery and transcoding
US9532080B2 (en) 2012-05-31 2016-12-27 Sonic Ip, Inc. Systems and methods for the reuse of encoding information in encoding alternative streams of video data
US9118425B2 (en) 2012-05-31 2015-08-25 Magnum Semiconductor, Inc. Transport stream multiplexers and methods for providing packets on a transport stream
JP6313704B2 (ja) * 2012-06-22 2018-04-18 サターン ライセンシング エルエルシーSaturn Licensing LLC 受信装置およびその同期処理方法
EP2866458B1 (en) * 2012-06-22 2019-07-31 Saturn Licensing LLC Reception device, and synchronous processing method therefor
GB2503711B (en) * 2012-07-05 2014-10-15 Quixel Holdings Ltd Video data communication
EP2898506B1 (en) 2012-09-21 2018-01-17 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
KR20140039920A (ko) * 2012-09-25 2014-04-02 삼성전자주식회사 영상 데이터 처리 방법과 장치 및 이를 포함하는 단말기
US20140112386A1 (en) * 2012-10-22 2014-04-24 General Instrument Corporation Algorithms for determining bitrate for a statistical multiplexing system to account for signal complexity including film mode and gop structural changes
WO2014113478A1 (en) 2013-01-21 2014-07-24 Dolby Laboratories Licensing Corporation Metadata transcoding
US9350990B2 (en) 2013-02-28 2016-05-24 Sonic Ip, Inc. Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming
US9357210B2 (en) 2013-02-28 2016-05-31 Sonic Ip, Inc. Systems and methods of encoding multiple video streams for adaptive bitrate streaming
US10003815B2 (en) * 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
US9485456B2 (en) 2013-12-30 2016-11-01 Akamai Technologies, Inc. Frame-rate conversion in a distributed computing system
WO2015146378A1 (ja) * 2014-03-24 2015-10-01 株式会社 東芝 多重化装置、受信装置、多重化方法及び遅延調整方法
US9350968B1 (en) * 2014-06-04 2016-05-24 Freescale Semiconductor, Inc. Enhanced digital video recording using video transcoding
WO2016073992A1 (en) * 2014-11-07 2016-05-12 H4 Engineering, Inc. Editing systems
US20160295256A1 (en) * 2015-03-31 2016-10-06 Microsoft Technology Licensing, Llc Digital content streaming from digital tv broadcast
JP6801668B2 (ja) 2015-11-05 2020-12-16 ソニー株式会社 コンテンツ再生装置、およびコンテンツ再生方法
KR20170068946A (ko) * 2015-12-10 2017-06-20 삼성전자주식회사 방송 수신 장치 및 방송 수신 장치의 제어 방법
US20180146222A1 (en) * 2016-11-23 2018-05-24 Akamai Technologies, Inc. Systems and methods for demultiplexing and multiplexing multimedia streams that have spurious elementary streams
CN107360424B (zh) * 2017-07-28 2019-10-25 深圳岚锋创视网络科技有限公司 一种基于视频编码器的码率控制方法、装置及视频服务器
WO2019132119A1 (ko) * 2017-12-28 2019-07-04 주식회사 디에스브로드캐스트 방송 신호 송신을 위한 다중화 방법 및 그 장치
US10951390B2 (en) * 2018-02-05 2021-03-16 Arris Enterprises Llc Two-stage IP de-jitter algorithm in a multiplexer for a group of statistically multiplexed single program transport streams
US11172244B2 (en) * 2018-05-02 2021-11-09 Arris Enterprises Llc Process controller for creation of ABR VOD product manifests
AU2018438001A1 (en) * 2018-08-21 2021-01-14 Rovi Guides, Inc. Systems and methods for real-time adaptive bitrate transcoding and transmission of transcoded media
DE102018009825A1 (de) * 2018-12-14 2020-06-18 Diehl Metering S.A.S. Verfahren zum Sammeln von Daten sowie Sensor und Versorgungsnetz
CN110769278B (zh) * 2019-10-29 2022-02-08 鹏城实验室 一种分布式视频转码方法及系统
WO2021221946A1 (en) * 2020-04-28 2021-11-04 Arris Enterprises Llc System for jitter recovery from a transcoder
US11206415B1 (en) 2020-09-14 2021-12-21 Apple Inc. Selectable transcode engine systems and methods
CN112601078B (zh) * 2020-12-11 2022-07-26 杭州当虹科技股份有限公司 一种基于视频的编码器延时的自动测量方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5691986A (en) * 1995-06-07 1997-11-25 Hitachi America, Ltd. Methods and apparatus for the editing and insertion of data into an encoded bitstream
US6498865B1 (en) 1999-02-11 2002-12-24 Packetvideo Corp,. Method and device for control and compatible delivery of digitally compressed visual data in a heterogeneous communication network
US6345279B1 (en) * 1999-04-23 2002-02-05 International Business Machines Corporation Methods and apparatus for adapting multimedia content for client devices
US7088725B1 (en) 1999-06-30 2006-08-08 Sony Corporation Method and apparatus for transcoding, and medium
US20010047517A1 (en) * 2000-02-10 2001-11-29 Charilaos Christopoulos Method and apparatus for intelligent transcoding of multimedia data
US6724825B1 (en) 2000-09-22 2004-04-20 General Instrument Corporation Regeneration of program clock reference data for MPEG transport streams
US6954432B1 (en) * 2000-10-04 2005-10-11 Motorola, Inc. Method and apparatus for improving perceived signal quality of transmitted information in a full duplex wireless communication system
US20020144291A1 (en) * 2001-03-28 2002-10-03 Mary Smiley Network publication of data synchronized with television broadcasts
JP2003087785A (ja) 2001-06-29 2003-03-20 Toshiba Corp 動画像符号化データの形式変換方法及び装置
JP2003230092A (ja) 2002-02-04 2003-08-15 Sony Corp 情報処理装置および方法、プログラム格納媒体、並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101449584B (zh) * 2006-05-26 2013-03-13 英国电讯有限公司 视频处理
CN102100082A (zh) * 2009-05-27 2011-06-15 索尼公司 信息处理设备和方法
CN103294416A (zh) * 2012-02-01 2013-09-11 株式会社理光 信息处理装置、信息处理系统及数据转换方法

Also Published As

Publication number Publication date
KR100526189B1 (ko) 2005-11-03
US7656948B2 (en) 2010-02-02
JP2005229593A (ja) 2005-08-25
EP1585336B1 (en) 2017-05-03
US20050190872A1 (en) 2005-09-01
EP1585336A1 (en) 2005-10-12
CN100364339C (zh) 2008-01-23
KR20050081554A (ko) 2005-08-19

Similar Documents

Publication Publication Date Title
CN1655619A (zh) 执行代码转换前后保持定时参数的代码转换系统和方法
CN1212737C (zh) 用于活动图像专家组(mpeg)传输流的程序时钟基准数据的再生
JP4668515B2 (ja) マルチメディアコンテンツに同期化されたメタデータ伝送装置及び方法
CA2449124C (en) Splicing of digital video transport streams
CN1172531C (zh) 信息传输方法、编解码设备及编码复用/解码解复用设备
CN1275289A (zh) 叠接数字视频流的装置和方法
CN1736106A (zh) 视听内容传输
CN1949880A (zh) 数字广播接收机中的同步装置和同步方法
CN101036389A (zh) 内容接收器、视频-音频输出定时控制方法和内容提供系统
JP4983923B2 (ja) デコーダ装置、およびデコード方法
CN1178497C (zh) 数据再生传输设备和数据再生传输方法
CN1173556C (zh) 数据处理装置和数据处理方法
CN1868213A (zh) 内容接收设备、视频/音频输出定时控制方法及内容提供系统
CN1794812A (zh) 一种传输流复用的方法
CN109640162B (zh) 码流转换方法及系统
CN103141083B (zh) 用于在数字广播中发送和接收扩展广播服务的方法和设备
CN1941905A (zh) 编解码设备及编码/多路复用设备和解码/多路分解设备
KR101603976B1 (ko) 동영상 파일 결합 방법 및 그 장치
CN1638480A (zh) 运动补偿技术的视频压缩方法
CN113630643A (zh) 媒体流收录方法、装置及计算机存储介质、电子设备
JP2004104518A (ja) 復号装置及び復号方法
US20230345078A1 (en) Media playback method for improving playback response time and related media playback device
KR100998449B1 (ko) Dmb 수신장치 및 그 버퍼제어 방법
CN115514968A (zh) 一种视频转码方法及装置
JP2008136001A (ja) 符号化方式変換装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant