CN1236267A - 视频编辑装置和视频编辑方法 - Google Patents

视频编辑装置和视频编辑方法 Download PDF

Info

Publication number
CN1236267A
CN1236267A CN99105844A CN99105844A CN1236267A CN 1236267 A CN1236267 A CN 1236267A CN 99105844 A CN99105844 A CN 99105844A CN 99105844 A CN99105844 A CN 99105844A CN 1236267 A CN1236267 A CN 1236267A
Authority
CN
China
Prior art keywords
splicing
video
video data
data stream
streams
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN99105844A
Other languages
English (en)
Inventor
北村卓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1236267A publication Critical patent/CN1236267A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23611Insertion of stuffing data into a multiplex stream, e.g. to obtain a constant bitrate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401Monitoring of the client buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Details Of Television Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种用来接收包括大量分组编码视频数据流的传输流的视频拼接装置,包括:一输入处理器,用于把传输流中大量分组编码视频数据流的每个分解成在分组前一伪基本流,并将其存储在一预定存储器;一分析器,用于分析该伪基本流的两个数据流编码位量其是当一接收到要拼接操作的两个数据流就进行解码时而产生;一数据处理器,依据分析结果在拼接点插入所需量的附加数据以产生一个拼接的视频数据流,并将其存储,一输出处理器用来确定其输出定时,并依该定时输出该读出的拼接视频数据流。

Description

视频编辑装置和视频编辑方法
本发明一般涉及一种视频编辑装置和一种视频编辑方法,具体说,涉及适用于在切换和连接分组视频数据传输流(TS)的拼接装置中应用的一种视频编辑装置和一种视频编辑方法。
各种压缩编码模式技术已被提出用来减少编码的和表示视频图像及与之相关的音频图像所必须的信息量。这种压缩编码模式中具有代表性的一种是由如国际标准化组织(ISO)协会标准化了的称为运动图像专家组2(MPEG2)的模式。MPEG2压缩编码模式的标准化是为了传送视频和音频数据并且包括了分别用于视频和音频数据的独立标准。
最近设计的数字广播系统,采用MPEG2压缩编码模式压缩编码视频和音频数据从而使用地波或卫星波来传送广播压缩编码的数据。在操作中,这种数字广播系统把编码后的视频数据和与之相关的音频数据分组为各个预定的数据块来传输,并以传输流的形式传输形成的分组序列。(分组序列此后称为“传输流”并且将形成传输流的每个分组此后称作传输流(TS)分组。)
首先参考图1A到1D,对视频数据、音频数据和TS分组之间的关系作出解释。虽仅给出了视频数据的描述,同样的基本概念也适用于视频和音频数据。如图1A和1B所示,根据MPEG2压缩编码模式,几个连续的图像被定义为一组图像(GOP),因而视频数据以GOP为单位来压缩编码。每一个GOP中至少一幅图像定义为一个I-图像并以帧内(intra-frame)编码进行压缩编码,而剩余的图像定义为或者是一个P-图像并以帧间(inter-frame)预测编码方式根据I-图像或另一P-图像进行压缩编码;或者定义为一个B-图像并以双向帧间(inter-frame)预测编码方式根据位于B-图像之前或之后的或I,P或B-图像进行压缩编码。
GOP单元中的大量编码视频数据一般称作基本流(ES)因为这种编码视频数据的组合代表物质的数据单元。如图1B和1C所示,编码的视频数据GOP被集中并放置在连续的位置处。一个标题被加到集中的编码视频数据GOP的开头从而形成分组基本流(PES)。在图1C和1D进一步示出,PES每184字节被划分,且一个4字节的标题被加入到每个划分为184字节分组的开头。以这种方式,PES转换为大量的TS分组传送,该TS分组包括视频数据。
如图2所示,给每个PES分组提供的标题包括一个24位的分组起始代码代表PES分组的开始;一个8位的ID流代表包含在PES分组数据部分数据流的类型(例如,视频,音频或类似的类型);一个16位的分组长度指示代表随后数据部分的长度;设置值为“10”的代码数据;一个14位的标记控制字段用来存储多种标记信息;一个8位的PES标题长度变量代表随后的条件码字段的数据长度;和一个用来存储时间管理信息例如用在重放和输出期间称作显示时间标记(PTS)的时间信息的可变长度条件码字段,时间管理信息在称为解码时间标记(DTS)的解码期间应用,其它的时间管理数据和填充字节,如需要,用来调整数据量等。
接着参考图3,每个TS分组的4字节的标题包括一个8位的代表TS分组的开始的同步字节;一个代表分组中的位错存在或空缺的错误显示字段(错误指示器字段);一个代表PES分组的标题是否存在于该TS分组的单元起始显示字段;一个代表相对重要的该TS分组的传送分组的优先字段;一个用来存储代表该TS分组的有效载荷字段所包含的数据流类型的分组标识信息(PID)字段;一个代表有效载荷字段所包含的数据流是否被加密的加密控制字段;一个代表自适应字段区域和有效载荷区域是否存在于该TS分组的自适应字段控制字段;和一个循环的计数器字段用来存储循环的计数器信息其表示具有同样分组标识信息PID的TS分组是否被废弃。
也提供了一种用来存储多种附加控制信息的自适应字段区域。自适应字段区域依次包括一个代表自适应字段区域自身长度的自适应字段长度字段区域;一个不连续显示字段,代表时间信息在紧随该TS分组同一数据流的一个TS分组中是否被复位;一个随机访问显示字段,代表该TS分组是否为数据流的随机访问显示的入口点;一个流优先显示字段,代表该TS分组的有效载荷区域是否包含数据流的重要部分;一个用来存储条件编码字段相关的标记信息的标记控制字段;一个用来存储各种参考时间信息,包括程序参考时钟(PCR)和起始程序参考时钟(OPCR)和诸如代表直到数据交换点为止的字节数的拼接递减计数信息的条件码字段;一个传送数据长度指示,和一个代表是否提供附加的自适应字段信息的一个自适应字段扩展包括大量填充字节的填充字节字段,当必要时,用来调整数据量。
当传输应用MPEG2压缩编码模式的数据压缩编码信息时,因为将被传输的数据转换为TS分组传输,如上面提到的,从其它数据产生的TS分组可能和原来产生的要传输的TS数据一起被多路传输,并且复合后的数据流可以用多路方式传输。为了这一原因,数字广播系统首先根据MPEG2压缩编码模式对各个节目的视频和与其相关的音频数据进行压缩编码,然后把这个压缩编码的数据转变为TS分组,并最后多路复用这些TS分组与包括来自另外的节目的数据的TS分组从而大量的节目可通过一条线路被传播。
当大量节目被一起多路复用并在单一的线路上传送时,接收这种多路复用数据流的接收器必须对包含所希望节目的单个取景器的视频和音频数据的TS分组进行抽取并解码,其来自按单一的多路复用数据流形式发送来的所有多路复用的TS分组。为了正确执行这一过程,数字广播系统也将包括节目结合表(PAT)和节目映射表(PMT)的各种节目信息转换为TS分组,这些TS分组然后和与视频和音频数据相关的TS分组流一起多路复用和传送,如上所述。
节目信息PMT包括代表包含构成特定节目部分的视频和音频数据的TS分组中每个广播节目信息的分组标识信息PID。例如,对一个节目序号“X”而言,与这一节目序号相关的视频数据以分组标识信息PID“XV”标识并且与这一节目序号相关的音频数据以分组标识信息PID“XA”标识。因为节目信息PMT提供在一个多路复用数据流中一起多路复用和传输每个节目,节目信息PMT的编号等于在单个多路复用的传输流中多路复用的节目序号。
节目信息PAT包括每个广播节目的分组标识信息PID代表存储每个节目信息PMT的TS分组。例如,存储与节目序号“0”相关的节目信息PMT的一个TS分组被分组标识信息PID标识为“AA”,存储与节目序号“1”相关的节目信息PMT的一个TS分组被标识信息PID标识为“BB”。包含节目信息PAT的一个TS分组附加地提供预定的分组标识信息PID。
当一个由取景器使用的接收装置接收其中具有多路复用大量节目的复用传输流和一个所需节目待显示,接收器的取景器首先接收包含节目信息PAT的一个TS分组。接收器提取TS分组以获得节目信息PAT。然后,由取景器使用的接收器参考获得的节目信息PAT来决定大量TS分组中的哪个TS分组包含所需节目的节目信息PAT并允许接收器得到所需节目的节目信息PMT。于是接收器提取所需节目的节目信息PMT然后接收器根据获得的节目信息PMT从TS分组数据流中选择包含所需节目的视频数据和音频数据的TS分组,从而依次得到包含形成所需节目的实际的视频和音频数据的TS分组。得到的视频和音频数据然后进行解码显示。以这种方式,接收器可以接收和显示取景器所需的任何节目即使大量的节目被一起多路复用并以串行方式以一个多路复用的传输流来传输。
根据上述数字广播系统的一个方面,假设一个多路复用的传输流在地方广播站被接收到并且作为广告的视频数据(所谓的CM),例如,被插入到传输流内预定节目的视频数据中。插入过程完成后,带有广告视频数据插入其中的传输流被再传输。也可假设附加的视频数据在最终传输之前被拼接到传输流内的一个所需节目的视频数据中,而不是传输流在中心广播站产生后再在所需要显示的节目视频数据中插入。得到的传输流最终是在新的数据被加入后才从地方广播站传输。如图4A到4C所示,为执行这种编辑操作,原始视频数据S1和被插入到视频数据S1或连接到视频数据S1的视频数据S2必须被切换和被连接以便产生有望成为最终传送的视频数据S3。这种视频编辑操作通常称为“拼接操作”。
当不进行压缩编码的基带视频数据被拼接时,编辑操作能容易地经在同步的第一和第二视频数据S1,S2间切换定时帧来进行。但是,若第一和第二视频数据被压缩编码并转变为前面提到的TS分组,用来代表每个图像的信息量使图像到图像是不相同的。这样,因为图像的转变点不象传统的帧那样处于相同的间隔处,使执行拼接操作带来困难。
而且,当TS分组的传输流被传送时,数据传送的速率被控制以防止在接收器输入级提供的系统目标解码器(STD)缓冲器的视频缓冲校对器缓冲器(VBV)的上溢或下溢。因而,简单的从第一视频数据向第二视频数据切换输入数据可能引起STD缓冲器上溢。例如,如图5A到5C所示,如果受控防止VBV缓冲器上溢的第一和第二编码的视频数据S1,S2在周期的时间点t1的定时被简单切换以产生第三编码的视频数据流S3,则从第一编码视频数据S1的最后的图像m的解码到第二编码视频数据S2的第一幅图像n的解码时间区间t2就超过1/30秒,因而引起第一和第二编码的视频数据S1,S2间的瞬态关系在连接点t1之前和之后为不连续。另外,如果视频数据按1/30秒的间隔从STD缓冲器以这种不连续状态提取,STD缓冲器不久就会下溢。
这样,应用TS分组的视频数据就会产生一个问题即拼接操作不能简单地通过从第一视频数据流向第二视频数据流切换视频数据来进行。这里有利地提出一种装置和方法其克服了现有技术中存在的问题并允许TS分组视频数据的拼接同时避免了产生不连续视频数据或STD缓冲器下溢或上溢的风险。
因此本发明的一个目的是提供一种改进的视频编辑装置和一种与其相关的克服了现有技术中缺陷的方法。
本发明的另一目的是提供一种改进的视频编辑装置和能容易地执行分组传送编码数字视频数据的拼接操作的方法。
本发明还有一个目的是提供一种改进的视频处理装置和方法,能容易地执行分组传送编码数字视频数据的拼接操作,从而避免了拼接操作附近的输出数据的不连续性。
本发明更进一步的目的是提供一种改进的视频处理装置和方法,能容易地执行分组传送数字视频数据的拼接操作,从而避免了在系统目标解码器(STD)缓冲器中提供的VBV缓冲器的下溢和上溢。
本发明还有其它的目的和优点可从说明书及附图中明显看出。
总的说来,根据本发明,提供的一种视频编辑装置用来接收视频数据传输流,其包括大量被一起多路复用的分组编码视频数据流,并且用来把所需的编码视频数据流拼接到已接收的视频数据传输流。该视频编辑装置包括一个输入处理器用来将已接收的视频数据传输流的每个分组编码视频数据流分解成为类似于初始基本数据流(分组前)的格式,并用于在预定的存储器中存储各个分解的基本数据流。提供一个分析器用来分析编码的位量,其是在一旦接收到每个数据流时而产生的,该每个数据流将要被拼接到存储在预定存储器中的一个基本数据流。一个数据处理器读出将被拼接到存储在预定存储器中的一个基本数据流的数据流。把基本数据流和将被拼接到该基本数据流的数据流拼接起来并且依据分析器的分析结果在拼接点插入所需数量的填充数据,以产生一个复合的连续的视频数据流。复合的视频数据流然后存储在预定的存储器,并且复合视频数据流的输出定时依据一旦接收到复合视频数据流就会产生的编码位量来决定。复合的视频数据流最后从预定的存储器读出,并依据所决定的输出定时来输出。
根据本发明,在接收的视频数据传输流中的各个编码视频数据流被分解为它们各自的初始基本数据流,并存储在预定的存储器。分析一旦接收到要与大量基本数据流拼接的数据流就会产生的编码位量,并基于这一分析结果,数据流被拼接一起,在连接点插入所需数目的填充数据以产生一个连续的复合视频数据流。复合视频数据流根据一旦接收器接收了复合的视频数据流就会产生的编码位量而决定的输出定时来输出。这样,根据本发明,就能容易地执行数据连接/拼接过程即使数字视频数据被分组传送,而不会引起接收器中的缓冲器下溢或上溢,也不会引起输出数据的不连续。
因此,本发明包括的几个步骤,和有关这些步骤中的一个或更多步骤之间的相互关系,以及体现结构特征的装置,元件的结合及适于执行这些步骤的各部分的安排,所有一切均在下面具体的阐述中例示,本发明的范围将在权利要求中说明。
为更充分理解本发明,参考附图进行如下描述,其中:
图1A到图1D是用于解释标准装置中使用的视频数据和TS分组的结构简图;
图2是表示了标准装置中使用的PES分组的结构的简图;
图3是表示了标准装置中使用的TS分组的结构的简图;
图4A到4C是用于解释现有技术的装置中使用的拼接操作的概念的简图;
图5A到5C是用于解释传统拼接操作出现了缺点的VBV缓冲器的占用的简图;
图6是表示根据本发明配置的拼接装置的结构方框图;
图7A到7C是用于解释根据本发明的拼接操作采用的VBV缓冲器的占用的简图;
图8A到8D是用于进一步解释根据本发明的拼接操作采用的数据流的简图;
图9是根据本发明构造的信号输入处理器的构造的方框图;
图10是表示根据本发明构造的一存储在存储器中的数据结构格式的图;
图11是表示根据本发明构造的一同步检测器电路的结构的方框图;
图12是表示根据本发明构造的一个PID查找表结构的简图;
图13是表示根据本发明构造的一个PID查找表电路结构的方框图;
图14是表示根据本发明构造的一个分析单元的结构方框图;
图15是表示根据本发明构造的一个数据连接电路的结构方框图;
图16是表示根据本发明构造的一个输出处理器的结构方框图;
图17是表示根据本发明的用于拼接操作的处理过程的流程图;
图18A到18I是表示根据本发明在各种电路元件中预定处理的定时图;
图19表示根据本发明的拼接操作确定必要的消隐和填充信息的图;
图20是依据图19进行的确定过程的流程图。
下面描述根据本发明构造的拼接装置的总结构。
首先参考图6,示出了一种拼接装置1。根据本发明,从外部主计算机2提供控制信息,根据此信息,拼接装置1把从多节目(multi-program)传输流S10,S11中预先选择的节目拼接在一起。拼接装置1最好位于数字广播系统的中心广播站或地方广播站并且进行操作把先前已转换为用于传输的传输流的两个不同节目的视频数据拼接一起。
进一步参考图6,说明根据本发明的拼接装置1中进行的拼接操作的原理。首先假设传输流S10和3个节目A,C,E的数字视频数据一起多路复用,而传输流S11和3个节目B,D,F的数字视频数据一起多路复用,并且节目B的视频数据DB被拼接入节目A的视频数据DA。当传输流S10和S11被输入到拼接装置1时,拼接装置首先在传输流S10和S11内基于包括在传输流S10和S11的分组标识信息PID为每个节目重新安排和分组各个视频数据。如上所述,传输流的每个节目的位置的分组标识信息PID根据也包括在每个传输流中的节目信息PAT和节目信息PMT被识别。
当节目A,B的视频数据DA,DB拼接一起时,视频数据被控制以使拼接数据的接收器中VBV缓冲器不上溢或下溢。如图7A和7B所示,当视频数据DA在时间点t1拼接到视频数据DB时,视频数据DA并非简单地切换到视频数据DB。而是如图7C所示,把3个消隐图像B1到B3插入在视频数据DA之后,并且插入填充数据SF以产生拼接的视频数据DAB从而视频数据DA和视频数据DB在拼接点t1前后连续出现。因此,当拼接视频数据DAB与其它节目C,E的视频数据一起多路复用和传输时,即使视频数据DAB在1/30秒的间隔内从接收器的VBV缓冲器提取,在该装置的接收器一侧的VBV缓冲器也不会象现有技术中的装置一样上溢或下溢。在这个例子中,3个消隐图像在视频数据DA的最后一幅图像m和视频数据DB的第一幅图像n之间显示。填充数据SF只是虚设用来调整时间的数据,并且在拼接视频数据DAB从接收器末端的VBV缓冲器提取后将被接收器废弃。
视频数据DA和DB是在传输流S10,S11中分别多路复用的TS分组数据。如果完整的视频数据DA和DB各自存储在一个TS分组中,拼接操作能容易地以TS分组为单位来进行。然而,实际上因为一个TS分组的容量小,即,188字节,完整的视频数据DA和DB各自存储在若干TS分组中。由于这一原因,为执行拼接操作现有技术中,需要完全对视频数据解码并把视频数据恢复为基本流的格式。但是,如果把视频数据DA和DB完全恢复为基本流的格式,它们必须再变换为TS分组来输出,这样需要复杂的处理。为避免这种困难,本发明的拼接装置1把TS分组格式的视频数据DA和DB变换为具有能被处理的好象基本流格式的数据,但是与数据实际转换为基本流的格式相比,这样作只需要少得多的处理。执行这一数据格式转换的一个处理器在图6的输入处理单元3处表示。
再次参考图6,继续说明拼接装置1。如图6所示,拼接装置1通常由一个输入处理单元3;一个数据分析单元4;一个数据处理单元5;一个输出处理单元6;作为控制装置的一个中央处理器(CPU)7;一条指令总线8;一条数据总线9;一个存储器10;和一个接口单元11所组成。
CPU7控制拼接装置1的各个电路元件(3-6,10)的操作。CPU7从更高级的外部主机2经接口单元11和指令总线8接收拼接指令。CPU7然后基于接收的拼接指令对各个电路元件(3-6,10)发布操作指令。操作指令经指令数据总线8提供给相关电路元件(3-6,10)。以这种方式执行主机2指示的拼接操作。基于存储在存储器10的操作程序CPU7运行以控制这些电路元件的操作。举例来说,操作程序可从外部经主机2被下载到存储器10,或以其它方式输入存储器10。
在拼接装置1中,各个电路元件(3-7)经数据总线9连接到存储器10从而其能在存储器10中写入所需数据并从存储器10读出所需数据。数据总线9提供一个判优函数用于仲裁对数据总线9的访问权以防止对存储器10的访问请求冲突。
输入处理单元3对外部信源提供的输入传输流S10,S11进行预定的输入处理。这些处理后的输入传输流然后存储在存储器10。输入处理单元3是由输入处理器15A,15B,和PID查找表16A,16B所组成,从而提供的传输流S10,S11分别被输入处理器15A,15B接收。
输入处理器15A把输入传输流S10的各个TS分组写入存储器10,参考PID查找表16A依据其中包含的分组标识信息PID通过程序对传输流S10进行重排和分组。传输流S10的各个TS分组然后写入存储器10。输入处理器15A执行数据格式转换的处理并将似为基本数据流而被处理的各个TS分组记录到存储器10,如上所述。PID查找表16A根据分组标识信息PID通过程序存储地址信息以重排和成组相应的TS分组,并且把重排的TS分组写入存储器10。地址信息可从PID查找表16A用分组标识信息PID作为关键词读出。以这种方式,输入处理器15A以分组标识信息PID作为关键词访问PID查找表16A来检索存储器10的一个所需的写入地址,以确定在存储器10的什么位置存储每个TS分组。
输入处理器15B和PID查找表16B的结构分别基本类似于输入处理器15A和PID查找表16A。输入处理器15B参考PID查找表16B把输入传输流S11的各个TS分组写入存储器10并依据分组标识信息PID对传输流S11进行重排。传输流S11的各个TS分组然后被写入存储器10。
数据分析单元4从存储器10读出将要接受拼接操作的视频数据DA和DB,并对视频数据DA和DB,PES流及TS分组流作语法分析来检索MPEG,PES和TS参数。数据分析单元4从而读出在压缩编码和分组时已加到所需TS分组的各种参数。于是,数据分析单元4用来分析基于所检索的参数接收时将要产生的视频数据DA和DB的代码的数量。
数据分析单元4包括一个分析单元17和一个缓冲模拟器单元18。分析单元17访问存储器10以便分析已编码的作为基本流对待的将被拼接的视频数据DA和DB的语法,并且分析PES和TS流的语法,及提取在压缩编码和分组期间加到已编码的视频数据和TS分组的各种参数。缓冲模拟器单元18基于分析单元17得出的分析结果依次分析当要拼接的视频数据DA和DB被接收到时接收器处的VBV缓冲器产生的代码数量。数据分析单元4可以在根据视频数据DA和DB的传输位速率及视频数据DA和DB的位数接收的视频数据DA和DB的基础上计算接收器处VBV缓冲器的占用。通知CPU7这个分析结果。CPU7一接收到分析结果,就决定编码的视频流应怎样拼接和格式化以防止接收器的VBV缓冲器上溢或下溢,并将其作为拼接指令通知该信息给数据处理单元5。从缓冲模拟器单元18输出的分析结果和从CPU7输出的数据组合信息也被提供给输出处理单元6中的调度程序电路24。
数据处理单元5响应于CPU7的拼接指令来拼接视频数据DA和DB。数据处理单元5由一个数据连接电路19、消隐产生器20和填充产生器21组成。数据连接电路19响应来自CPU7的数据组合指令从存储器10读出将被拼接的视频数据DA和DB,并拼接视频数据以便产生复合的视频数据DAB。数据连接电路19在视频数据DA和DB的拼接点插入所需数量的由消隐产生器20和填充产生器21产生的消隐数据和填充数据。消隐数据和填充数据在必要时插入以防止VBV缓冲器失效。
数据连接电路19不必读出所有将被拼接的视频数据DA和DB。如图8A到8C所示,数据连接电路19仅在拼接点附近读出拼接处理所需的视频数据DA1和DB1。因而,视频数据DA1和DB1被拼接一起,消隐数据和填充数据插入视频数据DA1和DB1之间以产生拼接的视频数据DA+B。这种拼接的视频数据然后以TS分组格式存储在存储器10。通过从存储器10以所需的次序读出视频数据拼接的视频数据DA+B很容易在数据输出时产生。
输出处理单元6读出并输出存储在存储器10的视频数据中所需的部分,以多路复用该复合的视频数据DA+B和没有被拼接的视频数据,如节目C,E,以便作为传输流Sout输出多路复用的视频数据。特别是,输出处理单元6读出视频数据DA的部分视频数据DA2,随后读出连接起来的视频数据DA+B,并进一步读出视频数据DB的部分视频数据DB2以输出拼接的视频数据DA+B,如图8D所示。仝样地,输出处理单元6读出没有被拼接的节目C,E的视频数据的TS分组。这些数据节目与拼接的视频数据DA+B一起多路复用。包含C,E节目的数据的TS分组根据预定的时间插入在复合的视频数据DA+B的各个TS分组之间。传输流Sout因而是具有其中被多路复用的拼接的视频数据DA+B和没有被拼接的其它节目C,E的视频数据的输出。
输出处理单元6包括一个时间标记再生器22、一个输出处理器23、一个调度程序电路24、和一个PCR再生器25。时间标记再生器22向拼接点后被连接的视频数据DB1和DB2增加一个新的时间标记信息,如PTS,DTS和程序时钟参考PCR,并且在视频数据DA和DB之间通过填充处理也增加所需插入的消隐图像。最初,视频数据DA和DB各有其自己的被增加上的时间标记以防止VBV缓冲器上溢或下溢。但是,在拼接操作后这些时间标记可能不互相匹配。正是这个原因,在拼接点前后时间标记可能不连续。为避免这一点,时间标记再生器22从视频数据DA检测增加到数据DA上的时间标记直到该拼接点,并且在该拼接点后从先前的时间标记起连续向视频数据DB1和DB2增加新的时间标记。
调度程序电路24一接收到该拼接数据就估测在接收器的VBV缓冲器中产生的代码数量并且基于CPU7从缓冲模拟器18输出的分析结果来调度存储在存储器10的视频数据DA2,DA+B,DB2的TS分组的输出定时。调度程序电路24也调度其它非拼接的节目C,E的输出。然后,调度程序电路24将作为调度表的调度结果输出到输出处理器23。调度表可包括用来指定哪个TS分组将被输出的入口信息,并输出以清单形式表示排列的TS分组的输出定时的时间信息。因为大多数的TS分组是未修改的输入和输出,调度程序电路24根据其输入的时间(即,输入TS分组时的系统时钟STC的值)指定TS分组的输出时间以简化处理。但对于拼接数据流中位于拼接点后的TS分组而言,调度程序电路24假定拼接数据流中的该TS分组是在该拼接点之前的TS分组输入后连续输入到拼接装置1。调度程序电路24基于这一假设计算加到每个TS分组输入时间的系统时钟STC的值,并指定拼接数据流中的每个TS分组的输出时间。输出处理器23接着基于调度程序电路24的调度表输出用来读出拼接视频数据DA+B和其它节目C,E的视频数据的TS分组,并且作为一个传输流Sout向PCR再生器25输出读出的TS分组。
PCR再生器25给传输流Sout的每个TS分组增加一个新的程序时钟参考PCR因而程序时钟参考信号PCR在TS分组上是连续的。当TS分组基于调度程序电路24产生的调度表被连续输出时,传输流Sout的参考时间信息PCR必须是连续的。但是,若输出处理器23根据其外部的操作时钟被操作时,在TS分组实际被输出处的时间会偏离调度表,可能导致不连续的程序时钟参考PCR。正是这个原因,在拼接装置1中,传输流Sout中的程序时钟参考PCR被PCR再生器25校正。PCR再生器25根据如下方程增加PCRnew值作为程序时钟参考PCR:
PCRnew=PCRold+(STCreal-STCideal)……(1)
其中PCRold是目前加到传输流Sout的程序时钟参考PCR;STCideal是根据调度表决定的传输流Sout被调度输出的时间;STCreal是传输流Sout实际输出的时间。带有新增加的程序时钟参考PCR的传输流Sout最后从拼接装置1输出。(2)输入处理器的结构
除根据图6外首先根据图9描述输入处理器15A和15B的结构。因输入处理器15A和15B有相类似的结构,这里只描述输入处理器15A。
如图9所示,输入处理器15A包括一个同步检测器电路30;一个格式转换电路31;和一个PID检测器电路32。同步检测器电路30检测在输入的传输流S10中每个TS分组的标题处增加的同步字节码(“47H”)以检测每个TS分组的起点。代表每个TS分组的起点的一个同步脉冲S20在检测到同步代码时输出到格式转换电路31和PID检测器电路32。
PID检测器电路32根据同步脉冲S20的检测来检测加到每个TS分组的分组标识信息PID。因为分组标识信息PID从每个TS分组的标题开始存储在一个预定位数的区域内,PID检测器电路32从同步脉冲S20开始计算预定位数,并检测存储的分组标识信息PID。然后,PID检测器电路32把检测到的分组标识信息PID作为关键词发送到PID查找表16A。PID查找表16A接收到这一分组标识信息PID,搜索地址信息以根据分组标识信息PID重排TS分组以保存在存储器10中,并且发送结果地址信息SADS到格式转换电路31。格式转换电路31接收188字节的TS分组和与之相关的每个TS分组的地址信息SADS,向每个TS分组增加唯一的附加信息,并将已经增加了附加信息的每个TS分组存储到由地址信息SADS表示的地址位置处。
利用这一事实,存储器10以256字节为单位来存储信息,被格式转换电路31增加的附加信息包括在每个TS分组的188字节之前和之后的68字节,如图10所示。包括在68字节内的将被增加的附加信息可以包括各种如图10所示的信息。“abs_sum_bgn”是表示相关的TS分组的有效载荷数据的起始地址的信息,“abs_sum_end”是表示有效载荷数据的末尾地址的信息。“payload_length”是表示TS分组的有效载荷部分的长度的信息,“payload_ptr”是表示指向TS分组的有效载荷部分的开头的指针信息。而且,“PCR_ptr”是表示指向TS分组的程序时钟参考PCR的开头的指针信息,且当TS分组中不包括程序时钟参考PCR时其用值“Oxff”加载。
“PES_pyld_ptr”是表示指向PES分组的有效载荷部分的开头的指针信息,当TS分组中不存在PES分组的有效载荷部分时其用值“Oxff”加载。“PES_pckt_lngt_ptr”是表示在PES分组的长度被存储处指向开头位置的指针信息,当TS分组中不存在PES分组的有效载荷部分时其用值“Oxff”加载。“PES_hd_lngt_ptr”是表示指向PES分组标题的长度被存储处的开头位置的指针信息,当TS分组中不存在PES分组的标题时其用值“Oxff”加载。
“splc_cntdwn”是表示指向拼接递减计数的信息被存储处的开头位置的指针信息,当TS分组中不存在这样的信息时其用值“Oxff”加载。“splice_countdown”存储代表TS分组拼接递减计数值的信息。
“PTS_ptr”是表示指向TS分组的时间信息PTS信息被存储处的开头位置的指针信息,当TS分组中不存在时间信息PTS时用值“Oxff”加载。“DTS_ptr”是表示指向TS分组的时间信息DTS信息被存储处的开头位置的指针信息,当TS分组中不存在时间信息DTS时其用值“Oxff”加载。“AU_ptr”是表示指向访问单元开头的指针信息,当分组中不存在访问单元时其用值“Oxff”加载。“prev_PCR”是代表其中存储了在先的程序时钟参考PCR的TS分组的数目的信息,“prev_SPCD”是代表其中存储了在先的拼接递减计数的TS分组的数目的信息。而且“input_STC”是当输入TS分组时系统时钟STC的值,“PCR”是TS分组中程序时钟参考(programclock reference)PCR的值。
当TS分组存储在存储器10时通过如此增加代表存储信息的位置的各种指针和其它信息,CPU7能直接访问在拼接操作中所需的将被使用的参数。从而,TS分组可以通过读出TS分组中所需位置处的数据。将TS分组类似为基本流而被处理。而且,利用在TS分组输入时所增加的系统时钟STC的值,不进行拼接操作的TS分组可被输出却不引起VBV缓冲器失效。它是通过参考该输入时间在从输入时间起延迟预定时间区间处来输出TS分组的。因此,这种TS分组只需要作业调度处理来记录输入时间。格式转换电路31将这种附加信息增加到每个输入TS分组以产生记录数据S21提供给存储器10并根据存储在存储器10的分组标识信息PID重新被排列。
接着,参考除图6之外的图11描述同步检测器电路30的结构。传输流S10的每个TS分组是包括同步字节的等长数据分组。但,因为用于表示同步字节的数据代码字也可用于其它目的,和同步字节相同的数据代码可在TS分组的另一部分出现。但是,因为所有的TS分组具有同样的188字节的长度,同步字节以规则的间隔在传输流S10中被定位。通过根据其中字节一接收到就读出的同步字节定位的规则间隔进行飞轮处理,同步字节可正确地被检测到以产生代表各个TS分组的起始时间的大量同步脉冲S20。依赖于飞轮处理的同步检测器电路30结构如图11所示。
在同步检测器电路30中,3个状态用在传输流S10中定位检测同步字节的过程中。一个是追踪状态,剩余两个是一个解锁状态和一个锁定状态。在追踪状态,同步检测器电路30失去同步字节的位置并搜寻它,在解锁状态,同步检测器电路30已检测同步字节的可能位置,但是所确定的位置是未定义的。在锁定状态,所确定的同步字节的位置是定义了的。同步检测器电路30从追踪状态开始,当检测到一个被认为可能是同步字节的字节时,过渡到解锁状态,在解锁状态中预先决定的状态被满足时,其进一步过渡到锁定状态,并且同步字节的位置被明确确定。相反,即使在锁定状态或解锁状态,如果它失去了同步字节,同步检测器电路30也将过渡到追踪状态。同步检测器电路30通过前面的状态过渡达到锁定状态就能正确检测同步字节。
在同步检测器电路30中,传输流S10首先输入到一个比较器40。比较器40将输入的传输流S10中的值和用作同步字节的数据代码的该值的数据“47H”相比较,并且如果传输流S10中的值与“47H”一致时输出逻辑电平“H”,不一致时输出逻辑电平“L”。
一个“与”电路41对在电平“H”处的代表追踪状态的状态信息DS-HT和比较器40的输出进行逻辑“与”(AND),状态信息DS-HT是从后面将叙述的状态解码器58的输出。因为如果比较器40从传输流S10检测到一个同步字节“47H”则输出逻辑输出电平“H”,“与”(AND)电路41在同步检测器电路处于追踪状态时输出逻辑输出电平“H”,并且同步字节被检测。“与”(AND)电路41的逻辑输出电平“H”被输入到一个时钟计数器44的一个复位端子作为下一个解锁信息“DN-ULK。下一个解锁信息DN-ULK也被输入到状态编码器56以后将描述,来迫使状态改变为该解锁状态。当产生下一个解锁信息DN-ULK时,同步检测器电路30过渡到解锁状态以输出代表解锁状态的状态信息DS-ULK。
时钟计数器44从0向188字节循环计数,并且从每个TS分组起一旦在电平“H”接收到每个接着的解锁信息DN-ULK时就将其计数值强制复位为0。时钟计数器44当其计数值为0时输出一个同步脉冲S20,并当其计数值为188时输出一个脉中信号SDET来决定是否同步字节是定义了的。为了参考起见,脉冲信号SDET表示已检测到一个同步字节后下一个同步字节应被检测处的定时。
当脉冲信号SDET是通过脉冲信号SDET与比较器40的输出之间进行的逻辑“与”而产生时,一个“与”电路42决定着是否比较器40已经检测到一个同步字节。结果,如果脉冲信号SDET产生时比较器40已经检测到一个同步字节“与”电路42在电平“H”输出一个逻辑输出。匹配计数器47计数从“与”电路42输出的在电平“H”时的脉冲数以便计数在合适的定时上已经检测到的同步字节的次数,并输出此计数值到比较器48。
比较器48接收一个由CPU7经锁存电路46提供的定义值DMATCH,并在定义值DMATCH等于匹配计数器47的计数值时在电平“H”输出一个逻辑输出。一个“与”电路49对代表解锁状态的状态信息DS-ULK和比较器48的输出进行逻辑“与”,并在电平“H”输出下一个锁定信息“DN-LK比较器48在该时刻以电平“H”输出一个逻辑输出。下一个锁定信息DN-LK输入到状态编码器56,将在后面说明。当产生下一个锁定信息DN-LK时,同步检测器电路30过渡到锁定状态以输出代表锁定状态的状态信息DS-LK。当从同步字节第一次被检测到的时间开始在匹配计数器47计数到检测了等于或多于预定的数目的同步字节时,同步检测器电路30可过渡到锁定状态并输出与同步字节准确同步的同步脉冲S20。
为了检测是否丢失同步信号,一个“与”电路45接收比较器40经反向电路43而来的输出也接收脉冲信号SDET,并对这些信号进行逻辑“与”。在这种情况下,当比较器40在电平“L”输出一个逻辑输出和将脉冲信号SDET定时在电平“H”(即,当比较器40在期望定时内没有检测到同步字节)时,“与”电路45在电平“H”输出一个逻辑输出。一个失误计数器50通过计数“与”电路45电平“H”的脉冲数来计数在期望的定时内没有传来的同步字节的次数,并把计数值输出到比较器52。比较器52接收CPU7经锁存电路51提供的定义值DMISS,并在定义值DMTSS等于失误计数器50的计数值时在电平“H”输出一个逻辑输出。一个“与”电路53对代表锁定状态的状态信息DS-LK和比较器52的逻辑输出进行逻辑“与”,并且如果该状态为锁定状态且比较器52在电平“H”输出一个逻辑输出时,它在电平“H”输出一个逻辑输出,表示在锁定状态失去的同步信号超过了预定次数。
一个“与”(AND)电路54对“与”(AND)电路45的输出和代表解锁状态的状态信息DS-ULK进行逻辑“与”,并且如果状态为解锁状态且“与”电路45在电平“H”输出一个逻辑输出时,它在电平“H”输出一个逻辑输出,表示在解锁状态已失去一个单一同步脉冲。当“与”电路53,54之一在电平“H”输出时,一个“或”电路55在电平“H”输出下一个追踪信息DN-HT。下一个追踪信息DN-HT被输入到状态编码器56,如后面描述。当产生下一个追踪信息DN-HT时,同步检测器电路30过渡到追踪状态并输出代表追踪状态的状态信息DS-HT。以这种方式,在锁定状态下当没有被检测到的同步字节等于或多于在期望的同步字节的定时内的预定数时或者在解锁状态下当同步字节在期望的定时上没有被检测到时,同步检测器电路30适于再次过渡到追踪状态来搜寻同步字节。
如上所述,在经状态编码器56,锁存电路57和状态解码器58所预定的定时后,下一个解锁信息DN-ULK,下一个锁定信息DN-LK和下一个追踪信息DN-HT被分别转换为状态信息DS-ULK、DS-LK和DS-HT。(3)PID查找表的结构。
将参考除图6之外的图12和13描述PID查找表16A和16B。因为PID查找表16A和16B有相似的结构,将只描述PID查找表16A,应可以理解这里的描述同样适用于图16B。
PID查找表16A根据分组标识信息PID搜索并提供地址信息来重排和分组TS分组及将重排的TS分组存储在存储器10中。地址信息的搜索在一个TS分组输入到输入处理器15A后开始,并必须在下一个TS分组到达输入处理器15A时完成,从而下一个TS分组可被处理。因此,需要快速操作。为了这一原因,PID查找表16A包括大量用于地址搜索的表使搜索过程可并行进行。大量的表使对有关输入处理器15A指定的分组标识信息PID地址信息的搜索以更高速度进行。
PID查找表16A提供的大量表中的每一个的结构如图12的存储映射图所示。尤其,在表TB1到TB4的每一个表中,地址信息以离散信息分组形式安排并为每个分组标识信息PID而存储。分组标识信息PID的值存储在每个信息分组的头端作为搜索标记。对于搜索表TB1到TB4而言为检索所需地址信息,寻找搜索标记以找到其中存储有相应于所需分组标识信息的地址信息的信息分组。一旦找到合适的信息分组,在信息分组内存储在搜索标记处和跟随其后的地址信息会连续地被从那里读出并且输出。
在图12中,“PID VAL”用来表示作为搜索标记的分组标识信息PID的值。“W_ptr”表示代表将被存储在存储器10的一个相关的TS分组处的写地址的地址信息;并且“INFORMATION”表示地址信息以产生与TS分组一起存储的附加信息。存储器10以环形缓冲区形式存储TS分组,从而每个地址信息在其需要时在读出后被更新。
现根据图13描述用来从PID查找表16A检索信息的装置的特定结构。如图13所示,PID查找表16A包括大量对电路元件的参考以在存储有如前面所述的地址信息的表TB1到TB4上执行所需操作。首先,从输入处理器15A的PID检测器电路32输出的分组标识信息PID经锁存电路60提供给比较器61A到61D的每一个。
从PID检测器电路32输出的搜索起始脉冲SSP与分组标识信息PID一起提供给计数器62和精密计数器63。计数器62和63提供用来在表TB1到TB4的每一个上产生一个访问位置,其中计数器62产生访问位置的高阶的最高有效位,精密计数器63产生访问位置的低阶的最低有效位。如果只是计数器62的输出用于指定访问位置,那么这些位置将被指定在表TB1到TB4中所需搜索标记的间隔处。因此,当计数器62的计数间隔设置为表TB1到TB4中的搜索标记的间隔时,表TB1到TB4的搜索标记的位置可仅仅通过使用计数器62的输出而不包括精密计数器63的输出来指定。一旦接收到搜索起始脉冲SSP,计数器62开始计数操作,并输出其计数值CNT1到一个地址产生器64。地址产生器64产生由计数器62的计数值CNT1指定的访问位置的地址,并把该地址输出到表TB1到TB4中的每一个。从而,表TB1到TB4在它们的第一搜索标记处被访问,每个表的第一搜索标记的分组标识信息PID的值被分别输出到比较器61A到61D。
每个比较器61A到61D比较经锁存电路60提供的分组标识信息PID的值和从每个表TB1到TB4输出的分组标识信息PID的值,如果这些值不一致,计数器62的计数就增加1。该计数器值的增加允许搜索每个表中存储了分组标识信息PID的下一个搜索标记。这样的操作重复进行直到两个分组标识信息PID(一个来自锁存电路60,一个来自任一个表)的值一致。如果确定了两个分组标识信息PID的值一致,已检测到所需PID信息一致的比较器停止计数器62的计数操作。然后精密计数器63开始精密计数操作。同时一个选择器65选择这种被检测为一致性的表格。因为精密计数器63的计数宽度等于每个表TB1到TB4的信息存储间隔,存储在前面的搜索标记上的地址信息顺序地通过一个接一个地增加精密计数器63的计数而被读出。从而,与所需PID信息相关的信息被输出。读出的地址信息经选择器65和锁存电路66被输出到输入处理器15A的格式转换电路31作为地址信息SADS
当存储在表TB1到TB4的地址信息将要更新时,新的地址信息提供给数据更新电路67,该电路在CPU提供的更新信息DUP-D的基础上对存储在每个表中的地址信息进行更新。更新的地址信息经开关68存储在表TB1到TB4中早先存储的地址信息上,从而允许地址信息的更新。用于设置存储在表TB1到TB4中的地址信息的起始值,从CPU7提供的起始值DINT经开关68提供给表TB1到TB4,存储位置经地址产生器64来指定,这样起始值DINT可加载在表TB1到TB4中的所需位置处。(4)分析单元的配置
现除根据图6之外还根据图14来描述分析单元17。如图6所示,分析单元17访问存储器10用来分析包含将进行拼接操作的视频数据的TS分组,并提取多种在压缩编码和分组期间已被加到编码的数据上的编码参数。将要提取的参数信息包括PES或TS参数,包括时间信息,如显示时间标记PTS,解码时间标记DTS,PCR,PES分组长度,PES标题长度,位速率,VBV大小bit_rate_extension,VBV_size_extension,close_Gop,temporary_reference,picture_coding_type,VBV_delay,top_field_first,repeat_first_field等。
当输入传输流为多节目类型(multi-program type)时,不同的分组标识信息PID的数据流被混合其中,从而复杂操作加入进来以提取与这些传输流中的每一个相关的参数。但是,因为各个TS分组被输入处理器根据分组标识信息PID在先进行了重排和存储,每个重排的数据流可被分析以使与其相关的参数信息能易于抽取。
一般地,至少有两个或更多个视频数据流可进行拼接操作。为了这一原因,分析单元17必须分析前面的至少两个或更多视频数据流的参数。分析单元17在时间划分处理中分析大量要进行拼接操作的视频数据流以抽取每个数据流的参数。当数据流在时间划分处理中分析时,分析单元17必须维持迄今为止在特定数据流上所作的分析操作结果且在此时继续分析另一数据流的信息,从而维持并行收集抽取的参数。对于这一操作,分析单元17包括用来存储未完成的分析结果的状态表17A。由于进行时间划分多路处理,当分析单元17进行下一个数据流的分析时,迄今为止得到的分析结果存储在状态表内。
分析单元17的配置示于图14。仅为了举例说明,这里假设将要进行拼接操作的数据流的总数为N,为了解释的方便,这些数据流的TS分组加上了分组标识信息PID为PID=“1,”“2,”……,“N”。分析单元17包括为每个数据流(即为每个分组标识信息)形成的状态表17A以存储分析结果。对状态表17A不同部分的访问由一个选择器17B切换,从而与所需数据流相关的表中的一部分可在状态表17A中被访问。
首先,一个分析器17C从存储器10读出要被进行拼接操作且具有分组标识信息PID被设为“1”的一个TS分组的数据DTS1。选择器17B被控制来连接分析器17C和状态表17A中分组标识信息PID设为“1”的表17A的一部分。分析器17C分析TS分组的数据DTS1的语法以抽取多种如前所述的参数。在下一个数据流要被进行分析时,从接收到第一数据流起再持续一预定的时间区间后,分析器17C经选择器17B将到目前为止获得的分析结果存储在分组标识信息PID设为“1”的状态表17A的部分。
随后,分析器17C控制选择器17B以连接分析器17C与分组标识信息PID设为“2”的状态表17A的一部分。分析器17C从存储器10读出分组标识信息PID设为“2”的一个TS分组的数据DTS1,并分析数据DTS1的语法以便为分组标识信息PID设为2的数据流抽取如前所述的参数。然后,在下一个数据流将要被进行分析时,分析器17C经选择器17B将到目前为止获得的当前分析操作的结果存储在分组标识信息PID设为“2”的状态表17A的部分。通过以相似方式在每个预定时间内接着执行上述的处理,相应于每个要分析的数据流的到达,分析器17C根据时间划分多路复用模式分析将进行拼接操作的数据流。
结果,此时具有分组标识信息PID为“1”的数据流再次被分析,分析器17C控制选择器17B以访问具有分组标识信息PID设为“1”的表的一部分用来抽取先前分析的结果,并随后从存储器10读出分组标识信息PID设为“1”的下一个TS分组的数据DTS1以便从先前中断分析的该点继续分析操作。然后,在下一个数据流要被分析时,分析器17C将目前为止获得的分析操作结果存储在具有分组标识信息PID设为1的表格的一部分,并继续分析下一个数据流。通过重复上述处理过程,分析器17C以时间划分多路复用模式分析将要进行拼接操作的数据流。当分析操作最终完成时,存储在状态表17A的每个分组标识信息PID的分析结果被发送到缓冲模拟器单元18。(5)数据连接电路的配置
数据连接电路19除根据图6之外还根据图15来描述。在根据本发明配置的拼接装置1中,响应于从缓冲模拟器单元18接收的分析结果,CPU7确定一个拼接点来进行拼接操作。CPU7也确定消隐数据和/或填充数据是否应插入在该拼接点。CPU7发送该确定的结果到数据连接电路19作为数据拼接指令。一旦接收到数据拼接指令,数据连接电路19对将进行拼接操作的流的视频数据执行拼接操作。
确定消隐数据和/或填充数据是否应插入在拼接数据流的连接点是依据一旦接收到拼接的数据流时在接收器/解码器上VBV缓冲器的占用而作出的。尤其是,如果拼接操作将引起存储拼接数据流的VBV缓冲器下溢时,消隐图形将插入以提高VBV缓冲器的占用。相反,如果拼接操作将引起VBV缓冲器上溢,由值“0”组成的填充数据将插入以降低VBV缓冲器的占用。在前面提到的图7A到7C示出的例子中,因为作为拼接操作结果VBV缓冲器可能下溢,故三个消隐图形被插入图形“n”和“m”之间。插入了这些消隐图像可依次引起VBV缓冲器轻微的上溢。因此,填充数据和最后的消隐图像一起插入以将VBV的占用减少到所需水平。
参考图19和20,其中对用来确定将被插入拼接点的消隐图像的数目和填充数据的数量的过程进行了更充分的描述。
在拼接操作中,CPU7计算插入在拼接点前被定位的数据流中的最后一幅图像“m”和在拼接点后被定位的数据流的第一幅图像“n”之间的消隐图像的数目。这个确定是基于最后一幅图像“m”的VBV缓冲器的占用值“V(m)”;第一幅图像“n”的VBV缓冲器的占用值“V(n)”和通过对编码图像m的处理产生的编码位“G(m)”的数目作出的。这些变量从缓冲模拟器18得到。作出该确定使得图像n解码时的缓冲器占用等于不进行拼接操作且图像n在标准处理期间被解码时存在的缓冲器占用。这些变量也用来确定在消隐图像中被插入的填充字节的数目。从而,可选择消隐图像和填充字节的数目使位于拼接点后的数据流的起始处缓冲器占用与位于拼接点后的数据流的实际所需和期望的缓冲器占用匹配从而VBV缓冲器不下溢或上溢。
如图19和图20的流程所示,在步骤ST1在时间t1被解码的一幅图像的VBV缓冲器的占用根据方程V(t1)=V(m)-G(m)+R/30决定,其中V(t1)是在时间t1 VBV缓冲器的占用,V(m)是图像“m”的VBV缓冲器的占用。G(m)是由编码图像“m”的编码过程产生的编码位数,R/30代表每1/30秒输出一幅图像,其中R表示数据流的位速率。在图19中,V(t1)值是确定的。V(t1)实质是在去掉用来进行解码所去除的数据时的最后的定时上VBV缓冲器的值,加上添加到下一幅图像的VBV缓冲器的数据。
然后,在查询步骤ST2将在时间t1计算的VBV缓冲器的占用(V(t1))与图像n的VBV缓冲器所需的占用相比较以决定在时间t1 VBV缓冲器的占用是否较大。如果询问是否定的回答,VBV缓冲器的占用就不大,在时间t1的图像输出是如步骤ST3所示的一幅消隐图像。接着在步骤ST4,计数器“x”加1,程序返回步骤ST1,上面解释的计算在时间t2和另外所必须的时间区间被重复。
这一过程持续进行直到步骤ST2的回答是肯定的,即在目前测到的定时处的VBV缓冲器的占用比图像n的VBV缓冲器所需的占用大,然后控制传递到步骤ST5。这在时间t4的图19中示出,其中V(t4)大于V(n)。在步骤ST5,确定为不需要附加消隐图像,和下一个被输出的图像是图像“n”。
控制继续进行到步骤ST6,其中确定了用来将实际VBV缓冲器的占用减少到图像n的VBV缓冲器所需的占用的填充字节的数目。这是必要的,因为第三幅消隐图像的插入可能引起不久因占用值V(t4)大于V(n)而导致的VBV缓冲器的上溢。所需的填充字节的数目根据公式G(SF)=V(t4)-V(n)来确定。简单讲,填充字节(G(SF))的数目等于在时间t4 VBV缓冲器的占用量大于图像“n”的VBV缓冲器所需的占用的量。作出该决定后,在步骤ST7,这些填充字节在输入图像“n”之前被加到VBV缓冲器从而得到所需的VBV缓冲器占用。作为增加字节G(SF)示于图19,所以在时间t4的VBV缓冲器的占用等于图像“n”所需的占用。因此数据流的下一个图像被输入到VBV缓冲器并从那里解码而没有VBV缓冲器下溢或上溢的危险。
数据连接电路19的特定配置如图15所示。数据连接电路19首先输入从CPU7提供的一个数据拼接指令DIST到一个指令缓冲器70。数据拼接指令DIST也包括与存储器10中位置相关的信息其中根据拼接操作把要拼接的数据进行存储,关于要被插入的消隐页和填充数据的量的信息;关于存储器10中存储拼接数据位置的信息等等。
一个指令分析电路71读出和分析存储在指令缓冲器70的数据拼接指令DIST,并输出要进行拼接操作的视频数据的存储器位置的信息。作为分析结果得到的信息输出到一个读地址产生器73。指令分析电路71也把拼接操作后存储视频数据位置的存储位置信息输出到一个写入地址产生器74,并输出代表拼接处理过程的内容的信息到一个控制电路75。控制电路75控制数据连接电路19的一般操作。控制电路75根据指令分析电路71提供的拼接处理过程的内容发送控制数据到一个数据处理电路76和一个选择器77。数据处理电路76和选择器77按CPU7的指令执行数据拼接处理过程。控制电路75也发送读/写(W/R)模式的信息用来指定存储器10的一个读出模式或一个写入模式同时从读出地址产生器73或写入地址产生器74输出一个地址。
读出地址产生器73基于要进行拼接操作的视频数据的位置信息产生代表存储器10中存储视频数据处的位置的地址信息,并发送这些地址到存储器10作为一个读出地址DADR1。要进行拼接操作的视频数据DA和DB基于读出地址DADR1和控制电路75输出的模式信息W/R从存储器10被读出。当视频数据DA和DB从存储器10读出时,与相关的TS分组一起存储的指针信息用来从TS分组的预定位置读出所需的视频数据。以这种方式读出的视频数据DA和DB包括相似于基本流数据格式的格式的视频数据。从存储器10读出的并要进行拼接操作的视频数据DA和DB,被分别输入到数据缓冲器78和79。消隐产生器20产生的消隐数据DBLK也输入到数据缓冲器80。
选择器77基于控制电路75的正向控制数据来选择要进行拼接操作处理的数据,并将该选择的数据存储在一个数据缓冲器81中。尤其是,选择器77读出存储在数据缓冲器78和79中的需要进行拼接操作的视频数据DA和DB。从各个缓冲器读出的所选择的视频数据然后存储在数据缓冲器81。选择器77还读出存储在数据缓冲器80中的预定页数的消隐数据DBLK,并把读出的消隐数据DBLK也存储在数据缓冲器81。最后,由填充产生器21产生的所需量的填充数据DSF被检索到后也存储在数据缓冲器81。消隐数据和填充数据的数量如以上所述而决定。
数据处理电路76然后基于控制电路75的控制数据读出存储在数据缓冲器81的视频数据DA和DB、消隐数据DBLK和填充数据DSF,并把这些数据部分拼接一起以便产生将被转换成TS分组拼接视频数据DA+B的拼接视频数据序列。TS分组的拼接视频数据DA+B再次存储在数据缓冲器81。因而,拼接视频数据DA+B从数据缓冲器81读出并和写入地址产生器74产生的一个写入地址DADW1及表示写入操作并存储在一个写入地址DADW1指定位置的模式信息W/R一起提供给存储器10。
当大量数据拼接指令DIST被输送给指令缓冲器70时,控制电路75输出一个读出指令到指令缓冲器70以便一次一个地读出每个接着的数据复合指令,并按照对每个数据拼接指令相似方式的处理继续进行处理。数据连接电路19基于来自CPU7的一个数据拼接指令DIST从存储器10读出将进行拼接操作的视频数据DA和DB,如果需要则检索消隐数据DBLK和填充数据DSF,并连接这些数据以便产生接着将再次被存储在存储器10的拼接视频数据DA+B。(6)产生消隐数据的方法
在消隐产生器20中产生消隐数据DBLK的方法将进行描述,再次参考图6。采用消隐产生器20以便通过仅由DC值组成所有宏模块为帧内编码图像产生消隐数据DBLK。而且对于帧内编码图像后的帧间预测编码的图像,消隐产生器20通过在宏模块和参考宏模块之间设置差值和把运动矢量设置为0或形成一被跳过的宏模块图像来产生消隐数据DBLK。(7)输出处理器的配置
输出处理器23除根据图6之外还根据图16来描述。输出处理器23基于调度程序电路24产生的调度表从存储器10读出并输出一个拼接程序的TS分组和其它程序TS分组,该其它程序的TS分组将与拼接程序一起被多路复用以便产生一个多路复用的传输流SOUT
没有拼接程序的TS分组不在拼接装置1内进行任何处理。这样的TS分组可从拼接装置1输出而只产生一个相应于拼接装置1引起的系统延迟的延迟,所以这些TS分组被与进行拼接操作的TS分组相比较按照合理的定时来输出。为提供这样一个延迟的输出,如果一个TS分组被输入到拼接装置1的时间是已知的,TS分组将根据系统延迟可在所需的时间上输出。从而,对于一个特定的TS分组来说在输入时间后一旦系统延迟已经过去,延迟的TS分组可被输出,实现了延迟的输出。为了这一目的,在向拼接装置1输入时,系统时间时钟STC被加到输入处理器15A,15B中的每一个TS分组。输入时间因而寄存在每个TS分组,所以代表输入时间的系统时间时钟STC的值用来确定调度表的输出时间信息。
用来执行这种操作的输出处理器23的配置根据图16来叙述。如图16所示,在输出处理器23中,从调度程序电路24接收的调度表数据DSLST被输入到表缓冲器90。存储在表缓冲器90的调度表包括用于对每个将要被输出的TS分组的输出时间信息进行指定的信息。输出时间信息由代表TS分组输入时间的系统时间时钟STC的值组成。表缓冲器90响应于一个读出指针91指定的一个读出操作读出调度表,并发送读出表的入口信息到一个地址产生器92,经一个锁存电路93发送输出时间信息DTO到一个比较器94。
地址产生器92为由表缓冲器90提供的入口信息指定的一个TS分组严生一个读出地址DADR2,并提供读出地址DADR2给存储器10。作为响应,由入口信息指定的拼接装置1中的将要输出的一个TS分组DTS2从存储器10读出。一个缓冲器95接收TS分组DTS2,并把TS分组DTS2写在一个写入计数器96指定的缓冲器95的一个区域。
一个延迟校正电路98输入了系统时间时钟STC的目前值。延迟校正电路98从该系统时间时钟STC值减去系统延迟值,该值经拼接装置1作为信号传播的结果以便得到一个校正的系统时间时钟STC的值用来作为时间信息DSTC输出到比较器94。
比较器94确定从延迟校正电路98输出的时间信息DSTC是否与经锁存电路93提供的TS分组的输出时间信息DTO匹配。如果2个时间信息匹配,向一个读出计数器97输出的一个信号电平“H”从比较器94输出。因而,确定了校正的时间信息DSTC与输出时间信息DTO是一致的。在这种情况下,TS分组输入的延迟时间就已经达到了。
一个读出计数器97通过输出一个控制信号来从信息将要被读出的缓冲器95的一个区域指定缓冲器95的一个读出区域以响应比较器94的一个输出信号。因此,当缓冲器95读出响应于该控制信号的TS分组时,由调度表指定的TS分组从输出处理器23输出。
当缓冲器95完成了一个读出操作时,读出计数器97通知读出指针91已完成读出操作。响应于这一通知,读出指针91指示表缓冲器90以便读出下一个入口信息和输出时间信息DTO。因此,如上所述的处理被重复进行用来连续的读出被调度表按顺序指定的TS分组,从而输出传输流SOUT其中是已多路复用了的拼接程序的TS分组和其它程序的TS分组(该其它程序的TS分组未经过拼接操作)。(8)拼接操作的处理过程
根据本发明用于进行拼接操作的处理过程将参考流程图17来叙述。如图17所示,该过程在步骤SP1开始,在步骤SP2大量接收的输入传输流S10,S11的TS分组中的每一个根据分组标识信息PID由输入处理器15A,15B重排。重排的TS分组然后按重排的格式根据各个分组标识信息PID存储在存储器10。处理接着继续到达步骤SP3。在步骤SP3,拼接装置1的分析单元17对由主机2指定的将要进行拼接操作的视频数据的两个源视频流进行语法分析。在下一个步骤SP4,基于分析单元17的分析结果,当将要进行拼接操作的视频数据被输入时拼接装置1的缓冲模拟器单元18分析VBV缓冲器会产生的代码量。
一旦完成上述步骤,拼接装置1同时继续进行到步骤SP5和SP10以便并行进行各个处理。在步骤SP5,基于缓冲模拟器单元18分析的结果,CPU7对将进行拼接的源视频流确定应该怎样进行拼接过程以便产生拼接指令。基于该拼接指令,CPU7依次控制消隐产生器20以便产生所需数量的消隐图像DBLK它将在要拼接在一起的两个数据流之间的拼接点插入。在下一步骤SP6,数据连接电路19从存储器10读出将要拼接的视频数据DA和DB,并拼接视频数据DA和DB同时插入适合产生拼接的视频流DA+B的消隐图像DBLK和填充位DSF。这一连接的视频数据再转换为TS分组并存储在存储器10。在下一步骤SP7,时间标记再生器22增加新的时间标记给每个位于拼接点后的TS分组以使时间标记从拼接点之前到拼接点之后是连续的。
当步骤SP5-SP7被执行时,在步骤SP10,调度程序电路24调度将从拼接装置1输出的TS分组的输出定时。代表输出调度的调度表生成。因为拼接装置1多路复用和输出其它没有进行拼接操作的视频流的TS分组,而不是只输出拼接的视频流DAB的TS分组,所有要输出的TS分组的输出定时在调度表上被定义。
在步骤SP8,输出处理器23从存储器10按列出的顺序读出由调度表指定的TS分组,并在指定的定时输出该读出的TS分组。调度的输出定时基于调度表。一个输出传输流SOUT产生包括了其中多路复用的拼接后的视频流DAB的TS分组和没有进行拼接操作的视频数据的TS分组。
在下一个步骤SP9,PCR再生器25用来校正程序时钟参考PCR的值使得加到输出处理器23的输出传输流SOUT的新的程序时钟参考PCR是完全连续的。因此,产生传输流SOUT并输出。在步骤SP9的处理结束后,拼接装置1返回步骤SP1以便执行进一步的拼接操作或结束操作。
采用拼接装置1通过一系列的处理执行拼接操作,包括存储输入的传输流;对将要进行拼接的数据流的分析;未对传输数据进行解码和重新编码来执行实际的拼接操作;调度将要被输出的TS分组;和基于该调度输出TS分组。
图18A到18I表示了拼接装置1的所述不同部件的各个处理流程。和前面提到的流程图一样,在拼接装置1中,TS分组根据在各个部件中执行的处理次序由此输出。为了这一原因,拼接装置1产生如图18A到18I所示的一个系统延迟。在图18A到18I中,属于一个类似组的相同数据以同样的阴影线表示。从流程图可看到,在时间点t10被输入处理器15A(或15B)存储在存储器10中的数据P在时间点t11从拼接装置1输出,所以系统存在延迟fct(=t11-t10)。因而,输出处理器23中的延迟校正电路98把系统时间时钟的值移位这一系统延迟fct。这样,进行拼接操作的TS分组和不进行拼接操作的TS分组在相似的延迟后从拼接装置1输出。(9)操作和效果
在根据本发明配置的上述拼接装置1中,多节目传输流S10,S11被输入到输入处理器15A,15B其中大量节目的数字视频数据被多路复用。输入处理器15A,15B根据分组标识信息PID从传输流S10,S11重排各个TS分组并根据各个分组标识信息PID把这些重排的TS分组存储到存储器10以便重新配置和分组每个节目的TS分组。
为了实际进行拼接操作,分析单元17在压缩编码和分组期间读出将要进行拼接操作的视频数据TS分组并分析加到TS分组的各种语法参数。缓冲模拟器单元18接收分析的结果,并当将要进行拼接的数据流被接收时模拟接收器一侧的VBV缓冲器是怎样工作的。
CPU7接收由缓冲模拟器单元18进行模拟的结果,对将要进行拼接的数据流确定应怎样进行合适的数据组合处理才不致引起VBV缓冲器的上溢或下溢,并发送该确定的结果到数据连接电路19作为拼接指令。
数据连接电路19基于从CPU7接收到的数据拼接指令读出将要进行拼接操作的数据流的TS分组,并产生合适的消隐图像DBLK和填充字节DSF。数据连接电路19通过拼接合适的分组和数据执行拼接操作,并把拼接数据转换为再次存储进存储器10的TS分组。
调度程序电路24基于由缓冲模拟器单元18执行的分析结果和由CPU7作出的数据组合的决定内容来调度拼接TS分组的输出定时。如果其和拼接的TS分组一起被多路复用和输出,调度程序电路也调度没有进行拼接操作的其它流的TS分组的输出定时。
输出处理器23基于由调度程序电路24接受到的调度表从存储器10读出将要从拼接装置1输出的TS分组,并在指定的输出定时输出TS分组。这将产生已被多路复用了的传输流SOUT,其中有拼接的TS分组和不进行拼接操作的其它数据流的TS分组。
拼接装置1多路分配并分类该输入传输流S10,S11,在存储器10中存储各个数据流。此后,存储器10通常被拼接装置1的各个部件访问用来执行数据流的分析;拼接操作的执行;和拼接数据流的输出,从而可能使得拼接操作即使是在视频数据被分组传送时也容易执行。
而且,在拼接装置1中,当传输流S10,S11的各个TS分组被存储在存储器10时,指针信息被加到每个TS分组以指向分组中包含了相关信息的位置。相应地,TS分组中所需的部分能容易地根据合适的指针信息来访问。因此可能处理TS分组就象它们是基本流的格式那样而不需实际地把它们进行分解和解码为基本流。
进一步讲,在拼接装置1中,当传输流S10,S11被存储在存储器10时,其中的输入时间被加到传输流。因此,如果传输流S10,S11是在一个延迟时间等于从输入时间起内部系统的延迟处输出时,它们能被正确的输出同时避免了VBV缓冲器失效而不需要再调度其中的输出。(10)其它实施例
当前述的实施例描述了拼接数据流的TS分组与其它数据流的TS分组被多路复用并且多路复用的传输流被输出的情况后,本发明并不局限于此。可选择的一种情况是只有拼接的数据流的TS分组被输出。
而且,在前述的实施例中,每个部件都作为独立的模块来描述,本发明并不局限于这种结构,而是一些部件可结合起来并形成一个单一的模块。
进一步说,在前述的实施例中,单个存储器10可通常被各个部件经总线9来访问以缓冲各个部件的处理时间。但本发明并不局限于这种结构,而可替代的是一个先入先出(FIFO)的缓冲器可被提供在各个部件之间来缓冲各个电路模块的处理时间。
还有,在前述的实施例中,输入传输流根据分组标识信息PID来重排并根据分组标识信息PID成组(grouped)和存储在存储器10中以分类和重排传输流。本发明并不局限于这种方式的分类。而输入传输流可以按它们被接收的分组(grouping)和顺序存储在存储器中,并基于分组标识信息PID根据指针信息被分类。
还有,在前述的实施例中,当输入传输流被多路分配时,每个数据流的数据存储一起,代表各种信息的存储位置的指针信息被加到各个流以使这些流被分解成伪基本流。但是,本发明,并不局限于这种伪分解。而各个流可实际被分解成基本流。
还有,前面实施例已经描述了并行使用PID查找表16A,16B中的4个表TB1到TB4,本发明并不局限于这一特定数目的表格。任何数目的并行表都可利用。另外,PID查找表结构可根据例如,相关的高速缓冲存储器电路或N-路通过直接的映射来得到。
另外,前面实施例已经描述了输入时间寄存在调度表的情况,本发明并不局限于在调度表中输出时间的寄存。而输出时间可寄存在每个TS分组中作为附加信息的一部分。
根据如上所述的本发明,输入传输流内的各个编码的视频数据流被分解为各个初始的伪基本流并存储在存储装置。在大量基本流中对在接收器的VBV缓冲器中将要进行拼接连接的数据流产生的代码数量作分析,把要进行拼接处理的流在分析结果基础上拼接在一起。所需量的数据被插入在两个将要拼接的数据流之间的拼接点以便产生一个拼接的视频数据流。拼接的视频数据流依据拼接视频数据流产生的代码量上决定的输出定时来输出。因此可容易地执行数据连接过程即使采用视频数据分组传送。
由此可知,为有效实现上述提出的目的,前面已清楚的进行了描述,因此在不脱离本发明的精神和范围情况下可对上面提出的方法和结构进行某些变化,伴随附图的所有的描述只是为了说明本发明而并不具有限制意义。
应当理解本发明的权利要求覆盖了上面描述的本发明的所有一般和特定的特征,并且表述了本发明的所有范围类似上述情况的描述将落入本发明的范围之中。

Claims (32)

1.一种用来接收包括大量分组编码视频数据流的传输流的视频拼接装置,用来拼接所述编码视频数据流以便产生拼接的视频数据流,其特征在于该视频拼接装置包括:
输入处理装置,用来把所述传输流中的所述大量分组编码视频数据流中的每一个分解成为分组前的一种伪基本流,并存储所述分解的伪基本流在预定的存储装置中;
分析装置,用来分析存储在所述存储装置中的所述基本流的两个数据流的编码位量,其将会在一接收到要进行拼接操作的两个数据流就进行解码时产生;
数据处理装置,用来从所述存储装置读出将要进行所述拼接操作的所述数据流,拼接所述数据流,和基于所述分析装置的分析结果在拼接点插入所需数量的附加数据来产生一个拼接的视频数据流,并存储所述拼接的视频数据流在所述存储装置;和
输出处理装置,用来基于所述分析装置所确定的编码位量来确定所述拼接视频数据流的输出定时,并基于所确定的输出定时来输出从所述存储装置读出的所拼接的视频数据流。
2.根据权利要求1的该视频拼接装置,其特征在于:
所述输入处理装置根据分组标识信息重排所述各个编码的视频数据流同时向每个所编码的视频数据流添加指针信息,并存储所编码的视频数据流在所述存储装置以将所述各个编码视频数据流分解为所述的伪基本流。
3.根据权利要求2的该视频拼接装置,其特征在于:
所述输入处理装置包括大量具有排列了地址信息的表其是根据相应于所述存储装置的存储位置的分组标识信息排列的,其中所述视频拼接装置检索相应于输入数据流的分组标识信息的地址信息同时并行地参考所述大量表格,并且根据分组标识信息来重排所述各个编码视频数据流及基于所述地址信息存储重排的视频数据流在所述存储装置中。
4.根据权利要求1的该视频拼接装置,其特征在于:
所述数据处理装置依据每个将要进行拼接操作的所述数据流在所述解码器中可能产生的数据量来插入所需数目的消隐图像和填充位作为所述附加数据使得将要接收拼接数据流并将要对其进行解码的解码器中的缓冲器不上溢或下溢。
5.根据权利要求1的该视频拼接装置,其特征在于:
所述分析装置以时间划分方式分析至少两个或更多的将要进行拼接的视频数据流。
6.根据权利要求1的该视频拼接装置,其特征在于:
所述输出处理装置进一步包括时间标记添加装置用来添加新的时间标记使在所述拼接视频数据流中的所述时间标记在拼接点前后是连续的。
7.根据权利要求1的该视频拼接装置,其特征在于:
所述输出处理装置还包括程序参考时钟校正装置用来校正在所述输出拼接视频数据流中的程序时钟参考。
8.根据权利要求7的该视频拼接装置,其特征在于:
所述程序参考时钟校正装置依据拼接后的所述输出定时与如果数据没有拼接时所用的输出定时之间的时间差来校正所述程序参考时钟。
9.根据权利要求1的该视频拼接装置,其特征在于:
所述输入处理装置存储一个输入定时在该时刻相关于所述编码数据流每个分组的所述各编码视频数据流的每个分组被输入。
10.根据权利要求9的该视频拼接装置,其特征在于:
当不进行拼接操作的所述编码视频数据流与所述已拼接的视频数据流一起输出时,所述输出处理装置用来指定不进行拼接操作的所述编码视频数据流的输出定时,所述输出定时与所述输入定时相关。
11.一种用来接收包括大量分组编码视频数据流的传输流的视频拼接方法,用来拼接所述编码视频数据流以便产生拼接的视频数据流,其特征在于该方法包括以下步骤:
把在所述传输流中的所述大量分组编码视频数据流中的每一个分解成为一种分组前的伪基本流;
存储所述分解的伪基本流;
分析当一接收到要进行拼接操作的两个数据流就进行解码时会产生的两个所述伪基本流的编码位量;
读出要进行拼接操作的所述数据流;
拼接所述数据流;
依据所述分析结果在拼接点插入所需量的附加数据来产生一个拼接的视频数据流;
存储所述拼接的视频数据流;
依据所确定的编码的位量来确定所述拼接视频数据流的输出定时;和
依据所确定的输出定时输出所述拼接视频数据流。
12.根据权利要求11的该视频拼接方法,其特征在于:
所述各个编码视频数据流根据分组标识信息被重排同时向每个所述的编码视频数据流添加指针信息,并把所述编码视频数据流分解为伪基本流且存储起来。
13.根据权利要求12的该视频拼接方法,其特征在于还包括步骤:
提供大量的具有地址信息的表其相应于依据分组标识信息排列的所述编码视频数据流的存储地址;
检索地址信息同时并行地参考所述大量表格;
根据分组标识信息来重排所述各个编码视频数据流及;
基于所述地址信息存储该重排的视频数据流。
14.根据权利要求11的该视频拼接方法,其特征在于还包括步骤:
依据要进行拼接操作的所述数据流在所述解码器中会产生的数据量来插入所需数目的消隐图像和填充数据使得将要接收和解码该拼接数据流的解码器中的缓冲器不上溢或下溢。
15.根据权利要求11的该视频拼接方法,其特征在于还包括步骤:
以时间划分方式分析至少两个或更多要进行拼接的视频数据流。
16.根据权利要求11的该视频拼接方法,其特征在于还包括步骤:
给所述拼接视频数据流添加新的时间标记使在所述拼接视频数据流中的所述时间标记在所述拼接点前后是连续的。
17.根据权利要求11的该视频拼接方法,其特征在于还包括步骤:
校正在所述输出拼接视频数据流中的程序参考时钟。
18.根据权利要求17的该视频拼接方法,其特征在于还包括步骤:
所述程序参考时钟校正步骤依据拼接后所述输出定时与如果数据没有拼接时采用的输出定时之间的时间差来校正所述程序参考时钟。
19.根据权利要求11的该视频拼接方法,其特征在于还包括步骤:
存储一个输入时间,在该时间输入相关于所述编码数据流的每个分组的所述各编码视频数据流的每个分组。
20.根据权利要求19的该视频拼接方法,其特征在于还包括步骤:
当不进行拼接操作的所述编码视频数据流与所述已拼接的视频数据流一起输出时,根据所述输入时间指定不进行拼接的所述编码视频数据流的输出定时。
21.一种把第一编码视频流和第二编码视频流拼接一起的拼接装置,其特征在于该装置包括:
分析装置,用来分析所述第一编码视频流的语法和所述第二编码视频流的语法;
拼接装置,用来在拼接点拼接所述第一编码视频流和所述第二编码视频流以便产生拼接的视频流;和
控制装置,用来根据来自所述分析装置的命令产生用于所述拼接装置的拼接指令,以便依据所述拼接指令来控制所述拼接装置使得在所述拼接视频流中的所述第一编码视频流和所述第二编码视频流之间插入虚设位从而使存储所述拼接视频流的编码缓冲器不上溢或下溢。
22.根据权利要求21的该拼接装置,其特征在于:
所述分析装置依据所述分析装置的结果模拟一个用于保存所述第一编码流的编解码器缓冲器的位占用值和用于保存所述第二编码流的编解码缓冲器的位占用值。
23.根据权利要求22的该拼接装置,其特征在于:
所述控制装置控制所述拼接装置使得用于保存所述拼接视频数据流的所述编解码缓冲器的所述位占用值等于用于保存所述第二编码流的所述编解码缓冲器的所述位占用值。
24.根据权利要求23的该拼接装置,其特征在于:
所述虚设数据包括消隐图像和填充位中的至少一种。
25.根据权利要求24的该拼接装置,其特征在于:
所述控制装置依据所述第一数据流的最后一幅图像的位占用值和所述第二数据流的第一幅图像的位占用值计算所述消隐图像的数目和所述填充位的数量。
26.根据权利要求25的该拼接装置,其特征在于:
所述拼接装置插入所述消隐图像以提高用于保存所述拼接视频流的所述编解码缓冲器的位占用值,并填充所述填充位以降低用于保存所述拼接视频流的所述编解码缓冲器的位占用值。
27.根据权利要求26的该拼接装置,其特征在于:
所述控制装置在确定了所述消隐图像的数目后来决定将要填充的填充位数量。
28.根据权利要求22的该拼接装置,其特征在于:
所述控制装置控制所述拼接装置使得用于保存所述拼接视频流的编解码缓冲器占用值的变化与用于保存所述第二编码流的所述编解码缓冲器的所述占用值变化一致。
29.根据权利要求21的该拼接装置,其特征在于:
所述控制装置修正所述拼接视频流的时间标记使所述拼接视频流内所述第二编码视频流的所述时间标记从所述拼接视频流内所述第一编码视频流的时间标记起连续。
30.根据权利要求21的该拼接装置,其特征在于:
存储装置,用于存储所述第一编码流和所述第二编码流;
其中所述控制装置添加指针信息给第一和第二编码流,其中所述指针信息表示了在所述存储装置中所述第一和第二编码流的编解码参数的存储器地址,并且所述拼接指令依据从所述存储装置通过使用所述指针信息而读出的所述编解码参数来产生。
31.一种把第一编码视频流和第二编码视频流拼接一起的拼接装置,其特征在于该装置包括:
分析装置,用来分析所述第一编码视频流的语法和所述第二编码视频流的语法;
拼接装置,用来在拼接点切换所述第一编码视频流和所述第二编码视频流以产生拼接的视频流;
控制装置,用来控制所述拼接装置以在所述拼接视频流的所述第一编码视频流和所述第二编码视频流之间插入许多虚设位使得用于保存所述拼接视频流中的所述第二编码视频流的缓冲器的占用与如果所述第二编码视频流没有拼接到所述第一编码视频流时产生的所述第二编码视频流的缓冲器的占用相匹配。
32.一种把第一编码视频流和第二编码视频流拼接在一起的拼接装置,其特征在于该装置包括:
分析装置,用来分析所述第一编码视频流的语法和所述第二编码视频流的语法;
拼接装置,用来在拼接点切换所述第一编码视频流和所述第二编码视频流以产生一拼接的视频流;
控制装置,用来控制所述拼接装置以使在所述拼接视频流的第二编码视频流的缓冲器的占用变化与如果所述第二编码视频流不进行拼接操作时作为提供给所述拼接装置的原始第二编码视频流的结果而存在的缓冲器的占用变化一致。
CN99105844A 1998-03-09 1999-03-09 视频编辑装置和视频编辑方法 Pending CN1236267A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP5712198A JPH11261958A (ja) 1998-03-09 1998-03-09 映像編集装置及び映像編集方法
JP057121/98 1998-03-09

Publications (1)

Publication Number Publication Date
CN1236267A true CN1236267A (zh) 1999-11-24

Family

ID=13046732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN99105844A Pending CN1236267A (zh) 1998-03-09 1999-03-09 视频编辑装置和视频编辑方法

Country Status (5)

Country Link
US (1) US20050259946A1 (zh)
EP (1) EP0942603A3 (zh)
JP (1) JPH11261958A (zh)
KR (1) KR19990077703A (zh)
CN (1) CN1236267A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101116334B (zh) * 2004-12-10 2012-06-13 韩国电子通信研究院 用于接合地面数字多媒体广播信号的装置
CN102595253A (zh) * 2011-01-11 2012-07-18 中兴通讯股份有限公司 一种传输流平滑拼接的方法和系统
CN1933382B (zh) * 2005-09-14 2012-10-31 株式会社东芝 流生成装置及该流生成装置使用的帧同步信号的供给方法
CN102918560A (zh) * 2010-06-28 2013-02-06 英特尔公司 图像信号处理器复用
CN106878708A (zh) * 2012-10-01 2017-06-20 富士通株式会社 视频编码设备和解码设备、视频编码方法和解码方法
CN108833945A (zh) * 2018-06-29 2018-11-16 井冈山电器有限公司 一种使用单通道dma同时传输多路ts流的方法及装置
CN110798731A (zh) * 2019-11-15 2020-02-14 北京字节跳动网络技术有限公司 视频数据的处理方法、装置、电子设备及计算机可读介质
CN113708890A (zh) * 2021-08-10 2021-11-26 深圳市华星光电半导体显示技术有限公司 数据编码方法、数据解码方法、存储介质及计算机设备
CN115237369A (zh) * 2022-09-23 2022-10-25 成都博宇利华科技有限公司 一种高精度信息戳标记方法

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11109114B2 (en) 2001-04-18 2021-08-31 Grass Valley Canada Advertisement management method, system, and computer program product
KR100327412B1 (ko) * 1999-08-02 2002-03-13 서평원 에러 정정을 위한 영상 부호화 및 복호화 방법
JP4389365B2 (ja) * 1999-09-29 2009-12-24 ソニー株式会社 トランスポートストリーム記録装置および方法、トランスポートストリーム再生装置および方法、並びにプログラム記録媒体
US7793076B1 (en) 1999-12-17 2010-09-07 Intel Corporation Digital signals processor having a plurality of independent dedicated processors
EP1936999B1 (en) 2000-01-10 2016-12-21 Koninklijke Philips N.V. Method of setting a system time clock at the start of an MPEG sequence
GB2358539A (en) * 2000-01-21 2001-07-25 Sony Uk Ltd Data processing method which separates parameter data from coded data
US8284845B1 (en) 2000-01-24 2012-10-09 Ati Technologies Ulc Method and system for handling data
US6763390B1 (en) 2000-01-24 2004-07-13 Ati Technologies, Inc. Method and system for receiving and framing packetized data
US6885680B1 (en) 2000-01-24 2005-04-26 Ati International Srl Method for synchronizing to a data stream
US6785336B1 (en) 2000-01-24 2004-08-31 Ati Technologies, Inc. Method and system for retrieving adaptation field data associated with a transport packet
US6988238B1 (en) * 2000-01-24 2006-01-17 Ati Technologies, Inc. Method and system for handling errors and a system for receiving packet stream data
US6804266B1 (en) 2000-01-24 2004-10-12 Ati Technologies, Inc. Method and apparatus for handling private data from transport stream packets
US6778533B1 (en) 2000-01-24 2004-08-17 Ati Technologies, Inc. Method and system for accessing packetized elementary stream data
JP4734690B2 (ja) * 2000-04-28 2011-07-27 ソニー株式会社 信号送出方法及び信号送出装置
US7113546B1 (en) 2000-05-02 2006-09-26 Ati Technologies, Inc. System for handling compressed video data and method thereof
US7095945B1 (en) 2000-11-06 2006-08-22 Ati Technologies, Inc. System for digital time shifting and method thereof
KR100470025B1 (ko) * 2001-06-15 2005-02-04 엘지전자 주식회사 디지털 데이터 스트림 기록장치 및 방법과, 그에 따른기록매체
JP2003230092A (ja) * 2002-02-04 2003-08-15 Sony Corp 情報処理装置および方法、プログラム格納媒体、並びにプログラム
JP3736504B2 (ja) * 2002-07-08 2006-01-18 ソニー株式会社 画像データ処理装置及び方法
KR100939718B1 (ko) 2003-07-21 2010-02-01 엘지전자 주식회사 개인 비디오 녹화 시스템 및 녹화 프로그램 편집 방법
JP4162629B2 (ja) * 2004-06-01 2008-10-08 三洋電機株式会社 デコーダ装置
EP1786212A4 (en) * 2004-08-25 2011-08-17 Sony Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, RECORDING MEDIUM AND PROGRAM
KR100678277B1 (ko) * 2004-11-30 2007-02-02 삼성전자주식회사 멀티미디어 데이터 송수신 시스템에서 지연 시간에 대한측정값을 제공하는 지연 시간 측정 장치와 그 방법
JP4882269B2 (ja) * 2005-04-22 2012-02-22 ソニー株式会社 多重化装置および多重化方法、プログラム、並びに記録媒体
US7764717B1 (en) * 2005-05-06 2010-07-27 Oracle America, Inc. Rapid datarate estimation for a data stream multiplexer
JP4634290B2 (ja) * 2005-11-29 2011-02-16 富士通株式会社 伝送装置
US20070248318A1 (en) * 2006-03-31 2007-10-25 Rodgers Stephane W System and method for flexible mapping of AV vs record channels in a programmable transport demultiplexer/PVR engine
JP4852384B2 (ja) * 2006-09-28 2012-01-11 Necパーソナルコンピュータ株式会社 トランスポートストリーム補正装置
US20090180546A1 (en) * 2008-01-09 2009-07-16 Rodriguez Arturo A Assistance for processing pictures in concatenated video streams
US8718388B2 (en) 2007-12-11 2014-05-06 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
US8542727B2 (en) * 2007-12-31 2013-09-24 Intel Corporation Systems and apparatuses for performing CABAC parallel encoding and decoding
US8886022B2 (en) 2008-06-12 2014-11-11 Cisco Technology, Inc. Picture interdependencies signals in context of MMCO to assist stream manipulation
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
JP5169728B2 (ja) * 2008-10-23 2013-03-27 富士通株式会社 広告挿入vod配信方法及びvodサーバ
CN102318345B (zh) * 2009-02-27 2014-07-30 富士通株式会社 动态图像编码装置、动态图像编码方法
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8437266B2 (en) * 2009-08-26 2013-05-07 Avaya Inc. Flow through call control
JPWO2012140839A1 (ja) * 2011-04-11 2014-07-28 パナソニック株式会社 ストリーム生成装置およびストリーム生成方法
CN102843522B (zh) * 2011-06-24 2015-12-09 北京彩讯科技股份有限公司 基于pcie的视频拼接处理卡、其控制系统及控制方法
CN102629371A (zh) * 2012-02-22 2012-08-08 中国科学院光电技术研究所 基于实时盲图像复原技术的视频像质改善系统
TWI488502B (zh) * 2012-12-06 2015-06-11 Acer Inc 視訊編修方法與視訊編修裝置
US20150256601A1 (en) * 2014-03-10 2015-09-10 Palo Alto Research Center Incorporated System and method for efficient content caching in a streaming storage
KR101641773B1 (ko) 2014-08-01 2016-07-21 임강준 수동식 다이어트용 허리운동기구
EP3591908B9 (en) 2017-03-23 2022-04-06 Huawei Technologies Co., Ltd. Method and device for lip-speech synchronization among multiple devices
CN110753259B (zh) * 2019-11-15 2022-01-25 北京字节跳动网络技术有限公司 视频数据的处理方法、装置、电子设备及计算机可读介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07212766A (ja) * 1994-01-18 1995-08-11 Matsushita Electric Ind Co Ltd 動画像圧縮データ切り換え装置
US5534944A (en) * 1994-07-15 1996-07-09 Matsushita Electric Corporation Of America Method of splicing MPEG encoded video
GB9424436D0 (en) * 1994-12-02 1995-01-18 Philips Electronics Video editing buffer management
US5623424A (en) * 1995-05-08 1997-04-22 Kabushiki Kaisha Toshiba Rate-controlled digital video editing method and system which controls bit allocation of a video encoder by varying quantization levels
US6137834A (en) * 1996-05-29 2000-10-24 Sarnoff Corporation Method and apparatus for splicing compressed information streams
US5917830A (en) * 1996-10-18 1999-06-29 General Instrument Corporation Splicing compressed packetized digital video streams
US6038000A (en) * 1997-05-28 2000-03-14 Sarnoff Corporation Information stream syntax for indicating the presence of a splice point
JPH10285529A (ja) * 1997-04-04 1998-10-23 Sony Corp 画像編集装置および画像編集方法
US6101195A (en) * 1997-05-28 2000-08-08 Sarnoff Corporation Timing correction method and apparatus
US6301428B1 (en) * 1997-12-09 2001-10-09 Lsi Logic Corporation Compressed video editor with transition buffer matcher
CN1253017C (zh) * 1997-12-15 2006-04-19 松下电器产业株式会社 用于把视频目标记录在光盘上的记录设备及其方法
US6414998B1 (en) * 1998-01-27 2002-07-02 Sony Corporation Method and apparatus for inserting an image material
US6414988B1 (en) * 1999-05-12 2002-07-02 Qualcomm Incorporated Amplitude and phase estimation method in a wireless communication system

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101116334B (zh) * 2004-12-10 2012-06-13 韩国电子通信研究院 用于接合地面数字多媒体广播信号的装置
CN1933382B (zh) * 2005-09-14 2012-10-31 株式会社东芝 流生成装置及该流生成装置使用的帧同步信号的供给方法
CN102918560A (zh) * 2010-06-28 2013-02-06 英特尔公司 图像信号处理器复用
CN102595253A (zh) * 2011-01-11 2012-07-18 中兴通讯股份有限公司 一种传输流平滑拼接的方法和系统
WO2012094977A1 (zh) * 2011-01-11 2012-07-19 中兴通讯股份有限公司 一种传输流平滑拼接的方法和系统
CN102595253B (zh) * 2011-01-11 2017-03-22 中兴通讯股份有限公司 一种传输流平滑拼接的方法和系统
CN106878708A (zh) * 2012-10-01 2017-06-20 富士通株式会社 视频编码设备和解码设备、视频编码方法和解码方法
CN106878708B (zh) * 2012-10-01 2019-10-18 富士通株式会社 视频编码设备和解码设备、视频编码方法和解码方法
CN108833945A (zh) * 2018-06-29 2018-11-16 井冈山电器有限公司 一种使用单通道dma同时传输多路ts流的方法及装置
CN110798731A (zh) * 2019-11-15 2020-02-14 北京字节跳动网络技术有限公司 视频数据的处理方法、装置、电子设备及计算机可读介质
CN113708890A (zh) * 2021-08-10 2021-11-26 深圳市华星光电半导体显示技术有限公司 数据编码方法、数据解码方法、存储介质及计算机设备
CN113708890B (zh) * 2021-08-10 2024-03-26 深圳市华星光电半导体显示技术有限公司 数据编码方法、数据解码方法、存储介质及计算机设备
CN115237369A (zh) * 2022-09-23 2022-10-25 成都博宇利华科技有限公司 一种高精度信息戳标记方法

Also Published As

Publication number Publication date
US20050259946A1 (en) 2005-11-24
EP0942603A2 (en) 1999-09-15
EP0942603A3 (en) 2002-05-08
KR19990077703A (ko) 1999-10-25
JPH11261958A (ja) 1999-09-24

Similar Documents

Publication Publication Date Title
CN1236267A (zh) 视频编辑装置和视频编辑方法
CN1274154C (zh) 用于转换数据流的方法和设备
CN1108698C (zh) 一种用于处理传输数据流的方法及装置
CN1199475C (zh) 转换数据流的方法和装置
CN1271813C (zh) 网络系统和在该系统中使用的输出设备
CN1146159C (zh) 数据多路复用器和数据多路复用方法
CN1217542C (zh) 信息提供装置和方法、信息接收装置和方法
JP4416361B2 (ja) マルチフォーマットトランスポートストリームデコーダ
CN1255800C (zh) 产生要记录的信息信号的方法和设备
CN1976448A (zh) 用于音频和视频传输的方法和系统
CN101984672B (zh) 多线程的音视频同步控制方法及装置
CN100352278C (zh) 保持输入的输送流与节目流解码器之间同步的方法和设备
CN100586176C (zh) 用于视频同步的设备和方法
US20090007208A1 (en) Program, data processing method, and system of same
CN1421859A (zh) 后期录音装置
CN101067952A (zh) 用于提供可浏览的幻灯片显示的解码数据的方法
CN1794812A (zh) 一种传输流复用的方法
CN1717733A (zh) 用于保证多个数据流的无缝再现的方法和设备
CN100474934C (zh) 数据处理装置和方法
CN1622535A (zh) 用于数据流中确定位置的存储和重定位的方法及装置
CN1863322A (zh) 再现设备和方法
CN102420981A (zh) 转码装置和转码方法
CN1189863C (zh) 数字传送设备及方法
US7664373B2 (en) Program, data processing method, and system of same
JPH10126371A (ja) 多重化装置及び多重化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication