CN101179718A - 码流时基不连续处理方法和码流接收装置 - Google Patents

Abstract

一种码流时基不连续的处理方法及码流接收装置，其中的码流接收装置包括：解复用单元，对码流中传送的基本流包解复用，并当接收到码流中的不连续指示后对码流的相关位置进行标记作为码流同步的不连续点，发出时基不连续通知；内含不连续状态寄存器的解码器，响应于所述的时基不连续通知，不连续状态寄存器置于第一工作状态，当在解码过程中解码到已被标记的码流的相关位置时，不连续状态寄存器置于第二工作状态；同步单元，当接收到所述的不连续通知时，将所述不连续状态寄存器置于第一工作状态，关闭其同步操作；而当所述不连续状态寄存器置于第二工作状态时，开启其同步操作；本地系统时钟，当所述同步单元的同步操作关闭时进行更新操作。

Description

码流时基不连续处理方法和码流接收装置

技术领域

本发明涉及数字音频和视频数据流接收装置与方法，尤其涉及一种码流中时基不连续处理方法和采用该方法的码流接收装置。

背景技术

多媒体通信技术近年来得到普遍的关注和发展，尤其是实时音视频传输技术与人们生活质量密切相关，在全世界范围内有着广阔的市场前景。音视频传输技术往往要求提供很大带宽才能够达到实时传送的目的，为降低对带宽的需求，各种相应的编解码技术应运而生。MPEG系列标准即定义了一种广泛采用的音视频编解码技术。MPEG系列标准中，发送端将数据按一定的编码原则压缩后打包成码流形式进行传送，而接收端对接收到的码流按相对应的解码原则进行解压缩，从而恢复数据并进行播放。MPEG2标准(国际标准组织文件ISO13818-1)中定义了两类传送码流的编码方式，一类为相对无损环境下的编码，传送的码流为节目流(program stream；简称PS)，另一类为有损环境下的编码，传送的码流称为传输流(TransportStream；TS)。每个节目流或传输流的包分别包括PS/TS头部(header)和PS/TS负载部(payload)。根据MPEG2标准，传送的码流在语法上定义为系统层和压缩层，系统层提供时间控制和音视频码流同步与交错等系统控制信息，包括系统控制信息，诸如码流复用和解复用信息、多码流同步播放、缓冲管理和控制、时间恢复和指示、节目插入、条件访问和错误跟踪等；压缩层为被压缩过的音、视频等数据流。

发送端在传送时把音频、视频、系统或其它数据形成的基本流(Elementary Stream；简称ES)，通过复用打包成基本流包(PacketizedElementary Stream；简称PES)。基本流包(PES)在码流的压缩层中进行传送，长度是可变的。每个基本流包包括PES头部(header)和PES负载部(payload)。一个单一的基本流包可分解后插入到多个传输流中进行传送，即多个节目流或传输流的包合并后可在逻辑上构建基本流包，其关系可参见图1。

每个节目(program)的基本流都有着共同的时基(time base)。解码端与编码端有着大致相同的时钟频率，约为27MHz，但二者很难严格保持一致。通常，在发送端打包时即加入时钟参考值，当接收端解包后，可以参考接收到的时钟参考值来校正本地时钟，以达到音、视频同步播放的目的。MPEG-2标准在传输流(TS)的TS头部(header)信息中定义了“节目时钟参考”(Program Clock Reference；简称PCR)；并在基本流包的头部定义了“解码时间戳”(Decode Time Stamp；简称DTS)和/或“显示时间戳”(Presentation Time Stamp；简称PTS)。PCR反映了节目插入传输流时的编码端系统时钟(system time clock；STC)的值。接收端的解码器使用PCR使解码时钟与编码时钟一致。PCR在传输流(TS)的TS头部占用42位，其中低9位为基段，调整单位为27MHz，高33位为延伸段，调整单位为90KHz。DTS/PTS表示需要解码/播放的时间，在基本流包的PES头部占用33位，以90KHz为调整单位。

MPEG2标准中设定了一个音、视频流与数据的固定延迟的假定模型，即假设所有音、视频流与数据从发送端到解码端消耗完全相同的固定的时间。但实际上这里的延迟并不是完全确定的，码流传送过程中可能存在网络抖动现象等。接收端进行节目插播或发送端节目切换等，这些都可能引起码流时基的变化。时基的变化常常导致音、视频流及数据解码或播放的本地时钟与码流中指示的解码时间或播放时间相差很大，容易引起音、视频流或数据的丢失，而出现解码或播放无规律的跳跃或中断。

此外，对于同一个节目下的不同流，包括音频流、视频流或其它数据流，如字幕流等，各自的解码或播放的时间与各自的缓冲器接收到同一帧的第一个字节的时间之间的间隔也不完全相同。时基的变化可能使等待解码或播放的缓冲器产生溢出，丢失音、视频流或数据的部分帧，进一步加剧解码或播放无规律的跳跃或中断、暂停等现象。

另一方面，PTS的最小调整单位为90KHz，也限制了时基变化时解码端时钟的调整精度。

发明内容

为克服现有技术中存在的缺陷，本发明提出了一种能处理码流时基变化，使音、视频流及数据的解码或播放能够同步的解码方法。

根据本发明的一个方面，提供一种码流时基不连续的处理方法，该方法包括以下步骤：

a.接收来自码流的不连续指示，对码流的相关位置进行标记作为码流同步的不连续点，发出时基不连续通知；

b.响应于时基不连续通知，产生第一工作状态信号；

c.响应于所述第一工作状态信号，关闭码流处理中的同步操作；

d.在对码流的解码过程中判断是否解码到被标记的码流的相关位置；

e.当判断为已解码到被标记的码流的相关位置时，产生第二工作状态信号；

f.响应于所述第二工作状态信号，开启码流处理中的同步操作；

g.当判断为未解码到被标记的码流的相关位置时，返回步骤d。

根据本发明的该一个方面，所述步骤c进一步包括响应于所述第一工作状态信号，屏蔽码流中的解码时间戳/显示时间戳的步骤。

根据本发明的该一个方面，所述步骤f进一步包括响应于所述第二工作状态信号，并在接收到新的有效的解码时间戳/显示时间戳并作更新后开启所述同步操作的步骤。

根据本发明的该一个方面，所述时基不连续通知为不连续事件，该事件携带一个参数作为指明所述不连续点的标记，该标记位于码流中与时基变化相关联的字节的写指针地址。

根据本发明的该一个方面，所述时基不连续通知为不连续事件，该事件不携带参数，对所述不连续点的标记为在码流的不连续点处插入特殊性标记。

根据本发明的另一方面，提供一种处理码流时基不连续的码流接收装置，包括：

解复用单元，对码流中传送的基本流包解复用，并当接收到码流中的不连续指示后对码流的相关位置进行标记作为码流同步的不连续点，发出时基不连续通知；

内含不连续状态寄存器的解码器，响应于所述的时基不连续通知，不连续状态寄存器置于第一工作状态，当在解码过程中解码到已被标记的码流的相关位置时，不连续状态寄存器置于第二工作状态；

同步单元，当接收到所述的不连续通知时，将所述不连续状态寄存器置于第一工作状态，关闭其同步操作；而当所述不连续状态寄存器置于第二工作状态时，开启其同步操作；

本地系统时钟，当所述同步单元的同步操作关闭时进行更新操作，以保持其与码流时基的一致。

根据本发明的另一方面，所述不连续状态寄存器配置成记录码流中包含的解码时间戳/显示时间戳信息的解码时间戳/显示时间戳关联寄存器，当其置于第一工作状态时屏蔽其操作；当其置于第二工作状态时激活其操作，并允许其对码流中包含的新的解码时间戳/显示时间戳进行记录。

根据本发明的另一方面，所述同步单元设置成当解码时间戳/显示时间戳关联寄存器置于第一工作状态时关闭其同步操作，当解码时间戳/显示时间戳关联寄存器置于第二工作状态且记录到新的有效的解码时间戳/显示时间戳信息时开启其同步操作。

根据本发明的另一方面，所述不连续状态寄存器由所述解码器中现有寄存器中的一个或多个位设置。

根据本发明的另一方面，所述不连续状态寄存器由解码器中的不连续使能寄存器设置，当所述不连续使能寄存器置位时表示其当前处于所述第一工作状态，当所述不连续使能寄存器清零时表示其当前处于第二工作状态。

根据本发明的另一方面，所述时基不连续通知为不连续事件，该事件携带一个参数作为指明该不连续点的标记，该标记位于码流中与时基变化相关联的字节的写指针地址，所述同步单元收到不连续事件后，使解码器中设置的不连续状态寄存器处于第一工作状态。

根据本发明的另一方面，所述时基不连续通知为不连续事件，该事件不携带参数，不连续点的标记为在码流的不连续点处插入特殊性标记，所述同步单元收到不连续事件后，使解码器中设置的不连续状态寄存器处于第一工作状态。

本发明通过跟踪码流中时基不连续指示而对同步单元适时地开启或关闭，消除了时基的变化引起的本地时钟与码流中时基的差距，从而避免了引起音、视频流或数据的丢失。

并且，当解码器解码到了不连续点的时候，解码器不必通过中断的形式来通知同步单元。而是同步单元在下次收到帧头中断的时候通过检测DTS/PTS关联寄存器来判断是否已经到达了不连续点。这样就减少了同步单元所需要处理的中断数目，减低了对同步单元的要求，使同步单元更容易实现。

附图说明

以下附图为对本发明示例性实施例的辅助说明，结合以下附图对本发明实施例的阐述，是为进一步揭示本发明的特征所在，但并不限制本发明，图中相同符号代表实施例中相应元件或步骤，其中：

图1为传输流(TS)与基本流包(PES)的结构关系示意图。

图2为本发明的一种处理码流时基不连续的码流接收装置。

图3为码流接收装置的解码器的结构示意图。

图4为根据本发明的一个实施例的码流时基不连续的处理方法流程图。

图5为根据本发明的另一个实施例的码流时基不连续的处理方法流程图。

图6为为图5所示码流时基不连续的处理方法的工作原理图。

具体实施方式

参见图2，本发明提供了一种处理码流时基不连续的码流接收装置，它主要接收来自外部的多媒体传输码流，一般称之为传输流(TS；TransportStream)，并对码流进行解复用、解析和解码等一系列处理后输出播放。该装置包括解复用单元21、解码器22、同步单元23和本地系统时钟24。解码器22可以包括音频解码器221、视频解码器222和其它数据解码器223等。同步单元可以设置成一个，也可以设置成多个，与每个解码器分别对应。

解复用单元对传输流进行解复用后输出基本流包(PES；PacketisedElementary Stream)，并送到各个解码器中。

如图3所示，每个解码器中例如至少包括缓冲器31、解析单元32和解码单元33。解码器中的缓冲器可以用来暂存从解复用单元送出的基本流包。解析单元解析得到DTS/PTS，并根据码流中包含的不连续指示来得知时基变化的位置。同步单元主要负责根据DTS/PTS和本地系统时钟控制解码单元的解码速度或显示速度。解码器22中还设置了不连续状态寄存器34。不连续状态寄存器能够通过其状态的变化，从一个方面影响同步单元的开启。根据本发明的一个实施例，对于符合MPEG2标准的码流，码流中的系统时钟信息为包含在传输流头部的PCR；不连续指示为包含在传输流头部的“时基不连续标志”(Time Base Discontinuity Flag)。

按照本发明的一个实施例，传输流解复用单元在接收到码流后，会自动对码流中的信息进行检测。当时基改变或者出现不连续的现象时，传输流解复用单元会收到来自码流的不连续指示，例如包含在传输流头部的“时基不连续标志”(Time Base Discontinuity Flag)。当解复用单元收到来自码流的不连续指示时，会对码流的相关位置进行相应的标志，作为码流同步的不连续点，并即时发出时基不连续通知给同步单元。

根据本发明的一种实施方式，不连续通知为一个“不连续事件(Event)”，该事件携带一个参数，即指明该不连续点的标记。该标记位于码流中与时基变化相关联的字节的写指针地址，例如紧接着时基变化的第一个字节的写指针地址。同步单元收到不连续事件后，把解码器的不连续使能寄存器Dis_Con_Enable位置起。也就是说，解码器中设置的不连续状态寄存器将处于第一工作状态，即，产生一个第一工作状态信号，同步单元关闭。同步单元把不连续事件所指示的不连续点的写指针地址写入解码器的不连续点地址寄存器Dis_Con_Address。根据本发明的另一种实施方式，解复用单元发出的不连续通知可以是一个“不连续事件(Event)”，该事件不携带参数。不连续点的标记为在码流的不连续点处插入一些特殊性标记，如特殊字符等。同步单元收到不连续事件后，把解码器的不连续使能寄存器Dis_Con_Enable位置起，关闭同步单元。

同时，当解复用单元发现码流中的系统时钟改变，例如，传输流头部的PCR所指示的系统时钟信息发生变化，会将新的PCR值装载到本地系统时钟。

如上所述，同步单元接收到解复用单元的不连续通知后，解码器中设置的不连续状态寄存器将处于第一工作状态，即，产生一个第一工作状态信号。在解码器解码到被标记的码流位置后，该不连续状态寄存器将转换到第二工作状态，即，产生一个第二工作状态信号。

在本发明的一个实施例中，不连续状态寄存器可以配置成记录码流中包含的解码时间戳/显示时间戳(DTS/PTS)信息的DTS/PTS关联寄存器。当DTS/PTS关联寄存器处于上述第一工作状态时，屏蔽DTS/PTS关联寄存器，仅允许读DTS/PTS关联寄存器，而不允许DTS/PTS关联寄存器对帧头包含的新的DTS/PTS进行记录；当DTS/PTS关联寄存器处于第二工作状态时，激活DTS/PTS关联寄存器，既允许读DTS/PTS关联寄存器，同时允许对帧头包含的新的DTS/PTS进行记录。DTS/PTS关联寄存器在上述第二工作状态时，当解码器解码出有效的DTS/PTS信息，会写入DTS/PTS关联寄存器，并在更新DTS/PTS后，开启同步单元。

在本发明的另一实施例中，不连续状态寄存器可以是解码器中适当的寄存器中设置的一个或多个位，例如，可以直接利用解码器的不连续使能寄存器Dis_Con_Enable作为不连续状态寄存器。对不连续使能寄存器Dis_Con_Enable置位，则表示其当前处于第一工作状态，此时，关闭同步单元；对不连续使能寄存器Dis_Con_Enable清零，则表示其当前处于第二工作状态，此时，重新开启同步单元。

图4为根据本发明一个实施例的一种码流时基不连续的处理方法流程图。该方法包括以下步骤：

步骤S41，接收来自码流的不连续指示，对码流的相关位置进行标记作为码流同步的不连续点，发出时基不连续通知；步骤S42，响应于时基不连续通知，产生一个第一工作状态信号；步骤S43，响应于所述第一工作状态信号，关闭码流处理中的同步操作；步骤S44，在对码流的解码过程中判断是否解码到被标记的码流的相关位置；如是，流程进入步骤S45，产生一个第二工作状态信号；紧接着，步骤S46，响应于所述第二工作状态信号，开启码流处理中的同步操作；如步骤S44判断为未解码到被标记的码流的相关位置时，流程返回步骤S44作继续判断。

图5为根据本发明另一个实施例的一种码流时基不连续的处理方法流程图。该方法包括以下步骤：

步骤S51，接收来自码流的不连续指示，对码流的相关位置进行标记作为码流同步的不连续点，发出时基不连续通知。步骤S52，响应于时基不连续通知，产生一个第一工作状态信号。步骤S53，响应于所述第一工作状态信号，屏蔽码流中的解码时间戳/显示时间戳，关闭码流处理中的同步操作。步骤S54，在对码流的解码过程中判断是否解码到被标记的码流的相关位置，如是，流程进入步骤S55，产生一个第二工作状态信号；如否，流程返回步骤S54作继续判断。接着，步骤S56，响应于所述第二工作状态信号，进一步判断是否接收到新的有效的解码时间戳/显示时间戳信息；如是，步骤S57，对解码时间戳/显示时间戳更新后，开启码流处理中的同步操作；如否，流程返回步骤S56作继续判断。

图6为图5所示码流时基不连续的处理方法的工作原理图。

通常，解码器每次接收到基本流包的帧头(picture head)，都会去查看帧头中包含的DTS/PTS信息。

在各信号的时序图上，A点之前，STC信号采用旧的STC，同步单元处于开启状态，而DTS/PTS关联寄存器处于第二工作状态，即DTS/PTS关联寄存器被激活，既允许读DTS/PTS关联寄存器，同时允许对帧头中包含的新的DTS/PTS进行记录。DTS/PTS关联寄存器的信号时序图上第一个有效的DTS/PTS信息信号位于A点之前，能得到响应。

A点时，解复用单元发出时基不连续通知，时基不连续通知指示的不连续点(即A点)的写指针地址被写入解码器的不连续点地址寄存器Dis_Con_Address。同步单元收到时基不连续通知后，将解码器的不连续使能寄存器置起，关闭同步单元，同时屏蔽DTS/PTS关联寄存器，此后即使检测到基本流包的帧头中包含新的DTS/PTS值，DTS/PTS关联寄存器仍然不响应，对之后出现的有效DTS/PTS信息不进行更新。因此，时序上从A点开始直到B点，同步单元进入关闭状态，而DTS/PTS关联寄存器进入第一工作状态，即DTS/PTS关联寄存器被屏蔽，仅允许读DTS/PTS关联寄存器，而不允许DTS/PTS关联寄存器对帧头包含的新的DTS/PTS进行记录。DTS/PTS关联寄存器的信号时序图上第二个有效的DTS/PTS信息信号位于A点之后和B点之前，不能得到响应。此时新的时基STC也被装载。

解码器中的解码单元在解码时，先对缓冲器发出读地址而从缓冲器获得相应的数据。当解码单元发出的读地址与在不连续点时记录在不连续点地址寄存器Dis_Con_Address中的写指针地址相同时，表示解码单元已经解码到了被标记了的时基不连续点。解码单元解码到被标记的码流位置，可以在时序图上假定该位置为B点。此时，不需要发中断来通知重新开启同步单元，而是使DTS/PTS关联寄存器重新又转换到第二工作状态，即DTS/PTS关联寄存器被激活，既允许读DTS/PTS关联寄存器，同时允许对帧头中包含的新的DTS/PTS进行记录。

C点位于B点之后，此时解码单元已经解码到被标记的码流位置，DTS/PTS关联寄存器处于第二工作状态。C点上，DTS/PTS关联寄存器的第三个有效的DTS/PTS信息信号能得到响应而进行更新。此时，不连续使能寄存器被清零，同步单元重新被开启。

对于多媒体码流来说，同一个节目往往采用共同的不连续点，当时基变化时，常常是在需要转换频道时。这里采用对码流标记来记录不连续时机的方式，不属于同一个时基的数据包被丢弃，而基于新的时基的节目的数据，包括音频、视频与其它相关数据，都被有效地解码和播放。这样完全不会影响新的频道的节目的收看，也避免旧频道数据造成的资源消耗。

按照本发明，当解码器解码到了不连续点的时候，解码器不必通过中断的形式来通知同步单元。而是同步单元在收到帧头中断的时候通过检测DTS/PTS关联寄存器来判断是否已经到达了不连续点。这样就减少了同步单元所需要处理的中断数目，减低了对同步单元的要求，使同步单元更容易实现。

本实施例只是为了进一步更清楚地描述本发明，而非对本发明的限制。应该可以理解，本发明并不限于实施例所做的阐述，任何基于本发明的修改和本发明的等同物都应涵盖在本发明的权利要求的精神和范围之内。

Claims (12)

1.一种码流时基不连续的处理方法，该方法包括以下步骤：

a.接收来自码流的不连续指示，对码流的相关位置进行标记作为码流同步的不连续点，发出时基不连续通知；

b.响应于时基不连续通知，产生第一工作状态信号；

c.响应于所述第一工作状态信号，关闭码流处理中的同步操作；

d.在对码流的解码过程中判断是否解码到被标记的码流的相关位置；

e.当判断为已解码到被标记的码流的相关位置时，产生第二工作状态信号；

f.响应于所述第二工作状态信号，开启码流处理中的同步操作；

g.当判断为未解码到被标记的码流的相关位置时，返回步骤d。

2.如权利要求1所述的方法，其特征在于所述步骤c进一步包括响应于所述第一工作状态信号，屏蔽码流中的解码时间戳/显示时间戳的步骤。

3.如权利要求2所述的方法，其特征在于，所述步骤f进一步包括响应于所述第二工作状态信号，并在接收到新的有效的解码时间戳/显示时间戳并作更新后开启所述同步操作的步骤。

4.如权利要求1至3任一所述的方法，其特征在于，所述时基不连续通知为不连续事件，该事件携带一个参数作为指明所述不连续点的标记，该标记位于码流中与时基变化相关联的字节的写指针地址。

5.如权利要求1至3任一所述的方法，其特征在于，所述时基不连续通知为不连续事件，该事件不携带参数，对所述不连续点的标记为在码流的不连续点处插入特殊性标记。

6.一种处理码流时基不连续的码流接收装置，包括：

解复用单元，对码流中传送的基本流包解复用，并当接收到码流中的不连续指示后对码流的相关位置进行标记作为码流同步的不连续点，发出时基不连续通知；

内含不连续状态寄存器的解码器，响应于所述的时基不连续通知，不连续状态寄存器置于第一工作状态，当在解码过程中解码到已被标记的码流的相关位置时，不连续状态寄存器置于第二工作状态；

同步单元，当接收到所述的不连续通知时，将所述不连续状态寄存器置于第一工作状态，关闭其同步操作；而当所述不连续状态寄存器置于第二工作状态时，开启其同步操作；

本地系统时钟，当所述同步单元的同步操作关闭时进行更新操作，

以保持其与码流时基的一致。

7.如权利要求6所述的码流接收装置，其特征在于，所述不连续状态寄存器配置成记录码流中包含的解码时间戳/显示时间戳信息的解码时间戳/显示时间戳关联寄存器，当其置于第一工作状态时屏蔽其操作；当其置于第二工作状态时激活其操作，并允许其对码流中包含的新的解码时间戳/显示时间戳进行记录。

8.如权利要求7所述的码流接收装置，其特征在于，所述同步单元设置成当解码时间戳/显示时间戳关联寄存器置于第一工作状态时关闭其同步操作，当解码时间戳/显示时间戳关联寄存器置于第二工作状态且记录到新的有效的解码时间戳/显示时间戳信息时开启其同步操作。

9.如利要求6所述的码流接收装置，其特征在于，所述不连续状态寄存器由所述解码器中现有寄存器中的一个或多个位设置。

10.如权利要求9所述的码流接收装置，其特征在于，所述不连续状态寄存器由解码器中的不连续使能寄存器设置，当所述不连续使能寄存器置位时表示其当前处于所述第一工作状态，当所述不连续使能寄存器清零时表示其当前处于第二工作状态。

11.如权利要求6至10任一所述的码流接收装置，其特征在于，所述时基不连续通知为不连续事件，该事件携带一个参数作为指明该不连续点的标记，该标记位于码流中与时基变化相关联的字节的写指针地址，所述同步单元收到不连续事件后，使解码器中设置的不连续状态寄存器处于第一工作状态。

12.如权利要求6至10任一所述的码流接收装置，其特征在于，所述时基不连续通知为不连续事件，该事件不携带参数，不连续点的标记为在码流的不连续点处插入特殊性标记，所述同步单元收到不连续事件后，使解码器中设置的不连续状态寄存器处于第一工作状态。

Images