CN106713927A - 一种图像输出装置、方法及解码器 - Google Patents

Abstract

本发明提供一种图像输出装置、方法及解码器。其中，装置包括：包括序列号差值获取单元，用于获取顺次输出的图像的序列号之间的第一差值；输出图像确定单元，用于根据获取的所述第一差值，确定下一输出图像的序列号。本发明提供的方案能够实现解码后的图像快速重排序输出，改善视频播放流畅度。

Description

一种图像输出装置、方法及解码器

技术领域

本发明涉及图像处理领域，尤其涉及图像输出装置、方法及解码器。

背景技术

在H.264中，解码后的图像显示顺序是由图像序列号(POC)来标识的,与图像的解码顺序不一定相同。所以需要把解码后的图像按照POC从小到大重新排序。已解码图像会被放到解码图像缓存区(DPB)中，由于内存大小与效率的限制，不可能一直保存图像而不丢弃，因此需要采用某种管理策略，尽快重排序DPB中的图像并及时输出，然后把不再需要用作参考的图像从DPB中删除。

现有技术的解码图像重排输出的方法如图1所示，若当前图像是即时解码刷新图像(IDR)图像，则将DPB中所有图像都输出,然后清空缓冲区。如果当前图像不是IDR图像，则判断DPB中图像数量。如果DPB未满,那么执行插入图像模块。如果DPB已满且当前图像是参考帧,那么在DPB中标定为“未输出”的图像中找到POC最小的图像,将其输出,若此图像是非参考帧,那么把它从DPB中删除,否则,在标定为“未输出”的图像中继续寻找POC最小的图像,将其输出,循环下去,直到找到一个非参考帧,将它删除,空出的位置用来存放当前图像；如果DPB已满,但当前图像不是参考帧,那么先把DPB中POC小于当前图像的所有图像输出,然后直接输出当前图像,不需要将它存入DPB。这种做法存在的问题：(1)需要额外分配内存；(2)由于需要等DPB满才开始进行图像重排序输出，会存在图像输出不及时而导致播放卡顿现象。

发明内容

本发明的主要目的在于克服上述现有技术的缺陷，提出了图像输出装置、方法及解码器，实现解码后的图像快速重排序输出，改善视频播放流畅度。

本发明一方面提供了一种图像输出装置，包括序列号差值获取单元，用于获取顺次输出的图像的序列号之间的第一差值；输出图像确定单元，用于根据获取的所述第一差值，确定下一输出图像的序列号。

可选地，还包括序列号差值更新单元，用于等待解码图像缓存区被填满后，按照图像序列号升序排列所述解码图像缓存区的所有图像，并计算相邻图像序列号之间的差值，当差值中奇数值大于等于偶数值，则所述第一差值为1；当差值中偶数值大于奇数值，则所述第一差值为2。

可选地，还包括判断单元，用于判断所述解码图像缓存区中未输出图像的数量是否大于参考帧个数，当未输出图像的数量大于参考帧个数且此前接收到即时解码刷新图像后还未重新确定所述第一差值，触发序列号差值更新单元的工作。

可选地，还包括判断单元，用于判断所述解码图像缓存区中未输出图像的数量是否大于参考帧个数，当未输出图像的数量大于参考帧个数时，用于触发所述序列号差值获取单元和所述输出图像确定单元的工作。

可选地，还包括图像输出单元，用于当未输出图像的数量大于参考帧个数时，输出解码图像缓存区中图像序列号最小的图像，并根据所述输出图像确定单元确定的下一输出图像的序列号，将所述下一输出图像的序列号对应的图像输出。

可选地，还包括图像输出单元，用于当未输出图像的数量不大于参考帧个数时，根据下一输出图像的序列号，将所述下一输出图像的序列号对应的图像输出。

可选地，当解码图像缓存区中存在所述下一输出图像的序列号对应的图像，则所述图像输出单元输出所述下一输出图像的序列号对应的图像，直至下一输出图像的序列号对应的图像未存储于所述解码图像缓存区；当解码图像缓存区中未存储所述下一输出图像的序列号对应的图像，则从所述解码图像缓存区删除已输出非参考帧。

本发明又一方面提供了一种解码器，包括上述任一所述的图像输出装置。

本发明再一方面提供了一种图像输出方法，包括：序列号差值获取步骤，用于获取顺次输出的图像的序列号之间的第一差值；输出图像确定步骤，用于根据获取的所述第一差值，确定下一输出图像的序列号。

可选地，还包括序列号差值更新步骤，用于等待解码图像缓存区被填满后，按照图像序列号升序排列所述解码图像缓存区的所有图像，并计算相邻图像序列号之间的差值，当差值中奇数值大于等于偶数值，则所述第一差值为1；当差值中偶数值大于奇数值，则所述第一差值为2。

可选地，还包括判断步骤，用于判断所述解码图像缓存区中未输出图像的数量是否大于参考帧个数，当未输出图像的数量大于参考帧个数且此前接收到即时解码刷新图像后还未重新确定所述第一差值，执行序列号差值更新步骤。

可选地，还包括判断步骤，用于判断所述解码图像缓存区中未输出图像的数量是否大于参考帧个数，当未输出图像的数量大于参考帧个数时，执行所述序列号差值获取步骤和所述输出图像确定步骤。

可选地，还包括图像输出步骤，用于当未输出图像的数量大于参考帧个数时，输出解码图像缓存区中图像序列号最小的图像，并根据所述输出图像确定步骤确定的下一输出图像的序列号，将所述下一输出图像的序列号对应的图像输出

可选地，还包括图像输出步骤，还用于当未输出图像的数量不大于参考帧个数时，根据下一输出图像的序列号，将所述下一输出图像的序列号对应的图像输出。

可选地，当解码图像缓存区中存在所述下一输出图像的序列号对应的图像，则所述图像输出步骤输出所述下一输出图像的序列号对应的图像，直至下一输出图像的序列号对应的图像未存储于所述解码图像缓存区；当解码图像缓存区中未存储所述下一输出图像的序列号对应的图像，则从所述解码图像缓存区删除已输出非参考帧。

本发明的方案，能够在内存比较小的系统支持1080P30H.264高清解码，节省产品成本；另外，能够实现解码后的图像快速重排序输出，改善视频播放流畅度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是现有技术提供的解码图像重排输出的方法流程图；

图2是本发明提供的图像输出装置的一实施例中的结构示意图；

图3是本发明提供的图像输出装置的一实施例中的结构示意图；

图4是本发明提供的图像输出装置的一实施例中的结构示意图；

图5是本发明提供的图像输出方法的一实施例中的方法示意图；

图6是本发明提供的图像输出方法的一实施例中的方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图2是本发明提供的图像输出装置的一实施例中的结构示意图。本发明一具体实施方式，提供了一种图像输出装置10包括序列号差值获取单元101和输出图像确定单元103。

其中，序列号差值获取单元，用于获取顺次输出的图像的序列号之间的第一差值。

输出图像确定单元，用于根据获取的所述第一差值，确定下一输出图像的序列号。

图3是本发明提供的图像输出装置的一实施例中的结构示意图。本发明一具体实施方式，结合本发明其他实施方式的各个方面。

一种图像输出装置20包括序列号差值获取单元201和输出图像确定单元203以及序列号差值更新单元205。

其中，序列号差值获取单元，用于获取顺次输出的图像的序列号之间的第一差值。例如，一般情况下，在两个IDR图像之间，需要确定一次第一差值。因为在不同的图像序列，图像之间的POC差值是有可能变化的，所以在遇到IDR图像后，需要重新估计POC差值。

输出图像确定单元，用于根据获取的所述第一差值，确定下一输出图像的序列号。例如，下一输出图像的序列号是当前输出图像序列号与第一差值之和。

序列号差值更新单元，用于等待解码图像缓存区被填满后，按照图像序列号升序排列所述解码图像缓存区的所有图像，并计算相邻图像序列号之间的差值，当差值中奇数值大于等于偶数值，则所述第一差值为1；当差值中偶数值大于奇数值，则所述第一差值为2。一般情况下，当此前接收到一IDR图像但还未重新确定第一差值时，再接收到新的解码后图像后，触发序列号差值更新单元的工作。

图4是本发明提供的图像输出装置的一实施例中的结构示意图。本发明一具体实施方式，结合本发明其他实施方式的各个方面。

一种图像输出装置30包括序列号差值获取单元301、输出图像确定单元303、序列号差值更新单元305以及判断单元307。

其中，序列号差值获取单元，用于获取顺次输出的图像的序列号之间的第一差值。例如，一般情况下，在两个IDR图像之间，需要确定一次第一差值。因为在不同的图像序列，图像之间的POC差值是有可能变化的，所以在遇到IDR图像后，需要重新估计POC差值。

输出图像确定单元，用于根据获取的所述第一差值，确定下一输出图像的序列号。例如，下一帧输出图像的序列号是当前输出图像序列号与第一差值之和。

序列号差值更新单元，用于等待解码图像缓存区被填满后，按照图像序列号升序排列所述解码图像缓存区的所有图像，并计算相邻图像序列号之间的差值，当差值中奇数值大于等于偶数值，则所述第一差值为1；当差值中偶数值大于奇数值，则所述第一差值为2。

判断单元，用于判断所述解码图像缓存区中未输出图像的数量是否大于参考帧个数，当未输出图像的数量大于参考帧个数且此前接收到即时解码刷新图像后还未重新确定所述第一差值，触发序列号差值更新单元的工作。

和/或判断单元，用于判断所述解码图像缓存区中未输出图像的数量是否大于参考帧个数，当未输出图像的数量大于参考帧个数时，用于触发序列号差值获取单元和输出图像确定单元的工作。

可选地，图像输出装置还包括图像输出单元，用于当未输出图像的数量大于参考帧个数时，输出解码图像缓存区中图像序列号最小的图像，并根据所述输出图像确定单元确定的下一帧输出图像的序列号，将所述下一输出图像的序列号对应的图像输出。

可选地，图像输出单元，还用于当未输出图像的数量不大于参考帧个数时，根据下一输出图像的序列号，将所述下一输出图像的序列号对应的图像输出。

当解码图像缓存区中存在所述下一输出图像的序列号对应的图像，则所述图像输出单元输出所述下一输出图像的序列号对应的图像，直至下一输出图像的序列号对应的图像未存储于所述解码图像缓存区。当解码图像缓存区中未存储所述下一输出图像的序列号对应的图像，则从所述解码图像缓存区删除已输出非参考帧。

本发明一实施方式提供了一种解码器，包括本发明各个实施方式提供的图像输出装置。

图5是本发明提供的图像输出方法的一实施例中的方法示意图。一种图像输出方法，包括步骤S410和步骤S420。

步骤S410，序列号差值获取步骤，用于获取顺次输出的图像的序列号之间的第一差值。例如，一般情况下，在两个IDR图像之间，需要确定一次第一差值。因为在不同的图像序列，图像之间的POC差值是有可能变化的，所以在遇到IDR图像后，需要重新估计POC差值。

步骤S420，输出图像确定步骤，用于根据获取的所述第一差值，确定下一输出图像的序列号。例如，下一输出图像的序列号是当前输出图像序列号与第一差值之和。

可选地，图像输出方法还可以包括序列号差值更新步骤，用于等待解码图像缓存区被填满后，按照图像序列号升序排列所述解码图像缓存区的所有图像，并计算相邻图像序列号之间的差值，当差值中奇数值大于等于偶数值，则所述第一差值为1。

可选地，图像输出方法还可以包括判断步骤，用于判断所述解码图像缓存区中未输出图像的数量是否大于参考帧个数，当未输出图像的数量大于参考帧个数且此前接收到即时解码刷新图像后还未重新确定所述第一差值，执行序列号差值更新步骤。

和/或判断步骤，用于判断所述解码图像缓存区中未输出图像的数量是否大于参考帧个数，当未输出图像的数量大于参考帧个数时，执行所述序列号差值获取步骤和所述输出图像确定步骤。

可选地，图像输出方法还可以包括图像输出步骤，用于当未输出图像的数量大于参考帧个数时，输出解码图像缓存区中图像序列号最小的图像，并根据所述输出图像确定步骤确定的下一输出图像的序列号，将所述下一输出图像的序列号对应的图像输出。

可选地，图像输出方法还可以包括图像输出步骤，还用于当未输出图像的数量不大于参考帧个数时，根据下一输出图像的序列号，将所述下一输出图像的序列号对应的图像输出。

当解码图像缓存区中存在所述下一输出图像的序列号对应的图像，则所述图像输出步骤输出所述下一输出图像的序列号对应的图像，直至下一输出图像的序列号对应的图像未存储于所述解码图像缓存区；当解码图像缓存区中未存储所述下一输出图像的序列号对应的图像，则从所述解码图像缓存区删除已输出非参考帧。

图6是本发明提供的图像输出方法的一实施例中的方法流程图。

流程开始，先判断是否是IDR图像，如果是IDR图像，则将DPB中所有图像都输出,然后清空缓冲区。不同的图像序列，图像之间的POC差值是有可能变化的，所以在遇到IDR图像后，都需要置位估计POC差值Flag(即令估计POC差值Flag变量为True)和设置next_poc(该参数用于记录下一输出图像的序列号)为-1。

如果当前图像不是IDR图像，则判断DPB中标定为“未输出”的图像数量是否大于DPB中参考帧个数。

如果条件成立，先判断是否需要重新估计POC差值，当估计POC差值Flag变量为True时，表示需要重新估计POC差值，此时代表收到之前的IDR图像后还未估计过POC差值。当估计POC差值Flag变量为NOT True时，则不需要重新估计POC差值。

如果需要重新估计POC差值，则先等DPB满，按POC升序DPB中所有图像，然后计算图像之间POC差值，如果奇数值多，则认为POC差值(即第一差值)gap为1；如果偶数值多，则认为POC差值gap为2；最后清除估计POC差值Flag(即令估计POC差值Flag变量为NOT TURE)。等DPB满才开始估计POC差值，能够提高最终估算出的结果正确性。

如果不需要估计POC差值，则输出DPB中POC最小的图像，然后设置下一输出图像的POC值：next_poc＝cur_poc+gap，其中next_poc为下一输出图像的序列号，cur_poc为当前输出图像的序列号，gap为第一差值；按照next_poc值继续寻找图像,如果存在将其输出,设置设置下一输出图像的POC值next_poc，循环下去,直到DPB中不存在此图像。

如果DPB中标定为“未输出”的图像数量小于DPB中参考帧个数，按照next_poc值寻找图像,如果存在将其输出,设置设置下一输出图像的POC值next_poc，循环下去,直到DPB中不存在此图像。最后从DPB中删除已输出非参考帧。

本发明的方案，能够在内存比较小的系统支持1080P30H.264高清解码，节省产品成本；另外，能够实现解码后的图像快速重排序输出，改善视频播放流畅度。

本文中所描述的功能可在硬件、由处理器执行的软件、固件或其任何组合中实施。如果在由处理器执行的软件中实施，那么可将功能作为一或多个指令或代码存储于计算机可读媒体上或经由计算机可读媒体予以传输。其它实例及实施方案在本发明及所附权利要求书的范围及精神内。举例来说，归因于软件的性质，上文所描述的功能可使用由处理器、硬件、固件、硬连线或这些中的任何者的组合执行的软件实施。此外，各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为控制装置的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (15)

1.一种图像输出装置，其特征在于，包括：

序列号差值获取单元，用于获取顺次输出的图像的序列号之间的第一差值；

输出图像确定单元，用于根据获取的所述第一差值，确定下一输出图像的序列号。

2.根据权利要求1的装置，其特征在于，还包括：序列号差值更新单元，用于等待解码图像缓存区被填满后，按照图像序列号升序排列所述解码图像缓存区的所有图像，并计算相邻图像序列号之间的差值，当差值中奇数值大于等于偶数值，则所述第一差值为1；当差值中偶数值大于奇数值，则所述第一差值为2。

3.根据权利要求2所述的装置，其特征在于，还包括判断单元，用于判断所述解码图像缓存区中未输出图像的数量是否大于参考帧个数，当未输出图像的数量大于参考帧个数且此前接收到即时解码刷新图像后还未重新确定所述第一差值，触发序列号差值更新单元的工作。

4.根据权利要求1或2所述的装置，其特征在于，还包括判断单元，用于判断所述解码图像缓存区中未输出图像的数量是否大于参考帧个数，当未输出图像的数量大于参考帧个数时，用于触发所述序列号差值获取单元和所述输出图像确定单元的工作。

5.根据权利要求4所述的装置，其特征在于，还包括图像输出单元，用于当未输出图像的数量大于参考帧个数时，输出解码图像缓存区中图像序列号最小的图像，并根据所述输出图像确定单元确定的下一输出图像的序列号，将所述下一输出图像的序列号对应的图像输出。

6.根据权利要求4或5所述的装置，其特征在于，还包括图像输出单元，用于当未输出图像的数量不大于参考帧个数时，根据下一输出图像的序列号，将所述下一输出图像的序列号对应的图像输出。

7.根据权利要求5或6所述的装置，其特征在于，当解码图像缓存区中存在所述下一输出图像的序列号对应的图像，则所述图像输出单元输出所述下一输出图像的序列号对应的图像，直至下一输出图像的序列号对应的图像未存储于所述解码图像缓存区；

当解码图像缓存区中未存储所述下一输出图像的序列号对应的图像，则从所述解码图像缓存区删除已输出非参考帧。

8.一种解码器，其特征包括，如权利要求1-7任一所述的图像输出装置。

9.一种图像输出方法，其特征在于，包括：

序列号差值获取步骤，用于获取顺次输出的图像的序列号之间的第一差值；

输出图像确定步骤，用于根据获取的所述第一差值，确定下一输出图像的序列号。

10.根据权利要求9的方法，其特征在于，还包括：序列号差值更新步骤，用于等待解码图像缓存区被填满后，按照图像序列号升序排列所述解码图像缓存区的所有图像，并计算相邻图像序列号之间的差值，当差值中奇数值大于等于偶数值，则所述第一差值为1；当差值中偶数值大于奇数值，则所述第一差值为2。

11.根据权利要求10所述的方法，其特征在于，还包括判断步骤，用于判断所述解码图像缓存区中未输出图像的数量是否大于参考帧个数，当未输出图像的数量大于参考帧个数且此前接收到即时解码刷新图像后还未重新确定所述第一差值，执行序列号差值更新步骤。

12.根据权利要求9或10所述的方法，其特征在于，还包括判断步骤，用于判断所述解码图像缓存区中未输出图像的数量是否大于参考帧个数，当未输出图像的数量大于参考帧个数时，执行所述序列号差值获取步骤和所述输出图像确定步骤。

13.根据权利要求12所述的方法，其特征在于，还包括图像输出步骤，用于当未输出图像的数量大于参考帧个数时，输出解码图像缓存区中图像序列号最小的图像，并根据所述输出图像确定步骤确定的下一输出图像的序列号，将所述下一输出图像的序列号对应的图像输出。

14.根据权利要求12或13所述的方法，其特征在于，还包括图像输出步骤，还用于当未输出图像的数量不大于参考帧个数时，根据下一输出图像的序列号，将所述下一输出图像的序列号对应的图像输出。

15.根据权利要求13或14所述的方法，其特征在于，当解码图像缓存区中存在所述下一输出图像的序列号对应的图像，则所述图像输出步骤输出所述下一输出图像的序列号对应的图像，直至下一输出图像的序列号对应的图像未存储于所述解码图像缓存区；

当解码图像缓存区中未存储所述下一输出图像的序列号对应的图像，则从所述解码图像缓存区删除已输出非参考帧。