CN112887731B - 压缩码流取流方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及计算机多媒体设备控制技术领域，尤其涉及压缩码流取流方法、装置、电子设备及存储介质，该方法包括：在接收到开窗或切源信令时，根据信令携带的窗口参数计算窗口跨越的解码器个数；根据主解码器的屏组标识和窗口标识，统计所有屏组标识和窗口标识对应的解码器上报个数；判断所统计的解码器上报个数和窗口跨越的解码器个数是否相同，在相同时，上报包含屏组标识、窗口标识和视频输出指令的信息；当多个目标解码器接收到所述视频输出指令以及视频数据时，同步进行所述视频数据的输出。从而解决了当视频源切换时，视频流解码成功后和新的视频流同步输出，不需要设置静帧时间，解决大屏卡顿问题，提升用户体验。

Description

压缩码流取流方法、装置、电子设备及存储介质

技术领域

本申请涉及视频图像处理技术领域，具体涉及一种压缩码流取流方法、装置、电子设备及计算机可读存储介质。

背景技术

在现有的信号源跨屏开窗技术中，为了使同一视频窗口能够在多个输出屏上同时显示画面，使用了输出画面静帧的方式，也就是在执行开窗动作时，所有的解码器同时静止一个固定的帧数后，再同时输出到屏幕。静帧是为了等待每个解码器，在静帧时间内可以解出码流。

但这种方式无法判断所有的解码器是否都已经解出了视频流，而会使用一个较长的静帧时间，因此每次在执行开窗、切源等动作时，显示界面都会出现卡顿情况。

发明内容

本申请实施例提供了一种压缩码流取流方法，用以解决显示界面卡顿的问题。

本申请实施例提供了一种压缩码流取流方法，多个目标解码器构成组播组合，所述多个目标解码器分为主解码器和从解码器；所述方法包括：

在接收到开窗或切源信令时，根据所述信令携带的窗口参数计算窗口跨越的解码器个数；

根据所述主解码器的屏组标识和窗口标识，统计所述屏组标识和窗口标识对应的解码器上报个数；其中，每个目标解码器在从编码器获得视频流后，会上报自身所在的屏组标识和窗口标识；

判断所述解码器上报个数和所述窗口跨越的解码器个数是否相同，在相同时，上报包含所述屏组标识、窗口标识和视频输出指令的信息；

当所述多个目标解码器接收到所述视频输出指令以及视频数据时，同步进行所述视频数据的输出。

在一实施例中，所述窗口参数包括窗口起始位置和窗口宽高信息；所述根据所述信令携带的窗口参数计算窗口跨越的解码器个数，包括：

接收每个目标解码器的位置信息；

根据所述窗口起始位置、窗口宽高信息以及所述每个目标解码器的位置信息，确定所述窗口跨越的解码器个数。

在一实施例中，所述统计所述屏组标识和窗口标识对应的解码器上报个数，包括：

根据每个所述从解码器上报的自身所在的屏组标识和窗口标识，将与主解码器的屏组标识和窗口标识不匹配的上报数据进行去除；

统计剩余的上报数据对应的解码器个数，得到所述解码器上报个数。

在一实施例中，所述判断所述解码器上报个数和所述窗口跨越的解码器个数是否相同，所述方法还包括：

若所述解码器上报个数和所述窗口跨越的解码器个数相同时，上报包含所述屏组标识、窗口标识和视频输出指令的信息；

若所述解码器上报个数和所述窗口跨越的解码器个数不相同时，则存在至少一个目标解码器解码失败，启动超时机制。

在一实施例中，所述启动超时机制，包括：

控制解码成功的目标解码器等待预设时间，若预设时间后所述解码器上报个数和所述窗口跨越的解码器个数仍不相同，通过主解码器发出视频输出指令，控制成功解码的目标解码器同步输出视频数据。

本申请还提供一种压缩码流取流方法，当所述多个目标解码器接收到所述视频输出指令以及视频数据，所述方法还包括：

若所述信令为开窗信令，在下个输出指令到来的同时，各目标解码器同步将新窗口进行输出；

若所述信令为切源信令，在所述视频数据输出的同时，关闭原有的视频流。

本申请实施例提供了一种压缩码流取流装置，多个目标解码器构成组播组合，所述多个目标解码器分为主解码器和从解码器；所述装置包括：

个数计算模块，用于在接收到开窗或切源信令时，根据所述信令携带的窗口参数计算窗口跨越的解码器个数；

个数统计模块，用于根据所述主解码器的屏组标识和窗口标识，统计所述屏组标识和窗口标识对应的解码器上报个数；其中，每个目标解码器在从编码器获得视频流后，会上报自身所在的屏组标识和窗口标识；

个数判断模块，用于判断所述解码器上报个数和所述窗口跨越的解码器个数是否相同，在相同时，上报包含所述屏组标识、窗口标识和视频输出指令的信息；

视频输出模块，用于当所述多个目标解码器接收到所述视频输出指令以及视频数据时，同步进行所述视频数据的输出。

本申请实施例提供了一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述压缩码流取流方法。

本申请实施例提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述压缩码流取流方法。

本申请实施例提供了一种压缩码流取流方法。具备以下有益效果：本发明把多个目标解码器以组播组合的形式关联，指定主、从解码器，在接收到视频信号源的开窗、切源信号时，通过对解码器上报个数和窗口跨越的解码器个数的匹配判断，来确定是否所有的解码器都已经解出了视频流，在个数相同时，表示所有解码器均解出了视频流，上报视频输出指令，所有解码器在接收到视频输出指令和视频数据后，同步进行视频数据输出，从而无需设置较长的静帧时间，解决了显示页面卡顿的问题，提升用户体验。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。

图1为本申请一实施例提供的应用场景示意图；

图2为本申请一实施例提供的电子设备结构示意图；

图3为本申请一实施例提供压缩码流取流方法的流程示意图；

图4为本申请实施例提供的系统时序图；

图5为本申请实施例提供的框架示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。

需要说明的是，在本申请实施例中相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1是本申请实施例提供的压缩码流取流方法的应用场景示意图。如图1所示，该应用场景包括：上位机110以及包含多个解码器的电子设备120，多个解码器中其中一个解码器可以作为主解码器121，其他解码器作为从解码器122。多个解码器构成组播组合。电子设备120可以执行本申请实施例提供的压缩码流取流方法。电子设备120可以电视机、显示器。

图2是本申请实施例提供的电子设备的结构示意图。该电子设备120可以包括处理器212以及用于存储处理器可执行指令的存储器211；其中，所述处理器212被配置为本申请实施例提供的压缩码流取流方法。

处理器212可以是包含中央处理单元(CPU)、图像处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子设备中的其它组件的数据进行处理，还可以控制所述电子设备中的其它组件以执行期望的功能。

存储器211可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

本申请还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器212执行以完成本申请实施例提供的压缩码流取流方法。

图3是本申请实施例提供的一种压缩码流取流方法的流程示意图。多个目标解码器构成组播组合，所述多个目标解码器分为主解码器121和从解码器122。为进行区分，每个解码器可以称为目标解码器，指定其中一个解码器为主解码器121，其余解码器为从解码器122。该方法可以由上述电子设备执行，该方法包括以下步骤S310-步骤S340。

步骤S310：在接收到开窗或切源信令时，根据所述信令携带的窗口参数计算窗口跨越的解码器个数。

其中，开窗信令是指上位机110下发到各解码器，要求对应目标解码器播放视频流的信号，包含窗口参数；

切源信令是指上位机110下发到各解码器，要求对应目标解码器关闭原视频流的信号播放新的视频流，包含窗口参数；

窗口参数是指上位机下发到各解码器，需要输出视频信号的窗口位置信息，包括窗口起始位置和窗口宽高信息。

在一实施例中，上位机110将屏组参数数据下发到各个目标解码器，包括屏组分辨率信息，屏组解码器个数信息，解码器相对屏组的位置信息；建立一个组播，所有解码器均加入这个组播；指定一个主解码器121，指定其他解码器为从解码器122；启动所有解码器，并使解码器监听组播信息。

其中，所述的组播信息指上位机110下发到各解码器的屏组参数。

在收到开窗或切源信令后保持原有状态不变，并通过窗口参数计算窗口跨越的解码器个数。

在一实施例中，窗口参数包括窗口起始位置和窗口宽高信息。上述步骤S310具体包括：接收每个目标解码器的位置信息；根据窗口起始位置、窗口宽高信息以及每个目标解码器的位置信息，确定窗口跨越的解码器个数。

其中，目标解码器的位置信息可以是目标解码器对应区域的坐标。窗口起始位置是窗口的顶点坐标。窗口宽高信息包含窗口的宽度和高度。由此根据窗口起始位置和窗口宽高信息可以确定窗口的位置。基于每个目标解码器的位置，可以确定窗口包含的解码器个数。

在一实施例中，可以根据所述窗口起始位置、窗口横向宽度和每个目标解码器的位置信息，确定窗口横向跨越的解码器个数。根据所述窗口起始位置、窗口纵向高度和每个目标解码器的位置信息，确定窗口纵向跨越的解码器个数。根据所述窗口横向跨越的解码器个数和窗口纵向跨越的解码器个数，确定所述窗口跨越的解码器个数。

在一实施例中，在所述目标解码器接收到开窗或切源信令后，对于横向来说，定义窗口的起点记为1，起点加上宽度大于相邻解码器的右边界则记为2，若大于下一个相邻解码器的右边界这记为3，以此类推可计算出横向个数。对于纵向来说，可以使用相同的方法计算，最后使横向个数和纵向个数相乘可计算出窗口内存在的目标解码器的总个数。

步骤S320：根据所述主解码器121的屏组标识和窗口标识，统计所述屏组标识和窗口标识对应的解码器上报个数；其中，每个目标解码器在从编码器获得视频流后，会上报自身所在的屏组标识和窗口标识。

屏组标识是指多个小屏幕构成的大屏幕的编号、名称等，用于区分不同的屏组。

窗口标识是指窗口的名称或编号，用于区分不同的窗口。

在一实施例中，当有视频流信息输入时，每个解码器会通过rtsp的方式向编码器获取视频流，解出视频流信息，并将解码器自身所在的屏组标识和窗口标识等信息进行封装，通过一定的数据格式上报到指定组播地址。

在一实施例中，主解码器121可以根据每个从解码器122上报的自身所在的屏组标识和窗口标识，将与主解码器121的屏组标识和窗口标识不匹配的上报数据进行去除。上报数据可以包括屏组标识和窗口标识。统计剩余的上报数据对应的解码器个数，得到所述解码器上报个数。

主解码器121会根据所有解码器上报的屏组标识和窗口标识，对上报的信息进行处理过滤。具体的，将与主解码器121上报的屏组标识和窗口标识不相同的解码器数据直接丢弃。与主解码器121屏组标识和窗口标识相同的解码器数据在存储器中进行统计记录。

步骤S330：判断所述解码器上报个数和所述窗口跨越的解码器个数是否相同，在相同时，上报包含所述屏组标识、窗口标识和视频输出指令的信息。

根据主解码器处理后存储器211中存储的上报信息，对解码器最终上报的个数进行统计，判断所述解码器上报个数和所述窗口跨越的解码器个数是否相同；

若所述解码器上报个数和所述窗口跨越的解码器个数相同时，主解码器121上报包含所述屏组标识、窗口标识和视频输出指令的信息到组播地址中；

若所述解码器上报个数和所述窗口跨越的解码器个数不相同，则存在至少一个目标解码器解码失败，启动超时机制。

具体的，所述启动超时机制，包括：控制解码成功的目标解码器等待预设时间，若预设时间后所述解码器上报个数和所述窗口跨越的解码器个数仍不相同，通过主解码器121发出视频输出指令，控制成功解码的目标解码器同步输出视频数据。

步骤S340：当所述多个目标解码器接收到所述视频输出指令以及视频数据时，同步进行所述视频数据的输出。

所述的视频数据是指解码得到的视频流。

在一实施例中，在解码器上报个数和所述窗口跨越的解码器个数判断相同之后，主解码器121上报包含所述屏组标识、窗口标识和视频输出指令的信息到组播地址，目标解码器接收到视频输出指令，各目标解码器同步将进行视频数据的输出。

在一实施例中，若步骤S310接收到的是切源信令，输出视频数据的同时，还需将原有的视频流进行关闭。

通过本申请压缩码流取流的方法实施例，在进行开窗和切源时，新的视频流信号解码成功之前，不影响操作之前的画面正常输出，当新的窗口解码成功后再统一进行输出，做到了开窗和切源操作与原有窗口之间的切换无过渡态效果，不需要设置静帧时间，大大提升使用体验。

整个方法的核心点在于：数据同步使用组播方式，所有解码器成功解码后立即同步输出，提升上屏速度；各个解码器以主从方式协调工作，无需人为配置静帧时间。

图4为本申请另一实施例示出的一种压缩码流取流方法的时序图，如图4所示，包括以下过程：

S1：上位机将屏组参数数据下发到各个解码器，包括屏组分辨率信息，屏组解码器个数信息，解码器相对屏组的位置信息；

S2：建立一个组播，所有解码器均加入这个组播；

S3：指定一个主解码器，指定其他解码器为从解码器；

S4：启动所有解码器，并使解码器监听组播信息(即屏组参数)，在收到开窗或切源信令后保持原有状态不变，并通过窗口参数计算窗口跨越的解码器个数，具体的：

开窗或切源时可以拿到窗口相对于屏组的起始位置和宽高信息，对于横向来说，窗口的起点记为1，起点加上宽度大于解码器的右边界则记为2，若大于下一个解码器的右边界这记为3，以此类推可计算出横向个数，纵向可使用相同的方法，最后使用横向个数乘纵向个数可计算出窗口内存在的解码器总个数；

S5：每个解码器通过rtsp方式向编码器获取视频流，解出视频流后，将自己所在的屏组id，窗口id等信息进行封装，通过一定的数据格式发送到组播地址；

S6：主解码器获取组播中所有解码信息，并对每个同窗口解码器上报的数据进行过滤和统计，将与自己的屏组id以及窗口id不相同的数据直接丢弃，与自己相关的则在内存中进行统计记录，判断所记录的上报总个数与窗口跨越解码器的个数是否相同；

S7：相同时，将屏组id，窗口id，以及视频输出指令封装后发送组播地址，各解码器监听组播，当收到输出视频输出指令后，在下一个输出信号(即视频流)到来时，各解码器同步将新的窗口进行输出，若是切源动作，输出的同时，还需将原有的视频流进行关闭；

S8：若上报总个数与窗口跨越解码器的个数不相同，也就是窗口内有解码器解码失败，此时启动超时机制，指定解码成功的解码器等待预设时间，如果上报总个数与窗口跨越解码器的个数仍不相同，主解码器发送视频输出指令到成功解码的解码器，使已经成功解码的解码器同步输出图像到大屏。

下述为本申请装置实施例，可以用于执行本申请上述压缩码流取流的方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请压缩码流取流的方法的实施例。

图5为本申请一实施例示出一种压缩码流取流装置的框架示意图，所述装置包括：

个数计算模块410，用于在接收到开窗或切源信令时，根据所述信令携带的窗口参数计算窗口跨越的解码器个数；

个数统计模块420，用于根据所述主解码器的屏组标识和窗口标识，统计所述屏组标识和窗口标识对应的解码器上报个数；其中，每个目标解码器在从编码器获得视频流后，会上报自身所在的屏组标识和窗口标识；

个数判断模块430，用于判断所述解码器上报个数和所述窗口跨越的解码器个数是否相同，在相同时，上报包含所述屏组标识、窗口标识和视频输出指令的信息；

视频输出模块440，用于当所述多个目标解码器接收到所述视频输出指令以及视频数据时，同步进行所述视频数据的输出。

上述方法中各个模块的功能和作用的实现过程具体详见上述一种压缩码流取流方法中对应步骤的实现过程，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (9)

1.一种压缩码流取流方法，其特征在于，多个目标解码器构成组播组合，所述多个目标解码器分为主解码器和从解码器；所述方法包括：

在接收到开窗或切源信令时，根据所述信令携带的窗口参数计算窗口跨越的解码器个数；

根据所述主解码器的屏组标识和窗口标识，统计所述屏组标识和窗口标识对应的解码器上报个数；其中，每个目标解码器在从编码器获得视频流后，会上报自身所在的屏组标识和窗口标识；其中，每个目标解码器在从编码器获得视频流后，会上报自身所在的屏组标识和窗口标识，具体包括：每个目标解码器在从编码器获得视频流，并解出视频流信息后，会上报自身所在的屏组标识和窗口标识；

判断所述解码器上报个数和所述窗口跨越的解码器个数是否相同，在相同时，上报包含所述屏组标识、窗口标识和视频输出指令的信息；

当所述多个目标解码器接收到所述视频输出指令以及视频数据时，同步进行所述视频数据的输出；

其中，所述统计所述屏组标识和窗口标识对应的解码器上报个数，包括：

根据每个所述从解码器上报的自身所在的屏组标识和窗口标识，将与主解码器的屏组标识和窗口标识不匹配的上报数据进行去除；

统计剩余的上报数据对应的解码器个数，得到所述解码器上报个数。

2.根据权利要求1所述的方法，其特征在于，所述窗口参数包括窗口起始位置和窗口宽高信息；所述根据所述信令携带的窗口参数计算窗口跨越的解码器个数，包括：

接收每个目标解码器的位置信息；

根据所述窗口起始位置、窗口宽高信息以及所述每个目标解码器的位置信息，确定所述窗口跨越的解码器个数。

3.根据权利要求2所述的方法，其特征在于，所述根据所述窗口起始位置、窗口宽高信息以及所述每个目标解码器的位置信息，确定所述窗口跨越的解码器个数，包括：

根据所述窗口起始位置、窗口横向宽度和每个目标解码器的位置信息，确定窗口横向跨越的解码器个数；

根据所述窗口起始位置、窗口纵向高度和每个目标解码器的位置信息，确定窗口纵向跨越的解码器个数；

根据所述窗口横向跨越的解码器个数和窗口纵向跨越的解码器个数，确定所述窗口跨越的解码器个数。

4.根据权利要求1所述的方法，其特征在于，所述判断所述解码器上报个数和所述窗口跨越的解码器个数是否相同之后，所述方法还包括：

若所述解码器上报个数和所述窗口跨越的解码器个数不相同，则存在至少一个目标解码器解码失败，启动超时机制。

5.根据权利要求4所述的方法，其特征在于，所述启动超时机制，包括：

控制解码成功的目标解码器等待预设时间，若预设时间后所述解码器上报个数和所述窗口跨越的解码器个数仍不相同，通过主解码器发出视频输出指令，控制成功解码的目标解码器同步输出视频数据。

6.根据权利要求1所述的方法，其特征在于，若所述信令为切源信令，所述视频数据的输出还包括：

在所述视频数据的输出同时，关闭原有的视频流。

7.一种压缩码流取流装置，其特征在于，多个目标解码器构成组播组合，所述多个目标解码器分为主解码器和从解码器；所述装置包括：

个数计算模块，用于在接收到开窗或切源信令时，根据所述信令携带的窗口参数计算窗口跨越的解码器个数；

个数统计模块，用于根据所述主解码器的屏组标识和窗口标识，统计所述屏组标识和窗口标识对应的解码器上报个数；其中，每个目标解码器在从编码器获得视频流后，会上报自身所在的屏组标识和窗口标识；其中，每个目标解码器在从编码器获得视频流后，会上报自身所在的屏组标识和窗口标识，具体包括：每个目标解码器在从编码器获得视频流，并解出视频流信息后，会上报自身所在的屏组标识和窗口标识

个数判断模块，用于判断所述解码器上报个数和所述窗口跨越的解码器个数是否相同，在相同时，上报包含所述屏组标识、窗口标识和视频输出指令的信息；

视频输出模块，用于当所述多个目标解码器接收到所述视频输出指令以及视频数据时，同步进行所述视频数据的输出；

其中，所述统计所述屏组标识和窗口标识对应的解码器上报个数，包括：

根据每个所述从解码器上报的自身所在的屏组标识和窗口标识，将与主解码器的屏组标识和窗口标识不匹配的上报数据进行去除；

统计剩余的上报数据对应的解码器个数，得到所述解码器上报个数。

8.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-6任意一项所述的压缩码流取流方法。

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-6任意一项所述的压缩码流取流方法。

Images