CN115942056A - 远程庭审中的视频轮播方法、装置、设备及可读存储介质 - Google Patents

Abstract

本申请提供一种远程庭审中的视频轮播方法、装置、设备及计算机可读存储介质。所述方法应用于服务器，包括：获取对应于法庭本地和多个当事人客户端的视频流数据；按照处理周期，周期性地从获取的所有视频流数据中选取待播放的视频流，其中，每一处理周期选取的视频流数据包括：固定选取对应于所述法庭本地的视频流数据和部分选取对应于所述当事人客户端的视频流数据，并保证在预设次数的处理周期中，所有对应于所述当事人客户端的视频流数据至少被选取一次；对选取的所述待播放的视频流进行解码，并拼接成待播放的视频矩阵；对所述待播放的视频矩阵进行播放。

Description

远程庭审中的视频轮播方法、装置、设备及可读存储介质

技术领域

本申请涉及视频轮播领域，特别涉及一种远程庭审中的视频轮播方法、装置、设备及计算机可读存储介质。

背景技术

很多情况下，当事人并不能进入法院现场，通过远程音视频交互以进行远程庭审的变得越来越普遍。

为支持远程庭审，法院在庭审现场部署有庭审主机，该庭审主机用于接入多个远程当事人的音视频信号以及法庭本地的音视频信号，并拼接成一个视频矩阵以进行播放。

然而，当前的庭审主机支持的视频并发路数有限，在庭审规模较大，参与庭审的人数较多时，庭审主机无法支持对多路视频的同时解码。庭审主机对视频解码的性能压力随着当事人人数的增加而增加。

同时，庭审主机用于播放的显示画面有限，即便将多路视频整合拼接为一路视频矩阵进行播放，可能会出现每一路视频仅能占据显示画面的一小个窗口，即画面布局不协调，且难以分辨。

发明内容

为克服相关技术中存在的问题，本申请提供了一种远程庭审中的视频轮播方法、装置、设备及计算机可读存储介质，能够解决上述问题。

根据本申请实施例的第一方面，提供一种远程庭审中的视频轮播方法，应用于庭审主机，所述方法包括：

获取对应于法庭本地和多个当事人客户端的视频流数据；

按照处理周期，周期性地从获取的所有视频流数据中选取待播放的视频流，其中，每一处理周期选取的视频流数据包括：固定选取对应于所述法庭本地的视频流数据和部分选取对应于所述当事人客户端的视频流数据，并保证在预设次数的处理周期中，所有对应于所述当事人客户端的视频流数据至少被选取一次；

对选取的所述待播放的视频流进行解码，并拼接成待播放的视频矩阵；

对所述待播放的视频矩阵进行播放。

根据本申请实施例的第二方面，提供一种远程庭审中的视频轮播装置，应用于庭审主机，所述装置包括：

获取单元，用于获取对应于法庭本地和多个当事人客户端的视频流数据；

处理单元，用于按照处理周期，周期性地从获取的所有视频流数据中选取待播放的视频流，其中，每一处理周期选取的视频流数据包括：固定选取对应于所述法庭本地的视频流数据和部分选取对应于所述当事人客户端的视频流数据，并保证在预设次数的处理周期中，所有对应于所述当事人客户端的视频流数据至少被选取一次；

解码单元，用于对选取的所述待播放的视频流进行解码，并拼接成待播放的视频矩阵；

播放单元，用于对所述待播放的视频矩阵进行播放。

根据本申请实施例的第三方面，提供一种电子设备，包括：处理器、存储器；

所述存储器，用于存储计算机程序；

所述处理器，用于通过调用所述计算机程序，执行如第一方面所述的远程庭审中的视频轮播方法。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的远程庭审中的视频轮播方法。

本申请的实施例提供的技术方案可以包括以下有益效果：

在面对大规模的远程庭审时，周期性地选取待播放的视频流进行播放，其中选取的视频流包括：固定选取法庭本地的视频流，仅选取部分当事人的视频流数据，同时在预设次数的处理周期中保证所有当事人客户端的视频流数据均被播放过至少一次。一方面，能够避免庭审主机同时对大量的视频流进行解码，缓解庭审主机的性能压力，并在预设次数的处理周期中使所有当事人的视频流都至少播放一次。另一方面，能够使庭审主机的显示画面中的布局更加协调，不会有太多视频窗口挤在有限的显示画面中，以及对远程庭审场景中更为重要且路数有限的法庭本地的视频流进行固定播放。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本申请的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本申请根据一示例性实施例示出的一种远程庭审系统的架构示意图。

图2是本申请根据一示例性实施例示出的一种显示画面的布局示意图。

图3是本申请根据一示例性实施例示出的一种远程庭审中的视频轮播方法的示意流程图。

图4是本申请根据一示例性实施例示出的一种视频矩阵示意图。

图5是本申请根据一示例性实施例示出的一种待播放的视频矩阵的示意图。

图6是本申请根据一示例性实施例示出的一种任一视频流被选取解码时的示意图。

图7是本申请根据一示例性实施例示出的一种对当事人端的视频流数据的选取方式的示意图。

图8是本申请根据一示例性实施例示出的一种远程庭审中的视频轮播装置所在电子设备的结构示意图。

图9是本申请根据一示例性实施例示出的一种远程庭审中的视频轮播装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

如图1所示，图1是根据本申请的实施例示出的一种远程庭审系统的架构示意图，所述远程庭审系统包括：

当事人客户端101，用于采集当事人端的音视频数据形成音视频流，并发送给互联网端。

互联网端102，用于将多个当事人客户端发送的多个音视频流，发送至庭审服务端。

庭审服务端103，用于接收互联网端发送的多个当事人客户端的音视频流，并将对应庭审的多个当事人客户端的音视频流转发至对应庭审现场的庭审主机。

庭审主机104，部署于法院的庭审现场，接收庭审服务端发送的音视频流，并对接收的音视频流进行解码后，在庭审现场进行播放，以使未能出席庭审现场的多个当事人，也能够参与庭审。

法院为同时进行不同的庭审，往往会准备多个庭审主机。

然而，相关技术中，一次庭审往往配备一台庭审主机。庭审主机需接收本次庭审的所有音视频流，并进行解码以供播放，当参与庭审的人数较多时，会对庭审主机带来较大的性能压力。

相关技术中，也可以由互联网端将本次庭审的所有当事人音视频流数据进行混流处理，将对应的音视频混流形成音视频矩阵，即各当事人客户端的音视频占据该音视频矩阵中的部分显示窗口，随后将该音视频矩阵的数据流发送至庭审服务端，再发送至庭审主机，从而缓解庭审主机对大量音视频流的编解码压力。然而，庭审主机的显示画面有限，若参与远程庭审的当事人客户端数量较多，则互联网端形成的音视频矩阵中，各当事人客户端所占据的显示窗口面积就会较小，使得在庭审主机上的最终显示画面的布局不协调，导致当事人画面难以看清，如图2所示。

因此，为解决上述问题，本申请提出了一种远程庭审中的视频轮播方法。

图3是根据本申请的实施例示出的一种远程庭审中的视频轮播方法的示意流程图，所述方法由庭审主机104执行，所述方法包括：

S301：获取对应于法庭本地和多个当事人客户端的视频流数据；

S302：按照处理周期，周期性地从获取的所有视频流数据中选取待播放的视频流，其中，每一处理周期选取的视频流数据包括：固定选取对应于所述法庭本地的视频流数据和部分选取对应于所述当事人客户端的视频流数据，并保证在预设次数的处理周期中，所有对应于所述当事人客户端的视频流数据至少被选取一次；

S303：对选取的所述待播放的视频流进行解码，并拼接成待播放的视频矩阵；

S304：对所述待播放的视频矩阵进行播放。

在一实施例中，庭审主机可以具有音频和视频采集功能，获取法庭本地和多个当事人客户端的视频流数据，可以是由庭审主机采集法庭本地的视频流数据，并从庭审服务端获取多个当事人客户端的视频流数据；也可以是从庭审服务端获取法庭本地和多个当事人客户端的视频流数据。本申请实际对此并不做出限制。

在一实施例中，庭审主机中会预设处理周期，随后周期性地从获取的所有视频流数据中选取待播放的视频流，使得在每一个处理周期中，只对选定的部分视频流数据进行编解码，以减缓因当事人数量较多、庭审主机需解码的视频流较大，导致庭审主机的性能压力较大的问题。

在一实施例中，被选取的视频流数据包括固定选取的法庭本地的视频流数据。法庭本地的视频流数据可以包括法官端视频流数据、书记员端视频流数据、原告席的视频流数据和被告席的视频流数据，相比于众多当事人客户端的视频流数据，一般情况下，法庭本地的视频流数据更为重要，也是参与庭审的人员更关注的内容，因此将法庭本地的视频流数据进行固定选取并播放，更符合庭审现场的实际需求。

在一实施例中，被选取的视频流数据包括对应于所述当事人客户端的部分视频流数据，并保证在预设次数的处理周期中，所有对应于所述当事人客户端的视频流数据至少被选取一次，使得庭审主机在每一处理周期中，不需对所有的当事人客户端的视频流数据进行处理，而是仅处理其中的部分视频流数据，大大减轻了庭审主机的性能压力，并且保证经过预设次数的处理周期后，任一当事人客户端都已至少被选取过一次，进而满足对所有当事人客户端的视频流数据的展示需求。

在一实施例中，庭审主机可以将选取的待播放的视频流数据进行解码，并将解码后的视频流拼接成待播放的视频矩阵，并对该待播放的视频矩阵进行播放。其中，可以是庭审主机通过配备的显示屏幕对待播放的视频矩阵进行播放，也可以是通过庭审主机将处理后的待播放的视频矩阵发送至关联的显示设备以进行播放。

参见图4，图4为本申请一实施例中的视频矩阵示意图。可见，第一处理周期中，选取了固定4路的法庭本地1-4的视频流，并选取了对应当事人客户端1-5的视频流，并对共9路的视频流进行解码并拼接形成视频矩阵以进行播放；第二处理周期中，依然选取了固定4路的法庭本地1-4的视频流，但选取了不同于第一处理周期的当事人客户端6-10的视频流，并解码拼接形成视频矩阵以进行播放。如图4所示，在面对有大量当事人客户端参与庭审的情况下，庭审主机在每个处理周期中仅需对选取的其中部分视频流数据进行解码，并形成对应的视频矩阵，以避免因解码大量视频流数据带来的性能压力，同时也使得显示画面的布局更合理，每路视频流均可占用一定大小的窗口，避免同时显示的视频流路数太多导致无法清晰辨认，另一方面，法庭本地的视频流的固定播放，也可满足庭审的实际需求。需说明的是，图4仅为一个示例性的实施例，本申请实际上对此并不做出限制，待播放矩阵中各视频流窗口的数量、大小均可进行设置与改动。

本申请按照处理周期，从获取的所有视频流数据中选取待播放的视频流，并保证每一处理周期选取的数据中，都包括固定选取的法庭本地的视频流数据以及部分选取的当事人客户端的视频流数据，使得庭审主机能够减少在同一时间需要进行编解码的视频流路数，从而减轻庭审主机的性能压力，并且通过本申请公开的方式选取待播放的视频流，还能够满足在庭审主机上固定显示较为重要的法庭本地的视频流，并在预设次数的选取中，保证所有当事人客户端的视频流数据都被选取并播放至少一次，满足庭审的实际需求。

参见图5，图5为本申请一示例性实施例示出的待播放的视频矩阵。

在一实施例中，所述当事人客户端包括原告客户端和被告客户端，所述待播放的视频矩阵中，包括原告显示区和被告显示区，所述拼接成待播放的视频矩阵，包括：对选取的所述待播放的视频流进行解码，其中，选取的所述待播放的视频流包括原告客户端的视频流和被告客户端的视频流；拼接形成待播放的视频矩阵，使得所述原告客户端的视频流在所述原告显示区，所述被告客户端的视频流在所述被告显示区。庭审主机可以获取当事人客户端的身份，并根据当事人客户端的身份对原告客户端的视频流和被告客户端的视频流分别进行选取、解码并拼接形成视频矩阵。如图5所示，视频矩阵包含固定展示的法庭本地1、2对应的视频流的展示窗口，包含用于展示原告客户端的原告显示区和展示被告客户端的被告显示区，在原告显示区中仅会出现原告客户端对应的音视频流，在被告显示区中仅会出现被告客户端对应的音视频流，因而通过预先设定的原告显示区和被告显示区，使得用户能够仅根据视频流的展示位置，简单直接的区分该视频流对应的当事人的角色。

在一实施例中，所述庭审主机在每一处理周期中，可以分别对所述原告客户端的视频流和所述被告客户端的视频流进行选取。例如图5所示，在第一处理周期中选取原告1-3为在原告显示区显示的视频流，被告1-3为在被告显示区显示的视频流；在第二处理周期中，选取原告4-6为在原告显示区显示的视频流，被告2-4为在被告显示区显示的视频流；进一步地，在另一实施例中，在第二处理周期也可以选取原告4-6在原告显示区显示，而保持被告显示区显示原来的视频流，以满足不同的庭审需求。

在一实施例中，若所述原告客户端和/或被告客户端的视频流数量不大于所述原告显示区和/或被告显示区展示窗口的数量，则固定选取所有的所述原告客户端和/或被告客户端的视频流。当原告客户端和/或被告客户端的数量过大，无法一次性在对应的显示区全部进行显示的情况下，才对数量过大的客户端进行选取，采用轮播；而当原告客户端和被告客户端中任一数量小于对应的显示区的窗口展示数量，则可以对数量小于对应的显示区的窗口展示数量的客户端的视频流全部进行展示。例如，图5中原告显示区和被告显示区均具有3个展示窗口，若庭审主机接收到的原告客户端的视频流数为2，则在每一处理周期中都对这2个原告客户端的视频流进行选取，以在原告显示区展示，也即，当任一客户端视频流的数量不大于对应的显示区域的数量时，不需对该客户端进行轮播。

在一实施例中，其中，对于所述分别对所述原告客户端的视频流和所述被告客户端的视频流进行选取，可以对原告客户端的视频流轮播和被告客户端的视频流轮播分别设置不同的处理周期。例如，针对原告客户端的处理周期为5秒，针对被告客户端的处理周期为8秒，则可以实现原告客户端和被告客户端在不同的处理周期中进行轮播，以实现具体的庭审需求。

在一实施例中，所述待播放的视频矩阵中，各展示区域可以有不同的画面布局占比。进一步地，在另一实施例中，所述视频矩阵中对应法庭本地的视频流的布局占比大于原告显示区，大于被告显示区。进一步地，在另一实施例中，可以在视频矩阵中对所述原告显示区与被告显示区采用不同的标识，以使用户能直观地进行区分。

在一实施例中，所述对所述待播放的视频矩阵进行播放，包括按预设的播放周期对所述待播放的视频矩阵进行播放。在任一待播放的视频矩阵播放时长达到播放周期后，可以对当前待播放的视频矩阵进行切换，以对下一播放周期的待播放的视频矩阵进行播放，以使选取的各处理周期的部分当事人客户端的视频流，都能拥有相同时长的播放时间。例如，播放周期为10秒，则每过10秒，对当前播放的视频矩阵进行一次切换，也即每一处理周期选中的部分当事人客户端的视频流均播放10秒，随后切换成下一处理周期选中的部分当事人。

然而，由于对视频流数据的解码和显示需要依赖视频流中的关键帧。在接收到关键帧之后，庭审主机才能顺利解码并显示该关键帧至下一关键帧之间的画面。也即，若庭审主机在接收到任一视频流数据的时刻，直至接收到该时刻之后的第一张关键帧之前，都无法对该路视频流进行显示，导致该路视频流的画面呈现黑屏。如图6所示，图6示出了一种任一视频流被选取解码时的示意图。任一视频流包含多个关键帧，在两个关键帧之间的画面需要借助前一个关键帧来进行显示，例如图6中关键帧1与关键帧2之间的画面，需要借助关键帧1来进行显示，然而因为庭审主机选取视频流的时刻在关键帧1之后，即庭审主机未接收到关键帧1，则从该选取时刻至关键帧2之间的画面都无法正常进行解码并显示，导致该路视频流为黑屏。

在一实施例中，所述对所述待播放的视频矩阵进行播放，包括按播放周期对所述待播放的视频矩阵进行播放，所述对选取的所述待播放的视频流进行解码，并拼接成待播放的视频矩阵，包括：在下一个播放周期开始之前，进行下一个处理周期，以对选取的下一播放周期的待播放的视频流进行解码，并拼接成所述下一播放周期的视频矩阵。为避免上述描述中因未接收到关键帧而导致的黑屏问题，可以在下一个播放周期开始之前，预先进行下一个处理周期，以提前对选取的下一播放周期的待播放的视频流进行解码并拼接形成下一播放周期的视频矩阵，即通过提前进行下一个处理周期，对下一播放周期待播放的视频流提前解码，避免在播放下一周期的视频矩阵时，因庭审主机为接收到任一视频流的关键帧而导致该任一视频流的黑屏。

在一实施例中，所述当事人客户端的视频流数据中的两个关键帧的间隔为第一时长，则所述进行下一个处理周期包括：在下一个播放周期开始的第二时长前，进行下一个处理周期，其中，所述第二时长大于所述第一时长且小于播放周期。在下一个播放周期开始前的第二时长开始下一个处理周期，即让处理周期比播放周期提前第二时长，以使得庭审主机在下一个播放周期开始时，对选取的任一视频流数据均至少获取了一个关键帧，以保证视频矩阵中的窗口画面不会出现黑屏。例如，播放周期为10秒，第二时长为3秒，则在对第一播放周期中的视频矩阵播放到第7秒时，进行第二处理周期，即进行对下一播放周期中的待播放的视频流数据的解码、拼接等处理。

在一实施例中，所述部分选取对应于所述当事人客户端的视频流数据，包括：选取第一预设数量的在之前的处理周期中未被选取过的所述当事人客户端的视频流数据。优先选取第一数量的未被选取过的当事人客户端的视频流数据，能够尽量保证各当事人的视频流在预设次数的处理周期内播放的时长相差较小，避免在待播放的视频矩阵中频繁出现某一当事人客户端的视频流，而较长时间不出现另一当事人客户端的视频流，另一方面，可以基于各庭审主机的不同性能，设置不同的第一数量，通过第一数量的限制来避免庭审主机的性能压力过大。

在一实施例中，还包括：若选取的所述未被选取过的所述当事人客户端的视频流数据的数量少于所述第一预设数量，则再选取其余当事人客户端的视频流数据以补足第一预设数量。由于参与庭审的当事人客户端的数量可能发生变化，通过选取第一预设数量的视频流，并不总能在预设次数的处理周期中选取所有数量的当事人客户端。因此，在对剩余未被选取过的当事人客户端进行选取时，若剩余未被选取的当事人客户端的数量少于第一预设数量，则通过选取其余已被选取过的当事人客户端，以补足第一预设数量。同样，在下一轮预设次数的处理周期中，该被重复选取的当事人客户端视为已经被选取过了。具体用于分辨某一视频流是否被选取过，本申请在此不做限制，可以采用包括但不限于对选取过的当事人客户端视频流做标记，并在新一轮预设次数的处理周期中将标记清除，或者，采用轮播等形式选取。

在一实施例中，将所有当事人端的视频流数据顺序排列，并按顺序连续地进行选取。采用这种方式能够简单高效的保证在预设次数的处理周期内，当事人客户端的视频流不被重复选取并播放。

图7为一示例性实施例示出的一种对当事人端的视频流数据的选取方式示意图。

如图7所示，参与庭审的当事人客户端数量共为12个，在图中用数字1-12表示。将所有当事人端的视频流数据顺序排列，并排列成首尾相连的环状结构，按顺序进行选取。例如，若每一处理周期选取5个当事人端的视频流，则第一处理周期选取1-5路视频流，第二处理周期选取6-10路视频流，在第三处理周期中，未被选取过的仅剩下11和12两路视频流，此时选取1、2、3路视频流以进行补足，以实现在预设次数的处理周期内，选取所有的当事人客户端对应的视频流。以此类推，在下一个预设次数的处理周期中的首个处理周期，即第四处理周期，选取4、5、6、7、8共5路视频流。

庭审主机性能压力过大主要是由于对太多视频流数据同时进行编解码。而远程庭审时，庭审主机通过庭审服务与互联网端的庭审当事人，实际上不仅对视频流数据进行交互，也会对音频流数据进行交互。

在一实施例中，所述对所述待播放的视频矩阵进行播放，包括：获取对应于所述法庭本地和所述多个当事人客户端的音频流数据；将所有音频流数据解码并混音；将混音后的音频流与所述待播放的视频矩阵同步后，进行播放。由于对音频的处理给庭审主机带来的性能压力较小，因而可以将接收到的所有当事人客户端的音频流数据都进行解码并混音，随后与视频矩阵同步后，再进行播放。

在一实施例中，可以仅对所述待播放的视频矩阵中的视频流对应的音频流进行解码并混音，并在与所述待播放的视频矩阵同步后进行播放。

在一实施例中，所述将所有音频流数据解码并混音，包括：对所有音频流数据进行解码；计算所有音频流数据中的人声通道的音频能量，并根据所述音频能量选取第二预设数量的音频进行混音。在远程庭审的场景中，庭审主机的性能压力主要来自于对大量的视频流数据进行编解码，音频流数据带来的负荷较少，因而可以对所有的音频流数据进行解码。然而，在任一时刻，并非所有参与庭审的人员都在同时说话，也即在任一时刻并非所有解码后的音频都有播放需求，若将所有音频进行混音并播放，会导致出现较多无用的杂音、噪音、背景音等。因此，计算所有音频流数据中的人声通道的音频能量，选取第二预设数量的音频进行混音，即仅对正在发言或有交谈的部分音频进行混音处理并播放，能够有效降低庭审主机的消耗，减缓音频音量的衰减，消除其余音频中的杂音干扰，带来更好的庭审体验。

在一实施例中，庭审主机还可以将播放的视频矩阵进行录制，以做庭审备份。

与本申请的方法项实施例对应，本申请还提供了相应的远程庭审中的视频轮播装置实施例。

图8是一示例性实施例提供的一种设备的示意结构图。请参考图8，在硬件层面，该设备包括处理器810、网络接口820、内存830以及非易失性存储器840，当然还可能包括其他业务所需要的硬件。本申请一个或多个实施例可以基于软件方式来实现，比如由处理器810从非易失性存储器840中读取对应的计算机程序到内存830中然后运行。当然，除了软件实现方式之外，本申请一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

请参见图9，图9是本申请一实施例中远程庭审中的视频轮播装置的框图。该远程庭审中的视频轮播装置可以应用于如图8所示的电子设备中，以实现本申请的技术方案。其中，所述装置应用于庭审主机，所述装置包括：

获取单元910，用于获取对应于法庭本地和多个当事人客户端的视频流数据；

处理单元920，用于按照处理周期，周期性地从获取的所有视频流数据中选取待播放的视频流，其中，每一处理周期选取的视频流数据包括：固定选取对应于所述法庭本地的视频流数据和部分选取对应于所述当事人客户端的视频流数据，并保证在预设次数的处理周期中，所有对应于所述当事人客户端的视频流数据至少被选取一次；

解码单元930，用于对选取的所述待播放的视频流进行解码，并拼接成待播放的视频矩阵；

播放单元940，用于对所述待播放的视频矩阵进行播放。

可选的，所述当事人客户端包括原告客户端和被告客户端，所述待播放的视频矩阵中，包括原告显示区和被告显示区，所述拼接成待播放的视频矩阵，包括：

对选取的所述待播放的视频流进行解码，其中，选取的所述待播放的视频流包括原告客户端的视频流和被告客户端的视频流；

拼接形成待播放的视频矩阵，使得所述原告客户端的视频流在所述原告显示区，所述被告客户端的视频流在所述被告显示区。

可选的，其中，所述对所述待播放的视频矩阵进行播放，包括按播放周期对所述待播放的视频矩阵进行播放，所述对选取的所述待播放的视频流进行解码，并拼接成待播放的视频矩阵，包括：

在下一个播放周期开始之前，进行下一个处理周期，以对选取的下一播放周期的待播放的视频流进行解码，并拼接成所述下一播放周期的视频矩阵。

可选的，所述部分选取对应于所述当事人客户端的视频流数据，包括：

选取第一预设数量的在之前的处理周期中未被选取过的所述当事人客户端的视频流数据。

可选的，还包括：

若选取的所述未被选取过的所述当事人客户端的视频流数据的数量少于所述第一预设数量，则再选取其余当事人客户端的视频流数据以补足第一预设数量。

可选的，将所有当事人端的视频流数据顺序排列，并按顺序连续地进行选取。

可选的，所述对所述待播放的视频矩阵进行播放，包括：

获取对应于所述法庭本地和所述多个当事人客户端的音频流数据；

将所有音频流数据解码并混音；

将混音后的音频流与所述待播放的视频矩阵同步后，进行播放。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关指出参见方法实施例的部分说明即可。以上所描述的装置实施例只是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为服务器系统。当然，本申请不排除随着未来计算机技术的发展，实现上述实施例功能的计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

虽然本申请一个或多个实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境）。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。例如若使用到第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本申请是参照根据本申请实施例的方法、装置（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储、石墨烯存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员应明白，本申请一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本申请一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本申请一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本申请的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本申请中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本申请中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本申请一个或多个实施例的实施例而已，并不用于限制本申请一个或多个实施例。对于本领域技术人员来说，本申请一个或多个实施例可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在权利要求范围之内。

Claims (10)

1.一种远程庭审中的视频轮播方法，其特征在于，应用于庭审主机，所述方法包括：

获取对应于法庭本地和多个当事人客户端的视频流数据；

按照处理周期，周期性地从获取的所有视频流数据中选取待播放的视频流，其中，每一处理周期选取的视频流数据包括：固定选取对应于所述法庭本地的视频流数据和部分选取对应于所述当事人客户端的视频流数据，并保证在预设次数的处理周期中，所有对应于所述当事人客户端的视频流数据至少被选取一次；

对选取的所述待播放的视频流进行解码，并拼接成待播放的视频矩阵；

对所述待播放的视频矩阵进行播放。

2.根据权利要求1所述的方法，其特征在于，所述当事人客户端包括原告客户端和被告客户端，所述待播放的视频矩阵中，包括原告显示区和被告显示区，所述拼接成待播放的视频矩阵，包括：

对选取的所述待播放的视频流进行解码，其中，选取的所述待播放的视频流包括原告客户端的视频流和被告客户端的视频流；

拼接形成待播放的视频矩阵，使得所述原告客户端的视频流在所述原告显示区，所述被告客户端的视频流在所述被告显示区。

3.根据权利要求1所述的方法，其特征在于，其中，所述对所述待播放的视频矩阵进行播放，包括按播放周期对所述待播放的视频矩阵进行播放，所述对选取的所述待播放的视频流进行解码，并拼接成待播放的视频矩阵，包括：

在下一个播放周期开始之前，进行下一个处理周期，以对选取的下一播放周期的待播放的视频流进行解码，并拼接成所述下一播放周期的视频矩阵。

4.根据权利要求1所述的方法，其特征在于，所述部分选取对应于所述当事人客户端的视频流数据，包括：

选取第一预设数量的在之前的处理周期中未被选取过的所述当事人客户端的视频流数据。

5.根据权利要求4所述的方法，其特征在于，还包括：

若选取的所述未被选取过的所述当事人客户端的视频流数据的数量少于所述第一预设数量，则再选取其余当事人客户端的视频流数据以补足第一预设数量。

6.根据权利要求1所述的方法，其特征在于，所述对所述待播放的视频矩阵进行播放，包括：

获取对应于所述法庭本地和所述多个当事人客户端的音频流数据；

将所有音频流数据解码并混音；

将混音后的音频流与所述待播放的视频矩阵同步后，进行播放。

7.根据权利要求6所述的方法，其特征在于，所述将所有音频流数据解码并混音，包括：

对所有音频流数据进行解码；

计算所有音频流数据中的人声通道的音频能量，并根据所述音频能量选取第二预设数量的音频进行混音。

8.一种远程庭审中的视频轮播装置，其特征在于，应用于庭审主机，所述装置包括：

获取单元，用于获取对应于法庭本地和多个当事人客户端的视频流数据；

处理单元，用于按照处理周期，周期性地从获取的所有视频流数据中选取待播放的视频流，其中，每一处理周期选取的视频流数据包括：固定选取对应于所述法庭本地的视频流数据和部分选取对应于所述当事人客户端的视频流数据，并保证在预设次数的处理周期中，所有对应于所述当事人客户端的视频流数据至少被选取一次；

解码单元，用于对选取的所述待播放的视频流进行解码，并拼接成待播放的视频矩阵；

播放单元，用于对所述待播放的视频矩阵进行播放。

9.一种电子设备，其特征在于，包括：处理器、存储器；

所述存储器，用于存储计算机程序；

所述处理器，用于通过调用所述计算机程序，执行如权利要求1-7中任一项所述的远程庭审中的视频轮播方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述的远程庭审中的视频轮播方法。

Images