CN109756744B - 数据处理方法、电子设备及计算机存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法、电子设备及计算机存储介质。所述数据处理方法，包括：接收第一端发送的携带有时间标识的第一数据；接收第二端发送的携带有同步标识的第二数据，其中，所述同步标识为所述第二端根据所接收的第一数据中时间标识添加的；当所述时间标识及所述同步标识共同满足第一预设条件时，混合所述第一数据和所述第二数据以生成第三数据。

Description

数据处理方法、电子设备及计算机存储介质

技术领域

本发明涉及信息技术领域，尤其涉及一种数据处理方法、电子设备及计算机存储介质。

背景技术

直播是指将采集的信号进行编码通过网络传输到用户端进行观看。连麦是一种实现主播(直播端)与观众(连麦端)进行互动，并将互动过程展给其他观众进行观看的技术。例如，网络直播时，直播端可被连麦端连接，以使得连麦端的的用户参与到直播中，且连麦端则会产生连麦数据。直播端和连麦端以外的观看端，可以同时查看直播端和连麦端的画面。

在现有技术中，观看端直接接收直播端与连麦端的数据包，或者拉取直播端与连麦端混合后的流，然后进行解码播放；由于网络延时等问题，导致同一个时间点直播端和连麦端的采集数据到达有先有后，数据内容可能不对齐，从而导致输出错乱的问题。

发明内容

有鉴于此，本发明实施例期望提供一种数据处理方法、电子设备及计算机存储介质，至少部分解决上述输出错乱的问题。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明实施例提供一种数据处理方法，包括：

接收第一端发送的携带有时间标识的第一数据；

接收第二端发送的携带有同步标识的第二数据，其中，所述同步标识为所述第二端根据所接收的第一数据中时间标识添加的；

当所述时间标识及所述同步标识共同满足第一预设条件时，混合所述第一数据和所述第二数据以生成第三数据。

可选地，所述当所述时间标识及所述同步标识共同满足第一预设条件时，混合所述第一数据和所述第二数据以生成第三数据，包括：

确定所述时间标识及所述同步标识对应的第一时间差是否在预设范围内；

当所述第一时间差在所述预设范围内时，混合所述第一数据及所述第二数据以生成所述第三数据。

可选地，所述方法还包括：

确定第二时间差，其中，所述第二时间差为：预定时间窗内接收到所述第二数据的同步标识与所述预定时间窗内接收到第一数据的时间标识对应的时间差；

当所述第二时间差均大于预设范围时，根据数据属性和/或接收参数，选择所述第一数据或第二数据生成所述第三数据。

可选地，若所述第一端为发起视频直播的直播端，则所述第二端为参与所述视频直播的连麦端；或者，所述第二端为进行视频直播的直播端，则所述第二端为参与所述视频直播的连麦端；

所述当所述第二时间差均大于预设范围时，根据数据属性和/或接收参数，选择所述第一数据或第二数据生成所述第三数据，包括：

当所述第二时间差均大于预设范围时，根据数据来源选择所述直播端发送的数据生成所述第三数据。

可选地，若所述第一端和所述第二端其中一个为发起视频直播的一端，则另一个为参与所述视频直播的一端；

所述当所述第二时间差均大于预设范围时，根据数据属性和/或接收参数，选择所述第一数据或第二数据生成所述第三数据，包括：

当所述第二时间差均大于预设范围时，根据数据来源选择发起视频直播的一端发送的数据生成所述第三数据。

可选地，若所述第一端和所述第二端其中一个为发起视频直播的一端，则另一个为参与所述视频直播的一端；

所述当所述第二时间差均大于预设范围时，根据数据属性和/或接收参数，选择所述第一数据或第二数据生成所述第三数据，包括：

若当前所述预设时间窗内未接收到所述发起视频直播的一端发送的数据时，根据前一个所述预设时间窗接收到至少一个数据包的图像数据及所述第二预设时间窗内接收到一个或多个参与视频直播的一端发送的数据，生成所述第三数据。

可选地，所述方法还包括：

将所述第三数据发送给内容分发网络的服务器；

根据所述第三数据在所述内容分发网络中链接地址发送备选请求端，其中，所述备选请求端包括：所述第一端、第二端及所述第一端及所述第二端以外的第四端的至少其中之一。

第二方面，本发明实施例提供一种数据处理方法，应用于第二端中，包括：

接收第一端的第一数据；

采集第二数据；

根据所述第一数据的时间标识，在所述第二数据中添加同步标识，

将携带有所述同步标识的所述第二数据发送给第三端，其中，所述同步标识，至少用于第三端进行所述第一数据和第二数据的混合时的时间同步。

可选地，所述方法还包括：

输出所述第一数据；

记录在所述第二数据采集时刻输出的所述第一数据的所述时间标识。

可选地，所述接收第一端的第一数据，包括：

接收所述第一端发送的携带有流时间戳的第一数据流，其中，所述第一时间戳对应于与所述第一数据流在所述第一端的采集时间；

所述采集第二数据，包括：

采集第二数据流；

所述根据所述第一数据的时间标识，在所述第二数据中添加同步标识，包括：

将采集所述第二数据的采集时刻输出的第一数据的流时间戳，添加到所述第二数据流的包头中。

可选地，所述第一端为进行视频直播的直播端，所述第二端为参与所述视频直播的连麦端。

第三方面，本发明实施例提供一种电子设备，包括：

第一接收单元，用于接收第一端发送的携带有时间标识的第一数据；接收第二端发送的携带有同步标识的第二数据，其中，所述同步标识为所述第二端根据所接收的第一数据中时间标识添加的；

混合单元，用于当所述时间标识及所述同步标识共同满足第一预设条件时，混合所述第一数据和所述第二数据以生成第三数据。

可选地，所述混合单元，用于确定所述时间标识及所述同步标识对应的第一时间差是否在预设范围内；当所述第一时间差在所述预设范围内时，混合所述第一数据及所述第二数据以生成所述第三数据。

可选地，所述电子设备还包括：

确定单元，用于确定第二时间差，其中，所述第二时间差为：预定时间窗内接收到所述第二数据的同步标识与所述预定时间窗内接收到第一数据的时间标识对应的时间差；

所述混合单元，具体用于当所述第二时间差均大于预设范围时，根据数据属性和/或接收参数，选择所述第一数据或第二数据生成所述第三数据。

第四方面，本发明实施例提供一种电子设备，所述电子设备为第二端，包括：

第二接收单元，用于接收第一端的第一数据；

采集单元，用于采集第二数据；

添加单元，用于根据所述第一数据的时间标识，在所述第二数据中添加同步标识，

第二发送单元，用于将携带有所述同步标识的所述第二数据发送给第三端，其中，所述同步标识，至少用于第三端进行所述第一数据和第二数据的混合时的时间同步。

可选地，所述电子设备还包括：

输出单元，用于输出所述第一数据；

记录单元，用于记录在所述第二数据采集时刻输出的所述第一数据的所述时间标识。

第五方面，本发明实施例提供一种电子设备，包括：收发器、存储器、处理器及存储在所述存储器上并由所述处理器执行的计算机程序；

所述处理器，分别与所述收发器及存储器连接，用于通过执行所述计算机程序，控制所述存储器的数据存储及所述收发器的数据收发，并实现前述一个或多个技术方案提供的应用于第三端中的数据处理方法，或者，执行前述一个或多个应用于第二端中的数据处理方法。

第六方面，本发明实施例提供一种计算机存储介质，所述计算机存储介质用于存储计算机程序；所述计算机程序被执行后，能够实现前述一个或多个技术方案提供的应用于第三端中的数据处理方法，或者，执行前述一个或多个应用于第二端中的数据处理方法。

本发明实施例提供的数据处理方法、电子设备及计算机存储介质，第二端发送的第二数据中会携带有基于第一数据的时间标识添加的同步标识。这样第三端在进行混合时，会根据第一数据的时间标识和第二数据的同步标识进行混合，这样的话，即便有网络抖动导致的网络延时等问题，也不会仅基于第三端对第一数据和第二数据的接收时间，导致第一数据和第二数据的混合在时间维度上的错乱问题，提升了第一数据和第二数据混合生成的第三数据的正确性，提升了第三数据的输出效果。

附图说明

图1为本发明实施例提供的第一种数据处理方法的流程示意图；

图2为本发明实施例提供的第二种数据处理方法的流程示意图；

图3为本发明实施例第一数据和第二数据的混合示意图；

图4为本发明实施例提供的第三种数据处理方法的流程示意图；

图5为本发明实施例提供的一种电子设备的结构示意图；

图6为本发明实施例提供的另一种电子设备的结构示意图；

图7为本发明实施例提供的又一种电子设备的结构示意图；

图8为本发明实施例提供的第四种数据处理方法的流程示意图。

具体实施方式

以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。

如图1所示，本实施例提供一种数据处理方法，包括：

步骤S110：接收第一端发送的携带有时间标识的第一数据；

步骤S120：接收第二端发送的携带有同步标识的第二数据，其中，所述同步标识为所述第二端根据所接收的第一数据中时间标识添加的；

步骤S130：当所述时间标识及所述同步标识共同满足第一预设条件时，混合所述第一数据和所述第二数据以生成第三数据。

所述第一端和第二端可为各种类型的电子设备或通信设备，例如，手机、平板电脑、可穿戴式设备或虚拟现实设备等电子设备。

本实施例提供的数据处理方法，可为应用于直播服务器的数据混合方法。

在本实施例中所述第一数据为多媒体数据，具体可包括：音频数据、视频数据及图像数据中的一个或多个。

所述第二数据也可以为多媒体数据，具体可为音频数据、视频数据及图像数据中的一个或多个。

在本实施例中所述第一数据可为实时的视频直播产生的数据。所述视频直播又可以称为现场直播、在线直播，是指将现场实时采集的现场信号和/或数据、编码，以二进制比特流传输到对端供对端观看的数据。

在本实施例中所述第二数据可为参与视频直播的采集设备采集的数据，也是视频直播数据的一种，同样是现场实时采集、编码并以二进制比特流传输的数据。

在本实施例中第二端发送的第二数据是携带有同步标识的，该同步标识可为各种指示绝对时间或相对时间的标识信息，可为时间戳。在本实施例中，所述同步标识可为根据所述第二端接收的第一数据的时间标识确定的。该第一数据的时间标识可为所述第一数据采集或发送的时间戳。例如，所述第一数据为第一数据流，所述第一数据流所在的数据包的包头中携带有该数据流的流时间戳。所述同步标识可以直接为所述第一数据流的流时间标识。

在本实施例中，进行所述第一数据和所述第二数据混合的第三端，直接根据所述第一数据的时间标识和所述第二数据的同步标识，混合第一数据和第二数据。例如，第一端发送的第一数据包A携带的时间戳A；所述第二端发送的第二数据包B携带有的同步标识为时间戳A；则在步骤S130中，所述第三端会通过比对第一数据包的时间戳和第二数据包的同步标识对应的时间戳，若两个时间戳相同，则可以直接混合所述第一数据包和第二数据包

在本实施例中所述第一数据和第二数据的混合，具体可包括以下至少之一：

来自第一数据和第二数据的图像帧的拼接，可如图3所示，

来自第一数据和第二数据的音频数据的叠加等。

如图3所示，携带有时间A的第一数据和同步标识为时间戳A的第二数据混合之后，形成如图3中所示的第三数据的展示示意图。

在步骤S130中混合所述第二数据和所述第二数据，可包括：

根据第三数据的生成策略，进行第一数据和第二数据中的图像帧的混合，得到包括一个或多个图像的第三数据。

这样的话，通过第二端发送的同步标识，基于同步标识和第一数据的时间标识进行第一数据和第二数据混合，不会导致数据混合的错乱，从而避免了因为错乱的混合导致的第三数据的输出效果差的问题。

例如，所述步骤S130还包括：；在第一数据和第二数据混合的时候，根据第一数据的时间标识与第二数据的同步标识进行数据对齐，确保第一数据与第二数据的内容对齐。数据对齐可包括：找到同一个时间内产生的第一数据和第二数据。

在本实施例中所述时间标识和所述同步标识，都可以对应于时刻点，也可以是相对时间标识。例如，所述第一端开始直播，按照预设时间间隔进行切分，每一个预定时间生成一个时间标识。这里的时间标识可为相对时间标识，则基于该相对时间标识生成的同步标识，也为相对时间标识。

可选地，所述步骤S130可包括：

确定所述时间标识及所述同步标识对应的第一时间差是否在预设范围内；

当所述第一时间差在所述预设范围内时，混合所述第一数据及所述第二数据以生成所述第三数据。

在一些实施例中，所述第一数据和第二数据的混合是等同混合，即第一数据的时间标识和第二数据的同步标识必须等同，才进行数据混合，以生成所述第三数据。

在另一些实施例中，所述第一数据和所述第二数据的混合是相近混合，即所述第一数据的时间标识和第二数据的同步标识的绝对时间差或相对时间差小于特定阈值，就可以进行数据混合。例如，若第一数据的时间标识和第二数据的同步标识指示的相对时间标识为n，且n小于第一阈值N，则认为对应的第一数据和第二数据可以混合，生成所述第三数据。又例如，若所述第一数据的时间标识和第二数据的同步标识均为时刻点，则可以计算这两个时刻点对应的时间差是否小于第二阈值，若小于第二阈值，则可混合对应的第一数据和第二数据。

在一些实施例中，为了简化所述第三端的数据处理，所述第一数据的时间标识和所述同步标识可同时为绝对时间标识或相对时间标识。

可选地，所述方法还包括：

确定第二时间差，其中，所述第二时间差为：预定时间窗内接收到所述第二数据的同步标识与所述预定时间窗内接收到第一数据的时间标识对应的时间差；

当所述第二时间差均大于预设范围时，当所述第二时间差均大于预设范围时，根据数据属性和/或接收参数，选择所述第一数据或第二数据生成所述第三数据。

在本实施例中所述数据属性可包括：数据来源、数据的传输方式等各种属性。所述接收参数，可包括：接收到的数据包的延时、数据包的个数等参数。

所述数据来源可包括：第一端或第二端。所述数据的传输方式可包括：基于传输控制协议/因特网互联协议(TCP/IP)协议传输的数据包，还可以是基于用户数据报协议(PDU)传输的数据。不同传输方式发送的数据的可靠性不同，若两种传输方式传输的数据出现冲突时，可以优选选择可靠性高的传输方式发送的数据参与第三数据的生成，或作为生成第三数据的主体数据。

在一些数据包自身携带有数据包的发送时间戳，所述接收参数可包括：基于当前接收的时间和发送时间戳可以计算出数据包的发送延时。所述数据包的个数为在预设时间窗内接收的数据包的个数。

在本实施例中会综合数据属性及接收参数中的一个或多个，选择第一数据或第二数据来生成所述第三数据。

在一些实施例中，若所述第一端和所述第二端其中一个为发起视频直播的一端，则另一个为参与所述视频直播的一端。例如，若所述第一端为发起视频直播的直播端，则所述第二端为参与所述视频直播的连麦端；或者，所述第二端为进行视频直播的直播端，则所述第二端为参与所述视频直播的连麦端。

所述当所述第二时间差均大于预设范围时，根据数据属性和/或接收参数，选择所述第一数据或第二数据生成所述第三数据，包括：

当所述第二时间差均大于预设范围时，根据数据来源选择所述直播端发送的数据生成所述第三数据。

在本实施例中所述第一端和第二端，有一个为发起视频直播的发起端，另一个为任意时间点参与进来进行视频直播的参与端。一般情况下是以主播端为主体端，所述参与端可能在直播的过程中随时参与进来，也可能随时退出直播。在本实施例中若第二时间差均大于预设范围，即第一端和第二端在预设时间窗内达到第三端的数据包的时差都很大，可能此时第一端和第二端中至少一端连接到第三端的网络延时很大或网络传输质量不佳或网络抖动很大。但是第三数据依然需要照旧生成，则此时可以直接根据数据来源，选择直播端生成第三数据，而丢弃掉来自非直播端的数据，例如，丢弃来自连麦端的数据。

在另一些实施例中，若所述第一端和所述第二端其中一个为发起视频直播的一端，则另一个为参与所述视频直播的一端。例如，若所述第一端为发起视频直播的直播端，则所述第二端为参与所述视频直播的连麦端；或者，所述第二端为进行视频直播的直播端，则所述第一端为参与所述视频直播的连麦端。所述当所述第二时间差均大于预设范围时，根据数据属性和/或接收参数，选择所述第一数据或第二数据生成所述第三数据，包括：

若当前所述预设时间窗内未接收到所述直播端发送的数据时，根据前一个所述预设时间窗接收到至少一个数据包的图像数据及所述第二预设时间窗内接收到一个或多个连麦端发送的数据，生成所述第三数据。

若在预设时间窗内未收到直播端的数据，而是接收到多个连麦端发送的数据，则此时根据直播端前一个预设时间窗内收到的至少一个数据包的图像数据，及第二预设时间窗内收到的一个或多个连麦端发送的数据，生成所述第三数据。这样的话，第三数据首先可以看到图像，同时还可以看到连麦端发送的数据。连麦端发送的数据可为图像数据和/或音频数据。

在本实施例中利用前一个预设时间窗内接收到的至少一个数据包的图像数据来生成所述第三数据时，可选为根据前一个预设时间窗内的接收到数据中的时间标识来进行选择，例如，选择时间标识指示的上一个预设时间窗内接收到生成时间最晚的至少一个或多个数据包的图像数据，生成所述第三数据。

假设，所述第一数据为来自直播端的数据；所述第二数据为来自连麦端的数据。所述第一数据和所述第二数据均为流数据，数据中携带有生成对应数据的时间戳。这里的时间戳可以称之为流时间戳，对应于前述时间标识。在本实施例中可以选择上一个预设时间窗内接收到的流时间戳对应的时间最晚的第一数据中的一个或多个数据的图像数据，生成所述第三数据。

值得注意的是：若第一端和第二端中有一个为直播端，另一个为连麦端，则不管是所述直播端提供的数据的时间标识和连麦端提供的数据的同步标识，或者，直播端提供的数据的同步标识和连麦端提供的数据的时间标识的，需要确保时直播端的时间早于连麦端的时间且在所述预设范围内。这样的话，混合第一数据和第二数据时，可以确保直播端采集的数据的时间略早于连麦端的采集的数据，以避免第一数据和第二数据混合时在时间上的混乱现象。

这样的话，即便直播端出现了短时间的断线，也不会导致第三数据直接断掉，从而提升第三数据的连续性和质量。

如图2所示，所述方法还包括：

步骤S140：将所述第三数据发送给内容分发网络的服务器。

在一些实施例中将混合后的第三数据发送给内容分发网络的服务器，这样的话，就将第三数据存储到内容分发网络。其他终端就可以从内容分发网中获取到所述第三数据。在一些实施例中，为了方便第一端和第二端查看第三数据，对所述第三数据进行操作，所述方法还进一步包括：

步骤S150：根据所述第三数据在所述内容分发网络中链接地址发送备选请求端，其中，所述备选请求端包括：所述第一端、第二端及所述第一端及所述第二端以外的第四端的至少其中之一。

所述链接地址可为所述第三数据存储在所述内容分发网络中的统一资源地址(URL)或者与URL等链接地址绑定的链接地址触发信息。所述链接地址触发信息可包括：第三数据的标题和/或第三数据的图片等信息。所述链接地址触发信息被点击等预设操作触发后，会自动基于其绑定的链接地址从内容分发网络请求对应的第三数据，从而第三数据会在对应的请求端输出。这里的输出可包括：显示输出、音频输出或者投影输出等各种方式的输出。

所述第四端可为第一端和第二端以外的查看所述视频直播的其他用户端。

在一些实施例中，所述方法还包括：

为所述第一端、所述第二端及所述第四端的至少其中之一配置操作权限；所述操作权限用于对所述第三数据进行预定操作。所述预定操作可包括：查看权限、编辑权限、删除权限及加密权限等。所述查看权限可包括：允许部分或全部查看的权限；所述编辑权限可包括：对所述第三数据进行各种编辑操作的权限；所述编辑操作可包括：对第三数据的视频帧进行显示调整、删除或增加部分内容等各种编辑操作。删除权限可以为部分或全部所述第三数据的权限。所述加密权限可为对第三数据进行各种权限设置加密密钥的权限，可以提升第三数据的私密性和/或安全性。

在还有一些实施例中，所述方法还包括：

根据所述第一端的第一用户标识，存储至少一份所述第三数据；

根据所述第二端的第二用户标识，存储至少一份所述第三数据。

这样后续，允许所述第一端对按照第一用户标识的第三数据进行各种操作，允许所述第二端对按照第二用户标识的第三数据进行各种操作。这里的各种操作可为第三数据所有操作权限或部分权限对应的操作。

这样的话，若第一端的第一用户想要对第三数据进行了某些操作，并不影响第二用户标识对应的第二用户可以查看第三数据的原始面貌，第二用户标识的第二用户也可以按照自身的需求对所述第三数据进行操作，也不会对以第一用户标识存储的第三数据的原始状态。

如图4所示，本实施例提供一种数据处理方法，应用于第二端中，包括：

步骤S210：接收第一端的第一数据；

步骤S220：采集第二数据；

步骤S230：根据所述第一数据的时间标识，在所述第二数据中添加同步标识，

步骤S240：将携带有所述同步标识的所述第二数据发送给第三端，其中，所述同步标识，至少用于第三端进行所述第一数据和第二数据的混合时的时间同步。

本实施例中所述数据处理方法，为应用于终端中的方法。所述第二端为终端的一种。所述终端可为移动终端或固定终端。所述移动终端可包括：手机、平板电脑或可穿戴式设备等。所述固定终端可包括：个人电脑(PC)或智能电视等。

第二端会接收第二端的第一数据；所述第二端可以直接从第一端接收所述第一数据，也可以通过中转服务器接收所述第一数据。例如，所述第一端和所述第二端可以直接建立直连，可以通过建立的直连接收所述第二数据。所述第一端和所述第二端可均与中转服务器建立连接，所述第二端可以通过中转服务器接收所述第一数据。

在接收到所述第一数据之后，所述第二端可能会自行通过麦克风或者摄像头等采集形成所述第二数据。

所述采集第二数据，还可包括：从与所述第二端连接的各种其他类型的传感器上采集得到所述第二数据。

在本实施例中在采集到所述第二数据之后，会根据所述第一数据携带的时间标识，在所述第二数据中增加同步标识。这里的第一数据的时间标识和所述第二数据的同步标识的相关描述，可以参见前述任意一个实施例，在此就不再重复了。

第二端在自己发送的第二数据中携带有同步标识，这样混合所述第一数据和所述第二数据的第三端，接收到所述第二数据之后，会基于所述第一数据中的时间标识和第二数据中的同步标识，在时间维度上对其第一数据和第二数据，从而实现第一数据和第二数据的精确同步混合，减少因为网络传输时延导致的数据混合过程中没有进行时间对其导致产生的第三数据的异常的问题，从而具有生成的第三数据的数据质量高的特点。

可选地，所述方法还包括：

输出所述第一数据；

记录在所述第二数据采集时刻输出的所述第一数据的所述时间标识。

在本实施例中所述方法还包括：输出所述第一数据。这里的输出所述第一数据可包括：显示所述第一数据，投影所述第一数据或者将所述第一数据传输给输出设备输出。

在本实施例中记录第二数据采集时刻输出的第一数据的时间标识。将在第二数据的采集时刻输出的第一数据的时间标识，可以直接作为所述同步标识添加到所述第二数据中。然后再将携带有所述同步标识的第二数据发送给第三端进行第一数据和第二数据的混合。

例如，直播端发送了一个视频流，该视频流中包括流时间戳。连麦端接收到该视频流之后，会输出该视频流，连麦端的用户看到直播端的输出之后，可能会想要与直播端的直播用户进行对话，就可能会输出语音，显然这是有一定时间先后顺序。在本实施例中会记录下直播端在连麦端输出的视频流的流时间标识，若对应的流时间戳A的视频流输出时，采集到连麦端的音视频数据，则将该流时间戳A添加到连麦端的音视频数据中发送给第三端。

第三端接收到第一端的视频流和第二端的视频流之后，会比对连麦端发送的音频数据中的同步标识和直播端发送的第一数据中的时间标识。这样的话，会将同时携带有流时间戳A的第一数据和第二数据进行混合，生成所述第三数据。例如，所述第三端可以从第一数据的自身的时间标识字段提取一个时间标识，从第二数据的同步标识字段中提取出同步标识，比对第一数据的时间标识和第二数据的同步标识，若两个标识相同或指示时间差在预设范围内，则可以直接混合这两个数据。

可选地，所述步骤S210，包括：

接收所述第一端发送的携带有流时间戳的第一数据流，其中，所述第一时间戳对应于与所述第一数据流在所述第一端的采集时间；

所述步骤S220可包括：

采集第二数据流；

所述步骤S230可包括：

将采集所述第二数据的采集时刻输出的第一数据的流时间戳，添加到所述第二数据流的包头中。

在本实施例中所述第一数据和第二数据均为数据流，数据流是直接以二进制等比特流发送的数据。

在本实施例中第一数据中携带的时间标识为流时间戳，第二数据流的包头中可以直接将第二数据流采集时刻输出的第一数据的流时间戳作为同步标识，发送给第三端。

在一些实施例中，所述第三端可为独立于第一端和第二端的另一个处理端，也可以与所述第一端或所述第二端对应于同一个物理设备。

可选地，所述第一端为进行视频直播的直播端，所述第二端为参与所述视频直播的连麦端。

在本实施例中所述第一端可为直播端，而所述第二端为连麦端，这样的话，连麦端在输出直播端的数据的同时，会根据输出的第一数据的流时间戳，产生第二数据的同步标识。通过同步标识的添加，方便第三端进行第一数据和第二数据的混合。

在一些实施例中，所述方法还包括：

接收所述第三端返回的第三数据的链接地址。

这样的话，所述第二端可以基于所述链接地址请求生成的所述第三数据。

在另一些实施例中，所述方法还包括：

获取对所述第三数据请求操作的操作指令；

结合所述操作指令及配置给所述第二端的操作权限，对所述第三数据进行对应的预设操作。这里的预设操作、可包括：查看操作、编辑操作、删除操作、存储操作等各种操作中的一个或多个。

如图5所示，本发明实施例提供一种电子设备，包括：

第一接收单元110，用于接收第一端发送的携带有时间标识的第一数据；接收第二端发送的携带有同步标识的第二数据，其中，所述同步标识为所述第二端根据所接收的第一数据中时间标识添加的；

混合单元120，用于当所述时间标识及所述同步标识共同满足第一预设条件时，混合所述第一数据和所述第二数据以生成第三数据。

在本实施例中所述第一接收单元110可对应于通信接口，所述通信接口可为网络接口或收发天线等，可以用于从其他设备接收数据。在本实施例中，所述第一接收单元110接收的数据包括：第一数据和所述第二数据。所述第一数据可为第一端采集的音视频数据，所述第二数据可为所述第二端采集的音视频数据。

所述混合端可对应于电子设备中的处理器。所述处理器可包括：中央处理器、微处理器、数字信号处理器、应用处理器、可编程阵列或专用集成电路等。所述处理器可以通过执行计算机程序等计算机可执行指令，实现基于时间标识及同步标识进行第一数据和第二数据的混合。

在本实施例中所述第二数据携带有与第一数据进行同步的同步标识，在一些实施例中，所述第二数据还携带自身产生的时间标识，还携带有所述同步标识。

在混合所述第一数据和第二数据时，不再是基于第一数据和第二数据的产生时间标识，而是基于第一数据的时间标识和第二数据的同步标识，这样的话，可以减少网络传输延时导致的第一数据未及时在第二端输出，而基于两个数据的产生的时间标识进行混合导致的混合异常现象。

进一步地，所述混合单元120，用于确定所述时间标识及所述同步标识对应的第一时间差是否在预设范围内；当所述第一时间差在所述预设范围内时，混合所述第一数据及所述第二数据以生成所述第三数据。

在一些实施例中，可以基于精确匹配进行混合，即所述第一数据的时间标识和第二数据的同步标识指示的时间无时间差时进行精确同步的混合。

在另一些实施例中，允许一定的时间差，即所述第一数据的时间标识和第二数据的同步标识指示的时间可以有位于预设范围内的时间差，这样混合没有精确同步的同步要求高，但是同时可以避免现有技术中直接基于两个数据的时间标识导致的异常现象。在本实施例中优选为：这种时间差是直播端的数据的产生时间略早于连麦端提供的数据的产生时间。

可选地，所述电子设备还包括：

确定单元，用于确定第二时间差，其中，所述第二时间差为：预定时间窗内接收到所述第二数据的同步标识与所述预定时间窗内接收到第一数据的时间标识对应的时间差；

所述混合单元120，具体用于当所述第二时间差均大于预设范围时，根据数据属性和/或接收参数，选择所述第一数据或第二数据生成所述第三数据。

所述确定单元对应于计算器或具有计算功能的处理器，可以用于计算所述第二时间差。

混合单元120，在第二时间差大于预设范围时，根据数据属性及接收参数，选择第一数据和第二数据生成第三数据。

可选地，若所述第一端和所述第二端其中一个为发起视频直播的一端，则另一个为参与所述视频直播的一端；所述混合单元120，具体用于当所述第二时间差均大于预设范围时，根据数据来源选择发起视频直播的一端发送的数据生成所述第三数据。

在另一些实施例中，若所述第一端和所述第二端其中一个为发起视频直播的一端，则另一个为参与所述视频直播的一端；所述混合单元120，具体用于若当前所述预设时间窗内未接收到所述发起视频直播的一端发送的数据时，根据前一个所述预设时间窗接收到至少一个数据包的图像数据及所述第二预设时间窗内接收到一个或多个参与视频直播的一端发送的数据，生成所述第三数据。

在还有一些实施例中，所述电子设备还包括：

第一发送单元，具体用于将所述第三数据发送给内容分发网络的服务器；及根据所述第三数据在所述内容分发网络中链接地址发送备选请求端，其中，所述备选请求端包括：所述第一端、第二端及所述第一端及所述第二端以外的第四端的至少其中之一。

在本实施例中所述第一发送单元可对应于通信接口，可用于向第三端向任意一个设备发送数据，例如，可向所述内容分发网络的服务器发送所述第三数据，和/或，向备选请求端发送链接地址。所述备选请求端可能当前时刻和/或后续时刻会请求所述第三数据的任意一个电子设备。

如图6所示，本实施例提供一种电子设备，所述电子设备为第二端，包括：

第二接收单元210，用于接收第一端的第一数据；

采集单元220，用于采集第二数据；

添加单元230，用于根据所述第一数据的时间标识，在所述第二数据中添加同步标识，

第二发送单元240，用于将携带有所述同步标识的所述第二数据发送给第三端，其中，所述同步标识，至少用于第三端进行所述第一数据和第二数据的混合时的时间同步。

本实施例中所述第二接收单元210及第二发送单元240，可对应于通信接口，可以用于与其他设备进行数据的收发。

所述通信接口可为有线接口或无线接口。所述有线接口可为电缆接口和/或光缆接口。所述无线接口可为收发天线等。

所述采集单元220可为各种传感器或传感设备，可以采集第二数据。

所述添加单元230可对应于处理器；这里的处理器的相关描述可以参见前述实施例中的对应部分，在此就不重复了。

所述添加单元230将依据第二接收单元210的第一数据的时间标识，来添加所述同步标识，具有实现简单的特点。

可选地，所述电子设备还包括：

输出单元，用于输出所述第一数据；

记录单元，用于记录在所述第二数据采集时刻输出的所述第一数据的所述时间标识。

所述输出单元可对应于各种进行数据展示的功能模组或设备。所述功能模组可为显示屏等，可用于第一数据的显示数据。所述功能模组，可用于投影模组，可以用于投影输出所述第一数据。

所述记录单元可对应于存储器，能够存储所述时间标识。所述存储器可为包括各种类型存储介质的存储器，随机存储器或只读存储器等，可以记录所述第二数据采集时刻输出的第一数据的时间标识，以方便所述添加单元230基于记录的时间标识在第二数据的同步标识的添加。

可选地，所述第二接收单元210，用于接收所述第一端发送的携带有流时间戳的第一数据流，其中，所述第一时间戳对应于与所述第一数据流在所述第一端的采集时间；所述采集单元220，具体用于采集第二数据流；

所述添加单元230，具体用于将采集所述第二数据的采集时刻输出的第一数据的流时间戳，添加到所述第二数据流的包头中。

可选地，所述第一端为进行视频直播的直播端，所述第二端为参与所述视频直播的连麦端。

如图7所示，本实施例还提供一种电子设备，包括：收发器310、存储器320、处理器330及存储在所述存储器320上并由所述处理器330执行的计算机程序；

所述处理器330，分别与所述收发器310及存储器320连接，用于通过执行所述计算机程序，控制所述存储器320的数据存储及所述收发器310的数据收发，并实现应用于第三端中的数据处理方法中的一个或多个，或者，执行应用于第二端中的数据处理方法中的一个或多个。

所述存储器320，可用于存储计算机程序及响应信息等，具体可包括各种存储介质，例如，只读存储介质或闪存等，可选为非瞬间存储介质。

所述处理器330可包括：中央处理器(CPU)、微处理器(MCU)、数字信号处理器(DSP)、可编程阵列(PLC)、应用处理器(AP)及专用集成电路(ASIC)中的一个或多个。

所述处理器330通过计算机程序等计算机可执行指令的执行实现前述的实现前述一个或多个技术方案提供的数据处理方法。

在本实施例中所述处理器330与所述收发器310相连，例如，可以通过输出终端中的总线连接，所述总线可为集成电路(IIC)总线等，可以实现所述处理器330及所述收发器310之间的数据及指令的交互，从而使得处理器可通过控制指令，控制收发器的信息收发。

在本实施例中所述计算机程序，可为操作系统内的计算机程序，也可以是安装在操作系统内的专有应用。

在一些实施例中还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序；所述计算机程序被执行后，实现前述任意一个技术方案提供的动态网页的离线处理方法，例如，可为图1、图3、图7及图8至少其中之一所示的方法。

在本实施例中所述计算机程序可为各种代码撰写的计算机程序，例如，C语言撰写的计算程序，在例如，Java语言撰写计算机程序，再例如，html语言撰写的计算机程序，例如，html5撰写的浏览器内核等。

所述计算机存储介质可为各种类型的存储介质，可为非瞬间存储介质。

以下结合上述任意一个实施例提供几个具体示例：

示例1：

通过控制网络延时来实现的方案，本身具有一定的不可控性，用户的网络延时在特定情况下抖动比较大，会导致局部不同步或者直接连麦交互失败；引入统一时钟的方案，同步性能得到保证，但是额外引入了一个同步服务，而且增加了主播端、连麦端、混流服务与同步服务之间的交互开销；本示例采用了一种简单、高效、可靠的机制确保任何情况下主播端与连麦端的内容同步对齐。

处理流程如下：

步骤1：主播端在进行直播采集、编码、复用，发送时，将音视频帧的流时间戳作记录在数据包头里面，发送到接流/中转系统。

步骤2：连麦端与主播端连麦建立之后，连麦端从接流/中转系统拉取主播的流进行解复用、解码，播放，同时进行连麦端音视频采集、编码、复用、发送操作。此时，将提取出主播流的流时间戳作为同步时间戳携带在连麦数据包头里面，发送到接流/中转系统。

步骤3：主播端在与连麦端建立连接之后，直接从接流/中转系统拉取连麦的流，进行解复用、解码，播放。

步骤4：混流服务从接流/中转服务拉取主播流与连麦流进行解复用、解码操作，根据主播流的流时间戳与连麦流的数据头里面的同步时间戳进行混合，以主播流的流时间戳为基准，连麦流的同步时间戳相同或相近时进行叠加，过大进行等待，过小丢掉连麦数据；并将混合的音视频流进行编码、发送到CDN进行分发。

步骤5：其他用户通过内容分发网络(Content Delivery Network，CDN)获取到混合流进行播放观看。

示例2：

如图8所示，本示例提供一种视频流处理方法，包括：

步骤S11：主播音视频采集、编码、复用及发送主播数据；

步骤S12：连麦直播数据接收、解复用、解码及连麦音频渲染；

步骤S21：主播直播数据接收、解复用、解码及主播音频渲染；

步骤S22：连麦音视频采集、编码、复用及发送连麦数据。

这里的主播数据可为前述的第一数据，则连麦数据为第二数据；若连麦数据为第一数据，则主播数据为前述的第一数据。

步骤S3：网络侧的其他接流及中转；

步骤S41：主播数据接收、解复用及解码；

步骤S42：连麦数据接收、解复用及解码。

步骤S5：混流；混流时基于一路数据中的时间标识和另一路数据中的同步标识进行时间对齐后进行混合。

步骤S6：编码，对混流后的数据进行编码。

步骤S7：复用；

步骤S8：发送混流数据。

步骤S9：CDN接收并存储混流数据。

步骤S10：其他用户从CDN拉取混流数据进行输出。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种数据处理方法，其特征在于，所述方法包括：

接收第一端发送的携带有时间标识的第一数据；

接收第二端发送的携带有同步标识的第二数据，其中，所述同步标识为所述第二端根据所接收的第一数据中时间标识添加的，所述第一端和所述第二端中一个为发起视频直播的直播端，另一个为参与所述视频直播的连麦端；

当所述时间标识及所述同步标识对应的第一时间差在预设范围内时，通过将所述第一数据的时间标识与所述第二数据的同步标识进行数据对齐的方式，进行所述第一数据和所述第二数据的内容对齐，并混合经过所述内容对齐后的所述第一数据及所述第二数据以生成第三数据；

根据预设时间窗内接收到的所述第二数据的同步标识、以及所述预设时间窗内接收到的所述第一数据的时间标识，确定第二时间差；

当所述第二时间差大于所述预设范围时，根据数据属性和/或接收参数，选择所述第一数据或所述第二数据生成所述第三数据。

2.根据权利要求1所述的方法，其特征在于，

所述当所述第二时间差大于所述预设范围时，根据数据属性和/或接收参数，选择所述第一数据或第二数据生成所述第三数据，包括：

当所述第二时间差大于所述预设范围时，根据数据来源选择所述发起视频直播的直播端发送的数据，生成所述第三数据。

3.根据权利要求1所述的方法，其特征在于，

所述当所述第二时间差大于所述预设范围时，根据数据属性和/或接收参数，选择所述第一数据或第二数据生成所述第三数据，包括：

若当前所述预设时间窗内未接收到所述发起视频直播的直播端发送的数据时，根据前一个所述预设时间窗内接收到的至少一个数据包的图像数据、以及第二预设时间窗内接收到的一个或多个参与视频直播的直播端发送的数据，生成所述第三数据。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

将所述第三数据发送给内容分发网络的服务器；

根据所述第三数据在所述内容分发网络中链接地址发送备选请求端，其中，所述备选请求端包括：所述第一端、第二端及所述第一端及所述第二端以外的第四端的至少其中之一。

5.一种数据处理方法，其特征在于，应用于第二端中，包括：

接收第一端的第一数据，所述第一端和所述第二端中一个为发起视频直播的直播端，另一个为参与所述视频直播的连麦端；

采集第二数据；

根据所述第一数据的时间标识，在所述第二数据中添加同步标识；

将携带有所述同步标识的所述第二数据发送给第三端，其中，所述同步标识，用于当所述时间标识及所述同步标识对应的第一时间差在预设范围内时，通过将所述第一数据的时间标识与所述第二数据的同步标识进行数据对齐的方式，进行所述第一数据和所述第二数据的内容对齐，并混合经过所述内容对齐后的所述第一数据及所述第二数据以生成第三数据；根据预设时间窗内接收到的所述第二数据的同步标识、以及所述预设时间窗内接收到的所述第一数据的时间标识，确定第二时间差；当所述第二时间差大于所述预设范围时，根据数据属性和/或接收参数，选择所述第一数据或所述第二数据生成所述第三数据。

6.根据权利要求5所述的方法，其特征在于，

所述方法还包括：

输出所述第一数据；

记录在所述第二数据采集时刻输出的所述第一数据的所述时间标识。

7.根据权利要求5或6所述的方法，其特征在于，

所述接收第一端的第一数据，包括：

接收所述第一端发送的携带有流时间戳的第一数据流，其中，所述流时间戳对应于与所述第一数据流在所述第一端的采集时间；

所述采集第二数据，包括：

采集第二数据流；

所述根据所述第一数据的时间标识，在所述第二数据中添加同步标识，包括：

将采集所述第二数据的采集时刻输出的第一数据的流时间戳，添加到所述第二数据流的包头中。

8.一种电子设备，其特征在于，包括：

第一接收单元，用于接收第一端发送的携带有时间标识的第一数据；接收第二端发送的携带有同步标识的第二数据，其中，所述同步标识为所述第二端根据所接收的第一数据中时间标识添加的，所述第一端和所述第二端中一个为发起视频直播的直播端，另一个为参与所述视频直播的连麦端；

混合单元，用于当所述时间标识及所述同步标识对应的第一时间差在预设范围内时，通过将所述第一数据的时间标识与所述第二数据的同步标识进行数据对齐的方式，进行所述第一数据和所述第二数据的内容对齐，并混合经过所述内容对齐后的所述第一数据及所述第二数据以生成第三数据；

确定单元，用于根据预设时间窗内接收到的所述第二数据的同步标识、以及所述预设时间窗内接收到的所述第一数据的时间标识，确定第二时间差；

所述混合单元，还用于当所述第二时间差大于所述预设范围时，根据数据属性和/或接收参数，选择所述第一数据或所述第二数据生成所述第三数据。

9.一种电子设备，其特征在于，所述电子设备为第二端，包括：

第二接收单元，用于接收第一端的第一数据，所述第一端和所述第二端中一个为发起视频直播的直播端，另一个为参与所述视频直播的连麦端；

采集单元，用于采集第二数据；

添加单元，用于根据所述第一数据的时间标识，在所述第二数据中添加同步标识；

第二发送单元，用于将携带有所述同步标识的所述第二数据发送给第三端，其中，所述同步标识，用于当所述时间标识及所述同步标识对应的第一时间差在预设范围内时，通过将所述第一数据的时间标识与所述第二数据的同步标识进行数据对齐的方式，进行所述第一数据和所述第二数据的内容对齐，并混合经过所述内容对齐后的所述第一数据及所述第二数据以生成第三数据；根据预设时间窗内接收到的所述第二数据的同步标识、以及所述预设时间窗内接收到的所述第一数据的时间标识，确定第二时间差；当所述第二时间差大于所述预设范围时，根据数据属性和/或接收参数，选择所述第一数据或所述第二数据生成所述第三数据。

10.一种电子设备，其特征在于，包括：收发器、存储器、处理器及存储在所述存储器上并由所述处理器执行的计算机程序；

所述处理器，分别与所述收发器及存储器连接，用于通过执行所述计算机程序，控制所述存储器的数据存储及所述收发器的数据收发，并实现权利要求1至4任一项提供的数据处理方法，或者，执行权利要求5至7任一项提供的数据处理方法。

11.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储计算机程序；所述计算机程序被执行后，能够实现权利要求1至4任一项提供的数据处理方法，或者，执行权利要求5至7任一项提供的数据处理方法。

Images