CN114827681A - 视频同步方法、装置、电子设备、终端设备及存储介质 - Google Patents
视频同步方法、装置、电子设备、终端设备及存储介质 Download PDFInfo
- Publication number
- CN114827681A CN114827681A CN202210433746.6A CN202210433746A CN114827681A CN 114827681 A CN114827681 A CN 114827681A CN 202210433746 A CN202210433746 A CN 202210433746A CN 114827681 A CN114827681 A CN 114827681A
- Authority
- CN
- China
- Prior art keywords
- terminal device
- time difference
- video synchronization
- capacity
- cache capacity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000001934 delay Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 abstract description 25
- 238000010586 diagram Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 210000004899 c-terminal region Anatomy 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
Abstract
本发明公开一种视频同步方法、装置、电子设备、终端设备及存储介质，该方法包括：接收到第二终端设备发送的时间差值时，根据时间差值确定目标缓存容量；根据目标缓存容量更新当前缓存区的缓存容量，并按照更新后的缓存容量存储向第二终端设备待发送的视频信号，其中，是所述第一终端设备实现视频同步所需的时间差，根据所述第二终端设备接收到各个所述第一终端设备发送的视频信号的时间信息确定。本发明公开的方法通过更新当前缓存区的缓存容量实现对第一终端设备的时延补偿，调整缓存区的缓存能力，按照更新后的缓存容量存储向第二终端设备待发送的视频信号以调整抗网络抖动能力，提升视频信号的传输可靠性。
Description
技术领域
本发明涉及多媒体音视频处理技术领域，尤其涉及一种视频同步方法、装置、电子设备、终端设备及存储介质。
背景技术
在大型活动的拍摄制作过程中，一般会有多路机位传输到导播车/导播台，由导播人员对多路机位进行不同机位之间的实时切换等制作以生成视频信号，来完成节目的制作。在该场景下，导播车/导播台接收端为了多机位同步对齐，需要对机位进行时延补偿，如通过时间同步器对时延较低的机位进行时延补偿，以等待时延最大的机位对应传输的视频信号实现多机位同步对齐，示例性地，假设时延较低的机位的时延为200s(秒)，时延最大的机位的时延为500s(秒)，则对时延较低的机位进行补偿的时延为300s(秒)，然而，该种对机位进行时延补偿的方式在网络传输状态不稳定时，会导致导播车或者导播台并无法接收到所有视频信号，从而导播车或者导播台将接收到的视频信号进行播放时存在卡顿或者花屏的情况。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是相关技术。
发明内容
本发明实施例通过提供一种视频同步方法、装置、电子设备、终端设备及存储介质，旨在解决对机位进行时延补偿的方式在网络传输状态不稳定时，会导致导播车或者导播台并无法接收到所有视频信号，从而导播车或者导播台将接收到的视频信号进行播放时存在卡顿或者花屏的情况的技术问题。
本发明实施例提供了一种视频同步方法，所述视频同步方法应用于第一终端设备，所述视频同步方法包括：
接收到第二终端设备发送的时间差值时，根据所述时间差值确定当前缓存区的目标缓存容量；
根据所述目标缓存容量更新当前缓存区的缓存容量，并按照更新后的所述缓存容量存储向所述第二终端设备待发送的视频信号，其中，所述时间差值是所述第一终端设备实现视频同步所需的时间差，根据所述第二终端设备接收到各个所述第一终端设备发送的视频信号的时间信息确定。
可选地，根据所述时间差值确定当前缓存区的目标缓存容量的步骤包括：
根据所述时间差值调整当前缓存区的缓存容量，以增大当前缓存区的所述缓存容量；
根据增大后的所述缓存容量确定当前缓存区的所述目标缓存容量。
可选地，根据所述时间差值确定当前缓存区的目标缓存容量的步骤之后，还包括：
比较所述目标缓存容量以及预设缓存容量；
在所述目标缓存容量小于或者等于预设缓存容量时，执行根据所述目标缓存容量更新当前缓存区的缓存容量，并按照更新后的缓存容量存储向所述第二终端设备待发送的视频信号的步骤；
在所述目标缓存容量大于预设缓存容量时，根据所述预设存储容量更新当前缓存区的缓存容量。
此外，为实现上述目的，本发明还提供了一种视频同步方法，所述视频同步方法应用于第二终端设备，所述视频同步方法包括：
获取接收到各个第一终端设备发送的视频信号的时间信息，根据所述时间信息确定每个所述第一终端设备实现视频同步所需的时间差值；
将所述时间差值发送至对应的所述第一终端设备，以使所述第一终端设备根据所述时间差值确定当前缓存区的目标缓存容量。
可选地，根据所述时间信息确定每个所述第一终端设备实现视频同步所需的时间差值的步骤包括：
根据所述时间信息确定每个所述第一终端设备与所述第二终端设备之间的时延；
获取各个所述第一终端设备与所述第二终端设备之间的时延中最大时延对应的第一终端设备，以确定目标终端设备；
根据所述目标终端设备对应的时间信息以及每个所述第一终端设备对应的时间信息，确定每个所述第一终端设备实现视频同步所需的时间差值，或者，根据所述目标终端设备对应的时延与每个所述第一终端设备对应的时延，确定每个所述第一终端设备实现视频同步所需的时间差值。
此外，为实现上述目的，本发明还提供了一种第一终端设备，所述第一终端设备包括：
接收确定模块，用于接收到第二终端设备发送的时间差值时，根据所述时间差值确定当前缓存区的目标缓存容量；
更新存储模块，用于根据所述目标缓存容量更新当前缓存区的缓存容量，并按照更新后的所述缓存容量存储向所述第二终端设备待发送的视频信号，其中，所述时间差值是所述第一终端设备实现视频同步所需的时间差，根据所述第二终端设备接收到各个所述第一终端设备发送的视频信号的时间信息确定。
此外，为实现上述目的，本发明还提供了一种第二终端设备，所述第二终端设备包括：
获取确定模块，用于获取接收到各个第一终端设备发送的视频信号的时间信息，根据所述时间信息确定每个所述第一终端设备实现视频同步所需的时间差值；
发送模块，用于将所述时间差值发送至对应的所述第一终端设备，以使所述第一终端设备根据所述时间差值确定当前缓存区的目标缓存容量。
此外，为实现上述目的，本发明还提供了一种视频同步装置，视频同步装置包括：上述的第一终端设备和上述的第二终端设备。
此外，为实现上述目的，本发明还提供了一种电子设备，电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频同步程序，在所述电子设备为第一终端设备时，所述视频同步程序被所述处理器执行时实现上述应用于第一终端设备的视频同步方法的步骤；在所述电子设备为第二终端设备时，所述视频同步程序被所述处理器执行时实现上述应用于第二终端设备的视频同步方法的步骤。
此外，为实现上述目的，本发明还提供了一种存储介质，所述存储介质存储有视频同步程序，所述视频同步程序被处理器执行时实现上述应用于第一终端设备的视频同步方法的步骤或者上述应用于第二终端设备的视频同步方法的步骤。
本发明提供的一种视频同步方法、装置、电子设备、终端设备及存储介质，第一终端设备接收到第二终端设备发送的时间差值时，根据时间差值确定当前缓存区的目标缓存容量，并根据目标缓存容量更新当前缓存区的缓存容量，通过时间差值获知第一终端设备实现视频同步所需的时间差，也就是说，通过时间差值可获知第一终端设备实现视频同步所需的时延补偿，基于延时时长与存储区的缓存容量呈正相关关系以及通过时间差值获知的时延补偿，通过更新当前缓存区的缓存容量的方式实现对第一终端设备的时延补偿，并调整缓存区的缓存能力，进而按照更新后的缓存容量存储向第二终端设备待发送的视频信号，以调整抗网络抖动能力，提升视频信号的传输可靠性，避免在第二终端设备将接收到的视频信号进行播放时存在卡顿或者花屏的情况。
附图说明
图1为本发明的视频同步方法各个实施例涉及的终端设备的结构示意图；
图2为本发明的视频同步方法应用于第一终端设备的流程示意图；
图3为本发明的视频同步方法中确定目标缓存容量的流程示意图；
图4为通过时间同步器在导播车端进行时延补偿的示意图；
图5为本发明的视频同步方法基于SRT自适应传输技术的示意图；
图6为本发明的视频同步方法应用于第二终端设备的流程示意图；
图7为本发明提供的第一终端设备的模块组成示意图；
图8为本发明提供的第二终端设备的模块组成示意图。
具体实施方式
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或者“单元”可以混合地使用。
请参考图1，图1为本发明的视频同步方法各个实施例涉及的终端设备的结构示意图，该终端设备可以包括：存储器101以及处理器102。本领域技术人员可以理解，图1示出的终端的结构框图并不构成对终端的限定，终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中，存储器101中存储有操作装置以及视频同步程序。处理器102是终端设备的控制中心，处理器102执行存储在存储器101内的视频同步程序，以实现本发明的视频同步方法各实施例的步骤。
可选地，在终端设备为第一终端设备时，第一终端设备还可包括通信单元103，通信单元103通过网络协议与其他终端设备如第二终端设备建立数据通信(该数据通信可为IP通信或者蓝牙通道)，以实现与第二终端设备之间进行数据传输；同理地，在终端设备为第二终端设备时，第二终端设备还可包括通信单元103，通信单元103通过网络协议与其他终端设备如第一终端设备建立数据通信(该数据通信可为IP通信或者蓝牙通道)，以实现与第一终端设备之间进行数据传输。
需要说明的是，在终端设备为第一终端设备时，第一终端设备的存储器101中的视频同步程序被处理器102执行时实现如下步骤：
接收到第二终端设备发送的时间差值时，根据所述时间差值确定当前缓存区的目标缓存容量；
根据所述目标缓存容量更新当前缓存区的缓存容量，并按照更新后的所述缓存容量存储向所述第二终端设备待发送的视频信号，其中，所述时间差值是所述第一终端设备实现视频同步所需的时间差，根据所述第二终端设备接收到各个所述第一终端设备发送的视频信号的时间信息确定。
可选地，第一终端设备采用摄像装置或者摄像机。
可选地，摄像装置设置于机位上。
可选地，第一终端设备可以是采用带有摄像装置的终端。
相对应地，在终端设备为第二终端设备导播台或者导播车时，第二终端设备的存储器101中的视频同步程序被处理器102执行时实现如下步骤：
获取接收到各个第一终端设备发送的视频信号的时间信息，根据所述时间信息每个所述第一终端设备实现视频同步所需的时间差值；
将所述时间差值发送至对应的所述第一终端设备，以使所述第一终端设备根据所述时间差值确定当前缓存区的目标缓存容量。
可选地，第二终端设备采用导播车或者导播台。
可选地，第一终端设备的数量为至少两个。
本发明实施例提供了视频同步方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
基于上述终端设备的结构框图，提出本发明的视频同步方法的各个实施例。在一实施例中，本发明提供一种视频同步方法，所述视频同步方法应用于第一终端设备，请参考图2，图2为本发明的视频同步方法应用于第一终端设备的流程示意图。在该实施例中，视频同步方法包括以下步骤：
步骤S10，接收到第二终端设备发送的时间差值时，根据所述时间差值确定当前缓存区的目标缓存容量；
步骤S20，根据所述目标缓存容量更新当前缓存区的缓存容量，并按照更新后的所述缓存容量存储向所述第二终端设备待发送的视频信号，
其中，所述时间差值是所述第一终端设备实现视频同步所需的时间差，根据所述第二终端设备接收到各个所述第一终端设备发送的视频信号的时间信息确定。
需要说明的是，在第一终端设备与第二终端设备进行视频信号传输过程中，传输性能Latency(延时)用来表示通过网络传输数据包的时间延迟，设置的延时大小，代表了可用于管理数据包的buffer(缓存区)的最大缓存容量大小。其中，设置的延时时长与缓存区的缓存容量呈正相关关系。在第一终端设备与第二终端设备进行视频信号传输过程中，第一终端设备将待发送的数据包如待发送的视频信号在buffer内排序，用于进行传输，且在第一终端设备的buffer内会保存还没有被第二终端设备确认收到的数据包，用于进行重传，以增强抗网络抖动性，提高数据的传输可靠性。
可选地，当第一终端设备的buffer的缓存容量过小时，可能会导致没有额外的存储容量保存还没有被第二终端设备确认收到的数据包，进而无法重传没有被第二终端设备确认收到的数据包，导致降低第一终端设备与第二终端设备之间的数据传输可靠性。
可选地，Latency的设置范围是20ms至8000ms。
可选地，第一终端设备与第二终端设备之间通过SRT传输协议进行视频信号传输。
在本实施例公开的技术方案中，第一终端设备接收到第二终端设备发送的时间差值时，根据时间差值确定当前缓存区的目标缓存容量，并根据目标缓存容量更新当前缓存区的缓存容量，通过时间差值获知第一终端设备实现视频同步所需的时间差，也就是说，通过时间差值可获知第一终端设备实现视频同步所需的时延补偿，基于延时时长与存储区的缓存容量呈正相关关系以及通过时间差值获知的时延补偿，通过更新当前缓存区的缓存容量的方式实现对第一终端设备的时延补偿，并调整缓存区的缓存能力，进而按照更新后的缓存容量存储向第二终端设备待发送的视频信号，以调整抗网络抖动能力，提升视频信号的传输可靠性，避免在第二终端设备将接收到的视频信号进行播放时存在卡顿或者花屏的情况。
需要说明的是，时间差值是第一终端设备实现视频同步所需的时间差，根据第二终端设备接收到各个第一终端设备发送的视频信号的时间信息确定。
其中，根据第二终端设备接收到各个第一终端设备发送的视频信号的时间信息确定时间差值的具体实现步骤，可对应参考第二终端设备中根据所述时间信息确定每个所述第一终端设备实现视频同步所需的时间差值的步骤的具体说明，在此不再进行详细说明。
作为一种可选的实施方式，请参考图3，图3为本发明的视频同步方法中确定目标缓存容量的流程示意图，步骤S10中根据所述时间差值确定当前缓存区的目标缓存容量的步骤包括：
步骤S11，根据所述时间差值调整当前缓存区的缓存容量，以增大当前缓存区的所述缓存容量；
步骤S12，根据增大后的所述缓存容量确定当前缓存区的所述目标缓存容量。
在实际应用过程中，在第一终端设备拍摄获得的视频信号发送至第二终端设备的应用场景下，端(第一终端设备)到端(第二终端设备)的时延涉及到拍摄端(第一终端设备)的实时编码时延、微波或者5G网络的传输时延、接收端(第二终端设备)的实时解码时延等，一般会基于时间同步器在拍摄端和接收端的视频信号流里打上时间戳。第一终端设备拍摄获取得到的视频信号传输至第二终端设备具有时延，且不同第一终端设备与第二终端设备之间传输视频信号时时延可能存在不同，如有的第一终端设备与第二终端设备之间传输视频信号时时延为500s(秒)，有的第一终端设备与第二终端设备之间传输视频信号时时延为200s(秒)。
可以理解的是，对应于第二终端设备的具体说明，由于目标终端设备是最大时延对应的第一终端设备，也就是说，目标终端设备是传输视频信号至第二终端设备最慢的第一终端设备，获取的每个第一终端设备和目标终端设备之间的时间差值，是使得每个第一终端设备和最慢的目标终端设备实现视频同步时所需要的时延补偿。
根据时间差值调整当前缓存区的缓存容量，以增大当前缓存区的缓存容量，可直接获取当前缓存区的缓存容量与时间差值的和值，以作为缓存区增大后的缓存容量，根据增大后的缓存容量确定目标缓存容量，可直接将增大后的缓存容量确定为目标缓存容量，进而在根据目标缓存容量更新当前缓存区的缓存容量，以增大缓存区的缓存能力时，使得更新后的当前缓存区的缓存容量，能达到采用最小的时延补偿的同时，实现按照更新后的缓存容量存储向第二终端设备发送的视频信号时，提高视频信号在传输过程中的传输质量。
在本实施例中，根据增大后的缓存容量确定当前缓存区的目标缓存容量，根据目标缓存容量更新当前缓存区的缓存容量，以增大缓存区的缓存能力，由于缓存能力越大，抗网络抖动性越强，进而实现按照更新后的缓存容量存储向第二终端设备发送的视频信号时，提高视频信号在传输过程中的传输质量，提高视频信号的传输可靠性，避免在第二终端设备将接收到的视频信号进行播放时存在卡顿或者花屏的情况。
相较于在第二终端设备通过时间同步器对时延较低的第一终端设备进行时延补偿，以等待时延最大的第一终端设备对应传输的视频信号实现多机位同步对齐，请参考图4，图4为通过时间同步器在第二终端设备端进行时延补偿的示意图，本实施例可根据目标缓存容量更新当前缓存区的缓存容量，以增大缓存区的缓存能力，增强抗网络抖动性，提升传输的可靠性的同时，基于通过Latency设置的延时大小代表了可用于管理数据包的buffer(缓存区)的最大缓存容量大小，缓存区的缓存容量越大，通过网络传输数据包的时间延迟越长，增大缓存区的缓存能力还可以实现对第一终端设备的时延补偿。请参考图5所示，图5为本发明的视频同步方法基于SRT自适应传输技术的示意图，其中，图5中的△ti是指第二终端设备向摄像机(摄像机也即第一终端设备)发送的时间差值。
作为一种可选的实施方式，步骤S10中根据所述时间差值确定当前缓存区的所述缓存容量之后，还包括：
比较所述目标缓存容量以及预设缓存容量；
在所述目标缓存容量小于或者等于预设缓存容量时，执行步骤S20。
预设缓存容量可按照用户需求设置。可选地，预设缓存容量为最大缓存容量。在目标缓存容量小于或者等于预设缓存容量时，表明当前缓存区的缓存容量存在可以增大的缓存空间，可根据目标缓存容量更新当前缓存区的缓存容量，以增大缓存区的缓存能力，增强抗网络抖动性，进而实现按照更新后的缓存容量存储向第二终端设备发送的视频信号时，提高视频信号在传输过程中的传输质量，提高视频信号的传输可靠性。
可选地，比较所述目标缓存容量以及预设缓存容量的步骤之后，还包括：
在所述目标缓存容量大于预设缓存容量时，表明当前缓存区的缓存容量不存在可以增大的缓存空间，根据预设存储容量更新当前缓存区的缓存容量，以使得更新后的缓存区的缓存容量达到预设存储容量对应的最大存储容量，以使得缓存区的缓存能力达到最大。
可选地，预设存储容量为缓存区可设置的最大存储容量。
相对应地，本发明还提供一种视频同步方法，所述视频同步方法应用于第二终端设备，请参考图6，图6为本发明的视频同步方法应用于第二终端设备的流程示意图。在该实施例中，视频同步方法包括以下步骤：
步骤S30，获取接收到各个第一终端设备发送的视频信号的时间信息，根据所述时间信息确定每个所述第一终端设备实现视频同步所需的时间差值；
步骤S40，将所述时间差值发送至对应的所述第一终端设备，以使所述第一终端设备根据所述时间差值确定当前缓存区的目标缓存容量。
接收到各个第一终端设备发送的视频信号的时间信息，可以是第二终端设备接收到第一终端设备发送的视频信号的时间点，将该时间点确定为时间信息；也可以是第二终端设备接收到第一终端设备发送的视频信号，对视频信号进行解码后基于时间同步器加入的时间戳，将该时间戳确定为时间信息。
需要说明的是，步骤S30中根据所述时间信息确定每个所述第一终端设备实现视频同步所需的时间差值包括：
根据所述时间信息确定每个所述第一终端设备与所述第二终端设备之间的时延；
获取各个所述第一终端设备与所述第二终端设备之间的时延中最大时延对应的第一终端设备，以确定目标终端设备；
根据所述目标终端设备对应的时间信息以及每个所述第一终端设备对应的时间信息，确定每个所述第一终端设备实现视频同步所需的时间差值，或者，根据所述目标终端设备对应的时延与每个所述第一终端设备对应的时延，确定每个所述第一终端设备实现视频同步所需的时间差值。
基于第二终端设备接收到各个第一终端设备发送的视频信号的时间信息，确定每个第一终端设备与第二终端设备之间的时延，示例性地，假设时间信息是第二终端设备接收到第一终端设备发送的视频信号的时间点，有三个第一终端设备分别为A终端设备、B终端设备以及C终端设备，第二终端设备接收到A终端设备、B终端设备以及C终端设备分别发送的视频信号的时间点为15:00、15:10以及15:15，则A终端设备、B终端设备以及C终端设备分别与第二终端设备之间的时延为0s、10s以及15s，其中，s表示时间单位秒。
获取各个所述第一终端设备与所述第二终端设备之间的时延中最大时延对应的第一终端设备，以确定目标终端设备。
需要说明的是，通过获取各个第一终端设备与第二终端设备之间的时延中最大时延对应的第一终端设备以确定为目标终端设备，也就是说，将目标终端设备对应的最大时延作为确定每个第一终端设备时延补偿的基准，进而根据目标终端设备对应的时间信息以及每个第一终端设备对应的时间信息，确定每个第一终端设备实现视频同步所需的时间差值，也即根据目标终端设备对应的时间信息与每个第一终端设备对应的时间信息之间的差值，确定每个第一终端设备实现视频同步所需的时间差值，示例性地，A终端设备、B终端设备以及C终端设备分别与第二终端设备之间的时延为0s、10s以及15s，其中，C终端设备为目标终端设备，则目标终端设备对应的时间信息(15:15)与A终端设备对应的时间信息(15:00)之间的差值确定为15s，则A终端设备实现视频同步所需的时间差值为15s，同理地，B终端设备以及C终端设备实现视频同步所需的时间差值的具体确定方式如A终端设备实现视频同步所需的时间差值，在此不再进行具体说明。
可以理解的是，目标终端设备是最大时延对应的第一终端设备，也就是说，目标终端设备是传输视频信号至第二终端设备最慢的第一终端设备，获取的每个第一终端设备和目标终端设备之间的时间差值，是使得每个第一终端设备和最慢的目标终端设备实现视频同步时所需要的时延补偿。
可选地，确定每个第一终端设备实现视频同步所需的时间差值，也可根据目标终端设备对应的时延与每个第一终端设备对应的时延之间的差值确定。示例性地，A终端设备、B终端设备以及C终端设备分别与第二终端设备之间的时延为0s、10s以及15s，其中，C终端设备为目标终端设备，则目标终端设备对应的时延(15s)与A终端设备对应的时间信息(0s)之间的差值确定为15s，则A终端设备实现视频同步所需的时间差值为15s，同理地，B终端设备以及C终端设备实现视频同步所需的时间差值的具体确定方式如A终端设备实现视频同步所需的时间差值，在此不再进行具体说明。
可以理解的是，确定第一终端设备实现视频同步所需的时间差值，该时间差值可理解为第一终端设备实现视频同步所需的时延补偿。示例性地，假设目标终端设备对应的最大时延为500s，D终端设备对应的时延为300s，则D终端设备对应的时延补偿为200s，E终端设备对应的时延为200s，则E终端设备对应的时延补偿为300s，基于获得到每个第一终端设备如D终端设备或者E终端设备对应的时延补偿，使得各个第一终端设备和目标终端设备实现视频同步。
可选地，步骤S30中获取接收到各个第一终端设备发送的视频信号的时间信息包括：
实时或者定时或者按照预设时间间隔获取接收到各个第一终端设备发送的视频信号的时间信息，通过实时或者定时或者按照预设时间间隔的方式获取接收到各个第一终端设备发送的视频信号的时间信息，以可持续性地实现对各个第一终端发送的视频信号的时间信息进行监测，进而执行根据时间信息确定每个第一终端设备实现视频同步所需的时间差值的步骤以及步骤S40，以及相对应的执行应用于第一终端设备的步骤S10以及步骤S20，实现可持续地通过更新当前缓存区的缓存容量的方式实现对第一终端设备的时延补偿，并调整缓存区的缓存能力，进而按照更新后的缓存容量存储向第二终端设备待发送的视频信号，以调整抗网络抖动能力，提升视频信号的传输可靠性。
在本实施例公开的技术方案中，第二终端设备获取接收到各个第一终端设备发送的视频信号的时间信息，根据所述时间信息确定每个所述第一终端设备实现视频同步所需的时间差值，并将时间差值发送至对应的第一终端设备，以通过时间差值向对应第一终端设备反馈第一终端设备将视频信号发送至第二终端设备，实现视频同步所需要的时延补偿，以使得第一终端设备接收到第二终端设备发送的时间差值时，根据时间差值确定当前缓存区的目标缓存容量，并根据目标缓存容量更新当前缓存区的缓存容量，通过时间差值可获知第一终端设备实现视频同步所需要的时延补偿，基于延时时长与存储区的缓存容量呈正相关关系以及通过时间差值获知的时延补偿，通过更新当前缓存区的缓存容量的方式实现对第一终端设备的时延补偿，并调整缓存区的缓存能力，进而按照更新后的缓存容量存储向第二终端设备待发送的视频信号，以调整抗网络抖动能力，提升视频信号的传输可靠性，避免在第二终端设备将接收到的视频信号进行播放时存在卡顿或者花屏的情况。
如图7所示，图7为本发明提供的第一终端设备的模块组成示意图，第一终端设备100包括：
接收确定模块110，用于接收到第二终端设备发送的时间差值时，根据所述时间差值确定当前缓存区的目标缓存容量；
更新存储模块120，用于根据所述目标缓存容量更新当前缓存区的缓存容量，并按照更新后的所述缓存容量存储向所述第二终端设备待发送的视频信号，其中，所述时间差值是所述第一终端设备实现视频同步所需的时间差，根据所述第二终端设备接收到各个所述第一终端设备发送的视频信号的时间信息确定。
或者，如图8所示，图8为本发明提供的第二终端设备的模块组成示意图，第二终端设备200包括：
获取确定模块210，用于获取接收到各个第一终端设备发送的视频信号的时间信息，根据所述时间信息确定每个所述第一终端设备实现视频同步所需的时间差值；
发送模块220，用于将所述时间差值发送至对应的所述第一终端设备，以使所述第一终端设备根据所述时间差值确定当前缓存区的目标缓存容量。
可选地，本发明还提供一种视频同步装置，视频同步装置包括上述的第一终端设备100以及第二终端设备200。
可选地，第一终端设备100的数量为至少两个。
本发明终端设备如第一终端设备和/或第二终端设备的具体实施方式与上述视频同步方法各实施例基本相同，在此不再赘述。
本发明还提出一种电子设备，所述电子设备包括：包括存储器、处理器以及存储在存储器里并可在处理器上运行的视频同步程序，在所述电子设备为第一终端设备时，视频同步程序被第一终端设备的处理器执行时实现上述任一实施例中的应用于第一终端设备的视频同步方法的步骤，在所述终端设备为第二终端设备时，视频同步程序被第二终端设备的处理器执行时实现上述任一实施例中的应用于第二终端设备的视频同步方法的步骤。
本发明还提出一种存储介质，该存储介质上存储有视频同步程序，所述视频同步程序被处理器执行时实现如以上任一实施例所述应用于第一终端设备的视频同步方法的步骤或者实现如以上任一实施例所述应用于第二终端设备的视频同步方法的步骤。
在本发明提供的电子设备和存储介质的实施例中，包含了上述视频同步方法各实施例的全部技术特征，说明书拓展和解释内容与上述视频同步方法的各实施例基本相同，在此不做再赘述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种视频同步方法，其特征在于，所述视频同步方法应用于第一终端设备，所述视频同步方法包括：
接收到第二终端设备发送的时间差值时，根据所述时间差值确定当前缓存区的目标缓存容量；
根据所述目标缓存容量更新当前缓存区的缓存容量，并按照更新后的所述缓存容量存储向所述第二终端设备待发送的视频信号，其中，所述时间差值是所述第一终端设备实现视频同步所需的时间差，根据所述第二终端设备接收到各个所述第一终端设备发送的视频信号的时间信息确定。
2.如权利要求1所述的方法，其特征在于，所述根据所述时间差值确定当前缓存区的目标缓存容量的步骤包括：
根据所述时间差值调整当前缓存区的缓存容量，以增大当前缓存区的所述缓存容量；
根据增大后的所述缓存容量确定当前缓存区的所述目标缓存容量。
3.如权利要求1所述的方法，其特征在于，所述根据所述时间差值确定当前缓存区的目标缓存容量的步骤之后，还包括：
比较所述目标缓存容量以及预设缓存容量；
在所述目标缓存容量小于或者等于预设缓存容量时，执行根据所述目标缓存容量更新当前缓存区的缓存容量，并按照更新后的缓存容量存储向所述第二终端设备待发送的视频信号的步骤；
在所述目标缓存容量大于预设缓存容量时，根据所述预设存储容量更新当前缓存区的缓存容量。
4.一种视频同步方法，其特征在于，所述视频同步方法应用于第二终端设备，所述视频同步方法包括：
获取接收到各个第一终端设备发送的视频信号的时间信息，根据所述时间信息确定每个所述第一终端设备实现视频同步所需的时间差值；
将所述时间差值发送至对应的所述第一终端设备，以使所述第一终端设备根据所述时间差值确定当前缓存区的目标缓存容量。
5.如权利要求4所述的方法，其特征在于，所述根据所述时间信息确定每个所述第一终端设备实现视频同步所需的时间差值的步骤包括：
根据所述时间信息确定每个所述第一终端设备与所述第二终端设备之间的时延；
获取各个所述第一终端设备与所述第二终端设备之间的时延中最大时延对应的第一终端设备，以确定目标终端设备；
根据所述目标终端设备对应的时间信息以及每个所述第一终端设备对应的时间信息，确定每个所述第一终端设备实现视频同步所需的时间差值，或者，根据所述目标终端设备对应的时延与每个所述第一终端设备对应的时延，确定每个所述第一终端设备实现视频同步所需的时间差值。
6.一种第一终端设备，其特征在于，所述第一终端设备包括：
接收确定模块，用于接收到第二终端设备发送的时间差值时，根据所述时间差值确定当前缓存区的目标缓存容量；
更新存储模块，用于根据所述目标缓存容量更新当前缓存区的缓存容量，并按照更新后的所述缓存容量存储向所述第二终端设备待发送的视频信号，其中，所述时间差值是所述第一终端设备实现视频同步所需的时间差，根据所述第二终端设备接收到各个所述第一终端设备发送的视频信号的时间信息确定。
7.一种第二终端设备，其特征在于，所述第二终端设备包括：
获取确定模块，用于获取接收到各个第一终端设备发送的视频信号的时间信息，根据所述时间信息确定每个所述第一终端设备实现视频同步所需的时间差值；
发送模块，用于将所述时间差值发送至对应的所述第一终端设备，以使所述第一终端设备根据所述时间差值确定当前缓存区的目标缓存容量。
8.一种视频同步装置，其特征在于，所述视频同步装置包括：如权利要求6所述的第一终端设备和如权利要求7所述的第二终端设备。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频同步程序，在所述电子设备为第一终端设备时，所述视频同步程序被所述处理器执行时实现如权利要求1-3中任一项所述的视频同步方法的步骤；在所述电子设备为第二终端设备时，所述视频同步程序被所述处理器执行时实现如权利要求4-5中任一项所述的视频同步方法的步骤。
10.一种存储介质，其特征在于，所述存储介质存储有视频同步程序，所述视频同步程序被处理器执行时实现权利要求1-3中任一项所述的视频同步方法的步骤，或者4-5中任一项所述的视频同步方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210433746.6A CN114827681B (zh) | 2022-04-24 | 2022-04-24 | 视频同步方法、装置、电子设备、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210433746.6A CN114827681B (zh) | 2022-04-24 | 2022-04-24 | 视频同步方法、装置、电子设备、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114827681A true CN114827681A (zh) | 2022-07-29 |
| CN114827681B CN114827681B (zh) | 2024-03-22 |
Family
ID=82507530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210433746.6A Active CN114827681B (zh) | 2022-04-24 | 2022-04-24 | 视频同步方法、装置、电子设备、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114827681B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115348481A (zh) * | 2022-08-15 | 2022-11-15 | 中国联合网络通信集团有限公司 | 一种数据传输方法、装置、发送器及接收器 |
| CN117376609A (zh) * | 2023-09-21 | 2024-01-09 | 北京国际云转播科技有限公司 | 视频同步方法及装置、视频播放设备 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6233656B1 (en) * | 1997-12-22 | 2001-05-15 | Lsi Logic Corporation | Bandwidth optimization cache |
| CN1798085A (zh) * | 2004-12-28 | 2006-07-05 | 华为技术有限公司 | 一种无线链路控制子层发送缓存大小的调整方法 |
| CN103078701A (zh) * | 2012-10-17 | 2013-05-01 | 大唐移动通信设备有限公司 | 一种上行语音数据传输方法和装置 |
| US20170125064A1 (en) * | 2015-11-03 | 2017-05-04 | Seastar Labs, Inc. | Method and Apparatus for Automatic Video Production |
| CN106998484A (zh) * | 2017-05-25 | 2017-08-01 | 游密科技(深圳)有限公司 | 一种实现服务端数据缓冲式延迟转发装置及方法 |
| US20170289609A1 (en) * | 2016-03-31 | 2017-10-05 | Le Holdings(Beijing)Co., Ltd. | Method and device for playing multimedia data synchronously |
| CN107277595A (zh) * | 2017-07-28 | 2017-10-20 | 京东方科技集团股份有限公司 | 一种多路视频同步方法及装置 |
| US20180262799A1 (en) * | 2015-02-06 | 2018-09-13 | Shanghai Jiao Tong University | Dynamic Time Window and Cache Mechanism under the Heterogeneous Network Transmission |
| CN108809617A (zh) * | 2018-04-18 | 2018-11-13 | 京信通信系统（中国）有限公司 | 一种时延补偿方法及终端 |
| CN109168059A (zh) * | 2018-10-17 | 2019-01-08 | 上海赛连信息科技有限公司 | 一种在不同设备上分别播放音频与视频的唇音同步方法 |
| CN109218795A (zh) * | 2018-11-29 | 2019-01-15 | 青岛海信电器股份有限公司 | 一种多设备播放进度同步方法、装置及终端设备 |
| CN112911559A (zh) * | 2021-01-19 | 2021-06-04 | 北京塞宾科技有限公司 | 一种无线数据通信方法、系统、设备及存储介质 |
| CN112995708A (zh) * | 2021-04-21 | 2021-06-18 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种多视频同步方法及装置 |
| CN113162812A (zh) * | 2020-01-07 | 2021-07-23 | 阿里巴巴集团控股有限公司 | 语音处理方法、直播的语音播放方法、装置、设备及系统 |
| CN113225597A (zh) * | 2021-04-30 | 2021-08-06 | 北京凯视达信息技术有限公司 | 一种网络传输中的多路音视频的同步播放的方法 |
-
2022
- 2022-04-24 CN CN202210433746.6A patent/CN114827681B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6233656B1 (en) * | 1997-12-22 | 2001-05-15 | Lsi Logic Corporation | Bandwidth optimization cache |
| CN1798085A (zh) * | 2004-12-28 | 2006-07-05 | 华为技术有限公司 | 一种无线链路控制子层发送缓存大小的调整方法 |
| CN103078701A (zh) * | 2012-10-17 | 2013-05-01 | 大唐移动通信设备有限公司 | 一种上行语音数据传输方法和装置 |
| US20180262799A1 (en) * | 2015-02-06 | 2018-09-13 | Shanghai Jiao Tong University | Dynamic Time Window and Cache Mechanism under the Heterogeneous Network Transmission |
| US20170125064A1 (en) * | 2015-11-03 | 2017-05-04 | Seastar Labs, Inc. | Method and Apparatus for Automatic Video Production |
| US20170289609A1 (en) * | 2016-03-31 | 2017-10-05 | Le Holdings(Beijing)Co., Ltd. | Method and device for playing multimedia data synchronously |
| CN106998484A (zh) * | 2017-05-25 | 2017-08-01 | 游密科技(深圳)有限公司 | 一种实现服务端数据缓冲式延迟转发装置及方法 |
| CN107277595A (zh) * | 2017-07-28 | 2017-10-20 | 京东方科技集团股份有限公司 | 一种多路视频同步方法及装置 |
| CN108809617A (zh) * | 2018-04-18 | 2018-11-13 | 京信通信系统（中国）有限公司 | 一种时延补偿方法及终端 |
| CN109168059A (zh) * | 2018-10-17 | 2019-01-08 | 上海赛连信息科技有限公司 | 一种在不同设备上分别播放音频与视频的唇音同步方法 |
| CN109218795A (zh) * | 2018-11-29 | 2019-01-15 | 青岛海信电器股份有限公司 | 一种多设备播放进度同步方法、装置及终端设备 |
| CN113162812A (zh) * | 2020-01-07 | 2021-07-23 | 阿里巴巴集团控股有限公司 | 语音处理方法、直播的语音播放方法、装置、设备及系统 |
| CN112911559A (zh) * | 2021-01-19 | 2021-06-04 | 北京塞宾科技有限公司 | 一种无线数据通信方法、系统、设备及存储介质 |
| CN112995708A (zh) * | 2021-04-21 | 2021-06-18 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种多视频同步方法及装置 |
| CN113225597A (zh) * | 2021-04-30 | 2021-08-06 | 北京凯视达信息技术有限公司 | 一种网络传输中的多路音视频的同步播放的方法 |
Non-Patent Citations (5)
| Title |
|---|
| YONGHWAN BANG ; JONGPIL HAN ; KYUSANG LEE ; JONGWON YOON ; JINOO JOUNG ; SUNGBO YANG ; RHEE, J.-K.K. GIRI: "Wireless network synchronization for multichannel multimedia services", 《2009 11TH INTERNATIONAL CONFERENCE ON ADVANCED COMMUNICATION TECHNOLOGY》, vol. 2, pages 1073 - 1077, XP031445859 * |
| 单聪: "基于5G网络的融媒体远程制作系统在实际中的应用", no. 8 * |
| 庄严: "多通道流媒体播放器的设计与实现", 《中国学位论文全文数据库》 * |
| 李海峰: "智慧标识网络缓存机制及性能分析研究", vol. 2019, no. 01 * |
| 赵学辉: "多设备通信系统中多径时延估计研究及应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115348481A (zh) * | 2022-08-15 | 2022-11-15 | 中国联合网络通信集团有限公司 | 一种数据传输方法、装置、发送器及接收器 |
| CN115348481B (zh) * | 2022-08-15 | 2023-06-02 | 中国联合网络通信集团有限公司 | 一种数据传输方法、装置、发送器及接收器 |
| CN117376609A (zh) * | 2023-09-21 | 2024-01-09 | 北京国际云转播科技有限公司 | 视频同步方法及装置、视频播放设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114827681B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI788744B (zh) | 動態縮減替換內容之播放以幫助對齊替換內容之結束與已替換內容之結束 | |
| CN101868793B (zh) | 一种对等回放装置及其操作方法 | |
| CN114827681A (zh) | 视频同步方法、装置、电子设备、终端设备及存储介质 | |
| US8245262B2 (en) | System and method for synchronization of television signals associated with multiple broadcast networks | |
| CN107566918B (zh) | 一种视频分发场景下的低延时取流秒开方法 | |
| EP2328349B1 (en) | Information processing system and information processing device | |
| US11503366B2 (en) | Dynamic playout of transition frames while transitioning between play out of media streams | |
| US11039203B2 (en) | Channel changing method and apparatus thereof | |
| CN110581973B (zh) | 数据回放方法、装置、终端设备及存储介质 | |
| US20080133744A1 (en) | Multimedia data streaming server and method for dynamically changing amount of transmitting data in response to network bandwidth | |
| EP2413564A1 (en) | Method and apparatus for transmitting and receiving streaming data based on RTSP sessions | |
| KR102566550B1 (ko) | 복수의 커넥티드 장치 간 디지털 콘텐츠의 재생 동기화를 맞추는 방법 및 이를 이용한 장치 | |
| CN114666614A (zh) | 一种媒体流发送方法、装置和设备 | |
| EP3190730A1 (en) | Received path delay mechanism | |
| CN117499725A (zh) | 用于提供动态媒体会话的方法、系统和介质 | |
| CN104581340A (zh) | 客户端、流媒体数据接收方法和流媒体数据传输系统 | |
| US10368139B2 (en) | Received path delay mechanism | |
| US9124921B2 (en) | Apparatus and method for playing back contents | |
| TWI660628B (zh) | 多設備間的媒體同步播放方法 | |
| EP4038892A1 (en) | Methods, systems, and media for streaming video content using adaptive buffers | |
| CN113612728A (zh) | 流媒体播放方法、传输设备和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |