CN116248930B - 一种并行信号同步控制方法及系统 - Google Patents

一种并行信号同步控制方法及系统 Download PDF

Info

Publication number
CN116248930B
CN116248930B CN202310307283.3A CN202310307283A CN116248930B CN 116248930 B CN116248930 B CN 116248930B CN 202310307283 A CN202310307283 A CN 202310307283A CN 116248930 B CN116248930 B CN 116248930B
Authority
CN
China
Prior art keywords
audio
video
signal
video signal
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310307283.3A
Other languages
English (en)
Other versions
CN116248930A (zh
Inventor
刘舒阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huake Haixun Technology Co ltd
Original Assignee
Beijing Huake Haixun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huake Haixun Technology Co ltd filed Critical Beijing Huake Haixun Technology Co ltd
Priority to CN202310307283.3A priority Critical patent/CN116248930B/zh
Publication of CN116248930A publication Critical patent/CN116248930A/zh
Application granted granted Critical
Publication of CN116248930B publication Critical patent/CN116248930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及信号处理领域，尤其涉及一种并行信号同步控制方法及系统，该方法包括：根据节点设备采集发送端发送至接收端的音频信号和视频信号；根据采集时长判断音频信号和视频信号是否同步，对被判定不同步的音频信号和视频信号进行采集时间差计算，根据所述采集时间差对被判定不同步的音频信号和视频信号进行调整，根据接收时间差对被判定暂时同步的音频信号和视频信号进行二次判定，并调整音频信号和视频信号的传输控制方式；根据标记点将所述目标播放音频和目标播放视频进行同步处理合成待播放音视频。本发明通过在传输和制作时对音视频进行监测和同步控制，提高了合成的音视频效果和质量。

Description

一种并行信号同步控制方法及系统
技术领域
本发明涉及信号处理领域，尤其涉及一种并行信号同步控制方法及系统。
背景技术
随着计算机网络技术及宽带通信技术得到了飞速发展，同时它也为多媒体通信技术的发展奠定了基础，多媒体在不同领域都得到了广泛的应用，如视频会议、远程教学和视频电话等，而媒体间的同步技术就是支持这些多媒体能够正常应用的关键技术之一，若要实现音频和视频同步，就需要使音视频信号的同步采集、压缩、传输以及同步播放等问题得到解决。
中国专利申请公开号：CN110602542B的专利公开了一种音视频同步的方法，该方法包括：视联网模块获得音频裸流数据包和音频裸流数据包对应的音频编码时间戳，以及视频裸流数据包和视频裸流数据包对应的视频编码时间戳；视联网模块将音频编码时间戳和视频编码时间戳传递给音视频同步模块；音视频同步模块在系统时间戳等于音频编码时间戳时，将音频编码时间戳返回给视联网模块；视联网模块将返回的音频编码时间戳对应的音频裸流数据包传递给实时传输模块；音视频同步模块将与系统时间戳最接近的视频编码时间戳返回给视联网模块；视联网模块将返回的视频编码时间戳对应的视频裸流数据包传递给实时传输模块；实时传输模块将获取的音频裸流数据包和视频裸流数据包封装成互联网协议包后传输给互联网终端。
现有技术通过时间戳将视频和音频进行合成，但视频和音频会出现不同步的现象，致使合成的音视频效果和质量差。
发明内容
为此，本发明提供一种并行信号同步控制方法及系统，可以解决音视频信号不同步且合成的音视频效果和质量差的问题。
为实现上述目的，本发明一方面提供一种并行信号同步控制方法，该方法包括：
进一步地，根据节点设备采集发送端发送至接收端的音频信号和视频信号；
对所述音频信号和所述视频信号进行监测以根据采集时长判断音频信号和视频信号是否同步；
对被判定不同步的音频信号和视频信号进行采集时间差计算，根据所述采集时间差对被判定不同步的音频信号和视频信号进行调整以使音频信号和视频信号同步，根据接收时间差对被判定暂时同步的音频信号和视频信号进行二次判定，并调整音频信号和视频信号的传输控制方式；
将接收到的音频信号和视频信号进行缓存并转化为目标格式的待播放音频和待播放视频；
将所述待播放音频和所述待播放视频进行标记以生成目标播放音频和目标播放视频，根据标记点将所述目标播放音频和目标播放视频进行同步处理合成待播放音视频。
进一步地，在对所述音频信号和所述视频信号进行监测时，分别获取所述节点设备采集到音频信号和视频信号的第一采集时长和第二采集时长，根据所述第一采集时长和第二采集时长判断音频信号和视频信号是否同步的三类判断方式，其中，
第一类判断方式为所述第一采集时长大于所述第二采集时长，则判定所述音频信号和所述视频信号不同步，且判定音频信号传输异常；
第二类判断方式为所述第一采集时长等于所述第二采集时长，则判定所述音频信号和所述视频信号暂时同步；
第三类判断方式为所述第一采集时长小于所述第二采集时长，则判定所述音频信号和所述视频信号不同步，且判定视频信号传输异常。
进一步地，根据被判定不同步的视频信号和音频信号进行采集时间差计算时，若判定所述音频信号传输异常，则第一采集时间差＝第一采集时长－第二采集时长；
若判定所述视频信号传输信号异常，则第二采集时间差＝第二采集时长－第一采集时长。
进一步地，根据所述采集时间差对被判定不同步的视频信号和音频信号进行调整的两类调整方式，其中，
第一类调整方式为判定所述音频信号传输异常时，控制所述节点设备暂停所述视频信号传输；
第二类调整方式为判定所述视频信号传输异常时，控制所述节点设备暂停所述音频信号传输；
控制所述节点设备暂停所述视频信号或音频信号传输的暂停时间为所述采集时间差，其中，暂停视频信号传输的暂停时间为所述第一采集时间差，暂停音频信号传输的暂停时间为所述第二采集时间差。
进一步地，在判定所述音频信号和所述视频信号暂时同步时，控制所述接收端接收音频信号和视频信号，并二次判断音频信号和所述视频信号是否同步，其中，
若所述接收端同时接收到所述音频信号和所述视频信号，则二次判断音频信号和视频信号同步，并在接收完毕后将音频信号和视频信号进行缓存；
若所述接收端先接收到所述音频信号，则二次判断音频信号和视频信号不同步，控制接收端先将音频信号进行缓存，并等待接收完视频信号，将接收完毕的视频信号进行缓存；
若所述接收端先接收到所述视频信号，则二次判断音频信号和视频信号不同步，控制接收端先将视频信号进行缓存，并等待接收完音频信号，将接收完毕的音频信号进行缓存。
进一步地，在二次判断音频信号和视频信号不同步时，计算所述接收端分别对音频信号和视频信号接收完毕时的接收时间差，根据接收时间差调整音频信号和视频信号的传输控制方式的两类调整方式，其中，
第一类调整方式为若所述接收时间差大于预设接收时间差，则调整节点设备的数量；
第二类调整方式为若所述接收时间差小于等于预设接收时间差，则不调整节点设备的数量。
进一步地，在调整节点设备的数量时，根据预设调整系数得到节电设备的目标数量，并将目标数量的节电设备设置于发送端与接收端之间，其设置距离＝总距离/目标数量。
进一步地，在将所述待播放音频和所述待播放视频进行标记时，对待播放音频进行语音识别以得到识别文字，对识别文字进行分句，并记录每个分句的开始时间和结束时间，根据开始时间和结束时间对待播放音频进行标记以生成目标播放音频；
对所述待播放视频的每帧图像进行字幕识别，当识别到字幕时记录每个字幕出现的字幕开始时间和字幕结束时间，根据字幕开始时间和字幕结束时间对待播放视频进行标记以生成目标播放视频。
进一步地，在将所述目标播放音频和所述目标播放视频进行同步处理合成待播放音视频时，将每个分句的开始时间、结束时间和对应字幕的字幕开始时间、字幕结束时间进行对比，将对比失败的音频段和视频段中长时间差的音频段或是频段进行压缩以使时间差等于短时间差，将调整的音频段或视频段对应的目标播放音频或目标播放视频进行重新标记，根据调整的标记点将重新标记的目标播放音频和目标播放视频的进行合成以得到待播放音视频。
本发明另一方面提供一种并行信号同步控制系统，该系统包括：
采集模块，其与节点设备连接，用以根据节点设备采集发送端发送至接收端的音频信号和视频信号；
监测模块，其与所述采集模块连接，用以对所述音频信号和所述视频信号进行监测以根据采集时长判断音频信号和视频信号是否同步；
调整模块，其分别与所述监测模块和所述节点设备连接，用以对被判定不同步的音频信号和视频信号进行采集时间差计算，根据所述采集时间差对被判定不同步的音频信号和视频信号进行调整以使音频信号和视频信号同步，根据接收时间差对被判定暂时同步的音频信号和视频信号进行二次判定，并调整音频信号和视频信号的传输控制方式；
转化模块，其与所述调整模块连接，用以将接收到的音频信号和视频信号进行缓存并转化为目标格式的待播放音频和待播放视频；
合成模块，其与所述转化模块连接，用以将所述待播放音频和所述待播放视频进行标记以生成目标播放音频和目标播放视频，根据标记点将所述目标播放音频和目标播放视频进行同步处理合成待播放音视频。
与现有技术相比，本发明的有益效果在于，通过根据节点设备采集发送端发送至接收端的音频信号和视频信号，进而实现对两种信号传输过程的实时监测；根据采集时长判断音频信号和视频信号是否同步；对被判定不同步的音频信号和视频信号进行采集时间差计算，根据所述采集时间差对被判定不同步的音频信号和视频信号进行调整以使音频信号和视频信号同步，实现对不同步信号的调整，根据接收时间差对被判定暂时同步的音频信号和视频信号进行二次判定，并调整音频信号和视频信号的传输控制方式，通过两次判定使对信号检测更加精确；将接收到的音频信号和视频信号进行缓存并转化为目标格式的待播放音频和待播放视频；将待播放音频和待播放视频进行标记以生成目标播放音频和目标播放视频，根据标记点将所述目标播放音频和目标播放视频进行同步处理合成待播放音视频，通过多次判定传输过程中的音频信号和视频信号是否同步，并及时进行同步调整，再进行同步合成，在传输和制作时都进行同步控制，提高了合成的音视频效果和质量。
尤其，通过根据采集时长判断音频信号和视频信号是否同步，进而对被判定不同步的音频信号和视频信号调整，在传输进行同步控制，进而提高了合成的音视频效果和质量。
尤其，通过对被判定不同步的音频信号和视频信号进行暂停控制，实现音频信号和视频信号的传输同步，在传输时进行同步控制，进而提高合成的音视频效果和质量。
尤其，通过根据接收时间差对被判定暂时同步的音频信号和视频信号进行二次判定，并调整音频信号和视频信号的传输控制方式，使在传输时进行精确地同步控制，提高了合成的音视频效果和质量。
尤其，通过根据接收时间差对被判定暂时同步的音频信号和视频信号进行二次判定，并调整采集音频信号和视频信号的节点设备数量，以实现多频次对音频信号和视频信号的监测，及时传输控制方式以实现信号同步，通过两次判定使对信号检测更加精确；通过多次判定传输过程中的音频信号和视频信号是否同步，并及时进行同步调整，再进行同步合成，在传输时进行同步控制，进而提高合成的音视频效果和质量。
尤其，通过将待播放音频和待播放视频进行标记以生成目标播放音频和目标播放视频，根据标记点将所述目标播放音频和目标播放视频进行同步处理合成待播放音视频，通过在制作时进行同步控制，提高了合成的音视频效果和质量。
尤其，通过将接收到的音频信号和视频信号进行缓存并转化为目标格式的待播放音频和待播放视频；将待播放音频和待播放视频进行标记以生成目标播放音频和目标播放视频，根据标记点将所述目标播放音频和目标播放视频进行同步处理合成待播放音视频，通过多次判定传输过程中的音频信号和视频信号是否同步，并及时进行同步调整，在进行同步合成，在传输和制作时都进行同步控制，提高了合成的音视频效果和质量。
附图说明
图1为本发明实施例提供的并行信号同步控制方法的流程示意图；
图2为本发明实施例提供的并行信号同步控制系统的结构示意图；
图3为本发明实施例提供的并行信号同步控制系统中的调整模块的结构示意图。
具体实施方式
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示，本发明实施例提供的并行信号同步控制方法包括：
步骤 S110，根据节点设备采集发送端发送至接收端的音频信号和视频信号；
步骤S120，对所述音频信号和所述视频信号进行监测以根据采集时长判断音频信号和视频信号是否同步；
步骤S130，对被判定不同步的音频信号和视频信号进行采集时间差计算，根据所述采集时间差对被判定不同步的音频信号和视频信号进行调整以使音频信号和视频信号同步，根据接收时间差对被判定暂时同步的音频信号和视频信号进行二次判定，并调整音频信号和视频信号的传输控制方式；
步骤S140，将接收到的音频信号和视频信号进行缓存并转化为目标格式的待播放音频和待播放视频；
步骤S150，将所述待播放音频和所述待播放视频进行标记以生成目标播放音频和目标播放视频，根据标记点将所述目标播放音频和目标播放视频进行同步处理合成待播放音视频。
具体而言，在音频信号和视频信号从发送端到接收端传输的过程中对两种信号进行同步监测，并对不同步的音频信号和视频信号进行提前调整，以使接收端接收的并行信号是同步的，接收端为音视频播放端；本方法适用于带有字幕的待播放音视频同步控制，如为视频配音；所述节点设备设置于发送端与接收端之间，其与发送端的距离为发送端到接收端的距离的n分之一，n＞1，可根据实际情况自行设置，其中，距离为相对直线距离；待播放音频的目标格式可以为MP3、RM等常见格式，待播放视频的目标格式可以为MOV、RM、AVI和WMV等，实际的格式可根据实际需求自行设置。
具体而言，本发明实施例通过根据节点设备采集发送端发送至接收端的音频信号和视频信号，进而实现对两种信号传输过程的实时监测；根据采集时长判断音频信号和视频信号是否同步；对被判定不同步的音频信号和视频信号进行采集时间差计算，根据所述采集时间差对被判定不同步的音频信号和视频信号进行调整以使音频信号和视频信号同步，实现对不同步信号的调整，根据接收时间差对被判定暂时同步的音频信号和视频信号进行二次判定，并调整音频信号和视频信号的传输控制方式，通过两次判定使对信号检测更加精确；将接收到的音频信号和视频信号进行缓存并转化为目标格式的待播放音频和待播放视频；将待播放音频和待播放视频进行标记以生成目标播放音频和目标播放视频，根据标记点将所述目标播放音频和目标播放视频进行同步处理合成待播放音视频，通过多次判定传输过程中的音频信号和视频信号是否同步，并及时进行同步调整，再进行同步合成，在传输和制作时都进行同步控制，提高了合成的音视频效果和质量。
具体而言，在对所述音频信号和所述视频信号进行监测时，分别获取所述节点设备采集到音频信号和视频信号的第一采集时长和第二采集时长，根据所述第一采集时长和第二采集时长判断音频信号和视频信号是否同步的三类判断方式，其中，
第一类判断方式为所述第一采集时长大于所述第二采集时长，则判定所述音频信号和所述视频信号不同步，且判定音频信号传输异常；
第二类判断方式为所述第一采集时长等于所述第二采集时长，则判定所述音频信号和所述视频信号暂时同步；
第三类判断方式为所述第一采集时长小于所述第二采集时长，则判定所述音频信号和所述视频信号不同步，且判定视频信号传输异常。
具体而言，采集时长越长说明该信号传输越慢。
具体而言，本发明实施例通过根据采集时长判断音频信号和视频信号是否同步，进而对被判定不同步的音频信号和视频信号调整，在传输进行同步控制，进而提高了合成的音视频效果和质量。
具体而言，根据被判定不同步的视频信号和音频信号进行采集时间差计算时，若判定所述音频信号传输异常，则第一采集时间差＝第一采集时长－第二采集时长；
若判定所述视频信号传输信号异常，则第二采集时间差＝第二采集时长－第一采集时长。
具体而言，根据所述采集时间差对被判定不同步的视频信号和音频信号进行调整的两类调整方式，其中，
第一类调整方式为判定所述音频信号传输异常时，控制所述节点设备暂停所述视频信号传输；
第二类调整方式为判定所述视频信号传输异常时，控制所述节点设备暂停所述音频信号传输；
控制所述节点设备暂停所述视频信号或音频信号传输的暂停时间为所述采集时间差，其中，暂停视频信号传输的暂停时间为所述第一采集时间差，暂停音频信号传输的暂停时间为所述第二采集时间差。
具体而言，本发明实施例通过对被判定不同步的音频信号和视频信号进行暂停控制，实现音频信号和视频信号的传输同步，在传输时进行同步控制，进而提高合成的音视频效果和质量。
具体而言，在判定所述音频信号和所述视频信号暂时同步时，控制所述接收端接收音频信号和视频信号，并二次判断音频信号和所述视频信号是否同步，其中，
若所述接收端同时接收到所述音频信号和所述视频信号，则二次判断音频信号和视频信号同步，并在接收完毕后将音频信号和视频信号进行缓存；
若所述接收端先接收到所述音频信号，则二次判断音频信号和视频信号不同步，控制接收端先将音频信号进行缓存，并等待接收完视频信号，将接收完毕的视频信号进行缓存；
若所述接收端先接收到所述视频信号，则二次判断音频信号和视频信号不同步，控制接收端先将视频信号进行缓存，并等待接收完音频信号，将接收完毕的音频信号进行缓存。
具体而言，控制接收端用以防止接收端接收到某一信号后直接对其进行处理后播放，致使另一信号慢于该信号，进而使播放不同步。
具体而言，本发明实施例通过根据接收时间差对被判定暂时同步的音频信号和视频信号进行二次判定，并调整音频信号和视频信号的传输控制方式，使在传输时进行精确地同步控制，提高了合成的音视频效果和质量。
具体而言，在二次判断音频信号和视频信号不同步时，计算所述接收端分别对音频信号和视频信号接收完毕时的接收时间差，根据接收时间差调整音频信号和视频信号的传输控制方式的两类调整方式，其中，
第一类调整方式为若所述接收时间差大于预设接收时间差，则调整节点设备的数量；
第二类调整方式为若所述接收时间差小于等于预设接收时间差，则不调整节点设备的数量。
具体而言，所述接收时间差等于音频信号接收完毕时间和视频信号接收完毕时间的差值，预设时间差为根据实验测得，在未有节电设备时，接收端接收音频信号和视频信号的平均时间差为预设时间差；增加的节点设备的采集方式和控制方式和上述第一个节点设备一样，在此不再赘述。
具体而言，本发明实施例通过根据接收时间差对被判定暂时同步的音频信号和视频信号进行二次判定，并调整采集音频信号和视频信号的节点设备数量，以实现多频次对音频信号和视频信号的监测，及时传输控制方式以实现信号同步，通过两次判定使对信号检测更加精确；通过多次判定传输过程中的音频信号和视频信号是否同步，并及时进行同步调整，再进行同步合成，在传输时进行同步控制，进而提高合成的音视频效果和质量。
具体而言，在调整节点设备的数量时，根据预设调整系数得到节电设备的目标数量，并将目标数量的节电设备设置于发送端与接收端之间，其设置距离＝总距离/目标数量。
具体而言，总距离为发送端到接收端的相对直线距离。
具体而言，在将所述待播放音频和所述待播放视频进行标记时，对待播放音频进行语音识别以得到识别文字，对识别文字进行分句，并记录每个分句的开始时间和结束时间，根据开始时间和结束时间对待播放音频进行标记以生成目标播放音频；
对所述待播放视频的每帧图像进行字幕识别，当识别到字幕时记录每个字幕出现的字幕开始时间和字幕结束时间，根据字幕开始时间和字幕结束时间对待播放视频进行标记以生成目标播放视频。
具体而言，如待播放音频包括三个分句，对应的时间分别是1min12s-1min22s，2min34s-2min40s，3min18s-3min25s，待播放视频包括三个字幕，对应的时间分别是1min12s-1min22s，2min34s-2min40s，3min18s-3min23s，根据时间对对应位置的音频和视频进行标记。
具体而言，本发明实施例通过将待播放音频和待播放视频进行标记以生成目标播放音频和目标播放视频，根据标记点将所述目标播放音频和目标播放视频进行同步处理合成待播放音视频，通过在制作时进行同步控制，提高了合成的音视频效果和质量。
具体而言，在将所述目标播放音频和所述目标播放视频进行同步处理合成待播放音视频时，将每个分句的开始时间、结束时间和对应字幕的字幕开始时间、字幕结束时间进行对比，将对比失败的音频段和视频段中长时间差的音频段或视频段进行压缩以使时间差等于短时间差，将调整的音频段或视频段对应的目标播放音频或目标播放视频进行重新标记，根据调整的标记点将重新标记的目标播放音频和目标播放视频的进行合成以得到待播放音视频。
具体而言，如待播放音频的第三个分句时间（3min18s-3min25s）和待播放视频的第三个字幕时间（3min18s-3min23s）不同，将时间差长的音频段进行加速处理以使其时间也为3min18s-3min23s，重新根据第三个字幕时间3min18s-3min23s对待播放音频的对应位置进行标记，将目标播放音频和目标播放视频的对应标记点进行对准并合成一个文件待播放音视频。
具体而言，本发明实施例通过将接收到的音频信号和视频信号进行缓存并转化为目标格式的待播放音频和待播放视频；将待播放音频和待播放视频进行标记以生成目标播放音频和目标播放视频，根据标记点将所述目标播放音频和目标播放视频进行同步处理合成待播放音视频，通过多次判定传输过程中的音频信号和视频信号是否同步，并及时进行同步调整，在进行同步合成，在传输和制作时都进行同步控制，提高了合成的音视频效果和质量。
请参阅图2所示，本发明实施例提供的并行信号同步控制系统包括：
采集模块210，其与节点设备连接，用以根据节点设备采集发送端发送至接收端的音频信号和视频信号；
监测模块220，其与所述采集模块连接，用以对所述音频信号和所述视频信号进行监测以根据采集时长判断音频信号和视频信号是否同步，
调整模块230，其分别与所述监测模块和所述节点设备连接，用以对被判定不同步的音频信号和视频信号进行采集时间差计算，根据所述采集时间差对被判定不同步的音频信号和视频信号进行调整以使音频信号和视频信号同步，根据接收时间差对被判定暂时同步的音频信号和视频信号进行二次判定，并调整音频信号和视频信号的传输控制方式；
转化模块240，其与所述调整模块连接，用以将接收到的音频信号和视频信号进行缓存并转化为目标格式的待播放音频和待播放视频；
合成模块250，其与所述转化模块连接，用以将所述待播放音频和所述待播放视频进行标记以生成目标播放音频和目标播放视频，根据标记点将所述目标播放音频和目标播放视频进行同步处理合成待播放音视频。
具体而言，本发明实施例通过采集模块根据节点设备采集发送端发送至接收端的音频信号和视频信号，进而实现对两种信号传输过程的实时监测；监测模块根据采集时长判断音频信号和视频信号是否同步；调整模块对被判定不同步的音频信号和视频信号进行采集时间差计算，根据所述采集时间差对被判定不同步的音频信号和视频信号进行调整以使音频信号和视频信号同步，实现对不同步信号的调整，根据接收时间差对被判定暂时同步的音频信号和视频信号进行二次判定，并调整音频信号和视频信号的传输控制方式，通过两次判定使对信号检测更加精确；转化模块将接收到的音频信号和视频信号进行缓存并转化为目标格式的待播放音频和待播放视频；合成模块将待播放音频和待播放视频进行标记以生成目标播放音频和目标播放视频，根据标记点将所述目标播放音频和目标播放视频进行同步处理合成待播放音视频，通过多次判定传输过程中的音频信号和视频信号是否同步，并及时进行同步调整，再进行同步合成，在传输和制作时都进行同步控制，提高了合成的音视频效果和质量。
请参阅图3所示，调整模块包括对被判定不同步的音频信号和视频信号进行采集时间差计算的计算单元231，根据所述采集时间差对被判定不同步的音频信号和视频信号进行调整以使音频信号和视频信号同步的第一调整单元232，根据接收时间差对被判定暂时同步的音频信号和视频信号进行二次判定的判定单元233，并调整音频信号和视频信号的传输控制方式的第二调整单元234，所述第一调整单元与所述计算单元连接，所述判定单元与所述第一调整单元连接，所述第二调整单元与所述判定单元连接。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种并行信号同步控制方法，其特征在于，包括：
根据节点设备采集发送端发送至接收端的音频信号和视频信号；
对所述音频信号和所述视频信号进行监测以根据采集时长判断音频信号和视频信号是否同步；
对被判定不同步的音频信号和视频信号进行采集时间差计算，根据所述采集时间差对被判定不同步的音频信号和视频信号进行调整以使音频信号和视频信号同步，根据接收时间差对被判定暂时同步的音频信号和视频信号进行二次判定，并调整音频信号和视频信号的传输控制方式；
将接收到的音频信号和视频信号进行缓存并转化为目标格式的待播放音频和待播放视频；
将所述待播放音频和所述待播放视频进行标记以生成目标播放音频和目标播放视频，根据标记点将所述目标播放音频和目标播放视频进行同步处理合成待播放音视频；
根据所述采集时间差对被判定不同步的视频信号和音频信号进行调整的两类调整方式，其中，
第一类调整方式为判定所述音频信号传输异常时，控制所述节点设备暂停所述视频信号传输；
第二类调整方式为判定所述视频信号传输异常时，控制所述节点设备暂停所述音频信号传输；
控制所述节点设备暂停所述视频信号或音频信号传输的暂停时间为所述采集时间差，其中，暂停视频信号传输的暂停时间为第一采集时间差，暂停音频信号传输的暂停时间为第二采集时间差；
在判定所述音频信号和所述视频信号暂时同步时，控制所述接收端接收音频信号和视频信号，并二次判断音频信号和所述视频信号是否同步，其中，
若所述接收端同时接收到所述音频信号和所述视频信号，则二次判断音频信号和视频信号同步，并在接收完毕后将音频信号和视频信号进行缓存；
若所述接收端先接收到所述音频信号，则二次判断音频信号和视频信号不同步，控制接收端先将音频信号进行缓存，并等待接收完视频信号，将接收完毕的视频信号进行缓存；
若所述接收端先接收到所述视频信号，则二次判断音频信号和视频信号不同步，控制接收端先将视频信号进行缓存，并等待接收完音频信号，将接收完毕的音频信号进行缓存；
在二次判断音频信号和视频信号不同步时，计算所述接收端分别对音频信号和视频信号接收完毕时的接收时间差，根据接收时间差调整音频信号和视频信号的传输控制方式的两类调整方式，其中，
第一类调整方式为若所述接收时间差大于预设接收时间差，则调整节点设备的数量；
第二类调整方式为若所述接收时间差小于等于预设接收时间差，则不调整节点设备的数量；
在调整节点设备的数量时，根据预设调整系数得到节电设备的目标数量，并将目标数量的节电设备设置于发送端与接收端之间，其设置距离＝总距离/目标数量。
2.根据权利要求1所述的并行信号同步控制方法，其特征在于，在对所述音频信号和所述视频信号进行监测时，分别获取所述节点设备采集到音频信号和视频信号的第一采集时长和第二采集时长，根据所述第一采集时长和第二采集时长判断音频信号和视频信号是否同步的三类判断方式，其中，
第一类判断方式为所述第一采集时长大于所述第二采集时长，则判定所述音频信号和所述视频信号不同步，且判定音频信号传输异常；
第二类判断方式为所述第一采集时长等于所述第二采集时长，则判定所述音频信号和所述视频信号暂时同步；
第三类判断方式为所述第一采集时长小于所述第二采集时长，则判定所述音频信号和所述视频信号不同步，且判定视频信号传输异常。
3.根据权利要求2所述的并行信号同步控制方法，其特征在于，根据被判定不同步的视频信号和音频信号进行采集时间差计算时，若判定所述音频信号传输异常，则第一采集时间差＝第一采集时长－第二采集时长；
若判定所述视频信号传输信号异常，则第二采集时间差＝第二采集时长－第一采集时长。
4.根据权利要求3所述的并行信号同步控制方法，其特征在于，在将所述待播放音频和所述待播放视频进行标记时，对待播放音频进行语音识别以得到识别文字，对识别文字进行分句，并记录每个分句的开始时间和结束时间，根据开始时间和结束时间对待播放音频进行标记以生成目标播放音频；
对所述待播放视频的每帧图像进行字幕识别，当识别到字幕时记录每个字幕出现的字幕开始时间和字幕结束时间，根据字幕开始时间和字幕结束时间对待播放视频进行标记以生成目标播放视频。
5.根据权利要求4所述的并行信号同步控制方法，其特征在于，在将所述目标播放音频和所述目标播放视频进行同步处理合成待播放音视频时，将每个分句的开始时间、结束时间和对应字幕的字幕开始时间、字幕结束时间进行对比，将对比失败的音频段和视频段中长时间差的音频段或是频段进行压缩以使时间差等于短时间差，将调整的音频段或视频段对应的目标播放音频或目标播放视频进行重新标记，根据调整的标记点将重新标记的目标播放音频和目标播放视频的进行合成以得到待播放音视频。
6.一种应用如权利要求1-5任一所述的并行信号同步控制方法的并行信号同步控制系统，其特征在于，包括：
采集模块，其与节点设备连接，用以根据节点设备采集发送端发送至接收端的音频信号和视频信号；
监测模块，其与所述采集模块连接，用以对所述音频信号和所述视频信号进行监测以根据采集时长判断音频信号和视频信号是否同步；
调整模块，其分别与所述监测模块和所述节点设备连接，用以对被判定不同步的音频信号和视频信号进行采集时间差计算，根据所述采集时间差对被判定不同步的音频信号和视频信号进行调整以使音频信号和视频信号同步，根据接收时间差对被判定暂时同步的音频信号和视频信号进行二次判定，并调整音频信号和视频信号的传输控制方式；
转化模块，其与所述调整模块连接，用以将接收到的音频信号和视频信号进行缓存并转化为目标格式的待播放音频和待播放视频；
合成模块，其与所述转化模块连接，用以将所述待播放音频和所述待播放视频进行标记以生成目标播放音频和目标播放视频，根据标记点将所述目标播放音频和目标播放视频进行同步处理合成待播放音视频。
CN202310307283.3A 2023-03-27 2023-03-27 一种并行信号同步控制方法及系统 Active CN116248930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310307283.3A CN116248930B (zh) 2023-03-27 2023-03-27 一种并行信号同步控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310307283.3A CN116248930B (zh) 2023-03-27 2023-03-27 一种并行信号同步控制方法及系统

Publications (2)

Publication Number Publication Date
CN116248930A CN116248930A (zh) 2023-06-09
CN116248930B true CN116248930B (zh) 2024-02-23

Family

ID=86635881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310307283.3A Active CN116248930B (zh) 2023-03-27 2023-03-27 一种并行信号同步控制方法及系统

Country Status (1)

Country Link
CN (1) CN116248930B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303713A (ja) * 2004-04-13 2005-10-27 Kenwood Corp 映像音声伝送システム、映像音声送信装置、映像音声受信装置、および映像音声伝送方法
CN103167320A (zh) * 2011-12-15 2013-06-19 中国电信股份有限公司 音视频同步方法、系统及手机直播客户端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303713A (ja) * 2004-04-13 2005-10-27 Kenwood Corp 映像音声伝送システム、映像音声送信装置、映像音声受信装置、および映像音声伝送方法
CN103167320A (zh) * 2011-12-15 2013-06-19 中国电信股份有限公司 音视频同步方法、系统及手机直播客户端

Also Published As

Publication number Publication date
CN116248930A (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
US8745432B2 (en) Delay controller, control method, and communication system
US8982219B2 (en) Receiving device and camera system
EP1474906B1 (en) Clock-based time slicing
CN100450163C (zh) 一种移动多媒体广播视音频同步播放的方法
US9723193B2 (en) Transmitting device, receiving system, communication system, transmission method, reception method, and program
CA2775318C (en) Method and system for wireless communication of audio in wireless networks
CN103546662A (zh) 一种网络监控系统中音视频同步方法
CN101237586A (zh) 音视频缓存同步播放的方法
CN102158881B (zh) 一种全面评估3g视频电话质量的方法和装置
CN102196319A (zh) 一种流媒体直播业务系统及实现方法
CN101202613B (zh) 一种用于时钟同步的终端
US8873590B2 (en) Apparatus and method for correcting jitter
WO2008028367A1 (fr) Procédé permettant de réaliser des pistes audio multimédia pour un système de diffusion multimédia mobile
CN116248930B (zh) 一种并行信号同步控制方法及系统
EP2493126A1 (en) Method and system for clock recovery in packet switched network
CN107277593B (zh) 同屏视频播放方法以及装置
EP0909099A2 (en) Communications system for transmission of multimedia digital data and a method therefor
JP2002535934A (ja) リファレンス信号情報を規定時間間隔で配信する方法および装置
CN104579625B (zh) 基于arm和cpld的drm单频网同步实现方法
CN103269448A (zh) 基于rtp/rtcp反馈预警算法实现音视频同步方法
CN113905026A (zh) 一种流媒体视频数据处理方法、装置及存储介质
CN101202918B (zh) 一种终端校正时钟的方法
CN114979739B (zh) 视频通信中的音频处理方法及系统
CN112929731B (zh) 一种多媒体交换机系统
CN113079351B (zh) 数据网关、视频监控时间校准方法和监控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant