CN112270919B - 视频会议自动补音的方法、系统、存储介质及电子设备 - Google Patents

视频会议自动补音的方法、系统、存储介质及电子设备 Download PDF

Info

Publication number
CN112270919B
CN112270919B CN202010962350.1A CN202010962350A CN112270919B CN 112270919 B CN112270919 B CN 112270919B CN 202010962350 A CN202010962350 A CN 202010962350A CN 112270919 B CN112270919 B CN 112270919B
Authority
CN
China
Prior art keywords
packet
audio stream
stream data
data packet
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010962350.1A
Other languages
English (en)
Other versions
CN112270919A (zh
Inventor
李璐
陈洪浩
冯文澜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Suirui Audio Visual Technology Co ltd
Suirui Technology Group Co Ltd
Original Assignee
Shenzhen Suirui Audio Visual Technology Co ltd
Suirui Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Suirui Audio Visual Technology Co ltd, Suirui Technology Group Co Ltd filed Critical Shenzhen Suirui Audio Visual Technology Co ltd
Priority to CN202010962350.1A priority Critical patent/CN112270919B/zh
Publication of CN112270919A publication Critical patent/CN112270919A/zh
Application granted granted Critical
Publication of CN112270919B publication Critical patent/CN112270919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种视频会议自动补音的方法、系统、存储介质及电子设备，其中视频会议自动补音的方法包括：发送端麦克风拾音形成音频流数据包；发送端开启语音识别功能，将音频流数据包转为文字信息包；接收端同时接收音频流数据包及文字信息包；接收端对音频流数据包进行检测，判断音频流数据包是否丢包；当发生丢包时，接收端将已接收的音频流数据包的时间戳与已接收的文字信息包的时间戳进行比对，找到音频流数据包丢包区域相对应的文字信息包；接收端开启语音合成功能，将与丢包区域相对应的文字信息包生成音频数据。借此，本发明的视频会议自动补音的方法、系统、存储介质及电子设备，可以对丢失音频智能还原，且自动补全。

Description

视频会议自动补音的方法、系统、存储介质及电子设备
技术领域
本发明是关于视频多媒体通信技术领域，特别是关于一种视频会议自动 补音的方法、系统、存储介质及电子设备。
背景技术
视频会议、指挥调度过程中，目前基于网络变化导致音频丢失情况，主 要采用音频前向纠错，加到音频冗余等算法，保障在一定网络损伤的情况下 保障音频质量。
以上方案号称支持网络丢包率30％的情况下音频能够保持流畅。但是存 在对带宽要求高，而往往丢包率高的环境，带宽普遍偏低无法满足音频流畅 的需求。
现有技术方案主要侧重点在于尽可能的通过智能算法自动补充部分音频 数据或者发送更多的音频数据，确保即使丢失部分也不影响整体效果。智能 算法自动补充只能解决丢失一两个数据包的情况，而发送更多冗余包的做法 会增加网络带宽，对带宽要求高。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解， 而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员 所公知的现有技术。
发明内容
本发明的目的在于提供一种视频会议自动补音的方法、系统、存储介质 及电子设备，其能够对丢失音频智能还原，且自动补全。
为实现上述目的，本发明一方面提供了一种视频会议自动补音的方法、 系统、存储介质及电子设备，其中视频会议自动补音的方法包括：发送端麦 克风拾音形成音频流数据包；发送端开启语音识别功能，将音频流数据包转 为文字信息包；接收端同时接收音频流数据包及文字信息包；接收端对音频 流数据包进行检测，判断音频流数据包是否丢包；当发生丢包时，接收端将 已接收的音频流数据包的时间戳与已接收的文字信息包的时间戳进行比对， 找到音频流数据包丢包区域相对应的文字信息包；接收端开启语音合成功能， 将与丢包区域相对应的文字信息包生成音频数据；将音频数据补充至丢包的 音频流数据包相对应的时间戳中。
在本发明的一实施方式中，接收端对所述音频流数据包进行检测，判断 所述音频流数据包是否丢包包括：预设时间内未收到音频流数据包，则判断 音频流数据包发生预设丢包；预设时间内接收到音频流数据包，当音频流数 据包的丢包数量超过丢包预设值时，则判断音频流数据包发生预设丢包。
在本发明的一实施方式中，音频流数据包的丢包预设值为三个。
在本发明的一实施方式中，生成音频数据的时间范围小于丢包起始时间， 大于丢包结束时间。
在本发明的一实施方式中，将音频数据补充至丢包的音频流数据包相对 应的时间戳中包括：截取生成音频数据中与丢包的音频流数据包相对应的音 频数据，补充至丢包的音频流数据包相对应的时间戳中。
本发明另一方面提供了一种视频会议自动补音的系统，包括发送端以及 接收端。发送端包括音频流模块、语音识别模块及发送模块。音频流模块用 以通过麦克风拾音形成音频流数据包；语音识别模块用以将音频流数据包转 为文字信息包。接收端包括接收模块、检测判断模块、对比模块、语音合成 模块及音频数据补充模块。接收模块用以接收发送端的发送模块发送的音频 流数据包和文字信息包；检测判断模块用以对音频流数据包进行检测，并判 断音频流数据包是否丢包；当发生丢包时，对比模块用以将已接收的音频流数据包的时间戳与已接收的文字信息包的时间戳进行比对，找到音频流数据 包丢包区域相对应的文字信息包；语音合成模块用以将与丢包区域相对应的 文字信息包生成音频数据；音频数据补充模块用以将音频数据补充至丢包的 音频流数据包相对应的时间戳中。
在本发明的一实施方式中，检测判断模块对音频流数据包进行检测，并 判断音频流数据包是否丢包包括：预设时间内未收到音频流数据包，则判断 音频流数据包发生预设丢包；预设时间内接收到音频流数据包，当音频流数 据包的丢包数量超过丢包预设值时，则判断音频流数据包发生预设丢包。
在本发明的一实施方式中，音频流数据包的丢包预设值为三个。
与现有技术相比，根据本发明的视频会议自动补音的方法、系统、存储 介质及电子设备，针对会议的使用场景，当网络状态、或其它原因不稳定时， 可通过语音识别，联合语音合成对丢失音频智能还原并自动补全，确保发言 人说话连续、清晰，且对网络带宽要求更低，还支持网络丢包更大的网络环 境。
附图说明
图1是根据本发明一实施方式的视频会议自动补音的方法的流程示意图；
图2是根据本发明一实施方式的视频会议自动补音的系统的结构示意图；
图3是根据本发明一实施方式的用于执行视频会议自动补音的方法的电 子设备的结构示意图；
图4是根据本发明一实施方式的视频会议自动补音的方法的一示例的参 考示意图；
图5是根据本发明一实施方式的视频会议自动补音的方法的一具体实施 例的流程示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本 发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包 括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或 组成部分，而并未排除其它元件或其它组成部分。
图1是根据本发明一实施方式的视频会议自动补音的方法的流程示意。 如图1所示，第一方面，根据本发明优选实施方式的一种视频会议自动补音 的方法，包括步骤S1至S10：S1，会议开始。S2，发送端麦克风拾音形成音 频流数据包；S3，发送端开启语音识别功能；S4，将音频流数据包转为文字 信息包；S5，接收端同时接收音频流数据包及文字信息包；S6，接收端对音 频流数据包进行检测，判断音频流数据包是否发生预设丢包；S7，当发生预 设丢包时，接收端将已接收的音频流数据包的时间戳与已接收的文字信息包 的时间戳进行比对，找到音频流数据包丢包区域相对应的文字信息包；S8， 接收端开启语音合成功能，将与丢包区域相对应的文字信息包生成音频数据； S9，将音频数据补充至丢包的音频流数据包相对应的时间戳中；S10，播放音 频。
在本发明的一实施方式中，接收端对所述音频流数据包进行检测，判断 所述音频流数据包是否发生预设丢包包括：预设时间内未收到音频流数据包， 则判断音频流数据包发生预设丢包；预设时间内接收到音频流数据包，当音 频流数据包的丢包数量超过丢包预设值时，则判断音频流数据包发生预设丢 包。音频流数据包的丢包预设值为三个。生成音频数据的时间范围小于丢包 起始时间，大于丢包结束时间。将音频数据补充至丢包的音频流数据包相对 应的时间戳中包括：截取生成音频数据中与丢包的音频流数据包相对应的音 频数据，补充至丢包的音频流数据包相对应的时间戳中。
图2是根据本发明一实施方式的视频会议自动补音的系统的结构示意图。 如图2所示，第二方面，本发明另一方面提供了一种视频会议自动补音的系 统，包括发送端1以及接收端2。发送端1包括音频流模块3、语音识别模块 4及发送模块5。音频流模块3用以通过麦克风拾音形成音频流数据包；语音 识别模块4用以将音频流数据包转为文字信息包。接收端2包括接收模块6、 检测判断模块7、对比模块8、语音合成模块9及音频数据补充模块10。接收 模块6用以接收发送端1的发送模块5发送的音频流数据包和文字信息包； 检测判断模块7用以对音频流数据包进行检测，并判断音频流数据包是否丢 包；当发生丢包时，对比模块8用以将已接收的音频流数据包的时间戳与已 接收的文字信息包的时间戳进行比对，找到音频流数据包丢包区域相对应的 文字信息包；语音合成模块9用以将与丢包区域相对应的文字信息包生成音 频数据；音频数据补充模块10用以将音频数据补充至丢包的音频流数据包相 对应的时间戳中。
在本发明的一实施方式中，检测判断模块7对音频流数据包进行检测， 并判断音频流数据包是否丢包包括：预设时间内未收到音频流数据包，则判 断音频流数据包丢包；预设时间内接收到音频流数据包，当音频流数据包的 丢包数量超过丢包预设值时，则判断音频流数据包丢包。音频流数据包的丢 包预设值为三个。
第三方面，本发明实施例还提供了一种存储介质，存储介质存储有计算 机可执行指令，计算机可执行指令用于执行上述的视频会议自动补音的方法。
其中，存储介质可以是计算机能够存取的任何可用介质或数据存储设备， 包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存 储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、 EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
图3是根据本发明一实施方式的用于执行视频会议自动补音的方法的电 子设备的结构示意图。第四方面，图3示出了本发明的另一个实施例的一种 电子设备的结构框图。电子设备1100可以是具备计算能力的主机服务器、个 人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不 对电子设备的具体实现做限定。
该电子设备1100包括至少一个处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory array)1130和总线1140。其 中，处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互 间的通信。
通信接口1120用于与网元通信，其中网元包括例如虚拟机管理中心、共 享存储等。
处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU， 或者是专用集成电路ASIC(Application Specific Integrated Circuit)，或者是被 配置成实施本发明实施例的一个或多个集成电路。
存储器1130用于可执行的指令。存储器1130可能包含高速RAM存储器， 也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储 器。存储器1130也可以是存储器阵列。存储器1130还可能被分块，并且所 述块可按一定的规则组合成虚拟卷。存储器1130存储的指令可被处理器1110 执行，以使处理器1110能够执行上述任意方法实施例中的视频会议自动补音 的方法。
在实际应用中，本发明的视频会议自动补音的方法、系统、存储介质及 电子设备主要分为语音识别、语音合成及音频数据补充三个部分。首先会议 过程中，发言人方(发送端)开启语音识别功能，通过语音识别功能将语音 内容转为文字，该文字内容信息基于单个字或词语记录时间戳，发送到接收 方。同时会议音频流走媒体传输通道也传输到接收方(接收端)。接收方将收 到发言人的音频流和语音识别的文字结果。当接收音频流后，对音频流数据 进行检测，如预设时间内未收到数据包或预设时间内收到数据包，且发现连 续丢包(数据包丢失低于3个不会出现明显的卡顿)3个，则认为出现了音频 丢失，需要查看已接收数据的时间戳，根据时间戳，比对文字的时间戳，找 到对应的的文字内容，确认文字内容后根据内容使用语音合成技术，生成音 频数据，然后将音频数据补充到音频流中，确保音频流完整。
图4是根据本发明一实施方式的视频会议自动补音的方法的一示例的参 考示意图。如图4所示，举例：于2020年6月30下午组织召开2019年度业 务总结。首先由销售运营一部总结，一部负责人刘某通过视频接入会议：例 如正在叙述的以下内容：“向各位领导汇报，运营一部2019度***为5500万， 实际合同额4800万，完成率为87％。其中新开发客户有两家南京**、合肥**” 此时，由于网络不好造成了其它与会人员并未听清具体内容，造成了失音的 问题。而此方案通过本发明的视频会议自动补音的方法，当刘某发言时，自 动开启语音识别功能，将语音识别内容转为文字，并将已转换的带有时间戳 的文字内容发送到接收方。同时音频流检测，当收到数据包序号1～10000后， 突然收到了10005的数据包，说明音频发生了丢失，此时查询10000序号的 数据包，查询包结束时间戳为00:15:10,003，查询10005的开始时间戳为 00:15:10,081；根据10.003比对文字内容时间戳，发现“完成”两个字的时间 戳为00:15:09,981～00:15:10,153(差值172ms)。
假设“完成”两个字的原始数据包围a2，此时将“完成”两个字生成音 频数据b2。将00:15:09,981～00:15:10,153(大于丢失音频时间段)之间的音频 a2(00:15:09,981～00:15:10,153之间的原始音频数据包)全部替换为根据文字 生成的音频数据b2。
作为一例，为了使替换的音频不突兀，将“完成”两个字生成音频数据 b2。之后截取音频数据b2时间戳为00:15:10,003～00:15:10,081(差值75ms) 的音频数据b1(即与丢失时间段完全相应时间段的数据)，将音频数据b1替 换原始音频a1，与音频流进行合并播放。从而参会方听到了完整的音频。使 得“完成”二字并非完全是文字转音频的播放，而是与原始音频的合成，使 播放出来的音频更为自然地过渡。因为音频数据会比视频数据快200ms左右， 音频的补充是在这段时间内完成，使用该技术不会导致音视频延时加大。
图5是根据本发明一实施方式的视频会议自动补音的方法的一具体实施 例的流程示意图。如图5所示，会议开启后：
S101：对音频流进行检测；
S102：是否开始接收到音频流数据包？
若是进入下一步S103；
若否返回S101继续检测。
S103：检测上一包起第一预设时间内是否接收到下一包？
若是进入下一步S104；
若否进入S106进行第一次补音(预设时间内未接到下一包说明丢包已远 远超过3包，(结束会议除外))(此时采用对上一包起至预设时间为止进行补 音)。
S104：从上一包起第一预设时间内是否存在丢包？
若是进入S105判断丢包数；
若否返回S103继续检测收到下一包的情况。
S105：丢包数是否超过第一预设包数？
若是进入S106进行一次补音；
若否返回S103继续检测收到下一包的情况。
S106：从上一个包结束时刻起至下一包开始时刻(或经过第一预设时间) 为止进行补音。
其中，接到下一包时采用补音至下一个包，未接到时补第一预设时长的 音。
S107：从上一个包结束时刻起第二预设时间内是否收到下一包？
若是收到下一包说明补音后重新开始收到包，可以返回S104继续监控丢 包情况。
若否说明一直在丢包，在采用现有技术修补包的情况外，本发明采用两 次补音。即进入S109进行二次补音。
S108-是否结束会议，该流程应该是一直在监控的，若结束会议，一切程 序结束。
若否；
S109：从上一个补音结束时刻起至第二预设时间结束时刻为止进行二次 补音。
结束补音后进入S107步骤继续监控补音后是否接收到下一包。
如上述流程中，其中，第一预设包数为2个包，第一预时间小于200ms， 优选70s-180s之间的数字，例如可以是100s，以保证在相应视频数据播放前 完成补音。
其中，第二预设时间可以与第一预设时间相同，但由于第二预设时间是 前面未接收到包，而一直在丢包的状态下进行的，因此第二预设时间优选小 于第二预设时间，如可以是80s。
总之，本发明的视频会议自动补音的方法、系统、存储介质及电子设备， 针对会议的使用场景，当网络状态、或其它原因不稳定时，可通过语音识别， 联合语音合成对丢失音频智能还原并自动补全，确保发言人说话连续、清晰， 且对网络带宽要求更低，还支持网络丢包更大的网络环境。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或 计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、 或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个 其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘 存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产 品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图 和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程 和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、 嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通 过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流 程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的 装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设 备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器 中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或 多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上， 使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的 处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图 一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。 这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述 教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在 于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实 现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。 本发明的范围意在由权利要求书及其等同形式所限定。

Claims (8)

1.一种视频会议自动补音的方法，其特征在于，包括：
发送端麦克风拾音形成音频流数据包；
所述发送端开启语音识别功能，将所述音频流数据包转为文字信息包；
接收端同时接收所述音频流数据包及所述文字信息包；
所述接收端对所述音频流数据包进行检测，判断所述音频流数据包是否丢包；
当发生丢包时，所述接收端将已接收的所述音频流数据包的时间戳与已接收的所述文字信息包的时间戳进行比对，找到所述音频流数据包丢包区域相对应的所述文字信息包；
所述接收端开启语音合成功能，将与丢包区域相对应的所述文字信息包生成音频数据；以及
将所述音频数据补充至丢包的所述音频流数据包相对应的时间戳中；
其中，所述接收端对所述音频流数据包进行检测，判断所述音频流数据包是否丢包包括：
预设时间内未收到所述音频流数据包，则判断所述音频流数据包发生预设丢包；及
预设时间内接收到所述音频流数据包，当所述音频流数据包的丢包数量超过丢包预设值时，则判断所述音频流数据包发生预设丢包。
2.如权利要求1所述的视频会议自动补音的方法，其特征在于，所述音频流数据包的所述丢包预设值为三个。
3.如权利要求1所述的视频会议自动补音的方法，其特征在于，所述生成音频数据的时间范围小于丢包起始时间，大于丢包结束时间。
4.如权利要求3所述的视频会议自动补音的方法，其特征在于，将所述音频数据补充至丢包的所述音频流数据包相对应的时间戳中包括：
截取所述生成音频数据中与丢包的所述音频流数据包相对应的音频数据，补充至丢包的所述音频流数据包相对应的时间戳中。
5.一种视频会议自动补音的系统，其特征在于，包括：
发送端，包括：
音频流模块，用以通过麦克风拾音形成音频流数据包；
语音识别模块，用以将所述音频流数据包转为文字信息包；及
发送模块；以及
接收端，包括：
接收模块，用以接收所述发送端的所述发送模块发送的所述音频流数据包和所述文字信息包；
检测判断模块，用以对所述音频流数据包进行检测，并判断所述音频流数据包是否丢包；
对比模块，当发生丢包时，所述对比模块用以将已接收的所述音频流数据包的时间戳与已接收的所述文字信息包的时间戳进行比对，找到所述音频流数据包丢包区域相对应的所述文字信息包；
语音合成模块，用以将与丢包区域相对应的所述文字信息包生成音频数据；及
音频数据补充模块，用以将所述音频数据补充至丢包的所述音频流数据包相对应的时间戳中；
其中，所述检测判断模块对所述音频流数据包进行检测，并判断所述音频流数据包是否丢包包括：
预设时间内未收到所述音频流数据包，则判断所述音频流数据包发生预设丢包；及
预设时间内接收到所述音频流数据包，当所述音频流数据包的丢包数量超过丢包预设值时，则判断所述音频流数据包发生预设丢包。
6.如权利要求5所述的视频会议自动补音的系统，其特征在于，所述音频流数据包的丢包预设值为三个。
7.一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-4任意一项所述的视频会议自动补音的方法。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4任意一项所述的视频会议自动补音的方法。
CN202010962350.1A 2020-09-14 2020-09-14 视频会议自动补音的方法、系统、存储介质及电子设备 Active CN112270919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010962350.1A CN112270919B (zh) 2020-09-14 2020-09-14 视频会议自动补音的方法、系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010962350.1A CN112270919B (zh) 2020-09-14 2020-09-14 视频会议自动补音的方法、系统、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112270919A CN112270919A (zh) 2021-01-26
CN112270919B true CN112270919B (zh) 2022-11-22

Family

ID=74349474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010962350.1A Active CN112270919B (zh) 2020-09-14 2020-09-14 视频会议自动补音的方法、系统、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112270919B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115442273B (zh) * 2022-09-14 2023-04-07 润芯微科技(江苏)有限公司 一种基于语音识别的音频传输完整性监控方法和装置
CN115567470A (zh) * 2022-09-21 2023-01-03 润芯微科技(江苏)有限公司 一种音频丢包补偿处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188110A (zh) * 2006-11-17 2008-05-28 陈健全 提高文本和语音匹配效率的方法
CN102223406A (zh) * 2011-06-09 2011-10-19 华平信息技术股份有限公司 音频信息网络数字化实时传输系统及方法
CN107393544A (zh) * 2017-06-19 2017-11-24 维沃移动通信有限公司 一种语音信号修复方法及移动终端
CN110349581A (zh) * 2019-05-30 2019-10-18 平安科技（深圳）有限公司 语音和文字转换传输方法、系统、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100547654C (zh) * 2004-07-21 2009-10-07 松下电器产业株式会社 语音合成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188110A (zh) * 2006-11-17 2008-05-28 陈健全 提高文本和语音匹配效率的方法
CN102223406A (zh) * 2011-06-09 2011-10-19 华平信息技术股份有限公司 音频信息网络数字化实时传输系统及方法
CN107393544A (zh) * 2017-06-19 2017-11-24 维沃移动通信有限公司 一种语音信号修复方法及移动终端
CN110349581A (zh) * 2019-05-30 2019-10-18 平安科技（深圳）有限公司 语音和文字转换传输方法、系统、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112270919A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN112270919B (zh) 视频会议自动补音的方法、系统、存储介质及电子设备
CN111147907B (zh) 多智能终端同步播放的方法、装置、系统及智能终端
US8762580B2 (en) Common event-based multidevice media playback
US11792464B2 (en) Determining context to initiate interactivity
US8355433B2 (en) Encoding video streams for adaptive video streaming
CN105448312B (zh) 音频同步播放方法、装置及系统
CN103841268A (zh) 信息处理方法和信息处理装置
CN107277594A (zh) 一种视音频与弹幕同步方法及装置
CN105898502A (zh) 音视频同步播放的方法及装置
US9461900B2 (en) Signal processing apparatus and signal processing method thereof
US10187432B2 (en) Replaying content of a virtual meeting
WO2015143896A1 (zh) 基于耳机插座的外接设备识别电路、方法、装置和系统
CN104937919A (zh) 基于公共事件的多设备媒体播放
CN109828742B (zh) 音频多路同步输出方法、计算机装置及计算机可读存储介质
CN111627463A (zh) 语音vad尾点确定方法及装置、电子设备和计算机可读介质
CN111162971A (zh) 一种时延确定方法及装置
CN115631738A (zh) 音频数据处理方法、装置、电子设备及存储介质
WO2022218165A1 (zh) 接收和发送音频数据包的方法、装置、电子设备
US8615153B2 (en) Multi-media data editing system, method and electronic device using same
CN109495776B (zh) 一种音频发送、播放的方法及智能终端
KR20030086376A (ko) 오디오 스트림의 버퍼링 제어 방법 및 그 장치
CN111352605A (zh) 一种音频播放、发送的方法及装置
CN110096250B (zh) 一种音频数据处理方法、装置、电子设备及存储介质
CN113261300B (zh) 音频发送、播放的方法及智能电视
CN108429929B (zh) 一种音轨播放方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221028

Address after: 518000 Unit 1208, Floor 12, Building A, Zone 2, Shenzhen Bay Science and Technology Ecological Park, No. 3609, Baishi Road, High tech District Community, Yuehai Street, Nanshan District, Shenzhen, Guangdong

Applicant after: Shenzhen Suirui Audio Visual Technology Co.,Ltd.

Applicant after: Suirui Technology Group Co.,Ltd.

Address before: 100192 building 19, Aobei Science Park, 1 Baosheng South Road, Haidian District, Beijing

Applicant before: Suirui Technology Group Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant