CN115002134A - 会议数据同步方法、系统、装置、设备以及存储介质 - Google Patents

会议数据同步方法、系统、装置、设备以及存储介质 Download PDF

Info

Publication number
CN115002134A
CN115002134A CN202210551924.5A CN202210551924A CN115002134A CN 115002134 A CN115002134 A CN 115002134A CN 202210551924 A CN202210551924 A CN 202210551924A CN 115002134 A CN115002134 A CN 115002134A
Authority
CN
China
Prior art keywords
conference
transcription result
data
server
state information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210551924.5A
Other languages
English (en)
Inventor
江鹏
黄伟琦
夏帅
唐睿坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210551924.5A priority Critical patent/CN115002134A/zh
Publication of CN115002134A publication Critical patent/CN115002134A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开提供了一种会议数据同步方法、系统、装置、设备以及存储介质,涉及涉及计算机技术领域,尤其涉及人工智能、语音技术领域。具体实现方案为:获取拾音设备发送的会议音视频流;对会议音视频流进行文字转换,得到转写结果;确定会议状态信息;将至少包括转写结果和会议状态信息的会议数据同步至用户设备,本公开可以实现会议数据的同步。

Description

会议数据同步方法、系统、装置、设备以及存储介质
技术领域
本公开涉及计算机技术领域,尤其涉及人工智能、语音技术等领域。
背景技术
会议是有组织、有领导、有目的的议事活动,可以是在限定的时间按照一定的程序进行的,会议的主要功能包括决策、控制、协调和教育等。
随着社会的发展,科技的进步,企业等在正常运转过程中会遇到各种各样的难题,通常需要进行会议解决。在日常会议中,通常要对会议的内容进行记录,例如,需要对与会人员发言的内容进行整理、记录。
发明内容
本公开提供了一种会议数据同步方法、系统、装置、设备以及存储介质。
根据本公开的第一方面,提供了一种会议数据同步方法,包括:
获取拾音设备发送的会议音视频流;
对所述会议音视频流进行文字转换,得到转写结果;
确定会议状态信息;
将至少包括所述转写结果和所述会议状态信息的会议数据同步至用户设备。
根据本公开的第二方面,提供了一种会议数据同步方法,包括:
接收服务端推送的会议数据,所述会议数据至少包括转写结果和会议状态信息,所述转写结果是所述服务端对拾音设备发送的会议音视频流进行文字转换得到的;
展示所述会议数据。
根据本公开的第三方面,提供了一种会议数据同步系统,包括:拾音设备、服务端和用户设备;
所述拾音设备,用于将会议音视频流发送给服务端;
所述服务端,用于获取所述会议音视频流;对所述会议音视频流进行文字转换,得到转写结果;确定会议状态信息;将至少包括所述转写结果和所述会议状态信息的会议数据发送给用户设备;
所述用户设备,用于接收所述服务端推送的所述会议数据,并展示所述会议数据。
根据本公开的第四方面,提供了一种会议数据同步装置,包括:
获取模块,用于获取拾音设备发送的会议音视频流;
文字转换模块,用于对所述会议音视频流进行文字转换,得到转写结果;
确定模块,用于确定会议状态信息;
同步模块,用于将至少包括所述转写结果和所述会议状态信息的会议数据同步至用户设备。
根据本公开的第五方面,提供了一种会议数据同步装置,包括:
第一接收模块,用于接收服务端推送的会议数据,所述会议数据至少包括转写结果和会议状态信息,所述转写结果是所述服务端对拾音设备发送的会议音视频流进行文字转换得到的;
展示模块,用于展示所述会议数据。
根据本公开的第六方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述第一方面或第二方面中任一项所述的方法。
根据本公开的第七方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据第一方面或第二方面中任一项所述的方法。
根据本公开的第八方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据第一方面或第二方面中任一项所述的方法。
本公开实施例中,获取拾音设备发送的会议音视频流;对会议音视频流进行文字转换,得到转写结果;确定会议状态信息;将至少包括转写结果和会议状态信息的会议数据同步至用户设备,如此,可以实现会议数据的同步。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是本公开实施例提供的会议数据同步系统的结构图;
图2是本公开实施例提供的会议数据同步方法的一种流程图;
图3是本公开实施例提供的会议数据同步方法的另一种流程图;
图4是本公开实施例提供的会议数据同步方法的又一种流程图;
图5是应用本公开实施例提供的会议数据同步方法的示意图;
图6是本公开实施例提供的会议数据同步装置的一种结构示意图;
图7是本公开实施例提供的会议数据同步装置的另一种结构示意图;
图8是本公开实施例提供的会议数据同步装置的又一种结构示意图;
图9是本公开实施例提供的会议数据同步装置的再一种结构示意图;
图10是本公开实施例提供的会议数据同步装置的又一种结构示意图;
图11是用来实现本公开实施例的会议数据同步方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开实施例提供了一种会议数据同步系统,如图1所示,可以包括:拾音设备101、服务端102和用户设备103。
拾音设备101,用于将会议音视频流发送给服务端102;
服务端102,用于获取拾音设备发送的会议音视频流;对会议音视频流进行文字转换,得到转写结果;确定会议状态信息;将至少包括转写结果和会议状态信息的会议数据发送给用户设备103;
用户设备103,用于接收服务端102推送的会议数据,并展示会议数据。
本公开实施例可以实现会议数据的同步。
参照图1,对本公开实施例提供的会议数据同步系统进行详细说明。
拾音设备101,用于将会议音视频流发送给服务端102。
拾音设备101可以有1个,或者也可以是多个,如2个、3个或者更多个。每个拾音设备101可以分别将自身得到的会议音视频流发送给服务端102。
会议音视频流可以包括拾音设备针对发言用户采集得到的音视频流,也可以包括拾音设备在会议中播放的音视频流。
会议音视频流可以包括音频流与视频流中的至少一种。
一个例子中,拾音设备针对发言用户进行音视频采集,也可以理解为针对发言用户进行拾音,得到会议音视频流,并将得到的会议音视频流发送给服务端。
服务端102,用于获取拾音设备发送的会议音视频流;对会议音视频流进行文字转换,得到转写结果;确定会议状态信息;将至少包括转写结果和会议状态信息的会议数据发送给用户设备103。
用户设备是不同于拾音设备的另一设备,本公开实施例中不对用户设备作限制,例如,用户设备可以理解为同步用户对应的设备,其中,同步用户可以理解为不同于发言用户的另外的用户。
服务端102获取会议音视频流,会议音视频流是拾音设备发送给服务端的;对会议音视频流进行文字转换,得到转写结果;确定会议状态信息;将至少包括转写结果和会议状态信息的会议数据发送给用户设备的步骤在下面实施例中会进行详细说明,这里暂不赘述。
用户设备103,用于接收服务端102发送的会议数据,并展示会议数据。
用户设备103可以有1个,或者也可以是多个,如2个、3个或者更多个。
一种可实现方式中,由发言用户进行会议过程中的操作,例如,操作会议状态的变化,而同步用户展示会议数据,如此,多用户进行同一会议的场景下,一个用户,如即发言用户可以说话发言,同时可以操作会议开始,暂停,结束等,此时,同步用户可以实时看到会议的转写结果,并且实时响应到会议的状态变化。
一种可选地实施例中,服务端102还可以将转写结果发送给拾音设备。这种情况下,拾音设备不仅具有音视频采集功能,还具有接收数据的功能,例如,拾音设备为电脑、手机等。如此,拾音设备在将会议音视频流发送给服务端后,可以接收到该会议音视频流对应的转写结果。
服务端通过与拾音设备建立长链接,向拾音设备发送转写结果。
服务端与拾音设备通过长链接进行数据通信。
另外,拾音设备还可以具有数据展示功能,如此,拾音设备在接收到服务端发送的转写结果后还可以将转写结果进行展示。
本公开实施例可以实现多用户开始同一会议时,多用户间会议数据进行同步展示,会议状态进行同步展示的场景。
一个例子中,本公开实施例中发言用户可以理解为写用户,同步用户可以理解为读用户,则可以实现多用户进行同一会议时,读写用户分离操作,写用户进行拾音,转写,读用户进行会议数据的同步展示,展示的数据包括,音频数据如会议音视频流,转写结果,会议状态变化信息等。
一种可选的实施例中,用户设备103可以接收用户指令,用户指令用于指示针对转写结果进行处理,得到处理后的转写结果;将处理后的转写结果发送给服务端102。
服务端102用于将处理后的转写结果推送给拾音设备101。
具体地,服务端102可以接收用户设备103发送的处理后的转写结果;将处理后的转写结果发送给拾音设备101。
如此,可以实现处理后的转写结果的同步。
本公开实施例提供了一种会议数据同步方法,可以包括:
获取拾音设备发送的会议音视频流;
对会议音视频流进行文字转换,得到转写结果;
确定会议状态信息;
将至少包括转写结果和会议状态信息的会议数据发送给用户设备。
本公开实施例可以实现会议数据的同步。
本公开实施例可以实现多用户进行同一会议时,读写用户分离操作,发言用户通过拾音设备进行拾音,服务端进行转写,用户设备进行会议数据的同步展示,如此,用户设备对应的同步用户可以响应会议数据,如看到会议数据、对会议数据进行处理如修改、删除等。
参照图2,本公开实施例提供的会议数据同步方法可以包括如下步骤:S201至S204,其中,图2所示会议数据同步方法应用于服务端,也即服务端执行S201至S204。
S201,获取拾音设备发送的会议音视频流。
拾音设备可以有1个,或者也可以是多个,如2个、3个或者更多个。每个拾音设备可以分别将自身得到的会议音视频流发送给服务端。
会议音视频流可以包括拾音设备针对发言用户采集得到的音视频流,也可以包括拾音设备在会议中播放的音视频流。
一种可实现方式中,拾音设备可以具有音频流采集功能;另一种可实现方式中,拾音设备不仅具有音视频流采集功能,还具有接收和/或展示数据等功能。
会议音视频流可以包括音频流与视频流中的至少一种。
S202,对会议音视频流进行文字转换,得到转写结果。
文字转换可以理解为将会议音视频中的语音数据转写为文字数据的过程。转写结果即会议音视频流对应的文字数据。
一种情况下,会议音视频流仅包括音频流,可以直接对该音频流进行文字转换,得到转写结果。
另一种情况下,会议音视频流除了音频流还包括视频流,或者会议音视频流仅包括视频流,可以先提取会议音视频流中的音频数据,再将音频数据进行文字转换,得到转写结果。
一种可实现方式中,服务端可以通过自动语音识别(Automatic SpeechRecognition,ASR)对会议音视频流进行文字转换,得到转写结果。
S203,确定会议状态信息。
会议状态信息包括表示会议状态的信息。
会议状态信息可以包括会议状态变化信息。一种可实现方式中,响应于会议状态发生变化,获取会议状态变化信息。
会议状态变化信息可以表示会议状态变化的类型和时间,其中,会议状态变化的类型可以包括会议开始、暂停、结束等。例如,会议状态变化信息包括:时间点1会议开始,时间点2会议暂停,时间点3会议结束,等等。
用户例如发言用户操作会议状态,例如,操作会议开始,暂停,结束等,拾音设备可以响应会议状态的变化,并将会议状态的变化同步给服务端,如此,服务端响应于会议状态发生变化,获取会议状态变化信息。
针对会议状态的变化,获取会议状态变化信息,能够及时地得到会议状态的变化情况,并及时地同步会议状态的变化,使得用户设备及时地响应会议状态的变化。
S204,将至少包括转写结果和会议状态信息的会议数据同步至用户设备。
会议数据也可以理解为数字会议纪要。
用户设备是不同于拾音设备的另一设备,本公开实施例中不对用户设备作限制,例如,用户设备可以理解为同步用户对应的设备,其中,同步用户可以理解为不同于发言用户的另外的用户。
如此,同步用户可以通过用户设备看到会议数据。
一种可实现方式中,会议数据包括转写结果和会议状态信息。服务端可以将转写结果和会议状态信息同步给用户设备。
另一种可实现方式中,会议数据可以包括转写结果、会议状态信息和会议音视频流。服务端除了可以将转写结果和会议状态信息同步给用户设备,也可以将会议音视频流同步给用户设备。
一种可实现方式中,服务端将至少包括转写结果和会议状态信息的会议数据发送给用户设备。即服务端与用户设备交互,以将会议数据同步至用户设备。
例如,服务端得到会议数据后,直接将会议数据发送给用户设备,或者,服务端得到会议数据后,先将会议数据保存至本地,从本地获取会议数据发送给用户设备。
本公开实施例不对服务端向用户设备发送会议数据的方式进行限制,只要能够实现将会议数据发送给用户设备即可。例如,服务端可以主动将会议数据发送给用户设备,或者,用户设备触发数据获取流程,如服务端接收到用户设备发送的获取请求,将会议数据发送给用户设备。
一种情况下,用户设备可以与服务端建立长链接,也可以理解为,用户设备和服务端通过长链接进行数据通信。服务端通过与用户设备建立长链接,向用户设备发送至少包括转写结果和会议状态信息的会议数据。
其中,长链接可以包括传输控制协议(Transmission Control Protocol,TCP)长链接、WebSocket(在单个TCP连接上进行全双工通信的协议)长链接等等。
用户设备与服务端建立长链接,可以实现在服务端有会议数据发送给用户设备的情况下,及时地将会议数据发送给用户设备,且相比较于通过轮询检测的方式,通过长链接可以节省数据传输资源。
另一种可实现方式中,服务端将会议数据存储至不同于服务端的另外的设备,如此,用户设备可以从该另外的设备中获取会议数据,以实现将会议数据同步至用户设备。
一种可选地实施例中,响应于执行异步推送,服务端可以将至少包括转写结果和会议状态信息的会议数据存储至数据库。
从数据库中获取至少包括转写结果和会议状态信息的会议数据,并将会议数据推送给用户设备。
例如,当服务端性能不满足预设条件,如处理速率小于预设值,预设值可以根据实际需求或者经验等确定,服务端同步执行多个步骤的压力比较大,这种情况下,确定服务端执行异步推送。这种情况下,在对会议音视频流进行文字转换,得到转写结果、确定会议状态信息之后,服务端可以将至少包括转写结果和会议状态信息的会议数据存储至数据库,再从数据库中获取至少包括转写结果和会议状态信息的会议数据,并将会议数据推送给用户设备。
数据库可以是服务端本地的数据库,或者,也可以是不同于服务端的另外的设备的数据库。
数据库是服务端本地的数据库的情况下,服务端可以从数据库中获取至少包括转写结果和会议状态信息的会议数据,并将会议数据发送给用户设备。
数据库是不同于服务端的另外的设备的数据库的情况下,用户设备可以与该另外的设备进行交互,以从数据库中获取会议数据。
本公开实施例中不对数据库的形式作限制,只要能够实现数据的存储即可。
可以理解,数据库起到缓存的作用,如此,服务端可以将至少包括转写结果和会议状态信息的会议数据发送给用户设备步骤与实现获取会议音视频流;对会议音视频流进行文字转换,得到转写结果;确定会议状态信息等步骤的异步执行,一方面,降低数据会议发送的复杂度;另一方面,可以降低对服务端的处理压力。
一种可实现方式中,数据库可以是消息队列。例如远程字典服务(RemoteDictionary Server,Redis)消息队列。Redis具有读写速度快、持久化存储、支持主从模式,可以配置集群等特点,本公开实施例中采用Redis存储会议数据,可以提高会议数据的读写速度,且可以避免断电或重启后,会议数据丢失,另外,Redis支持主从模式,可以实现通过配置集群实现对会议数据进行处理,提高处理能力,且对针对会议数据的读取操作的可扩展性和数据冗余很有帮助。
一种可选地实施例中,服务端还可以将转写结果发送给拾音设备。这种情况下,拾音设备不仅具有音视频采集功能,还具有接收和/或展示数据等功能,例如,拾音设备为电脑、手机等。如此,拾音设备在将会议音视频流发送给服务端后,可以接收到该会议音视频流对应的转写结果,拾音设备和用户设备可以同步转写结果。
服务端通过与拾音设备建立长链接,向拾音设备发送转写结果。
服务端与拾音设备通过长链接进行数据通信。
另外,还可以具有数据展示功能,如此,拾音设备在接收到服务端发送的转写结果后还可以将转写结果进行展示。
例如,发言用户通过拾音设备点击会议开始,也可以理解为进入会议,拾音设备与服务端建立Websocket长链接,拾音设备可以通过Websocket长链接获取转写结果,并同步展示。
一种可选的实施例中,用户设备接收服务端发送的会议数据,展示会议数据之后,可以接收用户指令,用户指令用于指示针对转写结果进行处理,得到处理后的转写结果;将处理后的转写结果发送给服务端,服务端用于将处理后的转写结果推送给拾音设备。
例如,发言用户所说的话中涉及敏感词汇,则得到的转写结果中涉及敏感词汇,这种情况下,用户设备展示转写结果后,不同于发言用户的另一用户如记录用户可以通过用户设备对转写结果中的敏感词汇进行处理,如修改或者删除等。其中,记录用户可以是同步用户中的一个或多个。具体地,用户设备可以接收记录用户发送的用户指令,根据该用户指令的指示对转写结果进行处理,如修改或者删除,用户设备将得到的处理后的转写结果发送给服务端。
如此,服务端可以接收用户设备发送的处理后的转写结果;将处理后的转写结果发送给拾音设备。其中,处理后的转写结果是按照用户指令对转写结果进行处理得到的。
一方面可以对转写结果进行处理,并同步处理后的转写结果,支持会议记录场景下转写过程中对转写结果调整的需求;另一方面,可以支持发言用户专心会议,会议的记录等由另外的用户来完成的会议场景。
一个具体的例子中,本公开实施例提供的会议数据同步方法可以应用于线下会议的场景。具体地,拾音设备针对发言用户进行拾音,得到会议音视频流,并将会议音视频流发送给服务端,如这里的会议音视频流是发言用户发言的音频数据。
服务端获取会议音视频流;对会议音视频流进行文字转换,得到转写结果;确定会议状态信息;将至少包括转写结果和会议状态信息的会议数据发送给用户设备。
用户设备可以是包括记录用户在内的多个同步用户(例如记录员)所对应的设备。
如此,包括记录用户在内的同步用户可以看到转写结果,以及可以响应会议状态的变化。
一种情况下,发言用户所说的话中涉及敏感词汇,则得到的转写结果中涉及敏感词汇,这种情况下,用户设备展示转写结果后,记录用户可以通过用户设备对转写结果中的敏感词汇进行处理,如修改或者删除等,则用户设备可以接收记录用户的用户指令,并根据该用户指令针对转写结果进行处理,得到处理后的转写结果,并将处理后的转写结果发送给服务端。
服务端可以接收用户设备发送的处理后的转写结果;将处理后的转写结果发送给拾音设备,如此发言用户也可以同步处理后的转写结果。
这种情况下,一方面可以对转写结果进行处理,并同步处理后的转写结果,支持会议记录场景下转写过程中对转写结果调整的需求;另一方面,可以支持发言用户专心会议,会议的记录等由另外的用户如记录用户来完成,适用于一些特定会议场景。
本公开实施例可以实现多用户开始同一会议时,多用户间会议数据进行同步展示,会议状态进行同步展示的场景。
本公开实施例还提供了一种会议数据同步方法,可以包括:
接收服务端发送的会议数据,会议数据至少包括转写结果和会议状态信息,转写结果是服务端对拾音设备发送的会议音视频流进行文字转换得到的;
展示会议数据。
本公开实施例中用户设备可以同步并展示会议数据。
参照图3,本公开实施例提供的会议数据同步方法可以包括如下步骤:S301至S302,其中,图3所示会议数据同步方法应用于用户设备,也即用户设备执行S301至S302。
S301,接收服务端发送的会议数据。
会议数据至少包括转写结果和会议状态信息,转写结果是服务端对拾音设备发送的会议音视频流进行文字转换得到的。
S302,展示会议数据。
用户设备可以按照数据类型的不同,即区分数据类型,例如,转写结果是一种类型,会议状态信息是另一种类型,可以分类展示转写结果和会议状态信息。服务端除了可以将转写结果和会议状态信息发送给用户设备,也可以将会议音视频流发送给用户设备,则音视频流数据为另一种类型,会议数据可以包括转写结果、会议状态信息和会议音视频流,可以分类展示转写结果、会议状态信息和会议音视频流。
一种可实现方式中,用户设备可以将会议数据展示在会议转写页面。
一种可选地实施例中,如图4所示,还可以包括:
S401,接收用户指令,用户指令用于指示针对转写结果进行处理,得到处理后的转写结果。
S402,将处理后的转写结果发送给服务端,服务端用于将处理后的转写结果推送给拾音设备。
例如,发言用户所说的话中涉及敏感词汇,则得到的转写结果中涉及敏感词汇,这种情况下,用户设备展示转写结果后,不同于发言用户的另一用户如记录用户可以通过用户设备对转写结果中的敏感词汇进行处理,如修改或者删除等,具体地,用户设备可以接收记录用户发送的用户指令,根据该用户指令的指示对转写结果进行处理,如修改或者删除,用户设备将得到的处理后的转写结果发送给服务端。
如此,服务端可以接收用户设备发送的处理后的转写结果,并将处理后的转写结果发送给拾音设备。
一方面可以对转写结果进行处理,并同步处理后的转写结果,支持会议记录场景下转写过程中对转写结果调整的需求;另一方面,可以支持发言用户专心会议,会议的记录等由另外的用户来完成的会议场景。
一个具体的实施例中,如图5所示。
拾音设备针对发言用户进行音视频采集,也可以理解为针对发言用户进行拾音,得到会议音视频流,并将得到的会议音视频流发送给服务端。这里所说的会议音视频流可以为发言用户的音频数据。其中,发言用户也可以理解为转写用户。
服务端接收到该音频数据后,通过ASR对会议音视频流进行文字转换,得到转写结果,也可以理解为对音频数据进行语音转写,得到转写结果。服务端将音频数据和该转写结果推送至Redis。
同步用户例如只读用户1、只读用户2可以从Redis中获取音频数据和该转写结果。
具体地,同步用户通过用户设备获取音频数据和该转写结果。同步用户打开会议,判断当前会议已经开始,进入只读状态,与服务端建立Websocket长链接。
另外,发言用户操作会议状态,例如,操作会议开始,暂停,结束等,拾音设备可以响应会议状态的变化,并将会议状态的变化同步给服务端,如此,服务端响应于会议状态发生变化,获取会议状态变化信息,并将会议状态信息推送至Redis。
用户设备与服务端通过Websocket长链接进行数据通信,从Redis中获取转写结果、音频数据和会议状态信息,并将转写结果、音频数据和会议状态信息发送给用户设备,如此,同步用户可以接收这些数据,看到转写结果,并响应会议状态的变化。
服务端还可以将转写结果推送给拾音设备,拾音设备也可以展示该转写结果,如此,发言用户也即转写用户可以通过拾音设备看到转写结果。
具体地,拾音设备与服务端建立Websocket长链接,服务端得到转写结果后,通过Websocket长链接将转写结果发送给拾音设备。或者,服务端从Redis中获取转写结果,通过Websocket长链接将转写结果发送给拾音设备。
使用Redis消息队列技术,可以支持多用户间的数据同步展示。
本公开实施例还提供了一种会议数据同步装置,如图6所示,可以包括:
获取模块601,用于获取拾音设备发送的会议音视频流;
文字转换模块602,用于对会议音视频流进行文字转换,得到转写结果;
确定模块603,用于确定会议状态信息;
同步模块604,用于将至少包括转写结果和会议状态信息的会议数据同步至用户设备。
可选地,确定模块603,还用于响应于会议状态发生变化,获取会议状态变化信息,会议状态信息包括会议状态变化信息。
可选地,同步模块604,具体用于通过与用户设备建立长链接,向用户设备推送至少包括转写结果和会议状态信息的会议数据。
可选地,同步模块604,具体用于响应于执行异步推送,将至少包括转写结果和会议状态信息的会议数据存储至数据库;从数据库中获取至少包括转写结果和会议状态信息的会议数据,并将会议数据推送给用户设备。
可选地,如图7所示,装置还包括:
第一推送模块701,用于将转写结果推送给拾音设备。
可选地,如图8所示,装置还包括:
接收模块801,用于接收用户设备发送的处理后的转写结果,处理后的转写结果是按照用户指令对转写结果进行处理得到的;
第二推送模块802,用于将处理后的转写结果推送给拾音设备。
本公开实施例还提供了一种会议数据同步装置,如图9所示,可以包括:
第一接收模块901,用于接收服务端推送的会议数据,会议数据至少包括转写结果和会议状态信息,转写结果是服务端对拾音设备发送的会议音视频流进行文字转换得到的;
展示模块902,用于展示会议数据。
可选地,如图10所示,装置还包括:
第二接收模块1001,用于接收用户指令,用户指令用于指示针对转写结果进行处理,得到处理后的转写结果;
发送模块1002,用于将处理后的转写结果发送给服务端,服务端用于将处理后的转写结果推送给拾音设备。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图11所示,电子设备1100包括计算单元1101,其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序,来执行各种适当的动作和处理。在RAM 1103中,还可存储电子设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
电子设备1100中的多个部件连接至I/O接口1105,包括:输入单元1106,例如键盘、鼠标等;输出单元1107,例如各种类型的显示器、扬声器等;存储单元1108,例如磁盘、光盘等;以及通信单元1109,例如网卡、调制解调器、无线通信收发机等。通信单元1109允许电子设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理,例如会议数据同步方法。例如,在一些实施例中,会议数据同步方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1108。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到电子设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时,可以执行上文描述的会议数据同步方法的一个或多个步骤。备选地,在其他实施例中,计算单元1101可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行会议数据同步方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (20)

1.一种会议数据同步方法,包括:
获取拾音设备发送的会议音视频流;
对所述会议音视频流进行文字转换,得到转写结果;
确定会议状态信息;
将至少包括所述转写结果和所述会议状态信息的会议数据同步至用户设备。
2.根据权利要求1所述的方法,其中,所述确定会议状态信息,包括:
响应于会议状态发生变化,获取会议状态变化信息,所述会议状态信息包括所述会议状态变化信息。
3.根据权利要求1所述的方法,其中,所述将至少包括所述转写结果和所述会议状态信息的会议数据同步至用户设备,包括:
通过与所述用户设备建立长链接,向所述用户设备推送所述至少包括所述转写结果和所述会议状态信息的会议数据。
4.根据权利要求1所述的的方法,其中,所述将至少包括所述转写结果和所述会议状态信息的会议数据同步至用户设备,包括:
响应于执行异步推送,将所述至少包括所述转写结果和所述会议状态信息的会议数据存储至数据库;
从数据库中获取所述至少包括所述转写结果和所述会议状态信息的会议数据,并将所述会议数据推送给所述用户设备。
5.根据权利要求1所述的方法,所述方法还包括:
将所述转写结果推送给所述拾音设备。
6.根据权利要求1至5任一项所述的方法,所述方法还包括:
接收所述用户设备发送的处理后的转写结果,所述处理后的转写结果是按照用户指令对所述转写结果进行处理得到的;
将所述处理后的转写结果推送给所述拾音设备。
7.一种会议数据同步方法,包括:
接收服务端推送的会议数据,所述会议数据至少包括转写结果和会议状态信息,所述转写结果是所述服务端对拾音设备发送的会议音视频流进行文字转换得到的;
展示所述会议数据。
8.根据权利要求7所述的方法,所述方法还包括:
接收用户指令,所述用户指令用于指示针对所述转写结果进行处理,得到处理后的转写结果;
将所述处理后的转写结果发送给所述服务端,所述服务端用于将所述处理后的转写结果推送给所述拾音设备。
9.一种会议数据同步系统,包括:拾音设备、服务端和用户设备;
所述拾音设备,用于将会议音视频流发送给服务端;
所述服务端,用于获取所述会议音视频流;对所述会议音视频流进行文字转换,得到转写结果;确定会议状态信息;将至少包括所述转写结果和所述会议状态信息的会议数据发送给用户设备;
所述用户设备,用于接收所述服务端推送的所述会议数据,并展示所述会议数据。
10.一种会议数据同步装置,包括:
获取模块,用于获取拾音设备发送的会议音视频流;
文字转换模块,用于对所述会议音视频流进行文字转换,得到转写结果;
确定模块,用于确定会议状态信息;
同步模块,用于将至少包括所述转写结果和所述会议状态信息的会议数据同步至用户设备。
11.根据权利要求10所述的装置,其中,所述确定模块,还用于响应于会议状态发生变化,获取会议状态变化信息,所述会议状态信息包括所述会议状态变化信息。
12.根据权利要求10所述的装置,其中,所述同步模块,具体用于通过与所述用户设备建立长链接,向所述用户设备推送所述至少包括所述转写结果和所述会议状态信息的会议数据。
13.根据权利要求10所述的的装置,其中,所述同步模块,具体用于响应于执行异步推送,将所述至少包括所述转写结果和所述会议状态信息的会议数据存储至数据库;从所述数据库中获取至少包括所述转写结果和所述会议状态信息的会议数据,并将所述会议数据推送给所述用户设备。
14.根据权利要求10所述的装置,所述装置还包括:
第一推送模块,用于将所述转写结果推送给所述拾音设备。
15.根据权利要求10至14任一项所述的装置,所述装置还包括:
接收模块,用于接收所述用户设备发送的处理后的转写结果,所述处理后的转写结果是按照用户指令对所述转写结果进行处理得到的;
第二推送模块,用于将所述处理后的转写结果推送给所述拾音设备。
16.一种会议数据同步装置,包括:
第一接收模块,用于接收服务端推送的会议数据,所述会议数据至少包括转写结果和会议状态信息,所述转写结果是所述服务端对拾音设备发送的会议音视频流进行文字转换得到的;
展示模块,用于展示所述会议数据。
17.根据权利要求16所述的装置,所述装置还包括:
第二接收模块,用于接收用户指令,所述用户指令用于指示针对所述转写结果进行处理,得到处理后的转写结果;
发送模块,用于将所述处理后的转写结果发送给所述服务端,所述服务端用于将所述处理后的转写结果推送给所述拾音设备。
18.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
19.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
20.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
CN202210551924.5A 2022-05-18 2022-05-18 会议数据同步方法、系统、装置、设备以及存储介质 Pending CN115002134A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210551924.5A CN115002134A (zh) 2022-05-18 2022-05-18 会议数据同步方法、系统、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210551924.5A CN115002134A (zh) 2022-05-18 2022-05-18 会议数据同步方法、系统、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN115002134A true CN115002134A (zh) 2022-09-02

Family

ID=83027964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210551924.5A Pending CN115002134A (zh) 2022-05-18 2022-05-18 会议数据同步方法、系统、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN115002134A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112969000A (zh) * 2021-02-25 2021-06-15 北京百度网讯科技有限公司 网络会议的控制方法、装置、电子设备和存储介质
CN113242358A (zh) * 2021-04-25 2021-08-10 百度在线网络技术(北京)有限公司 音频数据处理方法、装置、系统、电子设备及存储介质
CN114168710A (zh) * 2021-12-08 2022-03-11 北京百度网讯科技有限公司 一种会议记录的生成方法、装置、系统、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112969000A (zh) * 2021-02-25 2021-06-15 北京百度网讯科技有限公司 网络会议的控制方法、装置、电子设备和存储介质
CN113242358A (zh) * 2021-04-25 2021-08-10 百度在线网络技术(北京)有限公司 音频数据处理方法、装置、系统、电子设备及存储介质
CN114168710A (zh) * 2021-12-08 2022-03-11 北京百度网讯科技有限公司 一种会议记录的生成方法、装置、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
US10956480B2 (en) System and method for generating dialogue graphs
CN112100352A (zh) 与虚拟对象的对话方法、装置、客户端及存储介质
CN112069353B (zh) 音乐播放控制方法、装置、存储介质及电子设备
CN114168710A (zh) 一种会议记录的生成方法、装置、系统、设备及存储介质
US20230169978A1 (en) Automated Audio-to-Text Transcription in Multi-Device Teleconferences
CN113111658B (zh) 校验信息的方法、装置、设备和存储介质
CN113724398A (zh) 增强现实方法、装置、设备以及存储介质
KR20210040330A (ko) 비디오 클립 추출 방법 및 장치
CN113299285A (zh) 设备控制方法、装置、电子设备及计算机可读存储介质
CN115002134A (zh) 会议数据同步方法、系统、装置、设备以及存储介质
KR20220056836A (ko) 음성 응답 속도 결정 방법, 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체 및 컴퓨터 프로그램
CN113852835A (zh) 直播音频处理方法、装置、电子设备以及存储介质
CN114743540A (zh) 语音识别方法、系统、电子设备和存储介质
CN113873323A (zh) 视频播放方法、装置、电子设备和介质
CN114242067A (zh) 语音识别方法、装置、设备和存储介质
CN114267358B (zh) 音频处理方法、装置、设备及存储介质
EP4120245A2 (en) Method and apparatus for processing audio data, and electronic device
CN114501112B (zh) 用于生成视频笔记的方法、装置、设备、介质和产品
CN114221940B (zh) 音频数据处理方法、系统、装置、设备以及存储介质
CN114205715B (zh) 音频数据处理方法、装置、电子设备以及存储介质
CN113674755B (zh) 语音处理方法、装置、电子设备和介质
CN113553836B (zh) 对话词典的更新方法、装置、电子设备及存储介质
US11871068B1 (en) Techniques for detecting non-synchronization between audio and video
CN113971955A (zh) 会议信息处理方法、装置、电子设备及存储介质
CN113823283A (zh) 信息处理的方法、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination