CN110427099A - 信息记录方法、装置、系统、电子设备以及信息获取方法 - Google Patents

信息记录方法、装置、系统、电子设备以及信息获取方法 Download PDF

Info

Publication number
CN110427099A
CN110427099A CN201910578439.5A CN201910578439A CN110427099A CN 110427099 A CN110427099 A CN 110427099A CN 201910578439 A CN201910578439 A CN 201910578439A CN 110427099 A CN110427099 A CN 110427099A
Authority
CN
China
Prior art keywords
information
electronic equipment
voice messaging
remote session
text information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910578439.5A
Other languages
English (en)
Inventor
胡永涛
贺杰
戴景文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Virtual Reality Technology Co Ltd
Original Assignee
Guangdong Virtual Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Virtual Reality Technology Co Ltd filed Critical Guangdong Virtual Reality Technology Co Ltd
Priority to CN201910578439.5A priority Critical patent/CN110427099A/zh
Publication of CN110427099A publication Critical patent/CN110427099A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请实施例公开了一种信息记录方法、装置、系统、电子设备以及信息获取方法。该方法包括:接收远程会话中的电子设备对应的语音信息,该语音信息为电子设备在显示虚拟画面时,采集的电子设备对应的用户的发言数据,其中,该虚拟画面包括远程会话中的多个电子设备中的至少部分电子设备对应的虚拟内容,对语音信息进行处理,获得与语音信息对应的文本信息,根据该文本信息生成该远程会话的会话记录信息。本申请实施例通过对参与远程会话的电子设备在显示虚拟画面的过程中采集的语音信息进行处理,生成远程会话的会话记录信息,以自动对远程会话进行会话记录,方便快捷且会话记录准确。

Description

信息记录方法、装置、系统、电子设备以及信息获取方法
技术领域
本申请涉及显示技术领域,更具体地,涉及一种信息记录方法、装置、系统、电子设备以及信息获取方法。
背景技术
近年来,随着网络技术和科学技术的快速发展,远程会话(例如,远程会议、远程授课、远程聊天等)变得越来越常见。通常的远程会话,是通过支持远程会话的设备将用户语音和图像进行传递,以及接收并显示远程会话的其他设备回传的语音和图像,再对采集的图像进行显示并播放相应的语音。
发明内容
本申请实施例提出了一种信息记录方法、装置、系统、电子设备以及信息获取方法,以自动对远程会话进行会话记录,方便快捷且会话记录准确。
第一方面,本申请实施提供了一种会议记录方法,方法包括:接收远程会话中的电子设备对应的语音信息,语音信息为电子设备在显示虚拟画面时,采集的电子设备对应的用户的发言数据,其中,虚拟画面包括远程会话中的多个电子设备中的至少部分电子设备对应的虚拟内容;
对语音信息进行处理,获得与语音信息对应的文本信息;根据文本信息生成远程会话的会话记录信息。
第二方面,本申请实施例提供了一种信息获取方法,方法包括:向服务器发送会话记录查看请求,会话记录查看请求包括远程会话标识;接收服务器基于会话记录查看请求返回的与远程会话标识对应的会话记录信息;显示会话记录信息,会话记录信息包括文本信息,文本信息与远程会话中的一个或多个电子设备采集的语音信息对应;当检测到作用于会话记录信息中的目标元素的触控操作时,响应触控操作获取与会话记录信息对应的完整信息并输出显示。
第三方面,本申请实施例提供了一种信息记录装置,装置包括:接收模块,用于接收远程会话中的电子设备对应的语音信息,语音信息为电子设备在显示虚拟画面时,采集的电子设备对应的用户的发言数据,其中,虚拟画面包括远程会话中的多个电子设备中的至少部分电子设备对应的虚拟内容;处理模块,用于对语音信息进行处理,获得与语音信息对应的文本信息;生成模块,用于根据文本信息生成远程会话的会话记录信息。
第四方面,本申请实施例提供了一种信息记录系统,包括服务器和电子设备,其中:电子设备,用于显示虚拟画面,虚拟画面包括远程会话中的多个电子设备中的至少部分电子设备对应的虚拟内容;电子设备,用于采集语音信息,语音信息为电子设备对应的用户的发言数据;服务器,用于接收远程会话中的电子设备对应的语音信息;服务器,用于对语音信息进行处理,获得与语音信息对应的文本信息;服务器,用于根据文本信息生成远程会话的会话记录信息。
第五方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于执行上述方法。
第六方面,本申请实施例提供了一种计算机可读取存储介质,计算机可读取存储介质中存储有程序代码,程序代码可被处理器调用执行上述方法。本申请实施例提供的信息记录方法、装置、系统、电子设备以及信息获取方法,接收远程会话中的电子设备对应的语音信息,该语音信息为电子设备在显示虚拟画面时,采集的电子设备对应的用户的发言数据,其中,该虚拟画面包括远程会话中的多个电子设备中的至少部分电子设备对应的虚拟内容,对语音信息进行处理,获得与语音信息对应的文本信息,根据该文本信息生成该远程会话的会话记录信息,从而通过对参与远程会话的电子设备在显示虚拟画面的过程中采集的语音信息进行处理,生成远程会话的会话记录信息,以自动对远程会话进行会话记录,方便快捷且会话记录准确。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了一种适用于本申请实施例的应用场景的示意图;
图2示出了另一种适用于本申请实施例的应用场景的示意图;
图3示出了本申请一个实施例提供的信息记录方法的时序图;
图4示出了本申请实施例提供的远程会话场景的一种效果示意图;
图5示出了本申请实施例提供的远程会话场景的又一种效果示意图;
图6示出了本申请实施例提供的远程会话场景的再一种效果示意图;
图7示出了本申请又一个实施例提供的信息记录方法的流程示意图;
图8示出了本申请再一个实施例提供的信息记录方法的流程示意图;
图9示出了本申请的图8所示的信息记录方法的步骤S320的流程示意图;
图10示出了本申请另一个实施例提供的信息记录方法的流程示意图;
图11示出了本申请又再一个实施例提供的信息记录方法的流程示意图;
图12示出了本申请的图11所示的信息记录方法的步骤S540的流程示意图;
图13示出了本申请又另一个实施例提供的信息获取方法的流程示意图;
图14示出了本申请实施例提供的会议记录信息的显示效果示意图;
图15示出了本申请实施例提供的信息记录装置的结构框图;
图16是本申请实施例的用于执行根据本申请实施例的信息记录方法/信息获取方法的电子设备的框图;
图17是本申请实施例的用于执行根据本申请实施例的信息记录方法/信息获取方法的服务器的框图;
图18是本申请实施例的用于保存或者携带实现根据本申请实施例的信息记录方法/信息获取方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
目前,无论是远程会话中的电话会议还是视频会议,往往都需要一个会议记录员对会议的内容进行记录,记录的方式通常是以手动记笔记的方式进行会议记录,从而给会议记录于造成极大的不便。不仅如此,在一般情况下,会议记录员记录的会议记录往往并不是真实的会议内容,而是会议记录员根据自己对会议内容的理解而简单记录形成,因此,由于会议记录员的主观因素的影响,可能造成会议记录的内容与真实的会议内容不符的问题。
发明人经过长期的研究发现,并提出了本申请实施例提供的信息记录方法、装置、系统、电子设备以及信息获取方法,通过对参与远程会话的电子设备在显示虚拟画面的过程中采集的语音信息进行处理,生成远程会话的会话记录信息,以自动对远程会话进行会话记录,方便快捷且会话记录准确。其中,具体的信息记录方法和信息获取方法在后续的实施例中进行详细的说明。
下面对本申请实施例提供的信息记录方法/信息获取方法的应用场景进行介绍。
请参见图1,示出了本申请实施例提供的虚拟场景的处理方法的应用场景的示意图,该应用场景包括交互系统10,该交互系统10可以应用于远程会话。该交互系统10包括:一个或多个电子设备100以及服务器200,其中,电子设备100与服务器200连接。
在一些实施方式中,电子设备100通过网络与服务器200通信连接,从而电子设备100与服务器200之间可以进行数据交互。其中,电子设备100可以通过接入路由器所在网络,而通过路由器所在网络与服务器200之间的通信,也可以通过数据网络与服务器200之间进行通信。
在一些实施方式中,电子设备100可以是头戴显示装置,也可以是手机、平板等移动设备。电子设备100为头戴显示装置时,头戴显示装置可以为一体式头戴显示装置。电子设备100也可以是与外接式/接入式头戴显示装置连接的手机等智能电子设备,即电子设备100可作为头戴显示装置的处理和存储设备,插入或者接入外接式头戴显示装置,在头戴显示装置中对虚拟内容进行显示。在远程会话中,电子设备100可用于对远程会话的虚拟会话场景进行显示,实现将虚拟会话场景的场景画面进行AR(Augmented Reality,增强现实技术)显示或者VR(Virtual Reality,虚拟现实技术)显示,提升远程会话中场景画面的显示效果。在其他实施方式中,电子设备100也可以是电脑、平板电脑、电视等显示设备,电子设备100可以将虚拟会话场景对应的2D(2 Dimensions,二维)画面进行显示。
在一些实施方式中,电子设备100可以采集远程会话中的信息数据(例如,采集用户的脸部信息、声音数据等),以根据该信息数据构建三维模型。在另一些实施方式中,电子设备100也可以根据预先存储的脸部信息、声音数据、身体模型等信息数据进行建模,也可以结合预先存储的信息数据以及采集到的信息数据进行建模。例如,电子设备100可以实时采集人脸信息建立脸部模型,其中,人脸信息可以包括表情信息以及形态动作信息(如偏头、点头等),然后再将脸部模型与预先设定的身体模型进行整合,节省了建模、渲染的时间的同时,也能实时获取用户的表情、形态动作。在一些实施方式中,电子设备100可以将上述采集的信息数据传输至服务器200或者其他电子设备100。
在一些实施方式中,请参阅图2,交互系统100也还可以包括信息采集装置300,信息采集装置300用于采集上述信息数据(例如,采集用户的脸部信息、声音数据等),并将采集的信息数据传输至电子设备100或者服务器200。在一些实施方式中,信息采集装置可包括摄像头、音频模块等,也可包括光传感器、声传感器等各类传感器。作为一种具体的实施方式,信息采集装置300可以是具有普通彩色相机(RGB)和深度相机(Depth)功能的拍摄设备(如RGB-D深度相机),以获取被拍摄的用户的深度数据,从而得到用户对应的三维结构。在一些实施方式中,电子设备100和信息采集装置300处于同一现场,电子设备100与信息采集装置300之间可进行通信连接,也可以不进行通信连接
在一些实施方式中,上述服务器200可以是本地服务器,也可以是云服务器,具体服务器200的类型在本申请实施例中可以不作为限定。在远程会话中,服务器200可用于实现多个电子设备100/信息采集装置之间的数据交互,从而保证多个电子设备100/信息采集装置之间的数据传输和同步,实现远程会话中虚拟会话场景、音视频数据的同步、电子设备100/信息采集装置之间的数据传输等。
在一些实施方式中,当远程会话中的多个电子设备100中存在至少两个电子设备100处于同一现场环境(例如,处于同一室内)时,处于同一现场环境的至少两个电子设备100之间也可以通过蓝牙、WiFi(Wireless-Fidelity,无线保真)、ZigBee(紫峰技术)等通信方式连接,也可以通过数据线等有线通信方式进行连接,从而实现处于同一现场环境的至少两个电子设备100之间数据的交互。当然,处于同一现场环境的至少两个电子设备100之间的连接方式在本申请实施例中可以不作为限定。
下面结合附图在实施例中对具体的信息记录方法和信息获取方法进行介绍。
请参阅图3,图3示出了本申请一个实施例提供的信息记录方法的时序图。下面将针对图3所示的流程进行详细的阐述,信息记录方法具体可以包括以下步骤:
步骤S110:电子设备显示虚拟画面,虚拟画面包括远程会话中的多个电子设备中的至少部分电子设备对应的虚拟内容。
远程会话指的是通过数据通信建立的多端进行远程交互、通讯的过程,在本申请实施例中,电子设备对应的虚拟内容可以包括该电子设备对应的用户的标识图像,其中,用户的标识图像可以包括该用户的虚拟人物图像,例如,该用户的仿真立体图像;用户的标识图像还可以包括虚拟动物图像、虚拟物体图像等,在此不做限定,其中,该虚拟动物图像、虚拟物体图像和用户相关联,用于对用户进行标识。
例如,以标识图像为虚拟动物图像为例,假设远程会话中的电子设备包括电子设备A1、电子设备A2以及电子设备A3,并且电子设备A1对应用户P1、电子设备A2对应用户P2、电子设备A3对应用户P3,用户P1与虚拟小狗图像相关联、用户P2与虚拟小猫图像相关联、用户P3与虚拟小猪图像相关联,那么,该电子设备A1对应的虚拟内容可以为虚拟小狗图像、电子设备A2对应的虚拟内容可以为虚拟小猫图像、电子设备A3对应的虚拟内容可以为虚拟小猪图像。
在一些实施方式中,该电子设备对应的虚拟内容还可以包括基于该电子设备对应的用户上传的数据信息生成的虚拟图像,例如,基于用户上传的文档信息、图片信息、文本信息等生成的虚拟图像,在此不再赘述。
在本实施例中,电子设备可以获取并显示虚拟画面,其中,电子设备显示的虚拟画面包括参与远程会话的多个电子设备中的一个或多个电子设备对应的虚拟内容。例如,请参阅图4,在远程会话场景下,假设电子设备100对应的用户为P1,参与远程会话的多个电子设备对应的虚拟内容包括虚拟用户P2、虚拟用户P3以及虚拟用户P4,那么,电子设备显示的虚拟画面可以包括虚拟用户P2、虚拟用户P3以及虚拟用户P4中的一个或多个。
其中,虚拟画面可由电子设备在获取到的其他电子设备的数据信息时,结合自己的位置及姿态信息进行渲染生成,其他电子设备的数据信息可以包括其他电子设备分享的文档、图片、视频等,在此不做限定。
在一些实施方式中,该电子设备可以直接接收其他电子设备发送的数据信息,也可以从服务器下载其他电子设备上传的数据信息,在此不做限定。
在一些实施方式中,该虚拟画面可以同时包括其他电子设备对应的用户的标识图像和基于用户上传的数据信息生成的虚拟图像。
在一些实施方式中,电子设备在生成虚拟画面时,还可对虚拟画面中所包括的电子设备对应的用户的标识图像进行位置排布处理。例如,将各个电子设备对应用户的仿真立体图像按照会议桌的座位进行排布,从而提高虚拟远程会议场景的真实感。
例如,请参阅图5,在AR远程会议场景下,电子设备100为头戴显示装置,且电子设备100对应的用户为P1,位于真实环境下的会议桌的一位置处,其他会议参与者P2、P3、P4不在该会议桌旁,而是远程参与会议,用户P1通过佩戴的头戴显示装置,看到的虚拟画面可以为在其视野范围内的虚拟用户P2对应的标识图像。
在一些实施方式中,在电子设备所在的场景不变的情况下,当该电子设备的位置及姿态信息发生改变时,相应的,该电子设备显示的虚拟画面发生改变,且改变后的虚拟画面与电子设备改变后的位置及姿态信息相适应。
例如,请参阅图6,当电子设备100的位置及姿态信息发生变化,例如,假设电子设备100向右转动时,会议参与者P2不在电子设备100的视野范围内,而会议参与者P3在与会人员P1的视野范围内,那么,用户P1通过佩戴的头戴显示装置并基于转动后的位置及姿态信息,看到的虚拟画面可以为在其视野范围内的会议参与者P3对应的标识图像。
步骤S120:电子设备采集语音信息,语音信息为电子设备对应的用户的发言数据。
在一些实施方式中,在电子设备显示虚拟画面的过程中,可以通过其内置的声音采集装置采集用户的发言数据,将采集到的发言数据确定为语音信息。其中,该声音采集装置可以是电子设备内置的麦克风、拾音器、录音装置等,在此不做限定。
在一些实施方式中,在电子设备显示虚拟画面的过程中,可以通过外设声音采集装置(如信息采集装置300)采集用户的发言数据,电子设备接收外设声音采集装置发送的用户的发言数据,将接收到的发言数据确定的语音信息。其中,该外设声音采集装置可以包括录音器等,在此不做限定。
步骤S130:服务器接收远程会话中的电子设备对应的语音信息。
在一些实施方式中,电子设备在采集到语音信息后,可以直接将语音信息发送给服务器,相应的,服务器接收该电子设备对应的语音信息。在另一些实施方式中,电子设备在采集到语音信息后,可以对语音信息进行处理,并将处理后的语音信息发送给服务器,相应的,服务器接收该电子设备发送的处理后的语音信息,其中,电子设备可以对语音信息进行过滤处理、去燥处理等,在此不做限定。
可选地,电子设备在采集到语音信息后,可以实时将该语音信息发送给服务器,以便服务器及时将该语音信息转发给远程会话中的其他电子设备,以便远程会话的顺利进行。
步骤S140:服务器对语音信息进行处理,获得与语音信息对应的文本信息。
在一些实施方式中,服务器可以采用语音转文本技术对接收到的语音信息进行处理,以获得与语音信息对应的文本信息。
其中,在获得文本信息后,可以对该文本信息中的关键词进行提取。作为一种方式,可以首先将该文本信息对应的语句进行分词,获得多个词组,然后对多个词组中的关键词进行提取;作为另一种方式,可以直接对该文本信息对应的语句进行识别并对关键词进行提取。
步骤S150:服务器根据文本信息生成远程会话的会话记录信息。
在一些实施方式中,服务器可以将获得的所有文本信息均进行记录,生成远程会话的会话记录信息,可以提取文本信息中的关键词,并对关键词进行记录,生成远程会话的会话记录信息等,在此不做限定,以通过上述方式可以实现自动对远程会话进行会话记录,提升远程会话的效果。
作为一种具体实施方式,会话记录信息可以包括会话主题和会话内容,作为一种方式,该会话主题和会话内容可以均从文本信息中分析获得,具体地,在获取文本信息后,可以对文本信息进行关键词提取,基于提取到的关键词获得该会话主题,并将提取到的关键词或文本信息作为会话内容,从而形成包括会话主题和会话内容的会话记录信息。其中,当从文本信息中提取到的关键词的数量为多个时,可以分别获取多个关键词的在文本信息中出现的次数,并将在文本信息中出现次数最多的关键词确定为会话主题。其中,当从文本信息中提取到的关键词的数量为多个时,可以分别分析该多个关键词的前后文语义,基于前后文语义从多个关键词中确定至少一个关键词作为会话主题,例如,当前后文语义为“今天我分享的主题是XXX”,那么,可以将“XXX”确定为会话主题。
作为另一种方式,该会话主题可以是基于用户操作确定的,例如,该会话主题可以是用户输入的主题名称、可以是用户上传的发言文档的名称、也可以是用户上传的演示文档的名称等,在此不做限定。
本申请一个实施例提供的信息记录方法,通过对参与远程会话的电子设备在显示虚拟画面的过程中采集的语音信息进行转文本处理,获得与语音信息对应的文本信息,并基于文本信息生成远程会话的会话记录信息,以自动对远程会话进行会话记录,方便快捷且会话记录准确。
请参与图7,图7示出了本申请又一个实施例提供的信息记录方法的流程示意图。下面将针对图7所示的流程进行详细的阐述,信息记录方法具体可以包括以下步骤:
步骤S210:接收远程会话中的电子设备对应的语音信息,语音信息为电子设备在显示虚拟画面时,采集的电子设备对应的用户的发言数据,其中,虚拟画面包括远程会话中的多个电子设备中的至少部分电子设备对应的虚拟内容。
步骤S220:对语音信息进行处理,获得与语音信息对应的文本信息。
步骤S230:根据文本信息生成远程会话的会话记录信息。
其中,步骤S210-步骤S230的具体描述请参阅步骤S110-步骤S150,在此不再赘述。
在一些实施方式中,上述接收远程会话中的电子设备对应的语音信息、对语音信息进行处理得到文本信息以及根据文本信息生成远程会话的会话记录信息等操作,可以由电子设备执行,也可以由服务器执行,在此不做限定。
本申请又一个实施例提供的信息记录方法,通过对参与远程会话的电子设备在显示虚拟画面的过程中采集的语音信息进行转文本处理,获得与语音信息对应的文本信息,并基于文本信息生成远程会话的会话记录信息,以自动对远程会话进行会话记录,方便快捷且会话记录准确。
请参阅图8,图8示出了本申请再一个实施例提供的信息记录方法的流程示意图。下面将针对图8所示的流程进行详细的阐述,信息记录方法具体可以包括以下步骤:
步骤S310:接收远程会话中的电子设备对应的语音信息和标识信息,标识信息用于标识语音信息。
在一些实施方式中,电子设备在采集语音信息时,还可以获取用于标识该语音信息的标识信息,例如,该标识信息可以包括时间标识、用户身份标识、时长标识、语气标识等,其中,该时间标识用于表征电子设备采集到语音信息的时间节点,该用户身份标识用于表征发表发言数据对应的语音信息的用户,该时长标识用于表征该语音信息的时长,该语气标识用于表征用户在发表发言数据对应的语音信息时的心情,例如,用户在发表发言数据对应的语音信息时的语调、在发表发言数据对应的语音信息的语速等,在此不做限定。
其中,电子设备在获取到标识信息时,可以同时将语音信息和标识信息发送至服务器,相应的,服务器接收远程会话中的电子设备对应的语音信息和标识信息。
步骤S320:对语音信息进行处理,获得与语音信息对应的文本信息。
其中,步骤S320的具体描述请参阅步骤S140,在此不再赘述。
请参阅图9,图9示出了本申请的图8所示的实施例提供的信息记录方法的流程示意图。其中,该标识信息包括与电子设备对应的用户身份信息,下面将针对图9所示的流程进行详细的阐述,信息记录方法具体可以包括以下步骤:
步骤S321:提取语音信息中的至少一个声纹信息。
在一些实施方式中,可以对接收到的语音信息进行识别,提取语音信息中的至少一个声纹信息,其中,声纹信息是可以用电声学仪器显示的携带言语信息的声波频谱,可以理解的,人类语言的产生是人体语言中枢与发声器官之间一个复杂的生理物理过程,人在讲话时使用的发声器官-舌、牙齿、喉头、肺、鼻腔在尺寸和形态方面每个人的差异很大,所以任何两个人的声纹图谱都有差异。每个人的语音声学特征既有相对稳定性,又有变异性,不是绝对的、一成不变的。这种变异可来自生理、病理、心理、模拟、伪装,也与环境干扰有关。尽管如此,由于每个人的发音器官都不尽相同,因此在一般情况下,人们仍能区别不同的人的声音或判断是否是同一人的声音。
其中,电子设备在采集用户的发言数据对应的语音信息时,若用户所处的环境包括其他语音信息时,例如,电子设备所处的环境包括其他用户的发言数据、包括其他电子设备发出的语音信息时,那么,该电子设备采集到的语音信息除了包括其对应的用户的发言数据之外,还可能包括其他语音信息,因此,服务器可以从接收到的语音信息中提取其对应的用户的语音信息。
步骤S322:将至少一个声纹信息和预设声纹信息进行对比,预设声纹信息为与用户身份标识绑定的声纹信息。
在一些实施方式中,服务器可以预先获取并存储有预设声纹信息,其中,该预设声纹信息用于作为从语音信息中提取到的至少一个声纹信息的判断依据。作为一种方式,该预设声纹信息为与用户身份标识绑定的声纹信息,例如,该预设声纹信息为电子设备对应的用户的声纹信息,因此,可以将提取的至少一个的声纹信息与预设声纹信息进行对比,以判断该至少一个声纹信息与预设声纹信息是否一致,当声纹信息与预设声纹信息一致时,表征该声纹信息对应的用户为该电子设备对应的用户,当声纹信息与预设声纹信息不一致时,表征声纹信息对应的用户不是该电子设备对应的用户。
步骤S323:获取至少一个声纹信息中与预设声纹信息匹配的目标声纹信息,并从语音信息中提取与目标声纹信息对应的目标语音信息。
在一些实施方式中,在将至少一个声纹信息和预设声纹信息进行对比后,可以从至少一个声纹信息中获取与该预设声纹信息匹配的声纹信息,将与预设声纹信息匹配的声纹信息作为目标声纹信息,并从接收到的语音信息中提取与目标声纹信息对应的语音信息,将与目标声纹信息对应的语音信息作为目标语音信息。
步骤S324:对目标语音信息进行处理,获得与目标语音信息对应的文本信息。
在一些实施方式中,服务器可以采用语音转文本技术对目标语音信息进行处理,以获得与目标语音信息对应的文本信息,从而可以过滤掉电子设备所处环境的其他语音信息,提升远程会话记录的准确性。
步骤S330:将文本信息和标识信息进行关联。
在一些实施方式中,在获取文本信息和标识信息时,可以将文本信息和标识信息进行关联,例如,将文本信息和用户身份标识、时间标识等进行关联,用于添加该文本信息对应的发言用户和发言时间。
步骤S340:根据关联后的文本信息和标识信息生成会话记录信息。
在一些实施方式中,服务器可以基于文本信息、标识信息以及文本信息和标识信息之间的关联关系,生成会话记录信息,进而使得会话记录信息更完善,提升会话记录效果。
步骤S350:提取文本信息中的问题信息。
在一些实施方式中,服务器可以对文本信息进行分析,以提取该文本信息中的问题信息。例如,可以对文本信息的语义进行分析,以判断该文本信息的语义中是否包括用于表征疑问的语义,从而判断该文本信息中是否包括问题信息,其中,当文本信息的语义中包括用于表征疑问的语义,可以认为该文本信息中包括问题信息,因此,可以提取该文本信息中的问题信息,例如,可以提取用于表征疑问的语义对应的文本信息作为问题信息。
步骤S360:查询问题信息对应的解答信息。
在一些实施方式中,服务器可以对该问题信息进行查询,以获得该问题信息对应的解答信息。其中,服务器可以从其本地的数据库中对该问题信息对应的解答信息进行查询,也可以从第三方服务器对该问题信息对应的解答信息进行查询,在此不做限定。
步骤S370:将解答信息添加至会话记录信息。
在一些实施方式中,该问题信息对应的解答信息的数量可能为一个或多个,其中,当该解答信息的数量为一个时,该服务器可以直接将该解答信息添加至会话记录信息,以作为该会话记录信息中的问题信息的解答;当该解答信息的数量为多个时,该服务器可以将多个解答信息均添加至会话记录信息,或者从多个解答信息中选择一个解答信息添加至会话记录信息,以作为该会话信息中的问题信息的解答,其中,从多个解答信息中选择一个解答信息的依据可以包括:多个解答信息的好评率、多个解答信息的支持率、多个解答信息的采用率等,在此不做限定。
另外,在一些实施方式中,该解答信息可以包括文本信息、图片信息、视频信息、音频信息、链接信息等。
在一些实施方式中,上述接收远程会话中的电子设备对应的语音信息和标识信息、对语音信息进行处理得到文本信息、将文本信息和标识信息进行关联、根据关联后的文本信息和标识信息生成远程会话的会话记录信息、提取文本信息中的问题信息、查询问题信息对应的解答信息以及将解答信息添加至会话记录信息等操作,可以由服务器执行,也可以由电子设备执行。
其中,需要说明的是,步骤S350-步骤S370并不严格限定为设置在步骤S340之后,步骤S350-步骤S370也可以设置于步骤S230之后,在本实施例中,不做限定。
本申请再一个实施例提供的信息记录方法,通过对参与远程会话的电子设备在显示虚拟画面的过程中采集的语音信息进行转文本处理,获得与语音信息对应的文本信息,将文本信息和用于标识语音信息的标识信息进行关联,并基于关联后的文本信息和标识信息生成远程会话的会话记录信息,以自动对远程会话进行会话记录,方便快捷且会话记录准确。另外,本实施例还通过提取文本信息中的问题信息进行查询得到解答信息并添加至会话记录,以提升会话记录信息的实用性。
请参阅图10,图10示出了本申请另一个实施例提供的信息记录方法的流程示意图。其中,电子设备包括第一电子设备和第二电子设备。下面将针对图10所示的流程进行详细的阐述,信息记录方法具体可以包括以下步骤:
步骤S410:接收第一电子设备发送的第一语音信息,将第一语音信息发送至第二电子设备,第一语音信息为第一电子设备在显示第一虚拟画面时,采集的第一电子设备对应的第一用户的发言数据,其中,第一虚拟画面至少包括第二电子设备对应的虚拟内容。
在本实施例中,远程会话中的电子设备可以包括第一电子设备、第二电子设备、第三电子设备、第四电子设备、第五电子设备……等多个电子设备,可选地,以电子设备包括第一电子设备和第二电子设备为例进行说明,其中,第一电子设备和第二电子设备之间可以实现数据交互。
在一些实施方式中,第二电子设备对应的虚拟内容可以包括该第二电子设备对应的第二用户的标识图像。第一电子设备显示的第一虚拟画面至少包括第二电子设备对应的虚拟内容,也就是说,第一虚拟画面至少包括第二用户的标识图像。当然,该第一虚拟画面还可以包括第三电子设备对应的虚拟内容、第四电子设备对应的虚拟内容、第五电子设备对应的虚拟内容等。
其中,服务器接收第一电子设备发送的第一语音信息,并将该第一语音信息发送至第二电子设备。作为一种方式,当远程会话中还包括第三电子设备、第四电子设备、第五电子设备等时,该服务器还可以将第一语音数据分别发送给第三电子设备、第四电子设备以及第五电子设备等,在此不做限定。当然,在一些实施方式中,第一电子设备在发送第一语音信息时,还可以携带有指示信息,其中,该指示信息用于指示该第一语音信息的发送对象,例如,当该指示信息为“仅将第一语音信息发送至第二电子设备”时,尽管远程会话中还包括第三电子设备、第四电子设备、第五电子设备等,也仅将该第一语音信息发送至第二电子设备。
步骤S420:接收第二电子设备基于第一语音信息发送的第二语音信息,将第二语音信息发送至第一电子设备,第二语音信息为第二电子设备在显示第二虚拟画面时,采集的第二电子设备对应的第二用户的发言数据,其中,第二虚拟画面至少包括第一电子设备对应的虚拟内容。
在一些实施方式中,第一电子设备对应的虚拟内容可以包括该第一电子设备对应的第一用户的标识图像。第二电子设备显示的第二虚拟画面至少包括第一电子设备对应的虚拟内容,也就是说,第二虚拟画面至少包括第一用户的标识图像。当然,该第二虚拟画面还可以包括第三电子设备对应的虚拟内容、第四电子设备对应的虚拟内容、第五电子设备对应的虚拟内容等。
其中,服务器接收第二电子设备基于第一语音信息发送的第二语音信息,并将该第二语音信息发送至第一电子设备。作为一种方式,当远程会话中还包括第三电子设备、第四电子设备、第五电子设备等时,该服务器还可以接收第三电子设备基于第一语音信息发送的第三语音信息,并将第三语音信息发送至第一电子设备、接收第四电子设备基于第一语音信息发送的第四语音信息,并将第四语音信息发送至第一电子设备、接收第五电子设备基于第一语音信息发送的第五语音信息,并将第五语音信息发送至第一电子设备等,在此不做限定。
步骤S430:对第一语音信息和第二语音信息进行处理,获得与第一语音信息和第二语音信息对应的文本信息。
在一些实施方式中,服务器在接收到第一语音信息时,可以立即对第一语音信息进行处理获得与第一语音信息对应的文本信息,以及在接收到第二语音信息时,可以立即对第二语音信息进行处理获得与第二语音信息对应的文本信息。
在另一些实施方式中,服务器在接收到第一语音信息时,可以缓存该第一语音信息,以及在接收到第二语音信息,可以缓存该第二语音信息,直到第一电子设备和第二电子设备的远程会话结束时,对缓存的第一语音信息和第二语音信息进行处理,获得与第一语音信息和第二语音信息对应的文本信息。
步骤S440:根据文本信息生成远程会话的会话记录信息。
其中,该会话记录信息可以以第一电子设备和第二电子设备对话的形式进行记录,可以以第一电子设备的第一语音信息对应的文本信息为主要陈述要点、以第二电子设备的第二语音信息对应的文本信息为针对该主要陈述要点的观点的形式进行记录,其中,针对该主要陈述要点的观点可以为某个用户的观点,可以为多个用户的观点,也可以为从多个用户的观点中提取出的观点等,也可以分别记录第一电子设备的第一语音信息的会话记录和第二电子设备的第二语音信息的会话记录,在此不做限定。
在一些实施方式中,上述接收第一电子设备发送的第一语音信息,将第一语音信息发送至第二电子设备、接收第二电子设备基于第一语音信息发送的第二语音信息,将第二语音信息发送至第一电子设备、对第一语音信息和第二语音信息进行处理,获得与第一语音信息和第二语音信息对应的文本信息以及根据文本信息生成远程会话中的会话记录信息等操作,可以由服务器执行,也可以由电子设备执行。
本申请另一个实施例提供的信息记录方法,通过对参与远程会话的多个电子设备在显示虚拟画面的过程中采集的多个语音信息进行转发并转文本处理,获得与多个语音信息对应的文本信息,并基于文本信息生成远程会话的会话记录信息,以自动对化成会话进行会话记录,方便快捷且会话记录准确。
请参阅图11,图11示出了本申请又再一个实施例提供的信息记录方法的流程示意图。下面将针对图11所示的流程进行详细的阐述,信息记录方法具体可以包括以下步骤:
步骤S510:接收远程会话中的电子设备对应的语音信息,语音信息为电子设备在显示虚拟画面时,采集的电子设备对应的用户的发言数据,其中,虚拟画面包括远程会话中的多个电子设备中的至少部分电子设备对应的虚拟内容。
步骤S520:对语音信息进行处理,获得与语音信息对应的文本信息。
其中,步骤S510-步骤S520的具体描述请参阅步骤S110-步骤S140,在此不再赘述。
步骤S530:获取远程会话中的多个电子设备发送的虚拟画面,和基于多个电子设备对应的语音信息获得的文本信息。
在一些实施方式中,远程会话中的电子设备的数量为多个,且远程会话中的每个电子设备均可以上传其采集的语音信息和其显示的虚拟画面至服务器,相应的,服务器接收该多个电子设备对应的语音信息和虚拟画面,将语音信息进行转文本处理获得文本信息,从而可以获得远程会话中的多个电子设备发送的虚拟画面,和基于多个电子设备对应的语音信息获得的文本信息。
步骤S540:根据多个电子设备发送的虚拟画面和基于多个电子设备对应的语音信息获得的文本信息,生成视频信息。
在一些实施方式中,在获得多个电子设备发送的虚拟画面和基于多个电子设备对应的语音信息获得的文本信息后,可以从虚拟画面中识别出多个电子设备中的每个电子设备对应的虚拟内容,以及从文本信息中识别出每个电子设备对应的用户的发言数据,将同一电子设备对应的虚拟内容和发言数据进行关联,并按照接收到每个发言数据对应的语音信息的时间节点生成视频信息。
请参阅图12,图12示出了本申请的图11所示的信息记录方法的步骤S540的流程示意图。下面将针对图12所示的流程进行详细的阐述,方法具体可以包括以下步骤:
步骤S541:分别获取接收到多个电子设备中的每个电子设备发送的虚拟画面的第一时间节点。
作为一种方式,多个电子设备中的每个电子设备在发送虚拟画面的同时,还可以发送第一时间标识,该第一时间标识用于表征发送该虚拟画面的时间,相应的,服务器可以获取多个电子设备中的每个电子设备发送的虚拟画面和第一时间标识,将该第一时间标识作为第一时间节点。作为另一种方式,服务器在接收到多个电子设备中的每个电子设备发送的虚拟画面时,记录接收到该虚拟画面的时间,将接收到该虚拟画面的时间作为第一时间节点。
步骤S542:分别获取接收到每个电子设备对应的语音信息的第二时间节点。
在一些实施方式中,若服务器将第一时间标识作为第一时间节点,那么,多个电子设备中的每个电子设备在发送语音信息的同时,需要发送第二时间标识,该第二时间标识用于表征发送该语音信息的时间,相应的,服务器可以获取多个电子设备中的每个电子设备对应的语音信息和第二时间标识,将该第二时间标识作为第二时间节点。
在一些实施方式中,若服务器将接收到该虚拟画面的时间作为第一时间节点,那么,服务器在接收到多个电子设备中的每个电子设备对应的语音信息时,记录接收到该语音信息的时间,将接收到该语音信息的时间作为第二时间节点。
步骤S543:将第一时间节点和第二时间节点相同的虚拟画面和语音信息对应的文本信息关联,生成视频信息。
在本实施例中,服务器在获取第一时间节点和第二时间节点后,可以获取第一时间节点和第二时间节点相同的虚拟画面和语音信息对应的文本信息,并将第一时间节点和第二时间节点相同的虚拟画面和语音信息对应的文本信息进行关联,生成视频信息。
步骤S550:根据视频信息生成远程会话的视频记录信息。
在一些实施方式中,服务器可以将获得的视频信息均进行记录,生成远程会话的视频记录信息;可以提取视频信息的文本信息中的关键词,并对提取关键词后的视频信息进行记录,生成远程会话的视频记录信息等,在此不做限定。
在一些实施方式中,上述接收远程会话中的电子设备对应的语音信息、对语音信息进行处理,获得与语音信息对应的文本信息、获取远程会话中的多个电子设备发送的虚拟画面和基于多个电子设备对应的语音信息获得的文本信息、生成视频信息以及根据视频信息生成远程会话的视频记录信息等操作,也可以由电子设备执行。
本申请又再一个实施例提供的信息记录方法,通过对参与远程会话的电子设备在显示虚拟画面的过程中采集的语音信息进行转文本处理,获得与语音信息对应的文本信息,根据多个电子设备发送的虚拟画面和基于多个电子设备对应的语音信息获得的文本信息,生成视频信息,根据该视频信息生成远程会话的视频记录信息,提升会话记录的多样性和用户体验。
请参阅图13,图13示出了本申请又另一个实施例提供的信息获取方法的流程示意图。下面将针对图13所示的流程进行详细的阐述,信息获取方法具体可以包括以下步骤:
步骤S610:向服务器发送会话记录查看请求,会话记录查看请求包括远程会话标识。
在一些实施方式中,用户可以通过电子设备向服务器发送会话记录查看请求,其中,该会话记录查看请求可以包括远程会话标识,以便服务器可以基于该远程会话标识从预先获取并存储的多个会话记录信息中查找与远程会话标识对应的会话记录信息。其中,该电子设备可以为手机、电脑等移动终端,可以通过无线网络或数据网络与服务器进行数据交互。
步骤S620:接收服务器基于会话记录查看请求返回的与远程会话标识对应的会话记录信息。
步骤S630:显示会话记录信息,会话记录信息包括文本信息,文本信息与远程会话中的一个或多个电子设备采集的语音信息对应。
在一些实施方式中,电子设备接收服务器基于该会话记录请求返回的会话记录信息后,可以显示该会话记录信息,其中,该会话记录信息至少包括文本信息,文本信息与远程会话中的一个或多个电子设备采集的语音信息对应。
在一些实施方式中,该会话记录信息还可以包括虚拟视频内容,因此,电子设备在接收到服务器基于该会话记录请求返回的会话记录信息后,可以显示该虚拟视频内容和文本信息,该虚拟视频内容包括远程会话中的一个或多个电子设备对应的虚拟内容,且文本信息和虚拟视频内容一一对应显示。作为一种方式,在该虚拟视频内容的播放过程中,可以按文本信息对应的语音信息的采集时间节点将文本信息依次显示在对应的虚拟内容上。
例如,如图14所示,参与远程会话的用户包括用户P1、用户P2、用户P3以及用户P4,此时,电子设备显示的会话记录信息中可以包括第一显示区域S1和第二显示区域S2,其中,第一显示区域可以用于显示用户P1、用户P2、用户P3以及用户P4的会话视频,第二显示区域可以用于显示语音信息对应的文本信息,其中,第二区域显示的文本信息可以是与语音信息完整对应的内容,也可以是语音信息中的关键词。在一些实施方式中,对应文本信息对应的语音信息的采集时间节点,可以在会话视频中相应的用户形象上显示文本信息、显示关键词等,当然,此时,也可以突出显示该用户形象、可以淡化显示除该用户形象外的其他用户形象、可以区分该用户形象和其他用户形象的颜色等,在此不做限定。
在一些实施方式中,若当前时间节点对应的主讲用户的用户P1,那么,其发表的发言数据对应的文本信息可以按照时间节点以滚动的方式依次显示在用户P1的用户形象上,而用户P2、用户P3以及用户P4的发言数据对应的文本信息可以按照其发言时间依次显示在对应的用户形象上。
步骤S640:当检测到作用于会话记录信息中的目标元素的触控操作时,响应触控操作获取与会话记录信息对应的完整信息并输出显示。
作为一种方式,电子设备在显示会话记录的过程中,可以对作用于该会话记录信息中的触控操作进行检测,其中,该触控操作可以包括点击操作、按压操作、滑动操作等,当检测到作用于该会话记录信息中的目标元素上的触控操作时,可以响应该触控操作,获取与该会话记录信息对应的完整信息并输出显示。在本实施例中,该目标元素可以包括用户身份标识、会话主题、关键词等。另外,在本实施例中,电子设备在显示完整会话信息的同时还可以以语音的形式播放该完整会话信息。
在一些实施方式中,会话记录信息可以是文本式记录信息,电子设备显示文本式记录信息,可以为显示会话记录信息的关键词以及该关键词对应的用户的身份信息,查看该会话记录信息的用户,可以通过点击该关键词或者点击该身份信息的方式查看对应会话参考者在会话过程中完整的会话记录,或者触发电子设备播放完整的会话记录的语音。
在一些实施方式中,会话记录信息可以是视频式记录信息,电子设备显示视频式记录信息,可以按照时间顺序播放虚拟视频内容及对应的文本信息,用户可以点击文本信息或虚拟视频内容,以查看在对应时间节点上会话过程的完整会话记录
本申请又另一个实施例提供的信息获取方法,向服务器发送会话记录查看请求,该会话记录查看请求包括远程会话标识,接收服务器基于该会话记录查看请求返回的与远程会话标识对应的会话记录信息,显示该会话记录信息,该会话记录信息包括文本信息,该文本信息与远程会话中的一个或多个电子设备采集的语音信息对应,当检测到作用于会话记录信息中的目标元素的触控操作时,响应该触控操作获取与该会话记录信息对应的完整信息并输出显示,从而实现用户对会话记录信息的查看,方便快捷。
当然,可以理解的是,上述实施例所描述的信息记录方法和信息获取方式,可以应用于远程会议、远程教学辅导、远程协助等,在此不做限定。
请参阅图15,图15示出了本申请实施例提供的信息记录装置400的模块框图。下面将针对图15所示的框图进行阐述,信息记录装置400包括:接收模块410、处理模块420以及生成模块430,其中:接收模块410,用于接收远程会话中的电子设备对应的语音信息,语音信息为电子设备在显示虚拟画面时,采集的电子设备对应的用户的发言数据,其中,虚拟画面包括远程会话中的多个电子设备中的至少部分电子设备对应的虚拟内容。处理模块420,用于对语音信息进行处理,获得与语音信息对应的文本信息。生成模块430,用于根据文本信息生成远程会话的会话记录信息。
在一些实施方式中,接收模块410可以具体用于:接收远程会话中的电子设备对应的语音信息和标识信息,标识信息用于标识语音信息。相应的,生成模块430可以具体用于:将文本信息和标识信息进行关联;根据关联后的文本信息和标识信息生成会话记录信息。
在一些实施方式中,标识信息包括与电子设备对应的用户身份信息。处理模块420可以具体用于:提取语音信息中的至少一个声纹信息;将至少一个声纹信息和预设声纹信息进行对比,预设声纹信息为与用户身份标识绑定的声纹信息;获取至少一个声纹信息中与预设声纹信息匹配的目标声纹信息,并从语音信息中提取与目标声纹信息对应的目标语音信息;对目标语音信息进行处理,获得与目标语音信息对应的文本信息。
在一些实施方式中,信息记录装置400还包括:关键词提取模块,其中:关键词提取模块,用于提取文本信息中的关键词。生成模块可以具体用于:根据关键词生成会话记录信息。
在一些实施方式中,信息记录装置400还包括:问题信息提取模块、解答信息查询模块以及解答信息添加模块,其中:问题信息提取模块,用于提取文本信息中的问题信息。解答信息查询模块,用于查询问题信息对应的解答信息。解答信息添加模块,用于将解答信息添加至会话记录信息。
在一些实施方式中,电子设备包括第一电子设备和第二电子设备,接收模块410具体可以用于:接收第一电子设备发送的第一语音信息,将第一语音信息发送至第二电子设备,第一语音信息为第一电子设备在显示第一虚拟画面时,采集的第一电子设备对应的第一用户的发言数据,其中,第一虚拟画面至少包括第二电子设备对应的虚拟内容;接收第二电子设备基于第一语音信息发送的第二语音信息,将第二语音信息发送至第一电子设备,第二语音信息为第二电子设备在显示第二虚拟画面时,采集的第二电子设备对应的第二用户的发言数据,其中,第二虚拟画面至少包括第一电子设备对应的虚拟内容。
在一些实施方式中,信息记录装置400还包括:虚拟画面获得模块、视频信息生成模块以及视频记录生成模块,其中:虚拟画面获得模块,用于获取远程会话中的多个电子设备发送的虚拟画面,和基于多个电子设备对应的语音信息获得的文本信息。视频信息生成模块,用于根据多个电子设备发送的虚拟画面和基于多个电子设备对应的语音信息获得的文本信息,生成视频信息。视频记录生成模块,用于根据视频信息生成远程会话的视频记录信息。
在一些实施方式中,视频信息生成模块具体可以用于:分别获取接收到多个电子设备中的每个电子设备发送的虚拟画面的第一时间节点;分别获取接收到每个电子设备对应的语音信息的第二时间节点;将第一时间节点和第二时间节点相同的虚拟画面和语音信息对应的文本信息关联,生成视频信息。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请再次参阅图1,本申请实施例还提供一种信息记录系统10,信息记录系统10包括电子设备100和服务器200。其中:电子设备100,用于显示虚拟画面,虚拟画面包括远程会话中的多个电子设备100中的至少部分电子设备100对应的虚拟内容;采集语音信息,语音信息为电子设备100对应的用户的发言数据;服务器200,用于接收远程会话中的电子设备100发送的语音信息;对语音信息进行处理,获得与语音信息对应的文本信息;根据文本信息生成远程会话的会话记录信息。
综上,本申请实施例提供的方案,接收远程会话中的电子设备对应的语音信息,该语音信息为电子设备在显示虚拟画面时,采集的电子设备对应的用户的发言数据,其中,该虚拟画面包括远程会话中的多个电子设备中的至少部分电子设备对应的虚拟内容,对语音信息进行处理,获得与语音信息对应的文本信息,根据该文本信息生成该远程会话的会话记录信息,从而通过对参与远程会话的电子设备在显示虚拟画面的过程中采集的语音信息进行处理,生成远程会话的会话记录信息,以自动对远程会话进行会话记录,方便快捷且会话记录准确。
请参考图16,其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、头戴显示设备等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件:处理器110、存储器120、图像采集装置130、音频采集装置140,其中存储器120中可存储有一个或多个计算机程序,该一个或多个计算机程序可被配置为由一个或多个处理器110执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据等。
在本申请实施例中,图像采集装置130用于采集用户的图像。图像采集装置130可以为红外摄像头,也可以是彩色摄像头,具体的摄像头类型在本申请实施例中并不作为限定。
音频采集装置140用于采集用户的语音。音频采集装置140可以为话筒,也可以为拾音器等,具体地音频采集装置在本申请实施例中并不作为限定。
在一个实施例中,电子设备为头戴显示装置,除了包括上述的处理器、存储器及图像采集装置、音频采集装置外,还可包括如下一个或多个部件:显示模组、光学模组、通信模块以及电源。
显示模组可包括显示控制单元。显示控制单元用于接收处理器渲染后的虚拟内容的显示图像,然后将该显示图像显示并投射至光学模组上,使用户能够通过光学模组观看到虚拟内容。其中,显示装置可以是显示屏或投射装置等,可用于显示图像。
光学模组可采用离轴光学系统或波导光学系统,显示装置显示的显示图像经光学模组后,能够被投射至用户的眼睛。用户在通过光学模组看到显示装置投射的显示图像的同时。在一些实施方式中,用户还能够透过光学模组观察到现实环境,感受虚拟内容与现实环境叠加后的增强现实效果。
通信模块可以是蓝牙、WiFi(Wireless-Fidelity,无线保真)、ZigBee(紫峰技术)等模块,头戴显示装置可通过通信模块与电子设备建立通信连接。与电子设备通信连接的头戴显示装置,可以与电子设备进行信息以及指令的交互。例如,头戴显示装置可以通过通信模块接收电子设备的发送的图像数据,根据所接收的图像数据生成虚拟世界的虚拟内容进行显示。
电源可为整个头戴显示装置进行供电,保证头戴显示装置各个部件的正常运行。
请参见图17,其示出了本申请实施例提供的一种服务器的结构框图。该服务器200可以为云服务器、本地服务器等,服务器200可以包括一个或多个如下部件:处理器210、存储器220,其中存储器220可存储有一个或多个计算机程序,计算机程序可被配置为由一个或多个处理器210执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
请参考图18,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质500中存储有程序代码510,程序代码510可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质500可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质500包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质500具有执行上述方法中的任何方法步骤的程序代码510的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码510可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种信息记录方法,其特征在于,所述方法包括:
接收远程会话中的电子设备对应的语音信息,所述语音信息为所述电子设备在显示虚拟画面时,采集的所述电子设备对应的用户的发言数据,其中,所述虚拟画面包括所述远程会话中的多个电子设备中的至少部分电子设备对应的虚拟内容;
对所述语音信息进行处理,获得与所述语音信息对应的文本信息;
根据所述文本信息生成所述远程会话的会话记录信息。
2.根据权利要求1所述的方法,其特征在于,接收远程会话中的电子设备对应的语音信息,包括:
接收远程会话中的电子设备对应的语音信息和标识信息,所述标识信息用于标识所述语音信息;
所述根据所述文本信息生成所述远程会话的会话记录信息,包括:
将所述文本信息和所述标识信息进行关联;
根据关联后的所述文本信息和所述标识信息生成所述会话记录信息。
3.根据权利要求2所述的方法,其特征在于,所述标识信息包括与所述电子设备对应的用户身份标识,所述对所述语音信息进行处理,获得与所述语音信息对应的文本信息,包括:
提取所述语音信息中的至少一个声纹信息;
将所述至少一个声纹信息和预设声纹信息进行对比,所述预设声纹信息为与所述用户身份标识绑定的声纹信息;
获取所述至少一个声纹信息中与所述预设声纹信息匹配的目标声纹信息,并从所述语音信息中提取与所述目标声纹信息对应的目标语音信息;
对所述目标语音信息进行处理,获得与所述目标语音信息对应的文本信息。
4.根据权利要求1所述的方法,其特征在于,所述对所述语音信息进行处理,获得与所述语音信息对应的文本信息之后,还包括:
提取所述文本信息中的关键词;
所述根据所述文本信息生成所述远程会话的会话记录信息,包括:
根据所述关键词生成所述会话记录信息。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述根据所述文本信息生成所述远程会话的会话记录信息之后,还包括:
提取所述文本信息中的问题信息;
查询所述问题信息对应的解答信息;
将所述解答信息添加至所述会话记录信息。
6.根据权利要求1-4任一项所述的方法,其特征在于,所述电子设备包括第一电子设备和第二电子设备,所述接收远程会话中的电子设备对应的语音信息,包括:
接收所述第一电子设备对应的第一语音信息,将所述第一语音信息发送至所述第二电子设备,所述第一语音信息为所述第一电子设备在显示第一虚拟画面时,采集的所述第一电子设备对应的第一用户的发言数据,其中,所述第一虚拟画面至少包括所述第二电子设备对应的虚拟内容;
接收所述第二电子设备基于所述第一语音信息对应的第二语音信息,将所述第二语音信息发送至所述第一电子设备,所述第二语音信息为所述第二电子设备在显示第二虚拟画面时,采集的所述第二电子设备对应的第二用户的发言数据,其中,所述第二虚拟画面至少包括所述第一电子设备对应的虚拟内容。
7.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
获取远程会话中的多个电子设备发送的虚拟画面,和基于所述多个电子设备对应的语音信息获得的文本信息;
根据所述多个电子设备发送的虚拟画面和基于所述多个电子设备对应的语音信息获得的文本信息,生成视频信息;
根据所述视频信息生成所述远程会话的视频记录信息。
8.根据权利要求7所述的方法,其特征在于,所述根据所述多个电子设备发送的虚拟画面和基于所述多个电子设备对应的语音信息获得的文本信息,生成视频信息,包括:
分别获取接收到所述多个电子设备中的每个电子设备发送的虚拟画面的第一时间节点;
分别获取接收到所述每个电子设备对应的语音信息的第二时间节点;
将第一时间节点和第二时间节点相同的虚拟画面和语音信息对应的文本信息关联,生成所述视频信息。
9.一种信息获取方法,其特征在于,所述方法包括:
向服务器发送会话记录查看请求,所述会话记录查看请求包括远程会话标识;
接收所述服务器基于所述会话记录查看请求返回的与所述远程会话标识对应的会话记录信息;
显示所述会话记录信息,所述会话记录信息包括文本信息,所述文本信息与远程会话中的一个或多个电子设备采集的语音信息对应;
当检测到作用于所述会话记录信息中的目标元素的触控操作时,响应所述触控操作获取与所述会话记录信息对应的完整信息并输出显示。
10.根据权利要求9所述的方法,其特征在于,所述会话记录信息还包括虚拟视频内容,所述显示所述会话记录信息,包括:
显示所述虚拟视频内容和所述文本信息,所述虚拟视频内容包括所述远程会话中的一个或多个电子设备对应的虚拟内容,所述文本信息和所述虚拟内容一一对应显示。
11.根据权利要求10所述的方法,其特征在于,所述显示所述虚拟视频内容和所述文本信息,包括:
在所述虚拟视频内容的播放过程中,按所述文本信息对应的语音信息的采集时间节点将所述文本信息依次显示在对应的所述虚拟内容上。
12.一种信息记录装置,其特征在于,所述装置包括:
接收模块,用于接收远程会话中的电子设备对应的语音信息,所述语音信息为所述电子设备在显示虚拟画面时,采集的所述电子设备对应的用户的发言数据,其中,所述虚拟画面包括所述远程会话中的多个电子设备中的至少部分电子设备对应的虚拟内容;
处理模块,用于对所述语音信息进行处理,获得与所述语音信息对应的文本信息;
生成模块,用于根据所述文本信息生成所述远程会话的会话记录信息。
13.一种信息记录系统,其特征在于,包括服务器和电子设备,其中:
所述电子设备,用于显示虚拟画面,所述虚拟画面包括远程会话中的多个电子设备中的至少部分电子设备对应的虚拟内容;
所述电子设备,用于采集语音信息,所述语音信息为所述电子设备对应的用户的发言数据;
所述服务器,用于接收所述远程会话中的电子设备对应的语音信息;
所述服务器,用于对所述语音信息进行处理,获得与所述语音信息对应的文本信息;
所述服务器,用于根据所述文本信息生成所述远程会话的会话记录信息。
14.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-11任一项所述的方法。
15.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-11任一项所述的方法。
CN201910578439.5A 2019-06-28 2019-06-28 信息记录方法、装置、系统、电子设备以及信息获取方法 Pending CN110427099A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910578439.5A CN110427099A (zh) 2019-06-28 2019-06-28 信息记录方法、装置、系统、电子设备以及信息获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910578439.5A CN110427099A (zh) 2019-06-28 2019-06-28 信息记录方法、装置、系统、电子设备以及信息获取方法

Publications (1)

Publication Number Publication Date
CN110427099A true CN110427099A (zh) 2019-11-08

Family

ID=68408864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910578439.5A Pending CN110427099A (zh) 2019-06-28 2019-06-28 信息记录方法、装置、系统、电子设备以及信息获取方法

Country Status (1)

Country Link
CN (1) CN110427099A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112099705A (zh) * 2020-09-04 2020-12-18 维沃移动通信有限公司 投屏方法、装置及电子设备
CN112312062A (zh) * 2020-10-30 2021-02-02 上海境腾信息科技有限公司 多人会议记录回放的3d展示方法、存储介质及终端设备
CN112862431A (zh) * 2021-01-19 2021-05-28 中国建设银行股份有限公司 会谈记录的生成方法、装置、电子设备及可读存储介质
CN114172857A (zh) * 2020-09-11 2022-03-11 腾讯科技(深圳)有限公司 一种业务会话管理方法、装置和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170359393A1 (en) * 2016-06-14 2017-12-14 Wipro Limited System and Method for Building Contextual Highlights for Conferencing Systems
CN107911646A (zh) * 2016-09-30 2018-04-13 阿里巴巴集团控股有限公司 一种会议分享、生成会议记录的方法及装置
CN108809810A (zh) * 2018-06-12 2018-11-13 深圳华讯网络科技有限公司 基于即时通讯的消息记录查看方法、系统和计算机设备
CN108881784A (zh) * 2017-05-12 2018-11-23 腾讯科技(深圳)有限公司 虚拟场景实现方法、装置、终端及服务器
CN109361825A (zh) * 2018-11-12 2019-02-19 平安科技(深圳)有限公司 会议纪要记录方法、终端及计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170359393A1 (en) * 2016-06-14 2017-12-14 Wipro Limited System and Method for Building Contextual Highlights for Conferencing Systems
CN107911646A (zh) * 2016-09-30 2018-04-13 阿里巴巴集团控股有限公司 一种会议分享、生成会议记录的方法及装置
CN108881784A (zh) * 2017-05-12 2018-11-23 腾讯科技(深圳)有限公司 虚拟场景实现方法、装置、终端及服务器
CN108809810A (zh) * 2018-06-12 2018-11-13 深圳华讯网络科技有限公司 基于即时通讯的消息记录查看方法、系统和计算机设备
CN109361825A (zh) * 2018-11-12 2019-02-19 平安科技(深圳)有限公司 会议纪要记录方法、终端及计算机存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112099705A (zh) * 2020-09-04 2020-12-18 维沃移动通信有限公司 投屏方法、装置及电子设备
CN114172857A (zh) * 2020-09-11 2022-03-11 腾讯科技(深圳)有限公司 一种业务会话管理方法、装置和计算机可读存储介质
CN114172857B (zh) * 2020-09-11 2022-08-09 腾讯科技(深圳)有限公司 一种业务会话管理方法、装置和计算机可读存储介质
CN112312062A (zh) * 2020-10-30 2021-02-02 上海境腾信息科技有限公司 多人会议记录回放的3d展示方法、存储介质及终端设备
CN112862431A (zh) * 2021-01-19 2021-05-28 中国建设银行股份有限公司 会谈记录的生成方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN110427099A (zh) 信息记录方法、装置、系统、电子设备以及信息获取方法
US11468894B2 (en) System and method for personalizing dialogue based on user's appearances
CN105247879B (zh) 客户机设备、控制方法、系统和程序
CN108470485B (zh) 场景式培训方法、装置、计算机设备和存储介质
US9467673B2 (en) Method, system, and computer-readable memory for rhythm visualization
CN110418095B (zh) 虚拟场景的处理方法、装置、电子设备及存储介质
CN109176535A (zh) 基于智能机器人的交互方法及系统
CN109256136A (zh) 一种语音识别方法和装置
CN110413108A (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
CN109428859A (zh) 一种同步通信方法、终端及服务器
CN109992237A (zh) 智能语音设备控制方法、装置、计算机设备和存储介质
CN106611447A (zh) 一种考勤方法和装置
CN109241924A (zh) 基于互联网的多平台信息交互系统
CN109841217A (zh) 一种基于语音识别的ar交互系统和方法
CN107862071A (zh) 生成会议记录的方法和装置
CN107251019A (zh) 信息处理装置、信息处理方法和程序
CN111291151A (zh) 交互方法、装置及计算机设备
CN109343695A (zh) 基于虚拟人行为标准的交互方法及系统
CN109643550A (zh) 对话机器人及对话系统、以及对话程序
CN112860213B (zh) 音频的处理方法和装置、存储介质及电子设备
CN114048299A (zh) 对话方法、装置、设备、计算机可读存储介质及程序产品
CN110309470A (zh) 一种基于空气成像的虚拟新闻主播系统及其实现方法
KR102293743B1 (ko) 인공지능 챗봇 기반 케어 시스템
CN104010014A (zh) 工作学习应用机器人
JP7130290B2 (ja) 情報抽出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination