CN113703579A - 数据处理方法、装置、电子设备及存储介质 - Google Patents

数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113703579A
CN113703579A CN202111016229.0A CN202111016229A CN113703579A CN 113703579 A CN113703579 A CN 113703579A CN 202111016229 A CN202111016229 A CN 202111016229A CN 113703579 A CN113703579 A CN 113703579A
Authority
CN
China
Prior art keywords
target
processed
sentence
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111016229.0A
Other languages
English (en)
Other versions
CN113703579B (zh
Inventor
杨帆
孙子奇
蒋泳森
李冰川
高荣坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202111016229.0A priority Critical patent/CN113703579B/zh
Publication of CN113703579A publication Critical patent/CN113703579A/zh
Priority to PCT/CN2022/114441 priority patent/WO2023030121A1/zh
Priority to EP22863260.0A priority patent/EP4379508A1/en
Application granted granted Critical
Publication of CN113703579B publication Critical patent/CN113703579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2222—Prompting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2228—Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开实施例公开了一种数据处理方法、装置、电子设备及存储介质，该方法包括：采集与目标用户相关联的音视频帧数据，其中，音视频帧数据中包括待处理语音信息和待处理面部图像；基于目标视线角度调整模型对待处理面部图像进行处理，得到与待处理面部图像相对应的目标面部图像；基于音频内容跟随方法对待处理语音信息跟随处理，确定待处理语音信息在目标文本中所关联的目标语句；将目标语句和目标面部图像分别或同时显示在与目标用户相关联的客户端上。本技术方案，本方案在语音播报过程中不仅可以跟随语音信息，还可以在用户播报过程中，将用户视线聚焦至特定角度，从而提高用户交互体验的效果。

Description

数据处理方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
在各种播报场景中，都可能使用提词器。提词器可以在演讲者演讲时，为其显示演讲文本。通常，提词器主要是放置在摄像机镜头的前下方，中间有一片透明玻璃或专门的分光镜反射给演讲者，从演讲者方向来的光线穿过玻璃进入镜头，镜头周围的罩子和玻璃背面防止不必要的光线反射进入镜头。
随着互联网技术的发展，每一个视频创作者都可能成为提词器的使用者。但是，传统的提词器存在占地面积大、操作流程复杂以及普适性较差的问题。
发明内容
本公开提供一种数据处理方法、装置、电子设备及存储介质，以实现播报便捷性和普适性的技术效果。
第一方面，本公开实施例提供了一种数据处理方法，该方法包括：
采集与目标用户相关联的音视频帧数据，其中，所述音视频帧数据中包括待处理语音信息和待处理面部图像；
基于目标视线角度调整模型对所述待处理面部图像进行处理，得到与所述待处理面部图像相对应的目标面部图像；
基于音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在目标文本中所关联的目标语句；
将所述目标语句和所述目标面部图像分别或同时显示在与所述目标用户相关联的客户端上。
第二方面，本公开实施例还提供了一种数据处理装置，该装置包括：
音视频帧数据采集模块，用于采集与目标用户相关联的音视频帧数据，其中，所述音视频帧数据中包括待处理语音信息和待处理面部图像；
面部图像处理模块，用于基于目标视线角度调整模型对所述待处理面部图像进行处理，得到与所述待处理面部图像相对应的目标面部图像；
目标语句确定模块，用于基于预音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在目标文本中所关联的目标语句；
显示模块，用于将所述目标语句和所述目标面部图像分别或同时显示在与所述目标用户相关联的客户端上。
第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例中任一所述的数据处理方法。
第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的数据处理方法。
本公开实施例的技术方案，可以采集目标用户的待处理语音信息和待处理面部图像，进而对待处理语音信息和待处理面部图像进行处理，得到目标图像，以及待处理语音信息所对应的目标语句在目标文本中的具体位置，解决了现有技术提词器占用面积较大、使用繁琐复杂，从而导致提词器使用不便的问题，实现了可以基于移动终端就可以进行高效率播报的技术效果。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例一所提供的一种数据处理方法流程示意图；
图2为本公开实施例一所提供的基于目标视线角度调整模型对面部图像进行处理的示意图；
图3为本公开实施例二所提供的一种数据处理方法的流程示意图；
图4为本公开实施例三所提供的一种数据处理方法的流程示意图；
图5为本公开实施例四所提供的一种数据处理方法的流程示意图；
图6为本公开实施例五所提供的一种数据处理方法的流程示意图；
图7为本发明实施例六所提供的智能提词器结构示意图；
图8为本发明实施例六所提供的与所述智能提词器相对应的架构示意图；
图9为本公开实施例七所提供的一种数据处理装置的结构示意图；
图10为本公开实施例八所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
实施例一
图1为本公开实施例一所提供的一种数据处理方法流程示意图，本公开实施例可适用于在目标用户语音播报的场景下，可以使目标文本动态跟随用户，同时，可以对用户的面部图像进行处理的情形。该方法可以由数据处理装置来执行，该装置可以通过软件和/或硬件的形式实现，可选的，通过电子设备来实现，该电子设备可以是移动终端、PC端或服务端等。实时互动应用场景通常可由客户端和服务端来配合实现，本实施例所提供的方法，可以由客户端来执行，也可以由服务端来执行，或两者配合执行。
S110、采集与目标用户相关联的音视频帧数据。
需要说明的是，可以将本公开实施例所提供的技术方案集成在某个应用程序中，也可以基于本公开技术方案开发的应用程序，各用户可以基于该应用程序进行语音播报、视频播报等。
其中，音视频帧可以在用户基于实时互动界面互动时进行采集，实时互动界面为实时互动应用场景中的任意交互界面。实时互动场景可通过互联网和计算机手段实现，例如，通过原生程序或web程序等视线的交互应用程序。实时互动应用场景可以是直播场景、视频会议场景、语音播报场景以及录播视频的场景。直播场景可以包括各个应用程序中的卖货直播，以及基于直播平台进行直播的场景；语音播报场景可以是各个电视台中的主播在播报相应内容，基于摄像机可以将主播播报的多媒体数据流下发至各个客户端的场景。所述播报数据信息中包括待处理语音信息和待处理面部图像。在目标用户基于目标文本进行播报时，可以基于语音采集装置，可选的，语音采集装置可以是移动终端上的麦克风阵列，也可以是播报用户所处环境中的麦克风阵列可以采集播报用户的语音信息，将此时采集到的语音信息作为待处理语音信息。相应的，在用户播报的过程中，也可以基于摄像装置采集目标用户的面部图像信息，可以将此时采集到的图像作为待处理面部图像。
在本实施例中，采集与目标用户的相关联的音视频帧数据可以是实时采集或周期性采集。例如，实时互动界面是基于在线视频播报的场景生成的。视频播报中包括主播(目标用户)，以及观看主播播报的观看用户。在主播基于预先设置的播报语句进行播报时，摄像装置和语音采集装置可以实时或者每隔若干秒例如5秒采集目标用户的语音信息和面部图像信息，得到音视频帧数据。
具体的，在用户基于实时互动界面进行互动时，可以基于摄像装置和语音采集装置采集与目标用户相对应的面部图像信息和语音信息，以便对语音信息和面部图像进行处理，并将处理后的面部图像以及语音信息以数据流的形式下发至其他客户端。
在本实施例中，在目标用户播报内容时，主要是基于目标文本进行播报的，可以将目标文本上传至基于本技术方案开发的应用程序，或者，上传至移动终端的提词程序上，以便应用程序或提词程序可以对目标文本进行处理。
在本实施例中，所述采集与目标用户相关联的播报数据信息，包括：当检测到触发预设事件时，基于语音收集装置采集所述目标用户的待处理语音信息，以及基于摄像装置采集所述目标用户的待处理面部图像。
其中，预设事件可以是是触发唤醒词、触发视线调整控件、检测到显示屏幕前出现有用户和/或采集到语音信息。
具体的，在具体应用过程中，当检测到目标用户触发了预设事件，则可以采集目标用户的语音信息以及待处理面部图像。
S120、基于目标视线角度调整模型对待处理面部图像进行处理，得到与所述待处理面部图像相对应的目标面部图像。
一般终端设备上的摄像装置多是安装在终端的某个特定位置，可选的，顶端边缘位置。当目标用户基于显示屏幕与其他用户进行互动时，摄像装置和目标用户存在一定的偏差，那么目标用户的视线角度可能与摄像装置不在同一水平线上，导致观看直播的用户看到的目标用户的视线角度存在一定的角度偏差，可选的，可能出现观看用户在终端中看到目标用户的视线为斜视的情形。或者，在目标用户基于提词器上显示的目标文本进行播报时，存在目标用户需要看目标文本的情形，此时，目标文本显示位置与摄像装置之间的位置偏差导致可能出现目标用户视线不聚焦的情形，从而影响互动效果。为了解决上述问题，可采用目标视线角度调整模型对待处理面部图像中的用户视线角度进行调整。
其中，目标视线角度调整模型为预先训练的，用于将待处理面部图像中目标用户的视线进行聚焦处理。目标图像是经过目标视线角度调整模型对待处理面部图像中的视线聚焦处理后得到的图像。聚焦可以是将待处理面部图像中用户视线聚焦至目标角度。例如，调整瞳孔在眼睛中的位置，以使目标用户的视线可以调整至目标视线角度。目标视线角度即目标角度。目标角度可以是用户的视线与显示屏幕垂直的角度，即用户的视线正视显示屏幕的角度。目标角度可以是预先设置的任意角度，当然，为了提高主播用户与其他用户之间的交互效率，目标角度可以是目标用户的视线与摄像装置在一条水平线的角度。
可以理解为，只要采集到待处理面部图像，就可以将待处理面部图像输入至目标视线角度调整模型中进行调整处理，以将待处理面部图像中的目标用户的视线角度调整至目标角度。
通常，待处理面部图像中目标用户的视线可以是聚焦，也可以是未聚焦的。在实际应用中为了避免对所有待处理面部图像进行处理，可以在获取到待处理面部图像之后，对待处理面部图像进行预处理。
可选的，基于特征检测模块，确定待处理面部图像中的视线特征是否与预设视线特征相匹配；若否，则基于所述目标视线聚焦模型对所述待处理面部图像进行处理，以得到所述目标面部图像。
其中，特征检测模块用于检测用户的视线特征，主要用于确定用户的视线角度是否与目标角度相一致。预设视线特征是与视线为目标角度相匹配的特征。可选的，预设视线特征可以是眼睑、瞳孔等特征，例如，瞳孔在眼眶中的位置。
具体的，在获取到待处理面部图像后，可以基于特征检测模块对待处理面部图像进行处理，确定待处理面部图像中的视线特征是否与预设视线特征相匹配，如果不一致，则说明目标用户的视线与目标角度不一致，此时，可以基于目标视线聚焦模型对待处理面部图像进行聚焦处理，以得到目标面部图像。
S130、基于音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在目标文本中所关联的目标语句。
其中，音频内容跟随方法可以理解为在目标用户播报的过程中，对目标用户的语音信息进行识别，来确定播报的内容在目标文本中的具体位置，从而实现口播文本内容实时跟随。即，无论目标用户口播速度快还是慢，都可以根据目标用户的实时语速跟随，解决了目前固定滚动速度造成在目标用户播报文本的速度慢于或快于文本滚动速度的问题。目标语句是与待处理语音信息相对应并为目标文本中的语句。目标文本为目标播报用户预先上传的，并需要按其内容进行播报的文本。
具体的，可以根据预先设置的音频内容跟随方法对待处理语音信息进行识别跟随处理，确定待处理语音信息在目标文本中所对应的目标语句。
S140、将目标语句和目标面部图像分别或同时显示在与目标用户相关联的客户端上。
其中，目标语句和目标面部图像在相关客户端中分别显示可以理解为，在部分客户端中显示目标语句，并在其他客户端中显示目标面部图像；对应的，目标语句和目标面部图像在相关客户端中同时显示可以理解为，只要是与目标用户相关联的客户端，在该客户端上便会将目标语句和目标面部图像全部显示出来。本领域技术人员应当理解，对于目标语句和目标面部图像来说，两者具体的差异化显示方式可以根据实际需求进行设置，本公开实施例对此并未做具体的限定。
在具体的显示过程中，针对于目标语句来说，还可以将目标语句进行区别显示。其中，区别显示可以理解为将当前目标语句选择为区别于目标文本中当前其它内容的显示方式，例如，可以将目标语句与目标用户当前所说的话进行关联，并在客户端中单独显示，还可以将目标语句以及目标语句前后的语句同时显示在客户端中，基于字体加粗、高亮等方式将目标语句突出显示。多媒体数据流可以是与目标用户播报过程中所产生的数据流，可选的，可以是播报过程中的整个视频流。如果存在至少一个用户通过终端设备观看目标用户播报，那么，观看用户所对应的客户端就可以是与目标用户相关联的客户端。可以将与目标面部图像和音频信息作为多媒体数据流发送至各个客户端，以在客户端展示目标用户的目标面部图像，以及播报目标用户对应的音频信息。
需要说明的是，最终展示在客户端上的是与目标用户播报相对应的视频流。
具体的，在确定目标播报语句后，可以将目标播报语句在目标播报文本中区别显示，此时目标播报文本是显示在与目标用户相对应的终端设备上的。同时，可以将与目标用户所对应的目标面部图像发送至与目标用户相关联的客户端上，以使观看用户所对应的客户端显示的目标用户是经目标视线角度调整模型聚焦之后的图像。
为了清楚的了解本技术方案达到的技术效果，可以参见如图2所示的示意图，如果检测到的待处理面部图像中用户的视线为斜视，经目标视线角度调整模型聚焦处理后，得到如图2所示的正视图像，该正视图像中的视线角度与目标角度相一致。显示在各客户端上的图像为经视线聚焦后的目标面部图像。
本公开实施例的技术方案，可以采集目标用户的待处理语音信息和待处理面部图像，进而对待处理语音信息和待处理面部图像进行处理，得到目标图像，以及待处理语音信息所对应的目标语句在目标文本中的具体位置，解决了现有技术提词器占用面积较大、使用繁琐复杂，从而导致提词器使用不便的问题，实现了可以基于移动终端就可以进行高效率播报的技术效果。
实施例二
图3为本公开实施例二所提供的一种数据处理方法的流程示意图，在前述实施例的基础上，在基于目标视线角度调整模型对待处理面部图像进行处理之前，可以先训练得到目标视线角度调整模型。训练得到目标视线角度调整模型的具体实施方式可以参见本技术方案的详细阐述，其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图3所示，所述方法包括：
S210、获取训练样本集。
需要说明的是，在训练得到目标视线角度调整模型之前，需要先获取训练样本，以基于训练样本来训练。为了提高模型的准确性，可以尽可能多而丰富的获取训练样本。
所述训练样本集中包括多个训练样本，每个训练样本中包括目标视线角度图像和非目标视线角度图像，所述训练样本是基于预先训练得到的目标样本生成模型确定的。
其中，目标视线角度图像为用户的视线与目标角度相一致的面部图像。非目标视线角度图像为用户的视线与目标角度不一致的面部图像。目标样本生成模型可以理解为生成训练样本的模型。
具体的，可以先训练得到一个目标样本生成模型。目标样本生成模型中包括正样本生成子模型和负样本生成子模型。正样本生成子模型，用于生成训练样本图像中目标视线角度图像。该目标视线角度图像中用户的视线与目标角度相一致。相应的，负样本生成子模型，用于生成训练样本图像中非目标视线角度图像，该非目标视线角度图像中用户视线角度与目标角度不一致。
S220、针对各训练样本，将当前训练样本中的非目标视线角度图像输入至待训练视线角度调整模型中，得到与所述当前训练样本相对应的实际输出图像。
S230、根据当前训练样本的实际输出图像和目标视线角度图像，确定损失值，并基于所述损失值和与所述待训练视线角度调整模型的预设损失函数，调整所述待训练视线角度调整模型的模型参数。
S240、将所述预设损失函数收敛作为训练目标，得到所述目标视线角度调整模型。
对于上述确定目标视线角度调整模型的过程来说，具体的，可以依据训练样本集中的各训练样本对待训练视线角度调整模型进行训练，以得到目标视线角度调整模型。可以将训练样本中每个非目标视线角度图像作为待训练视线角度调整模型的输入，将与非目标视线角度图像相对应的目标视线角度图像作为待训练视线角度调整模型的输出，来调整待训练视线角度调整模型中的模型参数。当检测到待训练视线角度调整模型中的损失函数收敛时，则确定训练得到目标视线角度调整模型。
S250、采集与目标用户相关联的音视频帧数据，其中，音视频帧数据中包括待处理语音信息和待处理面部图像。
S260、基于目标视线角度调整模型对待处理面部图像进行处理，得到与待处理面部图像相对应的目标面部图像。
S270、基于音频内容跟随方法对待处理语音信息跟随处理，确定待处理语音信息在目标文本中的目标语句。
S280、将目标语句和目标面部图像分别或同时显示在与目标用户相关联的客户端上。
在本实施例中，所述将所述目标语句和所述目标面部图像分别或同时显示在与所述目标用户相关联的客户端上，包括：在第一客户端上将所述目标语句在所述目标文本中区别显示，在第二客户端上显示与所述目标面部图像相对应的目标音视频帧。
其中，第一客户端与第二客户端是相对而言，可以相同也可以不同。第一客户端可以是目标用户所使用的客户端，第二客户端可以是观看目标用户直播的其他用户所使用的客户端。
需要说明的是，如果是实时互动场景，则可以对采集的每个待处理面部图像进行处理，并将得到的目标图像以多媒体数据流的形式下发至其他客户端一是使拍摄出的视频更具有灵动性和互动性，二是可以使各观看用户可以看到视线总聚焦至目标角度的图像，提高用户观看体验的效果。
本公开实施例的技术方案，在基于目标视线角度调整模型对待处理面部图像进行处理之前，可以先训练得到目标视线角度调整模型，从而基于目标视线角度调整模型对摄像装置采集的各个待处理面部图像进行处理，从而得到视线聚焦的目标图像，并将目标图像发送至各个客户端，以使各用户观看到的为视线聚焦之后的目标用户，得到了更具有互动性的视频流。
实施例三
图4为本公开实施例三所提供的一种数据处理方法的流程示意图，在前述实施例的基础上，在训练得到目标视线角度调整模型之前，可以基于目标样本生成模型来生成相应的训练样本，相应的，在得到训练样本之前，可以先训练得到目标样本生成模型，其具体的实施方式可以参见本技术方案的详细阐述。其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图4所示，所述方法包括：
S310、训练得到目标样本生成模型中的非目标视线角度图像生成子模型。
可选的，将预先采集的各高斯分布向量和原始非正视图像样本输入至待训练非目标视线角度生成子模型中，得到误差值；基于所述误差值和与所述待训练非目标视线角度图像生成子模型中的损失函数，对所述待训练非目标视线角度图像生成子模型中的模型参数进行修正；将所述损失函数收敛作为训练目标，得到所述非目标视线角度图像生成子模型，以基于所述非目标视线角度图像生成子模型生成所述训练样本中的非目标视线角度图像。
在本实施例中，所述将预先采集的高斯分布向量和原始非正视图像样本输入至待训练非正视样本图像生成子模型中，得到误差值，包括：
基于所述非目标视线角度图像生成子模型中的生成器对所述高斯分布向量进行处理，得到待比较图像；基于判别器对所述原始非正视图像和所述待比较图像进行处理，得到所述误差值。
其中，高斯分布向量可以是随机采样噪声。可以在用户为非正视的情况下采集其面部图像，得到原始非正视图像。待训练非目标视线角度生成子模型中的模型参数为默认参数值。可以将高斯分布向量和原始非正视图像作为待训练目标视线角度生成子模型的输入，得到实际输出结果。根据实际输出结果和与非正视图像相对应的理论输出结果，可以得到误差值。基于该误差值和非正视目标视线角度图像生成子模型中的预设损失函数，可以对该子模型中的模型参数进行修正。可以将损失函数收敛作为训练目标得到非目标视线角度图像生成子模型。
需要说明的是，在训练本技术方案公开的各子模型时，均可以采用对抗方式训练。对抗方式训练可以是：非目标视线角度图像生成子模型中包括生成器和判别器。生成器用于对高斯分布向量进行处理，生成相应的图像。判别器用于确定生成的图像和原始图像之间的相似度，以便根据误差调整生成器和判别器中的模型参数，直至非目标视线角度图像生成子模型训练完成。
具体的，非目标视线角度图像生成子模型中的生成器对高斯分布向量进行处理，可以得到与高斯分布向量相对应的待比较图像。同时，可以将待比较图像和原始非正视图像输入至判别器中，判别器可以对两幅图像进行判别处理，得到输出结果。根据输出结果可以修正生成器和判别器中的模型参数。在检测到该模型的损失函数收敛时，可以将得到的模型作为非目标视线角度图像生成子模型。
S320、获取非目标视线角度图像生成子模型中的模型参数，并将模型参数复用至待训练目标视线角度图像生成子模型中，基于预先采集的各高斯分布向量和原始正视样本图像对待训练目标视线角度图像生成子模型进行训练，得到目标视线角度图像生成子模型。
相应的，在得到非目标视线角度生成子模型后，可以训练得到目标视线角度生成子模型。可选的，获取所述非目标视线角度图像生成子模型中的模型参数，并将所述模型参数复用至待训练目标视线角度图像生成子模型中；基于预先采集的各高斯分布向量和原始正视样本图像对所述待训练目标视线角度图像生成子模型进行训练，得到目标视线角度图像生成子模型。
需要说明的是，此时待训练目标视线角度图像生成子模型也是基于对抗方式训练完成的。即该子模型中也包括生成器和判别器。生成器和判别器的作用于上述子模型的作用相同，训练得到目标视线角度图像生成子模型的方式与得到非目标视线角度图像生成子模型的方式相同，在此不再一一赘述。
还需要说明的是，为了提高训练得到目标视线角度图像生成子模型的便捷性，在非目标视线角度图像生成子模型训练完成后，可以复用该子模型中的模型参数，以将其作为训练得到目标视线角度图像生成子模型中的初始模型参数。
S330、将多个待训练高斯分布向量分别输入至目标视线角度图像生成子模型和非目标视线角度图像生成子模型中，得到训练样本中的目标视线角度图像和非目标视线角度图像。
具体的，可以将目标视线角度图像生成子模型和非目标视线角度图像生成子模型整体作为目标样本生成模型。也可以是将目标视线角度图像生成子模型和非目标视线角度图像生成子模型封装在一起，以根据输入，可以输出两幅图像，此时两幅图像中用户的视线角度不同。
目前，训练模型的通用问题是，需要采集大量的样本，样本采集在一定程度上存在困难度，如，本提案中采集大量用户在目标视线角度下的图像和非目标视线角度下的图像，存在样本采集困难和标准不统一的问题。基于本技术方案，可以直接对随机采样噪声进行处理，得到同一用户不同视线角度下的图像，从而得到相应的样本，提高了确定样本的便捷性和通用性，进而提高了训练模型的便捷性。
可选的，基于目标样本生成模型中的目标视线角度图像生成子模型和非目标视线角度图像生成子模型，依次对多个高斯分布向量进行处理，得到训练样本中的目标视线角度图像和非目标视线角度图像。
S340、基于各训练样本训练得到目标视线角度调整模型。
本公开实施例的技术方案，通过预先训练得到的目标样本生成模型可以对随机采样噪声进行处理，以得到训练目标视线角度调整模型的大量训练样本，提高了获取训练样本便捷性和统一性的技术效果。
实施例四
图5为本公开实施例四所提供的一种数据处理方法的流程示意图，在前述实施例的基础上，可以对基于预先设置的音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在所述目标文本中的目标语句进行进一步细化，其具体的实施方式可以参见本技术方案的详细阐述。其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图4所示，所述方法包括：
S410、采集与目标用户相关联的音视频帧数据，其中，所述音视频帧数据中包括待处理语音信息和待处理面部图像。
S420、基于目标视线角度调整模型对所述待处理面部图像进行处理，得到与所述待处理面部图像相对应的目标面部图像。
S430、基于所述音频特征提取算法对所述待处理语音信息进行特征提取，得到待处理声学特征。
其中，音频特征提取算法为提取音频信息特征的算法。音频跟随算法可以理解为对待处理语音信息的声学特征进行处理，从而得到与语音信息相对应的语句的方法，即确定语音信息所对应的文字的算法。
具体的，在采集到待处理语音信息之后，可以基于预先设置的音频特征提取算法对待处理语音信息进行声学特征提取，从而得到待处理语音信息中的声学特征。
S440、基于声学模型和所述解码器对所述待处理声学特征进行处理，得到第一待确定语句，以及与所述第一待确定语句相对应的第一置信度。
其中，声学模型可以对提取的声学特征进行处理，以得到与声学特征相对应的声学后验概率。根据目标文本的具体内容来生成相应的解码器，即与不同的目标文本来说，与其相对应的解码器不同。第一待确定语句是基于声学模型和解码器对待处理声学特征进行处理后，得到的与待处理语音信息相对应的语句。第一置信度用于表征第一待确定语句的可信度。
具体的，可以将待处理声学特征输入至声学模型中，可以得到与待处理声学特征相对应的声学后验概率。进一步，将声学后验概率输入至解码器后，可以得到与待处理声学特征相对应的第一待确定语句，同时，也可以输出第一待确定语句的第一置信度。
在本实施例中，可以仅基于音频跟随算法中的解码器对待处理语音信息进行处理。先通过声学模型对待处理声学特征进行处理，得到与待处理声学特征相对应的声学后验概率。将声学后验概率作为解码器的输入，得到与该声学后验概率相对应的第一待确定语句，以及第一待确定文本的第一置信度。置信度用于表征第一待确定语句的准确性。在实际应用中，如果第一置信度达到预设置信度阈值，则说明第一待确定语句的准确性是比较高的，可以将第一待确定语句作为待匹配语句。
S450、根据所述第一置信度，确定与所述待处理语音信息相对应的待匹配语句，并确定所述待匹配语句在所述目标文本中所对应的目标语句。
具体的，如果第一置信度大于预设置信度阈值，则可以将第一待确定语句为待匹配语句，同时，也可以确定待匹配语句在目标文本中所对应的目标语句。
在上述技术方案的基础上，如果仅用关键词检测系统对待处理声学特征进行处理，可以是：基于所述音频跟随方法中的关键词检测系统和所述待处理声学特征，确定与所述待处理声学特征相对应的第二待确定语句和与所述第二待确定语句相对应的第二置信度；其中，所述关键词检测系统与所述目标文本相匹配；在所述第二置信度满足预设置信度阈值的条件下，将所述第二待确定语句作为所述待匹配语句。
具体的，可以将待处理声学特征输入至关键词检测系统中，关键词检测系统可以输出与待处理声学特征相对应的第二待确定语句，以及第二待确定语句的第二置信度。如果第二置信度值高于预设置信度阈值，则说明第二待确定语句是较为准确的，此时，可以将第二待确定语句作为待匹配语句。
当然，为了提高确定出的待匹配语句的准确性，可以基于解码器和关键词检测系统共同对待处理声学特征进行处理，从而确定与待处理声学特征相对应的待匹配语句。
可选的，在所述音频跟随方法中包括关键词检测系统和所述解码器，且分别基于所述解码器和关键词检测系统对所述待处理声学特征进行处理，得到第一待确定语句和第二待确定语句的条件下，根据所述第一待确定语句的第一置信度和所述第二待确定语句的第二置信度，确定所述待匹配语句。
可以理解为，可以基于解码器和关键词检测系统分别对待处理声学特征进行处理，得到与该待处理声学特征相对应的第一待确定语句和第二待确定语句。同时，也可以得到第一待确定语句和第二待确定语句的置信度。需要说明的是，第一待确定语句和第二待确定语句的内容可以相同，也可以不同，相应的，第一置置信度与第二置信度也可以相同，也可以不同。
具体的，如果第一待确定语句和第二待确定语句相同，且第一置信度和第二置信度均高于预设置信度阈值，则可以将第一待确定语句或第二待确定语句中的任意一个文本内容作为待匹配语句。如果第一待确定语句和第二待确定语句内容不同，且第一置信度和第二置信度均高于易俗河置信度阈值，则可以将置信度较高时所对应的文本作为待匹配语句。如果第一待确定语句和第二待确定语句内容不同，且置信度均低于预设置信度阈值，则说明目标用户当前所说的内容与目标文本中的内容无关，可以不用确定当前语音信息在目标文本中的具体句子。
S460、将所述目标语句和所述目标面部图像分别或同时显示在与所述目标用户相关联的客户端上。
在本实施例中，所述将所述目标播报语句在所述目标文本中区别显示，包括：将所述目标播报语句高亮显示；或，将所述目标播报语句加粗显示；或，将除所述目标播报语句之外的其他语句以半透明的形式显示；其中，与所述目标播报语句相邻的预设数量的未播报文本的透明度低于其他待播报文本的透明度。
具体的，可以将目标语句高亮显示，以提示用户当前播报的为该句话；或者是，将目标语句加粗显示。亦或是，将目标语句之外的其他语句半透明显示，以避免其他语句显示时对目标用户播报造成干扰。通常，为了便于目标用户了解目标语句前后所对应的内容，可以将与目标语句相邻的预设数量的语句的透明度设置的低一点，以便目标用户在播报过程中，可以了解目标语句的前后文意思，从而提高播报用户的播报效率和使用体验。
进一步的，在对目标用户的待处理面部图像处理后，可以将目标面部图像以及与目标面部图像相关联的音频信息的整体数据流下发至与目标用户相关联的客户端。
本公开实施例的技术方案，通过音频跟随方法可以对待处理语音信息进行处理，得到待匹配语句，并可以确定待匹配语句在目标文本中的具体位置，并将其区别显示，实现了对目标文本进行智能跟随，进而便于目标用户进行播报的技术效果。
在上述技术方案的基础上，为了快速的确定待匹配语句在目标待播报文本中的目标语句，可以采用的方式是：如果当前时刻所述目标文本中包括区别显示的已播报语句，则以所述已播报语句为起始点，确定所述待匹配语句在所述目标文本中所对应的目标语句。
需要说明的是，在目标用户播报过程中，可以区分目标文本中已经播报过的语句和未播报过的语句。可选的，可以用不同的字体或者透明度显示已播报语句和未播报语句，如，可以将已播报文本透明度设置的高一点，以解决对未播报文本的干扰。在确定当前时刻的目标语句后，可以从已播报语句中的最后一句话为起始点，确定未播报语句中与待匹配语句相一致的语句，作为目标语句，并将该目标语句区别显示。
需要说明的，可以预先设置不同内容所对应的区别显示方式，即，区分已播报语句、未播报语句、目标语句的方式均可以不同，从而达到有效提醒播报用户的技术效果。
在实际应用过程中，为了进一步提高确定目标语句的效率，可以从已播报语句为起始点，并获取起始点之后预设数量的语句。可选的，获取起始点之后的三句话，可以将这三句话作为待配准未播报语句。如果待配准未播报语句中存在与待匹配语句相一致的语句，则可以将相一致时所对应的待配准未播报文本作为目标语句。如果待配准未播报文本中不包括待匹配语句，则说明目标文本中不包括待匹配语句。
在本实施例中，将目标语句区别显示，可以是：将所述目标语句高亮显示；或，将所述目标语句加粗显示；或，将除所述目标语句之外的其他语句以半透明的形式显示；其中，与所述目标语句相邻的预设数量的未播报文本的透明度低于其他待播报文本的透明度。
具体的，可以将目标语句高亮显示，以提示用户当前播报的为该句话；或者是，将目标语句加粗显示。亦或是，将目标语句之外的其他语句半透明显示，以避免其他语句显示时对目标用户播报造成干扰。通常，为了便于目标用户了解目标语句前后所对应的内容，可以将与目标语句相邻的预设数量的语句的透明度设置的低一点，以便目标用户在播报过程中，可以了解目标语句的前后文意思，从而提高播报用户的播报效率和使用体验。
本公开实施例的技术方案，通过在采集到待处理语音信息时，可以确定待处理语音信息相对应的待处理声学特征，并将声学特征输入至与目标文本相对应的解码器和/或关键词检测系统后，可以得到与待处理声学特征相对应的待匹配语句，同时，可以确定待匹配语句在目标文本中的具体句子，解决了现有技术中提词器仅仅起到展示播报文本，无法对用户进行有效提示，导致提示效果不佳的问题，实现了在目标用户播报的过程中，采集播报用户的语音信息，并确定该语音信息在播报文本中所对应的目标语句，并将其区别显示在提词器上，达到了提词器可以智能根据播报用户，进而提高播报效果的技术效果。
实施例五
图6为本公开实施例五所提供的一种数据处理方法的流程示意图，在前述实施例的基础上，可以先确定与目标文本相对应的解码器和关键词检测系统，进而基于解码器和关键词检测系统对待处理声学特征进行处理，其具体的实施方式可以参见本技术方案的详细阐述。其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图6所示，所述方法包括：
S510、确定与所述目标文本相对应的音频内容跟随方法。
在本实施例中，确定与目标文本相对应的解码器可以是：获取所述目标文本，并对所述目标文本分词处理，得到与所述目标文本相对应的至少一个播报词汇；基于所述至少一个播报词汇，得到待使用语言模型；基于所述待使用语言模型和通用语言模型，确定语言插值模型；通过加权有限状态转换机对所述语言插值模型进行动态构图，得到与所述目标文本相对应的解码器。
其中，可以采用现有的各种分词工具，例如，结巴分词，可以对目标文本进行分词处理，得到至少一个播报词汇。在得到各个播报词汇后，可以训练一个与目标文本相对应的待使用语言模型，此待使用语言模型可以为二分类模型。通用的语言模型为现有经常使用的语言模型。基于待使用语言模型和通用语言模型，可以得到语言插值模型。该语言插值模型可以确定目标用户在播报途中说的一些与目标文本无关的语音。采用加权有限转态机动态构图，可以得到与语言插值模型相对应的解码器。此时的解码器与目标文本高度相关。由于该解码器与目标文本高度相关联，因此，基于该解码器可以有效的确定待处理声学特征所对应的待匹配语句。
在本实施例中，确定与目标文本相对应的关键词检测系统，可以是：将所述目标文本划分为至少一个播报词汇；根据预先确定的分类规则，确定与所述至少一个播报词汇相对应的类别；基于与各类别所对应的播报词汇，生成所述关键词检测系统。
具体的，还是基于分词工具将目标文本划分为多个播报词汇。可以将每个词汇都作为一个关键词。预先设置的分类规则可以是如何将关键词进行归类。在确定归类的类别后，可以确定每个类别所对应的播报词汇，进而基于每个类别的播报词汇生成关键词检测系统。
S520、采集与目标用户相关联的音视频帧数据，其中，所述音视频帧数据中包括待处理语音信息和待处理面部图像。
S530、基于目标视线角度调整模型对所述待处理面部图像进行处理，得到与所述待处理面部图像相对应的目标面部图像。
S540、基于音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在所述目标文本中的目标语句。
具体的，在基于麦克风阵列采集到目标用户的待处理语音信息后，即wav语音波形后，可以基于对语音音频特提取的方法提取得到声学特征。基于conformer声学模型对声学特征进行处理，可以得到声学后验概率。可以将声学后验概率输入至解码器中，可以得到第一待确定语句以及与第一待确定语句相对应的置信度。同时，可以将声学特征输入至关键词检测系统，得到与声学特征相对应的第二待确定语句以及与第二待确定语句相对应的置信度。通过对两个置信度所对应的待确定语句进行融合处理，如，将置信度较高的待确定语句，作为待匹配语句。
在本实施例中，确定所述待匹配语句在所述目标文本中对应的目标语句，具体可以是：从目标文本中当前已播报文本的最后一句为起始点，确定下一句文本是否与待匹配语句相一致，如果相一致，则确定下一句文本为目标语句。如果不一致，则确定下一句文本的下一句是否与待匹配语句相一致，如果相一致，则确定该语句为目标语句。反之，如果匹配不到与待匹配语句相一致的目标语句，则确定目标用户当前所说的话与目标文本无关，可以不做处理。
S550、将所述目标语句和所述目标面部图像分别或同时显示在与所述目标用户相关联的客户端上。
具体的，可以将目标语句区别于目标文本中的其他语句。
在上述技术方案的基础上，在确定目标语句的过程中，还包括：确定与所述目标语句所对应的实际语音时长；根据所述实际语音时长和所述目标文本中的未匹配语句，调整与所述未匹配语句相对应的预测语音时长；将所述预测语音时长显示在目标客户端上，以对所述目标用户进行提示。
其中，实际语音时长指的是目标用户说目标语句所使用的时长，例如，2S。预测语音时长指的是目标用户对后续未播报语句进行播报时所需要的时长。该预测播报时长为动态调整的，其调整的依据主要是根据目标用户的语速来确定的。语速的确定可以是根据目标语句所使用的实际语音时长，和目标语句所对应的字数，确定每个字所使用的时长。根据每个字所使用的时长以及后续未播报语句的总字数，可以确定后续对未播报语句进行播报时，所需要的时长。可以将未播报语句作为未匹配语句。
在实际应用过程中，为了起到及时提醒用户的效果，可以将预测语音时长显示在与目标用户相对应的目标客户端上。同时，目标用户也可以根据预测语音时长调整播报文本的语速，从而使播报时长与预设时长相一致，即可以在限定的时长内，将目标文本的内容播报完成。
需要说明的是，对于目标用户来说，播报每句话所使用的时长不同，相应的每个字所使用的时长也不相同，在目标用户播报的过程中，可以根据当前播报每个字所使用的时长动态调整预测语音时长。
在上述技术方案的基础上，所述方法还包括：当接收到所述目标文本时，对所述目标文本进行断句标注，并将断句标注标识显示在所述客户端上，以使用户基于所述断句标注标识阅读所述目标文本。
需要说明的是，随着视频拍摄的广泛普及，并不是每一个视频创作者都有机会接受专业的播音主持相关的培训，那么作为一个提词器或者应用程序，如果能帮助零播音基础视频创作者产出更高质量的口播视频的话，就变得更具普适性。对于各普通用户来说缺乏专业断词分析能力，面对输入的目标文本无法确定什么时候停顿，该什么样的情绪去处理每句播报文本。因此，本技术方案在达到上述技术效果的基础上，还设置有断句标注模型，以在上传目标文本后，可以对目标文本断词标注，并将断词标注结果显示在目标用户所使用的目标终端上，从而使用户基于断词标注播报目标文本，提高了播报目标文本的专业性。
其中，断句标注标识可以用“/”表示。如，如果需要长停顿可以用“--”表示，如果需要段停顿可以用“-”表示。如果两个字是需要连读的可用“()”表示等。同时，可以将断句标注标识显示在目标文本中，并将目标文本显示在目标终端上。
具体的，在将目标文本上传至与移动终端相对应的服务器后，可以对目标文本进行断词断句标注，以在目标用户播报时，可以一目了然的根据断词断句标注，确定如何进行播报，解决了现有技术需要人工来确定如何对播报文本内容进行断词断句标注，效率较低的问题。
在本实施例中，对目标文本进行断词断句标注，可以是基于预先训练的断词断句模型来实现的。
在上述技术方案的基础上，所述方法还包括：对所述目标文本中的已播报语句进行播报标记，以基于所述播报标记确定所述目标文本中的已播报语句和未播报语句。
具体的，在用户播报的过程中，可以对目标文本中的已播报语句和未播报语句用不同颜色进行标记，以使目标用户在播报过程中很好的区分已播报语句和未播报语句。同时，还可以将目标内容进行区别显示，可以达到明确提示目标用户当前已读的内容和即将要读的内容，解决了目标用户在播报文本的过程中出现串行的问题。
在上述技术方案的基础上，所述方法还包括：当接收到上传的所述目标文本时，基于预先训练的情感标注模型对所述目标文本中的各个语句进行情感标注，以使用户基于所述情感标注播报所述目标文本。即，当接收到所述目标文本时，对所述目标文本中的各个语句进行情感标注，并将情感标注标识显示在客户端上，以使用户基于所述情感标注标识阅读所述目标文本。
需要说明的是，对于普通用户来说，除了不知道在目标文本的具体位置进行停顿之外，通常，也不清楚该使用何种情感色彩播报文本，此时，在接收到上传的目标文本后，可以对目标文本进行预处理。如，可以对目标文本中的每句话进行情感色彩分析，并对分析出来的每句话进行表情标注，以便用户基于情感色彩标记，播报目标文本中的具体内容，解决了目前呆板阅读稿件的问题。
本公开实施例的技术方案，通过对已上传的目标文本进行分词处理，得到与目标文本相对应的解码器和关键词检测系统，从而基于解码器和关键词检测系统对提取的声学特征进行处理，可以确定用户当前所说的是否为目标文本中内容，进而将其进行区别显示，实现了区别显示的文本可以智能根据主播用户的效果，同时，为了提高播报的效果，可以对目标文本进行断词断句标注，以及情感标注，以使用户可以根据显示的断词断句标注和情感标注播报文本，实现了对播报文本进行播报的立体性。
实施例六
作为上述实施例的可选实施例，图7为本发明实施例六所提供的智能提词器结构示意图，该智能提词器可以实现上述播报方法，如图7所示，所述智能提词器包括：应用层面，可以是将提词方法部署在应用程序中，可选的，移动终端安装的各个可以进行直播互动的应用程序中。在显示界面上，可以显示目标文本，可以将目标用户的语音信息所对应的目标语句区别显示。同时，可以基于对语音信息进行分析处理的算法对目标文本进行智能分词、表情标注，智能断词断句，以及还可以进行语义分析，实现智能跟随、已读标注、以及对未读语句进行时长预测，其具体的实现方式可以参见上述具体表述。同时，在显示界面上还可以显示目标用户的面部图像，并基于算法中的目标视线角度调整模型对目标用户的视线进行聚焦，得到视线角度为目标角度的目标面部图像，并将目标面部图像发送至各个观看直播的客户端。
也就是说，本技术方案的应用场景，具体的技术方案以及所采用的算法，可以如图8所示的结构示意图。应用场景可以是任意需要交互的场景、如，在线教育场景、电商领域中的直播场景、内容视频录制场景、在线授课场景等。可以实现的为，智能跟随、已读标注、时间预估、表情标注、眼神聚焦、智能断词；实现上述功能所采用的算法可以是模型训练算法以及语音智能分析算法。
实施例七
图9为本公开实施例七所提供的一种数据处理装置的结构示意图，可执行本公开任意实施例所提供的数据处理方法，具备执行方法相应的功能模块和有益效果。如图9所示，所述装置包括：音视频帧数据采集模块610、面部图像处理模块620、目标语句确定模块630以及显示模块显示模块640。
其中，音视频帧数据采集模块610，用于采集与目标用户相关联的音视频帧数据，其中，所述音视频帧数据中包括待处理语音信息和待处理面部图像；面部图像处理模块620，用于基于目标视线角度调整模型对所述待处理面部图像进行处理，得到与所述待处理面部图像相对应的目标面部图像；目标语句确定模块630，用于基于音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在所述目标文本中的目标语句；显示模块显示模块640，用于将所述目标语句和所述目标面部图像分别或同时显示在与所述目标用户相关联的客户端上。
在上述技术方案的基础上，所述音视频帧数据采集模块610，用于在所述采集与目标用户相关联的音视频帧数据之前，还用于接收上传所述目标文本，以使所述目标用户基于所述目标文本进行互动。
在上述技术方案的基础上，所述音视频帧数据采集模块，还用于当检测到触发预设事件时，基于语音收集装置采集所述目标用户的待处理语音信息，以及基于摄像装置采集所述目标用户的待处理面部图像。
在上述技术方案的基础上，所述面部图像处理模块620，还用于：将所述待处理面部图像输入至所述目标视线角度调整模型中，得到所述目标面部图像；其中，所述目标面部图像中目标用户的视线角度与目标视线角度相一致。
在上述技术方案的基础上，所述装置还包括：目标视线角度调整模型训练模块，包括：
样本集获取单元，用于获取训练样本集；其中，所述训练样本集中包括多个训练样本，每个训练样本中包括目标视线角度图像和非目标视线角度图像，所述训练样本是基于预先训练得到的目标样本生成模型确定的；
目标视线聚焦模型训练单元，用于针对各训练样本，将当前训练样本中的非目标视线角度图像输入至待训练视线角度调整模型中，得到与所述当前训练样本相对应的实际输出图像；根据当前训练样本的实际输出图像和目标视线角度图像，确定损失值，并基于所述损失值和与所述待训练视线角度调整模型的预设损失函数，调整所述待训练视线角度调整模型的模型参数；将所述预设损失函数收敛作为训练目标，得到所述目标视线角度调整模型。在上述技术方案的基础上，所述装置还包括：样本生成模型训练模块，用于训练得到所述目标样本生成模型；其中，所述目标样本生成模型包括目标视线角度图像生成子模型和非目标视线角度图像生成子模型。
在上述技术方案的基础上，所述样本生成模型训练模块，包括：
误差值确定单元，用于将基于所述非目标视线角度图像生成子模型中的生成器对预先采集的高斯分布向量进行处理，得到待比较图像；基于判别器对原始非正视图像和所述待比较图像进行处理，得到误差值；其中，所述原始非正视图像为预先采集的；
参数修正单元，用于基于所述误差值和与待训练非目标视线角度图像生成子模型中的损失函数，对所述待训练非目标视线角度图像生成子模型中的模型参数进行修正；
子模型生成单元，用于将所述损失函数收敛作为训练目标，得到所述非目标视线角度图像生成子模型，以基于所述非目标视线角度图像生成子模型生成所述训练样本中的非目标视线角度图像。
在上述技术方案的基础上，所述样本生成模型训练模块，用于：
获取所述非目标视线角度图像生成子模型中的模型参数，并将所述模型参数复用至待训练目标视线角度图像生成子模型中；
基于预先采集的各高斯分布向量和原始正视样本图像对所述待训练目标视线角度图像生成子模型进行训练，得到目标视线角度图像生成子模型，以基于所述目标视线角度图像生成子模型生成所述训练样本中的目标视线角度图像。在上述技术方案的基础上，所述播报内容跟随算法中包括音频特征提取算法以及解码器，所述语音处理模块，还用于
基于所述音频特征提取算法对所述待处理语音信息进行特征提取，得到待处理声学特征；
基于声学模型对所述待处理声学特征进行处理，得到与所述待处理声学特征相对应的声学后验概率；
基于所述声学后验概率和所述解码器，确定第一待确定语句，以及与所述第一待确定语句相对应的第一置信度；其中，所述解码器是根据与所述目标文本相对应的插值语言模型确定，所述插值语言模型是根据与所述目标文本相对应的目标语言模型和普通语言模型确定的；
在所述第一置信度满足预设置信度阈值的条件下，将所述第一待确定语句作为待匹配语句，并根据所述待匹配语句确定所述目标语句。
在上述技术方案的基础上，所述语音处理模块，还用于
基于所述关键词检测系统对所述待处理语音信息的待处理声学特征进行处理，确定与所述待处理声学特征相对应的第二待确定语句和所述第二待确定语句的第二置信度；
在所述第二置信度满足预设置信度阈值的条件下，将所述第二待确定语句作为待匹配语句，并根据所述待匹配语句确定所述目标语句。
在上述技术方案的基础上，所述音频内容跟随算法中还包括关键词检测系统，所述语音处理模块，还用于
在所述音频内容跟随方法中包括关键词检测系统和所述解码器，且分别基于所述解码器和关键词检测系统对所述待处理声学特征进行处理，得到第一待确定语句和第二待确定语句的条件下，根据所述第一待确定语句的第一置信度和所述第二待确定语句的第二置信度，确定待匹配语句，并根据所述待匹配语句确定所述目标语句。
在上述技术方案的基础上，所述装置显示模块，还用于：在第一客户端上将所述目标语句在所述目标文本中区别显示，在第二客户端上显示与所述目标面部图像相对应的目标音视频帧。
在上述技术方案的基础上，所述装置还包括：解码器生成模块，用于：
确定与所述目标文本相对应的解码器；
所述确定与所述目标文本相对应的解码器，包括：
获取所述目标文本，并对所述目标文本分词处理，得到与所述目标文本相对应的至少一个播报词汇；
基于所述至少一个播报词汇，得到待使用语言模型；
基于所述待使用语言模型和通用语言模型，确定语言插值模型；
通过加权有限状态转换机对所述语言插值模型进行动态构图，得到与所述目标文本相对应的解码器。
在上述技术方案的基础上，所述装置还包括：关键词检测系统生成模块，用于：
将所述目标文本划分为至少一个播报词汇；
根据预先确定的分类规则，确定与所述至少一个播报词汇相对应的类别；
基于与各类别所对应的播报词汇，生成所述关键词检测系统。
在上述技术方案的基础上，所述显示模块中包括：区别显示单元，用于：
将所述目标播报语句高亮显示；或，
将所述目标播报语句加粗显示；或，
将除所述目标播报语句之外的其他语句以半透明的形式显示；其中，与所述目标播报语句相邻的预设数量的未播报文本的透明度低于其他待播报文本的透明度。
在上述技术方案的基础上，所述显示模块中包括：预测时长单元，用于：
确定与所述待处理语音信息所对应的实际语音时长；
根据所述实际语音时长和所述目标文本中的未阅读语句，调整与所述未阅读语句相对应的预测语音时长；
将所述预测语音时长显示在目标用户所属的目标客户端上，以对所述目标用户进行提示。
在上述技术方案的基础上，所述装置还包括：断句标注模块，用于：
当接收到所述目标文本时，对所述目标文本进行断句标注，并将断句标注标识显示在所述客户端上，以使用户基于所述断句标注标识阅读所述目标文本。
在上述技术方案的基础上，所述装置还包括：情感标注模块，用于：
当接收到所述目标文本时，对所述目标文本中的各个语句进行情感标注，并将情感标注标识显示在所述客户端上，以使用户基于所述情感标注标识阅读所述目标文本。
本公开实施例的技术方案，可以采集目标用户的待处理语音信息和待处理面部图像，进而对待处理语音信息和待处理面部图像进行处理，得到目标图像，以及待处理语音信息所对应的目标语句在目标文本中的具体位置，解决了现有技术提词器占用面积较大、使用繁琐复杂，从而导致提词器使用不便的问题，实现了可以基于移动终端就可以进行高效率播报的技术效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
实施例七
图10为本公开实施例八所提供的一种电子设备的结构示意图。下面参考图10，其示出了适于用来实现本公开实施例的电子设备(例如图10中的终端设备或服务器)700的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图10示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置706加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。编辑/输出(I/O)接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的编辑装置706；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置706；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置706被安装，或者从ROM 702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的数据处理方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
实施例八
本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的数据处理方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
在基于实时互动界面互动时，采集与目标用户相关联的播报数据信息，其中，所述播报数据信息中包括待处理语音信息和待处理面部图像；
基于预先训练得到的目标视线聚焦模型对所述待处理面部图像进行聚焦处理，得到与所述待处理面部图像相对应的目标面部图像；
基于预先设置的播报内容跟随方法对所述待处理语音信息进行跟随处理，确定所述待处理语音信息在所述目标播报文本中的目标播报语句；
将所述目标播报语句在所述目标播报文本中区别显示，以及将与所述目标面部图像相对应的多媒体数据流发送至与所述目标用户相关联的至少一个客户端，以在所述至少一个客户端中展示所述目标面部图像。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，【示例一】提供了一种数据处理方法，该方法包括：
采集与目标用户相关联的音视频帧数据，其中，所述音视频帧数据中包括待处理语音信息和待处理面部图像；
基于目标视线角度调整模型对所述待处理面部图像进行处理，得到与所述待处理面部图像相对应的目标面部图像；
基于音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在所述目标文本中的目标语句；
将所述目标语句和所述目标面部图像分别或同时显示在与所述目标用户相关联的客户端上。
根据本公开的一个或多个实施例，【示例二】提供了一种数据处理方法，可选的，在所述采集与目标用户相关联的音视频帧数据之前，包括：
接收上传的所述目标文本，以使所述目标用户基于所述目标文本进行互动。
根据本公开的一个或多个实施例，【示例三】提供了一种数据处理方法，可选的，所述采集与目标用户相关联的音视频帧数据，包括：
当检测到触发预设事件时，基于语音收集装置采集所述目标用户的待处理语音信息，以及基于摄像装置采集所述目标用户的待处理面部图像。
根据本公开的一个或多个实施例，【示例四】提供了一种数据处理方法，可选的，所述基于预先训练得到的目标视线角度调整模型对所述面部图像信息进行聚焦处理，得到与所述待处理面部图像相对应的目标面部图像，包括：
将所述待处理面部图像输入至所述目标视线角度调整模型中，得到所述目标面部图像；其中，所述目标面部图像中目标用户的视线角度与目标视线角度相一致。
根据本公开的一个或多个实施例，【示例五】提供了一种数据处理方法，可选的，
获取训练样本集；其中，所述训练样本集中包括多个训练样本，每个训练样本中包括目标视线角度图像和非目标视线角度图像，所述训练样本是基于预先训练得到的目标样本生成模型确定的；
针对各训练样本，将当前训练样本中的非目标视线角度图像输入至待训练视线角度调整模型中，得到与所述当前训练样本相对应的实际输出图像；
根据当前训练样本的实际输出图像和目标视线角度图像，确定损失值，并基于所述损失值和与所述待训练视线角度调整模型的预设损失函数，调整所述待训练视线角度调整模型的模型参数；
将所述预设损失函数收敛作为训练目标，得到所述目标视线角度调整模型。
根据本公开的一个或多个实施例，【示例六】提供了一种数据处理方法，可选的，训练得到所述目标样本生成模型中的非目标视线角度图像生成子模型，包括：
基于所述非目标视线角度图像生成子模型中的生成器对预先采集的高斯分布向量进行处理，得到待比较图像；
基于判别器对原始非正视图像和所述待比较图像进行处理，得到误差值；其中，所述原始非正视图像为预先采集的；
基于所述误差值和与待训练非目标视线角度图像生成子模型中的损失函数，对所述待训练非目标视线角度图像生成子模型中的模型参数进行修正；
将所述损失函数收敛作为训练目标，得到所述非目标视线角度图像生成子模型，以基于所述非目标视线角度图像生成子模型生成所述训练样本中的非目标视线角度图像。
根据本公开的一个或多个实施例，【示例七】提供了一种数据处理方法，可选的，
训练得到所述目标样本生成模型中的目标视线角度图像生成子模型，包括：
获取所述非目标视线角度图像生成子模型中的模型参数，并将所述模型参数复用至待训练目标视线角度图像生成子模型中；
基于预先采集的各高斯分布向量和原始正视样本图像对所述待训练目标视线角度图像生成子模型进行训练，得到目标视线角度图像生成子模型，以基于所述目标视线角度图像生成子模型生成所述训练样本中的目标视线角度图像。
根据本公开的一个或多个实施例，【示例八】提供了一种数据处理方法，可选的，所述音频内容跟随方法中包括音频特征提取算法以及与所述目标文本相对应的解码器，所述基于音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在目标文本中所关联的目标语句，包括：
基于所述音频特征提取算法对所述待处理语音信息进行特征提取，得到待处理声学特征；
基于声学模型对所述待处理声学特征进行处理，得到与所述待处理声学特征相对应的声学后验概率；
基于所述声学后验概率和所述解码器，确定第一待确定语句，以及与所述第一待确定语句相对应的第一置信度；其中，所述解码器是根据与所述目标文本相对应的插值语言模型确定，所述插值语言模型是根据与所述目标文本相对应的目标语言模型和普通语言模型确定的；
在所述第一置信度满足预设置信度阈值的条件下，将所述第一待确定语句作为待匹配语句，并根据所述待匹配语句确定所述目标语句。
根据本公开的一个或多个实施例，【示例九】提供了一种数据处理方法，可选的，所述音频内容跟随方法中还包括关键词检测系统，所述基于音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在目标文本中所关联的目标语句，包括：
基于所述关键词检测系统对所述待处理语音信息的待处理声学特征进行处理，确定与所述待处理声学特征相对应的第二待确定语句和所述第二待确定语句的第二置信度；
在所述第二置信度满足预设置信度阈值的条件下，将所述第二待确定语句作为待匹配语句，并根据所述待匹配语句确定所述目标语句。
根据本公开的一个或多个实施例，【示例十】提供了一种数据处理方法，可选的，所述基于音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在目标文本中所关联的目标语句，包括：
在所述音频内容跟随方法中包括关键词检测系统和所述解码器，且分别基于所述解码器和关键词检测系统对所述待处理声学特征进行处理，得到第一待确定语句和第二待确定语句的条件下，根据所述第一待确定语句的第一置信度和所述第二待确定语句的第二置信度，确定待匹配语句，并根据所述待匹配语句确定所述目标语句。
根据本公开的一个或多个实施例，【示例十一】提供了一种数据处理方法，可选的，所述将所述目标语句和所述目标面部图像分别或同时显示在与所述目标用户相关联的客户端上，包括：
在第一客户端上将所述目标语句在所述目标文本中区别显示，在第二客户端上显示与所述目标面部图像相对应的目标音视频帧。
根据本公开的一个或多个实施例，【示例十二】提供了一种数据处理方法，可选的，确定与所述目标文本相对应的解码器；
所述确定与所述目标文本相对应的解码器，包括：
获取所述目标文本，并对所述目标文本分词处理，得到与所述目标文本相对应的至少一个播报词汇；
基于所述至少一个播报词汇，得到待使用语言模型；
基于所述待使用语言模型和通用语言模型，确定语言插值模型；
通过加权有限状态转换机对所述语言插值模型进行动态构图，得到与所述目标文本相对应的解码器。
根据本公开的一个或多个实施例，【示例十三】提供了一种数据处理方法，可选的，将所述目标播报文本划分为至少一个播报词汇；
根据预先确定的分类规则，确定与所述至少一个播报词汇相对应的类别；
基于与各类别所对应的播报词汇，生成所述关键词检测系统。
根据本公开的一个或多个实施例，【示例十四】提供了一种数据处理方法，可选的，所述确定所述待匹配语句在所述目标文本中所对应的目标语句，包括：
如果当前时刻所述目标文本中包括区别显示的已阅读语句，则以所述已阅读语句为起始点，确定所述待匹配语句在所述目标文本中所对应的目标语句。
根据本公开的一个或多个实施例，【示例十五】提供了一种数据处理方法，可选的，所述以所述已阅读语句为起始点，确定所述待匹配语句在所述目标文本中所对应的目标语句，包括：
将所述已阅读语句为起始点，确定所述起始点之后预设数量的待配准未阅读语句；
如果所述待配准未阅读语句中存在与所述待匹配语句相一致的语句，则将与所述待匹配语句相对应的待配准未阅读语句作为所述目标语句。
根据本公开的一个或多个实施例，【示例十六】提供了一种数据处理方法，可选的，所述将所述目标语句在所述目标文本中区别显示，包括：
将所述目标语句高亮显示；或，
将所述目标语句加粗显示；或，
将除所述目标语句之外的其他语句以半透明的形式显示；其中，与所述目标语句相邻的预设数量的未播报文本的透明度低于其他待播报文本的透明度。
根据本公开的一个或多个实施例，【示例十七】提供了一种数据处理方法，可选的，在确定目标语句之后，还包括：
确定与所述待处理语音信息所对应的实际语音时长；
根据所述实际语音时长和所述目标文本中的未阅读语句，调整与所述未阅读语句相对应的预测语音时长；
将所述预测语音时长显示在目标用户所属的目标客户端上，以对所述目标用户进行提示。
根据本公开的一个或多个实施例，【示例十八】提供了一种数据处理方法，可选的，当接收到所述目标文本时，对所述目标文本进行断句标注，并将断句标注标识显示在所述客户端上，以使用户基于所述断句标注标识阅读所述目标文本。
根据本公开的一个或多个实施例，【示例十九】提供了一种数据处理方法，可选的，当接收到所述目标文本时，对所述目标文本中的各个语句进行情感标注，并将情感标注标识显示在所述客户端上，以使用户基于所述情感标注标识阅读所述目标文本。
根据本公开的一个或多个实施例，【示例二十】提供了一种数据处理装置，该装置包括：
音视频帧数据采集模块，用于采集与目标用户相关联的音视频帧数据，其中，所述音视频帧数据中包括待处理语音信息和待处理面部图像；
面部图像处理模块，用于基于目标视线角度调整模型对所述待处理面部图像进行处理，得到与所述待处理面部图像相对应的目标面部图像；
目标语句确定模块，用于基于音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在目标文本中所关联的目标语句；
显示模块，用于将所述目标语句和所述目标面部图像分别或同时显示在与所述目标用户相关联的客户端上。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (17)

1.一种数据处理方法，其特征在于，包括：
采集与目标用户相关联的音视频帧数据，其中，所述音视频帧数据中包括待处理语音信息和待处理面部图像；
基于目标视线角度调整模型对所述待处理面部图像进行处理，得到与所述待处理面部图像相对应的目标面部图像；
基于音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在目标文本中所关联的目标语句；
将所述目标语句和所述目标面部图像分别或同时显示在与所述目标用户相关联的客户端上。
2.根据权利要求1所述的方法，其特征在于，在所述采集与目标用户相关联的音视频帧数据之前，还包括：
接收上传的所述目标文本，以使所述目标用户基于所述目标文本进行互动。
3.根据权利要求1所述的方法，其特征在于，所述采集与目标用户相关联的音视频帧数据，包括：
当检测到触发预设事件时，基于语音收集装置采集所述目标用户的待处理语音信息，以及基于摄像装置采集所述目标用户的待处理面部图像。
4.根据权利要求1所述的方法，其特征在于，所述基于目标视线角度调整模型对所述待处理面部图像进行处理，得到与所述待处理面部图像相对应的目标面部图像，包括：
将所述待处理面部图像输入至所述目标视线角度调整模型中，得到所述目标面部图像；其中，所述目标面部图像中目标用户的视线角度与目标视线角度相一致。
5.根据权利要求1所述的方法，其特征在于，还包括：
获取训练样本集；其中，所述训练样本集中包括多个训练样本，每个训练样本中包括目标视线角度图像和非目标视线角度图像，所述训练样本是基于预先训练得到的目标样本生成模型确定的；
针对各训练样本，将当前训练样本中的非目标视线角度图像输入至待训练视线角度调整模型中，得到与所述当前训练样本相对应的实际输出图像；
根据当前训练样本的实际输出图像和目标视线角度图像，确定损失值，并基于所述损失值和与所述待训练视线角度调整模型的预设损失函数，调整所述待训练视线角度调整模型的模型参数；
将所述预设损失函数收敛作为训练目标，得到所述目标视线角度调整模型。
6.根据权利要求5所述的方法，其特征在于，训练得到所述目标样本生成模型中的非目标视线角度图像生成子模型，包括：
基于所述非目标视线角度图像生成子模型中的生成器对预先采集的高斯分布向量进行处理，得到待比较图像；
基于判别器对原始非正视图像和所述待比较图像进行处理，得到误差值；其中，所述原始非正视图像为预先采集的；
基于所述误差值和与待训练非目标视线角度图像生成子模型中的损失函数，对所述待训练非目标视线角度图像生成子模型中的模型参数进行修正；
将所述损失函数收敛作为训练目标，得到所述非目标视线角度图像生成子模型，以基于所述非目标视线角度图像生成子模型生成所述训练样本中的非目标视线角度图像。
7.根据权利要求6所述的方法，其特征在于，训练得到所述目标样本生成模型中的目标视线角度图像生成子模型，包括：
获取所述非目标视线角度图像生成子模型中的模型参数，并将所述模型参数复用至待训练目标视线角度图像生成子模型中；
基于预先采集的各高斯分布向量和原始正视样本图像对所述待训练目标视线角度图像生成子模型进行训练，得到目标视线角度图像生成子模型，以基于所述目标视线角度图像生成子模型生成所述训练样本中的目标视线角度图像。
8.根据权利要求1所述的方法，其特征在于，所述音频内容跟随方法中包括音频特征提取算法以及与所述目标文本相对应的解码器，所述基于音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在目标文本中所关联的目标语句，包括：
基于所述音频特征提取算法对所述待处理语音信息进行特征提取，得到待处理声学特征；
基于声学模型对所述待处理声学特征进行处理，得到与所述待处理声学特征相对应的声学后验概率；
基于所述声学后验概率和所述解码器，确定第一待确定语句，以及与所述第一待确定语句相对应的第一置信度；其中，所述解码器是根据与所述目标文本相对应的插值语言模型确定，所述插值语言模型是根据与所述目标文本相对应的目标语言模型和普通语言模型确定的；
在所述第一置信度满足预设置信度阈值的条件下，将所述第一待确定语句作为待匹配语句，并根据所述待匹配语句确定所述目标语句。
9.根据权利要求1所述的方法，其特征在于，所述音频内容跟随方法中还包括关键词检测系统，所述基于音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在目标文本中所关联的目标语句，包括：
基于所述关键词检测系统对所述待处理语音信息的待处理声学特征进行处理，确定与所述待处理声学特征相对应的第二待确定语句和所述第二待确定语句的第二置信度；
在所述第二置信度满足预设置信度阈值的条件下，将所述第二待确定语句作为待匹配语句，并根据所述待匹配语句确定所述目标语句。
10.根据权利要求1所述的方法，其特征在于，所述基于音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在目标文本中所关联的目标语句，包括：
在所述音频内容跟随方法中包括关键词检测系统和解码器，且分别基于所述解码器和关键词检测系统对所述待处理声学特征进行处理，得到第一待确定语句和第二待确定语句的条件下，根据所述第一待确定语句的第一置信度和所述第二待确定语句的第二置信度，确定待匹配语句，并根据所述待匹配语句确定所述目标语句。
11.根据权利要求1所述的方法，其特征在于，所述将所述目标语句和所述目标面部图像分别或同时显示在与所述目标用户相关联的客户端上，包括：
在第一客户端上将所述目标语句在所述目标文本中区别显示，在第二客户端上显示与所述目标面部图像相对应的目标音视频帧。
12.根据权利要求1所述的方法，其特征在于，在确定目标语句的过程中，还包括：
确定与所述待处理语音信息所对应的实际语音时长；
根据所述实际语音时长和所述目标文本中的未阅读语句，调整与所述未阅读语句相对应的预测语音时长；
将所述预测语音时长显示在目标用户所属的目标客户端上，以对所述目标用户进行提示。
13.根据权利要求1所述的方法，其特征在于，还包括：
当接收到所述目标文本时，对所述目标文本进行断句标注，并将断句标注标识显示在所述客户端上，以使用户基于所述断句标注标识阅读所述目标文本。
14.根据权利要求1所述的方法，其特征在于，还包括：
当接收到所述目标文本时，对所述目标文本中的各个语句进行情感标注，并将情感标注标识显示在所述客户端上，以使用户基于所述情感标注标识阅读所述目标文本。
15.一种数据处理装置，其特征在于，包括：
音视频帧数据采集模块，用于采集与目标用户相关联的音视频帧数据，其中，所述音视频帧数据中包括待处理语音信息和待处理面部图像；
面部图像处理模块，用于基于目标视线角度调整模型对所述待处理面部图像进行处理，得到与所述待处理面部图像相对应的目标面部图像；
目标语句确定模块，用于基于音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在目标文本中所关联的目标语句；
显示模块，用于将所述目标语句和所述目标面部图像分别或同时显示在与所述目标用户相关联的客户端上。
16.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-14中任一所述的数据处理方法。
17.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-14中任一所述的数据处理方法。
CN202111016229.0A 2021-08-31 2021-08-31 数据处理方法、装置、电子设备及存储介质 Active CN113703579B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111016229.0A CN113703579B (zh) 2021-08-31 2021-08-31 数据处理方法、装置、电子设备及存储介质
PCT/CN2022/114441 WO2023030121A1 (zh) 2021-08-31 2022-08-24 数据处理方法、装置、电子设备及存储介质
EP22863260.0A EP4379508A1 (en) 2021-08-31 2022-08-24 Data processing method and apparatus, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111016229.0A CN113703579B (zh) 2021-08-31 2021-08-31 数据处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113703579A true CN113703579A (zh) 2021-11-26
CN113703579B CN113703579B (zh) 2023-05-30

Family

ID=78658336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111016229.0A Active CN113703579B (zh) 2021-08-31 2021-08-31 数据处理方法、装置、电子设备及存储介质

Country Status (3)

Country Link
EP (1) EP4379508A1 (zh)
CN (1) CN113703579B (zh)
WO (1) WO2023030121A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758645A (zh) * 2022-04-29 2022-07-15 建信金融科技有限责任公司 语音合成模型的训练方法、装置、设备及存储介质
WO2023030121A1 (zh) * 2021-08-31 2023-03-09 北京字跳网络技术有限公司 数据处理方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116167352B (zh) * 2023-04-03 2023-07-21 联仁健康医疗大数据科技股份有限公司 数据处理方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1870728A (zh) * 2005-05-23 2006-11-29 北京大学 自动加配字幕的方法和系统
US20140236600A1 (en) * 2013-01-29 2014-08-21 Tencent Technology (Shenzhen) Company Limited Method and device for keyword detection
CN105787884A (zh) * 2014-12-18 2016-07-20 联想(北京)有限公司 一种图像处理方法及电子设备
CN106910504A (zh) * 2015-12-22 2017-06-30 北京君正集成电路股份有限公司 一种基于语音识别的演讲提示方法及装置
US9697828B1 (en) * 2014-06-20 2017-07-04 Amazon Technologies, Inc. Keyword detection modeling using contextual and environmental information
US20200176014A1 (en) * 2018-11-30 2020-06-04 Alibaba Group Holding Limited Method and system for processing speech signal
CN111353336A (zh) * 2018-12-21 2020-06-30 华为技术有限公司 图像处理方法、装置及设备
CN111372119A (zh) * 2020-04-17 2020-07-03 维沃移动通信有限公司 多媒体数据录制方法、装置及电子设备
CN111933110A (zh) * 2020-08-12 2020-11-13 北京字节跳动网络技术有限公司 视频生成方法、生成模型训练方法、装置、介质及设备
WO2021057038A1 (zh) * 2019-09-24 2021-04-01 上海依图信息技术有限公司 基于多任务模型的语音识别与关键词检测装置和方法
CN112733794A (zh) * 2021-01-22 2021-04-30 腾讯科技（深圳）有限公司 人脸图像的视线矫正方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748879A (zh) * 2017-11-16 2018-03-02 百度在线网络技术（北京）有限公司 用于获取人脸信息的方法及装置
CN108491775B (zh) * 2018-03-12 2021-04-23 维沃移动通信有限公司 一种图像修正方法及移动终端
CN109639935B (zh) * 2019-01-25 2020-10-13 合肥学院 视频录制自动提词方法及计算机可读存储介质
CN110164442B (zh) * 2019-06-21 2020-08-18 上海乂学教育科技有限公司 基于语音识别的声控提词器系统
CN111259135A (zh) * 2019-09-02 2020-06-09 北京佳珥医学科技有限公司 文本的显示方法、提词器及提词系统
CN113703579B (zh) * 2021-08-31 2023-05-30 北京字跳网络技术有限公司 数据处理方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1870728A (zh) * 2005-05-23 2006-11-29 北京大学 自动加配字幕的方法和系统
US20140236600A1 (en) * 2013-01-29 2014-08-21 Tencent Technology (Shenzhen) Company Limited Method and device for keyword detection
US9697828B1 (en) * 2014-06-20 2017-07-04 Amazon Technologies, Inc. Keyword detection modeling using contextual and environmental information
CN105787884A (zh) * 2014-12-18 2016-07-20 联想(北京)有限公司 一种图像处理方法及电子设备
CN106910504A (zh) * 2015-12-22 2017-06-30 北京君正集成电路股份有限公司 一种基于语音识别的演讲提示方法及装置
US20200176014A1 (en) * 2018-11-30 2020-06-04 Alibaba Group Holding Limited Method and system for processing speech signal
CN111353336A (zh) * 2018-12-21 2020-06-30 华为技术有限公司 图像处理方法、装置及设备
WO2021057038A1 (zh) * 2019-09-24 2021-04-01 上海依图信息技术有限公司 基于多任务模型的语音识别与关键词检测装置和方法
CN111372119A (zh) * 2020-04-17 2020-07-03 维沃移动通信有限公司 多媒体数据录制方法、装置及电子设备
CN111933110A (zh) * 2020-08-12 2020-11-13 北京字节跳动网络技术有限公司 视频生成方法、生成模型训练方法、装置、介质及设备
CN112733794A (zh) * 2021-01-22 2021-04-30 腾讯科技（深圳）有限公司 人脸图像的视线矫正方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023030121A1 (zh) * 2021-08-31 2023-03-09 北京字跳网络技术有限公司 数据处理方法、装置、电子设备及存储介质
CN114758645A (zh) * 2022-04-29 2022-07-15 建信金融科技有限责任公司 语音合成模型的训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP4379508A1 (en) 2024-06-05
WO2023030121A1 (zh) 2023-03-09
CN113703579B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN113703579B (zh) 数据处理方法、装置、电子设备及存储介质
US11917344B2 (en) Interactive information processing method, device and medium
CN112601101B (zh) 一种字幕显示方法、装置、电子设备及存储介质
WO2023029904A1 (zh) 文本内容匹配方法、装置、电子设备及存储介质
CN112616062B (zh) 一种字幕显示方法、装置、电子设备及存储介质
CN112601102A (zh) 同声传译字幕的确定方法、装置、电子设备及存储介质
CN112785670B (zh) 一种形象合成方法、装置、设备及存储介质
CN113014854B (zh) 互动记录的生成方法、装置、设备及介质
CN112163102B (zh) 搜索内容匹配方法、装置、电子设备及存储介质
CN112291614A (zh) 一种视频生成方法及装置
CN112380365A (zh) 一种多媒体的字幕交互方法、装置、设备及介质
CN113886612A (zh) 一种多媒体浏览方法、装置、设备及介质
CN112785669B (zh) 一种虚拟形象合成方法、装置、设备及存储介质
CN115967833A (zh) 视频生成方法、装置、设备计存储介质
CN112073757B (zh) 情绪波动指数获取方法、显示方法及多媒体内容制作方法
CN113891168A (zh) 字幕处理方法、装置、电子设备和存储介质
CN112069786A (zh) 文本信息处理方法、装置、电子设备及介质
WO2023030321A1 (zh) 视线角度调整方法、装置、电子设备及存储介质
WO2023065963A1 (zh) 互动展示方法、装置、电子设备及可读介质
CN112163104B (zh) 搜索目标内容的方法、装置、电子设备及存储介质
CN113891108A (zh) 字幕优化方法、装置、电子设备和存储介质
CN112163433B (zh) 关键词汇的匹配方法、装置、电子设备及存储介质
CN113132789B (zh) 一种多媒体的交互方法、装置、设备及介质
CN117768597A (zh) 一种导播方法、装置、设备和存储介质
CN115734045A (zh) 一种视频播放方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant