CN108401192B - 视频流处理方法、装置、计算机设备及存储介质 - Google Patents

视频流处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN108401192B
CN108401192B CN201810380157.XA CN201810380157A CN108401192B CN 108401192 B CN108401192 B CN 108401192B CN 201810380157 A CN201810380157 A CN 201810380157A CN 108401192 B CN108401192 B CN 108401192B
Authority
CN
China
Prior art keywords
stream data
video stream
data
subtitle
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810380157.XA
Other languages
English (en)
Other versions
CN108401192A (zh
Inventor
胡小华
罗梓恒
朱秀明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810380157.XA priority Critical patent/CN108401192B/zh
Publication of CN108401192A publication Critical patent/CN108401192A/zh
Priority to EP19792095.2A priority patent/EP3787300A4/en
Priority to PCT/CN2019/079830 priority patent/WO2019205872A1/zh
Priority to US16/922,904 priority patent/US11463779B2/en
Application granted granted Critical
Publication of CN108401192B publication Critical patent/CN108401192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请是关于一种视频流处理方法及装置。该方法包括：获取直播视频流数据中的第一音频流数据；对第一音频流数据进行语音识别，获得语音识别文本；根据语音识别文本生成包含字幕文本的字幕数据；根据时间信息将该字幕文本添加入直播视频流数据中对应的画面帧，获得处理后的直播视频流数据。通过本申请所示的方案，在直播场景中，可以获取直播视频流数据中的音频流数据，并对音频流数据进行语音识别并根据识别结果生成字幕数据，再根据时间信息将字幕数据中的字幕文本添加入视频流中对应字幕文本的画面帧中，从而获得包含字幕的直播视频流，实现字幕与视频画面的准确同步，同时，由于不需要人工插入字幕数据，能够有效降低直播延时。

Description

视频流处理方法、装置、计算机设备及存储介质
技术领域
本申请涉及互联网应用技术领域，特别涉及一种视频流处理方法、装置、计算机设备及存储介质。
背景技术
随着移动互联网的不断发展，视频直播类的应用也越来越广泛，在直播视频中插入字幕也已经成为提高用户观看体验的重要手段。
在相关技术中，直播视频中的字幕通常在直播录制端(比如录制现场/演播室)通过人工插入来实现。比如，请参考图1，其示出了相关技术提供的一种直播流程示意图。如图1所示，在直播录制端采集视频图像并进行编码的过程中，通过现场工作人员人工插入字幕数据，直播录制端通过直播接入服务，将直播视频流上传给服务器，服务器通过直播转码服务对直播视频流进行转码，并将转码后的直播视频流通过内容分发网络发送至用户终端侧的播放器进行播放。
然而，相关技术中在直播视频中插入字幕的方案，需要在直播录制端通过人工插入字幕数据，字幕数据与直播视频画面同步的准确性较低，且通常会导致较高的直播延时，影响直播效果。
发明内容
本申请实施例提供了一种视频流处理方法、装置、计算机设备及存储介质，可以用于解决相关技术中需要在直播录制端通过人工插入字幕数据，字幕数据与直播视频画面同步的准确性较低，且通常会导致较高的直播延时，从而影响直播效果的问题，该技术方案如下：
一方面，提供了一种视频流处理方法，所述方法包括：
获取直播视频流数据中的第一音频流数据；
对所述第一音频流数据进行语音识别，获得语音识别文本；
根据所述语音识别文本生成字幕数据，所述字幕数据中包含字幕文本以及所述字幕文本对应的时间信息；
根据所述字幕文本对应的时间信息，将所述字幕文本添加入所述直播视频流数据中对应的画面帧，获得处理后的直播视频流数据。
另一方面，提供了一种视频流处理装置，所述装置包括：
第一获取模块，用于获取直播视频流数据中的第一音频流数据；
语音识别模块，用于对所述第一音频流数据进行语音识别，获得语音识别文本；
字幕生成模块，用于根据所述语音识别文本生成字幕数据，所述字幕数据中包含字幕文本以及所述字幕文本对应的时间信息；
字幕添加模块，用于根据所述字幕文本对应的时间信息，将所述字幕文本添加入所述直播视频流数据中对应的画面帧，获得处理后的直播视频流数据。
另一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述的视频流处理方法。
又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述的视频流处理方法。
本申请提供的技术方案可以包括以下有益效果：
通过本申请所示的方案，在直播场景中，可以获取直播视频流数据中的音频流数据，并对音频流数据进行语音识别并根据识别结果生成字幕数据，再根据时间信息将字幕数据中的字幕文本添加入视频流中对应字幕文本的画面帧中，从而获得包含字幕的直播视频流，实现字幕与视频画面的准确同步，同时，由于不需要人工插入字幕数据，能够有效降低直播延时。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据相关技术提供的一种直播流程示意图；
图2是是根据一示例性实施例示出的一种直播系统的结构示意图；
图3是根据一示例性实施例示出的一种视频流处理方法的流程图；
图4是根据一示例性实施例示出的一种视频流处理方法的流程图；
图5是图4所示实施例涉及的一种直播视频流数据的数据结构图；
图6是图4所示实施例涉及的一种语音识别流程图；
图7是图4所示实施例涉及的一种字幕数据的结构示意图；
图8是图4所示实施例涉及的一种字幕叠加示意图；
图9是图4所示实施例涉及的一种字幕叠加流程的示意图；
图10是图4所示实施例涉及的一种直播流选择示意图；
图11是图4所示实施例涉及的另一种直播流选择示意图；
图12是根据一示例性实施例示出的一种直播视频流的处理流程示意图；
图13是根据一示例性实施例示出的一种视频流处理方法的流程图；
图14是根据一示例性实施例示出的一种直播视频流的处理流程示意图；
图15是根据一示例性实施例示出的直播场景中的视频流处理装置的结构方框图；
图16是根据一示例性实施例示出的一种计算机设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在对本申请所示的各个实施例进行说明之前，首先对本申请涉及到的几个概念进行介绍：
1)字幕
字幕是指以文字形式显示在网络视频、电视、电影、舞台作品中的对话或者旁白等非影像内容，也泛指影视作品后期加工的文字。
2)直播
直播是一种通过流媒体技术，将图像、声音、文字等丰富的元素经互联网向用户展示生动、直观的真实画面的一整套技术，其涉及编码工具、流媒体数据、服务器、网络以及播放器等一系列服务模块。
3)实时翻译
实时翻译是指通过人工或者计算机将一种语言的语音或者文本即时翻译为另一种语言的语音或者文本。在本申请实施例中，实时翻译可以是基于人工智能的语音识别和即时翻译。
图2是根据一示例性实施例示出的一种直播系统的结构示意图。该系统包括：直播录制终端220、服务器240以及若干个用户终端260。
直播录制终端220可以是手机、平板电脑、电子书阅读器、智能眼镜、智能手表、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
直播录制终端220对应有图像采集组件和音频采集组件。其中，该图像采集组件和音频采集组件可以是直播录制终端220的一部分，比如，该图像采集组件和音频采集组件可以是直播录制终端220内置的摄像头和内置的麦克风；或者，该图像采集组件和音频采集组件也可以作为直播录制终端220的外设设备与该用户终端220相连接，比如，该图像采集组件和音频采集组件可以分别是连接该直播录制终端220的摄像机和话筒；或者，该图像采集组件和音频采集组件也可以部分内置于直播录制终端220，部分作为直播录制终端220的外设设备，比如，该图像采集组件可以是直播录制终端220内置的摄像头，该音频采集组件可以是连接该直播录制终端220的耳机中的麦克风。本申请实施例对于图像采集组件和音频采集组件的实现形式不做限定。
用户终端260可以是具有视频播放功能的终端设备，比如，用户终端可以是手机、平板电脑、电子书阅读器、智能眼镜、智能手表、MP3/MP4播放器、膝上型便携计算机和台式计算机等等。
直播录制终端220和用户终端260分别与服务器240之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。
在本申请实施例中，直播录制终端220可以将在本地录制的直播视频流上传至服务器240，并由服务器240对直播视频流进行相关处理后推送给用户终端260。
服务器240是一台服务器，或者由若干台服务器，或者是一个虚拟化平台，或者是一个云计算服务中心。
其中，上述直播录制终端220中可以安装有直播应用程序(Application，APP)客户端(比如腾讯视频客户端或者花样直播客户端等)，服务器240可以是上述直播应用程序对应的直播服务器。
在直播时，直播录制终端运行直播应用程序的客户端，用户A(也可以称为主播)在直播应用程序界面中触发启动直播功能后，直播应用程序的客户端调用直播录制终端中的图像采集组件和音频采集组件来录制直播视频流，并将录制的直播视频流上传至直播服务器，直播服务器接收该直播视频流，并为该直播视频流建立直播频道，用户终端对应的用户可以通过用户终端中安装的直播应用程序客户端或者浏览器客户端访问直播服务器，并在访问页面中选择该直播频道后，直播服务器将该直播视频流推送给用户终端，由用户终端在直播应用程序界面或者浏览器界面中播放该直播视频流。
可选的，该系统还可以包括管理设备(图2未示出)，该管理设备与服务器240之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。
可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible MarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet ProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
图3是根据一示例性实施例示出的一种直播场景中的视频流处理方法的流程图，该直播场景中的视频流处理方法可以用于如图2所示的直播系统中。如图3所示，该直播场景中的视频流处理方法可以包括如下步骤：
步骤31，获取直播视频流数据中的第一音频流数据。
其中，音频流数据可以是包含直播视频流中的各个音频帧的流式数据。
步骤32，对该第一音频流数据进行语音识别，获得语音识别文本。
在本申请实施例中，语音识别是指将第一音频流数据中的语音识别为对应语言类型的文本。
步骤33，根据该语音识别文本生成字幕数据，该字幕数据中包含字幕文本以及该字幕文本对应的时间信息。
在本申请实施例中，上述时间信息可以是用于指示字幕数据、音频流数据或者直播视频流数据的播放时间的信息。
步骤34，根据该字幕文本对应的时间信息，将该字幕文本添加入该直播视频流数据中对应的画面帧，获得处理后的直播视频流数据。
由于上述步骤31至步骤33所示的，获取音频流数据、进行语音识别以及根据语音识别结果生成字幕数据的步骤不可避免的需要消耗一定的处理时间，因此，在本申请实施例中，可以从第一时刻起延时预设时长后，执行上述根据字幕文本对应的时间信息，将该字幕文本添加入该直播视频流数据中对应的画面帧，获得处理后的直播视频流数据的步骤(即上述步骤34)；其中，该第一时刻是获取到该直播视频流数据的时刻。
在本申请实施例中，可以预先设置一个固定的延时时长(即上述预设时长，比如5分钟)，在获取到直播视频流数据开始计时，一方面缓存该直播视频流数据，另一方面开始执行上述步骤31至步骤33，并缓存步骤33生成的字幕数据，当计时到达上述延时时长时，提取缓存的直播视频流数据和字幕数据，并根据提取到的直播视频流数据和字幕数据执行步骤34。
其中，上述预设时长可以由开发人员预先设置在代码中，或者，上述预设时长也可以由系统管理人员或者用户自行设置或更改。需要说明的是，该预设时长可以大于执行上述步骤31至步骤33所需的时长。
在另一种可能的实现方式中，也可以直接在获得上述字幕数据的时刻，执行上述步骤34。
在本申请实施例中，对于一份直播视频流数据来说，在获取到该直播视频流数据后，一方面缓存该直播视频流数据，另一方面开始执行上述步骤31至步骤33，在成功存储字幕数据后，即可以从缓存中提取该字幕数据对应的直播视频流数据，并根据生成的字幕数据以及从缓存中提取到的直播视频流数据执行步骤34。
比如，服务器可以提供字幕生成服务、字幕存储服务和字幕混合服务，其中，字幕生成服务用于根据语音识别文本生成字幕数据，字幕存储服务用于接收字幕生成服务生成的字幕数据并进行存储，字幕混合服务用于将字幕存储服务存储的字幕数据中的字幕文本添加入直播视频流数据中的画面帧中。在本申请实施例中，当字幕混合服务接收到字幕存储服务发送的，成功存储字幕数据的通知时，或者，当字幕混合服务查询到数据库中已经存在字幕存储服务存储的字幕数据时，字幕混合服务可以确定字幕存储服务成功存储了上述字幕数据，此时，字幕混合服务可以开始执行上述步骤34。
通过上述图3所示的方案，在直播场景中，可以获取直播视频流数据中的音频流数据，并对音频流数据进行语音识别并根据识别结果生成字幕数据，再根据时间信息将字幕数据中的字幕文本添加入视频流中对应字幕文本的画面帧中，从而获得包含字幕的直播视频流，实现字幕与视频画面的准确同步，同时，由于不需要人工插入字幕数据，能够有效降低直播延时。
上述图3所示的方案可以由直播系统中的不同设备实现。比如，在一种可能的实现方式中，上述对视频流进行处理的方法可以由直播系统中的服务器执行，即服务器接收到直播录制终端上传的直播视频流之后，获取直播视频流数据，并对获取到的直播视频流数据进行上述图3所示的处理。
或者，在另一种可能的实现方式中，上述对视频流进行处理的方法也可以由直播系统中的直播录制终端执行，即直播录制终端在将直播视频流数据上传服务器之前，获取直播视频流数据，并对获取到的直播视频流数据进行上述图3所示的处理。
或者，在又一种可能的实现方式中，上述对视频流进行处理的方法也可以由直播系统中的用户终端执行，即用户终端接收到服务器推送的直播视频流数据后，在播放直播视频流数据之前，对直播视频流数据进行上述图3所示的处理。
本申请后续的实施例，将以上述对视频流进行处理的方法由直播系统中的服务器执行为例进行说明。
图4是根据一示例性实施例示出的一种直播场景中的视频流处理方法的流程图，该直播场景中的视频流处理方法可以用于服务器中，比如，该方法可以用于上述图1所示的服务器240。如图4所示，该直播场景中的视频流处理方法可以包括如下步骤：
步骤401，获取直播视频流数据中的第一音频流数据。
以执行主体是服务器为例，直播录制终端在直播现场录制直播视频，并将录制的视频编码为直播视频流(也可以称为原始视频流)后推送给服务器；服务器接收到直播录制终端推送的直播视频流后，首先对接收到的直播视频流进行转码，获得上述直播视频流数据。
在本申请实施例中，直播视频流数据由画面帧流数据和音频流数据构成，其中，画面帧流数据由一系列的画面帧数据块组成，每个画面帧数据块包含若干画面帧，相应的，音频流数据由一系列的音频帧数据块组成，每个音频帧数据块包含若干音频帧。
其中，上述直播视频流数据中的画面帧数据块与音频帧数据块在时间上一一对应，也就是说，一个画面帧数据块的播放时间，与一个音频帧数据块的播放时间是完全相同的。比如，上述画面帧数据块和音频帧数据块中分别包含各自的时间信息，且画面帧数据块和音频帧数据块之间的对应关系通过各自的时间信息进行指示，即对于一一对应的画面帧数据块和音频帧数据块，两者包含的时间信息也是相同的。
比如，请参考图5，其示出了本申请实施例涉及的一种直播视频流数据的数据结构图。
如图5所示，直播视频流数据中的一个画面帧数据块包含数据块头(header)和有效载荷(payload)两部分，其中，有效载荷包括画面帧数据块中的各个画面帧，数据块头中包含数据块头大小(header_size)、有效载荷大小(payload_size)、时长(duration)、索引(index)、协调世界时(Coordinated Universal Time，UTC)以及时间戳(timestamp)等信息。其中数据块头大小用于指示当前画面帧数据块中的数据块头所占用的数据量，有效载荷大小用于指示当前画面帧数据块中的有效载荷所占用的数据量，时长用于指示当前画面帧数据块中的各个画面帧的播放时长，索引用于指示当前画面帧数据块中的各个画面帧，协调世界时用于指示当前画面帧数据块被转码的系统时间(比如，可以是画面帧数据块中第一个画面帧被转码的系统时间)，时间戳用于指示当前画面帧数据块在直播视频流中的时间位置。
相应的，在图5中，直播视频流数据中的一个音频帧数据块也包含数据块头和有效载荷两部分，其中，有效载荷包括音频帧数据块中的各个音频帧，数据块头中包含数据块头大小、有效载荷大小、时长、索引、协调世界时以及时间戳等信息。
在图5所示的直播视频流数据中，画面帧数据块和音频帧数据块各自的时间信息可以通过各自的数据块头中的协调世界时和/或时间戳来表示，也就是说，在时间上同步的一组画面帧数据块和音频帧数据块，两者的数据块头中的协调世界时和时间戳也是相同的。
在本申请实施例中，服务器转码获得直播视频流数据后，可以获取直播视频流数据中的第一音频流数据，同时，将直播视频流数据缓存在本地。
步骤402，对该第一音频流数据进行语音识别，获得语音识别文本。
由于一段音频流数据中可能包含多句语音，为了提高语音识别的准确性，在本申请实施例中，服务器可以从第一音频流数据中提取出各段语音对应的音频帧，并对各段语音对应的音频帧分别进行语音识别。
比如，服务器可以对该第一音频流数据进行语音起止检测，获得该第一音频流数据中的语音起始帧和语音结束帧；该语音起始帧是一段语音开始的音频帧，该语音结束帧是一段语音结束的音频帧；服务器根据该第一音频流数据中的语音起始帧和语音结束帧，从该第一音频流数据中提取至少一段语音数据，该语音数据包括对应的一组语音起始帧和语音结束帧之间的音频帧；之后，服务器对该至少一段语音数据分别进行语音识别，获得该至少一段语音数据分别对应的识别子文本；最后，服务器将该至少一段语音数据分别对应的识别子文本获取为该语音识别文本。
服务器可以通过基因检测来实现语音起止检测。比如，请参考图6，其示出了本申请实施例涉及的一种语音识别流程图。如图6所示，服务器在音频数据(即上述第一音频流数据)中识别出一个语音起始帧之后，开始对该语音起始帧之后的各个音频帧进行基因检测，以确定当前检测的音频帧是否对应音频尾点(相当于上述语音结束帧)，同时将检测后的各个音频帧输入语音识别模型进行语音识别，当检测到音频尾点时，服务器停止语音识别，并输出识别出的文本，经过拆句处理后，进入后续的字幕输出流程。
步骤403，根据该语音识别文本生成字幕数据，该字幕数据中包含字幕文本以及该字幕文本对应的时间信息。
在本申请实施例中，服务器可以将上述步骤获得的该语音识别文本翻译为目标语言对应的翻译文本，并根据该翻译文本生成该字幕文本；该字幕文本中包含该翻译文本，或者，该字幕文本中包含该语音识别文本和该翻译文本；然后，服务器再生成包含该字幕文本的该字幕数据。
在本申请实施例中，服务器可以针对每种语言分别生成对应的字幕数据，比如，假设上述语音识别获得的语音识别文本对应的语言是中文，而目标语言包括英文、俄文、韩文和日文四种，以字幕文本中包含语音识别文本和翻译文本为例，服务器可以生成四种字幕数据，即“中文+英文”对应的字幕数据、“中文+俄文”对应的字幕数据、“中文+韩文”对应的字幕数据以及“中文+日文”对应的字幕数据。
在本申请实施例中，字幕数据中还包含字幕文本对应的时间信息。比如，字幕数据中可以包含若干个字幕子数据，每个字幕子数据对应一段完整语音。请参考图7，其示出了本申请实施例涉及的一种字幕数据的结构示意图。如图7所示，每个字幕子数据包括序列号(seq)、协调世界时、时长、时间戳以及字幕文本(text)等信息。其中，字幕子数据中的时长可以是一段语音的持续时长，字幕子数据中的协调世界时可以是对应的一段完整语音的起始时间点(即该段完整语音对应的第一个音频帧被转码时的协调世界时)，字幕子数据中的时间戳可以是对应的一段完整语音的第一个音频帧的时间戳。其中，字幕子数据中的协调世界时和/或时间戳即为该字幕子数据中包含的字幕文本的时间信息。其中，上述的一段语音可以是包含一个或者多个句子的语音片段。
其中，字幕文本对应的时间信息可以是字幕文本对应的语音的时间信息。比如，在上述步骤402中，服务器在对第一音频流数据进行语音识别时，记录每一段语音数据的时间信息。其中，一段语音数据的时间信息可以包括该段语音数据的语音起始帧对应的时间点(比如utc/时间戳)，以及该段语音数据的持续时长。服务器在生成一段语音数据的识别字文本对应的字幕子数据时，将该段识别字文本的翻译文本作为对应的字幕子数据中的字幕文本，并将该段语音数据的时间信息作为该字幕子数据中的字幕文本的时间信息。
步骤404，将该直播视频流数据分解为第二音频流数据和第一画面帧流数据。
在本申请实施例中，在将字幕数据中的字幕文本添加入直播视频流数据中的画面帧时，服务器可以首先将直播视频流数据分解为第二音频流数据和第一画面帧流数据，该分解步骤也称为音视频解复用。
步骤405，确定该第一画面帧流数据中的目标画面帧，该目标画面帧是与该字幕文本的时间信息对应的画面帧。
在本申请实施例中，对于上述每一个字幕子数据，服务器可以获取该字幕子数据中的协调世界时和持续时长，根据该协调世界时和持续时长确定目标结束时间点(该目标结束时间点是该协调世界时之后，且与该协调世界时之间的时长为上述持续时长的时间点)，并将上述第一画面帧流数据中，处于该字幕子数据中的协调世界时和该目标结束时间点之间的各个画面帧确定为上述目标画面帧。
或者，对于上述每一个字幕子数据，服务器可以获取该字幕子数据中的时间戳和持续时长，根据该时间戳和持续时长确定目标结束时间点(该目标结束时间点是处于该时间戳对应的时间点之后，且与该时间戳对应的时间点之间的时长为上述持续时长的时间点)，并将上述第一画面帧流数据中，处于该字幕子数据中的时间戳对应的时间点和该目标结束时间点之间的各个画面帧确定为上述目标画面帧。
步骤406，生成包含该字幕文本的字幕图像。
服务器可以对应每一个字幕子数据，分别生成该字幕子数据中的字幕文本对应的字幕图像。其中，该字幕图像可以是一个包含字幕文本的透明或者半透明图像。
步骤407，将该字幕图像叠加在该目标画面帧的上层，获得叠加后的画面帧流数据。
对于某一个字幕子数据，服务器可以将包含该字幕子数据中的字幕文本的字幕图像，叠加在该字幕子数据对应的每一个目标画面帧中，获得该字幕子数据对应的叠加后的画面帧流数据。
请参考图8，其示出了本申请实施例涉及的一种字幕叠加示意图。如图8所示，画面帧81是画面帧流数据中，与字幕图像82相对应的目标画面帧中的一个画面帧，服务器将画面帧81与字幕图像82进行叠加，获得叠加后的画面帧83，并将画面帧流数据中的图像帧81替换为叠加后的画面帧83。
步骤408，将该第二音频流数据和该叠加后的画面帧流数据组合为处理后的直播视频流数据。
服务器可以将该第二音频流数据与该叠加后的画面帧流数据按照时间信息进行数据对齐；并将对齐后的该第二音频流数据与该叠加后的画面帧流数据组合为该处理后的直播视频流数据。
在本申请实施例中，上述步骤404中分解获得的第二音频流数据和第一画面帧流数据分别由音频帧数据块和画面帧数据块组成，且分解前后的音频帧数据块和画面帧数据块中的时间信息不变。而在上述将字幕图像叠加至对应的画面帧的步骤(即上述步骤407)中，画面帧数据块对应的时间信息也保持不变。也就是说，上述第二音频流数据中包含的音频帧数据块，与叠加后的画面帧流数据中的画面帧数据块之间也是一一对应的关系，服务器可以将第二音频流数据和叠加后的画面帧流数据，对应相同时间信息(比如时间戳和/或协调世界时)的数据块进行对齐。
请参考图9，其示出了本申请实施例涉及的一种字幕叠加流程的示意图。在图9中，一方面，服务器将输入的视频流(对应上述直播视频流数据)进行音视频解复用，获得音频和视频，并对视频部分进行解码得到各个画面帧；另一方面，服务器还获取字幕信息(对应上述字幕数据)，并生成字幕图片(对应上述字幕图像)；服务器将生成的字幕图片叠加到解码得到的对应的画面帧中(即图7中的视频叠加步骤)，并对叠加后画面帧进行视频编码获得视频，最后将编码获得的视频与上述音频进行复用，获得包含字幕的视频流。
在本申请实施例中，服务器在接收到用户终端发送的请求后，将上述处理后的直播视频流数据推送给用户终端，由用户终端进行播放。
比如，服务器可以接收用户终端发送的视频流获取请求；获取该视频流获取请求中携带的语言指示信息，该语言指示信息用于指示字幕语言；当该语言指示信息指示的字幕语言是该字幕文本对应的语言时，向该用户终端推送该处理后的直播视频流数据。
观看直播的用户可以在用户终端侧请求获取包含指定语言的字幕的直播视频流。比如，用户可以在用户终端侧的字幕选择界面中选择某种语言的字幕，之后，用户终端向服务器发送视频流获取请求，该视频流获取请求中包含指示用户选择的字幕语言的语言指示信息，服务器接收到用户终端发送的视频流获取请求后，即可以获取到该语言指示信息。
对于上述步骤408中获得处理后的直播视频流数据，当用户终端发送的视频流获取请求中的语言指示信息所指示的字幕语言是上述步骤408中获得处理后的直播视频流数据中叠加的字幕文本对应的语言时，服务器即可以将上述处理后的直播视频流数据推送给用户终端，由用户终端进行播放。
在本申请实施例中，服务器可以针对每一种语言或者语言组合的字幕文本生成对应的一条叠加字幕的直播视频流，当用户终端侧选择一种语言或者语言组合时，服务器即可以将叠加后该语言或者语言组合的字幕的直播视频流发送给用户终端。
在一种可能的实现方式中，用户可以在进入直播界面时选择哪一种字幕对应的直播视频流。比如，请参考图10，其示出了本申请实施例涉及的一种直播流选择示意图。如图10所示，用户点开某个直播频道时，用户终端展示直播视频流选择界面101，其中包含若干个直播入口101a，每个直播入口101a对应一种语言/语言组合的字幕，用户点击其中一个直播入口101a(图10示出为中文+英文的语言组合的字幕对应的直播入口)后，用户终端展示直播界面102，同时向服务器发送视频流获取请求，该视频流获取请求指示用户选择了中文+英文的语言组合的字幕，服务器将中英文字幕对应的直播视频流推送给用户终端，由用户终端在直播界面102中进行展示，此时，直播界面102中的字幕102a为中文+英文字幕。
在另一种可能的实现方式中，用户也可以在观看直播的过程中，切换不同字幕的直播视频流。比如，请参考图11，其示出了本申请实施例涉及的另一种直播流选择示意图。如图11所示，在第一时刻，用户终端的直播界面112中展示的直播画面中的字幕112a为中英文字幕，当用户想要切换直播画面中的字幕的语言时，可以通过点击等方式呼出字幕选择菜单114，并选择另一语言/语言组合的字幕(如图11所示，用户选择中文+日文组合的字幕)，之后，用户终端向服务器发送视频流获取请求，该视频流获取请求指示用户选择了中文+日文的语言组合的字幕，服务器将中日文字幕对应的直播视频流推送给用户终端，由用户终端在直播界面进行展示，如图11所示，在用户选择中日文字幕之后的第二时刻，直播界面112中的字幕切换为中日文字幕112b。
综上所述，本申请实施例所示的方案，服务器可以获取直播视频流数据中的音频流数据，并对音频流数据进行语音识别并根据识别结果生成字幕数据，再根据时间信息将字幕数据中的字幕文本添加入视频流中对应字幕文本的画面帧中，从而获得包含字幕的直播视频流，实现字幕与视频画面的准确同步，同时，由于不需要人工插入字幕数据，能够有效降低直播延时。
此外，本申请实施例所示的方案，推送给用户终端的直播视频流的画面帧中已经添加了字幕，用户终端不需要对直播视频流做进一步处理即可以向用户展示带字幕的直播画面。
基于上述图4所示的方案，请参考图12，其是根据一示例性实施例示出的一种直播视频流的处理流程示意图。如图12所示，直播录制终端通过摄像机采集直播画面并进行编码后，通过直播接入服务将直播流上传给服务器，服务器通过直播转码服务将接入的直播流转码，并输出时间信息同步的视频流(包含画面帧数据块和音频帧数据块)与纯音频流(只包含音频帧数据块)。在转码之后，一方面，服务器通过直播延时服务实现视频流的延时输出(比如，延时预定时长)，另一方面，服务器通过直播翻译服务将转码获取的音频数据(即纯音频流)发送到语音识别模块进行识别和翻译，其中，该语音识别模块用于实现语音的识别与翻译，并将翻译的结果(即字幕数据)写入到字幕存储服务(这里的直播翻译服务和语音识别模块相当于上述字幕生成服务)，由字幕存储服务负责字幕数据的存储。在上述延时的预定时长到达时，服务器通过字幕混合服务，从直播延时服务拉取视频数据(即上述视频流)，并从字幕存储服务拉取到时间信息相对应的字幕数据，根据视频流、音频流与字幕数据中的时间信息(比如时间戳)，同步混合为包含字幕的直播流。
上述图12提供了一种基于直播流的实时识别、翻译以及字幕同步叠加的解决方案，直播后台(即服务器)实时从直播流中获取音频流，采用人工智能算法，实时识别音频流中的音频信号，并翻译为各种目标语言字幕；然后根据在视频流、音频流以及字幕数据中插入的时间信息，实现视频画面、声音、字幕内容完全同步对齐；最后将内容同步的字幕与视频画面实时叠加为包含字幕的视频画面，并将包含字幕的视频画面与内容同步的音频混合在一起，实现直播流字幕实时添加功能。本方案具有广泛的使用场景，不需要人工的参与，且本方案的字幕实时叠加在原始视频画面中，播放终端不需要做额外的处理，直接播放就能展现字幕信息。
图13是根据一示例性实施例示出的一种直播场景中的视频流处理方法的流程图，该直播场景中的视频流处理方法可以用于服务器中，比如，该方法可以用于上述图1所示的服务器240。如图13所示，该直播场景中的视频流处理方法可以包括如下步骤：
步骤1301，获取直播视频流数据中的第一音频流数据，并获取直播视频流数据中的第二画面帧流数据。
以执行主体是服务器为例，服务器接收到直播录制终端推送的直播视频流后，对接收到的直播视频流进行转码获得上述直播视频流数据。在本申请实施例中，服务器可以在转码获得直播视频流数据之后，将直播视频流数据分解(即解复用)为音频流数据(即上述第一音频流数据)和画面帧流数据(即上述第二画面帧流数据)。
其中，音频流数据和画面帧流数据的构成形式可以参考图4对应实施例中的描述，此处不再赘述。
步骤1302，对该第一音频流数据进行语音识别，获得语音识别文本。
步骤1303，根据该语音识别文本生成字幕数据，该字幕数据中包含字幕文本以及该字幕文本对应的时间信息。
其中，上述步骤1302和步骤1303的执行过程可以参考图4对应实施例中的步骤402和步骤403下的描述，此处不再赘述。
步骤1304，确定第二画面帧流数据中的目标画面帧，该目标画面帧是与字幕文本的时间信息相对应的画面帧。
步骤1305，生成包含该字幕文本的字幕图像。
步骤1306，将该字幕图像叠加在该目标画面帧的上层，获得叠加后的画面帧流数据。
步骤1307，将该第一音频流数据和该叠加后的画面帧流数据组合为处理后的直播视频流数据。
上述步骤1304至步骤1307所示的方案，与图4对应实施例中的步骤405至步骤408下的描述类似，此处不再赘述。
综上所述，本申请实施例所示的方案，服务器可以获取直播视频流数据中的音频流数据，并对音频流数据进行语音识别并根据识别结果生成字幕数据，再根据时间信息将字幕数据中的字幕文本添加入视频流中对应字幕文本的画面帧中，从而获得包含字幕的直播视频流，实现字幕与视频画面的准确同步，同时，由于不需要人工插入字幕数据，能够有效降低直播延时。
此外，本申请实施例所示的方案，推送给用户终端的直播视频流的画面帧中已经添加了字幕，用户终端不需要对直播视频流做进一步处理即可以向用户展示带字幕的直播画面。
基于上述图13所示的方案，请参考图14，其是根据一示例性实施例示出的一种直播视频流的处理流程示意图。如图14所示，直播录制终端通过摄像机采集直播画面并进行编码后，通过直播接入服务将直播流上传给服务器，服务器通过直播转码服务将接入的直播流转码，并输出时间信息同步的纯画面流(只包含画面帧数据块)与纯音频流(只包含音频帧数据块)。在转码之后，一方面，服务器通过直播延时服务实现纯画面流的延时输出(比如，延时预定时长)，另一方面，服务器将纯音频流分为两路，一路通过直播延时服务实现纯音频流的延时输出，另一路输入直播翻译服务，通过直播翻译服务将纯音频流发送到语音识别模块进行识别和翻译，并将翻译的结果(即字幕数据)写入到字幕存储服务，由字幕存储服务负责字幕数据的存储。在上述延时的预定时长到达时，服务器通过字幕混合服务，从直播延时服务拉取视频数据(即上述纯画面流和纯音频流)，并从字幕存储服务拉取到时间信息相对应的字幕数据，根据纯画面流、纯音频流与字幕数据中的时间信息(比如时间戳)，同步混合为包含字幕的直播流。
图15是根据一示例性实施例示出的一种直播场景中的视频流处理装置的结构方框图。该直播场景中的视频流处理装置可以用于如图1所示系统中，以执行图3、图4或图13所示实施例提供的方法的全部或者部分步骤。该直播场景中的视频流处理装置可以包括：
第一获取模块1501，用于获取直播视频流数据中的第一音频流数据；
语音识别模块1502，用于对所述第一音频流数据进行语音识别，获得语音识别文本；
字幕生成模块1503，用于根据所述语音识别文本生成字幕数据，所述字幕数据中包含字幕文本以及所述字幕文本对应的时间信息；
字幕添加模块1504，用于根据所述字幕文本对应的时间信息，将所述字幕文本添加入所述直播视频流数据中对应的画面帧，获得处理后的直播视频流数据。
可选的，所述字幕添加模块1504，包括：
分解单元，用于将所述直播视频流数据分解为第二音频流数据和第一画面帧流数据；
第一画面帧确定单元，用于确定所述第一画面帧流数据中的目标画面帧，所述目标画面帧是与所述时间信息对应的画面帧；
第一图像生成单元，用于生成包含所述字幕文本的字幕图像；
第一叠加单元，用于将所述字幕图像叠加在所述目标画面帧的上层，获得叠加后的画面帧流数据；
第一组合单元，用于将所述第二音频流数据和所述叠加后的画面帧流数据组合为所述处理后的直播视频流数据。
可选的，所述第一组合单元，具体用于，
将所述第二音频流数据与所述叠加后的画面帧流数据按照时间信息进行数据对齐；
将对齐后的所述第二音频流数据与所述叠加后的画面帧流数据组合为所述处理后的直播视频流数据。
可选的，所述装置还包括：
第二获取模块，用于在所述字幕添加模块根据所述字幕文本对应的时间信息，将所述字幕文本添加入所述直播视频流数据中对应的画面帧，获得处理后的直播视频流数据之前，获取所述直播视频流数据中的第二画面帧流数据；
所述字幕添加模块1504，包括：
第二画面帧确定单元，用于确定所述第二画面帧流数据中的目标画面帧，所述目标画面帧是与所述时间信息对应的画面帧；
第二图像生成单元，用于生成包含所述字幕文本的字幕图像；
第二叠加单元，用于将所述字幕图像叠加在所述目标画面帧的上层，获得叠加后的画面帧流数据；
第二组合单元，用于将所述第一音频流数据和所述叠加后的画面帧流数据组合为所述处理后的直播视频流数据。
可选的，所述字幕添加模块1504，具体用于从第一时刻起延时预设时长后，执行所述根据所述字幕文本对应的时间信息，将所述字幕文本添加入所述直播视频流数据中对应的画面帧，获得处理后的直播视频流数据的步骤；其中，所述第一时刻是获取到所述直播视频流数据的时刻。
可选的，所述字幕添加模块1504，具体用于在获得所述字幕数据的时刻，执行所述根据所述字幕文本对应的时间信息，将所述字幕文本添加入所述直播视频流数据中对应的画面帧，获得处理后的直播视频流数据的步骤。
可选的，所述语音识别模块1502，具体用于，
对所述第一音频流数据进行语音起止检测，获得所述第一音频流数据中的语音起始帧和语音结束帧；所述语音起始帧是一段语音开始的音频帧，所述语音结束帧是一段语音结束的音频帧；
根据所述第一音频流数据中的语音起始帧和语音结束帧，从所述第一音频流数据中提取至少一段语音数据，所述语音数据包括对应的一组语音起始帧和语音结束帧之间的音频帧；
对所述至少一段语音数据分别进行语音识别，获得所述至少一段语音数据分别对应的识别子文本；
将所述至少一段语音数据分别对应的识别子文本获取为所述语音识别文本。
可选的，所述字幕生成模块1503，具体用于，
将所述语音识别文本翻译为目标语言对应的翻译文本；
根据所述翻译文本生成所述字幕文本；所述字幕文本中包含所述翻译文本，或者，所述字幕文本中包含所述语音识别文本和所述翻译文本；
生成包含所述字幕文本的所述字幕数据。
可选的，所述装置还包括：
请求接收模块，用于接收用户终端发送的视频流获取请求；
指示获取模块，用于获取所述视频流获取请求中携带的语言指示信息，所述语言指示信息用于指示字幕语言；
推送模块，用于当所述语言指示信息指示的字幕语言是所述字幕文本对应的语言时，向所述用户终端推送所述处理后的直播视频流数据。
图16是本申请一个示例性实施例示出的计算机设备1600的结构框图。所述计算机设备1600包括中央处理单元(CPU)1601、包括随机存取存储器(RAM)1602和只读存储器(ROM)1603的系统存储器1604，以及连接系统存储器1604和中央处理单元1601的系统总线1605。所述计算机设备1600还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1606，和用于存储操作系统1613、应用程序1614和其他程序模块1615的大容量存储设备1607。
所述基本输入/输出系统1606包括有用于显示信息的显示器1608和用于用户输入信息的诸如鼠标、键盘之类的输入设备1609。其中所述显示器1608和输入设备1609都通过连接到系统总线1605的输入输出控制器1610连接到中央处理单元1601。所述基本输入/输出系统1606还可以包括输入输出控制器1610以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1610还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1607通过连接到系统总线1605的大容量存储控制器(未示出)连接到中央处理单元1601。所述大容量存储设备1607及其相关联的计算机可读介质为计算机设备1600提供非易失性存储。也就是说，所述大容量存储设备1607可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1604和大容量存储设备1607可以统称为存储器。
计算机设备1600可以通过连接在所述系统总线1605上的网络接口单元1611连接到互联网或者其它网络设备。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器1601通过执行该一个或一个以上程序来实现图3、图4或图13任一所示的方法中的全部或者部分步骤。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括计算机程序(指令)的存储器，上述程序(指令)可由计算机设备的处理器执行以完成本申请各个实施例所示的直播场景中的视频流处理方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (14)

1.一种视频流处理方法，其特征在于，所述方法包括：
获取直播视频流数据中的第一音频流数据；所述第一音频流数据中包含多段语音；
从所述第一音频流数据中提取出各段语音对应的音频帧，并对所述各段语音对应的音频帧分别进行语音识别，获得语音识别文本；
将所述语音识别文本翻译为目标语言对应的翻译文本；
根据所述翻译文本生成字幕文本；所述字幕文本中包含所述翻译文本，或者，所述字幕文本中包含所述语音识别文本和所述翻译文本；
生成包含所述字幕文本的字幕数据，所述字幕数据包含若干字幕子数据；每个所述字幕子数据对应一段完整语音；所述字幕子数据包括各段语音对应的时间信息以及各段语音对应的字幕文本；所述字幕数据由字幕存储服务进行存储；
通过字幕混合服务，从直播延时服务拉取所述直播视频流数据，并从所述字幕存储服务拉取所述字幕数据，并根据各段语音对应的所述字幕文本的时间信息，将各段语音对应的所述字幕文本添加入所述直播视频流数据中各自对应的画面帧，获得处理后的直播视频流数据；所述直播延时服务用于实现所述直播视频流数据的延时输出。
2.根据权利要求1所述的方法，其特征在于，所述根据各段语音对应的所述字幕文本的时间信息，将各段语音对应的所述字幕文本添加入所述直播视频流数据中各自对应的画面帧，获得处理后的直播视频流数据，包括：
将所述直播视频流数据分解为第二音频流数据和第一画面帧流数据；
确定所述第一画面帧流数据中的目标画面帧，所述目标画面帧是与各段语音的所述时间信息对应的画面帧；
生成包含各段语音对应的所述字幕文本的字幕图像；
将各段语音对应的所述字幕图像叠加在各自对应的所述目标画面帧的上层，获得叠加后的画面帧流数据；
将所述第二音频流数据和所述叠加后的画面帧流数据组合为所述处理后的直播视频流数据。
3.根据权利要求2所述的方法，其特征在于，所述将所述第二音频流数据和所述叠加后的画面帧流数据组合为所述处理后的直播视频流数据，包括：
将所述第二音频流数据与所述叠加后的画面帧流数据按照时间信息进行数据对齐；
将对齐后的所述第二音频流数据与所述叠加后的画面帧流数据组合为所述处理后的直播视频流数据。
4.根据权利要求1所述的方法，其特征在于，所述根据各段语音对应的所述字幕文本的时间信息，将各段语音对应的所述字幕文本添加入所述直播视频流数据中各自对应的画面帧，获得处理后的直播视频流数据之前，还包括：
获取所述直播视频流数据中的第二画面帧流数据；
所述根据各段语音对应的所述字幕文本的时间信息，将各段语音对应的所述字幕文本添加入所述直播视频流数据中各自对应的画面帧，获得处理后的直播视频流数据，包括：
确定所述第二画面帧流数据中的目标画面帧，所述目标画面帧是与各段语音的所述时间信息对应的画面帧；
生成包含各段语音对应的所述字幕文本的字幕图像；
将各段语音对应的所述字幕图像叠加在各自对应的所述目标画面帧的上层，获得叠加后的画面帧流数据；
将所述第一音频流数据和所述叠加后的画面帧流数据组合为所述处理后的直播视频流数据。
5.根据权利要求1至4任一所述的方法，其特征在于，
从第一时刻起延时预设时长后，根据所述字幕文本对应的时间信息，将所述字幕文本添加入所述直播视频流数据中对应的画面帧，获得所述处理后的直播视频流数据；
其中，所述第一时刻是获取到所述直播视频流数据的时刻。
6.根据权利要求1至4任一所述的方法，其特征在于，
在成功存储所述字幕数据后，根据所述字幕文本对应的时间信息，将所述字幕文本添加入所述直播视频流数据中对应的画面帧，获得所述处理后的直播视频流数据。
7.根据权利要求1至4任一所述的方法，其特征在于，所述对所述第一音频流数据进行语音识别，获得语音识别文本，包括：
对所述第一音频流数据进行语音起止检测，获得所述第一音频流数据中的语音起始帧和语音结束帧；所述语音起始帧是一段语音开始的音频帧，所述语音结束帧是一段语音结束的音频帧；
根据所述第一音频流数据中的语音起始帧和语音结束帧，从所述第一音频流数据中提取至少一段语音数据，所述语音数据包括对应的一组语音起始帧和语音结束帧之间的音频帧；
对所述至少一段语音数据分别进行语音识别，获得所述至少一段语音数据分别对应的识别子文本；
将所述至少一段语音数据分别对应的识别子文本获取为所述语音识别文本。
8.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：
接收用户终端发送的视频流获取请求；
获取所述视频流获取请求中携带的语言指示信息，所述语言指示信息用于指示字幕语言；
当所述语言指示信息指示的字幕语言是所述字幕文本对应的语言时，向所述用户终端推送所述处理后的直播视频流数据。
9.一种视频流处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取直播视频流数据中的第一音频流数据；所述第一音频流数据中包含多段语音；
语音识别模块，用于从所述第一音频流数据中提取出各段语音对应的音频帧，并对所述各段语音对应的音频帧分别进行语音识别，获得语音识别文本；
字幕生成模块，用于将所述语音识别文本翻译为目标语言对应的翻译文本；
所述字幕生成模块，还用于根据所述翻译文本生成字幕文本；所述字幕文本中包含所述翻译文本，或者，所述字幕文本中包含所述语音识别文本和所述翻译文本；
所述字幕生成模块，还用于生成包含所述字幕文本的字幕数据，所述字幕数据包含若干字幕子数据；每个所述字幕子数据对应一段完整语音；所述字幕子数据包括各段语音对应的时间信息以及各段语音对应的字幕文本；所述字幕数据由字幕存储服务进行存储；
字幕添加模块，用于通过字幕混合服务，从直播延时服务拉取所述直播视频流数据，并从所述字幕存储服务拉取所述字幕数据，并根据各段语音对应的所述字幕文本的时间信息，将各段语音对应的所述字幕文本添加入所述直播视频流数据中各自对应的画面帧，获得处理后的直播视频流数据；所述直播延时服务用于实现所述直播视频流数据的延时输出。
10.根据权利要求9所述的装置，其特征在于，所述字幕添加模块，包括：
分解单元，用于将所述直播视频流数据分解为第二音频流数据和第一画面帧流数据；
第一画面帧确定单元，用于确定所述第一画面帧流数据中的目标画面帧，所述目标画面帧是与各段语音的所述时间信息对应的画面帧；
第一图像生成单元，用于生成包含各段语音对应的所述字幕文本的字幕图像；
第一叠加单元，用于将各段语音对应的所述字幕图像叠加在各自对应的所述目标画面帧的上层，获得叠加后的画面帧流数据；
第一组合单元，用于将所述第二音频流数据和所述叠加后的画面帧流数据组合为所述处理后的直播视频流数据。
11.根据权利要求10所述的装置，其特征在于，所述第一组合单元，具体用于，
将所述第二音频流数据与所述叠加后的画面帧流数据按照时间信息进行数据对齐；
将对齐后的所述第二音频流数据与所述叠加后的画面帧流数据组合为所述处理后的直播视频流数据。
12.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于在所述字幕添加模块根据各段语音对应的所述字幕文本的时间信息，将各段语音对应的所述字幕文本添加入所述直播视频流数据中各自对应的画面帧，获得处理后的直播视频流数据之前，获取所述直播视频流数据中的第二画面帧流数据；
所述字幕添加模块，包括：
第二画面帧确定单元，用于确定所述第二画面帧流数据中的目标画面帧，所述目标画面帧是与各段语音的所述时间信息对应的画面帧；
第二图像生成单元，用于生成包含各段语音对应的所述字幕文本的字幕图像；
第二叠加单元，用于将各段语音对应的所述字幕图像叠加在各自对应的所述目标画面帧的上层，获得叠加后的画面帧流数据；
第二组合单元，用于将所述第一音频流数据和所述叠加后的画面帧流数据组合为所述处理后的直播视频流数据。
13.一种计算机设备，其特征在于，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至8任一所述的视频流处理方法。
14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至8任一所述的视频流处理方法。
CN201810380157.XA 2018-04-25 2018-04-25 视频流处理方法、装置、计算机设备及存储介质 Active CN108401192B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810380157.XA CN108401192B (zh) 2018-04-25 2018-04-25 视频流处理方法、装置、计算机设备及存储介质
EP19792095.2A EP3787300A4 (en) 2018-04-25 2019-03-27 VIDEO STREAM PROCESSING METHOD AND DEVICE, COMPUTER DEVICE AND STORAGE MEDIUM
PCT/CN2019/079830 WO2019205872A1 (zh) 2018-04-25 2019-03-27 视频流处理方法、装置、计算机设备及存储介质
US16/922,904 US11463779B2 (en) 2018-04-25 2020-07-07 Video stream processing method and apparatus, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810380157.XA CN108401192B (zh) 2018-04-25 2018-04-25 视频流处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN108401192A CN108401192A (zh) 2018-08-14
CN108401192B true CN108401192B (zh) 2022-02-22

Family

ID=63100553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810380157.XA Active CN108401192B (zh) 2018-04-25 2018-04-25 视频流处理方法、装置、计算机设备及存储介质

Country Status (4)

Country Link
US (1) US11463779B2 (zh)
EP (1) EP3787300A4 (zh)
CN (1) CN108401192B (zh)
WO (1) WO2019205872A1 (zh)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108401192B (zh) 2018-04-25 2022-02-22 腾讯科技（深圳）有限公司 视频流处理方法、装置、计算机设备及存储介质
CN109005470B (zh) * 2018-08-27 2020-11-10 佛山龙眼传媒科技有限公司 一种在线合成字幕的方法、系统与装置
CN109195007B (zh) * 2018-10-19 2021-09-07 深圳市轱辘车联数据技术有限公司 视频生成方法、装置、服务器及计算机可读存储介质
CN109348252B (zh) * 2018-11-01 2020-01-10 腾讯科技（深圳）有限公司 视频播放方法、视频传输方法、装置、设备及存储介质
CN109257659A (zh) * 2018-11-16 2019-01-22 北京微播视界科技有限公司 字幕添加方法、装置、电子设备及计算机可读存储介质
CN109379628B (zh) 2018-11-27 2021-02-02 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及计算机可读介质
CN109495792A (zh) * 2018-11-30 2019-03-19 北京字节跳动网络技术有限公司 一种视频的字幕添加方法、装置、电子设备及可读介质
CN109819319A (zh) * 2019-03-07 2019-05-28 重庆蓝岸通讯技术有限公司 一种录像记录关键帧的方法
CN110035326A (zh) * 2019-04-04 2019-07-19 北京字节跳动网络技术有限公司 字幕生成、基于字幕的视频检索方法、装置和电子设备
CN110225265A (zh) * 2019-06-21 2019-09-10 深圳市奥拓电子股份有限公司 视频转播过程中的广告替换方法、系统及存储介质
CN110393921B (zh) * 2019-08-08 2022-08-26 腾讯科技（深圳）有限公司 云游戏的处理方法、装置、终端、服务器及存储介质
CN110933485A (zh) * 2019-10-21 2020-03-27 天脉聚源(杭州)传媒科技有限公司 一种视频字幕生成方法、系统、装置和存储介质
CN112752047A (zh) * 2019-10-30 2021-05-04 北京小米移动软件有限公司 视频录制方法、装置、设备及可读存储介质
CN111107383B (zh) * 2019-12-03 2023-02-17 广州方硅信息技术有限公司 视频处理方法、装置、设备及存储介质
CN113014984A (zh) * 2019-12-18 2021-06-22 深圳市万普拉斯科技有限公司 实时添加字幕方法、装置、计算机设备和计算机存储介质
CN111010614A (zh) * 2019-12-26 2020-04-14 北京奇艺世纪科技有限公司 一种显示直播字幕的方法、装置、服务器及介质
CN111212320B (zh) * 2020-01-08 2023-07-14 腾讯科技（深圳）有限公司 一种资源合成方法、装置、设备及存储介质
US11195533B2 (en) * 2020-03-25 2021-12-07 Disney Enterprises, Inc. Systems and methods for incremental natural language understanding
CN111432229B (zh) * 2020-03-31 2024-05-10 卡斯柯信号有限公司 一种对行车指挥进行记录分析与直播的方法与装置
CN111522971A (zh) * 2020-04-08 2020-08-11 广东小天才科技有限公司 一种直播教学中辅助用户听课的方法及装置
CN111479124A (zh) * 2020-04-20 2020-07-31 北京捷通华声科技股份有限公司 一种实时播放方法和装置
CN113613025A (zh) * 2020-05-05 2021-11-05 安徽文徽科技有限公司 一种实时语音转换字幕数据同步处理与画面合成直播的方法及装置
CN111601154B (zh) * 2020-05-08 2022-04-29 北京金山安全软件有限公司 一种视频处理方法及相关设备
US11438287B2 (en) * 2020-06-15 2022-09-06 Interactive Standard LLC System and method for generating and reproducing ultra short media content
CN111901615A (zh) * 2020-06-28 2020-11-06 北京百度网讯科技有限公司 直播视频的播放方法和装置
CN111836062A (zh) * 2020-06-30 2020-10-27 北京小米松果电子有限公司 视频播放方法、装置及计算机可读存储介质
CN111814732B (zh) * 2020-07-23 2024-02-09 度小满科技(北京)有限公司 一种身份验证方法及装置
CN113301357B (zh) * 2020-07-27 2022-11-29 阿里巴巴集团控股有限公司 直播方法、装置及电子设备
CN112102843B (zh) * 2020-09-18 2024-09-06 北京搜狗科技发展有限公司 一种语音识别方法、装置和电子设备
CN112132003A (zh) * 2020-09-18 2020-12-25 北京搜狗科技发展有限公司 一种数据处理方法、装置和录音设备
CN112087653A (zh) * 2020-09-18 2020-12-15 北京搜狗科技发展有限公司 一种数据处理方法、装置和电子设备
CN114257843B (zh) * 2020-09-24 2024-07-19 腾讯科技（深圳）有限公司 一种多媒体数据处理方法、装置、设备及可读存储介质
CN112188241A (zh) * 2020-10-09 2021-01-05 上海网达软件股份有限公司 一种用于直播流实时生成字幕的方法及系统
CN112380922B (zh) * 2020-10-23 2024-03-22 岭东核电有限公司 复盘视频帧确定方法、装置、计算机设备和存储介质
CN114501160A (zh) * 2020-11-12 2022-05-13 阿里巴巴集团控股有限公司 生成字幕的方法和智能字幕系统
CN114598893B (zh) * 2020-11-19 2024-04-30 京东方科技集团股份有限公司 文字的视频实现方法及系统、电子设备、存储介质
CN112511910A (zh) * 2020-11-23 2021-03-16 浪潮天元通信信息系统有限公司 实时字幕的处理方法和装置
CN114584830A (zh) * 2020-12-02 2022-06-03 青岛海尔多媒体有限公司 用于处理视频的方法及装置、家电设备
CN112637620A (zh) * 2020-12-09 2021-04-09 杭州艾耕科技有限公司 一种对音视频流中物品和语言实时识别分析的方法与装置
CN112616062B (zh) * 2020-12-11 2023-03-10 北京有竹居网络技术有限公司 一种字幕显示方法、装置、电子设备及存储介质
CN112637670B (zh) * 2020-12-15 2022-07-29 上海哔哩哔哩科技有限公司 视频生成方法及装置
CN112653932B (zh) * 2020-12-17 2023-09-26 北京百度网讯科技有限公司 用于移动终端的字幕生成方法、装置、设备以及存储介质
CN112770146B (zh) * 2020-12-30 2023-10-03 广州酷狗计算机科技有限公司 内容数据的设置方法、装置、设备以及可读存储介质
CN112839237A (zh) * 2021-01-19 2021-05-25 阿里健康科技(杭州)有限公司 网络直播中的视音频处理方法、计算机设备和介质
CN112929744B (zh) * 2021-01-22 2023-04-07 北京百度网讯科技有限公司 用于分割视频剪辑的方法、装置、设备、介质和程序产品
CN115150631A (zh) * 2021-03-16 2022-10-04 北京有竹居网络技术有限公司 字幕处理方法、装置、电子设备和存储介质
CN115086753A (zh) * 2021-03-16 2022-09-20 北京有竹居网络技术有限公司 直播视频流的处理方法、装置、电子设备和存储介质
CN113099282B (zh) * 2021-03-30 2022-06-24 腾讯科技（深圳）有限公司 一种数据处理方法、装置及设备
KR102523813B1 (ko) * 2021-04-06 2023-05-15 주식회사 한글과컴퓨터 영상에 대한 키워드 기반 검색을 가능하게 하는 영상 스트리밍 서비스 서버 및 그 동작 방법
CN113259776B (zh) * 2021-04-14 2022-11-22 北京达佳互联信息技术有限公司 字幕与音源的绑定方法及装置
CN113114687B (zh) * 2021-04-14 2022-07-15 深圳维盟科技股份有限公司 一种iptv合流方法及系统
KR102523814B1 (ko) * 2021-04-15 2023-05-15 주식회사 한글과컴퓨터 음성 인식을 기반으로 영상이 재생되는 화면에 자막을 출력하는 전자 장치 및 그 동작 방법
CN113099292A (zh) * 2021-04-21 2021-07-09 湖南快乐阳光互动娱乐传媒有限公司 一种基于视频的多语种字幕生成方法及装置
CN112995736A (zh) * 2021-04-22 2021-06-18 南京亿铭科技有限公司 语音字幕合成方法、装置、计算机设备及存储介质
CN115269884A (zh) * 2021-04-29 2022-11-01 华为云计算技术有限公司 生成视频语料的方法、装置及相关设备
KR102523816B1 (ko) * 2021-05-07 2023-05-15 주식회사 한글과컴퓨터 영상이 재생되는 화면 상에 사용자의 질의 문장에 대한 답변 자막을 표시하는 전자 장치 및 그 동작 방법
CN113596491A (zh) * 2021-07-23 2021-11-02 深圳市通拓信息技术网络有限公司 一种基于云服务器的跨境直播系统
CN113596494B (zh) * 2021-07-27 2023-05-30 北京达佳互联信息技术有限公司 信息处理方法、装置、电子设备、存储介质及程序产品
CN113613059B (zh) * 2021-07-30 2024-01-26 杭州时趣信息技术有限公司 一种短播视频处理方法、装置及设备
EP4322536A4 (en) 2021-08-05 2024-10-09 Samsung Electronics Co Ltd ELECTRONIC DEVICE AND METHOD FOR MULTIMEDIA PLAYBACK IN AN ELECTRONIC DEVICE
CN113806570A (zh) * 2021-09-22 2021-12-17 维沃移动通信有限公司 图像生成方法和生成装置、电子设备和存储介质
CN113873306A (zh) * 2021-09-23 2021-12-31 深圳市多狗乐智能研发有限公司 一种将实时翻译字幕叠加画面经硬件投射到直播间的方法
CN115967822A (zh) * 2021-10-12 2023-04-14 北京字跳网络技术有限公司 信息显示方法、装置、电子设备和存储介质
CN113891108A (zh) * 2021-10-19 2022-01-04 北京有竹居网络技术有限公司 字幕优化方法、装置、电子设备和存储介质
CN114007091A (zh) * 2021-10-27 2022-02-01 北京市商汤科技开发有限公司 一种视频处理方法、装置、电子设备及存储介质
CN114125358A (zh) * 2021-11-11 2022-03-01 北京有竹居网络技术有限公司 云会议字幕显示方法、系统、装置、电子设备和存储介质
CN114125331A (zh) * 2021-11-11 2022-03-01 北京有竹居网络技术有限公司 一种字幕添加系统
CN114040220A (zh) * 2021-11-25 2022-02-11 京东科技信息技术有限公司 直播方法和装置
CN114063863B (zh) * 2021-11-29 2024-10-15 维沃移动通信有限公司 视频处理方法、装置及电子设备
CN114007116A (zh) * 2022-01-05 2022-02-01 凯新创达（深圳）科技发展有限公司 一种视频处理方法、视频处理装置
CN114420104A (zh) * 2022-01-27 2022-04-29 网易有道信息技术（北京）有限公司 自动生成字幕的方法及其相关产品
CN114501113B (zh) * 2022-01-30 2024-05-31 深圳创维－Rgb电子有限公司 投屏录制方法、设备及计算机可读存储介质
CN114449310A (zh) * 2022-02-15 2022-05-06 平安科技（深圳）有限公司 视频剪辑方法、装置、计算机设备及存储介质
CN114554238B (zh) * 2022-02-23 2023-08-11 北京有竹居网络技术有限公司 直播语音同传方法、装置、介质及电子设备
CN114598933B (zh) * 2022-03-16 2022-12-27 平安科技（深圳）有限公司 一种视频内容处理方法、系统、终端及存储介质
KR20240050038A (ko) * 2022-10-11 2024-04-18 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
CN115643424A (zh) * 2022-10-25 2023-01-24 上海哔哩哔哩科技有限公司 直播数据处理方法及系统
CN116320653A (zh) * 2023-02-03 2023-06-23 北京有竹居网络技术有限公司 音视频的处理方法、装置、电子设备及存储介质
CN116471435A (zh) * 2023-04-12 2023-07-21 央视国际网络有限公司 语音和字幕的调整方法和装置、电子设备、存储介质
US12120168B1 (en) * 2023-07-31 2024-10-15 1337, Inc. Scalable livestream augmentation system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103458321A (zh) * 2012-06-04 2013-12-18 联想(北京)有限公司 一种字幕加载方法及装置
CN103561217A (zh) * 2013-10-14 2014-02-05 深圳创维数字技术股份有限公司 一种生成字幕的方法及终端
CN103945141A (zh) * 2013-01-23 2014-07-23 索尼公司 视频处理装置、方法和服务器
EP2827586A1 (en) * 2012-03-14 2015-01-21 Panasonic Corporation Receiver apparatus, broadcast/communication-cooperation system, and broadcast/communication-cooperation method
CN104581221A (zh) * 2014-12-25 2015-04-29 广州酷狗计算机科技有限公司 视频直播的方法和装置
CN105828101A (zh) * 2016-03-29 2016-08-03 北京小米移动软件有限公司 生成字幕文件的方法及装置
EP2600628B1 (en) * 2011-12-02 2017-01-04 Lg Electronics Inc. Mobile terminal and control method thereof
CN107690089A (zh) * 2016-08-05 2018-02-13 阿里巴巴集团控股有限公司 数据处理方法、直播方法及装置
CN108063970A (zh) * 2017-11-22 2018-05-22 北京奇艺世纪科技有限公司 一种处理直播流的方法和装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7047191B2 (en) * 2000-03-06 2006-05-16 Rochester Institute Of Technology Method and system for providing automated captioning for AV signals
US7171365B2 (en) * 2001-02-16 2007-01-30 International Business Machines Corporation Tracking time using portable recorders and speech recognition
US6925438B2 (en) * 2002-10-08 2005-08-02 Motorola, Inc. Method and apparatus for providing an animated display with translated speech
JP2006524856A (ja) * 2003-04-14 2006-11-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 自動ダビングをオーディオ・ビジュアル・ストリームに対して行うシステム及び方法
JP4127668B2 (ja) * 2003-08-15 2008-07-30 株式会社東芝 情報処理装置、情報処理方法、およびプログラム
TW201104563A (en) * 2009-07-27 2011-02-01 Ipeer Multimedia Internat Ltd Multimedia subtitle display method and system
US9437246B2 (en) * 2012-02-10 2016-09-06 Sony Corporation Information processing device, information processing method and program
US20130295534A1 (en) * 2012-05-07 2013-11-07 Meishar Meiri Method and system of computerized video assisted language instruction
IL225480A (en) * 2013-03-24 2015-04-30 Igal Nir A method and system for automatically adding captions to broadcast media content
US9355094B2 (en) * 2013-08-14 2016-05-31 Google Inc. Motion responsive user interface for realtime language translation
CN105744346A (zh) 2014-12-12 2016-07-06 深圳Tcl数字技术有限公司 字幕切换方法及装置
US9953631B1 (en) * 2015-05-07 2018-04-24 Google Llc Automatic speech recognition techniques for multiple languages
CN105959772B (zh) * 2015-12-22 2019-04-23 合一网络技术(北京)有限公司 流媒体与字幕即时同步显示、匹配处理方法、装置及系统
CN106303303A (zh) * 2016-08-17 2017-01-04 北京金山安全软件有限公司 一种媒体文件字幕的翻译方法、装置及电子设备
US10397645B2 (en) * 2017-03-23 2019-08-27 Intel Corporation Real time closed captioning or highlighting method and apparatus
CN107222792A (zh) * 2017-07-11 2017-09-29 成都德芯数字科技股份有限公司 一种字幕叠加方法及装置
CN111758264A (zh) * 2018-02-26 2020-10-09 谷歌有限责任公司 预先录制的视频的自动语音翻译配音
CN108600773B (zh) * 2018-04-25 2021-08-10 腾讯科技（深圳）有限公司 字幕数据推送方法、字幕展示方法、装置、设备及介质
CN108401192B (zh) * 2018-04-25 2022-02-22 腾讯科技（深圳）有限公司 视频流处理方法、装置、计算机设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2600628B1 (en) * 2011-12-02 2017-01-04 Lg Electronics Inc. Mobile terminal and control method thereof
EP2827586A1 (en) * 2012-03-14 2015-01-21 Panasonic Corporation Receiver apparatus, broadcast/communication-cooperation system, and broadcast/communication-cooperation method
CN103458321A (zh) * 2012-06-04 2013-12-18 联想(北京)有限公司 一种字幕加载方法及装置
CN103945141A (zh) * 2013-01-23 2014-07-23 索尼公司 视频处理装置、方法和服务器
CN103561217A (zh) * 2013-10-14 2014-02-05 深圳创维数字技术股份有限公司 一种生成字幕的方法及终端
CN104581221A (zh) * 2014-12-25 2015-04-29 广州酷狗计算机科技有限公司 视频直播的方法和装置
CN105828101A (zh) * 2016-03-29 2016-08-03 北京小米移动软件有限公司 生成字幕文件的方法及装置
CN107690089A (zh) * 2016-08-05 2018-02-13 阿里巴巴集团控股有限公司 数据处理方法、直播方法及装置
CN108063970A (zh) * 2017-11-22 2018-05-22 北京奇艺世纪科技有限公司 一种处理直播流的方法和装置

Also Published As

Publication number Publication date
EP3787300A1 (en) 2021-03-03
US11463779B2 (en) 2022-10-04
CN108401192A (zh) 2018-08-14
US20200336796A1 (en) 2020-10-22
WO2019205872A1 (zh) 2019-10-31
EP3787300A4 (en) 2021-03-03

Similar Documents

Publication Publication Date Title
CN108401192B (zh) 视频流处理方法、装置、计算机设备及存储介质
CN108566558B (zh) 视频流处理方法、装置、计算机设备及存储介质
US11272257B2 (en) Method and apparatus for pushing subtitle data, subtitle display method and apparatus, device and medium
CN109348252B (zh) 视频播放方法、视频传输方法、装置、设备及存储介质
CN111741326B (zh) 视频合成方法、装置、设备及存储介质
CN110035326A (zh) 字幕生成、基于字幕的视频检索方法、装置和电子设备
US9736552B2 (en) Authoring system for IPTV network
CN112616062B (zh) 一种字幕显示方法、装置、电子设备及存储介质
CN114040255A (zh) 直播字幕生成方法、系统、设备及存储介质
KR20150083355A (ko) 증강 미디어 서비스 제공 방법, 장치 및 시스템
CN112272327B (zh) 数据处理方法、装置、存储介质及设备
CN112437337A (zh) 一种直播实时字幕的实现方法、系统及设备
CN112601101A (zh) 一种字幕显示方法、装置、电子设备及存储介质
JP6948934B2 (ja) コンテンツ加工システム、端末装置、およびプログラム
CN113473165A (zh) 直播控制系统、直播控制方法、装置、介质与设备
KR102069897B1 (ko) 사용자 영상 생성 방법 및 이를 위한 장치
CN114341866A (zh) 同声传译方法、装置、服务器和存储介质
CN113709579B (zh) 音视频数据的传输方法、装置以及存储介质
CN113891108A (zh) 字幕优化方法、装置、电子设备和存储介质
CN112601110B (zh) 用于内容记录和分享的方法和设备
CN114501160A (zh) 生成字幕的方法和智能字幕系统
CN114257843B (zh) 一种多媒体数据处理方法、装置、设备及可读存储介质
CN115086691A (zh) 字幕优化方法、装置、电子设备和存储介质
KR102664295B1 (ko) 수어 자막 동영상 플랫폼 제공 방법 및 장치
Kato et al. A location-free commentary adding system for live streaming using a cloud infrastructure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant