CN111538862B - 用于解说视频的方法及装置 - Google Patents

用于解说视频的方法及装置 Download PDF

Info

Publication number
CN111538862B
CN111538862B CN202010414326.4A CN202010414326A CN111538862B CN 111538862 B CN111538862 B CN 111538862B CN 202010414326 A CN202010414326 A CN 202010414326A CN 111538862 B CN111538862 B CN 111538862B
Authority
CN
China
Prior art keywords
information
processed
text
video frame
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010414326.4A
Other languages
English (en)
Other versions
CN111538862A (zh
Inventor
冯博豪
张小帅
陈兴波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010414326.4A priority Critical patent/CN111538862B/zh
Publication of CN111538862A publication Critical patent/CN111538862A/zh
Priority to US17/117,018 priority patent/US11367284B2/en
Priority to KR1020210034325A priority patent/KR102556567B1/ko
Priority to JP2021051811A priority patent/JP7280908B2/ja
Priority to EP21165956.0A priority patent/EP3852383A3/en
Application granted granted Critical
Publication of CN111538862B publication Critical patent/CN111538862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例公开了用于解说视频的方法及装置，涉及云计算领域。该方法的一具体实施方式包括：获取待处理视频帧的内容信息；根据上述内容信息构建文字描述信息，上述文字描述信息用于描述上述待处理视频帧的内容；将上述文字描述信息导入预先训练的文字转换模型，得到对应上述文字描述信息的解说文字信息，上述文字转换模型用于将上述文字描述信息转换为解说文字信息；将上述解说文字信息转换为音频信息。该实施方式实现了对视频的语音解说，提高了视频的解说效率。

Description

用于解说视频的方法及装置
技术领域
本公开的实施例涉及计算机技术领域，具体涉及用于解说视频的方法及装置。
背景技术
随着智能设备的大量使用和网络技术的进步，各种类型的视频(例如可以是足球视频、篮球视频、网球视频等)在网络上广泛传播。相应地，视频解说员需要对视频内容进行解说，以便观众能够了解视频内容。
发明内容
本公开的实施例提出了用于解说视频的方法及装置。
第一方面，本公开的实施例提供了一种用于解说视频的方法，该方法包括：获取待处理视频帧的内容信息；根据上述内容信息构建文字描述信息，上述文字描述信息用于描述上述待处理视频帧的内容；将上述文字描述信息导入预先训练的文字转换模型，得到对应上述文字描述信息的解说文字信息，上述文字转换模型用于将上述文字描述信息转换为解说文字信息；将上述解说文字信息转换为音频信息。
在一些实施例中，上述获取待处理视频帧的内容信息，包括：响应于上述待处理视频帧为一个视频帧，对上述待处理视频帧进行图像识别，得到内容信息，上述内容信息包括以下至少一项：视频类型信息、人物信息。
在一些实施例中，上述获取待处理视频帧的内容信息，包括：响应于上述待处理视频帧为多个视频帧，对上述待处理视频帧进行图像识别，确定目标图像；获取上述目标图像中的每个目标图像在上述待处理视频帧中的运动信息。
在一些实施例中，上述获取上述目标图像中的每个目标图像在上述待处理视频帧中的运动信息，包括：为上述目标图像设置标记点，并获取上述标记点在上述待处理视频帧的每个待处理视频帧中的位置信息；建立上述待处理视频帧的时间信息与上述位置信息之间的对应关系；按照上述时间信息对应的时间的先后顺序和上述对应关系确定内容信息，上述内容信息包括动作信息。
在一些实施例中，上述根据上述内容信息构建文字描述信息，包括：查询上述内容信息的词性信息，上述词性信息包括以下至少一项：名词、动词；确定上述词性信息对应的句子成分，上述句子成分包括以下至少一项：主语、谓语、宾语；根据上述句子成分选择句型，上述句型包括词槽；将上述内容信息添加至上述句型的词槽得到文字描述信息。
在一些实施例中，上述将上述文字描述信息导入预先训练的文字转换模型，得到对应上述文字描述信息的解说文字信息，包括：查询对应上述文字描述信息的场景类型信息，上述场景类型信息用于表征上述待处理视频帧对应的场景；根据上述场景类型信息确定场景句型，上述场景句型用于对上述场景进行描述，包括对应上述场景的惯用描述词；将上述文字描述信息添加至上述场景句型得到解说文字信息。
在一些实施例中，上述方法还包括：建立上述待处理视频帧和上述音频信息的时间匹配关系。
第二方面，本公开的实施例提供了一种用于解说视频的装置，该装置包括：内容信息获取单元，被配置成获取待处理视频帧的内容信息；文字描述信息构建单元，被配置成根据上述内容信息构建文字描述信息，上述文字描述信息用于描述上述待处理视频帧的内容；解说文字信息获取单元，被配置成将上述文字描述信息导入预先训练的文字转换模型，得到对应上述文字描述信息的解说文字信息，上述文字转换模型用于将上述文字描述信息转换为解说文字信息；音频转换单元，被配置成将上述解说文字信息转换为音频信息。
在一些实施例中，上述内容信息获取单元包括：第一内容信息获取子单元，响应于上述待处理视频帧为一个视频帧，被配置成对上述待处理视频帧进行图像识别，得到内容信息，上述内容信息包括以下至少一项：视频类型信息、人物信息。
在一些实施例中，上述内容信息获取单元包括：目标图像确定子单元，响应于上述待处理视频帧为多个视频帧，被配置成对上述待处理视频帧进行图像识别，确定目标图像；第二内容信息获取子单元，被配置成获取上述目标图像中的每个目标图像在上述待处理视频帧中的运动信息。
在一些实施例中，上述第二内容信息获取子单元包括：位置信息获取模块，被配置成为上述目标图像设置标记点，并获取上述标记点在上述待处理视频帧的每个待处理视频帧中的位置信息；对应关系建立模块，被配置成建立上述待处理视频帧的时间信息与上述位置信息之间的对应关系；内容信息获取模块，被配置成按照上述时间信息对应的时间的先后顺序和上述对应关系确定内容信息，上述内容信息包括动作信息。
在一些实施例中，上述文字描述信息构建单元包括：词性查询子单元，被配置成查询上述内容信息的词性信息，上述词性信息包括以下至少一项：名词、动词；句子成分确定子单元，被配置成确定上述词性信息对应的句子成分，上述句子成分包括以下至少一项：主语、谓语、宾语；句型选择子单元，被配置成根据上述句子成分选择句型，上述句型包括词槽；文字描述信息获取子单元，被配置成将上述内容信息添加至上述句型的词槽得到文字描述信息。
在一些实施例中，上述解说文字信息获取单元包括：场景类型信息查询子单元，被配置成查询对应上述文字描述信息的场景类型信息，上述场景类型信息用于表征上述待处理视频帧对应的场景；场景句型确定子单元，被配置成根据上述场景类型信息确定场景句型，上述场景句型用于对上述场景进行描述，包括对应上述场景的惯用描述词；解说文字信息获取子单元，被配置成将上述文字描述信息添加至上述场景句型得到解说文字信息。
在一些实施例中，上述装置还包括：时间匹配关系建立单元，被配置成建立上述待处理视频帧和上述音频信息的时间匹配关系。
第三方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器；存储器，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器执行上述第一方面的用于解说视频的方法。
第四方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述第一方面的用于解说视频的方法。
本公开的实施例提供的用于解说视频的方法及装置，首先获取待处理视频帧的内容信息，有利于对待处理视频帧的理解；然后根据上述内容信息构建文字描述信息，实现了通过信息对视频进行描述；之后将上述文字描述信息导入预先训练的文字转换模型，得到对应上述文字描述信息的解说文字信息，提高了对视频解说的针对性；最后将上述解说文字信息转换为音频信息。本申请实现了对视频的语音解说，提高了视频的解说效率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的示意图；
图2是根据本申请第二实施例的示意图；
图3是根据本申请第三实施例的示意图；
图4是根据本申请第四实施例的示意图；
图5是用来实现本申请实施例的用于解说视频的方法的电子设备的框图；
图6是适于用来实现本公开的实施例的电子设备结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示出了可以应用本公开的实施例的用于解说视频的方法或用于解说视频的装置的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种视频客户端应用，例如视频播放应用、视频插件应用、视频转换应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且支持视频播放的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如向终端设备101、102、103提供视频服务器。服务器可以对接收到的视频添加解说音频，并将添加解说音频后的视频发送给终端设备。
需要说明的是，本公开的实施例所提供的用于解说视频的方法一般由服务器105执行，相应地，用于解说视频的装置一般设置于服务器105中。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不做具体限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本公开的用于解说视频的方法的一个实施例的流程200。该用于解说视频的方法包括以下步骤：
步骤201，获取待处理视频帧的内容信息。
在本实施例中，用于解说视频的方法的执行主体(例如图1所示的服务器105)可以通过有线连接方式或者无线连接方式获取待处理视频帧。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(UltraWideband)连接、以及其他现在已知或将来开发的无线连接方式。
执行主体可以从网络或其他设备上获取待处理视频帧。其中，待处理视频帧可以是录制完的非视频的视频帧，也可以是实时视频的视频帧。执行主体可以通过多种方式获取待处理视频帧中的内容信息。有利于对待处理视频帧的理解。例如，执行主体可以翻译视频中的音频信息，或将视频中的音频转换为文字信息。对应的，音频信息和文字信息就为内容信息。
步骤202，根据上述内容信息构建文字描述信息。
得到内容信息后，执行主体可以通过自然语言处理等方式，将内容信息构建成文字描述信息。即，上述文字描述信息可以用于描述上述待处理视频帧的内容。如此，实现了通过信息对视频进行描述。
步骤203，将上述文字描述信息导入预先训练的文字转换模型，得到对应上述文字描述信息的解说文字信息。
得到文字描述信息后，执行主体可以将文字描述信息导入预先训练的文字转换模型，得到对应上述文字描述信息的解说文字信息。其中，上述文字转换模型用于将上述文字描述信息转换为解说文字信息，提高了对视频解说的针对性。文字转换模型可以是实现信息转换的现在已知的深度学习网络等智能网络。
步骤204，将上述解说文字信息转换为音频信息。
执行主体可以通过文字转换音频等方法，将解说文字信息转换为音频信息。则音频信息即为待处理视频帧的解说信息。如此，实现了对视频的语音解说，提高了视频的解说效率。
继续参考图3，示出了根据本公开的用于解说视频的方法的一个实施例的流程300。该用于解说视频的方法包括以下步骤：
步骤301，获取待处理视频帧的内容信息。
步骤301的内容与步骤201的内容相同，此处不再一一赘述。
在本实施例的一些可选的实现方式中，上述获取待处理视频帧的内容信息，可以包括：响应于上述待处理视频帧为一个视频帧，对上述待处理视频帧进行图像识别，得到内容信息。
当待处理视频帧为一个视频帧时，执行主体可以对该待处理视频帧进行图像识别，得到对应该待处理视频帧的内容信息。由于待处理视频帧只有一个，且图像识别可以识别出该待处理视频帧内的人物图像、球类图像、动物图像等，进而可以确定该待处理视频帧的内容信息可以是人物信息(例如可以是名字、性别等)、视频类型信息(足球视频、篮球视频、网球视频等)。对于不同的待处理视频帧，对应的内容信息可以不同。即，上述内容信息可以包括以下至少一项：视频类型信息、人物信息。如此，实现了对待处理视频帧的静态信息获取。
在本实施例的一些可选的实现方式中，上述获取待处理视频帧的内容信息，可以包括以下步骤：
第一步，响应于上述待处理视频帧为多个视频帧，对上述待处理视频帧进行图像识别，确定目标图像。
当待处理视频帧为多个视频帧时，不仅可以从待处理视频帧中获取人物信息等静态信息，还可以获取到相关的动态信息。需要说明的是，实际中，执行主体得到的多个连续的视频帧，通常是实时获取的连续的多个视频帧，或历史视频中连续的视频帧。为此，执行主体可以对对上述待处理视频帧进行图像识别，确定目标图像。其中，目标图像可以是人物图像、动物图像等可以运动的物体的图像。
第二步，获取上述目标图像中的每个目标图像在上述待处理视频帧中的运动信息。
确定了目标图像后，执行主体可以获取每个目标图像在待处理视频帧的图像信息，进而确定目标图像的运动信息。如此，实现了对待处理视频帧的动态信息获取。
在本实施例的一些可选的实现方式中，上述获取上述目标图像中的每个目标图像在上述待处理视频帧中的运动信息，可以包括以下步骤：
第一步，为上述目标图像设置标记点，并获取上述标记点在上述待处理视频帧的每个待处理视频帧中的位置信息。
为了获取目标图像的准确运动信息，执行主体可以在目标图像上设置标记点。标记点的数量视实际需要而定。标记点设置在目标图像的特征位置。例如，当目标图像为人物图像时，可以分别在人物图像的手部、脚部等容易体现运动的特征位置设置标记点。设置标记点后，可以获取标记点在待处理视频帧中的位置信息。
第二步，建立上述待处理视频帧的时间信息与上述位置信息之间的对应关系。
每个待处理视频帧都有对应的时间戳，执行主体可以建立待处理视频帧的时间信息与上述位置信息之间的对应关系。以便确定标记点随时间的变化信息。当待处理视频帧没有时间信息时，执行主体还可以根据本地的时间信息，或按照待处理视频帧之间的先后顺序等方式为待处理视频帧设置时间信息。
第三步，按照上述时间信息对应的时间的先后顺序和上述对应关系确定内容信息。
建立了对应关系后，执行主体可以按照时间的先后顺序确定每个标记点随时间的变化信息，进而得到内容信息。此时，上述内容信息可以包括动作信息。此处，当单独获取每个标记点在待处理视频帧的变化信息时，内容信息可以是每个标记点对应的动作信息。当获取的是标记点之间的相对变化信息时，内容信息可以是目标物体的动作信息。如此，实现了对视频的动态解说。
步骤302，根据上述内容信息构建文字描述信息。
步骤302的内容与步骤202的内容相同，此处不再一一赘述。
在本实施例的一些可选的实现方式中，上述根据上述内容信息构建文字描述信息，可以包括以下步骤：
第一步，查询上述内容信息的词性信息。
为了构建文字描述信息，执行主体可以首先查询内容信息的词性信息。上述词性信息可以包括以下至少一项：名词、动词。例如，内容信息可以是：“球员A”、“足球”、“球门内”。则对应的词性信息可以是名词、名词和名词。
第二步，确定上述词性信息对应的句子成分。
确定了词性信息后，执行主体可以进一步确定词性信息的句子成分。其中，上述句子成分可以包括以下至少一项：主语、谓语、宾语等。例如，内容信息可以是：“球员A”、“足球”、“球门内”。对应的词性信息可以是名词、名词和名词。则“球员A”、“足球”、“球门内”都可以作为主语或宾语。根据足球运动的实际情况，执行主体可以将“球员A”作为主语，将“足球”作为宾语，将“球门内”作为补语。
第三步，根据上述句子成分选择句型。
确定了上述句子成分后，执行主体可以根据句子成分选择对应的句型，上述句型可以包括词槽。例如，句型可以是：主语+谓语+宾语+补语。考虑到是足球运动，可以预先确定谓语为“踢”，又因为存在补语“球门内”，则谓语可以是“踢进”。则对应的句型可以是主语+“踢进”+宾语+补语。对应的，该句型中的“主语”、“宾语”和“补语”可以为待填充的词槽。
第四步，将上述内容信息添加至上述句型的词槽得到文字描述信息。
得到句型后，执行主体可以将内容信息添加至对应的词槽，得到文字描述信息。如此，实现了对待处理视频帧的文字描述。
步骤303，查询对应上述文字描述信息的场景类型信息。
文字描述信息可以用于描述上述待处理视频帧的内容。因此，执行主体可以通过文字描述信息来查询待处理视频帧对应的场景类型信息，也可以认为是对应文字描述信息的场景类型信息。其中，上述场景类型信息可以用于表征上述待处理视频帧对应的场景。例如，文字描述信息可以是：“球员A将足球踢给球员B”。执行主体检测到文字描述信息中包含“足球”，并且是“球员A”“踢给”“球员B”，则执行主体确定场景类型信息可以为“足球运动”。对于不同的待处理视频帧，对应的场景类型信息还可以是：“篮球运动”、“网球运动”等。
步骤304，根据上述场景类型信息确定场景句型。
篮球运动中，常用的描述文字可以有“球员A助攻球员B，球员B扣篮”等，足球运动中，常用的描述文字可以有：“球员A左路传中球员B，球员B带球突破射门”等。其中，“球员A助攻球员B，球员B扣篮”可以认为是篮球运动场景下对应的场景句型。“球员A左路传中球员B，球员B带球突破射门”可以认为是足球运动场景下对应的场景句型。即，不同的场景对应不同的场景句型。上述场景句型可以用于对上述场景进行描述。对应的，“助攻”、“扣篮”可以认为是篮球运动场景下的惯用描述词；“左路传中”、“带球突破”、“射门”可以认为是足球运动场景下的惯用描述词，因此，场景句型可以包括对应上述场景的惯用描述词。如此，有利于针对性地对待处理视频帧进行描述。
步骤305，将上述文字描述信息添加至上述场景句型得到解说文字信息。
确定了场景句型后，执行主体可以将文字描述信息添加至上述场景句型得到解说文字信息。需要说明的是，执行主体在将文字描述信息添加至上述场景句型时，可以是挑选文字描述信息中的部分信息、或对文字描述信息中的信息进行转换后得到解说文字的。例如，文字描述信息可以是：“球员A将足球踢给球员B”。对应的足球运动场景的场景句型可以是：“球员A左路传中球员B”。其中，场景句型中的“球员A”和“球员B”可以认为是从文字描述信息中的“球员A”和“球员B”直接添加到场景句型中的。场景句型中的“左路传中”可以认为是对文字描述信息中的“踢给”根据足球运动场景进行同意转换得到的。如此，实现了信息根据场景的转换，能够针对性地对待处理视频帧进行描述。
步骤306，将上述解说文字信息转换为音频信息。
步骤306的内容与步骤204的内容相同，此处不再一一赘述。
进一步参考图4，其示出了用于解说视频的方法的又一个实施例的流程400。该用于解说视频的方法的流程400，包括以下步骤：
步骤401，获取待处理视频帧的内容信息。
步骤401的内容与步骤201的内容相同，此处不再一一赘述。
步骤402，根据上述内容信息构建文字描述信息。
步骤402的内容与步骤202的内容相同，此处不再一一赘述。
步骤403，将上述文字描述信息导入预先训练的文字转换模型，得到对应上述文字描述信息的解说文字信息。
步骤403的内容与步骤203的内容相同，此处不再一一赘述。
步骤404，将上述解说文字信息转换为音频信息。
步骤404的内容与步骤204的内容相同，此处不再一一赘述。
步骤405，建立上述待处理视频帧和上述音频信息的时间匹配关系。
得到音频信息的过程需要一定的时间。为了使得用户在观看待处理视频帧时不出现音频滞后图像的情况，执行主体可以建立待处理视频帧和上述音频信息的时间匹配关系，使得待处理视频帧和上述音频信息能够在时间上同步。如此，提高了视频解说的准确性和有效性。
进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种用于解说视频的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于解说视频的装置500可以包括：内容信息获取单元501、文字描述信息构建单元502、解说文字信息获取单元503和音频转换单元504。其中，内容信息获取单元501，被配置成获取待处理视频帧的内容信息；文字描述信息构建单元502，被配置成根据上述内容信息构建文字描述信息，上述文字描述信息用于描述上述待处理视频帧的内容；解说文字信息获取单元503，被配置成将上述文字描述信息导入预先训练的文字转换模型，得到对应上述文字描述信息的解说文字信息，上述文字转换模型用于将上述文字描述信息转换为解说文字信息；音频转换单元504，被配置成将上述解说文字信息转换为音频信息。
在本实施例的一些可选的实现方式中，上述内容信息获取单元501可以包括：第一内容信息获取子单元(图中未示出)，响应于上述待处理视频帧为一个视频帧，被配置成对上述待处理视频帧进行图像识别，得到内容信息，上述内容信息包括以下至少一项：视频类型信息、人物信息。
在本实施例的一些可选的实现方式中，上述内容信息获取单元501可以包括：目标图像确定子单元(图中未示出)和第二内容信息获取子单元(图中未示出)。其中，目标图像确定子单元，响应于上述待处理视频帧为多个视频帧，被配置成对上述待处理视频帧进行图像识别，确定目标图像；第二内容信息获取子单元，被配置成获取上述目标图像中的每个目标图像在上述待处理视频帧中的运动信息。
在本实施例的一些可选的实现方式中，上述第二内容信息获取子单元可以包括：位置信息获取模块(图中未示出)、对应关系建立模块(图中未示出)和内容信息获取模块(图中未示出)。其中，位置信息获取模块，被配置成为上述目标图像设置标记点，并获取上述标记点在上述待处理视频帧的每个待处理视频帧中的位置信息；对应关系建立模块，被配置成建立上述待处理视频帧的时间信息与上述位置信息之间的对应关系；内容信息获取模块，被配置成按照上述时间信息对应的时间的先后顺序和上述对应关系确定内容信息，上述内容信息包括动作信息。
在本实施例的一些可选的实现方式中，上述文字描述信息构建单元502可以包括：词性查询子单元(图中未示出)、句子成分确定子单元(图中未示出)、句型选择子单元(图中未示出)和文字描述信息获取子单元(图中未示出)。其中，词性查询子单元，被配置成查询上述内容信息的词性信息，上述词性信息包括以下至少一项：名词、动词；句子成分确定子单元，被配置成确定上述词性信息对应的句子成分，上述句子成分包括以下至少一项：主语、谓语、宾语；句型选择子单元，被配置成根据上述句子成分选择句型，上述句型包括词槽；文字描述信息获取子单元，被配置成将上述内容信息添加至上述句型的词槽得到文字描述信息。
在本实施例的一些可选的实现方式中，上述解说文字信息获取单元503可以包括：场景类型信息查询子单元(图中未示出)、场景句型确定子单元(图中未示出)和解说文字信息获取子单元(图中未示出)。其中，场景类型信息查询子单元，被配置成查询对应上述文字描述信息的场景类型信息，上述场景类型信息用于表征上述待处理视频帧对应的场景；场景句型确定子单元，被配置成根据上述场景类型信息确定场景句型，上述场景句型用于对上述场景进行描述，包括对应上述场景的惯用描述词；解说文字信息获取子单元，被配置成将上述文字描述信息添加至上述场景句型得到解说文字信息。
在本实施例的一些可选的实现方式中，上述用于解说视频的装置500还包括：时间匹配关系建立单元(图中未示出)，被配置成建立上述待处理视频帧和上述音频信息的时间匹配关系。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图6所示，是根据本申请实施例的用于解说视频的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，上述存储器存储有可由至少一个处理器执行的指令，以使上述至少一个处理器执行本申请所提供的用于解说视频的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用于解说视频的方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的用于解说视频的方法对应的程序指令/模块(例如，附图5所示的内容信息获取单元501、文字描述信息构建单元502、解说文字信息获取单元503和音频转换单元504)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于解说视频的方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用于解说视频的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至用于解说视频的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用于解说视频的方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与用于解说视频的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，首先获取待处理视频帧的内容信息，有利于对待处理视频帧的理解；然后根据上述内容信息构建文字描述信息，实现了通过信息对视频进行描述；之后将上述文字描述信息导入预先训练的文字转换模型，得到对应上述文字描述信息的解说文字信息，提高了对视频解说的针对性；最后将上述解说文字信息转换为音频信息。本申请实现了对视频的语音解说，提高了视频的解说效率。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种用于解说视频的方法，包括：
获取待处理视频帧的内容信息；
根据所述内容信息构建文字描述信息，所述文字描述信息用于描述所述待处理视频帧的内容；
将所述文字描述信息导入预先训练的文字转换模型，得到对应所述文字描述信息的解说文字信息，所述文字转换模型用于将所述文字描述信息转换为解说文字信息；
将所述解说文字信息转换为音频信息；
其中，所述根据所述内容信息构建文字描述信息，包括：
查询所述内容信息的词性信息，所述词性信息包括以下至少一项：名词、动词；
确定所述词性信息对应的句子成分，所述句子成分包括以下至少一项：主语、谓语、宾语；
根据所述句子成分选择句型，所述句型包括词槽；
将所述内容信息添加至所述句型的词槽得到文字描述信息。
2.根据权利要求1所述的方法，其中，所述获取待处理视频帧的内容信息，包括：
响应于所述待处理视频帧为一个视频帧，对所述待处理视频帧进行图像识别，得到内容信息，所述内容信息包括以下至少一项：视频类型信息、人物信息。
3.根据权利要求1所述的方法，其中，所述获取待处理视频帧的内容信息，包括：
响应于所述待处理视频帧为多个视频帧，对所述待处理视频帧进行图像识别，确定目标图像；
获取所述目标图像中的每个目标图像在所述待处理视频帧中的运动信息。
4.根据权利要求3所述的方法，其中，所述获取所述目标图像中的每个目标图像在所述待处理视频帧中的运动信息，包括：
为所述目标图像设置标记点，并获取所述标记点在所述待处理视频帧的每个待处理视频帧中的位置信息；
建立所述待处理视频帧的时间信息与所述位置信息之间的对应关系；
按照所述时间信息对应的时间的先后顺序和所述对应关系确定内容信息，所述内容信息包括动作信息。
5.根据权利要求1所述的方法，其中，所述将所述文字描述信息导入预先训练的文字转换模型，得到对应所述文字描述信息的解说文字信息，包括：
查询对应所述文字描述信息的场景类型信息，所述场景类型信息用于表征所述待处理视频帧对应的场景；
根据所述场景类型信息确定场景句型，所述场景句型用于对所述场景进行描述，包括对应所述场景的惯用描述词；
将所述文字描述信息添加至所述场景句型得到解说文字信息。
6.根据权利要求1所述的方法，其中，所述方法还包括：
建立所述待处理视频帧和所述音频信息的时间匹配关系。
7.一种用于解说视频的装置，包括：
内容信息获取单元，被配置成获取待处理视频帧的内容信息；
文字描述信息构建单元，被配置成根据所述内容信息构建文字描述信息，所述文字描述信息用于描述所述待处理视频帧的内容；
解说文字信息获取单元，被配置成将所述文字描述信息导入预先训练的文字转换模型，得到对应所述文字描述信息的解说文字信息，所述文字转换模型用于将所述文字描述信息转换为解说文字信息；
音频转换单元，被配置成将所述解说文字信息转换为音频信息；
其中，所述文字描述信息构建单元包括：
词性查询子单元，被配置成查询所述内容信息的词性信息，所述词性信息包括以下至少一项：名词、动词；
句子成分确定子单元，被配置成确定所述词性信息对应的句子成分，所述句子成分包括以下至少一项：主语、谓语、宾语；
句型选择子单元，被配置成根据所述句子成分选择句型，所述句型包括词槽；
文字描述信息获取子单元，被配置成将所述内容信息添加至所述句型的词槽得到文字描述信息。
8.根据权利要求7所述的装置，其中，所述内容信息获取单元包括：
第一内容信息获取子单元，响应于所述待处理视频帧为一个视频帧，被配置成对所述待处理视频帧进行图像识别，得到内容信息，所述内容信息包括以下至少一项：视频类型信息、人物信息。
9.根据权利要求7所述的装置，其中，所述内容信息获取单元包括：
目标图像确定子单元，响应于所述待处理视频帧为多个视频帧，被配置成对所述待处理视频帧进行图像识别，确定目标图像；
第二内容信息获取子单元，被配置成获取所述目标图像中的每个目标图像在所述待处理视频帧中的运动信息。
10.根据权利要求9所述的装置，其中，所述第二内容信息获取子单元包括：
位置信息获取模块，被配置成为所述目标图像设置标记点，并获取所述标记点在所述待处理视频帧的每个待处理视频帧中的位置信息；
对应关系建立模块，被配置成建立所述待处理视频帧的时间信息与所述位置信息之间的对应关系；
内容信息获取模块，被配置成按照所述时间信息对应的时间的先后顺序和所述对应关系确定内容信息，所述内容信息包括动作信息。
11.根据权利要求7所述的装置，其中，所述解说文字信息获取单元包括：
场景类型信息查询子单元，被配置成查询对应所述文字描述信息的场景类型信息，所述场景类型信息用于表征所述待处理视频帧对应的场景；
场景句型确定子单元，被配置成根据所述场景类型信息确定场景句型，所述场景句型用于对所述场景进行描述，包括对应所述场景的惯用描述词；
解说文字信息获取子单元，被配置成将所述文字描述信息添加至所述场景句型得到解说文字信息。
12.根据权利要求7所述的装置，其中，所述装置还包括：
时间匹配关系建立单元，被配置成建立所述待处理视频帧和所述音频信息的时间匹配关系。
13.一种电子设备，包括：
一个或多个处理器；
存储器，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行权利要求1至6中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一所述的方法。
CN202010414326.4A 2020-05-15 2020-05-15 用于解说视频的方法及装置 Active CN111538862B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010414326.4A CN111538862B (zh) 2020-05-15 2020-05-15 用于解说视频的方法及装置
US17/117,018 US11367284B2 (en) 2020-05-15 2020-12-09 Method and apparatus for commenting video
KR1020210034325A KR102556567B1 (ko) 2020-05-15 2021-03-16 비디오 해설 방법 및 장치
JP2021051811A JP7280908B2 (ja) 2020-05-15 2021-03-25 ビデオを解説するための方法及び装置
EP21165956.0A EP3852383A3 (en) 2020-05-15 2021-03-30 Method and apparatus for commenting video, electronic device, storage medium and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010414326.4A CN111538862B (zh) 2020-05-15 2020-05-15 用于解说视频的方法及装置

Publications (2)

Publication Number Publication Date
CN111538862A CN111538862A (zh) 2020-08-14
CN111538862B true CN111538862B (zh) 2023-06-20

Family

ID=71979384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010414326.4A Active CN111538862B (zh) 2020-05-15 2020-05-15 用于解说视频的方法及装置

Country Status (5)

Country Link
US (1) US11367284B2 (zh)
EP (1) EP3852383A3 (zh)
JP (1) JP7280908B2 (zh)
KR (1) KR102556567B1 (zh)
CN (1) CN111538862B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113766295A (zh) * 2021-04-16 2021-12-07 腾讯科技（深圳）有限公司 一种播放处理方法、装置、设备及存储介质
CN113225615B (zh) * 2021-04-20 2023-08-08 深圳市九洲电器有限公司 电视节目播放方法、终端设备、服务器以及存储介质
CN113517004B (zh) * 2021-06-16 2023-02-28 深圳市中金岭南有色金属股份有限公司凡口铅锌矿 视频生成方法、装置、终端设备及介质
CN113613065B (zh) * 2021-08-02 2022-09-09 北京百度网讯科技有限公司 视频编辑方法、装置、电子设备以及存储介质
CN114329068B (zh) * 2021-08-11 2024-05-31 腾讯科技（深圳）有限公司 一种数据处理方法及装置、电子设备、存储介质
CN114201622B (zh) * 2021-12-13 2023-03-24 北京百度网讯科技有限公司 获取事件信息的方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1206912A (zh) * 1997-07-03 1999-02-03 松下电器产业株式会社 处理节目信息的系统
CN102572443A (zh) * 2010-09-30 2012-07-11 苹果公司 用于在图像信号处理系统中同步音频和视频数据的技术
CN107239801A (zh) * 2017-06-28 2017-10-10 安徽大学 视频属性表示学习方法及视频文字描述自动生成方法
CN107590252A (zh) * 2017-09-19 2018-01-16 百度在线网络技术（北京）有限公司 用于信息交互的方法及装置
CN107967312A (zh) * 2017-11-21 2018-04-27 广州阿里巴巴文学信息技术有限公司 解说自动生成方法、装置和终端设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132550A (ja) * 1998-10-26 2000-05-12 Matsushita Electric Ind Co Ltd 機械翻訳のための中国語生成装置
JP2009201014A (ja) * 2008-02-25 2009-09-03 Sogo Keibi Hosho Co Ltd 要約文作成装置及び要約文作成方法
CN101777043A (zh) * 2009-01-14 2010-07-14 北京思在信息技术有限责任公司 一种文字转换方法及装置
CN102110399B (zh) * 2011-02-28 2016-08-24 北京中星微电子有限公司 一种辅助解说的方法、装置及其系统
KR101627402B1 (ko) * 2014-03-26 2016-06-03 포항공과대학교 산학협력단 자연어를 점진적으로 분석하는 장치와 이를 이용한 적응적인 응답 장치 및 방법
US9451335B2 (en) 2014-04-29 2016-09-20 At&T Intellectual Property I, Lp Method and apparatus for augmenting media content
CA3005479A1 (en) * 2015-11-20 2017-05-26 Genetec Inc. Media streaming
US20170316256A1 (en) * 2016-04-29 2017-11-02 Google Inc. Automatic animation triggering from video
US10341744B2 (en) * 2016-06-30 2019-07-02 Nbcuniversal Media, Llc System and method for controlling related video content based on domain specific language models
US10321193B2 (en) * 2016-09-02 2019-06-11 Google Llc Sharing a user-selected video in a group communication
US10607463B2 (en) 2016-12-09 2020-03-31 The Boeing Company Automated object and activity tracking in a live video feed
JP6824399B2 (ja) 2017-05-24 2021-02-03 日本放送協会 音声ガイド生成装置、音声ガイド生成方法及び放送システム
CN110491365A (zh) * 2018-05-10 2019-11-22 微软技术许可有限责任公司 为纯文本文档生成音频
EP3937030A1 (en) * 2018-08-07 2022-01-12 Google LLC Assembling and evaluating automated assistant responses for privacy concerns
CN110826361A (zh) * 2018-08-09 2020-02-21 北京优酷科技有限公司 体育比赛的解说方法及装置
CN110444056A (zh) * 2019-08-15 2019-11-12 湖北纽云教育科技发展有限公司 一种英语对话系统的使用方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1206912A (zh) * 1997-07-03 1999-02-03 松下电器产业株式会社 处理节目信息的系统
CN102572443A (zh) * 2010-09-30 2012-07-11 苹果公司 用于在图像信号处理系统中同步音频和视频数据的技术
CN107239801A (zh) * 2017-06-28 2017-10-10 安徽大学 视频属性表示学习方法及视频文字描述自动生成方法
CN107590252A (zh) * 2017-09-19 2018-01-16 百度在线网络技术（北京）有限公司 用于信息交互的方法及装置
CN107967312A (zh) * 2017-11-21 2018-04-27 广州阿里巴巴文学信息技术有限公司 解说自动生成方法、装置和终端设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Automatic Curation of Sports Highlights Using Multimodal Excitement Features;Michele Merler;IEEE Transactions on Multimedia;第21卷(第9期);全文 *
基于多模态融合的足球视频语义分析;张玉珍等;基于多模态融合的足球视频语义分(第7期);全文 *
足球比赛场景的三维再现和自动解说;杜威;计算机辅助设计与图形学学报;第14卷(第9期);全文 *

Also Published As

Publication number Publication date
JP2021192503A (ja) 2021-12-16
US20210357653A1 (en) 2021-11-18
JP7280908B2 (ja) 2023-05-24
KR20210036882A (ko) 2021-04-05
KR102556567B1 (ko) 2023-07-18
US11367284B2 (en) 2022-06-21
CN111538862A (zh) 2020-08-14
EP3852383A2 (en) 2021-07-21
EP3852383A3 (en) 2021-10-20

Similar Documents

Publication Publication Date Title
CN111538862B (zh) 用于解说视频的方法及装置
JP7341189B2 (ja) 生放送の特殊効果処理方法、装置及びサーバ
CN112131988B (zh) 确定虚拟人物唇形的方法、装置、设备和计算机存储介质
JP7317879B2 (ja) 映像を認識するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
EP3920088A1 (en) Method and apparatus for generating tag of video, electronic device, and storage medium
CN111935537A (zh) 音乐短片视频生成方法、装置、电子设备和存储介质
JP6986187B2 (ja) 人物識別方法、装置、電子デバイス、記憶媒体、及びプログラム
CN111695698B (zh) 用于模型蒸馏的方法、装置、电子设备及可读存储介质
CN111709362B (zh) 用于确定重点学习内容的方法、装置、设备及存储介质
CN111654746A (zh) 视频的插帧方法、装置、电子设备和存储介质
CN111582477B (zh) 神经网络模型的训练方法和装置
JP7200277B2 (ja) ワードスロットを識別するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
CN111695519B (zh) 关键点定位方法、装置、设备以及存储介质
CN111680600B (zh) 人脸识别模型处理方法、装置、设备和存储介质
CN111680597A (zh) 人脸识别模型处理方法、装置、设备和存储介质
CN111669647B (zh) 实时视频的处理方法、装置、设备及存储介质
CN111949820B (zh) 视频关联兴趣点的处理方法、装置及电子设备
CN116403285A (zh) 动作识别方法、装置、电子设备以及存储介质
US20230004593A1 (en) Method for sorting video bullet-screen comments, server, and storage medium
CN112685592B (zh) 生成运动视频配乐的方法和装置
CN111291205B (zh) 知识图谱构建方法、装置、设备和介质
CN111708674A (zh) 用于确定重点学习内容的方法、装置、设备及存储介质
CN111862250A (zh) 视频的色彩转换方法、装置、电子设备及存储介质
CN111652344A (zh) 用于呈现信息的方法和装置
CN111901668A (zh) 视频播放方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant