CN113096687B - 音视频处理方法、装置、计算机设备及存储介质 - Google Patents

音视频处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113096687B
CN113096687B CN202110341663.XA CN202110341663A CN113096687B CN 113096687 B CN113096687 B CN 113096687B CN 202110341663 A CN202110341663 A CN 202110341663A CN 113096687 B CN113096687 B CN 113096687B
Authority
CN
China
Prior art keywords
audio
text
video
nodes
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110341663.XA
Other languages
English (en)
Other versions
CN113096687A (zh
Inventor
万聪
丁诗璟
沈文俊
高明
胡德清
余刚
赵琴
刘维安
袁园
欧阳明
李亮
李金灵
沈冰华
姚琛
谢传聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202110341663.XA priority Critical patent/CN113096687B/zh
Publication of CN113096687A publication Critical patent/CN113096687A/zh
Application granted granted Critical
Publication of CN113096687B publication Critical patent/CN113096687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/12—Speech classification or search using dynamic programming techniques, e.g. dynamic time warping [DTW]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142—Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Abstract

本发明实施例公开了一种音视频处理方法、装置、计算机设备及存储介质。本发明实施例涉及人工智能领域，所述方法包括：从音视频中提取至少一个类型的数据；根据各所述类型的数据，在所述音视频中确定至少一组划分节点，并确定所述音视频的目标节点；在所述音视频中标注各所述目标节点，并为各所述目标节点添加文本描述内容。本发明实施例可以提高音视频处理效率。

Description

音视频处理方法、装置、计算机设备及存储介质
技术领域
本发明实施例涉及人工智能领域领域，尤其涉及一种音视频处理方法、装置、计算机设备及存储介质。
背景技术
对音视频数据进行分析，可以实现对音视频中特定类型事件的识别，识别到的事件对后续处理流程具有着重要意义。
目前，人工对音视频进行浏览和记录划分的时间点，将音视频按照事件进行划分。
上述方式需要人工操作，导致效率低下。
发明内容
本发明实施例提供一种音视频处理方法、装置、计算机设备及存储介质，可以提高音视频处理效率。
第一方面，本发明实施例提供了一种音视频处理方法，包括：
从音视频中提取至少一个类型的数据；
根据各所述类型的数据，在所述音视频中确定至少一组划分节点，并确定所述音视频的目标节点；
在所述音视频中标注各所述目标节点，并为各所述目标节点添加文本描述内容。
第二方面，本发明实施例还提供了一种音视频处理装置，包括：
音视频降维模块，用于从音视频中提取至少一个类型的数据；
节点确定模块，用于根据各所述类型的数据，在所述音视频中确定至少一组划分节点，并确定所述音视频的目标节点；
音视频标注模块，用于在所述音视频中标注各所述目标节点，并为各所述目标节点添加文本描述内容。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序所述处理器执行所述程序时实现如本发明实施例中任一所述的音视频处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的音视频处理方法。
本发明实施例通过从音视频中提取多个类型的数据，并分别确定对应划分节点，并融合至少一个类型对应的划分节点，确定目标节点，最终在音视频中标注目标节点，可以在音视频中划分特定事件，解决了现有技术中人工划分音视频效率低下的问题，可以提高音视频处理效率，提高音视频划分的准确率。
附图说明
图1是本发明实施例一中的一种音视频处理方法的流程图；
图2a是本发明实施例二中的一种音视频处理方法的流程图；
图2b是本发明实施例二中的一种音视频处理方法的流程图；
图3是本发明实施例三中的一种音视频处理装置的结构示意图；
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中的一种音视频处理方法的流程图的示意图，本实施例可适用于在区块链中存储标识音视频数据的标识信息的情况，该方法可以由本发明实施例提供的音视频处理装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成计算机设备中。如图1所示，本实施例的方法具体包括：
S110，从音视频中提取至少一个类型的数据。
音视频是一种多媒体数据，可以提取多种类型的数据。示例性的，音视频可以提取出音频数据、文本数据和图像数据。可选的，音视频为多个事件的录制音视频，示例性的，所述音视频为金融授信审批会议音视频，所述金融授信审批会议视频包括多个项目的金融授信审批会议。每个项目的金融授信审批会议可以作为一个事件。将音视频添加节点，划分为多个事件，便于快速找到任意一个项目的金融审批会议，便于后续处理或取证等。
可选的，所述从音视频中提取至少一个类型的数据，包括下述至少一项：获取所述音视频中音频数据，并进行语音识别，得到文本数据，所述文本数据标注有时间信息；采用设定时间间隔，对所述音视频进行图像采集，得到多个图像。
其中，音视频可以是指音视频文件。可以直接从音视频文件中提取音频数据。音频数据标注有时间信息。对音频数据进行语音识别，得到对应的文本数据。其中，语音识别方法可以包括基于动态时间规整的算法、基于参数模型的隐马尔可夫模型的算法、基于非参数模型的矢量量化的算法和神经网络模型算法等。可以对应音频数据的时间信息，为文本数据标注时间信息。具体的，文本数据包括至少一个语句，可以为语句标注起始时间信息和/或结束时间信息。
按照设定时间间隔对音视频进行采样，得到至少一个图像。设定时间间隔用于在音视频中确定图像，设定时间间隔可以根据需要进行设定，例如，设定时间间隔为0.2秒。音视频配置有时间轴，图像在音视频的时间轴上对应的时间点，确定为图像的时间信息。
通过从音视频中提取音频，并进行语音识别，获取文本数据，从而确定音视频中的文本数据，并且从音视频中采样得到图像，从而确定音视频中的图像数据，增加处理过程中数据类型的多样性，从而增加音视频处理的准确率。
此外，还可以直接从音视频中提取音频，得到音频数据，并根据音频数据，确定至少一组划分节点。
S120，根据各所述类型的数据，在所述音视频中确定至少一组划分节点，并确定所述音视频的目标节点。
各类型的数据可以分别确定至少一组划分节点。实现针对多个维度信息，对音视频进行划分，可以提高音视频划分的准确率。同时根据各组划分节点，确定音视频的目标节点，实际是综合考虑多个划分结果，进行融合，得到音视频的最终划分的节点，可以准确提高音视频划分的准确率。
可选的，所述在所述音视频中确定至少一组划分节点，包括：获取文本数据；将所述文本数据输入到预先训练的句类别检测模型中，确定所述文本数据中各语句的类型，所述语句的类型包括起始句、结束句和中间句；根据各所述语句的类型，在所述文本数据中确定句节点；获取所述文本数据的时间信息，并确定各所述句节点对应的时间节点，并作为第一组划分节点。
从音视频中提取的至少一个类型的数据包括文本数据。文本数据中包括至少一个语句。句类别检测模型用于检测语句的类型，语句的类型用于描述语句与音视频包括的每个事件的关系，也即语句的类型可以是指语句位于任意一个事件的位置的类型。起始句表明该语句位于一个事件的起始位置，起始句代表一个事件的起点；结束句表明该语句位于一个事件的结束位置，结束句代表一个事件的终点。中间句表明该语句位于一个事件的除起始位置和结束位置之外的位置。
可以理解的是，起始句之前存在节点和结束句之后存在节点。句节点可以是指起始句之前的节点或结束句之后的节点。根据各语句的类型，在文本数据中确定句节点，可以是指，将起始句首个文字与相邻句末尾文字之间的节点，确定为句节点；或者，将结束句末尾文字与相邻句首个文字之间的节点，确定为句节点。文本数据标注有时间信息，可以将句节点映射到时间信息中，确定各句节点对应的时间节点，确定为第一组划分节点。第一组划分节点用于区分不同事件，示例性的，第一组划分节点用于区分不同项目，第一组划分节点可以是指项目切分点。
通过在文本数据中确定各语句的类型，并根据语句的类型，确定事件的起点和终点，从而在音视频数据中确定时间节点，并作为第一组划分节点，可以从文本维度识别音视频数据的事件节点，提高事件划分的准确率。
可选的，在将所述文本数据输入到预先训练的句类别检测模型中之前，还包括：获取文本样本，所述文本样本标注有至少一个项目的起始句、结束句和中间句；采用所述文本样本对深度学习模型进行训练，得到句类别检测模型。
文本样本标注有至少一个项目的内容，每个项目内容包括起始句、结束句和中间句。深度学习模型可以包括来自转变的双向编码器表示(BidirectionalEncoderRepresentations from Transformers，BERT)模型和/或条件随机场模型(ConditionalRandom Field algorithm，CRF)等。可选的，可以针对项目会议的应用场景，收集包括多个项目内容的文本样本，并进行句类型标注，而得到文本样本。
通过预先训练深度学习模型，得到句类别检测模型，可以提高句类别的检测准确率，从而提高音视频数据中事件划分的准确率。
可选的，在所述文本数据中确定句节点之后，还包括：根据各所述句节点，将所述文本数据划分为文本片段；获取至少一个项目的元数据；分别计算各所述文本片段与各所述项目的元数据之间的相似值，并确定各所述文本片段匹配的项目。
文本片段可以是指属于一个事件的文本数据。示例性的，文本片段为属于同一个项目的文本数据。句节点用于区分不同项目的文本数据，此时未建立句节点之间的文本内容与项目之间的对应关系。每个项目的内容不同，可以根据文本片段中文本内容，确定每个文本片段对应的项目。项目的元数据用于描述项目的内容，项目的元数据可以是指项目内容关联的数据，可以包括文本和图像等数据。
可以计算每个文本片段与任意一个项目的元数据之间的相似值，并在确定文本片段与目标项目的元数据匹配的情况下，确定目标项目为该文本片段匹配的项目。相似值可以通过自然语言处理方法计算，示例性的，可以通过文本距离算法、预先训练的相似值计算模型和词频-逆文档频率算法(TermFrequency-Inverse Document Frequency，TF-IDF)等。或者，还可以在从文本片段中提取关键信息，关键信息用于描述文本片段的文本内容。计算文本片段包括的关键信息与项目之间的元数据之间的相似值。
在文本片段与每个项目的源数据的相似值中，可以将相似值最高的项目确定为该文本片段匹配的项目。在存在至少两个目标文本片段匹配的项目相同的情况下，可以根据将相似值最高的目标文本片段，确定与该项目匹配。此外，根据需要还可以存在其他情况，对此不作具体限制。
通过计算文本片段与项目元数据的相似值，确定文本片段匹配的项目，提高事件识别准确率。
可选的，所述为所述目标节点添加文本描述内容，包括：获取当前目标节点与下一时序相邻的目标节点之间的文本片段，作为所述当前目标节点的关联文本片段；将所述关联文本片段匹配的项目，以及所述匹配的项目的元数据，确定为所述当前目标节点的文本描述内容，并在所述当前目标节点中进行标注。
当前目标节点与下一时序相邻的目标节点，是指时序相邻的两个目标节点。当前目标节点与下一时序相邻的目标节点之间的文本片段，用于描述当前目标节点与下一时序相邻的目标节点之间的音视频描述的内容。文本片段关联的项目可以作为当前目标节点与下一时序相邻的目标节点之间的音视频描述的内容。由此可以将项目和项目的元数据作为当前目标节点的文本描述内容，标注到当前目标节点中，快速了解当前目标节点与下一时序相邻的目标节点之间的音视频描述的摘要内容。
此外，还可以对当前目标节点与下一时序相邻的目标节点之间的文本片段，进行摘要提取，将得到的摘要内容，作为当前目标节点的文本描述内容，标注到当前目标节点中。
其中，标注到当前目标节点中是指，在当前目标节点中添加标注信息，便于用户快速了解内容。
通过将文本片段匹配的项目以及项目的元数据，作为当前目标节点的文本描述内容，添加到当前目标节点中，可以为目标节点添加信息，便于用户快速了解目标节点之后的音视频描述的内容，提高视频中事件查询效率，便于视频后续处理。
可选的，所述元数据包括下述至少一项：支行名称、授信申请的公司名称、授信类型、授信金额、地名和审批人名称。
授信是指商业银行向非金融机构用户直接提供的资金，或者对用户在有关经济活动中可能产生的赔偿和支付责任做出的保证。其中，授信可以划分为表内授信(贷款或贴现)及表外授信(承兑或保证等)。在授信会议的应用场景下，存在多个授信项目。支行名称可以是指商业银行的标识信息，授信申请的公司名称可以是指非金融机构用户的标识信息；授信类型可以是指授信业务。授信金额可以是指授信业务的资金数额；地名可以是指授信会议应用场景的地理位置；审批人名称可以是指授信会议应用场景中的参会人员。
通过配置元数据包括的参数内容，可以准确描述项目，以准确计算文本片段与项目元数据的相似值，从而提高项目和文本片段的匹配准确率。
可选的，所述音视频处理方法，还包括：根据各所述句节点，将所述文本数据划分为文本片段；将各所述文本片段输入到预先训练的内容分类模型中，分别对所述文本片段进行划分，获取各所述文本片段对应的文本单元；在各所述文本片段中，根据所述文本片段包括的文本单元，确定段落节点；获取所述文本数据的时间信息，并确定各所述段落节点对应的时间节点，并作为第二组划分节点。
内容分类模型用于将内容相似的文本数据确定为一个文本单元。内容分类模型用于对文本进行内容聚类，形成至少一个文本单元，一个文本单元的内容属于同一个主题。文本单元为文本片段细分形成的文本数据。一个文本片段对应一个项目，在文本片段中根据文本内容进行聚类，可以将文本片段划分为多个文本单元，每个文本单元用于描述项目的一个流程阶段。示例性的，项目的流程阶段包括：项目基本情况介绍阶段、风险评估阶段、关注要点阶段和讨论结果阶段等。内容分类模型通过训练深度学习模型得到，示例性的，深度学习模型为长短期记忆人工神经网络(Long-Short Term Memory，LSTM)模型。训练样本可以是项目记录文本，并标注文本单元形成的样本。根据文本单元，确定段落节点，可以是将文本单元首个文字与相邻文本单元末尾文字之间的节点，确定为段落节点；或者，将文本单元末尾文字与相邻文本单元首个文字之间的节点，确定为段落节点。文本数据标注有时间信息，可以将段落节点映射到时间信息中，确定各段落节点对应的时间节点，确定为第二组划分节点。第二组划分节点用于区分同一事件中的不同阶段，示例性的，第二组划分节点用于区分不同主题，第二组划分节点可以是指项目的流程阶段切分点。
通过在文本数据划分的到的文本片段的基础上进一步划分得到文本单元，并根据文本单元，确定事件中不同主题的起点和终点，从而在音视频数据中确定时间节点，并作为第二组划分节点，可以从文本的语义维度识别音视频数据的事件节点，提高事件划分的准确率，灵活控制划分粒度，适应多样性的音视频的事件划分需求。
可选的，所述在所述音视频中确定至少一组划分节点，包括：获取多个图像；根据各所述图像的时间顺序，确定多对顺序相邻的图像；针对每对顺序相邻图像，计算两个图像的相似值；根据每对所述顺序相邻图像的相似值，确定差别顺序相邻图像；根据各所述差别顺序相邻图像中包括的各图像在所述音视频中的时间点，确定第三组划分节点。
图像的时间顺序，是指在音视频中时间轴上的次序。一对顺序相邻的图像，可以是指在时间轴上相邻的两个图像。两个图像之间的相似值可以通过直方图算法、尺度不变特征转换(Scale-Invariant Feature Transform，SIFT)算法或预先训练的深度学习模型(如卷积神经网络)计算。差别顺序相邻图像表明该对顺序相邻图像的差异较大，表明视频背景发生了突变，通常这可以理解为是一个事件的转折点，例如开始或结束等。示例性的，在顺序相邻图像的相似值低于设定阈值的情况下，确定该对顺序相邻图像为差别顺序相邻图像。差别顺序相邻图像中包括的各图像在音视频中的时间点，可以是指，根据差别顺序相邻图像中包括的两个图像在音视频中的时间点，在该音视频中确定目标时间范围，并在该时间范围选择一个时间点确定为第三组划分节点。其中，在该时间范围选择一个时间，可以是在时间范围内选择关键点，例如，起始点、结束点或中点等。
通过在视频数据中采集多个图像，并根据相邻两个图像之间的相似值，确定图像突变的两个图像在视频中的时间点，并确定第三组划分节点，可以从图像维度识别音视频数据的事件节点，提高事件划分的准确率。
可选的，所述确定所述音视频的目标节点，包括：将至少一组划分节点，输入到预先训练的结果融合模型中，获取所述结果融合模型输出的目标节点。
结果融合模型用于综合不同维度下，确定的划分节点，得到目标节点。结果融合模型可以理解为对不同维度配置合理的权重，按照不同权重统计划分节点的结果，最终确定准确的目标节点。结果融合模型可以是预先训练的深度学习模型(如卷积神经网络模型)。
通过结果融合模型，可以综合多维信息下的划分结果，得到最终划分结果，提高音视频的事件划分准确率。
可选的，在将至少一组划分节点，输入到预先训练的结果融合模型中之前，还包括：获取节点样本，所述节点样本包括第一组划分节点、第二组划分节点、第三组划分节点和目标节点；采用所述节点样本对深度学习模型进行训练，得到结果融合模型。
可以预先对音视频进行节点划分，并通过前述方法得到第一组划分节点、第二组划分节点和第三组划分节点。并由人工在音视频中确定目标节点，并标注。将标注有第一组划分节点、第二组划分节点、第三组划分节点和目标节点的音视频，确定为节点样本，用于训练得到结果融合模型。
通过训练结果融合模型，提高结果融合的准确率，从而提高音视频的事件划分准确率。
S130，在所述音视频中标注各所述目标节点，并为各所述目标节点添加文本描述内容。
在音视频中标注目标节点，用于对音视频按照特定事件进行区分，两个相邻目标节点之间的音视频取件的内容属于同一事件，可以为后续分析操作提供音视频信息，以使用户快速定位到特定事件的音视频，提高音视频浏览和分析效率。
文本描述内容用于描述当前目标节点到下一个相邻目标节点之间的文本的内容。示例性的，可以获取当前目标节点到下一个相邻目标节点，并输入到预先训练的文本摘要生成模型中，得到摘要内容，确定为当前目标节点对应的文本描述内容，其中，文本摘要生成模型可以是序列到序列模型。或者可以直接将当前目标节点到下一个相邻目标节点之间的文本对应的项目和项目元数据确定为文本描述内容。
通过为目标节点添加文本描述内容，丰富音视频的内容，增加音视频划分节点的应用场景。
本发明实施例通过从音视频中提取多个类型的数据，并分别确定对应划分节点，并融合至少一个类型对应的划分节点，确定目标节点，最终在音视频中标注目标节点，可以在音视频中划分特定事件，解决了现有技术中人工划分音视频效率低下的问题，可以提高音视频处理效率，提高音视频划分的准确率。
实施例二
图2a-图2b为本发明实施例二中的一种音视频处理方法的流程图，本实施例以上述实施例为基础进行具体化。本实施例的方法具体包括：
S201，获取所述音视频中音频数据，并进行语音识别，得到文本数据，所述文本数据标注有时间信息。
将音视频转换为音频，最终转换为文字(带时间轴)。
本发明实施例未详尽的描述可以参考前述实施例。
S202，采用设定时间间隔，对所述音视频进行图像采集，得到多个图像。
将音视频转换为图像。
现有的音视频信息维度高、处理慢和占用资源多，另外授信审批的音视频图像信息主要是单调的会议室切换以及发言人切换，不足以进行项目切分。本发明实施例通过多维度信息，分别进行项目切分，并融合每个维度下的切分结果，可以准确获取切分结果，并且，对音视频分别降维成文本和图像，并进行后续处理，提高视频处理效率。
S203，将所述文本数据输入到预先训练的句类别检测模型中，确定所述文本数据中各语句的类型，所述语句的类型包括起始句、结束句和中间句。
可以收集大量的历史数据，并对语句进行标注，项目开头(起始句)、项目结尾(结束句)和其他(中间句)等。依据语句的文字内容和时间轴信息，训练深度学习模型。其中文本数据包括分词、词嵌入(词向量化)和语句(矩阵)，模型输出结果为语句类型。通过构建模型的误差函数，并迭代训练，逐步减小误差值，得到训练完成的句类别检测模型。
S204，根据各所述语句的类型，在所述文本数据中确定句节点。
S205，获取所述文本数据的时间信息，并确定各所述句节点对应的时间节点，并作为第一组划分节点。
S206，根据各所述句节点，将所述文本数据划分为文本片段。
S207，将各所述文本片段输入到预先训练的内容分类模型中，分别对所述文本片段进行划分，获取各所述文本片段对应的文本单元。执行S208。
S208，在各所述文本片段中，根据所述文本片段包括的文本单元，确定段落节点。
S209，获取所述文本数据的时间信息，并确定各所述段落节点对应的时间节点，并作为第二组划分节点。
统计大量的历史数据，获取线上会议计划表元数据，元数据与音视频中项目的关系是多对多，即一个会议计划可能有多个音视频拼接成，另外一个会议音视频可能内涵多个会议计划。线上会议计划表元数据包括多个项目的元数据，一个项目的元数据与项目的关系是一对一。结合文本片段的关键信息和项目的元数据，进行文本片段的内容聚类。
S210，根据各所述图像的时间顺序，确定多对顺序相邻的图像。
S211，针对每对顺序相邻图像，计算两个图像的相似值。
S212，根据每对所述顺序相邻图像的相似值，确定差别顺序相邻图像。
S213，根据各所述差别顺序相邻图像中包括的各图像在所述音视频中的时间点，确定第三组划分节点。
S214，将至少一组划分节点，输入到预先训练的结果融合模型中，获取所述结果融合模型输出的目标节点。
结果融合模型可以替换为投票或求取平均值，计算得到目标节点。
S215，在所述音视频中标注各所述目标节点，并为各所述目标节点添加文本描述内容。
本发明实施例通过将音视频数据降低维度，形成图像和文本数据，可以提高视频处理效率，加快视频处理速度，并从不同维度，分别确定划分节点组，实现有效利用多维信息确定划分节点，最终融合多个维度下的划分节点组，得到目标节点，提高划分节点的准确率。
实施例三
图3为本发明实施例三中的一种音视频处理装置的示意图。实施例三是实现本发明上述实施例提供的音视频处理方法的相应装置，该装置可采用软件和/或硬件的方式实现，并一般可集成计算机设备中。
相应的，本实施例的装置可以包括：
音视频降维模块310，用于从音视频中提取至少一个类型的数据；
节点确定模块320，用于根据各所述类型的数据，在所述音视频中确定至少一组划分节点，并确定所述音视频的目标节点；
音视频标注模块330，用于在所述音视频中标注各所述目标节点，并为各所述目标节点添加文本描述内容。
本发明实施例通过从音视频中提取多个类型的数据，并分别确定对应划分节点，并融合至少一个类型对应的划分节点，确定目标节点，最终在音视频中标注目标节点，可以在音视频中划分特定事件，解决了现有技术中人工划分音视频效率低下的问题，可以提高音视频处理效率，提高音视频划分的准确率。
进一步的，所述音视频降维模块310，具体用于：获取所述音视频中音频数据，并进行语音识别，得到文本数据，所述文本数据标注有时间信息。
进一步的，所述音视频降维模块310，具体用于：采用设定时间间隔，对所述音视频进行图像采集，得到多个图像。
进一步的，所述节点确定模块320，具体用于：获取文本数据；将所述文本数据输入到预先训练的句类别检测模型中，确定所述文本数据中各语句的类型，所述语句的类型包括起始句、结束句和中间句；根据各所述语句的类型，在所述文本数据中确定句节点；获取所述文本数据的时间信息，并确定各所述句节点对应的时间节点，并作为第一组划分节点。
进一步的，所述音视频处理装置，还包括：句类别检测模型训练模块，用于在将所述文本数据输入到预先训练的句类别检测模型中之前，获取文本样本，所述文本样本标注有至少一个项目的起始句、结束句和中间句；采用所述文本样本对深度学习模型进行训练，得到句类别检测模型。
进一步的，所述音视频处理装置，还包括：项目匹配模块，用于在在所述文本数据中确定文本节点之后，根据各所述句节点，将所述文本数据划分为文本片段；在各所述文本片段中提取关键信息；获取至少一个项目的元数据；根据各所述文本片段包括的关键信息，分别计算各所述文本片段与各所述项目的元数据之间的相似值；根据各所述文本片段与各所述项目的元数据之间的相似值，确定各所述文本片段匹配的项目。
进一步的，所述关键信息包括下述至少一项：支行名称、授信申请的公司名称、授信类型、授信金额、地名和审批人名称。
进一步的，所述音视频处理装置，还包括：段落划分模块，用于根据各所述句节点，将所述文本数据划分为文本片段；将各所述文本片段输入到预先训练的内容分类模型中，分别对所述文本片段进行划分，获取各所述文本片段对应的文本单元；在各所述文本片段中，根据所述文本片段包括的文本单元，确定段落节点；获取所述文本数据的时间信息，并确定各所述段落节点对应的时间节点，并作为第二组划分节点。
进一步的，所述节点确定模块320，具体用于：获取多个图像；根据各所述图像的时间顺序，确定多对顺序相邻的图像；针对每对顺序相邻图像，计算两个图像的相似值；根据每对所述顺序相邻图像的相似值，确定差别顺序相邻图像；根据各所述差别顺序相邻图像中包括的各图像在所述音视频中的时间点，确定第三组划分节点。
进一步的，所述节点确定模块320，具体用于：将至少一组划分节点，输入到预先训练的结果融合模型中，获取所述结果融合模型输出的目标节点。
进一步的，所述音视频处理装置，还包括：结果融合模型训练模块，用于在将至少一组划分节点，输入到预先训练的结果融合模型中之前，获取节点样本，所述节点样本包括第一组划分节点、第二组划分节点、第三组划分节点和目标节点；采用所述节点样本对深度学习模型进行训练，得到结果融合模型。
进一步的，所述音视频处理装置，还包括：文本描述内容添加模块，用于在所述音视频中标注各所述目标节点之后，为各所述目标节点添加文本描述内容。
上述装置可执行本发明实施例所提供的音视频处理方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。计算机设备12可以是挂接在总线上的设备。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro ChannelArchitecture，MCA)总线，增强型ISA总线、音视频电子标准协会(VideoElectronics Standards Association，VESA)局域总线以及外围组件互连(PerIPheralComponent Interconnect，PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)，数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网(Wide Area Network，WAN)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图4中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列(Redundant Arrays of InexpensiveDisks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的音视频处理方法。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的方法：从音视频中提取至少一个类型的数据；根据各所述类型的数据，在所述音视频中确定至少一组划分节点，并确定所述音视频的目标节点；在所述音视频中标注各所述目标节点，并为各所述目标节点添加文本描述内容。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、只读存储器(Read OnlyMemory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括LAN或WAN——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种音视频处理方法，其特征在于，包括：
从音视频中提取至少一个类型的数据；
根据各所述类型的数据，在所述音视频中确定至少一组划分节点，并确定所述音视频的目标节点；
在所述音视频中标注各所述目标节点，并为各所述目标节点添加文本描述内容；
其中，所述在所述音视频中确定至少一组划分节点，包括：
获取文本数据；
将所述文本数据输入到预先训练的句类别检测模型中，确定所述文本数据中各语句的类型，所述语句的类型包括起始句、结束句和中间句；
根据各所述语句的类型，在所述文本数据中确定句节点；
获取所述文本数据的时间信息，并确定各所述句节点对应的时间节点，并作为第一组划分节点；
根据各所述句节点，将所述文本数据划分为文本片段；
将各所述文本片段输入到预先训练的内容分类模型中，分别对所述文本片段进行划分，获取各所述文本片段对应的文本单元；
在各所述文本片段中，根据所述文本片段包括的文本单元，确定段落节点；
获取所述文本数据的时间信息，并确定各所述段落节点对应的时间节点，并作为第二组划分节点；
其中，所述音视频为金融授信审批会议音视频，所述金融授信审批会议视频包括多个项目的金融授信审批会议；所述起始句代表一个项目的起点，所述结束句代表一个项目的终点；第一组划分节点是项目切分点，所述第二组划分节点是项目的流程阶段切分点；每个文本单元用于描述项目的一个流程阶段，一个文本片段对应一个项目。
2.根据权利要求1所述的方法，其特征在于，所述从音视频中提取至少一个类型的数据，包括下述至少一项：
获取所述音视频中音频数据，并进行语音识别，得到文本数据，所述文本数据标注有时间信息；
采用设定时间间隔，对所述音视频进行图像采集，得到多个图像。
3.根据权利要求1所述的方法，其特征在于，在将所述文本数据输入到预先训练的句类别检测模型中之前，还包括：
获取文本样本，所述文本样本标注有至少一个项目的起始句、结束句和中间句；
采用所述文本样本对深度学习模型进行训练，得到句类别检测模型。
4.根据权利要求1所述的方法，其特征在于，在所述文本数据中确定句节点之后，还包括：
根据各所述句节点，将所述文本数据划分为文本片段；
获取至少一个项目的元数据；
分别计算各所述文本片段与各所述项目的元数据之间的相似值，并确定各所述文本片段匹配的项目。
5.根据权利要求4所述的方法，其特征在于，所述元数据包括下述至少一项：支行名称、授信申请的公司名称、授信类型、授信金额、地名和审批人名称。
6.根据权利要求1所述的方法，其特征在于，所述在所述音视频中确定至少一组划分节点，包括：
获取多个图像；
根据各所述图像的时间顺序，确定多对顺序相邻的图像；
针对每对顺序相邻图像，计算两个图像的相似值；
根据每对所述顺序相邻图像的相似值，确定差别顺序相邻图像；
根据各所述差别顺序相邻图像中包括的各图像在所述音视频中的时间点，确定第三组划分节点。
7.根据权利要求1所述的方法，其特征在于，所述确定所述音视频的目标节点，包括：
将至少一组划分节点，输入到预先训练的结果融合模型中，获取所述结果融合模型输出的目标节点。
8.根据权利要求7所述的方法，其特征在于，在将至少一组划分节点，输入到预先训练的结果融合模型中之前，还包括：
获取节点样本，所述节点样本包括第一组划分节点、第二组划分节点、第三组划分节点和目标节点；
采用所述节点样本对深度学习模型进行训练，得到结果融合模型。
9.根据权利要求1所述的方法，其特征在于，所述音视频为金融授信审批会议音视频，所述金融授信审批会议视频包括多个项目的金融授信审批会议。
10.根据权利要求4所述的方法，其特征在于，为所述目标节点添加文本描述内容，包括：
获取当前目标节点与下一时序相邻的目标节点之间的文本片段，作为所述当前目标节点的关联文本片段；
将所述关联文本片段匹配的项目，以及所述匹配的项目的元数据，确定为所述当前目标节点的文本描述内容，并在所述当前目标节点中进行标注。
11.一种音视频处理装置，其特征在于，包括：
音视频降维模块，用于从音视频中提取至少一个类型的数据；
节点确定模块，用于根据各所述类型的数据，在所述音视频中确定至少一组划分节点，并确定所述音视频的目标节点；
音视频标注模块，用于在所述音视频中标注各所述目标节点，并为各所述目标节点添加文本描述内容；
其中，所述节点确定模块，具体用于：获取文本数据；将所述文本数据输入到预先训练的句类别检测模型中，确定所述文本数据中各语句的类型，所述语句的类型包括起始句、结束句和中间句；根据各所述语句的类型，在所述文本数据中确定句节点；获取所述文本数据的时间信息，并确定各所述句节点对应的时间节点，并作为第一组划分节点；根据各所述句节点，将所述文本数据划分为文本片段；将各所述文本片段输入到预先训练的内容分类模型中，分别对所述文本片段进行划分，获取各所述文本片段对应的文本单元；在各所述文本片段中，根据所述文本片段包括的文本单元，确定段落节点；获取所述文本数据的时间信息，并确定各所述段落节点对应的时间节点，并作为第二组划分节点；
其中，所述音视频为金融授信审批会议音视频，所述金融授信审批会议视频包括多个项目的金融授信审批会议；所述起始句代表一个项目的起点，所述结束句代表一个项目的终点；第一组划分节点是项目切分点，所述第二组划分节点是项目的流程阶段切分点；每个文本单元用于描述项目的一个流程阶段，一个文本片段对应一个项目。
12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-10中任一所述的音视频处理方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的音视频处理方法。
CN202110341663.XA 2021-03-30 2021-03-30 音视频处理方法、装置、计算机设备及存储介质 Active CN113096687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110341663.XA CN113096687B (zh) 2021-03-30 2021-03-30 音视频处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110341663.XA CN113096687B (zh) 2021-03-30 2021-03-30 音视频处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113096687A CN113096687A (zh) 2021-07-09
CN113096687B true CN113096687B (zh) 2024-04-26

Family

ID=76671245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110341663.XA Active CN113096687B (zh) 2021-03-30 2021-03-30 音视频处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113096687B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240034470A (ko) * 2022-09-07 2024-03-14 삼성전자주식회사 음성 인식 모델을 학습시키기 위한 전자 장치 및 이의 제어 방법
CN115858760A (zh) * 2023-03-02 2023-03-28 广州嘉为科技有限公司 一种知识图谱的问答推理方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101268505A (zh) * 2006-01-06 2008-09-17 三菱电机株式会社 用于对视频进行分类的方法和系统
US10021276B1 (en) * 2017-06-30 2018-07-10 Beijing Kingsoft Internet Security Software Co., Ltd. Method and device for processing video, electronic device and storage medium
CN110012349A (zh) * 2019-06-04 2019-07-12 成都索贝数码科技股份有限公司 一种端到端的新闻节目结构化方法及其结构化框架体系
CN110942011A (zh) * 2019-11-18 2020-03-31 上海极链网络科技有限公司 一种视频事件识别方法、系统、电子设备及介质
WO2020119508A1 (zh) * 2018-12-14 2020-06-18 深圳壹账通智能科技有限公司 视频切割方法、装置、计算机设备和存储介质
CN112040313A (zh) * 2020-11-04 2020-12-04 中山大学深圳研究院 一种视频内容结构化方法、装置、终端设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019236581A1 (en) * 2018-06-04 2019-12-12 Disruptel, Inc. Systems and methods for operating an output device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101268505A (zh) * 2006-01-06 2008-09-17 三菱电机株式会社 用于对视频进行分类的方法和系统
US10021276B1 (en) * 2017-06-30 2018-07-10 Beijing Kingsoft Internet Security Software Co., Ltd. Method and device for processing video, electronic device and storage medium
WO2020119508A1 (zh) * 2018-12-14 2020-06-18 深圳壹账通智能科技有限公司 视频切割方法、装置、计算机设备和存储介质
CN110012349A (zh) * 2019-06-04 2019-07-12 成都索贝数码科技股份有限公司 一种端到端的新闻节目结构化方法及其结构化框架体系
CN110942011A (zh) * 2019-11-18 2020-03-31 上海极链网络科技有限公司 一种视频事件识别方法、系统、电子设备及介质
CN112040313A (zh) * 2020-11-04 2020-12-04 中山大学深圳研究院 一种视频内容结构化方法、装置、终端设备及介质

Also Published As

Publication number Publication date
CN113096687A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN107291828B (zh) 基于人工智能的口语查询解析方法、装置及存储介质
CN107590172B (zh) 一种大规模语音数据的核心内容挖掘方法及设备
CN111918094B (zh) 视频处理方法、装置、电子设备和存储介质
CN110232340B (zh) 建立视频分类模型以及视频分类的方法、装置
US20200134398A1 (en) Determining intent from multimodal content embedded in a common geometric space
CN113096687B (zh) 音视频处理方法、装置、计算机设备及存储介质
CN109947924B (zh) 对话系统训练数据构建方法、装置、电子设备及存储介质
CN112749549B (zh) 一种基于增量学习和多模型融合的中文实体关系抽取方法
CN112507090A (zh) 用于输出信息的方法、装置、设备和存储介质
US10504002B2 (en) Systems and methods for clustering of near-duplicate images in very large image collections
Hassani et al. LVTIA: A new method for keyphrase extraction from scientific video lectures
CN116402166B (zh) 一种预测模型的训练方法、装置、电子设备及存储介质
CN111460224B (zh) 评论数据的质量标注方法、装置、设备及存储介质
CN112822506A (zh) 用于分析视频流的方法和装置
CN117011581A (zh) 图像识别方法、介质、装置和计算设备
CN111488450A (zh) 一种用于生成关键词库的方法、装置和电子设备
CN111552780B (zh) 医用场景的搜索处理方法、装置、存储介质及电子设备
CN113177479B (zh) 图像分类方法、装置、电子设备及存储介质
Hernandez et al. Multimodal corpus analysis of autoblog 2020: lecture videos in machine learning
CN110276001B (zh) 盘点页识别方法、装置、计算设备和介质
CN114168715A (zh) 生成目标数据集的方法、装置、设备及存储介质
US20210295036A1 (en) Systematic language to enable natural language processing on technical diagrams
Hukkeri et al. Non-Sequential Indexing of Videos using Linguistic Computation
Preethi et al. Video Captioning using Pre-Trained CNN and LSTM
Ren et al. Weakly-supervised temporal action localization with multi-head cross-modal attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant