CN110198482B - 一种视频重点桥段标注方法、终端及存储介质 - Google Patents

一种视频重点桥段标注方法、终端及存储介质 Download PDF

Info

Publication number
CN110198482B
CN110198482B CN201910290257.8A CN201910290257A CN110198482B CN 110198482 B CN110198482 B CN 110198482B CN 201910290257 A CN201910290257 A CN 201910290257A CN 110198482 B CN110198482 B CN 110198482B
Authority
CN
China
Prior art keywords
bullet screen
emotion
category
video
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910290257.8A
Other languages
English (en)
Other versions
CN110198482A (zh
Inventor
过弋
韩美琪
王志宏
张振豪
樊振
戚天梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China University of Science and Technology
Shihezi University
Original Assignee
East China University of Science and Technology
Shihezi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China University of Science and Technology, Shihezi University filed Critical East China University of Science and Technology
Priority to CN201910290257.8A priority Critical patent/CN110198482B/zh
Publication of CN110198482A publication Critical patent/CN110198482A/zh
Application granted granted Critical
Publication of CN110198482B publication Critical patent/CN110198482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]

Abstract

本发明实施例涉及通信技术领域，公开了一种视频重点桥段标注方法、终端及存储介质。本发明中，获取原始弹幕数据集，其中，原始弹幕数据集中包含待标注视频中所包含的弹幕；识别原始弹幕数据集中每一个弹幕的类别，其中，类别包括情感丰富类别和情感不丰富类别；将类别识别为情感丰富类别的弹幕进行保留获得情感丰富弹幕数据集；根据情感丰富弹幕数据集标注待标注视频中的重点桥段。使得在减少处理工作量的同时，还能够实现对重点桥段的快速标注。

Description

一种视频重点桥段标注方法、终端及存储介质
技术领域
本发明实施例涉及通信技术领域，特别涉及一种视频重点桥段标注方法、终端及存储介质。
背景技术
随着人们生活节奏的加快，相对于完整的视频内容，人们更希望选择一些重点桥段来观看，例如，观看足球比赛中的进球片段以及热门电影中的重点桥段集锦，从而在获得感官体验的同时还可以节省时间。
发明人发现现有技术中至少存在如下问题：现有技术中在对重点片段进行标注时，通常采用对视频的图像信息和音频信息进行分析，并根据分析结果确定出重点桥段，但由于一段完整的视频中的图像信息和音频信息的数据非常庞大，因此采用上述方式进行重点桥段标注时会增加处理的工作量，从而降低重点桥段标注的效率。
发明内容
本发明实施方式的目的在于提供一种视频重点桥段标注方法、终端及存储介质，使得在减少处理工作量的同时，还能够实现对重点桥段的快速标注。
为解决上述技术问题，本发明的实施方式提供了一种视频重点桥段标注方法、终端及存储介质，包括以下步骤：
获取原始弹幕数据集，其中，原始弹幕数据集中包含待标注视频中所包含的弹幕；识别原始弹幕数据集中每一个弹幕的类别，其中，类别包括情感丰富类别和情感不丰富类别；将类别识别为情感丰富类别的弹幕进行保留获得情感丰富弹幕数据集；根据情感丰富弹幕数据集标注待标注视频中的重点桥段。
本发明的实施方式还提供了一种终端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上的视频重点桥段标注方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现如上的视频重点桥段标注方法。
本发明实施方式相对于现有技术而言，从待标注视频中获取原始弹幕数据集，通过对原始弹幕数据集中的每一个弹幕进行分类处理，将类别为情感丰富类别的弹幕进行保留获得情感丰富弹幕数据集，并直接根据情感丰富弹幕数据集标注待标注视频中的重点桥段，从而根据待标注视频中所包含的弹幕就可以实现对重点桥段的标注，而无需再对待标注视频中庞大的图像信息和音频信息处理，从而能够在减少处理工作量的同时，实现对重点桥段的快速标注过程。
另外，识别原始弹幕数据集中每一个弹幕的类别，包括：对原始弹幕数据集中的弹幕进行去噪处理获得去噪弹幕数据集；识别去噪弹幕数据集中每一个弹幕的类别。该实现中，通过对原始弹幕数据集中的弹幕进行去噪处理，从而使去噪弹幕数据集中每一个弹幕的类别识别更加准确。该实现中，在识别原始弹幕数据集中每一个弹幕的类别时，首先对第一弹幕集合中的弹幕进行去噪处理获得去噪弹幕数据集，从而排除噪声的干扰，使得视频重点桥段标记更加准确。
另外，识别去噪弹幕数据集中每一个弹幕的类别，包括：提取去噪弹幕数据集中每一个弹幕的特征信息并构成特征向量，其中，特征信息包括：时间、颜文字、情感词、符号、语气词、否定词和程度副词；将每一个弹幕的特征向量输入弹幕情感类别识别模型，获得每一个弹幕的特征向量所对应的类别，其中，弹幕情感类别识别模型中保存了特征向量与类别之间对应关系的参数。该实现中，通过所提取的去噪弹幕数据集中每一个弹幕的特征信息以及已知的弹幕情感类别识别模型，识别出去噪弹幕数据集中每一个弹幕为情感丰富类别还是情感不丰富类别。
另外，将每一个弹幕的特征向量输入弹幕情感类别识别模型，获得每一个弹幕的特征向量所对应的类别之前，还包括：获取第一样本弹幕，其中，第一样本弹幕的数量为M个，M为正整数；提取每一个第一样本弹幕中的样本特征信息并构成第一样本特征向量，并对第一样本特征向量进行标注，获得第一样本弹幕训练集；对第一样本弹幕训练集进行训练，获得弹幕情感类别识别模型。
另外，根据情感丰富弹幕数据集标注待标注视频中的重点桥段，包括：获取待标注视频所对应的播放时间轴；根据情感丰富类别弹幕的时间特征信息，确定在播放时间轴上每一时刻所对应的情感丰富类别弹幕的总数量；根据播放时间轴上每一时刻所对应的情感丰富类别弹幕的总数量标注待标注视频中的重点桥段。该实现中，通过获取待标注视频所对应的播放时间轴，并根据播放时间轴上每一时刻所对应的情感丰富类别弹幕的总数量标注待标注视频中的重点桥段，使得根据情感丰富类别的总数量所标注的重点桥段更加准确。
另外，根据播放时间轴上每一时刻所对应的情感丰富类别弹幕的总数量标注待标注视频中的重点桥段，包括：确定播放时间轴上的关键时刻，其中，关键时刻上所对应的情感丰富类别弹幕的总数量超过预设阈值；根据关键时刻以及预设时长确定在播放时间轴上的时间区间；将时间区间内所对应的视频内容标注为重点桥段。
另外，根据情感丰富弹幕数据集标注待标注视频中的重点桥段之后，还包括：获取重点桥段中所包含的弹幕；识别重点桥段中的每一个弹幕的情感类型，其中，情感类型包括：乐、哀、怒、惊和恶；确定每一个情感类型中所包含的重点桥段中的弹幕数量，并将弹幕数量最多的情感类型标注为重点桥段的情感类型。该实现中，在标注待标注视频中的重点桥段之后，通过对重点桥段的情感类型进行标注，从而便于用户根据需要选择观看所对应情感类型的重点桥段。该实现中，在对待标注视频中的重点桥段进行标注之后，进一步对重点桥段的情感类型进行标注，从而便于用户根据情感片段中所标记的情感类型，选择所需要观看的重点桥段。
另外，识别重点桥段中的每一个弹幕的情感类型，包括：对重点桥段中的每一个弹幕进行分词处理获得分词结果；确定分词结果与每一个关键词的最高相似度，其中，每一个关键词分别对应着一个情感类型；根据分词结果与每一个关键词的最高相似度，确定重点桥段中的每一个弹幕的N纬向量信息，其中，N为关键词的数量；将重点桥段中的每一个弹幕的N纬向量信息输入情感倾向分类模型，获得重点桥段中的每一个弹幕的N纬向量信息所对应的情感类型，其中，情感倾向分类模型中保存了弹幕的N纬向量信息与情感类型之间对应关系的参数。
另外，将重点桥段中的每一个弹幕的N纬向量信息输入情感倾向分类模型，获得重点桥段中的每一个弹幕的N纬向量信息所对应的情感类型之前，还包括：获取第二样本弹幕，其中，第二样本弹幕的数量为L个，L为正整数；获取每一个第二样本弹幕的N纬样本向量信息，并对第二样本弹幕的N纬样本向量信息进行情感标注，获得第二样本弹幕训练集；对第二样本弹幕训练集进行训练，获得情感倾向分类模型。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本申请第一实施例中视频重点桥段标注方法的流程图；
图2是本申请第二实施例中视频重点桥段标注方法的流程图；
图3是本申请第三实施例中视频重点桥段标注装置的方框示意图；
图4是本申请第四实施例中视频重点桥段标注装置的方框示意图；
图5是本申请第五实施例中终端的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种视频重点桥段标注方法，应用于终端。具体流程如图1所示，包括以下步骤：
步骤101，获取原始弹幕数据集。
具体的说，在本实施方式中，待标记视频可以是用户所选定的一段包含有弹幕的视频资源，该视频资源具体可以是一场足球比赛视频或电影片段，而视频资源中所包含的弹幕体现了观众在观看该时刻的视频时的主观感受，弹幕中既可以包含观众对视频内容的评价，也可以包含观众观看该时刻视频的情感变化。因此，在原始弹幕数据集合中包含待标注视频中所包含的弹幕，
步骤102，识别原始弹幕数据集中每一个弹幕的类别。
具体的说，在本实施方式中弹幕的类别包括情感丰富类别和情感不丰富类别，情感丰富类别表示当前视频内容比较精彩的情况下，弹幕中包含观众的强烈情感变化，例如，“哈哈哈太好笑了”或“好难过啊都看哭了！”，每一条弹幕分别对应着一个播放时刻。而情感不丰富类别表示当前视频内容比较平淡的情况下，弹幕中包含观众较少的情感变化，甚至没有。并且由于所获得的原始弹幕数据集中会存在语义表达不清或词语错误的弹幕，这一类弹幕对视频重点桥段的标注是无效的，因此在获取原始弹幕数据集后，需要对原始弹幕数据集中的弹幕进行去噪处理获得去噪弹幕数据集，即将上述无效的弹幕去除掉，并识别所获得的去噪弹幕数据集中每一个弹幕的类别。
其中，在识别去噪弹幕数据集中每一个弹幕的类别时，具体可以采用如下方式，提取去噪弹幕数据集中每一个弹幕的特征信息并构成特征向量，其中，特征信息包括：时间、颜文字、情感词、符号、语气词、否定词和程度副词，将每一个弹幕的特征向量输入弹幕情感类别识别模型，获得每一个弹幕的特征向量所对应的类别，其中，弹幕情感类别识别模型中保存了特征向量与类别之间对应关系的参数。
例如，获取一条时刻为3：25的一条弹幕为“非常难过啊都看哭了T_T，不开心！”，确定该条弹幕的特征信息分别为：时间-3：25、颜文字-T_T、情感词-难过，符号-叹号、语气词-啊、否定词-不、程度副词-非常。并且可以将所提取的七维特征信息作为一个向量，输入弹幕情感类别识别模型，从而获得该条弹幕所对应的类型为情感类。
需要说明的是，在本实施方式中，将每一个弹幕的特征信息输入弹幕情感类别识别模型，获得每一个弹幕的特征信息所对应的类别之前还需要获得弹幕情感类别识别模型，所采用的方式具体为：获取第一样本弹幕，其中，第一样本弹幕的数量为M个，并且在实际应用中第一样本弹幕的数量要足够多，M的取值可以是几万甚至更多。提取每一个样本弹幕中的样本特征信息并构成第一样本特征向量，并对第一样本特征向量进行标注，获得第一样本弹幕训练集，对第一样本弹幕训练集进行训练，获得弹幕情感类别识别模型。
步骤103，将类别识别为情感丰富类别的弹幕进行保留获得情感丰富弹幕数据集。
具体的说，在本实施方式中，在识别出去噪弹幕数据集中每一个弹幕的类别之后，由于情感不丰富类别的弹幕通常表示当前时刻的视频内容比较平淡，对待标注视频中的重点桥段没有作用，从而可以仅将去噪弹幕数据集中标记为情感丰富类别的弹幕提取出来进行保留，并构成情感丰富弹幕数据集。
步骤104，根据情感丰富弹幕数据集标注待标注视频中的重点桥段。
具体的说，获取待标注视频所对应的播放时间轴，根据情感丰富类别弹幕的时间特征信息，确定在播放时间轴上每一时刻所对应的情感丰富类别弹幕的总数量，根据播放时间轴上每一时刻所对应的情感丰富类别弹幕的总数量标注待标注视频中的重点桥段。
其中，确定播放时间轴上的关键时刻，并且关键时刻上所对应的情感丰富类别弹幕的总数量超过预设阈值，根据关键时刻以及预设时长确定在播放时间轴上的时间区间，将时间区间内所对应的视频内容标注为重点桥段。
在一个具体实现中，待标注视频所对应的播放时间轴的起点为00:00，终点为25:00，由于每一条弹幕分别对应着一个播放时刻，即时间特征信息，并且存在多个弹幕具有相同时间特征的情况，这种情况表示在一个相同的时刻有多个观众同时对视频进行了评价。计算出在播放时间轴上每一时刻所对应的情感丰富类别弹幕的总数量，假设预设阈值为60，并确定出播放时间轴上情感丰富类别弹幕的总数量超过60的时刻，如果确定15:25和22:15时刻所对应的情感丰富类别弹幕的总数量超过预设阈值60，则将15:25和22:15时刻作为关键时刻。并且确定预设时长为10秒，则以关键时刻15:25为基准，分别向前倒推10秒和向后延长10秒，获得第一个时间区间为15:15至15:35，并将第一个时间区间内所对应的视频内容标注为第一个重点桥段；另外，以关键时刻22:15为基准，分别向前倒推10秒和向后延长10秒，获得第二个时间区间为22:05至22:25，并将第二个时间区间内所对应的视频内容标注为第二个重点桥段。
与现有技术相比，本实施方式提供的视频重点桥段标注方法，从待标注视频中获取原始弹幕数据集，通过对原始弹幕数据集中的每一个弹幕进行分类处理，将类别为情感丰富类别的弹幕进行保留获得情感丰富弹幕数据集，并直接根据情感丰富弹幕数据集标注待标注视频中的重点桥段，从而根据待标注视频中所包含的弹幕就可以实现对重点桥段的标注，而无需再对待标注视频中庞大的图像信息和音频信息处理，从而能够在减少处理工作量的同时，实现对重点桥段的快速标注过程。
本发明的第二实施方式涉及一种视频重点桥段标注方法。本实施例在第一实施例的基础上做了进一步改进，具体改进之处为：在标注完待标注视频中的重点桥段之后，增加了对重点桥段进行情感类型标注的步骤。本实施例中的视频重点桥段标注方法的流程如图2所示。具体的说，在本实施例中，包括步骤201至步骤207，其中步骤201至步骤204与第一实施方式中的步骤101至步骤104大致相同，此处不再赘述，下面主要介绍不同之处，未在本实施方式中详尽描述的技术细节，可参见第一实施例所提供的视频重点桥段标注方法，此处不再赘述。
在步骤201至步骤204之后，执行步骤205。
步骤205，获取重点桥段中所包含的弹幕。
具体的说，对于所获取的每一段重点桥段，确定重点桥段的播放区间，并通过弹幕的时间特征信息，确定在重点桥段的播放区间内的弹幕，将所确定出的弹幕作为重点桥段中所包含的弹幕。
步骤206，识别重点桥段中的每一个弹幕的情感类型。
具体的说，情感类型包括：乐、哀、怒、惊和恶五中类型，并且在识别每一个弹幕的情感类型时，具体所采用的方式可以是：对重点桥段中的每一个弹幕进行分词处理获得分词结果；确定分词结果与每一个关键词的最高相似度，其中，每一个关键词分别对应着一个情感类型；根据分词结果与每一个关键词的最高相似度，确定重点桥段中的每一个弹幕的N纬向量信息，其中，N为关键词的数量；将重点桥段中的每一个弹幕的N纬向量信息输入情感倾向分类模型，获得重点桥段中的每一个弹幕的N纬向量信息所对应的情感类型，其中，情感倾向分类模型中保存了弹幕的N纬向量信息与情感类型之间对应关系的参数。
例如，假设有五类情感，以每一类情感有33个关键词为例提前确定出关键词表，如表1所示
Figure GDA0003003019220000071
以弹幕“我今天很开心呀”为例，对其进行分词处理获得分词结果为：我今天很开心呀。确定出分词结果与每一个关键词的最高相似度，例如，得出分词结果与每一个关键词的相似度表如表2所示
我 今天 很 开心 呀
关键词1：开心 14.67％ 34.44％ -17.73％ 100％ 23.41％
关键词2：哈哈 13.64％ 34.45％ -2.56％ 41.20％ 65.71％
...... ...... ...... ...... ...... ......
因为关于计算词汇之间的相似度现有技术已经比较成熟，并且关于具体如何计算相似度也不是本申请的重点，因此本实施方式中不再进行赘述，由于关键词共有165个，数量较多，所以表2中也仅是以第一关键词和第二关键词为例进行的举例说明，从表2中的第一行可以看出，分词结果中的“开心”与第一关键词“开心”的相似度最高为1，因此将1作为分词结果与第一关键词“开心”的最高相似度，同理将0.6571作为分词结果与第二关键词“哈哈”的最高相似度，由于有165个关键词，因此可以获得165个最高相似度比值，并可以将所获得的165个相似度比值构成一个165维的向量，如A＝(1，0.6571......0.8753)。将165维的向量A输入情感倾向分类模型，由于情感倾向分类模型中保存了弹幕的165维向量与情感类型之间对应关系的参数，因此利用上述参数可以获得弹幕“我今天很开心呀”所对应的情感类型为“乐”。
需要说明的是，在将重点桥段中每一个弹幕的N维向量信息输入情感倾向分类模型之前，还需要：获取第二样本弹幕，其中，第二样本弹幕的数量为L个，L为正整数，获取每一个第二样本弹幕的N纬样本向量信息，并对第二样本弹幕的N纬样本向量信息进行情感标注，获得第二样本弹幕训练集；对第二样本弹幕训练集进行训练，获得情感倾向分类模型。
步骤207，确定每一个情感类型中所包含的重点桥段中的弹幕数量，并将弹幕数量最多的情感类型标注为重点桥段的情感类型。
具体的说，由于每一个重点桥段内弹幕的情感类型都是已知的，因此，针对一段重点桥段，确定出该重点桥段中每一个情感类型的数量，例如，针对一段重点桥段，确定其中情感类型为乐的弹幕的数量为100条，情感类型为哀的弹幕的数量为80条，情感类型为怒的弹幕的数量为60条，情感类型为惊的弹幕的数量为40条，情感类型为恶的弹幕的数量为70条，由于其中情感类型为乐的弹幕的数量最多，所以将该重点桥段的情感类型标记为乐，当然还可以根据每一类情感类型下所包含的弹幕的数量，生成五维情感雷达图，从而更直观的体现视频重点桥段的情感倾向。
与现有技术相比，本实施方式提供的视频重点桥段标注方法，从待标注视频中获取原始弹幕数据集，通过对原始弹幕数据集中的每一个弹幕进行分类处理，将类别为情感丰富类别的弹幕进行保留获得情感丰富弹幕数据集，并直接根据情感丰富弹幕数据集标注待标注视频中的重点桥段，从而根据待标注视频中所包含的弹幕就可以实现对重点桥段的标注，而无需再对待标注视频中庞大的图像信息和音频信息处理，从而能够在减少处理工作量的同时，实现对重点桥段的快速标注过程。并且通过进一步对重点桥段的情感类型进行标注，从而便于用户根据情感片段中所标记的情感类型，选择所需要观看的重点桥段。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种视频重点桥段标注装置，具体结构如图3所示。
如图3所示，视频重点桥段标注装置包括：第一获取模块301、类别识别模块302、第二获取模块303和重点桥段标注模块304。
其中，原始弹幕数据集获取模块301，用于获取原始弹幕数据集。
弹幕类别识别模块302，用于识别原始弹幕数据集中每一个弹幕的类别。
情感丰富弹幕数据集获取模块303，用于将类别识别为情感丰富类别的弹幕进行保留获得情感丰富弹幕数据集。
重点桥段标注模块304，用于根据情感丰富弹幕数据集标注待标注视频中的重点桥段。
不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明第四实施方式涉及一种视频重点桥段标注装置。该实施方式与第三实施方式大致相同，具体结构如图4所示。其中，主要改进之处在于：第四实施方式在第三实施方式的基础上增加了第三获取模块305、情感类型识别模块306和情感类型标注模块307。
其中，原始弹幕数据集获取模块301，用于获取原始弹幕数据集。
弹幕类别识别模块302，用于识别原始弹幕数据集中每一个弹幕的类别。
情感丰富弹幕数据集获取模块303，用于将类别识别为情感丰富类别的弹幕进行保留获得情感丰富弹幕数据集。
重点桥段标注模块304，用于根据情感丰富弹幕数据集标注待标注视频中的重点桥段。
重点桥段中的弹幕获取模块305，用于获取重点桥段中所包含的弹幕。
情感类型识别模块306，用于识别重点桥段中的每一个弹幕的情感类型。
情感类型标注模块307，用于确定每一个情感类型中所包含的重点桥段中的弹幕数量，并将弹幕数量最多的情感类型标注为重点桥段的情感类型。
不难发现，本实施方式为与第二实施方式相对应的装置实施例，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明第五实施方式涉及一种终端，如图5所示，包括至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行上述实施例中的视频重点桥段标注方法。
本实施例中，处理器501以中央处理器(Central Processing Unit，CPU)为例，存储器502以可读写存储器(Random Access Memory，RAM)为例。处理器501、存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例。存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中实现视频重点桥段标注方法的程序就存储于存储器502中。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述视频重点桥段标注方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个程序模块存储在存储器502中，当被一个或者多个处理器501执行时，执行上述任意方法实施例中的视频重点桥段标注方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的视频重点桥段标注方法。
本申请的第六实施方式涉及一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时能够实现本发明任意方法实施例中涉及的视频重点桥段标注方法。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (9)

1.一种视频重点桥段标注方法，其特征在于，应用于终端，包括：
获取原始弹幕数据集，其中，所述原始弹幕数据集中包含待标注视频中所包含的弹幕；
识别所述原始弹幕数据集中每一个所述弹幕的类别，其中，所述类别包括情感丰富类别和情感不丰富类别；
将类别识别为所述情感丰富类别的弹幕进行保留获得情感丰富弹幕数据集；
根据所述情感丰富弹幕数据集标注所述待标注视频中的重点桥段；
获取所述重点桥段中所包含的弹幕；
对所述重点桥段中的每一个弹幕进行分词处理获得分词结果；
确定所述分词结果与每一个关键词的最高相似度，其中，每一个关键词分别对应着一个情感类型；
根据所述分词结果与每一个所述关键词的最高相似度，确定所述重点桥段中的每一个弹幕的N纬向量信息，其中，N为所述关键词的数量；
将所述重点桥段中的每一个弹幕的N纬向量信息输入情感倾向分类模型，获得所述重点桥段中的每一个弹幕的N纬向量信息所对应的情感类型，其中，所述情感倾向分类模型中保存了弹幕的N纬向量信息与情感类型之间对应关系的参数；
确定每一个情感类型中所包含的所述重点桥段中的弹幕数量，并将弹幕数量最多的情感类型标注为所述重点桥段的情感类型。
2.根据权利要求1所述的视频重点桥段标注方法，其特征在于，所述识别所述原始弹幕数据集中每一个所述弹幕的类别，包括：
对所述原始弹幕数据集中的弹幕进行去噪处理获得去噪弹幕数据集；
识别所述去噪弹幕数据集中每一个所述弹幕的类别。
3.根据权利要求2所述的视频重点桥段标注方法，其特征在于，所述识别所述去噪弹幕数据集中每一个所述弹幕的类别，包括：
提取所述去噪弹幕数据集中每一个所述弹幕的特征信息并构成特征向量，其中，所述特征信息包括：时间、颜文字、情感词、符号、语气词、否定词和程度副词；
将每一个所述弹幕的特征向量输入弹幕情感类别识别模型，获得每一个所述弹幕的特征向量所对应的类别，其中，所述弹幕情感类别识别模型中保存了特征向量与类别之间对应关系的参数。
4.根据权利要求3所述的视频重点桥段标注方法，其特征在于，所述将每一个所述弹幕的特征向量输入弹幕情感类别识别模型，获得每一个所述弹幕的特征向量所对应的类别之前，还包括：
获取第一样本弹幕，其中，所述第一样本弹幕的数量为M个，M为正整数；
提取每一个所述第一样本弹幕中的样本特征信息并构成第一样本特征向量，并对所述第一样本特征向量进行标注，获得第一样本弹幕训练集；
对所述第一样本弹幕训练集进行训练，获得所述弹幕情感类别识别模型。
5.根据权利要求3所述的视频重点桥段标注方法，其特征在于，所述根据所述情感丰富弹幕数据集标注所述待标注视频中的重点桥段，包括：
获取所述待标注视频所对应的播放时间轴；
根据所述情感丰富类别弹幕的时间特征信息，确定在所述播放时间轴上每一时刻所对应的所述情感丰富类别弹幕的总数量；
根据所述播放时间轴上每一时刻所对应的所述情感丰富类别弹幕的总数量标注所述待标注视频中的重点桥段。
6.根据权利要求5所述的视频重点桥段标注方法，其特征在于，所述根据所述播放时间轴上每一时刻所对应的所述情感丰富类别弹幕的总数量标注所述待标注视频中的重点桥段，包括：
确定所述播放时间轴上的关键时刻，其中，所述关键时刻上所对应的所述情感丰富类别弹幕的总数量超过预设阈值；
根据所述关键时刻以及预设时长确定在所述播放时间轴上的时间区间；
将所述时间区间内所对应的视频内容标注为所述重点桥段。
7.根据权利要求1所述的视频重点桥段标注方法，其特征在于，所述将所述重点桥段中的每一个弹幕的N纬向量信息输入情感倾向分类模型，获得所述重点桥段中的每一个弹幕的N纬向量信息所对应的情感类型之前，还包括：
获取第二样本弹幕，其中，所述第二样本弹幕的数量为L个，L为正整数；
获取每一个所述第二样本弹幕的N纬样本向量信息，并对所述第二样本弹幕的N纬样本向量信息进行情感标注，获得第二样本弹幕训练集；
对所述第二样本弹幕训练集进行训练，获得所述情感倾向分类模型。
8.一种终端，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7任一项所述的视频重点桥段标注方法。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的视频重点桥段标注方法。
CN201910290257.8A 2019-04-11 2019-04-11 一种视频重点桥段标注方法、终端及存储介质 Active CN110198482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910290257.8A CN110198482B (zh) 2019-04-11 2019-04-11 一种视频重点桥段标注方法、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910290257.8A CN110198482B (zh) 2019-04-11 2019-04-11 一种视频重点桥段标注方法、终端及存储介质

Publications (2)

Publication Number Publication Date
CN110198482A CN110198482A (zh) 2019-09-03
CN110198482B true CN110198482B (zh) 2022-05-20

Family

ID=67751802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910290257.8A Active CN110198482B (zh) 2019-04-11 2019-04-11 一种视频重点桥段标注方法、终端及存储介质

Country Status (1)

Country Link
CN (1) CN110198482B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110401847B (zh) * 2019-07-17 2021-08-06 咪咕文化科技有限公司 云dvr视频的压缩存储方法、电子设备及系统
CN111860237B (zh) * 2020-07-07 2022-09-06 中国科学技术大学 一种视频情感片段的识别方法及装置
CN111741362A (zh) * 2020-08-11 2020-10-02 恒大新能源汽车投资控股集团有限公司 与视频用户互动的方法和装置
CN113347491A (zh) * 2021-05-24 2021-09-03 北京格灵深瞳信息技术股份有限公司 一种视频剪辑方法、装置、电子设备和计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469508A (zh) * 2013-09-13 2015-03-25 中国电信股份有限公司 基于弹幕信息内容进行视频定位的方法、服务器和系统
CN106303675A (zh) * 2016-08-24 2017-01-04 北京奇艺世纪科技有限公司 一种视频片段提取方法和装置
CN107105318A (zh) * 2017-03-21 2017-08-29 华为技术有限公司 一种视频热点片段提取方法、用户设备和服务器
CN108537176A (zh) * 2018-04-11 2018-09-14 武汉斗鱼网络科技有限公司 目标弹幕的识别方法、装置、终端及存储介质
CN108537139A (zh) * 2018-03-20 2018-09-14 校宝在线（杭州）科技股份有限公司 一种基于弹幕信息的在线视频精彩片段分析方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100114937A1 (en) * 2008-10-17 2010-05-06 Louis Hawthorne System and method for content customization based on user's psycho-spiritual map of profile
WO2014039650A1 (en) * 2012-09-07 2014-03-13 Barstow Llc Digital content presentation and interaction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469508A (zh) * 2013-09-13 2015-03-25 中国电信股份有限公司 基于弹幕信息内容进行视频定位的方法、服务器和系统
CN106303675A (zh) * 2016-08-24 2017-01-04 北京奇艺世纪科技有限公司 一种视频片段提取方法和装置
CN107105318A (zh) * 2017-03-21 2017-08-29 华为技术有限公司 一种视频热点片段提取方法、用户设备和服务器
CN108537139A (zh) * 2018-03-20 2018-09-14 校宝在线（杭州）科技股份有限公司 一种基于弹幕信息的在线视频精彩片段分析方法
CN108537176A (zh) * 2018-04-11 2018-09-14 武汉斗鱼网络科技有限公司 目标弹幕的识别方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN110198482A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN110198482B (zh) 一种视频重点桥段标注方法、终端及存储介质
CN110582025B (zh) 用于处理视频的方法和装置
CN110020437B (zh) 一种视频和弹幕相结合的情感分析及可视化方法
CN111582241B (zh) 视频字幕识别方法、装置、设备及存储介质
CN113301430B (zh) 视频剪辑方法、装置、电子设备以及存储介质
CN104735468B (zh) 一种基于语义分析将图像合成新视频的方法及系统
CN113542777B (zh) 直播视频剪辑方法、装置及计算机设备
CN106528894B (zh) 设置标签信息的方法及装置
CN112559800B (zh) 用于处理视频的方法、装置、电子设备、介质和产品
CN112733660B (zh) 一种视频拆条的方法和装置
CN111314732A (zh) 确定视频标签的方法、服务器及存储介质
CN110502664A (zh) 视频标签索引库创建方法、视频标签生成方法及装置
CN112733654A (zh) 一种视频拆条的方法和装置
CN112163560A (zh) 一种视频信息处理方法、装置、电子设备及存储介质
CN111242110B (zh) 一种新闻自动拆条的自适应条件随机场算法的训练方法
CN111488813A (zh) 视频的情感标注方法、装置、电子设备及存储介质
CN109062905B (zh) 一种弹幕文本价值评价方法、装置、设备及介质
CN114581926A (zh) 多行文本识别方法、装置、设备及介质
CN114186074A (zh) 视频搜索词推荐方法、装置、电子设备及存储介质
CN111163366B (zh) 一种视频处理方法及终端
CN109800326B (zh) 一种视频处理方法、装置、设备和存储介质
CN112287800A (zh) 一种无样本条件下的广告视频识别方法及系统
CN111680190A (zh) 一种融合视觉语义信息的视频缩略图推荐方法
CN116524906A (zh) 用于语音识别的训练数据生成方法、系统和电子设备
CN110569447A (zh) 一种网络资源的推荐方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant