CN111163366A - 一种视频处理方法及终端 - Google Patents
一种视频处理方法及终端 Download PDFInfo
- Publication number
- CN111163366A CN111163366A CN201911392176.5A CN201911392176A CN111163366A CN 111163366 A CN111163366 A CN 111163366A CN 201911392176 A CN201911392176 A CN 201911392176A CN 111163366 A CN111163366 A CN 111163366A
- Authority
- CN
- China
- Prior art keywords
- video
- picture information
- frame
- information
- classified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 230000002996 emotional effect Effects 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 13
- 230000008451 emotion Effects 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 15
- 230000009193 crawling Effects 0.000 claims description 8
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 5
- 230000008921 facial expression Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 4
- 206010011469 Crying Diseases 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种视频处理方法及终端，预设关键信息，自动爬取符合关键信息的待分类视频；分析待分类视频的语音信息的语音情感特征并得到其情感特征类别，根据情感特征类别得到待分类视频的第一视频类别；分析待分类视频的每一帧图片信息的归属类别以得到待分类视频的第二视频类别；根据待分类视频的第一视频类别和第二视频类别以得到待分类视频的分类结果；本发明通过预设关键信息以获取到视频信息，根据视频信息的语音信息来进行自动提取及分析出语音情感特征，以得到待分类视频在情感特征上的视频类别，通过分析每一帧图片信息的归属类别，以得到待分类视频的归属类别，从而得到更为合理有效的视频分类结果。
Description
技术领域
本发明涉及视频处理技术领域，特别涉及一种视频处理方法及终端。
背景技术
互联网发展至今，网民社交由一开始的文本形式，到之后的图片与文本形式，再到现在流行的视频形式。而伴随着5G通讯发展，必然会产生更多的视频资源。如何从众多的视频资源去获取想要的资源成了一个大问题。对于视频片段的处理方式有两种，一种是预先打上各种的标签来归类视频，从而达到推荐相似视频的目的；还有一种是通过服务端来分析视频，已找到相似的视频，这样必然就会占用大量网络资源影响到用户的正常使用。而对于监控视频(直播)视频的处理方式，因为无法事先对视频进行打上标签，只能使用服务端来处理，这样，客户端与服务端之间的长连接必然会占用大量的网络资源。
通过服务器来分析视频的常规做法如下：将视频分成4s的小视频片段，然后对每个小视频片段的每一帧图片进行识别，并将识别结果归类，以判定该小视频片段的归类，在给每个小视频片段分类后，最终得到不同分类的小视频片段或者相同分类的不连续的小视频片段。通过分割视频来识别视频的分类具有以下不足的地方：按照4s时间来分割，那么可能会把视频原来连贯的内容分割成不同的小视频片段，不同的小视频片段又被分割进行识别后处于不同的类别，使得视频分类不合理。另外，对于视频分类方法仅通过分析视频片段进行归类，归类片段单一，即现有的视频归类方法存在无法合理有效的对视频进行归类。
发明内容
本发明所要解决的技术问题是：提供一种视频处理方法及终端，以得到更为合理有效的视频分类结果。
为了解决上述技术问题，本发明采用的技术方案为：
一种视频处理方法，包括步骤：
S1、预设关键信息，自动爬取符合所述关键信息的待分类视频；
S2、分析所述待分类视频的语音信息的语音情感特征并得到其情感特征类别，根据所述情感特征类别得到所述待分类视频的第一视频类别；
S3、分析所述待分类视频的每一帧图片信息的归属类别以得到所述待分类视频的第二视频类别；
S4、根据所述待分类视频的第一视频类别和第二视频类别以得到所述待分类视频的分类结果。
为了解决上述技术问题，本发明采用的另一种技术方案为：
一种视频处理终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
S1、预设关键信息，自动爬取符合所述关键信息的待分类视频；
S2、分析所述待分类视频的语音信息的语音情感特征并得到其情感特征类别，根据所述情感特征类别得到所述待分类视频的第一视频类别；
S3、分析所述待分类视频的每一帧图片信息的归属类别以得到所述待分类视频的第二视频类别；
S4、根据所述待分类视频的第一视频类别和第二视频类别以得到所述待分类视频的分类结果。
本发明的有益效果在于：一种视频处理方法及终端，通过预设关键信息以获取到视频信息，根据视频信息的语音信息来进行自动提取及分析出语音情感特征，以得到待分类视频在情感特征上的视频类别，其中，语音情感特征包括哭泣、欢笑、生气等等，通过分析每一帧图片信息的归属类别，以得到待分类视频的归属类别，比如电视剧、电影、综艺等等，从而得到更为合理有效的视频分类结果。
附图说明
图1为本发明实施例的一种视频处理方法的流程示意图；
图2为本发明实施例的一种视频处理终端的结构示意图。
标号说明：
1、一种视频处理终端；2、处理器；3、存储器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
请参照图1，一种视频处理方法，包括步骤：
S1、预设关键信息，自动爬取符合所述关键信息的待分类视频；
S2、分析所述待分类视频的语音信息的语音情感特征并得到其情感特征类别，根据所述情感特征类别得到所述待分类视频的第一视频类别；
S3、分析所述待分类视频的每一帧图片信息的归属类别以得到所述待分类视频的第二视频类别；
S4、根据所述待分类视频的第一视频类别和第二视频类别以得到所述待分类视频的分类结果。
从上述描述可知，本发明的有益效果在于：通过预设关键信息以获取到视频信息，根据视频信息的语音信息来进行自动提取及分析出语音情感特征，以得到待分类视频在情感特征上的视频类别，其中，语音情感特征包括哭泣、欢笑、生气等等，通过分析每一帧图片信息的归属类别，以得到待分类视频的归属类别，比如电视剧、电影、综艺等等，从而得到更为合理有效的视频分类结果。
进一步地，所述步骤S1中还包括获取所述待分类视频的视频信息，所述视频信息包括发布者个人信息和视频影响内容，所述发布者个人信息包括身份信息、账号属性信息、行为属性信息、视频生产偏好以及是否为负面视频关注者，所述视频影响内容包括视频长度、观看人数、弹幕信息、评论人数和评论信息；
所述步骤S2还包括步骤：
根据所述发布者个人信息生成发布者的人物画像信息；
根据所述视频影响内容得到所述待分类视频所造成的舆论倾向；
通过分析所述待分类视频中人物运动强度、人物人脸表情和语音情感特征以得出人物情感特征，通过分析待分类视频的镜头切换速率、音频能量、视频整体背景颜色特征、亮度特征、运动向量幅度值和镜头长度以得出视频表达情感特征，根据所述人物情感特征和所述视频表达情感特征以得到所述待分类视频的主要情感特征和情感特征变化轨迹，机器学习所述视频情感特征变化轨迹并预测未来的情感特征变化趋势；
所述步骤S4之后包括：
根据所述发布者的人物画像信息、所述待分类视频所造成的舆论倾向、所述待分类视频的分类结果和所述情感特征变化趋势判断所述待分类视频是否属于负面舆论视频并判断是否需要进行人工干预并提供人工干预方案，所述人工干预方案用于对所述负面舆论视频所造成的负面舆论倾向进行人工干预。
从上述描述可知，通过对发布者建立人物画像、判断视频所造成的舆论倾向、判断视频的分类结果及视频情感变化的趋势综合分析的结果对视频分类是否属于负面舆论视频，在出现负面舆论的视频内容、视频已造成一定的负面舆论影响且视频发布者粉丝众多、传播快，则需要生成一份人工干预及时来稳定舆论倾向，从而不仅对视频分析出其所属分类，以便于使用者从众多的视频资源快速获取到想要的视频资源，而且能视频分析出视频所造成的影响，以及时干预使得视频传播更加正能量。
进一步地，所述步骤S2具体为：
复制一份所述待分类视频；
将复制的所述待分类视频分割成预设时间段的视频小片段，并对每一个所述视频小片段进行标记；
提取每一个所述视频小片段的语音数据，过滤每一段所述语音数据的其他声道干扰信息，保留主要声道信息，并分析每一段所述语音数据的主要声道信息的语音情感特征并得到其情感特征类别；
统计所有所述视频小片段中出现次数最多的前N个情感特征类别，即为第一视频类别；
所述步骤S3具体为：
复制一份所述待分类视频；
将复制的所述待分类视频分割成预设时间段的视频小片段，并对每一个所述视频小片段进行标记；
对每一个所述视频小片段都进行复制备用；
将备用的所述每一个视频小片段分解出每一帧图片信息；
分析每一个所述视频小片段的每一帧图片信息的归属类别，得到每一个所述视频小片段的归属类别，统计所有所述视频小片段中出现次数最多的前M个归属类别，即为第二视频类别。
进一步地，所述步骤S2中得到所述第一视频类别之后还包括：
判断每一个所述视频小片段所对应的语音数据的情感特征类别与所述第一视频类别是否一致，若是一致，则记录类别一致的所述视频小片段的标记，得到第一索引；
将所述第一索引中标记被连续记录的视频小片段依次整合为所述第一视频类别的关键视频片段；
所述步骤S3中得到所述第二视频类别之后还包括：
判断每一个所述视频小片段中所有图片信息的归属类别与所述第二视频类别的一致率是否超过预设比例，若超过，则记录类别一致率超过预设比例的所述视频小片段的标记，得到第二索引；
将所述第二索引中标记被连续记录的视频小片段整合为所述第二视频类别的关键视频片段。
从上述描述可知，在对视频进行分类之后，通过对每一个视频片段都设置有标记来作为索引，以根据索引的头尾来确定连续性的关键视频片段，该关键视频片段代表了视频的所属类别且能形成一个连贯的内容，使得使用者通过观看该关键视频片段就能得出整段视频所要表达的内容。
进一步地，所述步骤S3替换为：
复制一份所述待分类视频；
将复制的所述待分类视频分解出每一帧图片信息，并对每一帧图片信息进行标记；
分析每一帧图片信息的归属类别，统计所有图片信息中出现次数最多的前M个归属类别，即为第二视频类别；
所述步骤S3中得到所述第二视频类别之后还包括：
从第一帧图片信息开始判断，判断第一帧图片信息到第X帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，若是，则将第一帧图片信息标记为索引开始，并继续判断第二帧图片信息到第X+1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，直到第Y帧图片信息到第X+Y-1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，则记录第X+Y-1帧图片信息为索引结束，然后继续判断第Y+1帧图片信息到第X+Y帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，直到最后一帧图片信息；
若第一帧图片信息到第X帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，则继续判断第二帧图片信息到第X+1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，直到第Z帧图片信息到第X+Z-1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，则将第Z帧图片信息标记为索引开始，继续判断第Z+1帧图片信息到第X+Z帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，直到第Z+O帧图片信息到第Z+O+X-1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，则记录第Z+O+X-1帧图片信息为索引结束，然后继续判断第Z+O+1帧图片信息到第Z+O+X帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，直到最后一帧图片信息；
将前一索引开始的图片信息与后一索引结束的图片信息之间的所有图片信息整合为所述第二视频类别的关键视频片段。
从上述描述可知，采用连续帧的分类一致性片段来得到关键视频片段，从而能更得到更为准确且精减的关键视频片段，以使得使用者花费更少的时间就能得到整个视频所要表达的内容。
请参照图2，一种视频处理终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
S1、预设关键信息，自动爬取符合所述关键信息的待分类视频；
S2、分析所述待分类视频的语音信息的语音情感特征并得到其情感特征类别，根据所述情感特征类别得到所述待分类视频的第一视频类别；
S3、分析所述待分类视频的每一帧图片信息的归属类别以得到所述待分类视频的第二视频类别；
S4、根据所述待分类视频的第一视频类别和第二视频类别以得到所述待分类视频的分类结果。
从上述描述可知，本发明的有益效果在于：通过预设关键信息以获取到视频信息，根据视频信息的语音信息来进行自动提取及分析出语音情感特征，以得到待分类视频在情感特征上的视频类别，其中，语音情感特征包括哭泣、欢笑、生气等等，通过分析每一帧图片信息的归属类别，以得到待分类视频的归属类别，比如电视剧、电影、综艺等等，从而得到更为合理有效的视频分类结果。
进一步地，所述步骤S1中还包括获取所述待分类视频的视频信息，所述视频信息包括发布者个人信息和视频影响内容，所述发布者个人信息包括身份信息、账号属性信息、行为属性信息、视频生产偏好以及是否为负面视频关注者，所述视频影响内容包括视频长度、观看人数、弹幕信息、评论人数和评论信息；
所述处理器执行所述计算机程序中的所述步骤S2时还包括实现以下步骤：
根据所述发布者个人信息生成发布者的人物画像信息；
根据所述视频影响内容得到所述待分类视频所造成的舆论倾向；
通过分析所述待分类视频中人物运动强度、人物人脸表情和语音情感特征以得出人物情感特征，通过分析待分类视频的镜头切换速率、音频能量、视频整体背景颜色特征、亮度特征、运动向量幅度值和镜头长度以得出视频表达情感特征，根据所述人物情感特征和所述视频表达情感特征以得到所述待分类视频的主要情感特征和情感特征变化轨迹，机器学习所述视频情感特征变化轨迹并预测未来的情感特征变化趋势；
所述处理器执行所述计算机程序中的所述步骤S4之后还实现以下步骤：
根据所述发布者的人物画像信息、所述待分类视频所造成的舆论倾向、所述待分类视频的分类结果和所述情感特征变化趋势判断所述待分类视频是否属于负面舆论视频并判断是否需要进行人工干预并提供人工干预方案，所述人工干预方案用于对所述负面舆论视频所造成的负面舆论倾向进行人工干预。
从上述描述可知，通过对发布者建立人物画像、判断视频所造成的舆论倾向、判断视频的分类结果及视频情感变化的趋势综合分析的结果对视频分类是否属于负面舆论视频，在出现负面舆论的视频内容、视频已造成一定的负面舆论影响且视频发布者粉丝众多、传播快，则需要生成一份人工干预及时来稳定舆论倾向，从而不仅对视频分析出其所属分类，以便于使用者从众多的视频资源快速获取到想要的视频资源，而且能视频分析出视频所造成的影响，以及时干预使得视频传播更加正能量。
进一步地，所述处理器执行所述计算机程序中的所述步骤S2时具体实现以下步骤：
复制一份所述待分类视频；
将复制的所述待分类视频分割成预设时间段的视频小片段，并对每一个所述视频小片段进行标记；
提取每一个所述视频小片段的语音数据，过滤每一段所述语音数据的其他声道干扰信息，保留主要声道信息，并分析每一段所述语音数据的主要声道信息的语音情感特征并得到其情感特征类别；
统计所有所述视频小片段中出现次数最多的前N个情感特征类别，即为第一视频类别；
所述处理器执行所述计算机程序中的所述步骤S3时具体实现以下步骤：
复制一份所述待分类视频；
将复制的所述待分类视频分割成预设时间段的视频小片段，并对每一个所述视频小片段进行标记；
对每一个所述视频小片段都进行复制备用；
将备用的所述每一个视频小片段分解出每一帧图片信息；
分析每一个所述视频小片段的每一帧图片信息的归属类别，得到每一个所述视频小片段的归属类别，统计所有所述视频小片段中出现次数最多的前M个归属类别，即为第二视频类别。
进一步地，所述处理器执行所述计算机程序中的所述步骤S2中得到所述第一视频类别之后还实现以下步骤：
判断每一个所述视频小片段所对应的语音数据的情感特征类别与所述第一视频类别是否一致，若是一致，则记录类别一致的所述视频小片段的标记，得到第一索引；
将所述第一索引中标记被连续记录的视频小片段依次整合为所述第一视频类别的关键视频片段；
所述处理器执行所述计算机程序中的所述步骤S3中得到所述第二视频类别之后还实现以下步骤：
判断每一个所述视频小片段中所有图片信息的归属类别与所述第二视频类别的一致率是否超过预设比例，若超过，则记录类别一致率超过预设比例的所述视频小片段的标记，得到第二索引；
将所述第二索引中标记被连续记录的视频小片段整合为所述第二视频类别的关键视频片段。
从上述描述可知，在对视频进行分类之后，通过对每一个视频片段都设置有标记来作为索引，以根据索引的头尾来确定连续性的关键视频片段，该关键视频片段代表了视频的所属类别且能形成一个连贯的内容，使得使用者通过观看该关键视频片段就能得出整段视频所要表达的内容。
进一步地，所述处理器执行所述计算机程序中的所述步骤S3时替换为实现以下步骤：
复制一份所述待分类视频；
将复制的所述待分类视频分解出每一帧图片信息，并对每一帧图片信息进行标记；
分析每一帧图片信息的归属类别，统计所有图片信息中出现次数最多的前M个归属类别，即为第二视频类别；
所述处理器执行所述计算机程序中的所述步骤S3中得到所述第二视频类别之后还实现以下步骤：
从第一帧图片信息开始判断，判断第一帧图片信息到第X帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，若是，则将第一帧图片信息标记为索引开始，并继续判断第二帧图片信息到第X+1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，直到第Y帧图片信息到第X+Y-1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，则记录第X+Y-1帧图片信息为索引结束，然后继续判断第Y+1帧图片信息到第X+Y帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，直到最后一帧图片信息；
若第一帧图片信息到第X帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，则继续判断第二帧图片信息到第X+1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，直到第Z帧图片信息到第X+Z-1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，则将第Z帧图片信息标记为索引开始，继续判断第Z+1帧图片信息到第X+Z帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，直到第Z+O帧图片信息到第Z+O+X-1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，则记录第Z+O+X-1帧图片信息为索引结束，然后继续判断第Z+O+1帧图片信息到第Z+O+X帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，直到最后一帧图片信息；
将前一索引开始的图片信息与后一索引结束的图片信息之间的所有图片信息整合为所述第二视频类别的关键视频片段。
从上述描述可知，采用连续帧的分类一致性片段来得到关键视频片段，从而能更得到更为准确且精减的关键视频片段，以使得使用者花费更少的时间就能得到整个视频所要表达的内容。
请参照图1，本发明的实施例一为：
一种视频处理方法，包括步骤：
S1、预设关键信息，自动爬取符合关键信息的待分类视频；
具体的，关键信息包括文字、图片、音频、视频片段及待提取的视频网站(比如抖音、今日头条等)。依据预设关键信息，自动爬取符合关键信息的视频并收录到本地数据库来处理，收录的内容包括待分类视频的视频信息，视频信息包括发布者个人信息和视频影响内容，发布者个人信息包括身份信息、账号属性信息、行为属性信息、视频生产偏好以及是否为负面视频关注者；身份信息包括人的基本属性，比如性别、年龄段、地域、个人兴趣爱好等；账号属性信息包括该账号的粉丝数、评论数、评论舆论倾向等；视频生产爱好不仅体现该账号喜欢生产的视频的类别，也体现该账号喜欢生产的视频是否为负面的；负面视频关注者该账号所关注的账号所生产的视频中是否包括负面舆论视频；视频影响内容包括视频长度、观看人数、弹幕信息、评论人数和评论信息；
S2、分析待分类视频的语音信息的语音情感特征并得到其情感特征类别，根据情感特征类别得到待分类视频的第一视频类别；
在本实施例中上述步骤具体如下：复制一份待分类视频；将复制的待分类视频分割成预设时间段的视频小片段，并对每一个视频小片段进行标记；提取每一个视频小片段的语音数据，过滤每一段语音数据的其他声道干扰信息，保留主要声道信息，并分析每一段语音数据的主要声道信息的语音情感特征并得到其情感特征类别；统计所有视频小片段中出现次数最多的前N个情感特征类别，即为第一视频类别；在本实施例中，标记即为第几段视频小片段，比如标记为1即为第一段视频小片段；在本实施例中，预设时间段为4秒，N为2，即第一视频类别包括2个情感特征类别，以尽可能减少误判归类；
判断每一个视频小片段所对应的语音数据的情感特征类别与第一视频类别是否一致，若是一致，则记录类别一致的视频小片段的标记，得到第一索引；将第一索引中标记被连续记录的视频小片段依次整合为第一视频类别的关键视频片段；在本实施例中，假设有一段20秒的视频，则分为五段视频小片段，每一段视频小片段的标记依次位1、2、3、4和5，其中，标记1、2、5的视频小片段的情感特征类别为A类，标记为3、4的视频小片段的情感特征类别为B类，由此，得到第一视频类别包括A类和B类，其中，A类的第一索引为1，2和5，则A类的关键视频片段为第一段和第二段视频小片段的整合，B类的第一索引为3和4，则B类的关键视频片段为第三段和第四段视频小片段的整合；
在步骤S2中，本实施例还包括步骤：
根据发布者个人信息生成发布者的人物画像信息；
根据视频影响内容得到待分类视频所造成的舆论倾向，其中弹幕信息和评论信息体现其视频所造成的舆论倾向，观看人数体现舆论倾向的传播程度，评论人数体现舆论倾向的影响程度；
通过分析待分类视频中人物运动强度、人物人脸表情和语音情感特征以得出人物情感特征，通过分析待分类视频的镜头切换速率、音频能量、视频整体背景颜色特征、亮度特征、运动向量幅度值和镜头长度以得出视频表达情感特征，根据人物情感特征和视频表达情感特征以得到待分类视频的主要情感特征和情感特征变化轨迹，机器学习视频情感特征变化轨迹并预测未来的情感特征变化趋势；
S3、分析待分类视频的每一帧图片信息的归属类别以得到待分类视频的第二视频类别；
在本实施例中上述步骤具体如下：复制一份待分类视频；将复制的待分类视频分割成预设时间段的视频小片段，并对每一个视频小片段进行标记；对每一个视频小片段都进行复制备用；将备用的每一个视频小片段分解出每一帧图片信息；分析每一个视频小片段的每一帧图片信息的归属类别，得到每一个视频小片段的归属类别，统计所有视频小片段中出现次数最多的前M个归属类别，即为第二视频类别；在本实施例中，标记即为第几段视频小片段，比如标记为1即为第一段视频小片段；在本实施例中，预设时间段为4秒，M为2，即第二视频类别包括2个归属类别，以尽可能减少误判归类；
判断每一个视频小片段中所有图片信息的归属类别与第二视频类别的一致率超过预设比例，若超过，则记录类别一致率超过预设比例的视频小片段的标记，得到第二索引；将第二索引中标记被连续记录的视频小片段整合为第二视频类别的关键视频片段；在本实施例中，假设有一段20秒的视频，则分为五段视频小片段，每一段视频小片段的标记依次位1、2、3、4和5，其中，标记1、3、4的视频小片段的归属类别为C类，标记为2、5的视频小片段的归属类别为D类，由此，得到第一视频类别包括C类和D类，其中，判断第一段、第三段和第四段的视频小片段中所有图片信息的归属类别与第二视频类别的一致率超过预设比例，预设比例可以为80％，其中，第三段和第四段的一致率超过80％，则C类的第二索引为3和4，则C类的关键视频片段为第三段和第四段视频小片段的整合，由此得到D类的第二索引为5，则D类的关键视频片段为第五段视频小片段；
在本实施例中整合为关键视频片段是指确定关键视频片段的索引区间，在其他等同实施例中可以通过该索引区间去截屏或保存关键视频片段；
S4、根据待分类视频的第一视频类别和第二视频类别以得到待分类视频的分类结果；
在步骤S4之后，本实施例还包括：
根据发布者的人物画像信息、待分类视频所造成的舆论倾向、待分类视频的分类结果和情感特征变化趋势判断待分类视频是否属于负面舆论视频并判断是否需要进行人工干预并提供人工干预方案，人工干预方案用于对负面舆论视频所造成的负面舆论倾向进行人工干预，即根据发布者的人物画像信息、待分类视频所造成的舆论倾向、待分类视频的分类结果和情感特征变化趋势判断待分类视频判断为负面舆论视频，若负面舆论视频已造成一定的负面影响，再者视频发布者粉丝众多且传播快，则需要人工干预来及时稳定舆论倾向，并且根据负面影响的程度，进行处理的先后顺序安排。
在本实施例中，是使用基于浏览器本地实时处理视频，这样可以不用占用大量的网络资源；如果是直播或监控类视频，这样可以不用占用额外的网络资源。
请参照图1，本发明的实施例二为：
一种视频处理方法，在上述实施例一的基础上，将上述实施例一的步骤S3替换为：
复制一份待分类视频；将复制的待分类视频分解出每一帧图片信息，并对每一帧图片信息进行标记；分析每一帧图片信息的归属类别，统计所有图片信息中出现次数最多的前M个归属类别，即为第二视频类别，在本实施例中，预设时间段为4秒，M为2，即第二视频类别包括2个归属类别，以尽可能减少误判归类，假设有一段20秒的视频，一秒视频为20帧，则有400帧图片信息，其中有240帧为E类，118帧为F类，则第二视频类别包括E类和F类；
从第一帧图片信息开始判断，判断第一帧图片信息到第X帧图片信息中所有图片信息的归属类别与第二视频类别一致的比例是否超过S，若是，则将第一帧图片信息标记为索引开始，并继续判断第二帧图片信息到第X+1帧图片信息中所有图片信息的归属类别与第二视频类别一致的比例是否超过S，直到第Y帧图片信息到第X+Y-1帧图片信息中所有图片信息的归属类别与第二视频类别一致的比例是否不超过S，则记录第X+Y-1帧图片信息为索引结束，然后继续判断第Y+1帧图片信息到第X+Y帧图片信息中所有图片信息的归属类别与第二视频类别一致的比例是否不超过S，直到最后一帧图片信息；即比如第1帧图片信息到第20帧图片信息中所有图片信息的归属类别与第二视频类别中E类一致的比例超过80％，则将第1帧图片信息记为索引开始，然后继续判断第2帧到第21帧，直到第106帧图片信息到第125帧图片信息中所有图片信息的归属类别与第二视频类别中E类一致的比例不超过80％，则将第125帧图片信息记为索引结束，从第107帧到126帧开始直到第381帧到400帧，期间，第292帧图片信息也记为索引开始，第400帧图片信息也记为索引结束，同理得到F类中，第124帧图片信息为索引开始，第242帧图片信息为索引结束；
若第一帧图片信息到第X帧图片信息中所有图片信息的归属类别与第二视频类别一致的比例是否不超过S，则继续判断第二帧图片信息到第X+1帧图片信息中所有图片信息的归属类别与第二视频类别一致的比例是否超过S，直到第Z帧图片信息到第X+Z-1帧图片信息中所有图片信息的归属类别与第二视频类别一致的比例是否超过S，则将第Z帧图片信息标记为索引开始，继续判断第Z+1帧图片信息到第X+Z帧图片信息中所有图片信息的归属类别与第二视频类别一致的比例是否超过S，直到第Z+O帧图片信息到第Z+O+X-1帧图片信息中所有图片信息的归属类别与第二视频类别一致的比例是否不超过S，则记录第Z+O+X-1帧图片信息为索引结束，然后继续判断第Z+O+1帧图片信息到第Z+O+X帧图片信息中所有图片信息的归属类别与第二视频类别一致的比例是否不超过S，直到最后一帧图片信息；在其他等同实施例中，若第1帧图片信息到第20帧图片信息中所有图片信息的归属类别与第二视频类别中E类一致的比例不超过80％，则继续判断第2帧到第21帧，直到第26帧到底45帧的比例超过80％，则第26帧图片信息记为索引开始，其他参照上述描述；
将前一索引开始的图片信息与后一索引结束的图片信息之间的所有图片信息整合为第二视频类别的关键视频片段，由此，在本实施例中分别有：E类包括记为索引开始第1帧图片信息、记为索引结束的第125帧图片信息、记为索引结束的第292帧图片信息和记为索引结束的第400帧图片信息，即E类的关键视频片段包括两段，一段是第1帧图片信息到第125帧图片信息，另一段是第292帧图片信息到第400帧图片信息；F类包括记为索引开始第124帧图片信息、记为索引结束的第242帧图片信息，则F类的关键视频片段为第124帧图片信息到第242帧图片信息，由此，对于关键视频片段截取精确到每一帧，从而能更得到更为准确且精减的关键视频片段。
请参照图1，本发明的实施例三为：
一种视频处理终端1，包括存储器3、处理器2及存储在存储器3上并可在处理器2上运行的计算机程序，处理器2执行计算机程序时实现上述实施例一或实施例二的步骤。
综上所述，本发明提供的一种视频处理方法及终端，是在浏览器开发的接口标准基础上提供一种新的视频处理方法，通过预设关键信息以获取到视频信息，根据视频信息的语音信息来进行自动提取及分析出语音情感特征，以得到待分类视频在情感特征上的视频类别，通过分析每一帧图片信息的归属类别，以得到待分类视频的归属类别，从而得到更为合理有效的视频分类结果；同时，通过对发布者建立人物画像、判断视频所造成的舆论倾向、判断视频的分类结果及视频情感变化的趋势综合分析的结果对视频分类是否属于负面舆论视频，在出现负面舆论的视频内容、视频已造成一定的负面舆论影响且视频发布者粉丝众多、传播快，则需要生成一份人工干预及时来稳定舆论倾向，以使得视频传播更加正能量；另外，在对视频进行分类之后，通过对每一个视频片段都设置有标记来作为索引，以根据索引的头尾来确定连续性的关键视频片段，使得使用者通过观看该关键视频片段就能得出整段视频所要表达的内容；而采用连续帧的分类一致性片段来得到关键视频片段，从而能更得到更为准确且精减的关键视频片段，以使得使用者花费更少的时间就能得到整个视频所要表达的内容。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种视频处理方法，其特征在于，包括步骤：
S1、预设关键信息，自动爬取符合所述关键信息的待分类视频；
S2、分析所述待分类视频的语音信息的语音情感特征并得到其情感特征类别，根据所述情感特征类别得到所述待分类视频的第一视频类别；
S3、分析所述待分类视频的每一帧图片信息的归属类别以得到所述待分类视频的第二视频类别；
S4、根据所述待分类视频的第一视频类别和第二视频类别以得到所述待分类视频的分类结果。
2.根据权利要求1所述的一种视频处理方法，其特征在于，所述步骤S1中还包括获取所述待分类视频的视频信息，所述视频信息包括发布者个人信息和视频影响内容，所述发布者个人信息包括身份信息、账号属性信息、行为属性信息、视频生产偏好以及是否为负面视频关注者，所述视频影响内容包括视频长度、观看人数、弹幕信息、评论人数和评论信息；
所述步骤S2还包括：
根据所述发布者个人信息生成发布者的人物画像信息；
根据所述视频影响内容得到所述待分类视频所造成的舆论倾向；
通过分析所述待分类视频中人物运动强度、人物人脸表情和语音情感特征以得出人物情感特征，通过分析待分类视频的镜头切换速率、音频能量、视频整体背景颜色特征、亮度特征、运动向量幅度值和镜头长度以得出视频表达情感特征，根据所述人物情感特征和所述视频表达情感特征以得到所述待分类视频的主要情感特征和情感特征变化轨迹，机器学习所述视频情感特征变化轨迹并预测未来的情感特征变化趋势；
所述步骤S4之后包括：
根据所述发布者的人物画像信息、所述待分类视频所造成的舆论倾向、所述待分类视频的分类结果和所述情感特征变化趋势判断所述待分类视频是否属于负面舆论视频并判断是否需要进行人工干预并提供人工干预方案，所述人工干预方案用于对所述负面舆论视频所造成的负面舆论倾向进行人工干预。
3.根据权利要求1所述的一种视频处理方法，其特征在于，所述步骤S2具体为：
复制一份所述待分类视频；
将复制的所述待分类视频分割成预设时间段的视频小片段，并对每一个所述视频小片段进行标记；
提取每一个所述视频小片段的语音数据，过滤每一段所述语音数据的其他声道干扰信息，保留主要声道信息，并分析每一段所述语音数据的主要声道信息的语音情感特征并得到其情感特征类别；
统计所有所述视频小片段中出现次数最多的前N个情感特征类别，即为第一视频类别；
所述步骤S3具体为：
复制一份所述待分类视频；
将复制的所述待分类视频分割成预设时间段的视频小片段，并对每一个所述视频小片段进行标记；
对每一个所述视频小片段都进行复制备用；
将备用的所述每一个视频小片段分解出每一帧图片信息；
分析每一个所述视频小片段的每一帧图片信息的归属类别，得到每一个所述视频小片段的归属类别，统计所有所述视频小片段中出现次数最多的前M个归属类别，即为第二视频类别。
4.根据权利要求3所述的一种视频处理方法，其特征在于，所述步骤S2中得到所述第一视频类别之后还包括：
判断每一个所述视频小片段所对应的语音数据的情感特征类别与所述第一视频类别是否一致，若是一致，则记录类别一致的所述视频小片段的标记，得到第一索引；
将所述第一索引中标记被连续记录的视频小片段依次整合为所述第一视频类别的关键视频片段；
所述步骤S3中得到所述第二视频类别之后还包括：
判断每一个所述视频小片段中所有图片信息的归属类别与所述第二视频类别的一致率是否超过预设比例，若超过，则记录类别一致率超过预设比例的所述视频小片段的标记，得到第二索引；
将所述第二索引中标记被连续记录的视频小片段整合为所述第二视频类别的关键视频片段。
5.根据权利要求3所述的一种视频处理方法，其特征在于，所述步骤S3替换为：
复制一份所述待分类视频；
将复制的所述待分类视频分解出每一帧图片信息，并对每一帧图片信息进行标记；
分析每一帧图片信息的归属类别，统计所有图片信息中出现次数最多的前M个归属类别，即为第二视频类别；
所述步骤S3中得到所述第二视频类别之后还包括：
从第一帧图片信息开始判断，判断第一帧图片信息到第X帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，若是，则将第一帧图片信息标记为索引开始，并继续判断第二帧图片信息到第X+1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，直到第Y帧图片信息到第X+Y-1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，则记录第X+Y-1帧图片信息为索引结束，然后继续判断第Y+1帧图片信息到第X+Y帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，直到最后一帧图片信息；
若第一帧图片信息到第X帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，则继续判断第二帧图片信息到第X+1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，直到第Z帧图片信息到第X+Z-1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，则将第Z帧图片信息标记为索引开始，继续判断第Z+1帧图片信息到第X+Z帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，直到第Z+O帧图片信息到第Z+O+X-1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，则记录第Z+O+X-1帧图片信息为索引结束，然后继续判断第Z+O+1帧图片信息到第Z+O+X帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，直到最后一帧图片信息；
将前一索引开始的图片信息与后一索引结束的图片信息之间的所有图片信息整合为所述第二视频类别的关键视频片段。
6.一种视频处理终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
S1、预设关键信息，自动爬取符合所述关键信息的待分类视频；
S2、分析所述待分类视频的语音信息的语音情感特征并得到其情感特征类别，根据所述情感特征类别得到所述待分类视频的第一视频类别；
S3、分析所述待分类视频的每一帧图片信息的归属类别以得到所述待分类视频的第二视频类别；
S4、根据所述待分类视频的第一视频类别和第二视频类别以得到所述待分类视频的分类结果。
7.根据权利要求6所述的一种视频处理终端，其特征在于，所述步骤S1中还包括获取所述待分类视频的视频信息，所述视频信息包括发布者个人信息和视频影响内容，所述发布者个人信息包括身份信息、账号属性信息、行为属性信息、视频生产偏好以及是否为负面视频关注者，所述视频影响内容包括视频长度、观看人数、弹幕信息、评论人数和评论信息；
所述处理器执行所述计算机程序中的所述步骤S2时还包括实现以下步骤：
根据所述发布者个人信息生成发布者的人物画像信息；
根据所述视频影响内容得到所述待分类视频所造成的舆论倾向；
通过分析所述待分类视频中人物运动强度、人物人脸表情和语音情感特征以得出人物情感特征，通过分析待分类视频的镜头切换速率、音频能量、视频整体背景颜色特征、亮度特征、运动向量幅度值和镜头长度以得出视频表达情感特征，根据所述人物情感特征和所述视频表达情感特征以得到所述待分类视频的主要情感特征和情感特征变化轨迹，机器学习所述视频情感特征变化轨迹并预测未来的情感特征变化趋势；
所述处理器执行所述计算机程序中的所述步骤S4之后还实现以下步骤：
根据所述发布者的人物画像信息、所述待分类视频所造成的舆论倾向、所述待分类视频的分类结果和所述情感特征变化趋势判断所述待分类视频是否属于负面舆论视频并判断是否需要进行人工干预并提供人工干预方案，所述人工干预方案用于对所述负面舆论视频所造成的负面舆论倾向进行人工干预。
8.根据权利要求6所述的一种视频处理终端，其特征在于，所述处理器执行所述计算机程序中的所述步骤S2时具体实现以下步骤：
复制一份所述待分类视频；
将复制的所述待分类视频分割成预设时间段的视频小片段，并对每一个所述视频小片段进行标记；
提取每一个所述视频小片段的语音数据，过滤每一段所述语音数据的其他声道干扰信息，保留主要声道信息，并分析每一段所述语音数据的主要声道信息的语音情感特征并得到其情感特征类别；
统计所有所述视频小片段中出现次数最多的前N个情感特征类别，即为第一视频类别；
所述处理器执行所述计算机程序中的所述步骤S3时具体实现以下步骤：
复制一份所述待分类视频；
将复制的所述待分类视频分割成预设时间段的视频小片段，并对每一个所述视频小片段进行标记；
对每一个所述视频小片段都进行复制备用；
将备用的所述每一个视频小片段分解出每一帧图片信息；
分析每一个所述视频小片段的每一帧图片信息的归属类别，得到每一个所述视频小片段的归属类别，统计所有所述视频小片段中出现次数最多的前M个归属类别，即为第二视频类别。
9.根据权利要求8所述的一种视频处理终端，其特征在于，所述处理器执行所述计算机程序中的所述步骤S2中得到所述第一视频类别之后还实现以下步骤：
判断每一个所述视频小片段所对应的语音数据的情感特征类别与所述第一视频类别是否一致，若是一致，则记录类别一致的所述视频小片段的标记，得到第一索引；
将所述第一索引中标记被连续记录的视频小片段依次整合为所述第一视频类别的关键视频片段；
所述处理器执行所述计算机程序中的所述步骤S3中得到所述第二视频类别之后还实现以下步骤：
判断每一个所述视频小片段中所有图片信息的归属类别与所述第二视频类别的一致率是否超过预设比例，若超过，则记录类别一致率超过预设比例的所述视频小片段的标记，得到第二索引；
将所述第二索引中标记被连续记录的视频小片段整合为所述第二视频类别的关键视频片段。
10.根据权利要求8所述的一种视频处理终端，其特征在于，所述处理器执行所述计算机程序中的所述步骤S3时替换为实现以下步骤：
复制一份所述待分类视频；
将复制的所述待分类视频分解出每一帧图片信息，并对每一帧图片信息进行标记；
分析每一帧图片信息的归属类别，统计所有图片信息中出现次数最多的前M个归属类别，即为第二视频类别；
所述处理器执行所述计算机程序中的所述步骤S3中得到所述第二视频类别之后还实现以下步骤：
从第一帧图片信息开始判断，判断第一帧图片信息到第X帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，若是，则将第一帧图片信息标记为索引开始，并继续判断第二帧图片信息到第X+1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，直到第Y帧图片信息到第X+Y-1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，则记录第X+Y-1帧图片信息为索引结束，然后继续判断第Y+1帧图片信息到第X+Y帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，直到最后一帧图片信息；
若第一帧图片信息到第X帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，则继续判断第二帧图片信息到第X+1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，直到第Z帧图片信息到第X+Z-1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，则将第Z帧图片信息标记为索引开始，继续判断第Z+1帧图片信息到第X+Z帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否超过S，直到第Z+O帧图片信息到第Z+O+X-1帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，则记录第Z+O+X-1帧图片信息为索引结束，然后继续判断第Z+O+1帧图片信息到第Z+O+X帧图片信息中所有图片信息的归属类别与所述第二视频类别一致的比例是否不超过S，直到最后一帧图片信息；
将前一索引开始的图片信息与后一索引结束的图片信息之间的所有图片信息整合为所述第二视频类别的关键视频片段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911392176.5A CN111163366B (zh) | 2019-12-30 | 2019-12-30 | 一种视频处理方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911392176.5A CN111163366B (zh) | 2019-12-30 | 2019-12-30 | 一种视频处理方法及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111163366A true CN111163366A (zh) | 2020-05-15 |
| CN111163366B CN111163366B (zh) | 2022-01-18 |
Family
ID=70558960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911392176.5A Active CN111163366B (zh) | 2019-12-30 | 2019-12-30 | 一种视频处理方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111163366B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860237A (zh) * | 2020-07-07 | 2020-10-30 | 中国科学技术大学 | 一种视频情感片段的识别方法及装置 |
| CN114401445A (zh) * | 2021-12-31 | 2022-04-26 | 深圳云天励飞技术股份有限公司 | 视频处理控制方法、装置、监控设备、客户端及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005001715A1 (en) * | 2003-06-30 | 2005-01-06 | Koninklijke Philips Electronics, N.V. | System and method for generating a multimedia summary of multimedia streams |
| CN102509084A (zh) * | 2011-11-18 | 2012-06-20 | 中国科学院自动化研究所 | 一种基于多示例学习的恐怖视频场景识别方法 |
| CN105976809A (zh) * | 2016-05-25 | 2016-09-28 | 中国地质大学（武汉） | 基于语音和面部表情的双模态情感融合的识别方法及系统 |
| US20160328384A1 (en) * | 2015-05-04 | 2016-11-10 | Sri International | Exploiting multi-modal affect and semantics to assess the persuasiveness of a video |
| CN107256392A (zh) * | 2017-06-05 | 2017-10-17 | 南京邮电大学 | 一种联合图像、语音的全面情绪识别方法 |
| US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
| CN108701144A (zh) * | 2016-11-28 | 2018-10-23 | 微软技术许可有限责任公司 | 自动从视频中检测表达情感的内容以及丰富图像索引 |
| CN109344781A (zh) * | 2018-10-11 | 2019-02-15 | 上海极链网络科技有限公司 | 一种基于声音视觉联合特征的视频内表情识别方法 |
| CN109359636A (zh) * | 2018-12-14 | 2019-02-19 | 腾讯科技（深圳）有限公司 | 视频分类方法、装置及服务器 |
| CN110019938A (zh) * | 2017-11-29 | 2019-07-16 | 深圳Tcl新技术有限公司 | 基于rgb分类的视频信息检索方法、装置及存储介质 |
| CN110162669A (zh) * | 2019-04-04 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 视频分类处理方法、装置、计算机设备及存储介质 |
| CN110263215A (zh) * | 2019-05-09 | 2019-09-20 | 众安信息技术服务有限公司 | 一种视频情感定位方法及系统 |
| CN110287313A (zh) * | 2019-05-20 | 2019-09-27 | 阿里巴巴集团控股有限公司 | 一种风险主体的确定方法及服务器 |
-
2019
- 2019-12-30 CN CN201911392176.5A patent/CN111163366B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005001715A1 (en) * | 2003-06-30 | 2005-01-06 | Koninklijke Philips Electronics, N.V. | System and method for generating a multimedia summary of multimedia streams |
| CN102509084A (zh) * | 2011-11-18 | 2012-06-20 | 中国科学院自动化研究所 | 一种基于多示例学习的恐怖视频场景识别方法 |
| US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
| US20160328384A1 (en) * | 2015-05-04 | 2016-11-10 | Sri International | Exploiting multi-modal affect and semantics to assess the persuasiveness of a video |
| CN105976809A (zh) * | 2016-05-25 | 2016-09-28 | 中国地质大学（武汉） | 基于语音和面部表情的双模态情感融合的识别方法及系统 |
| CN108701144A (zh) * | 2016-11-28 | 2018-10-23 | 微软技术许可有限责任公司 | 自动从视频中检测表达情感的内容以及丰富图像索引 |
| CN107256392A (zh) * | 2017-06-05 | 2017-10-17 | 南京邮电大学 | 一种联合图像、语音的全面情绪识别方法 |
| CN110019938A (zh) * | 2017-11-29 | 2019-07-16 | 深圳Tcl新技术有限公司 | 基于rgb分类的视频信息检索方法、装置及存储介质 |
| CN109344781A (zh) * | 2018-10-11 | 2019-02-15 | 上海极链网络科技有限公司 | 一种基于声音视觉联合特征的视频内表情识别方法 |
| CN109359636A (zh) * | 2018-12-14 | 2019-02-19 | 腾讯科技（深圳）有限公司 | 视频分类方法、装置及服务器 |
| CN110162669A (zh) * | 2019-04-04 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 视频分类处理方法、装置、计算机设备及存储介质 |
| CN110263215A (zh) * | 2019-05-09 | 2019-09-20 | 众安信息技术服务有限公司 | 一种视频情感定位方法及系统 |
| CN110287313A (zh) * | 2019-05-20 | 2019-09-27 | 阿里巴巴集团控股有限公司 | 一种风险主体的确定方法及服务器 |
Non-Patent Citations (2)
| Title |
|---|
| 王亚迪等: "基于情感特征融合的视频恐怖场景检测算法", 《扬州大学学报(自然科学版)》 * |
| 郑等: "情感分析及可视化方法在网络视频弹幕数据分析中的应用", 《现代图书情报技术》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860237A (zh) * | 2020-07-07 | 2020-10-30 | 中国科学技术大学 | 一种视频情感片段的识别方法及装置 |
| CN111860237B (zh) * | 2020-07-07 | 2022-09-06 | 中国科学技术大学 | 一种视频情感片段的识别方法及装置 |
| CN114401445A (zh) * | 2021-12-31 | 2022-04-26 | 深圳云天励飞技术股份有限公司 | 视频处理控制方法、装置、监控设备、客户端及存储介质 |
| CN114401445B (zh) * | 2021-12-31 | 2024-03-22 | 深圳云天励飞技术股份有限公司 | 视频处理控制方法、装置、监控设备、客户端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111163366B (zh) | 2022-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10277946B2 (en) | Methods and systems for aggregation and organization of multimedia data acquired from a plurality of sources | |
| CN109819325B (zh) | 热点视频标注处理方法、装置、计算机设备及存储介质 | |
| US9715731B2 (en) | Selecting a high valence representative image | |
| US9471936B2 (en) | Web identity to social media identity correlation | |
| KR101967086B1 (ko) | 비디오 스트림들의 엔티티 기반 시간적 세그먼트화 | |
| CN106202475B (zh) | 一种视频推荐列表的推送方法及装置 | |
| US20160014482A1 (en) | Systems and Methods for Generating Video Summary Sequences From One or More Video Segments | |
| Moorthy et al. | Towards computational models of the visual aesthetic appeal of consumer videos | |
| US20150296228A1 (en) | Systems and Methods for Performing Multi-Modal Video Datastream Segmentation | |
| EP3367676A1 (en) | Video content analysis for automatic demographics recognition of users and videos | |
| WO2023011094A1 (zh) | 视频编辑方法、装置、电子设备以及存储介质 | |
| Ellis et al. | Why we watch the news: a dataset for exploring sentiment in broadcast video news | |
| CN111314732A (zh) | 确定视频标签的方法、服务器及存储介质 | |
| CN111163366B (zh) | 一种视频处理方法及终端 | |
| US9740695B2 (en) | Method for enriching a multimedia content, and corresponding device | |
| Gygli et al. | Analyzing and predicting GIF interestingness | |
| US20190258629A1 (en) | Data mining method based on mixed-type data | |
| WO2021114634A1 (zh) | 文本标注方法、设备及存储介质 | |
| US20200257724A1 (en) | Methods, devices, and storage media for content retrieval | |
| Tiwari et al. | Multimodal multiplatform social media event summarization | |
| Dhall et al. | Emotiw 2023: Emotion recognition in the wild challenge | |
| Mircoli et al. | Automatic extraction of affective metadata from videos through emotion recognition algorithms | |
| CN110888896B (zh) | 数据搜寻方法及其数据搜寻系统 | |
| CN115484474A (zh) | 视频剪辑处理方法、装置、电子设备及存储介质 | |
| Jang et al. | On the Virality of Animated GIFs on Tumblr |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |