CN107247919A - 一种视频情感内容的获取方法及系统 - Google Patents

一种视频情感内容的获取方法及系统 Download PDF

Info

Publication number
CN107247919A
CN107247919A CN201710292284.XA CN201710292284A CN107247919A CN 107247919 A CN107247919 A CN 107247919A CN 201710292284 A CN201710292284 A CN 201710292284A CN 107247919 A CN107247919 A CN 107247919A
Authority
CN
China
Prior art keywords
video
key frame
sequence
face
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710292284.XA
Other languages
English (en)
Inventor
朱映映
江政波
钟圣华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201710292284.XA priority Critical patent/CN107247919A/zh
Publication of CN107247919A publication Critical patent/CN107247919A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用于视频情感内容分析，提供了一种视频情感内容的获取方法，包括：接收待分析视频，获取所述待分析视频的音频和视频特征及关键帧，将所述关键帧分割成若干感兴趣块，并提取所述感兴趣块的图片特征，根据所述音频和视频特征和所述感兴趣块的图片特征进行视频情感内容分析，得到所述待分析视频的视频情感内容。本发明不仅仅利用传统的音频和视频特征，还利用了待分析视频的图片特征来进行视频情感内容的分析，相较于传统的视频情感内容分析方法，本发明实施例在分类问题上提高了视频情感内容识别的准确率，在预测问题上降低了均方误差。

Description

一种视频情感内容的获取方法及系统
技术领域
本发明属于视频技术领域，尤其涉及一种视频情感内容的获取方法及系统。
背景技术
随着视频数量的爆炸性增长，自动化的视频内容分析技术在很多应用场景中承担着重要的角色，比如视频检索、视频总结、视频质量评估等。因此，亟需一种能够自动分析视频内容的技术来帮助更好地管理和组织视频，同时通过这些技术可以帮助用户更快的找到满足其期待的视频集合。传统的视频内容分析技术关注点侧重于视频的语义内容，比如视频内容是关于运动类别的还是新闻事件的。众所周知，当观众观看视频的时候，他们的情绪状态很容易受到视频的内容影响。比如看恐怖电影的时候，观众会感到非常恐怖，相应地，看喜剧的时候会感觉到高兴。如今越来越多的人在互联网上检索视频以满足各种情感需求，比如释放压力、打发无聊。因此有必要去分析视频内容能够给观看者带来怎样的情绪，以及预计视频内容对观众情绪影响的程度大小。不同于传统的视频内容分析技术关注点是视频里面发生的主要事件，视频情感内容分析则是侧重于去预测视频可能带来的情绪反应。通过视频情感内容分析技术，电影制作者和导演可以改变其技术去制作更加符合当前用户情感趋势的电影，用户也可以通过输入其情感需求关键字等去获取更加符合心意的视频作品。
视频情感内容分析技术大致可以分为两种：一种是直接去分析视频的内容来预测其可能产生的情绪，另一种是间接的通过一些物理设备去分析观看者的情绪响应。上述两种方法均大致可以分成两个步骤：特征提取、特征映射。本申请的发明人在实施本申请的过程中发现，在预测观众观看视频后可能产生的情绪方面，间接的方法具有较高的预测准确率，但是在特征提取这一步，需要用户穿戴一些传感器和脑电仪等设备，无形中干扰了观众真实的想法，同时使用该方法收集特征也需要较多的人力和财力去收集生理信号等。而不同于间接的方法需要其他的设备和全程的人员参与，直接的视频情感内容分析技术仅仅需要分析视频内容去预测其可能带给观看者的情绪，仅仅在训练阶段需要收集用户的打分，后期预测完全不需要观看者的参与。目前关于直接的视频情感内容分析技术大多数关注于怎样有效的提取更多的特征用于视频情感内容分析，而没有通过技术去分析在大量的高维特征中哪些与情绪相关，同时哪些特征能够有效地传播视频的情感信息。
发明内容
本发明所要解决的技术问题在于提供一种视频情感内容的获取方法及系统，旨在解决现有技术中没有通过技术去分析在大量的高维特征中哪些与情绪相关，同时哪些特征能够有效地传播视频的情感信息。
本发明是这样实现的，一种视频情感内容的获取方法，包括：
接收待分析视频；
获取所述待分析视频的音频和视频特征及关键帧；
将所述关键帧分割成若干感兴趣块，并提取所述感兴趣块的图片特征；
根据所述音频和视频特征和所述感兴趣块的图片特征进行视频情感内容分析，得到所述待分析视频的视频情感内容。
进一步地，所述将所述关键帧分割成若干感兴趣块，并提取所述感兴趣块的图片特征包括：
对所述关键帧进行距离顺序排序，得到排序后的关键帧序列；
按照预置提取规则从所述关键帧序列中提取若干待分割关键帧；
利用尺寸不变特征变换算法检测所述待分割关键帧的关键点，根据检测结果对所述待分割关键帧进行分割，得到若干所述感兴趣块；
利用卷积神经网络提取所述感兴趣区域的图片特征。
进一步地，所述对所述关键帧进行距离顺序排序，得到排序后的关键帧序列包括：
获取每一关键帧的颜色直方图，并根据所有所述关键帧的颜色直方图计算平均颜色直方图；
计算每一关键帧的颜色直方图与所述平均颜色直方图的曼哈顿距离；
按照曼哈顿距离由短到长的顺序，对所述关键帧进行排序，得到排序后的关键帧序列。
进一步地，在对所述关键帧进行顺序排序，得到排序后的关键帧序列之后，还包括：
对所述关键帧序列中的关键帧进行人脸检测，根据检测结果得到包含人脸的关键帧和不包含人脸的关键帧；
按照预置排序规则构成不包含人脸的关键帧的无人脸序列，及包含人脸的关键帧的人脸序列；
则所述按照预置提取规则从所述关键帧序列中提取若干待分割关键帧包括；
保留所述无人脸序列和所述人脸序列中的每一关键帧在所述关键帧序列中的相对顺序；
根据所述无人脸序列和所述人脸序列构建新的关键帧序列；
从所述新的关键帧序列中顺序提取若干关键帧，作为待分割关键帧。
进一步地，所述根据所述音频和视频特征和所述感兴趣块的图片特征进行视频情感内容分析，得到所述待分析视频的视频情感内容包括：
将所述音频和视频特征和所述感兴趣块的图片特征进行线性融合，得到特征集合；
以径向基函数为核函数，采用支持向量机和支持向量回归将所述特征集合映射到情感空间中，得到所述待分析视频的视频情感内容。
本发明还提供了一种视频情感内容的获取系统，包括：
获取单元，用于接收待分析视频，获取所述待分析视频的音频和视频特征及关键帧；
分割单元，用于将所述关键帧分割成若干感兴趣块，并提取所述感兴趣块的图片特征；
分析单元，用于根据所述音频和视频特征和所述感兴趣块的图片特征进行视频情感内容分析，得到所述待分析视频的视频情感内容。
进一步地，所述分割单元包括：
关键帧排序模块，用于对所述关键帧进行距离顺序排序，得到排序后的关键帧序列；
关键帧提取模块，用于按照预置提取规则从所述关键帧序列中提取若干待分割关键帧；
关键帧分割模块，用于利用尺寸不变特征变换算法检测所述待分割关键帧的关键点，根据检测结果对所述待分割关键帧进行分割，得到若干所述感兴趣块；
特征提取模块，用于利用卷积神经网络提取所述感兴趣区域的图片特征。
进一步地，所述关键帧排序模块具体用于：
获取每一关键帧的颜色直方图，并根据所有所述关键帧的颜色直方图计算平均颜色直方图；
计算每一关键帧的颜色直方图与所述平均颜色直方图的曼哈顿距离；
按照曼哈顿距离由短到长的顺序，对所述关键帧进行排序，得到排序后的关键帧序列。
进一步地，所述关键帧排序模块还用于：
对所述关键帧序列中的关键帧进行人脸检测，根据检测结果得到包含人脸的关键帧和不包含人脸的关键帧；
按照预置排序规则构成不包含人脸的关键帧的无人脸序列，及包含人脸的关键帧的人脸序列；
则所述关键帧提取模块还用于；
保留所述无人脸序列和所述人脸序列中的每一关键帧在所述关键帧序列中的相对顺序；
根据所述无人脸序列和所述人脸序列构建新的关键帧序列；
从所述新的关键帧序列中顺序提取若干关键帧，作为待分割关键帧。
进一步地，所述分析单元具体用于：
将所述音频和视频特征和所述感兴趣块的图片特征进行线性融合，得到特征集合；
以径向基函数为核函数，采用支持向量机和支持向量回归将所述特征集合映射到情感空间中，得到所述待分析视频的视频情感内容。
本发明与现有技术相比，有益效果在于：本发明实施例通过获取待分析视频的音频和视频特征及关键帧，将该关键帧分割成若感兴趣块并获取该感兴趣块的图片特征，最后用待分析视频的音频和视频特征集图片特征进行视频情感内容的分析，并最终得到该待分析视频的视频情感内容。本发明不仅仅利用传统的音频和视频特征，还利用了待分析视频的图片特征来进行视频情感内容的分析，相较于传统的视频情感内容分析方法，本发明实施例在分类问题上提高了视频情感内容识别的准确率，在预测问题上降低了均方误差。
附图说明
图1是本发明一实施例提供的视频情感内容的获取方法的流程图；
图2是本发明另一实施例提供的视频情感内容的获取方法的流程图；
图3是本发明又一实施例提供的视频情感内容的获取方法的流程图；
图4是本发明又一实施例提供的视频情感内容的获取系统的结构示意图；
图5是本发明又一实施例提供的分割单元的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1示出了本发明一实施例提供视频情感内容的获取方法，包括：
S101，接收待分析视频。
S102，获取所述待分析视频的音频和视频特征及关键帧。
S103，将所述关键帧分割成若干感兴趣块，并提取所述感兴趣块的图片特征。
在本步骤中，利用尺度不变特征变换(Scale-invariant feature transform，SIFT)描述子来检测关键帧中的关键点，并根据检测结果将关键帧分割成一个个的感兴趣块(patch)，最后利用卷积神经网络(Convolutional Neural Network，CNN)提取这些感兴趣块的深度特征用于下一步地视频情感内容分析。
S104，根据所述音频和视频特征和所述感兴趣块的图片特征进行视频情感内容分析，得到所述待分析视频的视频情感内容。
图2示出了本发明提供另一实施例，一种视频情感内容的获取方法，包括：
S201，接收待分析视频。
S202，获取所述待分析视频的音频和视频特征及关键帧。
S203，对所述关键帧进行距离顺序排序，得到排序后的关键帧序列。
S204，按照预置提取规则从所述关键帧序列中提取若干待分割关键帧。
在本步骤中，提取关键帧序列中的前几个关键帧用于视频情感内容分析。
S205，利用尺寸不变特征变换算法检测所述待分割关键帧的关键点，根据检测结果对所述待分割关键帧进行分割，得到若干所述感兴趣块；
S206，利用卷积神经网络提取所述感兴趣区域的图片特征。
S207，将所述音频和视频特征和所述感兴趣块的图片特征进行线性融合，得到特征集合。
S208，以径向基函数为核函数，采用支持向量机和支持向量回归将所述特征集合映射到情感空间中，得到所述待分析视频的视频情感内容。
在上述步骤S203中，获取每一关键帧的RGB颜色直方图，并根据所有所述关键帧的RGB颜色直方图计算平均颜色直方图，计算每一关键帧的颜色直方图与所述平均颜色直方图的曼哈顿距离，最后按照曼哈顿距离由短到长的顺序，对所述关键帧进行排序，得到排序后的关键帧序列。
为了能够根据待分析视频中的关键人物，特别是主角的情绪变化进行视频情感内容分析，在步骤203之后，还包括：对所述关键帧序列中的关键帧进行人脸检测，根据检测结果得到包含人脸的关键帧和不包含人脸的关键帧；按照预置排序规则构成不包含人脸的关键帧的无人脸序列，及包含人脸的关键帧的人脸序列，则步骤S204具体包括：保留所述无人脸序列和所述人脸序列中的每一关键帧在所述关键帧序列中的相对顺序；根据所述无人脸序列和所述人脸序列构建新的关键帧序列；从所述新的关键帧序列中顺序提取若干关键帧，作为待分割关键帧。
下面结合图3对本实施例进行进一步地解释：
本发明实施例提供的视频情感内容的获取方法的主要流程如图3所示，对于进入获取系统的每一待分析视频，提取其音频和视频特征，以及关键帧等特征。在提取完关键帧后采用人脸检测的方法提取关键帧中包含人脸的关键帧，利用SIFT算子将这些带人脸的关键帧分割成多个的感兴趣块(patch)。对于从同一个视频中提取的感兴趣块标记相同的标签。接下来需要利用卷积神经网络(CNN)提取感兴趣块对应的图片特征。这里采用之前在ImageNet上训练好的模型来初始化整个网络，从关键帧中提取的感兴趣块则作为网络的输入部分，网络fc7层的权值则作为最终的图片特征输出。在获得了待分析视频的这些特征(音频、视频、图片)后，采用SVM(Support vector machine，支持向量机)和SVR(supportvector regression，支持向量回归)进行视频情感内容分析。
以下为各个部分的详细介绍：
一、特征提取
在发明提供的实施例中，采用三种不同的特征来进行情感分析：音频、视频和静态图像特征。关于视频和音频特征本实施例采用的有：Mel Frequency CepstralCoefficents(梅尔频率倒谱系数)、audio flatness(音频平整度)、colorfulness(色度)、median lightness(平均亮度)、normalized number of white frames(归一化白帧数)、number of scene cuts per frame(每帧镜头数)、cut length(镜头长度)、zero-crossingrate(高过零比)、max saliency count(最大显著数)。
以下介绍静态图像特征的提取过程：
假设一个待分析视频V包含n个关键帧，V＝{F1,F2,...,Fn-1,Fn},其中Fi定义为待分析视频V中的第i个关键帧，第i个关键帧的RGB颜色直方图定义为H(Fi).两个关键帧i和j之间的曼哈顿距离D通过下面的公式计算获得：
D(Fi,Fj)＝|H(Fi)-H(Fj)| (1)
对应的关键帧通过公式(2)计算，它被定义为距离待分析视频V中所有关键帧的平均RGB颜色直方图最近的帧。
其中为计算所有帧的平均RGB颜色直方图。将待分析视频V中的所有关键帧按照它与平均RGB颜色直方图的曼哈顿距离进行排序，得到了一个关键帧序列L＝{F1′,F2′,...,F′n-1,Fn′}，其中Fn′是距离平均RGB颜色直方图距离最远的关键帧。提取序列L中的前几个关键帧用于视频情感内容分析。在获取了关键帧后，采用SIFT来检测关键帧中的关键点，并将关键帧分割成一个个感兴趣块(patch)。最后利用卷积神经网络(CNN)提取这些小块的深度特征用于下一步的视频情感内容分析。
二、基于主角属性的视频情感内容分析
而在实际观影效果中，观众在观看视频的时候更容易受到关键人物的人脸，特别是主角的吸引进而产生对应的情绪，因此在本实施例中还考虑到不能仅仅是将整个关键帧用于视频情感内容分析，而应该有所甄别。在上述的关键帧提取中获得了一个关键帧序列L＝{F1′,F2′,...,F′n-1,Fn′}。为了获得更加强有力的特征用于情感分析，本实施例对上述序列L中的关键帧进行人脸检测，那些不包含人脸的关键帧构成一个新的序列La，剩下包含人脸的则构成序列Lb。序列a和b中的关键帧都保留了他们在原始序列L中相对的顺序。最终得到了一个待分析视频V中新的所有关键帧的序列L'如下：
L′＝{Lb,La} (3)
考虑到一个关键帧不够用来表征待分析视频的情感内容，本实施例中采用新的所有关键帧的序列L′的前几个关键帧用来进行情感内容分析。对于任一个关键帧，并不是所有的部分都能够用来表征视频的情感内容，因此本实施例采用SIFT描述子去检测关键帧中的关键点，然后基于这些关键点将关键帧分割成一个个的感兴趣块。假设待分析视频片段V中，X是从待分析视频V中提取的音频和视频特征，经过关键帧提取和分割的步骤后获得了n个感兴趣块，则V＝{P1,P2,...,Pn-1,Pn}，其中Pn是从V中提取的第n个感兴趣块。对于感兴趣块Pn，采用一个提前训练好的卷积神网络模型，获得了一个4096维度的特征向量最终对这些提取到的图片特征及音频和视频特征进行公式(4)的线性融合。
其中f(Pi)被定义为第i个感兴趣块用于视频情感内容分析的特征集合。对于待分析视频V，最终用于情感计算的特征集合f(V)如下：
经过上述几个特征提取步骤后，待分析视频V被扩充到n个感兴趣块(patch)用来进行情感分析，在本实施例中，从同一个待分析视频V中提取的感兴趣块的标签都是相同的。在将这些特征用于情感分析之前，本实施例对所有提取到的特征进行数据标准化操作，最后采用SVM和SVR将特征映射到情感空间中，具体地，本实施例利用LIBSVM实现SVM和SVR，其中采用RBF作为核函数，利用网格搜索获取c,γ和p参数的值。
对比之前用于视频情感内容分析的方法，本实施例一定程度上提高了视频情感内容识别的准确率(在分类问题上)、降低了均方误差(在预测问题上)，这主要得益于以下几点：
1、在特征提取这一步，不止利用传统的音频和视频等特征，还加入了视频的静态图像特征，同时提取特征的方法也不是采用简单的纹理、颜色、形状等较为底层的特征，而是利用卷积神经网络去提取更加深层的特征。
2、将关键帧用于情感内容分析过程中不是粗暴的直接将整个关键帧用于情感分析，而是利用SIFT描述子检测到关键点后再根据关键点提取感兴趣块并用于最后的结果分析。
3、传统的特征提取仅仅考虑提取更多的特征，而忽略了在这些特征中哪些特征是能够有效地用来传递情感信息，本实施例中首次提出并采用基于主角属性(即人脸)进行视频情感内容分析。
本发明还提供了如图4所示的一种视频情感内容的获取系统，包括：
获取单元401，用于接收待分析视频，获取所述待分析视频的音频和视频特征及关键帧；
分割单元402，用于将所述关键帧分割成若干感兴趣块，并提取所述感兴趣块的图片特征；
分析单元403，用于根据所述音频和视频特征和所述感兴趣块的图片特征进行视频情感内容分析，得到所述待分析视频的视频情感内容。
进一步地，如图5所示，分割单元402包括：
关键帧排序模块4021，用于对所述关键帧进行距离顺序排序，得到排序后的关键帧序列；
关键帧提取模块4022，用于按照预置提取规则从所述关键帧序列中提取若干待分割关键帧；
关键帧分割模块4023，用于利用尺寸不变特征变换算法检测所述待分割关键帧的关键点，根据检测结果对所述待分割关键帧进行分割，得到若干所述感兴趣块；
特征提取模块4024，用于利用卷积神经网络提取所述感兴趣区域的图片特征。
进一步地，关键帧排序模块4021具体用于：
获取每一关键帧的颜色直方图，并根据所有所述关键帧的颜色直方图计算平均颜色直方图；
计算每一关键帧的颜色直方图与所述平均颜色直方图的曼哈顿距离；
按照曼哈顿距离由短到长的顺序，对所述关键帧进行排序，得到排序后的关键帧序列。
进一步地，关键帧排序模块4021还用于：
对所述关键帧序列中的关键帧进行人脸检测，根据检测结果得到包含人脸的关键帧和不包含人脸的关键帧；
按照预置排序规则构成不包含人脸的关键帧的无人脸序列，及包含人脸的关键帧的人脸序列；
则关键帧提取模块4022还用于；
保留所述无人脸序列和所述人脸序列中的每一关键帧在所述关键帧序列中的相对顺序；
根据所述无人脸序列和所述人脸序列构建新的关键帧序列；
从所述新的关键帧序列中顺序提取若干关键帧，作为待分割关键帧。
进一步地，分析单元403具体用于：
将所述音频和视频特征和所述感兴趣块的图片特征进行线性融合，得到特征集合；
以径向基函数为核函数，采用支持向量机和支持向量回归将所述特征集合映射到情感空间中，得到所述待分析视频的视频情感内容。
本发明提供的上述实施例可用于自动识别、预测电影可能带来的情绪响应，像大型视频网站可以利用本发明提供的上述实施例进行视频分类和标注。上述实施例对于构造具有情感的机器人具有一定的启发作用，机器人通过获取其所看到的画面去预测一个正常人应该有的反应从而自身(机器人)做出符合人类反应的情绪响应。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频情感内容的获取方法，其特征在于，包括：
接收待分析视频；
获取所述待分析视频的音频和视频特征及关键帧；
将所述关键帧分割成若干感兴趣块，并提取所述感兴趣块的图片特征；
根据所述音频和视频特征和所述感兴趣块的图片特征进行视频情感内容分析，得到所述待分析视频的视频情感内容。
2.如权利要求1所述的获取方法，其特征在于，所述将所述关键帧分割成若干感兴趣块，并提取所述感兴趣块的图片特征包括：
对所述关键帧进行距离顺序排序，得到排序后的关键帧序列；
按照预置提取规则从所述关键帧序列中提取若干待分割关键帧；
利用尺寸不变特征变换算法检测所述待分割关键帧的关键点，根据检测结果对所述待分割关键帧进行分割，得到若干所述感兴趣块；
利用卷积神经网络提取所述感兴趣区域的图片特征。
3.如权利要求1所述的获取方法，其特征在于，所述对所述关键帧进行距离顺序排序，得到排序后的关键帧序列包括：
获取每一关键帧的颜色直方图，并根据所有所述关键帧的颜色直方图计算平均颜色直方图；
计算每一关键帧的颜色直方图与所述平均颜色直方图的曼哈顿距离；
按照曼哈顿距离由短到长的顺序，对所述关键帧进行排序，得到排序后的关键帧序列。
4.如权利要求2或3所述的获取方法，其特征在于，在对所述关键帧进行顺序排序，得到排序后的关键帧序列之后，还包括：
对所述关键帧序列中的关键帧进行人脸检测，根据检测结果得到包含人脸的关键帧和不包含人脸的关键帧；
按照预置排序规则构成不包含人脸的关键帧的无人脸序列，及包含人脸的关键帧的人脸序列；
则所述按照预置提取规则从所述关键帧序列中提取若干待分割关键帧包括；
保留所述无人脸序列和所述人脸序列中的每一关键帧在所述关键帧序列中的相对顺序；
根据所述无人脸序列和所述人脸序列构建新的关键帧序列；
从所述新的关键帧序列中顺序提取若干关键帧，作为待分割关键帧。
5.如权利要求1所述的获取方法，其特征在于，所述根据所述音频和视频特征和所述感兴趣块的图片特征进行视频情感内容分析，得到所述待分析视频的视频情感内容包括：
将所述音频和视频特征和所述感兴趣块的图片特征进行线性融合，得到特征集合；
以径向基函数为核函数，采用支持向量机和支持向量回归将所述特征集合映射到情感空间中，得到所述待分析视频的视频情感内容。
6.一种视频情感内容的获取系统，其特征在于，包括：
获取单元，用于接收待分析视频，获取所述待分析视频的音频和视频特征及关键帧；
分割单元，用于将所述关键帧分割成若干感兴趣块，并提取所述感兴趣块的图片特征；
分析单元，用于根据所述音频和视频特征和所述感兴趣块的图片特征进行视频情感内容分析，得到所述待分析视频的视频情感内容。
7.如权利要求6所述的获取系统，其特征在于，所述分割单元包括：
关键帧排序模块，用于对所述关键帧进行距离顺序排序，得到排序后的关键帧序列；
关键帧提取模块，用于按照预置提取规则从所述关键帧序列中提取若干待分割关键帧；
关键帧分割模块，用于利用尺寸不变特征变换算法检测所述待分割关键帧的关键点，根据检测结果对所述待分割关键帧进行分割，得到若干所述感兴趣块；
特征提取模块，用于利用卷积神经网络提取所述感兴趣区域的图片特征。
8.如权利要求6所述的获取系统，其特征在于，所述关键帧排序模块具体用于：
获取每一关键帧的颜色直方图，并根据所有所述关键帧的颜色直方图计算平均颜色直方图；
计算每一关键帧的颜色直方图与所述平均颜色直方图的曼哈顿距离；
按照曼哈顿距离由短到长的顺序，对所述关键帧进行排序，得到排序后的关键帧序列。
9.如权利要求7或8所述的获取系统，其特征在于，所述关键帧排序模块还用于：
对所述关键帧序列中的关键帧进行人脸检测，根据检测结果得到包含人脸的关键帧和不包含人脸的关键帧；
按照预置排序规则构成不包含人脸的关键帧的无人脸序列，及包含人脸的关键帧的人脸序列；
则所述关键帧提取模块还用于；
保留所述无人脸序列和所述人脸序列中的每一关键帧在所述关键帧序列中的相对顺序；
根据所述无人脸序列和所述人脸序列构建新的关键帧序列；
从所述新的关键帧序列中顺序提取若干关键帧，作为待分割关键帧。
10.如权利要求6所述的获取系统，其特征在于，所述分析单元具体用于：
将所述音频和视频特征和所述感兴趣块的图片特征进行线性融合，得到特征集合；
以径向基函数为核函数，采用支持向量机和支持向量回归将所述特征集合映射到情感空间中，得到所述待分析视频的视频情感内容。
CN201710292284.XA 2017-04-28 2017-04-28 一种视频情感内容的获取方法及系统 Pending CN107247919A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710292284.XA CN107247919A (zh) 2017-04-28 2017-04-28 一种视频情感内容的获取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710292284.XA CN107247919A (zh) 2017-04-28 2017-04-28 一种视频情感内容的获取方法及系统

Publications (1)

Publication Number Publication Date
CN107247919A true CN107247919A (zh) 2017-10-13

Family

ID=60016903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710292284.XA Pending CN107247919A (zh) 2017-04-28 2017-04-28 一种视频情感内容的获取方法及系统

Country Status (1)

Country Link
CN (1) CN107247919A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491455A (zh) * 2018-03-01 2018-09-04 广东欧珀移动通信有限公司 播放控制方法及相关产品
CN109376603A (zh) * 2018-09-25 2019-02-22 北京周同科技有限公司 一种视频识别方法、装置、计算机设备及存储介质
CN109460786A (zh) * 2018-10-25 2019-03-12 重庆鲁班机器人技术研究院有限公司 儿童特长分析方法、装置及机器人
CN109783684A (zh) * 2019-01-25 2019-05-21 科大讯飞股份有限公司 一种视频的情感识别方法、装置、设备及可读存储介质
CN109993025A (zh) * 2017-12-29 2019-07-09 中移（杭州）信息技术有限公司 一种关键帧提取方法及设备
CN110650364A (zh) * 2019-09-27 2020-01-03 北京达佳互联信息技术有限公司 视频态度标签提取方法及基于视频的交互方法
CN110971969A (zh) * 2019-12-09 2020-04-07 北京字节跳动网络技术有限公司 视频配乐方法、装置、电子设备及计算机可读存储介质
CN111292765A (zh) * 2019-11-21 2020-06-16 台州学院 一种融合多个深度学习模型的双模态情感识别方法
CN111479108A (zh) * 2020-03-12 2020-07-31 上海交通大学 基于神经网络的视频及音频联合质量评价方法和装置
CN113408385A (zh) * 2021-06-10 2021-09-17 华南理工大学 一种音视频多模态情感分类方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593273A (zh) * 2009-08-13 2009-12-02 北京邮电大学 一种基于模糊综合评价的视频情感内容识别方法
CN102509084A (zh) * 2011-11-18 2012-06-20 中国科学院自动化研究所 一种基于多示例学习的恐怖视频场景识别方法
CN104463139A (zh) * 2014-12-23 2015-03-25 福州大学 一种音频情感驱动下的体育视频精彩事件检测方法
CN105138991A (zh) * 2015-08-27 2015-12-09 山东工商学院 一种基于情感显著性特征融合的视频情感识别方法
CN106303675A (zh) * 2016-08-24 2017-01-04 北京奇艺世纪科技有限公司 一种视频片段提取方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593273A (zh) * 2009-08-13 2009-12-02 北京邮电大学 一种基于模糊综合评价的视频情感内容识别方法
CN102509084A (zh) * 2011-11-18 2012-06-20 中国科学院自动化研究所 一种基于多示例学习的恐怖视频场景识别方法
CN104463139A (zh) * 2014-12-23 2015-03-25 福州大学 一种音频情感驱动下的体育视频精彩事件检测方法
CN105138991A (zh) * 2015-08-27 2015-12-09 山东工商学院 一种基于情感显著性特征融合的视频情感识别方法
CN106303675A (zh) * 2016-08-24 2017-01-04 北京奇艺世纪科技有限公司 一种视频片段提取方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YINGYING ZHU ET AL: ""Video Affective Content analysis based on protagonist via Convolutional Neural Network"", 《PACIFIC RIM CONFERENCE ON MULTIMEDIA SPRINGER INTERNATIONAL PUBLISHING》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993025B (zh) * 2017-12-29 2021-07-06 中移（杭州）信息技术有限公司 一种关键帧提取方法及设备
CN109993025A (zh) * 2017-12-29 2019-07-09 中移（杭州）信息技术有限公司 一种关键帧提取方法及设备
CN108491455A (zh) * 2018-03-01 2018-09-04 广东欧珀移动通信有限公司 播放控制方法及相关产品
CN109376603A (zh) * 2018-09-25 2019-02-22 北京周同科技有限公司 一种视频识别方法、装置、计算机设备及存储介质
CN109460786A (zh) * 2018-10-25 2019-03-12 重庆鲁班机器人技术研究院有限公司 儿童特长分析方法、装置及机器人
CN109783684A (zh) * 2019-01-25 2019-05-21 科大讯飞股份有限公司 一种视频的情感识别方法、装置、设备及可读存储介质
CN110650364A (zh) * 2019-09-27 2020-01-03 北京达佳互联信息技术有限公司 视频态度标签提取方法及基于视频的交互方法
CN110650364B (zh) * 2019-09-27 2022-04-01 北京达佳互联信息技术有限公司 视频态度标签提取方法及基于视频的交互方法
CN111292765A (zh) * 2019-11-21 2020-06-16 台州学院 一种融合多个深度学习模型的双模态情感识别方法
CN110971969A (zh) * 2019-12-09 2020-04-07 北京字节跳动网络技术有限公司 视频配乐方法、装置、电子设备及计算机可读存储介质
CN110971969B (zh) * 2019-12-09 2021-09-07 北京字节跳动网络技术有限公司 视频配乐方法、装置、电子设备及计算机可读存储介质
CN111479108B (zh) * 2020-03-12 2021-05-07 上海交通大学 基于神经网络的视频及音频联合质量评价方法和装置
CN111479108A (zh) * 2020-03-12 2020-07-31 上海交通大学 基于神经网络的视频及音频联合质量评价方法和装置
CN113408385A (zh) * 2021-06-10 2021-09-17 华南理工大学 一种音视频多模态情感分类方法及系统
CN113408385B (zh) * 2021-06-10 2022-06-14 华南理工大学 一种音视频多模态情感分类方法及系统

Similar Documents

Publication Publication Date Title
CN107247919A (zh) 一种视频情感内容的获取方法及系统
US10528821B2 (en) Video segmentation techniques
US11126853B2 (en) Video to data
CN111428088B (zh) 视频分类方法、装置及服务器
CN101281540B (zh) 用于处理信息的设备、方法和计算机程序
CN109376603A (zh) 一种视频识别方法、装置、计算机设备及存储介质
CN108509465A (zh) 一种视频数据的推荐方法、装置和服务器
Sreeja et al. Towards genre-specific frameworks for video summarisation: A survey
CN108600865A (zh) 一种基于超像素分割的视频摘要生成方法
Li et al. Videography-based unconstrained video analysis
JP2018534700A (ja) メディアコンテンツのパフォーマンスの即時予測のための方法及び装置
Lin et al. Automatic highlights extraction for drama video using music emotion and human face features
Maddumala Big Data-Driven Feature Extraction and Clustering Based on Statistical Methods.
Zhang et al. Image composition assessment with saliency-augmented multi-pattern pooling
Minaee et al. Ad-net: Audio-visual convolutional neural network for advertisement detection in videos
US8270731B2 (en) Image classification using range information
Theodoridis et al. Music recommendation using hypergraphs and group sparsity
CN112685596A (zh) 视频推荐方法及装置、终端、存储介质
Park et al. Multimodal learning model based on video–audio–chat feature fusion for detecting e-sports highlights
Qiao et al. Joint learning of audio–visual saliency prediction and sound source localization on multi-face videos
Tapu et al. DEEP-AD: a multimodal temporal video segmentation framework for online video advertising
CN116980665A (zh) 一种视频处理方法、装置、计算机设备、介质及产品
WO2021147084A1 (en) Systems and methods for emotion recognition in user-generated video(ugv)
Mironică et al. An in-depth evaluation of multimodal video genre categorization
Darji et al. A review of video classification techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171013