CN113850247A - 一种融合文本信息的旅游视频情感分析系统 - Google Patents

Abstract

本发明提供了一种融合文本信息的旅游视频情感分析系统，包括人脸提取模块、表情分析模块、文本分析模块和综合处理模块，所述人脸提取模块用于在旅游视频中追踪人脸的位置，并截取人脸位置的图像发送至所述表情分析模块，所述表情分析模块从接收的人脸图像中对眼部周围和嘴部周围进行特征提取，并根据多张连续人脸图像的特征变化分析得到喜恶度，所述文本分析模块对视频的文本信息进行关键词提取，根据关键词处理得到情感向量，所述综合处理模块结合所述情感向量和所述喜恶度分析得到旅游视频的情感标签；该系统通过采用图像处理技术分析视频人物表情的变化并结合已有的文本介绍更加快捷准确地对旅游视频进行标签划分。

Description

一种融合文本信息的旅游视频情感分析系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种融合文本信息的旅游视频情感分析系统。

背景技术

游客常常会拍摄旅游视频上传到网上用于表达自己的情感，景点方通过对旅游视频的分析获取游客的情感表达作为景点改进的依据，传统的分析方法包括人工分析和文本分析，人工分析速度慢，成本高，文本分析不够准确，现需要一种更加高效准确的情感分析系统快速处理大量旅游视频。

现在已经开发出了很多且情感分析系统，经过我们大量的检索与参考，发现现有的分析系统有如公开号为KR20180019417A，KR1020170085732A、CN105976809B和KR1020140022331A所公开的系统，方法包括：获取待识别对象的音频数据和视频数据；从视频数据中提取人脸表情图像，并进行眼睛、鼻子、嘴巴区域的分割；从三个区域的图像中提取每个区域图像中的面部表情特征；对语音情感特征和面部表情特征进行PCA分析降维；将两种模态样本进行朴素贝叶斯的情感语音分类，并将条件概率进行决策级融合，得到最终情感识别结果。但该系统只是根据图像来获取情感，对旅游视频的分析没有针对性，分析的结果不够准确。

发明内容

本发明的目的在于，针对所存在的不足，提出了一种融合文本信息的旅游视频情感分析系统，

本发明采用如下技术方案：

一种融合文本信息的旅游视频情感分析系统，包括人脸提取模块、表情分析模块、文本分析模块和综合处理模块，所述人脸提取模块用于在旅游视频中追踪人脸图像，所述表情分析模块对人脸图像进行分析得到喜恶度，所述文本分析模块对视频的文本信息进行处理得到情感向量，所述综合处理模块结合所述情感向量和所述喜恶度得到旅游视频的情感标签；

所述表情分析模块根据像素点的灰度值获取到三个特殊区域，所述三个特殊区域的重心点满足如下要求：

；

其中，(x₁，y₁)、(x₂，y₂)和(x₃，y₃)分别为三个重心点的坐标，△1、△2和△3为三个可信误差；

以三个重心点为基础框定三个特征分析区域，所述特征分析区域的范围比所述特殊区域大，在每个特征分析区域内搜索一条特征线，所述特征线上的像素点称为特征点，所述特征点灰度值g(x，y)满足如下条件：

g(x，y-2)<g(x，y-1)<g(x，y)>g(x，y+1)>g(x，y+2)；

所述表情分析模块计算三个重心点的特征值P₁、P₂、P₃：

；

；

；

其中，(x(i)，y(i))表示重心点对应的特征线上第i个像素点的坐标，m为一条特征线上特征点的个数；

所述表情分析模块对三个特征值进行处理得到综合特征值Pz：

；

所述表情分析模块对用于分析的图片的综合特征值进行处理得到喜恶度W：

；

其中，N为用于分析的图片的数量，Pz(i)表示第i张图片的综合特征值；

所述文本分析模块从文本信息中获取情感向量(a₁，a₂，a₃，...，a_M)，a_i表示文本信息中包含的第i类情感关键词的数量，M表示情感关键词的类别数量；

所述综合处理模块结合喜恶度W与情感向量(a₁，a₂，a₃，...，a_M)计算出每一类情感的情感程度A_i：

；

当A_i大于阈值时，其对应的情感类别作为该视频的标签；

进一步的，所述人脸提取模块从旅游视频中按固定的间隔帧获取图片构成图片组，每张图片作为所述表情分析模块的分析图片；

进一步的，所述表情分析模块在人脸图像中获取灰度值小于阈值的像素点构成集合，并在集合内依次删除灰度值最大的像素点直至所述集合中的像素点形成三个分离的特殊区域；

进一步的，所述表情分析模块在所述特殊区域内依次删除灰度值最大的像素点直至所述特殊区域的重心点坐标满足要求；

进一步的，所述特征线能够由多条特征短线拼接而成，所述特征短线上的像素点需满足特征线上的像素点相同的灰度要求。

本发明所取得的有益效果是：

本系统通过对旅游视频中主要人物的面部表情进行特征提取，分析处理得到喜恶度，再结合由文本信息获得的情感向量计算得到情感标签，整个过程能够由程序快速实现，提高对视频的处理效率，在特征提取过程中，主要通过对眼部和嘴部周围容易产生变化的地方进行分析，不同的情感状态下这些部位的特征值具有明显的不同，再结合已有的文字信息，提高对视频情感分析的准确性。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。

图1为整体结构框架示意图；

图2为偏移状态下的差图示意图；

图3为人脸图像内特殊区域效果示意图；

图4为特征分析区域内特征线效果示意图；

图5为表情分析模块处理流程示意图。

具体实施方式

为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内，包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位，以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

实施例一。

本实施例提供了一种融合文本信息的旅游视频情感分析系统，结合图1，包括人脸提取模块、表情分析模块、文本分析模块和综合处理模块，所述人脸提取模块用于在旅游视频中追踪人脸图像，所述表情分析模块对人脸图像进行分析得到喜恶度，所述文本分析模块对视频的文本信息进行处理得到情感向量，所述综合处理模块结合所述情感向量和所述喜恶度得到旅游视频的情感标签；

所述表情分析模块根据像素点的灰度值获取到三个特殊区域，所述三个特殊区域的重心点满足如下要求：

；

其中，(x₁，y₁)、(x₂，y₂)和(x₃，y₃)分别为三个重心点的坐标，△1、△2和△3为三个可信误差；

以三个重心点为基础框定三个特征分析区域，所述特征分析区域的范围比所述特殊区域大，在每个特征分析区域内搜索一条特征线，所述特征线上的像素点称为特征点，所述特征点灰度值g(x，y)满足如下条件：

g(x，y-2)<g(x，y-1)<g(x，y)>g(x，y+1)>g(x，y+2)；

所述表情分析模块计算三个重心点的特征值P₁、P₂、P₃：

；

；

；

其中，(x(i)，y(i))表示重心点对应的特征线上第i个像素点的坐标，m为一条特征线上特征点的个数；

所述表情分析模块对三个特征值进行处理得到综合特征值Pz：

；

所述表情分析模块对用于分析的图片的综合特征值进行处理得到喜恶度W：

；

其中，N为用于分析的图片的数量，Pz(i)表示第i张图片的综合特征值；

所述文本分析模块从文本信息中获取情感向量(a₁，a₂，a₃，...，a_M)，a_i表示文本信息中包含的第i类情感关键词的数量，M表示情感关键词的类别数量；

所述综合处理模块结合喜恶度W与情感向量(a₁，a₂，a₃，...，a_M)计算出每一类情感的情感程度A_i：

；

当A_i大于阈值时，其对应的情感类别作为该视频的标签；

所述人脸提取模块从旅游视频中按固定的间隔帧获取图片构成图片组，每张图片作为所述表情分析模块的分析图片；

所述表情分析模块在人脸图像中获取灰度值小于阈值的像素点构成集合，并在集合内依次删除灰度值最大的像素点直至所述集合中的像素点形成三个分离的特殊区域；

所述表情分析模块在所述特殊区域内依次删除灰度值最大的像素点直至所述特殊区域的重心点坐标满足要求；

所述特征线能够由多条特征短线拼接而成，所述特征短线上的像素点需满足特征线上的像素点相同的灰度要求。

实施例二。

本实施例包含了实施例一中的全部内容，提供了一种融合文本信息的旅游视频情感分析系统，包括人脸提取模块、表情分析模块、文本分析模块和综合处理模块，所述人脸提取模块用于在旅游视频中追踪人脸的位置，并截取人脸位置的图像发送至所述表情分析模块，所述表情分析模块从接收的人脸图像中对眼部周围和嘴部周围进行特征提取，并根据多张连续人脸图像的特征变化分析得到喜恶度，所述文本分析模块对视频的文本信息进行关键词提取，根据关键词处理得到情感向量，所述综合处理模块结合所述情感向量和所述喜恶度分析得到旅游视频的情感标签；

所述人脸提取模块提取人脸图像的过程包括如下步骤：

S1、确定旅游视频中的背景部分：

在旅游视频中每隔固定的帧数获取一张图片，得到有序的图片组，将相邻的两张图片相减得到差图，差图中的像素点灰度值为：

；

其中，g(x，y)表示差图中坐标为(x，y)的像素点灰度值，g₁(x，y)和g₂(x，y)表示图片组中相邻的两张图片中坐标为(x，y)的像素点灰度值；

g₁(x，y)对应的图片称为第一图片，g₂(x，y)对应的图片称为第二图片；

统计差图中灰度值小于灰度阈值的像素点个数，当统计得到的像素点个数大于背景点数阈值时，这些像素点所在的位置为背景区域，所述第一图片和所述第二图片在背景区域的图像为背景部分；

结合图2，当统计得到的像素点个数不大于背景点数阈值时，重新将第一图片与偏移后的第二图片相减得到差图，差图中的像素点灰度值为：

；

其中，△和θ分别为第二图片的偏移量和偏移角；

在偏移范围内遍历所述偏移量△和偏移角θ直至差图中灰度值小于灰度阈值的像素点个数大于背景点数阈值，所述第一图片在背景区域的图像为背景部分；

S2、基于所述背景部分得到多个移动单位：

将有序图片组中的图片除去背景部分得到移动部分，移动部分中每一个单独的区域构成一个移动单位；

S3、分析区域确认：

框定每个移动单位的人脸区域并进行大小比较，取最大的人脸区域作为分析区域；

S4、发送区域图像：

将有序图片中每张图片的分析区域图像按顺序发送给所述表情分析模块；

图5所示为表情分析模块在处理图像过程中的出现的关键事件的流程；

结合图3，所述表情分析模块先计算出分析区域图像的平均灰度值，再在分析区域图像的像素点中搜索出小于平均灰度值的像素点，这些像素点构成特殊点，这些特殊点根据连接关系分成若干个特殊区域，在这些特殊点中依次删除灰度值最大的像素点直至出现像素点个数大于阈值的三个特殊区域，分别计算三个特殊区域的重心点，一个特殊区域的重心点的计算方式为：

；

其中，(x，y)表示重心点的坐标，(x’，y’)表示特殊区域中任意点坐标，n为特殊区域内的像素点的个数；

三个特殊区域的重心点坐标分别记为(x₁，y₁)、(x₂，y₂)和(x₃，y₃)；

再次在特殊点中依次删除灰度值最大的像素点直至三个重心点坐标满足下述不等式：

；

其中，△1、△2和△3为三个可信误差；

所述表情分析模块对三个重心点周围的像素点进行分析提取特征，下面以重心点(x₁，y₁)为例进行说明；

结合图4，在重心点周围框定一片特征分析区域，在所述特征分析区域内搜索一条特征线，所述特征线的搜索方法为：

S21、先在所述特征分析区域内排除特殊点；

S22、在所述特征分析区域内设置一条竖直的搜索线，所述搜索线在水平方向上至多与一个像素点重合，所述搜索线设置在所述特征分析区域内的最左侧；

S23、在所述搜索线上寻找均有如下特点的像素点(x，y)：

g(x，y-2)<g(x，y-1)<g(x，y)>g(x，y+1)>g(x，y+2)；

这些像素点称为特征点；

S24、将所述搜索线向右移动一个像素点；

S25、重复步骤S23和步骤S24直至所述搜索线移动到所述特征分析区域内的最右侧；

S26、将相邻的特征点进行连接获得特征短线，相邻指的是横坐标之差、纵坐标之差均不超过1；

S27、若所述特征短线通过两个像素点能够进行连接时，将所述特征短线进行连接，最终得到从所述特征分析区域最左侧到最右侧的的特征线，若存在多条特征线，则只保留由数量最少的特征短线连接成的特征线；

所述表情分析模块计算特征线与重心点之间的特征值P₁：

；

其中，(x(i)，y(i))表示特征线上第i个像素点的坐标，m为特征线上包含的像素点的个数；

按照与上述相同的方式能够计算得到重心点(x₂，y₂)的特征值P₂和重心点(x₃，y₃)的特征值P₃，P₁、P₂和P₃分别称为第一特征值、第二特征值和第三特征值；

所述表情分析模块对所述第一特征值、第二特征值和第三特征值进行处理得到综合特征值Pz：

；

所述表情分析模块对图片组中所有图片的综合特征值进行处理得到喜恶度W：

；

其中，N为所述图片组含有的图片数量；

所述文本分析模块包含有词库，词库中的关键词根据表达的情感分为M类，所述文本分析模块从文本信息中提取出关键词，并能根据提取的关键词所属的类别以及数量得到情感向量(a₁，a₂，a₃，...，a_M)；

所述综合处理模块结合喜恶度W与情感向量(a₁，a₂，a₃，...，a_M)计算出每一类情感的情感程度A_i：

；

当A_i大于阈值时，其对应的情感类别作为该视频的标签。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统和设备是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种部件。而且，关于某些配置描述的特征可以以各种其他配置组合，如可以以类似的方式组合配置的不同方面和元素。此外，随着技术发展其中的元素可以更新，即许多元素是示例，并不限制本公开或权利要求的范围。

在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置例如，已经示出了众所周知的电路，过程，算法，结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。

综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (5)

1.一种融合文本信息的旅游视频情感分析系统，其特征在于，包括人脸提取模块、表情分析模块、文本分析模块和综合处理模块，所述人脸提取模块用于在旅游视频中追踪人脸图像，所述表情分析模块对人脸图像进行分析得到喜恶度，所述文本分析模块对视频的文本信息进行处理得到情感向量，所述综合处理模块结合所述情感向量和所述喜恶度得到旅游视频的情感标签；

所述表情分析模块根据像素点的灰度值获取到三个特殊区域，所述三个特殊区域的重心点满足如下要求：

；

其中，(x₁，y₁)、(x₂，y₂)和(x₃，y₃)分别为三个重心点的坐标，△1、△2和△3为三个可信误差；

以三个重心点为基础框定三个特征分析区域，所述特征分析区域的范围比所述特殊区域大，在每个特征分析区域内搜索一条特征线，所述特征线上的像素点称为特征点，所述特征点灰度值g(x，y)满足如下条件：

g(x，y-2)<g(x，y-1)<g(x，y)>g(x，y+1)>g(x，y+2)；

所述表情分析模块计算三个重心点的特征值P₁、P₂、P₃：

；

；

；

其中，(x(i)，y(i))表示重心点对应的特征线上第i个像素点的坐标，m为一条特征线上特征点的个数；

所述表情分析模块对三个特征值进行处理得到综合特征值Pz：

；

所述表情分析模块对用于分析的图片的综合特征值进行处理得到喜恶度W：

；

其中，N为用于分析的图片的数量，P_z(i)表示第i张图片的综合特征值；

所述文本分析模块从文本信息中获取情感向量(a₁，a₂，a₃，...，a_M)，a_i表示文本信息中包含的第i类情感关键词的数量，M表示情感关键词的类别数量；

所述综合处理模块结合喜恶度W与情感向量(a₁，a₂，a₃，...，a_M)计算出每一类情感的情感程度A_i：

；

当A_i大于阈值时，其对应的情感类别作为该视频的标签。

2.如权利要求1所述的一种融合文本信息的旅游视频情感分析系统，其特征在于，所述人脸提取模块从旅游视频中按固定的间隔帧获取图片构成图片组，每张图片作为所述表情分析模块的分析图片。

3.如权利要求2所述的一种融合文本信息的旅游视频情感分析系统，其特征在于，所述表情分析模块在人脸图像中获取灰度值小于阈值的像素点构成集合，并在集合内依次删除灰度值最大的像素点直至所述集合中的像素点形成三个分离的特殊区域。

4.如权利要求3所述的一种融合文本信息的旅游视频情感分析系统，其特征在于，所述表情分析模块在所述特殊区域内依次删除灰度值最大的像素点直至所述特殊区域的重心点坐标满足要求。

5.如权利要求4所述的一种融合文本信息的旅游视频情感分析系统，其特征在于，所述特征线能够由多条特征短线拼接而成，所述特征短线上的像素点需满足特征线上的像素点相同的灰度要求。

Images