CN112529048B - 一种基于感知体验的产品展示视频辅助设计方法和装置 - Google Patents

Abstract

本发明公开了一种于感知体验的产品展示视频辅助设计方法和装置，包括：(1)采集产品展示视频，标注视频属性、视频特征以及感知体验；(2)对产品展示视频进行分析，确定视频属性与感知体验之间的属‑感相关关系，感知体验与视频特征之间的感‑特相关关系，同时以视频特征以及感知体验作为样本数据，构建感知体验评估模型；(3)创造阶段，基于输入的视频属性和属‑感相关关系和感‑特相关关系，确定与视频属性相关的感知体验与视频特征并依据此提供视频制作创造指导；(4)迭代阶段，提取待评估视频的视频特征，并根据感知体验评估模型确定待评估视频的感知体验，依据感知体验提供参考视频和视频特征比较结果，以此提供视频优化建议。

Description

一种基于感知体验的产品展示视频辅助设计方法和装置

技术领域

本发明涉及图像处理、计算机辅助设计领域，具体涉及一种基于感知体验的产品展示视频辅助设计方法和装置。

背景技术

近年来，淘宝、亚马逊等电商平台风靡，大大改变了人们购买和销售模式。为了更好地展示产品，各电商平台大规模普及产品展示视频。产品展示视频，又称商品视频，多为呈现于商品详情页面上的短视频内容，目的是提供差异化、多样化的视频展示渠道，可以让用户对产品、店铺、品牌、使用等方面进行更加深入的了解。相比于以往电商平台的文字介绍和图文介绍，“视频”信息承载量更大、连贯性更好、更符合人类信息接受习惯。由此可见，产品展示视频给消费者带来的感知体验是决定其质量的重要因素。

视频分析领域已有的方法支持评估视频的在某特定维度上的感知体验，诸如预测社交平台UGC视频的创意程度，预测电影的趣味度、记忆度。然而，这些方法的计算内容多为影视剧，UGC，而非产品展示视频。产品展示视频有着较强的独特性，其时间较短，内容通常不具剧情性，内容的种类复杂繁多，所传达的情感多由其画面特征和视频特征所决定。且产品展示视频的感知体验由多个维度共同影响。因此，上述方法并不支持评估产品展示视频的感知体验，进而评估产品展示视频的质量。

现阶段，评估产品展示视频的质量依赖人工的方法，即依靠剪辑师的经验判断。通常，视频设计需经过两个阶段：创造阶段、迭代阶段。在创造阶段，剪辑师会进行头脑风暴，根据视频的投放场景、受众体验获取相关案例及创意指导。在迭代阶段，剪辑师需要评估视频的感知体验、发现设计问题，或者获取专家的设计反馈，并针对问题收集参考案例，作为优化方案的依据。可见，对视频感知体验的评估贯穿了视频设计的全过程。由于产品展示视频是新兴的视频领域，大多数剪辑师缺少相关的设计经验，因此会在设计过程中遇到诸多困难，如在创造阶段不知道从何入手，在迭代阶段不能评估视频给消费者带来的感知体验、发现设计问题。

亟需一种方法来减轻剪辑师在产品展示视频设计过程中的困难，帮助其在不需要借助消费者观看的情况下对视频的质量进行有效的预测、评估。

发明内容

本发明的目的是提供一种基于感知体验的产品展示视频辅助设计方法和装置，该方法和装置能够从消费者的感知体验出发，为产品展示视频剪辑师提供设计创意指导和设计优化方案。

为实现上述发明目的，本发明提供以下技术方案：

第一方面，一种基于感知体验的产品展示视频辅助设计方法，包括以下步骤：

(1)采集产品展示视频，标注每个产品展示视频的视频属性、视频特征以及感知体验，并构建视频数据集；

(2)对视频数据集中的产品展示视频进行分析，确定视频属性与感知体验之间的属-感相关关系，感知体验与视频特征之间的感-特相关关系，同时以视频特征以及感知体验作为样本数据，构建感知体验评估模型；

(3)创造阶段，基于输入的视频属性，依据属-感相关关系和感-特相关关系，确定与视频属性相关的感知体验与视频特征并依据此提供视频制作创造指导，同时依据感知体验从视频数据集中筛选若干视频作为启发案例并推荐；

(4)迭代阶段，提取待评估视频的视频特征，并根据视频特征和感知体验评估模型确定待评估视频的感知体验，依据感知体验提供参考视频及视频特征分布，和参考视频对应的视频特征与待评估视频对应的视频特征的比较结果，以此提供视频优化建议。

优选地，所述视频属性为视频的客观信息，包括产品展示视频的来源渠道，产品展示视频展示的产品类型以及视频的时长、长宽比、分辨率、帧率信息；

所述感知体验包括视频的吸引程度、信息感知程度、情感愉悦程度，并以分数值来评定；

所述视频特征包括视频画面特征和视频帧间动态特征，其中，视频画面特征包括与画面颜色有关的色彩特征、与画面纹理有关的纹理特征；视频帧间动态特征包括镜头平均时长、镜头切换频率、运动矢量、视觉兴奋。

优选地，所述视频帧间动态特征的获取过程为：

(a)设定阈值作为镜头之间画面帧的划分规则，将视频划分为多个镜头片段，提取每个镜头的镜头长度，计算镜头所在视频的镜头平均长度、镜头切换频率；

(b)对视频隔等距离帧数提取视频的采样帧，使用光流法和视觉兴奋度算法计算相邻采样帧的运动矢量、视觉兴奋。

优选地，采用皮尔森相关系数计算视频属性与感知体验之间属-感相关关系，感知体验与视频特征之间的感-特相关关系。

优选地，在构建感知体验评估模型时，将视频特征以及感知体验作为样本数据输入至随机森林算法进行训练，调整参数，参数确定时，即获得感知体验评估模型，其中，调整的参数包括组成随机森林的决策树的个数、决策树的节点分裂属性和节点决策函数。

优选地，创造阶段，首先根据输入的视频属性和属-感相关关系，确定视频属性对应的感知体验；然后根据感知体验和感-特相关关系，确定感知体验对应的视频特征，即获得了视频属性对应的感知体验和视频特征，并依据该感知体验和视频特征提供视频制作创造指导；最后从视频数据集中筛选多个感知体验分值大于最大分值一半的若干视频作为启发案例并推荐。

优选地，迭代阶段，在获得待评估视频的感知体验后，提供并展示分值低于最大分值一半的感知体验对应的视频特征的数值；

从视频数据集中筛选多个感知体验分值大于最大分值一半，且与输入带评估视频最相似的若干视频作为参考视频并推荐；

提供参考视频的视频特征数值分布，并比较参考视频的视频特征与待评估视频的视频特征获得视频特征数值上的差距，依据该差距提供视频优化建议。

优选地，采用欧式距离来衡量视频之间的相似度，欧式距离越小，相似度越高。

第二方面，一种基于感知体验的产品展示视频辅助设计装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机处理器执行所述计算机程序时实现上述基于感知体验的产品展示视频辅助设计方法。

与现有技术相比，本发明提供的基于感知体验的产品展示视频辅助设计方法和装置具有的有益效果至少包括：

本发明从产品展示视频的感知体验评估需求出发，针对剪辑师在视频设计过程中可能遇到的困难，帮助剪辑师分析设计问题、提出优化意见、推荐参考案例。此方法可以从视频的展示需求出发为剪辑师推荐案例、提供创意指导，并可以评估视频给观众带来的感知体验，提高了产品展示视频设计的质量和效率，减少人工成本，具有高效、易操作的特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明实施例提供的基于感知体验的产品展示视频辅助设计方法的流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1是本发明实施例提供的基于感知体验的产品展示视频辅助设计方法的流程图。参见图1，实施例提供的产品展示视频辅助设计方法包括以下步骤：

S101，采集产品展示视频，创建产品展示视频数据集，并标注每个视频的视频属性、感知体验、视频特征。

实施例中，产品展示视频数据集包含来自多个来源渠道、描述多个产品类别的产品展示视频，每个时长从10s到1min不等。其中多个来源渠道包括电商平台导流页、详情页，短视频平台，UGC平台等等。其中多个产品类别引自主流电商平台，包括服装、配饰、个化洗护、家电、数码等。

视频属性为视频的客观信息，包括视频的来源渠道和产品类型，以及视频的时长、长宽比、分辨率、帧率信息。

感知体验为目标群体在接受设计方案后，通过一定思考了解设计意图，并产生相应的主观感受。在本发明中，感知体验包含多个维度。这是因为目标群体-消费者在观看视频、购买转化这一过程中需要经过复杂的思考，因此在产品展示视频设计过程中，多个感知体验维度共同影响视频带来的主观感受，剪辑师在设计过程中需要同时关注这些维度。

在一种可能的实现方式中，感知体验可以包括视频的吸引程度、信息感知程度、情感愉悦程度，并通过以下众包标注获得每个视频的感知体验标注：募集多名有购物经验的被试，令被试在模拟购物情景中观看视频、填写视频感知体验的七点量表。通过清洗、处理量表数据，即可得到每个视频的每个感知体验维度的标注，标注类型为范围在1-7之间的分数值。

其中，感知体验中的吸引程度是指媒介吸引消费者注意的程度。感知体验中的信息感知程度是一种认知处理过程，是指消费者清晰地感知媒介、并利用想象产生记忆的程度。感知体验中的情感愉悦程度是指在消费场景中即为调动积极情绪，通过提升消费者的愉悦程度可以提升他们对产品的态度，从而诱导决策。

视频特征为计算机对视频进行计算分析的特征，包括视频画面特征、视频帧间动态特征。其中，视频画面特征包括与画面颜色有关的色彩特征、与画面纹理有关的纹理特征，具体获取方法包括：

以等距离帧数为间隔提取视频的采样帧，提取采样帧的画面特征信息，具体提取的画面特征信息有和颜色相关的色彩丰富度、色彩冷暖度、颜色轻重度、颜色活跃度、颜色柔和度、暗色比例、亮色比例、颜色饱和度、颜色能量、颜色方差等色彩特征，以及和纹理相关的灰度共生矩阵的对比度、同质性、能量等纹理特征；对镜头中的多个采样帧的每个画面特征信息取平均值，作为一个镜头片段的画面特征信息。

灰度共生矩阵的统计方法是在假定图像中各像素间的空间分布关系包含了图像纹理信息的前提下，提出的具有广泛性的纹理分析方法。灰度共生矩阵被定义为从灰度为某个值的像素点出发，离开某个固定位置的点上灰度值为的概率，即所有估计的值可以表示成一个矩阵的形式，以此被称为灰度共生矩阵。由于灰度共生矩阵的数据量较大，一般不直接作为区分纹理的特征，而是基于它构建的一些统计量作为纹理分类特征，例如对比度、同质性、能量等。

视频帧间动态特征包括镜头平均时长、镜头切换频率、运动矢量(光流)、视觉兴奋等特征，获取方法包括：

(a)’采用感知哈希算法中的dHASH算法来计算两帧画面之间的差异度，并根据差异度设定阈值，作为镜头之间画面帧的划分规则，将短视频划分为多个镜头片段；

(b)’提取短视频中每个镜头的镜头长度信息，以计算该短视频的镜头平均长度、镜头切换频率等镜头特征信息。

(c)’间隔等距离帧数提取短视频的采样帧，使用光流法和视觉兴奋度算法计算相邻采样帧的动态特征信息，最后取均值作为视频的动态特征信息；

光流法利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性，根据上一帧与当前帧之间的对应关系，计算得到相邻帧之间物体的运动信息，本发明中使用的是OpenCV实现的calcOpticalFlowFarneback稠密光流法，即基于Gunner Farneback的算法，使用光流法计算前后两帧的光流信息，最后计算所有光流信息的统计量，比如均值、方差等作为特征信息。

视觉兴奋度算法，通过比较前后两帧在LUV色彩空间上的差异，来计算两帧的视觉差异性，LUV色彩空间的目的是建立与视觉统一的颜色空间，本发明中使用的算法将前后两帧的RGB色彩空间转换到LUV色彩空间中，然后计算前后两帧的相同空间的像素点在L、U、V空间上的差异程度，使用平方差的方式进行计算。

S102，对数据集进行分析计算，分析视频属性、视频特征与感知体验的相关关系；并将感知体验、视频特征作为训练样本进行训练，获得感知体验评估模型。

(1)分析视频属性、视频特征与感知体验的相关关系，具体包括视频属性与感知体验之间的属-感相关关系，感知体验与视频特征之间的感-特相关关系，目的是为了获取与不同维度感知体验最相关的若干个视频属性和视频特征。

本实施例中，采用皮尔森相关系数进行计算。皮尔森相关系数衡量线性关联的程度，相关系数的绝对值越大，相关性越强，相关系数越接近于1或-1，相关度越强，相关系数越接近于0，相关度越弱。

(2)将感知体验、视频特征作为训练样本进行训练，获得感知体验评估模型，具体包括将训练样本输入至随机森林算法中进行训练，调整参数，参数确定时，即获得感知体验评估模型，其中调整的参数包括组成随机森林的决策树的个数、决策树的节点分裂属性和节点决策函数。

随机森林由很多决策树分类器组合而成，单个决策树分类器用随机方法构成，因而被称为随机森林。其对错误和离群点更加具有鲁棒性，在数据多的情况下速度快，性能好。

S103，创造阶段，获取剪辑师输入的视频属性，并通过计算为其提供创意指导，并推荐多个数据集中的视频作为启发案例。

(1)获取剪辑师输入的视频属性，具体包括剪辑师根据视频的创作意图，对视频属性进行初步预设。视频属性具体如S101中所述的视频属性，包括视频渠道、视频展示产品类型，此处不再赘述。

(2)通过计算为剪辑师提供创意指导，并推荐多个数据集中的视频作为启发案例，具体包括根据S102中得到的视频属性与感知体验的属-感相关关系，计算获得与剪辑师输入的视频属性最相关的感知体验维度。进一步地，根据S102中得到的感知体验与视频特征的感-特相关关系，可获得与该感知体验维度最相关的若干个视频特征。基于所得的感知体验维度、视频特征，为剪辑师提供视频制作创意指导。此外，从数据集中筛选出该感知体验维度分数较高的若干个视频，作为参考案例推荐给剪辑师，以便剪辑师从案例中获得创意启发。

该方法可以帮助剪辑师了解其预设的视频渠道、视频产品类型下，消费者的哪一维度的感知体验最可能影响视频的质量，该感知体验维度最可能受哪些视频特征影响，该感知体验维度分数较高的视频有哪些呈现形式。

S104，迭代阶段，接受剪辑师输入的待评估视频方案，通过感知体验评估模型为其呈现视频给消费者带来的感知体验状态，并提供优化建议、推荐多个数据集中的视频作为优化参考案例。

(1)通过感知体验评估模型为其呈现视频给消费者带来的感知体验状态，具体包括利用S101中计算视频特征的方法，计算输入视频的视频特征，作为特征向量，输入S102中获得的感知体验评估模型，输出该视频在每个感知体验维度上的评估分数(分数范围为1-7)。为剪辑师展示分数及分数对应的等级。

(2)提供优化建议，推荐多个数据集中的视频作为优化参考案例，具体过程为：：

(a)当视频在某一感知体验维度的分数较低，为剪辑师与该感知体验维度相关的若干个视频特征的数值；

(b)从数据集中筛选出该感知体验维度分数较高、且与输入视频最相似的若干个视频，作为优化参考案例推荐给剪辑师；

其中，筛选出与输入视频最相似的若干个视频的过程包括：获取与输入视频最相似的方法，包括视频间的相似度计算。在本方法中，采用欧式距离的计算方法，每个视频的视频特征构成多维特征向量，将输入视频与数据集中的视频两两成对计算特征向量的欧式距离，欧式距离越小，则该对视频越相似。由此可获得数据集视频与输入视频的相似程度排序。

(c)展示参考案例的视频特征数值的分布状态，并将(a)中得到的输入视频的视频特征数值与优化参考案例的分布进行比较，获得输入视频与参考案例在视频特征数值上的差距，由此为剪辑师提供优化建议。

实施例提供了一种基于感知体验的产品展示视频辅助设计装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机处理器执行所述计算机程序时实现上述基于感知体验的产品展示视频辅助设计方法。

上述基于感知体验的产品展示视频辅助设计方法和装置从产品展示视频的感知体验评估需求出发，针对剪辑师在视频设计过程中可能遇到的困难，帮助剪辑师分析设计问题、提出优化意见、推荐参考案例。此方法可以从视频的展示需求出发为剪辑师推荐案例、提供创意指导，并可以评估视频给观众带来的感知体验，提高了产品展示视频设计的质量和效率，减少人工成本，具有高效、易操作的特点。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于感知体验的产品展示视频辅助设计方法，其特征在于，包括以下步骤：

(1)采集产品展示视频，标注每个产品展示视频的视频属性、视频特征以及感知体验，并构建视频数据集，其中，视频属性为视频的客观信息，包括产品展示视频的来源渠道，产品展示视频展示的产品类型以及视频的时长、长宽比、分辨率、帧率信息；视频特征包括视频画面特征和视频帧间动态特征，其中，视频画面特征包括与画面颜色有关的色彩特征、与画面纹理有关的纹理特征；视频帧间动态特征包括镜头平均时长、镜头切换频率、运动矢量、视觉兴奋；

(2)对视频数据集中的产品展示视频进行分析，确定视频属性与感知体验之间的属-感相关关系，感知体验与视频特征之间的感-特相关关系，同时以视频特征以及感知体验作为样本数据，构建感知体验评估模型；

(3)创造阶段，基于输入的视频属性，依据属-感相关关系和感-特相关关系，确定与视频属性相关的感知体验与视频特征并依据此提供视频制作创造指导，同时依据感知体验从视频数据集中筛选若干视频作为启发案例并推荐；

(4)迭代阶段，提取待评估视频的视频特征，并根据视频特征和感知体验评估模型确定待评估视频的感知体验，提供并展示分值低于最大分值一半的感知体验对应的视频特征的数值；从视频数据集中筛选多个感知体验分值大于最大分值一半，且与输入带评估视频最相似的若干视频作为参考视频并推荐；提供参考视频的视频特征数值分布，并比较参考视频的视频特征与待评估视频的视频特征获得视频特征数值上的差距，依据该差距提供视频优化建议。

2.如权利要求1所述的基于感知体验的产品展示视频辅助设计方法，其特征在于，所述感知体验包括视频的吸引程度、信息感知程度、情感愉悦程度，并以分数值来评定。

3.如权利要求1所述的基于感知体验的产品展示视频辅助设计方法，其特征在于，所述视频帧间动态特征的获取过程为：

(a)设定阈值作为镜头之间画面帧的划分规则，将视频划分为多个镜头片段，提取每个镜头的镜头长度，计算镜头所在视频的镜头平均长度、镜头切换频率；

(b)对视频隔等距离帧数提取视频的采样帧，使用光流法和视觉兴奋度算法计算相邻采样帧的运动矢量、视觉兴奋。

4.如权利要求1所述的基于感知体验的产品展示视频辅助设计方法，其特征在于，采用皮尔森相关系数计算视频属性与感知体验之间属-感相关关系，感知体验与视频特征之间的感-特相关关系。

5.如权利要求1所述的基于感知体验的产品展示视频辅助设计方法，其特征在于，在构建感知体验评估模型时，将视频特征以及感知体验作为样本数据输入至随机森林算法进行训练，调整参数，参数确定时，即获得感知体验评估模型，其中，调整的参数包括组成随机森林的决策树的个数、决策树的节点分裂属性和节点决策函数。

6.如权利要求1所述的基于感知体验的产品展示视频辅助设计方法，其特征在于，创造阶段，首先根据输入的视频属性和属-感相关关系，确定视频属性对应的感知体验；然后根据感知体验和感-特相关关系，确定感知体验对应的视频特征，即获得了视频属性对应的感知体验和视频特征，并依据该感知体验和视频特征提供视频制作创造指导；最后从视频数据集中筛选多个感知体验分值大于最大分值一半的若干视频作为启发案例并推荐。

7.如权利要求1所述的基于感知体验的产品展示视频辅助设计方法，其特征在于，采用欧式距离来衡量视频之间的相似度，欧式距离越小，相似度越高。

8.一种基于感知体验的产品展示视频辅助设计装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机处理器执行所述计算机程序时实现权利要求1～7任一项所述的基于感知体验的产品展示视频辅助设计方法。

Images