CN111669608B - 支持用户多媒体反馈的化妆品展示装置及方法 - Google Patents

Abstract

本申请公开了支持用户多媒体反馈的化妆品展示方法，首先对直播过程中用户反馈的直播互动信息进行接收并从中解析提取出描述项，直播互动信息包括视频画面、语音信息、文字信息中的至少一项，然后依据描述项对互动信息进行分类，互动信息的类别包括化妆咨询类和效果展示类，然后依据分类结果将互动信息与预先设定的直播进程进行匹配，最后依据匹配结果将互动信息插入到相应的直播进程中进行显示或播放。该方法能够在化妆品网络直播展示的过程中，使用户能够通过包括图像、视频在内的多种不同媒介的多媒体式反馈模式进行用户与主播的互动，这极大增加了用户表达自己意图的清晰度和流畅度，同时还减少了主播理解用户反馈问题的时间。

Description

支持用户多媒体反馈的化妆品展示装置及方法

技术领域

本申请涉及网络直播技术领域，特别涉及支持用户多媒体反馈的化妆品展示装置及方法。

背景技术

目前，以网络直播方式的化妆品展示非常火爆，已经成为一种重要的广告和销售模式。

网络直播方式的化妆品展示由至少一名主播进行化妆品的试用和推介，用户可以观看并利用直播平台的各种反馈功能实现与主播的互动，包括发表评论、点赞等。观看直播的用户可以通过向主播发送文字消息来对主播当前正在试用的化妆品表达自己的看法，或者文字询问主播关于该化妆品的一些涂抹方式、产品特性、适用人群等等针对性的问题，主播在看到这些问题后可以直接在直播时予以语音回复解答。

但是，目前直播平台给用户提供的反馈手段比较单一，例如只能通过文字进行评论。对于化妆品的用户来说希望能够针对自身的脸型、肤质获得化妆品建议，只依靠文字反馈很难描述清楚用户的问题，因此目前亟需一种能够使用户更清楚地表达自己所反馈的问题以及使主播能够更快速理解用户反馈问题的直播技术。

发明内容

(一)申请目的

基于此，为了扩增用户的信息反馈方式，实现用户对直播过程的多媒体反馈，增加用户与主播的互动方式、互动效率及互动质量，增加用户表达自己意图的清晰度和流畅度，提升用户体验，本申请公开了以下技术方案。

(二)技术方案

一方面，提供了一种支持用户多媒体反馈的化妆品展示装置，包括：

描述信息提取模块，用于对直播过程中用户反馈的直播互动信息进行接收并从中解析提取出描述项；

互动信息分类模块，用于依据所述描述项对所述互动信息进行分类；

直播进程匹配模块，用于依据所述分类结果将所述互动信息与预先设定的直播进程进行匹配；

互动信息插播模块，用于依据所述匹配结果将所述互动信息插入到相应的直播进程中进行显示或播放；其中，

所述直播互动信息包括视频画面、语音信息、文字信息中的至少一项，所述互动信息的类别包括化妆咨询类和效果展示类。

在一种可能的实施方式中，所述描述信息提取模块包括：

有效语音提取子模块，用于从所述直播互动信息中提取出有效语音帧段；

语音特征提取子模块，用于从所述有效语音帧段中提取出语音特征；

语义匹配子模块，用于计算所述语音特征与样本库中各语音特征模板的之间的矢量距离，并将矢量距离最小的语音特征模板的语义作为所述有效语音帧段的描述项。

在一种可能的实施方式中，所述有效语音提取子模块包括：

语音信号分帧单元，用于将所述直播互动信息中的语音信息转换为数字语音信号的序列，并通过饱和嵌入维数法确定帧长，并依据所述帧长对所述序列进行语音分帧；

信号端点检测单元，用于计算所述分帧后每个语音帧的短时能量和短时平均过零率，依据短时能量值和短时平均过零率的值确定出起始帧和终止帧，进而得到有效语音帧段。

在一种可能的实施方式中，所述互动信息分类模块在所述依据所述描述项对所述互动信息进行分类之前，先依据所述描述项将价值度未达到设定阈值的互动信息筛除，并对剩余未被筛除的互动信息进行所述分类。

在一种可能的实施方式中，该装置还包括：

直播进程调整模块，用于在所述互动信息插播模块将所述互动信息插入直播进程之前，先统计所述描述信息提取模块接收到的互动信息的数量，并在该数量满足调整条件时，即时调整所述直播进程的次序和/或时长，和/或即时调整所述互动信息插入直播进程的时机。

在一种可能的实施方式中，该装置还包括：

互动信息选择模块，用于在所述互动信息插播模块将所述互动信息插入直播进程之前，先对各所述直播进程所匹配的互动信息在各所述类别的数量进行统计，并依据互动信息在各类别的数量，以及同一类别中包含的内容相同的互动信息的数量，确定出被插入直播进程的互动信息。

在一种可能的实施方式中，所述互动信息选择模块还用于在所述互动信息插播模块将所述互动信息插入直播进程之前，先将待插入的互动信息的内容与预先设定的互动内容库中的互动内容进行比对，并将互动内容与互动内容库中的互动内容相同的互动信息筛除掉，将剩余的互动信息作为待插入直播进程的互动信息；其中，

所述互动内容库中的互动内容包括往期直播中被播放过超多设定次数的互动内容。

另一方面，还提供了一种支持用户多媒体反馈的化妆品展示方法，包括：

对直播过程中用户反馈的直播互动信息进行接收并从中解析提取出描述项；

依据所述描述项对所述互动信息进行分类；

依据所述分类结果将所述互动信息与预先设定的直播进程进行匹配；

依据所述匹配结果将所述互动信息插入到相应的直播进程中进行显示或播放；其中，

所述直播互动信息包括视频画面、语音信息、文字信息中的至少一项，所述互动信息的类别包括化妆咨询类和效果展示类。

在一种可能的实施方式中，所述对直播过程中用户反馈的直播互动信息进行接收并从中解析提取出描述项，包括：

从所述直播互动信息中提取出有效语音帧段；

从所述有效语音帧段中提取出语音特征；

计算所述语音特征与样本库中各语音特征模板的之间的矢量距离，并将矢量距离最小的语音特征模板的语义作为所述有效语音帧段的描述项。

在一种可能的实施方式中，所述从所述直播互动信息中提取出有效语音帧段，包括：

将所述直播互动信息中的语音信息转换为数字语音信号的序列，并通过饱和嵌入维数法确定帧长，并依据所述帧长对所述序列进行语音分帧；

计算所述分帧后每个语音帧的短时能量和短时平均过零率，依据短时能量值和短时平均过零率的值确定出起始帧和终止帧，进而得到有效语音帧段。

在一种可能的实施方式中，在所述依据所述描述项对所述互动信息进行分类之前，先依据所述描述项将价值度未达到设定阈值的互动信息筛除，并对剩余未被筛除的互动信息进行所述分类。

在一种可能的实施方式中，该方法还包括：

在将所述互动信息插入直播进程之前，先统计接收到的互动信息的数量，并在该数量满足调整条件时，即时调整所述直播进程的次序和/或时长，和/或即时调整所述互动信息插入直播进程的时机。

在一种可能的实施方式中，该方法还包括：

在将所述互动信息插入直播进程之前，先对各所述直播进程所匹配的互动信息在各所述类别的数量进行统计，并依据互动信息在各类别的数量，以及同一类别中包含的内容相同的互动信息的数量，确定出被插入直播进程的互动信息。

在一种可能的实施方式中，该方法还包括：

在将所述互动信息插入直播进程之前，先将待插入的互动信息的内容与预先设定的互动内容库中的互动内容进行比对，并将互动内容与互动内容库中的互动内容相同的互动信息筛除掉，将剩余的互动信息作为待插入直播进程的互动信息；其中，

所述互动内容库中的互动内容包括往期直播中被播放过超多设定次数的互动内容。

(三)有益效果

本实施例提供的化妆品展示装置及方法，能够在化妆品网络直播展示的过程中，使用户能够通过包括图像、视频在内的多种不同媒介的多媒体式反馈模式进行用户与主播的互动，能够弥补只有文字反馈时所无法实现的情景描述效果和效用描述效果，这极大增加了用户表达自己意图的清晰度和流畅度，同时还减少了主播理解用户反馈问题的时间，提高了直播效率和用户体验。

附图说明

以下参考附图描述的实施例是示例性的，旨在用于解释和说明本申请，而不能理解为对本申请的保护范围的限制。

图1是本申请公开的支持用户多媒体反馈的化妆品展示装置实施例的结构框图。

图2是本申请公开的支持用户多媒体反馈的化妆品展示方法实施例的流程示意图。

具体实施方式

为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。

下面参考图1详细描述本申请公开的支持用户多媒体反馈的化妆品展示装置实施例。如图1所示，本实施例公开的装置主要包括有：描述信息提取模块、互动信息分类模块、直播进程匹配模块和互动信息插播模块。

描述信息提取模块用于对直播过程中用户反馈的直播互动信息进行接收并从中解析提取出描述项。

在以化妆品为主题进行的网络直播展示过程中，若观看直播的用户对主播介绍的化妆品产品本身、产品使用等产生了疑问，则可以及时通过手机APP、直播平台的用户端、网站将需要与主播进行互动的直播互动信息发送给本实施例的装置，装置的描述信息提取模块会接收到各用户发来的直播反馈信息，也就是用户向主播发出的直播互动信息，形成直播互动信息的信息集。

可以理解的是，本实施例的装置可以作为直播平台的一个子部分来为直播平台的用户反馈数据进行接收、处理、播放等操作。

直播互动信息是指用户在观看直播时对直播内容所产生的表达物。直播互动信息包括视频画面、语音信息、文字信息中的至少一项。其中，视频画面可以是自拍图像，也可以是一段短视频，内容可以是用户拍摄的自身面部或产品等需要进行直观反馈的画面；语音信息是用户的语言反馈，可以单独反馈或配合短视频共同反馈；文字信息是用户的语言反馈，可以单独反馈或配合视频、语音共同反馈。

具体的，直播互动信息可以只包含文字消息，例如可以在手机直播APP的回复框内打字并发送给直播平台的主播端；直播互动信息也可以只包含语音消息，实现方式同样可以是在手机直播APP的回复框选用语音方式向主播端发送一段语音消息；直播互动信息也可以是同时包含画面和语音的短视频，实现方式同样可以是在手机直播APP上通过点击预设的虚拟按钮调用摄像头进行短视频的拍摄、保存和上传；直播互动信息也可以是同时包含文字和图像的图文消息，例如用户在希望进行反馈时点击APP上的特定按钮，弹出反馈信息对话框，对话框中包括了文字输入框和图像上传框，分别用于输入用户反馈的文字信息和即时自拍上传的图像信息，并点击对话框中的确定按钮后进行图文消息的反馈；直播互动信息还可以是同时包含文字、画面和语音的附文短视频，实现方式同样可以是通过点击按钮进入反馈信息对话框，并分别输入用户反馈的文字信息和即时自拍上传的短视频，并点击对话框中的确定按钮后进行附文短视频的反馈。

对于本装置或直播平台来说，各用户反馈的纯文字消息可以实时性地按时间顺序在直播画面上进行依次显示，但对于用户反馈的语音消息和短视频，会对其先进行处理再进行播放，或者并不进行播放而是由主播收听观看这些反馈的消息后在直播中直接予以解答和评论。

在直播平台接收到用户反馈的上述直播互动信息之后，描述信息提取模块会对直播互动信息进行文字、语音、图像的特征解析，并从中提取出相应的能够描述直播互动信息性质的描述项。描述项作为直播互动信息的属性，包含了用户反馈的信息中所表达的意图。例如用户通过反馈自拍的短视频来询问主播自身的脸型、肤质是否适合使用当前直播介绍演示的化妆品A，则描述项包括了用户脸型与化妆品A匹配度的询问、用户肤质与化妆品A匹配度的询问；又例如用户通过反馈自拍的图像配合文字消息展示当前直播介绍演示的化妆品B在自身面部的使用效果，则描述项包括了用户使用化妆品B效果展示。

互动信息分类模块用于依据描述项对直播互动信息进行分类。描述信息提取模块提取出各直播反馈信息的描述项之后，互动信息分类模块会对这些描述项进行分类。

分类是按照预先设定的类别对描述项进行类别划分，进而实现对直播互动信息的归类。直播互动信息的类别包括化妆咨询类和效果展示类。其中，效果展示类即为用户自拍图像或自拍视频以进行自身化妆效果的展示，而化妆咨询类可以包含较多的子类，例如可以包括品牌型号咨询类、产品成分咨询类、产品使用咨询类、产品效用咨询类、价格咨询类、化妆技巧咨询、视觉效果咨询类、化妆用具咨询等，不同子类分别代表了不同对象和不同主题的咨询。

直播进程匹配模块用于依据分类结果将互动信息与预先设定的直播进程进行匹配。

从直播开始到结束的过程中，直播的进行通常会按照预先安排的直播脚本或直播进程来控制直播的进度和流程。而在一次直播过程中，通常会依次进行多个不同阶段，每个阶段就是其中的一个直播进程，不同的直播进程所进行的直播内容不同。例如本次直播包含对三款化妆品C1、C2、C3的直播，对于每款化妆品的直播，均包括了以下由主播依次执行的直播进程：化妆品介绍、化妆品试妆、产品信息互动、化妆信息互动、化妆效果展示。直播进程的次序可以在直播前或直播中进行更改。在每款化妆品的直播流程中，从化妆品介绍的直播进程开始，描述信息提取模块就开始收集用户反馈的互动信息，添加到该款化妆品的信息集合中，并可以在开始互动环节时停止收集或直到该款化妆品的互动环节结束才停止收集。收集之后可以立即进行前述的互动信息的分类以及与进程之间的匹配。

匹配是指将前述互动信息匹配到与该互动信息所属类别相关联的直播进程中。例如在开始化妆品C1的直播之后，在化妆品介绍环节接收到了用户发来的 1条被分类为产品成分咨询类的互动信息M1以及1条被分类为产品使用咨询类的互动信息M2，则M1信息和M2信息会被匹配到产品信息互动的直播进程；在化妆品试妆环节接收到了用户发来的1条被分类为产品效用咨询类的互动信息 M3、1条被分类为化妆技巧咨询类的互动信息M4、1条被分类为效果展示类的互动信息M5，则M3信息和M4信息会被匹配到化妆信息互动的直播进程，而M5信息则会被匹配到化妆效果展示的直播进程。

可以理解的是，这些预先设置的互动信息类别可以依据直播过程中可能包含的直播进程来进行设置，以增加互动信息与直播进程的匹配成功容易度。

互动信息插播模块用于依据匹配结果将互动信息插入到相应的直播进程中进行显示或播放。

直播进程匹配模块得到匹配结果后，互动信息插播模块将互动信息插入到相应的直播环节中，进行显示或播放。继续以上述匹配情景为例，在开始互动环节时，例如在开始互动环节中的产品信息互动环节时，直播平台会在实时转播直播画面的同时，将在直播画面中插入M1信息进行播放，主播可以针对M1 信息中提出的问题进行解答和评论，然后插入M2信息进行播放，主播再针对M2 信息中提出的问题进行解答和评论。后续的化妆信息互动环节和化妆效果展示环节同理。

由于互动信息包含了多种不同媒介消息，因此对于只包含文字消息的互动信息可以直接显示在直播画面的文字滚动区，而对于多张图像和一段短视频来说，则可以采用分屏、画中画、幻灯片等方式进行播放，例如将多张图像以L 形状显示于直播画面的左侧及下侧，主播的实时画面进行整体压缩并显示于右上侧；又例如将短视频显示于直播画面的左下侧并占用直播画面的一部分不显示关键内容的画面尺寸；还例如在直播画面中划分出一个能够显示一张图像的区域，在该区域内以幻灯片的形式依次轮动显示某互动信息里包含的多张图像。

可以理解的是，直播环节(也就是直播进程)中的互动环节可以在还未发生时进行调整，以适应直播的整体进度及时间规划。并且不同的互动环节中所展示的互动信息内容也是可选择、可删减、可变更的，例如由于前序环节占用时间超出预期导致互动环节的时间缩短时，可以减少互动次数，也就是减少展示互动信息的条目，甚至删除部分的互动环节。

本实施例提供的化妆品展示装置，能够在化妆品网络直播展示的过程中，使用户能够通过包括图像、视频在内的多种不同媒介的多媒体式反馈模式进行用户与主播的互动，能够弥补只有文字反馈时所无法实现的情景描述效果和效用描述效果，这极大增加了用户表达自己意图的清晰度和流畅度，同时还减少了主播理解用户反馈问题的时间，提高了直播效率和用户体验。

在可能包含图像、视频、语音和文字的任一项或多项的多媒体反馈模式中，由于图像和无声视频本身只能直观的表达出用户想反馈的要点，但指出要点的所在则需要语音或文字来帮助进行快速理解，只包含图像的直播互动信息很可能让直播平台无法进行解析以及让主播无法理解用户意图，而配有语音的图像以及一段短视频则可以通过语音进行意图解释以及通过图像进行现象表达，因此语音信息的识别和解读就成为直播平台能否正确解析出描述项以及主播能否正确而快速的理解用户的意图的关键点。因此在一种实施方式中，描述信息提取模块包括：有效语音提取子模块、语音特征提取子模块和语义匹配子模块。

有效语音提取子模块用于从直播互动信息中提取出有效语音帧段。有效语音帧段是指包含的内容为具有实质性内容的用户语音。

语音特征提取子模块用于从有效语音帧段中提取出语音特征。

语义匹配子模块用于计算语音特征与样本库中各语音特征模板的之间的矢量距离，并将矢量距离最小的语音特征模板的语义作为有效语音帧段的描述项。

具体的，首先对每一种表述的来自不同人的M个语音进行采集，并得到该表述下的语义模板，根据语音帧来标记，则语音样本可表示为 {P(1)，P(2)，...，P(m)}，m为训练语音信号的第m帧，P(m)为语音信号中第m帧特征矢量。

待测有效语音帧段表示为{Y(1)，Y(2)，...，Y(n)}，n为训练语音信号的第n帧， Y(n)为待测有效语音帧段中第n帧特征矢量。

样本库中预先采集有多种不同语音帧段及其对应的正确语义，语音样本表示为{P(1)，P(2)，...，P(m)}，m为训练语音信号的第m帧，P(m)为语音信号中第m 帧特征矢量。

利用时间规整函数将待测有效语音帧段的语音特征矢量的时间轴与语音样本的时间轴进行非线性映射，通过下式计算待测有效语音帧段与各语音样本的特征矢量之间的最优距离：

其中，时间规整函数为n＝ω(m)，ω为时间规整函数；D为待测语音特征在最优时间规整情况下与语音样本间的累积距离，z[Y(m)，P(n)]为第m帧待测语音特征矢量H(m)与第n帧语音样本的特征矢量P(n)之间的距离，S为待测语音特征矢量的帧数。

由于是依据矢量累积最小距离对应的规整函数匹配得到的匹配结果，因此匹配到的结果在有效语音帧段特征矢量与最佳语音样本特征矢量间相似性最大。

将有效语音帧段特征与模板库中的k个语音样本分别进行匹配，得到的两两特征矢量间累积最优距离分别为{D₁，D₂，...，D_k}，对应的最优规整函数分别为 {ω₁，ω₂，...，ω_k}。取D_a＝min{D₁，D₂，...，D_k}，其中D_a为语音样本a对应的最小匹配失真度，若D_a小于阈值，则与语音样本库中对应模板匹配成功，输出语音样本a的语义为描述项。

进一步的，有效语音提取子模块包括语音信号分帧单元和信号端点检测单元。

语音信号分帧单元用于将描述信息提取模块接收到的直播互动信息中的语音信息转换为数字语音信号的序列，并通过饱和嵌入维数法确定帧长，并依据帧长对序列进行语音分帧。

具体的，可以通过饱和嵌入维数计算的方式来确定语音信号时间序列的最小分帧长度。首先将序列{X₁，X₂，...，X_n}以帧长z进行分帧，则分帧后的相邻两组语音序列间有z-1个重合帧，使得序列{X₁，X₂，...，X_n}分为m＝n-z+1个行向量，其中，X₁＝[X₁，X₂，...，X_z]，X_m＝[X_m，X_m+1，…，X_n]。

通过下式计算该m个行向量的关联积分：

其中，l为关联积分函数C(l)的自变量，H(x)为单位阶跃函数。可知，某一数值的帧长z能够使得关联积分曲线斜率不随z的增加而增加，则该数值下的帧长z即为语音信息的饱和嵌入维数。

语音信号分帧单元还可以先对数字化之后得到的数字语音信号序列进行傅立叶变换，将不属于20Hz至20000Hz区间的系数设为零，再进行傅立叶逆变换，得到经过低通滤波的数字语音信号的序列，再对其进行语音分帧。

信号端点检测单元用于计算在分帧后每个语音帧的短时能量和短时平均过零率，依据短时能量值和短时平均过零率的值确定出起始帧和终止帧，进而得到有效语音帧段。

在语音分帧后进行端点检测来滤除掉无用的语音帧段，得到有效的语音帧段。短时能量E_j的计算公式为：

其中，X_(z×(j-1)+n)为第j个语音帧的第n个值。

短时平均过零率Z_j的计算公式为：

其中，sgn(x)为符号函数，在x>0时返回1，在x＝0时返回0，在x<0时返回-1。

算出短时能量和短时平均过零率之后，通过因子σ进行系数调整。若

且

则第j帧为静音帧，属于非有效语音帧；若

且

则第j帧为有效语音帧段的起始帧，将第j帧之后的首个静音帧作为有效语音帧段的终止帧。

描述信息提取模块通过对语音信号系列进行端点检测后对有效语音信号提取特征，每一帧语音信号可以用MFCC参数组成的语音信号特征矢量表示，然后用该特征矢量与样本库中的语音特征矢量进行依次匹配，得出匹配相似度最高的语音样本并将其语义作为描述项进行输出。

为了提高主播在直播反馈过程中对化妆品内容的直播效率，在一种实施方式中，互动信息分类模块在依据描述项对互动信息进行分类之前，先依据描述项将价值度未达到设定阈值的互动信息筛除，并对剩余未被筛除的互动信息进行前述的分类。

本实施方式在互动信息分类模块对采集到的直播互动信息进行分类之前，会先对互动信息进行筛选，并对筛选后符合要求的直播互动信息进行分类。筛选是依据描述项的内容判断直播互动信息对于主播及用户来说是否存在观看、收听的价值，确定出哪些属于可显示、可播放的互动信息，哪些属于无需显示及播放的互动信息。

筛选的方式可以是通过判断直播互动信息的价值度来进行。例如描述项为用户脸型与化妆品A匹配度的询问，则对应的互动信息能够使主播解答用户的问题以及使其他有相同问题的用户一同得到答案，属于高价值信息；而例如描述项为其他产品展示(一段洗衣服广告的视频或者和化妆品主题完全无关的信息)，则对应的直播互动信息并不能使用户得知任何关于化妆品方面的知识和情况，属于低价值信息。依据描述项可以判断出得知各直播互动信息的价值度，并可以将价值度低于价值度阈值的描述项所对应的直播反馈信息从信息集合中筛除。其中，价值度可以是具体数值，例如互动信息A的价值度为80高于阈值60，则属于高价值信息；价值度也可以是价值等级，例如互动信息B的价值度为三级低于阈值的六级，则属于低价值信息。

通过上述筛选方式先从信息集合中滤除低价值的互动信息，保留高价值的互动信息，然后再实施对高价值互动信息的分类，可以避免直播过程中显示、播放一些与直播内容无关的信息，提高用户体验及信息传播效率，使得用户能够对化妆品的了解更多，利于用户选出更合适自己的化妆品。

为了避免接收到的用户反馈的数量与安排的直播进程不相适配，增加直播平台对直播过程把控的灵活度，更好地满足和适应多数用户的观看需求，在一种实施方式中，该装置还包括直播进程调整模块。直播进程调整模块用于在互动信息插播模块将互动信息插入直播进程之前，先统计描述信息提取模块接收到的直播互动信息的数量，并在该数量满足调整条件时，即时调整直播进程的次序和/或时长，和/或即时调整互动信息插入直播进程的时机。

从描述信息提取模块开始接收用户发来的直播互动信息开始，直播进程调整模块也可以开始统计接收到的互动信息的数量。假设本次直播只包含对化妆品C1的直播，并且预先安排的直播进程依次为：化妆品介绍20分钟、化妆品试妆30分钟、产品信息互动10分钟、化妆信息互动10分钟、化妆效果展示10 分钟，而上述三个互动展示环节的10分钟预计时间能够分别进行2-5条互动信息的解答和评论，也就是说，对于这三个互动展示环节来说，播放的互动信息数量区间预期为2～5条。

假设在第一个互动环节，也就是产品信息互动开始之前，共接收到10条被分类为产品成分咨询类的互动信息，但未接收到任何关于其他类的互动信息，此时满足了以下调整条件B1：至少一个互动类直播进程的相应类别互动信息数量超出了该进程的预期上限阈值，并且另外的至少一个互动类直播进程的相应类别互动信息数量未达到该进程的预期下限阈值，并且该超出预期上限阈值的直播进程中的至少一个直播进程原定排序于所有未达到预期下限阈值的直播进程之前。具体的，产品信息互动环节原定排序于化妆信息互动和化妆效果展示之前进行，且其互动信息数量超过了5条，而剩余两个环节的互动信息数量则均未达到2条。在满足该调整条件时：延长超出预期上限阈值的直播进程的时长并缩短未达到预期下限阈值的直播进程的时长，或将未达到预期下限阈值的直播进程的时长全部分配给超出预期上限阈值的直播进程。具体的，可以删除化妆信息互动环节和化妆效果展示环节，使得产品信息互动环节延长至30分钟，以尽量多的解答用户关于产品信息方面的问题。若描述信息提取模块接收到了1 条化妆技巧咨询类的互动信息以及1条效果展示类的互动信息，则可以将化妆信息互动环节和化妆效果展示环节均删减至3分钟，并将产品信息互动环节延长至24分钟，以对直播进度进行合理安排调整，更多的增加主播和用户之间的互动内容和互动效率。

假设在第一个互动环节开始之前，共接收到10条被分类为化妆技巧咨询类的互动信息和5条效果展示类的互动信息，但未接收到任何关于产品咨询类的互动信息，此时若按照预先的安排，则会因为没有用户反馈属于产品信息互动环节播放的信息而无法进行产品信息互动环节。此时满足了以下调整条件B2：至少一个互动类直播进程的相应类别互动信息数量超出了该进程的预期上限阈值，并且另外的至少一个互动类直播进程的相应类别互动信息数量未达到该进程的预期下限阈值，并且至少一个未达到预期下限阈值的直播进程原定排序于所有超出预期上限阈值的直播进程之前。具体的，产品信息互动环节原定排序于化妆信息互动之前进行，且其互动信息数量少于2条，而化妆信息互动环节则超过了5条，第三环节的化妆效果展示环节少于2条。在满足该调整条件时：将每个超出预期上限阈值的直播进程均调整排序到所有未达到预期下限阈值的直播进程之前进行。具体的，将化妆信息互动环节作为第一个互动环节进行，在到达化妆信息互动环节的原定分配时间10分钟时，若在新的第一环节期间接收到了用户反馈的关于产品咨询类的互动信息，则可以执行产品信息互动环节，避免环节的缺失以及避免遗漏应当在缺失环节播放的互动信息。若在新的第一环节期间依旧未接收到任何关于产品咨询类的互动信息，则可以将产品信息互动环节的时间分配给化妆信息互动环节和/或化妆效果展示环节，以充分利用由于环节缺失产生的空余时间来进行更多互动信息的播放及解答。

假设在非互动环节中，描述信息提取模块接收到了大量用户反馈的互动信息并被互动信息分类模块分类到同一类。此时满足了以下调整条件B2：在非互动类直播进程的直播过程中接收到的互动信息数量超出极限阈值。具体的，在化妆品介绍环节过程中接收到了上千条咨询该化妆品产品价格的价格咨询类互动信息，这些信息被匹配到后续的产品信息互动环节。在满足该调整条件时：互动信息插播模块临时将该互动信息插入到当前直播进程中进行显示或播放，并对该互动信息所匹配的直播进程的时长进行补偿性压缩。由于提问的用户过多，因此为了及时满足大量用户的需求，将本该在后续的产品信息互动环节才予以播放并解答的问题临时在当前环节时进行解答，以提升用户体验，而由于该互动信息本该在化妆信息互动环节播放，因此由于提前播放导致化妆品介绍环节的时长延长了2分钟，则需要将产品信息互动环节的时长减少2分钟，以保证整体直播时长不变。

可以理解的是，调整条件可以由于情景的不同而存在多种情况，以上仅为其中部分情况的举例。

通过设置直播进程调整模块将直播进程调整为适应于用户观看需求的播放次序、时长分配以及播放内容，满足更多数用户的需求，利于用户选购到最合适自己的产品。

由于用户反馈的互动信息可能会很多，导致在直播进程的设定时长内无法将每个用户的互动信息均进行播放和解答，因此为了在此情况下满足尽量多的用户的需求，在一种实施方式中，该装置还包括互动信息选择模块。互动信息选择模块用于在互动信息插播模块将互动信息插入直播进程之前，先对各直播进程所匹配的互动信息在各类别的数量进行统计，并依据互动信息在各类别的数量，以及同一类别中包含的内容相同的互动信息的数量，确定出被插入直播进程的互动信息。

假设在第一个互动环节开始之前，接收到上千条用户反馈的互动信息，并且经分类后发现每个互动环节均包含了几百条可以进行播放的互动信息，但每个互动环节的预定时长为10分钟，因此互动信息选择模块对互动信息类别数量进行统计，统计结果表明，三个互动环节所对应的互动信息数量分别为400条、 500条、400条。

以产品信息互动环节为例进行说明。产品信息互动环节对应有五个类别，分别为品牌型号咨询类、产品成分咨询类、产品使用咨询类、产品效用咨询类、价格咨询类，经过互动信息分类模块分类后可知，该五个类别的互动信息数量依次为0条、100条、200条、200条、100条。由于这五个类别的互动信息中，每个类别包含的互动信息的表达内容很可能是重复的。例如在产品使用咨询类的200条互动信息中，经过对图像、语音、文字进行语义解析并提炼出互动信息的核心关键词后(也就是互动内容)，可以得知有180条互动信息是咨询该化妆品能否使用湿用粉饼进行上妆，而剩余20条互动信息是咨询该化妆品的其他问题；并且在产品效用咨询类的200条互动信息中，经过对图像、语音、文字进行语义解析并提炼出互动信息的核心关键词后，可以得知有150条互动信息是咨询该化妆品的美白持续时间，剩余50条互动信息是咨询该化妆品有无防晒效果以及有无保湿效果。

由此可知，在产品信息互动环节中，咨询该化妆品能否使用湿用粉饼进行上妆的互动信息数量最多，咨询该化妆品美白持续时间的互动信息数量第二，其他内容的互动信息数量排名以此类推。互动信息选择模块依据这些确定出的互动信息数量，优先将数量最多的前N个互动信息按照数量从多到少的排序进行插入播放和解答，即先从粉饼互动信息中选择一条并播放该条互动信息然后进行解答，再先从美白时间互动信息中选择一条并播放该互动信息然后进行解答，直到本环节的预定时长结束或经延长、缩短后的本环节的预定时长结束。同理可得互动信息选择模块对其他环节进行互动信息的确定以及插播。

通过设置互动信息选择模块，在有限的时间和有限的互动信息互动次数中，将互动内容相同的互动信息进行统计并选择将同内容的数量最多的互动信息进行插播，以解答多数用户的疑问，满足更多数用户的需求，利于用户选购到最合适自己的产品。

由于化妆品直播可能是连续每天或定期进行的，而不同化妆品之间存在很多相同的性质和属性，因此在不同时间的直播中，用户可能均会反馈出互动内容相同的互动信息，因此为了提高互动效率，增大关于新产品新性质的介绍内容占比，在一种实施方式中，互动信息选择模块还用于在互动信息插播模块将互动信息插入直播进程之前，先将待插入的互动信息的内容与预先设定的互动内容库中的互动内容进行比对，并将互动内容与互动内容库中的互动内容相同的互动信息筛除掉，将剩余的互动信息作为待插入直播进程的互动信息。其中，互动内容库中的互动内容包括往期直播中被播放过超多设定次数的互动内容。

在多期化妆品直播中，直播平台可以对每期直播中互动环节播放的互动信息或在非互动环节临时插播的互动信息及其表达内容(也就是互动内容)进行记录和统计，当某种表达内容相同的互动信息被播放超过了一定次数时，该互动内容会被加入到互动内容库中。

而在每期直播过程中，在互动信息插播模块进行互动信息的插播之前，并在经过对图像、语音、文字进行语义解析并提炼出互动信息的核心关键词(也就是互动内容)后，互动信息选择模块会先将每条准备插播的互动信息的互动内容分别与互动内容库中的每项互动内容进行比对，若某一待插播于互动环节的互动信息与互动内容库中的某一项互动内容相同，例如都是咨询某型号的口红是否可食用，则说明该问题已经在往期的直播过程中被用户反馈过很多次并且也在互动环节被播放及解答过很多次，因此该互动信息的问题属于常识性问题，可以预料很多的用户已经知晓该问题的答案，因此可以将该待插播的互动信息筛除掉从而不进行插播，以此增加播放的互动信息的质量。

可以理解的是，互动信息的筛除以及确定均由互动信息选择模块完成，而该筛除和该确定的执行顺序则可以是不固定的，例如可以选择先筛除掉以重复播放过的互动信息，然后对剩余的互动信息进行统计和确定，最后按照数量的大小依次进行播放；也可以先对互动信息进行统计和确定，得到同内容互动信息数量的大小，然后将互动信息按相同内容从多到少的顺序依次与内容库中的互动内容进行对比，假设相同内容最多的N条互动信息的互动内容与内容库中的某一互动内容相同，则筛除该N条互动信息，再继续比较相同内容的数量第二多的互动信息的互动内容，若具有该内容的互动信息未与内容库有重复，则从具有该内容的M条互动信息中选一条作为相应环节中首个插播的互动信息。后续以此类推。

经过互动信息分类模块对互动信息进行低价值度互动信息筛除后，后续过程中还通过互动信息选择模块对多次重复播放过的互动信息进行再次筛除，使得播放的互动信息所聚焦的问题更偏向于新的产品和新的疑问，提升了互动信息的新鲜感和质量，进一步实现了满足更多数用户的需求以及利于用户选购到最合适自己的产品。

下面参考图2详细描述本申请公开的支持用户多媒体反馈的化妆品展示方法实施例。本实施例用于实施前述的支持用户多媒体反馈的化妆品展示装置实施例。

如图2所示，本实施例公开的方法包括如下步骤：

步骤100，对直播过程中用户反馈的直播互动信息进行接收并从中解析提取出描述项。其中，直播互动信息包括视频画面、语音信息、文字信息中的至少一项。

步骤200，依据描述项对互动信息进行分类。其中，互动信息的类别包括化妆咨询类和效果展示类。

步骤300，依据分类结果将互动信息与预先设定的直播进程进行匹配。

步骤400，依据匹配结果将互动信息插入到相应的直播进程中进行显示或播放。

在一种实施方式中，步骤100中对直播过程中用户反馈的直播互动信息进行接收并从中解析提取出描述项，包括以下步骤：

步骤110，从直播互动信息中提取出有效语音帧段；

步骤120，从有效语音帧段中提取出语音特征；

步骤130，计算语音特征与样本库中各语音特征模板的之间的矢量距离，并将矢量距离最小的语音特征模板的语义作为有效语音帧段的描述项。

在一种实施方式中，步骤110中从直播互动信息中提取出有效语音帧段，包括以下步骤：

步骤111，将直播互动信息中的语音信息转换为数字语音信号的序列，并通过饱和嵌入维数法确定帧长，并依据帧长对序列进行语音分帧；

步骤112，计算分帧后每个语音帧的短时能量和短时平均过零率，依据短时能量值和短时平均过零率的值确定出起始帧和终止帧，进而得到有效语音帧段。

在一种实施方式中，在依据描述项对互动信息进行分类之前，先依据描述项将价值度未达到设定阈值的互动信息筛除，并对剩余未被筛除的互动信息进行分类。

在一种实施方式中，该方法还包括以下步骤：

在将互动信息插入直播进程之前，先统计接收到的互动信息的数量，并在该数量满足调整条件时，即时调整直播进程的次序和/或时长，和/或即时调整互动信息插入直播进程的时机。

在一种实施方式中，该方法还包括以下步骤：

在将互动信息插入直播进程之前，先对各直播进程所匹配的互动信息在各类别的数量进行统计，并依据互动信息在各类别的数量，以及同一类别中包含的内容相同的互动信息的数量，确定出被插入直播进程的互动信息。

在一种实施方式中，该方法还包括以下步骤：

在将互动信息插入直播进程之前，先将待插入的互动信息的内容与预先设定的互动内容库中的互动内容进行比对，并将互动内容与互动内容库中的互动内容相同的互动信息筛除掉，将剩余的互动信息作为待插入直播进程的互动信息；其中，互动内容库中的互动内容包括往期直播中被播放过超多设定次数的互动内容。

本文中的模块、单元的划分仅仅是一种逻辑功能的划分，在实际实现时可以有其他的划分方式，例如多个模块和/或单元可以结合或集成于另一个装置中。作为分离部件说明的模块、单元在物理上可以是分开的，也可以是不分开的。作为单元显示的部件可以是物理单元，也可以不是物理单元，即可以位于一个具体地方，也可以分布到网格单元中。因此可以根据实际需要选择其中的部分或全部的单元来实现实施例的方案。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种支持用户多媒体反馈的化妆品展示装置，其特征在于，包括：

描述信息提取模块，用于对直播过程中用户反馈的直播互动信息进行接收并从中解析提取出描述项；

互动信息分类模块，用于依据所述描述项对所述互动信息进行分类；

直播进程匹配模块，用于依据所述分类结果将所述互动信息与预先设定的直播进程进行匹配；

互动信息插播模块，用于依据所述匹配结果将所述互动信息插入到相应的直播进程中进行显示或播放；其中，

所述直播互动信息包括视频画面、语音信息、文字信息中的至少一项，所述互动信息的类别包括化妆咨询类和效果展示类。

2.如权利要求1所述的装置，其特征在于，所述描述信息提取模块包括：

有效语音提取子模块，用于从所述直播互动信息中提取出有效语音帧段；

语音特征提取子模块，用于从所述有效语音帧段中提取出语音特征；

语义匹配子模块，用于计算所述语音特征与样本库中各语音特征模板的之间的矢量距离，并将矢量距离最小的语音特征模板的语义作为所述有效语音帧段的描述项。

3.如权利要求2所述的装置，其特征在于，所述有效语音提取子模块包括：

语音信号分帧单元，用于将所述直播互动信息中的语音信息转换为数字语音信号的序列，并通过饱和嵌入维数法确定帧长，并依据所述帧长对所述序列进行语音分帧；通过饱和嵌入维数法确定帧长具体是通过饱和嵌入维数计算的方式来确定语音信号时间序列的最小分帧长度；

信号端点检测单元，用于计算所述分帧后每个语音帧的短时能量和短时平均过零率，依据短时能量值和短时平均过零率的值确定出起始帧和终止帧，进而得到有效语音帧段。

4.如权利要求1-3中任一项所述的装置，其特征在于，该装置还包括：

直播进程调整模块，用于在所述互动信息插播模块将所述互动信息插入直播进程之前，先统计所述描述信息提取模块接收到的互动信息的数量，并在该数量满足调整条件时，即时调整所述直播进程的次序和/或时长，和/或即时调整所述互动信息插入直播进程的时机。

5.如权利要求1-3中任一项所述的装置，其特征在于，该装置还包括：

互动信息选择模块，用于在所述互动信息插播模块将所述互动信息插入直播进程之前，先对各所述直播进程所匹配的互动信息在各所述类别的数量进行统计，并依据互动信息在各类别的数量，以及同一类别中包含的内容相同的互动信息的数量，确定出被插入直播进程的互动信息。

6.一种支持用户多媒体反馈的化妆品展示方法，其特征在于，包括：

对直播过程中用户反馈的直播互动信息进行接收并从中解析提取出描述项；

依据所述描述项对所述互动信息进行分类；

依据所述分类结果将所述互动信息与预先设定的直播进程进行匹配；

依据所述匹配结果将所述互动信息插入到相应的直播进程中进行显示或播放；其中，

所述直播互动信息包括视频画面、语音信息、文字信息中的至少一项，所述互动信息的类别包括化妆咨询类和效果展示类。

7.如权利要求6所述的方法，其特征在于，所述对直播过程中用户反馈的直播互动信息进行接收并从中解析提取出描述项，包括：

从所述直播互动信息中提取出有效语音帧段；

从所述有效语音帧段中提取出语音特征；

计算所述语音特征与样本库中各语音特征模板的之间的矢量距离，并将矢量距离最小的语音特征模板的语义作为所述有效语音帧段的描述项。

8.如权利要求7所述的方法，其特征在于，所述从所述直播互动信息中提取出有效语音帧段，包括：

将所述直播互动信息中的语音信息转换为数字语音信号的序列，并通过饱和嵌入维数法确定帧长，并依据所述帧长对所述序列进行语音分帧；通过饱和嵌入维数法确定帧长具体是通过饱和嵌入维数计算的方式来确定语音信号时间序列的最小分帧长度；

计算所述分帧后每个语音帧的短时能量和短时平均过零率，依据短时能量值和短时平均过零率的值确定出起始帧和终止帧，进而得到有效语音帧段。

9.如权利要求6-8中任一项所述的方法，其特征在于，该方法还包括：

在将所述互动信息插入直播进程之前，先统计接收到的互动信息的数量，并在该数量满足调整条件时，即时调整所述直播进程的次序和/或时长，和/或即时调整所述互动信息插入直播进程的时机。

10.如权利要求6-8中任一项所述的方法，其特征在于，该方法还包括：

在将所述互动信息插入直播进程之前，先对各所述直播进程所匹配的互动信息在各所述类别的数量进行统计，并依据互动信息在各类别的数量，以及同一类别中包含的内容相同的互动信息的数量，确定出被插入直播进程的互动信息。

Images