CN114612142A - 多模态信息融合的商业内容推荐方法、装置及电子设备 - Google Patents

Abstract

本发明公开了一种多模态信息融合的商业内容推荐方法、装置及电子设备，所述方法包括：获取目标区域内目标对象的采集信息；提取所述采集信息包含的目标确认信息，在所述目标确认信息符合设定要求的情况下，确定特定目标对象；提取所述采集信息包含的特定目标对象的目标匹配信息；基于所述目标匹配信息，匹配对应的显示内容进行显示。本发明商业内容推荐精准，更加符合用户的喜好与要求。

Description

多模态信息融合的商业内容推荐方法、装置及电子设备

技术领域

本发明涉及内容显示技术领域，具体地涉及一种多模态信息融合的商业内容推荐方法、装置及电子设备。

背景技术

在生活中，商业广告无处不在，目前分为线上及线下。线上广告已经可以根据使用人员浏览习惯做针对性智能推荐，线下广告却缺乏必要的技术手段来实现类似的智能推荐。以商超综合体为例，商业广告推荐媒介趋向以各种电子广告屏（如LED大屏、广告机等）为主，克服了传统海报内容恒定不变的缺点，但电子广告屏播放模式停留在在将所有设放的广告内容随机播放或按预先设置的方式进行播放状态，既无大数据做支撑，也不能与现场客户需求进行联系和交互，缺乏感知和交互能力，传统的广告播放策略对客户缺乏针对性和趣味性，无法进行高转化率的精准投放和有效的引流，达不到智能推荐的要求。

发明内容

本发明的目的在于提供一种商业内容推荐精准的多模态信息融合的商业内容推荐方法、装置及电子设备。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种多模态信息融合的商业内容推荐方法，所述方法包括：

获取目标区域内目标对象的采集信息；

提取所述采集信息包含的目标确认信息，在所述目标确认信息符合设定要求的情况下，确定特定目标对象；

提取所述采集信息包含的特定目标对象的目标匹配信息；

基于所述目标匹配信息，匹配对应的显示内容进行显示。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种多模态商业内容推荐装置，包括用于执行如上所述的多模态信息融合的商业内容推荐方法的单元。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器之间通过通信总线完成相互间的通信。

存储器，用于存放计算机程序。

处理器，用于执行存储器上所存放的程序时，实现如上所述的多模态信息融合的商业内容推荐方法的步骤。

为解决上述技术问题，本发明采用的另一个技术方案是：一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现如上所述的多模态信息融合的商业内容推荐方法的步骤。

本发明公开的多模态信息融合的商业内容推荐方法、装置及电子设备，该方法包括：获取目标区域内目标对象的采集信息；提取所述采集信息包含的目标确认信息，在所述目标确认信息符合设定要求的情况下，确定特定目标对象；提取所述采集信息包含的特定目标对象的目标匹配信息；基于所述目标匹配信息，匹配对应的显示内容进行显示。本发明相较于传统的商超广告投放，采取主动采集信息的方式，对目标区域内的目标对象进行信息的采集，然后根据采集的信息来后去对应的显示内容，使得投放的广告更加符合用户的喜好与要求，从而可提高商业广告投放的转化率。

附图说明

为了更清楚地说明本发明的技术方案，下面将对发明中所需要使用的附图作简单的介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明一实施例的多模态信息融合的商业内容推荐方法的流程示意图。

图2是本发明一实施例的多模态信息融合的商业内容推荐方法的子流程示意图。

图3是本发明一实施例的多模态信息融合的商业内容推荐方法的子流程示意图。

图4是本发明一实施例的多模态信息融合的商业内容推荐方法的子流程示意图。

图5是本发明一实施例的多模态信息融合的商业内容推荐方法的子流程示意图。

图6是本发明一实施例的多模态信息融合的商业内容推荐方法的子流程示意图。

图7是本发明一实施例的多模态信息融合的商业内容推荐方法的子流程示意图。

图8是本发明一实施例的多模态信息融合的商业内容推荐方法的子流程示意图。

图9是本发明一实施例的电子设备的模块结构示意图。

图10是本发明一实施例的多模态信息融合的商业内容推荐方法的模块结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对实施例中的技术方案进行清楚、完整地描述，附图中类似的组件标号代表类似的组件。显然，以下将描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明实施例说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明实施例。如在本发明实施例说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

请参考图1，图1是本发明一实施例的多模态信息融合的商业内容推荐方法的流程示意图。

本发明提供了一种多模态信息融合的商业内容推荐方法，所述方法包括：

S101：获取目标区域内目标对象的采集信息。

可理解地，目标区域指的是设置在商超等场合，且对于进行广告商业内容进行显示的设备附近区域，例如设备前方用户的行进通道或设定扇形面积内，当用户处于目标区域内后，触发设备对目标区域内的目标对象进行信息的采集。

S102：提取所述采集信息包含的目标确认信息，在所述目标确认信息符合设定要求的情况下，确定特定目标对象。

可理解地，在商超等一些人多的场合，需要对目标对象进行筛选，从而确定出特定目标对象，从而保证采集信息属于同一个人，否则会造成信息采集繁多且无法对应。

S103：提取所述采集信息包含的特定目标对象的目标匹配信息。

可理解地，设备采集的采集信息是处于目标区域内的所有目标对象的采集信息，当信息采集完成后，需要对采集信息再次进行筛选，从而将采集信息逐一与目标对象对应起来，不同的特定目标对象具有不同的目标匹配信息。

S104：基于所述目标匹配信息，匹配对应的显示内容进行显示。

可理解地，当确定特定目标对象的目标匹配信息后，通过目标匹配信息去调取相对于的显示内容，从而实现针对不同用户可显示不同内容的目的。其中，视频源的获取途径或来源地包括但不限于透明工厂或产地直播、商品广告或介绍、社交软件推广或带货直播、现场互动场景。

本发明公开的多模态信息融合的商业内容推荐方法、装置及电子设备，该方法包括：获取目标区域内目标对象的采集信息；提取所述采集信息包含的目标确认信息，在所述目标确认信息符合设定要求的情况下，确定特定目标对象；提取所述采集信息包含的特定目标对象的目标匹配信息；基于所述目标匹配信息，匹配对应的显示内容进行显示。本发明相较于传统的商超广告投放，采取主动采集信息的方式，对目标区域内的目标对象进行信息的采集，然后根据采集的信息来后去对应的显示内容，使得投放的广告更加符合用户的喜好与要求，从而可提高商业广告投放的转化率。

进一步地，请参考图2，图2是本发明一实施例的多模态信息融合的商业内容推荐方法的子流程示意图。

本发明的所述获取目标区域内目标对象的采集信息包括；

S201：构建目标区域。

具体地，可划定设备前方用户行进通道的一定范围内为目标区域，如距离设备1米范围内为目标区域。

S202：采集所述目标区域内的音视频信息，其中，所述音视频信息包含人体信息、人脸信息和语音信息。

S203：将所述人体信息、人脸信息和语音信息作为所述采集信息。

本发明的设备可实时的对目标区域进行监控，并采集目标区域内的音视频信息，在本实施例中具体采集的音视频信息包括但不限于人体信息、人脸信息和语音信息。

进一步地，请参考图3，图3是本发明一实施例的多模态信息融合的商业内容推荐方法的子流程示意图。

本发明的所述提取所述采集信息包含的目标确认信息，在所述目标确认信息符合设定要求的情况下，确定目标对象包括：

S301：获取所述采集信息。

S302：提取所述采集信息包括的人体信息和人脸信息，将所述人体信息和人脸信息作为所述目标确认信息。

S303：在所述人体信息和所述人脸信息属于同一用户的情况下，确定特定目标对象。

本发明首先是通过获取到设备采集的视频流，使用深度学习检测模型Yolov5对每一帧进行人脸检测和人体检测。为了获取真人属性，防止算法检测到现场其他画面上的人脸人体，会对背景人脸人体进行过滤。使用检测算法进行人脸和人体检测，在目标区域内的检测，只保留同时检测到的人脸和人体的音视频信息。从而有效的保证特定目标对象与对应的音视频信息相匹配。

进一步地，请参考图4，图4是本发明一实施例的多模态信息融合的商业内容推荐方法的子流程示意图。

本发明的所述提取所述采集信息包含的特定目标对象的目标匹配信息包括：

S401：获取所述采集信息包含的特定目标对象的语音信息，基于特定目标对象的语音信息提取出目标关键词。

S402：获取所述采集信息包含的特定目标对象的人体信息，基于特定目标对象的人体信息提取出用户属性。

S403：获取所述采集信息包含的特定目标对象的人脸信息，基于特定目标对象的人脸信息提取出目标情绪。

S404：将所述目标关键词、用户属性和目标情绪作为所述目标匹配信息。

可理解地，要得到非常精准的和商业场景有关的语音识别模型，首先收集足够多测试者在商业应用场景下说出商品名称之类的语音数据，然后使用pytorch-kadli深度学习框架，训练一个带门控单元的循环神经网络（GRU）作为语音识别模型。另外，为了获取真人属性，防止算法检测到现场其它电子产品发出的声音，需会对电子音频源进行过滤。使用检测算法进行人脸和人体检测，在目标区域内的检测，只保留同时检测到的人脸和人体的音视频信息。从而有效的保证特定目标对象与对应的音视频信息相匹配。

进一步地，请参考图5，图5是本发明一实施例的多模态信息融合的商业内容推荐方法的子流程示意图。

本发明的所述基于所述目标匹配信息，匹配对应的显示内容进行显示包括：

S501：构建匹配库；

S502：将所述目标匹配信息与所述匹配库所包含的显示内容一一对应设置；

S503：获取目标匹配信息；

S504：根据所述目标匹配信息，调取所述匹配库内对应的目标内容，并将所述目标内容作为所述显示内容进行显示。

具体地，首先建立不同属性的音视频源，例如透明工厂或产地直播、商品广告或介绍、社交软件推广或带货直播、现场互动场景，然后根据不同的属性将视频进行呈现。对于属性了分为多个层面：年龄、性别（男和女）、风格。对于年龄分为：母婴、儿童、青年、中年、老年。对于穿着风格分为：日韩系、欧美、简约、运动、休闲、商务等。每个视频源可以对应多种属性，主要是对应产品的属性，比如：某款女士手提包可能有青年、女性、欧美三种层面属性。而对于不同的属性，其可设置对应的目标匹配信息：目标关键词、用户属性和目标情绪。例如建立一个“类别-品牌-播放链接”的数据库，比如格力空调：空调-格力-直播地址。将语音识别成文字后，进行分词，比如“我想看看格力空调”分词后“我、想、看看、格力、空调”，接着去掉主语和谓语，将剩下的每个词在数据库的类别字段进行搜索，如果存在该字段则将每个词进行品牌搜索，最终将类别-品牌符合的音视频链接进行播放。

进一步地，请参考图6，图6是本发明一实施例的多模态信息融合的商业内容推荐方法的子流程示意图。

本发明的所述基于所述目标匹配信息，匹配对应的显示内容进行显示还包括：

S601：判断所述目标匹配信息是否包含特定目标对象的语音信息；

S602：在所述目标匹配信息包含特定目标对象的语音信息的情况下，提取特定目标对象的语音信息所包含的目标关键词；

S603：根据从特定目标对象语音信息中提取出来的目标关键词，调取匹配库内对应的目标内容。

可理解地，在所述目标匹配信息未包含特定目标对象的语音信息的情况下，直接按照采集信息中的用户属性为客户推荐对应的目标内容。

进一步地，请参考图7，图7是本发明一实施例的多模态信息融合的商业内容推荐方法的子流程示意图。

本发明的所述基于所述目标匹配信息，匹配对应的显示内容进行显示还包括：

S701：判断所述目标匹配信息是否包含特定目标对象的语音信息；

S702：在所述目标匹配信息未包含特定目标对象的语音信息的情况下，提取特定目标对象的人体信息所包含的用户属性；

S703：根据从特定目标对象的人体信息中提取出的用户属性，调取匹配库内对应的目标内容。

进一步地，请参考图8，图8是本发明一实施例的多模态信息融合的商业内容推荐方法的子流程示意图。

本发明的所述基于所述目标匹配信息，匹配对应的显示内容进行显示还包括：

S801：获取特定目标对象的人脸信息所包含的目标情绪；

S802：判断特定目标对象的人脸信息所包含的目标情绪是否为正面情绪；

S803：在特定目标对象的人脸信息所包含的目标情绪不是正面情绪的情况下，获取特定目标对象的人体信息；

S804：根据从特定目标对象的人体信息中提取出的用户属性，调取匹配库内对应的目标内容。

可理解地，对于人脸微表情识别，在人脸检测完后，获取到人脸信息，采用时空3D卷积神经网络对每个人脸序列（如16帧）进行正面、负面表情识别；对于语音情感识别，在有语音信号时，划分3秒为一段，30秒为一个识别区间，将每段语音进行时频谱转换得到时频谱图，然后采用2D卷积神经网络对每段时频谱图进行卷积得到每段的语音特征，然后将识别区间的所有特征使用带门控单元的循环神经网络（GRU）进行情感的正面、负面识别；对于文本内容情感识别，分词完成后，使用训练好的中文“词到向量（Word2Vec）”模型将每个字转换成数值向量，然后使用带门控单元的循环神经网络（GRU）进行情感的正面、负面识别。最后，将3个模态识别的正负情绪的概率进行平均，得到最终的正负情绪识别结果，从而获取到人脸信息所包含的目标情绪。结合客户情感识别结果和当前播放的商业音视频内容，推荐目标客户喜好商业音视频。当识别的客户情感为正面情绪时，则继续按照关键字匹配、客户属性的优先级进行商业音视频呈现。当客户情绪连续2个识别区间为负面时，则结合客户属性换成其他同类商品的音视频内容。

本发明可通过设备自带的现有监控摄像头或安装专用摄像头通过程序识别当前多数客户的各种特征（年龄、性别、穿着色调、上下衣款式），从而感知客户的属性（性别、风格和年龄层次）；同时，通过摄像头上的拾音器或安装专用音频采集设备对客户说话内容进行语音识别，提取关键字；准备好不同属性的视频源（透明工厂或产地直播、商品广告或介绍、社交软件推广或带货直播、现场互动场景）；结合说话内容和客户风格，首先按照语音内容关键字作为第一优先级，结合摄像头判断在客户在目标区域如行进通道或停留场所播放本商场对应关键字的视频源，进一步地推送产地直播或者透明工厂视频源，进一步地提供产品对就的推广链接或信息：在显示屏局部或产品陈列位置展示相应的二维码，客户通过扫码投展或直接进入视频库进一步了解准确信息；其次，如果没有匹配到目标关键词，则按照用户属性，在事先做好的带有对应用户属性的视频源中选取进行精准播放，同样可以把详细信息做成二维码交互的方式呈现；第三，在有音视频的互动场景（如游戏互动、促销活动）时，针对不同用户属性的客户自动推送不同互动形式和内容，进一步可将热烈的互动现场投送到整个播控系统下的其它显示屏上达到提升现场气氛的效果，进一步可将互动现场进行音视频编码推送至社交软件上达到宣传并引进外部客流的效果；第四，在商业广告呈现过程中，可通过摄像头和拾音器采集到的客户的表情和语音情感进行实时分析识别，结合语音识别后文本情感识别，感知客户对当前商业音视频内容产品的正负面情感，如感知到出现推荐产品关键字，则进行相应的音视频切换至推荐引流模式；第五，系统主动识别客户已选择商品信息或停留区域商品信息，推荐有关联商品广告，进一步接入进销存系统及收银系统，根据客户属性推荐最具有关联性的产品，设定优先级可推送最高库存量、最接近保质期、最高利润率、最高转化率等商品促销信息；第六，本发明可在运行一定时间后进行数据收集和学习，依据不同用户属性的客户对不同商品或视频源的关注程度的统计数据，进一步计算出相应商业广告或视频源达成的转化率，并自动优化后续电子显示屏播放内容的策略。

本发明采集客户的人脸信息、语音信息，从而分析客户的微表情、语音及语音文本内容，从而进行多模态的正负情感识别，实现多模态的分析。并且，同时基于目标关键词、目标情绪和用户属性的多模态信息融合分析推荐，使得显示内容更符合客户的要求，提升显示内容的投放精确度。

请参考图9，图9是本发明一实施例的电子设备的模块结构示意图。

本发明还提供了一种电子设备，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901、通信接口902和存储器903之间通过通信总线904完成相互间的通信。

存储器903，用于存放计算机程序。

处理器901，用于执行存储器上所存放的程序时，实现如上所述的多模态信息融合的商业内容推荐方法的步骤。

请参考图10，图10是本发明一实施例的多模态商业内容推荐装置的模块结构示意图。

本发明还提供了一种多模态商业内容推荐装置10，包括用于执行如上所述的多模态信息融合的商业内容推荐方法的单元，包括：

获取单元11，获取目标区域内目标对象的采集信息。

第一提取单元12，提取所述采集信息包含的目标确认信息，在所述目标确认信息符合设定要求的情况下，确定特定目标对象。

第二提取单元13，提取所述采集信息包含的特定目标对象的目标匹配信息。

匹配单元14，基于所述目标匹配信息，匹配对应的显示内容进行显示。

在一实施例中，所述获取目标区域内目标对象的采集信息包括；

构建目标区域。

采集所述目标区域内的音视频信息，其中，所述音视频信息包含人体信息、人脸信息和语音信息。

将所述人体信息、人脸信息和语音信息作为所述采集信息。

在一实施例中，所述提取所述采集信息包含的目标确认信息，在所述目标确认信息符合设定要求的情况下，确定目标对象包括：

获取所述采集信息。

提取所述采集信息包括的人体信息和人脸信息，将所述人体信息和人脸信息作为所述目标确认信息。

在所述人体信息和所述人脸信息属于同一用户的情况下，确定特定目标对象。

在一实施例中，所述提取所述采集信息包含的特定目标对象的目标匹配信息包括：

获取所述采集信息包含的特定目标对象的语音信息，基于特定目标对象的语音信息提取出目标关键词。

获取所述采集信息包含的特定目标对象的人体信息，基于特定目标对象的人体信息提取出用户属性。

获取所述采集信息包含的特定目标对象的人脸信息，基于特定目标对象的人脸信息提取出目标情绪。

将所述目标关键词、用户属性和目标情绪作为所述目标匹配信息。

在一实施例中，所述基于所述目标匹配信息，匹配对应的显示内容进行显示包括：

构建匹配库；

将所述目标匹配信息与所述匹配库所包含的显示内容一一对应设置；

获取目标匹配信息；

根据所述目标匹配信息，调取所述匹配库内对应的目标内容，并将所述目标内容作为所述显示内容进行显示。

在一实施例中，所述基于所述目标匹配信息，匹配对应的显示内容进行显示还包括：

判断所述目标匹配信息是否包含特定目标对象的语音信息；

在所述目标匹配信息包含特定目标对象的语音信息的情况下，提取特定目标对象的语音信息所包含的目标关键词；

根据从特定目标对象语音信息中提取出来的目标关键词，调取匹配库内对应的目标内容。

在一实施例中，所述基于所述目标匹配信息，匹配对应的显示内容进行显示还包括：

判断所述目标匹配信息是否包含特定目标对象的语音信息；

在所述目标匹配信息未包含特定目标对象的语音信息的情况下，提取特定目标对象的人体信息所包含的用户属性；

根据从特定目标对象的人体信息中提取出的用户属性，调取匹配库内对应的目标内容。

在一种实施例中，所述基于所述目标匹配信息，匹配对应的显示内容进行显示还包括：

获取特定目标对象的人脸信息所包含的目标情绪；

判断特定目标对象的人脸信息所包含的目标情绪是否为正面情绪；

在特定目标对象的人脸信息所包含的目标情绪不是正面情绪的情况下，获取特定目标对象的人体信息；

根据从特定目标对象的人体信息中提取出的用户属性，调取匹配库内对应的目标内容。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现如上所述的多模态信息融合的商业内容推荐方法的步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种多模态信息融合的商业内容推荐方法，其特征在于，所述方法包括：

获取目标区域内目标对象的采集信息；

提取所述采集信息包含的目标确认信息，在所述目标确认信息符合设定要求的情况下，确定特定目标对象；

提取所述采集信息包含的特定目标对象的目标匹配信息；

基于所述目标匹配信息，匹配对应的显示内容进行显示。

2.如权利要求1所述的多模态信息融合的商业内容推荐方法，其特征在于，所述获取目标区域内目标对象的采集信息包括；

构建目标区域；

采集所述目标区域内的音视频信息，其中，所述音视频信息包含人体信息、人脸信息和语音信息；

将所述人体信息、人脸信息和语音信息作为所述采集信息。

3.如权利要求2所述的多模态信息融合的商业内容推荐方法，其特征在于，所述提取所述采集信息包含的目标确认信息，在所述目标确认信息符合设定要求的情况下，确定目标对象包括：

获取所述采集信息；

提取所述采集信息包括的人体信息和人脸信息，将所述人体信息和人脸信息作为所述目标确认信息；

在所述人体信息和所述人脸信息属于同一用户的情况下，确定特定目标对象。

4.如权利要求3所述的多模态信息融合的商业内容推荐方法，其特征在于，所述提取所述采集信息包含的特定目标对象的目标匹配信息包括：

获取所述采集信息包含的特定目标对象的语音信息，基于特定目标对象的语音信息提取出目标关键词；

获取所述采集信息包含的特定目标对象的人体信息，基于特定目标对象的人体信息提取出用户属性；

获取所述采集信息包含的特定目标对象的人脸信息，基于特定目标对象的人脸信息提取出目标情绪；

将所述目标关键词、用户属性和目标情绪作为所述目标匹配信息。

5.如权利要求1所述的多模态信息融合的商业内容推荐方法，其特征在于，所述基于所述目标匹配信息，匹配对应的显示内容进行显示包括：

构建匹配库；

将所述目标匹配信息与所述匹配库所包含的显示内容一一对应设置；

获取目标匹配信息；

根据所述目标匹配信息，调取所述匹配库内对应的目标内容，并将所述目标内容作为所述显示内容进行显示。

6.如权利要求5所述的多模态信息融合的商业内容推荐方法，其特征在于，所述基于所述目标匹配信息，匹配对应的显示内容进行显示还包括：

判断所述目标匹配信息是否包含特定目标对象的语音信息；

在所述目标匹配信息包含特定目标对象的语音信息的情况下，提取特定目标对象的语音信息所包含的目标关键词；

根据从特定目标对象语音信息中提取出来的目标关键词，调取匹配库内对应的目标内容。

7.如权利要求6所述的多模态信息融合的商业内容推荐方法，其特征在于，所述基于所述目标匹配信息，匹配对应的显示内容进行显示还包括：

判断所述目标匹配信息是否包含特定目标对象的语音信息；

在所述目标匹配信息未包含特定目标对象的语音信息的情况下，提取特定目标对象的人体信息所包含的用户属性；

根据从特定目标对象的人体信息中提取出的用户属性，调取匹配库内对应的目标内容。

8.如权利要求7所述的多模态信息融合的商业内容推荐方法，其特征在于，所述基于所述目标匹配信息，匹配对应的显示内容进行显示还包括：

获取特定目标对象的人脸信息所包含的目标情绪；

判断特定目标对象的人脸信息所包含的目标情绪是否为正面情绪；

在特定目标对象的人脸信息所包含的目标情绪不是正面情绪的情况下，获取特定目标对象的人体信息；

根据从特定目标对象的人体信息中提取出的用户属性，调取匹配库内对应的目标内容。

9.一种多模态信息融合的商业内容推荐装置，其特征在于，包括用于执行如权利要求1-8任一项所述的多模态信息融合的商业内容推荐方法的单元。

10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器之间通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一项所述的多模态信息融合的商业内容推荐方法的步骤。

Images