CN113628008A - 智能营销方法、装置、设备及介质 - Google Patents

智能营销方法、装置、设备及介质 Download PDF

Info

Publication number
CN113628008A
CN113628008A CN202110921703.8A CN202110921703A CN113628008A CN 113628008 A CN113628008 A CN 113628008A CN 202110921703 A CN202110921703 A CN 202110921703A CN 113628008 A CN113628008 A CN 113628008A
Authority
CN
China
Prior art keywords
expression
network model
user
expression type
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110921703.8A
Other languages
English (en)
Inventor
李贝
马昌林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110921703.8A priority Critical patent/CN113628008A/zh
Publication of CN113628008A publication Critical patent/CN113628008A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提供了一种智能营销方法，可以应用于人工智能技术领域。该智能营销方法包括：响应于用户浏览商品信息的动作指令，调用图像采集设备获取用户的人脸特征，根据人脸特征获取用户的基本信息；利用表情识别网络模型识别人脸特征对应的表情类型；根据基本信息和表情类型，向用户展示与表情类型相匹配的商品推荐信息。本公开还提供了一种智能营销装置、设备、存储介质和程序产品。

Description

智能营销方法、装置、设备及介质
技术领域
本公开涉及人工智能领域，更具体地涉及一种智能营销方法、装置、设备及介质。
背景技术
目前，商业银行在智慧网点建设中已推出例如网点画像屏、网点迎宾屏或网点厅堂屏这三种智慧营销屏进行智能营销。其中，网点画像屏主要对客户展示完整的网点画像信息，通过在网点各区域部署的终端设备实时统计各个区域的人数信息，包含历史闲忙时段、各时段来访人数等相关信息，并最终将计算的曲线图对客户展示；网点迎宾屏引入“工小智”IP形象，可通过语音与客户互动交流，直接对接网点实体机器人知识库，同时搭载了云网点精选专题内容、扫码取号等功能；网点厅堂屏则侧重于对客展示行内相关产品的营销推荐，提升客户在网点的等候体验。
在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：目前商业银行内部设置的智能营销屏尚未实现针对客户私人化的画像定制，例如涉及与客户进行交互的网点迎宾屏配置的智能对话系统“工小智”与网点精选专题内容均未与客户画像信息建立关系，与智慧营销、精准推荐的功能实现还存在一定差距。
发明内容
有鉴于此，本公开提供了一种智能营销方法、装置、设备及介质。
本公开的一个方面提供了一种智能营销方法，包括：响应于用户浏览商品信息的动作指令，调用图像采集设备获取用户的人脸特征，根据人脸特征获取用户的基本信息；利用表情识别网络模型识别人脸特征对应的表情类型；根据基本信息和表情类型，向用户展示与表情类型相匹配的商品推荐信息。
根据本公开的实施例，图像采集装置设置于触摸显示屏，触摸显示屏用于向用户展示商品信息，表情识别网络模型设置于与触摸显示屏通讯连接的屏幕端机。
根据本公开的实施例，调用图像采集设备获取用户的人脸特征的步骤之前，还包括：向用户展示默认商品推荐信息。
根据本公开的实施例，表情识别网络模型通过以下方式训练得到：获取包含多个原始人脸图像的原始人脸图像集，对每个原始人脸图像进行灰度处理和尺寸归一化；为每个原始人脸图像标记表情类型标签，表情类型包括生气、厌恶、恐惧、开心、伤心、惊讶和中性，得到训练图像集；将原始人脸图像集和训练图像集作为训练数据来训练表情识别网络模型，得到训练好的表情识别网络模型。
根据本公开的实施例，表情识别网络模型包括Alexnet网络模型，Alexnet网络模型使用ReLU激活函数；在训练表情识别网络模型时使用Dropout正则化减少过拟合，设置Dropout正则化中的随机失活概率为40％。
根据本公开的实施例，采用小批量随机梯度下降法对Alexnet网络模型进行训练，设置初始学习速率为0.0005，设置动量为0.9。
根据本公开的实施例，将原始人脸图像集和训练图像集作为训练数据来训练表情识别网络模型，得到训练好的表情识别网络模型，还包括：使用表情识别网络模型来预测多个原始人脸图像集中一个原始人脸图像的表情类型；根据预设损失函数计算使用表情识别网络模型而预测的表情类型与训练图像集中一个原始人脸图像的表情类型之间的误差；判断误差是否小于等于预设误差阈值，如果是，则根据误差调整表情识别网络模型的参数。
根据本公开的实施例，预设损失函数为交叉熵损失函数，交叉熵损失函数通过以下公式计算得出：
Figure BDA0003206006220000021
其中，CEi表示第i个图像样本的交叉熵；ci，j表示第i个图像样本属于表情类型j的真实概率；ai，j表示第i个图像样本属于表情类型j的预测概率。
根据本公开的实施例，利用表情识别网络模型识别人脸特征对应的表情类型，还包括：根据预设识别频率，周期性利用表情识别网络模型识别人脸特征对应的表情类型。
根据本公开的实施例，预设识别频率为每隔5s一次。
根据本公开的实施例，根据基本信息和表情类型，向用户展示与表情类型相匹配的商品推荐信息，还包括：在识别出的表情类型为生气、厌恶、恐惧或伤心时，将用户的基本信息和当前浏览商品信息存储于数据库中；在用户于预设时间范围内再次浏览商品信息时，根据数据库在商品推荐信息中过滤当前浏览商品信息。
本公开的另一个方面提供了一种智能营销终端，包括：人脸特征获取模块，用于响应于用户浏览商品信息的动作指令，调用图像采集设备获取用户的人脸特征，根据人脸特征获取用户的基本信息；表情识别模块，用于利用表情识别网络模型识别人脸特征对应的表情类型；以及商品推荐显示模块，用于根据基本信息和表情类型，向用户展示与表情类型相匹配的商品推荐信息、。
本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述智能营销方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现上述智能营销方法。
本公开的另一方面提供了一种计算机程序产品，计算机程序产品包括计算机程序，所述计算机程序在被执行时用于实现上述智能营销方法。
与现有技术相比，本公开提供的智能营销方法、装置、设备及介质，至少具有以下有益效果：
(1)本公开利用人脸信息与行内系统进行交互，建立起基于触摸显示屏的智能营销手段，提升客户交互体验；
(2)本公开利用A1exnet神经网络模型进行训练法，人物面部表情神经模型训练性能可达到64.14％的识别率，具备较好的识别率；
(3)本公开利用人脸识别与面部表情识别技术建立起触摸显示屏与用户之间的关系，可实现针对当前用户的人脸特征信息进行精准营销推荐，形成自动识别、自动营销、自动推送机制，降低网点人员的工作压力，进一步提升智能网点的服务能力。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例的智能营销方法及装置的系统架构；
图2示意性示出了根据本公开实施例的智能营销方法的流程图；
图3示意性示出了根据本公开实施例的表情识别网络模型获得的流程图；
图4示意性示出了根据本公开实施例的Alexnet网络模型的结构图；
图5示意性示出了根据本公开实施例的表情识别网络模型训练的流程图；
图6示意性示出了根据本公开实施例的商品推荐过滤的流程图；
图7示意性示出了根据本公开实施例的智能营销装置的框图；以及
图8示意性示出了根据本公开实施例的电子设备的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
需要说明的是，在本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
本公开的实施例提供了一种智能营销方法，可以应用于人工智能技术领域。该智能营销方法包括：响应于用户浏览商品信息的动作指令，调用图像采集设备获取用户的人脸特征，根据人脸特征获取用户的基本信息；利用表情识别网络模型识别人脸特征对应的表情类型；根据基本信息和表情类型，向用户展示与表情类型相匹配的商品推荐信息。
图1示意性示出了根据本公开实施例的智能营销方法及装置的系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括触摸显示屏110和屏幕端机120，其中，触摸显示屏110内置有图像采集设备111，屏幕端机内置有表情识别网络模型121，触摸显示屏110和屏幕端机120通讯连接。
触摸显示屏110和屏幕端机120之间的通讯连接可以包括各种连接类型，例如有线或无线通信链路。
触摸显示屏110用于向用户展示商品信息。用户可以使用触摸显示屏110与屏幕端机120进行通讯交互，以接收或发送消息等。触摸显示屏110上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
触摸显示屏110可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。更具体地，触摸显示屏110例如可以为网点迎宾屏，图像采集设备111例如可以为双目摄像头。由此，可以将网点迎宾屏上方中间位置引入双目摄像头，实现利用网点迎宾屏对用户的人脸特征识别。
屏幕端机120可以是提供各种服务的服务器，例如对用户利用触摸显示屏110所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给触摸显示屏。
应该理解，图1中的触摸显示屏、图像采集设备、屏幕端机和表情识别网络模型的数目仅仅是示意性的。根据实现需要，可以具有任意数目的触摸显示屏、图像采集设备、屏幕端机和表情识别网络模型。
图2示意性示出了根据本公开实施例的智能营销方法的流程图。
如图2所示，该智能营销方法可以包括操作S201～S203。
在操作S201，响应于用户浏览商品信息的动作指令，调用图像采集设备获取用户的人脸特征，根据人脸特征获取用户的基本信息。
在操作S202，利用表情识别网络模型识别人脸特征对应的表情类型。
在操作S203，根据基本信息和表情类型，向用户展示与表情类型相匹配的商品推荐信息。
通过本公开的实施例，在用户浏览商品信息时，即刻利用采集的用户人脸特征进行表情类型识别，调用行内接口获取该用户的基本信息，基于识别出的表情类型向用户推荐符合用户当前情绪的营销商品，从而实现针对当前用户的人脸特征信息进行精准营销推荐，形成自动识别、自动营销、自动推送机制，降低网点人员的工作压力，进一步提升智能网点的服务能力。
例如，当用户浏览网点迎宾屏中的某一“猜你喜欢”版块时，系统采集用户人脸特征，然后引入人脸表情自动识别，结合商业银行内部业务接口获取的用户基本信息，在触摸显示屏上向该用户智能推荐符合其当前心情的营销产品。
基于上述示例性系统架构，本公开实施例中，图像采集装置设置于触摸显示屏，触摸显示屏用于向用户展示商品信息，表情识别网络模型设置于与触摸显示屏通讯连接的屏幕端机。
本公开实施例中，在调用图像采集设备获取用户的人脸特征的步骤之前，还包括：向用户展示默认商品推荐信息。也即，在获取到用户的人脸特征之前，触摸显示屏预先展示默认的营销产品信息，以供用户浏览，提高随机浏览商品列表的用户体验。
图3示意性示出了根据本公开实施例的表情识别网络模型获得的流程图。
如图3所示，本公开实施例中，表情识别网络模型可以通过以下子操作S310～S330训练得到。
在操作S310，获取包含多个原始人脸图像的原始人脸图像集，对每个原始人脸图像进行灰度处理和尺寸归一化。
本实施例中的Alexnet网络模型是针对灰度图像的人脸微表情识别，例如，对于输入图像为彩色图像时，在采用该Alexnet网络模型进行人脸识别之前，可以利用matlab中的rgb2gray()函数对输入图像进行灰度处理。
尺寸归一化是指将经过灰度处理后的输入图像缩放至预设尺寸。例如该预设尺寸可以为48×48。
在操作S320，为每个原始人脸图像标记表情类型标签，表情类型包括生气、厌恶、恐惧、开心、伤心、惊讶和中性，得到训练图像集。
表1示意性示出了表情类型标签的设置，由此，可以将每个原始人脸图像附加表情类型标签，作为后续训练所需数据。
表1
表情类型标签 0 1 2 3 4 5 6
表情类型 生气 厌恶 恐惧 开心 伤心 惊讶 中性
在操作S330，将原始人脸图像集和训练图像集作为训练数据来训练表情识别网络模型，得到训练好的表情识别网络模型。
为了便于图像大批量测试，本公开实施例中，训练图像集可以采用Fer2013人脸表情数据集。Fer2013人脸表情数据集是人脸表情识别中最常用的数据集，Fer2013数据集本身就已经划分好了训练集和测试集。
具体地，Fer2013数据集包含如表1所示的7类表情类型标签，可以获取训练集25999张图像，测试集9888张图像，共35887张人脸图像。Fer2013数据集中的每张人脸图像均为灰度图像，大小为48×48pixel。
本公开实施例中，采用人脸面部表情识别经典卷积神经网络模型——Alexnet网络模型，进行表情类型识别。
图4示意性示出了根据本公开实施例的Alexnet网络模型的结构图。
如图4所示，本公开实施例中，该表情识别网络模型为Alexnet网络模型，该Alexnet网络模型由2个单层卷积层、1个3层联系卷积层、3个最大池化层和1个Softmax输出层组成。
本公开实施例中，Alexnet网络模型保留原有的ReLU激活函数。具体地，该ReLU激活函数的计算公式如下：
Figure BDA0003206006220000081
其中，x表示神经元的输入；f(x)表示激活函数，作为神经元的输出。
ReLU激活函数凭借其线性和非饱和的形式，可以加快神经网络训练速度。
本公开实施例中，在训练表情识别网络模型时使用Dropout正则化减少过拟合，设置Dropout正则化中的随机失活概率为40％。基于Dropout正则化方法，对于神经网络的每一层，随机地丢弃一些单元，随机丢弃单元的概率可以根据实际情况进行设置，例如可以设置为40％的随机失活概率。由此，可以起到简化神经网络结构的作用，放置神经网络过拟合，从而提高模型的分类能力。
本公开实施例中，采用小批量随机梯度下降法对Alexnet网络模型进行训练，设置初始学习速率为0.0005，设置动量为0.9。
小批量随机梯度下降法(Mini-Batch Gradient Descent，MBGD)，是指每次只拿总训练集的一小部分来训练，由于每次更新用了多个样本来计算损失，就使得损失的计算和参数的更新更加具有代表性。MBGD损失的下降更加稳定，同时小批量的计算，也减少了计算资源的占用。
运用MBGD进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就是初始学习速率。如果初始学习速率太小，则会使收敛过慢，如果初始学习速率太大，则会导致损失函数振荡。本实施例设置初始学习速率为0.0005，以均衡这两种情况。
图5示意性示出了根据本公开实施例的表情识别网络模型训练的流程图。
如图5所示，本公开实施例中，将原始人脸图像集和训练图像集作为训练数据来训练表情识别网络模型，得到训练好的表情识别网络模型，还可以包括以下子操作S510～S530。
在操作S510，使用表情识别网络模型来预测多个原始人脸图像集中一个原始人脸图像的表情类型。
在操作S520，根据预设损失函数计算使用表情识别网络模型而预测的表情类型与训练图像集中一个原始人脸图像的表情类型之间的误差。
在操作S530，判断误差是否小于等于预设误差阈值，如果是，则根据误差调整表情识别网络模型的参数。
进一步地，上述子操作S520中的预设损失函数可以为交叉熵损失函数，该交叉熵损失函数可以通过以下公式计算得出：
Figure BDA0003206006220000101
其中，CEi表示第i个图像样本的交叉熵；ci，j表示第i个图像样本属于表情类型j的真实概率；ai，j表示第i个图像样本属于表情类型j的预测概率。
在一些实施例中，利用表情识别网络模型识别人脸特征对应的表情类型，还包括：根据预设识别频率，周期性利用表情识别网络模型识别人脸特征对应的表情类型。
进一步地，预设识别频率为每隔5s一次。由此，本实施例在获取到用户的人脸特征后，从人脸特征视频流中每隔5s识别一次用户的表情类型，避免下一时刻用户人脸信息仍旧停滞在上一时刻的前一用户人脸信息上，以周期性进行表情识别，提高商品推荐信息的更新速率。
图6示意性示出了根据本公开实施例的商品推荐过滤的流程图。
如图6所示，在一些实施例中，根据基本信息和表情类型，向用户展示与表情类型相匹配的商品推荐信息，还可以包括以下子操作S610～S620。
在操作S610，在识别出的表情类型为生气、厌恶、恐惧或伤心时，将用户的基本信息和当前浏览商品信息存储于数据库中。
在操作S620，在用户于预设时间范围内再次浏览商品信息时，根据数据库在商品推荐信息中过滤当前浏览商品信息。
由于用户在浏览商品信息出现生气、厌恶、恐惧或伤心的表情时，当前浏览商品信息显然不是当前用户喜欢的商品类型，通过本公开的实施例，在当前用户不喜欢当前浏览商品信息时，可以将用户对应的基本信息和营销产品ID记录于数据库中，并在下次客户浏览营销产品列表时，根据数据库记录信息对相应的产品进行过滤筛选。由此，通过实时记录的数据库信息获取用户的喜好，可以结合行内个人营销系统，基于用户的微表情对相关推荐的商品进行分类。
为检验训练好的表情识别模型识别人脸图像的识别准确率，本实施例还根据以下公式计算了该表情识别模型的识别准确率：
Figure BDA0003206006220000102
其中，Accuracy表示识别准确率；ImageNumT表示正确识别的人脸图像个数；ImageNumF表示未正确识别的人脸图像个数。
基于实验可知，采用本实施例提出的Alexnet网络模型进行表情识别分类，识别准确率可达到64.14％的识别率，满足本公开的智能营销场景，分类性能较好，提升用户在人脸识别个性化推荐方面上的交互体验。
基于上述智能营销方法，本公开还提供了一种智能营销装置。以下将结合图7对该装置进行详细描述。
图7示意性示出了根据本公开实施例的智能营销装置的框图。
如图7所示，智能营销装置700可以包括人脸特征获取模块710、表情识别模块720和商品推荐显示模块730。
人脸特征获取模块710，用于响应于用户浏览商品信息的动作指令，调用图像采集设备获取用户的人脸特征，根据人脸特征获取用户的基本信息；
表情识别模块720，用于利用表情识别网络模型识别人脸特征对应的表情类型；以及
商品推荐显示模块730，用于根据基本信息和表情类型，向用户展示与表情类型相匹配的商品推荐信息。
需要说明的是，本公开的实施例中智能营销装置部分与本公开的实施例中智能营销方法部分是相对应的，智能营销装置部分的描述具体参考智能营销方法部分，在此不再赘述。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，人脸特征获取模块710、表情识别模块720和商品推荐显示模块730中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，人脸特征获取模块710、表情识别模块720和商品推荐显示模块730中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，人脸特征获取模块710、表情识别模块720和商品推荐显示模块730中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图8示意性示出了根据本公开实施例的电子设备的框图。图8示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，电子设备800包括处理器810、计算机可读存储介质820。该电子设备800可以执行根据本公开实施例的智能营销方法。
具体地，处理器810例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器810还可以包括用于缓存用途的板载存储器。处理器810可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质820，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。
计算机可读存储介质820可以包括计算机程序821，该计算机程序821可以包括代码/计算机可执行指令，其在由处理器810执行时使得处理器810执行根据本公开实施例的方法或其任何变形。
计算机程序821可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序821中的代码可以包括一个或多个程序模块，例如包括821A、模块821B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器810执行时，使得处理器810可以执行根据本公开实施例的方法或其任何变形。
根据本公开的实施例，人脸特征获取模块710、表情识别模块720和商品推荐显示模块730中的至少一个可以实现为参考图8描述的计算机程序模块，其在被处理器810执行时，可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的智能营销方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的物品推荐方法。
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (15)

1.一种智能营销方法，包括：
响应于用户浏览商品信息的动作指令，调用图像采集设备获取用户的人脸特征，根据所述人脸特征获取用户的基本信息；
利用表情识别网络模型识别所述人脸特征对应的表情类型；
根据所述基本信息和表情类型，向所述用户展示与所述表情类型相匹配的商品推荐信息。
2.根据权利要求1所述的方法，其中，所述图像采集装置设置于触摸显示屏，所述触摸显示屏用于向用户展示商品信息，所述表情识别网络模型设置于与所述触摸显示屏通讯连接的屏幕端机。
3.根据权利要求1所述的方法，其中，所述调用图像采集设备获取用户的人脸特征的步骤之前，还包括：
向所述用户展示默认商品推荐信息。
4.根据权利要求1所述的方法，其中，所述表情识别网络模型通过以下方式训练得到：
获取包含多个原始人脸图像的原始人脸图像集，对每个原始人脸图像进行灰度处理和尺寸归一化；
为每个原始人脸图像标记表情类型标签，所述表情类型包括生气、厌恶、恐惧、开心、伤心、惊讶和中性，得到训练图像集；
将所述原始人脸图像集和训练图像集作为训练数据来训练表情识别网络模型，得到训练好的表情识别网络模型。
5.根据权利要求4所述的方法，其中，所述表情识别网络模型包括Alexnet网络模型，所述Alexnet网络模型使用ReLU激活函数；
在训练表情识别网络模型时使用Dropout正则化减少过拟合，设置所述Dropout正则化中的随机失活概率为40％。
6.根据权利要求4所述的方法，其中，采用小批量随机梯度下降法对所述Alexnet网络模型进行训练，设置初始学习速率为0.0005，设置动量为0.9。
7.根据权利要求4所述的方法，其中，所述将所述原始人脸图像集和训练图像集作为训练数据来训练表情识别网络模型，得到训练好的表情识别网络模型，还包括：
使用表情识别网络模型来预测多个原始人脸图像集中一个原始人脸图像的表情类型；
根据预设损失函数计算使用所述表情识别网络模型而预测的表情类型与所述训练图像集中所述一个原始人脸图像的表情类型之间的误差；
判断所述误差是否小于等于预设误差阈值，如果是，则根据所述误差调整所述表情识别网络模型的参数。
8.根据权利要求7所述的方法，其中，所述预设损失函数为交叉熵损失函数，所述交叉熵损失函数通过以下公式计算得出：
Figure FDA0003206006210000021
其中，CEi表示第i个图像样本的交叉熵；ci，j表示第i个图像样本属于表情类型j的真实概率；ai，j表示第i个图像样本属于表情类型j的预测概率。
9.根据权利要求1所述的方法，其中，所述利用表情识别网络模型识别所述人脸特征对应的表情类型，还包括：
根据预设识别频率，周期性利用表情识别网络模型识别所述人脸特征对应的表情类型。
10.根据权利要求9所述的方法，其中，所述预设识别频率为每隔5s一次。
11.根据权利要求4所述的方法，其中，所述根据所述基本信息和表情类型，向所述用户展示与所述表情类型相匹配的商品推荐信息，还包括：
在识别出的表情类型为生气、厌恶、恐惧或伤心时，将所述用户的基本信息和当前浏览商品信息存储于数据库中；
在所述用户于预设时间范围内再次浏览商品信息时，根据所述数据库在商品推荐信息中过滤所述当前浏览商品信息。
12.一种智能营销终端，包括：
人脸特征获取模块，用于响应于用户浏览商品信息的动作指令，调用图像采集设备获取用户的人脸特征，根据所述人脸特征获取用户的基本信息；
表情识别模块，用于利用表情识别网络模型识别所述人脸特征对应的表情类型；以及
商品推荐显示模块，用于根据所述基本信息和表情类型，向所述用户展示与所述表情类型相匹配的商品推荐信息。
13.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至11中任一项所述的方法。
14.一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1至11中任一项所述的方法。
15.一种计算机程序产品，包括计算机程序，所述计算机程序在被执行时用于实现权利要求1至11中任一项所述的方法。
CN202110921703.8A 2021-08-11 2021-08-11 智能营销方法、装置、设备及介质 Pending CN113628008A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110921703.8A CN113628008A (zh) 2021-08-11 2021-08-11 智能营销方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110921703.8A CN113628008A (zh) 2021-08-11 2021-08-11 智能营销方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN113628008A true CN113628008A (zh) 2021-11-09

Family

ID=78384653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110921703.8A Pending CN113628008A (zh) 2021-08-11 2021-08-11 智能营销方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113628008A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583970A (zh) * 2018-12-14 2019-04-05 深圳壹账通智能科技有限公司 广告投放方法、装置、计算机设备及存储介质
CN109767261A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 产品推荐方法、装置、计算机设备和存储介质
CN110321477A (zh) * 2019-05-24 2019-10-11 平安科技（深圳）有限公司 信息推荐方法、装置、终端及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583970A (zh) * 2018-12-14 2019-04-05 深圳壹账通智能科技有限公司 广告投放方法、装置、计算机设备及存储介质
CN109767261A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 产品推荐方法、装置、计算机设备和存储介质
CN110321477A (zh) * 2019-05-24 2019-10-11 平安科技（深圳）有限公司 信息推荐方法、装置、终端及存储介质

Similar Documents

Publication Publication Date Title
US20200097879A1 (en) Techniques for automatic opportunity evaluation and action recommendation engine
US20180075483A1 (en) System and method for human personality diagnostics based on computer perception of observable behavioral manifestations of an individual
CN109961080B (zh) 终端识别方法及装置
US11544510B2 (en) System and method for multi-modal image classification
US11164004B2 (en) Keyframe scheduling method and apparatus, electronic device, program and medium
US11621930B2 (en) Systems and methods for generating dynamic conversational responses using trained machine learning models
US10909429B2 (en) Using attributes for identifying imagery for selection
WO2019164917A1 (en) Method and apparatus for selecting treatment for visitors to online enterprise channels
CN116821475B (zh) 基于客户数据的视频推荐方法、装置及计算机设备
CN114662697A (zh) 时间序列异常检测
CN112995414A (zh) 基于语音通话的行为质检方法、装置、设备及存储介质
US20220269954A1 (en) Methods and systems to apply digital interventions based on machine learning model output
US20210350202A1 (en) Methods and systems of automatic creation of user personas
WO2023050143A1 (zh) 一种推荐模型训练方法及装置
US10853417B2 (en) Generating a platform-based representative image for a digital video
CN113628008A (zh) 智能营销方法、装置、设备及介质
US11688157B2 (en) Shopper analysis using an acceleration sensor and imaging
US11694038B2 (en) Systems and methods for generating dynamic conversational responses through aggregated outputs of machine learning models
US20190114673A1 (en) Digital experience targeting using bayesian approach
EP4217886A1 (en) Systems and methods for generating dynamic conversational responses through aggregated outputs of machine learning models
Vinh et al. Advertisement system based on facial expression recognition and convolutional neural network
US12008329B2 (en) Systems and methods for generating dynamic conversational responses through aggregated outputs of machine learning models
US20230368227A1 (en) Automated Classification from Job Titles for Predictive Modeling
US20240144079A1 (en) Systems and methods for digital image analysis
CN117788078A (zh) 质量评价方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination