CN113947422A - 基于多维度特征的营销方法、装置和电子设备 - Google Patents
基于多维度特征的营销方法、装置和电子设备 Download PDFInfo
- Publication number
- CN113947422A CN113947422A CN202111068819.8A CN202111068819A CN113947422A CN 113947422 A CN113947422 A CN 113947422A CN 202111068819 A CN202111068819 A CN 202111068819A CN 113947422 A CN113947422 A CN 113947422A
- Authority
- CN
- China
- Prior art keywords
- emotion
- user
- marketing
- category
- commodity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000008451 emotion Effects 0.000 claims abstract description 161
- 230000008909 emotion recognition Effects 0.000 claims abstract description 43
- 230000006399 behavior Effects 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims description 57
- 230000001815 facial effect Effects 0.000 claims description 49
- 230000009471 action Effects 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 230000036651 mood Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims 1
- 238000004891 communication Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 206010039740 Screaming Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000036186 satiety Effects 0.000 description 1
- 235000019627 satiety Nutrition 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0203—Market surveys; Market polls
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Game Theory and Decision Science (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于多维度特征的营销方法、装置和电子设备，其中，营销方法包括：获取用户在店铺内的行为信息；基于所述行为信息提取用户选购展示商品时的生物特征信息和所述展示商品；利用预先训练的情绪识别模型对所述生物特征信息进行情绪识别，得到用户情绪类别；基于所述情绪类别和所述展示商品生成营销方案。对于情绪类别的识别是基于用户选购和查看某一商品时所展现出的情绪，将该情绪与该展示商品关联，可以得到用户当前对该展示商品的态度。可以精准的了解用户当下所需或感兴趣的商品，也可以精准了解当下用户不感兴趣的上，能够实时预测用户需求，并给予用户实时需求进行针对性的营销。以实现更为针对性的营销。
Description
技术领域
本申请涉及智能零售技术领域，具体涉及一种基于多维度特征的营销方法、装置和电子设备。
背景技术
随着社会的不断进步，社会经济飞速发展，人们的生活水平有了很大程度的提高。现阶段人们不仅追求温饱，还越来越追求生活的质量。传统的产品营销数据分析系统主要是通过网络平台给会员发布市场调研问卷，获得更为准确的消费者反馈信息，通过市场反馈信息，了解产品在市场中的真实反应，同时也可为推出新产品提供数据支持。或者，通过记录用户人脸信息，分析用户性别、消费习惯等构件用户画像，基于用户画像制定相应的营销策略。
然而，传统的产品营销方案，往往存在很大的偏差性和不确定性。
因此，如何实现更为针对性的营销成为亟待解决的技术问题。
发明内容
本申请提供了一种基于多维度特征的营销方法、装置和电子设备，以至少解决相关技术中所存在的技术问题。
根据本申请的第一方面，提供一种基于多维度特征的营销方法，获取用户在店铺内的行为信息；基于所述行为信息提取用户查看展示商品时的生物特征信息和所述展示商品；利用预先训练的情绪识别模型对所述生物特征信息进行情绪识别，得到用户情绪类别；基于所述情绪类别和所述展示商品生成营销方案。
可选地，所述基于所述行为信息提取用户选购展示商品时的生物特征信息和所述展示商品包括：截取用户选购展示商品时的视频流；基于所述视频流识别所述展示商品；基于所述视频流提取用户查看展示商品时的人脸图像、语音信息和肢体动作中的任意组合作为所述生物特征信息。
可选地，所述利用预先训练的情绪识别模型对所述生物特征信息进行情绪识别，得到用户情绪类别包括：基于所述人脸图像、语音信息和肢体动作分别提取面部特征、声纹特征和姿态特征；将所述面部特征输入预先训练的面部情绪识别模型，得到面部情绪类别；将所述声纹特征输入预先训练的语音情绪识别模型，得到语音情绪类别；将所述姿态特征输入预先训练的姿态情绪识别模型，得到姿态情绪类别；基于情绪融合模型将所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别进行情绪融合，得到用户情绪类别。
可选地，所述基于情绪融合模型将所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别进行情绪融合，得到用户情绪类别包括：基于所述人脸图像、语音信息和肢体动作分别确定人脸姿态、语音清晰度和动作幅度；基于所述人脸姿态、语音清晰度和动作幅度确定所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别在所述情绪融合模型中的实时融合权重；基于所述实时融合权重和所述情绪融合模型将所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别进行情绪融合，得到用户情绪类别。
可选地，所述基于所述人脸姿态、语音清晰度和动作幅度确定所述情绪融合模型中各情绪类别对应的实际融合权重包括：分别获取所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别对应的预设融合权重；分别将所述人脸姿态、语音清晰度和动作幅度与人脸参考姿态、语音参考清晰度和动作参考幅度进行对比；基于对比结果对所述预设融合权重进行调整得到所述实时融合权重，其中，融合权重之和为1。
可选地，所述基于所述情绪类别和所述展示商品生成营销方案包括：基于所述情绪类别评估用户对所述展示商品的喜好程度；根据所述展示商品和所述喜好程度结合营销数据库与用户进行实时的营销互动。
可选地，所述基于所述情绪类别和所述展示商品生成营销方案还包括：获取用户画像，所述用户画像基于用户性别、年龄、进店次数、进店时间和历史消费数据中的至少一种确定；基于所述用户画像、所述情绪类别和所述展示商品生成营销方案。
根据本申请的第二方面，本申请实施例还提供了一种基于多维度特征的营销装置，包括：获取模块，用于获取用户在店铺内的行为信息；提取模块，用于基于所述行为信息提取用户选购展示商品时的生物特征信息和所述展示商品；识别模块，用于利用预先训练的情绪识别模型对所述生物特征信息进行情绪识别，得到用户情绪类别；方案生成模块，用于基于所述情绪类别和所述展示商品生成营销方案。
根据本申请的第三方面，本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面中任意一项所述的基于多维度特征的营销方法。
根据本申请的第四方面，本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任意一项所述的基于多维度特征的营销方法。
本申请的基于多维度特征的营销方法，在用户选购商品时获取用户的行为信息，并基于用户行为信息提取用户选购展示商品时的生物特征信息和所述展示商品，基于情绪识别模型对所述生物特征信息进行情绪识别，对于情绪类别的识别是基于用户选购和查看某一商品时所展现出的情绪，将该情绪与该展示商品关联，可以得到用户当前对该展示商品的态度。可以精准的了解用户当下所需或感兴趣的商品，也可以精准了解当下用户不感兴趣的上，能够实时预测用户需求，并给予用户实时需求进行针对性的营销。以实现更为针对性的营销。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请提供的基于多维度特征的营销方法的流程示意图；
图2为本申请提供的另一基于多维度特征的营销方法的流程示意图；
图3为本申请提供的另一基于多维度特征的营销方法的流程示意图；
图4为本申请提供的基于多维度特征的营销装置的示意图；
图5为本申请提供的电子设备的示意图。
具体实施方式
为了更清楚的阐释本申请的整体构思，下面结合说明书附图以示例的方式进行详细说明。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供了一种基于多维度特征的营销方法，参见图1，可以包括如下步骤：
S10.获取用户在店铺内的行为信息。作为示例性的实施例，所称的行为信息可以为用户在进入店铺内选购商品时的行为信息。在本实施例中，可以通过安装在店铺内的摄像头获取，其中，获取的方式可以包括采集用户在选购商品时的视频流或图像。示例性的，在用户进入店铺开始选购商品时，店铺内的摄像头对进入摄像头拍摄区域的的顾客进行图像或视频采集，作为用户在店铺内的行为信息。示例性的，在检测到用户发生第一目标动作时，开始获取用户的行为信息，在用户发生第二目标动作时，结束获取用户的行为信息。具体的，在检测到用户发生第一目标动作时，可以表征用户开始选购商品，例如，用户在某一商品或某一区域前停留超过预设时长，或拿起某一商品时。在检测到用户发生第二目标动作时，可以表征用户暂停选购商品，例如，用户带走商品或重新放到货架上。在本实施例中，可以获取用户在第一目标动作和第二目标动作之间的行为信息。
S20.基于所述行为信息提取用户查看展示商品时的生物特征信息和所述展示商品。作为示例性的实施例，在获取到用户的选购商品的行为信息之后，可以基于该行为信息对应的图像或视频提取用户在查看展示商品时的生物特征信息，该生物特征可以为用户在选购或查看展示商品时表现出来的生物特征信息，例如，人脸表情、语音、肢体动作等生物特征信息，在选购或查看商品时所表现出的生物特征信息可以反应用户对于当前商品的态度，例如，喜欢、讨厌或中立。作为示例性的实施例，对于生物特征的提取可以采用与生物特征类型对应的提取方法，示例性的，对于人脸图像或肢体动作的提取，可以基于目标检测算法进行提取，例如，可以采用Faster R-CNN模型、SSD模型或YOLO模型进行检测。对于语音信息可以在视频流中截取对应的音频信息，并对音频信息进行去噪处理，得到用户音频信息。上述生物特征信息的提取方法只是举例说明，其他可在视频或图像中提取生物特征的方法在本实施例中同样适用。
S30.利用预先训练的情绪识别模型对所述生物特征信息进行情绪识别，得到用户情绪类别。作为示例性的实施例，情绪识别模型可以基于样本数据进行训练，将大量的生物特征信息作为训练样本，将情绪类别作为情绪识别模型的输出对情绪识别模型进行训练，在本实施例中，生物特征信息可以为多种类型，对应的情绪识别模型可以为与生物特征信息一一对应的多个模型，也可以为一个模型，采用多种生物特征信息共同进行训练。在本实施例中，情绪识别模型可以采用二分类或多分类的卷积神经网络模型。在本实施例中，在情绪识别模型训练完成后，可以将提取到生物特征信息输入模型，得到与生物特征信息对应的情绪类别的置信度，将置信度大于预设值的情绪类别作为情绪识别模型的输出。在本申请实施例中，情绪类别可以为二分类结果，例如，喜欢和讨厌。也可以为多分类结果，例如，喜欢、讨厌和中立等。
在本实施例中，对于商品的识别可以采用目标检测算法进行提取和识别例如，可以采用Faster R-CNN模型、SSD模型或YOLO模型进行检测。采用目标检测算法提取图像或视频中用户面对或拿起的商品以及商品的种类和名称。还可以识别采集用户在店铺内的行为信息时用户所处的区域，基于区域和预设商品摆放信息确定展示商品。示例性的，可以识别用户所述的商品的区域，并识别该区域中用户选购的商品所在货架的区域，根据商品摆放信息确定该展示商品。
S40.基于所述情绪类别和所述展示商品生成营销方案。作为示例性的实施例，对于情绪类别的识别是基于用户选购和查看某一商品时所展现出的情绪，将该情绪与该展示商品关联，可以得到用户当前对该展示商品的态度。可以精准的了解用户当下所需或感兴趣的商品，也可以精准了解当下用户不感兴趣的上，能够实时预测用户需求，并给予用户实时需求进行针对性的营销。以实现更为针对性的营销。
作为示例性的实施例，对于用户的生物特征的提取可以为提取用户在选购展示商品时的生物特征，并基于该生物特征信息识别用户对于某一商品的态度，以便能够针对用户对展示商品的态度进行更为精准的营销。示例性的，可以截取用户选购展示商品时的视频流，具体可以参见上述实施例中对于用户行为信息的获取方式，该视频流可以为截取的用户选购商品时记录用户行为信息的视频流。基于所述视频流识别所述展示商品；基于所述视频流提取用户查看展示商品时的人脸图像、语音信息和肢体动作中的任意组合作为所述生物特征信息。作为具体的实施例，基于视频流识别展示商品、人脸图像和肢体动作可以提取视频流中的关键帧，例如可以基于运动分析的方法。具体的，视频镜头中分析物体运动的光流量，每次选择视频镜头中光流移动次数最少的视频帧作为提取到的关键帧。利用光流法计算视频帧的运动量公式如下所示：
M(k)＝∑∑|Lx(i,j,k)|+|Ly(i,j,k)|
式中，M(k)表示第k帧的运动量,Lx(i,j,k)表示第k帧像素点(i,j)处光流X的分量，Ly(i,j,k)表示第k帧像素点(i,j)处光流y的分量。计算完成后，取局部最小值作为所要提取的关键帧。在本实施例中，可以提取一个关键帧，也可以提取多个关键帧作为展示商品、人脸图像和肢体动作识别的图像。具体的可以参见上述实施例中对于生物特征信息提取的方法。在本实施例中，生物特征信息可以包括人脸图像和语音信息，基于人脸图像和语音信息识别用户情绪类别；生物特征信息可以包括人脸图像和肢体动作，基于人脸图像和肢体动作识别用户情绪类别；生物特征信息可以包括语音信息和肢体动作，基于语音信息和肢体动作识别用户情绪类别；生物特征信息还可以包括人脸图像、语音信息和肢体动作，基于人脸图像、语音信息和肢体动作识别用户情绪类别。
作为可选地实施例，以生物特征信息包括人脸图像、语音信息和肢体动作为例对情绪类别识别进行说明，如图2所示：
S31.基于所述人脸图像、语音信息和肢体动作分别提取面部特征、声纹特征和姿态特征。
作为示例性的示例，对所述人脸图像进行面部特征提取之前，还包括：对所述人脸图像进行预处理操作，以改善人脸图像的质量，保证提取的人脸特征图像的准确性。其中，所述预处理操作包括：通过各比例法将所述人脸图像执行灰度转换操作，得到灰度人脸图像；利用高斯滤波对所述灰度人脸图像进行减噪；并利用对比度增强对减噪后的所述灰度人脸图像进行对比度增强；根据OTSU算法将对比度增强后的所述灰度人脸图像进行阈值化操作。
本发明实施例中，所述对所述人脸图像进行面部特征提取可以采取下述方法执行：基于静态图像的面部特征提取、基于动态图像的表情提取以及基于深度学习模型的图像面部特征提取。其中，所述面部特征特征包括：喜欢、讨厌和中性等。其中，所述基于静态图像的面部特征提取包括：主元分析法、独立分量分析法、线性判别分析法、Gabor小波法以及LBP算子法等；所述基于动态图像的面部特征提取包括：光流法、模型法以及几何法等；以及所述基于深度学习模型的图像面部特征提取包括：直接法、映射法以及残差法等。
示例性的，通过几何法对所述人脸图像进行面部特征提取包括：对人脸图像的关键部位(如眼睛、嘴巴以及眉毛等)进行定位，并测量定位后的所述关键部位的形状、大小及相互比例，将测量结果与实际人脸的形状、大小及相互比例做比对，根据比对结果确定人脸的面部特征，进而实现面部特征的提取。
对于声纹特征的提取可以包括：将所述语音数据转换为语音频率；计算所述语音频率的维度参数，根据所述维度参数生成所述语音数据的特征声纹。所述维度参数包括：语调、语速等。声纹特征可以包括：尖叫、平和、沮丧等
对于姿态特征提取可以采用关节点坐标进行提取提取全局特征和局部特征，具体的，可以基于视频流的时间序列提取一段时间范围内人体关键点的位置变化信息作为姿态特征。
S32.将所述面部特征输入预先训练的面部情绪识别模型，得到面部情绪类别。作为示例性的实施例，预先训练的面部情绪识别模型可以为采用预先收集的大量人在选购商品时的人脸图像以及对应标签进行训练得到。例如，在看到心仪商品时，会出现最角上扬、微笑、兴奋等面部特征，对应的标签可以为“喜欢”，在看到某一商品时，面部表情无变化、面部神色平静，眼神平静等面部特征，对应的标签可以为“中立”。在看到某一商品时，出现撇嘴、斜眼等面部特征，对应的标签可以为“讨厌”。因此，本申请可以基于大量的人在看到不同商品时对应的面部特征建立对应的标签，作为训练样本数据。面部情绪识别模型可以采用卷积神经网络。
在利用训练完成的卷积神经网络对面部情绪识别时包括：通过卷积层对面部进行卷积操作，得到面部特征的特征向量，利用池化层对特征向量进行池化操作，通过激活层的激活函数对池化后的特征向量进行计算，得到面部特征的面部情绪类别。
S33.将所述声纹特征输入预先训练的语音情绪识别模型，得到语音情绪类别。作为示例性的实施例，预先训练的语音情绪识别模型可以为采用预先收集的大量人在选购商品时的语音信息以及对应标签进行训练得到。例如，在看到心仪商品时，会出现尖叫、笑、兴奋、满意等声纹特征，对应的标签可以为“喜欢”，在看到某一商品时，语速平和、语调连贯等声纹特征，对应的标签可以为“中立”。在看到某一商品时，语速低、语调低沉等声纹特征，对应的标签可以为“讨厌”。因此，本申请可以基于大量的人在看到不同商品时对应的声纹特征建立对应的标签，作为训练样本数据。语音情绪识别模型可以采用卷积神经网络。
在利用训练完成的卷积神经网络对语音情绪识别时包括：通过卷积层对声纹特征进行卷积操作，得到声纹特征的特征向量，利用池化层对特征向量进行池化操作，通过激活层的激活函数对池化后的特征向量进行计算，得到声纹特征的语音情绪类别。
S34.将所述姿态特征输入预先训练的姿态情绪识别模型，得到姿态情绪类别。作为示例性的实施例，预先训练的姿态情绪识别模型，可以为采用预先收集的人在选购商品时的肢体动作信息以及对应标签进行训练得到。例如，在看到心仪商品时，会出现点头、手舞足蹈等姿态特征，对应的标签可以为“喜欢”，在看到某一商品时，肢体动作平稳等姿态特征，对应的标签可以为“中立”。在看到某一商品时，摇头、摆手等姿态特征，对应的标签可以为“讨厌”。因此，本申请可以基于人在看到不同商品时对应的姿态特征建立对应的标签，作为训练样本数据。语音情绪识别模型可以采用支持向量机或长长期短时记忆递归神经网络和随机林分类器的结合对姿态情绪类别进行分类。
S35.基于情绪融合模型将所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别进行情绪融合，得到用户情绪类别。在本实施例中，通过预先创建的情绪融合模型将所述面部情绪类别、所述语音情绪类别和姿态情绪类别进行情绪融合，以更好的判断出用户在面对某一展示商品时的情绪状态，从而得知用户的面对某种商品或某类型商品或某区域商品的实时情绪状态。进而可以基于用户的实时情绪状态对用户进行实时进准的营销。
在基于生物特征信息进行实时情绪状态判断时，由于用户处于自由选购商品状态，采集到的生物特征信息无法达到预设状态的生物特征信息，例如，对于人脸图像的采集，只能采集侧面人脸或部分人脸；对于语音的采集可能受到环境声音的影响而清晰度较低；对于动作采集可能由于货架或其他用户的遮挡难以采集到的完整的肢体动作，导致对于情绪预测结果产生负面影响。基于此，作为示例性的实施例，还可以基于采集到的生物特征的状态在进行情绪融合时对融合结果进行实时调整。具体的，可以参见图3所示：
S351.基于所述人脸图像、语音信息和肢体动作分别确定人脸姿态、语音清晰度和动作幅度。作为示例性的实施例，在特征提取时，可以对提取的特征进行进一步分析，在获取到人脸特征后，可以基于获取到的特征确定人脸姿态，其中人脸姿态可以包括人脸图像完整度，人脸部位，人脸上光线等。在获取语音信息后，可以基于20频带法或倍频带法计算语音清晰度指数。在获取到肢体动作后，可以对肢体动作进行完整度评估。其中完整度可以包括检测到的关键关节点站预设关键关节点的比例。
S352.基于所述人脸姿态、语音清晰度和动作幅度确定所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别在情绪融合模型中的融合权重。作为示例性的实施例，可以分别基于在预设状态下的人脸图像、语音信息和肢体动作得到的面部情绪类别、所述语音情绪类别和所述姿态情绪类别在进行情绪融合时对应的预设融合权重。该预设融合权重作为参考权重，示例性的，情绪融合模型为：
其中，f(x,(a,b,c))为用户情绪类别，k为融合的情绪类别数量，，x表示面部情绪类别、语音情绪类别和姿态情绪类别的特征矢量，
表示面部情绪类别的矢量，
表示语音情绪类别的矢量，
表示姿态情绪类别的矢量，a为面部情绪类别的预设融合权重，b为语音情绪类别的预设融合权重，c为姿态情绪类别的预设融合权重，其中，a+b+c＝1。
S353.分别将所述人脸姿态、语音清晰度和动作幅度与人脸参考姿态、语音参考清晰度和动作参考幅度进行对比并基于对比结果对所述预设融合权重进行调整得到所述融合权重，其中，融合权重之和为1。
作为示例性的实施例，将实际提取的人脸姿态、语音清晰度和动作幅度分别与预设状态下的人脸参考姿态语音清参考晰度和动作参考幅度进行对比，得到对应的预设融合权重调整比例。示例性的，在人脸完整度为人脸参考完整度的百分之六十，对应的将面部情绪类别的预设融合权重下降对应的比例，同理，也可以按照比例对语音情绪类别的预设融合权重和姿态情绪类别的预设融合权重进行调整。在本实施例中，可以按照比例进行调整，也可以按照他方式进行调整，最终得到各个情绪类别的实际融合权重。
S354.基于所述实际融合权重和所述情绪融合模型将所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别进行情绪融合，得到用户情绪类别。在示例性的实施例中，基于实时融合权重对各个情绪类别在融合时进行实时调整，可以减小拍摄环境对预测结果的影响，进一步提升判断用户实时情绪状态的准确定，进而提升实时针对用户的营销策略的准确性。
作为示例性的实施例，基于所述情绪类别和所述展示商品生成营销方案包括：基于所述情绪类别评估用户对所述展示商品的喜好程度；根据所述展示商品和所述喜好程度结合营销数据库与用户进行实时的营销互动。例如，可以基于情绪类别评估用户对所述展示商品的喜好程度结合实时的营销数据库对用户进行针对性的促销、关联商品的推荐等以更好的提升用户的好感度。
作为示例性的实施例，生成营销方案时，还可以基于用户画像对营销方案进行调整，示例性的，在用户进店后，可以获取用户画像，其中，用户画像基于用户性别、年龄、进店次数、进店时间和历史消费数据中的至少一种确定，基于用户画像对营销方案进行调整，使得营销方案既符合用户惯常的消费习惯，有符合用户当前的消费兴趣。作为可选地实施例，在生成营销方案时，还可以基于所述用户画像、所述情绪类别和所述展示商品生成营销方案。
本申请实施例还提供了一种基于多维度特征的营销装置，如图4所示，包括：获取模块10，用于获取用户在店铺内的行为信息；提取模块20，用于基于所述行为信息提取用户查看展示商品时的生物特征信息和所述展示商品；识别模块30，用于利用预先训练的情绪识别模型对所述生物特征信息进行情绪识别，得到用户情绪类别；方案生成模块40，用于基于所述情绪类别和所述展示商品生成营销方案。
需要说明的是，该实施例中的获取模块10可以用于执行上述步骤S10，该实施例中的提取模块20可以用于执行上述步骤S20，该实施例中的识别模块30可以用于执行上述步骤S30，该实施例中的方案生成模块40可以用于执行上述步骤S40。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图5所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
因此，根据本申请实施例的又一个方面，还提供了一种用于实施上述基于多维度特征的营销方法的电子设备，该电子设备可以是服务器、终端、或者其组合。
图5是根据本申请实施例的一种可选的电子设备的结构框图，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501、通信接口502和存储器503通过通信总线504完成相互间的通信，其中，
存储器503，用于存储计算机程序；
处理器501，用于执行存储器503上所存放的计算机程序时，实现如下步骤：
获取用户在店铺内的行为信息；
基于所述行为信息提取用户选购展示商品时的生物特征信息和所述展示商品；
利用预先训练的情绪识别模型对所述生物特征信息进行情绪识别，得到用户情绪类别；
基于所述情绪类别和所述展示商品生成营销方案。
可选地，在本实施例中，上述的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线、或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM，也可以包括非易失性存储器(non-volatile memory)，例如，至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，可以包含但不限于：CPU(Central ProcessingUnit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(DigitalSignal Processing，数字信号处理器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图5所示的结构仅为示意，实施上述基于多维度特征的营销方法的设备可以是终端设备，该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图5其并不对上述电子装置的结构造成限定。例如，终端设备还可包括比图5中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图5所示的不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
根据本申请实施例的又一个方面，还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行基于多维度特征的营销方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
获取用户在店铺内的行为信息；
基于所述行为信息提取用户选购展示商品时的生物特征信息和所述展示商品；
利用预先训练的情绪识别模型对所述生物特征信息进行情绪识别，得到用户情绪类别；
基于所述情绪类别和所述展示商品生成营销方案。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例中对此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本申请中未述及的地方采用或借鉴已有技术即可实现。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于多维度特征的营销方法，其特征在于，包括：
获取用户在店铺内的行为信息；
基于所述行为信息提取用户选购展示商品时的生物特征信息和所述展示商品；
利用预先训练的情绪识别模型对所述生物特征信息进行情绪识别，得到用户情绪类别；
基于所述情绪类别和所述展示商品生成营销方案。
2.如权利要求1所述的营销方法，其特征在于，所述基于所述行为信息提取用户选购展示商品时的生物特征信息和所述展示商品包括：
截取用户选购展示商品时的视频流；
基于所述视频流识别所述展示商品；
基于所述视频流提取用户查看展示商品时的人脸图像、语音信息和肢体动作中的任意组合作为所述生物特征信息。
3.如权利要求2所述的营销方法，其特征在于，所述利用预先训练的情绪识别模型对所述生物特征信息进行情绪识别，得到用户情绪类别包括：
基于所述人脸图像、语音信息和肢体动作分别提取面部特征、声纹特征和姿态特征；
将所述面部特征输入预先训练的面部情绪识别模型，得到面部情绪类别；
将所述声纹特征输入预先训练的语音情绪识别模型，得到语音情绪类别；
将所述姿态特征输入预先训练的姿态情绪识别模型，得到姿态情绪类别；
基于情绪融合模型将所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别进行情绪融合，得到用户情绪类别。
4.如权利要求3所述的营销方法，其特征在于，所述基于情绪融合模型将所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别进行情绪融合，得到用户情绪类别包括：
基于所述人脸图像、语音信息和肢体动作分别确定人脸姿态、语音清晰度和动作幅度；
基于所述人脸姿态、语音清晰度和动作幅度确定所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别在所述情绪融合模型中的实时融合权重；
基于所述实时融合权重和所述情绪融合模型将所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别进行情绪融合，得到用户情绪类别。
5.如权利要求4所述的营销方法，其特征在于，所述基于所述人脸姿态、语音清晰度和动作幅度确定所述情绪融合模型中各情绪类别对应的实际融合权重包括：
分别获取所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别对应的预设融合权重；
分别将所述人脸姿态、语音清晰度和动作幅度与人脸参考姿态、语音参考清晰度和动作参考幅度进行对比；
基于对比结果对所述预设融合权重进行调整得到所述实时融合权重，其中，融合权重之和为1。
6.如权利要求1所述的营销方法，其特征在于，所述基于所述情绪类别和所述展示商品生成营销方案包括：
基于所述情绪类别评估用户对所述展示商品的喜好程度；
根据所述展示商品和所述喜好程度结合营销数据库与用户进行实时的营销互动。
7.如权利要求1所述的营销方法，其特征在于，所述基于所述情绪类别和所述展示商品生成营销方案还包括：
获取用户画像，所述用户画像基于用户性别、年龄、进店次数、进店时间和历史消费数据中的至少一种确定；
基于所述用户画像、所述情绪类别和所述展示商品生成营销方案。
8.一种基于多维度特征的营销装置，其特征在于，包括：
获取模块，用于获取用户在店铺内的行为信息；
提取模块，用于基于所述行为信息提取用户选购展示商品时的生物特征信息和所述展示商品；
识别模块，用于利用预先训练的情绪识别模型对所述生物特征信息进行情绪识别，得到用户情绪类别；
方案生成模块，用于基于所述情绪类别和所述展示商品生成营销方案。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的基于多维度特征的营销方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的基于多维度特征的营销方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111068819.8A CN113947422A (zh) | 2021-09-13 | 2021-09-13 | 基于多维度特征的营销方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111068819.8A CN113947422A (zh) | 2021-09-13 | 2021-09-13 | 基于多维度特征的营销方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113947422A true CN113947422A (zh) | 2022-01-18 |
Family
ID=79328142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111068819.8A Pending CN113947422A (zh) | 2021-09-13 | 2021-09-13 | 基于多维度特征的营销方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113947422A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063872A (zh) * | 2022-08-15 | 2022-09-16 | 北京师范大学 | 一种表情与肢体识别相结合的客户满意度检测方法及系统 |
| CN116343331A (zh) * | 2023-03-10 | 2023-06-27 | 二十六度数字科技(广州)有限公司 | 一种基于大数据分析的精准营销方法及系统 |
| CN116739704A (zh) * | 2023-06-07 | 2023-09-12 | 北京海上升科技有限公司 | 基于人工智能的电商平台兴趣分析式商品推荐方法及系统 |
| TWI831287B (zh) * | 2022-07-12 | 2024-02-01 | 財團法人商業發展研究院 | 目標客群消費偏好行為觀察系統及方法 |
-
2021
- 2021-09-13 CN CN202111068819.8A patent/CN113947422A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI831287B (zh) * | 2022-07-12 | 2024-02-01 | 財團法人商業發展研究院 | 目標客群消費偏好行為觀察系統及方法 |
| CN115063872A (zh) * | 2022-08-15 | 2022-09-16 | 北京师范大学 | 一种表情与肢体识别相结合的客户满意度检测方法及系统 |
| CN116343331A (zh) * | 2023-03-10 | 2023-06-27 | 二十六度数字科技(广州)有限公司 | 一种基于大数据分析的精准营销方法及系统 |
| CN116343331B (zh) * | 2023-03-10 | 2024-01-26 | 二十六度数字科技(广州)有限公司 | 一种基于大数据分析的精准营销方法及系统 |
| CN116739704A (zh) * | 2023-06-07 | 2023-09-12 | 北京海上升科技有限公司 | 基于人工智能的电商平台兴趣分析式商品推荐方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11393133B2 (en) | Emoji manipulation using machine learning | |
| CN109740466B (zh) | 广告投放策略的获取方法、计算机可读存储介质 | |
| US11887352B2 (en) | Live streaming analytics within a shared digital environment | |
| CN113947422A (zh) | 基于多维度特征的营销方法、装置和电子设备 | |
| US10019653B2 (en) | Method and system for predicting personality traits, capabilities and suggested interactions from images of a person | |
| US20140242560A1 (en) | Facial expression training using feedback from automatic facial expression recognition | |
| CN111279377A (zh) | 通过使用人工智能技术提供与广告和产品购买相关的服务的装置、系统及方法 | |
| US20220101146A1 (en) | Neural network training with bias mitigation | |
| US11430561B2 (en) | Remote computing analysis for cognitive state data metrics | |
| KR102326902B1 (ko) | 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템 | |
| CN112053205A (zh) | 通过机器人情绪识别的产品推荐方法及装置 | |
| Bandyopadhyay et al. | Online recommendation system using human facial expression based emotion detection: a proposed method | |
| Xiao et al. | An introduction to audio and visual research and applications in marketing | |
| Naas et al. | Real-time emotion recognition for sales | |
| CN110046955A (zh) | 基于人脸识别的营销方法、装置、计算机设备及存储介质 | |
| CN113902989A (zh) | 直播场景检测方法、存储介质及电子设备 | |
| WO2015118061A1 (en) | Method and system for displaying content to a user | |
| Bouzakraoui et al. | A Customer Emotion Recognition through Facial Expression using POEM descriptor and SVM classifier | |
| CN115408611A (zh) | 菜单推荐方法、装置、计算机设备和存储介质 | |
| CN115438246A (zh) | 内容评测方法、装置、存储介质以及电子设备 | |
| Morshed et al. | Customer’s spontaneous facial expression recognition | |
| Monica et al. | Face and emotion recognition from real-time facial expressions using deep learning algorithms | |
| Jadhav et al. | Facial emotion detection using convolutional neural network | |
| Bera et al. | Product Review Based on Facial Expression Detection | |
| AU2021100211A4 (en) | Predict Gender: Detect Faces and Predict their Gender, Age and Country Using Machine Learning Programming |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |