CN113392671A - 基于顾客动作的商品检索方法、装置及电子设备 - Google Patents
基于顾客动作的商品检索方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113392671A CN113392671A CN202010118971.1A CN202010118971A CN113392671A CN 113392671 A CN113392671 A CN 113392671A CN 202010118971 A CN202010118971 A CN 202010118971A CN 113392671 A CN113392671 A CN 113392671A
- Authority
- CN
- China
- Prior art keywords
- commodity
- customer
- recognition
- image data
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009471 action Effects 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000033001 locomotion Effects 0.000 claims abstract description 71
- 238000013507 mapping Methods 0.000 claims abstract description 51
- 230000015654 memory Effects 0.000 claims description 29
- 230000005021 gait Effects 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 21
- 238000012795 verification Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 4
- 239000000047 product Substances 0.000 description 38
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000253999 Phasmatodea Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Abstract
本发明涉及基于顾客动作的商品检索方法、装置、电子设备及存储介质，其中，基于顾客动作的商品检索方法包括如下步骤：获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；基于所述图像数据，进行动作识别；基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；基于所述商品类型，进行商品检索。本发明实施例的商品检索方法，可基于顾客的动作对商品进行检索，从而当顾客不清楚所需要商品的名称或者失声时，也可以对顾客所需要的商品信息进行准确的检索，利于提高用户的体验。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种基于顾客动作的商品检索方法、装置和电子设备以及计算机存储介质。
背景技术
现有的可与顾客互动的广告屏，主要依据接收到的顾客的语音信息对商品信息进行检索并对顾客进行广告推送，然而，当顾客不太清楚所需要的商品的名称，或者顾客暂时想不起商品的具体名称，以及当顾客因为各种原因失声时，无法准确的通过语音与广告屏进行互动，以致于无法对顾客需要的商品信息进行检索。
发明内容
为解决上述技术问题，本发明的一个目的在于提供一种基于顾客动作的商品检索方法，该商品检索方法可基于顾客的动作对商品进行检索，从而当顾客不清楚所需要商品的名称或者失声时，也可以对顾客所需要的商品信息进行准确的检索，利于提高用户的体验。
本发明的另一个目的在于提供一种包括上述基于顾客动作的商品检索方法的基于顾客动作的商品推荐方法。
本发明的再一个目的在于提供一种实现上述基于顾客动作的商品检索方法的基于顾客动作的商品检索装置。
为达到上述目的，本发明采用如下技术方案：
根据本发明第一方面实施例的基于顾客动作的商品检索方法，包括如下步骤：
获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；
基于所述图像数据，进行动作识别；
基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；
基于所述商品类型，进行商品检索。
优选地，所述动作识别包括手势识别、手部关键点识别、步态识别、人体姿态识别、手臂识别中的一种或多种。
优选地，通过动作识别模型进行所述动作识别，所述动作识别模型基于手势识别算法、手部关键点识别算法、步态识别算法、人体姿态识别算法、手臂识别算法中的一种或多种形成。
优选地，所述商品与使用动作的映射关系通过如下方法得到：
分别获取多个商品样本以及分别使用各种商品样本时获得的使用动作图像数据样本；
对于所述使用动作图像数据样本通过所述动作识别模型进行动作识别，获得使用动作；
将多个商品样本与其对应的使用动作进行一一对应，形成所述商品与使用动作的映射关系。
优选地，所述商品检索方法还包括如下步骤：
获取所述顾客的图像数据的同时还获取该顾客的语音数据；
对于所述语音数据进行语义分析，得到语义分析结果；
基于所述语义分析结果，提取商品信息关键字；
在确定商品类型后，通过所述商品信息关键字验证该商品类型的准确性，
当验证准确后，基于所述商品类型进行商品检索。
优选地，基于验证结果对于所述商品与使用动作的映射关系进行迭代更新。
根据本发明第二方面实施例的基于顾客动作的商品推荐方法，包括如下步骤：
通过上述任一实施例所述的商品检索方法进行商品检索；
获取顾客图像；
基于所述顾客图像，提取用户特征，所述用户特征包括年龄、性别、服饰特征、体型特征中的一种或多种；
基于所述商品检索结果，与所述用户特征进行匹配，基于匹配结果向该顾客推荐商品。
根据本发明第三方面实施例的基于顾客动作的商品检索装置，包括：
获取模块，用于获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；
动作识别模块，用于基于所述图像数据进行动作识别；
商品类型确定模块，用于基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；
检索模块，用于基于所述商品类型，进行商品检索。
优选地，所述动作识别包括手势识别、手部关键点识别、步态识别、人体姿态识别、手臂识别中的一种或多种。
优选地，所述动作识别模块通过动作识别模型进行所述动作识别，所述动作识别模型基于手势识别算法、手部关键点识别算法、步态识别算法、人体姿态识别算法、手臂识别算法中的一种或多种形成。
优选地，所述商品与使用动作的映射关系通过映射关系形成装置得到，所述映射关系形成装置包括：
样本获取模块，用于分别获取多个商品样本以及分别使用各种商品样本时获得的使用动作图像数据样本；
动作识别模块，用于对所述使用动作图像数据样本通过所述动作识别模型进行动作识别，获得使用动作；
映射关系确认模块，用于将多个商品样本与其对应的使用动作进行一一对应，形成所述商品与使用动作的映射关系。
优选地，所述商品检索装置还包括：
语音采集模块，用于获取所述顾客的图像数据的同时还获取该顾客的语音数据；
语义分析模块，用于对于所述语音数据进行语义分析，得到语义分析结果；
商品信息关键字提取模块，用于基于所述语义分析结果，提取商品信息关键字；
验证模块，在确定商品类型后，通过所述商品信息关键字验证该商品类型的准确性，
当验证准确后，所述检索模块基于所述商品类型进行商品检索。
优选地，所述商品类型确定模块还用于基于验证结果对于所述商品与使用动作的映射关系进行迭代更新。
根据本发明第四方面实施例的用于基于顾客的动作进行商品检索的电子设备，包括：
一个或多个处理器；
一个或多个存储器，其中存储了计算机可读代码，所述计算机可读代码当由所述一个或多个处理器执行时进行如下处理：
获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；
基于所述图像数据，进行动作识别；
基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；
基于所述商品类型，进行商品检索。
根据本发明第五方面实施例的计算机存储介质，其中存储了计算机可读代码，所述计算机可读代码当由一个或多个处理器执行时进行如下处理：
获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；
基于所述图像数据，进行动作识别；
基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；
基于所述商品类型，进行商品检索。
本发明的有益效果在于：
通过基于顾客的图像数据进行动作识别，并基于商品与使用动作的映射关系确定商品类型以进行商品检索，该商品检索方法可基于顾客的动作对商品进行检索，从而当顾客不清楚所需要商品的名称或者失声时，也可以对顾客所需要的商品信息进行准确的检索，利于提高用户的体验。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
图1为本发明实施例的基于顾客动作的商品检索方法的流程图；
图2为本发明实施例的基于顾客动作的商品推荐方法的流程图；
图3为本发明实施例的基于顾客动作的商品检索装置的结构示意图；
图4为本发明实施例的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例仅用于说明本发明，但不用来限制本发明的范围。
可以理解的是，如本文所使用的，术语“模块””可以指代或者包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用、或群组)和/或存储器、组合逻辑电路、和/或提供所描述的功能的其他适当硬件组件，或者可以作为这些硬件组件的一部分。
可以理解的是，在本发明各实施例中，处理器可以是微处理器、数字信号处理器、微控制器等，和/或其任何组合。根据另一个方面，所述处理器可以是单核处理器，多核处理器等，和/或其任何组合。
根据本发明实施例的本申请技术方案的一种应用场景，在广告屏前，顾客想要查看某些商品的信息时，可以做出该商品的使用动作，该基于顾客动作的商品检索方法，可以获取顾客的图像数据，并基于图像数据进行动作识别，并根据商品与使用动作的映射关系，确定顾客想要查看的商品类型，并进行商品检索，以向顾客显示商品信息，提高了顾客的体验。
如图1所示，根据本发明实施例的基于顾客动作的商品检索方法，包括如下步骤：
步骤S1，获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种。
具体地，可以获取设置于广告屏上的摄像头采集的顾客的图像数据，其中，图像数据可以为一帧或多帧图片，也可以为视频。例如，获取到顾客的涂抹嘴唇的图像数据。
步骤S2，基于所述图像数据，进行动作识别。
具体地，所述图像数据包括一帧图片时，基于该帧图片进行动作识别；所述图像数据包括多帧图片时，可以选取所述多帧图片中的最清晰的若干帧图片进行动作识别，也可以选取所述多帧图片中的奇数帧图片或偶数帧图片进行动作识别；所述图像数据包括视频时，可以选取所述视频的最清晰的若干帧图像进行动作识别，也可以选取所述视频的奇数帧图像或偶数帧图像进行动作识别。
优选地，所述动作识别包括手势识别、手部关键点识别、步态识别、人体姿态识别、手臂识别中的一种或多种。
优选地，通过动作识别模型进行所述动作识别，所述动作识别模型基于手势识别算法、手部关键点识别算法、步态识别算法、人体姿态识别算法、手臂识别算法中的一种或多种形成。
具体地，手势识别算法可以为，基于图像数据，使用有效的手势分割手段将手势区域截取并运用相关算法对手势进行轮廓、凸包及其最小外接圆等提取，然后构建若干种手势特性参数，综合手势特性参数构建分类决策树以实现手势识别。手势识别算法准确度较高，且很多种商品的使用都有其各自对应的使用的手势，因此，通过包括手势识别算法的动作识别模型进行动作识别，利于该商品检索方法较为准确地进行商品检索。
手部关键点识别算法可以为，通过计算机构建手部的虚拟三维模型，并将虚拟三维模型的虚拟图像以及对应手部关键点的三维坐标数据作为训练样本，训练手部关键点识别模型，后续进行手部关键点识别时，将获取的包含手部的真实图像数据输入手部关键点识别模型后，可得到真实图像数据中的手部关键点的三维坐标。手部关键点识别算法运算速度较快且具有一定的准确度，通过包括手部关键点识别算法的动作识别模型进行动作识别，利于该商品检索方法较为快速且准确地进行商品检索，另外，将手部关键点识别算法与手势识别算法相结合，能够进一步提高商品检索的准确度。
步态识别算法可以为，对于图像数据而言，使用背景减除与轮廓相关方法从图像数据中检测和跟踪人的运动轮廓，该运动轮廓是二维的，将二维的运动轮廓的形状转化为对应的一维距离信号，同时通过特征空间变换来提取低维步态特征，基于时空相关和标准的模式分类技术对该低维步态特征进行处理得到最终的步态特征。步态识别算法具有很高的准确度，且步态识别算法可以全视角识别，部分商品比如拐杖的使用与步态特征相关度较高，因此，将步态识别算法与手势识别算法、手部关键点识别算法等其它算法相结合，便于该商品检索方法不仅可以更加准确的进行商品检索且可以对更大范围的商品进行检索。
人体姿态识别算法可以为，从图像数据中估计得到人体各个关节点的坐标，然后以这些关节点的坐标作为特征输入到分类器判断出人体姿态类别。人体姿态识别算法可以得到包括人体动作、面部表情和手指运动等的人体姿态，通过包括人体姿态识别算法的动作识别模型进行动作识别，可以更加准确地根据商品与使用动作的映射关系进行商品检索，另外，将人体姿态识别算法与手势识别算法、手部关键点识别算法以及步态识别算法相结合，能够进一步的提高商品检索的准确度且能够使该商品检索方法对更多的商品进行检索，提高客户的体验。
手臂识别算法可以为，首先采用肤色提取和图像标记算法得到手部和脸部图像信息,采用模板去噪对图像信息进行预处理,得到手部图像坐标，其次通过躯干模板得到肩部坐标，然后采用哈夫变换对手臂的轮廓线进行直线线段检测,根据检测到的线段进行曲臂、直臂的判决,最后经过曲线拟合找出手臂的骨架线段,得到手臂肘部的像素坐标，通过坐标矩阵转换,得到空间手臂的节点坐标,实现对手臂的识别。将手臂识别算法与手势识别算法、手部关键点识别算法、步态识别算法、人体姿态识别算法中的一种或多种相结合，从而可以从多个方面进行动作识别，利于该商品检索方法更加快速且准确地对商品进行检索。
步骤S3，基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型。
具体地，以上述获取顾客的涂抹嘴唇的图像数据的举例做进一步举例说明，根据顾客的涂抹嘴唇的图像数据进行动作识别，基于动作识别结果，并基于商品与其相对应的使用动作的映射关系，确定商品类型为唇部用品，如唇膏、口红等。
优选地，所述商品与使用动作的映射关系通过如下方法得到：
分别获取多个商品样本以及分别使用各种商品样本时获得的使用动作图像数据样本；
对于所述使用动作图像数据样本通过所述动作识别模型进行动作识别，获得使用动作；
将多个商品样本与其对应的使用动作进行一一对应，形成所述商品与使用动作的映射关系。
具体地，例如，当商品样本为口红时，获得使用口红时的一个手臂弯曲且该手臂上的手的若干手指形成拿捏状且该若干手指的指尖在距离嘴唇预定距离内描画嘴唇的轮廓的使用动作图像数据样本，当商品样本为腮红时，获得使用腮红时的一个手臂弯曲且该手臂上的手的若干手指形成拿捏状且该若干手指的指尖在距离脸部预定距离内上下左右微移动的使用动作图像数据样本，由此，获得多个商品样本以及使用各商品样本的使用动作图像数据样本，然后对于使用动作图像数据样本通过动作识别模型进行动作识别，该动作识别模型可以基于手势识别算法、手部关键点识别算法、步态识别算法、人体姿态识别算法以及手臂识别算法五种算法形成，例如，商品样本为口红时，将使用口红时的使用动作图像数据样本通过该动作识别模型进行包括手势识别、手部关键点识别、步态识别、人体姿态识别以及手臂识别的动作识别，获得每个使用动作图像数据样本相对应的使用动作，进而将多个商品样本与其相对应的使用动作进行对应，得到商品与使用动作的映射关系，另外，基于获取的顾客的图像数据，通过上述基于五种算法形成的动作识别模型进行动作识别，并根据动作识别结果以及该映射关系，确定商品类型并进行商品检索，该商品检索方法不仅更加快速且得到的商品检索结果更为准确可靠。
该获取商品与使用动作的映射关系的方法简单，且得到的商品与使用动作的映射关系准确，便于进一步的基于动作识别结果与该映射关系较为准确的确定商品类型，以进一步的较为准确的进行商品检索，提高用户的体验。
步骤S4，基于所述商品类型，进行商品检索。
具体地，根据实际应用情况，基于商品类型，可以在线下商场的商品数据库中进行商品检索，也可以在某线上平台的商品数据库中进行商品检索。
通过基于顾客的图像数据进行动作识别，并基于商品与使用动作的映射关系确定商品类型以进行商品检索，该商品检索方法可基于顾客的动作对商品进行检索，从而当顾客不清楚所需要商品的名称或者失声时，也可以对顾客所需要的商品信息进行准确的检索，利于提高用户的体验。
优选地，所述商品检索方法，还包括如下步骤：
获取所述顾客的图像数据的同时还获取该顾客的语音数据；
对于所述语音数据进行语义分析，得到语义分析结果；
基于所述语义分析结果，提取商品信息关键字；
在确定商品类型后，通过所述商品信息关键字验证该商品类型的准确性，
当验证准确后，基于所述商品类型进行商品检索。
具体地，以上述获取顾客的涂抹嘴唇的图像数据的举例做进一步举例说明，在获取到顾客的图像数据的同时还获取到该顾客的语音数据，例如，该语音数据可以为“今年流行的口红和唇膏”，对于该语音数据进行语义分析进而提取到商品信息关键字为口红、唇膏，通过该商品信息关键字验证上述基于商品与其相对应的使用动作的映射关系确定的商品类型的准确性，验证准确后，即可根据该商品类型进行商品检索。
通过进一步的获取顾客的语音数据，并基于语音数据提取得到的商品信息关键字对商品类型的准确性进行验证，从而进一步确保了该商品检索方法对顾客所需要的商品信息进行准确的检索，利于提高用户的体验。
优选地，基于验证结果对于所述商品与使用动作的映射关系进行迭代更新。
具体地，当验证准确后，将用于确定商品类型所获取的顾客的图像数据更新入商品样本相对应的使用动作图像数据样本，从而对商品与使用动作的映射关系进行迭代更新。
从而使商品与使用动作的映射关系更加准确，进一步的提高了该商品推荐方法对顾客所需要的商品信息进行检索的准确性，进而利于提高用户的体验。
如图2所示，包括上述商品检索方法的基于顾客动作的商品推荐方法，包括如下步骤：
步骤S10，通过上述任一实施例所述的商品检索方法进行商品检索；
步骤S20，获取顾客图像；
步骤S30，基于所述顾客图像，提取用户特征，所述用户特征包括年龄、性别、服饰特征、体型特征中的一种或多种；
步骤S40，基于所述商品检索结果，与所述用户特征进行匹配，基于匹配结果向该顾客推荐商品。
具体地，以上述获取顾客的涂抹嘴唇的图像数据的举例做进一步举例说明，通过上述商品检索方法进行商品检索得到多个唇部用品的商品信息，继而基于顾客图像提取到用户特征，用户特征包括年龄25岁左右，女性，打扮时尚等，基于上述检索得到的多个唇部用品的商品信息与上述用户特征进行匹配，基于匹配结果向该顾客推荐匹配度最高的10个商品。
通过基于顾客图像提取用户特征，并将用户特征与商品检索结果相匹配，基于匹配结果向顾客推荐商品，该商品推荐方法能够基于顾客的特征向顾客进行个性化的推荐，提高了顾客的体验。
如图3所示，实现上述根据发明实施例的基于顾客动作的商品检索方法的根据本发明实施例的基于顾客动作的商品检索装置，包括获取模块20、动作识别模块30、商品类型确定模块40和检索模块50。
其中，获取模块20，用于获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种。
动作识别模块30，用于基于所述图像数据进行动作识别。
商品类型确定模块40，用于基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型。
检索模块50，用于基于所述商品类型，进行商品检索。
优选地，所述动作识别包括手势识别、手部关键点识别、步态识别、人体姿态识别、手臂识别中的一种或多种。
优选地，所述动作识别模块通过动作识别模型进行所述动作识别，所述动作识别模型基于手势识别算法、手部关键点识别算法、步态识别算法、人体姿态识别算法、手臂识别算法中的一种或多种形成。
优选地，所述商品与使用动作的映射关系通过映射关系形成装置得到，所述映射关系形成装置包括：
样本获取模块，用于分别获取多个商品样本以及分别使用各种商品样本时获得的使用动作图像数据样本；
动作识别模块，用于对所述使用动作图像数据样本通过所述动作识别模型进行动作识别，获得使用动作；
映射关系确认模块，用于将多个商品样本与其对应的使用动作进行一一对应，形成所述商品与使用动作的映射关系。
优选地，所述商品检索装置还包括：
语音采集模块，用于获取所述顾客的图像数据的同时还获取该顾客的语音数据；
语义分析模块，用于对于所述语音数据进行语义分析，得到语义分析结果；
商品信息关键字提取模块，用于基于所述语义分析结果，提取商品信息关键字；
验证模块，在确定商品类型后，通过所述商品信息关键字验证该商品类型的准确性，
当验证准确后，所述检索模块基于所述商品类型进行商品检索。
优选地，所述商品类型确定模块还用于基于验证结果对于所述商品与使用动作的映射关系进行迭代更新。
通过基于顾客的图像数据进行动作识别，并基于商品与使用动作的映射关系确定商品类型以进行商品检索，该商品检索装置可基于顾客的动作对商品进行检索，从而当顾客不清楚所需要商品的名称或者失声时，也可以对顾客所需要的商品信息进行准确的检索，利于提高用户的体验。
如图4所示，基于与上述基于顾客动作的商品检索方法相同的发明构思，本申请还提供一种电子设备1400，该电子设备1400包括一个或多个处理器1401和一个或多个存储器1402，存储器1402中存储了计算机可读代码，
其中，计算机可读代码当由一个或多个处理器1401执行时进行如下处理：
获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；
基于所述图像数据，进行动作识别；
基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；
基于所述商品类型，进行商品检索。
优选地，所述动作识别包括手势识别、手部关键点识别、步态识别、人体姿态识别、手臂识别中的一种或多种。
优选地，通过动作识别模型进行所述动作识别，所述动作识别模型基于手势识别算法、手部关键点识别算法、步态识别算法、人体姿态识别算法、手臂识别算法中的一种或多种形成。
优选地，所述商品与使用动作的映射关系通过如下方法得到：
分别获取多个商品样本以及分别使用各种商品样本时获得的使用动作图像数据样本；
对于所述使用动作图像数据样本通过所述动作识别模型进行动作识别，获得使用动作；
将多个商品样本与其对应的使用动作进行一一对应，形成所述商品与使用动作的映射关系。
优选地，所述商品检索方法还包括如下步骤：
获取所述顾客的图像数据的同时还获取该顾客的语音数据；
对于所述语音数据进行语义分析，得到语义分析结果；
基于所述语义分析结果，提取商品信息关键字；
在确定商品类型后，通过所述商品信息关键字验证该商品类型的准确性，
当验证准确后，基于所述商品类型进行商品检索。
优选地，基于验证结果对于所述商品与使用动作的映射关系进行迭代更新。
进一步地，电子设备1400还包括网络接口1403、输入设备1404、硬盘1405、和显示设备1406。
上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器1401代表的一个或者多个中央处理器(CPU)，以及由存储器1402代表的一个或者多个存储器1402的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。
网络接口1403，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，并可以保存在硬盘1405中。
输入设备1404，可以接收操作人员输入的各种指令，并发送给处理器1401以供执行。输入设备1404可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
显示设备1406，可以将处理器1401执行指令获得的结果进行显示。
存储器1402，用于存储操作系统14021运行所必须的程序和数据，以及处理器1401计算过程中的中间结果等数据。
可以理解，本申请实施例中的存储器1402可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器1402旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器1402存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统14021和应用程序14014。
其中，操作系统14021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序14014，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本申请实施例方法的程序可以包含在应用程序14014中。
本申请上述实施例揭示的方法可以应用于处理器1401中，或者由处理器1401实现。处理器1401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1401可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1402，处理器1401读取存储器1402中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本申请实施例中，该电子设备1400通过基于顾客的图像数据进行动作识别，并基于商品与使用动作的映射关系确定商品类型以进行商品检索，该用于基于顾客的动作进行商品检索的电子设备，可基于顾客的动作对商品进行检索，从而当顾客不清楚所需要商品的名称或者失声时，也可以对顾客所需要的商品信息进行准确的检索，利于提高用户的体验。
另外，本申请实施例还提供了一种计算机存储介质，所述计算机存储介质存储了计算机可读代码，计算机可读代码当由一个或多个处理器执行时进行如下处理：
获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；
基于所述图像数据，进行动作识别；
基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；
基于所述商品类型，进行商品检索。
该计算机可读代码被处理器执行时实现上述基于顾客动作的商品检索方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再对详细的过程进行赘述。其中，所述的计算机存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于顾客动作的商品检索方法，其特征在于，包括如下步骤：
获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；
基于所述图像数据，进行动作识别；
基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；
基于所述商品类型，进行商品检索。
2.根据权利要求1所述的商品检索方法，其特征在于，所述动作识别包括手势识别、手部关键点识别、步态识别、人体姿态识别、手臂识别中的一种或多种。
3.根据权利要求2所述的商品检索方法，其特征在于，通过动作识别模型进行所述动作识别，所述动作识别模型基于手势识别算法、手部关键点识别算法、步态识别算法、人体姿态识别算法、手臂识别算法中的一种或多种形成。
4.根据权利要求3所述的商品检索方法，其特征在于，所述商品与使用动作的映射关系通过如下方法得到：
分别获取多个商品样本以及分别使用各种商品样本时获得的使用动作图像数据样本；
对于所述使用动作图像数据样本通过所述动作识别模型进行动作识别，获得使用动作；
将多个商品样本与其对应的使用动作进行一一对应，形成所述商品与使用动作的映射关系。
5.根据权利要求1所述的商品检索方法，其特征在于，还包括如下步骤：
获取所述顾客的图像数据的同时还获取该顾客的语音数据；
对于所述语音数据进行语义分析，得到语义分析结果；
基于所述语义分析结果，提取商品信息关键字；
在确定商品类型后，通过所述商品信息关键字验证该商品类型的准确性，
当验证准确后，基于所述商品类型进行商品检索。
6.根据权利要求5所述的商品检索方法，其特征在于，基于验证结果对于所述商品与使用动作的映射关系进行迭代更新。
7.一种基于顾客动作的商品推荐方法，其特征在于，包括如下步骤：
通过权利要求1至6任一项所述的商品检索方法进行商品检索；
获取顾客图像；
基于所述顾客图像，提取用户特征，所述用户特征包括年龄、性别、服饰特征、体型特征中的一种或多种；
基于所述商品检索结果，与所述用户特征进行匹配，基于匹配结果向该顾客推荐商品。
8.一种基于顾客动作的商品检索装置，其特征在于，包括：
获取模块，用于获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；
动作识别模块，用于基于所述图像数据进行动作识别；
商品类型确定模块，用于基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；
检索模块，用于基于所述商品类型，进行商品检索。
9.一种用于基于顾客的动作进行商品检索的电子设备，其特征在于，包括：
一个或多个处理器；
一个或多个存储器，其中存储了计算机可读代码，所述计算机可读代码当由所述一个或多个处理器执行时进行如下处理：
获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；
基于所述图像数据，进行动作识别；
基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；
基于所述商品类型，进行商品检索。
10.一种计算机存储介质，其特征在于，其中存储了计算机可读代码，所述计算机可读代码当由一个或多个处理器执行时进行如下处理：
获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；
基于所述图像数据，进行动作识别；
基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；
基于所述商品类型，进行商品检索。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010118971.1A CN113392671A (zh) | 2020-02-26 | 2020-02-26 | 基于顾客动作的商品检索方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010118971.1A CN113392671A (zh) | 2020-02-26 | 2020-02-26 | 基于顾客动作的商品检索方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113392671A true CN113392671A (zh) | 2021-09-14 |
Family
ID=77615271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010118971.1A Pending CN113392671A (zh) | 2020-02-26 | 2020-02-26 | 基于顾客动作的商品检索方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113392671A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103065261A (zh) * | 2012-12-25 | 2013-04-24 | 深圳Tcl新技术有限公司 | 基于手势操作的视频购物的方法、装置和系统 |
| CN106383841A (zh) * | 2016-08-30 | 2017-02-08 | 珠海市魅族科技有限公司 | 基于图片识别的购物方法和装置 |
| CN107006389A (zh) * | 2016-11-04 | 2017-08-04 | 深圳市沃特沃德股份有限公司 | 终端以及宠物动作信号识别方法和装置 |
| CN109165992A (zh) * | 2018-07-16 | 2019-01-08 | 北京旷视科技有限公司 | 一种智能导购方法、装置、系统及计算机存储介质 |
| CN109993595A (zh) * | 2017-12-29 | 2019-07-09 | 北京三星通信技术研究有限公司 | 个性化推荐商品及服务的方法、系统及设备 |
| CN110135930A (zh) * | 2018-02-02 | 2019-08-16 | 英属开曼群岛商玩美股份有限公司 | 虚拟应用化妆效果并推广产品的方法、系统及存储媒体 |
| CN110163715A (zh) * | 2019-04-03 | 2019-08-23 | 阿里巴巴集团控股有限公司 | 信息推荐方法、装置、设备及系统 |
| CN110378215A (zh) * | 2019-06-12 | 2019-10-25 | 北京大学 | 基于第一人称视角购物视频的购物分析方法 |
| CN110377812A (zh) * | 2019-06-14 | 2019-10-25 | 平安科技（深圳）有限公司 | 自助购物方法、装置、设备及计算机可读存储介质 |
| CN110415048A (zh) * | 2019-08-06 | 2019-11-05 | 即悟(上海)智能科技有限公司 | 一种广告推荐方法、设备、系统、计算机设备及存储介质 |
-
2020
- 2020-02-26 CN CN202010118971.1A patent/CN113392671A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103065261A (zh) * | 2012-12-25 | 2013-04-24 | 深圳Tcl新技术有限公司 | 基于手势操作的视频购物的方法、装置和系统 |
| CN106383841A (zh) * | 2016-08-30 | 2017-02-08 | 珠海市魅族科技有限公司 | 基于图片识别的购物方法和装置 |
| CN107006389A (zh) * | 2016-11-04 | 2017-08-04 | 深圳市沃特沃德股份有限公司 | 终端以及宠物动作信号识别方法和装置 |
| CN109993595A (zh) * | 2017-12-29 | 2019-07-09 | 北京三星通信技术研究有限公司 | 个性化推荐商品及服务的方法、系统及设备 |
| CN110135930A (zh) * | 2018-02-02 | 2019-08-16 | 英属开曼群岛商玩美股份有限公司 | 虚拟应用化妆效果并推广产品的方法、系统及存储媒体 |
| CN109165992A (zh) * | 2018-07-16 | 2019-01-08 | 北京旷视科技有限公司 | 一种智能导购方法、装置、系统及计算机存储介质 |
| CN110163715A (zh) * | 2019-04-03 | 2019-08-23 | 阿里巴巴集团控股有限公司 | 信息推荐方法、装置、设备及系统 |
| CN110378215A (zh) * | 2019-06-12 | 2019-10-25 | 北京大学 | 基于第一人称视角购物视频的购物分析方法 |
| CN110377812A (zh) * | 2019-06-14 | 2019-10-25 | 平安科技（深圳）有限公司 | 自助购物方法、装置、设备及计算机可读存储介质 |
| CN110415048A (zh) * | 2019-08-06 | 2019-11-05 | 即悟(上海)智能科技有限公司 | 一种广告推荐方法、设备、系统、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cheng et al. | An image-to-class dynamic time warping approach for both 3D static and trajectory hand gesture recognition | |
| US11086924B2 (en) | Image search device and image search method | |
| US11748888B2 (en) | End-to-end merge for video object segmentation (VOS) | |
| Choi et al. | A collaborative filtering approach to real-time hand pose estimation | |
| JP6571108B2 (ja) | モバイル機器用三次元ジェスチャのリアルタイム認識及び追跡システム | |
| Hong et al. | Hypergraph regularized autoencoder for image-based 3D human pose recovery | |
| CN111401318B (zh) | 动作识别方法及装置 | |
| US9734435B2 (en) | Recognition of hand poses by classification using discrete values | |
| Weiyao et al. | Human action recognition using multilevel depth motion maps | |
| Zhang et al. | A survey on human pose estimation | |
| CN110738650B (zh) | 一种传染病感染识别方法、终端设备及存储介质 | |
| Pala et al. | Enhanced skeleton and face 3D data for person re-identification from depth cameras | |
| CN112330383A (zh) | 用于基于可视元素的物品推荐的设备及方法 | |
| Szczuko | Deep neural networks for human pose estimation from a very low resolution depth image | |
| Çalışkan | Detecting human activity types from 3D posture data using deep learning models | |
| Tian et al. | Free-view gait recognition | |
| Nasri et al. | A novel approach for dynamic hand gesture recognition using contour-based similarity images | |
| CN108268863B (zh) | 一种图像处理方法、装置和计算机存储介质 | |
| Ning et al. | Occluded person re-identification with deep learning: a survey and perspectives | |
| Liu et al. | Towards interpretable and robust hand detection via pixel-wise prediction | |
| Nambiar et al. | Shape context for soft biometrics in person re-identification and database retrieval | |
| Liu et al. | Visual tracking via nonlocal similarity learning | |
| Lei et al. | A new clothing image retrieval algorithm based on sketch component segmentation in mobile visual sensors | |
| Yashas et al. | Hand gesture recognition: a survey | |
| Chen et al. | Static hand gesture recognition based on finger root-center-angle and length weighted mahalanobis distance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |