一种识别导购员业务的方法、装置、电子设备及存储介质
技术领域
本发明涉及信息识别领域,具体涉及一种识别导购员业务的方法、装置、电子设备及存储介质。
背景技术
目前在品牌化妆品垂直行业,总部业务运营管理者只能通过交易数据、人流情况来分析业务结果,缺乏更多真实有效的场景数据来解释业务结果;例如某个柜台很多导购员,但是年成交额却很低;某个柜台导购员不多,但是年成交额却很高,这其中的原因无法知道。一般来说,化妆品柜台销售额的多少很大程度与导购员的能力(接待能力、营销能力等)相关,但是目前却没有确切的数据来支持解析一次交易的成败的具体原因是什么。
一般导购员在接待过程中会存在很多诸如肢体和表情上的细节,而这些细节完全可以作为业务分析最有价值的依据;例如导购员在接待过程中拿出了计算器,此细节动作可以视为一种销售报价行为;综合分析顾客的表情,能分析此时顾客对导购员报价的满意程度等。目前传统的人工智能还无法在导购员推销这样一个复杂场景下将导购员细节转换成数据进行精细化解析,进而无法获得更深入的数据用于后续的商业机会分析。
发明内容
本发明旨在提供一种识别导购员业务的方法、装置、电子设备及存储介质,其能够克服现有技术的缺陷。本发明的发明目的通过以下技术方案得以实现:
本申请实施例的第一方面提供了一种识别导购员业务的方法,所述方法包括:
对采集到的导购员场景图像提取至少一个局部特征数据;
利用导购员细节识别神经网络、导购员识别神经网络分别对所述局部特征数据进行识别和目标分类,输出导购员细节识别结果和导购员识别结果;
将所述导购员细节识别结果和所述导购员识别结果同时输入至导购员业务识别神经网络;
利用所述导购员业务识别神经网络输出导购员业务识别结果。
在一些实施例中,所述导购员细节识别神经网络和所述导购员识别神经网络分别包括卷积层、全连接层和多标签分类层;所述卷积层、所述全连接层和所述多标签分类层依次连接。
在一些实施例中,所述导购员细节识别神经网络和所述导购员识别神经网络可以共用一个卷积层。
在一些实施例中,输出所述导购员细节识别结果和所述导购员识别结果之前,利用导购员细节识别神经网络、导购员识别神经网络分别对所述局部特征数据进行识别和目标分类之后还包括:所述导购员细节识别神经网络、所述导购员识别神经网络分别输出包括多维语义概念及对应概率的导购员细节识别分类结果和导购员识别分类结果;将所述导购员细节识别分类结果和所述导购员识别分类结果中概率最大值及所述概率最大值对应的多维语义概念分别作为所述导购员细节识别结果和所述导购员识别结果。
在一些实施例中,所述方法还包括:对多个所述导购员业务识别结果进行识别与分析,生成最终的导购员业务识别结果。
在一些实施例中,在利用导购员细节识别神经网络、导购员识别神经网络分别对所述局部特征数据进行识别和目标分类之前,所述方法还包括:
将局部特征数据中的导购员细节数据及对应的标注信息作为第一训练样本对所述导购员细节识别神经网络进行训练直至满足训练结束条件;
将局部特征数据中的导购员数据及对应的标注信息作为第二训练样本对所述导购员识别神经网络进行训练直至满足训练结束条件。
在一些实施例中,当所述导购员细节识别神经网络和导购员识别神经网络满足训练结束条件之后,还包括:
固定所述导购员细节识别神经网络和导购员识别神经网络中的参数,利用所述第一训练样本和所述第二训练样本对所述导购员业务识别神经网络进行训练直至满足训练结束条件。
本申请实施例的第二方面提供了一种识别导购员业务的装置,所述装置包括:
局部特征数据提取模块,用于对采集到的导购员场景图像提取至少一个局部特征数据;
第一输出模块,用于利用导购员细节识别神经网络、导购员识别神经网络分别对所述局部特征数据进行识别和目标分类,输出导购员细节识别结果和导购员识别结果;
识别结果输入模块,用于将所述导购员细节识别结果和所述导购员识别结果同时输入至导购员业务识别神经网络;
第二输出模块,利用所述导购员业务识别神经网络输出导购员业务识别结果。
本申请实施例的第三方面提供了一种电子设备,包括:
存储器以及一个或多个处理器;
其中,所述存储器与所述一个或多个处理器通信连接,所述存储器中存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行时,所述电子设备用于实现如前述各实施例所述的方法。
本申请实施例的第四方面提供了一种计算机可读存储介质,其上存储有计算机可执行指令,当所述计算机可执行指令被计算装置执行时,可用来实现如前述各实施例所述的方法。
本发明所达到的有益效果:本发明公开了一种识别导购员业务的方法,利用神经网络对从导购员场景图像中提取的局部特征数据进行识别与处理,最终输出导购员业务识别结果,实现了对复杂场景的精细化解析,为后续的商业机会分析提供了重要的参考依据。
附图说明
为了更清楚的说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请的一些实施例所示的一种识别导购员业务的方法流程示意图;
图2是根据本申请的一些实施例所示的一种识别导购员业务的装置模块结构框图;
图3是根据本申请的一些实施例所示的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本申请的一个实施例中公开了一种识别导购员业务的方法,具体包括:
步骤101、对采集到的导购员场景图像提取至少一个局部特征数据;
步骤102、利用导购员细节识别神经网络、导购员识别神经网络分别对所述局部特征数据进行识别和目标分类,输出导购员细节识别结果和导购员识别结果;
步骤103、将所述导购员细节识别结果和所述导购员识别结果同时输入至导购员业务识别神经网络;
步骤104、利用所述导购员业务识别神经网络输出导购员业务识别结果。
优选地,所述局部细节识别神经网络和所述导购员识别神经网络分别包括卷积层、全连接层和多标签分类层;所述卷积层、所述全连接层和所述多标签分类层依次连接。
优选地,所述局部细节识别神经网络和所述导购员识别神经网络可以共用一个卷积层。
具体地,所述多标签分类层可以是Softmax分类器;
优选地,输出所述导购员细节识别结果和所述导购员识别结果之前,利用导购员细节识别神经网络、导购员识别神经网络分别对所述局部特征数据进行识别和目标分类之后还包括:所述导购员细节识别神经网络、所述导购员员识别神经网络分别输出包括多维语义概念及对应概率的导购员细节识别分类结果和导购员识别分类结果;将所述导购员细节识别分类结果和所述导购员识别分类结果中概率最大值及所述概率最大值对应的多维语义概念分别作为所述导购员细节识别结果和所述导购员识别结果。
具体地,所述局部细节识别神经网络和所述导购员识别神经网络中的分类器对经过所述卷积层和所述全连接层处理过的局部特征数据进行目标分类,输出包括多维语义概念及对应概率的分类结果;神经网络中的多标签分类层综合所述分类结果,保留概率最大值及所述概率最大值对应的多维语义概念作为局部细节识别结果或导购员识别结果。
可选地,所述局部特征数据包括但不限于导购员和/或顾客的正脸数据、侧脸数据、背影数据、衣着数据、体态数据、面部表情、肢体动作。
在本申请的一个实施例中,除了利用导购员细节识别神经网络、导购员识别神经网络对所述局部特征数据进行识别和目标分类外,还可以利用多个其他的预训练过的神经网络对所述局部特征数据进行识别和目标分类,以顾客识别神经网络为例,摄像头采集到了一张导购员场景图像,对图像提取了至少一个局部特征数据;顾客识别神经网络根据局部特征数据中包含的正脸数据判断图像中的正脸人物是非导购人员,生成包含顾客的第一识别结果;导购员识别神经网络根据局部特征数据中包含的侧脸数据判断图像中的侧脸人物是导购员A,生成包含导购员A的第二识别结果;进一步地,导购员细节识别神经网络根据局部特征数据判断导购员A是面朝左侧,生成导购员A是面朝左侧的第三识别结果;将上述三个识别结果输入导购员业务识别神经网络中,输出导购员A正对其左侧的顾客进行导购的导购员业务识别结果。
在本申请的一个实施例中,优选地,方法还可以包括:对多个所述导购员业务识别结果进行识别与分析,生成最终的导购员业务识别结果。
例如,摄像头采集到了一张导购员场景图像,对图像提取了至少一个局部特征数据;导购员识别神经网络根据局部特征数据中包含的侧脸数据、衣着数据及体态数据,生成包含导购员B的第一识别结果;进一步地,导购员细节识别神经网络根据局部特征数据生成导购员B手持计算器的第二识别结果;将第一识别结果和第二识别结果输入导购员业务识别神经网络中,输出导购员B在报价的第一导购员业务识别结果;此时顾客识别神经网络根据局部特征数据中包含的正脸数据,生成包含顾客的第三识别结果;进一步地,导购员细节识别神经网络根据局部特征数据识别出顾客的脸部表情,生成顾客情绪不高兴的第四识别结果,将第三识别结果和第四识别结果输入导购员业务识别神经网络中,输出顾客对报价不满意的第二导购员业务识别结果;对第一导购员业务识别结果和第二导购员业务识别结果进行综合分析,最后综合输出最终的导购员业务识别结果为顾客不满意导购员B的报价。
在本申请的一个实施例中,所述预训练过的神经网络还可以对局部特征数据和/或识别结果进行综合分析,输出相应的关系属性结果;其中关系属性包括但不限于:人与人的关系、人与物的关系等。
例如,摄像头采集到了一张导购员场景图像,对图像提取了至少一个局部特征数据;导购员识别神经网络根据局部特征数据中的侧脸数据、衣物数据及体态数据,生成导购员C的第一识别结果;导购员细节识别神经网络根据局部特征数据发现导购员C手持交易小票,生成导购员C手持交易小票的第二识别结果;顾客识别神经网络根据局部特征数据识别出两名女性顾客且年龄一大一小,生成顾客关系为母女关系的第三识别结果;将第一识别结果、第二识别结果及第三识别结果输入导购员业务识别神经网络,输出导购员C完成了一笔针对母女的销售单的导购员业务识别结果。
应当理解,上述为进行导购员业务识别的应用阶段,输入从导购员场景图像中获取的局部特征数据后通过导购员细节识别神经网络、导购员识别神经网络、导购员业务识别神经网络确定输出导购员业务识别结果,在应用阶段之前,需对各神经网络进行训练,包括:
将局部特征数据中的导购员细节数据及对应的标注信息作为第一训练样本对所述导购员细节识别神经网络进行训练直至满足训练结束条件;
将局部特征数据中的导购员数据及对应的标注信息作为第二训练样本对所述导购员识别神经网络进行训练直至满足训练结束条件。
一般地,满足训练结束的条件为训练的神经网络达到稳定状态;
进一步地,当所述导购员细节识别神经网络和导购员识别神经网络满足训练结束条件之后,还包括:
固定所述导购员细节识别神经网络和导购员识别神经网络中的参数,利用所述第一训练样本和所述第二训练样本对所述导购员业务识别神经网络进行训练直至满足训练结束条件。
如图2所示,本申请的一个实施例中公开了一种识别导购员业务的装置200,装置200具体包括:
局部特征数据提取模块201,用于对采集到的导购员场景图像提取至少一个局部特征数据;
第一输出模块202,用于利用导购员细节识别神经网络、导购员识别神经网络分别对所述局部特征数据进行识别和目标分类,输出导购员细节识别结果和导购员识别结果;
识别结果输入模块203,用于将所述导购员细节识别结果和所述导购员识别结果同时输入至导购员业务识别神经网络;
第二输出模块204,利用所述导购员业务识别神经网络输出导购员业务识别结果。
本申请一个实施例提供了电子设备,如图3所示,该电子设备300包括:
存储器330以及一个或多个处理器310;
其中,所述存储器330与所述一个或多个处理器310通信连接,所述存储器330中存储有可被所述一个或多个处理器执行的指令332,所述指令332被所述一个或多个处理器310执行,以使所述一个或多个处理器310执行本申请前述实施例中的方法。
具体地,处理器310和存储器330可以通过总线或者其他方式连接,图3中以通过总线340连接为例。处理器310可以为中央处理器(CentralProcessing Unit,CPU)。处理器310还可以为其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、现场可编程门阵列(Field-ProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器330作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中的级联渐进网络等。处理器310通过运行存储在存储器330中的非暂态软件程序、指令以及模块332,从而执行处理器的各种功能应用以及数据处理。
存储器330可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器310所创建的数据等。此外,存储器330可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器330可选包括相对于处理器310远程设置的存储器,这些远程存储器可以通过网络(比如通过通信接口320)连接至处理器310。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请的一个实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令被执行后执行本申请前述实施例中的方法。
前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可移动介质。计算机可读取存储介质具体包括,但不限于,U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。
尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的,但本领域技术人员可以认识到,还可结合其他类型的程序模块来执行其他实现。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解,此处所述的本主题可以使用其他计算机系统配置来实践,包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等,也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中,程序模块可位于本地和远程存储器存储设备的两者中。
本领域普通技术人员可以意识到,结合本文中所本申请的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
综上所述,通过本申请中公开的实施例,对导购员接待过程的图像进行处理分析并数据化,最终得到导购员业务识别结果,而导购员业务识别结果可以作为后续导购员营销手段、定价策略及商业机会的参考依据。
以上,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。