发明内容
本发明旨在提供一种识别导购员的方法、装置、电子设备及存储介质,其能够克服现有技术的缺陷。本发明的发明目的通过以下技术方案得以实现:
本申请实施例的第一方面提供了一种识别导购员方法,所述方法包括:
通过预训练过的第一局部识别模型对采集到的图像进行识别;
当所述第一局部识别模型识别出所述图像中至少包含一个导购员时,获取所述图像中与所述导购员关联的第二局部数据;
将所述第二局部数据作为训练样本数据进行训练,生成第二局部识别模型;
所述第一局部识别模型连同所述第二局部识别模型对所述采集到的图像进行联合识别,输出导购员身份识别结果。
在一些实施例中,所述获取所述图像中与所述导购员关联的第二局部数据具体包括:根据预定义的规则从所述图像中获取与所述导购员关联的第二局部数据。
在一些实施例中,所述获取所述图像中与所述导购员关联的第二局部数据具体包括:将所述图像输入至预训练过的人体部分识别模型;获取所述人体部分识别模型输出的与所述导购员关联的第二局部数据。
在一些实施例中,所述获取所述图像中与所述导购员关联的第二局部数据具体包括:通过调用一个或多个图像传感器获取所述图像中与所述导购员关联的第二局部数据。
在一些实施例中,所述第一局部识别模型连同所述第二局部识别模型对所述采集到的图像进行联合识别,输出导购员身份识别结果,具体包括:
所述第一局部识别模型连同所述第二局部识别模型分别对所述采集到的图像进行识别并对应输出模型识别结果;根据所述模型识别结果输出导购员身份识别结果。
本申请实施例的第二方面提供了一种识别导购员的装置,所述装置包括:
第一图像识别模块,用于通过预训练过的第一局部识别模型对采集到的图像进行识别;
局部数据获取模块,用于当所述第一局部识别模型识别出所述图像中至少包含一个导购员时,获取所述图像中与所述导购员关联的第二局部数据;
局部识别模型生成模块,用于将所述第二局部数据作为训练样本数据进行训练,生成第二局部识别模型;
第二图像识别模块,用于所述第一局部识别模型连同所述第二局部识别模型对所述采集到的图像进行联合识别,输出导购员身份识别结果。
在一些实施例中,所述局部数据获取模块,具体用于当所述第一局部识别模型识别出所述图像中至少包含一个导购员时,根据预定义的规则从所述图像中获取与所述导购员关联的第二局部数据。
在一些实施例中,所述局部数据获取模块,具体用于当所述第一局部识别模型识别出所述图像中至少包含一个导购员时,将所述图像输入至预训练过的人体部分识别模型;获取所述人体部分识别模型输出的与所述导购员关联的第二局部数据。
在一些实施例中,所述局部数据获取模块,具体用于当所述第一局部识别模型识别出所述图像中至少包含一个导购员时,通过调用一个或多个图像传感器获取所述图像中与所述导购员关联的第二局部数据。
在一些实施例中,所述第二图像识别模块具体用于所述第一局部识别模型连同所述第二局部识别模型分别对所述采集到的图像进行识别并对应输出模型识别结果;根据所述模型识别结果输出导购员身份识别结果。
本申请实施例的第三方面提供了一种电子设备,包括:
存储器以及一个或多个处理器;
其中,所述存储器与所述一个或多个处理器通信连接,所述存储器中存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行时,所述电子设备用于实现如前述各实施例所述的方法。
本申请实施例的第四方面提供了一种计算机可读存储介质,其上存储有计算机可执行指令,当所述计算机可执行指令被计算装置执行时,可用来实现如前述各实施例所述的方法。
本发明所达到的有益效果:本发明公开了一种识别导购员的方法,通过自动获取与导购员关联的局部数据,不断训练并生成新的局部识别模型,而且使用多个局部识别模型对采集到的图像进行联合识别;不仅能够实现对导购员的识别,还大大提升了导购员的识别精度。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本申请的一个实施例中公开了一种识别导购员的方法,具体包括:
步骤101、通过预训练过的第一局部识别模型对采集到的图像进行识别;
步骤102、当所述第一局部识别模型识别出所述图像中至少包含一个导购员时,获取所述图像中与所述导购员关联的第二局部数据;
步骤103、将所述第二局部数据作为训练样本数据进行训练,生成第二局部识别模型;
步骤104、所述第一局部识别模型连同所述第二局部识别模型对所述采集到的图像进行联合识别,输出导购员身份识别结果。
需要说明的是,所述第二局部数据可以包括一个或多个局部数据;对应地,所述第二局部识别模型可以包括一个或多个局部识别模型;
具体地,所述第一局部识别模型识别出所述图像中至少包含一个导购员时,具体包括第一局部识别模型根据图像中的第一局部数据识别出图像中至少包含一个导购员;
可选地,所述获取所述图像中与所述导购员关联的第二局部数据具体包括:
根据预定义的规则从所述图像中获取与所述导购员关联的第二局部数据。
可选地,所述获取所述图像中与所述导购员关联的第二局部数据具体包括:
将所述图像输入至预训练过的人体部分识别模型;获取所述人体部分识别模型输出的与所述导购员关联的第二局部数据。
可选地,所述获取所述图像中与所述导购员关联的第二局部数据具体包括:
通过调用一个或多个图像传感器获取所述图像中与所述导购员关联的第二局部数据。
具体地,所述第一局部识别模型连同所述第二局部识别模型对所述采集到的图像进行联合识别,输出导购员身份识别结果,具体包括:所述第一局部识别模型连同所述第二局部识别模型分别对所述图像进行识别并对应输出模型识别结果;根据所述模型识别结果输出导购员身份识别结果。
具体地,所述模型识别结果可以为相似度和/或置信度等。
一般地,现有技术中,获取导购员的不同局部数据用以建模,需要大量的人力来进行图片标签标注后进行训练,之后将相同导购员的不同局部数据进行关联识别;本实施例公开了一种获取局部数据建立导购员识别模型的方法,与现有技术完全不同的建模方法,采用一种自动化的数据收集和训练技术,建立导购员识别模型;具体地,本实施例要建立的导购员识别模型,可以为基于机器学习的识别模型;所述导购员识别模型使用不同的导购员局部数据来完成训练,进而得到一个或多个根据局部数据识别导购员的局部识别模型;
所述导购员局部数据,包括但不限于导购员正脸数据、侧脸数据、背影数据、衣着数据、体态数据、发型数据、眼镜数据等。
在本申请的一个实施例中,当一个局部识别模型通过局部数据识别导购员时,会进一步识别、记录导购员相关的图像数据,并使用所述图像数据来获得一个或多个导购员其他局部识别数据。
例如,在导购员识别初始阶段,识别系统只录入了导购员正脸图像数据,根据导购员正脸图像数据训练并得到一个正脸识别模型;进一步地,在具体导购员识别过程中,当正脸识别模型识别当前采集到的图像中包含导购员A并且当前图像只包含一个人物时,记录当前采集到的图像作为训练一个利用体态图像识别导购员的体态数据;
在本申请的另一个实施例中,识别系统还可以将采集到的图像经过分割处理,仅提取体态相关的图像部分用于训练体态识别模型;类似的,当体态识别模型通过体态识别到一个导购员时,记录相关的图像并获得一个侧脸图像;
在本申请的一个实施例中,所述识别系统的本质为从当前采集到的图像中获取一个局部识别模型的触发条件(例如分类器输出结果高于预定义阈值),并进一步得到触发局部识别模型的图像区域/数据,根据该区域在图像中的位置获得该区域的相关区域/数据,并确认相关区域/数据为另一有效局部数据。具体地,系统可以使用预定义的规则来得到所述相关区域;例如局部识别模型的触发条件为头部时,获取头部图像并根据所述头部图像进行图像定位,获得一个矩形框,该矩形框的坐标和尺寸由头部图像的坐标和尺寸施加一个偏移量得到;或者,从当前采集到的图像中获取到了体态识别模型的触发条件,获取体态图像;并将所述体态图像直接用于体态局部数据的训练样本。
在本申请的另一个实施例中,系统使用单独的人体部分识别模型来获取上述相关区域/数据;例如当识别触发条件为正脸图像时,将采集到的整个图像输入至一个人体部分识别模型,当所述人体部分识别模型输出图像中同时存在头部图像和衣着图像时,判断得到所述衣着图像为与导购员正脸图像对应的局部图像,进而生成一个系统未知但有效的局部数据;需要说明的是,人体部分识别模型可以为与导购员识别模型独立的模型;该模型可以使用大量预制数据进行训练,仅用于识别采集的图像中是否存在人体的局部图像。
在本申请的另一个实施例中,识别系统还包括多个图像传感器;当其中一个图像传感器获得的图像触发一个局部识别模型时,系统根据第二图像传感器得到第二局部图像;由于系统存储了第一图像传感器和第二图像传感器的空间位置关系,此时从第二传感器中捕获该导购员的局部图像数据。例如,当第一图像传感器识别导购员正脸时,第二图像传感器捕获一个该导购员的侧脸图像;或者,当导购员在柜台里,其体态图像被柜台遮挡时,安装在柜台前的第一图像传感器识别导购员正脸,此时安装在柜台后的第二图像传感器捕捉到一个导购员的背影图像。如图2所示,给出了利用多个图像传感器识别导购员的示意图;所述识别模块分别与第一图像传感器、图像获取模块连接,所述图像获取模块还与存储模块、第二图像传感器连接;第一局部图像数据为第一图像传感器初次获得的头部数据,所述识别模块将所述头部数据输入至图像获取模块;所述图像获取模块用于从与其相连的第二图像传感器中获取到第二局部图像数据;其中,图像获取模块可以从相同或不同的图像传感器捕捉到第二局部数据,并将获取到的局部数据存储至局部模块中。
在本申请的一个实施例中,通过预训练过的局部识别模型对采集到的图像进行识别;当识别到图像中包含导购员时,会进行自动识别和关联导购员的其他局部数据;但是在实际的场景中,图像传感器采集到的图像一般是二维平面图像,无法得到3D景深数据;当图像传感器的景深焦距较远时,会导致采集到的距离图像传感器较远的对象质量较差,影响局部数据的采集,进而影响局部识别模型的训练及识别精度;而且经过大量数据研究表明,导购员真正的接待范围一般距离图像传感器较近;距离图像传感器较远的对象可能是路过的人群或者非正常接待的场景;一般地,通过获取图像传感器镜头焦距并根据焦距判断采集到的图像中导购员的相对位置;优选地,选取图像中距离图像传感器较近的预设个数的对象作为导购员,并自动识别和关联导购员的其他局部数据;可选地,通过获取对象的人头面积的大小来判断与图像传感器距离的远近。
在本申请的另一个实施例中,导购员的衣着打扮会随着时间的变化而变化,因此存在多个衣着对应同一导购员的情况。此时,当系统通过正脸识别一导购员A时,会进一步识别并记录当前日期的衣着数据;将识别、记录的衣着数据作为训练样本用于训练衣着识别模型。
进一步地,系统经过长时间的运行,会自动得到不同局部数据的图像数据,不断的训练新的局部识别模型,使得系统拥有多种基于局部数据的局部识别模型。也就是说,随着系统的运行,系统能够不断的适应导购的场景,在各种遮挡、侧脸、背影的情况下均能准确识别出导购员A。
在本申请的一个实施例中,所述系统还用于对实际业务数据进行识别;多个局部识别模型的完善目的在于能够实现更精准的识别;而在实现更精准的识别的同时也有助于完善局部识别模型,这是一个相辅相成的过程。
具体地,当一个局部识别模型识别出导购员A时,实际是该局部识别模型给出一个较高的相似度为导购员A的参数;例如当体态识别模型识别导购员A时,并不能完全确认就是导购员A,此时系统会进一步获得体态图像相关其他区域的图像,并输入至其他局部识别模型,并联合多种局部识别模型的结果来提升识别精度,当所有模型返回的相似度都达到一个可参照的范围时,可确认该人物就是导购员A;再例如,当体态识别模型识别当前人物为导购员A的侧身时,识别的置信度可能较低,但在当前多个局部识别模型的识别结果中已经为最高置信度时,将自动搜索体态模型中对应的头部图像数据;或者,通过一个位置推测图像中潜在头部的区域,并进一步将该部分数据输入至侧脸识别模型中,此时由于侧脸识别模型仅针对头部数据,并只识别当前头部图像的身份,则准确率得到提升;
在本申请的一个实施例中,当通过衣着识别模型识别为某一导购员在接待时,此时识别结果只能记录一次接待情况;而由于导购员同一着装,则无法精确定位某一导购员的身份;此时系统将截取头部区域图像,并尝试识别导购员身份。
在本申请的一个实施例中,当多个导购员同框时,多个局部识别模型置信度的综合评估可以有效排除因为单个局部识别模型置信度阀值难以均衡带来的识别误差;例如,采集的图像中有两个导购员,其中一个导购员体态识别为导购员的置信度高,另外一个导购员体态识别为导购员的置信度低,此时根据两个人体衣着特征分析,两者的衣着都为导购员的置信度较高,再结合人脸识别,第一个导购员脸部识别为导购员的置信度中等,第二个导购员脸部识别为导购员的置信度较高;通过综合加权求和,两个都判定为导购员的概率增加,从而能将两个导购员同框照片识别为非接待活动。
实施例公开的技术方法,不仅适用于品牌化妆品导购员这类人,还可以用在其他类似需要针对某些特定人群、特定行为的场景评估中;比如连锁店员的工作状态和效率评估。
如图3所示,本申请的一个实施例中公开了一种识别导购员的装置200,装置200具体包括:第一图像识别模块201、局部数据获取模块202、局部识别模型生成模块203和第二图像识别模块204;其中,
第一图像识别模块201,用于通过预训练过的第一局部识别模型对采集到的图像进行识别;
局部数据获取模块202,用于当所述第一局部识别模型识别出所述图像中至少包含一个导购员时,获取所述图像中与所述导购员关联的第二局部数据;
局部识别模型生成模块203,用于将局部数据获取模块202获取的第二局部数据作为训练样本数据进行训练,生成第二局部识别模型;
第二图像识别模块204,用于第一局部识别模型连同局部识别模型生成模块203生成的第二局部识别模型对采集到的图像进行联合识别,输出导购员身份识别结果。
可选地,局部数据获取模块202,具体用于当第一局部识别模型根据第一局部数据识别出图像中至少包含一个导购员时,根据预定义的规则从图像中获取与导购员关联的第二局部数据。
可选地,局部数据获取模块202,具体用于当第一局部识别模型根据第一局部数据识别出图像中至少包含一个导购员时,将图像输入至预训练过的人体部分识别模型;获取人体部分识别模型输出的与导购员关联的第二局部数据。
可选地,局部数据获取模块202,具体用于当第一局部识别模型根据第一局部数据识别出图像中至少包含一个导购员时,通过调用一个或多个图像传感器获取图像中与导购员关联的第二局部数据。
具体地,第二图像识别模块204具体用于第一局部识别模型连同第二局部识别模型分别对图像进行识别并对应输出模型识别结果;根据模型识别结果输出导购员身份识别结果。
本申请一个实施例提供了电子设备,如图4所示,该电子设备300包括:
存储器330以及一个或多个处理器310;
其中,所述存储器330与所述一个或多个处理器310通信连接,所述存储器330中存储有可被所述一个或多个处理器执行的指令332,所述指令332被所述一个或多个处理器310执行,以使所述一个或多个处理器310执行本申请前述实施例中的方法。
具体地,处理器310和存储器330可以通过总线或者其他方式连接,图3中以通过总线340连接为例。处理器310可以为中央处理器(Central Processing Unit,CPU)。处理器310还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器330作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中的级联渐进网络等。处理器310通过运行存储在存储器330中的非暂态软件程序、指令以及模块332,从而执行处理器的各种功能应用以及数据处理。
存储器330可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器310所创建的数据等。此外,存储器330可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器330可选包括相对于处理器310远程设置的存储器,这些远程存储器可以通过网络(比如通过通信接口320)连接至处理器310。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请的一个实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令被执行后执行本申请前述实施例中的方法。
前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可移动介质。计算机可读取存储介质具体包括,但不限于,U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。
尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的,但本领域技术人员可以认识到,还可结合其他类型的程序模块来执行其他实现。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解,此处所述的本主题可以使用其他计算机系统配置来实践,包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等,也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中,程序模块可位于本地和远程存储器存储设备的两者中。
本领域普通技术人员可以意识到,结合本文中所本申请的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
综上所述,通过本申请中公开的实施例,不仅能够实现自动获取与导购员关联的局部数据,不断训练并生成新的局部识别模型,而且使用多个局部识别模型对采集到的图像进行联合识别;不仅能够实现对导购员的识别,还大大提升了导购员的识别精度。
以上,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。