CN113468914A - 一种商品纯净度的确定方法、装置及设备 - Google Patents

一种商品纯净度的确定方法、装置及设备 Download PDF

Info

Publication number
CN113468914A
CN113468914A CN202010239564.6A CN202010239564A CN113468914A CN 113468914 A CN113468914 A CN 113468914A CN 202010239564 A CN202010239564 A CN 202010239564A CN 113468914 A CN113468914 A CN 113468914A
Authority
CN
China
Prior art keywords
image
commodity
sub
commodities
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010239564.6A
Other languages
English (en)
Other versions
CN113468914B (zh
Inventor
严小乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010239564.6A priority Critical patent/CN113468914B/zh
Publication of CN113468914A publication Critical patent/CN113468914A/zh
Application granted granted Critical
Publication of CN113468914B publication Critical patent/CN113468914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种商品纯净度的确定方法、装置及设备,该方法包括:获取目标图像,目标图像包括商品柜中的N个商品,N为正整数;将目标图像分割成N个子图像,每个子图像包括一个商品;针对每个子图像,根据子图像的第一特征信息和标准商品图像的第二特征信息,确定所述子图像中的商品是否为指定类型商品;所述标准商品图像是预先存储的,且所述标准商品图像包括指定类型商品;根据指定类型商品的总数量确定所述指定类型商品的商品纯净度。通过本申请的技术方案,能够实现商品纯净度自动检测,提高检测准确率。

Description

一种商品纯净度的确定方法、装置及设备
技术领域
本申请涉及监控领域,尤其是一种商品纯净度的确定方法、装置及设备。
背景技术
在商场、超市等场所,通常会部署大量商品柜(也可以称为货柜,商品柜的形式可以为冰柜、饮料柜、陈列柜、自动售货柜等),商品柜内可以摆放多种类型的商品,用户可以自动购买商品柜中的商品,不需要卖家的参与。
在某些情况下,品牌商会向商场、超市等场所提供商品柜,针对这种类型的商品柜,需要在该商品柜中摆放指定类型商品(即该品牌商的商品),而不允许摆放其它类型的商品,或者,只允许摆放少量其它类型的商品。
由于商场、超市的数量过多,加上人员耗费等问题,品牌商难以现场监管商品柜中指定类型商品的商品数量,损害了品牌商的利益。基于此,如果能够自动获取商品柜中指定类型商品的商品数量,就能够对商品柜的使用情况进行监控,促使卖家按照规定在商品柜中摆放指定类型商品,保证品牌商的利益。
但是,如何获取指定类型商品的商品数量,目前并没有合理的实现方式。
发明内容
本申请提供一种商品纯净度的确定方法,所述方法包括:
获取目标图像,所述目标图像包括商品柜中的N个商品,N为正整数;
将所述目标图像分割成N个子图像,每个子图像包括一个商品;
针对每个子图像,根据所述子图像的第一特征信息和标准商品图像的第二特征信息,确定所述子图像中的商品是否为指定类型商品;其中,所述标准商品图像是预先存储的,且所述标准商品图像包括指定类型商品;
根据指定类型商品的总数量确定所述指定类型商品的商品纯净度。
在一种可能的实施方式中,所述将所述目标图像分割成N个子图像,包括:
将所述目标图像输入给已训练的神经网络,以使所述神经网络依次遍历所述目标图像的每个待检测区域,并确定所述待检测区域的商品特征是否对应有商品标签值,如果是,则将所述待检测区域分割为一个子图像;
其中,在神经网络的训练过程中,将训练集合输入给神经网络,所述训练集合包括多个样本图像,所述样本图像包括商品柜中的至少一个商品,每个商品具有包围框区域,所述包围框区域设置有商品标签值,以使神经网络根据所述训练集合进行训练,得到包围框区域的商品特征与商品标签值的映射关系。
示例性的,所述根据所述子图像的第一特征信息和标准商品图像的第二特征信息,确定所述子图像中的商品是否为指定类型商品,包括:
若预先存储的标准商品图像的数量为至少两个,确定所述子图像的第一特征信息与每个标准商品图像的第二特征信息的相似度;
若确定出的最大相似度大于相似度阈值,则确定所述子图像中的商品为所述最大相似度对应的标准商品图像中的指定类型商品。
示例性的,所述子图像的第一特征信息的确定方式,包括:
获取所述子图像的RGB数据,获取所述子图像的二值化数据;根据所述子图像的RGB数据和所述子图像的二值化数据,确定所述子图像的第一特征信息;
所述标准商品图像的第二特征信息的确定方式,包括:获取标准商品图像的RGB数据,获取标准商品图像的二值化数据;根据标准商品图像的RGB数据和标准商品图像的二值化数据,确定所述标准商品图像的第二特征信息。
示例性的,所述相似度阈值的确定方式,包括:
确定样本商品图像的特征信息与标准商品图像的特征信息的第一相似度;
确定训练商品图像的特征信息与标准商品图像的特征信息的第二相似度;
根据所述第一相似度和所述第二相似度确定所述相似度阈值,所述相似度阈值小于所述第一相似度,所述相似度阈值大于所述第二相似度;
其中,所述样本商品图像中的指定类型商品与所述标准商品图像中的指定类型商品相同;所述训练商品图像未包括指定类型商品,或者,所述训练商品图像中的指定类型商品与所述标准商品图像中的指定类型商品不同。
示例性的,所述获取目标图像包括:从采集设备获取原始图像,所述原始图像包括商品柜中的N个商品;确定所述原始图像中的商品是否被遮挡;
如果否,则将所述原始图像确定为所述目标图像;
如果是,则通知所述采集设备重新获取原始图像。
示例性的,所述确定所述原始图像中的商品是否被遮挡,包括:
根据所述原始图像和基准图像确定变化区域图像;其中,所述基准图像是所述商品柜中未包括商品时采集到的图像;
将所述原始图像分割成N个子图像,每个子图像包括一个商品,并确定所述N个子图像对应的组合区域图像;
确定所述变化区域图像与所述组合区域图像的交并比;
根据所述交并比确定所述原始图像中的商品是否被遮挡。
所述采集设备安装在所述商品柜的柜门处,所述采集设备包括摄像头和传感器;当所述传感器感知到所述商品柜被打开至目标角度时,向所述摄像头发送触信号;所述摄像头在接收到所述触发信号时,采集所述原始图像。
本申请提供一种商品纯净度的确定装置,所述装置包括:
获取模块,用于获取目标图像,所述目标图像包括商品柜中的N个商品;
分割模块,用于将目标图像分割成N个子图像,每个子图像包括一个商品;
确定模块,用于针对每个子图像,根据所述子图像的第一特征信息和标准商品图像的第二特征信息,确定所述子图像中的商品是否为指定类型商品;其中,所述标准商品图像是预先存储的,且所述标准商品图像包括指定类型商品;以及,根据指定类型商品的总数量确定所述指定类型商品的商品纯净度。
本申请提供一种服务器,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现如下的步骤:
获取目标图像,所述目标图像包括商品柜中的N个商品,N为正整数;
将所述目标图像分割成N个子图像,每个子图像包括一个商品;
针对每个子图像,根据所述子图像的第一特征信息和标准商品图像的第二特征信息,确定所述子图像中的商品是否为指定类型商品;其中,所述标准商品图像是预先存储的,且所述标准商品图像包括指定类型商品;
根据指定类型商品的总数量确定所述指定类型商品的商品纯净度。
由以上技术方案可见,本申请实施例中,可以将目标图像分割成N个子图像,每个子图像包括一个商品,根据子图像的第一特征信息和标准商品图像的第二特征信息,确定子图像中的商品是否为指定类型商品,从而能够自动获取商品柜中指定类型商品的总数量,根据指定类型商品的总数量确定指定类型商品的商品纯净度,根据商品纯净度分析商品柜的使用情况,继而对商品柜的使用情况进行监控,促使卖家按照规定在商品柜中摆放指定类型商品,保证品牌商的利益。上述方式能够利用智能算法和图像处理技术实现商品柜的商品纯净度自动检测,实现无人化管理,提高检测准确率,同时节省了人力资源。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案,下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的采集设备的安装位置示意图;
图2是本申请一种实施方式中的商品纯净度的确定方法的流程图;
图3是本申请另一种实施方式中的商品纯净度的确定方法的流程图;
图4是本申请一种实施方式中的确定相似度阈值的示意图;
图5是本申请一种实施方式中的确定商品是否被遮挡的示意图;
图6是本申请一种实施方式中的商品纯净度的确定装置的结构图;
图7是本申请一种实施方式中的服务器的结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在介绍本申请的技术方案之前,先介绍与本申请实施例有关的概念:
商品柜:商品柜也可以称为货柜,商品柜的形式可以包括但不限于:冰柜、饮料柜、陈列柜、自动售货柜等,只要是能够在商品柜中摆放商品即可。
商品纯净度:指定类型商品的总数量与商品柜中所有商品的总数量的比例,可以称为商品纯净度,基于商品纯净度能够分析出是否按照规定在商品柜中摆放指定类型商品。例如,若商品纯净度大于阈值,则表示按照规定在商品柜中摆放指定类型商品,否则,表示未按照规定在商品柜中摆放指定类型商品。
针对品牌商向商场、超市等场提供的商品柜,通常需要在商品柜中摆放指定类型商品,而不允许摆放其它类型的商品,或只允许摆放少量其它类型的商品,而商品纯净度能够反映是否按照规定在商品柜中摆放指定类型商品。
指定类型商品:即需要在商品柜中摆放的商品,可以是某品牌商(如提供商品柜的品牌商)的商品,或者,指定SKU(Stock keeping Unit,库存保有单位)的商品,对此指定类型商品不做限制,可以是一个品牌商的商品,也可以是多个品牌商的商品,可以是品牌商的一种商品,也可以是品牌商的多种商品。
神经网络:机器学习是实现人工智能的一种途径,用于研究计算机如何模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身性能。深度学习属于机器学习的子类,而神经网络是深度学习的实现方式。神经网络可以包括但不限于:卷积神经网络(简称CNN)、循环神经网络(简称RNN)、全连接网络等。神经网络的结构单元可以包括但不限于:卷积层(Conv)、池化层(Pool)、激励层、全连接层(FC)等。
在卷积层中,通过使用卷积核对图像进行卷积运算,使图像特征增强,卷积层在空间范围内使用卷积核进行卷积运算,该卷积核可以是m*n大小的矩阵,卷积层的输入与卷积核进行卷积,可得到卷积层的输出。卷积运算实际是一个滤波过程,在卷积运算中,是将图像上点(x,y)的像素值f(x,y)与卷积核w(x,y)进行卷积。例如,提供4*4的卷积核,该4*4的卷积核包含16个数值,这16个数值的大小可以根据需要进行配置。按照4*4的大小在图像上依次滑动,得到多个4*4的滑动窗口,将该4*4的卷积核与每个滑动窗口进行卷积,得到多个卷积特征,这些卷积特征就是卷积层的输出,且被提供给下一层。
在池化层中,实际上就是一个降采样的过程,通过对多个卷积特征(即卷积层的输出)进行取最大值、取最小值、取平均值等操作,从而可以减少计算量,并保持特征不变性。在池化层中,可以利用图像局部相关性的原理,对图像进行子抽样,从而可以减少数据处理量,并保留图像中的有用信息。
在激励层中,可以使用激活函数(如非线性函数)对池化层输出的特征进行映射,从而引入非线性因素,使得神经网络通过非线性的组合而增强表达能力。其中,激励层的激活函数可以包括但不限于ReLU(Rectified Linear Units,整流线性单元)函数,以ReLU函数为例进行说明,则该ReLU函数可以将池化层输出的所有特征中,小于0的特征置0,而大于0的特征保持不变。
在全连接层中,该全连接层用于将输入给本全连接层的所有特征进行全连接处理,从而得到一个特征信息,且该特征信息中可以包括多个特征。
在实际应用中,可以根据不同需求,将一个或多个卷积层、一个或多个池化层、一个或多个激励层和一个或多个全连接层进行组合构建神经网络。
神经网络的训练过程:可以利用训练图像训练神经网络内的各神经网络参数,如卷积层参数(如卷积核参数)、池化层参数、激励层参数、全连接层参数等,对此不做限制,可以训练神经网络内的所有神经网络参数。通过训练神经网络内的各神经网络参数,可以使神经网络拟合出输入和输出的映射关系。
神经网络的使用过程:可以将输入图像提供给神经网络,由神经网络对输入图像进行处理,如利用各神经网络参数对输入图像进行处理,得到输出数据,且输入图像与输出数据满足神经网络拟合出的输入和输出的映射关系。
以下结合具体实施例,对本申请实施例的技术方案进行说明。
示例性的,采集设备可以包括但不限于:摄像头和传感器,摄像头用于采集原始图像,传感器可以是激光雷达或者陀螺仪等类型的传感器,用于向摄像头发送触发信号,以使摄像头在接收到触发信号后,采集原始图像。
例如,当传感器感知到商品柜被打开至目标角度(即商品柜的柜门与商品柜的柜体之间的夹角为目标角度)时,向摄像头发送触信号。摄像头在接收到触发信号时,采集原始图像,原始图像包括商品柜中的N个商品。
参见图1所示,为采集设备的安装位置的示意图,采集设备可以安装在商品柜的柜门处,具体安装位置可以根据经验进行选择,也可以通过摄像头的视场角,商品柜的宽度和高度,商品柜的层数等参数确定,对此不做限制。
示例性的,在商品柜的柜门打开时,摄像头可以正对商品柜内商品,摄像头能够自动采集包括商品柜内商品的原始图像。例如,当柜门(即商品柜的柜门)打开至与柜体(即商品柜的柜体)的夹角为目标角度(可以根据经验进行配置,如60度等,对此不做限制)时,柜门上安装的摄像头位于商品柜横向的中心位置,这样,摄像头采集的原始图像,可以较完整地包括商品柜内的商品。
基于上述安装位置采集到的原始图像,原始图像中的商品的畸变更小,且商品被拍到的面可以为正面,可识别信息更加丰富。由于摄像头的拍摄角度和成像质量相对固定,不会存在成像差异,更利于后续的检测与识别。
在商品柜的柜门打开时,可以通过传感器检测柜门与柜体的夹角是否为目标角度,如果是,则传感器向摄像头发送触发信号,摄像头在接收到触发信号后,采集原始图像。如果否,则传感器不向摄像头发送触发信号,摄像头也不会采集原始图像,一直到传感器检测出柜门与柜体的夹角为目标角度。
传感器可以为激光雷达,即通过激光雷达检测柜门与柜体之间的距离,根据柜门与柜体之间的距离确定柜门与柜体的夹角,激光雷达是用于测量距离的传感器,可以检测柜门与柜体之间的距离,对激光雷达的工作原理不做限制。传感器可以为陀螺仪,即通过陀螺仪检测柜门与柜体的夹角,陀螺仪是用于测量角度的传感器,可以检测柜门与柜体的夹角,对陀螺仪的工作原理不做限制。
示例性的,在商品柜出厂时,该商品柜的柜门处就安装有采集设备,且采集设备包括摄像头和传感器,即摄像头和传感器均安装在商品柜的柜门处。
示例性的,采集设备的数量可以为至少一个,即,可以在商品柜安装一个采集设备,也可以安装至少两个采集设备。参见图1所示,以4层的商品柜为例,则在柜门处安装两个采集设备,第一个采集设备的摄像头用于采集第一/二层区域的原始图像,第二个采集设备的摄像头用于采集第三/四层区域的原始图像。由于每个采集设备的实现过程相同,后续以一个采集设备为例。
示例性的,在柜门与柜体的夹角为目标角度后,摄像头可以周期性的采集原始图像,即能够采集多帧原始图像,一直到柜门与柜体的夹角小于目标角度。例如,传感器在检测到柜门与柜体的夹角小于目标角度后,传感器可以向摄像头发送停止信号,摄像头在接收到停止信号后,停止采集原始图像。
示例性的,基于摄像头采集到的原始图像,采集设备可以将原始图像发送给服务器,服务器是用于实现商品纯净度检测的设备,可以与大量采集设备通信,从这些采集设备获取原始图像,并根据原始图像进行商品纯净度检测。
在一种可能的实现方式中,采集设备可以预先配置发送间隔,即每隔多少帧发送一次原始图像,假设发送间隔为a,则采集设备将第一帧原始图像发送给服务器,将第a+1帧原始图像发送给服务器,将第2a+1帧原始图像发送给服务器,以此类推。或者,采集设备可以预先配置时间间隔,即每隔多长时间发送一次原始图像,假设时间间隔为b,则采集设备将时刻t0的原始图像发送给服务器,将时刻t0+b的原始图像发送给服务器,将时刻t0+2b的原始图像发送给服务器,以此类推。或者,采集设备可以向服务器发送请求消息,若接收到允许发送原始图像的响应消息,则将原始图像发送给服务器,若接收到拒绝发送原始图像的响应消息或未接收到响应消息,则禁止将原始图像发送给服务器。或者,采集设备分析原始图像的图像质量分数,图像质量分数越高,则图像质量越好,对此分析方式不做限制。若图像质量分数大于分数阈值,则将原始图像发送给服务器,若图像质量分数不大于分数阈值,则禁止将原始图像发送给服务器。当然,上述只是几个示例,对此原始图像的发送过程不做限制。
在上述应用场景下,本申请实施例提出一种商品纯净度的确定方法,可以应用于服务器,参见图2所示,为该方法的流程示意图,该方法可以包括:
步骤201,获取目标图像,该目标图像可以包括商品柜中的N个商品。
在一种可能的实施方式中,服务器可以从采集设备获取原始图像,并将该原始图像确定为目标图像,该原始图像可以包括商品柜中的N个商品,且该目标图像可以包括商品柜中的N个商品,N可以为正整数。
在另一种可能的实施方式中,服务器可以从采集设备获取原始图像,并确定该原始图像中的商品是否被遮挡。如果否,则服务器将该原始图像确定为目标图像,且原始图像包括商品柜中的N个商品,目标图像包括商品柜中的N个商品。如果是,则服务器通知采集设备重新获取原始图像,且服务器从采集设备获取新原始图像,重新判断新原始图像中的商品是否被遮挡,以此类推。
示例性的,针对采集设备获取原始图像的过程,可以包括:在柜门与柜体的夹角为目标角度后,采集设备采集原始图像,对此过程不再赘述。
示例性的,由于采集设备获取原始图像时,商品柜的柜门为开启状态,用户可能处在采集设备与柜体之间,因此,原始图像中的商品可能被遮挡(如商品被局部遮挡或商品被全部遮挡),导致无法进行后续的检测识别。
基于此,服务器可以自动判断原始图像中的商品是否被遮挡,如果是,则通知采集设备重新获取原始图像,且服务器从采集设备获取新原始图像。
在原始图像中的商品被遮挡时,服务器还可以向用户发送提示消息,该提示消息用于提示用户离开采集设备与柜体之间的位置,避免对商品柜内的商品进行遮挡,从而使采集设备采集到商品未被遮挡的原始图像。
步骤202,将目标图像分割成N个子图像,每个子图像包括一个商品。
示例性的,为了避免背景或其它商品对待检测商品的识别产生影响,可以采用基于像素级的商品检测方法,比如说,在得到目标图像后,由于目标图像包括N个商品,因此,可以将目标图像分割成N个子图像,每个子图像包括一个商品,即每个商品对应一个子图像,商品与子图像可以为一一对应。
例如,假设目标图像包括商品1、商品2和商品3,则可以将目标图像分割成3个子图像,子图像1包括商品1,不包括商品2和商品3,子图像2包括商品2,不包括商品1和商品3,子图像3包括商品3,不包括商品1和商品2。
在一种可能的实施方式中,可以基于神经网络将目标图像分割成N个子图像。例如,可以将目标图像输入给已训练的神经网络,以使神经网络依次遍历目标图像的每个待检测区域,并确定待检测区域的商品特征是否对应有商品标签值,如果是,则将该待检测区域分割为一个子图像,并输出该子图像。
当然,基于神经网络将目标图像分割成N个子图像的实现方式,只是一个示例,还可以采用其它方式将目标图像分割成N个子图像,对此不做限制。
为了采用神经网络将目标图像分割成N个子图像,需要先进行神经网络的训练,在神经网络的训练过程中,可以将训练集合输入给神经网络,该训练集合包括多个样本图像,每个样本图像包括商品柜中的至少一个商品,每个商品具有包围框区域,且包围框区域设置有商品标签值,以使神经网络根据该训练集合进行训练,得到包围框区域的商品特征与商品标签值的映射关系。
以下结合具体应用场景,对神经网络的训练过程和使用过程进行说明。
在神经网络的训练过程中,可以获取大量样本图像,针对每个样本图像,可以包括商品柜中的至少一个商品。例如,可以通过摄像头采集针对商品柜中商品的图像,将该图像作为样本图像,也可以直接合成样本对象,对这些样本图像的获取方式不做限制,只要样本图像包括商品柜中的至少一个商品即可。
针对每个样本图像来说,该样本图像包括至少一个商品,需要对每个商品进行标注,标注过程可以包括:为每个商品设置包围框区域,且为该包围框区域设置商品标签值(如0,1等,表示这个包围框区域是商品区域)。不同的包围框区域还可以采用不同颜色进行区分,即不同颜色是不同的包围框区域。
例如,假设样本图像1包括商品1和商品2,则为商品1设置包围框区域1,且包围框区域1设置有商品标签值,该商品标签值表示包围框区域1是商品区域,并为商品2设置包围框区域2,且包围框区域2设置有商品标签值。同理,针对其它样本图像,也需要进行上述标注,对此标注过程不再赘述。
在得到大量样本图像后,可以将这些样本图像添加到训练集合,并将训练集合输入给神经网络,训练集合中的样本图像作为训练数据,而样本图像的标注信息作为监督数据,从而能够对神经网络进行训练学习,比如说,可以利用训练集合中的样本图像对神经网络内的各神经网络参数进行训练,如卷积层参数、池化层参数、激励层参数、全连接层参数等,对此训练过程不做限制。
在神经网络的训练过程中,神经网络可以提取包围框区域的特征信息,由于包围框区域是商品区域,因此,将包围框区域的特征信息称为商品特征。由于包围框区域设置有商品标签值,因此,神经网络可以记录包围框区域的商品特征与商品标签值的映射关系,该商品标签值表示包围框区域是商品区域。
综上所述,神经网络可以包括商品特征与商品标签值的映射关系。
在神经网络的使用过程中,基于已经完成训练的神经网络,服务器在得到目标图像后,可以将目标图像输入给已训练的神经网络。神经网络得到目标图像后,依次遍历目标图像的每个待检测区域,例如,按照指定大小在目标图像上依次滑动,得到多个滑动窗口,每个滑动窗口可以作为一个待检测区域。
针对每个待检测区域,神经网络可以利用各神经网络参数对待检测区域进行处理,对此处理过程不做限制。在处理过程中,神经网络提取待检测区域的商品特征,由于神经网络包括商品特征与商品标签值的映射关系,因此,提取出待检测区域的商品特征后,可以利用该映射关系确定待检测区域的商品特征是否对应有商品标签值,如果否,则继续遍历下一个待检测区域。
如果是,则将该待检测区域分割为一个子图像,并输出该子图像,并继续遍历下一个待检测区域。在将该待检测区域分割为子图像后,目标图像中不包括该子图像,在遍历下一个待检测区域时,不会遍历到针对该子图像的区域。
综上所述,在对目标图像的每个待检测区域进行上述处理后,就可以将目标图像分割为多个子图像。若目标图像包括N个商品,则可以将目标图像分割成N个子图像,并输出N个子图像,每个子图像包括一个商品。
步骤203,针对每个子图像,根据该子图像的第一特征信息和标准商品图像的第二特征信息,确定该子图像中的商品是否为指定类型商品。示例性的,标准商品图像可以是预先存储的,且标准商品图像可以包括指定类型商品。
示例性的,针对指定类型商品,可以采集包括该指定类型商品的图像,将该图像称为标准商品图像,标准商品图像中的商品就是指定类型商品,且标准商品图像中只包括一个指定类型商品,这个标准商品图像用于进行特征比对。
示例性的,标准商品图像可以存储在服务器的数据库中,数据库可以存储一个或者至少两个标准商品图像。例如,若只有一种类型的指定类型商品,则可以采集针对该指定类型商品的一个标准商品图像,也可以采集针对该指定类型商品的至少两个标准商品图像,可以将采集的标准商品图像存储到数据库中。
又例如,若存在至少两种类型的指定类型商品,如品牌相同但外观不同的至少两种类型的指定类型商品,或者,品牌不同的至少两种类型的指定类型商品,则针对每个类型的指定类型商品,可以采集针对该指定类型商品的至少一个标准商品图像,并将采集的标准商品图像存储到数据库中。
综上所述,数据库中可以预先存储至少一个标准商品图像。
在一种可能的实施方式中,若数据库中存储一个标准商品图像,针对每个子图像,确定该子图像的第一特征信息与该标准商品图像的第二特征信息的相似度。若该相似度大于相似度阈值,则确定该子图像中的商品为指定类型商品。若该相似度不大于相似度阈值,则确定该子图像中的商品不为指定类型商品。
例如,当相似度大于相似度阈值时,可以表示子图像中的商品与标准商品图像中的商品比较相似,显然,由于标准商品图像中的商品为指定类型商品,因此,服务器可以确定该子图像中的商品是指定类型商品。
在另一种可能的实施方式中,若数据库中存储至少两个标准商品图像,针对每个子图像,可以确定该子图像的第一特征信息与每个标准商品图像的第二特征信息的相似度。若确定出的最大相似度大于相似度阈值,则确定子图像中的商品为最大相似度对应的标准商品图像中的指定类型商品。若确定出的最大相似度不大于相似度阈值,则确定该子图像中的商品不为指定类型商品。
假设数据库存储标准商品图像1和标准商品图像2,确定子图像的第一特征信息与标准商品图像1的第二特征信息的相似度1,确定子图像的第一特征信息与标准商品图像2的第二特征信息的相似度2。若相似度2大于相似度1,则最大相似度为相似度2。若相似度2大于相似度阈值,则表示子图像中的商品与标准商品图像2中的商品比较相似,又由于标准商品图像2中的商品为指定类型商品,因此,确定子图像中的商品是于标准商品图像2中的指定类型商品。
示例性的,子图像的第一特征信息的确定方式,可以包括但不限于:获取子图像的RGB数据,并获取子图像的二值化数据;根据子图像的RGB数据和子图像的二值化数据,确定子图像的第一特征信息。当然,上述方式只是一个示例,对此确定方式不做限制,只要能够得到子图像的第一特征信息即可。
例如,可以只根据子图像的RGB数据确定子图像的第一特征信息,或者,可以只根据子图像的二值化数据确定子图像的第一特征信息。
标准商品图像的第二特征信息的确定方式,可以包括:获取标准商品图像的RGB数据,获取标准商品图像的二值化数据;根据标准商品图像的RGB数据和标准商品图像的二值化数据,确定标准商品图像的第二特征信息。当然,上述方式只是示例,对此确定方式不做限制,只要能够得到第二特征信息即可。例如,可以只根据标准商品图像的RGB数据确定标准商品图像的第二特征信息,或者,只根据标准商品图像的二值化数据确定标准商品图像的第二特征信息。
在一种可能的实施方式中,可以基于神经网络确定子图像的第一特征信息,并确定标准商品图像的第二特征信息。例如,可以将子图像输入给已训练的神经网络,以使神经网络确定子图像的第一特征信息,并输出子图像的第一特征信息。可以将标准商品图像输入给已训练的神经网络,以使神经网络确定标准商品图像的第二特征信息,并输出标准商品图像的第二特征信息。
当然,基于神经网络确定第一特征信息和第二特征信息的方式,只是一个示例,还可以采用其它方式确定第一特征信息和第二特征信息,如采用机器学习算法或深度学习算法等,确定第一特征信息和第二特征信息,对此不做限制。
以下结合具体应用场景,对步骤203的实现过程进行说明。参见图3所示,可以采用如下步骤,确定子图像中的商品是否为指定类型商品。
步骤2031,针对每个子图像,确定该子图像的第一特征信息。
例如,子图像可以包括R通道分量,G通道分量和B通道分量,可以将R通道分量,G通道分量和B通道分量作为子图像的RGB数据。
可以对子图像进行二值化处理,得到二值化图像(即mask图像),将二值化图像作为M通道分量,M通道分量作为子图像的二值化数据。
在对子图像进行二值化处理时,针对子图像中的前景区域,将前景区域的像素值置为第一取值(如1),针对子图像中的背景区域,将背景区域的像素值置为第二取值(如0),对子图像进行上述处理后,就可以得到二值化图像。
示例性的,将前景区域的像素值置为第一取值(如1),将背景区域的像素值置为第二取值(如0),实际上,就是将商品包围框内的像素值置为第一取值(如1),将商品包围框外的剩余区域的像素值置为第二取值(如0)。
综上所述,可以得到子图像的R通道分量,G通道分量,B通道分量和M通道分量,并根据R通道分量,G通道分量,B通道分量和M通道分量确定子图像的第一特征信息,即,将R通道分量,G通道分量,B通道分量和M通道分量串联起来,得到四通道数据,基于四通道数据确定第一特征信息。
示例性的,可以采用神经网络确定第一特征信息,以下对此进行说明:
在神经网络的训练过程中,可以获取大量样本图像,样本图像包括R通道分量,G通道分量,B通道分量和M通道分量,这些分量的获取方式参见子图像,在此不再赘述。将这些样本图像添加到训练集合,并将训练集合输入给神经网络。利用训练集合中的R通道分量,G通道分量,B通道分量和M通道分量,对神经网络内的各神经网络参数进行训练,对此训练过程不做限制。
在神经网络的使用过程中,可以获取子图像的R通道分量,G通道分量,B通道分量和M通道分量,并将这些分量串联起来,得到四通道数据,将四通道数据输入给已训练的神经网络,神经网络可以根据四通道数据确定子图像的第一特征信息,并输出子图像的第一特征信息,至此,得到第一特征信息。
步骤2032,针对每个标准商品图像,确定标准商品图像的第二特征信息。
例如,标准商品图像可以包括R通道分量,G通道分量和B通道分量。可以对标准商品图像进行二值化处理,得到二值化图像(即mask图像),将二值化图像作为M通道分量。将R通道分量,G通道分量,B通道分量和M通道分量串联起来,得到四通道数据,基于四通道数据确定标准商品图像的第二特征信息,第二特征信息的确定方式参见步骤2031,在此不再重复赘述。
步骤2033,针对每个子图像,确定该子图像的第一特征信息与每个标准商品图像的第二特征信息的相似度,并选取出最大相似度。例如,基于子图像的第一特征信息与每个标准商品图像的第二特征信息的相似度,可以按照相似度从高到低的顺序进行排序,基于排序结果,可以选取出最大相似度。
示例性的,关于相似度的确定方式,可以采用欧氏距离确定第一特征信息与第二特征信息的相似度,或者,可以采用余弦相似度确定第一特征信息与第二特征信息的相似度,或者,可以采用皮尔逊相关系数确定第一特征信息与第二特征信息的相似度,或者,可以采用切比雪夫距离确定第一特征信息与第二特征信息的相似度。当然,上述只是几个示例,对此确定方式不做限制。
步骤2034,若最大相似度大于相似度阈值,则可以确定该子图像中的商品为最大相似度对应的标准商品图像中的指定类型商品。若最大相似度不大于相似度阈值,则可以确定该子图像中的商品不为指定类型商品。
在上述实施例中,相似度阈值可以是根据经验配置的数值,也可以是采用某种策略确定相似度阈值,对此相似度阈值的确定方式不做限制。
在一种可能的实施方式中,可以采用如下方式确定相似度阈值:确定样本商品图像的特征信息与标准商品图像的特征信息的第一相似度;确定训练商品图像的特征信息与标准商品图像的特征信息的第二相似度;根据第一相似度和第二相似度确定相似度阈值,例如,该相似度阈值小于第一相似度,且该相似度阈值大于第二相似度。示例性的,样本商品图像中的指定类型商品与标准商品图像中的指定类型商品相同;训练商品图像未包括指定类型商品,或者,训练商品图像中的指定类型商品与标准商品图像中的指定类型商品不同。
示例性的,上述实施例已介绍标准商品图像的特征信息,针对样本商品图像的特征信息,可以获取样本商品图像的R通道分量,G通道分量,B通道分量和M通道分量,将这些分量串联起来得到四通道数据,基于四通道数据确定样本商品图像的特征信息。同理,可以得到训练商品图像的特征信息。
示例性的,为了确定相似度阈值,涉及三个类型的图像,分别记为标准商品图像,样本商品图像和训练商品图像,关于标准商品图像,在上述实施例中已经介绍,即标准商品图像是包括指定类型商品的图像,且标准商品图像中只包括一个指定类型商品,这个标准商品图像用于进行特征比对。
在后续实施例中,假设存在标准商品图像1和标准商品图像2,标准商品图像1包括指定类型商品1,标准商品图像2包括指定类型商品2。
为了确定相似度阈值,可以采集包括指定类型商品的商品图像,这个商品图像可能为样本商品图像,也可能为训练商品图像。假设采集包括指定类型商品1的商品图像a1,并采集包括指定类型商品2的商品图像a2,商品图像a1和商品图像a2中均包括指定类型商品,且只包括一个指定类型商品。
为了确定相似度阈值,可以采集未包括指定类型商品的商品图像,这个商品图像为训练商品图像。假设采集包括商品3的商品图像b1,商品图像b1不包括指定类型商品(即商品3不是指定类型商品),商品图像b1只包括一个商品。
在上述应用场景下,先确定商品图像a1的特征信息与标准商品图像1的特征信息的相似度11,并确定商品图像a1的特征信息与标准商品图像2的特征信息的相似度12。若相似度11大于相似度12,由于标准商品图像1包括指定类型商品1,商品图像a1包括指定类型商品1,因此,二者匹配,识别结果正确,在此情况下,商品图像a1作为样本商品图像,且相似度11作为第一相似度。
然后,确定商品图像a2的特征信息与标准商品图像1的特征信息的相似度21,并确定商品图像a2的特征信息与标准商品图像2的特征信息的相似度22。若相似度21大于相似度22,由于标准商品图像1包括指定类型商品1,商品图像a2包括指定类型商品2,因此,二者不匹配,像素点识别结果错误,在此情况下,商品图像a1作为训练商品图像,且相似度21作为第二相似度。
然后,确定商品图像b1(即训练商品图像)的特征信息与标准商品图像1的特征信息的相似度31,并确定商品图像b1的特征信息与标准商品图像2的特征信息的相似度32。若相似度31大于相似度32,则相似度31作为第二相似度。
综上所述,第一相似度包括相似度11,第二相似度包括相似度21和相似度31,因此,相似度阈值可以小于相似度11,相似度阈值可以大于相似度21,且大于相似度31。或者,相似度阈值可以小于相似度11,相似度阈值可以大于相似度21和相似度31的平均值。当然,上述只是几个示例,对此不做限制。
以下结合具体应用场景,对相似度阈值的确定过程进行说明。参见图4所示,为确定相似度阈值的一个流程示意图,该方法可以包括:
步骤401,获取标准商品图像的特征信息,检测商品图像的特征信息。
示例性的,检测商品图像可以为样本商品图像,也可以为训练商品图像。
步骤402,针对每个检测商品图像,确定该检测商品图像的特征信息与每个标准商品图像的特征信息的相似度,并选取出最大相似度。
步骤403,针对每个检测商品图像,将该检测商品图像对应的最大相似度记录到相似度集合A,或者相似度集合B,或者相似度集合C。
例如,若检测商品图像是包括指定类型商品的商品图像,如上述商品图像a1,在得到商品图像a1对应的最大相似度后,若商品图像a1中的指定类型商品与标准商品图像(即最大相似度对应的标准商品图像)中的指定类型商品相同,则将商品图像a1对应的最大相似度记录到相似度集合A中。
又例如,若检测商品图像是包括指定类型商品的商品图像,如上述商品图像a2,在得到商品图像a2对应的最大相似度后,若商品图像a2中的指定类型商品与标准商品图像(即最大相似度对应的标准商品图像)中的指定类型商品不同,则将商品图像a2对应的最大相似度记录到相似度集合B中。
又例如,若检测商品图像是不包括指定类型商品的商品图像(即训练商品图像),如上述商品图像b1,在得到商品图像b1对应的最大相似度后,则可以将商品图像b1对应的最大相似度记录到相似度集合C中。
步骤404,根据相似度集合A中的相似度,相似度集合B中的相似度,相似度集合C中的相似度,确定相似度阈值。例如,相似度阈值小于相似度集合A中的相似度(如相似度集合A中所有相似度的平均值),相似度阈值大于相似度集合B中的相似度(如相似度集合B中所有相似度的平均值),相似度阈值大于相似度集合C中的相似度(如相似度集合C中所有相似度的平均值)。
综上所述,相似度集合A中的相似度,表示已经准确识别的相似度,相似度集合B中的相似度,表示错误识别的相似度,相似度集合C中的相似度,表示错误识别的相似度,因此,为了保证待识别商品尽可能不被漏检或误检,则设置的相似度阈值应小于相似度集合A中的相似度,相似度阈值应大于相似度集合B中的相似度,相似度阈值应大于相似度集合C中的相似度。
在一种可能的实施方式中,可以计算相似度集合A中所有相似度的平均值sim1,并计算相似度集合B中所有相似度的平均值sim2,并计算相似度集合C中所有相似度的平均值sim3。然后,计算sim2和sim3的平均值sim4,计算sim1和sim4的平均值,并将sim1和sim4的平均值作为相似度阈值。
步骤204,根据指定类型商品的总数量确定指定类型商品的商品纯净度。
例如,在步骤203中,针对每个子图像,可以确定该子图像中的商品是否为指定类型商品,因此,在对每个子图像进行处理后,就可以获知多少个子图像中的商品是指定类型商品,多少个子图像中的商品不是指定类型商品。
综上所述,服务器可以获知指定类型商品的总数量和非指定类型商品的总数量,而指定类型商品的商品纯净度可以是:指定类型商品的总数量/(指定类型商品的总数量+非指定类型商品的总数量)。参见上述实施例,目标图像可以包括商品柜中的N个商品,且将目标图像分割成N个子图像,因此,指定类型商品的总数量与非指定类型商品的总数量的和,实际上就是数值N。
示例性的,若在商品柜安装至少两个采集设备,以两个采集设备为例进行说明,基于采集设备1的目标图像,服务器可以获知指定类型商品的总数量a1和所有商品的总数量b1,基于采集设备2的目标图像,服务器可以获知指定类型商品的总数量a2和所有商品的总数量b2,基于此,可以确定指定类型商品的商品纯净度是:(总数量a1+总数量a2)/(总数量b1+总数量b2)。
由以上技术方案可见,本申请实施例中,可以将目标图像分割成N个子图像,每个子图像包括一个商品,根据子图像的第一特征信息和标准商品图像的第二特征信息,确定子图像中的商品是否为指定类型商品,从而能够自动获取商品柜中指定类型商品的总数量,根据指定类型商品的总数量确定指定类型商品的商品纯净度,根据商品纯净度分析商品柜的使用情况,继而对商品柜的使用情况进行监控,促使卖家按照规定在商品柜中摆放指定类型商品,保证品牌商的利益。上述方式能够利用智能算法和图像处理技术实现商品柜的商品纯净度自动检测,实现无人化管理,提高检测准确率,同时节省了人力资源。自动获取角度更优的图像进行分析,减少人工作业,在零售相关领域应用前景广泛。
在步骤201中,需要确定原始图像中的商品是否被遮挡,在一种可能的实施方式中,为了确定原始图像中的商品是否被遮挡,还可以采用图5所示的流程,当然,图5只是一个示例,还可以采用其它方式,对此不做限制。
步骤501,根据原始图像和基准图像确定变化区域图像。
示例性的,基准图像是商品柜中未包括商品时采集到的图像。例如,在商品柜出厂时,采集设备可以采集针对商品柜的图像,将该图像记为基准图像。例如,当柜门打开至与柜体的夹角为目标角度时,柜门上安装的摄像头可以采集基准图像。由于商品柜中没有放置任何商品,因此,基准图像不包括商品。
在商品柜出厂后,采集设备可以采集原始图像,该原始图像可以包括N个商品,原始图像的采集过程参见上述实施例,在此不再赘述。
综上所述,服务器可以从采集设备获取到原始图像和基准图像,并根据原始图像和基准图像确定变化区域图像。例如,可以对原始图像与基准图像进行做差处理,得到变化区域图像(mask_base)。比如说,针对变化区域图像中的像素值,可以是原始图像中的像素值与基准图像中的像素值的差值。
步骤502,将原始图像分割成N个子图像,每个子图像包括一个商品。
例如,服务器可以将原始图像输入给已训练的神经网络,以使神经网络依次遍历该原始图像的每个待检测区域,并确定该待检测区域的商品特征是否对应有商品标签值,如果是,则可以将该待检测区域分割为一个子图像。
示例性的,在神经网络的训练过程中,可以将训练集合输入给神经网络,训练集合包括多个样本图像,样本图像包括商品柜中的至少一个商品,每个商品具有包围框区域,包围框区域设置有商品标签值,以使神经网络根据训练集合进行训练,得到包围框区域的商品特征与商品标签值的映射关系。
示例性的,将原始图像分割成N个子图像的方式,可以参见步骤202,与步骤202不同的是,在步骤202中,是针对目标图像分割成N个子图像,而在步骤502中,是针对原始图像分割成N个子图像,对此不再赘述。
示例性的,N个子图像可以记为mask1,mask2,mask3,…,maskn。
步骤503,确定原始图像的N个子图像对应的组合区域图像。
例如,可以将mask1,mask2,mask3,…,maskn等N个子图像组合在一起,得到组合区域图像,即组合区域图像包括mask1,mask2,mask3,…,maskn。
步骤504,确定变化区域图像与组合区域图像的交并比。
示例性的,在得到变化区域图像和组合区域图像后,可以确定变化区域图像与组合区域图像的IOU(Intersection-over-Union,交并比),IOU表示变化区域图像与组合区域图像的交叠率,是变化区域图像与组合区域图像的交集,以及,变化区域图像与组合区域图像的并集之间的比值,对此确定方式不做限制。
步骤505,根据该交并比确定原始图像中的商品是否被遮挡。
示例性的,若该交并比小于某一预设阈值(如0.8等,对此预设阈值不做限制),则表示原始图像与基准图像相比有变化区域,但该变化区域中为商品区域的占比很小,即非商品区域的占比较大,因此,认为原始图像内存在其它非商品的遮挡干扰,从而判断出原始图像中的商品被遮挡。例如,若变化区域图像(mask_base)大于0(用于表示原始图像与基准图像相比有变化区域),且该交并比小于某一预设阈值,则确定原始图像中的商品被遮挡。
基于与上述方法同样的申请构思,本申请实施例提出一种商品纯净度的确定装置,如图6所示,为所述商品纯净度的确定装置的结构图,所述装置包括:
获取模块61,用于获取目标图像,所述目标图像包括商品柜中的N个商品;分割模块62,用于将目标图像分割成N个子图像,每个子图像包括一个商品;确定模块63,用于针对每个子图像,根据所述子图像的第一特征信息和标准商品图像的第二特征信息,确定所述子图像中的商品是否为指定类型商品;其中,所述标准商品图像是预先存储的,且所述标准商品图像包括指定类型商品;以及,根据指定类型商品的总数量确定所述指定类型商品的商品纯净度。
所述分割模块62将所述目标图像分割成N个子图像时具体用于:
将所述目标图像输入给已训练的神经网络,以使所述神经网络依次遍历所述目标图像的每个待检测区域,并确定所述待检测区域的商品特征是否对应有商品标签值,如果是,则将所述待检测区域分割为一个子图像;
其中,在神经网络的训练过程中,将训练集合输入给神经网络,所述训练集合包括多个样本图像,所述样本图像包括商品柜中的至少一个商品,每个商品具有包围框区域,所述包围框区域设置有商品标签值,以使神经网络根据所述训练集合进行训练,得到包围框区域的商品特征与商品标签值的映射关系。
所述确定模块63根据所述子图像的第一特征信息和标准商品图像的第二特征信息,确定所述子图像中的商品是否为指定类型商品时具体用于:
若预先存储的标准商品图像的数量为至少两个,确定所述子图像的第一特征信息与每个标准商品图像的第二特征信息的相似度;
若确定出的最大相似度大于相似度阈值,则确定所述子图像中的商品为所述最大相似度对应的标准商品图像中的指定类型商品。
所述确定模块63确定所述子图像的第一特征信息时具体用于:
获取所述子图像的RGB数据,获取所述子图像的二值化数据;根据所述子图像的RGB数据和所述子图像的二值化数据,确定所述子图像的第一特征信息;
在确定所述标准商品图像的第二特征信息时具体用于:获取标准商品图像的RGB数据,获取标准商品图像的二值化数据;根据标准商品图像的RGB数据和标准商品图像的二值化数据,确定所述标准商品图像的第二特征信息。
所述确定模块63确定所述相似度阈值时具体用于:
确定样本商品图像的特征信息与标准商品图像的特征信息的第一相似度;
确定训练商品图像的特征信息与标准商品图像的特征信息的第二相似度;
根据所述第一相似度和所述第二相似度确定所述相似度阈值,所述相似度阈值小于所述第一相似度,所述相似度阈值大于所述第二相似度;
其中,所述样本商品图像中的指定类型商品与所述标准商品图像中的指定类型商品相同;所述训练商品图像未包括指定类型商品,或者,所述训练商品图像中的指定类型商品与所述标准商品图像中的指定类型商品不同。
所述获取模块61获取目标图像时具体用于:从采集设备获取原始图像,所述原始图像包括商品柜中的N个商品;确定所述原始图像中的商品是否被遮挡;
如果否,则将所述原始图像确定为所述目标图像;
如果是,则通知所述采集设备重新获取原始图像。
所述获取模块61确定所述原始图像中的商品是否被遮挡时具体用于:
根据所述原始图像和基准图像确定变化区域图像;其中,所述基准图像是所述商品柜中未包括商品时采集到的图像;将所述原始图像分割成N个子图像,每个子图像包括一个商品,并确定所述N个子图像对应的组合区域图像;
确定所述变化区域图像与所述组合区域图像的交并比;
根据所述交并比确定所述原始图像中的商品是否被遮挡。
基于与上述方法同样的申请构思,本申请实施例中还提出一种服务器,本申请实施例提供的服务器,从硬件层面而言,服务器的硬件架构示意图可以参见图7所示。服务器可以包括:处理器71和机器可读存储介质72,所述机器可读存储介质72存储有能够被所述处理器71执行的机器可执行指令;所述处理器71用于执行机器可执行指令,以实现本申请上述示例公开的方法。
例如,处理器71用于执行机器可执行指令,以实现如下步骤:
获取目标图像,所述目标图像包括商品柜中的N个商品,N为正整数;
将所述目标图像分割成N个子图像,每个子图像包括一个商品;
针对每个子图像,根据所述子图像的第一特征信息和标准商品图像的第二特征信息,确定所述子图像中的商品是否为指定类型商品;其中,所述标准商品图像是预先存储的,且所述标准商品图像包括指定类型商品;
根据指定类型商品的总数量确定所述指定类型商品的商品纯净度。
基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,其中,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,能够实现本申请上述示例公开的方法。
例如,所述计算机指令被处理器执行时,能够实现如下步骤:
获取目标图像,所述目标图像包括商品柜中的N个商品,N为正整数;
将所述目标图像分割成N个子图像,每个子图像包括一个商品;
针对每个子图像,根据所述子图像的第一特征信息和标准商品图像的第二特征信息,确定所述子图像中的商品是否为指定类型商品;其中,所述标准商品图像是预先存储的,且所述标准商品图像包括指定类型商品;
根据指定类型商品的总数量确定所述指定类型商品的商品纯净度。
示例性的,上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种商品纯净度的确定方法,其特征在于,所述方法包括:
获取目标图像,所述目标图像包括商品柜中的N个商品,N为正整数;
将所述目标图像分割成N个子图像,每个子图像包括一个商品;
针对每个子图像,根据所述子图像的第一特征信息和标准商品图像的第二特征信息,确定所述子图像中的商品是否为指定类型商品;其中,所述标准商品图像是预先存储的,且所述标准商品图像包括指定类型商品;
根据指定类型商品的总数量确定所述指定类型商品的商品纯净度。
2.根据权利要求1所述的方法,其特征在于,
所述将所述目标图像分割成N个子图像,包括:
将所述目标图像输入给已训练的神经网络,以使所述神经网络依次遍历所述目标图像的每个待检测区域,并确定所述待检测区域的商品特征是否对应有商品标签值,如果是,则将所述待检测区域分割为一个子图像;
其中,在神经网络的训练过程中,将训练集合输入给神经网络,所述训练集合包括多个样本图像,所述样本图像包括商品柜中的至少一个商品,每个商品具有包围框区域,所述包围框区域设置有商品标签值,以使神经网络根据所述训练集合进行训练,得到包围框区域的商品特征与商品标签值的映射关系。
3.根据权利要求1所述的方法,其特征在于,
所述根据所述子图像的第一特征信息和标准商品图像的第二特征信息,确定所述子图像中的商品是否为指定类型商品,包括:
若预先存储的标准商品图像的数量为至少两个,确定所述子图像的第一特征信息与每个标准商品图像的第二特征信息的相似度;
若确定出的最大相似度大于相似度阈值,则确定所述子图像中的商品为所述最大相似度对应的标准商品图像中的指定类型商品。
4.根据权利要求1或者3所述的方法,其特征在于,
所述子图像的第一特征信息的确定方式,包括:
获取所述子图像的RGB数据,获取所述子图像的二值化数据;根据所述子图像的RGB数据和所述子图像的二值化数据,确定所述子图像的第一特征信息;
所述标准商品图像的第二特征信息的确定方式,包括:获取标准商品图像的RGB数据,获取标准商品图像的二值化数据;根据标准商品图像的RGB数据和标准商品图像的二值化数据,确定所述标准商品图像的第二特征信息。
5.根据权利要求3所述的方法,其特征在于,
所述相似度阈值的确定方式,包括:
确定样本商品图像的特征信息与标准商品图像的特征信息的第一相似度;
确定训练商品图像的特征信息与标准商品图像的特征信息的第二相似度;
根据所述第一相似度和所述第二相似度确定所述相似度阈值,所述相似度阈值小于所述第一相似度,所述相似度阈值大于所述第二相似度;
其中,所述样本商品图像中的指定类型商品与所述标准商品图像中的指定类型商品相同;所述训练商品图像未包括指定类型商品,或者,所述训练商品图像中的指定类型商品与所述标准商品图像中的指定类型商品不同。
6.根据权利要求1所述的方法,其特征在于,所述获取目标图像包括:
从采集设备获取原始图像,所述原始图像包括商品柜中的N个商品;
确定所述原始图像中的商品是否被遮挡;
如果否,则将所述原始图像确定为所述目标图像;
如果是,则通知所述采集设备重新获取原始图像。
7.根据权利要求6所述的方法,其特征在于,
所述确定所述原始图像中的商品是否被遮挡,包括:
根据所述原始图像和基准图像确定变化区域图像;其中,所述基准图像是所述商品柜中未包括商品时采集到的图像;
将所述原始图像分割成N个子图像,每个子图像包括一个商品,并确定所述N个子图像对应的组合区域图像;
确定所述变化区域图像与所述组合区域图像的交并比;
根据所述交并比确定所述原始图像中的商品是否被遮挡。
8.根据权利要求6所述的方法,其特征在于,
所述采集设备安装在所述商品柜的柜门处,所述采集设备包括摄像头和传感器;当所述传感器感知到所述商品柜被打开至目标角度时,向所述摄像头发送触信号;所述摄像头在接收到所述触发信号时,采集所述原始图像。
9.一种商品纯净度的确定装置,其特征在于,所述装置包括:
获取模块,用于获取目标图像,所述目标图像包括商品柜中的N个商品;
分割模块,用于将目标图像分割成N个子图像,每个子图像包括一个商品;
确定模块,用于针对每个子图像,根据所述子图像的第一特征信息和标准商品图像的第二特征信息,确定所述子图像中的商品是否为指定类型商品;其中,所述标准商品图像是预先存储的,且所述标准商品图像包括指定类型商品;以及,根据指定类型商品的总数量确定所述指定类型商品的商品纯净度。
10.一种服务器,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现如下的步骤:
获取目标图像,所述目标图像包括商品柜中的N个商品,N为正整数;
将所述目标图像分割成N个子图像,每个子图像包括一个商品;
针对每个子图像,根据所述子图像的第一特征信息和标准商品图像的第二特征信息,确定所述子图像中的商品是否为指定类型商品;其中,所述标准商品图像是预先存储的,且所述标准商品图像包括指定类型商品;
根据指定类型商品的总数量确定所述指定类型商品的商品纯净度。
CN202010239564.6A 2020-03-30 2020-03-30 一种商品纯净度的确定方法、装置及设备 Active CN113468914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010239564.6A CN113468914B (zh) 2020-03-30 2020-03-30 一种商品纯净度的确定方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010239564.6A CN113468914B (zh) 2020-03-30 2020-03-30 一种商品纯净度的确定方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113468914A true CN113468914A (zh) 2021-10-01
CN113468914B CN113468914B (zh) 2023-08-29

Family

ID=77866032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010239564.6A Active CN113468914B (zh) 2020-03-30 2020-03-30 一种商品纯净度的确定方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113468914B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114582067A (zh) * 2022-03-09 2022-06-03 安徽李小画数字文化创意软件有限公司 一种基于图像识别技术的大数据分类统计方法
CN115063613A (zh) * 2022-08-09 2022-09-16 海纳云物联科技有限公司 一种验证商品标签的方法及装置
WO2023130450A1 (zh) * 2022-01-10 2023-07-13 烟台创迹软件有限公司 标准图像取得方法、标准图像取得装置以及货架分配推测方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090033745A1 (en) * 2002-02-06 2009-02-05 Nice Systems, Ltd. Method and apparatus for video frame sequence-based object tracking
JP2009128870A (ja) * 2007-11-28 2009-06-11 Sony Corp El表示パネル及び電子機器
JP2009204591A (ja) * 2008-02-29 2009-09-10 Hitachi Ltd ナビゲーション装置
CN103886286A (zh) * 2014-03-11 2014-06-25 奇瑞汽车股份有限公司 车辆的检测方法及装置
CN107341490A (zh) * 2017-07-17 2017-11-10 华中科技大学 一种基于凸包分析的遮挡车辆检测方法和系统
US20180089505A1 (en) * 2016-09-23 2018-03-29 Samsung Electronics Co., Ltd. System and method for deep network fusion for fast and robust object detection
CN108010034A (zh) * 2016-11-02 2018-05-08 广州图普网络科技有限公司 商品图像分割方法及装置
CN108564067A (zh) * 2018-04-28 2018-09-21 深圳卡安兴科技有限公司 人脸比对的阈值确定方法及系统
CN108596187A (zh) * 2018-03-30 2018-09-28 青岛海尔智能技术研发有限公司 商品纯净度检测方法及展示柜
CN110188641A (zh) * 2019-05-20 2019-08-30 北京迈格威科技有限公司 图像识别和神经网络模型的训练方法、装置和系统
WO2019184646A1 (zh) * 2018-03-27 2019-10-03 合肥美的智能科技有限公司 货品识别方法及装置、货柜
CN110321797A (zh) * 2019-05-31 2019-10-11 苏宁云计算有限公司 商品识别方法和装置
CN110458094A (zh) * 2019-08-09 2019-11-15 国家计算机网络与信息安全管理中心 基于指纹相似度的设备分类方法
US20200021742A1 (en) * 2018-07-10 2020-01-16 Boe Technology Group Co., Ltd. Monitoring method for goods shelf, monitoring system for goods shelf and goods shelf

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090033745A1 (en) * 2002-02-06 2009-02-05 Nice Systems, Ltd. Method and apparatus for video frame sequence-based object tracking
JP2009128870A (ja) * 2007-11-28 2009-06-11 Sony Corp El表示パネル及び電子機器
JP2009204591A (ja) * 2008-02-29 2009-09-10 Hitachi Ltd ナビゲーション装置
CN103886286A (zh) * 2014-03-11 2014-06-25 奇瑞汽车股份有限公司 车辆的检测方法及装置
US20180089505A1 (en) * 2016-09-23 2018-03-29 Samsung Electronics Co., Ltd. System and method for deep network fusion for fast and robust object detection
CN108010034A (zh) * 2016-11-02 2018-05-08 广州图普网络科技有限公司 商品图像分割方法及装置
CN107341490A (zh) * 2017-07-17 2017-11-10 华中科技大学 一种基于凸包分析的遮挡车辆检测方法和系统
WO2019184646A1 (zh) * 2018-03-27 2019-10-03 合肥美的智能科技有限公司 货品识别方法及装置、货柜
CN108596187A (zh) * 2018-03-30 2018-09-28 青岛海尔智能技术研发有限公司 商品纯净度检测方法及展示柜
CN108564067A (zh) * 2018-04-28 2018-09-21 深圳卡安兴科技有限公司 人脸比对的阈值确定方法及系统
US20200021742A1 (en) * 2018-07-10 2020-01-16 Boe Technology Group Co., Ltd. Monitoring method for goods shelf, monitoring system for goods shelf and goods shelf
CN110188641A (zh) * 2019-05-20 2019-08-30 北京迈格威科技有限公司 图像识别和神经网络模型的训练方法、装置和系统
CN110321797A (zh) * 2019-05-31 2019-10-11 苏宁云计算有限公司 商品识别方法和装置
CN110458094A (zh) * 2019-08-09 2019-11-15 国家计算机网络与信息安全管理中心 基于指纹相似度的设备分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘德阳: ""票据中的笔迹自动鉴定技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 02, pages 37 - 38 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023130450A1 (zh) * 2022-01-10 2023-07-13 烟台创迹软件有限公司 标准图像取得方法、标准图像取得装置以及货架分配推测方法
CN114582067A (zh) * 2022-03-09 2022-06-03 安徽李小画数字文化创意软件有限公司 一种基于图像识别技术的大数据分类统计方法
CN115063613A (zh) * 2022-08-09 2022-09-16 海纳云物联科技有限公司 一种验证商品标签的方法及装置
CN115063613B (zh) * 2022-08-09 2023-07-14 海纳云物联科技有限公司 一种验证商品标签的方法及装置

Also Published As

Publication number Publication date
CN113468914B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
US20220198550A1 (en) System and methods for customer action verification in a shopping cart and point of sales
CN111415461B (zh) 物品识别方法及系统、电子设备
US11216868B2 (en) Computer vision system and method for automatic checkout
CN109271847B (zh) 无人结算场景中异常检测方法、装置及设备
CN113468914B (zh) 一种商品纯净度的确定方法、装置及设备
CN108345912A (zh) 一种基于rgbd信息与深度学习的商品快速结算系统
US20200387865A1 (en) Environment tracking
CN112184751B (zh) 物体识别方法及系统、电子设备
CN114898249A (zh) 用于购物车内商品数量确认的方法、系统及存储介质
JP2023504871A (ja) 不正検出システムおよび方法
CN111260685B (zh) 视频处理方法、装置及电子设备
US20060066719A1 (en) Method for finding paths in video
CN111428743A (zh) 商品识别方法、商品处理方法、装置及电子设备
CN117523273A (zh) 一种确定物品空间位置的方法、装置及电子设备
WO2021091481A1 (en) System for object identification and content quantity estimation through use of thermal and visible spectrum images
US20210201431A1 (en) Dynamically controlled cameras for computer vision monitoring
JP2022036983A (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
CN116935283A (zh) 一种风险识别方法、装置及设备
CN116503810A (zh) 一种安全监控视频目标检测方法及相关装置
CN117354449A (zh) 基于动态视觉的商品识别方法、系统、设备及存储介质
CN112990012A (zh) 一种遮挡条件下的工装颜色识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant