CN108898104A - 一种物品识别方法、装置、系统及计算机存储介质 - Google Patents

一种物品识别方法、装置、系统及计算机存储介质 Download PDF

Info

Publication number
CN108898104A
CN108898104A CN201810699572.1A CN201810699572A CN108898104A CN 108898104 A CN108898104 A CN 108898104A CN 201810699572 A CN201810699572 A CN 201810699572A CN 108898104 A CN108898104 A CN 108898104A
Authority
CN
China
Prior art keywords
shelf
customer
image information
information
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810699572.1A
Other languages
English (en)
Inventor
徐子尧
李云锴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201810699572.1A priority Critical patent/CN108898104A/zh
Publication of CN108898104A publication Critical patent/CN108898104A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种物品识别方法、装置、系统及计算机存储介质。所述物品识别方法包括：获取货架的实时图像信息；根据货架的实时图像信息和建立好的货架模型检测货架前面是否有顾客；若没有顾客则继续获取货架的实时图像信息；若有顾客，则监测顾客是否离开；若顾客已经离开则基于顾客来之前和离开后的图像信息判断货架上的物品变化信息。根据本发明的方法、装置、系统及计算机存储介质，分析货架前人员的流动情况，并在发生人员流动之后对货架上的物品进行分析，判断货架上的物品数量的增减，从而实现拿放物品的识别，具有很高的鲁棒性。

Description

一种物品识别方法、装置、系统及计算机存储介质
技术领域
本发明涉及物品识别技术领域，更具体地涉及一种物品拿放识别方法及装置。
背景技术
随着社会的不断发展，售货的方式也在不断变化。然而，目前的售货柜多是利用射频识别技术识别货品和控制损耗，射频识别技术本身有缺陷，成本高、性能不稳定。目前，现有技术中出现了建立在对室内监控视频进行分析的诸多应用，包括用于智慧零售系统。智慧零售系统需要对商店内顾客进行一系列的分析，包括ID识别、轨迹跟踪、行为识别等。其中，行为识别主要用来捕捉顾客拿放物品的动作，为了完成这个任务，现有的技术主要以针对人的动作识别为主。针对人拿放物品的动作识别，经常受限于摄像头角度，导致没有任何摄像头可以捕捉到拿放物品的动作，从而对算法提出了巨大的挑战。
因此，有必要提出一种更好的判断货架上的物品数量的增减，从而实现拿放物品的识别的方法。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种物品识别方法、装置、系统及计算机存储介质，通过对准货架的摄像头，捕捉货架的视频信息，分析货架前人员的流动情况，应对顾客拿放物品时的各种动作、各种姿态，并在发生人员流动之后对货架上的物品进行分析，判断货架上的物品数量的增减，从而实现拿放物品的识别，具有很高的鲁棒性。
根据本发明一方面，提供了一种物品识别方法，所述方法包括：
获取货架的实时图像信息；
根据所述货架的实时图像信息和建立好的货架模型检测货架前面是否有顾客；
若没有顾客则继续获取货架的实时图像信息；若有顾客，则监测顾客是否离开；
若所述顾客已经离开则基于顾客来之前和离开后的图像信息判断货架上的物品变化信息。
示例性地，所述检测货架前面是否有顾客包括计算所述货架的实时图像信息中的货架部分与所述货架模型的差值，当差值高于遮挡阈值时，判断所述货架前处于遮挡状态即货架前面有顾客。
示例性地，所述监测顾客是否离开包括当所述货架的实时图像信息中货架部分重新与所述货架模型匹配时，判断所述顾客已经离开。
示例性地，所述匹配包括：所述货架的实时图像信息中的货架部分与所述货架模型的差值不超过遮挡阈值时，判断所述货架前处于非遮挡状态即货架前面的顾客已经离开。
示例性地，所述判断货架上的物品变化信息包括：判断所述货架上的物品数量变化和/或所述货架上的发生变化的物品种类。
示例性地，所述顾客来之前的货架图像信息包括确定货架前面有顾客的时间之前第一预设时间内的货架图像信息。
示例性地，所述顾客离开后的货架图像信息包括确定顾客已经离开的时间之后第二预设时间内的货架图像信息。
示例性地，判断所述货架上的物品数量变化包括：将所述顾客来之前和若干离开后的图像信息组成若干图像对，采用神经网络模型进行计算，得到计算结果；根据所述计算结果得到所述货架上的物品数量的变化。
示例性地，判断所述货架上的发生变化的物品种类包括：将所述顾客来之前和若干离开后的图像信息组成若干图像对，对所述若干图像对中的所述顾客来之前和若干离开后的图像信息作差，得到残差图；对所述残差图进行检测，获得发生变化的物品的位置信息，与已知的货架上的物品的位置信息进行匹配，即可判断出所述货架上的发生变化的物品种类。
示例性地，所述货架上的物品的位置信息包括基于所述货架的实时图像信息得到或预先设置的货架上的物品与货架内部结构之间的对应关系。
示例性地，所述物品识别方法还包括根据所述货架的实时图像信息得到货架信息，所述货架信息包括货架的位置信息和/或货架上的物品信息。
示例性地，所述货架的位置信息包括货架的编号和/或货架内部结构的编号；所述货架上的物品信息包括物品种类信息和/或相对应的物品的位置信息。
示例性地，所述货架模型的建立方法包括基于货架图像信息和高斯模型建立稳定状态下的所述货架模型。
示例性地，所述物品识别方法还包括当检测到货架前面有顾客时，识别所述顾客的顾客信息。
根据本发明另一方面，提供了一种物品识别装置，包括：
图像获取模块，用于获取货架的实时图像信息和/或预先获取的货架图像信息；
货架模型模块，基于所述货架的实时图像信息和/或预先获取的货架图像信息，以及高斯模型建立货架模型；
顾客检测模块，用于根据所述货架的实时图像信息和所述货架模型检测货架前是否有顾客和/或顾客是否离开；
物品信息分析模块，用于根据所述顾客检测模块的检测结果和所述货架的实时图像信息，判断所述货架的物品变化信息。
示例性地，图像获取模块可以进一步地包括：
图像信息接收模块，用于接收货架的实时图像信息和/或预先获取的货架图像信息；
分帧模块，用于对所述图像信息接收模块中的视频数据进行视频图像分帧；
货架检测模块，用于对所述图像信息接收模块中的图像信息进行检测，获得货架信息。
示例性地，所述货架模型模块可以进一步地包括：高斯模型包括单高斯模型、多维高斯模型或混合高斯模型。
示例性地，所述顾客检测模块还可以进一步地包括：差值计算模块，用于计算所述货架的实时图像信息中的货架部分与所述货架模型的差值；
差值比较模块，用于比较所述差值与遮挡阈值，判断货架前面是否有顾客。
顾客行为判断模块，用于根据所述差值比较模块的结果判断顾客是来到或离开所述货架。
示例性地，所述判断货架前面是否有顾客包括当差值高于遮挡阈值时，判断所述货架前处于遮挡状态即货架前面有顾客；和/或当差值不超过遮挡阈值时，判断所述货架前处于非遮挡状态即货架前面没有顾客。
示例性地，所述判断顾客是来或离开包括若上一次所述差值比较模块判断货架前面没有顾客，当前所述差值比较模块判断货架前面有顾客则判断所述顾客是来到所述货架；和/或若上一次所述差值比较模块判断货架前面有顾客，当前所述差值比较模块判断货架前面没有顾客则判断所述顾客是离开所述货架。
示例性地，所述顾客检测模块还可以进一步地包括：顾客信息检测模块，用于当检测所述顾客来到货架时，识别所述顾客的顾客信息。
示例性地，物品信息分析模块还可以进一步地包括：
图像采集模块，用于根据所述顾客行为判断模块的结果，采集顾客来之前或离开后的货架的图像信息；
图像处理模块，用于将一张所述顾客来之前的货架的图像信息分别与若干张离开后的货架的图像信息组成若干图像对；
物品数量变化判断模块，用于基于若干所述图像对和神经网络模型进行计算，得到计算结果；根据所述计算结果得到货架上的物品数量变化。
物品种类判断模块，用于将所述若干图像对中的所述顾客来之前和若干离开后的图像信息作差，得到残差图；对所述残差图进行检测，获得发生变化的物品的位置信息，与已知的货架上的物品的位置信息进行匹配，判断出所述货架上的发生变化的物品种类。
示例性地，物品数量变化判断模块还包括根据所述计算结果的平均值与变化阈值比较或将所述计算结果进行投票以得到所述物品数量变化。
根据本发明实施例的人物品识别方法和装置，通过对准货架的摄像头，捕捉货架的视频信息，分析货架前人员的流动情况，应对顾客拿放物品时的各种动作、各种姿态，并在发生人员流动之后对货架上的物品进行分析，判断货架上的物品数量的增减，从而实现拿放物品的识别，具有很高的鲁棒性。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是用于实现根据本发明实施例的物品识别方法和装置的示例电子设备的示意性框图；
图2是根据本发明实施例的物品识别方法的示意性流程图；
图3是根据本发明实施例的物品识别装置的示意性框图；
图4是根据本发明实施例的物品识别系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。
首先，参考图1来描述用于实现本发明实施例的物品识别方法和装置的示例电子设备100。
如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108、图像传感器110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的物品识别方法和装置的示例电子设备可以被实现为诸如智能手机、平板电脑、门禁系统的视频采集端等。
下面，将参照图2描述根据本发明实施例的物品识别方法200。
首先，在步骤S210，获取货架的实时图像信息；
在步骤S220，根据所述货架的实时图像信息和建立好的货架模型检测货架前面是否有顾客；
在步骤S230，若没有顾客则继续获取货架的实时图像信息；若有顾客，则监测顾客是否离开；
最后，在步骤S240，若顾客已经离开则基于顾客来之前和离开后的图像信息判断货架上的物品变化信息。
示例性地，根据本发明实施例的物品识别方法可以在具有存储器和处理器的设备、装置或者系统中实现。
根据本发明实施例的物品识别方法可以部署在人脸图像采集端处，例如，可以部署在超市或商场的图像采集端；也可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。
替代地，根据本发明实施例的物品识别方法还可以分布地部署在服务器端(或云端)和个人终端处。例如，将采集的货架实时图像传递至服务器端(或云端)，可以在服务器端(或云端)生成实时货架图像，服务器端(或云端)将所生成的实时货架图像传递给个人终端，个人终端根据所接收的实时货架图像进行物品识别。再例如，可以在服务器端(或云端)生成实时货架图像，个人终端将图像传感器采集的视频信息以及非图像传感器采集的图像信息传递给服务器端(或云端)，然后服务器端(或云端)进物品识别。
根据本发明实施例的物品识别方法，捕捉货架的视频信息，分析货架前人员的流动情况，应对顾客拿放物品时的各种动作、各种姿态，并在发生人员流动之后对货架上的物品进行分析，判断货架上的物品数量的增减，从而实现拿放物品的识别，具有很高的鲁棒性。
根据本发明实施例，在步骤210之前还包括：将图像传感器110设置于与所述货架相对固定的位置。
示例性地，所述图像传感器110设置于货架顶部和/或侧面，以保证清晰拍摄货架以及货架上物品的图像信息。
根据本发明实施例，步骤210可以进一步地包括：根据所述货架的实时图像信息得到货架信息，所述货架信息包括货架的位置信息和/或货架上的物品信息。。
示例性地，所述货架的位置信息包括货架的编号和/或货架内部结构的编号和/或货架之间的相对位置；所述货架上的物品信息包括物品种类信息和/或相对应的物品的位置信息。
示例性地，所述货架上的物品的位置信息包括基于所述货架的实时图像信息得到或预先设置的货架上的物品与货架内部结构之间的对应关系。
示例性地，得到所述货架信息还包括基于所述货架的实时图像信息，通过人工方法或检测方法得到所述货架信息。
根据本发明实施例，步骤220可以进一步地包括：所述货架模型的建立方法包括基于货架图像信息和高斯模型建立稳定状态下的所述货架模型。
示例性地，所述货架图像信息包括所述货架的实时图像信息和/或预先获取的货架图像信息。
示例性地，高斯模型包括单高斯模型、多维高斯模型或混合高斯模型。在一个实施例中，以混合高斯模型为例说明所述货架模型的建立过程，具体如下：
设图像中位置为(x0,y0)的像素点在一段时间内的观测值为：
利用多个高斯分布对式(1)中的观测值进行建模，可以得到当前像素点的颜色值概率为：
其中，K为高斯分布的个数(通常取3-5)；ωi,t为权重的估计值，即t时刻该像素点属于第i个高斯分布的可能性的大小；μi,t为t时刻第i个高斯分布的均值；Σi,t为第i个高斯分布的协方差矩阵；η为高斯分布概率密度函数：
为了计算简便，假定像素点颜色值的三个分量(R,G,B)相互独立，并且具有相同的方差，则式(3)中的协方差矩阵可以写为：
这样，就建立起了被观察像素点(x0,y0)颜色值的高斯混合模型。对于输入图像中的像素点(x0,y0,t)，将它的颜色值与已存在的K个高斯分布相比较，判断其是否和已经存在的高斯分布相匹配，如果匹配，则该像素点为背景点。所谓“匹配”，即满足如下式(5)。
|Xt-μi，t-1|＜TH×σi，t-1， 式(5)
其中，μi,t-1为第i个高斯分布在t-1时刻的均值，TH通常取2.5，σi,t-1为第i个高斯分布在t-1时刻的标准偏差。
如果没有找到匹配的高斯分布，则将输入像素的颜色值作为均值，建立一个新的高斯分布，代替之前K个高斯分布中概率最小、权重最低的分布，该分布具有较大的方差和较低的权重，从而重新建立背景模型。
如果存在匹配的高斯分布，则背景模型中各个参数进行如下更新：
ωk，t＝(1-α)ωk，t-1+α(Mk，t)， 式(6)
μt＝(1-ρ)μt-1+ρXt，
式(7)
其中，α是模型学习速率，1/α表征了模型参数变化的速率；对于匹配的高斯分布Mk,t为1，其余不匹配的高斯分布，Mk,t为0；式(7)和式(8)只针对于匹配的高斯分布，其余不匹配的高斯分布对应的参数保持不变；ρ为参数学习速率，定义为：
ρ＝αη(Xt|μk，σk)， 式(9)
这样，通过式(6)-式(9)，就实现了高斯混合模型的更新。那么，更新后的高斯混合模型即为所述货架模型。
在另一个实施例中，以单高斯模型为例说明所述货架模型的建立过程，具体如下：单高斯背景模型中，对一个货架的图像信息，特定像素亮度的分布满足高斯分布，即对货架的图像信息B，每一个点(x,y)的亮度满足B(x,y)～N(u,d)：
即每一个点(x,y)都包含了两个属性，均值u和方差d；计算一段时间内的视频序列图像中每一个点的均值u和方差d，作为背景模型。对于一幅包含前景的任意图像G，对于图像上的每一个点(x,y)计算，若：(T为一个常数阈值)，则认为该点是背景点，否则为前景点。接下来就背景的更新，每一帧图像都参与背景的更新：
Bt(x,y)＝p*Bt-1(x,y)+(1-p)*Gt(x,y)
其中，p为一个常数，用来反映背景更新率，p越大，背景更新的越慢。一般情况下，背景更新后d的变化很小，所以在更新背景以后一般不再更新d。也就是说，更新后的背景模型即为所述货架模型。
步骤220还可以进一步地包括：检测货架前面是否有顾客包括计算所述货架的实时图像信息中的货架部分与所述货架模型的差值，当差值高于遮挡阈值时，判断所述货架前处于遮挡状态即货架前面有顾客。
步骤220还可以进一步地包括：当所述货架前面有顾客时，识别所述顾客的顾客信息。
示例性地，识别所述顾客信息的方法包括：人脸识别或行人ReID。
示例性地，所述顾客信息包括：顾客ID和/或姓名和/或联系方式和/或顾客的面部特征信息。
根据本发明实施例，步骤230可以进一步地包括：所述判断顾客是否离开包括当所述货架的实时图像信息中货架部分重新与所述货架模型匹配时，判断所述顾客已经离开。
示例性地，所述匹配包括：所述货架的实时图像信息中的货架部分与所述货架模型的差值不超过遮挡阈值时，判断所述货架前处于非遮挡状态即货架前面的顾客已经离开。
根据本发明实施例，步骤240可以进一步地包括：所述顾客来之前的货架图像信息包括确定货架前面有顾客的时间之前第一预设时间内的货架图像信息；和/或所述顾客离开后的货架图像信息包括确定顾客已经离开的时间之后第二预设时间内的货架图像信息。其中，所述第一预设时间和所述第二预设时间可以相同，也可以不同，根据设计需要和实际情况进行设置。在一个实施例中，通过对确定货架前面有顾客的时间之前第一预设时间(如3min)内和/或确定顾客已经离开的时间之后第二预设时间(如5min)内的货架图像信息进行缓存，即可获取所述顾客来之前的货架图像信息和/或所述顾客离开后的货架图像信息。
根据本发明实施例，步骤240可以进一步地包括：判断货架上的物品变化信息包括：判断所述货架上的物品数量变化和/或所述货架上的发生变化的物品种类。
示例性地，所述货架上的物品数量变化包括增加、不变或减少。
示例性地，判断所述货架上的物品数量变化包括：将所述顾客来之前和若干离开后的图像信息组成若干图像对，采用神经网络模型进行计算，得到计算结果；根据所述计算结果得到所述货架上的物品数量的变化。示例性地，所述计算结果分数越高则越趋向于增加，分数越小则越趋向于减少。
示例性地，得到所述货架上的物品数量变化还包括根据所述计算结果的平均值与变化阈值比较或将所述计算结果进行投票以得到所述物品数量变化。
在一个实施例中，将所述计算结果取平均值后与变化阈值相比较，得到物品数量变化。其中，所述变化阈值包括减少阈值和增加阈值，所述平均值大于所述增加阈值则所述变化为增加，所述平均值小于所述减少阈值则所述变化为减少，所述平均值超过所述减少阈值且不超过所述增加阈值则所述变化为不变。
在一个实施例中，得到所述货架上的物品数量变化还包括对所述计算结果进行投票，当所述计算结果大于所述增加阈值则第一计数器M1加1；当所述计算结果小于所述减少阈值则第二计数器M2加1；当所述计算结果超过所述减少阈值且不超过所述增加阈值则第三计数器M3加1；比较所述M1、M2、M3的大小，若M1最大则述变化为增加，若M2最大则述变化为减小，若M3最大则述变化为不变。
示例性地，判断所述货架上的发生变化的物品种类包括：所述若干图像对中的所述顾客来之前和若干离开后的图像信息的RGB三通道的值作差，得到残差图；对所述残差图进行检测，获得发生变化的物品的位置信息，与已知的货架上的物品的位置信息进行匹配，即可判断出所述货架上的发生变化的物品种类。
示例性地，检测所述残差图的方法包括：目标检测算法，如Faster RCNN、SSD等。
图3示出了根据本发明实施例的物品识别装置300的示意性框图。
如图3所示，根据本发明实施例的物品识别装置300包括图像获取模块310、货架模型模块320、顾客检测模块330、物品信息分析模块340。
图像获取模块310，用于获取货架的实时图像信息和/或预先获取的货架图像信息；
货架模型模块320，基于所述货架的实时图像信息和/或预先获取的货架图像信息，以及高斯模型建立货架模型；
顾客检测模块330，用于根据所述货架的实时图像信息和所述货架模型检测货架前是否有顾客和/或顾客是否离开；
物品信息分析模块340，用于根据所述顾客检测模块330的检测结果和所述货架的实时图像信息，判断所述货架的物品变化信息。
根据本发明实施例的物品识别装置300，通过对准货架的摄像头，捕捉货架的视频信息，分析货架前人员的流动情况，应对顾客拿放物品时的各种动作、各种姿态，并在发生人员流动之后对货架上的物品进行分析，判断货架上的物品数量的增减，从而实现拿放物品的识别，具有很高的鲁棒性。
根据本发明实施例，所述图像获取模块310可以进一步地包括：
图像信息接收模块，用于接收货架的实时图像信息和/或预先获取的货架图像信息；
分帧模块，用于对所述图像信息接收模块中的视频数据进行视频图像分帧。
示例性地，所述图像获取模块310还可以进一步地包括货架检测模块，用于对所述图像信息接收模块中的图像信息进行检测，获得货架信息。
所述货架信息包括货架的位置信息和/或货架上的物品信息。。
示例性地，所述货架的位置信息包括货架的编号和/或货架内部结构的编号和/或货架之间的相对位置；所述货架上的物品信息包括物品种类信息和/或相对应的物品的位置信息。
示例性地，所述货架上的物品的位置信息包括基于所述货架的实时图像信息得到或预先设置的货架上的物品与货架内部结构之间的对应关系
示例性地，获得所述货架信息还包括基于所述货架的实时图像信息，通过人工方法或检测方法得到所述货架信息。
根据本发明实施例，所述货架模型模块320可以进一步地包括：高斯模型包括单高斯模型、多维高斯模型或混合高斯模型。
根据本发明实施例，所述顾客检测模块330还可以进一步地包括：差值计算模块，用于计算所述货架的实时图像信息中的货架部分与所述货架模型的差值；
差值比较模块，用于比较所述差值与遮挡阈值，判断货架前面是否有顾客。
顾客行为判断模块，用于根据所述差值比较模块的结果判断顾客是来到或离开所述货架。
示例性地，所述判断货架前面是否有顾客包括当差值高于遮挡阈值时，判断所述货架前处于遮挡状态即货架前面有顾客；和/或当差值不超过遮挡阈值时，判断所述货架前处于非遮挡状态即货架前面没有顾客。
示例性地，所述判断顾客是来或离开包括若上一次所述差值比较模块判断货架前面没有顾客，当前所述差值比较模块判断货架前面有顾客则判断所述顾客是来到所述货架；和/或若上一次所述差值比较模块判断货架前面有顾客，当前所述差值比较模块判断货架前面没有顾客则判断所述顾客是离开所述货架。
所述顾客检测模块330还可以进一步地包括：顾客信息检测模块，用于当检测所述顾客来到货架时，识别所述顾客的顾客信息。
示例性地，识别所述顾客信息的方法包括：人脸识别或行人ReID。
示例性地，所述顾客信息包括：顾客ID和/或姓名和/或联系方式和/或顾客的面部特征信息。
根据本发明实施例，物品信息分析模块340还可以进一步地包括：
图像采集模块，用于根据所述顾客行为判断模块的结果，采集顾客来之前或离开后的货架的图像信息；
图像处理模块，用于将一张所述顾客来之前的货架的图像信息分别与若干张离开后的货架的图像信息组成若干图像对；
物品数量变化判断模块，用于基于若干所述图像对和神经网络模型进行计算，得到计算结果；根据所述计算结果得到货架上的物品数量变化。
物品种类判断模块，用于将所述若干图像对中的所述顾客来之前和若干离开后的图像信息作差，得到残差图；对所述残差图进行检测，获得发生变化的物品的位置信息，与已知的货架上的物品的位置信息进行匹配，判断出所述货架上的发生变化的物品种类。
示例性地，物品数量变化判断模块还包括根据所述计算结果的平均值与变化阈值比较或将所述计算结果进行投票以得到所述物品数量变化。
在一个实施例中，物品数量变化判断模块将所述计算结果取平均值后与变化阈值相比较，得到物品数量变化；其中，所述变化阈值包括减少阈值和增加阈值，所述平均值大于所述增加阈值则所述变化为增加，所述平均值小于所述减少阈值则所述变化为减少，所述平均值超过所述减少阈值且不超过所述增加阈值则所述变化为不变。
在一个实施例中，物品数量变化判断模块对所述计算结果进行投票，当所述计算结果大于所述增加阈值则第一计数器M1加1；当所述计算结果小于所述减少阈值则第二计数器M2加1；当所述计算结果超过所述减少阈值且不超过所述增加阈值则第三计数器M3加1；比较所述M1、M2、M3的大小，若M1最大则述变化为增加，若M2最大则述变化为减小，若M3最大则述变化为不变。
示例性地，物品种类判断模块还包括：采用目标检测算法(如Faster RCNN、SSD等)检测所述残差图。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
图4示出了根据本发明实施例的物品识别系统400的示意性框图。物品识别系统400包括图像传感器410、存储装置430、以及处理器440。
图像传感器410用于采集图像信息。
所述存储装置430存储用于实现根据本发明实施例的物品识别方法中的相应步骤的程序代码。
所述处理器440用于运行所述存储装置430中存储的程序代码，以执行根据本发明实施例的物品识别方法的相应步骤，并且用于实现根据本发明实施例的物品识别装置中的图像获取模块310、货架模型模块320、顾客检测模块330和物品信息分析模块340。
在一个实施例中，在所述程序代码被所述处理器440运行时执行以下步骤：
获取货架的实时图像信息；
根据所述货架的实时图像信息和建立好的货架模型检测货架前面是否有顾客；
若没有顾客则继续获取货架的实时图像信息；若有顾客，则监测顾客是否离开；
若顾客已经离开则基于顾客来之前和离开后的图像信息判断货架上的物品变化信息。
此外，在所述程序代码被所述处理器440运行时还执行以下步骤：
示例性地，所述检测货架前面是否有顾客包括计算所述货架的实时图像信息中的货架部分与所述货架模型的差值，当差值高于遮挡阈值时，确定所述货架前处于遮挡状态即货架前面有顾客。
示例性地，所述判断顾客是否离开包括当所述货架的实时图像信息中货架部分重新与所述货架模型匹配时，确定所述顾客已经离开。
示例性地，所述匹配包括：所述货架的实时图像信息中的货架部分与所述货架模型的差值不超过遮挡阈值时，判断所述货架前处于非遮挡状态即货架前面的顾客已经离开。
示例性地，其特征在于，所述顾客来之前的货架图像信息包括确定货架前面有顾客的时间之前第一预设时间内的货架图像信息。
示例性地，所述顾客离开后的货架图像信息包括确定顾客已经离开的时间之后第二预设时间内的货架图像信息。
示例性地，所述判断货架上的物品变化信息包括：判断所述货架上的物品数量变化和/或所述货架上的发生变化的物品种类。
示例性地，判断所述货架上的物品数量变化包括：将所述顾客来之前和若干离开后的图像信息组成若干图像对，采用神经网络模型进行计算，得到计算结果；根据所述计算结果得到所述货架上的物品数量的变化。
示例性地，判断所述货架上的发生变化的物品种类包括：将所述顾客来之前和若干离开后的图像信息组成若干图像对，对所述若干图像对中的所述顾客来之前和若干离开后的图像信息作差，得到残差图；对所述残差图进行检测，获得发生变化的物品的位置信息，与已知的货架上的物品的位置信息进行匹配，即可判断出所述货架上的发生变化的物品种类。
示例性地，所述货架上的物品的位置信息包括基于所述货架的实时图像信息得到或预先设置的货架上的物品与货架内部结构之间的对应关系。
示例性地，所述物品识别方法还包括根据所述货架的实时图像信息得到货架信息，所述货架信息包括货架的位置信息和/或货架上的物品信息。
示例性地，所述货架的位置信息包括货架的编号和/或货架内部结构的编号；所述货架上的物品信息包括物品种类信息和/或相对应的物品的位置信息。
示例性地，所述货架模型的建立方法包括基于货架图像信息和高斯模型建立稳定状态下的所述货架模型。
示例性地，所述物品识别方法还包括当检测到货架前面有顾客时，识别所述顾客的顾客信息。
示例性地，所述物品识别系统400还包括用于存储由图像传感器410采集的图像数据，包括视频数据和非视频数据。
示例性地，所述视频数据的存储方式可以包括以下存储方式之一：本地(local)存储、数据库存储、分布式文件系统(hdfs)存储以及远程存储，存储服务地址可以包括服务器IP和服务器端口。其中，本地存储是指将物品识别系统所接收的视频数据在系统本地；数据库存储是指将物品识别系统所接收的视频数据保存在系统的数据库中，数据库存储需要在物品识别系统上安装相应的数据库；分布式文件系统存储是指将物品识别系统所接收的视频数据保存在分布式文件系统中，分布式文件系统存储需要在物品识别系统上安装分布式文件系统；远程存储是指将物品识别系统所接收的视频数据交由其他存储服务进行存储。在其他示例中，所配置的存储方式也可以包括其他任何合适类型的存储方式，本发明对此不作限制。
示例性地，在上述对视频数据进行存取时，可以以流的形式进行。例如，可以采用二进制流的传输方式实现对视频数据的存取。所述物品识别系统400以流的形式发送文件后，存储服务获取到文件流时，开始保存文件。不同于读入内存的方式，两端的交互存取将会以流的形式快速进行，不需要等待任何一方将文件读入内存后再进行发送。同理，所述物品识别系统400从存储服务获取文件时，也是使用此种方式。存储服务将文件以流的形式传输到所述物品识别系统400，并不是读入内存再发送。当文件流传输不完整，两端连接断掉时，双方服务会引发异常，服务进行捕获，此时可在等待若干时间例如几秒后尝试重新获取或存储文件。以流的方式进行文件的存取可以实现高效快速的文件存取。
此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的物品识别方法的相应步骤，并且用于实现根据本发明实施例的物品识别装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码，另一个计算机可读存储介质包含用于进行物品识别的计算机可读的程序代码。
在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的物品识别装置的各个功能模块，并且/或者可以执行根据本发明实施例的物品识别方法。
在一个实施例中，所述计算机程序指令在被计算机运行时执行以下步骤：获取货架的实时图像信息；根据所述货架的实时图像信息和建立好的货架模型检测货架前面是否有顾客；若没有顾客则继续获取货架的实时图像信息；若有顾客，则监测顾客是否离开；若顾客已经离开则基于顾客来之前和离开后的图像信息判断货架上的物品变化信息。
此外，所述计算机程序指令在被计算机运行时还执行以下步骤：
示例性地，所述检测货架前面是否有顾客包括计算所述货架的实时图像信息中的货架部分与所述货架模型的差值，当差值高于遮挡阈值时，确定所述货架前处于遮挡状态即货架前面有顾客。
示例性地，所述判断顾客是否离开包括当所述货架的实时图像信息中货架部分重新与所述货架模型匹配时，确定所述顾客已经离开。
示例性地，所述匹配包括：所述货架的实时图像信息中的货架部分与所述货架模型的差值不超过遮挡阈值时，判断所述货架前处于非遮挡状态即货架前面的顾客已经离开。
示例性地，所述顾客来之前的货架图像信息包括确定货架前面有顾客的时间之前第一预设时间内的货架图像信息。
示例性地，所述顾客离开后的货架图像信息包括确定顾客已经离开的时间之后第二预设时间内的货架图像信息。
示例性地，所述判断货架上的物品变化信息包括：判断所述货架上的物品数量变化和/或所述货架上的发生变化的物品种类。
示例性地，判断所述货架上的物品数量变化包括：将所述顾客来之前和若干离开后的图像信息组成若干图像对，采用神经网络模型进行计算，得到计算结果；根据所述计算结果得到所述货架上的物品数量的变化。
示例性地，判断所述货架上的发生变化的物品种类包括：将所述顾客来之前和若干离开后的图像信息组成若干图像对，对所述若干图像对中的所述顾客来之前和若干离开后的图像信息作差，得到残差图；对所述残差图进行检测，获得发生变化的物品的位置信息，与已知的货架上的物品的位置信息进行匹配，即可判断出所述货架上的发生变化的物品种类。
示例性地，所述货架上的物品的位置信息包括基于所述货架的实时图像信息得到或预先设置的货架上的物品与货架内部结构之间的对应关系。
示例性地，所述物品识别方法还包括根据所述货架的实时图像信息得到货架信息，所述货架信息包括货架的位置信息和/或货架上的物品信息。
示例性地，所述货架的位置信息包括货架的编号和/或货架内部结构的编号；所述货架上的物品信息包括物品种类信息和/或相对应的物品的位置信息。
示例性地，所述货架模型的建立方法包括基于货架图像信息和高斯模型建立稳定状态下的所述货架模型。
示例性地，所述物品识别方法还包括当检测到货架前面有顾客时，识别所述顾客的顾客信息。
根据本发明实施例的物品识别系统中的各模块可以通过根据本发明实施例的物品识别的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的物品识别方法及装置、物品识别设备以及存储介质，捕捉货架的视频信息，分析货架前人员的流动情况，应对顾客拿放物品时的各种动作、各种姿态，并在发生人员流动之后对货架上的物品进行分析，判断货架上的物品数量的增减，从而实现拿放物品的识别，具有很高的鲁棒性。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (17)

1.一种物品识别方法，其特征在于，所述方法包括：
获取货架的实时图像信息；
根据所述货架的实时图像信息和建立好的货架模型检测货架前面是否有顾客；
若没有顾客则继续获取货架的实时图像信息；若有顾客，则监测顾客是否离开；
若所述顾客已经离开则基于所述顾客来之前和离开后的货架图像信息判断货架上的物品变化信息。
2.如权利要求1所述的物品识别方法，其特征在于，所述检测货架前面是否有顾客包括计算所述货架的实时图像信息中的货架部分与所述货架模型的差值，当差值高于遮挡阈值时，确定所述货架前处于遮挡状态即货架前面有顾客。
3.如权利要求1所述的物品识别方法，其特征在于，所述监测顾客是否离开包括当所述货架的实时图像信息中货架部分重新与所述货架模型匹配时，确定所述顾客已经离开。
4.如权利要求3所述的物品识别方法，其特征在于，所述匹配包括：所述货架的实时图像信息中的货架部分与所述货架模型的差值不超过遮挡阈值时，确定所述货架前处于非遮挡状态即货架前面的顾客已经离开。
5.如权利要求1所述的物品识别方法，其特征在于，所述顾客来之前的货架图像信息包括确定货架前面有顾客的时间之前第一预设时间内的货架图像信息。
6.如权利要求1所述的物品识别方法，其特征在于，所述顾客离开后的货架图像信息包括确定顾客已经离开的时间之后第二预设时间内的货架图像信息。
7.如权利要求1所述的物品识别方法，其特征在于，所述判断货架上的物品变化信息包括：判断所述货架上的物品数量变化和/或所述货架上的发生变化的物品种类。
8.如权利要求7所述的物品识别方法，其特征在于，判断所述货架上的物品数量变化包括：将所述顾客来之前和若干离开后的图像信息组成若干图像对，采用神经网络模型进行计算，得到计算结果；根据所述计算结果得到所述货架上的物品数量的变化。
9.如权利要求7所述的物品识别方法，其特征在于，判断所述货架上的发生变化的物品种类包括：将所述顾客来之前和若干离开后的图像信息组成若干图像对，对所述若干图像对中的所述顾客来之前和若干离开后的图像信息作差，得到残差图；对所述残差图进行检测，获得发生变化的物品的位置信息，与已知的货架上的物品的位置信息进行匹配，确定所述货架上的发生变化的物品种类。
10.如权利要求9所述的物品识别方法，其特征在于，所述货架上的物品的位置信息包括基于所述货架的实时图像信息得到或预先设置的货架上的物品与货架内部结构之间的对应关系。
11.如权利要求10所述的物品识别方法，其特征在于，所述物品识别方法还包括根据所述货架的实时图像信息得到货架信息，所述货架信息包括货架的位置信息和/或货架上的物品信息。
12.如权利要求11所述的物品识别方法，其特征在于，所述货架的位置信息包括货架的编号和/或货架内部结构的编号；所述货架上的物品信息包括物品种类信息和/或相对应的物品的位置信息。
13.如权利要求1所述的物品识别方法，其特征在于，所述货架模型的建立方法包括基于货架图像信息和高斯模型建立稳定状态下的所述货架模型。
14.如权利要求1所述的物品识别方法，其特征在于，所述物品识别方法还包括当检测到货架前面有顾客时，识别所述顾客的顾客信息。
15.一种物品识别装置，其特征在于，所述装置包括：
图像获取模块，用于获取货架的实时图像信息和/或预先获取的货架图像信息；
货架模型模块，基于所述货架的实时图像信息和/或预先获取的货架图像信息，以及高斯模型建立货架模型；
顾客检测模块，用于根据所述货架的实时图像信息和所述货架模型检测货架前是否有顾客和/或顾客是否离开；
物品信息分析模块，用于根据所述顾客检测模块的检测结果和所述货架的实时图像信息，判断所述货架的物品变化信息。
16.一种物品识别系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至14中任一项所述方法的步骤。
17.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机执行时实现权利要求1至14中任一项所述方法的步骤。
CN201810699572.1A 2018-06-29 2018-06-29 一种物品识别方法、装置、系统及计算机存储介质 Pending CN108898104A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810699572.1A CN108898104A (zh) 2018-06-29 2018-06-29 一种物品识别方法、装置、系统及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810699572.1A CN108898104A (zh) 2018-06-29 2018-06-29 一种物品识别方法、装置、系统及计算机存储介质

Publications (1)

Publication Number Publication Date
CN108898104A true CN108898104A (zh) 2018-11-27

Family

ID=64346943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810699572.1A Pending CN108898104A (zh) 2018-06-29 2018-06-29 一种物品识别方法、装置、系统及计算机存储介质

Country Status (1)

Country Link
CN (1) CN108898104A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977824A (zh) * 2019-03-15 2019-07-05 百度在线网络技术（北京）有限公司 物品取放识别方法、装置及设备
CN110472515A (zh) * 2019-07-23 2019-11-19 阿里巴巴集团控股有限公司 货架商品检测方法及系统
CN110472486A (zh) * 2019-07-03 2019-11-19 北京三快在线科技有限公司 一种货架障碍物识别方法、装置、设备及可读存储介质
CN111680657A (zh) * 2020-06-15 2020-09-18 杭州海康威视数字技术股份有限公司 一种物品取放事件的触发人员确定方法、装置及设备
CN111754192A (zh) * 2020-06-18 2020-10-09 北京同城必应科技有限公司 一种基于神经网络的装备物品审核方法
CN113052838A (zh) * 2021-04-26 2021-06-29 拉扎斯网络科技（上海）有限公司 置物检测方法、装置以及智能柜
US11069073B2 (en) 2019-07-23 2021-07-20 Advanced New Technologies Co., Ltd. On-shelf commodity detection method and system
CN113483525A (zh) * 2020-05-13 2021-10-08 海信集团有限公司 保鲜设备及食材管理方法
CN113610462A (zh) * 2021-07-29 2021-11-05 华清科盛(北京)信息技术有限公司 一种轻量级仓储物流中心寻错方法、系统、智能终端及计算机可读存储介质
WO2021233058A1 (zh) * 2020-05-22 2021-11-25 北京沃东天骏信息技术有限公司 监控货架上的物品的方法、计算机和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150262116A1 (en) * 2014-03-16 2015-09-17 International Business Machines Corporation Machine vision technology for shelf inventory management
CN105245828A (zh) * 2015-09-02 2016-01-13 北京旷视科技有限公司 物品分析方法和设备
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
CN105701519A (zh) * 2014-12-10 2016-06-22 株式会社理光 基于超像素的图像的实际货架图景象分析
CN105931371A (zh) * 2016-07-12 2016-09-07 帮团成都电子商务有限责任公司 自动售货机及自动售货方法
CN107134053A (zh) * 2017-04-19 2017-09-05 石道松 智能售货门店
CN206961241U (zh) * 2017-05-10 2018-02-02 文彬 一种开门式售货机
CN107833365A (zh) * 2017-11-29 2018-03-23 武汉市哈哈便利科技有限公司 一种重力感应和图像识别双控的无人售货系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
US20150262116A1 (en) * 2014-03-16 2015-09-17 International Business Machines Corporation Machine vision technology for shelf inventory management
CN105701519A (zh) * 2014-12-10 2016-06-22 株式会社理光 基于超像素的图像的实际货架图景象分析
CN105245828A (zh) * 2015-09-02 2016-01-13 北京旷视科技有限公司 物品分析方法和设备
CN105931371A (zh) * 2016-07-12 2016-09-07 帮团成都电子商务有限责任公司 自动售货机及自动售货方法
CN107134053A (zh) * 2017-04-19 2017-09-05 石道松 智能售货门店
CN206961241U (zh) * 2017-05-10 2018-02-02 文彬 一种开门式售货机
CN107833365A (zh) * 2017-11-29 2018-03-23 武汉市哈哈便利科技有限公司 一种重力感应和图像识别双控的无人售货系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977824A (zh) * 2019-03-15 2019-07-05 百度在线网络技术（北京）有限公司 物品取放识别方法、装置及设备
CN110472486B (zh) * 2019-07-03 2021-05-11 北京三快在线科技有限公司 一种货架障碍物识别方法、装置、设备及可读存储介质
CN110472486A (zh) * 2019-07-03 2019-11-19 北京三快在线科技有限公司 一种货架障碍物识别方法、装置、设备及可读存储介质
CN110472515A (zh) * 2019-07-23 2019-11-19 阿里巴巴集团控股有限公司 货架商品检测方法及系统
US11069073B2 (en) 2019-07-23 2021-07-20 Advanced New Technologies Co., Ltd. On-shelf commodity detection method and system
WO2021012644A1 (zh) * 2019-07-23 2021-01-28 创新先进技术有限公司 货架商品检测方法及系统
CN113483525A (zh) * 2020-05-13 2021-10-08 海信集团有限公司 保鲜设备及食材管理方法
WO2021233058A1 (zh) * 2020-05-22 2021-11-25 北京沃东天骏信息技术有限公司 监控货架上的物品的方法、计算机和系统
CN111680657A (zh) * 2020-06-15 2020-09-18 杭州海康威视数字技术股份有限公司 一种物品取放事件的触发人员确定方法、装置及设备
CN111680657B (zh) * 2020-06-15 2023-05-05 杭州海康威视数字技术股份有限公司 一种物品取放事件的触发人员确定方法、装置及设备
CN111754192A (zh) * 2020-06-18 2020-10-09 北京同城必应科技有限公司 一种基于神经网络的装备物品审核方法
CN113052838A (zh) * 2021-04-26 2021-06-29 拉扎斯网络科技（上海）有限公司 置物检测方法、装置以及智能柜
CN113610462A (zh) * 2021-07-29 2021-11-05 华清科盛(北京)信息技术有限公司 一种轻量级仓储物流中心寻错方法、系统、智能终端及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN108898104A (zh) 一种物品识别方法、装置、系统及计算机存储介质
US7617167B2 (en) Machine vision system for enterprise management
Del Pizzo et al. Counting people by RGB or depth overhead cameras
CN105069472B (zh) 一种基于卷积神经网络自适应的车辆检测方法
US8243987B2 (en) Object tracking using color histogram and object size
US20200193619A1 (en) Method and device for tracking an object
CN101142593B (zh) 跟踪视频序列中的目标的方法
CN110428522A (zh) 一种智慧新城的智能安防系统
CN108875522A (zh) 人脸聚类方法、装置和系统及存储介质
CN109710780A (zh) 一种归档方法及装置
CN101316371B (zh) 火焰侦测方法及装置
US10373015B2 (en) System and method of detecting moving objects
CN111428572B (zh) 信息处理方法、装置、电子设备和介质
CN108875517A (zh) 视频处理方法、装置和系统及存储介质
CN110263680A (zh) 图像处理方法、装置和系统及存储介质
CN112153373A (zh) 明厨亮灶设备的故障识别方法、装置及存储介质
CN111414948A (zh) 目标对象检测方法和相关装置
CN112915539A (zh) 一种虚拟对象检测方法、装置以及可读存储介质
CN109410138A (zh) 修饰双下巴的方法、装置和系统
JP6206627B1 (ja) 情報処理装置、制御方法、及びプログラム
CN114973065A (zh) 一种基于视频智能分析的物品搬移、遗留检测方法及系统
CN110490698A (zh) 一种无人便利店货架物品错放检测方法及装置
CN108986145A (zh) 视频图像处理方法及装置
WO2008127235A2 (en) Machine vision system for enterprise management
KR101513180B1 (ko) 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181127