CN109446883B - 商品状态识别方法、装置、电子设备及可读存储介质 - Google Patents

商品状态识别方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN109446883B
CN109446883B CN201811034093.4A CN201811034093A CN109446883B CN 109446883 B CN109446883 B CN 109446883B CN 201811034093 A CN201811034093 A CN 201811034093A CN 109446883 B CN109446883 B CN 109446883B
Authority
CN
China
Prior art keywords
real
position information
time
commodity
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811034093.4A
Other languages
English (en)
Other versions
CN109446883A (zh
Inventor
康丽萍
马彬
魏晓明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Three Cloud Computing Co ltd
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201811034093.4A priority Critical patent/CN109446883B/zh
Publication of CN109446883A publication Critical patent/CN109446883A/zh
Priority to PCT/CN2019/104425 priority patent/WO2020048492A1/zh
Application granted granted Critical
Publication of CN109446883B publication Critical patent/CN109446883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/002—Vending machines being part of a centrally controlled network of vending machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种商品状态识别方法、装置、电子设备及可读存储介质，所述方法包括：获取实时状态图像，以及，获取所述实时状态图像对应的标定信息；将所述实时状态图像输入至预先训练得到的目标检测模型中，得到实时目标位置信息，所述实时目标位置信息包括实时商品位置信息；根据所述标定信息与所述实时商品位置信息确定商品状态信息，所述标定信息对应所述实时状态图像。可以根据商品状态信息表示缺货程度，有助于提高补货提示的准确性。

Description

商品状态识别方法、装置、电子设备及可读存储介质
技术领域
本发明实施例涉及图像处理识别领域，尤其涉及一种商品状态识别方法、装置、电子设备及可读存储介质。
背景技术
随着图像识别技术的日渐成熟，其应用也日渐广泛，可以应用于超市的商品监控，判断商品是否缺货，以及时提示补货。
现有技术中，申请号为US 2018/0060803 A1的专利申请提出了一种管理零售商品的系统和方法。主要步骤包括：首先，获取针对监控货架的两幅图像；然后，通过比较两幅图像之间的亮度、对比度、照度来估计商品的消耗数量；最后，根据时间戳估计商品的消耗速率，并向中央设备发送货架商品的消耗速率，工作人员根据该消耗速率判断是否需要补货。
然而，比较两幅图像之间的亮度、对比度、照度估计消耗数量的准确度较低，导致是否需要补货的判断准确性较低。
发明内容
本发明提供一种商品状态识别方法、装置、电子设备及可读存储介质，以解决现有技术商品状态识别的上述问题。
根据本发明的第一方面，提供了一种商品状态识别方法，所述方法包括：
获取实时状态图像，以及，获取所述实时状态图像对应的标定信息；
将所述实时状态图像输入至预先训练得到的目标检测模型中，得到实时目标位置信息，所述实时目标位置信息包括实时商品位置信息；
根据所述标定信息与所述实时商品位置信息确定商品状态信息，所述标定信息对应所述实时状态图像。
根据本发明的第二方面，提供了一种商品状态识别装置，所述装置包括：
图像获取模块，用于获取实时状态图像，以及，获取所述实时状态图像对应的标定信息；
商品位置获取模块，用于将所述实时状态图像输入至预先训练得到的目标检测模型中，得到实时目标位置信息，所述实时目标位置信息包括实时商品位置信息；
商品状态确定模块，用于根据所述标定信息与所述实时商品位置信息确定商品状态信息，所述标定信息对应所述实时状态图像。
根据本发明的第三方面，提供了一种电子设备，包括：
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现前述商品状态识别方法。
根据本发明的第四方面，提供了一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述商品状态识别方法。
本发明实施例提供了一种商品状态识别方法、装置、电子设备及可读存储介质，所述方法包括：获取实时状态图像，以及，获取所述实时状态图像对应的标定信息；将所述实时状态图像输入至预先训练得到的目标检测模型中，得到实时目标位置信息，所述实时目标位置信息包括实时商品位置信息；根据所述标定信息与所述实时商品位置信息确定商品状态信息，所述标定信息对应所述实时状态图像。可以根据商品状态信息表示缺货程度，有助于提高补货提示的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的系统架构下的一种商品状态识别方法具体步骤流程图；
图2是本发明实施例提供的系统架构下的另一种商品状态识别方法具体步骤流程图；
图3是本发明实施例提供的一种商品状态识别装置的结构图；
图4是本发明实施例提供的另一种商品状态识别装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参照图1，其示出了一种商品状态识别方法的步骤流程图，包括：
步骤101，获取实时状态图像。
其中，实时状态图像是针对商品展示区拍摄的实时图像，摄像头以一定时间周期不断的拍摄商品展示区。可以理解，时间周期可以根据实际应用场景设定，可以与商品销售速度相关。当商品销售速度较快时，时间周期较小；当商品销售速度较慢时，时间周期较大。
此外，摄像头在拍摄到实时状态图像之后统一发送至一个服务器存储。
步骤102，将所述实时状态图像输入至预先训练得到的目标检测模型中，得到实时目标位置信息，所述实时目标位置信息包括实时商品位置信息。
其中，目标检测模型的输入为实时状态图像，输出为该图像中各目标对应的位置信息。
实时商品位置信息为一个展列中最靠前商品的位置信息，该商品前面不存在商品，后面是商品。消费者在购买商品时，往往取最前面的商品，从而最前面商品的位置可以体现缺货程度。
在本发明实施例中，目标包括商品和标签。其中，标签用于展示商品的唯一标识、名称、价格等信息，可以为水墨标签，粘贴于货架层。
可以理解，标签通常为矩形。当然，也可以为其他指定形状。从而可以从货架层上根据形状识别出标签。
在本发明实施例中，商品和标签均采用矩形框标记，位置信息可以为矩形框的左下角和右上角的坐标，也可以为矩形框的左上角和右下角的坐标。例如，若图像的左上角坐标为(0，0)，则一个位置信息可以表示为左下角(12，100)和右上角(80，20)，或，左上角(12，20)和右下角(80，100)。
可以理解，当实时状态图像得到至少一个商品和/或至少一个标签时，得到结果为位置信息的集合。
步骤103，根据所述标定信息与所述实时商品位置信息确定商品状态信息，所述标定信息对应所述实时状态图像。
标定信息用于在确定商品状态信息时作为参考，例如，在图像中标定缺货达到不同程度的直线，标定信息包括直线的位置、缺货程度等。
在实际应用中，针对每个拍摄商品展示区的摄像头，均需要确定对应的标定信息，并将该标定信息与摄像头绑定保存。从而可以针对每个摄像头获取对应的标定信息。
具体地，对于每个展列，可以将商品位置信息与各标定信息进行对比，得到位于商品位置两侧的标定线；然后可以确定商品位置对应的商品状态信息。
可以理解，商品状态信息与标定信息对应。例如，若商品位置两侧的标定线分别对应缺货20％和30％，则商品状态信息的范围为缺货20％至30％。
在实际应用中，可以在缺货比例达到一定阈值时提示补货。具体地，可以将提示补货的消息发送至中心服务器上。
综上所述，本发明实施例提供了一种商品状态识别方法，所述方法包括：获取实时状态图像，以及，获取所述实时状态图像对应的标定信息；将所述实时状态图像输入至预先训练得到的目标检测模型中，得到实时目标位置信息，所述实时目标位置信息包括实时商品位置信息；根据所述标定信息与所述实时商品位置信息确定商品状态信息，所述标定信息对应所述实时状态图像。可以根据商品状态信息表示缺货程度，有助于提高补货提示的准确性。
实施例二
本申请实施例从系统架构的层级对可选地商品状态识别方法进行了描述。
参照图2，其示出了另一种商品状态识别方法的具体步骤流程图。
步骤201，通过预先收集的商品状态图像集进行深度学习，得到目标检测模型，所述商品状态图像集中的每个商品状态图像被标记了商品位置信息，和/或，标签位置信息。
其中，商品状态图像集可以为针对真实商品销售区拍摄得到的图像，该图像中的每个完整商品和每个标签被矩形框标记，该矩形框的位置信息用左下角和右上角，或，左上角和右下角的坐标表示。
在实际应用中，标记信息还包括该矩形框的类别，表明该矩形框对应的是商品或标签。
在本发明实施例中，被标记的商品为排列在最前面的商品，从而商品位置可以体现缺货状态。若图像左上角的坐标为(0，0)，则一展列中商品位置的纵坐标越小，则该展列越缺货。
本发明实施例可以采用Faster-RCNN(Faster Region with ConvolutionalNeural Network，更快速目标检测卷积神经网络)进行训练。可以理解，还可以采用RCNN(Region with Convolutional Neural Network，目标检测卷积神经网络)、Fast-RCNN(快速目标检测卷积神经网络)等其他可以从图像中检测标记目标的深度学习模型。
步骤202，从标定图像中检测标定线，得到所述标定线的位置信息和对应的参考比例，所述标定图像通过对设置有标定线的货架层拍摄得到，所述标定图像与所述实时状态图像对应相同的拍摄区域。
其中，标定图像存在标定区域，标定区域内存在标定线，标定线可以为表明缺货比例的直线。可以理解，标定图像可以仅包含标定区域和标定线，不包含商品。也可以在标定区域之外置有商品。但为了保证标定区域和标定线的检测，标定区域上不能置有商品。
在实际应用中，标定区域可以采用特殊样式、颜色的线条圈出，标定线可以采用特征样式、颜色的直线表示。
具体地，可以从标定图像中首先确定标定区域；然后在该区域内检测特殊样式、颜色的直线得到标定线。其中，标定区域可以为每层货架左侧带有标定线的区域，横向区域为每层货架左侧第一个水墨标签的位置，与该层货架位于该水墨标签右侧的第一个商品位置之间，纵向区域为货架层的位置与下一货架层之间。
本发明实施例可以采用标定区域内检测标定线，可以避免检测到与标定线类似的线，进而提高标定线的检测准确度。
可选地，在本发明的另一种实施例中，上述标定线在拍摄所述标定图像之后删除，或，存在于所述实时状态图像中。
可以理解，标定线在拍摄完标定图像之后可以从货架上抹掉，从而可以保证货架层的清洁度。当然还可以不抹掉。
步骤203，获取实时状态图像。
该步骤可以参照步骤101的详细说明，在此不再赘述。
步骤204，对所述实时状态图像进行几何校正，以使所述实时状态图像中的货架层处于水平位置。
在实际应用中，由于摄像头在拍摄时，可能存在摄像头倾斜的情况，从而导致拍摄的实时状态图像非水平方向的，为了准确表示货架层、标签、商品的位置，需要将实时状态图像进行几何校正。
其中，几何校正已经是比较成熟的技术了，本发明实施例对其不进行赘述。
步骤205，将所述实时状态图像输入至预先训练得到的目标检测模型中，得到实时目标位置信息，所述实时目标位置信息包括实时商品位置信息。
该步骤可以参照步骤102的详细说明，在此不再赘述。
步骤206，根据所述标定线的位置信息、对应的参考比例、以及实时商品位置信息确定缺货比例。
具体地，首先根据商品位置信息确定位于商品上下两侧的标定线；然后获取上下两侧的标定线对应的参考比例；最后根据该两个参考比例确定缺货比例，例如，缺货比例在两个参考比例之间。
可选地，在本发明的另一种实施例中，上述步骤206包括子步骤2061至2064：
子步骤2061，根据所述实时标签位置信息确定每个货架层的位置信息。
可以理解，标签位于货架层上，对于一个货架层，其宽度往往最多可以粘贴几个标签，从而可以根据不同标签纵坐标之间的差值确定货架层的位置和数目。
具体地，首先，将所有标签的纵坐标从小到大进行排序；然后，逐个计算相邻两个标签的纵坐标的差值；如果相邻两个标签的纵坐标的差值小于或等于标签平均高度的预设倍数，则该两个标签在同一货架层上；如果相邻两个标签的纵坐标的差值大于标签平均高度的预设倍数，则该两个标签不在同一个货架层上；最后，根据每个货架层上的所有标签位置信息确定货架层的位置信息。
可以理解，预设倍数可以根据货架层的宽度和标签平均高度确定；例如，若货架层的宽度是标签平均高度的2倍，则预设倍数为2。
子步骤2062，针对所述实时状态图像中的每个货架层的每个展列，在所述货架层为目标监控货架层的情况下，从所述展列的实时商品位置信息中提取参考纵坐标。
在本发明实施例中，每个商品对应每个展列。
具体地，对于矩形框，参考纵坐标可以为左下角的纵坐标或右上角的纵坐标，也可以为左上角的纵坐标或右下角的纵坐标。
在实际应用中，由于图像在拍摄时，会存在部分被拍摄的货架层，或其他不规则的货架层，在本发明实施例中，对该类货架层不进行监督。从而保证检测准确性。
可选地，在本发明的另一种实施例中，上述目标监控货架层通过如下步骤得到：
步骤A1，将标定状态图像输入至所述目标检测模型中，得到标定目标位置信息，所述标定目标位置信息包括标定标签位置信息和标定商品位置信息。
该步骤可以参照步骤102的详细说明，在此不再是赘述。
可以理解，标定状态图像需要首先进行几何校正。
可以理解，该步骤与步骤102的不同之处在于，输入的图像不同。
步骤A2，根据上下相邻的标定标签位置信息确定每个货架层的高度。
具体地，首先根据子步骤2061的详细说明确定每个货架层的位置信息；然后计算相邻两个货架层的位置信息的差值，得到货架层的高度。
步骤A3，根据所述标定商品位置信息、以及标定标签位置信息确定每个货架层的标定展列数目。
具体地，根据商品位置信息的纵坐标将商品划分至货架层。例如，商品位置信息的纵坐标大于货架层A的纵坐标，小于货架层B的纵坐标，则该商品位于货架层A。从而统计位于每个货架层的商品位置信息的数目可以得到该货架层的展列数目。
步骤A4，针对每个货架层，在所述货架层的高度大于货架高度阈值，或，所述货架层的标定展列数目大于展列数目阈值的情况下，确定所述货架层为目标监控货架层。
其中，货架高度阈值可以为根据货架层的平均高度确定，展列数目阈值可以根据货架层的平均展列数目确定。
本发明实施例对过低或过小的货架层不进行监控。
子步骤2063，根据所述参考纵坐标与所述标定线的位置信息确定参考标定线。
在本发明实施例中，标定线的位置信息主要指标定线的纵坐标。
具体地，从多个标定线中选取与参考纵坐标距离最近的上下两个标定线。例如，若标定线A的纵坐标为20，B的纵坐标为35，C的纵坐标为50，D的纵坐标为75，参考纵坐标为40，则，参考标定线为B和C。
当然，在实际应用中，参考纵坐标还可以为一个，例如若参考纵坐标为50，则参考标定线为C。
子步骤2064，根据所述参考标定线对应的参考比例确定所述展列对应的缺货比例。
在本发明实施例中，每个标定线对应一个缺货比例。例如，对于步骤2063中的例子，若标定线B的参考比例65％，C的参考比例为50％，则参考纵坐标为40时，缺货比例为50％至65％，参考纵坐标为50时，缺货比例为50％。
步骤207，针对所述实时状态图像中的每个货架层，在所述货架层为目标监控货架层的情况下，根据所述实时商品位置信息确定所述货架层的实时展列数目。
在本发明实施例中，商品位置信息均为每个展列中的最靠前的商品的位置信息，从而每个商品位置信息对应一个展列，即：商品位置信息的数目和展列数目相同。
步骤208，根据所述货架层的实时展列数目和标准展列数目确定未放置商品的展列数目。
具体地，未放置商品的展列数目为标准展列数目和实时展列数目的差值。
可以理解，未放置商品的展列数目越大，缺货越严重；未放置商品的展列数目越小，缺货越不严重。
在实际应用中，还可以将未放置商品的展列数目发送至指定系统展示，以提示工作人员补货。
可选地，在本发明的另一种实施例中，上述标准展列数目通过如下步骤得到：
步骤B1，获取标准状态图像，并将所述标准状态图像输入至预先训练得到的目标检测模型中，得到标准目标位置信息，所述标准目标位置信息包括标准商品位置信息。
其中，标准状态图像可以为每个展列均至少置有一个商品的图像，包括货架层置满商品的图像。
可以理解，标准状态图像需要首先进行几何校正。
步骤B2，根据所述标准商品位置信息确定标准展列数目。
本发明实施例通过每列均有商品的图像，确定标准展列数目。
展列数目和商品位置信息之间的关系可以参照步骤207的详细说明，在此不再赘述。区别在于：确定标准展列数目采用每列均有商品的图像，而步骤207的图像可能每列均有商品，也可能包括至少一列没有商品。
综上所述，本发明实施例提供了一种商品状态识别方法，所述方法包括：获取实时状态图像，以及，获取所述实时状态图像对应的标定信息；将所述实时状态图像输入至预先训练得到的目标检测模型中，得到实时目标位置信息，所述实时目标位置信息包括实时商品位置信息；根据所述标定信息与所述实时商品位置信息确定商品状态信息，所述标定信息对应所述实时状态图像。可以根据商品状态信息表示缺货程度，有助于提高补货提示的准确性。
实施例三
参照图3，其示出了一种商品状态识别装置的结构图，具体如下。
图像获取模块301，用于获取实时状态图像。
商品位置获取模块302，用于将所述实时状态图像输入至预先训练得到的目标检测模型中，得到实时目标位置信息，所述实时目标位置信息包括实时商品位置信息。
商品状态确定模块303，用于根据所述标定信息与所述实时商品位置信息确定商品状态信息，所述标定信息对应所述实时状态图像。
综上所述，本发明实施例提供了一种商品状态识别装置，所述装置包括：图像获取模块，用于获取实时状态图像，以及，获取所述实时状态图像对应的标定信息；商品位置获取模块，用于将所述实时状态图像输入至预先训练得到的目标检测模型中，得到实时目标位置信息，所述实时目标位置信息包括实时商品位置信息；商品状态确定模块，用于根据所述标定信息与所述实时商品位置信息确定商品状态信息，所述标定信息对应所述实时状态图像。可以根据商品状态信息表示缺货程度，有助于提高补货提示的准确性。
实施例四
参照图4，其示出了另一种商品状态识别装置的结构图，具体如下。
目标检测模型训练模块401，用于通过预先收集的商品状态图像集进行深度学习，得到目标检测模型，所述商品状态图像集中的每个商品状态图像被标记了商品位置信息，和/或，标签位置信息。
标定线检测模块402，用于从标定图像中检测标定线，得到所述标定线的位置信息和对应的参考比例，所述标定图像通过对设置有标定线的货架层拍摄得到，所述标定图像与所述实时状态图像对应相同的拍摄区域。
图像获取模块403，用于获取实时状态图像。
几何校正模块404，用于对所述实时状态图像进行几何校正，以使所述实时状态图像中的货架层处于水平位置。
商品位置获取模块405，用于将所述实时状态图像输入至预先训练得到的目标检测模型中，得到实时目标位置信息，所述实时目标位置信息包括实时商品位置信息。
商品状态确定模块406，用于根据所述标定信息与所述实时商品位置信息确定商品状态信息，所述标定信息对应所述实时状态图像。可选地，在本发明的另一种实施例中，上述商品状态确定模块406，包括：
缺货比例确定子模块4061，用于根据所述标定线的位置信息、对应的参考比例、以及实时商品位置信息确定缺货比例。
实时展列确定模块407，用于针对所述实时状态图像中的每个货架层，在所述货架层为目标监控货架层的情况下，根据所述实时商品位置信息确定所述货架层的实时展列数目。
空展列数目确定模块408，用于根据所述货架层的实时展列数目和标准展列数目确定未放置商品的展列数目。
可选地，在本发明的另一种实施例中，上述缺货比例确定子模块4051包括：
货架层确定单元，用于根据所述实时标签位置信息确定每个货架层的位置信息。
参考纵坐标提取单元，用于针对所述实时状态图像中的每个货架层的每个展列，在所述货架层为目标监控货架层的情况下，从所述展列的实时商品位置信息中提取参考纵坐标。
参考标定线提取单元，用于根据所述参考纵坐标与所述标定线的位置信息确定参考标定线。
缺货比例确定单元，用于根据所述参考标定线对应的参考比例确定所述展列对应的缺货比例。
可选地，在本发明的另一种实施例中，上述目标监控货架层通过如下模块得到：
目标位置获取模块，用于将标定状态图像输入至所述目标检测模型中，得到标定目标位置信息，所述标定目标位置信息包括标定标签位置信息和标定商品位置信息。
货架层高度确定模块，用于根据上下相邻的标定标签位置信息确定每个货架层的高度。
标定展列确定模块，用于根据所述标定商品位置信息、以及标定标签位置信息确定每个货架层的标定展列数目。
监控货架层确定模块，用于针对每个货架层，在所述货架层的高度大于货架高度阈值，或，所述货架层的标定展列数目大于展列数目阈值的情况下，确定所述货架层为目标监控货架层。
可选地，在本发明的另一种实施例中，上述标准展列数目通过如下模块得到：
标准商品位置获取模块，用于获取标准状态图像，并将所述标准状态图像输入至预先训练得到的目标检测模型中，得到标准目标位置信息，所述标准目标位置信息包括标准商品位置信息。
标准展列数目确定模块，用于根据所述标准商品位置信息确定标准展列数目。
可选地，在本发明的另一种实施例中，上述标定线在拍摄所述标定图像之后删除，或，存在于所述实时状态图像中。
综上所述，本发明实施例提供了一种商品状态识别装置，所述装置包括：图像获取模块，用于获取实时状态图像，以及，获取所述实时状态图像对应的标定信息；商品位置获取模块，用于将所述实时状态图像输入至预先训练得到的目标检测模型中，得到实时目标位置信息，所述实时目标位置信息包括实时商品位置信息；商品状态确定模块，用于根据所述标定信息与所述实时商品位置信息确定商品状态信息，所述标定信息对应所述实时状态图像。可以根据商品状态信息表示缺货程度，有助于提高补货提示的准确性。
本发明实施例还提供了一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现前述实施例的商品状态识别方法。
本发明实施例还提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述实施例的商品状态识别方法。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的商品状态识别设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种商品缺货识别方法，其特征在于，所述方法包括：
获取实时状态图像；
将所述实时状态图像输入至预先训练得到的目标检测模型中，得到实时目标位置信息，所述实时目标位置信息包括实时商品位置信息；
从标定图像中检测标定线，得到所述标定线的位置信息和对应的参考比例，所述标定图像通过对设置有标定线的货架层拍摄得到，所述标定图像与所述实时状态图像对应相同的拍摄区域；
根据所述标定线的位置信息、对应的参考比例、以及实时商品位置信息确定商品状态信息，所述商品状态信息包括缺货比例；
所述实时目标位置信息包括实时标签位置信息，所述根据所述标定线的位置信息、对应的参考比例、以及实时商品位置信息确定缺货比例的步骤，包括：
根据所述实时标签位置信息确定每个货架层的位置信息；
针对所述实时状态图像中的每个货架层的每个展列，在所述货架层为目标监控货架层的情况下，从所述展列的实时商品位置信息中提取参考纵坐标；
根据所述参考纵坐标与所述标定线的位置信息确定参考标定线；
根据所述参考标定线对应的参考比例确定所述展列对应的缺货比例。
2.根据权利要求1所述的方法，其特征在于，在所述将所述实时状态图像输入至预先训练得到的目标检测模型中的步骤之前，还包括：
对所述实时状态图像进行几何校正，以使所述实时状态图像中的货架层处于水平位置。
3.根据权利要求1所述的方法，其特征在于，所述目标监控货架层通过如下步骤得到：
将标定状态图像输入至所述目标检测模型中，得到标定目标位置信息，所述标定目标位置信息包括标定标签位置信息和标定商品位置信息；
根据上下相邻的标定标签位置信息确定每个货架层的高度；
根据所述标定商品位置信息、以及标定标签位置信息确定每个货架层的标定展列数目；
针对每个货架层，在所述货架层的高度大于货架高度阈值，或，所述货架层的标定展列数目大于展列数目阈值的情况下，确定所述货架层为目标监控货架层。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
针对所述实时状态图像中的每个货架层，在所述货架层为目标监控货架层的情况下，根据所述实时商品位置信息确定所述货架层的实时展列数目；
根据所述货架层的实时展列数目和标准展列数目确定未放置商品的展列数目。
5.根据权利要求4所述的方法，其特征在于，所述标准展列数目通过如下步骤得到：
获取标准状态图像，并将所述标准状态图像输入至预先训练得到的目标检测模型中，得到标准目标位置信息，所述标准目标位置信息包括标准商品位置信息；
根据所述标准商品位置信息确定标准展列数目。
6.根据权利要求1所述的方法，其特征在于，所述目标检测模型通过如下步骤训练得到：
通过预先收集的商品状态图像集进行深度学习，得到目标检测模型，所述商品状态图像集中的每个商品状态图像被标记了商品位置信息，和/或，标签位置信息。
7.根据权利要求1所述的方法，其特征在于，所述标定线在拍摄所述标定图像之后删除，或，存在于所述实时状态图像中。
8.一种商品状态识别装置，其特征在于，所述装置包括：
图像获取模块，用于获取实时状态图像，以及，获取所述实时状态图像对应的标定信息；
商品位置获取模块，用于将所述实时状态图像输入至预先训练得到的目标检测模型中，得到实时目标位置信息，所述实时目标位置信息包括实时商品位置信息；
商品状态确定模块，用于从标定图像中检测标定线，得到所述标定线的位置信息和对应的参考比例，所述标定图像通过对设置有标定线的货架层拍摄得到，所述标定图像与所述实时状态图像对应相同的拍摄区域；根据所述标定线的位置信息、对应的参考比例、以及实时商品位置信息确定商品状态信息，所述商品状态信息包括缺货比例；
所述实时目标位置信息包括实时标签位置信息，所述根据所述标定线的位置信息、对应的参考比例、以及实时商品位置信息确定缺货比例的步骤，包括：
根据所述实时标签位置信息确定每个货架层的位置信息；
针对所述实时状态图像中的每个货架层的每个展列，在所述货架层为目标监控货架层的情况下，从所述展列的实时商品位置信息中提取参考纵坐标；
根据所述参考纵坐标与所述标定线的位置信息确定参考标定线；
根据所述参考标定线对应的参考比例确定所述展列对应的缺货比例。
9.一种电子设备，其特征在于，包括：
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中一个或多个所述的商品状态识别方法。
10.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如方法权利要求1-7中一个或多个所述的商品状态识别方法。
CN201811034093.4A 2018-09-05 2018-09-05 商品状态识别方法、装置、电子设备及可读存储介质 Active CN109446883B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811034093.4A CN109446883B (zh) 2018-09-05 2018-09-05 商品状态识别方法、装置、电子设备及可读存储介质
PCT/CN2019/104425 WO2020048492A1 (zh) 2018-09-05 2019-09-04 商品状态识别

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811034093.4A CN109446883B (zh) 2018-09-05 2018-09-05 商品状态识别方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN109446883A CN109446883A (zh) 2019-03-08
CN109446883B true CN109446883B (zh) 2022-08-23

Family

ID=65530337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811034093.4A Active CN109446883B (zh) 2018-09-05 2018-09-05 商品状态识别方法、装置、电子设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN109446883B (zh)
WO (1) WO2020048492A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446883B (zh) * 2018-09-05 2022-08-23 北京三快在线科技有限公司 商品状态识别方法、装置、电子设备及可读存储介质
CN109998296A (zh) * 2019-04-03 2019-07-12 中南大学 实验室智能物料柜
CN110046566A (zh) * 2019-04-10 2019-07-23 中南大学 一种基于图形识别及物联网技术的实验室智能物料柜
CN110189319B (zh) * 2019-05-31 2021-08-13 北京百度网讯科技有限公司 置物架分割方法、装置、设备和存储介质
CN110287928B (zh) * 2019-07-01 2021-09-14 创优数字科技(广东)有限公司 商品缺货检测方法及装置
CN110472515B (zh) * 2019-07-23 2021-04-13 创新先进技术有限公司 货架商品检测方法及系统
US11069073B2 (en) 2019-07-23 2021-07-20 Advanced New Technologies Co., Ltd. On-shelf commodity detection method and system
CN110533028B (zh) * 2019-07-31 2021-08-13 北京三快在线科技有限公司 商品陈列状态的检测方法、装置、电子设备及存储介质
CN110516628A (zh) * 2019-08-29 2019-11-29 上海扩博智能技术有限公司 货架空缺位置商品信息获取方法、系统、设备及存储介质
CN112580411A (zh) * 2019-09-30 2021-03-30 深圳云天励飞技术有限公司 一种货架缺货告警方法、装置、货架、系统及电子设备
CN112800804B (zh) * 2019-10-28 2024-07-26 汉朔科技股份有限公司 基于价签的缺货检测方法及装置
CN111753614A (zh) * 2019-11-01 2020-10-09 北京京东尚科信息技术有限公司 一种商品货架的监控方法和装置
CN110852240A (zh) * 2019-11-06 2020-02-28 创新奇智(成都)科技有限公司 零售商品检测系统及检测方法
CN110991273B (zh) * 2019-11-18 2021-03-19 支付宝(杭州)信息技术有限公司 层板调控设备、方法及装置
CN110910567A (zh) * 2019-11-29 2020-03-24 合肥美的智能科技有限公司 扣付方法、装置、电子设备、计算机可读存储介质和货柜
CN111291834B (zh) * 2020-03-27 2022-06-10 华士磐典科技(上海)有限公司 一种快速生成货架数字陈列图的方法
CN111553889A (zh) * 2020-04-16 2020-08-18 上海扩博智能技术有限公司 货架上商品摆放位置的对比方法、系统、设备和存储介质
CN111612000B (zh) * 2020-05-26 2023-09-12 创新奇智(西安)科技有限公司 一种商品分类方法、装置、电子设备及存储介质
CN111898417B (zh) * 2020-06-17 2023-08-08 厦门华联电子股份有限公司 货柜系统、货品检测装置及方法
CN111753728B (zh) * 2020-06-24 2024-07-16 京东方科技集团股份有限公司 确定货架展位状态的方法和装置、货架
CN111666927A (zh) * 2020-07-08 2020-09-15 广州织点智能科技有限公司 商品识别方法、装置、智能货柜和可读存储介质
CN111931674B (zh) * 2020-08-18 2024-04-02 创新奇智(成都)科技有限公司 物品识别管理方法、装置、服务器及可读存储介质
CN111738245B (zh) * 2020-08-27 2020-11-20 创新奇智(北京)科技有限公司 商品识别管理方法、装置、服务器及可读存储介质
CN112488608B (zh) * 2020-11-18 2024-06-07 北京三快在线科技有限公司 补货管理方法、装置、存储介质及终端
CN112699778A (zh) * 2020-12-29 2021-04-23 上海零眸智能科技有限公司 一种基于深度学习的冰柜库存情况监督识别方法
CN112883955B (zh) * 2021-03-10 2024-02-02 洛伦兹（北京）科技有限公司 货架布局检测方法、装置及计算机可读存储介质
CN114022999A (zh) * 2021-10-27 2022-02-08 北京云迹科技有限公司 一种自动售货机的缺货检测方法、装置、设备和介质
CN115359117B (zh) * 2022-08-30 2023-05-02 创新奇智(广州)科技有限公司 商品陈列位置确定方法、装置及可读存储介质
CN116935198B (zh) * 2023-09-12 2023-11-24 汉朔科技股份有限公司 货架商品的缺货检测方法、装置及机器人

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809601A (zh) * 2007-08-31 2010-08-18 埃森哲环球服务有限公司 基于图像处理的货架图提取
CN101976377A (zh) * 2002-01-23 2011-02-16 传感电子有限责任公司 库存管理系统
CN102982332A (zh) * 2012-09-29 2013-03-20 顾坚敏 基于云处理方式的零售终端货架影像智能分析系统
CN104981825A (zh) * 2013-01-11 2015-10-14 塔格尼蒂克斯股份有限公司 缺货传感器
CN105654211A (zh) * 2016-03-10 2016-06-08 北京小米移动软件有限公司 信息推送方法及装置
CN105701519A (zh) * 2014-12-10 2016-06-22 株式会社理光 基于超像素的图像的实际货架图景象分析
CN107358313A (zh) * 2017-06-16 2017-11-17 深圳市盛路物联通讯技术有限公司 一种超市管理方法及装置
TWI618916B (zh) * 2016-09-23 2018-03-21 啟碁科技股份有限公司 貨架庫存估測方法與系統
CN107822400A (zh) * 2016-09-15 2018-03-23 东芝泰格有限公司 库存管理装置及控制方法、终端设备
CN107886285A (zh) * 2017-12-25 2018-04-06 康美药业股份有限公司 供销管理方法、设备及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930264B (zh) * 2012-09-29 2015-10-28 李炳华 基于图像识别技术的商品陈列信息采集分析系统及方法
CA2976202A1 (en) * 2016-08-23 2018-02-23 Aditya Reddy Cheruku System and method for managing retail products
CN107045641B (zh) * 2017-04-26 2020-07-28 广州图匠数据科技有限公司 一种基于图像识别技术的货架识别方法
CN107131925A (zh) * 2017-04-28 2017-09-05 南京邮电大学 一种基于图像处理的水位实时监测方法
CN107121074B (zh) * 2017-06-26 2019-07-26 辽宁科技大学 一种利用机器视觉进行尾矿库干滩长度测量的方法
CN107516111A (zh) * 2017-08-23 2017-12-26 昆山塔米机器人有限公司 一种售卖机缺货检测方法及装置
CN109446883B (zh) * 2018-09-05 2022-08-23 北京三快在线科技有限公司 商品状态识别方法、装置、电子设备及可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976377A (zh) * 2002-01-23 2011-02-16 传感电子有限责任公司 库存管理系统
CN101809601A (zh) * 2007-08-31 2010-08-18 埃森哲环球服务有限公司 基于图像处理的货架图提取
CN102982332A (zh) * 2012-09-29 2013-03-20 顾坚敏 基于云处理方式的零售终端货架影像智能分析系统
CN104981825A (zh) * 2013-01-11 2015-10-14 塔格尼蒂克斯股份有限公司 缺货传感器
CN105701519A (zh) * 2014-12-10 2016-06-22 株式会社理光 基于超像素的图像的实际货架图景象分析
CN105654211A (zh) * 2016-03-10 2016-06-08 北京小米移动软件有限公司 信息推送方法及装置
CN107822400A (zh) * 2016-09-15 2018-03-23 东芝泰格有限公司 库存管理装置及控制方法、终端设备
TWI618916B (zh) * 2016-09-23 2018-03-21 啟碁科技股份有限公司 貨架庫存估測方法與系統
CN107358313A (zh) * 2017-06-16 2017-11-17 深圳市盛路物联通讯技术有限公司 一种超市管理方法及装置
CN107886285A (zh) * 2017-12-25 2018-04-06 康美药业股份有限公司 供销管理方法、设备及计算机可读存储介质

Also Published As

Publication number Publication date
WO2020048492A1 (zh) 2020-03-12
CN109446883A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN109446883B (zh) 商品状态识别方法、装置、电子设备及可读存储介质
US11587029B2 (en) Determining product placement compliance
CN109840504A (zh) 物品取放行为识别方法、装置、存储介质及设备
WO2019087519A1 (ja) 棚監視装置、棚監視方法、及び、棚監視プログラム
CN111161346B (zh) 将商品在货架中进行分层的方法、装置和电子设备
US20190244055A1 (en) Method and apparatus for checkout based on image identification technique of convolutional neural network
CN110705424B (zh) 一种商品陈列位置的定位方法、装置及存储介质
CN110175590A (zh) 一种商品识别方法及装置
CN110889419B (zh) 一种货架分析方法、装置、系统及电子设备
CN109919211A (zh) 商品识别方法、装置、系统和计算机可读介质
CN108898109A (zh) 物品关注度的确定方法、装置和系统
WO2021185281A1 (zh) 货架交互方法和货架
CN102236899A (zh) 物体检测方法和装置
CN111222389B (zh) 商超货架上商品的分析方法和系统
CN112883955B (zh) 货架布局检测方法、装置及计算机可读存储介质
JP2019094191A (ja) 棚割生成プログラム、棚割生成方法及び棚割生成装置
Milella et al. Towards intelligent retail: Automated on-shelf availability estimation using a depth camera
CN112232334B (zh) 一种智能售货商品识别检测方法
CN108629318A (zh) 一种基于图像识别技术的货架陈列识别方法、装置和系统
CN111783627B (zh) 商品存量确定方法、装置及设备
CN113888254A (zh) 货架商品管理方法和电子设备
CN110533028B (zh) 商品陈列状态的检测方法、装置、电子设备及存储介质
CN113935774A (zh) 图像处理方法、装置、电子设备及计算机存储介质
WO2021179138A1 (zh) 商超货架上商品的分析方法和系统
CN111428743A (zh) 商品识别方法、商品处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221024

Address after: 100102 Room 01, Floor 3, Room 01, Building 2 to 4, Yard 6, Wangjing East Road, Chaoyang District, Beijing

Patentee after: Beijing three cloud computing Co.,Ltd.

Patentee after: BEIJING SANKUAI ONLINE TECHNOLOGY Co.,Ltd.

Address before: 100083 2106-030, 9 North Fourth Ring Road, Haidian District, Beijing.

Patentee before: BEIJING SANKUAI ONLINE TECHNOLOGY Co.,Ltd.