CN108960202B - 一种智能货架、系统、判断商品叠放的方法 - Google Patents

一种智能货架、系统、判断商品叠放的方法 Download PDF

Info

Publication number
CN108960202B
CN108960202B CN201810862510.8A CN201810862510A CN108960202B CN 108960202 B CN108960202 B CN 108960202B CN 201810862510 A CN201810862510 A CN 201810862510A CN 108960202 B CN108960202 B CN 108960202B
Authority
CN
China
Prior art keywords
height
module
shelf
layer
height data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810862510.8A
Other languages
English (en)
Other versions
CN108960202A (zh
Inventor
张莹
张忆非
赵凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810862510.8A priority Critical patent/CN108960202B/zh
Publication of CN108960202A publication Critical patent/CN108960202A/zh
Priority to US16/455,409 priority patent/US11189044B2/en
Application granted granted Critical
Publication of CN108960202B publication Critical patent/CN108960202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F13/00—Shop or like accessories
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
    • A47F5/0043—Show shelves
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F7/00—Show stands, hangers, or shelves, adapted for particular articles or materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F10/00—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for
    • A47F10/02—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets
    • A47F2010/025—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets using stock management systems
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F7/00—Show stands, hangers, or shelves, adapted for particular articles or materials
    • A47F7/0007—Show stands, hangers, or shelves, adapted for particular articles or materials for stacked articles; Stabilising means therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种智能货架、系统、判断商品叠放的方法。该系统包括智能货架及服务器，通过在每层货架上设置至少两个摄像头，在采集货架商品基本图像同时采集深度信息，利用标记物将深度信息转换为高度信息，并与物体识别相结合，能够判断出物品是否叠放，从而辅助数量统计，提高了商品数量统计的准确性；在商品数量统计时可以将叠放的物品剔除或者标记，从而减小了商品叠放对商品数量统计的影响，提高了商品数量统计的准确性；还能够根据需要将提醒商家服务员将叠放的商品归位，有利于货架商品的管理。

Description

一种智能货架、系统、判断商品叠放的方法
技术领域
本发明涉及智能零售领域。更具体地，涉及一种智能货架、系统、判断商品叠放的方法。
背景技术
目前新零售方案中主要采用了两种传感器方式，一是射频识别技术(RadioFrequency Identification简称RFID)，另一个是基于图像识别技术。RFID技术门槛不高，但受环境影响大容易发送误判，并且一个物品需要一个RFID，提高了本身价值就不高的商品的成本。基于图像识别的解决方案中，摄像头相对较稳定，主要通过图像中的物体识别来进行货架商品的数量统计。但图像识别在遮挡问题上难以有效解决，对于物品叠放无法准确识别，导致数量统计的有效性难以保证。
发明内容
为了解决上述技术问题中图像识别技术中对于物品叠放无法准确识别导致数量统计的有效性难以保证的问题，本发明第一方面提供一种智能货架，包括：
货架本体，包括逐层设置的货架板，每层货架板上设有标记物；
每层货架板上设置有至少两个摄像头，用于采集该层货架板上包括所述标记物的不同视场的商品图像；
存储模块，存储各种商品的高度数据；
图像识别模块，对每层货架板上的至少两个摄像头采集的商品图像进行商品识别，获取商品的种类；
处理模块，将每层货架板上的至少两个摄像头采集的商品图像合成为一个深度图像，并根据标记物的标记信息将深度图像转换为高度图像；
判断模块，结合所述高度图像和存储模块存储的对应商品的高度数据，判断该层商品是否叠放。
在一个优选的实施例中，所述判断模块包括：
高度数据统计模块，根据标记物的标记信息计算出商品上在高度图像中一定范围高度内N个点的高度数据，N为正整数；
高度数据选取模块，将N个点的高度数据按照从大到小进行排序，选取数量占比大于选取阈值的最高高度值作为商品的实际高度数据；
比对模块，将所述实际高度数据与存储模块中存储对应商品的高度数据对比，若实际高度数据高于误差阈值则判断商品处于叠放状态。
在另一个优选的实施例中，所述货架还包括：
通讯模块，用于将所述判断模块的判断结果发送至外部服务器。
在又一个优选的实施例中，所述摄像头可偏移，所述货架还包括
检测模块，检测每层货架上的至少两个摄像头各自的偏移量；
所述处理模块进一步根据每个摄像头的偏移量确定对应摄像头所在的光轴，结合该光轴以及标记物的标记信息将所述深度图像转换为高度图像。
本发明第二方面提供一种智能货架，包括：
货架本体，包括逐层设置的货架板，每层货架板上设有标记物；
每层货架板上设置有至少两个摄像头，用于采集该层货架板上包括所述标记物的不同视场的商品图像；
通讯模块，用于将每层货架板上的商品图像输出至外部的服务器，以使服务器对商品图像进行商品识别，同时将每层货架板上的至少两个摄像头采集的图像合成为一个深度图像，并根据标记物的标记信息将深度图像转换为高度图像，结合服务器的存储模块中对应商品的高度数据判断该层商品是否叠放。
在一个优选的实施例中，所述摄像头可偏移，所述货架还包括：
检测模块，检测每层货架上的至少两个摄像头各自的偏移量；
所述通讯模块进一步将所述检测模块输出的每层货架上的至少两个摄像头各自的偏移量传输至外部服务器；以使得所述外部服务器根据每个偏移量确定对应摄像头所在的光轴，并结合标记物的标记信息将深度图像转换为高度图像。
本发明第三方面提供一种智能货架系统，包括如上第二方面所述智能货架以及服务器；
其中，所述服务器包括：
存储模块，存储各种商品的高度数据；
图像识别模块，对每层货架板上的至少两个摄像头采集的商品图像进行商品识别，获取商品的种类；
处理模块，将每层货架板上的至少两个摄像头采集的商品图像合成为一个深度图像，并根据标记物的标记信息将深度图像转换为高度图像；
判断模块，结合所述高度图像和存储模块存储的对应商品的高度数据，判断商品是否叠放。
在一个优选的实施例中，所述摄像头可偏移，所述系统还包括检测模块，检测每层货架上的至少两个摄像头各自的偏移量；
所述处理模块进一步根据每个摄像头的偏移量确定对应摄像头所在的光轴，结合该光轴以及标记物的标记信息将所述深度图像转换为高度图像。
在一个优选的实施例中，所述判断模块包括：
高度数据统计模块，根据标记物的标记信息计算出商品上在高度图像中一定范围高度内N个点的高度数据，N为正整数；
高度数据选取模块，将N个点的高度数据按照从大到小进行排序，选取数量占比大于选取阈值的最高高度值作为商品的实际高度数据；
比对模块，将所述实际高度数据与存储模块中存储对应商品的高度数据对比，若实际高度数据高于误差阈值则判断商品处于叠放状态。
本发明第四方面提供一种使用如上第一方面所述的货架判断商品叠放的方法，包括：
图像识别模块对每层货架板上的至少两个摄像头采集的商品图像进行商品识别，获取商品的种类；
处理模块将每层货架板上的至少两个摄像头采集的商品图像合成为一个深度图像，并根据标记物的标记信息将深度图像转换为高度图像；
判断模块结合所述高度图像和存储模块存储的对应商品的高度数据，判断商品是否叠放。
在一个优选的实施例中，所述判断模块结合所述高度图像和存储模块存储的对应商品的高度数据，判断商品是否叠放包括：
根据标记物的标记信息计算出商品上在高度图像中一定范围高度内N个点的高度数据，N为正整数；
将N个点的高度数据按照从大到小进行排序，选取数量占比大于选取阈值的最高高度值作为商品的实际高度数据；
将所述实际高度数据与存储模块中存储对应商品的高度数据对比，若实际高度数据高于误差阈值则判断商品处于叠放状态。
在又一个优选的实施例中，所述摄像头可偏移，所述方法还包括检测模块，检测每层货架上的至少两个摄像头各自的偏移量；
所述处理模块进一步根据每个摄像头的偏移量确定对应摄像头所在的光轴，结合该光轴以及标记物的标记信息将所述深度图像转换为高度图像。
本发明第五方面提供一种使用如上第三方面所述的智能货架系统判断商品叠放的方法，包括：
图像识别模块对每层货架板上的至少两个摄像头采集的商品图像进行商品识别，获取商品的种类；
处理模块将每层货架板上的至少两个摄像头采集的商品图像合成为一个深度图像，并根据标记物的标记信息将深度图像转换为高度图像；
判断模块结合所述高度图像和存储模块存储的对应商品的高度数据，判断商品是否叠放。
在一个优选的实施例中，所述判断模块结合所述高度图像和存储模块存储的对应商品的高度数据，判断商品是否叠放包括：
根据标记物的标记信息计算出商品上在高度图像中一定范围高度内N个点的高度数据，N为正整数；
将N个点的高度数据按照从大到小进行排序，选取数量占比大于选取阈值的最高高度值作为商品的实际高度数据；
将所述实际高度数据与存储模块中存储对应商品的高度数据对比，若实际高度数据高于误差阈值则判断商品处于叠放状态。
在又一个优选的实施例中，所述摄像头可偏移，所述方法还包括检测模块，检测每层货架上的至少两个摄像头各自的偏移量；
所述处理模块进一步根据每个摄像头的偏移量确定对应摄像头所在的光轴，结合该光轴以及标记物的标记信息将所述深度图像转换为高度图像。
本发明的有益效果如下：
本发明提供的智能货架通过在每层货架上设置至少两个摄像头，在采集货架商品基本图像同时采集深度信息，利用标记物将深度信息转换为高度信息，并与物体识别相结合，能够判断出物品是否叠放，从而辅助数量统计，提高了商品数量统计的准确性，在商品数量统计时可以将叠放的物品剔除或者标记，从而减小了商品叠放对商品数量统计的影响，提高了商品数量统计的准确性，还能够根据需要将提醒商家服务员将叠放的商品归位，有利于货架商品的管理。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1示出本发明实施例中的智能货架摆放商品时的实物图。
图2示出本发明实施例中的智能货架系统结构示意图。
图3示出本发明实施例中利用智能货架判断商品叠放的方法流程示意图。
图4示出图3中的步骤S303的具体流程示意图。
图5示出本发明实施例中双目测距的原理图。
图6示出本发明实施例中将深度图像转换成高度图像的原理示意图之一。
图7示出本发明实施例中将深度图像转换成高度图像的原理示意图之二。
图8示出本发明实施例中智能货架系统的结构示意图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
在附图中示出了根据本发明公开实施例的各种截面图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及他们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
基于图像识别的解决方案中，摄像头相对较稳定，主要通过图像中的物体识别来进行货架商品的数量统计。但图像识别在遮挡问题上难以有效解决，对于物品叠放无法准确识别，导致数量统计的有效性难以保证。
有鉴于此，请结合图2所示，本发明第一方面提供一种智能货架，包括：货架本体11，包括逐层设置的货架板，每层货架板上设有标记物(图中未示出)；设置在每层货架板上的至少两个摄像头12，用于采集该层货架板上包括所述标记物的不同视场的商品图像；存储模块21，存储各种商品的高度数据；图像识别模块22，对每层货架板上的至少两个摄像头采集的商品图像进行商品识别，获取商品的种类；处理模块23，将每层货架板上的至少两个摄像头采集的商品图像合成为一个深度图像，并根据标记物的标记信息将深度图像转换为高度图像；判断模块24，结合高度图像和存储模块存储的对应商品的高度数据，判断该层商品是否叠放。
本发明图2所示的实施例中，标记物固定在固定位置，这样可以通过标记物在获取的图像中的高度以及长度，结合标记物的实际高度和长度进行比对，从而确定摄像头的视场，在同一视场中，物体在图像中的高度和长度与实际高度和长度的比例为固定值，从而可结合标记物的数据确定商品在该视场下的实际高度等信息。
此外，本实施例中存储模块存储的各种商品的高度数据，应当包括各种商品的实际高度，以及在不同视场下在图像中的高度；或者仅仅包括各种商品的实际高度，该实施例中，不同视场下图像中的高度可以通过图像识别技术计算获得，本发明不予赘述。
本发明提供的智能货架通过在每层货架上设置至少两个摄像头，在采集货架商品图像的同时采集图像的深度信息，利用标记物将深度信息转换为高度信息，并与物体识别相结合，能够判断出物品是否叠放，从而辅助数量统计，提高了商品数量统计的准确性，在商品数量统计时可以将叠放的物品剔除或者标记，从而减小了商品叠放对商品数量统计的影响，提高了商品数量统计的准确性，还能够根据需要将提醒人员将叠放的商品归位，有利于货架商品的管理。
当然，本方面中货架上也可以设置通讯模块，该通讯模块将判断结果传输给服务器或者终端，从而使使用者获知商品的状态。
由于在实际使用时，由于货架装拆、触碰，摄像头的位置容易发送变化，因此为了保证数据的可靠性，需要采用检测模块检测摄像头的偏移量，以确定摄像头所在的光轴。在该实施例中，检测模块检测每层货架上的至少两个摄像头各自的偏移量；处理模块进一步根据每个摄像头的偏移量确定对应摄像头所在的光轴，结合该光轴以及标记物的标记信息将深度图像转换为高度图像。检测模块可以选用加速度计或者陀螺仪进行记录，本发明不限于此。
进一步的，图中未示出的是，所述判断模块包括：高度数据统计模块，根据标记物的标记信息计算出商品上在高度图像中一定范围高度内N个点的高度数据，N为正整数；高度数据选取模块，将N个点的高度数据按照从大到小进行排序，选取数量占比大于选取阈值的最高高度值作为商品的实际高度数据；比对模块，将所述实际高度数据与存储模块中存储对应商品的高度数据对比，若实际高度数据高于误差阈值则判断商品处于叠放状态。
调取识别商品的高度数据，例如对于A商品，其高度为M，将M标记到上述高度图像中，为了减小后期的分析量，需要过滤干扰的高度，在商品高度图像中，由于商品的不规则形状，例如可乐这种中间高，两边低的商品，两边的最高点会影响可乐原本的高度数据，因此，需要将例如上述这些影响实际高度的数据去除，即选取存储的商品高度数据的一定范围的高度，在对于A商品的实施例中，例如可以选取0.95M-2.05M之间的高度范围，这样可以减小后期的高度数据处理量(0-0.95M之间的数据不需要考虑)，另一方面提高统计的准确率，避免了不需要的数据的干扰。
需要说明的是，上述模块中的N个点可以是随机选取的，也可以是采用穷举的方式间隔一定距离选取的，本发明不予赘述。
将N个点的高度数据进行从大到小的排列，由于摄像头的光轴所在位置，图像相当于从上向下拍摄，此时拍摄到的最高位置的面积最大(部分低于最高位置的部分被最高区域遮挡无法显示)，因此，理论上最高位置的点的被拍摄到的概率最大，即使拍摄的视场不同，该最高点被拍摄到的概率应当具有一个最低占比，该最低占比可以根据商品的种类设定，在确定商品高度时，需要选取占比大于该最低占比(即选取阈值)的最高值作为商品高度。将该高度与存储的商品高度数据进行比对，若高出的高度高于误差阈值(在图像识别、转换及计算过程会产生一定误差，因此，可以设定一个误差阈值，在该误差阈值内属于处理过程中的误差)，则判断高于该误差阈值时商品实际为叠放状态，低于该误差阈值时判断商品为正常状态，从而确定了商品是否叠放。
基于上述智能货架，本发明第二方面提供一种商品叠放检测方法，结合图3所示，包括：
S301:图像识别模块对每层货架板上的至少两个摄像头采集的商品图像进行商品识别，获取商品的种类。
即通过图像识别技术对采集的图像进行商品识别，例如通过图像分割或者边缘计算获取图像的像素信息或者边缘信息，与数据库中的预存的商品信息比对，确认商品的种类。
S302:处理模块将每层货架板上的至少两个摄像头采集的商品图像合成为一个深度图像，并根据标记物的标记信息将深度图像转换为高度图像。
具体的，由于每个摄像头采集的商品图像视场不同，导致两个商品图像信息具有一定偏差，通过计算机拟合等手段能够获得具有景深的商品图像。
图1所示为货架示意图，黑色方块为摄像头模块(包括两个摄像头)，虚线为摄像头的光轴，摄像头固定在货架每一层上方的一侧，角度倾斜向货架，两个摄像头的连线平行于货架板。该实施例中，摄像头可固定在一个水平设置的连接板上，标记物位于商品的前端，以防止被商品遮挡。图5示出双目测距的原理示意图，根据图5所示出的，f是每个摄像头的焦距。T是两个摄像头的镜头之间的距离。d为视差，d＝Xl-Xr，Xl和Xr为一个物体分别在两个摄像头中的成像传感器上所成的像的距离，该值分别在左、右摄像头的图像平面下讨论的。之后根据相似三角形原理通过下述公式即可计算出Z：
d＝Xl-Xr
Figure BDA0001750053670000081
Figure BDA0001750053670000082
Figure BDA0001750053670000083
将深度图像转换为高度图像如图6所示。S1S2和S3S4代表货架层板，粗斜线代表摄像头镜头平面，S5S6平行于货架层板，虚线为光轴，A为位于层架上固定不变的标记物(例如可以为条行，并且其边缘平行于货架边缘)，A1/A2分别位于A的边缘线上、同时A1、A2和光轴位于同一平面内，整个A位于货架前端，不会被商品遮挡，一直处于摄像头视场范围内，AC为层架之间高度，A距离S5S6直接的距离为AC’，C’C为S5S6距离上侧层板的距离。
摄像头在初始安装后，AC距离则确定，AC’和C’C的距离也确定，但是测量不方便，A1点和A2也确定，但是测量不方便。首先确定A1和A2点的具体位置。通过双目测距，可以得到两条边缘线上一系列A1O和A2O的距离，选择最小的A1O和A2O距离，此时相应A1和A2点和光轴同平面，由此确定了A1和A2点。根据三角形A1A2O，三条边长已知，可以得到∠A1A2O，即∠A2OC2’，从而得到A2C2’距离和∠C2’OO’。
当商品摆放后，对于所观察到的商品上任意两点X1X2，可以得到X1O的直线距离，再由X1点在图像中的具体位置可知其视场角∠O’OX1，可以知道角∠X1OY1＝180°-∠C2’OO’-∠O’OX1，商品的具体高度＝A2C2’-X1Y1。对于X2点，可以得到X2O的直线距离，再由X2点在图像中的具体位置可知其视场角∠O’OX2，可以知道角∠X2OY2＝180°-∠C2’OO’+∠O’OX2。商品的具体高度＝A2C2’-X2Y2。由此得出商品的其中两个点的高度，以此类推，可得到商品的高度分布，从而获得高度图像。
对于固定的摄像头，摄像头的光轴对应固定，因此，仅需要确定初始的光轴即可，但在货架使用或者拆卸等，固定的摄像头会阻碍货架使用和拆装，因此，摄像头可以设置为具有一定的调节幅度，具体的，在该实施例中，摄像头位于连接板上可以沿连接板的长度方向平移，此时检测模块(本实施例中为加速度计或者陀螺仪，其中加速度计记录平动加速度，陀螺仪记录转动加速度)可以通过实时监测摄像头的水平加速度获取摄像头的偏移量，或者摄像头安装在可轴转的转轴上，此时检测模块可以通过实时监测摄像头的转动加速度获取摄像头的偏移量，本发明不予赘述。
当然，对于非固定的摄像头(即可以转动或者平动)，当该两个摄像头之间为刚性连接，即其中一个摄像头转动或平动时，另一个摄像头发生相同的动作，此时该至少两个摄像头的光轴一直是平行的，因此，结合该双目测距时较为简单，不需要考虑至少两个摄像头所在光轴的角度差带来的影响。
在其他实施例中，摄像头为非刚性连接，此时其中一个摄像头发生转动或平动时，另一个摄像头不基于该摄像头发生转动或平动，该至少两个摄像头的光轴往往是不平行的，在利用上述双目测距原理时，需要考虑两个光轴之间的角度，并对该角度进行修正，以适应双目测距的计算，本发明不予赘述。
显然，当摄像头偏移后，应当按照上述步骤重新进行高度转换，在具体实施例中，若加速度计或者陀螺仪没有检测到数据则使用上次的A2C2’值，若有振动检测到数据则重新计算A2C2’值。图7示出了摄像头光轴改变的示意图，结合图7所示，可以知晓，在摄像头光轴改变时，可以结合改变量再次确定光轴所在的直线，从而基于上述方法进行重新计算获得商品高度。
当然，图示中的摄像头的个数仅仅是示例性的，在其他可实现的实施例中，摄像头也可以为两个以上，在该些实施例中，其深度图像转化为高度图像的计算量响应更大，但计算远离仍然不脱离于本发明上述远离的主体构思，本发明不予赘述。
S303:判断模块结合高度图像和存储模块存储的对应商品的高度数据，判断商品是否叠放。
具体的，该步骤利用双目测距的原理，在采集货架商品基本图像同时采集的深度信息，利用标记物将深度信息转换为高度信息，并与物体识别相结合，能够判断出物品是否叠放，从而辅助数量统计，提高了商品数量统计的准确性，在商品数量统计时可以将叠放的物品剔除或者标记，从而减小了商品叠放对商品数量统计的影响，提高了商品数量统计的准确性，还能够根据需要将提醒商家服务员将叠放的商品归位，有利于货架商品的管理。
在摄像头固定的实施例中，结合图4，该步骤S303包括：
S3031:根据标记物的标记信息计算出商品上在高度图像中一定范围高度内N个点的高度数据，N为正整数。
S3032:将N个点的高度数据按照从大到小进行排序，选取数量占比大于选取阈值的最高高度值作为商品的实际高度数据。
S3033:将实际高度数据与存储模块中存储对应商品的高度数据对比，若实际高度数据高于误差阈值则判断商品处于叠放状态。
调取识别商品的高度数据，例如对于A商品，其高度为M，将M标记到上述高度图像中，为了减小后期的分析量，需要过滤干扰的高度，在商品高度图像中，由于商品的不规则形状，例如可乐这种中间高，两边低的商品，两边的最高点会影响可乐原本的高度数据，因此，需要将例如上述这些影响实际高度的数据去除，即选取存储的商品高度数据的一定范围的高度，在对于A商品的实施例中，例如可以选取0.95M-2.05M之间的高度范围，这样可以减小后期的高度数据处理量(0-0.95M之间的数据不需要考虑)，另一方面提高统计的准确率，避免了不需要的数据的干扰。
需要说明的是，在步骤S3031-S3033中的N个点可以是随机选取的，也可以是采用穷举的方式间隔一定距离选取的，本发明不予赘述。
将N个点的高度数据进行从大到小的排列，由于摄像头的光轴所在位置，图像相当于从上向下拍摄，此时拍摄到的最高位置的面积最大(部分低于最高位置的部分被最高区域遮挡无法显示)，因此，理论上最高位置的点的被拍摄到的概率最大，即使拍摄的视场不同，该最高点被拍摄到的概率应当具有一个最低占比，该最低占比可以根据商品的种类设定，在确定商品高度时，需要选取占比大于该最低占比(即选取阈值)的最高值作为商品高度。将该高度与存储的商品高度数据进行比对，若高出的高度高于误差阈值(在图像识别、转换及计算过程会产生一定误差，因此，可以设定一个误差阈值，在该误差阈值内属于处理过程中的误差)，则判断高于该误差阈值时商品实际为叠放状态，低于该误差阈值时判断商品为正常状态，从而确定了商品是否叠放。
本发明提供的商品错放方法，通过在每层货架上设置至少两个摄像头，在采集货架商品图像的同时采集图像的深度信息，利用标记物将深度信息转换为高度信息，并与物体识别相结合，能够判断出物品是否叠放，从而辅助数量统计，提高了商品数量统计的准确性，在商品数量统计时可以将叠放的物品剔除或者标记，从而减小了商品叠放对商品数量统计的影响，提高了商品数量统计的准确性，还能够根据需要将提醒人员将叠放的商品归位，有利于货架商品的管理。
进一步地，经过上述方法的详细描述，可以知晓的是，智能货架中的处理模块、存储模块以及判断模块可以设置在服务器端，从而减轻智能货架的计算量，并降低智能货架的成本。
因此，本发明第三方面提供一种智能货架系统，结合图8所示，该系统包括智能货架10和服务器20，其中，智能货架10包括：货架本体11，包括逐层设置的货架板，每层货架板上设有标记物(图中未示出)；设置在每层货架板上的至少两个摄像头12，用于采集该层货架板上包括标记物的商品图像；通讯模块13，用于将每层货架板上的至少两个摄像头采集的商品图像输出至外部的服务器。
本方面中，服务器20包括存储模块21，存储各种商品的高度数据；图像识别模块22，对每层货架板上的至少两个摄像头采集的商品图像进行商品识别，获取商品的种类；处理模块23，将每层货架板上的至少两个摄像头采集的商品图像合成为一个深度图像，并根据标记物的标记信息将深度图像转换为高度图像；判断模块24，结合高度图像和存储模块存储的对应商品的高度数据，判断商品是否叠放。
该智能货架系统相较于第一方面，其一方面将处理任务放在了服务器，在大范围使用时，有利于集中管理和监控，另一方面可以有效降低单个智能货架的制作成本，服务器的处理能力较强，可以同时处理多个智能货架通过通讯模块传输的数据，并且处理速度快，反馈及时。
同理，当摄像头可偏移，系统还包括检测模块，检测每层货架上的至少两个摄像头各自的偏移量；处理模块进一步根据每个摄像头的偏移量确定对应摄像头所在的光轴，结合该光轴以及标记物的标记信息将深度图像转换为高度图像。
根据上述智能货架系统的描述，本发明第四方面进一步提供一种智能货架，该智能货架包括货架本体，包括逐层设置的货架板，每层货架板上设有标记物；每层货架板上设置有至少两个摄像头，用于采集该层货架板上包括所述标记物的不同视场的商品图像；通讯模块，用于将每层货架板上的商品图像输出至外部的服务器，以使服务器对商品图像进行商品识别，同时将每层货架板上的至少两个摄像头采集的图像合成为一个深度图像，并根据标记物的标记信息将深度图像转换为高度图像，结合服务器的存储模块中对应商品的高度数据判断该层商品是否叠放。
该智能货架一方面将处理任务放在了服务器，在大范围使用时，有利于集中管理和监控，另一方面可以有效降低单个智能货架的制作成本，服务器的处理能力较强，可以同时处理多个智能货架通过通讯模块传输的数据，并且处理速度快，反馈及时。
同理，当摄像头可偏移，该智能货架还包括检测模块，检测每层货架上的至少两个摄像头各自的偏移量；处理模块进一步根据每个摄像头的偏移量确定对应摄像头所在的光轴，结合该光轴以及标记物的标记信息将深度图像转换为高度图像。
基于此，本发明第五方面进一步提供一种判断商品叠放方法，其与第二方面不同之处在于，其使用的是本发明第三方面提供的智能货架系统，当然，该方法的具体实施步骤与前述方法相同，本发明不予赘述。
本发明的说明书和权利要求书及上述附图中的属于“第一”、“第二”等是用于区别不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法或设备固有的气体步骤或单元。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (8)

1.一种智能货架，其特征在于，包括：
货架本体，包括逐层设置的货架板，每层货架板上设有标记物；
每层货架板上设置有至少两个摄像头，用于采集该层货架板上包括所述标记物的不同视场的商品图像；
存储模块，存储各种商品的高度数据；
图像识别模块，对每层货架板上的至少两个摄像头采集的商品图像进行商品识别，获取商品的种类；
处理模块，将每层货架板上的至少两个摄像头采集的商品图像合成为一个深度图像，并根据标记物的标记信息将深度图像转换为高度图像；
判断模块，结合所述高度图像和存储模块存储的对应商品的高度数据，判断该层商品是否叠放；
其中，
所述判断模块包括：
高度数据统计模块，根据标记物的标记信息计算出商品上在高度图像中一定范围高度内N个点的高度数据，N为正整数；
高度数据选取模块，将N个点的高度数据按照从大到小进行排序，选取数量占比大于选取阈值的最高高度值作为商品的实际高度数据；
比对模块，将所述实际高度数据与存储模块中存储对应商品的高度数据对比，若实际高度数据高于误差阈值则判断商品处于叠放状态。
2.根据权利要求1所述货架，其特征在于，所述货架还包括：
通讯模块，用于将所述判断模块的判断结果发送至外部服务器。
3.根据权利要求1所述货架，其特征在于，所述摄像头可偏移，所述货架还包括
检测模块，检测每层货架上的至少两个摄像头各自的偏移量；
所述处理模块进一步根据每个摄像头的偏移量确定对应摄像头所在的光轴，结合该光轴以及标记物的标记信息将所述深度图像转换为高度图像。
4.一种智能货架系统，其特征在于，包括智能货架以及服务器；
其中，所述智能货架包括：
货架本体，包括逐层设置的货架板，每层货架板上设有标记物；
每层货架板上设置有至少两个摄像头，用于采集该层货架板上包括所述标记物的不同视场的商品图像；
通讯模块，用于将每层货架板上的商品图像输出至外部的服务器，以使服务器对商品图像进行商品识别，同时将每层货架板上的至少两个摄像头采集的图像合成为一个深度图像，并根据标记物的标记信息将深度图像转换为高度图像，结合服务器的存储模块中对应商品的高度数据判断该层商品是否叠放；
其中，所述服务器包括：
存储模块，存储各种商品的高度数据；
图像识别模块，对每层货架板上的至少两个摄像头采集的商品图像进行商品识别，获取商品的种类；
处理模块，将每层货架板上的至少两个摄像头采集的商品图像合成为一个深度图像，并根据标记物的标记信息将深度图像转换为高度图像；
判断模块，结合所述高度图像和存储模块存储的对应商品的高度数据，判断商品是否叠放；
其中，
所述判断模块包括：
高度数据统计模块，根据标记物的标记信息计算出商品上在高度图像中一定范围高度内N个点的高度数据，N为正整数；
高度数据选取模块，将N个点的高度数据按照从大到小进行排序，选取数量占比大于选取阈值的最高高度值作为商品的实际高度数据；
比对模块，将所述实际高度数据与存储模块中存储对应商品的高度数据对比，若实际高度数据高于误差阈值则判断商品处于叠放状态。
5.根据权利要求4所述系统，其特征在于，所述摄像头可偏移，所述系统还包括检测模块，检测每层货架上的至少两个摄像头各自的偏移量；
所述通讯模块进一步将所述检测模块输出的每层货架上的至少两个摄像头各自的偏移量传输至外部服务器；
所述处理模块进一步根据每个摄像头的偏移量确定对应摄像头所在的光轴，结合该光轴以及标记物的标记信息将所述深度图像转换为高度图像。
6.一种使用权利要求4所述的货架系统判断商品叠放的方法，其特征在于，包括：
图像识别模块对每层货架板上的至少两个摄像头采集的商品图像进行商品识别，获取商品的种类；
处理模块将每层货架板上的至少两个摄像头采集的商品图像合成为一个深度图像，并根据标记物的标记信息将深度图像转换为高度图像；
判断模块结合所述高度图像和存储模块存储的对应商品的高度数据，判断商品是否叠放。
7.根据权利要求6所述方法，其特征在于，所述判断模块结合所述高度图像和存储模块存储的对应商品的高度数据，判断商品是否叠放包括：
根据标记物的标记信息计算出商品上在高度图像中一定范围高度内N个点的高度数据，N为正整数；
将N个点的高度数据按照从大到小进行排序，选取数量占比大于选取阈值的最高高度值作为商品的实际高度数据；
将所述实际高度数据与存储模块中存储对应商品的高度数据对比，若实际高度数据高于误差阈值则判断商品处于叠放状态。
8.根据权利要求6所述方法，其特征在于，所述摄像头可偏移，所述方法还包括检测模块，检测每层货架上的至少两个摄像头各自的偏移量；
所述处理模块进一步根据每个摄像头的偏移量确定对应摄像头所在的光轴，结合该光轴以及标记物的标记信息将所述深度图像转换为高度图像。
CN201810862510.8A 2018-08-01 2018-08-01 一种智能货架、系统、判断商品叠放的方法 Active CN108960202B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810862510.8A CN108960202B (zh) 2018-08-01 2018-08-01 一种智能货架、系统、判断商品叠放的方法
US16/455,409 US11189044B2 (en) 2018-08-01 2019-06-27 Method and device for detecting object stacking state and intelligent shelf

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810862510.8A CN108960202B (zh) 2018-08-01 2018-08-01 一种智能货架、系统、判断商品叠放的方法

Publications (2)

Publication Number Publication Date
CN108960202A CN108960202A (zh) 2018-12-07
CN108960202B true CN108960202B (zh) 2022-05-10

Family

ID=64465547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810862510.8A Active CN108960202B (zh) 2018-08-01 2018-08-01 一种智能货架、系统、判断商品叠放的方法

Country Status (2)

Country Link
US (1) US11189044B2 (zh)
CN (1) CN108960202B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928403B2 (en) * 2016-02-09 2018-03-27 Molecular Devices, Llc System and method for image analysis of multi-dimensional data
JP2020034830A (ja) * 2018-08-31 2020-03-05 ソニーセミコンダクタソリューションズ株式会社 撮像装置、補正方法及びコンピュータプログラム
TWI675331B (zh) * 2018-08-31 2019-10-21 財團法人工業技術研究院 儲物裝置及儲物方法
CN109784172A (zh) * 2018-12-14 2019-05-21 上海扩博智能技术有限公司 商场中地堆商品占地面积估算方法、系统、设备及介质
CN109754209B (zh) * 2019-01-02 2022-06-17 京东方科技集团股份有限公司 货品摆放区域确定方法及装置
CN109871765B (zh) * 2019-01-16 2020-11-10 创新奇智(上海)科技有限公司 一种基于图像的非标物品堆叠检测方法、系统及电子设备
CN109886112A (zh) * 2019-01-16 2019-06-14 创新奇智(合肥)科技有限公司 一种基于图像的物体识别方法、商品自助收银系统及电子设备
JP7287015B2 (ja) * 2019-03-14 2023-06-06 富士電機株式会社 商品管理システム及び商品管理方法
CN111754145B (zh) * 2019-03-27 2023-11-03 北京京东振世信息技术有限公司 物品存放位置确定方法、装置、物流系统以及存储介质
FR3099020B1 (fr) * 2019-07-15 2022-01-14 Ses Imagotag Dispositif d’imagerie pour un support d’étagère et système d’étagère comprenant le dispositif d’imagerie
US11468665B2 (en) * 2019-08-26 2022-10-11 United States Postal Service Automated measurement utility
CN112611408A (zh) * 2019-10-06 2021-04-06 太原理工大学 一种物品多维信息数据采集装置
CN110991273B (zh) * 2019-11-18 2021-03-19 支付宝(杭州)信息技术有限公司 层板调控设备、方法及装置
CN111582778B (zh) * 2020-04-17 2024-04-12 上海中通吉网络技术有限公司 操作场地货物堆积度量方法、装置、设备及存储介质
EP4158572A2 (en) * 2020-06-01 2023-04-05 Trax Technology Solutions Pte Ltd. Systems and methods for retail environments
CN111882536A (zh) * 2020-07-24 2020-11-03 富德康(北京)科技股份有限公司 一种基于图片对比实现散货数量监测的方法
CN112115913B (zh) * 2020-09-28 2023-08-25 杭州海康威视数字技术股份有限公司 图像处理方法、装置及设备、存储介质
CN112700587A (zh) * 2020-12-21 2021-04-23 湖南中谷科技股份有限公司 售货机货品的盘点方法和售货机
CN112802106B (zh) * 2021-02-05 2024-06-18 梅卡曼德（北京）机器人科技有限公司 对象抓取方法及装置
AU2021240270A1 (en) * 2021-09-13 2023-03-30 Sensetime International Pte. Ltd. Data processing methods, apparatuses and systems, media and computer devices
CN117975075A (zh) * 2022-10-24 2024-05-03 顺丰科技有限公司 一种包裹分类方法、装置及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982332A (zh) * 2012-09-29 2013-03-20 顾坚敏 基于云处理方式的零售终端货架影像智能分析系统
CN105021375A (zh) * 2015-07-29 2015-11-04 山东神戎电子股份有限公司 一种光轴偏移误差补偿方法及测定装置
CN105607635A (zh) * 2016-01-05 2016-05-25 东莞市松迪智能机器人科技有限公司 自动导引车全景光学视觉导航控制系统及全向自动导引车
CN107045641A (zh) * 2017-04-26 2017-08-15 广州图匠数据科技有限公司 一种基于图像识别技术的货架识别方法
CN107224155A (zh) * 2017-07-12 2017-10-03 杨智勇 一种智能货架
CN107742318A (zh) * 2017-09-28 2018-02-27 江门市金佣网有限公司 商品实时三维成像方法及基于实时三维展示的交易系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7693757B2 (en) * 2006-09-21 2010-04-06 International Business Machines Corporation System and method for performing inventory using a mobile inventory robot
US9530060B2 (en) * 2012-01-17 2016-12-27 Avigilon Fortress Corporation System and method for building automation using video content analysis with depth sensing
CN109328359A (zh) * 2016-06-30 2019-02-12 波萨诺瓦机器人知识产权有限公司 用于库存跟踪的多摄像机系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982332A (zh) * 2012-09-29 2013-03-20 顾坚敏 基于云处理方式的零售终端货架影像智能分析系统
CN105021375A (zh) * 2015-07-29 2015-11-04 山东神戎电子股份有限公司 一种光轴偏移误差补偿方法及测定装置
CN105607635A (zh) * 2016-01-05 2016-05-25 东莞市松迪智能机器人科技有限公司 自动导引车全景光学视觉导航控制系统及全向自动导引车
CN107045641A (zh) * 2017-04-26 2017-08-15 广州图匠数据科技有限公司 一种基于图像识别技术的货架识别方法
CN107224155A (zh) * 2017-07-12 2017-10-03 杨智勇 一种智能货架
CN107742318A (zh) * 2017-09-28 2018-02-27 江门市金佣网有限公司 商品实时三维成像方法及基于实时三维展示的交易系统

Also Published As

Publication number Publication date
CN108960202A (zh) 2018-12-07
US20200043192A1 (en) 2020-02-06
US11189044B2 (en) 2021-11-30

Similar Documents

Publication Publication Date Title
CN108960202B (zh) 一种智能货架、系统、判断商品叠放的方法
US11527054B2 (en) Article management system, information processing apparatus, and control method and control program of information processing apparatus
US9877012B2 (en) Image processing apparatus for estimating three-dimensional position of object and method therefor
JP6108159B2 (ja) 情報処理システム、情報処理装置およびその制御方法と制御プログラム
US9390314B2 (en) Methods and apparatus for determining dimensions of an item using 3-dimensional triangulation
JP2020172401A (ja) 倉庫保管マップの高速確定方法、機器、記憶媒体及びロボット
US9098905B2 (en) System and method for determining position of a device
CN109556596A (zh) 基于地面纹理图像的导航方法、装置、设备及存储介质
CN113449532B (zh) 检测包裹的方法、装置、计算设备、物流系统及存储介质
CN109040539B (zh) 图像采集装置、货架及图像识别方法
EP3961149A1 (en) Device, method, and program for detecting position and orientation of object
JP2016192091A (ja) 商品登録装置、制御方法、およびプログラム
US20220262088A1 (en) Image recognition system, image recognition method, and storage medium
US20230385799A1 (en) Article deduction apparatus, article deduction method, and program
CN110889317A (zh) 操作辅助装置
CN112907168A (zh) 动态商品识别方法、无人售货柜及其售货方法
CN111753837A (zh) 学习完毕模型生成方法及其装置、商品判别方法及其装置
Li et al. Using Kinect for monitoring warehouse order picking operations
JP2010243405A (ja) 画像処理用マーカー、それが表示された対象物の位置及び姿勢を検出するための画像処理装置及び画像処理プログラム
CN107742383B (zh) 基于光面成像的自动结算系统及结算方法
JP6773102B2 (ja) 情報処理装置及び情報処理プログラム
EP4298603A1 (en) Information processing apparatus, information processing system, information processing method, and recording medium
WO2021256267A1 (ja) 情報処理システム、情報処理装置、及び、情報処理方法
JPH05157518A (ja) 物体認識装置
CN113538784A (zh) 智能货柜以及物品识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant