CN111667530A - 确定货架展位状态的方法和装置、货架 - Google Patents

确定货架展位状态的方法和装置、货架 Download PDF

Info

Publication number
CN111667530A
CN111667530A CN202010590594.1A CN202010590594A CN111667530A CN 111667530 A CN111667530 A CN 111667530A CN 202010590594 A CN202010590594 A CN 202010590594A CN 111667530 A CN111667530 A CN 111667530A
Authority
CN
China
Prior art keywords
detection data
state
state information
current detection
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010590594.1A
Other languages
English (en)
Other versions
CN111667530B (zh
Inventor
刘童
唐小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010590594.1A priority Critical patent/CN111667530B/zh
Publication of CN111667530A publication Critical patent/CN111667530A/zh
Priority to US17/209,493 priority patent/US11748702B2/en
Application granted granted Critical
Publication of CN111667530B publication Critical patent/CN111667530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)

Abstract

本发明涉及一种确定货架展位状态的方法和装置、货架。该方法包括：获取货架在当前检测周期的当前检测数据；当确定所述当前检测数据满足预设条件时，确定所述当前检测数据中各展位的第一状态信息；当所述当前检测数据中包括第一状态信息为第二状态的目标展位时，获取前一检测周期的前一检测数据中目标展位的第一状态信息；基于各目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定各目标展位的第二状态信息；第二状态信息包括：表示展位缺货的第三状态和表示物品被拿起的第四状态。本实施例可以确定出展位为空时是缺货还是物品被拿起，从而准确的反映出展位的状态，有利于提升交互体验。

Description

确定货架展位状态的方法和装置、货架
技术领域
本发明涉及数据处理技术领域，尤其涉及一种确定货架展位状态的方法和装置、货架。
背景技术
目前，新零售、展陈、银行贵金属展示等场景下已经越来越的使新型货架，通过在货架上的多个展位上放置物品，可以方便用户自助取放。为了方便用户了解货架的存货情况，当物品离开展位时，货架会显示该展位空置，从而保证交互效果。
然而，物品离开展位可能是用户购买该展品，也可能是用户将物品放置到其他位置，即现有的标签空置的方式无法准确的反映出展位的状态，影响到交互体验。
发明内容
本发明提供一种确定货架展位状态的方法和装置、货架，以解决相关技术中存在的问题。
第一方面，本发明实施例提供一种确定货架展位状态的方法，包括：
获取货架在当前检测周期的当前检测数据；所述当前检测数据包括货架中至少一个展位的数据；
当确定所述当前检测数据满足预设条件时，确定所述当前检测数据中各展位的第一状态信息；所述第一状态信息包括：表示展位有物品的第一状态和表示展位没有物品的第二状态；
当所述当前检测数据中包括第一状态信息为第二状态的目标展位时，获取前一检测周期的前一检测数据中目标展位的第一状态信息；
基于各目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定各目标展位的第二状态信息；第二状态信息包括：表示展位缺货的第三状态和表示物品被拿起的第四状态。
可选地，确定所述当前检测数据满足预设条件，包括：
确定所述当前检测数据是否包括运动数据；
当所述当前检测数据中未包括运动数据时，获取所述当前检测数据的时间和包含运动数据的最近一个检测周期的时间之间的第一时间间隔；
当所述第一时间间隔超过第一预设时间间隔时，确定所述当前检测数据满足预设条件。
可选地，所述当前检测数据包括：摄像头采集的当前帧图像；确定所述当前检测数据是否包括运动数据，包括：
获取所述当前帧图像与前一帧图像中同一像素的灰度差值；
统计灰度差值超过预设灰度阈值的像素的个数；
当所述个数与所述当前帧图像中像素的总个数的比例超过预设比例阈值时，确定所述当前帧图像包括表示相对于前一帧图像出现运动的运动数据；否则，确定所述当前帧图像不包括运动数据。
可选地，基于各目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定各目标展位的第二状态信息，包括：
当各目标展位在前一检测数据中的第一状态信息为第二状态时，获取所述当前检测数据的时间和包含运动数据的最近一个检测周期的时间之间的第二时间间隔；
当所述第二时间间隔超过第二预设时间间隔时，确定所述各目标展位的第二状态信息为第三状态。
可选地，基于各目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定各目标展位的第二状态信息，包括：
当各目标展位在前一检测数据中的第一状态信息为第一状态时，确定各目标展位的第二状态信息为第四状态。
第二方面，本发明实施例提供一种确定货架展位状态的装置，包括：
当前数据获取模块，用于获取货架在当前检测周期的当前检测数据；所述当前检测数据包括货架中至少一个展位的数据；
第一状态确定模块，用于当确定所述当前检测数据满足预设条件时，确定所述当前检测数据中各展位的第一状态信息；所述第一状态信息包括：表示展位有物品的第一状态和表示展位没有物品的第二状态；
第一状态获取模块，用于当所述当前检测数据中包括第一状态信息为第二状态的目标展位时，获取前一检测周期的前一检测数据中目标展位的第一状态信息；
第二状态确定模块，用于基于各目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定各目标展位的第二状态信息；第二状态信息包括：表示展位缺货的第三状态和表示物品被拿起的第四状态。
可选地，所述第一状态确定模块包括：
运动数据确定单元，用于确定所述当前检测数据是否包括运动数据；
第一间隔获取单元，用于当所述当前检测数据中未包括运动数据时，获取所述当前检测数据的时间和包含运动数据的最近一个检测周期的时间之间的第一时间间隔；
条件满足确定单元，用于当所述第一时间间隔超过第一预设时间间隔时，确定所述当前检测数据满足预设条件。
可选地，所述当前检测数据包括：摄像头采集的当前帧图像；所述运动数据确定单元包括：
灰度差值获取子单元，用于获取所述当前帧图像与前一帧图像中同一像素的灰度差值；
像素个数统计子单元，用于统计灰度差值超过预设灰度阈值的像素的个数；
运动数据确定子单元，用于当所述个数与所述当前帧图像中像素的总个数的比例超过预设比例阈值时，确定所述当前帧图像包括表示相对于前一帧图像出现运动的运动数据；否则，确定所述当前帧图像不包括运动数据。
可选地，所述第二状态确定模块包括：
第二间隔获取单元，用于当各目标展位在前一检测数据中的第一状态信息为第二状态时，获取所述当前检测数据的时间和包含运动数据的最近一个检测周期的时间之间的第二时间间隔；
第三状态确定单元，用于当所述第二时间间隔超过第二预设时间间隔时，确定所述各目标展位的第二状态信息为第三状态。
可选地，所述第二状态确定模块包括：
第四状态确定单元，用于当各目标展位在前一检测数据中的第一状态信息为第一状态时，确定各目标展位的第二状态信息为第四状态。
第三方面，本发明实施例提供一种货架，包括：货架本体、摄像头和处理器；
所述货架本体上设置有多层，每一层设置有多个展位；
所述摄像头设置在所述货架本体的顶部，其视场角覆盖所述货架本体上的全部展位，用于拍摄至少一个展位的当前帧图像；
所述处理器与所述摄像头连接，用于根据当前帧图像获取各个展位的第一状态信息或第二状态信息。
第四方面，本发明实施例提供一种货架，包括：货架本体、多个压力传感器和处理器；
所述货架本体上设置有多层，每一层设置有多个展位；
所述多个压力传感器中各传感器分别设置在各展位的底部，用于获取展位上方的当前压力数据；
所述处理器与所述多个压力传感器连接，用于根据当前压力数据获取各个展位的第一状态信息或第二状态信息。
可选地，还包括显示器；所述显示器设置在货架本体的预设位置，以使所显示内容被位于所述货架前方的用户观看到。
第五方面，本发明实施例提供一种非瞬态计算机可读存储介质，其上存储有可执行程序，该可执行程序被执行时实现上述所述方法的步骤。
本实施例中可以获取货架在当前检测周期的当前检测数据；然后，当确定所述当前检测数据满足预设条件时，可以确定当前检测数据中各展位的第一状态信息；所述第一状态信息包括：表示展位有物品的第一状态和表示展位没有物品的第二状态；之后，当所述当前检测数据中包括第一状态信息为第二状态的目标展位时，获取前一检测周期的前一检测数据中目标展位的第一状态信息；最后，基于各目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定各目标展位的第二状态信息；第二状态信息包括：表示展位缺货的第三状态和表示物品被拿起的第四状态。这样，本实施例中可以确定出展位包括第一状态、第三状态和第四状态共3个状态，即本实施例可以确定出展位为空时是缺货还是物品被拿起，从而准确的反映出展位的状态，有利于提升交互体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本发明实施例示出的一种货架的示意图。
图2是本发明实施例示出的一种摄像头安装位置的示意图。
图3是本发明实施例示出的另一种摄像头安装位置的示意图。
图4是本发明实施例示出的另一种货架的示意图。
图5是本发明实施例示出的一种确定货架展位状态的方法的流程图。
图6是本发明实施例示出的确定当前检测数据是否满足预设条件的流程图。
图7是本发明实施例示出的确定当前检测数据中是否包括运动数据的流程图。
图8是本发明实施例示出的确定目标展位的第二状态信息的流程图。
图9是本发明实施例示出的一种显示展位状态信息的效果示意图。
图10是本发明实施例示出的一种应用场景图。
图11是本发明实施例示出的一种确定货架展位状态的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的方式并不代表与本发明相一致的方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
针对相关技术中存在的技术问题，本发明实施例提供了一种货架，参见图1，货架1包括货架本体10、摄像头20和处理器30。其中，
货架本体10上设置有多层，每一层设置有多个展位，效果如图1中的展位11、12、13、21、23、……、和53。其中，展位的第一位表示所在层数，第二位表示展位的序数，如展位11表示第1层的第1个展位。
摄像头20设置在货架本体10的顶部，其视场角(四条倾斜虚线围成的空间范围)覆盖货架本体10上的全部展位，用于拍摄至少一个展位的当前帧图像。
处理器30与摄像头20连接，用于根据当前帧图像获取各个展位的第一状态信息或第二状态信息。第一状态信息包括：表示展位有物品的第一状态和表示展位没有物品的第二状态，第二状态信息包括：表示展位缺货的第三状态和表示物品被拿起的第四状态。
在一实施例中，货架1还包括显示器40，该显示器40采用以下方式：LCD显示屏、LED显示屏、或者OLED显示屏。该显示器40可以设置在货架本体10的预设位置，以使所显示内容被位于货架1前方的用户观看到。例如，上述预设位置的中心点可以是用户站立时与用户视线平齐。考虑到用户的身高大约在120～200cm之间，上述预设位置的高度可以设置到130-170cm之间。
需要说明的是，摄像头20和处理器30采用虚线框表示，表示其位置是设置在显示屏40的后方，用户在观看显示内容时无法直接看到上述摄像头20和处理器30。具体实现时，摄像头20还可以设置在货架1底部的一层上，并使其视场角覆盖各个展位，同样可以实现上述方案。
需要说明的是，具体实现时，摄像头20可以自动调整焦距，从而使视场角覆盖要拍摄的至少一个展位，这样，当前检测数据可以包括至少一个展位的数据。或者，摄像头还可以拍摄包含全部展位的图像，处理器20对图像进行分割，得到至少一个展位的图像。技术人员可以根据具体场景选择合适的方式，在能够得到至少一个展位的当前检测数据的情况下，各方案落入本发明的保护范围。或者，可以在货架本体10上的各层均设置一个摄像头20，效果如图2和图3所示，图2中摄像头20均设置在各层的顶部，图3中摄像头20均设置在各层的底部。
本发明实施例提供了另一种货架，参见图4，货架1包括货架本体10、压力传感器20’和处理器30。其中，该货架1与图1所示货架1的区别在于，在各个展位设置有压力传感器20’，当物品放置到展位时，压力传感器20’可以检测到超过压力阈值的压力数据；当展位没有物品时，压力传感器20’可以检测到小于压力阈值的压力数据。其他相同部件可以参考图1所示实施例的内容，在此不再赘述。
基于图1和图4所示货架，本发明实施例还提供了一种确定货架展位状态的方法，图5是本发明实施例示出的一种确定货架展位状态的方法的流程图。参见图5，一种确定货架展位状态的方法，包括步骤51～步骤54：
在步骤51中，获取货架在当前检测周期的当前检测数据；所述当前检测数据包括货架中至少一个展位的数据。
本示例中，处理器30可以实时地或者周期性地获取货架在当前检测周期的当前检测数据。其中，处理器30可以采用服务器或嵌入式系统实现，在此不作限定。
具体实现时，采集当前检测数据的设备可以是摄像头或者压力传感器。例如，在图1所示货架中，摄像头20实时地或者周期性地获取至少一个展位的当前帧图像，该当前帧图像即是当前检测数据。又如，在图2所示货架中，压力传感器20’实时地或者周期性地获取至少一个展位的压力数据，得到当前检测周期的当前压力数据，该当前压力数据即是当前检测数据。
在步骤52中，当确定所述当前检测数据满足预设条件时，确定所述当前检测数据中各展位的第一状态信息；所述第一状态信息包括：表示展位有物品的第一状态和表示展位没有物品的第二状态。
本示例中，处理器30可以确定步骤31获取的当前检测数据是否满足预设条件，参见图6，包括步骤61～步骤63：
在步骤61中，处理器30可以确定当前检测数据是否包括运动数据。其中，运动数据是指当前检测数据与前一检测周期的检测数据中同一展位的数据变化超过阈值时，确定当前检测数据中该展位的数据为运动数据。
本示例中，以当前检测数据是当前帧图像为例来分析确定是否为包括运动数据，参见图7，包括步骤71～步骤73：
在步骤71中，处理器30可以获取当前帧图像与前一帧图像中同一像素的灰度差值。在步骤72中，处理器30可以统计灰度差值超过预设灰度阈值的像素的个数。具体实现时，上述预设灰度阈值可以设置为50。在步骤73中，当上述个数与当前帧图像中像素的总个数的比例超过预设比例阈值时，处理器30可以确定当前帧图像包括表示相对于前一帧图像出现运动的运动数据；否则，处理器30可以确定当前帧图像不包括运动数据。具体实现时，上述预设比例阈值可以设置为30％。
需要说明的是，步骤71～步骤73中，处理器30可以对整帧图像进行运动检测。当然，处理器30可以从当前帧图像中获取到各个展位的子图像，然后针对各个子图像执行步骤71～步骤73，由于展位的子图像去除了背景的区域，面积更小，处理速度较快。技术人员可以根据具体场景选用合适的方案，在此不作限定。
在步骤62中，当当前检测数据中未包括运动数据时，处理器30可以获取当前检测数据的时间和包含运动数据的最近一个检测周期的时间之间的第一时间间隔。其中，最近一个检测周期是指当前检测周期的前一个检测周期，由于各检测周期内所获得的检测数据可能包括运动数据，也可能未包括运动数据，因此，包含运动数据的最近一个检测周期是指与当前检测周期的检测时间之间间隔最短的一个包含运动数据的检测数据所对应的检测周期，即当前检测周期与包含运动数据的最近一个检测周期之间的检测数据均未包含运动数据。
在步骤63中，当第一时间间隔超过第一预设时间间隔时，处理器30可以确定当前检测数据满足预设条件。
分析图6所示实施例指出，预设条件是指，在当前检测数据为当前帧图像的情况下，当前检测数据中未包含运动数据且之前的第一预设时间间隔内的检测数据也不包含运动数据。
可理解的是，当当前检测数据是由货架中压力传感器采集压力数据，考虑到物品被拿起也就是一瞬间的动作，因此，此场景下可以不对当前检测数据进行运动检测。换言之，预设条件是指，在当前检测数据为当前压力数据的情况下，无需进行运动检测。
本示例中，货架1中可以预先存储一个状态判别器。该状态判别器可以采用神经网络模型实现，也可以采用模板相差的模型实现，可以根据具体场景进行设置。处理器30可以将当前检测数据输入到状态判别器，并获取到状态判别器输出的各展位的第一状态信息，例如第一状态信息可以是表示展位有物品的第一状态，又如，第一状态信息可以是表示展位没有物品的第二状态。
以模板相差的模型为例，该状态判别器可以包括一下标准模板，该标准模板即是所有展位上均未放置物品时所采集的检测数据。以图像为例，标准模板中各展位是空的，状态判别器当前帧图像减去标准模板即可得到差值图像；如果一个展位上的像素灰度差值均比较大(例如超过预设的10个灰度)，则说明展位上放置有物品；如果一个展位上像素灰度差值均比较小(小于10个灰度)，则说明展位上没有放置物品，即展位是空的。上述设置10个灰度是为了匹配不同光线下所拍摄图像的偏差。以压力为例，标准模板中各展位是空的，状态判别器当前压力数据减去标准模板即可得到差值压力；如果一个展位上的差值压力比较大(例如超过预设的10克)，则说明展位上放置有物品；如果一个展位上的差值压力比较小(小于10克)，则说明展位上没有放置物品，即展位是空的。
以神经网络模型为例，可以获取一定数量的训练样本，各训练样本中每个展位均进行了标注(如有物品或者无物品)。然后，利用上述训练样本对神经网络模型进行训练，在损失函数计算出的损失值小于或等于损失阈值后停止训练。这样，可以将当前检测数据输入到神经网络模型，由神经网络模型确定出各展位的第一状态信息。
以模板匹配的模型为例，该状态判别器可以包括一下标准模板，该标准模板即是所有展位上均未放置物品时所采集的检测数据。然后，状态判别器可以获取当前帧图像中各个展位和标准模板中对应展位的相似度，相似度计算可以采用相关技术中的余弦公式。之后，状态判别器可以对比计算出的相似度和预设的相似度阈值(如0.9)，当相似度大于或等于相似度阈值时，确定当前帧图像中各展位和标准模板对应展位相似，否则不相似。即在展位相似时，处理器30可以确定展位没有物品；在展位不相似时，处理器30可以确定展位有物品，从而得到第一状态信息。
需要说明的是，当货架上设置摄像头或者压力传感器，即当前检测数据是图像数据或者压力数据时，均可以采用上述状态判别器来实现获得第一状态信息的效果。当货架上同时设置摄像头和压力传感器时，该压力传感器可以用于辅助检测，例如，当确定出第一状态信息为表示展位没有物品的第二状态，可能包括展位上物品与背景的颜色非常相似(如均是白色的)，此时得到第一状态信息可能会不准确，为此，处理器30可以获取第二状态的各展位的压力数据，如果压力数据小于或等于预设的压力阈值，说明展位上是没有物品，确定第二状态是准确且可信的；如果压力数据大于预设的压力阈值，说明展位上有物品，确定第二状态是不准确，此时处理器30可以将该展位的第一状态信息调整为第一状态。也就是说，处理器30可以利用压力数据对各个第二状态的展位进行辅助校验，从而解决物品与背景颜色相同或者相近引起的第一状态信息的问题，有利于提升检测的准确度。
实际应用中，处理器30可以对其中的满足要求的一部分展位采用压力辅助校验。以模板匹配的模型为例，该状态判别器在确定出第一状态信息时，会提供计算出的相似度。此时，只有在相似度小于相似度，且相似度与相似度的差值小于差值阈值时，如相似度阈值是0.9，差值阈值是0.05，那么当相似度在0.9-0.85之间时，才进行压力辅助校验，从而减少计算量。
在步骤53中，当所述当前检测数据中包括第一状态信息为第二状态的目标展位时，获取前一检测周期的前一检测数据中目标展位的第一状态信息。
本示例中，处理器30可以获取当前检测数据中第一状态信息为第二状态的展位，后称之为目标展位。然后，处理器30可以获取当前检测周期的前一检测周期的前一检测数据，获取该前一检测数据中各目标展位的第一状态信息。
在步骤54中，基于各目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定各目标展位的第二状态信息；第二状态信息包括：表示展位缺货的第三状态和表示物品被拿起的第四状态。
本示例中，处理器30可以基于各目标展位在当前检测数据和前一检测数据中的第一状态信息，确定出各目标展位的第二状态信息，参见图8，包括步骤81～步骤82：
在步骤81中，处理器30可以确定各目标展位在前一检测数据中的第一状态信息是否为第二状态。当各目标展位在前一检测数据中的第一状态信息为第二状态时，处理器30可以获取当前检测数据的时间和包含运动数据的最近一个检测周期的时间之间的第二时间间隔。在步骤82中，当第二时间间隔超过第二预设时间间隔时，处理器30可以确定各目标展位的第二状态信息为第三状态。
具体实现时，步骤81中还包括，当第二时间间隔超过第二预设时间间隔时，确定各目标展位的第二状态信息为第三状态。
本示例中，处理器30还可以控制显示器40显示各展位的状态信息，效果如图9所示。
至此，本实施例中可以获取货架在当前检测周期的当前检测数据；然后，当确定所述当前检测数据满足预设条件时，可以确定当前检测数据中各展位的第一状态信息；所述第一状态信息包括：表示展位有物品的第一状态和表示展位没有物品的第二状态；之后，当所述当前检测数据中包括第一状态信息为第二状态的目标展位时，获取前一检测周期的前一检测数据中目标展位的第一状态信息；最后，基于各目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定各目标展位的第二状态信息；第二状态信息包括：表示展位缺货的第三状态和表示物品被拿起的第四状态。这样，本实施例中可以确定出展位包括第一状态、第三状态和第四状态共3个状态，即本实施例可以确定出展位为空时是缺货还是物品被拿起，从而准确的反映出展位的状态，有利于提升交互体验。
下面结合货架上设置摄像头的场景，来描述一种确定货架展位状态的方法，参见图10，包括：
一，准备阶段：
1、在货架前端安装摄像头，摄像头向货架内拍摄，处理器可以实时提取摄像头图像。
2、将图像划分为不同的物品区域，分别处理。
3、提取标准模板，即标准模板是空货架图像，并得到每个物品区域背景图像数据。
4、训练状态判别器，以判断每个展位为空还是有物品。
二，运行阶段
1、处理器从摄像头读取一帧图像作为当前帧图像。
2、处理器对当前帧图像进行运动检测。
3、处理器在确定当前帧图像包括运动数据时，更新“最后运动时间”，结束当前帧图像的处理，返回步骤1。
4、在确定当前帧图像不包括运动数据时，计算当前检测时间和“最后运动时间”的时间间隔，即第一时间间隔。
5、如果第一时间间隔小于或等于第一预设时间间隔(如0.3秒)，结束当前帧图像的处理，返回步骤1。
6、如果第一时间间隔大于第一预设时间间隔，处理器确定包括运动结束，确定当前帧图像中各展位的第一状态信息，即展位上放置物品(第一状态或者空置(第二状态)。
7、如果步骤6的判断结果不是空置，处理器可以更新展位的状态信息为第一状态，并结束当前帧图像的处理，返回步骤1。
8、如果步骤6的判断结果是空置，处理器可以判断该展位在前一状态数据中是否为空置。
9、如果步骤8的判断结果不是空置，那么更新“拿起时间”为当前帧时间，确定第二状态信息为第四状态(即被拿起)，并结束当前帧图像的处理，返回步骤1。
10、如果步骤8的判断结果是空置，那么判断当前帧时间距离“拿起时间”之间的时间间隔(即第二预设时间间隔，如5分钟)是否足够长，如果足够长，则确定第二状态信息为第三状态(即缺货)。
需要说明的是，上述第一预设时间间隔和第二预设时间间隔可以根据不同场景进行设置，例如对及时要求较高的场景，可以设得较短，比如10秒钟；反之则可以设得较长，比如五分钟甚至一小时。
在上述一种确定货架展位状态的的方法的基础上，本发明实施例还提供了一种确定货架展位状态的装置，参见图11，包括：
当前数据获取模块111，用于获取货架在当前检测周期的当前检测数据；所述当前检测数据包括货架中至少一个展位的数据；
第一状态确定模块112，用于当确定所述当前检测数据满足预设条件时，确定所述当前检测数据中各展位的第一状态信息；所述第一状态信息包括：表示展位有物品的第一状态和表示展位没有物品的第二状态；
第一状态获取模块113，用于当所述当前检测数据中包括第一状态信息为第二状态的目标展位时，获取前一检测周期的前一检测数据中目标展位的第一状态信息；
第二状态确定模块114，用于基于各目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定各目标展位的第二状态信息；第二状态信息包括：表示展位缺货的第三状态和表示物品被拿起的第四状态。
在一实施例中，所述第一状态确定模块包括：
运动数据确定单元，用于确定所述当前检测数据是否包括运动数据；
第一间隔获取单元，用于当所述当前检测数据中未包括运动数据时，获取所述当前检测数据的时间和包含运动数据的最近一个检测周期的时间之间的第一时间间隔；
条件满足确定单元，用于当所述第一时间间隔超过第一预设时间间隔时，确定所述当前检测数据满足预设条件。
在一实施例中，所述当前检测数据包括：摄像头采集的当前帧图像；所述运动数据确定单元包括：
灰度差值获取子单元，用于获取所述当前帧图像与前一帧图像中同一像素的灰度差值；
像素个数统计子单元，用于统计灰度差值超过预设灰度阈值的像素的个数；
运动数据确定子单元，用于当所述个数与所述当前帧图像中像素的总个数的比例超过预设比例阈值时，确定所述当前帧图像包括表示相对于前一帧图像出现运动的运动数据；否则，确定所述当前帧图像不包括运动数据。
在一实施例中，所述第二状态确定模块包括：
第二间隔获取单元，用于当各目标展位在前一检测数据中的第一状态信息为第二状态时，获取所述当前检测数据的时间和包含运动数据的最近一个检测周期的时间之间的第二时间间隔；
第三状态确定单元，用于当所述第二时间间隔超过第二预设时间间隔时，确定所述各目标展位的第二状态信息为第三状态。
在一实施例中，所述第二状态确定模块包括：
第四状态确定单元，用于当各目标展位在前一检测数据中的第一状态信息为第一状态时，确定各目标展位的第二状态信息为第四状态。
需要说明的是，本实施例提供的一种确定货架展位状态的装置与上述一种确定货架展位状态的方法相对应，其详细内容请参考各方法实施例的内容，在此不再赘述。
本发明实施例还提供了一种非瞬态计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述智能交互方法各实施例的步骤。
在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。在本发明中，虚线连接的两个部件是存在电连接或者接触关系的，采用虚线仅是为了使附图更清楚，更易理解本发明的方案。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (14)

1.一种确定货架展位状态的方法，其特征在于，包括：
获取货架在当前检测周期的当前检测数据；所述当前检测数据包括货架中至少一个展位的数据；
当确定所述当前检测数据满足预设条件时，确定所述当前检测数据中各展位的第一状态信息；所述第一状态信息包括：表示展位有物品的第一状态和表示展位没有物品的第二状态；
当所述当前检测数据中包括第一状态信息为第二状态的目标展位时，获取前一检测周期的前一检测数据中目标展位的第一状态信息；
基于各目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定各目标展位的第二状态信息；第二状态信息包括：表示展位缺货的第三状态和表示物品被拿起的第四状态。
2.根据权利要求1所述的方法，其特征在于，确定所述当前检测数据满足预设条件，包括：
确定所述当前检测数据是否包括运动数据；
当所述当前检测数据中未包括运动数据时，获取所述当前检测数据的时间和包含运动数据的最近一个检测周期的时间之间的第一时间间隔；
当所述第一时间间隔超过第一预设时间间隔时，确定所述当前检测数据满足预设条件。
3.根据权利要求2所述的方法，其特征在于，所述当前检测数据包括：摄像头采集的当前帧图像；确定所述当前检测数据是否包括运动数据，包括：
获取所述当前帧图像与前一帧图像中同一像素的灰度差值；
统计灰度差值超过预设灰度阈值的像素的个数；
当所述个数与所述当前帧图像中像素的总个数的比例超过预设比例阈值时，确定所述当前帧图像包括表示相对于前一帧图像出现运动的运动数据；否则，确定所述当前帧图像不包括运动数据。
4.根据权利要求1所述的方法，其特征在于，基于各目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定各目标展位的第二状态信息，包括：
当各目标展位在前一检测数据中的第一状态信息为第二状态时，获取所述当前检测数据的时间和包含运动数据的最近一个检测周期的时间之间的第二时间间隔；
当所述第二时间间隔超过第二预设时间间隔时，确定所述各目标展位的第二状态信息为第三状态。
5.根据权利要求1所述的方法，其特征在于，基于各目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定各目标展位的第二状态信息，包括：
当各目标展位在前一检测数据中的第一状态信息为第一状态时，确定各目标展位的第二状态信息为第四状态。
6.一种确定货架展位状态的装置，其特征在于，包括：
当前数据获取模块，用于获取货架在当前检测周期的当前检测数据；所述当前检测数据包括货架中至少一个展位的数据；
第一状态确定模块，用于当确定所述当前检测数据满足预设条件时，确定所述当前检测数据中各展位的第一状态信息；所述第一状态信息包括：表示展位有物品的第一状态和表示展位没有物品的第二状态；
第一状态获取模块，用于当所述当前检测数据中包括第一状态信息为第二状态的目标展位时，获取前一检测周期的前一检测数据中目标展位的第一状态信息；
第二状态确定模块，用于基于各目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定各目标展位的第二状态信息；第二状态信息包括：表示展位缺货的第三状态和表示物品被拿起的第四状态。
7.根据权利要求6所述的装置，其特征在于，所述第一状态确定模块包括：
运动数据确定单元，用于确定所述当前检测数据是否包括运动数据；
第一间隔获取单元，用于当所述当前检测数据中未包括运动数据时，获取所述当前检测数据的时间和包含运动数据的最近一个检测周期的时间之间的第一时间间隔；
条件满足确定单元，用于当所述第一时间间隔超过第一预设时间间隔时，确定所述当前检测数据满足预设条件。
8.根据权利要求7所述的装置，其特征在于，所述当前检测数据包括：摄像头采集的当前帧图像；所述运动数据确定单元包括：
灰度差值获取子单元，用于获取所述当前帧图像与前一帧图像中同一像素的灰度差值；
像素个数统计子单元，用于统计灰度差值超过预设灰度阈值的像素的个数；
运动数据确定子单元，用于当所述个数与所述当前帧图像中像素的总个数的比例超过预设比例阈值时，确定所述当前帧图像包括表示相对于前一帧图像出现运动的运动数据；否则，确定所述当前帧图像不包括运动数据。
9.根据权利要求6所述的装置，其特征在于，所述第二状态确定模块包括：
第二间隔获取单元，用于当各目标展位在前一检测数据中的第一状态信息为第二状态时，获取所述当前检测数据的时间和包含运动数据的最近一个检测周期的时间之间的第二时间间隔；
第三状态确定单元，用于当所述第二时间间隔超过第二预设时间间隔时，确定所述各目标展位的第二状态信息为第三状态。
10.根据权利要求6所述的装置，其特征在于，所述第二状态确定模块包括：
第四状态确定单元，用于当各目标展位在前一检测数据中的第一状态信息为第一状态时，确定各目标展位的第二状态信息为第四状态。
11.一种货架，其特征在于，包括：货架本体、摄像头和处理器；
所述货架本体上设置有多层，每一层设置有多个展位；
所述摄像头设置在所述货架本体的顶部，其视场角覆盖所述货架本体上的全部展位，用于拍摄至少一个展位的当前帧图像；
所述处理器与所述摄像头连接，用于根据当前帧图像获取各个展位的第一状态信息或第二状态信息。
12.一种货架，其特征在于，包括：货架本体、多个压力传感器和处理器；
所述货架本体上设置有多层，每一层设置有多个展位；
所述多个压力传感器中各传感器分别设置在各展位的底部，用于获取展位上方的当前压力数据；
所述处理器与所述多个压力传感器连接，用于根据当前压力数据获取各个展位的第一状态信息或第二状态信息。
13.根据权利要求11或12所述的货架，其特征在于，还包括显示器；所述显示器设置在货架本体的预设位置，以使所显示内容被位于所述货架前方的用户观看到。
14.一种非瞬态计算机可读存储介质，其上存储有可执行程序，其特征在于，该可执行程序被执行时实现权利要求1～5任一项所述方法的步骤。
CN202010590594.1A 2020-06-24 2020-06-24 确定货架展位状态的方法和装置、货架 Active CN111667530B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010590594.1A CN111667530B (zh) 2020-06-24 2020-06-24 确定货架展位状态的方法和装置、货架
US17/209,493 US11748702B2 (en) 2020-06-24 2021-03-23 Methods of determining status of position in shelf, shelves and non-transitory computer-readable storage media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010590594.1A CN111667530B (zh) 2020-06-24 2020-06-24 确定货架展位状态的方法和装置、货架

Publications (2)

Publication Number Publication Date
CN111667530A true CN111667530A (zh) 2020-09-15
CN111667530B CN111667530B (zh) 2024-06-04

Family

ID=72389936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010590594.1A Active CN111667530B (zh) 2020-06-24 2020-06-24 确定货架展位状态的方法和装置、货架

Country Status (2)

Country Link
US (1) US11748702B2 (zh)
CN (1) CN111667530B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313044A (zh) * 2021-06-10 2021-08-27 苏州威联加信息科技有限公司 一种通过视觉判断货位是否有货的方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220084005A1 (en) * 2020-09-17 2022-03-17 Kooick Inc. Hardware system for identifying grab-and-go transactions in a cashierless store

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339736A (zh) * 2016-08-31 2017-01-18 北京慕加投资有限公司 重力感应货柜系统
CN108648036A (zh) * 2018-03-30 2018-10-12 厦门致联科技有限公司 一种货架上的商品识别方法、系统及存储介质
CN109330284A (zh) * 2018-09-21 2019-02-15 京东方科技集团股份有限公司 一种货架系统
CN110472515A (zh) * 2019-07-23 2019-11-19 阿里巴巴集团控股有限公司 货架商品检测方法及系统
US20200005225A1 (en) * 2018-06-29 2020-01-02 Focal Systems, Inc. On-shelf image based out-of-stock detection

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953055A (en) * 1996-08-08 1999-09-14 Ncr Corporation System and method for detecting and analyzing a queue
US10268983B2 (en) * 2013-06-26 2019-04-23 Amazon Technologies, Inc. Detecting item interaction and movement
CN104751807B (zh) * 2015-03-05 2017-05-17 青岛海信电器股份有限公司 一种背光亮度调节方法、装置及液晶显示装置
US10853757B1 (en) * 2015-04-06 2020-12-01 Position Imaging, Inc. Video for real-time confirmation in package tracking systems
WO2018163547A1 (ja) * 2017-03-06 2018-09-13 日本電気株式会社 商品監視装置、商品監視システム、出力先装置、商品監視方法、表示方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339736A (zh) * 2016-08-31 2017-01-18 北京慕加投资有限公司 重力感应货柜系统
CN108648036A (zh) * 2018-03-30 2018-10-12 厦门致联科技有限公司 一种货架上的商品识别方法、系统及存储介质
US20200005225A1 (en) * 2018-06-29 2020-01-02 Focal Systems, Inc. On-shelf image based out-of-stock detection
CN109330284A (zh) * 2018-09-21 2019-02-15 京东方科技集团股份有限公司 一种货架系统
CN110472515A (zh) * 2019-07-23 2019-11-19 阿里巴巴集团控股有限公司 货架商品检测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313044A (zh) * 2021-06-10 2021-08-27 苏州威联加信息科技有限公司 一种通过视觉判断货位是否有货的方法及系统

Also Published As

Publication number Publication date
US11748702B2 (en) 2023-09-05
CN111667530B (zh) 2024-06-04
US20210406813A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
KR102510679B1 (ko) 목표물 위치 결정 시스템 및 위치 결정 방법
US11501614B2 (en) Skip-scanning identification method, apparatus, and self-service checkout terminal and system
CN111626681B (zh) 一种用于库存管理的图像识别系统
CN109726759B (zh) 无人售货方法、装置、系统、电子设备及计算机可读介质
US20180101810A1 (en) Method and system for providing information of stored object
CN107018323B (zh) 控制方法、控制装置和电子装置
CN111667530A (zh) 确定货架展位状态的方法和装置、货架
CN108140209A (zh) 信息处理装置、信息处理方法和其中存储有程序的记录介质
CN110895747B (zh) 商品信息识别、显示、信息关联、结算方法及系统
CN111539468B (zh) 一种自动售卖设备的货物清点方法
CN114898249A (zh) 用于购物车内商品数量确认的方法、系统及存储介质
US20170300971A1 (en) Information Processing System, Information Processing Apparatus, and Information Processing Method
CN111428743A (zh) 商品识别方法、商品处理方法、装置及电子设备
CN111753728A (zh) 确定货架展位状态的方法和装置、货架
JP2009140234A (ja) 自動販売機
CN111429194B (zh) 用户轨迹确定系统、方法、装置及服务器
JP2019163172A (ja) システム、情報処理装置、情報処理方法、プログラム及び記録媒体
CN112365315B (zh) 商品展示位置推荐方法、装置、系统以及存储介质
CN110766646A (zh) 展示架遮挡检测方法、装置以及存储介质
US20200012878A1 (en) Image recognition system, image recognition method, and storage medium
CN110781780A (zh) 空置检测方法及相关装置
CN110765815B (zh) 展示架遮挡检测方法和装置
US20220079484A1 (en) Evaluation device, evaluation method, and medium
IL308975A (en) Using 3D information from simultaneous localization and mapping to optimize the training and use of deep neural networks for the identification and tracking of 3D objects
JP2009151409A (ja) マーケティングデータ分析方法、マーケティングデータ分析システム、データ分析サーバ装置およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant