CN112052707A - 物品检测系统、方法及装置 - Google Patents
物品检测系统、方法及装置 Download PDFInfo
- Publication number
- CN112052707A CN112052707A CN201910492893.9A CN201910492893A CN112052707A CN 112052707 A CN112052707 A CN 112052707A CN 201910492893 A CN201910492893 A CN 201910492893A CN 112052707 A CN112052707 A CN 112052707A
- Authority
- CN
- China
- Prior art keywords
- article
- placing
- taking
- image data
- cabinet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 61
- 239000003550 marker Substances 0.000 claims description 72
- 230000003287 optical effect Effects 0.000 claims description 44
- 239000013598 vector Substances 0.000 claims description 26
- 238000003860 storage Methods 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 7
- 238000000429 assembly Methods 0.000 claims description 2
- 230000000712 assembly Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 10
- 230000009471 action Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 239000000463 material Substances 0.000 description 6
- 238000007639 printing Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 229910002804 graphite Inorganic materials 0.000 description 2
- 239000010439 graphite Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229920000139 polyethylene terephthalate Polymers 0.000 description 2
- 239000005020 polyethylene terephthalate Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- -1 Polyethylene Terephthalate Polymers 0.000 description 1
- 239000011358 absorbing material Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
Abstract
本申请公开了一种物品检测系统、方法及装置。物品检测方法，包括：获取针对物品取放柜的物品取放触发数据；当基于触发数据确定物品取放柜处于物品取放触发状态时，基于物品取放触发数据确定取放区域；获取与物品取放时刻相关的图像，基于与物品取放时刻相关的图像得到目标图像数据；将取放区域的信息及目标图像数据发送至云端，由云端基于取放区域的信息及目标图像数据确定物品取放信息。以本地与云端相结合的方式，基于与物品取放时刻相关的图像得到的目标图像数据、取放区域的信息来确定物品取放信息，与利用视频图像进行动作姿态分析和物品识别相比，减少了分析的数据量，从而降低了计算量，提高了检测效率。
Description
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种物品检测系统、方法及装置。
背景技术
随着人工智能的发展，无人物品取放柜逐渐被广泛应用。例如，通过无人物品取放柜可以用来存放待售物品，在有购买需求时，人们可以从该无人物品取放柜中将物品取出，后续还可以由管理人员向该无人物品取放柜中补充物品。因此，如何实现物品检测，是一个比较关键的问题。
相关技术提供了一种无人货柜系统，其通过视频分析识别用户的物品取放动作及其取放的物品种类和数量，从而判断取放的物品种类和数量，达到物品检测的目的。
然而，该方法需要对视频进行处理，对系统计算能力有很高的要求，计算量大，导致检测效率较低。
发明内容
本申请实施例提供了一种物品检测系统、方法及装置，可用于解决相关技术中的问题。所述技术方案如下：
一方面，本申请实施例提供了一种物品检测系统，所述系统包括：物品取放柜和云服务器，所述物品取放柜与所述云服务器连接；所述物品取放柜包括一个或多个触发组件，一个或多个图像传感器和收发器；
所述触发组件，用于获取针对物品取放柜的物品取放触发数据，当基于所述触发数据确定所述物品取放柜处于物品取放触发状态时，基于所述物品取放触发信号确定取放区域；所述一个或多个图像传感器，用于采集与物品取放时刻相关的图像；所述收发器，用于将所述取放区域的信息及基于所述图像得到的目标图像数据发送至所述云服务器；
所述云服务器，用于基于所述取放区域的信息及所述目标图像数据确定物品取放信息。
可选地，所述物品取放柜还包括：红外对射单元，所述红外对射单元设置于所述物品取放柜的出入口；
所述触发组件，用于基于所述红外对射单元发射的红外信号检测红外截断信号；当检测到红外截断信号数量变化时，确定所述物品取放柜处于物品取放状态。
可选地，所述一个或多个图像传感器，还用于采集所述物品取放柜的出入口的当前图像；
所述触发组件，用于基于所述当前图像获取光流向量；当所述出入口区域出现取放操作方向的光流向量时，确定所述物品取放柜处于物品取放触发状态。
可选地，所述物品取放柜的出入口边缘具有标志物；
所述一个或多个图像传感器，还用于采集所述物品取放柜的出入口的当前图像；
所述触发组件，用于在所述当前图像中检测标志物信息；基于检测结果检测确定所述物品取放柜是否处于物品取放触发状态。
可选地，当所述一个或多个图像传感器包括一个相机时，所述一个相机设置于所述物品取放柜的出入口，所述一个相机的监控区域覆盖整个出入口，且所述相机的光轴方向平行于所述出入口；
当所述一个或多个图像传感器包括多个相机时，每个相机的监测区域覆盖所述物品取放柜的出入口的一部分，所述多个相机的监测区域覆盖所述物品取放柜的整个出入口，且每个相机的光轴方向平行于所述出入口。
可选地，所述物品取放柜，还包括一个或多个处理器，所述一个或多个处理器用于对所述与物品取放时刻相关的图像进行物品检测，得到物品所在区域的局域图像数据及所述局域图像数据的坐标；所述收发器，用于将所述物品所在区域的局域图像数据及所述局域图像数据的坐标作为目标图像数据发送至所述云服务器；
所述云服务器，用于基于所述取放区域的信息、物品所在区域的局域图像数据及所述局域图像数据的坐标确定物品取放信息。
还提供了一种物品检测方法，所述方法包括：
获取针对物品取放柜的物品取放触发数据；
当基于所述触发数据确定所述物品取放柜处于物品取放触发状态时，基于所述物品取放触发数据确定取放区域；
获取与物品取放时刻相关的图像，基于所述与物品取放时刻相关的图像得到目标图像数据；
将所述取放区域的信息及所述目标图像数据发送至云端，由所述云端基于所述取放区域的信息及目标图像数据确定物品取放信息。
可选地，所述物品取放柜的出入口两侧具有红外对射单元；
所述获取针对所述物品取放柜的物品取放触发数据，包括：
获取所述红外对射单元发射的红外信号；
所述获取针对所述物品取放柜的物品取放触发数据之后，还包括：
基于所述红外对射单元发射的红外信号检测红外截断信号；
当检测到红外截断信号数量变化时，确定所述物品取放柜处于物品取放触发状态。
可选地，所述物品取放柜的出入口具有相机，所述相机的视场角覆盖所述出入口，且所述相机的光轴方向平行于所述出入口；
所述获取针对所述物品取放柜的物品取放触发数据，包括：
获取所述相机采集到的所述出入口的当前图像；
所述获取针对所述物品取放柜的物品取放触发数据之后，还包括：
基于所述相机采集到的所述出入口的当前图像，获取光流向量；
当所述出入口区域出现取放操作方向的光流向量时，确定所述物品取放柜处于物品取放触发状态。
可选地，所述物品取放柜的出入口边缘具有标志物；
所述获取针对所述物品取放柜的物品取放触发数据，包括：
获取所述相机采集到的所述物品取放柜的出入口的当前图像；
所述获取针对所述物品取放柜的物品取放触发数据之后，还包括：
在所述当前图像中检测标志物信息；
基于检测结果确定所述物品取放柜是否处于物品取放触发状态。
可选地，所述获取与物品取放时刻相关的图像，包括：
获取所述物品取放时刻的图像，或者，所述物品取放时刻前后参考数量的图像。
可选地，所述基于所述与物品取放时刻相关的图像得到目标图像数据，包括：
获取所述与物品取放时刻相关的图像中的全部图像数据，将所述全部图像数据作为目标图像数据。
可选地，所述基于所述与物品取放时刻相关的图像得到目标图像数据，包括：
对所述与物品取放时刻相关的图像进行物品检测，得到物品所在区域的局域图像数据及所述局域图像数据的坐标，将所述物品所在区域的局域图像数据及所述局域图像数据的坐标作为目标图像数据。
还提供了一种物品检测方法，所述方法包括：
获取取放区域的信息及目标图像数据，所述取放区域是在基于针对物品取放柜的物品取放触发数据确定所述物品取放柜处于物品取放触发状态时，基于所述物品取放触发数据确定，所述目标图像数据基于与物品取放时刻相关的图像得到；
基于所述取放区域的信息及目标图像数据确定物品取放信息。
可选地，所述目标图像数据包括与物品取放时刻相关的图像中的全部图像数据；
所述基于所述取放区域的信息及目标图像数据确定物品取放信息，包括：
识别所述目标图像数据中的物品信息，所述物品信息包括位置、种类和数量；
基于所述物品信息中的位置与所述取放区域的信息确定位于取放区域内的物品的种类和数量；
根据所述位于取放区域内的物品的种类和数量得到物品取放信息。
可选地，所述目标图像数据包括对与物品取放时刻相关的图像进行物品检测得到的物品所在区域的局域图像数据及所述局域图像数据的坐标；
所述基于所述取放区域的信息及物品取放时刻的相关数据确定物品取放信息，包括：
基于所述取放区域的信息及所述局域图像数据的坐标对所述局域图像数据进行过滤，将过滤后的局域图像数据与物品样本库进行比对；
当根据比对结果确定所述过滤后的局域图像数据包括物品时，确定所述过滤后的局域图像数据包括的物品的种类和数量，得到物品取放信息。
提供了一种物品检测装置，所述装置部署在物品取放柜，所述装置包括：
第一获取模块，用于获取针对物品取放柜的物品取放触发数据；
确定模块，用于当基于所述触发数据确定所述物品取放柜处于物品取放触发状态时，基于所述物品取放触发数据确定取放区域；
第二获取模块，用于获取与物品取放时刻相关的图像，基于所述与物品取放时刻相关的图像得到目标图像数据；
发送模块，用于将所述取放区域的信息及所述目标图像数据发送至云端，由所述云端基于所述取放区域的信息及目标图像数据确定物品取放信息。
可选地，所述物品取放柜的出入口两侧具有红外对射单元；
所述第一获取模块，用于获取所述红外对射单元发射的红外信号；
所述确定模块，还用于基于所述红外对射单元发射的红外信号检测红外截断信号；当检测到红外截断信号数量变化时，确定所述物品取放柜处于物品取放触发状态。
可选地，所述物品取放柜的出入口具有相机，所述相机的视场角覆盖所述出入口，且所述相机的光轴方向平行于所述出入口；
所述第一获取模块，用于获取所述相机采集到的所述出入口的当前图像；
所述确定模块，还用于基于所述相机采集到的所述出入口的当前图像，获取光流向量；当所述出入口区域出现取放操作方向的光流向量时，确定所述物品取放柜处于物品取放触发状态。
可选地，所述物品取放柜的出入口边缘具有标志物；
所述第一获取模块，用于获取所述相机采集到的所述物品取放柜的出入口的当前图像；
所述确定模块，还用于在所述当前图像中检测标志物信息；基于检测结果检测确定所述物品取放柜是否处于物品取放触发状态。
可选地，所述第二获取模块，用于获取所述物品取放时刻的图像，或者，所述物品取放时刻前后参考数量的图像。
可选地，所述第二获取模块，用于获取所述与物品取放时刻相关的图像中的全部图像数据，将所述全部图像数据作为目标图像数据。
可选地，所述第二获取模块，用于对所述与物品取放时刻相关的图像进行物品检测，得到物品所在区域的局域图像数据及所述局域图像数据的坐标，将所述物品所在区域的局域图像数据及所述局域图像数据的坐标作为目标图像数据。
还提供了一种物品检测装置，所述装置部署在云端，所述装置包括：
获取模块，用于获取取放区域的信息及目标图像数据，所述取放区域是在基于针对物品取放柜的物品取放触发数据确定所述物品取放柜处于物品取放触发状态时，基于所述物品取放触发数据确定，所述目标图像数据基于与物品取放时刻相关的图像得到；
确定模块，用于基于所述取放区域的信息及目标图像数据确定物品取放信息。
可选地，所述目标图像数据包括与物品取放时刻相关的图像中的全部图像数据；
所述确定模块，用于识别所述目标图像数据中的物品信息，所述物品信息包括位置、种类和数量；基于所述物品信息中的位置与所述取放区域的信息确定位于取放区域内的物品的种类和数量；根据所述位于取放区域内的物品的种类和数量得到物品取放信息。
可选地，所述目标图像数据包括对与物品取放时刻相关的图像进行物品检测得到的物品所在区域的局域图像数据及所述局域图像数据的坐标；
所述确定模块，用于基于所述取放区域的信息及所述局域图像数据的坐标对所述局域图像数据进行过滤，将过滤后的局域图像数据与物品样本库进行比对；当根据比对结果确定所述过滤后的局域图像数据包括物品时，确定所述过滤后的局域图像数据包括的物品的种类和数量，得到物品取放信息。
还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令在被所述处理器执行时实现如上任一所述的物品检测方法。
还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令在被执行时实现如上任一所述的物品检测方法。
本申请实施例提供的技术方案至少带来如下有益效果：
当基于触发数据确定物品取放柜处于物品取放触发状态时，获取与物品取放时刻相关的图像，基于与物品取放时刻相关的图像得到的目标图像数据、取放区域的信息来确定物品取放信息，与利用视频图像进行动作姿态分析和物品识别相比，减少了分析的数据量，从而降低了计算量，提高了检测效率。
此外，由于在本地获取目标图像数据及取放区域的信息，之后发送至云端确定物品取放信息，以本地与云端相结合的方式，进一步提高检测效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的物品检测系统的结构示意图；
图2是本申请实施例提供的标志物示意图；
图3是本申请实施例提供的物品检测系统的部分硬件结构示意图；
图4是本申请实施例提供的物品检测系统的部分硬件结构示意图；
图5是本申请实施例提供的物品检测过程示意图；
图6是本申请实施例提供的物品检测过程示意图；
图7是本申请实施例提供的物品检测过程示意图；
图8是本申请实施例提供的物品检测系统的部分硬件结构示意图；
图9是本申请实施例提供的物品检测系统的结构示意图；
图10是本申请实施例提供的物品检测方法流程图；
图11是本申请实施例提供的物品检测过程示意图；
图12是本申请实施例提供的物品检测过程示意图；
图13是本申请实施例提供的物品检测装置的结构示意图；
图14是本申请实施例提供的物品检测装置的结构示意图；
图15是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例提供了一种物品检测系统，如图1所示，该系统包括：物品取放柜101和云服务器102，物品取放柜101和云服务器102连接。
该物品取放柜101包括：触发组件11、一个或多个图像传感器12、收发器13；
其中，收发器13分别与触发组件11、图像传感器12及云服务器14连接，图像传感器12还与触发组件11连接。
触发组件11可以是具有信息处理能力的处理器，用于获取针对物品取放柜的物品取放触发数据，当基于所述触发数据确定所述物品取放柜处于物品取放触发状态时，基于物品取放触发信号确定取放区域，触发图像传感器12采集图像数据。图像传感器12，用于在触发组件11的触发下采集与物品取放时刻相关的图像；向收发器13发送基于图像得到的目标图像数据。收发器13，用于将取放区域的信息及目标图像数据发送至部署在云端的云服务器14。云服务器14，用于基于取放区域的信息及目标图像数据确定物品取放信息。
可选地，该一个或多个图像传感器12采集物品取放柜的出入口的当前图像，用于触发分析和物品识别检测。触发组件11利用如图像传感器12提供的触发数据进行触发分析，在物体(如：手、物品等)进入或离开物品取放柜时确定所述物品取放柜处于物品取放触发状态，产生物品取放触发信号，基于触发数据提供对应的取放区域。一个或多个图像传感器12还可在触发组件11的触发下采集与物品取放时刻相关的图像，向收发器13发送基于该图像得到的目标图像数据。收发器13负责打包取放触发信号、取放区域的信息、目标图像数据等信息并传输至云端，如云服务器。
可选地，上述目标图像数据可以是图像传感器12采集到的与物品取放时刻相关的图像中的全部图像数据，则图像传感器12可直接将采集到的图像中的全部图像数据作为目标图像数据发送至收发器13，由收发器13发送至云端的云服务器14。
其中，位于云端的云服务器14可包括采用深度学习等手段训练的分类器，如Fast_RCNN、YOLO等检测识别深度网络。云服务器14检测和识别目标图像数据中的物品信息，得出目标图像数据所含物品的位置、种类和数量等信息。
此外，云服务器14还可以包括具有实现图像区域交叠判断算法功能的单元，用于判断触发组件11确定的取放区域和基于目标图像数据检测出的物品信息中的位置是否交叠，从而过滤掉不参与当前取放触发事件的物品(如手持产品、背景物品等不参与本次取放的物品)，给出当前取放触发事件真正取出或放回的物品种类与数目。
由于云端计算能力较强，在本地获取目标图像数据及取放区域的信息，之后发送至云端确定物品取放信息，将本地和云端二者结合的方式将进一步降低本地的计算量，提高检测效率。
当然，本申请实施例提供的方法也支持全部在本地实现。即便如此，由于仅当确定物品取放柜处于物品取放触发状态时，获取与物品取放时刻相关的图像，基于该图像得到的目标图像数据及取放区域的信息确定物品取放信息，与利用视频图像进行动作姿态分析和物品识别相比，仍然可以降低计算量，提高检测效率。
可选地，物品取放柜的出入口边缘具有标志物，该一个或多个图像传感器12还用于采集物品取放柜的出入口的当前图像；触发组件11与每个图像传感器12连接，用于在当前图像中检测标志物信息，基于图像传感器12采集到的当前图像中的标志物信息确定物品取放柜是否处于物品取放触发状态。
其中，物品取放柜用于存放物品，本申请实施例不对物品取放柜的产品形态进行限定，也不对该物品取放柜中存放的物品种类、大小和数量进行限定。由于从物品取放柜中取放物品时，会遮挡该物品取放柜的出入口的部分区域，因而本申请实施例通过在该物品取放柜的出入口边缘设置标志物，可基于该标志物的遮挡情况来检测是否存在物品取放操作。
可选地，标志物包括但不限于线特性编码的标志物、条形码编码的标志物及棋盘格编码的标志物中的一种或多种。
其中，线特征编码的标志物为垂直梯度编码类型，垂直梯度编码类型的标志物在垂直于取放边界(即出入口边缘)的方向进行梯度编码。如图2(a)所示的线特征编码的标志物，梯度存在于边界的垂直方向，该种编码方式的标志物间隔为无穷小。
条形码编码及棋盘格编码可以为二维编码类型，二维编码类型的标志物在取放边界的垂直和水平方向上均进行编码。常见的二维编码包括二维码、棋盘格形式的二维编码，如图2(b)中所示的二维码形式的条形码编码，如图2(c)所示的棋盘格编码。
可选地，无论是哪种编码类型的标志物，本申请实施例提供的系统中，标志物为多个，多个标志物构成特征阵列。此外，每两个标志物之间的间隔小于从物品取放柜中取放的物品中的最小物品的宽度。例如，可以在物品取放柜的出入口边缘连续排列一周的标志物，每两个标志物之间的间隔小于从物品取放柜中取放的物品中的最小物品的宽度，从而避免出现漏检测，进一步提高取放检测的准确性。
在设置了标志物的基础上，标志物边缘梯度应保证在10以上，即边缘两侧区域像素值的差应大于10，从而保证标志物特征提取的准确性。为保证标志物拥有显著的边缘梯度，可选地，标志物边缘的其中一侧采用吸收光的材料，另一侧采用漫反射的材料。也就是说，标志物边缘两侧的材料往往一侧选择吸收光性能较强的材料，如吸光摄影布、印刷墨、橡胶等，另一侧选择漫反射能力较强的材料，如：打印纸、PET(PolyethyleneTerephthalate，聚对苯二甲酸乙二醇酯)漫反射材料等。本申请实施例不对标志物的材料加以限定，能提取特征即可。
例如，标志物为黑白两色，使用黑白打印的纸质标志物可以张贴到物品取放柜的出入口边缘，如柜内腔四周具有一圈可用于张贴标志物的区域。标志物的黑色部分的石墨拥有良好的吸收光性能，而白色部分的打印纸拥有良好的漫反射性能，保证标志物在灰度图像中黑色和白色的灰度差在以上。
可选地，图像传感器12用于采集物品取放柜的出入口的图像，该图像传感器12可包括一个相机，该一个相机的监测区域覆盖物品取放柜的整个出入口。因此，通过一个相机可拍摄物品取放柜的整个出入口，从而避免因漏检测某个标志物而导致取放检测不准确。例如，在物品取放柜的出入口边缘处的内腔上，连续排列着一周的标志物，检测相机监测出入口的同时能够采集到标志物的特征。通过相机的视角能够覆盖整个出入口，从而保证任意位置的取放操作都能够被采集到的图像呈现出来，进而避免漏检测。
可选地，除了采用一个相机，图像传感器12包括多个相机，每个相机的监测区域覆盖物品取放柜的出入口的一部分，多个相机的监测区域覆盖物品取放柜的整个出入口。例如，根据物品取放柜的出入口的大小和相机的视角范围，确定相机的数量，保证检测用到的相机的监测区域之和能够覆盖物品取放柜的整个出入口。
需要说明的是，若物品取放系统中的图像传感器12包括多个相机，则每个相机均将采集到的当前图像传输至触发组件11。此外，每个相机采集图像需要保持同步，使得触发组件11获取到的当前图像是同一时间的图像，从而使得当前图像能够反应物品取放柜的出入口在同一时间的情况，以提高检测结果的准确性。
此外，本申请实施例仅以将图像传感器12与物品取放柜相连为例进行说明，该图像传感器12可以设置在物品取放柜的出入口一定范围内，从而保证能够采集出入口的图像。可选地，该图像传感器12也可以与物品取放柜分离设置。例如，图像传感器12设置在物品取放柜对面，正对该物品取放柜的出入口，能够采集该出入口的图像即可。本申请实施例不对图像传感器12的数量及位置进行限定。
为了便于理解，本申请以图3所示的示意图为例。如图3(a)所示，图像传感器12包括一个相机为例，在物品取放柜的出入口边缘可以设置标志物。在该出入口的右上角可以设置一个相机，该一个相机的监控区域覆盖整个出入口，以检测该出入口，采集整个出入口的图像。如图3(b)所示，还可以在该出入口的右上角和左上角分别设置一个相机，每个相机的监控区域覆盖物品取放柜的出入口的一部分，所有相机的监控区域覆盖整个出入口，以检测该整个出入口，采集整个出入口的图像。
当然，以上仅是以图像传感器12包括相机为例，除此之外，图像传感器12还可以为深度相机，摄像头等，本申请实施例不对图像传感器12的产品形态进行限定。
可选地，考虑到物品取放柜所在环境的光线变化，可能会影响图像传感器12采集出的图像的清晰程度，影响标志物识别。对此，该物品取放柜系统还包括用于对标志物进行补光的光源，如图4所示。标志物通过光源进行补光，从而保证标志物特征图像灰度不随外界环境光照条件变化而变化，进而保证取放检测的准确性。
关于光源的具体位置，本申请实施例不加以限定，能够对标志物进行补光即可。例如，光源可以设置在物品取放柜的正对面，以面对物品取放柜的出入口边缘。此外，光源的数量可以为一个或多个，本申请实施例同样不对光源的数量加以限定，且也不对光源的种类进行限定。可选地，该系统还可以包括用于控制光源开启和关闭的控制装置。例如，基于物品取放柜所在环境的光亮度来控制光源的开启和关闭。
基于上述物品检测系统，当进行物品取放操作时，进入柜内执行取放操作的对象会遮挡标志物，通过检测标志物的遮挡情况能够准确的检测到取放操作，从而得到物品取放触发状态。进一步地，还可基于遮挡区域确定取放区域。
以如图5(a)所示的二维码编码的标志物为例进行说明。二维码编码的标志物为黑白两色，使用黑白打印的纸质二维码张贴到物品取放柜的出入口边缘。可以通过光源对标志物进行补光以减少光照变化，从而降低对二维码特征提取的影响。二维码的黑色部分的石墨拥有良好的吸收光性能，而白色部分的打印纸拥有良好的漫反射性能，保证二维码在灰度图像中黑色和白色的灰度差在100以上。
在进行取放操作检测之前，本申请实施例提供的方法先利用图像采集单元12采集未进行取放操作时刻的参考图像，之后识别图像中的所有二维码。如图5(a)所示位于物品取放柜出入口边缘处的连续二维码序列，获得所有二维码的位置和内部编码向量作为取放检测时的标志物特征，得到参考标志物信息，以用于后续的检测。
之后，图像传感器12实时检测物品取放柜的出入口的当前图像。当存在取放操作时，由于取放操作会遮挡住位于出入口边缘的二维码，如图5(b)中阴影区域所示。在当前图像上根据参考标志物信息得出的二维码位置检测二维码并提取二维码内部编码向量。如果在当前图像中未检测出二维码或二维码内部编码向量无法与该位置处参考二维码的内部编码向量匹配，则该位置二维码被遮挡，确定存在取放操作，即物品取放柜处于物品取放触发状态。
进一步地，每个二维码都采用该种方式识别后，得出遮挡区域的位置和数目，如图5(c)所示，虚线部分为存在取放操作的遮挡区域，该图中共有两个遮挡区域；利用遮挡区域信息，通过在时域上比较前后帧遮挡区域的个数变化确定物品取放柜是否处于物品取放触发状态，当处于物品取放触发状态时，输出触发信号。即通过比较不同时间采集到的当前图像中的标志物信息得出的被遮挡区域的个数变化来确定物品取放柜是否处于物品取放触发状态，当处于物品取放触发状态时，输出触发信号。
以本申请实施例提供的方法应用于如图6(a)所示的线特征编码的标志物为例，基于该种标志物的物品取放检测方法与上述图5所示的过程不同点在于标志物的编码种类。图6(a)所示的标志物为一条连续的印有水平黑白条纹(即垂直梯度)的标志条。在部署该标志物时，将黑白打印的纸质标志条张贴到物品取放柜的出入口边缘。之后调整相机视角，使得相机拍摄的物品取放柜的出入口的当前图像中的标志条尽量平行于当前图像的水平轴。由于标志物是连续的，以检测相机图像中的一列标志物作为一个特征描述单元。如图6(a)中所示的线编码的标志条为例，每列标志条拥有两个垂直梯度，其中一个梯度向下，即灰度从上向下变大，另外一个梯度向上，即灰度从上向下变小。
在进行取放操作检测即确定物品取放触发状态之前，可以人工通过在未进行取放操作时的参考图像上画线的方式给出每条梯度边缘的预估位置。本申请实施例提供的方法先利用图像传感器12采集未进行取放操作时刻的参考图像，由取放操作检测单元在预估位置垂直方向的邻域内进行搜索。通过搜索查找到邻域内拥有最大梯度的像素位置作为准确的梯度位置，得出参考图像中每一列标志物中的所有梯度位置和对应的梯度方向作为参考标志物信息。
之后，图像传感器12实时检测物品取放柜的出入口的当前图像。当存在取放操作时，在当前图像上根据参考标志物信息中的梯度位置提取梯度。如果图像中存在未提取到梯度或提取梯度的方向与参考标志物信息中的特征不符的情况，则当前区域存在取放操作，即物品取放柜处于物品取放触发状态，从而有标志物被遮挡，如图6(b)中的阴影区域所示。
每个标志物都采用该种方式识别后，得出遮挡区域的位置和数目。如图6(c)所示，虚线部分为存在取放操作的遮挡区域，该图中共有两个遮挡区域；利用遮挡区域信息，通过在时域上比较前后帧遮挡区域的个数变化确定物品取放柜是否处于物品取放触发状态，当处于物品取放触发状态时，输出触发信号。即通过比较不同时间采集到的当前图像中的标志物信息得出的被遮挡区域的个数变化来输出触发信号。
以如图7(a)所示的棋盘格编码的标志物为例进行说明。在进行取放操作检测即确定物品取放触发状态之前，本申请实施例提供的方法先利用图像采集单元12采集未进行取放操作时刻的参考图像，之后由取放操作检测单元识别图像中的所有棋盘格角点。如图7(a)所示位于物品取放柜出入口边缘处的连续棋盘格编码序列，获得所有棋盘格角点的位置作为物品取放检测时的标志物特征，得到参考标志物信息，以用于后续的检测。
之后，图像传感器12实时检测物品取放柜的出入口的当前图像。当存在取放操作时，由于取放操作会遮挡住位于出入口边缘的棋盘格角点，如图7(b)中阴影区域所示。在当前图像上根据参考标志物信息得出的棋盘格角点位置提取棋盘格角点。如果在当前图像中未检测出棋盘格角点，则该位置棋盘格角点被遮挡，确定存在取放操作。
每个棋盘格都采用该种方式识别后，得出遮挡区域的位置和数目，如图6(c)所示，虚线部分为存在取放操作的遮挡区域，该图中共有两个遮挡区域；利用遮挡区域信息，通过在时域上比较前后帧遮挡区域的个数变化确定物品取放柜是否处于物品取放触发状态，当处于物品取放触发状态时，输出触发信号。即通过比较不同时间采集到的当前图像中的标志物信息得出的被遮挡区域的个数变化来输出触发信号。
可选地，无论是上述哪种标志物，基于确定的标志物被遮挡的区域信息，通过在时域上比较前后帧图像中遮挡区域的个数变化来确定物品取放柜是否处于物品取放触发状态，当处于物品取放触发状态时，输出取放触发信号。其中，取放触发信号用于指示物品取放操作的触发状态，每个遮挡区域可以作为一个操作点，基于操作点的个数可确定不同的触发状态。例如，可将触发状态定义为以下4种类型，0进入操作(物品取放柜触发平面内操作点的个数从0变为非0)，1增加操作(物品取放柜触发平面内操作点的个数增加，且增加前不为0)，2减少操作(物品取放柜触发平面内操作点的个数减少，且减少后为非0)，3离开操作(物品取放柜触发平面内操作点个数从非0变为0)，4同时进出操作(物品取放柜触发平面内一个操作点进入，另一个操作点离开)，除此之外，无物体进出物品取放柜，即操作点个数不变的情况下，认为是无效操作状态，即物品取放柜不处于物品取放触发状态。
需要说明的是，以上仅是以图像传感器12包括相机为例，除此之外，图像传感器12还可以为深度相机，摄像头等，本申请实施例不对图像传感器12的产品形态进行限定。如以深度相机作为图像传感器12，则利用深度相机获得的深度图，通过判断触发平面内深度值联通区域的个数变化，来判断操作点个数及其变化情况，从而给出上述各种触发状态，提供触发信号触发图像传感器12采集图像。此外，基于深度信息，还可将取放区域映射到在各个图像中的对应区域，据此得到取放区域的信息。
可选地，除了采用标志物的方式来检测物品取放触发状态的方式外，可选地，本申请实施例提供的方法还包括红外对射光幕的检测方式及光流检测方式。以红外对射光幕的检测方式为例，在物品取放柜的出入口处放置红外对射单元，包括红外发射端和红外接收端。可选地，红外发射端和红外接收端可分别位于物品取放柜的出入口上侧和下侧，红外发射端每隔一定距离发射一个条红外光线，同时红外接收器按照同样的间隔接收红外信号，从而形成覆盖出入口的红外对射光幕。考虑到物品取放柜有可能会设置于室外，在室外阳光照射的情况下，为了避免阳光中的红外线部分可能会干扰红外接收端的信号，因此，如图8(a)所示，作为一种可选方式，可以将红外发射端设置于物品取放柜的出入口下侧(下沿)，将红外接收端设置于物品取放柜的出入口上侧(上沿)。此外，在同样的覆盖面积下，采用上下两侧设置红外对射单元比在左右两侧设置红外对射单元的光幕要短，成本更低。且在用户使用两只手取物品的情况下，左右两侧布置红外对射单元仅检测到一只手，因此，上下两侧设置红外对射单元比在左右两侧设置红外对射单元的检测准确性也更高些。
当有物体进入物品取放柜取放物品时，遮挡进入位置处的红外光线，使接收端对应位置无法接收到红外光线，产生红外截断信号，当检测到红外截断信号数量有变化时，可以确定物品取放柜处于物品取放触发状态。例如，已经有一只手在物品取放柜内，则产生了红外截断信号，红外截断信号数量是从0到1的，数量发生了变化。当物品取放柜再进去一只手，另一位置也产生一个红外截断信号，则红外截断信号的数量由1个变为2个，则该种情况下红外截断信号的数量也发生变化。因此，基于红外截断信号的数量变化可确定物品取放柜处于物品取放触发状态。触发组件11通过检测红外光线的截断时刻与截断区域便能够获得物体进入物品取放柜的时刻与位置，从而获取到物品取放触发数据。
例如，当一只手开始进入物品取放柜进行取放操作时，红外光幕在手进入位置开始出现一个连续的截断区域，即截断区域个数由0变为1，红外截断信号的数量由0变为1，这时取放触发信号为开始进入信号；之后，每当一只手进入物品取放柜时，红外光幕在新的手进入位置会再产生一个连续的截断区域，即截断区域个数由n变为n+1(n＝1,2,3,…)，红外截断信号的数量发生变化，这时取放触发信号为进入信号；每当一只手离开物品取放柜时，红外光幕的一个连续的截断区域将在手离开的位置消失，即截断区域个数由n+1变为n(n＝1,2,3,…)，这时取放触发信号为离开信号；当最后一只手离开物品取放柜，红外光幕恢复全通时，即截断区域个数由1变为0，这时取放触发信号为结束离开信号。
同时，每次触发对应的出现或消失的截断区域是已知的，称该区域为取放区域，而且某次触发的取放物品一定位于该次触发对应的触发区域内，于是针对每次触发，可以后续过滤掉不位于取放区域内的未参与本次取放的物品。
以图8(b)所示的光流检测方式为例，基于图像光流检测的触发机制是纯粹的算法触发。该方式触发检测相机采集物品取放柜的出入口区域，为保证光流计算的鲁棒性，相机的光轴方向平行于出入口(或者说垂直于取放动作的运动方向)，同时保证相机视野覆盖整个物品取放柜入口。触发单元11检测相机采集出入口处的视频，该视频包括物品取放柜的出入口的当前图像。触发单元11利用如LK(Lucas-Kanade)光流等的光流计算方法实时计算光流，将获得光流向量在图像的垂直方向进行投影(由于相机的光轴方向垂直于取放动作的运动方向，相机图像的垂直方向就是取放动作的运动方向)获得表示进出物品取放柜的光流向量。当物体进入或离开物品取放柜时，由于物体的运动，相机将检测出拥有进入或离开物品取放柜方向的光流向量区域，每当物品取放柜的出入口区域出现这样取放操作方向的光流向量区域时，就表明有物体正在进入或离开物品取放柜，确定物品取放柜处于物品取放触发状态。根据光流向量的方向可以确定为进入信号或离开信号。同时光流向量区域就对应了本次触发的取放区域。
可选地，参见图9，该物品取放柜还包括：一个或多个与图像传感器12连接且布局在本地的处理器15；
图像传感器12，用于将采集到的与物品取放时刻相关的图像发送至处理器15；处理器15，用于对与物品取放时刻相关的图像进行物品检测，得到物品所在区域的局域图像数据及局域图像数据的坐标，将物品所在区域的局域图像数据及局域图像数据的坐标作为目标图像数据发送至收发器13；收发器13，用于取放区域的信息、物品所在区域的局域图像数据及局域图像数据的坐标发送至云服务器14；云服务器14，用于基于取放区域的信息、物品所在区域的局域图像数据及局域图像数据的坐标确定物品取放信息。
由于处理器15能够在进行物品检测之后，将物品所在区域的局域图像数据及局域图像数据的坐标作为目标图像数据发送至收发器13，相较于直接将图像传感器12采集到的与物品取放时刻相关的图像的全部图像数据作为目标图像数据发送至收发器13的方式，进一步减少了传输的数据量，从而减小了计算量，提高了检测效率。
可选地，上述触发组件11可以为具有信息处理能力的处理器，因此，上述触发组件11可与上述处理器15为同一处理器。该处理器可实现上述触发组件11及处理器15的功能。
对此，参见图10，本申请实施例提供了一种物品检测方法，该方法应用于上述物品检测系统中。如图10所示，该方法包括如下几个步骤。
步骤1001、获取针对物品取放柜的物品取放触发数据。
基于上述三种检测方式，该步骤1001包括但不限于如下三种检测情况：
第一种情况：物品取放柜的出入口两侧具有红外对射单元；
获取针对物品取放柜的物品取放触发数据，包括：
获取红外对射单元发射的红外信号；
获取针对物品取放柜的物品取放触发数据之后，还包括：
基于红外对射单元发射的红外信号检测红外截断信号；
当检测到红外截断信号数量变化时，确定物品取放柜处于物品取放触发状态。
第二种情况：物品取放柜的出入口具有相机，相机的视场角覆盖出入口，且相机的光轴方向平行于出入口；
获取针对物品取放柜的物品取放触发数据，包括：
获取相机采集到的出入口的当前图像；
获取针对物品取放柜的物品取放触发数据之后，还包括：
基于相机采集到的出入口的当前图像，获取光流向量；
当出入口区域出现取放操作方向的光流向量时，确定物品取放柜处于物品取放触发状态。
第三种情况：物品取放柜的出入口边缘具有标志物；
获取针对物品取放柜的物品取放触发数据，包括：
获取相机采集到的物品取放柜的出入口的当前图像；
获取针对物品取放柜的物品取放触发数据之后，还包括：
在当前图像中检测标志物信息；
基于检测结果确定物品取放柜是否处于物品取放触发状态。
需要说明的是，上述三种情况的具体过程可参考上述物品检测系统中相关内容，此处不再一一赘述。
步骤1002、当基于触发数据确定物品取放柜处于物品取放触发状态时，基于物品取放触发数据确定取放区域，获取与物品取放时刻相关的图像，基于与物品取放时刻相关的图像得到目标图像数据。
当基于物品取放触发数据确定物品取放柜处于物品取放触发状态时，基于物品取放触发数据确定取放区域的方式可参见上述物品检测系统中的介绍。获取物品取放触发数据的方式不同，确定取放区域的方式不同。如果采用本地结合云端的方式，则无论是哪种获取物品取放触发数据的方式，当基于物品取放触发数据确定物品取放柜处于物品取放触发状态后，可将确定的取放区域的信息上传至云端，由云端据此进行物品检测。
当基于物品取放触发数据确定物品取放柜处于物品取放触发状态时，可触发图像传感器采集与物品取放时刻相关的图像，获取图像传感器采集的该与物品取放时刻相关的图像。可选地，获取与物品取放时刻相关的图像，包括：获取物品取放时刻的图像，或者，物品取放时刻前后参考数量的图像。参考数量可基于应用场景或者经验进行设置，本申请实施例对此不加以限定。
基于与物品取放时刻相关的图像获取目标图像数据时，包括但不限于如下两种方式：
方式一：将该图像中的全部图像数据作为目标图像数据。
该种方式下，当图像传感器采集到与物品取放时刻相关的图像后，直接将该图像中的全部图像数据作为目标图像数据上传到云端，由云端据此进行物品检测。
方式二：对与物品取放时刻相关的图像进行物品检测，得到物品所在区域的局域图像数据及局域图像数据的坐标，将物品所在区域的局域图像数据及局域图像数据的坐标作为目标图像数据。
该种方式下，当图像传感器采集到与物品取放时刻相关的图像后，将与物品取放时刻相关的图像发送至处理器，由处理器基于深度学习等手段对图像进行物品检测。例如，预先采用深度学习等手段训练分类器，处理器包括该分类器，则将与物品取放时刻相关的图像数据输入至分类器。基于该分类器识别出图像中是否包含物品，以及是哪种物品，从而提取出可能包含物品的局域图像数据，即得到物品所在区域的居于图像数据。之后，再进一步确定该局域图像数据在原图像(即与物品取放时刻相关的图像)中的位置，得到局域图像数据的坐标。
通过将物品所在区域的局域图像数据及局域图像数据的坐标作为目标图像数据，将该目标图像数据上传至云端的云服务器，使云端据此进行物品检测。相较于上传整张图像的全部图像数据而言，该种方式上传的数据量少，可进一步提高物品检测效率。
步骤1003、将取放区域的信息及目标图像数据发送至云端，由云端基于取放区域的信息及目标图像数据确定物品取放信息。
可选地，本申请实施例提供的方法可应用于本地，即全部过程在本地实现，也可以本地及云端结合实现。可选地，无论是在本地，还是结合云端，基于取放区域的信息及目标图像数据确定物品取放信息，包括但不限于如下两种情况：
第一种情况：目标图像数据包括与物品取放时刻相关的图像中的全部图像数据；则基于取放区域的信息及目标图像数据确定物品取放信息，包括：识别目标图像数据中的物品信息，物品信息包括位置、种类和数量；基于物品信息中的位置与取放区域的信息确定位于取放区域内的物品的种类和数量；根据位于取放区域内的物品的种类和数量得到物品取放信息。
由于该种情况下，目标图像数据是图像传感器所采集的与物品取放时刻相关的图像中的全部图像数据，因而该全部图像数据中可能除了被取放的物品的图像数据之外，还包括其他内容的图像数据。又由于物品信息中的位置可以是物品在图像中的坐标，基于该坐标可确定物品所在区域，而取放区域的信息能够确定取放区域。因此，基于物品信息中的位置与取放区域的信息确定位于取放区域内的物品的种类和数量时，可确定由物品信息中的位置所指示的物品所在区域与取放区域是否存在重叠区域，如果物品所在区域与取放区域存在重叠区域，则可认为该物品位于取放区域内，可作为被取放的物品。对于物品所在区域不与取放区域存在重叠区域的情况下，可将该物品进行过滤。
例如，如图11所示，在物品取放柜本地，触发组件利用图像传感器提供的图像数据进行触发分析；当产生取放操作时输出对应的取放触发信号，确定取放区域。之后，触发组件向收发器发送取放区域的信息，触发组件触发图像数据采集单元采集与物品取放时刻相关的图像。图像传感器采集与物品取放时刻相关的图像，将图像中的全部图像数据作为目标图像数据发送至收发器；收发器打包触发状态、取放区域的信息、目标图像数据等传输到云服务器上。
在云服务器端，云服务器检测目标图像数据，得出目标图像数据中含有的所有物品的位置、种类和数量；基于物品信息中的位置与取放区域的信息确定位于取放区域内的物品的种类和数量，即利用取放区域的信息所指示的取放区域和云服务器检测出的物品信息中的位置过滤掉不属于本次取放操作的物品，输出位于取放区域内的物品的种类和数量，从而据此得到物品取放信息，即本次物品取放结算结果。
第二种情况：目标图像数据包括对与物品取放时刻相关的图像进行物品检测得到的物品所在区域的局域图像数据及所述局域图像数据的坐标；基于取放区域的信息及物品取放时刻的相关目标图像数据确定物品取放信息，包括：基于取放区域的信息及局域图像数据的坐标对局域图像数据进行过滤，将过滤后的局域图像数据与物品样本库进行比对；当根据比对结果确定过滤后的局域图像数据包括物品时，确定过滤后的局域图像数据包括的物品的种类和数量，得到物品取放信息。
该种情况下，物品检测系统还包括处理器，该处理器布局在本地，仅进行物品目标检测不进行物品种类判断，该处理器可以是一个二分类器(是物品目标或不是物品目标)，其算法复杂度不高且该分类器对具体的物品种类不敏感算法模型更新维护并不频繁，适合部署在本地。传输到云服务器的数据中不再需要传输整张与物品取放时刻相关的图像，而是传输物品所在区域的局域图像数据(小图)，进一步减少传输数据量。总体上优化权衡了计算成本、数据传输成本以及运营维护成本，进一步降低了整个系统方案的成本。
此外，物品样本库可预先建立，该物品样本库中存储有物品取放柜中的物品信息，包括但不限于物品种类、数量、位置等信息。可选地，该物品样本库可存储于云端，且该物品样本库中包括云端管理的所有物品取放柜中的物品信息。因此，对于当前需要检测物品的物品取放柜，本申请实施例提供的方法还可将当前需要检测物品的物品取放柜的标识信息上传至云端，以由云端确定使用物品样本库中与该当前需要检测物品的物品取放柜相关的信息。可选地，用于标识物品取放柜的标识信息包括但不限于位置信息、编码等，本申请实施例对此不加以限定，能够标识对应的物品取放柜即可。
例如，以使用光幕通断确定是否处于物品取放触发状态为例，如图12所示，可采用使用红外对射光幕作为触发机制，整个物品检测流程与第一种情况中图11所示基本相同。与图11不同的是其云服务器将处理器提供的所有小图与物品样本库进行对比从而判断小图中目标是否为物品，为何种物品，并统计所有物品种类和数目。
在物品检测系统中，处理器检测与物品取放时刻相关的图像，输出可能的物品目标区域局部图像(小图)及其在原图像中的坐标，即得到物品所在区域的局域图像数据及局域图像数据的坐标；收发器将触发状态、取放区域的信息、物品所在区域的局域图像数据及局域图像数据的坐标等数据打包并传输到云服务器。
在云服务器上，云服务器基于取放区域的信息及局域图像数据的坐标对局域图像数据进行过滤，将过滤后的局域图像数据与物品样本库进行比对；当根据比对结果确定过滤后的局域图像数据包括物品时，确定过滤后的局域图像数据包括的物品的种类和数量，得到物品取放信息。
本申请实施例提供的方法，当基于触发数据确定物品取放柜处于物品取放触发状态时，获取物品取放柜在物品取放时刻的相关数据，基于物品取放时刻的相关数据及取放区域确定物品取放信息，与利用视频图像进行动作姿态分析和物品识别相比，减少传输和分析的数据量，降低了计算量，提高了检测效率。
基于相同技术构思，本申请实施例提供了一种物品检测装置，该装置部署在物品取放柜的本地，参见图13，装置包括：
第一获取模块131，用于获取针对物品取放柜的物品取放触发数据；
确定模块132，用于当基于触发数据确定物品取放柜处于物品取放触发状态时，基于物品取放触发数据确定取放区域；
第二获取模块133，用于获取与物品取放时刻相关的图像，基于与物品取放时刻相关的图像得到目标图像数据；
发送模块134，用于将取放区域的信息及目标图像数据发送至云端，由云端基于取放区域的信息及目标图像数据确定物品取放信息。
可选地，物品取放柜的出入口两侧具有红外对射单元；
检测模块131，用于基于红外对射单元检测物品取放柜的红外截断信号；当检测到红外截断信号数量变化时，获取到物品取放柜的物品取放触发信号。
第一获取模块131，用于获取红外对射单元发射的红外信号；
确定模块132，还用于基于红外对射单元发射的红外信号检测红外截断信号；当检测到红外截断信号数量变化时，确定物品取放柜处于物品取放触发状态。
可选地，物品取放柜的出入口具有相机，相机的视场角覆盖出入口，且相机的光轴方向平行于出入口；
第一获取模块131，用于获取相机采集到的出入口的当前图像；
确定模块132，还用于基于相机采集到的出入口的当前图像，获取光流向量；当出入口区域出现取放操作方向的光流向量时，确定物品取放柜处于物品取放触发状态。
可选地，物品取放柜的出入口边缘具有标志物；
第一获取模块131，用于获取相机采集到的物品取放柜的出入口的当前图像；
确定模块132，还用于在当前图像中检测标志物信息；基于检测结果检测确定物品取放柜是否处于物品取放触发状态。
可选地，第二获取模块133，用于获取物品取放时刻的图像，或者，物品取放时刻前后参考数量的图像。
可选地，第二获取模块133，用于获取与物品取放时刻相关的图像中的全部图像数据，将全部图像数据作为目标图像数据。
可选地，第二获取模块133，用于对与物品取放时刻相关的图像进行物品检测，得到物品所在区域的局域图像数据及局域图像数据的坐标，将物品所在区域的局域图像数据及局域图像数据的坐标作为目标图像数据。
本申请实施例提供了一种物品检测装置，该装置部署在云端，参见图14，装置包括：
获取模块141，用于获取取放区域的信息及目标图像数据，取放区域是在基于针对物品取放柜的物品取放触发数据确定物品取放柜处于物品取放触发状态时，基于物品取放触发数据确定，目标图像数据基于与物品取放时刻相关的图像得到；
确定模块142，用于基于取放区域的信息及目标图像数据确定物品取放信息。
可选地，目标图像数据包括与物品取放时刻相关的图像中的全部图像数据；
确定模块142，用于在云端识别目标图像数据中的物品信息，物品信息包括位置、种类和数量；基于物品信息中的位置与取放区域的信息确定位于取放区域内的物品的种类和数量；根据位于取放区域内的物品的种类和数量得到物品取放信息。
可选地，目标图像数据包括对与物品取放时刻相关的图像进行物品检测得到的物品所在区域的局域图像数据及局域图像数据的坐标；
确定模块142，用于基于取放区域的信息及局域图像数据的坐标对局域图像数据进行过滤，将过滤后的局域图像数据与物品样本库进行比对；当根据比对结果确定过滤后的局域图像数据包括物品时，确定过滤后的局域图像数据包括的物品的种类和数量，得到物品取放信息。
需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在示例中实施例中，还提供了一种计算机设备，该计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令。所述至少一条指令经配置以由一个或者一个以上处理器执行，以实现上述任一种物品检测方法。
图15是本发明实施例提供的一种计算机设备的结构示意图。该设备可以为终端，例如可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group AudioLayer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端包括有：处理器1501和存储器1502。
处理器1501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1501所执行以实现本申请中方法实施例提供的物品检测方法。
在一些实施例中，终端还可选包括有：外围设备接口1503和至少一个外围设备。处理器1501、存储器1502和外围设备接口1503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1503相连。具体地，外围设备包括：射频电路1504、触摸显示屏1505、摄像头1506、音频电路1507、定位组件1508和电源1509中的至少一种。
外围设备接口1503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1501和存储器1502。在一些实施例中，处理器1501、存储器1502和外围设备接口1503被集成在同一芯片或电路板上；在一些其他实施例中，处理器1501、存储器1502和外围设备接口1503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1505是触摸显示屏时，显示屏1505还具有采集在显示屏1505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1501进行处理。此时，显示屏1505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1505可以为一个，设置终端的前面板；在另一些实施例中，显示屏1505可以为至少两个，分别设置在终端的不同表面或呈折叠设计；在再一些实施例中，显示屏1505可以是柔性显示屏，设置在终端的弯曲表面上或折叠面上。甚至，显示屏1505还可以设置成非矩形的不规则图形，也即异形屏。显示屏1505可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1506用于采集图像或视频。可选地，摄像头组件1506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1501进行处理，或者输入至射频电路1504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1501或射频电路1504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1507还可以包括耳机插孔。
定位组件1508用于定位终端的当前地理位置，以实现导航或LBS(Location BasedService，基于位置的服务)。定位组件1508可以是基于美国的GPS(Global PositioningSystem，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1509用于为终端中的各个组件进行供电。电源1509可以是交流电、直流电、一次性电池或可充电电池。当电源1509包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端还包括有一个或多个传感器1510。该一个或多个传感器1510包括但不限于：加速度传感器1511、陀螺仪传感器1512、压力传感器1513、指纹传感器1514、光学传感器1515以及接近传感器1516。
加速度传感器1511可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1511可以用于检测重力加速度在三个坐标轴上的分量。处理器1501可以根据加速度传感器1511采集的重力加速度信号，控制触摸显示屏1505以横向视图或纵向视图进行用户界面的显示。加速度传感器1511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1512可以检测终端的机体方向及转动角度，陀螺仪传感器1512可以与加速度传感器1511协同采集用户对终端的3D动作。处理器1501根据陀螺仪传感器1512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1513可以设置在终端的侧边框和/或触摸显示屏1505的下层。当压力传感器1513设置在终端的侧边框时，可以检测用户对终端的握持信号，由处理器1501根据压力传感器1513采集的握持信号进行左右手识别或快捷操作。当压力传感器1513设置在触摸显示屏1505的下层时，由处理器1501根据用户对触摸显示屏1505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1514用于采集用户的指纹，由处理器1501根据指纹传感器1514采集到的指纹识别用户的身份，或者，由指纹传感器1514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1514可以被设置终端的正面、背面或侧面。当终端上设置有物理按键或厂商Logo时，指纹传感器1514可以与物理按键或厂商Logo集成在一起。
光学传感器1515用于采集环境光强度。在一个实施例中，处理器1501可以根据光学传感器1515采集的环境光强度，控制触摸显示屏1505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1505的显示亮度；当环境光强度较低时，调低触摸显示屏1505的显示亮度。在另一个实施例中，处理器1501还可以根据光学传感器1515采集的环境光强度，动态调整摄像头组件1506的拍摄参数。
接近传感器1516，也称距离传感器，通常设置在终端的前面板。接近传感器1516用于采集用户与终端的正面之间的距离。在一个实施例中，当接近传感器1516检测到用户与终端的正面之间的距离逐渐变小时，由处理器1501控制触摸显示屏1505从亮屏状态切换为息屏状态；当接近传感器1516检测到用户与终端的正面之间的距离逐渐变大时，由处理器1501控制触摸显示屏1505从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图15中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令在被计算机设备的处理器执行时实现上述任一种物品检测方法。
在本申请的可能实施方式中，上述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (26)
1.一种物品检测系统，其特征在于，所述系统包括：物品取放柜和云服务器，所述物品取放柜与所述云服务器连接；所述物品取放柜包括一个或多个触发组件，一个或多个图像传感器和收发器；
所述触发组件，用于获取针对物品取放柜的物品取放触发数据，当基于所述触发数据确定所述物品取放柜处于物品取放触发状态时，基于所述物品取放触发信号确定取放区域；所述一个或多个图像传感器，用于采集与物品取放时刻相关的图像；所述收发器，用于将所述取放区域的信息及基于所述图像得到的目标图像数据发送至所述云服务器；
所述云服务器，用于基于所述取放区域的信息及所述目标图像数据确定物品取放信息。
2.根据权利要求1所述的系统，其特征在于，所述物品取放柜还包括：红外对射单元，所述红外对射单元设置于所述物品取放柜的出入口；
所述触发组件，用于基于所述红外对射单元发射的红外信号检测红外截断信号；当检测到红外截断信号数量变化时，确定所述物品取放柜处于物品取放状态。
3.根据权利要求1所述的系统，其特征在于，所述一个或多个图像传感器，还用于采集所述物品取放柜的出入口的当前图像；
所述触发组件，用于基于所述当前图像获取光流向量；当所述出入口区域出现取放操作方向的光流向量时，确定所述物品取放柜处于物品取放触发状态。
4.根据权利要求1所述的系统，其特征在于，所述物品取放柜的出入口边缘具有标志物；
所述一个或多个图像传感器，还用于采集所述物品取放柜的出入口的当前图像；
所述触发组件，用于在所述当前图像中检测标志物信息；基于检测结果检测确定所述物品取放柜是否处于物品取放触发状态。
5.根据权利要求1-4任一所述的系统，其特征在于，当所述一个或多个图像传感器包括一个相机时，所述一个相机设置于所述物品取放柜的出入口，所述一个相机的监控区域覆盖整个出入口，且所述相机的光轴方向平行于所述出入口；
当所述一个或多个图像传感器包括多个相机时，每个相机的监测区域覆盖所述物品取放柜的出入口的一部分，所述多个相机的监测区域覆盖所述物品取放柜的整个出入口，且每个相机的光轴方向平行于所述出入口。
6.根据权利要求1-4任一所述的系统，其特征在于，所述物品取放柜，还包括一个或多个处理器，所述一个或多个处理器用于对所述与物品取放时刻相关的图像进行物品检测，得到物品所在区域的局域图像数据及所述局域图像数据的坐标；所述收发器，用于将所述物品所在区域的局域图像数据及所述局域图像数据的坐标作为目标图像数据发送至所述云服务器；
所述云服务器，用于基于所述取放区域的信息、物品所在区域的局域图像数据及所述局域图像数据的坐标确定物品取放信息。
7.一种物品检测方法，其特征在于，所述方法包括：
获取针对物品取放柜的物品取放触发数据；
当基于所述触发数据确定所述物品取放柜处于物品取放触发状态时，基于所述物品取放触发数据确定取放区域；
获取与物品取放时刻相关的图像，基于所述与物品取放时刻相关的图像得到目标图像数据；
将所述取放区域的信息及所述目标图像数据发送至云端，由所述云端基于所述取放区域的信息及目标图像数据确定物品取放信息。
8.根据权利要求7所述的方法，其特征在于，所述物品取放柜的出入口两侧具有红外对射单元；
所述获取针对所述物品取放柜的物品取放触发数据，包括：
获取所述红外对射单元发射的红外信号；
所述获取针对所述物品取放柜的物品取放触发数据之后，还包括：
基于所述红外对射单元发射的红外信号检测红外截断信号；
当检测到红外截断信号数量变化时，确定所述物品取放柜处于物品取放触发状态。
9.根据权利要求7所述的方法，其特征在于，所述物品取放柜的出入口具有相机，所述相机的视场角覆盖所述出入口，且所述相机的光轴方向平行于所述出入口；
所述获取针对所述物品取放柜的物品取放触发数据，包括：
获取所述相机采集到的所述出入口的当前图像；
所述获取针对所述物品取放柜的物品取放触发数据之后，还包括：
基于所述相机采集到的所述出入口的当前图像，获取光流向量；
当所述出入口区域出现取放操作方向的光流向量时，确定所述物品取放柜处于物品取放触发状态。
10.根据权利要求7所述的方法，其特征在于，所述物品取放柜的出入口边缘具有标志物；
所述获取针对所述物品取放柜的物品取放触发数据，包括：
获取所述相机采集到的所述物品取放柜的出入口的当前图像；
所述获取针对所述物品取放柜的物品取放触发数据之后，还包括：
在所述当前图像中检测标志物信息；
基于检测结果确定所述物品取放柜是否处于物品取放触发状态。
11.根据权利要求7所述的方法，其特征在于，所述获取与物品取放时刻相关的图像，包括：
获取所述物品取放时刻的图像，或者，所述物品取放时刻前后参考数量的图像。
12.根据权利要求7-11任一所述的方法，其特征在于，所述基于所述与物品取放时刻相关的图像得到目标图像数据，包括：
获取所述与物品取放时刻相关的图像中的全部图像数据，将所述全部图像数据作为目标图像数据。
13.根据权利要求7-11任一所述的方法，其特征在于，所述基于所述与物品取放时刻相关的图像得到目标图像数据，包括：
对所述与物品取放时刻相关的图像进行物品检测，得到物品所在区域的局域图像数据及所述局域图像数据的坐标，将所述物品所在区域的局域图像数据及所述局域图像数据的坐标作为目标图像数据。
14.一种物品检测方法，其特征在于，所述方法包括：
获取取放区域的信息及目标图像数据，所述取放区域是在基于针对物品取放柜的物品取放触发数据确定所述物品取放柜处于物品取放触发状态时，基于所述物品取放触发数据确定，所述目标图像数据基于与物品取放时刻相关的图像得到；
基于所述取放区域的信息及目标图像数据确定物品取放信息。
15.根据权利要求14所述的方法，其特征在于，所述目标图像数据包括与物品取放时刻相关的图像中的全部图像数据；
所述基于所述取放区域的信息及目标图像数据确定物品取放信息，包括：
识别所述目标图像数据中的物品信息，所述物品信息包括位置、种类和数量；
基于所述物品信息中的位置与所述取放区域的信息确定位于取放区域内的物品的种类和数量；
根据所述位于取放区域内的物品的种类和数量得到物品取放信息。
16.根据权利要求14所述的方法，其特征在于，所述目标图像数据包括对与物品取放时刻相关的图像进行物品检测得到的物品所在区域的局域图像数据及所述局域图像数据的坐标；
所述基于所述取放区域的信息及物品取放时刻的相关数据确定物品取放信息，包括：
基于所述取放区域的信息及所述局域图像数据的坐标对所述局域图像数据进行过滤，将过滤后的局域图像数据与物品样本库进行比对；
当根据比对结果确定所述过滤后的局域图像数据包括物品时，确定所述过滤后的局域图像数据包括的物品的种类和数量，得到物品取放信息。
17.一种物品检测装置，其特征在于，所述装置部署在物品取放柜，所述装置包括：
第一获取模块，用于获取针对物品取放柜的物品取放触发数据；
确定模块，用于当基于所述触发数据确定所述物品取放柜处于物品取放触发状态时，基于所述物品取放触发数据确定取放区域；
第二获取模块，用于获取与物品取放时刻相关的图像，基于所述与物品取放时刻相关的图像得到目标图像数据；
发送模块，用于将所述取放区域的信息及所述目标图像数据发送至云端，由所述云端基于所述取放区域的信息及目标图像数据确定物品取放信息。
18.根据权利要求17所述的装置，其特征在于，所述物品取放柜的出入口两侧具有红外对射单元；
所述第一获取模块，用于获取所述红外对射单元发射的红外信号；
所述确定模块，还用于基于所述红外对射单元发射的红外信号检测红外截断信号；当检测到红外截断信号数量变化时，确定所述物品取放柜处于物品取放触发状态。
19.根据权利要求17所述的装置，其特征在于，所述物品取放柜的出入口具有相机，所述相机的视场角覆盖所述出入口，且所述相机的光轴方向平行于所述出入口；
所述第一获取模块，用于获取所述相机采集到的所述出入口的当前图像；
所述确定模块，还用于基于所述相机采集到的所述出入口的当前图像，获取光流向量；当所述出入口区域出现取放操作方向的光流向量时，确定所述物品取放柜处于物品取放触发状态。
20.根据权利要求17所述的装置，其特征在于，所述物品取放柜的出入口边缘具有标志物；
所述第一获取模块，用于获取所述相机采集到的所述物品取放柜的出入口的当前图像；
所述确定模块，还用于在所述当前图像中检测标志物信息；基于检测结果检测确定所述物品取放柜是否处于物品取放触发状态。
21.根据权利要求17所述的装置，其特征在于，所述第二获取模块，用于获取所述物品取放时刻的图像，或者，所述物品取放时刻前后参考数量的图像。
22.根据权利要求17-21任一所述的装置，其特征在于，所述第二获取模块，用于获取所述与物品取放时刻相关的图像中的全部图像数据，将所述全部图像数据作为目标图像数据。
23.根据权利要求17-21任一所述的装置，其特征在于，所述第二获取模块，用于对所述与物品取放时刻相关的图像进行物品检测，得到物品所在区域的局域图像数据及所述局域图像数据的坐标，将所述物品所在区域的局域图像数据及所述局域图像数据的坐标作为目标图像数据。
24.一种物品检测装置，其特征在于，所述装置部署在云端，所述装置包括：
获取模块，用于获取取放区域的信息及目标图像数据，所述取放区域是在基于针对物品取放柜的物品取放触发数据确定所述物品取放柜处于物品取放触发状态时，基于所述物品取放触发数据确定，所述目标图像数据基于与物品取放时刻相关的图像得到；
确定模块，用于基于所述取放区域的信息及目标图像数据确定物品取放信息。
25.根据权利要求24所述的装置，其特征在于，所述目标图像数据包括与物品取放时刻相关的图像中的全部图像数据；
所述确定模块，用于识别所述目标图像数据中的物品信息，所述物品信息包括位置、种类和数量；基于所述物品信息中的位置与所述取放区域的信息确定位于取放区域内的物品的种类和数量；根据所述位于取放区域内的物品的种类和数量得到物品取放信息。
26.根据权利要求24所述的装置，其特征在于，所述目标图像数据包括对与物品取放时刻相关的图像进行物品检测得到的物品所在区域的局域图像数据及所述局域图像数据的坐标；
所述确定模块，用于基于所述取放区域的信息及所述局域图像数据的坐标对所述局域图像数据进行过滤，将过滤后的局域图像数据与物品样本库进行比对；当根据比对结果确定所述过滤后的局域图像数据包括物品时，确定所述过滤后的局域图像数据包括的物品的种类和数量，得到物品取放信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910492893.9A CN112052707B (zh) | 2019-06-06 | 2019-06-06 | 物品检测系统、方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910492893.9A CN112052707B (zh) | 2019-06-06 | 2019-06-06 | 物品检测系统、方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112052707A true CN112052707A (zh) | 2020-12-08 |
| CN112052707B CN112052707B (zh) | 2024-06-14 |
Family
ID=73608714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910492893.9A Active CN112052707B (zh) | 2019-06-06 | 2019-06-06 | 物品检测系统、方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112052707B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12130879B2 (en) | 2023-04-03 | 2024-10-29 | Microsoft Technology Licensing, Llc | Two-stage selection of local information items |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050168657A1 (en) * | 2004-01-30 | 2005-08-04 | Darren Neuman | Method and system for interpolator direction selection during edge detection |
| WO2009027835A2 (en) * | 2007-08-31 | 2009-03-05 | Accenture Global Services Gmbh | Detection of stock out conditions based on image processing |
| CN105469379A (zh) * | 2014-09-04 | 2016-04-06 | 广东中星电子有限公司 | 视频目标区域遮挡方法和装置 |
| CN105631411A (zh) * | 2015-12-22 | 2016-06-01 | 青岛海信网络科技股份有限公司 | 一种基于视频分析的公交车拥挤度计算方法 |
| US20160342859A1 (en) * | 2015-05-18 | 2016-11-24 | Facebook, Inc. | Logo detection |
| CN108481327A (zh) * | 2018-05-31 | 2018-09-04 | 珠海市微半导体有限公司 | 一种增强视觉的定位装置、定位方法及机器人 |
| CN208027470U (zh) * | 2018-03-13 | 2018-10-30 | 武汉金盒子智能科技有限公司 | 一种带光幕传感器的图像识别的智能售货柜 |
| CN108885813A (zh) * | 2018-06-06 | 2018-11-23 | 深圳前海达闼云端智能科技有限公司 | 智能售货柜、物品识别的方法、装置、服务器和存储介质 |
| CN109035629A (zh) * | 2018-07-09 | 2018-12-18 | 深圳码隆科技有限公司 | 一种基于开放式自动售货机的购物结算方法和装置 |
| CN109064630A (zh) * | 2018-07-02 | 2018-12-21 | 高堆 | 无人自动称重计价货柜系统 |
| CN109330284A (zh) * | 2018-09-21 | 2019-02-15 | 京东方科技集团股份有限公司 | 一种货架系统 |
| CN109389747A (zh) * | 2018-12-29 | 2019-02-26 | 北京沃东天骏信息技术有限公司 | 售货装置和售货方法 |
| CN109472824A (zh) * | 2017-09-07 | 2019-03-15 | 北京京东尚科信息技术有限公司 | 物品位置变化检测方法及装置、存储介质、电子设备 |
| CN208654911U (zh) * | 2018-08-03 | 2019-03-26 | 济南每日优鲜便利购网络科技有限公司 | 自动售卖设备和自动售卖设备的控制系统 |
| CN208752722U (zh) * | 2018-07-29 | 2019-04-16 | 上海图漾信息科技有限公司 | 自动售货柜 |
| US20190120946A1 (en) * | 2017-10-19 | 2019-04-25 | DeepMap Inc. | Calibrating sensors mounted on an autonomous vehicle |
| CN109711337A (zh) * | 2018-12-26 | 2019-05-03 | 苏州浪潮智能软件有限公司 | 一种利用背景匹配实现物体有无检测的方法 |
| US10282852B1 (en) * | 2018-07-16 | 2019-05-07 | Accel Robotics Corporation | Autonomous store tracking system |
| CN109767557A (zh) * | 2018-12-29 | 2019-05-17 | 合肥美的智能科技有限公司 | 货柜系统 |
-
2019
- 2019-06-06 CN CN201910492893.9A patent/CN112052707B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050168657A1 (en) * | 2004-01-30 | 2005-08-04 | Darren Neuman | Method and system for interpolator direction selection during edge detection |
| WO2009027835A2 (en) * | 2007-08-31 | 2009-03-05 | Accenture Global Services Gmbh | Detection of stock out conditions based on image processing |
| US20090063307A1 (en) * | 2007-08-31 | 2009-03-05 | Groenovelt Robert Bernand Robin | Detection Of Stock Out Conditions Based On Image Processing |
| CN105469379A (zh) * | 2014-09-04 | 2016-04-06 | 广东中星电子有限公司 | 视频目标区域遮挡方法和装置 |
| US20160342859A1 (en) * | 2015-05-18 | 2016-11-24 | Facebook, Inc. | Logo detection |
| CN105631411A (zh) * | 2015-12-22 | 2016-06-01 | 青岛海信网络科技股份有限公司 | 一种基于视频分析的公交车拥挤度计算方法 |
| CN109472824A (zh) * | 2017-09-07 | 2019-03-15 | 北京京东尚科信息技术有限公司 | 物品位置变化检测方法及装置、存储介质、电子设备 |
| US20190120948A1 (en) * | 2017-10-19 | 2019-04-25 | DeepMap Inc. | Lidar and camera synchronization |
| US20190120946A1 (en) * | 2017-10-19 | 2019-04-25 | DeepMap Inc. | Calibrating sensors mounted on an autonomous vehicle |
| CN208027470U (zh) * | 2018-03-13 | 2018-10-30 | 武汉金盒子智能科技有限公司 | 一种带光幕传感器的图像识别的智能售货柜 |
| CN108481327A (zh) * | 2018-05-31 | 2018-09-04 | 珠海市微半导体有限公司 | 一种增强视觉的定位装置、定位方法及机器人 |
| CN108885813A (zh) * | 2018-06-06 | 2018-11-23 | 深圳前海达闼云端智能科技有限公司 | 智能售货柜、物品识别的方法、装置、服务器和存储介质 |
| CN109064630A (zh) * | 2018-07-02 | 2018-12-21 | 高堆 | 无人自动称重计价货柜系统 |
| CN109035629A (zh) * | 2018-07-09 | 2018-12-18 | 深圳码隆科技有限公司 | 一种基于开放式自动售货机的购物结算方法和装置 |
| US10282852B1 (en) * | 2018-07-16 | 2019-05-07 | Accel Robotics Corporation | Autonomous store tracking system |
| CN208752722U (zh) * | 2018-07-29 | 2019-04-16 | 上海图漾信息科技有限公司 | 自动售货柜 |
| CN208654911U (zh) * | 2018-08-03 | 2019-03-26 | 济南每日优鲜便利购网络科技有限公司 | 自动售卖设备和自动售卖设备的控制系统 |
| CN109330284A (zh) * | 2018-09-21 | 2019-02-15 | 京东方科技集团股份有限公司 | 一种货架系统 |
| CN109711337A (zh) * | 2018-12-26 | 2019-05-03 | 苏州浪潮智能软件有限公司 | 一种利用背景匹配实现物体有无检测的方法 |
| CN109389747A (zh) * | 2018-12-29 | 2019-02-26 | 北京沃东天骏信息技术有限公司 | 售货装置和售货方法 |
| CN109767557A (zh) * | 2018-12-29 | 2019-05-17 | 合肥美的智能科技有限公司 | 货柜系统 |
Non-Patent Citations (1)
| Title |
|---|
| 蒋先刚: "基于稀疏表达的火焰与烟雾探测方法研究", 成都：西南交通大学出版社, pages: 159 - 162 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12130879B2 (en) | 2023-04-03 | 2024-10-29 | Microsoft Technology Licensing, Llc | Two-stage selection of local information items |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112052707B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110502954B (zh) | 视频分析的方法和装置 | |
| CN108682036A (zh) | 位姿确定方法、装置及存储介质 | |
| CN111723602B (zh) | 驾驶员的行为识别方法、装置、设备及存储介质 | |
| CN109859102B (zh) | 特效显示方法、装置、终端及存储介质 | |
| CN110839128B (zh) | 拍照行为检测方法、装置及存储介质 | |
| CN109886208B (zh) | 物体检测的方法、装置、计算机设备及存储介质 | |
| CN110874905A (zh) | 监控方法及装置 | |
| CN112052701B (zh) | 物品取放检测系统、方法及装置 | |
| CN111754386B (zh) | 图像区域屏蔽方法、装置、设备及存储介质 | |
| CN112396076A (zh) | 车牌图像生成方法、装置及计算机存储介质 | |
| CN113627413A (zh) | 数据标注方法、图像比对方法及装置 | |
| CN113012211A (zh) | 图像采集方法、装置、系统、计算机设备及存储介质 | |
| CN112749590B (zh) | 目标检测方法、装置、计算机设备和计算机可读存储介质 | |
| CN112308103B (zh) | 生成训练样本的方法和装置 | |
| CN111586279B (zh) | 确定拍摄状态的方法、装置、设备及存储介质 | |
| CN111127541B (zh) | 车辆尺寸的确定方法、装置及存储介质 | |
| CN110874699B (zh) | 记录物品的物流信息方法、装置及系统 | |
| CN112991439A (zh) | 定位目标物体的方法、装置、电子设备及介质 | |
| CN111931712B (zh) | 人脸识别方法、装置、抓拍机及系统 | |
| CN112184802B (zh) | 标定框的调整方法、装置及存储介质 | |
| CN112052707B (zh) | 物品检测系统、方法及装置 | |
| CN111860064B (zh) | 基于视频的目标检测方法、装置、设备及存储介质 | |
| CN112052708B (zh) | 物品检测方法、装置及系统 | |
| CN111241869B (zh) | 物料盘点的方法、装置及计算机可读存储介质 | |
| CN111389015A (zh) | 游戏道具的确定方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |