CN112052701A - 物品取放检测系统、方法及装置 - Google Patents

物品取放检测系统、方法及装置 Download PDF

Info

Publication number
CN112052701A
CN112052701A CN201910492987.6A CN201910492987A CN112052701A CN 112052701 A CN112052701 A CN 112052701A CN 201910492987 A CN201910492987 A CN 201910492987A CN 112052701 A CN112052701 A CN 112052701A
Authority
CN
China
Prior art keywords
article
marker
placing
detection
marker information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910492987.6A
Other languages
English (en)
Other versions
CN112052701B (zh
Inventor
解松霖
马强
朱镇峰
王靖雄
毛慧
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910492987.6A priority Critical patent/CN112052701B/zh
Priority to US17/616,810 priority patent/US20220309444A1/en
Priority to EP20817655.2A priority patent/EP3982291A4/en
Priority to PCT/CN2020/094433 priority patent/WO2020244592A1/zh
Publication of CN112052701A publication Critical patent/CN112052701A/zh
Application granted granted Critical
Publication of CN112052701B publication Critical patent/CN112052701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/202—Interconnection or interaction of plural electronic cash registers [ECR] or to host computer, e.g. network details, transfer of information from host to ECR or from ECR to ECR
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/10—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for means for safe-keeping of property, left temporarily, e.g. by fastening the property
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/009—User recognition or proximity detection

Abstract

本申请公开了一种物品取放检测系统、方法及装置。物品取放检测系统，包括：物品取放柜、图像采集单元及取放检测单元；物品取放柜的出入口边缘具有标志物，图像采集单元用于采集物品取放柜的出入口的图像；取放检测单元与图像采集单元连接，用于基于图像采集单元采集到的图像中的标志物信息进行物品取放检测。通过在物品取放柜的出入口边缘设置标志物，检测物品取放柜的出入口图像中的标志物信息，基于检测结果进行物品取放检测，而无需目标物品的检测和跟踪，降低了场景和目标物品的要求，可以应对频繁变化的场景和任意速度取放，检测鲁棒性高。此外，本申请通过标志物信息进行取放检测，提高了检测取放操作的真实性和准确性。

Description

物品取放检测系统、方法及装置
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种物品取放检测系统、方法及装置。
背景技术
随着人工智能的发展，物品取放柜逐渐被广泛应用。例如，通过物品取放柜可以用来存放物品，在有取放需求时，从该物品取放柜中将物品取出或将物品放入该物品取放柜。因此，如何实现物品取放检测，是一个比较关键的问题。
相关技术中，通过深度学习网络对用户动作姿态进行识别或者逐帧检测目标物品实现目标物品跟踪，达到物品取放检测的目的。
然而，该类方法使用深度学习网络进行视频数据分析，计算量大，而且计算资源往往部署于云服务器上，视频传输数据量大，导致检测效率较低，且对传输带宽要求高，部署成本大。
发明内容
本申请实施例提供了一种物品取放检测系统、方法及装置，可用于解决相关技术中的问题。所述技术方案如下：
一方面，本申请实施例提供了一种物品取放检测系统，所述系统包括：物品取放柜、图像采集单元及取放检测单元；
所述物品取放柜的出入口边缘具有标志物，所述图像采集单元用于采集所述物品取放柜的出入口的图像；
所述取放检测单元与所述图像采集单元连接，用于基于所述图像采集单元采集到的图像中的标志物信息进行物品取放检测。
可选地，所述标志物包括线特征的标志物、条形码的标志物及棋盘格的标志物中的一种或多种。
可选地，所述标志物为多个，多个标志物构成特征阵列，每两个标志物之间的间隔小于从所述物品取放柜中取放的物品中的最小物品的宽度。
可选地，所述图像采集单元包括一个相机，所述一个相机的监测区域覆盖所述物品取放柜的整个出入口。
可选地，所述图像采集单元包括多个相机，每个相机的监测区域覆盖所述物品取放柜的出入口的一部分，所述多个相机的监测区域覆盖所述物品取放柜的整个出入口。
可选地，所述系统还包括用于对所述标志物进行补光的光源。
可选地，所述标志物边缘的其中一侧采用吸收光的材料，另一侧采用漫反射的材料。
还提供了一种物品取放检测方法，所述方法应用于上面任一所述的系统，所述方法包括：
获取物品取放柜的出入口的当前图像；
在所述当前图像中检测标志物信息；
基于检测结果进行物品取放检测。
可选地，基于检测结果进行物品取放检测，包括：
若检测结果为检测到标志物信息，将检测到的标志物信息与参考标志物信息进行匹配，所述参考标志物信息包括所述物品取放柜的出入口边缘的标志物未被遮挡时的标志物信息；
基于匹配结果进行物品取放检测。
可选地，所述标志物信息用于指示所述标志物的位置及特征；
所述基于匹配结果进行物品取放检测，包括：
若所述检测到的标志物信息所指示的标志物的位置及特征，分别与所述参考标志物信息所指示的标志物的位置及特征匹配，则确定不存在物品取放操作；
若所述检测到的标志物信息所指示的标志物的位置及特征，分别与所述参考标志物信息所指示的标志物的位置及特征不匹配，则确定存在物品取放操作。
可选地，所述基于检测结果进行物品取放检测，包括：
若检测结果为未检测到标志物信息，则确定存在物品取放操作。
可选地，所述确定存在物品取放操作之后，所述方法还包括：
确定标志物被遮挡的区域，根据所述标志物被遮挡的区域变化输出取放信号，所述取放信号用于指示所述物品取放操作的状态。
还提供一种物品取放检测装置，所述装置应用于上面任一所述的系统，所述装置包括：
获取模块，用于获取物品取放柜的出入口的当前图像；
第一检测模块，用于在所述当前图像中检测标志物信息；
第二检测模块，用于基于检测结果进行物品取放检测。
可选地，所述第二检测模块，用于若检测结果为检测到标志物信息，将检测到的标志物信息与参考标志物信息进行匹配，所述参考标志物信息包括所述物品取放柜的出入口边缘的标志物未被遮挡时的标志物信息；基于匹配结果进行物品取放检测。
可选地，所述标志物信息用于指示所述标志物的位置及特征；
所述第二检测模块，用于若所述检测到的标志物信息所指示的标志物的位置及特征，分别与所述参考标志物信息所指示的标志物的位置及特征匹配，则确定不存在物品取放操作；
若所述检测到的标志物信息所指示的标志物的位置及特征，分别与所述参考标志物信息所指示的标志物的位置及特征不匹配，则确定存在物品取放操作。
可选地，所述第二检测模块，用于若检测结果为未检测到标志物信息，则确定存在物品取放操作。
可选地，所述装置还包括：
输出模块，用于所述确定存在物品取放操作之后，确定标志物被遮挡的区域，根据所述标志物被遮挡的区域变化输出取放信号，所述取放信号用于指示所述物品取放操作的状态。
还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令在被所述处理器执行时实现如上任一所述的物品取放检测方法。
还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令在被执行时实现如上任一所述的物品取放检测方法。
本申请实施例提供的技术方案至少带来如下有益效果：
通过在物品取放柜的出入口边缘设置标志物，检测物品取放柜的出入口图像中的标志物信息，基于检测结果进行物品取放检测，而无需目标物品的检测和跟踪，降低了场景和目标物品的要求，可以应对频繁变化的场景和任意速度取放，检测鲁棒性高。此外，本申请通过标志物信息进行取放检测，提高了检测取放操作的真实性和准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的物品取放检测系统的结构示意图；
图2是本申请实施例提供的标志物示意图；
图3是本申请实施例提供的物品取放检测系统的结构示意图；
图4是本申请实施例提供的物品取放检测系统的结构示意图；
图5是本申请实施例提供的物品取放检测系统的结构示意图；
图6是本申请实施例提供的物品取放检测方法流程图；
图7是本申请实施例提供的物品取放检测过程示意图；
图8是本申请实施例提供的物品取放检测方法流程图；
图9是本申请实施例提供的取放信号的输出过程示意图；
图10是本申请实施例提供的物品取放检测过程示意图；
图11是本申请实施例提供的物品取放检测过程示意图；
图12是本申请实施例提供的物品取放检测装置的结构示意图；
图13是本申请实施例提供的物品取放检测装置的结构示意图；
图14是本申请实施例提供的计算机设备的结构示意图；
图15是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例提供了一种物品取放检测系统，如图1所示，该系统包括：物品取放柜11、图像采集单元12及取放检测单元13；
物品取放柜11的出入口边缘具有标志物111，图像采集单元12用于采集物品取放柜11的出入口的图像；
取放检测单元13与图像采集单元12连接，用于基于图像采集单元12采集到的图像中的标志物信息进行物品取放检测。
其中，物品取放柜11用于存放物品，本申请实施例不对物品取放柜11的产品形态进行限定，也不对该物品取放柜11中存放的物品种类、大小和数量进行限定。由于从物品取放柜11中取放物品时，会遮挡该物品取放柜11的出入口的部分区域，因而本申请实施例通过在该物品取放柜11的出入口边缘设置标志物111，可基于该标志物111的遮挡情况来检测是否存在物品取放操作。
此外，取放检测单元13可以与图像采集单元12通过网络进行远程通信连接。也就是说，取放检测单元13可以与图像采集单元12及物品取放柜11等不设置在同一区域内，即实现远程取放检测。可选地，该取放检测单元13可同时服务于多个物品取放检测系统，即一个取放检测单元13可同时与多个物品取放检测系统中的图像采集单元进行通信连接，以基于不同物品取放系统中的图像采集单元所采集的图像对不同物品取放系统进行取放检测。该取放检测单元13可以通过计算机设备实现，例如以服务器作为取放检测单元13，该服务器可以部署在云端。
可选地，标志物111包括但不限于线特征的标志物、条形码的标志物及棋盘格的标志物中的一种或多种。
在本申请的可选实施例中，多条线特征被编码形成线特征编码的标志物。假设，线特征编码的标志物为垂直梯度编码类型，垂直梯度编码类型的标志物在垂直于取放边界(即出入口边缘)的方向进行梯度编码。如图2(a)所示的线特征编码的标志物，梯度存在于边界的垂直方向，该种编码方式的标志物间隔为无穷小。例如，线特征编码的标志物可以为黑白条纹标志物。
条形码及棋盘格可以被编码为二维编码类型的标志物，二维编码类型的标志物在取放边界的垂直和水平方向上均进行编码。常见的二维编码包括二维码、棋盘格形式的二维编码，如图2(b)中所示的二维码形式的条形码，如图2(c)所示的棋盘格。
无论是哪种类型的标志物111，本申请实施例提供的系统中，标志物111为多个，多个标志物111构成特征阵列。此外，每两个标志物111之间的间隔小于从物品取放柜11中取放的物品中的最小物品的宽度。例如，可以在物品取放柜11的出入口边缘连续排列一周的标志物111，每两个标志物111之间的间隔小于从物品取放柜11中取放的物品中的最小物品的宽度，从而避免出现漏检测，进一步提高取放检测的准确性。
在本申请的一个可选实施例中在设置了标志物111的基础上，标志物111边缘梯度保证在10以上，即边缘两侧区域像素值(或者像素灰度值)的差大于10，从而保证标志物111特征提取的准确性。为保证标志物111拥有显著的边缘梯度，可选地，标志物111边缘的其中一侧采用吸收光的材料，另一侧采用漫反射的材料。也就是说，标志物111边缘两侧的材料往往一侧选择吸收光性能较强的材料，如吸光摄影布、印刷墨、橡胶等，另一侧选择漫反射能力较强的材料，如：打印纸、PET(Polyethylene Terephthalate，聚对苯二甲酸乙二醇酯)漫反射材料等。本申请实施例不对标志物111的材料加以限定，能提取特征即可。
例如，标志物111为黑白两色，使用黑白打印的纸质标志物111可以张贴到物品取放柜11的出入口边缘，如柜内腔四周具有一圈可用于张贴标志物111的区域。标志物111的黑色部分的石墨拥有良好的吸收光性能，而白色部分的打印纸拥有良好的漫反射性能，保证标志物111在灰度图像中黑色和白色的灰度差在100以上。
可选地，图像采集单元12用于采集物品取放柜11的出入口的图像，该图像采集单元12可包括一个相机，该一个相机的监测区域覆盖物品取放柜11的整个出入口。因此，通过一个相机可拍摄物品取放柜11的整个出入口，从而避免因漏检测某个标志物而导致取放检测不准确。例如，在物品取放柜11的出入口边缘处的内腔上，连续排列着一周的标志物111，检测相机监测出入口的同时能够采集到标志物的特征。通过相机的视角能够覆盖整个出入口，从而保证任意位置的取放操作都能够被采集到的图像呈现出来，进而避免漏检测。
可选地，除了采用一个相机，参见图3，图像采集单元12包括多个相机，每个相机的监测区域覆盖物品取放柜11的出入口的一部分，多个相机的监测区域覆盖物品取放柜11的整个出入口。例如，根据物品取放柜11的出入口的大小和相机的视角范围，确定相机的数量，保证检测用到的相机的监测区域之和能够覆盖物品取放柜11的整个出入口。
需要说明的是，若物品取放系统中的图像采集单元12包括多个相机，则每个相机均将采集到的当前图像传输至取放检测单元13。此外，每个相机采集图像需要保持同步，使得取放检测单元13获取到的当前图像是同一时间的图像，从而使得当前图像能够反应物品取放柜11的出入口在同一时间的情况，以提高检测结果的准确性。
此外，无论是图1还是图3，本申请实施例仅以将图像采集单元12与物品取放柜11相连为例进行说明，该图像采集单元12可以设置在物品取放柜的出入口一定范围内，从而保证能够采集出入口的图像。可选地，该图像采集单元12也可以与物品取放柜11分离设置。例如，图像采集单元12设置在物品取放柜11对面，正对该物品取放柜11的出入口，能够采集该出入口的图像即可。本申请实施例不对图像采集单元12的具体设置数量及位置进行限定。
为了便于理解，本申请以图4所示的示意图为例。如图4(a)所示，图像采集单元12包括一个相机为例，在物品取放柜11的出入口边缘可以设置标志物。在该出入口的右上角可以设置一个相机，以检测该出入口，采集整个出入口的图像。如图4(b)所示，还可以在该出入口的右上角和左上角分别设置一个相机，以检测该整个出入口，采集整个出入口的图像。
可选地，考虑到物品取放柜11所在环境的光线变化，可能会影响图像采集单元12采集出的图像的清晰程度，影响标志物识别。对此，该系统还包括用于对标志物111进行补光的光源14，如图5所示。标志物111通过光源14进行补光，从而保证标志物特征图像灰度不随外界环境光照条件变化而变化，进而保证取放检测的准确性。
关于光源14的具体位置，本申请实施例不加以限定，能够对标志物111进行补光即可。例如，光源14可以设置在物品取放柜11的正对面，以面对物品取放柜11的出入口边缘。此外，光源14的数量可以为一个或多个，本申请实施例同样不对光源14的数量加以限定，且也不对光源14的种类进行限定。可选地，该系统还可以包括用于控制光源14开启和关闭的控制装置。例如，基于物品取放柜11所在环境的光亮度来控制光源14的开启和关闭。
基于上述物品取放检测系统，当进行物品取放操作时，进入柜内执行取放操作的对象会遮挡标志物111，通过检测标志物111的遮挡情况能够准确的检测到取放操作。对此，参见图6，本申请实施例提供了一种物品取放检测方法，该方法应用于上述物品取放检测系统中的取放检测单元13。如图6所示，该方法包括如下几个步骤。
在步骤601中，获取物品取放柜的出入口的当前图像。
例如，基于上述物品取放系统，通过图像采集单元12采集物品取放柜11的出入口的当前图像。图像采集单元12将采集到的当前图像传输至取放检测单元13。
需要说明的是，若物品取放系统中的图像采集单元12包括多个相机，则每个相机均将采集到的当前图像传输至取放检测单元13。此外，每个相机采集图像需要保持同步，使得取放检测单元13获取到的当前图像是同一时间的图像，从而能够通过当前图像反应物品取放柜11的出入口在同一时间的情况，以提高检测结果的准确性。
在步骤602中，在当前图像中检测标志物信息。
取放检测单元13获取到物品取放柜的出入口的当前图像后，在当前图像中检测标志物信息。可选地，标志物信息用于指示标志物的位置及特征，该特征可以是标志物所在位置的特征。可选地，在当前图像中检测标志物信息之前，可先获取物品取放柜的出入口边缘的标志物未被遮挡时的标志物信息。
例如，物品取放检测系统需要进行一次初始化，利用图像采集单元12提供的未进行任何取放操作时的参考图像，检测其中的标志物的位置与对应的特征。如：图2(a)所示的线特征编码的标志物，通过提取参考图像中的梯度位置与方向获取标志物特征。如图2(b)中所示的二维码编码的标志物，通过二维码识别算法识别二维码并获取二维码位置和内部编码。如图2(c)所示的棋盘格的标志物，通过棋盘格角点提取算法获取棋盘格角点位置，将得到参考图像中所有标志物的位置和特征。
同理，检测当前图像中的标志物信息时，可采用上述检测参考图像中的标志物信息的方式。此处不再赘述。
在步骤603中，基于检测结果进行物品取放检测。
可选地，基于检测结果进行物品取放检测，包括：若检测结果为检测到标志物信息，将检测到的标志物信息与参考标志物信息进行匹配，参考标志物信息包括物品取放柜的出入口边缘的标志物未被遮挡时的标志物信息；基于匹配结果进行物品取放检测。
由于如果未发生取放操作，则标志物不会被遮挡，而参考标志物信息包括物品取放柜的出入口边缘的标志物未被遮挡时的标志物信息，因此，在检测到标志物信息后，可将检测到的标志物信息与参考标志物信息进行匹配，从而根据匹配结果判断标志物是否被遮挡，从而判断出是否发生取放操作。
可选地，基于匹配结果进行物品取放检测，包括但不限于如下两种情况：
第一种情况：若检测到的标志物信息所指示的标志物的位置及特征，分别与参考标志物信息所指示的标志物的位置及特征匹配，则确定不存在物品取放操作。
该种情况下，由于当前图像中检测到的标志物信息所指示的标志物的位置及特征，分别与参考标志物信息所指示的标志物的位置及特征匹配，那么说明标志物未被遮挡，因而可确定不存在物品取放操作。
第二种情况：若检测到的标志物信息所指示的标志物的位置及特征，分别与参考标志物信息所指示的标志物的位置及特征不匹配，则确定存在物品取放操作。
需要说明的是，在上述匹配过程中，将同一位置的标志物特征进行匹配，完全匹配或者匹配度达到匹配度阈值的情况下，再确定二者匹配，否则确认二者不匹配。其中，匹配度阈值可基于场景确定，也可以基于经验设置，还可以在应用过程中适当调整，本申请实施例对此不加以限定。
可选地，以上是以检测结果为检测到标志物信息的情况进行的说明，然而有些时候，可能标志物在取放操作时被全部遮挡，因而不会从当前图像中检测到标志物信息。对此，可选地，基于检测结果进行物品取放检测，包括：若检测结果为未检测到标志物信息，则确定存在物品取放操作。
在确定存在物品取放操作之后，为了能够实时监测取放操作，本申请实施例提供的方法还包括：确定标志物被遮挡的区域，根据标志物被遮挡的区域变化输出取放信号，取放信号用于指示物品取放操作的状态。
可选地，确定标志物被遮挡的区域时，如果未检测到标志物信息，则认为标志物全部被遮挡。因而可将标志物的全部区域作为被遮挡的区域。如果检测到标志物信息，由于标志物信息用于指示标志物的位置，因而可通过将当前图像中的标志物信息与参考标志物信息进行比对，确定哪些标志物未被匹配上，可将未被匹配上的标志物的区域作为被遮挡的区域。由于图像采集单元在每个时间都可以采集物品取放柜的出入口的当前图像，每个当前图像都可以确定标志物是否被遮挡，以及标志物被遮挡的区域。因此，不同时间的图像相互比较，可以得出标志物被遮挡的区域变化。根据标志物被遮挡的区域变化输出取放信号，取放信号用于指示物品取放操作的状态。
例如，基于确定的标志物被遮挡的区域信息，通过在时域上比较前后帧图像中遮挡区域的个数变化来输出取放信号。其中，取放信号用于指示物品取放操作的状态。例如，该取放信号包括进入信号和离开信号。当遮挡区域个数由n变n+1时(n＝0,1,2,…)时，可触发进入信号，用于指示取放操作开始；当遮挡区域个数由n+1变n时(n＝0,1,2,…)时，可触发离开信号，用于指示取放操作结束。
取放信号还可以包括通过遮挡区域个数分析得到的整个取放过程的开始结束状态信号。例如，当遮挡区域个数由0变1时，触发开始信号，用于指示开始进入物品取放柜执行取放操作；当遮挡区域个数由1变0时，触发结束信号，用于指示完全离开物品取放柜，完成取放操作。
接下来，以几种不同编码类型的标志物为例，对上述物品取放检测方法进行举例说明。
首先，以如图7(a)所示的二维码编码的标志物为例进行说明。二维码编码的标志物为黑白两色，使用黑白打印的纸质二维码张贴到物品取放柜的出入口边缘。可以通过光源对标志物进行补光以减少光照变化，从而降低对二维码特征提取的影响。二维码的黑色部分的石墨拥有良好的吸收光性能，而白色部分的打印纸拥有良好的漫反射性能，保证二维码在灰度图像中黑色和白色的灰度差在100以上。
在进行取放操作检测之前，本申请实施例提供的方法先利用图像采集单元采集未进行取放操作时刻的参考图像，之后由取放操作检测单元识别图像中的所有二维码。如图7(a)所示位于物品取放柜出入口边缘处的连续二维码序列，获得所有二维码的位置和内部编码向量作为取放检测时的标志物特征，得到参考标志物信息，以用于后续的检测。
之后，图像采集单元实时检测物品取放柜的出入口的当前图像。当存在取放操作时，由于取放操作会遮挡住位于出入口边缘的二维码，如图7(b)中阴影区域所示。在当前图像上根据参考标志物信息得出的二维码位置检测二维码并提取二维码内部编码向量。如果在当前图像中未检测出二维码或二维码内部编码向量无法与该位置处参考二维码的内部编码向量匹配，则该位置二维码被遮挡，确定存在取放操作，该物品取放检测过程可参见图8。
进一步地，每个二维码都采用该种方式识别后，得出遮挡区域的位置和数目，如图7(c)所示，虚线部分为存在取放操作的遮挡区域，该图中共有两个遮挡区域；利用遮挡区域信息，通过在时域上比较前后帧遮挡区域的个数变化输出取放信号。即通过比较不同时间采集到的当前图像中的标志物信息得出的被遮挡区域的个数变化来输出取放信号。取放信号的内容可参见上述描述，此处不再赘述，得到的不同取放信号的过程可参见图9所示。
接下来，以本申请实施例提供的方法应用于如图10(a)所示的线特征编码的标志物为例，基于该种标志物的物品取放检测方法与上述图7和图8所示的过程不同点在于标志物的编码种类。图10(a)所示的标志物为一条连续的印有水平黑白条纹(即垂直梯度)的标志条。在部署该标志物时，将黑白打印的纸质标志条张贴到物品取放柜的出入口边缘。之后调整相机视角，使得相机拍摄的物品取放柜的出入口的当前图像中的标志条尽量平行于当前图像的水平轴。由于标志物是连续的，以检测相机图像中的一列标志物作为一个特征描述单元。如图10(a)中所示的线编码的标志条为例，每列标志条拥有两个垂直梯度，其中一个梯度向下，即灰度从上向下变大，另外一个梯度向上，即灰度从上向下变小。
在进行取放操作检测之前，可以人工通过在未进行取放操作时的参考图像上画线的方式给出每条梯度边缘的预估位置。本申请实施例提供的方法先利用图像采集单元采集未进行取放操作时刻的参考图像，由取放操作检测单元在预估位置垂直方向的邻域内进行搜索。通过搜索查找到邻域内拥有最大梯度的像素位置作为准确的梯度位置，得出参考图像中每一列标志物中的所有梯度位置和对应的梯度方向作为参考标志物信息。
之后，图像采集单元实时检测物品取放柜的出入口的当前图像。当存在取放操作时，在当前图像上根据参考标志物信息中的梯度位置提取梯度。如果图像中存在未提取到梯度或提取梯度的方向与参考标志物信息中的特征不符的情况，则当前区域存在取放操作，从而有标志物被遮挡，如图10(b)中的阴影区域所示。
每个标志物都采用该种方式识别后，得出遮挡区域的位置和数目。如图10(c)所示，虚线部分为存在取放操作的遮挡区域，该图中共有两个遮挡区域；利用遮挡区域信息，通过在时域上比较前后帧遮挡区域的个数变化输出取放信号。即通过比较不同时间采集到的当前图像中的标志物信息得出的被遮挡区域的个数变化来输出取放信号。取放信号的内容可参见上述描述，此处不再赘述。
接下来，以如图11(a)所示的棋盘格的标志物为例进行说明。棋盘格的标志物为黑白两色，使用黑白打印的纸质棋盘格的标志物张贴到物品取放柜的出入口边缘。可以通过光源对标志物进行补光以减少光照变化，从而降低对棋盘格特征提取的影响。棋盘格的黑色部分的石墨拥有良好的吸收光性能，而白色部分的打印纸拥有良好的漫反射性能，保证棋盘格在灰度图像中黑色和白色的灰度差在100以上。
在进行取放操作检测之前，本申请实施例提供的方法先利用图像采集单元采集未进行取放操作时刻的参考图像，之后由取放操作检测单元识别图像中的所有棋盘格角点。如图11(a)所示位于物品取放柜出入口边缘处的连续棋盘格角点序列，获得所有棋盘格角点位置作为物品取放检测时的标志物特征，得到参考标志物信息，以用于后续的检测。
之后，图像采集单元实时检测物品取放柜的出入口的当前图像。当存在取放操作时，由于取放操作会遮挡住位于出入口边缘的棋盘格角点，如图11(b)中阴影区域所示。根据参考标志物信息得出的棋盘格角点位置在当前图像上提取棋盘格角点。如果在当前图像中能够提取出棋盘格角点，则提取出的棋盘格角点与该棋盘格角点位置匹配，则该位置的棋盘格角点未被遮挡。如果在当前图像中未能够提取出棋盘格角点，则该位置的棋盘格角点被遮挡，确定存在取放操作。
每个棋盘格都采用该种方式识别后，得出遮挡区域的位置和数目，如图11(c)所示，虚线部分为存在取放操作的遮挡区域，该图中共有两个遮挡区域；利用遮挡区域信息，通过在时域上比较前后帧遮挡区域的个数变化输出取放信号。即通过比较不同时间采集到的当前图像中的标志物信息得出的被遮挡区域的个数变化来输出取放信号。取放信号的内容可参见上述描述，此处不再赘述。
基于相同技术构思，本申请实施例提供了一种物品取放检测装置，该装置应用于上述物品取放检测系统。参见图12，装置包括：
获取模块1201，用于获取物品取放柜的出入口的当前图像；
第一检测模块1202，用于在当前图像中检测标志物信息；
第二检测模块1203，用于基于检测结果进行物品取放检测。
可选地，第二检测模块1203，用于若检测结果为检测到标志物信息，将检测到的标志物信息与参考标志物信息进行匹配，参考标志物信息包括物品取放柜的出入口边缘的标志物未被遮挡时的标志物信息；基于匹配结果进行物品取放检测。
可选地，标志物信息用于指示标志物的位置及特征；
第二检测模块1203，用于若检测到的标志物信息所指示的标志物的位置及特征，分别与参考标志物信息所指示的标志物的位置及特征匹配，则确定不存在物品取放操作；
若检测到的标志物信息所指示的标志物的位置及特征，分别与参考标志物信息所指示的标志物的位置及特征不匹配，则确定存在物品取放操作。
可选地，第二检测模块1203，用于若检测结果为未检测到标志物信息，则确定存在物品取放操作。
可选地，参见图13，该装置还包括：
输出模块1204，用于确定存在物品取放操作之后，确定标志物被遮挡的区域，根据标志物被遮挡的区域变化输出取放信号，取放信号用于指示物品取放操作的状态。
需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在示例中实施例中，还提供了一种计算机设备，参见图14，该计算机设备包括处理器141和存储器142，所述存储器142中存储有至少一条指令。所述至少一条指令经配置以由一个或者一个以上处理器141执行，以实现上述任一种物品取放检测方法。
图15是本发明实施例提供的一种计算机设备的结构示意图。该设备可以为终端，例如可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group AudioLayer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端包括有：处理器1501和存储器1502。
处理器1501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1501所执行以实现本申请中方法实施例提供的物品取放检测方法。
在一些实施例中，终端还可选包括有：外围设备接口1503和至少一个外围设备。处理器1501、存储器1502和外围设备接口1503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1503相连。具体地，外围设备包括：射频电路1504、触摸显示屏1505、摄像头1506、音频电路1507、定位组件1508和电源1509中的至少一种。
外围设备接口1503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1501和存储器1502。在一些实施例中，处理器1501、存储器1502和外围设备接口1503被集成在同一芯片或电路板上；在一些其他实施例中，处理器1501、存储器1502和外围设备接口1503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1505是触摸显示屏时，显示屏1505还具有采集在显示屏1505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1501进行处理。此时，显示屏1505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1505可以为一个，设置终端的前面板；在另一些实施例中，显示屏1505可以为至少两个，分别设置在终端的不同表面或呈折叠设计；在再一些实施例中，显示屏1505可以是柔性显示屏，设置在终端的弯曲表面上或折叠面上。甚至，显示屏1505还可以设置成非矩形的不规则图形，也即异形屏。显示屏1505可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1506用于采集图像或视频。可选地，摄像头组件1506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1501进行处理，或者输入至射频电路1504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1501或射频电路1504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1507还可以包括耳机插孔。
定位组件1508用于定位终端的当前地理位置，以实现导航或LBS(Location BasedService，基于位置的服务)。定位组件1508可以是基于美国的GPS(Global PositioningSystem，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1509用于为终端中的各个组件进行供电。电源1509可以是交流电、直流电、一次性电池或可充电电池。当电源1509包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端还包括有一个或多个传感器1510。该一个或多个传感器1510包括但不限于：加速度传感器1511、陀螺仪传感器1512、压力传感器1513、指纹传感器1514、光学传感器1515以及接近传感器1516。
加速度传感器1511可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1511可以用于检测重力加速度在三个坐标轴上的分量。处理器1501可以根据加速度传感器1511采集的重力加速度信号，控制触摸显示屏1505以横向视图或纵向视图进行用户界面的显示。加速度传感器1511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1512可以检测终端的机体方向及转动角度，陀螺仪传感器1512可以与加速度传感器1511协同采集用户对终端的3D动作。处理器1501根据陀螺仪传感器1512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1513可以设置在终端的侧边框和/或触摸显示屏1505的下层。当压力传感器1513设置在终端的侧边框时，可以检测用户对终端的握持信号，由处理器1501根据压力传感器1513采集的握持信号进行左右手识别或快捷操作。当压力传感器1513设置在触摸显示屏1505的下层时，由处理器1501根据用户对触摸显示屏1505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1514用于采集用户的指纹，由处理器1501根据指纹传感器1514采集到的指纹识别用户的身份，或者，由指纹传感器1514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1514可以被设置终端的正面、背面或侧面。当终端上设置有物理按键或厂商Logo时，指纹传感器1514可以与物理按键或厂商Logo集成在一起。
光学传感器1515用于采集环境光强度。在一个实施例中，处理器1501可以根据光学传感器1515采集的环境光强度，控制触摸显示屏1505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1505的显示亮度；当环境光强度较低时，调低触摸显示屏1505的显示亮度。在另一个实施例中，处理器1501还可以根据光学传感器1515采集的环境光强度，动态调整摄像头组件1506的拍摄参数。
接近传感器1516，也称距离传感器，通常设置在终端的前面板。接近传感器1516用于采集用户与终端的正面之间的距离。在一个实施例中，当接近传感器1516检测到用户与终端的正面之间的距离逐渐变小时，由处理器1501控制触摸显示屏1505从亮屏状态切换为息屏状态；当接近传感器1516检测到用户与终端的正面之间的距离逐渐变大时，由处理器1501控制触摸显示屏1505从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图15中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令在被计算机设备的处理器执行时实现上述任一种物品取放检测方法。
在本申请的可能实施方式中，上述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (18)

1.一种物品取放检测系统，其特征在于，所述系统包括：物品取放柜、图像采集单元及取放检测单元；
所述物品取放柜的出入口边缘具有标志物，所述图像采集单元用于采集所述物品取放柜的出入口的图像；
所述取放检测单元与所述图像采集单元连接，用于基于所述图像采集单元采集到的图像中的标志物信息进行物品取放检测。
2.根据权利要求1所述的系统，其特征在于，所述标志物包括线特征的标志物、条形码的标志物及棋盘格的标志物中的一种或多种。
3.根据权利要求1所述的系统，其特征在于，所述标志物为多个，多个标志物构成特征阵列，每两个标志物之间的间隔小于从所述物品取放柜中取放的物品中的最小物品的宽度。
4.根据权利要求1-3任一所述的系统，其特征在于，所述图像采集单元包括一个相机，所述一个相机的监测区域覆盖所述物品取放柜的整个出入口。
5.根据权利要求1-3任一所述的系统，其特征在于，所述图像采集单元包括多个相机，每个相机的监测区域覆盖所述物品取放柜的出入口的一部分，所述多个相机的监测区域覆盖所述物品取放柜的整个出入口。
6.根据权利要求1-3任一所述的系统，其特征在于，所述系统还包括用于对所述标志物进行补光的光源。
7.根据权利要求1-3任一所述的系统，其特征在于，所述标志物边缘的其中一侧采用吸收光的材料，另一侧采用漫反射的材料。
8.根据权利要求1-3任一项所述的系统，其特征在于，在所述图像采集单元采集到的图像中的所述标志物边缘两侧区域像素值或者像素灰度值的差大于10。
9.一种物品取放检测方法，其特征在于，所述方法应用于物品取放柜，所述方法包括：
获取物品取放柜的出入口的当前图像；
在所述当前图像中检测标志物信息；
基于检测结果进行物品取放检测。
10.根据权利要求9所述的方法，其特征在于，基于检测结果进行物品取放检测，包括：
若检测结果为检测到标志物信息，将检测到的标志物信息与参考标志物信息进行匹配，所述参考标志物信息包括所述物品取放柜的出入口边缘的标志物未被遮挡时的标志物信息；
基于匹配结果进行物品取放检测。
11.根据权利要求10所述的方法，其特征在于，所述标志物信息用于指示所述标志物的位置及特征；
所述基于匹配结果进行物品取放检测，包括：
若所述检测到的标志物信息所指示的标志物的位置及特征，分别与所述参考标志物信息所指示的标志物的位置及特征匹配，则确定不存在物品取放操作；
若所述检测到的标志物信息所指示的标志物的位置及特征，分别与所述参考标志物信息所指示的标志物的位置及特征不匹配，则确定存在物品取放操作。
12.根据权利要求9所述的方法，其特征在于，所述基于检测结果进行物品取放检测，包括：
若检测结果为未检测到标志物信息，则确定存在物品取放操作。
13.根据权利要求11或12所述的方法，其特征在于，所述确定存在物品取放操作之后，所述方法还包括：
确定标志物被遮挡的区域，根据所述标志物被遮挡的区域变化输出取放信号，所述取放信号用于指示所述物品取放操作的状态。
14.一种物品取放检测装置，其特征在于，所述装置应用于物品取放柜，所述装置包括：
获取模块，用于获取物品取放柜的出入口的当前图像；
第一检测模块，用于在所述当前图像中检测标志物信息；
第二检测模块，用于基于检测结果进行物品取放检测。
15.根据权利要求14所述的装置，其特征在于，所述第二检测模块，用于若检测结果为检测到标志物信息，将检测到的标志物信息与参考标志物信息进行匹配，所述参考标志物信息包括所述物品取放柜的出入口边缘的标志物未被遮挡时的标志物信息；基于匹配结果进行物品取放检测。
16.根据权利要求15所述的装置，其特征在于，所述标志物信息用于指示所述标志物的位置及特征；
所述第二检测模块，用于若所述检测到的标志物信息所指示的标志物的位置及特征，分别与所述参考标志物信息所指示的标志物的位置及特征匹配，则确定不存在物品取放操作；
若所述检测到的标志物信息所指示的标志物的位置及特征，分别与所述参考标志物信息所指示的标志物的位置及特征不匹配，则确定存在物品取放操作。
17.根据权利要求14所述的装置，其特征在于，所述第二检测模块，用于若检测结果为未检测到标志物信息，则确定存在物品取放操作。
18.根据权利要求16或17所述的装置，其特征在于，所述装置还包括：
输出模块，用于所述确定存在物品取放操作之后，确定标志物被遮挡的区域，根据所述标志物被遮挡的区域变化输出取放信号，所述取放信号用于指示所述物品取放操作的状态。
CN201910492987.6A 2019-06-06 2019-06-06 物品取放检测系统、方法及装置 Active CN112052701B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910492987.6A CN112052701B (zh) 2019-06-06 2019-06-06 物品取放检测系统、方法及装置
US17/616,810 US20220309444A1 (en) 2019-06-06 2020-06-04 System, method and apparatus for detecting article store or retrieve operations
EP20817655.2A EP3982291A4 (en) 2019-06-06 2020-06-04 SYSTEM, METHOD AND DEVICE FOR RECOGNIZING OBJECT MOUNTING
PCT/CN2020/094433 WO2020244592A1 (zh) 2019-06-06 2020-06-04 物品取放检测系统、方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910492987.6A CN112052701B (zh) 2019-06-06 2019-06-06 物品取放检测系统、方法及装置

Publications (2)

Publication Number Publication Date
CN112052701A true CN112052701A (zh) 2020-12-08
CN112052701B CN112052701B (zh) 2022-08-05

Family

ID=73608691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910492987.6A Active CN112052701B (zh) 2019-06-06 2019-06-06 物品取放检测系统、方法及装置

Country Status (4)

Country Link
US (1) US20220309444A1 (zh)
EP (1) EP3982291A4 (zh)
CN (1) CN112052701B (zh)
WO (1) WO2020244592A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734337A (zh) * 2021-01-15 2021-04-30 广州富港生活智能科技有限公司 基于信息采集的物品监控管理方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744305B (zh) * 2021-01-20 2023-12-05 北京京东乾石科技有限公司 目标物检测方法、装置、电子设备和计算机存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120020531A1 (en) * 2010-07-21 2012-01-26 Cognisense Labs, Inc. Automated image analysis of an organic polarized object
CN105184231A (zh) * 2015-08-14 2015-12-23 北京京东尚科信息技术有限公司 一种储物空间的图像采集系统及方法
CN106531161A (zh) * 2016-10-17 2017-03-22 南京理工大学 基于图像识别的移动小车自动分拣搬运物品的装置及方法
CN106934692A (zh) * 2017-03-03 2017-07-07 陈维龙 物品信息处理系统、方法及装置
CN107403248A (zh) * 2016-05-19 2017-11-28 阿里巴巴集团控股有限公司 物品管理方法、装置、智能储藏设备和操作系统
CN108885813A (zh) * 2018-06-06 2018-11-23 深圳前海达闼云端智能科技有限公司 智能售货柜、物品识别的方法、装置、服务器和存储介质
CN109712102A (zh) * 2017-10-25 2019-05-03 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备
CN109711337A (zh) * 2018-12-26 2019-05-03 苏州浪潮智能软件有限公司 一种利用背景匹配实现物体有无检测的方法
CN109840760A (zh) * 2018-12-11 2019-06-04 深圳招商建筑科技有限公司 一种基于人脸识别的智慧支付方法及系统
CN109840504A (zh) * 2019-02-01 2019-06-04 腾讯科技（深圳）有限公司 物品取放行为识别方法、装置、存储介质及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100693412B1 (ko) * 2005-05-16 2007-03-09 주식회사 아이디테크 영상에서 감시대상의 눈을 검출하는 방법
US8630924B2 (en) * 2007-08-31 2014-01-14 Accenture Global Services Limited Detection of stock out conditions based on image processing
CN101871768B (zh) * 2010-05-12 2011-11-09 中国科学院自动化研究所 一种基于单目视觉的行李外观信息自动获取系统及其方法
CN107358150B (zh) * 2017-06-01 2020-08-18 深圳赛飞百步印社科技有限公司 物体边框识别方法、装置和高拍仪
CN109330284B (zh) * 2018-09-21 2020-08-11 京东方科技集团股份有限公司 一种货架系统
US11907894B2 (en) * 2019-01-11 2024-02-20 Fff Enterprises, Inc. Storage devices and operation methods thereof

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120020531A1 (en) * 2010-07-21 2012-01-26 Cognisense Labs, Inc. Automated image analysis of an organic polarized object
CN105184231A (zh) * 2015-08-14 2015-12-23 北京京东尚科信息技术有限公司 一种储物空间的图像采集系统及方法
CN107403248A (zh) * 2016-05-19 2017-11-28 阿里巴巴集团控股有限公司 物品管理方法、装置、智能储藏设备和操作系统
CN106531161A (zh) * 2016-10-17 2017-03-22 南京理工大学 基于图像识别的移动小车自动分拣搬运物品的装置及方法
CN106934692A (zh) * 2017-03-03 2017-07-07 陈维龙 物品信息处理系统、方法及装置
CN109712102A (zh) * 2017-10-25 2019-05-03 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备
CN108885813A (zh) * 2018-06-06 2018-11-23 深圳前海达闼云端智能科技有限公司 智能售货柜、物品识别的方法、装置、服务器和存储介质
CN109840760A (zh) * 2018-12-11 2019-06-04 深圳招商建筑科技有限公司 一种基于人脸识别的智慧支付方法及系统
CN109711337A (zh) * 2018-12-26 2019-05-03 苏州浪潮智能软件有限公司 一种利用背景匹配实现物体有无检测的方法
CN109840504A (zh) * 2019-02-01 2019-06-04 腾讯科技（深圳）有限公司 物品取放行为识别方法、装置、存储介质及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734337A (zh) * 2021-01-15 2021-04-30 广州富港生活智能科技有限公司 基于信息采集的物品监控管理方法及装置
CN112734337B (zh) * 2021-01-15 2023-09-26 广州富港生活智能科技有限公司 基于信息采集的物品监控管理方法及装置

Also Published As

Publication number Publication date
EP3982291A4 (en) 2022-07-27
CN112052701B (zh) 2022-08-05
EP3982291A1 (en) 2022-04-13
WO2020244592A1 (zh) 2020-12-10
US20220309444A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
CN110599549B (zh) 界面显示方法、装置及存储介质
CN110490179B (zh) 车牌识别方法、装置及存储介质
CN110807361A (zh) 人体识别方法、装置、计算机设备及存储介质
CN110839128B (zh) 拍照行为检测方法、装置及存储介质
CN109886208B (zh) 物体检测的方法、装置、计算机设备及存储介质
CN109302632B (zh) 获取直播视频画面的方法、装置、终端及存储介质
CN110442521B (zh) 控件单元检测方法及装置
CN111754386B (zh) 图像区域屏蔽方法、装置、设备及存储介质
CN112749613A (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN113723136A (zh) 条码矫正方法、装置、设备及存储介质
CN113627413A (zh) 数据标注方法、图像比对方法及装置
CN112308103B (zh) 生成训练样本的方法和装置
CN111586279B (zh) 确定拍摄状态的方法、装置、设备及存储介质
CN112749590B (zh) 目标检测方法、装置、计算机设备和计算机可读存储介质
CN110503159B (zh) 文字识别方法、装置、设备及介质
CN112052701B (zh) 物品取放检测系统、方法及装置
CN111127541B (zh) 车辆尺寸的确定方法、装置及存储介质
CN112396076A (zh) 车牌图像生成方法、装置及计算机存储介质
CN111860064B (zh) 基于视频的目标检测方法、装置、设备及存储介质
CN111241869B (zh) 物料盘点的方法、装置及计算机可读存储介质
CN113378705B (zh) 车道线检测方法、装置、设备及存储介质
CN112950535B (zh) 视频处理方法、装置、电子设备及存储介质
CN110672036B (zh) 确定投影区域的方法及装置
CN113012211A (zh) 图像采集方法、装置、系统、计算机设备及存储介质
CN112052708A (zh) 物品检测方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant