CN110781780B - 空置检测方法及相关装置 - Google Patents
空置检测方法及相关装置 Download PDFInfo
- Publication number
- CN110781780B CN110781780B CN201910965146.2A CN201910965146A CN110781780B CN 110781780 B CN110781780 B CN 110781780B CN 201910965146 A CN201910965146 A CN 201910965146A CN 110781780 B CN110781780 B CN 110781780B
- Authority
- CN
- China
- Prior art keywords
- target
- storage device
- detection
- area
- vacancy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种空置检测方法及相关装置。其中，空置检测方法包括：获取摄像器件对存放装置拍摄的初始图像，基于预设检测策略确定初始图像中的检测区域，对初始图像进行目标检测，确定初始图像中的目标区域，其中，目标区域为包含目标的区域，或目标区域为不包含目标的区域，基于检测区域和目标区域计算目标空置率。上述方案，能够提高空置检测的效率，降低人力成本。
Description
技术领域
本申请涉及信息技术领域，特别是涉及一种空置检测方法及相关装置。
背景技术
在库存管理中，往往需要对存放于诸如货架等存放装置上的物品进行盘点，以统计存放装置上物品的空置率，从而可以及时补充库存，并进行物品数量控制的决策。例如，在商城超市场景中，商家需要实时获取货架上的物品信息，来进行及时补货。
目前，对于存放装置上物品的盘点，以获取空置率的工作一般是由理货员通过人工方式完成。然而，由于在一般库存管理中，诸如货架的存放装置数量众多，通过人工对空置率进行统计不仅效率低下，而且需要支出较高的人力成本。有鉴于此，如何提高空置检测的效率，降低人力成本成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种空置检测方法及相关装置，能够提高空置检测的效率，降低人力成本。
为了解决上述问题，本申请第一方面提供了一种空置检测方法，包括获取摄像器件对存放装置拍摄的初始图像；基于预设检测策略确定初始图像中的检测区域；对初始图像进行目标检测，确定初始图像中的目标区域，其中，目标区域为包含目标的区域，或目标区域为不包含目标的区域；基于检测区域和目标区域计算目标空置率。
为了解决上述问题，本申请第二方面提供了一种空置检测装置，包括获取模块、确定模块、检测模块和计算模块，获取模块用于获取摄像器件对存放装置拍摄的初始图像；确定模块用于基于预设检测策略确定初始图像中的检测区域；检测模块用于对初始图像进行目标检测，确定初始图像中的目标区域，其中，目标区域为包含目标的区域，或目标区域为不包含目标的区域；计算模块用于基于检测区域和目标区域计算目标空置率。
为了解决上述问题，本申请第三方面提供了一种空置检测装置，包括相互耦接的存储器和处理器，处理器用于执行存储器存储的程序指令，以实现上述第一方面中的方法。
为了解决上述问题，本申请第四方面提供了一种存储装置，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的方法。
上述方案，获取摄像器件对存放装置拍摄的初始图像，并基于预设检测策略确定初始图像中的检测区域，进一步对初始图像进行目标检测，从而确定初始图像中的目标区域，进而可以基于对初始图像进行检测而得到的检测区域和目标区域计算出目标空置率，而无需再通过人工方式进行统计，不仅能够提高空置检测的效率，而且还可以降低人力成本。
此外，目标区域既可以是包含目标的区域，也可以是不包含目标的区域，能够提高空置检测的兼容性。
附图说明
图1是本申请空置检测方法一实施例的流程示意图；
图2是存放装置一实施例的框架示意图；
图3是本申请空置检测方法另一实施例的流程示意图；
图4是图3中步骤S32一实施例的流程示意图；
图5是图3中步骤S34一实施例的流程示意图；
图6是图3中步骤S33中检测模型获取方法一实施例的流程示意图；
图7是图6中神经网络一实施例的框架示意图；
图8是本申请空置检测装置一实施例的框架示意图；
图9是本申请空置检测装置另一实施例的框架示意图；
图10是本申请存储装置一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请空置检测方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取摄像器件对存放装置拍摄的初始图像。
存放装置可以为开放式的货架，例如，商场超市的货架、物流仓库的货架等等，本实施例在此不做具体限制。存放装置也可以是货柜，当存放装置为货柜时，为了使摄像器件对存放装置拍摄的初始图像可以清晰完整地呈现货柜上存放的目标，货柜面向摄像器件的一面是透明的，例如：商场、超市的生鲜柜、饮品柜等等，本实施例在此不再一一举例。
本实施例中，摄像器件可以是网络摄像头(IP Camera，IPC)，从而可以通过RTSP协议(Real Time Streaming Protocol，实时流传输协议)等通信协议获取摄像器件实时对存放装置拍摄得到的初始图像。摄像器件也可是其他类型的摄像头，例如模拟摄像头等，本实施例在此不做具体限制。
在一个实施场景中，摄像器件还可以具备图像处理功能，从而可以执行本申请中任一实施例的空置检测方法的步骤。在另一个实施场景中，摄像器件还可以只执行对存放装置拍摄的任务，从而使得空置检测装置在获取到摄像器件拍摄的初始图像的基础上，执行本申请中任一实施例的空置检测方法中的步骤，空置检测装置可以是平板电脑、个人计算机、服务器等具有处理功能的装置，本实施例在此不做具体限制。
步骤S12：基于预设检测策略确定初始图像中的检测区域。
本实施例中，检测区域是存放装置中用于存放饮料、零食的区域，例如货架的每一层。
请结合参阅图2，图2是存放装置20一实施例的框架示意图。如图2所示，存放装置20共有3层，分别为第一层21、第二层22、第三层23，存放装置20上存放了2种目标A，分别为第一目标A1和第二目标A2，第一目标A1和第二目标A2的高度不同。
在一个实施场景中，可以将存放装置中的每一层区域作为检测区域，例如，将图2中存放装置20的第一层21作为其中一个检测区域，将第二层22作为其中一个检测区域，将第三层23作为其中一个检测区域，其他类型的存放装置可以以此类推，本实施例在此不再一一举例。
在另一个实施场景中，为了兼顾不同高度的目标，减小后续基于检测区域和目标区域计算目标空置率的误差，提高计算准确度，还可以根据存放装置上每一层所存放的目标的最低高度，确定检测区域，例如，根据图2中存放装置20的第一层21中高度最低的第一目标A1的高度确定其中一个检测区域B1，以此类推，确定其中另一个检测区域B2，以及又一个检测区域B3，其他类型的存放装置可以以此类推，本实施例在此不再一一举例。
步骤S13：对初始图像进行目标检测，确定初始图像中的目标区域。
本实施例中的目标可以是存放于存放装置上的货物、商品等，包括但不限于：生活用品、电子产品等等。
在一个实施场景中，可以利用预先采用标注有目标区域的训练集和测试集经过神经网络训练而得到的检测模型对初始图像进行目标检测，从而确定初始图像中的目标区域。
本实施例中，目标区域为包含目标的区域，或目标区域为不包含目标的区域。请结合参阅图2，目标区域可以是诸如图2中存放装置20的第一层21上包含第一目标A1和第二目标A2的区域C1，也可以是诸如图2中不包含任何目标A的区域D3，本实施例在此不做具体限制。
步骤S14：基于检测区域和目标区域计算目标空置率。
在一个实施场景中，可以基于检测区域和目标区域的交集可以确定出检测区域中所包含的目标区域，再将检测区域中所包含的目标区域与检测区域的比值作为计算目标空置率的依据。例如，对于超市商场，存放装置上的目标往往大小尺寸不一，因此，在存放装置的高度方向，往往存在大小不等的间隙，因此，可以基于检测区域和目标区域的交集可以确定出检测区域中所包含的目标区域，再将检测区域中所包含的目标区域与检测区域的比值作为最终计算目标空置率的依据。
在另一个实施场景中，根据具体的应用场景，还可以将目标区域与一固定值的比值作为目标空置率。例如，不同于超市商场，存放装置上的目标尺寸大小不一，对于纸张等制造企业，由于其生产的纸张在高度方向往往可以填满整个货架，间隙较少，因此，可以直接将货架整体作为检测区域，从而检测区域是一个固定值，进而可以将目标区域与该固定值的比值作为目标空置率。
本实施例中，当目标区域为包含目标的区域时，可以将1与上述比值之差作为目标空置率，或者，当目标区域为不包含目标的区域时，可以将上述比值作为目标空置率。
上述方案，获取摄像器件对存放装置拍摄的初始图像，并基于预设检测策略确定初始图像中的检测区域，进一步对初始图像进行目标检测，从而确定初始图像中的目标区域，进而可以基于对初始图像进行检测而得到的检测区域和目标区域计算出目标空置率，而无需再通过人工方式进行统计，不仅能够提高空置检测的效率，而且还可以降低人力成本。
此外，目标区域既可以是包含目标的区域，也可以是不包含目标的区域，能够提高空置检测的兼容性。
请参阅图3，图3是本申请空置检测方法另一实施例的流程示意图。图3是图1所示的空置检测方法一具体实施例的流程示意图。本实施例中，目标具体位于存放装置的至少一层上，例如目标位于存放装置中的其中一层，或者，目标位于存放装置任意两层、三层等等，本实施例在此不做具体限制。请结合参阅图2，如图2所示，第一目标A1和第二目标A2可以位于存放装置20的第一层21、第二层22、第三层23上，在其他实施场景中，还可以包括更多的目标A，或者，存放装置20的层数也可以更多，本实施例在此对目标的数量以及存放装置的层数不做具体限制。具体而言，本实施例中的空置检测方法可以包括如下步骤：
步骤S31：获取摄像器件对存放装置拍摄的初始图像。
具体请参阅上述步骤S11。
步骤S32：基于预设检测策略确定存放装置每一层的检测区域。
本实施例中，存放装置包括多层时，目标位于存放装置的至少一层上，则基于预设检测策略确定存放装置每一层的检测区域。请结合参阅图4，具体而言，可以包括如下步骤：
步骤S321：将识别到的存放装置用于放置目标的每一层作为存放装置当前层检测区域的第一边界。
请结合参阅图2，以图2中存放装置20的第三层23为例，可以将识别到的存放装置20用于放置目标A的第三层23作为存放装置20当前层(也就是第三层23)的检测区域B3的第一边界B31。存放装置20的其他层可以以此类推获取其第一边界，本实施例在此不再一一举例。
步骤S322：将识别到的存放装置当前层上的目标的最低高度作为存放装置当前层检测区域的第二边界。
请结合参阅图2，以图2中存放装置20的第三层23为例，可以将识别到的存放装置20当前层(也就是第三层23)上的目标A的最低高度(也就是第二目标A2的高度)作为存放装置20当前层(也就是第三层23)的检测区域B3的第二边界B32。存放装置20的其他层可以以此类推获取其第二边界，本实施例在此不再一一举例。
步骤S323：将识别到的存放装置的两端分别作为存放装置当前层检测区域的第三边界和第四边界。
请结合参阅图2，以图2中存放装置20的第三层23为例，可以将识别到的存放装置20的两端分别作为存放装置20当前层(也就是第三层23)的检测区域B3的第三边界B33和第四边界B34。存放装置20的其他层可以以此类推获取其第三边界和第四边界，本实施例在此不再一一举例
步骤S324：基于第一边界、第二边界、第三边界、第四边界确定存放装置当前层的检测区域。
请结合参阅图2，以图2中存放装置20的第三层23为例，基于第一边界B31、第二边界B32、第三边界B33、第四边界B34，将上述边界所围起来的区域确定为存放装置20当前层(也就是第三层23)的检测区域B3。存放装置20的其他层可以以此类推获取其对应的检测区域，本实施例在此不再一一举例。
步骤S33：利用检测模型检测初始图像，确定存放装置每一层的目标区域。
请结合参阅图2，目标区域可以是诸如图2中存放装置20的第一层21上包含第一目标A1和第二目标A2的区域C1，也可以是诸如图2中不包含任何目标A的区域D3，本实施例在此不做具体限制。
在本实施例中，在利用检测模型检测初始图像确定存放装置每一层的目标区域之前，可以将预标注有目标区域的训练图像集和测试图像集输入神经网络训练，获取检测模型，神经网络具体可以包括基础网络、编码器和解码器，关于神经网络训练的具体实施步骤，本实施例在此暂不赘述。本实施例中，训练图像集和测试图像集上所标注的目标区域可以是诸如图2中存放装置20的第一层21上包含第一目标A1和第二目标A2的区域C1，也可以是诸如图2中不包含任何目标A的区域D3，本实施例在此不做具体限制，在一个实施场景中，为了减少数据标注工作量，训练图像集和测试图像集上所标注的目标区域可以是诸如图2中不包含任何目标A的区域D3。
区别于前述实施例，本实施例通过预标注有目标区域的训练图像集和测试图像集输入神经网络训练，获取检测模型，并利用检测模型检测初始图像，确定存放装置每一层的目标区域，从而模糊了存放装置上目标的具体种类，当新的目标上架后，仍然可以沿用原有的检测模型进行目标区域的检测，提高了对于新场景的兼容性。
此外，由于本实施例中的检测模型是利用预标注有目标区域的训练图像集和测试图像集输入神经网络训练进行训练而获得的，因此，检测模型对于存放装置上的目标形状较为敏感，可以准确检测不完全空置的情况，而对于目标错误放置的情况，除去错误放置目标与原目标极度相似的情况，能够较好地检测目标形状的差异，从而缓解错误放置的目标对于空置率的影响。
此外，由于对神经网络的训练只需对目标区域进行标注，而无需再标注其目标种类的其他信息，因此大大减少了标注工作量。
步骤S34：基于存放装置每一层的检测区域和存放装置每一层的目标区域统计存放装置每一层的目标空置率。
请结合参阅图5，图5是图3中步骤S34一实施例的流程示意图。具体而言，可以通过如下步骤统计存放装置每一层的目标空置率：
步骤S341：统计存放装置每一层的检测区域中像素点的第一数量。
请结合参阅图2，以图2中存放装置20的第三层23为例，可以统计第三层23中的检测区域B3的像素点的第一数量P3。
以此类推，可以统计得到存放装置每一层的检测区域中像素点的第一数量Pi，其中，i的取值范围为[1，N]，N为存放装置的层数。
步骤S342：统计存放装置每一层的目标区域中属于检测区域的像素点的第二数量。
请结合参阅图2，以图2中存放装置20的第三层23为例，可以统计第三层23中的目标区域D3中属于检测区域B3的像素点的第二数量Q3。图2中存放装置20的第三层23的目标区域D3为不包含目标A的区域，也可以是如第一层21的目标区域C1一样为包含目标A的区域，本实施例在此不做具体限制。
以此类推，可以统计得到存放装置每一层的目标区域中属于检测区域的像素点的第二数量Qi，其中，i的取值范围为[1，N]，N为存放装置的层数。本实施例中，‘[’和‘]’表示包括取值范围的端点值。
在一个实施场景中，可以将存放装置每一层的图像灰度压缩至[0,1]，随后将目标区域所有像素点的像素值赋值为1，其他区域的像素点的像素值赋值为0，在该层中统计所有像素值为1的像素点，即为该层目标区域中像素点的个数。
步骤S343：基于第一数量和第二数量计算存放装置每一层的目标空置率。
当目标区域为不包含目标的区域时，也就是说，当目标区域为如图2中所示的不包含目标A的目标区域D3时，可以计算第二数量Qi和第一数量Pi的第一比值，并将该第一比值作为存放装置每一层的目标空置率Si，具体可以表示为下式：
当目标区域为包含目标的区域时，也就是说，当目标区域为如图2中所示的包含目标A的目标区域C1时，可以计算第二数量Qi和第一数量Pi的第二比值，并将1与第二比值之间的差值作为存放装置每一层的目标空置率Si，具体可以表示为下式：
步骤S35：基于存放装置每一层的目标空置率计算存放装置的目标空置率。
在一个实施场景中，可以将存放装置每一层的目标空置率Si中的最小值作为存放装置的目标空置率Rempty，具体可以表示为下式：
Rempty＝min Si
其中，Si存放装置每一层的目标空置率，Rempty为存放装置的目标空置率，min表示求取最小值运算，i的取值范围为[1,N]，N为存放装置的层数。
在另一个实施场景中，还可以将存放装置每一层的目标空置率Si的平均值作为存放装置的目标空置率Rempty，具体可以表示为下式：
其中，Si存放装置每一层的目标空置率，Rempty为存放装置的目标空置率，i的取值范围为[1,N]，N为存放装置的层数。
上述两种方式都可以求取存放装置的目标空置率，本实施例在此不做具体限制。
在又一个实施场景中，为了进一步提高获取到的目标空置率的准确性，排除目标之间固有间隙的干扰，还可以将通过上述方式求取到的存放装置的目标空置率与预设空置率之间的差值作为存放装置新的目标空置率，预设空置率可以为1％、1.1％、1.2％等等，本实施例在此不做具体限制。
在又一个实施场景中，为了实现管理员对存放装置目标状态的精确掌控，可以设置目标状态与空置率区间之间的对应关系，本实施例中，为了提高容错率，可以将目标状态细分为：充足、轻微缺货、严重缺货、几乎为空，在其他实施场景中，还可以将目标状态简单分为：充足、缺货、几乎为空，目标状态的划分可以根据具体应用场景而进行设置，本实施例在此不做具体限制。在此基础上，在计算得到存放装置的目标空置率之后，还可以基于该对应关系，确定目标空置率所对应的目标状态，例如，当前目标空置率对应于“充足”，或者，当前目标状态对应于“缺货”等等，从而输出目标空置率所对应的目标状态，以提醒管理员，进而使得当目标状态表示为缺货时，管理员可以及时跟进，采取相应的策略，例如：进货等等。
请参阅图6，图6是图3中步骤S33中检测模型获取方法一实施例的流程示意图。本实施例中，检测模型可以是将预标注有目标区域的训练图像集和测试图像集输入神经网络训练而获取到的，具体而言，可以包括如下步骤：
步骤S61：接收用户输入的标注有目标区域的训练图像集和测试图像集。
用户可以预先将摄像器件对存放装置进行图像采集而获取的多帧图像进行数据标注，利用多边形对存放装置上的目标区域进行标注，只标注出存在目标的区域，空置部分不做标注，同时划分训练图像集和测试图像集，以此作为训练神经网络的输入图像。此外，为了进一步减少数据标注工作量，还可以利用多边形对存放装置上的目标进行标注，只标注出空置部分，存在目标的区域不做标注，本实施例在此不做具体限制。
步骤S62：对训练图像集和测试图像集进行预处理。
为了提高神经网络对图像特征的敏感程度，使图像各通道的特征信息更加明显，提高不同特征之间的区分度，还可以对训练图像集和测试图像集做预处理，具体地，可以获取训练图像集和测试图像集中每一待处理图像的各个通道的像素均值，将待处理图像中每一像素点的通道的像素值减去对应通道的像素均值。例如，获取训练图像集和测试图像集中每一待处理图像的R、G、B三通道的像素均值，并将每一待处理图像中每一像素点p(i,j)的各个通道的像素值减去对应通道的像素均值。
步骤S63：利用预处理后的训练图像集和测试图像集进行神经网络训练，获取检测模型。
利用预处理后的训练图像集和测试图像集进行神经网络训练，最终获取检测模型。
请结合参阅图7，图7是图6中神经网络一实施例的框架示意图。神经网络包括基础网络、编码器和解码器。其中，基础网络包括多组卷积池化层，用于提取图像特征，且由于本申请技术方案无需进行特征映射，因此，本实施例中基础网络不包含全连接层。此外，每组卷积池化层包括多个卷积层和一个池化层。具体地，本实施例中卷积池化层可以参考VGG-16网络，关于VGG-16网络为本领域中的现有技术，本实施例在此不再赘述。此外，为了提高基础网络效率，卷积层的通道数与初始图像的尺寸大小为正相关关系。
请继续参阅图7，编码器包括多个下采样器，以及位于下采样器之间的多个多尺度空洞卷积层，其中，下采样器用于提取图像特征，多尺度空洞卷积层用于增加不同尺度下特征的密度，使得不同尺度目标的特征得以表现，使特征提取更加精细，由于本申请中对于存放装置图像数据的场景比较单一，所需提取区域比较完整，多尺度空洞卷积层完全满足需求，无需过多冗余特征，因此，本实施例中的编码器不包含全局池化层，从而减少网络的参数量，使网络更加轻量、高效。具体地，本实施例中的编码器可以参考DeepLabV3中的编码器，关于DeepLabV3为本领域的现有技术，本实施例在此不再赘述。
请继续参阅图7，由于编码器使图像经过各级的下采样，得到了抽象的特征，同时丢失了一些空间位置信息，因此解码器的作用是补充图像空间信息，使其获得与原始图像一样的大小，本实施例中的解码器主要是图像上采样的过程，直接采用编码器中的下采样结果进行相反倍数的上采样，将图像恢复至原始大小，从而得到检测结果。
请参阅图8，图8是本申请空置检测装置80一实施例的框架示意图。本实施例中，空置检测装置80包括获取模块81、确定模块82、检测模块83、计算模块84。获取模块81用于获取摄像器件对存放装置拍摄的初始图像，确定模块82用于基于预设检测策略确定初始图像中的检测区域，检测模块83用于对初始图像进行目标检测，确定初始图像中的目标区域，其中，目标区域为包含目标的区域，或目标区域为不包含目标的区域，计算模块84用于基于检测区域和目标区域计算目标空置率。
上述方案，获取摄像器件对存放装置拍摄的初始图像，并基于预设检测策略确定初始图像中的检测区域，进一步对初始图像进行目标检测，从而确定初始图像中的目标区域，进而可以基于对初始图像进行检测而得到的检测区域和目标区域计算出目标空置率，而无需再通过人工方式进行统计，不仅能够提高空置检测的效率，而且还可以降低人力成本。
此外，目标区域既可以是包含目标的区域，也可以是不包含目标的区域，能够提高空置检测的兼容性。
在一些实施例中，目标位于存放装置的至少一层上，确定模块82还用于基于预设检测策略确定存放装置每一层的检测区域，检测模块83还用于利用检测模型检测初始图像，确定存放装置每一层的目标区域，计算模块84包括第一计算子模块，用于基于存放装置每一层的检测区域和存放装置每一层的目标区域统计存放装置每一层的目标空置率，计算模块84还包括第二计算子模块，用于基于存放装置每一层的目标空置率计算存放装置的目标空置率。
在一些实施例中，第一计算子模块包括统计单元，用于统计存放装置每一层的检测区域中像素点的第一数量，还用于统计存放装置每一层的检测区域中属于目标区域的像素点的第二数量，第一计算子模块还包括计算单元，用于基于第一数量和第二数量计算存放装置每一层的目标空置率。
在一些实施例中，当目标区域为不包含目标的区域时，计算单元用于计算第二数量与第一数量的第一比值，并将第一比值作为存放装置每一层的目标空置率，当目标区域为包含目标的区域时，计算单元用于计算第二数量与第一数量的第二比值，并将1与第二比值之间的差值作为存放装置每一层的目标空置率。
在一些实施例中，第二计算子模块还用于将存放装置每一层的目标空置率中的最小值作为存放装置的目标空置率，或者，第二计算子模块还用于将存放装置每一层的目标空置率中的最小值作为存放装置的目标空置率。
在一些实施例中，第二计算子模块还用于将存放装置的目标空置率与预设空置率之间的差值作为存放装置新的目标空置率。
在一些实施例中，检测模块83具体用于将识别到的存放装置用于放置目标的每一层作为存放装置当前层检测区域的第一边界，将识别到的存放装置当前层上的目标的最低高度作为存放装置当前层检测区域的第二边界，将识别到的存放装置的两端分别作为存放装置当前层检测区域的第三边界和第四边界，基于第一边界、第二边界、第三边界、第四边界确定存放装置当前层的检测区域。
在一些实施例中，空置检测装置80还包括训练模块，用于将预标注有目标区域的训练图像集和测试图像集输入神经网络训练，获取检测模型，其中，神经网络包含基础网络、编码器和解码器。
区别于前述实施例，本实施例通过预标注有目标区域的训练图像集和测试图像集输入神经网络训练，获取检测模型，并利用检测模型检测初始图像，确定存放装置每一层的目标区域，从而模糊了存放装置上目标的具体种类，当新的目标上架后，仍然可以沿用原有的检测模型进行目标区域的检测，提高了对于新场景的兼容性。
此外，由于本实施例中的检测模型是利用预标注有目标区域的训练图像集和测试图像集输入神经网络训练进行训练而获得的，因此，检测模型对于存放装置上的目标形状较为敏感，可以准确检测不完全空置的情况，而对于目标错误放置的情况，除去错误放置目标与原目标极度相似的情况，能够较好地检测目标形状的差异，从而缓解错误放置的目标对于空置率的影响。
此外，由于对神经网络的训练只需对目标区域进行标注，而无需再标注其目标种类的其他信息，因此大大减少了标注工作量。
在一些实施例中，训练模块包括接收子模块，用于接收用户输入的标注有目标区域的训练图像集和测试图像集，训练模块还包括处理子模块，用于对训练图像集和测试图像集进行预处理，训练模块还包括训练子模块，用于利用预处理后的训练图像集和测试图像集进行神经网络训练，获取检测模型。
在一些实施例中，处理子模块具体用于获取训练图像集和测试图像集中每一待处理图像的各个通道的像素均值，将待处理图像中每一像素点的通道的像素值减去对应通道的像素均值。
在一些实施例中，基础网络包含多组卷积池化层，且基础网络不包含全连接层，其中，每组卷积池化层包括多个卷积层和一个池化层。在一个实施场景中，卷积层的通道数与初始图像的尺寸大小为正相关关系。
在一些实施例中，编码器包括多个下采样器，以及位于下采样器之间的多个多尺度空洞卷积层，且编码器不包含全局池化层。
在一些实施例中，空置检测装置80还包括输出模块，用于基于目标状态与空置率区间之间的对应关系，确定目标空置率所对应的目标状态，输出目标空置率所对应的目标状态，以提醒管理员。
区别于前述实施例，本实施例通过输出目标空置率所对应的目标状态，实现管理员对存放装置目标状态的精确掌控。
请参阅图9，图9是本申请空置检测装置90一实施例的框架示意图。本实施例中，空置检测装置90包括相互耦接的存储器91和处理器92，处理器92用于执行存储器91存储的程序指令，以实现上述任一空置检测方法实施例中的步骤。
具体而言，处理器92用于控制其自身以及存储器91以实现上述任一空置检测方法实施例中的步骤。处理器92还可以称为CPU(Central Processing Unit，中央处理单元)。处理器92可能是一种集成电路芯片，具有信号的处理能力。处理器92还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器92可以由多个集成电路芯片共同实现。
本实施例中，处理器92用于获取摄像器件对存放装置拍摄的初始图像，处理器92还用于基于预设检测策略确定初始图像中的检测区域，处理器92还用于对初始图像进行目标检测，确定初始图像中的目标区域，其中，目标区域为包含目标的区域，或目标区域为不包含目标的区域，处理器92还用于基于检测区域和目标区域计算目标空置率。
上述方案，获取摄像器件对存放装置拍摄的初始图像，并基于预设检测策略确定初始图像中的检测区域，进一步对初始图像进行目标检测，从而确定初始图像中的目标区域，进而可以基于对初始图像进行检测而得到的检测区域和目标区域计算出目标空置率，而无需再通过人工方式进行统计，不仅能够提高空置检测的效率，而且还可以降低人力成本。
此外，目标区域既可以是包含目标的区域，也可以是不包含目标的区域，能够提高空置检测的兼容性。
在一些实施例中，目标位于存放装置的至少一层上，处理器92还用于基于预设检测策略确定存放装置每一层的检测区域，处理器92还用于利用检测模型检测初始图像，确定存放装置每一层的目标区域，处理器92还用于基于存放装置每一层的检测区域和存放装置每一层的目标区域统计存放装置每一层的目标空置率，处理器92还用于基于存放装置每一层的目标空置率计算存放装置的目标空置率。
在一些实施例中，处理器92还用于统计存放装置每一层的检测区域中像素点的第一数量，处理器92还用于统计存放装置每一层的检测区域中属于目标区域的像素点的第二数量，处理器92还用于基于第一数量和第二数量计算存放装置每一层的目标空置率。
在一些实施例中，当目标区域为不包含目标的区域时，处理器92还用于计算第二数量与第一数量的第一比值，并将第一比值作为存放装置每一层的目标空置率，当目标区域为包含目标的区域时，处理器92还用于计算第二数量与第一数量的第二比值，并将1与第二比值之间的差值作为存放装置每一层的目标空置率。
在一些实施例中，处理器92还用于将存放装置每一层的目标空置率中的最小值作为存放装置的目标空置率。
在一些实施例中，处理器92还用于将存放装置每一层的目标空置率的平均值作为存放装置的目标空置率。
在一些实施例中，处理器92还用于将存放装置的目标空置率与预设空置率之间的差值作为存放装置新的目标空置率。
在一些实施例中，处理器92还用于将识别到的存放装置用于放置目标的每一层作为存放装置当前层检测区域的第一边界，处理器92还用于将识别到的存放装置当前层上的目标的最低高度作为存放装置当前层检测区域的第二边界，处理器92还用于将识别到的存放装置的两端分别作为存放装置当前层检测区域的第三边界和第四边界，处理器92还用于基于第一边界、第二边界、第三边界、第四边界确定存放装置当前层的检测区域。
在一些实施例中，处理器92还用于将预标注有目标区域的训练图像集和测试图像集输入神经网络训练，获取检测模型，其中，神经网络包含基础网络、编码器和解码器。
区别于前述实施例，本实施例通过预标注有目标区域的训练图像集和测试图像集输入神经网络训练，获取检测模型，并利用检测模型检测初始图像，确定存放装置每一层的目标区域，从而模糊了存放装置上目标的具体种类，当新的目标上架后，仍然可以沿用原有的检测模型进行目标区域的检测，提高了对于新场景的兼容性。
此外，由于本实施例中的检测模型是利用预标注有目标区域的训练图像集和测试图像集输入神经网络训练进行训练而获得的，因此，检测模型对于存放装置上的目标形状较为敏感，可以准确检测不完全空置的情况，而对于目标错误放置的情况，除去错误放置目标与原目标极度相似的情况，能够较好地检测目标形状的差异，从而缓解错误放置的目标对于空置率的影响。
此外，由于对神经网络的训练只需对目标区域进行标注，而无需再标注其目标种类的其他信息，因此大大减少了标注工作量。
在一些实施例中，处理器92还用于接收用户输入的标注有目标区域的训练图像集和测试图像集，处理器92还用于对训练图像集和测试图像集进行预处理，处理器92还用于利用预处理后的训练图像集和测试图像集进行神经网络训练，获取检测模型。
在一些实施例中，处理器92还用于获取训练图像集和测试图像集中每一待处理图像的各个通道的像素均值，处理器92还用于将待处理图像中每一像素点的通道的像素值减去对应通道的像素均值。
在一些实施例中，基础网络包含多组卷积池化层，且基础网络不包含全连接层，其中，每组卷积池化层包括多个卷积层和一个池化层。在一个实施场景中，卷积层的通道数与初始图像的尺寸大小为正相关关系。
在一些实施例中，编码器包括多个下采样器，以及位于下采样器之间的多个多尺度空洞卷积层，且编码器不包含全局池化层。
在一些实施例中，处理器92还用于基于目标状态与空置率区间之间的对应关系，确定目标空置率所对应的目标状态，本实施例中，空置检测装置90还包括人机交互电路，用于输出目标空置率所对应的目标状态，以提醒管理员。
区别于前述实施例，本实施例通过输出目标空置率所对应的目标状态，实现管理员对存放装置目标状态的精确掌控。
在一些实施例中，空置检测装置90还包括摄像器件，用于拍摄存放装置得到初始图像。
请参阅图10，图10为本申请存储装置1000一实施例的框架示意图。存储装置1000存储有能够被处理器运行的程序指令1100，程序指令1100用于实现上述任一空置检测方法实施例中的步骤。
上述方案，获取摄像器件对存放装置拍摄的初始图像，并基于预设检测策略确定初始图像中的检测区域，进一步对初始图像进行目标检测，从而确定初始图像中的目标区域，进而可以基于对初始图像进行检测而得到的检测区域和目标区域计算出目标空置率，而无需再通过人工方式进行统计，不仅能够提高空置检测的效率，而且还可以降低人力成本。
此外，目标区域既可以是包含目标的区域，也可以是不包含目标的区域，能够提高空置检测的兼容性。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (16)
1.一种空置检测方法，其特征在于，包括：
获取摄像器件对存放装置拍摄的初始图像；
基于预设检测策略确定所述存放装置每一层的检测区域；其中，所述存放装置包括至少一层，所述检测区域基于所述存放装置上每一层所存放的目标的最低高度确定；且所述检测区域的至少一个边界基于所述最低高度确定；
利用检测模型检测所述初始图像，确定所述存放装置每一层的目标区域，其中，所述目标区域为包含目标的区域，或所述目标区域为不包含所述目标的区域；
基于所述检测区域和所述目标区域计算目标空置率；其中，所述目标空置率基于交集区域与所述检测区域的比值进行确定，所述交集区域基于所述检测区域和所述目标区域的交集进行确定；
其中，所述基于所述预设检测策略确定所述存放装置每一层的检测区域包括：将识别到的所述存放装置用于放置目标的每一层作为所述存放装置当前层检测区域的第一边界；将识别到的所述存放装置当前层上的目标的最低高度作为所述存放装置当前层检测区域的第二边界；将识别到的所述存放装置的两端分别作为所述存放装置当前层检测区域的第三边界和第四边界；基于所述第一边界、所述第二边界、所述第三边界、所述第四边界确定所述存放装置当前层的检测区域。
2.根据权利要求1所述的空置检测方法，其特征在于，所述基于所述检测区域和所述目标区域计算目标空置率包括：
基于所述存放装置每一层的检测区域和所述存放装置每一层的目标区域统计所述存放装置每一层的目标空置率；
基于所述存放装置每一层的目标空置率计算所述存放装置的目标空置率。
3.根据权利要求2所述的空置检测方法，其特征在于，所述基于所述存放装置每一层的检测区域和所述存放装置每一层的目标区域统计所述存放装置每一层的目标空置率包括：
统计所述存放装置每一层的检测区域中像素点的第一数量；
统计所述存放装置每一层的目标区域中属于所述检测区域的像素点的第二数量；
基于所述第一数量和所述第二数量计算所述存放装置每一层的目标空置率。
4.根据权利要求3所述的空置检测方法，其特征在于，
当所述目标区域为不包含所述目标的区域时，所述基于所述第一数量和所述第二数量计算所述存放装置每一层的目标空置率包括：
计算所述第二数量与所述第一数量的第一比值，并将所述第一比值作为所述存放装置每一层的目标空置率；
当所述目标区域为包含所述目标的区域时，所述基于所述第一数量和所述第二数量计算所述存放装置每一层的空置率包括：
计算所述第二数量与所述第一数量的第二比值，并将1与所述第二比值之间的差值作为所述存放装置每一层的目标空置率。
5.根据权利要求2所述的空置检测方法，其特征在于，所述基于所述存放装置每一层的目标空置率计算所述存放装置的目标空置率包括以下任意一者：
将所述存放装置每一层的目标空置率中的最小值作为所述存放装置的目标空置率；
将所述存放装置每一层的目标空置率的平均值作为所述存放装置的目标空置率。
6.根据权利要求2所述的空置检测方法，其特征在于，所述基于所述存放装置每一层的目标空置率计算所述存放装置的目标空置率之后，所述方法还包括：
将所述存放装置的目标空置率与预设空置率之间的差值作为所述存放装置新的目标空置率。
7.根据权利要求1所述的空置检测方法，其特征在于，所述利用检测模型检测所述初始图像，确定所述存放装置每一层的目标区域之前，所述方法还包括：
将预标注有目标区域的训练图像集和测试图像集输入神经网络训练，获取所述检测模型；
其中，所述神经网络包含基础网络、编码器和解码器。
8.根据权利要求7所述的空置检测方法，其特征在于，所述将预标注有目标区域的训练图像集和测试图像集输入神经网络进行训练，获取所述检测模型包括：
接收用户输入的标注有目标区域的训练图像集和测试图像集；
对所述训练图像集和所述测试图像集进行预处理；
利用预处理后的训练图像集和测试图像集进行神经网络训练，获取所述检测模型。
9.根据权利要求8所述的空置检测方法，其特征在于，所述对所述训练图像集和所述测试图像集进行预处理包括：
获取所述训练图像集和所述测试图像集中每一待处理图像的各个通道的像素均值；
将所述待处理图像中每一像素点的通道的像素值减去对应通道的像素均值。
10.根据权利要求9所述的空置检测方法，其特征在于，所述基础网络包含多组卷积池化层，且所述基础网络不包含全连接层，其中，每组所述卷积池化层包括多个卷积层和一个池化层；和/或，
所述编码器包括多个下采样器，以及位于所述下采样器之间的多个多尺度空洞卷积层，且所述编码器不包含全局池化层。
11.根据权利要求10所述的空置检测方法，其特征在于，所述卷积层的通道数与所述初始图像的尺寸大小为正相关关系。
12.根据权利要求1所述的空置检测方法，其特征在于，所述基于所述检测区域和所述目标区域计算目标空置率之后，所述方法还包括：
基于目标状态与空置率区间之间的对应关系，确定目标空置率所对应的目标状态；
输出所述目标空置率所对应的目标状态，以提醒管理员。
13.一种空置检测装置，其特征在于，包括：
获取模块，用于获取摄像器件对存放装置拍摄的初始图像；
确定模块，用于基于预设检测策略确定所述存放装置每一层的检测区域；其中，所述存放装置包括至少一层，所述检测区域基于所述存放装置上每一层所存放的目标的最低高度确定；且所述检测区域的至少一个边界基于所述最低高度确定；
检测模块，用于利用检测模型检测所述初始图像，确定所述存放装置每一层的目标区域，其中，所述目标区域为包含目标的区域，或所述目标区域为不包含所述目标的区域；
计算模块，用于基于所述检测区域和所述目标区域计算目标空置率；其中，所述目标空置率基于交集区域与所述检测区域的比值进行确定，所述交集区域基于所述检测区域和所述目标区域的交集进行确定；
其中，检测模块将识别到的存放装置用于放置目标的每一层作为存放装置当前层检测区域的第一边界，将识别到的存放装置当前层上的目标的最低高度作为存放装置当前层检测区域的第二边界，将识别到的存放装置的两端分别作为存放装置当前层检测区域的第三边界和第四边界，基于第一边界、第二边界、第三边界、第四边界确定存放装置当前层的检测区域。
14.一种空置检测装置，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器存储的程序指令，以实现权利要求1至12任一项所述的方法。
15.根据权利要求14所述的空置检测装置，其特征在于，所述装置还包括摄像器件，用于拍摄存放装置得到初始图像。
16.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至12任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910965146.2A CN110781780B (zh) | 2019-10-11 | 2019-10-11 | 空置检测方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910965146.2A CN110781780B (zh) | 2019-10-11 | 2019-10-11 | 空置检测方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110781780A CN110781780A (zh) | 2020-02-11 |
| CN110781780B true CN110781780B (zh) | 2023-04-07 |
Family
ID=69385041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910965146.2A Active CN110781780B (zh) | 2019-10-11 | 2019-10-11 | 空置检测方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110781780B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111709300B (zh) * | 2020-05-20 | 2022-08-12 | 杭州电子科技大学 | 基于视频图像的人群计数方法 |
| CN115984285B (zh) * | 2023-03-21 | 2023-07-04 | 上海仙工智能科技有限公司 | 一种基于生成对抗网络的库位状态检测方法及系统、存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109607031A (zh) * | 2019-01-14 | 2019-04-12 | 青岛舍科技有限公司 | 基于无人机全景的智能仓储系统及方法 |
| CN109977886A (zh) * | 2019-03-29 | 2019-07-05 | 京东方科技集团股份有限公司 | 货架空置率计算方法及装置、电子设备、存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170193430A1 (en) * | 2015-12-31 | 2017-07-06 | International Business Machines Corporation | Restocking shelves based on image data |
| JP6489386B2 (ja) * | 2017-04-21 | 2019-03-27 | パナソニックＩｐマネジメント株式会社 | 滞在状況表示システムおよび滞在状況表示方法 |
| CN108389230A (zh) * | 2018-03-07 | 2018-08-10 | 上海扩博智能技术有限公司 | 冰箱容量自动检测方法、系统、设备及存储介质 |
| CN108734162B (zh) * | 2018-04-12 | 2021-02-09 | 上海扩博智能技术有限公司 | 商品图像中目标识别方法、系统、设备及存储介质 |
| CN109190919A (zh) * | 2018-08-10 | 2019-01-11 | 上海扩博智能技术有限公司 | 零售关键业绩指标生成方法、系统、设备及存储介质 |
-
2019
- 2019-10-11 CN CN201910965146.2A patent/CN110781780B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109607031A (zh) * | 2019-01-14 | 2019-04-12 | 青岛舍科技有限公司 | 基于无人机全景的智能仓储系统及方法 |
| CN109977886A (zh) * | 2019-03-29 | 2019-07-05 | 京东方科技集团股份有限公司 | 货架空置率计算方法及装置、电子设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110781780A (zh) | 2020-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12073571B1 (en) | Tracking objects in three-dimensional space | |
| US11663829B1 (en) | Determining inventory changes at an inventory location | |
| CN109446883B (zh) | 商品状态识别方法、装置、电子设备及可读存储介质 | |
| US10861086B2 (en) | Computer vision system and method for automatic checkout | |
| TWI618916B (zh) | 貨架庫存估測方法與系統 | |
| US9996818B1 (en) | Counting inventory items using image analysis and depth information | |
| US10169677B1 (en) | Counting stacked inventory using image analysis | |
| US9262681B1 (en) | Probabilistic registration of interactions, actions or activities from multiple views | |
| US11863869B1 (en) | Event detection using motion extracted image comparison | |
| US20160019514A1 (en) | System and Method for Self-Checkout Using Product Images | |
| US12002174B1 (en) | Obfuscating portions of video data | |
| US10671856B1 (en) | Detecting item actions and inventory changes at an inventory location | |
| CN110781780B (zh) | 空置检测方法及相关装置 | |
| CN111783627B (zh) | 商品存量确定方法、装置及设备 | |
| CN111539468B (zh) | 一种自动售卖设备的货物清点方法 | |
| CN112200631B (zh) | 一种行业分类模型的训练方法及装置 | |
| JP2020017253A (ja) | 商品管理システム及び商品管理方法 | |
| CN113888254A (zh) | 货架商品管理方法和电子设备 | |
| CN111161346A (zh) | 将商品在货架中进行分层的方法、装置和电子设备 | |
| US20200005492A1 (en) | Image processing device, image processing method, and recording medium | |
| CN115661624A (zh) | 一种货架的数字化方法、装置及电子设备 | |
| CN113468914A (zh) | 一种商品纯净度的确定方法、装置及设备 | |
| CN111507792A (zh) | 一种自助购物方法、计算机可读存储介质及系统 | |
| CN111428743A (zh) | 商品识别方法、商品处理方法、装置及电子设备 | |
| CN111753728B (zh) | 确定货架展位状态的方法和装置、货架 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |