CN116246267A - 托盘的识别方法及装置、计算机设备、存储介质 - Google Patents

托盘的识别方法及装置、计算机设备、存储介质 Download PDF

Info

Publication number
CN116246267A
CN116246267A CN202310233226.5A CN202310233226A CN116246267A CN 116246267 A CN116246267 A CN 116246267A CN 202310233226 A CN202310233226 A CN 202310233226A CN 116246267 A CN116246267 A CN 116246267A
Authority
CN
China
Prior art keywords
tray
cloud data
point cloud
plane
fitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310233226.5A
Other languages
English (en)
Inventor
赵永祥
齐哲明
蔡孙军
顾兴
肖航
曾浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jidong Intelligent Technology Co ltd
Original Assignee
Wuhan Jidong Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jidong Intelligent Technology Co ltd filed Critical Wuhan Jidong Intelligent Technology Co ltd
Priority to CN202310233226.5A priority Critical patent/CN116246267A/zh
Publication of CN116246267A publication Critical patent/CN116246267A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开提供了一种托盘的识别方法及装置、计算机设备、存储介质，所述方法包括：基于深度相机获取包含所述托盘的第一点云数据；基于所述第一点云数据进行梯度计算，确定所述第一点云数据中属于所述托盘在目标平面的第二点云数据；其中，所述目标平面为所述托盘朝向所述深度相机的平面；基于所述第二点云数据，对所述托盘进行定位。通过上述方法，利用梯度计算快速准确地剔除干扰数据，提高托盘识别的速度和准确性，降低托盘识别技术工业落地的成本。

Description

托盘的识别方法及装置、计算机设备、存储介质
技术领域
本公开涉及但不限于计算机领域，尤其涉及一种托盘的识别方法及装置、计算机设备、存储介质。
背景技术
随着物流技术的蓬勃发展，托盘载物运输技术在智能仓储、物流运输等领域中发挥着越来越重要的作用，而托盘载物运输技术的核心是托盘的检测与识别。因此，如何在工业场景中实现托盘的智能识别备受关注。
相关技术中，需要对大量数据进行场景训练才能实现托盘识别，对托盘识别设备的计算能力、硬件资源均有较高要求，导致托盘识别设备的量产成本高。
发明内容
有鉴于此，本公开实施例期望提供一种托盘的识别方法及装置、计算机设备、存储介质。
第一方面，本公开实施例提供一种托盘的识别方法，所述方法包括：
基于深度相机获取包含所述托盘的第一点云数据；
基于所述第一点云数据进行梯度计算，确定所述第一点云数据中属于所述托盘在目标平面的第二点云数据；其中，所述目标平面为所述托盘朝向所述深度相机的平面；
基于所述第二点云数据，对所述托盘进行定位。
在一些实施例中，所述基于所述第一点云数据进行梯度计算，确定所述第一点云数据中属于所述托盘在目标平面的第二点云数据，包括：
将所述第一点云数据中目标方向的距离做平面映射，得到第一平面图像；其中，所述目标方向为表征所述托盘和所述深度相机之间距离的方向；
对所述第一平面图像中各像素点进行梯度计算，得到各所述像素点的梯度计算结果；
基于所述梯度计算结果，确定所述第一点云数据中所述托盘在所述目标平面的候选区对应的第三点云数据；
基于所述第三点云数据进行拟合，确定所述目标平面上属于所述托盘的所述第二点云数据。
在一些实施例中，所述基于所述梯度计算结果，确定所述第一点云数据中所述托盘在所述目标平面的候选区对应的第三点云数据，包括：
基于各所述像素点的梯度值，确定所述梯度值小于预设梯度阈值的目标像素点；
对所述第一平面图像中的所述目标像素点进行直方图统计，得到直方图统计结果；
将所述直方统计结果中占比最大的距离，确定为所述托盘与所述深度相机之间的间距值；
将所述第一点云数据中，目标方向的距离与所述间距值之间的差异在预设差异范围内的点，确定为所述第三点云数据。
在一些实施例中，所述基于所述第三点云数据进行拟合，确定所述目标平面上属于所述托盘的所述第二点云数据，包括：
基于所述第三点云数据进行边缘拟合，确定所述第三点云数据中属于所述托盘在目标平面上拟合边缘范围内的第四点云数据；
对所述第四点云数据进行平面拟合，确定所述目标平面上属于所述托盘的所述第二点云数据。
在一些实施例中，所述基于所述第三点云数据进行边缘拟合，确定所述第三点云数据中属于所述托盘在目标平面上拟合边缘范围内的第四点云数据，包括：
将所述第三点云数据中目标方向的距离做平面映射，得到第二平面图像；
对所述第二平面图像中的各像素点进行边缘拟合，估计所述托盘的托盘孔；
基于所述托盘孔的估计结果，确定所述第三点云数据中属于所述托盘在目标平面上拟合边缘范围内的第四点云数据。
在一些实施例中，所述对所述第四点云数据进行平面拟合，确定所述目标平面上属于所述托盘的所述第二点云数据，包括：
对所述第四点云数据进行平面拟合，确定所述托盘的第一拟合平面；
将所述第四点云数据中与所述托盘的第一拟合平面之间的距离小于预设距离阈值的点确定为所述第二点云数据。
在一些实施例中，所述基于所述第二点云数据，对所述托盘进行定位，包括：
基于所述第二点云数据进行边缘拟合，确定所述托盘的轮廓信息；
基于所述托盘的轮廓信息，确定所述托盘的中心点信息；
对所述第二点云数据进行平面拟合，确定所述托盘的第二拟合平面；
基于所述第二拟合平面，确定所述托盘与所述深度相机之间的角度信息。
第二方面，本公开实施例提供一种托盘识别装置，所述装置包括：
获取模块，用于基于深度相机获取包含所述托盘的第一点云数据；
确定模块，用于基于所述第一点云数据进行梯度计算，确定所述第一点云数据中属于所述托盘在目标平面的第二点云数据；其中，所述目标平面为所述托盘朝向所述深度相机的平面；
定位模块，用于基于所述第二点云数据，对所述托盘进行定位。
在一些实施例中，所述确定模块，还用于将所述第一点云数据中目标方向的距离做平面映射，得到第一平面图像；其中，所述目标方向为表征所述托盘和所述深度相机之间距离的方向；对所述第一平面图像中各像素点进行梯度计算，得到各所述像素点的梯度计算结果；基于所述梯度计算结果，确定所述第一点云数据中所述托盘在所述目标平面的候选区对应的第三点云数据；基于所述第三点云数据进行拟合，确定所述目标平面上属于所述托盘的所述第二点云数据。
在一些实施例中，所述确定模块，还用于基于各所述像素点的梯度值，确定所述梯度值小于预设梯度阈值的目标像素点；基于所述第一平面图像中的所述目标像素点，确定所述第一点云数据中属于所述托盘的候选区域的第三点云数据。
在一些实施例中，所述确定模块，还用于对所述第一平面图像中的所述目标像素点进行直方图统计，得到直方图统计结果；将所述直方统计结果中占比最大的距离，确定为所述托盘与所述深度相机之间的间距值；将所述第一点云数据中，目标方向的距离与所述间距值之间的差异在预设差异范围内的点，确定为所述第三点云数据。
在一些实施例中，所述确定模块，还用于基于所述第三点云数据进行边缘拟合，确定所述第三点云数据中属于所述托盘在目标平面上拟合边缘范围内的第四点云数据；对所述第四点云数据进行平面拟合，确定所述目标平面上属于所述托盘的所述第二点云数据。
在一些实施例中，所述确定模块，还用于将所述第三点云数据中目标方向的距离做平面映射，得到第二平面图像；对所述第二平面图像中的各像素点进行边缘拟合，估计所述托盘的托盘孔；基于所述托盘孔的估计结果，确定所述第三点云数据中属于所述托盘在目标平面上拟合边缘范围内的第四点云数据。
在一些实施例中，所述确定模块，还用于对所述第四点云数据进行平面拟合，确定所述托盘的第一拟合平面；将所述第四点云数据中与所述托盘的第一拟合平面之间的距离小于预设距离阈值的点确定为所述第二点云数据。
在一些实施例中，所述定位模块，还用于基于所述第二点云数据进行边缘拟合，确定所述托盘的轮廓信息；基于所述托盘的轮廓信息，确定所述托盘的中心点信息；对所述第二点云数据进行平面拟合，确定所述托盘的第二拟合平面；基于所述第二拟合平面，确定所述托盘与所述深度相机之间的角度信息。
第三方面，本公开实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面中所述的方法。
第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面中所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例中，获取包含托盘在内的第一点云数据，并基于第一点云数据进行梯度计算，确定第一点云数据中属于托盘在目标平面的第二点云数据，并基于第二点云数据对托盘进行定位的方式，是采用传统图像处理的方式，利用梯度计算可以快速准确地确定第一点云数据中不在托盘目标平面上的点云数据并进行剔除，实现托盘的高精度识别；无需基于大量数据进行深度学习、模型匹配等，减小托盘识别设备对计算机或芯片计算力的要求，使托盘识别技术的工业落地更加容易、落地成本更低。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构建本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本公开实施例提供的一种托盘的识别方法的实现流程示意图；
图2为本公开实施例提供的一种托盘识别装置示意图；
图3为本公开实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面结合附图和实施例对本公开的技术方案进一步详细阐述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
本公开所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开的目的，不是旨在限制本公开。
图1为本公开实施例提供的一种托盘的识别方法的实现流程示意图，如图1所示，该方法包括如下步骤：
S101、基于深度相机获取包含所述托盘的第一点云数据；
S102、基于所述第一点云数据进行梯度计算，确定所述第一点云数据中属于所述托盘在目标平面的第二点云数据；其中，所述目标平面为所述托盘朝向所述深度相机的平面；
S103、基于所述第二点云数据，对所述托盘进行定位。
本公开实施例的托盘的识别方法可以应用于托盘识别设备中，托盘识别设备可以是智能叉车、自动导引车(AGV，Automated Guided Vehicle)等工业场景中直接运送货物的托运设备；也可以是通过有线或无线网络与托运设备连接并控制托运设备的其他计算机设备等。通过托盘的识别方法在物流运输、机器人搬运等场景中实现托盘的智能识别、托运一体化。
在步骤S101中，深度相机可以是结构光深度相机、飞行时间法深度相机(TOF，Timeof flight)、双目立体深度相机等。基于深度相机对托盘进行拍摄，可以得到包含托盘的深度图像(RGB-D，RGB-Depth)，并基于深度图像生成包含托盘的点云数据。
需要说明的是，本公开实施例中，深度相机可以是独立安装在托盘识别设备上，也可以是托盘识别设备的组成部分，托盘识别设备与深度相机之间可以采用有线或无线方式连接。托盘的第一点云数据有多种获取方式，可以是由深度相机拍摄并生成第一点云数据；也可以是由托盘识别设备接收深度相机拍摄的深度图像，基于深度图像生成第一点云数据。
需要说明的是，由于深度相机与托盘的相对位置在各仓储环境的应用中可能会有变化，容易导致深度相机拍摄得到的深度图像与托盘实际位置有一定的偏移。因此，可以对深度相机拍摄的深度图像进行矫正处理。
示例性的，可以根据托盘及深度相机的安装情况，获取托盘的感兴趣区域(ROI，region of interest)的数据以及深度相机相对于托盘平面安装的三维角度，利用如下(1)-(3)的旋转矫正公式对ROI区域进行旋转矫正。
Figure BDA0004121171080000071
Figure BDA0004121171080000072
Figure BDA0004121171080000073
其中，θ表征深度相机相对于托盘平面安装的三维角度，Rx(θ)表征沿x轴方向的旋转矫正参数，Ry(θ)表征沿y轴方向的旋转矫正参数，Rz(θ)表征沿z轴方向的旋转矫正参数。
本公开实施例中，对托盘对应的感兴趣区域进行旋转校正，以可以提高第一点云数据的准确性，利于提高托盘识别的精度。
需要说明的是，自动导引车通过机械臂与托盘的托盘孔进行配合，在智能仓库中实现识别、载物、运输一体化的功能。但在智能仓库环境中，除了托盘与自动导引车以外，通常还会有货架、货物等多个物体，托盘识别的目的是为了快速准确地识别托盘，并使得自动引导车可以根据识别的托盘孔对托盘进行相关操作。因此，托盘识别最重要的就是托盘朝向自动引导车的平面的信息，也即目标平面。而第一点云数据是由深度相机获取的，其中包含了与托盘目标平面无关的诸多数据，因此需要将第一点云数据中，不属于托盘目标平面的数据进行剔除，并依据托盘的目标平面进行定位。
在步骤S102中，基于第一点云数据进行梯度计算，可以是基于第一点云数据中各点的深度信息直接进行梯度计算；也可以是基于第一点云数据中各点对应的灰度信息进行梯度计算。本公开实施例中，托盘的目标平面为托盘朝向深度相机的平面，基于梯度计算结果，确定第一点云数据中属于托盘在朝向深度相机的平面的第二点云数据。
需要说明的是，梯度计算得到的梯度值可以表征在指定方向每单位距离的数值变化。如上所述，第一点云数据中各点的深度信息表征各点与托盘的目标平面的距离，因此深度梯度可以反应第一点云数据中各点距离托盘的目标平面的距离的变化情况，如果某一个点的梯度值很大，表示该点与相邻点的距离差别很大，即可能不是托盘的目标平面的点；此外，灰度梯度可以反应色彩的差异，如果某一个点的灰度梯度很大，表示该点与相邻点的颜色差别很大，而由于托盘通常的颜色单一，因而能灰度梯度很大的点也可能不是托盘的目标平面的点。由于梯度计算较为简单快捷，因而利用梯度可以快速找到第一点云数据中距离和/或色彩变化大的点，从而可以快速有效的剔除干扰物。在步骤S103中，基于托盘的第二点云数据，对托盘进行定位。通常情况下，自动引导车在对托盘进行相关操作时，需要知晓托盘的四姿态信息，即中心点的三维信息以及托盘与深度相机之间的角度信息。本公开实施例中，可以基于托盘的第二点云数据进行边缘拟合，确定托盘的中心点三维信息；还可以基于托盘的第二点云数据进行平面拟合，从而确定托盘与深度相机之间的角度信息。
相关技术中，多依赖深度学习和点云模板匹配相结合、或者通过深度学习与传统图像处理相结合等方案进行托盘识别，该类方案需要采集大量的数据，并基于数据进行场景的训练或模型的匹配，具有计算量大、对硬件要求较高等问题，导致托盘识别设备的量产成本大，不利于托盘识别技术在工业的落地。
相对而言，本公开实施例中，获取包含托盘在内的第一点云数据，并基于第一点云数据进行梯度计算，确定第一点云数据中属于托盘在目标平面的第二点云数据，并基于第二点云数据对托盘进行定位的方式，是采用传统图像处理的方式，利用梯度计算可以快速准确地确定第一点云数据中不在托盘目标平面上的点云数据并进行剔除，实现托盘的高精度识别；无需基于大量数据进行深度学习、模型匹配等，减小托盘识别设备对计算机或芯片计算力的要求，使托盘识别技术的工业落地更加容易、落地成本更低。
在一些实施例中，所述基于所述第一点云数据进行梯度计算，确定所述第一点云数据中属于所述托盘在目标平面的第二点云数据，包括：
将所述第一点云数据中目标方向的距离做平面映射，得到第一平面图像；其中，所述目标方向为表征所述托盘和所述深度相机之间距离的方向；
对所述第一平面图像中各像素点进行梯度计算，得到各所述像素点的梯度计算结果；
基于所述梯度计算结果，确定所述第一点云数据中所述托盘在所述目标平面的候选区对应的第三点云数据；
基于所述第三点云数据进行拟合，确定所述目标平面上属于所述托盘的所述第二点云数据。
需要说明的是，可以将三维的点云数据转换成二维的平面图像，便于后续通过梯度计算筛选并得到第二点云数据。本公开实施例中，可以将第一点云数据投影至目标平面，基于第一点云数据中各点的三维坐标可以确定第一平面图像中各像素点的像素坐标，基于第一点云数据中的目标方向的距离可以确定第一平面图像中各像素点的像素值，从而实现将第一点云数据通过平面映射得到对应的第一平面图像。其中，目标方向为表征托盘和深度相机之间距离的方向，例如，当托盘和深度相机均垂直于z轴安装时，第一点云数据中各点在z轴方向表征托盘和深度相机之间距离的方向。
本公开实施例中，对第一平面图像中各像素点进行梯度计算，得到各像素点的梯度计算结果，其中，可以采用数值法、偏导数法、向量求导法等多种梯度计算方法实现梯度计算。示例性的，可以利用如下公式如下(4)进行梯度计算：
Figure BDA0004121171080000091
其中，f表征第一平面图像中各像素点的距离数据，x，y分别表征第一平面图像上各像素点在x，y轴上的坐标值，△2f表征第一平面图像各像素点的像素值(目标方向的距离值)梯度计算结果。
需要说明的是，仓储环境中通常会有货物、托盘、货架等多个物品，通常货物与托盘会基本处于同一个空间层，而货架则远离托盘且与托盘不在同一个空间层。因此，在进行托盘识别过程中，需要剔除各种干扰物的数据以准确地进行托盘识别。
本公开实施例中，基于第一平面图像中各像素点的梯度计算结果，剔除与托盘不在同一层的干扰物(例如货架)，确定第一点云数据中托盘在目标平面的候选区对应的第三点云数据(即与托盘与货物的点云数据)；基于第三点云数据进行拟合，剔除与托盘在同一层但属于非托盘区域的干扰物(例如货物)，确定目标平面上属于托盘的第二点云数据(即托盘的点云数据)。
如上所述，本公开实施例中，将基于深度相机将仓库环境的空间信息进行分层处理，采用图像处理的分层思想结合梯度计算，逐层进行托盘识别并剔除大量非托盘目标平面部分的干扰物，去除了不必要的干扰物数据，提高了托盘识别的精度，减少了托盘识别的计算量，降低了托盘识别技术工业化成本。
在一些实施例中，所述基于所述梯度计算结果，确定所述第一点云数据中所述托盘在所述目标平面的候选区对应的第三点云数据，包括：
基于各所述像素点的梯度值，确定所述梯度值小于预设梯度阈值的目标像素点；
对所述第一平面图像中的所述目标像素点进行直方图统计，得到直方图统计结果；
将所述直方统计结果中占比最大的距离，确定为所述托盘与所述深度相机之间的间距值；
将所述第一点云数据中，目标方向的距离与所述间距值之间的差异在预设差异范围内的点，确定为所述第三点云数据。
本公开实施例中，如上所述，第一平面图像中各像素点的像素值用于表征第一点云数据中各点在目标方向的距离，因此各像素点的梯度值可以表征第一点云数据中各点在目标方向的距离的变化情况。示例性的，第一平面各像素点的梯度值越大，表征各像素点对应的第一点云数据中点的距离变化越大，该点可能是远离托盘的目标平面的点；第一平面各像素点的梯度值越小，表征各像素点对应的第一点云数据中点的距离变化越小，该点可能是在托盘的目标平面的点。因此，可以确定梯度值小于预设梯度阈值的各像素点，确定为需要保留的目标像素点，从而剔除与托盘不在同一平面的干扰物。
本公开实施例中，可基于第一平面图像中的目标像素点，确定第一点云数据中属于托盘的候选区域的第三点云数据。例如，可以直接通过第一平面图像与第一点云数据的对应关系，将与第一平面图像中目标像素点对应的第一点云数据中的点，确定为第一点云数据中属于托盘的候选区域的第三点云数据；也可以对第一平面图像中的目标像素点进行直方统计，估算深度相机与托盘平面的间距值，并将第一点云数据中目标方向的距离与间距值之间的差异在预设差异范围内的点，确定为第三点云数据。
本公开实施例中，第一平面图像中的目标像素点对应第一点云数据中托盘目标平面上的点，第一平面图像中的目标像素点的像素值对应第一点云数据中各点在目标方向的距离，因此对第一平面图像中的目标像素点进行直方统计得到的统计结果，可以确定第一点云数据中各距离的占比。由于在第一平面图像中，托盘和货物是在同一个平面(距离相同)，占据了第一平面图像中的大部分，即直方统计结果中占比最大的距离可以表征托盘与深度相机之间的间距值，将第一点云数据中，目标方向的距离与间距值之间的差异在预设差异范围内的点确定为第三点云数据。例如，通过第一平面图像进行直方统计确定深度相机与托盘距离值为1.2m，则可以确定第一点云数据中，深度值在1.1m至1.3m范围内的各点最可能是托盘的目标平面的点。
本公开实施例中，将梯度值小于预设梯度阈值的各像素点确定为目标像素点，基于目标像素点进行直方统计估算深度相机与托盘的距离值，并依据该距离值进一步确定托盘的候选区域的第三点云数据，通过梯度值及直方统计值进行快速筛选，进一步提高了托盘识别的精度。此外，该方法简单有效的减少了非托盘目标平面的无效数据，能提升托盘识别的精度。
在一些实施例中，所述基于所述第三点云数据进行拟合，确定所述目标平面上属于所述托盘的所述第二点云数据，包括：
基于所述第三点云数据进行边缘拟合，确定所述第三点云数据中属于所述托盘在目标平面上拟合边缘范围内的第四点云数据；
对所述第四点云数据进行平面拟合，确定所述目标平面上属于所述托盘的所述第二点云数据。
本公开实施例中，基于第三点云数据进行边缘拟合，可以是将第三点云数据映射为二维图像，基于映射的二维图像进行边缘拟合，得到托盘的拟合边缘信息。示例性的，可以根据拟合边缘确定托盘的外尺寸信息(例如托盘的长、宽)以及托盘的内尺寸信息(例如托盘孔的尺寸)，基于托盘的拟合边缘信息，将二维图像上在拟合边缘范围内各像素点对应的第三点云数据的点，确定为托盘的第四点云数据。
本公开实施例中，对第四点云数据进行平面拟合，可以是基于第四点云数据进行平面拟合，将第四点云数据中与托盘的拟合平面之间的距离小于预设距离阈值的点，确定目标平面上属于托盘的第二点云数据。
需要说明的是，在第三点云数据确定了托盘的候选区域，但是该区域中依然会存在诸如货物数据、托盘孔凹陷部位数据等干扰数据，本公开实施例中，一方面基于第三点云数据进行边缘拟合，剔除托盘拟合边缘范围外的货物数据；另一方面基于第三点云数据进行平面拟合，剔除不在托盘平面的托盘孔凹陷部位的数据，从多个方面剔除托盘的目标平面以外的干扰数据，进一步提高了托盘识别的精度。
在一些实施例中，所述基于所述第三点云数据进行边缘拟合，确定所述第三点云数据中属于所述托盘在目标平面上拟合边缘范围内的第四点云数据，包括：
将所述第三点云数据中目标方向的距离做平面映射，得到第二平面图像；
对所述第二平面图像中的各像素点进行边缘拟合，估计所述托盘的托盘孔；
基于所述托盘孔的估计结果，确定所述第三点云数据中属于所述托盘在目标平面上拟合边缘范围内的第四点云数据。
本公开实施例中，将第三点云数据中目标方向的距离做平面映射，得到以目标方向的距离为像素值的第二平面图像，对第二平面图像中的各像素点进行梯度计算获得梯度计算结果，基于第二平面图像中的各像素点的梯度计算结果进行边缘拟合，进而估计托盘的托盘孔。
示例性的，可以利用如下公式(5)、(6)对第二平面图像中的各像素点进行边缘拟合：
Figure BDA0004121171080000131
Figure BDA0004121171080000132
其中，Gx，Gy分别表征像素点在x，y方向上的偏导数，G表征像素点在梯度最大变化率方向上的单位距离的增加量，θ表征梯度非极大值抑制的方向。
本公开实施例中，可以通过长方形拟合的方式估计托盘孔，例如，当拟合出的长方形的长、宽尺寸符合预设的托盘孔的信息时，确定该孔的信息为有效托盘孔并存储在托盘孔集合中。本公开实施例中，基于托盘孔集合的数据中各托盘孔的信息进行判断，如果相邻托盘孔之间的空间信息满足预设条件，根据相邻的两个托盘孔的信息，确定托盘的中心点信息以及托盘的内尺寸(托盘孔尺寸)、外尺寸(托盘外边缘长宽尺寸)，基于托盘的中心点信息和托盘内、外尺寸信息，确定第三点云数据中属于托盘在目标平面上拟合边缘范围内的第四点云数据。
本公开实施例中，基于第三点云数据进行平面映射，得到第二平面图像并进行边缘拟合，得到托盘的拟合边缘确定托盘拟合边缘范围内的第四点云数据，通过平面映射及边缘拟合的方式，快速高效地剔除了第三点云数据中不在托盘拟合边缘范围内的点，减少了托盘识别的计算量，降低了托盘识别对硬件设备计算力的依赖，进而降低了托盘识别工业化的成本。
在一些实施例中，所述对所述第四点云数据进行平面拟合，确定所述目标平面上属于所述托盘的所述第二点云数据，包括：
对所述第四点云数据进行平面拟合，确定所述托盘的第一拟合平面；
将所述第四点云数据中与所述托盘的第一拟合平面之间的距离小于预设距离阈值的点确定为所述第二点云数据。
本公开实施例中，对第四点云数据进行平面拟合，确定托盘的第一拟合平面。其中，平面拟合的方式可以是利用最小二乘法、切比雪夫法等。示例性的，可以采用如下(7)-(12)的公式对第四点云数据进行平面拟合。
A*x + B*y+C*z+D ＝0(C≠0) (7)
z ＝ a*x + b*y+c (8)
a＝-A/C ； b＝-B/C ； c＝-D/C； (9)
∑2(a*xi+b*yi+c-zi)*xi＝0 (10)
∑2(a*xi+b*yi+c-zi)*yi＝0 (11)
∑2(a*xi+byi+c-zi)＝0 (12)
其中，公式(7)是第四点云数据的第一拟合平面的平面方程的表达式，公式(8)是平面方程转换得到的第一拟合平面的平面表达式，公式(9)是平面方程的参数值，公式(10)-(12)用于计算最小二乘法的拟合参数。可以将第四点云数据中各点的数据{(x,y,z)|(x,y,z)∈(xi,yi,zi),i＝0,1,...,n-1}代入公式(10)-(12)，得到第四点云数据的拟合平面的方程的参数a，b，c，通过拟合平面的方程参数代入公式(8)，可以得到第一拟合平面的平面方程。
本公开实施例中，将第四点云数据中与托盘的第一拟合平面之间的距离小于预设距离阈值的点确定为第二点云数据。需要说明的是，托盘上的托盘孔通常会向内凹陷，因此可以将预设距离阈值设置为托盘孔向内凹陷的深度值，例如，托盘孔向内凹陷3cm时，将距离阈值设置为2cm。
本公开实施例中，对第四点云数据拟合得到托盘的第一拟合平面，将第四点云数据中与托盘的第一拟合平面之间的距离小于预设距离阈值的点，确定为第二点云数据，通过平面拟合的方法，可以剔除与托盘距离非常近的托盘孔向内凹陷的杂点，有效的提升了托盘识别的精度。
在一些实施例中，所述基于所述第二点云数据，对所述托盘进行定位，包括：
基于所述第二点云数据进行边缘拟合，确定所述托盘的轮廓信息；
基于所述托盘的轮廓信息，确定所述托盘的中心点信息；
对所述第二点云数据进行平面拟合，确定所述托盘的第二拟合平面；
基于所述第二拟合平面，确定所述托盘与所述深度相机之间的角度信息。
本公开实施例中，基于第二点云数据进行边缘拟合，边缘拟合的过程可以参考上述第三点云数据进行边缘拟合的方法；此外，基于托盘的轮廓信息，确定托盘的中心点信息，可以是通过托盘的轮廓信息，确定托盘轮廓的中心点的二维坐标，基于二维图像与三维点云的对应关系，可以确定托盘的中心点信息。
本公开实施例中，对第二点云数据进行平面拟合，确定托盘的第二拟合平面，从而确定托盘与深度相机之间的角度信息。其中，第二拟合平面的拟合可以参考上述第一拟合平面的拟合方法，示例性的，可以采用如下(13)的平面方程拟合得到托盘的第二拟合平面。
a1*x + b1*y-z+c1 ＝0 (13)
其中，a1，b1，c1是第二拟合平面的平面方程参数，从而可以确定第二拟合平面的平面法向量是(a1，b1，-1)。
本公开实施例中，基于第二拟合平面，确定托盘与深度相机之间的角度信息，示例性的，可以采用如下(14)的公式计算托盘与深度相机之间的角度信息。
Figure BDA0004121171080000151
其中，a1，b1是第二拟合平面的平面方程参数，θ是托盘与深度相机之间的夹角。
本公开实施例中，基于第二点云数据进行边缘拟合和平面拟合，分别可以输出托盘的中心点信息和托盘与深度相机之间的角度信息，从而完成托盘的四姿态信息识别，通过多次的边缘及平面拟合操作，可以精准去除不在托盘的目标平面的点，提高托盘识别精度，使得托盘识别精度可以达到毫米级，利于托盘识别方法在工业上进行广泛应用。
图2为本公开实施例提供的一种托盘识别装置示意图，如图2所示，托盘识别装置600包括：
获取模块601，用于基于深度相机获取包含所述托盘的第一点云数据；
确定模块602，用于基于所述第一点云数据进行梯度计算，确定所述第一点云数据中属于所述托盘在目标平面的第二点云数据；其中，所述目标平面为所述托盘朝向所述深度相机的平面；
定位模块603，用于基于所述第二点云数据，对所述托盘进行定位。
在一些实施例中，所述确定模块602，还用于将所述第一点云数据中目标方向的距离做平面映射，得到第一平面图像；其中，所述目标方向为表征所述托盘和所述深度相机之间距离的方向；对所述第一平面图像中各像素点进行梯度计算，得到各所述像素点的梯度计算结果；基于所述梯度计算结果，确定所述第一点云数据中所述托盘在所述目标平面的候选区对应的第三点云数据；基于所述第三点云数据进行拟合，确定所述目标平面上属于所述托盘的所述第二点云数据。
在一些实施例中，所述确定模块602，还用于基于各所述像素点的梯度值，确定所述梯度值小于预设梯度阈值的目标像素点；对所述第一平面图像中的所述目标像素点进行直方图统计，得到直方图统计结果；将所述直方统计结果中占比最大的距离，确定为所述托盘与所述深度相机之间的间距值；将所述第一点云数据中，目标方向的距离与所述间距值之间的差异在预设差异范围内的点，确定为所述第三点云数据。
在一些实施例中，所述确定模块602，还用于基于所述第三点云数据进行边缘拟合，确定所述第三点云数据中属于所述托盘在目标平面上拟合边缘范围内的第四点云数据；对所述第四点云数据进行平面拟合，确定所述目标平面上属于所述托盘的所述第二点云数据。
在一些实施例中，所述确定模块602，还用于将所述第三点云数据中目标方向的距离做平面映射，得到第二平面图像；对所述第二平面图像中的各像素点进行边缘拟合，估计所述托盘的托盘孔；基于所述托盘孔的估计结果，确定所述第三点云数据中属于所述托盘在目标平面上拟合边缘范围内的第四点云数据。
在一些实施例中，所述确定模块602，还用于对所述第四点云数据进行平面拟合，确定所述托盘的第一拟合平面；将所述第四点云数据中与所述托盘的第一拟合平面之间的距离小于预设距离阈值的点确定为所述第二点云数据。
在一些实施例中，所述定位模块603，还用于基于所述第二点云数据进行边缘拟合，确定所述托盘的轮廓信息；基于所述托盘的轮廓信息，确定所述托盘的中心点信息；对所述第二点云数据进行平面拟合，确定所述托盘的第二拟合平面；基于所述第二拟合平面，确定所述托盘与所述深度相机之间的角度信息。
图3为本公开实施例中计算机设备的一种硬件实体示意图，如图3所示，该计算机设备800的硬件实体包括：处理器801、通信接口802和存储器803，其中：处理器801通常控制计算机设备800的总体操作。通信接口802可以使计算机设备通过网络与其他终端或服务器通信。
存储器803配置为存储由处理器801可执行的指令和应用，还可以缓存待处理器801以及计算机设备800中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。处理器801、通信接口802和存储器803之间可以通过总线804进行数据传输。其中，处理器801用于执行上述方法中的部分或全部步骤。
对应地，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述方法中的部分或全部步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开存储介质和设备实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本公开的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分别的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本公开各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本公开的实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种托盘的识别方法，其特征在于，所述方法包括：
基于深度相机获取包含所述托盘的第一点云数据；
基于所述第一点云数据进行梯度计算，确定所述第一点云数据中属于所述托盘在目标平面的第二点云数据；其中，所述目标平面为所述托盘朝向所述深度相机的平面；
基于所述第二点云数据，对所述托盘进行定位。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一点云数据进行梯度计算，确定所述第一点云数据中属于所述托盘在目标平面的第二点云数据，包括：
将所述第一点云数据中目标方向的距离做平面映射，得到第一平面图像；其中，所述目标方向为表征所述托盘和所述深度相机之间距离的方向；
对所述第一平面图像中各像素点进行梯度计算，得到各所述像素点的梯度计算结果；
基于所述梯度计算结果，确定所述第一点云数据中所述托盘在所述目标平面的候选区对应的第三点云数据；
基于所述第三点云数据进行拟合，确定所述目标平面上属于所述托盘的所述第二点云数据。
3.根据权利要求2所述的方法，其特征在于，所述基于所述梯度计算结果，确定所述第一点云数据中所述托盘在所述目标平面的候选区对应的第三点云数据，包括：
基于各所述像素点的梯度值，确定所述梯度值小于预设梯度阈值的目标像素点；
对所述第一平面图像中的所述目标像素点进行直方图统计，得到直方图统计结果；
将所述直方统计结果中占比最大的距离，确定为所述托盘与所述深度相机之间的间距值；
将所述第一点云数据中，目标方向的距离与所述间距值之间的差异在预设差异范围内的点，确定为所述第三点云数据。
4.根据权利要求2所述的方法，其特征在于，所述基于所述第三点云数据进行拟合，确定所述目标平面上属于所述托盘的所述第二点云数据，包括：
基于所述第三点云数据进行边缘拟合，确定所述第三点云数据中属于所述托盘在目标平面上拟合边缘范围内的第四点云数据；
对所述第四点云数据进行平面拟合，确定所述目标平面上属于所述托盘的所述第二点云数据。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第三点云数据进行边缘拟合，确定所述第三点云数据中属于所述托盘在目标平面上拟合边缘范围内的第四点云数据，包括：
将所述第三点云数据中目标方向的距离做平面映射，得到第二平面图像；
对所述第二平面图像中的各像素点进行边缘拟合，估计所述托盘的托盘孔；
基于所述托盘孔的估计结果，确定所述第三点云数据中属于所述托盘在目标平面上拟合边缘范围内的第四点云数据。
6.根据权利要求4所述的方法，其特征在于，所述对所述第四点云数据进行平面拟合，确定所述目标平面上属于所述托盘的所述第二点云数据，包括：
对所述第四点云数据进行平面拟合，确定所述托盘的第一拟合平面；
将所述第四点云数据中与所述托盘的第一拟合平面之间的距离小于预设距离阈值的点确定为所述第二点云数据。
7.根据权利要求1所述的方法，其特征在于，所述基于所述第二点云数据，对所述托盘进行定位，包括：
基于所述第二点云数据进行边缘拟合，确定所述托盘的轮廓信息；
基于所述托盘的轮廓信息，确定所述托盘的中心点信息；
对所述第二点云数据进行平面拟合，确定所述托盘的第二拟合平面；
基于所述第二拟合平面，确定所述托盘与所述深度相机之间的角度信息。
8.一种托盘识别装置，其特征在于，所述装置包括：
获取模块，用于基于深度相机获取包含所述托盘的第一点云数据；
确定模块，用于基于所述第一点云数据进行梯度计算，确定所述第一点云数据中属于所述托盘在目标平面的第二点云数据；其中，所述目标平面为所述托盘朝向所述深度相机的平面；
定位模块，用于基于所述第二点云数据，对所述托盘进行定位。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
CN202310233226.5A 2023-03-06 2023-03-06 托盘的识别方法及装置、计算机设备、存储介质 Pending CN116246267A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310233226.5A CN116246267A (zh) 2023-03-06 2023-03-06 托盘的识别方法及装置、计算机设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310233226.5A CN116246267A (zh) 2023-03-06 2023-03-06 托盘的识别方法及装置、计算机设备、存储介质

Publications (1)

Publication Number Publication Date
CN116246267A true CN116246267A (zh) 2023-06-09

Family

ID=86635770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310233226.5A Pending CN116246267A (zh) 2023-03-06 2023-03-06 托盘的识别方法及装置、计算机设备、存储介质

Country Status (1)

Country Link
CN (1) CN116246267A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969174A (zh) * 2018-09-29 2020-04-07 深圳市布谷鸟科技有限公司 一种基于激光雷达的目标识别方法、装置及系统
CN114611635A (zh) * 2022-05-11 2022-06-10 北京闪马智建科技有限公司 一种对象的识别方法、装置、存储介质及电子装置
WO2022199472A1 (zh) * 2021-03-23 2022-09-29 长沙智能驾驶研究院有限公司 障碍物检测方法、车辆、设备及计算机存储介质
CN115273033A (zh) * 2022-08-08 2022-11-01 北京领骏科技有限公司 一种提取道路标线的方法、装置、介质及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969174A (zh) * 2018-09-29 2020-04-07 深圳市布谷鸟科技有限公司 一种基于激光雷达的目标识别方法、装置及系统
WO2022199472A1 (zh) * 2021-03-23 2022-09-29 长沙智能驾驶研究院有限公司 障碍物检测方法、车辆、设备及计算机存储介质
CN114611635A (zh) * 2022-05-11 2022-06-10 北京闪马智建科技有限公司 一种对象的识别方法、装置、存储介质及电子装置
CN115273033A (zh) * 2022-08-08 2022-11-01 北京领骏科技有限公司 一种提取道路标线的方法、装置、介质及设备

Similar Documents

Publication Publication Date Title
CN111210429B (zh) 点云数据划分方法及装置、障碍物检测方法及装置
US9251399B2 (en) Method of separating object in three dimension point cloud
EP3168812B1 (en) System and method for scoring clutter for use in 3d point cloud matching in a vision system
JP4865557B2 (ja) 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム
CN110793512A (zh) 位姿识别方法、装置、电子设备和存储介质
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
CN111553946B (zh) 用于去除地面点云的方法及装置、障碍物检测方法及装置
Muñoz-Bañón et al. Targetless camera-LiDAR calibration in unstructured environments
CN113256729B (zh) 激光雷达与相机的外参标定方法、装置、设备及存储介质
CN111815706A (zh) 面向单品类拆垛的视觉识别方法、装置、设备及介质
CN114743259A (zh) 位姿估计方法、位姿估计系统、终端、存储介质及应用
CN107545247B (zh) 基于双目识别的立体认知方法
CN112164117A (zh) 一种基于Kinect相机的V-SLAM位姿估算方法
CN114820391A (zh) 基于点云处理的仓储托盘检测定位方法及系统
US20210213615A1 (en) Method and system for performing image classification for object recognition
CN114897972A (zh) 一种托盘定位方法及装置
CN115546300A (zh) 紧密摆放的托盘位姿识别方法和装置、计算机设备、介质
CN115546202A (zh) 一种用于无人叉车的托盘检测与定位方法
CN110276801B (zh) 一种物体定位方法、装置及存储介质
CN111369611A (zh) 图像像素深度值优化方法及其装置、设备和存储介质
CN116246267A (zh) 托盘的识别方法及装置、计算机设备、存储介质
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
WO2023213070A1 (zh) 基于2d相机获取货物位姿方法、装置、设备及存储介质
CN116309817A (zh) 一种基于rgb-d相机的托盘检测与定位方法
CN115272465A (zh) 物体定位方法、装置、自主移动设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination