CN110617766A - 平面位姿测量方法、装置及存储介质 - Google Patents
平面位姿测量方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110617766A CN110617766A CN201910985838.3A CN201910985838A CN110617766A CN 110617766 A CN110617766 A CN 110617766A CN 201910985838 A CN201910985838 A CN 201910985838A CN 110617766 A CN110617766 A CN 110617766A
- Authority
- CN
- China
- Prior art keywords
- laser
- plane
- line
- calibration
- line laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
Abstract
本申请提供一种平面位姿测量方法、装置及存储介质，涉及建筑测量技术领域。所述方法包括：通过所述线激光器将一根或多根线激光出射至目标面上，所述目标面包括第一物体和第二物体；通过所述感光元件获取所述目标面上的激光图像；通过所述处理器确定所述激光图像中所述线激光在所述第一物体上形成的截断区域以及所述线激光在所述第二物体上形成的正常区域；通过所述处理器基于所述截断区域和所述正常区域的平面参数确定所述第一物体与所述第二物体的位姿关系。通过对激光图像的处理完成了大视域、高精度的建筑材料的自动化测量。
Description
技术领域
本申请涉及通信技术领域，具体而言，涉及一种平面位姿测量方法、装置及存储介质。
背景技术
对建筑材料的位姿测量是建筑机器人中极其重要的视觉部件，如果无法实现对建筑材料的位姿测量就无法实现建筑工地机械化自动化，而到现在为止还没有专门针对建筑材料进行位姿估计的视觉部件。传统的平面位姿测量器件通常采用双目相机、激光雷达等，在针对建筑物进行平面位姿测量时，往往存在测量精度、视场以及自动化程度无法兼顾的问题。
发明内容
有鉴于此，本申请实施例的目的在于提供一种平面位姿测量方法、装置及存储介质，以改善现有技术中传统位姿测量器件存在的测量精度、视场以及自动化程度无法兼顾的问题。
本申请实施例提供了一种平面位姿测量方法，所述方法包括：通过所述线激光器将一根或多根线激光出射至目标面上，所述目标面包括第一物体和第二物体；通过所述感光元件获取所述目标面上的激光图像；通过所述处理器确定所述激光图像中所述线激光在所述第一物体上形成的截断区域以及所述线激光在所述第二物体上形成的正常区域；通过所述处理器基于所述截断区域和所述正常区域的平面参数确定所述第一物体与所述第二物体的位姿关系。
在上述实现方式中，采用线激光器照射目标面，采用感光元件获取激光图像，基于激光图像中的阶段区域和正常区域的划分对第一物体和第二物体进行区分，进而确定第一物体和第二物体的位姿关系，从而实现了大视域、高精度、高自动化的位子测量，同时由于其稳定性高、成本较低，更能适应建筑物材料的安装需求。
可选地，确定所述激光图像中所述线激光在所述第一物体上形成的截断区域以及所述线激光在所述第二物体上形成的正常区域，包括：对所述激光图像中的所述线激光进行中心线提取，获得中心线坐标；基于排序公式对所述线激光的中心线坐标进行排序，所述排序公式包括：lj(xu～(0,n),yv～(0,n))，其中，j为所述线激光的中心线的序号，u、v为组成所述线激光的点集，n为所述点集中点的个数；将所述线激光的中心线坐标作为光平面方程的输入，以分别计算出所述线激光中每根线激光在相机坐标系下的三维坐标lj(xi～(0,n),yv～(0,n),zk～(0,n))，所述光平面方程包括：Ajx+Bjy+Cjz+Dj＝0，其中，k为组成所述线激光的点集；基于每根线激光的所述三维坐标中的Z轴坐标的差值，划分所述截断区域和所述正常区域。
在上述实现方式中，将不同线激光的中心线代入光平面方程获得相机坐标系下的三维坐标，通过该三维坐标的差异确定第一物体和第二物体形成的截断区域和正常区域，从而提高了第一物体和第二物体位姿识别的准确性。
可选地，基于所述截断区域和所述正常区域的平面参数确定所述第一物体与所述第二物体的位姿关系，包括：分别选取所述截断区域的第一激光三维坐标以及所述正常区域的第二激光三维坐标；对所述第一激光三维坐标的点集进行拟合，获得第一平面；对所述第二激光三维坐标的点集进行拟合，获得第二平面；基于所述第一平面和所述第二平面的平面参数确定所述第一物体与所述第二物体的位姿关系。
在上述实现方式中，基于第一激光三维坐标和第二激光三维坐标确定第一物体和第二物体所处平面，根据两个平面的平面参数确定位姿关系，具有更高的精度和视场，且激光能够在低亮度、高复杂度等环境下作业，提高了位姿测量的适用性。
可选地，对所述第一激光三维坐标的点集进行拟合，包括：采用最小二乘法对所述第一激光三维坐标的点集进行拟合；对所述第二激光三维坐标的点集进行拟合，包括：采用最小二乘法对所述第二激光三维坐标的点集进行拟合。
在上述实现方式中，通过最小二乘法进行拟合获得平面，提高了平面确定的效率和精确度。
可选地，所述方法还包括：标定所述感光元件所属相机的内参；基于所述内参确定不同拍摄距离下标志物在相机坐标系中的标定平面方程；基于不同拍摄距离下的所述标定平面方程和所述激光器投射在所述标志物上的标定线激光的中心线坐标，确定不同拍摄距离下每根标定线激光在所述相机坐标系中的三维坐标；对不同拍摄距离下每根标定线激光在所述相机坐标系中的三维坐标进行拟合获得光平面方程，所述光平面方程包括：Ajx+Bjy+Cjz+Dj＝0；保存所述内参和所述光平面方程，以完成系统标定。
在上述实现方式中，在进行实际测量前进行平面位姿测量装置的标定，不需要每次测量都进行系统初始化，从而提高了测量效率和准确度。
可选地，标定所述感光元件所属相机的内参，包括：关闭所述线激光器，通过所述感光元件拍摄标志物不同位姿的标定图像，直至所述标志物完全覆盖所述感光元件的视场；通过所述相机的相机标定程序，基于所述标定图像标定所述相机的内参。
在上述实现方式中，对不同位姿的标定图像进行拍摄，直至标志物完全覆盖感光元件的视场，获取不同拍摄情形下标志物的图像，从而获得适用性更广、准确率更高的内参，提高了位姿测量的准确性。
可选地，基于所述内参确定不同拍摄距离下标志物在所述相机的相机坐标系中的标定平面方程，包括：关闭所述线激光器，通过所述感光元件拍摄所述标志物的标志物图像Ai，其中，i为拍摄次序，i∈[1,N]，N为大于等于2的正整数；改变所述平面位姿测量装置与所述标志物的距离，并使i＝i+1，重复所述标志物图像Ai的获取步骤，以获得不同拍摄距离下的所述标志物图像Ai；基于每个所述标志物图像Ai与所述内参获得不同拍摄距离下所述标志物在所述相机坐标系中的标定平面方程。
在上述实现方式中，获取平面位姿测量装置与标志物不同距离下的标定平面方程，从而能够提高位姿测量的准确率和适用性。
可选地，基于不同拍摄距离下的所述标定平面方程和所述激光器投射在所述标志物上的标定线激光的中心线坐标，确定不同拍摄距离下每根标定线激光在所述相机坐标系中的三维坐标，包括：在每次获取所述标志物图像Ai后，打开所述线激光器，以使所述标定线激光投影在所述标志物上，通过所述感光元件拍摄所述标志物的激光投影图像Bi；对每个所述激光投影图像Bi中的所述标定线激光进行线提取，获得每个所述激光投影图像Bi对应的所述标定线激光的中心线坐标；基于所述排序公式分别获取每个所述激光投影图像Bi中的所述标定线激光的中心线坐标的排序结果，所述排序公式包括：lj(xu～(0,n),yv～(0,n))；基于每个所述激光投影图像Bi的所述排序结果，将所述标定线激光的中心线坐标代入每个所述激光投影图像Bi对应的标定平面方程，分别计算出不同拍摄距离下每根标定线激光在所述相机坐标系下的三维坐标。
在上述实现方式中，获取平面位姿测量装置与标志物不同距离下每根标定线激光的三维坐标，综合多条标定线激光与多种距离情况，从而能够提高位姿测量的准确率和适用性。
可选地，通过所述处理器基于所述截断区域和所述正常区域的平面参数确定所述第一物体与所述第二物体的位姿关系，包括：通过所述处理器基于所述截断区域和所述正常区域的平面参数确定所述第一物体与所述第二物体的平面夹角；基于所述平面夹角确定所述第一物体与所述第二物体之间的位姿关系。
在上述实现方式中，基于第一物体和第二物体所处平面的夹角能够迅速、准确地确定第一物体和第二物体之间的位姿关系。
本申请实施例还提供了一种平面位姿测量装置，所述装置包括线激光器和相机，所述相机包括感光元件和处理器，所述处理器分别与所述感光元件及所述线激光器连接；所述线激光器，用于将一根或多根线激光出射至目标面上，所述目标面包括第一物体和第二物体；所述感光元件，用于获取所述目标面上的激光图像；所述处理器，用于确定所述激光图像中所述线激光在所述第一物体上形成的截断区域以及所述线激光在所述第二物体上形成的正常区域；所述处理器，还用于基于所述截断区域和所述正常区域的平面参数确定所述第一物体与所述第二物体的位姿关系。
在上述实现方式中，采用线激光器照射目标面，采用感光元件获取激光图像，基于激光图像中的阶段区域和正常区域的划分对第一物体和第二物体进行区分，进而确定第一物体和第二物体的位姿关系，从而实现了大视域、高精度、高自动化的位子测量，同时由于其稳定性高、成本较低，更能适应建筑物材料的安装需求。
可选地，所述相机的镜头方向与所述线激光器的激光出射方向相同，所述感光元件与所述线激光器间隔预设距离。
在上述实现方式中，通过感光元件和线激光器的同平面、间隔设置，增大了位姿测量的视场范围，能够适应更加复杂的测量环境，提高了其测量稳定性。
可选地，所述处理器具体用于：对所述激光图像中的所述线激光进行中心线提取，获得中心线坐标；基于排序公式对所述线激光的中心线坐标进行排序，所述排序公式包括：lj(xu～(0,n),yv～(0,n))，其中u、v为组成所述线激光的点集，n为所述点集中点的个数；将所述线激光的中心线坐标作为光平面方程的输入，以分别计算出所述线激光中每根线激光在相机坐标系下的三维坐标lj(xu～(O,n),yv～(0,n),zk～(0,n))，所述光平面方程包括：Ajx+Bjy+Cjz+Dj＝0，其中，k为组成所述线激光的点集；基于每根线激光的所述三维坐标中的Z轴坐标的差值，划分所述截断区域和所述正常区域。
在上述实现方式中，将不同线激光的中心线代入光平面方程获得相机坐标系下的三维坐标，通过该三维坐标的差异确定第一物体和第二物体形成的截断区域和正常区域，从而提高了第一物体和第二物体位姿识别的准确性。
可选地，所述处理器具体用于：分别选取所述截断区域的第一激光三维坐标以及所述正常区域的第二激光三维坐标；对所述第一激光三维坐标的点集进行拟合，获得第一平面；对所述第二激光三维坐标的点集进行拟合，获得第二平面；基于所述第一平面和所述第二平面的平面参数确定所述第一物体与所述第二物体的位姿关系。
在上述实现方式中，基于第一激光三维坐标和第二激光三维坐标确定第一物体和第二物体所处平面，根据两个平面的平面参数确定位姿关系，具有更高的精度和视场，且激光能够在低亮度、高复杂度等环境下作业，提高了位姿测量的适用性。
可选地，所述处理器具体用于：采用最小二乘法对所述第一激光三维坐标的点集进行拟合；对所述第二激光三维坐标的点集进行拟合，包括：采用最小二乘法对所述第二激光三维坐标的点集进行拟合。
在上述实现方式中，通过最小二乘法进行拟合获得平面，提高了平面确定的效率和精确度。
可选地，所述处理器还用于：标定所述相机的内参；基于所述内参确定不同拍摄距离下标志物在相机坐标系中的标定平面方程；基于不同拍摄距离下的所述标定平面方程和所述激光器投射在所述标志物上的标定线激光的中心线坐标，确定不同拍摄距离下每根标定线激光在所述相机坐标系中的三维坐标；对不同拍摄距离下每根标定线激光在所述相机坐标系中的三维坐标进行拟合获得所述光平面方程，所述光平面方程包括：Ajx+Bjy+Cjz+Dj＝0；保存所述内参和所述光平面方程，以完成系统标定。
在上述实现方式中，在进行实际测量前进行平面位姿测量装置的标定，不需要每次测量都进行系统初始化，从而提高了测量效率和准确度。
可选地，所述装置还用于：关闭所述线激光器，通过所述感光元件拍摄标志物不同位姿的标定图像，直至所述标志物完全覆盖所述感光元件的视场；通过所述相机的相机标定程序，基于所述标定图像标定所述相机的内参。
在上述实现方式中，对不同位姿的标定图像进行拍摄，直至标志物完全覆盖感光元件的视场，获取不同拍摄情形下标志物的图像，从而获得适用性更广、准确率更高的内参，提高了位姿测量的准确性。
可选地，所述装置还用于：关闭所述线激光器，通过所述感光元件拍摄所述标志物的标志物图像Ai，其中，i为拍摄次序，i∈[1,N]，N为大于等于2的正整数；改变所述平面位姿测量装置与所述标志物的距离，并使i＝i+1，重复所述标志物图像Ai的获取步骤，以获得不同拍摄距离下的所述标志物图像Ai；基于每个所述标志物图像Ai与所述内参获得不同拍摄距离下所述标志物在所述相机坐标系中的标定平面方程。
在上述实现方式中，获取平面位姿测量装置与标志物不同距离下的标定平面方程，从而能够提高位姿测量的准确率和适用性。
可选地，所述装置还用于：在每次获取所述标志物图像Ai后，打开所述线激光器，以使所述标定线激光投影在所述标志物上，通过所述感光元件拍摄所述标志物的激光投影图像Bi；对每个所述激光投影图像Bi中的所述标定线激光进行线提取，获得每个所述激光投影图像Bi对应的所述标定线激光的中心线坐标；基于所述排序公式分别获取每个所述激光投影图像Bi中的所述标定线激光的中心线坐标的排序结果，所述排序公式包括：lj(xu～(0,n),yv～(0,n))；基于每个所述激光投影图像Bi的所述排序结果，将所述标定线激光的中心线坐标代入每个所述激光投影图像Bi对应的标定平面方程，分别计算出不同拍摄距离下每根标定线激光在所述相机坐标系下的三维坐标。
在上述实现方式中，获取平面位姿测量装置与标志物不同距离下每根标定线激光的三维坐标，综合多条标定线激光与多种距离情况，从而能够提高位姿测量的准确率和适用性。
可选地，所述处理器具体用于：通过所述处理器基于所述截断区域和所述正常区域的平面参数确定所述第一物体与所述第二物体的平面夹角；基于所述平面夹角确定所述第一物体与所述第二物体之间的位姿关系。
在上述实现方式中，基于第一物体和第二物体所处平面的夹角能够迅速、准确地确定第一物体和第二物体之间的位姿关系。
本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一平面位姿测量方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种平面位姿测量装置的结构示意图；
图2为本申请实施例提供的一种平面位姿测量装置的出射效果示意图；
图3为本申请实施例提供的一种平面位姿测量方法的流程示意图；
图4为本申请实施例提供的一种阶段区域与正常区域的划分示意图；
图5为本申请实施例提供的一种区域识别步骤的流程示意图；
图6为本申请实施例提供的一种系统标定步骤的流程示意图；
图7为本申请实施例提供的一种相机坐标系中的标定线激光示意图。
图标：10-平面位姿测量装置；11-线激光器；12-相机；13-上壳体；14-下壳体；15-激光器电源板；16-激光器保护片；17-相机保护片；18-总电源口。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。
经本申请人研究发现，现有的平面位姿测量器件主要采用双目相机或激光雷达。其中，双目相机视场可以做大，但是测量精度差，抗环境光干扰能力非常弱，无法使用在建筑工地环境下；激光雷达需要旋转机械结构，导致系统稳定性差；无法满足有些建筑材料的安装指标，且价格十分的昂贵。除此之外，现在还普遍采用人工测量的方式进行位姿测量，但是其需要受过专业培训的人进行，人工成本高、效率较低。
因此本实施例为了解决上述问题，提供了一种适用于建筑材料的位姿测量的平面位姿测量装置及方法。
请参考图1，图1为本申请实施例提供的一种平面位姿测量装置的结构示意图。
平面位姿测量装置10包括线激光器11和相机12，其中，相机12包括感光元件和处理器。
平面位姿测量装置10还可以包括上壳体13、下壳体14、激光器电源板15、激光器保护片16、相机保护片17和总电源口18。
上壳体13和下壳体14连接时为包围线激光器11和相机12的壳体，容置线激光器11和相机12并对其形成保护，且上壳体13和下壳体14在线激光器11和相机12的镜头位置留有光线进出的通孔。
可选地，上壳体13和下壳体14可以选用合成橡胶、合金、工业塑料等防水、耐磨、硬度较高的材料，以在复杂的建筑或其他工程条件中对线激光器11和相机12实现稳定地支持和保护。
壳体大致为机械连杆型，线激光器11和相机12设置在壳体的两端，两者的位置间隔可以是但不限于是500毫米、600毫米、800毫米等，且其镜头方向相同。
线激光器11可以是半导体激光器、气体激光器、固体激光器等类型的激光器，本实施例中的线激光器11可以采用半导体激光器，且其出射激光为多条一字线激光，可选地，一字线激光的数量可以是3、5、6、7等。线激光器11可以垂直于机械连杆固定在下壳体14上，应当理解的是，线激光器11与机械连杆的角度不限于为垂直。
进一步地，线激光器11出射激光的横向视场可以但不限于是大于或等于1000毫米，纵向视场可以但不限于是大于或等于1000毫米。
相机12中的感光元件可以是CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)元件。可选地，感光元件与下壳体14的角度可以但不限于是70度，其出射激光与下壳体的角度可以但不限于是垂直。
可选地，本实施例中的激光器电源板15与总电源口18连接，线激光器11与激光器电源板15连接，总电源口18还与相机12连接。
其中，总电源口18可以为平面位姿测量装置10提供稳定的直流电源。
激光器保护片16设置在线激光器11的镜头位置，以保护线激光器11，相机保护片17设置在相机12的镜头位置，以保护相机12。
请参考图2，图2为本申请实施例提供的一种平面位姿测量装置的出射效果示意图。
为了通过平面位姿测量装置10更好地实现建筑材料等物体的平面位姿测量，本申请实施例还提供了一种平面位姿测量方法。请参考图3，图3为本申请实施例提供的一种平面位姿测量方法的流程示意图。该平面位姿测量方法的具体步骤可以如下：
步骤S22：通过线激光器将一根或多根线激光出射至目标面上，目标面包括第一物体和第二物体。
目标面在本实施例中可以为建筑墙面、地面等，具体地，第一物体可以是墙体，第二物体可以是墙砖，第一物体和第二物体还可以是除墙体和墙砖外能够配合装配的其他物体。
步骤S24：通过感光元件获取目标面上的激光图像。
步骤S26：通过处理器确定激光图像中线激光在第一物体上形成的截断区域以及线激光在第二物体上形成的正常区域。
以线激光器11为七线激光器为例，每一根激光线在空间中实际上划定了一个平面，本实施例称之为光平面，因此七根线激光构成了七个光平面。七根线激光照射在墙面上时，由于墙砖一般会凸出于墙体一部分，墙体和墙砖之间是存在高差的，则七根线激光照射到墙砖的一部分会被截断，形成截断区域，其他部分的线激光则为正常区域。请参考图4，图4为本申请实施例提供的一种阶段区域与正常区域的划分示意图。
具体地，请参考图5，图5为本申请实施例提供的一种区域识别步骤的流程示意图，则步骤S26的子步骤具体可以如下：
步骤S26.1：对激光图像中的线激光进行中心线提取，获得中心线坐标。
中心线提取是指提取数据集中所有面对象的中心线,并将结果保存为线数据集。本实施例中可以采用基于拓扑细化的方法、基于距离变换的方法、基于追踪的方法或其他适用方法进行线激光的中心线提取。
每根线激光完成中心线提取后的中心线坐标是构成该线激光的点集中所有点的坐标。
步骤S26.2：基于排序公式对线激光的中心线坐标进行排序。
排序公式包括：lj(xu～(0,n),yv～(0,n))，其中，j为线激光的中心线的序号，u、v为组成线激光的中心线的点集，n为点集中点的个数。
可选地，每根线激光的中心线完成排序后都分配有一一对应的序号，以方便区分。
步骤S26.3：将线激光的中心线坐标作为光平面方程的输入，以分别计算出线激光中每根线激光在相机坐标系下的三维坐标。
光平面方程包括：Ajx+Bjy+Cjz+Dj＝0，其中，k为组成线激光的点集，A、B、C、D为光平面参数。
每根线激光在相机坐标系下的三维坐标可以表示为lj(xu～(0,n),yv～(0,n),zk～(0,n))，其中，k为组成线激光的中心线在Z轴上的点集。
步骤S26.4：基于每根线激光的三维坐标中的Z轴坐标的差值，划分截断区域和正常区域。
其中，Z轴坐标为zk～(0,n)，在第一物体和第二物体有高差时，感光元件采集的激光图像中线激光的中心线也具有高差，因此可以通过其进行截断区域以及位姿的判定。
步骤S28：通过处理器基于截断区域和正常区域的平面参数确定第一物体与第二物体的位姿关系。
应当理解的是，在进行位姿关系的确定时，需要先基于截断区域和正常区域的线激光的中心线的点集确定截断区域和正常区域的平面，然后基于两个平面的相对关系确定第一物体和第二物体的位姿关系。
具体地，步骤S28可以包括如下具体子步骤：
步骤S28.1：分别选取截断区域的第一激光三维坐标以及正常区域的第二激光三维坐标。
截断区域中的线激光的中心线坐标为第一激光三维坐标lj(xu～(0,n),tv～(0,n),zk～(0,n))ROI1，正常区域中的线激光的中心线坐标为第二激光三维坐标lj(xu～(0,n),yv～(0,n),zk～(0,n))ROI2。
步骤S28.2：对第一激光三维坐标的点集进行拟合，获得第一平面。
步骤S28.3：对第二激光三维坐标的点集进行拟合，获得第二平面。
可选地，本实施例中可以采用最小二乘法进行平面拟合，获得第一平面和第二平面。最小二乘法(又称最小平方法)是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小，因此最小二乘法还可用于曲线拟合、平面拟合等，本实施例就采用最小二乘法来进行第一平面和第二平面的拟合。应当理解的是，除了最小二乘法，还可以采用点云拟合算法、二阶段空间圆线拟合算法等进行第一平面和第二平面的拟合
步骤S28.4：基于第一平面和第二平面的平面参数确定第一物体与第二物体的位姿关系。
针对步骤S28.4，可以具体包括：通过处理器基于截断区域和正常区域的平面参数确定第一物体与第二物体的平面夹角；基于平面夹角确定第一物体与第二物体之间的位姿关系。
应当理解的是，在采用平面位姿测量装置10进行建筑材料的位姿测量前，还需要在这之前进行平面位姿测量装置10的系统标定。
请参考图6，图6为本申请实施例提供的一种系统标定步骤的流程示意图。该系统标定步骤具体可以如下：
步骤S31：标定相机的内参。
本实施例中的内参用于成像平面坐标系和像素坐标系之间的变换，一般可以通过内参数矩阵K表示内参，内参数矩阵K中可以包括fx、fy、u0、v0，其中，fx、fy和相机的焦距、像素的大小有关；u0、v0是平移的距离，和相机成像平面的大小有关。
进一步地，除了内参矩阵K，本实施例中的内参还可以包括畸变参数D。
可选地，在进行内参标定时，为了获得更多距离情况下的数据，以提高相机内参的准确标定，步骤S31具体可以包括：关闭线激光器11，通过感光元件拍摄标志物不同位姿的标定图像，直至标志物完全覆盖感光元件的视场；通过相机12的相机标定程序，基于标定图像标定相机12的内参。
进一步地，除了标定图像本身，在内参标定时还可以根据每次拍摄标定图像时的拍照数据进行参考、调整。
步骤S32：基于内参确定不同拍摄距离下标志物在相机坐标系中的标定平面方程。
具体地，步骤S32可以包括如下子步骤：
步骤S32.1：关闭线激光器，通过感光元件拍摄标志物的标志物图像Ai，其中，i为拍摄次序，i∈[1,N]，N为大于等于2的正整数。
步骤S32.2：改变平面位姿测量装置与标志物的距离，并使i＝i+1，重复标志物图像Ai的获取步骤，以获得不同拍摄距离下的标志物图像Ai。
应当理解的是，N的数值可以根据平面位姿测量精度的需求进行灵活调整，例如2、3、4、5或其他任意数值。
步骤S32.3：基于每个标志物图像Ai与内参获得不同拍摄距离下标志物在相机坐标系中的标定平面方程。
采用每个标志物图像Ai与内参数矩阵K、畸变参数D计算出标志物在不同拍摄距离下在相机坐标系中的标定平面方程ax+by+cz+d＝0。其中，a、b、c、d为标定平面方程中的参数。
步骤S33：基于不同拍摄距离下的标定平面方程和激光器投射在标志物上的标定线激光的中心线坐标，确定不同拍摄距离下每根标定线激光在相机坐标系中的三维坐标。
具体地，步骤S33可以包括如下子步骤：
步骤S33.1：在每次获取标志物图像Ai后，打开线激光器，以使标定线激光投影在标志物上，通过感光元件拍摄标志物的激光投影图像Bi。
步骤S33.2：对每个激光投影图像Bi中的标定线激光进行线提取，获得每个激光投影图像Bi对应的标定线激光的中心线坐标。
可选地，标定线激光的提取和步骤S26中的中心线提取的方式类似，可以采用基于拓扑细化的方法、基于距离变换的方法、基于追踪的方法或其他适用方法进行标定线激光的中心线提取。
步骤S33.3：基于排序公式分别获取每个激光投影图像Bi中的标定线激光的中心线坐标的排序结果。
同样，与步骤S26中的中心线排类似，其排序公式可以为：lj(xu～(0,n),yv～(0,n))。
步骤S33.4：基于每个激光投影图像Bi的排序结果，将标定线激光的中心线坐标代入每个激光投影图像Bi对应的标定平面方程，分别计算出不同拍摄距离下每根标定线激光在相机坐标系下的三维坐标。
具体地，使用不同拍摄距离获得的标定平面方程ax+by+cz+d＝0与对应拍摄距离下的标定线激光的中心线坐标lj(xu～(0,n),yv～(0,n))计算出每一根标定线激光在相机坐标系下的三维坐标lj(xu～(0,n),yv～(0,n),zk～(0,n))。请参考图7，图7为本申请实施例提供的一种相机坐标系中的标定线激光示意图，其中，每个平面中的线条部分即为标定线激光。
步骤S34：对不同拍摄距离下每根标定线激光在相机坐标系中的三维坐标进行拟合获得所述光平面方程，光平面方程包括：Ajx+Bjy+Cjz+Dj＝0。
如图3所示，其中的一个平面即为一个光平面。
步骤S35：保存内参和光平面方程，以完成系统标定。
接下来对整个标定过程进行举例说明，例如在标定内参后，关闭线激光器11，在某一距离下通过相机12的感光元件获取标志物图像A1，然后打开线激光器11，同时在上述不同拍摄距离下通过相机12的感光元件获取标志物的激光投影图像B1。基于标志物图像A1和内参数矩阵K、畸变参数D计算出标志物在该距离下在相机坐标系中的标定平面方程ax+by+cz+d＝0，然后通过标定平面方程ax+by+cz+d＝0与每根标定线激光在标志物上的中心线坐标lj(xu～(0,n),yv～(0,n))，确定该距离下每根标定线激光在相机坐标系中的三维坐标lj(xu～(0,n),yv～(0,n),zk～(0,n))，然后依次确定每个拍摄距离下的标志物图像Ai中每根标定线激光在相机坐标系中的三维坐标lj(xu～(0,n),yv～(0,n),zk～(0,n))，将不同距离下的所有标定线激光在相机坐标系中的三维坐标进行最小二乘法拟合获得光平面方程Ajx+Bjy+Cjz+Dj＝0，完成系统标定。
接下来对整个平面位姿测量过程进行举例说明，首先打开线激光器11将线激光投射至目标面上，假设该目标面为墙面，需要确定墙面中的墙体和墙砖的关系，通过相机11采集激光图像，对激光图像中的线激光进行中心线提取，获得中心线坐标，并对获得的中心线坐标进行排序lj(xu～(0,n),yv～(0,n))，将排序后的中心线坐标输入光平面方程Ajx+Bjy+Cjz+Dj＝0，分别计算出每根线激光在相机坐标系下的三维坐标，基于每根线激光中心线中Z轴表示的高差划分出墙砖上截断区域和墙面上的正常区域，截断区域中的线激光的中心线坐标为lj(xu～(0,n),yv～(0,n),zk～(0,n))ROI1，正常区域中的线激光的中心线坐标为lj(xu～(0,n),yv～(0,n),zk～(0,n))ROI2，采用最小二乘法分别对lj(xu～(0,n),yv～(0,n),zk～(0,n))ROI1和lj(xu～(0,n),yv～(0,n),zk～(0,n))ROI2进行平面拟合，获得第一平面和第二平面，基于第一平面和第二平面的平面参数确定两者之间的夹角，基于该夹角确定墙砖的第一平面和墙体的第二平面的位姿关系。
在上述标定步骤中，在进行实际测量前进行平面位姿测量装置的标定，且能够在复杂环境中进行大视域、高效率的自动系统标定，不需要每次测量都进行系统初始化，从而提高了测量效率和准确度。
应当理解的是，本申请实施例中的任一涉及数据处理、命令执行的步骤，均可以是由相机12中的处理器执行。
本申请实施例还提供了一种存储介质，所述存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行平面位姿测量方法中的步骤。
综上所述，本申请实施例提供了一种平面位姿测量方法、装置及存储介质，所述方法包括：通过线激光器将一根或多根线激光出射至目标面上，目标面包括第一物体和第二物体；通过感光元件获取目标面上的激光图像；通过处理器确定激光图像中线激光在第一物体上形成的截断区域以及线激光在第二物体上形成的正常区域；通过处理器基于截断区域和正常区域的平面参数确定第一物体与第二物体的位姿关系。
在上述实现方式中，采用线激光器照射目标面，采用感光元件获取激光图像，基于激光图像中的阶段区域和正常区域的划分对第一物体和第二物体进行区分，进而确定第一物体和第二物体的位姿关系，从而实现了大视域、高精度、高自动化的位子测量，同时由于其稳定性高、成本较低，更能适应建筑物材料的安装需求。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本申请的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RanDOm Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (12)
1.一种平面位姿测量方法，其特征在于，应用于平面位姿测量装置，所述平面位姿测量装置包括线激光器、感光元件和处理器，所述方法包括：
通过所述线激光器将一根或多根线激光出射至目标面上，所述目标面包括第一物体和第二物体；
通过所述感光元件获取所述目标面上的激光图像；
通过所述处理器确定所述激光图像中所述线激光在所述第一物体上形成的截断区域以及所述线激光在所述第二物体上形成的正常区域；
通过所述处理器基于所述截断区域和所述正常区域的平面参数确定所述第一物体与所述第二物体的位姿关系。
2.根据权利要求1所述的方法，其特征在于，确定所述激光图像中所述线激光在所述第一物体上形成的截断区域以及所述线激光在所述第二物体上形成的正常区域，包括：
对所述激光图像中的所述线激光进行中心线提取，获得中心线坐标；
基于排序公式对所述线激光的中心线坐标进行排序，所述排序公式包括：lj(xu～(0,n),yv～(0,n))，其中，j为所述线激光的中心线的序号，u、v为组成所述线激光的点集，n为所述点集中点的个数；
将所述线激光的中心线坐标作为光平面方程的输入，以分别计算出所述线激光中每根线激光在相机坐标系下的三维坐标lj(xu～(0,n),yv～(0,n),zk～(0,n))，所述光平面方程包括：Ajx+Bjy+Cjz+Dj＝0，其中，k为组成所述线激光的点集；
基于每根线激光的所述三维坐标中的Z轴坐标的差值，划分所述截断区域和所述正常区域。
3.根据权利要求2所述的方法，其特征在于，基于所述截断区域和所述正常区域的平面参数确定所述第一物体与所述第二物体的位姿关系，包括：
分别选取所述截断区域的第一激光三维坐标以及所述正常区域的第二激光三维坐标；
对所述第一激光三维坐标的点集进行拟合，获得第一平面；
对所述第二激光三维坐标的点集进行拟合，获得第二平面；
基于所述第一平面和所述第二平面的平面参数确定所述第一物体与所述第二物体的位姿关系。
4.根据权利要求3所述的方法，其特征在于，对所述第一激光三维坐标的点集进行拟合，包括：
采用最小二乘法对所述第一激光三维坐标的点集进行拟合；
对所述第二激光三维坐标的点集进行拟合，包括：
采用最小二乘法对所述第二激光三维坐标的点集进行拟合。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
标定所述感光元件所属相机的内参；
基于所述内参确定不同拍摄距离下标志物在所述相机坐标系中的标定平面方程；
基于不同拍摄距离下的所述标定平面方程和所述激光器投射在所述标志物上的标定线激光的中心线坐标，确定不同拍摄距离下每根标定线激光在所述相机坐标系中的三维坐标；
对不同拍摄距离下每根标定线激光在所述相机坐标系中的三维坐标进行拟合获得光平面方程，所述光平面方程包括：Ajx+Bjy+Cjz+Dj＝0；
保存所述内参和所述光平面方程，以完成系统标定。
6.根据权利要求5所述的方法，其特征在于，标定所述感光元件所属相机的内参，包括：
关闭所述线激光器，通过所述感光元件拍摄标志物不同位姿的标定图像，直至所述标志物完全覆盖所述感光元件的视场；
通过所述相机的相机标定程序，基于所述标定图像标定所述相机的内参。
7.根据权利要求5所述的方法，其特征在于，基于所述内参确定不同拍摄距离下标志物在所述相机的相机坐标系中的标定平面方程，包括：
关闭所述线激光器，通过所述感光元件拍摄所述标志物的标志物图像Ai，其中，i为拍摄次序，i∈[1,N]，N为大于等于2的正整数；
改变所述平面位姿测量装置与所述标志物的距离，并使i＝i+1，重复所述标志物图像Ai的获取步骤，以获得不同拍摄距离下的所述标志物图像Ai；
基于每个所述标志物图像Ai与所述内参获得不同拍摄距离下所述标志物在所述相机坐标系中的标定平面方程。
8.根据权利要求7所述的方法，其特征在于，基于不同拍摄距离下的所述标定平面方程和所述激光器投射在所述标志物上的标定线激光的中心线坐标，确定不同拍摄距离下每根标定线激光在所述相机坐标系中的三维坐标，包括：
在每次获取所述标志物图像Ai后，打开所述线激光器，以使所述标定线激光投影在所述标志物上，通过所述感光元件拍摄所述标志物的激光投影图像Bi；
对每个所述激光投影图像Bi中的所述标定线激光进行线提取，获得每个所述激光投影图像Bi对应的所述标定线激光的中心线坐标；
基于排序公式分别获取每个所述激光投影图像Bi中的所述标定线激光的中心线坐标的排序结果，所述排序公式包括：lj(xu～(0,n),yv～(0,n))；
基于每个所述激光投影图像Bi的所述排序结果，将所述标定线激光的中心线坐标代入每个所述激光投影图像Bi对应的标定平面方程，分别计算出不同拍摄距离下每根标定线激光在所述相机坐标系下的三维坐标。
9.根据权利要求1所述的方法，其特征在于，通过所述处理器基于所述截断区域和所述正常区域的平面参数确定所述第一物体与所述第二物体的位姿关系，包括：
通过所述处理器基于所述截断区域和所述正常区域的平面参数确定所述第一物体与所述第二物体的平面夹角；
基于所述平面夹角确定所述第一物体与所述第二物体之间的位姿关系。
10.一种平面位姿测量装置，其特征在于，所述平面位姿测量装置包括线激光器和相机，所述相机包括感光元件和处理器，所述处理器分别与所述感光元件及所述线激光器连接；
所述线激光器，用于将一根或多根线激光出射至目标面上，所述目标面包括第一物体和第二物体；
所述感光元件，用于获取所述目标面上的激光图像；
所述处理器，用于确定所述激光图像中所述线激光在所述第一物体上形成的截断区域以及所述线激光在所述第二物体上形成的正常区域；
所述处理器，还用于基于所述截断区域和所述正常区域的平面参数确定所述第一物体与所述第二物体的位姿关系。
11.根据权利要求10所述的平面位姿测量装置，其特征在于，所述相机的镜头方向与所述线激光器的激光出射方向相同，所述感光元件与所述线激光器间隔预设距离。
12.一种存储介质，其特征在于，所述存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1-9中任一项所述的平面位姿测量方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910985838.3A CN110617766A (zh) | 2019-10-16 | 2019-10-16 | 平面位姿测量方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910985838.3A CN110617766A (zh) | 2019-10-16 | 2019-10-16 | 平面位姿测量方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110617766A true CN110617766A (zh) | 2019-12-27 |
Family
ID=68925879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910985838.3A Pending CN110617766A (zh) | 2019-10-16 | 2019-10-16 | 平面位姿测量方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110617766A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907656A (zh) * | 2020-09-28 | 2021-06-04 | 广东博智林机器人有限公司 | 机器人的位置检测方法、检测装置、处理器和电子设备 |
| WO2022257681A1 (zh) * | 2021-06-08 | 2022-12-15 | 广东博智林机器人有限公司 | 交互系统、砌砖装置、砌砖机械手及砌砖定位方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102346034A (zh) * | 2011-09-22 | 2012-02-08 | 苏州亿帝电子科技有限公司 | 静态远距离激光平面仪 |
| CN103383255A (zh) * | 2012-05-04 | 2013-11-06 | 施塔比拉-测量工具古斯塔夫乌尔里希公司 | 用于探测和显示激光射束的设备和方法 |
| CN103411553A (zh) * | 2013-08-13 | 2013-11-27 | 天津大学 | 多线结构光视觉传感器的快速标定方法 |
| CN106524945A (zh) * | 2016-10-13 | 2017-03-22 | 无锡科技职业学院 | 一种基于机械臂和结构光视觉的平面夹角在线测量方法 |
| EP3428751A1 (en) * | 2017-07-12 | 2019-01-16 | Koninklijke Philips N.V. | Measuring position of motion stage |
| CN109900205A (zh) * | 2019-02-21 | 2019-06-18 | 武汉大学 | 一种高精度的单线激光器和光学相机的快速标定方法 |
| US20190285404A1 (en) * | 2018-03-16 | 2019-09-19 | Faro Technologies, Inc. | Noncontact three-dimensional measurement system |
| CN110296667A (zh) * | 2019-08-13 | 2019-10-01 | 南昌航空大学 | 基于线结构光多角度投影的高反射表面三维测量方法 |
-
2019
- 2019-10-16 CN CN201910985838.3A patent/CN110617766A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102346034A (zh) * | 2011-09-22 | 2012-02-08 | 苏州亿帝电子科技有限公司 | 静态远距离激光平面仪 |
| CN103383255A (zh) * | 2012-05-04 | 2013-11-06 | 施塔比拉-测量工具古斯塔夫乌尔里希公司 | 用于探测和显示激光射束的设备和方法 |
| CN103411553A (zh) * | 2013-08-13 | 2013-11-27 | 天津大学 | 多线结构光视觉传感器的快速标定方法 |
| CN106524945A (zh) * | 2016-10-13 | 2017-03-22 | 无锡科技职业学院 | 一种基于机械臂和结构光视觉的平面夹角在线测量方法 |
| EP3428751A1 (en) * | 2017-07-12 | 2019-01-16 | Koninklijke Philips N.V. | Measuring position of motion stage |
| US20190285404A1 (en) * | 2018-03-16 | 2019-09-19 | Faro Technologies, Inc. | Noncontact three-dimensional measurement system |
| CN109900205A (zh) * | 2019-02-21 | 2019-06-18 | 武汉大学 | 一种高精度的单线激光器和光学相机的快速标定方法 |
| CN110296667A (zh) * | 2019-08-13 | 2019-10-01 | 南昌航空大学 | 基于线结构光多角度投影的高反射表面三维测量方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王福斌等: "挖掘机器人双目视觉系统标定方法与立体匹配", 《机械制造与自动化》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907656A (zh) * | 2020-09-28 | 2021-06-04 | 广东博智林机器人有限公司 | 机器人的位置检测方法、检测装置、处理器和电子设备 |
| WO2022257681A1 (zh) * | 2021-06-08 | 2022-12-15 | 广东博智林机器人有限公司 | 交互系统、砌砖装置、砌砖机械手及砌砖定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109754432B (zh) | 一种相机自动标定方法及光学动作捕捉系统 | |
| CN105096329B (zh) | 一种精确校正超广角摄像头图像畸变的方法 | |
| CN107194974B (zh) | 一种基于多次识别标定板图像的多目相机外参标定精度的提高方法 | |
| CN110298888B (zh) | 基于单轴高精度位移平台的相机标定方法 | |
| CN107330927B (zh) | 机载可见光图像定位方法 | |
| CN110736447B (zh) | 一种集成式图像采集设备竖直方向水平位置检校方法 | |
| CN111899305A (zh) | 一种相机自动标定优化方法及相关系统、设备 | |
| CN110617766A (zh) | 平面位姿测量方法、装置及存储介质 | |
| Liu et al. | Robust camera calibration by optimal localization of spatial control points | |
| CN111538029A (zh) | 一种视觉与雷达融合的测量方法及终端 | |
| Wohlfeil et al. | Automatic camera system calibration with a chessboard enabling full image coverage | |
| CN113822920B (zh) | 结构光相机获取深度信息的方法、电子设备及存储介质 | |
| CN102628693A (zh) | 一种用于摄像机主轴与激光束进行平行配准的方法 | |
| Luhmann | 3D imaging: how to achieve highest accuracy | |
| CN112857328B (zh) | 一种无标定摄影测量方法 | |
| JP2006098065A (ja) | キャリブレーション装置および方法、ならびにそれらを利用可能な３次元モデリング装置および３次元モデリングシステム | |
| CN116576850B (zh) | 一种位姿确定方法、装置、计算机设备及存储介质 | |
| CN110375717A (zh) | 一种实时面积量算的近景摄影测量方法 | |
| Oniga et al. | Metric and Non-Metric Cameras Calibration for the Improvement of Real-Time Monitoring Process Results. | |
| CN115713564A (zh) | 相机标定方法及装置 | |
| CN111145268B (zh) | 一种视频注册方法及装置 | |
| CN115018922A (zh) | 畸变参数标定方法、电子设备和计算机可读存储介质 | |
| CN114758011A (zh) | 融合离线标定结果的变焦相机在线标定方法 | |
| WO2005073669A1 (en) | Semi and fully-automatic camera calibration tools using laser-based measurement devices | |
| US11250589B2 (en) | General monocular machine vision system and method for identifying locations of target elements |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191227 |