CN110619660A - 一种物体定位方法、装置、计算机可读存储介质及机器人 - Google Patents

一种物体定位方法、装置、计算机可读存储介质及机器人 Download PDF

Info

Publication number
CN110619660A
CN110619660A CN201910773466.8A CN201910773466A CN110619660A CN 110619660 A CN110619660 A CN 110619660A CN 201910773466 A CN201910773466 A CN 201910773466A CN 110619660 A CN110619660 A CN 110619660A
Authority
CN
China
Prior art keywords
position coordinate
eye image
image
original
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910773466.8A
Other languages
English (en)
Inventor
罗茜
熊友军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN201910773466.8A priority Critical patent/CN110619660A/zh
Publication of CN110619660A publication Critical patent/CN110619660A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Abstract

本发明属于机器人技术领域，尤其涉及一种物体定位方法、装置、计算机可读存储介质及机器人。所述方法获取预设的图像采集装置所采集的原始图像；使用预设的物体检测模型对所述原始图像进行推理计算，检测出所述原始图像中的物体，并确定第一位置坐标，所述第一位置坐标为所述物体在所述原始图像中的位置坐标；根据所述第一位置坐标和标定后的相机参数计算第二位置坐标，所述第二位置坐标为所述图像采集装置检测的所述物体相对于相机坐标系的相对三维位置坐标；对所述第二位置坐标进行旋转变换，得到所述物体在世界坐标系中的三维位置坐标。通过本发明，实现了对物体较为精准的定位。

Description

一种物体定位方法、装置、计算机可读存储介质及机器人
技术领域
本发明属于机器人技术领域，尤其涉及一种物体定位方法、装置、计算机可读存储介质及机器人。
背景技术
对于移动机器人而言，可以自主检测视野中的物体是实现机器人自主行为的基础功能，具有重要意义。在现有技术中，普遍采用在机器人上安装相机或者激光雷达来进行物体检测，然而，采用单目相机的方法通常无法直接获得物体的距离信息，难以实现对于物体的精准定位，而基于激光雷达的物体定位方法虽然测量速度快，精度高，但是造价较为昂贵，并且无法获得物体的语义信息，如颜色、文理等信息。
发明内容
有鉴于此，本发明实施例提供了一种物体定位方法、装置、计算机可读存储介质及机器人，以解决现有技术中采用单目相机的方法通常无法直接获得物体的距离信息，难以实现对于物体的精准定位，而基于激光雷达的物体定位方法虽然测量速度快，精度高，但是造价较为昂贵的问题。
本发明实施例的第一方面提供了一种物体定位方法，可以包括：
获取预设的图像采集装置所采集的原始图像；
使用预设的物体检测模型对所述原始图像进行推理计算，检测出所述原始图像中的物体，并确定第一位置坐标，所述第一位置坐标为所述物体在所述原始图像中的位置坐标；
根据所述第一位置坐标和预先标定的相机参数计算第二位置坐标，所述第二位置坐标为所述图像采集装置检测的所述物体相对于相机坐标系的相对三维位置坐标；
对所述第二位置坐标进行旋转变换，得到所述物体在世界坐标系中的三维位置坐标。
本发明实施例的第二方面提供了一种物体定位装置，可以包括：
原始图像获取模块，用于获取预设的图像采集装置所采集的原始图像；
物体检测模块，用于使用预设的物体检测模型对所述原始图像进行推理计算，检测出所述原始图像中的物体，并确定第一位置坐标，所述第一位置坐标为所述物体在所述原始图像中的位置坐标；
坐标计算模块，用于根据所述第一位置坐标和预先标定的相机参数计算第二位置坐标，所述第二位置坐标为所述图像采集装置检测的所述物体相对于相机坐标系的相对三维位置坐标；
旋转变换模块，用于对所述第二位置坐标进行旋转变换，得到所述物体在世界坐标系中的三维位置坐标。
本发明实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述物体定位方法的步骤。
本发明实施例的第四方面提供了一种移动机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述物体定位方法的步骤。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例获取预设的图像采集装置所采集的原始图像；使用预设的物体检测模型对所述原始图像进行推理计算，检测出所述原始图像中的物体，并确定第一位置坐标，所述第一位置坐标为所述物体在所述原始图像中的位置坐标；根据所述第一位置坐标和预先标定的相机参数计算第二位置坐标，所述第二位置坐标为所述图像采集装置检测的所述物体相对于相机坐标系的相对三维位置坐标；对所述第二位置坐标进行旋转变换，得到所述物体在世界坐标系中的三维位置坐标。通过本发明实施例，通过物体检测模型检测出原始图像中的物体，并确定其在原始图像中的位置坐标，并进一步根据该位置坐标和预先标定的相机参数计算出所述图像采集装置检测的物体相对于相机坐标系的相对三维位置坐标，最后通过对其进行旋转变换，得到所述物体在世界坐标系中的位置坐标，从而实现了对物体较为精准的定位。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例中一种物体定位方法的一个实施例流程图；
图2为双目相机的运动结构示意图；
图3为RGB-D相机的运动结构示意图；
图4为物体检测模型的示意图；
图5为物体检测模型的的模型输入和模型输出的示意图；
图6为双目相机成像原理的示意图；
图7为视差计算模型的示意图；
图8为根据第一位置坐标和预先标定的相机参数计算第二位置坐标的示意流程图；
图9为对双目相机进行立体校正的示意图；
图10为半全局块匹配的示意图；
图11为最小代价路径8个计算方向的示意图；
图12为物体定位的示意图；
图13为侧摆角、俯仰角和横转角的示意图；
图14为本发明实施例中一种物体定位装置的一个实施例结构图；
图15为本发明实施例中一种移动机器人的示意框图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中一种物体定位方法的一个实施例可以包括：
步骤S101、获取预设的图像采集装置所采集的原始图像。
所述图像采集装置为安装在机器人上的双目相机或RGB-D相机。图2所示即为所述双目相机的运动结构示意图，该运动结构包括：电机1、电机2、电机3、支撑架4、左眼相机5以及右眼相机6，其中，所述电机1用于调整所述左眼相机5和所述右眼相机6的侧摆角，所述电机2用于调整所述左眼相机5和所述右眼相机6的俯仰角，所述电机3用于调整所述左眼相机5和所述右眼相机6的横转角，所述支撑架4用于支撑固定所述左眼相机5和所述右眼相机6。图3所示即为所述RGB-D相机的运动结构示意图，该运动结构包括：电机1、电机2、电机3、支撑架4以及RGB-D相机7，其中，所述电机1用于调整所述RGB-D相机7的侧摆角，所述电机2用于调整所述RGB-D相机7的俯仰角，所述电机3用于调整所述RGB-D相机7的横转角，所述支撑架4用于支撑固定所述RGB-D相机7。需要注意的是，图2和图3仅为一种可能的运动结构示意图，实际应用中，可以根据实际情况选择其它运动结构的双目相机或RGB-D相机，本实施例对此不作具体限定。
步骤S102、使用预设的物体检测模型对所述原始图像进行推理计算，检测出所述原始图像中的物体，并确定第一位置坐标。
所述第一位置坐标为所述物体在所述原始图像中的位置坐标。
所述物体检测模型可以为现有技术中的任意一种物体检测模型。优选地，在本实施例中，所述物体检测模型优选采用如图4所示的端到端(end-to-end)的一阶段(onestage)卷积神经网络模型。所述物体检测模型的模型权重(weights)通过对图像数据集内的大规模图像进行训练(model training)而得到，通常使用的方法是基于使用梯度下降的误差反向传播方法。所得到的模型权重通常提取了数据集已标注物体的一些特征描述信息，例如物体颜色、纹理、大小等。
所述物体检测模型的模型输入为所述图像采集装置所采集的整张二维图像，也即所述原始图像。然后采用前向推理计算，将所述原始图像的所有像素点信息(即RGB信息)作为模型的输入层，该输入与训练好的模型中的模型权重(包括位于卷积层(convolutionlayer)、池化层(pooling layer)及全连接层(fully connected layer)等多隐藏层的模型权重)进行逐层前向推理计算，即对卷积核(convolution kernel)进行卷积(convolution)计算、块归一化(batch normalization)计算、最大池化(max pooling)计算、下采样(downsampling)等矩阵计算。所述物体检测模型的最后一层为全连接层，即模型输出为检测到物体的预测位置边框(bounding box)(即边框的x最小值、最大值，y最小值、最大值)及所属类别的概率。图5所示即为所述物体检测模型的模型输入(上图)和模型输出(下图)的示意图。
通过设定预测概率的阈值，可获得较为准确的物体检测。当物体在图像中占较大位置时，物体检测模型可能预测出多个临近位置的同一物体。为获得较为稳定的物体预测，本实施例中可以采用非极大值抑制(Non-Maximal Suppression，NMS)方法，提取预测概率最高且重叠度(Intersection over Union，IoU)最大的物体为检测出的物体。
在得到物体在所述原始图像中的预测位置边框后，可以根据下式计算该预测位置边框的中心位置坐标：
Xcenter＝(Xmin+Xmax)/2
Ycenter＝(Ymin+Ymax)/2
其中，Xmin为所述预测位置边框在X轴方向上的最小值，Xmax为所述预测位置边框在X轴方向上的最大值，Ymin为所述预测位置边框在Y轴方向上的最小值，Ymax为所述预测位置边框在Y轴方向上的最大值，(Xcenter，Ycenter)即为所述预测位置边框的中心位置坐标，可以将该中心位置坐标作为所述物体在所述原始图像中的位置坐标，也即所述第一位置坐标。
步骤S103、根据所述第一位置坐标和预先标定的相机参数计算第二位置坐标。
所述第二位置坐标为所述图像采集装置检测的所述物体相对于相机坐标系的相对三维位置坐标。
若所述图像采集装置为双目相机，则所述原始图像包括原始左眼图像和原始右眼图像。所述双目相机由左眼相机和右眼相机两个水平放置的相机组成，其中，左眼相机采集到的图像即为所述原始左眼图像，右眼相机采集到的图像即为所述原始右眼图像。
如图6所示，当双目相机为水平放置时，两个相机的光圈中心OL、OR都位于X轴上。其连线距离为双目相机中心的距离，即基线(Baseline)，此处用b表示。PL、PR分别为点P投影在左右眼相机平面的像素位置。由于双目相机的光学轴、焦距所在轴互相平行，根据小孔成像原理，其视差计算模型如图7所示。uL、uR分别为PL、PR在校正后左右眼图像x轴上的坐标，视差(disparity)d为点P在左右相机图像平面的X轴坐标之差，即：d＝uL-uR，根据△PPLPR和△POLOR相似关系，可以得到点P与相机平面的距离为：
其中，f为所述双目相机的焦距，Z为景深，即点P在世界坐标系中的实际位置与双目相机平面连线的垂直距离。
在这种情况下，步骤S103具体可以包括如图8所示的过程：
步骤S1031、根据所述预先标定的相机参数分别对所述原始左眼图像和所述原始右眼图像进行校正，得到校正左眼图像和校正右眼图像。
首先，可以分别对双目相机进行参数标定(calibration)。例如，可以对已知黑白格尺寸大小的棋盘格标定板拍摄多张图片来进行参数标定，也可以采用OpenCV中基于张氏标定法的实现方法来进行参数标定。
参数标定后可分别获得一个3x3的相机内部参数矩阵(camera intrinsicparameter matrix)以及相应的外部参数矩阵(camera external parameter matrix)，其中内参矩阵包含相机的焦距(fx，fy)、投影中心坐标(δx，δy)及畸变系数(k1，k2，t1，t2，k3)。
给定物体点P在世界坐标系中的三维实际位置与双目相机坐标系形成的二维像素位置形成一一对应。对于左眼相机来说，如不考虑相机镜头变形，其转换矩阵可简化为如下公式表示，
其中，(x，y)为所述原始左眼图像中任一像素点的坐标，(X，Y，Z)为该像素点的实际三维坐标信息，A为左眼相机的内部参数矩阵，R、T分别为左眼相机的相对旋转矩阵(R为3x3矩阵)和相对平移向量(T为3x1向量)。右眼相机的情况与之类似，此处不再赘述。
如考虑相机镜头变形，则可以根据下式分别对所述原始左眼图像和所述原始右眼图像进行校正：
x′＝x[1+k1r2+k2r4+k3r6]+2t1xy+t2[r2+2x2]
y′＝y[1+k1r2+k2r4+k3r6]+t1[r2+2y2]+2t2xy
r2＝x2+y2
x″＝fxx′+δx
y″＝fyy′+δy
其中，(x″，y″)为对(x，y)进行校正后的坐标。
步骤S1032、分别根据所述预先标定的相机参数，将所述校正左眼图像和所述校正右眼图像投影到所述标定后相机参数所对应的理想双目相机平面，得到投影左眼图像和投影右眼图像。
如图9所示，理想状态下，如果左右眼相机水平放置，则左右眼相机的极线位于同一水平线且保持平行，如图9中所示极线e。然而，真实情况下，双目相机通常无法达到完美的平行状态，而存在微小的变换，如图9中PL、PR所处平面。为降低对相机的工艺要求及对计算复杂度的要求，可以对双目相机进行立体校正。
进行双目相机校正时，由于左右眼相机将分别检测同一个物体，双目相机平面与极线e将强制平行，如图9中OL，OR所处平面(即所述理想双目相机平面)，根据所述预先标定的相机参数分别计算得到左右眼相机坐标系统相对于极线平行时理想双目相机平面的相对旋转矩阵R1、R2，以及相对平移矩阵T1、T2，同时也可以得到用来描述双目相机之间相对关系的旋转矩阵R及平移矩阵T。此处如果以左眼相机为基准，即获得右眼相对于左眼相机的旋转R及平移矩阵T，其关系可用下式表示：
R2＝R*R1T2＝R*T1+T
同时，还可以将原双目相机平面中的图像分别投影至所述理想双目相机平面，生成立体校正后的相机平面，从而得到所述投影左眼图像和所述投影右眼图像。若理想相机平面的图像大小与原图像大小一致，则新投影中心坐标(δ′x，δ′y)满足：δ′x＝δx，δ′y＝δy。
由于本实施例中所使用的双目相机为水平放置，且标定后已知左右眼相机之间的相对关系，左眼相机相对于理想左眼相机平面的投影矩阵为而右眼相机相对于理想右眼相机平面的投影矩阵为且双目相机极线平行，匹配点的Y轴坐标相同，经过图像畸变校正后的畸变系数为0，校正后的双目相机焦距相等。
将原双目平面中的图像投影到理想双目相机平面的步骤，有助于减小后续双目一致性匹配(correspondence matching)的复杂度。
步骤S1033、使用半全局块匹配算法计算所述投影左眼图像和所述投影右眼图像之间的视差。
将原双目平面中的图像投影到理想双目相机平面后，获得双目相机图像之间的像素匹配则为获得后续该像素对应三维信息的关键。然而该匹配需要解决的最主要问题为处理左右眼相机图像中的物体边缘检测及物体遮挡像素丢失造成的不匹配。
本实施例中优选采用的是基于左右眼相机图像的半全局块匹配(Semi-GlobalBlock Matching，SGBM)。该匹配算法包含图像预处理、基于代价计算的半全局块匹配及后处理三个部分。
图像预处理部分主要使用水平方向的Sobel算子对左右眼相机图像分别进行滤波，通过计算梯度幅值，提取图像中的物体边缘。
半全局块匹配部分包含以下两个步骤：i)基于像素的代价计算；ii)基于半全局块的代价匹配。
基于像素的代价计算：由于双目相机图像采集三维物体造成的透视差异及景深不连续、以及同一物体由两只相机分别采样造成的微小差异难以消除，因此基于原始像素值的匹配计算无法消除由此带来的噪音误差。本实施例中采用的基于像素的匹配代价计算基于Birchfield-Tomasi方法。针对滤波后的左眼相机图像IL(x，y)及右眼相机图像IR(x-d，y)，计算获得相应基于像素的匹配代价。
基于半全局块的代价匹配：本实施例中采用的半全局块匹配方法基于SGM算法，通过比较左右眼图像的一个小区域来预估视差。详细步骤为在左眼图像中取一个以像素为单位的小窗口区域U，其大小设定为BlockSize，通常该值为3×3或者5×5。由于经过双目立体校正步骤后，图像每一行都应当平行于极线，因此左眼相机图像相对于右眼相机的匹配位置，应当与左眼图像位置拥有基本一致的行位置，即同样的Y轴坐标。在右眼相机图像中，该窗口区域U沿水平极线向左平移，依次计算其在搜索范围内的匹配度。该步骤需要设定左眼图像中的窗口区域在右图匹配搜索的起点及搜索边界，即最小视差minDisparity及视差搜索范围长度noDisparity，如图10所示。最大视差maxDisparity的计算公式则为：maxDisparity＝minDisparity+noDisparity-1。
本实施例中，可以通过比较窗口区域U沿多个方向上的匹配路径之和，来获得左右眼相机的最佳匹配路径Smin(U，d)。其计算公式为：
Lr(U，d)＝C(U，d)+min(Lr(U-r，d)，Lr(U-r，d-n)+P1，
其中，Lr(U，d)表示从某个方向将左眼相机图像窗口区域U匹配到右眼相机图像对应搜索区域(该搜索区域对应视差为d)累积的最小代价路径，C(U，d)为匹配代价，r设定为窗口区域U中某像素点P(x，y)所对应的周围8个方向，如图11所示，即P(x-n，y-n)，P(x，y-n)，P(x+n，y-n)，P(x-n，y)，P(x+n，y)，P(x-n，y+n)，P(x，y+n)，P(x+n，y+n)。n为匹配代价搜索步长。P1，P2为匹配惩罚常数，通常P1设定为8*chn*BlockSize2，P2设定为32*chn*BlockSize2，chn为图像通道数。将所有方向计算所得的匹配路径Lr(U，d)累加，获得S(U，d)，由此获得基于代价计算的最小代价路径Smin(U，d)，将其设置为视差图d*(U)。
后处理部分主要是为了提高后续三维数据的计算精度，针对视差图d*(U)采用基于亚像素的线性插值算法及噪点滤波算法，由此获得理想双目相机平面中所述投影左眼图像和所述投影右眼图像之间的视差。
步骤S1034、根据所述第一位置坐标、所述视差和预设的透视变换矩阵计算所述第二位置坐标。
具体地，可以根据下式计算所述第二位置坐标：
其中，(x1，y1)为所述第一位置坐标，在此处应为经过步骤S1031和步骤S1032的校正及投影计算之后所得到的第一位置坐标，disparity(x1，y1)为与所述第一位置坐标对应的视差，Q为所述透视变换矩阵，其 为左眼相机在理想双目相机平面的投影中心坐标，(δ′x2，δ′y2)为右眼相机在理想双目相机平面的投影中心坐标，若双目相机的新投影中心x坐标相同，则δx1＝δx2，Pworld为所述第二位置坐标。
由于图像中像素视差有时不存在，通常该信息丢失是由双目相机平面有效图像区域减少，物体被遮挡，或者光照不均匀所造成的。针对这一问题，本实施例中可以将该丢失的像素视差设定为图像块邻近像素中存在视差数值的均值。
若所述图像采集装置为RGB-D相机，则可以根据下式计算所述第二位置坐标：
其中，RGB-D相机主要由红外发射器、RGB彩色相机、红外接收器组成。其中，红外发射器和红外接收器组合在一起，用于获取深度信息。它的成像原理较为简单，将RGB彩色图与深度图一一对应，(xir，yir)为所述第一位置坐标，depth(xir，yir)为与所述第一位置坐标对应的深度值，(δx，δy)为所述RGB-D相机的图像投影中心，fxir、fyir为所述RGB-D相机沿X轴、Y轴的焦距，Pworld为所述第二位置坐标。
如图12所示，通过以上过程，即可获得所述物体的中心(Xcenter，Ycenter)的三维位置坐标。
步骤S104、对所述第二位置坐标进行旋转变换，得到所述物体在世界坐标系中的三维位置坐标。
如图13所示，由于所述双目相机或所述RGB-D相机被紧固在机器人的头部支撑架上，可获得额外三个自由度，当头部电机进行转动时，安装于其上的双目相机或RGB-D相机所检测到的物体相对于相机坐标系的相对三维信息需要进行旋转变换，进而得到物体相对于世界坐标系的三维坐标信息。
具体地，首先分别获取所述图像采集装置的侧摆角、俯仰角和横转角。
所述侧摆角为绕X轴的旋转角度，所述俯仰角为绕Y轴的旋转角度，所述横转角为绕Z轴的旋转角度。
然后可以根据下式对所述第二位置坐标进行旋转变换：
Pworld＝Rz(γ)Ry(β)Rx(α)Pworld
其中，Rx(α)为绕X轴的旋转矩阵，且Ry(β)为绕Y轴的旋转矩阵，且Rz(γ)为绕Z轴的旋转矩阵，且α为所述侧摆角，β为所述俯仰角，γ为所述横转角，Pworld为所述第二位置坐标，Pworld为所述物体在世界坐标系中的三维位置坐标。
综上所述，通过本发明实施例，通过物体检测模型检测出原始图像中的物体，并确定其在原始图像中的位置坐标，并进一步根据该位置坐标和预先标定的相机参数计算出所述图像采集装置检测的物体相对于相机坐标系的相对三维位置坐标，最后通过对其进行旋转变换，得到所述物体在世界坐标系中的位置坐标，从而实现了对物体较为精准的定位，而且由于双目相机及RGB-D相机的造价均远低于激光雷达，大大降低了所需成本。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的一种物体定位方法，图14示出了本发明实施例提供的一种物体定位装置的一个实施例结构图。
本实施例中，一种物体定位装置可以包括：
原始图像获取模块1401，用于获取预设的图像采集装置所采集的原始图像；
物体检测模块1402，用于使用预设的物体检测模型对所述原始图像进行推理计算，检测出所述原始图像中的物体，并确定第一位置坐标，所述第一位置坐标为所述物体在所述原始图像中的位置坐标；
坐标计算模块1403，用于根据所述第一位置坐标和预先标定的相机参数计算第二位置坐标，所述第二位置坐标为所述图像采集装置检测的所述物体相对于相机坐标系的三维位置坐标；
旋转变换模块1404，用于对所述第二位置坐标进行旋转变换，得到所述物体在世界坐标系中的三维位置坐标。
进一步地，若所述图像采集装置为双目相机，则所述原始图像包括原始左眼图像和原始右眼图像，所述坐标计算模块可以包括：
校正单元，用于根据所述预先标定的相机参数分别对所述原始左眼图像和所述原始右眼图像进行校正，得到校正左眼图像和校正右眼图像；
投影单元，用于分别根据所述预先标定的相机参数，将所述校正左眼图像和所述校正右眼图像投影到所述预先标定的相机参数所对应的理想双目相机平面，得到投影左眼图像和投影右眼图像；
视差计算单元，用于使用半全局块匹配算法计算所述投影左眼图像和所述投影右眼图像之间的视差；
位置坐标计算单元，用于根据所述第一位置坐标、所述视差和预设的透视变换矩阵计算所述第二位置坐标。
进一步地，所述校正单元具体用于根据下式分别对所述原始左眼图像和所述原始右眼图像进行校正：
x′＝x[1+k1r2+k2r4+k3r6]+2t1xy+t2[r2+2x2]
y′＝y[1+k1r2+k2r4+k3r6]+t1[r2+2y2]+2t2xy
r2＝x2+y2
x″＝fxx′+δx
y″＝fyy′+δy
其中，(x，y)为所述原始左眼图像或所述原始右眼图像中任一像素点的坐标，k1，k2，t1，t2，k3为预设的畸变系数，(x″，y″)为对(x，y)进行校正后的坐标。
进一步地，所述位置坐标计算单元具体用于根据下式计算所述第二位置坐标：
其中，(x1，y1)为所述第一位置坐标，disparity(x1，y1)为与所述第一位置坐标对应的视差，Q为所述透视变换矩阵，Pworld为所述第二位置坐标。
进一步地，若所述图像采集装置为RGB-D相机，则所述坐标计算模块具体用于根据下式计算所述第二位置坐标：
其中，(xir，yir)为所述第一位置坐标，depth(xir，yir)为与所述第一位置坐标对应的深度值，(δx，δy)为所述RGB-D相机的图像投影中心，fxir、fyir为所述RGB-D相机沿X轴、Y轴的焦距，Pworld为所述第二位置坐标。
进一步地，所述旋转变换模块可以包括：
旋转角度获取单元，用于分别获取所述图像采集装置的侧摆角、俯仰角和横转角，所述侧摆角为绕X轴的旋转角度，所述俯仰角为绕Y轴的旋转角度，所述横转角为绕Z轴的旋转角度；
旋转变换单元，用于根据下式对所述第二位置坐标进行旋转变换：
Pworld＝Rz(γ)Ry(β)Rx(α)Pworld
其中，Rx(α)为绕X轴的旋转矩阵，且Ry(β)为绕Y轴的旋转矩阵，且Rz(γ)为绕Z轴的旋转矩阵，且α为所述侧摆角，β为所述俯仰角，γ为所述横转角，Pworld为所述第二位置坐标，Pworld为所述物体在世界坐标系中的三维位置坐标。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
图15示出了本发明实施例提供的一种移动机器人的示意框图，为了便于说明，仅示出了与本发明实施例相关的部分。
如图15所示，该实施例的移动机器人15包括：处理器150、存储器151以及存储在所述存储器151中并可在所述处理器150上运行的计算机程序152。所述处理器150执行所述计算机程序152时实现上述各个物体定位方法实施例中的步骤，例如图1所示的步骤S101至步骤S104。或者，所述处理器150执行所述计算机程序152时实现上述各装置实施例中各模块/单元的功能，例如图14所示模块1401至模块1404的功能。
示例性的，所述计算机程序152可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器151中，并由所述处理器150执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序152在所述机器人15中的执行过程。
本领域技术人员可以理解，图15仅仅是机器人15的示例，并不构成对机器人15的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述机器人15还可以包括输入输出设备、网络接入设备、总线等。
所述处理器150可以是中央处理单元(Central Processing Unit，CPU)，还可以是图形处理单元(Graphics Processing Unit，GPU)、其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器151可以是所述机器人15的内部存储单元，例如机器人15的硬盘或内存。所述存储器151也可以是所述机器人15的外部存储设备，例如所述机器人15上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器151还可以既包括所述机器人15的内部存储单元也包括外部存储设备。所述存储器151用于存储所述计算机程序以及所述机器人15所需的其它程序和数据。所述存储器151还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/机器人和方法，可以通过其它的方式实现。例如，以上所描述的装置/机器人实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种物体定位方法，其特征在于，包括：
获取预设的图像采集装置所采集的原始图像；
使用预设的物体检测模型对所述原始图像进行推理计算，检测出所述原始图像中的物体，并确定第一位置坐标，所述第一位置坐标为所述物体在所述原始图像中的位置坐标；
根据所述第一位置坐标和预先标定的相机参数计算第二位置坐标，所述第二位置坐标为所述图像采集装置检测的所述物体相对于相机坐标系的相对三维位置坐标；
对所述第二位置坐标进行旋转变换，得到所述物体在世界坐标系中的三维位置坐标。
2.根据权利要求1所述的物体定位方法，其特征在于，若所述图像采集装置为双目相机，则所述原始图像包括原始左眼图像和原始右眼图像，所述根据所述第一位置坐标和预先标定的相机参数计算第二位置坐标包括：
根据所述预先标定的相机参数分别对所述原始左眼图像和所述原始右眼图像进行校正，得到校正左眼图像和校正右眼图像；
分别根据所述预先标定的相机参数，将所述校正左眼图像和所述校正右眼图像投影到所述预先标定的相机参数所对应的理想双目相机平面，得到投影左眼图像和投影右眼图像；
使用半全局块匹配算法计算所述投影左眼图像和所述投影右眼图像之间的视差；
根据所述第一位置坐标、所述视差和预设的透视变换矩阵计算所述第二位置坐标。
3.根据权利要求2所述的物体定位方法，其特征在于，所述根据所述预先标定的相机参数分别对所述原始左眼图像和所述原始右眼图像进行校正，得到校正左眼图像和校正右眼图像包括：
根据下式分别对所述原始左眼图像和所述原始右眼图像进行校正：
x′＝x[1+k1r2+k2r4+k3r6]+2t1xy+t2[r2+2x2]
y′＝y[1+k1r2+k2r4+k3r6]+t1[r2+2y2]+2t2xy
r2＝x2+y2
x″＝fxx′+δx
y″＝fyy′+δy
其中，(x，y)为所述原始左眼图像或所述原始右眼图像中任一像素点的坐标，k1，k2，t1，t2，k3为预设的畸变系数，(x″，y″)为对(x，y)进行校正后的坐标。
4.根据权利要求2所述的物体定位方法，其特征在于，所述根据所述第一位置坐标、所述视差和预设的透视变换矩阵计算所述第二位置坐标包括：
根据下式计算所述第二位置坐标：
其中，(x1，y1)为所述第一位置坐标，disparity(x1，y1)为与所述第一位置坐标对应的视差，Q为所述透视变换矩阵，Pworld为所述第二位置坐标。
5.根据权利要求1所述的物体定位方法，其特征在于，若所述图像采集装置为RGB-D相机，所述根据所述第一位置坐标和预先标定的相机参数计算第二位置坐标包括：
根据下式计算所述第二位置坐标：
其中，(xir，yir)为所述第一位置坐标，depth(xir，yir)为与所述第一位置坐标对应的深度值，(δx，δy)为所述RGB-D相机的图像投影中心，fxir、fyir为所述RGB-D相机沿X轴、Y轴的焦距，Pworld为所述第二位置坐标。
6.根据权利要求1至5中任一项所述的物体定位方法，其特征在于，所述对所述第二位置坐标进行旋转变换，得到所述物体在世界坐标系中的三维位置坐标包括：
分别获取所述图像采集装置的侧摆角、俯仰角和横转角，所述侧摆角为绕X轴的旋转角度，所述俯仰角为绕Y轴的旋转角度，所述横转角为绕Z轴的旋转角度；
根据下式对所述第二位置坐标进行旋转变换：
P′world＝Rz(γ)Ry(β)Rx(α)Pworld
其中，Rx(α)为绕X轴的旋转矩阵，且Ry(β)为绕Y轴的旋转矩阵，且Rz(γ)为绕Z轴的旋转矩阵，且α为所述侧摆角，β为所述俯仰角，γ为所述横转角，Pworld为所述第二位置坐标，Pworld为所述物体在世界坐标系中的三维位置坐标。
7.一种物体定位装置，其特征在于，包括：
原始图像获取模块，用于获取预设的图像采集装置所采集的原始图像；
物体检测模块，用于使用预设的物体检测模型对所述原始图像进行推理计算，检测出所述原始图像中的物体，并确定第一位置坐标，所述第一位置坐标为所述物体在所述原始图像中的位置坐标；
坐标计算模块，用于根据所述第一位置坐标和预先标定的相机参数计算第二位置坐标，所述第二位置坐标为所述图像采集装置检测的所述物体相对于相机坐标系的相对三维位置坐标；
旋转变换模块，用于对所述第二位置坐标进行旋转变换，得到所述物体在世界坐标系中的三维位置坐标。
8.根据权利要求7所述的物体定位装置，其特征在于，若所述图像采集装置为双目相机，则所述原始图像包括原始左眼图像和原始右眼图像，所述坐标计算模块包括：
校正单元，用于根据所述预先标定的相机参数分别对所述原始左眼图像和所述原始右眼图像进行校正，得到校正左眼图像和校正右眼图像；
投影单元，用于分别将所述校正左眼图像和所述校正右眼图像投影到所述预先标定的相机参数所对应的理想双目相机平面，得到投影左眼图像和投影右眼图像；
视差计算单元，用于使用半全局块匹配算法计算所述投影左眼图像和所述投影右眼图像之间的视差；
位置坐标计算单元，用于根据所述第一位置坐标、所述视差和预设的透视变换矩阵计算所述第二位置坐标。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至6中任一项所述的物体定位方法的步骤。
10.一种移动机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如权利要求1至6中任一项所述的物体定位方法的步骤。
CN201910773466.8A 2019-08-21 2019-08-21 一种物体定位方法、装置、计算机可读存储介质及机器人 Pending CN110619660A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910773466.8A CN110619660A (zh) 2019-08-21 2019-08-21 一种物体定位方法、装置、计算机可读存储介质及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910773466.8A CN110619660A (zh) 2019-08-21 2019-08-21 一种物体定位方法、装置、计算机可读存储介质及机器人

Publications (1)

Publication Number Publication Date
CN110619660A true CN110619660A (zh) 2019-12-27

Family

ID=68922267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910773466.8A Pending CN110619660A (zh) 2019-08-21 2019-08-21 一种物体定位方法、装置、计算机可读存储介质及机器人

Country Status (1)

Country Link
CN (1) CN110619660A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524176A (zh) * 2020-04-16 2020-08-11 深圳市沃特沃德股份有限公司 视距测量定位的方法、装置和计算机设备
CN111627073A (zh) * 2020-04-30 2020-09-04 贝壳技术有限公司 一种基于人机交互的标定方法、标定装置和存储介质
CN111627070A (zh) * 2020-04-30 2020-09-04 贝壳技术有限公司 一种对旋转轴进行标定的方法、装置和存储介质
CN111932558A (zh) * 2020-08-20 2020-11-13 湖北职业技术学院 高温危险区域定位方法
CN112223300A (zh) * 2020-12-15 2021-01-15 佛山隆深机器人有限公司 一种基于双目视觉和姿态优化的工件无序抓取方法
CN112686951A (zh) * 2020-12-07 2021-04-20 深圳乐动机器人有限公司 用于确定机器人位置的方法、装置、终端及存储介质
CN113487510A (zh) * 2021-07-16 2021-10-08 中国科学院自动化研究所 用于机器人自动配液的针尖位置检测方法、系统、设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761739A (zh) * 2014-01-23 2014-04-30 武汉大学 一种基于半全局能量优化的影像配准方法
CN105261047A (zh) * 2015-09-08 2016-01-20 北京控制工程研究所 一种基于近距离短弧段图像的对接环圆心提取方法
CN105447288A (zh) * 2014-08-11 2016-03-30 联想(北京)有限公司 一种信息处理方法及电子设备
CN107990825A (zh) * 2017-11-20 2018-05-04 哈尔滨工业大学 基于先验数据校正的高精度位置测量装置与方法
CN108489454A (zh) * 2018-03-22 2018-09-04 沈阳上博智像科技有限公司 深度距离测量方法、装置、计算机可读存储介质及电子设备
CN108876855A (zh) * 2018-05-28 2018-11-23 哈尔滨工程大学 一种基于深度学习的海参检测和双目视觉定位方法
CN109668509A (zh) * 2019-01-18 2019-04-23 南京理工大学 基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法
CN109816694A (zh) * 2019-01-28 2019-05-28 北京旷视科技有限公司 目标跟踪方法、装置及电子设备
CN109961406A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 一种图像处理的方法、装置及终端设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761739A (zh) * 2014-01-23 2014-04-30 武汉大学 一种基于半全局能量优化的影像配准方法
CN105447288A (zh) * 2014-08-11 2016-03-30 联想(北京)有限公司 一种信息处理方法及电子设备
CN105261047A (zh) * 2015-09-08 2016-01-20 北京控制工程研究所 一种基于近距离短弧段图像的对接环圆心提取方法
CN107990825A (zh) * 2017-11-20 2018-05-04 哈尔滨工业大学 基于先验数据校正的高精度位置测量装置与方法
CN109961406A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 一种图像处理的方法、装置及终端设备
CN108489454A (zh) * 2018-03-22 2018-09-04 沈阳上博智像科技有限公司 深度距离测量方法、装置、计算机可读存储介质及电子设备
CN108876855A (zh) * 2018-05-28 2018-11-23 哈尔滨工程大学 一种基于深度学习的海参检测和双目视觉定位方法
CN109668509A (zh) * 2019-01-18 2019-04-23 南京理工大学 基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法
CN109816694A (zh) * 2019-01-28 2019-05-28 北京旷视科技有限公司 目标跟踪方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FABIO REMONDINO: "《飞行时间测距成像相机》", 31 August 2016, 国防工业出版社 *
应怀樵: "基于双目视觉的三维测量技术研究", 《现代振动与噪声技术》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524176A (zh) * 2020-04-16 2020-08-11 深圳市沃特沃德股份有限公司 视距测量定位的方法、装置和计算机设备
CN111627073A (zh) * 2020-04-30 2020-09-04 贝壳技术有限公司 一种基于人机交互的标定方法、标定装置和存储介质
CN111627070A (zh) * 2020-04-30 2020-09-04 贝壳技术有限公司 一种对旋转轴进行标定的方法、装置和存储介质
CN111627073B (zh) * 2020-04-30 2023-10-24 贝壳技术有限公司 一种基于人机交互的标定方法、标定装置和存储介质
CN111627070B (zh) * 2020-04-30 2024-01-19 如你所视(北京)科技有限公司 一种对旋转轴进行标定的方法、装置和存储介质
CN111932558A (zh) * 2020-08-20 2020-11-13 湖北职业技术学院 高温危险区域定位方法
CN111932558B (zh) * 2020-08-20 2024-04-16 湖北职业技术学院 高温危险区域定位方法
CN112686951A (zh) * 2020-12-07 2021-04-20 深圳乐动机器人有限公司 用于确定机器人位置的方法、装置、终端及存储介质
CN112223300A (zh) * 2020-12-15 2021-01-15 佛山隆深机器人有限公司 一种基于双目视觉和姿态优化的工件无序抓取方法
CN113487510A (zh) * 2021-07-16 2021-10-08 中国科学院自动化研究所 用于机器人自动配液的针尖位置检测方法、系统、设备

Similar Documents

Publication Publication Date Title
CN110619660A (zh) 一种物体定位方法、装置、计算机可读存储介质及机器人
CN107705333B (zh) 基于双目相机的空间定位方法及装置
CN109461181B (zh) 基于散斑结构光的深度图像获取方法及系统
WO2018119889A1 (zh) 三维场景定位方法和装置
CN110874864A (zh) 获取对象三维模型的方法、装置、电子设备及系统
CN111354042A (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
CN108961383B (zh) 三维重建方法及装置
CN106815869B (zh) 鱼眼相机的光心确定方法及装置
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN107980138A (zh) 一种虚警障碍物检测方法及装置
CN104537707A (zh) 像方型立体视觉在线移动实时测量系统
CN110458952B (zh) 一种基于三目视觉的三维重建方法和装置
CN112816949B (zh) 传感器的标定方法及装置、存储介质、标定系统
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN110136048B (zh) 一种图像配准方法及系统、存储介质及终端
CN112470192A (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
CN113793266A (zh) 一种多目机器视觉图像拼接方法、系统及存储介质
CN116958419A (zh) 一种基于波前编码的双目立体视觉三维重建系统和方法
JP2018044943A (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN110070610B (zh) 特征点匹配方法、三维重构过程的特征点匹配方法及装置
CN111882655A (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
CN114511608A (zh) 一种深度图像的获取方法、装置、终端、成像系统和介质
CN115082777A (zh) 基于双目视觉的水下动态鱼类形态测量方法及装置
CN112261399B (zh) 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191227