CN108898676A - 一种虚实物体之间碰撞及遮挡检测方法及系统 - Google Patents
一种虚实物体之间碰撞及遮挡检测方法及系统 Download PDFInfo
- Publication number
- CN108898676A CN108898676A CN201810628292.1A CN201810628292A CN108898676A CN 108898676 A CN108898676 A CN 108898676A CN 201810628292 A CN201810628292 A CN 201810628292A CN 108898676 A CN108898676 A CN 108898676A
- Authority
- CN
- China
- Prior art keywords
- depth
- depth image
- intersection
- actual situation
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 58
- 238000003384 imaging method Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 68
- 238000003786 synthesis reaction Methods 0.000 claims description 68
- 230000000903 blocking effect Effects 0.000 claims description 12
- 230000000750 progressive effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 4
- 210000002186 septum of brain Anatomy 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims 1
- 230000002194 synthesizing effect Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 230000003190 augmentative effect Effects 0.000 description 19
- 230000011218 segmentation Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208199 Buxus sempervirens Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种虚实物体之间碰撞及遮挡检测方法，首先建立世界坐标系，将虚拟三维模型定位在虚拟模型场景中；其次用物理深度相机拍摄真实环境深度图像，利用方位跟踪系统获得物理深度相机的位置和方位；再次计算机端得到物理深度相机的三维方位，定义为第一方位；将虚拟深度相机置于第二方位，根据深度相机成像模型合成虚拟三维模型在虚拟深度相机上所成的第一合成深度图像；计算第一合成深度图像上各像素点在第一方位上的深度值，获得第二合成深度图像；最后利用第二合成深度图像和真实环境深度图像进行虚实物体之间的碰撞及遮挡检测以及距离计算。本发明基于深度图像并将深度图像栅格化，进行碰撞及遮挡检测，处理速度快，检测准确。
Description
技术领域
本发明涉及一种虚拟三维模型（计算机生成）与真实物体（物理环境）的碰撞干涉检测和遮挡检测方法及系统，属于增强现实、信息物理融合系统领域。
背景技术
增强现实（Augmented Reality，AR）是指将计算机生成的虚拟模型、虚拟模型场景或虚拟提示信息叠加到真实场景中，从而实现对现实环境的增强。增强现实技术均有虚实结合、实时交互和三维注册的特点。其中三维注册一直是增强现实系统关键技术，是指把虚拟模型准确叠加到和真实场景上显示，实现三维空间位置的一致性和视觉显示的一致性。增强现实技术实现了虚拟模型和真实环境视觉的一致性，在增强现实仿真应用（如虚实装配、基于增强现实的机器人路径规划）中，虚实模型的碰撞及遮挡检测尤为重要。
公开号为CN102254346A的发明专利公布了《基于云计算的增强现实虚实碰撞检测方法》，该方法通过提取关键帧的特征点；估计实际物体姿势及运动，建立虚拟物体的包围盒树进行碰撞检测。公开号为CN102194248A的发明专利《基于增强现实的虚实碰撞检测及响应方法》，该方法对摄像头获得的实际物体进行预处理，估计实际物体姿势和运动；然后根据虚拟物体质心到碰撞平面的位置关系进行虚实碰撞检测。上述两种方法都需要对实际物体进行姿态估计，需要有物体姿态的先验数据。公开号CN105046710A的发明专利公布了《基于深度图分割与代理几何体的虚实碰撞交互方法及装置》，该方法对深度图像中的场景进行分割，并基于分割结果构建代理几何体的方法来实现虚、实物体的碰撞交互的方法，同样需要构建物体的包围盒模型。
基于物体空间的碰撞及遮挡检测多是用深度相机获取真实物体的空间点云，将点云数据处理用包围盒或者其他代理几何体代替，与虚拟物体进行碰撞，这样的方式计算量大，要求计算机硬件要求高，同时前期处理点云数据工作量大，如果包围盒构建的不好，会导致的包围盒紧密性比较差，会导致未发生碰撞而误报发生碰撞。
综上，无论是对物体的姿态进行估计还是构建物体的包围盒模型都需要大量的计算时间，不适合虚实模型的实时碰撞及遮挡检测。为此本发明提出一种物理深度相机和虚拟相机相结合并且直接利用深度图像实现机器人虚实物体碰撞及遮挡检测的系统及方法。
发明内容
为了解决上述技术问题，本发明提供一种虚实物体之间碰撞及遮挡检测方法，是一种基于深度图像的碰撞及遮挡检测方法，将深度图像栅格化，从整体到局部进行搜索碰撞区域，进行碰撞及遮挡检测，其处理速度快，碰撞及遮挡检测准确。
本发明提供还提供一种虚实物体之间碰撞及遮挡检测系统。
技术方案一：
一种虚实物体之间碰撞及遮挡检测方法，包括如下步骤：
步骤10、统一计算机端虚拟模型场景坐标系和真实环境坐标系，使虚实物体都在同一个世界坐标系下，然后将待检测物体的虚拟三维模型定位在计算机端的虚拟模型场景中；
步骤20、在真实环境中物理深度相机拍摄真实环境深度图像，同时，利用方位跟踪系统获得物理深度相机在世界坐标系中的位置和方位；
步骤30、计算机端采集方位跟踪系统的数据，得到物理深度相机的三维方位，定义为第一方位；依据第一方位选择能够拍摄到虚拟三维模型潜在碰撞区域的第二方位，将虚拟深度相机置于第二方位上；同时，计算机端采集真实环境深度图像，并根据深度相机成像模型合成虚拟三维模型在虚拟深度相机上所成的第一合成深度图像；
步骤40、根据第二方位与第一方位之间的方位关系以及深度相机成像模型，计算第一合成深度图像上各有效像素点转换成点云数据，根据点云数据在第一方位上的深度值，计算合成获得第二合成深度图像；
步骤50、利用第二合成深度图像和真实环境深度图像进行虚实物体之间的碰撞或遮挡检测和虚实物体之间的距离计算。
更优地，改变所述物理深度相机的方位，重复所述步骤30至步骤50，进行不同方位的虚实物体之间的碰撞或遮挡检测，以及虚实物体之间的距离计算。
更优地，所述第一合成深度图像和第二合成深度图像均是通过深度相机成像模型计算并合成而得，所述深度相机成像模型是物理深度相机的成像原理数学表达式。
更优地，所述步骤50中，碰撞或遮挡的判断过程为：比较第二合成深度图像和真实环境深度图像上像素坐标相通的像素点的深度值大小，如果真实环境深度图像像素点的深度值大于第二合成深度图像对应像素点的深度值，则不存在遮挡或者碰撞，否则，则存在遮挡或者碰撞。
更优地，所述步骤50中，虚实物体之间的距离计算方法如下：
步骤51、区域分层分隔：将第二合成深度图像和真实环境深度图像按照相同方式进行四叉树结构的递归剖分，分隔成大小相同的分隔区域；递归层数为n，第1层为根节点，第2层至第n-1层均为子节点，第n层为叶子节点；
步骤52、计算分隔区域深度值范围：在每一层节点的每个分隔区域中存储该区域中深度值的范围，即深度值的最大值和最小值，然后分别建立第二合成深度图像和真实环境深度图像的四叉树递归分割模型；
步骤53、基于层次递进的搜索第二合成深度图像和真实环境深度图像的深度值范围有交集的区域：使用第二合成深度图像和真实环境深度图像的四叉树递归分割模型，按照逐层递进的方法进行搜索查找，首先比较两张深度图像的第一层根节点的深度值范围是否存在交集，若无交集，则证明二者之间不存在遮挡或碰撞，则不进行距离计算，若存在交集，则继续逐个检查下一层子节点的各分隔区域的深度值范围是否存在交集，若无交集，则不进行距离计算，若存在交集，则检查存在交集的分隔区域的下一层子节点的各分隔区域的深度值范围是否存在交集，同理类推，直至检查至叶子节点的各分隔区域的深度值范围存在交集时，则要根据存在交集的分隔区域内像素的位置坐标进一步计算该分隔区域内虚实物体之间实际距离；
步骤54、利用深度相机成像模型将第二合成深度图像和真实环境深度图像在叶子节点中存在交集的分隔区域内的所有相对应像素转为两组3D点云数据，通过两组点云数据计算虚实物体之间的实际距离。
技术方案二：
一种虚实物体之间碰撞及遮挡检测系统，包括物理深度相机、方位跟踪系统以及计算机系统，所述物理深度相机拍摄真实环境的深度图像，所述方位跟踪系统获取物理深度相机在物理环境坐标系中的位置和方位；所述物理深度相机和方位跟踪系统均连接至计算机系统，将采集到的深度图像和跟踪到的方向位置传送给计算机系统；所述计算机系统运行时实现以下步骤：
步骤1、统一计算机端虚拟模型场景坐标系和真实环境坐标系，使虚实物体都在同一个世界坐标系下，然后将待检测物体的虚拟三维模型定位在计算机端的虚拟模型场景中；
步骤2、计算机端采集方位跟踪系统的数据，得到物理深度相机的三维方位，定义为第一方位；依据第一方位选择能够拍摄到虚拟三维模型潜在碰撞区域的第二方位，将虚拟深度相机置于第二方位上；同时，计算机端采集真实环境深度图像，并根据深度相机成像模型合成虚拟三维模型在虚拟深度相机上所成的第一合成深度图像；
步骤3、根据第二方位与第一方位之间的方位关系以及深度相机成像模型，计算第一合成深度图像上各有效像素点转换成点云数据，根据点云数据在第一方位上的深度值，计算合成获得第二合成深度图像；
步骤4、利用第二合成深度图像和真实环境深度图像进行虚实物体之间的碰撞或遮挡检测，以及虚实物体之间的距离计算。
更优地，所述第一合成深度图像和第二合成深度图像均是通过深度相机成像模型计算并合成而得，所述深度相机成像模型是物理深度相机的成像原理数学表达式。
所述步骤4中，碰撞或遮挡的判断过程为：比较第二合成深度图像和真实环境深度图像上像素坐标相通的像素点的深度值大小，如果真实环境深度图像像素点的深度值大于第二合成深度图像对应像素点的深度值，则不存在遮挡或者碰撞，否则，则存在遮挡或者碰撞。
更优地，所述步骤4中，虚实物体之间的距离计算方法如下：
步骤401、区域分层分隔：将第二合成深度图像和真实环境深度图像按照相同方式进行四叉树结构的递归剖分，分隔成大小相同的分隔区域；递归层数为n，第1层为根节点，第2层至第n-1层均为子节点，第n层为叶子节点；
步骤402、计算分隔区域深度值范围：在每一层节点的每个分隔区域中存储该区域中深度值的范围，即深度值的最大值和最小值，然后分别建立第二合成深度图像和真实环境深度图像的四叉树递归分割模型；
步骤403、基于层次递进的搜索第二合成深度图像和真实环境深度图像的深度值范围有交集的区域：使用第二合成深度图像和真实环境深度图像的四叉树递归分割模型，按照逐层递进的方法进行搜索查找，首先比较两张深度图像的第一层根节点的深度值范围是否存在交集，若无交集，则证明二者之间不存在遮挡或碰撞，则不进行距离计算，若存在交集，则继续逐个检查下一层子节点的各分隔区域的深度值范围是否存在交集，若无交集，则不进行距离计算，若存在交集，则检查存在交集的分隔区域的下一层子节点的各分隔区域的深度值范围是否存在交集，同理类推，直至检查至叶子节点的各分隔区域的深度值范围存在交集时，则要根据存在交集的分隔区域内像素的位置坐标进一步计算该分隔区域内虚实物体之间实际距离；
步骤404、利用深度相机成像模型将第二合成深度图像和真实环境深度图像在叶子节点中存在交集的分隔区域内的所有相对应像素转为两组3D点云数据，通过两组点云数据计算虚实物体之间的实际距离。
本发明具有如下有益效果：
本发明首先使用物理深度像机拍真实场景深度图像，利用深度相机成像模型合成的虚拟深度像机拍摄到包含虚拟三维模型的第一合成深度图像；再将第一合成深度图像，转换得到世界坐标下的点云数据，根据点云数据在第一方位上（物理深度相机）的深度值，计算合成获得第二合成深度图像；得到同一坐标系下虚拟三维模型和真实环境易碰撞区域的深度图像，将两幅深度图像栅格化，从整体到局部进行搜索碰撞区域，进行碰撞遮挡检测和虚实距离计算。实验证明：利用深度图像栅格化进行碰撞遮挡检测，运算时间短，适合增强现实下虚实物体实施碰撞遮挡检测检测，以及碰撞距离的计算。
附图说明
图1为本发明一种虚实物体之间碰撞及遮挡检测方法的流程图；
图2为本发明一种虚实物体之间碰撞及遮挡检测系统框图；
图3为本发明中深度图像四叉树递归分割；
图4为本发明中深度值范围有交集的叶子区域的四叉树搜索示意图；
图5为本发明中四叉树递归中碰撞阈值确定时n的取值原理图；
图6为本发明中实际距离计算原理示意图；
图7为本发明一种虚实物体之间碰撞及遮挡检测系统的计算机运行流程图。
图中附图标记表示为：
1、物理深度相机；2、位于第二方位的虚拟深度相机；3、虚拟三维模型；4、真实环境深度图像；5、第一合成深度图像；6、第二合成深度图像；7、真实环境；8、待装配减速器；9、工作人员；10、增强现实注册卡；11、虚实融合后图像。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
请参阅图1和图2，一种虚实物体之间碰撞及遮挡检测方法，包括如下步骤：
步骤10、统一计算机端虚拟模型场景坐标系和真实环境坐标系，使虚实物体都在同一个世界坐标系下，然后将待检测物体的虚拟三维模型3（图中以虚拟机器人为例）定位在计算机端的虚拟模型场景中；该定位可以利用增强现实注册等方法，例如，可以采用增强现实注册卡10，将增强现实注册卡10当做世界坐标系，完成准确定位；
步骤20、在真实环境中物理深度相机1拍摄真实环境深度图像4，同时，利用方位跟踪系统获得物理深度相机1在世界坐标系中的位置和方位；所述物理深度相机1可以是独立的深度传感器（如Kinect），也可以是附属在其他设备上的深度传感器（如增强现实智能眼镜Holole世界坐标系ns上的深度传感器）；所述方位跟踪系统可以采用optritack运动捕捉系统，其为本领域应用较为普遍的一种跟踪系统，其跟踪精确度较高，除此之外，还可以采用其他光学式动作捕捉系统以及惯性式动作捕捉系统。
步骤30、计算机端采集方位跟踪系统的数据（即物理深度的方向和位置），得到物理深度相机1的三维方位，定义为第一方位；依据第一方位选择能够拍摄到虚拟三维模型3潜在碰撞区域的第二方位，将虚拟深度相机2置于第二方位上；同时，计算机端采集物理深度相机1拍摄到的真实环境深度图像4（深度图像中的像素值记录了摄影机与像素所对应的场景靠近相机的点的深度值），并根据深度相机成像模型合成虚拟三维模型3在虚拟深度相机2（即第二方位上）上所成的第一合成深度图像5；所述深度相机成像模型是物理深度相机1的成像原理数学表达式。具体地，所述深度相机成像模型公开于《A Depth SpaceApproach for Evaluating Distance to Objects》，其中“Cartesian Space”（笛卡尔空间）和“Depth Space”（深度空间）这两个章节，介绍了深度相机成像模型的数学表达式。一般地，方位跟踪系统获取物理深度相机1的方向和位置分别用R1和T1表示，R1是3x3旋转矩阵，T1是3x1的平移向量，将R1和T1经过（R，T）转换得到虚拟深度相机2的第二方位R2和T2，以及两个方位之间相对变换，其中，R为旋转矩阵，T为平移矩阵；
步骤40、根据第二方位与第一方位之间的方位关系以及深度相机成像模型，计算第一合成深度图像5上各有效像素点转换成点云数据，根据点云数据在第一方位上的深度值，计算合成获得第二合成深度图像6；有效像素点是指经过深度图像滤波处理之后像素值不为0的点 ；
步骤50、由于第二合成深度图像6和真实环境深度图像4是从同一方位（即第一方位）获得的虚实深度图像，利用第二合成深度图像6和真实环境深度图像4进行虚实物体之间的碰撞或遮挡检测和虚实物体之间的距离计算。请参阅图4，为便于理解碰撞及遮挡检测过程，图中最后一张为虚实融合后图像11，使碰撞过程可视化，但在检测碰撞和计算距离时，是分别采用第二合成深度图像6和真实环境深度图像4的像素点数据。
通过步骤10至50可以获得一个方向上的碰撞及遮挡检测，例如，将虚拟深度相机2沿着物理深度相机1主光轴的方向上设置，则完成前后方向的碰撞及遮挡检测，改变所述物理深度相机1的方位，重复所述步骤30至步骤50，进行不同方位的虚实物体之间的碰撞或遮挡检测，以及虚实物体之间的距离计算，则可以实现对虚拟三维模型3多角度的碰撞及遮挡检测，以及虚实物体间的距离计算，检测结果更加准确。
所述步骤50中，碰撞或遮挡的判断过程为：比较第二合成深度图像6和真实环境深度图像4上像素坐标相通的像素点的深度值大小，如果真实环境深度图像4像素点的深度值大于第二合成深度图像6对应像素点的深度值，则不存在遮挡或者碰撞，否则，则存在遮挡或者碰撞。
请参阅图4，所述步骤50中，虚实物体之间的距离计算方法如下：
步骤51、区域分层分隔：请参阅图3，将第二合成深度图像6和真实环境深度图像4按照相同方式进行四叉树结构的递归剖分，分隔成大小相同的分隔区域；递归层数为n，第1层为根节点，第2层至第n-1层均为子节点，第n层为叶子节点；请参阅图5，n的取值由设定的碰撞阈值和深度值大小决定，当设置碰撞阈值时，深度值越大，图像中邻像素间代表的实际距离大，分割层数n越大，图5中，碰撞阈值D相同，上图的深度值小于下图的深度值，因此，上图的深度图分割层数n=3，下图的深度图分割层数n=4。同时，n受到碰撞阈值的约束，若碰撞阈值越小，分割层数越多，n越大；
步骤52、计算分隔区域深度值范围：在每一层节点的每个分隔区域中存储该区域中深度值的范围，即深度值的最大值和最小值，然后分别建立第二合成深度图像6和真实环境深度图像4的四叉树递归分割模型；
步骤53、基于层次递进的搜索第二合成深度图像6和真实环境深度图像4的深度值范围有交集的区域：使用第二合成深度图像6和真实环境深度图像4的四叉树递归分割模型，按照逐层递进的方法进行搜索查找，首先比较两张深度图像的第一层根节点的深度值范围是否存在交集，若无交集，则证明二者之间不存在遮挡或碰撞，则不进行距离计算，若存在交集，则继续逐个检查下一层子节点的各分隔区域的深度值范围是否存在交集，若无交集，则不进行距离计算，若存在交集，则检查存在交集的分隔区域的下一层子节点的各分隔区域的深度值范围是否存在交集，同理类推，直至检查至叶子节点的各分隔区域的深度值范围存在交集时，则要根据存在交集的分隔区域内像素的位置坐标进一步计算该分隔区域内虚实物体之间实际距离；
步骤54、请参阅图6，利用深度相机成像模型将第二合成深度图像6和真实环境深度图像4在叶子节点中存在交集的分隔区域内的所有相对应像素转为两组3D点云数据，通过两组点云数据计算虚实物体之间的实际距离。例如，真实环境深度图像4中在叶子节点中存在交集的分隔区域内有N个像素，第二合成深度图像6中对应区域有M个像素，每个像素对应一个3D点云坐标，从N个像素中取一个像素的坐标与M个像素之间求距离，然后在从M个像素中取另外一个像素再与M个像素之间求距离，同理，直至M各像素全部计算完，得到一个距离集合。
本发明在增强现实环境中建立虚拟深度相机2，利用虚拟深度相机2合成虚拟模型场景的深度图像，真实环境中的物理深度相机1获取真实环境深度图像4，通过对两张深度图像进行运算实现基于视角的虚实碰撞实时检测及碰撞时虚实物体之间实际距离的计算。
实施例二
请参阅图2，图2展示了包含待装配减速器8及其工作人员9的真实环境7。一种虚实物体之间碰撞及遮挡检测系统，包括物理深度相机1、方位跟踪系统以及计算机系统，所述物理深度相机1拍摄真实环境的深度图像，所述方位跟踪系统获取物理深度相机1在物理环境坐标系中的位置和方位；所述物理深度相机1和方位跟踪系统均连接至计算机系统，将采集到的深度图像和跟踪到的方向位置传送给计算机系统；请参阅图7，所述计算机系统运行时，实现以下步骤：
步骤1、统一计算机端虚拟模型场景坐标系和真实环境坐标系，使虚实物体都在同一个世界坐标系下，然后将待检测物体的虚拟三维模型3（图中以虚拟机器人为例）定位在计算机端的虚拟模型场景中；该定位可以利用增强现实注册等方法，例如，可以采用增强现实注册卡10，将增强现实注册卡10当做世界坐标系，完成准确定位；
步骤2、计算机端采集方位跟踪系统的数据，得到物理深度相机1的三维方位，定义为第一方位；依据第一方位选择能够拍摄到虚拟三维模型3潜在碰撞区域的第二方位，将虚拟深度相机2置于第二方位上；同时，计算机端采集真实环境深度图像4，并根据深度相机成像模型合成虚拟三维模型3在虚拟深度相机2上所成的第一合成深度图像5；
步骤3、根据第二方位与第一方位之间的方位关系以及深度相机成像模型，计算第一合成深度图像5上各有效像素点转换成点云数据，根据点云数据在第一方位上的深度值，计算合成获得第二合成深度图像6；
步骤4、利用第二合成深度图像6和真实环境深度图像4进行虚实物体之间的碰撞或遮挡检测，以及虚实物体之间的距离计算。
通过步骤1至4可以获得一个方向上的碰撞及遮挡检测，例如沿着物理深度相机1主光轴的方向上，完成前后方向的碰撞及遮挡检测，改变所述物理深度相机1的方位，重复所述步骤2至步骤4，进行不同方位的虚实物体之间的碰撞或遮挡检测，以及虚实物体之间的距离计算，则可以实现对虚拟三维模型3多角度的碰撞及遮挡检测，以及虚实物体间的距离计算，检测结果更加准确。
所述第一合成深度图像5和第二合成深度图像6均是通过深度相机成像模型计算并合成而得，所述深度相机成像模型是物理深度相机1的成像原理数学表达式。
所述步骤4中，碰撞或遮挡的判断过程为：比较第二合成深度图像6和真实环境深度图像4上像素坐标相通的像素点的深度值大小，如果真实环境深度图像4像素点的深度值大于第二合成深度图像6对应像素点的深度值，则不存在遮挡或者碰撞，否则，则存在遮挡或者碰撞。
所述步骤4中，虚实物体之间的距离计算方法如下：
步骤401、区域分层分隔：请参阅图3，将第二合成深度图像6和真实环境深度图像4按照相同方式进行四叉树结构的递归剖分，分隔成大小相同的分隔区域；递归层数为n，第1层为根节点，第2层至第n-1层均为子节点，第n层为叶子节点；请参阅图5，n的取值由设定的碰撞阈值和深度值大小决定，当设置碰撞阈值时，深度值越大，图像中邻像素间代表的实际距离大，分割层数n越大，图5中，碰撞阈值D相同，上图的深度值小于下图的深度值，因此，上图的深度图分割层数n=3，下图的深度图分割层数n=4。同时，n受到碰撞阈值的约束，若碰撞阈值越小，分割层数越多，n越大；
步骤402、计算分隔区域深度值范围：在每一层节点的每个分隔区域中存储该区域中深度值的范围，即深度值的最大值和最小值，然后分别建立第二合成深度图像6和真实环境深度图像4的四叉树递归分割模型；
步骤403、请参阅图4，基于层次递进的搜索第二合成深度图像6和真实环境深度图像4的深度值范围有交集的区域：使用第二合成深度图像6和真实环境深度图像4的四叉树递归分割模型，按照逐层递进的方法进行搜索查找，首先比较两张深度图像的第一层根节点的深度值范围是否存在交集，若无交集，则证明二者之间不存在遮挡或碰撞，则不进行距离计算，若存在交集，则继续逐个检查下一层子节点的各分隔区域的深度值范围是否存在交集，若无交集，则不进行距离计算，若存在交集，则检查存在交集的分隔区域的下一层子节点的各分隔区域的深度值范围是否存在交集，同理类推，直至检查至叶子节点的各分隔区域的深度值范围存在交集时，则要根据存在交集的分隔区域内像素的位置坐标进一步计算该分隔区域内虚实物体之间实际距离；
步骤404、利用深度相机成像模型将第二合成深度图像6和真实环境深度图像4在叶子节点中存在交集的分隔区域内的所有相对应像素转为两组3D点云数据，通过两组点云数据计算虚实物体之间的实际距离。请参阅图6，例如，真实环境深度图像4中在叶子节点中存在交集的分隔区域内有N个像素，第二合成深度图像6中对应区域有M个像素，每个像素对应一个3D点云坐标，从N个像素中取一个像素的坐标与M个像素之间求距离，然后在从M个像素中取另外一个像素再与M个像素之间求距离，同理，直至M各像素全部计算完，得到一个距离集合。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种虚实物体之间碰撞及遮挡检测方法，其特征在于，包括如下步骤：
步骤10、统一计算机端虚拟模型场景坐标系和真实环境坐标系，使虚实物体都在同一个世界坐标系下，然后将待检测物体的虚拟三维模型（3）定位在计算机端的虚拟模型场景中；
步骤20、在真实环境（7）中物理深度相机（1）拍摄真实环境深度图像（4），同时，利用方位跟踪系统获得物理深度相机（1）在世界坐标系中的位置和方位；
步骤30、计算机端采集方位跟踪系统的数据，得到物理深度相机（1）的三维方位，定义为第一方位；依据第一方位选择能够拍摄到虚拟三维模型（3）潜在碰撞区域的第二方位，将虚拟深度相机（2）置于第二方位上；同时，计算机端采集真实环境深度图像（4），并根据深度相机成像模型合成虚拟三维模型（3）在虚拟深度相机（2）上所成的第一合成深度图像（5）；
步骤40、根据第二方位与第一方位之间的方位关系以及深度相机成像模型，计算第一合成深度图像（5）上各有效像素点转换成点云数据，根据点云数据在第一方位上的深度值，计算合成获得第二合成深度图像（6）；
步骤50、利用第二合成深度图像（6）和真实环境深度图像（4）进行虚实物体之间的碰撞或遮挡检测和虚实物体之间的距离计算。
2.根据权利要求1所述的一种虚实物体之间碰撞及遮挡检测方法，其特征在于：改变所述物理深度相机（1）的方位，重复所述步骤30至步骤50，进行不同方位的虚实物体之间的碰撞或遮挡检测，以及虚实物体之间的距离计算。
3.根据权利要求1所述的一种虚实物体之间碰撞及遮挡检测方法，其特征在于：所述步骤50中，碰撞或遮挡的判断过程为：比较第二合成深度图像（6）和真实环境深度图像（4）上像素坐标相通的像素点的深度值大小，如果真实环境深度图像（4）像素点的深度值大于第二合成深度图像（6）对应像素点的深度值，则不存在遮挡或者碰撞，否则，则存在遮挡或者碰撞。
4.根据权利要求1所述的一种虚实物体之间碰撞及遮挡检测方法，其特征在于：所述步骤50中，虚实物体之间的距离计算方法如下：
步骤51、区域分层分隔：将第二合成深度图像（6）和真实环境深度图像（4）按照相同方式进行四叉树结构的递归剖分，分隔成大小相同的分隔区域；递归层数为n，第1层为根节点，第2层至第n-1层均为子节点，第n层为叶子节点；
步骤52、计算分隔区域深度值范围：在每一层节点的每个分隔区域中存储该区域中深度值的范围，即深度值的最大值和最小值，然后分别建立第二合成深度图像（6）和真实环境深度图像（4）的四叉树递归分割模型；
步骤53、基于层次递进的搜索第二合成深度图像（6）和真实环境深度图像（4）的深度值范围有交集的区域：使用第二合成深度图像（6）和真实环境深度图像（4）的四叉树递归分割模型，按照逐层递进的方法进行搜索查找，首先比较两张深度图像的第一层根节点的深度值范围是否存在交集，若无交集，则证明二者之间不存在遮挡或碰撞，则不进行距离计算，若存在交集，则继续逐个检查下一层子节点的各分隔区域的深度值范围是否存在交集，若无交集，则不进行距离计算，若存在交集，则检查存在交集的分隔区域的下一层子节点的各分隔区域的深度值范围是否存在交集，同理类推，直至检查至叶子节点的各分隔区域的深度值范围存在交集时，则要根据存在交集的分隔区域内像素的位置坐标进一步计算该分隔区域内虚实物体之间实际距离；
步骤54、利用深度相机成像模型将第二合成深度图像（6）和真实环境深度图像（4）在叶子节点中存在交集的分隔区域内的所有相对应像素转为两组3D点云数据，通过两组点云数据计算虚实物体之间的实际距离。
5.一种虚实物体之间碰撞及遮挡检测系统，其特征在于：包括物理深度相机（1）、方位跟踪系统以及计算机系统，所述物理深度相机（1）拍摄真实环境（7）的深度图像，所述方位跟踪系统获取物理深度相机（1）在物理环境坐标系中的位置和方位；所述物理深度相机（1）和方位跟踪系统均连接至计算机系统，将采集到的深度图像和跟踪到的方向位置传送给计算机系统；所述计算机系统运行时，实现以下步骤：
步骤1、统一计算机端虚拟模型场景坐标系和真实环境坐标系，使虚实物体都在同一个世界坐标系下，然后将待检测物体的虚拟三维模型（3）定位在计算机端的虚拟模型场景中；
步骤2、计算机端采集方位跟踪系统的数据，得到物理深度相机（1）的三维方位，定义为第一方位；依据第一方位选择能够拍摄到虚拟三维模型（3）潜在碰撞区域的第二方位，将虚拟深度相机（2）置于第二方位上；同时，计算机端采集真实环境深度图像（4），并根据深度相机成像模型合成虚拟三维模型（3）在虚拟深度相机（2）上所成的第一合成深度图像（5）；
步骤3、根据第二方位与第一方位之间的方位关系以及深度相机成像模型，计算第一合成深度图像（5）上各有效像素点转换成点云数据，根据点云数据在第一方位上的深度值，计算合成获得第二合成深度图像（6）；
步骤4、利用第二合成深度图像（6）和真实环境深度图像（4）进行虚实物体之间的碰撞或遮挡检测，以及虚实物体之间的距离计算。
6.根据权利要求5所述的一种虚实物体之间碰撞及遮挡检测系统，其特征在于：改变所述物理深度相机（1）的方位，重复所述步骤2至步骤4，进行不同方位的虚实物体之间的碰撞或遮挡检测，以及虚实物体之间的距离计算。
7.根据权利要求5所述的一种虚实物体之间碰撞及遮挡检测方法，其特征在于：所述步骤4中，碰撞或遮挡的判断过程为：比较第二合成深度图像（6）和真实环境深度图像（4）上像素坐标相通的像素点的深度值大小，如果真实环境深度图像（4）像素点的深度值大于第二合成深度图像（6）对应像素点的深度值，则不存在遮挡或者碰撞，否则，则存在遮挡或者碰撞。
8.根据权利要求5所述的一种虚实物体之间碰撞及遮挡检测方法，其特征在于：所述步骤4中，虚实物体之间的距离计算方法如下：
步骤401、区域分层分隔：将第二合成深度图像（6）和真实环境深度图像（4）按照相同方式进行四叉树结构的递归剖分，分隔成大小相同的分隔区域；递归层数为n，第1层为根节点，第2层至第n-1层均为子节点，第n层为叶子节点；
步骤402、计算分隔区域深度值范围：在每一层节点的每个分隔区域中存储该区域中深度值的范围，即深度值的最大值和最小值，然后分别建立第二合成深度图像（6）和真实环境深度图像（4）的四叉树递归分割模型；
步骤403、基于层次递进的搜索第二合成深度图像（6）和真实环境深度图像（4）的深度值范围有交集的区域：使用第二合成深度图像（6）和真实环境深度图像（4）的四叉树递归分割模型，按照逐层递进的方法进行搜索查找，首先比较两张深度图像的第一层根节点的深度值范围是否存在交集，若无交集，则证明二者之间不存在遮挡或碰撞，则不进行距离计算，若存在交集，则继续逐个检查下一层子节点的各分隔区域的深度值范围是否存在交集，若无交集，则不进行距离计算，若存在交集，则检查存在交集的分隔区域的下一层子节点的各分隔区域的深度值范围是否存在交集，同理类推，直至检查至叶子节点的各分隔区域的深度值范围存在交集时，则要根据存在交集的分隔区域内像素的位置坐标进一步计算该分隔区域内虚实物体之间实际距离；
步骤404、利用深度相机成像模型将第二合成深度图像（6）和真实环境深度图像（4）在叶子节点中存在交集的分隔区域内的所有相对应像素转为两组3D点云数据，通过两组点云数据计算虚实物体之间的实际距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810628292.1A CN108898676B (zh) | 2018-06-19 | 2018-06-19 | 一种虚实物体之间碰撞及遮挡检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810628292.1A CN108898676B (zh) | 2018-06-19 | 2018-06-19 | 一种虚实物体之间碰撞及遮挡检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108898676A true CN108898676A (zh) | 2018-11-27 |
| CN108898676B CN108898676B (zh) | 2022-05-13 |
Family
ID=64345097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810628292.1A Active CN108898676B (zh) | 2018-06-19 | 2018-06-19 | 一种虚实物体之间碰撞及遮挡检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108898676B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109710077A (zh) * | 2018-12-30 | 2019-05-03 | 郑州畅想高科股份有限公司 | 基于vr的虚拟物体碰撞判断方法、装置及机车实训系统 |
| CN109726760A (zh) * | 2018-12-29 | 2019-05-07 | 驭势科技（北京）有限公司 | 训练图片合成模型的方法及装置 |
| CN110388919A (zh) * | 2019-07-30 | 2019-10-29 | 上海云扩信息科技有限公司 | 增强现实中基于特征图和惯性测量的三维模型定位方法 |
| CN110738665A (zh) * | 2019-09-17 | 2020-01-31 | 浙江大学 | 一种基于深度图像信息的物体接触识别方法 |
| CN111383262A (zh) * | 2018-12-28 | 2020-07-07 | 曜科智能科技（上海）有限公司 | 遮挡检测方法、系统、电子终端以及存储介质 |
| CN111383348A (zh) * | 2020-03-17 | 2020-07-07 | 北京理工大学 | 一种虚拟现实远程同步控制机器人的方法 |
| CN111727924A (zh) * | 2020-07-14 | 2020-10-02 | 山东大学 | 一种立体显示环境下混合现实鱼缸系统及生成方法 |
| WO2020207191A1 (zh) * | 2019-04-12 | 2020-10-15 | Oppo广东移动通信有限公司 | 虚拟物体被遮挡的区域确定方法、装置及终端设备 |
| WO2020211626A1 (zh) * | 2019-04-15 | 2020-10-22 | Oppo广东移动通信有限公司 | 物体几何参数的测量方法、装置和终端 |
| CN111899293B (zh) * | 2020-09-29 | 2021-01-08 | 成都索贝数码科技股份有限公司 | Ar应用中的虚实遮挡处理方法 |
| CN112346564A (zh) * | 2020-10-26 | 2021-02-09 | 江南大学 | 一种手抓取释放虚拟物体方法 |
| JP2021065971A (ja) * | 2019-10-23 | 2021-04-30 | ファナック株式会社 | ロボット教示システム、画像生成方法、及びプログラム |
| CN114549641A (zh) * | 2022-01-28 | 2022-05-27 | 青岛理工大学 | 一种人手-机器人接触状态检测系统及方法 |
| CN114581512A (zh) * | 2022-03-04 | 2022-06-03 | 西安交通大学 | 一种基于图像空间碰撞的干涉检测方法及系统 |
| CN115544381A (zh) * | 2022-09-28 | 2022-12-30 | 中科纯元(珠海)科技有限公司 | 一种应用于元宇宙的场景选择传送系统 |
| CN116860113A (zh) * | 2023-08-16 | 2023-10-10 | 深圳职业技术学院 | 一种xr组合场景体验生成方法、系统及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102509317A (zh) * | 2011-09-27 | 2012-06-20 | 北京像素软件科技股份有限公司 | 一种实时碰撞检测系统的实现方法 |
| CN103568022A (zh) * | 2012-07-20 | 2014-02-12 | 精工爱普生株式会社 | 碰撞检测系统、碰撞检测用数据生成装置以及机械手 |
| CN104484523A (zh) * | 2014-12-12 | 2015-04-01 | 西安交通大学 | 一种增强现实诱导维修系统的实现设备与方法 |
| US20160210787A1 (en) * | 2015-01-21 | 2016-07-21 | National Tsing Hua University | Method for Optimizing Occlusion in Augmented Reality Based On Depth Camera |
| CN108161904A (zh) * | 2018-01-09 | 2018-06-15 | 青岛理工大学 | 基于增强现实的机器人在线示教装置、系统、方法、设备 |
-
2018
- 2018-06-19 CN CN201810628292.1A patent/CN108898676B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102509317A (zh) * | 2011-09-27 | 2012-06-20 | 北京像素软件科技股份有限公司 | 一种实时碰撞检测系统的实现方法 |
| CN103568022A (zh) * | 2012-07-20 | 2014-02-12 | 精工爱普生株式会社 | 碰撞检测系统、碰撞检测用数据生成装置以及机械手 |
| CN104484523A (zh) * | 2014-12-12 | 2015-04-01 | 西安交通大学 | 一种增强现实诱导维修系统的实现设备与方法 |
| US20160210787A1 (en) * | 2015-01-21 | 2016-07-21 | National Tsing Hua University | Method for Optimizing Occlusion in Augmented Reality Based On Depth Camera |
| CN108161904A (zh) * | 2018-01-09 | 2018-06-15 | 青岛理工大学 | 基于增强现实的机器人在线示教装置、系统、方法、设备 |
Non-Patent Citations (2)
| Title |
|---|
| FABRIZIO FLACCO 等: "A Depth Space Approach to Human-Robot Collision Avoidance", 《2012 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 * |
| 宋宇彬 等: "基于四叉树的图像分割技术", 《测控技术》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111383262B (zh) * | 2018-12-28 | 2023-05-12 | 曜科智能科技（上海）有限公司 | 遮挡检测方法、系统、电子终端以及存储介质 |
| CN111383262A (zh) * | 2018-12-28 | 2020-07-07 | 曜科智能科技（上海）有限公司 | 遮挡检测方法、系统、电子终端以及存储介质 |
| CN109726760A (zh) * | 2018-12-29 | 2019-05-07 | 驭势科技（北京）有限公司 | 训练图片合成模型的方法及装置 |
| CN109726760B (zh) * | 2018-12-29 | 2021-04-16 | 驭势科技（北京）有限公司 | 训练图片合成模型的方法及装置 |
| CN109710077A (zh) * | 2018-12-30 | 2019-05-03 | 郑州畅想高科股份有限公司 | 基于vr的虚拟物体碰撞判断方法、装置及机车实训系统 |
| CN109710077B (zh) * | 2018-12-30 | 2022-05-06 | 郑州畅想高科股份有限公司 | 基于vr的虚拟物体碰撞判断方法、装置及机车实训系统 |
| US11842438B2 (en) | 2019-04-12 | 2023-12-12 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and terminal device for determining occluded area of virtual object |
| WO2020207191A1 (zh) * | 2019-04-12 | 2020-10-15 | Oppo广东移动通信有限公司 | 虚拟物体被遮挡的区域确定方法、装置及终端设备 |
| US12117284B2 (en) | 2019-04-15 | 2024-10-15 | Guangdong Oppo Mobile Telecommunications Corp. Ltd. | Method and apparatus for measuring geometric parameter of object, and terminal |
| WO2020211626A1 (zh) * | 2019-04-15 | 2020-10-22 | Oppo广东移动通信有限公司 | 物体几何参数的测量方法、装置和终端 |
| CN110388919B (zh) * | 2019-07-30 | 2023-05-23 | 上海云扩信息科技有限公司 | 增强现实中基于特征图和惯性测量的三维模型定位方法 |
| CN110388919A (zh) * | 2019-07-30 | 2019-10-29 | 上海云扩信息科技有限公司 | 增强现实中基于特征图和惯性测量的三维模型定位方法 |
| CN110738665A (zh) * | 2019-09-17 | 2020-01-31 | 浙江大学 | 一种基于深度图像信息的物体接触识别方法 |
| JP2021065971A (ja) * | 2019-10-23 | 2021-04-30 | ファナック株式会社 | ロボット教示システム、画像生成方法、及びプログラム |
| JP7517803B2 (ja) | 2019-10-23 | 2024-07-17 | ファナック株式会社 | ロボット教示システム、画像生成方法、及びプログラム |
| CN111383348A (zh) * | 2020-03-17 | 2020-07-07 | 北京理工大学 | 一种虚拟现实远程同步控制机器人的方法 |
| CN111727924A (zh) * | 2020-07-14 | 2020-10-02 | 山东大学 | 一种立体显示环境下混合现实鱼缸系统及生成方法 |
| CN111899293B (zh) * | 2020-09-29 | 2021-01-08 | 成都索贝数码科技股份有限公司 | Ar应用中的虚实遮挡处理方法 |
| CN112346564A (zh) * | 2020-10-26 | 2021-02-09 | 江南大学 | 一种手抓取释放虚拟物体方法 |
| CN114549641A (zh) * | 2022-01-28 | 2022-05-27 | 青岛理工大学 | 一种人手-机器人接触状态检测系统及方法 |
| CN114549641B (zh) * | 2022-01-28 | 2024-10-01 | 青岛理工大学 | 一种人手-机器人接触状态检测系统及方法 |
| CN114581512A (zh) * | 2022-03-04 | 2022-06-03 | 西安交通大学 | 一种基于图像空间碰撞的干涉检测方法及系统 |
| CN114581512B (zh) * | 2022-03-04 | 2024-02-23 | 西安交通大学 | 一种基于图像空间碰撞的干涉检测方法及系统 |
| CN115544381A (zh) * | 2022-09-28 | 2022-12-30 | 中科纯元(珠海)科技有限公司 | 一种应用于元宇宙的场景选择传送系统 |
| CN116860113A (zh) * | 2023-08-16 | 2023-10-10 | 深圳职业技术学院 | 一种xr组合场景体验生成方法、系统及存储介质 |
| CN116860113B (zh) * | 2023-08-16 | 2024-03-22 | 深圳职业技术大学 | 一种xr组合场景体验生成方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108898676B (zh) | 2022-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108898676A (zh) | 一种虚实物体之间碰撞及遮挡检测方法及系统 | |
| CN103988226B (zh) | 用于估计摄像机运动以及用于确定实境三维模型的方法 | |
| CN109215117B (zh) | 基于ORB与U-net的花卉三维重建方法 | |
| KR101616926B1 (ko) | 영상 처리 장치 및 방법 | |
| JP6065427B2 (ja) | オブジェクト追跡方法及びオブジェクト追跡装置 | |
| JP7164045B2 (ja) | 骨格認識方法、骨格認識プログラムおよび骨格認識システム | |
| CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
| CN102902355A (zh) | 移动设备的空间交互方法 | |
| CN102609942A (zh) | 使用深度图进行移动相机定位 | |
| CN106052646A (zh) | 信息处理装置及信息处理方法 | |
| CN108230247A (zh) | 基于云端的三维地图的生成方法、装置、设备及应用程序 | |
| KR102450931B1 (ko) | 이미지 정합 방법 및 연관된 모델 훈련 방법, 기기, 장치 | |
| CN110136202A (zh) | 一种基于ssd与双摄像头的多目标识别与定位方法 | |
| JP2014085933A (ja) | ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム | |
| CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
| CN116778094B (zh) | 一种基于优选视角拍摄的建筑物变形监测方法及装置 | |
| CN110517323A (zh) | 基于机械手单相机多目视觉的三维定位系统及方法 | |
| CN108876819A (zh) | 一种基于泊松多伯努利滤波的三维多目标追踪算法 | |
| CN116894876A (zh) | 基于实时图像的6-dof的定位方法 | |
| Lu et al. | Binocular Vision‐Based Recognition Method for Table Tennis Motion Trajectory | |
| CN110517307A (zh) | 利用卷积实现基于激光散斑图的立体匹配方法 | |
| Kim et al. | Evaluation of feature-based vehicle trajectory extraction algorithms | |
| Wang et al. | Research and implementation of the sports analysis system based on 3D image technology | |
| CN114065650A (zh) | 基于深度学习的材料裂纹尖端多尺度应变场测量跟踪方法 | |
| Lang et al. | Estimation of elastic constants from 3D range-flow |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |