CN109685042A - 一种三维图像识别装置及其识别方法 - Google Patents
一种三维图像识别装置及其识别方法 Download PDFInfo
- Publication number
- CN109685042A CN109685042A CN201910108663.8A CN201910108663A CN109685042A CN 109685042 A CN109685042 A CN 109685042A CN 201910108663 A CN201910108663 A CN 201910108663A CN 109685042 A CN109685042 A CN 109685042A
- Authority
- CN
- China
- Prior art keywords
- point
- key point
- data
- model
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 68
- 230000003068 static effect Effects 0.000 claims abstract description 6
- 238000005096 rolling process Methods 0.000 claims description 36
- 238000005259 measurement Methods 0.000 claims description 23
- 210000000988 bone and bone Anatomy 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000009792 diffusion process Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 3
- 241001269238 Data Species 0.000 description 10
- 230000009471 action Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 239000011469 building brick Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47G—HOUSEHOLD OR TABLE EQUIPMENT
- A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
- A47G1/02—Mirrors used as equipment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种三维图像识别装置及其方法，可以包括：第一深度图像采集装置，可以被配置为获得对象的第一点云数据；第二深度图像采集装置和第三深度图像采集装置，可以均被配置为获得对象的第二点云数据；处理单元，可以被配置为：基于所述第一点云数据建立粗略模型；基于所述第二点云数据对所述粗略模型进行修整，获得精细模型；以及基于所述第一点云数据和所述精细模型，使得所述精细模型动态运动；以及显示单元，可以被配置为呈现动态或静态的精细模型。
Description
技术领域
本发明涉及三维图像识别领域，并且更具体地，涉及一种智能镜以及基于该智能镜的人体体形自动测量和动作识别方法。
背景技术
近年来智能生活成为热点方向，智能家居屡屡引爆业界关注。智能镜作为智能家居的一种近几年也在渐渐走进人们的生活。目前常见的智能镜有显示天气温度、播放音乐视频、化妆和试衣用途的智能镜，这些智能镜要么智能化程度低，要么体验效果差，均不能满足用户个性化需求、交互体验效果好这两点需求。
在现有技术的三维人体体形测量与动作识别方法中，一般需要在不同角度放置多个传感器以进行全方位的摄像，从而获得多个侧面二维照片，之后根据二维照片恢复成三维立体图像。然而，现有技术中存在的缺点为：(1)在基于二维照片获得三维图像时，无法确定各个部位的实际比例尺寸和维度信息，由此造成所成的三维图像中各个部位的比例尺寸和维度信息与实际人体的各个部位的实际比例尺寸和维度信息之间存在较大误差；(2)所成的三维图像为静止的图像，无法对人体动作进行实时识别跟踪；以及(3)在基于二维图像获得三维图像时，耗费资源多、处理时间太长，且所成的三维图像中没有衣服纹理和颜色。由于上述缺点，造成人与智能镜之间缺乏智能交互体验。
发明内容
为解决现有技术中的上述不足之处，在本申请的第一方面中，提供了一种三维图像识别装置，可以包括：第一深度图像采集装置，被配置为获得对象的第一点云数据；第二深度图像采集装置和第三深度图像采集装置，均可以被配置为获得对象的第二点云数据；处理单元，可以被配置为：基于所述第一点云数据建立粗略模型；基于所述第二点云数据对所述粗略模型进行修整，获得精细模型；以及基于所述第一点云数据和所述精细模型，使得所述精细模型动态运动；以及显示单元，可以被配置为呈现动态或静态的精细模型。
根据第一方面，第一深度图像采集装置是全局快门深度摄像头；第二深度图像采集装置和所述第三深度图像采集装置是卷帘快门深度摄像头。
根据第一方面，处理单元还可以被配置为：基于所述第一点云数据来检测第一关键点，从而提取对象骨骼，建立所述粗略模型。
根据第一方面，处理单元还可以被配置为：对所述第一点云数据进行滤波处理，基于滤波处理后的点云数据检测所述第一关键点，从而提取对象骨骼，建立所述粗略模型。
根据第一方面，处理单元还可以被配置为：对滤波处理后的第一点云数据进行阈值门限分割获得前景部分，然后在前景部分中检测所述第一关键点，从而提取对象骨骼，建立所述粗略模型。
根据第一方面，处理单元还可以被配置为：基于所述第一关键点，拟合出所述粗略模型。
根据第一方面，处理单元还可以被配置为：在建立所述粗略模型之后，基于所述第二点云数据来检测第二关键点；以及，将所述第二关键点与所述第一关键点进行配准。
根据第一方面，处理单元还可以被配置为：至少通过所述第二深度图像采集装置和所述第三深度图像采集装置之一，针对配准后的关键点进行表面点位测量，获得针对被测关键点的点位数据；以及利用所述点位数据对所述粗略模型进行参数调整，从而获得所述精细模型。
根据第一方面，处理单元还可以被配置为：针对配准后的关键点中的每一个关键点，判断一个关键点是否与多个点位数据相对应；其中，在一个关键点与多个点位数据相对应的情况下，则可以选择所述多个点位数据中深度值小的作为针对所述一个关键点的点位数据。
根据第一方面，其中，在一个关键点与多个点位数据相对应的情况下，则可以选择所述多个点位数据中深度值大的作为针对所述一个关键点的点位数据。
根据第一方面，其中，在一个关键点与多个点位数据相对应的情况下，则将所述多个点位数据的平均深度值作为针对所述一个关键点的点位数据。
根据第一方面，所述处理单元还可以被配置为：将针对关键点的点位数据中的深度数据与所述粗略模型中的对应关键点的深度数据进行比较，在二者之间的差值大于阈值的情况下，将所述粗略模型的该对应关键点确定为高极点；在二者之间的差值小于阈值的情况下，将所述粗略模型的该对应关键点确定为低极点。
根据第一方面，所述处理单元还可以被配置为：对于所述低奇点，利用中心扩散邻域平均方法进行参数调整；以及对于所述高奇点，利用邻域比对腐蚀法进行参数调整。
根据第一方面，处理单元还可以被配置为：在获得所述精细模型之后，在获得所述精细模型之后，基于第一深度图像采集装置来检测对象的第一关键点的当前位置；以及基于所述对象的第一关键点的当前位置来移动所述精细模型中的第一对应关键点的位置，从而使得所述精细模型动态运动。
根据第一方面，处理单元还可以被配置为：在基于所述第二点云数据对所述粗略模型进行修整之后，对修正后的模型进行表面纹理和色彩重建。
根据本申请的第二方面，提供了一种三维图像识别方法，可以包括以下操作：获得对象的第一点云数据；获得对象的第二点云数据；基于所述第一点云数据建立粗略模型；基于所述第二点云数据对所述粗略模型进行修整，获得精细模型；以及基于所述第一点云数据和所述精细模型，使得所述精细模型动态运动。
根据本申请的第二方面，基于所述第一点云数据建立粗略模型可以包括：基于所述第一点云数据来检测第一关键点，从而提取对象骨骼，建立所述粗略模型。
根据本申请的第二方面，所述基于所述第一点云数据建立粗略模型还可以包括：对所述第一点云数据进行滤波处理，基于滤波处理后的点云数据检测所述第一关键点，从而提取对象骨骼，建立所述粗略模型。
根据本申请的第二方面，所述基于所述第一点云数据建立粗略模型还可以包括：对滤波处理后的第一点云数据进行阈值门限分割获得前景部分，然后在前景部分中检测所述第一关键点，从而提取对象骨骼，建立所述粗略模型。
根据本申请的第二方面，所述基于所述第一点云数据建立粗略模型还可以包括：基于所述第一关键点，拟合出所述粗略模型。
根据本申请的第二方面，所述基于所述第二点云数据对所述粗略模型进行修整获得精细模型可以包括：基于所述第二点云数据，检测第二关键点；以及将所述第二关键点与所述第一关键点进行配准。根据本申请的第二方面，所述基于所述第二点云数据对所述粗略模型进行修整获得精细模型还可以包括：针对配准后的关键点进行表面点位测量，获得针对被测关键点的点位数据；以及利用所述点位数据对所述粗略模型进行参数调整，从而获得所述精细模型。
根据本申请的第二方面，所述基于所述第二点云数据对所述粗略模型进行修整获得精细模型还可以包括：针对配准后的关键点中的每一个关键点，判断一个关键点是否与多个点位数据相对应；其中，在一个关键点与多个点位数据相对应的情况下，则可以选择所述多个点位数据中深度值小的作为针对所述一个关键点的点位数据。
根据本申请的第二方面，其中，所述基于所述第二点云数据对所述粗略模型进行修整获得精细模型还包括：在一个关键点与多个点位数据相对应的情况下，则可以选择所述多个点位数据中深度值大的作为针对所述一个关键点的点位数据。
根据本申请的第二方面，所述基于所述第二点云数据对所述粗略模型进行修整获得精细模型还可以包括：在一个关键点与多个点位数据相对应的情况下，则将所述多个点位数据的平均深度值作为针对所述一个关键点的点位数据。
根据本申请的第二方面，其中，所述利用所述点位数据对所述粗略模型进行参数调整从而获得所述精细模型可以包括：将针对关键点的点位数据中的深度数据与所述粗略模型中的对应关键点的深度数据进行比较，在二者之间的差值大于阈值的情况下，将所述粗略模型的该对应关键点确定为高极点；在二者之间的差值小于阈值的情况下，将所述粗略模型的该对应关键点确定为低极点。
根据本申请的第二方面，其中，所述利用所述点位数据对所述粗略模型进行参数调整从而获得所述精细模型还可以包括：对于所述低奇点，利用中心扩散邻域平均方法进行参数调整；以及对于所述高奇点，利用邻域比对腐蚀法进行参数调整。
根据本申请的第二方面，所述基于所述第一点云数据和所述精细模型使得所述精细模型动态运动可以包括：在获得所述精细模型之后，基于第一深度图像采集装置来检测对象的第一关键点的当前位置；以及，基于所述对象的第一关键点的当前位置来移动所述精细模型中的第一对应关键点的位置，从而使得所述精细模型动态运动。
根据本申请的第二方面，所述方法还包括：在基于所述第二点云数据对所述粗略模型进行修整之后，对修正后的模型进行表面纹理和色彩重建。
在本申请的第三方面中，提供了一种计算机程序产品，能够从通信网络下载和/或记录在能够由计算机读取的介质上和/或能够由处理器执行，所述计算机程序产品包括用于实现根据第二方面所述的方法的程序代码指令。
根据本申请的第四方面，提供了一种非暂时性计算机可读介质，包括记录在其上且能够由处理器运行的计算机程序产品，所述计算机程序产品包括用于实现根据第二方面所述的方法的程序代码指令。
本申请充分利用全局快门深度摄像头可迅速捕捉快速移动或远距离目标消除伪影和模糊的优点、以及卷帘快门深度摄像头的有更低的噪声和帧频快优点，通过利用全局快门深度摄像头获得的点云数据进行粗略建模，然后再利用卷帘快门深度摄像头获得的点云数据进行模型修正，由此可以以占用资源少的方式快速建立出精确的模型。然后通过全局快门深度摄像头实时捕获对象的关键点来使得精确模型移动，由此产生动态效果。
根据本发明的各个方面，仅需一次精细建模即可，无需重复建模，避免浪费资源和时间，由此使得模型动态运动时无迟滞，达到更逼真的效果和更好的实时性。
此外，根据本申请的各个方面，建模精度达到mm量级精度，在人体的运动速度不大于0.5米/s的情况下，可以跟随人体进行实时的动作跟踪。
附图说明
图1示出了根据本发明实施例的智能镜的示意图。
图2示出了根据本发明实施例的智能镜的内部框图。
图3示出了根据本发明实施例的处理单元进行建模的概略流程图。
图4示出了根据本发明实施例的处理单元中粗略建模的流程图。
图5示出了根据本发明实施例的处理单元中精细模型修整的流程图。
图6示出了根据发明实施例的实现模型动态运动的流程图。
具体实施方式
下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路、材料或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。应当理解，当称元件“耦接到”或“连接到”另一元件时，它可以是直接耦接或连接到另一元件或者可以存在中间元件。相反，当称元件“直接耦接到”或“直接连接到”另一元件时，不存在中间元件。相同的附图标记指示相同的元件。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
此外，本文描述的特定特征可以以各种可能的组合和排列中的每一个来与其它所述特征组合使用。除非本文另有明确定义，否则所有术语将给出其最广泛的可能解释，包括说明书中暗示的含义以及本领域技术人员理解的和/或字典、论文等中定义的含义。
为了解决现有智能镜中存在的上述问题，本申请提供了一种三维图像识别装置，并且更具体地，提供了一种能够进行三维图像识别的智能镜。图1示出了根据本发明实施例的智能镜100的示意图。图2示出了根据本发明实施例的智能镜100的内部框图。现结合图1和图2对智能镜进行描述。本领域技术人员应当理解，以下基于附图所做出的描述仅是示例性的，并非旨在将本发明的范围限制于参考附图所进行的描述。
如图1所示，智能镜100可以包括第一卷帘快门深度摄像头101、第二卷帘快门深度摄像头102、全局快门深度摄像头103、处理单元104、以及显示单元105。
在本实施例中，第一卷帘快门深度摄像头101和第二卷帘快门深度摄像头102可以被配置为设置于智能镜100的左侧，且第一卷帘快门深度摄像头101位于第二卷帘快门深度摄像头102上方。当然，本领域技术人员应当理解，第一卷帘快门深度摄像头101和第二卷帘快门深度摄像头102可以被配置为均位于智能镜的右侧、或者一个位于左侧另一个位于左侧。
第一卷帘快门深度摄像头101可以被配置为采集对象(例如，人、动物等)的深度图像数据，其竖直方向视场角(FOV)为69°，水平方向FOV为42.5°。第一卷帘快门深度摄像头101可以包括2个红外感应器和1个RGB色彩感应器。在本发明中，红外感应器可以被配置为感应对象以判断对象是否靠近。RGB色彩感应器可以被配置为采集对象纹理、色彩等信息。本领域技术人员应当理解，红外感应器和RGB色彩感应器的数量是可变的。
类似地，第二卷帘快门深度摄像头102可以被配置为具有与第一卷帘快门深度摄像头101具有相同的功能、参数等。第一卷帘快门深度摄像头101可以被配置为距离地面的高度的范围为1.1米至1.5米。第二卷帘快门深度摄像头102可以被配置为距离地面的高度的范围为0.6米至1米。
全局快门深度摄像头103可以被配置为采集对象的骨骼数据，并且采集动作的深度图像数据。全局快门深度摄像头103可以被配置为设置于智能镜100的顶部，并且其水平方向FOV为90°，竖直方向FOV为164°。
根据实施例，全局快门深度摄像头103可以被配置为是可旋转的，其旋转范围为10°至45°。
第一卷帘快门深度摄像头101、第二卷帘快门深度摄像头102、以及全局快门深度摄像头103可以被配置为经由无线或有线方法(例如，电缆或通用串行总线(USB)、或Wi-Fi、蓝牙(BT))连接到处理单元104。
处理单元104可以被配置为基于第一卷帘快门深度摄像头101、第二卷帘快门深度摄像头102、以及全局快门深度摄像头103获得的点云数据，进行粗略建模和精细模型修整，从而建立出对象模型。
根据实施例，对于粗略建模，处理单元104可以被配置为：经由全局快门深度摄像头103获得对象在姿势A(例如，正对镜面的姿势)下的静态点云数据，识别对象的关键点(例如，人体中的关节等)，然后基于所检测到的关键点提取骨骼信息来进行粗略建模。
在一个示例中，处理单元104可以被配置为：通过诸如均值滤波方法、中值滤波方法之类的方法对所获得的静态点云数据进行滤波处理，从而滤除噪声、平滑图像。
在一个示例中，处理单元104还可以被配置为：利用诸如阈值门限之类的背景前景分离方法，从滤波处理后的点云数据中获得前景部分(例如，对象的最大外接矩形、或者对象的轮廓灯)。之后，处理单元104还可以被配置为：检测前景部分中的关键点(例如，人体中的关节等)，并且通过快速并行提取法提取对象的骨骼信息。
根据实施例，处理单元104可以被配置为：基于所提取的骨骼信息，利用拟合的方法快速、粗略地构建出具有和对象的体形相当的粗略对象模型。
根据实施例，对于精细模型修整，处理单元104可以被配置为：基于第一卷帘快门深度摄像头101和第二卷帘快门深度摄像头102所获得的点云数据，识别数据中的关键点(例如，人体中的关节、鼻子、下巴、肚、臀、胸等)，由此基于所识别的关键点(例如，人体中的关节、鼻子、下巴、肚、臀、胸等)来修整粗略对象模型。
在一个示例中，处理单元104可以被配置为：将基于第一卷帘快门深度摄像头101和第二卷帘快门深度摄像头102所获得的点云数据中关键点与基于全局快门深度摄像头103获得的点云数据中的关键点进行配准，由此实现基于第一卷帘快门深度摄像头101和第二卷帘快门深度摄像头102所获得的点云数据中的关键点与基于全局快门深度摄像头103获得的点云数据中的关键点进行重合。
在一个示例中，处理单元104还可以被配置为：基于第一卷帘快门深度摄像头101和第二卷帘快门深度摄像头102所获得的点云数据，对特征部位(例如，胸围、腰围、腿围、鼻高、额头高、手围、手指尾等)进行表面点位测量，从而实现对对象的特征部位的维度测量。
根据实施例，在进行表面点位测量时，可以采用中线对称法，由此可以显著减少迭代计算次数以及测量误差。根据实施例，采用中线对称法进行表面点位测量的误差小于1mm。
根据实施例，也可以采用本领域技术人员已知的、或者将来开发的任何表面点位测量方法来进行测量。
之后，处理单元104可以被配置为：基于所获得的表面点位测量对粗略模型中的关键点进行参数调整。
根据实施例，由于第一卷帘快门深度摄像头101和第二卷帘快门深度摄像头102同时对对象进行数据采集，因此，对象的中间部分区域可能会被重复采集。由于第一卷帘快门深度摄像头101和第二卷帘快门深度摄像头102距离重复采集区域中的某一点的距离可能不同，因此，针对采集区域中的若干点的表面点位测量数据可能会有多个。
由此，根据实施例，处理单元104还可以被配置为：在利用表面点位测量数据进行参数调整时针对各个关键点中的任一关键点确定一个关键点是否与多个关键点数据相对应。如果存在多个对应的关键点数据，则将多个对应的关键点数据进行比较，选择深度小的数据作为该关键点的数据，并且抛弃其它的关键点数据。
在一个示例中，在针对一个关键点存在多个对应的关键点数据的情况下，通过将多个对应的关键点数据进行比较，也可以选择深度数据最大的表面点位测量数据作为针对该关键点的点位数据。
在另一示例中，在针对一个关键点存在多个对应的关键点数据的情况下，也可以选择这些表面点位数据的平均值作为针对该关键点的点位数据。
通过选取多个对应关键点数据中的深度数据最小的值、深度数据最小的值、或者平均值来作为针对该关键点的点位数据，然后基于选择的针对关键点的点位数据来进行参数调整，可以有效防止某一关键点被重复精细处理，以免占用资源。
根据实施例，在进行参数调整时，处理单元104还可以被配置为：针对某一关键点，首先将粗略建模中针对该关键点的深度数据与针对该关键点的表面点位测量数据进行比较，如果二者之间的差值大于阈值，则判断该关键点为低奇点，而如果二者之间的差值小于阈值，则判断该关键点为高奇点。
针对低奇点，采用中心扩散邻域平均的方法对其进行修复、修补；而对于高奇点，则采用邻域比对腐蚀法对其进行消减。基于上述针对低奇点和高奇点的处理，从而在粗略建模的基础上实现与对象几乎完全匹配的精细模型。
根据实施例，为增加模型的真实感，所述处理单元104还可以被配置为：向诸如Unity3D之类的模型读取工具发送精细模型，然后根据第一卷帘快门深度摄像头101和第二卷帘快门深度摄像头102中所包括RGB色彩感应器获得的RGB色彩信息，来对模型进行色彩纹理的优化。根据实施例，可以采用例如反投影算法来进行纹理重建。本领域技术人员应当理解，也可以采用能够进行纹理重建、色彩添加的其它算法。
基于此，处理单元104可以获得与对象几乎一致的精细模型。
根据实施例，为了进一步增加对象与智能镜的实时交互体验，处理单元104还可以被配置为：通过全局快门深度摄像头103实时获得对象的关键点的动作信息，并且将动作信息中关键点与精细模型中的关键点进行配准，从而使得精细模型中的关键点基于动作信息中各个关键点的位置而动作。
显示单元105可以被配置为显示处理单元104所建模的精细模型，并且当对象动作时，呈现动态的模型。
在一个示例中，智能镜100还可以包括麦克风和语音采集装置，用以与对象进行语音交互。
在一个示例中，智能镜100还可以包括温湿度传感器，通过测量对象周围环境的温湿度来模型的背景。
在一个示例中，显示单元105可以被设置为触摸屏。
图3示出了根据本发明实施例的处理单元进行建模的概略流程图。根据以上描述可知，建模处理可以包括用于粗略建模的步骤41和用于模型精细修整、修复的步骤42。
图4示出了根据本发明实施例的处理单元中粗略建模的流程图。以下参考图4说明粗略建模41的流程。
在步骤411中，首先经由全局快门深度摄像头获得对象的全局点云数据。
在步骤412中，利用均值滤波方法或中值滤波方法等方法对步骤411中获得的全局点云数据进行滤波处理，用于平滑图像、滤除背景噪声。
在步骤413中，利用阈值门限或者其它前景检测方法分割出前景部分。
在步骤414中，在步骤413中分割出的前景部分中检测关键点，关键点例如为人体的关节等。
在步骤415中，基于在步骤414中获得的关键点，拟合出与对象的形体相当的骨骼模型。
至此，获得了对象的粗略模型。
以上虽然参考图4中示出的各个步骤的顺序描述了进行粗略建模的流程，但是步骤412至步骤415均是可选的。
备选地，可以在步骤411之后，直接检测点云数据中的关键点，从而获得骨骼模型。
图5示出了根据本发明实施例的处理单元中精细模型修整的流程图。以下参考图5描述基于对象的骨骼模型进行精细修整、修复的处理。
在步骤421中，经由卷帘快门深度摄像头获得卷帘点云数据。
在步骤422中，基于在步骤421中获得的点云数据，获得诸如关节、额头、下巴、胸、肚、臀之类的关键点，然后将在步骤422中识别出的关键点与粗略骨骼模型中的对应的关键点进行配准。
在步骤423中，针对在步骤422中识别出的关键点，进行表面点位测量，测量出各个关键点的深度数据。
在步骤424中，针对各个关键点中的每一个关键点，基于骨骼模型中的关键点的深度数据来对骨骼粗略模型进行参数调整。
具体地，将骨骼模型中的关键点的深度数据与在步骤423中获得的深度数据进行比较，如果二者之间的差值小于阈值，则认为该关键点为低奇点；如果二者之间的差值大于阈值，则认为该关键点的高奇点。
针对低奇点，采用中心扩散邻域平均的方法调整骨骼模型中的该关键点的深度；针对高奇点，采用邻域比对腐蚀法来调整骨骼模型中的该关键点的深度。
在步骤425中，对在步骤424中进行参数调整后的模型进行纹理和色彩重建。
在步骤426中，获得与对象几乎完全一致的精细模型。
在一个示例中，在步骤423和424之间，可选地，还可以包括步骤427。
在可选步骤427中，针对各个关键点中的每一个关键点确定一个关键点是否与多个点位测量数据相对应。如果存在多个对应的点位测量数据，则处理从步骤427进行到步骤428，将针对该关键点的表面点位测量数据进行比较，选择其中深度数据最小的表面点位数据作为针对该关键点的点位数据。
在一个示例中，也可以选择深度数据最大的表面点位测量数据作为针对该关键点的点位数据。
在另一示例中，也可以选择这些表面点位数据的平均值作为针对该关键点的点位数据。
之后，处理从步骤428进行到步骤424，并且以选择的点位数据针对该关键点进行参数调整。
在一个关键点仅与一个点位测量数据相对应的情况下，则处理从步骤427进行到步骤424，并且基于该对应的一个点位测量数据来参数调整该关键点。
尽管以上参考图5中所示的各个步骤的顺序描述了精细建模过程，但是可以在没有其中的一个步骤或多个步骤的情况下实现本发明构思，或者可以将多个步骤组合来实现本发明构思。
图6示出了根据发明实施例的实现模型动态运动的流程图。如图所示，在步骤61中，经由全局快门深度摄像头实时获得对象的关键点数据。
在步骤62中，基于在步骤61中获得的关键点数据，来配准精细模型中的对应关键点，从而使得精细模型中的对应的关键点移动到当前实际位置。
由于精细模型运动时，仅需关键点的位置配准即可，而无需重建模型，因此，精细模型的运动与对象的运动可以实质上是同步的，从而实现更好的实时交互效果。
尽管以上按照图3至图6中所示的流程图中示出的各个步骤的顺序描述了建模处理，但是，本领域技术人员应当理解，上述各个步骤可以以不同于所示的顺序的其它顺序来进行。
此外，尽管以上各个框图中示出了多个组件，但是本领域技术人员应当理解，可以在缺少一个或多个组件或将某些组件组合的情况下实现本发明的实施例。
此外，尽管以上根据附图中所示的顺序对各个步骤进行了描述，但是本领域技术人员应当理解，可以在没有上述步骤中的一个或多个步骤的情况下实现本发明的实施例。
根据前述内容可以理解，一个或多个系统或设备的电子组件可以包括但不限于至少一个处理单元、存储器、以及将包括存储器在内的各个组件耦接到处理单元的通信总线或通信装置。系统或设备可以包括或可以访问各种设备可读介质。系统存储器可以包括易失性和/或非易失性存储器形式的设备可读存储介质(比如，只读存储器(ROM)和/或随机存取存储器(RAM))。通过示例而非限制的方式，系统存储器还可以包括操作系统、应用程序、其它程序模块和程序数据。
实施例可以实现为系统、方法或程序产品。因此，实施例可以采用全硬件实施例或者包括软件(包括固件、常驻软件、微代码等)的实施例的形式，它们在本文中可以统称为“电路”、“模块”或“系统”。此外，实施例可以采取在其上体现有设备可读程序代码的至少一个设备可读介质中体现的程序产品的形式。
可以使用设备可读存储介质的组合。在本文档的上下文中，设备可读存储介质(“存储介质”)可以是任何有形的非信号介质，其可以包含或存储由配置为由指令执行系统、装置或设备使用或与其结合使用的程序代码组成的程序。出于本公开的目的，存储介质或设备应被解释为非暂时性的，即不包括信号或传播介质。
本公开出于说明和描述目的得以呈现，但是并非旨在穷举或限制。许多修改和变化对于本领域普通技术人员将是明显的。选择和描述实施例以便说明原理和实际应用，并且使本领域普通技术人员能理解具有适合于所预期的特定用途的各种修改的本公开的各种实施例。
Claims (31)
1.一种三维图像识别装置，包括：
第一深度图像采集装置，被配置为获得对象的第一点云数据；
第二深度图像采集装置和第三深度图像采集装置，均被配置为获得对象的第二点云数据；
处理单元，被配置为：
基于所述第一点云数据建立粗略模型；
基于所述第二点云数据对所述粗略模型进行修整，获得精细模型；以及
基于所述第一点云数据和所述精细模型，使得所述精细模型动态运动；以及
显示单元，被配置为呈现动态或静态的精细模型。
2.根据权利要求1所述的三维图像识别装置，其中：
所述第一深度图像采集装置是全局快门深度摄像头；以及
所述第二深度图像采集装置和所述第三深度图像采集装置是卷帘快门深度摄像头。
3.根据权利要求1所述的三维图像识别装置，其中，所述处理单元还被配置为：
基于所述第一点云数据来检测第一关键点，从而提取对象骨骼，建立所述粗略模型。
4.根据权利要求3所述的三维图像识别装置，其中，所述处理单元还被配置为：
对所述第一点云数据进行滤波处理，基于滤波处理后的点云数据检测所述第一关键点，从而提取对象骨骼，建立所述粗略模型。
5.根据权利要求4所述的三维图像识别装置，其中，所述处理单元还被配置为：
对滤波处理后的第一点云数据进行阈值门限分割获得前景部分，然后在前景部分中检测所述第一关键点，从而提取对象骨骼，建立所述粗略模型。
6.根据权利要求3-5中任一项所述的三维图像识别装置，其中，所述处理单元还被配置为：
基于所述第一关键点，拟合出所述粗略模型。
7.根据权利要求1所述的三维图像识别装置，其中，所述处理单元还被配置为：
在建立所述粗略模型之后，基于所述第二点云数据来检测第二关键点；以及
将所述第二关键点与所述第一关键点进行配准。
8.根据权利要求7所述的三维图像识别装置，其中，所述处理单元还被配置为：
至少通过所述第二深度图像采集装置和所述第三深度图像采集装置之一，针对配准后的关键点进行表面点位测量，获得针对被测关键点的点位数据；以及
利用所述点位数据对所述粗略模型进行参数调整，从而获得所述精细模型。
9.根据权利要求8所述的三维图像识别装置，其中，所述处理单元还被配置为：
针对配准后的关键点中的每一个关键点，判断一个关键点是否与多个点位数据相对应，其中，
在一个关键点与多个点位数据相对应的情况下，则选择所述多个点位数据中深度值小的作为针对所述一个关键点的点位数据。
10.根据权利要求8所述的三维图像识别装置，其中：
针对配准后的关键点中的每一个关键点，判断一个关键点是否与多个点位数据相对应，其中，
在一个关键点与多个点位数据相对应的情况下，则选择所述多个点位数据中深度值大的作为针对所述一个关键点的点位数据。
11.根据权利要求8所述的三维图像识别装置，其中：
针对配准后的关键点中的每一个关键点，判断一个关键点是否与多个点位数据相对应，其中，
在一个关键点与多个点位数据相对应的情况下，则将所述多个点位数据的平均深度值作为针对所述一个关键点的点位数据。
12.根据权利要求8所述的三维图像识别装置，所述处理单元还被配置为：
将针对关键点的点位数据中的深度数据与所述粗略模型中的对应关键点的深度数据进行比较，在二者之间的差值大于阈值的情况下，将所述粗略模型的该对应关键点确定为高极点；在二者之间的差值小于阈值的情况下，将所述粗略模型的该对应关键点确定为低极点。
13.根据权利要求12所述的三维图像识别装置，所述处理单元还被配置为：
对于所述低奇点，利用中心扩散邻域平均方法进行参数调整；以及
对于所述高奇点，利用邻域比对腐蚀法进行参数调整。
14.根据权利要求1所述的三维图像识别装置，其中，所述处理单元还被配置为：
在获得所述精细模型之后，基于第一深度图像采集装置来检测对象的第一关键点的当前位置；以及
基于所述对象的第一关键点的当前位置来移动所述精细模型中的对应第一关键点的位置，从而使得所述精细模型动态运动。
15.根据权利要求1所述的三维图像识别装置，其中，所述处理单元还被配置为：
在基于所述第二点云数据对所述粗略模型进行修整之后，对修正后的模型进行表面纹理和色彩重建。
16.一种三维图像识别方法，包括：
获得对象的第一点云数据；
获得对象的第二点云数据；
基于所述第一点云数据建立粗略模型；
基于所述第二点云数据对所述粗略模型进行修整，获得精细模型；以及
基于所述第一点云数据和所述精细模型，使得所述精细模型动态运动。
17.根据权利要求16所述的三维图像识别方法，其中，所述基于所述第一点云数据建立粗略模型包括：
基于所述第一点云数据来检测第一关键点，从而提取对象骨骼，建立所述粗略模型。
18.根据权利要求17所述的三维图像识别方法，其中，所述基于所述第一点云数据建立粗略模型还包括：
对所述第一点云数据进行滤波处理，基于滤波处理后的点云数据检测所述第一关键点，从而提取对象骨骼，建立所述粗略模型。
19.根据权利要求18所述的三维图像识别方法，其中：所述基于所述第一点云数据建立粗略模型还包括：
对滤波处理后的第一点云数据进行阈值门限分割获得前景部分，然后在前景部分中检测所述第一关键点，从而提取对象骨骼，建立所述粗略模型。
20.根据权利要求17-19中任一项所述的三维图像识别方法，其中，所述基于所述第一点云数据建立粗略模型还包括：
基于所述第一关键点，拟合出所述粗略模型。
21.根据权利要求16所述的三维图像识别方法，其中，所述基于所述第二点云数据对所述粗略模型进行修整获得精细模型包括：
基于所述第二点云数据，检测第二关键点；以及
将所述第二关键点与所述第一关键点进行配准。
22.根据权利要求21所述的三维图像识别方法，其中，所述基于所述第二点云数据对所述粗略模型进行修整获得精细模型还包括：
针对配准后的关键点进行表面点位测量，获得针对被测关键点的点位数据；以及
利用所述点位数据对所述粗略模型进行参数调整，从而获得所述精细模型。
23.根据权利要求22所述的三维图像识别方法，其中，所述基于所述第二点云数据对所述粗略模型进行修整获得精细模型还包括：
针对配准后的关键点中的每一个关键点，判断一个关键点是否与多个点位数据相对应，其中，
在一个关键点与多个点位数据相对应的情况下，则选择所述多个点位数据中深度值小的作为针对所述一个关键点的点位数据。
24.根据权利要求22所述的三维图像识别方法，其中，所述基于所述第二点云数据对所述粗略模型进行修整获得精细模型还包括：
针对配准后的关键点中的每一个关键点，判断一个关键点是否与多个点位数据相对应，其中，
在一个关键点与多个点位数据相对应的情况下，则选择所述多个点位数据中深度值大的作为针对所述一个关键点的点位数据。
25.根据权利要求22所述的三维图像识别方法，其中，所述基于所述第二点云数据对所述粗略模型进行修整获得精细模型还包括：
针对配准后的关键点中的每一个关键点，判断一个关键点是否与多个点位数据相对应，其中，
在一个关键点与多个点位数据相对应的情况下，则将所述多个点位数据的平均深度值作为针对所述一个关键点的点位数据。
26.根据权利要求22所述的三维图像识别方法，其中，所述利用所述点位数据对所述粗略模型进行参数调整从而获得所述精细模型包括：
将针对关键点的点位数据中的深度数据与所述粗略模型中的对应关键点的深度数据进行比较，在二者之间的差值大于阈值的情况下，将所述粗略模型的该对应关键点确定为高极点；在二者之间的差值小于阈值的情况下，将所述粗略模型的该对应关键点确定为低极点。
27.根据权利要求26所述的三维图像识别方法，其中，所述利用所述点位数据对所述粗略模型进行参数调整从而获得所述精细模型还包括：
对于所述低奇点，利用中心扩散邻域平均方法进行参数调整；以及
对于所述高奇点，利用邻域比对腐蚀法进行参数调整。
28.根据权利要求16所述的三维图像识别方法，其中，所述基于所述第一点云数据和所述精细模型使得所述精细模型动态运动包括：
在获得所述精细模型之后，检测对象的第一关键点的当前位置；以及
基于所述对象的第一关键点的当前位置来移动所述精细模型中的第一对应关键点的位置，从而使得所述精细模型动态运动。
29.根据权利要求16所述的三维图像识别方法，还包括：
在基于所述第二点云数据对所述粗略模型进行修整之后，对修正后的模型进行表面纹理和色彩重建。
30.一种计算机程序产品，能够从通信网络下载和/或记录在能够由计算机读取的介质上和/或能够由处理器执行，所述计算机程序产品包括用于实现根据权利要求16至29中任一项所述的方法的程序代码指令。
31.一种非暂时性计算机可读介质，包括记录在其上且能够由处理器运行的计算机程序产品，所述计算机程序产品包括用于实现根据权利要求16至29中任一项所述的方法的程序代码指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910108663.8A CN109685042A (zh) | 2019-02-03 | 2019-02-03 | 一种三维图像识别装置及其识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910108663.8A CN109685042A (zh) | 2019-02-03 | 2019-02-03 | 一种三维图像识别装置及其识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109685042A true CN109685042A (zh) | 2019-04-26 |
Family
ID=66194264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910108663.8A Pending CN109685042A (zh) | 2019-02-03 | 2019-02-03 | 一种三维图像识别装置及其识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109685042A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112146564A (zh) * | 2019-06-28 | 2020-12-29 | 先临三维科技股份有限公司 | 三维扫描方法、装置、计算机设备和计算机可读存储介质 |
| CN113066109A (zh) * | 2021-05-06 | 2021-07-02 | 北京爱康宜诚医疗器材有限公司 | 骨盆配准方法、骨盆配准装置和骨盆配准系统 |
| CN113077498A (zh) * | 2021-05-06 | 2021-07-06 | 北京爱康宜诚医疗器材有限公司 | 骨盆配准方法、骨盆配准装置和骨盆配准系统 |
| CN113077499A (zh) * | 2021-05-06 | 2021-07-06 | 北京爱康宜诚医疗器材有限公司 | 骨盆配准方法、骨盆配准装置和骨盆配准系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598915A (zh) * | 2014-01-24 | 2015-05-06 | 深圳奥比中光科技有限公司 | 一种手势识别方法与装置 |
| CN108027441A (zh) * | 2015-09-08 | 2018-05-11 | 微视公司 | 混合模式深度检测 |
| CN108122275A (zh) * | 2017-12-22 | 2018-06-05 | 清华大学 | 基于骨架跟踪的动态实时三维人体重建方法及系统 |
| WO2018107679A1 (zh) * | 2016-12-12 | 2018-06-21 | 华为技术有限公司 | 一种动态三维图像获取的方法和设备 |
| CN109146935A (zh) * | 2018-07-13 | 2019-01-04 | 中国科学院深圳先进技术研究院 | 一种点云配准方法、装置、电子设备及可读存储介质 |
-
2019
- 2019-02-03 CN CN201910108663.8A patent/CN109685042A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598915A (zh) * | 2014-01-24 | 2015-05-06 | 深圳奥比中光科技有限公司 | 一种手势识别方法与装置 |
| CN108027441A (zh) * | 2015-09-08 | 2018-05-11 | 微视公司 | 混合模式深度检测 |
| WO2018107679A1 (zh) * | 2016-12-12 | 2018-06-21 | 华为技术有限公司 | 一种动态三维图像获取的方法和设备 |
| CN108122275A (zh) * | 2017-12-22 | 2018-06-05 | 清华大学 | 基于骨架跟踪的动态实时三维人体重建方法及系统 |
| CN109146935A (zh) * | 2018-07-13 | 2019-01-04 | 中国科学院深圳先进技术研究院 | 一种点云配准方法、装置、电子设备及可读存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112146564A (zh) * | 2019-06-28 | 2020-12-29 | 先临三维科技股份有限公司 | 三维扫描方法、装置、计算机设备和计算机可读存储介质 |
| CN112146564B (zh) * | 2019-06-28 | 2022-04-15 | 先临三维科技股份有限公司 | 三维扫描方法、装置、计算机设备和计算机可读存储介质 |
| CN113066109A (zh) * | 2021-05-06 | 2021-07-02 | 北京爱康宜诚医疗器材有限公司 | 骨盆配准方法、骨盆配准装置和骨盆配准系统 |
| CN113077498A (zh) * | 2021-05-06 | 2021-07-06 | 北京爱康宜诚医疗器材有限公司 | 骨盆配准方法、骨盆配准装置和骨盆配准系统 |
| CN113077499A (zh) * | 2021-05-06 | 2021-07-06 | 北京爱康宜诚医疗器材有限公司 | 骨盆配准方法、骨盆配准装置和骨盆配准系统 |
| CN113077498B (zh) * | 2021-05-06 | 2024-01-23 | 北京爱康宜诚医疗器材有限公司 | 骨盆配准方法、骨盆配准装置和骨盆配准系统 |
| CN113066109B (zh) * | 2021-05-06 | 2024-01-23 | 北京爱康宜诚医疗器材有限公司 | 骨盆配准方法、骨盆配准装置和骨盆配准系统 |
| CN113077499B (zh) * | 2021-05-06 | 2024-01-23 | 北京爱康宜诚医疗器材有限公司 | 骨盆配准方法、骨盆配准装置和骨盆配准系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109685042A (zh) | 一种三维图像识别装置及其识别方法 | |
| WO2020215961A1 (zh) | 面向室内环境控制的人员信息检测方法与系统 | |
| US9224037B2 (en) | Apparatus and method for controlling presentation of information toward human object | |
| EP2893479B1 (en) | System and method for deriving accurate body size measures from a sequence of 2d images | |
| AU2014304760B2 (en) | Devices, systems and methods of virtualizing a mirror | |
| CN102694969B (zh) | 图像处理装置和图像处理方法 | |
| CN108475439B (zh) | 三维模型生成系统、三维模型生成方法和记录介质 | |
| JP5715833B2 (ja) | 姿勢状態推定装置および姿勢状態推定方法 | |
| CN107852533A (zh) | 三维内容生成装置及其三维内容生成方法 | |
| JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
| CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
| JP6207210B2 (ja) | 情報処理装置およびその方法 | |
| CN110264493A (zh) | 一种针对运动状态下的多目标对象追踪方法和装置 | |
| CN105407346A (zh) | 影像分割方法 | |
| CN110263768A (zh) | 一种基于深度残差网络的人脸识别方法 | |
| JP2016170610A (ja) | 三次元モデル処理装置およびカメラ校正システム | |
| US20230222680A1 (en) | System and method for mobile 3d scanning and measurement | |
| CN110021029A (zh) | 一种适用于rgbd-slam的实时动态配准方法及存储介质 | |
| JP6109288B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| RU2370817C2 (ru) | Система и способ отслеживания объекта | |
| JP2014178969A (ja) | 情報処理装置及び判定方法 | |
| KR20210027028A (ko) | 신체 측정 디바이스 및 그 제어 방법 | |
| JP2015230616A (ja) | 画像処理方法および画像処理装置 | |
| CN116486480A (zh) | 一种基于点云的人体跌倒检测方法及装置 | |
| Berueco et al. | Age Estimation Using Support Vector Machine–Sequential Minimal Optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190426 |
|
| RJ01 | Rejection of invention patent application after publication |