CN110163157A - 一种利用新型损失函数进行多人姿态估计的方法 - Google Patents
一种利用新型损失函数进行多人姿态估计的方法 Download PDFInfo
- Publication number
- CN110163157A CN110163157A CN201910438591.3A CN201910438591A CN110163157A CN 110163157 A CN110163157 A CN 110163157A CN 201910438591 A CN201910438591 A CN 201910438591A CN 110163157 A CN110163157 A CN 110163157A
- Authority
- CN
- China
- Prior art keywords
- joint
- people
- node
- thermal map
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种利用新型损失函数进行多人姿态估计的方法,该发明使用的模型由两个关键的部分组成:候选关节的单人姿态估计和全局最大的关节关联算法。本发明使用全局视图解决目标干扰问题,采用自上而下的框架,首先检测个人,然后进行执行单人姿态估计,输出每个候选关节的位置列表,然后利用关联算法将候选关节点构成一个person‑joints的连接图,最后用全局最大的关节联合算法求解图中关节点得出最终姿态。本发明使用图模型对每个关节和全局关联进行多重预测,对于拥挤场景中的不可避免的干扰以及非常有效的推理具有鲁棒性。
Description
技术领域
本发明属于计算机视觉域技术领域,特别涉及一种利用新型损失函数进行多人姿态估计的方法。
背景技术
为了更好地评估拥挤场景中的人体姿态估计算法并促进该领域的发展,我们收集了拥挤的人体姿势的数据集。我们定义了一个人群指数来衡量图像的拥挤程度。我们的数据集中的图像在[0,1]中具有均匀分布的人群指数,这意味着只有在不拥挤和拥挤的场景上表现良好的算法才能在我们的数据集中获得高分。当使用相同的基于ResNet-101的网络骨干网时,我们的方法在我们的数据集上超过了4.8mAP的所有状态方法。此外,我们用我们的模块替换最先进方法中的SPPE 和后处理步骤,并为MSCOCO数据集带来0.8mAP的改进。也就是说,我们的方法通常可以在非拥挤的场景中工作。
多人姿态估计使用的大多数方法大致可分为两类:i)自上而下的方法,首先检测每个人,然后进行单人姿势估计,或ii)自下而上的方法,先检测身体部件,然后在检测个体。
为了评估多人姿势估计算法的性能,建立了几个公共基准,如MSCOCO,MPII 和AIChallenger。在这些基准测试中,图像通常是从日常生活中收集的,其中拥挤的场景出现频率较低。结果,这些基准中的大多数图像在人类之间几乎没有相互遮挡。例如,在MSCOCO数据(人员子集)中,67.01%的图像没有重叠的人。目前的方法在这些数据集上获得了令人鼓舞的成功
发明内容
技术问题:发明所要解决的技术问题是在拥挤场景中设计新型的损失函数来提高多人姿态估计的问题的鲁棒性。
技术方案:为了实现上述目的,本发明采用以下技术方案:
一种利用新型损失函数进行多人姿态估计的方法,包括以下步骤:
步骤1)输入图像I,所述图像I为包含多个人的图像;
步骤2)将I中包含的所有个体检测出,并使用矩形边界框框出,设Ri为第i个人的矩形框区域;
步骤3)在数据集上训练一个单人姿态估计网络,该单人姿态估计网络为 stackedhourglass网络,所述stacked hourglass网络为堆叠沙漏网络,用于捕获并整合图像所有尺度的信息;
步骤31)将Stacked Hourglass网络的步长设为2,filter为7*7的卷积层,利用卷积层以及池化层将特征降低分辨率,每一个池化层处,网络进行分叉,并对原来分辨率特征进行卷积,得到分辨率特征;
步骤32)当到达最低的分辨率时,网络进行上采样,并结合不同尺度特征信息,所述上采样为最邻近插值;
步骤33)当到达输出分辨率时,采用两个连续1*1卷积层进行处理;
步骤34)将Ri中关节分成两类,将属于第i个人的关节设为目标关节,属于其他人体的关节设为干扰关节;将目标关节的热图表示为所述为第i个人中的第k个目标关节的热图,由2D高斯组成,以为中心,具有标准偏差σ,所述为目标关节第i个人的第k个关节的位置;将干扰关节表示为集合干扰关节的热图表示为所述为第i个人中的第k个干扰关节的热图,由高斯混合分布组成,所述p为干扰关节的位置;
步骤35)设计新型损失函数对网络进行训练,损失函数为: 其中:为第i个人中的第k个关节的热图,μ是[0,1] 范围内的衰减系数,进行交叉验证在全局视图中考虑μ的值;
步骤4)将Ri输入训练好的stacked hourglass网络进行单人姿态估计;最终得到输出两种候选关节不同强度输出Qi,所述Qi为第i个人的热图,即关节点在每个像素点存在的概率;
步骤5)使用以下标准对候选关节进行分组:给位于和的两个候选关节定义一个控制偏差δk,所述为第1个人的第k个关节的位置,为第2个人的第k个关节的位置,当时,将和标记为相同的组,所述是热图上第1个人第k个关节的高斯响应大小,是热图上第2个人第k个关节的高斯响应大小,由高斯响应偏差确定;δ(k)是控制第k关节偏差的参数;用一个节点表示满足该标准的聚集在一起的一组关节;构建一个关节组作为一个节点,设置关节点集 所述K为关节数,所述Nk为关节k的节点数,关节点是关节k的第j个节点,J中的关节点总数为∑kNk;
步骤6)将所有的人节点集合表示为所述人节点为步骤2)中检测到的矩形框;hi是第i个人节点,M是矩形框的数量;
步骤7)在获得关节点和人节点后,用关联算法将关节点和人节点连接起来构建person-joint图,当关节点包含来自第i个人节点hi的候选关节时,在和 hi之间构建边缘的权重是该候选关节的响应值,表示为通过这种方式,构造边集人物关节图写成:G=((H,J),E);
步骤8)求解关节图和最大化总边缘的权重,目标函数如下:
其中:表示是否在最终图中保留边缘方程的约束;由于关节之间是相互独立的,将G分解为子图Gk=((H,J(k)),E(k)),其中: 和因此,目标函数表示为:
步骤9)分别求解子图Gk,Gk是由人的子集和第k个关节的子集组成的二分图;分别寻址每个Gk,获得结果集R,给出图匹配结果为:当时,的加权中心被分配给第i个人类方案作为其第k个关节;加权中心中候选关节坐标的线性组合,权重是加权中心的热图响应分数;通过这种方式,构建每个个体的姿势;删除无法匹配任何关节的人员节点。
进一步地,所述步骤35)中,新型损失函数:中μ取0.5;μ取值需满足当前关节为目标关节时,增强热图Qi中目标关节的响应;当前关节不是目标关节时,抑制干扰关节的响应,所述抑制不是直接对干扰关节进行抑制,此时的干扰节点看做其他目标的目标关节。
进一步地,所述步骤5)中,使用而不是恒定阈值的原因是为了保证只有当落入半径为的控制域以及落入半径为的控制域时,将和组合在一起。
有益效果:与现有技术相比,本发明具有以下有益效果:
本发明使用图模型对每个关节和全局关联进行多重预测,对于拥挤场景中的不可避免的干扰以及非常有效的推理具有鲁棒性。本发明利用新型损失函数进行多人姿态估计,在考虑目标关节的同时保留了干扰关节,并根据关节的不同类别分别计算损失值,即抑制了干扰关节又保留了干扰关节,使得在拥挤场景中估计更加准确和可靠。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明:
一种利用新型损失函数进行多人姿态估计的方法,包括以下步骤:
步骤1)输入图像I,所述图像I为包含多个人的图像;
步骤2)利用YOLO v3行人探测器将图像I中包含个体检测出,并使用矩形框框出,设Ri为第i个人的矩形框区域;
步骤3)在数据集上训练一个单人姿态估计网络,在训练步骤中,输入分辨率为320×256图像,该单人姿态估计网络为stacked hourglass网络,所述stacked hourglass网络为堆叠沙漏网络,用于捕获并整合图像所有尺度的信息;
步骤31)将Stacked Hourglass网络的步长设为2,filter为7*7的卷积层,利用卷积层以及池化层将特征降低到80×64分辨率,每一个池化层处,网络进行分叉,并对原来分辨率特征进行卷积,得到分辨率特征;
步骤32)当到达最低的分辨率时,网络进行上采样,并结合不同尺度特征信息,所述上采样为最邻近插值;
步骤33)当到达输出分辨率时,采用两个连续1*1卷积层进行处理;
步骤34)将Ri中关节分成两类,将属于第i个人的关节设为目标关节,属于其他人体的关节设为干扰关节;将目标关节的热图表示为所述为第i个人中的第k个目标关节的热图,由2D高斯组成,以为中心,具有标准偏差σ,所述为目标关节第i个人的第k个关节的位置;将干扰关节表示为集合干扰关节的热图表示为所述为第i个人中的第k个干扰关节的热图,由高斯混合分布组成,所述p为干扰关节的位置;
步骤35)设计新型损失函数对网络进行训练,损失函数为: 其中:为第i个人中的第k个关节的热图,μ是[0,1] 范围内的衰减系数,进行交叉验证在全局视图中考虑μ的值;
所述步骤35)中,新型损失函数:中μ取 0.5;μ取值需满足当前关节为目标关节时,增强热图Qi中目标关节的响应;当前关节不是目标关节时,抑制干扰关节的响应,所述抑制不是直接对干扰关节进行抑制,此时的干扰节点看做其他目标的目标关节
步骤4)将Ri输入训练好的stacked hourglass网络进行单人姿态估计;最终得到输出两种候选关节不同强度输出Qi,所述Qi为第i个人的热图,即关节点在每个像素点存在的概率;
步骤5)使用以下标准对候选关节进行分组:给位于和的两个候选关节定义一个控制偏差δk,所述和为第1、第2个人的第k个关节的位置,当时,将和标记为相同的组,所述是热图上第1个人第k个关节的高斯响应大小,是热图上第2个人第k个关节的高斯响应大小,由高斯响应偏差确定;δ(k)是控制第k关节偏差的参数;用一个节点表示满足该标准的聚集在一起的一组关节;构建一个关节组作为一个节点,设置关节点集 j∈{1,...,Nk}},所述K为关节数,所述Nk为关节k的节点数,是关节k的第j个节点,J中的关节点总数为∑kNk;
所述步骤5)中,使用而不是恒定阈值的原因是为了保证只有当落入半径为的控制域以及落入半径为的控制域时,将和组合在一起;
步骤6)将所有的人节点集合表示为所述人节点为步骤2)中检测到的矩形框;hi是第i个人节点,M是矩形框的数量;
步骤7)在获得关节点和人节点后,用关联算法将关节点和人节点连接起来构建person-joint图,当关节点包含来自第i个人节点hi的候选关节时在和 hi之间构建边缘的权重是该候选关节的响应值,表示为通过这种方式,构造边集人物关节图写成:G=((H,J),E);
步骤8)求解关节图和最大化总边缘的权重,目标函数如下:
其中:表示是否在最终图中保留边方程的约束;由于关节之间是相互独立的,将G分解为子图Gk=((H,J(k)),E(k)),其中和因此,目标函数表示为:
步骤9)分别求解子图Gk,Gk是由人的子集和第k个关节的子集组成的二分图;分别寻址每个Gk,获得结果集R,给出图匹配结果为:当时的加权中心被分配给第i个人类方案作为其第k个关节;加权中心中候选关节坐标的线性组合,权重是加权中心的热图响应分数;通过这种方式,构建每个个体的姿势;删除无法匹配任何关节的人员节点。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种利用新型损失函数进行多人姿态估计的方法,其特征在于,包括以下步骤:
步骤1)输入图像I,所述图像I为包含多个人的图像;
步骤2)将I中包含的所有个体检测出,并使用矩形边界框框出,设Ri为第i个人的矩形框区域;
步骤3)在数据集上训练一个单人姿态估计网络,该单人姿态估计网络为stackedhourglass网络,所述stacked hourglass网络为堆叠沙漏网络,用于捕获并整合图像所有尺度的信息;
步骤31)将Stacked Hourglass网络的步长设为2,filter为7*7的卷积层,利用卷积层以及池化层将特征降低分辨率,每一个池化层处,网络进行分叉,并对原来分辨率特征进行卷积,得到分辨率特征;
步骤32)当到达最低的分辨率时,网络进行上采样,并结合不同尺度特征信息,所述上采样为最邻近插值;
步骤33)当到达输出分辨率时,采用两个连续1*1卷积层进行处理;
步骤34)将Ri中关节分成两类,将属于第i个人的关节设为目标关节,属于其他人体的关节设为干扰关节;将目标关节的热图表示为所述为第i个人中的第k个目标关节的热图,由2D高斯组成,以为中心,具有标准偏差σ,所述为目标关节第i个人的第k个关节的位置;将干扰关节表示为集合干扰关节的热图表示为所述为第i个人中的第k个干扰关节的热图,由高斯混合分布组成,所述p为干扰关节的位置;
步骤35)设计新型损失函数对网络进行训练,损失函数为: 其中:为第i个人中的第k个关节的热图,μ是[0,1]范围内的衰减系数,进行交叉验证在全局视图中考虑μ的值;
步骤4)将Ri输入训练好的stacked hourglass网络进行单人姿态估计;最终得到输出两种候选关节不同强度输出Qi,所述Qi为第i个人的热图,即关节点在每个像素点存在的概率;
步骤5)使用以下标准对候选关节进行分组:给位于和的两个候选关节定义一个控制偏差δk,所述为第1个人的第k个关节的位置,为第2个人的第k个关节的位置,当时,将和标记为相同的组,所述是热图上第1个人第k个关节的高斯响应大小,是热图上第2个人第k个关节的高斯响应大小,由高斯响应偏差确定;δ(k)是控制第k关节偏差的参数;用一个节点表示满足该标准的聚集在一起的一组关节;构建一个关节组作为一个节点,设置关节点集 所述K为关节数,所述Nk为关节k的节点数,关节点是关节k的第j个节点,J中的关节点总数为∑kNk;
步骤6)将所有的人节点集合表示为所述人节点为步骤2)中检测到的矩形框;hi是第i个人节点,M是矩形框的数量;
步骤7)在获得关节点和人节点后,用关联算法将关节点和人节点连接起来构建person-joint图,当关节点包含来自第i个人节点hi的候选关节时,在和hi之间构建边缘 的权重是该候选关节的响应值,表示为通过这种方式,构造边集人物关节图写成:G=((H,J),E);
步骤8)求解关节图和最大化总边缘的权重,目标函数如下:
其中:表示是否在最终图中保留边缘方程的约束;由于关节之间是相互独立的,将G分解为子图Gk=((H,J(k)),E(k)),其中: 和因此,目标函数表示为:
步骤9)分别求解子图Gk,Gk是由人的子集和第k个关节的子集组成的二分图;分别寻址每个Gk,获得结果集R,给出图匹配结果为:当时,的加权中心被分配给第i个人类方案作为其第k个关节;加权中心中候选关节坐标的线性组合,权重是加权中心的热图响应分数;通过这种方式,构建每个个体的姿势;删除无法匹配任何关节的人员节点。
2.根据权利要求1所述的一种利用新型损失函数进行多人姿态估计的方法,其特征在于,所述步骤35)中,新型损失函数:中μ取0.5;μ取值需满足当前关节为目标关节时,增强热图Qi中目标关节的响应;当前关节不是目标关节时,抑制干扰关节的响应,所述抑制不是直接对干扰关节进行抑制,此时的干扰节点看做其他目标的目标关节。
3.根据权利要求1所述的一种利用新型损失函数进行多人姿态估计的方法,其特征在于,所述步骤5)中,使用保证只有当落入半径为的控制域以及落入半径为的控制域时,将和组合在一起。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910438591.3A CN110163157A (zh) | 2019-05-24 | 2019-05-24 | 一种利用新型损失函数进行多人姿态估计的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910438591.3A CN110163157A (zh) | 2019-05-24 | 2019-05-24 | 一种利用新型损失函数进行多人姿态估计的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110163157A true CN110163157A (zh) | 2019-08-23 |
Family
ID=67632566
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910438591.3A Pending CN110163157A (zh) | 2019-05-24 | 2019-05-24 | 一种利用新型损失函数进行多人姿态估计的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110163157A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111695485A (zh) * | 2020-06-08 | 2020-09-22 | 深兰人工智能芯片研究院(江苏)有限公司 | 一种基于yolo和sppe的酒店发小卡片检测方法 |
CN111898566A (zh) * | 2020-08-04 | 2020-11-06 | 成都井之丽科技有限公司 | 姿态估计方法、装置、电子设备和存储介质 |
CN113343762A (zh) * | 2021-05-07 | 2021-09-03 | 北京邮电大学 | 人体姿态估计分组模型训练方法、姿态估计方法及装置 |
CN114241051A (zh) * | 2021-12-21 | 2022-03-25 | 盈嘉互联(北京)科技有限公司 | 一种室内复杂场景的物体姿态估计方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108229445A (zh) * | 2018-02-09 | 2018-06-29 | 深圳市唯特视科技有限公司 | 一种基于级联金字塔网络的多人姿态估计方法 |
CN108549844A (zh) * | 2018-03-22 | 2018-09-18 | 华侨大学 | 一种基于多层分形网络和关节亲属模式的多人姿态估计方法 |
-
2019
- 2019-05-24 CN CN201910438591.3A patent/CN110163157A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108229445A (zh) * | 2018-02-09 | 2018-06-29 | 深圳市唯特视科技有限公司 | 一种基于级联金字塔网络的多人姿态估计方法 |
CN108549844A (zh) * | 2018-03-22 | 2018-09-18 | 华侨大学 | 一种基于多层分形网络和关节亲属模式的多人姿态估计方法 |
Non-Patent Citations (2)
Title |
---|
ALEJANDRO NEWELL ET AL.: "Stacked Hourglass Networks for Human Pose Estimation", 《ARXIV》 * |
JIEFENG LI ET AL.: "CrowdPose: Efficient Crowded Scenes Pose Estimation and A New Benchmark", 《ARXIV》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111695485A (zh) * | 2020-06-08 | 2020-09-22 | 深兰人工智能芯片研究院(江苏)有限公司 | 一种基于yolo和sppe的酒店发小卡片检测方法 |
CN111898566A (zh) * | 2020-08-04 | 2020-11-06 | 成都井之丽科技有限公司 | 姿态估计方法、装置、电子设备和存储介质 |
CN113343762A (zh) * | 2021-05-07 | 2021-09-03 | 北京邮电大学 | 人体姿态估计分组模型训练方法、姿态估计方法及装置 |
CN113343762B (zh) * | 2021-05-07 | 2022-03-29 | 北京邮电大学 | 人体姿态估计分组模型训练方法、姿态估计方法及装置 |
CN114241051A (zh) * | 2021-12-21 | 2022-03-25 | 盈嘉互联(北京)科技有限公司 | 一种室内复杂场景的物体姿态估计方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110163157A (zh) | 一种利用新型损失函数进行多人姿态估计的方法 | |
Adhikari et al. | Activity recognition for indoor fall detection using convolutional neural network | |
CN106570486B (zh) | 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法 | |
CN104899866B (zh) | 一种智能化的红外小目标检测方法 | |
CN109522793A (zh) | 基于机器视觉的多人异常行为检测与识别方法 | |
CN107886507B (zh) | 一种基于图像背景和空间位置的显著区域检测方法 | |
CN110472525A (zh) | 一种时间序列遥感植被指数的噪声检测方法 | |
CN103605971B (zh) | 一种捕获人脸图像的方法及装置 | |
CN106846378B (zh) | 一种结合时空拓扑估计的跨摄像机目标匹配与跟踪方法 | |
CN104732186B (zh) | 基于局部子空间稀疏表示的单样本人脸识别方法 | |
CN107947874B (zh) | 基于WiFi信道状态信息的室内地图语义标识方法 | |
CN106373146A (zh) | 一种基于模糊学习的目标跟踪方法 | |
CN109190458A (zh) | 一种基于深度学习的小人头检测方法 | |
CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
CN105404894A (zh) | 无人机用目标追踪方法及其装置 | |
CN108986148A (zh) | 实现多智能小车协同搜索识别并跟踪特定目标群体的方法 | |
Gleason et al. | A Fusion Approach for Tree Crown Delineation from Lidar Data. | |
CN109241814A (zh) | 基于yolo神经网络的行人检测方法 | |
CN109360179A (zh) | 一种图像融合方法、装置及可读存储介质 | |
CN107464260A (zh) | 一种采用无人机的水稻冠层图像处理方法 | |
Liu et al. | Extended faster R-CNN for long distance human detection: Finding pedestrians in UAV images | |
CN110084284A (zh) | 基于区域卷积神经网络的目标检测与二级分类算法及装置 | |
CN108734200A (zh) | 基于bing特征的人体目标视觉检测方法和装置 | |
CN110321820A (zh) | 一种基于非接触式设备的视线落点检测方法 | |
CN112132157A (zh) | 一种基于树莓派的步态人脸融合识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190823 |
|
RJ01 | Rejection of invention patent application after publication |