CN111078014B - 一种多维数据采集应用方法及系统 - Google Patents
一种多维数据采集应用方法及系统 Download PDFInfo
- Publication number
- CN111078014B CN111078014B CN201911293438.2A CN201911293438A CN111078014B CN 111078014 B CN111078014 B CN 111078014B CN 201911293438 A CN201911293438 A CN 201911293438A CN 111078014 B CN111078014 B CN 111078014B
- Authority
- CN
- China
- Prior art keywords
- mobile terminal
- information
- target user
- image information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000003993 interaction Effects 0.000 claims abstract description 35
- 230000006399 behavior Effects 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims description 13
- 238000013480 data collection Methods 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 5
- 239000011521 glass Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种多维数据采集应用方法及系统，属于信息技术领域。本申请使用综合传感器采集距离信息、深度图像信息和RGB图像信息，将采集的信息整合成多维数据进行分析处理，判断用户与移动终端之间的距离是否在预设范围内；若用户在预设范围，则提取深度图像信息和RGB图像信息，根据此信息获取用户的性别、年龄和体态数据；根据深度图像信息和RGB图像信息判断用户是否与移动终端存在人机交互行为；若用户与移动终端不存在人机交互行为，则移动终端播放预存的与用户的性别、年龄和体态数据相匹配的商品信息。本申请的综合传感器由距离传感器、RGB摄像头和深度摄像头组成。本申请配备便捷、能提升消费体验，适于商业上推广应用。
Description
技术领域
本申请涉及信息技术领域，尤其涉及一种多维数据采集应用方法及系统。
背景技术
当今社会，信息的交互变的越来越习以为常。在各种商业应用的场景下，数据的采集及应用被广泛使用，形成一种新的商业形态。
在数据采集过程中，往往需要采集多组不同类型的数据，由于数据类型的差异化，通常需要依赖各种不同类型的传感器进行采集，那就不可避免地产生了在本地系统上连接多种传感器的现象，显得杂乱且不便于管理维护；另外，将多维数据与目标用户进行关联、交互，以满足实际商业应用方面，显得尤为不足。
基于现有技术中数据来源分散化，单一化、不整合的现状，需要提供一种整合式多维数据采集并将之应用于人机匹配式的商业化宣传方法及系统。
发明内容
本申请提供了一种多维数据采集应用方法及系统，以满足实际商业需求。
本申请所采用的技术方案如下：
本申请的一方面，提供一种多维数据采集应用方法，包括：
从综合传感器获取第一数据信息；
对所述第一数据信息进行分析处理，得到符合预定的结构化第二数据信息；
提取所述第二数据信息中的距离信息，根据所述距离信息判断目标用户与移动终端之间的距离是否在预设范围内；
若所述目标用户在所述预设范围，则继续提取所述第二数据信息中的深度图像信息和RGB图像信息，根据所述深度图像信息和所述RGB图像信息，获取目标用户的性别、年龄和体态数据；
提取所述第二数据信息中的深度图像信息和RGB图像信息，根据所述深度图像信息和所述RGB图像信息判断所述目标用户是否与所述移动终端存在人机交互行为；
若所述目标用户与所述移动终端不存在人机交互行为，则所述移动终端播放预存的与所述目标用户的性别、年龄和体态数据相匹配的商品信息。
进一步的，所述从综合传感器获取第一数据信息，包括：对获取的所述第一数据信息进行整合，形成综合的多维数据信息。
进一步的，所述人机交互行为是所述目标用户对所述移动终端扫码或所述目标用户触摸点击所述移动终端。
进一步的，所述根据所述深度图像信息和所述RGB图像信息判断所述目标用户是否与所述移动终端存在人机交互行为，若所述目标用户与所述移动终端存在人机交互行为，则所述移动终端显示为预设的系统主界面。
进一步的，所述则所述移动终端显示为预设的系统主界面的步骤之后，还包括如下步骤：对所述目标用户的图像进行渲染AR叠加后在所述移动终端上显示。
进一步的，所述根据所述深度图像信息和所述RGB图像信息判断所述目标用户是否与所述移动终端存在人机交互行为的步骤之前，还包括如下步骤：
提取所述第二数据信息中的距离信息和RGB图像信息，根据所述距离信息和所述RGB图像信息判断所述目标用户与所述移动终端的位置信息；
若所述目标用户与所述移动终端的位置属于正面相对，则继续判断所述目标用户是否与所述移动终端存在人机交互行为。
本申请的另一方面，提供一种多维数据采集应用系统，包括数据采集模组、数据处理模组和移动终端，所述数据采集模组还包括综合传感器，所述综合传感器由距离传感器、RGB摄像头和深度摄像头组成。
进一步的，所述数据处理模组包括本地计算机，还包括云端服务器，所述本地计算机与所述云端服务器通过网络连接，当所述本地计算机的计算力超出负荷时，所述云端服务器提供计算力。
进一步的，所述移动终端为触摸屏设备。
进一步的，所述移动终端还包括AR眼镜。
本申请提供的技术方案包括以下有益技术效果：
本申请提供了一种多维数据采集应用方法及系统，通过使用综合传感器采集多维数据，避免了使用现场的杂乱无章、便于管理维护；使用本地计算机分析处理多维数据，在离线状态下也可以使用，避免网络不稳定或者无网络时无法使用的困境，另外，运算量过大时云端服务器通过网络可以协助提供计算力，更加优化了计算环境；通过设定预设范围，能更精准的锁定目标用户，降低运算量；通过采集目标用户的深度图像信息和RGB图像信息，获取目标用户的3D信息，可以有效识别目标用户的特征，如性别、年龄和体态等；通过判断目标用户是否存在人机交互，利用移动终端为目标用户提供更优质更个性化的服务；移动终端为触摸屏设备，更加利于信息的分发与交互；另外，AR渲染叠加提升了用户体验，增添了购物乐趣。本申请改变了现有技术中数据来源分散化，单一化、不整合的现状，实现了一种整合式多维数据采集与人机匹配相结合的商业化应用。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种多维数据采集应用方法的流程示意图；
图2为本申请实施例提供的一种多维数据采集应用系统的结构示意图。
具体实施方式
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
请参考附图1，该图示出了本申请实施例提供的一种多维数据采集应用方法的流程示意图。结合附图1，理解本申请实施例的第一方面，提供了一种多维数据采集应用方法，包括：
S101：从综合传感器获取第一数据信息。
S102：对第一数据信息进行分析处理，得到符合预定的结构化第二数据信息。
S103：提取第二数据信息中的距离信息，根据距离信息判断目标用户与移动终端之间的距离是否在预设范围内。
S104：若目标用户在预设范围，则继续提取第二数据信息中的深度图像信息和RGB图像信息，根据深度图像信息和RGB图像信息，获取目标用户的性别、年龄和体态数据。
S105：提取第二数据信息中的深度图像信息和RGB图像信息，根据深度图像信息和RGB图像信息判断目标用户是否与移动终端存在人机交互行为。
S106：若目标用户与移动终端不存在人机交互行为，则移动终端播放预存的与目标用户的性别、年龄和体态数据相匹配的商品信息。
上述多维数据采集应用方法中，获取第一数据信息的方法包括：对获取的第一数据信息进行整合，形成综合的多维数据信息，综合传感器获得的是三路不同类型的原始数据信息，将其整合成一路综合的多维数据信息，有利于信息的高效传输，同时减少布线。
上述多维数据采集应用方法中，人机交互行为是指目标用户对移动终端进行扫码或目标用户触摸点击移动终端，目标用户通过手机、平板电脑等介质对移动终端的屏幕上显示的条形码、二维码等进行扫码，或者目标用户触摸以及点击移动终端的触控屏幕，实现了预设的人机交互行为。
上述多维数据采集应用方法中，根据深度图像信息和RGB图像信息判断目标用户是否与移动终端存在人机交互行为，若目标用户与移动终端存在人机交互行为，则移动终端显示为预设的系统主界面。判断人机交互行为，能有效把握信息推送的时机以及适时地提供操作界面给目标用户交互使用。当移动终端显示为预设的系统主界面的步骤之后，还包括如下步骤：对目标用户的图像进行渲染AR叠加后在移动终端上显示。通过渲染AR叠加，对目标用户的图像进行处理，得到优化和美颜的效果，能提升目标用户的愉悦体验，增添购物乐趣。
上述多维数据采集应用方法中，根据深度图像信息和RGB图像信息判断目标用户是否与移动终端存在人机交互行为的步骤之前，还包括如下步骤：
提取第二数据信息中的距离信息和RGB图像信息，根据距离信息和RGB图像信息判断目标用户与移动终端的位置信息；
若目标用户与移动终端的位置属于正面相对，则继续判断目标用户是否与移动终端存在人机交互行为。此步骤中，通过判断目标用户是否与移动终端面对面，能有效减少不必要的推送，面对面情况下移动终端会出现在目标用户的视野里，这时的信息推送会被目标用户直接目视到，不然的话推送的信息会因为目标用户没有察觉而忽视，没有实际意义。
请参考附图2，该图示出了本申请实施例提供的一种多维数据采集应用系统的结构示意图。结合附图2，理解本申请实施例的第二方面，提供了一种多维数据采集应用系统，包括：
数据采集模组201、数据处理模组202和移动终端203，所述数据采集模组201还包括综合传感器，所述综合传感器由距离传感器、RGB摄像头和深度摄像头组成。
进一步的，所述数据处理模组202包括本地计算机，还包括云端服务器，所述本地计算机与所述云端服务器通过网络连接，当所述本地计算机的计算力超出负荷时，所述云端服务器提供计算力。
进一步的，所述移动终端203为触摸屏设备。
进一步的，所述移动终端203还包括AR眼镜。
本申请的实施例，在实际运用时的具体工作过程如下：
当目标用户进入预设范围，综合传感器感中设置的距离传感器感应到目标用户的距离信息，并将距离信息上传至数据处理模组；同时，综合传感器中设置的RGB摄像头和深度摄像头对目标用户进行深度识别，识别人脸、形体等数据信息并上传至数据处理模组；数据处理模组对上传的多维数据进行分析处理；其中包括分析并存储目标用户的性别、年龄和体态数据；当目标用户与移动终端的距离在一定范围内时，移动终端将自动播放预存的与目标用户的性别、年龄和体态数据相匹配的商品信息。实现了个性化信息推送服务。
需要说明的是，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的内容，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (6)
1.一种多维数据采集应用方法，其特征在于，
从综合传感器获取第一数据信息；
对所述第一数据信息进行分析处理，得到符合预定的结构化第二数据信息；
提取所述第二数据信息中的距离信息，根据所述距离信息判断目标用户与移动终端之间的距离是否在预设范围内；
若所述目标用户在所述预设范围，则继续提取所述第二数据信息中的深度图像信息和RGB图像信息，根据所述深度图像信息和所述RGB图像信息，获取目标用户的性别、年龄和体态数据；
提取所述第二数据信息中的深度图像信息和RGB图像信息，根据所述深度图像信息和所述RGB图像信息判断所述目标用户是否与所述移动终端存在人机交互行为；
若所述目标用户与所述移动终端不存在人机交互行为，则所述移动终端播放预存的与所述目标用户的性别、年龄和体态数据相匹配的商品信息；
所述人机交互行为是所述目标用户对所述移动终端扫码或所述目标用户触摸点击所述移动终端；
所述根据所述深度图像信息和所述RGB图像信息判断所述目标用户是否与所述移动终端存在人机交互行为，若所述目标用户与所述移动终端存在人机交互行为，则所述移动终端显示为预设的系统主界面；
所述根据所述深度图像信息和所述RGB图像信息判断所述目标用户是否与所述移动终端存在人机交互行为的步骤之前，还包括如下步骤：
提取所述第二数据信息中的距离信息和RGB图像信息，根据所述距离信息和所述RGB图像信息判断所述目标用户与所述移动终端的位置信息；
若所述目标用户与所述移动终端的位置属于正面相对，则继续判断所述目标用户是否与所述移动终端存在人机交互行为；
其中，若所述目标用户与所述移动终端的位置不属于正面相对时，不予在移动终端推送与目标用户相匹配的商品信息。
2.根据权利要求1所述的一种多维数据采集应用方法，其特征在于，所述从综合传感器获取第一数据信息，包括：对获取的所述第一数据信息进行整合，形成综合的多维数据信息。
3.根据权利要求1所述的一种多维数据采集应用方法，其特征在于，所述则所述移动终端显示为预设的系统主界面的步骤之后，还包括如下步骤：对所述目标用户的图像进行渲染AR叠加后在所述移动终端上显示。
4.一种多维数据采集应用系统，包括数据采集模组、数据处理模组和移动终端，其特征在于，所述数据采集模组包括综合传感器，所述综合传感器由距离传感器、RGB摄像头和深度摄像头组成，所述综合传感器被配置为：获取第一数据信息；
所述数据处理模组包括本地计算机，还包括云端服务器，所述本地计算机与所述云端服务器通过网络连接，当所述本地计算机的计算力超出负荷时，所述云端服务器提供计算力；
本地计算机被配置为：对所述第一数据信息进行分析处理，得到符合预定的结构化第二数据信息；
提取所述第二数据信息中的距离信息，根据所述距离信息判断目标用户与移动终端之间的距离是否在预设范围内；
若所述目标用户在所述预设范围，则继续提取所述第二数据信息中的深度图像信息和RGB图像信息，根据所述深度图像信息和所述RGB图像信息，获取目标用户的性别、年龄和体态数据；
提取所述第二数据信息中的深度图像信息和RGB图像信息，根据所述深度图像信息和所述RGB图像信息判断所述目标用户是否与所述移动终端存在人机交互行为；
若所述目标用户与所述移动终端不存在人机交互行为，则所述移动终端播放预存的与所述目标用户的性别、年龄和体态数据相匹配的商品信息；
所述人机交互行为是所述目标用户对所述移动终端扫码或所述目标用户触摸点击所述移动终端；
所述根据所述深度图像信息和所述RGB图像信息判断所述目标用户是否与所述移动终端存在人机交互行为，若所述目标用户与所述移动终端存在人机交互行为，则所述移动终端显示为预设的系统主界面；
所述根据所述深度图像信息和所述RGB图像信息判断所述目标用户是否与所述移动终端存在人机交互行为的步骤之前，还包括如下步骤：
提取所述第二数据信息中的距离信息和RGB图像信息，根据所述距离信息和所述RGB图像信息判断所述目标用户与所述移动终端的位置信息；
若所述目标用户与所述移动终端的位置属于正面相对，则继续判断所述目标用户是否与所述移动终端存在人机交互行为；
其中，若所述目标用户与所述移动终端的位置不属于正面相对时，不予在移动终端推送与目标用户相匹配的商品信息。
5.根据权利要求4所述的一种多维数据采集应用系统，其特征在于，所述移动终端为触摸屏设备。
6.根据权利要求4所述的一种多维数据采集应用系统，其特征在于，所述移动终端还包括AR眼镜。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911293438.2A CN111078014B (zh) | 2019-12-16 | 2019-12-16 | 一种多维数据采集应用方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911293438.2A CN111078014B (zh) | 2019-12-16 | 2019-12-16 | 一种多维数据采集应用方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111078014A CN111078014A (zh) | 2020-04-28 |
| CN111078014B true CN111078014B (zh) | 2023-11-24 |
Family
ID=70314743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911293438.2A Active CN111078014B (zh) | 2019-12-16 | 2019-12-16 | 一种多维数据采集应用方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111078014B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112070065B (zh) * | 2020-10-01 | 2024-06-04 | 奥比中光科技集团股份有限公司 | 一种检测红外图像与深度图像的方法、装置及人脸识别系统 |
| CN112711993A (zh) * | 2020-12-18 | 2021-04-27 | 青岛小鸟看看科技有限公司 | 基于智能投影的信息采集方法、系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102542252A (zh) * | 2011-11-18 | 2012-07-04 | 江西财经大学 | 智能广告投放系统 |
| CN104838336A (zh) * | 2012-10-05 | 2015-08-12 | 微软技术许可有限责任公司 | 基于设备接近度的数据和用户交互 |
| CN104881642A (zh) * | 2015-05-22 | 2015-09-02 | 海信集团有限公司 | 一种内容推送方法、装置及设备 |
| CN108040247A (zh) * | 2017-12-29 | 2018-05-15 | 湖南航天捷诚电子装备有限责任公司 | 一种头戴式增强现实显示设备及方法 |
| CN108663677A (zh) * | 2018-03-29 | 2018-10-16 | 上海智瞳通科技有限公司 | 一种多传感器深度融合提高目标检测能力的方法 |
| CN109062482A (zh) * | 2018-07-26 | 2018-12-21 | 百度在线网络技术（北京）有限公司 | 人机交互控制方法、装置、服务设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016069046A1 (en) * | 2014-10-31 | 2016-05-06 | Ooluroo, LLC | System and method for interactive advertising |
-
2019
- 2019-12-16 CN CN201911293438.2A patent/CN111078014B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102542252A (zh) * | 2011-11-18 | 2012-07-04 | 江西财经大学 | 智能广告投放系统 |
| CN104838336A (zh) * | 2012-10-05 | 2015-08-12 | 微软技术许可有限责任公司 | 基于设备接近度的数据和用户交互 |
| CN104881642A (zh) * | 2015-05-22 | 2015-09-02 | 海信集团有限公司 | 一种内容推送方法、装置及设备 |
| CN108040247A (zh) * | 2017-12-29 | 2018-05-15 | 湖南航天捷诚电子装备有限责任公司 | 一种头戴式增强现实显示设备及方法 |
| CN108663677A (zh) * | 2018-03-29 | 2018-10-16 | 上海智瞳通科技有限公司 | 一种多传感器深度融合提高目标检测能力的方法 |
| CN109062482A (zh) * | 2018-07-26 | 2018-12-21 | 百度在线网络技术（北京）有限公司 | 人机交互控制方法、装置、服务设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于Kinect的服务机器人任务操控学习方法的研究;陈楠等;《集成技术》(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111078014A (zh) | 2020-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110321477B (zh) | 信息推荐方法、装置、终端及存储介质 | |
| CN110276344B (zh) | 一种图像分割的方法、图像识别的方法以及相关装置 | |
| EP3495996B1 (en) | Image processing method and apparatus, and electronic device | |
| CN111340864A (zh) | 基于单目估计的三维场景融合方法及装置 | |
| US9449107B2 (en) | Method and system for gesture based searching | |
| CN104410911B (zh) | 基于视频情感标注辅助识别面部表情的方法 | |
| CN111078014B (zh) | 一种多维数据采集应用方法及系统 | |
| WO2017087568A1 (en) | A digital image capturing device system and method | |
| CN105069042A (zh) | 基于内容的无人机侦察图像数据检索方法 | |
| CN108958487A (zh) | 使用标记区域对视频流的手势预处理 | |
| CN101620715A (zh) | 智能广告发布方法和系统 | |
| CN102063478A (zh) | 适用于互联网搜索的三维文件格式转换方法及搜索引擎 | |
| CN104991645A (zh) | 光标控制方法及装置 | |
| CN112835484B (zh) | 基于操作体的动态显示方法、装置、存储介质及电子设备 | |
| Yu et al. | Vision-based hand recognition based on tof depth camera | |
| CN103227810B (zh) | 一种在网络监控中识别远程桌面语义的方法、装置和系统 | |
| CN103440307A (zh) | 媒体信息提供方法及装置 | |
| CN101877012B (zh) | 在互联网上搜索图片及局部相似图片的方法 | |
| CN112035016A (zh) | 一种基于激光雷达的新型多点触控交互系统及方法 | |
| WO2023173126A1 (en) | System and method of object detection and interactive 3d models | |
| CN114357263A (zh) | 目标对象的多模态信息的处理方法、装置及存储介质 | |
| CN103019389B (zh) | 手势辨识系统及手势辨识方法 | |
| CN112183149B (zh) | 图形码处理方法及装置 | |
| CN113744392A (zh) | 三维模型库构建方法、装置、设备及介质 | |
| CN103164504A (zh) | 一种智能手机精细化图片搜索系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |