CN108874131B - 实现增强现实功能的移动设备辅助装置及方法 - Google Patents

实现增强现实功能的移动设备辅助装置及方法 Download PDF

Info

Publication number
CN108874131B
CN108874131B CN201810570210.2A CN201810570210A CN108874131B CN 108874131 B CN108874131 B CN 108874131B CN 201810570210 A CN201810570210 A CN 201810570210A CN 108874131 B CN108874131 B CN 108874131B
Authority
CN
China
Prior art keywords
mobile equipment
bearing
reflecting
augmented reality
mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810570210.2A
Other languages
English (en)
Other versions
CN108874131A (zh
Inventor
周志颖
董鑫
付萧
戢灿
张宝良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU MXR SOFTWARE TECHNOLOGY CO LTD
Original Assignee
SUZHOU MXR SOFTWARE TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU MXR SOFTWARE TECHNOLOGY CO LTD filed Critical SUZHOU MXR SOFTWARE TECHNOLOGY CO LTD
Priority to CN201810570210.2A priority Critical patent/CN108874131B/zh
Publication of CN108874131A publication Critical patent/CN108874131A/zh
Application granted granted Critical
Publication of CN108874131B publication Critical patent/CN108874131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种实现增强现实功能的移动设备辅助装置及方法。所述实现增强现实功能的移动设备辅助装置，包括承载机构、反射机构和移动设备固定机构，所述承载机构与反射机构的一端连接，并至少用以安置和承载被识别图像，所述移动设备固定机构与反射机构的另一端连接，并至少用以安置移动设备；其中所述反射机构能够反射位于承载机构上的被识别图像，且安置于移动设备机构上的移动设备能够经由所述反射机构采集获得被识别图像。本发明提供的实现增强现实功能的移动设备辅助装置，结构简单，使用方便，移动设备的摄像头角度固定，无需实时改变位置角度去捕捉真实场景图景，通过反射镜(平面镜)能直接捕获到位于摄像头正下方的被识别图像。

Description

实现增强现实功能的移动设备辅助装置及方法
技术领域
本发明特别涉及一种实现增强现实功能的移动设备辅助装置及方法，属于增强现实设备领域。
背景技术
当前，通过增强现实技术(Augmented Reality,简写AR)提高对于图书的内容丰富增强的实现往往结合手机、平板电脑等移动终端通过摄入现实图书场景、通过一定方法在显示屏显示出图书与虚拟信息混合的图像，以此实现图书内容增强现实。而在上述方法的实现过程中，由于没有针对学龄儿童手持设计的移动设备，晃动的显示屏幕也容易造成儿童的视力损伤，因此，提供一种适用于移动设备的实现增强现实的辅助设备仍是业界亟待解决的问题之一。
发明内容
本发明的主要目的在于提供一种实现增强现实功能的移动设备辅助装置及方法，以克服现有技术的不足。
为实现前述发明目的，本发明采用的技术方案包括：
本发明实施例提供了一种实现增强现实功能的移动设备辅助装置，其包括：承载机构、反射机构和移动设备固定机构，所述承载机构与反射机构的一端连接，并至少用以安置和承载被识别图像，所述移动设备固定机构与反射机构的另一端连接，并至少用以安置移动设备；其中所述反射机构能够反射位于承载机构上的被识别图像，且安置于移动设备机构上的移动设备能够经由所述反射机构采集获得被识别图像。
本发明实施例还提供了一种实现增强现实功能的方法，其包括：
提供所述的实现增强现实功能的移动设备辅助装置及移动设备，
将被识别图像安置于承载机构上，将移动设备安置于移动设备固定机构上，并至少使移动设备的后置摄像头与反射机构相对设置，
调节反射机构与承载机构、移动设备固定机构与反射机构之间的角度，使移动设备采集获得被识别图像在反射机构中的镜像，并对所述镜像进行处理以提取、识别镜像图像特征点；
至少对所述镜像图像特征点进行镜像变换，获得镜像翻转后的特征点，进而获得被识别图像。
与现有技术相比，本发明的优点包括：
(1)移动设备的摄像头角度固定，无需实时改变位置角度去捕捉真实场景图景，通过反射镜(平面镜)能直接捕获到位于摄像头正下方的被识别图像；
(2)可边充电边使用，市面上大部分基于前置摄像头的设备无法边充电边使用，只能设备开启摄像头会极大地增加电量消耗，本发明实施例提供的辅助装置能极大地解决此问题；
(3)操作简单只需将智能设备放置到支架上，无需像市面上将反射镜绑定到摄像头上，调整角度等一系列复杂操作；
(4)可同时操作被识别图像和移动智能设备屏幕，互不干扰；
(5)使用后置摄像头而不是前置则大大降低了因摄像头而引起的误识别率，能给予用户更良好的增强现实应用体验。
附图说明
图1是本发明一典型实施案例中一种实现增强现实功能的移动设备辅助装置工作状态下的结构示意图；
图2是本发明一典型实施案例中一种实现增强现实功能的移动设备辅助装置的侧视图；
图3是本发明一典型实施案例中一种实现增强现实功能的移动设备辅助装置非工作状态下的结构示意图。
具体实施方式
鉴于现有技术中的不足，本案发明人经长期研究和大量实践，得以提出本发明的技术方案。如下将对该技术方案、其实施过程及原理等作进一步的解释说明。
本发明实施例提供了一种实现增强现实功能的移动设备辅助装置，其包括：承载机构、反射机构和移动设备固定机构，所述承载机构与反射机构的一端连接，并至少用以安置和承载被识别图像，所述移动设备固定机构与反射机构的另一端连接，并至少用以安置移动设备；其中所述反射机构能够反射位于承载机构上的被识别图像，且安置于移动设备机构上的移动设备能够经由所述反射机构采集获得被识别图像。
进一步的，所述承载机构与反射机构活动连接，且所述承载机构和/或反射机构还连接有第一限位固定机构，所述承载机构能够打开盖合于所述反射机构的上方或下方，而使所述承载机构与所述反射机构之间呈0-80°夹角。
更进一步的，所述承载机构包括至少能够承载被识别图像的承载台面，当所述承载机构处于工作状态时，所述承载台面水平设置。
进一步的，所述承载机构与反射机构的长度之比为210-230：100-120。
进一步的，所述反射机构与移动设备固定机构活动连接，且所述反射机构和/或移动设备固定机构还连接有第二限位固定机构，所述移动设备固定机构能够打开盖合于所述反射机构的上方或下方，而使所述移动设备固定机构与反射机构之间呈0-30°夹角。
优选的，所述移动设备固定机构与承载机构位于反射机构的同一侧。
更进一步的，所述反射机构包括连接面板和镜面反射机构，所述镜面反射机构与连接面板平行设置。
更进一步的，所述镜面反射机构与连接面板的面积之比为9000-14400：51450-60950；所述镜面反射机构的底边与连接面板的底边距离与连接板面的长度之比为90-110:245-265。
进一步的，所述移动设备固定机构具有至少能够固定移动设备的容置凹槽。
更进一步的，所述移动设备固定机构包括与反射机构连接的第一支撑面板，所述第一支撑面板的一端还经一侧板与第二支撑面板连接，从而于所述第一支撑面板和第二支撑面板之间形成所述容置凹槽。
优选的，所述第一支撑面板与第二支撑面板的长度之比为100-120：5-10。
优选的，所述第一支撑面板和第二支撑面板平行设置。
优选的，第一支撑面板、侧板和第二支撑面板一体设置。
本发明实施例还提供了一种实现增强现实功能的方法，其特征在于包括：
提供所述的实现增强现实功能的移动设备辅助装置及移动设备，
将被识别图像安置于承载机构上，将移动设备安置于移动设备固定机构上，并至少使移动设备的后置摄像头与反射机构相对设置，
调节反射机构与承载机构、移动设备固定机构与反射机构之间的角度，使移动设备采集获得被识别图像在反射机构中的镜像，并对所述镜像进行处理以提取、识别镜像图像特征点；
至少对所述镜像图像特征点进行镜像变换，获得镜像翻转后的特征点，进而获得被识别图像。
进一步的，所述的实现增强现实功能的方法具体包括：将获得的镜像图像特征点至少依次经水平镜像变化矩阵进行水平镜像翻转、垂直镜像变化矩阵进行垂直镜像翻转，从而获得镜像翻转后的特征点；其中所述水平镜像变化矩阵为：
Figure BDA0001685569490000041
所述垂直镜像变化矩阵为：
Figure BDA0001685569490000042
具体的，当移动设备扫描被识别图像时，通过捕捉被识别图像在反射机构中的镜像的特征点后进行相应的计算，得到相应镜像翻转后的特征点，进而能够同时去识别被识别图像以及镜像的图景；具体实现方式如下：
S1.当开启移动设备的摄像头时，摄像头会实时捕捉真实场景(即被识别图像在反射机构中的镜像)；
S2.将捕捉的真实场景的图像实时计算特征点，并通过水平镜像的变化矩阵：
Figure BDA0001685569490000043
及垂直镜象的变化矩阵：
Figure BDA0001685569490000051
来获得图像镜像变换后的特征点；在水平镜像变换时，遍历了整个摄像头捕获的图像，然后根据映射关系对每个像素都做了处理，水平镜像变换就是将图像坐标的列换到右边，右边的列换到左边，以列为单位做变换；同样垂直镜像变换也如此，以行为单位进行变换；
S3.将摄像头捕获的原始的镜像变换后的图像特征点与被识别图像特征点实时匹配，通过镜像计算将原存储的被识别图像特征进行镜像转化得到同一识别物的两种特征，用户无需手动切换移动设备的识别模式即可自动识别镜像图像或真实场景图像，即同时识别被识别图像及镜像；
S4.识别成功后，若为原始图像(被识别图像)特征点，将返回原始图像特征点的位置信息，若为镜像变换后的特征点，将返回镜像变换后的特征点位置。
进一步的，所述的实现增强现实功能的方法还包括：至少经所述移动设备计算确定承载机构于空间中的位置。
具体的，移动设备通过陀螺仪采集固定机构及反射机构的角度信息，再根据承载机构及反射镜的角度、位置及高度的固定数据计算确定承载机构在空间中的位置，由三维识别转换为二维识别，用户无需手动调整移动设备的位置，即可确定承载机构的位置，从而使增强现实虚拟模型等虚拟图景能较好地融入真实图景，且方便用户的操作。
进一步的，本发明提供的实现增强现实功能的移动设备辅助装置在使用过程中，反射机构与承载机构的角度需要固定，且其长宽也固定；移动设备固定机构与承载机构的角度需要固定，且其长宽也固定；通过对应的角度及长宽计算出移动设备屏幕中心点距离承载机构的高度，再通过等比例计算出，具体如下：
S1.获取反射机构长宽X1,Y1及承载机构的长宽X2,Y2及两者的相交角度θ1；
S2.获取移动设备固定机构长宽X3,Y3及角度θ2；
S3根据相应公式计算出距离承载机构的高度，求出屏幕中心点高度同标准高度比值；
S4将面片虚拟位置大小及虚拟位置高度乘上这个比值，以获得对应的位置大小及高度；
优选的，所述移动设备包括手机或平板电脑。
如下将结合附图对该技术方案、其实施过程及原理等作进一步的解释说明。
目前市面上主流手机及平板电脑的机型的规格一般为：长度140～240mm，宽度67～169.5mm，高度6.6～8.6mm，本发明实施例提供的一种实现增强现实功能的移动设备辅助装置(或称之为支架)可承重143～470g，其主要与AR产品相结合，支架的重量约182g，折叠后的尺寸为261.53*210*20mm。
目前市面上的图书一般较大的是A3版面，通过主板面(即反射面板)22上的平面镜(即镜面反射机构)21将书(即被识别图像)中的内容反射到手机(即移动设备)摄像头中，所以必须保证反射机构2、移动设备固定机构1和承载机构3相互之间具有一定的高度或角度。
请参阅图1，在一些较为具体的实施方案中，一种实现增强现实功能的移动设备辅助装置，其包括承载机构3、反射机构2和移动设备固定机构1；承载机构3和移动设备固定机构1分别活动连接于反射机构2的两端，承载机构3与反射机构2可以经一水平转轴和限位固定机构连接，承载机构3能够以所述水平转轴为轴在竖直平面上转动，例如限位固定机构可以是止挡片，所述止挡片可以分别与承载机构3与反射机构2连接而是承载机构3与反射机构2之间呈一固定角度；或者承载机构3可以与反射机构2铰接，限位固定机构可以采用旋紧螺栓。移动设备固定机构1与反射机构2可以经一水平转轴和限位固定机构连接，移动设备固定机构1能够以所述水平转轴为轴在竖直平面上转动，例如限位固定机构可以是止挡片，所述止挡片可以分别与移动设备固定机构1与反射机构2连接而是移动设备固定机构1与反射机构2之间呈一固定角度；或者移动设备固定机构1可以与反射机构2铰接，限位固定机构可以采用旋紧螺栓。或者，承载机构3和反射机构2之间的最大转动角度为80°，承载机构3和反射机构2呈80°角时，止挡片能够将承载机构3和反射机构2固定；移动设备固定机构1和反射机构2的最大转动角度为30°，当达到最大角度30°时，止挡片能够将移动设备固定机构1和反射机构2固定。
当处于工作(打开)状态时，承载机构3和移动设备固定机构1位于反射机构2的同一侧；承载台面31与水平面平行，主板面22与水平面或承载台面31之间呈80°，平面镜21的尺寸为90*100mm且其底边距离水平面100mm，既能确保整体重心向前也不会倒下，也能使平面镜21反射距离主面板300mm以内的图书或其他图像；安置手机的凹槽面(即第一支撑面板)11与主板面22之间呈30°，第一支撑面板11的长度为100*120mm，容置凹槽12的宽度为10mm，保证的绝大部分机型能放入这个凹槽且保持平衡，摄像头与平面镜的距离能保证手机摄像头完全读取平面镜中的内容；支撑台面31的尺寸为210*140mm，可保证使用470g的平板电脑作为移动设备时，结构依旧稳定，不会前后倾，设备固定机构1、反射机构2、承载机构3的壁垒厚度为6mm，塑料件壁垒的加强筋厚度为1.6mm，保证了结构的功能性及轻便型。
在一些较为具体的实施方案中，一种实现增强现实功能的方法，其包括：
提供一种所述的实现增强现实功能的移动设备辅助装置以及移动设备；
打开移动设备固定机构1和承载机构3，使第一支撑面板11与主面板22呈30°角、承载台面31与主面板22呈80°角；将书本安置于承载台面31上，将手机或平板电脑安置于容置凹槽12内，并至少使手机或平板电脑的后置摄像头向下，手机或平板电脑能够经由主面板22上的平面镜21获得书本的内容，手机或平板电脑获得书本中的内容后经识别检索后呈现AR内容。
应当理解，上述实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种实现增强现实功能的移动设备辅助装置，其特征在于包括：承载机构、反射机构和移动设备固定机构，所述承载机构至少用以安置和承载被识别图像，所述移动设备固定机构至少用以安置移动设备；所述反射机构能够反射位于承载机构上的被识别图像，且安置于移动设备机构上的移动设备能够经由所述反射机构采集获得被识别图像；
所述承载机构与反射机构活动连接，且所述承载机构和/或反射机构还连接有第一限位固定机构，所述承载机构能够打开盖合于所述反射机构的上方或下方，而使所述承载机构与所述反射机构之间呈0-80°夹角，所述承载机构包括至少能够承载被识别图像的承载台面，当所述承载机构处于工作状态时，所述承载台面水平设置；
所述反射机构与移动设备固定机构活动连接，且所述反射机构和/或移动设备固定机构还连接有第二限位固定机构，所述移动设备固定机构能够打开盖合于所述反射机构的上方或下方，而使所述移动设备固定机构与反射机构之间呈0-30°夹角，且所述移动设备固定机构与承载机构位于反射机构的同一侧，且所述移动设备固定机构具有至少能够固定移动设备的容置凹槽，其中，所述移动设备固定机构包括与反射机构连接的第一支撑面板，所述第一支撑面板的一端还经一侧板与第二支撑面板连接，从而于所述第一支撑面板和第二支撑面板之间形成所述容置凹槽，所述第一支撑面板与第二支撑面板的长度之比为100-120：5-10；
所述反射机构包括连接面板和镜面反射机构，所述镜面反射机构与连接面板平行设置，所述镜面反射机构与连接面板的面积之比为9000-14400： 51450-60950；所述镜面反射机构的底边与连接面板的底边距离与连接板面的长度之比为90-110:245-265，而所述承载机构与反射机构的长度之比为210-230：100-120。
2.根据权利要求1所述的实现增强现实功能的移动设备辅助装置，其特征在于：所述第一支撑面板和第二支撑面板平行设置。
3.一种实现增强现实功能的方法，其特征在于包括：
提供权利要求1-2中任一项所述的实现增强现实功能的移动设备辅助装置及移动设备，
将被识别图像安置于承载机构上，将移动设备安置于移动设备固定机构上，并至少使移动设备的后置摄像头与反射机构相对设置，
调节反射机构与承载机构、移动设备固定机构与反射机构之间的角度，使移动设备采集获得被识别图像在反射机构中的镜像，并对所述镜像进行处理以提取、识别镜像图像特征点；
将获得的镜像图像特征点至少依次经水平镜像变化矩阵进行水平镜像翻转、垂直镜像变化矩阵进行垂直镜像翻转，从而获得镜像翻转后的特征点，进而获得被识别图像；其中所述水平镜像变化矩阵为：
Figure DEST_PATH_IMAGE002
所述垂直镜像变化矩阵为：
Figure DEST_PATH_IMAGE004
。
4.根据权利要求3所述的实现增强现实功能的方法，其特征在于还包括：至少经所述移动设备计算确定承载机构于空间中的位置。
5.根据权利要求4所述的实现增强现实功能的方法，其特征在于所述移动设备包括手机或平板电脑。
CN201810570210.2A 2018-06-05 2018-06-05 实现增强现实功能的移动设备辅助装置及方法 Active CN108874131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810570210.2A CN108874131B (zh) 2018-06-05 2018-06-05 实现增强现实功能的移动设备辅助装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810570210.2A CN108874131B (zh) 2018-06-05 2018-06-05 实现增强现实功能的移动设备辅助装置及方法

Publications (2)

Publication Number Publication Date
CN108874131A CN108874131A (zh) 2018-11-23
CN108874131B true CN108874131B (zh) 2022-02-25

Family

ID=64336644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810570210.2A Active CN108874131B (zh) 2018-06-05 2018-06-05 实现增强现实功能的移动设备辅助装置及方法

Country Status (1)

Country Link
CN (1) CN108874131B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675503B (zh) * 2019-08-14 2022-04-22 湖南文理学院 一种ar场景设计系统
CN111460969B (zh) * 2020-03-27 2021-08-06 震兑工业智能科技有限公司 一种基于云计算的工业信息智能化监控系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104269079A (zh) * 2014-09-30 2015-01-07 张启熙 基于镜面反射和增强现实技术的移动终端幼教系统及方法
CN106327430A (zh) * 2016-08-31 2017-01-11 维沃移动通信有限公司 一种图片的显示方法及移动终端
CN107330851A (zh) * 2017-06-30 2017-11-07 上海青橙实业有限公司 照片处理方法与电子终端
CN107392284A (zh) * 2017-07-04 2017-11-24 福建新大陆电脑股份有限公司 一种镜像条码的制作方法及系统
CN206741428U (zh) * 2016-11-30 2017-12-12 世优（北京）科技有限公司 带反光镜的支架
CN108076303A (zh) * 2016-11-11 2018-05-25 中兴通讯股份有限公司 一种视频图像显示方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104269079A (zh) * 2014-09-30 2015-01-07 张启熙 基于镜面反射和增强现实技术的移动终端幼教系统及方法
CN106327430A (zh) * 2016-08-31 2017-01-11 维沃移动通信有限公司 一种图片的显示方法及移动终端
CN108076303A (zh) * 2016-11-11 2018-05-25 中兴通讯股份有限公司 一种视频图像显示方法和装置
CN206741428U (zh) * 2016-11-30 2017-12-12 世优（北京）科技有限公司 带反光镜的支架
CN107330851A (zh) * 2017-06-30 2017-11-07 上海青橙实业有限公司 照片处理方法与电子终端
CN107392284A (zh) * 2017-07-04 2017-11-24 福建新大陆电脑股份有限公司 一种镜像条码的制作方法及系统

Also Published As

Publication number Publication date
CN108874131A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
US11659074B2 (en) Information processing terminal
US20130229529A1 (en) Camera to Track an Object
US20150324002A1 (en) Dual display system
CN202218305U (zh) 一种高速文档拍摄仪
US20090322967A1 (en) Notebook computer having projection function
CN106657455B (zh) 一种带可旋转摄像头的电子设备
WO2014122656A1 (en) A mobile device with multiple interconnected display units
CN108874131B (zh) 实现增强现实功能的移动设备辅助装置及方法
CN107274725B (zh) 一种基于镜面反射的移动增强现实型卡片识别方法
CN106534406A (zh) 一种终端、拍摄装置及方法
CN209731412U (zh) 一种卡扣式可旋转的反光镜结构及其电子设备
CN215379051U (zh) 一种电子设备
US20150160784A1 (en) Compact Interactive Tabletop with Projection-Vision
CN209528398U (zh) 一种智能课桌
WO2011141930A9 (en) Portable electronic device having rotatable
CN201402429Y (zh) 一种具有名片拍摄功能的电脑或电脑外围设备
TWM449975U (zh) 自動拍攝文件之裝置
CN207198714U (zh) 一种计算设备
CN105049557A (zh) 终端
CN219609678U (zh) 一种直推滑轨单转轴式智能学习笔
CN216052405U (zh) 一种掌上显示装置及放大装置
CN110445923A (zh) 电子装置及电子装置的控制方法
CN204258938U (zh) 全景影像移动装置
JP2011223448A (ja) 端末装置及びプログラム
TW201005679A (en) Display device and image zooming method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant