CN110276837B - 一种信息处理方法、电子设备 - Google Patents

一种信息处理方法、电子设备 Download PDF

Info

Publication number
CN110276837B
CN110276837B CN201910437653.9A CN201910437653A CN110276837B CN 110276837 B CN110276837 B CN 110276837B CN 201910437653 A CN201910437653 A CN 201910437653A CN 110276837 B CN110276837 B CN 110276837B
Authority
CN
China
Prior art keywords
information
sub
target
region
space layout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910437653.9A
Other languages
English (en)
Other versions
CN110276837A (zh
Inventor
王竞
盛兴东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Shanghai Electronics Technology Co Ltd
Original Assignee
Lenovo Shanghai Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Shanghai Electronics Technology Co Ltd filed Critical Lenovo Shanghai Electronics Technology Co Ltd
Priority to CN201910437653.9A priority Critical patent/CN110276837B/zh
Publication of CN110276837A publication Critical patent/CN110276837A/zh
Application granted granted Critical
Publication of CN110276837B publication Critical patent/CN110276837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Abstract

本发明实施例提供一种信息处理方法、电子设备;所述方法应用于通信技术领域;所述方法包括:获取目标区域的第一空间布局信息;接收所述目标区域中第一目标子区域的第一空间布局子信息;比对所述第一空间布局子信息与所述第一空间布局信息所包含的描述所述第一目标子区域的第二空间布局子信息;若所述第一空间布局子信息与所述第二空间布局子信息不一致,利用所述第一空间布局子信息更新所述第二空间布局子信息。所述方法可以对目标区域进行实时更新的前提下,减少信息的交互以及降低整个系统的硬件造价。

Description

一种信息处理方法、电子设备
技术领域
本发明涉及通信领域的技术领域,尤其涉及一种信息处理方法、电子设备。
背景技术
在增强现实技术(AR)中,为了实现大范围全局的即时定位与构建地图等功能,需要在电子设备中承载各种视觉和传感器模块,并且需要支持复杂的算法;如此,便需要比较高端的图形图像及视觉模型等处理平台。若将该些处理平台集成在电子设备中,会使得该电子设备体积相对较大且笨重,还不利于该电子设备的散热,使得该电子设备的应用范围受限。
发明内容
本发明实施例提供了一种信息处理方法、电子设备。
本发明的技术方案是这样实现的:
一种信息处理方法,包括:
获取目标区域的第一空间布局信息;
接收所述目标区域中第一目标子区域的第一空间布局子信息;
比对所述第一空间布局子信息与所述第一空间布局信息所包含的描述所述第一目标子区域的第二空间布局子信息;
若所述第一空间布局子信息与所述第二空间布局子信息不一致,利用所述第一空间布局子信息更新所述第二空间布局子信息。
上述方案中,所述接收所述目标区域中第一目标子区域的第一空间布局子信息,包括:
接收多个不同所述第一目标子区域的第一空间布局子信息;所述多个不同所述第一目标子区域的第一空间布局子信息为多个不同的第二电子设备分别采集。
本发明实施例还提供了一种信息处理方法,包括:
接收基于当前位置采集的第一单帧图像获得的第一特征点信息;
基于所述第一特征点信息以及更新后的第一空间布局信息,确定所述第一特征点信息在目标区域的第二目标子区域;所述第一空间布局信息为描述所述目标区域的信息;
发送所述第二目标子区域的第三空间布局子信息。
本发明实施例还提供了一种信息处理方法,包括:
采集目标区域中第一目标子区域的第一空间布局子信息;
发送所述第一空间布局子信息;
其中,所述第一空间布局子信息用于更新第一空间布局信息所包含的描述所述第一目标子区域的所述第二空间布局子信息;所述第一空间布局信息为描述所述目标区域的信息。
上述方案中,所述采集目标区域中第一目标子区域的第一空间布局子信息,包括:
采集目标区域的第一目标子区域的至少一张第二单帧图像;
基于所述至少一张第二单帧图像获取第二特征点信息;
基于所述第二特征点信息获取所述第一目标子区域的第一空间布局子信息。
上述方案中,所述基于所述至少一张第二单帧图像获取第二特征点信息,包括:
基于所述至少一张第二单帧图像获取第一目标子区域的第一类第二特征点信息;所述第一类第二特征点信息用于确定第二电子设备在所述第一目标子区域的位置信息;或者,
基于所述至少一张第二单帧图像获取第一目标子区域的第二类第二特征点信息;所述第二类第二特征点信息用于确定第二电子设备在所述第一目标区域的位置信息和/或确定在所述第一目标子区域叠加的图形元素;
其中,所述第一类第二特征点信息比所述第二类第二特征点信息所包含的检测特定对象少。
上述方案中,还包括:
利用第一修正值校正显示参数;
基于第一空间布局子信息在所述第一目标子区域中显示图形元素;
其中,所述第一修正值,用于供多个所述第二电子设备中一个所述第二电子设备校正显示参数,得到目标空间位姿的第一图形元素;第二修正值,用于供所述多个所述第二电子设备中一个所述第二电子设备校正显示参数,得到目标空间位姿的第二图形元素;所述第一图形元素和所述第二图形元素相同。
本发明实施例还提供了一种信息处理方法,包括:
采集当前位置的第一单帧图像;
基于所述第一单帧图像,获取第一特征点信息;
发送所述第一特征点信息;
接收目标区域中第二目标子区域的第三空间布局子信息;所述第三空间布局子信息基于所述第一特征点与更新后的第一空间布局信息确定;所述第一空间布局信息为描述所述目标区域的信息。
上述方案中,还包括:
基于所述第一特征点信息及所述第三空间布局子信息,确定第二电子设备的位姿信息;
所述位姿信息包括:位置信息和/或朝向信息。
本发明实施例还提供了一种信息处理装置,包括:
获取单元,用于获取目标区域的第一空间布局信息;
第一接收单元,用于接收所述目标区域中第一目标子区域的第一空间布局子信息;
比对单元,用于比对所述第一空间布局子信息与所述第一空间布局信息所包含的描述所述第一目标子区域的第二空间布局子信息;
第一处理单元,用于若所述第一空间布局子信息与所述第二空间布局子信息不一致,利用所述第一空间布局子信息更新所述第二空间布局子信息。
本发明实施例还提供了一种信息处理装置,包括:
采集单元,用于采集目标区域中第一目标子区域的第一空间布局子信息;
第二发送单元,用于发送所述第一空间布局子信息;
其中,所述第一空间布局子信息用于更新第一空间布局信息所包含的描述所述第一目标子区域的所述第二空间布局子信息;所述第一空间布局信息为描述所述目标区域的信息。
本发明实施例还提供了一种电子设备,包括处理器和用于存储能够在所述处理器上运行的计算机程序的存储器;其中,所述处理器用于运行计算机程序时,本发明任一实施例所述信息处理方法。
本发明实施例所提供的信息处理方法,通过获取目标区域的第一空间布局信息;以及接收所述目标区域中第一目标子区域的第一空间布局子信息;通过比对第一空间布局子信息与所述第一空间布局信息包含的描述所述第一目标子区域的第二空间布局子信息,若所述第一空间布局子信息与所述第二空间布局子信息不一致,利用所述第一空间布局子信息更新所述第二空间布局子信息;可以实现基于局部(即所述第一目标子信息)的空间布局信息的不同而仅更新该局部的空间布局信息,而实现全局(即目标区域)的空间布局信息的实时更新;其不需要对整个全局的空间布局信息进行重新获取或采集,从而减少了信息的交互以及简化了数据的处理过程。
且,可以仅使获取目标区域的第一空间布局信息的第一电子设备承载比较高端的图形图像及视觉模型等处理平台,而使获取所述目标区域中第一目标子区域的第一空间布局子信息的各第二电子设备承载比较低端的图形图像及视觉模型等处理平台,如此,相对于现有技术中使各第二电子设备都承载比较高端的图形图像及视觉模型等处理平台来说,可以降低整个系统的造价;并且,能使得第二电子设备的体积更小、体重更轻、功耗更小以及所产生的热量更少;可以使得第二电子设备(例如AR眼镜)能够更加广泛的应用于各AR场景中。
附图说明
图1为本发明一实施例提供的信息处理方法的流程示意图;
图2为本发明另一实施例提供的信息处理方法的流程示意图;
图3为本发明一实施例提供的信息处理装置的结构示意图;
图4为本发明另一实施例提供的信息处理装置的结构示意图;
图5为本发明一实施例提供的信息处理系统的结构示意图;
图6为本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1所示,本发明实施例提供了一种信息处理方法,包括:
步骤101,获取目标区域的第一空间布局信息;
步骤102,接收所述目标区域中第一目标子区域的第一空间布局子信息;
步骤103,比对所述第一空间布局子信息与所述第一空间布局信息所包含的描述所述第一目标子区域的第二空间布局子信息;
步骤104,若所述第一空间布局子信息与所述第二空间布局子信息不一致,利用所述第一空间布局子信息更新所述第二空间布局子信息。
其中,所述目标区域为一栋大楼,一个小区,一条街,或一个城市,等等;所述第一目标子区域为一栋大楼里的某个房间、一个小区里的某个建筑物,一条街的某段路,一个城市的某个片区,等等。总之,所述目标区域为某区域的全局区域,所述第一目标子区域为所述某区域中部分区域的局部区域。
其中,所述第一目标子区域可以为目标区域中的一个或多个目标子区域。
在一些实施例中,所述获取第一目标区域的第一空间布局信息,包括:从第一数量的第一电子设备获取第一目标区域的第一空间布局信息;所述接收所述目标区域中第一目标子区域的第一空间布局子信息,包括:从第二数量的第二电子设备获取所述目标区域中第一目标子区域的第一空间布局子信息;其中,所述第一数量小于所述第二数量。
如此,用数量相对较少的第一电子设备采集第一空间布局信息,以及用数量相对较多的第二电子设备采集第一空间布局子信息,可以实现至少有多个第二电子设备共享一个第一电子设备的信息。
在本实施例中,所述第一空间布局信息为描述所述目标区域的图像信息;所述第一空间布局子信息为描述所述的目标区域中第一目标子区域的图像信息。
其中,基于不同电子设备采集的目标区域的第一空间布局信息可以是不同的;基于不同电子设备采集的目标区域中第一目标子区域的第一空间布局子信息也可以是不同的。
这里,所述第一空间布局信息可以描述目标区域中存在的对象的位置和/或朝向;所述第一空间布局子信息可以描述第一目标子区域中存在的对象的位置和/或朝向。
在一些实施例中,所述第一空间布局信息还可以描述所述目标区域中存在对象的形状、大小、或姿态,等等;所述第一空间布局子信息还可以描述所述第一目标子区域中存在的对象的形状、大小、或姿态,等等
在一些实施例中,所述第一空间布局信息的图像精度高于所述第一空间布局子信息的图像精度。可以理解的是,若所述第一空间布局信息的图像精度高于第一空间布局子信息的图像精度,则采集所述目标区域的第一空间布局信息的电子设备的配置是高于采集所述目标区域中第一目标子区域的第一空间布局子信息的电子设备的。
在另一些实施例中,所述第一空间布局信息为描述所述目标区域的图像信息中提取的信息;所述第一空间布局信息为描述所述的目标区域中第一目标子区域的图像信息中提取的信息。
这里,所述利用所述第一空间布局子信息更新所述第二空间布局子信息的一种实现方式是:利用所述第一空间布局子信息替换所述第二空间布局子信息。
所述利用所述第一空间布局子信息更新所述第二空间布局子信息的另一种实现方式是:将第一图像精度的第一空间布局子信息,转换为第二图像精度的第四空间布局子信息;将所述第四空间布局子信息替换所述第一空间布局信息中的第二空间布局子信息。
在一些实施例中,所述方法应用于第一电子设备;所述第一电子设备可以直接获取目标区域的第一空间布局信息;所述第一电子设备为集成了即时定位与地图构建(Simultaneous Localization And Mapping,SLAM)模组的终端设备;或者所述第一电子设备集成了各种视觉传感器、飞行时间深度(TOF Depth)传感器、鱼眼相机阵列(Fisheyecamera Array),和/或双惯性测量单元(dual IMU)的终端设备。
在另一些实施例中,所述信息处理方法应用于第一电子设备;所述第一电子设备可以间接获取目标区域的第一空间布局信息;所述第一电子设备为服务器;所述服务器可以为本地终端或者云端服务器;所述获取目标区域的第一空间布局信息来自所述第三电子设备;所述第三电子设备为集成了即时定位与地图构建(Simultaneous Localization AndMapping,SLAM)模组的终端设备;或者所述第一电子设备集成了各种视觉传感器、飞行时间深度(TOF Depth)传感器、鱼眼相机阵列(Fisheye camera Array),和/或双惯性测量单元(dual IMU)的终端设备。
在一些实施例中,接收目标区域中的第一目标子区域的第一空间布局子信息,包括:从第二电子设备中接收目标区域中的第一目标子区域的第一空间布局子信息。这里,所述第二电子设备可以为配置比较低端传感器和处理单元的终端设备;或者,所述第二电子设备可以为配置比较低端的图形图像和视觉模组的处理平台的终端设备。所述第二电子设备可以为AR眼镜或其它终端设备。
例如,在AR场景中,可以在第一时刻通过第一电子设备采集目标区域的第一空间布局信息;在晚于第一时刻的第二时刻目标区域中第一目标子区域中存在的一个或几个对象的位置发生了变化;其中一个第二电子设备正在所述第一目标子区域中移动或执行相关操作;若重新采集目标区域的第一空间布局子信息显然不必要,且会带来大量的数据交互以及计算过程;若在所述第二时刻可以基于所述第二电子设备采集所述第一目标子区域的第一空间布局子信息,基于该所述第一空间布局子信息而实现对第一空间布局信息的更新,则可以满足所述第二电子设备在所述第一目标子区域的相关操作需求,也不会带来大量的数据交互和计算过程。
在本发明实施例中,可以通过第一电子设备获取一次目标区域(即全局)的第一空间布局信息,且通过获取各个第二电子设备采集的各第一目标子区域(局部)的第一空间布局子信息,通过比较该局部的空间布局子信息与全局中包括该局部的空间布局信息,从而实现实时对全局的空间布局子信息的更新,完成对全局的地图构建;如此,可以实现基于局部(即所述第一目标子信息)的空间布局信息的不同而仅更新该局部的空间布局信息,而实现全局(即目标区域)的空间布局信息的实时更新,不需要对整个全局的空间布局信息进行重新获取或采集,从而减少了信息的交互以及简化了数据的处理过程。
且,可以使得采集所述第一目标子区域的第二电子设备不需要承载比较高端的图形图像及视觉模型处理平台,也不需要支持复杂的算法。仅需要一个或少数承载比较高端的图形图像及视觉模型等处理平台的第一电子设备或第三电子设备。从而能在实现对目标区域的第一空间布局信息实时更新的基础上降低了系统的硬件造价,简化第二电子设备的硬件结构,可以减小第二电子设备的体积、减轻第二电子设备的重量、降低第二电子设备的功耗;从而也能降低第二电子设备所产生的热量。
在一些实施例中,所述接收所述目标区域中第一目标子区域的第一空间布局子信息,包括:
接收多个不同所述第一目标子区域的第一空间布局子信息;所述多个不同所述第一目标子区域的第一空间布局子信息为多个不同的第二电子设备分别采集。
在本实施例中,可以通过接收多个第二电子设备分别采集的目标区域中各第一目标子区域的第一空间布局子信息,实现多个第二电子设备上传其对应的局部(第一目标子区域)信息;如此,能够实现多个第二电子设备的协同工作,对各个第一目标子区域的信息进行更新,使得全局(目标区域)信息得到实时更新。且,将所述第二电子设备采集的各个第一目标子区域的第一空间布局子信息上传到第一电子设备,可以使得第一电子设备实现统一的第一空间布局信息的管理以及更新,实现信息的共享,使得所述多个第二电子设备在同一个全局地图中工作,方便后续多个第二电子设备的定位等操作。
在一些实施例中,还提供了一种信息处理方法,包括:
接收基于当前位置采集的第一单帧图像获得的第一特征点信息;
基于所述第一特征点信息以及更新后的第一空间布局信息,确定所述第一特征点信息在目标区域的第二目标子区域;所述第一空间布局信息为描述所述目标区域的信息;
发送所述第二目标子区域的第三空间布局子信息。
其中,所述更新后的第一空间布局子信息为利用第一空间布局子信息更新所述第二空间布局子信息的第一空间布局信息;所述第一空间布局子信息为来自第二电子设备采集的所述目标区域的第一目标子区域的信息;所述第二空间布局子信息为来自第一电子设备采集的目标区域中第一目标区域的信息。
这里,所述信息处理方法应用于第一电子设备中;所述第一特征点信息可以为来自第二电子设备的信息;所述第一空间布局信息可以为来自第三电子设备的信息。
这里,所述第二目标子区域与所述第一目标子区域可以相同或者不同或者部分相同。
其中,所述第一单帧图像可以为一张或多张单帧图像。
在一实施例中,当所述第一单帧图像为多张单帧图像时,所述单张单帧图像为当前位置的不同角度拍摄的图像;所述第一单帧图像为所述多张单帧图像拼接或融合的图像。
其中,所述第一特征点信息包括:检测特定对象位置的信息、或设备标识信息。例如,所述当前位置在A栋办公楼的第b间办公室;所述检测特定对象为第b间办公室的电脑、办公椅、茶杯、窗户、门、吊灯,等等;所述第一特征点信息则为描述该些电脑、办公椅、茶杯、窗户、门、吊灯的位置和/或朝向信息;其中,一个检测特定对象可以用一个或多个第一特征点信息表示。
在本实施例中,第二电子设备可以仅需处理少数的单帧图像的处理而获得第一特征点信息,可以基于比较简单的计算处理而实现第二电子设备所采集的当前位置的定位;且,可以利用之前基于第二电子设备上传的第一空间布局子信息更新后的第一空间布局信息而获得第三空间布局子信息,能进一步定位的当前位置的准确性。
如图2所示,本发明实施例提供了一种信息处理方法,包括:
步骤201,采集目标区域中第一目标子区域的第一空间布局子信息;
步骤202,发送所述第一空间布局子信息;
其中,所述第一空间布局子信息用于更新第一空间布局信息所包含的描述所述第一目标子区域的所述第二空间布局子信息;所述第一空间布局信息为描述所述目标区域的信息。
这里,所述信息处理方法应用于一个或多个第二电子设备;所述第二电子设备可以为配置比较低端传感器和处理单元的电子设备;所述第二电子设备可以为AR眼镜或其它终端设备。
在一实施例中,所述发送第一空间布局子信息,包括:将所述第一空间布局子信息发送给所述第一电子设备;所述第一空间布局子信息用于所述第一电子设备若确定所述第一空间布局子信息与所述第二空间布局子信息不一致时,利用所述第一空间布局子信息替换所述第二空间布局子信息;所述第二空间布局子信息为第一空间布局信息所包含的描述所述第一目标子区域的信息。
在现有技术中,为了实现对某个目标区域的地图更新或者即时定位与等功能,第二电子设备(例如AR眼镜)需要承载各种视觉和传感器模组,并且需要支持复杂的算法。因而所述第二电子设备需要比较高端的图形图像及视觉模型等处理平台,使得AR眼镜的体积很大、功耗很高,且由于功耗高还会导致AR眼镜所产生的热量多;从而使得AR眼镜很难被广泛应用在在日常生活、娱乐和工作中。
在本发明实施例中,由于第二电子设备(AR眼镜)不需要采集目标区域的(即全局)的空间布局信息,只需要采集目标区域中第一目标区域(即局部)的空间布局子信息,从而使得AR眼镜的可以只承载比较低端的视觉和传感器模组,以及支持相对简单的算法,从而使得AR眼镜实现轻量化设计。例如,使得AR眼镜消耗的功率大大减低、体积大大降低以及减少AR眼镜所产生的热量。本发明实施例一方面,能够更容易完成第二电子设备的产品设计,另一方面能够推动第二电子设备(例如AR眼镜)的市场迅速扩大。
且由于每个第二电子设备都只需要承载比较低端的处理平台,而只需要一个其它的第一电子设备或第三电子设备承载比较高端的SLMA等处理平台,就能完成对整个目标区域的地图重建,从而降低了整个系统硬件造价。且,可以基于各个第二电子设备采集到的目标区域的第一目标子区域的第一空间局部子信息,实现对所述目标区域的第一空间布局信息的实时更新。
在一些实施例中,所述采集目标区域中第一目标子区域的第一空间布局子信息,包括:
采集目标区域的第一目标子区域的至少一张第二单帧图像;
基于所述至少一张第二单帧图像获取第二特征点信息;
基于所述第二特征点信息获取所述第一目标子区域的第一空间布局子信息。
其中,所述第二单帧图像可以为一张或多张单帧图像。
在一实施例中,当所述第二单帧图像为多张单帧图像时,所述多张单帧图像可以为基于当前位置的不同角度拍摄的图像;所述第二单帧图像为所述多张单帧图像拼接或融合的图像。
在另一实施例中,当所述第二单帧图像为多张单帧图像时,所述多张单帧图像可以为基于该第一目标子区域中各部分区域拍摄的图像;所述第二单帧图像为所述各部分区域拍摄的图像拼接或融合的图像。
其中,所述第二特征点信息为所述当前位置的检测特定对象的信息。例如,所述当前位置在A栋办公楼的第c间办公室;所述检测特定对象为第c间办公室的电脑、办公椅、茶杯、窗户、门、吊灯,等等;所述第二特征点信息则为描述该些电脑、办公椅、茶杯、窗户、门、吊灯的位置和/或朝向信息;其中,一个检测特定对象可以用一个或多个第二特征点信息表示。
在一些实施例中,所述基于所述至少一张第二单帧图像获取第二特征点信息,包括:
基于所述至少一张第二单帧图像获取第一目标子区域的第一类第二特征点信息;所述第一类第二特征点信息用于确定所述第二电子设备在所述第一目标子区域的位置信息;或者,
基于所述至少一张第二单帧图像获取第一目标子区域的第二类第二特征点信息;所述第二类第二特征点信息用于确定所述第二电子设备在所述第一目标区域的位置信息和/或确定在所述第一目标子区域叠加的图形元素;
其中,所述第一类第二特征点信息比所述第二类第二特征点信息所包含的检测特定对象少。
这里,所述图形元素可以为在某个区域中叠加的虚拟的人、动物、物体和/或文字,等等;所述图形元素可以通过AR眼镜在该区域中显示。例如,在一AR场景中,所述图像元素可以为一全息广告,所述全息广告包括某个明星立体图像以及在立体图像下的一段广告词。又如,在一AR场景中,所述图像元素可以为在某个道路上叠加的一真实世界中没有的一汽车或者一个路牌。再如,在一AR场景中,所述图形元素可以为在某个游戏场景中显示的一灵兽。
在一实施例中,所述方法还包括:基于所述第一类第二特征点信息,获得第一地图;基于所述第二类第二特征点信息,获得第二地图;所述第一地图和所述第二地图为描述同一空间的地图;所述第一地图中所包括的检测特定对象比所述第二地图所包括的检测特定对象少。
在本实施例中,通过获取检测特定对象相对较少的第一类第二特征点信息,可以建立第一目标子区域中检测特定对象比较少的空间布局信息,从而可以建立第一地图。而所述第一地图可以确定该第一类第二特征点信息所在目标区域的位置,从而实现采集该第一类第二特征点对应的单帧图像的电子设备的定位。通过获取检测特定对象相对较多的第二类第二特征点信息,可以建立第一目标子区域中检测特定对象比较多的空间布局信息,从而可以建立第二地图。而所述第二地图在叠加图形元素时,可以使得所述图形元素比较精确的叠加到具体的位置;从而可以实现比较精确的图形元素的叠加。同时,该第二地图可以进一步精确确定所述采集该第二类第二特征点对应的单帧图像的电子设备的定位。
在一些实施例中,所述方法还包括:
利用第一修正值校正显示参数;
基于第一空间布局子信息在所述第一目标子区域中显示图形元素;
其中,所述第一修正值,用于供多个所述第二电子设备中一个所述第二电子设备校正显示参数,得到目标空间位姿的第一图形元素;第二修正值,用于供所述多个所述第二电子设备中一个所述第二电子设备校正显示参数,得到目标空间位姿的第二图形元素;所述第一图形元素和所述第二图形元素相同。其中,所述显示参数包括但不限于以下至少之一:位置参数、大小参数、形状参数。
在实际应用中,多个不同的第二电子设备(例如AR眼镜)是出自不同的厂家,其显示参数并不相同,因而当所述第二电子设备在同一个位姿看到目标区域中显示的同一个图像元素时,会看到不一样的图形元素,使得增加现实的显示效果不佳。
在本发明实施例中,可以通过修正值来修正第二电子设备的显示参数,使得基于不同的修正值修正不同第二电子设备的显示参数后,该些不同第二电子设备在同一个空间位姿所显示的所述图形元素是相同的。如此,当该些不同第第二电子设备在目标区域的不同空间位置从不同的方向所观看的图像元素是基于同一空间地图;且该些不同第二电子设备实际看到的是同一个图像元素,只是基于不同的位置及角度显示;从而使得基于第二电子设备显示的图像元素的更加真实,使得增加虚拟现实的显示效果得到提高。
本发明实施例还提供了一种信息处理方法,包括:
采集当前位置的第一单帧图像;
基于所述第一单帧图像,获取第一特征点信息;
发送所述第一特征点信息;
接收目标区域中第二目标子区域的第三空间布局子信息;所述第三空间布局子信息基于所述第一特征点与更新后的第一空间布局信息确定;所述第一空间布局信息为描述目标区域的信息。
这里,所述信息处理方法可应用于第二电子设备。
其中,所述第一特征点信息可以为第一类第一特征点信息;所述第一类第一特征点信息为包括检测特定对象比较少的信息。
在实际应用中,所述第二电子设备可以不断移动,可以基于所述第二电子设备的移动过程中采集的第一单帧图像,确定所述第二电子设备在移动过程中所经过的位置等,实现所述第二电子设备在移动过程中的定位。
在本发明实施例中,所述第二电子设备可以基于比较低端的图形图像和/或数据处理平台,仅采集当前位置的单帧图像,可通过执行比较少的计算处理,获得第一特征点信息。通过将所述第一特征点信息发送给第一电子设备,通过第一电子设备比较第一特征点信息与更新后的第一空间局部信息,获得第一特征点信息对应的目标子区域在目标区域的对应位置,实现对当前位置的定位。且还能获得对应的第二子目标区域的第三空间布局子信息,可以实现目标区域的空间布局信息的共享,从间接从其它第二电子设备或者直接从第一电子设备获得当前位置的局部的空间布局信息。本发明实施例还可以简化第二电子设备的硬件结构,降低第二电子设备的造价。
且,在本实施例中,还可以通过单帧图像获得第一类第一特征点信息,从而可以进一步简化第二电子设备的计算处理过程。
在一些实施中,所述方法还包括:
基于所述第一特征点信息及所述第三空间布局子信息,确定位姿信息;
所述位姿信息包括:位置信息和/或朝向信息。
这里,一个对象的位置信息包括:所述对象所处经纬度位置信息;所述对象的位置信息还包括:所述在三维空间的高度信息。例如,某一对象放置在桌面上,距离该地面为1.2米信息为在三维空间的高度信息。一个对象的朝向信息包括所对象的视线的方向信息;例如,用户A往东南方向45°看一全息广告,则东南方向45°为所述用户A的朝向信息。
在本实施例中,可以通过第二电子设备采集的第一特征点信息与第二目标子区域的第三空间信息的比较,确定所述第二电子设备的位置以及第二电子设备的朝向,从而实现对第二电子设备的定位。
这里需要指出的是:以下信息处理装置项的描述,与上述信息处理方法项描述是类似的,同方法的有益效果描述,不做赘述。对于本发明信息处理装置实施例中未披露的技术细节,请参照本发明信息处理方法实施例的描述。
如图3所示,本发明实施例还提供了一种信息处理装置,包括:
获取单元31,用于获取目标区域的第一空间布局信息;
第一接收单元32,用于接收所述目标区域中第一目标子区域的第一空间布局子信息;
比对单元33,用于比对所述第一空间布局子信息与所述第一空间布局信息所包含的描述所述第一目标子区域的第二空间布局子信息;
第一处理单元34,用于若所述第一空间布局子信息与所述第二空间布局子信息不一致,利用所述第一空间布局子信息更新所述第二空间布局子信息。
在一些实施例中,所述第一接收单元32,还用于接收多个不同所述第一目标子区域的第一空间布局子信息;所述多个不同所述第一目标子区域的第一空间布局子信息为多个不同的第二电子设备分别采集。
在一些实施例中,获取的所述第一空间布局信息来自所述第三电子设备。
在一些实施例中,所述第一空间布局信息的图像精度高于所述第一空间布局子信息的图像精度。
在一些实施例中,所述装置还包括第一发送单元35;其中,
所述第一接收单元32,还用于接收基于当前位置采集的第一单帧图像获得的第一特征点信息;
所述第一处理单元34,还用于基于所述第一特征点信息以及所述第一空间布局信息,确定所述第一特征点信息在所述目标区域的第二目标子区域;
所述第一发送单元35,还用于发送所述第二目标子区域的第三空间布局子信息。
如图4所示,本发明实施例还提供了一种信息处理装置,包括:
采集单元41,用于采集目标区域中第一目标子区域的第一空间布局子信息;
第二发送单元42,用于发送所述第一空间布局子信息;
其中,所述第一空间布局子信息用于更新第一空间布局信息所包含的描述所述第一目标子区域的所述第二空间布局子信息;所述第一空间布局信息为描述所述目标区域的信息。
在一些实施例中,所述采集单元41,还用于采集目标区域的第一目标子区域的至少一张第二单帧图像;基于所述至少一张第二单帧图像获取第二特征点信息;基于所述第二特征点信息获取所述第一目标子区域的第一空间布局子信息。
在一些实施例中,所述采集单元41,用于基于所述至少一张第二单帧图像获取第一目标子区域的第一类第二特征点信息;所述第一类第二特征点信息用于确定第二电子设备在所述第一目标子区域的位置信息;或者,
基于所述至少一张第二单帧图像获取第一目标子区域的第二类第二特征点信息;所述第二类第二特征点信息用于确定第二电子设备在所述第一目标区域的位置信息和/或确定在所述第一目标子区域叠加的图形元素;
其中,所述第一类第二特征点信息比所述第二类第二特征点信息所包含的检测特定对象少。
在一些实施例中,所述装置还包括第二处理单元43和显示单元44;其中,
所述第二处理单元43,用于利用第一修正值校正显示参数;
所述显示单元44,用于基于第一空间布局子信息在所述第一目标子区域中显示图形元素;
其中,所述第一修正值,用于供多个所述第二电子设备中一个所述第二电子设备校正显示参数,得到目标空间位姿的第一图形元素;第二修正值,用于供所述多个所述第二电子设备中一个所述第二电子设备校正显示参数,得到目标空间位姿的第二图形元素;所述第一图形元素和所述第二图形元素相同。
在一些实施例中,所述装置还包括第二接收单元45;其中,
所述采集单元41,还用于采集当前位置的第一单帧图像;基于所述第一单帧图像,获取第一特征点信息;
所述第二发送单元42,还用于发送所述第一特征点信息;
所述第二接收单元45,用于接收目标区域中第二目标子区域的第三空间布局子信息;所述第三空间布局子信息基于所述第一特征点与更新后的第一空间布局信息确定;所述第一空间布局信息为描述所述目标区域的信息。
在一些实施例中,所述第二处理单元43,还用于基于所述第一特征点信息及所述第三空间布局子信息,确定第二电子设备的位姿信息;所述位姿信息包括:位置信息和/或朝向信息。
如图5所示,本发明实施例还提供了一种信息处理系统,所述系统包括第一电子设备51和多个第二电子设备52;所述第一电子设备51为包括SLAM模组的电子设备;所述第二电子设备52为AR眼镜。
所述第一电子设备51,用于获取目标区域的第一空间布局信息;
所述第二电子设备52,用于采集目标区域中第一目标子区域的第一空间布局子信息;将所述第一空间布局子信息发送给所述第一电子设备;
所述第一电子设备51,接收所述第一空间布局子信息;比对所述第一空间布局子信息与所述第一空间布局信息所包含的描述所述第一目标子区域的第二空间布局子信息;若所述第一空间布局子信息与所述第二空间布局子信息不一致,利用所述第一空间布局子信息更新所述第二空间布局子信息。
在一实施例中,所述多个第二电子设备52分别为所述多个第二电子设备分别为ARClass1、AR Class2、AR Class3、……、AR Class N;所述N为大于或等于2的自然数。
在一实施例中,所述多个第二电子设备可以将所述其位姿信息发送给其它所述第二电子设备中的一个或多个;如此,可以实现多个第二电子设备之间的相互定位。
在一实施例中,所述多个第二电子设备可以获取其它所述第二电子设备在其对应目标子区域的操作权限;基于所述操作权限,执行在其它所述第二电子设备在对应的目标子区域的第一操作;所述第一操作包括:显示所述目标子区域的图形元素;修改所述图形元素的位置和/或朝向信息和/或移动轨迹。例如,所述多个第二电子设备包括AR Class1、ARClass2;其中,所述AR Class1对应目标区域中的第1目标子区域,所述AR Class2对应目标区域中的第2目标子区域;所述第1目标子区域与所述第2目标子区域不同;所述AR Class1可以获得所述AR Class2在所述第2目标子区域的操作权限;基于所述操作权限,执行所述AR Class2在第2目标子区域的第一操作。例如,可以在AR Class1中显示所述第2目标子区域的图形元素,可以修改所述图形元素的放置位置和/或朝向和/或移动轨迹。
这里需要指出的是:以下电子设备和存储介质的描述,与上述信息处理方法项描述是类似的,同方法的有益效果描述,不做赘述。对于本发明电子设备实施例中未披露的技术细节,请参照本发明信息处理方法实施例的描述而理解。
如图6所述,本发明实施例公开了一种电子设备,所述电子设备包括:所述电子设备包括:处理器61、通信接口62和存储器63;其中,
所述处理器61通常控制终端设备或网络设备的总体操作。
通信接口62可以使终端设备或网络设备通过网络与其他终端或服务器通信。
存储器63配置为存储由处理器61可执行的指令和应用,还可以缓存待处理器61以及终端中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random Access Memory,RAM)实现。
可以理解的是,本文描述的处理器61可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。该存储介质位于存储器63,处理器61读取存储器63中的信息,结合其硬件完成上述方法的步骤。
本发明又一实施例提供了一种计算机存储介质,该计算机可读存储介质存储有可执行程序,所述可执行程序被处理器执行时,可实现应用于所述电子设备的信息处理方法的步骤。例如,如图1、图2所示的方法中的一个或多个。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件可以是、或也可以不是物理上分开的,作为显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得终端执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种信息处理方法,包括:
获取目标区域的第一空间布局信息;
接收所述目标区域中第一目标子区域的第一空间布局子信息;
比对所述第一空间布局子信息与所述第一空间布局信息所包含的描述所述第一目标子区域的第二空间布局子信息,其中,所述第一空间布局子信息为第二电子设备采集的所述目标区域的第一目标子区域的信息;所述第二空间布局子信息为第一电子设备采集的目标区域中第一目标区域的信息;
若所述第一空间布局子信息与所述第二空间布局子信息不一致,利用所述第一空间布局子信息更新所述第二空间布局子信息。
2.根据权利要求1所述的方法,所述接收所述目标区域中第一目标子区域的第一空间布局子信息,包括:
接收多个不同所述第一目标子区域的第一空间布局子信息;所述多个不同所述第一目标子区域的第一空间布局子信息为多个不同的第二电子设备分别采集。
3.一种信息处理方法,包括:
接收基于当前位置采集的第一单帧图像获得的第一特征点信息;
基于所述第一特征点信息以及更新后的第一空间布局信息,确定所述第一特征点信息在目标区域的第二目标子区域;所述第一空间布局信息为描述所述目标区域的信息,其中,所述更新后的第一空间布局子信息为利用第一空间布局子信息更新第二空间布局子信息的第一空间布局信息,所述第一空间布局子信息为第二电子设备采集的所述目标区域的第一目标子区域的信息;所述第二空间布局子信息为第一电子设备采集的目标区域中第一目标区域的信息;
发送所述第二目标子区域的第三空间布局子信息。
4.一种信息处理方法,包括:
采集目标区域中第一目标子区域的第一空间布局子信息;
发送所述第一空间布局子信息;
其中,所述第一空间布局子信息用于更新第一空间布局信息所包含的描述所述第一目标子区域的第二空间布局子信息;所述第一空间布局信息为描述所述目标区域的信息,所述第一空间布局子信息为第二电子设备采集的所述目标区域的第一目标子区域的信息;所述第二空间布局子信息为第一电子设备采集的目标区域中第一目标区域的信息。
5.根据权利要求4所述的方法,所述采集目标区域中第一目标子区域的第一空间布局子信息,包括:
采集目标区域的第一目标子区域的至少一张第二单帧图像;
基于所述至少一张第二单帧图像获取第二特征点信息;
基于所述第二特征点信息获取所述第一目标子区域的第一空间布局子信息。
6.根据权利要求5所述的方法,所述基于所述至少一张第二单帧图像获取第二特征点信息,包括:
基于所述至少一张第二单帧图像获取第一目标子区域的第一类第二特征点信息;所述第一类第二特征点信息用于确定第二电子设备在所述第一目标子区域的位置信息;或者,
基于所述至少一张第二单帧图像获取第一目标子区域的第二类第二特征点信息;所述第二类第二特征点信息用于确定第二电子设备在所述第一目标区域的位置信息和/或确定在所述第一目标子区域叠加的图形元素;
其中,所述第一类第二特征点信息比所述第二类第二特征点信息所包含的检测特定对象少。
7.根据权利要求4所述的方法,还包括:
利用第一修正值校正显示参数;
基于第一空间布局子信息在所述第一目标子区域中显示图形元素;
其中,所述第一修正值,用于供多个所述第二电子设备中一个所述第二电子设备校正显示参数,得到目标空间位姿的第一图形元素;第二修正值,用于供所述多个所述第二电子设备中一个所述第二电子设备校正显示参数,得到目标空间位姿的第二图形元素;所述第一图形元素和所述第二图形元素相同。
8.一种信息处理方法,包括:
采集当前位置的第一单帧图像;
基于所述第一单帧图像,获取第一特征点信息;
发送所述第一特征点信息;
接收目标区域中第二目标子区域的第三空间布局子信息;所述第三空间布局子信息基于所述第一特征点与更新后的第一空间布局信息确定;所述第一空间布局信息为描述所述目标区域的信息,其中,所述更新后的第一空间布局子信息为利用第一空间布局子信息更新第二空间布局子信息的第一空间布局信息,所述第一空间布局子信息为第二电子设备采集的所述目标区域的第一目标子区域的信息;所述第二空间布局子信息为第一电子设备采集的目标区域中第一目标区域的信息。
9.根据权利要求8所述的方法,还包括:
基于所述第一特征点信息及所述第三空间布局子信息,确定第二电子设备的位姿信息;
所述位姿信息包括:位置信息和/或朝向信息。
10.一种电子设备,包括处理器和用于存储能够在所述处理器上运行的计算机程序的存储器;其中,所述处理器用于运行计算机程序时,实现权利要求1-2或3或4-7或8-9任一项所述信息处理方法。
CN201910437653.9A 2019-05-24 2019-05-24 一种信息处理方法、电子设备 Active CN110276837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910437653.9A CN110276837B (zh) 2019-05-24 2019-05-24 一种信息处理方法、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910437653.9A CN110276837B (zh) 2019-05-24 2019-05-24 一种信息处理方法、电子设备

Publications (2)

Publication Number Publication Date
CN110276837A CN110276837A (zh) 2019-09-24
CN110276837B true CN110276837B (zh) 2023-07-21

Family

ID=67960159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910437653.9A Active CN110276837B (zh) 2019-05-24 2019-05-24 一种信息处理方法、电子设备

Country Status (1)

Country Link
CN (1) CN110276837B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7688997B2 (en) * 2001-11-21 2010-03-30 Iomniscient Pty Ltd Non-motion detection
CN103713832A (zh) * 2013-12-23 2014-04-09 联想(北京)有限公司 一种显示处理方法及电子设备
CN104461219A (zh) * 2013-09-13 2015-03-25 联想(北京)有限公司 信息处理设备及信息处理方法
CN104460960A (zh) * 2013-09-18 2015-03-25 联想(北京)有限公司 一种数据处理方法及电子设备
CN107168514A (zh) * 2017-03-27 2017-09-15 联想(北京)有限公司 一种图像处理方法及电子设备
CN108629794A (zh) * 2017-03-24 2018-10-09 鸿富锦精密工业(深圳)有限公司 物件追踪方法及系统
CN108931924A (zh) * 2018-08-06 2018-12-04 珠海格力电器股份有限公司 智能家居系统的控制方法及装置、处理器、存储介质
CN109325988A (zh) * 2017-07-31 2019-02-12 腾讯科技(深圳)有限公司 一种面部表情合成方法、装置及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7688997B2 (en) * 2001-11-21 2010-03-30 Iomniscient Pty Ltd Non-motion detection
CN104461219A (zh) * 2013-09-13 2015-03-25 联想(北京)有限公司 信息处理设备及信息处理方法
CN104460960A (zh) * 2013-09-18 2015-03-25 联想(北京)有限公司 一种数据处理方法及电子设备
CN103713832A (zh) * 2013-12-23 2014-04-09 联想(北京)有限公司 一种显示处理方法及电子设备
CN108629794A (zh) * 2017-03-24 2018-10-09 鸿富锦精密工业(深圳)有限公司 物件追踪方法及系统
CN107168514A (zh) * 2017-03-27 2017-09-15 联想(北京)有限公司 一种图像处理方法及电子设备
CN109325988A (zh) * 2017-07-31 2019-02-12 腾讯科技(深圳)有限公司 一种面部表情合成方法、装置及电子设备
CN108931924A (zh) * 2018-08-06 2018-12-04 珠海格力电器股份有限公司 智能家居系统的控制方法及装置、处理器、存储介质

Also Published As

Publication number Publication date
CN110276837A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN108446310B (zh) 虚拟街景地图生成方法、装置和客户端设备
AU2013334573B2 (en) Augmented reality control systems
EP2625847B1 (en) Network-based real time registered augmented reality for mobile devices
CN102647449B (zh) 基于云服务的智能摄影方法、装置及移动终端
US20190356936A9 (en) System for georeferenced, geo-oriented realtime video streams
CN115803788A (zh) 用于大规模环境的交叉现实系统
EP4046070A1 (en) Cross reality system supporting multiple device types
CN115398484A (zh) 具有用于定位的地理定位信息优先级的交叉现实系统
CN110249291A (zh) 用于在预捕获环境中的增强现实内容递送的系统和方法
US20140354690A1 (en) Display application and perspective views of virtual space
WO2021168338A1 (en) Cross reality system with wifi/gps based map merge
KR101126449B1 (ko) 증강 현실 서비스 시스템 및 방법
CN103826201A (zh) 一种基于地理位置的虚拟交互方法及其系统
CN108114471B (zh) Ar业务处理方法、装置、服务器及移动终端
CN109520500A (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
US9467620B2 (en) Synthetic camera lenses
CN111651051B (zh) 一种虚拟沙盘展示方法及装置
CN110858414A (zh) 图像处理方法、装置、可读存储介质与增强现实系统
CN107038949A (zh) 一种实景地图的生成方法、推送方法及其装置
CN113436311A (zh) 一种户型图生成方法及其装置
CN114943773A (zh) 相机标定方法、装置、设备和存储介质
BR112019009494A2 (pt) dispositivo de computação para suportar uma aplicação de realidade aumentada, método de suporte a uma aplicação de realidade aumentada e meio de armazenamento legível por computador
CN109712249B (zh) 地理要素增强现实方法及装置
JP2016122277A (ja) コンテンツ提供サーバ、コンテンツ表示端末、コンテンツ提供システム、コンテンツ提供方法、および、コンテンツ表示プログラム
CN111899349B (zh) 一种模型呈现方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant