CN114900545A - 增强现实实现方法和系统、云服务器 - Google Patents
增强现实实现方法和系统、云服务器 Download PDFInfo
- Publication number
- CN114900545A CN114900545A CN202210503190.3A CN202210503190A CN114900545A CN 114900545 A CN114900545 A CN 114900545A CN 202210503190 A CN202210503190 A CN 202210503190A CN 114900545 A CN114900545 A CN 114900545A
- Authority
- CN
- China
- Prior art keywords
- user terminal
- real scene
- scene
- cloud server
- capability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 64
- 238000012795 verification Methods 0.000 claims description 44
- 238000013473 artificial intelligence Methods 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 8
- 210000001503 joint Anatomy 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000010276 construction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本公开提供一种增强现实实现方法和系统、云服务器。增强现实实现方法包括:根据用户终端发送的增强现实AR请求确定目标实景;获取目标实景的实景坐标信息和与目标实景相关的图形数据;从资源库中获取与实景坐标信息和图形数据相匹配的虚拟场景数据;将虚拟场景数据发送给用户终端,以便用户终端将虚拟场景数据与目标实景相结合,以输出虚实融合结果。
Description
技术领域
本公开涉及网络技术领域,特别涉及一种增强现实实现方法和系统、云服务器。
背景技术
随着元宇宙概念的兴起,带来互联网展现方式的改变,包括沉浸式三维体验、拟人真实性操控及虚拟与真实的完美融合等特点,AR(Augmented Reality,增强现实)技术作为融合现实与虚拟增强的主流技术,就成为了其基础的关键技术之一。
当前的AR实现方式以手机、AR眼镜等终端单体实现方式为主,主要展现方式为基于所属终端周边拍摄实体,通过内置AR架构的SLAM(Simultaneous Localization andMapping,即时定位与地图构建)实现实景平面识别、距离测定、位置定位和坐标重构等,并以其实景数字化结果进行虚拟场景的叠加。
发明内容
发明人注意到,在相关技术中,基于终端自身的AR实现方式,受制于终端自身的处理能力,无法具有精准的实际场景坐标、位置重构及缺乏超大场景的数据化处理能力。
据此,本公开提供一种增强现实实现方案,终端采用基于云服务器的超强算力作为支撑,能够具备处理超大场景和精准化处理的能力。
根据本公开实施例的第一方面,提供一种增强现实实现方法,由云服务器执行,包括:根据用户终端发送的增强现实AR请求确定目标实景;获取所述目标实景的实景坐标信息和与所述目标实景相关的图形数据;从资源库中获取与所述实景坐标信息和图形数据相匹配的虚拟场景数据;将所述虚拟场景数据发送给用户终端,以便用户终端将所述虚拟场景数据与所述目标实景相结合,以输出虚实融合结果。
在一些实施例中,在根据用户终端发送的增强现实AR请求确定目标实景后,还包括:对所述目标实景进行验证,以判断资源库中是否具有与所述目标实景相关的信息;若所述目标实景通过验证,则获取所述目标实景的实景坐标信息和与所述目标实景相关的图形数据。
在一些实施例中,所述图形数据包括所述目标实景的所处位置、朝向、初步距离中的至少一项。
在一些实施例中,通过与用户终端交互以构建虚拟场景,并将相应的虚拟场景数据存入资源库中。
在一些实施例中,通过与用户终端交互以构建虚拟场景包括:根据用户终端发送的验证请求,对用户终端的接入权限进行验证;在接入权限通过验证后,根据用户终端上报的坐标信息,在资源库中查询对应的虚拟场景数据的虚拟化精准度是否满足预设条件;若虚拟化精准度满足预设条件,则与用户终端进行数据同步,以获取用户终端调用自身的即时定位与地图构建SLAM能力生成的第一实景数字化结果;利用第一实景数字化结果、预设的公开数据集和实景的人工智能AI识别结果构建多源数据,并利用多源数据生成第二实景数字化结果;利用第二实景数字化结果构建虚拟场景,并将相应的虚拟场景数据存入资源库中。
在一些实施例中,虚拟化精准度包括数字化完整度、数字化精准度和数字化立体性,其中数字化完整度用于表示在该坐标信息的邻域范围内是否存在数字化空缺的情况,数字化精准度用于表示在该坐标信息的邻域范围内的虚拟场景数据是否均满足数字化精度要求,数字化立体性用于表示与该坐标信息相关的三维数字化请求是否完备。
在一些实施例中,所述第二实景数字化结果的精度大于所述第一实景数字化结果的精度。
在一些实施例中,若虚拟化精准度不满足预设条件,则对用户终端的终端能力进行校验;在终端能力校验通过后,与用户终端的相关AR框架对接;对用户终端所采集的实景进行实景精确度校验,其中用户终端根据云服务器的指示采集实景,并将所采集的实景上传给云服务器;若实景精确度校验通过,则执行所述与用户终端进行数据同步的步骤;若实景精确度校验不通过,则指示用户终端根据采集实景并上传给云服务器。
在一些实施例中,用户终端的终端能力包括实景采集能力和数字化处理能力;其中,实景采集能力包括用户终端对拍摄实景的清晰度、深度信息的能力,数字化处理能力包括用户终端自身的AR软件的实景数字化处理能力。
在一些实施例中,所述SLAM能力包括平面确定能力、间距估算能力和拍摄物体属性分析能力。
根据本公开实施例的第二方面,提供一种云服务器,包括:第一处理模块,被配置为根据用户终端发送的增强现实AR请求确定目标实景,获取所述目标实景的实景坐标信息和与所述目标实景相关的图形数据;第二处理模块,被配置为从资源库中获取与所述实景坐标信息和图形数据相匹配的虚拟场景数据,将所述虚拟场景数据发送给用户终端,以便用户终端将所述虚拟场景数据与所述目标实景相结合,以输出虚实融合结果。
在一些实施例中,第一处理模块被配置为对所述目标实景进行验证,以判断资源库中是否具有与所述目标实景相关的信息,若所述目标实景通过验证,则获取所述目标实景的实景坐标信息和与所述目标实景相关的图形数据。
在一些实施例中,所述图形数据包括所述目标实景的所处位置、朝向、初步距离中的至少一项。
在一些实施例中,云服务器还包括:第三处理模块,被配置为通过与用户终端交互以构建虚拟场景,并将相应的虚拟场景数据存入资源库中。
在一些实施例中,第三处理模块被配置为根据用户终端发送的验证请求,对用户终端的接入权限进行验证,在接入权限通过验证后,根据用户终端上报的坐标信息,在资源库中查询对应的虚拟场景数据的虚拟化精准度是否满足预设条件,若虚拟化精准度满足预设条件,则与用户终端进行数据同步,以获取用户终端调用自身的即时定位与地图构建SLAM能力生成的第一实景数字化结果,利用第一实景数字化结果、预设的公开数据集和实景的人工智能AI识别结果构建多源数据,并利用多源数据生成第二实景数字化结果,利用第二实景数字化结果构建虚拟场景,并将相应的虚拟场景数据存入资源库中。
在一些实施例中,虚拟化精准度包括数字化完整度、数字化精准度和数字化立体性,其中数字化完整度用于表示在该坐标信息的邻域范围内是否存在数字化空缺的情况,数字化精准度用于表示在该坐标信息的邻域范围内的虚拟场景数据是否均满足数字化精度要求,数字化立体性用于表示与该坐标信息相关的三维数字化请求是否完备。
在一些实施例中,所述第二实景数字化结果的精度大于所述第一实景数字化结果的精度。
在一些实施例中,第三处理模块被配置为若虚拟化精准度不满足预设条件,则对用户终端的终端能力进行校验,在终端能力校验通过后,与用户终端的相关AR框架对接,对用户终端所采集的实景进行实景精确度校验,其中用户终端根据云服务器的指示采集实景,并将所采集的实景上传给云服务器,若实景精确度校验通过,则执行所述与用户终端进行数据同步,若实景精确度校验不通过,则指示用户终端根据采集实景并上传给云服务器。
在一些实施例中,用户终端的终端能力包括实景采集能力和数字化处理能力,其中,实景采集能力包括用户终端对拍摄实景的清晰度、深度信息的能力,数字化处理能力包括用户终端自身的AR软件的实景数字化处理能力。
在一些实施例中,所述SLAM能力包括平面确定能力、间距估算能力和拍摄物体属性分析能力。
根据本公开实施例的第三方面,提供一种云服务器,包括:存储器,被配置为存储指令;处理器,耦合到存储器,处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。
根据本公开实施例的第四方面,提供一种增强现实实现系统,包括:如上述任一实施例所述的云服务器;用户终端,被配置向云服务器发送增强现实AR请求,将所述云服务器发送的虚拟场景数据与目标实景相结合,以输出虚实融合结果。
在一些实施例中,用户终端还被配置为向云服务器发送验证请求,将调用自身的即时定位与地图构建SLAM能力生成的第一实景数字化结果上报给云服务器。
在一些实施例中,用户终端还被配置为根据云服务器的指示采集实景,并将所采集的实景上传给云服务器。
根据本公开实施例的第五方面,提供一种计算机可读存储介质,其中,计算机可读存储介质存储有计算机指令,指令被处理器执行时实现如上述任一实施例所述的方法。
通过以下参照附图对本公开的示例性实施例的详细描述,本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开一个实施例的增强现实实现方法的流程示意图;
图2为本公开另一个实施例的增强现实实现方法的流程示意图;
图3为本公开又一个实施例的增强现实实现方法的流程示意图;
图4为本公开一个实施例的云服务器的结构示意图;
图5为本公开另一个实施例的云服务器的结构示意图;
图6为本公开又一个实施例的云服务器的结构示意图;
图7为本公开一个实施例的增强现实实现系统的结构示意图;
图8为本公开另一个实施例的增强现实实现系统的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
图1为本公开一个实施例的增强现实实现方法的流程示意图。在一些实施例中,下列的增强现实实现方法由云服务器执行。
在步骤101,根据用户终端发送的AR请求确定目标实景。
例如,该请求适用的场景包括:实现在本地终端真实世界添加虚拟形象或进行虚拟场景的浏览和查看等。
在步骤102,获取目标实景的实景坐标信息和与目标实景相关的图形数据。
在一些实施例中,在根据用户终端发送的AR请求确定目标实景后,对目标实景进行验证,以判断资源库中是否具有与目标实景相关的信息。若目标实景通过验证,则获取目标实景的实景坐标信息和与目标实景相关的图形数据。
在一些实施例中,图形数据包括目标实景的所处位置、朝向、初步距离中的至少一项。
在步骤103,从资源库中获取与实景坐标信息和图形数据相匹配的虚拟场景数据。
在步骤104,将虚拟场景数据发送给用户终端,以便用户终端将虚拟场景数据与目标实景相结合,以输出虚实融合结果。
例如,将虚拟场景数据进行压缩打包后,通过诸如视频流化的方式发送给用户终端。
需要说明的是,虚实融合结果输出,是指为拍摄的实景赋能相关的虚拟数字化能力,为后续的其他虚拟形象添加和互动奠定基础。
由此,可实现基于不断位置变化的终端实景获取,以及云服务器虚实融合赋能多用户、统一场景的AR互动。
在一些实施例中,通过与用户终端交互以构建虚拟场景,并将相应的虚拟场景数据存入资源库中。例如,通过与用户终端交互以构建虚拟场景可由下图2或图3所示。
图2为本公开另一个实施例的增强现实实现方法的流程示意图。在一些实施例中,下列的增强现实实现方法由云服务器执行。
在步骤201,根据用户终端发送的验证请求,对用户终端的接入权限进行验证。
例如,用户终端可自己发起验证请求,也可根据云服务器下发的采集任务或其它方式触发验证请求。
在步骤202,在接入权限通过验证后,根据用户终端上报的坐标信息,在资源库中查询对应的虚拟场景数据的虚拟化精准度是否满足预设条件。
需要说明的是,在接入权限验证过程中,也可采集终端的品牌、型号及设备配件情况等信息。
例如,终端通过GPS(Global Positioning System,全球定位系统)、北斗等组件完成所在地理坐标的采集,并上报给云服务器。
在一些实施例中,虚拟化精准度包括数字化完整度、数字化精准度和数字化立体性。
数字化完整度用于表示在该坐标信息的邻域范围内(例如,百米范围内)是否存在数字化空缺的情况,即是否存在没有完成虚拟数字化的实景情况。
数字化精准度用于表示在该坐标信息的邻域范围内(例如,百米范围内)的虚拟场景数据是否均满足数字化精度要求(例如,可选精度为20cm)。
数字化立体性用于表示与该坐标信息相关的三维数字化请求是否完备,即是否存在缺失。
在步骤203,若虚拟化精准度满足预设条件,则与用户终端进行数据同步,以获取用户终端调用自身的SLAM能力生成的第一实景数字化结果。
需要说明的是,第一实景数字化结果的精度较低。
例如,SLAM能力是指针对所拍摄实景进行基于即时定位的相关数字化地图构建,包括平面确定能力、间距估算能力和拍摄物体属性分析能力。物体属性分析是指判断是否可穿透、是否存在遮挡等相关情况。
在步骤204,利用第一实景数字化结果、预设的公开数据集和实景的AI(Artificial Intelligence,人工智能)识别结果构建多源数据,并利用多源数据生成第二实景数字化结果。
实景AI识别是指通过深度学习、强化学习等算法针对终端侧上传的实景进行物体识别及根据物体识别结果进行相关属性添加等。
利用多源数据生成第二实景数字化结果,是指融合第一实景数字化结果、公开数据源信息和AI识别结果,实现针对实景地图信息,包括平面情况、物体属性和立体关系进行更加精准计算。
需要说明的是,第二实景数字化结果的精度大于第一实景数字化结果的精度。
在步骤205,利用第二实景数字化结果构建虚拟场景,并将相应的虚拟场景数据存入资源库中。
图3为本公开另一个实施例的增强现实实现方法的流程示意图。在一些实施例中,下列的增强现实实现方法由云服务器执行。
在步骤301,根据用户终端发送的验证请求,对用户终端的接入权限进行验证。
例如,用户终端可自己发起验证请求,也可根据云服务器下发的采集任务或其它方式触发验证请求。
在步骤302,在接入权限通过验证后,根据用户终端上报的坐标信息,在资源库中查询对应的虚拟场景数据的虚拟化精准度是否满足预设条件。
需要说明的是,在接入权限验证过程中,也可采集终端的品牌、型号及设备配件情况等信息。
例如,终端通过GPS(Global Positioning System,全球定位系统)、北斗等组件完成所在地理坐标的采集,并上报给云服务器。
在一些实施例中,虚拟化精准度包括数字化完整度、数字化精准度和数字化立体性。
数字化完整度用于表示在该坐标信息的邻域范围内(例如,百米范围内)是否存在数字化空缺的情况,即是否存在没有完成虚拟数字化的实景情况。
数字化精准度用于表示在该坐标信息的邻域范围内(例如,百米范围内)的虚拟场景数据是否均满足数字化精度要求(例如,可选精度为20cm)。
数字化立体性用于表示与该坐标信息相关的三维数字化请求是否完备,即是否存在缺失。
在步骤303,若虚拟化精准度不满足预设条件,则对用户终端的终端能力进行校验。
用户终端的终端能力包括实景采集能力和数字化处理能力。
实景采集能力包括用户终端对拍摄实景的清晰度、深度信息的能力,数字化处理能力包括用户终端自身的AR软件的实景数字化处理能力。
在步骤304,在终端能力校验通过后,与用户终端的相关AR框架对接。
通过获知终端侧相关的AR软件处理框架,实现相关的数据接口打通,为后续的数据交互奠定基础。
数据接口打通,是指能够实现终端侧AR软件处理框架,相关SLAM处理结果的采集和上报,云服务器能够接收终端相关上报的SLAM数据,并进行后续处理。
在步骤305,对用户终端所采集的实景进行实景精确度校验,其中用户终端根据云服务器的指示采集实景,并将所采集的实景上传给云服务器。
例如,用户终端针对周边实景进行采集,并按照云服务器的要求进行拍摄角度、位置等调整优化。
若实景精确度校验不通过,则重复执行步骤305。若实景精确度校验通过,则执行步骤306。
在步骤306,与用户终端进行数据同步,以获取用户终端调用自身的SLAM能力生成的第一实景数字化结果。
需要说明的是,第一实景数字化结果的精度较低。
例如,SLAM能力是指针对所拍摄实景进行基于即时定位的相关数字化地图构建,包括平面确定能力、间距估算能力和拍摄物体属性分析能力。物体属性分析是指判断是否可穿透、是否存在遮挡等相关情况。
在步骤307,利用第一实景数字化结果、预设的公开数据集和实景的AI识别结果构建多源数据,并利用多源数据生成第二实景数字化结果。
实景AI识别是指通过深度学习、强化学习等算法针对终端侧上传的实景进行物体识别及根据物体识别结果进行相关属性添加等。
利用多源数据生成第二实景数字化结果,是指融合第一实景数字化结果、公开数据源信息和AI识别结果,实现针对实景地图信息,包括平面情况、物体属性和立体关系进行更加精准计算。
需要说明的是,第二实景数字化结果的精度大于第一实景数字化结果的精度。
在步骤308,利用第二实景数字化结果构建虚拟场景,并将相应的虚拟场景数据存入资源库中。
图4为本公开一个实施例的云服务器的结构示意图。如图4所示,云服务器包括第一处理模块41和第二处理模块42。
第一处理模块41被配置为根据用户终端发送的AR请求确定目标实景,获取目标实景的实景坐标信息和与目标实景相关的图形数据。
例如,该请求适用的场景包括:实现在本地终端真实世界添加虚拟形象或进行虚拟场景的浏览和查看等。
在一些实施例中,第一处理模块41被配置为对目标实景进行验证,以判断资源库中是否具有与目标实景相关的信息,若目标实景通过验证,则获取目标实景的实景坐标信息和与目标实景相关的图形数据。
在一些实施例中,图形数据包括目标实景的所处位置、朝向、初步距离中的至少一项。
第二处理模块42被配置为从资源库中获取与实景坐标信息和图形数据相匹配的虚拟场景数据,将虚拟场景数据发送给用户终端,以便用户终端将虚拟场景数据与目标实景相结合,以输出虚实融合结果。
例如,将虚拟场景数据进行压缩打包后,通过诸如视频流化的方式发送给用户终端。
需要说明的是,虚实融合结果输出,是指为拍摄的实景赋能相关的虚拟数字化能力,为后续的其他虚拟形象添加和互动奠定基础。
图5为本公开另一个实施例的云服务器的结构示意图。图5和图4的不同之处在于,在图5所示实施例中,云服务器还包括第三处理模块43。
第三处理模块43被配置为通过与用户终端交互以构建虚拟场景,并将相应的虚拟场景数据存入资源库中。
在一些实施例中,第三处理模块43被配置为根据用户终端发送的验证请求,对用户终端的接入权限进行验证。
例如,用户终端可自己发起验证请求,也可根据云服务器下发的采集任务或其它方式触发验证请求。
第三处理模块43在接入权限通过验证后,根据用户终端上报的坐标信息,在资源库中查询对应的虚拟场景数据的虚拟化精准度是否满足预设条件。
需要说明的是,在接入权限验证过程中,也可采集终端的品牌、型号及设备配件情况等信息。
例如,终端通过GPS、北斗等组件完成所在地理坐标的采集,并上报给云服务器。
在一些实施例中,虚拟化精准度包括数字化完整度、数字化精准度和数字化立体性。
数字化完整度用于表示在该坐标信息的邻域范围内(例如,百米范围内)是否存在数字化空缺的情况,即是否存在没有完成虚拟数字化的实景情况。
数字化精准度用于表示在该坐标信息的邻域范围内(例如,百米范围内)的虚拟场景数据是否均满足数字化精度要求(例如,可选精度为20cm)。
数字化立体性用于表示与该坐标信息相关的三维数字化请求是否完备,即是否存在缺失。
若虚拟化精准度满足预设条件,则第三处理模块43与用户终端进行数据同步,以获取用户终端调用自身的SLAM能力生成的第一实景数字化结果,利用第一实景数字化结果、预设的公开数据集和实景的AI识别结果构建多源数据,并利用多源数据生成第二实景数字化结果,利用第二实景数字化结果构建虚拟场景,并将相应的虚拟场景数据存入资源库中。
例如,SLAM能力是指针对所拍摄实景进行基于即时定位的相关数字化地图构建,包括平面确定能力、间距估算能力和拍摄物体属性分析能力。物体属性分析是指判断是否可穿透、是否存在遮挡等相关情况。
需要说明的是,第二实景数字化结果的精度大于第一实景数字化结果的精度。
在一些实施例中,第三处理模块43被配置为若虚拟化精准度不满足预设条件,则对用户终端的终端能力进行校验。
用户终端的终端能力包括实景采集能力和数字化处理能力。
实景采集能力包括用户终端对拍摄实景的清晰度、深度信息的能力,数字化处理能力包括用户终端自身的AR软件的实景数字化处理能力。
在终端能力校验通过后,第三处理模块43与用户终端的相关AR框架对接,对用户终端所采集的实景进行实景精确度校验,其中用户终端根据云服务器的指示采集实景,并将所采集的实景上传给云服务器,若实景精确度校验通过,则执行与用户终端进行数据同步,若实景精确度校验不通过,则指示用户终端根据采集实景并上传给云服务器。
图6为本公开又一个实施例的云服务器的结构示意图。如图6所示,云服务器包括存储器61和处理器62。
存储器61用于存储指令,处理器62耦合到存储器61,处理器62被配置为基于存储器存储的指令执行实现如图1至图3中任一实施例涉及的方法。
如图6所示,该云服务器还包括通信接口63,用于与其它设备进行信息交互。同时,该云服务器还包括总线64,处理器62、通信接口63、以及存储器61通过总线64完成相互间的通信。
存储器61可以包含高速RAM存储器,也可还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。存储器61也可以是存储器阵列。存储器61还可能被分块,并且块可按一定的规则组合成虚拟卷。
此外,处理器62可以是一个中央处理器CPU,或者可以是专用集成电路ASIC,或是被配置成实施本公开实施例的一个或多个集成电路。
本公开同时还涉及一种计算机可读存储介质,其中计算机可读存储介质存储有计算机指令,指令被处理器执行时实现如图1至图3中任一实施例涉及的方法。
图7为本公开一个实施例的增强现实实现系统的结构示意图。如图7所示,该系统包括云服务器71和多个用户终端72。云服务器71为图4至图6中任一实施例涉及的云服务器。
用户终端72被配置向云服务器71发送增强现实AR请求,将云服务器71发送的虚拟场景数据与目标实景相结合,以输出虚实融合结果。
在一些实施例中,用户终端72还被配置为向云服务器71发送验证请求,将调用自身的SLAM能力生成的第一实景数字化结果上报给云服务器。
在一些实施例中,用户终端72还被配置为根据云服务器的指示采集实景,并将所采集的实景上传给云服务器。
图8为本公开另一个实施例的增强现实实现系统的结构示意图。如图8所示,AR终端是指具有AR能力的各种终端。AR终端包括各种支持AR能力的手机、AR眼镜等终端形式。AR终端的AR软件能力包括ARCore、ARKit、DuMix AR、Vuforia Engine SDK、OpenXR等AR基础能力框架,具备根据实景采集结果,通过SLAM等算法实现平面识别、实时定位和地图构建等终端侧AR功能。
在图8所示的系统中,云服务器通过与AR终端交互以构建虚拟场景,并将相应的虚拟场景数据存入资源库中。相应步骤如下:
1)AR终端向云服务器发送验证请求。
例如,用户终端可自己发起验证请求,也可根据云服务器下发的采集任务或其它方式触发验证请求。
2)云服务器对AR终端的接入权限进行验证。
需要说明的是,在接入权限验证过程中,也可采集终端的品牌、型号及设备配件情况等信息。
3)在接入权限通过验证后,AR终端通过GPS、北斗等组件完成所在地理坐标的采集,并上报给云服务器。
4)云服务器根据用户终端上报的坐标信息,在资源库中查询对应的虚拟场景数据的虚拟化精准度是否满足预设条件。
在一些实施例中,虚拟化精准度包括数字化完整度、数字化精准度和数字化立体性。
数字化完整度用于表示在该坐标信息的邻域范围内(例如,百米范围内)是否存在数字化空缺的情况,即是否存在没有完成虚拟数字化的实景情况。
数字化精准度用于表示在该坐标信息的邻域范围内(例如,百米范围内)的虚拟场景数据是否均满足数字化精度要求(例如,可选精度为20cm)。
数字化立体性用于表示与该坐标信息相关的三维数字化请求是否完备,即是否存在缺失。
若虚拟化精准度满足预设条件,则执行步骤9)。若虚拟化精准度不满足预设条件,则执行步骤5)。
5)云服务器对用户终端的终端能力进行校验。
用户终端的终端能力包括实景采集能力和数字化处理能力。
实景采集能力包括用户终端对拍摄实景的清晰度、深度信息的能力,数字化处理能力包括用户终端自身的AR软件的实景数字化处理能力。
6)在终端能力校验通过后,云服务器与用户终端的相关AR框架对接。
通过获知终端侧相关的AR软件处理框架,实现相关的数据接口打通,为后续的数据交互奠定基础。
数据接口打通,是指能够实现终端侧AR软件处理框架,相关SLAM处理结果的采集和上报,云服务器能够接收终端相关上报的SLAM数据,并进行后续处理。
7)用户终端根据云服务器的指示采集实景,并将所采集的实景上传给云服务器。
例如,用户终端针对周边实景进行采集,并按照云服务器的要求进行拍摄角度、位置等调整优化。
8)云服务器对用户终端所采集的实景进行实景精确度校验。
若实景精确度校验不通过,则重复执行步骤7)。若实景精确度校验通过,则执行步骤9)。
9)云服务器与用户终端进行数据同步,以获取用户终端调用自身的SLAM能力生成的第一实景数字化结果。
需要说明的是,第一实景数字化结果的精度较低。
例如,SLAM能力是指针对所拍摄实景进行基于即时定位的相关数字化地图构建,包括平面确定能力、间距估算能力和拍摄物体属性分析能力。物体属性分析是指判断是否可穿透、是否存在遮挡等相关情况。
10)云服务器利用第一实景数字化结果、预设的公开数据集和实景的AI识别结果构建多源数据,并利用多源数据生成第二实景数字化结果。
实景AI识别是指通过深度学习、强化学习等算法针对终端侧上传的实景进行物体识别及根据物体识别结果进行相关属性添加等。
利用多源数据生成第二实景数字化结果,是指融合第一实景数字化结果、公开数据源信息和AI识别结果,实现针对实景地图信息,包括平面情况、物体属性和立体关系进行更加精准计算。
需要说明的是,第二实景数字化结果的精度大于第一实景数字化结果的精度。
11)利用第二实景数字化结果构建虚拟场景,并将相应的虚拟场景数据存入资源库中。
在一些实施例中,如图8所示,虚实融合服务处理的步骤如下:
1)AR终端发送AR请求。
例如,该请求适用的场景包括:实现在本地终端真实世界添加虚拟形象或进行虚拟场景的浏览和查看等。
2)云服务器根据用户终端发送的AR请求确定目标实景。
3)云服务器获取目标实景的实景坐标信息和与目标实景相关的图形数据。
在一些实施例中,云服务器在根据用户终端发送的AR请求确定目标实景后,对目标实景进行验证,以判断资源库中是否具有与目标实景相关的信息。若目标实景通过验证,则获取目标实景的实景坐标信息和与目标实景相关的图形数据。
在一些实施例中,图形数据包括目标实景的所处位置、朝向、初步距离中的至少一项。
4)云服务器从资源库中获取与实景坐标信息和图形数据相匹配的虚拟场景数据。
5)云服务器将虚拟场景数据发送给AR终端。
6)AR终端将虚拟场景数据与目标实景相结合,以输出虚实融合结果。
通过实施本公开的上述实施例,能够得到以下有益效果:
1)基于云端超强算力和终端能力融合,具备超大实景AR虚拟化处理能力:基于AR终端的实际采集和初步数字化处理与云端超强算力的多场景融合和优化,解决当前基于单一AR终端,无法实现对超大规模实景数字化处理和虚景建模的问题。
2)云端精准多源数据处理,能够提供不断优化的虚景数字化能力:云端通过统一集中算力,不仅可以基于AR终端上传数据,还可通过融合公开的地图导航等数据、实景AI识别提取数据等,基于多种数据源进行实景虚拟数字化的精度提升和优化。
3)采取多终端多源数据采集机制,提供可持续性的AR虚实融合能力:真实场景的数字化是一个庞大的系统工程,采用融合各种AR终端的采集和数字化初步处理能力,能够基于海量的AR终端实现针对超大场景的实景采集和协同纠错,具备相应真实场景实时变化以及海量场景的分布式协同采集,具备可持续的AR虚拟融合能力。
在一些实施例中,在上面所描述的功能单元可以实现为用于执行本公开所描述功能的通用处理器、可编程逻辑控制器(Programmable Logic Controller,简称:PLC)、数字信号处理器(Digital Signal Processor,简称:DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,简称:ASIC)、现场可编程门阵列(Field-ProgrammableGate Array,简称:FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
本公开的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用,并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。
Claims (25)
1.一种增强现实实现方法,由云服务器执行,包括:
根据用户终端发送的增强现实AR请求确定目标实景;
获取所述目标实景的实景坐标信息和与所述目标实景相关的图形数据;
从资源库中获取与所述实景坐标信息和图形数据相匹配的虚拟场景数据;
将所述虚拟场景数据发送给用户终端,以便用户终端将所述虚拟场景数据与所述目标实景相结合,以输出虚实融合结果。
2.根据权利要求1所述的方法,其中,在根据用户终端发送的增强现实AR请求确定目标实景后,还包括:
对所述目标实景进行验证,以判断资源库中是否具有与所述目标实景相关的信息;
若所述目标实景通过验证,则获取所述目标实景的实景坐标信息和与所述目标实景相关的图形数据。
3.根据权利要求1所述的方法,其中,
所述图形数据包括所述目标实景的所处位置、朝向、初步距离中的至少一项。
4.根据权利要求1-3中任一项所述的方法,还包括:
通过与用户终端交互以构建虚拟场景,并将相应的虚拟场景数据存入资源库中。
5.根据权利要求4所述的方法,其中,通过与用户终端交互以构建虚拟场景包括:
根据用户终端发送的验证请求,对用户终端的接入权限进行验证;
在接入权限通过验证后,根据用户终端上报的坐标信息,在资源库中查询对应的虚拟场景数据的虚拟化精准度是否满足预设条件;
若虚拟化精准度满足预设条件,则与用户终端进行数据同步,以获取用户终端调用自身的即时定位与地图构建SLAM能力生成的第一实景数字化结果;
利用第一实景数字化结果、预设的公开数据集和实景的人工智能AI识别结果构建多源数据,并利用多源数据生成第二实景数字化结果;
利用第二实景数字化结果构建虚拟场景,并将相应的虚拟场景数据存入资源库中。
6.根据权利要求5所述的方法,其中,
虚拟化精准度包括数字化完整度、数字化精准度和数字化立体性,其中数字化完整度用于表示在该坐标信息的邻域范围内是否存在数字化空缺的情况,数字化精准度用于表示在该坐标信息的邻域范围内的虚拟场景数据是否均满足数字化精度要求,数字化立体性用于表示与该坐标信息相关的三维数字化请求是否完备。
7.根据权利要求5所述的方法,其中,
所述第二实景数字化结果的精度大于所述第一实景数字化结果的精度。
8.根据权利要求5所述的方法,还包括:
若虚拟化精准度不满足预设条件,则对用户终端的终端能力进行校验;
在终端能力校验通过后,与用户终端的相关AR框架对接;
对用户终端所采集的实景进行实景精确度校验,其中用户终端根据云服务器的指示采集实景,并将所采集的实景上传给云服务器;
若实景精确度校验通过,则执行所述与用户终端进行数据同步的步骤;
若实景精确度校验不通过,则指示用户终端根据采集实景并上传给云服务器。
9.根据权利要求8所述的方法,其中,
用户终端的终端能力包括实景采集能力和数字化处理能力;
其中,实景采集能力包括用户终端对拍摄实景的清晰度、深度信息的能力,数字化处理能力包括用户终端自身的AR软件的实景数字化处理能力。
10.根据权利要求5所述的方法,其中,
所述SLAM能力包括平面确定能力、间距估算能力和拍摄物体属性分析能力。
11.一种云服务器,包括:
第一处理模块,被配置为根据用户终端发送的增强现实AR请求确定目标实景,获取所述目标实景的实景坐标信息和与所述目标实景相关的图形数据;
第二处理模块,被配置为从资源库中获取与所述实景坐标信息和图形数据相匹配的虚拟场景数据,将所述虚拟场景数据发送给用户终端,以便用户终端将所述虚拟场景数据与所述目标实景相结合,以输出虚实融合结果。
12.根据权利要求11所述的云服务器,其中,
第一处理模块被配置为对所述目标实景进行验证,以判断资源库中是否具有与所述目标实景相关的信息,若所述目标实景通过验证,则获取所述目标实景的实景坐标信息和与所述目标实景相关的图形数据。
13.根据权利要求11所述的云服务器,其中,
所述图形数据包括所述目标实景的所处位置、朝向、初步距离中的至少一项。
14.根据权利要求11-13中任一项所述的云服务器,还包括:
第三处理模块,被配置为通过与用户终端交互以构建虚拟场景,并将相应的虚拟场景数据存入资源库中。
15.根据权利要求14所述的云服务器,其中,
第三处理模块被配置为根据用户终端发送的验证请求,对用户终端的接入权限进行验证,在接入权限通过验证后,根据用户终端上报的坐标信息,在资源库中查询对应的虚拟场景数据的虚拟化精准度是否满足预设条件,若虚拟化精准度满足预设条件,则与用户终端进行数据同步,以获取用户终端调用自身的即时定位与地图构建SLAM能力生成的第一实景数字化结果,利用第一实景数字化结果、预设的公开数据集和实景的人工智能AI识别结果构建多源数据,并利用多源数据生成第二实景数字化结果,利用第二实景数字化结果构建虚拟场景,并将相应的虚拟场景数据存入资源库中。
16.根据权利要求15所述的云服务器,其中,
虚拟化精准度包括数字化完整度、数字化精准度和数字化立体性,其中数字化完整度用于表示在该坐标信息的邻域范围内是否存在数字化空缺的情况,数字化精准度用于表示在该坐标信息的邻域范围内的虚拟场景数据是否均满足数字化精度要求,数字化立体性用于表示与该坐标信息相关的三维数字化请求是否完备。
17.根据权利要求15所述的云服务器,其中,
所述第二实景数字化结果的精度大于所述第一实景数字化结果的精度。
18.根据权利要求15所述的云服务器,其中,
第三处理模块被配置为若虚拟化精准度不满足预设条件,则对用户终端的终端能力进行校验,在终端能力校验通过后,与用户终端的相关AR框架对接,对用户终端所采集的实景进行实景精确度校验,其中用户终端根据云服务器的指示采集实景,并将所采集的实景上传给云服务器,若实景精确度校验通过,则执行所述与用户终端进行数据同步,若实景精确度校验不通过,则指示用户终端根据采集实景并上传给云服务器。
19.根据权利要求18所述的云服务器,其中,
用户终端的终端能力包括实景采集能力和数字化处理能力,其中,实景采集能力包括用户终端对拍摄实景的清晰度、深度信息的能力,数字化处理能力包括用户终端自身的AR软件的实景数字化处理能力。
20.根据权利要求15所述的云服务器,其中,
所述SLAM能力包括平面确定能力、间距估算能力和拍摄物体属性分析能力。
21.一种云服务器,包括:
存储器,被配置为存储指令;
处理器,耦合到存储器,处理器被配置为基于存储器存储的指令执行实现如权利要求1-10中任一项所述的方法。
22.一种增强现实实现系统,包括:
如权利要求11-21中任一项所述的云服务器;
用户终端,被配置向云服务器发送增强现实AR请求,将所述云服务器发送的虚拟场景数据与目标实景相结合,以输出虚实融合结果。
23.根据权利要求22所述的系统,其中,
用户终端还被配置为向云服务器发送验证请求,将调用自身的即时定位与地图构建SLAM能力生成的第一实景数字化结果上报给云服务器。
24.根据权利要求23所述的系统,其中,
用户终端还被配置为根据云服务器的指示采集实景,并将所采集的实景上传给云服务器。
25.一种非瞬态计算机可读存储介质,其中,计算机可读存储介质存储有计算机指令,指令被处理器执行时实现如权利要求1-10中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210503190.3A CN114900545B (zh) | 2022-05-10 | 2022-05-10 | 增强现实实现方法和系统、云服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210503190.3A CN114900545B (zh) | 2022-05-10 | 2022-05-10 | 增强现实实现方法和系统、云服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114900545A true CN114900545A (zh) | 2022-08-12 |
CN114900545B CN114900545B (zh) | 2024-08-23 |
Family
ID=82722495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210503190.3A Active CN114900545B (zh) | 2022-05-10 | 2022-05-10 | 增强现实实现方法和系统、云服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114900545B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115439195A (zh) * | 2022-11-07 | 2022-12-06 | 杭州脸脸会网络技术有限公司 | 虚拟账户创建方法、系统、服务器及计算机可读存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107025662A (zh) * | 2016-01-29 | 2017-08-08 | 成都理想境界科技有限公司 | 一种实现增强现实的方法、服务器、终端及系统 |
KR20190044838A (ko) * | 2017-10-23 | 2019-05-02 | 동서대학교 산학협력단 | 융합현실, 가상현실 및 증강현실을 이용한 사용자 인증시스템 |
CN110545363A (zh) * | 2018-05-28 | 2019-12-06 | 中国电信股份有限公司 | 实现多终端联网同步的方法、系统和云端服务器 |
CN111385627A (zh) * | 2018-12-29 | 2020-07-07 | 中兴通讯股份有限公司 | 一种增强现实设备及其控制方法、计算机可读存储介质 |
WO2021073292A1 (zh) * | 2019-10-15 | 2021-04-22 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
CN112905014A (zh) * | 2021-02-26 | 2021-06-04 | 北京市商汤科技开发有限公司 | Ar场景下的交互方法、装置、电子设备及存储介质 |
US20210199460A1 (en) * | 2019-12-30 | 2021-07-01 | Tmrw Foundation Ip S. À R.L. | System and method enabling a collaborative 3d map data fusion platform and virtual world system thereof |
CN114004953A (zh) * | 2020-07-28 | 2022-02-01 | 中国电信股份有限公司 | 现实增强画面的实现方法、系统及云端服务器 |
-
2022
- 2022-05-10 CN CN202210503190.3A patent/CN114900545B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107025662A (zh) * | 2016-01-29 | 2017-08-08 | 成都理想境界科技有限公司 | 一种实现增强现实的方法、服务器、终端及系统 |
KR20190044838A (ko) * | 2017-10-23 | 2019-05-02 | 동서대학교 산학협력단 | 융합현실, 가상현실 및 증강현실을 이용한 사용자 인증시스템 |
CN110545363A (zh) * | 2018-05-28 | 2019-12-06 | 中国电信股份有限公司 | 实现多终端联网同步的方法、系统和云端服务器 |
CN111385627A (zh) * | 2018-12-29 | 2020-07-07 | 中兴通讯股份有限公司 | 一种增强现实设备及其控制方法、计算机可读存储介质 |
WO2021073292A1 (zh) * | 2019-10-15 | 2021-04-22 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
US20210199460A1 (en) * | 2019-12-30 | 2021-07-01 | Tmrw Foundation Ip S. À R.L. | System and method enabling a collaborative 3d map data fusion platform and virtual world system thereof |
CN113129439A (zh) * | 2019-12-30 | 2021-07-16 | 明日基金知识产权有限公司 | 实现协同3d地图数据融合平台的系统和方法及其虚拟世界系统 |
CN114004953A (zh) * | 2020-07-28 | 2022-02-01 | 中国电信股份有限公司 | 现实增强画面的实现方法、系统及云端服务器 |
CN112905014A (zh) * | 2021-02-26 | 2021-06-04 | 北京市商汤科技开发有限公司 | Ar场景下的交互方法、装置、电子设备及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115439195A (zh) * | 2022-11-07 | 2022-12-06 | 杭州脸脸会网络技术有限公司 | 虚拟账户创建方法、系统、服务器及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114900545B (zh) | 2024-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12002239B2 (en) | Data processing method and device used in virtual scenario | |
WO2021208372A1 (zh) | 室内视觉导航方法、装置、系统及电子设备 | |
CN107223269B (zh) | 三维场景定位方法和装置 | |
EP3550479A1 (en) | Augmented-reality-based offline interaction method and apparatus | |
WO2019233445A1 (zh) | 对房屋进行数据采集和模型生成的方法 | |
JP5736526B2 (ja) | 電子マップに基づく位置検索方法及び装置 | |
CN114581532A (zh) | 多相机外参的联合标定方法、装置、设备和介质 | |
US20240046557A1 (en) | Method, device, and non-transitory computer-readable storage medium for reconstructing a three-dimensional model | |
US9551579B1 (en) | Automatic connection of images using visual features | |
CN107885871A (zh) | 基于云计算的同步定位与地图构建方法、系统、交互系统 | |
Poiesi et al. | Cloud-based collaborative 3D reconstruction using smartphones | |
CN111221933A (zh) | 海量地图数据与建筑信息模型融合的三维瓦片构建方法 | |
CN112862874A (zh) | 点云数据匹配方法、装置、电子设备及计算机存储介质 | |
CN109658497B (zh) | 一种三维模型重建方法及装置 | |
US10147240B2 (en) | Product image processing method, and apparatus and system thereof | |
CN116086411B (zh) | 数字地形图生成方法、装置、设备和可读存储介质 | |
KR20190114696A (ko) | 표고차를 고려한 지하관로의 관리를 위한 증강 현실 표현 방법 및 이를 기록한 기록매체 | |
CN114900545B (zh) | 增强现实实现方法和系统、云服务器 | |
CN114998433A (zh) | 位姿计算方法、装置、存储介质以及电子设备 | |
CN110148086B (zh) | 稀疏深度图的深度补齐方法、装置及三维重建方法、装置 | |
CN109816791B (zh) | 用于生成信息的方法和装置 | |
WO2023088127A1 (zh) | 室内导航方法、服务器、装置和终端 | |
CN115619986A (zh) | 场景漫游方法、装置、设备和介质 | |
CN117115244A (zh) | 云端重定位方法、装置及存储介质 | |
WO2024103708A1 (zh) | 定位方法、终端设备、服务器及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |