CN111638793B - 飞行器的展示方法、装置、电子设备及存储介质 - Google Patents

飞行器的展示方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111638793B
CN111638793B CN202010502217.8A CN202010502217A CN111638793B CN 111638793 B CN111638793 B CN 111638793B CN 202010502217 A CN202010502217 A CN 202010502217A CN 111638793 B CN111638793 B CN 111638793B
Authority
CN
China
Prior art keywords
dimensional
exhibition hall
real
target
target exhibition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010502217.8A
Other languages
English (en)
Other versions
CN111638793A (zh
Inventor
揭志伟
李炳泽
武明飞
符修源
陈凯彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202010502217.8A priority Critical patent/CN111638793B/zh
Publication of CN111638793A publication Critical patent/CN111638793A/zh
Application granted granted Critical
Publication of CN111638793B publication Critical patent/CN111638793B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/803Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8017Driving on land or water; Flying
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

本公开提供了一种飞行器的展示方法、装置、电子设备及存储介质,其中,该飞行器的展示方法包括:获取通过AR设备拍摄的目标展览馆的现实场景图像;基于所述现实场景图像,确定所述AR设备在所述目标展览馆中的位姿数据;基于所述现实场景图像,获取待展示的虚拟飞行器,以及该虚拟飞行器在用于表征所述目标展览馆的三维场景模型中的展示数据;基于所述AR设备对应的位姿数据,以及所述虚拟飞行器在所述三维场景模型中的展示数据,通过所述AR设备展示融入现实场景的所述虚拟飞行器的呈现特效。

Description

飞行器的展示方法、装置、电子设备及存储介质
技术领域
本公开涉及AR技术领域,具体而言,涉及一种飞行器的展示方法、装置、电子设备及存储介质。
背景技术
随着科技的发展,越来越多的展览馆应运而生,展览馆的出现,丰富了人们的生活,带给人们不一样的感受,比如游戏类的展览馆,可以给喜好游戏的用户带来全新体验。
一些游戏类的展览厅,可以提供3D屏幕供用户体验不同的游戏,比如飞船大战,但是这种方式仍然没办法带来更加逼真的展示效果,如何能够提供更加逼真的展示效果,是值得研究的问题。
发明内容
本公开实施例至少提供一种飞行器的展示方案。
第一方面,本公开实施例提供了一种飞行器的展示方法,包括:
获取通过AR设备拍摄的目标展览馆的现实场景图像;
基于所述现实场景图像,确定所述AR设备在所述目标展览馆中的位姿数据;
基于所述现实场景图像,获取待展示的虚拟飞行器,以及该虚拟飞行器在用于表征所述目标展览馆的三维场景模型中的展示数据;
基于所述AR设备对应的位姿数据,以及所述虚拟飞行器在所述三维场景模型中的展示数据,通过所述AR设备展示融入现实场景的所述虚拟飞行器的呈现特效。
本公开实施例中,通过AR技术,基于虚拟飞行器的展示数据以及该AR设备的位姿数据,确定出虚拟飞行器在AR设备中的呈现特效,这样在通过AR设备进行展示时,在将该虚拟飞行器和目标展览馆的现实场景进行叠加后,能够呈现更加逼真的增强现实场景的效果。
在一种可能的实施方式中,所述基于所述现实场景图像,确定所述AR设备在所述目标展览馆中的位姿数据,包括:
基于所述AR设备拍摄的所述现实场景图像和所述三维场景模型,确定所述AR设备在所述三维场景模型中的位姿数据;
将所述AR设备在所述三维场景模型中的位姿数据作为所述AR设备在所述目标展览馆中的位姿数据。
在一种可能的实施方式中,所述基于所述AR设备拍摄的所述现实场景图像和所述三维场景模型,确定所述AR设备在所述三维场景模型中的位姿数据,包括:
对所述现实场景图像进行特征点提取,得到待匹配特征点;
基于提取的待匹配特征点确定预先存储的样本图库中与所述现实场景图像匹配的目标样本图像;所述样本图像库包括预先拍摄所述目标展览馆得到的样本图像,以及每张样本图像在所述三维场景模型中对应的位姿数据;
将所述目标样本图像在所述三维场景模型中的位姿数据,作为所述AR设备在所述三维场景模型中的位姿数据。
在一种可能的实施方式中,通过所述AR设备展示融入现实场景的所述虚拟飞行器的呈现特效之后,所述展示方法还包括:
响应于作用于所述虚拟飞行器的交互数据,基于所述交互数据对所述虚拟飞行器的展示数据进行更新,得到更新后的展示数据;
基于所述更新后的展示数据,调整通过所述AR设备展示的融入现实场景的所述虚拟飞行器的呈现特效。
本公开实施例中,可以通过交互数据控制虚拟飞行器,从而提高与虚拟飞行器的交互性。
在一种可能的实施方式中,按照以下方式预先构建所述目标展览馆的三维场景模型:
获取所述目标展览馆对应的多张现实场景图像;
基于所述多张现实场景图像,生成所述目标展览馆对应的初始三维场景模型;
基于所述目标展览馆对应的真实二维地图,对所述初始三维场景模型进行调整,得到调整后的三维场景模型;其中,在所述真实二维地图和调整后的三维场景模型中的各个场景对象之间的尺寸比例关系,与在所述目标展览馆的真实场景中各个场景对象之间的尺寸比例关系一致。
在一种可能的实施方式中,所述基于所述多张现实场景图像,生成所述目标展览馆对应的初始三维场景模型,包括:
从获取的每张现实场景图像中提取多个特征点;
基于提取的多个特征点,以及预存的与所述目标展览馆匹配的三维样本图,生成所述初始三维场景模型;其中,所述三维样本图为预存储的表征所述目标展览馆形貌特征的三维图。
在一种可能的实施方式中,所述基于所述目标展览馆对应的真实二维地图,对所述初始三维场景模型进行调整,得到调整后的三维场景模型,包括:
在所述目标展览馆对应的初始三维场景模型中提取用于表征所述目标展览馆多个空间位置点的目标特征点;
确定所述目标特征点在所述目标展览馆对应的真实二维地图中的真实坐标数据,并基于每个目标特征点对应的真实坐标数据,调整所述初始三维场景模型中各个特征点的坐标数据。
本公开实施例中,通过真实二维地图,对所述初始三维场景模型进行调整,能够得到准确度较高的三维场景模型。
第二方面,本公开实施例提供了一种飞行器的展示装置,包括:
第一获取模块,用于获取通过AR设备拍摄的目标展览馆的现实场景图像;
位姿确定模块,用于基于所述现实场景图像,确定所述AR设备在所述目标展览馆中的位姿数据;
第二获取模块,用于基于所述现实场景图像,获取待展示的虚拟飞行器,以及该虚拟飞行器在用于表征所述目标展览馆的三维场景模型中的展示数据;
动画展示模块,用于基于所述AR设备对应的位姿数据,以及所述虚拟飞行器在所述三维场景模型中的展示数据,通过所述AR设备展示融入现实场景的所述虚拟飞行器的呈现特效。
在一种可能的实施方式中,所述位姿确定模块在用于基于所述现实场景图像,确定所述AR设备在所述目标展览馆中的位姿数据时,包括:
基于所述AR设备拍摄的所述现实场景图像和所述三维场景模型,确定所述AR设备在所述三维场景模型中的位姿数据;
将所述AR设备在所述三维场景模型中的位姿数据作为所述AR设备在所述目标展览馆中的位姿数据。
在一种可能的实施方式中,所述位姿确定模块在用于基于所述AR设备拍摄的所述现实场景图像和所述三维场景模型,确定所述AR设备在所述三维场景模型中的位姿数据时,包括:
对所述现实场景图像进行特征点提取,得到待匹配特征点;
基于提取的待匹配特征点确定预先存储的样本图库中与所述现实场景图像匹配的目标样本图像;所述样本图像库包括预先拍摄所述目标展览馆得到的样本图像,以及每张样本图像在所述三维场景模型中对应的位姿数据;
将所述目标样本图像在所述三维场景模型中的位姿数据,作为所述AR设备在所述三维场景模型中的位姿数据。
在一种可能的实施方式中,通过所述AR设备展示融入现实场景的所述虚拟飞行器的呈现特效之后,所述动画展示模块还用于:
响应于作用于所述虚拟飞行器的交互数据,基于所述交互数据对所述虚拟飞行器的展示数据进行更新,得到更新后的展示数据;
基于所述更新后的展示数据,调整通过所述AR设备展示的融入现实场景的所述虚拟飞行器的呈现特效。
在一种可能的实施方式中,所述展示装置还包括模型构建模块,所述模型构建模块用于按照以下方式预先构建所述目标展览馆的三维场景模型:
获取所述目标展览馆对应的多张现实场景图像;
基于所述多张现实场景图像,生成所述目标展览馆对应的初始三维场景模型;
基于所述目标展览馆对应的真实二维地图,对所述初始三维场景模型进行调整,得到调整后的三维场景模型;其中,在所述真实二维地图和调整后的三维场景模型中的各个场景对象之间的尺寸比例关系,与在所述目标展览馆的真实场景中各个场景对象之间的尺寸比例关系一致。
在一种可能的实施方式中,所述模型构建模块在用于基于所述多张现实场景图像,生成所述目标展览馆对应的初始三维场景模型时,包括:
从获取的每张现实场景图像中提取多个特征点;
基于提取的多个特征点,以及预存的与所述目标展览馆匹配的三维样本图,生成所述初始三维场景模型;其中,所述三维样本图为预存储的表征所述目标展览馆形貌特征的三维图。
在一种可能的实施方式中,所述模型构建模块在用于基于所述目标展览馆对应的真实二维地图,对所述初始三维场景模型进行调整,得到调整后的三维场景模型时,包括:
在所述目标展览馆对应的初始三维场景模型中提取用于表征所述目标展览馆多个空间位置点的目标特征点;
确定所述目标特征点在所述目标展览馆对应的真实二维地图中的真实坐标数据,并基于每个目标特征点对应的真实坐标数据,调整所述初始三维场景模型中各个特征点的坐标数据。
第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的展示方法的步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的展示方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种飞行器的展示方法的流程图;
图2示出了本公开实施例所提供的一种确定AR设备对应的位姿数据的流程图;
图3示出了本公开实施例所提供的一种三维场景模型构建方法的流程图;
图4示出了本公开实施例所提供的一种飞行器的展示装置的示意图;
图5示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
针对游戏类的展览馆,用户可以在此类展览馆中体验各种各样的游戏,以飞船大战为例,如何能够提供更加逼真的展示效果,为本公开实施例要解决的问题。
本公开实施例提供了一种飞行器的展示方法,可以通过AR设备拍摄到的现实场景图像来随时确定AR设备的位姿数据,以及待展示的虚拟飞行器在三维场景模型中的展示数据,因为三维场景模型是表示目标现实场景的模型,因此可以基于虚拟飞行器的展示数据以及该AR设备的位姿数据,确定出虚拟飞行器在AR设备中的呈现特效,这样在通过AR设备进行展示时,在将该虚拟飞行器和目标展览馆的现实场景进行叠加后,能够呈现更加逼真的增强现实场景的效果。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种飞行器的展示方法进行详细介绍,本公开实施例所提供的飞行器的展示方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备。在一些可能的实现方式中,该飞行器的展示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例提供的飞行器的展示方法的流程图,以执行主语为服务器为例,本公开提供的展示方法包括步骤S101~S104:
S101,获取通过AR设备拍摄的目标展览馆的现实场景图像,。
示例性地,目标展览馆可以为游戏类展览馆。
AR设备包括AR眼镜、智能手机、平板等,在此不进行具体限定。
用户携带AR设备进行目标展览馆进行体验时,通过该AR设备可以拍摄该目标展览馆中的现实场景图像,并将该现实场景图像发送至服务器,以便服务器能够基于该现实场景图像确定AR设备的位姿数据。
S102,基于现实场景图像,确定AR设备在目标展览馆中的位姿数据。
示例性地,AR设备在目标展览馆中的位姿数据可以包括用户手持或佩戴AR设备时,用于显示虚拟飞行器的显示部件所在的位置和/或显示角度。
其中,AR设备的显示部件具体指该AR设备中用于显示虚拟飞行器的部件,示例性地,AR设备为手机或者平板时,对应的显示部件可以为显示屏,当AR设备为AR眼镜时,对应的显示部件可以为用于显示虚拟对象的镜片。
S103,基于现实场景图像,获取待展示的虚拟飞行器,以及该虚拟飞行器在用于表征目标展览馆的三维场景模型中的展示数据。
示例性地,可以基于现实场景图像确定目标展览馆的类型,从而确定在该目标展览馆待展示的虚拟飞行器,比如对现实场景图像进行识别后,确定该目标展览馆为飞机游戏类的展览馆,则可以获取虚拟飞机,而若确定该目标展览馆为飞船游戏类的展览馆,则可以获取虚拟飞船。
此外,还可以同时获取到虚拟飞行器在表征目标展览馆的三维场景模型中的展示数据,示例性地,该展示数据可以包括飞行机虚拟动画在该三维场景模型中的初始位姿数据、颜色、型号等。
示例性地,用户可以通过AR设备选中要控制的虚拟飞行器,后续可以根据交互操作对该虚拟飞行器进行控制,从而对该飞行器在三维场景模型中的展示数据进行更新,比如可以根据交互操作来控制该虚拟飞行器展示飞行、作战的场景。
S104,基于AR设备对应的位姿数据,以及虚拟飞行器在三维场景模型中的展示数据,通过AR设备展示融入现实场景的虚拟飞行器的呈现特效。
示例性地,表征目标展览馆的三维场景模型与该目标展览馆在相同坐标系中按照1:1呈现,这样通过AR设备对应的位姿数据,以及飞行器虚拟在三维场景模型中的展示数据,能够确定该虚拟飞行器在AR设备中的呈现特效信息,然后按照该呈现特效信息进行呈现。
本公开实施例中,通过AR技术,基于虚拟飞行器的展示数据以及该AR设备的位姿数据,确定出虚拟飞行器在AR设备中的呈现特效,这样在通过AR设备进行展示时,在将该虚拟飞行器和目标展览馆的现实场景进行叠加后,能够呈现更加逼真的增强现实场景的效果。
下面将结合具体实施例对上述S101~S104进行阐述。
针对上述S102,在基于现实场景图像,确定AR设备在目标展览馆中的位姿数据时,如图2所示,可以包括以下步骤S1021~S1022:
S1021,基于AR设备拍摄的现实场景图像和三维场景模型,确定AR设备在三维场景模型中的位姿数据;
S1022,将AR设备在三维场景模型中的位姿数据作为AR设备在目标展览馆中的位姿数据。
示例性地,三维场景模型可以基于预先拍摄的该目标展览馆的多张样本图像来构建,具体在构建时,可以通过提取每张样本图像中的特征点进行构建,在生成三维场景模型后,可以保存三维场景模型中每个特征点对应的样本图像,以及该样本图像在该三维场景模型中对应的拍摄位姿,这样在获取到AR设备拍摄的该目标展览馆的现实场景图像后,可以对该现实场景图像进行特征点提取,基于提取的特征点确定与该现实场景图像匹配的样本图像,最终得到AR设备在该三维场景模型中的位姿数据。
因为该三维场景模型为表征该目标展览馆的模型,因此可以将AR设备在三维场景模型中的位姿数据作为AR设备在目标展览馆中的位姿数据。
具体地,针对上述S1021,在基于AR设备拍摄的现实场景图像和三维场景模型,确定AR设备在三维场景模型中的位姿数据时,可以包括:
(1)对现实场景图像进行特征点提取,得到待匹配特征点;
(2)基于提取的待匹配特征点确定预先存储的样本图库中与现实场景图像匹配的目标样本图像;样本图像库包括预先拍摄目标展览馆得到的样本图像,以及每张样本图像在三维场景模型中对应的位姿数据;
(3)将目标样本图像在三维场景模型中的位姿数据,作为AR设备在三维场景模型中的位姿数据。
示例性地,在获取到AR设备拍摄的现实场景图像后,提取该现实场景图像中的待匹配特征点,然后将该待匹配特征点与预先存储的样本图库中每种样本图像的特征点进行比对,确定出样本图库中与现实场景图像匹配的目标样本图片,比如可以基于现实场景图像的待匹配特征点的特征信息每张样本图像的特征点的特征信息,确定该现实场景图像和每张样本图像的相似度值,将相似度值最高且超过相似度阈值的样本图像作为这里的目标样本图像。
在确定出目标样本图像后,将该目标样本图像在该三维场景模型中的位姿数据作为这里现实场景图像对应的位姿数据。
在另一种实施方式中,还可以将AR设备拍摄的现实场景图像输入预先存储的用于定位的神经网络模型,来确定与现实场景图像对应的位姿数据。
具体地,该神经网络可以基于预先拍摄现实场景得到的多张样本图像,和与每张样本图像对应的位姿数据,训练得到。
在一种实施方式中,通过AR设备展示融入现实场景的虚拟飞行器的呈现特效之后,本公开实施例提供的展示方法还包括:
(1)响应于作用于虚拟飞行器的交互数据,基于交互数据对虚拟飞行器的展示数据进行更新,得到更新后的展示数据;
(2)基于更新后的展示数据,调整通过AR设备展示的融入现实场景的虚拟飞行器的呈现特效。
示例性地,交互数据可以是针对虚拟飞行器的位姿数据的调整数据,以及是否作战,比如发射子弹的控制数据等,在检测到存在针对虚拟飞行器的交互数据后,可以对该虚拟飞行器的展示数据进行更新。
比如,初始的展示数据该虚拟飞行器为停止在目标展览中半空中的状态,当交互数据为控制该虚拟飞行器飞行的数据时,更新后的展示数据对应的呈现特效为该虚拟飞行机开始进行飞行。
本公开实施例中,可以通过交互数据控制虚拟飞行器,从而提高与虚拟飞行器的交互性。
针对上文多次提到的三维场景模型,如图3所示,具体可以按照以下方式预先构建目标展览馆的三维场景模型,包括S301~S303:
S301,获取目标展览馆对应的多张现实场景图像;
S302,基于多张现实场景图像,生成目标展览馆对应的初始三维场景模型;
S303,基于目标展览馆对应的真实二维地图,对初始三维场景模型进行调整,得到调整后的三维场景模型。
其中,在真实二维地图和调整后的三维场景模型中的各个场景对象之间的尺寸比例关系,与在目标展览馆的真实场景中各个场景对象之间的尺寸比例关系一致。
生成的初始三维模型可能会存在失真现象,然后通过真实二维地图对其进行调整,可以得到准确度较高的三维场景模型。
针对S302,在基于多张现实场景图像,生成目标展览馆对应的初始三维场景模型时,可以包括:
(1)从获取的每张现实场景图像中提取多个特征点;
(2)基于提取的多个特征点,以及预存的与目标展览馆匹配的三维样本图,生成初始三维场景模型;其中,三维样本图为预存储的表征目标展览馆形貌特征的三维图。
具体地,针对每张现实场景图像提取的特征点可以为能够表征该张现实场景图像关键信息的点,比如针对包含建筑物的现实场景图像,这里的特征点可以表示该建筑物轮廓信息的特征点。
示例性地,这里预存的与目标展览馆匹配的三维样本图可以包括提前设置好的能够表征该目标展览馆形貌特征、且带有尺寸标注的三维图,比如可以是表征该目标展览馆形貌特征的计算机辅助设计(Computer Aided Design,CAD)三维图。
针对该目标展览馆,当提取的特征点足够多时,特征点构成的特征点云,即可以构成表征该目标展览馆的三维模型,这里的特征点云中的特征点是没有单位的,特征点云构成的三维模型也是没有单位的,然后将该特征点云与带有尺度标注的且能够表征该目标展览馆形貌特征的三维图对齐后,即得到该目标展览馆对应的初始三维场景模型。
针对S303,在基于目标展览馆对应的真实二维地图,对初始三维场景模型进行调整,得到调整后的三维场景模型时,包括:
(1)在目标展览馆对应的初始三维场景模型中提取用于表征目标展览馆多个空间位置点的目标特征点;
(2)确定目标特征点在目标展览馆对应的真实二维地图中的真实坐标数据,并基于每个目标特征点对应的真实坐标数据,调整初始三维场景模型中各个特征点的坐标数据。
示例性地,可以选择一些表征建筑物边缘、角落的空间位置点的特征点作为这里的目标特征点,然后基于目标特征点对应的真实坐标数据以及该目标特征点在初始三维场景模型中的坐标数据,确定坐标调整量,然后基于该坐标调整量对初始三维模型中各个特征点的坐标数据进行修正,即可以得到准确度较高的三维场景模型。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思,本公开实施例中还提供了与飞行器的展示方法对应的飞行器的展示装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述飞行器的展示方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图4所示,为本公开实施例提供的一种飞行器的展示装置400的示意图,包括:
第一获取模块401,用于获取通过AR设备拍摄的目标展览馆的现实场景图像;
位姿确定模块402,用于基于现实场景图像,确定AR设备在目标展览馆中的位姿数据;
第二获取模块403,用于基于现实场景图像,获取待展示的虚拟飞行器,以及该虚拟飞行器在用于表征目标展览馆的三维场景模型中的展示数据;
动画展示模块404,用于基于AR设备对应的位姿数据,以及虚拟飞行器在三维场景模型中的展示数据,通过AR设备展示融入现实场景的虚拟飞行器的呈现特效。
在一种可能的实施方式中,位姿确定模块402在用于基于现实场景图像,确定AR设备在目标展览馆中的位姿数据时,包括:
基于AR设备拍摄的现实场景图像和三维场景模型,确定AR设备在三维场景模型中的位姿数据;
将AR设备在三维场景模型中的位姿数据作为AR设备在目标展览馆中的位姿数据。
在一种可能的实施方式中,位姿确定模块402在用于基于AR设备拍摄的现实场景图像和三维场景模型,确定AR设备在三维场景模型中的位姿数据时,包括:
对现实场景图像进行特征点提取,得到待匹配特征点;
基于提取的待匹配特征点确定预先存储的样本图库中与现实场景图像匹配的目标样本图像;样本图像库包括预先拍摄目标展览馆得到的样本图像,以及每张样本图像在三维场景模型中对应的位姿数据;
将目标样本图像在三维场景模型中的位姿数据,作为AR设备在三维场景模型中的位姿数据
在一种可能的实施方式中,通过AR设备展示融入现实场景的虚拟飞行器的呈现特效之后,动画展示模块404还用于:
响应于作用于虚拟飞行器的交互数据,基于交互数据对虚拟飞行器的展示数据进行更新,得到更新后的展示数据;
基于更新后的展示数据,调整通过AR设备展示的融入现实场景的虚拟飞行器的呈现特效。
在一种可能的实施方式中,展示装置还包括模型构建模块405,模型构建模块用于按照以下方式预先构建目标展览馆的三维场景模型:
获取目标展览馆对应的多张现实场景图像;
基于多张现实场景图像,生成目标展览馆对应的初始三维场景模型;
基于目标展览馆对应的真实二维地图,对初始三维场景模型进行调整,得到调整后的三维场景模型;其中,在真实二维地图和调整后的三维场景模型中的各个场景对象之间的尺寸比例关系,与在目标展览馆的真实场景中各个场景对象之间的尺寸比例关系一致。
在一种可能的实施方式中,模型构建模块405在用于基于多张现实场景图像,生成目标展览馆对应的初始三维场景模型时,包括:
从获取的每张现实场景图像中提取多个特征点;
基于提取的多个特征点,以及预存的与目标展览馆匹配的三维样本图,生成初始三维场景模型;其中,三维样本图为预存储的表征目标展览馆形貌特征的三维图。
在一种可能的实施方式中,模型构建模块405在用于基于目标展览馆对应的真实二维地图,对初始三维场景模型进行调整,得到调整后的三维场景模型时,包括:
在目标展览馆对应的初始三维场景模型中提取用于表征目标展览馆多个空间位置点的目标特征点;
确定目标特征点在目标展览馆对应的真实二维地图中的真实坐标数据,并基于每个目标特征点对应的真实坐标数据,调整初始三维场景模型中各个特征点的坐标数据。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
对应于图1中的虚拟飞行器的展示方法,本公开实施例还提供了一种电子设备500,如图5所示,为本公开实施例提供的电子设备500结构示意图,包括:
处理器51、存储器52、和总线53;存储器52用于存储执行指令,包括内存521和外部存储器522;这里的内存521也称内存储器,用于暂时存放处理器51中的运算数据,以及与硬盘等外部存储器522交换的数据,处理器51通过内存521与外部存储器522进行数据交换,当所述电子设备500运行时,所述处理器51与所述存储器52之间通过总线53通信,使得所述处理器51执行以下指令:获取通过AR设备拍摄的目标展览馆的现实场景图像;基于现实场景图像,确定AR设备在目标展览馆中的位姿数据;基于现实场景图像,获取待展示的虚拟飞行器,以及该虚拟飞行器在用于表征目标展览馆的三维场景模型中的展示数据;基于AR设备对应的位姿数据,以及虚拟飞行器在三维场景模型中的展示数据,通过AR设备展示融入现实场景的虚拟飞行器的呈现特效。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的飞行器的展示方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的飞行器的展示方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的飞行器的展示方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种飞行器的展示方法,其特征在于,包括:
获取通过AR设备拍摄的目标展览馆的现实场景图像;
基于所述现实场景图像,确定所述AR设备在所述目标展览馆中的位姿数据;
基于所述现实场景图像,获取待展示的虚拟飞行器,以及该虚拟飞行器在用于表征所述目标展览馆的三维场景模型中的展示数据;
基于所述AR设备对应的位姿数据,以及所述虚拟飞行器在所述三维场景模型中的展示数据,通过所述AR设备展示融入现实场景的所述虚拟飞行器的呈现特效;
其中,所述目标展览馆的三维场景模型按照以下方式预先构建:
获取所述目标展览馆对应的多张现实场景图像;
从获取的每张现实场景图像中提取多个特征点;基于提取的多个特征点,以及预存的与所述目标展览馆匹配的三维样本图,生成初始三维场景模型;其中,所述三维样本图为预存储的表征所述目标展览馆形貌特征的三维图;
在所述目标展览馆对应的初始三维场景模型中提取用于表征所述目标展览馆多个空间位置点的目标特征点;确定所述目标特征点在所述目标展览馆对应的真实二维地图中的真实坐标数据,并基于每个目标特征点对应的真实坐标数据,调整所述初始三维场景模型中各个特征点的坐标数据;
其中,在所述真实二维地图和调整后的三维场景模型中的各个场景对象之间的尺寸比例关系,与在所述目标展览馆的真实场景中各个场景对象之间的尺寸比例关系一致。
2.根据权利要求1所述的展示方法,其特征在于,所述基于所述现实场景图像,确定所述AR设备在所述目标展览馆中的位姿数据,包括:
基于所述AR设备拍摄的所述现实场景图像和所述三维场景模型,确定所述AR设备在所述三维场景模型中的位姿数据;
将所述AR设备在所述三维场景模型中的位姿数据作为所述AR设备在所述目标展览馆中的位姿数据。
3.根据权利要求2所述的展示方法,其特征在于,所述基于所述AR设备拍摄的所述现实场景图像和所述三维场景模型,确定所述AR设备在所述三维场景模型中的位姿数据,包括:
对所述现实场景图像进行特征点提取,得到待匹配特征点;
基于提取的待匹配特征点确定预先存储的样本图库中与所述现实场景图像匹配的目标样本图像;所述样本图像库包括预先拍摄所述目标展览馆得到的样本图像,以及每张样本图像在所述三维场景模型中对应的位姿数据;
将所述目标样本图像在所述三维场景模型中的位姿数据,作为所述AR设备在所述三维场景模型中的位姿数据。
4.根据权利要求1至3任一所述的展示方法,其特征在于,通过所述AR设备展示融入现实场景的所述虚拟飞行器的呈现特效之后,所述展示方法还包括:
响应于作用于所述虚拟飞行器的交互数据,基于所述交互数据对所述虚拟飞行器的展示数据进行更新,得到更新后的展示数据;
基于所述更新后的展示数据,调整通过所述AR设备展示的融入现实场景的所述虚拟飞行器的呈现特效。
5.一种飞行器的展示装置,其特征在于,包括:
第一获取模块,用于获取通过AR设备拍摄的目标展览馆的现实场景图像;
位姿确定模块,用于基于所述现实场景图像,确定所述AR设备在所述目标展览馆中的位姿数据;
第二获取模块,用于基于所述现实场景图像,获取待展示的虚拟飞行器,以及该虚拟飞行器在用于表征所述目标展览馆的三维场景模型中的展示数据;
动画展示模块,用于基于所述AR设备对应的位姿数据,以及所述虚拟飞行器在所述三维场景模型中的展示数据,通过所述AR设备展示融入现实场景的所述虚拟飞行器;
模型构建模块,用于按照以下方式预先构建所述目标展览馆的三维场景模型:获取所述目标展览馆对应的多张现实场景图像;从获取的每张现实场景图像中提取多个特征点;基于提取的多个特征点,以及预存的与所述目标展览馆匹配的三维样本图,生成初始三维场景模型;其中,所述三维样本图为预存储的表征所述目标展览馆形貌特征的三维图;在所述目标展览馆对应的初始三维场景模型中提取用于表征所述目标展览馆多个空间位置点的目标特征点;确定所述目标特征点在所述目标展览馆对应的真实二维地图中的真实坐标数据,并基于每个目标特征点对应的真实坐标数据,调整所述初始三维场景模型中各个特征点的坐标数据;其中,在所述真实二维地图和调整后的三维场景模型中的各个场景对象之间的尺寸比例关系,与在所述目标展览馆的真实场景中各个场景对象之间的尺寸比例关系一致。
6.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至4任一所述的展示方法的步骤。
7.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至4任一所述的展示方法的步骤。
CN202010502217.8A 2020-06-04 2020-06-04 飞行器的展示方法、装置、电子设备及存储介质 Active CN111638793B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010502217.8A CN111638793B (zh) 2020-06-04 2020-06-04 飞行器的展示方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010502217.8A CN111638793B (zh) 2020-06-04 2020-06-04 飞行器的展示方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111638793A CN111638793A (zh) 2020-09-08
CN111638793B true CN111638793B (zh) 2023-09-01

Family

ID=72330573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010502217.8A Active CN111638793B (zh) 2020-06-04 2020-06-04 飞行器的展示方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111638793B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112130946B (zh) * 2020-09-22 2024-03-26 西安宇视信息科技有限公司 一种飞机信息展示方法、装置、电子设备和存储介质
CN112148189A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 一种ar场景下的交互方法、装置、电子设备及存储介质
CN112288878B (zh) * 2020-10-29 2024-01-26 字节跳动有限公司 增强现实预览方法及预览装置、电子设备及存储介质
CN114584681A (zh) * 2020-11-30 2022-06-03 北京市商汤科技开发有限公司 目标对象的运动展示方法、装置、电子设备及存储介质
CN112598805A (zh) * 2020-12-24 2021-04-02 浙江商汤科技开发有限公司 一种提示信息展示方法、装置、设备及存储介质
CN112764658B (zh) * 2021-01-26 2022-10-21 北京小米移动软件有限公司 内容展示方法、装置及存储介质
CN112927349B (zh) * 2021-02-22 2024-03-26 北京市商汤科技开发有限公司 三维虚拟特效的生成方法、装置、计算机设备及存储介质
CN112947756A (zh) * 2021-03-03 2021-06-11 上海商汤智能科技有限公司 内容导览方法、装置、系统、计算机设备及存储介质
CN113409470A (zh) * 2021-06-18 2021-09-17 杭州灵伴科技有限公司 基于ar的场景导览方法、ar眼镜、电子装置和存储介质
CN117095319A (zh) * 2022-05-11 2023-11-21 华为技术有限公司 一种目标定位方法、系统和电子设备
CN116188680B (zh) * 2022-12-21 2023-07-18 金税信息技术服务股份有限公司 一种枪支在位状态的动态展示方法及装置
CN117152349B (zh) * 2023-08-03 2024-02-23 无锡泰禾宏科技有限公司 基于ar与大数据分析的虚拟场景自适应构建系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140082610A (ko) * 2014-05-20 2014-07-02 (주)비투지 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
CN105844714A (zh) * 2016-04-12 2016-08-10 广州凡拓数字创意科技股份有限公司 基于增强现实的场景显示方法及系统
CN106125938A (zh) * 2016-07-01 2016-11-16 联想(北京)有限公司 一种信息处理方法及电子设备
CN106856566A (zh) * 2016-12-16 2017-06-16 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种基于ar设备的信息同步方法及系统
CN107526443A (zh) * 2017-09-29 2017-12-29 北京金山安全软件有限公司 一种增强现实方法、装置、系统、电子设备及存储介质
CN107797665A (zh) * 2017-11-15 2018-03-13 王思颖 一种基于增强现实的三维数字沙盘推演方法及其系统
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN111161422A (zh) * 2019-12-13 2020-05-15 广东电网有限责任公司 一种用于增强虚拟场景实现的模型展示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US20110279453A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for rendering a location-based user interface
CN105869216A (zh) * 2016-03-29 2016-08-17 腾讯科技(深圳)有限公司 目标对象展示方法和装置
DE102016121281A1 (de) * 2016-11-08 2018-05-09 3Dqr Gmbh Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit virtuellen Bild- und Audiodaten und ein mobiles Gerät

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140082610A (ko) * 2014-05-20 2014-07-02 (주)비투지 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
CN105844714A (zh) * 2016-04-12 2016-08-10 广州凡拓数字创意科技股份有限公司 基于增强现实的场景显示方法及系统
CN106125938A (zh) * 2016-07-01 2016-11-16 联想(北京)有限公司 一种信息处理方法及电子设备
CN106856566A (zh) * 2016-12-16 2017-06-16 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种基于ar设备的信息同步方法及系统
CN107526443A (zh) * 2017-09-29 2017-12-29 北京金山安全软件有限公司 一种增强现实方法、装置、系统、电子设备及存储介质
CN107797665A (zh) * 2017-11-15 2018-03-13 王思颖 一种基于增强现实的三维数字沙盘推演方法及其系统
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN111161422A (zh) * 2019-12-13 2020-05-15 广东电网有限责任公司 一种用于增强虚拟场景实现的模型展示方法

Also Published As

Publication number Publication date
CN111638793A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN111638793B (zh) 飞行器的展示方法、装置、电子设备及存储介质
CN112348969B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN112148197A (zh) 增强现实ar交互方法、装置、电子设备及存储介质
CN111651057A (zh) 一种数据展示方法、装置、电子设备及存储介质
CN112148189A (zh) 一种ar场景下的交互方法、装置、电子设备及存储介质
CN111694430A (zh) 一种ar场景画面呈现方法、装置、电子设备和存储介质
CN111610998A (zh) Ar场景内容的生成方法、展示方法、装置及存储介质
CN111652987B (zh) 一种ar合影图像生成的方法及装置
CN112882576B (zh) Ar交互方法、装置、电子设备及存储介质
CN111744202A (zh) 加载虚拟游戏的方法及装置、存储介质、电子装置
CN111640197A (zh) 一种增强现实ar特效控制方法、装置及设备
CN112348968B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN111617471A (zh) 虚拟射击的展示方法、装置、电子设备及存储介质
CN112637665B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN111882674A (zh) 虚拟对象的调整方法、装置、电子设备及存储介质
KR20210148196A (ko) 정보 디스플레이 방법 및 장치, 디바이스, 및 저장 매체
CN111639613B (zh) 一种增强现实ar特效生成方法、装置及电子设备
CN111744180A (zh) 加载虚拟游戏的方法及装置、存储介质、电子装置
CN111632377A (zh) 射击轨迹的展示方法、装置、电子设备及存储介质
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN111569414B (zh) 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
CN111651058A (zh) 历史场景的控制展示方法、装置、电子设备及存储介质
CN113178017A (zh) Ar数据展示方法、装置、电子设备及存储介质
CN114584681A (zh) 目标对象的运动展示方法、装置、电子设备及存储介质
CN111599292A (zh) 一种历史场景的呈现方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant