CN115474273B - 基于uwb基站的控制器六自由度画面生成方法和装置 - Google Patents

基于uwb基站的控制器六自由度画面生成方法和装置 Download PDF

Info

Publication number
CN115474273B
CN115474273B CN202211342278.8A CN202211342278A CN115474273B CN 115474273 B CN115474273 B CN 115474273B CN 202211342278 A CN202211342278 A CN 202211342278A CN 115474273 B CN115474273 B CN 115474273B
Authority
CN
China
Prior art keywords
controller
time
uwb
electromagnetic wave
echo data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211342278.8A
Other languages
English (en)
Other versions
CN115474273A (zh
Inventor
郭云健
李卫红
严嘉琛
窦振铎
杨光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Normal University Weizhi Information Technology Co ltd
South China Normal University Qingyuan Institute of Science and Technology Innovation Co Ltd
Original Assignee
Guangdong Normal University Weizhi Information Technology Co ltd
South China Normal University Qingyuan Institute of Science and Technology Innovation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Normal University Weizhi Information Technology Co ltd, South China Normal University Qingyuan Institute of Science and Technology Innovation Co Ltd filed Critical Guangdong Normal University Weizhi Information Technology Co ltd
Priority to CN202211342278.8A priority Critical patent/CN115474273B/zh
Publication of CN115474273A publication Critical patent/CN115474273A/zh
Application granted granted Critical
Publication of CN115474273B publication Critical patent/CN115474273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0247Determining attitude
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/10Position of receiver fixed by co-ordinating a plurality of position lines defined by path-difference measurements, e.g. omega or decca systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/14Determining absolute distances from a plurality of spaced points of known location

Abstract

本公开提出了一种基于UWB基站的控制器六自由度画面生成方法和装置,涉及人工智能技术领域,包括:向多个UWB基站发送发射指令,以控制UWB基站向控制器发送UWB信号,并记录发送UWB信号的发送时间;接收响应信号以及姿态信息;根据坐标信息,多个接收时间和发送时间,以确定第一位置;向电磁波发射器发送发射指令,以控制电磁波发射器向控制器发射电磁波;获取电磁波的回波数据、电磁波的发射时间和接达时间,并根据发射时间、回波数据以及接达时间,计算第二位置;根据第一位置、第二位置和姿态信息,生成虚拟现实画面。由此,增加了定位时的数据缓存时间,使得位移信息非常准确和可靠,进而使得生成的虚拟现实画面更加准确和有效。

Description

基于UWB基站的控制器六自由度画面生成方法和装置
技术领域
本公开涉及人工智能技术领域,尤其涉及一种基于UWB基站的控制器六自由度画面生成方法和装置。
背景技术
用户在家里,经常可以使用一些虚拟现实设备进行游戏,在一些游戏中,经常需要使用一些简易控制器,比如手柄或者戒指进行6自由度的定位追踪,并配合虚拟现实设备,可以为用户在带来非常丰富的视觉体验。
控制器的位置和姿态信息是生成控制器6dof虚拟现实画面的必备条件,控制器中内置的陀螺仪可以测量控制器的姿态,而控制器的定位检测技术是识别控制器位置的关键。
相关技术中,多采用超声波对控制器进行定位,然而超声波是一种机械波,在室内很容易反射,造成的超声波的叠加非常影响定位精度,使得控制器6dof虚拟现实画面非常不准确,而且在用户使用虚拟现实设备的过程中,需要持续地进行获取很多时刻控制器的位移信息,但不同时刻的超声波的发送时间、接收时间等数据由于距离问题非常容易混淆,导致这个时刻确定的位移信息可能是由于使用了上个时刻对应的数据计算得到的。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
本公开第一方面实施例提出了一种基于UWB基站的控制器六自由度画面生成方法,包括:
响应于接收到控制器发送的第一定位指令,按照指定的第一周期向室内中的设置的多个UWB基站发送发射指令,以控制所述多个UWB基站向控制器中包含的UWB通信组件发送UWB信号,并记录发送UWB信号的发送时间;
接收所述控制器返回的响应信号以及所述控制器接收到所述UWB信号时的姿态信息,其中,所述响应信号中包含了多个接收时间;
根据已存储的多个UWB基站的坐标信息,所述多个接收时间和所述发送时间,以确定所述控制器的第一位置;
响应于接收到控制器发送的第二定位指令,按照指定的第二周期向所述室内中设置的电磁波发射器发送发射指令,以控制所述电磁波发射器向所述控制器发射电磁波;
获取所述电磁波的回波数据、所述电磁波的发射时间和所述控制器接收所述电磁波的接达时间,并根据所述发射时间、所述回波数据以及所述接达时间,计算所述控制器的第二位置;
根据所述第一位置、所述第二位置和所述姿态信息,生成包含控制器六自由的虚拟现实画面。
本公开第二方面实施例提出了一种基于UWB基站的控制器六自由度画面生成装置,包括:
第一控制模块,用于响应于接收到控制器发送的第一定位指令,按照指定的第一周期向室内中的设置的多个UWB基站发送发射指令,以控制所述多个UWB基站向控制器中包含的UWB通信组件发送UWB信号,并记录发送UWB信号的发送时间;
接收模块,用于接收所述控制器返回的响应信号以及所述控制器接收到所述UWB信号时的姿态信息,其中,所述响应信号中包含了多个接收时间;
确定模块,用于根据已存储的多个UWB基站的坐标信息,所述多个接收时间和所述发送时间,以确定所述控制器的第一位置;
第二控制模块,用于响应于接收到控制器发送的第二定位指令,按照指定的第二周期向所述室内中设置的电磁波发射器发送发射指令,以控制所述电磁波发射器向所述控制器发射电磁波;
获取模块,用于获取所述电磁波的回波数据、所述电磁波的发射时间和所述控制器接收所述电磁波的接达时间,并根据所述发射时间、所述回波数据以及所述接达时间,计算所述控制器的第二位置;
生成模块,用于根据所述第一位置、所述第二位置和所述姿态信息,生成包含控制器六自由的虚拟现实画面。
本公开第三方面实施例提出了一种计算机设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如本公开第一方面实施例提出的基于UWB基站的控制器六自由度画面生成方法。
本公开第四方面实施例提出了一种非临时性计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现如本公开第一方面实施例提出的基于UWB基站的控制器六自由度画面生成方法。
本公开提供的基于UWB基站的控制器六自由度画面生成方法和装置,存在如下有益效果:
本公开实施例中,该装置首先响应于接收到控制器发送的第一定位指令,按照指定的第一周期向室内中的设置的多个UWB基站发送发射指令,以控制所述多个UWB基站向控制器中包含的UWB通信组件发送UWB信号,并记录发送UWB信号的发送时间,之后接收所述控制器返回的响应信号以及所述控制器接收到所述UWB信号时的姿态信息,其中,所述响应信号中包含了多个接收时间,然后根据已存储的多个UWB基站的坐标信息,所述多个接收时间和所述发射时间,以确定所述控制器的第一位置,之后响应于接收到控制器发送的第二定位指令,按照指定的第二周期向所述室内中设置的电磁波发射器发送发射指令,以控制所述电磁波发射器向所述控制器发射电磁波,然后获取所述电磁波的回波数据、所述电磁波的发射时间和所述控制器接收所述电磁波的接达时间,并根据所述发射时间、所述回波数据以及所述接达时间,计算所述控制器的第二位置,之后根据所述第一位置、所述第二位置和所述姿态信息,生成包含控制器六自由的虚拟现实画面。由此,由于第一位置是该装置在响应于第一定位指令之后,通过UWB信号的对应信息确定的,由于UWB信号的传播速度非常快,因而定位非常精确,而由于电磁波不是机械波和音波,因而可以避免出现超声波反射引起的音波叠加,提高了对控制器定位的精度和准确度,利用电磁波的特性,计算控制器的位移信息,使得计算得到的第二位置非常准确,通过电磁波和UWB信号这两种不同的方式分别计算控制器的位移信息,不仅使得测量的位置信息非常准确,而且减少了数据传输的时间,不用电磁波或者UWB信号进行连续多轮次的发送和接收,而是通过电磁波和UWB信号交替获取控制器的位置,增加了各自数据的缓存时间,并且使得位移信息非常准确和可靠,还使得生成的虚拟现实画面更加准确和有效。
本公开附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本公开第一实施例所提供的基于UWB基站的控制器六自由度画面生成方法的流程示意图;
图2为本公开第二实施例所提供的基于UWB基站的控制器六自由度画面生成装置的结构框图;
图3示出了适于用来实现本公开实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本公开的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本公开,而不能理解为对本公开的限制。
下面参考附图描述本公开实施例的基于UWB基站的控制器六自由度画面生成方法、装置、计算机设备和存储介质。
图1为本公开第一实施例所提供的基于UWB基站的控制器六自由度画面生成方法的流程示意图。
如图1所示,该基于UWB基站的控制器六自由度画面生成方法可以包括以下步骤:
步骤101,响应于接收到控制器发送的第一定位指令,按照指定的第一周期向室内中的设置的多个UWB基站发送发射指令,以控制所述多个UWB基站向控制器中包含的UWB通信组件发送UWB信号,并记录发送UWB信号的发送时间。
其中,第一定位指令用于指示该装置控制UWB基站发送发射指令。
其中,第一周期可以为3ms、4ms,在此不做限定。
其中,每个UWB基站发送UWB信号的发送时间是相同的。发送时间是指
其中,控制器可以为一种电子交互设备,其可以包含蓝牙模组、NFC模组等通信模组,从而可以与服务器进行通信,进而传递电量信息、物理地址信息(MAC)、控制器的形态(类型)信息以及型号信息等等,在此不做限定。另外,在控制器中还可以安装有陀螺仪等姿态传感器,用于对控制器的姿态信息进行采集。
需要说明的是,本公开中的控制器可以为简易控制器,比如戒指状的控制器、手表状的控制器、球状的控制器、手柄状的控制器等等,在此不进行限定。
其中,控制器中包含有UWB通信组件,也即UWB标签。
步骤102,接收所述控制器返回的响应信号以及所述控制器接收到所述UWB信号时的姿态信息,其中,所述响应信号中包含了多个接收时间。
其中,接收时间是控制器接收到UWB信号时的时间。
其中,姿态信息可以由控制器的惯性测量传感器,比如陀螺仪传感器测量获得,其可以包含控制器的加速度、角速度等数据,其可以为俯仰角、航向角,在此不做限定。控制器的姿态信息可以是该装置实时通过与控制器之间的蓝牙通信或者无线网通信接收到的。
其中,由于UWB基站有多个,距离控制器的长度通常是不同的,控制器中的UWB通信组件接收到UWB信号的时间是不同的。控制器在接收到各个UWB基站的发送的UWB信号之后,可以通过响应信号,将各个接收时间合并发给该装置,从而该装置可以只需对一个响应信号进行解析,即可得到各个接收时间。
步骤103,根据已存储的多个UWB基站的坐标信息,所述多个接收时间和所述发送时间,以确定所述控制器的第一位置。
其中,多个UWB基站的坐标信息是预先存储的。根据接收时间和发送时间,可以确定UWB信号的飞行时间。该装置可以根据发送时间与接收时间的差值,以及UWB信号的传播速度,计算控制器到每个UWB基站的距离。
其中,第一位置是与UWB信号的发送时间对应的控制器位置。
示例性地,假设N个UWB基站依次为:第一UWB基站至第N个UWB基站;第一UWB基站在第一坐标系中的坐标信息为(X1、Y1、Z1),第一UWB基站与控制器之间的距离为S1,第二UWB基站在第一坐标系中的坐标信息为(X2、Y2、Z2),第二UWB基站与UWB标签之间的距离为S2,以此类推,第N个UWB基站在第一坐标系中的坐标信息为(Xn、Yn、Zn),第N个UWB基站与UWB标签之间的第一距离为Sn,则根据第一UWB基站至第N个UWB基站中的每一个UWB基站与UWB标签之间的距离、以及每一个UWB基站在第一坐标系中的坐标信息,建立的方程组,即可计算控制器的第一位置。
步骤104,响应于接收到控制器发送的第二定位指令,按照指定的第二周期向所述室内中设置的电磁波发射器发送发射指令,以控制所述电磁波发射器向所述控制器发射电磁波。
其中,第二定位指令用于指示该装置控制电磁波发射器发送电磁波。
其中,第二周期可以为3ms、4ms,在此不做限定。第一周期和第二周期可以相同也可以不同。
可选的,第一定位指令的接收时间和第二定位指令的接收时间之间的时间间隔小于预设阈值。其中,预设阈值可以为0.25ms。需要说明的是,当第一定位指令和第二定位指令之间的接收时间小于预设阈值时,此时,该装置控制电磁波发射器发射电磁波和控制UWB基站发送UWB信号的时间比较接近,进而使得第一位置和第二位置之间的位移比较小。
若该装置接收到第二定位指令的时间和接收到第一定位指令的时间大于预设阈值,则第二定位指令无效。
其中,电磁波发射器可以是室内预设的电磁发射器天线,其中,电磁发射器天线可以预设于室内的顶部,且电磁波发射器发射的电磁波覆盖室内的空间。
需要说明的是,在启动位于室内的电磁发射器天线之后,电磁发射器天线即可以一个较高的频率发射半方向性的电磁波,电磁波将覆盖整个室内的空间,另外,如果单个电磁发射器天线不能覆盖的话,可以增加电磁发射器天线的数量,保障电磁波覆盖室内空间。
另外,电磁波的扫描频率还可以具体根据刷新率和线束带宽进行调整,如果刷新率要求比较高,同时带宽可以承受较高的数据量,则可以提升扫描频率。
需要说明的是,电磁波发射器天线可以以一定的周期,以及可以根据每隔一个单位时间,发射一次电磁波。
步骤105,获取所述电磁波的回波数据、所述电磁波的发射时间和所述控制器接收所述电磁波的接达时间,并根据所述发射时间、所述回波数据以及所述接达时间,计算所述控制器的第二位置。
其中,发射时间是电磁波发射器发射电磁波的时间。接达时间是电磁波的回波到达该装置的电磁波接收器的时间。第二位置是电磁波发射器发射电磁波到控制器时,控制器的位置信息。
需要说明的是,电磁波发射器在发射电磁波之后,可以立即切换至接收状态,以接收电磁波的回波。电磁波在发射到控制器上时,一部分电磁波发生了发射,一部分电磁波发生了衍射,本公开中的电磁波发射器可以接收反射回来的电磁波,也即电磁波的回波。
可选的,该装置可以对回波数据进行滤波处理,以保留与控制器对应的目标回波数据,然后基于回波数据进行电磁计算,以确定回波数据对应的散射截面特征。
可选的,该装置可以根据组成所述控制器的电磁敏感材料,确定滤波系数,之后基于所述滤波系数,对所述回波数据进行滤波处理,以确定与所述控制器对应的目标回波数据。
需要说明的是,控制器的表面可以是电磁敏感材料制成的,对电磁波的反射性更强。
本公开中,控制器可以预先在微波暗室中对控制器进行测试,并记录当前控制器上的电磁敏感材料对应的参数,之后对回波进行滤波处理,以保留只在控制器上进行反射的电磁波。
需要说明的是,电磁波在发射到控制器上时,控制器的不同截面,其对应的散射截面特征是不相同的,也即如果控制器相对于电磁发射器天线的不同角度不同,其反射的电磁波的回波也是不同的。更具体的,可以体现在,电磁波在碰撞到控制器上时,碰撞的不同截面对应的微观粒子的散射概率是不相同的,微观粒子受靶粒子势场的作用,其运动方向偏离入射方向的角度可以是不同的。因而,散射截面特征可以反映控制器相对于电磁发射器天线的角度。
具体的,可以对回波进行滤波处理,以筛除不是从控制器上反射的回波,进而保留与控制器的电磁敏感材料对应的回波。通过对回波进行电磁学计算,可以确定回波对应的散射截面特征值。
本公开中,可以通过图形计算电磁学的方法进行电磁计算,比如物理光学积分、几何建模、矩量法,以确定当前的滤波后的回波数据对应的散射截面特征。需要说明的是,散射截面特征可以较好的表示物体的复杂表面形状,也即参考设备的表面,也即使得测量的参考设备的表面特征更加准确。
需要说明的是,该装置可以根据发射时间和接达时间之间的时间差,以及电磁波的波速,确定控制器和电磁波发射器之间的距离。另外,该装置可以预先录有控制器的各个角度对应的散射截面特征,从而在获取了散射截面特征之后,该装置可以基于该散射截面特征,计算控制器相对于电磁波发射器的角度。
本公开中,可以预先在该装置录入各个控制器相对于电磁波发射器的角度与散射截面特征之间的映射关系,之后在获取到散射截面特征之后,可以基于该散射截面特征进行匹配,以确定对应的相对于电磁波发射器的角度。
具体的,在确定了控制器相对于电磁波发射器的角度和距离之后,可以基于电磁波发射器的坐标,确定控制器在室内的空间位置,也即在室内的世界坐标系下的三维坐标信息。
可选的,该装置可以首先根据所述散射截面特征,确定当前控制器相对于电磁波发射器的角度,然后根据所述发射时间与所述接收时间之间的时间差,确定控制器相对于所述电磁波发射器的距离,之后根据所述距离、所述角度以及所述电磁波发射器的坐标,确定所述控制器的空间位置。
作为一种可能实现的方式,可以首先将散射截面特征与预设的映射关系表中包含的各个参考散射截面特征进行匹配,以确定散射截面特征对应的目标参考散射截面特征,其中,预设的映射关系表中包含了各个参考散射截面特征与控制器的角度之间的映射关系,之后将与目标参考散射截面特征对应的控制器的角度确定为控制器相对于电磁发射器天线的角度。
可选的,该装置可以首先将散射截面特征与预设的特征数据表进行匹配,以确定所述散射截面特征与各个参考散射截面特征的匹配度,其中,所述特征数据表包含了所述各个参考散射截面特征与所述参考设备相对于所述控制器的角度之间的映射关系,之后将与所述散射截面特征匹配度最高的所述参考散射截面特征对应的所述角度,确定为所述参考设备相对于所述控制器的角度。
其中,预设的特征数据表中可以包含多个参考散射截面特征。需要说明的是,特征数据表是经过充分的测试生成的,因而,特征数据表中的多个参考散射截面特征可以包含参考设备各个散射截面对应的特征,以提供充分的数据支持。
举例来说,特征数据表中可以包括参考散射截面特征S1,S2,S3,S4,S5,S6....Sn,以及每个参考散射截面特征对应的角度a1,a2,a3,a4,a5,a6....an。其中,S1对应a1,S2对应a2,S3对应a3,S4对应a4.....Sn对应an。如果当前确定的散射截面特征为S2,则a2即为最匹配的参考设备相对于控制器的角度,在此不进行限定。
具体需要说明的是,本公开中,计算所得的散射截面特征可以为一组值,因而在将散射截面特征在特征数据表中进行匹配时,可以将与该组值匹配度最高的参考散射截面特征作为当前的目标散射截面特征。
或者,每个参考散射截面特征可以为一个范围,如果当前的散射截面特征位于参考散射截面特征所在的范围中,则可以将该参考散射截面特征对应的角度作为参考设备相对于控制器的角度。
其中,参考散射截面特征可以为预先测试后录入的控制器的散射截面特征。需要说明的是,为了保证获取到的控制器相对于电磁波发射器的角度的准确度,映射关系表中可以包含控制器的各个参考散射截面特征,也即,需要对控制器预先进行充分的测试,从而使得参考散射截面特征足够多和全面。
在确定控制器相对于所述电磁波发射器的距离时,若发射时间为t1,接收时间为t2,电磁波的波速为v,则可以计算控制器相对于电磁波发射器之间的距离为s=0.5v(t2-t1),在此不做限定。
其中,电磁波发射器的坐标可以为在世界坐标系下的坐标。
进一步地,本公开中,可以基于控制器相对于电磁波发射器的角度和电磁波发射器的坐标,计算控制器在室内的第二位置。
步骤106,根据所述第一位置、所述第二位置和所述姿态信息,生成包含控制器六自由的虚拟现实画面。
可选的,该装置可以根据所述第一位置和所述第二位置,计算所述控制器的位移信息,之后根据控制器的位移信息和所述姿态信息,生成包含所述控制器六自由度的虚拟现实画面。
具体的,该装置可以基于具有渲染能力的系统基于控制器在世界坐标系下的位移信息以及姿态信息对已获得的虚拟现实设备所拍摄的图像进行渲染处理,生成渲染后的虚拟现实画面,从而该虚拟现实画面可以包含控制器的六自由度信息。
其中,虚拟现实设备可以实时的获取周围环境的图像。
需要说明的是,所述控制器在世界坐标系下的位置坐标包括控制器沿X、Y、Z三个直角坐标轴方向的位置信息,所述姿态信息包括控制器绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll,其中,Pitch是围绕X轴旋转的俯仰角,Yaw是围绕Y轴旋转的偏航角,Roll是围绕Z轴旋转的翻滚角。通常将沿X、Y、Z三个直角坐标轴方向的位置信息和绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll合称为六自由度信息。
之后,该装置可以将包含控制器六自由的虚拟现实画面传输至用户所戴的虚拟现实设备中,从而用户可以基于该虚拟现实设备看到控制器六自由度的虚拟现实画面。
本公开实施例中,该装置首先响应于接收到控制器发送的第一定位指令,按照指定的第一周期向室内中的设置的多个UWB基站发送发射指令,以控制所述多个UWB基站向控制器中包含的UWB通信组件发送UWB信号,并记录发送UWB信号的发送时间,之后接收所述控制器返回的响应信号以及所述控制器接收到所述UWB信号时的姿态信息,其中,所述响应信号中包含了多个接收时间,然后根据已存储的多个UWB基站的坐标信息,所述多个接收时间和所述发送时间,以确定所述控制器的第一位置,之后响应于接收到控制器发送的第二定位指令,按照指定的第二周期向所述室内中设置的电磁波发射器发送发射指令,以控制所述电磁波发射器向所述控制器发射电磁波,然后获取所述电磁波的回波数据、所述电磁波的发射时间和所述控制器接收所述电磁波的接达时间,并根据所述发射时间、所述回波数据以及所述接达时间,计算所述控制器的第二位置,之后根据所述第一位置、所述第二位置和所述姿态信息,生成包含控制器六自由的虚拟现实画面。由此,由于第一位置是该装置在响应于第一定位指令之后,通过UWB信号的对应信息确定的,由于UWB信号的传播速度非常快,因而定位非常精确,而由于电磁波不是机械波和音波,因而可以避免出现超声波反射引起的音波叠加,提高了对控制器定位的精度和准确度,利用电磁波的特性,计算控制器的位移信息,使得计算得到的第二位置非常准确,通过电磁波和UWB信号这两种不同的方式分别计算控制器的位移信息,不仅使得测量的位置信息非常准确,而且减少了数据传输的时间,不用电磁波或者UWB信号进行连续多轮次的发送和接收,而是通过电磁波和UWB信号交替获取控制器的位置,增加了各自数据的缓存时间,并且使得位移信息非常准确和可靠,还使得生成的虚拟现实画面更加准确和有效。
图2为本公开第二实施例所提供的基于UWB基站的控制器六自由度画面生成装置的结构示意图。
如图2所示,该基于UWB基站的控制器六自由度画面生成装置200可以包括:第一控制模块210、接收模块220、第二确定模块230、第三控制模块240、获取模块250以及生成模块260。
第一控制模块,用于响应于接收到控制器发送的第一定位指令,按照指定的第一周期向室内中的设置的多个UWB基站发送发射指令,以控制所述多个UWB基站向控制器中包含的UWB通信组件发送UWB信号,并记录发送UWB信号的发送时间;
接收模块,用于接收所述控制器返回的响应信号以及所述控制器接收到所述UWB信号时的姿态信息,其中,所述响应信号中包含了多个接收时间;
确定模块,用于根据已存储的多个UWB基站的坐标信息,所述多个接收时间和所述发送时间,以确定所述控制器的第一位置;
第二控制模块,用于响应于接收到控制器发送的第二定位指令,按照指定的第二周期向所述室内中设置的电磁波发射器发送发射指令,以控制所述电磁波发射器向所述控制器发射电磁波;
获取模块,用于获取所述电磁波的回波数据、所述电磁波的发射时间和所述控制器接收所述电磁波的接达时间,并根据所述发射时间、所述回波数据以及所述接达时间,计算所述控制器的第二位置;
生成模块,用于根据所述第一位置、所述第二位置和所述姿态信息,生成包含控制器六自由的虚拟现实画面。
可选的,所述获取模块,包括:
第一处理单元,用于对所述回波数据进行滤波处理,以保留与所述控制器对应的目标回波数据;
第一确定单元,用于基于所述目标回波数据进行电磁计算,以确定所述目标回波数据对应的散射截面特征;
第二确定单元,用于根据所述散射截面特征、所述发射时间、所述接达时间及所述电磁波发射器的坐标,确定所述控制器的第二位置。
可选的,所述第一处理单元,具体用于:
根据组成所述控制器的电磁敏感材料,确定滤波系数;
基于所述滤波系数,对所述回波数据进行滤波处理,以确定与所述控制器对应的目标回波数据。
可选的,所述生成模块,具体用于:
根据所述第一位置和所述第二位置,计算所述控制器的位移信息;
根据所述控制器的位移信息和所述姿态信息,生成包含所述控制器六自由度的虚拟现实画面。
可选的,所述第一定位指令的接收时间和所述第二定位指令的接收时间之间的时间间隔小于预设阈值。
本公开实施例中,该装置首先响应于接收到控制器发送的第一定位指令,按照指定的第一周期向室内中的设置的多个UWB基站发送发射指令,以控制所述多个UWB基站向控制器中包含的UWB通信组件发送UWB信号,并记录发送UWB信号的发送时间,之后接收所述控制器返回的响应信号以及所述控制器接收到所述UWB信号时的姿态信息,其中,所述响应信号中包含了多个接收时间,然后根据已存储的多个UWB基站的坐标信息,所述多个接收时间和所述发送时间,以确定所述控制器的第一位置,之后响应于接收到控制器发送的第二定位指令,按照指定的第二周期向所述室内中设置的电磁波发射器发送发射指令,以控制所述电磁波发射器向所述控制器发射电磁波,然后获取所述电磁波的回波数据、所述电磁波的发射时间和所述控制器接收所述电磁波的接达时间,并根据所述发射时间、所述回波数据以及所述接达时间,计算所述控制器的第二位置,之后根据所述第一位置、所述第二位置和所述姿态信息,生成包含控制器六自由的虚拟现实画面。由此,由于第一位置是该装置在响应于第一定位指令之后,通过UWB信号的对应信息确定的,由于UWB信号的传播速度非常快,因而定位非常精确,而由于电磁波不是机械波和音波,因而可以避免出现超声波反射引起的音波叠加,提高了对控制器定位的精度和准确度,利用电磁波的特性,计算控制器的位移信息,使得计算得到的第二位置非常准确,通过电磁波和UWB信号这两种不同的方式分别计算控制器的位移信息,不仅使得测量的位置信息非常准确,而且减少了数据传输的时间,不用电磁波或者UWB信号进行连续多轮次的发送和接收,而是通过电磁波和UWB信号交替进行获取控制器的位置,使得位移信息非常准确和可靠,进而使得生成的虚拟现实画面更加准确和有效。
为了实现上述实施例,本公开还提出一种计算机设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时,实现如本公开前述实施例提出的基于UWB基站的控制器六自由度画面生成方法。
为了实现上述实施例,本公开还提出一种非临时性计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现如本公开前述实施例提出的基于UWB基站的控制器六自由度画面生成方法。
为了实现上述实施例,本公开还提出一种计算机程序产品,当计算机程序产品中的指令处理器执行时,执行如本公开前述实施例提出的基于UWB基站的控制器六自由度画面生成方法。
图3示出了适于用来实现本公开实施方式的示例性计算机设备的框图。图3显示的计算机设备12仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图3未显示,通常称为“硬盘驱动器”)。尽管图3中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read OnlyMemory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory;以下简称:DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本公开的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本公开各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本公开的限制,本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于UWB基站的控制器六自由度画面生成方法,其特征在于,包括:
响应于接收到控制器发送的第一定位指令,按照指定的第一周期向室内中的设置的多个UWB基站发送发射指令,以控制所述多个UWB基站向控制器中包含的UWB通信组件发送UWB信号,并记录发送UWB信号的发送时间;
接收所述控制器返回的响应信号以及所述控制器接收到所述UWB信号时的姿态信息,其中,所述响应信号中包含了多个接收时间;
根据已存储的多个UWB基站的坐标信息,所述多个接收时间和所述发送时间,以确定所述控制器的第一位置;
响应于接收到控制器发送的第二定位指令,按照指定的第二周期向所述室内中设置的电磁波发射器发送发射指令,以控制所述电磁波发射器向所述控制器发射电磁波;
获取所述电磁波的回波数据、所述电磁波的发射时间和所述控制器接收所述电磁波的接达时间,并根据所述发射时间、所述回波数据以及所述接达时间,计算所述控制器的第二位置;
根据所述第一位置、所述第二位置和所述姿态信息,生成包含控制器六自由度 的虚拟现实画面。
2.根据权利要求1所述的方法,其特征在于,所述根据所述发射时间、所述回波数据以及所述接达时间,计算所述控制器的第二位置,包括:
对所述回波数据进行滤波处理,以保留与所述控制器对应的目标回波数据;
基于所述目标回波数据进行电磁计算,以确定所述目标回波数据对应的散射截面特征;
根据所述散射截面特征、所述发射时间、所述接达时间及所述电磁波发射器的坐标,确定所述控制器的第二位置。
3.根据权利要求2所述的方法,其特征在于,所述对所述回波数据进行滤波处理,以保留与所述控制器对应的目标回波数据,包括:
根据组成所述控制器的电磁敏感材料,确定滤波系数;
基于所述滤波系数,对所述回波数据进行滤波处理,以确定与所述控制器对应的目标回波数据。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一位置、所述第二位置和所述姿态信息,生成包含控制器六自由度 的虚拟现实画面,包括:
根据所述第一位置和所述第二位置,计算所述控制器的位移信息;
根据所述控制器的位移信息和所述姿态信息,生成包含所述控制器六自由度的虚拟现实画面。
5.根据权利要求1所述的方法,其特征在于,所述第一定位指令的接收时间和所述第二定位指令的接收时间之间的时间间隔小于预设阈值。
6.一种基于UWB基站的控制器六自由度画面生成装置,其特征在于,包括:
第一控制模块,用于响应于接收到控制器发送的第一定位指令,按照指定的第一周期向室内中的设置的多个UWB基站发送发射指令,以控制所述多个UWB基站向控制器中包含的UWB通信组件发送UWB信号,并记录发送UWB信号的发送时间;
接收模块,用于接收所述控制器返回的响应信号以及所述控制器接收到所述UWB信号时的姿态信息,其中,所述响应信号中包含了多个接收时间;
确定模块,用于根据已存储的多个UWB基站的坐标信息,所述多个接收时间和所述发送时间,以确定所述控制器的第一位置;
第二控制模块,用于响应于接收到控制器发送的第二定位指令,按照指定的第二周期向所述室内中设置的电磁波发射器发送发射指令,以控制所述电磁波发射器向所述控制器发射电磁波;
获取模块,用于获取所述电磁波的回波数据、所述电磁波的发射时间和所述控制器接收所述电磁波的接达时间,并根据所述发射时间、所述回波数据以及所述接达时间,计算所述控制器的第二位置;
生成模块,用于根据所述第一位置、所述第二位置和所述姿态信息,生成包含控制器六自由度 的虚拟现实画面。
7.根据权利要求6所述的装置,其特征在于,所述获取模块,包括:
第一处理单元,用于对所述回波数据进行滤波处理,以保留与所述控制器对应的目标回波数据;
第一确定单元,用于基于所述目标回波数据进行电磁计算,以确定所述目标回波数据对应的散射截面特征;
第二确定单元,用于根据所述散射截面特征、所述发射时间、所述接达时间及所述电磁波发射器的坐标,确定所述控制器的第二位置。
8.根据权利要求7所述的装置,其特征在于,所述第一处理单元,具体用于:
根据组成所述控制器的电磁敏感材料,确定滤波系数;
基于所述滤波系数,对所述回波数据进行滤波处理,以确定与所述控制器对应的目标回波数据。
9.根据权利要求6所述的装置,其特征在于,所述生成模块,具体用于:
根据所述第一位置和所述第二位置,计算所述控制器的位移信息;
根据所述控制器的位移信息和所述姿态信息,生成包含所述控制器六自由度的虚拟现实画面。
10.根据权利要求6所述的装置,其特征在于,所述第一定位指令的接收时间和所述第二定位指令的接收时间之间的时间间隔小于预设阈值。
CN202211342278.8A 2022-10-31 2022-10-31 基于uwb基站的控制器六自由度画面生成方法和装置 Active CN115474273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211342278.8A CN115474273B (zh) 2022-10-31 2022-10-31 基于uwb基站的控制器六自由度画面生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211342278.8A CN115474273B (zh) 2022-10-31 2022-10-31 基于uwb基站的控制器六自由度画面生成方法和装置

Publications (2)

Publication Number Publication Date
CN115474273A CN115474273A (zh) 2022-12-13
CN115474273B true CN115474273B (zh) 2023-02-17

Family

ID=84336612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211342278.8A Active CN115474273B (zh) 2022-10-31 2022-10-31 基于uwb基站的控制器六自由度画面生成方法和装置

Country Status (1)

Country Link
CN (1) CN115474273B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117368842B (zh) * 2023-12-07 2024-04-12 广东云下汇金科技有限公司 一种基于数据中心的人员智能定位系统及其控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017096779A (ja) * 2015-11-25 2017-06-01 株式会社日本ジー・アイ・ティー Uwb計測システム
CN108267715A (zh) * 2017-12-26 2018-07-10 青岛小鸟看看科技有限公司 外接设备的定位方法及装置、虚拟现实设备及系统
CN114845386A (zh) * 2022-04-29 2022-08-02 吉林大学 基于uwb基站二次自修正的时间同步与定位方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10764762B2 (en) * 2017-10-04 2020-09-01 At&T Intellectual Property I, L.P. Apparatus and methods for distributing a communication signal obtained from ultra-wideband electromagnetic waves

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017096779A (ja) * 2015-11-25 2017-06-01 株式会社日本ジー・アイ・ティー Uwb計測システム
CN108267715A (zh) * 2017-12-26 2018-07-10 青岛小鸟看看科技有限公司 外接设备的定位方法及装置、虚拟现实设备及系统
CN114845386A (zh) * 2022-04-29 2022-08-02 吉林大学 基于uwb基站二次自修正的时间同步与定位方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于UWB/MEMS的高精度室内定位技术研究;杨洲;《中国优秀硕士学位论文全文数据库》;20160229;全文 *
基于滑模控制的AUV运动仿真系统;王晓伟等;《控制工程》;20171220(第12期);全文 *
天线和逆散射若干问题研究;徐魁文;《中国博士学位论文全文数据库》;20150531;全文 *

Also Published As

Publication number Publication date
CN115474273A (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
Foxlin et al. Constellation: A wide-range wireless motion-tracking system for augmented reality and virtual set applications
US10642368B2 (en) Body posture detection system, suit and method
US7395181B2 (en) Motion tracking system
CN115474273B (zh) 基于uwb基站的控制器六自由度画面生成方法和装置
Alkhawaja et al. Techniques of indoor positioning systems (IPS): A survey
WO2008048036A1 (en) Method and apparatus for tracking 3-dimensional position of the object
CN107167323B (zh) 无人驾驶汽车的场地测试方法及系统、设备与可读介质
US20170371038A1 (en) Systems and methods for ultrasonic velocity and acceleration detection
McCarthy et al. Accessible ultrasonic positioning
US11554316B2 (en) Thermopile array fusion tracking
CN113767264A (zh) 参数标定方法、装置、系统和存储介质
US10416305B2 (en) Positioning device and positioning method
CN110262667B (zh) 一种虚拟现实设备及定位方法
CN105445743A (zh) 一种超声导盲系统及其实现方法
CN112762935B (zh) 一种基于船体姿态监测的定位方法及系统
CN106679647A (zh) 用于初始化自主移动式设备位姿的方法及装置
CN216485497U (zh) 一种用于水下机器人的定位系统
CN117008501A (zh) 控制器六自由度画面的生成方法、装置、设备及存储介质
Ionescu et al. 3D localization and tracking of objects using miniature microphones
WO2022228461A1 (zh) 一种基于激光雷达的三维超声成像方法和系统
CN109188413B (zh) 虚拟现实设备的定位方法、装置和系统
CN108261761B (zh) 一种空间定位方法和装置、计算机可读存储介质
CN106662913A (zh) 用于双模式传感器系统的系统和方法
Vincent Portable indoor multi-user position tracking system for immersive virtual environments using sensor fusion with multidimensional scaling
US11182969B2 (en) Spatial localization using augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant