CN113535863B - 一种移动轨迹渲染方法、设备及存储介质 - Google Patents
一种移动轨迹渲染方法、设备及存储介质 Download PDFInfo
- Publication number
- CN113535863B CN113535863B CN202010286792.9A CN202010286792A CN113535863B CN 113535863 B CN113535863 B CN 113535863B CN 202010286792 A CN202010286792 A CN 202010286792A CN 113535863 B CN113535863 B CN 113535863B
- Authority
- CN
- China
- Prior art keywords
- target object
- target
- path
- map
- paths
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
本申请实施例提供一种移动轨迹渲染方法、设备及存储介质,其中,所述方法包括:根据目标对象对应的定位数据,确定所述目标对象在地图中所处的第一位置;将所述第一位置投影至所述地图中的目标路径上,以在所述目标路径上确定与所述第一位置对应的第二位置;基于所述第二位置,在所述地图中渲染所述目标对象的移动轨迹。据此,本申请实施例中,可通过定位数据实时识别出的目标对象的位置,并可基于地图中预置的路径,对视频识别出的位置进行修正,这不仅可提供目标对象的实时定位的准确性,还可高效且准确地渲染出目标对象的移动轨迹,为目标对象的精细化管理提供基础。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种移动轨迹渲染方法、设备及存储介质。
背景技术
目前,对于机场中进出港的飞机,通常需要塔台或地勤工作人员人工报告飞机的实时位置,以用于对飞机进行行为管理。
但是,这种依赖人工的定位方式,不仅效率低,而且准确率也较低,已经无法满足机场的精细化管理需求。
发明内容
本申请的多个方面提供一种移动轨迹渲染方法、设备及存储介质,用以高效且准确地为目标对象渲染移动轨迹。
本申请实施例提供一种移动轨迹渲染方法,包括:
根据目标对象对应的定位数据,确定所述目标对象在地图中所处的第一位置;
将所述第一位置投影至所述地图中的目标路径上,以在所述目标路径上确定与所述第一位置对应的第二位置;
基于所述第二位置,在所述地图中渲染所述目标对象的移动轨迹。
本申请实施例还提供一种计算设备,用于存储器和处理器;
所述存储器用于存储一条或多条计算机指令;
所述处理器与所述存储器耦合,用于执行所述一条或多条计算机指令,以用于:
根据目标对象对应的定位数据,确定所述目标对象在地图中所处的第一位置;
将所述第一位置投影至所述地图中的目标路径上,以在所述目标路径上确定与所述第一位置对应的第二位置;
基于所述第二位置,在所述地图中渲染所述目标对象的移动轨迹。
本申请实施例还提供一种存储计算机指令的计算机可读存储介质,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器执行前述的移动轨迹渲染方法。
在本申请实施例中,可根据目标对象对应的定位数据,确定所述目标对象在地图中所处的第一位置;将所述第一位置投影至所述地图中的目标路径上,以在所述目标路径上确定与所述第一位置对应的第二位置;基于所述第二位置,在所述地图中渲染所述目标对象的移动轨迹。据此,本申请实施例中,可通过定位数据实时识别出的目标对象的位置,并可基于地图中预置的路径,对视频识别出的位置进行修正,这不仅可提高目标对象的实时定位的准确性,还可高效、准确且完整地渲染出目标对象的移动轨迹,从而避免因视频的视野不能覆盖全场景或视频识别精度不够、雷达信号不稳定、卫星信号不稳定等情况导致的移动轨迹中断或误差问题。进而可为目标对象的精细化管理提供基础。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请一示例性实施例提供的一种移动轨迹渲染方法的流程示意图;
图2位本申请一示例性实施例提供的一种移动轨迹渲染方法的逻辑示意图;
图3为本申请一示例性实施例提供的一种确定第二位置的逻辑示意图;
图4为本申请一示例性实施例提供的一种目标对象拐弯时的目标路径确定方案的逻辑示意图;
图5为本申请一示例性实施例提供的一种应用场景的示意图;
图6为本申请另一实施例提供的一种计算设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,对飞机进入港的过程中,通常依赖人工的定位方式,不仅效率低,而且准确率也较低,已经无法满足机场的精细化管理需求。为改善这些技术问题,本申请的一些实施例中:可根据目标对象对应的定位数据,确定所述目标对象在地图中所处的第一位置;将所述第一位置投影至所述地图中的目标路径上,以在所述目标路径上确定与所述第一位置对应的第二位置;基于所述第二位置,在所述地图中渲染所述目标对象的移动轨迹。据此,本申请实施例中,可通过定位数据实时识别出的目标对象的位置,并可基于地图中预置的路径,对视频识别出的位置进行修正,这不仅可提供目标对象的实时定位的准确性,还可高效、准确且完整地渲染出目标对象的移动轨迹,为目标对象的精细化管理提供基础。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1为本申请一示例性实施例提供的一种移动轨迹渲染方法的流程示意图。图2为本申请一示例性实施例提供的一种移动轨迹渲染方法的逻辑示意图。本实施例提供的移动轨迹渲染方法可以由一移动轨迹渲染装置来执行,该移动轨迹渲染装置可以实现为软件或实现为软件和硬件的组合,该移动轨迹渲染装置可集成设置在计算设备中。参考图1和图2,该移动轨迹渲染方法可包括:
步骤100、根据目标对象对应的定位数据,确定目标对象在地图中所处的第一位置;
步骤101、将第一位置投影至地图中的目标路径上,以在目标路径上确定与第一位置对应的第二位置;
步骤102、基于第二位置,在地图中渲染目标对象的移动轨迹。
本实施例提供的移动轨迹渲染方法可应用于各种需要进行移动轨迹渲染的场景中。例如,机场、停车场、交通区域、物流园区、港口、安全生产或交通仿真等场景,本实施例对应用场景不做限定。在不同的应用场景中,目标对象可能不完全相同。本实施例中,目标对象包括但不限于飞机、汽车、船舶、自行车或行人等。其中,每类目标对象下还可细分出多种小类,例如,汽车下还可细分出用于安全生产的工程车、用于物流园区的物流车、通过交通区域的私家车等等。在此不再穷举。
值得说明的是,在应用场景中,需要进行移动轨迹渲染的对象的数量可能为一个或多个,本实施例中将以目标对象为例进行技术方案的说明,但应当理解的是,本实施例提供的技术方案也可适用于应用场景内的其它对象。
在步骤100中,可根据目标对象对应的定位数据,确定目标对象在地图中所处的第一位置。
在不同的场景中,可采用不同的类型的定位设备监控目标对象的移动行为。定位设备包括但不限于视频采集设备、雷达设备或卫星等。相应地,定位数据包括但不限于视频数据、雷达数据或卫星数据等。
以视频数据为例,目标对象对应的视频数据,可以是视频画面中包含目标对象的视频数据。
本实施例中,前述的移动轨迹渲染装置可与应用场景内的视频采集设备通信连接,并可实时地从视频采集设备获取视频数据。
实际应用中,可对获取到的视频数据进行预处理,以获得目标对象对应的视频数据。
本实施例中,可在应用场景中布设至少一个视频采集设备,视频采集设备可拍摄到目标对象在其视野内的移动行为,并且,视频采集设备采集到的视频数据中可携带时间戳信息。例如,可在机场的停机楼等位置布设摄像头,以对飞机的进出港行为进行拍摄。基于此,本实施例中,可从至少一个视频采集设备获取视频数据,对获取到的视频数据进行预处理过程可以是:
识别各视频采集设备提供的视频数据中包含目标对象的目标视频帧;
根据识别出的目标视频帧各自对应的时间戳信息,将目标视频帧进行拼接,以获得目标对象对应的视频数据。
以上是从目标对象的整个移动过程的角度来解释目标对象的视频数据。若从当前时刻的角度来看,则可从至少一个视频采集设备中确定出能够拍摄到目标对象的目标视频采集设备,并将目标视频采集设备在当前时刻提供的视频数据作为目标对象对应的视频数据。这种情况下,可能存在多个视频采集设备能拍摄到目标对象的情形,对此,可从中选择与目标对象距离最近或视角符合要求的一个作为目标视频采集设备,当然,本实施例对此并不作限定。
基于此,可对视频数据进行分析,以确定目标对象在地图中所处的第一位置。同样,通过对雷达数据或卫星数据进行分析,也可确定出目标对象在地图中的第一位置。
关于确定第一位置的过程将在后续实施例中进行详述。其中,本实施例中的地图可以是指应用场景对应的环境地图,例如,地图可以是机场地图、交通枢纽地图或停车场地图等等。地图中包括但不限于应用场景中的建筑物、道路或各种标记物等等。
由于视频采集设备在拍摄目标对象的过程中,对目标对象在水平方向的移动行为的感知精度较高,而对目标对象在远近方向的移动行为的感知精度则比较低,另外,还可能出现视野遮挡等特定事件而影响感知精度。因此,根据视频数据而确定出的第一位置可能与目标对象的实际位置存在偏差。而由于雷达信号或卫星信号不稳定也可能导致根据雷达数据或卫星数据确定出的第一位置可能与目标对象的实际位置存在偏差。
为此,在步骤101中,可将第一位置投影至地图中的目标路径上,以在目标路径上确定与第一位置对应的第二位置。
本实施例中,地图中可包含至少一条路径。路径可以是供目标对象进行移动的路径,也即是,目标对象将按照应用场景中的路径进行移动。在不同的应用场景中,路径的形式可能不完全相同。例如,在机场场景中,路径可以是机场中的跑道或滑行道等。再例如,在物流园区场景中,路径可以是园区道路等。
本实施例中,可在地图中预先标记路径的位置。该标记过程可采用现有的地图创建技术而实现,在此不再详述。
基于此,可将第一位置投影至地图中的目标路径上,也即是将第一位置投影至地图中的一条路径上。并可从目标路径上选择出与第一位置对应的第二位置。
据此,可将目标对象的移动位置限定在地图中的路径上,这可对根据视频数据而确定出的第一位置进行修正,从而提高对目标对象进行定位的准确性。
在步骤102中,可基于第二位置,在地图中渲染目标对象的移动轨迹。
本实施例中,移动轨迹的渲染操作可采用增量渲染的方式。也即是随着目标对象的移动,而确定目标对象的增量位置,通过及时渲染目标对象的增量位置,可实现移动轨迹的渲染。
例如,可按移动时刻对目标对象的移动轨迹进行增量渲染。又例如,可按移动位置的变动对目标对象的移动轨迹进行增量渲染。
实际应用中,为了区分目标对象的移动轨迹与地图中已有的路径,可将为两者设定不同的颜色、形状、宽度等属性参数。当然,本实施例对此不作限定。
另外,可输出渲染后的地图,以呈现目标对象的移动轨迹。还可实时输出目标对象对应的第二位置,以呈现目标对象的实时位置。目标对象的移动轨迹以及第二位置均可作为对目标对象进行精细化管理的基础数据。
本实施例中,可根据目标对象对应的定位数据,确定所述目标对象在地图中所处的第一位置;将所述第一位置投影至所述地图中的目标路径上,以在所述目标路径上确定与所述第一位置对应的第二位置;基于所述第二位置,在所述地图中渲染所述目标对象的移动轨迹。据此,本申请实施例中,可通过视频数据实时识别出的目标对象的位置,并可基于地图中预置的路径,对视频识别出的位置进行修正,是目标对象的移动轨迹落到地图中已有的路径上,这不仅可提供目标对象的实时定位的准确性,还可在定位数据缺失等情况下,基于地图中已有的路径将移动轨迹补全,从而可高效、准确且完整地渲染出目标对象的移动轨迹,为目标对象的精细化管理提供基础。
在上述或下述实施例中,可在地图中,将第一位置正投影至目标路径上;将第一位置在目标路径上的投影位置,作为第二位置。
其中,正投影是指投影线垂直于目标路径。
图3为本申请一示例性实施例提供的一种确定第二位置的逻辑示意图。参考图3,若当前时刻目标对象在地图中的第一位置为P,则经过正投影后,可在目标路径A上确定出P的投影位置P’,从而,可将P’作为目标对象的第二位置。
其中,正如上文提及的,地图中的路径的位置是预置好的,因此,图3中P’的坐标为已知的,也即可确定出第二位置的在地图中的坐标。
图3中,目标路径渲染为黑色实线,目标对象的移动轨迹则渲染为透明框。另外,图3中还表征了移动轨迹的增量渲染过程:图3中将已经渲染的移动轨迹表示为实线透明框,而将基于当前时刻确定出的第二位置P’而增量渲染的移动轨迹,表示为虚线透明框。
当然,本实施例中,第二位置的确定方式并不限于此。本实施例中,还可将目标路径上的其它位置确定为第二位置,例如,在目标路径上,还可从投影位置的预设距离范围内选择任意位置作为第二位置,等。
据此,本实施例中,可从目标路径中确定出第一位置对应的第二位置,从而将目标对象的移动位置限定至目标路径上,改善根据定位数据对目标对象进行定位导致的偏差。
在上述或下述实施例中,可从地图中预置的至少一条路径中,选择与第一位置的距离满足预设条件的路径,作为目标路径。
本实施例中,可基于距离维度,从地图中的至少一条可选路径中,选出最合适的一条,作为目标路径。
实际应用中,可从至少一条路径中,选择与第一位置的距离最近的路径,作为目标路径。
在一种实现方式中,若至少一条路径中,存在与第一位置的间距差值小于第一阈值且相交的至少两条路径,确定第一位置为拐弯类位置。
在另一种实现方式中,若第一位置位于地图中的特定坐标区域内,确定第一位置为拐弯类位置。其中,特定坐标区域可以是包含至少两条相交的路径的坐标区域。
基于此,参考路径,可判断目标对象是否正在进行拐弯行为,也即判断第一位置是否为拐弯类位置。当然,本实施例中,还可采用其它实现方式判断第一位置是否为拐弯类位置,本实施例并不限于此。
图4为本申请一示例性实施例提供的一种目标对象拐弯时的目标路径确定方案的逻辑示意图。参考图4,第一位置P为拐弯类位置,其对应的待选路径为a和b,a和b相交。当然,本实施例中,待选路径的数量不局限于图4中的2条。
本实施例中,若第一位置为拐弯类位置,则可从至少一条路径中选择交点与第一位置相邻的至少两条相交的路径,作为待选路径;计算第一位置到至少两条待选路径之间的距离;从至少两条待选路径中,选择与第一位置的距离最近的待选路径,作为目标路径。
其中,相邻是指第一位置与交点之间不存在其它路径或交点。
本实施例中,通过为第一位置选取待选路径,只需计算第一位置与待选路径之间的距离即可。这可有效节省计算量。
考虑到视频采集设备对目标对象的拐弯行为的感知精度比较低,本实施例中,提供了一种特殊的处理方案,以更加精准地确定拐弯类位置与其对应的待选路径之间的距离。
本实施例中,可确定至少两条待选路径对应的距离调整系数;在地图中,计算第一位置与至少两条待选路径的间距;根据至少两条待选路径对应的距离调整系数和间距,确定第一位置与至少两条待选路径之间的距离。
其中,第一位置与至少两条待选路径的间距是指第一位置与待选路径之间的投影线段的长度。
其中,距离调整系数用于平衡至少两条待选路径对应的形变程度。本实施例中可在地图中预置距离调整系数。
本实施例中,可判断第一位置是否为拐弯类位置,并在确定第一位置为拐弯类位置的情况下,进行特殊处理。
在一种实现方式中,可获取至少两条待选路径形成的拐弯对应的弯度参数;获取拐弯对应的视频采集设备的视角参数;根据弯度参数和视角参数,确定至少两条待选路径对应的距离调整系数。
在该实现方式下,可以弯度参数和视角参数作为影响因素,以平衡至少两条待选路径对应的形变程度为目标,确定至少两条待选路径对应的距离调整系数。
实际应用中,可采用机器学习等方式,确定至少两条待选路径对应的距离调整系数。例如,单个训练样本中可包含视角参数、弯度参数、实际距离、地图中的间距等输入因子,通过对机器学习模型进行训练,可使机器学习模型学习到平衡拐弯处的多条路径直接的形变程度的知识,进而可使用机器学习模型确定至少两条待选路径对应的距离调整系数。
当然,本实施例中还可采用其它实现方式确定至少两条待选路径直接的距离调整系数,例如,可采用固定的经验值等等,本实施例并不限于此。
另外,本实施例中,可利用上述确定距离调整系数的方案,预先对地图中包含的各拐弯进行处理,也即,在地图中预先确定各拐弯对应的至少两条待选路径的距离调整系数。
实际应用中,距离调整系数可以是一个数组或矩阵,其包含至少两条待选路径各自对应的系数值。当然,至少两条待选路径各自对应的系数值不一定都是非1的,本实施例对至少两个待选路径之间的系数值分配不作限定,至少两个待选路径之间的系数值分配结果能够实现形变程度的平衡即可。
参考图4,第一位置P与待选路径a的间距为d1,第一位置P与待选路径b的间距为d2。待选路径a和b形成的拐弯对应的距离调整系数为【k1,k2】,据此,可确定第一位置P与待选路径a的距离D1为:k1*d1,第一位置P与待选路径b的距离D2为:k2*d2。
在此基础上,可比较D1和D2,若D1<D2,则将待选路径a确定为第一位置P对应的目标待选路径。参考图4,可确定待选路径a上的位置P’为目标对象的第二位置,并按照P’进行移动轨迹的增量渲染。
而若第一位置为非拐弯类位置,则可将第一位置与路径的间距作为双方之间的距离。
另外,为了节省计算量,可设定一区域范围,可仅计算位于第一位置对应的区域范围内的路径与第一位置的距离,从而确定出与第一位置的距离最近的目标路径。例如,可将区域范围设定为方圆200米,当然,这仅是示例性的。而在区域范围设定合理的情况下,位于第一位置对应的区域范围内的路径通常为一条,这种情况下,可无需进行距离比较,直接将位于区域范围内的路径确定为目标路径。据此,针对不同应用场景,可根据路径之间的间距,灵活设定区域范围。
这种情况下,参考图3,可在地图中,将第一位置与路径之间的投影线段的长度d,作为第一位置与路径之间的距离D。
在此基础上,也可从至少一条待选路径中,选择与第一位置之间的距离D最近的待选路径作为目标待选路径。
当然,本实施例中,确定目标待选路径的实现方式并不限于此,例如,预设条件可不局限于与第一位置的距离最近,而设定为与第一位置的距离小于一预设阈值,并从满足该要求的至少一条路径中,随机选取一条作为目标待选路径。而这也仅是示例性的。
据此,本实施例中,通过对拐弯处进行特殊处理,以及对非拐弯处进行精准处理,可从至少一条待选路径中,选出与第一位置最适配的目标待选路径,从而可提高目标对象的定位精度,进而提高移动轨迹的准确度,并可提高移动轨迹的平滑度和稳定性。
在上述或下述实施例中,若定位数据中包含视频数据,则可获取目标对象对应的视频数据;基于视频数据,对目标对象进行目标追踪,以确定目标对象在视频画面中的画面位置;根据视频坐标系与地图坐标系之间的映射关系,将目标对象的画面位置映射至地图中,以确定目标对象在地图中所处的第一位置。
其中,目标追踪是指在连续的视频帧中定位某一对象。前文中,已详述了可通过预处理等操作而获得目标对象对应的视频数据的过程,在此不再赘述。
通过目标追踪技术,可确定出目标对象在视频画面中的画面位置。通常,视频画面拥有自身的坐标系,也即视频坐标系,而地图也拥有自身的坐标系,也即地图坐标系。
本实施例中,也预先构建视频坐标系与地图坐标系之间的映射关系。该构建过程可参考现有的摄像头标定等技术手段,在此不再详述。
在此基础上,可将目标对象的画面位置映射至地图中,从而确定出目标对象在地图中的第一位置。
进一步,本实施例中,视频采集设备对目标对象的视野具有局限性,正如前文提及的,视频采集设备对目标对象进行拍摄的过程中可能出现遮挡、机器故障等突发状况或者视频采集设备对应用场景的覆盖不够完全,而导致目标对象在目标时刻的视频数据缺失。
这种情况下,在目标时刻,将无法根据视频数据确定出目标对象在地图中的第一位置。
对此,本实施例中,可获取目标对象在目标时刻的移动参数;根据移动参数,推算目标对象在目标时刻的画面位置。
其中,移动参数包括但不限于当前速度、当前加速度、历史速度、历史加速度、历史位置等等。移动参数的来源可以是目标对象自身的定位系统,例如GPS等。
本实施例中,可根据移动参数,采用航位推算(dead reckoning)等算法方案,推算目标对象在目标时刻的画面位置,本实施例对采用的算法方案类型不作限定。
以航位推算算法为例,其算法方案如下:
Pt1=Pt0静止情况
Pt1=Pt0+v(t1-t0)恒定速度v行驶,
Pt1=Pt0+v(t1-t0)0+(1/2)a(t1-t0)2静止以加速度a移动
上式中,Pt1、Pt0分别为t1时刻与t0时刻目标对象的第一位置。v为目标对象的行驶速度,a为加速度。其中加速度数据可通过目标对象的陀螺仪等传感器获得。
据此,本实施例中,可在视频数据缺失的情况下,根据目标对象的移动参数,推算目标对象在地图中的第一位置,从而改善视频数据缺失的问题,保证移动轨迹的连续性。
在上述或下述实施例中,若第一位置与目标路径之间的距离大于第二阈值,生成告警信息;输出告警信息,以提示目标对象偏离路径。
其中,关于距离的计算方案可参考前述实施例中的相关描述,在此不再赘述。
本实施例中,若第一位置与目标路径之间的距离大于第二阈值,则可确定目标对象已偏离路径,并生成告警信息。通过输出告警信息,可及时提示目标对象已偏离路径。
例如,在机场场景中,若飞机与目标滑行道的距离超过100米,则可发出告警信息,以提示飞机偏离滑行道。
据此,本实施例中,可基于第一位置与目标路径之间的距离,及时发现目标对象的异常移动行为,从而为目标对象的精细化管理提供基础。
图5为本申请一示例性实施例提供的一种应用场景的示意图。
参考图5,以下将以飞机作为目标对象,并结合机场场景,对本申请的技术方案进行示例性说明。
在机场的停机楼处可布设多个摄像头,多个摄像头用于拍摄机场滑行道/跑道处的飞机行为,也即拍摄飞机滑行的视频内容。另外,每个摄像头的拍摄区域可固定。
其中,滑行道是机场的重要地面设施,是机场内供飞机滑行的规定通道。滑行道的主要功能是提供从跑道到停机楼区的通道,使已着陆的飞机迅速离开跑道,不与起飞滑跑的飞机相干扰,并尽量避免延误随即到来的飞机着陆。跑道是机场上长条形的区域,用来供飞机起飞或着陆。
基于此,可首先创建机场地图,并在机场地图中确定各滑行道/跑道的位置。另外,还可根据摄像头的视角参数以及机场中各滑行道所形成的拐弯处的弯度参数,分别为各拐弯配置距离调整参数。其中,同一拐弯在不同摄像头提供的视频数据下,对应的距离调整参数可能不完全相同。
在确定有飞机进港的情况下,可接入该飞机对应的视频流,并根据该视频流,对飞机进行目标追踪,以确定飞机在地图中的第一位置。从飞机的整个进港过程来看,该视频流可以由多个摄像头提供的包含该飞机的视频帧按照时间戳拼接而成。
据此,可按照自然时间,在每个移动时刻确定飞机在地图中的第一位置。
之后,可进行数据清洗,将飞机进港过程中出现的异常第一位置清洗掉,例如,若当前移动时刻下的第一位置与其它移动时刻下的第一位置距离过远,则可将当前移动时刻下的第一位置摒弃。
这种情况下可能导致当前移动时刻下的第一位置缺失,另外,还可能因为视频数据缺失或其它原因,导致当前移动时刻下无法确定飞机的第一位置。
为此,可判断当前移动时刻是否需要进行位置推算。若出现上述的无法确定出第一位置的情形,可确定当前移动时刻需要进行位置推算。
在需要进行位置推算的情况下,可获取飞机在当前时刻的移动参数,并根据移动参数,采用dead reckoning等算法方案推算飞机在当前移动时刻的第一位置。
至此,可确定出飞机在机场地图中的第一位置。
此后,可判断飞机的第一位置是否为拐弯类位置,若是,则可进行拐弯处理,也即利用前述的距离调整系数和第一位置与其对应的待选滑行道/跑道的间距,确定出第一位置与待选滑行道/跑道之间的距离,并从待选滑行道/跑道中选择距离第一位置最近的一条,作为目标路径。
若第一位置不是拐弯类位置,则可从地图中的至少一条滑行道/跑道中选出距离第一位置最近的一条作为目标路径。
在确定出目标路径后,可将飞机的第一位置投影至目标路径上,并将目标路径上的投影位置,作为飞机的第二位置。
另外,若在飞机的进港过程中,发现飞机的第一位置与目标路径之间的距离超出了预设阈值,则可发出告警,以及时提示飞机偏离滑行道/跑道。
最后,可根据飞机的第二位置,进行移动轨迹的增量渲染,从而生成飞机的移动轨迹。
飞机的移动轨迹可应用于机场的精细化管理过程中,例如,可追溯每日进入港的飞机;在发现滑行道/跑道上出现掉落物品时,可准确确定当事飞机,从而及时发现飞机故障或飞行事故等;还可根据移动轨迹进行飞机的进出港路线规划等等。
需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。
另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如100、101等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
图6为本申请另一示例性实施例提供的一种计算设备的结构示意图。如图6所示,该计算设备包括存储器60和处理器61;
存储器60用于存储一条或多条计算机指令;
处理器61与存储器61耦合,用于执行一条或多条计算机指令,以用于:
根据目标对象对应的定位数据,确定目标对象在地图中所处的第一位置;
将第一位置投影至地图中的目标路径上,以在目标路径上确定与第一位置对应的第二位置;
基于第二位置,在地图中渲染目标对象的移动轨迹。
在一可选实施例中,处理器61在将第一位置投影至地图中的目标路径上,以在目标路径上确定与第一位置对应的第二位置时,用于:
在地图中,将第一位置正投影至目标路径上;
将第一位置在目标路径上的投影位置,作为第二位置。
在一可选实施例中,处理器61还用于:
从地图中预置的至少一条路径中,选择与第一位置的距离满足预设条件的路径,作为目标路径。
在一可选实施例中,处理器61在从地图中预置的至少一条路径中,选择与第一位置的距离满足预设条件的路径,作为目标路径时,用于:
若第一位置为拐弯类位置,从至少一条路径中选择交点与第一位置相邻的至少两条相交的路径,作为待选路径;
计算第一位置到至少两条待选路径之间的距离;
从至少两条待选路径中,选择与第一位置的距离最近的待选路径,作为目标路径。
在一可选实施例中,处理器61在计算第一位置到至少两条待选路径之间的距离时,用于:
确定至少两条待选路径对应的距离调整系数;
在地图中,计算第一位置与至少两条待选路径的间距;
根据至少两条待选路径对应的距离调整系数和间距,确定第一位置与至少两条待选路径之间的距离。
在一可选实施例中,处理器61在确定至少两条待选路径对应的距离调整系数时,用于:
获取至少两条待选路径形成的拐弯对应的弯度参数;
获取拐弯对应的视频采集设备的视角参数;
根据弯度参数和视角参数,确定至少两条待选路径对应的距离调整系数。
在一可选实施例中,处理器61还用于:
若至少一条路径中,存在与第一位置的间距差值小于第一阈值且相交的至少两条路径,确定第一位置为拐弯类位置。
在一可选实施例中,处理器61还用于:
若第一位置位于地图中的特定坐标区域内,确定第一位置为拐弯类位置;其中,特定坐标区域中包含至少两条相交的路径。
在一可选实施例中,定位数据包括视频数据、雷达数据或卫星数据中的一种或多种。
在一可选实施例中,在定位数据包括视频数据的情况下,处理器61在根据目标对象对应的视频数据,确定目标对象在地图中所处的第一位置时,用于:
获取目标对象对应的视频数据;
基于视频数据,对目标对象进行目标追踪,以确定目标对象在视频画面中的画面位置;
根据视频坐标系与地图坐标系之间的映射关系,将目标对象的画面位置映射至地图中,以确定目标对象在地图中所处的第一位置。
在一可选实施例中,处理器61在根据目标对象对应的视频数据,对目标对象进行目标追踪,以确定目标对象在视频画面中的画面位置时,用于:
若目标对象在目标时刻的视频数据缺失,获取目标对象在目标时刻的移动参数;
根据移动参数,推算目标对象在目标时刻的画面位置。
在一可选实施例中,处理器61还用于:
若第一位置与目标路径之间的距离大于第二阈值,生成告警信息;
输出告警信息,以提示目标对象偏离路径。
在一可选实施例中,目标对象包括飞机、汽车、船舶、自行车或行人。
在一可选实施例中,若目标对象包括飞机,则目标对象对应的视频数据中包含飞机滑行的视频内容。
值得说明的是,上述关于计算设备的各实施例中的技术细节,可参考前述的移动轨迹渲染方法相关实施例中的描述,为节省篇幅,在此不再赘述,但这不应造成对本申请保护范围的损失。
进一步,如图6所示,该计算设备还包括:通信组件62,、电源组件63等其它组件。图6中仅示意性给出部分组件,并不意味着计算设备只包括图6所示组件。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被执行时能够实现上述方法实施例中可由计算设备执行的各步骤。
其中,图6中的存储器,用于存储计算机程序,并可被配置为存储其它各种数据以支持在计算平台上的操作。这些数据的示例包括用于在计算平台上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
其中,图6中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络,如WiFi,2G、3G、4G/LTE、5G等移动通信网络,或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
其中,图6中的电源组件,为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源,及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (18)
1.一种移动轨迹渲染方法,其特征在于,包括:
根据目标对象对应的定位数据,确定所述目标对象在地图中所处的第一位置;
若所述第一位置为拐弯类位置,从所述地图中预置的至少一条路径中选择交点与所述第一位置相邻的至少两条相交的路径,作为待选路径;
根据所述待选路径形成的拐弯对应的弯度系数和拐弯对应的视频采集设备的视角参数,确定所述至少两条待选路径对应的距离调整系数,所述距离调整系数用于平衡至少两条待选路径对应的形变程度且为预先确定的;
将所述至少两条待选路径对应的距离调整系数和所述第一位置与所述至少两条待选路径的间距之间的乘积,作为所述第一位置与所述至少两条待选路径之间的距离;
从所述至少两条待选路径中,选择与所述第一位置的距离最近的待选路径,作为目标路径;
将所述第一位置投影至所述目标路径上,以在所述目标路径上确定与所述第一位置对应的第二位置;
基于所述第二位置,在所述地图中渲染所述目标对象的移动轨迹。
2.根据权利要求1所述的方法,其特征在于,所述将所述第一位置投影至所述地图中的目标路径上,以在所述目标路径上确定与所述第一位置对应的第二位置,包括:
在所述地图中,将所述第一位置正投影至所述目标路径上;
将所述第一位置在所述目标路径上的投影位置,作为所述第二位置。
3.根据权利要求1所述的方法,其特征在于,还包括:
若所述至少一条路径中,存在与所述第一位置的间距差值小于第一阈值且相交的至少两条路径,确定所述第一位置为拐弯类位置。
4.根据权利要求1所述的方法,其特征在于,还包括:
若所述第一位置位于所述地图中的特定坐标区域内,确定所述第一位置为拐弯类位置;其中,所述特定坐标区域中包含至少两条相交的路径。
5.根据权利要求1所述的方法,其特征在于,所述定位数据包括视频数据、雷达数据或卫星数据中的一种或多种。
6.根据权利要求5所述的方法,其特征在于,在所述定位数据包括视频数据的情况下,所述根据目标对象对应的定位数据,确定所述目标对象在地图中所处的第一位置,包括:
获取所述目标对象对应的视频数据;
基于所述视频数据,对所述目标对象进行目标追踪,以确定所述目标对象在视频画面中的画面位置;
根据视频坐标系与地图坐标系之间的映射关系,将所述目标对象的画面位置映射至所述地图中,以确定所述目标对象在所述地图中所处的所述第一位置。
7.根据权利要求6所述的方法,其特征在于,所述根据所述目标对象对应的视频数据,对所述目标对象进行目标追踪,以确定所述目标对象在视频画面中的画面位置,包括:
若所述目标对象在目标时刻的视频数据缺失,获取所述目标对象在所述目标时刻的移动参数;
根据所述移动参数,推算所述目标对象在所述目标时刻的画面位置。
8.根据权利要求1所述的方法,其特征在于,还包括:
若所述第一位置与所述目标路径之间的距离大于第二阈值,生成告警信息;
输出所述告警信息,以提示所述目标对象偏离路径。
9.根据权利要求1所述的方法,其特征在于,所述目标对象包括飞机、汽车、船舶、自行车或行人。
10.一种计算设备,其特征在于,用于存储器和处理器;
所述存储器用于存储一条或多条计算机指令;
所述处理器与所述存储器耦合,用于执行所述一条或多条计算机指令,以用于:
根据目标对象对应的定位数据,确定所述目标对象在地图中所处的第一位置;
若所述第一位置为拐弯类位置,从所述地图中预置的至少一条路径中选择交点与所述第一位置相邻的至少两条相交的路径,作为待选路径;
根据所述待选路径形成的拐弯对应的弯度系数和拐弯对应的视频采集设备的视角参数,确定所述至少两条待选路径对应的距离调整系数,所述距离调整系数用于平衡至少两条待选路径对应的形变程度且为预先确定的;
将所述至少两条待选路径对应的距离调整系数和所述第一位置与所述至少两条待选路径的间距之间的乘积,作为所述第一位置与所述至少两条待选路径之间的距离;
从所述至少两条待选路径中,选择与所述第一位置的距离最近的待选路径,作为目标路径;
将所述第一位置投影至所述目标路径上,以在所述目标路径上确定与所述第一位置对应的第二位置;
基于所述第二位置,在所述地图中渲染所述目标对象的移动轨迹。
11.根据权利要求10所述的设备,其特征在于,所述处理器在将所述第一位置投影至所述地图中的目标路径上,以在所述目标路径上确定与所述第一位置对应的第二位置时,用于:
在所述地图中,将所述第一位置正投影至所述目标路径上;
将所述第一位置在所述目标路径上的投影位置,作为所述第二位置。
12.根据权利要求10所述的设备,其特征在于,所述处理器还用于:
若所述至少一条路径中,存在与所述第一位置的间距差值小于第一阈值且相交的至少两条路径,确定所述第一位置为拐弯类位置。
13.根据权利要求10所述的设备,其特征在于,所述处理器还用于:
若所述第一位置位于所述地图中的特定坐标区域内,确定所述第一位置为拐弯类位置;其中,所述特定坐标区域中包含至少两条相交的路径。
14.根据权利要求10所述的设备,其特征在于,所述定位数据包括视频数据、雷达数据或卫星数据中的一种或多种。
15.根据权利要求14所述的设备,其特征在于,在所述定位数据包括视频数据的情况下,所述处理器在根据目标对象对应的定位数据,确定所述目标对象在地图中所处的第一位置时,用于:
获取所述目标对象对应的视频数据;
基于所述视频数据,对所述目标对象进行目标追踪,以确定所述目标对象在视频画面中的画面位置;
根据视频坐标系与地图坐标系之间的映射关系,将所述目标对象的画面位置映射至所述地图中,以确定所述目标对象在所述地图中所处的所述第一位置。
16.根据权利要求15所述的设备,其特征在于,所述处理器在根据所述目标对象对应的视频数据,对所述目标对象进行目标追踪,以确定所述目标对象在视频画面中的画面位置时,用于:
若所述目标对象在目标时刻的视频数据缺失,获取所述目标对象在所述目标时刻的移动参数;
根据所述移动参数,推算所述目标对象在所述目标时刻的画面位置。
17.根据权利要求10所述的设备,其特征在于,所述处理器还用于:
若所述第一位置与所述目标路径之间的距离大于第二阈值,生成告警信息;
输出所述告警信息,以提示所述目标对象偏离路径。
18.一种存储计算机指令的计算机可读存储介质,其特征在于,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器执行权利要求1-9任一项所述的移动轨迹渲染方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010286792.9A CN113535863B (zh) | 2020-04-13 | 2020-04-13 | 一种移动轨迹渲染方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010286792.9A CN113535863B (zh) | 2020-04-13 | 2020-04-13 | 一种移动轨迹渲染方法、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113535863A CN113535863A (zh) | 2021-10-22 |
CN113535863B true CN113535863B (zh) | 2022-06-14 |
Family
ID=78119900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010286792.9A Active CN113535863B (zh) | 2020-04-13 | 2020-04-13 | 一种移动轨迹渲染方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113535863B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115082588A (zh) * | 2022-05-31 | 2022-09-20 | 北京小马易行科技有限公司 | 行驶轨迹渲染方法、装置、设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101809409B (zh) * | 2007-09-10 | 2012-06-13 | 三菱电机株式会社 | 导航装置 |
CN107867291A (zh) * | 2016-09-23 | 2018-04-03 | 株式会社斯巴鲁 | 车辆的行驶控制装置 |
CN110414705A (zh) * | 2018-04-27 | 2019-11-05 | 北京搜狗科技发展有限公司 | 一种路径推荐方法及装置 |
CN110888125A (zh) * | 2019-12-05 | 2020-03-17 | 奥特酷智能科技(南京)有限公司 | 一种基于毫米波雷达的自动驾驶车辆定位方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102879003B (zh) * | 2012-09-07 | 2015-02-25 | 重庆大学 | 基于gps终端的面向车辆位置跟踪的地图匹配方法 |
CN103903433B (zh) * | 2012-12-27 | 2016-09-14 | 南京中兴新软件有限责任公司 | 一种道路交通状态的实时动态判别方法及装置 |
JP6376059B2 (ja) * | 2015-07-06 | 2018-08-22 | トヨタ自動車株式会社 | 自動運転車両の制御装置 |
CN110060493B (zh) * | 2019-05-16 | 2020-11-03 | 维智汽车电子(天津)有限公司 | 车道定位方法、装置及电子设备 |
-
2020
- 2020-04-13 CN CN202010286792.9A patent/CN113535863B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101809409B (zh) * | 2007-09-10 | 2012-06-13 | 三菱电机株式会社 | 导航装置 |
CN107867291A (zh) * | 2016-09-23 | 2018-04-03 | 株式会社斯巴鲁 | 车辆的行驶控制装置 |
CN110414705A (zh) * | 2018-04-27 | 2019-11-05 | 北京搜狗科技发展有限公司 | 一种路径推荐方法及装置 |
CN110888125A (zh) * | 2019-12-05 | 2020-03-17 | 奥特酷智能科技(南京)有限公司 | 一种基于毫米波雷达的自动驾驶车辆定位方法 |
Non-Patent Citations (3)
Title |
---|
一种地图匹配算法的设计与实现;李殿茜等;《导航定位与授时》;20170412;第4卷(第02期);31-34 * |
基于道路几何特征的地图匹配方法研究;刘峰等;《导航定位与授时》;20200125;第7卷(第01期);67-72 * |
改进的地图匹配算法在车载导航系统中的应用;赵瑞瑞等;《信息工程大学学报》;20080315(第01期);115-117 * |
Also Published As
Publication number | Publication date |
---|---|
CN113535863A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11693409B2 (en) | Systems and methods for a scenario tagger for autonomous vehicles | |
CN105761500B (zh) | 交通事故处理方法及交通事故处理装置 | |
US11959771B2 (en) | Creation and use of enhanced maps | |
EP3759562B1 (en) | Camera based localization for autonomous vehicles | |
US10552689B2 (en) | Automatic occlusion detection in road network data | |
RU2654502C2 (ru) | Система и способ дистанционного наблюдения за транспортными средствами | |
CN109084786B (zh) | 一种地图数据的处理方法 | |
EP3357049B1 (en) | Transmission of targeted roadway alerts | |
US11248925B2 (en) | Augmented road line detection and display system | |
US11151394B2 (en) | Identifying dynamic objects in a point cloud | |
DE112020004133T5 (de) | Systeme und verfahren zur identifizierung möglicher kommunikationshindernisse | |
US11315428B2 (en) | Management of mobile objects | |
US20160341554A1 (en) | Method and System for Producing a Vector Map | |
US9865163B2 (en) | Management of mobile objects | |
US10157545B1 (en) | Flight navigation using lenticular array | |
CN113204245A (zh) | 基于无人机的航标巡查方法、系统、设备及存储介质 | |
US11499833B2 (en) | Inferring lane boundaries via high speed vehicle telemetry | |
CN113286081B (zh) | 机场全景视频的目标识别方法、装置、设备及介质 | |
CN114322799B (zh) | 一种车辆行驶方法、装置、电子设备和存储介质 | |
US20230121226A1 (en) | Determining weights of points of a point cloud based on geometric features | |
CN110197097A (zh) | 一种港区监控方法及系统、中控系统 | |
CN115294544A (zh) | 驾驶场景分类方法、装置、设备及存储介质 | |
CN113535863B (zh) | 一种移动轨迹渲染方法、设备及存储介质 | |
US20240290199A1 (en) | Traffic monitoring method based on aerial survey data | |
CN111427331B (zh) | 无人驾驶车辆的感知信息展示方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |