CN107608815B - 用于机载显示系统的多通道显示处理及完整性循环监控装置和方法 - Google Patents
用于机载显示系统的多通道显示处理及完整性循环监控装置和方法 Download PDFInfo
- Publication number
- CN107608815B CN107608815B CN201710842669.9A CN201710842669A CN107608815B CN 107608815 B CN107608815 B CN 107608815B CN 201710842669 A CN201710842669 A CN 201710842669A CN 107608815 B CN107608815 B CN 107608815B
- Authority
- CN
- China
- Prior art keywords
- channel
- cpu
- symbol
- monitoring
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明涉及一种用于机载显示系统的多通道显示处理及循环监控装置和方法。本发明通过增加独立监控通道的方式,对显示处理通道中涉及的数据接口处理环节、图形指令计算环节、图形渲染环节、图形叠加环节等进行完整性监控,确保视频画面的正确性,实现完整的监控回路。同时,本发明涉及的每条通道既具有关键显示处理功能,又具有完整性监控功能,每条硬件链路自己的显示处理功能受其他链路的监控又对另外一条硬件链路的显示处理功能进行完整性监控,能够实现各个链路相互独立,循环监控,这样在不增加硬件成本的前提下通过架构设计来提高系统的完整性及可用性。
Description
技术领域
本发明涉及机载显示领域,特别涉及一种用于机载显示系统的多通道显示处理及完整性循环监控装置和方法。
背景技术
机载显示系统,如下视显示器(Head-down Display,HDD)、平视显示器(Head-upDisplay,HUD)、头戴式显示器(Head-worn Display,HWD)等,是飞机航电系统中的一类重要设备。机载显示系统一般工作过程是:
(1)I/O硬件单元接收并处理来自机载通信系统,如ARINC 664网络,传输的航电传感器数据;
(2)计算处理单元CPU对接收到的航电传感器数据进行解算并生成飞行符号OpenGL指令及指引信息;
(3)图形处理单元GPU根据接收到OpenGL指令生成符号画面,并发送至FPGA与接收到的增强视景信息或合成视景信息进行叠加;
(4)最终生成组合视景画面再通过视频转换、畸变校正等环节,显示在液晶屏或组合仪上,向飞行员呈献当前的飞行参数、飞机工作状态、环境态势信息等。
通过这样一种方式,机载显示系统使飞行员在飞行过程中既能监视飞机当前的飞行参数及工作状态,又能感知飞机周围的环境态势,能够显著提高飞行员飞行品质、增强飞机安全运行能力。
机载显示系统是飞行员在飞行过程中进行人机交互、获取信息的重要方式,显示内容的正确性及时效性会直接影响飞行员的飞行操纵及态势判断,一旦出现画面错误、画面误导、画面冻结、画面滞后等故障,飞行安全将存在严重风险甚至产生灾难性后果,所以机载显示系统的安全等级需求高,功能失效率要求一般达到10-9的量级,在架构设计过程中必须考虑完整性监控环节。
发明内容
本发明的目的是:提供一种高安全性、高可靠性、高集成度的航电显示系统架构方案,通过多通道显示及循环监控的方式实现多路显示处理及完整性监控,保证视频画面的正确性及可靠性,提高显示设备的安全等级及硬件集成度。
本发明的基本原理是:
通过增加监控通道的方式,对显示处理通道中涉及的数据接口处理环节、图形指令计算环节、图形渲染环节、图形叠加环节等进行完整性监控,确保视频画面的正确性,实现完整的监控回路,这样在不增加硬件成本的前提下通过架构设计来提高系统的完整性及可用性。
本发明涉及的每条硬件链路既具有关键显示处理功能,又具有完整性监控功能,每条硬件链路自己的显示处理功能受其他链路的监控又对另外一条硬件链路的显示处理功能进行完整性监控,能够实现各个链路相互独立,循环监控,有利于减小显示设备的体积、重量、功耗、费用。
本发明涉及的装置及方法既适用于独立计算机的显示系统架构,又能集成为一个驻留在IMA平台的显示处理模块,符合航电系统高集成、低功耗、资源利用率高的发展特点。
基于上述原理,本发明的技术方案为:
所述一种用于机载显示系统的多通道显示处理及完整性循环监控装置,包括若干独立通道,每个通道包括以下单元:接口单元IOU,计算处理单元CPU,图形处理单元GPU和视频采集及叠加单元FPGA;
其特征在于:每个通道的计算处理单元CPU中均驻留有显示应用模块和监控应用模块;每个通道既具有关键显示处理功能,又具有完整性监控功能;某一通道的关键显示应用受另一通道的完整性监控应用监控。
所述一种利用上述装置进行机载显示系统的多通道显示处理及完整性循环监控的方法,其特征在于:某一通道的关键显示应用受另一通道的完整性监控应用监控;定义A通道进行关键显示应用处理,B通道对A通道的关键显示应用处理进行完整性监控,过程包括以下步骤:
步骤1:A通道IOU对航电传感器数据接收处理后输出航电数据,航电数据进入A通道CPU和B通道CPU;B通道IOU对航电传感器数据接收处理后也输出航电数据进入B通道CPU;B通道CPU中的监控应用模块对从A通道IOU输入的航电数据和从B通道IOU输入的航电数据进行比对,实现数据接口处理环节监控;其中从A通道IOU传输至A通道CPU和B通道CPU的航电数据按一定频率发送,对数据包按周期标号,同周期发送的数据包标号相同;
步骤2:在A通道CPU中,显示应用模块对A通道IOU输入的航电数据进行解算,生成符号或图形显示命令及数据,并在非功能图像通道中添加符号特征信息用于监控标定;同时,在B通道CPU中,监控应用模块对A通道IOU输入的航电数据进行解算,生成符号信息存储在B通道CPU中;
步骤3:A通道CPU生成的符号或图形显示命令及数据发送给A通道GPU,A通道GPU根据接收的符号或图形显示命令及数据,以及步骤2中在非功能图像通道中添加的符号特征信息生成经过特征标定的符号画面,并发送至A通道FPGA;
步骤4:A通道FPGA的视频采集处理模块接收外部EVS发送的视频信号,并在EVS视频信号的非功能通道中添加既定特征信息用于监控标定,输出特征标定的EVS视频信号;A通道FPGA的视频叠加模块将接收的经过特征标定的符号画面与经过特征标定的EVS视频信号进行叠加处理,输出叠加后视频信号至A通道FPGA的畸变校正模块,经畸变校正处理后发送至A通道FPGA的特征信息提取模块,提取特征信息后的视频信号发送至外部HDD或HUD用于显示,而从非功能通道提取的特征标定信息则发送至B通道CPU用于监控;
步骤5:在B通道CPU中,对从A通道FPGA输入的特征标定信息中的符号监控标定信息与B通道CPU在步骤2解算存储的符号信息进行对比:
首先对比所述符号监控标定信息与所述符号信息是否为同一标号的航电数据包生成,若标号相同则正常,并进行下一对比,若连续N帧航电数据包标号不一致则上报故障信息至A通道CPU或对A通道复位;
其次对比所述符号监控标定信息中的关键符号特征信息与所述符号信息中的关键符号特征信息是否一致,若一致则正常,并入步骤6,若连续N帧关键符号特征信息不一致则上报故障信息至A通道CPU或对A通道复位;
步骤6:在B通道CPU中,对从A通道FPGA输入的特征标定信息中的EVS视频特征信息与既定特征信息进行比较,若特征信息一致则正常,若连续N帧EVS视频特征信息与既定特征信息不一致则上报故障信息至A通道CPU或对A通道复位。
有益效果
本发明的优点是:本发明涉及的每条硬件链路既具有关键显示处理功能,又具有完整性监控功能,每条硬件链路自己的显示处理功能受其他链路的监控又对另外一条硬件链路的显示处理功能进行完整性监控,能够实现各个链路相互独立,循环监控,有利于减小显示设备的体积、重量、功耗、费用。本发明涉及的装置及方法既适用于独立计算机的显示系统架构,又能集成为一个驻留在IMA平台的显示处理模块,符合航电系统高集成、低功耗、资源利用率高的发展特点。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是一种多通道显示处理及循环监控装置的最小系统示意图;
图2是A通道视频采集及叠加单元FPGA工作原理示意图;
图3是符号特征信息示意图;
图4是EVS视频特征信息示意图;
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
本发明为了保证视频画面的正确性及可靠性,提高显示设备的安全等级及硬件集成度,提供了一种高安全性、高可靠性、高集成度的航电显示系统架构方案,通过多通道显示及循环监控的方式实现多路显示处理及完整性监控。
具体指,通过增加监控通道的方式,对显示处理通道中涉及的数据接口处理环节、图形指令计算环节、图形渲染环节、图形叠加环节等进行完整性监控,确保视频画面的正确性,实现完整的监控回路,这样在不增加硬件成本的前提下通过架构设计来提高系统的完整性及可用性。
本发明涉及的每条硬件链路既具有关键显示处理功能,又具有完整性监控功能,每条硬件链路自己的显示处理功能受其他链路的监控又对另外一条硬件链路的显示处理功能进行完整性监控,能够实现各个链路相互独立,循环监控,有利于减小显示设备的体积、重量、功耗、费用。
本发明涉及的装置及方法既适用于独立计算机的显示系统架构,又能集成为一个驻留在IMA平台的显示处理模块,符合航电系统高集成、低功耗、资源利用率高的发展特点。
为了更清晰地表述技术方案,本实施例中给出本发明的最小系统框图,如图1所示,具体说明如下:
最小系统至少包含2个独立通道,A通道和B通道;每个通道包括以下单元:接口单元IOU,计算处理单元CPU,图形处理单元GPU和视频采集及叠加单元FPGA。每个通道的计算处理单元CPU中均驻留有显示应用模块和监控应用模块;每个通道既具有关键显示处理功能,又具有完整性监控功能;某一通道的关键显示应用受另一通道的完整性监控应用监控,本实施例中A通道的关键显示应用受B通道的完整性监控应用监控,同样的,当具有更多通道时,A通道的完整性监控应用可监控其他通道的关键显示处理应用,B通道的关键显示应用受其他通道的完整性监控应用监控;通过这样一种装置及方法,可以实现多通道显示及通道之间循环独立监控。
以A通道关键显示处理功能受B通道完整性监控应用监控为例,具体工作过程如下:
步骤1:A通道IOU对航电传感器数据1接收处理后输出航电数据2,航电数据2进入A通道CPU和B通道CPU;B通道IOU对航电传感器数据21接收处理后也输出航电数据22进入B通道CPU;B通道CPU中的监控应用模块对从A通道IOU输入的航电数据2和从B通道IOU输入的航电数据22进行比对,实现数据接口处理环节监控;其中从A通道IOU传输至A通道CPU和B通道CPU的航电数据2按一定频率发送,对数据包按周期标号,同周期发送的数据包标号相同。
步骤2:在A通道CPU中,显示应用模块对A通道IOU输入的航电数据2进行解算,生成符号或图形显示命令及数据4,此外由于符号画面一般为单色画面,所以在图像的另外两个非功能图像通道中添加符号特征信息用于监控标定;同时,在B通道CPU中,监控应用模块对A通道IOU输入的航电数据2进行解算,生成符号信息存储在B通道CPU中。
步骤3:A通道CPU生成的符号或图形显示命令及数据4发送给A通道GPU,A通道GPU根据接收的符号或图形显示命令及数据,以及步骤2中在非功能图像通道中添加的符号特征信息生成经过特征标定的符号画面5,并发送至A通道FPGA。
步骤4:A通道FPGA主要实现视频采集处理、视频叠加、畸变校正、特征提取等功能。如图2所示,首先A通道FPGA的视频采集处理模块接收外部EVS发送的视频信号7,并在EVS视频信号的非功能通道中添加既定特征信息用于监控标定,输出特征标定的EVS视频信号12;A通道FPGA的视频叠加模块将接收的经过特征标定的符号画面5与经过特征标定的EVS视频信号12进行叠加处理,输出叠加后视频信号13至A通道FPGA的畸变校正模块,经畸变校正处理后发送至A通道FPGA的特征信息提取模块,提取特征信息后的视频信号8发送至外部HDD或HUD用于显示,而从非功能通道提取的特征标定信息6则发送至B通道CPU用于监控。
步骤5:在B通道CPU中,对从A通道FPGA输入的特征标定信息6中的符号监控标定信息与B通道CPU在步骤2解算存储的符号信息进行对比:
首先对比所述符号监控标定信息与所述符号信息是否为同一标号的航电数据包生成,若标号相同则正常,并进行下一对比,若连续N帧航电数据包标号不一致则上报故障信息3至A通道CPU或对A通道复位;
其次对比所述符号监控标定信息中的关键符号特征信息与所述符号信息中的关键符号特征信息是否一致,若一致则正常,并入步骤6,若连续N帧关键符号特征信息不一致则上报故障信息3至A通道CPU或对A通道复位。
步骤6:在B通道CPU中,对从A通道FPGA输入的特征标定信息6中的EVS视频特征信息与既定特征信息进行比较,若特征信息一致则正常,若连续N帧EVS视频特征信息与既定特征信息不一致则上报故障信息3至A通道CPU或对A通道复位。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (1)
1.一种用于机载显示系统的多通道显示处理及数据完整性循环监控装置,包括若干独立通道,每个通道包括以下单元:接口单元IOU,计算处理单元CPU,图形处理单元GPU和视频采集及叠加单元FPGA;
其特征在于:每个通道的计算处理单元CPU中均驻留有显示应用模块和监控应用模块;每个通道既具有关键显示处理功能,又具有数据完整性监控功能;某一通道的关键显示应用受另一通道的数据完整性监控应用监控;
定义A通道进行关键显示应用处理,B通道对A通道的关键显示应用处理进行数据完整性监控,过程包括以下步骤:
步骤1:A通道IOU对航电传感器数据接收处理后输出航电数据,航电数据进入A通道CPU和B通道CPU;B通道IOU对航电传感器数据接收处理后也输出航电数据进入B通道CPU;B通道CPU中的监控应用模块对从A通道IOU输入的航电数据和从B通道IOU输入的航电数据进行比对,实现数据接口处理环节监控;其中从A通道IOU传输至A通道CPU和B通道CPU的航电数据按一定频率发送,对数据包按周期标号,同周期发送的数据包标号相同;
步骤2:在A通道CPU中,显示应用模块对A通道IOU输入的航电数据进行解算,生成符号或图形显示命令及数据,并在非功能图像通道中添加符号特征信息用于监控标定;同时,在B通道CPU中,监控应用模块对A通道IOU输入的航电数据进行解算,生成符号信息存储在B通道CPU中;
步骤3:A通道CPU生成的符号或图形显示命令及数据发送给A通道GPU,A通道GPU根据接收的符号或图形显示命令及数据,以及步骤2中在非功能图像通道中添加的符号特征信息生成经过特征标定的符号画面,并发送至A通道FPGA;
步骤4:A通道FPGA的视频采集处理模块接收外部EVS发送的视频信号,并在EVS视频信号的非功能通道中添加既定特征信息用于监控标定,输出特征标定的EVS视频信号;A通道FPGA的视频叠加模块将接收的经过特征标定的符号画面与经过特征标定的EVS视频信号进行叠加处理,输出叠加后视频信号至A通道FPGA的畸变校正模块,经畸变校正处理后发送至A通道FPGA的特征信息提取模块,提取特征信息后的视频信号发送至外部HDD或HUD用于显示,而从非功能通道提取的特征标定信息则发送至B通道CPU用于监控;所述EVS指增强视景系统;
步骤5:在B通道CPU中,对从A通道FPGA输入的特征标定信息中的符号监控标定信息与B通道CPU在步骤2解算存储的符号信息进行对比:
首先对比所述符号监控标定信息与所述符号信息是否为同一标号的航电数据包生成,若标号相同则正常,并进行下一对比,若连续N帧航电数据包标号不一致则上报故障信息至A通道CPU或对A通道复位;
其次对比所述符号监控标定信息中的关键符号特征信息与所述符号信息中的关键符号特征信息是否一致,若一致则正常,并入步骤6,若连续N帧关键符号特征信息不一致则上报故障信息至A通道CPU或对A通道复位;
步骤6:在B通道CPU中,对从A通道FPGA输入的特征标定信息中的EVS视频特征信息与既定特征信息进行比较,若特征信息一致则正常,若连续N帧EVS视频特征信息与既定特征信息不一致则上报故障信息至A通道CPU或对A通道复位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710842669.9A CN107608815B (zh) | 2017-09-18 | 2017-09-18 | 用于机载显示系统的多通道显示处理及完整性循环监控装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710842669.9A CN107608815B (zh) | 2017-09-18 | 2017-09-18 | 用于机载显示系统的多通道显示处理及完整性循环监控装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107608815A CN107608815A (zh) | 2018-01-19 |
CN107608815B true CN107608815B (zh) | 2021-01-01 |
Family
ID=61061009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710842669.9A Active CN107608815B (zh) | 2017-09-18 | 2017-09-18 | 用于机载显示系统的多通道显示处理及完整性循环监控装置和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107608815B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108307128B (zh) * | 2018-03-21 | 2024-01-30 | 中国航空工业集团公司洛阳电光设备研究所 | 一种视频显示处理装置 |
CN109850169B (zh) * | 2018-11-26 | 2022-01-28 | 中国航空工业集团公司洛阳电光设备研究所 | 一种用于机载hud显示系统的监控方法 |
CN109803117B (zh) * | 2018-12-23 | 2020-11-27 | 中国航空工业集团公司洛阳电光设备研究所 | 一种民机平显畸变校正完整性监控系统 |
CN110702199B (zh) * | 2019-09-25 | 2021-11-16 | 联想(北京)有限公司 | 一种信息处理方法和第一电子设备 |
CN110798661A (zh) * | 2019-10-16 | 2020-02-14 | 中国航空工业集团公司洛阳电光设备研究所 | 一种平视显示器非等角符号完整性监控系统及监控方法 |
CN111107427B (zh) * | 2019-11-20 | 2022-01-28 | Oppo广东移动通信有限公司 | 图像处理的方法及相关产品 |
CN114281593B (zh) * | 2021-11-17 | 2024-04-19 | 中国航空工业集团公司洛阳电光设备研究所 | 一种提高增强视景系统安全性的监控系统设计方法 |
CN114120480B (zh) * | 2021-11-23 | 2024-08-20 | 中国航空工业集团公司洛阳电光设备研究所 | 一种机载hud画面生成过程静态符号监控方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8743020B1 (en) * | 2012-07-26 | 2014-06-03 | Rockwell Collins, Inc. | Avionics display architecture with independent processing and monitoring channels |
CN104360930A (zh) * | 2014-11-24 | 2015-02-18 | 中国航空工业集团公司洛阳电光设备研究所 | 一种平显计算机完整性监控装置及监控方法 |
CN104743128A (zh) * | 2015-04-23 | 2015-07-01 | 沈阳飞羽航空科技有限公司 | 通用飞机机组综合警告系统 |
CN107097964A (zh) * | 2017-06-09 | 2017-08-29 | 山东超越数控电子有限公司 | 一种基于光纤传输的显控装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080204419A1 (en) * | 2007-02-28 | 2008-08-28 | Honeywell International, Inc. | Stimuli-sensitive display screen with consolidated control functions |
US8089375B1 (en) * | 2008-06-09 | 2012-01-03 | Rockwell Collins, Inc. | Head-up display/synthetic vision system predicted flight path depiction |
CN104010136B (zh) * | 2014-06-09 | 2017-05-03 | 南京航空航天大学 | 基于机载图形引擎的图形显示系统 |
CN105553965B (zh) * | 2015-12-10 | 2018-08-03 | 中国航空工业集团公司西安航空计算技术研究所 | 一种机载信息安全关键数据的完整性保护系统及方法 |
-
2017
- 2017-09-18 CN CN201710842669.9A patent/CN107608815B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8743020B1 (en) * | 2012-07-26 | 2014-06-03 | Rockwell Collins, Inc. | Avionics display architecture with independent processing and monitoring channels |
CN104360930A (zh) * | 2014-11-24 | 2015-02-18 | 中国航空工业集团公司洛阳电光设备研究所 | 一种平显计算机完整性监控装置及监控方法 |
CN104743128A (zh) * | 2015-04-23 | 2015-07-01 | 沈阳飞羽航空科技有限公司 | 通用飞机机组综合警告系统 |
CN107097964A (zh) * | 2017-06-09 | 2017-08-29 | 山东超越数控电子有限公司 | 一种基于光纤传输的显控装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107608815A (zh) | 2018-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107608815B (zh) | 用于机载显示系统的多通道显示处理及完整性循环监控装置和方法 | |
US10268334B2 (en) | System for communicating avionics information through portable electronic devices | |
US9583008B2 (en) | Managing data exchange between an avionic core and an open world device | |
US9663242B2 (en) | Processing of aircraft alarm and maintenance messages | |
CN109850169B (zh) | 一种用于机载hud显示系统的监控方法 | |
CN105704481B (zh) | 视频接口通道检测的方法及系统 | |
US20120280986A1 (en) | Avionics System with Three Display Screens for Aircraft | |
CN111693147A (zh) | 温度补偿的方法、装置、电子设备及计算机可读存储介质 | |
US8743020B1 (en) | Avionics display architecture with independent processing and monitoring channels | |
US8976079B2 (en) | Smart dual display system | |
US10902275B2 (en) | Method and system for monitoring safety critical symbols on a display | |
CN104360930B (zh) | 一种平显计算机完整性监控装置及监控方法 | |
CN107765703B (zh) | 一种基于惯性/卫星相对导航的机载编队飞行指示系统 | |
JP2013003420A (ja) | マルチディスプレイシステム | |
CN110648617A (zh) | 一种显示装置、检测方法及显示系统 | |
CA3119643A1 (en) | Systems and methods for displaying and controlling a remotely executed application on a display of a vehicle | |
CN115866156B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
EP4145437A1 (en) | Systems and methods for providing image motion artifact correction for a color sequential (cs) display | |
CN114915765A (zh) | 一种超宽屏冗余图形显示处理设备 | |
CN104333744B (zh) | 一种平视显示器监控系统 | |
TWI717227B (zh) | 大型機械裝置輔助檢測與故障分析系統及其方法 | |
CN106773035A (zh) | 一种用于机载平视显示器的等角符号显示位置的监控方法 | |
CN111405274A (zh) | 一种对视频的关键参数进行监控的显示系统 | |
KR20190000270U (ko) | 항공기 데이터처리기 점검장치 | |
US11729195B1 (en) | Computerized-system and computerized-method for detecting cyber-attacks on avionic communications of an airborne computerized-device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |