CN104717442B - 多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法 - Google Patents
多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法 Download PDFInfo
- Publication number
- CN104717442B CN104717442B CN201310680854.4A CN201310680854A CN104717442B CN 104717442 B CN104717442 B CN 104717442B CN 201310680854 A CN201310680854 A CN 201310680854A CN 104717442 B CN104717442 B CN 104717442B
- Authority
- CN
- China
- Prior art keywords
- agreement
- video
- resolution ratio
- signal
- vesa
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Television Systems (AREA)
Abstract
本发明涉及多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法,包括以下步骤:1】创建自动转换系统;2】将输入的视频信号分别送入到协议检测模块中;3】高电平使能信号CEn驱动与协议N检测单元对应的协议N采集单元采集输入视频信号的有效像素;4】高电平使能信号CEn作为多路选择开关控制器的控制信号量;5】缩放处理模块缩放为1600*1200的分辨率大小,同时将其写入输出存储单元;6】发送控制模块实现输入视频到VESA协议1600X1200分辨率60Hz帧率视频的转换。本发明解决了任意协议类型的视频向PAL制式转换的集成性问题,本发明可将任何协议类型及分辨率的视频自动转换为符合ITU656协议的PAL格式视频,且视频格式转换耗时小。
Description
技术领域
本发明属于视频处理、图形图像领域,具体涉及一种多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法。
背景技术
VESA(Video Electronics Standards Association)监视器时序标准是一种数字化视频接口协议,它支持多种分辨率及帧率,其中1600X1200分辨率60Hz帧率的VESA视频在一些机载系统中往往作为光电一体化系统高清视频的通用输出接口。但是对于现有的视觉传感器,其输出的视频协议及分辨率各异,因此有时候往往需要将视觉传感器输出的各种协议的视频进行格式转换并缩放为1600X1200的分辨率;虽然目前已经出现了各种视频格式向符合VESA协议各种分辨率视频转换的芯片,但是这类芯片往往只支持对一种或一类输入视频的编解码。
随着电子技术、大规模集成电路的发展,采用现场可编程逻辑门阵列(FPGA)实现复杂的控制及处理功能在集成性、稳定性以及可靠性等方面有着很大的优势,研究基于FPGA的多种视频格式向符合VESA协议的1600X1200分辨率60Hz帧率视频的自动转换控制方法具有广阔的应用前景。
发明内容
本发明是为了解决任意协议类型的视频向符合VESA协议的1600X1200分辨率60Hz帧率视频转换的集成性问题,提出了一种多视频格式向VESA协议1600X1200分辨率60Hz视频的自动转换方法。
本发明的技术解决方案:
多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法,其特殊之处在于,包括以下步骤:
1】创建自动转换系统:
包括协议检测模块:用于对输入视频信号进行协议匹配,并根据匹配结果产生高电平使能信号CEn或低电平使能信号,包括协议1检测单元、协议2检测单元……以及协议N检测单元;
视频采集模块:对经过协议检测模块相匹配的输入视频信号的有效像素进行采集,包括协议1采集单元、协议2采集单元……以及协议N采集单元;各种协议的采集单元与检测单元一一对应,所述高电平使能信号CEn输入至对应的协议N采集单元和多路选择开关控制器;
多路选择开关控制器:用于在高电平使能信号CEn的控制下,将协议匹配的视频采集模块采集到的有效像素数据缓存入采集存储单元;
采集存储单元:用于缓存输入视频信号的有效像素数据;
缩放处理模块:用于实时顺序地从采集存储单元读取有效像素数据并采用双线性插值算法将其缩放为1600*1200的分辨率大小,同时将其发送给输出存储单元;
输出存储单元:用于存储经过缩放处理模块处理后的有效像素数据;
以及发送控制模块:用于按照VESA协议1600X1200分辨率60Hz帧率视频时序标准产生视频消隐区的控制像素流,并从输出存储单元中顺序读取缩放后的像素数据,填充到视频数据流的有效像素区,从而实现输入视频到VESA协议1600X1200分辨率60Hz视频的转换;
2】将输入的视频信号分别送入到协议检测模块中各个协议检测单元中进行检测,若输入的视频信号与该协议N检测单元的协议匹配,则该协议N检测单元产生高电平的使能信号CEn,同时其余协议检测单元产生低电平使能信号;
3】高电平使能信号CEn驱动与协议N检测单元对应的协议N采集单元采集输入视频信号的有效像素;同时低电平使能信号使与其所对应的协议采集单元处于复位状态;
4】高电平使能信号CEn作为多路选择开关控制器的控制信号量,使得只有协议匹配的协议N采集单元采集的视频信号的有效像素通过多路选择开关控制器缓存至采集存储单元;
5】缩放处理模块从采集存储单元顺序读取完整帧的有效像素数据,并采用双线性插值算法将其缩放为1600*1200的分辨率大小,同时将其写入输出存储单元;
6】发送控制模块按照VESA协议1600X1200分辨率60Hz帧率视频时序标准产生视频消隐区的控制像素流,并从输出存储单元中顺序读取缩放后的像素数据,填充到视频数据流的有效像素区,从而实现输入视频到VESA协议1600X1200分辨率60Hz视频的转换。
上述采集存储单元包括缓冲区A和缓冲区B,具体存储步骤为:
当前视频帧数据存储到缓冲区A时,从缓冲区B中读取存储的上一帧视频数据发送给缩放处理模块;
下一帧视频数据存储到缓冲B时,从缓冲区A中读取当前视频帧的数据发送给缩放处理模块。
上述协议检测模块实时分析并计算输入视频流的以下协议状态参数:相邻场同步信号Vsync脉冲之间所包含的行同步信号Hsync脉冲数目;场同步信号Vsync脉冲宽度范围内包含的行同步信号Hsync脉冲数目;相邻行同步信号Hsync脉冲之间包含的像素时钟CLK周期数目;行同步信号Hsync脉冲宽度范围内包含的像素时钟CLK周期数目;有效像素行中数据有效信号De脉冲宽度内包含的像素时钟CLK周期数目;从场同步信号Vsync脉冲跳变起到第一个有效像素行之间所包含的行同步信号Hsync脉冲数目;有效像素行中从行同步信号脉冲Hsync跳变起到数据有效信号De之间所包含的像素时钟CLK周期计数。
上述协议检测模块包括各种分辨率的VESA协议视频检测单元、各种分辨率的RawRGB格式视频检测单元、符合SMPTE274协议的视频检测单元、符合ITU601、ITU656及ITU709协议的视频检测单元;所述视频采集模块包括各种分辨率的VESA协议视频采集单元、各种分辨率的RawRGB格式视频采集单元、符合SMPTE274协议的视频采集单元、符合ITU601、ITU656及ITU709协议的视频采集单元;且可检测的协议类型可以根据具体应用需求自主定制及裁剪。
上述步骤2】的具体步骤为:
2.1】实时同步计算输入视频信号的各个状态参数;
2.2】将计算出的各个状态参数与对应协议检测模块的各个协议的状态参数对比:如果状态参数一致,则输入视频数据属于该种协议;否则,则不属于该种协议。
本发明的有益效果是:
可将任何协议类型及分辨率的视频自动转换为符合VESA协议1600X1200分辨率60Hz帧率视频,且视频格式转换耗时小;可动态检测视频协议的变化,当输入源视频协议发生变化后,可在一帧图像输入的时间间隔内完成对其协议类型的检测;可检测的协议类型可以根据具体应用需求自主定制及裁剪。
附图说明
图1为多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法原理图。
具体实施方式
本发明采用FPGA实现多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法,通过建立多种通用视频协议数据库,对输入视频信号的数据流进行分析,与各种常用视频协议数据流比较判断所属协议类型,同时检测图像分辨率及帧率;设计图像帧双缓冲区A和B,采用乒乓操作的方式将视频流数据帧的有效像素存入缓冲区A,同时根据图像的分辨率对缓冲区B内缓存的完整数据帧采用双线性插值算法缩放为1600*1200的分辨率大小并存入输出存储单元;按照VESA协议1600X1200分辨率60Hz帧率视频时序标准产生视频消隐区的控制像素流,并从输出存储单元中顺序读取缩放后的像素数据,填充到视频数据流的有效像素区,从而实现输入视频到VESA协议1600X1200分辨率60Hz视频的转换;
实现细节具体如下:
1】设计针对各种常用视频协议(包括各种分辨率的VESA协议、各种分辨率的RawRGB格式、ITU601、ITU656、ITU709及SMPTE274协议)的检测模块,检测模块通过分析一个完整帧图像内行场同步信号的时间间隔及消隐区视频数据的变化规律,判定输入视频是否属于该种协议;
检测模块设置如下视频协议的状态参数,分别为:相邻场同步信号(Vsync)脉冲之间所包含的行同步信号(Hsync)脉冲数目,Vsync脉冲宽度范围内包含的Hsync脉冲数目,相邻Hsync脉冲之间包含的像素时钟(CLK)周期计数,Hsync脉冲宽度范围内包含的CLK周期计数,有效像素行中数据有效信号(De)脉冲宽度内包含的CLK周期脉冲数目,从Vsync信号脉冲跳变起到第一个有效像素行之间(场消隐区)所包含的Hsync脉冲数目,有效像素行中从Hsync信号脉冲跳变起到De信号有效之间(行消隐区)所包含的CLK周期计数;
2】将输入视频的数据及控制信号线(CLK、Hsync、Vsync和De)分别送入各视频协议检测模块,检测模块分析输入图像帧的数据流,检测并计算上述状态参数,若检测出的参数与待检测协议的状态参数一致,则认为输入视频属于该种协议,否则,则不属于该种协议;若某种协议匹配输入视频,则该种协议的检测模块产生高电平的使能信号CEn,驱动其对应的采集模块;同时其他协议检测模块输出为低电平的信号,并使其后端处对应的视频采集模块处于复位状态。
3】设计一个多路选择开关控制器,以各视频协议检测模块输出的CEn为控制信号量,各视频协议采集模块采集的视频数据流为输入,选通CEn为高电平对应的采集视频数据流进行后续的缓存及缩放处理操作;
4】设计双缓冲区A和B,缓存连续到来的相邻两帧图像的有效像素,对缓冲区A和B进行乒乓操作,将当前帧图像填充到缓冲区A时,对B中缓存的上一帧图像采用双线性插值算法缩放为1600*1200分辨大小,并填充到发送输出存储单元中;在下一时间周期,将下一帧图像缓存入缓冲区B而对缓冲区A中的图像帧进行双线性插值处理并存入发送输出存储单元;
5】按照VESA协议1600X1200分辨率60Hz帧率视频时序标准产生视频消隐区的控制像素流,并从输出存储单元中顺序读取缩放后的像素数据,填充到视频数据流的有效像素区,从而实现输入视频到VESA协议1600X1200分辨率60Hz视频的转换。
本发明所述自动转换控制方法已经在某型测试模块中成功实施,能够实时动态检测RawRGB、BT.656、BT.709、SMPTE273及SMPTE274等协议的视频信号,自动完成视频缩放处理并统一转换为符合VESA协议的1600X1200分辨率60Hz视频,视频转换的处理速度快,输出清晰稳定。
Claims (5)
1.多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法,其特征在于,包括以下步骤:
1】创建自动转换系统:
包括协议检测模块:用于对输入视频信号进行协议匹配,并根据匹配结果产生高电平使能信号CEn或低电平使能信号,包括协议1检测单元、协议2检测单元……以及协议N检测单元;
视频采集模块:对经过协议检测模块相匹配的输入视频信号的有效像素进行采集,包括协议1采集单元、协议2采集单元……以及协议N采集单元;各种协议的采集单元与检测单元一一对应,所述高电平使能信号CEn输入至对应的协议N采集单元和多路选择开关控制器;
多路选择开关控制器:用于在高电平使能信号CEn的控制下,将协议匹配的视频采集模块采集到的有效像素数据缓存入采集存储单元;
采集存储单元:用于缓存输入视频信号的有效像素数据;
缩放处理模块:用于实时顺序地从采集存储单元读取有效像素数据并采用双线性插值算法将其缩放为1600*1200的分辨率大小,同时将其发送给输出存储单元;
输出存储单元:用于存储经过缩放处理模块处理后的有效像素数据;
以及发送控制模块:用于按照VESA协议1600X1200分辨率60Hz帧率视频时序标准产生视频消隐区的控制像素流,并从输出存储单元中顺序读取缩放后的像素数据,填充到视频数据流的有效像素区,从而实现输入视频到VESA协议1600X1200分辨率60Hz视频的转换;
2】将输入的视频信号分别送入到协议检测模块中各个协议检测单元中进行检测,若输入的视频信号与该协议N检测单元的协议匹配,则该协议N检测单元产生高电平的使能信号CEn,同时其余协议检测单元产生低电平使能信号;
3】高电平使能信号CEn驱动与协议N检测单元对应的协议N采集单元采集输入视频信号的有效像素;同时低电平使能信号使与其所对应的协议采集单元处于复位状态;
4】高电平使能信号CEn作为多路选择开关控制器的控制信号量,使得只有协议匹配的协议N采集单元采集的视频信号的有效像素通过多路选择开关控制器缓存至采集存储单元;
5】缩放处理模块从采集存储单元顺序读取完整帧的有效像素数据,并采用双线性插值算法将其缩放为1600*1200的分辨率大小,同时将其写入输出存储单元;
6】发送控制模块按照VESA协议1600X1200分辨率60Hz帧率视频时序标准产生视频消隐区的控制像素流,并从输出存储单元中顺序读取缩放后的像素数据,填充到视频数据流的有效像素区,从而实现输入视频到VESA协议1600X1200分辨率60Hz视频的转换。
2.根据权利要求1所述的多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法,其特征在于,所述采集存储单元包括缓冲区A和缓冲区B,具体存储步骤为:
当前视频帧数据存储到缓冲区A时,从缓冲区B中读取存储的上一帧视频数据发送给缩放处理模块;
下一帧视频数据存储到缓冲B时,从缓冲区A中读取当前视频帧的数据发送给缩放处理模块。
3.根据权利要求2所述的多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法,其特征在于,
所述协议检测模块实时分析并计算输入视频流的以下协议状态参数:相邻场同步信号Vsync脉冲之间所包含的行同步信号Hsync脉冲数目;场同步信号Vsync脉冲宽度范围内包含的行同步信号Hsync脉冲数目;相邻行同步信号Hsync脉冲之间包含的像素时钟CLK周期数目;行同步信号Hsync脉冲宽度范围内包含的像素时钟CLK周期数目;有效像素行中数据有效信号De脉冲宽度内包含的像素时钟CLK周期数目;从场同步信号Vsync脉冲跳变起到第一个有效像素行之间所包含的行同步信号Hsync脉冲数目;有效像素行中从行同步信号脉冲Hsync跳变起到数据有效信号De之间所包含的像素时钟CLK周期计数。
4.根据权利要求3所述的多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法,其特征在于:
所述协议检测模块包括各种分辨率的VESA协议视频检测单元、各种分辨率的RawRGB格式视频检测单元、符合SMPTE274协议的视频检测单元、符合ITU601、ITU656及ITU709协议的视频检测单元;所述视频采集模块包括各种分辨率的VESA协议视频采集单元、各种分辨率的RawRGB格式视频采集单元、符合SMPTE274协议的视频采集单元、符合ITU601、ITU656及ITU709协议的视频采集单元;且可检测的协议类型可以根据具体应用需求自主定制及裁剪。
5.根据权利要求4所述的多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法,其特征在于,
所述步骤2】的具体步骤为:
2.1】实时同步计算输入视频信号的各个状态参数;
2.2】将计算出的各个状态参数与对应协议检测模块的各个协议的状态参数对比:如果状态参数一致,则输入视频数据属于该种协议;否则,则不属于该种协议。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310680854.4A CN104717442B (zh) | 2013-12-12 | 2013-12-12 | 多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310680854.4A CN104717442B (zh) | 2013-12-12 | 2013-12-12 | 多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104717442A CN104717442A (zh) | 2015-06-17 |
CN104717442B true CN104717442B (zh) | 2018-02-09 |
Family
ID=53416341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310680854.4A Active CN104717442B (zh) | 2013-12-12 | 2013-12-12 | 多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104717442B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105430297B (zh) * | 2015-12-11 | 2018-03-30 | 中国航空工业集团公司西安航空计算技术研究所 | 多视频格式向iidc协议视频格式转换的自动控制系统 |
CN105430236B (zh) * | 2015-12-22 | 2019-03-29 | 北京眼神智能科技有限公司 | 图像输出格式快速转换的方法 |
CN108234917A (zh) * | 2016-12-14 | 2018-06-29 | 中国航空工业集团公司西安航空计算技术研究所 | 一种CCD相机多分辨率RawRGB格式视频向VESA协议视频的转换方法 |
CN107707829B (zh) * | 2017-09-28 | 2020-04-21 | 成都傅立叶电子科技有限公司 | 一种基于fpga实现的多接口智能sdi视频转换盒 |
CN110933323B (zh) * | 2018-09-19 | 2021-06-22 | 深圳市航盛电子股份有限公司 | 一种车载视频显示装置及显示方法 |
CN109743520A (zh) * | 2019-01-14 | 2019-05-10 | 苏州长风航空电子有限公司 | 一种多路分辨率动态自适应机载视频记录系统 |
CN111083547B (zh) * | 2019-12-16 | 2022-07-29 | 珠海亿智电子科技有限公司 | 基于触发方式平衡视频帧率误差的方法、设备及介质 |
CN111739455A (zh) * | 2020-05-21 | 2020-10-02 | 昆明物理研究所 | 一种自适应任意帧频数字视频信号和vga转换装置和方法 |
CN111669648B (zh) * | 2020-06-19 | 2022-03-25 | 艾索信息股份有限公司 | 一种视频倍频的方法 |
CN112073651B (zh) * | 2020-09-17 | 2022-08-19 | 中航华东光电有限公司 | 防止信号切换显示异常的控制方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1246247A (zh) * | 1996-12-18 | 2000-03-01 | 汤姆森消费电子有限公司 | 具有交错的数据处理的视频译码器 |
JP2002320205A (ja) * | 2001-04-19 | 2002-10-31 | Nippon Television Network Corp | 映像信号のマルチフォーマットシステム、及びそのプログラム |
CN1516458A (zh) * | 2003-08-28 | 2004-07-28 | 上海交通大学 | 采用二维多相位插值滤波的视频格式转换器的控制方法 |
CN101006719A (zh) * | 2004-06-18 | 2007-07-25 | 皇家飞利浦电子股份有限公司 | 视频格式检测器和包括该视频格式检测器的集成电路以及用于识别视频格式的不同标准和/或类型的方法 |
CN102740086A (zh) * | 2012-06-26 | 2012-10-17 | 上海屹芯微电子有限公司 | 复合视频广播信号制式的自动识别方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110149032A1 (en) * | 2009-12-17 | 2011-06-23 | Silicon Image, Inc. | Transmission and handling of three-dimensional video content |
-
2013
- 2013-12-12 CN CN201310680854.4A patent/CN104717442B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1246247A (zh) * | 1996-12-18 | 2000-03-01 | 汤姆森消费电子有限公司 | 具有交错的数据处理的视频译码器 |
JP2002320205A (ja) * | 2001-04-19 | 2002-10-31 | Nippon Television Network Corp | 映像信号のマルチフォーマットシステム、及びそのプログラム |
CN1516458A (zh) * | 2003-08-28 | 2004-07-28 | 上海交通大学 | 采用二维多相位插值滤波的视频格式转换器的控制方法 |
CN101006719A (zh) * | 2004-06-18 | 2007-07-25 | 皇家飞利浦电子股份有限公司 | 视频格式检测器和包括该视频格式检测器的集成电路以及用于识别视频格式的不同标准和/或类型的方法 |
CN102740086A (zh) * | 2012-06-26 | 2012-10-17 | 上海屹芯微电子有限公司 | 复合视频广播信号制式的自动识别方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN104717442A (zh) | 2015-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104717442B (zh) | 多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法 | |
CN104717444B (zh) | 多视频格式向VESA协议1920X1440分辨率75Hz帧率视频的自动转换方法 | |
CN105872432B (zh) | 快速自适应帧率变换的装置与方法 | |
CN107249101B (zh) | 一种高分辨率图像采集与处理装置 | |
CN103430210B (zh) | 信息处理系统、信息处理装置、拍摄装置、以及信息处理方法 | |
WO2015070694A1 (zh) | 屏幕拼接系统和视频数据流的处理方法 | |
CN103647918A (zh) | 一种视频同步化的方法及装置 | |
US9148564B2 (en) | Image pickup apparatus, information processing system and image data processing method | |
JP2015001549A (ja) | 信号出力装置、信号出力方法、及び映像表示装置 | |
CN103248797A (zh) | 一种基于fpga的视频分辨率增强方法及模块 | |
CN109120869A (zh) | 双光图像整合方法、整合设备及无人机 | |
CN104717446B (zh) | 多视频格式向itu656协议pal制式的自动转换方法 | |
CN107277295A (zh) | 视频同步处理装置及方法 | |
CN104717445B (zh) | 多视频格式向bt.656协议ntsc制式视频的自动转换方法 | |
CN106068642A (zh) | 成像装置、图像处理装置、显示控制装置以及成像显示设备 | |
CN105430297B (zh) | 多视频格式向iidc协议视频格式转换的自动控制系统 | |
CN104836959B (zh) | 基于fpga的面阵cmos图像传感器多模式自动切换采集系统 | |
CN102118289A (zh) | Ieee1394接口的实时图像分割处理系统与高速智能统一总线接口方法 | |
CN109587421A (zh) | 一种hd-sdi/3g-sdi收发及实时画中画切换输出处理方法 | |
CN104717443B (zh) | 多视频格式向SMPTE274协议1080i分辨率视频的自动转换方法 | |
CN105554592A (zh) | 一种实现高帧率视频图像采集传输的方法及系统 | |
CN117061691A (zh) | 一种cml接口转sdi接口的视频采集输出装置及方法 | |
CN106878650A (zh) | 一种dvi到vga视频转换装置及其方法 | |
CN105072387A (zh) | 一种可视门铃的录像方法及可视门铃 | |
CN202940909U (zh) | 一种基于dsp与fpga的双传输方式监控装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |