CN101325696A - 一种实现视频数据向ip数据转换的方法及装置 - Google Patents
一种实现视频数据向ip数据转换的方法及装置 Download PDFInfo
- Publication number
- CN101325696A CN101325696A CNA2007101112038A CN200710111203A CN101325696A CN 101325696 A CN101325696 A CN 101325696A CN A2007101112038 A CNA2007101112038 A CN A2007101112038A CN 200710111203 A CN200710111203 A CN 200710111203A CN 101325696 A CN101325696 A CN 101325696A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- video
- mac
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种实现视频数据向IP数据转换的方法及装置,所述方法从DVO接口接收显示数据,根据接收数据的行信号、场信号分离出需要显示的有效数据,通过视频压缩算法实现动态视频压缩,把压缩后的数据写入FIFO模块进行缓冲,进行IP数据包的分割,封装IP数据包特征数据,再封装MAC数据包特征数据,最后通过MII接口输出到以太网。本发明是基于FPGA实现的,不但实现了对数据的远程监控,还通过CPU动态配置IP数据包转发路由和流量控制。
Description
技术领域
本发明涉及FPGA(Field Programmable Gate Array,现场可编程门阵列)领域,具体涉及一种基于FPGA实现DVO(Digital Video Out,数字视频输出端口)视频数据向以太网IP(Internet Protocol,互联网协议)数据转换的方法及装置。
背景技术
CPU(Central Procession Unit,中央处理器)通过PCI(PeripheralComponent Interface,外部设备接口)总线动态更新图形控制器的显示数据,图形控制器把显示数据转换为DVO所能接受的格式输出,而DVO是图形控制器输出的标准数字视频接口,支持24Bit的色彩工作模式,由于DVO视频数据传输距离有限,而只能在系统本地显示数据,不能实现远程的显示输出。
MII(Media Independent Interface,媒体面标准接口)定义了以太网的媒体面控制器和PHY(Physical Layer,物理层)连接总线的标准,MII接口使用4bit数据宽度,字节级控制方式,最高操作频率为25MHz,支持单个物理层器件连接,达到线速100Mbps,MII接口总线的时钟是由PHY从线路时钟上恢复出来的,PHY产生接收和发送端口的25MHz时钟。
MII接口总线操作时,由数据的发送者控制操作过程,MAC(MediaAccess Controller,媒体面控制器)通过MII接口和PHY相互连接,传递数据。定义MAC的输入数据方向为接收方向,MAC的输出数据方向为发送方向,当PHY向MAC发送数据时,PHY使其发送给MAC的接收使能信号有效,同时同步于其发送给MAC的接收时钟产生数据,当MAC向PHY发送数据时,MAC使其发送给PHY的发送使能信号有效,同时同步于PHY送给MAC的发送时钟产生数据。
FPGA继承了ASIC(Application Specific Integrated Circuit,专用集成电路)的大规模、高集成度、高可靠性的优点,又克服了普通ASIC设计周期长、投资大、灵活性差的缺点,逐步成为复杂数字硬件电路设计的理想首选。
FPGA内部灵活的逻辑资源可完成总线转换的逻辑功能,丰富的块存储器资源适用于在总线转换中进行数据缓存。
鉴于FPGA的诸多优点,如何利用FPGA来解决目前DVO视频数据无法实现远程显示的问题,是当前迫切需要解决的。
发明内容
本发明的目的是提供一种实现视频数据向IP数据转换的方法及装置,通过对FPGA的内部逻辑模块重新配置以实现DVO视频数据向以太网IP数据的转换,通过以太网的扩展实现远程的显示输出,以此克服DVO视频数据传输距离有限,而只能在系统本地显示数据的问题。
为了实现上述目的,本发明具体是这样实现的:
一种实现视频数据向IP数据转换的方法,包括如下步骤:
步骤1,对从数字视频输出接口接收的视频数据进行检测、分离后输出;
步骤2,对所述输出数据进行压缩;
步骤3,将压缩处理后的数据进行缓存;
步骤4,读出缓存数据进行分割获得IP数据包净荷;
步骤5,对IP数据包净荷进行IP封装;
步骤6,将封装好的IP数据包进行MAC封装;
步骤7,将封装好的数据通过MII接口输出到以太网上。
本发明所述方法中,所述步骤1,具体是这样实现的:
对从数字视频输出接口接收的视频数据按照红、绿、蓝三种色彩通道使用点时钟进行数据行、场信号的检测,分离出需要显示的有效数据,输出三个通道的数据;
所述通道的数据的宽度是8位的。
本发明所述方法中,所述步骤2,对红颜色通道数据、绿颜色通道数据和蓝颜色通道数据分别进行压缩;
所述压缩的比率根据系统的要求进行预先设置。
本发明所述方法中,所述步骤4中分割获得的IP数据包净荷符合IP协议要求,并且同时包含红、绿、蓝三种色彩通道数据。
本发明还提出一种实现视频数据向IP数据转换的装置,包括:
用于对从数字视频输出接口接收的视频数据进行检测、分离和输出的视频数据检测和分离模块;
用于对输出数据进行压缩的压缩模块;
用于将压缩处理后的数据进行缓存的FIFO模块;
用于对读出缓存数据进行分割获得IP数据包净荷的IP分割模块;
用于对IP数据包净荷进行IP封装的IP封装模块;
用于将封装好的IP数据包进行MAC封装的MAC封装模块;
用于将封装好的数据通过MII接口输出到以太网上的MAC发送模块;
用于对装置内各个模块进行调度和控制的内核控制模块。
本发明所述装置中,所述内核控制模块,根据所述IP分割模块的空闲标志决定是否从所述FIFO模块中读出缓存数据。
本发明所述装置还包括,用于提供异步总线的操作接口的CPU接口模块。
本发明所述装置还包括,用于实现装置内部的各个模块的时钟同步的锁相环控制模块;
所述锁相环控制模块,根据DVO接口的点时钟同步所述FIFO模块的写入时钟;
所述锁相环控制模块,根据系统的要求给所述FIFO模块定义一个读出时钟。
本发明所述装置还包括,用于对数据进行冲突检测和重发控制的以太网冲突检测模块;
所述以太网冲突检测模块在以大网单工运行模式有效的前提下,对媒体面标准接口总线上是否有冲突信号进行检测,若有冲突信号,则重新复位发送的FIFO指针,并重新进行所述MAC发送模块的发送过程,否则,没有冲突信号,则直接进行所述MAC发送模块的发送过程。
本发明的有益效果如下:
(1)可以动态调整FPGA内部的MAC和显示的映射参数,实现显示数据选择绑定不同的MAC地址;
(2)通过FPGA的路径选择算法,分时复用的方式提供了多个MAC地址向单个物理层芯片绑定的功能,简化了MAC的接口;
(3)可以动态调整FPGA压缩算法的效率,从而在系统带宽和输出质量上达到一个较好的平衡点;
(4)由于本发明是基于FPGA实现,可以通过外部CPU对FPGA进行控制实现动态配置IP数据包转发的路由和流量控制。
附图说明
图1为实现本发明的原理功能框图;
图2为本发明所述的实现视频数据向IP数据转换的方法的主要流程图。
具体实施方式
下面将结合附图对本发明的具体实施方式进行详细说明。
本发明的主要技术思想是,从DVO接口接收显示数据,根据接收数据的行信号、场信号分离出需要显示的有效数据,通过FPGA视频压缩算法实现动态视频压缩,减小数据流量,降低DVO的有效数据载荷,把压缩后的数据写入FIFO模块进行缓冲,进行IP数据包的分割,封装IP数据包特征数据,再封装MAC数据包特征数据,最后通过MII接口输出到以太网,从而能够实现对数据的远程监控。
如图1所示给出的FPGA功能框图包括:DVO视频数据检测和分离模块11、RED压缩模块121/GREEN压缩模块122/BLUE压缩模块123、FIFO模块13、IP数据分割模块14、IP数据封装模块15、MAC数据封装模块16、MAC数据发送模块17、内核控制模块10、CPU接口模块18和PLL(PhaseLocked Loop,锁相环)控制模块19以及以太网冲突检测模块21。
从数据转换的角度考虑各个功能模块之间的连接关系如下:从DVO接口接收视频数据,通过所述DVO视频数据检测和分离模块11分离出需要显示的有效视频数据,通过压缩模块实现动态视频压缩,把压缩后的数据写入所述FIFO模块13进行缓存,将从所述FIFO模块13中读出的净荷数据依次通过所述IP分割模块14、IP封装模块15、MAC封装模块16,进行IP数据包的分割,封装IP数据包特征数据以及MAC数据包特征数据,最后通过MII接口输出到以太网。
所述DVO视频数据检测和分离模块11,利用DVO接口的点时钟对行、场信号进行检测,根据场信号确定出一个完整的屏幕数据的起始,根据行信号确定出一个完整的行数据的起始;然后分离出需要的视频数据,按照红、绿、蓝三种色彩通道,分别读取8位宽度的数据。
所述RED压缩模块121/GREEN压缩模块122/BLUE压缩模块123,根据系统要求选择不同的算法。例如:对于高质量要求的输出可以选择MPEG4/H264等算法;对于低质量要求的输出可以选择MPEG1算法。对每个色彩通道采用相同的压缩算法,保证通道数据的流量相同。
所述FIFO模块13,用于并行写入每个色彩通道的数据,该模块的写入宽度为24位,这样一次可以操作完整的红、绿、蓝三种色彩通道数据。
所述IP分割模块14,用于从所述FIFO模块13中读取净荷数据,读取宽度为24位;按照系统的要求确定IP数据包的长度,值得注意的是IP数据包越大,以太网的效率也就会越高;按照确定的IP数据包的长度读取数据,生成校验数据。
所述IP封装模15块,对所述IP分割模块14产生的数据进行IP地址封装,并增加相应的IP数据包特征数据。
所述MAC封装模块16,用于对所述IP封装模块15产生的数据进行MAC地址封装,并增加相应的MAC数据包特征数据。
所述MAC发送模块17:根据以太网冲突检测模块21的标志位,判断MII总线是否空闲,在空闲状态下把处理完成的数据包发送出去。
所述内核控制模块10,完成FPGA内部各个模块的调度和控制,处理各个模块的中断,以及控制各个模块的工作使能。
所述内核控制模块10,用于响应所述MAC发送模块17产生的中断,还根据所述IP分割模块14的空闲标志决定是否从所述FIFO模块13中读取净荷数据,从而保证整个数据流的通畅;根据流程中上下级模块的状态保证下级模块得到正确有效的数据。
所述内核控制模块10管理FPGA,可以对FPGA的IP地址寄存器和MAC地址寄存器进行动态配置,使得视频输出支持不同的刷新频率。
所述CPU接口模块18,用于提供外部控制CPU对FPGA内部的各个功能模块的配置以实现对FPGA的动态调整,所述CPU接口模块提供一个异步总线的操作接口。
所述PLL控制模块19,用于实现FPGA内部的各个功能模块的时钟同步,根据DVO接口的点时钟同步所述FIFO模块13的写入时钟;还根据系统的要求定义一个所述FIFO模块13读出的时钟,该读出时钟将作为下级模块的基准时钟进行分频配置,例如读出时钟是MII的时钟的两倍频,这样可以使得整个系统同步在一个高频率的时钟上,保证了系统稳定可靠的运行。
以太网冲突检测模块21,用于以太网半双工运行方式时,对数据进行冲突检测和重发控制,具体而言,可设置所述MAC发送模块17的工作模式;在以太网半双工运行模式有效的前提下,检测MII总线上是否有冲突信号,若检测到发生冲突,则内核控制模块10调整FIFO模块13内部的发送指针,把发生冲突时刻已经向MAC发送模块17发出的数据重新读取出来,进行所述MAC发送模块17的发送过程。
如图2所示为实现本发明的具体实施例,即实现视频数据向IP数据转换的处理流程图。
实现视频数据向IP数据转换的处理步骤如下:
步骤1,对从DVO接口接收的视频数据的行、场信号进行检测和分离,使用点时钟进行数据行、场信号的检测,分离出需要显示的有效数据,前述检测和分离过程是按照红、绿、蓝三种色彩通道分别进行处理的,然后输出三个通道的数据,每个通道的数据的宽度是8位的。
步骤2,利用压缩模块对各个通道的数据进行压缩;
具体是指,分别采用RED压缩模块、GREEN压缩模块和RLUE压缩模块依次对红颜色通道数据、绿颜色通道数据和蓝颜色通道数据进行压缩,其压缩的比率可以根据系统的要求通过CPU接口模块进行预先设置,且每个通道的压缩比率应该是相同的。
步骤3,经压缩处理后的数据写入到FIFO模块中进行缓冲。
步骤4,按照系统要求配置的IP数据包的大小,采用IP分割模块从FIFO模块中读取数据,保证每个IP数据包的净荷符合IP协议要求,并且同时包含红、绿、蓝三种色彩通道数据;
步骤5,按照IP协议要求对分割后的IP数据进行IP地址封装,并且添加相应的IP数据包特征数据;
步骤6,将步骤5处理后的IP数据包进行MAC地址的封装,并添加相应的MAC数据包特征数据;
步骤7,根据以太网冲突检测模块的标志位,MAC发送模块判断MII总线是否有冲突,若没有冲突,即为空闲状态,则把步骤6处理后的数据通过MII接口发送到以太网上。
本发明可实施的典型应用场合:刀片服务器系统中,服务器刀片通过本发明去处理视频信号。刀片服务器系统内部有多个服务器刀片,而这些服务器刀片要求统一的远程显示和管理。通过本发明,每个刀片绑定不同的IP地址,在远程的控制台上实现统一的显示输出。
尽管参照实施例对本发明进行了特别描述,本领域技术人员将能理解,在不偏离本发明的范围和精神的情况下,可以对它进行形式和细节的种种显而易见的修改。因此,以上描述的实施例是说明性的而不是限制性的,在不脱离本发明的精神和范围的情况下,所有的变化和修改都在本发明的范围之内。
Claims (9)
1、一种实现视频数据向IP数据转换的方法,其特征在于,包括如下步骤:
步骤1,对从数字视频输出接口接收的视频数据进行检测、分离后输出;
步骤2,对所述输出数据进行压缩;
步骤3,将压缩处理后的数据进行缓存;
步骤4,读出缓存数据进行分割获得IP数据包净荷;
步骤5,对IP数据包净荷进行IP封装;
步骤6,将封装好的IP数据包进行MAC封装;
步骤7,将封装好的数据通过MII接口输出到以太网上。
2.如权利要求1所述的实现视频数据向IP数据转换的方法,其特征在于,
所述步骤1,具体是这样实现的:
对从数字视频输出接口接收的视频数据按照红、绿、蓝三种色彩通道使用点时钟进行数据行、场信号的检测,分离出需要显示的有效数据,输出三个通道的数据;
所述通道的数据的宽度是8位的。
3、如权利要求2所述的实现视频数据向IP数据转换的方法,其特征在于,
所述步骤2,对红颜色通道数据、绿颜色通道数据和蓝颜色通道数据分别进行压缩;
所述压缩的比率根据系统的要求进行预先设置。
4、如权利要求2或3所述的实现视频数据向IP数据转换的方法,其特征在于,
所述步骤4中分割获得的IP数据包净荷符合IP协议要求,并且同时包含红、绿、蓝三种色彩通道数据。
5、一种实现视频数据向IP数据转换的装置,其特征在于,包括:
用于对从数字视频输出接口接收的视频数据进行检测、分离和输出的视频数据检测和分离模块(11);
用于对输出数据进行压缩的压缩模块(121、122和123);
用于将压缩处理后的数据进行缓存的FIFO模块(13);
用于对读出缓存数据进行分割获得IP数据包净荷的IP分割模块(14);
用于对IP数据包净荷进行IP封装的IP封装模块(15);
用于将封装好的IP数据包进行MAC封装的MAC封装模块(16);
用于将封装好的数据通过MII接口输出到以太网上的MAC发送模块(17);
用于对装置内各个模块进行调度和控制的内核控制模块(10)。
6、如权利要求5所述的实现视频数据向IP数据转换的装置,其特征在于,
所述内核控制模块(10),根据所述IP分割模块(14)的空闲标志决定是否从所述FIFO模块(13)中读出缓存数据。
7、如权利要求5或6所述的实现视频数据向IP数据转换的装置,其特征在于,还包括:
用于提供异步总线的操作接口的CPU接口模块(18)。
8、如权利要求5或6所述的实现视频数据向IP数据转换的装置,其特征在于,还包括:
用于实现装置内部的各个模块的时钟同步的锁相环控制模块(19);
所述锁相环控制模块(19),根据视频数据输出接口的点时钟同步所述FIFO模块(13)的写入时钟;
所述锁相环控制模块(19),根据系统的要求给所述FIFO模块(13)定义一个读出时钟。
9、如权利要求5或6所述的实现视频数据向IP数据转换的装置,其特征在于,还包括:
用于对数据进行冲突检测和重发控制的以太网冲突检测模块(21);
所述以太网冲突检测模块(21)在以太网单工运行模式有效的前提下,对媒体面标准接口总线上是否有冲突信号进行检测,若有冲突信号,则重新复位发送的FIFO指针,并重新进行所述MAC发送模块(17)的发送过程,否则,没有冲突信号,则直接进行所述MAC发送模块(17)的发送过程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007101112038A CN101325696B (zh) | 2007-06-15 | 2007-06-15 | 一种实现视频数据向ip数据转换的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007101112038A CN101325696B (zh) | 2007-06-15 | 2007-06-15 | 一种实现视频数据向ip数据转换的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101325696A true CN101325696A (zh) | 2008-12-17 |
CN101325696B CN101325696B (zh) | 2010-12-08 |
Family
ID=40188982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007101112038A Expired - Fee Related CN101325696B (zh) | 2007-06-15 | 2007-06-15 | 一种实现视频数据向ip数据转换的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101325696B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101610407B (zh) * | 2009-07-15 | 2011-01-05 | 北京化工大学 | 以太网数据与数字视频流转换的网关实现方法 |
CN103299618A (zh) * | 2011-01-21 | 2013-09-11 | 西门子公司 | 用于处理压缩视频流的方法 |
US8971267B2 (en) | 2010-01-18 | 2015-03-03 | Huawei Technologies Co., Ltd. | Method and apparatus for compressing and decompressing IP data packet |
CN104780333A (zh) * | 2014-12-03 | 2015-07-15 | 中国航天科工集团第三研究院第八三五七研究所 | 基于fpga的高带宽视频源接口适配装置 |
CN104881339A (zh) * | 2015-05-18 | 2015-09-02 | 昆山龙腾光电有限公司 | 一种测试装置、测试方法及显示系统 |
CN112702377A (zh) * | 2019-10-23 | 2021-04-23 | 苏州华兴源创科技股份有限公司 | 一种数据流转换系统 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106162528B (zh) * | 2016-07-06 | 2019-11-01 | 重庆金瓯科技发展有限责任公司 | LoRa信号与蓝牙信号转换模块、转换方法及信号发送装置 |
-
2007
- 2007-06-15 CN CN2007101112038A patent/CN101325696B/zh not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101610407B (zh) * | 2009-07-15 | 2011-01-05 | 北京化工大学 | 以太网数据与数字视频流转换的网关实现方法 |
US8971267B2 (en) | 2010-01-18 | 2015-03-03 | Huawei Technologies Co., Ltd. | Method and apparatus for compressing and decompressing IP data packet |
CN103299618A (zh) * | 2011-01-21 | 2013-09-11 | 西门子公司 | 用于处理压缩视频流的方法 |
US9615087B2 (en) | 2011-01-21 | 2017-04-04 | Siemens Aktiengesellschaft | Method for processing a compressed video stream |
CN104780333A (zh) * | 2014-12-03 | 2015-07-15 | 中国航天科工集团第三研究院第八三五七研究所 | 基于fpga的高带宽视频源接口适配装置 |
CN104881339A (zh) * | 2015-05-18 | 2015-09-02 | 昆山龙腾光电有限公司 | 一种测试装置、测试方法及显示系统 |
CN104881339B (zh) * | 2015-05-18 | 2018-09-18 | 昆山龙腾光电有限公司 | 一种测试装置、测试方法及显示系统 |
CN112702377A (zh) * | 2019-10-23 | 2021-04-23 | 苏州华兴源创科技股份有限公司 | 一种数据流转换系统 |
Also Published As
Publication number | Publication date |
---|---|
CN101325696B (zh) | 2010-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101325696B (zh) | 一种实现视频数据向ip数据转换的方法及装置 | |
KR100429911B1 (ko) | 가변길이 패킷 다중화 및 역다중화 장치와 방법 | |
CN112599083B (zh) | 显示屏的数据传输方法、数据接收方法、发送卡及接收卡 | |
US8156238B2 (en) | Wireless multimedia transport method and apparatus | |
US9929972B2 (en) | System and method of sending data via a plurality of data lines on a bus | |
US8913196B2 (en) | Video processing device and video processing method including deserializer | |
US8654858B2 (en) | Methods and apparatus for differential encoding | |
WO2023077850A1 (zh) | 发送卡及其控制方法、显示设备、计算机设备和存储介质 | |
CN104301802A (zh) | 用于流式传输音频或视频数据的数字装置、网络和方法 | |
CN109656863A (zh) | 一种高带宽的mipi数据处理接口电路 | |
KR20130126932A (ko) | 고속 비디오 네트워크 내의 비동기 및 등시 데이터 송신을 위한 방법 및 시스템 | |
CN110463212B (zh) | 用于媒体到以太网框架打包的低延迟管道 | |
CN101527724B (zh) | 用于在高速互联网协议网络中传送数据的数据传输容器 | |
US7123307B1 (en) | Clock jitter limiting scheme in video transmission through multiple stages | |
CN105718401A (zh) | 一种多路smii信号到一路mii信号的复用方法及系统 | |
US20100322221A1 (en) | Radio transmitting device and radio transmission method | |
CA2719954C (en) | Video serializer and deserializer with mapping conversion | |
CN102611615B (zh) | 一种基于fpga的一体化系统 | |
JP4073312B2 (ja) | シリアル圧縮バス・インタフェース回路およびシリアル圧縮データを送る方法 | |
KR101805850B1 (ko) | 10GbE 네트워크에서 다종 영상 비압축 패킷화 장치 및 이를 이용한 영상 송수신 방법 | |
US10298725B2 (en) | Synchronous digital signal encapsulation | |
US20230308255A1 (en) | Time-sensitive multimedia endpoint interface bridging through ethernet transport | |
JP5902402B2 (ja) | データ出力調整装置、データ出力調整方法、rgmiiネットワークシステム、及び、rgmiiネットワーク通信路切替方法 | |
CN113853835B (zh) | 串行链接的装置之间的选定模式信号转发 | |
CN116233082A (zh) | 8k视频原始码流传输方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20180705 Address after: California, USA Patentee after: Global innovation polymerization LLC Address before: 518057 Nanshan District high tech Industrial Park, Shenzhen, Guangdong, Ministry of justice, Zhongxing Road, South China road. Patentee before: ZTE Corp. |
|
TR01 | Transfer of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101208 |
|
CF01 | Termination of patent right due to non-payment of annual fee |