CN1160945C - 一种使用双码率视频流制作电视节目的系统和方法 - Google Patents
一种使用双码率视频流制作电视节目的系统和方法 Download PDFInfo
- Publication number
- CN1160945C CN1160945C CNB011312904A CN01131290A CN1160945C CN 1160945 C CN1160945 C CN 1160945C CN B011312904 A CNB011312904 A CN B011312904A CN 01131290 A CN01131290 A CN 01131290A CN 1160945 C CN1160945 C CN 1160945C
- Authority
- CN
- China
- Prior art keywords
- video data
- rate video
- bit
- rate
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明提供一种使用双码率视频流处理视频信号的视频信号处理系统及其方法。该视频信号系统处理包括播放视频信号流的放录机,采集放录机播放的视频信号流并将视频信号流分成高码率视频数据和低码率视频数据的数据采集工作站,把来自数据采集工作站的高码率视频数据和低码率视频数据分别存储在高码率视频数据存储区和低码率视频数据存储区的视频数据存储装置,从视频数据存储装置的低码率视频数据存储区提取低码率视频数据进行编辑并生成数据编辑信息表(EDL)的编辑工作站。按照生成的数据编辑信息表把经过编辑的低码率视频数据转换成相互关联的。按帧精度对应的高码率视频数据的合成工作站。
Description
技术领域
本发明涉及一种使用双码率视频流制作电视节目的系统和方法,特别是通过生成高、低两种码率的视频流,编辑低码率视频素材并以高码率播放来制作电视节目的系统和方法。
背景技术
以前,电视工作者采用传统的基于素材磁带的线性编辑方法对电视节目进行编辑。这种方法存在着效率低,特技效果简单,画面形式不丰富,素材磁带容易损伤、毁坏、多版复制画面质量下降等问题。随着计算机技术的发展,将素材从磁带上转载到计算机的存储设备中,以数据方式存放的非线性编辑设备已经在普遍使用。这种非线性编辑设备解决了传统编辑方式的问题。
概括地讲,非线性编辑设备具有以下优点:1)素材以数据方式存储,由于硬盘的磁头可以跳跃寻址,立即就能找到存储的素材,对它的访问时间大大加快;2)图像处理、图形处理工具能借助计算机强大的运算能力使画面更加活泼生动;3)素材的复制过程是数据复制过程,该过程是无损的,不会造成画面质量下降;4)借助数据库的搜索功能可更容易地实现素材的管理和查询。
虽然非线性编辑设备具有上述优点,但它也有不利的方面。例如,它所需的资源消耗很大。对于我国的PAL制电视来说,不包含音频时,一秒钟的数据量为165Mbit。这个数据量非常大。如果一小时的节目有74G字节的数据,为此所采用的非线性编辑设备要花费大量的投资。虽然可使用视频压缩技术使节目存储时的成本降低很多,但是压缩总是带来节目质量的下降。因此,要保证节目质量,压缩不是没有限制的,在节目制作环节,采用目前流行的压缩比最高的IBP格式的MPEG2压缩,数据量也要在每秒10Mbit左右。这样的情况下,视频数据量仍然是惊人的。
从资源共享和便于管理的角度出发,现在的电视台采用联网的方式,把制作环节的非线性编辑机用网络连接起来。视频素材从一个工作站数据采集到存储装置后,其他工作站可以通过网络共享视频素材。这种应用的最大问题就是视频数据量太大,传送视频素材需要占用较多的带宽。一般的10Base-T、100Base-T以太网甚至千兆以太网都不能满足这种应用。因此,现在的电视台制作网络都采用光纤通道,网络形式为小区网络(SAN)结构。采用这样的方式才能使基于网络的电视节目编辑得以进行。然而,这需要大量的投资。另外,由于节目编辑人员必需使用这些价格昂贵的辅助设备(光纤通道、SAN存储体)才能工作,也限制了他们的工作方式。
下面结合图1说明目前通用的基于单码率素材的制作网。从图1可以看到,视频信号从放录机11传送到数据采集工作站12,在数据采集工作站12对视频信号进行压缩后将其发送到视频数据存储装置13。编辑工作站15(15-1,...,15-N)通过网络链路从视频数据存储装置13提取所需的视频数据并传送到专用编辑机(图中未示出)对视频信号进行编辑。编辑后的视频信号再经编辑工作站15送到视频数据存储装置13。合成工作站14把来自视频数据存储装置13的经编辑的视频信号合成最终的节目后下载到放录机以供以后播出。由于现有的电视节目制作网采用单一码率的视频数据,而高质量的视频信号的数据量非常大,传送视频信号要占用大量带宽,工作站之间必须全部使用光纤通道网络连接才能满足其带宽需要。另外,由于编辑工作站都是直接编辑大数据量的高码率数据,必须要带有硬件板卡支持的高性能专用编辑机才能胜任,这样就造成了网络及专用设备的价格昂贵,需要大量投资。
发明内容
鉴于上述问题,本发明提供一种使用双码率视频流技术处理视频信号的视频信号处理系统,该视频信号处理系统能以低码率编辑视频流并通过将编辑后的视频流与高码率视频流严格关联来播放高质量的视频信号。
另外,本发明还提供一种使用双码率视频流技术处理视频信号的视频信号处理方法,该方法能以低码率编辑视频流并通过将编辑后的视频流与高码率视频流严格关联来播放高质量的视频信号。
根据本发明的一个方面,提供一种使用双码率视频流处理视频信号的视频信号处理系统,该视频信号处理系统包括:播放视频信号流的放录机;采集放录机播放的视频信号流,复制采集到的视频信号帧,以便将视频信号流分成高码率视频数据和低码率视频数据,并分别对高码率视频数据和低码率视频数据进行压缩和编码的数据采集工作站;把来自数据采集工作站的,经压缩和编码的高码率视频数据和低码率视频数据分别存储在高码率视频数据存储区和低码率视频数据存储区的视频数据存储装置;从视频数据存储装置的低码率视频数据存储区提取低码率视频数据进行编辑并生成数据编辑信息表(EDL)的编辑工作站;按照生成的数据编辑信息表把经过编辑的低码率视频数据转换成相互关联的,按帧精度对应的高码率视频数据的合成工作站。
另外,数据采集工作站进一步包括存储采集的视频数据流的每一帧画面的缓存器,和对存储的帧画面进行复制以便得到与原始画面完全相同的帧画面的复制装置。
另外,数据采集工作站进一步包括对一路帧画面流进行压缩和编码以生成码率为8Mbps至50Mbps的高码率视频数据流的高码率压缩器,和对另一路帧画面流进行压缩和编码以生成码率为100Kbps至1.5Mbps的低码率视频数据流的低码率压缩器。
根据本发明的另一个方面,提供一种使用双码率视频流处理视频信号的视频信号处理方法,该方法包括步骤:播放视频信号流;采集播放的视频信号流,复制采集到的视频信号帧,以便将视频信号流分成高码率视频数据和低码率视频数据并分别对高码率视频数据和低码率视频数据进行压缩和编码;把经压缩和编码的高码率视频数据和低码率视频数据分别存储在高码率视频数据存储区和低码率视频数据存储区;从低码率视频数据存储区提取低码率视频数据进行编辑并生成数据编辑信息表(EDL);按照生成的数据编辑信息表把经过编辑的低码率视频数据转换成相互关联的,按帧精度对应的高码率视频数据。
另外,数据采集步骤进一步包括存储采集的视频数据流的每一帧画面,和对存储的帧画面进行复制以便得到完全相同的两路帧画面的步骤。
另外,数据采集步骤进一步包括对一路帧画面流进行压缩和编码以生成码率为8Mbps至50Mbps的高码率视频数据流,和对另一路帧画面流进行压缩和编码以生成码率为100Kbps至1.5Mbps的低码率视频数据流的步骤。
基于本发明的使用双码率视频流处理视频信号的系统和方法,在电视节目的制作过程中,由于编辑工作站与视频数据存储装置之间传输低码率视频流,节省了数据传输所需的带宽,因此除了数据采集工作站和合成工作站与视频数据存储装置之间的连接是光纤通道外,其他编辑工作站都是普通以太网连接,而不需要价格昂贵的网络辅助设备,不仅可以节省大量的网络投资,而且通用的以太网络可以大大降低维护费用。另外,由于编辑工作站直接编辑的是低数据量的低码率数据,普通PC机就可完成工作,而不再需要价格昂贵的专门硬件支持。
附图说明
通过下面结合附图详细说明本发明的实施例可以更清楚地理解本发明的特性和优点。
图1是根据现有技术基于单码率视频数据流来处理视频数据的系统的方框图;
图2是根据本发明实施例采用双码率视频数据流来处理视频数据的系统的方框图;
图3是根据本发明实施例由数据采集工作站生成高、低双码率视频数据流的示意方框图;
图4是根据本发明实施例基于双码率视频数据流制作电视节目的示意方框图;
图5是根据本发明实施例采用双码率视频数据流来处理视频数据的系统的工作流程图。
具体实施方式
下面参考图2和3说明根据本发明实施例采用双码率视频数据流来处理视频数据的系统的方框图。视频信号从诸如磁带机、DV摄像机、VCD/DVD机之类的放录机21通过如S端子、CVBS(复合信号)、YUV(分量信号)或SDI(数字信号)之类的连接线输出到数据采集工作站22。在数据采集工作站22中,由视频数据采集卡按照视频制式标准(对于PAL为720×576×25fps(每秒帧),对于NTSC为720×480×29.9fps)和设定的采集参数,以一定的速度采集输出的视频数据流,并将视频数据流变成数字视频帧画面流。
数据采集工作站22中的帧画面缓存器221存储采集到的数字视频帧画面流的每一帧画面。帧画面复制装置222复制存储的数字视频帧画面,以便得到与原始画面完全相同的帧画面拷贝,从而与原帧画面流一起形成内容相同的两路帧画面流,以保证送往视频压缩器的帧画面流在内容上的严格相关性。将得到的两路帧画面流中的一路送往诸如MPEG2、DV或MJPEG编码器之类的高码率视频压缩器223进行压缩和编码,生成码率在8Mbps~50Mbps之间的高画面质量的高码率视频数据流。将两路帧画面流中的另一路送往诸如MPEG4、MPEG1、WindowsMedia或Real Media编码器之类的低码率视频压缩器224进行压缩和编码,生成码率在100Kbps~1.5Mbps之间的一般画面质量的低码率视频数据流。高码率视频压缩器223和低码率视频压缩器224都与视频数据流采集时钟速度保持同步,以保证所生成的帧画面流在时间上的严格相关性。
所生成的两路对应的高码率和低码率视频数据流分别写入视频数据存储装置23。视频数据存储装置23中包括高码率视频数据流存储区和低码率视频数据流存储区。高码率视频数据流存储区保存高码率视频数据流,低码率视频数据流存储区保存低码率视频数据流。从图3中可以看出,由于视频流帧画面是在经数据采集到计算机后,送到视频压缩器压缩前进行复制的,根据计算机上数字复制的无损性可知,复制得到的帧画面流与原帧画面将完全相同,从而保证了在分别进行压缩后,所生成的不同码率的视频数据流的严格关联性。
编辑工作站25(25-1,...,25-N)通过网络链路从视频数据存储装置23的低码率视频数据流存储区提取所需的低码率视频数据,并通过普通以太网络将低码率视频数据传送到编辑工作站25(25-1,...,25-N)。编辑工作站25把低码率视频数据传送到普通PC机(图中未示出)对视频信号进行编辑。
参考图4说明基于双码率视频流技术进行电视节目制作的过程。在节目制作过程中,操作人员在编辑工作站25从网络上调用低码率视频数据进行浏览、编辑,并将编辑信息生成节目编辑信息表(EDL)。节目编辑信息表含有所有针对视频数据流的操作内容,例如在哪个时间点进行何种操作(剪切、特技)等等。节目制作完毕后,在最后生成播出节目时,在合成工作站24把低码率视频数据替换成与其一一对应的有严格关联性的高码率视频数据。按照节目编辑信息表的描述,合成最终的节目,然后再下载到放录机21或播出服务器用于播出。由于此时使用了高画面质量的高码率视频数据,节目质量得到了保证。
从上面所述的工作过程可以理解,除了数据采集工作站22和合成工作站24与视频数据存储装置23之间因高码率视频数据传送而需要光纤通道(FC)连接外,因其他编辑工作站与视频数据存储装置23之间传送的是低码率视频数据,所以它们之间都是普通以太网连接,并且可以用普通PC机对视频数据进行编辑,而不需要价格昂贵的网络辅助设备,不仅可以节省大量的网络投资,而且通用的以太网络可以大大降低维护费用。另外,由于合成工作站与视频数据存储装置23通过光纤通道(FC)连接,因此完全能满足高带宽的要求。
下面参考图5说明根据本发明实施例采用双码率视频数据流来处理视频数据的系统的工作流程图。首先,在步骤S51,从放录机21通过连接线向数据采集工作站22播放视频信号流。在步骤S52,数据采集工作站22采集播放的视频信号流。在步骤S53,数据采集工作站22中的帧画面缓存器221存储采集的视频数据流的每一帧画面,帧复制装置222对存储的帧画面进行复制以便得到完全相同的两路帧画面。在步骤S54,将视频信号流分成高码率视频数据和低码率视频数据。在步骤S55,高码率视频压缩器223对一路帧画面流进行压缩和编码以生成码率为8Mbps至50Mbps的高码率视频数据流,低码率视频压缩器224对另一路帧画面流进行压缩和编码以生成码率为100Kbps至1.5Mbps的低码率视频数据流。在步骤S56,把高码率视频数据和低码率视频数据分别存储在视频数据存储装置23的高码率视频数据存储区和低码率视频数据存储区。在步骤S57,编辑工作站25从低码率视频数据存储区提取低码率视频数据进行编辑并生成数据编辑信息表(EDL)。在步骤S58,合成工作站24按照生成的数据编辑信息表把经过编辑的低码率视频数据转换成相互关联的,按帧精度对应的高码率视频数据。
至此已结合实施例说明了本发明的具体实施过程。可以理解,在不脱离下列权利要求范围的精神和范围的情况下可对本发明进行修改和改进。
Claims (6)
1.一种使用双码率视频流处理视频信号的视频信号处理系统,该视频信号处理系统包括:
播放视频信号流的放录机(21);
采集放录机播放的视频信号流,复制采集到的视频信号帧,以便将视频信号流分成高码率视频数据和低码率视频数据,并分别对高码率视频数据和低码率视频数据进行压缩和编码的数据采集工作站(22);
把来自数据采集工作站的,经压缩和编码的高码率视频数据和低码率视频数据分别存储在高码率视频数据存储区和低码率视频数据存储区的视频数据存储装置(23);
从视频数据存储装置的低码率视频数据存储区提取低码率视频数据进行编辑并生成数据编辑信息表(EDL)的编辑工作站(25);
按照生成的数据编辑信息表把经过编辑的低码率视频数据转换成相互关联的,按帧精度对应的高码率视频数据的合成工作站(24)。
2.根据权利要求1所述的使用双码率视频流处理视频信号的视频信号处理系统,其特征在于所述数据采集工作站(22)进一步包括存储采集的视频数据流的每一帧画面的缓存器(221),和对存储的帧画面进行复制以便得到与原始画面完全相同的帧画面的复制装置(222)。
3.根据权利要求1或2所述的使用双码率视频流处理视频信号的视频信号处理系统,其特征在于所述数据采集工作站(22)进一步包括对一路帧画面流进行压缩和编码以生成码率为8Mbps至50Mbps的高码率视频数据流的高码率视频压缩器(223),和对另一路帧画面流进行压缩和编码以生成码率为100Kbps至1.5Mbps的低码率视频数据流的低码率压缩器(224)。
4.一种使用双码率视频流处理视频信号的视频信号处理方法,该方法包括步骤:
播放视频信号流;
采集播放的视频信号流,复制采集到的视频信号帧,以便将视频信号流分成高码率视频数据和低码率视频数据并分别对高码率视频数据和低码率视频数据进行压缩和编码;
把经压缩和编码的高码率视频数据和低码率视频数据分别存储在高码率视频数据存储区和低码率视频数据存储区;
从低码率视频数据存储区提取低码率视频数据进行编辑并生成数据编辑信息表(EDL);
按照生成的数据编辑信息表把经过编辑的低码率视频数据转换成相互关联的,按帧精度对应的高码率视频数据。
5.根据权利要求4所述的使用双码率视频流处理视频信号的视频信号处理方法,其特征在于数据采集步骤进一步包括存储采集的视频数据流的每一帧画面,和对存储的帧画面进行复制以便得到完全相同的两路帧画面的步骤。
6.根据权利要求4或5所述的使用双码率视频流处理视频信号的视频信号处理方法,其特征在于数据采集步骤进一步包括对一路帧画面流进行压缩和编码以生成码率为8Mbps至50Mbps的高码率视频数据流,和对另一路帧画面流进行压缩和编码以生成码率为100Kbps至1.5Mbps的低码率视频数据流的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB011312904A CN1160945C (zh) | 2001-09-05 | 2001-09-05 | 一种使用双码率视频流制作电视节目的系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB011312904A CN1160945C (zh) | 2001-09-05 | 2001-09-05 | 一种使用双码率视频流制作电视节目的系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1404302A CN1404302A (zh) | 2003-03-19 |
CN1160945C true CN1160945C (zh) | 2004-08-04 |
Family
ID=4670487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB011312904A Expired - Lifetime CN1160945C (zh) | 2001-09-05 | 2001-09-05 | 一种使用双码率视频流制作电视节目的系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1160945C (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100442845C (zh) * | 2006-03-08 | 2008-12-10 | 北京北大方正电子有限公司 | 一种低码流的视频素材审看的方法 |
CN101094406B (zh) * | 2007-07-23 | 2010-09-29 | 北京中星微电子有限公司 | 一种视频数据流的传输方法及装置 |
CN101706675B (zh) * | 2009-11-17 | 2013-04-17 | 北京中科大洋科技发展股份有限公司 | 一种具有内部切换功能的高标清视音频io卡 |
CN102238373A (zh) * | 2010-04-20 | 2011-11-09 | 上海精视信息技术有限责任公司 | 基于宽带移动通信技术的电视节目传输系统及工作方法 |
CN102316385A (zh) * | 2011-05-27 | 2012-01-11 | 上海东方传媒集团有限公司 | 一种实现节目制作的用户操作装置、系统及方法 |
CN102244785A (zh) * | 2011-06-16 | 2011-11-16 | 杭州华三通信技术有限公司 | 可变码率录像存储的方法及设备 |
CN102752538B (zh) * | 2011-11-30 | 2018-03-16 | 新奥特(北京)视频技术有限公司 | 一种代理码流素材的生成的方法 |
CN102802021B (zh) * | 2012-08-08 | 2016-01-20 | 无锡天脉聚源传媒科技有限公司 | 一种编辑多媒体数据的方法及装置 |
CN103731623B (zh) * | 2012-10-11 | 2018-02-02 | 杭州海康威视数字技术股份有限公司 | 数字硬盘录像机进行录像的方法及该数字硬盘录像机 |
CN103369368B (zh) * | 2013-06-24 | 2015-04-15 | 西安交通大学 | 一种支持多码率版本的视频云点播缓存调度方法 |
CN103902721A (zh) * | 2014-04-10 | 2014-07-02 | 中央电视台 | 一种数据前场处理方法和系统及后场发布方法和系统 |
CN104869431A (zh) * | 2015-05-18 | 2015-08-26 | 无锡天脉聚源传媒科技有限公司 | 一种视频处理方法及装置 |
CN106790558B (zh) * | 2016-12-26 | 2020-04-28 | 国家新闻出版广电总局电影数字节目管理中心 | 一种影片多版本整合存储和提取系统 |
CN106791539B (zh) * | 2016-12-26 | 2019-06-04 | 国家新闻出版广电总局电影数字节目管理中心 | 一种电影数字节目的存储和提取方法 |
CN107360380B (zh) * | 2017-06-28 | 2019-11-15 | 中国科学院西安光学精密机械研究所 | 一种双码率压缩摄像装置及其上位机解码装置 |
CN110087116B (zh) * | 2019-03-14 | 2022-03-04 | 咪咕视讯科技有限公司 | 多码率直播视频流剪辑方法、装置、终端及存储介质 |
CN113453021B (zh) * | 2021-03-24 | 2022-04-29 | 北京国际云转播科技有限公司 | 人工智能导播方法、系统、服务器和计算机可读存储介质 |
CN113453086A (zh) * | 2021-03-29 | 2021-09-28 | 北京国际云转播科技有限公司 | 多机位同步云导播方法、系统、存储介质和视频编码器 |
CN113271313A (zh) * | 2021-04-20 | 2021-08-17 | 北京国际云转播科技有限公司 | 云导播系统、调度方法和存储介质及多媒体调度服务器 |
CN113411647A (zh) * | 2021-04-20 | 2021-09-17 | 北京国际云转播科技有限公司 | 云导播方法、系统、服务器和计算器可读存储介质 |
CN113411640A (zh) * | 2021-04-21 | 2021-09-17 | 北京国际云转播科技有限公司 | 视频编码器、云转播方法、服务器、系统及存储介质 |
-
2001
- 2001-09-05 CN CNB011312904A patent/CN1160945C/zh not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
CN1404302A (zh) | 2003-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1160945C (zh) | 一种使用双码率视频流制作电视节目的系统和方法 | |
JP3907947B2 (ja) | Sdtvデバイスを用いたhdtvの編集およびエフェクトの事前視覚化 | |
US20030185301A1 (en) | Video appliance | |
US20040240541A1 (en) | Method and system for direct ingest and storage of digital video content with immediate access to content for browsing and editing | |
US10945004B2 (en) | High-quality, reduced data rate streaming video production and monitoring system | |
US9020042B2 (en) | Audio/video speedup system and method in a server-client streaming architecture | |
EP1781030A1 (en) | Recording apparatus and method, reproducing apparatus and method, recording medium, and program | |
JPH0991463A (ja) | 画像編集装置 | |
WO2001069936A3 (en) | Method and apparatus for generating compact transcoding hints metadata | |
US6229576B1 (en) | Editing system with router for connection to HDTV circuitry | |
EP1188318A1 (en) | System and method for providing an enhanced digital video file | |
KR20130099723A (ko) | 초고화질 영상 컨텐츠 편집 및 재생을 위한 입출력 시스템 | |
US20050039211A1 (en) | High-quality, reduced data rate streaming video production and monitoring system | |
US7046251B2 (en) | Editing system with router for connection to HDTV circuitry | |
CN1777269A (zh) | 智能型网络化高清非线性编辑系统 | |
CN101430912B (zh) | 数据编辑方法 | |
CN100579080C (zh) | 一种即时通讯中信息回放的方法和系统 | |
CN1470128A (zh) | 声音/图像数据记录重放装置和方法、以及声音/图像数据重放装置和方法 | |
WO2004088984A1 (en) | Video data storage and retrieval system and method with resolution conversion | |
CN2588701Y (zh) | 网络媒体播放器 | |
JP2000156840A (ja) | 複数のフォ―マットのデ―タを同期させる方法及び装置 | |
CN2817259Y (zh) | 流媒体编码机 | |
CN201601778U (zh) | 录播工作站系统 | |
Mauthe et al. | MPEG standards in media production, broadcasting and content management | |
Walland et al. | The application of intimate metadata in post-production |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CX01 | Expiry of patent term |
Granted publication date: 20040804 |
|
CX01 | Expiry of patent term |