CN101742167B - 视频处理电路以及将视频输出流与图形流合并传输的方法 - Google Patents
视频处理电路以及将视频输出流与图形流合并传输的方法 Download PDFInfo
- Publication number
- CN101742167B CN101742167B CN2009101714258A CN200910171425A CN101742167B CN 101742167 B CN101742167 B CN 101742167B CN 2009101714258 A CN2009101714258 A CN 2009101714258A CN 200910171425 A CN200910171425 A CN 200910171425A CN 101742167 B CN101742167 B CN 101742167B
- Authority
- CN
- China
- Prior art keywords
- video output
- video
- output streams
- graphical stream
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 73
- 230000005540 biological transmission Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000004891 communication Methods 0.000 claims abstract description 53
- 238000012958 reprocessing Methods 0.000 claims description 30
- 238000012805 post-processing Methods 0.000 claims description 14
- 238000012546 transfer Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 20
- 239000000203 mixture Substances 0.000 description 12
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 2
- 241001125929 Trisopterus luscus Species 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000005267 amalgamation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
- H04N7/0806—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division the signals being two or more video signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种视频处理电路以及将视频输出流与图形流合并传输的方法。视频处理电路,包括:视频产生单元,根据视频输入流产生视频输出流;图形产生单元,提供图形流;以及通信接口电路,耦接于视频产生单元与图形产生单元,通信接口电路,于第一模式,通信接口电路将视频输出流与图形流混合,通过信道传输已混合视频输出流,其中在已混合视频输出流中,图形流的数据混合视频输出流的被图形流覆盖部分的数据;于第二模式,通信接口电路将视频输出流与图形流合并,通过信道传输第一已合并信号,其中第一已合并信号包含图形流与视频输出流的全部原始数据。本发明提供的将视频输出流与图形流合并以用于传输的视频处理电路与相关方法,可节约成本。
Description
技术领域
本发明涉及视频处理电路及其方法,尤其涉及视频处理电路以及将视频输出流与图形流合并传输的方法。
背景技术
在传统数字电视芯片应用中,通常将辅助图形,例如屏幕显示(On Screen Display,OSD)信息或数据,覆盖在视频输出流上以作为用户接口或用户菜单。通常,传统混合器将图形与视频输出流混合至单一的已混合数据中,接着,将已混合数据传输至显示面板以用于进一步显示。
请参考图1,图1为第一传统视频处理电路100的示意图。视频处理电路100包括视频处理芯片110与视频输出装置130,其中视频处理芯片110包括视频产生单元112、O SD编码器114、混合器116以及第一信号传输机118。视频产生单元112根据视频输入流SIN产生视频输出流SOUT。OSD编码器114产生已编码辅助图形数据D1。混合器116耦接于视频产生器112与OSD编码器114,且混合器116用于将视频输出流SOUT与辅助图形数据D1混合,以产生单一已混合数据DMIX,接着,第一信号传输机118通过低电压差动信号(Low Voltage Differential Signal,LVDS)接口将已混合数据DMIX传输至视频输出装置130。更特别的,视频处理芯片110为安装于数字电视中的电视芯片,并且视频输出装置130可为记录器或平板显示器(Flat Panel Display,FPD),例如等离子面板(plasma panel)。
为了提高视频质量,后处理(post-processing)芯片对数字电视芯片应用来说是必要的。请参考图2,图2为第二传统视频处理电路200的示意图。图2中,与图1中具有相同参考数字的组件是 相同的组件,相关介绍不再赘述。视频处理电路200与视频处理电路100之间的差异在于,视频处理电路200进一步包括视频后处理芯片220,其中视频后处理芯片220耦接于视频处理芯片110与视频输出装置130之间。视频后处理芯片220包括第一信号接收机222、视频后处理单元224以及第二信号传输机226。第一信号接收机222耦接于第一信号传输机118,用于接收已混合数据DMIX,并且视频后处理单元224耦接于第一信号接收机222,用于接收并后处理已混合数据DMIX,以产生已处理混合数据DPMIX。接着,第二信号传输机226通过LVDS接口将已处理已混合数据DPMIX传输至视频输出装置130。
由于将视频输出流SOUT与辅助图形数据D1混合以产生已混合数据DMIX,所以通过视频后处理单元224利用相同的方案将视频输出流SOUT与辅助图形数据D1后处理,以提高视频质量。由于视频质量提高应用于已混合数据DMIX,而已混合数据DMIX包括图形数据D1的内容,且图形数据D1的内容替代原先由视频输出流SOUT承载的内容中的已覆盖部分,并且与相应于视频输出流SOUT的其余内容相差很远,因此,图形数据D1附近边缘的质量可能很差。
请参考图3,图3为第三传统视频处理电路300的示意图。图3中,与图2中具有相同参考数字的组件是相同的组件,相关介绍不再赘述。同样,视频处理电路300包括视频处理芯片310、视频后处理芯片320以及视频输出装置130。图3中的视频处理电路300与图2中的视频处理电路200的差异如下。在视频处理芯片310的操作过程中,视频输出流SOUT与辅助图形数据D1未混合并且分别被传输至第一信号传输机118。这时,视频后处理单元224仅后处理视频输出流SOUT,以产生已处理视频输出流SPOUT以提高视频质量。直接将辅助图形数据D1传输至混合器318而不经过视频后处理单元224的后处理操作。之后,混合器318将已处理视频输出流SPOUT与辅助图形数据D1混合,以产生第二已混合信号DPMIX2。在这种情况下,由视频输出流承载的整个视频内容在与辅助图形数据 D1混合之前即经历视频提高,因此可提高辅助图形数据D1区域边缘周围的质量,但是仍需要额外的输入/输出接头(pin)以将辅助图形数据D1传输至第一信号接收机222。
目前,通常在多数视频处理电路中加入后处理芯片以提高视频质量。然而如果在视频处理芯片的操作过程中将视频输出流SOUT与辅助图形数据D1混合,则视频输出流SOUT与辅助图形数据D1都由视频后处理芯片进行后处理,由于混合过程发生在后处理过程之前,所以导致辅助图形数据D1区域周围的质量很差。如果在视频后处理芯片的操作过程中将视频输出流SOUT与辅助图形数据D1混合(即后处理过程发生在混合过程之前),则仅有视频输出流SOUT由视频后处理芯片进行后处理,因此可提高视频质量。但此方法需要额外的输入/输出接头以传输辅助图形数据D1,并不节约成本。
发明内容
有鉴于此,本发明提供视频处理电路以及将视频输出流与图形流合并传输的方法。
一种视频处理电路,包括:视频产生单元,用于根据视频输入流产生视频输出流;图形产生单元,用于提供图形流;以及通信接口电路,耦接于所述视频产生单元与所述图形产生单元,所述通信接口电路运作于第一模式与第二模式,于所述第一模式,所述通信接口电路将所述视频输出流与所述图形流混合,以通过信道传输已混合视频输出流,其中在已混合视频输出流中,图形流的数据替换视频输出流的被图形流覆盖部分的数据;于所述第二模式,所述通信接口电路将所述视频输出流与所述图形流合并,以通过所述信道传输第一已合并信号,其中第一已合并信号包含图形流与视频输出流的全部原始数据,并且合并操作是将图形流合并至视频输出流中,而不是将视频输出流中被图形流覆盖部分的数据替换为图形流。
一种将视频输出流与图形流合并传输的方法,所述方法包 括:根据视频输入流产生视频输出流;提供图形流;以及提供第一模式与第二模式,于所述第一模式,将所述视频输出流与所述图形流混合以通过信道传输已混合视频输出流,其中在已混合视频输出流中,图形流的数据替换视频输出流的被图形流覆盖部分的数据;于所述第二模式,将所述视频输出流与所述图形流合并以通过所述信道将第一已合并信号传输至后处理芯片,其中第一已合并信号包含图形流与视频输出流的全部原始数据,并且合并操作是将图形流合并至视频输出流中,而不是将视频输出流中被图形流覆盖部分的数据替换为图形流。
本发明所提供的将视频输出流与图形流合并以用于传输的视频处理电路与相关方法,可节约成本。
以下为根据多个图式对本发明的较佳实施例进行详细描述,所属技术领域技术人员阅读后应可明确了解本发明的目的。
附图说明
图1为第一传统视频处理电路的示意图。
图2为第二传统视频处理电路的示意图。
图3为第三传统视频处理电路的示意图。
图4为根据本发明第一实施例的视频处理电路的示意图。
图5为根据本发明第二实施例的视频处理电路的示意图。
图6为根据本发明第三实施例的视频处理电路的示意图。
图7为传统LVDS信号编码器的示意图。
图8为根据本发明的新颖的LVDS信号编码的第一实施例的示意图。
图9为根据本发明的新颖的LVDS信号编码的第二实施例的示意图。
图10为根据本发明的新颖的LVDS信号编码的第三实施例的示意图。
图11为根据本发明实施例将视频输出流与图形流合并以用于传输的方法的流程图。
图12为根据本发明另实施例的合并视频信号与图形流以用于传输的方法的流程图。
具体实施方式
在说明书及后续的权利要求当中使用了某些词汇来指称特定的组件。所属领域中具有通常知识者应可理解,硬件制造商可能会用不同的名词来称呼同一个组件。本说明书及后续的权利要求并不以名称的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。在通篇说明书及后续的请求项当中所提及的“包含”为开放式的用语,故应解释成“包含但不限定于”。以外,“耦接”一词在此包含任何直接及间接的电气连接手段。因此,若文中描述第一装置耦接于第二装置,则代表该第一装置可直接电气连接于该第二装置,或透过其它装置或连接手段间接地电气连接至该第二装置。
请参考图4。图4为根据本发明第一实施例的视频处理电路400的示意图。视频处理电路400包括视频处理芯片410、视频后处理芯片420以及视频输出装置430。在一个实施例中,将视频产生单元412、图形产生单元414以及通信接口电路416配置于视频处理芯片410中;将第一信号接收机422、视频后处理单元424、译码单元426、混合器428以及第二信号传输机429配置于后处理芯片420中,其中后处理芯片420耦接于视频处理芯片410。
请继续参考图4。视频产生单元412用于根据视频输入流SIN产生视频输出流SOUT,图形产生单元414用于提供图形流PD1。通信接口电路416耦接于视频产生单元412与图形产生单元414。通信接口电路416运作于第一模式(如图中4A所示)与第二模式(如图中4B所示)。于第一模式,将视频输出流SOUT与辅助图形流PD1混合并通过信道LVDS传输已混合视频输出流SMOUT至视频输出装置530;于第二模式,将视频输出流SOUT与图形流PD1合并并通过信道LVDS传输第一已合并信号SM1。其 中通过将视频输出流SOUT的内容与图形流PD1的内容结合以产生已混合视频输出流SMOUT,以及通过将视频输出流SOUT与图形流PD1置于信道LVDS中以产生第一已合并信号SM1。需要注意的是,所述合并操作与前面所述混合操作是不同的,因为已合并结果(例如第一已合并信号SM1)包含即将合并的两个输入信号的全部原始数据。换句话说,所述合并操作是将图形流PD1合并至视频输出流SOUT中,而不是将视频输出流SOUT中的已覆盖部分(例如相应于由OSD区域覆盖的显示区域的原始视频数据)替换为图形流PD1。
于第一模式中,通信接口电路416将视频输出流SOUT与图形流PD1混合并通过信道LVDS传输已混合视频输出流SMOUT。这种情况下,视频处理芯片410直接耦接于视频输出装置530。
于第二模式中,通信接口电路416将视频输出流SOUT与图形流PD1合并并通过信道LVDS传输第一已合并信号SM1。信号合并之后,将第一已合并信号SM1传输至第一信号接收机422。第一信号接收机422接收第一已合并信号SM1并从第一已合并信号SM1中提取视频输出流SOUT与图形流PD1。视频后处理单元424耦接于第一信号接收机422,用于接收并处理从第一已合并信号SM1中提取的视频输出流SOUT,以产生已处理视频输出流SPOUT。译码单元426耦接于第一信号接收机422,用于译码图形流PD1以产生已译码图形流PD2。这时,混合器428接收已处理视频输出流SPOUT与已译码图形流PD2并将已处理视频输出流SPOUT与已译码图形流PD2混合以产生第二已合并信号SM2。最后,第二信号传输机429通过LVDS将第二已合并信号SM2输出至视频输出装置430,以进行显示。
在一个实施例中,将视频处理电路400安装于数字电视中。需要注意的是,尽管如前所述将本实施例中的视频处理电路400安装于数字电视中,但是所属技术领域技术人员可知,视频处理电路400可应用于任何其它需要类似视频处理的产品中。请注 意,视频输出装置430可为记录器或平板显示器,例如DVD记录器或等离子面板。
在此实施例中,第二信号传输机429为LVDS传输机,第一信号接收机422为LVDS接收机。因此,通过LVDS接口传输第一已合并信号SM1与第二已合并信号SM2,但这仅用于解释本发明,而并非限制本发明。可通过其它接口传输第一已合并信号SM1与第二已合并信号SM2,例如通过晶体管-晶体管逻辑(Transistor-Transistor LoGIc,TTL)接口传输,所属技术领域技术人员可知如何进行操作,在此不再赘述。
请注意,图形产生单元414可为配置于视频处理芯片410中的OSD编码器,或视频处理芯片410的外部存储装置或其它组件。详细描述如下。
请参考图5,图5为根据本发明一第二实施例的视频处理电路500的示意图。图5中,与图4中具有相同参考数字的组件是相同的组件,相关介绍不再赘述。在此实施例中,图形产生单元为OSD编码器514且配置于视频处理芯片510中,译码单元为OSD译码器526且配置于视频后处理芯片520中。在图中所示,通信接口电路416处于第二模式。OSD编码器514产生图形流PD1(即OSD数据),接着,通信接口电路416将视频输出流SOUT与图形流PD1(即OSD数据)合并,以产生第一已合并信号SM1。第一信号接收机422接收第一已合并信号SM1并从第一已合并信号SM1中提取视频输出流SOUT与图形流PD1之后,OSD译码器526译码图形流PD1(即OSD数据)以产生已译码图形流PD2(即已译码OSD数据)。
图6为根据本发明一第三实施例的视频处理电路600的示意图。图5中,与图4中具有相同参考数字的组件是相同的组件,相关介绍不再赘述。在此实施例中,图形产生单元为视频处理芯片610的外部存储装置614,视频后处理芯片620进一步包括第二存储装置625,第二存储装置625耦接于译码单元426。请注意,并不将外部存储装置614配置于视频处理芯片610中,且外 部存储装置614作为外部数据源,用于储存和提供图形流PD-1。这样,图形流PD-1可为图表(table)、索引、程序代码或其它用于视频应用中的数据,但并不仅限于此。在图中所示,通信接口电路416处于第二模式。外部存储装置614提供图形流PD-1-至通信接口电路416,且通信接口电路416将视频输出流SOUT与图形流PD1(例如程序代码)合并,以产生第一已合并信号SM1。第一信号接收机422接收第一已合并信号SM1并从第一已合并信号SM1中提取出视频输出流SOUT与图形流PD1(即程序代码)之后,接着,译码单元426译码图形流PD1(即程序代码),以产生已译码图形流PD2(即已译码程序代码)。接着,将图形流PD2储存于第二存储装置625中。在一个实施例中,第二存储装置625可包括DRAM、SRAM或寄存器文件。
请注意,图形产生单元414可为配置于视频处理芯片中的内部组件,也可为配置于视频处理芯片之外的外部组件。图形流PD1可为OSD数据、图表、索引、程序代码或其它数据,但并不仅限于此。任何所属技术领域技术人员可依据本发明的精神轻易完成的改变或均等性的安排均属于本发明所主张的范围。
以下实施例关于在第二模式中,通信接口电路416将视频输出流SOUT与图形流PD1合并的方法与操作。
请参考图7,图7为传统LVDS信号编码器的示意图。图7代表用于8-位RGB格式与2个信道的LVDS传输。在每个信道中包括24个位用于R/G/B信号(每个信号具有8个位)、1个位用于水平同步(Hsync)控制信号、1个位用于垂直同步(Vsync)控制信号、1个位用于数据使能信号以及1个保留的(reserved(位,其中,每个信道的位代表视频输出流SOUT。因此,在这两个信道中,LVDS传输总共具有56个位。假设LVDS传输以75Hz(或60Hz用于全高清Full-HD)运行并且所有的信号都通过总线A0-A8传输。在一个周期(例如图7中的当前周期)内,通过总线A0传输位GU0、RU5、...、RU1、以及RU0,通过总线A1 传输位BU1、BU0、...、GU2、以及GU0,等等。所以,在当前周期中,可通过LVDS传输来传输所有的56个位。
请参考图8,图8为根据本发明的新颖的LVDS信号编码的第一实施例的示意图。图8代表用于8-位RGB格式与2个信道的LVDS传输。图8中,与图7中的LVDS传输类似,每个信道包括28个位且LVDS传输总共具有56个位(代表视频输出流SOUT)。在此实施例中,通信接口电路416处于第二模式中,并通过提高通信接口电路416的工作频率将视频输出流SOUT与图形流PD1合并,以提高信道LVDS的频宽。假设图8中LVDS传输以150Hz运行并且所有信号由总线A0-A8传输。在一个周期中(例如图8中的当前周期),可通过LVDS传输来传输全部112个位元因为此时以150Hz运行。因此,除了视频输出流SOUT的56个位可通过LVDS传输进行传输外,提高的时钟速率带来的额外频宽可用于传输图形流PD1(标志为OSDU0-OSDU27与OSDL0-OSDL27)的额外56个位数据,例如OSD数据、图标、索引或程序代码。
请参考图9,图9为根据本发明的新颖的LVDS信号编码的一第二实施例的示意图。图9代表用于YC 4:2:2格式与2个信道的LVDS传输。在此实施例中,通信接口电路416处于第二模式,并且通过压缩视频输出流SOUT将视频输出流SOUT与图形流PD1合并。每个信道包括8个位用于Y信号以及8个位用于C信号、1个位用于水平同步信号、1个位用于垂直同步信号、1个位用于数据使能信号、以及1个保留位,其中Y信号可为亮度信号(luminance signal),C信号可为色彩信号(chrominance signal)。假设LVDS传输同样以75Hz运行(或60Hz用于全高清Full-HD)并且所有信号由总线A0-A8传输。在一个周期中(例如图9中的当前周期),可通过LVD S传输来传输全部56个位元。然而,由于应用的YC 4:2:2格式,视频输出流SOUT只有40个位通过LVDS传输来传输,其余的频宽可用于传输图形流PD1 (标志为OSDU0-OSDU7与OSDL0-OSDL7)的额外16个位数据。
请注意,在上述实施例中,通过将视频输出流SOUT从第一色彩深度(color depth)格式(R/G/B)变换为第二色彩深度格式(Y/C),通信接口电路416压缩视频输出流SOUT。此实施例仅用于解释本发明,并非用来限制本发明的范畴。例如,在其它替代设计中,可配置通信接口电路416通过用视频输出流SOUT的色彩索引代替视频输出流SOUT的实际色彩值,或通过将视频输出流SOUT变换为封包格式(packet format),来压缩视频输出流SOUT。所属技术领域技术人员可知压缩视频输出流SOUT的操作,在此不再赘述。
请参考图10,图10为根据本发明的新颖的LVDS信号编码的一第三实施例的示意图。图10代表用于8-位RGB格式与2个信道的LVDS传输。在此实施例中,通信接口电路416处于第二模式并且通过利用视频输出流SOUT中视频控制信号的传输频宽的一部分以传输图形流PD1,将视频输出流SOUT与图形流PD1合并。每个信道包括用于R/G/B的24个位(每个信号具有8个位),但是仅有一个信道需要传输视频控制信号,例如1位用于水平同步控制信号,1位用于垂直同步控制信号,1位用于数据使能信号。假设LVDS传输75Hz(或60Hz用于全高清Full-HD)运行并且所有的信号都通过总线A0-A8传输。在一个周期(例如图9中的当前周期)内,可通过LVDS传输来传输所有的56个位。然而,视频输出流SOUT只有51个位通过LVDS传输来传输,其余的频宽可用于传输图形流PD1(标志为OSDU0与OSDL0-OSDL3)的额外5个位数据。
请注意,尽管上述实施例提出三种方案以阐释本发明的技术特征,但并非用来限制本发明的范畴。任何所属技术领域技术人员可依据本发明的精神轻易完成的改变或均等性的安排均属于本发明所主张的范围。任何图8至图10中所述的技术方案的组合均属于本发明所主张的范围。
请参考图11,图11为根据本发明一实施例将视频输出流与图形流合并以用于传输的方法的流程图。所述方法包括如下步骤:
步骤1102:根据视频输入流SIN产生视频输出流SOUT;
步骤1104:提供图形流PD1;
步骤1106:确定通信接口电路416处于第一模式还是第二模式。如果通信接口电路416处于第一模式则进行步骤1108,否则进行步骤1112。
步骤1108:将视频输出流SOUT与图形流PD1混合以通过信道LVDS传输已混合视频输出流SMOUT。
步骤1110:接收并且根据已混合视频输出流SMOUT显示视频图像。
步骤1112:接收并且将视频输出流SOUT与图形流PD1合并,以通过信道LVDS传输第一已合并信号SM1;
步骤1114:接收第一已合并信号SM1并且从第一已合并信号SM1中提取视频输出流SOUT与图形流PD1;
步骤1116:接收并且后处理从第一已合并信号SM1中提取的视频输出流SOUT,以产生已处理视频输出流SPOUT;
步骤1118:译码图形流PD1并产生已译码图形流PD2;
步骤1120:将已处理视频输出流SPOUT与已译码图形流PD2混合,以产生第二已合并信号SM2;
步骤1122:输出第二已合并信号SM2;以及
步骤1124:接收并且根据第二已合并信号SM2显示视频图像。
请结合图11参考图4。视频产生单元412根据视频输入信号SIN产生视频输出流SOUT-(步骤1102),并且图形产生单元414提供图形流PD1(步骤1104)。这时,确定通信接口电路416处于第一模式还是第二模式(步骤1106)。接下来,分两种情况说明流程。如果通信接口电路416处于第一模式,则执行步骤1108至步骤1110。如果通信接口电路416处于第二模式,则执 行步骤1112至步骤1124。当通信接口电路416处于第一模式时(如第4A图中所示),将视频输出流SOUT与图形流PD1混合,以通过信道LVDS输出已混合视频输出流SMOUT(步骤1108),接着视频输出装置530接收并且根据已混合视频输出流SMOUT显示视频图像。当通信接口电路416处于第二模式时(如第4B图所示),通信接口电路416接收并且将视频输出流SOUT与图形流PD1合并,以通过信道LVDS传输第一已合并信号SM1(步骤1112),接着,第一信号接收机422接收第一已合并信号SM1并且从第一已合并信号SM1中提取视频输出流SOUT与图形流PD1(步骤1114)。然后,视频后处理单元424接收并且后处理从第一已合并信号SM1中提取的视频输出流SOUT,以产生已处理视频输出流SPOUT(步骤1116),译码单元426译码图形流PD1,以产生已译码图形流PD2(步骤1118)。混合器428将已处理视频输出流SPOUT与已译码图形流PD2混合,以产生第二已合并信号SM2(步骤1120)。最后,第二信号传输机429通过LVDS接口输出第二已合并信号SM2至视频输出装置430,视频输出装置430根据第二已合并信号SM2显示视频图像(步骤1122至步骤1124)。
请注意,在步骤1112中,通过提高通信接口电路416的工作频率以提高信道的频宽,通过利用视频输出流SOUT中视频控制信号的传输频宽的一部分以传输图形流PD1,通过压缩视频输出流SOUT或者上述操作的任何组合,将视频输出流SOUT与图形流PD1合并。详细说明已于图8至图10中的实施例中描述,因此不再赘述。另外,可通过将视频输出流SOUT从第一色彩深度格式转换为第二色彩深度格式,通过用视频输出流的色彩索引替代视频输出流的实际色彩值,或者通过将视频输出流转换至封包格式(如图9中所述实施例),可执行压缩视频输出流SOUT的操作。以上仅为本发明较佳实施例,并不能用于限制本发明。所属技术领域技术人员可依据本发明的精神轻易完成的改变或均等性的安排均属于本发明所主张的范围。
请参考图12。图12为根据本发明另一实施例的合并视频信号与图形流以用于传输的方法的流程图。所述方法步骤如下:
步骤1202:根据视频输入流SIN产生视频输出流SOUT-;
步骤1204:储存并且提供图形流PD1;
步骤1206:确定通信接口电路416处于第一模式还是第二模式。如果通信接口电路416处于第一模式,则执行步骤1208;否则执行步骤1212。
步骤1208:将视频输出流SOUT与图形流PD1混合,以通过信道LVDS传输已混合视频输出流SMOUT。
步骤1210:接收并且根据已混合视频输出流SMOUT显示视频图像。
步骤1212:接收并且将视频输出流SOUT与图形流PD1合并,以传输第一已合并信号SM1;
步骤1214:接收第一已合并信号SM1并且从第一已合并信号SM1中提取视频输出流SOUT与图形流PD1;
步骤1216:接收并且后处理从第一已合并信号SM1中提取的视频输出流SOUT,以产生已处理视频输出流SPOUT;
步骤1218:译码图形流PD1以产生已译码图形流PD2;
步骤1219:储存已译码图形流PD2;
步骤1220:将已处理视频输出流SPOUT与已译码图形流PD2混合,以产生第二已合并信号SM2;
步骤1222:输出第二已合并信号SM2;以及
步骤1224:接收并且根据第二已合并信号SM2显示视频图像。
请结合图12参考图6,并且比较图11与图12。图11与图12的区别如下。在步骤1204中,由外部存储装置614储存并且提供图形流PD1。这种情况下,外部存储装置614可为DRAM并且没有配置于视频处理芯片610中。因此,图形流PD1可为储存于外部存储装置614中的图表、索引或者程序代码。但是图11中的步骤1104中,由图形产生单元414提供图形流PD1,其 中图形产生单元414配置于视频处理芯片610中。在步骤1218至步骤1219中,由译码单元426译码图形流PD1以产生已译码图形流PD2,并且将已译码图形流PD2储存于第二存储装置625中,第二存储装置625可为SRAM、DRAM或寄存器文件。但是在图11中的步骤1112中,没有储存图形流PD2。
上述实施例仅用来描述本发明,但本发明并不仅限于此。在上述实施例中,通过LVDS接口传输第一已合并信号SM1与第二已合并信号SM2,但这仅用来描述本发明,并不能限制本发明。可通过其它接口(例如TTL接口)传输第一已合并信号SM1与第二已合并信号SM2。另外,通信接口电路416可操作于第一模式或第二模式。第一模式用于混合视频输出流SOUT与图形流PD1,以通过信道LVDS传输已混合视频输出流SMOUT,并且视频处理芯片410直接耦接于视频输出装置530。第二模式用于将视频输出流SOUT与图形流PD1合并,以通过信道LVDS传输第一已合并信号SM1,视频处理芯片410耦接于后处理芯片420,之后耦接于视频输出装置430。请注意,图形产生单元414可为配置于视频处理芯片410中的OSD编码器,视频处理芯片410的外部存储装置,或者其它组件,但并不仅限于此。另外,图形流PD1可为OSD数据、图表、索引、程序代码或其它数据,但并不仅限于此。请注意,在上述实施例中,通过提高通信接口电路416的工作频率以提高信道的频宽,通过利用视频输出流SOUT中视频控制信号的传输频宽的一部分以传输图形流PD1,通过压缩视频输出流SOUT或者上述操作的任何组合,将视频输出流SOUT与图形流PD1合并。另外,通过将视频输出流从第一色彩深度格式转换为第二色彩深度格式,通过用视频输出流的色彩索引替代视频输出流的实际色彩值,或者通过将视频输出流转换至封包格式,可执行压缩视频输出流SOUT的操作。以上仅为本发明较佳实施例,并不能用于限制本发明。
综上所述,本发明提供将视频输出流与图形流合并以用于传输的处理系统与相关方法。在第二模式中,因为通信接口电路 416将视频输出流SOUT与图形流PD1合并以用于传输,所以不需要额外的输入/输出接头来传输图形流PD1,因此节约成本。
另外,视频后处理单元424仅将从第一已合并信号SM1中提取的视频输出流SOUT后处理,因此,不但可提高视频输出流SOUT的视频质量,而且图形流PD-1附近的质量也保持良好。另外,各种形式的图形流PD1都可通过本发明的视频处理电路传输。
上述的实施例仅用来例举本发明的实施态样,以及阐释本发明的技术特征,并非用来限制本发明的范畴。任何所属技术领域技术人员可依据本发明的精神轻易完成的改变或均等性的安排均属于本发明所主张的范围,本发明的权利范围应以权利要求为准。
Claims (23)
1.一种视频处理电路,其特征在于,包括:
视频产生单元,用于根据视频输入流产生视频输出流;
图形产生单元,用于提供图形流;以及
通信接口电路,耦接于所述视频产生单元与所述图形产生单元,所述通信接口电路运作于第一模式与第二模式,于所述第一模式,所述通信接口电路将所述视频输出流与所述图形流混合,以通过信道传输已混合视频输出流,其中在所述已混合视频输出流中,所述图形流的数据替换所述视频输出流的被所述图形流覆盖部分的数据;于所述第二模式,所述通信接口电路将所述视频输出流与所述图形流合并,以通过所述信道传输第一已合并信号,其中所述第一已合并信号包含所述图形流与所述视频输出流的全部原始数据,并且所述合并操作是将所述图形流合并至所述视频流中,而不是将所述视频流中被所述图形流覆盖部分的数据替换为所述图形流。
2.根据权利要求1所述的视频处理电路,其特征在于,进一步包括:
视频输出装置,耦接于所述通信接口电路,并且于所述第一模式时,所述视频输出装置通过所述信道接收所述已混合视频输出流;或者
视频后处理装置,耦接于所述通信接口电路,并且于所述第二模式时,所述视频后处理装置通过信道接收所述第一已合并信号。
3.根据权利要求1所述的视频处理电路,其特征在于,于所述第二模式时,通过提高所述通信接口电路的工作频率以提高所述信道的频宽,所述通信接口电路将所述视频输出流与所述图形流合并。
4.根据权利要求1所述的视频处理电路,其特征在于,于所述第二模式时,利用所述视频输出流中视频控制信号的传输频宽的一部分以传输所述图形流,所述通信接口电路将所述视频输出流与所述图形流合并。
5.根据权利要求1所述的视频处理电路,其特征在于,于所述第二模式时,通过压缩所述视频输出流,所述通信接口电路将所述视频输出流与所述图形流合并。
6.根据权利要求5所述的视频处理电路,其特征在于,所述通信接口电路通过根据下操作压缩所述视频输出流:
将所述视频输出流从第一色彩深度格式转换为第二色彩深度格式;
用所述视频输出流的色彩索引替代所述视频输出流的实际色彩值;或者
将所述视频输出流转换为封包格式。
7.根据权利要求1所述的视频处理电路,其特征在于,所述通信接口电路为低电压差分信号接口电路。
8.根据权利要求1所述的视频处理电路,其特征在于,所述图形流包括屏幕显示数据。
9.根据权利要求1所述的视频处理电路,其特征在于,所述视频产生单元与所述通信接口电路配置于视频处理芯片中。
10.根据权利要求9所述的视频处理电路,其特征在于,所述图形产生单元为屏幕显示编码器,配置于所述视频处理芯片中,以用于产生所述图形流。
11.根据权利要求9所述的视频处理电路,其特征在于,所述图形产生单元为所述视频处理芯片的外部存储装置,用于储存并且提供所述图形流。
12.根据权利要求1所述的视频处理电路,其特征在于,进一步包括:
第一信号接收机,耦接于所述通信接口电路,并且用于接收所述第一已合并信号以及从所述第一已合并信号中提取所述视频输出流与所述图形流;
视频后处理单元,耦接于所述第一信号接收机,用于接收以及后处理从所述第一已合并信号中提取的所述视频输出流,以产生已处理视频输出流;
译码单元,耦接于所述第一信号接收机,用于译码所述图形流以产生已译码图形流;
混合器,耦接于所述视频后处理单元与所述译码单元,用于将所述已处理视频输出流与所述已译码图形流混合,以产生第二已混合信号;以及
第二信号传输机,耦接于所述混合器,用于输出所述第二已混合信号。
13.根据权利要求12所述的视频处理电路,其特征在于,所述视频产生单元、所述图形产生单元以及所述通信接口电路配置于视频处理芯片中,所述第一信号接收机、所述视频后处理单元、所述译码单元、所述混合器以及所述第二信号传输机配置于后处理芯片中,所述后处理芯片耦接于所述视频处理芯片。
14.根据权利要求13所述的视频处理电路,其特征在于,进一步包括:
视频输出装置,耦接于所述第二信号传输机,并且用于接收所述第二已合并信号以及根据所述第二已合并信号显示视频图像。
15.根据权利要求12所述的视频处理电路,其特征在于,进一步包括:
存储装置,耦接于所述译码单元,用于储存所述已译码图形流。
16.一种将视频输出流与图形流合并传输的方法,其特征在于,包括:
根据视频输入流产生视频输出流;
提供图形流;以及
于第一模式,将所述视频输出流与所述图形流混合以通过信道传输已混合视频输出流,其中在所述已混合视频输出流中,所述图形流的数据替换所述视频输出流的被所述图形流覆盖部分的数据;于第二模式,将所述视频输出流与所述图形流合并以通过所述信道将第一已合并信号传输至后处理芯片,其中所述第一已合并信号包含所述图形流与所述视频输出流的全部原始数据,并且所述合并操作是将所述图形流合并至所述视频输出流中,而不是将所述视频输出流中被所述图形流覆盖部分的数据替换为所述图形流。
17.根据权利要求16所述的将视频输出流与图形流合并传输的方法,其特征在于,于所述第二模式时,将所述视频输出流与所述图形流合并的步骤包括:
提高所述通信接口电路的工作频率以提高所述信道的频宽。
18.根据权利要求16所述的将视频输出流与图形流合并传输的方法,其特征在于,于第二模式时,将所述视频输出流与所述图形流合并的步骤包括:
利用所述视频输出流中视频控制信号的传输频宽的一部分传输所述图形流。
19.根据权利要求16所述的将视频输出流与图形流合并传输的方法,其特征在于,于所述第二模式时,将所述视频输出流与所述图形流合并的步骤包括:
压缩所述视频输出流。
20.根据权利要求19所述的将视频输出流与图形流合并传输的方法,其特征在于,将所述视频输出流与所述图形流合并的步骤包括:
将所述视频输出流从第一色彩深度格式转换为第二色彩深度格式;
用所述视频输出流的色彩索引替代所述视频输出流的实际色彩值;或者
将所述视频输出流转换为封包格式。
21.根据权利要求16所述的将视频输出流与图形流合并传输的方法,其特征在于,所述第一已合并信号为低电压差分信号。
22.根据权利要求16所述的将视频输出流与图形流合并传输的方法,其特征在于,所述图形流包括屏幕显示数据。
23.根据权利要求16所述的将视频输出流与图形流合并传输的方法,其特征在于,进一步包括:
接收所述第一已合并信号并且从所述第一已合并信号中提取所述视频输出流与所述图形流;
接收并且后处理从所述第一已合并信号中提取的所述视频输出流,以产生已处理视频输出流;
译码所述图形流以产生已译码图形流;
将所述已处理视频输出流与所述已译码图形流混合,以产生第二已混合信号;以及
输出所述第二已混合信号。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/276,422 US20100128802A1 (en) | 2008-11-24 | 2008-11-24 | Video processing ciucuit and related method for merging video output streams with graphical stream for transmission |
US12/276,422 | 2008-11-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101742167A CN101742167A (zh) | 2010-06-16 |
CN101742167B true CN101742167B (zh) | 2013-07-10 |
Family
ID=42196242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009101714258A Active CN101742167B (zh) | 2008-11-24 | 2009-08-28 | 视频处理电路以及将视频输出流与图形流合并传输的方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US20100128802A1 (zh) |
CN (1) | CN101742167B (zh) |
TW (1) | TWI380682B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100238357A1 (en) * | 2009-03-23 | 2010-09-23 | Himax Media Solutions, Inc. | Audio/video signal processor |
US9373039B2 (en) | 2011-04-18 | 2016-06-21 | Supponor Oy | Detection of graphics added to a video signal |
CA2831816A1 (en) * | 2011-04-18 | 2012-10-26 | Supponor Oy | Detection of graphics added to a video signal |
EP2621182A1 (en) * | 2012-01-27 | 2013-07-31 | Samsung Electronics Co., Ltd | Display apparatus, apparatus for upgrading display apparatus, display system and data processing method of display system |
US9423925B1 (en) * | 2012-07-11 | 2016-08-23 | Google Inc. | Adaptive content control and display for internet media |
CN103856784B (zh) * | 2012-12-03 | 2019-02-05 | 联想(北京)有限公司 | 数据发送、接收方法以及电子设备 |
CN103853515A (zh) * | 2012-12-05 | 2014-06-11 | 宏碁股份有限公司 | 电子装置及其显示数据的处理方法 |
CN106713922B (zh) * | 2017-01-13 | 2020-03-06 | 京东方科技集团股份有限公司 | 图像处理方法和电子设备 |
CN108769564B (zh) * | 2018-06-25 | 2020-05-22 | 河南思维轨道交通技术研究院有限公司 | 一种图像采集系统及图像数据处理方法 |
CN113840170B (zh) * | 2020-06-23 | 2023-06-16 | 武汉斗鱼网络科技有限公司 | 连麦直播的方法及装置 |
US20230379525A1 (en) * | 2022-05-18 | 2023-11-23 | Mediatek Inc. | Video stream processing system and video stream processing method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1066548A (zh) * | 1991-05-06 | 1992-11-25 | 汤姆森消费电子有限公司 | 具有“画中画”和非线性处理的电视接收机 |
US6741794B1 (en) * | 1999-01-29 | 2004-05-25 | Sony Corporation | System and method for flexibly blending multiple image planes in a video device |
CN1229983C (zh) * | 2002-09-24 | 2005-11-30 | 松下电器产业株式会社 | 用于处理视频信号的方法和视频处理单元 |
CN1791197A (zh) * | 2004-11-25 | 2006-06-21 | 三星电子株式会社 | 显示装置及其控制方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6542162B1 (en) * | 1998-06-15 | 2003-04-01 | International Business Machines Corporation | Color mapped and direct color OSD region processor with support for 4:2:2 profile decode function |
US6570626B1 (en) * | 1998-06-26 | 2003-05-27 | Lsi Logic Corporation | On-screen display format reduces memory bandwidth for on-screen display systems |
US6519283B1 (en) * | 1999-01-25 | 2003-02-11 | International Business Machines Corporation | Integrated video processing system having multiple video sources and implementing picture-in-picture with on-screen display graphics |
JP2001268521A (ja) * | 2000-03-15 | 2001-09-28 | Sony Corp | 映像記録再生装置および方法 |
US7030930B2 (en) * | 2001-03-06 | 2006-04-18 | Ati Technologies, Inc. | System for digitized audio stream synchronization and method thereof |
JP4618956B2 (ja) | 2001-12-10 | 2011-01-26 | ソニー株式会社 | 信号処理装置、信号処理方法、信号処理システム、プログラム及び媒体 |
US7548586B1 (en) * | 2002-02-04 | 2009-06-16 | Mimar Tibet | Audio and video processing apparatus |
KR100556357B1 (ko) * | 2002-12-04 | 2006-03-03 | 엘지전자 주식회사 | 디지털 비디오 포맷을 지원하는 엠펙 비디오 디코딩 시스템 |
WO2004090860A1 (ja) | 2003-04-01 | 2004-10-21 | Matsushita Electric Industrial Co., Ltd. | 映像合成回路 |
TWI222831B (en) * | 2003-07-09 | 2004-10-21 | Mediatek Inc | Video playback system to generate both progressive and interlace video signals |
JP2005184458A (ja) * | 2003-12-19 | 2005-07-07 | Canon Inc | 映像信号処理装置 |
CN100592378C (zh) * | 2007-03-30 | 2010-02-24 | 群康科技(深圳)有限公司 | 显示器屏幕显示控制系统与控制方法 |
US20090043928A1 (en) * | 2007-08-08 | 2009-02-12 | Tony Lou | Interface device and master device of a kvm switch system and a related method thereof |
GB2453789B (en) * | 2007-10-19 | 2012-11-14 | British Sky Broadcasting Ltd | Television display |
-
2008
- 2008-11-24 US US12/276,422 patent/US20100128802A1/en not_active Abandoned
-
2009
- 2009-08-19 TW TW98127839A patent/TWI380682B/zh active
- 2009-08-28 CN CN2009101714258A patent/CN101742167B/zh active Active
-
2013
- 2013-06-03 US US13/907,983 patent/US9137458B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1066548A (zh) * | 1991-05-06 | 1992-11-25 | 汤姆森消费电子有限公司 | 具有“画中画”和非线性处理的电视接收机 |
US6741794B1 (en) * | 1999-01-29 | 2004-05-25 | Sony Corporation | System and method for flexibly blending multiple image planes in a video device |
CN1229983C (zh) * | 2002-09-24 | 2005-11-30 | 松下电器产业株式会社 | 用于处理视频信号的方法和视频处理单元 |
CN1791197A (zh) * | 2004-11-25 | 2006-06-21 | 三星电子株式会社 | 显示装置及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
TWI380682B (en) | 2012-12-21 |
TW201021548A (en) | 2010-06-01 |
CN101742167A (zh) | 2010-06-16 |
US20100128802A1 (en) | 2010-05-27 |
US9137458B2 (en) | 2015-09-15 |
US20130265489A1 (en) | 2013-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101742167B (zh) | 视频处理电路以及将视频输出流与图形流合并传输的方法 | |
US10937120B2 (en) | Video processing system and processing chip | |
JP3969387B2 (ja) | 映像信号出力装置 | |
CN101331771B (zh) | 通信系统、发送设备、接收设备和通信方法 | |
US20060056716A1 (en) | Osd-synthesized image decoding device, osd-synthesized image decoding method, program, and recording medium | |
US20100110294A1 (en) | Video display device, video display method and video system | |
US10097803B2 (en) | Display processing apparatus, device and method | |
JP2003298938A (ja) | マルチ画面合成装置及びマルチ画面合成装置の制御方法及びマルチ画面合成装置の制御プログラム及び記憶媒体 | |
CN101102487A (zh) | 基于vga和hdmi两种显示模式的视频传输系统及方法 | |
JP2006191242A (ja) | 再生装置 | |
KR20120032118A (ko) | 영상 표시 기기, 방법 및 영상 전송 방법 | |
CN106454153B (zh) | 一种触控终端的显示方法及触控终端 | |
EP1944764A2 (en) | Apparatus for receiving digital contents and method thereof | |
EP1154643B1 (en) | A method and system for using a single osd pixmap across multiple video raster sizes by using multiple headers | |
CN101448108A (zh) | 图像处理装置与相关方法 | |
US7573534B2 (en) | Digital display appliance and method for outputting video data | |
US9509921B2 (en) | Video processing circuit and related method for merging video output streams with data stream for transmission | |
JP2014134755A (ja) | 表示装置、表示方法、テレビジョン受像機、プログラムおよび記録媒体 | |
US8269897B2 (en) | Method and apparatus for video format conversion | |
CN107846588B (zh) | 电视中串口记录信息的获取方法和装置 | |
JP2006191241A (ja) | 再生装置 | |
CN102025936A (zh) | 视频宽高比转换方法及装置 | |
US7663646B2 (en) | Device, system and method for realizing on screen display | |
KR102218720B1 (ko) | 영상 표시 장치 및 그 동작방법 | |
US20230164370A1 (en) | Signal processing device and image display device comprising same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |