CN102948160B - 用于画中画视频生成中的存储器缩减的机制 - Google Patents

用于画中画视频生成中的存储器缩减的机制 Download PDF

Info

Publication number
CN102948160B
CN102948160B CN201180029741.7A CN201180029741A CN102948160B CN 102948160 B CN102948160 B CN 102948160B CN 201180029741 A CN201180029741 A CN 201180029741A CN 102948160 B CN102948160 B CN 102948160B
Authority
CN
China
Prior art keywords
video
sub
pixel
videos
primary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180029741.7A
Other languages
English (en)
Other versions
CN102948160A (zh
Inventor
金荣
金荣一
梁又升
金大卿
朴重圣
崔薰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lattice Semiconductor Corp
Original Assignee
Lattice Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lattice Semiconductor Corp filed Critical Lattice Semiconductor Corp
Publication of CN102948160A publication Critical patent/CN102948160A/zh
Application granted granted Critical
Publication of CN102948160B publication Critical patent/CN102948160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4084—Transform-based scaling, e.g. FFT domain scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/641—Multi-purpose receivers, e.g. for auxiliary information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Circuits (AREA)

Abstract

公开了一种用于画中画视频生成中的存储器缩减的机制。本发明的实施例的方法包含在接收装置处从传送装置接收多个视频流，接收装置耦合传送装置，多个视频流中的第一视频流被指定显示成主要视频，多个视频流中的一个或多个其他视频流被指定显示成对主要视频而言的一个或多个子视频。上述方法更包含将一个或多个其他视频流转换成一个或多个子视频、暂时使一个或多个子视频保留在压缩帧缓冲器内，以及藉由像素替换将主要视频及一个或多个子视频合并成能利用显示装置显示于单一屏幕上的最终视频图像，像素替换被实施使得一个或多个子视频占据主要视频所占据的屏幕空间像素的一个或多个区域的像素。

Description

用于画中画视频生成中的存储器缩减的机制
技术领域
本发明的实施例一般涉及电子网络领域，尤其涉及在画中画视频生成中执行存储器缩减。
背景技术
在利用多个数据流，例如用于显示的多个媒体数据流，的系统的操作中，数据可包含由高带宽数字内容保护(HDCP)数据所保护的数据，其在此称为HDCP数据。传递多个媒体数据流可包含在传送机构(例如有线电视或卫星公司)与接收装置(例如电视（TV）)之间藉由传送装置(例如电缆/卫星信号传送装置)通过高清晰度多媒体接口(HDMI)所传送的内容流。
画中画(Picture-in-Picture，PiP)是某些视频传送器及接收器的特征，其中一个播送频道显示于接收装置(例如电视)的整个屏幕上，而同时一个或多个其他频道显示于整个显示屏幕中的嵌入视窗中。此技术藉由混合多个视频流而使接收装置的观看者能够以单一屏幕观赏多个频道。然而，由于画中画需要大量的存储器，因此它主要用于且实施于利用相对较大量的存储器的通用处理器型平台上，而不适于较小平台例如专用集成电路(ASIC)型平台。专用集成电路指非用于一般用途的集成电路；更确切言之，它被定制用于特定用途(例如被定制且特别用于手持式装置、智能电话等)。如果专用集成电路型平台被定制用于特定用途，则它不包含大到足以容纳常规画中画实现的存储器。
第一图显示从多个视频流产生画中画视频的常规机制。如图所示，两个输入视频或视频流102及104进入画中画处理区域106，一个视频流102被观看者选择为主要视频108，而另一视频流2104被选择为显示成子视频110。视频流102通过主要通道选择112，并出现无任何改变例如其尺寸等无改变的主要视频108。然而，视频流104通过子通道选择114，且接着到达减少取样(down sampling)116，于其中视频流104被减少取样且作为子视频110出现。减少取样116指将视频流104的图像尺寸以某个量或比率进行缩减或取样减少，而造成子视频110的产生，上述子视频110如图所示比原始的视频流104小得多。视频108及110两者接着经过常规视频混合处理118，该处理118将两个图像108及110合并，以在单一显示屏幕上如图所示显示成主要视频108及子视频110。
第二图显示常规画中画实现200，其被设计成在处理器型平台上操作。视频或视频流202及204进入芯片214并分别通过视频接口206及208(例如HDMI)到达处理器210。处理器210从其通道接收并读取原始视频202及204，且将其储存于存储器216中。处理器210接着实施减少取样演算法，并将包含主要视频218及经减少取样的子视频220的结果存回存储器216中。主要视频218及子视频220接着由处理器210合并成一体，以产生内含主要视频218及子视频220两者的单一最终图像222。如图所示，该常规实现200需要相当大的存储器216以储存至少一个视频图像，即主要视频218，以及在许多实例中的多个视频图像218及220。此画中画实现200仅能与大容量外部存储器装置216共同作用，而造成具有画中画特征的电视系统的制造成本高且使得其不适于较小装置例如蜂窝电话。
发明内容
公开一种用于在画中画视频产生中的存储器缩减的机制。
本发明的实施例的方法包含在接收装置处从传送装置接收多个视频流，所述接收装置耦合于传送装置，其中多个视频流中的第一视频流被指定使其显示成主要视频，而多个视频流中的一个或多个其他视频流被指定使其显示成对于主要视频而言的一个或多个子视频。该方法还包含将上述一个或多个其他视频流转换成一个或多个子视频、暂时使上述一个或多个子视频保留在压缩帧缓冲器内，以及藉由像素替换将主要视频及上述一个或多个子视频合并成能够利用显示装置显示于单一屏幕上的最终视频图像，其中像素替换被实施使得上述一个或多个子视频占据主要视频所占据的屏幕空间像素中的一个或多个区域的像素。
本发明的实施例的系统包含数据处理装置，其包含储存介质及与上述储存介质耦合的处理器，上述数据处理装置还包含画中画视频产生机制。画中画视频产生机制于接收装置处从传送装置接收多个视频流，上述接收装置耦合于上述传送装置，其中上述多个视频流中的第一视频流被指定使其显示成主要视频，上述多个视频流中的一个或多个其他视频流被指定使其显示成对于上述主要视频而言的一个或多个子视频。画中画视频产生机制进一步将上述一个或多个其他视频流转换成上述一个或多个子视频，暂时使上述一个或多个子视频保留在压缩帧缓冲器内，以及藉由像素替换将上述主要视频及上述一个或多个子视频合并成能够利用显示装置显示于单一屏幕上的最终视频图像，其中像素替换被实施使得上述一个或多个子视频占据上述主要视频所占据的屏幕空间像素中的一个或多个区域的像素。
本发明的实施例的设备包含数据处理装置，上述数据处理装置包含储存介质以及与上述储存介质耦合的处理器，上述处理器于接收装置处从传送装置接收多个视频流，上述接收装置耦合于上述传送装置，其中上述多个视频流中的第一视频流被指定使其显示成主要视频，上述多个视频流中的一个或多个其他视频流被指定使其显示成对于上述主要视频而言的一个或多个子视频。上述处理器进一步将上述一个或多个其他视频流转换成上述一个或多个子视频，暂时使上述一个或多个子视频保留在压缩帧缓冲器内，以及藉由像素替换将上述主要视频及上述一个或多个子视频合并成能够利用显示装置显示于单一屏幕上的最终视频图像，其中像素替换被实施使得上述一个或多个子视频占据上述主要视频所占据的屏幕空间像素中的一个或多个区域的像素。
附图说明
本发明的实施例藉由实例加以说明，而非用以限制本发明。附图中相似的元件符号指代类似的元件。
图1显示从多个视频流产生画中画视频的常规机制。
图2显示被设计成在处理器型平台上操作的常规画中画实现。
图3根据本发明的一实施例显示画中画视频产生系统。
图4根据本发明的一实施例显示画中画视频产生系统的像素替换。
图5根据本发明的一实施例显示用于画中画视频产生的方法。
图6根据本发明的一实施例显示利用画中画视频产生系统的网络计算机装置。
具体实施方式
公开一种用于画中画视频产生中的存储器缩减的机制。本发明的实施例的方法包含于接收装置处从传送装置接收多个视频流，上述接收装置耦合于传送装置，其中多个视频流中的第一视频流被指定使其显示成主要视频，而多个视频流中的一个或多个其他视频流被指定使其显示成对于主要视频而言的一个或多个子视频。该方法还包含将上述一个或多个其他视频流转换成一个或多个子视频、暂时使上述一个或多个子视频保留在压缩帧缓冲器内，以及藉由像素替换将主要视频及上述一个或多个子视频合并成能够利用显示装置显示于单一屏幕上的最终视频图像，其中像素替换被实施使得上述一个或多个子视频占据主要视频所占据的屏幕空间像素中的一个或多个区域的像素。进一步的细节将在后面通篇讨论。
如此处所使用，“网络”或“通信网络”指利用任何数量的技术例如串行高级技术附连(Serial Advanced Technology Attachment，SATA)、帧信息结构(FIS)等在装置之间传递数字媒体内容(包含音乐、音频/视频、游戏、图片及其他)的互连网络。娱乐网络可包含个人娱乐网络，例如家庭中的网络、商业环境中的网络或任何其他装置及/或组件的网络。网络包含局域网(LAN)、广域网(WAN)、城域网(MAN)、内联网(intranet)、因特网等。在网络中，某些网络装置可为媒体内容的来源，例如数字电视选台器、有线机顶盒、手持式装置(例如个人装置助理(PDA))、视频储存服务器以及其他来源装置。其他装置可显示或利用媒体内容，例如数字电视、家庭影院系统、音频系统、游戏系统及其他装置。再者，某些装置可旨在储存或传送媒体内容，例如视频及音频储存服务器。某些装置可实施多个媒体功能，例如有线机顶盒可作为接收装置(从有线电视头端(cable headend)接收信息)以及作为传送装置(传送信息至电视)，反之亦然。网络装置可共置(co-located)于单一局域网或可横跨多个网络段(network segment)，例如通过局域网之间的通道建立技术(tunneling)。网络亦可包含多个数据编码及加密过程以及身份验证过程，例如唯一签名验证(unique signatureverification)及唯一标识比较(unique identification comparison)。此外，互连网络可包含高清晰度多媒体接口(HDMI)。高清晰度多媒体接口指用以传送未经压缩的数字数据的音频-视频接口，且其代表相对于常规模拟标准例如同轴电缆、射频(RF)、组成视频(component video)等的数字替选方案。高清晰度多媒体接口一般用以连接不同的装置，例如将机顶盒、数字视频盘（DVD）播放器、游戏控制台、计算机系统等连接至电视、计算机监视器及其他显示装置。例如，高清晰度多媒体接口可用以将传送装置连接至接收装置，且更进一步至其他中间及/或外围装置，例如单独的显示装置等。
第三图根据本发明的一实施例显示画中画视频产生系统300。在一个实施例中，画中画视频产生系统300于微处理器或芯片306处利用画中画视频产生机制，以提供由压缩单元312所进行的实时帧压缩与由解压缩单元314所进行的解压缩的新颖结合，这是利用压缩帧缓冲器318以及由像素替换单元或机制322所进行的动态连续(on-the-fly)像素替换过程来降低存储器需求并消除常规需有大量存储器例如帧存储器的需求，以实施画中画视频产生。视频流302及视频流304由用户所选择，以合并成单一视频图像328并于画中画视频产生过程300结束时在显示装置上显示。在所示实施例中，视频流302被选择并指定作为主要视频326(亦称为首要视频)，而视频流304被选择并指定作为子视频320(亦称为从属视频)。两个视频流302及304及其对应的主要视频326及子视频320仅用作为示例以利于简明扼要地且清楚地说明本发明，应理解输入的数量并不限于只有两个视频流。例如，若有一个视频流被指定且显示为主要视频，则任何数量的其他视频流可被指定且显示为子视频。在本文通篇中示出和讨论了被指定为主要视频及子视频的两个视频流，如上所述其仅作为示例以简明扼要地且清楚地说明本发明。另外，于本发明中，术语“主要”及“子”分别与“首要”及“从属”同义。例如，“主要视频”亦称为“首要视频”，而“子视频”亦称为“从属视频”。同样地，应理解若干比率、组件等仅用作为示例，以利于简明扼要地且简单明了地说明本发明(例如，比率可为5：1或10：1等；端口可包含高清晰度多媒体接口或非高清晰度多媒体接口端口等)。
假定视频流302已被指定显示为主要视频326，因此不需要任何扩变(例如减少取样、压缩、解压缩等)，其直接通过端口1324藉由像素替换机制322进行像素替换。另一方面，视频流304开始经历减少取样308的过程。在减少取样308中，视频流304基于经定义的比率(例如5：1的比率，即五条线被减少至一条线)予以减少取样至缩小的尺寸。应理解，如需要或有所要求时任何减少取样比率均可予以定义，以用于减少取样。视频流304的减少取样版本接着通过线缓冲器(line buffer)310(例如如需要或有所要求时逐线通过或一次通过若干条线)，且进一步通过压缩单元312，以利用例如图像压缩算法进行压缩。
视频流304的减少取样且压缩的版本，即子视频320，被传送至压缩帧缓冲器318且暂时保留于其中。子视频320的任何数量的线(包含最小及/或最小数量的线、行、子帧等)及可变尺寸或长度的比特流(例如25K字节、50K字节、100K字节等)可传送至压缩帧缓冲器318并储存于其中。在一个实施例中，压缩帧缓冲器318根据任何数量的视频压缩及解压缩技术接收和暂时储存子视频320的任何数量的线或子帧。在另一实施例中，压缩及解压缩过程是基于行的(相对于例如基于帧的)。行包含一组线，这组线与用于压缩单元312所进行的压缩过程及解压缩单元314所进行的解压缩过程的转换算法相容且适合。子视频320接着从压缩帧缓冲器318传送(例如逐线、逐行、逐帧等)至解压缩单元314以用于解压缩。
在一个实施例中，另一线缓冲器，即线缓冲器316，被指定作为中转(transit)或休息站(pit stop)，以暂时储存子视频320中的线、行或帧并将其传输至像素替换机制322，以用于像素替换。在一个实施例中，像素替换被实施以使子视频320与主要视频326合并且同步，而线缓冲器316作用为缓冲器以提供子视频320的像素数据，使其逐渐覆盖或强加于主要视频326的选定部份上，藉此子视频320与主要视频326的合并得以准确地以同步的方式实施。像素替换过程被实施以使主要视频326与子视频320合并，藉此主要视频326占据整个屏幕328，而子视频320在被强加于主要视频326上时占据屏幕328的一部分。完整且最终的图像328利用接收装置的显示装置或耦合至接收装置的显示装置例如电视显示给用户。
上述技术的优点之一为仅利用压缩帧缓冲器318及数个线缓冲器310及316实施和进行画中画视频产生，而所有必需的逻辑及存储器均在单一微处理器芯片306上。如此藉由显著地减少所需要的片上存储器面积以及用以接合片外存储器的接脚数的数量，可显著地减少画中画视频控制器芯片的制造成本。
第四图根据本发明的一实施例显示画中画视频产生系统300的像素替换单元或机制322。在一个实施例中，像素替换被实施以使主要视频326及子视频320合并成单一视频图像。假定P 402为进入像素替换322的端口1(例如第三图的端口324)的像素。变量(x,y)404指示距离主要视频326的左上角的距离，而变量(x0,y0)406指示子视频320的左上角座标且变量(x1,y1)408指示子视频320的右下角座标。当像素P 402满足下列标准：x大于x0且小于x1，而y大于y0且小于y1时，像素替换过程藉由像素替换机制322以通过端口2(例如第三图的端口326)所得的子视频320的像素替换掉通过端口1所得的主要视频326的像素。为准备线缓冲器2(例如第三图的线缓冲器316)上的子视频相关数据(例如视频图像线或行)以使其准备就绪得以进行动态连续像素替换，解压缩藉由预测上述条件匹配而事先实施。此动态连续替换技术可消除常规用以储存主要视频326的庞大存储器的要求。
在一个实施例中，像素替换提取每一色彩深度的主要视频326的像素，且如需要或有所要求时实施子视频320或主要视频326的色彩转换，并进一步实施每一解析度的子视频320的减少取样。例如，属于主要视频326的某些量的主要视频像素(形成变量(x0,y0)406与(x1,y1)408之间所代表的区域)用变量(x0,y0)406及(x1,y1)408之间所显示的子视频320的子视频像素替换。像素替换可进一步包含色彩转换或调整，例如子视频像素的色彩深度根据主要视频326的其余的主要视频像素的色彩深度予以调整或格式化。
第五图根据本发明的一实施例显示用于画中画视频产生的方法500。方法500可藉由处理逻辑实施，上述处理逻辑可包含硬件(例如电路、专用逻辑、可编程逻辑、微代码等)、软件(例如在处理装置上运行的指令)或其结合，例如硬件装置内的固件或功能电路。在一个实施例中，方法500由第三图的画中画视频产生系统300所实施。
方法500以多个视频流例如两个视频A及B从方块505开始，上述多个视频流在用于画中画视频产生的处理器处接收。应理解，用户可选择任何数量的视频流以用于合并及显示，且两个视频流A及B仅用作为示例，以利于简明扼要地且简单明了地说明本发明。在选择时，用户委派或选择视频流A为主要视频，且委派或选择视频流B为子视频。在方块510，一旦被接收，视频流A(主要视频)被传递至像素替换处理单元或机制，以进行像素替换。在方块515，视频流B(子视频)由减少取样单元予以减少取样，且经减少取样的视频流B被传送至压缩单元，以用于压缩。在方块520，经减少取样的视频流B被压缩且接着传送(例如逐线或逐行等)至压缩帧缓冲器。
在一个实施例中，在方块525，压缩帧缓冲器用以暂时保留经压缩且经减少取样的视频流B，且接着传送经压缩且经减少取样的视频流B至解压缩单元，以用于解压缩。经压缩且经减少取样的视频流可加以设定成以任何顺序、尺寸及数量予以接收及传送。在方块530，经压缩且经减少取样的视频流从压缩帧缓冲器接收(例如逐线、逐行或逐帧等)，且加以解压缩及作为子视频B传送至像素替换机制以用于像素替换。此传送至像素替换机制/单元(例如逐线、逐帧等)的步骤逐渐地且同步地实施，藉此主要视频A的一部分像素由子视频B所叠加。在方块535，在像素替换过程期间视频A及子视频合并成单一视频图像。视频A及B的合并被实施成使得子视频B强加于主要视频A的一部分像素空间上并占据该部分像素空间。在方块540，经合并的视频(具有视频A作为主要视频及视频B作为子视频)在接收装置上的或与接收装置耦合的显示装置(例如电视)上显示成单一视频图像。
第六图根据本发明的一实施例显示利用画中画视频产生系统的网络计算机装置605的组件。在此实施例中，网络装置605可为网络中的任何装置，包含但不限于电视、有线电视机顶盒、收音机、DVD（数字视频盘）播放器、CD（致密盘）播放器、智能电话、储存单元、游戏控制台或其他媒体装置。在某些实施例中，网络装置605包含网络单元610，以提供网络功能。上述网络功能包含但不限于媒体内容流的产生、传送、储存及接收。网络单元610可被实现为单个片上系统(SoC)或多个组件。
在某些实施例中，网络单元610包含处理器615，以用于数据处理。数据处理可包含媒体数据流的产生、媒体数据流在传送或储存时的操作以及媒体数据流的解密及解码以利于使用。在一个实施例中，处理数据还包含画中画处理器690，以实施本发明的实施例，包含参照第三图至第五图及本说明书全文所叙述的画中画视频产生。在一个实施例中，画中画视频产生处理在单独的芯片上进行或通过将该芯片集成到SoC中来进行。再者，如处理器615与画中画处理器690之间及至视频输出665的实线箭头及虚线箭头所表示，画中画处理器690可设置于处理器615之前或之后。画中画处理器690被进一步配置成从任何数量的来源接收任何数量的视频输入660。网络装置亦可包含主存储器620，以支持网络操作，例如包含DRAM（动态随机存取存储器）、SRAM（静态随机存取存储器）)等的RAM（随机存取存储器）或其他类似存储器，以及闪存625或其他非易失性存储器，以用于储存某些元件及信息以及将由处理器615及690所执行的指令。
存储器620亦可用以储存用于数据流的数据。动态随机存取存储器需要存储器内容的刷新，而静态随机存取存储器SRAM不需要刷新内容，但其成本会增加。动态随机存取存储器可包含同步动态随机存取存储器(SDRAM)，其包含时钟信号以控制信号，以及扩展数据输出动态随机存取存储器(EDO DRAM)。在某些实施例中，系统的存储器可包含某些寄存器或其他专用存储器。网络装置605亦可包含只读存储器(ROM)或其他静态储存装置，用以储存静态信息及用于处理器615及690的指令。
网络装置605亦可包含传送器630及/或接收器640，以用于通过一个或多个网络接口655分别传送数据至网络上或从网络接收数据。传送器630或接收器640可连接至有线传输电缆，包含例如以太网电缆650、同轴电缆，或连接至无线单元。传送器630或接收器640可以一个或多个线路，例如用于数据传送的线路635及用于数据接收的线路645，耦合至网络单元610，以用于数据传送及控制信号。亦可存在额外的连接。网络装置605亦可包含数个用于装置的媒体操作的组件，其在此并未示出。
装置605亦可通过互连结构耦合至显示装置或呈现装置。在某些实施例中，显示器可包含液晶显示器(LCD)、等离子体显示器、阴极射线管显示器或任何其他显示技术，用以向终端用户显示信息或内容。在某些实施例中，显示器可用于显示电视节目或其它视频内容等。在某些环境中，显示器可包含触摸屏，其亦可用作为输入装置的至少一部分。在某些环境中，显示器可为或可包含音频装置，例如扬声器，以用于提供音频信息，包含电视节目的音频部分。输入装置可耦合至互连结构，用以传达信息及/或命令选择至处理器615及690。在若干实现中，输入装置可为键盘、键区、触摸屏及指示笔、语音激活系统或其他输入装置或这些装置的组合。另一类型的用户输入装置可包含游标控制装置，例如鼠标、轨迹球或游标方向键，以用于传达方向信息及命令选择至一个或多个处理器615及690，并用以控制显示装置上的游标移动。
在某些实施例中，装置605包含一个或多个端口，用以接收或传送数据。可被接收或传送的数据可包含视频数据或音频-视频数据，例如高清晰度多媒体接口及迷你高清晰度多媒体接口数据，且可加以加密以用于传送，例如高带宽数字内容保护(HDCP)加密数据。在某些实施例中，装置605包含一个或多个端口，用以传送及/或接收用于内容数据的传输的数据，以及一个或多个端口，用以传送及/或接收控制数据，例如命令数据。命令数据可包含一个或多个关于数据传送模式的改变的消息，且可包含关于数据传送模式改变的应答。此外，装置605可包含USB（通用串行总线）。
装置605可进一步包含一个或多个天线，用以通过无线电信号接收数据。装置605亦可包含电源装置或系统，其可包含电源供应器、电池、太阳能电池、燃料电池或其他用以提供或产生电力的系统或装置。电源装置或系统所提供的电力可依需求分配至装置605的元件。
为说明本发明上述叙述提出了若干特定细节，以利于彻底了解本发明。然而，应理解，对本领域普通技术人员而言，本发明可在不需要其中的某些特定细节的情况下实施。在其他实例中，已知的结构及装置以方块图的形式显示。图中所示组件之间可能有中间结构。此处所述或所显示的组件可能具有额外的输入或输出并未加以显示或叙述。
本发明可包含若干过程。本发明的过程可藉由硬件组件加以实施或可具体实施于计算机可读指令中，上述计算机可读指令可用以使通用或专用处理器或编程有指令的逻辑电路实施该过程。另则，过程可藉由硬件与软件的结合加以实施。
许多方法以其最基础的形式加以叙述，但仍可加入若干过程至任一方法或从任一方法删除若干过程，在不脱离本发明的基础范围下可增加若干信息至此处所述的任一消息中或从其删减若干信息。本领域普通技术人员应理解，可对本发明进一步做若干修改及改变。此处所提供的特定实施例并非用以限制本发明，而是用以说明本发明。本发明的实施例的范围并非由以上所提供的特定实例所决定，而是仅由所附权利要求书所决定。
若叙述了“A”元件耦合至“B”元件或与“B”元件耦合，则A元件可直接耦合至B元件或通过例如C元件非直接耦合。当说明书或权利要求书叙述了A组件、特征、结构、过程或特性“造成”B组件、特征、结构、过程或特性，则是指“A”为“B”的至少一部分原因，但亦可能有至少一个其他组件、特征、结构、过程或特性协助造成“B”。若说明书指出一组件、特征、结构、过程或特性“可”、“可能”或“能”被包含，则该特定组件、特征、结构、过程或特性并不要求要被包含。若说明书或权利要求书指“一”元件，则其并不意指仅有一个所述元件。
本发明的实施例为本发明的实现或示例。说明书中所提到的“一实施例”、“一个实施例”、“某些实施例”或“其他实施例”指与实施例有关而叙述的特定特征、结构或特性被包含于至少某些实施例中，但不一定是所有实施例。“一实施例”、“一个实施例”或“某些实施例”的若干次出现并不一定全部指向同一实施例。应理解，在上述本发明的示例性实施例的叙述中，为简化揭露内容并有助于了解若干创新观点中的一个或多个，若干特征有时会聚集于单一实施例、附图或其叙述中。然而，此揭露方法并不欲被解释成反映有以下意图：所要求保护的发明需要相较于每一权利要求所明确列举的特征更多的特征。更确切地说，如所附权利要求所反映，创新的方面存在于与前述所揭露的单一实施例的所有特征相比为少的特征中。因此，权利要求藉此明确地并入此叙述中，每一权利要求独自代表本发明的独立实施例。

Claims (13)

1.一种方法，包括：
在接收装置处从传送装置接收多个视频流，所述接收装置耦合于所述传送装置，其中所述多个视频流中的第一视频流被指定显示成主要视频，且所述多个视频流中的一个或多个其他视频流被指定显示成对于所述主要视频而言的一个或多个子视频；
将所述一个或多个其他视频流转换成所述一个或多个子视频，
其中所述转换包括：
将所述一个或多个其他视频流减少取样至一个或多个经减少取样的视频；
通过第一线缓冲器将所述一个或多个经减少取样的视频传送至压缩器；
使用所述压缩器来将所述一个或多个经减少取样的视频压缩成一个或多个经压缩且经减少取样的视频；以及
将所述经压缩且经减少取样的视频暂时保留在压缩帧缓冲器内；以及
藉由动态连续像素替换将所述主要视频及所述一个或多个子视频合并成能够利用显示装置显示于单一屏幕上的最终视频图像，其中所述动态连续像素替换包括用与所述一个或多个子视频相关的第二组像素替换由所述主要视频的一部分所占据的屏幕的第一组像素，
其中三个变量被用在所述动态连续像素替换中，并且其中第一变量指示距离主要视频的左上角的距离，第二变量指示子视频的左上角座标，而第三变量指示子视频的右下角座标。
2.如权利要求1所述的方法，其中所述转换步骤还包括：
解压缩一个或多个经压缩且经减少取样的视频；以及
通过第二线缓冲器将一个或多个经解压缩且经减少取样的视频作为所述一个或多个子视频传送至像素转换单元。
3.如权利要求1所述的方法，还包括将所述第一视频作为所述主要视频直接传送至像素替换单元。
4.如权利要求1所述的方法，其中所述像素替换还包括下列中的一个或多个：提取每一色彩深度的像素，实施色彩转换，以及对所述一个或多个其他视频流的每一解析度进行减少取样。
5.如权利要求1所述的方法，其中所述一个或多个子视频占据所述主要视频所占据的屏幕空间像素中的一个或多个区域的像素的步骤包括将所述区域的主要视频像素以子视频像素进行像素替换，其中将所述区域的主要视频像素以子视频像素进行像素替换的步骤还包括在对所述主要视频的主要视频像素进行色彩深度格式化之后对子视频像素进行色彩调整。
6.如权利要求1所述的方法，还包括将所述最终视频图像显示于所述显示装置的显示屏幕上。
7.一种系统，包括：
数据处理装置，具有储存介质及与所述储存介质耦合的处理器，所述数据处理装置还具有机制，其中所述机制用于：
在接收装置处从传送装置接收多个视频流，所述接收装置耦合于所述传送装置，其中所述多个视频流中的第一视频流被指定显示成主要视频，且所述多个视频流中的一个或多个其他视频流被指定显示成对于所述主要视频而言的一个或多个子视频，
将所述一个或多个其他视频流转换成所述一个或多个子视频，
其中所述转换包括：
将所述一个或多个其他视频流减少取样至一个或多个经减少取样的视频；
通过第一线缓冲器将所述一个或多个经减少取样的视频传送至压缩器；
使用所述压缩器来将所述一个或多个经减少取样的视频压缩成一个或多个经压缩且经减少取样的视频；以及
将所述经压缩且经减少取样的视频暂时保留在压缩帧缓冲器内，以及
藉由动态连续像素替换将所述主要视频及所述一个或多个子视频合并成能够利用显示装置显示于单一屏幕上的最终视频图像，其中所述动态连续像素替换包括用与所述一个或多个子视频相关的第二组像素替换由所述主要视频的一部分所占据的屏幕的第一组像素，
其中三个变量被用在所述动态连续像素替换中，并且其中第一变量指示距离主要视频的左上角的距离，第二变量指示子视频的左上角座标，而第三变量指示子视频的右下角座标。
8.如权利要求7所述的系统，其中在转换时，所述机制进一步用于将一个或多个经压缩且经减少取样的视频作为所述一个或多个子视频传送至所述压缩帧缓冲器内。
9.如权利要求7所述的系统，其中在转换时，所述机制进一步用于：
解压缩一个或多个经压缩且经减少取样的视频；以及
通过第二线缓冲器将一个或多个经解压缩且经减少取样的视频作为所述一个或多个子视频传送至像素转换单元。
10.如权利要求7所述的系统，其中所述机制进一步将所述第一视频作为所述主要视频直接传送至像素替换单元。
11.一种设备，包括数据处理装置，所述数据处理装置具有储存介质以及与所述储存介质耦合的处理器，所述处理器实施下列步骤：
在接收装置处从传送装置接收多个视频流，所述接收装置耦合于所述传送装置，其中所述多个视频流中的第一视频流被指定显示成主要视频，且所述多个视频流中的一个或多个其他视频流被指定显示成对于所述主要视频而言的一个或多个子视频；
将所述一个或多个其他视频流转换成所述一个或多个子视频，其中所述转换包括：
将所述一个或多个其他视频流减少取样至一个或多个经减少取样的视频；
通过第一线缓冲器将所述一个或多个经减少取样的视频传送至压缩器；
使用所述压缩器来将所述一个或多个经减少取样的视频压缩成一个或多个经压缩且经减少取样的视频；以及；
将所述一个或多个经压缩且经减少取样的视频暂时保留在压缩帧缓冲器内，并且其中所述一个或多个子视频在被保留在所述压缩帧缓冲器内之前根据减少取样比率被减少取样；以及
藉由动态连续像素替换将所述主要视频及所述一个或多个子视频合并成能够利用显示装置显示于单一屏幕上的最终视频图像，其中所述动态连续像素替换包括用与所述一个或多个子视频相关的第二组像素替换由所述主要视频的一部分所占据的屏幕的第一组像素，
其中三个变量被用在所述动态连续像素替换中，并且其中第一变量指示距离主要视频的左上角的距离，第二变量指示子视频的左上角座标，而第三变量指示子视频的右下角座标。
12.如权利要求11所述的设备，其中在转换时，所述处理器进一步用于将一个或多个经压缩且经减少取样的视频作为所述一个或多个子视频传送至所述压缩帧缓冲器内。
13.如权利要求11所述的设备，其中在转换时，所述处理器进一步用于：
解压缩一个或多个经压缩且经减少取样的视频；以及
通过第二线缓冲器将一个或多个经解压缩且经减少取样的视频作为所述一个或多个子视频传送至像素转换单元。
CN201180029741.7A 2010-06-16 2011-06-06 用于画中画视频生成中的存储器缩减的机制 Active CN102948160B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/816,437 US8698958B2 (en) 2010-06-16 2010-06-16 Mechanism for memory reduction in picture-in-picture video generation
US12/816,437 2010-06-16
PCT/US2011/039273 WO2011159511A2 (en) 2010-06-16 2011-06-06 Mechanism for memory reduction in picture-in-picture video generation

Publications (2)

Publication Number Publication Date
CN102948160A CN102948160A (zh) 2013-02-27
CN102948160B true CN102948160B (zh) 2017-07-18

Family

ID=45328337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180029741.7A Active CN102948160B (zh) 2010-06-16 2011-06-06 用于画中画视频生成中的存储器缩减的机制

Country Status (7)

Country Link
US (2) US8698958B2 (zh)
EP (1) EP2583451A4 (zh)
JP (1) JP5843327B2 (zh)
KR (1) KR101796603B1 (zh)
CN (1) CN102948160B (zh)
TW (1) TWI555405B (zh)
WO (1) WO2011159511A2 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9516372B2 (en) * 2010-12-10 2016-12-06 Lattice Semiconductor Corporation Multimedia I/O system architecture for advanced digital television
US9077578B1 (en) * 2011-06-06 2015-07-07 Vuemix, Inc. Scalable real-time video compositing systems and methods
US8325821B1 (en) 2012-02-08 2012-12-04 Vyumix, Inc. Video transcoder stream multiplexing systems and methods
JP6024374B2 (ja) * 2012-10-15 2016-11-16 ヤマハ株式会社 画像処理装置
CN103095997B (zh) * 2013-02-25 2015-07-08 袁琦睦 基于fpga的实时画中画产生方法及其装置
CN103747320B (zh) * 2013-12-27 2017-02-22 京东方科技集团股份有限公司 一种双视显示装置以及双视显示方法
EP2975841A1 (en) * 2014-07-17 2016-01-20 HTC Corporation Method for performing a video talk enhancement function and an electric device having the same
KR102113759B1 (ko) * 2014-09-22 2020-06-02 전자부품연구원 다채널 부화면 처리장치 및 처리방법
CN105187747B (zh) * 2015-07-29 2018-06-26 宁波大学 一种多功能lcd显示控制器的控制方法
US10609093B2 (en) * 2016-05-06 2020-03-31 Facebook, Inc. Instantaneous call sessions over a communications application
WO2018101514A1 (ko) * 2016-12-01 2018-06-07 엘지전자 주식회사 영상표시장치, 및 이를 구비하는 영상표시 시스템
KR101833942B1 (ko) * 2017-01-05 2018-03-05 네이버 주식회사 실시간 영상 합성을 위한 트랜스코더
WO2022220890A1 (en) * 2021-04-16 2022-10-20 Darmodihardjo Denny P Snipitz video cdi (content delivery interface)
CN113438521B (zh) * 2021-05-28 2023-04-18 曙光网络科技有限公司 视频文件生成方法、装置、计算机设备和存储介质
KR20240049610A (ko) * 2021-09-27 2024-04-16 바이트댄스 아이엔씨 비디오 처리를 위한 방법, 장치 및 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1156378A (zh) * 1995-02-28 1997-08-06 株式会社东芝 电视接收机
WO2007015047A2 (en) * 2005-08-04 2007-02-08 Nds Limited Advanced digital tv system
CN101078982A (zh) * 2006-05-24 2007-11-28 北京壁虎科技有限公司 基于绘图引擎的屏幕显示方法
CN101640773A (zh) * 2009-03-17 2010-02-03 青岛海信信芯科技有限公司 子画面视频信号的缩放方法、装置及具有该装置的电视机

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9012326D0 (en) 1990-06-01 1990-07-18 Thomson Consumer Electronics Wide screen television
JPH0591438A (ja) * 1991-09-27 1993-04-09 Toshiba Corp 分割画面表示装置
KR0124387B1 (ko) * 1993-12-07 1997-12-01 김광호 픽쳐인픽쳐기능을 구비한 영상디스플레이기기의 화면상태안정화 방법 및 그 장치
JP4001942B2 (ja) 1995-02-06 2007-10-31 ソニー株式会社 受信装置および受信方法、並びに放送システムおよび放送方法
JP3620669B2 (ja) * 1995-08-04 2005-02-16 ソニー株式会社 テレビジヨン信号受信装置及びテレビジヨン信号受信方法、予測係数作成装置及び予測係数作成方法
CA2184121A1 (en) 1995-08-30 1997-03-01 John R. Reder Sampling analog video signal for secondary images
JPH1023377A (ja) * 1996-07-05 1998-01-23 Toshiba Corp テレビジョン受信機を利用したテキストデータ処理装置
JPH10322697A (ja) * 1997-05-15 1998-12-04 Sanyo Electric Co Ltd 画像情報符号化装置、画像情報復号装置、画像処理システム
JP2000032475A (ja) * 1998-07-16 2000-01-28 Hitachi Ltd 動画像再生装置
US6993076B1 (en) * 1999-05-11 2006-01-31 Thomson Licensing S.A. Apparatus and method for deriving an enhanced decoded reduced-resolution video signal from a coded high-definition video signal
KR100374646B1 (ko) * 2001-03-10 2003-03-03 삼성전자주식회사 픽쳐 인 픽쳐 기능과 프레임 속도 변환을 동시에 수행하기위한 영상 처리 장치 및 방법
KR100441504B1 (ko) * 2002-01-15 2004-07-23 삼성전자주식회사 주화면 및 부화면의 콤포지트신호 및 콤포넌트신호를 각각디지털신호로 변환할 수 있는 영상신호 복원장치
US7729421B2 (en) 2002-02-20 2010-06-01 International Business Machines Corporation Low latency video decoder with high-quality, variable scaling and minimal frame buffer memory
CN1306467C (zh) * 2003-02-27 2007-03-21 奇景光电股份有限公司 使用于液晶显示面板的数据驱动器
US7486337B2 (en) * 2003-12-22 2009-02-03 Intel Corporation Controlling the overlay of multiple video signals
US20070280357A1 (en) 2006-05-31 2007-12-06 Chih-Ta Star Sung Device for video decompression and display
US8599315B2 (en) * 2007-07-25 2013-12-03 Silicon Image, Inc. On screen displays associated with remote video source devices
CN101667185B (zh) 2008-09-05 2012-10-17 深圳富泰宏精密工业有限公司 行动装置及其图片快速显示方法
US8248535B2 (en) * 2009-02-18 2012-08-21 Csr Technology Inc. System and method for a versatile display pipeline architecture for an LCD display panel

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1156378A (zh) * 1995-02-28 1997-08-06 株式会社东芝 电视接收机
WO2007015047A2 (en) * 2005-08-04 2007-02-08 Nds Limited Advanced digital tv system
CN101078982A (zh) * 2006-05-24 2007-11-28 北京壁虎科技有限公司 基于绘图引擎的屏幕显示方法
CN101640773A (zh) * 2009-03-17 2010-02-03 青岛海信信芯科技有限公司 子画面视频信号的缩放方法、装置及具有该装置的电视机

Also Published As

Publication number Publication date
US20140111691A1 (en) 2014-04-24
KR101796603B1 (ko) 2017-11-10
WO2011159511A8 (en) 2013-02-07
TWI555405B (zh) 2016-10-21
WO2011159511A3 (en) 2012-04-12
WO2011159511A2 (en) 2011-12-22
JP5843327B2 (ja) 2016-01-13
US8698958B2 (en) 2014-04-15
JP2013535141A (ja) 2013-09-09
CN102948160A (zh) 2013-02-27
EP2583451A4 (en) 2014-01-15
KR20130027550A (ko) 2013-03-15
EP2583451A2 (en) 2013-04-24
TW201212647A (en) 2012-03-16
US20110310301A1 (en) 2011-12-22
US8854548B2 (en) 2014-10-07

Similar Documents

Publication Publication Date Title
CN102948160B (zh) 用于画中画视频生成中的存储器缩减的机制
US20090322784A1 (en) System and method for virtual 3d graphics acceleration and streaming multiple different video streams
TWI527457B (zh) 對來自多個受保護源的內容進行同時預覽之方法、裝置及系統
US20110211806A1 (en) 3d video reproduction matching the output format to the 3d processing ability of a display
US11606615B2 (en) Remote user interface
CN103067764B (zh) 一种用于互动电视机的电视接口系统
CN105340285A (zh) 用于使用集成内容源来呈现媒体内容的方法、系统以及介质
KR20070041929A (ko) 다중 목적의 비디오 스트림을 처리하는 장치 및 방법
JP2014510331A (ja) 単一クロックドメイン内のディープカラー映像の変換及び処理
CN103262559A (zh) 用于高级数字电视的多媒体i/o系统架构
CN104956671A (zh) 视频帧重建
CN103581733A (zh) 远程显示装置
EP1843573A2 (en) Multi-room personal video storage apparatus
CN102595162A (zh) 图像处理设备、图像处理方法和程序
WO2012171156A1 (en) Wireless video streaming using usb connectivity of hd displays
CN108347641B (zh) 配合电视传播系统的动态影像处理装置及动态影像处理方法
TWI466100B (zh) 電子裝置及其顯示資料之處理方法
US20090113470A1 (en) Content management method, and broadcast receiving apparatus and video apparatus using the same
US20050074066A1 (en) Digital television signal decoder
CN115811620A (zh) 直播方法和系统
CN105898548A (zh) 基于hdmi的视频输出无线适配方法、设备及系统
CN101273411A (zh) 内容数据记录重放系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151124

Address after: oregon

Applicant after: LATTICE SEMICONDUCTOR CORPORATION

Address before: American California

Applicant before: Silicon Image Inc. A. Delaware C.

GR01 Patent grant
GR01 Patent grant