CN101523481A - 用于使显示具有不同帧速率的视频数据的窗口迭加的图像处理设备 - Google Patents

用于使显示具有不同帧速率的视频数据的窗口迭加的图像处理设备 Download PDF

Info

Publication number
CN101523481A
CN101523481A CN200680056096A CN200680056096A CN101523481A CN 101523481 A CN101523481 A CN 101523481A CN 200680056096 A CN200680056096 A CN 200680056096A CN 200680056096 A CN200680056096 A CN 200680056096A CN 101523481 A CN101523481 A CN 101523481A
Authority
CN
China
Prior art keywords
view data
data
illiteracy plate
output area
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200680056096A
Other languages
English (en)
Other versions
CN101523481B (zh
Inventor
克里斯托海·孔普斯
西尔万·加维勒
维安尼·朗屈雷尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NXP USA Inc
Original Assignee
Freescale Semiconductor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Freescale Semiconductor Inc filed Critical Freescale Semiconductor Inc
Publication of CN101523481A publication Critical patent/CN101523481A/zh
Application granted granted Critical
Publication of CN101523481B publication Critical patent/CN101523481B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种用于将图像数据传送到复合存储空间(236)的方法，包括：使用于限定保留输出区(230)的蒙板数据包含在第一存储空间(212)中，并且包含具有与此相关的第一帧速率的第一随时间变化的数据。第二随时间变化的图像数据(220)存储在第二存储空间(222)中并且与第二帧速率相关。将第一图像数据的至少一部分传送到复合存储空间，并且将第二图像数据(220)的至少一部分传送到复合存储器(236)。蒙板数据用于提供第二图像数据(220)的至少一部分，因此当输出时，第二图像数据(220)的至少一部分占据保留输出区(230)。

Description

用于使显示具有不同帧速率的视频数据的窗口迭加的图像处理设备
技术领域
本发明涉及一种用于对图像数据进行传送的方法，其中，所述图像数据是例如由显示装置所显示的，并且对应于具有不同帧速率的随时间变化的图像的类型。本发明还涉及一种图像处理设备，其中，所述图像处理设备是例如用于对显示装置所显示的并且与不同帧速率的随时间变化的图像相对应的图像数据进行传送的类型。
背景技术
在例如便携式电子设备这样的计算装置的领域中，已知的是提供了图形用户界面(GUI)以便用户可以被提供有便携式电子设备的输出。GUI可以是例如运行在LinuxTM操作系统上的被称为＂QT＂的应用之类的应用，或者GUI可以是例如微软公司所生产的WindowsTM操作系统之类的操作系统的组成部分。
在一些情况下，GUI必须能够显示多个窗口，第一窗口支持以第一帧速率刷新的第一图像数据的显示，并且第二窗口支持以第二帧速率刷新的第二图像数据的显示。另外，有时必需以第二帧速率或者以实际的不同的帧速率在另一窗口中显示附加图像数据。每个窗口可构成图像数据的平面，该平面是例如背景、前景、或者其之间的多个中间级之一这样的以特定视觉级别进行显示的所有必需图元的集合(collection)。当前，GUI逐像素(pixel-by-pixel)地对例如诸如媒体播放器这样的专用应用所产生的视频数据的显示进行管理。然而，当图像数据的平面数目增加时，当前的GUI越来越不可利用软件来实时地执行平面的叠加。可实时支持多个叠加的已知GUI会花费大数量的每秒百万次指令运算(MIPS)以及相关的功耗。对于便携式的、电池供电的电子装置来说这是不希望的。
替代地，提供了附加硬件以实现该叠加，并且这种解决方案并不总是适用于所有图像显示方案。
一个已知技术采用所谓的″平面缓冲器″，以及用于存储通过对两个平面缓冲器的内容进行组合所获得的最终图像数据的呈现帧缓冲器。第一平面缓冲器包括下述多个窗口，这多个窗口包括支持例如插入在前景与背景窗口之间的随时间变化的图像数据的窗口。支持随时间变化的图像数据的窗口具有窗口的外围边界特征，以及在其中显示随时间变化的图像数据的边界区。将随时间变化的图像数据存储在第二平面缓冲器中，并且通过硬件将第一平面缓冲器的内容拷贝到最终平面缓冲器中并且将第二平面缓冲器的内容拷贝到呈现平面缓冲器中以实现对该两个平面缓冲器的内容进行组合，从而将随时间变化的图像数据迭加到边区上。然而，由于该组合的天然特性，相对于背景和前景窗口的顺序而言随时间变化的图像数据没有正确地驻留，并且因此叠加在一些前景窗口上，这导致随时间变化的图像数据不恰当地使前景窗口变模糊。另外，在前景窗口中的一个以与随时间变化的图像数据相似的帧速率刷新的情况下，将会出现对″前景关注(foregroundattention)″的竞争，这导致便携式电子设备的用户观察到闪烁。
另一技术采用三个平面缓冲器。采用一对平面缓冲器，其中第一平面缓冲器包括例如与构成GUI的背景部分的多个窗口相对应的数据，并且第二平面缓冲器用于存储随时间变化的图像数据的帧。通过硬件，以上述传统方式对第一和第二平面缓冲器的内容进行组合，并且将组合的图像数据存储到最终平面缓冲器中。第三平面缓冲器用于存储构成了GUI的前景部分的其他图像数据和窗口。为了实现对图像数据的完全组合，将第三平面缓冲器的内容传送到最终平面缓冲器，以便在适当情况下将第三平面缓冲器的图像数据叠加在最终平面缓冲器的内容上。
然而，上述技术代表了通过GUI对随时间变化的图像数据的正确显示的问题的不完善或部分的解决方案。在这方面，由于硬件约束，许多实施方式局限于对两个平面上的图像数据进行处理，即前景平面和背景平面。在该局限不存在的情况下，需要对GUI进行附加编程，以便于支持将GUI分成前景部分和背景部分，并且还支持对相关帧缓冲器的操作。当将电子装置设备的硬件设计成支持多种操作系统时，对GUI的前景/背景部分的支持是不切实际的。
此外，许多GUI不支持多级别的视频平面。因此，不总是可能通过GUI来显示附加的、独特的、随时间变化的图像数据。在这方面，对于每个附加视频平面而言，必须提供新的平面缓冲器，并且GUI必须支持该新的平面缓冲器，这导致要消耗宝贵的存储器资源。此外，不是所有类型的显示控制器都可实现使用这种技术来支持多个视频平面。
发明内容
根据本发明，提供了一种如所附权利要求所述的用于传送图像数据的方法和图像处理设备。
附图说明
现在仅通过示例的方式，参考附图对本发明的至少一个实施例进行描述，其中：
图1是包括支持本发明的实施例的硬件的电子装置的示意图；以及
图2是构成了本发明实施例的用于传送图像数据的方法的流程图。
具体实施方式
在以下整个描述中，相同参考数字用于标识相似部分。
参考图1，例如诸如所谓智能手机100这样的具有无线数据通信能力的个人数字助理(PDA)装置之类的便携式计算装置构成了计算机与通信手持机的组合。因此，智能手机100包括例如与诸如小键盘和/或触摸屏输入装置这样的一个或多个输入装置104相耦合的处理器102之类的处理资源。该处理器102还与例如随机存取存储器(RAM)106之类的易失性存储装置，以及例如只读存储器(ROM)108之类的非易失性存储装置相耦合。
还提供了数据总线110，并且该数据总线110与处理器102相耦合，该数据总线110还与视频控制器112、图象处理器114、音频处理器116、以及诸如闪存贮存单元118这样的可插(plug-in)贮存模块相耦合。
数字照相机单元115与图象处理器114相耦合，并且扬声器120和麦克风121耦合到音频处理器116。芯片外装置(在该示例中为液晶显示(LCD)面板122)与视频控制器112相耦合。
为了支持例如诸如通用移动电信系统(UMTS)服务这样的蜂窝式电信服务的无线通信服务，将射频(RF)芯片组124与处理器102耦合，该RF芯片组还与天线(未示出)相耦合。
上述硬件构成了硬件平台，并且本领域普通技术人员应该理解的是可以将处理器102、RAM106、视频控制器112、图像处理器114、和/或音频处理器116中一个或多个制造成例如诸如可从Freescale半导体公司获得的Argon LV处理器或者i.MX31处理器这样的应用处理器或基带处理器(未示出)的一个或多个集成电路(IC)。在该示例中，使用i.MX31处理器。
i.MX31处理器的处理器102是Advanced Risc Machines(ARM)设计的处理器，并且视频控制器112和图象处理器114共同构成了i.MX31处理器的图像处理单元(IPU)。当然，操作系统运行在智能手机100的硬件上，并且在该示例中操作系统是Linux。
在智能手机100的上下中描述了便携式计算装置的上述示例的同时，本领域普通技术人员应清楚的是可采用其他计算装置。此外，为了简洁且清楚描述起见，在这里仅对用于理解该实施例所必需的智能手机100的部分进行了描述；然而，本领域普通技术人员应清楚的其他技术细节与智能手机100相关。
在操作中(图2)，例如Linux的QT之类的GUI软件200提供了呈现平面202，该呈现平面202包括背景或＂桌面＂204；背景对像，在该示例中为多个背景窗口206；第一中间对像，在该示例中为第一中间窗口208；以及与操作系统有关前景对象210，其中，对于该描述，前景对象210的目的是不相关的。
将呈现平面202存储在构成了第一存储空间的用户接口帧缓冲器212中，并且在该示例中以每秒5帧的帧速率(fps)更新。呈现平面202是通过在用户接口帧缓冲器212中产生桌面204；多个背景对象，在该示例中为背景窗口206；第一中间窗口208；以及前景对象210而实现的。虽然在图2中图形地示出，但是对于与显示装置122一起工作的IPU，所期望的是，桌面204、多个背景窗口206、第一中间窗口208、以及前景对象210驻留在用户接口帧缓冲器212中以作为第一图像数据。
多个背景窗口206包括与视频或者媒体播放器应用相关的，构成了第二中间对象的视频窗口214。与视频播放器应用相关的取景器小程序(viewfinder applet)215利用GUI还产生了构成了第三中间对象的取景器窗口216。在该示例中，视频播放器应用支持因特网协议(VOIP)功能之上的音频和视频，视频窗口214用于显示第三方的第一个随时间变化的图像，其中，智能手机100的用户与该第三方进行通信。提供了取景器窗口216以便用户可知晓智能手机100的数字照相机单元115的视场，并且由此例如在视频呼叫期间知晓如何向第三方显示用户图像。该示例的取景器窗口216部分地叠加在视频窗口214和第一中间窗口208上，并且前景对象210叠加在取景器窗口216上。
在该示例中，作为视频播发器应用一部分的视频解码小程序218用于产生构成了视频平面的第一视频图像220的帧，所述第一视频图像220的帧作为第二个随时间变化的图像数据而存储在第一视频平面缓冲器222中，第一视频平面缓冲器222构成了第二存储空间。同样地，同样作为视频播放器应用一部分的取景器小程序215用于产生构成了第二视频平面的第二视频图像226的帧，所述第二视频图像226的帧作为第三个随时间变化的图像数据而存储在构成了第三存储空间的第二视频平面缓冲器228中。在该示例中，以30fps的速率刷新第二和第三随时间变化的图像数据。
首先为了便于对第一视频图像220与用户接口帧缓冲器212的内容进行组合，并且其次为了便于对第二视频图像226与用户接口帧缓冲器212的内容进行组合，采用蒙板(masking)或者区域保留处理。具体地，第一视频图像220出现在视频窗口214中，并且第二视频图像出现在取景器窗口216中。
在该示例中，GUI使用构成了第一蒙板数据的第一基本色数据，以填充视频窗户214所划界的第一保留或蒙板区域230，其中，第一视频图像220的至少一部分位于区域230中并且是可见的，即，视频窗口220的一部分未被前景或者中间窗口/对象遮掩。同样地，GUI使用构成了第二蒙板数据的第二基本色数据，以填充取景器窗口216之内的第二保留或蒙板区域232，其中，第二视频图像226的至少一部分位于该区域232中并且被示出。第一和第二基本色是以下所选颜色，该所选颜色用于构成被第一视频平面缓冲器222的内容和第二视频平面缓冲器228的内容分别所要替代的第一和第二蒙板区域。然而，按照蒙板的概念，该替代的范围是仅从第一视频平面缓冲器222和第二视频平面缓冲器228中将第一和第二保留或蒙板区域230、232所限定的内容的部分取出以进行组合。因此，当图形地显示时，由分别限定第一和第二蒙板区域230、232的像素坐标来限定替代与第一和第二蒙板区域230、232相对应的第一和第二基本色数据的第一视频平面缓冲器222和第二视频平面缓冲器228的部分。在这方面，当通过GUI打开视频窗口214时，通过例如视频解码小程序218之类的与第一基本色数据相关的应用，将与第一蒙板区域230的位置相关的像素坐标所限定的第一蒙板区域230的位置以及第一基本色数据传送到IPU。同样地，当GUI打开取景器窗口216时，通过例如取景器小程序215之类的与第二基本色数据相关的应用，将与第二蒙板区域232的位置相关的像素坐标所限定的第二蒙板区域232的位置以及第二基本色数据传送到IPU。当然，当考虑帧缓冲器时，由视频窗口214和取景器窗口216的存储或者缓冲器地址来限定像素坐标。
在该示例中，通过使用嵌入在i.MX31处理器的IPU中的微码来支持将数据从源存储空间传送到目的存储空间的能力，可实现IPU使用基本色来实现第一和第二蒙板区域230、232，其中，所述源存储空间是连续的，并且所述目的存储空间是不连续的。有时还将该能力称为＂2D DMA＂，该2D DMA可实现考虑了例如基本色或者α混合(AlphaBlending)数据所限定的透明度的叠加技术。有时还将该能力称为＂图形组合＂功能。
具体地，在该示例中，IPU使用所获取的视频窗口214和取景器窗口216的位置以利用2D DMA传送处理来逐像地读取用户接口缓冲器212。如果在2D DMA传送处理中所使用的从先前标识的视频窗口214当中所“读取”的像素不是第一基本色，那么将像素传送到构成了复合存储空间的主帧缓冲器236。重复该处理，直至在第一视频窗口214之内遭遇到第一基本色的像素，即，遭遇到第一蒙板区域230的像素。当在与视频窗口214的内部相对应的用户接口缓冲器212中遭遇到第一基本色的像素时，所实现的2D DMA传送处理导致重获来自第一视频平面缓冲器222的相应像素，并且将其传送到主帧缓冲器236以代替所遭遇到的基本色像素。在这方面，当图形地显示时，从第一视频平面缓冲器222所重获的像素与和第一基本色的像素相同的位置相对应，即，从第一视频平面缓冲器222所重获的像素的坐标与所遭遇到的基本色像素的坐标相对应。因此，可实现蒙板操作。对于视频窗口214，为在用户接口缓冲器212中所遭遇到的所有基本色像素以及非基本色像素，重复上述蒙板操作。这构成了第一组合步骤234。然而，当在取景器窗口216中遭遇到第二基本色的像素时，2D DMA传送处理导致对第二视频平面缓冲器228进行访问，因为就取景器窗口216的内容而言，第二基本色与第二蒙板区域232相对应。与第一基本色的像素和第一蒙板区域230的情况一样，在利用2D DMA传送处理而在取景器窗口216之内遭遇到第二基本色的像素的情况下，当图形地表示时，将来自第二视频平面缓冲器228的相应位置的像素传送到主帧缓冲器236，以代替第二基本色的像素。再次，从第二视频平面缓冲器222所重获的像素的坐标与所遭遇到的基本色像素的坐标相对应。对于取景器窗口216，为在用户接口缓冲器212中所遭遇到的所有基本色像素和非基本色像素重复该蒙板操作。这构成了第二组合步骤235。因此该主帧缓冲器236包含对用户接口帧缓冲器212、第一和第二蒙板区域230，232所限制的第一视频平面缓冲器222和第二视频平面缓冲器228的最终组合。在该示例中分离地执行第一和第二组合步骤234、235，但是出于改善性能的考虑可基本上同时执行。然而，第一和第二组合步骤的分离执行的有利之处在于由于第二图像数据226的帧速率小于第一图像数据220的帧速率，则不必如例如执行第一组合步骤234那样频繁地执行第二组合步骤235。
此后，视频控制器112使用主帧缓冲器236的内容以通过显示装置122来图形地显示主帧缓冲器236的内容。可采用任何适当的已知技术。在该示例中，适当的技术采用异步显示控制器(ADC)，但是也可使用同步显示控制器(SDC)。为了减轻闪烁，可采用任何适当的双缓冲器、或者利用用户接口帧缓冲器212的现有技术所熟知的三缓冲器技术。
虽然利用基本色像素在上述示例中形成了第一和第二保留或者蒙板区域230、232，但是可利用像素的局部α混合或全局α混合性质来标识第一和/或第二保留或蒙板区域230，232。在这方面，代替利用基本色参数来对一个或多个蒙板区域的像素进行标识的2D DMA，可对每个像素的α混合参数进行分析以对用于限定一个或多个保留区域的像素进行标识。例如，具有100％透明度的像素可用于表示蒙板区域的像素。当利用i.MX31处理器时，可以具有根据α混合参数来执行DMA的能力。
如果需要，可采用一个或多个中间缓冲器，以临时存储数据来作为蒙板操作的一部分。因此可简单地执行2D DMA以将数据传送到一个或多个中间缓冲器，并且随后可执行对蒙板区域的基本色和/或α混合的分析。一旦蒙板操作完成了，那么可再次简单地使用2D DMA传送处理，以将已处理的图像数据传送到主帧缓冲器236。
为了降低网络处理开销并且由此节省功率，可对第一视频平面缓冲器222进行监控以便检测到第一视频图像220的变化，任何已检测到的变化用于触发执行第一组合步骤234。对于到第二视频平面缓冲器228的变化和第二组合步骤235的执行而言可采用相同方法。
因此可提供一种图像处理设备以及用于对下述图像数据进行传送的方法，所述图像数据不局限于用户接口可显示的、最大数目平面的随时间变化的图像数据。此外，包含随时间变化的图像数据的窗口不必是均一的，例如不必是四边形，并且当叠加在另一窗口上时，可拥有例如曲线边之类的非直角边。另外，当图形地显示时，保存窗口的相对位置(以及它们的内容)，并且可同时显示与不同刷新率相关的图像数据块。如果需要的话，该方法可专门以硬件来实现。因此，可避免软件处理系列化，并且不用通过软件来执行特定的同步。
该方法和设备既不是操作系统又不是特定用户接口。同样地，显示装置类型与该方法和设备无关。无需利用附加缓冲器来存储蒙板数据。同样地，无需例如视频这样的中间随时间变化数据的缓冲器。此外，由于可以用硬件实现该方法的能力，因此用于对随时间变化的图像数据与用户接口进行组合所需的MIPS开销以及由此的功耗减低了。实际上，仅需刷新主帧缓冲器，而无需产生多个前景、中间、以及背景平面。刷新用户接口缓冲器不会影响窗口的相对位置。当然，上述优点是示例性的，并且本发明可实现这些或其他优点。此外，本领域普通技术人员应理解，不是所有上述优点都是必定由这里所描述的实施例所实现。
本发明的替代实施例可以被实现为作为供计算机系统使用的计算机程序产品，该计算机程序产品是，例如存储在诸如磁盘、CD-ROM、ROM、或者硬盘这样的有形数据记录介质中的一系列计算机指令，或者其可以实施在计算机数据信号中，其中，该信号是通过有形介质或者例如微波或红外线之类的无线介质来传送的。这一系列计算机指令构成了上述所有功能或者其的一部分，并且还可存储在诸如半导体、磁存储装置、光存储装置、或者其他存储装置这样的任何易失性或非易失性存储装置中。

Claims (33)

1.一种用于将图像数据传送到复合存储空间(236)以通过显示装置(122)输出的方法，该方法包括以下步骤：
在第一存储空间(212)中提供第一图像数据(204，206，208，210，216)，所述第一图像数据(204，206，208，210，216)具有与之相关的第一帧速率；所述方法特征在于：
将蒙板数据并入到所述第一图像数据(204，206，208，210，216)中，所述蒙板数据用于限定保留输出区(230)；
将所述第一图像数据(204，206，208，210，216)的至少一部分和第二图像数据(220)的至少一部分传送到所述复合存储空间(236)，所述第二图像数据(220)驻留在第二存储空间(222)中，并且具有与之相关的第二帧速率；其中
与所述第二图像数据(220)有关的蒙板处理使用所述蒙板数据，以便提供基本上代替所述蒙板数据的所述第二图像数据的至少一部分，使得当输出时，所述第二图像数据(220)的至少一部分占据所述保留输出区(230)。
2.如权利要求1所述的方法，其中所述复合存储空间(236)是用于显示装置(122)的主帧缓冲器。
3.如权利要求1或2所述的方法，其中所述第一图像数据(204，206，208，210，216)构成了呈现平面(202)。
4.如在前权利要求中任何一项所述的方法，其中所述第一图像数据(204，206，208，210，216)与图形用户界面相对应。
5.如在前权利要求中任何一项所述的方法，其中，当输出时，所述第一图像数据(204，206，208，210，216)对多个显示对象进行限定。
6.如在前权利要求中任何一项所述的方法，其中，当输出时，所述第一图像数据(204，206，208，210，216)限定了前景对象(210)和中间对象(214)。
7.如权利要求6所述的方法，其中所述前景对象(210)叠加在所述中间对象(214)上。
8.如权利要求6或7所述的方法，其中，当输出时，所述第一图像数据(204，206，208，210，216)还限定了布置在所述中间对象(214)与所述前景对象(210)之间的另一中间对象(216)。
9.如权利要求8所述的方法，其中，当输出时，所述第一图像数据(204，206，208，210，216)还限定了布置在所述中间对象(214)与所述另一中间对象(216)之间的又一中间对象(208)。
10.如权利要求6或7所述的方法，其中，当输出时，所述第一图像数据限定了背景对象(204)，所述中间对象(214)布置在所述背景对象(204)和所述前景对象(210)之间。
11.如权利要求6至10中任何一项所述的方法，其中，当输出时，所述保留输出区(230)与所述中间对象(214)所占据的、且所述前景对象(210)和/或所述另一中间对象(216)和/或所述又一中间对象(208)所公开的区域相对应。
12.如权利要求6至11中任何一项所述的方法，其中所述中间对象(214)是第一窗口和/或所述又一中间对象(208)是第二窗口。
13.如在前权利要求中任何一项所述的方法，其中所述保留输出区(230)在所述中间对象(214)的边界所划界的区内。
14.如在前权利要求中任何一项所述的方法，其中所述第一存储空间(212)是第一帧缓冲器和/或所述第二存储空间(222)是第二帧缓冲器。
15.如在前权利要求中任何一项所述的方法，其中所述第一帧速率与所述第二帧速率不同。
16.如在前权利要求中任何一项所述的方法，其中所述第一帧速率小于所述第二帧速率。
17.如在前权利要求中任何一项所述的方法，其中所述第二图像数据(220)与视频数据相对应。
18.如在前权利要求中任何一项所述的方法，其中所述保留输出区(230)是不均匀的。
19.如在前权利要求中任何一项所述的方法，其中所述保留输出区(230)至少部分地被非直角边缘或者曲线边缘划界。
20.如在前权利要求中任何一项所述的方法，其中，当输出时，所述第二图像数据(220)的至少一部分布置在所述第一图像数据(204，206，208，210，216)的输出之中。
21.如在前权利要求中任何一项所述的方法，其中，当输出时，所述蒙板数据限定了在所述第一图像数据(204，206，208，210，216)之中的显示位置。
22.如在前权利要求中任何一项所述的方法，其中与所述第二图像数据(220)有关的所述蒙板处理使用所述蒙板数据，以便当传送到所述复合存储空间(236)时选择所述第二图像数据(220)的至少一部分。
23.如在前权利要求中任何一项所述的方法，其中所述第二图像数据(220)构成了视频平面。
24.如在前权利要求中任何一项所述的方法，进一步包括：
在第三存储空间(228)中提供第三图像数据(226)，所述第三图像数据具有与之相关的第三帧速率。
25.如在前权利要求中任何一项所述的方法，进一步包括：
将又一蒙板数据并入到所述第一图像数据中，所述又一蒙板数据限定了又一保留输出区(232)。
26.如权利要求25所述的方法，其中所述又一蒙板数据覆写所述蒙板数据的一部分，以便所述又一保留输出区(232)叠加在所述保留输出区(230)上，并且其对于所述保留输出区(230)而言是首要的。
27.如权利要求25或权利要求26所述的方法，其中所述又一保留输出区(232)与所述保留输出区(230)相邻，并且至少部分地与所述保留输出区(230)相接。
28.如权利要求24至27中任何一项所述的方法，其中所述第三帧速率与所述第一帧速率不同。
29.如权利要求25至28中任何一项所述的方法，当从属于权利要求22时，进一步包括以下步骤：
将所述第三图像数据(226)的至少一部分传送到复合存储空间(236)，与所述第三图像数据(226)有关的所述蒙板处理使用所述又一蒙板数据，以便提供基本上代替所述又一蒙板数据的所述第三图像数据(226)的至少一部分，使得当输出时，所述第三图像数据(226)的至少一部分占据所述又一保留输出区(232)。
30.如在前权利要求中任何一项所述的方法，进一步包括以下步骤：
采用DMA传送处理，以提供与所述第二图像数据(220)有关的所述蒙板处理，并且将所述第二图像数据(220)的至少一部分传送到所述复合存储空间(236)。
31.如在前权利要求中任何一项所述的方法，进一步包括以下步骤：
对所述第二图像数据的至少一部分进行监控；并且其中
提供基本上代替所述蒙板数据的所述第二图像数据的至少一部分，以响应在所述第二图像数据的至少一部分中检测到变化。
32.一种包括有代码部分的计算机程序产品，所述代码部分在可编程设备上运行时用于执行如在前权利要求中任何一项所述的方法。
33.一种图像处理设备，该设备包括：
处理资源(102，112，114)，所述处理资源(102，112，114)被安排为用于在使用时将图像数据传送到复合缓冲器(236)，以通过显示装置(122)输出；
第一缓冲器(212)，所述第一缓冲器(212)在使用时包括第一图像数据(204，206，208，210，216)，所述第一图像数据(204，206，208，210，216)具有与之相关的第一帧速率；所述设备特征在于：
所述处理资源(102，112，114)支持蒙板处理，并且被安排为用于将蒙板数据并入到所述第一图像数据(204，206，208，210，216)中，所述蒙板数据用于限定保留输出区(230)；并且
所述处理资源(102，112，114)支持数据传送，并且被安排为用于将所述第一图像数据(204，206，208，210，216)的至少一部分和第二图像数据(220)的至少一部分传送到所述复合存储空间(236)，所述第二图像数据(220)驻留在第二缓冲器(222)中，并且具有与之相关的第二帧速率；其中
与所述第二图像数据(220)有关的所述蒙板处理使用所述蒙板数据，以便提供基本上代替所述蒙板数据的所述第二图像数据(220)的至少一部分，使得当输出时，所述第二图像数据(220)的至少一部分占据所述保留输出区(230)。
CN2006800560967A 2006-10-13 2006-10-13 用于使显示具有不同帧速率的视频数据的窗口迭加的图像处理设备 Expired - Fee Related CN101523481B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2006/054685 WO2008044098A1 (en) 2006-10-13 2006-10-13 Image processing apparatus for superimposing windows displaying video data having different frame rates

Publications (2)

Publication Number Publication Date
CN101523481A true CN101523481A (zh) 2009-09-02
CN101523481B CN101523481B (zh) 2012-05-30

Family

ID=38066629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800560967A Expired - Fee Related CN101523481B (zh) 2006-10-13 2006-10-13 用于使显示具有不同帧速率的视频数据的窗口迭加的图像处理设备

Country Status (4)

Country Link
US (1) US20100033502A1 (zh)
EP (1) EP2082393B1 (zh)
CN (1) CN101523481B (zh)
WO (1) WO2008044098A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040238A (zh) * 2020-07-21 2022-02-11 华为技术有限公司 一种显示多个窗口的方法及电子设备

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2008126227A1 (ja) * 2007-03-29 2010-07-22 富士通マイクロエレクトロニクス株式会社 表示制御装置、情報処理装置、および表示制御プログラム
GB2463104A (en) 2008-09-05 2010-03-10 Skype Ltd Thumbnail selection of telephone contact using zooming
GB2463124B (en) 2008-09-05 2012-06-20 Skype Ltd A peripheral device for communication over a communications sytem
GB2463103A (en) * 2008-09-05 2010-03-10 Skype Ltd Video telephone call using a television receiver
US8405770B2 (en) * 2009-03-12 2013-03-26 Intellectual Ventures Fund 83 Llc Display of video with motion
GB0912507D0 (en) * 2009-07-17 2009-08-26 Skype Ltd Reducing processing resources incurred by a user interface
CN102096936B (zh) * 2009-12-14 2013-07-24 北京中星微电子有限公司 一种图像生成方法及装置
JP2011193424A (ja) * 2010-02-16 2011-09-29 Casio Computer Co Ltd 撮像装置及び方法、並びにプログラム
WO2013024553A1 (ja) * 2011-08-18 2013-02-21 富士通株式会社 通信装置、通信方法、および通信プログラム
CN102521178A (zh) * 2011-11-22 2012-06-27 北京遥测技术研究所 高可靠性嵌入式人机界面及其实现方法
US20150062130A1 (en) * 2013-08-30 2015-03-05 Blackberry Limited Low power design for autonomous animation
KR20150033162A (ko) * 2013-09-23 2015-04-01 삼성전자주식회사 컴포지터, 이를 포함하는 시스템온칩 및 이의 구동 방법

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61188582A (ja) * 1985-02-18 1986-08-22 三菱電機株式会社 マルチウインドウ書込み制御装置
GB8601652D0 (en) * 1986-01-23 1986-02-26 Crosfield Electronics Ltd Digital image processing
US4954819A (en) * 1987-06-29 1990-09-04 Evans & Sutherland Computer Corp. Computer graphics windowing system for the display of multiple dynamic images
JP2731024B2 (ja) * 1990-08-10 1998-03-25 シャープ株式会社 表示制御装置
US5243447A (en) * 1992-06-19 1993-09-07 Intel Corporation Enhanced single frame buffer display system
US5402147A (en) * 1992-10-30 1995-03-28 International Business Machines Corporation Integrated single frame buffer memory for storing graphics and video data
US5537156A (en) * 1994-03-24 1996-07-16 Eastman Kodak Company Frame buffer address generator for the mulitple format display of multiple format source video
WO1996020470A1 (en) * 1994-12-23 1996-07-04 Philips Electronics N.V. Single frame buffer image processing system
US5877741A (en) * 1995-06-07 1999-03-02 Seiko Epson Corporation System and method for implementing an overlay pathway
US6400374B2 (en) * 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
JPH10222142A (ja) * 1997-02-10 1998-08-21 Sharp Corp ウィンドウ制御装置
US6809776B1 (en) * 1997-04-23 2004-10-26 Thomson Licensing S.A. Control of video level by region and content of information displayed
US6661422B1 (en) * 1998-11-09 2003-12-09 Broadcom Corporation Video and graphics system with MPEG specific data transfer commands
US6853385B1 (en) * 1999-11-09 2005-02-08 Broadcom Corporation Video, audio and graphics decode, composite and display system
US7623140B1 (en) * 1999-03-05 2009-11-24 Zoran Corporation Method and apparatus for processing video and graphics data to create a composite output image having independent and separate layers of video and graphics
US6753878B1 (en) * 1999-03-08 2004-06-22 Hewlett-Packard Development Company, L.P. Parallel pipelined merge engines
US6975324B1 (en) * 1999-11-09 2005-12-13 Broadcom Corporation Video and graphics system with a video transport processor
US6567091B2 (en) * 2000-02-01 2003-05-20 Interactive Silicon, Inc. Video controller system with object display lists
US6898327B1 (en) * 2000-03-23 2005-05-24 International Business Machines Corporation Anti-flicker system for multi-plane graphics
US7158127B1 (en) * 2000-09-28 2007-01-02 Rockwell Automation Technologies, Inc. Raster engine with hardware cursor
US7827488B2 (en) * 2000-11-27 2010-11-02 Sitrick David H Image tracking and substitution system and methodology for audio-visual presentations
JP3617498B2 (ja) * 2001-10-31 2005-02-02 三菱電機株式会社 液晶駆動用画像処理回路、およびこれを用いた液晶ディスプレイ装置、ならびに画像処理方法
JP4011949B2 (ja) * 2002-04-01 2007-11-21 キヤノン株式会社 マルチ画面合成装置及びデジタルテレビ受信装置
US20040109014A1 (en) * 2002-12-05 2004-06-10 Rovion Llc Method and system for displaying superimposed non-rectangular motion-video images in a windows user interface environment
US7643675B2 (en) * 2003-08-01 2010-01-05 Microsoft Corporation Strategies for processing image information using a color information data structure
JP3786108B2 (ja) * 2003-09-25 2006-06-14 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理プログラム、画像処理方法及びデータ変換のためのデータ構造
US7193622B2 (en) * 2003-11-21 2007-03-20 Motorola, Inc. Method and apparatus for dynamically changing pixel depth
US7250983B2 (en) * 2004-08-04 2007-07-31 Trident Technologies, Inc. System and method for overlaying images from multiple video sources on a display device
US7586492B2 (en) * 2004-12-20 2009-09-08 Nvidia Corporation Real-time display post-processing using programmable hardware

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040238A (zh) * 2020-07-21 2022-02-11 华为技术有限公司 一种显示多个窗口的方法及电子设备
CN114040238B (zh) * 2020-07-21 2023-01-06 华为技术有限公司 一种显示多个窗口的方法及电子设备

Also Published As

Publication number Publication date
EP2082393A1 (en) 2009-07-29
US20100033502A1 (en) 2010-02-11
CN101523481B (zh) 2012-05-30
EP2082393B1 (en) 2015-08-26
WO2008044098A1 (en) 2008-04-17

Similar Documents

Publication Publication Date Title
CN101523481B (zh) 用于使显示具有不同帧速率的视频数据的窗口迭加的图像处理设备
CN107093418B (zh) 一种屏幕显示方法、计算机设备及存储介质
US11711623B2 (en) Video stream processing method, device, terminal device, and computer-readable storage medium
EP4199523A1 (en) Multi-window screen projection method and electronic device
US8570318B2 (en) Collaborative graphics rendering using mobile devices to support remote display
CN103259989B (zh) 屏幕内容的显示方法及装置
KR101981685B1 (ko) 디스플레이 장치, 사용자 단말 장치, 외부 장치, 디스플레이 방법, 데이터 수신 방법 및 데이터 전송 방법
CN104269155A (zh) 一种调整屏幕刷新频率的方法及装置
CN107770618B (zh) 一种图像处理方法、装置及存储介质
US9665247B2 (en) Method and device for applying a new skin to a display environment
CN106097952B (zh) 一种终端显示屏分辨率调整方法和终端
KR20150027891A (ko) 전자 장치들을 이용한 콘텐트 표현 방법 및 장치
CN103823546A (zh) 信息控制方法和电子设备
CN105278950A (zh) 用于执行视频通话增强功能的方法及其电子装置
US20140313366A1 (en) Method of processing image and electronic device and system supporting the same
JP5313713B2 (ja) 端末装置及びプログラム
CN102833405A (zh) 一种静态壁纸的显示方法、装置及移动终端
CN103685963A (zh) 图像显示处理方法及装置
CN103513947A (zh) 信息处理的方法及信息处理系统
TWI600312B (zh) 顯示介面帶寬調制
CN105376316A (zh) 一种具有互联功能的车载后排头枕及实现方法
EP2747069A1 (en) Device and method for controlling screen according to data loading in terminal
CN112162719A (zh) 显示内容渲染方法及装置、计算机可读介质和电子设备
CN110941413A (zh) 显示画面的生成方法及相关装置
CN111614901A (zh) 一种图像拍摄方法、装置、存储介质及终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Texas in the United States

Patentee after: NXP America Co Ltd

Address before: Texas in the United States

Patentee before: Fisical Semiconductor Inc.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120530

Termination date: 20201013