CN1981519B - 用于显示图像帧序列的方法和系统 - Google Patents

用于显示图像帧序列的方法和系统 Download PDF

Info

Publication number
CN1981519B
CN1981519B CN2005800228695A CN200580022869A CN1981519B CN 1981519 B CN1981519 B CN 1981519B CN 2005800228695 A CN2005800228695 A CN 2005800228695A CN 200580022869 A CN200580022869 A CN 200580022869A CN 1981519 B CN1981519 B CN 1981519B
Authority
CN
China
Prior art keywords
sequence
image
display
refresh
renewal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800228695A
Other languages
English (en)
Other versions
CN1981519A (zh
Inventor
大卫·扬
奥斯卡尔·派尔克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NXP USA Inc
Original Assignee
Freescale Semiconductor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Freescale Semiconductor Inc filed Critical Freescale Semiconductor Inc
Publication of CN1981519A publication Critical patent/CN1981519A/zh
Application granted granted Critical
Publication of CN1981519B publication Critical patent/CN1981519B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/04—Display device controller operating with a plurality of display units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Abstract

一种用于显示图像帧序列的系统和方法，系统包括：(i)第一电路，适于以更新速率(Ur)接收图像帧序列，图像帧序列与更新同步信号序列相关联；以及(ii)第二电路，适于控制图像序列以刷新速率(Rr)显示，其中Rr＝Ur*[(N+1)/N]；其中，图像序列与驱动自更新同步信号的刷新同步信号序列相关联。方法包括：(i)以更新速率(Ur)接收图像帧序列，图像帧序列与更新同步信号序列相关联；以及(ii)以刷新速率(Rr)显示图像序列，其中Rr＝Ur*[(N+1)/N]；并旦其中，图像序列与驱动自更新同步信号的刷新同步信号序列相关联。

Description

用于显示图像帧序列的方法和系统
技术领域
本发明涉及用于显示图像帧序列的方法和系统，尤其是用于防止在刷新速率高于更新速率的系统中的图像分裂。
背景技术
图像分裂(image tearing)出现于各种场合，通常是对共享图像存储器进行异步读和写操作时发生。
Ishibashi等的题为“Display controller with motion picture displayfunction，computer system，and motion picture display control method”的美国专利6489933，在此通过引用合并进来，描述了一种VGA控制器，其具有通过模式和VRAM模式作为运动图像显示模式，可以通过控制开关来选择这些显示模式之一。在通过模式中，从视频端口接口输入的视频数据可以直接输出到NTSC/PAL编码器而无需VRAM的介入。在此模式中，可以在TV上以其原始质量显示原始视频数据。另一方面，在VRAM模式中，屏幕显示的刷新速率与视频数据的垂直同步频率进行匹配，可以获得无“分裂”的高质量图像。
Eglit的题为“Display unit displaying images at a refresh rate lessthan the rate at which the images are encoded in a received display signal”的美国专利6054980，在此通过引用合并进来，描述了一种显示单元，其接收具有以编码速率(FRs)编码的源图像帧的显示信号。显示屏幕可以以小于编码速率的刷新速率进行刷新。实际刷新速率(FRd)确定为使得FRs/FRd＝(N+1)/N。为了满足这个公式，实际刷新速率(FRd)可以选择为与显示屏幕所支持的目标刷新速率略微不同。表示源图像帧(以FRs接收)的像素数据元素可以写入帧缓冲器，可以以由刷新速率FRd确定的频率来提取这些像素数据元素。但是，每第(N+1)个源图像帧的至少一部分不写入帧缓冲器，以避免图像分裂问题。
Matsushita的题为“Image processing apparatus and method of thesame，and display apparatus using the image processing apparatus”的美国专利申请20020021300，在此通过引用合并进来，描述了一种图像处理装置及其方法，以及一种显示装置，能够避免场分裂(存储器溢出)的发生，即使是在针对单一图像存储器进行输入/输出图像的读操作和写操作时，其中，提供一种系统MC，用于生成和供应输出延迟数据，以便基于对图像存储器的写速度、对图像存储器的读速度以及读取区域而延迟图像输出定时，使得对读取端地址的访问的定时(或者对读取开始地址的访问的定时)与用于对相同地址进行写操作的定时匹配，还提供一种扫描转换器，用于接收系统MC所供应的输出延迟数据并且延迟图像输出定时，使得对读取端地址的方法的定时与用于对相同地址进行写操作的定时匹配。
需要提供一种有效的系统和方法来防止分裂，尤其是在刷新速率超过更新速率时。
发明内容
本发明提供一种用于在图像帧的更新速率低于图像帧的刷新速率时防止图像分裂的系统和方法。方便之处在于，该方法和系统通过使用单独一个帧缓冲器而不是双帧缓冲器就能防止图像分裂。
该系统可以包含在一个片上系统中，并且可以方便地包括连接到主处理单元的图像处理单元。
本发明提供一种用于显示图像帧序列的系统，该系统包括：(i)第一电路，适于以更新速率(Ur)接收图像帧序列，图像帧序列与更新同步信号序列相关联；以及(ii)第二电路，适于控制图像序列以刷新速率(Rr)显示，其中Rr＝Ur*[(N+1)/N]；其中，图像序列与从更新同步信号驱动的刷新同步信号序列相关联。
本发明提供一种用于显示图像帧序列的方法，该方法包括：(i)以更新速率(Ur)接收图像帧序列，图像帧序列与更新同步信号序列相关联；以及(ii)以刷新速率(Rr)显示图像序列，其中Rr＝Ur*[(N+1)/N]，并且其中，图像序列与从更新同步信号驱动的刷新同步信号序列相关联。
附图说明
通过下面的详细说明，并结合附图，将更全面地理解和认识本发明，在附图中：
图1是根据本发明实施例的片上系统的示意图；
图2是根据本发明实施例的异步显示控制器的示意图；
图3图示说明根据本发明实施例的包括两个窗的示例显示帧；
图4a-4b图示说明根据本发明各种实施例的两种类型的访问通道；
图5图示说明根据本发明实施例的第三类型访问通道；
图6图示说明根据本发明实施例的用于显示图像帧序列的方法；以及
图7-8是图示说明根据本发明各种实施例的图像帧更新和刷新过程的进行的定时图，其中N＝1。
具体实施方式
图1图示说明了片上系统10，其包括外部存储器420、处理器100和图像处理单元(IPU)200。处理器100包括IPU 200以及主处理单元400。主处理单元400(也称为“通用处理器”、“数字信号处理器”或就是“处理器”)能够执行指令。
片上系统10可以安装在蜂窝电话或其他个人数据助理与促进多媒体的应用中。
IPU 200的特征在于，与主处理单元400相比具有低能量消耗水平，并且能够执行多任务而不涉及主处理单元400。IPU 200能够通过利用其自身的图像直接存储访问控制器(IDMAC)280访问各种存储器，能够支持各种类型的多显示(同步和异步、具有串行接口或并行接口)，并且支持控制和定时功能，其允许例如在显示图像帧的同时防止图像分裂。
IPU 200通过独立控制可在长时期内重复的各个操作(诸如显示刷新、图像获取)，同时允许主处理单元400进入空闲模式或管理其他任务，减小了片上系统10的电力消耗。在某些情况下，主处理单元400参与图像处理步骤(例如，如果需要进行图像编码)，但并不必需这样。
IPU 200部件可以用于各种用途。例如，IDMAC 280用于视频获取、图像处理和数据传输以显示。IPU 200包括图像转换器230，其能够处理来自摄像机300、内部存储器430或外部存储器420图像帧。
片上系统10包括多个部件，以及多个指令、控制和数据总线。为简化解释说明，只显示了主要的数据总线与单独一条指令总线。
根据本发明的各种实施例，IPU 200能够进行各种图像处理操作，并且与诸如图像传感器、摄像机、显示器、编码器等的各种外部设备进行连接。IPU 200比主处理单元400小得多，并且消耗更少的电力。
IPU 200具有硬件滤波器240，其能够进行各种滤波操作，诸如解块(de-blocking)滤波、解环(de-ringing)滤波等。用于进行所述滤波操作的各种现有技术方法是本领域中已知的，并且不需要额外的解释。
通过由滤波器240而不是主处理单元400进行解块滤波操作，IPU200减小了主处理单元400的计算负担。在一种操作模式中，滤波器240可以通过与主处理单元400并行操作而加速图像处理过程。
IPU 200包括控制模块210、传感器接口220、图像转换器230、滤波器240、IDMAC 280、同步显示控制器250、异步显示控制器260以及显示接口270。
IPU 200具有第一电路，其可至少包括传感器接口220，但也可包括额外的部件，诸如IDMAC 280。第一电路适于以更新速率(Ur)接收图像帧序列。IPU 200还包括第二电路，其可至少包括异步显示控制器260。第二电路适于控制图像序列以刷新速率(Rr)进行显示，其中Rr＝Ur*[(N+1)/N]。
传感器接口220一端连接到诸如摄像机300的图像传感器，另一端连接到图像转换器230。显示接口270连接到同步显示控制器(SDC)250并且并行连接到异步显示控制器(ADC)260。显示接口270适于连接到多个设备，诸如但不限于，TV编码器310、图形加速器320、以及显示器330。
IDMAC 280促进IPU 200各种模块对诸如内部存储器430和外部存储器420的存储器组的访问。IDMAC 280一方面连接到图像转换器230、滤波器240、SDC 250和ADC 260，另一方面连接到存储器接口410。存储器接口410连接到内部存储器430，并且附加地，或者替换地，连接到外部存储器420。
传感器接口220从摄像机300或从TV解码器(未示出)获取图像数据。获取的图像数据被安排为图像帧，并且可以被发送到图像转换器230用于预处理或者后处理，但对获取的数据图像也可以不施加任何上述操作就发送到IDMAC 280，然后再通过存储器接口410发送到内部存储器430或外部存储器420。
图像转换器230能够预处理来自传感器接口220的图像数据或者后处理从外部存储器420或内部存储器430中提取的图像数据。预处理操作与后处理操作包括小型化、调整大小、色空间转换(例如YUV到RGB、RGB到YUV、YUV到另一YUV)、图像旋转、上/下和左/右翻转图像、以及将视频图像与图片进行组合。
显示接口270能够使用时间复用方案来仲裁对多个显示器的访问。其将图像数据从SDC 250、ADC 260和主处理单元400转换为适合于连接到其上的显示器的格式。还要适于生成控制和定时信号并且将这些信号提供给显示器。
SDC 250支持在诸如无声显示器和无存储显示器的同步显示器上、以及在电视(通过TV编码器)上显示视频和图片。ADC 260支持在智能显示器上显示视频和图片。
IDMAC 280具有多个DMA通道并且管理对内部和外部存储器430和420的访问。
图2是根据本发明的ADC 260的示意图。
ADC 260包括主处理单元从属接口261，其一方面连接到主处理单元总线并且连接到异步显示缓冲器控制单元(ADCU)262。ADCU 262还连接到异步显示缓冲器存储器(ADM)263、连接到数据和命令组合器(组合器)264以及连接到访问控制单元265。访问控制265还连接到模板命令生成器266，然后又连接到模板存储器268。
ADC 260可以从三个源接收图像数据：主处理单元400(经由主处理单元从属接口261)、内部或外部存储器430和420(经由IDMAC280和ADCU 262)、或者来自摄像机300(经由传感器接口220、IDMAC280和ADCU 262)。
ADC 260发送图像数据、图像命令和刷新同步信号到异步显示器，诸如显示器330。图像命令可以包括读/写命令、地址、垂直延迟、水平延迟等。每一图像数据单元(诸如图像数据字、字节；长字等)可以与命令相关联。ADC 260可以支持X，Y寻址或全线性寻址。命令可以从命令缓冲器(未示出)中提取或者由模板命令生成器266从模板存储器268中提供。命令与图像数据通过数据和命令组合器264进行组合。模板包括由每次执行一个数据突发的主处理单元400写入模板存储器268的命令序列，其被发送到智能显示器(或从中读取)。
ADC 260通过维持多达5个访问通道从而能够在不同显示器上支持多达5个窗。两个系统通道使显示图像能够储存在内部或外部存储器420和430中。另一通道允许显示图像由主处理单元提供。两个附加的通道允许显示图像来自摄像机300(不处理或者经过预处理)。
每个窗的特征在于其长度宽度及其起始地址。每个窗的起始地址储存在ADC 260可访问的寄存器中，方便地，是指刷新同步信号，诸如VSYNCr。起始地址类似VSYNCr脉冲与帧开始之间的延迟。图3图示说明了根据本发明实施例的示例显示帧500，其包括两个窗510和520。显示帧500具有起始地址，在生成VSYNCr脉冲时对该起始地址进行访问。第一窗510具有起始地址511，对应于VSYNCr脉冲之后的预定延迟。显示帧500具有预定高度(SCREEN_HEIGHT 504)和宽度(SCREEN_WIDTH 502)，第一窗510特征在于其预定高度514和宽度516，第二窗520特征在于其预定高度524和宽度526。每个窗由来自单独访问通道的图像数据刷新。
ADC 260所支持的5个访问通道可以划分为两种类型。第一类型包括提取从摄像机300获取的图像数据，其中图像帧是以预定更新速率Ur提供的。第二类型包括从存储器中，提取图像帧，例如在视频回放期间，其提取方式是由IPU 200全面控制的。根据本发明另一实施例，由摄像机300或存储器组提供的图像帧在提供给ADC 260之前还可以由滤波器430进行滤波。
图4a图示说明了根据本发明实施例的第一类型访问通道。为了简化解释说明，进一步忽略了多个组件和总线。访问通道包括在传感器接口220接收图像帧(标为A)；发送图像数据到图像转换器230(标为B)，其中图像数据可以进行预处理或者保持不变；经由IDMAC 280向存储器组提供图像数据(标为C1)，从存储器组提取图像数据到ADC260(标为C2)；最后，经由显示接口270向显示器330提供图像数据(标为D)。如果显示器不包括帧缓冲器，对于图像传感器所获取的每N个图像帧，IPU 200提供N+1个图像帧。图4a还图示说明了同步信号VSYNCu 500和VSYNCr 510这两个序列。注意，序列VSYNCu 500特征在于更新速率Ur，序列VSYNCr 510特征在于刷新速率Rr，其中Ur/Rr＝(N+1)/N。每一同步信号对图像帧的写或读进行了同步。
图4b图示说明了第二类型的访问信道，其适于向包括显示面板334与内部缓冲器332的显示器330提供图像帧。IPU 200向显示器330提供N个图像帧的序列，其伴随着N+1个同步信号。显示面板334显示从IPU提供的图像(标为D1)，而且在内部缓冲器332储存图像(标为D2)。
注意，由于刷新速率Rr高于更新速率Ur，在更新帧缓冲器的内容之前，储存在帧缓冲器的图像帧可以被读取一次以上。
图5图示说明了根据本发明实施例的第三类型访问通道。为了简化解释说明，进一步忽略了多个部件和总线。该访问通道包括从外部存储器420提取图像帧到IDMAC 280(标为A)；发送图像数据到图像转换器230(标为B)，其中图像数据经过后处理；经由IDMAC 280向ADC 260提供图像数据(标为C)；最后，经由显示接口270向显示器330提供图像数据(标为D)。
第三类型访问通道可以防止由于双缓冲方法而造成的分裂，在双缓冲方法中，第一缓冲器用于写图像数据，第二缓冲器用于读图像数据，而缓冲器的角色交替改变。注意，发送到ADC 260的图像帧可以源自摄像机300。因此，在图5的步骤A之前，具有预备步骤，诸如由传感器接口220获取图像帧、将其发送到IDMAC 280(由图像转换器230进行或不进行预处理)、将其发送到诸如内部或外部存储器430和420的存储器。
方便地，ADC 260通过响应于显示刷新指针的位置而控制更新指针，来防止从存储器模块(诸如存储器模块420和430)提取或者在由图像转换器230进行后处理之后的图像发生分裂。显示刷新指针指向发送到显示器的图像数据(储存在帧缓冲器中)，而更新指针指向帧缓冲器从存储器模块接收图像数据的区域。只有在显示刷新指针跨越窗起始点之后，才从帧缓冲器中读取图像数据。直到帧结束，都不允许更新指针超越刷新指针。
当从存储器提取数据到智能显示器时，IPU 200可以允许探听以便限制对存储器的访问量以及对智能显示器的写操作数量。智能显示器具有缓冲器，并且能够刷新自身。只有当前图像帧不同于以前的图像帧时，当前图像帧才会被发送到显示器。系统10可以包括用于进行比较的装置(通常是专用硬件)。比较的结果被发送到IPU 200，IPU 200可以决定发送更新图像数据到显示器，或者如果必要，发送适当中断到主处理单元400。IPU 200还可以周期性监控所述装置的输出，以确定是否接收到更新图像数据。
从摄像机300提取并直接或在预处理后发送到显示器的图像帧的显示更加复杂。这个复杂性源于以更新速率Ur发生的严格更新周期。更新周期可以由摄像机300或其他图像源的提供商规定。
发明人发现，如果在新时期的刷新速率Rr和更新速率Ur之间保持比率(N+1)/N，就可以通过使用单独一个缓冲器而不是双缓冲器来防止分裂。方便地，N＝1，但不是必需这样。
方便地，每N个更新周期，更新周期在与对应刷新周期大致相同的时刻开始。
单独一个缓冲器可以包括在显示器中或者组成系统10的一部分。
刷新周期和更新周期可以通过互相得到的同步信号而彼此同步。例如，假定刷新过程通过垂直同步信号VSYNCu而同步，则IPU 200可以生成对应的VSYNCr信号来同步刷新过程。该生成处理是由异步显示适配器267完成的，其可以应用生成VSYNCr的各种公知方法。
图6图示说明了根据本发明实施例的用于显示图像帧序列的方法600。
方法600开始于步骤610，以更新速率(Ur)接收图像帧序列。图像帧序列与更新同步信号序列相关联。
步骤610之后是步骤640，以刷新速率(Rr)显示图像帧序列，其中Rr＝Ur*[(N+1)/N]。显示的图像帧序列与驱动自更新同步信号的刷新同步信号序列相关联。
方便地，第N个更新同步信号和第N+1个刷新同步信号大致同时生成。N个更新周期序列的开始与N+1个刷新周期序列的开始基本没有相差。
方便地，步骤610包括接收更新同步信号序列，而在步骤610之后的步骤620生成刷新同步信号。
方便地，步骤610包括写每一图像帧到帧缓冲器，其中显示步骤包括从帧缓冲器中提取图像。帧缓冲器可以包括在显示器中或者包括在片上系统10中。
根据本发明另一实施例，方法600进一步包括步骤630，预处理每一图像帧。步骤630被图示为在步骤620之后和步骤640之前。
图7是图示说明根据本发明实施例的图像帧更新与刷新过程的进行的定时图700，其中N＝1。
定时图700图示说明了两个图像帧更新周期和四个图像帧刷新周期。为了简化解释说明，假定刷新空白时期(refresh blanking period)和更新空白时期(update blanking period)相同并且每一图像更新周期开始于特定图像刷新周期起始时，而结束于另一图像刷新周期结束时，但并不是必需这样。图8图示说明了定时图，其中，图像更新周期在第一图像刷新周期开始之后才开始，而在另一图像刷新周期结束之前就结束。
第一图像更新周期(图示为虚斜线710)开始于T1，结束于T4。第一图像刷新周期(图示为斜线720)开始于T1，结束于T2。第二图像刷新周期(图示为斜线730)开始于T3，结束于T4。T2和T3之间的时间段被定义为刷新空白时期RBP 810。刷新速率Rr等于1/(T3-T1)。
第二图像更新周期(图示为虚斜线740)开始于T5，结束于T8。第三图像刷新周期(图示为斜线750)开始于T5，结束于T6。第四图像刷新周期(图示为斜线760)开始于T7，结束于T8。T4和T5之间的时间段被定义为更新空白时期UBP 820。更新速率Ur等于1/(T5-T1)。
回过头来参看图2，显示接口270的输出和输入数据总线可以是18位宽(尽管也可以使用更窄的总线)，其可以方便地传送高达24位色彩深度的像素。每一像素可以在1、2或3个总线周期期间传送，并且像素数据到数据总线的映射是完全可配置的。对于到TV编码器的输出，支持YUV 4:2:2格式。另外的格式也可以支持，可以将其认为是“一般数据”，它们按字节进行传送，不进行修改，从系统存储器传送到显示器。
显示接口270方便地不包括地址总线，其异步接口利用“间接寻址”，包括在数据流中嵌入地址(及相关命令)。这个方法由显示器供应商所改编，以便减小显示器与主处理器之间的管脚和连线的数目。
主处理单元400上运行的某些软件被改编为直接地址操作模式，其中，适用专用总线来发送地址。因此，当执行这种类型的软件时，主处理单元不能够管理间接地址显示器。系统10提供转换机制，允许主处理单元400执行直接地址软件，同时管理间接地址显示器。
间接寻址还不标准化。为了支持许多可能的间接寻址格式，IPU200具有“模板”，规定到显示设备的地址协议。模板储存在模板存储器238中。IPU 200使用该模板来访问显示器330，而无需任何主处理单元400的进一步介入。“模板”或映射可以在配置步骤期间下载，但不是必需这样。
特别地，运行在主处理单元400上的软件可以请求访问显示器330，ADC 260获取请求(通过接口261)并且执行合适的访问流程。
注意，上面的描述涉及垂直同步信号(诸如VSYNCr和VSYNCu)，但是同步信号还包括其他信号，诸如水平同步信号。
传感器接口所支持的主像素格式是YUV(4:4:4或4:2:2)和RGB。注意，其他格式(诸如Bayer或JPEG格式，以及每像素分配不同比特数的格式)都可以作为“一般数据”而接收，其将会不被修改地传送到内部或外部存储器420和430。IPU 200还支持任意像素封装(arbitrarypixel packing)。任意像素封装方案允许改变为三个色彩分量中每一个所分配的比特数以及它们在像素表示中的相对位置。
来自传感器的同步信号被嵌入到数据流中(例如遵守BT.656协议的方式)或者通过专用管脚进行传送。
IDMAC 280能够支持各种像素格式。典型支持的格式是：(i)YUV：交织和非交织，4:4:4，4:2:2和4:2:0，8比特/采样；以及(ii)RGB：8，16，24，32比特/像素(有可能包括某些不用的比特)，对于每种色彩分量的完全可配置尺寸及位置，还支持用于透明度的额外分量。
当从(向)存储器420读(写)二维块时，由IPU 200进行滤波和旋转。其他任务可以逐行完成，因此可以在来自传感器和/或去向显示器的途中完成。
在许多设备中，大多数部件在延长的时间段内是空闲的，同时屏幕却不得不周期性刷新。IPU 200可以有效且低能量消耗地进行屏幕刷新。IPU 200还可以提供信息给智能显示器，而基本上无需要求主处理单元400参与。当更新帧缓冲器时可能需要参与。
IPU 200进一步能够促进变化/移动图像的自动显示。在各种情况中，例如，当系统10空闲时，变化图像序列可以显示在显示器330上。IPU 200提供一种机制来以最小的主处理单元400牵连而进行这项工作。主处理单元400在存储器420和430中储存所有要显示的数据，IPU200自动进行周期显示更新。对于动画，将有差别帧序列，对于运行消息，将有单独大帧，从中，IPU 200将读取“运行”窗。在该显示更新期间，主处理单元400可以操作于低能量消耗模式。当IPU 200达到最后编程帧时，它可以进行下列操作之一：返回第一帧，在此情况下，主处理单元400可以断电；或者中断主处理单元400以生成下一帧。
对于本领域普通技术人员来说，这里所描述的内容的变化、修改或其他实现都将可能发生，而不会背离本发明所要求的精神和范围。因此，本发明并不通过前面的说明性描述来限定，而是由所附权利要求的精神和范围来限定。

Claims (29)

1.一种用于显示图像帧序列的方法，所述方法包括：
接收至少一个图像帧序列，其中所述至少一个图像帧序列的每一个被以更新速率(Ur)接收，并且与更新同步信号序列相关联；以及
以刷新速率(Rr)显示所述至少一个图像序列的每一个，其中Rr＝Ur*[(N+1)/N]；其中所述图像序列的每一个与驱动自所述更新同步信号的刷新同步信号序列相关联；
其中所述显示包括在多个显示器上显示；
其中，在所述显示之前，通过异步显示控制器向至少一个异步显示器发送刷新同步信号、至少一个图像序列的图像数据以及包括写命令和写地址的图像命令。
2.权利要求1的方法，其中，所述显示包括在没有接收图像命令的同步显示器上显示所述至少一个图像序列的图像序列，以及在接收来自所述异步显示控制器的图像命令的异步显示器上显示所述至少一个图像序列的图像序列。
3.权利要求2的方法，其中，大致同时生成第N个更新同步信号和第N+1个刷新同步信号。
4.权利要求2的方法，其中，所述方法包括接收所述更新同步信号序列并生成所述刷新同步信号的步骤。
5.权利要求2的方法，其中，所述的接收步骤包括将每一图像帧写到帧缓冲器，并且其中，所述的显示步骤包括从所述帧缓冲器中提取所述图像。
6.权利要求2的方法，其中，所述的接收步骤包括将每一图像帧发送到包括帧缓冲器的显示器，并且所述的显示步骤包括向所述显示器提供所述刷新同步。
7.权利要求2的方法，其中，所述的接收步骤包括接收所述更新同步信号序列。
8.权利要求2的方法，进一步包括：在显示图像帧之前，预处理每一图像帧。
9.权利要求2的方法，其中，所述的接收步骤包括从图像传感器接收所述图像帧序列。
10.权利要求2的方法，其中，所述的接收步骤包括从图像缓冲器中提取所述图像帧序列。
11.权利要求2的方法，其中，所述的接收步骤包括在图像处理单元接收所述图像帧序列。
12.权利要求2的方法，其中，在显示所述至少一个图像序列之前，向显示器提供伴随着N+1个同步信号的N个图像帧的序列。
13.权利要求2的方法，其中，在显示所述至少一个图像序列之前，响应于显示刷新指针的位置而控制更新指针，其中，所述更新指针和所述显示刷新指针都指向帧缓冲器中存储的图像数据。
14.权利要求2的方法，还包括使用时间复用方案来仲裁对多个显示器的访问。
15.权利要求2的方法，其中，所述显示包括在多个显示器上以5个窗显示所述至少一个图像序列的多个图像序列。
16.一种用于显示图像帧序列的系统，该系统包括：
第一电路，适于接收至少一个图像帧序列，其中，所述至少一个图像帧序列的每一个被以更新速率(Ur)接收，且与更新同步信号序列相关联；以及
第二电路，适于控制所述至少一个图像序列的每一个以刷新速率(Rr)显示，其中Rr＝Ur*[(N+1)/N]；其中，所述图像序列的每一个与驱动自所述更新同步信号的刷新同步信号序列相关联；
其中，所述第二电路包括异步显示控制器，所述异步显示控制器适于向至少一个异步显示器发送所述刷新同步信号和所述至少一个图像序列的图像数据，以及适于向所述至少一个异步显示器发送包括写命令和写地址的图像命令；
其中，所述第二电路还适于控制在多个显示器上的显示。
17.权利要求16的系统，其中，所述第二电路还适于控制在没有接收图像命令的同步显示器上的所述至少一个图像序列的图像序列的显示，以及还适于控制在接收来自所述异步显示控制器的图像命令的异步显示器上的所述至少一个图像序列的图像序列的显示。
18.权利要求17的系统，适于大致同时生成第N个更新同步信号和第N+1个刷新同步信号。
19.权利要求17的系统，适于接收所述更新同步信号序列并生成所述刷新同步信号。
20.权利要求17的系统，其中，系统包括帧缓冲器，以促进图像帧的读和写。
21.权利要求17的系统，其中，所述第二电路适于将每一图像帧发送到包括帧缓冲器的显示器，并且适于向所述显示器提供所述刷新同步。
22.权利要求17的系统，适于接收所述更新同步信号序列。
23.权利要求17的系统，进一步包括图像转换器，其连接到所述第一电路，用于在显示图像帧之前，预处理每一图像帧。
24.权利要求17的系统，其中，所述的第一电路适于从图像传感器接收所述图像帧序列。
25.权利要求17的系统，其中，所述的第一电路适于从图像缓冲器中提取所述图像帧序列。
26.权利要求17的系统，还适于向显示器提供伴随着N+1个同步信号的N个图像帧的序列。
27.权利要求17的系统，还适于响应于显示刷新指针的位置而控制更新指针，其中，所述更新指针和所述显示刷新指针都指向在帧缓冲器中存储的图像数据。
28.权利要求17的系统，还适于使用时间复用方案来仲裁对多个显示器的访问。
29.权利要求17的系统，还适于控制在多个显示器上以5个窗显示所述至少一个图像序列的多个图像序列。
CN2005800228695A 2004-07-08 2005-07-05 用于显示图像帧序列的方法和系统 Expired - Fee Related CN1981519B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/887,131 US20060007200A1 (en) 2004-07-08 2004-07-08 Method and system for displaying a sequence of image frames
US10/887,131 2004-07-08
PCT/IB2005/052233 WO2006006127A2 (en) 2004-07-08 2005-07-05 Method and system for displaying a sequence of image frames

Publications (2)

Publication Number Publication Date
CN1981519A CN1981519A (zh) 2007-06-13
CN1981519B true CN1981519B (zh) 2010-10-27

Family

ID=35540835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800228695A Expired - Fee Related CN1981519B (zh) 2004-07-08 2005-07-05 用于显示图像帧序列的方法和系统

Country Status (6)

Country Link
US (1) US20060007200A1 (zh)
EP (1) EP1774773A2 (zh)
JP (1) JP2008506295A (zh)
KR (1) KR20070041507A (zh)
CN (1) CN1981519B (zh)
WO (1) WO2006006127A2 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060012714A1 (en) * 2004-07-16 2006-01-19 Greenforest Consulting, Inc Dual-scaler architecture for reducing video processing requirements
US20060150071A1 (en) * 2005-01-05 2006-07-06 Microsoft Corporation Software-based video rendering
US7519845B2 (en) 2005-01-05 2009-04-14 Microsoft Corporation Software-based audio rendering
US8184687B1 (en) * 2006-04-03 2012-05-22 Arris Group, Inc System and method for generating a mosaic image stream
WO2008035142A1 (en) * 2006-09-20 2008-03-27 Freescale Semiconductor, Inc. Multiple-display device and a method for displaying multiple images
US7928939B2 (en) * 2007-02-22 2011-04-19 Apple Inc. Display system
PT3758381T (pt) 2007-04-12 2021-04-13 Dolby Int Ab Disposição em mosaico na codificação e descodificação de vídeo
JP5301119B2 (ja) * 2007-06-28 2013-09-25 京セラ株式会社 表示装置および表示プログラム
DK2200684T3 (en) 2007-08-17 2016-12-12 Medtronic Minimed Inc Injection device for making an injection in a pre-determined depth in the skin
KR100941029B1 (ko) * 2008-02-27 2010-02-05 에이치기술(주) 그래픽 가속기 및 그래픽 가속 방법
CN101527134B (zh) * 2009-04-03 2011-05-04 华为技术有限公司 一种显示方法、显示控制器及显示终端
CN101930348B (zh) * 2010-08-09 2016-04-27 无锡中感微电子股份有限公司 一种刷图方法及刷图系统
TWI455110B (zh) * 2011-08-25 2014-10-01 Mstar Semiconductor Inc 影像刷新方法以及相關影像處理裝置
US9589540B2 (en) * 2011-12-05 2017-03-07 Microsoft Technology Licensing, Llc Adaptive control of display refresh rate based on video frame rate and power efficiency
CN104023243A (zh) * 2014-05-05 2014-09-03 北京君正集成电路股份有限公司 视频前处理方法和系统，视频后处理方法和系统
US9934557B2 (en) * 2016-03-22 2018-04-03 Samsung Electronics Co., Ltd Method and apparatus of image representation and processing for dynamic vision sensor
EP3529670B1 (en) * 2016-10-18 2021-04-28 Xdynamics Limited Ground station for unmanned aerial vehicle (uav)
CN108519734B (zh) * 2018-03-26 2019-09-10 广东乐芯智能科技有限公司 一种确定表面指针位置的系统
US20200137336A1 (en) * 2018-10-30 2020-04-30 Bae Systems Information And Electronic Systems Integration Inc. Interlace image sensor for low-light-level imaging
US11375253B2 (en) * 2019-05-15 2022-06-28 Intel Corporation Link bandwidth improvement techniques
CN110673816B (zh) * 2019-10-08 2022-09-09 深圳市迪太科技有限公司 低成本的显存刷新显示屏方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618026B1 (en) * 1998-10-30 2003-09-09 Ati International Srl Method and apparatus for controlling multiple displays from a drawing surface
CN1471304A (zh) * 2002-04-25 2004-01-28 ���ܿ���ϵͳ���޹�˾ 运动和边缘-自适应信号帧频上变频的方法和系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60227296A (ja) * 1984-04-25 1985-11-12 シャープ株式会社 表示制御方式
US5594467A (en) * 1989-12-06 1997-01-14 Video Logic Ltd. Computer based display system allowing mixing and windowing of graphics and video
US6307597B1 (en) * 1996-03-07 2001-10-23 Thomson Licensing S.A. Apparatus for sampling and displaying an auxiliary image with a main image
JPH11184449A (ja) * 1997-12-24 1999-07-09 Toshiba Corp 表示制御装置およびコンピュータシステム並びに動画表示制御方法
US6054980A (en) * 1999-01-06 2000-04-25 Genesis Microchip, Corp. Display unit displaying images at a refresh rate less than the rate at which the images are encoded in a received display signal
US6411333B1 (en) * 1999-04-02 2002-06-25 Teralogic, Inc. Format conversion using patch-based filtering
US6747656B2 (en) * 2000-04-07 2004-06-08 Sony Corporation Image processing apparatus and method of the same, and display apparatus using the image processing apparatus
EP1160759A3 (en) * 2000-05-31 2008-11-26 Panasonic Corporation Image output device and image output control method
US6762744B2 (en) * 2000-06-22 2004-07-13 Seiko Epson Corporation Method and circuit for driving electrophoretic display, electrophoretic display and electronic device using same
US6766472B2 (en) * 2000-09-22 2004-07-20 Microsoft Corporation Systems and methods for replicating virtual memory on a host computer and debugging using the replicated memory
TW578128B (en) * 2003-01-02 2004-03-01 Toppoly Optoelectronics Corp Display driving device and method
US7176848B1 (en) * 2003-04-14 2007-02-13 Ati Technologies, Inc. Method of synchronizing images on multiple display devices with different refresh rates
US20050116880A1 (en) * 2003-11-28 2005-06-02 Michael Flanigan System and method for processing frames of images at differing rates

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618026B1 (en) * 1998-10-30 2003-09-09 Ati International Srl Method and apparatus for controlling multiple displays from a drawing surface
CN1471304A (zh) * 2002-04-25 2004-01-28 ���ܿ���ϵͳ���޹�˾ 运动和边缘-自适应信号帧频上变频的方法和系统

Also Published As

Publication number Publication date
KR20070041507A (ko) 2007-04-18
JP2008506295A (ja) 2008-02-28
WO2006006127A2 (en) 2006-01-19
US20060007200A1 (en) 2006-01-12
WO2006006127A3 (en) 2006-05-11
EP1774773A2 (en) 2007-04-18
CN1981519A (zh) 2007-06-13

Similar Documents

Publication Publication Date Title
CN1981519B (zh) 用于显示图像帧序列的方法和系统
US5293540A (en) Method and apparatus for merging independently generated internal video with external video
CN100362562C (zh) 基于fpga的数字osd控制器
US8026919B2 (en) Display controller, graphics processor, rendering processing apparatus, and rendering control method
US7542010B2 (en) Preventing image tearing where a single video input is streamed to two independent display devices
JP2002287681A (ja) 部分ホールド型表示制御装置及び部分ホールド型表示制御方法
US6844879B2 (en) Drawing apparatus
JP6730325B2 (ja) 端末の切り替え表示方法及び端末
EP0918278B1 (en) Circuit for simultaneous driving of liquid crystal display panel and television
US20080297525A1 (en) Method And Apparatus For Reducing Accesses To A Frame Buffer
US20010022587A1 (en) Display device and image displaying method on display device
CN113205779A (zh) 适用于电子墨水屏的多屏同步控制方法、装置及系统
US8077180B1 (en) Systems for and methods of using a display controller to output data
EP0887768A2 (en) A graphic processor and a graphic processing method
US20190005924A1 (en) Data processing systems
EP1484737A1 (en) Display controller
JP2012028997A (ja) 画像処理装置およびカメラ
CN101499245B (zh) 异步先入先出存储器、液晶显示控制器及其控制方法
CN101093644A (zh) 一种支持多输出格式下画中画功能的lcd控制电路及方法
US7505073B2 (en) Apparatus and method for displaying a video on a portion of a display without requiring a display buffer
CN111124341A (zh) 双屏异显同步显示的方法及装置
KR100715522B1 (ko) 카메라 컨트롤 장치, 영상 데이터 표시 장치 및 그 방법
JP2003501679A (ja) デジタルビデオ処理ユニット
CN113281983B (zh) 智能手表画面显示的控制方法、系统、智能手表及介质
CN114035758B (zh) 一种图像拼接显示系统、图像拼接显示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101027

Termination date: 20140705

EXPY Termination of patent right or utility model