CN117061681A - 图像处理系统及其控制装置、控制方法、图像处理方法 - Google Patents

图像处理系统及其控制装置、控制方法、图像处理方法 Download PDF

Info

Publication number
CN117061681A
CN117061681A CN202210486703.4A CN202210486703A CN117061681A CN 117061681 A CN117061681 A CN 117061681A CN 202210486703 A CN202210486703 A CN 202210486703A CN 117061681 A CN117061681 A CN 117061681A
Authority
CN
China
Prior art keywords
image processing
data
image
processing module
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210486703.4A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Moore Threads Technology Co Ltd
Original Assignee
Moore Threads Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Moore Threads Technology Co Ltd filed Critical Moore Threads Technology Co Ltd
Priority to CN202210486703.4A priority Critical patent/CN117061681A/zh
Publication of CN117061681A publication Critical patent/CN117061681A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种图像处理系统及其控制装置、控制方法、图像处理方法。所述图像处理系统包括至少两个图像处理模块,所述至少两个图像处理模块对图像帧进行处理,并将处理后的数据写入存储器,所述控制装置包括一致性同步模块,所述一致性同步模块被配置为:设定所述图像帧的数据单元针对所述图像处理模块的状态信息;以及存储所述图像帧的所述数据单元针对所述图像处理模块的所述状态信息,其中,在所述图像处理模块对所述数据单元进行处理后的数据被写入所述存储器的情况下,所述数据单元针对所述图像处理模块的所述状态信息被设定为第一值。

Description

图像处理系统及其控制装置、控制方法、图像处理方法
技术领域
本申请涉及图像处理技术领域,尤其涉及图像处理系统及其控制装置、控制方法、图像处理方法。
背景技术
随着芯片工艺和相关技术的不断进步,单位面积芯片内可以容纳的晶体管数量不断增加,集成电路芯片的计算密度和数据带宽也越来越高,可以支持的视频图像的分辨率,帧率,位深以及视频并行路数等越来越多。因此,现有的视频处理(包括计算和传输)领域存在如下相应技术:
1.针对视频计算领域里越来越大的数据量,由于需要兼容多种标准,多种接口,多种带宽限制,视频数据计算和传输的过程会中,出现了多种视频数据压缩方法,如视频处理领域中的ARM帧缓存压缩技术(ARM Frame Buffer Compression,AFBC),视频传输领域中视频电子标准协会(Video Electronics Standards Association,VESA)组织发布的显示端口(Display Port,DP)视频接口标准中使用了显示流压缩(Display Stream Compression,DSC)技术等,考虑兼容性,很多方案仍使用原始的未经压缩的视频原数据进行处理。
2.在视频计算和传输流程会涉及到多个处理流程,视频计算各模块间使用帧级同步方式,需要在整个视频数据帧完成计算并写入帧后才能进行后续计算操作。有视频处理能力的芯片内部往往要使用中央处理单元(下简为CPU)对各相关视频计算模块进行统一的控制和同步,并行进行多路视频数据的解码,分析计算,显示传输或编码输出,要求CPU能及时响应中断并及时进行任务控制调度。
3.显示器是从最初的阴极射线管的光栅扫描顺序方式发展而来,因此,视频数据的传输、显示往往都需要将视频数据按光栅扫描顺序进行处理。
应该注意,上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明,并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
本申请的发明人发现,在上述的现有技术中,至少存在如下的技术问题:由CPU对视频处理的各模块进行统一的控制和同步,目前视频处理的各模块采用帧级同步,随着同步方式的更加细化以及芯片规模的不断增加,CPU进行控制和同步所涉及的任务量急剧增加,CPU的处理能力会出现不足,从而影响视频芯片的性能。
为了解决至少上述技术问题或类似的技术问题,本申请实施例提供一种图像处理系统及其控制装置、控制方法、图像处理方法。在该控制装置中,能够设定并记录图像帧的数据单元针对各图像处理模块的状态信息,由此,能够通过该状态信息来支持各图像处理模块之间的同步,降低了控制各图像处理模块的同步所带来的任务量,保证了图像处理系统的性能。
本申请实施例提供一种图像处理系统的控制装置,所述图像处理系统包括至少两个图像处理模块,所述至少两个图像处理模块对图像帧进行处理,并将处理后的数据写入存储器,所述控制装置包括一致性同步模块,所述一致性同步模块被配置为:
设定所述图像帧的数据单元针对所述图像处理模块的状态信息;以及
存储所述图像帧的所述数据单元针对所述图像处理模块的所述状态信息,
其中,在所述图像处理模块对所述数据单元进行处理后的数据被写入所述存储器的情况下,所述数据单元针对所述图像处理模块的所述状态信息被设定为第一值。
本申请实施例还提供一种图像处理系统,所述图像处理系统包括至少两个图像处理模块,所述至少两个图像处理模块对图像帧进行处理,并将处理后的数据写入存储器,所述图像处理系统还包括上述实施例所述的控制装置,
其中,所述至少两个图像处理模块处理后的数据具有相同的数据格式。
在至少一个实施例中,至少两个图像处理模块根据预定的先后顺序对所述图像帧进行处理,其中,所述图像帧的数据单元针对在先处理的所述图像处理模块的状态信息为第一值的情况下,在后处理的所述图像处理模块从所述存储器读取所述数据单元对应的经所述在先处理后的数据,并进行所述在后处理。
本申请实施例还提供一种显示系统,包括,图像处理系统和显示控制系统,所述图像处理系统包括至少两个图像处理模块以及上述实施例所述的控制装置,
所述显示控制系统接收所述控制装置的显示输出模块输出的数据,
其中,当所述显示控制系统接收到的数据对应于完整的图像帧时,输出显示控制信号,所述显示控制信号控制显示器显示所述完整的图像帧。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为现有技术中视频压缩、内存存储、视频计算和视频传输显示的系统结构示意图;
图2为现有技术中视频计算的流程示意图;
图3为现有技术中视频显示的延时示意图;
图4是第一方面的实施例的图像处理系统的一个示意图;
图5是操作401中设定图像帧的各数据块针对各图像处理模块的状态信息的一个示意图;
图6是状态记录表的一个示意图;
图7是图像处理系统4的一个数据处理的示意图;
图8是图像处理系统4的一个数据传输的示意图;
图9是第二方面的实施例的显示控制系统的一个示意图;
图10是第二方面的实施例的显示系统的一个示意图;
图11是第三方面的实施例的图像处理系统的控制方法的一个示意;
图12是第三方面的实施例的图像处理方法的一个示意图;
图13是第三方面的实施例的显示控制方法的一个示意图。
具体实施方式
参照附图,通过下面的说明书,本申请的前述以及其它特征将变得明显。在说明书和附图中,具体公开了本申请的特定实施方式,其表明了其中可以采用本申请的原则的部分实施方式,应了解的是,本申请不限于所描述的实施方式,相反,本申请包括落入所附权利要求的范围内的全部修改、变型以及等同物。下面结合附图对本申请的各种实施方式进行说明。这些实施方式只是示例性的,不是对本申请的限制。
在本申请实施例中,术语“第一”、“第二”、“上”、“下”等用于对不同元素从称谓上进行区分,但并不表示这些元素的空间排列或时间顺序等,这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在,但并不排除存在或添加一个或多个其他特征、元素、元件或组件。
在本申请实施例中,单数形式“一”、“该”等包括复数形式,应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义;此外术语“所述”应理解为既包括单数形式也包括复数形式,除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”,术语“基于”应理解为“至少部分基于……”,除非上下文另外明确指出。
第一方面的实施例
在对第一方面的实施例进行说明之前,对已有的图像处理(例如,视频处理)和显示的工作原理进行如下的简单说明。
显示器是从最初的阴极射线管的光栅扫描顺序方式发展而来,视频传输、显示领域先后出现的复合视频广播信号(CVBS),色差分量接口(YPBPR),高清晰多媒体接口(HDMI),显示端口(DP)等接口往往都需要视频数据按光栅扫描顺序进行处理。
随着芯片计算能力的增加,光栅顺序的数据计算顺序会成为一种限制。如视频编解码基本计算都是使用块(例如,数据块)排列方式比如4x4,8x8,16x16,32x32,64x64等,图形处器(GPU)采用众核结构和并行计算结构,每个计算核可以相对独立地按照块的方式进行计算,传统帧同步和扫描顺序进行各种不同计算模块间的多级数据同步会造成计算延时和显示延迟。
下面基于典型例来进行具体说明。
图1是典型例的视频处理芯片的一个示意图。如图1所示,在典型例中,与视频处理相关的芯片(例如,系统级芯片)可以包括:视频解码模块A、GPU模块B、视频处理模块C和视频显示输出模块D。视频解码模块A、GPU模块B、视频处理模块C和视频显示输出模块D通过系统总线(system bus)与存储器100连接。其中,存储器100可以是内存,其类型例如是双倍速率同步动态随机存储器(DDR)。
A/B/C模块的视频处理过程和数据为先后顺序依赖关系。其中,视频解码模块A使用了帧内压缩格式compress_a(com_a),GPU模块B中使用了帧内压缩格式compress_b(com_b),视频处理模块C使用了压缩格式compress_c(com_c),视频显示输出模块D的视频接口使用了压缩格式compress_d(com_d)。
A/B/C模块使用compress_a/b/c,需要占用独立内存空间存储视频数据(即compress_a_data、compress_b_data、compress_c_data),并且需要相互间调用数据以进行压缩格式的转换。如模块A使用的数据格式compress_a通过压缩子模块com_a向内存DDR存储数据,并且,需要各自独立的解压缩子模块dec_b、dec_c从内存中读取压缩模块B/C的压缩数据并进行解压缩;同样,模块B/C要使用模块A的数据时,需要从内存读取数据格式为compress_a的数据compress_a_data,并使用各自独立的解压缩子模块dec_a去解压缩格式为compress_a的数据。
D模块可能使用A/B/C模块计算出的视频数据进行显示输出,因此要使用解压缩子模块dec_a/b/c进行解压缩,并通过com_d重新压缩并传输给显示器。
从理论上来说,如果视频处理芯片具有N个模块,一共使用n种不同的数据格式,其中每个模块有mn种压缩数据的依赖关系,那么需要在内存中占用n种不同的空间以分别存储不同格式的数据,并且,使用Num种解压缩子模块和n种压缩子模块。其中,Num的值可以通过下面的式(1)来得到。
图1中使用了4种不同的模块使用了4种不同的数据格式,在内存中占用了3种空间,共使用了12个解压缩子模块,4个压缩子模块。
从存储空间角度分析,处理模块A/B/C,因为使用不同的数据格式,因此要各自独立存储需要的多帧数据。存储空间不得不被分成若干个独立的区域,相互间如果存在数据依赖关系则需要进行转换并额外还要占用转换的存储空间。
如图2所示,以视频解码(例如,A模块的处理)为例,一路视频解码一般都会调用16帧视频参考数据,记为An,并保存解码出的2帧视频数据记为A2Bn。以GPU简单的视频计算(例如,模块B的处理)为例,其几何计算、渲染计算、光栅化等流程越来越复杂也会占用大量的缓存视频帧级数据,记为Bn,暂设定Bn为5帧,并将保存计算好的结果B2Cn记为2帧。视频处理模块(例如,C模块)涉及的数据记为Cn,例如为2帧。此例中,完成一个完整的一路视频解码到GPU渲染,再到视频处理计算需要至少要存储16+2+5+2+3=27帧数据。
由上可知,由于使用了多种不同的数据格式,在芯片设计实现中,用户视频数据存储过程中互不相同的压缩方法不得不占用更多的存储空间,不同的压缩数据需要进行多次转换大大降低了处理效率,增加了计算延时。且由于使用CPU进行各模块间数据的同步和模块计算顺序的控制,当计算量比较大时会导致CPU的性能下降,直接影响到整个芯片的计算效率。
此外,视频处理往往采用了帧同步的方式,需要在整个视频数据帧完成计算并写入帧后才能进行后续计算操作。如图3所示,显示器(即显示接收端)为了保证显示时序也往往要求再预先存储一帧数据。例如,在显示第n帧(Frame n)数据时,预先传输和存储第n+1帧(Frame n+1)的数据;此外,在传输第n+1帧(Frame n+1)的数据时,可以处理第n+2帧(Frame n+1)的数据。
从系统延时角度,多个独立处理环节加上多级数据格式转换会带来更长的延时。理论上,如果N级处理模块中的每个处理模块会产生相应的Nn个帧的延时(例如,模块A产生A`n个帧的延时,模块B产生B`n个帧的延时,模块C产生C`n个帧的延时,模块D产生D`n个帧的延时…),并且,各模块的处理之间有依赖关系(例如,后一模块的处理需要依赖前一模块的处理结果),那么整个处理的延时为A`n+B`n+C`n+D`n+……个帧的延时。例如,四级视频处理过程中最短需要4个帧的延时,再加上中间转换处理会产生2个帧的延时,因此,总共会产生至少6个帧的延时。
本申请第一方面的实施例提供一种图像处理系统及该图像处理系统的控制装置。
图4是第一方面的实施例的图像处理系统的一个示意图。如图4所示,该图像处理系统4包括图像处理模块41和控制装置42。
在至少一个实施例中,图像处理模块41可以对图像帧进行处理,该图像帧例如来自于视频,即,图像帧可以是视频帧。图像处理模块41可以将处理后的数据写入存储器40,例如,图像处理模块41将处理后的数据通过系统总线(System Bus)写入存储器40,存储器40可以是内存,其类型可以是DDR。
图像处理模块41的数量可以是至少两个。在图4中,图像处理模块41的数量是三个,在本申请后述的说明中,该三个图像处理模块41被表示为图像处理模块A、图像处理模块B和图像处理模块C。需要说明的是,本申请的实施例不限于此,图像处理块41的数量可以是4个或5个以上等。
在至少一个实施例中,图像处理模块A例如可以是视频解码模块,图像处理模块B例如可以是GPU模块,图像处理模块C例如可以是视频处理模块。以上仅是举例,图像处理模块A、B、C也可以进行其它类型的针对图像帧的处理。
如图4所示,在至少一个实施例中,控制装置42可以包括一致性同步模块(consistancy_sync)421。其中,一致性同步模块421可以被配置为进行如下的操作:
操作401、设定图像帧的数据单元针对图像处理模块的状态信息;以及
操作402、存储图像帧的该数据单元针对图像处理模块的状态信息。
其中,在操作401中,在图像处理模块41对数据单元进行处理后的数据被写入存储器40的情况下,数据单元针对该图像处理模块41的状态信息可以被设定为第一值。
例如:对于一个图像帧中的任一数据单元,该数据单元针对图像处理模块A具有状态信息a,针对图像处理模块B具有状态信息b,针对图像处理模块C具有状态信息c;在操作401中,如果图像处理模块A对该数据单元进行了处理,并将处理后的数据成功写入了存储器40,那么状态信息a被设定为第一值;如果图像处理模块B对该数据单元进行了处理,但是处理后的数据还没有被写入存储器40或者写入失败,那么状态信息b不被设定为第一值(例如,状态信息b维持原有的值不变,该原有的值例如是与第一值不同的值);如果图像处理模块C对该数据单元没有进行处理,那么状态信息c不被设定为第一值(例如,状态信息c维持原有的值不变,该原有的值例如是与第一值不同的值)。即,一致性同步模块421要设定并记录数据单元针对不同的图像处理模块的状态信息。
根据本申请第一方面的实施例,一致性同步模块421能够设定并记录图像帧的数据单元针对各图像处理模块的状态信息,由此,能够记录各图像处理模块针对各图像单元的处理和处理后数据的存储情况,因而能够支持各图像处理模块之间的同步,例如,各图像处理模块可以根据状态信息判断针对各图像单元的处理以及数据的存储情况,从而决定本图像处理模块针对该图像单元的处理动作,因此,无需对多个图像处理模块进行复杂的同步控制,能够降低图像处理系统的任务量,保证图像处理系统的性能。
在至少一个实施例中,可以将图像帧中的一个数据块设定为一个数据单元,即,一个图像帧中可以包含多个数据块。数据块的大小可灵活配置,例如,一个数据块可以包括但不限于4x4个像素单位,8x8个像素单位,16x16个像素单位,64x64个像素单位等,一个像素单位中例如包含有1个以上的像素。数据块的大小的配置依据例如包括:预定的延时精度和/或各图像处理模块的处理能力等因素。
在将图像帧中的一个数据块设定为一个数据单元的情况下,数据单元的状态信息可以包括各数据块的状态信息。图5是操作401中设定图像帧的各数据块针对各图像处理模块的状态信息的一个示意图。如图5所示,设定图像帧的各数据块针对各图像处理模块的状态信息可以包括:
操作501、接收位置编号;
操作502、接收存储器40反馈的针对该位置编号对应的数据块的写入确认信号;以及
操作503、将该位置编号对应的数据块针对该图像处理模块的状态信息设定为第一值。
在操作501中,一致性同步模块421接收到的位置编号可以来自于图像处理模块41。位置编号可以用来指示图像处理模块41对图像帧中的哪个位置的数据块进行了处理,其中,位置编号可以包括图像处理模块41的信息、图像帧的信息(例如,图像帧的帧号等标识信息)以及数据块在图像帧中的位置信息。例如,图像处理模块A在对图像帧x中的位置为(i,j)的数据块进行了处理后,将位置编号发送给一致性同步模块421,其中,该位置编号中包括:图像处理模块A的信息(例如,图像处理模块A的标识信息)、图像帧x的标识信息(例如,帧号)以及数据块在图像帧中的位置信息(i,j)。此外,图像处理模块41在将处理后的数据写入存储器40中时,也可以将该数据对应的数据单元的位置有关的信息(例如,图像帧的帧号以及数据块在图像帧中的位置信息(i,j))写入存储器40。
在操作502中,一致性同步模块421接收到的写入确认信号可以来自于存储器40。例如,当图像处理模块41将针对数据块处理完成的数据成功写入到存储器40中时,存储器40向一致性同步模块421向一致性同步模块421发送写入确认信号。
在操作503中,一致性同步模块421在收到写入确认信号的情况下,根据操作501中收到的位置编号,设定数据块的状态信息。例如,在操作503中,根据在操作501中收到的位置编号,一致性同步模块421将图像帧x中的位置信息为(i,j)的数据块针对图像处理模块A的状态信息设定为第一值。在操作503中,第一值例如是1。
在至少一个实施例中,可以将一个图像帧设定为一个数据单元。由此,数据单元的状态信息可以包括图像帧的状态信息。在设定图像帧的状态信息时,一致性同步模块421可以在某一图像处理模块41针对该图像帧中的所有像素单元都完成了处理并且将处理后的数据都成功写入存储器40中的情况下,将该图像帧针对该图像处理模块41的状态信息设定为第一值。
在至少一个实施例中,数据单元可以包括图像帧中的数据块以及图像帧二者。由此,一致性同步模块421可以在根据图5的方法设定数据块的状态信息的基础上,进一步根据图像帧中各数据块针对各图像处理模块41的状态信息,设定该图像帧针对各图像处理模块41的状态信息。
例如,在该图像帧中的各数据块针对图像处理模块A的状态信息都被设定为第一值的情况下,将该图像帧针对图像处理模块A的状态信息设定为第一值,即,图像处理系统4中的图像处理模块A对图像帧中的各数据块进行了处理,并且将处理后的数据都成功存入存储器40中的情况下,将该图像帧针对图像处理模块A的状态信息设定为第一值。
又例如,在该图像帧中的各数据块针对图像处理模块B的状态信息都被设定为第一值的情况下,将该图像帧针对图像处理模块B的状态信息设定为第一值,即,图像处理系统4中的图像处理模块B对图像帧中的各数据块进行了处理,并且将处理后的数据都成功存入存储器40中的情况下,将该图像帧针对图像处理模块B的状态信息设定为第一值。
再例如,在该图像帧中的各数据块针对图像处理模块C的状态信息都被设定为第一值的情况下,将该图像帧针对图像处理模块C的状态信息设定为第一值,即,图像处理系统4中的图像处理模块C对图像帧中的各数据块进行了处理,并且将处理后的数据都成功存入存储器40中的情况下,将该图像帧针对图像处理模块C的状态信息设定为第一值。
此外,在该图像帧中的各数据块针对各图像处理模块41的状态信息都被设定为第一值的情况下,可以认为该图像帧针的整帧数据完全准备好,即,图像处理系统4中的全部图像处理模块A、B、C都对该图像帧中的各数据块进行了处理,并且将处理后的数据都成功存入存储器40中的情况下,一致性同步模块421可以判定为该图像帧针的整帧数据完全准备好。例如,图像处理模块A处理完成后才能进行图像处理模块B的处理,图像处理模块B处理完成后才能进行图像处理模块C的处理,当该图像帧针对图像处理模块C的状态信息设定为第一值时,意味着图像处理系统4中的全部图像处理模块A、B、C都对该图像帧中的各数据块进行了处理,并且将处理后的数据都成功存入存储器40中,此时,一致性同步模块421可以判定为该图像帧针的整帧数据完全准备好。
如果在该图像帧中的各数据块针对各图像处理模块的状态信息有一部分没有被设定为第一值,即,图像处理系统4的所有图像处理模块41并没有完全完成对图像帧中的所有数据块的处理和将处理后的数据存入存储器40,一致性同步模块421可以判定为该图像帧的部分数据准备好。
如果该图像帧中的各数据块针对各图像处理模块的状态信息都没有被设定为第一值,即,图像处理系统4中没有图像处理模块41完成对图像帧中的任何数据块的处理和将处理后的数据存入存储器40的情况下,一致性同步模块421可以判定为该图像帧的数据完全没有准备好。
在图像帧的整帧数据完成同步后(例如,图像帧的整帧数据被发送后),该图像帧的针对各图像处理模块的状态信息可以被清零(例如,可以将该图像帧针对各图像处理模块的状态信息设定为不同于第一值的值),此外,还可以将该图像帧中各数据块的状态信息也清零(例如,可以将图像帧中各数据块针对各图像处理模块的状态信息设定为不同于第一值的值)。
在本申请中,当数据单元包括图像帧中的数据块以及图像帧二者的情况下,数据单元的状态信息包括图像帧的状态信息和图像帧中的数据块的状态信息。由此,数据单元的状态信息可以成为多级的状态信息,即,图像帧的状态信息为上一级的状态信息,图像帧中的数据块的状态信息为下一级的状态信息。此外,各数据块中也可以进一步划分出多个子数据块,各子数据块也可以被进一步划分,由此,能够将图像帧划分出更多的级数,每一级都可以具有该级的状态信息,所以,状态信息的级数能够得到扩展。其中,上一级的状态信息可以根据下一级的状态信息进行设,或者,直接根据各图像处理模块41针对该上一级的处理和存储情况设定该上一级的状态信息。
在至少一个实施例中,状态信息可以被存储于一致性同步模块421的存储单元(图4未示出)中。该存储单元的大小和类型可以根据需要存储的数据规模(例如,状态信息的数据规模)来设置。例如,在状态信息的数据量较大时(例如,在多路视频多模块间同步的场景下),可以将存储单元设置成内部静态存储器,从而增加存储空间并减少占用芯片面积。又例如,在涉及的状态信息较少的情况下,可以将存储单元设置成寄存器。
在至少一个实施例中,数据单元的状态信息可以被存储为状态记录表的形式。图6是状态记录表的一个示意图。如图6所示,在一个具体的例子中,一致性同步模块421的存储单元中存储有第一状态记录表61和第二状态记录表62。其中,第一状态记录表61记录N个图像帧的状态信息;第二状态记录表62记录N个图像帧中每一个图像帧的各数据块的状态信息。N例如是32。一致性同步模块421的存储单元可以具有寄存器和静态存储器,其中,第一状态记录表61可以存储在寄存器中,第二状态记录表62可以存储在静态存储器中。
如图6所示,在第二状态记录表62中:白色框表示数据块没有经过图像处理模块A、B、C任一者的处理,例如,白色框对应的状态信息可以用0来表示;浅灰色框表示数据块经过图像处理模块A的处理,并且处理后的数据被成功写入存储器40,即,该数据块针对图像处理模块A的状态信息为第一值;深灰色框表示数据块经过图像处理模块B的处理,并且处理后的数据被成功写入存储器40,即,该数据块针对图像处理模块B的状态信息为第一值;黑色框表示数据块经过图像处理模块C的处理,并且处理后的数据被成功写入存储器40,即,该数据块针对图像处理模块C的状态信息为第一值。第一值例如是1。
如图6所示,在第一状态记录表61中:白色框表示该图像帧的全部数据块都没有经过图像处理模块A、B、C任一者的处理,例如,白色框意味着该图像帧针对各图像处理模块的状态信息可以是0,表示该图像帧的数据完全没有准备好;浅灰色框表示数该图像帧的全部数据块都经过图像处理模块A的处理,并且处理后的数据被成功写入存储器40,即,该图像帧针对图像处理模块A的状态信息为第一值,该图像帧的数据部分准备好;深灰色框表示表示该图像帧的全部数据块都经过图像处理模块B的处理,并且处理后的数据被成功写入存储器40,即,该图像帧针对图像处理模块B的状态信息为第一值,该图像帧的数据部分准备好;黑色框表示表示该图像帧中的全部数据块经过图像处理模块C的处理,并且处理后的数据被成功写入存储器40,即,该图像帧针对图像处理模块C的状态信息为第一值,该图像帧的数据完全准备好。第一值例如是1。
如图6所示,每个数据块的大小为64x64像素单位,以1920x1080分辨的图像为例,针对图像处理模块A、B、C的处理过程,共需要记录32x3x(1920/64)x(1088/64)=32x3x510位的状态信息,其中,3表示需要记录针对处理模块A、B、C各自的状态信息,32表示32个图像帧。32x3x510位的状态信息(即,第二状态记录表62中的信息)可以通过静态存储器来存储。第一状态记录表61中的状态信息为32x3位,可以通过寄存器来存储。
在至少一个实施例中,一致性同步模块421还被配置为进行如下操作:
操作403、在数据单元的状态信息发生变化的情况下,向至少一个图像处理模块41发送状态更新信号;和/或
操作404、从至少一个图像处理模块41接收状态查询信号,并反馈该状态查询信号指示的数据单元的状态信息。
通过操作403,能够实现主动同步。其中,可以向在后处理的图形处理模块41发送状态更新信号,例如,在某一数据块针对图像处理模块B的状态信息被设定为第一值时(即,从不同于第一值的值变化为第一值时),一致性同步模块421可以向图像处理模块C发送状态更新信号,由此,图像处理模块C可以读取存储器40中与该数据块对应的数据,从而进行处理。
此外,本申请不限于此,一致性同步模块421也可以向其它的图像处理模块发送状态更新信号,例如,向各图像处理模块都发送状态更新信号。一致性同步模块421还可以向后述的显示输出模块422发送状态更新信号(如图4所示),由此,显示输出模块422可以在判断出数据块完成全部处理并被写入存储器40中的情况下,进行该数据块的传输。
在本申请的至少一个实施例中,数据单元的状态信息发生变化,可以指状态信息从不同于第一值的值变化为第一值,也可以指状态信息从第一值变化为不同于第一值的值,例如:数据单元的状态信息被清零时,该状态信息从第一值变化为不同于第一值的值,此时,一致性同步模块421可以向图形处理模块41(例如,在前处理的图像处理模块41,或者,在后处理的图像处理模块41,或者,所有的图像处理模块41)发送状态更新信号。
其中,当数据单元对应的数据没有被在后处理的图形处理模块41使用时,该数据单元的状态信息可以被清零;此外,可以对一致性同步模块421进行配置,从而实现不同的清零方式,例如,可以进行帧级的状态信息的清零,即,在图像帧对应的数据没有被在后的处理的图像处理模块41使用的情况下,使该图像帧的针对在前处理模块的状态信息清零,又例如,可以使2个以上的数据块的状态信息共同清零(即,多块共同清零)。
通过操作404,能够实现被动同步。状态查询信号可以来自图像处理模块41,状态查询信号中可以包括数据单元的位置信息(例如,位置编号等信息),一致性同步模块421可以反馈该状态查询信号指示的数据单元的状态信息。例如,图像处理模块B向一致性同步模块421发送状态查询信号,该状态查询信号中包括有数据块的位置信息(例如,位置信息中可以包括:图像帧以及数据块在该图像帧中的位置等),同步模块421可以向图像处理模块B反馈该数据块针对各图像处理模块的状态信息。
在操作404中,当数据单元的状态信息包括图像帧的状态信息和图像帧中的数据块的状态信息时:如果某一图像帧的部分数据准备好,那么一致性同步模块421可以反馈该状态查询信号指示的数据单元(例如,数据块)的状态信息;如果该图像帧的整帧数据完全准备好或该图像帧的数据完全没有准备好,那么一致性同步模块421可以反馈该状态查询信号指示的数据单元所属的图像帧的状态信息(例如,该图像帧的整帧数据完全准备好,可以反馈该图像帧针对图像处理模块C的状态为第一值;该图像帧的数据完全没有准备好,可以反馈该图像帧针对图像处理模块A的状态为不同于第一值的值),即,一致性同步模块421可以不查询和反馈数据块级的状态信息。
如图4所示,在至少一个实施例中,控制装置42还可以包括显示输出模块422。显示输出模块422可以被配置为进行如下操作:
操作411、根据一致性同步模块421中存储的状态信息,将满足预定条件的数据单元确定为待输出的数据单元;以及
操作412、从存储器40读取与待输出的数据单元的位置信息对应的数据并输出。
在操作411中,预定条件包括:数据单元针对所有的图像处理模块的状态信息都是第一值。
例如,如果某一数据块针对图像处理模块A的状态信息为第一值,该数据块针对图像处理模块B的状态信息为第一值,并且,该数据块针对图像处理模块C的状态信息为第一值,那么,该数据块为待输出的数据块(即,待输出的数据单元)。
在操作412中,根据待输出的数据单元的位置信息,从存储器40中读取相应的数据并输出,例如,显示处处模块422可以将数据输出到显示端,显示端能够对数据对应的图像进行显示。
通过操作411和操作412,显示输出模块422能够按照数据单元来发送数据,例如,以数据块(即,图像帧的一部分)为单位来发送数据,由此,实现对数据的乱序发送,而不必像现有技术那样,以显示的行顺序来发送数据。
在操作411中,显示输出模块422能够根据数据单元满足预定条件的先后顺序,设定待输出的数据单元的读取和数据输出的顺序。
例如,在时刻T1,数据块1针对图像处理模块A、B、C的状态信息都达到第一值,在时刻T2,数据块2针对图像处理模块A、B、C的状态信息都达到第一值,T1早于T2,那么,显示输出模块422先对数据块1对应的数据进行读取和输出。由此,能够按照数据存入存储器40的时间先后顺序来传输数据,从而提高数据传输的速度,降低延迟,并节省数据的存储空间。
在第一方面的实施例的图像处理系统4中,该至少两个图像处理模块41可以根据预定的先后顺序对图像帧进行处理,例如,图像处理模块A的处理是图像处理模块B的在先处理,图像处理模块C的处理是图像处理模块B的在后处理。
图像帧的数据单元针对在先处理的图像处理模块41的状态信息为第一值的情况下,在后处理的图像处理模块41从存储器读取该数据单元对应的经在先处理后的数据,并进行在后处理。由此,图像处理系统40能够对图像帧进行乱序处理,即,完成一个数据块(即,数据单元)的处理后下一个处理模块可以马上进行在后的处理,而不用进行帧级等待,不需要复杂的同步控制,大大减少对CPU的依赖,可以进一步加速图像处理流程。
例如,针对某一数据块:图像处理模块A对该数据块的数据进行处理,并将处理后的数据存储存储器40,一致性同步模块421将该数据块针对图像处理模块A的状态信息设定为第一值;随后,图像处理模块B从存储器40中读取该数据块的经过图像处理模块A处理后得到的数据,并对该数据进行处理,并将处理后的数据存储存储器40,一致性同步模块421将该数据块针对图像处理模块B的状态信息设定为第一值;随后,图像处理模块C从存储器40中读取该数据块的经过图像处理模块B处理后得到的数据,并对该数据进行处理,并将处理后的数据存储存储器40。
在图像处理系统4的至少一个实施例中,该至少两个图像处理模块41处理后的数据具有相同的数据格式。例如,图像处理模块A、B、C处理后的数据具有相同的数据格式。与现有技术中不同图像处理模块使用不同的数据格式相比,本申请通过采用统一的数据格式,不需要在不同格式间进行数据转换,可以减少存储空间和数据传输带宽。
此外,本申请不限于此,该至少两个图像处理模块41处理后的数据也可以不具有相同的数据格式,在这种情况下,图像处理系统4需要进行涉及不同格式数据间转换的处理以及相应的存储空间。
下面,以一个具体的实例说明本申请的图像处理系统4的数据处理和传输的方法。
图7是图像处理系统4的一个数据处理的示意图,图8是图像处理系统4的一个数据传输的示意图。在图7和图8的实例中,至少两个图像处理模块41可以根据预定的先后顺序对图像帧进行处理,例如,图像处理模块A完成处理后的数据用于图像处理模块B的处理,完成图像处理模块B处理后的数据再进行图像处理模块C的处理,当一个图像帧内的全部数据块都完成了图像处理模块C的处理并写入存储器40中时,该图像帧的状态信息被设定为第一值。
在图7和图8所示的各第二状态记录表中,白色框表示数据块没有经过图像处理模块A、B、C任一者的处理,例如,白色框对应的状态信息可以用0来表示;浅灰色框表示数据块经过图像处理模块A的处理,并且处理后的数据被成功写入存储器40,即,该数据块针对图像处理模块A的状态信息为第一值;深灰色框表示数据块经过图像处理模块B的处理,并且处理后的数据被成功写入存储器40,即,该数据块针对图像处理模块B的状态信息为第一值;黑色框表示数据块经过图像处理模块C的处理,并且处理后的数据被成功写入存储器40,即,该数据块针对图像处理模块C的状态信息为第一值。第一值例如是1。
如图7和图8所示,图像处理系统4的数据处理和传输的一个工作流程包括:
操作71、在时间片段Time0,图像处理模块A完成帧号为Frame 0的图像帧中位置信息为(0,1),(1,0),(h,j),(1,n-1)的数据块的处理,并将处理后的数据写入存储器40。一致性同步模块421在收到存储器40返回的写入确认信号后将位置信息为(0,1),(1,0),(h,j),(1,n-1)的数据块的状态信息设定为第一值。如图7的浅灰色框所示。
操作72、主动同步的情况下,一致性同步模块421向图像处理模块B发送状态更新信号,以指示Frame 0的数据块(0,1),(1,0),(h,j),(1,n-1)关于图像处理模块A状态信息发生变化。图像处理模块B可以选择观测第一状态记录表和/或第二状态记录表。本例使用数据块级同步机制。在时间片段T1,图像处理模块B会从存储器40读取四个数据块(0,1),(1,0),(h,j),(1,n-1)对应的数据,完成处理后将处理后的数据写入存储器40,并将Frame0的(0,1),(1,0),(h,j),(1,n-1)针对图像处理模块B的状态设置为第一值,如图7的深灰色块所示。在同样时间片段Time 1内,图像处理模块A又完成了对于Frame0的(o,p),(0,m-1)数据块的处理和写入,如图7的深灰色框所示。
操作73、主动同步的情况下,图像处理模块C会接收到一致性同步模块421的发送的针对图像处理模块B的状态更新信号,然后,进行数据读取、处理和写入到存储器40的操作。例如,在时间片段TimeM,图像处理模块C对某些数据块完成处理并将处理后的数据写入到存储器40,一致性同步模块421将这些数据块的状态信息设置为第一值,如图7的黑色框所示。
操作74、如图8所示,经过图像处理模块C处理和写入的数据的传输可以采用基于处理完成顺序的数据块的乱序传输。例如,在图8中,图像处理模块C依次对帧号为Frame n的图像帧的编号为34、27、06、12的数据块完成处理并将处理后的数据写入存储器40,因此,显示输出模块422依次对编号为34、27、06、12的数据块对应的数据进行传输。
在显示端,显示系统在依次接收编号为34、27、06、12的数据块对应的数据时,也接收数据块的位置信息(该位置信息可以包括:图像帧的帧号Frame n和数据块在该图像帧中的编号信息等),根据这些信息,在接收完成一个完整图像帧的数据后,可以控制显示器对该图像帧的图像进行。
在上述的实例中,图像帧的处理和显示之间的延时最小可以被控制为3个数据块的处理延时(例如,分别由图像处理模块A、B、C带来)和1个数据块的显示传输延时之和。
综上,本申请第一方面的实施例具有如下有益效果:
1、以视频解码,GPU渲染计算和图像处理计算为例,本申请在进行流程划分时,因为内存中的视频数据格式已经统一,可以更多的考虑从视频流程进行设计,可以使用减少A/B/C模块间相互转换的若干帧数据空间,减少或不受A/B/C数据格式的制约。
2、与现有的内存空间使用不同的压缩方式存储视频数据相比,本申请通过采用统一的视频数据帧内压缩格式,同时在内存空间使用统一的压缩或非压缩方式存储,可以减少存储空间和数据传输带宽,减少芯片面积。当然也支持非压缩的原数据格式。
3、与现有的视频计算各模块间往往使用帧级同步方式,需要在整个视频数据帧完成计算并写入帧后才能进行后续计算操作相比,本申请不同模块可以以主动或被动方式获知相关视频帧或帧内数据块的更新状态,可选择使用帧级或数据块级为单位进行计算,完成一个数据块的计算单元可以马上计算下一个数据块,而不用进行帧级等待,大大减少对CPU的依赖,可以进一步加速视频处理流程。
4、与现有的传统帧同步和扫描顺序进行各种不同计算模块间的多级数据同步会造成计算延时和显示延迟相比,本申请采用基于计算完成顺序的数据块的乱序传输,根据视频处理先后顺序而不是显示的行顺序计算和传输视频数据可以缩短计算到显示的延时,节省视频数据的存储空间。
第二方面的实施例
本申请第二方面的实施例提供一种显示控制系统和具有该显示控制系统的显示系统。
图9是该显示控制系统的一个示意图。如图9所示,显示控制系统9可以接收显示输出模块输出的数据,并对显示器91进行控制,使得显示器91显示图像帧。
当显示控制系统9接收到的数据对应于完整的图像帧时,输出显示控制信号,该显示控制信号控制显示器91显示该完整的图像帧。由此,能够不必按照显示的行的顺序进行显示,从而能缩短显示的延迟。
在至少一个实施例中,显示控制系统9可以根据接收到的数据对应的图像帧的帧号信息和数据单元(例如,数据块)在该图像帧中的编号信息,确定接收到的数据是否能够组合成一个完整的图像帧。
图10是第二方面的实施例的显示系统的一个示意图。如图10所示,该显示系统10可以包括图像处理系统101和显示控制系统9。
其中,图像处理系统101可以具有显示输出模块(未图示),其能够将处理后的数据发送给显示控制系统9,显示控制系统9基于显示输出模块输出的数据进行控制,以使显示器91进行显示。
在至少一个实施例中,图像处理系统101可以是第一方面的实施例所述的图像处理系统4。即,对第一方面的实施例所述的图像处理系统4的所有说明可以适用于图像处理系统101,由此,图像处理系统101中的至少两个图像处理模块可以针对数据块进行乱序处理,并且,图像处理系统101中的显示输出模块可以按照数据单元(例如,数据块)被处理完成的先后顺序,将数据单元(例如,数据块)对应的数据输出到显示控制系统9,显示控制系统9在接收完成一个完整的图像帧的数据时,控制显示器91,使得显示器91显示该完整的图像帧。
此外,本申请可以不限于此,图像处理系统101也可以不同于第一方面的实施例所述的图像处理系统4。
第三方面的实施例
本申请第三方面的实施例提供一种图像处理系统的控制方法,对应于第一方面的实施例的图像处理系统的控制装置。
图11是图像处理系统的控制方法的一个示意图,如图11所示,该控制方法包括:
操作1101、设定所述图像帧的数据单元针对各所述图像处理模块的状态信息;以及
操作1102、存储所述图像帧的所述数据单元针对各所述图像处理模块的所述状态信息。
其中,在图像处理模块对数据单元进行处理后的数据被写入所述存储器的情况下,所述数据单元针对所述图像处理模块的所述状态信息被设定为第一值。
本申请第三方面的实施例提供还一种图像处理系统的图像处理方法,对应于第一方面的实施例的图像处理系统4。
图12是该图像处理方法的一个示意图,如图12所示,该图像处理方法包括:
操作1201、至少两个图像处理模块对所述图像帧进行处理;以及
操作1202、设定并存储图像帧的数据单元针对各所述图像处理模块的状态信息。
其中,在操作1201中,至少两个图像处理模块根据预定的先后顺序对所述图像帧进行处理,在图像帧的数据单元针对在先处理的所述图像处理模块的状态信息为第一值的情况下,在后处理的所述图像处理模块从所述存储器读取所述数据单元对应的经所述在先处理后的数据,并进行在后处理。
本申请第三方面的实施例提供还一种显示系统的显示控制方法,该显示控制方法对应于第二方面的实施例的显示控制系统9的相关操作。
图13是该显示控制方法的一个示意图,如图13所示,该显示控制方法包括:
操作1301、接收到的由控制装置的显示输出模块输出的数据对应于完整的图像帧时,输出显示控制信号,该显示控制信号用于控制显示器显示该完整的图像帧。
其中,在操作1301中,显示控制系统9可以根据接收到的数据对应的图像帧的帧号信息和数据单元在该图像帧中的编号信息,确定接收到的数据对应于完整的图像帧。
本申请的实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第三方面的实施例中的任一项方法。
本申请的实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现第三方面的实施例中的任一项方法。
本申请的实施例还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现第三方面的实施例中的任一项方法。
本申请各实施例的技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完图全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本申请的具体实施例而已,并不用于限定本申请的保护范围,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (19)

1.一种图像处理系统的控制装置,所述图像处理系统包括至少两个图像处理模块,所述至少两个图像处理模块对图像帧进行处理,并将处理后的数据写入存储器,
其特征在于,所述控制装置包括一致性同步模块,所述一致性同步模块被配置为:
设定所述图像帧的数据单元针对所述图像处理模块的状态信息;以及
存储所述图像帧的所述数据单元针对所述图像处理模块的所述状态信息,
其中,
在所述图像处理模块对所述数据单元进行处理后的数据被写入所述存储器的情况下,所述数据单元针对所述图像处理模块的所述状态信息被设定为第一值。
2.如权利要求1所述的控制装置,其特征在于,
所述数据单元的状态信息包括:
所述图像帧的状态信息和/或所述图像帧中的数据块的状态信息。
3.如权利要求2所述的控制装置,其特征在于,
在所述数据单元包括所述数据块的情况下,
设定所述数据单元的状态信息,包括:
接收位置编号;
接收所述存储器反馈的针对所述位置编号对应的所述数据块的写入确认信号;以及
将所述位置编号对应的所述数据块针对所述图像处理模块的状态信息设定为所述第一值。
4.如权利要求3所述的控制装置,其特征在于,
在所述数据单元还包括所述图像帧的情况下,
设定所述数据单元的状态信息,还包括:
根据所述图像帧中的各数据块针对各所述图像处理模块的所述状态信息,设定所述图像帧针对各所述图像处理模块的所述状态信息。
5.如权利要求1所述的控制装置,其特征在于,
所述一致性同步模块还被配置为:
在所述状态信息发生变化的情况下,向至少一个所述图像处理模块发送状态更新信号;和/或
从至少一个图像处理模块接收状态查询信号,并反馈所述状态查询信号指示的所述数据单元的所述状态信息。
6.如权利要求1所述的控制装置,其特征在于,
所述控制装置还包括显示输出模块,所述显示输出模块被配置为:
根据所述一致性同步模块中存储的所述状态信息,将满足预定条件的所述数据单元确定为待输出的数据单元;以及
从所述存储器读取与所述待输出的数据单元的位置信息对应的数据并输出,
其中,所述预定条件包括:所述数据单元针对所有的所述图像处理模块的所述状态信息都是第一值。
7.如权利要求6所述的控制装置,其特征在于,
所述显示输出模块根据所述数据单元满足所述预定条件的先后顺序,设定所述待输出的数据单元的读取和数据输出的顺序。
8.一种图像处理系统,所述图像处理系统包括至少两个图像处理模块,所述至少两个图像处理模块对图像帧进行处理,并将处理后的数据写入存储器,
其特征在于,所述图像处理系统还包括权利要求1至7中任一项所述的控制装置,
其中,
所述至少两个图像处理模块处理后的数据具有相同的数据格式。
9.如权利要求8所述的图像处理系统,其特征在于,
所述至少两个图像处理模块根据预定的先后顺序对所述图像帧进行处理,
其中,
所述图像帧的数据单元针对在先处理的所述图像处理模块的状态信息为第一值的情况下,
在后处理的所述图像处理模块从所述存储器读取所述数据单元对应的经所述在先处理后的数据,并进行所述在后处理。
10.一种显示系统,包括,图像处理系统和显示控制系统,其特征在于,
所述图像处理系统包括至少两个图像处理模块以及权利要求6或7所述的控制装置,
所述显示控制系统接收所述控制装置的显示输出模块输出的数据,
其中,
当所述显示控制系统接收到的数据对应于完整的图像帧时,输出显示控制信号,
所述显示控制信号控制显示器显示所述完整的图像帧。
11.如权利要求10所述的显示系统,其特征在于,
所述显示控制系统根据接收到的数据对应的图像帧的帧号信息和数据单元在该图像帧中的编号信息,确定接收到的数据对应于完整的图像帧。
12.一种图像处理系统的控制方法,所述图像处理系统包括至少两个图像处理模块,所述至少两个图像处理模块对图像帧进行处理,并将处理后的数据写入存储器,
其特征在于,所述控制方法包括:
设定所述图像帧的数据单元针对各所述图像处理模块的状态信息;以及
存储所述图像帧的所述数据单元针对各所述图像处理模块的所述状态信息,
其中,
在所述图像处理模块对所述数据单元进行处理后的数据被写入所述存储器的情况下,所述数据单元针对所述图像处理模块的所述状态信息被设定为第一值。
13.一种图像处理系统的图像处理方法,所述图像处理系统包括至少两个图像处理模块,所述至少两个图像处理模块对图像帧进行处理,并将处理后的数据写入存储器,
其特征在于,所述图像处理系统还包括权利要求1至7中任一项所述的控制装置,
其中,
所述图像处理方法包括:
所述至少两个图像处理模块对所述图像帧进行处理;以及
所述控制装置设定并存储所述图像帧的数据单元针对各所述图像处理模块的状态信息。
14.如权利要求13所述的图像处理方法,其特征在于,
所述至少两个图像处理模块根据预定的先后顺序对所述图像帧进行处理,
其中,
所述图像帧的数据单元针对在先处理的所述图像处理模块的状态信息为第一值的情况下,
在后处理的所述图像处理模块从所述存储器读取所述数据单元对应的经所述在先处理后的数据,并进行所述在后处理。
15.一种显示系统的显示控制方法,包括,图像处理系统和显示控制系统,其特征在于,
所述图像处理系统包括至少两个图像处理模块以及权利要求6或7所述的控制装置,
其中,所述显示控制方法包括:
所述显示控制系统接收到的由所述控制装置的显示输出模块输出的数据对应于完整的图像帧时,输出显示控制信号,
所述显示控制信号用于控制显示器显示所述完整的图像帧。
16.如权利要求15所述的显示控制方法,其特征在于,
所述显示控制系统根据接收到的数据对应的图像帧的帧号信息和数据单元在该图像帧中的编号信息,确定接收到的数据对应于完整的图像帧。
17.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求12至16中的任一项所述的方法。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求12至16中的任一项所述的方法。
19.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现权利要求12至16中的任一项所述的方法。
CN202210486703.4A 2022-05-06 2022-05-06 图像处理系统及其控制装置、控制方法、图像处理方法 Pending CN117061681A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210486703.4A CN117061681A (zh) 2022-05-06 2022-05-06 图像处理系统及其控制装置、控制方法、图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210486703.4A CN117061681A (zh) 2022-05-06 2022-05-06 图像处理系统及其控制装置、控制方法、图像处理方法

Publications (1)

Publication Number Publication Date
CN117061681A true CN117061681A (zh) 2023-11-14

Family

ID=88659518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210486703.4A Pending CN117061681A (zh) 2022-05-06 2022-05-06 图像处理系统及其控制装置、控制方法、图像处理方法

Country Status (1)

Country Link
CN (1) CN117061681A (zh)

Similar Documents

Publication Publication Date Title
US6380944B2 (en) Image processing system for processing image data in a plurality of color modes
KR100482493B1 (ko) 화상 출력 장치 및 화상 출력 제어 방법
JP4971442B2 (ja) ピクセルデータ変換のための画像処理装置及び方法
US5454076A (en) Method and apparatus for simultaneously minimizing storage and maximizing total memory bandwidth for a repeating pattern
US6392712B1 (en) Synchronizing interlaced and progressive video signals
US9460489B2 (en) Image processing apparatus and image processing method for performing pixel alignment
JP2009129448A (ja) データ処理装置、データ処理方法およびデータ処理システム
US7218676B2 (en) Method and a decoder for decoding MPEG video
JPH09307832A (ja) 画面比変換装置及び方法
US6717989B1 (en) Video decoding apparatus and method for a shared display memory system
US6985528B2 (en) Apparatus and method for encoding and decoding moving picture using wavelet transformation and motion estimation
CN117061681A (zh) 图像处理系统及其控制装置、控制方法、图像处理方法
US6919902B2 (en) Method and apparatus for fetching pixel data from memory
CN115002304A (zh) 一种视频图像分辨率自适应转换装置
US7034887B2 (en) Method and apparatus for flicker filtering interlaced display data
US7460718B2 (en) Conversion device for performing a raster scan conversion between a JPEG decoder and an image memory
US10771798B2 (en) Multi-stream image processing apparatus and method of the same
KR100304003B1 (ko) 그래픽 처리 방법 및 그 장치
US20060022987A1 (en) Method and apparatus for arranging block-interleaved image data for efficient access
CN116112627B (zh) 一种视频帧率自适应变换的方法和电路
CN117676064B (zh) 一种基于spi通讯的视频信号传输方法、设备和存储介质
CN116456144B (zh) 一种无帧缓存视频流处置输出装置和方法
US7031557B2 (en) Structure capable of reducing the amount of transferred digital image data of a digital display
CN104011654A (zh) 用于视频分析的存储器前瞻引擎
CN117812203A (zh) 一种基于地址映射的多通道视频数据转换方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination