CN105391933B - 图像处理片上系统和处理图像数据的方法 - Google Patents

图像处理片上系统和处理图像数据的方法 Download PDF

Info

Publication number
CN105391933B
CN105391933B CN201510519170.5A CN201510519170A CN105391933B CN 105391933 B CN105391933 B CN 105391933B CN 201510519170 A CN201510519170 A CN 201510519170A CN 105391933 B CN105391933 B CN 105391933B
Authority
CN
China
Prior art keywords
bit
pixel data
memory
bits
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510519170.5A
Other languages
English (en)
Other versions
CN105391933A (zh
Inventor
郑暻娥
申善荣
吴镇鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105391933A publication Critical patent/CN105391933A/zh
Application granted granted Critical
Publication of CN105391933B publication Critical patent/CN105391933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

提供了图像处理片上系统和处理图像数据的方法。图像处理器位于片上系统中或者是较大的图像处理系统的部分。图像处理器可以包括应用处理器、编解码器模块和存储器控制器。图像处理器使用嵌入式存储器和/或外部存储器来处理、存储和读取图像数据。图像数据由多个像素构成，每个像素可以包括第一组位和第二组位，使用一个或多个地址，可以在存储器处在存储器的第一区域和第二区域中分开或同时访问第一组位和第二组位。第一组位可以对应于每个像素的较高有效位，并且第二组位可以对应于较低有效位。可以根据使用的数据总线的宽度和/或诸如显示器的与图像处理器连接的外围装置的特征来选择第一组位和第二组位中的每个中的位数。

Description

图像处理片上系统和处理图像数据的方法
本申请要求于2014年8月21日在韩国知识产权局提交的第10-2014-0109039号韩国专利申请和2015年8月7日在美国专利商标局提交的第14/820,566号美国专利申请的权益，这些专利申请的公开内容通过引用全部包含于此。
技术领域
发明构思涉及图像处理器，更具体地，涉及图像处理器、包括图像处理器的图像处理系统、包括图像处理系统的片上系统(SoC)以及操作图像处理系统的方法。
背景技术
随着能够播放和存储高分辨率或高质量的图像的硬件的开发和普及，必须高效地处理高分辨率或高质量的图像信号。在处理图像信号时，图像处理器可以接收将要处理的图像信号并输出已处理的图像信号。将要处理的图像信号或者已处理的图像信号可以存储在存储器中，并且可以通过系统总线从存储器读取。
包括在图像信号中的每个像素可以包括多位像素数据，并且发送/接收的位数可以根据信号处理特征而不同。这种可变位图像信号需要在处理器之间高效地传输。
发明内容
本公开提供一种高效地处理可变位图像信号的图像处理器、包括该图像处理器的图像处理系统、包括该图像处理器的片上系统(SoC)以及操作该图像处理器和图像处理系统的方法。在一些示例中，可以使用编解码器模块来对由CMOS图像传感器(CIS)产生的图像进行编码或解码。编解码器模块可以对编码图像进行接收和解码，解码图像可以表示多个像素。每个像素可以具有像素值，每个像素值可以由包括多个第一位和多个第二位的多个位表示。所有像素的第一位和第二位可以表示图像帧。图像帧可以是静止图像或运动图像(例如，包括视频信号)的部分。
应用处理器(AP)可以控制像素值的存储和读取(即，数据访问)，并且还可以控制对像素值的处理操作(例如，压缩、抖动、逆抖动、编码/解码等)。存储器控制器可以用于通过将图像(例如，解码图像)的每个像素值的第一位和第二位存储到存储器和从存储器读取它们来对命令做出响应。
每个像素值的第一位和第二位可以表示像素值的不同部分。例如，第一位可以是每个对应像素值的较高有效位，第二位可以是每个对应像素值的较低有效位。在第一操作中，存储器控制器可以从存储器仅访问多个像素的像素值的第一位。在第二操作中，存储器控制器可以从存储器访问多个像素的第一位和第二位。第一位可以存储在存储器中的由第一地址识别的位置处并随后从该位置读取，第二位可以存储在存储器中的由第二地址识别的位置处并随后从该位置读取。
编解码器模块可以对解码图像的每个像素值的第一位和第二位执行抖动操作。
总线可以在应用处理器的不同功能(例如，图像处理)块之间传送像素数据。总线可以被配置为支持每个像素值的第一位和第二位的传送，包括在对第一位和第二位进行的改变其值的任何信号处理之后(例如，在抖动操作之后)的传送。总线可以具有支持可与信号处理之前或之后的第一位对应的M位数据宽度。总线的宽度可以是M位或M的倍数(例如，在M＝8的情况下，总线宽度可以是8位、16位、32位、64位、128位等)，正整数K可以表示这样的倍数。存储器控制器可以在总线上单次、并行地控制K个像素值的第一位的访问，并且K可以具有大于或等于1的值。
当存储器控制器在存储器(例如，嵌入在SoC中的嵌入式存储器或芯片外的外部存储器)中的所述存储器的第一地址和第二地址处存储像素值的第一位和第二位时，可以使用地址来识别存储器的最小可访问单位。存储器的最小可访问单位可以是M位，其中M是正整数。N位的数目也可以是正整数并且小于M。N位可以属于单个像素值，存储器的控制器(例如，存储器控制器)也可以组合多个N位(例如，多个像素的N位)来形成最小可访问单位。组合的像素可以相对于图像帧而彼此相邻。
M位可以存储在存储器的第一区域的第一位置中，并且N位可以存储在存储器的第二区域的第二位置中。包含M位和N位的存储器位置可以是分别用第一地址和第二地址可寻址的。
CMOS图像传感器(CIS)可以生成第一图像，第一图像包括表示所述第一图像的多个像素的多个第一像素值。每个第一像素值可以包括第一位和第二位。在第一位和第二位(例如，被编解码器模块)处理的情况下，结果可以是第二像素值。第一位可以对应于第二像素值，并且第二位可以对应于第一像素值。感测的第一图像可以经由预先配置的接口与应用处理器的中央处理单元或用于后续处理的另一个装置通信。
处理器或编解码器模块可以具有灵活性，以根据总线的宽度来改变每个像素值的第一位和第二位的数目。因此，图像处理SoC可以因为这样的可塑性而置于不同的系统中(例如，安装在不同的封装件中和不同的板上)。
在从存储器被读取时，第二图像数据的第一位和第一图像数据的第二位可以被编解码器模块重新处理(例如，逆抖动)和重新打包，以生成与来自CIS的原始的解码图像基本上相同的参考图像。
半导体SoC还可以包括显示器控制器和抖动单元。抖动单元可以抖动由多个像素构成的解码图像，以创建与每个像素对应的M个抖动的位和N个未抖动的位，N是小于M的正整数。存储器控制器可以在存储器中存储与解码图像对应的多个像素的M个抖动的位和N个未抖动的位。总线可以提供存储器、存储器控制器、编解码器模块和处理器之间的通信，其中，总线宽度可以是K×M，K和M是大于1的正整数。SoC的处理器、编解码器、存储器控制器或另一个功能块可以使用存储器的地址来访问存储器中的M个抖动的位和N个未抖动的位的组(sets of)。这种访问可以包括在总线上并行地接收K个像素值的M个抖动的位。显示器控制器可以仅向显示器提供M个抖动的位，或者另外提供多个像素的N个未抖动的位。显示器控制器可以经由预定的接口将M位和N位提供给显示器。
类似于其他实施例的图像处理SoC，存储器的每个地址可以识别存储器的最小可访问单位，例如，存储器的最小可访问单位是M位。处理器、编解码器、存储器控制器或其他功能块也可以借助存储器的最小可访问单位通过总线来访问多个像素的N个未抖动的位。存储器可以形成在与半导体SoC相同的芯片内，或者存储器可以形成在(一个或多个)不同的芯片中。
在半导体SoC的某些实施例中，可以绕开编解码器模块的一些内部处理块(例如，抖动电路)，使得针对将要被存储的每个像素将P个未处理(例如，未抖动)的位和N个未处理的位提供给存储器，其中P是大于或等于M的正整数。
执行图像处理的半导体SoC可以是较大的图像处理系统的部分。该系统可以包括CMOS图像传感器(CIS)，所述CIS可以生成包括多个像素的第一图像数据的帧，所述多个像素中的每个像素具有包括第一图像数据的M个第一位和第一图像数据的N个第二位的像素值，M个第一位是像素值的较高有效位，并且与M个第一位相比，N个第二位是像素值的较低有效位。该系统还可以包括处理器，该处理器可以对第一图像数据执行信号处理操作，以生成第二图像数据的M个第三位和第一图像数据的N个第四位。该系统还可以包括存储器控制器，以将第二图像数据的M个第三位和第一图像数据的N个第四位存储到存储器。存储器可以在SoC外部。
该系统还可以包括显示装置和显示器控制模块，使得显示器控制器可以将第二图像数据的至少M个第三位提供给显示装置；根据显示装置，显示器控制器也可以灵活地提供第一图像数据的N个第四位。因此，显示装置可以处理第二图像数据的M个第三位(例如，或者另外，第一图像数据的N个第四位)，以根据处理后的第二图像数据显示屏幕。显示装置可以按照每个像素M个第四位来实现色深/灰度。显示器控制模块可以通过选择性地访问存储器的第一区域并且将与存储器的第一区域中的第二图像数据对应的每像素M个第四位提供给显示装置来支持这个操作。类似地，根据显示装置，显示装置可以通过M个第四位和N个第三位来实现色深/灰度，因此，显示器控制模块可以通过分别提供第一地址和第二地址来从存储器的第一区域和第二区域提供(M+N)位。由可变的M和N中的每个表示的位数可以是可配置的(例如，经由处理器由用户配置)。在图像处理系统的不同实施例中，显示器控制器可以根据系统中的显示器的类型来灵活地、选择性地将M位或(M+N)位的图像数据发送到显示装置。
第二图像数据的M个第三位可以是在存储器的第一区域的第一位置处可访问的，并且第一图像数据的N个第四位可以是在存储器的第二区域的第二位置处可访问的。例如，存储器控制器可以读取第二图像数据的像素值并将其提供给处理器，该处理器可以是编解码器模块。编解码器模块可以在第二图像数据被存储在存储器中之前执行抖动操作，并且编解码器模块可以在从存储器读取第二图像数据之后执行逆抖动操作。编解码器可以对变化的位宽度的图像数据的像素进行灵活的操作。
每个第一位置可以在第一地址处仅存储第二图像数据的仅一个像素值的M个第三位。每个第二位置可以在第二地址处存储第一图像数据的多个像素值的多组N个第四位。存储器的控制器在将第一图像数据的N个第四位存储到存储器的第二区域的第二位置时，可以将第二图像数据的M个第三位同时存储到存储器的第一区域的第一位置。第一地址和第二地址中的每个可以识别存储器的最小可访问存储单位。
用于第二图像数据(例如，包括第一图像数据的N个第三位)的数据访问的图像处理系统内的总线可以具有可变的位宽度，例如，总线可以具有K×M位的位宽度，其中K是正整数。K可以是大于或等于2的整数。可以在总线上并行地执行访问，例如，访问第二图像数据的对应的M个像素值的K组M个第三位。
在图像处理系统中的数据访问中，第一图像数据的帧的像素值和第二图像数据的帧的像素值中的对应像素值可以相同(例如，第一图像数据的N个第二位可以与第一图像数据的N个第四位基本相同)。
例如，在架构信息与总线的宽度有关的情况下，图像处理系统的处理器可以参考图像处理系统的架构信息来确定可变的M和N的位数。在一些实施例中，M可以被确定为8，N可以被确定为2。M可以是8位的倍数。
在一些实施例中，图像处理SoC可以包括应用处理器，该应用处理器可以包括被配置为对解码图像进行接收和解码的编解码器模块。解码图像可以被表示为多个像素，每个像素具有由包括第一位和第二位的多个位构成的像素值。编解码器模块可以包括被配置为对解码图像执行抖动操作的抖动单元。存储器控制器可以被配置为在第一操作中从存储器仅访问所述多个像素的像素数据的第一位，并可以被配置为在第二操作中从存储器访问所述多个像素的第一位和第二位。SoC可以包括被配置为与显示器通信的显示器接口，还可以包括被配置为经由显示器接口与显示器通信的显示器控制器。显示器控制器可以被配置为在第一模式中将多个像素中的每个像素的像素值的第一位数发送到显示器接口，并且在第二模式中将多个像素中的每个像素的像素值的第二位数发送到显示器接口。
图像处理系统可以包括基本像上述实施例中那样配置的SoC。图像处理系统还可以包括CMOS图像传感器、显示器和存储器。另外的实施例可以包括操作图像处理器的方法、操作其中具有图像处理器的SoC的方法，并且还有些实施例可以包括操作图像处理系统的方法。
附图说明
根据下面结合附图进行的详细描述，将更清楚地理解发明构思的示例实施例，在附图中：
图1是根据发明构思的实施例的包括图像处理器的系统的示例的框图；
图2是根据发明构思的实施例的图像处理系统被实现为片上系统(SoC)的示例的框图；
图3是作为图2的SoC的示例的SoC的框图；
图4和5是在图像处理器和存储器之间的像素数据发送/接收操作的示例的框图；
图6是作为图5的编解码器模块的示例的编解码器模块的框图；
图7A和7B是在存储器中存储像素数据的示例的框图；
图8A和8B是在存储器中存储像素数据的另一个示例的框图；
图9A和9B示出参照图6描述的抖动操作和逆抖动操作的示例；
图10是在存储器和对像素数据执行信号处理的逻辑单元之间传输数据的示例的框图；
图11是根据发明构思的实施例的操作图像处理系统的方法的流程图；
图12是根据发明构思的另一个实施例的操作图像处理系统的方法的流程图；
图13A和13B是根据发明构思的实施例的包括图像处理器的系统的另一个示例的框图；
图14是根据发明构思的实施例的包括图像处理器的系统的另一个示例的框图；
图15是根据发明构思的实施例的作为图像处理器的编解码器模块的示例的框图；
图16是根据发明构思的另一个实施例的图像处理系统的框图；
图17是根据发明构思的另一个实施例的操作图像处理系统的方法的流程图；
图18是根据发明构思的另一个实施例的操作图像处理系统的方法的流程图；
图19是根据发明构思的实施例的利用图像处理系统的显示器驱动电路的框图；
图20示出根据发明构思的实施例的包括利用图像处理系统的移动设备的内容提供系统的整体结构；以及
图21示出根据发明构思的实施例的装备有图像处理系统的移动终端的示例。
具体实施方式
如在此使用的，术语“和/或”包括相关列出项中的一个或更多个的任意和所有组合。诸如“……中的至少一个”的表述在一系列元件之前使用时修饰整个系列的元件而不修饰该系列中的单个元件。
在下文中，将参照附图详细地描述发明构思的实施例。然而，发明构思可以以许多不同形式实施，不应该被解释为局限于在此阐述的实施例。虽然发明构思可进行各种修改和可替换的形式，但是其特定实施例在附图中示出作为示例，并将在此详细地描述。这些示例性实施例仅是示例，可以有许多不需要在此提供细节的实施方式和变型。还应该强调的是，本公开提供可以替换的示例的细节，但是可以替换示例的这种列出不是穷举的。此外，各种示例之间的任何细节的一致性不应该被解释为要求这样的细节，对在此描述的每一种特征列出每一种可能的变型是不切实际的。应该理解的是，发明构思不限于描述的具体形式，并且包括落入在发明构思的精神和范围内的所有修改、等同物和替换。在整个说明书和附图中，相同的附图标记表示相同的元件。在附图中，为了使发明构思清楚，放大了结构的尺寸。
将理解的是，虽然在此可以使用术语“第一”、“第二”、“第三”等来描述各种元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不应该受这些术语的限制。除非上下文另有说明，否则这些术语仅用来将一个元件、组件、区域、层或部分与另一个元件、组件、区域、层或部分区分开，例如，作为命名约定。因此，在不脱离本发明的教导的情况下，下面在说明书的一个部分中讨论的第一元件、组件、区域、层或部分可以在说明书的另一个部分中或者在权利要求书中被称为第二元件、组件、区域、层或部分。另外，在某些情况下，即使在说明书中不使用“第一”、“第二”等描述术语，其在权利要求中仍可以被称为“第一”或“第二”以将要求保护的不同元件相互区分开。
在此使用的术语仅出于描述示例性实施例的目的，并且不意图限制发明构思。如在此使用的，除非上下文明确地另有说明，否则单数形式“一”、“一个(种)(者)”和“该(所述)”也意图包括复数形式。将要理解，例如“包括”、“包含”、“含有”和“具有”的术语在此使用时，表示存在所述的特征、整型、步骤、操作、元件、组件或其组合，但不排除存在或添加一个或多个其它的特征、整型、步骤、操作、元件、组件或其组合。
除非另有定义，否则在这里使用的所有的术语(包括技术术语和科学术语)具有与发明构思所属的技术领域的普通技术人员所通常理解的含义相同的含义。还将理解的是，术语(诸如常用词典中定义的术语)应该被解释为具有与其在相关领域的语境中的含义一致的含义，并且将不以理想化或过于形式化的意义来解释它们，除非在此另有明确的定义。说明书可以将实施例的部分称为模块、单元、块等。应该理解的是，这些模块、单元和块是可以包括例如可配置或可不配置软件的处理器、控制器、数字信号处理器、专用硬件等的电子电路。
图1是根据发明构思的实施例的包括图像处理器的系统的示例的框图。图1的系统可以对应于包括图像处理器的各种系统。例如，图1的系统可以对应于各种移动设备，例如，数码相机、便携式摄像机和智能手机。在下文中，假设图1的系统是移动设备10，但是本发明不限于移动装置。
如图1所示，移动设备10可以包括中央处理单元(CPU)11、互补金属氧化物半导体(CMOS)图像传感器(CIS)12、编解码器模块13、存储器14和显示装置15。包括在移动设备10中的各种功能块可相互交换信号。图1示出各种功能块共享总线。然而，发明构思的实施例不限于此，一些功能块可通过(一条或多条)单独的信号线或单独的总线来相互交换信号。移动设备10可以包括接口并包括信号收发器，其中，所述接口被配置为例如经由与标准显示协议对应的多个输入/输出信号来与诸如触摸板显示器的显示装置15通信。诸如此类的接口可以补充或替代总线。本公开的其他实施例也可以包括这种接口。
编解码器模块13可以是处理视频编解码器信号的视频编解码器模块。虽然在图1中未示出，但是移动设备10还可以包括执行其他功能的各种其他功能块。例如，当移动设备10执行通信功能时，移动设备10还可以包括通信模块。此外，移动设备10还可以包括电源管理模块、时钟模块或者图形处理单元(GPU)。
根据发明构思的实施例的图像处理器可以被称为接收图像信号、处理图像信号和提供图像信号的处理结果的各种模块。例如，在图1中所示的功能块中，接收或提供图像信号的(一个或多个)功能块可以是例如图像处理器的处理器。CIS 12生成图像信号并将该图像信号提供给其他功能块，编解码器模块13对图像信号进行编码/解码，存储器14存储图像信号，显示装置15处理图像信号并且包括显示器(例如，屏幕)以根据已处理的图像信号来显示图像。
编解码器模块13、图1中示出的其他功能块以及图1中未示出的其他功能块可以实现为片上系统(SoC)并集成在一个半导体芯片中，或者可以实现在连接以相互通信(例如，在封装件内和/或在印刷电路板上)的多个半导体芯片中。此外，可以在应用处理器中实现图1的设备或系统执行。
CPU 11可以控制移动设备10的整体操作。例如，CPU 11可以执行程序和/或实现存储在存储器14或嵌入在CPU 11中的存储器中的数据。CPU 11可以包括多核处理器，多核处理器可以是具有两个或更多个基本独立的处理器的计算组件。多核处理器可以同时驱动多个加速器，包括多核处理器的移动设备10可以执行多级加速。
CIS 12可以包括像素阵列，包括在像素阵列中的每个像素可以包括光电传感器。每个光电传感器可以根据吸收光的强度来生成电信号。CIS 12可以包括转换单元(未示出)，该转换单元将每个像素的光电传感器的电信号转换为数字数据以生成包括多个像素数据的图像信号。可以由编解码器模块13对由CIS 12捕获的这种图像信号进行编码。
存储器14可存储各种程序和与驱动移动设备10有关的操作系统(OS)。存储器14也可以存储将要被编解码器模块13处理的图像信号。此外，存储器14可以存储已被编解码器模块13处理的图像信号。另外，由CIS 12生成的图像信号可以提供给存储器14，存储在存储器14中的图像信号可以提供给显示装置15。
编解码器模块13可以对由移动设备10生成的各种图像信号和从外部源提供给移动设备10的各种图像信号进行编码或解码。另外，图像信号(诸如编码的图像信号)可以提供给在移动设备10外面的外部源。此外，在从外部源接收到编码的图像信号的情况下，通过对编码的图像信号解码，显示装置15可以显示图像。
如上所述，编解码器模块13可以访问存储器14，以对图像信号执行编码/解码操作。在处理运动图像的情况下，图像信号可以包括多个帧图像，每个帧图像可以包括与多个像素有关的(例如，由CIS 12捕获和提供的)像素数据。
像素的信息量可以根据将要处理的图像信号的类型而变化。例如，每个像素的像素数据可以由8位、10位或12位构成。例如，从外部源接收到的像素数据和由CIS 12的不同实施方式生成的像素数据可以每像素包括不同量的位。在设计用于传输各种信号的系统总线时，基于像素数据的位数来设计数据总线可能是有利的。然而，在像素的信息量(例如，每像素的位数)为可变化时，在执行存储器访问或者在系统的数据总线上另行传输像素数据时可能发生浪费数据总线的带宽或低效的逻辑处理。
应该注意到，每个像素可以表示构成彩色图像的彩色像素的一部分的单个颜色组分的强度(或者单色图像的单个像素的强度)。实际上，彩色像素可以是三种不同的单个颜色组分像素，例如，红色(R)像素、绿色(G)像素和蓝色(B)像素，当在一起显示时，这些单个颜色组分像素可以根据从相应的R、G、B单个颜色组分像素发出的R、G和B光的强度的混合而被人眼视为广泛的各种颜色之一。用来描述或定义单个颜色组分像素的强度的位数被称为色深，例如，强度是以由黑至白的灰度表示的光的强度，例如，单个颜色组分像素的强度是R、G或B的强度。在此描述的示例中，无论感测、处理、存储还是显示，像素和相关的像素数据是指单个颜色组分(例如，R、G和B之一)。因此，不同的表示像素值(例如，强度)的位数指示不同的色深(不论图像是彩色的还是单色的，在此都可以将强度的范围称为灰度)。在此描述的示例也考虑了单色(例如，黑白)图像，在单色图像中，所有像素表现同一颜色，像素值表示该颜色的强度(例如，黑、白或灰度级)。在此描述的实施例也适用于除了RGB颜色模型以外的颜色模型，例如，CMY(青色，品红色，黄色)、CMYK(青色，品红色，黄色，黑色)等。
根据发明构思的实施例，当通过数据总线在功能块之间传输图像信号时，根据数据总线的总线宽度来分割和管理包括在每个像素中的多位像素数据块(pieces)。例如，在存储器14中存储图像信号的像素数据时，将每个像素的像素数据块分成两个数据组，并将这两个数据组的像素数据块存储在存储器14的不同区域中。此外，可以在图像信号访问中执行图像处理操作以减少当使用像素数据的其他功能块(或处理器)仅处理存储在存储器14的任一区域中的像素数据时可能发生的图像失真。可以在从存储器14读取后的后续图像处理操作中将分割后的每个像素的块重新打包(repackage)。
在实施例中，图像信号可包括多个像素，每个像素可包括(M+N)位像素数据(在下文中，将把表示在经受信号处理操作之前的像素值的数据称为初始像素数据)。可以以各种方式定义像素数据的位值。作为一个示例，如果像素数据包括10位数据，则M位可定义为8位，N位可定义为2位。
作为示例，在图像处理操作中，编解码器模块13可以接收包括多个像素的图像信号，每个像素由像素数据的M+N位表示。N位可以是像素数据的最低有效位，M位可以是像素数据的较高有效位。在接收和处理(M+N)位像素数据时，编解码器模块13可以分开管理较高M位像素数据和较低N位像素数据。可以基于系统的数据总线(例如，与编解码器模块13连接的数据总线和/或SoC或应用处理器的内部数据总线)的架构来确定M和N的值。作为示例，数据总线的宽度可以是8位或其倍数。在像素数据具有12位时，可以将M位设定为8位，可以将N位设定为4位。作为示例，在像素数据具有更多位时，可以将M位设定为8位的倍数(例如，16位)。M的值可以等于L平方，其中L是正整数。
作为编解码器模块13的图像处理操作的示例，编解码器模块13可以针对(M+N)位的初始像素数据执行信号处理(例如，第一信号处理)以生成处理后的像素数据(在下文中，将把表示在信号处理操作之后的像素值的数据称为处理后的像素数据)。处理后的像素数据可以具有与初始像素数据不同的量的位。例如，处理后的像素数据可以由M位或更多位组成。在一些示例中，处理后的像素数据可以包括与初始像素数据(例如，(M+N)位数据)相同的位数。在一些示例中，处理之前的和处理之后的像素数据的位中的至少一些位可以相同(例如，(M+N)位的初始像素数据和处理后的像素数据中的每个的N位数据可以相同)。
在将图像信号的每个像素的像素数据存储在存储器14中时，初始像素数据中的至少一些位可以存储在存储器14的与存储初始像素数据的其他位的区域不同的区域中。类似地，处理后的像素数据中的至少一些位可以存储在存储器14的与存储处理后的像素数据的其他位的区域不同的区域中。作为示例，图像信号的每个像素的初始像素数据的较高M位可以存储在存储器14的第一区域中，图像信号的每个像素的初始像素数据的较低N位可以存储在存储器14的单独的第二区域中。当每个像素的处理后的像素数据具有10位像素数据时，处理后的图像信号的每个像素的处理后的像素数据的较高8位像素数据可以存储在存储器14的第一(或第三)区域中，处理后的图像信号的每个像素的处理后的像素数据的较低2位像素数据可以存储在存储器14的第二(或第四)区域中。针对每个像素，可以在存储器14的不同区域中存储信号处理之后的图像信号的8位处理后的像素数据和图像处理之前的图像信号(例如，由CIS 12提供的原始图像信号)的2位初始像素数据。然后，可以响应于一个或多个命令(例如，读取命令)而访问所述8位数据，可以根据第一地址来执行8位数据访问。在还访问2位数据的情况下，响应于一个或多个命令，可以使用第二地址。
可以从存储器14的相应区域向包括在移动设备10中的其他功能块提供数据。例如，当显示装置15通过根据每个像素的M位像素数据来实现灰度(或色深)而显示图像(例如，在屏幕上)时，可以将存储在存储器14的第一区域中的处理后的像素数据提供给显示装置15，而无需提供对应的N位像素数据。即使在图像信号包括每像素(M+N)位像素数据时，显示装置15也可以仅接收存储在存储器14的第一区域中的M位像素数据，并可以相应地显示图像。因此，即使在图像信号的像素数据的位数与用于实现显示装置15的灰度(或色深)的像素数据的位数不同时，也不需要访问额外的像素数据块(尽管这种像素数据不需要丢弃并可以存储在存储器14中)。此外，当数据总线具有等于M位(或等于M位的倍数)的带宽时，可以高效地使用数据总线。
此外，在编解码器模块13的信号处理操作中，可以将前一帧图像用作参考图像来执行运动估计和补偿。在这种情况下，可以向编解码器模块13提供表示存储在存储器14中的前一帧的图像信号。存储在存储器14中的前一帧可以包括与前一帧的每个像素对应的M位处理后的像素数据和N位初始像素数据。在本示例中，可以在处理(例如，抖动(dithering))之后丢弃与前一帧的每个像素对应的M位初始像素数据，然而，将N位初始像素数据保存在存储器14中(如果其他功能或其他功能块很需要M位初始像素数据，则其不需要被丢弃并因此可以存储在存储器中)。编解码器模块13可以接收从存储器14的第一区域和第二区域读取的M位处理后的像素数据和N位初始像素数据。编解码器模块13可以对M位处理后的像素数据执行信号处理。例如，编解码器模块13可以对M位处理后的像素数据执行信号处理操作(例如，第二信号处理)以将初始像素数据恢复为原始图像信号。恢复后的初始像素数据可以具有M位或更多位的数据。例如，当恢复后的初始像素数据具有大于M的大小时，可以在从存储器检索(retrieve)到第一较高M有效位之后，通过丢弃较低的有效位来恢复M位初始像素数据。编解码器模块13可以通过组合从存储器14的第二区域读取的N位初始像素数据和恢复后的M位初始像素数据来生成具有每像素(M+N)位像素数据的原始图像信号作为参考图像。
下面将描述根据发明构思的实施例的上述图像处理系统的示例性操作。
图2是根据发明构思的实施例的图像处理系统被实现为片上系统SoC 20的示例的框图，但是本实施例的细节也适用于单个半导体封装件内的系统(例如，单个封装件内的多个堆叠的半导体芯片)以及由安装在印刷电路板上的多个芯片和/或封装件形成的系统。
如图2所示，作为图像处理系统的SoC 20可以包括多个知识产权(IP)核。多个IP核被实现在SoC 20中以执行其相应的功能，所述功能可以根据设计的SoC的期望功能而变化。在多个IP核当中，执行图像处理的每个IP核可以包括处理器。
SoC 20包括系统总线27和与系统总线27连接的IP核。作为IP核的示例，SoC 20可以包括CPU 21、主IP核22和23以及从IP核24至26。
系统总线27可以是使用具有预定总线标准的协议的总线。例如，可以将高级RISC机(ARM)的高级微控制器总线架构(AMBA)协议用作总线标准。AMBA协议的总线类型可以包括高级高性能总线(AHB)、高级外围总线(APB)、高级可扩展接口(AXI)、AXI4和AXI一致性扩展(ACE)。在上述总线类型当中，AXI是提供多个优异的地址功能和数据交织功能的IP核之间的接口协议。另外，系统总线27可以使用其他类型的协议，例如，SONICs Inc.的uNetwork，IBM的CoreConnect，以及开放核协议国际伙伴关系(Open Core ProtocolInternational Partnership)的开放核协议(OCP-IP)。
图2中所示的每个IP核可以实现为执行具体操作的功能块，并可以根据这些IP核是否具有使用系统总线27的权利而将它们分类为主IP核22和23或从IP核24至26。图2中所示的CPU 21也可以对应于主IP核。另外，可以将存储器控制模块、数字信号处理器(DSP)和编解码器模块实现为主IP核22和23。从IP核24至26由主IP核22和23控制。可以将输入/输出模块和嵌入式存储器实现为从IP核。根据上述实施例，主IP核22和23以及从IP核24至26中的每个IP核可以是处理器(例如，图像处理器)和/或可以形成处理器和/或图像处理器的部分。
可通过系统总线27中的数据总线来发送/接收图像信号的像素数据，包括在SoC20中的每个IP核可以通过数据总线来接收和/或提供像素数据。IP核可以根据其相应功能而仅接收或仅提供像素数据。此外，IP核可以根据其相应功能而接收并提供像素数据。图2示出这样的示例：主IP核22和23接收并提供像素数据，从IP核24至26中的一些仅接收像素数据，从IP核24至26中的一些仅提供像素数据，并且从IP核24至26中的其他从IP核接收并提供像素数据。
SoC 20中的主IP核22和23以及从IP核24至26中的每个可以通过数据总线发送/接收像素数据。此外，SoC 20中的主IP核22和23以及从IP核24至26中的每个可以访问设置在SoC 20外面的外部存储器(未示出)的像素数据。作为示例，在SoC 20中的存储器控制模块的控制下，SoC 20中的主IP核22和23以及从IP核24至26中的每个可以在外部存储器中存储像素数据并从外部存储器接收像素数据。
根据发明构思的实施例，主IP核22和23以及从IP核24至26中的每个可以通过根据数据总线的总线宽度将像素数据块分成至少两组来管理像素数据(例如，通过把这些组中的至少一个组合计为单位位数来高效地使用整个总线宽度，所述单位位数基本接近于总线宽度或总线宽度的倍数)。当主IP核22和23以及从IP核24至26访问嵌入式存储器或外部存储器的像素数据(例如，存储或读取像素数据)时，它们可以根据包括在SoC 20的系统总线27中的数据总线的总线宽度将像素数据块分成至少两组，并且将所述至少两组的像素数据块分开地存储在嵌入式存储器或者外部存储器的至少两个区域中。可选择地，可以根据连接以在SoC和外部存储器之间传输像素数据的总线(例如，外部数据总线)的总线宽度来将像素数据分成多块。当主IP核22和23以及从IP核24至26访问SoC的嵌入式存储器的像素数据时，它们可以以基本相同的方式操作。
图3是作为图2的SoC 20的示例的SoC的框图。图3还示出可连接为与SoC通信的外部存储器EM。如图3所示，SoC 100可以包括CPU 110、编解码器模块120、存储器控制模块130、显示器控制模块140、嵌入式存储器150和输入/输出(I/O)模块160。可以通过SoC 100内部的系统总线来连接上述组件。图3的SoC 100可以是应用处理器，该应用处理器可以安装在移动设备等中。此外，如上所述，根据发明构思的实施例的SoC 100可以不包括图3中示出的一些功能块，或者可以包括图3中未示出的其他功能块。
嵌入式存储器150是SoC 100的部分，并且可以像图1的存储器14(外部存储器)那样存储各种程序、指令和/或数据。此外，嵌入式存储器150可以存储将要被编解码器模块120处理的图像信号(例如，在此描述的初始像素数据)和已经被编解码器模块120处理过的图像信号(例如，在此描述的处理后的像素数据)。嵌入式存储器150可以由易失性存储器和/或非易失性存储器实现。
存储器控制模块(例如，存储器控制器)130经由SoC 100的接口与外部存储器EM接口连接(用虚箭头示意)。例如，根据发明构思的实施例，为了在外部存储器EM中存储图像信号，存储器控制模块130可以执行控制使得每个像素的像素数据块分别存储在外部存储器EM的至少两个区域中。此外，存储器控制模块130可以分别访问外部存储器EM的至少两个区域。因此，SoC 100的功能块中的一些块可以与外部存储器EM交换任何一个区域的像素数据，SoC 100的其他功能块可以与外部存储器EM交换两个或更多个区域的像素数据。
显示器控制模块(例如，显示器控制器)140可以控制外部显示装置(未示出)的操作。显示器控制器可以经由SoC 100的接口与显示装置通信。例如，显示器控制模块140可以通过存储器控制模块130接收像素数据，并将该像素数据提供给外部显示装置。显示器控制模块140可以经由SoC的专用显示装置接口或经由SoC 100的与SoC的其他模块一起共享使用的接口(例如，SoC 100的共享I/O端口)来向外部显示装置提供像素数据。当图像信号包括每像素(M+N)位像素数据，并且外部显示装置通过根据每像素M位像素数据来实现灰度/色深而显示屏幕时，可以通过显示器控制模块140将存储在外部存储器EM或嵌入式存储器150的区域(例如，第一区域)中的M位数据提供给外部显示装置，而不需要将存储在外部存储器EM或嵌入式存储器150中的其他像素数据(例如，表示该图像的N位像素数据)发送给显示器控制模块140和外部显示器。显示器控制器可以被配置为经由SoC 100的显示器接口来将像素值的位发送到外部显示装置。例如，在第一模式中，显示器控制器140可以仅发送多个像素中的每个像素的像素值的一部分位(例如，可以仅发送每个像素的(M+N)位像素数据中的M位)。类似地，显示器控制器可以在第二模式中将多个像素中的每个像素的像素值的第二不同的位数发送到显示器接口。例如，在第二模式中，显示器控制器140可以发送每个像素的所有(M+N)位像素数据。在一些实施例中，编解码器模块120可以被配置为响应于显示器控制模块140来改变M和N的值。
根据发明构思的实施例，在图3中示出的各种功能块可以形成图像处理器，这些功能块可以通过存储器控制模块130来控制对外部存储器EM或嵌入式存储器150的数据访问。例如，(M+N)位像素数据中的M位像素数据和N位像素数据可以被存储在外部存储器EM或嵌入式存储器150的不同地址位置处并从这些位置被读取，并且每个图像处理器可以生成指示将要存储或读取(M+N)位像素数据的位置的地址，并将该地址提供给存储器控制模块130。作为示例，编解码器模块120可以处理(M+N)位像素数据，并将处理后的(M+N)位像素数据提供给存储器控制模块130。此外，编解码器模块120可以生成指示将要存储或读取M位像素数据的位置的第一地址和指示将要存储或读取N位像素数据的位置的第二地址，并且可以将第一地址和第二地址提供给存储器控制模块130。在一些实施例中，第一地址和第二地址在被解码时可以指示用于存储M位像素数据和N位像素数据的相同的行地址，而在其他实施例中，解码后的行地址可以不同。当从外部存储器EM或嵌入式存储器150读取时，编解码器可以将M位像素数据和N位像素数据重新打包(例如，组合)。
图4和5是在图像处理器和存储器之间的像素数据发送/接收操作的示例的框图。在图4中，编解码器模块120被示出为图像处理器，但是本描述同样适用于访问存储器150或外部存储器EM的任何功能块。
如图4所示，编解码器模块120与存储器交换像素数据。例如，编解码器模块120可将每个像素的(M+N)位像素数据提供给存储器。存储器可以是图3中所示的外部存储器EM或嵌入式存储器150。在下文中，假设图4和5的存储器是外部存储器EM，但本描述同样适用于嵌入式存储器150。
外部存储器EM可以包括第一区域和第二区域。此外，关于被提供给外部存储器EM的(M+N)位像素数据，可以将M位像素数据(例如，处理后的像素数据)存储在外部存储器EM的第一区域中，可以将N位像素数据(例如，初始像素数据)存储在外部存储器EM的第二区域中。可以分别访问外部存储器EM的第一区域和第二区域。因此，可以访问外部存储器EM的第一区域和第二区域，以使用(M+N)位像素数据与图像处理器交换信号。可以仅访问外部存储器EM的第一区域，以使用M位像素数据与图像处理器交换信号。
如图5中所示，外部存储器EM可以被多个图像处理器访问。例如，如图5中所示，第一图像处理器IPD1可以将像素数据提供给外部存储器EM并从外部存储器EM接收像素数据。此外，第二图像处理器IPD2可以从外部存储器EM接收像素数据。虽然被分开示出，但是在IPD1和IPD2之间传输像素数据的信号线可以相同(例如，数据总线)。
第一图像处理器IPD1可以包括数据提供单元DPU1和数据接收单元DRU1。数据提供单元DPU1可以将像素数据提供给外部存储器EM，数据接收单元DRU1可以从外部存储器EM接收像素数据。根据上述实施例，数据提供单元DPU1可以将每个像素的(M+N)位的像素数据提供给外部存储器EM。作为示例，当第一图像处理器IPD1对应于编解码器模块时，数据提供单元DPU1可以对原始图像信号执行信号处理，并将作为信号处理的结果而生成的M位处理后的像素数据以及在信号处理之前的N位初始像素数据提供给外部存储器EM。此外，数据接收单元DRU1可以从外部存储器EM接收M位处理后的像素数据和N位初始像素数据，并且通过对M位处理后的像素数据和N位初始像素数据执行信号处理操作来生成(或者恢复)原始图像信号。
此外，如图5所示，第二图像处理器IPD2可以从外部存储器EM接收像素数据。例如，第二图像处理器IPD2可以从外部存储器EM接收M位像素数据。第二图像处理器IPD2可以包括数据接收单元DRU2。因此，第二图像处理器IPD2可以选择性地访问外部存储器EM的第一区域。当第二图像处理器IPD2对应于显示器控制模块，并且外部显示装置按照每个像素M位像素数据来实现色深/灰度时，第二图像处理器IPD2可以接收存储在外部存储器EM的第一区域中的M位处理后的像素数据，并将该M位处理后的像素数据提供给外部显示装置。
虽然图5中未示出，但其他图像处理器也可访问外部存储器EM。在图像处理器处理每像素(M+N)位像素数据时，图像处理器可以访问存储在外部存储器EM的第一区域和第二区域中的像素数据。在图像处理器处理每像素M位像素数据时，图像处理器可以选择性地访问存储在外部存储器EM的第一区域中的像素数据。
图6是作为图3和图4的编解码器模块120的示例的编解码器模块200的框图。在图6中，除了编解码器模块200以外，还示出了显示器控制模块300、存储器和显示装置。此外，图6的存储器可以是图3中所示的外部存储器EM或嵌入式存储器150。要注意，虽然外部存储器EM被示出在编解码器200和显示器控制器300之间，但是这是为了示出数据流；显示器控制器300和编解码器200可以是具有图6的数据流的同一个装置(例如，SoC)的部分，所述数据流通过由装置(例如，SoC)访问外部存储器EM以随后由显示器控制器300传送到显示器来实现。在下文中，假设图6的存储器是外部存储器EM，但是本描述同样适用于嵌入式存储器(例如，150)。此外，假设图像信号的(M+N)位像素数据中，M等于8，并且N等于2。
编解码器200可以包括将像素数据提供给外部存储器EM的数据提供单元和从外部存储器EM接收像素数据的数据接收单元。数据提供单元可以包括对编码图像信号进行解码的解码单元210和对由解码单元210生成的解码图像信号(例如，原始图像信号)执行抖动的抖动单元220。此外，数据接收单元可以包括通过对从外部存储器EM接收到的像素数据执行逆抖动来恢复像素数据的逆抖动单元230(或者可以将其称为重构单元)以及通过使用恢复后的像素数据和从外部存储器EM接收到的像素数据来生成对应于原始图像信号的参考图像的参考图像生成器240。
在图像处理系统中处理的像素的位数可以不是固定的。作为示例，像素的位数可以按处理块(例如，按功能块)变化，即使在同一个处理块内像素的位数也可以根据环境而变化。例如，如图6所示，对图像信号进行编码/解码的编解码器模块200可以提供每像素10位输出，使用该输出来显示图像的显示装置可以仅处理编解码器模块200的所述输出的一部分(例如，仅处理每像素8位数据)。此外，可以以各种形式(例如，8位或10位)提供被提供给编解码器模块200的图像信号的像素的像素数据。
根据发明构思的实施例，当图像处理系统内部或外部的一些功能块使用每像素8位像素数据而其他功能块输出每像素10位像素数据时，将所述10位像素数据块分成8位像素数据和2位像素数据，并且将8位像素数据块和2位像素数据块存储在外部存储器EM中。使用每像素8位数据的功能块可以仅接收存储在外部存储器EM的一个区域中的8位像素数据，而无需丢弃读取的数据(例如，10位)当中的某些位(例如，2位)的数据。例如，从10位像素数据分割出的8位像素数据可以被存储在外部存储器EM的第一区域中，2位像素数据可以被存储在外部存储器EM的第二区域中，可以将存储在外部存储器EM的第一区域中的8位像素数据提供给显示装置，该显示装置是以每像素8位为单位来处理图像信号的图像处理器。
可以将从解码单元210输出的原始图像信号的像素数据(例如，初始像素数据)提供给抖动单元220。例如，可以将每像素10位初始像素数据提供给抖动单元220。抖动单元220通过使用预定的掩码对10位初始像素数据执行抖动来生成处理后的像素数据。已抖动的处理后的像素数据可以是通过从10位像素数据去除较低的2位数据而生成(例如，通过在10位初始像素数据上运算掩码系数而生成)的8位像素数据。
可以将该8位处理后的像素数据和该2位初始像素数据提供给外部存储器EM。存储器控制器(未示出)可以有助于向外部存储器EM传送数据和从外部存储器EM传送数据。尽管图6示出通过抖动单元220将8位处理后的像素数据和2位初始像素数据提供给外部存储器EM的示例，但是发明构思的实施例不限于此。例如，可以相对于抖动单元220沿着外部路径将2位初始像素数据直接提供给外部存储器EM；抖动单元220可以接收原始图像信号的像素的10位初始像素数据，通过使用10位初始像素数据来生成8位处理后的像素数据，并且将8位处理后的像素数据提供给外部存储器EM。
根据上述实施例，可以以与普通8位图像相同的格式将8位处理后的像素数据存储在外部存储器EM或外部存储器EM的第一区域中。因此，由于可以将存储在外部存储器EM的第一区域中的8位处理后的像素数据提供给图像处理器，所以可以防止存储和读取不必要的信息，并可以减少传输像素数据的数据总线的宽度。此外，由于在显示装置中使用的8位处理后的像素数据是抖动数据，所以即使在减少像素数据的传输量时，也可以提高显示的屏幕的图像质量。
在外部存储器EM中分开存储的10位像素数据(例如，8位处理后的像素数据和2位初始像素数据)可以提供给编解码器模块200，编解码器模块200可以通过使用接收到的10位像素数据(例如，对接收到的8位处理后的像素数据执行逆抖动并附加接收到的2位初始像素数据)来生成与原始图像信号对应的参考图像。生成的恢复参考图像可以在预定时间点处由编解码器模块200使用，并可以用于在对(例如，从CIS)被提供给编解码器模块200的下一个图像信号(例如，下一帧)的解码操作中的运动估计和补偿。
逆抖动单元230可以通过对已抖动的8位处理后的像素数据执行逆抖动来恢复与抖动处理之前的初始像素数据对应的像素数据。参考图像生成器240可以通过组合从逆抖动单元230接收到的8位恢复后的初始像素数据和从外部存储器EM的第二区域读取的2位初始像素数据来生成与原始图像对应的参考图像。
显示器控制模块(显示器控制器)300可以访问外部存储器EM的第一区域和第二区域或仅访问外部存储器的第一区域，这可以取决于显示器控制模块300控制的显示器的模式或类型。显示器控制模块300可以包括与用于实现色深/灰度的每像素位数有关的信息作为与显示装置有关的信息。在显示装置实现每像素8位的色深/灰度时，显示器控制模块300可以选择性地访问外部存储器EM的第一区域，并且将与每像素8位对应的数据提供给显示装置。在显示装置实现每像素10位的色深/灰度时，显示器控制模块300可以选择性地访问外部存储器EM的第一区域和外部存储器EM的第二区域以随后将与每像素10位对应的数据提供给显示装置。
可以借助存储器控制器或编解码器模块200来实现对外部存储器EM的数据访问和来自外部存储器EM的数据访问。存储器控制器或编解码器模块200可以使用地址来促进数据访问。多个第一地址可以对应于8位区域的存储器位置，多个第二地址可以对应于2位区域的存储器位置。每个存储器位置可以对应于最小可访问单位(例如，8位，8位的倍数等)，并且可以使用单个第一地址或单个第二地址来向每个存储器位置写入或从每个存储器位置读取。包含每像素2位的存储器位置可以包含多个像素(例如，存储器的8位最小可访问单位中的4个像素)。
可以通过列地址来区分8位区域和2位区域，因此可以在同一行(例如字线或页)中存储包括8位部分和2位部分的像素。在其他实施例中，可以通过行(例如，字线)来区分8位区域和2位区域。这些区域可以存储在交替的行中，或者可以使用存储器的整个块(block)来区分并分离8位区域和2位区域。第一地址和第二地址可以相应地识别这些区域和存储器位置。
可以同时或按顺序进行8位区域的数据访问和2位区域的数据访问。例如，编解码器模块或存储器控制器所使用的数据总线宽度可以是最小可访问单位的倍数(例如，64位，128位)。可以在一次数据访问中同时访问像素的多个8位部分。此外，可以同时访问像素的包含2位部分的多个最小可访问单位。在其他实施例中，可以在一次数据访问中同时访问像素的8位部分和2位部分。
图7A和7B是在存储器中存储像素数据的示例的框图。图7A和7B的存储器可以是设置在根据发明构思的实施例的SoC外面的外部存储器或者SoC的嵌入式存储器。此外，图7A和7B示出存储器访问单位是8位并且对应于一个地址存储和输出8位像素数据的示例。在图7A、7B、8A和8B中示出的地址(例如，“add_0”)是列地址。像素数据(例如，“p-0”)表示与对应的列地址相关联的像素数据(8位或2位)。在这些示例中，按行布置(例如，在图7A和7B中，从左向右)的像素数据被存储在存储器的同一行(例如，DRAM的字线，SRAM，或者NAND闪速存储器的页)中。没有示出识别存储器的行的行地址。
如图7A和7B所示，由于存储器数据访问单位是8位，所以包括数据总线的系统的数据处理单位可以是8位的倍数。作为示例，数据总线可以具有64位或128位的总线宽度，可以按照8位为单位来构建存储器的数据存储位置(例如，存储器映射)，并且像素数据处理逻辑可以按照8位的倍数为单位来接收和处理像素数据。此外，根据发明构思的实施例，即使在将要处理的图像信号的每像素位数是10位或不同的位数时，也对图像信号执行适合于基于8位(或者8位的倍数)为单位的系统的信号处理。
在像素数据具有10位时，10位像素数据的各部分可以分开地存储在如图7A和7B所示的第一区域和第二区域中。像上述实施例那样，10位像素数据当中的较高有效8位像素数据可以存储在存储器的第一区域中，其他的较低有效2位像素数据可以存储在存储器的第二区域中。在访问存储器的图像处理器对应于编解码器模块时，在诸如抖动的信号处理之后的8位处理后的像素数据可以存储在存储器的第一区域中，原始图像信号的2位初始像素数据可以存储在存储器的第二区域中。图7A示出8位像素数据块存储在存储器的第一区域中的示例。例如，第一像素p_0的8位像素数据可以存储在地址0的位置(add_0)处，继而第二像素p_1的8位像素数据可以存储在地址1的位置(add_1)处。根据此模式，可以存储多个像素的8位像素数据。在数据总线具有64位的总线宽度时，八个像素p_0至p_7的像素数据可以通过数据总线同时提供给存储器。图7A中示出的地址具有相同的行地址，并且可以从由行地址识别的行来同时感测并锁存示出的像素数据。图7A中示出的像素可以全部存储在同一行(例如，字线或页)上，并可以经由列地址来识别和访问该行上的各部分数据。在执行读取操作时，可以解码行地址来识别和激活字线。可以借助感测放大器的阵列(例如，在存储器是DRAM时)或者借助页缓冲器(例如，在存储器是NAND闪速存储器时)来感测和锁存字线上的数据。可以解码列地址以识别和访问被感测和锁存的行数据的一部分。像素数据的地址(包括行地址和列地址)识别存储器的最小可寻址(addressable)单位，并且在这种情况下识别存储器的仅可以从存储器一起访问(即，不能从存储器分开访问)的8位。
如图7B所示，每个像素的2位像素数据可以存储在存储器的第二区域中。由于与一个地址对应地存储和读取8个像素数据块，所以可以将四个像素的像素数据存储在存储器的与第二区域的一个地址对应的最小可寻址单位处。作为示例，为了在存储器的第二区域中存储2位像素数据，可以将第一像素p_0至第四像素p_3的像素数据存储在地址0的位置(add_0)处，进而可以将第五像素p_4至第八像素p_7的像素数据存储在地址1的位置(add_1)处。对应于一个地址，可以将多个像素(例如，四个像素)的2位像素数据同时提供给存储器的最小可以寻址单位。根据这样的存储模式，可以将包括在一帧图像所包括的所有像素中的2位像素数据存储在存储器的第二区域中。像图7A那样，图7B中示出的地址可以共享行地址，并且可以从由行地址识别的行来同时感测并锁存示出的像素数据。可以通过列地址来识别和访问行数据的各部分，从而提供多个像素的2位数据。
根据图7A和7B的示例，包括在一帧图像中的所有像素的数据可以存储在存储器中。此外，由于像素的位置和地址的位置对准，所以可以容易地由地址来指示访问目标的像素的数据。此外，可以将四个像素中的每个像素的2位像素数据(共8位数据)定义为一个组，可以根据地址以所定义的组为单位来读取像素数据，并通过8位(或者8位的倍数)的数据总线来传送像素数据。因此，能够防止可能由于像素的数据单位和数据总线的宽度(包括其任何倍数)之间的差异而发生的数据总线的不必要的占用。
图8A和8B是在存储器中存储像素数据的另一个示例的框图。图8A和8B示出将10位像素数据分成8位处理后的像素数据和2位初始像素数据并将8位处理后的像素数据和2位初始像素数据存储在存储器中的示例，其中按照规则的间隔来存储初始像素数据和处理后的像素数据，而无需分割存储器的区域。例如，可以在相同的行(例如，字线，页)中存储初始像素数据和处理后的像素数据，然而，在其他实施例中，可以如图7A和7B所示地在不同的行中存储初始像素数据和处理后的像素数据。当初始像素数据和处理后的像素数据存储在同一行中时，它们可以通过不同组(sets of)的列地址来识别，但是共享相同的行地址。
对于帧图像，可以首先存储与多个像素中的每个像素的8位对应的处理后的像素数据。例如，可以将第一像素p_0的8位像素数据存储在地址0的位置(add_0)处，进而可以将第二像素p_1的8位像素数据存储在地址1的位置(add_1)处。根据这样的模式，可以按照8位为单位来存储多个像素中的每个像素的8位像素数据。此后，可以顺序地存储与多个像素中的每个像素的2位对应的像素数据。可以将四个像素中的每个像素的2位像素数据定义为一个组，并且与一个地址对应地存储它们。例如，可以将第一像素p_0至第四像素p_3的2位像素数据存储在地址80的位置(add_80)处，进而可以将第五像素p_4至第八像素p_7的2位像素数据存储在地址81的位置(add_81)处。在如上所述地存储2位像素数据时，可以再次在存储器中顺序地存储8位像素数据。
根据图8A中示出的实施例，当按照10位像素数据为单位来处理数据块时，可以从一行同时读取10位像素图像。当需要以10位像素数据为单位来访问数据块时，可以通过如下步骤来访问10位像素数据：从存储器的行感测和锁存数据，从被感测和锁存的行数据访问具有第一列地址的相关像素的8位像素数据，并从被感测和锁存的行数据访问具有第二列地址的相关像素的2位像素数据(与其他像素的其他2位像素数据一同访问)。因此，可以在不需要访问不同行的情况下访问单个像素的10位像素数据(在一些示例中，8位处理后的像素数据和2位初始像素数据)。当需要以8位像素数据为单位来访问数据块时，可以通过指定与相关像素的8位像素数据对应的地址而以8位为单位来访问像素数据。
如图8B中所示，可以将8位像素数据存储在存储器的一条线(或者一行)的一侧(例如，左)区域中，可以将2位像素数据存储在存储器的另一侧(例如，右)区域中。可以通过相同的行地址来访问8位像素数据和2位像素数据。例如，图像处理器可以通过提供与存储有8位像素数据块的位置对应的第一列地址来访问8位像素数据，并可以通过提供与存储有2位像素数据块的位置对应的第二列地址来访问2位像素数据。
尽管图8A和8B示出在存储器的同一区域中存储10位像素数据的示例，但是发明构思的实施例不限于此。例如，由于10位像素数据被分成8位像素数据和2位像素数据，并且8位像素数据和2位像素数据按照规则的间隔被存储在存储器中，所以可以将8位像素数据和2位像素数据视为存储在存储器的不同区域中。
在图7A和7B的示例中，不可以在存储器的不同区域中同时存储数据并且不可以从存储器的不同区域同时读取数据，然而，在图8A和8B的示例中可以在存储器的不同区域中同时存储数据，并且可以从存储器的不同区域同时读取数据。例如，在图7A和7B所示的实施例中，位于数据总线上的外部存储器至编解码器之间的第一64位数据传送可以实现8块8位像素数据(例如，对应于像素p_0至p_7)的写入或读取操作，并且第二64位数据访问可以实现32块2位像素数据(例如，对应于像素p_0至p_1f)的写入或读取操作。第一64位数据的8位像素数据和第二64位数据和2位像素数据可以被存储在不同的行(例如，字线，页)中。在图8A和8B所示的实施例中，单次64位数据访问可以传送6块8位像素数据(例如，对应于像素p_0至p_5)和8块2位像素数据(例如，对应于像素p_0至p_7)。可以将单次64位数据访问的由不同的列地址来区分的8位像素数据和2位像素数据同时存储在同一行中并且从同一行同时读取。
图9A和9B示出参照图6描述的抖动操作和逆抖动操作的示例。
像上述实施例那样，处理具有每像素10位像素数据的图像信号。当显示装置按照每像素8位像素数据实现色深/灰度时，图像质量会降低。因此，编解码器模块可以对图像信号的10位像素数据(例如，示出的四个初始像素数据“10b”)执行抖动，并且可以将已抖动的8位像素数据(例如，示出的四个处理后的像素数据“8b”)提供给显示装置。
可以通过对每个像素中包括的初始像素数据执行抖动来生成8位处理后的像素数据。如图9A所示，原始图像信号的每个像素可以包括10位(10b)初始像素数据，可以通过使用预定格式的掩码对10位初始像素数据执行预定运算(例如，加法运算)来生成已抖动的处理后的像素数据。可以通过在10位初始像素数据和掩码系数之间执行运算来生成10位处理后的像素数据，并且可以通过(例如，通过2位移位)去除10位处理后的像素数据中的较低2位来生成剩余的8位处理后的像素数据8b'。
根据上述实施例，可以将每个像素的10位像素数据分开地存储在存储器的不同区域中。例如，可以将8位处理后的像素数据8b'存储在存储器的第一区域中，可以将10位初始像素数据中的较低2位初始像素数据“2b”存储在存储器的第二区域中。
此外，为了执行逆抖动操作，可以通过使用预定掩码对从存储器读取的8位处理后的像素数据执行预定的运算(例如，减法运算)来恢复8位初始像素数据8b，如图9B所示。可以通过使用恢复后的8位初始像素数据8b和在存储器的第二区域中存储的较低2位初始像素数据2b来生成参考图像的10位像素数据。
尽管在图9A和9B的示例中示出2×2格式的掩码，但是发明构思的实施例不限于此。例如，当初始像素数据的单位具有大于10位的位数，并且8位处理后的像素数据要通过对其执行抖动操作而生成时，对于抖动操作，可以使用具有比2×2格式的掩码大的大小的格式的掩码。
图10是在存储器和对像素数据执行信号处理的逻辑单元(例如，功能块)之间传输数据的示例的框图。处理像素数据的图像处理器可以包括用于对多个像素的信号处理的多个逻辑单元。图10示出每个逻辑单元处理10位像素数据并且像素数据块以8位为单位存储在存储器中的示例。
逻辑单元可以对每个像素的数据执行信号处理。因此，当逻辑单元处理10位像素数据时，需要将存储在存储器的不同区域中的8位像素数据和2位像素数据提供给逻辑单元。逻辑单元可以根据接收到的像素数据构建一个像素并根据相关功能对构建的像素执行信号处理。
根据图10的示例，第一逻辑单元L_0至第八逻辑单元L_7可以分别处理第一像素p_0至第八像素p_7。作为示例，第一像素p_0可以包括10位像素数据，10位像素数据中的8位像素数据可以存储在第一区域中，2位像素数据可以存储在第二区域中。第一逻辑单元L_0可以接收存储在第一区域中的第一像素p_0的8位像素数据和存储在第二区域中的第一像素p_0的2位像素数据，并组合该8位像素数据和2位像素数据以构建第一像素p_0。当把第一像素p_0至第八像素p_7的数据块同时提供给第一逻辑单元L_0至第八逻辑单元L_7时，存储在存储器的第一区域中的第一像素p_0至第八像素p_7的8位像素数据可以提供给与第一像素p_0至第八像素p_7对应的逻辑单元。此外，可以按照包括四个像素的数据的一个组为单位来访问存储在存储器的第二区域中的第一像素p_0至第八像素p_7的2位像素数据，并可以将与一个地址对应的第一像素p_0至第四像素p_3的2位像素数据分别提供给第一逻辑单元L_0至第四逻辑单元L_3。
根据上述实施例，可以简化用于8位处理操作和10位处理操作的逻辑结构。例如，当逻辑单元的数据处理单位与存储器的数据存储单位不同时，用于将存储在存储器中的每个像素的10位数据提供给与第一像素p_0至第八像素p_7对应的逻辑单元的寻址过程会复杂。根据发明构思的实施例，可以通过8位寄存器和2位寄存器来构建10位逻辑单元，并且可以沿着图10中所示的数据传送路径将存储在存储器的第一区域中的8位像素数据提供给8位寄存器中的每个寄存器。此外，为了根据10位处理操作来操作附加的2位寄存器，可以如图10中所示地将存储在存储器的第二区域中的2位像素数据提供给2位寄存器。在8位处理操作或10位处理操作中，可以通过相同的路径将第一区域的8位像素数据提供给8位寄存器，在10位处理操作中，可以将2位像素数据提供给附加的2位寄存器。在这种情况下，由于地址的位置和像素的位置在存储器中对准，所以可以简化寻址。此外，由于可以通过时钟门控或电源门控来阻挡给附加的2位逻辑的独立电源，所以可以提高功率效率。
图11是根据发明构思的实施例的操作图像处理系统的方法的流程图。图11示出图像信号包括多个像素并且每个像素包括(M+N)位像素数据的示例。此外，将描述通过执行抖动操作来生成转换后的像素数据的编解码器模块的示例作为图像处理器。
图像处理系统接收(M+N)位像素数据(S 11)，该像素数据可以被图像处理系统称为与信号处理之前的信号对应的(M+N)位初始像素数据。图像处理系统对(M+N)位初始像素数据执行图像处理，并且可以通过数据转换生成例如M位处理后的像素数据(S12)。
图像处理系统可以访问存储器以将像素数据存储在存储器中/从存储器读取像素数据。作为示例，图像处理系统可以设置在SoC的内部，并且可以访问SoC的嵌入式存储器。此外，图像处理系统可以访问在SoC外面的外部存储器。根据图11的实施例，图像处理系统可以通过位于SoC内部的数据总线在嵌入式存储器中存储像素数据。此外，图像处理系统可以通过经由位于SoC内部的数据总线将像素数据提供给存储器控制模块来在外部存储器中存储像素数据。
当图像处理系统访问存储器时，根据上述实施例，可以以M位和N位为单位来分割并存储像素数据。例如，可以将通过图像处理操作生成的M位处理后的像素数据存储在存储器的第一区域中(S13)。此外，可以将原始图像信号的N位初始像素数据存储在存储器的第二区域中(S 14)。此后，对于使用存储在存储器中的像素数据的其他数据处理器的情形，可以执行基于M位处理操作的功能，或者可以执行基于(M+N)位处理操作的功能。基于M位处理操作的系统可以通过访问存储器的第一区域来接收像素数据，并且基于(M+N)位处理操作的系统可以通过访问存储器的第一区域和第二区域来接收像素数据。
图12是根据发明构思的另一个实施例的操作图像处理系统的方法的流程图。图12示出图像信号包括多个像素并且每个像素包括(M+N)位像素数据的示例。此外，图12示出(M+N)位编解码器模块和M位显示装置的示例，作为将存储在存储器中的像素数据块提供给以不同的位数为单位来处理数据的图像处理器的示例。
首先，根据上述实施例，在存储器的第一区域中存储与像素对应的M位像素数据(S21)，并且在存储器的第二区域中存储与该像素对应的N位像素数据(S22)。此后，可以将存储在存储器中的像素数据提供给各种图像处理器。
例如，当显示装置根据每个像素的M位像素数据来实现M位的色深/灰度时，存储在存储器的第一区域中的像素数据可以通过具有M位(或者M位的倍数)的总线宽度的数据总线提供给显示装置(S23)。显示装置可以通过使用接收到的像素数据在显示器的屏幕上显示图像。例如，显示装置可以根据每像素M位像素数据而以M位的色深/灰度来显示屏幕。
此外，对于图像处理操作而言，可以使用存储在存储器中的帧图像作为参考图像。为此，可将存储在存储器的第一区域和第二区域中的(M+N)位像素数据提供给编解码器模块(S24)。根据上述实施例，可以将存储在存储器的第一区域中的像素数据以M位为单位或者以M位的倍数为单位提供给编解码器模块，并且可以将存储在存储器的第二区域中的像素数据以组为单位提供给编解码器模块。例如，一个组可以包括四个像素中的每个像素的N位像素数据，一个组的像素数据的位数可以对应于M位。可以在具有等于M的整数倍数的宽度的数据总线(例如，在M＝8时，64位数据总线)上执行将多个像素的(M+N)位像素数据同时从存储器传送到编解码器。
编解码器模块可以通过使用接收到的(M+N)位像素数据来生成参考图像。例如，编解码器模块可以转换从存储器的第一区域读取的M位像素数据(S25)，并且可以通过使用转换后的像素数据和从存储器的第二区域读取的N位像素数据来生成参考图像(S26)。所生成的参考图像可以借助通过处理器或编解码器模块实现的参考图像生成器来生成。生成的包括参考图像的多个像素值可以与作为步骤S21和S22的一部分但是在对图像的任何信号处理之前(例如，在抖动和/或解码步骤之前)存储的图像的对应像素基本相同。
图13A和13B是根据发明构思的实施例的包括图像处理器的系统的另一个示例的框图。作为示例，图13A的系统可以是移动设备400，处理图像信号的像素数据的图像处理器被示出为移动设备400内部的功能块。可将图像处理器称为处理块。
如图13A所示，移动设备400可以包括应用处理器410、第一CIS 421、第二CIS 422、第一处理块431、第二处理块432、存储器440和显示装置450。此外，应用处理器410可以包括编解码器模块411、显示器控制模块412和图像信号处理器413。应用处理器410可以包括相应的专用接口，这些专用接口与相应的外部通信总线连接以与第一CIS 421、第二CIS 422、第一处理块431、第二处理块432、存储器440和显示装置450中的每个(例如，对应于箭头)通信。可选择地，这些接口可以不是专用的，并且可以与在应用处理器410外部的其他装置(例如，图13A中示出的装置或者图13A中没有示出的其他装置)共享。接口可以包括应用处理器510的输入/输出缓冲器和电端子(例如，半导体芯片的芯片焊盘)，该应用处理器510具有驱动器和/或锁存器，该驱动器和/或锁存器与相应的电端子连接以分别驱动从应用处理器510输出的信号(数据、地址和命令信号)并锁存从外部源输入到应用处理器510的信号(数据、地址和命令信号)。包括在移动设备400中的各种功能块可以与应用处理器410通信，应用处理器410中的组件可以通过系统总线相互交换信号。可以将应用处理器的模式寄存器(未示出)编程和设置为(或者可以将应用处理器另外编程)通知应用处理器410位数以与CIS 421、CIS422、处理块1431、处理块2432和显示器450交换——由此，M和N可以是可变的，并且可以随着利用应用处理器410的系统而调整。
应用处理器410可以实现为包括多个IP核的SoC。此外，图13A中示出的功能块可以发送/接收具有不同位数的像素数据。例如，第二CIS 422可以生成每像素(M+N)位的像素数据，第二处理块432可以按照每像素(M+N)位来执行处理操作，并且应用处理器410可以与第二CIS 422和第二处理块432交换(发送/接收)每像素(M+N)位的像素数据。例如，M可以等于8并且N可以等于2、4或8。
此外，第一CIS 421可以生成每像素M位的像素数据，并且第一处理块431和显示装置450可以按照每像素M位来执行处理操作。应用处理器410可以与第一CIS 421、第一处理块431和显示装置450交换每像素M位的数据。应用处理器410可以根据每个功能块的数据处理特征来控制对存储器440的第一区域和第二区域的访问。
作为示例，第一CIS 421和第二CIS 422可以生成具有不同的色深/灰度的图像信号，并且图像信号处理器413可以生成具有不同的每像素位数的像素数据。例如，图像信号处理器413可以针对从第一CIS 421接收到的图像信号来生成每像素M位的像素数据。此外，图像信号处理器413可以针对从第二CIS 422接收到的图像信号来生成每像素(M+N)位的像素数据。像上述实施例中那样，可以将(M+N)位像素数据分成M位像素数据和N位像素数据，并且可以通过M位(M倍数位)数据总线将分割后的像素数据中的每个提供给存储器440。
可将(M+N)位像素数据分成M位像素数据和N位像素数据，可在存储器440的不同区域中存储M位像素数据和N位像素数据。例如，可以通过M位(M倍数位)数据总线将M位像素数据提供给存储器440，可以将多个像素的N位像素数据定义为组，并可以通过M位(M倍数位)数据总线将该组的像素数据提供给存储器440。在将每个像素的M位像素数据块(例如，较高M位像素数据)提供给存储器440之后，可以顺序地将每个像素的N位像素数据(例如，较低N位像素数据)提供给存储器440。
第一处理块431和第二处理块432可以根据分别为第一处理块431和第二处理块432定义的数据处理单位来访问存储器440。此外，显示装置450可以接收M位像素数据，并且通过根据接收到的M位像素数据来实现色深/灰度而将M位像素数据显示到屏幕。
图13B示出图13A的系统访问存储器的示例。图13B中示出的存储器可以是图13A的存储器440，或者设置在SoC内部的嵌入式存储器(例如，图13A的应用处理器410)。
第二CIS 422可以包括感测单元(未示出)，该感测单元针对感测单元的每个像素传感器生成具有由像素传感器接收到的幅值(例如，对应于光的强度)的电信号并将该电信号转换为对应的数字值以将图像信号提供给图像信号处理器(ISP)413，该图像信号处理器(ISP)413将处理后的图像提供给应用处理器510。图像可以是针对每个像素包括多个像素值的静止图像和/或包括多个静止图像(帧)的视频图像。在一些实施例中，可以不使用单独的ISP 413，并且可以由应用处理器510来执行任何期望的图像处理以获得初始图像。第二CIS 422可以生成10位像素数据并将10位像素数据提供给存储器，使得10位像素数据被分成8位像素数据和2位像素数据，并且8位像素数据和2位像素数据分开地存储在存储器EM中。应用处理器510可以从应用处理器510的单独的相应接口或者应用处理器510的共享接口接收来自第一CIS 421或第二CIS 422的感测图像。
每个像素的8位像素数据可以被存储在存储器EM的第一区域(8位区域)中，每个像素的2位像素数据可以被存储在存储器EM的第二区域(2位区域)中。可以由其他图像处理器使用存储在存储器中的像素数据。
例如，在存储器EM的第一区域(8位区域)中存储的8位像素数据可以被提供给显示装置以显示图像。显示器控制模块412可以访问存储器EM的第一区域(8位区域)和第二区域(2位区域)中的每个。当显示装置450实现每像素8位的色深/灰度时，显示器控制模块412可以选择性地访问存储器EM的第一区域(8位区域)以将像素数据提供给显示装置450。
编解码器模块411可以对存储在存储器EM中的像素数据(例如，解码的像素数据)执行编码操作。因此，编解码器模块411可以包括编码单元(未示出)。可以按照每像素10位的数据单位执行编码操作。因此，在存储器的第一区域(8位区域)和第二区域(2位区域)中存储的像素数据可以被提供给编码单元。编码单元可以通过编码操作生成位流，并且生成的位流可以被存储在系统中，或者可以被发送到其他系统。
图14是根据发明构思的实施例的包括图像处理器的系统的另一个示例的框图。作为示例，图14的系统包括按至少两个不同数量的像素数据(例如，按显示器_A或显示器_B)来实现色深/灰度的显示装置。可将应用处理器的模式寄存器(未示出)设置为(或者可将应用处理器另外编程为)向应用处理器510通知显示器的色深/灰度，并由此通知将要发送到显示器540的位数。因此，色深/灰度可以是可变的，并且可以根据连接有该应用处理器510的显示器来调节。另外，可以将M设定为显示器的色深/灰度(色深/灰度的位数)，从而M和N可以是可编程的且可变化的。
图14中示出的每个功能块可以对应于根据发明构思的实施例的图像处理器。此外，图14中示出的一个或多个功能块可以构成根据发明构思的实施例的图像处理系统。此外，根据发明构思的实施例的SoC可以包括根据发明构思的实施例来执行图像处理的一个或多个图像处理器。例如，图13A和图13B的应用处理器和图14的应用处理器510可以是根据发明构思的实施例的SoC(例如，图3的SoC 100)。此外，可以在诸如智能电话的移动设备500中实现图13A、图13B和图14的系统。
如图14所示，移动设备500可以包括应用处理器510、CIS 520、存储器530和显示装置540。此外，应用处理器510可以包括编解码器模块511和显示器控制模块512。此外，显示装置540可以是按照(M+N)位像素数据实现每个像素的色深/灰度的显示器_A。此外，显示装置540可以是按照M位像素数据实现每个像素的色深/灰度的显示器_B。应用处理器510中的用于像素数据的发送/接收的数据总线具有M位(或者M位的整数倍)的总线宽度。
根据图14中示出的实施例，应用处理器510可以将(M+N)位像素数据存储在存储器530中，而无需用于减少(M+N)位像素数据的位数的单独处理。由于显示装置显示器_A通过使用(M+N)位像素数据来实现每个像素的色深/灰度，所以对初始像素数据的抖动操作不会像其他实施例中那样导致转换位数。像其他实施例中那样，(M+N)位像素数据可以通过M位(或者M位的整数倍数)数据总线提供给存储器530。作为示例，在将每个像素的M位像素数据提供给存储器530之后，可以将多个像素的N位像素数据作为一组来识别和访问，并且可以将该组的像素数据提供给存储器530。此外，M位像素数据和N位像素数据可以存储在存储器530的不同区域中。
CIS 520可以生成具有每像素(M+N)位像素数据的图像信号或者具有每像素M位像素数据的图像信号。应用处理器510可以编程为具有指示将要由CIS 520生成的像素数据的大小的值(例如，具有模式寄存器)。当生成每像素M位的像素数据块时，像素数据可以被存储在存储器530的第一区域中。此外，当生成每像素(M+N)位的像素数据时，像素数据可以分别被存储在存储器530的第一区域和第二区域中。此外，在显示器控制模块512的控制下，显示装置显示器_A可以从存储器530接收每像素(M+N)位像素数据并实现M+N位的色深/灰度。
图14示出显示装置显示器_B通过使用M位像素数据来实现色深/灰度的示例。在这种情况下，根据上述实施例，如在此其他处描述的，编解码器模块511可以通过执行抖动来生成已抖动的M位像素数据。M位像素数据可以被存储在存储器530的第一区域中。在显示器控制模块512的控制下，显示装置显示器_B可以从存储器530仅接收M位像素数据(例如，已抖动的像素数据)。
在应用处理器510和显示装置540之间的通信的情况下，可以根据系统的配置而选择性地应用发明构思的实施例。例如，当使用按照(M+N)位像素数据实现色深/灰度的显示装置显示器_A并且应用处理器510和显示装置显示器_A通过(M+N)数据线(或数据总线)通信时，可在应用处理器的第一操作模式中并行地提供从存储器530的第一区域和第二区域读取的(M+N)位像素数据。可选择地，当应用处理器510和显示装置显示器_A通过M数据线通信时，在应用处理器的第二操作模式中，可以提供存储器530的第一区域的M位数据，然后可以提供存储器530的第二区域的N位数据。可以通过对应用处理器进行编程(例如，经由应用处理器的模式寄存器)来选择应用处理器的不同的操作模式。
图15是根据发明构思的实施例的作为图像处理器的编解码器模块550的示例的框图。在图15中，除了编解码器模块550以外，还示出存储器、显示器控制模块和显示器。此外，图15的存储器可以是设置在SoC外面的外部存储器EM或者SoC的嵌入式存储器。在下文中，假设图15的存储器是外部存储器EM。此外，在图15中，与10位对应地提供(M+N)位像素数据的示例，其中，M位像素数据对应于8位，N位像素数据对应于2位。
编解码器550可以包括将像素数据提供给外部存储器EM的数据提供单元和从外部存储器EM接收像素数据的数据接收单元。数据提供单元可以包括对编码图像信号进行解码的解码单元560和对由解码单元560生成的解码图像信号(例如，原始图像信号)执行抖动的抖动单元570。此外，数据提供单元还可以包括控制像素数据的传送路径的第一路径控制单元551。
数据接收单元可以包括通过对从外部存储器EM接收到的像素数据执行逆抖动来恢复像素数据的逆抖动单元580和通过使用恢复后的像素数据和从外部存储器EM接收到的像素数据来生成对应于原始图像信号的参考图像的参考图像生成器590。此外，数据接收单元还可以包括控制从外部存储器EM接收到的像素数据的传送路径的第二路径控制单元552。
如图14的实施例中所述，在使用根据发明构思的实施例的SoC的诸如移动设备的系统中，可以设置各种显示装置。作为示例，编解码器模块550可以根据在系统中使用的显示装置的屏幕显示特征(例如，用于实现色深/灰度的每像素位数)来执行或跳过抖动操作。当系统中使用的显示装置根据每像素10位像素数据来实现色深/灰度时，第一路径控制单元551可以将原始图像的像素数据提供给外部存储器EM。例如，第一路径控制单元551可以执行控制，使得10位像素数据的较高有效8位被存储在外部存储器EM的第一区域中，并且10位像素数据的较低有效2位被存储在外部存储器EM的第二区域中。
存储器控制器或者编解码器模块可以将10位像素数据分成8位段和2位段的群组，并且在数据总线上将10位数据传送到外部存储器EM的过程中将8位段和2位段中的每个存储在外部存储器EM的预定的地址处。例如，像素的多个8位段可以占用数据总线的整个宽度，并且像素的2位段的群组可以按规则的间隔跟随在后续的数据传送中。在其他示例实施例中，数据总线可以具有数据宽度(例如，16位，32位，64位，128位等)使得在同一次访问中传送8位段和2位段的群组。可以使用对应的列地址来识别8位段和2位段的群组的存储器位置。显示器控制器可以将8位和2位段重新打包为原始的10位像素数据，以便在显示器处实现色深/灰度。
当系统中使用的显示装置根据每像素8位像素数据实现色深/灰度时，可以对原始图像的每个像素的10位像素数据执行抖动操作，并且作为抖动操作的结果，可以通过8位像素数据显示屏幕。为此，第一路径控制单元551可以将原始图像的像素数据提供给抖动单元570。在实施例中，第一路径控制单元551可以将10位像素数据的较低2位像素数据提供给外部存储器EM使得较低2位像素数据可以被存储在外部存储器EM的第二区域中。此外，第一路径控制单元551可以将10位像素数据提供给抖动单元570，并且来自抖动单元570的已抖动的8位像素数据可以被存储在外部存储器EM的第一区域中。
存储在外部存储器EM中的像素数据可以被读取和提供给第二路径控制单元552。当存储在外部存储器EM中的像素数据块对应于未抖动的原始图像时，第二路径控制单元552可以将在外部存储器EM中存储的10位像素数据提供给参考图像生成器590。当存储在外部存储器EM中的像素数据块对应于已抖动的数据时，第二路径控制单元552可以将从外部存储器EM的第二区域读取的2位像素数据提供给参考图像生成器590，并且第二路径控制单元552可以将从外部存储器EM的第一区域读取的8位像素数据提供给逆抖动单元580，从逆抖动单元580恢复的8位像素数据被提供给参考图像生成器590。
此外，显示器控制模块可以根据显示装置的特性来对外部存储器EM的第一区域和第二区域执行访问。根据显示装置的特性(该特性可以被存储在编解码器中)，将8位像素数据提供给显示装置，或者将10位像素数据提供给显示装置。
根据图15的实施例，根据发明构思的实施例的使用编解码器模块550的SoC可以根据可由SoC驱动的显示装置的特征来适应性地对数据进行处理。此外，由于根据上述实施例来分割和管理像素数据块，所以可以高效地使用数据总线。此外，由于根据使用的显示装置而选择性地执行抖动，所以可以防止图像质量劣化。
尽管使用被分成8位较高有效位和2位较低有效位的10位像素来示出图15中的数据图像的处理、存储、访问和显示，但是其中示出的发明构思的实施例不限于此。像素深度是可以根据显示装置或者图像处理系统内的其他功能块来配置的。例如，10位像素实际上可以是大于1的正整数值，从而由两个正整数变量M和N构成，其中，M+N是按位计的像素深度。M和N的加和(即，M+N)可以是例如10、12等，在这种示例中，M可以是8，N可以是2、4等。因此，在图15中，示出的8位值可以由变量M替代，2位值可以由N替代，并且10位值可以由M+N替代。这种变量替代同样可以由图16中示出的实施例执行。
图16是根据发明构思的另一个实施例的图像处理系统600的框图。可以在SoC中实现图16中示出的图像处理系统600，并且示出了设置在SoC中的IP核当中的编解码器模块的示例。虽然图16中未示出，但是发明构思的实施例也可以应用于设置在SoC中以发送/接收像素数据的其他功能块。
如图16所示，图像处理系统600可以包括通过系统总线相互通信的多个IP核。例如，图像处理系统600可以包括编解码器模块610、CPU 620、电源控制模块630和时钟生成模块640。此外，编解码器模块610可以包括用于处理像素数据的一个或多个逻辑单元611。例如，每个逻辑单元611可以是处理(M+N)位像素数据的(M+N)位逻辑单元。此外，逻辑单元611可以包括处理M位像素数据的M位逻辑和处理N位像素数据的N位逻辑。此外，编解码器模块610还可以包括用于门控供应到一个或多个逻辑单元611的电源的电源门控单元612和用于门控时钟信号的时钟门控单元613。
可以分开操作包括在编解码器模块610的逻辑单元611中的M位逻辑和N位逻辑。例如，当提供给编解码器模块610的图像信号或者从编解码器模块610输出的图像信号包括每像素M位像素数据时，不需要使用编解码器模块610的N位逻辑。在这种情况下，电源门控单元612可以执行控制，使得对每个逻辑单元611的M位逻辑供电，并且对每个逻辑单元611的N位逻辑不供电。此外，时钟门控单元613可以执行控制，使得对每个逻辑单元611的M位逻辑提供时钟信号，并且对每个逻辑单元611的N位逻辑不提供时钟信号。
当提供给编解码器模块610的图像信号或从编解码器模块610输出的图像信号包括每像素(M+N)位像素数据时，可根据电源门控单元612和时钟门控单元613的操作对M位逻辑和N位逻辑两者供电并提供时钟信号。
图17是根据发明构思的另一个实施例的操作图像处理系统的方法的流程图。图17示出适应于显示装置的图像信号处理的示例。
如图17中所示，可以根据显示装置的特征来设定显示器模式，该显示装置根据由图像处理系统提供的像素数据来显示屏幕(S31)。例如，显示装置可以支持根据预定的且固定的位数的数据来实现的色深/灰度。用于实现一个像素的色深/灰度的像素数据的位数可以从一个显示装置到另一个显示装置而变化。
当图像处理系统按照每像素(M+N)位像素数据访问存储器时，图像处理系统接收编码的图像信号的像素数据(S32)，并且根据预定的模式对编码的图像信号的像素数据执行信号处理。例如，当使用实现(M+N)位的色深/灰度的显示装置时，可以将图像处理系统的操作模式设定为第一模式。当使用通过使用M位像素数据来实现色深/灰度的显示装置时，可以将图像处理系统的操作模式设定为第二模式。确定图像处理系统的操作模式是否被设定为第一模式(S33)(例如，响应于从显示装置接收到的信息或者响应于编程操作而确定)。如果图像处理系统的操作模式被设定为第一模式，则对接收到的编码的像素数据块进行解码，并且将解码的(M+N)位像素数据块存储在存储器中(S34)。可以将(M+N)位像素数据存储在存储器中，而无需用于转换解码的(M+N)位像素数据的位的单独处理(例如，无需单独的抖动处理)，并且像上述实施例中那样，可以将(M+N)位像素数据分成为M位像素数据和N位像素数据，并可以将M位像素数据和N位像素数据存储在存储器的不同区域中。此后，将存储在存储器中的(M+N)位像素数据提供给显示装置，并且显示装置通过针对每个像素实现(M+N)位的色深/灰度来执行显示操作。
如果图像处理系统的操作模式被设定为第二模式，则对编码的像素数据进行解码(S36)，并且对解码的(M+N)位像素数据进行转换(S37)。作为示例，通过抖动(M+N)位像素数据来生成转换后的M位像素数据。转换后的M位像素数据和N位像素数据(例如，原始图像信号的像素数据)可以被存储在存储器的不同区域中(S38)。此后，存储在存储器的第一区域中的M位像素数据被选择性地读取和提供给显示装置，并且显示装置通过使用每个像素的M位像素数据实现色深/灰度来执行显示操作(S39)。
图18是根据发明构思的另一个实施例的操作图像处理系统的方法的流程图。图18示出根据图像信号的处理单位来门控电源和至少一个时钟信号的示例。
图像处理系统接收数据处理请求(S41)。响应于数据处理请求，可以由设置在图像处理系统中的图像处理器处理数据。例如，当图像处理器以(M+N)位数据为单位来执行处理操作时，图像处理器可以包括用于处理(M+N)位像素数据的一个或多个逻辑单元，并且每个逻辑单元可以包括M位逻辑和N位逻辑。
逻辑单元可以根据数据处理操作来处理(M+N)位像素数据或M位像素数据。图像处理系统确定数据处理请求是否为(M+N)位数据处理请求(S42)。如果数据处理请求是(M+N)位数据处理请求，则图像处理系统执行控制以驱动M位逻辑和N位逻辑两者。因此，(M+N)位逻辑单元对(M+N)位像素数据执行处理操作(S43)。处理后的(M+N)位像素数据可以被存储在存储器中。例如，M位像素数据可以被存储在存储器的第一区域中，N位像素数据可以被存储在存储器的第二区域中(S44)。
如果数据处理请求是M位数据处理请求，则图像处理系统可以基于电源门控和/或时钟门控来阻挡对N位逻辑供电和/或对N位逻辑提供至少一个时钟信号(S45)。因此，可以选择M位逻辑来处理M位像素数据(S46)。可以将处理后的M位像素数据存储在存储器的第一区域中(S47)。
图19是根据发明构思的实施例的利用图像处理系统的显示器驱动电路700的框图。作为示例，显示器驱动电路可以是安装在移动设备中的移动显示器驱动电路(DDI)。
可以以各种方式实现根据发明构思的实施例的图像处理系统。例如，可将图像处理系统实现为如上所述的SoC。图19的显示器驱动电路700可包括作为各种功能块的时序控制器710、栅极驱动器720、源极驱动器730、编解码器模块740和存储器750。可以将包括编解码器模块740的显示器驱动电路700中的各种功能块定义为集成在一个半导体芯片上的SoC。此外，存储器750可以被包括在SoC中。在这种情况下，可以将存储器750称为嵌入式存储器。此外，存储器750可以设置在SoC外面。在这种情况下，可以将存储器750称为外部存储器。
时序控制器710可以控制与显示操作有关的各种信号的时序。时序控制器710可以生成用于时序控制的各种控制信号，并且将各种控制信号提供给其他功能块。栅极驱动器720可以在时序控制器710的控制下驱动显示面板的栅极线，并且源极驱动器730可以在时序控制器710的控制下驱动显示面板的数据线。此外，编解码器模块740可以像上述实施例中那样访问存储器750。在实施例中，编解码器模块740可以接收和处理包括每像素(M+N)位像素数据的图像信号，将M位像素数据存储在存储器750的第一区域中，并且将N位像素数据存储在存储器750的第二区域中。当显示面板实现每像素M位的色深/灰度时，存储在存储器750的第一区域中的像素数据可以被访问并提供给显示面板。当显示面板实现每像素(M+N)位的色深/灰度时，存储在存储器750的第一区域和第二区域中的像素数据可以被访问并提供给显示面板。
图20示出根据发明构思的实施例的包括利用图像处理系统的移动设备的内容提供系统800的整体结构。内容可以是要处理的各种图像信号。执行内容传输的通信系统的服务区域可以被分成预定大小的单元，并且无线电基站851至854可以分别被安装在这些单元中。
内容提供系统800可以包括多个独立装置。例如，诸如计算机861、个人数字助理(PDA)862、摄像机863和移动电话864的独立装置可以通过因特网服务提供者820、通信网络840和无线电基站851至854而连接到因特网810。内容提供系统800不限于图20中示出的结构，并且各装置可以选择性地连接到其上。独立装置可以直接连接到通信网络840，而无需通过无线电基站851至854来连接。
摄像机863是可以捕获视频图像的例如数码摄像机的图像捕获装置。移动电话864可以使用各种协议当中的至少一种通信方案，例如，个人数字通信PDC(PDC)方案、码分多址(CDMA)方案、宽带码分多址(W-CDMA)方案、全球移动通信系统(GSM)方案和个人手持电话系统(PHS)方案。
从诸如PDA 862、摄像机863和移动电话864的装置生成的内容可以通过无线电基站852、853和854以及通信网络840被发送到流服务器830。此外，存储在计算机861中的内容可以通过无线电基站851和通信网络840被发送到流服务器830。流服务器830可以通过实时广播来流播/传输由用户发送的内容。
在根据实施例的内容提供系统800中，由PDA 862、摄像机863、移动电话864或其他装置记录的内容可以在相关装置中被编码，并且编码的内容可以被发送到流服务器830。流服务器830可以将内容流播/发送到请求该内容的其他装置。接收编码内容的装置可以对接收到的内容进行解码，并且播放解码的内容或将解码的内容提供到外面。
根据发明构思的实施例的图像处理系统(例如，SoC、应用处理器、编解码器或在此公开的图像处理系统)可以被设置在计算机861、PDA 862、摄像机863、移动电话864等中。作为示例，根据发明构思的实施例的图像处理系统可以以SoC的形式实现，SoC可以安装在计算机861、PDA 862、摄像机863、移动电话864等中。此外，根据发明构思的实施例的图像处理系统的功能可以被包括在应用处理器中，并且该应用处理器可以作为主处理器被安装在计算机861、PDA 862、摄像机863和移动电话864等中。
图21示出根据发明构思的实施例的装备有图像处理系统(例如，SoC、应用处理器、编解码器或在此其他处公开的图像处理系统)的移动终端900的示例。图21的移动终端900可以对应于图20中示出的移动电话864。移动终端900可以装备有作为SoC或应用处理器(例如，SoC 100)的图像处理器。移动终端900的功能不受限制，并且移动终端900可以是可通过应用程序显著地改变或扩展功能的平板或智能电话。移动终端900包括天线910和显示装置920，例如，液晶显示器(LCD)或有机发光二极管(OLED)显示器，该显示装置920用于显示由照相机930捕获的图像或者通过天线910接收到的图像。移动终端900可以包括操作面板940，该操作面板940包括触摸面板和控制按钮。此外，当显示装置920包括触摸屏时，操作面板940还可以包括显示装置920的触摸感测面板。移动终端900包括用于输出语音和声音的扬声器980或其他类型的声音输出单元以及用于输入语音和声音的麦克风950或其他类型的声音输入单元。移动终端900还包括用于捕获视频图像和静止图像的照相机930，例如，CCD或CIS。此外，移动终端900可以包括用于存储由照相机930捕获或者通过电子邮件接收到的诸如视频图像或静止图像的编码或解码数据的存储介质970以及用于将存储介质970附于移动终端900的插槽960。存储介质970可以是嵌入在塑料壳中的SD卡或其他类型的闪存，例如，电可擦除可编程只读存储器(EEPROM)。
虽然已经参考发明构思的示例性实施例具体示出并描述了发明构思，但是将要理解的是，在不脱离权利要求的精神和范围的情况下，可以在发明构思的示例性实施例中做出各种形式和细节上的改变。在确定本发明的要求时应该参考权利要求的语言。

Claims (18)

1.一种图像处理片上系统，所述图像处理片上系统包括：
单个半导体芯片，所述单个半导体芯片包括应用处理器，所述应用处理器包括：
编解码器模块；
显示器接口，包括所述单个半导体芯片的多个电端子；以及
显示器控制器，
其中，编解码器模块被配置为对编码图像进行接收和解码，解码图像被表示为多个像素，每个像素具有由包括第一位和第二位的多个位构成的像素值，
其中，显示器控制器被配置为，在应用处理器的第一操作模式下，向显示器接口提供第一信息，第一信息仅对应于并具有与所述多个像素的像素值的第一位相等的色深，
其中，编解码器模块还包括逆抖动单元，所述逆抖动单元被配置为执行逆抖动操作以从所述多个像素的每个像素值的抖动后的第一位来获得所述多个像素的每个像素值的第一位，
其中，编解码器模块被配置为通过对所述多个像素中的每个像素的抖动后的第一位进行逆抖动和初始的第二位来重构解码图像。
2.根据权利要求1所述的图像处理片上系统，所述图像处理片上系统还包括：
存储器控制器，被配置为在存储器中的由第一地址识别的位置处存储第一位，并且在存储器中的由第二地址识别的位置处存储第二位。
3.根据权利要求1所述的图像处理片上系统，其中，第一位是对应的像素值的较高有效位，第二位是对应的像素值的较低有效位。
4.根据权利要求1所述的图像处理片上系统，
其中，显示器控制器被配置为，在应用处理器的第二操作模式下，向显示器接口提供第二信息，第二信息对应于所述多个像素的像素值的第一位和第二位，
其中，编解码器模块还被配置为使用解码图像的每个像素值的第一位和第二位来对解码图像执行抖动操作。
5.根据权利要求1所述的图像处理片上系统，所述图像处理片上系统还包括被配置为从图像传感器接收感测图像的第二接口，感测图像被表示为具有由图像传感器提供的像素值的多个像素。
6.根据权利要求1所述的图像处理片上系统，所述图像处理片上系统还包括：
第一总线，被配置为接收第一位，其中，第一位的数目是M，第一总线的宽度是K×M，M是大于或等于2的正整数，K是大于或等于2的正整数。
7.根据权利要求1所述的图像处理片上系统，其中，应用处理器被配置为响应于从图像处理片上系统外部接收到的选择来选择应用处理器的第一操作模式。
8.根据权利要求1所述的图像处理片上系统，
其中，所述多个像素中的每个像素的像素值的第一位的数目是M，
其中，所述多个像素中的每个像素的像素值的第二位的数目是N，
其中，应用处理器被配置为响应于外部的选择来改变M和N中的至少一个的值。
9.根据权利要求1所述的图像处理片上系统，其中，显示器控制器被配置为，在第二操作模式下，向显示器接口提供第二信息，第二信息对应于所述多个像素的第一位和第二位。
10.根据权利要求1所述的图像处理片上系统，所述图像处理片上系统还包括模式寄存器，其中，模式寄存器能够被编程为选择应用处理器的第一操作模式。
11.根据权利要求1所述的图像处理片上系统，其中，编解码器模块被配置为在存储器中存储第二位和抖动后的第一位。
12.一种图像处理片上系统，所述图像处理片上系统包括：
单个半导体芯片，所述单个半导体芯片包括应用处理器，所述应用处理器包括：
编解码器模块，被配置为对编码图像进行接收和解码，解码图像被表示为多个像素，每个像素具有由包括第一位和第二位的多个位构成的像素值，编解码器模块包括被配置为对解码图像执行抖动操作的抖动单元；
存储器控制器，被配置为在存储器控制器的第一操作中从存储器仅访问所述多个像素的像素值的第一位，并且被配置为在存储器控制器的第二操作中从存储器访问所述多个像素的像素值的第一位和第二位；
显示器接口，被配置为与显示器通信，显示器接口包括所述单个半导体芯片的多个电端子；以及
显示器控制器，显示器控制器被配置为在第一模式中将第一信息发送到显示器接口，并且在第二模式中将第二信息发送到显示器接口，第一信息仅对应于并具有与所述多个像素中的每个像素的像素值的第一位相等的色深，第二信息对应于并具有与所述多个像素中的每个像素的像素值的第一位和第二位相等的色深，
其中，编解码器模块还包括逆抖动单元，所述逆抖动单元被配置为执行逆抖动操作以从所述多个像素的每个像素值的抖动后的第一位来获得所述多个像素的每个像素值的第一位，
其中，编解码器模块被配置为通过对所述多个像素中的每个像素的抖动后的第一位进行逆抖动和初始的第二位来重构解码图像。
13.根据权利要求12所述的图像处理片上系统，其中，显示器控制器被配置为响应于从图像处理片上系统外部接收到的选择来选择第一模式或第二模式。
14.根据权利要求12所述的图像处理片上系统，
其中，在第二模式中，抖动单元被配置为使用解码图像的每个像素值的第一位和第二位来对解码图像执行抖动操作。
15.根据权利要求12所述的图像处理片上系统，所述图像处理片上系统还包括：
图像传感器接口，被配置为从图像传感器接收感测图像，感测图像被表示为具有由图像传感器提供的像素值的多个像素。
16.根据权利要求12所述的图像处理片上系统，
其中，所述多个像素中的每个像素的像素值的第一位的数目是M，
其中，所述多个像素中的每个像素的像素值的第二位的数目是N，
其中，编解码器模块还被配置为响应于显示器控制器来改变M和N的值。
17.根据权利要求12所述的图像处理片上系统，编解码器模块被配置为在存储器中存储第二位和抖动后的第一位。
18.一种图像处理片上系统，所述图像处理片上系统包括：
应用处理器，包括编解码器模块、存储器控制器以及被配置为与显示器进行通信的显示器控制器，
其中，编解码器模块被配置为对编码图像进行接收和解码，解码图像被表示为多个像素，每个像素具有由包括M个第一位和N个第二位的多个位构成的像素值，M和N是正整数，
其中，应用处理器能够被编程为选择应用处理器的第一操作模式和应用处理器的第二操作模式中的一个，在应用处理器的第一操作模式中，基于显示器控制器的控制来将每像素的M加N个位发送到显示器，在应用处理器的第二操作模式中，基于显示器控制器的控制来将每像素的仅M个位发送到显示器，
其中，编解码器模块和显示器控制器共享由存储器控制器控制并且存储每个像素的所述多个位的外部存储器，
其中，在应用处理器的第二操作模式中，存储器控制器通过基于M个位的数据总线与外部存储器通信，编解码器模块以M加N个位为单位来执行数据访问，显示器控制器以M个位为单位来执行数据访问。
CN201510519170.5A 2014-08-21 2015-08-21 图像处理片上系统和处理图像数据的方法 Active CN105391933B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2014-0109039 2014-08-21
KR1020140109039A KR102264161B1 (ko) 2014-08-21 2014-08-21 이미지 처리 장치, 이미지 처리 시스템, 이미지 처리 시스템의 동작방법 및 이미지 처리 시스템을 포함하는 시스템 온 칩
US14/820,566 US10015502B2 (en) 2014-08-21 2015-08-07 Image processor, image processing system including image processor, system-on-chip including image processing system, and method of operating image processing system
US14/820,566 2015-08-07

Publications (2)

Publication Number Publication Date
CN105391933A CN105391933A (zh) 2016-03-09
CN105391933B true CN105391933B (zh) 2020-04-10

Family

ID=55349425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510519170.5A Active CN105391933B (zh) 2014-08-21 2015-08-21 图像处理片上系统和处理图像数据的方法

Country Status (3)

Country Link
US (3) US10015502B2 (zh)
KR (1) KR102264161B1 (zh)
CN (1) CN105391933B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10114984B2 (en) * 2015-09-04 2018-10-30 Xerox Corporation Symmetric bit coding for printed memory devices
US10558570B2 (en) * 2016-03-14 2020-02-11 Intel Corporation Concurrent accesses of asymmetrical memory sources
CN106057165B (zh) * 2016-08-12 2018-07-10 昆山龙腾光电有限公司 用于液晶显示装置的控制装置及控制方法
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
KR102516833B1 (ko) * 2017-12-28 2023-04-03 삼성전자주식회사 메모리 장치 및 그 데이터 처리 방법
US11095876B2 (en) 2018-01-26 2021-08-17 Samsung Electronics Co., Ltd. Image processing device
GB2575435B (en) * 2018-06-29 2022-02-09 Imagination Tech Ltd Guaranteed data compression
CN109308283B (zh) * 2018-08-31 2022-11-22 西安微电子技术研究所 一种SoC片上系统及其外设总线切换方法
US11024041B2 (en) * 2018-12-10 2021-06-01 Intel Corporation Depth and motion estimations in machine learning environments
US11158270B2 (en) * 2019-07-24 2021-10-26 Facebook Technologies, Llc Systems and methods for mask-based spatio-temporal dithering
KR20210041233A (ko) * 2019-10-07 2021-04-15 에스케이하이닉스 주식회사 메모리 시스템, 메모리 컨트롤러 및 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6414689B1 (en) * 1999-03-03 2002-07-02 Mediaq Inc. Graphics engine FIFO interface architecture
WO2010021705A1 (en) * 2008-08-22 2010-02-25 Thomson Licensing Method and system for content delivery

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2150013T3 (es) 1994-12-28 2000-11-16 Koninkl Philips Electronics Nv Gestion de almacenamiento intermedio en sistemas de compresion variable de transferencia de bits.
US6476934B1 (en) * 1997-01-02 2002-11-05 Canon Kabushiki Kaisha Geometrically reducing influence halftoning
JPH10210500A (ja) 1997-01-22 1998-08-07 Sony Corp メモリ装置
US20080192928A1 (en) * 2000-01-06 2008-08-14 Super Talent Electronics, Inc. Portable Electronic Storage Devices with Hardware Security Based on Advanced Encryption Standard
KR20030057690A (ko) 2001-12-29 2003-07-07 엘지전자 주식회사 비디오 디코딩 시스템
JP2003283774A (ja) 2002-03-25 2003-10-03 Noritsu Koki Co Ltd 画像データ保存用データ処理装置
US7145567B2 (en) * 2003-04-03 2006-12-05 Avid Technology, Inc. Bitstream format and reading and writing methods and apparatus therefor
US7158668B2 (en) * 2003-08-01 2007-01-02 Microsoft Corporation Image processing using linear light values and other image processing improvements
JP4050240B2 (ja) * 2004-02-26 2008-02-20 シャープ株式会社 表示装置の駆動システム
KR100668324B1 (ko) * 2005-01-21 2007-01-12 삼성전자주식회사 화상 데이터 부호화시의 비트율 제어방법 및 장치
JP4893621B2 (ja) 2005-05-20 2012-03-07 ソニー株式会社 信号処理装置
US7481374B2 (en) * 2005-06-08 2009-01-27 Xerox Corporation System and method for placement and retrieval of embedded information within a document
US7599439B2 (en) 2005-06-24 2009-10-06 Silicon Image, Inc. Method and system for transmitting N-bit video data over a serial link
WO2007027741A2 (en) * 2005-08-29 2007-03-08 Mrv Communications, Inc. Transmission of pathological data patterns
JP4780112B2 (ja) * 2005-12-01 2011-09-28 日本電気株式会社 画像処理装置、画像伝送装置及び方法並びにそのプログラム及び表示装置
US8212828B2 (en) * 2006-01-04 2012-07-03 Lsi Corporation Hybrid multiple bit-depth video processing architecture
US8564612B2 (en) * 2006-08-04 2013-10-22 Apple Inc. Deep pixel pipeline
US7471218B2 (en) * 2006-09-18 2008-12-30 National Semiconductor Corporation Methods and systems for efficiently storing and retrieving streaming data
KR100840379B1 (ko) 2006-11-24 2008-06-20 주식회사 티엘아이 복수 개 페이지의 영상데이터를 저장할 수 있는 디스플레이구동장치 및 영상데이터의 재생 방법
TW200910981A (en) * 2007-08-20 2009-03-01 Mstar Semiconductor Inc Method and apparatus for adjusting image sharpness
KR101377269B1 (ko) 2008-01-28 2014-03-24 삼성전자주식회사 고속으로 대용량의 직렬 데이터를 전송할 수 있는 이미지센서
US20090324127A1 (en) * 2008-06-30 2009-12-31 Madhukar Budagavi Method and System for Automatic Red-Eye Correction
BRPI1008372A2 (pt) * 2009-02-11 2018-03-06 Thomson Licensing métodos e aparelho para codificação e decodificação de vídeo escalável com profundidade de bit utilizando mapeamento de tons e mapeamento inverso de tons
US8416256B2 (en) * 2009-03-18 2013-04-09 Stmicroelectronics, Inc. Programmable dithering for video displays
US8345099B2 (en) * 2010-01-25 2013-01-01 Ensco Optical path protection device and method for a railroad track inspection system
US8411970B2 (en) * 2010-03-16 2013-04-02 Pixia Corp. Method and system for determining statistical data for image pixels having a higher bit depth per band
US9153296B2 (en) * 2010-06-28 2015-10-06 Intel Corporation Methods and apparatuses for dynamic memory termination
US8488055B2 (en) * 2010-09-30 2013-07-16 Apple Inc. Flash synchronization using image sensor interface timing signal
JP2012103772A (ja) * 2010-11-08 2012-05-31 Renesas Electronics Corp プロセッサおよびそれを用いた画像処理システム
JP2012186769A (ja) * 2011-03-08 2012-09-27 Fuji Xerox Co Ltd 画像処理装置及びプログラム
US8760465B2 (en) * 2011-04-12 2014-06-24 Apple Inc. Method and apparatus to increase bit-depth on gray-scale and multi-channel images (inverse dithering)
JP5255089B2 (ja) * 2011-04-14 2013-08-07 川崎マイクロエレクトロニクス株式会社 画像処理装置
CN104641638B (zh) * 2012-06-28 2018-08-03 阿克西斯股份公司 使用虚拟帧内帧对视频内容进行编码的系统和方法
US9076408B2 (en) * 2012-09-06 2015-07-07 Shenzhen China Star Optoelectronics Technology Co., Ltd. Frame data shrinking method used in over-driving technology
US9414058B2 (en) * 2012-12-25 2016-08-09 Mediatek Inc. Video processing apparatus capable of generating output video pictures/sequence with color depth different from color depth of encoded video bitstream
EP2838268B1 (en) * 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
US9390690B2 (en) * 2014-06-30 2016-07-12 Apple Inc. Refresh rate dependent dithering
CN106687924A (zh) * 2014-07-10 2017-05-17 英特尔公司 用于基于当前状态来更新着色器程序的方法和装置
US11023453B2 (en) * 2015-01-29 2021-06-01 Hewlett Packard Enterprise Development Lp Hash index
US9571791B1 (en) * 2016-05-17 2017-02-14 International Business Machines Corporation Importing of information in a computing system
US10710621B2 (en) * 2017-11-28 2020-07-14 Hitachi Rail Sts France Method, system and apparatus for controlling a vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6414689B1 (en) * 1999-03-03 2002-07-02 Mediaq Inc. Graphics engine FIFO interface architecture
WO2010021705A1 (en) * 2008-08-22 2010-02-25 Thomson Licensing Method and system for content delivery

Also Published As

Publication number Publication date
US20160057437A1 (en) 2016-02-25
US20180295373A1 (en) 2018-10-11
KR20160023150A (ko) 2016-03-03
KR102264161B1 (ko) 2021-06-11
US20200322618A1 (en) 2020-10-08
CN105391933A (zh) 2016-03-09
US10015502B2 (en) 2018-07-03
US11470337B2 (en) 2022-10-11
US10694201B2 (en) 2020-06-23

Similar Documents

Publication Publication Date Title
CN105391933B (zh) 图像处理片上系统和处理图像数据的方法
US20150237280A1 (en) Image processing device with multiple image signal processors and image processing method
US10438526B2 (en) Display driver, and display device and system including the same
US10051276B2 (en) Image encoding apparatus, method and imaging apparatus
US20220417542A1 (en) Image processing device, image processing system including image processing device, system-on-chip including image processing system, and method of operating image processing system
KR100889410B1 (ko) 에러 확산 기반 이미지 처리
JP2009239779A (ja) 画像符号化装置、画像復号化装置及び集積回路装置
CN112309341B (zh) 用于混合图像数据的层的电子设备
US11721272B2 (en) Display driving integrated circuit, display device and method of operating same
KR100663380B1 (ko) 촬상 장치 및 영상 신호 생성 방법
US20210136391A1 (en) Image encoder, image decoder, and image processing method
US9979984B2 (en) System on chip, display system including the same, and method of operating the display system
US20210021843A1 (en) Display driver circuit supporting operation in a low power mode of a display device
US20160163020A1 (en) Image processor, method of operating the same, and application processor including the same
US10271059B2 (en) Decoder, decoding system including the decoder and method of operating the decoder
CN112868242A (zh) 用于内联到硬件编码器和解码器的hdr硬件处理器的方法和设备
US20240212214A1 (en) Decoder, image processing device, and operating method of the image processing device
US20240214593A1 (en) Image processing device, mobile device, and method of operating the same
US20220020180A1 (en) Image compression method using saturated pixel, encoder, and electronic device
US10778990B2 (en) Embedded codec circuitry for randomized refinement of uncoded-bits
KR20220009849A (ko) 포화 픽셀을 이용하는 이미지 압축 방법, 인코더, 및 전자 장치
KR20220009854A (ko) 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 압축 방법
KR20060127456A (ko) 비디오 디코딩 장치의 데이터 관리기
KR100940792B1 (ko) 가변 프로세싱 유닛을 구비한 프로세서 칩 및 가변프로세싱 방법
CN102883166A (zh) 像素数据分发方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant