CN114125322A - 图像处理装置和图像处理方法以及应用处理器 - Google Patents

图像处理装置和图像处理方法以及应用处理器 Download PDF

Info

Publication number
CN114125322A
CN114125322A CN202110796230.3A CN202110796230A CN114125322A CN 114125322 A CN114125322 A CN 114125322A CN 202110796230 A CN202110796230 A CN 202110796230A CN 114125322 A CN114125322 A CN 114125322A
Authority
CN
China
Prior art keywords
pixel
display quality
quality enhancement
pixel values
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110796230.3A
Other languages
English (en)
Inventor
尹晟
姜寅烨
梁薰模
郑暻娥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114125322A publication Critical patent/CN114125322A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3225Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix
    • G09G3/3233Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix with pixel circuitry controlling the current through the light-emitting element
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/373Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请提供了一种图像处理装置和图像处理方法以及包括该图像处理装置的应用处理器。所述图像处理装置包括混合器和显示质量增强器。混合器被配置为:接收多个层数据;通过混合所述多个层数据来产生第一图像数据,第一图像数据包括对应于显示装置中的屏幕的多个像素值;以及基于所述多个层数据产生包括多个像素身份(ID)的像素映射数据,所述多个层数据表示将在屏幕上显示的多个图像,所述多个像素ID指示将应用于所述多个像素值的显示质量增强算法。显示质量增强器被配置为基于第一图像数据和像素映射数据通过将显示质量增强算法应用于所述多个像素值来产生包括多个显示质量增强像素值的第二图像数据。

Description

图像处理装置和图像处理方法以及应用处理器
相关申请的交叉引用
本申请基于并要求于2020年8月31日在韩国知识产权局(KIPO)提交的韩国专利申请No.10-2020-0110041的优先权,该申请的公开以引用方式全文并入本文中。
技术领域
本公开的示例实施例涉及半导体集成电路,并且更具体地说,涉及用于高分辨率显示器的图像处理装置和图像处理方法以及包括该图像处理装置的应用处理器。
背景技术
随着信息技术的不断发展,显示装置在向用户提供信息方面起着至关重要的作用。各种显示装置(诸如液晶显示器(LCD)、等离子体显示器和电致发光显示器)已经得到普及。在这些显示装置中,电致发光显示器通常具有快响应速度和低功耗,并且使用通过电子和空穴的复合而发光的发光二极管(LED)或有机发光二极管(OLED)。
近来,随着显示装置的分辨率增大并且每英寸像素(PPI)提高,存在对显示装置的质量增强或改进的需求。例如,在一个屏幕上显示多个应用的多窗口已经变得流行,并且需要对每种类型的图像进行显示质量增强,因此研究了各种方案用于显示质量增强。
发明内容
提供了一种能够应用显示质量增强算法以适合在高分辨率显示装置上显示的实际屏幕的图像处理装置和图像处理方法。
另外,提供了一种包括该图像处理装置的应用处理器。
根据示例性实施例,提供了一种图像处理装置,该图像处理装置包括:至少一个处理器,所述至少一个处理器被配置为实现:混合器,其被配置为:接收多个层数据;通过混合所述多个层数据产生第一图像数据,第一图像数据包括对应于显示装置中的一个屏幕的多个像素值;以及基于所述多个层数据产生包括多个像素身份(ID)的像素映射数据,所述多个层数据表示将在显示装置的一个屏幕上显示的多个图像,所述多个像素ID指示将应用于所述多个像素值的一个或多个显示质量增强算法;以及显示质量增强器,其被配置为基于第一图像数据和像素映射数据通过将所述一个或多个显示质量增强算法应用于所述多个像素值来产生包括多个显示质量增强像素值的第二图像数据。
根据示例性实施例,提供了一种图像处理方法。所述方法包括:接收多个层数据,所述多个层数据表示将被显示在显示装置中的一个屏幕上的多个图像;通过混合所述多个层数据来产生第一图像数据,第一图像数据包括对应于所述一个屏幕的多个像素值;基于所述多个层数据来产生包括多个像素身份(ID)的像素映射数据,所述多个像素ID指示将被应用于所述多个像素值的一个或多个显示质量增强算法;以及基于第一图像数据和像素映射数据通过将所述一个或多个显示质量增强算法应用于所述多个像素值来产生包括多个显示质量增强像素值的第二图像数据。
根据示例性实施例,提供了一种应用处理器,该应用处理器包括:至少一个处理器;以及显示控制器,其被配置为可与所述至少一个处理器可互操作。显示控制器包括:高动态范围(HDR)单元,其被配置为从所述至少一个处理器接收多个层数据,并且基于第一控制信号对所述多个层数据执行HDR处理,所述多个层数据表示将被显示在显示装置中的一个屏幕上的多个图像;混合器,其被配置为基于HDR单元的输出和第二控制信号通过混合所述多个层数据来产生第一图像数据,并且基于HDR单元的输出和第二控制信号来产生包括多个像素身份ID的像素映射数据,第一图像数据包括对应于所述一个屏幕的多个像素值,所述多个像素ID指示将被应用于所述多个像素值的一个或多个显示质量增强算法;显示质量增强器,其被配置为基于第一图像数据和像素映射数据通过将所述一个或多个显示质量增强算法应用于所述多个像素值来产生包括多个显示质量增强像素值的第二图像数据;寄存器,其被配置为从所述至少一个处理器接收对应于所述多个层数据中的至少一个的至少一个元数据,以及基于所述至少一个元数据产生第一控制信号、第二控制信号和第三控制信号;以及帧率控制单元,其被配置为基于第三控制信号控制显示装置的帧率。
根据示例性实施例,提供了一种图像处理装置,该图像处理装置包括:至少一个处理器,其被配置为实现:混合器,其被配置为:接收多个层数据;通过混合所述多个层数据来产生第一图像数据,第一图像数据包括对应于显示装置中的一个屏幕的多个像素值;以及基于所述多个层数据来产生包括多个块身份(ID)的块映射数据,所述多个层数据表示将在显示装置的一个屏幕上显示的多个图像,所述多个块ID指示将应用于所述多个像素值的一个或多个显示质量增强算法;以及显示质量增强器,其被配置为基于第一图像数据和块映射数据通过将所述一个或多个显示质量增强算法应用于所述多个块来产生包括多个显示质量增强像素值的第二图像数据,其中,显示装置包括多个像素,并且所述多个像素值中的每一个对应于所述多个像素中的对应的一个,并且其中,所述多个像素中的两个或更多个组合,以形成所述多个块中的每一个,并且所述多个块ID中的每一个对应于所述多个块中的对应的一个。
附图说明
本实施例的以上和其它方面、特征和优点将通过结合附图的下面的描述变得清楚,在附图中:
图1是示出根据示例性实施例的图像处理装置的框图;
图2是详细示出根据示例性实施例的图1的图像处理装置的框图;
图3、图4、图5A、图5B、图5C、图5D、图5E、图5F、图5G、图6、图7A、图7B、图7C、图8、图9、图10A和图10B是用于描述根据一个或多个示例性实施例的图像处理装置的操作的图;
图11是示出根据示例性实施例的包括图像处理装置的显示控制器的框图;
图12和图13是示出根据示例性实施例的包括图像处理装置的应用处理器的框图;
图14是示出根据示例性实施例的包括应用处理器的电子装置的框图;
图15是示出根据示例性实施例的图像处理装置的框图;
图16是用于描述根据示例性实施例的图像处理装置的操作的图;
图17是示出根据示例性实施例的图像处理方法的流程图;
图18和图19是示出图17中的产生第二图像数据的示例的流程图。
图20、图21和图22是示出根据示例性实施例的图像处理方法的流程图;以及
图23是示出根据示例性实施例的包括应用处理器的电子系统的框图。
具体实施方式
将参照其中示出了一个或多个实施例的附图更详细地描述各种示例实施例。然而,本公开可以按照许多不同的形式实现,并且不应理解为限于本文阐述的实施例。相同的标号在本公开中指相同的元件。
应该理解,当元件或层被称作“位于”另一元件或层“上方”、“位于”另一元件或层“之上”、“位于”另一元件或层“上”、“位于”另一元件或层“下方”、“位于”另一元件或层“下”、“位于”另一元件或层“之下”、“连接至”或“结合至”另一元件或层时,该元件或层可直接位于所述另一元件或层上方、直接位于所述另一元件或层之上、直接位于所述另一元件或层上、直接位于所述另一元件或层下方、直接位于所述另一元件或层下、直接位于所述另一元件或层之下、直接连接至或直接结合至所述另一元件或层,或者可存在中间元件或层。相反,当元件被称作“直接位于”另一元件或层“上方”、“直接位于”另一元件或层“之上”、“直接位于”另一元件或层“上”、“直接位于”另一元件或层“下方”、“直接位于”另一元件或层“下”、“直接位于”另一元件或层“之下”、“直接连接至”或“直接结合至”另一元件或层时,不存在中间元件或层。相同的标号始终指代相同的元件。
表达“a、b和c中的至少一个”应该被理解为包括仅a、仅b、仅c、a和b二者、a和c二者、b和c二者、或者a、b和c全部。诸如“第一”、“第二”等的术语可以用于修饰各种元件,而与次序和/或重要性无关,并且可以用于简单地将一个元件于另一元件进行区分开。
本公开的一个或多个实施例中使用的术语(诸如“单元”或者“模块”)指示用于处理至少一个功能或操作的单元,并且可以以硬件、软件或者硬件和软件的组合来实施。
术语“单元”或者“模块”可以通过存储在可寻址存储介质中并且通过处理器可执行的程序来实施。
例如,术语“单元”或者“模块”可包括软件部件、面向对象的软件部件、类部件和任务部件、进程、函数、属性、过程、子程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、阵列和/或变量。
图1是示出根据示例性实施例的图像处理装置的框图。
参照图1,图像处理装置100包括混合器110和显示质量增强器120。
混合器110接收多个层数据LDAT。多个层数据LDAT表示将被显示在显示装置(或者显示面板)中的一个屏幕上的多个图像。例如,所述多个图像可以显示为在显示装置的所述一个屏幕上部分和/或完全地重叠,并且多个层数据LDAT中的每一个可以对应于所述多个图像中的对应的一个。所述多个图像中的每一个可以被称作层、层图像和/或部分图像。下面将参照图4提供对多个层数据LDAT的更详细的描述。
混合器110通过混合多个层数据LDAT来产生第一图像数据IDAT。第一图像数据IDAT包括对应于所述一个屏幕的多个像素值。例如,显示装置可包括多个像素,并且所述多个像素中的每一个可以具有所述多个像素值中的对应的一个。例如,所述多个像素值中的每一个可包括所述多个像素中的对应的一个的灰度值、照度值和/或亮度值。相似地,多个层数据LDAT中的每一个可包括对应于所述多个图像中的对应的一个的像素值。将参照图3和图4提供用于混合多个层数据LDAT的更详细的描述。
混合表示计算在构成一个屏幕的多个层(例如,图像)之间实际显示的像素值的操作。当执行混合时,可以获得在每个像素上实际显示的像素值。例如,当在像素上设置、布置或放置仅一层时,可以按原样获得该一层中包括的像素值。当在像素上设置两层或更多层时,可以获得所述两层或更多层中的一层中包括的像素值,或者可以基于所述两层或更多层中包括的像素值获得新像素值。混合可以被称作结合和/或组合。
混合器110基于多个层数据LDAT产生像素映射数据PMDAT。像素映射数据PMDAT包括表示将应用于所述多个像素值的显示质量增强算法(或者图像质量提高算法)的多个像素身份(ID)。例如,如下将参照图7描述的,所述多个像素中的每一个可以具有所述多个像素ID中的对应的一个。例如,可以基于混合信息(例如,通过混合针对每个像素实际获得什么样的像素值)来设定用于每个像素的每个像素ID。所述多个像素ID中的每一个可以被称作显示质量增强算法设定ID等。
显示质量增强器120基于第一图像数据IDAT和像素映射数据PMDAT通过将不同的显示质量增强算法应用于所述多个像素值来产生第二图像数据EDAT。第二图像数据EDAT包括多个显示质量增强像素值。例如,如与所述多个像素值一样,所述多个像素中的每一个可以具有所述多个显示质量增强像素值中的对应的一个。所述多个像素可以基于所述多个显示质量增强像素值发射光,以显示对应于所述一个屏幕的图像。
在根据示例实施例的图像处理装置100中,可以在构成一个屏幕的多个层上执行混合,可以产生像素ID,并且可以产生作为一组像素ID的像素映射数据PMDAT。每个像素ID可以表示将被应用于作为混合的结果获得的每个像素值的优化(或优化的)显示质量增强算法。另外,可以基于像素映射数据PMDAT将优化显示质量增强算法应用于所述多个像素,并且可以以像素为单位应用不同的显示质量增强算法。因此,可以针对每个像素实现优化显示质量,并且可以增强或提高显示质量。
图2是详细示出根据示例性实施例的图1的图像处理装置的框图。将省略已经参照图1提供的描述。
参照图2,图像处理装置100a包括混合器110a和显示质量增强器120a。
在图2的示例中,多个层数据LDAT可包括第一层数据至第K层数据LDAT1、LDAT2、……、LDATK,并且所述多个图像可包括第一图像至第K图像,其中K是大于或等于二的自然数。另外,第一图像数据IDAT中包括的所述多个像素值可包括第一像素值至第N像素值PV1、PV2、……、PVN,像素映射数据PMDAT中包括的所述多个像素ID可包括第一像素至第N像素ID PID1、PID2、……、PIDN,并且第二图像数据EDAT中包括的所述多个显示质量增强像素值可包括第一显示质量增强像素值至第N显示质量增强像素值EPV1、EPV2、……、EPVN,其中N是大于或等于二的自然数。此外,可应用于每个像素值的所述多个显示质量增强算法可包括第一显示质量增强算法至第M显示质量增强算法,其中M是大于或等于二的自然数。
混合器110a可包括混合块112和像素映射产生器114。
混合块112可以通过基于第一层数据至第K层数据LDAT1、LDAT2、……、LDATK合成第一图像至第K图像来产生对应于将实际显示在所述一个屏幕上的一个合成图像(或结合的图像)的第一像素值至第N像素值PV1、PV2、……、PVN。例如,混合块112可以确定这些层的布置。也就是说,混合块112可以确定哪一层设置在上方,并且哪一层设置在下方。例如,混合块112可以确定显示这些层的方案,诸如仅将最上层显示为或者将设置在上面的层显示为半透明,以部分地显示设置在下面的层。例如,混合块112可以基于上述确定获得或获取构成一个合成图像的第一像素值至第N像素值PV1、PV2、……、PVN。
像素映射产生器114可以基于第一层数据至第K层数据LDAT1、LDAT2、……、LDATK产生用于对应于所述一个合成图像的第一像素值至第N像素值PV1、PV2、……、PVN的第一像素ID至第N像素ID PID1、PID2、……、PIDN。例如,像素映射产生器114可以基于每层中包括的每个像素值设定每个像素ID。例如,第一像素ID PID1可以对应于第一像素值PV1,第二像素ID PID2可以对应于第二像素值PV2,并且第N像素ID PIDN可以对应于第N像素值PVN。
在一些示例实施例中,当两个或更多个图像重叠并且设置在对应于第一像素值PV1的第一像素上时(例如,当第一像素对应于两个或更多个层数据时),像素映射产生器114可以基于两个或更多个层数据之一产生对应于第一像素值PV1的第一像素ID PID1。
在一些示例实施例中,对应于同一层中包括的像素值的像素ID可以具有相同的值。换句话说,可以针对每个层设定相同的像素ID。然而,示例实施例不限于此。在其它示例实施例中,对应于同一层中包括的像素值的一些像素ID可以具有不同的值,或者对应于不同层中包括的像素值的一些像素ID可以具有相同的值。
显示质量增强器120a可包括多个寄存器(REG1、REG2、……、REGM)122a、122b、……、122m、复用器124和增强块126。
多个寄存器122a、122b、……、122m可以存储用于第一显示质量增强算法至第M显示质量增强算法的多个显示质量增强参数。例如,第一寄存器122a可以存储用于第一显示质量增强算法的至少一个显示质量增强参数,第二寄存器122b可以存储用于第二显示质量增强算法的至少一个显示质量增强参数,并且第M寄存器122m可以存储用于第M显示质量增强算法的至少一个显示质量增强参数。
在一些示例实施例中,多个寄存器122a、122b、……、122m中的每一个可为配置寄存器,并且可包括例如特殊功能寄存器(SFR)。可以将所述多个显示质量增强参数按照查找表(LUT)的形式存储在多个寄存器122a、122b、……、122m中,或者可按照表示显示质量增强算法的各种方式存储。
在一些示例实施例中,所述多个显示质量增强算法可包括细节增强(DE)、缩放(或缩放器)、自适应色调映射控制(ATC)、色调饱和度控制(HSC)、伽马和去伽马、安卓开源项目(AOSP)、色域控制(CGC)、抖动(或抖动)、圆角显示(RCD)、子像素渲染(SPR)等。DE可以表示用于锐化图像轮廓的算法。缩放可以表示改变图像大小的算法。ATC可以表示用于提高室外可视性的算法。HSC可以表示用于改进颜色的色调和饱和度的算法。伽马可以表示用于伽马校正或补偿的算法。AOSP可以表示用于处理由安卓OS定义的图像转换矩阵(例如,色障人士的模式或夜间模式)的算法。CGC可以表示用于匹配显示面板的颜色坐标的算法。抖动可以表示用于使用有限颜色来表示高比特的颜色效果的算法。RCD可以表示用于处理显示面板的圆角的算法。SPR可以表示用于提高分辨率的算法。然而,示例实施例不限于此,并且所述多个显示质量增强算法还可以包括各种其他算法。
复用器124可以基于第一像素ID至第N像素ID PID1、PID2、……、PIDN选择第一显示质量增强算法至第M显示质量增强算法中的至少一个。例如,复用器124可以基于第一像素ID PID1选择用于第一像素值PV1的至少一个显示质量增强算法。复用器124可以基于第二像素ID PID2选择用于第二像素值PV2的至少一个显示质量增强算法。复用器124可以基于第N像素ID PIDN选择用于第N像素值PVN的至少一个显示质量增强算法。
在一些示例实施例中,可基于一个像素ID针对一个像素仅选择第一显示质量增强算法至第M显示质量增强算法中的一个。在其它示例实施例中,可以基于一个像素ID针对一个像素选择第一显示质量增强算法至第M显示质量增强算法中的两个或更多个。
在一些示例实施例中,第一像素ID至第N像素ID PID1、PID2、……、PIDN中的每一个可包括M比特,并且可以基于第N像素ID中指示的各个比特值选择第一显示质量增强算法至第M显示质量增强算法中的至少一个。例如,第一像素ID PID1可包括第一比特至第M比特,并且可以选择对应于第一比特至第M比特中的值为“1”的比特的至少一个显示质量增强算法。例如,第一比特至第M比特可以分别对应于第一显示质量增强算法至第M显示质量增强算法。当仅第一比特的值为“1”时,可以仅针对第一像素值PV1选择第一显示质量增强算法。当第一比特和第二比特二者的值为“1”时,可以针对第一像素值PV1选择第一显示质量增强算法和第二显示质量增强算法二者。
增强块126可以基于第一像素值至第N像素值PV1、PV2、……、PVN和复用器124的输出产生第一显示质量增强像素值至第N显示质量增强像素值EPV1、EPV2、……、EPVN。例如,增强块126可以通过将基于第一像素ID PID1选择的所述至少一个显示质量增强算法应用于第一像素值PV1来产生第一显示质量增强像素值EPV1。增强块126可以通过将基于第二像素ID PID2选择的所述至少一个显示质量增强算法应用于第二像素值PV2来产生第二显示质量增强像素值EPV2。增强块126可以通过将基于第N像素ID PIDN选择的所述至少一个显示质量增强算法应用于第N像素值PVN来产生第N显示质量增强像素值EPVN。
在一些示例实施例中,可以针对第一像素值至第N像素值PV1、PV2、……、PVN中的每一个按次序执行选择显示质量增强算法的操作和产生显示质量增强像素值的操作。例如,可以按次序执行基于第一像素ID PID1针对第一像素值PV1选择显示质量增强算法的操作和基于第一像素值PV1产生第一显示质量增强像素值EPV1的操作。接着,可以按次序执行基于第二像素ID PID2针对第二像素值PV2选择显示质量增强算法的操作和基于第二像素值PV2产生第二显示质量增强像素值EPV2的操作。之后,可以按次序执行基于第N像素IDPIDN针对第N像素值PVN选择显示质量增强算法的操作和基于第N像素值PVN产生第N显示质量增强像素值EPVN的操作。
在其它示例实施例中,可以针对第一像素值至第N像素值PV1、PV2、……、PVN全部按次序执行选择显示质量增强算法的操作,然后可以针对第一像素值至第N像素值PV1、PV2、……、PVN全部按次序执行产生显示质量增强像素值的操作。例如,可以执行基于第一像素ID PID1针对第一像素值PV1选择显示质量增强算法的操作,然后可以执行基于第二像素ID PID2针对第二像素值PV2选择显示质量增强算法的操作,然后可以执行基于第N像素ID PIDN针对第N像素值PVN选择显示质量增强算法的操作。之后,可以执行基于第一像素值PV1产生第一显示质量增强像素值EPV1的操作,然后可以执行基于第二像素值PV2产生第二显示质量增强像素值EPV2的操作,然后可以执行基于第N像素值PVN产生第N显示质量增强像素值EPVN的操作。
图3、图4、图5A、图5B、图5C、图5D、图5E、图5F、图5G、图6、图7A、图7B、图7C、图8、图9、图10A和图10B是用于描述根据一个或多个示例性实施例的图像处理装置的操作的图。
参照图3,基于从图像处理装置100输出的第二图像数据EDAT显示图像的显示装置200可包括多个像素P11、P12、P13、P14、P15、P16、P17、P18、P21、P22、P23、P24、P25、P26、P27、P28、P31、P32、P33、P34、P35、P36、P37、P38、P41、P42、P43、P44、P45、P46、P47、P48、P51、P52、P53、P54、P55、P56、P57、P58、P61、P62、P63、P64、P65、P66、P67、P68、P71、P72、P73、P74、P75、P76、P77、P78、P81、P82、P83、P84、P85、P86、P87、P88、P91、P92、P93、P94、P95、P96、P97、P98、PA1、PA2、PA3、PA4、PA5、PA6、PA7、PA8、PB1、PB2、PB3、PB4、PB5、PB6、PB7、PB8、PC1、PC2、PC3、PC4、PC5、PC6、PC7和PC8。
这里,每个像素可包括发光元件(例如,有机发光二极管(OLED))和用于驱动发光元件的至少一个晶体管。
虽然图3示出了显示装置200包括12*8个像素,但是示例实施例不限于此。
参照图4,示出了显示在图3的显示装置200上的一个合成图像CIMG。合成图像CIMG可以表示完全显示在显示装置200的一个屏幕上的图像,并且可以表示通过合成将参照图5A至图5G描述的多个层(例如,多个图像)而获得的图像。
合成图像CIMG可包括多个像素值PC_11、PC_12、PC_13、PC_14、PC_15、PC_16、PC_17、PC_18、PB_21、PB_22、PB_23、PB_24、PB_25、PB_26、PB_27、PB_28、PB_31、PB_32、PG_33、PB_34、PE_35、PE_36、PB_37、PB_38、PB_41、PF_42、PG_43、PF_44、PF_45、PF_46、PF_47、PB_48、PB_51、PF_52、PG_53、PF_54、PF_55、PF_56、PF_57、PB_58、PB_61、PB_62、PG_63、PB_64、PE_65、PE_66、PB_67、PB_68、PB_71、PB_72、PB_73、PB_74、PB_75、PB_76、PB_77、PB_78、PB_81、PB_82、PB_83、PB_84、PB_85、PB_86、PB_87、PB_88、PB_91、PD_92、PD_93、PD_94、PD_95、PD_96、PD_97、PB_98、PB_A1、PD_A2、PD_A3、PD_A4、PD_A5、PD_A6、PD_A7、PB_A8、PB_B1、PB_B2、PB_B3、PB_B4、PB_B5、PB_B6、PB_B7、PB_B8、PA_C1、PA_C2、PA_C3、PA_C4、PA_C5、PA_C6、PA_C7和PA_C8。
在图4和后面的图中,每个像素值可以对应于相同位置或地点的每个像素。例如,图4中的像素值PC_11可以对应于图3中的像素P11,并且像素P11可以具有像素值PC_11,并且可以基于像素值PC_11发射光。
参照图5A、图5B、图5C、图5D、图5E、图5F和图5G,图4的合成图像CIMG可为通过合成第一层至第七层LYA、LYB、LYC、LYD、LYE、LYF和LYG而获得的图像。
图5A的第一层(例如,第一图像)LYA可包括多个像素值PA_11、PA_12、PA_13、PA_14、PA_15、PA_16、PA_17、PA_18、PA_21、PA_22、PA_23、PA_24、PA_25、PA_26、PA_27、PA_28、PA_31、PA_32、PA_33、PA_34、PA_35、PA_36、PA_37、PA_38、PA_41、PA_42、PA_43、PA_44、PA_45、PA_46、PA_47、PA_48、PA_51、PA_52、PA_53、PA_54、PA_55、PA_56、PA_57、PA_58、PA_61、PA_62、PA_63、PA_64、PA_65、PA_66、PA_67、PA_68、PA_71、PA_72、PA_73、PA_74、PA_75、PA_76、PA_77、PA_78、PA_81、PA_82、PA_83、PA_84、PA_85、PA_86、PA_87、PA_88、PA_91、PA_92、PA_93、PA_94、PA_95、PA_96、PA_97、PA_98、PA_A1、PA_A2、PA_A3、PA_A4、PA_A5、PA_A6、PA_A7、PA_A8、PA_B1、PA_B2、PA_B3、PA_B4、PA_B5、PA_B6、PA_B7、PA_B8、PA_C1、PA_C2、PA_C3、PA_C4、PA_C5、PA_C6、PA_C7和PA_C8。
图5B的第二层(例如,第二图像)LYB可包括多个像素值PB_11、PB_12、PB_13、PB_14、PB_15、PB_16、PB_17、PB_18、PB_21、PB_22、PB_23、PB_24、PB_25、PB_26、PB_27、PB_28、PB_31、PB_32、PB_33、PB_34、PB_35、PB_36、PB_37、PB_38、PB_41、PB_42、PB_43、PB_44、PB_45、PB_46、PB_47、PB_48、PB_51、PB_52、PB_53、PB_54、PB_55、PB_56、PB_57、PB_58、PB_61、PB_62、PB_63、PB_64、PB_65、PB_66、PB_67、PB_68、PB_71、PB_72、PB_73、PB_74、PB_75、PB_76、PB_77、PB_78、PB_81、PB_82、PB_83、PB_84、PB_85、PB_86、PB_87、PB_88、PB_91、PB_92、PB_93、PB_94、PB_95、PB_96、PB_97、PB_98、PB_A1、PB_A2、PB_A3、PB_A4、PB_A5、PB_A6、PB_A7、PB_A8、PB_B1、PB_B2、PB_B3、PB_B4、PB_B5、PB_B6、PB_B7和PB_B8。
图5C的第三层(例如,第三图像)LYC可包括多个像素值PC_11、PC_12、PC_13、PC_14、PC_15、PC_16、PC_17和PC_18。
图5D的第四层(例如,第四图像)LYD可包括多个像素值PD_92、PD_93、PD_94、PD_95、PD_96、PD_97、PD_A2、PD_A3、PD_A4、PD_A5、PD_A6和PD_A7。
图5E的第五层(例如,第五图像)LYE可包括多个像素值PE_35、PE_36、PE_45、PE_46、PE_55、PE_56、PE_65和PE_66。
图5F的第六层(例如,第六图像)LYF可包括多个像素值PF_42、PF_43、PF_44、PF_45、PF_46、PF_47、PF_52、PF_53、PF_54、PF_55、PF_56和PF_57。
图5G的第七层(例如,第七图像)LYG可包括多个像素值PG_33、PG_43、PG_53和PG_63。
在一些示例实施例中,第一层LYA至第七层LYG中的每一个可以表示通过包括显示装置200的电子装置(或电子系统)执行并且显示于其上的一个应用。然而,示例实施例不限于此。
在图5A至图5G中,由空白空间示出的一部分(例如,其中不包括或不描述像素值的一部分)可为没有像素值的区(例如,其中不存在对应图像的区)。
在图4的合成图像CIMG中,图5A的第一层LYA至图5G的第七层LYG可以按次序重叠和设置。例如,图5A的第一层LYA可以设置在底部,图5G的第七层LYG可以设置在顶部,并且可以仅显示每个像素上的最上面的一层。因此,合成图像CIMG可仅包括第一层LYA中的像素值PA_C1、PA_C2、PA_C3、PA_C4、PA_C5、PA_C6、PA_C7和PA_C8(图5A所示的最后一行像素值)。相似地,合成图像CIMG可仅包括第二层LYB中的像素值PB_21、PB_22、PB_23、PB_24、PB_25、PB_26、PB_27、PB_28、PB_31、PB_32、PB_34、PB_37、PB_38、PB_41、PB_48、PB_51、PB_58、PB_61、PB_62、PB_64、PB_67、PB_68、PB_71、PB_72、PB_73、PB_74、PB_75、PB_76、PB_77、PB_78、PB_81、PB_82、PB_83、PB_84、PB_85、PB_86、PB_87、PB_88、PB_91、PB_98、PB_A1、PB_A8、PB_B1、PB_B2、PB_B3、PB_B4、PB_B5、PB_B6、PB_B7和PB_B8。合成图像CIMG可仅包括第三层LYC中的像素值PC_11、PC_12、PC_13、PC_14、PC_15、PC_16、PC_17和PC_18。合成图像CIMG可仅包括第四层LYD中的像素值PD_92、PD_93、PD_94、PD_95、PD_96、PD_97、PD_A2、PD_A3、PD_A4、PD_A5、PD_A6和PD_A7。合成图像CIMG可仅包括第五层LYE中的像素值PE_35、PE_36、PE_65和PE_66。合成图像CIMG可仅包括第六层LYF中的像素值PF_42、PF_44、PF_45、PF_46、PF_47、PF_52、PF_54、PF_55、PF_56和PF_57。合成图像CIMG可仅包括第七层LYG中的像素值PG_33、PG_43、PG_53和PG_63。
参照图6,示出了当在显示装置200上显示图4的合成图像CIMG时图3的显示装置200的像素P45上的层的布置。
例如,第一层LYA、第二层LYB、第五层LYE和第六层LYF可以重叠和设置在像素P45上。可以基于第一层LYA、第二层LYB、第五层LYE和第六层LYF之一选择或者确定用于像素P45的至少一个显示质量增强算法。
在一些示例实施例中,可以显示作为第一层LYA、第二层LYB、第五层LYE和第六层LYF中的最上面的一层的第六层LYF,并且像素P45可以具有第六层LYF中包括的像素值PF_45。可以基于第六层LYF(例如,基于对应于第六层LYF的层数据)选择用于像素P45的所述至少一个显示质量增强算法,并且可以产生对应于选择的显示质量增强算法的像素ID。
在一些示例实施例中,第六层LYF可以显示为半透明的,在第六层LYF下方设置的第五层LYE可以被部分显示。
参照图7A,示出了对应于图4的合成图像CIMG产生的像素映射PMAP。
像素映射PMAP可包括多个像素ID ID_11、ID_12、ID_13、ID_14、ID_15、ID_16、ID_17、ID_18、ID_21、ID_22、ID_23、ID_24、ID_25、ID_26、ID_27、ID_28、ID_31、ID_32、ID_33、ID_34、ID_35、ID_36、ID_37、ID_38、ID_41、ID_42、ID_43、ID_44、ID_45、ID_46、ID_47、ID_48、ID_51、ID_52、ID_53、ID_54、ID_55、ID_56、ID_57、ID_58、ID_61、ID_62、ID_63、ID_64、ID_65、ID_66、ID_67、ID_68、ID_71、ID_72、ID_73、ID_74、ID_75、ID_76、ID_77、ID_78、ID_81、ID_82、ID_83、ID_84、ID_85、ID_86、ID_87、ID_88、ID_91、ID_92、ID_93、ID_94、ID_95、ID_96、ID_97、ID_98、ID_A1、ID_A2、ID_A3、ID_A4、ID_A5、ID_A6、ID_A7、ID_A8、ID_B1、ID_B2、ID_B3、ID_B4、ID_B5、ID_B6、ID_B7、ID_B8、ID_C1、ID_C2、ID_C3、ID_C4、ID_C5、ID_C6、ID_C7和ID_C8。
在图7A和后面的图中,每个像素ID可以对应于相同位置的每个像素和每个像素值。例如,图7A中的像素ID ID_11可以对应于图3中的像素P11和图4中的像素值PC_11。
参照图7B和图7C,示出了图7A的像素映射PMAP的特定示例。
在图7B的像素映射PMAP1中,对应于同一层中包括的像素值的所有像素ID可以具有相同的标签或者像素ID。例如,对应于第一层LYA中包括的像素值PA_C1、PA_C2、PA_C3、PA_C4、PA_C5、PA_C6、PA_C7和PA_C8的像素ID ID_C1、ID_C2、ID_C3、ID_C4、ID_C5、ID_C6、ID_C7和ID_C8可以具有标签“a”。对应于第二层LYB中包括的像素值PB_21、PB_22、PB_23、PB_24、PB_25、PB_26、PB_27、PB_28、PB_31、PB_32、PB_34、PB_37、PB_38、PB_41、PB_48、PB_51、PB_58、PB_61、PB_62、PB_64、PB_67、PB_68、PB_71、PB_72、PB_73、PB_74、PB_75、PB_76、PB_77、PB_78、PB_81、PB_82、PB_83、PB_84、PB_85、PB_86、PB_87、PB_88、PB_91、PB_98、PB_A1、PB_A8、PB_B1、PB_B2、PB_B3、PB_B4、PB_B5、PB_B6、PB_B7和PB_B8的像素ID ID_21、ID_22、ID_23、ID_24、ID_25、ID_26、ID_27、ID_28、ID_31、ID_32、ID_34、ID_37、ID_38、ID_41、ID_48、ID_51、ID_58、ID_61、ID_62、ID_64、ID_67、ID_68、ID_71、ID_72、ID_73、ID_74、ID_75、ID_76、ID_77、ID_78、ID_81、ID_82、ID_83、ID_84、ID_85、ID_86、ID_87、ID_88、ID_91、ID_98、ID_A1、ID_A8、ID_B1、ID_B2、ID_B3、ID_B4、ID_B5、ID_B6、ID_B7和ID_B8可以具有标签“b”。对应于第三层LYC中包括的像素值PC_11、PC_12、PC_13、PC_14、PC_15、PC_16、PC_17和PC_18的像素ID ID_11、ID_12、ID_13、ID_14、ID_15、ID_16、ID_17和ID_18可以具有标签“c”。对应于第四层LYD中包括的像素值PD_92、PD_93、PD_94、PD_95、PD_96、PD_97、PD_A2、PD_A3、PD_A4、PD_A5、PD_A6和PD_A7的像素ID ID_92、ID_93、ID_94、ID_95、ID_96、ID_97、ID_A2、ID_A3、ID_A4、ID_A5、ID_A6和ID_A7可以具有标签“d”。对应于第五层LYE中包括的像素值PE_35、PE_36、PE_65和PE_66的像素ID ID_35、ID_36、ID_65和ID_66可以具有标签“e”。对应于第六层LYF中包括的像素值PF_42、PF_44、PF_45、PF_46、PF_47、PF_52、PF_54、PF_55、PF_56和PF_57的像素ID ID_42、ID_44、ID_45、ID_46、ID_47、ID_52、ID_54、ID_55、ID_56和ID_57可以具有标签“f”。对应于第七层LYG中包括的像素值PG_33、PG_43、PG_53和PG_63的像素ID ID_33、ID_43、ID_53和ID_63可以具有标签“g”。
在图7C的像素映射PMAP2中,对应于同一层中包括的像素值的一些像素ID可以具有不同的标签或者像素ID。换句话说,一层可不限于一个像素ID值。将省略以上已参照图7B提供的描述。例如,在第四层LYD中包括的像素值中,对应于像素值PD_92、PD_93、PD_94、PD_A2、PD_A3和PD_A4的像素ID ID_92、ID_93、ID_94、ID_A2、ID_A3和ID_A4可以具有标签“d1”,并且对应于像素值PD_95、PD_96、PD_97、PD_A5、PD_A6和PD_A7的像素ID ID_95、ID_96、ID_97、ID_A5、ID_A6和ID_A7可以具有标签“d2”。在第五层LYE中包括的像素值中,对应于像素值PE_35和PE_36的像素ID ID_35和ID_36可以具有标签“e1”,并且对应于像素值PE_65和PE_66的像素ID ID_65和ID_66可以具有标签“e2”。在第六层LYF中包括的像素值中,对应于像素值PF_42、PF_44、PF_52和PF_54的像素ID ID_42、ID_44、ID_52和ID_54可以具有标签“f1”,并且对应于像素值PF_45、PF_46、PF_47、PF_55、PF_56和PF_57的像素ID ID_45、ID_46、ID_47、ID_55、ID_56和ID_57可以具有标签“f2”。在第七层LYG中包括的像素值中,对应于像素值PG_33和PG_43的像素ID ID_33和ID_43可以具有标签“g1”,并且对应于像素值PG_53和PG_63的像素ID ID_53和ID_63可以具有标签“g2”。
参照图8,示出了基于图7B的像素映射PMAP1通过以像素为单位将不同的优化显示质量增强算法应用于图4的合成图像CIMG而产生的合成图像CIMG’。换句话说,图8的合成图像CIMG’可为基于从图像处理装置100输出的第二图像数据EDAT在显示装置200上实际显示的图像,并且可为其中以像素为单位执行显示质量增强的图像。
在图8的合成图像CIMG’中,可以通过应用基于标签为“a”的像素ID选择的至少一个显示质量增强算法来产生像素值PA_C1a、PA_C2a、PA_C3a、PA_C4a、PA_C5a、PA_C6a、PA_C7a和PA_C8a。可以通过应用基于标签为“b”的像素ID选择的至少一个显示质量增强算法来产生像素值PB_21b、PB_22b、PB_23b、PB_24b、PB_25b、PB_26b、PB_27b、PB_28b、PB_31b、PB_32b、PB_34b、PB_37b、PB_38b、PB_41b、PB_48b、PB_51b、PB_58b、PB_61b、PB_62b、PB_64b、PB_67b、PB_68b、PB_71b、PB_72b、PB_73b、PB_74b、PB_75b、PB_76b、PB_77b、PB_78b、PB_81b、PB_82b、PB_83b、PB_84b、PB_85b、PB_86b、PB_87b、PB_88b、PB_91b、PB_98b、PB_A1b、PB_A8b、PB_B1b、PB_B2b、PB_B3b、PB_B4b、PB_B5b、PB_B6b、PB_B7b和PB_B8b。可以通过应用基于标签为“c”的像素ID选择的至少一个显示质量增强算法来产生像素值PC_11c、PC_12c PC_13c、PC_14c、PC_15c、PC_16c、PC_17c和PC_18c。可以通过应用基于标签为“d”的像素ID选择的至少一个显示质量增强算法来产生像素值PD_92d、PD_93d、PD_94d、PD_95d、PD_96d、PD_97d、PD_A2d、PD_A3d、PD_A4d、PD_A5d、PD_A6d和PD_A7d。可以通过应用基于标签为“e”的像素ID选择的至少一个显示质量增强算法来产生像素值PE_35e、PE_36e、PE_65e和PE_66e。可以通过应用基于标签为“f”的像素ID选择的至少一个显示质量增强算法来产生像素值PF_42f、PF_44f、PF_45f、PF_46f、PF_47f、PF_52f、PF_54f、PF_55f、PF_56f和PF_57f。可以通过应用基于标签为“g”的像素ID选择的至少一个显示质量增强算法来产生像素值PG_33g、PG_43g、PG_53g和PG_63g。
参照图9,示出了对应于图4的合成图像CIMG产生的像素映射PMAP’。图9示出了其中仅针对一些像素值产生像素ID的示例。
像素映射PMAP’可包括多个像素ID ID_33、ID_35、ID_36、ID_42、ID_43、ID_44、ID_45、ID_46、ID_47、ID_52、ID_53、ID_54、ID_55、ID_56、ID_57、ID_63、ID_65、ID_66、ID_92、ID_93、ID_94、ID_95、ID_96、ID_97、ID_A2、ID_A3、ID_A4、ID_A5、ID_A6和ID_A7。在图9中,空白空间所示的一部分(例如,其中未包括或未描述像素ID的一部分)可为其中未产生像素ID的区。
在一些示例实施例中,可以仅将显示质量增强算法应用于对其产生了像素ID的像素值。例如,当基于图9的像素映射PMAP’将显示质量增强算法应用于图4的合成图像CIMG时,可以以像素为单位仅将不同的优化显示质量增强算法应用于合成图像CIMG中的像素值PG_33、PE_35、PE_36、PF_42、PG_43、PF_44、PF_45、PF_46、PF_47、PF_52、PG_53、PF_54、PF_55、PF_56、PF_57、PG_63、PE_65、PE_66、PD_92、PD_93、PD_94、PD_95、PD_96、PD_97、PD_A2、PD_A3、PD_A4、PD_A5、PD_A6和PD_A7。可以不将显示质量增强算法应用于像素值PC_11、PC_12、PC_13、PC_14、PC_15、PC_16、PC_17、PC_18、PB_21、PB_22、PB_23、PB_24、PB_25、PB_26、PB_27、PB_28、PB_31、PB_32、PB_34、PB_37、PB_38、PB_41、PB_48、PB_51、PB_58、PB_61、PB_62、PB_64、PB_67、PB_68、PB_71、PB_72、PB_73、PB_74、PB_75、PB_76、PB_77、PB_78、PB_81、PB_82、PB_83、PB_84、PB_85、PB_86、PB_87、PB_88、PB_91、PB_98、PB_A1、PB_A8、PB_B1、PB_B2、PB_B3、PB_B4、PB_B5、PB_B6、PB_B7、PB_B8、PA_C1、PA_C2、PA_C3、PA_C4、PA_C5、PA_C6、PA_C7和PA_C8。
在其它示例实施例中,对于对其产生了像素ID的像素值,可以基于当前像素ID应用显示质量增强算法。对于对其未产生像素ID的像素值,可以应用基于存储在存储器中的先前像素ID显示质量增强算法。例如,当基于图9的像素映射PMAP’将显示质量增强算法应用于图4的合成图像CIMG时,可以基于像素映射PMAP’中包括的像素ID以像素为单位将不同的优化显示质量增强算法应用于合成图像CIMG中的像素值PG_33、PE_35、PE_36、PF_42、PG_43、PF_44、PF_45、PF_46、PF_47、PF_52、PG_53、PF_54、PF_55、PF_56、PF_57、PG_63、PE_65、PE_66、PD_92、PD_93、PD_94、PD_95、PD_96、PD_97、PD_A2、PD_A3、PD_A4、PD_A5、PD_A6和PD_A7。另外,可以基于先前产生的像素映射(例如,图7A的像素映射PMAP)中包括的像素ID以像素为单位将不同的优化显示质量增强算法应用于合成图像CIMG中的像素值PC_11、PC_12、PC_13、PC_14、PC_15、PC_16、PC_17、PC_18、PB_21、PB_22、PB_23、PB_24、PB_25、PB_26、PB_27、PB_28、PB_31、PB_32、PB_34、PB_37、PB_38、PB_41、PB_48、PB_51、PB_58、PB_61、PB_62、PB_64、PB_67、PB_68、PB_71、PB_72、PB_73、PB_74、PB_75、PB_76、PB_77、PB_78、PB_81、PB_82、PB_83、PB_84、PB_85、PB_86、PB_87、PB_88、PB_91、PB_98、PB_A1、PB_A8、PB_B1、PB_B2、PB_B3、PB_B4、PB_B5、PB_B6、PB_B7、PB_B8、PA_C1、PA_C2、PA_C3、PA_C4、PA_C5、PA_C6、PA_C7和PA_C8。
图10A和图10B示出了其中基于第一图像数据IDAT、像素映射数据PMDAT和第二图像数据EDAT按次序产生显示在显示装置200上的多个帧图像的示例。
在图10A和图10B中,帧图像F1、F2、F3、F4、F5、F6、F7、F8、F9和F10中的每一个可以对应于基于第一图像数据IDAT显示的合成图像,像素映射PM1、PM2、PM3、PM4、PM5、PM6、PM7、PM8、PM9和PM10中的每一个可以对应于像素映射数据PMDAT,并且显示质量增强帧图像EF1、EF2、EF2’、EF3、EF4、EF4’、EF5、EF6、EF6’、EF7、EF8、EF8’、EF9、EF10和EF10’中的每一个可以对应于具有增强的显示质量并且基于第二图像数据EDAT显示的合成图像。
在图10A的示例中,可以针对多个帧的每个帧产生第一图像数据IDAT和像素映射数据PMDAT,可以基于第一图像数据IDAT和像素映射数据PMDAT针对每个帧产生第二图像数据EDAT。例如,在第一帧中,可以产生第一帧图像F1和第一像素映射PM1,可以基于第一帧图像F1和第一像素映射PM1产生第一显示质量增强帧图像EF1。在第一帧之后的第二帧中,可以产生第二帧图像F2和第二像素映射PM2,并且可以基于第二帧图像F2和第二像素映射PM2产生第二显示质量增强帧图像EF2。
在图10B的示例中,可以针对每个帧产生第一图像数据IDAT,可以针对X个帧(或者每X个帧)产生像素映射数据PMDAT,其中X是大于或等于二的自然数,可以基于第一图像数据IDAT和像素映射数据PMDAT针对每个帧产生第二图像数据EDAT。图10B示出了其中X=2的示例。例如,在第一帧中,可以产生第一帧图像F1和第一像素映射PM1,可以基于第一帧图像F1和第一像素映射PM1产生第一显示质量增强帧图像EF1。在第一帧之后的第二帧中,可以产生第二帧图像F2,可以不产生第二像素映射PM2,可以基于当前产生的第二帧图像F2和先前产生的第一像素映射PM1产生第二显示质量增强帧图像EF2’。
虽然图10B示出了其中针对每个奇数帧均匀地产生像素映射的示例,但是示例实施例不限于此,并且可以针对任意间隔的帧均匀地或不规则地产生像素映射。此外,如参照图7A所述,可以针对一些帧(例如,针对奇数帧)产生包括对应于所有像素值的像素ID的像素映射PMAP,并且如参照图9所述,可以针对其它一些帧(例如,针对偶数帧)产生仅包括对应于一些像素值的像素ID的像素映射PMAP’。
虽然基于特定数量的像素、层、像素值、像素ID和帧描述了示例性实施例,但是所述一个或多个实施例不限于此。
图11是示出根据示例性实施例的包括图像处理装置的显示控制器的框图。将不重复以上已经参照图1提供的描述。
参照图11,显示控制器300包括混合器320和显示质量增强器330。显示控制器300还可包括高动态范围(HDR)单元310、寄存器340和帧率控制单元350。显示控制器300可以被称作显示处理单元(DPU)。
HDR单元310接收多个层数据LDAT,并且基于来自寄存器340的第一控制信号CONT1对多个层数据LDAT执行HDR处理。多个层数据LDAT可以与参照图1描述的多个层数据LDAT基本相同。与对应于多个层数据LDAT的所述多个图像比较,对应于从HDR单元310输出并且对其执行了HDR处理的多个层数据LDAT’的多个图像可包括具有扩展的动态范围的HDR图像。如稍后将描述的,可以基于输入至寄存器340的至少一个元数据MDAT产生第一控制信号CONT1,因此,HDR单元310可以产生基于至少一个元数据MDAT产生对其执行了HDR处理的多个层数据LDAT’。
混合器320基于来自寄存器340的第二控制信号CONT2和从HDR单元310输出并且对其执行了HDR处理的多个层数据LDAT’产生第一图像数据IDAT和像素映射数据PMDAT。显示质量增强器330基于从混合器320输出的第一图像数据IDAT和像素映射数据PMDAT产生第二图像数据EDAT。如稍后将描述的,可以通过寄存器340基于至少一个元数据MDAT来产生第二控制信号CONT2,因此,混合器320可以基于至少一个元数据MDAT产生第一图像数据IDAT和像素映射数据PMDAT。
混合器320和显示质量增强器330可以分别与图1的混合器110和显示质量增强器120基本相同。例如,混合器320和显示质量增强器330可以具有图2所示的配置,并且可以执行参照图3至图10B描述的操作。
在一些示例实施例中,可以将包括混合器320和显示质量增强器330的显示控制器300描述为包括根据示例实施例的图像处理装置100,并且/或者可以将包括HDR单元310、混合器320、显示质量增强器330、寄存器340和帧率控制单元350的显示控制器300描述为根据示例实施例的图像处理装置。
寄存器340接收对应于多个层数据LDAT中的至少一个的至少一个元数据MDAT,并且基于至少一个元数据MDAT产生第一控制信号CONT1、第二控制信号CONT2和第三控制信号CONT3。例如,寄存器340可包括至少一个设定寄存器。
帧率控制单元350基于基于至少一个元数据MDAT产生的第三控制信号CONT3产生用于控制显示装置的帧率的帧率控制信号FRC。例如,帧率控制单元350可以产生用于调整显示装置的帧率的帧率控制信号FRC。
图12和图13是示出根据示例性实施例的包括图像处理装置的应用处理器的框图。将不重复上面参照图1和图11提供的描述。
参照图12,应用处理器500包括处理器(例如,知识产权(IP)或图形处理单元)510、帧缓冲器512、元数据缓冲器(MB)514、HDR单元310、混合器320、显示质量增强器330、寄存器340和帧率控制单元350。
处理器510提供层数据LDAT11和LDAT21以及对应于层数据LDAT11和LDAT21的元数据MDAT11。例如,处理器510可包括图形处理单元(GPU)。
帧缓冲器512存储和输出层数据LDAT11和LDAT21,并且元数据缓冲器514存储和输出元数据MDAT11。例如,帧缓冲器512和元数据缓冲器514中的每一个可以对应于一个存储器装置的部分区。
在图12的示例中,可以从一个处理器(或者一个数据处理装置)510提供层数据LDAT11和LDAT21。
HDR单元310、混合器320、显示质量增强器330、寄存器340和帧率控制单元350可以分别与图11中的HDR单元310、混合器320、显示质量增强器330、寄存器340和帧率控制单元350基本相同。HDR单元310对层数据LDAT11和LDAT21执行HDR处理,并且寄存器340基于元数据MDAT11产生控制信号CONT1、CONT2和CONT3。
参照图13,应用处理器600包括多个处理器(或IP)610、620、630和640、帧缓冲器612、622、632和642、元数据缓冲器624、634和644、后处理单元650、HDR单元310、混合器320、显示质量增强器330、寄存器340和帧率控制单元350。
处理器610提供层数据LDAT12,处理器620提供层数据LDAT22和对应于层数据LDAT22的元数据MDAT22,处理器630提供层数据LDAT32和对应于层数据LDAT32的元数据MDAT32,并且处理器640提供层数据LDAT42和对应于层数据LDAT42的元数据MDAT42。例如,处理器610可包括第三方IP,处理器620可包括图像信号处理器(ISP)和/或图形显示控制器(GDC),处理器630可包括多格式编解码器(MFC),并且处理器640可包括GPU。例如,第三方IP可以不提供元数据。
帧缓冲器612存储和输出层数据LDAT12,帧缓冲器622存储和输出层数据LDAT22,帧缓冲器632存储和输出层数据LDAT32,帧缓冲器642存储和输出层数据LDAT42。元数据缓冲器624存储和输出元数据MDAT22,元数据缓冲器634存储和输出元数据MDAT32,元数据缓冲器644存储和输出元数据MDAT42。
后处理单元650可以对层数据LDAT12执行后处理,并且提供经后处理的层数据LDAT12。例如,后处理单元650可包括GPU、中央处理单元(CPU)、数字信号处理器(DSP)和神经处理单元(NPU)中的至少一个,并且/或者可包括各种其它数据处理装置。当层数据LDAT12被后处理时,后处理单元650可以将经后处理的层数据LDAT12和对应于经后处理的层数据LDAT12的元数据一起提供。
在图13的示例中,可以从两个或更多个处理器(或者两个或更多个数据处理装置)610、620、630和640提供层数据LDAT12、LDAT22、LDAT32和LDAT42。
HDR单元310、混合器320、显示质量增强器330、寄存器340和帧率控制单元350可以分别与图11中的HDR单元310、混合器320、显示质量增强器330、寄存器340和帧率控制单元350基本相同。HDR单元310对层数据LDAT12、LDAT22、LDAT32和LDAT42执行HDR处理,并且寄存器340基于元数据MDAT22、MDAT32和MDAT42产生控制信号CONT1、CONT2和CONT3。
图14是示出根据示例性实施例的包括应用处理器的电子装置的框图。
参照图14,电子装置700包括应用处理器701和显示装置。
应用处理器701包括显示控制器702。应用处理器701可为图12的应用处理器500和图13的应用处理器600之一,显示控制器702可为图11的显示控制器300。
显示装置包括显示面板710和显示器驱动器集成电路。显示器驱动器集成电路可包括数据驱动器720、扫描驱动器730、电源740和时序控制器750。
显示面板710基于图像数据操作(例如,显示图像)。显示面板710可以通过多条数据线D1、D2、……、DM连接至数据驱动器720,并且可以通过多条扫描线S1、S2、……、SN连接至扫描驱动器730。多条数据线D1、D2、……、DM可以在第一方向上延伸,多条扫描线S1、S2、……、SN可以在与第一方向交叉(例如,基本垂直于第一方向)的第二方向上延伸。
显示面板710可包括按照具有多个行和多个列的矩阵布置的多个像素PX。多个像素PX中的每一个可包括发光元件和用于驱动发光元件的驱动晶体管。多个像素PX中的每一个可以电连接至多条数据线D1、D2、……、DM中的对应的一条和多条扫描线S1、S2、……、SN中的对应的一条。
在一些示例实施例中,显示面板710可为在不使用背光单元的情况下发光的自发射显示面板。例如,显示面板710可为包括OLED作为发光元件的有机发光二极管(OLED)显示面板。
在一些示例实施例中,显示面板710中包括的多个像素PX中的每一个可以根据显示装置的驱动方案具有各种配置。例如,显示装置可以通过模拟或数字驱动方案驱动。虽然模拟驱动方案利用对应于输入数据的可用电压电平来产生灰度,但是数字驱动方案利用其中LED发光的可变时间段来产生灰度。模拟驱动方案难以实施,因为如果显示器大并且具有高分辨率,则其需要制造复杂的驱动集成电路(IC)。另一方面,数字驱动方案可以通过更简单的IC结构来容易地实现所需的高分辨率。
时序控制器750控制显示装置的整体操作。例如,时序控制器750可以从应用处理器701接收输入控制信号ICS,并且可以基于输入控制信号ICS将预定控制信号CS1、CS2和CS3提供至数据驱动器720、扫描驱动器730和电源740,以控制显示装置的操作。例如,输入控制信号ICS可包括主时钟信号、数据使能信号、水平同步信号、垂直同步信号等。例如,输入控制信号ICS还可包括参照图11描述的帧率控制信号FRC。
时序控制器750从应用处理器701接收多个输入图像数据IDS,并且基于多个输入图像数据IDS产生用于图像显示的多个输出图像数据ODS。例如,多个输入图像数据IDS可包括参照图1描述的第二图像数据EDAT。例如,输入图像数据IDS可包括红色图像数据、绿色图像数据和蓝色图像数据。另外,输入图像数据IDS可包括白色图像数据。可替换地,输入图像数据IDS可包括品红色图像数据、黄色图像数据、青色图像数据等。多个输入图像数据IDS中的每一个和多个输出图像数据ODS中的每一个可以对应于一帧图像。
数据驱动器720可以基于来自时序控制器750的控制信号CS1和多个输出图像数据ODS产生多个数据电压,并且可以通过多条数据线D1,D2、……、DM将所述多个数据电压施加到显示面板710。例如,数据驱动器720可包括将数字形式的多个输出图像数据ODS转换为模拟形式的所述多个数据电压的数模转换器(DAC)。
扫描驱动器730可以基于来自时序控制器750的控制信号CS2产生多个扫描信号,并且可以通过多条扫描线S1,S2、……、SN将所述多个扫描信号施加到显示面板710。多条扫描线S1,S2、……、SN可以基于所述多个扫描信号按次序激活。
在一些示例实施例中,数据驱动器720、扫描驱动器730和时序控制器750可以实施为一个集成电路(IC)。在其它示例实施例中,数据驱动器720、扫描驱动器730和时序控制器750可以实施为两个或更多个集成电路。至少包括时序控制器750和数据驱动器720的驱动模块可以被称作时序控制器嵌入式数据驱动器(TED)。
电源740可以基于来自时序控制器750的控制信号CS3将第一电源电压ELVDD和第二电源电压ELVSS施加至显示面板710。例如,第一电源电压ELVDD可为高电源电压,第二电源电压ELVSS可为低电源电压。
在一些示例实施例中,显示器驱动器集成电路中包括的至少一些元件可以设置在(例如,直接安装在)显示面板710上,或者可以以载带封装(TCP)型连接至显示面板710。可替换地,显示器驱动器集成电路中包括的至少一些元件可以集成在显示面板710上。在一些示例实施例中,显示器驱动器集成电路中包括的元件可以利用分离的电路/模块/芯片来分别实施。在其它示例实施例中,基于功能,显示器驱动器集成电路中包括的一些元件可以组合成一个电路/模块/芯片,或者还可以分离为多个电路/模块/芯片。
图15是示出根据示例性实施例的图像处理装置的框图。将不重复已经随图1提供的描述。
参照图15,图像处理装置800包括混合器810和显示质量增强器820。
混合器810接收多个层数据LDAT,通过混合多个层数据LDAT来产生第一图像数据IDAT,并且基于多个层数据LDAT产生块映射数据BMDAT。除了混合器810产生块映射数据BMDAT而不是像素映射数据PMDAT之外,混合器810可以与图1的混合器110基本相同。
块映射数据BMDAT包括表示将被应用于第一图像数据IDAT中包括的多个像素值的显示质量增强算法的多个块ID。例如,如将参照图16描述的,显示装置中包括的多个像素中的两个或更多个被分组以形成多个块,并且所述多个块ID中的每一个对应于所述多个块中的对应的一个。除了块ID对应于一个块而非一个像素之外,块ID可以与图1中的像素ID基本相同。
显示质量增强器820基于第一图像数据IDAT和块映射数据BMDAT通过将不同的显示质量增强算法应用于所述多个像素值中的至少一些来产生第二图像数据EDAT’。如与图1中的第二图像数据EDAT一样,第二图像数据EDAT’包括多个显示质量增强像素值。与图1中的第二图像数据EDAT不同,可以基于同一个块ID将相同的显示质量增强算法应用于对应于同一个块的像素值。
图像处理装置800可以具有与图2所示的配置相似的配置。例如,混合器810可包括混合块和块映射产生器,并且显示质量增强器820可包括多个寄存器、复用器和增强块。另外,图像处理装置800可以与参照图3至图10B描述的操作相似地操作,并且可以被包括在参照图11至图14描述的显示控制器、应用处理器和/或电子装置中。
图16是用于描述根据示例性实施例的图像处理装置的操作的图。
参照图16,示出了对应于显示在图3的显示装置200上的一个合成图像(例如,图4的合成图像CIMG)产生的块映射BMAP。
在图16的示例中,两个像素可以形成一个块,并且块映射BMAP可包括对应于多个块的多个块ID BID_11、BID_12、BID_13、BID_14、BID_15、BID_16、BID_17、BID_18、BID_21、BID_22、BID_23、BID_24、BID_25、BID_26、BID_27、BID_28、BID_31、BID_32、BID_33、BID_34、BID_35、BID_36、BID_37、BID_38、BID_41、BID_42、BID_43、BID_44、BID_45、BID_46、BID_47、BID_48、BID_51、BID_52、BID_53、BID_54、BID_55、BID_56、BID_57、BID_58、BID_61、BID_62、BID_63、BID_64、BID_65、BID_66、BID_67和BID_68。
当基于块映射BMAP以块为单位通过将不同的优化显示质量增强算法应用于合成图像(例如,图4的合成图像CIMG)来产生具有改进的显示质量的合成图像时,例如,可以通过应用基于块ID BID_11选择的至少一个显示质量增强算法来产生像素P11和P21的像素值,并且可以通过应用基于块ID BID_12选择的至少一个显示质量增强算法来产生像素P12和P22的像素值。应用于像素P11和P21的像素值的显示质量增强算法和应用于像素P12和P22的像素值的显示质量增强算法可以彼此相同或不同。也就是说,被配置为处理各个块的至少一个显示质量增强算法可以覆盖更宽范围的像素,从而增加处理每个像素的速度。
虽然基于特定数量的像素、块和块ID描述了示例实施例,但是示例实施例不限于此。
图17是示出根据示例性实施例的图像处理方法的流程图。
参照图1和图17,在根据示例实施例的图像处理方法中,接收多个层数据LDAT(步骤S100)。多个层数据LDAT表示将被显示在显示装置中的一个屏幕上的多个图像。通过混合多个层数据LDAT来产生第一图像数据IDAT(步骤S200)。第一图像数据IDAT包括对应于所述一个屏幕的多个像素值。基于多个层数据LDAT产生像素映射数据PMDAT(步骤S300)。像素映射数据PMDAT包括多个像素身份(ID),其指示将应用于所述多个像素值的显示质量增强算法。这里,可以通过图1所示的混合器110或根据所述一个或多个实施例的其它混合器来执行步骤S100、步骤S200和步骤S300。
基于第一图像数据IDAT和像素映射数据PMDAT通过将不同的显示质量增强算法应用于所述多个像素值来产生第二图像数据EDAT(步骤S400)。第二图像数据EDAT包括多个显示质量增强像素值。可以通过图1的显示质量增强器120或者根据所述一个或多个实施例的其它显示质量增强器来执行步骤S400。
图18和图19是示出图17中的产生第二图像数据的示例的流程图。
参照图2、图17和图18,当产生第二图像数据EDAT(步骤S400)时,可以基于第一像素ID PID1选择用于第一像素值PV1的至少一个显示质量增强算法(步骤S510),可以通过将通过步骤S510选择的所述至少一个显示质量增强算法应用于第一像素值PV1来产生第一显示质量增强像素值EPV1(步骤S610)。之后,可以基于第N像素ID PIDN选择用于第N像素值PVN的至少一个显示质量增强算法(步骤S520),并且可以通过将通过步骤S520选择的所述至少一个显示质量增强算法应用于第N像素值PVN来产生第N显示质量增强像素值EPVN(步骤S620)。换句话说,图18的示例示出了针对每个像素值按次序执行选择显示质量增强算法的操作和产生显示质量增强像素值的操作。
参照图2、图17和图19,当产生第二图像数据EDAT(步骤S400)时,可以基于第一像素ID PID1选择用于第一像素值PV1的至少一个显示质量增强算法(步骤S510),并且可以基于第N像素ID PIDN选择用于第N像素值PVN的至少一个显示质量增强算法(步骤S520)。接着,可以通过将步骤S510中选择的所述至少一个显示质量增强算法应用于第一像素值PV1来产生第一显示质量增强像素值EPV1(步骤S610),并且可以通过将步骤S520中选择的所述至少一个显示质量增强算法应用于第N像素值PVN来产生第N显示质量增强像素值EPVN(步骤S620)。图19的示例示出了针对所有像素值按次序执行选择显示质量增强算法的操作,然后对所有像素值按次序执行产生显示质量增强像素值的操作。
图20、图21和图22是示出根据示例性实施例的图像处理方法的流程图。将不重复上面参照图17提供的描述。
参照图10A和图20,在根据示例实施例的图像处理方法中,在第一帧中产生了第一帧图像F1、第一像素映射PM1和第一显示质量增强帧图像EF1(步骤S1100)。在第一帧之后的第二帧中产生第二帧图像F2、第二像素映射PM2和第二显示质量增强帧图像EF2(步骤S1200)。可以基于图17中的步骤S100、步骤S200、步骤S300和步骤S400执行步骤S1100和步骤S1200中的每一个。图20的示例示出了针对每个帧产生图像数据和像素映射数据。
参照图10B和图21,在根据示例实施例的图像处理方法中,步骤S1100可以与图20中的步骤S1100基本相同。可以在第一帧之后的第二帧中产生第二帧图像F2和第二显示质量增强帧图像EF2’(步骤S1300)。可以基于图17中的步骤S100、步骤S200和步骤S400执行步骤S1300。在第二帧中,可以不产生第二像素映射PM2,可以基于当前产生的第二帧图像F2和先前产生的第一像素映射PM1产生第二显示质量增强帧图像EF2’。图21的示例示出了针对每个帧产生图像数据,并且针对X个帧产生像素映射数据。
参照图15和图22,在根据示例实施例的图像处理方法中,步骤S100和步骤S200可以分别与图17中的步骤S100和步骤S200基本相同。与参照图17描述的实施例相反,在图22中,基于多个层数据LDAT产生块映射数据BMDAT(步骤S350)。块映射数据BMDAT包括多个块ID,其指示将被应用于包括一个或多个像素值的所述多个块的显示质量增强算法。可以通过混合器810执行步骤S100、步骤S200和步骤S350。
基于第一图像数据IDAT和块映射数据BMDAT通过将不同的显示质量增强算法应用于所述多个像素值中的至少一些来产生第二图像数据EDAT’(步骤S450)。第二图像数据EDAT’包括多个显示质量增强像素值。可以通过显示质量增强器820执行步骤S450。可以基于相同的块ID将相同的显示质量增强算法应用于对应于相同的块的像素值。
本领域技术人员将理解,本发明构思可以实施为系统、方法、计算机程序产品和/或具有其上存储有计算机可读程序代码的一个或多个计算机可读介质中具体体现的计算机程序产品。计算机可读程序代码可被计算机的处理器或其它可编程数据处理设备访问。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是任何有形介质,所述有形介质可以包含或存储由指令执行系统、设备或装置使用或者与指令执行系统、设备或装置结合使用的程序。例如,计算机可读介质可以是非暂时性计算机可读介质。
图23是示出根据示例性实施例的包括应用处理器的电子系统的框图。
参照图23,电子系统1000可以实现为使用或支持移动工业处理器接口(MIPI)接口的数据处理装置。电子系统1000可以包括应用处理器1110、图像传感器1140、显示装置1150等。电子系统1000还可以包括射频(RF)芯片1160、全球定位系统(GPS)1120、存储部1170、麦克风(MIC)1180、动态随机存取存储器(DRAM)1185和扬声器1190。此外,电子系统1000可以使用超宽带(UWB)1210、无线局域网(WLAN)1220、微波存取全球互通(WIMAX)1230等来执行通信。
应用处理器1110可以是控制图像传感器1140和显示装置1150的操作的控制器或处理器。
应用处理器1110可以包括执行与显示装置1150的DSI装置1151的串行通信的显示器串行接口(DSI)主机1111、执行与图像传感器1140的CSI装置1141的串行通信的相机串行接口(CSI)主机1112、基于MIPI DigRF执行与RF芯片1160的物理层(PHY)1161的数据通信的PHY 1113、以及控制物理层1161的数据通信的DigRF主设备1114。可以通过DigRF主设备1114来控制RF芯片1160的DigRF从设备1162。
在一些示例实施例中,DSI主机1111可以包括串行器(SER),DSI装置1151可以包括解串行器(DES)。在一些示例实施例中,CSI主机1112可以包括解串行器(DES),并且CSI装置1141可以包括串行器(SER)。
应用处理器1110和DSI主机1111可以是根据示例性实施例的应用处理器和显示控制器,并且可以包括根据示例性实施例的图像处理装置。
一个或多个发明构思可应用于包括图像处理装置和显示装置的各种装置和系统。例如,本发明构思可应用于诸如个人计算机(PC)、服务器计算机、数据中心、工作站、移动电话、智能电话、平板计算机、笔记本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、数码相机、便携式游戏机、音乐播放器、摄像机、视频播放器、导航装置、可穿戴装置、物联网(IoT)装置、万物网(IoE)装置、电子书阅读器、虚拟现实(VR)装置、增强现实(AR)装置、机器人装置、无人机等的系统。
上述内容是示例实施例的说明,并且不应解释为限制本发明的一个或多个实施例的范围。尽管已经描述了一些示例实施例,但是本领域技术人员将容易理解,在实质上不脱离示例实施例的新颖教导和优点的情况下,可以对示例性实施例进行许多修改、替换和改进。因此,所有此类修改、替换和改进应被解释为落入如所附权利要求中所限定的示例实施例的范围内。

Claims (20)

1.一种图像处理装置,其包括至少一个处理器,所述至少一个处理器被配置为实现:
混合器,其被配置为:
接收多个层数据;
通过混合所述多个层数据来产生第一图像数据,所述第一图像数据包括对应于显示装置中的一个屏幕的多个像素值;以及
基于所述多个层数据产生包括多个像素ID的像素映射数据,所述多个层数据表示将在所述显示装置中的所述一个屏幕上显示的多个图像,所述多个像素ID指示将应用于所述多个像素值的一个或多个显示质量增强算法;以及
显示质量增强器,其被配置为基于所述第一图像数据和所述像素映射数据通过将所述一个或多个显示质量增强算法应用于所述多个像素值来产生包括多个显示质量增强像素值的第二图像数据。
2.根据权利要求1所述的图像处理装置,其中,
所述多个像素值包括第一像素值至第N像素值,其中N是大于或等于二的自然数;
所述多个像素ID包括第一像素ID至第N像素ID;
所述多个显示质量增强像素值包括第一显示质量增强像素值至第N显示质量增强像素值;并且
所述显示质量增强器还被配置为:
基于所述第一像素ID选择所述一个或多个显示质量增强算法中的第一显示质量增强算法;以及
通过将所述第一显示质量增强算法应用于所述多个像素值中的第一像素值来产生所述第一显示质量增强像素值。
3.根据权利要求2所述的图像处理装置,其中,所述显示质量增强器还被配置为:
基于第二像素ID选择所述一个或多个显示质量增强算法中的与所述第一显示质量增强算法不同的第二显示质量增强算法;以及
通过将所述第二显示质量增强算法应用于所述多个像素值中的第二像素值来产生第二显示质量增强像素值。
4.根据权利要求2所述的图像处理装置,其中,所述显示质量增强器还被配置为:
基于所述第一像素ID选择所述一个或多个显示质量增强算法中的与所述第一显示质量增强算法不同的第二显示质量增强算法;以及
通过将所述第一显示质量增强算法和所述第二显示质量增强算法应用于所述第一像素值来产生所述第一显示质量增强像素值。
5.根据权利要求2所述的图像处理装置,其中,
所述多个图像包括第一图像至第K图像,其中K是大于或等于二的自然数;
所述多个层数据包括第一层数据至第K层数据;并且
基于在所述一个屏幕的包括第一像素的第一区上重叠和设置的第一图像和第二图像,所述混合器还被配置为基于表示所述第一图像的第一层数据和表示所述第二图像的第二层数据之一来产生所述第一像素ID。
6.根据权利要求5所述的图像处理装置,其中,基于将所述第一图像设置为在所述第一区上显示,所述混合器还被配置为基于所述第一层数据产生所述第一像素ID。
7.根据权利要求1所述的图像处理装置,其中,对应于所述多个层数据中的层数据的所述多个像素ID中的一个或多个具有相同像素ID。
8.根据权利要求1所述的图像处理装置,其中,对应于所述多个层数据中的层数据的所述多个像素ID中的一个或多个具有彼此不同的像素ID。
9.根据权利要求1所述的图像处理装置,其中,所述混合器包括:
混合块,其被配置为基于所述多个层数据通过合成所述多个图像来产生对应于将被显示在所述一个屏幕上的一个合成图像的所述多个像素值;以及
像素映射产生器,其被配置为基于所述多个层数据针对对应于所述一个合成图像的所述多个像素值来产生所述多个像素ID。
10.根据权利要求1所述的图像处理装置,其中,所述显示质量增强器包括:
多个寄存器,其被配置为存储用于多个显示质量增强算法的多个显示质量增强参数;
复用器,其被配置为基于所述多个像素ID选择所述多个显示质量增强算法中的至少一个显示质量增强算法;以及
增强块,其被配置为基于所述多个像素值和所述多个显示质量增强算法中的所述至少一个显示质量增强算法来产生所述多个显示质量增强像素值。
11.根据权利要求1所述的图像处理装置,其中,
所述图像处理装置还被配置为接收对应于所述多个层数据中的至少一个层数据的至少一个元数据;以及
所述混合器还被配置为基于所述多个层数据和所述至少一个元数据产生所述像素映射数据。
12.根据权利要求11所述的图像处理装置,还包括帧率控制单元,其被配置为基于所述至少一个元数据控制所述图像处理装置的帧率。
13.根据权利要求1所述的图像处理装置,其中,从一个或多个外部数据处理装置提供所述多个层数据。
14.根据权利要求1所述的图像处理装置,其中,
所述混合器还被配置为选择性地产生用于所述多个像素值中的一部分像素值的像素ID;并且
所述显示质量增强器还被配置为通过将所述一个或多个显示质量增强算法应用于所述多个像素值中的一部分像素值来产生所述多个显示质量增强像素值中的一部分显示质量增强像素值。
15.根据权利要求1所述的图像处理装置,其中,所述混合器还被配置为针对每一帧产生所述第一图像数据和所述像素映射数据。
16.根据权利要求1所述的图像处理装置,其中,所述混合器还被配置为针对每一帧产生所述第一图像数据,并且针对X个帧产生所述像素映射数据,其中X是大于或等于二的自然数。
17.一种图像处理方法,包括:
接收多个层数据,所述多个层数据表示将被显示在显示装置中的一个屏幕上的多个图像;
通过混合所述多个层数据来产生第一图像数据,所述第一图像数据包括对应于所述一个屏幕的多个像素值;
基于所述多个层数据产生包括多个像素ID的像素映射数据,所述多个像素ID指示将被应用于所述多个像素值的一个或多个显示质量增强算法;以及
基于所述第一图像数据和所述像素映射数据通过将所述一个或多个显示质量增强算法应用于所述多个像素值来产生包括多个显示质量增强像素值的第二图像数据。
18.根据权利要求17所述的图像处理方法,其中,
所述多个像素值包括第一像素值至第N像素值,其中N是大于或等于二的自然数;
所述多个像素ID包括第一像素ID至第N像素ID;
所述多个显示质量增强像素值包括第一显示质量增强像素值至第N显示质量增强像素值;并且
其中,产生包括所述多个显示质量增强像素值的所述第二图像数据的步骤包括:
基于所述第一像素ID针对所述第一像素值选择所述一个或多个显示质量增强算法中的第一显示质量增强算法,并且基于所述第一像素值产生所述第一显示质量增强像素值;以及
基于所述第N像素ID针对所述第N像素值选择第N显示质量增强算法,并且基于所述第N像素值产生所述第N显示质量增强像素值。
19.根据权利要求17所述的图像处理方法,其中,
所述多个像素值包括第一像素值至第N像素值,其中N是大于或等于二的自然数;
所述多个像素ID包括第一像素ID至第N像素ID;
所述多个显示质量增强像素值包括第一显示质量增强像素值至第N显示质量增强像素值;并且
其中,产生包括所述多个显示质量增强像素值的所述第二图像数据的步骤包括:
基于所述第一像素ID至所述第N像素ID针对所述第一像素值至所述第N像素值选择一个或多个显示质量增强算法;以及
基于所述第一像素值至所述第N像素值产生所述第一显示质量增强像素值至所述第N显示质量增强像素值。
20.一种应用处理器,包括:
至少一个处理器;以及
显示控制器,其被配置为与所述至少一个处理器互操作,
其中,所述显示控制器包括:
高动态范围单元,其被配置为从所述至少一个处理器接收多个层数据,并且基于第一控制信号对所述多个层数据执行高动态范围处理,所述多个层数据表示将被显示在显示装置中的一个屏幕上的多个图像;
混合器,其被配置为基于所述高动态范围单元的输出和第二控制信号通过混合所述多个层数据来产生第一图像数据,并且基于所述高动态范围单元的输出和所述第二控制信号产生包括多个像素ID的像素映射数据,所述第一图像数据包括对应于所述一个屏幕的多个像素值,所述多个像素ID指示将被应用于所述多个像素值的一个或多个显示质量增强算法;
显示质量增强器,其被配置为基于所述第一图像数据和所述像素映射数据通过将所述一个或多个显示质量增强算法应用于所述多个像素值来产生包括多个显示质量增强像素值的第二图像数据;
寄存器,其被配置为从所述至少一个处理器接收对应于所述多个层数据中的至少一个层数据的至少一个元数据,并且基于所述至少一个元数据产生所述第一控制信号、所述第二控制信号和第三控制信号;以及
帧率控制单元,其被配置为基于所述第三控制信号控制所述显示装置的帧率。
CN202110796230.3A 2020-08-31 2021-07-14 图像处理装置和图像处理方法以及应用处理器 Pending CN114125322A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200110041A KR20220028698A (ko) 2020-08-31 2020-08-31 고해상도 디스플레이를 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 어플리케이션 프로세서
KR10-2020-0110041 2020-08-31

Publications (1)

Publication Number Publication Date
CN114125322A true CN114125322A (zh) 2022-03-01

Family

ID=80221619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110796230.3A Pending CN114125322A (zh) 2020-08-31 2021-07-14 图像处理装置和图像处理方法以及应用处理器

Country Status (6)

Country Link
US (1) US11694617B2 (zh)
JP (1) JP2022041985A (zh)
KR (1) KR20220028698A (zh)
CN (1) CN114125322A (zh)
DE (1) DE102021108746A1 (zh)
TW (1) TW202211155A (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021016459A (ja) * 2019-07-18 2021-02-15 株式会社三洋物産 遊技機
JP2022069615A (ja) * 2019-07-18 2022-05-11 株式会社三洋物産 遊技機
JP2022069616A (ja) * 2019-07-18 2022-05-11 株式会社三洋物産 遊技機
JP2022069618A (ja) * 2019-07-18 2022-05-11 株式会社三洋物産 遊技機
JP2022069620A (ja) * 2019-07-18 2022-05-11 株式会社三洋物産 遊技機
JP2021016456A (ja) * 2019-07-18 2021-02-15 株式会社三洋物産 遊技機
JP2022069613A (ja) * 2019-07-18 2022-05-11 株式会社三洋物産 遊技機
JP2022069617A (ja) * 2019-07-18 2022-05-11 株式会社三洋物産 遊技機
JP7243504B2 (ja) * 2019-07-18 2023-03-22 株式会社三洋物産 遊技機
WO2024076011A1 (ko) * 2022-10-06 2024-04-11 삼성전자 주식회사 비디오 편집을 위한 전자 장치 및 그 동작 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466210B1 (en) 1997-12-22 2002-10-15 Adobe Systems Incorporated Blending image data using layers
US6020897A (en) 1997-12-22 2000-02-01 Adobe Systems Incorporated Dehalftoning of digital images
US6400844B1 (en) 1998-12-02 2002-06-04 Xerox Corporation Method and apparatus for segmenting data to create mixed raster content planes
US7023410B2 (en) 2002-04-08 2006-04-04 Samsung Electronics Co., Ltd. Liquid crystal display device
US7379063B2 (en) 2004-07-29 2008-05-27 Raytheon Company Mapping application for rendering pixel imagery
KR101556159B1 (ko) 2009-03-02 2015-10-13 삼성전자주식회사 이미지 프로세서, 이를 포함하는 전자 장치, 및 이미지 처리 방법
JP5603202B2 (ja) 2010-11-01 2014-10-08 株式会社メガチップス 画像処理装置および画像処理装置の動作方法
KR101906150B1 (ko) 2011-12-30 2018-10-11 삼성전자 주식회사 디스플레이장치 및 그 영상표시방법
US9294662B2 (en) * 2013-10-16 2016-03-22 Broadcom Corporation Depth map generation and post-capture focusing
US9811932B2 (en) 2015-04-17 2017-11-07 Nxp Usa, Inc. Display controller, heads-up image display system and method thereof
JP6871945B2 (ja) * 2015-12-21 2021-05-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 特定のディスプレイのための高ダイナミックレンジ画像の最適化
KR102488333B1 (ko) 2016-04-27 2023-01-13 삼성전자주식회사 그래픽 데이터를 합성하는 전자 장치 및 방법
US10607319B2 (en) * 2017-04-06 2020-03-31 Pixar Denoising monte carlo renderings using progressive neural networks
KR102394190B1 (ko) 2017-11-13 2022-05-09 엘지전자 주식회사 유기 발광 다이오드 디스플레이 장치 및 그의 동작 방법
US10957024B2 (en) * 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
KR20200110041A (ko) 2019-03-15 2020-09-23 쓰리엠 이노베이티브 프로퍼티즈 캄파니 디스플레이 패널용 필름

Also Published As

Publication number Publication date
DE102021108746A1 (de) 2022-03-03
US11694617B2 (en) 2023-07-04
US20220068201A1 (en) 2022-03-03
JP2022041985A (ja) 2022-03-11
KR20220028698A (ko) 2022-03-08
TW202211155A (zh) 2022-03-16

Similar Documents

Publication Publication Date Title
CN114125322A (zh) 图像处理装置和图像处理方法以及应用处理器
US20240071308A1 (en) Display device and pixel circuit thereof
US10614765B2 (en) Display device and method of driving the display device
US10210800B2 (en) Distributive-driving of display panel
JP2020021083A (ja) 表示装置及びそのゲート駆動回路
US11062637B2 (en) Display device and method of driving the same
CN106373515A (zh) 显示驱动器及包括该显示驱动器的显示装置
US20140300625A1 (en) Display device and method of compensating colors of the display device
CN117015268A (zh) 显示面板以及包括其的显示装置和移动终端
JP7171995B2 (ja) 画素ブロックベース表示データの処理および送信
KR102665516B1 (ko) 표시 장치
CN114333692A (zh) 显示面板及使用其的显示设备
CN114005423A (zh) 亮度补偿方法、亮度补偿系统和显示系统
US11935474B2 (en) Display device and operating method of display device
CN116072053A (zh) 可变帧率应用处理器和包括其的显示系统
CN118280292A (zh) 像素电路、显示面板和包括其的显示设备
CN118212879A (zh) 像素电路和包括该像素电路的显示装置
CN115938311A (zh) 像素电路和包括该像素电路的显示装置
CN116343674A (zh) 堆叠的显示驱动器集成电路和包括该电路的显示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination