CN113891054A - 高效灵活的色彩处理器 - Google Patents

高效灵活的色彩处理器 Download PDF

Info

Publication number
CN113891054A
CN113891054A CN202111299625.9A CN202111299625A CN113891054A CN 113891054 A CN113891054 A CN 113891054A CN 202111299625 A CN202111299625 A CN 202111299625A CN 113891054 A CN113891054 A CN 113891054A
Authority
CN
China
Prior art keywords
component
image
circuit
output
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111299625.9A
Other languages
English (en)
Other versions
CN113891054B (zh
Inventor
米希尔·纳伦德拉·莫迪
沙尚克·达布拉尔
R·阿留
尼拉吉·南丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Texas Instruments Inc
Original Assignee
Texas Instruments Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Texas Instruments Inc filed Critical Texas Instruments Inc
Priority to CN202111299625.9A priority Critical patent/CN113891054B/zh
Publication of CN113891054A publication Critical patent/CN113891054A/zh
Application granted granted Critical
Publication of CN113891054B publication Critical patent/CN113891054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明涉及一种高效灵活的色彩处理器。图像信号处理器包含第一矩阵处理电路(304)、后处理电路(306)、第二矩阵处理电路(310)及分离视觉及分析电路(308)。所述第一矩阵处理电路(304)经配置以接收基于由图像传感器捕获的图像产生的多个分量图像(252)，且基于所述多个分量图像(252)产生多个第一矩阵输出(324)。所述后处理电路(306)经配置以对所述多个第一矩阵输出(324)执行颜色转换以产生所述图像的第一亮度分量(454)及所述图像的色度分量(460)。所述第二矩阵处理电路(310)经配置以对所述多个第一矩阵输出(324)执行颜色转换以产生所述图像的第二亮度分量(488)及所述图像的饱和度分量(490)。所述分离视觉及分析电路(308)经配置以产生所述图像的视觉及分析数据(474、476、478)。

Description

高效灵活的色彩处理器
分案申请的相关信息
本申请是申请日为2017年12月27日，申请号为“201711452832.7”，发明名称为“高效灵活的色彩处理器”的发明专利申请的分案申请。
技术领域
本发明涉及一种高效灵活的色彩处理器。
背景技术
在数字图像处理中，图像传感器通常被由彩色滤光器的马赛克组成的彩色滤光器阵列(CFA)覆盖。彩色滤光器的马赛克经配置以按照波长对通过滤光器的马赛克且因此由图像传感器接收的光进行滤波。接着利用去马赛克或CFA插值算法以从原始图像传感器捕获的数据产生全色图像。常规的去马赛克技术利用针对给定的CFA格式(例如，拜耳、红色/清色滤光器(RCCC)等)调整的独特算法。
发明内容
上述问题主要通过用于对由图像传感器捕获的图像进行色彩处理的系统及方法来解决。在一些实施例中，图像信号处理器包含第一矩阵处理电路、后处理电路、第二矩阵处理电路及分离视觉及分析电路。第一矩阵处理电路经配置以接收基于由图像传感器捕获的图像产生的多个分量图像。第一矩阵处理电路还经配置以基于多个分量图像产生多个第一矩阵输出。后处理电路经配置以对所述多个第一矩阵输出执行色彩转换以产生所述图像的第一亮度分量及所述图像的色度分量。第二矩阵处理电路经配置以对所述多个第一矩阵输出执行色彩转换以产生所述图像的第二亮度分量及所述图像的饱和度分量。分离视觉及分析电路经配置以产生所述图像的视觉数据及所述图像的分析数据。
另一说明性实施例是一种图像处理系统，其包含：滤光器阵列；图像传感器，其耦合到滤光器阵列；及图像子系统。滤光器阵列经配置以对电磁波滤波。图像传感器包含多个像素传感器。所述多个像素传感器中的每一者经配置以在所述电磁波被所述滤光器阵列滤波之后接收所述电磁波，且基于每一像素传感器处的所述电磁波的强度将所接收的电磁波转换为电信号以产生多个图像像素。图像子系统包含图像信号处理器。所述图像信号处理器经配置以基于所述多个图像像素产生多个分量图像。图像信号处理器还经配置以基于多个分量图像产生多个第一矩阵输出。图像信号处理器还经配置以对所述多个第一矩阵输出进行色彩转换以产生所述多个图像像素的第一亮度分量及色度分量。图像信号处理器还经配置以对所述多个第一矩阵输出进行色彩转换以产生所述多个图像像素的第二亮度分量及饱和度分量。图像信号处理器还经配置以产生所述多个图像像素的视觉数据及分析数据。
又一说明性实施例是一种用于对由图像传感器捕获的图像进行色彩处理的方法。所述方法包含基于多个分量图像产生多个第一矩阵输出，所述多个分量图像基于所述图像而产生。所述方法还包含对所述多个第一矩阵输出进行色彩转换以产生所述图像的第一亮度分量及色度分量。所述方法还包含对所述多个第一矩阵输出进行色彩转换以产生所述图像的第二亮度分量及饱和度分量。所述方法还包含产生所述图像的视觉数据及分析数据。
附图说明
关于各种实例的详细描述，现将参看附图，在附图中：
图1展示了根据各种实例的图像处理系统的说明性框图；
图2展示了根据各种实例的图像处理系统中包含的图像子系统的说明性框图；
图3展示了根据各种实例的图像处理系统的图像信号处理器中包含的色彩校正电路的说明性框图；
图4展示了根据各种实例的图像处理系统的图像信号处理器中包含的色彩校正电路的说明性框图；
图5展示了根据各种实例的图像处理系统的色彩校正电路中包含的四维矩阵处理电路的说明性框图；
图6展示了根据各种实例的图像处理系统的色彩校正电路中包含的非线性矩阵处理电路的说明性框图；及
图7展示了根据各种实例的用于对由图像传感器捕获的图像进行色彩处理的方法的说明性流程图。
标记符号及命名
贯穿下文描述及权利要求书使用某些术语以提及特定系统组件。所属领域的技术人员将了解，各公司可以通过不同名称来提及组件。本文献并不希望区分名称不同但功能相同的组件。在下文论述及权利要求书中，术语“包含”及“包括”是以开放式方式使用，且因此应被解释为意味着“包含但不限于……”。并且，术语“耦合(couple或couples)”希望意味着直接或间接连接。因此，如果第一装置耦合到第二装置，那么所述连接可以通过直接连接或通过经由其它装置及连接件的间接连接。“基于”的叙述旨在意味着“至少部分基于”。因此，如果X基于Y，那么X可基于Y及任何数量的其它因素。
具体实施方式
以下讨论是针对本发明的各个实施例。虽然这些实施例中的一或多者可为优选的，但是所揭示实施例不应被解译为或以其它方式用作限制本发明(包含权利要求书)的范围。另外，所属领域的技术人员将理解，下文描述具有广泛应用，且任何实施例的论述仅意味着所述实施例的示范性实施例，且并不希望暗示本发明(包含权利要求书)的范围限于所述实施例。
在数字图像处理中，图像传感器通常被由彩色滤光器的马赛克组成的彩色滤光器阵列(CFA)覆盖。彩色滤光器的马赛克经配置以按照波长对通过多种滤光器且因此由图像传感器接收的光进行滤波。接着利用去马赛克或CFA插值算法以从原始图像传感器捕获的数据产生全色图像。常规的去马赛克技术利用针对给定的CFA格式(例如，拜耳、红色/清色滤光器(RCCC)等)调整的独特算法。接着对去马赛克图像执行额外色彩处理。然而，随着多种新型传感器格式的出现，不同的拓扑已经开始出现。常规的色彩处理器需要用于产生视觉图像及分析数据供机器使用的不同算法。因而，需要可扩展的灵活解决方案来处置当前及未来的图像传感器及滤光器。
图1展示了根据各种实例的图像处理系统100的说明性框图。图像处理系统100可包含透镜102、CFA 104、图像传感器106及图像子系统108。电磁波150经配置以在被图像传感器106捕获之前通过透镜102以被CFA 104进行滤波。电磁波150可包含各种色彩的可见光、红外波、紫外波、微波、无线电波等，或其任何组合。透镜102可为经配置以经由CFA 104将电磁波150聚焦到图像传感器106上的任何类型的可透射光学装置。例如，透镜102可为简单透镜、复合透镜、微波透镜、电子透镜、声学透镜等。
CFA 104可为经配置以按波长对电磁波150进行滤波的滤光器的马赛克。例如，CFA104可为拜耳(Bayer)滤光器。在拜耳滤光器中，布置可见光滤光器的马赛克，使得50％的滤光器允许绿光通过滤光器，25％的滤光器允许红光通过滤光器，且25％的滤光器允许蓝光通过滤光器。另外，绿色、红色及蓝色滤光器的图案构成2x2网格图案(即，对于任何给定的四个相邻的2x2像素，2个滤光器是绿色滤光器，1个滤光器是红色滤光器，且1个滤光器是蓝色滤光器)。在替代实施例中，CFA 104可为例如RGBE(红色、绿色、蓝色、祖母绿)滤光器、RCCC滤光器、RGB-IR(红色、绿色、蓝色、红外)滤光器等任何其它类型的滤光器，且可为2x2网格、4x4网格等形式。
CFA 104中的滤光器中的每一者可经布置以覆盖图像传感器106中的单个像素传感器。图像传感器106可为由多个像素传感器组成的任何类型的成像传感器，每一像素传感器经配置以基于所接收的电磁波的强度将经滤波电磁波152转换为电信号。在一些实施例中，图像传感器106是半导体电荷耦合装置(CCD)，而在替代实施例中，图像传感器106包含互补金属氧化物半导体(CMOS)传感器芯片上的有源像素传感器。因为每一像素传感器被CFA 104中的滤光器覆盖，所以每一像素传感器检测特定类型的电磁波的强度。例如，图像传感器106中的一些像素传感器可检测蓝色可见光的强度，图像传感器106中的一些像素传感器可检测红色可见光的强度，图像传感器106中的一些像素传感器可检测红外光的强度等。
图像子系统108经配置以接收由图像传感器106中的像素传感器检测到的原始像素数据154，且对原始像素数据提供图像处理以改进所捕获的图像的视觉质量，且从所捕获的数据输出全色图像160。更特定来说，图像子系统108包含支持异构传感器架构(例如，经配置以感测两种不同类型的电磁波(例如，可见光及红外光)的传感器)的电路。
图2展示了根据各种实例的图像处理系统100中包含的图像子系统108的说明性框图。图像子系统108可包含传感器接口202、图像信号处理器204及主处理器206。传感器接口202可为用于与图像传感器106介接以使得图像子系统108能够接收原始像素数据154的控制器。传感器接口202可为并行接口或串行接口。在其中传感器接口202是并行接口的实施例中，传感器接口202可由并行总线组成以使得能够接收原始像素数据154，所述并行总线含有视频数据以及按照ITU-T标准的HSync及Vsync信号。在传感器接口202是串行接口的实施例中，传感器接口202可支持利用低压差分信令(LVDS)串行地接收原始像素数据154。
图像信号处理器204可包含CFA去马赛克电路212及色彩校正电路214。CFA去马赛克电路212经配置以对原始像素数据154进行去马赛克。换句话说，CFA去马赛克电路212经配置以对原始像素数据154执行CFA内插以产生分量图像252。每一分量图像252是供原始像素数据的单个分量形成单个分量中的完整图像的经内插原始像素数据。例如，如果CFA 104是拜耳滤光器，那么一个分量图像将是如由图像传感器106捕获的红光的强度的完整图像。因为只有25％的像素将包含指示红光的强度的数据，所以去马赛克电路212对已经对红光进行滤波的像素的红光的强度进行内插。换句话说，CFA去马赛克电路212对来自图像传感器106的每个像素位置处的红光分量执行内插。类似地，第二分量图像将是如由图像传感器106捕获的蓝光的强度的完整图像。类似地，第三分量图像将是如由图像传感器106捕获的绿光的强度的完整图像。分量图像252也可为如由图像传感器106捕获的红外光的强度的完整图像。因此，在一些实施例中，CFA去马赛克电路212可产生四个分量图像252。
色彩校正电路214可经配置以提供色彩校正以产生视觉数据(例如，用于供人观看的所捕获电磁波150的全色图像)、灰度数据(例如，所捕获的电磁波150的图像的灰度版本、分析数据(即，用于供机器分析的数据)，及/或非线性图像数据(例如，色调、饱和度及强度(HSI)、色调、饱和度及值(HSV)，及/或色调、饱和度及光(HSL)色彩数据)。因此，色彩校正电路214可针对所捕获的电磁波150产生提供可由最终用户(例如，人或机器)利用的不同类型的数据的图像数据160。主处理器206可经配置以控制图像子系统108。图像信号处理器204及/或主处理器206两者均可为通过执行例如算术、逻辑及输入/输出(I/O)运算来实行计算机指令的任何硬件。图像信号处理器204及/或主处理器206可包含中央处理单元(CPU)、基于半导体的微处理器、图形处理单元(GPU)、数字信号处理器(DSP)及/或适合于检索及执行可存储在存储器中的指令的其它硬件装置。另外，图像信号处理器204及/或主处理器206可包含单个处理器、多个处理器、单个计算机、计算机网络或任何其它类型的处理装置。例如，图像信号处理器204及/或主处理器206可包含芯片上的多个核心、跨多个芯片的多个核心、跨多个装置的多个核心或其组合。图像信号处理器204及/或主处理器206可包含具有多个电子组件的至少一个集成电路(IC)、其它控制逻辑、其它电子电路或其组合。
图3展示了根据各种实例的图像处理系统的图像信号处理器中包含的色彩校正电路214的说明性框图。色彩校正电路214可包含预处理电路302、四维(4D)矩阵处理电路304、后处理电路306、分离视觉及分析电路308、非线性矩阵处理电路310及次级输出产生电路312。在一些实施例中，分量图像252可被预处理电路302接收，所述预处理电路302可经配置以预处理分量图像252以准备彩色图像以供进一步处理。例如，预处理电路302可经配置以利用噪声滤波器来校正分量图像252中的某些缺陷，以产生预处理电路输出322，其接着可由4D矩阵处理电路304接收以进行处理。
4D矩阵处理电路304经配置以基于所接收的分量图像252产生一或多个矩阵输出324，如上文所讨论，所述矩阵输出324可为输出322的形式。更特定来说，4D矩阵处理电路304经配置以基于以下计算产生矩阵输出324：
E1(x,y)＝W11C252a(x,y)+W12C252b(x,y)+W13C252c(x,y)+W14C252d(x,y)+O1
E2(x,y)＝W21C252a(x,y)+W22C252b(x,y)+W23C252c(x,y)+W24C252d(x,y)+O2
E3(x,y)＝W31C252a(x,y)+W32C252b(x,y)+W33C252c(x,y)+W34C252d(x,y)+O3
其中E1到E3是矩阵输出324，W11到W34是各种权重值，C252a到C252d是(例如，经由预处理电路302)从CFA去马赛克电路212接收的分量图像(在此实施例中，四个分量图像)且O1到O3是各种偏移值。权重值W11到W34及偏移值O1到O3可基于图像传感器106的类型来确定。因此，4D矩阵处理电路304可经编程以基于图像传感器106的类型来产生权重值W11到W34及偏移值O1到O3。例如，下表列出了可用于各种图像传感器类型的各种权重值W11到W34及偏移值O1到O3。以此方式，4D矩阵处理电路能够为各种各样的图像传感器类型产生矩阵输出324。
Figure BDA0003337805270000061
后处理电路306接收矩阵输出324，且经配置以对矩阵输出324执行色彩转换以产生YUV色彩模型图像分量。例如，后处理电路306可经配置以产生亮度分量(即，Y分量)及两个色度分量(即，U分量及V分量)(统称为后处理电路输出326)。在一些实施例中，在执行色彩转换之前，后处理电路306可对矩阵输出324执行伽马压缩及/或对比度拉伸。另外，两个色度分量可从444格式下采样到420格式，以在水平及垂直方向上降低色度分量的分辨率多达50％。
非线性矩阵处理电路310还可接收矩阵输出324，且经配置以对矩阵输出324执行色彩转换以产生HSI、HSL及/或HSV色彩模型图像分量。例如，非线性矩阵处理电路310可经配置以产生色调分量(即，H分量)、饱和度分量(即，S分量)及/或亮度分量(即，I分量、L分量，及/或V分量)(统称为非线性图像数据328)。
分离视觉及分析电路308可接收后处理电路输出326及/或非线性矩阵处理电路输出328，且经配置以产生由图像传感器106捕获的图像的视觉数据354及/或由图像传感器106捕获的图像的分析数据356。换句话说，分离视觉及分析电路308可产生视觉数据354及分析数据两者，在一些实施例中，所述视觉数据354包含用于所捕获的电磁波150的全色图像以供人类观看，在一些实施例中，所述分析数据包含待用于供机器分析的数据。例如，视觉数据可能需要8位，而分析数据可能需要12位。因此，分离视觉及分析电路308可接收来自后处理电路306的12位亮度分量(Y)及色度分量(UV)及/或接收来自非线性矩阵处理电路310的12位饱和度分量(S)，且将所述分量转换为8位分量。接着，分离视觉及分析电路308可输出8位亮度分量(Y)及色度分量(UV)及/或8位饱和度分量(S)作为视觉数据354。分离视觉及分析电路308还可输出来自后处理电路306的12位色度分量(UV)作为分析数据356。以此方式，视觉数据及分析数据两者均可从相同的数据管道产生。
次级输出产生电路312可接收来自后处理电路306的亮度分量、Y分量及接收来自非线性矩阵处理电路310的I分量、L分量及/或V分量两者。次级输出产生电路312可选择亮度分量中的一者及/或两者以输出图像的灰度版本352。以此方式，包含预处理电路302、4D矩阵处理电路304、后处理电路306、分离视觉及分析电路308、非线性矩阵处理电路310及第二输出产生电路312的单个电路块可同时产生图像的灰度版本、图像的视觉分量及关于由任何类型的图像传感器捕获的图像的分析数据。
图4展示了根据各种实例的图像处理系统的图像信号处理器中包含的色彩校正电路214的说明性框图。图4中所示的色彩校正电路214是图3中所示的色彩校正电路214的更详细版本。因此，色彩校正电路214可接收分量图像252a到252d。虽然在图4中未展示，但是分量图像252a到252d可如上文所讨论那样进行预处理，且接着被4D矩阵处理电路304接收。如上文所讨论，4D矩阵处理电路经配置以产生矩阵输出324a到324c。除了被4D矩阵处理电路304接收之外，多路复用器434也可接收分量图像252a到252d。多路复用器434可经编程以基于所利用的图像传感器106的类型来选择分量图像252a到252d中的任一者以产生选定信号480。例如，对于拜耳RGB传感器，多路复用器434可经编程以选择分量图像252a到252d中的任一者作为选定信号480。然而，对于RCCC传感器，多路复用器434可经编程以选择分量图像252a作为选定信号480。
选定信号480及矩阵输出324a到324c可由多路复用器408接收。多路复用器408可经编程以选择将被直方图电路410接收的选定信号480及矩阵输出324a到324c中的一或多者。直方图电路410可经配置以产生可用于图像子系统108的其它部分中的对比度拉伸的色调曲线。直方图电路410可使用平均化滤光器在水平及/或垂直方向上将所接收的图像(即，经由选定信号480及/或矩阵输出324a到324c中的任何者)下采样2倍。直方图电路410可支持可由主处理器206读取的本地存储器。因此，图像的下采样版本可被存储在此本地存储器中以供主处理器206进一步处理。
如上文所讨论，矩阵输出324a到324c也可由后处理电路306接收。后处理电路306可包含对比度拉伸或伽马电路402、RGB转YUV电路404及色彩处理电路406。对比度拉伸或伽马电路402可在查找表(LUT)中实施，且经配置以提供增益及偏移以拉伸由直方图电路410产生的直方图且增加矩阵输出324a到324c中的对比度。对比度拉伸或伽玛电路402也可经配置以替换用于标准色彩处理的标准伽马表。所得输出452a到452c由RGB转YUV电路404接收。RGB转YUV电路404是经配置以将12位RGB输出452a到452c转换为12位YUV分量的电路。RGB转YUV电路404可如下利用基于矩阵的转换：
Y(x,y)＝WRY*R(x,y)+WGY*G(x,y)+WBY*B(x,y)+O1
U(x,y)＝WRU*R(x,y)+WGU*G(x,y)+WBU*B(x,y)+O2
V(x,y)＝WRV*R(x,y)+WGV*G(x,y)+WBV*B(x,y)+O3
其中WRY、WGY、WBY、WRU、WGU、WBU、WRV、WGV及WBV是权重，且O1、O2及O3是偏移。权重可为带符号的12位，其中8位分数精度表示-8到+7.996的范围。偏移可为带符号的13位。RGB转YUV电路404的输出Y分量454(亮度分量)可由多路复用器436及分离视觉及分析电路308接收。色彩处理电路406可接收RGB转YUV电路404的输出U分量456及V分量458(统称为色度分量)。色彩处理电路406可经配置以将色度分量456及458从444格式下采样到420格式，从而在水平及垂直两个方向上有效地将的色度分辨率降低到50％。可使用三阶滤波(threetap filtering)接着进行抽取来进行下采样。因此，色彩处理电路406可包含用于在垂直方向上进行下采样的两行存储器。色彩处理电路406内的转换逻辑接着在水平及垂直方向上以共址/共位格式产生色度，且输出色度分量460以由分离视觉及分析电路308接收。
多路复用器428到432接收来自4D矩阵处理电路304的矩阵输出324a到324c及来自对比度延伸或伽玛电路402的输出452a到452c。多路复用器428经编程以选择矩阵输出324a或输出452a以产生红色(R)分量482。多路复用器430经编程以选择矩阵输出324b或输出452b以产生绿色(G)分量484。多路复用器432经编程以选择矩阵输出324c或输出452c以产生蓝色(B)分量486。R分量482、G分量484及B分量486由非线性矩阵处理电路310接收。如上文所讨论，非线性矩阵处理电路310经配置以产生色调分量(即，H分量)、饱和度分量(即，S分量)490及/或亮度分量(即，I分量、L分量，及/或V分量)488。
因为视觉数据可能需要是8位格式，且亮度分量454、色度分量460、R分量482、G分量484及B分量486可为12位，所以分离视觉及分析电路308可包含LUTS 414到420。LUTS 414到420经配置以将传入的12位信号下采样为8位输出信号。
亮度分量488由多路复用器412接收，所述多路复用器412经编程以选择输出信号480、亮度分量454及/或亮度分量488。多路复用器488的输出由LUT 414接收，其中所述输出被下采样为8位信号(亮度分量464)。色度分量460由LUT 416接收，其中所述色度分量被下采样为8位信号(色度分量462)。饱和度分量490由LUT 418接收，其中所述饱和度分量被下采样为8位信号(饱和度分量466)。R分量482、G分量484及B分量486由LUT 420接收，其中所述分量被下采样为8位信号(R分量468、G分量470及B分量472)。
多路复用器422可经编程以选择G分量484或色度分量462以产生8位视觉分量474。多路复用器424可经编程以选择R分量482或亮度分量464以产生8位视觉分量476。多路复用器426可经编程以选择B分量486或饱和度分量466以产生8位视觉分量478。12位色度分量462也可作为分析数据提供给其它机器使用。以此方式，视觉化数据及分析数据可同时并行产生。
可为次级输出产生电路312的部分的多路复用器436接收选定信号480、来自RGB转YUV电路404的亮度分量454以及来自非线性矩阵处理电路310的亮度分量488。多路复用器436可经编程以基于所利用的图像传感器106的类型来选择选定信号480、来自RGB转YUV电路404的亮度分量454以及来自非线性矩阵处理电路310的亮度分量488产生选定信号480。例如，对于拜耳RGB传感器、拜耳CMY(青色、洋红、黄色)传感器、拜耳RCBC(红色、清色、蓝色、清色)传感器、RGB-IR传感器及RGBC(红色、绿色、蓝色、清色)传感器时，多路复用器434可经编程以从RGB转YUV电路404选择亮度分量454或从非线性矩阵处理电路310选择亮度分量488以产生图像352的灰度版本。然而，对于RCCC传感器，多路复用器436可经编程以选择选定信号480以产生图像352的灰度版本。
图5展示了根据各种实例的图像处理系统100的色彩校正电路214中包含的4D矩阵处理电路304的说明性框图。如上文所讨论，4D矩阵处理电路304经配置以基于所接收的分量图像252a到252d来产生一或多个矩阵输出324a到324c。更特定来说，4D矩阵处理电路304经配置以基于以下计算产生矩阵输出324a到324c：
E1(x,y)＝W11C252a(x,y)+W12C252b(x,y)+W13C252c(x,y)+W14C252d(x,y)+O1
E2(x,y)＝W21C252a(x,y)+W22C252b(x,y)+W23C252c(x,y)+W24C252d(x,y)+O2
E3(x,y)＝W31C252a(x,y)+W32C252b(x,y)+W33C252c(x,y)+W34C252d(x,y)+O3
其中E1到E3是矩阵输出324，W11到W34是各种权重值，C252a到C252d是从CFA去马赛克电路212接收的分量图像(在此实施例中，四个分量图像)，且O1到O3是各种偏移值。因此，4D矩阵处理电路304可包含乘法器532到554。为了产生矩阵输出324a，可利用乘法器532将分量图像252a与权重W11(标记为信号502)相乘。可利用乘法器534将分量图像252b与权重W12(标记为信号504)相乘。可利用乘法器536将分量图像252c与权重W13(标记为信号506)相乘。可利用乘法器538将分量图像252d与权重W14(标记为信号508)相乘。将通过乘法器532到538进行的乘法的所得乘积相加。在一些实施例中，使和右移7(除以128)。所述结果可与偏移值O1相加，其可右移1(除以2)。可使所得值符合12位作为所得矩阵输出324a。
类似地，为了产生矩阵输出324b，可利用乘法器540将分量图像252a与权重W21(标记为信号510)相乘。可利用乘法器542将分量图像252b与权重W22(标记为信号512)相乘。可利用乘法器544将分量图像252c与权重W23(标记为信号514)相乘。可利用乘法器546将分量图像252d与权重W24(标记为信号516)相乘。将通过乘法器540到546进行的乘法的所得乘法积相加。在一些实施例中，使和右移7(除以128)。所述结果可与偏移值O2相加，其可右移1(除以2)。使所得值符合12位作为所得矩阵输出324b。为了产生矩阵输出324c，可利用乘法器548将分量图像252a与权重W31(标记为信号518)相乘。可利用乘法器550将分量图像252b与权重W32(标记为信号520)相乘。可利用乘法器552将分量图像252c与权重W33(标记为信号522)相乘。可利用乘法器554将分量图像252d与权重W34(标记为信号524)相乘。将通过乘法器548到554进行的乘法的所得乘积相加。在一些实施例中，使总和右移7(除以128)。所述结果可与偏移值O2相加，其可右移1(除以2)。使所得值符合12位作为所得矩阵输出324c。
图6展示了根据各种实例的图像处理系统100的色彩校正电路214中包含的非线性矩阵处理电路310的说明性框图。如上文所讨论，非线性矩阵处理电路310可经配置以对矩阵输出324执行色彩转换以产生包含色调分量(即，H分量)、饱和度分量(即，S分量)及/或亮度分量(即，I分量、L分量，及/或V分量)的HSI、HSL及/或HSV色彩模型图像分量。
非线性矩阵处理电路310可包含最大值/最小值电路602、多路复用器604、加权平均计算电路606、饱和度计算电路608及/或除法器610。最大值/最小值电路602可经配置以从多路复用器428到432接收R分量482、G分量484及B分量486。最大值/最小值电路602经配置以从R分量482、G分量484及B分量486产生最大值622。例如，如果R分量482、G分量484及B分量486中的最大值是G分量482，那么最大值/最小值电路602将产生等同于G分量482的最大值622。类似地，最大值/最小值电路602经配置以从R分量482、G分量484及B分量486产生最小值624。例如，如果R分量482、G分量484及B分量486中的最小值是G分量482，那么最大值/最小值电路602将产生等同于G分量482的最小值624。最大值/最小值电路602还可经配置以对R分量482、G分量484及B分量486中的全部进行求和以产生求和值632。另外，最大值/最小值电路602也可在不改变R分量482、G分量484及B分量486的情况下使其通过。
多路复用器可经编程以取决于所利用的色彩模型图像的类型来选择最大值622、最小值624、R分量482或B分量486中的任一者。例如，对于HSI色彩模型，多路复用器604可经编程以选择R分量482作为输出分量634且选择B分量486作为输出分量636。对于HSL色彩模型，多路复用器604可经编程以选择最大值622作为输出分量634，且选择所述分量中的任一者作为输出分量636。对于HSV色彩模型，多路复用器604可经编程以选择最大值622作为输出分量634，且选择最小值624作为输出分量636。
接着，输出分量634到636连同G分量484一起可由加权平均计算电路606接收。加权平均计算电路606可经配置以根据以下项来产生亮度分量488：
亮度分量488(x,y)＝W1C634(x,y)+W2C636(x,y)+W3C484(x,y)+O1
其中W1到W3是各种权重值，C634是输出分量634，C636是输出分量636，C484是G分量484，且O1是偏移值。权重值W1到W3及偏移值O1可基于图像传感器106的类型来确定。因此，加权平均计算电路606可经编程以基于所利用的色彩模型图像的类型来产生权重值W1到W3及偏移值O1。例如，对于HSI色彩模型，权重W1到W3全部可被指派为1/3(85)，而偏移等于零。因此，亮度分量488是：
Figure BDA0003337805270000111
对于HSL色彩模型，权重W1到W2可被分配为0.5(128)，而权重W3及偏移被设置为零。因此，亮度分量448是：
Figure BDA0003337805270000112
对于HSV色彩模型，权重W1可被指派1，而权重W2到W3及偏移被设置为零。因此，亮度分量448是最大值622。在替代实施例中，权重W1到W3及偏移O1可被设置为任何可自定义值。
饱和度计算电路608可经配置以产生分子及分母638供除法器610用来产生S分量490。饱和度计算电路608可经配置以从最大值/最小值电路602接收最大值622、最小值624及求和值632。饱和度计算电路608可经编程以根据所利用的色彩模型图像的类型来产生分子及分母638。例如，对于HSI色彩模型，饱和度计算电路608可将分子产生为最小值624，且将分母产生为求和值632。对于HSL色彩模型，饱和度计算电路608可产生分子作为最大值622减去最小值624并将分母产生为25 5-灰度值。对于HSV色彩模型，饱和度计算电路608可产生分子作为最大值622减去最小值624及最大值622。
除法器610经配置以对所利用的色彩模型实施除法。例如，对于HSI色彩模型，除法器610可根据以下项来产生S分量490：
Figure BDA0003337805270000121
对于HSL色彩模型，除法器610可根据以下项来产生S分量490：
Figure BDA0003337805270000122
对于HSV色彩模型，除法器610可根据以下项来产生S分量490：
Figure BDA0003337805270000123
图7展示了根据各种实例的用于对由图像传感器106捕获的图像进行色彩处理的方法700的说明性流程图。虽然为了方便起见而循序地描绘，但是所展示的动作中的至少一些可以不同顺序执行及/或并行地执行。另外，一些实施例可仅执行所示动作中的一些。在一些实施例中，方法700的操作中的至少一些以及本文中描述的其它操作可由图像信号处理器204(包含色彩校正电路214)执行且以逻辑及/或由执行存储在非暂时性计算机可读存储媒体中的指令的处理器来实施。
所述方法在框702中以产生多个第一矩阵输出开始。例如，例如4D矩阵处理电路304等4D矩阵处理电路可经配置以基于所接收的图像分量(例如图像分量252a到252c)产生矩阵输出，例如矩阵输出324a到324c。
在框704中，方法700以对多个第一矩阵输出进行色彩转换以产生图像的第一亮度分量及色度分量而继续进行。例如，例如后处理电路306等后处理电路可经配置以产生例如亮度分量454等亮度分量(即，Y分量)及例如图像的色度分量460等两个色度分量(即，U分量及V分量)。方法700在框706中以对多个第一矩阵输出进行色彩转换以产生图像的第二亮度分量及饱和度分量而继续进行。例如，例如非线性矩阵处理电路310等非线性矩阵处理电路可经配置以产生例如亮度分量488等亮度分量(即，I分量、L分量及/或V分量)及例如S分量490等饱和度分量(即S分量)。
在框708中，方法700以产生图像的视觉及分析数据继续进行。例如，分离视觉及分析电路(例如分离视觉及分析电路308)可接收第一亮度分量及色度分量、第二亮度分量及饱和度分量，及/或红色、绿色及蓝色分量，且产生8位视觉分量及12位分析分量。方法700在框710中以产生图像的灰度版本继续进行。例如，次级输出产生电路(例如次级输出产生电路312)可经配置以接收第一及/或第二亮度分量并产生图像的灰度版本。
上文讨论希望为本发明的原理及各种实施例的说明性实例。对于所属领域的技术人员来说，一旦完全了解上文揭示内容，众多变化及修改将变得显而易见。希望所附权利要求书应被解释为涵盖所有此类变化及修改。

Claims (20)

1.一种系统，其包括：
第一电路，其经配置以基于图像传感器的类型生成矩阵输出；
第二电路，其经配置以：
接收所述矩阵输出；以及
输出经处理的电路输出；
第三电路，其经配置以：
接收所述经处理的电路输出；
接收所述矩阵输出；以及
输出色彩分量；以及
第四电路，其经配置以：
接收所述色彩分量；
接收所述经处理的电路输出；以及
输出第一组数据及第二组数据。
2.根据权利要求1所述的系统，其进一步包括：
第五电路，其经配置以：
接收图像的分量图像；以及
输出经处理的分量图像。
3.根据权利要求2所述的系统，其中：
所述第五电路包含噪声滤波器。
4.根据权利要求2所述的系统，其进一步包括：
第六电路，其经配置以：
接收所述分量图像；
接收所述经处理的电路输出；
接收包含I分量、L分量和V分量中的一者的所述色彩分量；以及
输出所述图像的灰度图像。
5.根据权利要求1所述的系统，其中：
所述矩阵输出基于与所述图像传感器的所述类型相关联的权重和偏移。
6.根据权利要求1所述的系统，其中：
所述经处理的电路输出包含Y分量、U分量和V分量中的一者。
7.根据权利要求1所述的系统，其中：
所述第二电路进一步经配置以对所述矩阵输出执行伽马压缩。
8.根据权利要求1所述的系统，其中：
所述第二电路进一步经配置以对所述矩阵输出执行对比度拉伸。
9.根据权利要求1所述的系统，其中：
所述第二电路进一步经配置以在水平方向和垂直方向上将所述矩阵输出的多个色度分量从444格式下采样到420格式。
10.根据权利要求1所述的系统，其中：
所述经处理的电路输出包含亮度分量、第一色度分量和第二色度分量；
所述色彩分量包含饱和度分量；以及
所述第一组数据包含基于所述亮度分量、所述第一色度分量、所述第二色度分量和所述饱和度分量中的一者的图像的视觉数据。
11.根据权利要求10所述的系统，其中：
所述第二组数据包含基于所述第一色度分量和所述第二色度分量的所述图像的分析数据。
12.根据权利要求1所述的系统，其中：
所述图像传感器的所述类型经编程到所述系统中。
13.一种方法，其包括：
由第一电路基于图像传感器的类型产生矩阵输出；
由第二电路基于所述矩阵输出产生经处理的电路输出；
由第三电路基于所述经处理的电路输出及所述矩阵输出产生多个色彩分量；
由第四电路基于所述多个色彩分量及所述经处理的电路输出产生第一组数据及第二组数据。
14.根据权利要求13所述的方法，其进一步包括：
由第五电路基于图像的分量图像产生经处理的分量图像。
15.根据权利要求14所述的方法，其中：
所述第五电路包含噪声滤波器。
16.根据权利要求14所述的方法，其进一步包括：
由第六电路基于所述分量图像、所述经处理的电路输出和所述多个色彩分量产生所述图像的灰度图像，所述多个色彩分量包含I分量、L分量和V分量中的一者。
17.根据权利要求14所述的方法，其中：
所述矩阵输出基于与所述图像传感器的所述类型相关联的权重和偏移。
18.根据权利要求14所述的方法，其进一步包括：
由所述第二电路伽玛压缩所述矩阵输出。
19.根据权利要求14所述的方法，其进一步包括：
由所述第二电路对比度拉伸所述矩阵输出。
20.根据权利要求13所述的方法，其中：
所述经处理的电路输出包含亮度分量、第一色度分量和第二色度分量；
所述多个色彩分量包含饱和度分量；
所述第一组数据包含基于所述亮度分量、所述第一色度分量、所述第二色度分量和所述饱和度分量中的一者的图像的视觉数据；以及
所述第二组数据包含基于所述第一色度分量和所述第二色度分量的所述图像的分析数据。
CN202111299625.9A 2016-12-30 2017-12-27 高效灵活的色彩处理器 Active CN113891054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111299625.9A CN113891054B (zh) 2016-12-30 2017-12-27 高效灵活的色彩处理器

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/395,001 US11172172B2 (en) 2016-12-30 2016-12-30 Efficient and flexible color processor
US15/395,001 2016-12-30
CN202111299625.9A CN113891054B (zh) 2016-12-30 2017-12-27 高效灵活的色彩处理器
CN201711452832.7A CN108307162B (zh) 2016-12-30 2017-12-27 高效灵活的色彩处理器

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201711452832.7A Division CN108307162B (zh) 2016-12-30 2017-12-27 高效灵活的色彩处理器

Publications (2)

Publication Number Publication Date
CN113891054A true CN113891054A (zh) 2022-01-04
CN113891054B CN113891054B (zh) 2024-10-01

Family

ID=62711406

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201711452832.7A Active CN108307162B (zh) 2016-12-30 2017-12-27 高效灵活的色彩处理器
CN202111299625.9A Active CN113891054B (zh) 2016-12-30 2017-12-27 高效灵活的色彩处理器

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201711452832.7A Active CN108307162B (zh) 2016-12-30 2017-12-27 高效灵活的色彩处理器

Country Status (2)

Country Link
US (3) US11172172B2 (zh)
CN (2) CN108307162B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7116001B2 (ja) * 2019-03-27 2022-08-09 日立Astemo株式会社 撮像装置及び画像処理方法
CN110290370B (zh) * 2019-07-05 2020-09-18 上海富瀚微电子股份有限公司 图像处理方法及装置
CN113706637B (zh) * 2021-08-03 2023-10-13 哈尔滨工程大学 一种彩色图像传感器线性区内色彩混叠分离方法
CN115942129A (zh) * 2022-12-16 2023-04-07 北京地平线机器人技术研发有限公司 图像生成方法、装置、计算机可读存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02298195A (ja) * 1989-02-10 1990-12-10 Sanyo Electric Co Ltd カラーコンポーネント信号変換装置
US5450500A (en) * 1993-04-09 1995-09-12 Pandora International Ltd. High-definition digital video processor
US5648818A (en) * 1992-10-09 1997-07-15 Canon Kabushiki Kaisha Image pickup apparatus having color separation matrix
US6417891B1 (en) * 1999-04-16 2002-07-09 Avid Technology, Inc. Color modification on a digital nonlinear editing system
CN101335902A (zh) * 2007-06-25 2008-12-31 华为技术有限公司 色度补偿方法和装置
CN103379346A (zh) * 2012-04-23 2013-10-30 深圳市融创天下科技股份有限公司 一种yuv格式图像的色度信息处理方法、装置及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1271647B (it) * 1994-05-06 1997-06-04 Bts Srl Telecamera ad elevata frequenza di fotogramma e relativo metodo di fabbricazione
CN100399794C (zh) 2004-07-29 2008-07-02 友达光电股份有限公司 表现特定色彩空间的方法
CN100534201C (zh) 2005-11-22 2009-08-26 逐点半导体（上海）有限公司 色彩空间转换装置及转换方法
KR101244912B1 (ko) 2006-05-29 2013-03-18 삼성전자주식회사 디지털 영상 처리기에서 감마 보정 장치 및 방법
CN101523480B (zh) 2006-10-12 2013-06-12 Tp视觉控股有限公司 颜色映射方法
US8396324B2 (en) * 2008-08-18 2013-03-12 Samsung Techwin Co., Ltd. Image processing method and apparatus for correcting distortion caused by air particles as in fog
KR101594292B1 (ko) * 2009-03-11 2016-02-16 삼성전자주식회사 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 컴퓨터판독가능 저장매체
EP2453376B1 (en) * 2010-11-15 2019-02-20 Fujifilm Corporation Medical image recording/reproducing apparatus, medical image recording/reproducing method and program
JP5976676B2 (ja) * 2011-01-14 2016-08-24 ソニー株式会社 レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法
JP6239358B2 (ja) * 2013-12-02 2017-11-29 株式会社メガチップス 画素補間装置、撮像装置、プログラムおよび集積回路
JP6121368B2 (ja) * 2014-06-27 2017-04-26 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
WO2018039667A1 (en) * 2016-08-26 2018-03-01 Aetrex Worldwide, Inc. Process to isolate object of interest in image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02298195A (ja) * 1989-02-10 1990-12-10 Sanyo Electric Co Ltd カラーコンポーネント信号変換装置
US5648818A (en) * 1992-10-09 1997-07-15 Canon Kabushiki Kaisha Image pickup apparatus having color separation matrix
US5450500A (en) * 1993-04-09 1995-09-12 Pandora International Ltd. High-definition digital video processor
US6417891B1 (en) * 1999-04-16 2002-07-09 Avid Technology, Inc. Color modification on a digital nonlinear editing system
CN101335902A (zh) * 2007-06-25 2008-12-31 华为技术有限公司 色度补偿方法和装置
CN103379346A (zh) * 2012-04-23 2013-10-30 深圳市融创天下科技股份有限公司 一种yuv格式图像的色度信息处理方法、装置及系统

Also Published As

Publication number Publication date
US20220030202A1 (en) 2022-01-27
US11546562B2 (en) 2023-01-03
CN108307162A (zh) 2018-07-20
CN113891054B (zh) 2024-10-01
US20180192020A1 (en) 2018-07-05
US11770624B2 (en) 2023-09-26
US20230086775A1 (en) 2023-03-23
US11172172B2 (en) 2021-11-09
CN108307162B (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
US11546562B2 (en) Efficient and flexible color processor
US9330480B2 (en) Image processing apparatus having a plurality of image processing blocks that are capable of real-time processing of an image signal
US11949995B2 (en) Universal and adaptive de-mosaicing (CFA) system
US9013611B1 (en) Method and device for generating a digital image based upon a selected set of chrominance groups
EP1395041B1 (en) Colour correction of images
KR100786931B1 (ko) 화상 신호 처리 장치 및 화상 신호 처리 방법
TWI407800B (zh) 馬賽克影像的改良處理
US6366694B1 (en) Integrated color interpolation and color space conversion algorithm from 8-bit Bayer pattern RGB color space to 24-bit CIE XYZ color space
JP5036421B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
US9947258B2 (en) Image processing method and image processing apparatus
US7609300B2 (en) Method and system of eliminating color noises caused by an interpolation
JP2003123063A (ja) 画像処理装置
CN105049820B (zh) 图像处理设备、摄像设备和图像处理方法
TW201735645A (zh) 用於處理由彩色影像擷取矩陣產生的信號的方法以及相應的感測器
JP2001197321A (ja) カラー画像処理方法並びに画像処理装置
CN113781350B (zh) 图像处理方法、图像处理装置、电子设备及存储介质
JP2000050290A (ja) カラー固体撮像装置
Lee et al. An efficient demosaiced image enhancement method for a low cost single-chip CMOS image sensor
Whitehead et al. A low complexity method of color image demosaicing directly to YCbCr 4: 2: 0

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant