CN102918561B - 硬件和软件分界的图像处理流水线 - Google Patents

硬件和软件分界的图像处理流水线 Download PDF

Info

Publication number
CN102918561B
CN102918561B CN201180026497.9A CN201180026497A CN102918561B CN 102918561 B CN102918561 B CN 102918561B CN 201180026497 A CN201180026497 A CN 201180026497A CN 102918561 B CN102918561 B CN 102918561B
Authority
CN
China
Prior art keywords
green
value
pixel
column
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180026497.9A
Other languages
English (en)
Other versions
CN102918561A (zh
Inventor
D·斯坦希尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN102918561A publication Critical patent/CN102918561A/zh
Application granted granted Critical
Publication of CN102918561B publication Critical patent/CN102918561B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

方法和系统给出一图像处理流水线，该图像处理流水线具有用于沿水平方向对原始图像进行空间滤波以获得中间图像数据的硬件模块。流水线还包括一组存储的指令，如果由处理器处理这些指令，则使流水线沿垂直方向对中间图像数据进行空间滤波。

Description

硬件和软件分界的图像处理流水线
背景技术
数字照相机包括对原始图像数据进行重采样和空间滤波(例如，内插)的图像处理流水线。例如，照相机流水线组件（诸如，去马赛克组件、向下采样组件、光学畸变校正组件和色差校正组件）可全部对单个图像运用内插技术。传统的图像处理流水线可串行并完全用硬件地实现这些功能。由于连续运用若干个低通式滤波器，这些串行处理可能降低图像质量。完全用硬件执行内插也会具有效率缺点。这些利害因素中的每一个在高数据率操作模式(例如预览和视频录制)下可能特别相关。
附图说明
通过阅读以下说明和所附权利要求，以及通过参考以下附图，本发明的实施例的各种优点将对于本领域普通技术人员变得显而易见，在附图中：
图1是根据一实施例的图像处理流水线的示例的方框图；
图2是根据一实施例的水平内插硬件模块的示例的方框图；
图3是根据一实施例的执行垂直内插的方法的示例的流程图；
图4是根据一实施例的在逐列的基础上确定绿色值的进程的示例的流程图；
图5是根据一实施例的平台的示例的方框图；以及
图6A-6C是根据一实施例的图像数据的示例的图例。
具体实施方式
各实施例可提供一种方法，其中使用硬件模块沿水平方向对原始图像进行空间滤波以获得中间图像数据。该方法也涉及使用软件以沿垂直方向对中间图像数据进行空间滤波。
各实施例也可包括具有硬件模块的装置，该硬件模块沿水平方向对原始图像进行空间滤波以获得中间图像数据。另外，该装置可包括计算机可读存储介质，该计算机可读存储介质包括一组存储的指令，如果由处理器处理这些指令，则使装置沿垂直方向对中间图像数据进行空间滤波。
其它实施例可包括一系统，该系统具有处理器、用于产生原始图像的图像传感器以及沿水平方向对原始图像进行空间滤波以获得中间图像数据的硬件模块。该系统还可包括计算机可读存储介质，该计算机可读存储介质包括一组存储的指令，如果由处理器处理这些指令，则使系统沿垂直方向对中间图像数据进行空间滤波。
现在转向图1，其示出图像处理流水线10。在图示示例中，流水线10包括内插部16，该内插部16一般被用来对来自其它硬件处理模块22的原始图像24进行空间滤波(例如，劣像素校正)，以使空间滤波根据需要提供对原始图像24的去马赛克、向下采样、光学畸变校正和色差校正。内插部16可部分地用流水线10的硬件(HW)部分12实现，部分地用流水线10的软件(SW)部分14实现。具体地说，图示的内插部16包括水平内插硬件模块18和垂直内插软件模块20，其中水平内插硬件模块18在逐行的基础上处理原始图像24而垂直内插硬件模块20在逐列的基础上处理中间图像数据26(26a-26b)。在一个示例中，原始图像24可包括拜尔模式图像，其中每一行包含处于全分辨率下的红-绿(R/G)数据或蓝-绿(B/G)数据。
总地来说，图示的硬件模块18沿水平方向对原始图像24进行空间滤波以获得经几何校正和水平向下采样的中间图像数据26a，该中间图像数据26a被存储至缓冲器/存储器28，且行已由硬件模块18(例如在逐行的基础上)进行处理。如下文中更详细讨论的那样，中间图像数据26a的行中的每个像素可包括红色和绿色(R+G)值或蓝色和绿色(B+G)值，其中这些值可以任何适宜的色度(例如0-256、0-4096等)表达。当已通过硬件模块18处理了足够数量的行以使垂直内插软件模块20开始处理列时(例如所研究的1行之前的5行+之后的5行＝11行)，可在逐列的基础上从存储器28获取中间图像数据26b。中间图像数据26b的列中的每个像素可能包括R+G值或B+G值。
图示的软件模块20可实现为一组指令，如果这组指令由处理器执行，则使软件模块20沿垂直方向对中间图像数据26b进行空间滤波以获得经几何校正和垂直向下采样的最终图像数据30，该最终图像数据30可进一步由其它软件模块32处理。在一个示例中，最终图像数据30的每个像素可包括红色、绿色和蓝色(R+G+B，RGB)值。
图2示出水平内插硬件模块34的一个示例。很容易取代已讨论的硬件模块18(图1)的硬件模块34可实现为固定功能硬件中的嵌入式逻辑，该固定功能硬件使用诸如专用集成电路（ASIC）、互补金属氧化物半导体（CMOS）或者晶体管-晶体管逻辑（TTL）技术，或者其任何组合的电路技术。
在图示示例中，硬件模块34处理具有交替的R/G和B/G线的原始像素流38并使用低通(LP)R/B滤波器36在逐行的基础上确定原始图像中的像素的R/B平均值40(例如R/BAV)。由此，从LPR/B滤波器36输出的每个行的像素基于对LPR/B滤波器36建立的滤波器系数而具有红色值或蓝色值。这些系数可基于从像素计数输入52获得的像素位置藉由来自输出像素请求器54的系数线50来设定。例如，由输出像素请求器54所建立的系数可依赖于相对于输入原始数据标格的准确采样点。图示的输出像素请求器54也可为绿色模块42选择滤波器系数，如下文中更详细描述的那样。另外，输出像素请求器54可基于从控制信号58获得的向下采样率(例如1.875)而产生有效输出标志56。
硬件模块34也可包括绿色模块42以在逐行的基础上确定原始图像中的像素的绿色值44(例如G_OUT)。可使用乘法模块48(例如具有乘数值K)和求和模块46基于绿色值44来校正R/B平均值40，其中LPR/B滤波器36也可包括高通(HP)绿色(G)滤波分量以捕获每行中的绿色像素的派生物。HPG滤波分量可与乘法模块48的值(即“K”)相关联。结果，可从求和模块46输出经校正的R/B值47，其中一行中的每个像素可具有绿色值44和经校正的R/B值47(即R+G或B+G)。
在图示示例中，绿色模块42包括LPG滤波器60以在逐行的基础上确定原始图像中的像素的绿色平均值62(例如G_AV)。因此，每个绿色平均值62可表示一行中某一数量像素上的平均绿色值。LPG滤波器60也可具有HPR/B滤波分量以捕获每行中的R/B像素的派生物。另外，可使用绿色最近邻滤波器64在逐行基础上计算原始图像中的像素的绿色最近邻值66(例如G_NN)。每个绿色最近邻值66可因此表示这行中的最近邻像素(例如所研究像素的任一侧上的像素)的绿色值。绿色模块42的滤波器和LPR/B滤波器36可包括被设计成支持很宽范围采样比的多相滤波器。
图示的绿色模块42也包括差计算器68，用以基于逐行基础上对原始图像中的像素的差计算来计算绿色平均值62和绿色最近邻值66的相对权重。该相对权重可被表达为单参数信号70(例如alpha)，其中可使用混合模块72基于绿色平均值62、绿色最近邻值66以及反映在信号70中的相对权重来计算绿色值44。例如，混合模块72可使用下面的表达式来计算每个绿色值，
blend_out=alpha*G_NN+(1-alpha)*G_AV(1)
由此，随着所计算出的基于行的像素差(alpha)增加，在图像的行中将更可能出现边缘/边界，并且绿色值44可朝向绿色最近邻值66被赋予更大的权重以更好地捕获边缘/边界。替代地，随着计算出的基于行的像素差减小，图像的行可能在纹理上是平滑的，并且绿色值可朝向绿色平均值62被赋予更大的权重。简单地说，特定方向上的变化度越大，沿该方向的内插就越窄。
现在转向图3，图3示出了沿垂直方向对中间图像数据进行空间滤波的方法74。图示的方法74总地来说是使用与已讨论的硬件模块34(图2)中所使用的方式相同的方式在图像各个列上的软件实现。方法74可以被实现为一组可执行指令，这组可执行指令存储在机器或计算机可读存储介质中，例如随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、闪存等。例如，执行方法74中所示操作的计算机程序代码可以一种或多种编程语言的任意组合来撰写，编程语言包括诸如C++等面向对象的编程语言以及诸如C编程语言或类似编程语言的传统程序性编程语言。
处理方框76用于在逐列的基础上确定中间图像数据中的像素的R/B平均值，而处理方框78用于在逐列的基础上确定中间图像数据中的像素的绿色值。另外，在方框80可基于绿色值来校正R/B平均值。
图4示出方法82中用于确定中间图像数据中的像素的绿色值的一种方式。因此，方法82很容易取代已讨论过的处理方框78(图3)。具体地说，图示的方框84用于在逐列的基础上计算中间图像数据中的像素的绿色平均值，而方框86用于在逐列的基础上计算中间图像数据中的像素的绿色最近邻值。在方框88可基于在逐列基础上对中间图像数据中的像素的差计算来计算绿色平均值和绿色最近邻值的相对权重。图示的方框90用来基于绿色平均值、绿色最近邻值和相对权重来计算绿色值。
现在转向图5，图5示出一平台92，该平台92具有计算系统94，该计算系统94具有：处理器；系统存储器；网络控制器；可实现为多个NAND存储器件或其它NVM(非易失性存储器)的BIOS(基本输入/输出系统)存储器、HDD(硬盘驱动器)；以及允许用户与平台92互通信息和从平台92观看信息的诸如显示器、键盘、鼠标等的UI(用户接口)设备。平台92可以是诸如膝上计算机、移动互联网设备(MID)、个人数字助理(PDA)、无线智能电话、媒体播放机、成像设备等或其任意组合的移动平台的一部分。平台92也可以是例如个人计算机(PC)、服务器、工作站等固定平台的一部分。因此，计算系统94的处理器可包括一个或多个处理器核以及配置成与系统存储器通信的集成存储器控制器(IMC，未示出)。系统存储器可包括动态随机存取存储器(DRAM)，其被配置成诸如双列直插存储器模块(DIMM)、小轮廓DIMM(SODIMM)等。处理器的核可执行诸如MicrosoftWindows、Linux或Mac(Macintosh)OS的操作系统(OS)以及各种其它软件应用，其中每个核108可通过取指令单元、指令解码器、一级(LI)缓存、执行单元等发挥完全功能。
图示的网络控制器可为许多目的提供平台外通信功能，例如蜂窝电话(例如W-CDMA(UMTS)、CDMA2000(IS-856/IS-2000)等)、WiFi(例如IEEE802.11，1999版,LAN/MAN无线LANS)、蓝牙(例如IEEE802.15.1-2005，无线个域网)、WiMax(例如IEEE802.16-2004,LAN/MAN宽带无线LANS)、全球定位系统(GPS)、频谱扩展(例如900MHz)以及其它射频(RP)电话目的。
图示平台92也包括数字照相机图像传感器112和水平内插硬件模块114，其中图像传感器112可以高比特率(例如从图像预览和/或视频捕获操作中)产生原始图像，而硬件模块可沿水平方向对原始图像进行空间滤波以获得中间图像数据。由此，已讨论的硬件模块18(图1)和硬件模块34(图2)很容易替代硬件模块114。另外，计算系统94的一个或多个处理器核可执行一组指令以沿垂直方向对中间图像数据进行空间滤波。由此，已讨论过的垂直内插软件模块20(图1)可容易地由计算系统94的处理器核执行。对中间图像数据进行空间滤波的指令可被存储在处理器核的内存、系统存储器、HDD、BIOS存储器或其它适宜的计算机可读存储介质中。
图6A-6C论述了根据本文所述的技术的处理原始图像118的优势。图示的原始图像118具有径向桶形失真和部分颜色信息，在该部分颜色信息中，每个像素仅R/G/B中的一个颜色值是已知的。在沿水平方向进行空间滤波后，中间图像120被半去马赛克、向下采样(例如，以沿水平方向1.875的因数)并作部分地畸变校正。也示出在沿垂直方向对中间图像120进行空间滤波之后完全地去马赛克、向下采样和畸变校正的最终图像122。
前述技术因此提供一种有效的图像处理实现，当以高速率捕获数据时，这种图像处理实现产生高质量的结果。另外，将专用程度最小的硬件与软件处理结合可允许移动计算机和/或较小的手持设备保持性能和功耗需求。
本发明的实施例适于与所有类型的半导体集成电路（“IC”）芯片一起使用。这些IC芯片的示例包括但不限于处理器、控制器、芯片组组件、可编程逻辑阵列（PLA）、存储器芯片、网络芯片等。此外，在一些附图中，信号传导线路用线来表示。一些线可能较粗，以指示更多组成的信号路径，一些线具有数字标记，以指示数个组成的信号路径，和/或一些线在一端或多个端具有箭头，以指示主要的信息流向。然而，这不应当以限制的方式来解释。相反，这些新增的细节可与一个或多个示例性实施例结合地使用，以使电路更容易理解。任何图示的信号线（无论是否具有附加信息）可实际上包括沿多个方向行进的一个或多个信号，并可通过任何适当类型的信号方案来实现，例如，利用差分对实现的数字线路或模拟线路、光纤线路和/或单端线路。
可能已给出示例性大小/模型/值/范围，但是本发明的实施例不限于此。随着制造技术（例如光刻法）随时间而成熟，可望制造出更小尺寸的器件。此外，为了说明和讨论的简单，众所周知的至IC芯片的电源/接地连接以及其它组件可能在图中示出或未示出，为了不混淆本发明的某些方面。此外，各种配置可以方框图形式示出以避免使本发明的实施例变得晦涩，并鉴于相对于这些方框图配置的实现的具体细节很大程度地依赖于本发明的实施例实现的平台这一事实，即这些具体细节应当落在本领域内技术人员的眼界内。在阐述具体细节(例如电路)以描述本发明的示例性实施例的情形下，显然本领域内技术人员能不经过这些具体细节或对这些具体细节作出变化地实现本发明的实施例。因此这些描述被视为是说明性的而非限制性的。
例如，可使用机器或者有形的计算机可读介质或者制品来实现一些实施例，这些介质或者制品可存储指令或者指令的集合，这些指令在由机器执行时可使该机器根据实施例来执行方法和/或操作。这种机器可包括，例如，任何适当的处理平台、计算平台、计算装置、处理装置、计算系统、处理系统、计算机、处理器等，且可使用硬件和/或软件的任何适当的组合来实现。机器可读介质或制品可包括，例如任何适当类型的存储器单元、存储器装置、存储器制品、存储器介质、存储装置、存储制品、存储介质、和/或存储单元，例如，存储器、可移除或者不可移除介质、可擦除或者不可擦除介质、可写或者可重写介质、数字或模拟介质、硬盘、软盘、压缩盘只读存储器（CD-ROM）、可记录压缩盘（CD-R）、可重写压缩盘（CD-RW）、光盘、磁介质、磁光介质、可移除存储器卡或盘、各种类型的数字多用盘（DVD）、录像带、磁带等。指令可包括任何适当类型的代码，诸如源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、加密代码等，且使用任何适当的高级、低级、面向对象、可视化、编译和/或解释编程语言来实现。
除非另有说明，则可以理解到，诸如“处理”、“计算”、“演算”、“确定”等的术语指代根据计算机或者计算系统或者类似电子计算装置的动作和/或进程，它们将计算系统的寄存器和/或存储器内的被表示为物理量（例如，电子）的数据操纵和/或转移到计算机系统的存储器、寄存器或其它这种信息存储装置、传输或显示装置中的被相似地表示为物理量的其它数据。实施例不限于该上下文。
本文中的“耦合”这一术语可用于指示问题组件之间的直接或间接的任何类型的关系，且可应用于电、机械、流体、光、电磁、机电或其他连接。此外，本文中的“第一”、“第二”等术语仅用于便于讨论，且除非另有指示，其不具有特定的时间或者顺序上的意义。
从以上描述中本领域普通技术人员将理解，可按照各种形式来实现本发明的实施例的宽泛的技术。因此，虽然与其特定示例结合来描述了本发明的实施例，但是本发明实施例的真实范围不应这样限定，因为基于附图、说明以及所附权利要求的研究其它修改对本领域普通技术人员是显而易见的。

Claims (15)

1.一种用于图像处理的系统，包括：
处理器；
传感器，用于产生原始图像的图像；
硬件模块，用于沿水平方向对原始图像进行空间滤波以获得中间图像数据；
计算机可读存储介质，所述计算机可读存储介质包括一组存储的指令，如果由处理器处理这些指令，则使所述系统沿垂直方向对所述中间图像数据进行空间滤波；以及
输出像素请求器，用于基于像素位置选择所述第一滤波器和所述绿色模块的系数，并基于向下采样速率来产生有效输出标志，
其中所述硬件模块包括：
第一滤波器，用于在逐行的基础上确定所述原始图像中的像素的红色-蓝色平均值；
绿色模块，用于在逐行的基础上确定所述原始图像中的像素的绿色值；以及
求和模块，用于基于所述绿色值来校正所述红色-蓝色平均值。
2.如权利要求1所述的系统，其特征在于，所述绿色模块包括：
第二滤波器，用于在逐行的基础上计算所述原始图像中的像素的绿色平均值；
第三滤波器，用于在逐行的基础上计算所述原始图像中的像素的绿色最近邻值；
差计算器，用于基于在逐行基础上所述原始图像中的像素的差计算来计算绿色平均值和绿色最近邻值的相对权重；以及
混合模块，用来基于所述绿色平均值、所述绿色最近邻值和所述相对权重来计算绿色值。
3.如权利要求1所述的系统，其特征在于，如果执行所述指令则使系统：
在逐列的基础上确定所述中间图像数据中的像素的红色-蓝色平均值；
在逐列的基础上确定所述中间图像数据中的像素的绿色值；以及
基于所述确定的绿色值来校正所述红色-蓝色平均值。
4.一种用于图像处理的装置，包括：
硬件模块，所述硬件模块沿水平方向对原始图像进行空间滤波以获得中间图像数据；
计算机可读存储介质，所述计算机可读存储介质包括一组存储的指令，如果由处理器处理这些指令，则使所述装置沿垂直方向对所述中间图像数据进行空间滤波；以及
输出像素请求器，所述输出像素请求器基于像素位置选择所述第一滤波器和所述绿色模块的系数，
其中所述硬件模块包括：
第一滤波器，用以在逐行的基础上确定所述原始图像中的像素的红色-蓝色平均值；
绿色模块，用于在逐行的基础上确定所述原始图像中的像素的绿色值；以及
求和模块，用于基于所述绿色值来校正所述红色-蓝色平均值。
5.如权利要求4所述的装置，其特征在于，所述绿色模块包括：
第二滤波器，用于在逐行的基础上计算所述原始图像中的像素的绿色平均值；
第三滤波器，用于在逐行的基础上计算所述原始图像中的像素的绿色最近邻值；
差计算器，用于基于在逐行基础上所述原始图像中的像素的差计算来计算绿色平均值和绿色最近邻值的相对权重；以及
混合模块，用于基于所述绿色平均值、所述绿色最近邻值和所述相对权重来计算绿色值。
6.如权利要求5所述的装置，其特征在于，还包括设置在所述混合模块和所述求和模块之间以调整所述绿色值的乘法模块。
7.如权利要求5所述的装置，其特征在于，所述第二滤波器包括高通红色-蓝色滤波器。
8.如权利要求4所述的装置，其特征在于，所述输出像素请求器基于向下采样速率而产生有效的输出标志。
9.如权利要求4所述的装置，其特征在于，所述第一滤波器包括高通绿色滤波器。
10.如权利要求4所述的装置，其特征在于，如果执行所述指令则使装置：
在逐列的基础上确定所述中间图像数据中的像素的红色-蓝色平均值；
在逐列的基础上确定所述中间图像数据中的像素的绿色值；以及
基于所述确定的绿色值来校正所述红色-蓝色平均值。
11.如权利要求10所述的装置，其特征在于，如果执行所述指令则使所述装置：
在逐列的基础上计算所述中间图像数据中的像素的绿色平均值；
在逐列的基础上计算所述中间图像数据中的像素的绿色最近邻值；
基于在逐列基础上对中间图像数据中的像素的差计算来计算所述绿色平均值和所述绿色最近邻值的相对权重；以及
基于所述绿色平均值、所述绿色最近邻值和所述相对权重来计算所述绿色值。
12.如权利要求4所述的装置，其特征在于，所述原始图像包括拜尔模式图像，所述拜尔模式图像源自图像预览操作和视频录制操作中的至少一个。
13.一种用于像素处理的方法，包括：
使用硬件模块沿水平方向对原始图像进行空间滤波以获得中间图像数据；以及
使用软件沿垂直方向对所述中间图像数据进行空间滤波，使用软件对所述中间图像数据进行空间滤波包括：在逐列的基础上确定所述中间图像数据中的红色-蓝色平均值；在逐列的基础上确定所述中间图像数据中的像素的绿色值；基于所述确定的绿色值来校正所述红色-蓝色平均值；在逐列的基础上计算所述中间图像数据中的像素的绿色平均值；在逐列的基础上计算所述中间图像数据中的像素的绿色最近邻值；基于在逐列基础上对中间图像数据中的像素的差计算来计算所述绿色平均值和所述绿色最近邻值的相对权重；以及基于所述绿色平均值、所述绿色最近邻值和所述相对权重来计算所述绿色值。
14.如权利要求13所述的方法，其特征在于，使用所述硬件模块对所述原始图像进行空间滤波包括：
将第一滤波器应用于所述原始图像，以在逐行的基础上确定所述原始图像中的像素的红色-蓝色平均值；
将绿色模块应用于所述原始图像，以在逐行的基础上确定所述原始图像中的像素的绿色值；以及
使用求和模块以基于所述绿色值来校正所述红色-蓝色平均值。
15.如权利要求13所述的方法，其特征在于，所述原始图像包括拜尔模式图像，所述拜尔模式图像源自图像预览操作和视频录制操作中的至少一个。
CN201180026497.9A 2010-06-28 2011-06-13 硬件和软件分界的图像处理流水线 Expired - Fee Related CN102918561B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/825,010 2010-06-28
US12/825,010 US8587705B2 (en) 2010-06-28 2010-06-28 Hardware and software partitioned image processing pipeline
PCT/US2011/040124 WO2012009077A1 (en) 2010-06-28 2011-06-13 Hardware and software partitioned image processing pipeline

Publications (2)

Publication Number Publication Date
CN102918561A CN102918561A (zh) 2013-02-06
CN102918561B true CN102918561B (zh) 2015-11-25

Family

ID=45352205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180026497.9A Expired - Fee Related CN102918561B (zh) 2010-06-28 2011-06-13 硬件和软件分界的图像处理流水线

Country Status (5)

Country Link
US (1) US8587705B2 (zh)
EP (1) EP2586009A4 (zh)
CN (1) CN102918561B (zh)
TW (1) TWI552111B (zh)
WO (1) WO2012009077A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8587705B2 (en) 2010-06-28 2013-11-19 Intel Corporation Hardware and software partitioned image processing pipeline
US8976161B2 (en) 2012-03-01 2015-03-10 Apple Inc. Systems and methods for image processing
US20130321675A1 (en) 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
US9239712B2 (en) * 2013-03-29 2016-01-19 Intel Corporation Software pipelining at runtime
KR102218832B1 (ko) 2014-12-16 2021-02-24 삼성전자주식회사 컬러 프린지를 제거하기 위한 이미지 처리 장치
KR102255218B1 (ko) * 2014-12-18 2021-05-24 삼성전자주식회사 컬러 프린지를 제거하기 위한 이미지 처리 장치
US11350063B2 (en) 2020-04-14 2022-05-31 Apple Inc. Circuit for correcting lateral chromatic abberation
US11763421B2 (en) * 2021-01-07 2023-09-19 Apple Inc. Circuit for combined down sampling and correction of image data

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790205A (en) * 1996-08-23 1998-08-04 Texas Instruments Incorporated Method of increase sharpness in digital displays

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5838010A (en) * 1997-07-14 1998-11-17 General Electric Company Spatial resolution improvement for gamma camera
US6628330B1 (en) 1999-09-01 2003-09-30 Neomagic Corp. Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera
US6836289B2 (en) * 1999-12-20 2004-12-28 Texas Instruments Incorporated Digital still camera architecture with red and blue interpolation using green as weighting factors
JP3947969B2 (ja) * 2002-05-15 2007-07-25 ソニー株式会社 画像処理装置、および画像処理方法、記録媒体、並びにプログラム
FR2861207B1 (fr) * 2003-10-15 2006-02-17 St Microelectronics Sa Adaptateur d'images a traitement d'image par tuiles, et procede utilisant un tel adaptateur
JP4392294B2 (ja) * 2004-06-15 2009-12-24 株式会社日立製作所 通信統計収集装置
KR100967742B1 (ko) * 2004-09-07 2010-07-06 크로스텍 캐피탈, 엘엘씨 이미지센서의 색 보간 방법
US7324707B2 (en) * 2004-10-12 2008-01-29 Altek Corporation Interpolation method for generating pixel color
US7676096B2 (en) * 2005-07-08 2010-03-09 Qformx Modular, low cost, memory efficient, input resolution independent, frame-synchronous, video compression system using multi stage wavelet analysis and temporal signature analysis with a highly optimized hardware implementation
JP4834446B2 (ja) 2006-04-11 2011-12-14 株式会社東芝 画像処理装置
KR20070103229A (ko) * 2006-04-18 2007-10-23 삼성전자주식회사 컬러 보간 방법 및 장치
US8233675B2 (en) * 2006-06-20 2012-07-31 L-1 Secure Credentialing, Inc. Image, video or audio filtering before biometric recognition
US7609307B2 (en) * 2006-09-13 2009-10-27 National Chiao Tung University Heterogeneity-projection hard-decision interpolation method for color reproduction
US7825965B2 (en) * 2007-09-07 2010-11-02 Seiko Epson Corporation Method and apparatus for interpolating missing colors in a color filter array
US8086034B2 (en) * 2008-02-05 2011-12-27 Aptina Imaging Corporation System and method for reducing color artifacts in digital images
KR100891825B1 (ko) * 2007-11-27 2009-04-07 삼성전기주식회사 디지털 영상의 컬러 노이즈 제거 장치 및 방법
US8436909B2 (en) 2008-10-21 2013-05-07 Stmicroelectronics S.R.L. Compound camera sensor and related method of processing digital images
US8792028B2 (en) * 2008-12-18 2014-07-29 Omnivision Technologies, Inc. Image sensor apparatus and method for line buffer efficient lens distortion correction
EP2396966B1 (en) * 2009-02-10 2018-09-05 Lattice Semiconductor Corporation Block noise detection and filtering
US20110148888A1 (en) * 2009-12-23 2011-06-23 Jacobs Robert A Method and apparatus for controlling multiple display panels from a single graphics output
US8587705B2 (en) 2010-06-28 2013-11-19 Intel Corporation Hardware and software partitioned image processing pipeline
GB2487242A (en) * 2011-01-17 2012-07-18 Sony Corp Interpolation Using Shear Transform

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790205A (en) * 1996-08-23 1998-08-04 Texas Instruments Incorporated Method of increase sharpness in digital displays

Also Published As

Publication number Publication date
CN102918561A (zh) 2013-02-06
TW201214331A (en) 2012-04-01
WO2012009077A1 (en) 2012-01-19
EP2586009A4 (en) 2016-01-06
US20110317047A1 (en) 2011-12-29
US8587705B2 (en) 2013-11-19
EP2586009A1 (en) 2013-05-01
TWI552111B (zh) 2016-10-01

Similar Documents

Publication Publication Date Title
CN102918561B (zh) 硬件和软件分界的图像处理流水线
CN102273208B (zh) 图像处理设备和图像处理方法
KR101017802B1 (ko) 영상 왜곡 보정
JP4840468B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US8837853B2 (en) Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
WO2013031367A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN102761682B (zh) 图像处理设备及其控制方法
CN104202583B (zh) 图像处理装置和方法
JP2010252231A (ja) 画像処理装置、その制御方法、及びプログラム
JP2003116060A (ja) 欠陥画素補正装置
US8379975B2 (en) Image processing device and method, and program recording medium
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
JP2005122361A (ja) 画像処理装置及び方法、コンピュータプログラム、記録媒体
Hore et al. An edge-sensing generic demosaicing algorithm with application to image resampling
CN110430403B (zh) 一种图像处理方法和装置
WO2016002099A1 (ja) 画像拡大装置、画像拡大方法、及び監視カメラ、並びにプログラム及び記録媒体
CN108122201A (zh) 一种拜耳插值拉链效应去除方法
US7477804B2 (en) Image interpolation apparatus and method
CN102722902B (zh) 一种图形渲染流水线中光栅化阶段反走样的改进方法
JP2010141885A (ja) 輝度軸に沿って色ボリューム調節及び可変偏移を行う色強調のための方法並びにシステム
JP2005328215A (ja) 画像処理装置および画像処理プログラム
US8452090B1 (en) Bayer reconstruction of images using a GPU
CN109285113B (zh) 一种基于梯度的改进彩色图像插值方法
CN101345887B (zh) 改良的rgb影像缩放方法
US20110255780A1 (en) Method for performing color interpolation on a down-sampled bayer image, and associated device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20210613