CN101416217B - 用以促进使用小行缓冲器来处理小或大图像的技术 - Google Patents

用以促进使用小行缓冲器来处理小或大图像的技术 Download PDF

Info

Publication number
CN101416217B
CN101416217B CN2007800125768A CN200780012576A CN101416217B CN 101416217 B CN101416217 B CN 101416217B CN 2007800125768 A CN2007800125768 A CN 2007800125768A CN 200780012576 A CN200780012576 A CN 200780012576A CN 101416217 B CN101416217 B CN 101416217B
Authority
CN
China
Prior art keywords
image
line buffer
vertical stripes
width
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800125768A
Other languages
English (en)
Other versions
CN101416217A (zh
Inventor
斯蒂芬·莫洛伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101416217A publication Critical patent/CN101416217A/zh
Application granted granted Critical
Publication of CN101416217B publication Critical patent/CN101416217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Storing Facsimile Image Data (AREA)

Abstract

本发明描述用于支持对不同大小图像进行图像处理的装置的图像处理技术。所述技术可在许多情形中使用,且可尤其用于对所述装置捕获的小取景器图像及大静止图像进行前端图像处理。在一个实施例中,本发明提供一种方法,所述方法包含:使用装置捕获第一图像;使用行缓冲器处理所述第一图像,所述行缓冲器的大小经确定以适应所述第一图像的图像宽度;及使用所述装置捕获第二图像,其中所述第二图像具有比所述第一图像的图像宽度大的图像宽度。所述方法还包括使用所述行缓冲器处理所述第二图像的垂直条纹,其中所述第二图像的所述垂直条纹界定适合所述行缓冲器的宽度。

Description

用以促进使用小行缓冲器来处理小或大图像的技术
技术领域
本发明涉及图像及视频处理,且更明确地说,涉及用于有效处理不同大小图像的存储器存储技术。
背景技术
在成像装置及视频装置中通常执行大量“前端”图像处理技术。所述装置通常包括用以捕获(例如)个别静止图像或形成视频序列的图像序列的原始图像数据的图像感测器。通常对原始数据执行图像处理技术以改进图像质量。所述图像处理技术的实例包括二维滤波、解镶嵌、透镜跌落校正、比例缩放、色彩校正、色彩转变、减噪滤波及空间滤波,这些仅是举出的几个实例。前端处理可改进视觉图像质量属性,例如,音调重现、色彩饱和、色调重现及清晰度。
在许多情况下,可能需要装置支持用于不同大小的数个不同图像的图像处理技术。实际上,在一些情况下,需要装置支持的图像大小可剧烈变化。举例来说,装置可在所述装置的取景器中实时呈现极小的图像序列,其可需要快速地对所述图像执行图像处理以改进取景器中的图像质量。另外,装置可对多数较大图像执行图像处理技术,所述较大图像例如是装置所捕获的静止图像或装置所捕获的图像的视频序列。为支持对不同图像的图像处理,常规知识要求图像处理模块中的行缓冲器适应与所述装置可处理的最大图像相关联的图像宽度。行缓冲器是指用来存储一行图像数据或一行图像数据的一部分的小的临时存储位置。行缓冲器通常在芯片上且与一个或一个以上处理模块相关联。
发明内容
本发明描述用于支持对不同大小图像进行图像处理的装置的图像处理技术。所述技术可在许多上下文中使用,且可尤其用于对所述装置捕获的小取景器图像及大静止图像进行前端图像处理。本文所描述的技术允许与图像处理相关联的行缓冲器大小显著减小。根据本发明,行缓冲器的大小可经确定以适应小的取景器图像,使得可极快地处理所述图像。较大图像的原始数据可存储于临时位置中,且可以允许使用行缓冲器(其小于大图像的宽度)处理所述大图像的方式来存取。
在一个实施例中,本发明提供一种方法,所述方法包含:使用装置捕获第一图像;使用行缓冲器处理所述第一图像,所述行缓冲器的大小经确定以适应所述第一图像的图像宽度;使用所述装置捕获第二图像,其中所述第二图像具有比所述第一图像的所述图像宽度大的图像宽度;及使用所述行缓冲器处理所述第二图像的垂直条纹,其中所述第二图像的所述垂直条纹界定适合所述行缓冲器的宽度。
在另一实施例中,本发明提供一种方法,所述方法包含:使用装置捕获图像;及使用行缓冲器处理所述图像的垂直条纹,其中所述行缓冲器界定比所述图像的宽度小的宽度。
在再一实施例中,本发明提供一种装置,所述装置包含:图像捕获设备,其捕获图像;存储器;存储器控制器,其界定所述图像的重叠垂直条纹;及处理单元,其使用行缓冲器处理所述图像的所述重叠垂直条纹,其中所述行缓冲器界定比所述图像的宽度小的宽度。
在又一实施例中,本发明提供一种处理由装置捕获的图像的前端处理单元。所述前端处理单元使用行缓冲器(其大小经确定以适应所述第一图像的图像宽度)处理第一图像,及使用所述行缓冲器处理第二图像的垂直条纹,其中所述第二图像具有比所述第一图像的图像宽度大且比所述行缓冲器的大小大的图像宽度,且其中所述第二图像的垂直条纹界定适合所述行缓冲器的宽度。
本文所描述的这些及其它技术可实施于硬件、软件、固件、或其任一组合中。如果实施于软件中,那么可在数字信号处理器(DSP)或其它类型的处理器中执行所述软件。最初,执行所述技术的软件可存储于计算机可读媒体中且加载及执行于DSP中以用于有效地处理不同大小的图像。
因此,本发明还预期一种计算机可读媒体,所述计算机可读媒体包含:计算机可读媒体,其包含当在装置中执行时致使所述装置执行以下操作的指令:使用行缓冲器处理第一图像,所述行缓冲器的大小经确定以使用所述第一图像的图像宽度;及使用所述行缓冲器处理第二图像的垂直条纹,其中所述第二图像具有比所述第一图像的所述图像宽度大且比所述行缓冲器的大小大的图像宽度,且其中所述第二图像的所述垂直条纹界定适合所述行缓冲器的宽度。
将在附图及以下说明中阐述本发明的一个或一个以上实施例的细节。依据本说明、附图且依据权利要求书,将了解本发明的其它特征、目的及优点。
附图说明
图1是可实施本发明的技术的实例性装置的框图。
图2是图解说明一组行缓冲器的概念图,所述组行缓冲器的大小经确定以具有对应于第一图像的宽度及第二图像的重叠垂直条纹的宽度的宽度。
图3是图解说明可实施本发明的技术的实例性存储器、存储器控制器及前端处理单元的框图。
图4是图解说明其中可在处理大或小图像中使用小行缓冲器的技术的流程图。
具体实施方式
本发明描述用于支持对不同大小图像进行图像处理的装置的图像处理技术。所述技术可在许多上下文中使用,且明确地说可用于对所述装置捕获的小取景器图像及大静止图像进行前端图像处理。在此情况下,装置的取景器模式及静止图像捕获模式可对以所述不同模式捕获的不同图像具有不同处理要求。具体来说,取景器模式可需要对极小图像进行快速处理,使得取景器可将所述图像作为实时视频序列显示于取景器中。另一方面,静止图像捕获模式可容忍较大等待时间,但所述图像远大于取景器模式中的图像。
根据本发明,用于前端图像处理的行缓冲器的大小可经确定以适应与第一图像(例如,取景器图像)相关联的图像宽度,但其大小可经确定而小于第二图像(例如,静止图像).可极快地处理取景器图像,因为取景器图像的每一行均在处理单元中的行缓冲器范围内。为处理较大图像,可将较大图像寻址或另外界定为图像的垂直条纹,其中垂直条纹界定在行缓冲器范围内的宽度。垂直条纹可具有与其它垂直条纹重叠的像素,具体来说,此在图像处理包括二维(或更高维度)滤波时有用。由于相同行缓冲器(其小于静止图像的宽度)可用于处理小取景器图像及大静止图像,因此可在装置中实现硬件减少。
图1是图解说明可实施本揭示内容的技术的装置2的框图。装置2可形成图像捕获装置的一部分,或可以是能够编码及传输视频数据的数字视频装置。举例来说,装置2可包含数码相机、无线通信装置(例如,蜂窝式或卫星无线电电话)、个人数字助理(PDA)或具有成像或视频能力的任何装置。
如图1中所示,装置2包括图像处理设备4,以存储原始图像数据及对所述数据执行各种处理技术。设备4可包含所谓的“芯片集”,所述芯片集包括数字信号处理器(DSP)及芯片上存储器(例如,本文中所描述的行缓冲器)。然而,在其它情况下,设备4可包含处理器、硬件、软件或固件的任一组合。同样,如果需要的话,那么设备4可包含单个集成芯片。
在图1中所图解说明的实例中,图像处理设备4包括本地存储器8、存储器控制器10及图像处理单元6。图像处理单元6包括前端处理单元18,但也可包括编码单元19。一般来说,前端处理单元18执行本发明的技术且可包括多个图像处理模块。前端处理单元18可包括多个图像处理模块。举例来说,前端处理单元18的模块可包括二维滤波模块、解镶嵌模块、透镜跌落校正模块、比例缩放模块、色彩校正模块、色彩转变模块、降噪滤波模块、空间滤波模块或其它类型的模块。本发明的教示对可实施行缓冲器的任何模块(例如,二维滤波模块、降噪滤波模块及垂直比例缩放模块)特别重要。
编码单元19可在设备4所处理的图像是视频帧流时使用。在此情况下,编码单元19可执行视频编码,所述视频编码可包括一个或一个以上视频压缩技术,例如帧间压缩或帧内压缩。举例来说,编码单元19可实施运动估计及运动补偿技术以利用时间或帧间数据相关性来提供帧间压缩。另一选择是或另外地,编码单元19可执行空间估计及内部预测技术以利用空间或帧内数据相关性来提供帧内压缩。编码单元19还可用于压缩静止图像。
本地存储器8一般存储原始图像数据,且还可在图像处理单元6执行的任何处理之后存储经处理的图像数据。存储器控制器10控制存储器8内的存储器组织。存储器控制器10还控制从存储器8到单元6的存储器加载,以及从单元6到存储器8的回写。此外,如以下更详细描述,存储器控制器10可将原始图像数据作为重叠垂直条纹来寻址。在此情况下,重叠垂直条纹可具有比较大图像的宽度小的宽度,使得前端处理单元18中的行缓冲器可适应垂直条纹的行。小图像(例如,取景器图像)可在行缓冲器中快速处理,而大图像(例如,静止图像)可作为重叠条纹在存储器8中寻址,且接着在前端处理单元18的行缓冲器中处理。
因此,静止图像处理起来可能花费更长时间,因为图像的全宽度并不是一次加载到行缓冲器中。而是,通过将一系列条纹加载到行缓冲器中来处理每一大图像。然而,静止图像可更易于容忍添加的等待时间(可在此上下文中发生),因为静止图像可能不需要实时递送,例如,如果用户正观看实时视频捕获,那么情况将是如此。
装置2可包括用以捕获图像的图像捕获设备12。图像捕获设备12可包含一组图像感测器(其包括布置在相应感测器的表面上的滤色器阵列(CFA)),且可直接耦合到图像处理单元6以避免在对取景器图像进行图像处理时出现等待时间。然而,还可使用其它类型的图像感测器来捕获图像数据。可用于实现图像捕获设备12的其它实例性感测器包括固态感测器元件阵列,例如,互补金属氧化物半导体(CMOS)感测器元件、电荷耦合装置(CCD)感测器元件或类似感测器元件。图像捕获设备12可用于捕获随后根据本发明处理的不同大小的图像。然而,在其它情况下,可使用多个不同图像捕获设备来捕获不同大小的图像。
如上所述,设备12捕获的一些图像可以是小图像,例如,取景器图像。装置2可包括显示器21,所述显示器21显示设备12取样的取景器图像的实时序列,以模拟实时视频。所述图像的宽度可相对小。前端处理单元18中的行缓冲器的大小可经确定以适应小取景器图像的宽度。因此,当捕获所述小图像时,可逐行地将其直接加载到前端处理单元18中。在进行处理之后,可将取景器图像写入到本地存储器8或外部存储器14。接着,可将经处理的图像发送到显示器21以用于呈现给用户。
显示器21可用于显示取景器图像(如上所述),且还可用于在处理单元18对静止图像进行处理之后显示所述静止图像。然而,在一些情况下,可由装置2处理及存储静止图像,但不予以显示。在捕获到静止图像之后,本地存储器8可存储原始数据。存储器控制器可接着存取原始数据的垂直条纹。静止图像的宽度可大于单元18中的行缓冲器的宽度,但垂直条纹的宽度可适合行缓冲器。因此,一旦将数据组织或寻址为垂直条纹,便可由存储器控制器10将垂直条纹加载到前端处理单元18中,进行处理并回写到本地存储器8(或存储器14)。可接着存储经处理的图像数据或可能由显示器21显示。
在一些情况下,装置2可包括多个存储器。举例来说,装置2可包括外部存储器14,所述外部存储器14通常包含相对大的存储器空间。例如,外部存储器14可包含动态随机存取存储器(DRAM)或快闪存储器。存储器14可基于所谓的“或非”或“或与”存储器技术,或者任一其它数据存储技术。在其它实例中,外部存储器14可包含非易失性存储器或任一其它类型的数据存储单元。与外部存储器14相反,本地存储器8可包含较小且更快的存储器空间,虽然本发明未必局限于此方面。举例来说,本地存储器8可包含同步动态随机存取存储器(SDRAM)。
在任何情况下,存储器14及8仅是实例性的,且可组合到相同存储器部件中,或可以若干其它配置实施。在优选实施例中,本地存储器8形成外部存储器14的一部分(通常以SDRAM的形式)在此情况下,在两个存储器8及14均不位于具有图像处理单元6的“芯片上”的意义上,所述两个存储器8及14均在“外部”。因此,仅图像处理单元6的行缓冲器可以是“芯片上”存储器。以此方式,本发明的教示可显著减小处理小取景器图像及大静止图像所需的“芯片上”存储器的量。
装置2还可包括用以将经处理的图像或经编码的图像序列传输到其它装置的传输器(未显示)。本地存储器8、显示器21及外部存储器14(以及其它组件,如果需要的话)可经由通信总线15耦合。装置2中还可包括若干其它元件,但出于简单及容易图解说明的目的,图1中并未具体地予以图解说明。图1所图解说明的架构仅是实例性的,因为本文中所描述的技术可以各种其它架构来实施。
对于较小的取景器图像,可将所得的经处理图片写入到“帧缓冲器”存储器中,所述“帧缓冲器”存储器通常是外部存储器14的一部分。在此情况下,显示器21通常读取此“帧缓冲器”存储器以在显示器屏幕上再现图片。关于较大的静止照片,将所得的经处理图片(以不重叠垂直条纹的形式)逐条纹地写入到“帧缓冲器”存储器中,同样地,所述“帧缓冲器”存储器通常是外部存储器14的一部分。接着,可组合所述条纹以再现静止图像,所述静止图像可存储或发送到另一装置,或可能在显示器21再现。然而,根据本发明,应将帧缓冲器存储器的存储器位置限定于任一特定位置。
图2是图解说明一组行缓冲器25的概念图,所述组行缓冲器25的大小经确定以具有对应于第一图像26及第二图像28的重叠垂直条纹27A-27C(统称为垂直条纹27)的宽度的宽度。更一般来说,行缓冲器25应具有适应第一图像26的宽度及垂直条纹27的宽度的宽度。因此,行缓冲器25可宽于第一图像26的宽度或垂直条纹27的宽度,但至少应与所述相应宽度一样宽,以适应第一图像的行或垂直条纹的行。
行缓冲器25是临时的存储单元,其可以是DSP的芯片上元件。如果实施于硬件中,那么行缓冲器25可位于前端处理单元18(图1)的一个或一个以上图像处理模块内。如图2中所示,一全行的图像26的像素(例如,像素A1-I1)可适合行缓冲器25中的一者。行缓冲器25所需的实际宽度可取决于与图像26及28的像素相关联的像素格式。根据本发明,可使用许多不同的像素格式,只要行缓冲器具有适应第一图像26的整个宽度的所述像素格式的宽度便可。作为实例,图像26及28的每一像素可包含8个位或16个位。同样,所述像素可由装置相依或装置无关色彩空间中的三色值或四色值来表示。无论像素的格式如何,行缓冲器25可经设计以具有与图像26及垂直条纹27的宽度一样大或大于图像26及垂直条纹27的宽度但小于图像28的宽度的适当宽度。
同样,行缓冲器25适应小图像26的宽度,使得可极快地处理图像26。图像26可包含取景器图像,所述取景器图像作为呈现于显示器21(图1)中的实时视频序列的一部分必须予以快速处理。较大图像28可包含静止图像(或可能包含待编码视频序列的图像)。不同于第一小图像26,第二较大图像28可容忍在其图像处理中出现的较长等待时间。因此,系统2通过将行缓冲器的大小减小为小于图像28的宽度来利用此对等待时间的容忍。在此情况下,不逐行处理图像28而是将其界定为可使用行缓冲器25处理的垂直条纹27。
在图2中所图解说明的实例中,垂直条纹27彼此重叠。具体来说,图像28中每一行的像素H及I包括在垂直条纹27A中各行的末端处,且还包括在垂直条纹27B中各行的开始处。类似地,像素O及M包括在垂直条纹27B及27C两者的各行中。垂直条纹的此重叠布置在对图像28执行多维滤波时特别有用。
举例来说,二维滤波(或另一更高阶滤波)可部分地基于邻近像素的值对像素值进行滤波。因此,像素C1的经滤波值不仅可取决于C1的值,而且还可部分地取决于邻近像素B1及D1的值,且可能取决于像素A1及E1或者其它像素(其甚至处在远离待滤波的像素C1的更高阶处)的值。为考虑以高效率方式实施此更高阶滤波,将垂直条纹27界定为彼此重叠。在进行滤波之后,经滤波的像素可仅用于界定对既定垂直条纹的最中心像素的滤波,所述经滤波的像素被回写到外部存储器14(例如,帧缓冲器中)且可在被加载到行缓冲器25中的最边缘像素的范围内不重叠。因此,当处理图像28包含对图像28的重叠垂直条纹27进行二维滤波时,二维滤波的输出可包含可被存储回存储器14(或存储器8)的经滤波且不重叠的垂直条纹。
垂直条纹27可作为单独数据结构存储于存储器8中,或者可视需要使用寻址方案来从存储于存储器8中的原始图像数据来存取垂直条纹。优选地,存储器控制器10仅从原始数据存取垂直条纹,以避免需要重新存储垂直条纹。不管怎么说,存储器控制器10均将垂直条纹27界定为在行缓冲器25中进行处理。垂直条纹的经滤波版本还可作为单个数据结构存储,或可由存储器控制器10重组为经完全滤波的图像。
图3是图解说明可实施本发明的技术的实例性存储器32、存储器控制器34及前端处理单元36的框图。图3中的元件32、34及36可分别对应于图1的元件8、10及6,虽然所述元件还可用于其它装置中。如图3中所示,存储器32包括原始数据缓冲器42及经处理数据缓冲器44。原始数据缓冲器42一般存储原始图像数据,而经处理数据缓冲器44一般存储已经处理(例如,在由前端处理单元36执行的一个或一个以上处理步骤之后)的数据。存储器32(及原始数据缓冲器42与经处理数据缓冲器44)可位于单个存储器位置或多个位置中,例如存储器8及14(图1)。
存储器控制器34控制存储器32内的存储器组织。明确地说,存储器控制器34控制从存储器32到单元36的存储器加载,以及从单元36到存储器32的回写。同样,对于界定大于前端处理单元36中所用行缓冲器的行宽度的大图像,存储器控制器34将原始数据缓冲器42中原始数据的垂直条纹界定为适合所述行缓冲器。图像28的垂直条纹27(图2中所示)是一个此类实例。
前端处理单元36可包括多个图像处理模块45A-45D(统称为模块45)。一个或一个以上模块45可包括图2中所示的行缓冲器25。举例来说,模块45可包括各种图像处理模块,例如,二维滤波模块或更高阶滤波模块、解镶嵌模块、透镜跌落校正模块、比例缩放模块、一个或一个以上色彩校正模块、一个或一个以上色彩转变模块、降噪滤波模块、空间滤波模块或可用于原始或经处理图像数据的任何类型的成像模块。
对于界定在模块45的行缓冲器范围内的图像宽度的小图像(例如,取景器图像),存储器控制器34可将每一图像的连续行加载到模块1(45A)中且将经处理的结果回写到经处理数据缓冲器44中的一者中。接着,可将经处理的数据加载到模块2(45B)中,以进行进一步处理并接着回写。接着,可将经进一步处理的数据加载到模块3中,进行处理并回写,且此处理可穿过单元36中的一些或全部模块45而继续。另一选择是,对于小图像,可将图像捕获设备12(图1)的输出直接耦合到单元36界定的图像处理管线,在此情况下,小图像的原始数据将直接来自图像捕获设备(图3中未显示)。在此情况下,小取景器图像的原始数据可不通过存储器控制器34来传递,且在行缓冲器中进行处理之前也不存储在不同存储器(例如,32)中。此可改进对所述小图像(可能需要实时显示)的处理速度。
一旦模块1(45A)处理了既定行,便可以管线方式处理下一行。因此,对于具有适合模块45的行缓冲器的行宽度的小取景器图像,图像的连续行可经管线化而穿过模块45以实现极快的图像处理通量。
较大图像可以类似方式处理,但需要首先将其分离成适合行缓冲器的垂直条纹。因此,对于装置捕获的较大图像(例如,静止图像),存储器控制器34将原始数据界定为可在二维滤波情形下彼此重叠的垂直条纹(例如,经由寻址方案)。在此情况下,可以管线方式将一行垂直条纹加载到模块45中且回写。由于一个或一个以上模块45使用的行缓冲器小于大图像的全宽度,因此在对所述大图像进行处理时引入了额外的等待时间。然而,可能期望以此等待时间(此在装置捕获的静止图像中是可容忍的)为代价来获得硬件减少,所述硬件减少是通过减小行缓冲器的大小实现的。在多数情况下,单元36可以管线方式处理每一垂直条纹的多个行,而不通过存储器控制器34前后发送每一经处理的行。
图4是图解说明其中可在处理大或小图像时使用小行缓冲器的技术的流程图。在此实例中,大图像是装置以静止图像模式捕获的静止图像,且小图像是装置以取景器模式捕获的取景器图像。然而,相同技术可在彼此相对大及小的任何图像内工作。将在图1及2的上下文中描述图4,其中在图1的前端处理单元18中使用图2的行缓冲器25。
如图4中所示,图像捕获设备12捕获可以是小取景器图像或大静止图像的图像(51)。装置2的模式可确定图像是取景器图像还是静止图像(52)。对于小取景器图像(52的取景器分支),将图像捕获设备12捕获的原始图像数据直接加载到前端处理单元18的行缓冲器25中。如本文中所描述,行缓冲器25具有可适应取景器图像的全宽度的宽度,借此允许在前端处理单元18中逐行地处理所述图像。因此,如图4中所示,前端处理单元18使用行缓冲器25处理图像(56)。接着,存储器控制器致使经处理的图像被存储回到存储器8(或存储器14)中(57)。如果需要的话,可依序对图像执行额外的处理步骤。
对于大静止图像(52的静止图像分支),存储器控制器10存储静止图像的原始数据(59)并界定本地存储器8中的存储器缓冲器中的静止图像的重叠垂直条纹(54)。用于垂直条纹的存储器缓冲器的大小可根据行缓冲器的宽度确定,且垂直条纹可以是静止图像的重叠条纹。存储器控制器10接着将垂直条纹的行加载到前端处理单元18的行缓冲器25中(55)。以此方式,单元18可使用行缓冲器25来处理静止图像(56),但此处理是针对垂直条纹的每一行而非静止图像的每一行。在进行此处理之后,存储器控制器致使经处理的图像被存储回到存储器8(或存储器14)中(57)。同样,如果需要的话,可依序对图像执行额外的处理步骤。换句话说,图4中所图解说明的过程应用于图像处理的一个阶段,但例如如果前端处理单元18包括使用行缓冲器的数个图像处理模块,可针对连续阶段重复所述过程。此外,取景器图像的行或静止图像的垂直条纹的行可经管线化而穿过前端处理单元18。
已描述了若干种图像处理技术。所述技术可实施于硬件、软件、固件或其任一组合中。如果实施于软件中,所述技术可针对一种包含程序码的计算机可读媒体,所述程序码在捕获两个或两个以上不同大小的图像的装置中执行时可使用比至少一些图像的宽度小的行缓冲器处理所述图像。在此情形下,计算机可读媒体可包含随机存取存储器(RAM)(例如,同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器或类似存储器。
程序码可以计算机可读指令的形式存储在存储器上。在此情形下,处理器(例如,DSP)可执行存储于存储器中的指令,以便实施一种或多种图像处理技术。在一些情形下,所述技术可由调用各种硬件组件来加快图像处理速度的DSP来执行。在其它情形下,本文中所描述的单元可实施为微处理器、一个或一个以上专用集成电路(ASIC)、一个或一个以上现场可编程门阵列(FPGA)或某一其它硬件软件组合。
然而,可对本文中所描述的技术作各种修改。举例来说,虽然主要在小取景器图像及大静止图像的上下文中描述了所述技术,但可针对不同宽度的任何图像应用所述技术。同样,可针对更高或更低分辨率的图像应用所述技术,在此情况下,高分辨率图像对于既定图像大小来说在宽度上将较大,因为高分辨率将界定高于较低分辨率图像的像素密度。此外,虽然在个别图像的上下文中描述了所述技术,但所述技术可应对形成视频序列的图像组。在此情况下,可在缓冲器中逐行处理低分辨率序列,同时可将高分辨率序列作为垂直条纹存储且接着进行处理。这些及其它实施例均在上述权利要求书的范围内。

Claims (16)

1.一种处理捕获的图像的方法,其包含:
使用装置捕获第一图像;
使用行缓冲器处理所述第一图像,所述行缓冲器的大小经确定以适应所述第一图像的图像宽度;
使用所述装置捕获第二图像,其中所述第二图像具有比所述第一图像的所述图像宽度大的图像宽度;及
使用所述行缓冲器处理所述第二图像的垂直条纹,其中所述第二图像的所述垂直条纹界定适合所述行缓冲器的宽度。
2.如权利要求1所述的方法,其中所述第一图像包含取景器图像且所述第二图像包含静止图像。
3.如权利要求1所述的方法,其中处理所述第一图像包含对所述第一图像进行滤波且其中处理所述第二图像的所述垂直条纹包含对所述第二图像进行滤波。
4.如权利要求3所述的方法,其中所述垂直条纹彼此重叠。
5.如权利要求4所述的方法,其中对所述第二图像进行滤波包含二维滤波。
6.一种处理捕获的图像的方法,其包含:
使用装置捕获图像;及
使用行缓冲器处理所述图像的垂直条纹,其中所述垂直条纹的宽度适合所述行缓冲器,其中所述行缓冲器界定比所述图像的宽度小的宽度,并且其中所述行缓冲器的所述宽度对应于取景器图像的宽度。
7.如权利要求6所述的方法,其中处理所述图像的垂直条纹包含对所述图像的重叠垂直条纹进行二维滤波,其中所述二维滤波的输出包含经滤波且不重叠的垂直条纹。
8.一种处理捕获的图像的装置,其包含:
图像捕获设备,其捕获图像;
存储器;
存储器控制器,其界定所述图像的重叠垂直条纹以适合行缓冲器;及
处理单元,其使用所述行缓冲器处理所述图像的所述重叠垂直条纹,其中所述行缓冲器界定比所述图像的宽度小并且对应于取景器图像的宽度的宽度。
9.如权利要求8所述的装置,其中所述图像是静止图像,且其中:
所述图像捕获设备捕获取景器图像;且
所述处理单元使用所述行缓冲器处理所述取景器图像。
10.如权利要求8所述的装置,其中所述处理单元对所述图像的所述重叠垂直条纹执行二维滤波,且其中所述二维滤波的输出包含存储回到所述存储器的经滤波且不重叠的垂直条纹。
11.如权利要求8所述的装置,其中所述装置包含无线电电话且所述图像捕获设备包含所述装置的数码相机。
12.一种用于处理捕获的图像的设备,包括:
用于捕获第一图像和第二图像的装置;
用于使用行缓冲器处理所述第一图像和所述第二图像的垂直条纹的装置,所述行缓冲器的大小经确定以适应所述第一图像的图像宽度,其中所述第二图像具有比所述第一图像的所述图像宽度大且比所述行缓冲器的所述大小大的图像宽度,且其中所述第二图像的所述垂直条纹界定适合所述行缓冲器的宽度。
13.如权利要求12所述的设备,其中所述第一图像包含取景器图像且所述第二图像包含静止图像。
14.如权利要求12所述的设备,其中所述设备通过对所述第一图像进行滤波来处理所述第一图像,且其中所述设备通过对所述第二图像进行滤波来处理所述第二图像的所述垂直条纹。
15.如权利要求14所述的设备,其中所述垂直条纹彼此重叠。
16.如权利要求15所述的设备,其中对所述第二图像进行滤波包含二维滤波。
CN2007800125768A 2006-04-11 2007-04-10 用以促进使用小行缓冲器来处理小或大图像的技术 Active CN101416217B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/402,661 US7595805B2 (en) 2006-04-11 2006-04-11 Techniques to facilitate use of small line buffers for processing of small or large images
US11/402,661 2006-04-11
PCT/US2007/066353 WO2007121197A1 (en) 2006-04-11 2007-04-10 Techniques to facilitate use of small line buffers for processing of small or large images

Publications (2)

Publication Number Publication Date
CN101416217A CN101416217A (zh) 2009-04-22
CN101416217B true CN101416217B (zh) 2012-08-08

Family

ID=38328664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800125768A Active CN101416217B (zh) 2006-04-11 2007-04-10 用以促进使用小行缓冲器来处理小或大图像的技术

Country Status (6)

Country Link
US (1) US7595805B2 (zh)
EP (1) EP2008238A1 (zh)
JP (4) JP2009533772A (zh)
KR (1) KR100997619B1 (zh)
CN (1) CN101416217B (zh)
WO (1) WO2007121197A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI397885B (zh) * 2008-05-07 2013-06-01 Novatek Microelectronics Corp 用於一平面顯示器之一時序控制器存取資料的方法與平面顯示器
TWI413943B (zh) * 2009-02-11 2013-11-01 Silicon Motion Inc 影像處理系統及其影像處理方法
US9367501B2 (en) * 2011-11-10 2016-06-14 International Business Machines Corporation Dynamic streaming data dispatcher
WO2013138910A1 (en) 2012-03-19 2013-09-26 Michael Klein Virtual respiratory gas delivery systems and circuits
JP6631643B2 (ja) * 2016-02-12 2020-01-15 株式会社リコー 画像処理装置、画像処理システム及び画像処理方法
US10380969B2 (en) 2016-02-28 2019-08-13 Google Llc Macro I/O unit for image processor
KR102637732B1 (ko) 2018-09-21 2024-02-19 삼성전자주식회사 이미지 신호 프로세서, 상기 이미지 신호 프로세서의 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 애플리케이션 프로세서
KR20200094500A (ko) * 2019-01-30 2020-08-07 삼성전자주식회사 이미지 프레임 데이터에 포함된 라인 데이터를 복수의 구간들로 처리하는 전자 장치 및 방법
CN111314579B (zh) * 2020-02-21 2021-10-15 苏州浪潮智能科技有限公司 一种图像垂直滤波处理的方法及芯片
CN113709494B (zh) * 2021-06-23 2024-04-09 珠海全志科技股份有限公司 用于超分重建的图像解压缩方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1384427A (zh) * 2001-05-06 2002-12-11 深圳市中兴通讯股份有限公司上海第二研究所 大视图分块缓冲显示方法
CN1543210A (zh) * 2003-04-28 2004-11-03 ���ǵ�����ʽ���� 图像数据处理系统及图像数据读取和写入方法
US6954207B2 (en) * 2003-02-18 2005-10-11 Song Byung-Cheol Method and apparatus for processing pixels based on segments

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473123B1 (en) * 1997-08-21 2002-10-29 Flash Point Technology, Inc. Method and system for organizing DMA transfers to support image rotation
JPH11112753A (ja) * 1997-10-02 1999-04-23 Ricoh Co Ltd 画像処理装置
EP1013089B1 (en) * 1997-10-06 2005-06-22 Silicon Image, Inc. Digital video system and methods for providing same
JP3510997B2 (ja) * 1999-04-05 2004-03-29 セイコーエプソン株式会社 画像処理装置およびコピーシステム
JP3720268B2 (ja) * 2001-02-26 2005-11-24 株式会社メガチップス 画像処理装置
JP2002304624A (ja) * 2001-04-05 2002-10-18 Canon Inc フィルタ処理装置及び撮像装置
JP2003116048A (ja) * 2001-10-05 2003-04-18 Hitachi Kokusai Electric Inc シェーディング補正方法
US6999105B2 (en) * 2003-12-04 2006-02-14 International Business Machines Corporation Image scaling employing horizontal partitioning
JP4250091B2 (ja) * 2004-01-14 2009-04-08 富士フイルム株式会社 デジタルカメラ
JP2006005596A (ja) * 2004-06-17 2006-01-05 Renesas Technology Corp 半導体集積回路装置及び撮像装置
JP4219887B2 (ja) * 2004-12-28 2009-02-04 富士通マイクロエレクトロニクス株式会社 画像処理装置及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1384427A (zh) * 2001-05-06 2002-12-11 深圳市中兴通讯股份有限公司上海第二研究所 大视图分块缓冲显示方法
US6954207B2 (en) * 2003-02-18 2005-10-11 Song Byung-Cheol Method and apparatus for processing pixels based on segments
CN1543210A (zh) * 2003-04-28 2004-11-03 ���ǵ�����ʽ���� 图像数据处理系统及图像数据读取和写入方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Chien-Hsin Lin et al..Algorithm and Architecture for Multirate Polyphase Video Scaling with Panoramic Effect and Enhanced Video Quality.《Proceedings of the Ninth International Symposium on Consumer Electronics》.2005,全文. *
Klaus Illgner.DSPs for image and video processing.《Signal Processing》.2000,第80卷全文. *

Also Published As

Publication number Publication date
JP2015144435A (ja) 2015-08-06
KR100997619B1 (ko) 2010-12-01
US7595805B2 (en) 2009-09-29
KR20080108616A (ko) 2008-12-15
CN101416217A (zh) 2009-04-22
JP2009533772A (ja) 2009-09-17
JP2013146080A (ja) 2013-07-25
US20070236511A1 (en) 2007-10-11
EP2008238A1 (en) 2008-12-31
JP2012212436A (ja) 2012-11-01
WO2007121197A1 (en) 2007-10-25

Similar Documents

Publication Publication Date Title
CN101416217B (zh) 用以促进使用小行缓冲器来处理小或大图像的技术
US20190335099A1 (en) Panoramic camera and photographing method thereof
JP5845464B2 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
KR100917088B1 (ko) 촬상 장치 및 전자 줌 방법
JP5280448B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び半導体集積回路
JPWO2012169140A1 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
JP2015053644A (ja) 撮像装置
JP2007088806A (ja) 画像信号処理装置及び画像信号処理方法
JP2005006061A (ja) 画像処理装置
JP4997172B2 (ja) 画像分割処理用の画像信号処理装置、方法及びプログラム
WO2011010431A1 (ja) 画像処理装置、画像処理方法および撮像装置
US20130195379A1 (en) Image processing apparatus and method
JP4302661B2 (ja) 画像処理システム
JP6702792B2 (ja) 画像処理装置およびその制御方法
CN101489126A (zh) 用以处理图片帧的装置及方法
US20110142331A1 (en) System and method of color interpolation
JP2009260550A (ja) 画像分割処理用の画像信号処理装置、方法及びプログラム
KR20050063711A (ko) 화상 신호 처리 장치
JP5270766B2 (ja) 撮影装置
JP2004312072A (ja) 画像処理装置及びカメラ、並びに画像処理方法
JP6280713B2 (ja) 撮像装置
JP2014116746A (ja) 撮像装置、歪補正回路及び歪補正方法
JP4720494B2 (ja) 撮像装置、撮像方法およびプログラム、並びに記録媒体
US20120314955A1 (en) Information processing device, information processing method, and program
JP4357691B2 (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant