CN101268686A - 数字图像处理 - Google Patents

数字图像处理 Download PDF

Info

Publication number
CN101268686A
CN101268686A CNA2006800225899A CN200680022589A CN101268686A CN 101268686 A CN101268686 A CN 101268686A CN A2006800225899 A CNA2006800225899 A CN A2006800225899A CN 200680022589 A CN200680022589 A CN 200680022589A CN 101268686 A CN101268686 A CN 101268686A
Authority
CN
China
Prior art keywords
area
image
zoom ratio
imageing sensor
directional scaling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800225899A
Other languages
English (en)
Other versions
CN101268686B (zh
Inventor
J·尼克卡南
O·卡勒沃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101268686A publication Critical patent/CN101268686A/zh
Application granted granted Critical
Publication of CN101268686B publication Critical patent/CN101268686B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

用于数字成像的方法、模块、设备和计算机程序产品。在图像传感器内提供图像,选择图像内的至少一个第一区域用于按照第一缩放比率进行按比例缩放,选择所述图像内的至少一个第二区域用于按照第二缩放比率进行按比例缩放,并且提供所述第一区域和所述第二区域用于允许改进的自动对焦的进一步处理。

Description

数字图像处理
技术领域
本专利申请总体涉及数字成像设备中的数字图像处理。
背景技术
在过去几年中,例如数码相机的数字成像设备在成像技术中发挥了显著作用。传统相机完全依赖于化学和机械过程,一般而言不需要电操作。然而,数码相机具有一个或更多内置处理器,并且这些相机完全以数字形式记录图像。由于其电学特性,数码相机(或者数码相机模块)可以容易地与其它电子设备集成,在这些电子设备中移动通讯设备(移动终端)是现今最普通的例子。依赖于主机设备(即,相机模块与之集成的设备),相机模块可以与所述设备的若干其它组件和系统进行通信。例如,在相机电话中,相机模块通常与一个或更多处理器可操作地通信,并且在数码相机的情形中,设备可以包括一些其它类型的专用信号处理组件。
数码相机具有一系列镜头以及对光线进行聚焦以创建场景图像的镜头系统。但是该镜头系统不是将光线聚焦到胶片上,而是将其聚焦到对光线进行电子记录的半导体设备上。该半导体设备例如可以是CMOS(互补金属氧化物半导体)或CCD(电荷耦合器件)传感器。该传感器主要包括光敏像素的收集,这种收集将光线转换为电荷,并且该电荷又被进一步转换为数字图像数据。通常,传感器组件本身并不主要处理数字图像数据,但是现在也有可能将逻辑和存储集成到CMOS传感器当中。美国专利US 6,570,617 B2公开了一种单芯片相机,其中特定信号和控制电子被集成到同一个具有感光元件的基片上。
现代数码相机通常具有集成彩色显示器,其提供用户正在捕获的画面的预览,这一点与传统的胶片类型相机明显不同。这个显示器可以被用作数字取景器,以取代传统的光学取景器。在显示器上看到的图像通常是直接从图像传感器取得并从其原始分辨率按比例缩小后而显示在取景器显示器上的。这个过程保证了在这种预览模式中能够快速更新活动显示。预览图像还以下文描述的方式被用于基于图像的自动对焦。
通常在数码相机中,图像传感器以较低分辨率的QVGA(四分之一视频图形阵列)输出数据用于显示,这是因为上面提到的快速更新预览显示的需要,也是因为显示器有限的像素分辨率。在预览模式中,可以通过分析低分辨率的图像并相应地调整镜头系统来改善对焦来执行基于图像的自动对焦。用户可以检查显示在取景器显示器上的图像,以观察自动对焦是否被成功地应用。非基于图像的对焦也可以在此应用,例如通过使用本领域已知的各种距离测量方法。然而,在现代的多兆像素(multimegapixel)相机中,例如在3兆像素相机,这种用于取景器预览的较低的图像分辨率不足以执行精确的基于图像的对焦。换言之,按比例缩小的图像分辨率不足以对精调自动对焦提供用于精确图像分析的基础。因此,在捕获图像之前,除了上述预对焦过程之外,相机通常还需要执行一些基于更高分辨率图像数据的最终对焦步骤。
现有技术的数码相机可能在其执行自动对焦和预览功能的细节上与上文描述略有不同,但可以认识到,现有技术的系统都具有某些严格的限制,特别是在连续且没有多余延迟地根据兆像素图像提供精确的对焦数据方面。可以认识到,在现有技术的系统中,精确对焦数据不是所有时间都可用的,因为在某些时刻,只有用于取景器的按比例缩小的低分辨率图像是可用的。而且,在一些情况中,当高分辨率图像被捕获用于最终对焦时,取景器图像可能没有适当地更新。
可以看到,即使数码相机提供了新颖有趣的成像方式,仍然需要改进的对焦方法,这种方法比当前技术中的对焦方法更为精确和快速,并且能够应对不断提高的传感器分辨率。而且,这种方法还应当适用于例如出于预览目的而需要将图像按比例缩小以产生更高图像频率的情形。即使是对于经过修剪的图像,例如自动白平衡的自动图像处理也应当有可能取得最好的结果。下文的描述将公开满足这些需要的解决方案。
发明内容
为了克服一个或更多上文提到的问题,本申请提供了一种用于数字成像的方法,包括通过图像传感器提供图像,选择图像内的至少一个第一区域用于按照第一缩放比率进行按比例缩放,选择图像内的至少一个第二区域用于按照第二缩放比率进行按比例缩放;以及提供第一和第二区域用于进一步处理。
本申请的其它方面是一种用于数字成像的成像模块,包括图像传感器模块,用于提供图像;处理器,用于提供基于所述图像按比例缩放局部分辨率图像;选择单元,用于选择图像内的至少一个第一区域从而按照第一缩放比率进行按比例缩放并且选择图像内的一个第二区域用于按照第二缩放比率进行按比例缩放。
本申请的其它方面是一种用于通过计算机程序进行数字成像的计算机程序产品,其中所述计算机程序有形地保存在所述计算机程序产品上,所述程序包括用以操作至少一个处理器的指令,所述至少一个处理器用于通过图像传感器提供图像、选择图像内的至少一个第一区域用于按照第一缩放比率进行按比例缩放、选择图像内的至少一个第二区域用于按照第二缩放比率进行按比例缩放、以及提供第一和第二区域用于进一步处理。
根据独立于上述特征而提供的其它方面,本申请提供计算针对至少图像的一部分的统计,选择图像内的变焦(zoom)区域,转发变焦区域用于进一步处理,以及转发统计用于自动白平衡。按比例缩放可以在图像传感器中完成,也可以在相机处理器中完成。
本发明对于数字成像,特别是对于对焦和白平衡操作,具有显著的优点。由于本发明,可以得到精确的自动对焦,并且即使是在数字变焦的情况下白平衡也更为准确。而且,图像总是可以保持焦点对准。图像传感器和其它处理装置之间接口的数据率能够处理用于持续可靠的对焦的图像,同样能够处理用于呈现在取景器上以便拍摄视频的图像。该方法可被应用于静态图像,并且在视频成像中自动对焦也会更为准确。
附图说明
在附图中:
图1图示了成像设备结构的示例,
图2图示了成像设备结构的另一示例,
图3图示了成像设备结构的又一示例,
图4图示了方法步骤及其在两个相机组件之间的划分的示例,
图5图示了方法步骤及其在两个相机组件之间的划分的另一示例,
图6a图示了具有第一区域、第二区域和第三区域的图像,以及
图6b图示了具有第一区域、第二区域和第三区域的另一图像。
具体实施方式
尽管为了清晰起见在下文的描述中使用了特定术语,但是这些术语仅仅意在提及被选择用于在附图中图示了本发明的特定结构,它们并非意在严格定义或限制本发明的范围。在描述中,通用术语“图像”被用于定义图像数据的可视形式。图像的实例是静态图像,视频图像以及在捕获过程中使用的预览图像。本描述中的“原始图像”涉及没有经过任何方式处理的图像数据。原始图像是由图像传感器捕获但未经解译的数据。“经处理的图像”是经处理的原始图像数据的结果。经处理的图像可以被可视地解译,但这不是必须的。“成像设备”可以是包含用于数字成像装置的任何设备。因此,成像设备可以是数码相机,图像电话(imaging phone)或者一些能够包含成像装置或者连接有成像装置的其它设备(例如,web摄像头)。
现在参考图1描述实现本申请所公开方法的成像设备,图1中成像设备的结构以非常简化的方式给出。成像设备的附图示出了数码相机的组件,这些组件将通过本方法得到显著改进。
成像设备100包括相机模块110,可以是视听引擎的相机处理器120,以及主单元130。主单元130的目的是主要控制设备100的各种应用。主单元130包括例如显示控制器131,其用于控制成像设备100的显示器132。主单元130还被配置用以将图像以及其它信息保存到存储卡133或其它存储装置中。而且,主单元130可以具有通信装置,用于构成与例如个人计算机的外部存储装置的数据传送连接。这些通信装置可以是数据线或者无线系统。主单元130还可以具有到其它系统的其它能力或连接、组件或数据库,它们改进成像设备的效率和功能性。
在这个示例中,相机处理器120至少包括用于确定自动对焦的装置121以及用于计算自动白平衡的装置122。相机处理器120还可以(依情形)根据已知的图像处理方法处理图象。在这个示例中,相机处理器120图示为独立的组件,但是应当理解,该相机处理功能可以由主单元130的处理器执行。其它配置同样是可能的。相机处理器能够选择并按比例缩放图像内的区域。特别地,原始图形数据或者说完全分辨率图像可以按照等于或大于1的缩放因子进行按比例缩放。
相机模块110和相机处理器经由接口101连接,接口101提供数据总线和控制总线。数据总线能够提供用于处理原始图像数据的受限带宽。相机模块110能够选择并按比例缩放原始图像的区域。相机模块110可以从相机处理器120接收关于缩放比率和待选区域的信息。
接口101是相机模块110和相机处理器120之间接口的一个示例。这个接口101的受限带宽能够阻止以足够快的速率发送完全尺寸的原始数据,以此来维持用于取景器或视频的期待帧率。
图像传感器115可以具有与标准移动成像架构(SMIA)相似的架构。在这个架构中,原始相机数据可以按比例缩放用于例如取景器或视频,和/或被修剪用于例如数字变焦,以此作为相机中图像处理链的一部分。
在SMIA传感器除了图像按比例缩放和修剪之外不再包含任何用于图像重建的硬件的情况下,SMIA传感器可以被描述为“傻瓜”模块。相机模块可以输出原始图像数据。该数据继而可以由例如独立处理器引擎120上运行的软件算法或者由与相机模块相连接的其它计算硬件来处理。
根据实施方式的相机模块110包括镜头111,光线通过镜头111引入图像传感器115。在这个示例中,图像传感器115包括模拟-数字转换器116、产生增益的装置以及光敏区118。一些图像传感器115可以只包括增益,一些图像传感器115可以不是这样。
已经发现的是,无法根据接收自图像传感器115的按比例缩小的原始图像数据可靠地计算自动对焦(AF)统计,因为降低的分辨率可能隐藏部分的对焦误差。因此,应当根据未经缩放的原始图像数据计算AF统计。
如果相机设备提供了手动对焦选项,则用户需要观看放大到完全分辨率的图像的一部分,以便能够精确地看到焦点。因此,原始图像数据对于手动对焦而言也是必需的。
然而,原始数据可能需要在图像传感器115一侧按比例缩小,以便应用于取景器显示器132或者视频应用,这既是因为接口101的带宽阻止以足够快的速率发送完全尺寸的原始数据,也是因为接收端没有足够的处理能力在图像重建之外再针对完全帧进行按比例缩放,而且还要维持取景器和视频的期待帧率。接口101的带宽可以是这样的:它将完全尺寸的原始图像的帧率限制在15帧每秒(fps)。
为了提供图像传感器115内的按比例缩放,图像传感器115还包括视频图像缩放器117。缩放器117被配置用于提供对原始图像数据的按比例缩放。缩放器117将图像的分辨率按比例缩放到不同的缩放比率。缩放器117被配置用以将图像的第一区域的分辨率改变为1∶1的缩放比率,而第二或其它任何区域按照1∶N进行按比例缩放,其中N小于或等于1。图像传感器110可以将未经缩放的第一区域和按比例缩放的第二区域传输给相机处理器120。
自动对焦装置121可以根据未经缩放的第一区域中的信息计算自动对焦统计。经按比例缩小的第一区域可以与按比例缩放的第二区域一起显示在显示器132上,其中按比例缩放的第二域也可以覆盖第一区域。
通过传输未经缩放的第一区域,可以根据原始图像数据在相机处理器120中提供AF和手动对焦。第一区域可以足够小,使得接口101的带宽能够传输该原始数据。按比例缩放第二区域,使得优选地大于第一区域的第二区域的图像数据也可以经由受限带宽接口101传输。
也有可能由相机处理器120将关于缩放比率和待选区域的信息传输给相机模块110。第二区域的按比例缩放还可以在相机处理器中执行。
在完全尺寸原始图像数据被修剪用于数字变焦的情形中会产生其它问题。在这种情况下,自动白平衡(AWB)可能不准确。对于AWB统计收集而言,使用这个变焦区域之外的图像数据可能是有利的。
为了提供自动白平衡(AWB),图像传感器115可以包括统计装置119。统计装置119可以在完全分辨率图像上操作。统计装置119可以收集用于补偿不同的光照条件和颜色温度所需的统计信息,使得白色的物体在大多数情形中被感知为白色。AWB对例如R、G和B的不同颜色分量进行彼此相关地增益调整,用以使白色的物体是白色的。
AWB算法可以在用于AWB计算的装置122中使用统计装置119中所收集的统计数据而执行。
统计收集和/或按比例缩放还可以在相机处理器中执行。图像统计的收集也可以在相机处理器中执行。
一般而言,必须指出,至少可以为两个区域提供不同的缩放比率。其中一个区域可被用于变焦。只有这个区域可被用作图像的一部分,并且其它区域则可以从该图像中修剪掉。然而,其它区域的统计对于第一区域的图像处理,例如对于自动白平衡,可能是有帮助的。因此,统计还可以从其它区域收集。先于统计收集对没有被用于图像而仅被用于统计收集的区域进行按比例缩放有助于改善统计收集。区域的按比例缩放可以在相机模块110或者相机处理器120中独立地进行。
在图2中图示了成像设备的另一示例,其中给出了图像电话200。图像电话200包括参考图1所描述的组件,还包括无线通信功能所需的组件。例如在图2中,设备200包括音频装置236、各种网络装置234以及基本蜂窝组件235(例如,键盘,功率管理)。本领域技术人员可以理解,设备200可以将其它功能和组件与这里提到的功能和组件相结合。
成像设备的又一示例在图3中给出。这里图示的图像电话300比图像电话200的附图(图2)更详细一些。在图3中,用于确定自动对焦的装置121和用于AWB计算的装置122被配置在多媒体处理器322中。在图3中,图像电话还包括WLAN连接234,但显而易见的是,这个附加的短距离网络能力还可以是其它短距离网络,例如蓝牙或红外。图3中还图示了接收器-传输器337。这个示例的图像电话300还包括作为主存储器的SDRAM存储器339。在该图中作为主单元130的电话在基带中操作。此外,图像电话300具有立体声输入和立体声输出338。本领域技术人员应当理解,与诸如显示器、音频、存储卡或外部存储器的组件相连接的可以是相机处理器,而不是主单元。
为了给相机处理器提供精确数据用于AF计算和手动对焦,相机模块110和相机处理器可以如图4中所图示的一样操作。
首先,完全分辨率图像(原始图像)在相机传感器120中被捕获401,并且在A/D转换器116中完成模拟-数字转换402。
接着,缩放器117选择至少两个区域403用于按比例缩放。图6a描述了三个区域s 1、s2、s3的选择和按比例缩放,其中区域可以仅在垂直方向变化。使用列AD转换器116的传感器来执行这种选择是有利的。如果使用了行AD转换器116,方向也可以是水平的。缩放器117也可以在A/D转换402之前选择区域403。
图6b图示了区域s1、s2、s3的选择,其中两个维度地定义它们的位置和尺寸。
在选择之后,缩放器117提供对区域的按比例缩放404。例如,缩放器117按比例缩放区域s1、s2、s3,使得区域s1的线根本没有被缩放,而区域s2的线按照某个定义的缩小因子而按比例缩小。区域s3的线可以按照其它定义的因子按比例缩小或是加以子采样。
可以这样定义缩放因子N,使1=N1>=N2>=N3,其中N<1表示按比例缩小。例如,视频或取景器图像可以由区域s2定义。
为了将精确信息提供给AF算法或是在手动对焦的情况下提供给用户,图像的区域s1可以不被缩放,而区域s2、s3可以按比例缩小,用于例如取景器处理。有可能向相机模块10提供关于区域和缩放比率的信息。例如,区域的大小和位置可以从相机处理器120处提供给相机模块110。相机处理器120也可以将针对各个区域的缩放比率提供给相机模块110。然而,只有当区域选择和/或按比例缩放是在相机模块110中执行时,这才是可适用的。对于选择和/或按比例缩放是在相机处理器120中执行的区域而言,这些信息不必从相机处理器120传送到相机模块110。
未经缩放的区域s1和按比例缩放的区域s2可以经由接口101从相机模块110传送405到相机处理器120。
也有可能将未经缩放的区域s1和/或s2和/或s3从相机模块110传送到处理器120。未经缩放区域的按比例缩放可以在处理器120中执行。然而必须指出的是,不同的缩放比率可被应用于不同的区域。因此,不同的区域可以满足不同的目的,例如一个区域用于成像,并且另一区域用于统计收集。
相机处理器120接收数据并能够合并不同的区域s1、s2、s3,用以生成410正确的按比例缩放的完整图像。
如果区域s1与区域s2一同使用,则相机处理器120需要首先从未经缩放的区域s1处收集统计用于AF目的,继而按比例缩小s1,以便将其与图像区域s2融合。还有可能以原始分辨率显示区域s1,例如用以支持手动对焦。
区域s1和s2之间的边界需要非常精确,以避免在经过处理的最终图像中造成任何不连续。因此,有可能与区域s2相关地限制区域s1的位置、大小以及缩放因子,使得处理操作能够利用完整的原始线/像素来执行。还有可能提供区域s2,其边界覆盖区域s1,使得即使是在区域s1具有任意缩放因子和位置/大小的情况下,相机处理器120也能够平滑地对区域进行合并。
如果接口101的带宽不允许以完全分辨率将区域s1和/或s2从相机模块110以期待的帧率发送,则相机模块110可能还需要附加的像素缓冲,用以处理当传送完全分辨率的线时所产生的传输数据中的峰。
本申请还可以降低在接口101处所需的带宽以及在相机处理器120处所需的处理能力。
当应用AF时,相机处理器120可以做出是移动镜头还是维持镜头的当前位置的决定。相机处理器120可以从区域s1处收集统计数据,其中区域s1是原始图像数据,并基于这些统计数据决定镜头应当以何种方式移动,而无需遍历整个图像数据。相机处理器120可以决定图像中的哪个块被用于对焦。仅根据对按比例缩小的图像的分析而做出的镜头移动决定是不准确的,因此根据本发明的方法优于现有技术的方法。
对焦决定是根据从区域s1获得的统计数据做出的。依赖于图像传感器的特性和最新对焦值,可以定义至少一个目标值用于做出决定。将统计数据与目标值进行比较,并根据当前统计数据偏离所述目标值的程度对镜头进行移动。当统计数据小于(差于)目标值时,镜头被移动到假设为更好方向的方向。当移动完成时,检查统计数据,如果结果足够好,则镜头被保持在该位置。如果结果变好了但还不足够好,则继续沿该方向移动。如果结果变差了,则镜头被移动到相反方向中,在该方向上检查统计数据并且做出下一步的决定。如果结果得到了充分改进,则镜头保持在该位置或者,如果需要的话,可以同样检查接下来的位置。如果结果在这里也变得更差,则镜头被移动回最初位置。目标值被重新定义。在每个步骤中,当镜头移动到新位置或者移动回先前位置时,目标值被重新定义。如果目标值变得过差,这可能说明焦点丢失,因而可以在整个对焦区中重新执行扫描。应当注意,不论是否存在来自多个不同频率的统计数据,当焦点得到改善并且镜头向其应当移动到的方向移动时,有可能根据它们的改变进行检查。还允许观察何时需要对焦。例如,频带最佳目标值结束的值越低,镜头越有可能被移动到某个方向。
AWB的计算在图5中示出。首先,完全分辨率的图像在图像传感器115中被捕获501,并且在A/D转换器116中完成模拟-数字转换502。接着,缩放器117选择至少一个区域503用于变焦。这可以是图6中所图示的区域s2。图像可以被修剪为此变焦区域s2,并且只有这部分数据可以被传送给相机处理器。缩放器117也可以在A/D转换502之前选择区域503。
然而,如果相机处理器120中的AWB只应用于经修剪的变焦区域s2,则AWB是不准确的。通过使用整个图像区的信息,AWB将更为准确。因此,除了变焦区域s2之外,代表整个图像的区域s3可以被子采样504。区域s3中原始图像数据的子采样可被用于AWB统计。区域s3中原始图像数据的子采样可以是等间隔的。统计装置119可以从区域s2以及区域s3的子采样收集用于AWB的图像统计505。不同区域的按比例缩放还可以在处理器120中完成。统计也可以在相机处理器120中收集。很重要的是,可以分别针对不同的区域应用不同的缩放因子,并且可以针对选定的区域分别收集统计。
变焦区域的图像数据连同来自区域s3的用于AWB的统计可以经由相机接口101被一并传送给相机处理器120用于AWB处理510。在相机处理器120中可以基于来自区域s3的AWB统计执行进一步的基色移除(pedestal removal)、渐晕(vignetting)消除以及噪声降低。
在示例中,图像传感器是CMOS传感器,其中逻辑和存储作为感光元件集成在同一基片上。然而,本发明并不限于使用CMOS传感器。当CCD传感器以及其它图像传感器被配置用以结合适当的电路和逻辑用于图像按比例缩放时,这些传感器同样可以被使用。
任何本领域的技术人员都会理解,系统可以与任意数目的适合于增强对焦功能的效率的能力和功能性相结合。而且,系统可以提供其它用于维护数据的手动或自动服务。
因此,显而易见的是,可以在不背离权利要求书中所述的本发明保护范围的前提下,对所描述的实施方式的示例进行变化和修改。

Claims (30)

1.一种用于数字成像的方法包括:
-通过图像传感器提供图像;
-选择所述图像内的至少一个第一区域用于按照第一缩放比率进行按比例缩放;
-选择所述图像内的至少一个第二区域用于按照第二缩放比率进行按比例缩放;以及
-提供所述第一区域和所述第二区域用于进一步处理。
2.根据权利要求1所述的方法,其中在所述图像传感器中选择至少一个所述区域。
3.根据权利要求1所述的方法,还包括在所述图像传感器中接收以下信息中的至少一个:
A)关于所述区域的信息,以及
B)关于所述缩放比率的信息。
4.根据权利要求1所述的方法,还包括针对至少一个区域提供图像。
5.根据权利要求1所述的方法,还包括在所述图像传感器之外重建所述图像,以便保存所述图像。
6.根据权利要求1所述的方法,其中所述第一缩放比率是1∶1的缩放比率,其在所述第一区域中提供图像。
7.根据权利要求1所述的方法,其中所述第二缩放比率是1∶N的缩放比率,其中N小于1,其在所述第二区域中提供按比例缩小分辨率的图像。
8.根据权利要求1所述的方法,还包括至少使用所述第一区域在所述图像传感器之外计算自动对焦信息。
9.根据权利要求8所述的方法,其中所述自动对焦信息至少包括所述第一区域的统计信息。
10.根据权利要求1所述的方法,还包括提供至少用于所述第一区域的手动对焦信息。
11.根据权利要求10所述的方法,其中按比例缩放针对手动对焦信息的所述第一区域,以显示在取景器显示器上。
12.根据权利要求1所述的方法,其中所述第一区域至少部分地位于所述第二区域之内,并且其中按照所述第一缩放比率和所述第二缩放比率按比例缩放所述第一区域的内容。
13.根据权利要求1所述的方法,其中所述第一区域至少部分地位于所述第二区域之内,并且其中按照所述第二缩放比率在所述图像传感器之外重新按比例缩放所述第一区域。
14.根据权利要求1所述的方法,还包括至少将所述第二区域提供给以下各项中的至少一个:
A)取景器显示器;以及
B)视频单元。
15.根据权利要求1所述的方法,还包括与所述第一缩放比率相关地计算所述第二缩放比率,以提供按比例重新缩放后的所述第一区域与所述第二区域之间的平滑边界。
16.根据权利要求1所述的方法,还包括选择具有重叠边界的所述第二区域和所述第一区域。
17.根据权利要求1所述的方法,还包括在所述图像传感器中缓冲图像信息。
18.根据权利要求1所述的方法,其中所述第一区域和所述第二区域的相互边界在以下各项中的至少一个之上:
A)水平线;以及
B)垂直线。
19.根据权利要求1所述的方法,还包括针对至少部分所述图像计算统计,在完全分辨率图像中选择变焦区域,转发所述变焦区域用于进一步处理,转发所述统计用于自动白平衡。
20.根据权利要求19所述的方法,其中所述统计根据所述完全分辨率图像的子采样计算。
21.根据权利要求19所述的方法,其中所述子采样在所述完全分辨率图像中等间隔分布。
22.根据权利要求19所述的方法,还包括基于所述统计执行以下各项中的至少一个:
A)基色移除;
B)渐晕消除;以及
C)噪声降低。
23.根据权利要求19所述的方法,其中从所述图像传感器中的所述图像中修剪掉所述变焦区域,并且其中所述变焦区域被进一步处理用于提供数字变焦。
24.一种用于数字成像的成像模块包括:
-图象传感器模块,用于提供图像;
-处理器,用于提供基于所述图像按比例缩放局部分辨率图像;以及
-选择单元,用于选择所述图像内的至少一个第一区域用于按照第一缩放比率进行按比例缩放,并且选择所述图像内的一个第二区域用于按照第二缩放比率进行按比例缩放。
25.根据权利要求24所述的模块,其中所述图像传感器包括接口以提供所述第一区域和所述第二区域用于在所述图像传感器之外进行进一步处理。
26.根据权利要求24所述的模块,其中所述处理器被配置用以按照1∶N的缩放比率按比例缩放至少一个所述区域,其中N小于1。
27.根据权利要求24所述的模块,其中所述图像传感器是CMOS传感器。
28.一种包括权利要求24所述的成像模块的数码相机。
29.一种包括权利要求24所述的成像模块的移动电话。
30.一种用于通过计算机程序进行数字成像的计算机程序产品,所述计算机程序有形地保存在所述计算机程序产品上,所述程序包括用以操作至少一个处理器的指令,所述至少一个处理器用于
-通过图像传感器提供图像;
-在所述图像传感器内选择所述图像内的至少一个第一区域用于按照第一缩放比率进行按比例缩放;
-在所述图像传感器内选择所述图像内的至少一个第二区域用于按照第二缩放比率进行按比例缩放;以及
-提供所述第一区域和所述第二区域用于进一步处理。
CN2006800225899A 2005-06-23 2006-06-02 一种用于数字成像的方法,成像模块及设备 Expired - Fee Related CN101268686B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/166,790 US8045047B2 (en) 2005-06-23 2005-06-23 Method and apparatus for digital image processing of an image having different scaling rates
US11/166,790 2005-06-23
PCT/IB2006/051770 WO2006136966A1 (en) 2005-06-23 2006-06-02 Digital image processing

Publications (2)

Publication Number Publication Date
CN101268686A true CN101268686A (zh) 2008-09-17
CN101268686B CN101268686B (zh) 2013-01-16

Family

ID=37076131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800225899A Expired - Fee Related CN101268686B (zh) 2005-06-23 2006-06-02 一种用于数字成像的方法,成像模块及设备

Country Status (5)

Country Link
US (1) US8045047B2 (zh)
EP (1) EP1897364A1 (zh)
JP (1) JP4546565B2 (zh)
CN (1) CN101268686B (zh)
WO (1) WO2006136966A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170521A (zh) * 2010-06-22 2011-08-31 上海盈方微电子有限公司 一种数码相机基于非均匀采样窗口的自动对焦方法
CN103039082A (zh) * 2010-06-08 2013-04-10 Lg电子株式会社 图像处理方法和根据该方法的图像显示装置
CN103260081A (zh) * 2012-02-21 2013-08-21 中国移动通信集团公司 一种视频图像缩放处理方法及装置
CN104918027A (zh) * 2014-03-11 2015-09-16 索尼公司 用于生成数字处理图片的方法、电子装置和服务器
CN105580347A (zh) * 2013-07-31 2016-05-11 德克索实验室 包括多个相机模块的拍摄设备

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7890881B1 (en) * 2005-07-29 2011-02-15 Adobe Systems Incorporated Systems and methods for a fold preview
EP1798964A1 (en) * 2005-12-16 2007-06-20 STMicroelectronics (Research & Development) Limited Image sensor coprocessor
EP2016775A1 (en) * 2006-04-25 2009-01-21 Canon Kabushiki Kaisha Image sensing apparatus and method for controlling the same
US8085320B1 (en) * 2007-07-02 2011-12-27 Marvell International Ltd. Early radial distortion correction
JP5063234B2 (ja) * 2007-07-20 2012-10-31 キヤノン株式会社 撮像装置、撮像システム、及び、撮像装置の動作方法
JP2009147743A (ja) * 2007-12-14 2009-07-02 Samsung Techwin Co Ltd 記録装置、再生装置、記録方法、再生方法及びプログラム
KR101416272B1 (ko) * 2008-11-05 2014-07-07 삼성전자 주식회사 디스플레이장치 및 그 제어방법
JP5207955B2 (ja) * 2008-12-24 2013-06-12 三洋電機株式会社 電子カメラ
US9042678B2 (en) 2009-01-19 2015-05-26 Nokia Corporation Method and apparatus for reducing size of image data
US9451183B2 (en) * 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
JP5493789B2 (ja) * 2009-12-07 2014-05-14 株式会社リコー 撮像装置および撮像方法
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
US9143703B2 (en) * 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
JP5903658B2 (ja) * 2011-06-28 2016-04-13 パナソニックIpマネジメント株式会社 撮像装置
JP5906427B2 (ja) 2011-06-28 2016-04-20 パナソニックIpマネジメント株式会社 撮像装置、画像処理装置
US20130176457A1 (en) * 2012-01-09 2013-07-11 Sawada Yasuhiro Auto processing images having arbitrary regions of interest
US8773543B2 (en) * 2012-01-27 2014-07-08 Nokia Corporation Method and apparatus for image data transfer in digital photographing
US9503645B2 (en) 2012-05-24 2016-11-22 Mediatek Inc. Preview system for concurrently displaying multiple preview images generated based on input image generated by image capture apparatus and related preview method thereof
RU2504099C1 (ru) * 2012-08-17 2014-01-10 Вячеслав Михайлович Смелков Телевизионная система с селективным масштабированием изображения
RU2504100C1 (ru) * 2012-08-21 2014-01-10 Вячеслав Михайлович Смелков Телевизионная система с селективным масштабированием изображения
JP5767755B2 (ja) * 2012-11-05 2015-08-19 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
EP3039864B1 (en) 2013-08-26 2018-09-19 Intel Corporation Automatic white balancing with skin tone correction for image processing
WO2016176370A1 (en) 2015-04-27 2016-11-03 Flir Systems, Inc. Moisture measurement device with thermal imaging capabilities and related methods
US10127883B2 (en) * 2015-10-27 2018-11-13 Mediatek Inc. Frame rate control method and image processing apparatus selectively limiting frame rate
US10498968B1 (en) 2017-03-01 2019-12-03 Altia Systems, Inc. Intelligent zoom method and video system implementing same

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5111308A (en) * 1986-05-02 1992-05-05 Scitex Corporation Ltd. Method of incorporating a scanned image into a page layout
JPS62291269A (ja) * 1986-06-11 1987-12-18 Toshiba Corp 固体カラ−撮像装置
US6456326B2 (en) 1994-01-28 2002-09-24 California Institute Of Technology Single chip camera device having double sampling operation
JP3550440B2 (ja) * 1995-04-13 2004-08-04 イーストマン・コダックジャパン株式会社 オートホワイトバランス調整装置
JP3977906B2 (ja) * 1997-09-26 2007-09-19 オリンパス株式会社 自動焦点調節装置
JP4049896B2 (ja) 1998-07-09 2008-02-20 オリンパス株式会社 画像入力装置
US6906751B1 (en) 1998-07-22 2005-06-14 Minolta Co., Ltd. Digital camera and control method thereof
US6646680B1 (en) 1998-09-30 2003-11-11 Foveon, Inc. Focusing method and apparatus for high resolution digital cameras
DE60004667T2 (de) 1999-05-21 2004-04-01 Foveon, Inc., Santa Clara Ausrichtbares autofokussystem
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
JP2001211351A (ja) 2000-01-27 2001-08-03 Fuji Photo Film Co Ltd 画像撮像装置およびその動作制御方法
JP2002290843A (ja) 2001-03-26 2002-10-04 Olympus Optical Co Ltd 画像入力装置
JP3785941B2 (ja) 2001-03-30 2006-06-14 セイコーエプソン株式会社 デジタルカメラ
JP4499319B2 (ja) 2001-08-24 2010-07-07 パナソニック株式会社 運転支援装置、運転支援方法および運転ガイドデータ作成方法
EP1335587A1 (en) 2002-02-08 2003-08-13 STMicroelectronics S.r.l. A method for down-scaling a digital image and a digital camera for processing images of different resolutions
KR100663430B1 (ko) * 2002-04-22 2007-01-02 삼성전자주식회사 휴대용 단말기의 줌화면 표시장치 및 방법
US7408572B2 (en) * 2002-07-06 2008-08-05 Nova Research, Inc. Method and apparatus for an on-chip variable acuity imager array incorporating roll, pitch and yaw angle rates measurement
GB0226014D0 (en) 2002-11-08 2002-12-18 Nokia Corp Camera-LSI and information device
JP4084991B2 (ja) * 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
JP2004264827A (ja) * 2003-02-10 2004-09-24 Chinon Ind Inc 焦点距離検出方法及び合焦装置
US7834923B2 (en) * 2003-03-13 2010-11-16 Hewlett-Packard Development Company, L.P. Apparatus and method for producing and storing multiple video streams
US20040227829A1 (en) 2003-05-13 2004-11-18 Dialog Semiconductor Gmbh Method and apparatus for a simultaneous multiple field of view imager using digital sub-sampling and sub-window selection
US20040246360A1 (en) * 2003-06-05 2004-12-09 Stavely Donald J. System and method for displaying preview images to a camera user
US7469064B2 (en) * 2003-07-11 2008-12-23 Panasonic Corporation Image display apparatus
JP2005055746A (ja) 2003-08-06 2005-03-03 Minolta Co Ltd 撮像装置、合焦制御方法、およびプログラム
KR100843195B1 (ko) * 2004-02-26 2008-07-02 삼성전자주식회사 디스플레이 처리와 데이터 압축을 동시에 수행하는 촬상신호 처리 장치 및 그 방법
FR2872661B1 (fr) * 2004-07-05 2006-09-22 Eastman Kodak Co Procede et dispositif de prise de vue a resolution multiplie
US20070076099A1 (en) * 2005-10-03 2007-04-05 Eyal Eshed Device and method for hybrid resolution video frames
US20070250898A1 (en) * 2006-03-28 2007-10-25 Object Video, Inc. Automatic extraction of secondary video streams
US20090009651A1 (en) * 2007-07-04 2009-01-08 Sanyo Electric Co., Ltd. Imaging Apparatus And Automatic Focus Control Method
US20090129693A1 (en) * 2007-11-15 2009-05-21 Bloebaum L Scott System and method for generating a photograph with variable image quality
US8441535B2 (en) * 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103039082A (zh) * 2010-06-08 2013-04-10 Lg电子株式会社 图像处理方法和根据该方法的图像显示装置
CN102170521A (zh) * 2010-06-22 2011-08-31 上海盈方微电子有限公司 一种数码相机基于非均匀采样窗口的自动对焦方法
CN103260081A (zh) * 2012-02-21 2013-08-21 中国移动通信集团公司 一种视频图像缩放处理方法及装置
CN103260081B (zh) * 2012-02-21 2016-08-10 中国移动通信集团公司 一种视频图像缩放处理方法及装置
CN105580347A (zh) * 2013-07-31 2016-05-11 德克索实验室 包括多个相机模块的拍摄设备
CN104918027A (zh) * 2014-03-11 2015-09-16 索尼公司 用于生成数字处理图片的方法、电子装置和服务器
CN104918027B (zh) * 2014-03-11 2019-05-03 索尼公司 用于生成数字处理图片的方法、电子装置和服务器

Also Published As

Publication number Publication date
CN101268686B (zh) 2013-01-16
JP2008544673A (ja) 2008-12-04
JP4546565B2 (ja) 2010-09-15
EP1897364A1 (en) 2008-03-12
US8045047B2 (en) 2011-10-25
WO2006136966A1 (en) 2006-12-28
US20060290796A1 (en) 2006-12-28

Similar Documents

Publication Publication Date Title
CN101268686B (zh) 一种用于数字成像的方法,成像模块及设备
US11483467B2 (en) Imaging device, image processing device, and electronic apparatus
US9392160B2 (en) Circuit and method providing wide dynamic-range operation of auto-focus(AF) focus state sensor elements, digital imaging device, and computer system including same
CN110381263B (zh) 图像处理方法、装置、存储介质及电子设备
US7969469B2 (en) Multiple image sensor system with shared processing
EP3358821B1 (en) Imaging device and image processing device
US20150163414A1 (en) Robust automatic exposure control using embedded data
EP3358820A1 (en) Imaging device, image processing device and display device
CN101616263B (zh) 摄像装置
CN101095341A (zh) 具有自动聚焦的数字成像
EP0926885B1 (en) Solid state image pickup apparatus
CN102857712A (zh) 具有高动态范围捕捉能力的图像传感器
EP3358822A1 (en) Imaging device and image processing device
CN104702826A (zh) 摄像设备及其控制方法
CN104683668A (zh) 摄像装置及移动电话
CN102907085B (zh) 拍摄装置
US20220070383A1 (en) Imaging apparatus with phase difference detecting element
US20070058061A1 (en) Image pickup apparatus, solid-state imaging device, and image generating method
US6876386B1 (en) Digital camera with downsampling and zoom processing and method of controlling operation of same
CN101091381A (zh) 通过数字摄像机选取扫描区域的多个子窗口的方法
CN113660425B (zh) 图像处理方法、装置、电子设备及可读存储介质
WO2023020532A1 (zh) 图像处理方法、装置、电子设备及可读存储介质
US10893199B2 (en) Imaging apparatus and control method thereof
CN116546333B (zh) 同时输出不同拍摄模式的视频画面的方法、系统和摄像机
JPWO2019065916A1 (ja) 動画圧縮装置、電子機器、および動画圧縮プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160111

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130116

Termination date: 20170602