CN102843509B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN102843509B
CN102843509B CN201210194924.0A CN201210194924A CN102843509B CN 102843509 B CN102843509 B CN 102843509B CN 201210194924 A CN201210194924 A CN 201210194924A CN 102843509 B CN102843509 B CN 102843509B
Authority
CN
China
Prior art keywords
image
distance
main body
fuzzy
operator scheme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210194924.0A
Other languages
English (en)
Other versions
CN102843509A (zh
Inventor
上原広靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Imaging Co Ltd
Original Assignee
Ricoh Imaging Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Imaging Co Ltd filed Critical Ricoh Imaging Co Ltd
Publication of CN102843509A publication Critical patent/CN102843509A/zh
Application granted granted Critical
Publication of CN102843509B publication Critical patent/CN102843509B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Abstract

本发明涉及图像处理装置和图像处理方法。本发明提供一种图像处理装置,其包括主图像指定器和图像处理器。主图像指定器指定图像中的主体。图像处理器对图像进行图像处理,所述图像处理取决于至主体的距离。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及通过镜头系统来电子捕捉图像的成像装置。
背景技术
在照相术中,利用景深效应的散景技术或模糊技术通常用来使背景和/或前景景象变模糊,所述背景和/或前景景象不包含被对焦的主体。然而,当焦距减小时景深加深,因此在具有相对较小的图像传感器的小型数字照相机中散景效应无效,因为这种照相机要求短焦距。
对于以上问题,提出了以下方法:确定被捕捉图像的对焦区域和离焦区域,以便通过对离焦区域内的图像施加模糊处理来形成人工散景效应。在该方法中,将被捕捉图像划分成多个区域,并且通过估计每一个区域中的空间频率来确定对焦区域和离焦区域。即,将空间频率高的区域确定为对焦区域,并且将空间频率低的区域确定为离焦区域。该确定基于以下事实,即对焦区域通常具有高反差(参考美国专利7,454,134)。
发明内容
然而,图像的空间频率还取决于主体的结构,因此图像的空间频率高并不总意味着图像焦点对准。例如,森林、瓦屋顶等的图像原本就具有高频率。另一方面,当考虑诸如人的皮肤的主体时,即使图像对焦,空间频率可能仍低于离焦区域的空间频率。因此,为了获得适当的人工散景效应,优选地,可以基于在构成图像的各个区域中在光学方向上照相机镜头至对象的距离来执行模糊处理。
因此,本发明的一方面提供依赖于至主体的距离的图像处理效果。
根据本发明,提供一种图像处理装置,其包括主图像指定器和图像处理器。
所述主图像指定器指定图像中的主体。对所述图像进行图像处理,所述图像处理取决于从照相机或照相机镜头开始的主体的拍摄距离,并且由所述图像处理器执行。
此外,提供了包括所述主图像指定器和所述图像处理器的数字照相机。
此外,提供了图像处理方法,其包括:指定图像中的主体;以及执行图像处理,所述图像处理取决于至图像主体的距离。
此外,提供了包含用于控制计算机以执行上述图像处理方法的指令的计算机可读介质。
附图说明
参考附图,根据以下描述来更好地理解本发明的目的和优点,其中:
图1是示出第一实施例的数字照相机的结构的框图;
图2是在散景控制模式下重复执行的中断处理的流程图;
图3A和图3B是距离映射制备处理的流程图;
图4a-图4e示意性示出了创建反差映射的方式;
图5示意性示出了从反差映射搜索反差值的方式;
图6示意性示出了反差映射码与反差值之间的关系;
图7是概念上的示意性距离映射的示例;
图8是第一实施例中的掩模制备处理的流程图;
图9是在将图7中的反差映射码“8”指定为主体时的掩模示例;
图10是在将图7中的反差映射码“13”指定为主体时的掩模示例;
图11是在将图7中的反差映射码“20”指定为主体时的示例;
图12是替代实施例中在散景控制模式下执行的中断处理的流程图;
图13示意性示出了表示分配给每一个距离的块的频率的直方图的示例;
图14示出了在近距离模式下散景控制处理的模糊强度的变化;
图15示出了在远距离模式下散景控制处理的模糊强度的变化;
图16示意性示出了在近距离模式下直方图与散景控制处理之间的关系;
图17示意性示出了在近距离模式下所捕捉的图像的示例;
图18示意性示出了在远距离模式下直方图与散景控制处理之间的关系;
图19示意性示出了在远距离模式下所捕捉的图像的示例;以及
图20是第二实施例中的掩模制备处理的流程图。
具体实施方式
下面,参考图中所示的实施例来描述本发明。
图1是示意性示出应用了本发明的第一实施例的数字照相机的总体结构的框图。第一实施例以小型照相机作为示例进行说明,但该数字照相机还应用于在包括小型照相机、便携式电话等各种小型电子装置中所实现的照相机单元。
在数字照相机10中,图像传感器12捕捉由拍摄镜头11生成的对象图像。图像传感器12由图像传感器驱动器13驱动,根据来自控制器14的指令对所述图像传感器驱动器13进行控制。将由图像传感器12捕捉的图像供给控制器14,并且进行各种数字图像处理,然后暂时存储在图像存储器15中。当用户需要时,存储在图像存储器15中的图像还可以进一步记录在记录介质16中。由图像传感器12捕捉的图像或存储在图像存储器15或记录介质16中的图像可以显示在监视器17上,如LCD等上。
拍摄镜头11由镜头驱动器18驱动,并且可变光阑(iris)19由可变光阑驱动器20驱动。采用反差检测自动聚焦装置,以使控制器14参考由图像传感器12捕捉的图像的反差来控制镜头驱动器18,并且根据光度值来控制可变光阑驱动器20。此外,数字照相机10设置有开关组21,包括释放开关、光度开关、用于选择功能或模式的拨盘开关、四路控制器开关,等等,其中每一个开关均连接至控制器14。
将参考图1以及图2的流程图来说明第一实施例的散景或模糊控制处理。图2的流程图表示当选择散景控制模式时由控制器14重复执行的中断处理。注意,散景控制模式通过用户操作预定的开关来选择。
在步骤S100中,判断释放按钮(未示出)是否半压下,以及光度开关S1是否处于开(ON)状态。当判断出光度开关S1未处于开状态时,换句话说,释放按钮没有半压下时,立即结束中断处理,并且在执行完其它处理之后重新执行中断处理。然而,当在步骤S100中判断出光度开关S1处于开位置时,镜头驱动器18驱动拍摄镜头11并且通过预定数量的步骤将对焦距离从最近距离移动至最远距离(如,无限远),以便将镜头设置在多个位置处。在每一个位置处捕捉一个图像,以将Np(Np:位置数量)个镜后测光(through-the-lens)图像(副图像)存储在图像存储器15中。注意,步骤S102中的处理在短时间内执行,以便该处理期间内捕捉的Np个图像可以被记录为以相同的方向和相同的视角但在不同的距离上聚焦的从相同位置获取的同一对象的拍摄。
在步骤S104中,利用已知的反差检测自动聚焦装置,通过镜头驱动器18将拍摄镜头11移动至对焦位置。在步骤S106中,判断光度开关是否处于开状态,即释放按钮(未示出)是否保持在半压下位置。如果判断出释放按钮没有保持在半压下位置,则结束中断处理,并且在执行完其它处理之后重复中断处理。
当光度开关S1保持开状态时,在步骤S108中判断释放开关S2是否处于开状态。如果释放开关S2没有打开,则该方法返回步骤106并且重复相同的判断。另一方面,当释放开关S2处于开状态时,在步骤S110中图像传感器12执行图像捕捉操作以捕捉记录图像(主图像),即待记录的图像。此外,在步骤S112中,对记录图像的RAW数据施加显影处理。注意,在步骤S110中捕捉的记录图像也被认为是与在步骤S102中捕捉的Np个图像一样的,以相同方向和相同视角从相同位置拍摄的同一对象的图像。
在步骤S114中,执行距离映射制备处理,该距离映射制备处理使用在步骤S102中存储在图像存储器15中的镜后测光图像(副图像)。该距离映射是为构成记录图像(或镜后测光图像)的每一个区域(块)中的对象分配距离信息的数据的映射。映射制备处理的细节将在后文中描述。
在步骤S116中,参考在步骤S114中制备的距离映射执行掩模制备处理(将在后文中详细描述),所述掩模制备处理制备掩模以便对记录图像(主图像)中除主体区域以外的所有区域施加模糊控制处理。在步骤S118中,对已经被遮掩的记录图像施加散景控制处理,以便生成新合成记录图像(新合成主图像)。在步骤S120中,将新合成记录图像记录在记录介质16中,这将结束该散景控制模式下的中断处理。
注意,记录图像(主图像)可以在不进行散景控制处理的情形下来记录,并且可以构造成与对应的距离映射一起记录在记录介质16中,以便之后可以参考距离映射执行散景控制处理或其它图像处理。在该情形下,记录图像(主图像)数据和距离映射数据可以存储在分开的文件中或者一起保存在相同的文件中。当它们存储在分开的文件中时,可以使用记录在头文件中的文件名或信息进行分开的文件之间的对应。
图3A和图3B是发生在图2的步骤S114中的距离映射制备处理的流程图。此外,图5至图8表示在图3和图4a-图4e中执行的处理。将参考图3到图8说明第一实施例的距离映射制备处理。
在距离映射制备处理中,在步骤S200中通过将可能包括高通滤波器和差分滤波器的边缘轮廓提取处理施加至存储在图像存储器15中的每一个镜后测光图像(副图像)(在图2的步骤S 102中存储的图像)来提取或增强外形或边缘轮廓分量。此处,图4a表示尚未提取外形(边缘轮廓)分量的镜后测光图像的示例。图4b表示对图4a所示的图像施加边缘轮廓提取处理之后的镜后测光图像的示例。
在步骤S202中,如图4c中的示例所示,将已经提取过外形(边缘轮廓)分量的图像(图4b)划分成M*N个块(区域)。此处,N表示竖直方向上块的数量,进而比镜后测光图像(副图像)在竖直方向上的像素数量少。此外,M表示水平方向上块的数量,进而比镜后测光图像在水平方向上的像素数量少。注意,在第一实施例中,单个像素也可以构成块。
在步骤S204中,为每一个块计算外形(边缘轮廓)分量的和。即,计算每一个块内的像素值和,作为已经提取过外形分量的图像(图4b)的反差值(用于估计反差度的值)。在步骤S206中,将针对每一块计算出的反差值存储在大小为M*N的缓冲存储器(未示出)中,作为每一个镜后测光图像(副图像)的反差映射(用于估计反差度的映射)。图4d示意性示出了与图4c所示块对应的反差映射的示例。在图4d中,块越亮表示反差值越高。
在步骤S208中,判断上述处理(S200至S206)是否已经施加至所有的Np个镜后测光图像(副图像),所述所有的Np个镜后测光图像(副图像)存储在图像存储器15中。当判断出没有对所有的镜后测光图像执行上述处理时,该方法返回至步骤S200并且对没有被处理的镜后测光图像执行步骤S200至步骤S206的处理。
另一方面,当在步骤S208中判断出已经对存储在图像存储器15中的所有Np个镜后测光图像执行了步骤S200至S206的处理时,该方法转入步骤S210,并且将Np个镜后测光图像的Np个反差映射存储在缓冲存储器中,如图4e所示。
如图5示意性所示,对于每一个块,参考Np个反差映射的每一个来获取距离映射。在步骤S210中,在存储器中预留M*N个块的阵列,以保存距离映射。在步骤S212中,在M*N个块中设定将接受距离检测处理的初始目标块。
例如,当Np个反差映射中的每一个反差映射中的M*N个块的位置由坐标(i,j)标识时,其中以图5中的映射的左上方位置作为原点,“i”表示第i行并且“j”表示第j列,距离检测处理从坐标为i=1和j=1的块开始。注意,在该过程中,目标块首先沿同一行从左移动至右,接着移动至下一行,等等,直到它到达最末块。
在步骤S214中,对所有的Np个反差映射中的每一个相应目标块(i,j)的反差值进行搜索,并且识别出具有每一个特定(i,j)目标块的最大反差值的反差映射,以便能够获取反差映射的标识码。例如,如图6所示,当存在23个反差映射(Np=23),并且目标块(i,j)的反差值随反差映射而变化时,在标识码为“20”的反差映射上检测出目标块(i,j)的最大反差值。
在步骤S218中,将在步骤S216中检测到的反差映射的标识码存储在步骤S210所预留的阵列的与距离映射的相同目标块(i,j)对应的单元中。在步骤S220中,判断是否对所有的M*N个块执行了距离信息检测处理。即,判断所有的M*N个块的标识码是否被检测出并且保存在每一个对应的阵列单元中,所述标识码指明哪一个反差映射具有特定目标块(i,j)的最大反差值。当上述所有的M*N个块的检测和保存没有被完成时,在步骤S222中将目标移动至下一块,并且重复从步骤S214开始的处理。此外,当判断出所有的M*N个块的检测和保存已完成时,结束距离映射制备处理。
一旦距离映射制备处理完成,则将具有特定块的最大反差值的那个反差映射的标识码保存在距离映射中的每一个相应块的阵列单元内。即,分配给每一个块的码表示特定块区的对焦镜头位置,并且分配给每一个块的码也可以与光学方向上从镜头至在图像的特定块中捕捉的对象的距离对应。在图7所示的距离映射的示例中,随着反差映射码的增加,到主体的距离也增加,并且参考图4a,反差映射码为“8”的块对应于人,即主体。此外,反差映射码为“20”的块与远景,诸如遥远的背景对应,而反差映射码为“13”的块与存在于主体与背景之间的对象对应,例如就在作为主体的人的后面的树。
将参考图8的流程图以及图9至图11来说明第一实施例的掩模制备处理,该掩模制备处理在图2的步骤S116中执行。
当掩模制备处理开始时,在步骤S300中选择主体。主体可以在图像捕捉期间由用于AF操作的焦点指定,或者可以通过使用适当输入装置的用户从图像中指定。主体也可以通过采用人脸检测技术所检测的位置来指定。例如,对于任意的块,只要其反差映射码与包含预定主体的块的反差映射码(或位置)之差(或之间的距离)小于或等于某一范围(或距离),则该任意块就可以被确定为主体的一部分。
在步骤S302中,生成将被确认的主体块排除在散景控制处理以外的掩模,并且在图2的步骤S110中对所捕捉的图像进行掩模处理。注意,立即根据每一个图像的像素数量来识别镜后测光图像(副图像)和记录图像(主图像)中的相应块。
图9示出了当图7中反差映射标识码为“8”的块(人)被指定为主体时的掩模示例。此外,图10示出了当将反差映射标识码为“13”(其与中间距离对应)的块指定为主体时的掩模示例,并且图11是将反差映射标识码为“20”(其与远景对应)的块指定为主体时的掩模示例。
注意,在第一实施例中,alpha合成技术可以用在掩模处理中,以对图9至图11中较亮的块进行较弱的模糊,并且对较暗的块进行较强的模糊。
如上所述,根据第一实施例,即使在使用景深不能获得充足的散景效应的情形下,仍可以对除主体以外的区域施加适当的散景。此外,在本实施例中,使用边缘轮廓提取处理来估计反差,以便促进并且优化对焦估计。此外,通过将图像划分成多个块(除包含单个像素的块以外),来提高处理速度。在本实施例中,制备距离映射时使用多个镜后测光图像(副图像),以使处理速度能够进一步提高。
此外,与通过仅仅捕捉多个图像来执行散景控制处理以获取距离映射的情形相比,由于本实施例使用镜后测光图像,因此用户可能察觉不到散景控制处理或者不受散景控制处理干扰。
顺便说一句,尽管本实施例以小型照相机作为示例进行说明,但图12中仍示出了可应用于替代实施例的流程图,所述替代实施例包括设置在便携式电话中的照相机单元。此处,图12与第一实施例中图2的流程图对应。该替代实施例与第一实施例之间的本质差别在于,该照相机单元没有光度开关S1。即,仅仅当释放按钮完全压下时,换句话说当释放开关开启时才启动光度操作、自动对焦操作和图像捕捉操作。因此,替代实施例的流程图没有与图2的步骤S106和S108对应的步骤,并且用判断释放开关S2是否处于开状态的步骤S400来替换步骤S100。注意,步骤S402和S404分别与步骤S102和S104对应,并且步骤S406至步骤S416分别与步骤S110至步骤S120对应。
如上所述,对于安装在便携式电话上的照相机单元等等,可以获取与第一实施例相同的效果或优点,在所述便携式电话等中仅仅当释放按钮完全压下时光度开关才开启。
将参考图13至图20来说明第二实施例的数字照相机。在第二实施例中,除掩模方法(图5中的步骤S116)以外,数字照相机的特征与第一实施例的特征相同。在第二实施例中,掩模方法根据光学方向上从镜头至主体的距离而变化。因此,在以下描述中仅仅说明与第一实施例的不同的特征,该特征与图2的步骤S116对应。
当至拍摄对象的距离增加时景深加深,并且当该距离增加时AF操作的一步驱动运动(最小位移)中的分辨率减小。因此,在第二实施例中,散景控制处理根据光学方向上从镜头至主体的距离而变化。在本实施例中,当主体相对较近(近距离模式)时,选择对由深度引起的细微差别进行模仿或增强的散景控制处理。另一方面,当主体相对较远(远距离模式)时,选择仅仅使主体的背景模糊以增强主体与背景之间的反差的散景处理。
图13示意性示出了直方图的示例,图中水平轴线表示至对象的距离并且竖直轴线表示分配给每一个距离的块的频率。在本实施例中,根据主体是否比预定距离“Do”更近来选择上述近距离模式或远距离模式。即,当至主体的距离为“Do”或更小时,选择近距离模式,反之则采用远距离模式。
注意,景深还取决于f值,从而距离“Do”可以根据f值而变化。例如,当f值减小时景深变得相对较浅,以便在f值减小时距离“Do”可以设定为较大的值,并且在f值增加时设定为较小的值。
图14示出了在近距离模式下散景控制处理的模糊强度的变化。即,图14的曲线定义了近距离模式下的掩模密度。在近距离模式下,与主体的距离对应的块没有被模糊或者进行最小程度的模糊。对于与前景景象或背景景象对应的块,当块的距离相对于主体的距离“Do”增加时,模糊强度逐渐增强。例如,模糊强度逐渐增加至最大值(100%),直到块的距离在前景景象中达到距离“Df”或者在背景景象中达到“Db”。
图15示出了在远距离模式下散景控制处理的模糊强度的变化。即,图15中的曲线定义了远距离模式下的掩模密度。在远距离模式下,如上所述,仅仅对背景景象中的块区进行模糊,以增强主体与背景景象之间的反差,从而在主体的距离“Do”作为阈值的情形下以阶跃函数的方式来实现模糊。即,与比主体(距离“Do”)更近的距离对应的块没有被模糊,而对与比主体(距离“Do”)更远的距离对应的所有块进行最大程度的模糊(100%)。
在本实施例中,各个模式下限定的掩模密度曲线可以通过操作图1的开关组21中的四路控制器开关或电子拨盘开关被控制。例如,在近距离模式下景深可以是可控制的。即,图14中位置“Df”和“Db”可以通过AF操作中的一步单元来改变。此外,在远距离模式下,模糊强度可以是可变的。
图16示意性示出了在近距离模式下直方图(基于距离/频率(块的数量)与散景控制处理之间的关系的示例。在图16中,虚线表示深度的分辨率随距离的变化。此外,图17示意性示出了在近距离模式下所捕捉的图像示例。假定人S0为主体,在人S0前方和后方的人S1至S3根据其离人S0的深度方向上的距离而在不同的程度上进行模糊。即,在本实施例中,当对象离主体的距离增加时模糊程度增加,从而与原始图像相比,使深度上细微差别增强并且使连续性增加。
另一方面,图18示意性示出了远距离模式下直方图(基于距离/频率(块的数量)与散景控制处理之间的关系的示例。类似于图16,虚线表示深度的分辨率随距离的变化。此外,图19示意性示出了在远距离模式下所捕捉的图像的示例。在图19中,没有在距离被确定为等于或小于至主体(人S0)的距离的块上执行模糊处理,而是对距离被确定为比人S0的距离大的块施加均匀强度的模糊。由此,获得仅仅主体,即人S0保持清晰而景象的其它部分模糊的图像。
图20是第二实施例的掩模制备处理的流程图,该掩模制备处理与图2的步骤S116对应。将参考该流程图来说明第二实施例中的掩模制备处理。
在步骤S500中,类似于第一实施例中图8的步骤S300,指定主体。在步骤S502中,获取包含主体的块的反差映射码(其与距离对应)。在步骤S504中,根据主体的距离信息(反差映射码)判断主体是否处于近距离。例如,判断与主体对应的反差映射码或距离是否小于或等于预定值。
当在步骤S504中判断出主体存在于近距离中时,在步骤S506中选择用于近距离模式的掩模密度曲线(其示出在图14中),并且在步骤S508中计算目标块离主体图像的深度方向上的距离(差)。
另一方面,当判断出主体没有在近距离中而在远距离中时,在步骤S516中选择图15中所示的用于远距离模式的掩模密度曲线,并且在步骤S508中计算目标块离主体图像的距离(差值)。
在步骤S510中,引用步骤S508中计算出的当前目标块的差值和步骤S506或S516中选择的掩模密度曲线,以便能够确定应用于当前目标块的掩模密度值。此外,在步骤S512中,将用于产生掩模的被指定的掩模密度存储在阵列的与当前块对应的单元中。
在步骤S514中,判断是否对所有的M*N个块执行上述处理,即是否为所有的M*N个块指定掩模密度。当判断出已经对所有的M*N个块执行了处理时,结束该掩模制备处理。否则,在步骤S518中,将目标变为下一块,并且重复从步骤S508开始的处理。注意,以与图3B和图5中搜索目标块相同的方式来执行目标块的转移。
如上所述,根据第二实施例,根据在光学方向上至主体的距离来控制散景或模糊效应,以便能够实现散景效应的增强。
顺便说一句,尽管在本实施例中采用镜后测光图像来获取距离信息,但用于获取距离信息的副图像不限于镜后测光图像。在短时期内,在多个不同的焦点位置处获取的连续图像也可以用于获取距离信息。此外,在本实施例中,反差映射码用作表示距离信息的示例。然而,可以利用表示距离信息的任何变量,并且该变量没必要与实际距离成比例,除非它与距离有一对一的关系。此外,模糊处理同样不限于本实施例。
本发明在小型照相机中可具有显著优点,但不限于此,本发明的实施例还可以应用于常规数字单反照相机等。
此外,尽管本实施例使用边缘轮廓提取来提高对每一个区域(块)内的反差进行估计的精确度,但在捕捉图像时,如果对于镜头的位置来说可利用用于估计每一个区域(块)中的聚焦状态的适当方法,则也可以不使用边缘轮廓提取来估计反差。
本实施例的掩模制备处理、图像合成处理和图像存储处理(步骤S116至S120和步骤S412至S416)也可以用于除数字照相机以外的装置,诸如个人计算机等。在该情形下,参考可以在数字照相机中产生的上述距离映射(距离信息),或者参考由替代方法获取的对象的距离信息来执行这些处理。例如,当使用个人计算机时,这些处理可以作为存储在记录介质中的软件程序来提供。即,图像数据可以从记录介质或由外部通信获取,并且参考从记录介质或由外部通信所获取的距离信息来进行图像处理,诸如散景控制处理。所获得的图像可以记录在记录介质中或者传送至外部装置。
在本实施例中,将对象的距离信息应用于模糊处理,然而,距离信息可以应用于除模糊处理以外的图像处理。例如,它可以应用于以下图像处理,包括艺术水彩效果的处理、插图效果的处理和将特征(包括图、符号、字母和图案)覆盖在图像上的处理。对于艺术水彩效果的处理,可以基于至主体的距离来控制颜色和色调,并且/或者用于控制颜色和色调的方法可以根据上述距离而变化。在覆盖特征时,可以基于至主体的距离来控制覆盖区域的尺寸和特征的尺寸,并且/或者用于控制上述尺寸的方法可以根据上述距离而变化。
此外,从制备距离映射至应用距离信息的图像处理的处理可以作为设置有镜头驱动机构和图像传感器的成像装置的控制程序来运用。
在第二实施例中,根据至主体的距离是否比预定距离(阈值)“Do”更近或更远来将散景控制模式分为两种模式。然而,散景控制模式还可以是由多个阈值划分的多个模式(多于三个模式)。此外,掩模密度曲线可以作为至主体的距离的函数来给出,在该情形下密度将随着距离连续地变化。
尽管文中已经参考附图描述了本发明的实施例,显然,在不脱离本发明范围的情形下本领域的技术人员可以进行很多修改和变型。

Claims (6)

1.一种图像处理装置,包括:
主图像指定器,该主图像指定器指定图像中的主体;
图像处理器,该图像处理器对图像进行图像处理,所述图像处理取决于至所述主体的距离,所述图像处理包括模糊处理,所述模糊处理包括近距离操作模式和远距离操作模式,其中,根据至所述主体的距离来选择所述近距离操作模式和所述远距离操作模式中的一者,在所述近距离操作模式下,模糊强度根据至所述主体的距离的增加而增加,在所述远距离操作模式下,仅仅对比所述主体远的区域中的对象进行恒定强度的模糊;以及
模糊设定处理器,该模糊设定处理器对在所述模糊处理中所执行的模糊程度进行设定。
2.根据权利要求1所述的图像处理装置,其中用于在所述近距离操作模式和所述远距离操作模式之间改变所述模糊处理的至所述主体的阈值距离根据在捕捉图像时所使用的f值而变化。
3.根据权利要求1所述的图像处理装置,其中参考距离映射数据来确定至所述主体的距离,所述距离映射数据包括捕捉在划分图像的每一个区域中的对象的距离信息。
4.一种数字照相机,包括:
主图像指定器,该主图像指定器指定图像中的主体;
图像处理器,该图像处理器对图像进行图像处理,所述图像处理取决于至所述主体的距离,所述图像处理包括模糊处理,所述模糊处理包括近距离操作模式和远距离操作模式,其中,根据至所述主体的距离来选择所述近距离操作模式和所述远距离操作模式中的一者,在所述近距离操作模式下,模糊强度根据至所述主体的距离的增加而增加,在所述远距离操作模式下,仅仅对比所述主体远的区域进行恒定强度的模糊;以及
模糊设定处理器,该模糊设定处理器对在所述模糊处理中所执行的模糊程度进行设定。
5.根据权利要求4所述的数字照相机,还包括为划分图像的每一个区域中的图像对象检测距离信息的距离信息检测器。
6.一种图像处理方法,包括:
在图像中指定主体;
对图像进行图像处理,并且
所述图像处理取决于至所述主体的距离,所述图像处理包括模糊处理,所述模糊处理包括近距离操作模式和远距离操作模式,其中,根据至所述主体的距离来选择所述近距离操作模式和所述远距离操作模式中的一者,在所述近距离操作模式下,模糊强度根据至所述主体的距离的增加而增加,在所述远距离操作模式下,仅仅对比所述主体远的区域进行恒定强度的模糊;以及
模糊设定处理器,该模糊设定处理器对在所述模糊处理中所执行的模糊程度进行设定。
CN201210194924.0A 2011-06-14 2012-06-13 图像处理装置和图像处理方法 Expired - Fee Related CN102843509B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-132134 2011-06-14
JP2011132134A JP5760727B2 (ja) 2011-06-14 2011-06-14 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN102843509A CN102843509A (zh) 2012-12-26
CN102843509B true CN102843509B (zh) 2017-04-12

Family

ID=47353393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210194924.0A Expired - Fee Related CN102843509B (zh) 2011-06-14 2012-06-13 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (1) US8830357B2 (zh)
JP (1) JP5760727B2 (zh)
CN (1) CN102843509B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8675099B2 (en) * 2009-06-16 2014-03-18 Aptina Imaging Corporation Efficient system and method for face tracking
JP5254297B2 (ja) * 2010-09-27 2013-08-07 株式会社東芝 画像処理装置
US9858649B2 (en) * 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
JP6172935B2 (ja) * 2012-12-27 2017-08-02 キヤノン株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP6218378B2 (ja) * 2012-12-27 2017-10-25 キヤノン株式会社 画像処理装置及び画像処理方法
EP2768213B1 (en) * 2013-02-19 2019-06-12 BlackBerry Limited Method and system for generating shallow depth of field effect
US9025874B2 (en) 2013-02-19 2015-05-05 Blackberry Limited Method and system for generating shallow depth of field effect
JP5769768B2 (ja) * 2013-09-03 2015-08-26 オリンパス株式会社 撮像装置、撮像方法およびプログラム
US20150116529A1 (en) * 2013-10-28 2015-04-30 Htc Corporation Automatic effect method for photography and electronic apparatus
JP6270413B2 (ja) * 2013-10-29 2018-01-31 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
US9237277B1 (en) * 2014-06-06 2016-01-12 Google Inc. Accurate simulation of shallow depth of field using contrast detection
CN106296621B (zh) 2015-05-22 2019-08-23 腾讯科技(深圳)有限公司 图像处理方法和装置
JP2018098613A (ja) * 2016-12-12 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および、撮像装置の制御方法
JP6949494B2 (ja) * 2017-01-17 2021-10-13 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置、プログラム
CN107038681B (zh) * 2017-05-31 2020-01-10 Oppo广东移动通信有限公司 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN107704798B (zh) * 2017-08-09 2020-06-12 Oppo广东移动通信有限公司 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN107680128B (zh) 2017-10-31 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
KR102192899B1 (ko) * 2018-08-16 2020-12-18 주식회사 날비컴퍼니 이미지에 보케 효과를 적용하는 방법 및 기록매체
US10897558B1 (en) * 2018-09-11 2021-01-19 Apple Inc. Shallow depth of field (SDOF) rendering
DE102019133642A1 (de) * 2018-12-12 2020-06-18 Magna Closures Inc. Digitales bildgebungssystem einschliesslich optischer plenoptik-vorrichtung und bilddaten-verarbeitungsverfahren zur erfassung von fahrzeughindernissen und gesten
CN111866378A (zh) * 2020-06-30 2020-10-30 维沃移动通信有限公司 图像处理方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281290A (zh) * 2007-04-04 2008-10-08 株式会社尼康 数码相机
CN101387732B (zh) * 2007-09-14 2010-12-01 索尼株式会社 成像装置、成像装置控制方法和计算机程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4565784B2 (ja) 2001-09-20 2010-10-20 Hoya株式会社 デジタルカメラ
JP4217041B2 (ja) 2002-09-12 2009-01-28 Hoya株式会社 フィルタ処理
JP2006140594A (ja) 2004-11-10 2006-06-01 Pentax Corp デジタルカメラ
US7612805B2 (en) * 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
US20080284900A1 (en) * 2007-04-04 2008-11-20 Nikon Corporation Digital camera
JP2008294785A (ja) * 2007-05-25 2008-12-04 Sanyo Electric Co Ltd 画像処理装置、撮像装置、画像ファイル及び画像処理方法
JP5005570B2 (ja) * 2008-02-04 2012-08-22 株式会社リコー 画像処理装置およびプログラム
JP5460173B2 (ja) * 2009-08-13 2014-04-02 富士フイルム株式会社 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP2011066827A (ja) * 2009-09-18 2011-03-31 Casio Computer Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2011130169A (ja) * 2009-12-17 2011-06-30 Sanyo Electric Co Ltd 画像処理装置及び撮影装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281290A (zh) * 2007-04-04 2008-10-08 株式会社尼康 数码相机
CN101387732B (zh) * 2007-09-14 2010-12-01 索尼株式会社 成像装置、成像装置控制方法和计算机程序

Also Published As

Publication number Publication date
JP5760727B2 (ja) 2015-08-12
JP2013005084A (ja) 2013-01-07
US20120320239A1 (en) 2012-12-20
US8830357B2 (en) 2014-09-09
CN102843509A (zh) 2012-12-26

Similar Documents

Publication Publication Date Title
CN102843509B (zh) 图像处理装置和图像处理方法
CN108764091B (zh) 活体检测方法及装置、电子设备和存储介质
CN107087107B (zh) 基于双摄像头的图像处理装置及方法
CN105933589B (zh) 一种图像处理方法及终端
US8885091B2 (en) Imaging device and distance information detecting method
JP5932476B2 (ja) 画像処理装置、撮像装置、距離計測方法および距離計測プログラム
CN103384998B (zh) 摄像装置、及摄像方法
JP2004320287A (ja) デジタルカメラ
CN112529951A (zh) 扩展景深图像的获取方法、装置及电子设备
EP1471455A2 (en) Digital camera
US8830381B2 (en) Imaging device and method to provide bokeh effect in captured image by determining distance and focus of captured objects in secondary image sequence
JP2004320286A (ja) デジタルカメラ
CN102196166B (zh) 摄像装置及显示方法
JP2004317699A (ja) デジタルカメラ
KR20070118036A (ko) 촬상 장치와 촬상 장치 제어 방법, 및 컴퓨터 프로그램
JP2010177741A (ja) 撮像装置
CN104604215A (zh) 摄像装置、摄像方法和程序
CN108024058B (zh) 图像虚化处理方法、装置、移动终端和存储介质
KR20120022512A (ko) 전자 카메라, 화상 처리 장치 및 화상 처리 방법
CN104902182B (zh) 一种实现连续自动对焦的方法和装置
US8810665B2 (en) Imaging device and method to detect distance information for blocks in secondary images by changing block size
JP2006067521A (ja) 画像処理装置と方法、および画像撮像装置と方法
JP2004320285A (ja) デジタルカメラ
CN111598065A (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
CN108702457A (zh) 基于不规则区域的自动图像校正

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170412