CN102843510A - 成像装置和距离信息检测方法 - Google Patents
成像装置和距离信息检测方法 Download PDFInfo
- Publication number
- CN102843510A CN102843510A CN2012101949857A CN201210194985A CN102843510A CN 102843510 A CN102843510 A CN 102843510A CN 2012101949857 A CN2012101949857 A CN 2012101949857A CN 201210194985 A CN201210194985 A CN 201210194985A CN 102843510 A CN102843510 A CN 102843510A
- Authority
- CN
- China
- Prior art keywords
- image
- zone
- contrast
- range information
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及成像装置和距离信息检测方法。提供了一种成像装置,其包括成像处理器、距离信息检测器、主图像捕捉处理器和图像处理器。成像处理器通过驱动拍摄镜头来在不同的对焦位置处捕捉同一对象的多个副图像。距离信息检测器基于每一个副图像中的每一个区域上的反差来检测在图像的每一个区域中捕捉的对象的距离信息。主图像捕捉处理器捕捉所述对象的相同图像作为主图像。图像处理器基于距离信息来在主图像上执行图像处理。
Description
技术领域
本发明涉及通过镜头系统来电子捕捉图像的成像装置。
背景技术
在照相术中,利用景深效应的散景技术或模糊技术通常用来使背景和/或前景景象变模糊,所述背景和/或前景景象不包含被对焦的主体。然而,当焦距减小时景深加深,因此在具有相对较小的图像传感器的小型数字照相机中散景效应无效,因为这种照相机要求短焦距。
对于以上问题,提出了以下方法:确定被捕捉图像的对焦区域和离焦区域,以便通过对离焦区域内的图像施加模糊处理来形成人工散景效应。在该方法中,将被捕捉图像划分成多个区域,并且通过估计每一个区域中的空间频率来确定对焦区域和离焦区域。即,将空间频率高的区域确定为对焦区域,并且将空间频率低的区域确定为离焦区域。该确定基于以下事实,即对焦区域通常具有高反差(参考美国专利No.7,454,134)。
发明内容
然而,图像的空间频率还取决于主体的结构,因此图像的空间频率高并不总意味着图像焦点对准。例如,森林、瓦屋顶等的图像原本就具有高频率。另一方面,当考虑诸如人的皮肤的主体时,即使图像对焦,空间频率可能仍低于离焦区域的空间频率。因此,为了获得适当的人工散景效应,优选地,可以基于在构成图像的各个区域中在光学方向上照相机镜头至对象的距离来执行模糊处理。
因此,本发明的一方面提供能够获取在光学方向上到构成图像的每一个区域中捕捉的对象的距离的成像装置和方法。
根据本发明,提供以下成像装置,其包括成像处理器、距离信息检测器、主图像捕捉处理器和图像处理器。
所述成像处理器通过驱动拍摄镜头来在不同的对焦位置处捕捉同一对象的多个副图像(secondary image)。所述距离信息检测器基于所有副图像中的每一个区域上的反差(contrast)来检测图像的每一个区域中的对象的距离信息。所述主图像捕捉处理器捕捉所述对象的相同图像,作为主图像。所述图像处理器基于所述距离信息来在所述主图像上执行图像处理。
本发明另一方面提供用于检测距离信息的方法。该方法包括:通过驱动拍摄镜头来在不同的透镜位置处捕捉同一对象的多个副图像;基于所有副图像中的每一个区域上的反差来检测每一个区域中对象的距离信息;捕捉所述对象的相同图像,作为主图像;以及基于所述距离信息来在所述主图像上执行图像处理。
本发明的另一方面,提供了具有用于控制计算机以执行上述方法的指令的计算机可读介质。
附图说明
参考附图,根据以下描述来更好地理解本发明的目的和优点,其中:
图1是示出第一实施例的数字照相机的结构的框图;
图2是在散景控制模式下重复执行的中断处理的流程图;
图3A和图3B是距离映射制备处理的流程图;
图4a-图4e示意性示出了创建反差映射的方式;
图5示意性示出了从反差映射搜索反差值的方式;
图6示意性示出了反差映射码与反差值之间的关系;
图7是概念上的示意性距离映射的示例;
图8是第一实施例中的掩模制备处理的流程图;
图9是在将图7中的反差映射码“8”指定为主体时的掩模示例;
图10是在将图7中的反差映射码“13”指定为主体时的掩模示例;
图11是在将图7中的反差映射码“20”指定为主体时的示例;
图12是替代实施例中在散景控制模式下执行的中断处理的流程图;
图13示意性示出了表示分配给每一个距离的块的频率的直方图的示例;
图14示出了在近距离模式下散景控制处理的模糊强度的变化;
图15示出了在远距离模式下散景控制处理的模糊强度的变化;
图16示意性示出了在近距离模式下直方图与散景控制处理之间的关系;
图17示意性示出了在近距离模式下所捕捉的图像的示例;
图18示意性示出了在远距离模式下直方图与散景控制处理之间的关系;
图19示意性示出了在远距离模式下所捕捉的图像的示例;以及
图20是第二实施例中的掩模制备处理的流程图。
具体实施方式
下面,参考图中所示的实施例来描述本发明。
图1是示意性示出应用了本发明的第一实施例的数字照相机的总体结构的框图。第一实施例以小型照相机作为示例进行说明,但该数字照相机还应用于在包括小型照相机、便携式电话等各种小型电子装置中所实现的照相机单元。
在数字照相机10中,图像传感器12捕捉由拍摄镜头11生成的对象图像。图像传感器12由图像传感器驱动器13驱动,根据来自控制器14的指令对所述图像传感器驱动器13进行控制。将由图像传感器12捕捉的图像供给控制器14,并且进行各种数字图像处理,然后暂时存储在图像存储器15中。当用户需要时,存储在图像存储器15中的图像还可以进一步记录在记录介质16中。由图像传感器12捕捉的图像或存储在图像存储器15或记录介质16中的图像可以显示在监视器17上,如LCD等上。
拍摄镜头11由镜头驱动器18驱动,并且可变光阑(iris)19由可变光阑驱动器20驱动。采用反差检测自动聚焦装置,以使控制器14参考由图像传感器12捕捉的图像的反差来控制镜头驱动器18,并且根据光度值来控制可变光阑驱动器20。此外,数字照相机10设置有开关组21,包括释放开关、光度开关、用于选择功能或模式的拨盘开关、四路控制器开关,等等,其中每一个开关均连接至控制器14。
将参考图1以及图2的流程图来说明第一实施例的散景或模糊控制处理。图2的流程图表示当选择散景控制模式时由控制器14重复执行的中断处理。注意,散景控制模式通过用户操作预定的开关来选择。
在步骤S100中,判断释放按钮(未示出)是否半压下,以及光度开关S1是否处于开(ON)状态。当判断出光度开关S1未处于开状态时,换句话说,释放按钮没有半压下时,立即结束中断处理,并且在执行完其它处理之后重新执行中断处理。然而,当在步骤S100中判断出光度开关S1处于开位置时,镜头驱动器18驱动拍摄镜头11并且通过预定数量的步骤将对焦距离从最近距离移动至最远距离(如,无限远),以便将镜头设置在多个位置处。在每一个位置处捕捉一个图像,以将Np(Np:位置数量)个镜后测光(through-the-lens)图像(副图像)存储在图像存储器15中。注意,步骤S 102中的处理在短时间内执行,以便该处理期间内捕捉的Np个图像可以被记录为以相同的方向和相同的视角但在不同的距离上聚焦的从相同位置获取的同一对象的拍摄。
在步骤S104中,利用已知的反差检测自动聚焦装置,通过镜头驱动器18将拍摄镜头11移动至对焦位置。在步骤S106中,判断光度开关是否处于开状态,即释放按钮(未示出)是否保持在半压下位置。如果判断出释放按钮没有保持在半压下位置,则结束中断处理,并且在执行完其它处理之后重复中断处理。
当光度开关S1保持开状态时,在步骤S108中判断释放开关S2是否处于开状态。如果释放开关S2没有打开,则该方法返回步骤106并且重复相同的判断。另一方面,当释放开关S2处于开状态时,在步骤S110中图像传感器12执行图像捕捉操作以捕捉记录图像(主图像),即待记录的图像。此外,在步骤S112中,对记录图像的RAW数据施加显影处理。注意,在步骤S110中捕捉的记录图像也被认为是与在步骤S102中捕捉的Np个图像一样的,以相同方向和相同视角从相同位置拍摄的同一对象的图像。
在步骤S114中,执行距离映射制备处理,该距离映射制备处理使用在步骤S102中存储在图像存储器15中的镜后测光图像(副图像)。该距离映射是为构成记录图像(或镜后测光图像)的每一个区域(块)中的对象分配距离信息的数据的映射。映射制备处理的细节将在后文中描述。
在步骤S116中,参考在步骤S114中制备的距离映射执行掩模制备处理(将在后文中详细描述),所述掩模制备处理制备掩模以便对记录图像(主图像)中除主体区域以外的所有区域施加模糊控制处理。在步骤S118中,对已经被遮掩的记录图像施加散景控制处理,以便生成新合成记录图像(新合成主图像)。在步骤S120中,将新合成记录图像记录在记录介质16中,这将结束该散景控制模式下的中断处理。
注意,记录图像(主图像)可以在不进行散景控制处理的情形下来记录,并且可以构造成与对应的距离映射一起记录在记录介质16中,以便之后可以参考距离映射执行散景控制处理或其它图像处理。在该情形下,记录图像(主图像)数据和距离映射数据可以存储在分开的文件中或者一起保存在相同的文件中。当它们存储在分开的文件中时,可以使用记录在头文件中的文件名或信息进行分开的文件之间的对应。
图3A和图3B是发生在图2的步骤S114中的距离映射制备处理的流程图。此外,图5至图8表示在图3和图4a-图4e中执行的处理。将参考图3到图8说明第一实施例的距离映射制备处理。
在距离映射制备处理中,在步骤S200中通过将可能包括高通滤波器和差分滤波器的边缘轮廓提取处理施加至存储在图像存储器15中的每一个镜后测光图像(副图像)(在图2的步骤S102中存储的图像)来提取或增强外形或边缘轮廓分量。此处,图4a表示尚未提取外形(边缘轮廓)分量的镜后测光图像的示例。图4b表示对图4a所示的图像施加边缘轮廓提取处理之后的镜后测光图像的示例。
在步骤S202中,如图4c中的示例所示,将已经提取过外形(边缘轮廓)分量的图像(图4b)划分成M*N个块(区域)。此处,N表示竖直方向上块的数量,进而比镜后测光图像(副图像)在竖直方向上的像素数量少。此外,M表示水平方向上块的数量,进而比镜后测光图像在水平方向上的像素数量少。注意,在第一实施例中,单个像素也可以构成块。
在步骤S204中,为每一个块计算外形(边缘轮廓)分量的和。即,计算每一个块内的像素值和,作为已经提取过外形分量的图像(图4b)的反差值(用于估计反差度的值)。在步骤S206中,将针对每一块计算出的反差值存储在大小为M*N的缓冲存储器(未示出)中,作为每一个镜后测光图像(副图像)的反差映射(用于估计反差度的映射)。图4d示意性示出了与图4c所示块对应的反差映射的示例。在图4d中,块越亮表示反差值越高。
在步骤S208中,判断上述处理(S200至S206)是否已经施加至所有的Np个镜后测光图像(副图像),所述所有的Np个镜后测光图像(副图像)存储在图像存储器15中。当判断出没有对所有的镜后测光图像执行上述处理时,该方法返回至步骤S200并且对没有被处理的镜后测光图像执行步骤S200至步骤S206的处理。
另一方面,当在步骤S208中判断出已经对存储在图像存储器15中的所有Np个镜后测光图像执行了步骤S200至S206的处理时,该方法转入步骤S210,并且将Np个镜后测光图像的Np个反差映射存储在缓冲存储器中,如图4e所示。
如图5示意性所示,对于每一个块,参考Np个反差映射的每一个来获取距离映射。在步骤S210中,在存储器中预留M*N个块的阵列,以保存距离映射。在步骤S212中,在M*N个块中设定将接受距离检测处理的初始目标块。
例如,当Np个反差映射中的每一个反差映射中的M*N个块的位置由坐标(i,j)标识时,其中以图5中的映射的左上方位置作为原点,“i”表示第i行并且“j”表示第j列,距离检测处理从坐标为i=1和j=1的块开始。注意,在该过程中,目标块首先沿同一行从左移动至右,接着移动至下一行,等等,直到它到达最末块。
在步骤S214中,对所有的Np个反差映射中的每一个相应目标块(i,j)的反差值进行搜索,并且识别出具有每一个特定(i,j)目标块的最大反差值的反差映射,以便能够获取反差映射的标识码。例如,如图6所示,当存在23个反差映射(Np=23),并且目标块(i,j)的反差值随反差映射而变化时,在标识码为“20”的反差映射上检测出目标块(i,j)的最大反差值。
在步骤S218中,将在步骤S216中检测到的反差映射的标识码存储在步骤S210所预留的阵列的与距离映射的相同目标块(i,j)对应的单元中。在步骤S220中,判断是否对所有的M*N个块执行了距离信息检测处理。即,判断所有的M*N个块的标识码是否被检测出并且保存在每一个对应的阵列单元中,所述标识码指明哪一个反差映射具有特定目标块(i,j)的最大反差值。当上述所有的M*N个块的检测和保存没有被完成时,在步骤S222中将目标移动至下一块,并且重复从步骤S214开始的处理。此外,当判断出所有的M*N个块的检测和保存已完成时,结束距离映射制备处理。
一旦距离映射制备处理完成,则将具有特定块的最大反差值的那个反差映射的标识码保存在距离映射中的每一个相应块的阵列单元内。即,分配给每一个块的码表示特定块区的对焦镜头位置,并且分配给每一个块的码也可以与光学方向上从镜头至在图像的特定块中捕捉的对象的距离对应。在图7所示的距离映射的示例中,随着反差映射码的增加,到主体的距离也增加,并且参考图4a,反差映射码为“8”的块对应于人,即主体。此外,反差映射码为“20”的块与远景,诸如遥远的背景对应,而反差映射码为“13”的块与存在于主体与背景之间的对象对应,例如就在作为主体的人的后面的树。
将参考图8的流程图以及图9至图11来说明第一实施例的掩模制备处理,该掩模制备处理在图2的步骤S116中执行。
当掩模制备处理开始时,在步骤S300中选择主体。主体可以在图像捕捉期间由用于AF操作的焦点指定,或者可以通过使用适当输入装置的用户从图像中指定。主体也可以通过采用人脸检测技术所检测的位置来指定。例如,对于任意的块,只要其反差映射码与包含预定主体的块的反差映射码(或位置)之差(或之间的距离)小于或等于某一范围(或距离),则该任意块就可以被确定为主体的一部分。
在步骤S302中,生成将被确认的主体块排除在散景控制处理以外的掩模,并且在图2的步骤S110中对所捕捉的图像进行掩模处理。注意,立即根据每一个图像的像素数量来识别镜后测光图像(副图像)和记录图像(主图像)中的相应块。
图9示出了当图7中反差映射标识码为“8”的块(人)被指定为主体时的掩模示例。此外,图10示出了当将反差映射标识码为“13”(其与中间距离对应)的块指定为主体时的掩模示例,并且图11是将反差映射标识码为“20”(其与远景对应)的块指定为主体时的掩模示例。
注意,在第一实施例中,alpha合成技术可以用在掩模处理中,以对图9至图11中较亮的块进行较弱的模糊,并且对较暗的块进行较强的模糊。
如上所述,根据第一实施例,即使在使用景深不能获得充足的散景效应的情形下,仍可以对除主体以外的区域施加适当的散景。此外,在本实施例中,使用边缘轮廓提取处理来估计反差,以便促进并且优化对焦估计。此外,通过将图像划分成多个块(除包含单个像素的块以外),来提高处理速度。在本实施例中,制备距离映射时使用多个镜后测光图像(副图像),以使处理速度能够进一步提高。
此外,与通过仅仅捕捉多个图像来执行散景控制处理以获取距离映射的情形相比,由于本实施例使用镜后测光图像,因此用户可能察觉不到散景控制处理或者不受散景控制处理干扰。
顺便说一句,尽管本实施例以小型照相机作为示例进行说明,但图12中仍示出了可应用于替代实施例的流程图,所述替代实施例包括设置在便携式电话中的照相机单元。此处,图12与第一实施例中图2的流程图对应。该替代实施例与第一实施例之间的本质差别在于,该照相机单元没有光度开关S1。即,仅仅当释放按钮完全压下时,换句话说当释放开关开启时才启动光度操作、自动对焦操作和图像捕捉操作。因此,替代实施例的流程图没有与图2的步骤S106和S108对应的步骤,并且用判断释放开关S2是否处于开状态的步骤S400来替换步骤S100。注意,步骤S402和S404分别与步骤S102和S104对应,并且步骤S406至步骤S416分别与步骤S110至步骤S120对应。
如上所述,对于安装在便携式电话上的照相机单元等等,可以获取与第一实施例相同的效果或优点,在所述便携式电话等中仅仅当释放按钮完全压下时光度开关才开启。
将参考图13至图20来说明第二实施例的数字照相机。在第二实施例中,除掩模方法(图5中的步骤S116)以外,数字照相机的特征与第一实施例的特征相同。在第二实施例中,掩模方法根据光学方向上从镜头至主体的距离而变化。因此,在以下描述中仅仅说明与第一实施例的不同的特征,该特征与图2的步骤S116对应。
当至拍摄对象的距离增加时景深加深,并且当该距离增加时AF操作的一步驱动运动(最小位移)中的分辨率减小。因此,在第二实施例中,散景控制处理根据光学方向上从镜头至主体的距离而变化。在本实施例中,当主体相对较近(近距离模式)时,选择对由深度引起的细微差别进行模仿的散景控制处理。另一方面,当主体相对较远(远距离模式)时,选择仅仅使主体的背景模糊以增强主体与背景之间的反差的散景处理。
图13示意性示出了直方图的示例,图中水平轴线表示至对象的距离并且竖直轴线表示分配给每一个距离的块的频率。在本实施例中,根据主体是否比预定距离“Do”更近来选择上述近距离模式或远距离模式。即,当至主体的距离为“Do”或更小时,选择近距离模式,反之则采用远距离模式。
注意,景深还取决于f值,从而距离“Do”可以根据f值而变化。例如,当f值减小时景深变得相对较浅,以便在f值减小时距离“Do”可以设定为较大的值,并且在f值增加时设定为较小的值。
图14示出了在近距离模式下散景控制处理的模糊强度的变化。即,图14的曲线定义了近距离模式下的掩模密度。在近距离模式下,与主体的距离对应的块没有被模糊或者进行最小程度的模糊。对于与前景景象或背景景象对应的块,当块的距离相对于主体的距离“Do”增加时,模糊强度逐渐增强。例如,模糊强度逐渐增加至最大值(100%),直到块的距离在前景景象中达到距离“Df”或者在背景景象中达到“Db”。
图15示出了在远距离模式下散景控制处理的模糊强度的变化。即,图15中的曲线定义了远距离模式下的掩模密度。在远距离模式下,如上所述,仅仅对背景景象中的块区进行模糊,以增强主体与背景景象之间的反差,从而在主体的距离“Do”作为阈值的情形下以阶跃函数的方式来实现模糊。即,与比主体(距离“Do”)更近的距离对应的块没有被模糊,而对与比主体(距离“Do”)更远的距离对应的所有块进行最大程度的模糊(100%)。
在本实施例中,各个模式下限定的掩模密度曲线可以通过操作图1的开关组21中的四路控制器开关或电子拨盘开关被控制。例如,在近距离模式下景深可以是可控制的。即,图14中位置“Df”和“Db”可以通过AF操作中的一步单元来改变。此外,在远距离模式下,模糊强度可以是可变的。
图16示意性示出了在近距离模式下直方图(基于距离/频率(块的数量))与散景控制处理之间的关系的示例。在图16中,虚线表示深度的分辨率随距离的变化。此外,图17示意性示出了在近距离模式下所捕捉的图像示例。假定人S0为主体,在人S0前方和后方的人S1至S3根据其离人S0的深度方向上的距离而在不同的程度上进行模糊。即,在本实施例中,当对象离主体的距离增加时模糊程度增加,从而与原始图像相比,使深度上细微差别增强并且使连续性增加。
另一方面,图18示意性示出了远距离模式下直方图(基于距离/频率(块的数量))与散景控制处理之间的关系的示例。类似于图16,虚线表示深度的分辨率随距离的变化。此外,图19示意性示出了在远距离模式下所捕捉的图像的示例。在图19中,没有在距离被确定为等于或小于至主体(人S0)的距离的块上执行模糊处理,而是对距离被确定为比人S0的距离大的块施加均匀强度的模糊。由此,获得仅仅主体,即人S0保持清晰而景象的其它部分模糊的图像。
图20是第二实施例的掩模制备处理的流程图,该掩模制备处理与图2的步骤S116对应。将参考该流程图来说明第二实施例中的掩模制备处理。
在步骤S500中,类似于第一实施例中图8的步骤S300,指定主体。在步骤S502中,获取包含主体的块的反差映射码(其与距离对应)。在步骤S504中,根据主体的距离信息(反差映射码)判断主体是否处于近距离。例如,判断与主体对应的反差映射码或距离是否小于或等于预定值。
当在步骤S504中判断出主体存在于近距离中时,在步骤S506中选择用于近距离模式的掩模密度曲线(其示出在图14中),并且在步骤S508中计算目标块离主体图像的深度方向上的距离(差)。
另一方面,当判断出主体没有在近距离中而在远距离中时,在步骤S516中选择图15中所示的用于远距离模式的掩模密度曲线,并且在步骤S508中计算目标块离主体图像的距离(差值)。
在步骤S510中,引用步骤S508中计算出的当前目标块的差值和步骤S506或S516中选择的掩模密度曲线,以便能够确定应用于当前目标块的掩模密度值。此外,在步骤S512中,将用于产生掩模的被指定的掩模密度存储在阵列的与当前块对应的单元中。
在步骤S514中,判断是否对所有的M*N个块执行上述处理,即是否为所有的M*N个块指定掩模密度。当判断出已经对所有的M*N个块执行了处理时,结束该掩模制备处理。否则,在步骤S518中,将目标变为下一块,并且重复从步骤S508开始的处理。注意,以与图3B和图5中搜索目标块相同的方式来执行目标块的转移。
如上所述,根据第二实施例,根据在光学方向上至主体的距离来控制散景或模糊效应,以便能够实现散景效应的增强。
顺便说一句,尽管在本实施例中采用镜后测光图像来获取距离信息,但用于获取距离信息的副图像不限于镜后测光图像。在短时期内,在多个不同的焦点位置处获取的连续图像也可以用于获取距离信息。此外,在本实施例中,反差映射码用作表示距离信息的示例。然而,可以利用表示距离信息的任何变量,并且该变量没必要与实际距离成比例,除非它与距离有一对一的关系。此外,模糊处理同样不限于本实施例。
本发明在小型照相机中可具有显著优点,但不限于此,本发明的实施例还可以应用于常规数字单反照相机等。
此外,尽管本实施例使用边缘轮廓提取来提高对每一个区域(块)内的反差进行估计的精确度,但在捕捉图像时,如果对于镜头的位置来说可利用用于估计每一个区域(块)中的聚焦状态的适当方法,则也可以不使用边缘轮廓提取来估计反差。
本实施例的掩模制备处理、图像合成处理和图像存储处理(步骤S116至S120和步骤S412至S416)也可以用于除数字照相机以外的装置,诸如个人计算机等。在该情形下,参考可以在数字照相机中产生的上述距离映射(距离信息),或者参考由替代方法获取的对象的距离信息来执行这些处理。例如,当使用个人计算机时,这些处理可以作为存储在记录介质中的软件程序来提供。即,图像数据可以从记录介质或由外部通信获取,并且参考从记录介质或由外部通信所获取的距离信息来进行图像处理,诸如散景控制处理。所获得的图像可以记录在记录介质中或者传送至外部装置。
在本实施例中,将对象的距离信息应用于模糊处理,然而,距离信息可以应用于除模糊处理以外的图像处理。例如,它可以应用于以下图像处理,包括艺术水彩效果的处理、插图效果的处理和将特征(包括图、符号、字母和图案)覆盖在图像上的处理。对于艺术水彩效果的处理,可以基于至主体的距离来控制颜色和色调,并且/或者用于控制颜色和色调的方法可以根据上述距离而变化。在覆盖特征时,可以基于至主体的距离来控制覆盖区域的尺寸和特征的尺寸,并且/或者用于控制上述尺寸的方法可以根据上述距离而变化。
此外,从制备距离映射至应用距离信息的图像处理的处理可以作为设置有镜头驱动机构和图像传感器的成像装置的控制程序来运用。
尽管文中已经参考附图描述了本发明的实施例,显然,在不脱离本发明范围的情形下本领域的技术人员可以进行很多修改和变型。
Claims (8)
1.一种成像装置,包括:
成像处理器,该成像处理器通过驱动拍摄镜头来在不同的对焦位置处捕捉同一对象的多个副图像;
距离信息检测器,该距离信息检测器基于每一个所述副图像中的每一个区域上的反差来检测在图像的每一个区域中捕捉的对象的距离信息;
主图像捕捉处理器,该主图像捕捉处理器进一步捕捉所述对象的相同图像作为主图像;以及
图像处理器,该图像处理装置基于所述距离信息来在所述主图像上执行图像处理。
2.根据权利要求1所述的成像装置,其中所述区域包括所述副图像的被划分的块区,所述块区包括至少一个像素,并且基于每一个所述副图像中的每一个块区中的反差获取所述距离信息。
3.根据权利要求1所述的成像装置,还包括边缘轮廓提取处理器,该边缘轮廓提取处理器提取所述副图像的边缘轮廓分量,并且在每一个所述区域内基于所述缘轮廓分量来估计反差度,每一个区域的所述距离信息通过确定每一个区域中具有最高反差度的副图像来获取。
4.根据权利要求3所述的成像装置,其中基于每一个区域中的所述边缘轮廓分量的和来估计每一个区域中的所述反差度。
5.根据权利要求1所述的成像装置,其中所述副图像包括在光度开关或释放开关开启之后所捕捉的镜后测光图像。
6.根据权利要求1所述的成像装置,其中所述图像处理包括散景控制处理。
7.一种用于检测距离信息的方法,包括:
通过驱动拍摄镜头来在不同的对焦位置处捕捉同一对象的多个副图像;
基于每一个所述副图像中的每一个区域中的反差来检测在图像的每一个区域中捕捉的对象的距离信息;
捕捉所述对象的相同图像作为主图像;以及
基于所述距离信息来在所述主图像上执行图像处理。
8.一种具有用于控制计算机以执行一种方法的指令的计算机可读介质,所述方法包括:
通过驱动拍摄镜头来在不同的对焦位置处捕捉同一对象的多个副图像;
基于每一个所述副图像中的每一个区域中的反差来检测在图像的每一个区域中捕捉的对象的距离信息;
捕捉所述对象的相同图像作为主图像;以及
基于所述距离信息来在所述主图像上执行图像处理。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011132263A JP2013005091A (ja) | 2011-06-14 | 2011-06-14 | 撮像装置および距離情報取得方法 |
JP2011-132263 | 2011-06-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102843510A true CN102843510A (zh) | 2012-12-26 |
Family
ID=47353390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012101949857A Pending CN102843510A (zh) | 2011-06-14 | 2012-06-13 | 成像装置和距离信息检测方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8885091B2 (zh) |
JP (1) | JP2013005091A (zh) |
CN (1) | CN102843510A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104333700A (zh) * | 2014-11-28 | 2015-02-04 | 广东欧珀移动通信有限公司 | 一种图像虚化方法和图像虚化装置 |
CN106713726A (zh) * | 2015-07-14 | 2017-05-24 | 无锡天脉聚源传媒科技有限公司 | 一种识别拍摄方式的方法和装置 |
CN107950018A (zh) * | 2015-09-04 | 2018-04-20 | 苹果公司 | 通过焦点栈呈现的逼真浅景深 |
CN111866378A (zh) * | 2020-06-30 | 2020-10-30 | 维沃移动通信有限公司 | 图像处理方法、装置、设备及介质 |
CN111970444A (zh) * | 2020-08-17 | 2020-11-20 | 长安大学 | 一种实现场景内物体远近辨识的方法、系统及机器人 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6172935B2 (ja) * | 2012-12-27 | 2017-08-02 | キヤノン株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP6486453B2 (ja) * | 2013-01-31 | 2019-03-20 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
JP6271990B2 (ja) * | 2013-01-31 | 2018-01-31 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP6319972B2 (ja) * | 2013-08-26 | 2018-05-09 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
JP6210836B2 (ja) * | 2013-10-22 | 2017-10-11 | キヤノン株式会社 | 撮像装置、撮像制御装置、その制御方法およびプログラム |
US9354489B2 (en) * | 2014-02-10 | 2016-05-31 | Raytheon Company | Robust autofocus algorithm for multi-spectral imaging systems |
JP2017050830A (ja) * | 2015-09-04 | 2017-03-09 | パナソニックIpマネジメント株式会社 | 照明装置、照明システム、及びプログラム |
JP6494587B2 (ja) * | 2016-01-13 | 2019-04-03 | キヤノン株式会社 | 画像処理装置および画像処理装置の制御方法、撮像装置、プログラム |
US10298853B2 (en) | 2016-01-13 | 2019-05-21 | Canon Kabushiki Kaisha | Image processing apparatus, method of controlling image processing apparatus, and imaging apparatus |
JP2019114821A (ja) | 2016-03-23 | 2019-07-11 | 日本電気株式会社 | 監視システム、装置、方法およびプログラム |
CN107197146B (zh) * | 2017-05-31 | 2020-06-30 | Oppo广东移动通信有限公司 | 图像处理方法和装置、移动终端、计算机可读存储介质 |
KR102192899B1 (ko) * | 2018-08-16 | 2020-12-18 | 주식회사 날비컴퍼니 | 이미지에 보케 효과를 적용하는 방법 및 기록매체 |
KR102597518B1 (ko) * | 2019-02-20 | 2023-11-03 | 삼성전자주식회사 | 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1731267A (zh) * | 2004-08-06 | 2006-02-08 | 三星Techwin株式会社 | 自动对焦方法和使用同一方法的数码照相装置 |
CN1977526A (zh) * | 2004-06-30 | 2007-06-06 | 伊斯曼柯达公司 | 图像捕捉方法和图像捕捉设备 |
JP2008294785A (ja) * | 2007-05-25 | 2008-12-04 | Sanyo Electric Co Ltd | 画像処理装置、撮像装置、画像ファイル及び画像処理方法 |
US20100033617A1 (en) * | 2008-08-05 | 2010-02-11 | Qualcomm Incorporated | System and method to generate depth data using edge detection |
CN101820530A (zh) * | 2009-02-27 | 2010-09-01 | 索尼公司 | 图像处理设备、系统、方法和程序以及摄像机设备 |
CN101848337A (zh) * | 2009-03-25 | 2010-09-29 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
CN101902577A (zh) * | 2008-11-28 | 2010-12-01 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法 |
CN102016682A (zh) * | 2009-07-08 | 2011-04-13 | 纳卢克斯株式会社 | 成像光学系统 |
CN102256056A (zh) * | 2010-05-17 | 2011-11-23 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4565784B2 (ja) | 2001-09-20 | 2010-10-20 | Hoya株式会社 | デジタルカメラ |
JP4217041B2 (ja) | 2002-09-12 | 2009-01-28 | Hoya株式会社 | フィルタ処理 |
JP2006140594A (ja) | 2004-11-10 | 2006-06-01 | Pentax Corp | デジタルカメラ |
US7911513B2 (en) * | 2007-04-20 | 2011-03-22 | General Instrument Corporation | Simulating short depth of field to maximize privacy in videotelephony |
JP2009027298A (ja) * | 2007-07-18 | 2009-02-05 | Ricoh Co Ltd | 撮像装置および撮像装置の制御方法 |
JP2009110137A (ja) * | 2007-10-29 | 2009-05-21 | Ricoh Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
KR101510098B1 (ko) * | 2007-12-21 | 2015-04-08 | 삼성전자주식회사 | 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법 |
US8325268B2 (en) * | 2007-12-28 | 2012-12-04 | Sanyo Electric Co., Ltd. | Image processing apparatus and photographing apparatus |
US8229172B2 (en) * | 2009-12-16 | 2012-07-24 | Sony Corporation | Algorithms for estimating precise and relative object distances in a scene |
-
2011
- 2011-06-14 JP JP2011132263A patent/JP2013005091A/ja active Pending
-
2012
- 2012-06-13 US US13/495,239 patent/US8885091B2/en not_active Expired - Fee Related
- 2012-06-13 CN CN2012101949857A patent/CN102843510A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1977526A (zh) * | 2004-06-30 | 2007-06-06 | 伊斯曼柯达公司 | 图像捕捉方法和图像捕捉设备 |
CN1731267A (zh) * | 2004-08-06 | 2006-02-08 | 三星Techwin株式会社 | 自动对焦方法和使用同一方法的数码照相装置 |
JP2008294785A (ja) * | 2007-05-25 | 2008-12-04 | Sanyo Electric Co Ltd | 画像処理装置、撮像装置、画像ファイル及び画像処理方法 |
US20100033617A1 (en) * | 2008-08-05 | 2010-02-11 | Qualcomm Incorporated | System and method to generate depth data using edge detection |
CN101902577A (zh) * | 2008-11-28 | 2010-12-01 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法 |
CN101820530A (zh) * | 2009-02-27 | 2010-09-01 | 索尼公司 | 图像处理设备、系统、方法和程序以及摄像机设备 |
CN101848337A (zh) * | 2009-03-25 | 2010-09-29 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
CN102016682A (zh) * | 2009-07-08 | 2011-04-13 | 纳卢克斯株式会社 | 成像光学系统 |
CN102256056A (zh) * | 2010-05-17 | 2011-11-23 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104333700A (zh) * | 2014-11-28 | 2015-02-04 | 广东欧珀移动通信有限公司 | 一种图像虚化方法和图像虚化装置 |
CN106713726A (zh) * | 2015-07-14 | 2017-05-24 | 无锡天脉聚源传媒科技有限公司 | 一种识别拍摄方式的方法和装置 |
CN106713726B (zh) * | 2015-07-14 | 2019-11-29 | 无锡天脉聚源传媒科技有限公司 | 一种识别拍摄方式的方法和装置 |
CN107950018A (zh) * | 2015-09-04 | 2018-04-20 | 苹果公司 | 通过焦点栈呈现的逼真浅景深 |
CN111866378A (zh) * | 2020-06-30 | 2020-10-30 | 维沃移动通信有限公司 | 图像处理方法、装置、设备及介质 |
WO2022001648A1 (zh) * | 2020-06-30 | 2022-01-06 | 维沃移动通信有限公司 | 图像处理方法、装置、设备及介质 |
CN111970444A (zh) * | 2020-08-17 | 2020-11-20 | 长安大学 | 一种实现场景内物体远近辨识的方法、系统及机器人 |
CN111970444B (zh) * | 2020-08-17 | 2021-11-23 | 长安大学 | 一种实现场景内物体远近辨识的方法、系统及机器人 |
Also Published As
Publication number | Publication date |
---|---|
JP2013005091A (ja) | 2013-01-07 |
US8885091B2 (en) | 2014-11-11 |
US20120320230A1 (en) | 2012-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102843510A (zh) | 成像装置和距离信息检测方法 | |
CN102843509A (zh) | 图像处理装置和图像处理方法 | |
CN105230001B (zh) | 图像处理设备、处理图像的方法、图像处理程序,以及成像设备 | |
CN102984448B (zh) | 利用颜色数字图像对动作如锐度修改进行控制的方法 | |
JP5178553B2 (ja) | 撮像装置 | |
JP4900014B2 (ja) | 撮像装置及びそのプログラム | |
US7725019B2 (en) | Apparatus and method for deciding in-focus position of imaging lens | |
US20090316016A1 (en) | Image pickup apparatus, control method of image pickup apparatus and image pickup apparatus having function to detect specific subject | |
US7248301B2 (en) | System and method for providing camera focus feedback | |
CN104604215A (zh) | 摄像装置、摄像方法和程序 | |
US8189056B2 (en) | Image capturing apparatus, angle-of-view adjusting method and recording medium | |
CN103384998A (zh) | 摄像装置、摄像方法、程序及程序存储介质 | |
CN104919791A (zh) | 图像处理设备、图像处理方法以及程序 | |
CN104641275B (zh) | 成像控制装置、成像设备和成像控制装置执行的控制方法 | |
US8810665B2 (en) | Imaging device and method to detect distance information for blocks in secondary images by changing block size | |
CN102959942B (zh) | 立体观看用图像拍摄装置及其控制方法 | |
CN111107276A (zh) | 信息处理设备及其控制方法、存储介质以及摄像系统 | |
US8358847B2 (en) | Display apparatus and display method | |
US20120229678A1 (en) | Image reproducing control apparatus | |
JP2009047496A (ja) | 立体撮像装置および立体撮像装置の制御方法並びにプログラム | |
US9094581B2 (en) | Imaging device and distance information detecting method | |
JP2010154306A (ja) | 撮像制御装置、撮像制御プログラム及び撮像制御方法 | |
JP2018163365A (ja) | 画像処理装置 | |
JP3399995B2 (ja) | 映像信号追尾方法及びビデオカメラシステム | |
JP2019087924A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121226 |