附图说明
图1是说明本发明中的基本结构的一例的图。
图2是说明用于判断不存在点光源的一般的被拍摄体中的对比度的强弱的聚焦评价值的一例的图。
图3是说明存在点光源的被拍摄体中的聚焦评价值的一例的图。
图4是说明画面内设定的区域的一例的图。
图5是说明点光源较多的场景中的亮度对应AF控制的一例的图。
图6是表示点光源较多的场景中的亮度对应AF控制的处理流程的一例的图。
图7是表示步骤S602(图6)的区域设定、点光源检测处理的详细流程的一例的图。
图8是说明在光源较少的夜间场景等对比度较低的场景中的AF控制的一例的图。
图9是表示光源较少的夜间场景等对比度较低的场景中的AF控制的处理流程的一例的图。
图10是表示光源较少的夜间场景等对比度较低的场景中的亮度对应AF控制的处理流程的一例的图。
图11是表示将聚焦透镜位置控制在规定的位置后,检测出亮度分布的变化的情况下再次开始透镜控制的处理流程的一例的图。
图12是表示将聚焦透镜控制在规定的位置后,经过了规定时间的情况下再次开始透镜控制的处理流程的一例的图。
图13是表示将聚焦透镜控制在规定的位置后,检测出规定的加速度的情况下再次开始透镜控制的处理流程的一例的图。
图14是表示根据影像信号的亮度分布控制亮度检测部104(图1)中使用检测点光源时使用的第一阈值(阈值1)的处理流程的一例的图。
符号说明
401……外框,402……聚焦评价值计算对象区域,403……分割区域,501……聚焦评价值计算对象区域,502……点光源,503……点光源区域,801……聚焦评价值计算对象区域,802……被拍摄体
具体实施方式
以下,用附图说明本发明的实施方式。
(1)系统结构
此处,对于在点光源数量较多等高亮度像素较多的场景中也可以实现高稳定性的AF控制的单元的系统结构的一例,用附图进行说明。
图1是说明本发明中的基本结构的一例的图。摄像部101适当使用以下部件来构成:调整来自被拍摄体的入射光的光量的光圈D101、用于调整通过该光圈的光的焦点的聚焦透镜D102、对通过该聚焦透镜的光进行光电变换成为图像信号输出的摄像元件D103。
区域设定部102根据来自系统控制部108的命令,以任意的大小、位置设定计算聚焦评价值的对象的区域。分割区域设定部103根据来自系统控制部108的命令,在区域设定部102设定的区域内以任意的大小和纵横任意的数量设置区域。亮度检测部104根据来自系统控制部108的命令,按照分割区域设定部103设定的每个区域检测有无点光源。评价值计算部105根据来自系统控制部108的命令,使用从亮度检测部104得到的信息,使用从聚焦评价值计算区域中排除了存在点光源的区域的区域的图像信号计算聚焦评价值。聚焦评价值例如是用于检测指定区域的图像信号的轮廓部分的强度的按图像信号的每一线对高频成分积分而得的信号。
图像处理部106根据来自系统控制部108的命令,对图像信号进行噪声除去、伽马修正、轮廓强调、滤镜处理、变焦处理、手抖修正、图像识别等图像信号处理,和变换为TV和存储器等输出设备的信号格式的输出接口处理。输出接口处理,例如是变换为NTSC或PAL的视频输出,例如是变换为HDMI信号,例如是变换为用于网络传输的规定的信号。外部装置107,例如是用于保存各种设定的EEPROM(Electrically Erasable Programmable Read-Only Memory:电可擦可编程只读存储器)、角速度传感器和加速度传感器等各种传感器、闪存等外部装置。系统控制部108适当控制摄像部101、区域设定部102、区域分割部103、亮度检测部104、评价值计算部105、图像处理部106和外部装置107。
AF部109表示AF控制所需的模块组。通过以上结构,亮度检测部104确定存在点光源的区域,评价值计算部105能够使用确定结果从聚焦评价值计算对象区域中排除存在点光源的区域而计算聚焦评价值,所以在存在点光源的场景中也能够精度良好地实现AF。进而,系统控制部108在由亮度检测部104检测出的点光源区域的总面积超过规定面积的情况下,控制聚焦透镜移动到规定位置,由此在高亮度像素较多的场景中也能够实现稳定的AF控制。
(2)关于聚焦评价值的计算
图2是说明用于判定不存在点光源的一般被拍摄体中的对比度的强弱的聚焦评价值的一例的图。横轴表示聚焦透镜的位置,纵轴表示聚焦评价值。以下将焦点在被拍摄体上聚焦的聚焦透镜位置称为聚焦点。一般被拍摄体中,聚焦透镜越接近聚焦点则轮廓部分越强,所以聚焦评价值的水平增加,越远离则轮廓部分越弱、聚焦评价值减少。因此,通过控制聚焦透镜移动到聚焦评价值的峰值位置,能够正确地在被拍摄体上聚焦。
图3是说明存在点光源的被拍摄体中的聚焦评价值的一例的图。本来的聚焦点是图(A)所示的聚焦透镜位置,但图3中(A)位置的聚焦评价值不是峰值。这是因为,点光源越远离聚焦点则越是模糊而显得较大,所以距离聚焦点越远则轮廓部分越强,结果聚焦评价值与聚焦点相比成为更大的值。因此,对于存在点光源的被拍摄体进行使聚焦透镜移动至聚焦评价值最大的位置的现有的AF控制时,将(B)的伪聚焦点作为聚焦点而使聚焦透镜停止。伪聚焦点在本实施例中,指的是虽然不是本来的聚焦点,但用AF控制使聚焦透镜停止的聚焦透镜位置。因为聚焦透镜在伪聚焦点上停止,所以会发生所谓虚焦。
图4是说明画面内设定的聚焦评价值计算对象区域和分割区域的一例的图。401所示的最外侧的框表示画面的外框。402所示的框是聚焦评价值计算对象区域,该区域为了防止不在要聚焦的被拍摄体而是在背景上聚焦的所谓焦点后移,而优选设定为比画面小,但也可以是与画面的外框相同大小或者其以上的大小。403表示在402的框内由分割区域设定部103设定的区域之一。本实施例中,以将402的框纵横分割为八部分的情况为例说明。其中,分割数量不限于此,可以进行各种变更,例如,如果使分割数量与402的框内的像素相同,则能够以像素单位实现点光源的检测。其中,用硬件实现分割区域设定部103的情况下,分割数量过多时硬件成本增加,为了提高性能可以增加分割数量,为了削减处理成本可以减少分割数量。
(3)点光源较多的场景中的亮度对应AF控制
用图5和图6说明点光源较多的场景中的亮度对应AF控制。图5是说明点光源较多的场景中的亮度对应AF控制的一例的图。501所示的框与402的框同样,是画面内设定的聚焦评价值计算对象区域。502表示501的框内存在的点光源。该状态下,由分割区域设定部103分割后的区域中,由亮度检测部104判定为存在点光源的区域,例如如503的阴影所示。
图6是表示点光源较多的场景中的亮度对应AF控制的处理流程的一例的图。图6的处理由系统控制部108执行。本方法中,在区域设定部102设定的聚焦评价值计算对象区域内,分割区域设定部103设定任意数量的区域,亮度检测部104判断各区域内有无点光源,在判定为存在点光源的区域的面积大于预先设定的规定阈值的情况下,控制聚焦透镜的位置移动到规定位置。AF控制开始时,在步骤S601中,系统控制部108取得聚焦评价值计算对象区域内设定的分割区域的数量。此时,对于区域的数量,可以在EEPROM(外部装置107)等中分别保存纵方向和横方向的值,可以使用该值,也可以使用常数。此外,将画面内设定的分割区域的总数保存为n0。在步骤S602中,系统控制部108命令区域设定部102和分割区域设定部103在画面内例如如图4所示设定区域,命令亮度检测部104对设定的每个分割区域检测有无点光源。步骤S602的处理的详情在后文中叙述。在步骤S603中,系统控制部108从亮度检测部104取得与存在点光源的区域相关的信息。此时,将存在点光源的区域数量保存为n1。
在步骤S604中,对取得的存在点光源的区域数量n1与阈值进行比较,n1较大的情况下,认为从聚焦评价值计算对象区域中排除的区域较多,不能得到AF控制所需的充分的聚焦评价值,转移到步骤S605。此时,阈值可以在EEPROM等中保存值,使用该值。此外,也可以不比较区域数n1,而是对用n1计算的高亮度像素数与阈值进行比较。在步骤S605中,控制聚焦透镜移动到规定位置(d0),结束处理。此时,规定位置可以使用EEPROM等中预先设定的值。例如,在很少有被拍摄体存在于非常近的距离的环境中使用本图像信号处理装置的情况下,将焦点在距离装置数米的位置上聚焦的聚焦透镜位置作为d0等,能够根据环境调整d0的值即可。
在步骤S604中判定n1为阈值以下的情况下,认为即使从聚焦评价值计算对象区域中排除高亮度区域,也可以得到AF控制所需的充分的聚焦评价值,转移到步骤S606。在步骤S606中,系统控制部108命令将步骤S603中得到的点光源存在区域信息设定到评价值计算部105,从聚焦评价值计算对象中排除存在点光源的区域而计算聚焦评价值。在步骤S607中,用步骤S606中计算出的聚焦评价值按一定量控制聚焦透镜。在步骤S608中,判定聚焦透镜是否位于聚焦点,位于聚焦点的情况下结束处理。不在聚焦点的情况下,返回步骤S602,进行一系列处理。其中S608的判定中,判断未聚焦的情况下,控制不转移到步骤S602而是转移到步骤S603时,因为直到聚焦为止计算聚焦评价值的对象区域的数量都是一定的,所以聚焦透镜的控制开始后,直到聚焦透镜在聚焦点上停止,都能够得到如图2所示的稳定的高精度的聚焦评价值。是重视对场景变化的追踪性而转移到步骤S602、还是重视聚焦评价值的稳定性而转移到步骤S603,根据使用本图像信号处理装置的环境决定即可。
本实施例中,在从聚焦评价值计算对象中排除存在点光源的区域的亮度对应AF控制中,排除的对象区域增大、不能够得到AF控制所需的充分的聚焦评价值的情况下,能够通过将聚焦透镜控制在规定的位置而防止AF控制不稳定。通过以上处理,在点光源较多的场景中也能够实现稳定的亮度对应AF控制。
其中,本实施例中,表示了存在点光源的区域n1大于阈值时,立刻转移到步骤S605的例子,但也可以在该阶段返回步骤S602,以增大区域设定或增加分割数量,由此减小存在点光源的区域相对于聚焦评价值计算对象区域的比例的方式进行处理后,在该处理后仍未达到阈值以下的情况下,再转移到步骤S605。此外,此处使用的阈值不限于预先设定的区域的数量,也可以将相对于聚焦评价值计算对象区域可容许的存在点光源的区域的比例、或可容许的点光源的总面积用作阈值,能够进行各种设定。
图7是表示步骤S602的区域设定、点光源检测处理的详细流程的一例的图。在步骤S701中,区域设定部102在画面内使用由系统控制部108设定的信息,例如如图4所示设定区域。在步骤S702中,亮度检测部104按每个像素将信号电平与阈值1进行比较,如果值大于阈值1则判定该像素是点光源的一部分,在步骤S703中使高亮度像素计数器加1。此时,高亮度像素计数器可以按步骤S701中设定的每个区域准备,使各像素所属区域的高亮度像素计数器增加。在步骤S702中,如果信号电平小于阈值1则进行步骤S704的判定。在步骤S704中,亮度检测部104判定是否对步骤S701中设定的所有区域的像素进行了步骤S702的判定,未完成的情况下返回步骤S702,进行一系列处理。对于所有像素完成了判定的情况下,前进到步骤S705。在步骤S705中,亮度检测部104将每个区域的高亮度像素计数器的值与阈值2的值进行比较,如果计数器的值大于阈值2则前进到步骤S706。在步骤S706中,亮度检测部104判定关注区域中存在点光源。在步骤S705中,如果计数器的值小于阈值2,则前进到步骤S707。步骤S707中,亮度检测部104判定是否对所有区域都进行了步骤S705的判定,尚未完成的情况下返回步骤S705,进行一系列处理。对于所有区域完成了判定的情况下结束处理。其中,上述阈值1和上述阈值2可以在EEPROM(外部装置107)等中保存值,使用该值。此外,在步骤S702的判定中,也可以不仅对关注像素的信号电平与阈值1进行比较,而是将与周边像素加权平均计算的值与阈值1进行比较。由此,能够减轻损伤或噪声的影响。本实施例中,设想用硬件进行图7的处理,但也可以用软件进行。根据以上处理,能够按每个区域判定有无点光源,确定存在点光源的区域。
(4)计算出对于精度良好的AF控制不充分的聚焦评价值的情况下的AF控制
用图8、图9、图10说明计算出对于精度良好的AF控制不充分的聚焦评价值的情况下的AF控制。
图8是说明光源较少的夜间场景等对比度较低的场景中的AF控制的一例。801所示的框与402的框同样,是画面内设定的聚焦评价值计算对象区域。802是被拍摄体,设想为夜间等对比度较低的场景。如图8所示的对比度较低的场景中,难以得到对于精度良好的AF控制充分的聚焦评价值,结果聚焦透镜控制变得不稳定。
图9是表示光源较少的夜间场景等对比度较低的场景中的AF控制处理流程的一例的图。图9的处理由系统控制部108执行。本方法中,使用区域设定部102设定的聚焦评价值计算对象区域内的信号计算聚焦评价值,计算的聚焦评价值小于阈值的情况下控制聚焦透镜移动到规定位置。开始AF控制时,在步骤S901中,系统控制部108取得聚焦评价值计算对象区域设定的位置和大小。此时,区域的位置和大小可以在EEPROM(外部装置107)等中保存值,使用该值,也可以使用常数。在步骤S902中,系统控制部108命令区域设定部102在画面内设定聚焦评价值计算对象区域。在步骤S903中,系统控制部108命令使用聚焦评价值计算对象区域的信号计算聚焦评价值。在步骤S904中,对步骤S903中计算的聚焦评价值与阈值进行比较,在评价值较小的情况下转移到步骤S905。此时,阈值可以在EEPROM等中保存值,使用该值。在步骤S905中,控制聚焦透镜移动到规定位置(d0),结束处理。此时,规定位置可以使用EEPROM等中预先设定的值。例如,在很少有被拍摄体存在于非常近的距离的环境中使用本图像信号处理装置的情况下,将焦点在距离装置数米的位置上聚焦的聚焦透镜位置作为d0等,能够根据环境调整d0的值即可。步骤S904中判定评价值在阈值以上的情况下,转移到步骤S906。步骤S906、步骤S907的处理与步骤S607、步骤S608同样,所以省略。本实施例中,在被拍摄体的对比度较低的情况等不能得到对于精度良好的AF控制充分的聚焦评价值的情况下,通过控制聚焦透镜移动到规定位置,能够防止AF控制变得不稳定。通过以上处理,在对比度较低的场景中也能够实现稳定的AF控制。
图10是表示光源较少的夜间场景等对比度较低的场景中的亮度对应AF控制的处理流程的一例。图10的处理由系统控制部108执行。本方法中,在区域设定部102设定的聚焦评价值计算对象区域内,分割区域设定部103设定任意数量的区域,亮度检测部104判定各区域内有无点光源,评价值计算部105从聚焦评价值计算对象中排除判定为存在点光源的区域而计算聚焦评价值,计算的聚焦评价值小于阈值的情况下控制聚焦透镜移动到规定位置。步骤S1001至步骤S1003中,进行与步骤S601至步骤S603同样的处理。在步骤S1004中,系统控制部108命令将步骤S1003中得到的点光源存在区域信息设定到评价值计算部105,从聚焦评价值计算对象中排除存在点光源的区域而计算亮度对应聚焦评价值。在步骤S1005中,对步骤S1004中计算出的亮度对应聚焦评价值与阈值进行比较,评价值较小的情况下转移到步骤S1006。此时,阈值可以在EEPROM等中保存值,使用该值。在步骤S1006中,控制聚焦透镜移动到规定的位置(d0),结束处理。此时,规定位置可以使用EEPROM等中预先设定的值。例如,在很少有被拍摄体存在于非常近的距离的环境中使用本图像信号处理装置的情况下,将焦点在距离装置数米的位置上聚焦的聚焦透镜位置作为d0等,能够根据环境调整d0的值即可。在步骤S1005中判定评价值在阈值以上的情况下,转移到步骤S1007。步骤S1007、步骤S1008的处理与步骤S607、S608同样,所以省略。本实施例中,被拍摄体的对比度较低的情况等不能得到对于精度良好的亮度对应AF控制充分的聚焦评价值的情况下,通过控制聚焦透镜移动到规定位置,能够防止亮度对应AF控制变得不稳定。通过以上处理,在对比度较低的场景中也能够实现稳定的亮度对应AF控制。
(5)聚焦透镜移动控制后再次开始透镜控制的时刻
用图11、图12和图13说明在步骤S605、步骤S905和步骤S1006中控制聚焦透镜移动到规定位置后在规定的时刻再次开始聚焦透镜控制的处理。图11和图12的处理在控制聚焦透镜移动到规定位置后,在规定的时刻反复进行直到聚焦透镜控制再次开始。
图11是表示控制聚焦透镜移动到规定位置后,检测到亮度分布变化的情况下再次开始透镜控制的处理流程的一例的图。图11的处理由系统控制部108执行。在步骤S1101中,系统控制部108例如从图像处理部106具有的亮度分布检测部取得影像信号的亮度分布信息y0。亮度分布信息例如是聚焦评价值计算对象区域内的像素的平均亮度。在步骤S1102中,对当前的亮度分布信息y0与上次的亮度分布信息y1进行比较,如果y0与y1存在规定值以上的差,则认为亮度分布已变化,转移到步骤S1103。在步骤S1103中,系统控制部108再次开始聚焦透镜的控制。在步骤S1104中,将y0保存到y1。在步骤S1102中,y0与y1没有规定值以上的差的情况下,转移到步骤S1104。本实施例中,即使在为了不使聚焦透镜控制不稳定而控制聚焦透镜移动到规定位置之后,也能够检测被拍摄体变化等情况下的要再次开始聚焦透镜控制的时刻,在适当的时刻再次开始聚焦透镜控制。由此,能够防止陷入聚焦透镜位置总是固定的状态。通过以上处理,聚焦透镜的控制不会变得不稳定,并且能够实现适当的AF控制。
图12是表示控制聚焦透镜移动到规定位置后,经过规定时间的情况下再次开始透镜控制的处理流程的一例的图。图12的处理由系统控制部108执行。在步骤S605、步骤S905和步骤S1006中,与控制聚焦透镜移动到规定位置同时开始计时器计数。在步骤S1201中,取得当前的计时器计数值t0。在步骤S1202中,在t0大于规定值的情况下转移到步骤S1203。在步骤S1203中,系统控制部108再次开始聚焦透镜的控制。在步骤S1202中,t0是规定值以下的情况下结束处理。本实施例中,即使在为了不使聚焦透镜控制不稳定而控制聚焦透镜移动到规定位置之后,也可以通过在经过规定时间后再次开始聚焦透镜控制,而防止陷入聚焦透镜位置总是固定的状态。通过以上处理,聚焦透镜的控制不会变得不稳定,并且能够实现适当的AF控制。
图13是表示在控制聚焦透镜移动到规定位置后,从作为外部装置107具备的加速度传感器得到的加速度超过规定的值的情况下再次开始透镜控制的处理流程的一例的图。图13的处理由系统控制部108执行。在步骤S1301中,系统控制部108从加速度传感器取得加速度信息。在步骤S1302中,对步骤S1301中取得的加速度信息与阈值进行比较,取得的加速度信息小于阈值的情况下结束处理。取得的加速度信息在阈值以上的情况下转移到步骤S1303。在步骤S1303中,系统控制部108再次开始聚焦透镜的控制。本实施例中,即使在为了不使聚焦透镜控制不稳定而控制聚焦透镜移动到规定位置之后,也可以通过在加速度传感器检测到规定的加速度的情况下再次开始聚焦透镜控制,而防止陷入聚焦透镜位置总是固定的状态。通过以上处理,聚焦透镜的控制不会变得不稳定,并且能够实现适当的AF控制。
(6)基于影像信号的亮度分布的阈值控制
图14是根据影像信号的亮度分布控制亮度检测部104中检测点光源时使用的第一阈值(阈值1)的处理流程的一例的图。图14的处理由系统控制部108执行。步骤S1401是与步骤S701同样的处理。在步骤S1402中,系统控制部108例如从图像处理部106具有的亮度分布检测部取得影像信号的亮度分布信息。亮度分布信息例如是聚焦评价值计算对象区域内的像素的平均亮度。在步骤S1403中,根据步骤S1402中取得的亮度分布信息计算阈值1。此时,可以在EEPROM等中预先保存亮度分布信息与阈值1的对应表,使用该表决定阈值1,也可以保存根据亮度分布信息计算阈值1的函数式并使用该式。使用函数式的情况下,能够使用非近似值的正确的值,并且与保存表的方法相比能够削减保存的数据。步骤S1404之后的处理与步骤S702的处理同样。本实施例中,在整体较暗的场景中存在点光源的情况、和通常亮度的场景中存在较强点光源的情况中,动态地变更检测点光源的阈值,所以能够防止将不是点光源的被拍摄体误检测为点光源、或者不能够检测较暗场景中存在的较弱的点光源。根据以上处理,能够实现适当的亮度对应AF控制。
其中,本发明不限定于上述实施例,包括各种变形例。例如,也可以是各阈值和控制移动的规定位置根据用户选择的摄像模式切换的结构。此外,例如,上述实施例是为了易于理解地说明本发明而详细说明的,并不限定于必须具备说明的所有结构。此外,能够将某个实施例的结构的一部分置换为其他实施例的结构,或者在某个实施例的结构上添加其他实施例的结构。此外,对于各实施例的结构的一部分,能够追加、删除、置换其他结构。
此外,上述各结构的一部分或全部,可以用硬件构成,也可以构成为通过用处理器执行程序而实现。此外,控制线和信息线表示了认为说明上必要的,并不一定表示了产品上所有的控制线和信息线。实际上也可以认为几乎所有结构都相互连接。