CN1756309A - 图像捕获设备及控制方法、使计算机执行该方法的程序、图像处理设备 - Google Patents
图像捕获设备及控制方法、使计算机执行该方法的程序、图像处理设备 Download PDFInfo
- Publication number
- CN1756309A CN1756309A CNA2005101070483A CN200510107048A CN1756309A CN 1756309 A CN1756309 A CN 1756309A CN A2005101070483 A CNA2005101070483 A CN A2005101070483A CN 200510107048 A CN200510107048 A CN 200510107048A CN 1756309 A CN1756309 A CN 1756309A
- Authority
- CN
- China
- Prior art keywords
- picture signal
- image
- target area
- signal
- processing equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims description 28
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 description 132
- 238000005375 photometry Methods 0.000 description 20
- 238000001914 filtration Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
一种具有在第一图像信号上执行检测处理以检测对象的特定目标区域的功能的图像处理设备，其包括：基于第一图像信号产生不同于第一图像信号的第二图像信号的图像信号产生单元；在第一和第二图像信号上执行检测处理以检测对象的特定目标区域的目标区域检测单元；和，选择从第一或第二图像信号检测目标区域的结果的控制单元。
Description
技术领域
本发明涉及诸如数码相机和数字视频摄像机的图像捕获设备、图像处理设备，和控制图像捕获设备的方法。这些图像捕获设备和图像处理设备具有检测对象的预定区域的功能。
背景技术
在已知的图像捕获设备中，已经建议了自动检测对象的摄制图像的预定区域并在所检测的区域上执行各种处理的技术。
在日本专利公开No.2003-107335中公开了在对象的检测的面部区域上执行自动聚焦(下文称作AF)然后拍摄图像的技术。还公开了基于所检测的面部区域的亮度值以恰当地调制面部区域来执行自动曝光(下文，称作AE)，然后拍摄图像的技术。
图9是显示包括面部检测模块的已知数码相机的拍摄操作的流程图。
该数码相机在通过面部检测模块检测的面部区域上执行最佳AF和AE。
在步骤S221，数码相机中的CPU检测到拍摄人员半按快门按钮，即开关SW1被打开。在步骤S222，CPU确定电取景器(下文称作EVF)显示器是否被打开。当CPU确定EVF显示器被打开时，处理继续到步骤S223。当CPU确定EVF显示器被关闭时，处理继续到步骤S224。
当EVF显示器被打开时，在步骤S223，AE-控制电路设置光圈值(下文称作Av)、快门速度(下文称作Tv)和模拟增益(下文称作Sv)以获得用于检测面部的图像。这些在刚好开关SW1打开之前获得要显示在EVF上的图像时确定的值被使用。
在EVF显示器被关闭的情况下，在开关SW1被打开之后，在步骤S224，AE控制电路在预设的曝光条件：Av、Tv和Sv下执行预拍摄。
在步骤S225，AE控制电路基于在步骤S224由预拍摄获得的图像信号重新设置Av、Tv和Sv以拍摄用于检测面部的图像。
在步骤S226，AE控制电路使用在步骤S223或S225中设置的Av、Tv和Sv拍摄第一图像。
在步骤S227，CPU输入在步骤S226获得的第一图像的信号到面部检测电路以获得有关面部的数据，例如，面部区域的坐标和面部检测的可靠性。当在步骤S227检测到面部区域时，在步骤S229，CPU为在步骤S227检测的面部区域设置测光帧和聚焦帧。另一方面，当在步骤S227中没有检测到面部区域时，在步骤S230，CPU输出面部检测失败的消息并在预定区域上设置测光帧和聚焦帧。
在步骤S231，AF控制电路基于在步骤S229或S230内设置的聚焦帧内的图像信号执行自动聚焦。
在步骤S232，CPU拍摄第二图像以获得实际拍摄的曝光条件作为完成自动聚焦的时间。
在步骤S233，AE控制电路通过执行计算设置用于实际拍摄的Av、Tv和Sv，以便测光帧亮度值的加权基于第二图像的信号增加。通过在EVF上显示测光帧来通知拍摄人员自动曝光完成。
当拍摄人员在步骤S234完全按下快门按钮，即，开关SW2被打开时，在步骤S235，CPU使用在步骤S233设置的Av、Tv和Sv执行实际拍摄。
在步骤S236，CPU从实际拍摄图像的信号中提取亮度信号、色彩信号等。图像转换电路将这些信号转换成通用图像信号，例如，遵循JPEG压缩格式压缩的图像信号。
在步骤S237，CPU将在步骤S236中转换的图像信号记录在记录介质上。
下面，简单描述在通用面部检测模块中面部检测的典型算法。
在图11A所示的垂直方向和图11B所示的水平方向上，首先在经过面部检测的图像信号上执行让特定频带内的信号通过的带通滤波，以便检测在该图像信号中的边缘成分。
然后，在所检测的边缘成分上执行模式匹配以提取描述面部特征部分例如，眼睛、鼻子、嘴和耳朵的图像数据。
在所提取的最可能相应于眼睛图像数据中，选择那些满足预定条件的数据，例如在眼睛之间的距离和每只眼睛的倾斜度作为最可能相应于眼睛的图像数据的有效组合。
建立所选择的最可能相应于眼睛的图像数据的有效组合与构成面部的各部分例如鼻子、嘴和耳朵的相应图像数据之间的关联，并使用预定的条件过滤这些图像数据以滤除不同于面部区域的图像数据，从而检测面部区域。
这些预定的滤波条件与最可能相应于面部区域的图像数据进行比较，以在该比较不满足预定估计值时确定这些图像数据不是面部区域的数据。
然而，已知的具有面部检测功能的图像捕获设备可能偶尔不能检测到面部区域，尤其是在如图10所示的背光情况下。这是因为，既使在整个图像信号上曝光恰当的情况下，基于作为对象的面部的大小、位置等应该作为主要对象的面部区域的曝光也可能不充分或过度。
而且，当所检测的面部的大小过分大于或小于在模式匹配中使用的预定模式时，检测面部区域的精确度可能降低。这样，就不能检测到面部。
而且，在基于经过面部检测的图像信号检测双眼的面部检测模块中，在水平和垂直方向上执行代带通滤波。当相对于带通滤波一个方向的面部的倾斜度值没有落入±15°范围内时，面部检测的精确度可能明显降低。
在上面描述的操作流程中，当在步骤S227中面部检测失败时，在步骤S230显示指示失败的消息。这样，用户可以看到该消息并可以重新尝试面部检测。具体来说，开关SW1需要首先被关闭，并在根据对象的亮度、大小和倾斜度改变布局之后再次打开。
在实际拍摄中，在按压图像捕获设备的快门的时间和捕获到图像时的时间之间的时间段(下文称作快门时间滞后)应该是短的。但是，当由于上述原因而自动检测主要对象失败时，需要重复检测主要对象，从而延长了快门时间滞后。
因此，自动检测主要对象的精确度需要提高，而不管主要对象的条件如何，这些条件包括例如主要对象的大小和倾斜度。
发明内容
本发明考虑上面的情况来做出，并且通过在经受面部检测的图像信号上执行图像处理以获得不同的图像信号，然后在获得的不同图像信号上执行面部检测，从而提高面部检测的精确度。
根据本发明，具有在第一图像信号上执行检测处理来检测对象的特定目标区域的功能的图像处理设备包括：基于第一图像信号产生不同于第一图像信号的第二图像信号的图像信号产生单元；在第一和第二图像信号上执行检测处理以检测对象的特定目标区域的目标区域检测单元；和，从第一或第二图像信号选择检测目标区域的结果的控制单元。
参考附图从下面描述的典型实施例中，本发明的其它特征将变得明显。
附图说明
包含在说明书并构成其一部分的附图显示了本发明的实施例，并与说明书一起用来解释本发明的原理。
图1是根据第一实施例的图像捕获设备的框图。
图2是显示根据第一实施例的处理的流程图。
图3是显示动态范围扩展的视图。
图4是显示根据第二实施例的处理的流程图。
图5是根据第三实施例的图像捕获设备的框图。
图6是显示根据第三实施例处理的流程图。
图7是根据第四实施例的图像捕获设备的框图。
图8是显示根据第四实施例的处理的流程图。
图9是显示已知处理的流程图。
图10是显示背光情形的视图。
图11A和11B是显示带通滤波的视图。
具体实施方式
将根据附图详细描述本发明的优选实施例。
第一实施例
图1显示了根据本发明第一实施例的图像捕获设备的结构。
图像捕获设备包括具有光电转换功能并用作固态图像检测设备的CCD 1、控制CCD 1输出的模拟增益的自动增益控制(AGC)电路2、将AGC电路2输出的信号转换成数字图像信号的模数转换器(下文称作AD转换器)和在CCD 1上形成对象的图像的光学单元23。固态图像检测设备并不局限于CCD，可以是具有例如光电转换功能的任何类型的元件，例如，CMOS。
该图像捕获设备进一步包括存储来自AD转换器的输出的缓冲存储器3和通过对存储在缓冲存储器3中的图像信号应用预定的数字增益，即，通过执行亮度级校正和伽马调制来产生不同于存储在缓冲存储器3中的图像信号的图像信号产生电路4。AGC 2和AD转换器14可以认为是将图像检测设备(CCD 1)的输出信号转换成第一图像信号的图像转换单元，其中图像信号产生电路4基于第一图像信号产生不同于第一图像信号的第二图像信号。
该图像捕获设备进一步包括从存储在缓冲存储器3中的信号获得UV信号(色差信号)的色彩转换电路5和限制色彩转换电路5的输出信号的带宽的低通滤波器6。
该图像捕获设备进一步包括抑制相应于由低通滤波器6滤波的信号的色饱和区域内的色差增益的色度抑制电路7。
该图像捕获设备进一步包括从存储在缓冲存储器3中的信号获得Y信号(亮度信号)的亮度信号产生电路12，和检测亮度信号产生电路12的输出中的边缘成分的边界检测电路13。
该图像捕获设备进一步包括将UV信号和Y信号转换成RGB信号的RGB转换电路，其中，所述UV信号为色度抑制电路7的输出信号，所述Y信号为边界检测电路13的输出信号；并且包括对RGB转换电路8的输出信号执行伽马校正的伽马校正电路9。
该图像捕获设备进一步包括将伽马转换电路9的输出信号转换成YUV信号的色彩/亮度转换电路10，和将色彩/亮度转换电路10的输出信号转换成通用图像信号，例如遵循JPEG压缩格式压缩的图像信号的图像转换电路11。
该图像捕获设备进一步包括基于图像信号的频率特征检测纹理的带通滤波器15，和基于由带通滤波器15检测的纹理来检测对象的预定形状的特征检测电路16。在该实施例中，特征检测电路16检测可能相应于描述面部特征的部分，例如，眼睛、鼻子、嘴和耳朵的图像。该图像捕获设备进一步包括在可能相应于眼睛部分的检测图像与可能相应于形成面部的其它主要部分的检测图像之间建立关联的模式识别电路17。
在该实施例中，带通滤波器15、特征检测电路16和模式识别电路17构成了检测人的面部的面部检测块。然而，检测的物体并不必须是人的面部。可以检测动物、植物、车辆、建筑物等，而不是面部，只要该物体可以通过其形状进行识别就可以。面部检测块是对图像信号执行检测处理以检测对象的特定目标的目标区域检测单元的一个例子。
该图像捕获设备进一步包括基于模式识别电路17的输出计算控制照相机所需的参数的CPU 18。例如，可以基于检测目标区域的结果来控制自动曝光控制和/或自动聚焦控制。
模式识别电路17可以基于例如每个眼睛的大小、眼睛之间的距离和皮肤的颜色使用用于滤除对象的滤波条件，这些对象具有不被认为是面部特征的单元。
该图像捕获设备进一步包括AE控制电路19。AE控制电路19基于CPU 18的输出执行AE控制，基于输出的图像信号确定Av、Tv和Sv，并控制光圈单元(没有示出)、CCD 1的驱动单元和AGC电路2。该图像捕获设备进一步包括基于CPU 18的输出执行AF控制并确定包括在光学单元23中的聚焦透镜的停止位置的AF控制电路20。
该图像捕获设备进一步包括含有当半按快门按钮时打开的开关SW1和当完全按下快门按钮时打开的开关SW2的操作单元24。
下面，根据图2的流程图描述根据第一实施例的图像捕获设备的拍摄操作。
当拍摄人员在步骤S101半按快门按钮时，即，开关SW1被打开，在步骤S102，AE控制电路19设置基于在刚好打开开关SW1之前拍摄EVF图像时的曝光条件所计算的Av、Tv和Sv。
在步骤S103，AE控制电路19基于所设置的Av、Tv和Sv控制光圈单元(没有示出)、CCD 1的驱动单元和AGC电路2，以便拍摄第一图像并暂时将第一图像的第一图像信号存储在缓冲存储器3中。
在步骤S104，图像信号产生电路4设置数字增益，如下所述那样。
在步骤S105，图像信号产生电路4将在步骤S104中设置的数字增益应用到在步骤S103获得的第一图像信号，以获得具有不同于第一图像信号的亮度级的第二和第三图像信号。
在步骤S106，包括带通滤波器15、特征检测电路16和模式识别电路17的面部检测块基于第一到第三图像信号寻求检测面部区域。
根据该实施例检测面部区域的典型方法与已知方法相同。在该方法中，通过特征点提取检测可能相应于描述面部特征例如，眼睛、鼻子、嘴、和耳朵的部分的图像。基于检测的结果，通过使用预定的条件进行模式匹配和滤波来提取面部区域的图像。然而，检测面部区域的方法并不局限于该方法，可以采用其它的方法，例如在日本专利公开No.11-283036和2003-271958中公开的方法。
当在步骤S106检测到面部区域时，在步骤S107，CPU18设置用于所检测的面部区域的测光帧和聚焦帧，这些帧将经受自动曝光和聚焦。
当仅仅在第一到第三图像信号中的一个中检测到面部区域时，CPU 18基于从这些相应图像信号获得的面部区域检测的结果设置测光帧和聚焦帧。
当在第一到第三图像信号的多于一个中检测到面部区域时，CPU18在最大的检测面部区域上设置测光帧和聚焦帧。
可选地，CPU 18可以在其中面部区域检测结果的可靠性最高的面部区域上设置测光帧和聚焦帧。
在步骤S108，AF控制电路20驱动光学单元23来执行自动聚焦，以便在步骤S107中设置的聚焦帧内的图像在焦点上。
在步骤S109，在步骤S108中确定光学单元23的位置之后，拍摄第四图像以获得用于实际拍摄的精确曝光值。
在步骤S110，AE控制电路19通过执行计算确定用于实际拍摄的Av、Tv和Sv，以便在步骤S109中拍摄的第四图像的测光帧内的信号的亮度值的加权增加。
当在步骤S106中没检测到面部区域或所检测到的面部区域的可靠性低于预定的门限值时，处理继续到步骤S115。在步骤S115，CPU18输出面部区域检测失败的消息，并且AE控制电路19在第二图像信号上执行常规估计测光，常规估计测光是没有考虑面部区域的测光。具体来说，图像的中间区域的加权可以增加，并且可以确定整个图像的亮度值。可选地，可以增加附近对象的区域的加权，并可以确定整个图像的亮度值。测光方法并不局限于估计测光。
在步骤S116，AE控制电路19基于在步骤S115估计测光中获得的值确定用于实际拍摄的Av、Tv和Sv，并且处理继续到步骤S111。
当在步骤S111拍摄人员将快门完全按下时，即，开关SW2被打开时，在步骤S112，AE控制电路19基于在步骤S110或S116中设置的Av、Tv和Sv控制光圈单元、CCD 1的驱动单元和AGC电路2来执行实际的拍摄。
在步骤S113，所获得的信号被AD转换器14转换成图像信号，被发送到例如色彩转换电路5的信号处理电路，并最终被图像转换电路11转换成通用图像信号，例如遵循JPEG压缩格式压缩的图像信号。
在步骤S114，CPU 18将在步骤S113获得的压缩图像信号记录在记录介质上。
现在将详细描述步骤S103和S105中的处理。图3显示了基于CCD 1的光学输入的输出信号的特征。
在根据第一实施例的图像捕获设备中，由带通滤波器15对经受面部检测的图像信号执行滤波作为在面部检测之前的处理，以便检测可能相应于面部特征，例如眼睛、鼻子、嘴和耳朵的图像信号。
当面部区域过暗或过亮时，带通滤波器15检测面部特征的速率明显降低，从而检测面部区域的精确度降低。
因此，在步骤S103，在AE控制电路19的控制下拍摄第一图像，以便将第一图像的亮度级调整到例如低于合适的亮度级一级(-1EV)，即，目标亮度级。
在步骤S105，图像信号产生电路4通过以放大因子2对第一图像信号进行数字放大来产生具有合适亮度级(±0EV)的第二图像信号。同时，图像信号产生电路4通过以放大因子4对第一图像信号进行数字放大来产生具有高于该合适亮度级一级的亮度级(+1EV)的第三图像信号。
如上所述，通过以不同的放大因子数字地放大相同帧的图像信号来获得具有不同亮度级的多个图像信号片断。这样，可以在具有不同亮度级的多个图像信号片断上执行面部区域检测。
如上所述，在该实施例中，由于具有不同亮度级的两个图像信号片断是从一个图像信号片断中产生的，所以获得具有适合于检测面部区域的亮度级的图像的可能性增加。这样，可以减少由于待拍摄场景的状态，例如背光场景而导致面部检测精确度降低。
在该实施例中，产生具有亮度级-1EV、±0EV和+1EV的三个图像信号片断。可选地，可以产生具有亮度级-2EV、±0EV和+2EV的三个图像信号片断。这可选地，可以产生五个或七个具有不同亮度级的图像信号片断。其它数量的片断也是可以的。
在该实施例中，使用低于在先前拍摄中使用的亮度级的电平拍摄第一图像，这是因为与具有不充足亮度级的图像信号相比，由于数码相机的特点，基于具有过高亮度级的图像信号识别形状趋于困难。
而且，第一图像信号可能具有合适的亮度级，并且可以基于第一图像信号产生具有不足亮度级的图像信号和具有过度亮度级的图像信号。
而且，在该实施例中，在自动曝光和自动聚焦中均使用面部区域检测的结果。替代地，可在自动曝光或自动聚焦中使用所述结果。
第二实施例
将根据图4的流程图描述根据第二实施例的操作。与图2中相同的参考标记用来指代图4中相应的步骤。
在第一实施例中，一次产生多个具有不同亮度级的图像信号片断，并在所有这些图像信号片断上执行面部区域检测。相反，在第二实施例中，当从任何图像信号片断中检测到面部区域时，就完成处理。
图4中从步骤S101到S103的处理流和从步骤S107到S114的处理流与图2中的相同，而其它处理流程对于图4来说是特有的。将描述所述其它处理流程。
在步骤S121，与在图2中的步骤S106相同，在第一图像信号上执行面部区域检测。
当在步骤S121中检测到面部区域时，处理继续到步骤S107。
当在步骤S121中没有检测到面部区域或所检测面部区域的可靠性低于预定门限值时，处理继续到步骤S122。
在步骤S122，图像信号产生电路4设置数字增益。
在步骤S123，图像信号产生电路4对第一图像信号应用该数字增益以获得具有高于第一图像信号的亮度级一级的亮度级的第二图像信号。这样，当目标区域检测单元不能从第一图像信号检测到目标区域时，图像信号产生电路4基于第一图像信号产生不同于第一图像信号的第二图像信号。
在步骤S124，与图2的步骤S106相同，在第二图像信号上执行面部区域检测。当检测到面部区域时，处理继续到步骤S107。
当在步骤S124没有检测到面部区域或所检测到的面部区域的可靠性低于预定门限值时，处理继续到步骤S125。
在步骤S125，图像信号产生电路设置数字增益。
在步骤S126，图像信号产生电路4与在步骤S123中一样，对第一图像信号应用数字增益以获得具有高于第一图像信号的亮度级两级的亮度级的第三图像信号。
在步骤S127，在第三图像信号上执行面部区域检测。当检测到面部区域时，处理继续到步骤S107。
当在步骤S127中没有检测到面部区域或所检测的面部区域的可靠性低于预定门限值时，处理继续到步骤S128。
在步骤S128，CPU 18输出面部检测失败的消息，与在图2的步骤S115中一样，AE控制电路19在第二图像信号上执行常规估计测光，接着，处理继续到步骤S129。在步骤S129，确定用于实际拍摄的Av、Tv和Sv，并且处理继续到步骤S111。
如上所述，当从第一图像信号中检测到面部区域时，在第二实施例中进行面部检测所需的时间大约是第一实施例中的三分之一。
既使在从第二图像信号中检测到面部区域时，在第二实施例中进行面部区域检测所需的时间也短于在三个图像信号片断上执行面部区域检测的情况下所需的时间。
第三实施例
将根据图6的流程图描述根据第三实施例的操作。与图2中相同的参考数字指代图6中相应的步骤。
图5显示了根据第三实施例的图像捕获设备的结构。图5所述图像捕获设备的结构不同于图1之处在于，图5所述的图像捕获设备包括像素内插电路21而不是图像信号产生电路4。像素内插电路21放大所检测的面部区域。
第三实施例不同于第一和第二实施例之处在于，通过从基于在第三实施例中的预定曝光条件下拍摄的图像的图像信号由像素内插电路21放大的图像的图像信号检测面部区域来增加面目检测的精确度。AGC 2和AD转换器14可以被认为是用来将图像检测设备(CCD 1)的输出信号转换成第一图像信号的图像转换单元，其中像素内插电路21产生第二图像信号，其中第一图像信号的分辨率不同于第二图像信号的分辨率。
图6中从步骤S101到S103的处理流程和从步骤S107到S114的处理流程与图2的流程相同，而其它处理流程对于图6来说是特有的。将描述所述其它处理流程。
当在步骤S103获得第一图像信号时，与在图2的步骤S106中相同，在步骤S131中在第一图像信号上执行面部区域检测。
当在步骤S131检测到面部区域时，处理继续到步骤S107。
当在步骤S131中没有检测到面部区域或所检测的面部区域的可靠性低于预定门限值时，处理继续到步骤S132。
在步骤S132，像素内插电路21放大图像。
在步骤S133，与在图2的步骤S106中相同，在步骤S132中放大的图像上执行面部区域检测。
当在步骤S133检测到面部区域时，处理继续到步骤S107。
当在步骤S133中没有检测到面部区域或所检测到的面部区域的可靠性低于预定门限值时，处理继续到步骤S134。
在步骤S134，CPU 18输出面部区域检测失败的消息，与在图2的步骤S115中相同，在内插之前，AE控制电路19在图像信号上执行常规估计测光，然后处理继续到步骤S135。在步骤S135，确定用于实际拍摄的Av、Tv和Sv，并且处理继续到步骤S111。
现在将描述在步骤S132中通过像素内插电路21放大图像的处理。
在该实施例中，面部检测是在通过稀疏原始图像产生的图像(例如，大约320×240像素的图像)的图像信号上执行的，以便在包括于图像捕获设备中的EVF上显示被稀疏的图像。
然而，当用于面部区域检测的帧小时(例如，大约为10×10像素)，要检测的对象的数量指数性地增加，从而，处理时间会相当长。
相反，当检测帧太大时(例如，大约为120×120像素的帧)，对于比检测帧更小的面部区域的检测将失败。
考虑这些问题，在该实施例中，检测帧的大小(大约为80×80像素)与EVF的尺寸相比来说是较大的，并且像素内插电路21放大要显示在EVF上的图像，该图像被作为数据存储在照相机中。然后，从放大图像的图像信号中检测面部区域。可选地，可以从没有被稀疏原始拍摄图像中直接检测面部区域。
在这些情况下，为了提高处理速度，经过面部区域检测的图像被分割成多个片断，并且这些片断被基于测光划分优先级，并根据优先级在这些片断上执行面部检测。以此方式，可以缩短面部区域检测所需的时间。
如上所述，在该实施例中，既使在由于面部区域小而不能检测到面部区域时，也可以通过放大经过面部区域检测的图像来增加检测面部区域的速度。通过调整图像的比例因数可以增加经受面部检测的图像的数量。
然而，在面部检测块于第一图像信号上执行面部检测之前，像素内插电路21可以产生放大的图像。然后，在第一图像信号上和放大图像的图像信号上执行面部检测，并将来自第一图像信号的结果与来自放大图像的图像信号的结果进行比较。如在第一实施例中那样，当从多个图像信号片断检测到各个面部区域时，CPU 18可以在其中面部区域检测的结果的可靠性最高的面部区域上设置测光帧和聚焦帧。
第四实施例
将参考图8的流程图描述根据第四实施例的操作。与图2中相同的参考标记指代图8中相应的步骤。
图7显示了根据第四实施例的图像捕获设备的结构。图7所示的图像捕获设备的结构不同于图1所示的结构，即，图7所示的图像捕获设备包括图像旋转电路22而不是图像信号产生电路4。图像旋转电路22旋转所检测的面部区域。
第四实施例不同于第二实施例之处在于，在第四实施例中，通过从由图像旋转电路22旋转在预定曝光条件下拍摄的图像获得的图像的图像信号中检测面部区域来增加面部检测的精确度。AGC 2和AD转换器14可以被认为是用来将图像检测设备(CCD 1)的输出信号转换成第一图像信号的图像转换单元，通过图像旋转电路22产生第二图像信号，其中第一图像信号的旋转角度不同于第二图像信号的旋转角度。
图8中从步骤S101到S103的处理流程和从步骤S107到S114的处理流程与图2中的相同，而其它处理流程对于图8来说是特有的。将描述所述其它处理流程。
当在步骤S103获得第一图像信号时，与在图2的步骤S106中一样，在步骤S141中于第一图像信号上执行面部区域检测。
当在步骤S141中检测到面部区域时，处理继续到步骤S107。
当在步骤S141中没有检测到面部区域或所检测的面部区域的可靠性低于预定门限值时，处理继续到步骤S142。
在步骤S142，图像旋转电路22通过分别将第一图像旋转+45°和-45°来产生第二和第三图像。
在步骤S143，在步骤S142产生的第二和第三图像的图像信号上执行面部区域检测。
当在步骤S143中检测到面部区域时，处理继续到步骤S107。
当在步骤S143中没有检测到面部区域或所检测的面部区域的可靠性低于预定的门限值，那么处理继续到步骤S144。
在步骤S144，CPU 18输出面部区域检测失败的消息，如在图2的步骤S115中那样，在旋转之前，AE控制电路19在图像的图像信号上执行常规估计测光，然后，处理继续到步骤S145。在步骤S145，确定用于实际拍摄的Av、Tv和Sv，然后，处理继续到步骤S111。
现在描述在步骤S142中通过图像旋转电路22旋转图像的处理。
在该实施例中，在垂直和水平方向上执行带通滤波以检测面部的主要部分，例如，眼睛、鼻子、嘴和耳朵。从而，例如，当经受面部区域检测的图像被倾斜45°的角度时，面部区域检测的精确度降低。考虑到这种情况，在相应于经受面部区域检测的图像的倾斜度倾斜45°角度的方向上执行带通滤波，从而不用考虑图像倾斜度就可以执行面部区域检测。
虽然在该实施例中，使用了分别具有倾斜度+45°、0°和-45°的三个图像，但是图像的数量和各个图像的倾斜度可以自由改变。
而且，在面部检测块于第一图像上执行面部检测之前，图像旋转电路22可以通过旋转第一图像产生第二和第三图像。然后，在这三个图像上执行面部检测，并将来自三个图像的各个结果相互进行比较。与在第一实施例中一样，当从多个图像中检测到面部区域时，CPU 18可以在其中面部区域检测结果的可靠性最高的面部区域上设置测光帧和聚焦帧。
在上述实施例中，检测了人的面部。可选地，可以检测人的其它部位。而且，可以检测除了人之外的其它对象。可以检测动物、植物、车辆、建筑物等，只要该对象可以通过其形状在图像中进行识别即可。
本发明可以通过提供一种系统或装置、用来存储软件程序的程序代码的记录介质(存储介质)(所述软件程序执行根据上述实施例的功能)，并使得包括在系统或装置中的计算机(CPU或MPU)读出并执行存储在记录介质中的程序代码来实现。在此情况下，从记录介质中读出的程序代码执行根据上述实施例的功能，因而，本发明包括存储所述程序代码的记录介质。
而且，除了通过计算机读出并执行程序代码来执行根据上述实施例的功能的情况之外，很明显，本发明还包括这样的情况，例如，工作在计算机上的操作系统(OS)基于来自程序代码的指令执行一些或全部的实际处理以执行根据上述实施例的功能。
而且，很明显，本发明还包括将从记录介质中读出的程序代码写入包括在例如插入到计算机中的功能扩展卡或连接到计算机的功能扩展单元的存储器中，然后，例如，包括在功能扩展卡、功能扩展单元等中的CPU基于来自程序代码的指令执行一些或全部的实际处理以执行根据上述实施例的功能。
当本发明应用到记录介质时，该记录介质存储相应于上述流程图的程序代码。
虽然本发明已经参考典型实施例进行了描述，但是应该明白，本发明并不局限于所公开的典型实施例。下面权利要求的范围应该做最宽泛的解释以便覆盖所有的修改、等同结构和功能。
Claims (14)
1、一种图像处理设备，其具有在第一图像信号上执行检测处理以检测对象的特定目标区域的功能，所述设备包括：
用于基于第一图像信号产生不同于第一图像信号的第二图像信号的图像信号产生单元；
用于在第一和第二图像信号上执行检测处理以检测对象的特定目标区域的目标区域检测单元；和
用来选择从第一或第二图像信号中检测目标区域的结果的控制单元。
2、根据权利要求1的图像处理设备，进一步包括将图像检测设备的输出信号转换成第一图像信号的图像转换单元。
3、根据权利要求1的图像处理设备，其中，第一图像信号的亮度级不同于第二图像信号的亮度级。
4、根据权利要求3的图像处理设备，其中，第一图像信号的亮度级小于在图像处理设备中设置的适当亮度级。
5、根据权利要求1的图像处理设备，其中，第一图像信号的分辨率不同于第二图像信号的分辨率。
6、根据权利要求1的图像处理设备，其中，第一图像信号的旋转角度不同于第二图像信号的旋转角度。
7、根据前面任何一个权利要求的图像处理设备，其中，所述控制单元比较从第一图像信号检测目标区域的结果与从第二图像信号检测目标区域的结果，并选择从第一或第二图像信号检测目标区域的结果。
8、根据权利要求7的图像处理设备，其中，在从第一和第二图像信号检测目标区域的情况下，控制单元依据目标区域的各个检测区域的大小或检测目标区域的结果的各个估计值来选择从第一或第二图像信号检测目标区域的结果。
9、根据权利要求1的图像处理设备，其中，所述图像信号产生单元在目标区域检测单元未能从第一图像信号检测到目标区域情况下基于第一图像信号产生不同于第一图像信号的第二图像信号。
10、根据前面任何一个权利要求的图像处理设备，其中，所述目标区域是对象的面部区域。
11、根据前面任何一个权利要求的图像处理设备，其中，所述控制单元依据所选的检测目标区域的结果来执行自动曝光控制和自动聚焦控制中至少之一。
12、一种控制图像处理设备的方法，其中，所述图像处理设备具有在第一图像信号上执行检测处理以检测对象的特定目标区域的功能，所述方法包括：
基于第一图像信号产生不同于第一图像信号的第二图像信号的图像信号产生步骤；
在第一和第二图像信号上执行检测处理以检测对象的特定目标区域的目标区域检测步骤；和
选择从第一或第二图像信号检测目标区域的结果的控制步骤。
13、一种存储程序代码的存储介质，所述程序代码能够使计算机执行根据权利要求12的方法。
14、一种图像捕获设备，包括：
用来产生不同于从图像检测设备输出的信号的图像信号的图像信号产生单元；
用来在不同图像信号上执行检测处理以检测对象的特定目标区域的目标区域检测单元；和
用来基于从不同图像信号检测目标区域的结果来确定特定目标区域的控制单元。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004287653 | 2004-09-30 | ||
| JP2004287653 | 2004-09-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1756309A true CN1756309A (zh) | 2006-04-05 |
| CN100508558C CN100508558C (zh) | 2009-07-01 |
Family
ID=35501260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2005101070483A Expired - Fee Related CN100508558C (zh) | 2004-09-30 | 2005-09-29 | 图像捕获设备及控制方法、图像处理设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7986808B2 (zh) |
| EP (1) | EP1643758B1 (zh) |
| CN (1) | CN100508558C (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101414383B (zh) * | 2007-10-19 | 2014-06-18 | 佳能株式会社 | 图像处理设备和图像处理方法 |
| CN106416223A (zh) * | 2014-06-03 | 2017-02-15 | 三星电子株式会社 | 成像设备和通过成像设备进行的视频生成方法 |
| CN108141544A (zh) * | 2015-10-20 | 2018-06-08 | 三星电子株式会社 | 面部检测方法以及支持该方法的电子设备 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4431532B2 (ja) * | 2005-09-16 | 2010-03-17 | 富士フイルム株式会社 | 対象画像の位置検出装置および方法ならびに対象画像の位置検出装置を制御するプログラム |
| JP4567618B2 (ja) * | 2006-02-23 | 2010-10-20 | 富士フイルム株式会社 | 撮像装置およびその制御方法 |
| CN101137012B (zh) * | 2006-07-25 | 2010-09-08 | 富士胶片株式会社 | 拍摄装置和方法 |
| JP2008283573A (ja) * | 2007-05-11 | 2008-11-20 | Olympus Corp | 画像処理装置 |
| KR101411910B1 (ko) * | 2008-01-04 | 2014-06-26 | 삼성전자주식회사 | 디지털 촬영 장치 및 이의 제어 방법 |
| JP2009177472A (ja) * | 2008-01-24 | 2009-08-06 | Panasonic Corp | 画像処理方法、画像処理装置及び撮像装置 |
| JP2010015024A (ja) * | 2008-07-04 | 2010-01-21 | Canon Inc | 撮像装置、その制御方法、プログラム及び記憶媒体 |
| JP2010171797A (ja) * | 2009-01-23 | 2010-08-05 | Nikon Corp | 撮像装置及びプログラム |
| JP5246254B2 (ja) * | 2010-12-24 | 2013-07-24 | 株式会社デンソー | 車載カメラの露出制御値の決定方法 |
| CN103324004B (zh) * | 2012-03-19 | 2016-03-30 | 联想(北京)有限公司 | 对焦方法和图像捕捉装置 |
| US9286509B1 (en) * | 2012-10-19 | 2016-03-15 | Google Inc. | Image optimization during facial recognition |
| KR101983288B1 (ko) * | 2012-11-22 | 2019-05-29 | 삼성전자주식회사 | 카메라 촬영 제어장치 및 방법 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5682197A (en) * | 1995-05-12 | 1997-10-28 | Eastman Kodak Company | Electronic panoramic camera for use with an external processor |
| US5606392A (en) * | 1996-06-28 | 1997-02-25 | Eastman Kodak Company | Camera using calibrated aperture settings for exposure control |
| US6473126B1 (en) * | 1996-12-09 | 2002-10-29 | Canon Kabushiki Kaisha | Focusing information detecting device, focus detecting device and camera utilizing the same |
| JPH11283036A (ja) | 1998-03-30 | 1999-10-15 | Toshiba Tec Corp | 対象物検出装置及び対象物検出方法 |
| JP2000090191A (ja) | 1998-09-16 | 2000-03-31 | Ntt Data Corp | 顔認識装置及び方法 |
| JP2000123186A (ja) | 1998-10-14 | 2000-04-28 | Canon Inc | 被写体認識装置 |
| JP2002158982A (ja) | 2000-11-20 | 2002-05-31 | Canon Inc | 画像処理方法、装置及びコンピュータ可読媒体 |
| JP2002296493A (ja) * | 2001-03-30 | 2002-10-09 | Fuji Photo Optical Co Ltd | ピント状態検出装置 |
| JP2003107335A (ja) * | 2001-09-28 | 2003-04-09 | Ricoh Co Ltd | 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム |
| US7298412B2 (en) * | 2001-09-18 | 2007-11-20 | Ricoh Company, Limited | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
| US7430002B2 (en) * | 2001-10-03 | 2008-09-30 | Micron Technology, Inc. | Digital imaging system and method for adjusting image-capturing parameters using image comparisons |
| US6970199B2 (en) * | 2001-10-05 | 2005-11-29 | Eastman Kodak Company | Digital camera using exposure information acquired from a scene |
| US7423686B2 (en) * | 2002-03-14 | 2008-09-09 | Canon Kabushiki Kaisha | Image pickup apparatus having auto-focus control and image pickup method |
| JP2003271958A (ja) | 2002-03-15 | 2003-09-26 | Sony Corp | 画像処理方法、その装置、そのプログラム、その記録媒体及び画像処理装置搭載型ロボット装置 |
| WO2003083773A2 (en) * | 2002-03-27 | 2003-10-09 | The Trustees Of Columbia University In The City Of New York | Imaging method and system |
| JP2004062565A (ja) | 2002-07-30 | 2004-02-26 | Canon Inc | 画像処理装置及び方法並びにプログラム記憶媒体 |
| JP2004133637A (ja) | 2002-10-09 | 2004-04-30 | Sony Corp | 顔検出装置、顔検出方法及びプログラム、並びにロボット装置 |
| KR100468871B1 (ko) * | 2002-10-09 | 2005-01-29 | 삼성테크윈 주식회사 | 이차 함수를 이용한 카메라의 자동 포커싱 방법 |
| JP2004152127A (ja) | 2002-10-31 | 2004-05-27 | Toshiba Corp | 顔照合装置及び顔照合方法 |
| JP2004201228A (ja) | 2002-12-20 | 2004-07-15 | Fuji Photo Film Co Ltd | 顔領域抽出方法及び装置 |
| US7551223B2 (en) * | 2002-12-26 | 2009-06-23 | Sony Corporation | Apparatus, method, and computer program for imaging and automatic focusing |
| JP2005250773A (ja) | 2004-03-03 | 2005-09-15 | Fuji Photo Film Co Ltd | 対象物識別装置および方法並びにプログラム |
| JP4154400B2 (ja) * | 2004-04-01 | 2008-09-24 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
| US7372493B2 (en) * | 2004-07-12 | 2008-05-13 | Micron Technology, Inc. | Column-wise clamp voltage driver for suppression of noise in an imager |
| US7590290B2 (en) * | 2004-07-21 | 2009-09-15 | Canon Kabushiki Kaisha | Fail safe image processing apparatus |
| JP2007322482A (ja) * | 2006-05-30 | 2007-12-13 | Nuflare Technology Inc | フォーカス合わせ装置、フォーカス合わせ方法及び検査装置 |
-
2005
- 2005-09-26 EP EP05255967.1A patent/EP1643758B1/en not_active Not-in-force
- 2005-09-29 CN CNB2005101070483A patent/CN100508558C/zh not_active Expired - Fee Related
- 2005-09-29 US US11/238,454 patent/US7986808B2/en not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101414383B (zh) * | 2007-10-19 | 2014-06-18 | 佳能株式会社 | 图像处理设备和图像处理方法 |
| CN106416223A (zh) * | 2014-06-03 | 2017-02-15 | 三星电子株式会社 | 成像设备和通过成像设备进行的视频生成方法 |
| US10375312B2 (en) | 2014-06-03 | 2019-08-06 | Samsung Electronics Co., Ltd. | Imaging device and video generation method by imaging device |
| CN106416223B (zh) * | 2014-06-03 | 2020-01-31 | 三星电子株式会社 | 成像设备和通过成像设备进行的视频生成方法 |
| CN108141544A (zh) * | 2015-10-20 | 2018-06-08 | 三星电子株式会社 | 面部检测方法以及支持该方法的电子设备 |
| CN108141544B (zh) * | 2015-10-20 | 2020-10-02 | 三星电子株式会社 | 面部检测方法以及支持该方法的电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1643758A3 (en) | 2006-08-30 |
| US20060077264A1 (en) | 2006-04-13 |
| EP1643758A2 (en) | 2006-04-05 |
| CN100508558C (zh) | 2009-07-01 |
| EP1643758B1 (en) | 2013-06-19 |
| US7986808B2 (en) | 2011-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1756309A (zh) | 图像捕获设备及控制方法、使计算机执行该方法的程序、图像处理设备 | |
| US8629915B2 (en) | Digital photographing apparatus, method of controlling the same, and computer readable storage medium | |
| JP4254873B2 (ja) | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム | |
| US7916182B2 (en) | Imaging device and method which performs face recognition during a timer delay | |
| US20120133797A1 (en) | Imaging apparatus, imaging method and computer program | |
| KR101643321B1 (ko) | 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체 | |
| CN1917611A (zh) | 成像设备和成像方法 | |
| US20130016245A1 (en) | Imaging apparatus | |
| CN1992820A (zh) | 具有有助于曝光补偿的脸部检测功能的数字照相机 | |
| CN108293090B (zh) | 图像处理设备和图像处理方法 | |
| CN1744672A (zh) | 图像捕捉设备及其控制方法 | |
| JP2006352795A (ja) | 撮像装置及び画像処理方法 | |
| JP4974812B2 (ja) | 電子カメラ | |
| US20120121129A1 (en) | Image processing apparatus | |
| EP1599052A2 (en) | Imaging device, image processing method, and color area setting program | |
| KR101456494B1 (ko) | 잔류 영상을 표시하는 디지털 촬영 장치의 제어 방법, 상기제어 방법에 따라 구동하는 디지털 촬영 장치 및 상기제어 방법을 기록한 기록 매체 | |
| JP3985005B2 (ja) | 撮像装置、画像処理装置、撮像装置の制御方法、およびこの制御方法をコンピュータに実行させるためのプログラム | |
| JP2008167280A (ja) | 画像処理装置及び方法、及び撮像装置 | |
| JP2008172395A (ja) | 撮像装置、画像処理装置、方法およびプログラム | |
| JP2003174582A (ja) | カメラシステム及び自動露光制御方法 | |
| JP2007005966A (ja) | 露出量算出システムならびにその制御方法およびその制御プログラム | |
| WO2019216072A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2010062825A (ja) | 撮像装置および撮像制御方法 | |
| JP2008085915A (ja) | 撮像装置および撮像方法 | |
| US20230188849A1 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090701 Termination date: 20140929 |
|
| EXPY | Termination of patent right or utility model |