CN103139574B - 图像处理装置及其控制方法 - Google Patents

图像处理装置及其控制方法 Download PDF

Info

Publication number
CN103139574B
CN103139574B CN201210506503.7A CN201210506503A CN103139574B CN 103139574 B CN103139574 B CN 103139574B CN 201210506503 A CN201210506503 A CN 201210506503A CN 103139574 B CN103139574 B CN 103139574B
Authority
CN
China
Prior art keywords
image
contour
unit
cut zone
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210506503.7A
Other languages
English (en)
Other versions
CN103139574A (zh
Inventor
北岛光太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103139574A publication Critical patent/CN103139574A/zh
Application granted granted Critical
Publication of CN103139574B publication Critical patent/CN103139574B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种图像处理装置及其控制方法。所述图像处理装置的生成单元生成包括特定被摄体的图像的轮廓信号。检测单元基于所述轮廓信号、针对所述图像的多个分割区域的各个检测代表轮廓方向，其中，当所述分割区域中包括的整个轮廓部分的方向以至少特定程度向特定方向偏斜时，所述检测单元将该特定方向检测为所述代表轮廓方向。确定单元基于检测到的所述代表轮廓方向的基于方向的频率分布、检测到的所述代表轮廓方向的数量等的至少一者，来确定所述被摄体的类型。校正单元被构造为根据对应于所述被摄体的类型的校正方法来校正所述图像数据。

Description

图像处理装置及其控制方法
技术领域
本发明涉及图像处理装置及该图像处理装置的控制方法。
背景技术
存在这样的传统图像处理装置，利用该图像处理装置来检测图像的轮廓(边缘)，并且根据轮廓的特征进行轮廓增强处理。还已知如下图像处理装置，利用该图像处理装置来确定图像中的被摄体的类型，并且根据所确定的被摄体的类型来进行图像处理。
例如，日本专利特开2000-59651号公报公开了一种图像处理装置，该图像处理装置根据输入信号的亮度水平来控制轮廓增强的程度。利用日本专利特开2000-59651号公报的技术，针对具有低亮度水平的视频信号部分削弱轮廓增强，针对具有高亮度水平的视频信号部分加强轮廓增强。另外，日本专利特开2002-190984号公报公开了一种图像处理装置，该图像处理装置确定图像是风景图像还是文本图像，如果其是文本图像，则该图像处理装置进行控制以加强轮廓增强。
然而，利用日本专利特开2000-59651号公报中公开的技术，由于仅基于待校正轮廓的亮度来控制轮廓增强的程度，因此，不论被摄体的轮廓部分是什么，只要亮度相同，则将进行相同程度的轮廓增强。作为结果，取决于被摄体，轮廓增强可能太强，或者相反可能不足，这成为问题，即无法充分地对被摄体进行适当的处理。
利用日本专利特开2002-190984号公报中公开的技术，根据亮度分布来确定图像的类型(其是文本图像还是风景图像)。然而，日本专利特开2002-190984号公报没有公开适于在除文本图像和风景图像以外的任何事物之间区别(例如在诸如建筑物的人造物体与诸如花或风景的自然物体之间区别)的区别技术。即使尝试利用日本专利特开2002-190984号公报的技术来在人造物体与自然物体之间区别，由于获取不到人造物体与自然物体之间的与亮度分布相关的清楚的特征差异，因此仍难以进行高精度的区别。因此，例如难以在建筑物与自然物体之间改变轮廓增强的程度。
发明内容
根据这种情况构思了本发明，本发明提供了一种使得图像中包括的被摄体的类型能够被高精度地确定的技术。
根据本发明的一方面，提供了一种图像处理装置，其包括：获取单元，其被构造为获取表现包括特定被摄体的图像的图像数据；生成单元，其被构造为生成表现所述图像中包括的轮廓部分的轮廓信号；检测单元，其被构造为基于所述轮廓信号、针对通过分割所述图像获得的多个分割区域的各个检测代表轮廓方向，当所述分割区域中包括的整个轮廓部分的方向以至少特定程度向特定方向偏斜时，所述检测单元将该特定方向检测为所述代表轮廓方向；确定单元，其被构造为基于以下各项的至少一项来确定所述被摄体的类型，所述各项为：检测到的所述代表轮廓方向的基于方向的频率分布，其中检测到预定方向的代表轮廓方向的所述分割区域在所述图像中在与所述预定方向正交的方向上连续排列的程度，以及检测到的所述代表轮廓方向的数量；以及校正单元，其被构造为根据对应于所述被摄体的类型的校正方法来校正所述图像数据。
根据本发明的另一方面，提供了一种图像处理装置的控制方法，所述控制方法包括：获取步骤，获取表现包括特定被摄体的图像的图像数据；生成步骤，生成表现所述图像中包括的轮廓部分的轮廓信号；检测步骤，基于所述轮廓信号、针对通过分割所述图像获得的多个分割区域的各个检测代表轮廓方向，其中，当所述分割区域中包括的整个轮廓部分的方向以至少特定程度向特定方向偏斜时，该特定方向被检测为所述代表轮廓方向；确定步骤，基于以下各项的至少一项来确定所述被摄体的类型，所述各项为：检测到的所述代表轮廓方向的基于方向的频率分布，其中检测到预定方向的代表轮廓方向的所述分割区域在所述图像中在与所述预定方向正交的方向上连续排列的程度，以及检测到的所述代表轮廓方向的数量；以及校正步骤，根据对应于所述被摄体的类型的校正方法来校正所述图像数据。
利用本发明的上述构造，能够高精度地确定图像中包括的被摄体的类型。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是根据第一实施例的数字照相机100的结构示例的框图。
图2是图像处理单元105的详细图。
图3A至图3G是利用轮廓增强处理单元206的轮廓增强处理的示例的图。
图4A是输入信号的示例的图。
图4B是滤波器的示例的图。
图4C是垂直BPF 221的示例的图。
图4D是水平BPF 222的示例的图。
图4E是右上BPF 223的示例的图。
图4F是右下BPF 224的示例的图。
图5A是在第一实施例中利用信号分割单元250分割图像的示例的图。
图5B是在第二实施例中当变焦至长焦侧或焦距等于或低于特定阈值时利用信号分割单元250分割图像的示例的图。
图5C是在第二实施例中当变焦至广角侧时利用信号分割单元250分割图像的示例的图。
图6A是第一实施例中根据被摄体的类型给出被摄体类型确定处理和图像校正处理的概况的流程图。
图6B是图6A中的步骤S602中的处理详情的流程图。
图7是图6B中的步骤S611中的处理详情的流程图。
图8是块分类的示例的图。
图9A是被摄体以及如何进行块分割的图。
图9B是其中通过线来表示对应于图9A的各块的代表轮廓方向(轮廓部分)的图。
图9C是轮廓方向连接度(connectivity)的示例的图。
图10A和图10B是当与轮廓相关的各种特征被描绘时根据被摄体的分布的图。
图11A和图11B是示出对应于各种被摄体的图像校正处理的参数示例的表。
图12是在第一实施例的变型例中图6A中的步骤S603中的处理详情的流程图。
图13A至图13D是例示块的分组(贴标签)的图。
图14是第二实施例中的图6A中的步骤S602中的处理详情的流程图。
图15A至图15C是第二实施例中的根据数字照相机100的倾斜的轮廓方向的校正的概念图。
图16是第三实施例中的图6B中的步骤S611中的处理详情的流程图。
图17是第四实施例中的图6A中的步骤S603中的处理详情的流程图。
图18A至图18D是第四实施例中的用以确定在面部的背景中是否存在建筑物的处理的概念图。
具体实施方式
下面将参照附图描述本发明的实施例。应当指出，本发明的技术范围由权利要求书定义，并不被以下描述的各实施例限制。此外，并非实施例中描述的特征的全部组合均是本发明的实现所必须的。
第一实施例
以下将通过参照图1至图5A以及图6A至图13D来描述其中本发明的图像处理装置应用于数字照相机的实施例。图1是根据第一实施例的数字照相机100的结构示例的框图。
在图1中，附图标记101是包括变焦镜头和聚焦镜头的镜头组，附图标记102是具有光圈功能的快门，附图标记103是由将光学图像转换成电信号的CCD、CMOS元件等构成的图像拍摄单元。附图标记104是将模拟信号转换成数字信号的A/D转换器，附图标记105是对从A/D转换器104输出的图像数据进行诸如伽马处理、色彩校正处理、轮廓增强处理、或噪声降低处理等的各种图像校正处理的图像处理单元。附图标记106是图像存储器，附图标记107是控制图像存储器106的存储器控制单元，附图标记108是将输入的数字信号转换成模拟信号的D/A转换器，附图标记109是LCD或其他这类的显示单元，附图标记110是使图像数据经历压缩编码和解码的编解码单元。
附图标记180是存储卡、硬盘、或其他这类的记录介质，附图标记111是与记录介质180的接口，附图标记50是控制数字照相机100的整个系统的系统控制单元。
附图标记120是用于输入各种操作命令的操作单元，附图标记121是电源开关，附图标记122是电源控制单元，附图标记123是电源。电源控制单元122由电池检测电路、DC-DC转换器、用于切换要供应电流的块的切换电路等组成，用于检测电池是否已被安装、电池的类型以及电池残量。电源控制单元122还基于这些检测结果以及来自系统控制单元50的命令来控制DC-DC转换器，并且只要需要，即将需要的电压提供给包括记录介质180的数字照相机100的各种单元。
附图标记124是能够进行电删除和记录的非易失性存储器，并且是例如EEPROM等。附图标记125是检测数字照相机100的倾斜和加速度的回转加速度传感器。附图标记126是保持对各种控制中使用的时间或者关于内置时钟的时间的追踪的系统定时器，附图标记127是展开从非易失性存储器124读取的程序等、以及在系统控制单元50的操作中使用的常量以及变量的系统存储器。
将描述利用如上所述构造的数字照相机100的被摄体拍摄期间的基本操作。图像拍摄单元103使通过镜头组101和快门102入射的光进行光电转换，并将结果作为输入图像信号输出到A/D转换器104。A/D转换器104将从图像拍摄单元103输出的模拟图像信号转换成数字图像信号，并将结果输出到图像处理单元105。
图像处理单元105使来自A/D转换器104的图像数据或来自存储器控制单元107的图像数据进行白平衡处理或其他这类的色彩转换处理，以及进行伽马处理、轮廓增强处理、噪声降低处理等，稍后将描述。图像处理单元105还使用拍摄的图像数据来进行特定的计算处理，系统控制单元50基于由此获得的计算结果进行曝光控制和测光控制。因此，进行TTL(透过镜头)型AF(自动聚焦)处理、AE(自动曝光)处理、以及EF(电子预闪)处理。图像处理单元105还使用拍摄的图像数据进行特定的计算处理，并且还基于由此获得的计算结果来进行TTL型AWB(自动白平衡)处理。
从图像处理单元105输出的图像数据经由存储器控制单元107被写入图像存储器106。图像存储器106保持从图像拍摄单元103输出的图像数据、以及用于在显示单元109上显示的图像数据。
D/A转换器108将图像存储器106中保持的显示用的图像数据转换成模拟信号，并将其提供给显示单元109。显示单元109根据来自D/A转换器108的模拟信号在LCD或其他显示设备上进行显示。
编解码单元110根据诸如MPEG的标准使记录到图像存储器106的图像数据进行压缩编码。系统控制单元50将编码的图像数据经由接口111存储到记录介质180中。
以上是被摄体拍摄期间的基本操作。除了以上论述的基本操作外，系统控制单元50还通过执行记录到上述非易失性存储器124的程序来进行以下论述的该实施例的各种处理。在本实施例中使用的词“程序”指用于执行以下论述的各种流程图的处理的程序。这里的系统控制单元50将用于系统控制单元50的操作的常量和变量、以及从非易失性存储器124读出的程序等在系统存储器127中展开。
接着，将通过参照图2来详细描述图像处理单元105。在图2中，附图标记200是亮度/色彩信号生成单元，附图标记201是WB放大单元，附图标记202是色彩伽马处理单元，附图标记203是色差信号生成单元，附图标记204是色彩校正单元，附图标记230是噪声降低单元。附图标记205是亮度伽马处理单元，附图标记206是轮廓增强处理单元。在轮廓增强处理单元206中，附图标记207是带通滤波器(BPF)，附图标记208是核化(coring)单元，附图标记209是增益处理单元，附图标记210是修剪处理单元，附图标记211是加法处理单元。附图标记220是特定方向轮廓信号生成单元，其中附图标记221是用于垂直方向的BPF，附图标记222是用于水平方向的BPF，附图标记223是用于右上(对角)方向的BPF，附图标记224是用于右下(对角)方向的BPF。附图标记250是信号分割单元。
接着，将描述通过图像处理单元105进行的处理。从图1中的A/D转换器104或存储器控制单元107输入的图像数据被输入到图像处理单元105。被输入到图像处理单元105的图像数据然后被输入到亮度/色彩信号生成单元200。亮度/色彩信号生成单元200由输入的图像数据生成亮度信号Y以及色彩信号R、G和B。色彩信号R、G和B被输出到WB放大单元201，同时亮度信号Y被输出到亮度伽马处理单元205和特定方向轮廓信号生成单元220。
WB放大单元201通过基于由系统控制单元50计算的白平衡增益值对色彩信号R、G和B应用增益来调整白平衡。色彩伽马处理单元202对色彩信号R、G和B进行伽马校正。色差信号生成单元203由色彩信号R、G和B生成色差信号R-Y和B-Y，并将这些输出到色彩校正单元204。色彩校正单元204然后通过例如对色差信号R-Y和B-Y应用增益来调整色调和饱和度。色彩校正单元204将校正的色差信号R-Y和B-Y输出到噪声降低单元230和信号分割单元250。
同时，亮度伽马处理单元205对亮度信号Y进行伽马校正，并且将结果输出到轮廓增强处理单元206。图3A至图3G是在轮廓增强处理单元206中的轮廓增强处理的示例的图。图3A示出了输入到轮廓增强处理单元206的亮度信号(水平信号)的部分。
BPF 207是提取特定频带的带通滤波器。原始输入的信号(图3A)经历带通滤波以获得图3B所示的轮廓信号。来自BPF 207的输出信号被输出到核化单元208。如图3G所示，核化单元208对输入部分的微小部分进行修剪处理。作为结果，输入信号具有图3C所示的形状。来自核化单元208的输出信号被输入到增益处理单元209。增益处理单元209对输入信号应用增益。通过对图3C中的信号应用增益获得的信号如图3D所示。来自增益处理单元209的输出信号被输入到修剪处理单元210。修剪处理单元210将比特定限制水平高(或低)的输入信号修剪到限制水平。该修剪的示例如图3E所示。来自修剪处理单元210的输出信号被输出到加法单元211。加法单元将原始信号(图3A)与自修剪处理单元210输出的轮廓信号(图3E)相加，生成具有增强轮廓的亮度信号(图3F)。轮廓增强处理单元206将如上论述的轮廓已被增强的亮度信号Y输出到噪声降低单元230和信号分割单元250。如上描述了仅水平方向上的轮廓增强，但是在垂直方向上进行相同的轮廓增强处理。
接着，将描述噪声降低单元230的处理。噪声降低单元230进行空间噪声降低处理。更具体地，其利用ε滤波器进行处理。ε滤波器利用待处理的关注像素与周围像素之间的差分作为局部信息。如果该差分不足ε值，则应用低通滤波器。当ε滤波器被表现为一维信号时，其如下：
等式1：
x ′ ( n ) = x ( n ) - Σ k = - N N a k f { x }
这里，x(n)是像素位置n处的像素值，x′(n)是ε滤波后的像素值。
另外，f(x)由以下等式给出。
等式2：
这里，ak是低通滤波器的滤波系数，并且被设计为使得总和为1。
噪声降低单元230将已经经历如上所述的噪声降低处理的亮度信号Y以及色差信号R-Y和B-Y经由存储器控制单元107输出到图像存储器106。
接着，将描述特定方向轮廓信号生成单元220的处理。特定方向轮廓信号生成单元220对输入的亮度信号Y并行地应用四种BPF，并将已经通过BPF的四种图像信号(轮廓信号)输出到信号分割单元250。特定方向轮廓信号生成单元220使用各轮廓方向上的3×3像素的轮廓检测滤波器(BPF)来从亮度信号Y中提取水平方向上的、垂直方向上的、右上方向上的、以及右下方向上的轮廓分量(轮廓信号)。
通过参照图4A至图4F来描述轮廓检测滤波器(BPF 221至224)。图4A示出了输入信号f(i，j)，图4B示出了应用于输入信号f(i，j)的滤波器。通过滤波生成的输出信号f(i，j)根据以下等式来算出。
等式3：
f ′ ( i , j ) = Σ l = - 1 1 Σ k = - 1 1 f ( i + k , j + l ) a ( k , l )
可以通过在上述等式中改变滤波系数来提取各方向上的轮廓分量。图4C至图4F示出了用于检测各方向上的轮廓的滤波系数的示例。图4C是由垂直BPF 221使用的垂直轮廓(横线)检测滤波器的示例，图4D是由水平BPF 222使用的水平轮廓(纵线)检测滤波器的示例。图4E是由右上BPF 223使用的对角(右下线)检测滤波器的示例，图4F是由右下BPF 224使用的对角(右上线)检测滤波器的示例。
如上所述，特定方向轮廓信号生成单元220生成表现图像中包括的各方向上的轮廓部分的图像信号(轮廓信号)，并且将该信号输出到信号分割单元250。
信号分割单元250将输入的图像信号分割为图5A所示的多个分割区域(8×8块)，并针对各块进行信号计算。在本实施例中，亮度信号Y、色差信号R-Y和B-Y以及来自特定方向轮廓信号生成单元220的轮廓信号被输入到信号分割单元250。信号分割单元250根据亮度信号Y以及色差信号R-Y和B-Y来计算针对各块的平均值。信号分割单元250还根据从特定方向轮廓信号生成单元220输出的轮廓信号来计算针对各块的总和。块中包括的轮廓分量越多，总和越大，因此总和可以用作块中包括的轮廓分量的量的指标。由于从特定方向轮廓信号生成单元220输出与四个方向相关的轮廓信号，因此针对这四个方向的各方向来计算总和。通过信号分割单元250计算的数据被存储在系统存储器127中。
以上详细描述了图像处理单元105。接着，将通过参照图6A、图6B和图7中的流程图来描述根据第一实施例的、确定被摄体的类型并且根据被摄体的类型来确定图像校正处理的处理。当数字照相机100的电源被开启并且装置准备好图像拍摄时，开始图6A的流程图中的处理。
在步骤S602中，系统控制单元50确定输入图像中包括的被摄体的类型。在该实施例中，系统控制单元50识别该被摄体是建筑物还是自然物体(诸如花或风景)。将通过参照图6B来描述步骤S602中的处理的详情。
在步骤S610中，图像处理单元105通过以上论述的方法、针对四个方向(垂直、水平、右上、以及右下)的各方向由输入图像来生成轮廓信号，针对各块计算各方向上的轮廓信号的总和，并将结果存储在系统存储器127中。系统控制单元50从系统存储器127获取这样计算出的针对各块以及各方向的轮廓信号的总和。
在步骤S611中，系统控制单元50基于在步骤S610中获取的轮廓信号的总和、根据轮廓特征分类成8×8块，并且检测针对各块的代表轮廓方向。“代表轮廓方向”是与块中包括的整个轮廓部分相关的代表方向，如果整个轮廓部分的方向向特定方向偏斜了至少特定程度，则该特定方向被检测作为代表轮廓方向。因此，当在整个轮廓部分的方向上不存在显著的偏斜时、或者当不包括太多的轮廓部分时(当轮廓信号的总和小时)，不检测代表轮廓方向。将通过参照图7来描述步骤S611中的处理的详情。
在步骤S701中，系统控制单元50对8×8块一次一个地开始循环处理。
在步骤S702中，系统控制单元50确定正被处理的块的四个方向(垂直、水平、右上以及右下)上的轮廓信号的总和的至少一者是否大于阈值TH1。如果值大于TH1，则处理进行到步骤S703，否则处理进行到步骤S709。
在步骤S703中，系统控制单元50确定正被处理的块的四个方向(垂直、水平、右上以及右下)上的轮廓信号的总和的至少两者是否大于阈值TH2(这里TH2＞TH1)。如果这些值大于TH2，则处理进行到步骤S707，否则处理进行到步骤S704。
在步骤S704中，系统控制单元50从正被处理的块的四个方向(垂直、水平、右上以及右下)上的轮廓信号的总和当中检测最大值。该最大值称为E1。
在步骤S705中，系统控制单元50获取与在步骤S704中检测到的最大值的方向正交的方向上的轮廓信号的总和。该总和称为E2。例如，如果最大值的方向是水平方向(即，如果轮廓在水平方向(纵线)上显著)，则正交的方向是垂直方向(横线的方向)。类似地，如果最大值的方向是右上方向(即，如果轮廓在右上方向(右下线)上显著)，则正交的方向是右下方向(右上线的方向)。
在步骤S706中，系统控制单元50确定最大值的方向上的轮廓强度与正交方向的轮廓强度相比是否足够高。更具体地，例如，系统控制单元50确定是否E1＞k*E2(k＞1)。如果E1＞k*E2，则处理进行到步骤S708，否则处理进行到步骤S707。
在步骤S707中，系统控制单元50将正被处理的块分类为“无方向块(复杂块)”。“无方向块”是在块内包括许多轮廓信号、但是所述轮廓信号不沿特定方向偏斜的块。在无方向块中，不检测代表轮廓方向。图8是块分类的示例的图。包括如块801中的各种方向上的轮廓信号的块、或者包括如块802中的两个正交方向上的轮廓信号的块被分类为无方向块。
在步骤S708中，系统控制单元50将正被处理的块分类为“轮廓块”，并且检测在步骤S704中检测到的最大值的方向作为代表轮廓方向。系统控制单元50将检测到的代表轮廓方向记录到系统存储器127。“轮廓块”是仅在特定方向上具有清楚轮廓部分的块，正如图8中的块803。
在步骤S709中，系统控制单元50将正被处理的块分类为“无轮廓块”。无轮廓块是不具有轮廓部分的平坦块，正如图8中的块804和805。在无轮廓块中不检测代表轮廓方向。
如上所论述的，针对8×8块一次一个地执行块的分类以及代表轮廓方向的检测。另外，如上所论述的，系统控制单元50将检测到的针对“轮廓块”的代表轮廓方向记录在系统存储器127中。
返回图6B，在步骤S612中，系统控制单元50一次一个地开始8×8块的循环处理。
在步骤S613中，系统控制单元50确定正被处理的块是否是“轮廓块”(检测到代表轮廓方向的块)。如果其是“轮廓块”，则处理进行到步骤S614，否则(如果其是“无方向块”或“无轮廓块”)处理返回到步骤S612并且选择下一待处理块。
在步骤S614中，系统控制单元50计算特定方向(这里是水平方向)上的轮廓(即，纵线的轮廓)的轮廓方向连接度。将通过参照图9A至图9C来详细描述轮廓方向连接度的计算。
图9A是被摄体以及如何进行块分割的图。这里，我们将描述计算块901的轮廓方向连接度的情况。为了计算具有纵线的块的轮廓方向连接度，系统控制单元50首先确定正被处理的块的代表轮廓方向是否是水平方向(纵线)。如果其是水平方向(纵线)，则系统控制单元50对沿与代表轮廓方向正交的方向(即，该块的上下方向)连续排列的、代表轮廓方向是水平方向(纵线)的块的数量进行计数，并且该计数将称为轮廓方向连接度。图9B是其中对应于图9A的块的代表轮廓方向(轮廓部分)由线来表示的图(这些线是与代表轮廓方向正交的方向上的线)。如果这里计算块901(正被处理的块)的轮廓方向连接度，则系统控制单元50对与邻接于块901的上下块相关地连续排列有多少具有水平方向(纵线)上的代表轮廓方向的块进行计数。在块901的示例中，由于连续排列有总共三个块(一个在上两个在下)，因此块901的轮廓方向连接度为3。类似地，当针对全部块计算水平方向(纵线)上的轮廓方向连接度时，结果如图9C所示。系统控制单元50最终计算针对轮廓方向连接度的总和。该总和是检测到特定代表轮廓方向(这里是水平方向)的块在与输入图像中的该代表轮廓方向正交的方向(这里是垂直方向)上连续排列的程度的指标。
在步骤S615中，系统控制单元50将针对正被处理的块的代表轮廓方向的计数器增加1(在步骤S612以前，各方向的计数器被初始化为0)。该处理最终获得针对各代表轮廓方向的块的数量。
如上所讨论的，针对8×8块一次一个地确定块是否是“轮廓块”，如果块是“轮廓块”，则进行轮廓方向连接度的计算以及针对各代表轮廓方向的块的数量的计数。
在这之后，在步骤S616中，系统控制单元50基于以下各项的至少一项来确定被摄体的类型，所述各项为：代表轮廓方向的特定方向频率分布(即，在步骤S615中针对各代表轮廓方向计算的块的数量)、针对轮廓方向连接度的总和、以及检测到的代表轮廓方向的数量(即，“轮廓块”的数量)。该信息(与轮廓相关的特征)的具体组合可以根据确定的被摄体的类型、所需的确定精度等适当地变化。这里，作为一个示例，将通过参照图10A和图10B来描述确定被摄体是建筑物还是自然物体的情况。
图10A和图10B是当与轮廓相关的各种特征被描绘时根据被摄体的分布的图。在该实施例中，建筑物与自然物体(花或风景)不同，因此示出了建筑物、花以及自然风景的分布。在图10A中，横轴示出了具有水平或垂直方向上的代表轮廓方向的块的数量，纵轴示出了具有对角方向(右上或右下)上的代表轮廓方向的块的数量。在图10B中，横轴示出了水平方向(纵线)的轮廓方向连接度，纵轴示出了“轮廓块”的比例(或数量)。
系统控制单元50基于在步骤S614计算的轮廓方向连接度的总和以及在步骤S615中计数的针对各代表轮廓方向的数量来确定输入图像中包括的被摄体是否存在于图10A和图10B的图中(根据需要增加针对各代表轮廓方向的块的数量)。例如，让我们考虑其中一定被摄体存在于图10A中的特征点1001以及图10B中的特征点1002的位置的情况。
接着，参照图10A，并且考虑将两种类型的被摄体(建筑物以及其他)分离的特定轴A1以及与轴A1正交的X1轴，计算被摄体的特征点1001投射在X1轴的点，该点将称为X1p。参照图10B，类似地，我们将考虑与将被摄体的类型分离的特定轴A2和A3正交的轴X2和X3。类似地，特征点1002被投射在轴X2和X3上的点为X2p和X3p。
根据如上发现的X1p、X2p和X3p的值、基于以下等式来计算评价值。
评价值＝αX1p+βX2p+γX3p
这里，α、β和γ是预设的权重系数。
如果评价值等于或高于特定阈值，则系统控制单元50确定被摄体的类型为“建筑物”，否则确定被摄体的类型为“自然物体”。
以上描述了图6B的处理(图6A中的步骤S602的处理)。返回图6A，在步骤S603中图像处理单元105在系统控制单元50的控制下进行对应于被摄体的类型的图像校正处理(通过对应于被摄体的类型的校正方法的图像校正处理)。更具体地，例如，系统控制单元50将轮廓增强处理单元206和噪声降低单元230的参数设置为对应于被摄体的类型的值。轮廓增强处理单元206和噪声降低单元230根据设置的参数来执行轮廓增强处理和噪声降低处理。将通过参照图11A来描述对应于各种被摄体的图像校正处理中的参数的示例。
如果被摄体的类型是“建筑物”，则可能图像质量随着轮廓强烈增强而更好。鉴于此，如图11A所示，轮廓检测的中心频率被设置为中频与低频之间。这通过变化图2中的BPF 207的参数(系数)来完成。另外，核化范围在核化单元208中被扩展。具体地，在图3G中，扩展修剪输入值的范围。另外，控制增益处理单元209以增加轮廓增强的增益。另外，在噪声降低单元230中增加ε值。
另一方面，在被摄体的类型是“自然物体”的情况下，如果轮廓增强太多则看起来奇怪，因此不非常强烈地增强轮廓更好。由于在自然物体中精细细节的再现是重要的，因此如果在核化和噪声降低中没有太多关于细节的信息损失最好。鉴于此，通过变化BPF 207的参数来将轮廓检测的中心频率设置在中频与高频之间。核化的范围在核化单元208中设置为窄，增益处理单元209的增益设置为弱。另外，ε值在噪声降低单元230中被降低。
以上描述了图6A中的步骤S603中的处理(对应于被摄体的类型的图像校正处理)。接着，在步骤S604中，系统控制单元50确定处理是否应当被结束。例如，如果数字照相机100的电源已被切断，则处理应当结束。如果处理未结束，则流程返回到步骤S602，并且重复相同处理。
如上所述，在第一实施例中，数字照相机100将图像分割为多个块，检测针对各块的代表轮廓方向，并且基于检测结果(频率分布、轮廓方向连接度、检测到的代表轮廓方向的数量等)来确定被摄体的类型。另外，数字照相机100根据对应于被摄体的类型的校正方法来执行图像校正处理。
由此，通过检测块单位中的代表轮廓方向，能够检测与被摄体的轮廓相关的特征，并且结果不太易于受被摄体噪声或精细图案的影响。因此，能够高精度地确定图像中包括的被摄体的类型。作为结果，能够执行适于被摄体的类型的轮廓增强处理、噪声降低处理或其他这类图像校正处理。另外，由于在块单位中检测代表轮廓方向，因此与当在像素单位中检测轮廓时相比较降低了计算负荷。
另外，在该实施例中，通过轮廓增强处理单元206的处理以及通过噪声降低单元230的处理被给出作为根据被摄体的类型的图像校正处理的示例，但是图像校正处理不限于这些。例如，可以根据被摄体的类型来改变亮度伽马处理或色彩校正处理。在这种情况下，针对“建筑物”，系统控制单元50控制亮度伽马处理单元205来执行亮度伽马处理，从而加强对比度。针对“自然物体”，系统控制单元50控制色彩校正单元204来执行色彩校正处理，从而提高饱和度。
另外，在该实施例中，仅将使用ε滤波器(作为空间滤波器)的处理描述为通过噪声降低单元230的处理，但是针对噪声降低的方法不限于此。例如，可以使用在时间方向进行低通处理的时间滤波器，在这种情况下时间滤波器的参数可以根据被摄体的类型变化。
另外，在本实施例中，论述了其中“建筑物”与“自然物体”区别的示例，但是只要在块单位中检测到代表轮廓方向，并且使用频率分布、轮廓方向连接度、检测到的代表轮廓方向的数量等确定被摄体的类型，则可以确定任意类型的被摄体。
另外，在本实施例中，被摄体的类型被确定为“建筑物”与“自然物体”之间的二值选择，但是不是必须为二值确定。例如，在图10A和图10B的示例中计算的评价值越高，被摄体是“建筑物”的可能性越大，因此图像校正处理的参数可以随着评价值升高而被倾向设置为建筑物，并且随着评价值降低而被倾向设置为自然物体。
另外，在本实施例中，基于针对正被处理的块的按照方向的轮廓信号的总和来决定块的分类(是否它们具有轮廓)，但是块分类方法不限于此。例如，可以采用其中通过使用除了轮廓信号以外的亮度信号和色彩信号来对块分类的方法。在这种情况下，系统被控制为使得如果亮度高于或低于特定阈值则块不被确定为轮廓块。另外，可以使用色彩信号来确定块是否是轮廓块或者是否检测代表轮廓方向。在这种情况下，如果针对块内的色调和饱和度的平均值满足特定条件，则该块被确定为不是轮廓块(或者用于确定代表轮廓方向的条件被改变)。更具体地，具有许多高饱和度的绿色信号的块不被确定为轮廓块，因为轮廓是建筑物的可能性低。作为选择，即使块被确定为轮廓块，用于确定其为具有水平或垂直轮廓的块的阈值被改变为使得不太可能将其确定为具有水平或垂直方向。这使得能够进一步提高确定被摄体的类型的精度。
另外，正被处理的块可以与周围块比较，并且如果轮廓信号的总和相对于周围块的轮廓信号的总和大，则被确定为轮廓块。这里，轮廓信号的总和与沿轮廓方向的相同方向上的邻接块的轮廓信号的总和相比较。例如，如果在水平方向(纵线)上检测到轮廓块，则轮廓信号的总和与位于相同方向(水平方向)的左右邻接块的轮廓信号的总和相比较，并且如果轮廓信号的总和与左右块的轮廓信号的总和的较大差分等于或高于特定值，则块被确定为轮廓块。
变型例
在第一实施例中，图像校正方法随着被摄体的类型变化，但是使用针对整个图像的相同参数来进行校正。然而，可以使用对应于图像的不同区域的特征的参数来进行校正。这将通过参照图11B、图12和图13A至图13D来描述。
图12是在第一实施例的变型例中图6A中的步骤S603中的处理详情的流程图。
在步骤S1200中，系统控制单元50确定在步骤S602中确定的被摄体的类型是否是“建筑物”。如果其是“建筑物”，则处理进行到步骤S1201，否则处理进行到步骤S1211。
当被摄体已被确定为“建筑物”时执行步骤S1201至S1210，并且确定该建筑物的位置和特征(其是具有许多平坦部分的诸如办公建筑物的建筑物，还是具有复杂细节的诸如教堂的建筑物)。更具体地，在步骤S1201中，系统控制单元50基于块之间的类似度来对8×8块贴标签，由此将所述块分组。将通过参照图13A至图13D来描述该贴标签的细节。
图13A示出了已被分割为块的已拍摄被摄体图像。系统控制单元50使这些块经历贴标签，同时光栅扫描图13B所示的搜索范围。在图13B中，块1301是正被处理的块，在正被处理的块的左上方、正上方、右上方以及左方的块称为参照块(阴影)。
系统控制单元50将正被处理的块与参照块进行亮度和色彩的比较，并且对正被处理的块给予与具有最相近亮度和色彩的参照块相同的标签。例如，在图13中，对正被处理的块1302左上方的块给予标签“2”，对正上方、右上方以及左方的块给予标签“3”。如果此时与正被处理的块1302在亮度与色彩上最相近的参照块是左上块，则系统控制单元50对正被处理的块1302给予标签“2”。然而，如果不存在参照块，或者如果正被处理的块与全部参照块之间的差超过特定值，则系统控制单元50对正被处理的块给予新的标签。
由此，系统控制单元50通过类似的区域对全部块贴标签。图13D是对图13A中的被摄体的全部块贴标签的示例。作为该贴标签的结果，8×8块被分组，从而在组内的块之间(在分割区域之间)存在至少特定类似度。搜索范围不限于图13B所示的范围。在图13D中，组中的块被连续布置，但是依据搜索范围的设置，属于相同组的块可能存在于分离的位置。
返回图12，在步骤S1202中，系统控制单元50开始对在步骤S1201中给予的标签一次一个地进行循环处理(在图13D所示的示例中，标签“0”至“3”被顺序地处理)。
在步骤S1203中，系统控制单元50确定正被处理的标签的组的大小(组中的块的数量)是否等于或高于特定阈值。如果大小等于或高于特定阈值，则处理进行到步骤S1204，否则处理进行到步骤S1209。
在步骤S1204中，系统控制单元50计算具有水平或垂直方向(纵线和横线)上的代表轮廓方向的块、相对于正被处理的标签的组中的全部“轮廓块”的比例。系统控制单元50还计算“无轮廓块”(其中轮廓信号等于或低于特定量的块，如根据图7中的步骤S702和S709所理解的)相对于正被处理的标签的组中的全部块的比例。
在步骤S1205中，系统控制单元50确定在步骤S1204中计算的具有水平或垂直方向(纵线和横线)上的代表轮廓方向的块的比例是否等于或高于阈值。如果其等于或高于阈值，则处理进行到步骤S1206，否则处理进行到步骤S1209。
在步骤S1206中，系统控制单元50确定在步骤S1204中计算的“无轮廓块”的比例是否等于或高于阈值。如果其等于或高于阈值，则处理进行到步骤S1207，否则处理进行到步骤S1208。
在步骤S1207中，系统控制单元50将平坦建筑物标记与正被处理的标签相关联。该标记表示正被处理的标签的组中的被摄体是具有许多平坦面(诸如办公建筑物上的面)的建筑物。
在步骤S1208中，系统控制单元50将复杂建筑物标记与正被处理的标签相关联。该标记表示正被处理的标签的组中的被摄体是具有许多复杂细节(诸如教堂上的细节)的建筑物。
在步骤S1209中，系统控制单元50将非建筑物标签与正被处理的标签相关联。
在步骤S1210中，图像处理单元105在系统控制单元50的控制下、针对各组、根据组中的被摄体的类型进行图像校正处理(通过对应于组中的被摄体的类型的校正方法的图像校正处理)。将通过参照图11B来具体说明步骤S1210的处理。图11B与图11A的类似之处在于其示出了被摄体的类型以及用于轮廓增强处理和噪声降低处理的相应参数的示例。图11B与图11A的不同之处在于，当被摄体的类型是“建筑物”时，针对组内的各类型的被摄体规定参数。
在图11B的示例中，当组中的被摄体是平坦建筑物时，与图11A中的“建筑物”一样使用相同的参数。另一方面，在复杂建筑物的情况下，轮廓检测的中心频率被设置在低频与中频之间。另外，核化范围被缩小，增益被设置为中间，噪声降低处理的ε值被降低。这使得能够执行轮廓增强处理和噪声降低处理，同时使关于具有复杂设计的建筑物(诸如教堂)的细节的信息损失最小。另外，对于非建筑物区域，参数被设置为与被摄体是“自然物体”时相同。
返回图12，在步骤S1211中图像处理单元105在系统控制单元50的控制下执行对应于“自然物体”的图像校正处理。该处理与在第一实施例的步骤S603中被摄体是“自然物体”时的处理相同。
以上描述了根据组中的被摄体的类型针对各组进行图像校正处理的情况。在该变型例中，描述了其中针对块单位中的各组设置图像处理参数的情况作为示例，但是如果在块单位中切换图像处理参数，则在组边界处可能出现由于图像处理参数的差异而引起的阶差。因此，可以添加降低该阶差的处理，诸如使用组边界处的两个参数的中间值。
第二实施例
将通过参照图5B和图5C以及图14至图15C来描述本发明的第二实施例。在第二实施例中，通过基本与第一实施例中相同的处理来确定被摄体的类型，但是确定处理还包括图像拍摄期间数字照相机100的状态(变焦、聚焦、朝向等)。第二实施例中的数字照相机100的结构和基本操作与针对第一实施例描述的相同，因此不再详细描述(参见图1和图2)。
在第二实施例中，图6A中的步骤S602中的处理的详情与第一实施例中的不同，并且替代执行图6B中的处理而执行图14的处理。在图14中，那些进行如图6B中的相同处理的块具有相同的附图标记，并且不再重复描述。
在步骤S1401中，系统控制单元50从镜头组101获取表示当前变焦及聚焦状态的信息，并且将它们存储在系统存储器127中。
在步骤S1402中，系统控制单元50由回转加速度传感器125的输出生成照相机倾斜信息，并将其存储在系统存储器127中。
在步骤S1403中，系统控制单元50基于在步骤S1401中获取的变焦信息和聚焦信息来改变信号分割单元250(参见图2)中的块分割大小和数量。更具体地，系统控制单元50当变焦是朝向长焦端时(当变焦倍率大时)或者当焦距短于特定阈值时增加块大小，并且当变焦是朝向广角端时减小块大小。具体地，当焦距短于特定阈值时，与变焦倍率无关地、块大小是至少特定大小。该示例如图5B和图5C中所示。图5B示出了当变焦是朝向长焦端时或当焦距短于特定阈值时的块分割(在该示例中为8×8块)。图5C同时示出了当变焦是朝向广角端时的块分割(本示例中16×16块)。在这种情况下，由于块大小被降低并且获取来自整个图像的信息，因此有更多的块。像这样控制系统使得针对单个块能够避免变焦使与被摄体类型等相关的信息量的大的波动。
在步骤S1405中，系统控制单元50使用在步骤S1402中生成的倾斜信息来校正轮廓的方向。更具体地，系统控制单元50在数字照相机100倾斜至少特定阈值时校正轮廓方向。图15A示出了在数字照相机100倾斜了大于阈值(诸如30度)的状态下拍摄的图像。这里，根据倾斜的方向来校正轮廓的方向。
图15B示出了校正前的轮廓方向，图15C示出了校正后的轮廓方向。即，系统控制单元50校正，使得被输出作为水平轮廓(纵线)1501a的轮廓信号被视作右下轮廓1501b，被输出作为右上轮廓1502a的轮廓信号被视作水平轮廓(纵线)1502b。类似地，系统控制单元50校正，使得被输出作为垂直轮廓(横线)1503a的轮廓信号被视作右上轮廓1503b，被输出作为右下轮廓1504a的轮廓信号被视作垂直轮廓(横线)1504b。这样，根据倾斜来仅校正方向信息。
步骤S1406中的处理与图6B中的步骤S614中的处理相同，但是该处理在步骤S1405中校正倾斜时略微不同。例如，当如图15C所示校正轮廓方向时，对角地连接水平轮廓(纵线)，在对角方向上计算轮廓方向连接度。换言之，在计算轮廓方向连接度中，评价与讨论中的代表轮廓方向(这里是水平方向)正交的方向上的连接，但是该“正交方向”也根据轮廓方向的校正而被校正。
步骤S 1407中的处理与图6B中的步骤S616中的处理相同，但是用于区别被摄体是“建筑物”还是“自然物体”的阈值(图10A和图10B中的A1至A3)基于聚焦信息被改变。更具体地，如果焦距不足特定距离，则阈值被改变(图10A以及图10B中的A1至A3)使得被摄体不太可能被确定为“建筑物”。例如，进行处理以使轴A2向上移动并且使轴A3向右移动。
如上所述，在第二实施例中，数字照相机100通过包括图像拍摄期间的变焦状态、倾斜等来进行处理以确定被摄体的类型。这使得能够与单独根据图像确定被摄体的类型时的确定精度相比，增加了确定精度。
在该实施例中，描述了其中本发明的图像处理装置应用于数字照相机100的情况，但是本实施例还可以应用于不具有图像拍摄系统的装置，只要其进行图像处理即可。在这种情况下，变焦以及其他这类照相机信息被提前添加到图像数据中，并且基于此通过图像处理装置进行处理。
另外，在本实施例中描述了其中涉及依据变焦和聚焦的状态的控制的信号分割的块分割的数量(大小)为两种类型的示例，但是块分割的数量不限于两种类型。可以采用其中根据变焦特性以多个步骤控制块分割的大小或数量的结构。
第三实施例
将通过参照图16来描述本发明的第三实施例。第三实施例与第一实施例的不同之处在于通过使用关于被摄体及数字照相机100随时间的移动的特性来确定被摄体的类型。第三实施例中的数字照相机100的结构和基本操作与针对第一实施例描述的相同，因此不再详细描述(图1和图2)。
在第三实施例中，图6B中的步骤S611中的处理的详情与第一实施例不同，并且替代图7中的处理而是执行图16的处理。在图16中，进行如图7中相同处理的那些块具有相同的附图标记，并且不再描述。
在步骤S1601中，系统控制单元50计算与正被处理的块相关的帧差分值。更具体地，系统控制单元50针对在稍后描述的步骤S1605中存储的较早图像信号(表现第二图像的第二图像数据)的相同位置处的块图像计算像素差分值，并且计算组内的这些像素差分值的总和。
在步骤S1602中，系统控制单元50根据回转加速度传感器125的输出来获取数字照相机100的加速度。如果加速度等于或高于特定阈值TH3，则系统控制单元50确定数字照相机100正在移动。如果数字照相机100被确定为正在移动，则处理进行到步骤S702，否则处理进行到步骤S1603。
在步骤S1603中，系统控制单元50确定在步骤S1601中计算的帧差分值的总和是否大于阈值TH4。如果总和大于阈值TH4，则处理进行到步骤S1604，否则处理进行到步骤S702。
在步骤S1604中，系统控制单元50确定正被处理的块是非建筑物块。这是因为考虑即使数字照相机100不在移动也在移动的区域不是建筑物。换言之，移动区域被考虑为人物区域，或者诸如正在风中摆动的植物的自然物体的区域。在这种情况下不检测代表轮廓方向。
在步骤S1605中，系统控制单元50将当前正被处理的图像记录到图像存储器106。在步骤S1601中计算帧差分值时利用该图像。
如上所述是基于移动信息的块分类处理(代表轮廓方向的检测处理)。除此之外的处理与第一实施例中通过参照图6A和图6B描述的处理相同，因此不再描述。
在该实施例中，向第一实施例添加其中针对随时间移动的被摄体区域的块不被考虑为轮廓块的处理。这使得仅期望的被摄体轮廓被更精确地检测到，从而被摄体的类型被更精确地确定。
另外，在本实施例中，在建筑物与自然物体之间区别的情况被描述作为示例，但是只要用于区别的区域被被摄体的移动限制，则任意类型的被摄体都能够被区别。
在该实施例中，仅在确定被摄体类型的处理中利用被摄体移动信息，但是针对通过图像处理单元105的图像校正处理的参数可以基于移动来改变。例如，可以添加处理，使得如果被摄体被确定为自然物体，则与静止区域相比，在移动区域中轮廓增强处理的增益增加并且中间频率降低。这使得能够通过针对由于移动而丢失了高频信息的被摄体进行高频分量的轮廓增强处理而避免了不自然地增强轮廓。
第四实施例
将通过参照图17以及图18A至图18D来描述本发明的第四实施例。在该第四实施例中，进行如第一实施例中基本相同的图像校正处理，但是该图像校正处理包括人物与被摄体之间的位置关系。第四实施例中的数字照相机100的结构和基本操作与针对第一实施例描述的相同，因此不再详细描述(参见图1和图2)。
第四实施例与第一实施例的不同在于图6A的步骤S603中的处理的详情，替代地执行图17的处理。在步骤S1701中，系统控制单元50通过与图12中的步骤S1201至S1209中相同的处理来对块分组(贴标签)并且确定组中的被摄体的类型。
在步骤S1702中，系统控制单元50在图像中检测到人面部。任意已知方法可以用于面部检测处理。例如，利用针对面部的特征量以及针对图像中特定区域的特征量来进行图案匹配，并且如果匹配程度等于或高于特定阈值，则确定为面部。
在步骤S1703中，系统控制单元50确定是否在步骤S1702中检测到面部。如果检测到面部，则处理进行到步骤S1704中，否则处理进行到步骤S1707。
在步骤S1704中，系统控制单元50确定在步骤S602(图6A)中确定的被摄体的类型是否是“建筑物”。如果其是“建筑物”，则处理进行到步骤S1705中，否则处理进行到步骤S1707。
在步骤S1705中，系统控制单元50确定在检测到的面部的背景中是否存在建筑物(背景确定)。将通过参照图18A至图18D来描述该处理。图18A示出了拍摄图像，图18B示出了对应于图18A的贴标签的示例。这里，针对建筑物区域的标记(步骤S1207或S1208中的平坦建筑物标记或复杂建筑物标记)通过贴标签处理与标签“1”相关联。标签“2”的区域是其中在步骤S1702中检测到面部的区域。在该步骤中，系统控制单元50确定包括针对建筑物区域的标签的块是否与包括面部区域的块邻接。在图18B的示例中，具有标签“2”的块与具有建筑物标签“1”的块邻接，从而建筑物被确定为存在于面部背景中。同时，图18C示出了正如图18A中的拍摄图像，图18D示出了对应于图18C的贴标签的示例。标签“1”对应于建筑物区域，标签“2”对应于面部区域。在图18D中，由于没有具有标签“1”的块邻接于具有标签“2”的块，因此确定在面部背景中不存在建筑物。如果通过该确定处理确定在面部背景中存在建筑物，则处理进行到步骤S1706，否则处理进行到步骤S1707。
在步骤S1706中，图像处理单元105在系统控制单元50的控制下执行针对背景建筑物的图像校正处理。在针对背景建筑物的图像校正处理中，基本上使用图11A所示的根据被摄体类型的参数。然而，在轮廓增强处理单元206中增益被设置得较低。
同时，在步骤S1707中，图像处理单元105在系统控制单元50的控制下利用图11A中所示的参数来执行图像校正处理，正如第一实施例中一样。
在该实施例中，数字照相机100依据面部是否被检测到以及建筑物是否被包括在面部背景中来改变针对图像校正处理的参数。因此，能够避免背景被摄体(在该情况下，建筑物)的轮廓的过度增强(这将使得背景被摄体比面部增强得更多)。
另外，在本实施例中论述了其中仅轮廓增强处理中的增益被改变的示例作为针对背景建筑物的图像校正处理，但是被改变的参数不限于此。例如，如果在面部背景中存在建筑物则可以增加噪声降低处理的ε值，或者可以改变任意其他参数。
除了上述控制以外，还能够具有其中使用照相机信息来改变参数的结构。例如，当镜头组101被设置为将使背景模糊的状态时(打开光圈等)，可以进行处理以关掉除了针对面部以外的轮廓增强处理，并且加强噪声降低。这使得能够避免即使背景被模糊化也增强轮廓(这将生成不自然的图像)。另外，在本实施例中使用建筑物作为示例，但是当被摄体是具有与建筑物的轮廓特征类似的轮廓特征的任意人造物体(诸如桌子或其他家具)时，也能够类似地应用本发明。
其他实施例
本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机(或诸如CPU或MPU的设备)来实现，以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (8)

1.一种图像处理装置，其包括：
获取单元，其被构造为获取表现包括特定被摄体的图像的图像数据；
面部检测单元，其被构造为检测所述图像中包括的面部；
生成单元，其被构造为生成表现所述图像中包括的轮廓部分的轮廓信号；
检测单元，其被构造为基于所述轮廓信号、针对通过分割所述图像获得的多个分割区域的各个检测代表轮廓方向，当所述分割区域中包括的整个轮廓部分的方向以至少特定程度向特定方向偏斜时，所述检测单元将该特定方向检测为所述代表轮廓方向；
确定单元，其被构造为基于以下各项的至少一项来确定所述被摄体的类型，所述各项为：检测到的所述代表轮廓方向的基于方向的频率分布，其中检测到预定方向的代表轮廓方向的所述分割区域在所述图像中在与所述预定方向正交的方向上连续排列的程度，以及检测到的所述代表轮廓方向的数量；
背景确定单元，其被构造为确定在所检测到的面部的背景中是否存在人造物体；以及
校正单元，其被构造为根据依据所述被摄体的类型、并依据在所检测到的面部的背景中存在人造物体以及不存在人造物体的不同校正方法来校正所述图像数据。
2.根据权利要求1所述的图像处理装置，其中
当所述被摄体的类型被确定为建筑物时，所述确定单元进行如下操作：
将所述多个分割区域分类为多个组，使得在组中的分割区域之间存在至少特定类似度；以及
针对所述多个组的各个，基于该组中的分割区域的数量、检测到水平或垂直代表轮廓方向的任意一者的分割区域相对于检测到所述代表轮廓方向的该组中的全部分割区域的比例、以及所述轮廓信号不多于特定量的分割区域相对于该组中的全部分割区域的比例，来确定该组中的被摄体的类型，并且
所述校正单元针对所述多个组的各个、根据对应于该组中的被摄体的类型的校正方法来校正该组中的各个分割区域。
3.根据权利要求1或2所述的图像处理装置，其中
所述获取单元还获取已经拍摄所述图像的图像拍摄装置的变焦信息，所述变焦信息是在拍摄所述图像时的变焦信息，并且
由所述变焦信息表示的变焦倍率越大，所述检测单元增大所述多个分割区域的各个的大小，而由所述变焦信息表示的所述变焦倍率越小，所述检测单元减小所述多个分割区域的各个的大小。
4.根据权利要求3所述的图像处理装置，其中
所述获取单元还获取已经拍摄所述图像的所述图像拍摄装置的聚焦信息，所述聚焦信息是在拍摄所述图像时的聚焦信息，并且
当由所述聚焦信息表示的焦距短于特定阈值时，与所述变焦倍率无关地、所述检测单元将所述多个分割区域的各个的大小设置为至少特定大小。
5.根据权利要求1或2所述的图像处理装置，其中
所述获取单元还获取已经拍摄所述图像的图像拍摄装置的倾斜信息，所述倾斜信息是在拍摄所述图像时的倾斜信息，
所述检测单元根据由所述倾斜信息表示的倾斜来校正检测到的所述代表轮廓方向，并且
所述确定单元根据由所述倾斜信息表示的倾斜来校正所述正交方向。
6.根据权利要求1或2所述的图像处理装置，其中
所述获取单元还获取表现早于包括所述特定被摄体的所述图像拍摄的第二图像的第二图像数据，并且
所述检测单元针对其中与所述第二图像中的相应分割区域的差分高于阈值的所述图像的所述分割区域，不检测所述代表轮廓方向。
7.根据权利要求1或2所述的图像处理装置，
其中，通过所述校正单元进行的所述校正包括轮廓增强或噪声降低。
8.一种图像处理装置的控制方法，所述控制方法包括：
获取步骤，获取表现包括特定被摄体的图像的图像数据；
面部检测步骤，检测所述图像中包括的面部；
生成步骤，生成表现所述图像中包括的轮廓部分的轮廓信号；
检测步骤，基于所述轮廓信号、针对通过分割所述图像获得的多个分割区域的各个检测代表轮廓方向，其中，当所述分割区域中包括的整个轮廓部分的方向以至少特定程度向特定方向偏斜时，该特定方向被检测为所述代表轮廓方向；
确定步骤，基于以下各项的至少一项来确定所述被摄体的类型，所述各项为：检测到的所述代表轮廓方向的基于方向的频率分布，其中检测到预定方向的代表轮廓方向的所述分割区域在所述图像中在与所述预定方向正交的方向上连续排列的程度，以及检测到的所述代表轮廓方向的数量；
背景确定步骤，确定在所检测到的面部的背景中是否存在人造物体；以及
校正步骤，根据依据所述被摄体的类型、并依据在所检测到的面部的背景中存在人造物体以及不存在人造物体的不同校正方法来校正所述图像数据。
CN201210506503.7A 2011-11-30 2012-11-27 图像处理装置及其控制方法 Expired - Fee Related CN103139574B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011262657A JP5826001B2 (ja) 2011-11-30 2011-11-30 画像処理装置、及びその制御方法
JP2011-262657 2011-11-30

Publications (2)

Publication Number Publication Date
CN103139574A CN103139574A (zh) 2013-06-05
CN103139574B true CN103139574B (zh) 2015-08-05

Family

ID=48466936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210506503.7A Expired - Fee Related CN103139574B (zh) 2011-11-30 2012-11-27 图像处理装置及其控制方法

Country Status (5)

Country Link
US (1) US8983204B2 (zh)
JP (1) JP5826001B2 (zh)
KR (1) KR101548183B1 (zh)
CN (1) CN103139574B (zh)
RU (1) RU2542889C2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5826001B2 (ja) * 2011-11-30 2015-12-02 キヤノン株式会社 画像処理装置、及びその制御方法
JP6169366B2 (ja) * 2013-02-08 2017-07-26 株式会社メガチップス 物体検出装置、プログラムおよび集積回路
JP6402469B2 (ja) * 2014-04-04 2018-10-10 富士電機株式会社 安全制御装置および安全制御システム
JP6433177B2 (ja) * 2014-07-01 2018-12-05 キヤノン株式会社 画像処理装置および画像処理方法
JP6348601B2 (ja) * 2014-08-29 2018-06-27 株式会社日立国際電気 固体撮像装置及び撮像方法
JP2016085628A (ja) 2014-10-27 2016-05-19 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、およびプログラム
CN105069453B (zh) * 2015-08-12 2019-03-05 青岛海信电器股份有限公司 一种图像校正方法及装置
US10911694B2 (en) * 2017-03-15 2021-02-02 Gvbb Holdings S.A.R.L. System and method for creating metadata model to improve multi-camera production

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002190984A (ja) * 2000-12-21 2002-07-05 Toshiba Corp 撮像装置及び撮像方法
CN101126813A (zh) * 2007-09-29 2008-02-20 北京交通大学 一种高分辨率卫星遥感影像中构筑物轮廓提取方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1746391A1 (ru) * 1989-05-10 1992-07-07 Научно-исследовательский институт телевизионной техники "Электрон" Устройство дл выделени контуров изображений объектов
US6229578B1 (en) * 1997-12-08 2001-05-08 Intel Corporation Edge-detection based noise removal algorithm
JP2000059651A (ja) 1998-08-07 2000-02-25 Hitachi Denshi Ltd 輪郭強調回路
JP2008116459A (ja) 1999-10-22 2008-05-22 Toshiba Corp 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム
JP2004215063A (ja) 2003-01-07 2004-07-29 Fuji Photo Film Co Ltd 撮像装置及び輪郭補正方法
JP2004318204A (ja) 2003-04-10 2004-11-11 Sony Corp 画像処理装置、画像処理方法及び撮影装置
US7433535B2 (en) 2003-09-30 2008-10-07 Hewlett-Packard Development Company, L.P. Enhancing text-like edges in digital images
WO2007142227A1 (ja) * 2006-06-07 2007-12-13 Nec Corporation 画像方向判定装置、画像方向判定方法、および画像方向判定用プログラム
US8472715B2 (en) * 2007-10-26 2013-06-25 Panasonic Corporation Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
RU2362210C1 (ru) * 2007-11-29 2009-07-20 Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет Устройство выделения контуров объектов на изображении
RU2360289C1 (ru) * 2008-08-11 2009-06-27 Евгений Александрович Самойлин Способ помехоустойчивого градиентного выделения контуров объектов на цифровых изображениях
JP4840426B2 (ja) * 2008-09-24 2011-12-21 ソニー株式会社 電子機器、ぼけ画像選別方法及びプログラム
JP5229575B2 (ja) * 2009-05-08 2013-07-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5826001B2 (ja) * 2011-11-30 2015-12-02 キヤノン株式会社 画像処理装置、及びその制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002190984A (ja) * 2000-12-21 2002-07-05 Toshiba Corp 撮像装置及び撮像方法
CN101126813A (zh) * 2007-09-29 2008-02-20 北京交通大学 一种高分辨率卫星遥感影像中构筑物轮廓提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡正平,戎怡.基于EILBP视觉描述子结合 PLSA的场景分类算法.《光电工程》.2010,第37卷(第11期), *

Also Published As

Publication number Publication date
RU2012151309A (ru) 2014-06-10
US20130136367A1 (en) 2013-05-30
KR101548183B1 (ko) 2015-08-28
RU2542889C2 (ru) 2015-02-27
CN103139574A (zh) 2013-06-05
JP2013115751A (ja) 2013-06-10
US8983204B2 (en) 2015-03-17
JP5826001B2 (ja) 2015-12-02
KR20130061066A (ko) 2013-06-10

Similar Documents

Publication Publication Date Title
CN103139574B (zh) 图像处理装置及其控制方法
US9204128B2 (en) Stereoscopic shooting device
US7929756B2 (en) Method for classifying a digital image
CN108537782B (zh) 一种基于轮廓提取的建筑物图像匹配与融合的方法
KR101155406B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체
US8077214B2 (en) Signal processing apparatus, signal processing method, program and recording medium
JP5016541B2 (ja) 画像処理装置および方法並びにプログラム
CN108419028B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN102884536B (zh) 用于视频会议压缩的肤色与特征检测
CN102474628B (zh) 图像处理方法和设备
CN104995912B (zh) 摄像装置、图像处理装置及图像处理方法
EP1475745A1 (en) Image processing device and image processing method
US20140002612A1 (en) Stereoscopic shooting device
US20100232685A1 (en) Image processing apparatus and method, learning apparatus and method, and program
WO2006077777A1 (ja) 撮像装置および撮像方法、並びに撮像装置の設計方法
KR20170107487A (ko) 메타데이터 기반 영상 처리 방법 및 장치
US8565491B2 (en) Image processing apparatus, image processing method, program, and imaging apparatus
CN113012081A (zh) 图像处理方法、装置和电子系统
JP5183440B2 (ja) 階調補正装置および撮像装置
EP3363193B1 (en) Device and method for reducing the set of exposure times for high dynamic range video imaging
CN109191398B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
JP2009245404A (ja) 画像処理装置および方法並びにプログラム
KR101349968B1 (ko) 자동 영상보정을 위한 영상 처리 장치 및 방법
US8599280B2 (en) Multiple illuminations automatic white balance digital cameras
KR101513931B1 (ko) 구도의 자동보정 방법 및 이러한 구도의 자동보정 기능이 탑재된 영상 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150805

Termination date: 20211127

CF01 Termination of patent right due to non-payment of annual fee