CN103685968B - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN103685968B
CN103685968B CN201310399810.4A CN201310399810A CN103685968B CN 103685968 B CN103685968 B CN 103685968B CN 201310399810 A CN201310399810 A CN 201310399810A CN 103685968 B CN103685968 B CN 103685968B
Authority
CN
China
Prior art keywords
pixel value
view data
unit
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310399810.4A
Other languages
English (en)
Other versions
CN103685968A (zh
Inventor
真锅佳嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN103685968A publication Critical patent/CN103685968A/zh
Application granted granted Critical
Publication of CN103685968B publication Critical patent/CN103685968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Abstract

一种图像处理装置及图像处理方法。摄像装置(100)具备：摄像部(1)以及第1合成图像生成部(6a)，取得图像数据；第1生成部(6d)，对所取得的图像数据的像素值反复实施平滑化处理以及分辨率变换处理，生成以多级的各分辨率进行了平滑化后的多级的像素值；像素值校正部(6f)，基于所取得的所述图像数据的像素值与由所述第1生成部(6d)生成的各级的像素值之间的差分，按该各级的每一级对所取得的所述图像数据的像素值进行校正；第1数据构成控制部(6i)，进行控制以便利用具有由该像素值校正部(6f)校正后的像素值的各级的图像数据的、与各级的分辨率相应的高频分量，构成对所取得的所述图像数据的像素值进行了增强后的图像数据。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及图像处理装置以及图像处理方法。
背景技术
现有技术中，如日本特开2012-044639号公报所记载，提出了一种针对高动态范围的图像以不丢失现实感的级别来过度地增强亮度分量和色差分量后的图像的生成方法(例如，参照专利文献1)。
在该技术中，在2个不同的频带(例如，低频以及中频等)中分别实施非锐化遮罩(unsharp mask)处理来局部地增强对比度。
然而，在上述专利文献1等情况下，由于对高动态范围图像仅在2个不同的频带中实施了对比度的增强处理，因此在对比度的差异不明显的图像区域中存在未实施适当的增强处理从而丢失现实感的风险。
发明内容
本发明的课题在于，能与对比度之差的大小无关地进行适当的图像处理。
为了解决上述课题，本发明所涉及的图像处理装置具备：第1取得单元，其取得图像数据；第1生成单元，其对由该第1取得单元取得的图像数据的像素值反复实施平滑化处理以及分辨率变换处理，来生成以多级的各分辨率进行了平滑化后的多级的像素值；校正单元，其基于由所述第1取得单元取得的图像数据的像素值与由所述第1生成单元生成的各级中的每一级的像素值之间的差分，按该各级中的每一级来校正所取得的所述图像数据的像素值；以及控制单元，其进行控制，以便利用具有由该校正单元校正后的像素值的各级中的每一级的图像数据的、与各级的分辨率相应的高频分量，来构成对所取得的所述图像数据的像素值进行了增强后的图像数据。
另外，本发明所涉及的图像处理方法包括：取得图像数据的步骤；对所取得的图像数据的像素值反复实施平滑化处理以及分辨率变换处理，来生成以多级的各分辨率进行了平滑化后的多级的像素值的步骤；基于所取得的图像数据的像素值与所生成的各级中的每一级的像素值之间的差分，按该各级中的每一级来校正所取得的所述图像数据的像素值的步骤；以及进行控制，以便利用具有校正后的像素值的各级中的每一级的图像数据的、与各级的分辨率相应的高频分量来构成对所取得的所述图像数据的像素值进行了增强后的图像数据的步骤。
附图说明
图1是表示应用了本发明的实施方式1的摄像装置的概略构成的框图。
图2是表示图1的摄像装置所执行的摄像处理所涉及的动作的一例的流程图。
图3是表示图2的摄像处理中的图像增强处理所涉及的动作的一例的流程图。
图4A是示意地表示图2的摄像处理所涉及的图像的一例的图。
图4B是示意地表示图2的摄像处理所涉及的图像的一例的图。
图4C是示意地表示图2的摄像处理所涉及的图像的一例的图。
图4D是示意地表示图2的摄像处理所涉及的图像的一例的图。
图5是示意地表示图2的摄像处理所涉及的图像的一例的图。
图6是用于说明图3的图像增强处理中的像素值的校正量的调整的图。
图7是示意地表示图2的摄像处理所涉及的图像的一例的图。
图8A是示意地表示图2的摄像处理所涉及的图像的一例的图。
图8B是示意地表示图2的摄像处理所涉及的图像的一例的图。
图8C是示意地表示图2的摄像处理所涉及的图像的一例的图。
图8D是示意地表示图2的摄像处理所涉及的图像的一例的图。
图8E是示意地表示图2的摄像处理所涉及的图像的一例的图。
图8F是示意地表示图2的摄像处理所涉及的图像的一例的图。
图9是表示应用了本发明的实施方式2的摄像装置的概略构成的框图。
图10是表示图9摄像装置中具备的第2合成图像生成部的概略构成的框图。
图11是示意地表示剪辑表(clip table)的图。
图12是示意地表示灰度变换表的图。
具体实施方式
以下，针对本发明，使用附图来说明具体实施方式。但发明的范围不限于图示例。
[实施方式1]
图1是表示应用了本发明的实施方式1的摄像装置100的概略构成的框图。
如图1所示，实施方式1的摄像装置100，具体而言，具备：摄像部1、摄像控制部2、图像数据生成部3、存储器4、记录介质控制部5、图像处理部6、显示部7、操作输入部8、以及中央控制部9。
另外，摄像部1、摄像控制部2、图像数据生成部3、存储器4、记录介质控制部5、图像处理部6、显示部7、以及中央控制部9经由总线10进行了连接。
摄像部1对规定的被摄体(例如，人等)进行拍摄来生成帧图像。
具体而言，摄像部1具备：透镜部1a、电子摄像部1b、以及透镜驱动部1c。
透镜部1a例如由变焦透镜或对焦透镜等的多个透镜构成。
电子摄像部1b例如由CCD(Charge Coupled Device)或CMOS(ComplementaryMetal-oxide Semiconductor)等图像传感器(摄像元件)构成。而且，电子摄像部1b将通过了透镜部1a的各种透镜后的光学像变换成二维的图像信号。
例如，尽管省略图示，但透镜驱动部1c具备：使变焦透镜在光轴方向上移动的变焦驱动部、以及使对焦透镜在光轴方向上移动的合焦驱动部等。
此外，摄像部1除了透镜部1a、电子摄像部1b、以及透镜驱动部1c之外，还可以具备对通过透镜部1a的光的量进行调整的光圈(省略图示)。
摄像控制部2对摄像部1所执行的被摄体的拍摄进行控制。即，尽管省略图示，但摄像控制部2具备：定时发生器、以及驱动器等。而且，摄像控制部2由定时发生器、驱动器来对电子摄像部1b进行扫描驱动，由电子摄像部1b按每个规定周期将通过了透镜部1a的光学像变换成二维的图像信号，并从该电子摄像部1b的拍摄区域中每次各1画面的量地读出帧图像，且使其输出至图像数据生成部3。
另外，摄像控制部(摄像控制单元)2进行控制，以便在对摄像部1改变曝光条件的同时以大致相等的构图进行多次拍摄。
即，摄像控制部2对所谓的包围曝光摄像的执行进行控制，并逐次设定摄像部1所执行的被摄体的拍摄时的曝光条件。即，摄像控制部2基于规定的程序线图，来对电子摄像部1c的快门速度(曝光时间)或信号放大率(ISO灵敏度)、光圈的光圈值等进行调整。而且，摄像控制部2例如以曝光适度作为基准值，来对快门速度、信号放大率或光圈值等进行控制，以便相对于该基准值成为曝光不足以及曝光过度，而且以固定了焦距的状态来使摄像部1连续拍摄大致相等的构图的多张图像(参照图4A～4C)。也就是，摄像控制部2针对大致相等的构图的图像，使明度变更为多级，并使摄像部1连续拍摄多张图像。
此外，尽管大致相等的构图的多张图像的拍摄例如优选以使用三脚架等将装置主体固定于规定位置的状态来进行，但即使是手持的拍摄，也可以进行连续拍摄到的多张图像的位置对齐。
此外，摄像控制部2可以取代透镜部1a的对焦透镜而使电子摄像部1b在光轴方向上移动来调整透镜部1a的合焦位置。
另外，摄像控制部2可以进行AF(自动合焦处理)、AE(自动曝光处理)、AWB(自动白平衡)等在对被摄体拍摄时的条件的调整控制。
图像数据生成部3在对从电子摄像部1b转发来的帧图像的模拟值的信号按RGB的颜色分量的每一个适当进行了增益调整后，由采样保持电路(省略图示)进行采样保持并由A/D变换器(省略图示)变换成数字数据，在由色彩处理电路(省略图示)进行了包含像素插值处理以及γ校正处理在内的色彩处理的处理后，生成数字值的亮度信号Y以及色差信号Cb、Cr(YUV数据)。
从色彩处理电路输出的亮度信号Y以及色差信号Cb、Cr经由未图示的DMA控制器被DMA转发至用作缓冲存储器的存储器4。
存储器4例如由DRAM(Dynamic Random Access Memory)等构成，临时存放由图像处理部6或中央控制部9等处理的数据等。
记录介质控制部5构成为可对记录介质M装卸自由，并对来自所安装的记录介质M的数据的读出或到记录介质M的数据的写入进行控制。
即，记录介质控制部5从记录介质M读出遵照规定的编码方式(例如，JPEG形式、动态JPEG形式、MPEG形式等)进行了编码后的静止图像的图像数据或由多个图像帧构成的运动图像的图像数据并转发至图像处理部6。
此外，记录介质M例如由非易失性存储器(闪速存储器)等构成，但这只是一例，并不限于此，能酌情任意变更。
图像处理部6具备：第1合成图像生成部6a、图像取得部6b、分量分离部6c、第1生成部6d、增强量取得部6e、像素值校正部6f、校正量调整部6g、高频分量取得部6h、第1数据构成控制部6i、第2生成部6j、以及数据合成部6k。
此外，图像处理部6的各部例如由规定的逻辑电路构成，但该构成只是一例，并不限于此。
第1合成图像生成部6a生成使动态范围扩大而成的HDR合成图像(参照图4D)。
即，第1合成图像生成部(像素相加单元)6a进行控制，以便对由摄像控制部2控制而得到的多个图像数据进行像素相加，来生成使动态范围扩大而成的图像数据。具体而言，第1合成图像生成部6a从存储器4取得在大致相等的构图中使曝光条件(例如，曝光适度、曝光不足、曝光过度等)不同而多次拍摄到的图像数据，并对这些图像数据的对应的像素的亮度分量彼此进行相加，从而生成使动态范围扩大了的HDR合成图像的图像数据(YUV数据)。
此外，生成HDR合成图像的图像数据的处理是公知的技术，故在此省略详细的说明。
图像取得部6b取得作为图像增强处理(后述)的处理对象的图像。
即，图像取得部(取得单元)6b取得作为处理对象的图像的图像数据。具体而言，图像取得部6b取得由第1合成图像生成部6a生成的HDR合成图像的图像数据。例如，图像取得部6b从存储器4取得由第1合成图像生成部6a生成的HDR合成图像的图像数据(YUV数据)的复制，或者取得记录介质M中所记录的HDR合成图像的图像数据的复制。
此外，后述的图像处理部6所执行的各处理既可以对HDR合成图像的图像数据自身进行，也可以根据需要对将HDR合成图像的图像数据以规定的比率缩小后的规定尺寸(例如，VGA尺寸等)的缩小图像数据进行。
分量分离部6c对作为处理对象的图像的分量进行分离。
即，分量分离部(分离单元)6c将由图像取得部6b取得的规定的颜色空间的图像数据分离成每个分量。具体而言，分量分离部6c例如将由图像取得部6b取得的HDR合成图像的图像数据分离成亮度分量(亮度值)Y_hdr(参照图5)和色差分量U_hdr、V_hdr后进行输出。
此外，尽管分离成亮度分量(亮度值)Y_hdr和色差分量U_hdr、V_hdr，但这只是一例，并不限于此，能酌情任意地变更，例如，可以在RGB颜色空间中分离成各颜色分量。
第1生成部6d生成以多级的各分辨率进行了平滑化后的多级的像素值。即，第1生成部(第1生成单元)6d对由图像取得部6b取得的作为处理对象的图像的图像数据的像素值反复实施平滑化处理以及分辨率变换处理，来生成以多级的各分辨率进行了平滑化后的多级的像素值。具体而言，第1生成部6d使用高斯金字塔(Gaussian Pyramid)，对由图像取得部6b取得且由分量分离部6c分离出的HDR合成图像的亮度分量(亮度值)Y_hdr反复实施平滑化处理以及分辨率变换处理，来生成以多级的各分辨率进行了平滑化后的多级的像素值。
例如，第1生成部6d对HDR合成图像的亮度分量Y_hdr逐次反复执行平滑化处理以及分辨率缩小处理，来生成亮度分量Y_hdr的n段的高斯金字塔Y_G_pyramid[n]。也就是，该高斯金字塔越往上位的阶层(更大值的段)去就越被更小地平滑化，从而越表现出亮度分量Y_hdr的全局性的对比度。
接着，第1生成部6d使用边缘保存型滤波器来按亮度分量Y_hdr的n段的高斯金字塔Y_G_pyramid[n]的各级的每一级进行平滑化，生成n段的平滑化高斯金字塔Y_G_pyramid_lpf[n](参照图5)。在此，通过使用边缘保存型滤波器，来仅对更小的振幅进行平滑化。
由此，在像素值校正部6f所执行的像素值的校正(后述)中，关于平坦部，频带处于更低频的细节将被增强，例如，大的云的立体感的演出等、动态的对比度增强表现变得可能。另外，即使高斯金字塔的段数n少，也能使频带处于低频的细节易于增强。
此外，生成高斯金字塔的处理是公知的技术，故在此省略详细的说明。
增强量取得部6e取得多级的各分辨率的每一个分辨率的像素值的增强量。
即，增强量取得部(第2取得单元)6e基于由图像取得部6b取得的处理对象的图像的图像数据的像素值与由第1生成部6d生成的各级的每一级的像素值之间的差分，来取得各级的每一级的像素值的增强量。
具体而言，增强量取得部6e例如将亮度分量Y_hdr的n段的平滑化高斯金字塔Y_G_pyramid_lpf[n]各自扩大至原始尺寸并返回，来生成n段的尺寸重调平滑化高斯金字塔Y_G_pyramid_lpf_rsz[n](参照图5)。然后，增强量取得部6e将处理对象的HDR合成图像的各像素的每一个像素的亮度分量Y_hdr和该亮度分量Y_hdr的n段的尺寸重调平滑化高斯金字塔Y_G_pyramid_lpf_rsz[n]的各像素的每一个像素的亮度分量分别归一化至“0”～“1”的范围的值，并基于它们的差分来取得亮度分量Y_hdr的各级的每一级的增强量。
像素值校正部6f对多级的各分辨率的每一个分辨率的像素值进行校正。
即，像素值校正部(校正单元)6f基于由图像取得部6b取得的处理对象的图像的图像数据的像素值与由第1生成部6d生成的各级的每一级的像素值之间的差分，来对按该各级的每一级而取得的图像数据的像素值进行校正。
具体而言，像素值校正部6f例如以由增强量取得部6e取得的亮度分量Y_hdr的多级的各级的每一级的增强量，按该各分辨率的每一个分辨率来进行对亮度分量Y_hdr的像素值进行增强的校正，生成增强了亮度分量Y的细节后的n段的增强亮度分量Y_detail_up[n](图5)。由此，像素值校正部6f例如若从n段的尺寸重调平滑化高斯金字塔Y_G_pyramid_lpf_rsz[n]当中，使用高分辨率且平滑化级别低的下位段，则成为对频带为高频的细节进行了增强的结果，另一方面，若使用低分辨率且平滑化级别高的上位段，则成为对频带从低频至高频的宽的频带的细节进行了增强的结果。
校正量调整部6g调整多级的各分辨率的每一个分辨率的像素值的校正量。
即，校正量调整部(调整单元)6g对像素值校正部6f所执行的多级的各分辨率的每一个分辨率的像素值的校正量进行调整。具体而言，校正量调整部6g对由增强量取得部6e取得的亮度分量Y_hdr的多级的各级的每一级的增强级别进行调整(参照图6)。在此，像素值的校正量的调整例如既可以在预先所规定的多个校正级别之中以基于用户所执行的操作输入部8的规定操作而指定的校正级别来进行，也可以以用户任意指定的级别来进行。
例如，图6是表示输入图像的亮度值Yin与增强后的输出图像的亮度值Yout的对应关系的图。在图6的情况下，Detail设定幅度D的基准位置(例如，中心)根据n段的尺寸重调平滑化高斯金字塔Y_G_pyramid_lpf_rsz[n]的各像素的每一个像素的亮度分量的值来决定。而且，校正量调整部6g通过使增强级别(增益等级)随着处理对象的HDR合成图像的各像素的每一个像素的亮度分量Y_hdr与该亮度分量Y_hdr的n段的尺寸重调平滑化高斯金字塔Y_G_pyramid_lpf_rsz[n]的各像素的每一个像素的亮度分量之间的差分越小而越大，从而在亮度分量Y当中，成为振幅越小的细节(高频分量含得不多的部分)越被增强的结果，能丰满地表现细节。另一方面，在亮度分量Y当中，原本振幅大的细节(高频分量含得多的部分)不会被增强，因此能抑制不需要的增强。
此外，尽管若拓宽Detail设定幅度D，则对于高频分量也能得到高的增强效果，但会成为明暗差大的部分中的过冲(overshoot)或下冲(undershoot)发生的原因。
高频分量取得部6h针对多级的各级的每一级的像素值取得高频分量。
即，高频分量取得部(第3取得单元)6h针对由像素值校正部6f校正后的各级的每一级的亮度分量Y，以多级的分辨率来取得高频分量。具体而言，高频分量取得部6h使用拉普拉斯金字塔(Laplacian Pyramid)，针对多级的各级的每一级的亮度分量Y来取得高频分量。
例如，高频分量取得部6h针对由像素值校正部6f生成的n段的增强亮度分量Y_detail_up[n]的各个，生成n段的拉普拉斯金字塔。也就是，高频分量取得部6h生成将n段的增强亮度分量Y_detail_up[n]的各个设为各组的、n段×n组的拉普拉斯金字塔Y_L_pyramid_detail_up[n][n](参照图7)。
此外，生成拉普拉斯金字塔的处理是针对n段的增强亮度分量Y_detail_up[n]的各段来生成高斯金字塔并在相邻的段彼此之间取差分的公知的技术，故在此省略详细的说明。
第1数据构成控制部6i构成对像素值进行了增强后的图像数据。
即，第1数据构成控制部(控制单元)6i进行控制，以便利用具有由像素值校正部6f校正后的像素值的各级的每一级的图像数据的、与各级的分辨率相应的高频分量，来构成对所取得的图像数据的像素值进行了增强后的图像数据。具体而言，第1数据构成控制部6i进行控制，以便从由高频分量取得部6h取得的多级的高频分量当中确定与由像素值校正部6f校正后的像素值的分辨率相应的高频分量，来构成对像素值进行了增强后的图像数据。
例如，第1数据构成控制部6i从由高频分量取得部6h取得的n段×n组的拉普拉斯金字塔Y_L_pyramid_detail_up[n][n]的各组中各选择1段阶层图像(亮度分量Y)，来生成n段的最终的拉普拉斯金字塔Y_L_pyramid_final[n](参照图7)。在此，作为选择方法，按各组的每个组来选择与组的值相同的值的段的阶层图像。例如，第1数据构成控制部6i从2组的Y_L_pyramid_detail_up[n][2]中选择第2段的阶层图像Y_L_pyramid_detail_up[2][2]。最后，第1数据构成控制部6i取得n段的高斯金字塔Y_G_pyramid[n]的第n段的阶层图像的复制，合并至最上位段，来生成n段的最终的拉普拉斯金字塔Y_L_pyramid_final[n]。
由此，n段的最终的拉普拉斯金字塔Y_L_pyramid_final[n]当中，在下位层，保存有在像素值校正部6f所执行的像素值的校正中使用n段的尺寸重调平滑化高斯金字塔Y_G_pyramid_lpf_rsz[n]的下位层进行了增强后的频带为高频的细节分量。另外，在中位层，保存从使用n段的尺寸重调平滑化高斯金字塔Y_G_pyrami_lpf_rsz[n]的中位层进行了增强后的频带为中频～高频的细节分量之中仅提取了与中频对应的部分后的细节分量。另外，在上位层，保存从使用n段的尺寸重调平滑化高斯金字塔Y_G_pyramid_lpf_rsz[n]的上位层进行了增强后的频带为低频～高频的细节分量之中仅提取了与低频对应的部分后的细节分量。也就是，在像素值校正部6f所执行的像素值的校正中增强后的各种频带的细节分量按照不使频带重叠的方式被保存至n段的最终的拉普拉斯金字塔Y_L_pyramid_final[n]。
另外，第1数据构成控制部6i重构n段的最终的拉普拉斯金字塔Y_L_pyramid_final[n]来生成亮度分量Y_final(亮度图像数据)(参照图7)。例如，第1数据构成控制部6i使用从上位段的阶层图像起依次反复“扩大”以及“添加”的过程的一般的手法，来重构拉普拉斯金字塔Y_L_pyramid_final[n]，使亮度分量Y_final得以完成。
第2生成部6j生成对色差分量进行了增强后的色差图像数据。
即，第2生成部(第2生成单元)6j基于由第1数据构成控制部6i构成的图像数据中的亮度值的增强程度，来生成对由分量分离部6c分离出的色差分量U_hdr、V_hdr进行了增强后的色差图像数据。具体而言，第2生成部6j例如以与由增强量取得部6e取得的亮度分量Y_hdr的增强量大致相等的程度来对色差分量U_hdr、V_hdr的值进行放大，来使色差分量U_final、V_final(色差图像数据)完成(省略图示)。
在此，亮度分量Y_hdr的增强量既可以是该亮度分量Y_hdr的多级的各级的每一级的增强量当中与任一级对应的增强量，也可以是通过基于与多级对应的增强量进行规定的运算所计算出的增强量。
数据合成部6k对亮度图像数据与色差图像数据进行合成。
即，数据合成部(合成单元)6k对由第1数据构成控制部6i构成的亮度分量Y_final和由第2生成部6j生成的色差分量U_final、V_final进行合成，来生成图像处理完毕图像HDR_final的图像数据(参照图8A)。
显示部7具备：显示面板7a、以及显示控制部7b。
显示面板7a在显示画面内显示图像。此外，作为显示面板7a，例如可列举液晶显示面板或有机EL显示面板等，但这只是一例，并不限于此。
显示控制部7b进行如下控制：读出临时存储在存储器4中的显示用的图像数据，基于由图像处理部6解码出的规定尺寸的图像数据，来使规定的图像显示于显示面板7a的显示画面。具体而言，显示控制部7b具备：VRAM(Video Random Access Memory)、VRAM控制器、以及数字视频编码器等(均省略图示)。而且，数字视频编码器经由VRAM控制器从VRAM以规定的重放帧频(例如，30fps)读出由图像处理部6解码且被存储至VRAM的亮度信号Y以及色差信号Cb、Cr，并基于这些数据产生视频信号且输出至显示面板7a。
例如，显示控制部7b在静止图像摄像模式或运动图像摄像模式下，将通过摄像部1以及摄像控制部2所执行的被摄体的拍摄而生成的多个帧图像以规定的帧频逐次更新的同时使实时显示图像G显示于显示面板7a。另外，显示控制部7b使作为静止图像被记录的图像(记录浏览图像)显示于显示面板7a，或使作为运动图像的记录中的图像显示于显示面板7a。
操作输入部8用于进行该摄像装置100的规定操作。具体而言，操作输入部8具备：被摄体的摄像指示所涉及的快门按钮、摄像模式或功能等的选择指示所涉及的选择决定按钮、以及变焦量的调整指示所涉及的变焦按钮等(均省略图示)的操作部，按照该操作部的各按钮的操作来将规定的操作信号输出至中央控制部9。
中央控制部9对摄像装置100的各部进行控制。具体而言，尽管省略图示，但中央控制部9具备CPU(Central Processing Unit)等，遵照摄像装置100用的各种处理程序(省略图示)来进行各种控制动作。
<摄像处理>
接下来，参照图2～图8A～8F来说明摄像装置100所执行的摄像处理。
图2是表示摄像处理所涉及的动作的一例的流程图。
摄像处理是在基于用户所执行的操作输入部8的选择决定按钮的规定操作，从显示于菜单画面的多个动作模式之中选择指示了增强图像摄像模式的情况下，在中央控制部9的控制下由该摄像装置100的各部执行的处理。
如图2所示，首先，中央控制部9的CPU基于用户所执行的操作输入部8的快门按钮的规定操作来判定是否输入了摄像指示(步骤S1)。步骤S1中的是否输入了摄像指示的判定直到被判定为输入了该摄像指示为止(步骤S1；“是”)以规定的时间间隔反复执行。
若在步骤S1中判定为输入了摄像指示(步骤S1；“是”)，则中央控制部9的CPU对摄像控制部2输出摄像控制指令，摄像控制部2控制摄像部1使其在改变曝光条件的同时连续地拍摄多张图像(步骤S2；参照图4A～4C)。具体而言，摄像控制部2例如以曝光适度作为基准值，对快门速度、信号放大率或光圈值等进行控制，以便相对于该基准值成为曝光不足以及曝光过度，并以固定了焦距的状态使摄像部1连续拍摄大致相等的构图的多张(例如，3张等)图像。然后，图像数据生成部3生成连续拍摄到的各图像的图像数据，并输出至存储器4。
接下来，图像处理部6的第1合成图像生成部6a从存储器4取得连续拍摄到的各图像的图像数据，并对这些图像数据的对应的像素的亮度分量彼此进行相加，来生成使图4D图示的动态范围扩大了的HDR合成图像的图像数据(YUV数据)(步骤S3)。
接着，图像处理部6进行增强HDR合成图像的细节以及对比度的图像增强处理(参照图3)(步骤S4)。
以下，参照图3来说明图像增强处理。图3是表示图像增强处理所涉及的动作的一例的流程图。
如图3所示，首先，图像处理部6的图像取得部6b取得由第1合成图像生成部6生成的HDR合成图像的图像数据的复制，分量分离部6c将HDR合成图像的图像数据分离成亮度分量(亮度值)Y_hdr(参照图5)和色差分量U_hdr、V_hdr(步骤S11)。
接下来，第1生成部6d对HDR合成图像的亮度分量Y_hdr逐次反复执行平滑化处理以及分辨率缩小处理，来生成亮度分量Y_hdr的n段的高斯金字塔G_pyramid[n](步骤S12)。接着，第1生成部6d按亮度分量Y_hdr的n段的高斯金字塔Y_G_pyramid[n]的各级的每一级进行平滑化，来生成n段的平滑化高斯金字塔Y_G_pyramid_lpf[n](步骤S13；参照图5)。
接下来，增强量取得部6e将由第1生成部6d生成的亮度分量Y_hdr的n段的平滑化高斯金字塔Y_G_pyramid_lpf[n]的各个恢复成原始尺寸，来生成n段的尺寸重调平滑化高斯金字塔Y_G_pyramid_lpf_rsz[n](步骤S14；参照图5)。接着，增强量取得部6e将HDR合成图像的各像素的每一个像素的亮度分量Y_hdr和该亮度分量Y_hdr的n段的尺寸重调平滑化高斯金字塔Y_G_pyramid_lpf_rsz[n]的各像素的每一个像素的亮度分量分别归一化至“0”～“1”的范围的值，并基于它们的差分来取得亮度分量Y_hdr的各级的每一级的增强量(步骤S15)。
接下来，像素值校正部6f基于由增强量取得部6e取得的亮度分量Y_hdr的多级的各级的每一级的增强量，按各分辨率的每一个分辨率来校正亮度分量Y_hdr，生成n段的增强亮度分量Y_detail_up[n](步骤S16；参照图5)。
接下来，高频分量取得部6h生成将由像素值校正部6f生成的n段的增强亮度分量Y_detail_up[n]的各个作为各组的、n段×n组的拉普拉斯金字塔Y_L_pyramid_detail_up[n][n](步骤S17；参照图7)。
接下来，第1数据构成控制部6i从由高频分量取得部6h取得的n段×n组的拉普拉斯金字塔Y_L_pyramid_detail_up[n][n]的各组中各选择1段的阶层图像(亮度分量Y)，而且将n段的高斯金字塔Y_G_pyramid[n]的第n段的阶层图像的复制合并至最上位段，来生成n段的最终的拉普拉斯金字塔Y_L_pyramid_final[n](步骤S18；参照图7)。接着，第1数据构成控制部6i从n段的最终的拉普拉斯金字塔Y_L_pyramid_final[n]的上位段的阶层图像起依次进行“扩大”以及“添加”等来重构，从而生成亮度分量Y_final(步骤S19；参照图7)。
接下来，第2生成部6j以与由增强量取得部6e取得的亮度分量Y_hdr的增强量大致相等的程度来对色差分量U_hdr、V_hdr的值进行放大，来生成色差分量U_final、V_final(步骤S20)。
接着，数据合成部6k对亮度分量Y_final与色差分量U_final、V_final进行合成，来生成图像处理完毕图像HDR_final的图像数据(步骤S21；参照图8A)。然后，图像处理部6将图像处理完毕图像HDR_final的图像数据以规定的压缩形式进行编码，并输出至存储器4。
回到图2，记录介质控制部5从存储器4取得编码处理后的图像处理完毕图像HDR_final的图像数据，并使其记录至记录介质M的规定的保存区域(步骤S5)。
由此，结束摄像处理。
如上所述，根据实施方式1的摄像装置100，能基于取得图像的图像数据的像素值(例如，亮度值)与以多级的各分辨率对取得图像的图像数据进行了平滑化后的多级的像素值之间的差分，来对按该各级的每一级所取得的图像数据的像素值进行校正，利用具有校正后的像素值的各级的每一级的图像数据的、与各级的分辨率相应的高频分量，来构成对所取得的图像数据的像素值进行了增强后的图像数据。
具体而言，使用高斯金字塔来对取得图像的图像数据的像素值反复实施平滑化处理以及分辨率变换处理，能生成以多级的各分辨率进行了平滑化后的多级的像素值。此时，能以多级的各分辨率使用边缘保存型滤波器来进行平滑化，能以更少的段数易于增强低频带的对比度。另外，能基于取得图像的图像数据的像素值与以多级的各分辨率对取得图像的图像数据进行了平滑化后的多级的像素值之间的差分，来取得各级的每一级的像素值的增强量，进行以所取得的增强量来对按该各级的每一级所取得的图像数据的像素值进行增强的校正。另外，能使用拉普拉斯金字塔，针对校正后的各级的每一级的像素值，以多级的分辨率来取得高频分量，并能从所取得的多级的高频分量当中确定与校正后的像素值的分辨率相应的高频分量，来构成对像素值进行了增强后的图像数据。
因此，能提高针对取得图像的图像处理所涉及的频率的分解级别，不仅对与取得图像的细节部(参照图8C以及图8D)相对应的图像区域，而且对与对比度差异不明显的平坦部(例如，云；参照图8E以及图8F)相对应的图像区域也能实施比现有技术更适当的增强处理，由此，能与取得图像的对比度之差的大小无关地进行适当的图像处理。
此外，图8C以及图8E示出了实施现有的图像处理后的图像，图8D以及图8F示出了实施本实施方式所涉及的图像增强处理后的图像。
另外，由于能对平滑化后的多级的像素值的校正量进行调整，因此能以用户期望的校正程度来对多级的像素值进行校正，能使图像处理完毕图像的细节以及对比度的增强的程度得以变更。
另外，由于基于亮度值的增强程度来生成对色差分量进行了增强后的色差图像数据，并对增强了亮度值后的亮度图像数据与色差图像数据进行合成，因此不仅使取得图像的亮度还使彩度得以增强，从而能使图像处理完毕图像的细节以及对比度的表现力得以提高。
另外，通过使用对将大致相等的构图的图像的明度变更成多级后的图像进行像素相加来使动态范围扩大而成的图像数据作为取得图像的图像数据，能更适当地进行伴随图像处理完毕图像的动态范围的扩大的表现。具体而言，能对通过在对摄像部1改变曝光条件的同时以大致相等的构图来进行多次拍摄那样的控制而得到的多个图像数据进行像素相加，从而生成使动态范围扩大而成的图像数据。
[实施方式2]
以下，说明实施方式2的摄像装置200。
实施方式2的摄像装置200除了以下详细说明的点以外与上述实施方式1的摄像装置100具有大致相同的构成，故省略详细的说明。
图9是表示应用了本发明的实施方式2的摄像装置200的概略构成的框图。
如图9所示，实施方式2的摄像装置200的图像处理部206具备：第2合成图像生成部206a、图像取得部6b、分量分离部6c、第1生成部6d、增强量取得部6e、像素值校正部6f、校正量调整部6g、高频分量取得部6h、高亮区域信息取得部206l、第2数据构成控制部206i、第2生成部6j、以及数据合成部6k。
此外，图像取得部6b、分量分离部6c、第1生成部6d、增强量取得部6e、像素值校正部6f、校正量调整部6g、高频分量取得部6h、第2生成部6j、数据合成部6k具有与实施方式1的摄像装置100所具备的相应部件大致相同的构成以及处理，故在此省略详细的说明。
第2合成图像生成部206a与实施方式1的摄像装置100所具备的第1合成图像生成部6a同样，生成使动态范围扩大而成的HDR合成图像(参照图4D)。
以下，参照图10来详细说明第2合成图像生成部206a。
图10是表示第2合成图像生成部206a的概略构成的框图。
如图10所示，第2合成图像生成部206a具备：亮度色差分离部2061、LPF部2062、ε滤波器部2063、钳位/增益调整部2064、合成用图(synthesis map)生成部2065、以及HDR合成部2066。
亮度色差分离部2061从存储器4取得曝光适度、曝光不足、以及曝光过度的各图像数据，分离成亮度分量数据和色差分量数据，并输出至HDR合成部2066。
另外，亮度色差分离部2061生成曝光适度的图像数据的亮度分量数据的复制，并输出至LPF部2062以及ε滤波器部2063。
LPF部2062进行对曝光适度的图像数据的亮度分量数据实施低通滤波的平均处理。
即，LPF部(信息图像生成单元)2062生成表示由摄像控制部2控制得到的多个图像数据当中的任一个图像数据(在本实施方式中为曝光适度的图像数据)的全局性的亮度分量的趋势的信息图像(灰度图像：gradation image)。具体而言，LPF部2062对曝光适度的图像数据的亮度分量数据施加低通滤波，生成与该图像整体的全局性的亮度梯度(明度的趋势)相关的灰度图像，并输出至钳位/增益调整部2064以及合成用图生成部2065。
ε滤波器部2063对曝光适度的图像数据的亮度分量数据进行用于将该数据平滑化来去除噪声的ε滤波的处理。然后，ε滤波器部2063将平滑化后的亮度分量数据输出至合成用图生成部2065。
钳位/增益调整部2064针对灰度图像的规定亮度范围进行使亮度值提高的处理。即，钳位/增益调整部2064进行如下处理：一方面随着增大亮度值的钳位(减法)级别来减小对灰度图像的阴影部的影响，另一方面随着增大亮度值的增益级别来增大对灰度图像的高亮部的影响。
由此，针对由HDR合成部2066生成的HDR合成图像的动态的对比度增强表现成为可能。
合成用图生成部2065生成对曝光适度、曝光不足、以及曝光过度的各图像数据的像素相加比率进行调整的合成用图。
即，合成用图生成部(比率调整单元)2065使用由LPF部2062生成的信息图像(灰度图像)，来对该HDR合成部(像素相加单元)2066所执行的多个图像数据的像素相加比率进行调整。具体而言，合成用图生成部2065对由LPF部2062生成的灰度图像的图像数据、由ε滤波器部2063平滑化后的亮度分量数据、以及由钳位/增益调整部2064实施了针对规定亮度范围提高亮度值的处理后得到的灰度图像的图像数据进行融合(blending)(以像素级别进行合成)，来生成合成用图。
HDR合成部2066遵照由合成用图生成部2065生成的合成用图，来对曝光适度、曝光不足、以及曝光过度的各图像数据进行合成。即，HDR合成部2066分别地，针对亮度值低的区域(黑色区域)设定以曝光过度的图像数据为主的混合的比例，另外，针对灰色区域设定以曝光适度的图像数据为主的混合的比例，另外，针对亮度值高的区域(白色区域)设定以曝光不足的图像数据为主的混合的比例，来生成使动态范围扩大了的HDR合成图像的图像数据。
另外，针对曝光适度、曝光不足、以及曝光过度的各自的亮度分量数据以及色差分量数据单独进行HDR合成部2066中的上述的生成，其后，对合成后的亮度分量数据与色差分量数据进行合成。
高亮区域信息取得部206l取得用于剪辑亮度分量数据的高亮区域的剪辑表T1(参照图11)。
即，高亮区域信息取得部(信息取得单元)206l取得根据由第1生成部6d生成的各级的每一级的像素值当中的一个对图像数据的高亮区域进行确定的信息。具体而言，高亮区域信息取得部206l从规定的保存单元(例如，存储器4等)取得剪辑表T1，该剪辑表T1用于确定从由第1生成部6d生成的亮度分量Y_hdr的n段的高斯金字塔Y_G_pyramid[n]的第n段的阶层图像，也就是，从分辨率最低的金字塔生成的亮度分量数据的高亮区域。
剪辑表T1是用于进行以下调整的表：使在亮度分量Y_hdr的n段的高斯金字塔Y_G_pyramid[n]的第n段的阶层图像中，关于存在以256级来表征的浓度(亮度级别)当中的127以上的明度的区域不会变得更明亮。
此外，尽管例示了亮度分量Y_hdr的n段的高斯金字塔Y_G_pyramid[n]的第n段的阶层图像来作为利用了剪辑表T1的剪辑处理的对象，但这只是一例，并不限于此，例如，能酌情任意地变更第n段以外的阶层图像等。
第2数据构成控制部206i与实施方式1的摄像装置100所具备的第1数据构成控制部6i同样地，构成增强了像素值后的图像数据。
即，第2数据构成控制部206i进行如下控制：即，除了具有由像素值校正部6f校正后的像素值的各级的每一级的图像数据的、与各级的分辨率相应的高频分量，还对使用由高亮区域信息取得部206l取得的剪辑表T1来使亮度分量Y_hdr的n段的高斯金字塔Y_G_pyramid[n]的第n段的阶层图像中的规定以上的明度的区域的明度减少了的数据进行利用，来构成对所取得的图像数据的像素值进行了增强后的图像数据。
具体而言，例如，第2数据构成控制部206i与第1数据构成控制部6i同样地，从由高频分量取得部6h取得的n段×n组的拉普拉斯金字塔Y_L_pyramid_detail_up[n][n]的各组中各选择1段的阶层图像(亮度分量Y)，来生成n段的最终的拉普拉斯金字塔Y_L_pyramid_final[n](参照图7)。此时，第2数据构成控制部206i取得亮度分量Y_hdr的n段的高斯金字塔Y_G_pyramid[n]的第n段的阶层图像的复制，使用剪辑表T1来进行变换亮度值的处理，由此生成使存在该阶层图像的规定以上(256级当中的127以上)的明度的区域的明度减少了的高亮剪辑图像。然后，第2数据构成控制部206i将所生成的高亮剪辑图像合并至最上位段，来生成n段的最终的拉普拉斯金字塔Y_L_pyramid_final[n]。
高亮剪辑图像是对于亮度分量Y_hdr的n段的高斯金字塔Y_G_pyramid[n]的第n段的阶层图像使亮度值为规定以上的区域的亮度值下降后的图像。由此，第2数据构成控制部206i在重构n段的最终的拉普拉斯金字塔Y_L_pyramid_final[n]时，能抑制亮度分量Y_final(参照图7)被整体性地朝明亮进行增强。
<摄像处理>
接下来，参照图2来说明实施方式2的摄像装置200所执行的摄像处理。
该摄像处理除了以下详细说明的点以外与上述实施方式1的摄像装置100所执行的摄像处理大致相同，故省略详细的说明。
即，与上述实施方式1的摄像处理大致同样地，若在步骤S1中判定为输入了摄像指示(步骤S1；“是”)，则中央控制部9的CPU对摄像控制部2输出摄像控制指令，摄像控制部2对摄像部1进行控制以便在改变曝光条件的同时使其连续拍摄多张图像(步骤S2；参照图4A～4C)。
接下来，图像处理部206的第2合成图像生成部206a从存储器4中取得连续拍摄到的各图像的图像数据，并对这些图像数据的对应的像素的亮度分量彼此进行相加，从而生成使动态范围扩大了的HDR合成图像的图像数据(YUV数据)(步骤S3)。
具体而言，第2合成图像生成部206a的亮度色差分离部2061从存储器4中取得曝光适度、曝光不足、以及曝光过度的各图像数据，分离成亮度分量数据和色差分量数据，输出至HDR合成部2066，而且生成曝光适度的图像数据的亮度分量数据的复制，并输出至LPF部2062以及ε滤波器部2063。
然后，LPF部2062对曝光适度的图像数据的亮度分量数据进行施加低通滤波的平均处理，来生成与图像整体的全局性的亮度梯度相关的灰度图像，并输出至钳位/增益调整部2064以及合成用图生成部2065。
另外，ε滤波器部2063对曝光适度的图像数据的亮度分量数据进行施加ε滤波的处理，并将平滑化后的亮度分量数据输出至合成用图生成部2065。
接下来，钳位/增益调整部2064针对灰度图像的规定亮度范围进行提高亮度值的处理。
然后，合成用图生成部2065对灰度图像的图像数据、平滑化后的亮度分量数据、以及针对规定亮度范围施加了提高亮度值的处理后得到的灰度图像的图像数据进行融合，来生成合成用图。
其后，HDR合成部2066遵照由合成用图生成部2065生成的合成用图，对曝光适度、曝光不足、以及曝光过度的各图像数据进行合成，来生成使动态范围扩大了的HDR合成图像的图像数据。
接着，图像处理部206进行对HDR合成图像的细节以及对比度进行增强的图像增强处理(参照图3)(步骤S4)。
图像增强处理除了以下详细说明的点以外与上述实施方式1的图像增强处理大致相同，故省略详细的说明。
即，图像处理部206与上述实施方式1的图像增强处理大致同样地，进行步骤S11～S17的各处理。然后，在步骤S18中，在高亮区域信息取得部206l取得了对亮度分量Y_hdr的n段的高斯金字塔Y_G_pyramid[n]的第n段的阶层图像的高亮区域进行确定的剪辑表T1后，第2数据构成控制部206i取得亮度分量Y_hdr的n段的高斯金字塔Y_G_pyramid[n]的第n段的阶层图像的复制，使用剪辑表T1来进行变换亮度值的处理，由此来生成使存在该阶层图像的规定以上(256级当中的127以上)的明度的区域的明度减少了的高亮剪辑图像。然后，第2数据构成控制部206i从由高频分量取得部6h取得的n段×n组的拉普拉斯金字塔Y_L_pyramid_detail_up[n][n]的各组中各选择1段的阶层图像(亮度分量Y)，而且将高亮剪辑图像合并至最上位段，由此生成n段的最终的拉普拉斯金字塔Y_L_pyramid_final[n]。
其后，图像处理部206通过与上述实施方式1的图像增强处理大致同样地进行步骤S19～S21的各处理，来生成图像处理完毕图像HDR_final的图像数据。
回到图2，与上述实施方式1的摄像处理大致同样地，记录介质控制部5从存储器4取得编码处理后的图像处理完毕图像HDR_final的图像数据，并使其记录至记录介质M的规定的保存区域(步骤S5)。
由此，结束实施方式2的摄像装置200所执行的摄像处理。
如上所述，根据实施方式2的摄像装置200，由于使用与图像整体的全局性的亮度梯度(明度的趋势)相关的灰度图像来对多个图像数据的像素相加比率进行调整，因此能使图像整体的全局性的灰度(gradation)仅对合成用图的高亮部适用。另外，除了具有校正后的像素值的各级的每一级的图像数据的、与各级的分辨率相应的高频分量，还能对使用剪辑表T1来使图像数据中的规定以上的明度的区域的明度减少了的数据(高亮剪辑图像)进行利用，来构成对所取得的图像数据的像素值进行了增强后的图像数据，从而能使图像处理完毕图像HDR_final中的高亮部(例如，空处等)的明度降低，使该高亮部的颜色的深度得到增强。
因此，能在将因图像处理完毕图像HDR_final中的阴影部的暗部欠曝(blocked upshadows)所引起的动态范围的下降这样的影响抑制到最小限度的同时，对高亮部实施更动态的对比度增强表现，其结果，能使高亮部与阴影部的明暗的反转易于产生，更适当地表现图像处理完毕图像HDR_final的非现实感。
此外，尽管在上述实施方式2中，进行了使用灰度图像来对多个图像数据的像素相加比率进行调整的处理、以及将高亮剪辑图像合并至最上位段来生成n段的最终的拉普拉斯金字塔Y_L_pyramid_final[n]的处理的两者，但这只是一例，并不限于此，还可以仅进行任一者，能在将对图像处理完毕图像HDR_final中的阴影部的影响抑制到最小限度的同时，对高亮部实施更动态的对比度增强表现。
另外，在上述实施方式2中，可以不使用灰度图像，而使用曝光适度的图像数据的亮度分量数据的灰度变换后的图像数据来生成合成用图。即，进行如下的灰度变换：使用图12所示的灰度变换表T2，排除成为曝光适度的图像数据的亮度分量数据的规定的阈值以下的低～中亮度区域，针对比规定的阈值更大的中～高亮度区域使其信息量变为一半。然后，合成用图生成部2065对曝光适度的图像数据的亮度分量数据、由ε滤波器部2063平滑化后的亮度分量数据、以及灰度变换处理后的亮度分量数据进行融合(以像素级别进行合成)，来生成合成用图。
由此，由于合成用图的高亮部的边缘被整形得清晰，因此对于如在明亮的天空处孤立存在的树的细枝等那样明暗的分离较为困难的被摄体，能实施更动态的对比度增强表现。
另外，本发明不限于上述实施方式1、2，可以在不脱离本发明的主旨的范围内进行各种改良以及设计的变更。
例如，在上述实施方式1、2中，设为了HDR合成图像的各像素的每一个像素的亮度分量Y_hdr与n段的尺寸重调平滑化高斯金字塔Y_G_pyramid_lpf_rsz[n]的各像素的每一个像素的亮度分量之间的差分越小，则使增强级别越大，但这只是一例，并不限于此，例如，可以设为差分越大，则使增强级别越大。在此情况下，例如能在亮度分量Y当中，对振幅越大的细节就越进行增强，另一方面，能够对振幅小的细节不进行增强。
进而，关于摄像装置100、200的构成，上述实施方式1、2中例示的构成只是一例，并不限于此。例如，还可以取得由外部的摄像单元拍摄到的图像来进行图像增强处理。
此外，尽管在上述实施方式1、2中，设为了在中央控制部9的控制下，通过由图像取得部6b、第1生成部6d、像素值校正部6f、第1数据构成控制部6i进行驱动来实现作为第1取得单元、第1生成单元、校正单元、控制单元的功能的构成，但不限于此，还可以构成为通过由中央控制部9执行规定的程序等来实现的构成。
即，在存储程序的程序存储器(省略图示)中存储包含取得处理例程、生成处理例程、校正处理例程、控制处理例程在内的程序。
而且，可以通过取得处理例程来使中央控制部9的CPU作为取得图像数据的单元来发挥功能。另外，可以通过生成处理例程使中央控制部9的CPU作为对所取得的图像数据的像素值反复实施平滑化处理以及分辨率变换处理来生成以多级的各分辨率进行了平滑化后的多级的像素值的单元发挥功能。另外，可以通过校正处理例程使中央控制部9的CPU作为基于所取得的图像数据的像素值与所生成的各级的每一级的像素值之间的差分来对按该各级的每一级所取得的图像数据的像素值进行校正的单元发挥功能。
另外，可以通过控制处理例程使中央控制部9的CPU作为利用具有校正后的像素值的各级的每一级的图像数据的、与各级的分辨率相应的高频分量来构成对所取得的图像数据的像素值进行了增强后的图像数据的单元发挥功能。
同样，关于第2取得单元、调整单元、分离单元、第2生成单元、合成单元、摄像控制单元、像素相加单元、第3取得单元、信息取得单元、信息图像生成单元、比率调整单元，也可以设为通过由中央控制部9的CPU执行规定的程序等来予以实现的构成。
进而，作为保存用于执行上述的各处理的程序的计算机可读取的介质，除了ROM或硬盘等之外，还能应用闪速存储器等的非易失性存储器、CD-ROM等的可移动型记录介质。另外，作为经由规定的通信线路来提供程序的数据的介质，还应用载波(输送波)。
尽管说明了本发明的几个实施方式，但本发明的范围不限于上述的实施方式，包含权利要求书中记载的发明的范围和其均等的范围。

Claims (10)

1.一种图像处理装置，其特征在于，
具备：
第1取得单元，其取得图像数据；
第1生成单元，其对由该第1取得单元取得的图像数据的像素值反复实施平滑化处理以及分辨率变换处理，来生成以多级的各分辨率进行了平滑化后的多级的像素值；
校正单元，其基于由所述第1取得单元取得的图像数据的像素值与由所述第1生成单元生成的各级中的每一级的像素值之间的差分，按该各级中的每一级来校正所取得的所述图像数据的像素值；
控制单元，其进行控制，以便利用具有由该校正单元校正后的像素值的各级中的每一级的图像数据的、与各级的分辨率相应的高频分量，来构成对所取得的所述图像数据的像素值进行了增强后的图像数据；以及
信息取得单元，该信息取得单元取得根据由所述第1生成单元生成的多级的像素值中的各级中的每一级的像素值当中的一个来确定所述图像数据的高亮区域的信息，
所述控制单元进行控制，以便除了与所述各级的分辨率相应的高频分量以外，还对使用由所述信息取得单元取得的信息来使所述图像数据中的规定以上的明度的区域的明度减少了的数据进行利用，构成对所取得的所述图像数据的像素值进行了增强后的图像数据。
2.根据权利要求1所述的图像处理装置，其特征在于，
还具备第2取得单元，该第2取得单元基于由所述第1取得单元取得的图像数据的像素值与由所述第1生成单元生成的各级中的每一级的像素值之间的差分，来取得各级中的每一级的像素值的增强量，
所述校正单元进行以由所述第2取得单元取得的增强量按该各级中的每一级来增强所取得的所述图像数据的像素值的校正。
3.根据权利要求1所述的图像处理装置，其特征在于，
还具备调整单元，该调整单元对所述校正单元的校正量进行调整。
4.根据权利要求1所述的图像处理装置，其特征在于，
所述图像数据包括以下数据：对将大致相等的构图的图像的明度变更为多级后的图像进行像素相加来使动态范围得以扩大而成的图像数据。
5.根据权利要求1所述的图像处理装置，其特征在于，
所述第1生成单元使用高斯金字塔，对由所述第1取得单元取得的图像数据的像素值反复实施所述平滑化处理以及所述分辨率变换处理，来生成以多级的各分辨率进行了平滑化后的多级的像素值。
6.根据权利要求1所述的图像处理装置，其特征在于，
还具备第3取得单元，该第3取得单元针对由所述校正单元校正后的各级中的每一级的像素值，以多级的分辨率来取得高频分量，
所述控制单元进行控制，以便确定由所述第3取得单元取得的多级的高频分量当中、与由所述校正单元校正后的像素值的分辨率相应的高频分量，来构成对像素值进行了增强后的图像数据。
7.根据权利要求6所述的图像处理装置，其特征在于，
所述第3取得单元使用拉普拉斯金字塔，针对由所述校正单元校正后的各级中的每一级的像素值，以多级的分辨率来取得高频分量。
8.一种图像处理装置，其特征在于，
具备：
第1取得单元，其取得图像数据；
第1生成单元，其对由该第1取得单元取得的图像数据的包含亮度分量和色差分量的像素值反复实施平滑化处理以及分辨率变换处理，来生成以多级的各分辨率进行了平滑化后的多级的像素值；
校正单元，其基于由所述第1取得单元取得的图像数据的像素值与由所述第1生成单元生成的各级中的每一级的像素值之间的差分，按该各级中的每一级来校正所取得的所述图像数据的像素值；
控制单元，其进行控制，以便利用具有由该校正单元校正后的像素值的各级中的每一级的图像数据的、与各级的分辨率相应的高频分量，来构成对所取得的所述图像数据的像素值进行了增强后的图像数据；
分离单元，其预先将所述图像数据分离成亮度分量和色差分量；
第2生成单元，其基于由所述控制单元构成的图像数据中的亮度值的增强程度，来生成对由所述分离单元分离出的色差分量进行了增强后的色差图像数据；以及
合成单元，其对由所述控制单元构成的亮度图像数据与由所述第2生成单元生成的色差图像数据进行合成。
9.一种图像处理装置，其特征在于，
具备：
摄像单元；
摄像控制单元，其进行控制，以便在对该摄像单元改变曝光条件的同时以大致相等的构图来进行多次拍摄；
像素相加单元，其进行控制，以便对由该摄像控制单元进行控制而得到的多个图像数据进行像素相加，来生成使动态范围得以扩大而成的图像数据；
第1取得单元，其取得由所述像素相加单元生成的图像数据；
第1生成单元，其对由该第1取得单元取得的图像数据的像素值反复实施平滑化处理以及分辨率变换处理，来生成以多级的各分辨率进行了平滑化后的多级的像素值；
校正单元，其基于由所述第1取得单元取得的图像数据的像素值与由所述第1生成单元生成的各级中的每一级的像素值之间的差分，按该各级中的每一级来校正所取得的所述图像数据的像素值；
控制单元，其进行控制，以便利用具有由该校正单元校正后的像素值的各级中的每一级的图像数据的、与各级的分辨率相应的高频分量，来构成对所取得的所述图像数据的像素值进行了增强后的图像数据；
信息图像生成单元，其生成表示由所述摄像控制单元进行控制而得到的多个图像数据当中的任一个图像数据的全局性的亮度分量的趋势的信息图像；以及
比率调整单元，其使用由该信息图像生成单元生成的信息图像，来对所述像素相加单元的所述多个图像数据的像素相加比率进行调整。
10.一种利用了图像处理装置的图像处理方法，其特征在于，
包括：
取得图像数据的步骤；
对所取得的图像数据的像素值反复实施平滑化处理以及分辨率变换处理，来生成以多级的各分辨率进行了平滑化后的多级的像素值的步骤；
基于所取得的图像数据的像素值与所生成的各级中的每一级的像素值之间的差分，按该各级中的每一级来校正所取得的所述图像数据的像素值的步骤；
进行控制，以便利用具有校正后的像素值的各级中的每一级的图像数据的、与各级的分辨率相应的高频分量，来构成对所取得的所述图像数据的像素值进行了增强后的图像数据的步骤；以及
取得根据所生成的多级的像素值中的各级中的每一级的像素值当中的一个来确定所述图像数据的高亮区域的信息的步骤，
进行控制的所述步骤中进行控制，以便除了与所述各级的分辨率相应的高频分量以外，还对使用由取得确定所述图像数据的高亮区域的信息的所述步骤取得的信息来使所述图像数据中的规定以上的明度的区域的明度减少了的数据进行利用，构成对所取得的所述图像数据的像素值进行了增强后的图像数据。
CN201310399810.4A 2012-09-05 2013-09-05 图像处理装置及图像处理方法 Active CN103685968B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012194901 2012-09-05
JP2012-194901 2012-09-05
JP2012-233429 2012-10-23
JP2012233429A JP5633550B2 (ja) 2012-09-05 2012-10-23 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN103685968A CN103685968A (zh) 2014-03-26
CN103685968B true CN103685968B (zh) 2017-05-03

Family

ID=50187704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310399810.4A Active CN103685968B (zh) 2012-09-05 2013-09-05 图像处理装置及图像处理方法

Country Status (3)

Country Link
US (1) US9058640B2 (zh)
JP (1) JP5633550B2 (zh)
CN (1) CN103685968B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013054446A1 (ja) * 2011-10-14 2013-04-18 株式会社モルフォ 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP6087612B2 (ja) * 2012-12-17 2017-03-01 キヤノン株式会社 画像処理装置および画像処理方法
US8902328B2 (en) * 2013-03-14 2014-12-02 Konica Minolta Laboratory U.S.A., Inc. Method of selecting a subset from an image set for generating high dynamic range image
JP5840189B2 (ja) * 2013-10-02 2016-01-06 オリンパス株式会社 撮像装置、画像処理装置、および画像処理方法
WO2015077329A1 (en) * 2013-11-22 2015-05-28 Dolby Laboratories Licensing Corporation Methods and systems for inverse tone mapping
CN106134181B (zh) * 2014-03-24 2019-03-01 富士胶片株式会社 摄影装置
JP6432214B2 (ja) 2014-08-25 2018-12-05 株式会社リコー 画像処理装置、画像処理方法、記憶媒体及びプログラム
JP6333145B2 (ja) 2014-09-30 2018-05-30 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法および画像処理装置
JP2018524623A (ja) * 2015-05-14 2018-08-30 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ モバイル機器キャプチャからの最適画像選択方法
JP6521776B2 (ja) * 2015-07-13 2019-05-29 オリンパス株式会社 画像処理装置、画像処理方法
US10839487B2 (en) * 2015-09-17 2020-11-17 Michael Edwin Stewart Methods and apparatus for enhancing optical images and parametric databases
US9754358B1 (en) * 2015-09-21 2017-09-05 Rockwell Collins, Inc. Image content enhancement generating and presenting system, device, and method
US10853920B2 (en) * 2016-09-21 2020-12-01 Shimadzu Corporation Image processing apparatus
JP6755811B2 (ja) 2017-02-07 2020-09-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN107592472B (zh) * 2017-10-20 2019-12-20 思特威(上海)电子科技有限公司 多段曝光图像传感器的成像校正方法
JP7133930B2 (ja) * 2018-01-31 2022-09-09 シャープ株式会社 表示装置、画像処理装置、画像処理方法、および制御プログラム
KR102545642B1 (ko) * 2018-04-24 2023-06-21 스냅 인코포레이티드 효율적인 병렬 광학 흐름 알고리즘 및 gpu 구현
US10949959B2 (en) * 2019-02-18 2021-03-16 Samsung Electronics Co., Ltd. Processing image data in a composite image
CN113191994B (zh) * 2021-04-26 2023-11-21 北京小米移动软件有限公司 图像处理方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030298A (zh) * 2007-03-29 2007-09-05 杭州电子科技大学 多尺度自适应对比度变换的医学图像增强方法
WO2012017440A1 (en) * 2010-08-05 2012-02-09 Ramot At Tel-Aviv University Ltd. Method and system for processing an image featuring multiple scales

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783125B2 (en) * 2005-07-05 2010-08-24 Hewlett-Packard Development Company, L.P. Multi-resolution processing of digital signals
JP2007018379A (ja) * 2005-07-08 2007-01-25 Konica Minolta Medical & Graphic Inc 画像処理方法及び画像処理装置
US7856150B2 (en) * 2007-04-10 2010-12-21 Arcsoft, Inc. Denoise method on image pyramid
EP2026278A1 (en) * 2007-08-06 2009-02-18 Agfa HealthCare NV Method of enhancing the contrast of an image.
JP5359646B2 (ja) * 2008-08-01 2013-12-04 株式会社ニコン 画像処理方法
JP2010147895A (ja) * 2008-12-19 2010-07-01 Seiko Epson Corp 画像処理装置、集積回路装置及び電子機器
US8582889B2 (en) * 2010-01-08 2013-11-12 Qualcomm Incorporated Scale space normalization technique for improved feature detection in uniform and non-uniform illumination changes
JP5445235B2 (ja) 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5136665B2 (ja) * 2010-07-21 2013-02-06 カシオ計算機株式会社 画像処理装置、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030298A (zh) * 2007-03-29 2007-09-05 杭州电子科技大学 多尺度自适应对比度变换的医学图像增强方法
WO2012017440A1 (en) * 2010-08-05 2012-02-09 Ramot At Tel-Aviv University Ltd. Method and system for processing an image featuring multiple scales

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于梯度的多曝光图像融合》;吴伟华,钟声;《计算机与现代化》;20110630(第6期);18-21 *

Also Published As

Publication number Publication date
JP5633550B2 (ja) 2014-12-03
JP2014068330A (ja) 2014-04-17
US20140064632A1 (en) 2014-03-06
US9058640B2 (en) 2015-06-16
CN103685968A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
CN103685968B (zh) 图像处理装置及图像处理方法
KR101692401B1 (ko) 영상 처리 방법 및 장치
KR101267404B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
KR101566081B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기억 매체
JP4526445B2 (ja) 撮像装置
KR101204727B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기억 매체
KR101643613B1 (ko) 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체
JP5300756B2 (ja) 撮像装置及び画像処理方法
US8787675B2 (en) Image pickup device, image processing method, and storage medium storing program
CN1794783A (zh) 图像处理装置、图像处理方法及摄像装置
US9402037B2 (en) Imaging apparatus, image processing apparatus, and image processing method for generating random special effects
JP2011170816A (ja) 画像処理装置及びプログラム
CN101951457A (zh) 图像处理装置以及计算机可读介质
JP5562664B2 (ja) 画質調整装置および画質調整装置の制御方法
US20170154437A1 (en) Image processing apparatus for performing smoothing on human face area
US10861140B2 (en) Image processing apparatus, image processing method, and recording medium
US20140086506A1 (en) Image editing device and image editing method
US9013593B2 (en) Image editing device and image editing method
CN104243804A (zh) 摄像设备、图像处理设备及其控制方法
US20120008006A1 (en) Image processing apparatus, electronic camera, and medium storing image processing program
US9171358B2 (en) Image editing device and image editing method
US9208546B2 (en) Image processing apparatus, method and imaging apparatus
JP5335964B2 (ja) 撮像装置およびその制御方法
JP5282533B2 (ja) 画像処理装置、撮像装置およびプログラム
JP7279741B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant