CN103020927B - 图像处理设备和图像处理方法 - Google Patents
图像处理设备和图像处理方法 Download PDFInfo
- Publication number
- CN103020927B CN103020927B CN201210240392.XA CN201210240392A CN103020927B CN 103020927 B CN103020927 B CN 103020927B CN 201210240392 A CN201210240392 A CN 201210240392A CN 103020927 B CN103020927 B CN 103020927B
- Authority
- CN
- China
- Prior art keywords
- image
- region
- unit
- moving region
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 42
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 39
- 238000003786 synthesis reaction Methods 0.000 claims description 39
- 230000002093 peripheral effect Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 20
- 238000013507 mapping Methods 0.000 description 10
- 206010047571 Visual impairment Diseases 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
- H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理设备和图像处理方法。图像处理设备在合成多个图像时通过减少检测到运动的区域中的噪声来改善图像质量，其中，通过利用低噪声图像替换检测到运动的区域来减少运动区域中的噪声。
Description
技术领域
本发明涉及通过合成图像来扩大动态范围的技术。
背景技术
近年来，能够通过合成多个图像记录合成图像的诸如数字照相机等的大量摄像设备已经被开发为产品。这些摄像设备中的一些摄像设备具有用于通过将以与被摄体的亮度合适的曝光相比较高的曝光所拍摄的图像和以较低的曝光所拍摄的图像进行合成、来改善过曝光或暗部噪声的功能。将该功能称为高动态范围(HDR)功能。一般地，图像传感器的动态范围比自然界的动态范围窄。例如，当拍摄逆光场景时，可能发生过曝光。
当以较低曝光拍摄图像时，由于整个图像是暗的，因此，尽管可以抑制过曝光，但暗部噪声感劣化。相反，当以较高曝光拍摄图像时，由于整个图像是明亮的，因此，尽管发生过曝光，但暗部噪声感改善。利用高动态范围功能，可以通过针对明亮区域(过曝光等)将权重给予曝光不足图像并且相反地、针对暗的区域将权重给予过曝光图像，来合成具有低曝光和高曝光的多个图像，以改善过曝光和暗部噪声感。
在拍摄多个图像时被摄体运动的情况下，被摄体可能由于合成处理而变成二重像。结果，讨论了用于通过在检测到被摄体运动的区域中禁止合成处理来抑制二重像的技术。一般地，检测到被摄体运动的区域输出低曝光图像。这是因为，针对以高曝光所拍摄的图像，运动被摄体可能呈现过曝光。
日本特开2002-190983论述了以下技术：针对检测到被摄体运动的区域，输出曝光不足的图像并削弱轮廓强调的强度，以抑制被摄体变成二重像并且抑制在曝光不足的图像中的噪声感的放大。
如上所述，当合成多个图像时，可以通过针对检测到运动的区域禁止合成处理并原样输出曝光不足的图像来抑制二重像。然而，存在以下问题：针对检测到运动的区域，当输出曝光不足的图像时，在检测到运动的区域中的噪声感劣化。
尽管可以如日本特开2002-190983那样通过输出曝光不足的图像并削弱轮廓强调的强度来防止检测到被摄体运动的区域中由于噪声放大而引起的噪声感的进一步劣化，但难以改善曝光不足的图像中原有的噪声感。
发明内容
本发明的目标是在合成多个图像时，通过减少在检测到运动的区域中的噪声来提高图像质量。
根据本发明的方面，一种图像处理设备，能够通过合成多个图像来生成合成图像，所述图像处理设备包括：获取单元，用于获取多个图像，该多个图像包括具有第一曝光的第一图像、具有比所述第一曝光高的第二曝光的第二图像、以及至少一个具有比所述第一图像高的信噪比的低噪声图像；运动区域检测单元，用于检测所述第一图像和所述第二图像之间的差大于预定值的运动区域；替换区域设置单元，用于从所述运动区域中设置替换区域；以及合成单元，用于合成所述多个图像，其中，所述合成单元通过合成所述第一图像和所述第二图像来生成合成图像，并且利用所述低噪声图像的对应区域的图像来替换所述合成图像中的替换区域。
根据本发明的其它方面，一种用于通过合成多个图像来生成合成图像的图像处理方法，所述图像处理方法包括：第一摄像步骤，用于拍摄具有第一曝光的第一图像；第二摄像步骤，用于拍摄具有比所述第一曝光高的第二曝光的第二图像；第三摄像步骤，用于拍摄至少一个具有比所述第一图像高的信噪比的低噪声图像；检测所述第一图像和所述第二图像之间的差大于预定值的运动区域；从所述运动区域中设置替换区域；合成所述第一图像和所述第二图像以生成合成图像；以及利用所述低噪声图像的对应区域的图像来替换所述合成图像中的替换区域。
通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将变得明显。
附图说明
包含在说明书中并构成说明书的一部分的附图示出本发明的典型实施例、特征和方面，并与说明书一起用于说明本发明的原理。
图1示出根据第一典型实施例的结构示例。
图2示出运动区域信息生成单元的结构示例。
图3A、3B和3C示出运动区域信息。
图4示出替换区域信息生成单元的结构示例。
图5示出图像合成单元的结构示例。
图6示出用于生成替换区域信息的操作流程。
图7A~7F示出替换区域信息。
图8示出用于利用低噪声图像进行替换的操作流程。
图9A~9E示出替换处理。
具体实施方式
以下将参考附图详细说明本发明的各种典型实施例、特征和方面。
图1是示出在摄像设备中应用根据本典型实施例的图像处理设备的情况下的结构示例的框图。现在将参考图1说明根据本典型实施例的结构示例。
根据本典型实施例的摄像设备包括镜头101、摄像单元102、模拟/数字(A/D)转换单元103、照相机信号处理单元104、系统控制单元105(曝光不足计算单元和过曝光计算单元)和运动区域信息生成单元106(运动区域检测单元)。另外，摄像设备具有替换区域信息生成单元107(替换区域设置单元)、图像合成单元108(合成标准图像生成单元)、存储器109、色调映射单元110、图像记录单元111和图像显示单元112。接着，将说明根据本典型实施例的摄像设备的操作。
首先，镜头101将被摄体光引导至摄像单元102。摄像单元102使用诸如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)等的图像传感器拍摄被摄体的图像。将所获得的被摄体光转换成电信号，并且将电信号输出至A/D转换单元103。A/D转换单元103基于预定增益对模拟信号进行放大，并将放大后的模拟信号转换成数字信号。
照相机信号处理单元104对从A/D转换单元103输出的数字信号进行诸如白平衡和轮廓强调等的图像处理，并且输出所生成的图像数据。在本典型实施例中，由于基于显像处理后的亮度(Y)和色差(UV)信号来生成后述具有宽动态范围的合成图像数据，因而利用照相机信号处理单元104进行诸如白平衡和轮廓强调等的图像处理。
然而，用于生成合成图像数据的方法不限于此。具体地，在将数据输入至图像合成单元108的阶段，可以利用显像处理前的RAW图像格式。在该情况下，照相机信号处理单元104仅进行诸如像素插值处理等的显像前处理。
系统控制单元105将指示发送至照相机中的各块，控制各块，并进行运算处理。例如，系统控制单元105根据从照相机信号处理单元104输出的图像数据的亮度，基于快门速度和光圈来控制曝光。在本典型实施例中，摄像设备具有HDR摄像模式，HDR摄像模式基于系统控制单元105的控制，通过对以不同曝光多次拍摄被摄体所获得的图像数据进行合成，来生成动态范围比单个图像数据宽的图像数据。
运动区域信息生成单元106通过评价从照相机信号处理单元104输出的图像数据和利用存储器109延迟后的图像数据之间的像素差的绝对值，检测运动区域并输出运动区域信息。
替换区域信息生成单元107判断在后述的合成标准图像中要利用低噪声图像来替换的区域，并且输出替换区域信息。以下将详细说明用于生成替换区域信息的方法。
图像合成单元108合成从照相机信号处理单元104输出的图像数据和利用存储器109延迟后的图像数据。在该处理期间，图像合成单元108基于从照相机信号处理单元104输出的图像数据的亮度和由运动区域信息生成单元106所生成的运动区域信息来确定合成比率，合成图像数据，并将合成后的图像数据作为合成标准图像输出至存储器109。此外，图像合成单元108基于替换区域信息生成单元107所生成的替换区域信息和运动区域信息生成单元106所生成的运动区域信息，将从照相机信号处理单元104输出的图像数据和利用存储器109延迟后的合成标准图像进行合成。将合成后的图像数据输出至后述的色调映射单元110。
存储器109是用于记录从图像合成单元108输出的诸如合成标准图像等的图像的存储器。
色调映射单元110利用诸如伽马处理等的非线性处理、基于例如显示和记录用的各特性曲线，对合成图像数据进行色调压缩。
图像记录单元111基于预定压缩和编码方法对由色调映射单元110进行色调映射后的图像进行压缩和编码，并将所生成的数据记录在记录介质中。图像显示单元112由例如液晶面板构成。图像显示单元112将由色调映射单元110色调映射后的图像的大小调整为显示用的图像大小，并显示调整大小后的图像。
接着，将更详细地说明运动区域信息生成单元106、替换区域信息生成单元107和图像合成单元108的操作。
运动区域信息生成单元106
运动区域信息生成单元106通过评价从照相机信号处理单元104输出的图像数据和利用存储器109延迟后的图像数据之间的像素差的绝对值，检测运动区域并输出运动区域信息。以下将首先说明拍摄曝光不足图像的例子，然后说明拍摄过曝光图像的例子。在未进行图像合成单元108的图像合成处理的情况下，将曝光不足图像原样记录在存储器109中。摄像顺序不限于拍摄曝光不足图像、然后拍摄过曝光图像。可代替地，可以首先拍摄过曝光图像。
图2示出运动区域信息生成单元106的结构示例。
像素水平匹配单元201对从存储器109输出的曝光不足图像的亮度和从照相机信号处理单元104输出的过曝光图像的亮度进行均等化(标准化)。具体地，像素水平匹配单元201通过基于曝光差来放大曝光不足图像的像素值或减小过曝光图像的像素值，将曝光不足图像的亮度与过曝光图像的亮度进行匹配。
像素差绝对值计算单元202计算由像素水平匹配单元201进行像素水平匹配后的曝光不足图像和过曝光图像之间的各像素的像素差的绝对值。在运动区域中，该像素差的绝对值增大。相反，在静止区域中，该像素差的绝对值减小。
运动区域分组单元203在像素差绝对值计算单元202所计算出的各像素的像素差绝对值中形成像素差绝对值的组，判断各区域中是否存在运动，并输出所生成的运动区域信息。
图3A、3B和3C示意性示出通过运动区域信息生成单元106的操作所进行的处理。图3A示出以低曝光所拍摄的图像，图3B示出以高曝光所拍摄的图像，以及图3C示出运动区域信息。此外，图3A和3B示出具有由像素水平匹配单元201进行匹配后的像素水平的图像。在图3C中所示的运动区域信息中，将涂黑的部分判断为运动区域。
图3A、3B和3C示出明亮的矩形被摄体从左向右运动跨越暗背景的摄像场景。结果，在图3A的曝光不足图像中位于左侧的矩形被摄体朝向在图3B中的过曝光图像的中心运动。
像素差绝对值计算单元202针对各像素计算通过对图3A中的曝光不足图像进行标准化所获得的图像的像素值和图3B中的过曝光图像的像素值之间的像素差绝对值。由于矩形被摄体正在运动，因而该部分处的像素差绝对值增大。此外，由于作为除矩形被摄体以外的部分的背景部分不运动，因而像素差绝对值减小。
通过利用运动区域分组单元203对像素差绝对值进行分组来生成图3C所示的运动区域信息。因为作为矩形被摄体的运动目的地的区域a302和作为运动原点的区域a301具有绝对值较大的像素差，所以将图3C中的运动区域信息判断为运动区域。
基于以上操作，运动区域信息生成单元106检测运动区域并输出运动区域信息。
替换区域信息生成单元107
接着，将参考图4更详细地说明替换区域信息生成单元107。
运动区域亮度计算单元401(亮度计算单元)计算从存储器109输出的图像中由运动区域信息生成单元106所检测到的运动区域和运动区域周围区域的亮度。该亮度是例如各区域中各像素的平均亮度值。
运动区域图案判断单元402(图案评价单元)评价从存储器109输出的图像中由运动区域信息所表示的运动区域和运动区域周围区域的图案。具体地，例如，运动区域图案判断单元402计算运动区域或运动区域周围区域的亮度值的方差。如果方差大，则运动区域图案判断单元402判断为图案复杂(具有纹理)。如果方差小于预定值，则运动区域图案判断单元402判断为图案平滑。
替换区域判断单元403基于运动区域亮度计算单元401所计算出的运动区域和运动区域周围区域的亮度、以及运动区域图案判断单元402判断出的运动区域和运动区域周围区域的图案，来判断在合成标准图像中要利用低噪声图像来替换的区域。作为替换区域信息输出所判断出的合成图像中的替换区域。以下将详细说明用于判断替换区域的方法。
图像合成单元108
接着将参考图5更详细地说明图像合成单元108。
图5示出图像合成单元108的结构示例。
亮度计算单元501针对各像素计算从存储器109输出的图像的亮度。该亮度是例如辉度值。合成比率计算单元502基于亮度计算单元501所计算出的亮度和运动区域信息生成单元106所生成的运动区域信息来计算每个区域的合成比率。
具体地，对于明亮的区域，由于过曝光图像可能具有过度曝光，因而与针对过曝光图像相比，针对曝光不足图像将合成比率设置得较高。针对暗的区域，由于曝光不足图像可能示出阴影细节的丢失，因而与针对曝光不足图像相比，针对过曝光图像将合成比率设置得较高。此外，在运动区域中，如果合成多个图像，则在合成图像中，运动被摄体可能变成二重像。结果，与针对非运动区域相比，针对运动区域将曝光不足图像的合成比率设置得较高。
将曝光不足图像的合成比率设置得比过曝光图像高的原因是过曝光图像中的运动被摄体可能遭受过度曝光。合成单元503基于合成比率计算单元502所计算出的合成比率、对从照相机信号处理单元104输出的图像数据和从存储器109输出的图像数据按各区域进行合成。然而，在从替换区域信息生成单元107输出替换区域信息的情况下，合成单元503仅对作为合成对象区域的替换区域进行合成处理。在不与从存储器109输出的图像进行合成的情况下，原样输出除替换区域以外的区域。这里，将替换区域残存的合成图像称为“合成标准图像”。
接着，将参考图6和7说明替换区域信息生成单元107生成替换区域信息的操作流程。基于来自系统控制单元105的指示，利用各块进行图6和7中的操作。
当系统控制单元105检测到摄像设备进入用于生成动态范围比所拍摄图像数据宽的图像的HDR摄像模式时，处理从步骤S601开始。在步骤S601中，摄像设备处于等待对用于指示曝光控制和聚焦控制等的开始和保持的释放开关的半按下操作的待机状态。当半按下释放开关时，在步骤S602中，系统控制单元105确定摄像条件，包括确定进行适当摄像所使用的多个不同的曝光值(第一曝光、第二曝光和低噪声图像曝光)。
在步骤S603中，摄像单元102以低曝光值拍摄曝光不足图像(第一图像)。利用照相机信号处理单元104对该曝光不足图像进行信号处理，然后，将该曝光不足图像临时记录在存储器109中。在步骤S604中，摄像单元102以比具有低曝光值的曝光高的曝光值拍摄过曝光图像(第二图像和低噪声图像)。在步骤S605中，运动区域信息生成单元106输入从照相机信号处理单元104输出的过曝光图像和从存储器109输出的曝光不足图像，并且如上所述，基于像素差绝对值来生成运动区域信息。
在步骤S606中，图像合成单元108基于运动区域信息和图像亮度对从照相机信号处理单元104输出的过曝光图像和从存储器109输出的曝光不足图像进行合成，输出合成标准图像，并且将所输出的合成标准图像记录在存储器109中。在步骤S607中，替换区域信息生成单元107判断要利用低噪声图像替换的区域，并输出所生成的替换区域信息。
现在将参考图7详细说明用于判断替换区域的方法。与图3相同，图7示出明亮的矩形被摄体从左向右运动跨越暗背景的摄像场景。由于图7A、7B和7D与图3A、3B和3C相同，因而这里将省略其说明。
图7C示出利用图像合成单元108对图7A的曝光不足图像和图7B的过曝光图像进行合成后的合成标准图像。合成图7C中的合成标准图像，以使得关于基于图7D中的运动区域信息被判断为运动区域的区域(区域a301和区域a302)，图7A的曝光不足图像具有较高的合成比率。另一方面，关于基于图7D中的运动区域信息未被判断为运动区域的区域(除了区域a301和区域a302以外的区域)，由于在图7A的曝光不足图像和图7B的过曝光图像中，背景区域暗，因而将过曝光图像的合成比率设置得较高。
由此合成的图7C的合成标准图像混合了过曝光图像的合成比率高的区域和曝光不足图像的合成比率高的区域。由于曝光不足图像具有比过曝光图像差的信噪比(S/N)，因而在图7C的合成标准图像中，噪声感的不同在区域a301和a302与其周围区域之间变得特别显著。
运动区域亮度计算单元401和运动区域图案判断单元402在图7E的替换判断区域中，对由图7D的运动区域信息所表示的运动区域(区域a701和区域a702)和运动区域周围区域(区域a703和区域a704)进行亮度计算和图案评价。
替换区域判断单元403将运动区域亮度等于或小于预定值、并且运动区域和运动区域周围区域的亮度之间的差等于或小于预定值的运动区域设置为替换区域。
可选地，替换区域判断单元403将以下运动区域设置为替换区域：运动区域亮度等于或小于预定值，并且运动区域和运动区域周围区域的图案被判断为平滑。
这是因为与在明亮的区域中相比，在暗的区域中，差的S/N在视觉上更加显著。此外，与复杂图案区域相比，在平滑图案区域中，差的S/N趋向于在视觉上更加明显。在图7A~7F所示的例子中，当将运动区域a701和a702的合成标准图像的亮度与预定值(阈值)进行比较时，区域a702的亮度小于阈值(该区域较暗)。另外，在运动区域a702和运动区域周围区域a704的合成标准图像中的亮度的差小于预定值。在该情况下，如图7F所示，将区域a705(a702的区域)判断为替换区域。
同样，在图7A~7F中，运动区域a702和运动区域周围区域a704的合成标准图像图案都平滑，并且运动区域a701和运动区域周围区域a703超过标准值(都不平滑)。在该情况下，如图7F所示，将区域a705判断为替换区域。
在强调图像质量的情况下，在由运动区域信息所表示的所有运动区域中，在不限制判断为替换区域的运动区域的情况下，可以将所有的运动区域判断为替换区域。然而，存在的替换区域越多，为了获取替换区域的低噪声图像进行摄像的次数越多。因此，在强调减少整体摄像处理时间的情况下，期望基于上述两种判断方法来限制替换区域。
基于该操作流程，替换区域信息生成单元107生成替换区域信息。
接着，将参考图8和9说明图像合成单元108基于替换区域信息利用低噪声图像来替换合成标准图像的操作流程。
在步骤S801中，摄像单元102拍摄低噪声图像。该低噪声图像是至少与为生成合成标准图像所拍摄的曝光不足图像相比、具有较小的噪声或较高的信噪比的图像。例子包括通过改变曝光时间或光圈值所生成的以比曝光不足图像高的曝光所拍摄的图像、和以比在拍摄曝光不足图像时的A/D转换单元103的放大率(ISO感光度)低的放大率所拍摄的图像。
在步骤S802中，运动区域信息生成单元106输入从照相机信号处理单元104输出的低噪声图像和从存储器109输出的合成标准图像，并生成运动区域信息。在步骤S803中，图像合成单元108基于运动区域信息和替换区域信息对合成标准图像和低噪声图像进行合成。
将参考图9说明图像合成单元108所进行的合成方法。
图9A~9E是图3A~3C和图7A~7F的摄像场景的继续，其中，明亮的矩形被摄体从左向右运动跨越暗的背景。图9A和9E示出与图7C和7F相同的合成标准图像和替换区域信息。图9B示出低噪声图像。图9C示出对合成标准图像和低噪声图像进行合成后的合成图像。此外，图9D示出步骤S802中由运动区域信息生成单元106所生成的运动区域信息，其中，将图9A的合成标准图像和图9B的低噪声图像之间的像素差的绝对值大的区域a901和a902判断为运动区域。
图像合成单元108将由替换区域信息生成单元107所生成的图9E中的替换区域信息所表示的替换区域a903设置为合成对象区域，并且在不对除替换区域a903以外的区域进行合成处理的情况下原样输出图9A的合成标准图像。如由图9D的运动区域信息所示，由图9E的替换区域信息所表示的替换区域a903包括运动区域a902的一部分和不是运动区域的区域a904。
在替换区域a903中，图像合成单元108针对不是运动区域的区域a904，以高合成比率合成低噪声图像，并且针对运动区域，原样输出图9A的合成标准图像。具体地，由于在合成标准图像中，利用低噪声图像来替换与替换区域相对应且不是运动区域的区域来输出合成图像，因而与合成标准图像相比，合成图像具有较好的S/N。
在利用亮度计算单元501计算亮度时，在低噪声图像的替换区域且不是运动区域的区域过曝光或曝光不足的情况下，不必须利用低噪声图像来替换合成标准图像。
返回图8，在步骤S804中，通过从替换区域信息中去除在步骤S803中利用低噪声图像替换后的区域，来更新替换区域信息。
可以通过重复步骤S801~S804来生成具有改善的合成标准图像S/N的合成图像。在步骤S805中判断为满足以下结束条件中的任意一个的情况下，该重复处理结束。
-完成所有替换区域的替换。
-自从开始替换处理起，经过了预定时间。
-从用户发出停止替换处理的指示。
在从开始摄像至结束替换处理为止的时间段期间，不必须在图像显示单元112上显示图像。这是因为通过不显示图像，用户意识到摄像未完成，以使得用户在仍保持摄像设备的情况下继续摄像。
在步骤S806中，色调映射单元110对合成图像进行色调映射。在步骤S807中，将色调映射后的合成图像记录在图像记录单元111中。
在本典型实施例中，尽管说明了在生成合成标准图像之后拍摄低噪声图像的例子，但可以在生成合成标准图像之前拍摄低噪声图像。在这种情况下，将低噪声图像记录在存储器109中，并且由图像合成单元108用于进行图像合成。
其它实施例
还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的方面，其中，利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的步骤。为此，例如，通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
Claims (16)
1.一种图像处理设备，能够通过合成多个图像来生成合成图像，所述图像处理设备包括：
获取单元，用于获取多个图像，该多个图像包括具有第一曝光的第一图像、具有比所述第一曝光高的第二曝光的第二图像、以及至少一个具有比所述第一图像高的信噪比的低噪声图像；
运动区域检测单元，用于检测所述第一图像和所述第二图像之间的差大于预定值的运动区域；
替换区域设置单元，用于从所述运动区域中设置替换区域；以及
合成单元，用于合成所述多个图像，
其中，所述合成单元通过合成所述第一图像和所述第二图像来生成合成图像，并且利用所述低噪声图像的对应区域的图像来替换所述合成图像中的替换区域。
2.根据权利要求1所述的图像处理设备，其特征在于，还包括亮度计算单元，所述亮度计算单元用于计算所述运动区域的亮度，
所述替换区域设置单元将如下运动区域设置为所述替换区域：所述亮度计算单元所计算出的该运动区域的亮度等于或小于预定值。
3.根据权利要求2所述的图像处理设备，其特征在于，所述亮度计算单元还计算所述运动区域检测单元所检测到的运动区域的周围区域的亮度，以及
其中，所述替换区域设置单元将如下运动区域设置为所述替换区域：所述亮度计算单元所计算出的该运动区域的亮度等于或小于预定值，并且所述亮度计算单元所计算出的该运动区域的亮度和该运动区域的周围区域的亮度之间的差等于或小于预定值。
4.根据权利要求1所述的图像处理设备，其特征在于，还包括图案评价单元，所述图案评价单元用于评价所述运动区域的图案和所述运动区域周围的图案的平滑度，
其中，所述替换区域设置单元将如下运动区域设置为所述替换区域：该运动区域的图案比预定标准平滑，并且该运动区域周围的图案比所述预定标准平滑。
5.根据权利要求1所述的图像处理设备，其特征在于，所述运动区域检测单元还检测所述低噪声图像和所述合成图像之间的差大于预定值的运动区域，以及
在所述替换区域中不存在所述低噪声图像和所述合成图像之间的差大于预定值的运动区域的情况下，所述合成单元利用所述低噪声图像的对应区域的图像来替换所述合成图像中的替换区域。
6.根据权利要求1所述的图像处理设备，其特征在于，在所述替换区域中的所述低噪声图像没有过曝光或曝光不足的情况下，所述合成单元利用所述低噪声图像的对应区域的图像来替换所述合成图像中的替换区域。
7.根据权利要求1所述的图像处理设备，其特征在于，所述替换区域设置单元从所述替换区域去除所述替换区域中由所述合成单元利用所述低噪声图像替换后的区域。
8.根据权利要求1所述的图像处理设备，其特征在于，在利用所述低噪声图像替换了所有替换区域的情况下，所述合成单元结束替换。
9.根据权利要求1所述的图像处理设备，其特征在于，在从所述合成单元开始替换时起经过了预定时间之后，所述合成单元结束替换。
10.根据权利要求1所述的图像处理设备，其特征在于，还包括显示单元，所述显示单元显示由所述合成单元合成得到的图像，
其中，所述显示单元在所述合成单元的替换结束之前不显示所述合成图像。
11.根据权利要求1所述的图像处理设备，其特征在于，所述低噪声图像是以比所述第一曝光高的曝光所拍摄的图像。
12.根据权利要求1所述的图像处理设备，其特征在于，所述低噪声图像是以比所述第一图像小的放大率所拍摄的图像。
13.根据权利要求4所述的图像处理设备，其特征在于，所述图案评价单元计算所述运动区域的图像的方差，并且在所述方差等于或小于预定值的情况下判断为图像比所述预定标准平滑。
14.根据权利要求2所述的图像处理设备，其特征在于，所述亮度计算单元计算所述运动区域的图像的平均亮度，并且将所计算出的平均亮度设置为所述运动区域的亮度。
15.根据权利要求1所述的图像处理设备，其特征在于，所述合成单元以基于所述第一图像中各区域的亮度的合成比率合成所述第一图像和所述第二图像。
16.一种用于通过合成多个图像来生成合成图像的图像处理方法，所述图像处理方法包括：
第一摄像步骤，用于拍摄具有第一曝光的第一图像；
第二摄像步骤，用于拍摄具有比所述第一曝光高的第二曝光的第二图像；
第三摄像步骤，用于拍摄至少一个具有比所述第一图像高的信噪比的低噪声图像；
检测所述第一图像和所述第二图像之间的差大于预定值的运动区域；
从所述运动区域中设置替换区域；
合成所述第一图像和所述第二图像以生成合成图像；以及
利用所述低噪声图像的对应区域的图像来替换所述合成图像中的替换区域。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011152959A JP5787648B2 (ja) | 2011-07-11 | 2011-07-11 | 画像処理装置及び画像処理装置の制御方法 |
| JP2011-152959 | 2011-07-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103020927A CN103020927A (zh) | 2013-04-03 |
| CN103020927B true CN103020927B (zh) | 2015-09-02 |
Family
ID=47518732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210240392.XA Expired - Fee Related CN103020927B (zh) | 2011-07-11 | 2012-07-11 | 图像处理设备和图像处理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8982232B2 (zh) |
| JP (1) | JP5787648B2 (zh) |
| CN (1) | CN103020927B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5136664B2 (ja) * | 2010-07-09 | 2013-02-06 | カシオ計算機株式会社 | 画像処理装置、及びプログラム |
| KR101843450B1 (ko) * | 2011-08-23 | 2018-03-29 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
| US8977012B2 (en) * | 2012-10-31 | 2015-03-10 | Google Inc. | Image denoising system and method |
| JP6160292B2 (ja) * | 2013-06-24 | 2017-07-12 | 富士通株式会社 | 画像補正装置、撮像装置及び画像補正用コンピュータプログラム |
| US9172890B2 (en) * | 2013-07-01 | 2015-10-27 | Qualcomm Technologies, Inc. | Method, apparatus, and manufacture for enhanced resolution for images from high dynamic range (HDR) interlaced sensors |
| JP6227935B2 (ja) * | 2013-08-23 | 2017-11-08 | ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． | 画像処理装置および画像処理方法 |
| WO2015079481A1 (ja) * | 2013-11-26 | 2015-06-04 | 日立マクセル株式会社 | 撮像方法及び撮像装置 |
| US9307161B2 (en) * | 2014-01-10 | 2016-04-05 | Qualcomm Incorporated | System and method for capturing digital images using multiple short exposures |
| CN103873777A (zh) * | 2014-03-26 | 2014-06-18 | 深圳市金立通信设备有限公司 | 一种照片合成方法及终端 |
| JP6674255B2 (ja) * | 2015-12-28 | 2020-04-01 | キヤノン株式会社 | 固体撮像素子及び撮像装置 |
| US9871965B2 (en) * | 2016-02-03 | 2018-01-16 | Texas Instruments Incorporated | Image processing for wide dynamic range (WDR) sensor data |
| TWI626620B (zh) | 2016-12-20 | 2018-06-11 | 廣東歐珀移動通訊有限公司 | 圖像處理方法與裝置、電子裝置及計算機可讀儲存介質 |
| WO2018124268A1 (en) * | 2016-12-28 | 2018-07-05 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium |
| CN107231530B (zh) * | 2017-06-22 | 2019-11-26 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
| CN107770438B (zh) * | 2017-09-27 | 2019-11-29 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
| JP7135299B2 (ja) * | 2017-10-27 | 2022-09-13 | 株式会社リコー | 画像処理装置、表示装置、画像処理方法、プログラム |
| JP7214407B2 (ja) * | 2018-09-03 | 2023-01-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN110430372B (zh) * | 2019-09-02 | 2021-11-26 | 深圳市道通智能航空技术股份有限公司 | 图像曝光方法、装置、拍摄设备及无人机 |
| KR102451422B1 (ko) * | 2020-11-24 | 2022-10-07 | 울산과학기술원 | 초고해상도 이미지와 고속 광시야 이미지를 동시에 획득하는 방법 및 장치 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101079998A (zh) * | 2007-03-23 | 2007-11-28 | 腾讯科技（深圳）有限公司 | 一种视频通信系统及方法 |
| CN101512596A (zh) * | 2006-09-14 | 2009-08-19 | 富士通株式会社 | 图像处理方法和装置及其程序 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000050151A (ja) * | 1998-07-28 | 2000-02-18 | Olympus Optical Co Ltd | 撮像装置 |
| JP3731729B2 (ja) | 2000-12-20 | 2006-01-05 | 松下電器産業株式会社 | 画像合成回路 |
| JP4742453B2 (ja) * | 2001-06-20 | 2011-08-10 | ソニー株式会社 | 撮像方法および装置 |
| JP2004056573A (ja) * | 2002-07-22 | 2004-02-19 | Sony Corp | 映像信号処理方法、処理回路、及び撮像装置の駆動方法 |
| US20100091119A1 (en) * | 2008-10-10 | 2010-04-15 | Lee Kang-Eui | Method and apparatus for creating high dynamic range image |
| US8525900B2 (en) * | 2009-04-23 | 2013-09-03 | Csr Technology Inc. | Multiple exposure high dynamic range image capture |
| US8885978B2 (en) * | 2010-07-05 | 2014-11-11 | Apple Inc. | Operating a device to capture high dynamic range images |
-
2011
- 2011-07-11 JP JP2011152959A patent/JP5787648B2/ja active Active
-
2012
- 2012-07-06 US US13/543,528 patent/US8982232B2/en active Active
- 2012-07-11 CN CN201210240392.XA patent/CN103020927B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101512596A (zh) * | 2006-09-14 | 2009-08-19 | 富士通株式会社 | 图像处理方法和装置及其程序 |
| CN101079998A (zh) * | 2007-03-23 | 2007-11-28 | 腾讯科技（深圳）有限公司 | 一种视频通信系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013021490A (ja) | 2013-01-31 |
| JP5787648B2 (ja) | 2015-09-30 |
| US20130016253A1 (en) | 2013-01-17 |
| CN103020927A (zh) | 2013-04-03 |
| US8982232B2 (en) | 2015-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103020927B (zh) | 图像处理设备和图像处理方法 | |
| JP3762725B2 (ja) | 撮像システムおよび画像処理プログラム | |
| CN102104727B (zh) | 摄像装置以及摄像方法 | |
| US11600025B2 (en) | Image processing method, image processing apparatus, image processing system, and learnt model manufacturing method | |
| CN102801918B (zh) | 摄像设备和用于控制该摄像设备的方法 | |
| JP4127411B1 (ja) | 画像処理装置及び方法 | |
| US20110115942A1 (en) | Image processing device, imaging apparatus, imaging processing method, and program | |
| JP5123756B2 (ja) | 撮像システム、画像処理方法および画像処理プログラム | |
| JP2005130297A (ja) | 信号処理システム、信号処理方法、信号処理プログラム | |
| JP4818393B2 (ja) | 画像処理方法および画像処理装置 | |
| US20220198625A1 (en) | High-dynamic-range image generation with pre-combination denoising | |
| US10368017B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| CN108337450A (zh) | 图像处理装置、图像处理方法以及记录介质 | |
| WO2007142048A1 (ja) | 映像信号処理装置と映像信号処理方法、および映像信号処理プログラム | |
| US11418720B2 (en) | Apparatus, control method, and storage medium | |
| CN113905185A (zh) | 图像处理方法和装置 | |
| JP6080531B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
| US20180115728A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| JP4136776B2 (ja) | 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム | |
| KR102282464B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
| JP2008219230A (ja) | 撮像装置及び画像処理方法 | |
| JP3938098B2 (ja) | 補正装置、及び撮像装置 | |
| JP6075829B2 (ja) | 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体 | |
| JP4136775B2 (ja) | 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム | |
| US20230345132A1 (en) | Information processing apparatus, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150902 Termination date: 20210711 |