CN102025917A - 图像处理设备、图像捕捉设备、图像处理方法和程序 - Google Patents
图像处理设备、图像捕捉设备、图像处理方法和程序 Download PDFInfo
- Publication number
- CN102025917A CN102025917A CN2010102806739A CN201010280673A CN102025917A CN 102025917 A CN102025917 A CN 102025917A CN 2010102806739 A CN2010102806739 A CN 2010102806739A CN 201010280673 A CN201010280673 A CN 201010280673A CN 102025917 A CN102025917 A CN 102025917A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- composograph
- moving region
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
提供一种图像处理设备、图像捕捉设备、图像处理方法和程序。图像处理设备包含:图像合成单元,其通过合成具有不同曝光时间的所拍照图像来产生合成图像;和运动区域检测单元,其对由图像合成单元产生的多个合成图像执行比较处理以获得像素值差,并且执行运动区域检测处理,该处理比较像素值差和预定阈值,并且确定像素值差等于或大于阈值的像素区域是对象的运动被估计为已经发生的运动区域。
Description
技术领域
本发明涉及图像处理设备、图像捕捉设备、图像处理方法和程序,并且更具体地涉及能够通过使用具有不同曝光时间的多个图像的图像合成处理来产生具有宽动态范围的高质量输出图像的图像处理设备、图像捕捉设备、图像处理方法和程序。
背景技术
用于摄像机、数字静止图像摄像机等等的诸如CCD图像传感器或CMOS(互补金属氧化物半导体)图像传感器的固态成像装置根据入射光量执行存储电荷的光电转换并且输出对应于累积的电荷的电信号。然而,由于光电转换单元中的电荷累积量存在上限,所以如果接收预定光量或更多,则累积的电荷量达到饱和水平,使得设置了饱和亮度水平的所谓雪盲(white-out)出现在亮度是预定值或更多的对象区域中。
为了防止这个现象,已有一种处理,其中通过根据外界光变化等等控制光电转换单元中的电荷累积时段来调整曝光时间,使得灵敏度被控制到最优值。例如,针对亮的对象,通过用高速快门释放缩短曝光时间来减少光电转换单元中的电荷累积时段,使得在累积的电荷量达到饱和水平之前输出电信号。通过这种处理,可以输出准确地再现根据对象的灰度级的图像。
然而,在亮和暗部分混合的对象的拍照中,如果使用高速快门释放,则不保证暗部分的充分曝光时间。因此,S/N被降低,使得图像质量退化。通过这种方式,在亮和暗部分混合的对象的图像拍照中,为了准确地再现亮和暗部分的亮度水平,针对入射光量小的图像传感器的像素,可能需要通过长曝光时间实现高S/N,并且针对入射光量大的像素,可能需要提供避免饱和的处理。
作为实现这种处理的方法,已知一种使用具有不同曝光时间的多个图像的方法。换句话说,在该方法中,长时间曝光图像用于暗图像区域,并且短时间曝光图像用于长时间曝光图像中雪盲化的亮图像区域,使得最优像素水平可以被确定。以这种方式,通过合成具有不同曝光的多个图像,可以获得具有宽动态范围、没有雪盲的图像。
例如,日本未审专利申请公开说明书No.2008-99158公开了通过合成具有不同曝光量的多个图像来获得具有宽动态范围的图像的配置。参考图1描述该过程。例如,在运动图片拍照中,成像装置在视频速率(30-60fps)内输出具有不同曝光时间的两个图像数据。此外,在静止图片拍照中,成像装置也产生和输出具有不同曝光时间的两个图像数据。图1是图解由成像装置产生的、具有不同曝光时间的两个图像(长时间曝光图像和短时间曝光图像)的特性的图。水平轴是时间(t),并且垂直轴是构成对应于固态成像装置的一个像素的光电转换单元的光敏光电二极管(PD)中累积的电荷量(e)。
例如,在光敏光电二极管(PD)的感测光量大的情况下,即在对应于亮对象的情况下,如图1中高亮度区域11所示,电荷累积量随着时间推移快速地增加。另一方面,在光敏光电二极管(PD)的所感测光量小的情况下,即在对应于暗对象的情况下,如图1的低亮度区域12所示,电荷累积量随着时间推移逐渐地增加。
时间t0到t3对应于用于获得长时间曝光图像的曝光时间TL。针对在曝光时间TL被设置成长时间的低亮度区域12中图解的线,在时间t3处,电荷累积量未达到饱和水平(非饱和点Py)。因此,可以通过像素的灰度级水平获得准确的灰度级表示,其中通过使用根据电荷累积量(Sa)获得的电信号来确定像素的灰度级水平。
然而,针对在高亮度区域11中图解的线,显然,在时间t3之前,电荷累积量已经达到饱和水平(饱和点Px)。因此,在这样的高亮度区域11中,从长时间曝光图像中只获得只有对应于具有饱和水平的电信号的像素值,使得形成雪盲化像素。
因此,在这样的高亮度区域11中,在时间t3之前的一个时间处,例如在图中图解的时间t1(电荷清除启动点P1)处,光敏光电二极管(PD)中的累积的电荷被清除。不对光敏光电二极管(PD)中的所有累积电荷执行电荷清除,但是电荷清除被分行到光电二极管(PD)中控制的中间电压持续水平。在电荷清除处理之后,再次以曝光时间TS(t2到t3)执行短时间曝光。换句话说,在图中图解的从短时间曝光开始点P2到短时间曝光结束点P3时间段内,执行短时间曝光。通过短时间曝光获得电荷累积量(Sb),并且根据电信号确定像素的灰度级水平,该电信号是根据电荷累积量(Sb)获得的。
此外,在根据下述因素确定像素值的情况下:根据通过在低亮度区域12中的长时间曝光而获得的电荷累积量(Sa)来获得的电信号,和根据通过在高亮度区域251中的短时间曝光而获得的电荷累积量(Sb)来获得的电信号,计算同时执行曝光的情况的估计电荷累积量,或对应于估计电荷累积量的电信号输出值,并且根据所计算的结果来确定像素值水平。
以这种方式,通过合成短时间曝光图像和长时间曝光图像,可以获得具有宽动态范围、没有雪盲的图像。
然而,具有不同曝光量的多个图像是在时间不同的各个定时处拍照的图像。因此,如果对象的运动在该时间内发生,则在合成图像的时候图像存在差异。结果,运动对象区域的图像区域中伪彩色的出现导致图像质量退化的问题等等。
作为公开减轻这种问题的技术的相关技术,例如,存在日本未审专利申请公开说明书No.2000-50151。
在日本未审专利申请公开说明书No.2000-50151中,所公开的是比较具有不同曝光量的多个图像以指定存在运动的像素区域并且执行校正的配置。处理的细节如下。首先,获得长时间曝光图像(LE)和短时间曝光图像(SE),并且获得曝光比A(=LE/SE),该曝光比A是长时间曝光图像(LE)的曝光量与短时间曝光图像(SE)的曝光量的比率。此外,针对每个像素,计算(LE-SE×A)。在完全相同对象被拍照的情况下,(LE-SE×A)=0。针对未满足(LE-SE×A)=0的像素,很可能在长时间曝光图像(LE)和短时间曝光图像(SE)中拍照不同的对象,并且这样的像素区域被识别为运动区域。
换句话说,在拍照相同对象的情况下,长时间曝光图像(LE)的输出值(亮度)和短时间曝光图像(SE)的输出值(亮度)之间的对应关系被设置在如图2所示的斜率为A(=曝光比)的线上。在对应关系偏离线的情况下,确定区域中存在运动。
然而,在实际情况中,由于构成成像装置的PD或晶体管的特殊产品存在变化,所以难以准确地根据(LE-SE×A)=0的满足或不满足来确定是否存在对象的运动。例如,可以通过设置阈值(Th)并且确定是否满足|LE-SE×A|<Th来降低装置间的小变化。然而,由于装置之间的变化根据设备而发生改变,所以存在难以设置最优阈值的问题。
发明内容
期望提供能够准确地确定存在对象的运动的区域的图像处理设备、图像捕捉设备、图像处理方法和程序,这种对象运动可导致图像质量退化,例如在通过合成具有不同曝光时间的多个图像来产生具有宽动态范围的图像时出现伪彩色。
在本发明的第一实施例中,提供了一种图像处理设备,包含:图像合成单元,其通过合成具有不同曝光时间的所拍照图像来产生合成图像;和运动区域检测单元,其对由图像合成单元产生的多个合成图像执行比较处理以获得像素值差,并且其执行运动区域检测处理,该处理比较像素值差和预定阈值,并且确定像素值差等于或大于阈值的像素区域是对象的运动被估计为已经发生的运动区域。
此外,在根据本发明一个实施例的图像处理设备中,图像合成单元被配置为每当具有不同曝光时间的一个拍照图像被输入时,通过合成新输入图像和具有不同曝光时间的已完成输入的所拍照图像来产生合成图像,并且该运动区域检测单元通过比较由图像合成单元产生的两个连续合成图像的对应像素的像素值,执行运动区域检测处理。
此外,在根据本发明一个实施例的图像处理设备中,该图像处理设备包含:合成前图像比较单元,其通过在要合成的图像之间比较对应像素的输出值来获得要合成的图像之间的像素值差,其中要合成的图像是用于合成图像的生成的来源;和过检测移除单元,其比较要合成的图像之间的像素值差和预定第二阈值,并且针对由运动区域检测单元检测的运动区域的对应像素,确定要合成的图像之间的像素值差小于第二阈值的像素区域不是运动区域。
此外,在根据本发明一个实施例的图像处理设备中,图像处理设备包含图像质量退化区域检测单元,其通过使用要合成的图像的像素对应选择信息,确定这样的像素区域作为图像质量退化区域:在所述像素区域中,具有不同曝光时间的所拍照图像的像素被设置成合成图像上的相邻像素的像素区域,其中要合成的图像是用于合成图像的生成的来源,并且输出图像质量退化运动区域检测信息,其中作为由运动区域检测单元检测的运动区域并且作为图像质量退化区域的像素区域被提取为图像质量退化运动区域。
此外,在根据本发明一个实施例的图像处理设备中,该图像处理设备包含:输出值有效区域检测单元,其通过使用关于要合成的图像的像素对应选择信息,针对合成图像的像素获得要合成的图像的像素值,其中要合成的图像是用于合成图像的生成的来源,并且在要合成的图像的像素值在零或饱和值附近的情况下,确定所述像素区域具有低有效性的输出值;和图像质量退化区域检测单元,其确定由输出值有效区域检测单元检测的具有低有效性的输出值的像素区域为具有高可能性的图像质量退化的图像质量退化区域,并且其输出图像质量退化运动区域检测信息,所述图像质量退化运动区域检测信息指示作为由运动区域检测单元检测的运动区域并且作为图像质量退化区域的所述像素区域被提取为图像质量退化运动区域。
此外,在根据本发明一个实施例的图像处理设备中,该图像处理设备包含:第二运动区域检测单元,其通过使用作为用于合成图像的生成的来源的要合成的图像的像素对应选择信息,确定像素处于运动区域中,其中该像素是作为被用于合成图像的像素的长时间曝光图像的像素,并且具有有效像素值,使得对应于该像素的短时间曝光图像的像素的值不在零附近;和检测结果集成单元,其输出运动区域检测信息,其中由运动区域检测单元确定为运动区域并且由第二运动区域检测单元确定为运动区域的区域被设置成最终运动区域。
在本发明的第二实施例中,提供了一种图像处理设备,包含:图像合成单元,其通过合成具有不同曝光时间的所拍照图像来产生合成图像;和输出值有效区域检测单元,其通过使用关于要合成的图像的像素对应选择信息,针对合成图像的像素获得要合成的图像的像素值,其中要合成的图像是用于合成图像的生成的来源,在要合成的图像的像素值在零或饱和值附近的情况下确定所述像素区域具有低有效性的输出值,并且输出图像质量退化区域检测信息,其中该区域被清楚地指示为具有高可能性的图像质量退化的图像质量退化区域。
在本发明的第三实施例中,提供了一种图像处理设备,包含:图像合成单元,其通过合成具有不同曝光时间的所拍照图像来产生合成图像;和运动区域检测单元,其通过使用作为用于合成图像的生成的来源的要合成的图像的像素对应选择信息,确定像素处于运动区域中,其中该像素是长时间曝光图像的像素并且具有有效像素值,使得对应于该像素的短时间曝光图像的像素的值不在零附近,并且输出清楚地指示该运动区域的运动区域检测信息。
在本发明的第四实施例中,提供了一种图像处理设备,包含检测单元,其计算具有不同曝光时间的所拍照图像的对应像素的像素值差和预定相关信息之间的差,并且在该差值大于预定阈值的情况下,确定存在运动区域。
此外,在根据本发明一个实施例的图像处理设备中,根据作为比较对象的具有不同曝光时间的图像的输出值的相关产生该相关信息。
在本发明的第五实施例中,提供了具有图像处理设备的成像设备,其中该图像处理设备还包含:成像装置,其捕捉具有不同曝光时间的所拍照图像;和图像处理单元,其执行根据权利要求1至10中任何一个所述的成像处理。
在本发明的第六实施例中,提供了在图像处理设备中执行的一种图像处理方法,其包含步骤:图像合成单元,通过合成具有不同曝光时间的所拍照图像来产生合成图像;以及,运动区域检测单元,对由图像合成单元产生的多个合成图像执行比较处理以获得像素值差,并且执行比较该像素值差和预定阈值的运动区域检测处理,并且确定像素值差等于或大于该阈值的像素区域为对象的运动被估计为已经发生的运动区域。
在本发明的第七实施例中,提供了允许图像处理设备执行成像处理的程序,成像处理包含步骤:允许图像合成单元通过合成具有不同曝光时间的所拍照图像来产生合成图像;和允许运动区域检测单元对由图像合成单元产生的多个合成图像执行比较处理以获得像素值差,并且执行比较像素值差和预定阈值的运动区域检测处理,并且确定像素值差等于或大于该阈值的像素区域为对象的运动被估计为已经发生的运动区域。
此外,根据本发明的处理是例如可以通过具有计算机可读格式的存储介质或通信介质提供给可以执行各种程序/代码的信息处理设备或计算机/系统的程序。这样的程序以计算机可读格式提供,使得根据该程序的处理在信息处理设备或计算机/系统中实现。
通过根据随后描述的本发明的实施例或附图的详细说明会明白本发明的其它目的、特性或优点。此外,在本说明书中,系统表示多个设备的逻辑集成配置,并且该配置的每个设备不限于被包含在同一外壳内。
根据本发明的一个实施例的配置,在输入具有不同曝光时间的多个图像并且通过有选择地合成有效像素值来产生具有宽动态范围的图像的处理中,可以有效地检测出导致出现图像质量退化,例如伪彩色的对象的运动区域。例如,执行由具有不同曝光时间的多个图像产生的合成图像的比较,并且根据比较结果检测运动区域。根据该处理,可以执行能够抑制由成像装置的特性差异导致的错误检测的高准确运动区域检测。
附图说明
图1是图解通过合成具有不同曝光量的多个图像来获得具有宽动态范围的图像的处理的图。
图2是图解长时间曝光图像(LE)的输出值(亮度)和短时间曝光图像(SE)的输出值(亮度)之间的对应关系的图。
图3是图解根据本发明的、图像处理设备的整个结构的例子的图。
图4是图解根据本发明的第一实施例的图像处理设备的图像处理单元104的处理的图。
图5是图解通过合成具有曝光时间T1到T4的四个图像来产生具有宽动态范围的一个图像的合成处理的例子的图。
图6是图解合成图像的像素值之间的对应关系的图。
图7是图解通过使用合成图像之间的相关来检测运动区域的处理的图。
图8是图解由根据第二实施例的图像处理设备执行的图像处理的图。
图9是图解根据第二实施例的图像处理设备的处理的模块图。
图10是图解根据第二实施例的图像处理设备的处理的模块图。
图11是图解由根据第三实施例的图像处理设备执行的图像处理的图。
图12是图解长时间曝光图像的输出值和短时间曝光图像的输出值之间的对应关系的图。
图13是图解根据第三实施例的图像处理设备的处理的模块图。
图14是图解第四实施例的概念的图。
图15是图解根据第四实施例的图像处理设备的处理的模块图。
图16A和16B是图解比较检测对象像素和相邻像素的比较处理的图。
图17是图解根据第五实施例的图像处理设备的处理的模块图。
图18是图解根据第六实施例的图像处理设备的处理的模块图。
图19是图解在对象运动的情况下成像设备的输出信号的例子的图。
图20是图解根据第七实施例的图像处理设备的处理的模块图。
图21是图解根据第八实施例的图像处理设备的处理的模块图。
图22是图解根据第九实施例的图像处理设备的处理的模块图。
图23是图解根据第九实施例的图像处理设备的处理的模块图。
图24是图解根据第十实施例的图像处理设备的处理的模块图。
图25是图解长时间曝光图像的输出值和短时间曝光图像的输出值之间的对应关系的图,此关系被用于根据第十实施例的图像处理设备的处理。
具体实施方式
下面参考附图描述根据本发明的图像处理设备、图像捕捉设备、图像处理方法和程序。按下面的顺序进行描述。
1.图像处理设备的整体配置
2.图像处理设备的详细实施例
1.图像处理设备的整体配置
首先,参考图3描述根据本发明的图像处理设备的整体配置的例子。
图3是图解作为根据本发明的图像处理设备的一个例子的图像捕捉设备的配置的例子的模块图。穿过光学透镜101进入的光线入射到用例如CMOS图像传感器等等构成的成像装置102,并且输出通过光电转换获得的图像数据。将该输出图像数据通过存储器103输入到图像处理单元104。控制单元105根据例如存储器(未示出)中存储的程序向每个部件输出控制信号以控制各种处理。
成像装置102产生具有不同曝光时间的多个图像111到114。将具有不同曝光时间的多个图像111到114输入图像处理单元104,并且图像处理单元104执行合成处理以产生输出图像120。在此后描述的实施例中,在将来自成像装置102的具有不同曝光时间的四种图像输入图像处理单元104的配置中进行描述。换句话说,如图3中所示,图像如下。
图像1(曝光时间T1)111
图像2(曝光时间T2)112
图像3(曝光时间T3)113
图像4(曝光时间T4)114
这里,T1<T2<T3<T4。
图像处理单元104被输入来自成像装置102的具有不同曝光时间(T1到T4)的四种图像,以根据具有不同曝光时间的多个图像生成输出图像120。
如上所述,从成像装置输出的电信号取决于入射到该成像装置的光的量。因此,在某个曝光时间(长时间曝光)的情况下,对应于亮对象的像素中从光电转换单元输出的电信号可能达到饱和水平。结果,这些像素变成所谓的雪盲像素,其中对应于饱和水平的电信号被输出,使得灰度级差不可感知。
例如,由于避免这种雪盲以获得反映对象的亮度水平的输出,所以允许生成在从长时间曝光到短时间曝光的范围中的多个图像数据,并且图像处理单元104对多个图像执行合成处理以获得输出图像120。例如,针对被估计为通过执行长时间曝光达到饱和水平的像素,执行根据通过执行短时间曝光获得的数据来计算像素值并且输出像素值的这种处理。
在由与本发明的申请人相同的申请人提交的日本未审专利申请公开说明书No.2008-99158或2008-227697中公开了获得具有不同曝光时间的多个图像的处理。基本上,通过与其中公开的方法相同的方法获得具有不同曝光时间的多个图像,使得生成不存在雪盲像素的合成图像。此外,尽管日本未审专利申请公开说明书No.2008-99158或2008-227697公开了获得包含长时间曝光图像和短时间曝光图像的两种图像的处理,但在本发明中,可以根据具有不同曝光时间的四种图像执行各处理。
如上所述,具有不同曝光量的多个图像是在时间不同的定时处拍照的图像。因此,如果对象的运动在该时间内出现,则在合成图像时图像中存在差异。结果,运动图像区域的伪彩色的出现导致图像质量退化的问题等等。
图像处理单元104在执行合成从成像装置102输入的图像的处理之前,执行确定这样的图像区域的处理:在该图像区域中,对象的运动被估计为已经发生。对通过运动确定方法确定为运动区域的像素区域执行校正处理,并且之后生成合成图像。此后,描述通过使用具有不同曝光时间的多个图像来检测运动图像区域的处理的详细实施例。
2.图像处理设备的详细实施例
此后,描述图3中图解的图像处理设备的配置和处理的详细实施例。
(2-1)第一实施例
图4是图解根据本发明第一实施例的图像处理设备的图像处理单元104的处理的图。处理随着时间推移沿上部中图解的时间轴(t)上从左到右的方向进行。换句话说,随着时间推移,包含具有曝光时间(T1)的图像1、具有曝光时间(T2)的图像2、具有曝光时间(T3)的图像3、具有曝光时间(T4)的图像4...的图像被顺序地输入和处理。
图像处理单元104顺序地输入通过成像装置102获得的、具有不同曝光时间的四个图像,包含具有曝光时间(T1)的图像1、具有曝光时间(T2)的图像2、具有曝光时间(T3)的图像3、具有曝光时间(T4)的图像4。接着,类似地,图像处理单元104顺序地输入具有不同曝光时间的四个图像,包含具有曝光时间(T1)的图像5、具有曝光时间(T2)的图像6、具有曝光时间(T3)的图像7、具有曝光时间(T4)的图像8。此后,重复相同处理。此外,曝光时间T1到T4满足T1<T2<T3<T4。
图像处理单元104根据需要通过使用具有曝光时间T1到T4的四个图像来构成具有宽动态范围的一个图像。参照图5说明该合成处理的例子。图5不同于图1的地方在于除了获得长时间曝光图像和短时间曝光图像的两个图像之外,使用四种曝光时间,并且该合成处理基本上与图1的合成处理相同。
在图5中,水平轴是时间(t),并且垂直轴是光敏光电二极管(PD)中累积的电荷量(e),其中光敏光电二极管(PD)构成对应于构成成像装置102的固态成像装置的一个像素的光电转换单元。例如,在光敏光电二极管(PD)的感测光量大的情况下,即在对应于亮对象的情况下,如图5中超高亮度区域151所示,电荷累积量随着时间推移快速地增加。另一方面,在光敏光电二极管(PD)的感测光量小的情况下,即在对应于暗对象的情况下,如图5的低亮度区域154所示,电荷累积量随着时间推移逐渐地增加。在高亮度区域152和中等亮度区域153之间存在亮对象。换句话说,对象的亮度顺序如下。
超高亮度区域151>高亮度区域152>中等亮度区域153>低亮度区域154
在低亮度区域154中的像素处,尽管执行了最长曝光时间(T4)的曝光,但电荷累积量未达到饱和水平。因此,可以由通过使用图的右端图解的[长时间曝光输出]信号确定的像素的灰度级水平获得准确的灰度级表示,该[长时间曝光输出]信号是在经过曝光时间(T4)之后基于电荷累积量获得的。
然而,针对超高亮度区域151、高亮度区域152和中等亮度区域153中图解的线,在最长曝光时间(T4)之前,很可能电荷累积量已经达到饱和水平。因此,在这样的像素区域中,从长时间曝光图像中只获得对应于具有饱和水平的电信号的像素值,使得形成雪盲像素。
因此,在对应于从超高亮度区域151到中等亮度区域153的范围的像素中,首先,在每个预定定时(tp1,tq1和tr1)处,光敏光电二极管(PD)中累积的电荷被清除。不对光敏光电二极管(PD)中的所有累积电荷执行电荷清除,而是将电荷清除执行到光电二极管(PD)中控制的中间电压持续水平。在电荷清除处理之后,再次以曝光时间(T1=tp1到tp2)、曝光时间(T2=tq1到tq2)和曝光时间(T3=tr1到tr2)执行曝光处理。换句话说,如图所示,执行具有短时间曝光时间(T1)、短时间曝光时间(T2)和短时间曝光时间(T3)的短时间曝光。
以这种方式,通过各曝光时间获得对应于多个不同曝光时间T1到T4(T1<T2<T3<T4)的电荷累积量,并且根据电信号确定像素的灰度级水平,其中电信号是根据电荷累积量获得的。此外,当要基于电信号确定像素值时,其中基于根据每个曝光时间获得的电荷累积量来获得此电信号,计算在执行等时间曝光的情况下的估计电荷累积量,或对应于估计电荷累积量的电信号输出值,并且根据计算结果确定像素值水平。以这种方式,通过合成短时间曝光图像和长时间曝光图像,可以获得具有宽动态范围、无雪盲的图像。
此外,曝光时间T1到T4可以被设置为例如T4=1/30秒,T3=1/300秒,T2=1/3000秒和T1=1/30000秒。例如,在T1到T4的这种设置中,如果将图3中图解的输出图像120生成为具有曝光时间T1到T4的四个图像的合成图像,则在输出图像120是运动图片的情况下,对应于30fps的运动图片可以被顺序地生成。
这是由于可以每隔T4=1/30秒根据从(超高亮度像素)=(曝光时间T1)的曝光图像到(低亮度像素)=(曝光时间T4)的曝光图像的范围中的图像生成合成图像。
然而,具有不同曝光量,即曝光时间T1到T4的多个图像是在时间不同的定时处拍照的图像。因此,如果对象的运动在该时间内出现,则在合成图像时图像中存在差异。结果,运动对象区域的图像区域中伪彩色的出现导致图像质量退化的问题等等。
根据本发明的图像处理设备100的图像处理单元104识别运动对象的图像区域以解决该问题。此外,此后,运动的对象被称为″运动对象″,并且运动对象的所捕捉图像区域被称为″运动区域″。
如图4所示,根据实施例的图像处理单元104通过使用多个合成后图像识别运动区域。
如图4所示,图像处理单元104包含图像合成单元201和运动区域检测单元202。此外,尽管图4中图解了两个图像合成单元201,但这个图解表示前面执行了合成图像1到4的处理,并且之后,执行合成图像5到8的处理。因此,这个图解表示一个图像合成单元201顺序地执行处理。换句话说,不一定有多个图像合成单元,一个图像合成单元201可以是足够的。
运动区域检测单元202比较由图像合成单元201生成的两个合成图像以确定运动区域。换句话说,两个合成图像如下。
通过合成图像1到4的处理生成的合成图像a 141a
通过合成图像5到8的处理生成的合成图像b 141b
运动区域检测单元202比较顺序生成的两个合成图像,并且检测图像中包含的运动区域。检测结果被作为运动区域检测信息143输出。
运动区域检测单元202在合成后图像之间比较像素值。在对象没有运动的情况下,在相同坐标处的像素值彼此一致。换句话说,合成图像a,141a存在的坐标处的高亮度像素与合成图像b,141b的对应坐标处的高亮度像素相同,并且合成图像a,141a的低亮度像素与合成图像b,141b的低亮度像素相同。图6中图解了像素值之间的对应关系。
在图6中,水平轴表示当前合成图像(合成图像b,141b)的像素值(0到最大),并且垂直轴表示先前合成图像(合成图像a,141a)的像素值(0到最大)。例如,在当前合成图像(合成图像b,141b)所处的坐标(x1,y1)处的像素值是p1的情况下,先前合成图像(合成图像a,141a)的相同坐标处的像素值也是p1。换句话说,在对象没有运动的情况下,在相同坐标处的像素值彼此一致,使得像素值可以位于图中图解的具有斜率1的直线上。
此外,如图6所示,当前合成图像(合成图像b,141b)和先前合成图像(合成图像a,141a)中的任何一个是通过合成具有不同曝光时间,即曝光时间T1到T4的图像的处理而生成的图像。换句话说,根据具有短曝光时间T1的图像确定作为高亮度区域的像素区域中的像素值,并且根据具有长曝光时间T4的图像确定作为低亮度区域的像素区域中的像素值,使得当前和先前合成图像中的任何一个是通过合成具有曝光时间(T1到T4)的多个图像的处理而生成的合成图像。
如图6所示,具有曝光时间T1到T4的图像的曝光比如下。
A1:T4与T1的曝光比(T4/T1)
A2:T4与T2的曝光比(T4/T2)
A3:T4与T3的曝光比(T4/T3)
例如,如图6所示,通过将曝光比A1到A3和具有曝光时间T1到T4的图像的每一个输出信号相乘的处理来确定输出像素值。换句话说,低亮度区域中的像素值根据具有曝光时间T4的图像来确定;中等亮度区域中的像素值根据具有曝光时间T3的图像来确定;高亮度区域中的像素值根据具有曝光时间T2的图像来确定;并且超高亮度区域中的像素值根据具有曝光时间T1的图像来确定。
合成方法是在当前合成图像(合成图像b,141b)和先前合成图像(合成图像a,141a)中相同的处理。在对象没有运动的情况下,在相同坐标处的像素值彼此一致,使得像素值可以位于图6中图解的具有斜率1的直线上。
根据第一实施例的图像处理单元104通过使用合成图像之间的相关来检测运动区域。参考图7描述该处理。
图7是图解根据第一实施例的图像处理单元104的处理的模块图。成像装置102输出图像111到114(曝光时间=T1到T4),并且存储图像在存储器103中。
图像处理单元104输入图像111到114(曝光时间=T1到T4)并且允许图像合成单元201执行图像合成处理以生成合成图像。如前面在图6中所图解的,图像合成单元201合成具有根据亮度的不同曝光时间的图像,以生成移除具有饱和像素值的雪盲像素的合成图像。此外,如前面参考图4所描述的,图像合成单元201通过将具有四种不同曝光时间的四个图像作为一个组,顺序地生成合成图像。
由图像合成单元201生成的合成图像被输入到运动区域检测单元202。例如,在由四个图像生成的合成图像a和由接着的四个图像生成的合成图像b被连续地输入的情况下,运动区域检测单元202传过前面输入的合成图像a,并且将合成图像a和输出(合成图像141)一起存储在帧存储器203中。
如果由四个图像生成的在后合成图像b被从图像合成单元201输入,则运动区域检测单元202从帧存储器203读取在前合成图像a,并且比较在前合成图像a和从图像合成单元201输入的在后合成图像b。
运动区域检测单元202比较合成图像a和合成图像b的像素值。换句话说,在相同像素的对应位置的每个上执行像素值比较。在对象中没有出现运动的情况下,如参考图6所述,理想地,在对应于合成图像a和合成图像b的坐标处的像素值位于图6中图解的具有斜率为1的直线上。
如果在对应于合成图像a和合成图像b的坐标位置处的像素值位于图6图解的具有斜率1的直线上,则确定该对象是静止的。如果像素值偏离图6图解的具有斜率1的直线,则确定存在运动区域。
然而,在实际情况中,尽管对象是静止的,但由于固态成像装置的噪声或光的拍摄噪声的影响,所以输出值完全地彼此一致的可能性不大。因此,在比较时可能要设置某种程度的容差。例如,设置像素值差的允许值(Th1)。如果在合成图像a和合成图像b的相同坐标位置处的像素值差在允许差值(Th1)内,则确定对象是静止的。如果在合成图像a和合成图像b的相同坐标位置处的像素值差超过允许差值(Th1),则确定存在运动区域。
更具体地,例如,允许差值(Th1)被设置成像素值的10%(当前合成图像(在后合成图像b)的输出值),即允许差值(Th1)=10%。在这种情况下,将合成图像a和合成图像b的相同坐标位置处的像素值差超过像素值的10%的区域确定为运动区域,即运动对象的拍照区域。运动区域检测单元202通过使用例如下列确定公式(公式1)以像素为单位来确定是否运动区域。
(当前合成图像输出值)×0.1<|(当前合成图像输出值)-(先前合成图像输出值)| (公式1)
此外,在上述公式中,允许差值(Th1)=0.1(像素值的10%),但是它是一个例子。由于允许量取决于例如固态成像装置的性能,所以优选根据所使用的固态成像装置的性能等等确定该允许量。
运动区域检测单元202确定满足例如上述公式(公式1)的像素是运动区域,并且不满足上述公式的像素为非运动区域。
运动区域检测单元202输出确定运动区域像素和非运动区域像素的信息作为运动区域检测信息143。运动区域检测信息143配置有对应于像素的运动区域检测信息等等,其中以图像的像素为单位设置例如运动区域像素=1和非运动区域像素=0。
此外,在上述处理中,经过比较处理的合成图像可以是摄像机信号处理前图像,例如去马赛克处理前图像,或摄像机信号处理后图像。
此外,作为成像装置中包含的固态成像装置,例如,除了具有上述日本未审专利申请公开说明书No.2008-99158的配置的成像装置之外,可以使用普通固态成像装置,更具体地,例如普通CCD图像传感器或CMOS(互补金属氧化物半导体)图像传感器的固态成像装置。
(2-2)第二实施例
图8是图解根据第二实施例的图像处理的概念的图。随着时间推移,包含具有曝光时间(T1)的图像1、具有曝光时间(T2)的图像2、具有曝光时间(T3)的图像3、具有曝光时间(T4)的图像4的图像被顺序地输入和处理。
该实施例在选择用于合成的图像的方法方面不同于第一实施例。不同于第一实施例,当一个要合成的图像(图像n)被输出时,执行合成。
图像合成单元201执行图像合成处理如下。
通过使用包含具有不同曝光时间T1到T4(T1<T2<T3<T4)的图像1到图像4的多个图像的图像合成处理,生成合成图像a,141a。
接着,通过使用包含具有不同曝光时间T1到T4(T1<T2<T3<T4)的图像2到图像5的多个图像的图像合成处理,生成合成图像b,141b。
接着,重复相同处理。结果,执行合成包含图像n到n+3的四个图像的处理,并且之后,执行合成包含图像(n+1)到(n+4)的四个图像的处理,使得通过合成被偏移一个图像的四个图像来顺序地生成合成图像。
运动区域检测单元202比较由图像合成单元201生成的两个合成图像,以确定运动区域。换句话说,两个合成图像如下。
通过合成图像1到4的处理生成的合成图像a 141a
通过合成图像2到5的处理生成的合成图像a 141b
运动区域检测单元202比较顺序生成的两个合成图像,并且检测图像中包含的运动区域。
运动区域检测单元202比较顺序生成的两个合成图像,并且检测图像中包含的运动区域。检测结果被作为运动区域检测信息143输出。
运动区域检测单元202的处理与第一实施例的处理相同。换句话说,在对象未在当前合成图像(合成图像b,141b)和先前合成图像(合成图像a,141a)中运动的情况下,在相同坐标处的像素值彼此一致,使得像素值可以位于图6图解的具有斜率1的直线上。
如果在对应于合成图像a和合成图像b的坐标位置处的像素值位于图6图解的具有斜率1的直线上,则确定该对象是静止的。如果像素值偏离图6图解的具有斜率1的直线,则确定存在运动区域。然而,优选执行将这样的像素区域确定为运动区域的处理:如参考上述公式(公式1)描述的,通过使用根据所使用的固态成像装置的性能等等确定的允许差值(Th1),检测出等于或大于允许差值(Th1)的像素值差。
运动区域检测单元202输出确定运动区域像素和非运动区域像素的信息作为运动区域检测信息143。运动区域检测信息143配置有对应于像素的运动区域检测信息等等,其中以图像的像素为单位设置例如运动区域像素=1和非运动区域像素=0。
在图8图解的第二实施例的处理中,与参考图4描述的第一实施例相比较,由于合成图像之间的时间间隔短,所以可以允许缩短运动对象的运动距离。然而,在图像处理设备中执行的图像处理可能需要高速执行。例如,可能需要提供以等于图像的输入速率的输出速率合成和输出图像的处理。
图9和图10是图解根据该实施例的图像处理单元104的处理的模块图。首先,参考图9和10描述实施例的处理。首先,如图9所示,成像装置102输出图像111到114(曝光时间=T1到T4),并且将图像存储在存储器103中。
图像处理单元104输入这些图像111到114(曝光时间=T1到T4),并且允许图像合成单元201执行图像合成处理并且生成合成图像。如上参考图6所述,图像合成单元201通过合成具有根据亮度的不同曝光时间的图像,生成移除了具有饱和像素值的雪盲像素的合成图像。此外,如上参考图8所述,图像合成单元201以被偏移一个图像的一组四个图像为单位,通过将具有四种不同曝光时间的四个图像作为一个组,顺序地生成合成图像。
图9是图解将包含图像1,111到图像4,114的图像存储到存储器103,并且通过合成包含图像1到图像4的图像的处理生成合成图像a,141a(参考图8)的定时的例子的图。
图10是图解将下一图像5,115输入到存储器103,并且通过合成存储器103中存储的包含图像2,112到图像5,115的图像的处理生成合成图像b,141(参考图8)的定时的例子的图。
由图像合成单元201生成的合成图像被输入到运动区域检测单元202。例如,在顺序地输入由四个图像(图像1到图像4)生成的合成图像a和由接着的四个图像(图像2到图像5)生成的合成图像b的情况下,运动区域检测单元202传过前面输入的合成图像a并且将合成图像a和输出(合成图像141)一起存储在帧存储器203中。
如果由四个图像生成的在后合成图像b被从图像合成单元201输入,则运动区域检测单元202从帧存储器203读取在前合成图像a,并且比较在前合成图像a和从图像合成单元201输入的在后合成图像b。
运动区域检测单元202在合成图像a和合成图像b之间执行像素值比较。换句话说,运动区域检测单元202在同一对应像素位置处执行像素值比较。在对象中没有出现运动的情况下,如参考图6所述,理想地,在对应于合成图像a和合成图像b的坐标处的像素值位于图6中图解的具有斜率为1的直线上。
如果在对应于合成图像a和合成图像b的坐标位置处的像素值位于图6图解的具有斜率1的直线上,则确定该对象是静止的。如果像素值偏离图6图解的具有斜率1的直线,则确定存在运动区域。然而,如参考上述公式(公式1)的描述,优选执行通过使用允许差值(Th1)将这样的像素区域确定为运动区域的处理:检测出等于或大于根据所使用的固态成像装置的性能等等确定的允许差值(Th1)的像素值。
运动区域检测单元202确定满足例如上述公式(公式1)的像素是运动区域,并且不满足上述公式的像素为非运动区域。
运动区域检测单元202输出确定运动区域像素和非运动区域像素的信息作为运动区域检测信息143。运动区域检测信息143配置有例如像素对应运动区域检测信息等等,其中以图像的像素为单位,运动区域像素=1和非运动区域像素=0。
在实施例中,除了具有上述日本未审专利申请公开说明书No.2008-99158的配置的成像装置之外,可以使用普通固态成像装置,更具体地,是例如普通CCD图像传感器或CMOS(互补金属氧化物半导体)图像传感器的固态成像装置。
(2-3)第三实施例
如参考图4等等所述,根据第一实施例的上述处理是这样的处理:通过使用具有曝光时间T1到T4的四个图像作为一个组并且比较合成图像以检测运动区域,以没有交叠的一组四个图像为单位生成合成图像。
尽管根据第一实施例的处理非常简单,但作为像素值比较的对象的两个合成图像的拍照时间分隔一个间隔。以这种方式,如果作为比较的对象的合成图像被分隔一个时间间隔,则例如甚至具有慢运动的运动对象被确定为运动区域的可能性也较高。
以这种方式,如果作为比较的对象的两个合成图像被分隔一个时间间隔,即使在通过合成图像之间的像素值比较处理检测出像素值差并且被确定为运动区域的像素区域中,在作为一个合成图像的合成源的多个不同曝光图像之间的对应像素的像素值差可能较小,并且该区域可能因为该差值被确定为运动区域。这是由于构成合成图像的不同曝光图像之间的拍照时间间隔小于合成图像之间的拍照时间间隔。
通过这种方式,由于在第一实施例中经过像素值比较的合成图像之间的拍照时间间隔大,所以运动区域的检测趋向过度。第三实施例是包含移除这种过检测的方法的配置的例子。
图11是图解根据第三实施例的图像处理的概念的图。随着时间推移,包含具有曝光时间(T1)的图像1、具有曝光时间(T2)的图像2、具有曝光时间(T3)的图像3、具有曝光时间(T4)的图像4的图像被顺序地输入和处理。
用于生成合成图像的图像的合成与参考图4所述的第一实施例的合成相同。换句话说,通过使用包含具有不同曝光时间T1到T4(T1<T2<T3<T4)的图像1到图像4的多个图像的图像合成处理,生成合成图像a,141a。
接着,通过使用包含具有不同曝光时间T1到T4(T1<T2<T3<T4)的图像5到图像8的图像的图像合成处理,生成合成图像b,141b。
该实施例不同于参考图4所述的第一实施例的地方在于包含合成前图像比较单元205。合成前图像比较单元205在合成前要合成图像(图像n)的像素之间比较输出值,并且提供比较结果到运动区域检测单元202。
运动区域检测单元202通过使用从合成前图像比较单元205输入的关于合成前要合成图像(图像n)的像素之间的像素值比较结果的信息,对在合成图像之间的像素值比较中被确定为运动区域的区域执行再验证。在合成前要合成图像(图像n)的像素之间的像素值比较结果等于或小于预定像素值差的情况下,确定在合成图像之间的像素值比较中被确定为运动区域的区域不是运动区域。换句话说,运动区域检测单元202执行移除在合成图像之间的像素值比较中被过度确定为运动区域的部分的处理。
合成前图像比较单元205执行合成前要合成图像,即具有不同曝光时间T1到T4(T1<T2<T3<T4)的图像的对应像素的像素值比较。在这种情况下,可能需要执行根据曝光时间计算的输出像素值之间的比较。
该处理对应于上面背景技术中描述的日本未审专利申请公开说明书No.2000-50151的处理,即,如上参考图2所述的长时间曝光图像(LE)的输出值(亮度)和短时间曝光图像(SE)的输出值(亮度)之间的对应关系比较处理。换句话说,如果长时间曝光图像(LE)的输出值(亮度)和短时间曝光图像(SE)的输出值(亮度)被设置在如图2图解的具有斜率A(=曝光比)的线上,则可以确定长时间曝光图像(LE)和短时间曝光图像(SE)的对应像素与具有完全相同亮度的对象的拍照相关联。
换句话说,在拍照相同对象的情况下,长时间曝光图像(LE)的输出值(亮度)和短时间曝光图像(SE)的输出值(亮度)之间的对应关系被设置成在如图2所示具有斜率A(=曝光比)的线上。因此,偏离该线的区域被确定为运动出现的区域。
然而,如上所述,在实际情况中,由于在构成成像装置的PD或晶体管的特殊产品中存在变化,所以难以根据满足或不满足(LE-SE×A)=0来准确地确定是否该对象有运动。例如,装置之间的小变化可以通过设置阈值(Th)并且确定是否满足|LE-SE×A|<Th来降低。然而,由于装置之间的变化根据设备而发生改变,所以存在难以设置最优阈值的问题。
在该实施例中,使用解决具有不同曝光时间的图像的比较中的问题的方法。根据例如成像装置的特性,长时间曝光图像的输出值和短时间曝光图像的输出值显示出如图12所图解的特性。
图12是图解与上述图2类似的长时间曝光图像(LE)的输出值(亮度)和短时间曝光图像(SE)的输出值(亮度)之间的对应关系的曲线图。
例如,在上述日本未审专利申请公开说明书No.2008-99158中公开的成像装置具有图12所图解的特性。换句话说,不发生短时间曝光的输出,直到长时间曝光的输出等于或大于某个水平(图12中的区域1)。这表示,在如上所述的图1中,如果对象的亮度未超过中间电压持续水平,则不发生短时间曝光的输出。
如果对象的亮度超过中间电压持续水平,则发生短时间曝光的输出。然而,在发生输出时短时间曝光的输出的值非常不稳定。在短时间曝光的曝光时间段内,由于亮度未超过中间电压持续水平并且由于未发生有效输出,所以区间中的斜率不同于由曝光比定义的斜率(图12中的区域2)。此外,曝光比是曝光比A(=LE/SE),其是长时间曝光图像(LE)的曝光量与短时间曝光图像(SE)的曝光量的比。
这是由复杂的处理导致的,例如通过复杂处理执行的短时间曝光处理,包含清除光电二极管的累积的电荷,以及之后执行短时间曝光等等。换句话说,如上参考图1所述,在短时间曝光处理中,首先在图1所图解的时间t1(电荷清除启动点P1),把光敏光电二极管(PD)的累积电荷清除到光电二极管(PD)中控制的中间电压持续水平,并且在电荷清除处理之后,再次以曝光时间TS(t1到t2)执行曝光处理。
在图12的区域2中,在短时间曝光处理开始后就根据光电二极管(PD)的累积的电荷量计算输出值,并且该部分变成非常不稳定的输出。此外,长时间曝光图像(LE)和短时间曝光图像(SE)的输出值之间的对应关系(斜率B)被设置成斜率B(≠斜率A(曝光比)),其不同于由作为曝光量的比值的曝光比A(=LE/SE)定义的斜率。
在下一个区域3中,由于执行短时间曝光处理的光电二极管(PD)的电荷累积变成稳定状态的输出值,所以可以由曝光比计算出常量斜率A(曝光比)。上面描述的相同关系可以被用于合成三个或更多图像的情况。
上面参考图2描述的长时间曝光图像的输出值和短时间曝光图像的输出值之间的对应关系是理论关系,但是它与实际成像装置的输出值一致。对应关系取决于成像装置的特性,使得在许多情况下,长时间曝光图像的输出值和短时间曝光图像的输出值之间的关系可以是图12中图解的关系。
通过考虑这个因素,在图11所图解的合成前图像比较单元205在合成之前执行具有不同曝光时间的要合成图像(图像n)的像素之间的输出值比较的情况下,只针对图12所图解的区域3,即亮度等于或高于预定阈值亮度水平(图12中的Th2)的像素,选择像素作为比较对象,并且只对所选择的像素执行像素值比较处理。
此外,根据成像装置的特性确定阈值亮度水平(图12中的Th2),以根据使得在短时间曝光中输出是稳定的这种亮度水平来预定该阈值亮度水平。
合成前图像比较单元205在亮度等于或大于预定阈值亮度水平(图12的Th2)的像素处比较作为要合成图像的长时间曝光图像和短时间曝光图像的输出值,并且将比较结果输出到过检测移除单元203(参考图13)。过检测移除单元203根据接收自合成前图像比较单元205的信息,对运动区域检测单元202在合成图像之间的像素值比较的结果中确定为运动区域的像素区域执行再验证。
换句话说,在作为要合成图像的长时间曝光图像和短时间曝光图像的输出值之间的差值小于预定阈值的情况下,确定在合成图像之间的像素值比较结果中确定为运动区域的像素区域不是运动区域,使得运动区域的确定被取消。
图13是图解根据实施例的图像处理设备的模块图。该图不同于图7的地方在于包含合成前比较单元205和过检测移除单元206。
成像装置102输出图像115到118(曝光时间=T1到T4),并且将图像存储在存储器103中。图像处理单元104输入这些图像115到118(曝光时间=T1到T4),并且允许图像合成单元201执行图像合成处理并且生成合成图像。此外,在图13中,描述了通过使用在前图像111到114(曝光时间=T1到T4)生成的合成图像已经被存储在帧存储器203中。
如上参考图6所述,图像合成单元201通过合成具有根据亮度的不同曝光时间的图像,生成移除了具有饱和像素值的雪盲像素的合成图像。由图像合成单元201生成的合成图像被输入到运动区域检测单元202。例如,在由四个图像生成的合成图像a和由接着的四个图像生成的合成图像b被连续地输入的情况下,运动区域检测单元202传过前面输入的合成图像a,并且把合成图像a和输出(合成图像141)一起存储在帧存储器203中。
如果由四个图像生成的在后合成图像b被从图像合成单元201输入,则运动区域检测单元202从帧存储器203读取在前合成图像a,并且比较在前合成图像a和从图像合成单元201输入的在后合成图像b。
如果在对应于合成图像a和合成图像b的坐标位置处的像素值位于图6图解的具有斜率1的直线上,则确定该对象是静止的。如果像素值偏离图6图解的具有斜率1的直线,则确定存在运动区域。然而,如参考上述公式(公式1)描述的,优选执行通过使用允许差值(Th1)把这样的像素区域确定为运动区域的处理:检测出等于或大于根据所使用的固态成像装置的性能等等确定的允许差值(Th1)的像素值。
在实施例中,运动区域检测单元202的检测结果被输入到过检测移除单元206。过检测移除单元206对根据在合成图像a和合成图像b的对应坐标位置处的像素值比较被确定为运动区域的像素区域执行再验证,并且执行把被确定为过检测的运动区域的像素确定为不在运动区域中的过检测移除处理。
换句话说,从合成前图像比较单元205向过检测移除单元206输入成为要合成图像的长时间曝光图像的输出值和短时间曝光图像的输出值之间的比较结果。在这样的情况下:针对在合成图像之间的像素值比较的结果中被确定为运动区域的像素区域,成为要合成图像的长时间曝光图像的输出值和短时间曝光图像的输出值之间的差值小于预定阈值,过检测移除单元206执行确定该区域不是运动区域并且取消运动区域的确定的过检测移除处理。
此外,如上所述,合成前图像比较单元205在亮度等于或大于预定阈值亮度水平(图12的Th2)的像素处比较作为要合成图像的长时间曝光图像和短时间曝光图像的输出值,并且将比较结果输出到运动区域检测单元202的过检测移除单元206。
合成前比较单元205设置类似于上述公式的某种程度的允许量,并且通过使用下列公式(公式2)执行运动区域的确定。在图12所图解的区域3中不满足下列公式2的情况下,确定该区域不是运动区域,并且该区域是从运动区域移除的对象。
在短时间曝光图像(例如,图像5(T1)115)和长时间曝光图像(例如,图像6(T2)116)被设置成比较对象的情况下。
(短时间曝光图像的输出)×0.1>|(长时间曝光图像的输出)-(短时间曝光图像的输出)×A| (公式2)
此外,A是曝光比A(=LE/SE),其是长时间曝光图像(LE)的曝光量与短时间曝光图像(SE)的曝光量的比。
上述公式(公式2)表示,例如,在曝光比A=10的情况下,表示通过从图像6(T2)116(长时间曝光图像)的输出值中10次减去图像5(T1)115(短时间曝光图像)的输出值所获得的绝对值。
以这种方式,尽管运动区域检测单元202根据合成图像之间的像素值的比较确定像素区域为运动区域,但过检测移除单元206执行确定图12所图解的区域3中满足下列公式2的区域不是运动区域并且从运动区域中移除该区域的处理。
此外,未对合成前图像的所有组合执行比较处理,但是当在生成合成图像时被选择为构成合成图像的像素的图像之前和之后执行比较处理(从图像合成单元102获得选择信息)。换句话说,例如,在图像6(T2)116的像素被选择作为合成图像的特定像素的有效像素值的情况下,在图像6(T2)116和图像5(T1)115之间和在图像6(T2)116和图像7(T3)117之间执行比较。
以这种方式,运动区域检测单元202执行(1)通过合成图像之间的像素值比较来检测运动区域的检测处理。
过检测移除单元206执行(2)通过作为合成图像的来源的要合成图像之间的像素值比较来检测运动区域的再检测处理。过检测移除单元206只将在两步处理中被确定为运动区域的像素区域确定为最终运动区域,并且运动区域检测信息143。
运动区域检测信息143配置有例如像素对应运动区域检测信息等等,其中以图像的像素为单位,运动区域像素=1和非运动区域像素=0。
在实施例中,除了具有上述日本未审专利申请公开说明书No.2008-99158的配置的成像装置之外,可以使用普通固态成像装置,更具体地,是例如普通CCD图像传感器或CMOS(互补金属氧化物半导体)图像传感器的固态成像装置。此外,根据成像装置的特性,长时间曝光图像的输出值和短时间曝光图像的输出值之间的关系可以是图12中图解的关系,图2中所图解的关系,或其它关系。优选地,合成前图像比较单元205具有通过根据所使用的成像装置的特性改进确定区域来执行确定的配置。
(2-4)第四实施例
接着,描述根据本发明第四实施例的图像处理设备的配置的例子,其从运动区域中检测具有发生图像质量退化的较高可能性的图像质量退化区域。
例如,在使用利用R,G和B滤色镜(滤色镜的颜色可以是任意的)的单板型固态成像装置的情况下,在与构成所生成的合成图像的像素相邻的像素的位置处的R,G和B像素被从不同的要合成图像中选择和合成的情况下,拍照运动对象时的图像质量退化的增加。
作为更详细的例子,存在这样的情况:针对构成合成图像的像素,从具有曝光时间T2的图像112(T2)中选择G像素,并且从具有曝光时间T4的图像114(T4)中选择与G像素相邻的R像素和B像素。
在执行这种合成处理的情况下,静止图片没有严重问题。然而,在拍照运动对象的情况下,具有不同曝光时间和曝光间隔的图像被用于相邻像素。因此,之后,如果执行去马赛克(插值)处理并且执行作为彩色图像的观察,则图像质量退化可能出现,并且更具体地,伪彩色等等可能出现。
此外,即使在拍照运动对象的情况下,如果从相同要合成图像中选择相邻像素,则不存在图像质量退化。这是由于表示具有相同曝光时间和曝光间隔的图像。因此,至少伪彩色等等不出现。
图14是图解实施例的概念的图。
例如,通过上述第一到第三实施例的若干方法检测的运动区域是作为图14中的宽区域的″运动区域″,并且具体出现图像质量退化(伪彩色等等)的″图像质量退化区域″被包含在其中。
在根据第四实施例的图像处理设备中,在相邻像素之间使用的不同要合成图像的像素被从构成被确定为包含运动对象的″运动区域″的像素中提取,并且这些像素被检测为构成″图像质量退化区域″的像素。
图15是图解根据实施例的图像处理设备的模块图。该图不同于图7的地方在于包含选择图像比较单元207和图像质量退化区域检测单元208。
由于其它配置与图7的配置相同,所以省略其描述。此后,描述与图7的配置的差别。
选择图像比较单元207输入来自图像合成单元201的选择图像信息。选择图像信息表示从要合成图像(图像1到图像4)的哪些像素中选择构成通过图像合成单元201中的图像合成处理生成的合成图像的像素。选择图像比较单元207执行把从其它图像中选择的相邻像素设置为图像质量退化区域检测对象的处理。
参考图16A和16B描述由选择图像比较单元207执行的处理。图16A和16B图解了下列两个例子。
(a)图像质量退化区域不是检测对象的例子
(b)图像质量退化区域是检测对象的例子
在每个例子中,确定对象是9个像素中的中央像素。
(a)图像质量退化区域不是检测对象的例子
在该例子中,被用作确定对象的中央像素用从图像1(T1)中选择的像素来配置,并且作为相邻像素的所有8个像素类似于中央像素地用从图像1(T1)中选择的像素来配置。
通过这种方式,在与作为中央像素的要确定像素相邻的所有像素被从与中央像素的图像相同的图像中选择的情况下,确定没有图像质量退化的可能性,使得其被确定不是图像质量退化区域检测对象。
(b)图像质量退化区域是检测对象的例子
另一方面,在图16B图解的例子中,被用作确定对象的中央像素用从图像1(T1)中选择的像素来配置,并且作为相邻像素的8个像素中的两个像素用不同于中央像素地从图像2(T2)中选择的像素来配置。
通过这种方式,在不同于中央像素地从图像中选择的像素被包含为与作为中央像素的要确定像素相邻的情况下,确定存在图像质量退化的可能性,使得其被设置成图像质量退化区域检测对象。
通过这种方式,选择图像比较单元207向图像质量退化区域检测单元208输出像素对应确定信息,像素对应确定信息针对构成合成图像的像素区别图像质量退化区域检测对象像素和图像质量退化区域非检测对象像素。例如,向图像质量退化区域检测单元208输出合成图像的像素对应图像质量退化区域检测信息,其中图像质量退化区域检测对象像素=1并且图像质量退化区域非检测对象像素=0。
图像质量退化区域检测单元208输入来自选择图像比较单元207的图像质量退化区域检测信息,并且输入来自运动区域检测单元202的基于合成图像之间的像素值比较的处理而生成的运动区域检测信息143。运动区域检测信息143配置有例如运动区域检测信息等等,其中以合成图像的像素为单位,运动区域像素=1并且非运动区域像素=0。
图像质量退化区域检测单元208根据图像质量退化区域检测信息和运动区域检测信息143,生成和输出作为最终信息的图像质量退化运动区域检测信息144。
图像质量退化区域检测单元208针对所有像素只提取运动区域像素=1和图像质量退化区域检测对象像素=1的像素,并且将这个区域定义为图像质量退化运动区域。
换句话说,图像质量退化区域检测单元208对图像质量退化区域检测信息和运动区域检测信息143执行AND(“与”)处理(AND逻辑计算)以只提取在运动区域中并且作为图像质量退化区域检测对象的像素,并且确定这些像素为图像质量退化运动区域像素。图像质量退化区域检测单元208确定除了这些像素之外的像素作为非图像质量退化运动区域像素,并且输出图像质量退化运动区域检测信息144,其中以像素为单位设置确定信息。
从图像质量退化区域检测单元208输出的图像质量退化运动区域检测信息144配置有例如像素对应图像质量退化运动区域检测信息等等,其中图像质量退化运动区域像素=1并且非图像质量退化运动区域像素=0。
在实施例中,除了具有上述日本未审专利申请公开说明书No.2008-99158的配置的成像装置之外,可以使用普通固态成像装置,更具体地,是例如普通CCD图像传感器或CMOS(互补金属氧化物半导体)图像传感器的固态成像装置。
(2-5)第五实施例
接着,在根据本发明的第五实施例的图像处理设备中,参考图17描述输出作为检测非常可能导致图像质量退化的区域的信息的图像质量退化区域检测信息的配置。
图17是图解根据实施例的图像处理设备的模块图。成像装置102和存储器103的配置与参考图7描述的第一实施例的配置相同。
图像处理单元104的图像合成单元201的处理也与参考图7描述的第一实施例的配置相同,其中具有不同曝光时间的图像1到4被用于生成合成图像141。
输出值有效区域检测单元209输入来自图像合成单元201的选择图像信息。选择图像信息表示要合成图像(图像1到图像4)的哪些像素中选择构成由图像合成单元201生成的合成图像的像素。选择信息与参考图15描述的第四实施例的选择信息相同。
当输出值有效区域检测单元209输入该选择信息时,输出值有效区域检测单元209针对所有构成合成图像的像素获得所选图像,即在存储器103中存储的合成前要合成图像(图像1到图像4)的对应像素值,并且确定合成前图像的输出值的有效性。
例如,在图像的有效位配置有10位数据并且比特值能够取的值,即数位值在从0到1023数位的范围中的情况下,输出值有效区域检测单元209确定该范围两端处的比特值的有效性低。更具体地,例如,在构成合成图像的像素的比特值(0到1023数位)满足下列公式3的情况下,
比特值>1000数位,或
比特值<5数位 (公式3)
确定像素的比特值的有效性低,使得该区域被确定为图像质量退化区域(第五实施例(参考图17))。
比特值>1000数位
满足公式的像素是像素值几乎达到饱和水平的像素。
比特值<5数位
满足公式的像素是像素值几乎在零附近的像素。
由于这种像素输出准确像素值的可能性较小,所以该区域被确定为像素值没有有效性的像素区域。
通过这种方式,输出值有效区域检测单元209通过使用确定公式(公式3),根据构成合成图像的像素的像素值确定像素值是否被设置成有效性实际上被阻碍的像素值,并且生成和输出图像质量退化区域检测信息145,其中确定结果被设置成像素对应有效性信息。
图像质量退化区域检测信息145配置有例如像素对应图像质量退化区域信息等等,其中以合成图像的像素为单位,图像质量退化区域像素=1表示满足上述公式3的像素,并且非图像质量退化区域像素=0表示像素不满足上述公式3。
(2-6)第六实施例
接着,参考图18描述根据本发明第六实施例的图像处理设备的配置。
图18中图解的图像处理设备是图17所图解的第五实施例的修改例子。
图18所图解的图像处理设备具有参考图7描述的第一实施例的配置,和参考图17描述的第五实施例的配置。
图像合成单元201中的图像合成处理与第一实施例的处理相同。
成像装置102输出图像111到114(曝光时间=T1到T4),并且存储图像在存储器103中。图像处理单元104输入图像111到114(曝光时间=T1到T4),并且允许图像合成单元201执行图像合成处理以生成合成图像。
图18所图解的运动区域检测单元202执行参考图7描述的处理。换句话说,运动区域检测单元202执行合成图像之间的像素值比较,生成合成图像的运动区域检测信息143,并且输出到图像质量退化区域检测单元208。
由运动区域检测单元202生成的运动区域检测信息143配置有例如像素对应运动区域检测信息等等,其中以构成合成图像的像素为单位,运动区域像素=1和非运动区域像素=0。
另一方面,输出值有效区域检测单元209输入来自图像合成单元201的选择图像信息。选择图像信息表示从要合成图像(图像1到图像4)的哪些像素中选择构成由图像合成单元201生成的合成图像的像素。输出值有效区域检测单元209针对构成合成图像的所有像素获得所选图像,即在存储器103中存储的合成前要合成图像(图像1到图像4)的对应像素值,并且确定合成前图像的输出值的有效性。
这个处理与由参考图17描述的第五实施例的输出值有效区域检测单元209执行的处理相同。
更具体地,例如,在构成合成图像的像素的有效位配置有10位数据并且比特值能够取的值,即数位值在从0到1023数位的范围中的情况下,输出值有效区域检测单元209确定范围两端处的比特值的有效性低。更具体地,例如,在构成合成图像的像素的比特值(0到1023数位)满足下列公式3的情况下,
比特值>1000数位,或
比特值<5数位(公式3)
确定像素的比特值的有效性低,使得该区域被确定为图像质量退化区域。生成和输出确定结果被设置成像素对应有效性信息的图像质量退化区域检测信息145。
图像质量退化区域检测信息145配置有例如像素对应图像质量退化区域信息等等,其中以合成图像的像素为单位,图像质量退化区域像素=1表示满足上述公式3的像素,并且非图像质量退化区域像素=0表示不满足上述公式3的像素。
图像质量退化区域检测单元208根据图像质量退化区域检测信息和运动区域检测信息143,生成和输出作为最终信息的图像质量退化运动区域检测信息144。
图像质量退化区域检测单元208针对所有像素只提取运动区域像素=1并且图像质量退化区域像素=1的像素,并且将这个区域定义为图像质量退化运动区域。
换句话说,图像质量退化区域检测单元208对图像质量退化区域检测信息145和运动区域检测信息143执行AND处理(AND逻辑计算),以只提取在运动区域中并且在图像质量退化区域中的像素,并且确定该像素作为图像质量退化运动区域像素。图像质量退化区域检测单元208确定除了这些像素之外的像素作为非图像质量退化运动区域像素,并且输出图像质量退化运动区域检测信息144,其中以像素为单位设置确定信息。
从图像质量退化区域检测单元208输出的图像质量退化运动区域检测信息144配置有例如像素对应图像质量退化运动区域检测信息等等,其中图像质量退化运动区域像素=1并且非图像质量退化运动区域像素=0。
通过这种方式,在图18所图解的第六实施例中,提供了相加上述第一和第五实施例的结果的配置。
在第六实施例中,类似于第五实施例,执行确定像素值接近于饱和像素值或零的像素作为图像质量退化区域的处理。然而,在该实施例中,在使用合成图像之后的数据的运动检测处理中,未被检测作为运动区域的区域未被选择作为图像质量退化运动区域。
因此,如果作为合成图像的比较对象的合成图像的对应像素值没有被用来确定运动区域的像素值差,则该区域被从图像质量退化运动区域中移除。因此,与第五实施例相比较,可以避免过度图像质量退化区域的检测。
在实施例中,除了具有上述日本未审专利申请公开说明书No.2008-99158的配置的成像装置之外,可以使用普通固态成像装置,更具体地,是例如普通CCD图像传感器或CMOS(互补金属氧化物半导体)图像传感器的固态成像装置。
(2-7)第七实施例
接着,参考图19和20描述根据本发明第七实施例的图像处理设备的配置。
图19是与图5的特性图相同的特性图。即,图19是图解在从长时间曝光图像到短时间曝光图像的范围内获得多个图像的处理的图。在图19中,水平轴是时间(t),并且垂直轴是光敏光电二极管(PD)中累积的电荷量(e),其中光敏光电二极管(PD)构成对应于固态成像装置的一个像素的光电转换单元。例如,在光敏光电二极管(PD)的感测光量大的情况下,即,在对应于亮对象的情况下,电荷累积量随着时间推移快速地增加。另一方面,在光敏光电二极管(PD)的感测光量小的情况下,即,在对应于暗对象的情况下,电荷累积量随着时间推移逐渐地增加。
图19是考虑通过拍照运动对象来获得像素的处理的图。该图图解了在拍照开始时间亮并且之后暗的情形。在图19中,由于在开始时间(时间=tx到ty)的亮情形中的信号超过中间电压持续水平,所以出现短时间曝光的区域。然而,同时(时间=ty),对象运动,使得像素值变暗。
在由于亮对象的运动而使得像素值变暗之后,执行短时间曝光。图19图解了短时间曝光时间(T1到T3)。由于这个时间段在亮对象已经运动之后,所以在这种情形下拍照暗对象,并且光敏光电二极管(PD)的电荷的累积速度降低,使得图中图解的线的斜率增加。接着,在经过长时间曝光时间(T4)之后,获得长时间曝光输出。在这种情况下,由于拍照暗对象,所以斜率在时间t2之后的时间段内减小,使得可以获得像素未接近饱和水平的长时间曝光输出。
在图像合成处理中,执行短时间曝光的输出值和长时间曝光的输出值之间的比较。然而,在这个例子中,由于短时间曝光的输出小,所以可以选择长时间曝光的输出。这里,存在长时间曝光的输出值可能不正确的问题。这是由于,如图19所示,在经过长时间曝光时间(T4)之后获得的长时间曝光输出上存在接近中间电压持续水平、作为偏移的信号。
如果偏移量被减去并且通过考虑曝光时间来执行曝光比的调整,则可以计算准确的输出值。然而,在实际情况中,由于装置造成的中间电压的不规则性,所以难以获得准确值。因此,存在的问题在于在这种情况下获得的合成图像尤其可能具有大量图像质量退化。在该实施例中,公开了检测这种像素的方法。
图20是图解根据实施例的图像处理设备的模块图。成像装置102和存储器103的配置与参考图7描述的第一实施例的配置相同。
图像处理单元104的图像合成单元201的处理也与参考图7描述的第一实施例的处理相同,其中具有不同曝光时间的图像1到4被用于生成合成图像141。
运动区域检测单元b 210输入来自图像合成单元201的选择图像信息。选择图像信息表示从要合成图像(图像1到图像4)的哪些像素中选择构成由图像合成单元201生成的合成图像的像素。选择信息与参考图15描述的第四实施例的选择信息相同。
运动区域检测单元b 210输入图像1,111到图像4,114的输出(像素值),其中图像1,111到图像4,114是存储器103中存储的要合成图像,并且运动区域检测单元b 210输入来自图像合成单元201的选择图像信息。运动区域检测单元b 210针对构成合成图像的所有像素获得所选图像,即在存储器103中存储的合成前要合成图像(图像1到图像4)的对应像素值,并且确定构成合成图像的像素是否满足下列条件。
作为构成合成图像的像素,选择长时间曝光图像(在这种情况下,图像4(T4),114)。
此外,满足下列公式中的任何一个。
(图像1(T1)111的输出)>5数位,
(图像2(T2)112的输出)>5数位,或
(图像3(T3)113的输出)>5数位 (公式4)
确定满足上述条件的像素为运动区域中的像素。
然而,考虑图像的有效位配置有10位数据并且比特值能够取的值,即数位值在从0到1023数位的范围内的情况。
在该确定处理中,短时间曝光图像(图像1到3)中的任何一个输出有效像素值(例如,大于5数位),并且此外,在长时间曝光图像(图像T4)被选择作为像素的合成图像上像素的值的情况下,该像素是参考图19描述的情况中的像素。
确定满足上述条件的像素为运动区域中的像素。
图20所图解的运动区域检测单元b 210通过该处理生成和输出运动区域检测信息143。运动区域检测信息143配置有例如像素对应运动区域检测信息等等,其中以构成合成图像的像素为单位,运动区域像素=1并且非运动区域像素=0。
(2-8)第八实施例
接着,参考图21描述根据本发明第七实施例的图像处理设备的配置。
图21中图解的图像处理设备是图20所图解的第七实施例的修改例子。
图21所图解的图像处理设备具有参考图7描述的第一实施例的配置,和参考图20描述的第七实施例的配置。
图像合成单元201中的图像合成处理与第一实施例的处理相同。
成像装置102输出图像111到114(曝光时间=T1到T4),并且存储图像在存储器103中。图像处理单元104输入图像111到114(曝光时间=T1到T4),并且允许图像合成单元201执行图像合成处理以生成合成图像。
图21所图解的运动区域检测单元202执行与参考图7描述的运动区域检测单元202的处理相同的处理。换句话说,运动区域检测单元202执行合成图像之间的像素值比较,以生成和输出合成图像的运动区域检测信息a 143a。
由运动区域检测单元202生成的运动区域检测信息a 143a配置有例如像素对应运动区域检测信息等等,其中以构成合成图像的像素为单位,运动区域像素=1和非运动区域像素=0。
另一方面,图21所图解的运动区域检测单元b 210执行与参考图20描述的运动区域检测单元b 210的处理相同的处理。
换句话说,运动区域检测单元b 210输入图像1,111到图像4,114的输出(像素值),其中图像1,111到图像4,114是存储器103中存储的要合成图像,并且运动区域检测单元b 210输入来自图像合成单元201的选择图像信息。运动区域检测单元b 210针对构成合成图像的所有像素获得所选图像,即在存储器103中存储的合成前要合成图像(图像1到图像4)的对应像素值,并且确定构成合成图像的像素是否满足下列条件。
作为构成合成图像的像素,选择长时间曝光图像(在这种情况下,图像4(T4)114)。
此外,满足下列公式中的任何一个。
(图像1(T1)111的输出)>5数位,
(图像2(T2)112的输出)>5数位,或
(图像3(T3)113的输出)>5数位 (公式4)
确定满足上述条件的像素为运动区域中的像素。
然而,考虑图像的有效位配置有10位数据并且比特值能够取的值,即数位值在从0到1023数位的范围内的情况。
图21所图解的运动区域检测单元b 210通过该处理生成和输出运动区域检测信息b 143b。运动区域检测信息b 143b配置有例如像素对应运动区域检测信息等等,其中以构成合成图像的像素为单位,运动区域像素=1并且非运动区域像素=0。
检测结果集成单元211执行集成运动区域检测信息a 143a和运动区域检测信息b 143b的处理。
更具体地,在运动区域检测信息a 143a中检测的运动区域和在运动区域检测信息b 143b中检测的运动区域被确定为最终运动区域。
换句话说,检测结果集成单元211对运动区域检测信息a 143a和运动区域检测信息b 143b执行AND处理(AND逻辑计算),以只提取针对两个运动区域检测信息被确定为在运动区域中的像素,并且确定这些像素作为最终运动区域像素。检测结果集成单元211确定除了这些像素之外的像素作为非运动区域像素,并且输出运动区域检测信息c 143c,其中以像素为单位设置确定信息。
运动区域检测信息c 143c也配置有例如像素对应运动区域检测信息等等,其中以构成合成图像的像素为单位,运动区域像素=1并且非运动区域像素=0。
在第八实施例中,类似于第七实施例,参考具有上面参考图19描述的每个曝光时间的图像的像素值执行运动区域确定处理。然而,在实施例中,在使用图像合成之后的数据的运动检测处理中,未被检测为运动区域的区域不被选择作为图像质量退化运动区域。
因此,如果作为合成图像的比较对象的合成图像的对应像素值没有被用来确定运动区域的像素值差,则该区域被从运动区域中移除。因此,与第七实施例相比较,可以避免运动区域的过度检测。
(2-9)第九实施例
第一和第二实施例不可被配置在一起,但是第三到第八实施例可以根据用途组合。
图22是图解作为上述第一、第三、第四、第六和第八实施例的组合的实施例的图。此外,图23是图解作为上述第一、第三、第四、第五和第七实施例的组合的实施例的图。
图22所图解的图像处理设备的配置包含执行下列处理的配置。
运动区域检测单元202通过合成图像之间的像素值比较来执行运动区域的检测(第一实施例(参考图7))。
合成前图像比较单元205在合成前要合成图像的像素处对亮度等于或大于预定阈值亮度水平(图12的Th2)的像素执行像素值比较。即,每一图像具有不同曝光时间T1到T4(T1<T2<T3<T4)。在长时间曝光图像的输出值和短时间曝光图像的输出值之间的差值小于预定阈值的情况下,过检测移除单元206确定该区域不是运动区域,并且执行取消运动区域的确定的过检测移除处理(第三实施例(参考图13))。
此外,作为过检测移除的结果,输出运动区域检测信息143。运动区域检测信息143配置有例如像素对应运动区域检测信息等等,其中以合成图像的像素为单位,运动区域像素=1并且非运动区域像素=0。
选择图像比较单元207输入来自图像合成单元201的选择图像信息。选择图像信息表示从要合成图像(图像1到图像4)的哪些像素中选择构成通过图像合成单元201中的图像合成处理生成的合成图像的像素。选择图像比较单元207执行将从其它图像中选择的相邻像素设置为图像质量退化区域检测对象的处理(第四实施例(参考图14和15))。
输出值有效区域检测单元209输入来自图像合成单元201的选择图像信息。选择图像信息表示从要合成图像(图像1到图像4)的哪些像素中选择构成通过图像合成单元201生成的合成图像的像素。输出值有效区域检测单元209针对构成合成图像的所有像素获得所选图像,即在存储器103中存储的合成前要合成图像(图像1到图像4)的对应像素值,并且确定合成前图像的输出值的有效性。
更具体地,例如,在构成合成图像的像素的比特值(0到1023数位)满足下列公式3的情况下,
比特值>1000数位,或
比特值<5数位 (公式3)
确定像素的比特值的有效性低,使得该区域被确定为图像质量退化区域(第六实施例(参考图18))。
运动区域检测单元b 210输入来自图像合成单元201的选择图像信息。选择图像信息表示从要合成图像(图像1到图像4)的哪些像素中选择构成通过图像合成单元201生成的合成图像的像素。此外,运动区域检测单元b 210针对构成合成图像的所有像素获得所选图像,即在存储器103中存储的合成前要合成图像(图像1到图像4)的对应像素值,并且确定构成合成图像的像素是否满足下列条件。
(图像1(T1)111的输出)>5数位,
(图像2(T2)112的输出)>5数位,或
(图像3(T3)113的输出)>5数位 (公式4)
确定满足上述条件的像素为运动区域中的像素。
然而,考虑图像的有效位配置有10位数据并且比特值能够取的值,即数位值在从0到1023数位的范围内的情况(第八实施例(参考图19和21))。
图像质量退化区域检测单元208输入图像质量退化区域确定信息,例如(a)由选择图像比较单元207生成的图像质量退化区域确定信息(根据像素是否具有从其它图像中选择的相邻像素的像素而生成的图像质量退化区域确定信息),(b)由输出值有效区域检测单元209生成的图像质量退化区域确定信息(根据合成图像的比特值是否接近于零或饱和值生成的图像质量退化区域确定信息),和(c)由运动区域检测单元b 210生成的图像质量退化区域确定信息(图像质量退化区域确定信息与长时间曝光图像的输出的设置像素相关联,并且根据短时间曝光图像中的任何一个是否具有有效像素值的像素来生成)。
图像质量退化区域检测单元208最终将这样的区域确定为图像质量退化区域:在上述(a)到(c)的图像质量退化区域确定信息的任何一个中,该区域被确定为图像质量退化区域。
此外,图像质量退化区域检测单元208生成和输出图像质量退化运动区域检测信息144,其中,这样的区域被设置成图像质量退化区域:该区域是在从过检测移除单元206输入的运动区域检测信息143中被确定为运动区域的像素区域,并且在上述(a)到(c)的图像质量退化区域确定信息的任何一个中被确定为图像质量退化区域,并且其交叠区域被设置成图像质量退化运动区域。
从图像质量退化区域检测单元208输出的图像质量退化运动区域检测信息144配置有例如像素对应图像质量退化运动区域检测信息等等,其中图像质量退化运动区域像素=1并且非图像质量退化运动区域像素=0。
此外,图23是图解作为第一、第三、第四、第五和第七实施例的组合的实施例的图。
图23所图解的图像处理设备的配置包含执行下列处理的配置。
运动区域检测单元202通过合成图像之间的像素值比较执行运动区域的检测(第一实施例(参考图7))。
合成前图像比较单元205在合成前要合成图像的像素处对亮度等于或大于预定阈值亮度水平(图12的Th2)的像素执行像素值比较。即,每一图像具有不同曝光时间T1到T4(T1<T2<T3<T4)。在长时间曝光图像的输出值和短时间曝光图像的输出值之间的差值小于预定阈值的情况下,过检测移除单元206确定该区域不是运动区域,并且执行取消运动区域的确定的过检测移除处理(第三实施例(参考图13))。
此外,作为过检测移除的结果,输出运动区域检测信息143。运动区域检测信息143配置有例如像素对应运动区域检测信息等等,其中以合成图像的像素为单位,运动区域像素=1并且非运动区域像素=0。
选择图像比较单元207输入来自图像合成单元201的选择图像信息。选择图像信息表示从要合成图像(图像1到图像4)的哪些像素中选择构成通过图像合成单元201中的图像合成处理生成的合成图像的像素。选择图像比较单元207执行将从其它图像中选择的相邻像素设置为图像质量退化区域检测对象的处理(第四实施例(参考图14和15))。
输出值有效区域检测单元209输入来自图像合成单元201的选择图像信息。选择图像信息表示从要合成图像(图像1到图像4)的哪些像素中选择构成通过图像合成单元201生成的合成图像的像素。输出值有效区域检测单元209针对构成合成图像的所有像素获得所选图像,即在存储器103中存储的合成前要合成图像(图像1到图像4)的对应像素值,并且确定合成前图像的输出值的有效性。
更具体地,例如,在构成合成图像的像素的比特值(0到1023数位)满足下列公式3的情况下,
比特值>1000数位,或
比特值<5数位 (公式3)
确定像素的比特值的有效性低,使得该区域被确定为图像质量退化区域(第五实施例(参考图17))。
运动区域检测单元b 210输入来自图像合成单元201的选择图像信息。选择图像信息表示从要合成图像(图像1到图像4)的哪些像素中选择构成通过图像合成单元201生成的合成图像的像素。此外,运动区域检测单元b 210针对构成合成图像的所有像素获得所选图像,即在存储器103中存储的合成前要合成图像(图像1到图像4)的对应像素值,并且确定构成合成图像的像素是否满足下列条件。
(图像1(T1)111的输出)>5数位,
(图像2(T2)112的输出)>5数位,或
(图像3(T3)113的输出)>5数位 (公式4)
确定满足上述条件的像素为运动区域中的像素。
然而,考虑图像的有效位配置有10位数据并且比特值能够取的值,即数位值在从0到1023数位的范围内的情况(第七实施例(参考图19和20))。
图像质量退化区域检测单元208输入由选择图像比较单元207生成的图像质量退化区域确定信息(图像质量退化区域确定信息表示像素是否具有从其它图像中选择的相邻像素)。
此外,图像质量退化区域检测单元208将图像质量退化运动区域检测信息输出到检测结果集成单元211,其中这样的区域被设置成图像质量退化区域:该区域是在从过检测移除单元206输入的运动区域检测信息143中被确定为运动区域的像素区域,并且在图像质量退化区域确定信息中被确定为图像质量退化区域。
检测结果集成单元211输入图像质量退化运动区域检测信息,例如(a)由图像质量退化区域检测单元208生成的图像质量退化运动区域检测信息,(b)由输出值有效区域检测单元209生成的图像质量退化区域确定信息(根据合成图像的比特值是否接近于零或饱和值而生成的图像质量退化区域确定信息),和(c)由运动区域检测单元b 210生成的图像质量退化区域确定信息(图像质量退化区域确定信息指示是长时间曝光图像的输出的设置像素,还是短时间曝光图像的任何一个中具有有效像素值的像素)。
检测结果集成单元211最终确定这样的区域作为图像质量退化运动区域:该区域在上述(a)的图像质量退化运动区域检测信息和(b)和(c)的图像质量退化区域确定信息的任何一个中被确定为图像质量退化运动区域或图像质量退化区域,并且输出具有上述信息的图像质量退化运动区域检测信息144。
从检测结果集成单元211输出的图像质量退化运动区域检测信息144配置有例如像素对应图像质量退化运动区域检测信息等等,其中图像质量退化运动区域像素=1并且非图像质量退化运动区域像素=0。
(2-10)第十实施例
当由于系统的某个限制而不能获得先前合成图像时,不能使用上述第一到第九实施例。作为非常适于这种情况的运动对象检测机构的实施例,图24中图解了第十实施例。
在该实施例中,通过比较具有曝光时间T1到T4(T1<T2<T3<T4)的四个图像的信号水平来检测运动对象。
成像装置102输出图像111到114(曝光时间=T1到T4),并且将图像存储在存储器103中。
相关检测单元a,301,相关检测单元b,302和相关检测单元c,303分别输入图像1(曝光时间T1)111和图像2(曝光时间T2)112,图像2(曝光时间T2)112和图像3(曝光时间T3)113,和图像3(曝光时间T3)113和图像4(曝光时间T4)114,并且通过使用图25中图解的长时间曝光图像和短时间曝光图像之间的相关关系作为参考,比较像素值。
在像素值比较中,相关检测单元301到303考虑固态成像装置的噪声或光的拍摄噪声的影响,使得如果对象的像素值相对参考直线超出某个程度的允许量,则确定该对象为运动对象。
该实施例在中间电压的变化相对较小的情况下有效。
在长时间曝光图像(LE)和短时间曝光图像(SE)之间的曝光时间比被设置成曝光比A(LE/SE)的情况下,图25中图解的长时间曝光图像和短时间曝光图像之间的相关关系是这样的相关关系数据:其中针对三个分区区域定义有不同的斜率,这三个分区区域包含具有相关关系直线的低输出区域,其中区域1=(短时间曝光图像的输出)不能被获得,具有相关关系直线的中等输出区域,其中区域2=(大于曝光比A(LE/SE)的斜率),和高输出区域,其根据区域3=(曝光比A(LE/SE))确定。
图25中图解的相关关系与参考图12描述的相关关系相同。
图25中图解的相关关系是根据作为比较对象、具有不同曝光时间的图像的输出值的相关生成的相关信息。这里,根据作为比较对象的图像设置每个阈值Th1和Th2,并且可能需要预先准备。
在根据图24中图解的实施例的图像处理设备中,相关检测单元a,301输入图像1(曝光时间T1)111和图像2(曝光时间T2)112,并且通过使用图25中图解的长时间曝光图像和短时间曝光图像之间的相关关系作为参考,比较对应像素值。
在像素值比较的结果位于图25中图解的直线上的情况下,或在与直线的差在预定阈值内的情况下,确定该区域不是运动区域。
类似地,相关检测单元b,302也输入图像2(曝光时间T2)112和图像3(曝光时间T3)113,并且通过使用图25中图解的长时间曝光图像和短时间曝光图像之间的相关关系作为参考,比较对应像素值。
在像素值比较的结果位于图25中图解的直线上的情况下,或在与直线的差在预定阈值内的情况下,确定该区域不是运动区域。
类似地,相关检测单元c,303也输入图像3(曝光时间T3)113和图像4(曝光时间T4)114,并且通过使用图25中图解的相关关系作为参考,比较对应像素值。
在像素值比较的结果位于图25中图解的直线上的情况下,或在与直线的差在预定阈值内的情况下,确定该区域不是运动区域。
通过这种方式,根据该实施例的图像处理单元104的相关检测单元利用根据根据曝光时间、根据成像装置的特性的相关关系信息,执行具有不同时间的图像的对应像素之间的像素值比较。如果该差值是预定阈值或更大,则该区域被设置成运动区域。
检测结果集成单元310输入相关检测单元301到303的检测结果,并且针对检测结果中的任何一个,执行确定被确定为运动区域的像素区域是最终运动区域的处理。检测结果集成单元310输出包含上述信息的运动区域检测信息143。
从检测结果集成单元310输出的运动区域检测信息143配置有例如像素对应运动区域检测信息等等,其中运动区域像素=1并且非运动区域像素=0。
该实施例的配置也可以被修改为这样的配置:生成合成图像的处理是不必要的,并且不执行合成图像的生成。此外,该实施例的配置也可以被修改为这样的配置:在合成图像开始前,通过图24中图解的处理确定运动区域,并且通过使用确定的结果,对运动区域执行校正等等之前,生成合成图像。
在这之前,描述了多个实施例(第一到第十实施例)。
根据第一到第三实施例,例如,在使用具有上述日本未审专利申请公开说明书No.2008-99158中公开的配置的成像装置的情况下,可以有效地检测运动对象区域。
第一实施例具有最简单的配置。尽管第二实施例使用比第一实施例的速度更高的的速度,但可以获得更加改进的检测。尽管第三实施例具有更复杂的配置,但可以以与第一实施例的处理速度相同的处理速度获得改进。
在根据第四到第八实施例的结构中,可以检测非常大量的图像质量退化。
在第九实施例中,尽管复杂的处理导致电路尺寸的增加,但可以高性能地执行检测。
在第十实施例中,即使在不可获得先前合成图像的情况下,仍可以相对好地检测运动对象区域。
在这之前,参考具体实施例详细地描述了本发明。然而,本领域普通技术人员能够想到不偏离本发明的实质的范围内的修改或替换。换句话说,由于以示例方式描述了本发明,所以不应以限制性方式来分析。在确定本发明的实质时,要考虑权利要求书。
此外,说明书中描述的一系列处理可以以硬件方式、以软件方式或以其结合的方式实现。在以软件方式实现处理的情况下,记录处理序列的程序可以被安装在被装配成专用硬件的计算机的存储器中以被执行。此外,程序可以被安装在可以执行各种处理的通用计算机中以被执行。例如,程序可以被预先记录在记录介质中。除了从记录介质到计算机的安装之外,程序可以通过例如LAN(局域网)和因特网的网络被接收,并且被安装在例如内置硬盘的记录介质中。
此外,说明书中公开的各种处理可以按根据该公开的时序执行。此外,处理可以根据执行处理的装置的处理性能或根据必要性并行或单独执行。此外,在该说明书中,系统表示多个装置的逻辑集成结构,并且该结构的每个装置不局限于被包含在同一外壳内。
本申请包含涉及2009年9月18日提交日本专利局的日本优先权专利申请JP 2009-216529和2009年12月18日提交的JP 2009-288018中的公开的主题,这里参考合并了所述专利申请的全部内容。
本领域的技术人员应当理解,根据设计要求和其它因素,可以进行各种修改、合成、子合成和变化,只要它们在所附权利要求书或其等同表述的范围内。
Claims (13)
1.一种图像处理设备,包括:
图像合成单元,其通过合成具有不同曝光时间的所拍照图像来产生合成图像;和
运动区域检测单元,其对由图像合成单元生成的多个合成图像执行比较处理以获得像素值差,并且执行运动区域检测处理,该处理比较像素值差和预定阈值,并且确定像素值差等于或大于阈值的像素区域是对象的运动被估计为已经发生的运动区域。
2.如权利要求1所述的图像处理设备,
其中,图像合成单元被配置为每当具有不同曝光时间的一个所拍照图像被输入时,通过合成新输入图像和具有不同曝光时间的输入完成的所拍照图像,来生成所述合成图像,和
其中运动区域检测单元通过比较由图像合成单元生成的两个连续的合成图像的对应像素的像素值,来执行运动区域检测处理。
3.如权利要求1或2所述的图像处理设备,
其中,该图像处理设备包含:
合成前图像比较单元,其通过在要合成图像之间比较对应像素的输出值来获得要合成图像之间的像素值差,其中要合成图像是用于合成图像的生成的来源;和
过检测移除单元,其比较要合成图像之间的像素值差和预定第二阈值,并且针对由运动区域检测单元检测的运动区域的对应像素,确定要合成图像之间的像素值差小于第二阈值的像素区域不是运动区域。
4.如权利要求1或2所述的图像处理设备,
其中图像处理设备包含图像质量退化区域检测单元,其通过使用要合成图像的像素对应选择信息,确定这样的像素区域作为图像质量退化区域:在所述像素区域中,具有不同曝光时间的所拍照图像的像素被设置成合成图像上的相邻像素,其中要合成图像是用于合成图像的生成的来源,并且图像质量退化区域检测单元输出图像质量退化运动区域检测信息,其中作为由运动区域检测单元检测的运动区域并且作为图像质量退化区域的像素区域被提取为图像质量退化运动区域。
5.如权利要求1或2所述的图像处理设备,
其中,该图像处理设备包含:
输出值有效区域检测单元,其通过使用关于要合成图像的像素对应选择信息,针对合成图像的像素获得要合成图像的像素值,其中要合成图像是用于合成图像的生成的来源,并且输出值有效区域检测单元在要合成图像的像素值在零或饱和值附近的情况下,确定所述像素区域具有低有效性的输出值;和
图像质量退化区域检测单元,其确定由输出值有效区域检测单元检测的具有低有效性的输出值的像素区域为具有高可能性的图像质量退化的图像质量退化区域,并且图像质量退化区域检测单元输出图像质量退化运动区域检测信息,所述图像质量退化运动区域检测信息指示作为由运动区域检测单元检测的运动区域并且作为图像质量退化区域的所述像素区域被提取为图像质量退化运动区域。
6.如权利要求1或2所述的图像处理设备,
其中,该图像处理设备包含:
第二运动区域检测单元,其通过使用作为用于合成图像的生成的来源的要合成图像的像素对应选择信息,确定所述像素处于运动区域中,其中所述像素是作为用于合成图像的像素的长时间曝光图像的像素,并且具有有效像素值,使得对应于所述像素的短时间曝光图像的像素的值不在零附近;和
检测结果集成单元,其输出运动区域检测信息,其中被运动区域检测单元确定为运动区域并且被第二运动区域检测单元确定为运动区域的区域被设置成最终运动区域。
7.一种图像处理设备,包括:
图像合成单元,其通过合成具有不同曝光时间的所拍照图像来产生合成的图像;和
输出值有效区域检测单元,其通过使用关于要合成图像的像素对应选择信息,针对合成图像的像素获得要合成图像的像素值,其中要合成图像是用于合成图像的生成的来源,在要合成图像的像素值在零或饱和值附近的情况下确定所述像素区域具有低有效性的输出值,并且输出图像质量退化区域检测信息,其中所述区域被清楚地指示为具有高可能性的图像质量退化的图像质量退化区域。
8.一种图像处理设备,包括:
图像合成单元,其通过合成具有不同曝光时间的所拍照图像来产生合成图像;和
运动区域检测单元,其通过使用关于作为用于合成图像的生成的来源的要合成图像的像素对应选择信息,确定像素处于运动区域中,其中所述像素是长时间曝光图像的像素并且具有有效像素值,使得对应于所述像素的短时间曝光图像的像素值不在零附近,并且输出清楚地指示所述运动区域的运动区域检测信息。
9.一种图像处理设备,包括:
检测单元,其计算具有不同曝光时间的所拍照图像的对应像素的像素值差和预定相关信息之间的差,并且在该差大于预定阈值的情况下,确定存在运动区域。
10.如权利要求9所述的图像处理设备,
其中根据作为比较对象的具有不同曝光时间的图像的输出值的相关,生成相关信息。
11.一种具有图像处理设备的成像设备,
其中,该图像处理设备还包含:
成像装置,其捕捉具有不同曝光时间的所拍照图像;和
图像处理单元,其执行根据权利要求1至10中任何一个权利要求所述的图像处理。
12.一种在图像处理设备中执行的图像处理方法,包括步骤:
允许图像合成单元通过合成具有不同曝光时间的所拍照图像来生成合成图像;和
允许运动区域检测单元对由图像合成单元生成的多个合成图像执行比较处理,以获得像素值差,并且执行运动区域检测处理,所述运动区域检测处理比较所述像素值差和预定阈值,并且确定所述像素值差等于或大于所述阈值的像素区域为对象的运动被估计为已经发生的运动区域。
13.一种允许图像处理设备执行成像处理的程序,所述成像处理包括步骤:
允许图像合成单元通过合成具有不同曝光时间的所拍照图像来产生合成图像;和
允许运动区域检测单元对由图像合成单元产生的多个合成图像执行比较处理,以获得像素值差,并且执行运动区域检测处理,所述运动区域检测处理比较所述像素值差和预定阈值,并且确定所述像素值差等于或大于所述阈值的像素区域为对象的运动被估计为已经发生的运动区域。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009216529 | 2009-09-18 | ||
JP2009-216529 | 2009-09-18 | ||
JP2009288018A JP5458865B2 (ja) | 2009-09-18 | 2009-12-18 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
JP2009-288018 | 2009-12-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102025917A true CN102025917A (zh) | 2011-04-20 |
CN102025917B CN102025917B (zh) | 2014-09-24 |
Family
ID=43126995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010280673.9A Active CN102025917B (zh) | 2009-09-18 | 2010-09-10 | 图像处理设备、图像捕捉设备、图像处理方法和程序 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8508611B2 (zh) |
EP (1) | EP2309457A1 (zh) |
JP (1) | JP5458865B2 (zh) |
CN (1) | CN102025917B (zh) |
TW (1) | TWI432019B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103856720A (zh) * | 2012-11-30 | 2014-06-11 | 三星泰科威株式会社 | 图像处理设备和方法 |
CN103873777A (zh) * | 2014-03-26 | 2014-06-18 | 深圳市金立通信设备有限公司 | 一种照片合成方法及终端 |
CN104010128A (zh) * | 2013-02-20 | 2014-08-27 | 佳能株式会社 | 摄像设备及其控制方法 |
CN104980652A (zh) * | 2014-04-11 | 2015-10-14 | 韩华泰科株式会社 | 图像处理设备和图像处理方法 |
CN105577983A (zh) * | 2014-10-30 | 2016-05-11 | 韩华泰科株式会社 | 检测运动遮罩的设备和方法 |
CN107197167A (zh) * | 2016-03-14 | 2017-09-22 | 杭州海康威视数字技术股份有限公司 | 一种获得图像的方法及装置 |
CN109076170A (zh) * | 2016-05-16 | 2018-12-21 | 索尼公司 | 图像处理设备、图像处理方法、成像设备和程序 |
CN109417592A (zh) * | 2016-07-01 | 2019-03-01 | 麦克赛尔株式会社 | 拍摄装置、拍摄方法及拍摄程序 |
CN109447929A (zh) * | 2018-10-18 | 2019-03-08 | 北京小米移动软件有限公司 | 图像合成方法及装置 |
CN110891140A (zh) * | 2018-08-16 | 2020-03-17 | 佳能株式会社 | 摄像装置、图像处理装置及其控制方法和存储介质 |
CN113905183A (zh) * | 2021-08-25 | 2022-01-07 | 珠海全志科技股份有限公司 | 宽动态范围图像的色差校正方法及装置 |
WO2023065197A1 (zh) * | 2021-10-21 | 2023-04-27 | 华为技术有限公司 | 运动目标检测方法、装置以及检测设备 |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4905187B2 (ja) * | 2007-03-09 | 2012-03-28 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
KR101604068B1 (ko) * | 2009-09-22 | 2016-03-17 | 삼성전자주식회사 | 고대비 영상 생성 장치 및 방법 |
CN103181160B (zh) * | 2010-07-28 | 2016-06-15 | 富士胶片株式会社 | 成像设备和成像方法 |
CN103125112B (zh) * | 2010-09-27 | 2015-07-08 | 富士胶片株式会社 | 成像设备以及成像方法 |
JP5968068B2 (ja) * | 2011-05-24 | 2016-08-10 | キヤノン株式会社 | 露出制御を行う撮像装置、撮像装置の制御方法、プログラム及び記録媒体 |
JP2013021636A (ja) * | 2011-07-14 | 2013-01-31 | Sony Corp | 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体 |
KR101843450B1 (ko) * | 2011-08-23 | 2018-03-29 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
JP5797072B2 (ja) * | 2011-09-22 | 2015-10-21 | キヤノン株式会社 | 撮像装置及びその制御方法、並びにプログラム |
JP5860663B2 (ja) * | 2011-10-18 | 2016-02-16 | 日立オートモティブシステムズ株式会社 | ステレオ撮像装置 |
JP5896788B2 (ja) * | 2012-03-07 | 2016-03-30 | キヤノン株式会社 | 画像合成装置及び画像合成方法 |
JP5587932B2 (ja) * | 2012-03-14 | 2014-09-10 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 |
JP5654511B2 (ja) | 2012-03-14 | 2015-01-14 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 |
US9307207B2 (en) * | 2013-01-07 | 2016-04-05 | GM Global Technology Operations LLC | Glaring reduction for dynamic rearview mirror |
KR101871945B1 (ko) * | 2013-01-17 | 2018-08-02 | 한화에어로스페이스 주식회사 | 영상 처리 장치 및 방법 |
JP5889247B2 (ja) * | 2013-07-02 | 2016-03-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置 |
TWI464526B (zh) * | 2013-08-08 | 2014-12-11 | Quanta Comp Inc | 高動態範圍影像曝光時間控制方法 |
US8830367B1 (en) | 2013-10-21 | 2014-09-09 | Gopro, Inc. | Frame manipulation to reduce rolling shutter artifacts |
JP5888348B2 (ja) * | 2014-01-23 | 2016-03-22 | カシオ計算機株式会社 | 撮像装置、撮像制御方法、及びプログラム |
JP2015144339A (ja) * | 2014-01-31 | 2015-08-06 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2016044995A (ja) * | 2014-08-20 | 2016-04-04 | セイコーエプソン株式会社 | 測色方法、測色装置および電子機器 |
US10944911B2 (en) * | 2014-10-24 | 2021-03-09 | Texas Instruments Incorporated | Image data processing for digital overlap wide dynamic range sensors |
GB2537886B (en) * | 2015-04-30 | 2022-01-05 | Wsou Invest Llc | An image acquisition technique |
KR102368625B1 (ko) * | 2015-07-23 | 2022-03-02 | 삼성전자주식회사 | 디지털 촬영 장치 및 그 방법 |
JP2017046259A (ja) | 2015-08-28 | 2017-03-02 | ルネサスエレクトロニクス株式会社 | 半導体装置 |
JP6635722B2 (ja) * | 2015-09-01 | 2020-01-29 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9521351B1 (en) | 2015-09-21 | 2016-12-13 | Rambus Inc. | Fractional-readout oversampled image sensor |
JP7025223B2 (ja) * | 2018-01-18 | 2022-02-24 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
CN108335272B (zh) * | 2018-01-31 | 2021-10-08 | 青岛海信移动通信技术股份有限公司 | 一种拍摄图片的方法及设备 |
JP6995013B2 (ja) * | 2018-05-15 | 2022-01-14 | 国際航業株式会社 | 監視システム |
CN109819163A (zh) * | 2019-01-23 | 2019-05-28 | 努比亚技术有限公司 | 一种图像处理控制方法、终端及计算机可读存储介质 |
JP2020184669A (ja) * | 2019-05-07 | 2020-11-12 | シャープ株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム |
WO2022244351A1 (ja) * | 2021-05-17 | 2022-11-24 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002077725A (ja) * | 2000-09-05 | 2002-03-15 | Sanyo Electric Co Ltd | 合成画像形成装置 |
CN1640115A (zh) * | 2002-02-28 | 2005-07-13 | 应用视像系统有限公司 | 动态范围视频记录及回放的系统和方法 |
US20060133688A1 (en) * | 2003-04-29 | 2006-06-22 | Microsoft Corporation | System and process for generating high dynamic range video |
CN101394487A (zh) * | 2008-10-27 | 2009-03-25 | 华为技术有限公司 | 一种合成图像的方法与系统 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4282113B2 (ja) * | 1998-07-24 | 2009-06-17 | オリンパス株式会社 | 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体 |
JP2000050151A (ja) * | 1998-07-28 | 2000-02-18 | Olympus Optical Co Ltd | 撮像装置 |
JP4245699B2 (ja) * | 1998-09-16 | 2009-03-25 | オリンパス株式会社 | 撮像装置 |
JP4511066B2 (ja) * | 2001-03-12 | 2010-07-28 | オリンパス株式会社 | 撮像装置 |
JP2004048445A (ja) * | 2002-07-12 | 2004-02-12 | Fuji Photo Film Co Ltd | 画像合成方法及び装置 |
JP4418317B2 (ja) * | 2004-07-21 | 2010-02-17 | オリンパス株式会社 | 撮像装置 |
JP4837406B2 (ja) * | 2006-03-10 | 2011-12-14 | オリンパスイメージング株式会社 | 電子的ぶれ補正装置および電子的ぶれ補正方法 |
US7714903B2 (en) * | 2006-08-29 | 2010-05-11 | Zoran Corporation | Wide dynamic range image capturing system method and apparatus |
JP4973115B2 (ja) | 2006-10-16 | 2012-07-11 | ソニー株式会社 | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 |
JP4806329B2 (ja) * | 2006-10-23 | 2011-11-02 | 三洋電機株式会社 | 撮像装置及び撮像方法 |
JP4905187B2 (ja) | 2007-03-09 | 2012-03-28 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
US8144214B2 (en) * | 2007-04-18 | 2012-03-27 | Panasonic Corporation | Imaging apparatus, imaging method, integrated circuit, and storage medium |
-
2009
- 2009-12-18 JP JP2009288018A patent/JP5458865B2/ja not_active Expired - Fee Related
-
2010
- 2010-09-09 US US12/878,274 patent/US8508611B2/en active Active
- 2010-09-10 TW TW099130747A patent/TWI432019B/zh not_active IP Right Cessation
- 2010-09-10 CN CN201010280673.9A patent/CN102025917B/zh active Active
- 2010-09-13 EP EP10176461A patent/EP2309457A1/en not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002077725A (ja) * | 2000-09-05 | 2002-03-15 | Sanyo Electric Co Ltd | 合成画像形成装置 |
CN1640115A (zh) * | 2002-02-28 | 2005-07-13 | 应用视像系统有限公司 | 动态范围视频记录及回放的系统和方法 |
US20060133688A1 (en) * | 2003-04-29 | 2006-06-22 | Microsoft Corporation | System and process for generating high dynamic range video |
CN101394487A (zh) * | 2008-10-27 | 2009-03-25 | 华为技术有限公司 | 一种合成图像的方法与系统 |
Non-Patent Citations (2)
Title |
---|
AL BOVIK: "《Handbook of Image and Video Processing》", 31 December 2000, article "Motion Detection and Estimation" * |
GRAZIO GALLO: "artifact free high dynamic range imaging_", 《ICCP 2009》, 17 April 2009 (2009-04-17) * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103856720B (zh) * | 2012-11-30 | 2018-02-13 | 韩华泰科株式会社 | 图像处理设备和方法 |
CN103856720A (zh) * | 2012-11-30 | 2014-06-11 | 三星泰科威株式会社 | 图像处理设备和方法 |
CN104010128A (zh) * | 2013-02-20 | 2014-08-27 | 佳能株式会社 | 摄像设备及其控制方法 |
CN104010128B (zh) * | 2013-02-20 | 2017-05-17 | 佳能株式会社 | 摄像设备及其控制方法 |
CN103873777A (zh) * | 2014-03-26 | 2014-06-18 | 深圳市金立通信设备有限公司 | 一种照片合成方法及终端 |
CN104980652A (zh) * | 2014-04-11 | 2015-10-14 | 韩华泰科株式会社 | 图像处理设备和图像处理方法 |
CN104980652B (zh) * | 2014-04-11 | 2020-01-24 | 韩华泰科株式会社 | 图像处理设备和图像处理方法 |
CN105577983A (zh) * | 2014-10-30 | 2016-05-11 | 韩华泰科株式会社 | 检测运动遮罩的设备和方法 |
CN105577983B (zh) * | 2014-10-30 | 2020-06-23 | 韩华泰科株式会社 | 检测运动遮罩的设备和方法 |
CN107197167B (zh) * | 2016-03-14 | 2019-12-20 | 杭州海康威视数字技术股份有限公司 | 一种获得图像的方法及装置 |
CN107197167A (zh) * | 2016-03-14 | 2017-09-22 | 杭州海康威视数字技术股份有限公司 | 一种获得图像的方法及装置 |
CN109076170A (zh) * | 2016-05-16 | 2018-12-21 | 索尼公司 | 图像处理设备、图像处理方法、成像设备和程序 |
CN109417592A (zh) * | 2016-07-01 | 2019-03-01 | 麦克赛尔株式会社 | 拍摄装置、拍摄方法及拍摄程序 |
CN110891140A (zh) * | 2018-08-16 | 2020-03-17 | 佳能株式会社 | 摄像装置、图像处理装置及其控制方法和存储介质 |
CN110891140B (zh) * | 2018-08-16 | 2021-07-20 | 佳能株式会社 | 摄像装置、图像处理装置及其控制方法和存储介质 |
CN109447929A (zh) * | 2018-10-18 | 2019-03-08 | 北京小米移动软件有限公司 | 图像合成方法及装置 |
CN113905183A (zh) * | 2021-08-25 | 2022-01-07 | 珠海全志科技股份有限公司 | 宽动态范围图像的色差校正方法及装置 |
CN113905183B (zh) * | 2021-08-25 | 2024-04-16 | 珠海全志科技股份有限公司 | 宽动态范围图像的色差校正方法及装置 |
WO2023065197A1 (zh) * | 2021-10-21 | 2023-04-27 | 华为技术有限公司 | 运动目标检测方法、装置以及检测设备 |
Also Published As
Publication number | Publication date |
---|---|
CN102025917B (zh) | 2014-09-24 |
JP2011087269A (ja) | 2011-04-28 |
US8508611B2 (en) | 2013-08-13 |
US20110069205A1 (en) | 2011-03-24 |
TW201134209A (en) | 2011-10-01 |
JP5458865B2 (ja) | 2014-04-02 |
TWI432019B (zh) | 2014-03-21 |
EP2309457A1 (en) | 2011-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102025917B (zh) | 图像处理设备、图像捕捉设备、图像处理方法和程序 | |
CN101742123B (zh) | 图像处理设备和方法 | |
CN102025918B (zh) | 图像处理装置、成像设备、图像处理方法和程序 | |
CN100490506C (zh) | 采用多次取样通过时间-索引实现宽动态范围的图象传感器 | |
US7602418B2 (en) | Digital image with reduced object motion blur | |
US9560290B2 (en) | Image processing including image correction | |
US9699429B2 (en) | Image processing apparatus, imaging device, image processing method, and program for reducing noise or false colors in an image | |
US20120314124A1 (en) | Image pickup apparatus, image pickup apparatus control method, and program | |
US20130329101A1 (en) | Camera system with multi-spectral filter array and image processing method thereof | |
CN102742278B (zh) | 摄像装置 | |
US8314852B2 (en) | Image capturing apparatus, image capturing method, and storage medium | |
TW201030674A (en) | Modifying color and panchromatic channel CFA image | |
CN102169276A (zh) | 摄像装置和自动焦点调节方法 | |
JP2008085753A (ja) | 画像データのノイズ処理方法及びノイズ処理装置並びに撮像装置 | |
CN102342091B (zh) | 校正闪光的影响的摄像装置 | |
KR20180121879A (ko) | 촬상 제어 장치, 및 촬상 제어 방법, 및 촬상 장치 | |
JP2013235054A (ja) | 焦点検出装置及び撮像装置 | |
CN104079940A (zh) | 图像处理装置、图像处理方法、程序和成像装置 | |
CN102595025A (zh) | 图像处理设备和图像处理方法 | |
CN101933323B (zh) | 摄像设备和摄像设备控制方法 | |
JP2009164859A (ja) | 撮像装置及び撮像制御方法 | |
JP2015177258A (ja) | 画像入力装置 | |
CN109964479A (zh) | 摄像设备及其控制方法 | |
CN103139489A (zh) | 固态摄像元件的信号处理电路和信号处理方法及电子装置 | |
JP2018170703A (ja) | 撮像素子、撮像装置、及び撮像素子の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20170116 Address after: Kanagawa Japan Atsugi Asahi 4-14-1 Patentee after: SONY semiconductor solutions Address before: Tokyo, Japan, Japan Patentee before: Sony Corporation |