CN102740082A - 图像处理装置及控制方法 - Google Patents

图像处理装置及控制方法 Download PDF

Info

Publication number
CN102740082A
CN102740082A CN2012100905974A CN201210090597A CN102740082A CN 102740082 A CN102740082 A CN 102740082A CN 2012100905974 A CN2012100905974 A CN 2012100905974A CN 201210090597 A CN201210090597 A CN 201210090597A CN 102740082 A CN102740082 A CN 102740082A
Authority
CN
China
Prior art keywords
image
pictorial element
images
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100905974A
Other languages
English (en)
Other versions
CN102740082B (zh
Inventor
椿秀敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102740082A publication Critical patent/CN102740082A/zh
Application granted granted Critical
Publication of CN102740082B publication Critical patent/CN102740082B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Abstract

本发明提供图像处理装置及控制方法。在获得曝光不同的多个图像并且调整所述多个图像的色调等级之后，基于所述多个图像之间的像素值差分检测与被摄体的变化相对应的图像元素。然后，针对所述多个图像，对与被摄体的变化相对应的图像元素中的过曝高亮和阴影细节丢失图像元素的数量进行计数。然后，选择图像元素的总数最小的图像。此外，使用选择的图像中的与被摄体的变化相对应的图像元素，作为待生成的HDR图像中与被摄体的变化相对应的图像元素。

Description

图像处理装置及控制方法
技术领域
本发明涉及图像处理装置及控制方法，尤其涉及一种通过合成多个曝光不同的图像来扩展色调范围的动态范围扩展技术。
背景技术
近年来，诸如数字照相机和数字摄像机的一些摄像装置具有如下动态范围扩展功能：其通过合成多个曝光不同的图像(通过使用不同的曝光时间来拍摄被摄体的图像来获得这些图像)来获得色调范围得到扩展的图像。
在动态范围扩展功能中使用的动态范围扩展技术(即所谓的HDR(High Dynamic Range，高动态范围)图像生成技术)的基本概念如下。
●由曝光时间比曝光过度图像短的拍摄图像的图像元素，补偿曝光过度图像中的过曝高亮(blown-out highlight)区域的图像元素。
●由曝光时间比曝光不足图像长的拍摄图像的图像元素，补偿该曝光不足图像中的阴影细节丢失(shadow-detail loss)区域的图像元素。
以此方式，能够扩展图像的色调范围，而不引起任何的阴影细节丢失或过曝高亮。更具体地说，通过执行处理(例如替换为曝光不同的图像或适当曝光的图像的图像元素、或者对处理中使用的所有图像进行加权平均)来生成色调范围得到扩展的待生成图像(HDR图像)的各图像元素。请注意，由于曝光不同的图像因不同的曝光时间而具有不同的色调等级，因此，在对这些图像进行正规化后，通过加权平均处理等来合成这些图像。
通过这种动态范围扩展技术来生成HDR图像，需要通过具有不同曝光等级的多个摄像操作获得的多个待合成图像。然而，当被摄体包括运动物体时，待合成图像具有不同的运动物体区域，从而在通过合成待合成图像而获得的HDR图像中出现图像不连续问题。
更具体地说，当被摄体包括运动物体时，通过合成由多个摄像操作获得的图像而得到的HDR图像遇到与图像不连续相关的如下问题。例如，如图2所示，当假定在曝光过度图像200中运动物体区域201包括过曝高亮区域202的情况时，产生以下问题。
1.当使用在与过曝高亮区域202相同的位置的区域中不包括运动物体的曝光不足图像220的图像元素替换图像元素时，在HDR图像230的运动物体区域中生成可见背景的透明区域231(透明化)。
2.当使用在与过曝高亮区域202相同的位置的区域中存在运动物体、但其位置不同的曝光不足图像220的图像元素替换图像元素时，运动物体表面的纹理图案在对应区域232的边界处变得不连续。
3.与图2中不同，当曝光过度图像在背景区域中包括过曝高亮区域时，并且当在曝光不足图像中在该区域的遮蔽位置处存在运动物体时，通过将过曝高亮区域的图像元素替换为曝光不足图像的图像元素、就好像存在运动物体的多个图像，来合成图像(残像)。
不仅图像元素替换处理、而且利用半色调范围中的多个图像的加权平均的合成处理也会像进行传统的图像合成处理时产生的问题那样，引起诸如运动物体周围的多重边缘、以及相加的运动物体区域中的图案混合等的图像不连续。
为了避免在包括运动物体时由HDR图像生成处理输出的合成图像中的图像不连续，公开了用于在HDR图像生成处理中动态控制图像合成的技术。
日本特开2002-101347号公报公开了以下技术。即，当使用两个图像(即曝光不足图像和曝光过度图像)生成HDR图像时，基于正规化图像的色调等级之间的差分来指定可能出现图像不连续的区域，并且在该区域中禁止替换为曝光不足图像。
日本特开平10-243288号公报公开了以下技术。即，在利用半色调范围中的多个图像的加权平均的合成处理中，进行控制，以在合成处理中不使用待合成图像之间的运动物体的运动向量等于或大于阈值的图像，从而避免了多重边缘和图案混合。
然而，上述日本特开2002-101347号公报的方法是在假设用曝光不足图像替换曝光过度图像中的、色调等级等于或大于阈值的区域(过曝高亮区域)的图像的情况下提出的，并且该方法没有考虑曝光不足图像包括阴影细节丢失区域的任何情况。也就是说，上述日本特开2002-101347号公报的技术消除了过曝高亮区域中的图像不连续，但是无法同时消除过曝高亮区域、半色调区域以及阴影细节丢失区域所有这些区域中的图像不连续。
由于日本特开2002-101347号公报的方法仅仅假设了要合成两个曝光不同的图像的情况，因此该方法不适用于三个或更多个图像的合成。
此外，日本特开平10-243288号公报的方法避免了半色调区域中的图像不连续。然而，由于该方法需要用于检测运动向量的硬件或处理，因此会产生关于电路规模的增加以及与计算相关的处理时间的增加等的其他问题。
发明内容
考虑传统技术的问题而做出本发明。本发明提供一种当通过合成多个曝光不同的图像来扩展色调范围时、避免在合成中过曝高亮区域、半色调区域以及阴影细节丢失区域的图像不连续的技术。
在本发明的第一方面中，提供了一种图像处理装置，其包括用于使用曝光不同的多个图像生成动态范围得到扩展的合成图像的生成单元，所述图像处理装置包括：获得单元，用于获得曝光不同的所述多个图像；检测单元，用于检测所述多个图像之间的图像元素值的变化；计数单元，用于在所述多个图像的各个中的检测到所述变化的区域中，对图像元素值大于第一阈值的第一图像元素和图像元素值小于第二阈值的第二图像元素进行计数；以及选择单元，用于基于所述计数单元的计数结果选择所述多个图像中的一个，其中，所述生成单元针对所述合成图像中与检测到所述变化的所述区域相对应的区域，使用由所述选择单元选择的图像。
在本发明的第二方面中，提供了一种图像处理装置，其包括用于使用曝光不同的多个图像生成动态范围得到扩展的合成图像的生成单元，所述图像处理装置包括：获得单元，用于获得曝光不同的所述多个图像；检测单元，用于检测所述多个图像之间的图像元素值的变化；分类单元，用于以使得相邻图像元素形成一组的方式对与检测到的所述变化相对应的图像元素进行分类；计数单元，用于在所述多个图像的各个中，与由所述分类单元分类的各组的图像元素相关联地对图像元素值大于第一阈值的第一图像元素和图像元素值小于第二阈值的第二图像元素进行计数；以及选择单元，用于基于所述计数单元的计数结果，针对由所述分类单元分类的各组选择所述多个图像中的一个，其中，所述生成单元针对所述合成图像的、与由所述分类单元分类的组中的图像元素相对应的图像元素，使用由所述选择单元选择的图像。
在本发明的第三方面中，提供了一种图像处理装置的控制方法，所述图像处理装置包括用于使用曝光不同的多个图像生成动态范围得到扩展的合成图像的生成单元，所述控制方法包括：获得步骤，获得曝光不同的所述多个图像；检测步骤，检测所述多个图像之间的图像元素值的变化；计数步骤，在所述多个图像的各个中的检测到所述变化的区域中，对图像元素值大于第一阈值的第一图像元素和图像元素值小于第二阈值的第二图像元素进行计数；以及选择步骤，基于所述计数步骤中的计数结果选择所述多个图像中的一个，其中，所述生成单元针对所述合成图像中与检测到所述变化的所述区域相对应的区域，使用在所述选择步骤中选择的图像。
在本发明的第四方面中，提供了一种图像处理装置的控制方法，所述图像处理装置包括用于使用曝光不同的多个图像生成动态范围得到扩展的合成图像的生成单元，所述控制方法包括：获得步骤，获得曝光不同的所述多个图像；检测步骤，检测所述多个图像之间的图像元素值的变化；分类步骤，以使得相邻图像元素形成一组的方式，对与检测到的所述变化相对应的图像元素进行分类；计数步骤，在所述多个图像的各个中，与在所述分类步骤中分类的各组的图像元素相关联地对图像元素值大于第一阈值的第一图像元素和图像元素值小于第二阈值的第二图像元素进行计数；以及选择步骤，基于所述计数步骤中的计数结果，针对在所述分类步骤中分类的各组选择所述多个图像中的一个，其中，针对所述合成图像中的与在所述分类步骤中分类的组中的图像元素相对应的图像元素，所述生成单元使用在所述选择步骤中选择的图像。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是示出根据本发明的实施例的数字照相机100的功能结构的框图；
图2是用于说明由传统动态范围扩展处理引起的HDR图像中的图像不连续的图；
图3是根据本发明的第一实施例的HDR图像生成处理的流程图；
图4示出了根据本发明的实施例的多个曝光不同的图像的示例；
图5是用于说明在由于不同的曝光时间而导致的色调等级调整后的色调范围的图；
图6示出了根据本发明的实施例的检测到的运动图像元素；
图7A、图7B和图7C是示出根据本发明的实施例的多个曝光不同的图像的运动图像元素中的过曝高亮图像元素和阴影细节丢失图像元素的图；
图8是用于说明根据本发明的实施例的色调映射处理的图；
图9是根据本发明的第二实施例的HDR图像生成处理的流程图；
图10A、图10B和图10C是用于说明根据本发明的第二实施例的运动图像元素的分组处理的图；以及
图11是用于说明根据本发明的第一变形例的通过模板匹配进行的运动向量检测的图。
具体实施方式
(第一实施例)
下面将参照附图详细描述本发明的优选实施例。下面描述的实施例将例示将本发明应用于作为图像处理装置的示例的数字照相机的情况，该图像处理装置能够输出通过合成多个图像(通过拍摄具有不同的曝光时间的被摄体的图像来获得这些图像)而扩展了动态范围的图像(HDR图像)。然而，本发明适用于能够输出通过合成多个图像(通过拍摄具有不同的曝光时间的被摄体的图像来获得这些图像)而扩展了动态范围的图像的任意装置。在本说明书中，“图像不连续”笼统表示关于HDR图像中的透明化、纹理不连续、残像、多重边缘以及图案混合的上述问题。
(数字照相机的功能结构)
图1是示出根据本发明的实施例的数字照相机100的功能结构的框图。
控制器101例如是CPU。控制器101通过读出存储在ROM 102中的HDR图像生成处理程序(稍后描述)、在RAM 103上展开所读出的程序、并执行所展开的程序，来控制数字照相机100中包括的各个块的操作。ROM 102例如是诸如可重写非易失性存储器的寄存器。除了HDR图像生成处理程序之外，ROM 102还存储数字照相机100中包括的各个块的操作所需的控制参数等的信息。RAM 103例如是易失性存储器。RAM 103不仅用作HDR图像生成处理程序的展开区域，还用作在数字照相机100中包括的各个块的操作期间输出的中间数据的临时存储区。
请注意，在下面的描述中，通过数字照相机100中包括的作为硬件构件的各个块来实现各处理。然而，本发明不限于这种特定实施例，并且，可以通过能够实现与各个块的处理相同的处理的程序，来实现各个块的处理。
光圈105是布置在光学系统104的光瞳面(pupil plane)上、并通过部分遮挡入射到摄像单元107的表面的光来调整光量的曝光控制元件。机械快门106是通过物理遮挡入射到摄像单元107的表面的光线来调整瞬态入射光量的曝光控制元件。
摄像单元107由摄像元件(即单面元件(single plane element)或三面元件(three-plane element)等)构成。单面元件通过例如以Bayer(拜耳)阵列模式布置滤色镜来形成，并通过单面接收被摄体图像。三面元件使用光谱棱镜(未示出)将颜色信息分离为三部分或更多部分，并通过独立的摄像元件接收各部分光线。摄像单元107对经由包括多个透镜和反射镜的光学系统104形成的被摄体图像进行光电转换。然后，摄像单元107将通过光电转换获得的模拟图像信号输出至预处理器108。
请注意，当摄像单元107由三面元件构成时，其需要光谱光学元件，但是可以省略图像处理器110(稍后描述)中的Bayer阵列插值处理。此外，由于摄像元件具有电子快门功能，因此摄像单元107还是通过控制摄像元件的累积时间和读出定时来调整光量的曝光控制元件。
预处理器108对输入的模拟图像信号应用通过相关双采样(CDS，correlated double sampling)进行的噪声去除、通过自动增益控制(AGC，auto gain control)利用增益调整的曝光控制、黑水平校正以及A/D转换处理，并输出数字图像信号。由于在预处理器108中执行的各种处理是针对模拟图像信号的预处理，因此这些处理还被称为“AEF(analogfrontend，模拟前端)处理”。
在本实施例中，为了时分拍摄多个曝光不同的图像，控制器101使用曝光控制器109来控制光圈105、机械快门106、摄像单元107以及预处理器108中的曝光控制操作。更具体地说，曝光控制器109根据从控制器101输入的多个图像的曝光信息，控制光圈105的光圈值、机械快门106的打开时间、摄像元件的累积时间和读出定时、以及预处理器108中的增益调整量。
图像处理器110对输入的数字图像信号应用诸如Bayer阵列插值、线性矩阵处理、白平衡调整、YCC转换、色差/色调/对比度校正以及边缘增强处理等的图像处理。图像处理器110能够通过应用这些图像处理生成一个输出图像(与一次通常的摄像操作相关的图像)。生成的图像被存储在例如图像存储器111(稍后描述)中。作为另选方案，生成的图像经由记录介质I/F单元114被记录在记录介质115中。与预处理器的AFE处理相反，通过图像处理器110执行的各种图像处理被称为“DBE(digitalbackend，数字后端)处理”。
在本实施例中，假定图像处理器110执行包括合成处理的图像处理，该合成处理在由多个曝光不同的图像生成动态范围得到扩展的HDR图像所需的各步骤中执行。HDR图像生成处理中使用的多个曝光不同的图像在应用图像处理器110中的DBE处理之后被依次存储在图像存储器111中。图像处理器110从图像存储器111中读出各图像，并对它们应用所需的处理。
此外，当根据例如存储在ROM 102中的拍摄图像的记录格式需要诸如压缩编码的转换处理时，图像处理器110对图像数据应用该处理，由此生成待记录的图像数据。
图像存储器111是数字照相机100中包括的图像存储区。图像存储器111根据需要不仅可以临时存储通过HDR图像生成处理获得的图像数据，而且可以临时存储通过应用某些DBE处理而获得的中间图像数据。存储在图像存储器111中的图像可以是例如应用了Bayer阵列插值和线性矩阵处理的三面的RAW图像数据、进一步经过白平衡调整的RGB图像数据、或应用了YCC转换的YCC图像数据。请注意，本实施例在假设存储在图像存储器111中的用于HDR图像生成处理的图像是YCC图像的条件下，给出以下描述。然而，HDR图像生成处理(稍后描述)中使用的图像不限于YCC颜色空间的图像，还可以使用其他颜色空间的图像。
显示单元112例如是数字照相机100中包括的诸如小型LCD的显示设备，并且显示拍摄图像、生成的HDR图像、或经由记录介质I/F单元114(稍后描述)从记录介质115中读出的图像。
操作单元113是包括数字照相机100中包括的快门按钮以及菜单按钮等的用户接口，并且用于接受来自用户的操作输入。操作单元113分析用户进行的操作输入，并将与该操作输入相对应的信号输出至控制器101。此外，控制单元113不限于物理操作部件(前述的快门按钮、菜单按钮等)，还可以包括触摸屏传感器。在这种情况下，操作单元113将由用户操作的显示单元112的显示区域上的位置的信息输出至控制器101。
记录介质I/F单元114是例如用于将由图像处理器110生成的图像数据等写入连接的记录介质115中、或从记录介质115中读出数据的接口。记录介质115可以是例如数字照相机100中包括的内部存储器、或者以可拆卸方式连接至数字照相机100的诸如存储卡或HDD的记录设备。
(HDR图像生成处理)
下面将参照图3所示的流程图实际描述具有上述结构的本实施例的数字照相机100的HDR图像生成处理。当控制器101读出例如存储在ROM 102中的相应处理程序、在RAM 103上展开读出的程序、并执行展开的程序时，能够实现与该流程图相对应的处理。请注意，在假设例如当用户操作快门按钮、同时将数字照相机100的摄像模式设置为HDR摄像模式时开始该HDR图像生成处理的条件下，给出以下描述。
在步骤S301中，控制器101决定合成HDR图像所需的图像的数量以及这些图像的曝光量。控制器101控制曝光控制器109来控制光圈105、机械快门106、摄像单元107以及预处理器108，由此获得多个时分拍摄的图像。可以预先设置合成HDR图像所需的图像数量以及各图像的曝光量的信息，并将其存储在例如ROM 102中，或者可以根据被摄体的光度测定处理的结果来决定该信息。请注意，通过时分摄像操作获得的多个曝光不同的图像在经过预处理器108和图像处理器110中的预定处理之后，被转换为YCC格式的图像。然后，将转换后的图像存储在图像存储器111中。
请注意，为方便起见，本实施例将说明如下情况：如图4所示，使用三个曝光不同的图像401、402和403来合成HDR图像。然而，本发明不限于该特定实施例，并且可适用于使用两个或更多个曝光不同的图像的合成。假定图像401至403的曝光量按照401、402、403的顺序降低，并且按照相同的顺序时序拍摄这些图像。在以下描述中，将这些图像称为曝光过度图像401、中度曝光图像402以及曝光不足图像403。各图像包括静止物体410和411以及运动物体412和413作为被摄体。在多个图像的摄像操作期间，运动物体412和413在相对于数字照相机100的向右方向上移动。
当数字照相机100包括类似于光学或电子防振功能的配准功能时，对在步骤S301中获得的多个曝光不同的图像应用该功能。
在步骤S302中，控制器101控制图像处理器110执行色调等级调整处理，以校准存储在图像存储器111中的多个图像当中的、与同一被摄体相关的图像元素值。更具体地说，图像处理器110将存储在图像存储器111中的多个图像中的各个、跟该图像的曝光时间与最长的图像曝光时间之比的倒数相乘，由此实现色调等级调整。请注意，控制器101控制图像处理器110输出等级调整后的图像，并将其存储在图像存储器111中。
图5示出了色调等级调整后的各图像的色调范围以及能够由使用多个图像生成的HDR图像表现的色调范围。在图5中，图像的亮度Y成分的图像元素值用作色调范围。此外，在各等级调整后的图像中，使用如下参照符号表现过曝高亮亮度阈值HLV和阴影细节丢失亮度阈值LLV：a对应于曝光过度图像401；b对应于中度曝光图像402；以及c对应于曝光不足图像403。
请注意，在本实施例中，图像元素值表示图像元素的色调数据。当图像元素是彩色图像元素时，通过元素数量与颜色空间的成分的数量相同的向量来表现图像元素值。也就是说，诸如亮度值的颜色空间的特定成分的值表现尺度量(scalar amount)。
在步骤S303中，控制器101检测与存储在图像存储器111中的多个等级调整后图像中的被摄体的变化相对应的图像元素(运动图像元素)，即与包括运动物体的区域以及阴影细节丢失或过曝高亮状态的变化相对应的图像元素。更具体地说，控制器101读出存储在图像存储器111中的多个等级调整后的图像中的两个图像，并计算与相同坐标位置处的图像元素相关的图像元素值之间的差。然后，当图像元素值之间的差等于或大于预定阈值时，控制器101检测该图像元素作为运动图像元素。
例如，当计算中度曝光图像402和曝光不足图像403相对于等级调整后的曝光过度图像401的亮度值的差时，通过下面给出的布尔表达式判断表示三个图像的图像元素是否是运动图像元素的布尔型变量BMOV：
BMOV＝F(Yb-Ya)∨F(Yc-Ya)
其中，F为判断图像元素的亮度值之间的差ΔY是否超过为判断这些图像元素是否是运动图像元素而预先确定的阈值ThMOV所需的函数，并且通过下式表达：
F ( &Delta;Y ) = 0 ( | &Delta;Y | < Th MOV ) 1 ( | &Delta;Y | &GreaterEqual; Th MOV )
请注意，本实施例在假定使用存储在图像存储器111中的YCC图像的图像元素值的亮度成分来检测运动图像元素的条件下给出以下描述。然而，本发明不限于该特定实施例。例如，当存储在图像存储器111中的图像是RGB图像或RAW图像时，可以使用各自表示构成各图像元素值的各颜色成分的向量的绝对值、或特定颜色成分，来判断图像元素是否是运动图像元素。此外，控制器101可以获得虑及附近图像元素的运动的值(例如SAD(Sum ofAbsolute Difference，绝对差之和)、SSD(Sumof Squared Difference，方差和)以及亮度梯度(Optical Flow，光流))，并且通过基于这些值而非利用图像元素值之差计算区域的几何变形的运动向量或仿射系数，来检测运动图像元素。另外，控制器101可以利用例如Kalman滤波器或Bayes估计，考虑图像元素的运动的历史记录，来检测运动图像元素。
此外，本实施例在假设使用三个图像合成HDR图像的条件下给出以下描述。当使用三个图像之外的图像来执行合成处理时，布尔表达式根据图像的数量而变化。判断在同一坐标位置处的图像元素是否是运动图像元素，同时需要至少(合成中使用的图像数量-1)次的差分计算。布尔表达式的项数等于差分计算的次数，并且可以替代上述布尔表达式而使用在OR(或)条件下组合所有项的布尔表达式。请注意，本实施例在假设通过参照一个图像来计算该图像与另一图像之间的亮度值的差来判断布尔表达式的条件下，给出以下描述。然而，本发明可以应用于计算两个时序连续图像之间的亮度值的差而不设置任何标准图像的结构。
在图4所示的曝光过度图像401、中度曝光图像402以及曝光不足图像403之中检测到运动图像元素之后，对图像的各图像元素进行分类，例如如图6所示。在图6中，用实心圆来表示运动图像元素，而用空心圆来表示不是运动图像元素的图像元素。
在步骤S304中，控制器101从存储在图像存储器111中的多个等级调整后的图像当中，选择从中要提取与在合成HDR图像时在步骤S303中检测到的运动图像元素相对应的图像元素的图像。更具体地说，控制器101读出存储在图像存储器111中的等级调整后的多个曝光不同的图像。然后，针对被确定为运动图像元素的各图像的图像元素，控制器101计数亮度值超过过曝高亮图像元素值的阈值或者低于阴影细节丢失图像元素值的阈值(这些阈值设置在各图像中)的图像元素的数量(即，过曝高亮和阴影细节丢失图像元素的数量)。计数之后，控制器101选择存储在图像存储器111中的多个等级调整后的图像当中的、运动图像元素中的过曝高亮和阴影细节丢失图像元素的总数最小的图像，作为用作与HDR图像的运动图像元素相对应的图像元素的图像。
例如，可以使用下式来从多个曝光不同的图像中选择运动图像元素中的过曝高亮和阴影细节丢失图像元素的总数最小的图像：
i best = arg min i ( &Sigma; x = dyn _ corr f i ( x &RightArrow; ) ) . . . [ 1 ]
其中，x是运动图像元素(dyn_corr)，
Figure BSA00000696022400122
是运动图像元素的坐标位置，i是用于识别多个曝光不同的图像的标识符(a，b，c，...)。此外，是表示具有标识符i的图像中i处的图像元素是过曝高亮还是阴影细节丢失图像元素的布尔型变量，并通过下式定义该变量：
Figure BSA00000696022400131
其中，
Figure BSA00000696022400132
是具有标识符i的图像中处的图像元素的图像元素值，
Figure BSA00000696022400134
和
Figure BSA00000696022400135
分别表示具有标识符i的图像中过曝高亮图像元素值的阈值和阴影细节丢失图像元素值的阈值。请注意，在此时向量之间的比较中，当一个图像元素值向量的所有颜色成分值均超过其他向量的所有颜色成分值时，判断前者图像元素值向量较大。相反地，当一个图像元素向量的所有颜色成分值均低于其他向量的所有颜色成分值时，判断前者图像元素值向量较小。
也就是说，等式[1]针对多个曝光不同的图像，分别对运动图像元素的过曝高亮和阴影细节丢失图像元素的数量进行计数，并返回具有最小总和的图像的标识符。请注意，本实施例在假设使用多个等级调整后的图像的亮度值确定过曝高亮和阴影细节丢失图像元素的条件下，给出以下描述。然而，替代使用亮度值，过曝高亮和阴影细节丢失图像元素的确定方法可以使用各自包括由等式[1]给出的作为图像元素值的颜色成分作为元素的向量。
例如，图4所示的曝光过度图像401、中度曝光图像402以及曝光不足图像403在运动图像元素中分别具有过曝高亮和阴影细节丢失图像元素的分布，如图7A、7B和7C所示。此时，选择过曝高亮和阴影细节丢失图像元素的总数最小的曝光不足图像403，作为用于HDR图像的运动图像元素的图像。
在本实施例中，为了避免关于通过利用加权平均或图像元素替换执行图像合成引起的图像不连续的问题，仅通过从一个图像获得的图像元素来构成与HDR图像中的运动图像元素相对应的图像元素。也就是说，在HDR图像的生成中，替代利用加权平均或一些图像元素的替换进行的合成，而完全由多个曝光不同的图像中的一个图像的图像元素构成多个曝光不同的图像中的与被摄体的变化相对应的区域。从多个曝光不同的图像当中选择过曝高亮和阴影细节丢失图像元素的总数最小的图像，作为此时选择的并且从中提取这些区域的所有图像元素的图像。以此方式，能够在避免图像不连续的同时，生成通过最广的色调范围再现变化区域的被摄体的HDR图像。
请注意，本实施例说明了如下情况：针对多个等级调整后的图像中的各个，使用过曝高亮和阴影细节丢失图像元素值的阈值对过曝高亮和阴影细节丢失图像元素的数量进行计数。然而，利用该方法，将呈现为纯黑或纯白的运动物体的图像元素计数为过曝高亮或阴影细节丢失图像元素。然而，由于在短时间内时分拍摄多个曝光不同的图像，因此它们的亮度值保持不变。也就是说，该运动物体的图像元素值保持不变，该运动物体的移动量小，并且依据曝光时间的被摄体模糊的影响小。为此，在多个曝光不同的图像中，呈现为黑或白的运动物体的图像元素的数量能够是恒定的，并且容易想到：即使使用前述方法，也能够选择过曝高亮和阴影细节丢失图像元素的总数最小的图像。
在该步骤中，当选择多个图像作为过曝高亮和阴影细节丢失图像元素的总数最小的图像时，或者当存在各自相应的图像元素的总数与最小值之间的差落在预定阈值范围内的多个图像时，可以如下决定待选择的图像。例如，由于曝光过度图像更有可能是S/N比相对高的图像，因此可以从多个相应图像中选择具有最高曝光等级的图像。也就是说，根据本发明的实施例，从多个等级调整后的图像当中选择过曝高亮和阴影细节丢失图像元素的总数最小的图像、或者图像元素的总数与最小值之间的差落在阈值范围内的各图像中具有最高曝光等级的图像。然后，使用与所选图像中的被摄体的变化相对应的图像元素，作为与对应于待生成的HDR图像中的被摄体的变化的图像元素相对应的图像元素。此外，使用将阴影细节丢失图像元素的数量和过曝高亮图像元素的数量与不同的加权系数相乘的确定公式，可以决定待选择的图像，以获得拍摄者期望的色调范围。
在步骤S305中，控制器101控制图像处理器110生成动态范围得到扩展的HDR图像。更具体地说，控制器101将在步骤S303中检测到的运动图像元素的信息传输至图像处理器110，并通过与运动图像元素和其他图像元素相对应的切换处理来控制图像处理器110生成HDR图像。图像处理器110根据运动图像元素的输入信息，以如下方式生成待生成的HDR图像的各图像元素的图像元素值。
对于被确定为运动图像元素的各图像元素，图像处理器110将在步骤S304中选择的、并且过曝高亮和阴影细节丢失图像元素的总数最小的图像中的相同坐标位置处的图像元素值，按照原样代入运动图像元素。
对于除运动图像元素以外的图像元素，图像处理器110可以代入任何图像的图像元素值，因为在步骤S303中没有将这些图像元素确定为运动图像元素，也就是说，在全部多个曝光不同的图像中，这些图像元素值的变化均落入阈值范围内。请注意，当各摄像元件性能差时，或者当预处理器108易受电气影响时，图像元素值中可能混入噪声。为此，除运动图像元素以外的图像元素可以是所有或部分曝光不同的图像的图像元素值的加权平均值。在等级调整处理中，将曝光不足图像与相对大的增益相乘，并且曝光不足图像易受噪声以及由于A/D转换的色调等级的有限性而导致的量化误差的影响。为此，例如在加权平均中，可以针对曝光不足图像设置较小的加权系数。
假定在该步骤中由图像处理器110生成的HDR图像被存储在图像存储器111中。
在步骤S306中，控制器101控制图像处理器101对在步骤S305中生成的HDR图像应用色调映射处理或范围压缩处理，由此生成要最终输出的HDR图像。
请注意，范围压缩处理是用于在输出图像大于期望的位深度(bitdepth)时匹配位深度所需的处理。
色调映射处理是例如通过提升图像中暗区域的色调等级并压缩亮区域的色调等级而获得期望的色调表现所需的校正处理。在HDR图像的生成中，应用色调映射处理以使HDR处理之后残留的过曝高亮和阴影细节丢失色调图像元素模糊是有效的。
在本实施例中，在生成HDR图像时将一个曝光图像的图像元素值分配给检测为运动图像元素的图像元素。为此，可以应用色调映射处理，使得该曝光图像的过曝高亮和阴影细节丢失图像元素接近色调表现的最大或最小值。以此方式，在要最终输出的HDR图像中，能够使过曝高亮图像元素和阴影细节丢失图像元素模糊。
此外，当生成HDR图像时，可以根据其图像元素被分配给检测为运动图像元素的图像元素的曝光图像中包括的过曝高亮和阴影细节丢失图像元素的数量，来使用在色调映射处理的映射中使用的不同的色调转换曲线。
例如，当生成HDR图像时，在要被分配给检测为运动图像元素的图像元素的曝光图像中，阴影细节丢失图像元素的数量大于过曝高亮图像元素的数量的情况下，可以进行处理以将这些图像元素映射在图8所示的转换曲线801上。在图8中，横轴标绘要经历色调映射的图像的色调值，纵轴标绘色调映射之后的色调值。这些坐标轴在右方或上方表现较高的色调等级。在图8中，对角线上示出的虚线表现当要跳过利用色调映射的色调校正时使用的色调转换曲线。也就是说，设计转换曲线801以使阴影细节丢失图像元素的色调值接近低色调端，并扩展等于或高于阴影细节丢失色调的图像元素的色调表现宽度，从而使曝光图像中的阴影细节丢失图像元素模糊。
相反地，在曝光图像中过曝高亮图像元素的数量大于阴影细节丢失图像元素的数量的情况下，这些图像元素被映射在转换曲线802上。当被摄体具有宽的动态范围时，并且当曝光图像以类似的比例包括阴影细节丢失和过曝高亮图像元素二者时，使用转换曲线803。这样，由于阴影细节丢失图像元素的色调值接近低色调端，并且过曝高亮图像元素的色调值接近高色调端，因此能够使半色调表现范围变宽，并使阴影细节丢失和过曝高亮图像元素模糊。
以此方式，通过动态改变要在色调映射处理中应用的色调转换曲线，能够在要最终输出的HDR图像中使阴影细节丢失和过曝高亮图像元素模糊。
当在步骤S305中生成的HDR图像的位深度等于要最终输出的HDR图像的位深度时，或者当色调特性已经展示了期望的特性时，不需要执行该步骤的处理。
在步骤S307中，控制器101控制图像处理器110对要最终输出的HDR图像应用预定的编码处理，从而将该图像转换为预定的记录格式，并经由记录介质I/F单元114输出处理后的图像并将其记录在记录介质115中，由此结束该处理。此外，当诸如焦距和光圈值的曝光控制信息被与HDR图像同时记录为元数据时，控制器101获得所需的摄像设置信息和状态信息，并将它们记录在记录介质115中。
请注意，本实施例说明了记录要最终输出的HDR图像的情况。然而，当诸如色调/颜色/对比度校正以及边缘增强等的图像处理被进一步应用到HDR图像时，可以将HDR图像存储在图像存储器111中。
本实施例说明了如下情况：使用利用三脚架拍摄的多个图像来生成HDR图像，在所述多个图像中，要拍摄的场景中包括的静止被摄体在图像中的位置保持不变。然而，本发明不限于此。当要拍摄的场景中包括的静止被摄体在拍摄图像中的位置由于例如照相机抖动的影响而改变时，通过已知方法执行图像之间的位置校准，然后可以判断与被摄体的变化相对应的图像元素。
本实施例说明了使用时分拍摄的多个曝光不同的图像的情况。然而，本发明还适用于如下情况：使用要拍摄的相同场景的图像(例如，不同摄像日期的相同时刻的图像)生成HDR图像。
如上所述，本实施例的摄像装置能够避免在使用多个时分拍摄的图像生成HDR图像时，在与被摄体的变化相对应的区域中合成多个图像。为此，能够避免发生图像不连续。
(第二实施例)
前述第一实施例说明了如下情况：使用多个曝光不同的图像当中的、过曝高亮图像元素和阴影细节丢失图像元素的数量相对小的一个图像的图像元素，作为与HDR图像中的运动图像元素相对应的图像元素。因此，在第一实施例中，从遍及HDR图像的共同图像中提取用作与HDR图像的运动图像元素相对应的图像元素的图像元素。另一方面，在本实施例的图像处理装置中，将与被摄体的变化相对应的图像元素分组，并且针对各组选择最佳曝光图像，以在生成HDR图像时使用所选择的图像的图像元素值作为该组的图像元素。下面将描述以此方式进一步扩展了动态范围的图像的生成方法。
(HDR图像生成处理)
下面将参照图9所示的流程图详细描述本实施例的HDR图像生成处理。请注意，在本HDR图像生成处理中，相同的步骤编号表示要执行与第一实施例的处理相同的处理的步骤，并将省略其描述。因此，将仅说明本实施例的作为特性特征的处理。
在步骤S303中检测到运动图像元素之后，在步骤S901中控制器101执行运动图像元素的分组。更具体地说，控制器101在以亮度值以及由YCC颜色空间的转换而获得的颜色信息作为附加信息的情况下，主要基于相应图像元素的图像坐标信息执行分组。
下面将参照图10A至图10C描述在该步骤中执行的运动图像元素的分组。例如，当在步骤S303中检测到的运动图像元素具有图10A所示的分布时，控制器101能够使用区域生长方法执行与分组相关的处理，从而对适用给定条件的运动图像元素进行分组。
区域生长方法是一般图像处理中的一种，该方法进行分组，以在组的评价值与各元素的评价值之间的差等于或小于预定阈值的情况下，基于某一评价值来合并最初精细(例如以图像元素单位)划分的元素，而在其余情况下不合并这些元素。例如在“Mikio Takagi，Haruhisa Simoda，Handbook of Image Analysis[Revised Edition]，University of Tokyo Press”中描述了区域生长方法。
在邻接的图像元素或组之间顺序执行区域生长方法。当在通过连接给定组的重心坐标与待合并的图像元素或其他组的重心坐标而获得的直线上由各组的最外层的外周长定义的距离等于或大于预定阈值时，停止该方法。此外，当给定组的平均色调与待合并的图像元素或其他组的平均色调之间的差等于或大于预定阈值时停止区域生长方法。此外，还可以使用其他色调信息(例如作为判断是否要生长区域所需的附加信息的等级调整后曝光图像的亮度值信息和色差信息)来执行该方法。而且，为了提高分组精度，可以组合诸如退火的其他图像处理方法。使用这种区域生长方法，将在步骤S303中检测到的运动图像元素划分为多个组，例如如图10B所示。
当在分组中使用区域生长方法时，结果经常根据开始图像元素或要搜索的图像元素的选择顺序而变化。被选为区域生长方法的各开始图像元素的图像元素可以是被确定为运动图像元素的任意图像元素。然而，当过多地省略开始图像元素时，无法获得正确的区域分割结果。例如，选择被确定为运动图像元素的所有图像元素作为开始图像元素。确定各开始元素作为相邻图像元素是否属于同一区域。如果确定开始图像元素属于同一区域，则合并相邻图像元素以形成大于之前区域的区域。通过重复该处理，获得区域分割结果。作为基准的最简单的示例是使用评价图像元素之间的距离作为基准的方法。例如，可以使用评价方法“将要在三个像素的相邻距离范围内比较的图像元素合并为相同区域”。由此，通过对使用区域生长方法的分组结果进一步应用EM(ExpectationMaximization，期望值最大化)评估，可以去除由要搜索的图像元素的选择顺序造成的影响。
请注意，EM评估是包括如下步骤的处理：计算期望值的步骤、以及利用期望值更新最大化似然性(1ikelihood)的随机变量的值的步骤。在本实施例中，例如可以设置组中的亮度值的方差、图像元素距组重心的距离、或者组中的各图像元素与其相邻图像元素之间的差的平均，作为期望值。通过执行更新处理以增加该期望值的似然性，能够提高分组精度，使得各组运动图像元素对应于各运动物体。例如在“Kenichi Kanatani，Basic Optimization Mathematics-from Basic Principle to CalculationMethod，Kyoritsu Shuppan”中描述了EM评估。
在步骤S902中，针对各划分的组，控制器101根据上述等式[1]从存储在图像存储器111中的多个等级调整后的图像中提取用作在生成HDR图像时位于该组的位置处的图像元素的图像。例如，作为该步骤的处理结果，针对各组选择不同的图像，如图10C所示。
以此方式，在使用多个时分拍摄的图像来生成HDR图像时，能够避免在与被摄体的变化相对应的区域中合成多个图像。为此，避免发生图像不连续。此外，由于能够针对各运动图像元素组选择在生成HDR图像时使用的最佳图像，因此能够生成动态范围得到更大扩展的HDR图像。
请注意，在本实施例的HDR图像生成处理的描述中，为了利用区域生长方法进一步提高分组可靠性，可以使用运动图像元素中的被摄体的运动向量。可以通过从存储在图像存储器111中的多个等级调整后的图像中选择两个图像、并例如对在步骤S303中检测到的运动图像元素的图像应用模板匹配，来计算运动向量。请注意，作为在运动向量检测中使用的两个图像，是在存储在图像存储器111中的多个图像中当按照阴影细节丢失和过曝高亮图像元素的总数的升序依次选择的图像或具有较低的曝光等级的图像。
图11是用于说明模板匹配的示意图。在图11中，左立体图像(stereoimage)用作基准图像1101，右立体图像用作参照图像1102。将基准图像1101中的任意运动图像元素的位置，设置为用于通过模板匹配计算对应点的基准点1103，并将由正方形限界的围绕基准点的区域1104设置为检测模板。然后，控制器101在作为参照图像的右立体图像1102中搜索与模板相对应的对应点。假定在参照图像1102中任意设置对应点搜索范围1105。在本实施例中，将在拍摄两个输入的曝光图像时的帧之间假定的最大位移量，设置为对应点搜索范围1105。可以尽可能地限制该搜索范围，由此避免对应点搜索处理中的识别错误。
此外，控制器101针对对应点搜索范围1105中的各个对应点候选1106，计算与基准点1103的相关值。可以通过与模板1104和窗口区域1107相关地计算图像元素值的正规互相关或图像元素值的差分和，来执行相关值计算，其中，根据对应点候选1106周围的点对基准点设置窗口区域1107，并且窗口区域1107的大小与模板1104相同。控制器101针对搜索范围中包括的各对应点候选1106计算相关值。然后，控制器101选择具有最高相关值的对应点候选1106作为对应点，并将从基准点向该对应点的向量决定为运动向量。
请注意，当执行相关值计算时，在与模板1104或窗口区域1107中包括的周围图像元素相对应的任意图像元素是过曝高亮或阴影细节丢失图像元素的情况下，可以从相关计算中排除这些图像元素。
本实施例说明了要在运动图像元素的分组中使用的区域生长方法。然而，针对匹配给定条件的各区域，可以使用其他方法来划分运动图像元素。
除了使用基于运动图像元素的位置信息的分组方法的方法之外，在包括亮度等级大不相同的孤立对象的简单布局的情况下，例如，可以使用基于直方图的阈值处理的区域分割结果，而不使用分组中的各区域的任何位置信息。该方法对于各对象的亮度等级明显不同的场景是有效的。使用基于统计分析值的方法决定阈值。Otsu的阈值处理是简单有效的。此外，可以通过重复阈值决定和区域分割，直到基于AIC信息基准的概念、区域内的亮度值的统计分布成为自然分布(例如高斯分布)为止，来划分多个对象。对亮度分布的统计值应用分布模型，并且，在误差较大期间，以递归的方式重复分割。此外，由于包括过曝高亮和阴影细节丢失图像元素的运动图像元素的区域容易被过度分割，因此抑制直方图的高亮度图像元素范围和低亮度图像元素范围的分割。然而，可以组合该方法，以在利用运动图像元素的坐标信息的区域生长方法针对分组结果的精密化中使用。
当输入颜色信息时，可以使用与颜色信息相关的多维空间(例如具有与色差相关的相同尺度的YUV空间)中的分组。YCC信息被转换为YUV颜色信息，并且利用多维的直方图处理执行区域分割。
在以亮度值以及由自YCC的转换而获得的颜色信息作为附加信息的情况下，可以主要基于图像元素的图像坐标信息来执行运动图像元素的分组。除了图像坐标、亮度值或颜色信息之外，可以使用在区域分割或图像聚类中使用的一般图像特征作为特征量。例如，可以使用诸如作为通过对图像进行金字塔化而获得的局部梯度信息的集合的SIFT特征的多维特征量，来提高分组精度。
在使用基于运动图像元素的距离信息的方法作为基础的情况下，可以使用基于诸如亮度值(色调值)和颜色信息的特征量的任意一般图像区域分割方法，作为分组方法。此外，可以基于通过根据特征量执行聚(clustering)或EM评估、并对各曝光图像应用区域分割方法而获得的区域边界的重叠度，提高分组精度。
在评价区域边界的重叠度中，使用图像的膨胀或收缩、金字塔化或形态学方法来吸收不重要的区域边界的位置偏离，由此评价区域边界的重叠度。使用基于区域边界的位置坐标的标注的表比较或图搜索算法，来评价区域边界的重叠度。当许多曝光图像中的区域边界相互重叠时，基于这些边界更加详细地进一步分割区域分割结果，由此提高分组精度。
作为一般图像分割方法，可以执行基于非常邻接的图像元素之间的关系的区域分割。例如，可以通过使用平均值偏移算法计算平均值偏移特征量、并判断具有相同模式位置的区域作为单个组，来执行区域分割。
此外，可以计算局部区域的特征量，并且可以基于这些特征量执行区域分割。例如，可以通过计算与区域相对应的SIFT特征量、使用图形表达它们的关系、然后执行聚类，来执行区域分割。
(第一变形例)
上述第一和第二实施例说明了在考虑了多个曝光不同的图像的摄像操作期间产生的被摄体图像模糊的情况下的HDR图像生成处理。该变形例将说明在考虑了数字照相机100的抖动(所谓的“照相机抖动”)的影响的情况下的HDR图像生成处理，在多个曝光不同的图像的摄像操作期间产生该抖动，并且当拍摄者手持照相机时引起该抖动。
在第一变形例中，假定数字照相机100包括姿势变化检测器120，该姿势变化检测器120例如由加速度传感器或加速度传感器和地磁传感器中的至少一个构成。姿势变化检测器120在多个曝光不同的图像的摄像操作期间获得数字照相机100的姿势变化，并将获得的姿势变化通知给控制器101。控制器101将多个曝光不同的图像的时分摄像操作期间的姿势变化信息临时存储在例如RAM 103中。
然后，当控制器101在步骤S304中选择要在生成HDR图像时从中采样用作与运动图像元素相对应的图像元素的图像元素值的图像时，控制器101从多个曝光不同的图像当中排除曝光期间检测到的姿势变化的积分值等于或大于阈值的图像。这样，能够防止曝光时间长的图像当中的、遭受了由拍摄者的照相机抖动引起的图像模糊的图像被分配给HDR图像中的运动图像元素的图像元素值，并能够避免生成劣质的HDR图像。
请注意，在本变形例中，根据曝光期间检测到的姿势变化的积分值是否超过阈值，来改变能够被分配给HDR图像中的运动图像元素的图像元素值的图像候选。然而，本发明不限于此。也就是说，可以针对多个曝光不同的图像中的各个，计算曝光期间的姿势变化的积分值，并且可以从步骤S304中的选择候选中排除积分值的大小相对靠前的预定数量的图像。
(第二变形例)
上述第一变形例说明了如下方面：防止在曝光期间遭受由拍摄者的照相机抖动引起的图像模糊的图像，被选择作为在生成HDR图像时从中提取图像元素用作与运动图像元素相对应的图像元素的图像。第二变形例将说明如下方法：防止在曝光期间遭受由被摄体的移动量引起的图像模糊的图像，被选择作为在生成HDR图像时从中提取图像元素用作与运动图像元素相对应的图像元素的图像。
在第二变形例中，数字照相机100包括被摄体运动检测器130，该被摄体运动检测器130通过获得各被摄体相对于数字照相机100(例如双目立体照相机(binocular stereo camera)或飞行时间照相机(Time of Flightcamera))的深度信息，来检测各被摄体的运动。更具体地说，被摄体运动检测器130对在比曝光时间短的时间内获得的深度信息差分进行与曝光时间相关的积分，由此获得多个曝光不同的图像中的各个的被摄体的移动量。
然后，像第一变形例中那样，当控制器101在步骤S304中选择要在生成HDR图像时从中采样用作与运动图像元素相对应的图像元素的图像元素值的图像时，控制器101从多个曝光不同的图像当中排除曝光期间检测到的被摄体移动量等于或大于阈值的图像。于是，由于能够防止曝光时间长的图像中的、遭受由被摄体的移动引起的图像模糊的图像被分配给HDR图像中的运动图像元素的图像元素值，因此能够避免生成劣质的HDR图像。
当数字照相机100包括类似于光学或电子防振功能、或用于合成多个图像的防振功能的配准功能时，被摄体运动检测器130可以在考虑该防振功能校正的情况下决定移动量。更具体地说，例如，当数字照相机100包括光学防振功能时，控制器101将摄像期间的光学系统的偏移信息传输至被摄体运动检测器130，从而与数字照相机100的视场角范围同步地改变深度信息获得范围。
(其他实施例)
本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机(或诸如CPU或MPU的设备)来实现，以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (19)

1.一种图像处理装置，其包括用于使用曝光不同的多个图像生成动态范围得到扩展的合成图像的生成单元，所述图像处理装置包括：
获得单元，用于获得曝光不同的所述多个图像；
检测单元，用于检测所述多个图像之间的图像元素值的变化；
计数单元，用于在所述多个图像的各个中的检测到所述变化的区域中，对图像元素值大于第一阈值的第一图像元素和图像元素值小于第二阈值的第二图像元素进行计数；以及
选择单元，用于基于所述计数单元的计数结果选择所述多个图像中的一个，
其中，所述生成单元针对所述合成图像中与检测到所述变化的区域相对应的区域，使用由所述选择单元选择的图像。
2.根据权利要求1所述的图像处理装置，其中，所述检测单元包括：
调整单元，用于调整由所述获得单元获得的曝光不同的所述多个图像的色调等级，
其中，所述检测单元基于多个色调等级调整后的图像之间的差分，来检测所述多个图像之间的变化。
3.根据权利要求1所述的图像处理装置，其中，所述选择单元选择由所述计数单元计数的第一图像元素和第二图像元素的总数最小的图像。
4.根据权利要求1所述的图像处理装置，其中，所述选择单元从由所述计数单元计数的第一图像元素和第二图像元素的总数与总数值中的最小值之间的差不大于预定阈值的图像当中，选择具有最高曝光等级的图像。
5.根据权利要求1至4中的任何一项所述的图像处理装置，其中，所述检测单元与所述多个图像相关联地检测跟所述多个图像中的一个基准图像与其他图像中的至少一个图像之间的图像元素值差分相对应的图像元素，作为与被摄体的变化相对应的图像元素，所述图像元素值差分不小于阈值。
6.根据权利要求1至4中的任何一项所述的图像处理装置，其中，所述检测单元与所述多个图像相关联地检测跟所述多个图像中的一个基准图像与其他图像中的至少一个图像之间的图像元素值的亮度成分差分相对应的图像元素，作为与被摄体的变化相对应的图像元素，其中所述亮度成分差分不小于阈值。
7.根据权利要求1至4中的任何一项所述的图像处理装置，所述图像处理装置还包括姿势检测单元，该姿势检测单元用于检测摄像装置在所述多个图像的各摄像定时的姿势变化，
其中，所述选择单元不选择所述多个图像中的、所述摄像装置的姿势变化不小于预定阈值的图像。
8.根据权利要求1至4中的任何一项所述的图像处理装置，所述图像处理装置还包括运动检测单元，该运动检测单元用于检测被摄体在所述多个图像的各摄像期间的移动量，
其中，所述选择单元不选择所述多个图像中的、由所述运动检测单元检测到的所述被摄体在摄像期间的移动量不小于预定阈值的图像。
9.一种图像处理装置，其包括用于使用曝光不同的多个图像生成动态范围得到扩展的合成图像的生成单元，所述图像处理装置包括：
获得单元，用于获得曝光不同的所述多个图像；
检测单元，用于检测所述多个图像之间的图像元素值的变化；
分类单元，用于以使得相邻图像元素形成一组的方式对与检测到的所述变化相对应的图像元素进行分类；
计数单元，用于在所述多个图像的各个中，与由所述分类单元分类的各组的图像元素相关联地对图像元素值大于第一阈值的第一图像元素和图像元素值小于第二阈值的第二图像元素进行计数；以及
选择单元，用于基于所述计数单元的计数结果，针对由所述分类单元分类的各组选择所述多个图像中的一个，
其中，所述生成单元针对所述合成图像的、与由所述分类单元分类的组中的图像元素相对应的图像元素，使用由所述选择单元选择的图像。
10.根据权利要求9所述的图像处理装置，其中，所述检测单元包括：
调整单元，用于调整由所述获得单元获得的曝光不同的所述多个图像的色调等级，
其中，所述检测单元基于多个色调等级调整后的图像之间的差分，来检测所述多个图像之间的变化。
11.根据权利要求9所述的图像处理装置，其中，所述选择单元针对各组选择由所述计数单元计数的第一图像元素和第二图像元素的总数最小的图像。
12.根据权利要求9所述的图像处理装置，其中，所述选择单元针对各组从由所述计数单元计数的第一图像元素和第二图像元素的总数与总数值中的最小值之间的差不大于预定阈值的图像中，选择具有最高曝光等级的图像。
13.根据权利要求9所述的图像处理装置，其中，所述分类单元使用区域生长方法对与被摄体的变化相对应的图像元素进行分类。
14.根据权利要求9至13中的任何一项所述的图像处理装置，其中，所述检测单元与所述多个图像相关联地检测跟所述多个图像中的一个基准图像与其他图像中的至少一个图像之间的图像元素值差分相对应的图像元素，作为与被摄体的变化相对应的图像元素，所述图像元素值差分不小于阈值。
15.根据权利要求9至13中的任何一项所述的图像处理装置，其中，所述检测单元与所述多个图像相关联地检测跟所述多个图像中的一个基准图像与其他图像中的至少一个图像之间的图像元素值的亮度成分差分相对应的图像元素，作为与被摄体的变化相对应的图像元素，其中所述亮度成分差分不小于阈值。
16.根据权利要求9至13中的任何一项所述的图像处理装置，所述图像处理装置还包括姿势检测单元，该姿势检测单元用于检测摄像装置在所述多个图像的各摄像定时的姿势变化，
其中，所述选择单元不选择所述多个图像中的、所述摄像装置的姿势变化不小于预定阈值的图像。
17.根据权利要求9至13中的任何一项所述的图像处理装置，所述图像处理装置还包括运动检测单元，该运动检测单元用于检测被摄体在所述多个图像的各摄像期间的移动量，
其中，所述选择单元不选择所述多个图像中的、由所述运动检测单元检测到的所述被摄体在摄像期间的移动量不小于预定阈值的图像。
18.一种图像处理装置的控制方法，所述图像处理装置包括用于使用曝光不同的多个图像生成动态范围得到扩展的合成图像的生成单元，所述控制方法包括：
获得步骤，获得曝光不同的所述多个图像；
检测步骤，检测所述多个图像之间的图像元素值的变化；
计数步骤，在所述多个图像的各个中的检测到所述变化的区域中，对图像元素值大于第一阈值的第一图像元素和图像元素值小于第二阈值的第二图像元素进行计数；以及
选择步骤，基于所述计数步骤中的计数结果选择所述多个图像中的一个，
其中，所述生成单元针对所述合成图像中与检测到所述变化的区域相对应的区域，使用在所述选择步骤中选择的图像。
19.一种图像处理装置的控制方法，所述图像处理装置包括用于使用曝光不同的多个图像生成动态范围得到扩展的合成图像的生成单元，所述控制方法包括：
获得步骤，获得曝光不同的所述多个图像；
检测步骤，检测所述多个图像之间的图像元素值的变化；
分类步骤，以使得相邻图像元素形成一组的方式对与检测到的所述变化相对应的图像元素进行分类；
计数步骤，在所述多个图像的各个中，与在所述分类步骤中分类的各组的图像元素相关联地对图像元素值大于第一阈值的第一图像元素和图像元素值小于第二阈值的第二图像元素进行计数；以及
选择步骤，基于所述计数步骤中的计数结果，针对在所述分类步骤中分类的各组选择所述多个图像中的一个，
其中，所述生成单元针对所述合成图像中与在所述分类步骤中分类的组中的图像元素相对应的图像元素，使用在所述选择步骤中选择的图像。
CN201210090597.4A 2011-04-01 2012-03-30 图像处理装置及控制方法 Expired - Fee Related CN102740082B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011082188A JP5791336B2 (ja) 2011-04-01 2011-04-01 画像処理装置及びその制御方法
JP2011-082188 2011-04-01

Publications (2)

Publication Number Publication Date
CN102740082A true CN102740082A (zh) 2012-10-17
CN102740082B CN102740082B (zh) 2015-09-09

Family

ID=46926762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210090597.4A Expired - Fee Related CN102740082B (zh) 2011-04-01 2012-03-30 图像处理装置及控制方法

Country Status (3)

Country Link
US (1) US8866922B2 (zh)
JP (1) JP5791336B2 (zh)
CN (1) CN102740082B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065324A (zh) * 2012-12-13 2013-04-24 广东威创视讯科技股份有限公司 一种运动目标检测方法和装置
CN103728305A (zh) * 2014-01-13 2014-04-16 深圳市永光神目科技有限公司 Pcba板用的检测方法
CN104168419A (zh) * 2014-07-17 2014-11-26 小米科技有限责任公司 图像拍摄方法及装置
CN104601905A (zh) * 2013-10-31 2015-05-06 恒景科技股份有限公司 产生高动态范围影像的方法与装置以及计算机程序产品
CN104811592A (zh) * 2014-01-23 2015-07-29 卡西欧计算机株式会社 摄像装置和摄像控制方法
CN105284116A (zh) * 2013-04-19 2016-01-27 日立麦克赛尔株式会社 编码方法和编码装置
CN106664379A (zh) * 2014-07-08 2017-05-10 软动力学传感器公司 高动态范围像素和用于操作高动态范围像素的方法
CN108288253A (zh) * 2018-01-08 2018-07-17 厦门美图之家科技有限公司 Hdr图像生成方法及装置
CN108293090A (zh) * 2015-12-15 2018-07-17 株式会社理光 图像处理设备和图像处理方法
CN109785370A (zh) * 2018-12-12 2019-05-21 南京工程学院 一种基于空间时间序列模型的弱纹理图像配准方法
CN110677558A (zh) * 2018-07-02 2020-01-10 华晶科技股份有限公司 图像处理方法与电子装置
CN113628136A (zh) * 2021-07-29 2021-11-09 北京科技大学 一种高动态范围激光散斑数字图像相关变形测量方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP5898466B2 (ja) * 2011-11-11 2016-04-06 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
JP5713885B2 (ja) * 2011-12-26 2015-05-07 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
DE102012217151A1 (de) * 2012-09-24 2014-03-27 Robert Bosch Gmbh Clientvorrichtung, Überwachungssystem, Verfahren zum Anzeigen von Bildern auf einem Bildschirm sowie Computerprogramm
KR20140056986A (ko) * 2012-11-02 2014-05-12 삼성전자주식회사 모션 센서 어레이 장치, 상기 모선 센서 어레이를 이용한 거리 센싱 시스템, 및 거리 센싱 방법
MX366270B (es) 2012-12-04 2019-07-04 Genannt Wersborg Ingo Stork Sistema de monitoreo de tratamiento termico.
WO2014167676A1 (ja) * 2013-04-10 2014-10-16 株式会社 東芝 電子機器および画像処理方法
JP6157242B2 (ja) * 2013-06-28 2017-07-05 キヤノン株式会社 画像処理装置及び画像処理方法
US8957984B2 (en) * 2013-06-30 2015-02-17 Konica Minolta Laboratory U.S.A., Inc. Ghost artifact detection and removal in HDR image processsing using multi-scale normalized cross-correlation
US9558563B1 (en) * 2013-09-25 2017-01-31 Amazon Technologies, Inc. Determining time-of-fight measurement parameters
CN105227811A (zh) * 2014-06-30 2016-01-06 卡西欧计算机株式会社 图像生成装置以及图像生成方法
JP6577703B2 (ja) 2014-08-05 2019-09-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
US9646365B1 (en) 2014-08-12 2017-05-09 Amazon Technologies, Inc. Variable temporal aperture
US9749532B1 (en) 2014-08-12 2017-08-29 Amazon Technologies, Inc. Pixel readout of a charge coupled device having a variable aperture
US9787899B1 (en) 2014-08-12 2017-10-10 Amazon Technologies, Inc. Multiple captures with a variable aperture
WO2016049489A1 (en) * 2014-09-26 2016-03-31 Spero Devices, Inc. Analog image alignment
JP6445831B2 (ja) * 2014-10-16 2018-12-26 キヤノン株式会社 撮像装置及びその制御方法ならびにプログラム
HUE056171T2 (hu) * 2014-12-29 2022-01-28 Sony Group Corp Adókészülék, adási eljárás, vevõkészülék és vételi eljárás
AU2016201867B2 (en) * 2015-03-27 2017-09-28 Konica Minolta Laboratory U.S.A., Inc. Method and system to avoid plant shadows for vegetation and soil imaging
CN106961557B (zh) * 2016-01-08 2020-01-31 中强光电股份有限公司 光场相机及其影像处理方法
US11042788B2 (en) 2016-01-28 2021-06-22 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to identify a specimen container from multiple lateral views
WO2017132168A1 (en) * 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for multi-view characterization
US9787909B1 (en) * 2016-03-31 2017-10-10 Stmicroelectronics (Research & Development) Limited Controlling signal-to-noise ratio in high dynamic range automatic exposure control imaging
US10148888B2 (en) * 2016-05-18 2018-12-04 Texas Instruments Incorporated Image data processing for multi-exposure wide dynamic range image data
US10753726B2 (en) 2017-03-26 2020-08-25 Cognex Corporation System and method for 3D profile determination using model-based peak selection
JP6824817B2 (ja) * 2017-05-17 2021-02-03 キヤノン株式会社 画像処理装置および画像処理方法
WO2019053917A1 (ja) * 2017-09-13 2019-03-21 パナソニックＩｐマネジメント株式会社 輝度特性生成方法
JP7171342B2 (ja) * 2018-09-26 2022-11-15 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
US11128809B2 (en) 2019-02-15 2021-09-21 Samsung Electronics Co., Ltd. System and method for compositing high dynamic range images
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images
RU2717252C1 (ru) * 2019-09-03 2020-03-19 Владимир Эльич Пашковский Устройство фиксации изображения длительной экспозиции
US10911691B1 (en) 2019-11-19 2021-02-02 Samsung Electronics Co., Ltd. System and method for dynamic selection of reference image frame
US11430094B2 (en) 2020-07-20 2022-08-30 Samsung Electronics Co., Ltd. Guided multi-exposure image fusion
JP2023026919A (ja) * 2021-08-16 2023-03-01 キヤノン株式会社 撮像装置及びその制御方法並びにプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002101347A (ja) * 2000-09-21 2002-04-05 Sony Corp 画像合成方法及び該画像合成方法を用いた撮像装置
CN1799057A (zh) * 2003-04-29 2006-07-05 微软公司 用于生成高动态范围视频的系统和过程
CN101043609A (zh) * 2006-03-24 2007-09-26 株式会社东芝 字幕检测设备、字幕检测方法、及降频信号检测设备
US20100141789A1 (en) * 1998-04-23 2010-06-10 Fossum Eric R Digital exposure circuit for an image sensor

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09134418A (ja) * 1995-11-08 1997-05-20 Hitachi Ltd 特定被写体の抽出方法とその装置
JPH10191020A (ja) * 1996-12-20 1998-07-21 Canon Inc 被写体画像切出し方法及び装置
JP3630905B2 (ja) 1997-02-28 2005-03-23 キヤノン株式会社 撮像方法及び撮像装置
JP4511066B2 (ja) * 2001-03-12 2010-07-28 オリンパス株式会社 撮像装置
JP4506966B2 (ja) * 2004-12-17 2010-07-21 富士フイルム株式会社 合成写真作成装置、合成写真作成方法、合成写真作成プログラム及び、合成写真作成システム
JP4536641B2 (ja) * 2005-11-02 2010-09-01 ルネサスエレクトロニクス株式会社 画像ぶれ補正装置、画像ぶれ補正方法及び画像ぶれ補正プログラム
US20100091119A1 (en) * 2008-10-10 2010-04-15 Lee Kang-Eui Method and apparatus for creating high dynamic range image
JP5026484B2 (ja) * 2009-09-17 2012-09-12 シャープ株式会社 携帯端末装置、画像出力装置、撮像画像処理システム、携帯端末装置の制御方法、画像出力方法、プログラム、および記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100141789A1 (en) * 1998-04-23 2010-06-10 Fossum Eric R Digital exposure circuit for an image sensor
JP2002101347A (ja) * 2000-09-21 2002-04-05 Sony Corp 画像合成方法及び該画像合成方法を用いた撮像装置
CN1799057A (zh) * 2003-04-29 2006-07-05 微软公司 用于生成高动态范围视频的系统和过程
CN101043609A (zh) * 2006-03-24 2007-09-26 株式会社东芝 字幕检测设备、字幕检测方法、及降频信号检测设备

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065324A (zh) * 2012-12-13 2013-04-24 广东威创视讯科技股份有限公司 一种运动目标检测方法和装置
CN105284116A (zh) * 2013-04-19 2016-01-27 日立麦克赛尔株式会社 编码方法和编码装置
CN105284116B (zh) * 2013-04-19 2019-05-21 麦克赛尔株式会社 摄像方法和摄像装置
CN104601905A (zh) * 2013-10-31 2015-05-06 恒景科技股份有限公司 产生高动态范围影像的方法与装置以及计算机程序产品
CN103728305A (zh) * 2014-01-13 2014-04-16 深圳市永光神目科技有限公司 Pcba板用的检测方法
CN104811592B (zh) * 2014-01-23 2018-07-06 卡西欧计算机株式会社 摄像装置和摄像控制方法
CN104811592A (zh) * 2014-01-23 2015-07-29 卡西欧计算机株式会社 摄像装置和摄像控制方法
US10498991B2 (en) 2014-07-08 2019-12-03 Sony Depthsensing Solutions Sa/Nv High dynamic range pixel and a method for operating it
CN106664379A (zh) * 2014-07-08 2017-05-10 软动力学传感器公司 高动态范围像素和用于操作高动态范围像素的方法
CN104168419A (zh) * 2014-07-17 2014-11-26 小米科技有限责任公司 图像拍摄方法及装置
CN108293090A (zh) * 2015-12-15 2018-07-17 株式会社理光 图像处理设备和图像处理方法
CN108293090B (zh) * 2015-12-15 2020-10-20 株式会社理光 图像处理设备和图像处理方法
CN108288253A (zh) * 2018-01-08 2018-07-17 厦门美图之家科技有限公司 Hdr图像生成方法及装置
CN110677558A (zh) * 2018-07-02 2020-01-10 华晶科技股份有限公司 图像处理方法与电子装置
CN110677558B (zh) * 2018-07-02 2021-11-02 华晶科技股份有限公司 图像处理方法与电子装置
CN109785370A (zh) * 2018-12-12 2019-05-21 南京工程学院 一种基于空间时间序列模型的弱纹理图像配准方法
CN113628136A (zh) * 2021-07-29 2021-11-09 北京科技大学 一种高动态范围激光散斑数字图像相关变形测量方法
CN113628136B (zh) * 2021-07-29 2023-07-25 北京科技大学 一种高动态范围激光散斑数字图像相关变形测量方法

Also Published As

Publication number Publication date
US20120249830A1 (en) 2012-10-04
JP2012217102A (ja) 2012-11-08
US8866922B2 (en) 2014-10-21
JP5791336B2 (ja) 2015-10-07
CN102740082B (zh) 2015-09-09

Similar Documents

Publication Publication Date Title
CN102740082B (zh) 图像处理装置及控制方法
CN103108134B (zh) 摄像装置及控制方法
US8106961B2 (en) Image processing method, apparatus and computer program product, and imaging apparatus, method and computer program product
US10303983B2 (en) Image recognition apparatus, image recognition method, and recording medium
US7920172B2 (en) Method of controlling an action, such as a sharpness modification, using a colour digital image
US9019426B2 (en) Method of generating image data by an image device including a plurality of lenses and apparatus for generating image data
CN101527860B (zh) 白平衡控制设备及其控制方法和摄像设备
US8493464B2 (en) Resolution adjusting method
US8212890B2 (en) Imaging device and imaging method
CN107835372A (zh) 基于双摄像头的成像方法、装置、移动终端和存储介质
CN106358030B (zh) 图像处理装置和图像处理方法
CN107925751A (zh) 用于多视点降噪和高动态范围的系统和方法
US10070052B2 (en) Image capturing apparatus, image processing apparatus, and control methods thereof
US20090002518A1 (en) Image processing apparatus, method, and computer program product
CN104604215A (zh) 摄像装置、摄像方法和程序
WO2009090992A1 (ja) 電子カメラ
US8670609B2 (en) Systems and methods for evaluating images
JP2016126750A (ja) 画像処理システム、画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP2004005384A (ja) 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置
CN112750087A (zh) 图像处理方法和装置
US20230120604A1 (en) System and Method for Maximizing Inference Accuracy using Recaptured Datasets
US20200213535A1 (en) Method for improved acquisition of images for photogrammetry
JP5160655B2 (ja) 画像処理装置および方法並びにプログラム
JP2007288245A (ja) 撮像装置、画像処理方法及び画像処理プログラム
JP2007316892A (ja) 自動トリミング方法および装置ならびにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150909

Termination date: 20210330

CF01 Termination of patent right due to non-payment of annual fee