CN103888644B - 摄像设备及其控制方法 - Google Patents
摄像设备及其控制方法 Download PDFInfo
- Publication number
- CN103888644B CN103888644B CN201310705994.2A CN201310705994A CN103888644B CN 103888644 B CN103888644 B CN 103888644B CN 201310705994 A CN201310705994 A CN 201310705994A CN 103888644 B CN103888644 B CN 103888644B
- Authority
- CN
- China
- Prior art keywords
- brightness
- unit
- exposure
- image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000009826 distribution Methods 0.000 claims abstract description 35
- 238000012937 correction Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 230000001815 facial effect Effects 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000004744 fabric Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 description 47
- 238000012545 processing Methods 0.000 description 22
- 230000003287 optical effect Effects 0.000 description 9
- 241000219739 Lens Species 0.000 description 8
- 210000000695 crystalline len Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000000205 computational method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 108010022579 ATP dependent 26S protease Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009329 sexual behaviour Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
Abstract
本发明涉及一种摄像设备及其控制方法。该摄像设备包括：摄像单元，用于拍摄图像；检测单元，用于从所拍摄的图像检测被摄体；生成单元，用于生成所拍摄的图像的亮度分布；计算单元，用于基于所述亮度分布，计算在进行以不同曝光拍摄多个图像的自动包围曝光时所使用的曝光量；判断单元，用于判断是否使用所计算出的曝光量来进行所述自动包围曝光；以及校正单元，用于基于所述检测单元所检测到的被摄体的特征信息，校正所计算出的曝光量。
Description
技术领域
本发明涉及一种摄像设备及其控制方法，尤其涉及用于以不同曝光拍摄多个图像的拍摄技术。
背景技术
诸如照相机等的拍摄被摄体的一些摄像设备，具有自动曝光(AE)控制，在该自动AE控制中，以通过根据被摄体的亮度调整光圈和快门速度等所获得的正确曝光来拍摄被摄体。假定要拍摄的被摄体通常存在于图像的中央，因此存在这样一些AE控制技术：使用对图像中央的亮度的选择性测光，检测图像内的对比度，并且适应性选择在选择性测光时要使用亮区域和暗区域中的哪一个等。作为在图像中存在这样的对比度的场景的例子，可以给出亮的天空存在于图像的上部区域、并且暗的地面存在于图像的下部区域的风景场景以及暗的人存在于前景、并且亮的日光存在于背景的逆光场景等。希望识别这些场景中的用户想要拍摄的主被摄体、并且使得能够以正确曝光拍摄主被摄体。然而，实际而言，存在下面的情况：不是总能根据用户的意图实现AE控制，这导致不能实现想要的曝光。
作为用于解决通过AE所确定的曝光不一定产生用户想要的构图的这类状况的技术，已知自动包围曝光(AEB)，其中，在AEB中，与原始图像一起来拍摄曝光与经AE所确定的曝光相比偏移特定量的较亮图像和较暗图像。使用AEB的拍摄记录处于不同曝光的多个图像，因此用户可以在以后选择最适合其偏好的图像。
然而，AEB需要用户预先指定曝光量，因此需要用户进行根据每一新场景进行设置的操作。
例如，日本特开2008-104009号关注图像传感器的亮度范围，并且说明了如何确定曝光来使得曝光落在该亮度范围内。
日本特开2008-104009号通过关注图像传感器的亮度范围来确定曝光，并且因此不用考虑诸如在针对特定场景确定正确曝光时所使用的构图意图和图像的拍摄质量等的因素。例如，存在下面的情况：不能确定在图像中存在人的面部区域时的适当AEB量和基于图像内的颜色信息的适当AEB量等，结果产生非最理想的图像。
发明内容
考虑到上述问题做出本发明，并且本发明实现这样一种拍摄技术：当以不同曝光拍摄多个图像时，该拍摄技术可以通过考虑被摄体的状态和背景的状态等，确定针对特定场景的适当曝光量。
为了解决上述问题，本发明提供一种摄像设备，其包括：摄像单元，用于拍摄图像；检测单元，用于从所拍摄的图像检测被摄体；生成单元，用于生成所拍摄的图像的亮度分布；计算单元，用于基于所述亮度分布，计算在进行以不同曝光拍摄多个图像的自动包围曝光时所使用的曝光量；判断单元，用于判断是否使用所计算出的曝光量来进行所述自动包围曝光；以及校正单元，用于基于所述检测单元所检测到的被摄体的特征信息，校正所计算出的曝光量。
为了解决上述问题，本发明提供一种摄像设备的控制方法，其中，所述摄像设备具有摄像单元和检测单元，所述摄像单元拍摄图像，所述检测单元从所拍摄的图像检测被摄体，所述控制方法包括以下步骤：生成步骤，用于生成所拍摄的图像的亮度分布；计算步骤，用于基于所述亮度分布，计算在进行以不同曝光拍摄多个图像的自动包围曝光时所使用的曝光量；判断步骤，用于判断是否使用所计算出的曝光量来进行所述自动包围曝光；以及校正步骤，用于基于所述检测单元所检测到的被摄体的特征信息，校正所计算出的曝光量。
根据本发明，当以不同曝光拍摄多个图像时，可以通过考虑被摄体的状态和背景的状态等，确定针对特定场景的适当曝光量。
通过以下(参考附图)对典型实施例的说明，本发明的其他特征将显而易见。
附图说明
图1是示出根据本发明实施例的摄像设备的结构的框图。
图2A是根据实施例的摄像设备的正面的外视图。
图2B是根据实施例的摄像设备的背面的外视图。
图3是示出风景场景的例子的图。
图4A～4C是示出图3所示的整个图像的亮度直方图的图。
图5是示出人物场景的例子的图。
图6是示出图5所示图像中的各块的亮度信息的例子的图。
图7是示出图5所示图像中的各块的彩度信息的例子的图。
图8A和8B是示出根据实施例的基于彩度信息的AEB量校正量的图。
图9是示出通过根据实施例的摄像设备所进行的拍摄操作的流程图。
图10是示出图9所示的自动包围曝光拍摄判断处理的流程图。
图11A和11B是示出图10所示的、基于亮度直方图的AEB量计算处理的流程图。
图12是示出图10所示的、基于人的面部区域的亮度信息的AEB量计算处理的流程图。
图13是示出图10所示的、基于彩度信息的AEB量校正量计算处理的流程图。
图14是示出图10所示的AEB拍摄执行判断处理的流程图。
具体实施方式
下面详细说明本发明的实施例。下面的实施例仅是用于实现本发明的例子。可以根据各种条件和应用本发明的设备的结构来适当修改或改变这些实施例。本发明不应局限于下面的实施例。另外，可以适当组合稍后所述的实施例的部分。
下面说明如下实施例，在该实施例中，将本发明应用于诸如数字照相机等的摄像设备中，其中，该摄像设备具有用于以不同于正确曝光的曝光拍摄多个图像的自动包围曝光功能。
设备结构
参考图1，概略说明根据本发明实施例的摄像设备的结构和功能。
在图1中，拍摄镜头101包括调焦透镜和变焦透镜等，并且基于来自光学系统控制单元109的操作指示，利用聚焦于摄像单元103的光接收面的来自被摄体的光，在摄像单元103的光接收面上形成被摄体所反射的光的光学图像。光圈/快门102基于来自光学系统控制单元109的操作指示，控制入射至摄像单元103上的与光学图像相对应的被摄体的反射光的量。基于来自系统控制单元115的控制信号，光学系统控制单元109可以通过控制拍摄镜头101在光轴方向上的位置和控制光圈/快门102的操作等，来调节穿过镜头的光的量。可以使用用于调节光量的各种方法，诸如使用改变光圈的直径的可变光圈、减少透过光的量的ND滤波器和通过完全关闭来遮挡光的机械快门等；根据应用而使用不同的方法。光学系统控制单元109还能够通过响应于设备抖动在光轴方向以外的方向上驱动镜头来进行图像稳定。通过移位摄像单元103，可以以相同方式实现图像稳定。
摄像单元103使用诸如CCD或CMOS等的光电转换元件，将在光接收面上所形成的光学图像转换成电信号。摄像单元103包括将通过光电转换所获得的模拟信号转换成数字信号的A/D转换器。摄像单元103还包括从模拟信号消除噪声的CDS电路和用于在将模拟信号转换成数字信号之前以非线性方式放大模拟信号的非线性放大电路等。摄像控制单元110根据来自系统控制单元115的控制信号，控制摄像单元103的电荷累积时间、A/D转换器、CDS电路和非线性放大电路等。摄像单元103根据来自摄像控制单元110的操作指示，曝光光电转换元件，调节曝光量，读出、放大、衰减和数字化转换电荷信号等。将从摄像单元103输出的数字信号输出给图像处理单元104，但是也将其临时存储在存储器105中。存储器105是高速内部存储器的例子，并且使用其作为用于临时存储图像数据的高速缓冲器或者用于压缩/解压缩图像数据的工作存储器等。
闪光灯111根据来自闪光灯控制单元112的操作指示，发射闪光。当闪光灯控制单元112基于来自系统控制单元115的控制信号使得闪光灯111发光时，即使在被摄体亮度低的情况下，也获得足够的光量，这使得即使在暗场景下也可以保持高快门速度，并且获得具有最佳亮度的图像。
图像处理单元104通过直接对从摄像单元103所输出的数字信号或者从存储器105读出的数字信号进行预定像素插值、诸如图像缩小等的调整大小处理和颜色转换处理等，来生成图像数据。图像处理单元104还将所生成的图像数据临时存储在存储器105中，并且转换所生成的图像数据的格式，以将其记录在/输出给外部存储器90或者外部装置92等。
另外，图像处理单元104从自摄像单元103依次输出的数字信号提取亮度成分和频率成分等，并且使用这些成分作为用于进行诸如AE(自动曝光)处理、AF(自动调焦)处理、和AWB(自动白平衡)处理等的处理的评价值。此外，图像处理单元104可以通过对从摄像单元103所获得的图像数据进行显影处理、通过将色调、灰度和亮度等设置成适当值而将图像整理成适于观看的图像，来调节图像质量。此外，图像处理单元104具有用于检测从摄像单元103所获得的图像数据中的诸如人的面部等的被摄体的被摄体检测功能。除了使用被摄体检测功能来提取与拍摄图像中的人的面部区域的位置、大小、倾斜和面部确定性等有关的特征信息以外，图像处理单元104还具有用于使用所提取的特征信息来认证特定个体的个人认证功能。在个人认证中，图像处理单元104读出预先登记在非易失性存储器106中的个体的特征信息，并且通过将该特征信息与从拍摄图像所提取的人的面部的特征信息进行比较，来判断一致性。此外，图像处理单元104可以对人的面部进行详细分析，并且可以例如通过分析人的眼来检测人的视线方向。
显示单元108是LCD等，并且显示图像、操作辅助画面和照相机的状态，还在拍摄图像时的拍摄画面上显示AF区域。
非易失性存储器106是可以进行电记录和电删除的存储器，并且由例如闪存构成。将通过图像处理单元104所生成的图像文件等存储在非易失性存储器106中，并且使用非易失性存储器106作为系统控制单元115的ROM，还将运行常数和程序等存储在其中。这里，“程序”是指用于执行稍后所述的根据本实施例的各种流程图的程序。
系统控制单元115包括CPU、ROM和RAM，并且通过CPU将存储在ROM中的程序装载进RAM的工作区中、并且执行这些程序，来控制设备100的整体操作。系统控制单元115通过如上所述执行记录在非易失性存储器106中的程序，实现稍后所述的根据本实施例的各个处理。系统控制单元115还通过控制图像处理单元104、存储器105和显示单元108等，来进行显示控制。
摄像设备100设置有可以向其插入和从其移除作为存储卡等的外部存储器90、并且能够经由存储器接口113访问外部存储器90的插槽。此外，摄像设备100包括用于通过有线或无线与外部装置92可通信连接的输入/输出接口114，并且能够与外部装置92交换图像文件和命令等。
操作单元107包括例如电源开关、快门开关、用于设置曝光校正值、光圈值和进行诸如图像再现期间的设置等的各种类型的设置等的菜单开关、用于指示拍摄镜头进行变焦操作的变焦杆、以及用于在拍摄模式和再现模式之间拨动的模式拨动开关等。快门开关在被半按下时，向系统控制单元115输出第一开关信号SW1，从而导致执行诸如AE处理和AF处理等的拍摄准备操作；当完全按下快门开关时，向系统控制单元115输出第二开关信号SW2，从而指示进行拍摄。
如图2中的根据本实施例的摄像设备100的外视图所示，拍摄镜头101被设置在设备100的正面，并且可以拍摄被摄体的图像。闪光灯111也被设置在设备100的正面。操作构件200～208用作操作单元107，用于接受用户操作，而且向系统控制单元115输出相应的操作信号。
自动包围曝光(AEB)
接着参考图3～8，说明通过根据本实施例的摄像设备所进行的用于判断AEB量的方法。
在图3所示的风景场景下，在图像中存在云501和503、天空505、树507和509、以及地面511，并且云和天空具有高亮度，而树和地面具有低亮度。在存在这样的对比度的场景下，平均整个图像的测光可能导致云和天空等亮于目标亮度的高亮细节损失，导致树和地面等暗于目标亮度的阴影细节损失，因而产生不吸引人的图像。通过使用AEB拍摄具有这样的对比度的场景，作为一组，可以以优先云和天空等的呈现的曝光来拍摄图像和以优先树和地面等的呈现的曝光来拍摄图像。
图4A示出图3中的整个图像的亮度直方图，其中，水平轴表示亮度值Yvalue，并且垂直轴表示各个亮度值之间分布的像素的像素数量Num。图4A～4C中的RefY503表示在正常AE处理中所使用的目标亮度值。在正常AE处理中，确定曝光值，以使得测光区域中的亮度值接近目标亮度RefY503。使用目标亮度RefY503作为基准，可以看出，作为大的分布曲线的主分布存在于亮度直方图的低亮度侧和高亮度侧，这表示图像具有高对比度。可以使用发现在低亮度侧和高亮度侧具有主分布的区域接近目标亮度RefY503的曝光值的方法，作为用于使用亮度直方图来计算AEB量的方法。
在图4A中，以LowY511表示目标亮度RefY503的低亮度侧的主分布的顶点处的亮度值，而以HiY513表示RefY503的高亮度侧的主分布的顶点处的亮度值。在这种情况下，对于低亮度峰值LowY511，可以使用由相当于通过下面的公式所计算出的分度（stop）数的亮度所导致的AEB量，以使其接近目标亮度RefY503。
ΔMinus=log2(RefY/LowY)
同样，对于高亮度峰值HiY513，可以使用由相当于通过下面的公式所计算出的分度数的暗化所导致的正AEB量，以使其接近目标亮度RefY503。
ΔPlus=log2(RefY/HiY)
尽管图4B示出了根据图3中的整个图像的亮度分布所获得的亮度直方图，但是用于计算用于使得低亮度侧和高亮度侧更接近目标亮度RefY503的低亮度侧AEB量和高亮度侧AEB量的方法，不同于图4A所示的方法。在图4A中，计算AEB量，以使得低亮度峰值LowY511和高亮度峰值HiY513均接近目标亮度RefY503。另一方面，在图4B中，计算AEB量，以使得低亮度区域中的像素的Y值的平均值LowAveY521(低亮度平均值)和高亮度区域中的像素的Y值的平均值HiAve Y523(高亮度平均值)接近目标亮度RefY503。
尽管图4A所示的计算方法能够使得低亮度峰值LowY511和高亮度峰值HiY513均接近目标亮度RefY503，但是该方法是一个甚至对于轻微亮度变化都做出响应的灵敏条件。因此，可以基于想要的效果，在如图4A所示的使用峰值亮度值的方法和如图4B所示的使用满足预定条件的亮度区域的平均值的方法之间进行切换。
图5示出在图像中存在人的场景，在该图像中，存在云501和503、天空505、面部551、躯体553、以及地面511，并且假定天空和云等具有高发光度，而人和地面等具有低发光度。当使用AEB拍摄这样的人物场景时，希望在向着高亮度侧校正曝光时，人的面部区域的亮度接近目标亮度。
在寻找获得用于人的面部区域的目标亮度的人物场景的AEB量时，主分布可以存在于图4A～4C所示的亮度直方图的低亮度侧，但是即使分布的峰值或者平均亮度值接近目标亮度RefY503，也可能不会获得用于人的面部区域的目标亮度。人的躯体区域和与地面相对应的暗区域等也存在于低亮度侧分布中，因此，原则上，面部区域的精确亮度值是未知的。此外，为了精确找到面部区域的亮度值，需要根据图像而非根据整个图像的亮度直方图来仅计算面部区域的亮度值。
图6示出以块表现图5所示场景中的人的图像的例子。在图6所示的例子中，将该图像在垂直方向上分成6块、并且在水平方向上分成8块，总共48块，并且计算各块的亮度值。接着，在这48块中，计算与图5中的人的面部551相对应的四个块651的平均亮度值，作为面部区域的亮度值FaceY。然后，为了将面部区域的亮度值FaceY设置成目标亮度，可以使用将面部区域加亮通过下面的公式所计算出的分度数的面部区域AEB量ΔPlusFace，来校正亮度值FaceY。
ΔPlusFace=log2(FaceY/RefY)
尽管在图6中将图像分成48块，但是如果将图像分成更多块，则还可以计算更精确的面部区域亮度值，可选地，可以设置能够覆盖整个面部区域的想要的区域，并且基于此进行计算，而不是采用矩阵。
尽管图4A～4C示出了用于使用整个图像的亮度直方图计算AEB量的方法，但是根据场景，还存在下面的情况：仅使用亮度直方图的计算方法不会产生最佳曝光。例如，在图像中存在诸如火车头等的低亮度低彩度黑色被摄体、并且计算AEB量以使得黑色被摄体的亮度值接近目标亮度的情况下，存在黑色被摄体会变得太亮、并且给予观看者不自然印象这样的情况。同时，在图像中存在诸如蓝色天空、秋天的叶子或者新的树叶等的高亮度高彩度被摄体的情况下，存在即使使得高彩度区域的亮度值接近目标亮度仍会导致产生太亮的区域的情况，并且通过稍微降低亮度，高彩度颜色将会更明显。
图7示出下面的情况：以与图6相同的方式，将图3所示风景场景中的图像分成48块，其中，示出每一块的彩度值。在图7中，与白色的云相对应的区域701和703具有低彩度，与蓝色天空相对应的区域705具有高彩度，并且树707和709、以及地面711具有低彩度。如果将图7所示状态应用于图4A～4C所示的亮度直方图，则黑体框751内的块对应于高亮度区域，而黑体框753内的块对应于低亮度区域。计算高亮度/高彩度区域的平均彩度值HiChroma，并且基于HiChroma校正AEB量ΔPlus，从而使得高亮度区域接近目标亮度。同样，计算低亮度/低彩度区域的平均彩度值LowChroma，并且基于LowChroma校正AEB量ΔMinus，从而使得低亮度区域接近目标亮度。注意，可以将这里所使用的AEB量校正量预先准备为诸如图8A和8B所示的表等的表。在图8A中，根据低亮度/低彩度区域的彩度值LowChroma，确定正校正量ΔPlusHosei，并且设置向着曝光不足校正曝光的参数，从而使得被摄体的亮度随着彩度降低而降低。同样，在图8B中，根据高亮度/高彩度区域的彩度值HiChroma，确定负校正量ΔMinusHosei，并且设置向着曝光不足校正曝光的参数，从而使得被摄体的亮度随着彩度的增大而降低。
拍摄操作
接着参考图9～14，说明通过根据本实施例的摄像设备所进行的拍摄操作。
注意，通过系统控制单元115的CPU将存储在ROM中的程序装载进RAM的工作区、并且执行这些程序，实现图9～14所示的处理。
在图9中，当接通设备100的电源时，系统控制单元115根据照相机系统运行的需要，进行系统启动处理，即，向CPU和LSI供应电力、提供时钟信号以及复位存储器和OS等(步骤S901)。
在步骤S902，系统控制单元115使用光学系统控制单元109和摄像控制单元110等，进行用于启动拍摄镜头101、光圈/快门102和摄像单元103等的处理。
在步骤S903，系统控制单元115使用图像处理单元104从自摄像单元103依次输出的图像信号提取亮度成分、颜色成分和焦点信息等，并且进行AE处理、AF处理和AWB处理等。
在步骤S904，系统控制单元115使用图像处理单元104，通过对从摄像单元103依次输出的图像信号进行显影处理来生成图像数据，并且将该图像数据显示在显示单元108上(作为实时显示)。
在步骤S905，系统控制单元115使用显示在显示单元108上的图像数据，通过图像处理单元104来进行面部检测处理、个人识别处理和视线检测处理等。
在步骤S906，系统控制单元115待机，直到在实时显示时快门开关被半按下、并且检测到第一开关信号SW1为止。在检测到第一开关信号SW1的情况下，处理进入步骤S907。
在步骤S907，系统控制单元115进行AEB拍摄执行判断处理和AEB量计算处理等。稍后将参考图10～14详细说明这些处理。
在步骤S908，系统控制单元115使用图像处理单元104对要拍摄的图像进行AE处理和AF处理等。
在步骤S909，系统控制单元115待机，直到快门开关被完全按下、并且检测到第二开关信号SW2为止。在检测到第二开关信号SW2的情况下，处理进入步骤S910，并且在不再检测到第一开关信号SW1的情况下，处理返回至步骤S906。
在步骤S910，系统控制单元115基于在步骤S907所进行的处理的结果，使用AEB进行拍摄，或者在不进行AEB拍摄的情况下，根据在步骤S908所确定的拍摄条件进行正常拍摄。
AEB拍摄执行判断处理和AEB量计算处理
接下来，参考图10说明在图9的步骤S907所进行的AEB拍摄执行判断处理和AEB量计算处理。
在图10的步骤S1001，系统控制单元115使用如图3～4C所示的整个图像的亮度直方图来计算AEB量。
在步骤S1002，系统控制单元115使用如图5和6所示的人的面部区域的亮度值FaceY来计算面部区域AEB量ΔPlusFace。
在步骤S1003，系统控制单元115使用如图7所示的彩度信息，计算面部区域AEB量的校正量ΔPlusHosei和ΔMinusHosei。
在步骤S1004，系统控制单元115判断是否使用AEB进行拍摄，并且基于在步骤S1001～S1003所计算出的值确定AEB量。
使用整个图像的亮度直方图的AEB量计算处理
接着参考图11A和11B，说明图10的步骤S1001所示的、用于使用整个图像的亮度直方图计算AEB量的处理。
在图11A的步骤S1101，系统控制单元115使用图像处理单元104，使用通过将从摄像单元103依次输出的图像信号显影所获得的图像数据来生成亮度直方图。
在步骤S1102和S1103，系统控制单元115根据在步骤S1101所生成的亮度直方图，计算低亮度区域的亮度值LowY和高亮度区域的亮度值HiY。
在步骤S1104，系统控制单元115基于在步骤S1101所生成的亮度直方图，计算分布在中间亮度区域中的像素的比。“中间亮度”是指如图4C所示，使用目标亮度RefY作为基准，处于预定范围内的亮度区域(即，中间亮度区域)中的亮度。然后，通过下面的公式计算分布在中间亮度区域中的像素的数量MidPixelNum与整个图像中的像素的数量AllPixelNum的比，作为中间亮度比MidYRatio。
MidYRatio=MidPixelNum/AllPixelNum*100
在图11B的步骤S1105，系统控制单元115判断在步骤S1104所计算出的中间亮度比MidYRatio是否小于或等于预定阈值ThMidYRatio，并且基于该判断的结果，判断是否使用AEB进行拍摄。在中间亮度比超过预定阈值的场景的情况下，图像的亮度在目标亮度附近，并且对比度低。使用AEB拍摄这类场景，将在整个图像中导致阴影细节损失和高亮细节损失等，并且作为曝光校正的结果，很少的区域呈现适当曝光。因此，在中间亮度比超过预定阈值的场景的情况下，使用AEB的拍摄具有很小的影响，因此，系统控制单元115在步骤S1110判断为不使用AEB进行拍摄。
在步骤S1106，系统控制单元115判断低亮度区域的亮度LowY是否小于或等于预定第一阈值ThLowY，并且基于该判断的结果，判断是否使用AEB进行拍摄。在低亮度区域的亮度LowY在目标亮度附近的情况下，用于使得低亮度区域接近目标亮度的AEB量也减小，从而使得使用AEB来拍摄多个图像几乎没有意义。因此，在低亮度区域的亮度超过预定第一阈值的场景的情况下，系统控制单元115在步骤S1110判断为不使用AEB进行拍摄。
在步骤S1107，由于低亮度区域的亮度小于或等于预定第一阈值，因而系统控制单元115通过下面的公式，计算用于向着高亮度侧校正曝光的AEB量ΔPlus。
ΔPlus=log2(RefY/LowY)
在步骤S1108，系统控制单元115判断高亮度区域的亮度HiY是否大于或等于预定第二阈值ThHiY，并且基于该判断的结果，判断是否使用AEB进行拍摄。在高亮度区域的亮度HiY在目标亮度附近的情况下，用于使得高亮度区域接近目标亮度的AEB量也减小，因而使得使用AEB来拍摄多个图像几乎没有意义。因此，在高亮度区域的亮度小于预定第二阈值的场景的情况下，系统控制单元115在步骤S1110判断为不使用AEB进行拍摄。
在步骤S1109，由于高亮度区域的亮度大于或等于预定第二阈值，因而系统控制单元115通过下面的公式，计算用于向着低亮度侧校正曝光的AEB量ΔMinus。
ΔMinus=log2(RefY/HiY)
这样使用亮度直方图来计算AEB量ΔPlus和ΔMinus。
基于人的面部区域中的亮度信息的AEB量计算处理
接着参考图12，说明图10的步骤S1002所示的、用于使用人的面部的亮度信息计算AEB量的处理。
如参考图5和6所述，可以发现在图像中是否存在人的面部、以及人的面部区域的亮度值作为FaceY。
在图12的步骤S1201，系统控制单元115判断人的面部区域的亮度值FaceY是否小于或等于预定阈值ThFaceY。在该判断的结果表示亮度值FaceY小于或等于预定阈值的情况下，处理进入步骤S1202，而在亮度值FaceY超过预定阈值的情况下，处理进入步骤S1203。
在步骤S1202，人的面部的亮度值低，因此系统控制单元115通过下面的公式，计算用于使用AEB进行拍摄、并且将面部区域的亮度值校正成目标亮度的AEB量ΔFace。
ΔFace=log2(FaceY/RefY)
在步骤S1203，系统控制单元115不使用AEB进行拍摄，因此ΔFace=0。这是因为，假定正常AE处理将实现使得不向过曝光移位面部区域的亮度的控制。然而，本发明不局限于此，并且在例如背景暗、并且在AE处理由于背景而向着过曝光移位面部区域的亮度的场景下，可以进行AEB拍摄以将太亮的面部校正成适当曝光。
在步骤S1204，系统控制单元115基于在步骤S1202所计算出的人的面部区域的亮度值FaceY和目标亮度之间的差ΔFace，通过下面的公式计算面部区域AEB量ΔPlusFace。
ΔPlusFace=-ΔFace
基于彩度信息的AEB量校正量计算处理
接着参考图13，说明图10的步骤S1003所示的、使用彩度信息的AEB量校正量计算处理。
在图13的步骤S1301，系统控制单元115计算图像中的低亮度/低彩度区域的彩度值LowChroma，如图7所示。
同样，在步骤S1302，系统控制单元115计算高亮度/高彩度区域的彩度值HiChroma。
在步骤S1303，系统控制单元115判断低亮度/低彩度区域的彩度值LowChroma是否小于或等于预定第三阈值ThLowChroma。在该判断的结果表示彩度值LowChroma小于或等于预定第三阈值的情况下，处理进入步骤S1304，而在彩度值LowChroma超过预定第三阈值的情况下，处理进入步骤S1305。
在步骤S1304，系统控制单元115根据如图8A所示的表TABLELow(LowChroma)，计算用于校正AEB量的校正量ΔPlusHosei。这是因为存在下面的情况：拍摄具有特定暗度的低亮度/低彩度区域中的被摄体而不是不加选择地使用目标亮度，这样可以更好地再现被摄体的氛围。
在步骤S1305，在以目标亮度拍摄时，低亮度/高彩度区域中的被摄体具有更好的呈现，因此系统控制单元115不校正AEB量，并且按原样使用AEB量(ΔPlusHosei=0)以避免曝光不足。
在步骤S1306，系统控制单元115判断高亮度/高彩度区域的彩度值HiChroma是否大于或等于预定第四阈值ThHiChroma。在该判断的结果表示彩度值HiChroma大于或等于预定第四阈值的情况下，处理进入步骤S1307，而在彩度值HiChroma小于预定第四阈值的情况下，处理进入步骤S1308。
在步骤S1307，系统控制单元115根据如图8B所示的表TABLEHi(HiChroma)，计算用于校正AEB量的校正量ΔMinusHosei。这是因为，如果相对于目标亮度，拍摄稍微曝光不足，则诸如天空或者日落等的高亮度高彩度被摄体具有更好的颜色再现。
在步骤S1308，系统控制单元115不校正AEB量，并且按原样使用AEB量(ΔMinusHosei=0)以避免曝光不足。这是因为，当以目标亮度拍摄时，诸如包含白色的云或者雪等的场景的高亮度/低彩度区域中的被摄体具有更好的呈现。
AEB拍摄执行判断处理
接着参考图14，说明在图10的步骤S1004所进行的AEB拍摄执行判断处理。
在图14所示的处理中，使用如图11～13所述所计算出的AEB量ΔPlus、ΔMinus和ΔPlusFace、以及校正量ΔPlusHosei和ΔMinusHosei判断是否使用AEB进行拍摄、并且确定最终AEB量。
在图14的步骤S1401，系统控制单元115判断如图12所述根据人的面部区域的亮度值所计算出的面部区域AEB量ΔPlusFace是否具有值。在该判断的结果表示存在值的情况下，处理进入步骤S1402，而在不存在值的情况下，处理进入步骤S1403。
在步骤S1402，在图像中存在面部区域，并且面部区域具有低亮度，因此系统控制单元115将面部区域AEB量ΔPlusFace的值设置到AEB量ΔPlusFix。
在步骤S1403，系统控制单元115判断如图11A和11B所示根据整个图像的亮度直方图所计算出的AEB量ΔPlus是否具有值。在该判断的结果表示存在值的情况下，处理进入步骤S1404，而在不存在值的情况下，处理进入步骤S1410。
在步骤S1404，系统控制单元115将正的AEB量ΔPlus的值设置到AEB量ΔPlusFix。
在步骤S1405，系统控制单元115将如图13所示使用彩度所计算出的校正量ΔPlusHosei相加至正的AEB量ΔPlusFix。
在步骤S1406，系统控制单元115判断如图11A和11B所示根据整个图像的亮度直方图所计算出的AEB量ΔMinus是否具有值。在该判断的结果表示存在值的情况下，处理进入步骤S1407，而在不存在值的情况下，处理进入步骤S1410。
在步骤S1407，系统控制单元115将AEB量ΔMinus的值设置到AEB量ΔMinusFix。
在步骤S1408，系统控制单元115将如图13所示使用彩度所计算出的校正量ΔMinusHosei相加至AEB量ΔMinusFix。
在步骤S1409，系统控制单元115基于AEB量ΔPlusFix和ΔMinusFix的值，使用AEB进行拍摄，并且结束该处理。
在步骤S1410，系统控制单元115在不使用AEB进行拍摄的情况下，结束该处理。
根据至此所述的本实施例，基于整个图像的亮度直方图、人的面部区域的亮度、以及低亮度区域和高亮度区域等的彩度，确定适当的AEB量，因此可以针对特定场景使用最佳AEB进行拍摄。尽管本实施例基于彩度来确定AEB量，但是应该注意，即使不基于彩度来确定AEB量，与现有技术相比，也可以更加容易地进行针对特定场景使用最佳AEB的拍摄。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
Claims (8)
1.一种摄像设备，其包括：
摄像单元，用于拍摄图像；
检测单元，用于从所拍摄的图像检测被摄体；
生成单元，用于生成所拍摄的图像的亮度分布；
计算单元，用于基于所述亮度分布，计算在进行以不同曝光拍摄多个图像的自动包围曝光时所使用的曝光量；以及
校正单元，用于基于所述检测单元所检测到的被摄体的特征信息，校正所计算出的曝光量,
其特征在于，所述生成单元根据所拍摄的图像中的多个块的亮度信息，生成亮度直方图，
所述检测单元检测所拍摄的图像中的人的面部区域，
所述计算单元根据所述亮度直方图，计算低亮度侧的主分布和高亮度侧的主分布，并且计算所述曝光量，以使得根据低亮度侧的主分布确定出的亮度值接近目标值并且根据高亮度侧的主分布确定出的亮度值接近目标值，以及
所述校正单元基于所述人的面部区域的特征信息，校正所述曝光量。
2.根据权利要求1所述的摄像设备，其中，还包括：
判断单元，用于判断是否使用所计算出的曝光量来进行所述自动包围曝光，
其中，所述判断单元根据所述亮度直方图计算中间亮度比，其中所述中间亮度比是分布在中间亮度区域中的像素与整个图像中的像素的数量的比，以及
在所述中间亮度比超过预定阈值的情况下，所述判断单元判断为不进行所述自动包围曝光。
3.根据权利要求1所述的摄像设备，其中，还包括：
判断单元，用于判断是否使用所计算出的曝光量来进行所述自动包围曝光，
其中，在根据低亮度侧的主分布所确定出的亮度值小于或等于预定第一阈值、或者根据高亮度侧的主分布所确定出的亮度值大于或等于预定第二阈值的情况下，所述判断单元判断为进行所述自动包围曝光。
4.根据权利要求1所述的摄像设备，其中，还包括：
判断单元，用于判断是否使用所计算出的曝光量来进行所述自动包围曝光，
其中，所述计算单元计算所述检测单元所检测到的人的面部的亮度值，以及
在所计算出的面部的亮度值小于或等于预定阈值的情况下，所述判断单元判断为进行所述自动包围曝光。
5.根据权利要求4所述的摄像设备，其中，
在所计算出的面部的亮度值小于或等于预定阈值的情况下，所述计算单元计算所述曝光量，从而使得所述面部的亮度值接近目标值。
6.根据权利要求1所述的摄像设备，其中，
所述生成单元将所拍摄的图像分成多个块，并且计算所述块中的每一个的彩度信息，以及
在低亮度侧的主分布中所包含的各块的彩度信息小于或等于预定第三阈值的情况下，所述校正单元向着曝光不足校正基于所述低亮度侧的主分布所计算出的曝光量。
7.根据权利要求1所述的摄像设备，其中，
所述生成单元将所拍摄的图像分成多个块，并且计算所述块中的每一个的彩度信息，以及
在高亮度侧的主分布中所包含的各块的彩度信息大于或等于预定第四阈值的情况下，所述校正单元向着曝光不足校正基于所述高亮度侧的主分布所计算出的曝光量。
8.一种摄像设备的控制方法，其中，所述摄像设备具有摄像单元和检测单元，所述摄像单元拍摄图像，所述检测单元从所拍摄的图像检测被摄体，所述控制方法包括以下步骤：
生成步骤，用于生成所拍摄的图像的亮度分布；
计算步骤，用于基于所述亮度分布，计算在进行以不同曝光拍摄多个图像的自动包围曝光时所使用的曝光量；以及
校正步骤，用于基于所述检测单元所检测到的被摄体的特征信息，校正所计算出的曝光量，
其特征在于，所述生成步骤根据所拍摄的图像中的多个块的亮度信息，生成亮度直方图，
所述检测单元检测所拍摄的图像中的人的面部区域，
所述计算步骤根据所述亮度直方图，计算低亮度侧的主分布和高亮度侧的主分布，并且计算所述曝光量，以使得根据低亮度侧的主分布确定出的亮度值接近目标值并且根据高亮度侧的主分布确定出的亮度值接近目标值，以及
所述校正步骤基于所述人的面部区域的特征信息，校正所述曝光量。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012280064A JP6259185B2 (ja) | 2012-12-21 | 2012-12-21 | 撮像装置及びその制御方法、プログラム並びに記憶媒体 |
| JP2012-280064 | 2012-12-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103888644A CN103888644A (zh) | 2014-06-25 |
| CN103888644B true CN103888644B (zh) | 2017-03-01 |
Family
ID=50957356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310705994.2A Expired - Fee Related CN103888644B (zh) | 2012-12-21 | 2013-12-19 | 摄像设备及其控制方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9148561B2 (zh) |
| JP (1) | JP6259185B2 (zh) |
| CN (1) | CN103888644B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014165527A (ja) * | 2013-02-21 | 2014-09-08 | Kyocera Corp | 撮像装置及び制御プログラム並びに露出量制御方法 |
| US8958658B1 (en) * | 2013-09-10 | 2015-02-17 | Apple Inc. | Image tone adjustment using local tone curve computation |
| CN105407295B (zh) * | 2015-10-30 | 2019-02-22 | 努比亚技术有限公司 | 移动终端拍摄装置和方法 |
| JP6643109B2 (ja) * | 2016-01-26 | 2020-02-12 | キヤノン株式会社 | 撮像装置、その制御方法とプログラム |
| JP6723092B2 (ja) * | 2016-06-24 | 2020-07-15 | キヤノン株式会社 | 撮像装置およびその制御方法ならびにプログラム |
| US10375317B2 (en) * | 2016-07-07 | 2019-08-06 | Qualcomm Incorporated | Low complexity auto-exposure control for computer vision and imaging systems |
| US10506172B2 (en) | 2016-08-17 | 2019-12-10 | Google Llc | Camera setting adjustment based on predicted environmental factors and tracking systems employing the same |
| CN109845241B (zh) * | 2016-10-04 | 2020-12-15 | 富士胶片株式会社 | 摄像装置、摄像方法及记录介质 |
| CN106780626B (zh) * | 2016-12-21 | 2019-03-05 | 维沃移动通信有限公司 | 一种摄像头参数调节的方法及移动终端 |
| CN107509044B (zh) * | 2017-08-31 | 2020-08-18 | Oppo广东移动通信有限公司 | 图像合成方法、装置、计算机可读存储介质和计算机设备 |
| JP7197981B2 (ja) * | 2018-01-24 | 2022-12-28 | キヤノン株式会社 | カメラ、端末装置、カメラの制御方法、端末装置の制御方法、およびプログラム |
| TWI695622B (zh) * | 2018-09-06 | 2020-06-01 | 華晶科技股份有限公司 | 影像處理方法及影像處理裝置 |
| KR102569375B1 (ko) | 2018-10-24 | 2023-08-22 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어 방법 |
| KR20200053125A (ko) | 2018-11-08 | 2020-05-18 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| CN112153296B (zh) * | 2019-06-27 | 2022-04-05 | 杭州海康威视数字技术股份有限公司 | 一种自动曝光控制方法、装置及带有fpga的摄像机 |
| KR20210016984A (ko) * | 2019-08-06 | 2021-02-17 | 삼성전자주식회사 | 얼굴이 포함된 영상의 노출 값을 조절하는 전자 장치 |
| CN110572585B (zh) * | 2019-08-26 | 2021-03-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110569822A (zh) * | 2019-09-16 | 2019-12-13 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN112153304B (zh) * | 2020-09-28 | 2021-11-05 | 成都微光集电科技有限公司 | 曝光调整方法和系统、驾驶员监控系统、高级驾驶辅助系统 |
| JP2022093914A (ja) * | 2020-12-14 | 2022-06-24 | キヤノン株式会社 | 撮像装置、その制御方法およびプログラム |
| WO2023166556A1 (ja) * | 2022-03-01 | 2023-09-07 | 日本電気株式会社 | 情報処理システム、情報処理方法、及び記録媒体 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101803366A (zh) * | 2007-07-25 | 2010-08-11 | 坎德拉微系统(S)私人有限公司 | 用于成像系统的曝光控制 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003348438A (ja) * | 2002-05-29 | 2003-12-05 | Fuji Photo Film Co Ltd | 画像撮影方法および装置、画像選択方法および装置並びにプログラム |
| JP4567618B2 (ja) * | 2006-02-23 | 2010-10-20 | 富士フイルム株式会社 | 撮像装置およびその制御方法 |
| JP2008104009A (ja) * | 2006-10-19 | 2008-05-01 | Sony Corp | 撮像装置および撮像方法 |
| JP5083090B2 (ja) * | 2007-09-18 | 2012-11-28 | ソニー株式会社 | 表示制御装置、撮像装置、表示制御方法およびプログラム |
| JP5148989B2 (ja) * | 2007-12-27 | 2013-02-20 | イーストマン コダック カンパニー | 撮像装置 |
-
2012
- 2012-12-21 JP JP2012280064A patent/JP6259185B2/ja not_active Expired - Fee Related
-
2013
- 2013-12-17 US US14/108,493 patent/US9148561B2/en not_active Expired - Fee Related
- 2013-12-19 CN CN201310705994.2A patent/CN103888644B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101803366A (zh) * | 2007-07-25 | 2010-08-11 | 坎德拉微系统(S)私人有限公司 | 用于成像系统的曝光控制 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140176789A1 (en) | 2014-06-26 |
| US9148561B2 (en) | 2015-09-29 |
| CN103888644A (zh) | 2014-06-25 |
| JP2014123914A (ja) | 2014-07-03 |
| JP6259185B2 (ja) | 2018-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103888644B (zh) | 摄像设备及其控制方法 | |
| US10412296B2 (en) | Camera using preview image to select exposure | |
| TWI524709B (zh) | 影像擷取設備、影像擷取設備之控制方法及電子裝置 | |
| US8305487B2 (en) | Method and apparatus for controlling multiple exposures | |
| JP5171434B2 (ja) | 撮像装置、撮像方法、プログラム、および集積回路 | |
| US8228397B2 (en) | Image sensing apparatus and image processing method | |
| CN110062160A (zh) | 图像处理方法和装置 | |
| CN101800858B (zh) | 摄像设备及其控制方法 | |
| CN110198417A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US8737755B2 (en) | Method for creating high dynamic range image | |
| CN110246101B (zh) | 图像处理方法和装置 | |
| JP2003179810A (ja) | 写真撮影においてフィル・フラッシュをシミュレートするシステム及び方法 | |
| KR20090098197A (ko) | 플래시 발광량 조절가능한 디지털 촬영 장치, 이의 제어방법 및 상기 방법을 실행하기 위한 프로그램을 기록한기록매체 | |
| CN106358030A (zh) | 图像处理装置和图像处理方法 | |
| JP2012109900A (ja) | 撮影装置、撮影方法、およびプログラム | |
| CN107682611B (zh) | 对焦的方法、装置、计算机可读存储介质和电子设备 | |
| US20140085510A1 (en) | Image editing device and image editing method | |
| CN111434104B (zh) | 图像处理装置、摄像装置、图像处理方法及记录介质 | |
| JP5048599B2 (ja) | 撮像装置 | |
| JP5791454B2 (ja) | 撮像装置、及びその制御方法 | |
| JP2010271507A (ja) | 撮像装置、露出調整方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170301 |