CN100460985C - 自动曝光测量方法 - Google Patents

自动曝光测量方法 Download PDF

Info

Publication number
CN100460985C
CN100460985C CNB2006100069587A CN200610006958A CN100460985C CN 100460985 C CN100460985 C CN 100460985C CN B2006100069587 A CNB2006100069587 A CN B2006100069587A CN 200610006958 A CN200610006958 A CN 200610006958A CN 100460985 C CN100460985 C CN 100460985C
Authority
CN
China
Prior art keywords
value
exposure
main body
image
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2006100069587A
Other languages
English (en)
Other versions
CN101008764A (zh
Inventor
林锦池
罗瑞祥
傅楸善
朱峻贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Primax Electronics Ltd
Original Assignee
Primax Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Primax Electronics Ltd filed Critical Primax Electronics Ltd
Priority to CNB2006100069587A priority Critical patent/CN100460985C/zh
Publication of CN101008764A publication Critical patent/CN101008764A/zh
Application granted granted Critical
Publication of CN100460985C publication Critical patent/CN100460985C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本发明提供一种自动曝光测量方法用以决定具有主体的图像的曝光值。本发明方法包括主体检测步骤以及曝光值计算步骤。主体检测步骤包括使用焦距值以检测图像的主体位置。曝光值计算步骤包括使用自动曝光计算函数计算图像的曝光值。本发明可提供较简单及精巧的测量方法。

Description

自动曝光测量方法
技术领域
本发明涉及用于数码相机的自动曝光测量方法。
背景技术
自动曝光(Automatic exposure(AE)),自动白平衡(automatic white balance(AWB))以及自动对焦(automatic focus(AF)),称为3A,是数码相机(digital stillcamera(DSC))系统中三个重要的技术。AE主要是用以控制到达传感器的光量,并防止过度曝光或曝光不足的情况产生。
AE的目的是在于达到图像中良好的曝光平衡,包含测量算法以及曝光控制二个部分。
首先,测量算法评估入射到传感器的光量并计算适当的曝光值(exposurevalue(EV))。接着在硬件的控制方面,曝光控制机制会依据所获得的曝光值来控制三个相关装置,光圈直径(aperture diameter),快门速度(shutter speed)以及传感器灵敏度(sensor sensitivity)。
当入射的光增加时,图像会被过度曝光,故曝光控制机制应该缩小光圈直径,增加快门速度,或降低传感器灵敏度。相反地,当入射的光量降低时,图像会曝光不足,故曝光控制机制应该增加光圈直径、降低快门速度、或提高传感器灵敏度。自动曝光控制装置评估入射光的光量并主动调整曝光控制机制。
自动多点图案(Automatic Multi-Pattern(AMP))是Nikon提出的一种AE测量方法。AMP使用一个对照表(lookup table)并基于多种考虑选择一个较佳的测量算法。
一般的AE测量算法在不同的景物情况中各有其优点,因此我们无法令一种算法适用所有景物情况。例如,中央加权测量(center-weighted metering)总是在主体位于中央的情况中被使用,而单点测量(spot metering)方法则被用于背光景像(backlit scenes),其它如平均测量(average metering)方法则被使用自动曝光测量方法
技术领域
本发明涉及用于数码相机的自动曝光测量方法。
背景技术
自动曝光(Automatic exposure(AE)),自动白平衡(automatic white balance(AWB))以及自动对焦(automatic focus(AF)),称为3A,是数码相机(digital stillcamera(DSC))系统中三个重要的技术。AE主要是用以控制到达传感器的光量,并防止过度曝光或曝光不足的情况产生。
AE的目的是在于达到图像中良好的曝光平衡,包含测量算法以及曝光控制二个部分。
首先,测量算法评估入射到传感器的光量并计算适当的曝光值(exposurevalue(EV))。接着在硬件的控制方面,曝光控制机制会依据所获得的曝光值来控制三个相关装置,光圈直径(aperture diameter),快门速度(shutter speed)以及传感器灵敏度(sensor sensitivity)。
当入射的光增加时,图像会被过度曝光,故曝光控制机制应该缩小光圈直径,增加快门速度,或降低传感器灵敏度。相反地,当入射的光量降低时,图像会曝光不足,故曝光控制机制应该增加光圈直径、降低快门速度、或提高传感器灵敏度。自动曝光控制装置评估入射光的光量并主动调整曝光控制机制。
自动多点图案(Automatic Multi-Pattern(AMP))是Nikon提出的一种AE测量方法。AMP使用一个对照表(lookup table)并基于多种考虑选择一个较佳的测量算法。
一般的AE测量算法在不同的景物情况中各有其优点,因此我们无法令一种算法适用所有景物情况。例如,中央加权测量(center-weighted metering)总是在主体位于中央的情况中被使用,而单点测量(spot metering)方法则被用于背光景像(backlit scenes),其它如平均测量(average metering)方法则被使用及不舒服的感受。
模糊控制(Fuzzy control)是一种仿真已定义区域之间的未定义区域的机制。其有助于平稳地在每种情况之间切换。C.C.Yu使用模糊控制在不同的天气、对比值以及主体情况之间做平稳地转换。
很显然,主体成长处理增加了猜测正确主体位置的可能性,并使用此主体信息做更多精确的测量。然而,此主体成长的结果并非总是正确的。如果主体成长过程所找到的是错误的主体区域,则测量算法将使用错误的信息而获得错误的图像。
另外一种和自动曝光相关的主题是包围曝光(Bracket Exposure)。包围曝光是指对相同景物以不同的曝光值进行拍摄,所述曝光值“包围”了所测量的曝光值。在一般的AE曝光方法中,相机以曝光设定在0.3与2.0EV之间的差异主动拍摄3张或5张相片。当使用者不确定图像的结果或是担心景像具有较大动态范围的情况下,包围曝光是有用的。
当我们使用包围曝光拍照片时,我们接着要从多张包围曝光的图像中选择想要的一张。有一种称为“最佳曝光选择器Optimal Exposure Selector(OES)”的技术客观地从不同曝光值的AE包围图像中选出较佳的一张。OES的好处在于让使用者省去了选择的负担,并且节省包围曝光的图像所占用的内存空间。
为选择想要的图像,一些研究人员对个人感知,例如亮度(brightness)、对比值(contrast)及色彩度(colorfulness)等因素进行分析。
在做决定时,公知的OES分析和个人感知相关的因素且公知的OES会受到曝光控制的干扰。以下三个因素是公知OES所考虑的:
1.强度平均值(Intensity Mean)
直觉上,光强度是和曝光控制最相关的因素。在实施中,以光强度的平均值判断质量。平均值越大,图像越明亮。
2.标准偏移及熵值(Standard Deviation and EntroDy)
除了光强度因素,C.C.Yu也考虑对比值因素。不同的曝光控制将产生不同的对比值,而人们喜欢高对比值的图像。为分析此因素,C.C.Yu计算统计图表的标准偏移及熵值,标准偏移越大,统计图表的分布越广,因此对比值越高。熵值越大,统计图越均匀。
3.色彩度(Colorfulness)
人们喜欢鲜艳的图像。在应用中,C.C.Yu将色彩度视为在CbCr坐标中从像素到原始点的距离。距离越小表示像素越灰暗。
然而,公知OES的匹配度(也就是选择正确图案)还是不够好。
发明内容
本发明的目的在于提供一种比公知技术简单且精巧的自动曝光测量方法。
依据本发明的自动曝光测量方法,其用以决定图像的曝光值,该图像具有主体,该方法包括:
主体检测步骤,使用该图像的多个焦距值来检测该主体;以及
曝光值计算步骤,使用自动曝光测量函数来计算该图像的曝光值。
其中该图像包含多区段且该主体检测步骤包括:寻找具有最大焦距值的十个区段;计算数值(l,c,r),其分别代表在左侧区域、中央区域以及右侧区域内所包含的最大焦距值的区段数目;以及决定该主体所在的位置。在一实施例中,如果c>4或((c>l)且(c>r)),则决定该主体位于该中央区域;如果该主体不是位于该中央区域且(l>c)以及(l>r),则决定该主体位于该左侧区域;如果该主体不是位于该中央区域且(r>c)以及(r>l),则决定该主体位于该右侧区域。
该曝光值计算步骤包括:计算所述区域的亮度平均值;储存所述区域的亮度值并计算对比度(Contrast_Ratio)数值;搜寻想要的区域;以及依据以下的程序计算该曝光值:
曝光值=(1—对比度)×主体亮度+对此度×想要区域的亮度。该对比度数值依据对比度函数(Contrast Ratio function)而获得;其中该对比度函数借由对比值而决定该数值对比度,而该对比值是从所述区域中的最大亮度值减去所述区域中的最小亮度值所获得。
如果该主体区域的亮度接近该最大亮度值,则该想要的区域是亮区域;如果该主体区域的亮度接近该最小亮度值,则该想要的区域是暗区域。
本发明也包含一种包围曝光的最佳曝光选择方法,用以选择最佳曝光图像,该最佳曝光图像从多个具有相同图像内容但曝光值不同的图像中所选出,其中该选择方法依据至少以下二个因素而进行该选择:图像细节以及像素不饱和度。
附图说明
图1是C.C.Yu的灰色区域;
图2是C.C.Yu的预设主体灰色区域;
图3是本发明测量方法的流程图;
图4是本发明主体检测步骤的流程图;
图5a是本发明DSC传感器的中央区域;
图5b是本发明DSC传感器的右侧区域;
图5c是本发明DSC传感器的左侧区域;
图6是使用本发明AE测量函数计算曝光值的流程图;
图7是本发明对比值与对比度的转换曲线图;
图8a是使用公知技术获得的曝光结果;
图8b是使用本发明获得的曝光结果;
图9a是使用公知技术获得的另一图像曝光结果;
图9b是使用本发明获得的另一图像的曝光结果;
图10a-图10c表示包围曝光的图像。
具体实施方式
本发明测量方法包括二部分:
(1).主体检测,以及
(2).使用AE测量函数计算曝光值。
主体检测和公知的主体成长是不一样的。本发明的主体检测并没有将中央区域预设为主体所在的区域。本发明方法使用焦距(focus value,FV)信息来决定主体是位于中央、左侧或是右侧。此外,本发明提供一个新的AE测量函数来取代AMP对照表。在不需要对照表的情况下,本发明的AE测量函数是比较简单及小巧的。
图3是本发明测量方法的流程图。首先,来自DSC传感器的光信息被接收并检查系统是否已有焦距信息。如果系统已经有焦距信息,则使用主体检测步骤来选择主体区域,如果尚无焦距信息,则使用预设区域为主体区域。最后,使用所决定的主体区域借由新的AE测量函数计算EV。
在预览模式(preview mode)中,自动对焦(AF)功能不会被运作以节省电源,故系统内还没有焦距信息。此时可以中央区域为预设的主体并维持合理的曝光值。在拍摄模式中,AF功能被启动并聚焦在主体上,因此可以较精确地检测到主体以获得较佳的拍摄图像。
本发明并不使用主体成长且不猜测主体总是位于中央区域,而是使用焦距信息来检测主体区域。因为包含高焦距值的AF以高度的可能性对焦在主体上,我们有效地使主体区域的曝光质量为最佳。即使AF没有聚焦在正确的主体上,被聚焦的区域依然比其它区域清晰。因此有效地使清晰区域的曝光质量为最佳是合理的。
图4表示本发明主体检测步骤的流程图。DSC传感器被定义为区域1-8并且被分类为中央区域、右侧区域以及左侧区域。图5a表示传感器的中央区域。图5b表示传感器的右侧区域。图5c表示传感器的左侧区域。
首先,我们从AF中获得每一区段的焦距值。焦距值代表区段中的高频的准位,而高焦距值代表高频以及清晰的区域。本发明搜寻10个区段,此10个区段包含最大的焦距值,且其光强度小于亮度临界值。接着计算数值(c,l,r),其代表每一区域中最大区段的数目。图3及图4表示可能的主体位置的三个灰色区域。决定的规则如下:
(1).中央区域:(c>4)或((c>l)且(c>r))。
(2).左侧区域:非中央区域且(l>c)以及(l>r)。
(3).右侧区域:非中央区域且(r>c)以及(r>l)。
(4).预设区域:不符合以上规则。
主体区域的决定规则考虑以下的情况:
(1).中央区域是主体区域的可能性依然是最高。因此本发明仅在中央区域具有不良焦距值及光强度的情况下才检测左侧及右侧区域是否为主体区域。
(2).在第一情况中,左侧或右侧区域需要受到严格的考虑。其应包含较多的对焦区域且中央区域不是主体区域。
(3).如果以上的情况都不适用,则选择中央区域为主体区域。
最后,主体检测流程将主体区域信息传送给AE测量函数。
图6表示使用AE测量函数计算曝光值的流程图。首先,使用光信息以及主体区域来计算每一区域的平均亮度。如图5所示,针对不同的主体区域,函数对不同区域1-8以及主体区域进行计算。接着,系统储存区域1-8借由以亮度最大区域减去亮度最小区域而计算对比值。对比度依据图7的转换曲线而获得。当对比值大于对比临界值(3LV)时,须将对比值列入考虑,且最大的对比度是40%以保护主体信息的重要性。
如果对比值大于对比临界值,我们依据被储存的区域中的主体区域的次序而寻找想要的区域。如果主体区域接近最大亮度区域,则选择明亮区域为想要的区域。否则,如果主体区域接近最小亮度区域,则选择黑暗区域为想要的区域。最后,借由主体的数值、对比度、想要的区域以及切除处理(cutprocess),函数借由以下程序计算曝光值:
曝光值=(1—对比度)×主体亮度+对比度×想要区域的亮度
图8a表示使用公知技术获得的曝光结果而图8b表示使用本发明方法所获得的结果。在图8的图像中,主体不是位于中央。很明显可以看出在不使用焦距信息的情况下(图8a),公知技术强调中央的区域而使主体被过度曝光。而在使用焦距信息的情况下(图8b),主体被正确地强调出来并具有较佳的曝光结果。
图9a表示使用公知技术获得的另一图像曝光结果而图9b表示使用本发明方法所获得的结果。在图9的图像中,主体是位于中央区域,但左侧或右侧具有高对比值及高焦距值的物体。我们可以看到使用焦距信息的情况中,主体的检测依然不会遗漏真正的主体,即使左侧物体具有较高频的区域。
在包围曝光的情况中,本发明使用如前述的主体检测处理并修改公知OES所使用的因素以获得更精确的选择结果。
强度平均值(Intensitymeans)
主体以及整体的强度平均值依然是重要的且直接代表AE的表现。我们如公知OES一样地使用强度平均值为选择因素之一。
强度标准偏移及熵值(Standard Deviation and Entropy)
强度标准偏移代表图像的对比值,且对比值越高越受到人们喜爱。事实上,借由观察图像的统计图,不同的曝光稍微影响统计图的标准偏移。人们不喜欢具有高标准偏移的景像,因为其它的因素更重要。本发明依然考虑主体及整体的标准偏移,但在整体考虑上给于较少的权重。
色彩度(Colorfulness)
大多数的人喜欢鲜艳的图像,但是色彩度与曝光设定之间的关系很小,因此在整体的考虑上本发明给予色彩度较少的权重。
细节(Detail)
本发明AE测量方法的一个重要的目的是尽量表现出最多的细节。在公知的OES中并不考虑到细节因素。但可以从图10看出细节的重要性。图10是包围曝光的图像。图10a的光强度较大,但所表现出的细节比图10b少。人们比较喜欢图10b的图像,因为其细节较清楚。本发明认为细节因素是重要的,因此给予最大的权重。
5.非饱和度(Non-Saturating Ratio)
除了光强度以及细节等考虑之外,另一个AE的重要目的是防止图像曝光不足或过度曝光。换句话说,不应有过多的饱和像素,因此像素不饱和度是曝光选择中的另一个重要因素。
本发明使用Sony F828及Fujifilm F601拍摄30组包围曝光的图像。这些图像包含户外、户内、风景、人像等等的图像。表I表示使用本发明OES因素以及C.C.Yu的匹配度。
 
项目 匹配 不匹配 匹配度
强度平均值 24 6 80%
强度标准偏移 10 20 33%
色彩度 6 24 20%
细节 17 13 57%
不饱和度 21 9 70%
本发明OES因素 26 4 87%
C.C.Yu的OES因素       19 11 63%
表I
由以上的结果可以看出,本发明修改的OES依据细节及像素不饱和度可以选择较佳的曝光图像。
以上所述仅为本发明的较佳实施例,并非用以限定本发明的权利要求范围,而本发明技术思想可广泛地被应用于其它类似测试系统上,因此凡是其它未脱离本发明所公开的精神下所完成的等效改变或修改,均应包含在所附本发明的权利要求的范围内。

Claims (6)

1.一种自动曝光测量方法,用以决定图像的曝光值,该图像具有主体,且该图像包含多个区段,其特征在于该方法包括以下步骤:
主体检测步骤,使用该图像的所述多个区段的焦距值来检测该主体;以及
曝光值计算步骤,使用自动曝光测量函数来计算该图像的曝光值。
2.如权利要求1所述的自动曝光测量方法,其特征在于该主体检测步骤包括:
寻找具有最大焦距值的十个区段;
计算数值l,c,r,所述l,c,r分别代表在左侧区域、中央区域以及右侧区域内所包含的最大焦距值的区段数目;以及
决定该主体所在的位置。
3.如权利要求2所述的自动曝光测量方法,其特征在于:
(1)如果c>4,或如果c>l且c>r,则决定该主体位于该中央区域;
(2)如果该主体不是位于该中央区域且l>c以及l>r,则决定该主体位于该左侧区域;
(3)如果该主体不是位于该中央区域且r>c以及r>l,则决定该主体位于该右侧区域。
4.如权利要求3所述的自动曝光测量方法,其特征在于该曝光值计算步骤包括:
计算所述左侧区域、中央区域以及右侧区域的亮度平均值;
储存所述左侧区域、中央区域以及右侧区域的亮度值并计算对比度数值;
搜寻想要的区域;以及
依据以下的程序计算该曝光值:
曝光值=(1—对比度)×主体亮度+对比度×想要区域的亮度。
5.如权利要求4所述的自动曝光测量方法,其特征在于该对比度数值是依据对比度函数而获得;其中该对比度函数借由对比值而决定该对比度数值,而该对比值是从所述区域中的最大亮度值减去所述区域中的最小亮度值所获得。
6.如权利要求5所述的自动曝光测量方法,其特征在于:
如果主体区域的亮度接近该最大亮度值,则该想要的区域是亮区域;
如果主体区域的亮度接近该最小亮度值,则该想要的区域是暗区域;
其中主体区域是根据数值l,c,r的关系确定的所述左侧区域、中央区域以及右侧区域中的一个区域。
CNB2006100069587A 2006-01-26 2006-01-26 自动曝光测量方法 Expired - Fee Related CN100460985C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2006100069587A CN100460985C (zh) 2006-01-26 2006-01-26 自动曝光测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2006100069587A CN100460985C (zh) 2006-01-26 2006-01-26 自动曝光测量方法

Publications (2)

Publication Number Publication Date
CN101008764A CN101008764A (zh) 2007-08-01
CN100460985C true CN100460985C (zh) 2009-02-11

Family

ID=38697256

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100069587A Expired - Fee Related CN100460985C (zh) 2006-01-26 2006-01-26 自动曝光测量方法

Country Status (1)

Country Link
CN (1) CN100460985C (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572285B (zh) * 2012-02-08 2014-07-30 深圳市黄河数字技术有限公司 Ccd摄像机的日夜模式转换方法
CN104052930A (zh) * 2014-06-16 2014-09-17 苏州佳世达电通有限公司 具有拍照功能的电子装置
CN105898147B (zh) * 2016-05-24 2018-09-11 广东欧珀移动通信有限公司 应用于移动终端的测光处理方法和装置
WO2018000347A1 (zh) * 2016-06-30 2018-01-04 周肇梅 Ccd摄像机的日夜模式转换方法
CN108109166B (zh) * 2017-12-08 2022-03-29 上海集成电路研发中心有限公司 用于自动曝光中图像熵值的计算方法及装置
CN110572585B (zh) * 2019-08-26 2021-03-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596387A (en) * 1992-06-09 1997-01-21 Nikon Corporation Auto-exposure device of a camera
JPH1062833A (ja) * 1996-08-22 1998-03-06 Kyocera Corp 自動露出カメラ
JP2000217033A (ja) * 1999-01-25 2000-08-04 Fuji Photo Film Co Ltd 撮像装置及び自動露出制御の補正処理方法
CN1369736A (zh) * 2001-02-09 2002-09-18 佳能株式会社 曝光控制装置与曝光控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596387A (en) * 1992-06-09 1997-01-21 Nikon Corporation Auto-exposure device of a camera
JPH1062833A (ja) * 1996-08-22 1998-03-06 Kyocera Corp 自動露出カメラ
JP2000217033A (ja) * 1999-01-25 2000-08-04 Fuji Photo Film Co Ltd 撮像装置及び自動露出制御の補正処理方法
CN1369736A (zh) * 2001-02-09 2002-09-18 佳能株式会社 曝光控制装置与曝光控制方法

Also Published As

Publication number Publication date
CN101008764A (zh) 2007-08-01

Similar Documents

Publication Publication Date Title
CN100460985C (zh) 自动曝光测量方法
JP4236433B2 (ja) 写真撮影においてフィル・フラッシュをシミュレートするシステム及び方法
US7565071B2 (en) Metering method of automatic exposure
CN101013470B (zh) 面部重要度确定装置和方法、及图像摄取装置
JP6873688B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP4240023B2 (ja) 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム
CN100565319C (zh) 曝光控制装置和图像摄取装置
KR101577606B1 (ko) 렌즈 장치의 캘리브레이션
US8106965B2 (en) Image capturing device which corrects a target luminance, based on which an exposure condition is determined
KR100875939B1 (ko) 촬상장치 및 그 제어 방법
KR100733096B1 (ko) 카메라 장치 및 촬영 방법
US7483064B2 (en) Imaging apparatus
CN100553301C (zh) 亮度的修正方法
KR20070053288A (ko) 촬상 장치, 노출 제어 방법, 및 촬상 장치에 저장된 컴퓨터프로그램
CN102622741B (zh) 一种检测图像文件的方法及装置
CN110493539B (zh) 自动曝光处理方法、处理装置和电子设备
KR101542436B1 (ko) 촬상 장치 및 촬상 방법
EP1315370A2 (en) Precision exposure setting in a digital imaging device
CN118175430B (zh) 一种自动曝光的控制方法、装置及摄像设备
CN109495693A (zh) 摄像设备和方法、图像处理设备和方法、以及存储介质
JP5665512B2 (ja) 撮像装置及び主要被写体検出方法
JP6702752B2 (ja) 画像処理装置、撮像装置、制御方法及びプログラム
US20040179111A1 (en) Imaging device
JP5367123B2 (ja) ディジタルカメラ画像の輝度を調整する方法
JP6883855B2 (ja) 撮像装置及び撮像装置の制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090211

Termination date: 20170126

CF01 Termination of patent right due to non-payment of annual fee