CN102833489A - 用于基于图像的自动曝光矫正的方法 - Google Patents

用于基于图像的自动曝光矫正的方法 Download PDF

Info

Publication number
CN102833489A
CN102833489A CN2011102243837A CN201110224383A CN102833489A CN 102833489 A CN102833489 A CN 102833489A CN 2011102243837 A CN2011102243837 A CN 2011102243837A CN 201110224383 A CN201110224383 A CN 201110224383A CN 102833489 A CN102833489 A CN 102833489A
Authority
CN
China
Prior art keywords
image
detecting device
station
video camera
regionally detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011102243837A
Other languages
English (en)
Other versions
CN102833489B (zh
Inventor
O·比加尔克
J·普拉特
C·克莱恩-科萨克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Technology AG
Original Assignee
Asea Brown Boveri AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asea Brown Boveri AB filed Critical Asea Brown Boveri AB
Publication of CN102833489A publication Critical patent/CN102833489A/zh
Application granted granted Critical
Publication of CN102833489B publication Critical patent/CN102833489B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/186Video door telephones

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明名称为用于基于图像的自动曝光矫正的方法,提出用于家庭通信系统的基于图像的自动曝光矫正的方法,其具有门站和至少一个经由总线与其连接的住宅站作为系统组件,其中,门站摄像机拍摄在门站前逗留的人员的图像;其中,在住宅站的显示器中显示这些图像;其中,借助区域探测器分析由摄像机产生的模拟或数字图像信号(BS),其识别一个或多个相关图像范围;其中,亮度测量值生成器在区域探测器的结果基础上测定至少一个受关注的图像范围的曝光质量;其中,调节单元从预给定的理论值(SW)和由亮度测量值生成器产生与提供的实际值(IW)中测定调节量(SG),该调节量(SG)在拍摄图像期间迭代地优化摄像机的曝光参数。

Description

用于基于图像的自动曝光矫正的方法
技术领域
本发明涉及一种结合家庭通信系统中提供的视频信息或者图像信号用于基于图像的自动曝光矫正的方法。
背景技术
在家庭通信系统中,结合由门站摄像机拍摄的图像到至少一个住宅站的显示器的传送如下一般是常见的:基于整个图像上的平均亮度进行自动曝光调节,以便以此方式对在不同的时间和天气条件下出现的亮度差异进行补偿(早上、正午太阳、少云/多云、傍晚、夜里)。在如下基本假设下计算曝光敏感性:整个图像具有规定的平均亮度,例如亮度为18%。在通过相同的权重进行计算时,考虑到整个图像范围。
在家庭通信系统的门站(外部站)的典型使用场景中未给出如下基本假设,即能够基于整个图像范围上的平均亮度测定用于拍摄的最优化曝光调节。在这些情况下,人员例如站在外部站前且在阴影范围中紧靠着房屋墙壁,图像背景相反被直接照亮且在图像中明显更亮。通常也会遇见逆光情况且导致类似的效果。通过这些用于具有人员的前景和背景的强烈不同的照明事实,一般常见的自动曝光调整在实践中会导致令人不满意的结果。结果是在一般已知门站的传送视频图像上在图示人员时明显降低了对比度。
发明内容
本发明的目的在于提出一种结合家庭通信系统中提供的视频信息用于基于图像的自动曝光矫正的优化方法。
按照本发明,该目的通过用于家庭通信系统的基于图像的自动曝光矫正的方法实现,所述家庭通信系统具有门站和至少一个经由总线与其相连接的住宅站作为系统组件,
●其中,门站摄像机拍摄在门站前逗留的人员的图像;
●其中,在住宅站的显示器上显示这些图像;
●其中,借助区域探测器分析由摄像机产生的模拟或数字图像信号,所述区域探测器识别一个或多个相关图像范围;
●其中,亮度测量值生成器在区域探测器的结果基础上测定至少一个受关注的图像范围的曝光质量;
●其中,调节单元从预给定的理论值和由亮度测量值生成器产生与提供的实际值中测定调节量,所述调节量在拍摄图像期间迭代地优化摄像机的曝光参数。
利用本发明可获得的优点尤其是在于借助用于亮度调整的简单且轻松的方法改进的图像质量。从通常情况下对于图像数据的数字传送所必需的MPEG编码中,例如能够借助区域探测器轻松获取对于区域亮度调整所需的信息,而无需大量的附加计算能力。所建议的曝光矫正方法尤其是在对于前景(包含在门站前逗留的人员)和背景的不同照明条件下得到改进的结果,也就是说,在从门站传送到住宅站的视频图像上对人员的清晰图示。如果例如人员处于阴影范围中,而图像背景被直接照亮,则所建议的曝光矫正方法引起人员的加亮(Aufhellung)。这同样适用于逆光情况。
在此,借助调节单元测定的调节量能够直接输送给摄像机,也就是说,在这种情况下在摄像机中进行全局亮度调整。在此上下文中,按照改进方案,附加的区域信息能够由区域探测器直接传送给摄像机,也就是说在这种情况下在摄像机中进行区域亮度调整。
与此有所不同地,借助调节单元测定的调节量能够输送给图像处理装置,所述图像处理装置在输入侧接收由摄像机产生的图像信号,也就是说,在这种情况下在图像处理装置中进行全局亮度调整。在此上下文中,按照改进方案,附加的区域信息能够由区域探测器传送给图像处理装置,也就是说,在这种情况下在图像处理装置中进行区域亮度调整。
可选地,在所有实施形式中,光分析单元一方面能够接收由亮度测量值生成器产生和提供的实际值且另一方面能够接收调节单元的调节量且在这些数据的基础上能够控制光源以便改进照明情况(门站或者在此前逗留的人员的照明)。
对于区域探测器,为了识别相关的图像范围能够有利的是:
●将人员识别方法、例如头肩检测或面部检测投入使用或者
●将用于背景减除的基于图像的方法投入使用或者
●将用于动作识别的方法投入使用,其中,从以下假设出发,即位于门站前的人员具有与背景相比独特的动作行为,例如与背景不同的是并非完全静止。
在家庭通信系统中(在所述家庭通信系统中门站外部的调节单元和/或区域探测器和/或亮度测量值生成器集成在至少另一系统组件(住宅站)内),有利的是,经由总线输送至少一个输出量、例如调节量和/或区域信息和/或实际值。
附图说明
以下根据附图中示出的实施例阐述本发明。其中:
图1示出了家庭通信系统的系统概况;
图2示出了在摄像机中具有全局亮度调整的门站的第一实施形式;
图3示出了在摄像机中具有区域亮度调整的门站的第二实施形式;
图4示出了在图像处理装置中具有全局亮度处理的门站的第三实施形式;
图5示出了在图像处理装置中具有区域亮度调整的门站的第四实施形式。
具体实施方式
图1示出了家庭通信系统的系统概况。作为系统组件可以看见的有:
●具有显示器2的住宅站1;
●具有摄像机5、扬声器6和至少一个铃按钮7的门站4。
在被观察的家庭通信系统中,能够仅设置唯一的住宅站,然而也能够存在两个、三个或更多的住宅站作为系统组件,其中,门站的铃按钮数目取决于住宅站数目。总线15用于将门站4与住宅站1或者这些住宅站相连接。
图2示出了在摄像机中具有全局亮度调整的门站的第一实施形式。图中示出了摄像机5,所述摄像机5的模拟或数字图像信号BS被输送给图像处理装置9以及区域探测器10。图像处理装置9在输出侧与总线接口13相连接,总线15连接在所述总线接口13上。区域探测器10的输出信号被引入到亮度测量值生成器11。在输出侧,亮度测量值生成器11将实际值IW作为输出量输出到可选的光分析单元12以及调节单元8。调节单元8另一方面具有理论值SW。在输出侧,调节单元8将调节量SG作为输出量输出到可选的光分析单元12。可选的光分析单元12在输出侧控制可选的光源17。这些用于图2的实施方式也适用于按照图3、4、5的其它实施方式。
按照图2的实施形式的特殊性在于调节单元8附加地输出调节量SG到摄像机5上。
图3示出了在摄像机中具有区域亮度调整的门站的第二实施形式。按照图3的实施形式的特殊性在于,一方面调节单元8附加地输出调节量SG到摄像机5上且另一方面区域探测器10输出作为输出量的区域信息RI到摄像机5上。
图4示出了在图像处理装置中具有全局亮度处理的门站的第三实施形式。按照图4的实施形式的特殊性在于调节单元8附加地输出调节量SG到图像处理装置9上。
图5示出了在图像处理装置中具有区域亮度调整的门站的第四实施形式。按照图5的实施形式的特殊性在于,一方面调节单元8附加地输出调节量SG到图像处理装置9上且另一方面区域探测器10输出区域信息RI到图像处理装置9上。
在上文中对不同实施形式的电路技术上的共同点和不同点的描述之后紧接的是对所建议的用于基于图像的自动曝光矫正的方法的阐述。
为了改进在通过摄像机5拍摄时的图像质量,优化关于在给定的场景中受关注的图像范围的曝光参数,尤其是通常情况下分配给在图像的前景中照明不好的人员的图像范围。
出于该目的,由区域探测器10在第一步骤中分析摄像机5的图像信号BS,区域探测器10识别一个或多个涉及到前景中一个或多个人员的相关图像范围。亮度测量值生成器11在区域探测器10的结果基础上测定受关注的图像范围的曝光质量。这通过应用用于基于平均亮度的自动曝光调节的一般已知方法进行,而并不在整个图像上,如通常情况下,而是分别在受关注的图像范围上或在第一步骤中测定的图像范围的特殊权重情况下。
结果是调节单元8能够借助不同的调节量SG在图像拍摄期间迭代地优化摄像机5的曝光参数,参见按照图2和3的实施形式,参见带有从调节单元8到摄像机5的调节量SG的路径,或者也能够借助用于控制光源17的可选的光分析单元12改进照明情况,参见按照图2、3、4、5的实施形式,参见带有从调节单元8到包括取决于IW/SG对比对光源17的控制的光分析单元12的调节量SG的路径。
如果装上允许区域曝光调节的摄像机5,则该方法能够拓展到通过所述过程彼此分开地优化用于不同图像范围(前景和背景)的拍摄参数。在这种情况下,由区域探测器10测定的区域信息RI由区域探测器10附加地传送到摄像机5上,参见按照图3带有从区域探测器10到摄像机5的区域信息RI的路径。
对于不允许或不需要曝光调节的改变的摄像机5,在将数据传递到总线接口13前,在图像处理装置9内进行图像质量的优化。与两个上述方法类似,在这里能够有选择地
●进行全局优化,如其在图4中示出的,参见带有从调节单元8到图像处理装置9的调节量SG的路径,也可
●进行区域优化,如其在图5中示出的,参见带有从调节单元8到图像处理装置9的调节量SG的路径以及带有从区域探测器10到图像处理装置9的区域信息的路径。
为了借助区域探测器10识别相关的图像范围,能够应用不同的方法:
--用于人员识别的方法(例如头肩探测器、面部探测器)
--用于背景减除的基于图像的方法和
--用于动作识别的方法。除了上面的方法之外,在已经隐含提供的动作信息基础上,动作识别也能够在经MPEG编码的视频流中进行。这使得所述的曝光矫正方法也能够应用在带有受限的硬件资源的嵌入式系统中且无需附加的硬件。
在已知的用于运动图像(例如MPEG)的压缩方法中,为了减少数据量而使用不同的图像类型。以有规律的间隔对全图像(I帧)进行编码,所述全图像包含完整的图像内容的图像信息。为了相应地减少数据传输率,在全图像之间仅对差值图像(P帧或B帧)进行编码。这些图像实质上仅包含与前的或后面的帧的差值。
按照本发明,从以下出发,即人员的面部/上身在从外部通话位置到内部通话位置的对话期间并非完全静止,且具有与背景相比独特的动作行为。这些动作信息在差值图像中再次找到(运动流矢量)。对这些矢量的分析允许相关的图像范围的精确确定,对于所述图像范围应该首先进行图像亮度的调整。
备选地,以一种较简单的方式能够省去相关的图像范围的精确确定,其中仅从矢量中确定中心。然后,在可定义的围绕着中心的圆形或椭圆形周围相应地调整亮度。
参考标记列表
1     住宅站
2     显示器
3     -
4     门站
5     摄像机
6     扬声器
7     铃按钮
8     调节单元
9     图像处理装置
10    区域探测器
10    亮度测量值生成器
10    光分析单元
10    总线接口
10    -
10    总线
10    -
10    光源
BS    图像信号
IW    实际值
RI    区域信息
SG    调节量
SW    理论值

Claims (10)

1.用于家庭通信系统的基于图像的自动曝光矫正的方法,所述家庭通信系统具有门站(4)和至少一个经由总线(15)与其相连接的住宅站(1)作为系统组件,
●其中所述门站(4)的摄像机(5)拍摄在所述门站前逗留的人员的图像;
●其中,在所述住宅站(1)的显示器(2)上显示这些图像;
●其中,借助区域探测器(10)分析由所述摄像机(5)产生的模拟或数字图像信号(BS),所述区域探测器(10)识别一个或多个相关图像范围;
●其中,亮度测量值生成器(11)在所述区域探测器(10)的结果基础上测定至少一个受关注的图像范围的曝光质量。
●其中,调节单元(8)从预给定的理论值(SW)和由亮度测量值生成器(11)产生与提供的实际值(IW)中测定调节量(SG),所述调节量(SG)在所述拍摄图像期间迭代地优化所述摄像机(5)的曝光参数。
2.根据权利要求1所述的方法,其特征在于,所述调节量(SG)被直接输送给所述摄像机(5)。
3.根据权利要求2所述的方法,其特征在于,附加的区域信息(RI)由所述区域探测器(10)传送给所述摄像机(5)。
4.根据权利要求1所述的方法,其特征在于,所述调节量(SG)被输送给图像处理装置(9),所述图像处理装置(9)在输入侧接收由所述摄像机(5)产生的图像信号(BS)。
5.根据权利要求4所述的方法,其特征在于,附加的区域信息(RI)由所述区域探测器(10)传送给所述图像处理装置(9)。
6.根据前述权利要求至少一项所述的方法,其特征在于,光分析单元(12)接收由所述亮度测量值生成器(11)产生和提供的实际值(IW)以及所述调节单元(8)的调节量(SG)且在这些数据的基础上控制光源(17),以便改进照明情况。
7.根据前述权利要求至少一项所述的方法,其特征在于,在所述区域探测器(10)中将人员识别方法、例如头肩检测或面部检测投入使用。
8.根据前述权利要求至少一项所述的方法,其特征在于,在所述区域探测器(10)中将用于背景减除的基于图像的方法投入使用。
9.根据前述权利要求至少一项所述的方法,其特征在于,在所述区域探测器(10)中将用于动作识别的方法投入使用,其中,从以下假设出发,即在所述门站(4)前逗留的人员具有与背景相比独特的动作行为。
10.根据前述权利要求至少一项所述的方法,其中,在所述门站(4)外部的调节单元(8)和/或区域探测器(10)和/或亮度测量值生成器(11)集成在至少另一系统组件内,其特征在于,经由所述总线(15)输送至少一个输出量、例如调节量(SG)、和/或区域信息(RI)和/或实际值(IW)。
CN201110224383.7A 2011-06-15 2011-07-29 用于基于图像的自动曝光矫正的方法 Expired - Fee Related CN102833489B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011104198A DE102011104198A1 (de) 2011-06-15 2011-06-15 Verfahren zur bildbasierten automatischen Belichtungskorrektur
DE102011104198.6 2011-06-15

Publications (2)

Publication Number Publication Date
CN102833489A true CN102833489A (zh) 2012-12-19
CN102833489B CN102833489B (zh) 2016-09-21

Family

ID=46275661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110224383.7A Expired - Fee Related CN102833489B (zh) 2011-06-15 2011-07-29 用于基于图像的自动曝光矫正的方法

Country Status (4)

Country Link
EP (1) EP2536127A3 (zh)
CN (1) CN102833489B (zh)
DE (1) DE102011104198A1 (zh)
RU (1) RU2598858C2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888681B (zh) * 2014-04-18 2017-05-31 四川华雁信息产业股份有限公司 一种自动曝光方法及装置
WO2017114399A1 (zh) * 2015-12-31 2017-07-06 华为技术有限公司 逆光拍照方法和装置
CN111277766A (zh) * 2018-12-05 2020-06-12 雪力光纤有限公司 图像拍摄方法和图像拍摄设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636774B (zh) * 2018-11-08 2020-12-18 温州瑞智门窗有限公司 安全底座现场驱动系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008096238A2 (en) * 2007-02-05 2008-08-14 Bticino S.P.A. External intercom and/or video door entry station with configuration and control information aids
CN101552852A (zh) * 2008-04-01 2009-10-07 吉徕·吉尔西本股份有限公司 房屋通信系统的基站设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6121886A (en) * 1985-06-25 1987-01-30 Matsushita Electric Works Ltd. Monitoring device applying noctovision for a doorphone system
DE3639496A1 (de) * 1986-11-20 1988-05-26 Manfred Kunz Sicherheitseinrichtung fuer haus- und wohnungstueren
RU2149517C1 (ru) * 1998-12-01 2000-05-20 Степунин Андрей Сергеевич Система видеонаблюдения за пространством перед входной дверью
US20030095185A1 (en) * 2001-11-19 2003-05-22 Naifeh Bill R. Electronic door viewer and method of use
JP2004336127A (ja) * 2003-04-30 2004-11-25 Matsushita Electric Ind Co Ltd 監視システム
JP4572583B2 (ja) * 2004-05-31 2010-11-04 パナソニック電工株式会社 撮像装置
WO2006046519A1 (ja) * 2004-10-25 2006-05-04 Matsushita Electric Works, Ltd. 空間情報検出装置
JP4442539B2 (ja) * 2005-09-27 2010-03-31 パナソニック電工株式会社 空間情報の検出装置
US20060098729A1 (en) * 2004-11-09 2006-05-11 Lien-Chieh Shen Smart image processing CCTV camera device and method for operating same
US20060221182A1 (en) * 2005-04-01 2006-10-05 Sham John C Security surveillance viewing and recording assembly
JP4996491B2 (ja) * 2008-01-29 2012-08-08 パナソニック株式会社 撮像装置
JP5390943B2 (ja) * 2008-07-16 2014-01-15 キヤノン株式会社 画像処理装置及び画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008096238A2 (en) * 2007-02-05 2008-08-14 Bticino S.P.A. External intercom and/or video door entry station with configuration and control information aids
CN101552852A (zh) * 2008-04-01 2009-10-07 吉徕·吉尔西本股份有限公司 房屋通信系统的基站设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888681B (zh) * 2014-04-18 2017-05-31 四川华雁信息产业股份有限公司 一种自动曝光方法及装置
WO2017114399A1 (zh) * 2015-12-31 2017-07-06 华为技术有限公司 逆光拍照方法和装置
CN111277766A (zh) * 2018-12-05 2020-06-12 雪力光纤有限公司 图像拍摄方法和图像拍摄设备
CN111277766B (zh) * 2018-12-05 2023-08-08 雪力光纤有限公司 图像拍摄方法和图像拍摄设备

Also Published As

Publication number Publication date
EP2536127A3 (de) 2015-09-09
CN102833489B (zh) 2016-09-21
RU2012124900A (ru) 2013-12-20
EP2536127A2 (de) 2012-12-19
RU2598858C2 (ru) 2016-09-27
DE102011104198A1 (de) 2012-12-20

Similar Documents

Publication Publication Date Title
CN103916605B (zh) 具有影中影实时广播能力的移动计算装置
US10205867B2 (en) Image photographing method performed with terminal device having camera function
US9294687B2 (en) Robust automatic exposure control using embedded data
CN100525433C (zh) 摄像机控制器和远程会议系统
US8675088B2 (en) Image compensation apparatus
EP3198858B1 (en) Method and system of lens shading color correction using block matching
CN102790843B (zh) 图像处理设备和显示图像生成方法
CN103856764B (zh) 一种利用双快门进行监控的装置
CN102572316A (zh) 用于图像信号处理的溢出控制技术
CN102572443A (zh) 用于在图像信号处理系统中同步音频和视频数据的技术
CN110830779A (zh) 一种图像信号的处理方法和系统
CN102547301A (zh) 使用图像信号处理器处理图像数据的系统和方法
CN102547302A (zh) 使用图像传感器接口定时信号的闪光同步
CN102547162A (zh) 用于处理原始图像数据的图像信号处理器线缓冲器配置
CN102833489A (zh) 用于基于图像的自动曝光矫正的方法
US9456146B2 (en) Exposure control device, imaging device, image display device, and exposure control method
EP3891974B1 (en) High dynamic range anti-ghosting and fusion
CN104618691A (zh) 一种全景亮度平衡调节系统及调节方法
CN110971833B (zh) 一种图像处理方法、装置、电子设备及存储介质
US9100579B2 (en) Modification of a video signal of an object exposed to ambient light and light emitted from a display screen
JP2011254339A (ja) 撮像装置
JP2014180024A (ja) 撮像装置
CN102547222A (zh) 视频监控中保护用户隐私的只显示动目标图像技术
CN105210362B (zh) 图像调整设备、图像调整方法和图像捕获设备
US11184590B2 (en) Image processing apparatus and method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1177359

Country of ref document: HK

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1177359

Country of ref document: HK

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190711

Address after: Baden, Switzerland

Patentee after: ABB TECHNOLOGY LTD.

Address before: Mannheim

Patentee before: Asea Brown Boveri AB

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160921

Termination date: 20190729