CN102547087A - 成像设备、图像处理方法和计算机可读存储介质 - Google Patents

成像设备、图像处理方法和计算机可读存储介质 Download PDF

Info

Publication number
CN102547087A
CN102547087A CN2011103751136A CN201110375113A CN102547087A CN 102547087 A CN102547087 A CN 102547087A CN 2011103751136 A CN2011103751136 A CN 2011103751136A CN 201110375113 A CN201110375113 A CN 201110375113A CN 102547087 A CN102547087 A CN 102547087A
Authority
CN
China
Prior art keywords
view data
imageing sensor
temperature
effective pixel
pixel area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103751136A
Other languages
English (en)
Other versions
CN102547087B (zh
Inventor
铃木宗士
石滨孝规
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN102547087A publication Critical patent/CN102547087A/zh
Application granted granted Critical
Publication of CN102547087B publication Critical patent/CN102547087B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种成像设备,包括图像传感器、快门、存储器、温度获取单元、确定单元和获取控制器。图像传感器包括有效像素区域和光学黑色区域。在快门打开之后,存储器临时存储经过光电转换的图像数据。在图像数据存储在存储器中的情况下,当温度被确定为等于或高于阈值时,温度获取单元获取环境温度。在温度等于或高于阈值时,获取控制器执行控制,以关闭快门,并获取经过光电转换的图像数据。写入单元从所获取的图像数据中切除有效像素区域的图像数据。使用所切除的图像数据来校正光学黑色电平差。

Description

成像设备、图像处理方法和计算机可读存储介质
相关申请的交叉引用
本公开与2010年11月24日提交的日本专利申请No.2010-260873中包含的主题相关,其全部公开一并在此作为参考。
技术领域
本发明的示例实施例涉及对成像设备的光学黑色(OB,opticalblack)电平加以调节的技术。
背景技术
图像传感器已具有用于光电转换的有效像素区域以及设置在有效像素区域的水平端部和垂直端部中的光学黑色区域。光学黑色区域用于限定光学黑色电平。
利用从光学黑色区域同时获得的黑色电平来钳位有效像素区域中通过光电转换而形成的图像信号。因此,图像信号被调节到合适的亮度。
关于调节方法,考虑一种方法,该方法在工厂装运之前,利用设置在每个图像传感器中的校正表,来处理图像传感器之中光学黑色电平的个体差异(下文中称作OB电平差),如JP-A-2010-068056中公开的那样。
然而,OB电平差不是仅由个体差异产生的。例如,OB电平可以根据设备自身操作期间产生的热而改变。由热引起的OB电平差是不能利用如上设置的校正表来调节到满意程度的。
发明内容
考虑到上述情况,开发了本发明。本发明的实施例的目的是提供一种可以根据外部环境来调节OB电平差的技术。
一种成像设备,包括:图像传感器,包括有效像素区域和光学黑色区域,光学黑色区域在有效像素区域的端部;快门,被配置为遮蔽图像传感器以免在图像传感器处接收到光;快门控制器,被配置为控制快门打开和关闭;存储器,被配置为在快门控制器控制快门打开之后,临时存储由图像传感器通过光电转换而形成的图像数据;温度获取单元,被配置为获取包含图像存储器的环境的温度;确定单元,被配置为确定温度获取单元获取的温度是否等于或高于阈值;获取控制器,被配置为在确定单元确定温度等于或高于阈值时,控制快门控制器关闭快门,并执行控制以获取在图像传感器处通过光电转换而形成的图像数据;校正单元,被配置为从获取控制器所获取的图像数据中,切除有效像素区域的图像数据,并使用所切除的有效像素区域的图像数据来校正光学黑色电平差。
一种图像处理方法,包括:控制快门打开,并且在存储器中临时存储在图像传感器处通过光电转换而形成的图像数据,所述图像传感器包括有效像素区域和光学黑色区域,所述光学黑色区域在有效像素区域的端部;获取包含图像传感器的环境的温度;确定所获取的温度是否等于或高于阈值;在温度被确定为等于或高于阈值时,控制快门关闭,并执行控制以获取在图像传感器处通过光电转换而形成的图像数据;从所获取的图像数据中切除有效像素区域的图像数据,并使用所切除的有效像素区域的图像数据来校正光学黑色电平差。
一种存储程序的计算机可读介质,所述程序用于使设置在包括图像传感器和快门的图像设备中的计算机执行以下操作:控制快门打开,并且在存储器中临时存储在图像传感器处通过光电转换而形成的图像,所述图像传感器包括有效像素区域和光学黑色区域,所述光学黑色区域在有效像素区域的端部;获取包含图像传感器的环境的温度;确定所获取的温度是否等于或高于阈值;在温度被确定为等于或高于阈值时,控制快门关闭,并执行控制以获取在图像传感器处通过光电转换而形成的图像数据;从所获取的图像数据中切除有效像素区域的图像数据,并使用所切除的有效像素区域的图像数据来校正光学黑色电平差。
根据实施例,可以提供一种技术,该技术能够根据外部环境,具体地根据温度变化,来调节OB电平差。
附图说明
将参考附图来描述实现本发明不同特征的一般配置。附图和相关描述用于说明本发明的实施例,而不应限制本发明的范围。
图1是根据本发明实施例的成像设备1的电路配置图。
图2是示出了设置在成像部中的区域的图示。
图3是示出了实施例的操作的流程图。
具体实施方式
将参考附图来描述本发明的实施例。
图1是示出了成像设备1的各个部的功能的框图,将作为本发明的实施例来描述成像设备1。参考图1来描述成像设备1的电配置。
成像设备1配有控制器9,控制器9用作整体上控制成像设备的中心。控制器9通过总线13连接至机械快门3、成像部4、图像处理器5、快门键6、机械快门控制器7、程序存储器10、工作存储器(work memory)11和图像存储部12的相应电路部。控制器9结合存储在程序存储器10中的程序,使用工作存储器11作为工作用存储器(working memory),来对控制信号的输入和/或输出加以控制,从而整体上控制成像设备1。
利用透镜组来配置透镜2,透镜组例如包括聚焦透镜、放大透镜等等。
将温度传感器8放置在成像设备1的本体中。温度传感器8周期性地获取在成像设备1的操作期间产生的热值,并将热值输出至控制器9。
当接收到来自快门键6的操作信号或自动确定的图像拍摄(imagetaking-in)控制信号时,控制器9响应于接收到的信号来控制机械快门控制器7,以将机械快门3打开曝光时间段,其中曝光时间段是通过测光处理等来设置的。因此,机械快门3被控制为打开和/或关闭。
利用诸如CCD或CMOS之类的器件来配置成像部(图像传感器)4。成像部4对由透镜2聚焦的对象的光学图像进行光电转换,以产生图像数据。将产生的图像数据临时存储在工作存储器11中。此外,如图2所示,在成像部4中预先设置有效像素区域41、垂直OB区域42和水平OB区域43。垂直OB区域42和水平OB区域43位于有效像素区域的端部中。
图像处理器5在控制器9的控制下对临时存储在工作存储器11中的图像数据上的OB电平差进行校正,以利用OB电平差来钳位图像数据。对如此处理后的图像数据执行多种调节处理,其中,所述如此处理后的图像数据被压缩、编码并存储在图像存储部12中。
参考图3来描述由根据实施例的成像设备1的控制器9执行的操作。
首先,在成像模式下,机械快门3被控制为打开,被控制为由透镜2来缩放和聚焦的光学图像进入成像部4的有效像素区域41,使得周期性地输出图像数据。
在这种情况下,控制器9循环地确定是否已检测到快门键6上的操作(或者是否已接收到自动确定的图像拍摄控制信号)(步骤S1)。
当步骤S1中的确定操作断定已检测到快门键6上的操作(或者已接收到自动确定的图像拍摄控制信号)(在步骤S1中为“是”)时,从有效像素区域41、垂直OB区域42和水平OB区域43拍摄并获取图像数据(步骤S2),并将图像数据临时存储在工作存储器11中。确定此时获得的环境温度是否等于或高于阈值(更具体地,60℃到75℃)(步骤S3)。
这是因为,温度升高可以改变从成像部4的外围部分中的垂直OB区域42或水平OB区域43拍摄(或获取)的图像数据的黑色电平。
当步骤S3中的确定操作断定环境温度等于或高于阈值(在步骤S3中为“是”)时,接下来确定曝光时间是否等于或大于阈值时间段(更具体地,0.5至1秒)(步骤S4)。
这是因为,曝光一定时间段的操作可以改变所拍摄的图像数据的黑色电平。
当确定操作断定环境温度等于或高于阈值(在步骤S3中为“是”)并且曝光时间等于或大于阈值时间段(在步骤S4中为“是”)时,从垂直OB区域42和水平OB区域43拍摄并获取的图像数据的黑色电平可以导致OB校正的低可靠性。因此,控制器9控制机械快门控制器7关闭机械快门3(对机械快门3遮光),并进行控制以在该状态下再次从有效像素区域41、垂直OB区域42和水平OB区域43拍摄并获取图像数据(步骤S5)。
此后,在步骤S5中拍摄并获取的图像数据当中,获取有效像素区域41的图像数据的中心区域,使得用有效像素区域41的图像数据的中心区域来盖写(重新写入)工作存储器11中临时存储的垂直OB区域42的图像数据,其中,有效像素区域41的图像数据的中心区域的面积与垂直OB区域42几乎相同(步骤S6)。
这是因为,即使环境温度升高到一定程度并且曝光时间增加到一定程度,成像部分(图像传感器)4的中心附近受影响的可能性也较低。即,在OB校正中,被遮光的图像数据的黑色电平更可靠。
此外,由于在工作存储器11中盖写了OB区域,所以即使图像数据具有大量像素,也可以减轻存储器上的负荷。
尽管关于改写垂直OB区域42的处理来描述了该实施例,然而可以仅盖写水平OB区域43,或者可以盖写垂直OB区域42和水平OB区域43两者。
此后,检测在工作存储器11中存储的OB区域的黑色电平(步骤S7),校正OB电平差,使得利用OB电平差来钳位图像数据(步骤S8)。
然后将步骤S8中钳位的图像数据输出至处理器5中的下一个图像处理过程,处理终止。
当步骤S3中的确定操作断定环境温度低于阈值时和当步骤S4中的确定操作断定曝光时间小于阈值时,认为所获取的OB区域中的黑色电平是可靠的,使得在步骤S8钳位图像数据。
使步骤S3中的确定操作优先于步骤S4中的确定操作。省略步骤S4中的确定操作也没关系,因为即使省略步骤S4中的确定操作,也可以确保黑色电平的可靠性。
在本发明应用于成像设备的情况下描述了前述实施例和每种修改。然而本发明也可以应用于其他摄像机设备(如,数字视频摄像机或包括摄像机的蜂窝电话终端、个人计算机等),也可以应用于具有产生图像信息的功能的设备。
最后,根据本发明的前述实施例和每种修改仅仅是实施本发明的方式的示例,并不旨在限制所附权利要求。因此,应注意,可以对本发明实施例作出的各种修改中的任何修改都包含在本发明的范围之内并且包含在所附权利要求的范围之内。

Claims (6)

1.一种成像设备,包括:
图像传感器,包括有效像素区域和光学黑色区域,光学黑色区域在有效像素区域的端部;
快门,被配置为遮蔽图像传感器以免在图像传感器处接收到光;
快门控制器,被配置为控制快门打开和关闭;
存储器,被配置为在快门控制器控制快门打开之后,临时存储由图像传感器通过光电转换而形成的图像数据;
温度获取单元,被配置为获取包含图像传感器的环境的温度;
确定单元,被配置为确定温度获取单元获取的温度是否等于或高于阈值;
获取控制器,被配置为在确定单元确定温度等于或高于阈值时,控制快门控制器关闭快门,并执行控制以获取在图像传感器处通过光电转换而形成的图像数据;
校正单元,被配置为从获取控制器所获取的图像数据中,切除有效像素区域的图像数据,并使用所切除的有效像素区域的图像数据来校正光学黑色电平差。
2.根据权利要求1所述的成像设备,其中,确定单元确定当将图像数据存储在存储器中时,温度获取单元获取的温度是否等于或高于阈值。
3.根据权利要求1所述的成像设备,还包括:
写入单元,被配置为将所切除的有效像素区域的图像数据重新写入到存储器中存储的图像数据的光学区域中,
其中,校正单元使用由写入单元写入的图像数据来校正光学黑色电平差。
4.根据权利要求1所述的成像设备,还包括:曝光时间确定单元,被配置为确定曝光时间是否等于或大于阈值时间段,
其中,
曝光时间越长,图像传感器存储的环境区中的热越多;并且
在确定单元确定温度等于或高于阈值并且曝光时间确定单元确定曝光时间等于或大于阈值时间段时,获取控制器控制快门控制器将快门关闭,并执行控制以获取在图像传感器处通过光电转换而形成的图像数据。
5.一种图像处理方法,包括:
控制快门打开,并且在存储器中临时存储在图像传感器处通过光电转换而形成的图像数据,所述图像传感器包括有效像素区域和光学黑色区域,所述光学黑色区域在有效像素区域的端部;
获取包含图像传感器的环境的温度;
确定所获取的温度是否等于或高于阈值;
在温度被确定为等于或高于阈值时,控制快门关闭,并执行控制以获取在图像传感器处通过光电转换而形成的图像数据;
从所获取的图像数据中切除有效像素区域的图像数据,并使用所切除的有效像素区域的图像数据来校正光学黑色电平差。
6.一种存储程序的计算机可读介质,所述程序使设置在包括图像传感器和快门的成像设备中的计算机执行以下操作:
控制快门打开,并且在存储器中临时存储在图像传感器处通过光电转换而形成的图像,所述图像传感器包括有效像素区域和光学黑色区域,所述光学黑色区域在有效像素区域的端部;
获取包含图像传感器的环境的温度;
确定所获取的温度是否等于或高于阈值;
在温度被确定为等于或高于阈值时,控制快门关闭,并执行控制以获取在图像传感器处通过光电转换而形成的图像数据;
从所获取的图像数据中切除有效像素区域的图像数据,并使用所切除的有效像素区域的图像数据来校正光学黑色电平差。
CN201110375113.6A 2010-11-24 2011-11-23 成像设备、图像处理方法和计算机可读存储介质 Expired - Fee Related CN102547087B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-260873 2010-11-24
JP2010260873A JP5126346B2 (ja) 2010-11-24 2010-11-24 撮像装置、画像処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
CN102547087A true CN102547087A (zh) 2012-07-04
CN102547087B CN102547087B (zh) 2014-08-13

Family

ID=46064041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110375113.6A Expired - Fee Related CN102547087B (zh) 2010-11-24 2011-11-23 成像设备、图像处理方法和计算机可读存储介质

Country Status (4)

Country Link
US (1) US8531559B2 (zh)
JP (1) JP5126346B2 (zh)
KR (1) KR101318508B1 (zh)
CN (1) CN102547087B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469186A (zh) * 2013-09-18 2015-03-25 佳能株式会社 摄像装置、摄像系统及摄像装置的控制方法
CN108322680A (zh) * 2018-01-18 2018-07-24 思特威电子科技(开曼)有限公司 图像传感器的温度自适应黑电平校准方法及系统
CN109044398A (zh) * 2018-06-07 2018-12-21 深圳华声医疗技术股份有限公司 超声系统成像方法、装置及计算机可读存储介质
CN113615162A (zh) * 2019-03-29 2021-11-05 索尼集团公司 电子设备和成像系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120209064A1 (en) * 2011-02-14 2012-08-16 Olympus Corporation Endoscope apparatus and method of setting reference image of endoscope apparatus
JP6118695B2 (ja) * 2013-09-27 2017-04-19 富士フイルム株式会社 電子内視鏡装置
WO2017013949A1 (ja) * 2015-07-23 2017-01-26 ソニー株式会社 固体撮像装置および固体撮像装置の駆動方法
KR102639679B1 (ko) 2018-05-31 2024-02-23 에스케이하이닉스 주식회사 메모리 장치 및 메모리 장치의 동작방법
CN109697723B (zh) * 2018-12-16 2022-11-22 中国航发沈阳发动机研究所 涡轮叶片温度场图像处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050083419A1 (en) * 2003-10-21 2005-04-21 Konica Minolta Camera, Inc. Image sensing apparatus and image sensor for use in image sensing apparatus
US20070222882A1 (en) * 2006-03-23 2007-09-27 Fujifilm Corporation Solid-state image pick-up apparatus capable of remarkably reducing dark current and a drive method therefor
CN101188678A (zh) * 2006-11-20 2008-05-28 索尼株式会社 图像处理装置,图像处理方法及程序
CN101478627A (zh) * 2008-01-04 2009-07-08 虹光精密工业(苏州)有限公司 影像校正系统与应用其的影像撷取装置及其影像校正方法
US20100060768A1 (en) * 2008-09-08 2010-03-11 Sony Corporation Imaging apparatus, adjustment method of black level, and program

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307775A (ja) * 1995-05-12 1996-11-22 Canon Inc 撮像装置
JP2002158926A (ja) * 2000-11-17 2002-05-31 Minolta Co Ltd 固体撮像装置
JP2005020593A (ja) * 2003-06-27 2005-01-20 Sanyo Electric Co Ltd カメラ
US7657116B2 (en) * 2003-10-08 2010-02-02 Canon Kabushiki Kaisha Correction method of defective pixel in image pickup device and image processing apparatus using the correction method
JP4379230B2 (ja) * 2004-07-07 2009-12-09 ソニー株式会社 固体撮像素子装置及び信号処理方法
JP2007300368A (ja) * 2006-04-28 2007-11-15 Fujifilm Corp 固体撮像装置
JP2008113132A (ja) * 2006-10-30 2008-05-15 Nikon Corp 電子カメラおよび画像処理プログラム
JP5155763B2 (ja) * 2008-07-29 2013-03-06 富士フイルム株式会社 撮像装置及び撮影制御方法
JP2010071659A (ja) * 2008-09-16 2010-04-02 Konica Minolta Medical & Graphic Inc 放射線固体検出器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050083419A1 (en) * 2003-10-21 2005-04-21 Konica Minolta Camera, Inc. Image sensing apparatus and image sensor for use in image sensing apparatus
US20070222882A1 (en) * 2006-03-23 2007-09-27 Fujifilm Corporation Solid-state image pick-up apparatus capable of remarkably reducing dark current and a drive method therefor
CN101188678A (zh) * 2006-11-20 2008-05-28 索尼株式会社 图像处理装置,图像处理方法及程序
CN101478627A (zh) * 2008-01-04 2009-07-08 虹光精密工业(苏州)有限公司 影像校正系统与应用其的影像撷取装置及其影像校正方法
US20100060768A1 (en) * 2008-09-08 2010-03-11 Sony Corporation Imaging apparatus, adjustment method of black level, and program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469186A (zh) * 2013-09-18 2015-03-25 佳能株式会社 摄像装置、摄像系统及摄像装置的控制方法
US9721609B2 (en) 2013-09-18 2017-08-01 Canon Kabushiki Kaisha Image capturing apparatus, image capturing system, and control method for the image capturing apparatus
CN104469186B (zh) * 2013-09-18 2017-10-24 佳能株式会社 摄像装置、摄像系统及摄像装置的控制方法
CN108322680A (zh) * 2018-01-18 2018-07-24 思特威电子科技(开曼)有限公司 图像传感器的温度自适应黑电平校准方法及系统
CN108322680B (zh) * 2018-01-18 2020-06-09 昆山晔芯电子科技有限公司 图像传感器的温度自适应黑电平校准方法及系统
CN109044398A (zh) * 2018-06-07 2018-12-21 深圳华声医疗技术股份有限公司 超声系统成像方法、装置及计算机可读存储介质
CN109044398B (zh) * 2018-06-07 2021-10-19 深圳华声医疗技术股份有限公司 超声系统成像方法、装置及计算机可读存储介质
CN113615162A (zh) * 2019-03-29 2021-11-05 索尼集团公司 电子设备和成像系统

Also Published As

Publication number Publication date
CN102547087B (zh) 2014-08-13
KR20120056214A (ko) 2012-06-01
US20120127338A1 (en) 2012-05-24
JP5126346B2 (ja) 2013-01-23
JP2012114611A (ja) 2012-06-14
KR101318508B1 (ko) 2013-10-16
US8531559B2 (en) 2013-09-10

Similar Documents

Publication Publication Date Title
CN102547087B (zh) 成像设备、图像处理方法和计算机可读存储介质
US9137447B2 (en) Imaging apparatus that generates an image including an emphasized in-focus part of a captured image
US9066033B2 (en) Defective pixel data correcting apparatus, image capturing apparatus, and method for correcting defective pixel data
CN101635790B (zh) 摄像系统及其控制方法
KR101695251B1 (ko) 원격으로 카메라 fpga 배열을 변경하기 위한 시스템 및 카메라 제어 방법
CN102870404B (zh) 摄像设备及其暗电流校正方法
US9721609B2 (en) Image capturing apparatus, image capturing system, and control method for the image capturing apparatus
JP2007053634A (ja) 撮像装置、欠陥画素補正装置および方法
CN101014091A (zh) 摄像设备及其控制方法
US8711254B2 (en) Image processing apparatus and method having defective pixel detection and correction ability
JP2009510868A (ja) 製造過程におけるカメラ特性の内部記憶装置
KR20190095795A (ko) 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법
CN104917940A (zh) 摄像装置、摄像方法和数据记录装置
KR102072731B1 (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP2017534212A (ja) ピクセル感度及びダイナミックレンジを高める方法及び装置
JP5410158B2 (ja) 撮像システムおよび電子情報機器
US20180115728A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP6083968B2 (ja) 撮像装置及び撮像装置の制御方法
CN1893560B (zh) 电子设备及其菜单显示方法
KR20080025503A (ko) 메모리카드가 장착되는 전자장치 및 그의 메모리카드 리셋방법
JP2018056743A (ja) 逆光補正プログラム及び半導体装置
JP2011049642A (ja) 撮像装置、及びその制御方法
JP4903246B2 (ja) 撮像素子の輝度補正回路
US7602426B2 (en) Digital camera and defect pixel compensation system
KR20110029004A (ko) 디지털 촬영 장지, 그 제어 방법, 및 컴퓨터 판독가능 매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140813

Termination date: 20211123

CF01 Termination of patent right due to non-payment of annual fee