CN1941851A - 图像取得装置以及程序 - Google Patents

图像取得装置以及程序 Download PDF

Info

Publication number
CN1941851A
CN1941851A CNA2006101389417A CN200610138941A CN1941851A CN 1941851 A CN1941851 A CN 1941851A CN A2006101389417 A CNA2006101389417 A CN A2006101389417A CN 200610138941 A CN200610138941 A CN 200610138941A CN 1941851 A CN1941851 A CN 1941851A
Authority
CN
China
Prior art keywords
time
exposure
photography
cloth
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006101389417A
Other languages
English (en)
Other versions
CN1941851B (zh
Inventor
富永隆一郎
森幸夫
冈田诚司
滨本安八
横畠正大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN1941851A publication Critical patent/CN1941851A/zh
Application granted granted Critical
Publication of CN1941851B publication Critical patent/CN1941851B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals

Abstract

本发明提供一种图像取得装置,包括:曝光时间算出部、给定时间算出部、摄影方法决定部、动作检测部和给定系数算出部。曝光时间算出部基于与光圈对应的光圈值和被摄体的亮度,算出摄像机构的曝光时间。给定时间算出部基于透镜的焦点距离和给定系数,算出给定时间。摄影方法决定部在曝光时间为给定时间以上的情况下,决定进行多重曝光摄影,该多重曝光摄影取得多幅被摄体图像,通过合成该多幅被摄体图像,取得被摄体的合成图像。动作检测部在多重曝光摄影中检测多幅被摄体图像之间的动作。给定系数算出部基于所检测出的动作量更新给定系数。

Description

图像取得装置以及程序
技术领域
本发明涉及取得被摄体图像,并使用该被摄体图像进行多重曝光摄影的图像取得装置以及程序。
背景技术
以往,在作为数字静态照相机的图像取得装置中,为了防止摄影时的手抖动,公知有一种增加快门速度的,即缩短摄像机构的曝光时间的方法。具体而言,为了防止摄影时的手抖动,在将透镜的焦点距离f设定为fmm的情况下,优选曝光时间为1/f秒以下。
而且,在该图像取得装置中,为了以恰当的曝光状态对被摄体进行摄影,如图1(a)所示,在被摄体的亮度高的情况下,进行控制来关闭光圈并缩短曝光时间;在被摄体的亮度低的情况下,进行控制来打开光圈并延长曝光时间。该情况下,被控制为以恰当的曝光状态对被摄体进行摄影的曝光时间(下面称作最佳曝光时间Tc),有时为1/f秒以上。
因此,为了防止摄影时的手抖动,多采用利用三脚架固定相机,或使用闪光灯(strobo)提高被摄体亮度的策略。
可是,图像取得装置的用户通常不是都具有三脚架。而且,在大量使用闪光灯的情况下,电池容易被消耗,导致对远景进行摄影时,没有了闪光灯的效果。
为了解决该问题,公知有一种通过进行多重曝光摄影,来防止手抖动的图像取得装置(例如,参照特开2000-69352号公报)。
所谓多重曝光摄影是指,以比最佳曝光时间Tc短的曝光时间取得多个所摄影的被摄体图像,通过对该多个被摄体图像进行合成,来取得被摄体的合成图像。
在该多重曝光摄影中,如图1(b)所示,由于为了取得1幅被摄体图像而需要的1幅图像曝光时间短,所以可以防止摄影时的手抖动。而且,由于在该多重曝光摄影中1幅图像的曝光时间短,所以1幅被摄体图像的明亮度会降低,但是,通过对多个被摄体图像进行合成,可以得到手抖动影响少、且明亮的合成图像。
参照图2,对该图像取得装置的动作的一个实例进行说明。
如图2所示,在步骤S401中,图像取得装置基于和光圈对应的光圈值、和被摄体的亮度,算出最佳曝光时间Tc。
在步骤S402中,当将透镜的焦点距离f设定为fmm时,图像取得装置将1/f秒作为基准值,来决定进行1幅图像的摄影,或多重曝光摄影。
具体而言,在最佳曝光时间Tc不足1/f秒的情况下,图像取得装置决定进行1幅图像摄影,本动作进入步骤S403。在最佳曝光时间Tc为1/f秒以上的情况下,图像取得装置决定进行多重曝光摄影,本动作进入步骤S404。
例如,如图3所示,在透镜焦点距离f以35mm换算为30mm的情况下,基准值为1/30秒。因此,在最佳曝光时间Tc不足1/30秒的情况下,进行1幅图像摄影。在最佳曝光时间Tc为1/30秒以上的情况下,决定进行多重曝光摄影。
在步骤S403中,图像取得装置进行1幅图像摄影。
这里,所谓1幅图像摄影是指,取得以最佳曝光时间Tc进行摄影的1幅被摄体图像。
在步骤S404中,图像取得装置算出在多重曝光摄影中,用于取得1幅被摄体图像而需要的1幅曝光时间T1。具体而言,优选1幅图像曝光时间T1为最佳曝光时间Tc的1/8以上,并且在最佳曝光时间Tc以下。
在步骤S405中,图像取得装置算出在多重曝光摄影中,用于取得合成图像而需要的多幅被摄体图像的合成幅数n。具体而言,合成幅数n使用“合成幅数n=最佳曝光时间Tc/1幅曝光时间T1”来进行计算。
在步骤S406中,图像取得装置算出在多重曝光摄影中,用于取得多幅被摄体图像而需要的整体摄影时间To。具体而言,整体摄影时间To使用“整体摄影时间To=1幅曝光时间T1×合成幅数n”来算出,与最佳曝光时间Tc相等。
在步骤S407中,图像取得装置根据在步骤S404~步骤406中算出的1幅曝光时间T1、合成幅数n以及整体摄影时间To,进行多重曝光摄影。
但是,在上述的图像取得装置中,由于在将透镜的焦点距离f设定为fmm时,以1/f秒为基准值,决定进行1幅图像摄影,或者多重曝光摄影,所以,在焦点距离f相等的情况下,基准值被唯一地算出。
因此,当最佳曝光时间Tc不足1/f秒时,即使以往的图像取得装置的用户在该最佳曝光时间Tc中发生手抖动的概率高的情况下,由于以往的图像取得装置无法进行多重曝光摄影,所以不能够防止手抖动。
而且,在上述的图像取得装置中,由于在多重曝光摄影时没考虑帧周期,所以在1幅图像摄影时间T1比帧周期短的情况下,整体摄影时间To变长,存在无法防止手抖动的问题点。
发明内容
本发明正是鉴于上述问题而提出的。
本发明的第一特征在于,提供一种图像取得装置,其使用经由透镜和光圈而被曝光的摄像机构取得被摄体图像,并使用该被摄体图像进行多重曝光摄影,包括:曝光时间算出部,其基于与所述光圈对应的光圈值、和所述被摄体的亮度算出所述摄像机构的曝光时间;给定时间算出部,其基于所述透镜的焦点距离和给定系数算出给定时间;摄影方法决定部,其在所述曝光时间为所述给定时间以上的情况下,决定进行所述多重曝光摄影,其取得多幅被摄体图像,通过合成该多幅被摄体图像,取得所述被摄体的合成图像;动作检测部,其在所述多重曝光摄影中检测所述多幅被摄体图像之间的动作;和给定系数算出部,其基于所检测的动作量更新给定系数。
根据该特征,由于在每次多重曝光摄影时,基于多幅被摄体图像之间的动作(手抖动)能够变更将1幅图像摄影切换为多重曝光摄影的基准值(给定时间),所以,根据手抖动的产生,可以随机将1幅图像摄影切换成多重曝光摄影。
在本发明的第一特征中,也可以具备多重曝光摄影控制部,其在所述多重曝光摄影中,基于所述曝光时间和所述给定时间,算出用于取得1幅的被摄体图像所需要的1幅的曝光时间、用于取得所述合成图像而需要的所述多幅被摄体图像的合成幅数、和为了取得所述多幅被摄体图像而需要的整体摄影时间。
在本发明的第一特征中,所述多重曝光摄影控制部可以通过表示所述动作修正效果的评价值,算出所述合成幅数的上限值,并基于该上限值算出所述合成幅数。
根据该特征,由于可以通过算出合成幅数的上限值限制合成幅数,所以,能够防止以合成幅数的增加而引起合成图像的画质降低。
在本发明的第一特征中,所述多重曝光摄影控制部也可以在所述1幅的曝光时间比帧周期短的情况下,基于所述帧周期算出所述整体摄影时间。
在本发明的第一特征中,所述多重曝光摄影控制部也可以在所述1幅的曝光时间比所述帧周期短、基于所述帧周期算出的所述整体摄影时间比所述曝光时间长的情况下,延长所述1幅的曝光时间,基于该1幅的曝光时间算出所述合成幅数与所述整体摄影时间。
根据该特征,即使在多重曝光摄影中1幅的曝光时间比帧周期短的情况下,也可以通过以1幅的曝光时间不会过长、且抑制整体摄影时间的方式进行算出,防止因长的1幅的曝光时间而引起的手抖动。
在本发明的第一特征中,所述多重曝光摄影控制部还可以在所述1幅的曝光时间比所述帧周期短、基于所述帧周期算出的所述整体摄影时间比所述曝光时间长的情况下,将所述曝光时间设定为所述整体摄影时间,并基于该整体摄影时间,算出所述1幅的曝光时间和所述合成幅数。
根据该特征,由于即使在多重曝光摄影中1幅的曝光时间比帧周期短的情况下,也可以抑制整体摄影时间,所以能够防止因长的整体摄影时间引起的手抖动。
在本发明的第二特征中,提供一种程序,其使用经由透镜和光圈而被曝光的摄像元件取得被摄体图像,并使用该被摄体图像进行多重曝光摄影,使计算机执行的下述步骤,即:基于与所述光圈对应的光圈值和所述被摄体的亮度,算出所述摄像机构的曝光时间的步骤;基于所述透镜的焦点距离和给定系数算出给定时间的步骤;在所述曝光时间为所述给定时间以上的情况下,决定进行所述多重曝光摄影的步骤,该多重曝光摄影取得多幅被摄体图像,通过合成该多幅被摄体图像,进行取得所述被摄体的合成图像;在所述多重曝光摄影中检测出所述多幅被摄体图像之间的动作的步骤;和基于所检测出的动作量更新给定系数的步骤。
附图说明
图1是用于说明以往的图像取得装置中的1幅图像摄影以及多重曝光摄影的图。
图2是表示以往的图像取得装置进行1幅图像摄影或多重曝光摄影的动作的流程图。
图3是用于说明以往的图像取得装置进行1幅图像摄影或多重曝光摄影的决定的基准。
图4是表示本发明的一个实施方式所涉及的图像取得装置的模块结构图。
图5是本发明的一个实施方式所涉及的手抖动界限值存储部的一例。
图6是用于说明本发明的一个实施方式相关的图像取得装置中的动作的检测的图。
图7是表示本发明的一个实施方式相关的图像取得装置进行1幅图像摄影或多重曝光摄影的动作的流程图。
图8是表示本发明的一个实施方式相关的整体摄影时间抑制处理的流程图。
图9是表示本发明一个实施方式相关的手抖动界限值算出处理的流程图。
图10是用于说明现有的图像取得装置中的多重曝光摄影的图。
图11是用于说明本发明的一个实施方式相关的图像取得装置中的多重曝光摄影的图。
具体实施方式
(本实施方式所涉及的图像取得装置的结构)
参照图4~图6,对本实施方式所涉及的图像取得装置的结构进行说明。
如图4所示,图像取得装置100包括:透镜110、光圈120、摄像机构130、摄像控制部140、图像处理部150、动作检测/合成部160,用于进行多重曝光摄影以及1幅图像摄影。
这里,所谓的被摄体图像可以是光电转换图像或拍摄图像的任意一种。
所谓光电转换图像是指,经由透镜110和光圈120而被曝光的摄像机构130进行光电转换,蓄积电荷,通过读出所蓄积的电荷而生成的图像。
另外,所谓的摄像图像是指,通过对光电转换图像实施给定的处理而取得的图像。所谓给定的处理例如是去马赛克(demosaic)处理或颜色变换、灰度变换处理或JPEG压缩处理等。
例如,图像取得装置100可以由数码静态照相机(digital still camera)、或拍摄静止图像的数码摄像机(digital video camera))构成。
透镜110构成为使来自被摄体的光曝光于摄像机构130。
光圈120构成为调整摄像机构130中的曝光量。光圈120的开闭程度由光圈值表示。
摄像机构130包括CCD与CMOS等的摄像元件,经由透镜110和光圈120被曝光,进行光电转换,蓄积电荷,通过读出所蓄积的电荷生成光电转换图像。
所谓的帧周期(帧周期Tf)是指,从摄像元件130开始读出所蓄积的电荷起到该光电转换图像生成结束为止的最短期间。
摄像控制部140包括:最佳曝光时间算出部141、手抖动界限值存储部142、摄像方法决定部143、多重曝光摄影控制部144、和手抖动界限值算出部145。
最佳曝光时间算出部141基于与光圈120对应的光圈值、和被摄体的亮度,算出最佳曝光时间Tc。
而且,最佳曝光时间算出部141也可以基于与光圈120对应的光圈值、被摄体的亮度、和ISO灵敏度,算出最佳曝光时间Tc。
这里,所谓的ISO灵敏度是与换算成国际标准化机构ISO所规定的规格(ISO照片灵敏度规格)的值相当的灵敏度。在ISO灵敏度高的情况下,即使最佳曝光时间Tc短,也能够以恰当的曝光状态进行摄影,由此可以防止手抖动。
手抖动界限值存储部142如图5(a)所示,存储了与焦点距离f、最佳曝光时间Tc和基准手抖动阈值CSTH0(f,Tc)(后述)相关联而存储的表(以下称作基准手抖动阈值表)。
手抖动界限值存储部142如图5(b)所示,存储了与焦点距离f、最佳曝光时间Tc和手抖动阈值CSTH(f,Tc)(后述)相关联而存储的表(以下称作手抖动阈值表)。
手抖动界限值存储部142如图5(c)所示,存储了与焦点距离f、最佳曝光时间Tc、和手抖动系数CSL(f,Tc)(后述)相关联而存储的表(以下称作手抖动系数表)。
手抖动界限值存储部142如图5(d)所示,存储了与焦点距离f、手抖动界限值TL相关联而存储的表(以下称作手抖动界限值表)。
这里,所谓的手抖动界限值TL是指,成为决定进行1幅图像摄影或多重曝光摄影的基准值的给定时间。
摄影方法决定部143在最佳曝光时间Tc为手抖动界限值TL以上的情况下,决定进行多重曝光摄影。
摄影方法决定部143参照手抖动界限值存储部142的手抖动界限值表,取得与被摄体摄影时所设定的焦点距离f相关联的手抖动界限值TL。
另外,摄影方法决定部143也可以在最佳曝光时间Tc不足手抖动界限值TL的情况下,决定进行1幅图像摄影。
多重曝光摄影控制部144在多重曝光摄影中,基于最佳曝光时间Tc、和手抖动界限值TL,算出为了取出1幅被摄体图像而需要的1幅图像的曝光时间T1、为了取得合成图像而需要的多幅被摄体图像的合成幅数n、和为了取得该多幅被摄体图像而需要的整体摄影时间To。
而且,多重曝光摄影控制部144也可以在所算出的1幅的曝光时间T1比帧周期Tf短的情况下,基于帧周期Tf,算出整体摄影时间To。
并且,多重曝光摄影控制部144,也可以在所算出的1幅图像的曝光时间T1比帧周期Tf短的情况下,基于帧周期Tf算出的整体摄影时间To比最佳曝光时间Tc长的情况下,延长1幅图像的曝光时间T1,基于该1幅图像的曝光时间T1,算出合成幅数n、整体摄影时间To。
另外,多重曝光摄影控制部144,也可以在所算出的1幅的曝光时间T1比帧周期Tf短,基于帧周期Tf算出的整体摄影时间To比最佳曝光时间Tc长的情况下,将最佳曝光时间Tc作为整体摄影时间To,基于该整体摄影时间To,算出1幅图像的曝光时间T1、合成幅数n。
此外,多重曝光摄影控制部144也可以在多重曝光摄影中,基于在后述的动作检测/合成部160中所检测出的表示动作修正效果的评价值,算出合成幅数n。
这里,所谓的动作修正是指,基于在后述的动作检测/合成部160中所检测的多个被摄体图像之间的动作,来修正多个被摄体图像的位置,以使合成图像不产生抖动。
而且,所谓表示动作修正效果的评价值(k)是指,由光圈值的阶段(段階)表示动作修正效果的评价值。
例如,在对多个被摄体图像(以曝光时间=1/64秒摄影)进行修正而合成的合成图像,具有与被摄体图像(以曝光时间=1/8秒摄影)同等的画质的情况下,修正效果是光圈3个阶段份。该情况下,k为3。
并且,多重曝光摄影控制部144也可以在多重曝光摄影中,基于ISO灵敏度算出合成幅数n。
手抖动界限值算出部145基于焦点距离f、手抖动系数CSL(f,Tc),算出手抖动界限值TL,并存储到手抖动界限值存储部142的手抖动界限值表中。
另外,手抖动界限值算出部145在多重曝光摄影中,基于在多个被摄体图像之间检测出的动作量,更新作为给定系数的手抖动系数CSL(f,Tc)。
具体而言,手抖动系数CSL(f,Tc)参照手抖动界限值存储部142,基于手抖动像素数CSPX(f,Tc)、基准手抖动阈值CSTH0(f,Tc)、手抖动阈值CSTH(f,Tc)被算出,并在手抖动界限值存储部142的手抖动系数表中被更新。
这里,所谓的手抖动像素数CSPX(f,Tc)是指,在多重曝光摄影中由后述的动作检测/合成部160所检测出的动作量。
所谓的基准手抖动阈值CSTH0(f,Tc)是指,在被摄体的摄影时所设定的焦点距离f、在最佳曝光时间Tc中被认定发生了手抖动的动作量的初始值。
所谓的手抖动阈值CSTH(f,Tc)是指,在被摄体的摄影时所设定的焦点距离f、在最佳曝光时间Tc中被认定发生了手抖动的动作量。
而且,手抖动系数CSL(f,Tc)可以基于用于使手抖动系数CSL(f,Tc)变化的给定系数,即增益CSGAIN而被更新。
图像处理部150对在摄像机构130中取得的光电转换图像实施给定的处理,来得到摄影图像。
具体而言,图像处理部150对光电转换图像实施去马赛克处理、颜色变换、灰度变换处理与JPEG压缩处理等,得到摄影图像。
动作检测/合成部160在多重曝光摄影中合成多幅被摄体图像,取得合成图像。
而且,动作检测/合成部160在多重曝光摄影中,检测多幅被摄体图像之间的动作,来检测出动作量。
这里,所谓的动作量(手抖动像素数CSPX(f,Tc))是指,以像素数表示的在多幅被摄体图像之间检测出的动作。
例如,动作量(手抖动像素数CSPX(f,Tc))可以是在多幅被摄体图像之间对水平方向的动作(像素数)和垂直方向的动作(像素数)进行比较,作为大的一方的像素数。
并且,动作检测/合成部160也可以在多重曝光摄影中对多个被摄体之间的动作进行修正,并合成该多幅被摄体图像,来取得合成图像。
例如,如图6所示,动作检测/合成部160在多重曝光摄影中取得如图6(a)和图6(b)所示的被摄体图像,并对两张被摄体图像之间的动作进行修正,合成两张被摄体图像,得到如图6(c)所示的合成图像。
在该情况下,动作检测/合成部160采用特征点提取法等公知的方法,检测出图6(a)和图6(b)的动作。
该情况下如图6(c)所示,由于在图6(a)和图6(b)的被摄体图像之间,水平方向的动作是一个像素,垂直方向的动作是三个像素,所以,手抖动像素数CSPX(f,Tc)是三个像素。
(本发明一个实施方式所涉及的图像取得装置的动作)
下面,参照图7~图9,对本实施方式所涉及的图像取得装置的动作进行说明。
图7是在本实施方式中,图像取得装置100进行1幅图像摄影或多重曝光摄影的处理的流程图。
如图7所示,在步骤S101中,最佳曝光时间算出部141根据对应于光圈120的光圈值、被摄体的亮度,算出最佳曝光时间Tc。
在步骤S102中,摄影方法决定部143参照手抖动界限值存储部142的手抖动界限值表,取得与被摄体摄影时所设定的焦点距离f相关联的手抖动界限值TL。
在步骤S103中,摄影方法决定部143将手抖动界限值TL作为基准值,决定进行1幅图像摄影或者多重曝光摄影。
具体而言,在最佳曝光时间Tc不足手抖动界限值TL的情况下,摄影方法决定部143决定进行1幅图像摄影,本动作进入步骤S104。在最佳曝光时间Tc为手抖动界限值TL以上的情况下,摄影方法决定部143决定进行多重曝光摄影,本动作进入步骤S105。
在步骤S104中,图像取得装置100进行1幅图像摄影。
在步骤S105中,多重曝光摄影控制部144算出在多重曝光摄影中,用于取得一幅被摄体图像而需要的1幅的曝光时间T1。具体而言,1幅的曝光时间T1设定为手抖动界限值TL以下。
在步骤S106中,多重曝光摄影控制部144算出在多重曝光摄影中,用于取得合成图像所需要的多幅被摄体图像的合成幅数n。例如,合成幅数n使用“合成幅数n=最佳曝光时间Tc/(1幅的曝光时间TI×S)”而算出。
这里,上述公式中的S是决定ISO灵敏度的增益(灵敏度)。如果决定ISO灵敏度的增益变大,则ISO灵敏度增高,在上述的公式中,合成幅数n减小。
在步骤S107中,多重曝光摄影控制部144比较合成幅数n与合成幅数n的上限值。
例如,合成幅数n的上限值可以使用上述的表示修正效果的评价值k,设定为2k
合成幅数n为上限值以下的情况下,本动作进入步骤S109。合成幅数n比上限值大的情况下,本动作进入步骤S108。
在步骤S108中,多重曝光摄影控制部144进行合成幅数n抑制处理,再次算出合成幅数n、1幅的曝光时间T1。
具体而言,合成幅数n使用“合成幅数n=2k”算出。1幅的曝光时间T1使用“1幅的曝光时间T1=最佳曝光时间Tc/2k”算出。
在步骤S109中,多重曝光摄影控制部144对1幅的曝光时间T1和帧周期Tf进行比较。
在1幅的曝光时间T1为帧周期Tf以上的情况下,本动作进入步骤S110。在1幅的曝光时间T1不足帧周期Tf的情况下,本动作进入步骤S111。
在步骤S110中,多重曝光摄影控制部144算出在多重曝光摄影中,用于取得多幅被摄体图像所需要的整体摄影时间To。具体而言,整体摄影时间To使用“整体摄影时间To=1幅的曝光时间T1×合成幅数n”算出,与最佳曝光时间Tc相等。
在步骤S111中,多重曝光摄影控制部144基于帧周期Tf算出整体摄影时间To。具体而言,整体摄影时间To使用“整体摄影时间To=帧周期Tf×合成幅数n”算出。
在步骤S112中,多重曝光摄影控制部144对步骤S111中算出的整体摄影时间To和最佳曝光时间Tc进行比较。
在整体摄影时间To为最佳曝光时间Tc以下时,本动作进入步骤S114。在整体摄影时间To不足最佳曝光时间Tc时,本动作进入步骤S113。
在步骤S113中,多重曝光摄影控制部144进行整体摄影时间To抑制处理。具体如下所述。
图8是本实施方式中的整体摄影时间To抑制处理的流程图。
如图8所示,在步骤S201中,多重曝光摄影控制部144决定优先算出1幅图像的曝光时间T1或优先算出整体摄影时间To。
在多重曝光摄影控制部144算出1幅的曝光时间T1,并基于该1幅的曝光时间T1算出合成幅数n与整体摄影时间To时,本动作进入步骤S202。在多重曝光摄影控制部144算出整体摄影时间To,并基于该整体摄影时间T0算出1幅的曝光时间T1与合成幅数n时,本动作进入步骤S206。
在步骤S202中,多重曝光摄影控制部144延长1幅的曝光时间T1。
具体而言,1幅的曝光时间T1使用“1幅的曝光时间T1=手抖动界限值TL×系数C”算出。
系数C是用于延长1幅的曝光时间T1、将整体摄影时间To抑制为最佳曝光时间Tc左右的系数。例如,系数C可以设定为4。
在步骤S203中,多重曝光摄影控制部144对在步骤S202中算出的1幅的曝光时间T1与帧周期Tf进行比较。
在1幅的曝光时间T1为帧周期Tf以下时,本动作进入步骤S205。在1幅的曝光时间T1比帧周期Tf大时,本动作进入步骤S204。
在步骤S204中,多重曝光摄影控制部144使得“1幅的曝光时间T1=帧周期Tf”。
在步骤S205中,多重曝光摄影控制部144基于重新算出的1幅的曝光时间T1,算出合成幅数n与整体摄影时间To。
具体而言,合成幅数n使用“合成幅数n=最佳曝光时间Tc×1幅的曝光时间T1”算出。整体摄影时间To使用“整体摄影时间To=帧周期Tf×合成幅数n”算出。
在步骤S206中,多重曝光摄影控制部144设为“整体摄影时间To=最佳曝光时间Tc”。
在步骤S207中,多重曝光摄影控制部144基于重新算出的整体摄影时间To,算出1幅的曝光时间T1与合成幅数n。
具体而言,1幅的曝光时间T1设定为“1幅的曝光时间T1=帧周期Tf”。合成幅数n使用“合成幅数n=最佳曝光时间Tc/1幅的曝光时间T1”算出。
在图7的步骤S114中,图像取得装置100根据所算出的1幅的曝光时间T1、合成幅数n与整体摄影时间To,进行多重曝光摄影。
在步骤S115中,手抖动界限值算出部145进行手抖动界限值TL算出处理。具体如下所述。
图9是在本实施方式中,手抖动界限值TL算出处理的流程图。
如图9所示,在步骤S301中,手抖动界限值算出部145取得由动作检测/合成部160所检测的动作量,即手抖动像素数CSPX(f,Tc)。
在步骤S302中,手抖动界限值算出部145参照手抖动界限值存储部142的基准手抖动阈值表,取得与焦点距离f、最佳曝光时间Tc相关联的基准手抖动阈值CSTH0(f,Tc)。
而且,手抖动界限值算出部145参照手抖动界限值存储部142的手抖动系数表,取得与焦点距离f、最佳曝光时间Tc相关联的手抖动系数CSL(f,Tc)。
并且,手抖动界限值算出部145算出手抖动阈值CSTH(f,Tc),将焦点距离f、最佳曝光时间Tc和所算出的手抖动阈值CSTH(f,Tc)相关联地存储到手抖动界限值存储部142的手抖动阈值表中。
具体而言,手抖动阈值CSTH(f,Tc)使用“手抖动阈值CSTH(f,Tc)=基准手抖动阈值CSTh0(f,Tc)×手抖动系数CSL(f,Tc)”算出。
在步骤S303中,手抖动界限值算出部145对手抖动像素数CSPX(f,Tc)和手抖动阈值CSTH(f,Tc)进行比较。
在手抖动像素数CSPX(f,Tc)为手抖动阈值CSTH(f,Tc)以上的情况下,本动作进入步骤S304。在手抖动像素数CSPX(f,Tc)不足手抖动阈值CSTH(f,Tc)的情况下,本动作进入步骤S305。
在步骤S304中,手抖动界限值算出部145将正数的CSGP设定为增益CSGAIN。
在步骤S305中,手抖动界限值算出部145将正数的CSMP设定为增益CSGAIN。
这里,所谓的增益CSGAIN是指用于调整手抖动系数CSL(f,Tc)的给定系数。例如,可以将CSGP设定得比CSMP大。
在步骤S306中,手抖动界限值算出部145算出手抖动系数CSL(f,Tc),并在手抖动界限值存储部142的手抖动系数表中,相关联地更新焦点距离f、最佳曝光时间Tc和手抖动系数CSL(f,Tc)。
具体而言,手抖动系数CSL(f,Tc)根据“手抖动系数CSL(f,Tc)+=增益CSGAIN×{手抖动像素数CSPX(f,Tc)-手抖动阈值CSTH(f,Tc)}”计算。
通过使用上述的公式,手抖动界限值算出部145可以根据手抖动像素数CSPX(f,Tc)和手抖动阈值CSTH(f,Tc)的像素数之差,使手抖动系数CSL(f,Tc)增减。
这里,手抖动系数CSL(f,Tc)的初始值为1.0。
在步骤S307中,手抖动界限值算出部145算出手抖动界限值TL,并将焦点距离f与手抖动界限值TL相关联地存储到手抖动界限值存储部142的手抖动界限值表中。
具体而言,手抖动界限值TL使用“手抖动界限值TL=(I/f)/手抖动系数CSL(f,Tc)”算出。
接着,表示图9所示的手抖动界限值TL算出处理的一个例子。
下面,设定焦点距离为f,基准手抖动阈值为CSTH0(f,Tc),手抖动阈值为CSTH(f,Tc),手抖动系数为CSL(f,Tc),手抖动像素数为CSPX(f,Tc),增益为CSGAIN。
例如,在f为60mm、Tc为1/60秒、CSTH0(60,1/60)为5个像素、CSL(60,1/60)为1.0、TL为1/60秒的情况下,通过动作检测而算出的CSPX(60,1/60)为10个像素。
该情况下,在步骤S302中,CSTH(60,1/60)被算出为5×1.0=5(像素)。
在步骤S303中,由于CSPX(60,1/60)=10比CSTH(60,1/60)=5大,所以在步骤S304中,例如CSGP=0.1被设定为CSGAIN。
在步骤S306中,CSL(60,1/60)算出为1.0+0.1×(10-5)=1.5。
在步骤S307中,CSL(60,1/60)算出为(1/60)/1.5=1/90。
结果,通过CSL(60,1/60)从1.0更新为1.5,使得手抖动界限值TL从1/60(秒)变为1/90(秒),由此,当在下一次的摄影中,最佳曝光时间Tc为1/90秒以上时,进行多重曝光摄影。
通过反复执行上述的动作,手抖动界限值TL会收敛为用户手抖动的曝光时间。
(以往的图像取得装置与本发明的一个实施方式相关的图像取得装置的比较)
下面,参照图10以及图11,对多重曝光摄影时的手抖动防止效果,将以往的图像取得装置与本发明的一个实施方式相关的图像取得装置进行比较来说明。
下面,将1幅的曝光时间T1设定为T1-a(秒)、T1-b(秒)、T1-c(秒)、T1-d(秒)。帧周期Tf设定为Tf(秒)。最佳曝光时间Tc设定为Tc(秒)。整体摄影时间To设定为To-a(秒)、To-b(秒)、To-c(秒)、To-d(秒)。合成幅数n设定为n(幅)。
图10是表示以往的图像取得装置中的多重曝光摄影的图。
如图10(a)所示,在以往的图像取得装置中,当在多重曝光摄影中1幅的曝光时间T1-a比帧周期Tf短时,整体摄影时间To-a变长。
该情况下,由于整体摄影时间To-a与最佳曝光时间Tc相比变得非常得长,所以容易产生手抖动。
如图10(b)所示,在以往的图像取得装置中,如果抑制整体摄影时间To-b,则1幅的曝光时间T1-b变长。
该情况下,由于1幅的曝光时间T1-b变长,所以,容易产生手抖动。
图11是表示本发明的一个实施方式相关的图像取得装置中的多重曝光摄影的图。
在本发明的一个实施方式所涉及的图像取得装置中,当在多重曝光摄影中1幅的曝光时间T1-c以及1幅的曝光时间T1-d比帧周期Tf短、整体摄影时间To-c以及整体摄影时间To-d比最佳曝光时间Tc长时,如下所述那样抑制整体摄影时间To-c以及整体摄影时间To-d。
如图11(a)所示,在1幅的曝光时间T1-c被优先算出的情况下,1幅的曝光时间T1-c不会变得过长,并且整体摄影时间To-c也被抑制。
该情况下,由于1幅的曝光时间T1-c短,所以可以防止手抖动。而且,与图10(a)所示的以往的图像取得装置中的整体摄影时间To-a相比,整体摄影时间To-c也非常短,所以,难以产生手抖动。
另外,如图11(b)所示,在整体摄影时间To-d被优选算出的情况下,整体摄影时间To-d变得与最佳曝光时间Tc相等。
该情况下,由于整体摄影时间To-d被抑制,所以,难以产生手抖动。而且,由于和图10(b)所示的以往的图像取得装置中的1幅的曝光时间T1-b相比,1幅的曝光时间T1-d也较短,所以,难以产生手抖动。
(本发明的一个实施方式所涉及的图像取得装置的作用/效果)
根据本实施方式所涉及的图像取得装置,由于在每次多重曝光摄影时,基于多个被摄体图像之间的动作(手抖动),能够变更将1幅图像摄影切换为多重曝光摄影的手抖动界限值TL,所以,能够根据手抖动的产生,随机地将1幅图像摄影切换为多重曝光摄影。
根据本实施方式所涉及的图像取得装置,由于可以通过算出合成幅数n的上限值,限制合成幅数n,所以,能够防止因合成幅数n的增加而导致合成图像的画质降低。
根据本实施方式所涉及的图像取得装置,即使在多重曝光摄影中,1幅的曝光时间T1比帧周期Tf短的情况下,也可以通过以1幅的曝光时间T1不变得过长、且抑制了整体摄影时间To的方式进行算出,防止因长的1幅的曝光时间T1而引起的手抖动。
根据本实施方式所涉及的图像取得装置,由于即使在多重曝光摄影中,1幅的曝光时间T1比帧周期Tf短的情况下,也可以抑制整体摄影时间To,所以,可以防止因长的整体摄影时间To而引起的手抖动。
(其他的实施方式)
本发明通过上述实施方式进行了叙述,但是,构成该公开的一部分的论述以及附图不应理解为对本发明的限定。由该公开内容,本行业人员可以明白各种的替代实施方式、实施例以及运用技术。
这样,本发明当然包括这里未记载的各种实施方式。因此,本发明的技术范围仅由从上述说明得出的适当的专利请求范围所涉及的发明特定事项而确定。

Claims (7)

1、一种图像取得装置,使用经由透镜和光圈而被曝光的摄像机构取得被摄体图像,并使用该被摄体图像进行多重曝光摄影,
所述图像取得装置具备:
曝光时间算出部,其基于与所述光圈对应的光圈值和所述被摄体的亮度算出所述摄像机构的曝光时间;
给定时间算出部,其基于所述透镜的焦点距离和给定系数算出给定时间;
摄影方法决定部,其在所述曝光时间为所述给定时间以上的情况下,决定进行所述多重曝光摄影,其取得多幅被摄体图像,通过合成该多幅被摄体图像,取得所述被摄体的合成图像;
动作检测部,其在所述多重曝光摄影中检测所述多幅被摄体图像之间的动作;和
给定系数算出部,其基于所检测的动作量更新给定系数。
2、根据权利要求1所述的图像取得装置,其特征在于,
具备多重曝光摄影控制部,其在所述多重曝光摄影中,基于所述曝光时间和所述给定时间,算出用于取得1幅被摄体图像所需要的1幅的曝光时间、用于取得所述合成图像所需要的所述多幅被摄体图像的合成幅数、和为了取得所述多幅被摄体图像而需要的整体摄影时间。
3、根据权利要求2所述的图像取得装置,其特征在于,
所述多重曝光摄影控制部通过表示所述动作修正效果的评价值,算出所述合成幅数的上限值,并基于该上限值算出所述合成幅数。
4、根据权利要求2或3所述的图像取得装置,其特征在于,
所述多重曝光摄影控制部在所述1幅的曝光时间比帧周期短的情况下,基于所述帧周期算出所述整体摄影时间。
5、根据权利要求4所述的图像取得装置,其特征在于,
所述多重曝光摄影控制部在所述1幅的曝光时间比所述帧周期短且基于所述帧周期算出的所述整体摄影时间比所述曝光时间长的情况下,延长所述1幅的曝光时间,基于该1幅的曝光时间算出所述合成幅数与所述整体摄影时间。
6、根据权利要求4所述的图像取得装置,其特征在于,
所述多重曝光摄影控制部在所述1幅的曝光时间比所述帧周期短且基于所述帧周期算出的所述整体摄影时间比所述曝光时间长的情况下,将所述曝光时间设为所述整体摄影时间,并基于该整体摄影时间算出所述1幅的曝光时间和所述合成幅数。
7、一种程序,使用经由透镜和光圈而被曝光的摄像元件而取得被摄体图像,并使用该被摄体图像进行多重曝光摄影,其特征在于,
所述程序使计算机执行以下步骤,即:
基于与所述光圈对应的光圈值和所述被摄体的亮度,算出所述摄像机构的曝光时间的步骤;
基于所述透镜的焦点距离和给定系数算出给定时间的步骤;
在所述曝光时间为所述给定时间以上的情况下,决定进行所述多重曝光摄影的步骤,该多重曝光摄影取得多幅被摄体图像,通过合成该多幅被摄体图像,取得所述被摄体的合成图像;
在所述多重曝光摄影中检测出所述多幅被摄体图像之间的动作的步骤;和
基于所检测出的动作量更新给定系数的步骤。
CN2006101389417A 2005-09-30 2006-09-20 图像取得装置 Expired - Fee Related CN1941851B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005287820 2005-09-30
JP2005-287820 2005-09-30
JP2005287820A JP4357471B2 (ja) 2005-09-30 2005-09-30 画像取得装置及びプログラム

Publications (2)

Publication Number Publication Date
CN1941851A true CN1941851A (zh) 2007-04-04
CN1941851B CN1941851B (zh) 2012-07-04

Family

ID=37902060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006101389417A Expired - Fee Related CN1941851B (zh) 2005-09-30 2006-09-20 图像取得装置

Country Status (3)

Country Link
US (1) US20070077055A1 (zh)
JP (1) JP4357471B2 (zh)
CN (1) CN1941851B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100438579C (zh) * 2005-11-04 2008-11-26 索尼株式会社 摄像装置及摄像方法
CN100464572C (zh) * 2007-07-25 2009-02-25 北京中星微电子有限公司 一种图像合成方法和装置
CN102244730A (zh) * 2010-05-14 2011-11-16 卡西欧计算机株式会社 摄像装置及手抖动修正方法
CN101588453B (zh) * 2008-05-19 2013-05-01 三洋电机株式会社 图像处理装置、拍摄装置及图像处理方法
CN103259972A (zh) * 2012-02-17 2013-08-21 佳能企业股份有限公司 影像处理方法及成像装置
CN104580905A (zh) * 2014-12-31 2015-04-29 广东欧珀移动通信有限公司 一种拍照方法及终端
CN105282455A (zh) * 2014-06-20 2016-01-27 宇龙计算机通信科技(深圳)有限公司 一种拍照方法、装置及移动终端
CN110266976A (zh) * 2014-04-28 2019-09-20 三星电子株式会社 图像处理装置和具有该图像处理装置的移动计算装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4022152B2 (ja) * 2003-01-29 2007-12-12 株式会社リコー 撮像装置
JP4507855B2 (ja) * 2004-11-25 2010-07-21 ソニー株式会社 撮影装置の制御方法および制御装置、並びに制御プログラム
US7982775B2 (en) * 2007-08-02 2011-07-19 Texas Instruments Incorporated Method and apparatus for motion stabilization
JP4989524B2 (ja) * 2008-03-07 2012-08-01 三洋電機株式会社 電子カメラ
JP2010063088A (ja) * 2008-08-08 2010-03-18 Sanyo Electric Co Ltd 撮像装置
US8248481B2 (en) * 2009-04-08 2012-08-21 Aptina Imaging Corporation Method and apparatus for motion artifact removal in multiple-exposure high-dynamic range imaging
JP2015109503A (ja) * 2013-12-03 2015-06-11 ソニー株式会社 イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム
US20150304562A1 (en) * 2014-04-22 2015-10-22 Samsung Electro-Mechanics Co., Ltd. Imaging apparatus and control method thereof
WO2015168058A1 (en) * 2014-04-28 2015-11-05 Lynx System Developers, Inc. Systems and methods for processing event timing images
CN105556957B (zh) * 2014-08-27 2018-06-26 华为技术有限公司 一种图像处理方法、计算机存储介质、装置及终端
KR102207633B1 (ko) * 2014-11-27 2021-01-26 삼성전자주식회사 촬영 장치 및 그 제어 방법
CN107613190B (zh) * 2016-07-11 2020-11-03 中兴通讯股份有限公司 一种拍照方法及终端
US10750099B2 (en) * 2018-10-17 2020-08-18 Primesensor Technology Inc. Image sensing method and image sensing system
JP2020184669A (ja) * 2019-05-07 2020-11-12 シャープ株式会社 画像処理装置、撮像装置、画像処理方法、プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2692053B2 (ja) * 1990-04-27 1997-12-17 キヤノン株式会社 像ブレ防止装置及び該装置に適用される装置
US5237365A (en) * 1990-10-15 1993-08-17 Olympus Optical Co., Ltd. Exposure control apparatus for camera with shake countermeasure
JP2000069352A (ja) * 1998-08-26 2000-03-03 Konica Corp 画像入力方法及び画像入力装置
JP2000224470A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
US6775420B2 (en) * 2000-06-12 2004-08-10 Sharp Laboratories Of America, Inc. Methods and systems for improving display resolution using sub-pixel sampling and visual error compensation
US7176962B2 (en) * 2001-03-01 2007-02-13 Nikon Corporation Digital camera and digital processing system for correcting motion blur using spatial frequency
JP4024581B2 (ja) * 2002-04-18 2007-12-19 オリンパス株式会社 撮像装置
WO2004112380A1 (ja) * 2003-06-17 2004-12-23 Matsushita Electric Industrial Co., Ltd. 情報生成装置、撮影装置および撮影方法
JP4350616B2 (ja) * 2004-08-24 2009-10-21 キヤノン株式会社 撮像装置及びその制御方法
JP2006157568A (ja) * 2004-11-30 2006-06-15 Konica Minolta Holdings Inc 撮像装置およびプログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100438579C (zh) * 2005-11-04 2008-11-26 索尼株式会社 摄像装置及摄像方法
CN100464572C (zh) * 2007-07-25 2009-02-25 北京中星微电子有限公司 一种图像合成方法和装置
CN101588453B (zh) * 2008-05-19 2013-05-01 三洋电机株式会社 图像处理装置、拍摄装置及图像处理方法
CN102244730A (zh) * 2010-05-14 2011-11-16 卡西欧计算机株式会社 摄像装置及手抖动修正方法
CN102244730B (zh) * 2010-05-14 2014-06-18 卡西欧计算机株式会社 摄像装置及手抖动修正方法
CN103259972A (zh) * 2012-02-17 2013-08-21 佳能企业股份有限公司 影像处理方法及成像装置
CN110266976A (zh) * 2014-04-28 2019-09-20 三星电子株式会社 图像处理装置和具有该图像处理装置的移动计算装置
US11159758B2 (en) 2014-04-28 2021-10-26 Samsung Electronics Co., Ltd. Image processing device and mobile computing device having the same
CN110266976B (zh) * 2014-04-28 2021-11-23 三星电子株式会社 图像处理装置和具有该图像处理装置的移动计算装置
US11477409B2 (en) 2014-04-28 2022-10-18 Samsung Electronics Co., Ltd. Image processing device and mobile computing device having the same
CN105282455A (zh) * 2014-06-20 2016-01-27 宇龙计算机通信科技(深圳)有限公司 一种拍照方法、装置及移动终端
CN105282455B (zh) * 2014-06-20 2018-06-19 宇龙计算机通信科技(深圳)有限公司 一种拍照方法、装置及移动终端
CN104580905A (zh) * 2014-12-31 2015-04-29 广东欧珀移动通信有限公司 一种拍照方法及终端

Also Published As

Publication number Publication date
JP2007104029A (ja) 2007-04-19
JP4357471B2 (ja) 2009-11-04
US20070077055A1 (en) 2007-04-05
CN1941851B (zh) 2012-07-04

Similar Documents

Publication Publication Date Title
CN1941851A (zh) 图像取得装置以及程序
CN1275456C (zh) 电子摄像机
CN1929561A (zh) 图像捕获设备和图像捕获方法
CN1977526A (zh) 图像捕捉方法和图像捕捉设备
CN1909603A (zh) 图像处理方法和摄像设备
CN1744675A (zh) 图像输入装置
CN101076085A (zh) 图像捕获方法和装置以及使用该装置的电子装置
CN1878246A (zh) 图像处理装置和图像拍摄装置
CN1928692A (zh) 具有多个摄像元件的照相机装置
CN1574899A (zh) 图像处理装置、图像摄取装置和程序
CN1798264A (zh) 摄像装置及其控制方法
CN1961571A (zh) 摄像装置和信号处理方法
CN101031032A (zh) 图像拾取设备、曝光控制方法、及计算机程序
CN1848923A (zh) 控制装置,控制方法,计算机程序及照相机
CN1678033A (zh) 摄像装置及其控制方法及程序及存储介质
CN1929562A (zh) 闪烁减少方法、闪烁减少电路和图像拾取装置
CN1977527A (zh) 图像获取装置和图像拍摄方法
CN1469184A (zh) 自动聚焦装置及图像输入装置
CN1738364A (zh) 图像摄取设备及其控制方法
CN1941918A (zh) 摄像装置以及摄像方法
CN1871847A (zh) 信号处理系统、信号处理方法以及信号处理程序
CN1770829A (zh) 固态图像拾取元件的信号处理设备和方法及图像拾取设备
CN1867047A (zh) 图像处理设备和方法及程序
CN1798263A (zh) 摄像装置和控制方法
CN1731269A (zh) 摄像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120704

Termination date: 20130920