CN101137012B - 拍摄装置和方法 - Google Patents
拍摄装置和方法 Download PDFInfo
- Publication number
- CN101137012B CN101137012B CN2007101297693A CN200710129769A CN101137012B CN 101137012 B CN101137012 B CN 101137012B CN 2007101297693 A CN2007101297693 A CN 2007101297693A CN 200710129769 A CN200710129769 A CN 200710129769A CN 101137012 B CN101137012 B CN 101137012B
- Authority
- CN
- China
- Prior art keywords
- mentioned
- image
- parameter
- scene
- detecting unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种拍摄装置和方法。在从拍摄状况发生变化的图像中检测对象物的拍摄装置中,提高对象物的检测性能。在进行从拍摄后的图像中检测对象物的对象物检测处理时,判别图像的场景是否为逆光、夜景、水中的任一种,与该判别结果对应而控制对象物检测处理中使用的参数。
Description
技术领域
本发明涉及一种通过拍摄取得图像的数字照相机等拍摄装置。
背景技术
在数字照相机或数字摄像机等拍摄装置中,在对人物等对象物进行拍摄的情况下,为了进行适于拍摄的焦点、曝光等设定,同时对拍摄后的图像中的对象物实施各种图像处理,希望从拍摄后的图像(被摄体图像)中检测出对象物。
上述的通过拍摄装置而被拍摄的图像由于拍摄条件并不总是恒定,所以在专利文献1中提出一种方法,其在从对象图像中检测出与面部的模板图像的相关值大于或等于设定阈值的位置作为面部区域时,与对象图像的亮度对应而通过使相关值的设定阈值变化,由此提高面部的检测性能。
专利文献1:特开2005-004287号
发明内容
但是,在与亮度对应而使相关值的设定阈值变化的专利文献1中提出的方法中,无法充分地对应各种拍摄条件的变化,存在其检测性能不高的情况。
本发明就是为了解决上述问题而提出的,其目的在于,提供一种拍摄装置,其对应各种拍摄条件的变化,进一步提高其检测功能。
本发明的拍摄装置的特征在于,具有:对象物检测单元,其进行从拍摄后的图像中检测对象物的对象物检测处理;场景判别单元,其判别上述图像的场景是否为逆光、夜景、水中的任一种;以及参数控制单元,其与该场景判别单元的判别结果对应,控制上述对象物检测处理中使用的参数。
此外,所谓参数,是指对象检测处理单元中使用的辅助变量。例如,可以是包括对象物检测单元使用的轮廓校正中的轮廓校正程度、对象物检测单元使用的噪声降低中的噪声降低程度、对象物检测单元使用的伽玛校正中的伽玛曲线值中的任一个或一个以上的数值等。
此外,在上述装置中,对象物检测单元也可以使用多个不同值的参数从图像中检测对象物,综合检测结果而作为对象物检测结果,该多个不同值的参数包括由参数控制单元变更的变更后的参数。
此外,也可以是参数控制单元,在由对象物检测单元通过参数没有检测出对象物时,变更上述参数。
此外,也可以是具有判断图像场景的场景判别单元,参数控制单元与场景判别单元的判断结果对应而控制参数。
此外,场景判别单元也可以通过逆光判定、曝光判定、亮度判定、噪声判定的任一个或一个以上的判定处理进行判断。
另外,图像的场景是指例如逆光、夜景、水中等对检测对象物带来影响的图像的状况。
此外,参数控制单元也可以与对象物检测单元进行对象物检测处理的对图像进行拍摄的定时或进行上述对象物处理的定时对应而使参数的控制方法变化。另外,所谓的对象物检测处理并不限于检测主体,也可以包括在进行检测主体之前对对象图像执行的各种前期处理。
本发明的拍摄方法的特征在于,进行从拍摄后的图像中检测对象物的对象物检测处理,判别上述图像的场景是否为逆光、夜景、水中的任一种,与判断该场景的步骤的判别结果对应,控制上述对象物检测处理中使用的参数。
发明的效果
根据本发明的拍摄装置,由于具有进行从拍摄后的图像中检测对象物的对象物检测处理的对象物检测单元和控制对象物检测处理使用的参数的参数控制单元,所以即使拍摄状况发生变化,也能够变化为适于在该拍摄状况下拍摄的图像中进行检测处理的参数,所以能够提高对象物的检测性能。
在上述装置中,在对象物检测单元使用包括由参数控制单元变更的变更后参数的多个不同值的参数而从图像中检测对象物,集中上述检测结果作为对象物检测结果的情况下,能够进一步提高对象物的检测精度。
在上述装置中,在参数控制单元在由对象物检测单元通过该参数没有检测出对象物时变更参数的情况下,通过使用变更后的参数进行检测处理,能够提高对象物的检出率。
在上述装置中,在具有判断图像场景的场景判别单元,参数控制单元与场景判别单元的判断结果对应而控制参数的情况下,由于能够基于场景的判断结果而高效地决定适于在该图像中进行检测处理的参数,所以能够提高检测效率。
另外,在参数控制单元与对象物检测单元进行对象物检测处理的图像进行拍摄的定时或进行上述对象物处理的定时对应而使参数的控制方法变化的情况下,能够基于图像被拍摄时的定时信息而高效地决定适于在该图像中进行检测处理的参数。
附图说明
图1是作为本发明的拍摄装置的一个实施方式的数字照相机的以背面为中心的斜视图。
图2是作为本发明的拍摄装置的一个实施方式的数字照相机的以前面为中心的斜视图。
图3是表示作为本发明的拍摄装置的一个实施方式的数字照相机结构的框图。
图4是表示由对象检测部80进行对象物检测处理的框图(其1)。
图5是用于说明场景判别部82的逆光判断处理的图。
图6是用于说明场景判别部82的逆光判断处理的图。
图7是表示计算与逆光程度对应的增益值的处理的流程图。
图8是表示通过参数控制部84,对实况图像的对象物检测处理-中使用的参数控制处理的流程图。
图9是表示通过参数控制部84,对预图像的对象物检测处理中使用的参数控制处理的流程图。
图10是表示通过参数控制部84,对主图像的对象物检测处理中使用的参数控制处理的流程图。
图11是表示由对象检测部进行对象物检测处理的框图(其2)。
图12是表示由对象检测部进行对象物检测处理的框图(其3)。
图13是表示由对象检测部进行对象物检测处理的框图(其4)。
具体实施方式
下面,参照附图说明本发明的实施方式。图1是作为本发明的拍摄装置的一个实施方式的数字照相机1的以背面为中心的斜视图。如图1所示,在该数字照相机1的背面,作为用于由拍摄者操作的界面,具有动作模式开关11、菜单/确认按钮12、变焦/上下操作杆13、左右按钮14、返回按钮15、显示切换按钮16,此外还具有取景器17和液晶显示器18。另外,在上表面具有快门按钮19。图2是实施方式1的数字照相机1的以前面为中心的斜视图。如图2所示,在前表面上设有镜头20、镜头盖21、电源开关22、取景窗23、闪光灯24、自拍计时灯25及AF辅助光26,在侧面设有介质插槽。
动作模式开关11是用于切换静止图像拍摄模式、动画拍摄模式及再现模式这各动作模式的滑动开关。
菜单/确认按钮12是用于通过被按下而将用于设定拍摄模式、闪光灯发光模式、存储像素数或感光度等的各种菜单显示在液晶显示器18中,或确定基于在液晶显示器18中显示的菜单的选择·设定的按钮。另外,通过菜单/确认按钮12,能够将拍摄模式设定为自动模式及手动模式,该自动模式用于全部自动地设定曝光及白平衡,该手动模式用于由手动设定。
变焦/上下操作杆13是用于通过向上下方向推动操作杆,在拍摄时进行长焦/广角的调整,在进行各种设定时使显示在液晶显示器18中的菜单画面的光标上下移动的操作杆。
左右按钮14是用于在进行各种设定时,使显示在液晶显示器18中的菜单画面中的光标左右移动的按钮。
返回按钮15是用于通过被按下而中止各种设定操作,在显示器18中显示上一个画面的按钮。
显示切换按钮16是用于通过被按下而切换液晶显示器18的显示内容的显示/不显示,各种指示显示、文字显示的显示/不显示等的按钮。
取景器17是用于使用户在对被摄体进行拍摄时,为了进行构图或对焦而进行观察的部件。从取景器17看到的被摄体图像,是经由取景窗23而观察到的。
通过上述说明的各按钮、操作杆的操作而设定的内容,可以通过液晶显示器18中的显示或取景器内的灯、滑动杆的位置等确认。
液晶显示器18除了在拍摄时显示用于确认被摄体的实况图像而作为电子显示取景器之外,还进行拍摄后的静止图像或动画的再现显示、各种设定菜单的显示。
快门按钮19是2级按压的按钮。通过用户半按压快门按钮19,进行自动曝光调整、自动焦点调整等各种拍摄准备处理。如果在该状态下完全按下快门按钮19,则基于确定的曝光、对焦位置进行拍摄,将显示在液晶显示器18上的图像作为拍摄图像存储。
拍摄镜头20用于使被摄体的图像在规定的成像面上(位于数字照相机1内部的CCD等)成像,由对焦镜头或变焦镜头等构成。镜头盖21在数字照相机1的电源处于关闭状态时或处于再现模式时,覆盖拍摄镜头20的表面,保护拍摄镜头不会被污物或灰尘影响。电源开关22是用于切换数字照相机1电源的接通/断开的开关。闪光灯24用于在快门按钮10被按下而位于数字照相机1内部的快门打开的期间,对被摄体瞬间地照射拍摄所需要的光。自拍计时灯25用于在由自拍计时器进行拍摄时,向被摄体通知快门的开闭定时。
图3是表示数字照相机1的功能结构的概略框图。如图3所示的数字照相机1,将通过拍摄取得的图像数据,变换成Exif格式的图像文件,存储在可拆卸地安装在主体上的外部存储介质70中。
作为该数字照相机的操作系统,具有:上述的动作模式开关11;菜单/确定按钮12;变焦/上下操作杆13;左右按钮14;返回按钮15;显示切换按钮16;快门按钮19;电源开关22;以及作为接口部分的操作系统控制部74,其用于将上述开关类的操作内容传递至CPU75。
作为光学系统,具有对焦镜头20a及变焦镜头20b。上述各镜头的结构为,被由电动机和电动机驱动器构成的对焦镜头驱动部51、变焦镜头驱动部52进行步进驱动,能够沿光轴方向移动。对焦镜头驱动部51基于由AF处理部62输出的对焦驱动量数据而步进驱动对焦镜头20a。变焦镜头驱动部52基于变焦/上下操作杆13的操作量数据,控制变焦镜头20b的步进驱动。
光圈54被由电动机和电动机驱动器组成的光圈驱动部55驱动。该光圈驱动部55基于AE(自动曝光)/AWB(自动白平衡)处理部63输出的光圈值数据,进行光圈54的光圈直径的调整。
快门56是机械快门,被由电动机和电动机驱动器组成的快门驱动部57驱动。快门驱动部57与通过按下快门按钮19产生的信号和从AE/AWB处理部63输出的快门速度数据对应,进行快门56开闭的控制。
在上述光学系统的后方具有作为摄像元件的CCD58。CCD58具有二维地排列多个感光元件的光电面,透过光学系统的被摄体光在该光电面上成像,被光电变换。在光电面的前方配置用于向各像素聚光的微型透镜阵列(未图示)和规则地排列R、G、B各颜色滤色器的彩色滤色器阵列(未图示)。CCD58与由CCD控制部59供给的垂直传送时钟及水平传送时钟同步,将积蓄在每个像素上的电荷一列一列地作为串行模拟拍摄信号输出。在各像素中积蓄电荷的时间,即曝光时间,由从CCD控制部59施加的电子快门驱动信号决定。另外,CCD58由CCD控制部59调整增益,以得到预先设定的大小的模拟拍摄信号。
CCD58输出的图像信号输入至模拟信号处理部60。该模拟信号处理部60由下述部件组成:相关双采样电路(CDS),其去除模拟信号的噪声;自动增益控制器(AGC),其调节模拟信号的增益;以及A/D转换器(ADC),其将模拟信号变换为数字信号。该变换为数字信号的图像数据,是每个像素中具有的R、G、B浓度值的CCD-RAW数据。
定时发生器72产生定时信号,该定时信号输入至快门驱动部57、CCD控制部59、模拟信号处理部60,使快门按钮19的操作和快门56的开闭、CCD58的电荷读取、模拟信号处理60的处理同步。
闪光灯控制部73在拍摄时使闪光灯24发光。具体地说,在闪光灯发光模式为闪光灯打开的情况下,以及在闪光灯发光模式为自动模式的情况中,预图像没有达到规定亮度的情况下,使闪光灯24打开,在拍摄时使闪光灯24发光。另一方面,在闪光灯发光模式为闪光灯关闭的情况下,在拍摄时禁止闪光灯24发光。
另外,闪光灯控制部73基于AF处理部62求出的焦点位置,决定闪光灯24的发光量,以使得焦点位置越远,发光量越大。使该发光量为第1发光量。另外,在使闪光灯24发光而进行拍摄的情况下,在由预拍摄而取得的预图像中包含面部的情况下,将闪光灯24的发光量确定为小于第1发光量的第2发光量。在这里,只要发光量小到不会在面部产生过曝的程度即可,该程度可以通过实验求出。
图像输入控制器61将从模拟信号处理部60输入的CCD-RAW数据写入至帧存储器66。该帧存储器66是对图像数据进行后述的各种数字图像处理(信号处理)时使用的工作存储器,例如,使用与恒定周期的总线时钟信号同步地进行数据传送的SDRAM(SynchronousDynamic Random Access Memory)。
显示控制部71用于将存储在帧存储器66中的图像数据作为实况图像显示在液晶显示器18中,或在再现模式时,将存储在外部存储介质70中的图像数据显示在液晶显示器18中。另外,在选择拍摄模式的期间,以规定间隔由CCD58拍摄实况图像。
AF处理部62及AE/AWB处理部63基于预图像决定拍摄条件。该预图像是指,检测出由半按压快门按钮19产生的半按压信号的CPU75,使CCD58执行预拍摄,其结果,由存储在帧存储器66中的图像数据表示的图像。
AF处理部62基于预图像检测焦点位置,输出对焦驱动量数据(AF处理)。作为焦点位置的检测方式,例如考虑被动方式,即,利用在焦点对准的状态下图像的对比度变高这一特征,检测对焦位置。
AE/AWB处理部63基于预图像测定被摄体的亮度,基于测定出的被摄体的亮度而决定光圈值、快门速度等,将光圈值数据及快门速度数据确定为曝光设定值(AE处理),同时自动调整拍摄时的白平衡(AWB)。另外,在拍摄模式设定为手动模式的情况下,使数字照相机1的用户能够通过手动操作设定曝光及白平衡。另外,在自动设定曝光及白平衡的情况下,用户也可以通过菜单/确定按钮12等操作系统进行指示,手动调整曝光及白平衡。
图像处理部64对主图像的图像数据进行伽玛校正、锐度校正、对比度校正等画质校正处理,以及进行YC处理,该YC处理是将CCD-RAW数据变换为由作为亮度信号的Y数据、作为绿色色差信号的Cb数据及作为红色色差信号的Cr数据组成的YC数据。该主图像是指,在通过完全按下快门按钮19而执行的正式拍摄中,由从CCD58取得并经由模拟信号处理部60、图像输入控制器61而存储在帧存储器66中的图像数据产生的图像。主图像的像素数的上限由CCD58的像素数决定,但能够通过例如精细、普通等设定而变更存储像素数。另一方面,实况图像及预图像的像素数以小于主图像,例如以主图像的1/16左右的像素数读入。
压缩/扩展处理部65对由图像处理部64进行校正·变换处理后的主图像的图像数据,以例如JPEG等压缩形式进行压缩处理,生成图像文件。在该图像文件中,基于Exif格式等,添加存储了拍摄日期时间等附加信息的标签。另外,压缩/扩展处理部65在再现模式的情况下,从外部存储介质70读取被压缩的图像文件,进行扩展处理。扩展后的图像数据输出至液晶显示器18中。
介质控制部67访问外部存储介质70而进行图像文件的写入和读取的控制。
内部存储器68存储在数字照相机1中设定的各种常数及CPU75执行的程序等。
对象物检测部80进行从拍摄后的图像中检测对象物的对象物检测处理,输出其检测结果。该对象物检测处理包括检测主体和进行检测主体前的对对象图像数据实施的各种前期处理,具体地说,如图4所示,输入从模拟信号处理部输出的CCD-RAW数据,对输入的图像数据进行例如瑕疵校正、偏移校正、增益校正、对比度校正、伽玛校正、尺寸校正等数字信号处理作为前期处理,从信号处理后的图像数据中检测与面部的模板图像之间的相关值大于或等于设定阈值的位置,输出该检测主体的检测结果。
另外,对象物检测部80将具有面部所包含的面部特征的区域(例如具有肤色、具有眼镜、具有面部形状)检测作为面部区域。
例如可以使用特开2006-202276号(下面称为参考文献1)的方法。参考文献1的方法,考虑利用基于Adaboost的机器学习方法,即在追踪面部时,对移动矢量、特征点检测等公知的方法或学习数据,在进行采样时逐次地更新权重,将完成的机器最后相对于学习机器加权后进行补充而制作综合学习机器的方法。例如为下述方法:将平均帧模型嵌入实际的面部图像中,在通过将平均帧模型上的各标志位置进行移动,以与从面部检测的图像对应的标志位置一致,由此使平均帧模型变形而构筑面部的帧模型时,通过机器学习方法,使用识别器及相对于各识别器的识别条件(面部的检测判定阈值等),从面部图像中检测表示该标志的点的位置,上述识别器通过对已知为规定标志的多个采样图像中的点的亮度分布和已知不是该标志的多个采样图像中的点的亮度分布进行学习而得到。另外,也可以使用特开2004-334836号(下面称为参考文献2)的方法。参考文献2的方法是一种使用图像数据的特征部分抽取方法的方法,即从图像数据中切取固定大小的图像数据,将各切取图像数据和特征部分图像数据的对照数据进行比较而检测在上述处理对象图像中是否存在上述特征部分图像。另外也可以如特开2007-11970号(下面称为参考文献3)的方法那样,除了人物的面部区域之外,将动物的面部作为特定被摄体进行检测。
上述参考文献1~3均基于面部的检测判定阈值,判断是否为面部。面部的检测判定阈值是表示面部相似度(面部分值)的阈值。另外,面部检测判定阈值还包括与上述的面部模板图像之间的相关值的设定阈值。
另外,对象物检测部80例如由子窗口以多个像素间隔扫描主图像或实况图像的整体图像,生成多个部分图像。也可以是在生成的部分图像中,使用正面面部检测单元及侧面部检测单元,检测正面面部或侧面部的部分图像的方法。
另外,也可以在通过设置检测模式切换单元而切换为检测率模式、错误检测抑制模式、计算速度模式、正面面部检测模式、侧面部检测模式中的某一个时,由参数控制部变更决定侧面部检测单元及正面面部检测单元的检测性能的检测判定阈值,在侧面部检测单元及正面面部检测单元中进行重视各检测模式中的检测性能的面部检测。
另外,对象物检测部80也可以使用特开2007-94633号(下面称为参考文献4)的方法。
对象物检测部80可以从实况图像或图像数据中检测动作矢量。对象物检测部80也可以基于存在动作矢量数较多的规定数的对象物,变更决定检测性能的检测判定阈值,使侧面部检测单元能够进一步发挥作用,从而控制拍摄后的实况图像或图像数据。
另外,对象物检测部80也可以这样控制:基于拍摄后的实况图像或图像数据存在动作矢量数较多的规定数的对象物,变更决定检测性能的检测判定阈值,以使侧面部检测单元能够比正面面部检测单元更有效地发挥作用。
另外,也可以是如图11所示的那样,输入从模拟信号处理部输出的CCD-RAW数据,对输入的图像数据进行例如瑕疵校正、偏移校正、增益校正、对比度校正、伽玛校正、尺寸校正、噪声降低等数字信号处理作为前期处理,从信号处理后的图像数据中检测大于或等于面部的检测判定阈值的位置,输出该检测主体的检测结果。
还可以是如图12所示的那样,输入从模拟信号处理部输出的CCD-RAW数据,对输入的图像数据进行例如瑕疵校正、偏移校正、增益校正、对比度校正、伽玛校正、尺寸校正等(也可以在尺寸校正后进行噪声降低处理)数字信号处理作为前期处理,从信号处理后的图像数据中检测大于或等于面部的检测判定阈值的位置,输出该检测主体的检测结果。
还可以是如图13所示的那样,输入从模拟信号处理部输出的CCD-RAW数据,对输入的图像数据进行例如瑕疵校正、偏移校正、增益校正、对比度校正、伽玛校正、尺寸校正、噪声降低、轮廓校正等数字信号处理作为前期处理,从信号处理后的图像数据中检测大于等于面部的检测判定阈值的位置,输出该检测主体的检测结果。在这里,增益校正中的增益、检测主体中的相关值的设定阈值等上述对象物检测处理中使用的各种参数,通过后述的参数控制部84控制。另外,在该对象物检测处理中使用的参数,与对显示用或存储用图像施加画质校正中使用的参数分别地控制。由此,由于能够对例如逆光程度高的图像提高面部的检测性能,所以即使在面部检测处理的增益校正中使用的增益值充分大,被显示或存储的图像也不会过曝。
另外,也可以是如图12所示,在设定增益校正中的增益时,与从AE/AWB处理部63得到的白平衡校正的增益值对应而通过参数控制部84控制。
场景判别部82对于拍摄后的图像,判断例如逆光、夜景、水中等的该图像的场景。下面参照图5及图6说明作为场景判断处理的一个的逆光判定处理。首先,将规定的大小、例如水平方向的宽度及垂直方向的宽度分别为整体图像的水平方向的宽度和垂直方向的宽度的1/16的长度的矩形区域作为单位测光区域,在图像内规定的逆光判断区域上,对在水平、垂直、斜向(NE、NW)上相邻的2个单位测光区域进行扫描,在该2个单位测光区域中的测光值(亮度)差大于或等于设定阈值的情况下,判断为逆光,同时将测光值之差的最大值作为场景逆光程度输出。另外,也可以同时取得作为测光值之差最大的部分的位置信息,进行输出。
另外,场景判别部82并不限于上述逆光判定处理,也可以是亮度判定处理、根据EV值的判定处理(曝光判定处理)、根据噪声量的判定处理。这些处理,一般如果是阴暗图像或噪声多的图像,则根据对象物检测精度下降而判定是否为阴暗图像。
例如,所谓亮度判定处理,是通过从实况图像或主图像中判定像素值的亮度,判定是否为暗图像。
另外,根据EV值的判定处理,基于作为由光圈值和曝光时间决定的曝光值的EV值,判定是否阴暗。
另外,根据噪声量的判定处理,从CCD-RAW中检测作为拍摄元件的CCD58的固有噪声量,判定噪声量。
参数控制部84与从场景判别部82输出的场景判断结果对应,控制由对象物检测部80进行的对象物检测处理中使用的参数。例如,在由场景判别部82判断为逆光的情况下,如图7所示,计算与场景判别部82输出的逆光程度对应的增益校正中的增益(检测增益)的值(步骤ST1),在预先设定的上限值及下限值的范围内确定(步骤ST2~5)。
另外,并不限于逆光程度,也可以进行与EV值、亮度或噪声降低量的程度对应的判断,也可以计算出与EV值、亮度或噪声降低量的程度对应的增益校正中的增益(检测增益)的值。
另外,参数也可以是包括对象处理单元中使用的噪声降低的噪声降低量的程度、轮廓校正的轮廓校正程度、伽玛校正的伽玛曲线值中的任一个或一个以上的数值。
例如,也可以与逆光程度对应(例如能够判断逆光的情况)而控制参数,以变更伽玛校正的伽玛曲线。
也可以与逆光程度对应(例如能够判断逆光的情况)而控制参数,以使得轮廓校正的轮廓校正程度变强。另外,也可以与亮度的程度对应(例如能够判断阴暗的情况)而控制参数,以使得噪声降低的程度变强。
此外,在轮廓校正的程度中,通过数值或文字设定进行轮廓校正(ON)、不进行轮廓校正(OFF)、以何种程度的值进行轮廓校正。
此外,在噪声降低量的程度中,通过数值或文字设定进行噪声降低(ON)、不进行噪声降低(OFF)、以何种程度的值进行噪声降低。
另外,参数控制部84参考由按下快门按钮19而产生的信号,通过在拍摄的各阶段、即每个进行处理的定时改变控制方法,能够更有效地控制参数。具体地说,在半按压快门按钮19时,仅在即将预拍摄之前的实况图像中使用逆光用增益而检测出面部的情况下,将在该实况图像中的面部检测处理中使用的增益值设定为对预图像进行面部检测处理中使用的增益,另外,将检测主体处理中的相关值阈值设定为预先设定的逆光用阈值。
在基于EV值设定EV值用阈值的情况下,在半按压快门按钮19时,仅在即将预拍摄之前的实况图像中使用EV值用的增益而检测出面部的情况下,将在该实况图像中的面部检测处理中使用的增益值设定为对预图像的面部检测处理中使用的增益,另外,将检测主体的处理中的检测判断阈值设定为预先设定的EV值用阈值。
在基于亮度设定亮度用阈值的情况下,在半按压快门按钮19时,仅在即将预拍摄之前的实况图像中使用亮度用的增益而检测出面部的情况下,将在该实况图像中的面部检测处理中使用的增益值设定为对预图像的面部检测处理中使用的增益,另外,将检测主体处理中的检测判断阈值设定为预先设定的亮度用阈值。
在基于噪声量设定噪声用阈值的情况下,在半按压快门按钮19时,仅在即将预拍摄之前的实况图像中使用噪声用的增益而检测出面部的情况下,将在该实况图像中的面部检测处理中使用的增益值设定为对预图像的面部检测处理中使用的增益,另外,检测主体处理中的检测判断阈值设定为预先设定的噪声用阈值。
此外,在完全按下快门按钮19的情况下,仅在即将预拍摄之前的实况图像中使用逆光用增益而检测出面部,并且在正式拍摄时为自动曝光模式及闪光灯禁止闪光模式的情况下,将在该实况图像中的面部检测处理时使用的增益值设定为对主图像进行面部检测处理中使用的增益,另外,将检测主体的处理中的检测判断阈值(相关值阈值等)设定为预先设定的逆光用阈值。
另外,也可以设定EV值用阈值、亮度用阈值、噪声用阈值,也可以设定为使用多个上述阈值。
CPU75与来自动作模式开关11等的操作系统或AF处理部62等的各种处理部的信号对应而控制数字照相机1的主体各部分。
数据总线76与图像输入控制器61、各种处理部62~65、帧存储器66、介质控制部67、内部存储器68、显示控制部71、对象物检测部80、场景判别部82、参数控制部84及CPU75连接,进行数字图像数据等的存取。
下面,说明上述结构的数字照相机1进行拍摄时进行的处理。首先,CPU75判定数字照相机1的动作模式,在为再现模式的情况下,进行再现处理,将存储在外部存储介质70中的图像数据显示在液晶显示器18中,在动作模式为拍摄模式的情况下,在液晶显示器18中显示实况图像,开始监视是否半按压快门按钮19,同时对实况图像进行对象物检测处理。
图8是表示在由参数控制部84对实况图像进行对象物(面部)检测处理时使用的参数控制处理的流程图。首先,判断未检测出逆光救济模式是否打开(步骤ST11),在未检测出逆光救济模式打开的情况下,将表示连续没有检测出面部的次数的noface_count的值设定为“0”(步骤ST13),取得面部检测结果(步骤ST14),判断是否没有检测出面部(步骤ST15)。在检测出面部的情况下,设定noface_count的值为“0”(步骤ST16),返回步骤ST14,继续进行面部检测处理,但在没有检测出面部的情况下,判定在该检测处理时使用的当前增益是否为顺光用增益(步骤ST17),在不是顺光用增益的情况下,进入后述的步骤ST26。在为顺光用增益的情况下,判定表示连续没有检测出面部的次数的noface_count值,是否大于或等于预先设定的表示没有检测出面部的状态下的通常增益连续使用次数阈值的th_noface_count_std值(步骤ST18)。在步骤ST18为否定的情况下,使noface_count的值递加(步骤ST19),返回步骤ST14。在步骤ST18为肯定的情况下,由场景判别部82进行逆光判定处理(步骤ST20),判断由该场景判别部82输出的逆光程度是否大于或等于设定阈值(步骤ST21)。如果步骤ST21为否定,则返回步骤ST14。在判断逆光程度大于或等于设定阈值的情况下,计算出与从场景判别部82输出的逆光程度对应的逆光用增益的值(步骤ST22),将计算出的增益值设定为逆光用增益的值(步骤ST23)。然后,将检测主体的处理中的相关值阈值设定为预先设定的逆光用阈值(步骤ST24)。将noface_count值设定为“0”(步骤ST25),返回步骤ST14。
另一方面,在步骤ST17中,判定检测处理时使用的当前增益是否为顺光用增益,在不是顺光用增益的情况下,判定表示连续没有检测出面部的次数的noface_count值,是否大于或等于预先设定的表示没有检测出面部的状态下的逆光用增益连续使用次数阈值的th_noface_count_backlight的值(步骤ST26)。在步骤ST26为否定的情况下,使noface_count的值递加(步骤ST27),返回步骤ST14。在步骤ST26为肯定的情况下,将顺光用增益值设定为增益的值(步骤ST28),然后将检测主体处理中的相关值阈值设定为顺光用阈值(步骤ST29),将noface_count值设定为“0”(步骤ST30),返回步骤ST14。
在上述的使用由参数控制处理决定的参数进行对象物检测处理之后,在半按压快门按钮19时,进行预拍摄而取得预图像,同时进行对预图像的对象物检测处理。
图9是表示在由参数控制部84对预图像进行对象物检测处理时使用的参数控制处理的流程图。首先,判定是否在进行预拍摄之前的实况图像中没有检测出面部(步骤ST31)。在检测出面部的情况下,判定在该进行预拍摄之前的实况图像中进行检测处理时使用的增益值是否是顺光用增益(步骤ST32),在不是顺光用增益的情况下,将增益值设定为在该实况图像中进行面部检测处理时使用的增益值(步骤ST33),然后将检测主体处理中的相关值阈值设定为预先设定的逆光用阈值(步骤ST34)后返回。
另外,在步骤ST31为肯定的情况以及步骤ST32为肯定的情况下,进入步骤ST35,将增益值设定为顺光用增益(步骤ST35),然后,将检测主体处理中的相关值阈值设定为预先设定的顺光用阈值(步骤ST36)后返回。
在上述的使用由参数控制处理决定的参数进行对象物检测处理之后,AE/AWB处理部63及AF处理部62基于预图像分别进行AE/AWB及AF处理,另外,闪光灯控制部73决定闪光灯24的发光量。然后,CPU75判定快门按钮19的半按压是否被解除,在被解除的情况下,在液晶显示器18中显示实况图像,开始监视是否半按压快门按钮19,同时返回对实况图像的对象物检测处理。另一方面,在快门按钮19的半按压没有被解除的情况下,判定快门按钮19是否被完全按下,在没有被完全按下的情况下,返回至是否解除半按压快门按钮19的判定。在快门按钮被完全按下的情况下,进行主图像的拍摄(正式拍摄),如下所示使用由参数控制部84控制的参数,对通过正式拍摄取得的主图像进行对象物检测处理。
图10是表示在由参数控制部84对主图像进行对象物检测处理时使用的参数控制处理的流程图。首先,判定正式拍摄时的逆光对应面部检测处理模式是否打开(步骤ST41)。在逆光对应面部检测处理模式未打开的情况下,判定是否为手动曝光模式(步骤ST42)。如果步骤ST42为否定,则进一步判定闪光灯是否发光(步骤ST43)。如果步骤ST43为否定,则判定在实况图像的最新结果中是否没有检测出面部(步骤ST44)。在检测出面部的情况下,判定在该实况图像的最新结果中的检测处理时使用的增益值是否是顺光用增益值(步骤ST45),在不是顺光用增益的情况下,将增益值设定为在该实况图像中的面部检测处理时使用的增益值(步骤ST46),然后将检测主体处理中的相关值阈值设定为预先设定的逆光用阈值(步骤ST47)后返回。
另外,在步骤ST41为肯定的情况、步骤ST42为肯定的情况、步骤ST43为肯定的情况、步骤ST44为肯定的情况、以及步骤ST45为肯定的情况下,进入步骤ST48,将增益值设定为顺光用增益(步骤ST48),然后,将检测主体的处理中的相关值阈值设定为预先设定的顺光用阈值(步骤ST49)后返回。
在上述的使用由参数控制处理决定的参数进行对象物检测处理之后,对由正式拍摄取得的主图像进行图像处理,将完成处理的主图像显示在液晶显示器18中,同时存储在外部存储介质70中。然后判断电源是否关闭,在电源没有关闭的情况下,开始监视是否半按压快门按钮19,同时对实况图像进行对象物检测处理,如果电源关闭,则结束处理。
这样,在本发明的实施方式中,与判别图像的场景后的判别结果对应而控制在对象物检测处理中使用的参数,进行对象物检测处理。由此,通过基于图像的判别结果而控制参数,使其成为适于在该图像中的检测处理的参数,即使拍摄状况变化,也能够在该拍摄状况下使参数变化,使其适于从拍摄后的图像中的检测处理,所以能够提高对象物的检测性能。
另外,通过与对由对象物检测单元进行对象物检测处理的图像进行拍摄的定时对应而使参数的控制方变化法,能够基于图像拍摄的定时信息,高效地决定适于该图像的检测处理的参数。
另外,在上述实施方式中,说明了作为规定的对象物检测处理的一个例子的面部检测,但并不限于此,也可以是面部之外的其他被摄体。
以上说明了本发明的实施方式所涉及的数字照相机,但本发明的适用范围并不限定于此,例如也能够用于附带照相机的手机、附带照相机的PDA等具有电子摄像功能的其他电子设备。
Claims (8)
1.一种拍摄装置,其特征在于,具有:
对象物检测单元,其进行从拍摄后的图像中检测对象物的对象物检测处理;
场景判别单元,其判别上述图像的场景是否为逆光、夜景、水中的任一种;以及
参数控制单元,其与该场景判别单元的判别结果对应,控制上述对象物检测处理中使用的参数。
2.根据权利要求1所述的拍摄装置,其特征在于,
上述对象物检测单元使用多个不同值的参数从上述图像中检测对象物,综合上述检测结果而作为对象物检测结果,该多个不同值的参数包括由上述参数控制单元变更的变更后的参数。
3.根据权利要求1所述的拍摄装置,其特征在于,
上述参数控制单元,在由上述对象物检测单元通过上述参数没有检测出上述对象物时,变更上述参数。
4.根据权利要求1所述的拍摄装置,其特征在于,
上述参数控制单元,与对由上述对象物检测单元进行对象物检测处理的上述图像进行拍摄的定时或进行上述对象物处理的定时对应,使上述参数的控制方法变化。
5.根据权利要求1所述的拍摄装置,其特征在于,
上述参数为上述对象物检测单元使用的增益校正中的增益、或上述对象物检测单元使用的检测判定阈值。
6.根据权利要求1所述的拍摄装置,其特征在于,
上述场景判别单元,利用逆光判定、曝光判定、亮度判定、噪声判定中的任意一个或一个以上的判定处理,进行判别。
7.根据权利要求1至4中任一项所述的拍摄装置,其特征在于,
上述参数包括上述对象物检测单元使用的轮廓校正中的轮廓校正程度、上述对象物检测单元使用的噪声降低中的噪声降低程度、上述对象物检测单元使用的伽玛校正中的伽玛曲线值中的任一个或一个以上参数。
8.一种拍摄方法,其特征在于,进行下述步骤:
进行从拍摄后的图像中检测对象物的对象物检测处理的步骤;
判别上述图像的场景是否为逆光、夜景、水中的任一种的步骤;以及
与判断该场景的步骤的判别结果对应,控制上述对象物检测处理中使用的参数的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006-202426 | 2006-07-25 | ||
JP2006202426 | 2006-07-25 | ||
JP2006202426 | 2006-07-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101137012A CN101137012A (zh) | 2008-03-05 |
CN101137012B true CN101137012B (zh) | 2010-09-08 |
Family
ID=38986364
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007101297693A Active CN101137012B (zh) | 2006-07-25 | 2007-07-25 | 拍摄装置和方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US7893969B2 (zh) |
CN (1) | CN101137012B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8294813B2 (en) * | 2007-07-23 | 2012-10-23 | Panasonic Corporation | Imaging device with a scene discriminator |
KR100950465B1 (ko) * | 2007-12-21 | 2010-03-31 | 손승남 | 차량출입통제 시스템을 위한 카메라 제어방법 |
EP2148499B1 (en) | 2008-07-25 | 2018-01-17 | FUJIFILM Corporation | Imaging apparatus and method |
KR101542436B1 (ko) * | 2008-07-29 | 2015-08-06 | 후지필름 가부시키가이샤 | 촬상 장치 및 촬상 방법 |
JP5520037B2 (ja) * | 2009-01-30 | 2014-06-11 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム |
JP5556262B2 (ja) * | 2010-03-15 | 2014-07-23 | オムロン株式会社 | 画像属性判別装置、属性判別支援装置、画像属性判別方法、属性判別支援装置の制御方法、および、制御プログラム |
JP5687464B2 (ja) * | 2010-09-29 | 2015-03-18 | オリンパスイメージング株式会社 | 撮像装置および画像処理方法 |
JP2012119858A (ja) * | 2010-11-30 | 2012-06-21 | Aof Imaging Technology Ltd | 撮影装置、撮影方法、およびプログラム |
JP2014021901A (ja) * | 2012-07-23 | 2014-02-03 | Casio Comput Co Ltd | 被写体検出装置、被写体検出方法及びプログラム |
CN103916579B (zh) * | 2012-12-30 | 2018-04-27 | 联想(北京)有限公司 | 一种图像摄取方法、装置和电子设备 |
JP5761272B2 (ja) * | 2013-08-06 | 2015-08-12 | カシオ計算機株式会社 | 撮像装置、撮像方法及びプログラム |
CN103472971B (zh) * | 2013-09-03 | 2017-10-17 | 小米科技有限责任公司 | 一种设置拍摄参数的方法、装置及终端设备 |
CN104994300A (zh) * | 2015-07-20 | 2015-10-21 | 魅族科技(中国)有限公司 | 一种拍照方法及终端 |
JP6442613B2 (ja) * | 2015-08-19 | 2018-12-19 | 富士フイルム株式会社 | 撮像装置、撮像方法、プログラム、及び非一時的記録媒体 |
CN105491271B (zh) * | 2015-11-25 | 2019-05-24 | 英华达(上海)科技有限公司 | 图像采集中进行辅助光源调节的方法及装置 |
CN107888840B (zh) * | 2017-10-30 | 2019-10-15 | Oppo广东移动通信有限公司 | 高动态范围图像获取方法和装置 |
CN108881740B (zh) * | 2018-06-28 | 2021-03-02 | Oppo广东移动通信有限公司 | 图像方法和装置、电子设备、计算机可读存储介质 |
CN109889733B (zh) * | 2019-03-25 | 2021-07-02 | 瑞芯微电子股份有限公司 | 一种自动曝光补偿方法、存储介质及计算机 |
CN110084168B (zh) * | 2019-04-22 | 2021-04-23 | 中国科学院自动化研究所 | 一种主动目标识别方法及装置 |
CN111614892B (zh) * | 2020-04-28 | 2022-04-01 | 深圳英飞拓智能技术有限公司 | 一种人脸图像采集方法、拍摄装置及计算机可读存储介质 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2953712B2 (ja) | 1989-09-27 | 1999-09-27 | 株式会社東芝 | 移動物体検知装置 |
US7038715B1 (en) * | 1999-01-19 | 2006-05-02 | Texas Instruments Incorporated | Digital still camera with high-quality portrait mode |
JP2001298660A (ja) * | 2000-04-13 | 2001-10-26 | Minolta Co Ltd | デジタルカメラ、画像処理装置、画像処理方法および記録媒体 |
JP2001330882A (ja) | 2000-05-24 | 2001-11-30 | Canon Inc | 被写体認識機能付きカメラ |
JP4090276B2 (ja) * | 2002-05-28 | 2008-05-28 | 富士フイルム株式会社 | デジタルカメラ |
JP2004147018A (ja) * | 2002-10-23 | 2004-05-20 | Fuji Photo Film Co Ltd | 画像処理方法及びデジタルカメラ |
US20040207743A1 (en) * | 2003-04-15 | 2004-10-21 | Nikon Corporation | Digital camera system |
JP2004354581A (ja) * | 2003-05-28 | 2004-12-16 | Minolta Co Ltd | 撮像装置 |
JP2005004287A (ja) | 2003-06-10 | 2005-01-06 | Fuji Photo Film Co Ltd | 顔画像検出装置およびその制御方法 |
JP2005192162A (ja) | 2003-12-26 | 2005-07-14 | Konica Minolta Photo Imaging Inc | 画像処理方法、画像処理装置及び画像記録装置 |
JP2005208817A (ja) * | 2004-01-21 | 2005-08-04 | Konica Minolta Photo Imaging Inc | 画像処理方法、画像処理装置及び画像記録装置 |
JP4173457B2 (ja) * | 2004-03-12 | 2008-10-29 | 富士フイルム株式会社 | 撮影装置及びその制御方法 |
JP4290080B2 (ja) | 2004-06-30 | 2009-07-01 | キヤノン株式会社 | 画像処理装置および画像処理方法およびコンピュータプログラム |
US8194173B2 (en) * | 2004-07-16 | 2012-06-05 | Nikon Corporation | Auto-focusing electronic camera that focuses on a characterized portion of an object |
JP2006039666A (ja) * | 2004-07-22 | 2006-02-09 | Konica Minolta Photo Imaging Inc | 画像処理方法、画像処理装置及び画像処理プログラム |
EP1643758B1 (en) * | 2004-09-30 | 2013-06-19 | Canon Kabushiki Kaisha | Image-capturing device, image-processing device, method for controlling image-capturing device, and associated storage medium |
JP4537255B2 (ja) * | 2005-04-28 | 2010-09-01 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
JP4115467B2 (ja) * | 2005-06-01 | 2008-07-09 | 富士フイルム株式会社 | 撮影装置 |
JP4880292B2 (ja) * | 2005-11-24 | 2012-02-22 | 富士フイルム株式会社 | 画像処理方法および画像処理プログラムならびに画像処理装置 |
JP2007264742A (ja) * | 2006-03-27 | 2007-10-11 | Fujifilm Corp | 顔検出方法おならびにこれを用いた撮影装置 |
US20070288973A1 (en) * | 2006-06-02 | 2007-12-13 | Logitech Europe S.A. | Intelligent image quality engine |
US7683962B2 (en) * | 2007-03-09 | 2010-03-23 | Eastman Kodak Company | Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map |
-
2007
- 2007-07-25 CN CN2007101297693A patent/CN101137012B/zh active Active
- 2007-07-25 US US11/782,816 patent/US7893969B2/en active Active
-
2010
- 2010-10-06 US US12/898,980 patent/US8797423B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20110025882A1 (en) | 2011-02-03 |
CN101137012A (zh) | 2008-03-05 |
US7893969B2 (en) | 2011-02-22 |
US8797423B2 (en) | 2014-08-05 |
US20080025604A1 (en) | 2008-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101137012B (zh) | 拍摄装置和方法 | |
US7720369B2 (en) | Image taking apparatus | |
CN101415074B (zh) | 成像装置和成像控制方法 | |
JP4782725B2 (ja) | 合焦装置および方法並びにプログラム | |
CN101136066B (zh) | 拍摄装置、方法 | |
US5382974A (en) | Movie camera having still picture photographing function and method of photographing still picture therewith | |
JP4923005B2 (ja) | ディジタル・スチル・カメラおよびその制御方法 | |
US7817911B2 (en) | Photographic method and apparatus | |
CN103842903B (zh) | 成像设备、成像方法以及程序 | |
US8228423B2 (en) | Imaging apparatus and method for controlling flash emission | |
CN102801919A (zh) | 摄像设备及其控制方法 | |
CN101640764B (zh) | 摄像装置和摄像方法 | |
CN101115139A (zh) | 拍摄装置和曝光控制方法 | |
JP5027580B2 (ja) | 撮影装置および方法並びにプログラム | |
US20070206938A1 (en) | Distance measuring apparatus and method | |
CN101115147B (zh) | 摄影装置和方法 | |
CN102265603B (zh) | 摄像设备和摄像方法 | |
JP2006108759A (ja) | 撮像装置 | |
US20070195190A1 (en) | Apparatus and method for determining in-focus position | |
CN110024371A (zh) | 摄影装置及其控制方法 | |
CN110291779A (zh) | 摄影装置及其控制方法和工作程序 | |
CN101227563B (zh) | 用于摄影的设备、方法和保存程序的计算机可读记录介质 | |
JP2008298847A (ja) | 撮影方法及びデジタルカメラ | |
JP3949000B2 (ja) | オートフォーカスカメラ | |
CN109073958A (zh) | 摄影装置及其控制方法、以及可换镜头 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |