CN102457664B - 摄像设备 - Google Patents
摄像设备 Download PDFInfo
- Publication number
- CN102457664B CN102457664B CN201110329898.3A CN201110329898A CN102457664B CN 102457664 B CN102457664 B CN 102457664B CN 201110329898 A CN201110329898 A CN 201110329898A CN 102457664 B CN102457664 B CN 102457664B
- Authority
- CN
- China
- Prior art keywords
- zoom
- face
- facial
- size
- composition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title 1
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 239000000203 mixture Substances 0.000 claims description 73
- 230000001815 facial effect Effects 0.000 claims description 50
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000004513 sizing Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/634—Warning indications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0084—Digital still camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Lens Barrels (AREA)
Abstract
本发明涉及一种摄像设备。控制器基于面部大小计算部件计算出的面部大小和面部倾斜度检测部件检测到的面部倾斜度来控制拍摄视角,其中,所述控制器控制所述拍摄视角,以使得所述面部识别部件识别出的被摄体图像的面部的相对于拍摄视角的大小变为预定大小。
Description
技术领域
本发明涉及能够进行自动变焦控制的摄像设备。
背景技术
近年来,诸如数字照相机等的摄像设备已安装有被摄体识别技术和面部识别技术。这些摄像设备根据被摄体识别和面部识别的结果,进行诸如测距点移动、释放控制和图像质量参数改变等的控制。
如下所述,已知有基于被摄体识别技术的自动变焦控制。
传统上已知的电视摄像机设备通过如下处理来减轻摄像机操作者的负担:计算识别出的被摄体图像在画面上的位置和大小,并且自动控制追踪被摄体的运动的摄像机位置和变焦距离以实现预设的拍摄构图。
日本特开2007-86269论述了如下的照相机设备,其中,该照相机设备包括:测距单元,用于测量相对于被摄体的距离;存储单元,用于存储预先设置物体大小数据的表;以及拍摄构图选择单元,用于选择多个拍摄构图。该照相机设备根据物体大小和拍摄构图进行变焦控制,从而以适当大小自动拍摄被摄体的图像。
尽管上述自动变焦控制功能意图进行自动变焦以使得被摄体图像变为预定大小,但并未考虑到被摄体的倾斜。因此,该自动变焦控制功能无法根据被摄体图像的预定范围容纳于视角的、诸如上身特写和全身图像等的以被摄体为基准的拍摄构图,适当进行变焦控制。拍摄视角的垂直长度和水平长度通常不相等。因此,即使进行了用于使面部大小均等化的变焦控制,所拍摄图像的拍摄构图也根据被摄体是否倾斜而有所不同。
发明内容
本发明涉及一种能够考虑到被摄体图像的面部倾斜来进行适当的自动变焦控制的摄像设备。
根据本发明的方面,一种摄像设备,包括:一种摄像设备,包括:传感器,用于拍摄被摄体图像并输出图像信号;面部识别部件,用于基于从所述传感器输出的图像信号,识别被摄体图像的面部;面部大小计算部件,用于计算所述面部识别部件识别出的被摄体图像的面部的大小;面部倾斜度检测部件,用于检测所述面部识别部件识别出的被摄体图像的面部的倾斜度;以及控制器,用于基于所述面部大小计算部件计算出的面部的大小和所述面部倾斜度检测部件检测到的面部的倾斜度,控制拍摄视角,其中,所述控制器控制所述拍摄视角,以使得所述面部识别部件识别出的被摄体图像的面部的相对于拍摄视角的大小变为预定大小。
通过以下参考附图对典型实施例的详细说明,本发明的其它特征和方面将变得明显。
附图说明
包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施例、特征和方面,并和说明书一起用来解释本发明的原理。
图1A和1B是示出根据本发明第一典型实施例的数字照相机的外观图。
图2是示出根据第一典型实施例的数字照相机的结构的框图。
图3示意性示出面部识别的方法。
图4是示出根据第一典型实施例的数字照相机的操作的流程图。
图5A和5B示出主面部相对于拍摄画面处于倾斜的情况下的变焦控制的状态。
图6是示出变焦控制位置和变焦倍率之间的关系的变焦控制图。
图7A和7B示出主面部相对于拍摄画面处于直立的情况下的变焦控制的状态。
图8A和8B示出照相机处于倾斜的情况下的变焦控制的状态。
图9是示出目标倍率超过变焦倍率极限的情况下的状态的变焦控制图。
图10A和10B示出目标倍率超过变焦倍率极限时的引导显示的示例。
图11A和11B示出引导显示的其它示例。
图12是示出根据第二典型实施例的数字照相机的操作的流程图。
图13A和13B示出改变目标倍率选项时的画面显示的示例。
图14是示出选择目标倍率选项的情况下的状态的变焦控制图。
具体实施方式
以下将参考附图来详细说明本发明的各种典型实施例、特征和方面。
以下将参考图1A~11B来说明作为根据本发明第一典型实施例的摄像设备的数字照相机201。
以下将参考图1A、1B和2来说明根据第一典型实施例的数字照相机201的结构。
图1A和1B示出数字照相机201的外观。图1A是示出数字照相机201的正面的俯瞰图。图1B是示出数字照相机201的背面的俯瞰图。图2是示出数字照相机201的结构的框图。
数字照相机201包括呈长方体的壳体。镜筒单元202从数字照相机201的表面(以下称为正面)伸出。镜筒单元202包括多个圆筒构件,其中,这些圆筒构件经由马达301所驱动的凸轮机构(未示出)连动地进行伸缩。镜筒单元202包括多个镜头。镜筒单元202通过其伸缩构成了光学变焦机构,其中,该光学变焦机构能够使构成摄像光学系统的透镜组的一部分移动以自由改变焦距。在非拍摄模式中,镜筒单元202收缩并容纳于壳体内,并且由以可自由伸缩的方式设置的挡板构件(未示出)所覆盖,由此保护镜头面203并提高便携性。镜筒单元202的这种结构众所周知为可伸缩镜头。
在大多情况下,数字照相机201的正面设置有诸如闪光灯发光单元和自动调焦(AF)辅助光发光单元等的光学辅助装置。
数字照相机201的背面、即镜头配置面的相反面设置有如下部件:作为用于监视图像的显示单元的液晶显示器(LCD)监视器204;以及用于选择数字照相机201的操作模式的模式选择器开关205。此外,触摸面板设备206以重叠在LCD监视器204上的方式进行配置。
数字照相机201的顶面设置有:电源开关207,用于使电源接通(ON)和断开(OFF);变焦杆208,用于驱动变焦机构以操作拍摄视角;以及释放开关209,用于指示图像拍摄。
如图2所示,将通过操作数字照相机201的上述操作构件所生成的信号输入至控制单元302。控制单元302根据输入信号来驱动和控制数字照相机201的各单元。
例如,当用户操作电源开关207时,将预定信号输入至控制单元302,然后启动控制单元302。控制单元302检测模式选择器开关205的状态,然后根据诸如拍摄模式或重放模式等的设置操作模式来控制各单元。
当将模式选择器开关205设置为拍摄模式时,响应于电源接通操作,控制单元302驱动和控制马达301以使镜筒单元202伸出。控制单元302还启动包括图像传感器303的摄像部(摄像单元)以进入拍摄待机状态。光学变焦驱动单元312传递马达301的驱动力以使预定镜头在摄像光轴方向上移动。导螺杆机构和用于使多个镜头以复杂的方式连动地进行移动的凸轮机构已知为光学变焦驱动单元312。
当变焦位置检测单元310检测到光学变焦驱动单元312的驱动量或者光学变焦驱动单元312所移动的预定透镜的位置时,控制单元302识别出当前变焦控制位置。
控制单元302将摄像单元所拍摄的被摄体图像作为监视图像显示在LCD监视器204上。
控制单元302经由存储器控制单元304检测存储卡305(记录介质)的记录状态,并将作为字符生成器306所生成的字符的照相机信息叠加在监视图像生成单元307所生成的监视图像上。该照相机信息包括根据剩余存储容量和当前拍摄模式(分辨率和压缩率)计算出的剩余拍摄张数以及根据作为电源的电池(未示出)的剩余容量计算出的剩余工作时间。
响应于释放开关209的操作,图像处理单元308将摄像单元拍摄到的图像转换成预定格式,并且将相关图像数据经由存储器控制单元304记录在存储卡305中。
当将模式选择器开关205设置为重放模式时,镜筒单元202缩回。控制单元302访问存储器控制单元304,以从作为记录介质的存储卡305中读取所记录的图像数据。监视图像生成单元307将所读取的图像数据光栅化成预定格式,然后将相关图像显示在LCD监视器204上。然后,响应于用户的操作,控制单元302顺次读取所记录的图像数据并将该图像显示在LCD监视器204上。
LCD监视器204根据数字照相机201的操作模式,显示字符生成器306所生成的操作图标。可以经由触摸面板设备206来查看操作图标。以LCD监视器204上所显示的任意期望图标为目标,用户利用手指等对触摸面板设备206上的位置进行触摸。触摸面板设备206将与用户所触摸的位置相对应的输出信号发送至控制单元302。
在接收到来自触摸面板设备206的输出信号时,控制单元302将用户所触摸的位置转换成LCD监视器204上的平面坐标值,并且进行与显示在该坐标位置处的图标相关联的功能。姿势传感器311检测数字照相机201的姿势,然后将检测信号发送至控制单元302。
响应于电源断开操作,控制单元302指示存储器控制单元304以进行终止处理。存储器控制单元304断开与存储卡305的连接以准备由用户移除存储卡305。当数据正向存储卡305记录时,存储器控制单元304等待该记录的完成,然后断开与存储卡305的连接。
当镜筒单元202伸出时,控制单元302使其缩回,并与镜筒单元202的缩回连动地关闭挡板构件。
控制单元302关闭LCD监视器204,然后切断对各单元的电源供给以完成电源断开处理。
数字照相机201具有通过图像处理识别人物被摄体的面部的功能。该功能通常被称为面部识别功能。
数字照相机201设置有包括与人的面部特征点有关的图案数据的匹配表。该匹配表包括眼睛和嘴的形状特征、眼睛和嘴的配置以及它们的比例关系。面部识别处理单元309参考该匹配表来检查人面部的任意特征点是否包括在已经过例如二值化处理的拍摄图像信息中。检测人面部的这种功能可应用于如背景技术的说明中所述的各种类型的设备控制。本典型实施例利用该功能以进行以下所述的变焦驱动控制(不仅包括光学变焦控制还包括电子变焦控制)。
图3示意性示出基于面部识别的结果所要计算的参数。
当面部识别处理单元309在所拍摄图像402中检测到面部401时,该面部识别处理单元309计算面部401中的线段长度De和线段长度Dm。线段de连接两眼的中心,并且具有线段长度De。线段dm与线段de垂直相交且穿过嘴,并且具有线段长度Dm。基于线段长度Dm的值,控制单元302参考包括面部大小数据的面部大小表来估计人物被摄体的面部大小A。
准备了与年龄组和性别等相对应的多个匹配表,这使得能够估计人物被摄体的年龄组和性别。此外,可以通过使用年龄组和性别的估计结果来对面部大小A进行校正。当然,可以使用线段长度Dm和De的组合进行该估计处理。
面部识别处理单元309还计算线段dm相对于画面的水平线所形成的面部倾斜度θ。
如上所述,数字照相机201可以识别人物被摄体的面部401在所拍摄图像中的面部大小A和面部倾斜度θ。
在本典型实施例中,尽管使用眼睛和嘴作为用于识别面部的特征点,但众所周知,还可以使用鼻子、耳朵、眉毛和面部轮廓作为人面部特征点。另外,众所周知,登记特定被摄体人物面部的特征点,目的在于提高识别精度。这些特征点可应用于本典型实施例所述的面部识别方法。
以下将说明数字照相机201的变焦控制。
图4是示出根据第一典型实施例的数字照相机201的操作的流程图。
图5A、5B、7A、7B、8A和8B示出通过变焦控制的拍摄视角的变化、即所拍摄图像的状态的变化。图6示出变焦控制位置和变焦倍率之间的关系。以下将该图称为变焦控制图。
通过使用面部大小A和面部倾斜度θ,数字照相机201进行自动变焦控制,以使得所拍摄图像中的被摄体人物图像的大小容纳于具有与用户的操作相对应的预定大小的基准构图。具有预定大小的基准构图是指作为图5A和5B所示的图标的诸如“面部特写”、“上身特写”和“全身”等的预定构图。当然,该预定大小不局限于此。
在本典型实施例中,尽管自动计算出(生成)变倍目标值以提供基准构图的选项作为默认值,但用于确定变倍目标值的方法不局限于此。用户可以输入变倍目标值,只要该变倍目标值是基于被摄体图像的比例所确定出的即可。例如,可以输入变倍目标值作为面部相对于当前构图的比率。
以下将参考图4来说明变焦控制操作。
当数字照相机处于拍摄模式时(步骤101),在步骤102中,控制单元302判断用户是否进行拍摄模式结束操作。当用户没有进行拍摄模式结束操作时(步骤102中为“否”),处理进入步骤103。当用户进行拍摄模式结束操作时(步骤102中为“是”),处理进入步骤119以结束该拍摄模式。
在步骤103中,面部识别处理单元309在拍摄画面中检测人面部。如果检测到多个面部,则处理进入步骤104。在步骤104中,用户对触摸面板设备206进行触摸以选择主面部。
在步骤105中,如上所述,控制单元302计算面部大小A和面部倾斜度θ。参考图5A,控制单元302计算面部大小A1并检测面部倾斜度θ1。
LCD监视器204显示用于以多个基准构图中的任一个基准构图为目标而对被摄体图像进行变焦控制的操作图标。更具体地,LCD监视器204显示“面部特写”图标502、“上身特写”图标503和“全身”图标504。在步骤106中,当用户对触摸面板设备206进行触摸以选择这些基准构图中的任一个时,控制单元302使用所选择的拍摄构图作为目标基准构图来进行用于对被摄体图像501进行变倍的变焦控制。将作为变焦控制的目标的基准构图称为目标基准构图。
假定用户选择“上身特写”图标503。当用户操作该图标时,反转图标显示颜色以表示已接受该操作。
当用户选择了目标基准构图时,控制单元302根据面部大小A1计算容纳于拍摄画面内的被摄体图像大小。由相对于计算出的面部大小A1的比率来确定该被摄体图像大小。更具体地,可以通过将面部大小A1乘以预定系数来获得被摄体图像大小。以下将该系数称为拍摄构图系数α。
例如,在“上身特写”构图的情况下,假定拍摄构图系数α=a,则控制单元302进行变焦控制以使得上身特写大小(a×A1)容纳于拍摄画面内。同样,当目标基准构图是“全身”并且假定拍摄构图系数α=b时,全身图像大小为(b×A1)。在“面部特写”构图的情况下,假定拍摄构图系数α=1。更具体地,例如,假定a=2.5并且b=7。
可以根据人体相对于面部的大小比率来以统计学的方式获得拍摄构图系数,或者可以根据特定人物被摄体的体形来单独输入拍摄构图系数。此外,当如图5A和5B所示被摄体图像501是婴儿时,由于婴儿的体形与成人的体形极大不同,因而可以使用单独的拍摄构图系数表。如上所述,可以根据面部的特征点推断出被摄体是婴儿。
在步骤107中,当面部倾斜度θ1是0~90度的中间值、即被摄体图像501的面部相对于拍摄画面505既不呈水平也不呈垂直时(参考图5A和5B),控制单元302分别获得相对于拍摄画面505的水平大小和垂直大小的面部大小比率R。
可以按照如下计算相对于拍摄画面505的垂直大小V和水平大小H的面部大小比率R。
画面垂直方向比率RV=(A1·sinθ1)/V
画面水平方向比率RH=(A1·cosθ1)/H
在步骤108中,控制单元302获得用于获得目标变焦倍率的系数β,以使得系数β满足以下公式。将系数β称为目标变倍系数。优选地,仅针对较大的方向获得目标变倍系数β,更具体地,根据画面垂直方向比率RV和画面水平方向比率RH之间的大小关系,通过使用以下两个公式的其中一个来获得目标变倍系数β。
当RV>RH时:βV(α·A1·sinθ1)/V=X
当RV<RH时:βH(α·A1·cosθ1)/H=X
其中,X是如下常数,其中该常数定义了变焦控制之后的被摄体大小相对于拍摄画面的垂直大小或水平大小的期望比率。当X=1时,变焦控制之后的被摄体图像大小与拍摄画面的垂直大小或水平大小一致。当X=0.9时,在相对于画面具有10%的空白的情况下对被摄体图像大小进行调整。可以考虑到图像的外观来任意定义常数X的值。
在步骤109中,控制单元302基于来自变焦位置检测单元310的输出和与图像处理单元308的通信来参考当前变焦控制位置。
图6示出数字照相机201的变焦控制位置和变焦倍率之间的关系(以下将该图称为变焦控制图)。在该变焦控制图中,向横轴分配变焦控制位置,并且向纵轴分配变焦倍率,其中,将广角端的图像倍率设置为1。
数字照相机201的变焦机构包括基于上述透镜组的移动的光学变焦机构以及基于图像处理单元308的电子裁切处理(即,电子变焦)的电子变焦机构。在该电子裁切处理中,图像处理单元308以电子方式放大从所拍摄图像切出的预定范围。光学变焦机构的广角侧和远摄侧的极限是由结构上的极限点所确定的。当光学变焦达到远摄侧的极限时,启动电子变焦。利用电子变焦,由于以电子方式放大了由像素构成的图像,因而图像的分辨率随着倍率的增加而下降。将图像质量实际良好的电子变焦极限称为数字照相机201的远摄端。
变焦控制位置是指光学变焦区域中镜头的物理位置或电子变焦区域中图像的裁切大小。
在本典型实施例中,尽管变焦控制图给出了变焦控制位置和变焦倍率之间的线性关系,但二者之间的关系不局限于此。变焦控制图可以根据光学变焦机构的结构来给出曲线、即二者之间的非线性关系。然而,变焦控制图通常以一一对应的关系来确定变焦控制位置和变焦倍率之间的关系。
当在步骤109中控制单元302参考当前变焦控制位置时,控制单元302根据变焦控制图来识别当前变焦倍率Z1。参考图5A,由于被摄体图像501的面部大小比率在画面垂直方向上较大(RV>RH),因此可以通过上述公式来确定目标变倍系数βV。控制单元302将当前变焦倍率Z1与目标变倍系数βV相乘,以确定用于使被摄体图像501容纳于“上身特写”构图的目标倍率βV·Z1。
在步骤110中,控制单元302根据变焦控制图来计算目标变焦控制位置。因而,控制单元302获得用于使图5A的被摄体图像501容纳于“上身特写”构图的目标变焦倍率及其目标变焦控制位置。控制单元302将目标变焦倍率或目标变焦控制位置假定为变倍目标值。换言之,在步骤110中,控制单元302生成变倍目标值。
在步骤111中,当目标变焦控制位置在可到达范围内、即目标变焦控制位置在广角端和远摄端之间的范围内时(步骤111中为“是”),处理进入步骤112。在步骤112中,控制单元302驱动马达301以使预定镜头的位置移动,从而进行光学变焦控制。
在步骤113中,当变焦位置检测单元310检测到光学变焦已到达目标变焦控制位置时(步骤113中为“是”),控制单元302停止驱动马达301以结束该变焦操作。
根据情况,目标变焦控制位置可以存在于电子变焦区域中。在这种情况下,在光学变焦到达远摄端之后,控制单元302与图像处理单元308进行通信以进行电子变焦。在电子变焦区域中,控制单元302使用图像切出大小作为变焦控制位置信息。
因而,通过使用拍摄画面505中的面部大小A1和面部倾斜度θ1,控制单元302自动调整变焦倍率以使其适合于上身特写构图。在根据需要移动照相机以校正拍摄画面505内的被摄体位置之后,如图5B所示,用户可以拍摄上身特写构图的图像。
作为另一例子,以下将说明图7A和7B所示的变焦控制的状态。
参考图7A和7B,拍摄画面702包括多个被摄体人物。当在步骤103中检测到多个面部时,处理进入步骤104。在步骤104中,控制单元302选择用户所观看的被摄体面部作为主面部。当用户选择主面部701时,控制单元302将字符生成器306所生成的选择框703(图7A)叠加在主面部701上。
为了选择主面部,用户可以在触摸面板设备206上直接触摸该主面部。可选地,用户可以通过操作移位按钮(未示出)使选择框703在面部之间移动,并且当选择期望面部时,用户可以操作确定按钮(未示出)以确定该主面部。
由于主面部701相对于画面的水平线垂直、即面部倾斜度θ=90度,因此控制单元302仅评价画面垂直方向比率RV,计算目标变倍系数βV,并进行变焦控制。例如,当用户指定主面部701并选择“全身”构图704时,获得图7B的全身图像。
以下将说明图8A和8B的变焦控制的状态。
参考图8A和8B,数字照相机201自身相对于被摄体801倾斜。在本典型实施例中,针对拍摄画面802的水平方向计算面部倾斜度θ3。因此,当在图8A中用户选择“全身”构图803时,如图8B所示获得了全身图像。在这种情况下,基于姿势传感器311的输出,可以如图8B所示显示与数字照相机201的姿势倾斜有关的警告。此外,在警告显示之后,可以在监视姿势传感器311的输出、然后检测到已将数字照相机201的姿势校正为水平状态或垂直状态之后,来评价面部大小比率R。
以下将说明当在步骤111中目标变焦控制位置在可到达范围以外时要进行的操作。
如上所述,可变倍范围是由变焦机构的结构所决定的。将广角端设置为变焦倍率1倍,并且将远摄端例如设置为变焦倍率12倍。换言之,作为当前倍率Z和目标变倍系数β的乘积的目标倍率βZ的范围为1倍~12倍。
如图9所示,当目标倍率βZ2小于1时,目标变焦控制位置P1位于光学变焦的广角端的左手侧。同样,当目标倍率βZ2大于12时,目标变焦控制位置P2位于电子变焦实际倍率极限位置的右手侧。通过以这样的方式评价目标倍率βZ,在步骤111中,控制单元302可以判断是否可以变倍为用户所选择的目标基准构图、即目标变焦控制位置是否在可到达范围内。
当控制单元302判断为目标变焦控制位置在可到达范围以外时(步骤111中为“否”),处理进入步骤114。在步骤114中,控制单元302显示如图10A所示的警告。如图10A所示,控制单元302可以进行用于确认用户的意图的操作。
在步骤115中,当用户触摸“是”以进行变焦操作(变倍操作)时(步骤115中为“是”),处理进入步骤116。由于目标变焦控制位置在可到达范围以外,因而在步骤116中,控制单元302进行变焦控制,并且在步骤117中,控制单元302判断光学变焦是否到达变焦极限位置(变倍极限位置)。当判断为光学变焦到达变焦极限位置时(步骤117中为“是”),控制单元302停止变倍操作。然后,在步骤118中,控制单元302显示光学变焦到达变焦极限位置的通知。
例如,当在图9中向着目标变焦控制位置P1进行光学变焦时,变焦控制停止在广角端。因此,如图10B所示,控制单元302可以显示用于提示用户朝远离被摄体的方向移动的引导消息。可选地,如图11A所示,控制单元302可以显示用于提示用户将数字照相机201的姿势从水平位置改变为垂直位置的引导消息。通过互换相对于拍摄画面的水平大小和垂直大小的面部大小比率R进行评价,使得能够预先判断在用户改变了数字照相机201的方位之后是否可以实现目标基准构图。
当在图9中向着目标变焦控制位置P2进行光学变焦时,变焦控制停止在远摄端。因此,如图11B所示,控制单元302可以显示用于提示用户朝靠近被摄体的方向移动的引导消息。
以下将参考图12~14来说明本发明的第二典型实施例。
在第二典型实施例中,假定数字照相机201的结构与第一典型实施例的结构相同,并且将省略重复的说明。在以下说明中,将借用图1和2,并且对与第一典型实施例中的组件相同的组件分配相同的附图标记。
图12是示出第二典型实施例的变焦控制操作的流程图。
在步骤1103中,控制单元302在所拍摄图像中检测面部。当在步骤1103中检测到多个面部时,在步骤1104中,控制单元302经由用户的操作选择主面部。在步骤1105中,当选择了主面部时,控制单元302以与第一典型实施例相同的方式计算面部大小A和面部倾斜度θ。
在步骤1106中,控制单元302分别获得相对于拍摄画面的水平大小和垂直大小的面部大小比率R。
在步骤1107中,控制单元302参考当前变焦控制位置。
如图13A和13B所示,数字照相机201可以设置有“特写”、“面部特写”、“上身特写”、“全身”、“合影”和“全景”这些预定目标基准构图选项。针对各基准构图预先确定拍摄构图系数α。
例如,“特写”构图假定了拍摄构图系数α=0.5以及放大面部的一部分的情况。在假定了各拍摄状况的情况下,优选可以基于面部大小和拍摄构图之间的关系设置适当值,例如,对于“合影”构图设置α=20,并且对于“全景”构图设置α=50。当然,拍摄构图选项不局限于此。
在步骤1107中,控制单元302获取当前变焦控制位置信息。在步骤1108中,与第一典型实施例相同,控制单元302针对各目标基准构图选项,获得目标变倍系数β和目标变焦倍率Z。
在步骤1109中,在针对各目标基准构图选项获得了目标变焦倍率Z之后,控制单元302根据如图14所示的变焦控制图计算目标变焦控制位置。在步骤1110中,控制单元302选择以当前变焦控制位置为中心的三个拍摄构图选项,并将相关操作图标显示在LCD监视器204上。
当选出拍摄构图选项时,控制单元302参考与各个拍摄构图选项相对应的目标变焦控制位置。排除与距离当前变焦控制位置最近的目标变焦控制位置相对应的拍摄构图选项,控制单元302从当前变焦控制位置附近选择三个构图选项。此外,从这些选项中排除位于目标变焦控制位置的可到达范围以外的拍摄构图。
参考图13A,如图14所示,当前变焦控制位置P0位于“上身特写”构图的目标变焦控制位置(“上身特写”目标位置)的附近。因此,控制单元302选择了除由于超过远摄端位置因而不可到达的“特写”构图以外的三个构图选项,即“面部特写”构图1201、“全身”构图1202以及“合影”构图1203。
参考图13B,如图14所示,当前变焦控制位置P0′位于“面部特写”构图的目标变焦控制位置(“面部特写”目标位置)的附近。由于远摄侧不存在可到达的目标构图,因此控制单元302选择“面部特写”构图1204的广角侧上的两个构图选项、即“上身特写”构图1204和“全身”构图1202。然后,为了表示远摄侧不存在构图选项,控制单元302显示叠加有不可操作标记(不可选择标记)1206的“特写”图标1205。
如上所述,控制单元302参考当前变焦控制位置,并改变可选择的拍摄构图候选。
在步骤1111中,用户对触摸面板设备206进行触摸以选择步骤1110中所显示的拍摄构图选项的其中一个。在步骤1112中,控制单元302向着目标变焦控制位置进行变焦控制。在步骤1113中,控制单元302判断光学变焦是否到达目标变焦控制位置。当光学变焦到达目标变焦控制位置时(步骤1113中为“是”),控制单元302结束变焦控制。
第二典型实施例与第一典型实施例的不同之处在于使用当前变焦控制位置作为参数。其效果如下:可以以当前构图为中心选择适当的目标基准构图选项,然后进行显示。更具体地,例如,当光学变焦物理地处于远摄端时,无法进行进一步的变倍,因此选择并显示广角侧的变倍选项。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
Claims (5)
1.一种摄像设备,包括:
传感器,用于拍摄被摄体图像并输出图像信号;
面部识别部件,用于基于从所述传感器输出的图像信号,识别被摄体图像的面部;
面部大小计算部件,用于计算所述面部识别部件识别出的被摄体图像的面部的大小;
面部倾斜度检测部件,用于检测所述面部识别部件识别出的被摄体图像的面部的倾斜度;以及
控制器,用于基于所述面部大小计算部件计算出的面部的大小和所述面部倾斜度检测部件检测到的面部的倾斜度,进行自动变焦控制以控制拍摄视角,
其中,所述控制器控制所述拍摄视角,以使得所述面部识别部件识别出的被摄体图像的面部的相对于拍摄视角的大小变为预定大小。
2.根据权利要求1所述的摄像设备,其特征在于,所述控制器确定所述预定大小,以及通过从多个基准构图中选择一个构图来执行该确定。
3.根据权利要求2所述的摄像设备,其特征在于,所述控制器以能够选择的方式将所述多个基准构图显示在显示设备上。
4.根据权利要求1所述的摄像设备,其特征在于,如果所述控制器判断为无法控制所述拍摄视角以使得所述面部识别部件识别出的被摄体图像的面部的相对于拍摄视角的大小变为所述预定大小,则所述控制器通知该情况。
5.根据权利要求2所述的摄像设备,其特征在于,所述控制器以能够选择的方式将大小与当前构图的大小接近的基准构图显示在拍摄画面上。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010239489A JP5725793B2 (ja) | 2010-10-26 | 2010-10-26 | 撮像装置およびその制御方法 |
JP2010-239489 | 2010-10-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102457664A CN102457664A (zh) | 2012-05-16 |
CN102457664B true CN102457664B (zh) | 2014-10-01 |
Family
ID=45972720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110329898.3A Active CN102457664B (zh) | 2010-10-26 | 2011-10-26 | 摄像设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8817161B2 (zh) |
JP (1) | JP5725793B2 (zh) |
CN (1) | CN102457664B (zh) |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9536132B2 (en) * | 2011-06-24 | 2017-01-03 | Apple Inc. | Facilitating image capture and image review by visually impaired users |
JP5979967B2 (ja) * | 2011-06-30 | 2016-08-31 | キヤノン株式会社 | 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム |
US9025836B2 (en) * | 2011-10-28 | 2015-05-05 | Intellectual Ventures Fund 83 Llc | Image recomposition from face detection and facial features |
US8938100B2 (en) | 2011-10-28 | 2015-01-20 | Intellectual Ventures Fund 83 Llc | Image recomposition from face detection and facial features |
US9008436B2 (en) * | 2011-10-28 | 2015-04-14 | Intellectual Ventures Fund 83 Llc | Image recomposition from face detection and facial features |
US9025835B2 (en) | 2011-10-28 | 2015-05-05 | Intellectual Ventures Fund 83 Llc | Image recomposition from face detection and facial features |
US8811747B2 (en) * | 2011-10-28 | 2014-08-19 | Intellectual Ventures Fund 83 Llc | Image recomposition from face detection and facial features |
US20130108119A1 (en) * | 2011-10-28 | 2013-05-02 | Raymond William Ptucha | Image Recomposition From Face Detection And Facial Features |
US20130108170A1 (en) * | 2011-10-28 | 2013-05-02 | Raymond William Ptucha | Image Recomposition From Face Detection And Facial Features |
US9025830B2 (en) * | 2012-01-20 | 2015-05-05 | Cyberlink Corp. | Liveness detection system based on face behavior |
JP5970937B2 (ja) | 2012-04-25 | 2016-08-17 | ソニー株式会社 | 表示制御装置および表示制御方法 |
JP5959923B2 (ja) * | 2012-04-26 | 2016-08-02 | キヤノン株式会社 | 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置 |
JP5379334B1 (ja) | 2012-06-12 | 2013-12-25 | オリンパスイメージング株式会社 | 撮像装置 |
US20140063220A1 (en) | 2012-08-29 | 2014-03-06 | Ossur Hf | Method and Device for Ordering a Custom Orthopedic Device |
US9654743B2 (en) * | 2012-08-29 | 2017-05-16 | Kyocera Corporation | Electronic device, information providing system, control method, and control program |
KR102092571B1 (ko) * | 2013-01-04 | 2020-04-14 | 삼성전자 주식회사 | 카메라를 구비하는 장치의 인물 촬영장치 및 방법 |
US9025051B2 (en) * | 2013-02-28 | 2015-05-05 | Nokia Technologies Oy | Method and apparatus for automatically rendering dolly zoom effect |
JP6031680B2 (ja) * | 2013-03-26 | 2016-11-24 | パナソニックIpマネジメント株式会社 | 撮像装置、カメラボディ、撮像装置の制御方法 |
CN104243787B (zh) * | 2013-06-06 | 2017-09-05 | 华为技术有限公司 | 拍照方法、照片管理方法及设备 |
JP6048898B2 (ja) * | 2013-08-21 | 2016-12-21 | パナソニックIpマネジメント株式会社 | 情報表示装置、情報表示方法および情報表示プログラム |
JP6271988B2 (ja) * | 2013-12-12 | 2018-01-31 | キヤノン株式会社 | 撮像装置およびその制御方法、プログラム |
EP2887640A1 (en) * | 2013-12-23 | 2015-06-24 | Thomson Licensing | Guidance method for taking a picture, apparatus and related computer program product |
JP5753251B2 (ja) * | 2013-12-27 | 2015-07-22 | オリンパス株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP6220679B2 (ja) * | 2014-01-08 | 2017-10-25 | 東芝テック株式会社 | 情報処理装置、店舗システム及びプログラム |
US9215411B2 (en) * | 2014-02-03 | 2015-12-15 | Google Inc. | Enhancing video conferences |
US10235587B2 (en) | 2014-03-04 | 2019-03-19 | Samsung Electronics Co., Ltd. | Method and system for optimizing an image capturing boundary in a proposed image |
US10027884B2 (en) * | 2014-03-05 | 2018-07-17 | Disney Enterprises, Inc. | Method for capturing photographs and videos on a handheld client device without continually observing the device's screen |
JP6370140B2 (ja) | 2014-07-16 | 2018-08-08 | キヤノン株式会社 | ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラムおよび記憶媒体 |
JP6366395B2 (ja) | 2014-07-16 | 2018-08-01 | キヤノン株式会社 | ズーム制御装置、撮像装置、ズーム制御装置の制御方法、被写体検出装置の制御プログラムおよび記憶媒体 |
CN105744148A (zh) | 2014-12-24 | 2016-07-06 | 佳能株式会社 | 变焦控制装置和变焦控制装置的控制方法 |
JP6618255B2 (ja) | 2014-12-24 | 2019-12-11 | キヤノン株式会社 | ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体 |
JP6436761B2 (ja) | 2014-12-24 | 2018-12-12 | キヤノン株式会社 | ズーム制御装置、撮像装置、ズーム制御装置の制御方法、及びズーム制御装置の制御プログラム |
JP6463123B2 (ja) * | 2014-12-24 | 2019-01-30 | キヤノン株式会社 | ズーム制御装置、撮像装置、ズーム制御装置の制御方法、及びズーム制御装置の制御プログラム |
JP6436760B2 (ja) * | 2014-12-24 | 2018-12-12 | キヤノン株式会社 | ズーム制御装置、撮像装置、ズーム制御装置の制御方法、及びズーム制御装置の制御プログラム |
JP6512897B2 (ja) | 2015-03-30 | 2019-05-15 | キヤノン株式会社 | ズーム制御装置、ズーム制御装置の制御方法 |
EP3101889A3 (en) * | 2015-06-02 | 2017-03-08 | LG Electronics Inc. | Mobile terminal and controlling method thereof |
CN105120144A (zh) * | 2015-07-31 | 2015-12-02 | 小米科技有限责任公司 | 图像拍摄方法和装置 |
WO2017026193A1 (ja) * | 2015-08-12 | 2017-02-16 | ソニー株式会社 | 画像処理装置と画像処理方法とプログラムおよび画像処理システム |
CN105357442A (zh) | 2015-11-27 | 2016-02-24 | 小米科技有限责任公司 | 摄像头拍摄角度调整方法及装置 |
JP6735583B2 (ja) | 2016-03-17 | 2020-08-05 | キヤノン株式会社 | ズーム制御装置、撮像装置及びそれらの制御方法、プログラム並びに記憶媒体 |
CN105915782A (zh) * | 2016-03-29 | 2016-08-31 | 维沃移动通信有限公司 | 一种基于人脸识别的照片获取方法和移动终端 |
EP3291531A1 (en) * | 2016-09-06 | 2018-03-07 | Thomson Licensing | Methods, devices and systems for automatic zoom when playing an augmented reality scene |
EP3343286B1 (en) * | 2016-12-27 | 2021-08-18 | Canon Kabushiki Kaisha | Display control apparatus and control method therefor |
KR102422929B1 (ko) * | 2017-08-16 | 2022-07-20 | 삼성전자 주식회사 | 디스플레이장치, 서버 및 그 제어방법 |
JP7283037B2 (ja) | 2018-07-26 | 2023-05-30 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN111586283B (zh) * | 2019-02-19 | 2022-09-27 | 北京小米移动软件有限公司 | 变焦方法及装置 |
CN112839161A (zh) * | 2019-11-22 | 2021-05-25 | 北京小米移动软件有限公司 | 拍摄方法及装置 |
CN115171200B (zh) * | 2022-09-08 | 2023-01-31 | 深圳市维海德技术股份有限公司 | 基于变倍的目标跟踪特写方法、装置、电子设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101241549A (zh) * | 2007-02-09 | 2008-08-13 | 富士胶片株式会社 | 拍摄设备、方法和计算机程序产品 |
US7432973B2 (en) * | 2004-02-18 | 2008-10-07 | Fujifilm Corporation | Digital camera for capturing an image with a predetermined composition |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4290100B2 (ja) * | 2003-09-29 | 2009-07-01 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2007086269A (ja) | 2005-09-21 | 2007-04-05 | Hitachi Kokusai Electric Inc | カメラ装置およびカメラ装置のズームレンズ光学系の焦点距離調節方法 |
JP4254873B2 (ja) * | 2007-02-16 | 2009-04-15 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
JP4804398B2 (ja) * | 2007-03-30 | 2011-11-02 | 三洋電機株式会社 | 撮像装置及び撮影方法 |
US7973848B2 (en) * | 2007-04-02 | 2011-07-05 | Samsung Electronics Co., Ltd. | Method and apparatus for providing composition information in digital image processing device |
JP5114237B2 (ja) * | 2008-02-13 | 2013-01-09 | オリンパスイメージング株式会社 | 撮像装置 |
JP5157647B2 (ja) * | 2008-05-30 | 2013-03-06 | 株式会社ニコン | カメラ |
JP4623193B2 (ja) * | 2008-09-29 | 2011-02-02 | カシオ計算機株式会社 | 撮像装置、撮像方法、及びプログラム |
JP5256974B2 (ja) * | 2008-10-01 | 2013-08-07 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2010183317A (ja) * | 2009-02-05 | 2010-08-19 | Olympus Imaging Corp | 撮像装置、画像合成表示装置、画像合成表示方法、およびプログラム |
KR20110004083A (ko) * | 2009-07-07 | 2011-01-13 | 삼성전자주식회사 | 디지털 영상 처리 장치 및 방법 |
-
2010
- 2010-10-26 JP JP2010239489A patent/JP5725793B2/ja not_active Expired - Fee Related
-
2011
- 2011-10-17 US US13/274,601 patent/US8817161B2/en active Active
- 2011-10-26 CN CN201110329898.3A patent/CN102457664B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7432973B2 (en) * | 2004-02-18 | 2008-10-07 | Fujifilm Corporation | Digital camera for capturing an image with a predetermined composition |
CN101241549A (zh) * | 2007-02-09 | 2008-08-13 | 富士胶片株式会社 | 拍摄设备、方法和计算机程序产品 |
Also Published As
Publication number | Publication date |
---|---|
US8817161B2 (en) | 2014-08-26 |
US20120098992A1 (en) | 2012-04-26 |
JP5725793B2 (ja) | 2015-05-27 |
JP2012095019A (ja) | 2012-05-17 |
CN102457664A (zh) | 2012-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102457664B (zh) | 摄像设备 | |
US10572143B2 (en) | Imaging system and imaging control method with pan/tilt control | |
EP1956831B1 (en) | Focus adjusting device, image pickup apparatus, and focus adjustment method | |
CN101472071B (zh) | 摄影装置 | |
CN103220457B (zh) | 摄像装置、显示方法 | |
US20060044399A1 (en) | Control system for an image capture device | |
US8270824B2 (en) | Attachment lens device, and imaging apparatus incorporating the same | |
US9843727B2 (en) | Image capturing apparatus and image capturing method | |
KR100228613B1 (ko) | 시선검출장치를 구비한 촬상장치 및 조정장치 | |
JP4730478B2 (ja) | 撮像装置、および撮像装置制御方法、並びにプログラム | |
US8908050B2 (en) | Imaging apparatus for changing field angle according to apparatus movement | |
JP2009199049A (ja) | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム | |
JP5885395B2 (ja) | 撮影機器及び画像データの記録方法 | |
CN106210464B (zh) | 摄像装置和摄像装置的控制方法 | |
JP2016076850A (ja) | 撮像装置、撮像装置の制御方法、撮像装置の制御プログラム | |
US10455136B2 (en) | Information processing to indicate focusable areas in an image | |
JP4404805B2 (ja) | 撮像装置 | |
JP2005266520A (ja) | 撮像装置および撮像方法 | |
JP2007314023A (ja) | 運転支援システム | |
CN114947732A (zh) | 检测装置和用于控制检测装置的控制方法 | |
JP5094561B2 (ja) | カメラ | |
JP7479829B2 (ja) | 制御装置、撮像装置、撮像システム、制御方法、および、プログラム | |
JP6307860B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP2018102009A (ja) | 撮像装置、撮像制御装置、撮像方法、撮像制御方法及びプログラム | |
JP2023093075A (ja) | 遠隔操作システム、電子機器、遠隔操作システムの制御方法、プログラムおよび記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |