CN102986208A - 成像装置、图像处理方法和用于在其上记录程序的记录介质 - Google Patents

成像装置、图像处理方法和用于在其上记录程序的记录介质 Download PDF

Info

Publication number
CN102986208A
CN102986208A CN2011800345514A CN201180034551A CN102986208A CN 102986208 A CN102986208 A CN 102986208A CN 2011800345514 A CN2011800345514 A CN 2011800345514A CN 201180034551 A CN201180034551 A CN 201180034551A CN 102986208 A CN102986208 A CN 102986208A
Authority
CN
China
Prior art keywords
image
tracing object
tracking
field picture
monitor screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800345514A
Other languages
English (en)
Other versions
CN102986208B (zh
Inventor
关海克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN102986208A publication Critical patent/CN102986208A/zh
Application granted granted Critical
Publication of CN102986208B publication Critical patent/CN102986208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/38Releasing-devices separate from shutter

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种成像装置包括:设置处理器,其对于特定帧图像,将包括作为追踪对象图像的摇摄模糊拍摄中的追踪拍摄对象图像的图像区域设置为追踪图像区域;搜索处理器,其通过分别对用来设置追踪图像区域的帧图像之后的多个帧图像设置扫描区域,分别在所述帧图像的每个对应帧图像上移动扫描区域,并且在追踪图像区域和扫描区域之间进行图像的特征量的比较,对于所述帧图像,分别获得图像的特征量与追踪图像区域中的图像相似的扫描区域作为包括追踪对象图像的追踪对象存在区域;测量处理器,其通过将对于所述帧图像的一个帧图像获得的追踪对象存在区域的坐标和对于下一帧图像获得的追踪对象存在区域的坐标之间的差除以某个时间间隔,测量在监视器屏幕上的追踪对象图像的移动速度;和显示处理器,其在监视器屏幕上显示对应于追踪对象图像的移动速度的速度显示标记。

Description

成像装置、图像处理方法和用于在其上记录程序的记录介质
技术领域
本发明涉及一种能够在追踪移动的摄影主体时拍摄(所谓的摇摄模糊拍摄(pan-blur shooting))的成像装置、图像处理方法和用于在其上记录程序的记录介质。
背景技术
在追踪移动的摄影主体时拍摄的情况下,作为控制成像装置的方向以便不会使摄影主体从成像装置的监视器屏幕上丢失的方法,提出了控制成像装置的方向使得在摄影主体的移动方向上的前景中的拍摄区域变得比在摄影主体的移动方向上的背景中的拍摄区域大的方法(参见日本专利申请公开号2006-229322)、和控制成像装置的方向使得当追踪摄影主体时摄影主体不会从监视器屏幕消失的方法(参见日本专利申请公开号2009-100454)。
如图1中示意性示出,对于摇摄模糊拍摄,在拍摄高速移动的摄影主体的情况下,当在成像装置(相机)沿移动的摄影主体的移动方向(例如,箭头A的方向)以与监视器屏幕G上的移动的摄影主体的图像O的移动速度相同的速度追踪的同时执行拍摄时,移动的摄影主体被清晰地拍摄,并且作为存在于背景中的静止对象的摄影主体的图像T是流动的(被快速移动),因此使背景变模糊。在通过摇摄模糊拍摄拍下的图像中,摄影主体的高速移动被进一步着重表达。
然而,在摇摄模糊拍摄中,需要具有高超的技术以便使相机的追踪速度和摄影主体的移动速度一致,并且对普通用户来说执行这样的拍摄很难,因此在摇摄模糊拍摄中有很多用户的失败事例。
日本专利申请公开号2006-229322和2009-100454提出了控制成像装置的方向使得在追踪摄影主体时摄影主体不从监视器屏幕G消失的方法。然而,即使摄影主体不从监视器屏幕G消失,如果在屏幕上的摄影主体的移动速度和相机的追踪速度之间存在速度差,则存在问题,使得在摇摄模糊拍摄的情况下在监视器屏幕G上的摄影主体的图像O相对移动,并且使摄影主体的图像O变模糊,因此没有获得合适的摇摄模糊拍摄图像。
发明内容
本发明的目的是提供能够在追踪移动的摄影主体的同时执行摇摄模糊拍摄时获得合适的摇摄模糊拍摄图像的成像装置、图像处理方法和用于在其上记录程序的记录介质。
为了达到以上目的,本发明的实施例提供一种成像装置,包括:设置处理器,其对于经由拍摄光学系统以某个时间间隔获得并且在监视器屏幕上连续地显示的特定帧图像,将包括作为追踪对象图像的摇摄模糊拍摄中的追踪拍摄对象图像的图像区域设置为追踪图像区域;搜索处理器,其分别对用来设置追踪图像区域的帧图像之后的多个帧图像设置用于与追踪图像区域相比较的扫描区域,分别在所述多个帧图像的每个对应帧图像上移动扫描区域,并且在追踪图像区域和扫描区域之间进行图像的特征量的比较,使得对于所述多个帧图像,搜索处理器分别获得图像的特征量与追踪图像区域中的图像相似的扫描区域作为包括追踪对象图像的追踪对象存在区域;测量处理器,其将对于所述多个帧图像的一个帧图像获得的追踪对象存在区域的坐标和对于所述一个帧图像的下一帧图像获得的追踪对象存在区域的坐标之间的差除以所述某个时间间隔,使得测量处理器测量在监视器屏幕上的追踪对象图像的移动速度;和显示处理器,其在监视器屏幕上显示对应于追踪对象图像的移动速度的速度显示标记。
为了达到以上目的,本发明的实施例提供一种图像处理方法,包括:设置处理步骤,其对于经由拍摄光学系统以某个时间间隔获得并且在监视器屏幕上连续地显示的特定帧图像,将包括作为追踪对象图像的摇摄模糊拍摄中的追踪拍摄对象图像的图像区域设置为追踪图像区域;搜索处理步骤,其分别对用来设置追踪图像区域的帧图像之后的多个帧图像设置用于与追踪图像区域相比较的扫描区域,分别在所述多个帧图像的每个对应帧图像上移动扫描区域,并且在追踪图像区域和扫描区域之间进行图像的特征量的比较,使得对于所述多个帧图像,搜索处理步骤分别获得图像的特征量与追踪图像区域中的图像相似的扫描区域作为包括追踪对象图像的追踪对象存在区域;测量处理步骤,其将对于所述多个帧图像的一个帧图像获得的追踪对象存在区域的坐标和对于所述一个帧图像的下一帧图像获得的追踪对象存在区域的坐标之间的差除以所述某个时间间隔,使得测量处理步骤测量在监视器屏幕上的追踪对象图像的移动速度;和显示处理步骤,其在监视器屏幕上显示对应于追踪对象图像的移动速度的速度显示标记。
为了达到以上目的,本发明的实施例提供一种计算机可读记录介质,其用于在其上记录能够被执行的计算机程序,该计算机程序包括:设置处理步骤,其对于经由拍摄光学系统以某个时间间隔获得并且在监视器屏幕上连续地显示的特定帧图像,将包括作为追踪对象图像的摇摄模糊拍摄中的追踪拍摄对象图像的图像区域设置为追踪图像区域;搜索处理步骤,其分别对用来设置追踪图像区域的帧图像之后的多个帧图像设置用于与追踪图像区域相比较的扫描区域,分别在所述多个帧图像的每个对应帧图像上移动扫描区域,并且在追踪图像区域和扫描区域之间进行图像的特征量的比较,使得对于所述多个帧图像,搜索处理步骤分别获得图像的特征量与追踪图像区域中的图像相似的扫描区域作为包括追踪对象图像的追踪对象存在区域;测量处理步骤,其将对于所述多个帧图像的一个帧图像获得的追踪对象存在区域的坐标和对于所述一个帧图像的下一帧图像获得的追踪对象存在区域的坐标之间的差除以所述某个时间间隔,使得测量处理步骤测量在监视器屏幕上的追踪对象图像的移动速度;和显示处理步骤,其在监视器屏幕上显示对应于追踪对象图像的移动速度的速度显示标记。
附图说明
图1是示意性示出执行摇摄模糊拍摄的情况的示例的说明图。
图2是根据本发明实施例的使用摇摄模糊拍摄的数字相机的外部视图。
图3是示出根据本发明实施例的用于摇摄模糊拍摄的每个处理器的主要构造的方框图。
图4是示出N个帧图像的示例的示意图。
图5是用于追踪图像区域的设置的解释的帧图像。
图6A和6B是示出追踪图像区域、扫描区域和追踪对象存在区域之间的关系的帧图像的示意图,其中图6A是设置了追踪图像区域的帧图像,图6B是示出通过使用扫描区域搜索追踪对象存在区域的状态的帧图像。
图7是示出在监视器屏幕上显示的速度显示标记的图。
图8是图2中示出的数字相机的框图。
图9是示出根据本发明的实施例的图像处理的处理步骤的流程图。
图10是示出通过摇摄模糊拍摄获得的帧图像的图。
具体实施方式
在下文中,将参照附图说明根据本发明的实施例的成像装置。
首先,将参照图2和图3说明应用本发明的成像装置的图像处理。
图2是应用本发明的成像装置的透视图,并且在图2中,参考标号1表示相机机身,参考标号2表示具有拍摄光学系统的镜头筒。
例如在执行摇摄模糊拍摄的情况下,在相机机身1的背面提供的监视器屏幕G上显示菜单屏幕,设置摇摄模糊拍摄模式和N个帧图像的连续拍摄模式。
图3是示出摇摄模糊拍摄模式中的图像处理的每个处理器的框图。在图3中,参考标号3表示设置处理器,参考标号4表示搜索处理器,参考标号5表示测量处理器,参考标号6表示显示处理器,参考标号7表示自动拍摄处理器,以及参考标号G表示监视器屏幕。
由显示处理器6在监视器屏幕G上将经由拍摄光学系统获得的帧图像数据显示为帧图像,并且将该帧图像数据输入设置处理器3。
在此,如图4所示,在设置处理器3中,在摇摄模糊拍摄模式中,输入对应于N个帧图像的帧图像F0到FN的帧图像数据。在图4中,将帧图像F0的摄影主体图像T和O示出为摄影主体图像的示例。
如图5所示,设置处理器3基于经由拍摄光学系统获得的对应于帧图像F0的帧图像数据,将包括作为摇摄模糊拍摄中的追踪拍摄对象的摄影主体图像O的图像区域设置为追踪图像区域Q。
当数字相机瞄准摄影主体时,对应于移动的摄影主体的摄影主体图像O移动并且被显示在监视器屏幕G上。在将移动的摄影主体作为摇摄模糊拍摄中的追踪拍摄对象的情况下,将摄影主体图像O作为追踪对象图像O’,并且追踪该追踪对象图像O’。
在设置处理器3中,连续输入经由拍摄光学系统依序获得的、对应于图4中示出的帧图像F0到FN的帧图像数据,并且实时地,连续显示对应于帧图像F0到FN的摄影主体图像O,以便在图2和图3中示出的监视器屏幕G上监控。
将通过使用帧图像F0到FN解释以下说明,并且帧图像F0到FN表示实时显示在监视器屏幕G上的图像。
用户将包括来自在监视器屏幕G上显示的帧图像F0中的摄影主体图像T和O的、作为摇摄模糊拍摄中的追踪拍摄对象的摄影主体图像O的图像区域设置为追踪图像区域Q。
例如,对于图5中示出的帧图像F0(在监视器屏幕G上显示的图像),通过由用户触摸监视器屏幕G上的每个点A、B、C和D(四个点),由设置处理器3将由所指定的点A、B、C和D中的每一个包围的矩形框设置为包括摄影主体图像O的追踪图像区域Q。
此外,例如在图5中示出的监视器屏幕G上,通过指定摄影主体图像O的点P,可以由设置处理器3设置预定大小的矩形框(将点P作为对角线的交点的矩形框),并且可以将矩形框的内部设置为包括摄影主体图像O的追踪图像区域Q。
此外,在此情况下,可以由设置处理器3将具有大对比度差异的图像区域自动设置为追踪图像区域Q。
将存在于图6A中示出的追踪图像区域Q中的摄影主体图像O作为追踪对象图像O’。
如图6B中所示,搜索处理器4对按时间顺序在帧图像F0之后的帧图像F1到FN中的每一个设置用于与追踪图像区域Q相比较的扫描区域Q”,并且在按时间顺序在帧图像F0之后的帧图像F1到FN中的每一个的追踪图像区域Q和扫描区域Q”之间进行图像的特征量的比较,使得搜索处理器4确定扫描区域Q”是否是包括追踪对象图像O’的追踪对象存在区域Q’。
因此,搜索处理器4获得按时间顺序连续的追踪对象存在区域Q’。
也就是说,搜索处理器4将在帧图像F0中设置的追踪图像区域Q作为模板,并且例如在图6A中示出的帧图像F0的下一帧图像F1的搜索区域S中,通过以预定的顺序沿右方向和下方向中的每一个设置扫描区域Q”并且在存在于追踪图像区域Q中的图像的特征量和存在于扫描区域Q”中的图像的特征量之间反复进行比较,如图6B中所示,搜索处理器4确定与存在于追踪图像区域Q中的图像相似度最高的扫描区域Q”是包括追踪对象图像O’的追踪对象存在区域Q’。
在图6B中,将对应于围绕追踪图像区域Q的矩形框的每个点A、B、C和D的围绕扫描区域Q”的矩形框的每个点标记为A”、B”、C”和D”,同样地,将围绕追踪对象存在区域Q’的矩形框的每个点标记为A’、B’、C’和D’。
在此实施例中,搜索区域S是帧图像F1的全部区域,然而其不限于此。
以时间间隔△t依序获得帧图像F0到FN(N是正整数),并且对于依序获得的帧图像F0到FN中的每一个,确定追踪对象存在区域Q’。
将在其上执行搜索的帧图像作为帧图像Fi(i是满足1≤i≤N的整数)。
测量处理器5将对于帧图像Fi-1获得的监视器屏幕G上的追踪对象存在区域Q’的坐标和对于帧图像Fi获得的监视器屏幕G上的追踪对象存在区域Q’的坐标之间的差(即追踪对象存在区域Q’的位移)除以帧图像的获得时间间隔△t,使得测量处理器5测量监视器屏幕G上的追踪对象图像O’的移动速度。
显示处理器6执行显示处理,该显示处理在图7中示出的监视器屏幕G上显示箭头作为对应于通过以上测量获得的追踪对象图像O’的移动速度的速度显示标记VM。
例如,对于存在于帧图像F0的追踪图像区域Q中的摄影主体图像O和存在于帧图像F1的扫描区域Q”中的图像之间的相似度的计算,使用通过存在于追踪图像区域Q中的每个像素获得的亮度柱状图(histogram)和通过存在于扫描区域Q”中的每个像素获得的亮度柱状图。
例如,将通过追踪图像区域Q中的每个像素获得的亮度柱状图作取作q=[q1,q2,…,qn]。符号q1,q2,…,qn中的每一个分别是亮度等级为“1”的像素的数目,亮度等级为“2”的像素的数目,……,亮度等级为“n”的像素的数目。
并且,将通过扫描区域Q”中的每个像素获得的亮度柱状图取为p=[p1,p2,…,pn]。符号p1,p2,…,pn中的每一个分别是亮度等级为“1”的像素的数目,亮度等级为“2”的像素的数目,……,亮度等级为“n”的像素的数目。
当获得每个亮度柱状图时,为了使亮度柱状图中的区域(area)变化的影响最小,对追踪图像区域Q和扫描区域Q”中的每一个的所有像素执行归一化(normalization)。
通过以下公式1获得追踪图像区域Q和扫描区域Q”之间的相似度Sim。
【公式1】
Sim = Σ u = 1 n p u * q u
将相似度Sim最大的扫描区域Q”作为帧图像F1中的追踪对象存在区域Q’。
搜索处理器4以时间间隔△t执行这样的处理,以便比较亮度柱状图并且在帧图像F1到FN中的每一个上搜索相似度Sim最大的扫描区域Q”。
每次获得追踪对象存在区域Q’,对于对每个帧图像获得的追踪对象存在区域Q’,测量处理器5基于从帧图像Fi-1获得的监视器屏幕G上的追踪对象存在区域Q’的坐标和从帧图像Fi获得的监视器屏幕G上的追踪对象图像存在区域Q’的坐标之间的差,即基于追踪对象存在区域Q’的位移,执行以下计算,以便获得存在于监视器屏幕G上的追踪对象存在区域Q’中的追踪对象图像O’的移动速度。
例如,将以下公式2和公式3用于以上计算,
【公式2】
V x = x ′ - x Δt
【公式3】
V y = y ′ - y Δt
在此,Vx是监视器屏幕G上的沿水平方向的速度,并且Vy是监视器屏幕G上的沿垂直方向的速度。坐标(x’,y’)和坐标(x,y)中的每一个是帧图像F0上的坐标和帧图像F1上的坐标中的每一个,其指定监视器屏幕G上的追踪对象存在区域Q’的位置。△t是帧图像的获得时间间隔。
总地来说,监视器屏幕G上的追踪对象图像O’的移动速度是将帧图像Fi中的监视器屏幕G上的追踪对象存在区域Q’的坐标和帧图像Fi-1中的监视器屏幕G上的追踪对象存在区域Q’的坐标之间的差(即,追踪对象存在区域Q’的位移)除以获得时间间隔△t的值。
基于由测量处理器5获得的移动速度,如图7所示,显示处理器6在监视器屏幕G上显示箭头作为速度显示标记VM。速度显示标记VM表示箭头的长度越长,监视器屏幕G上的追踪对象图像O’的移动速度越快。即,在摇摄模糊拍摄中的追踪拍摄对象的移动速度快。
用户对应于摄影主体的移动而移动相机以便使箭头的长度更短,从而可以追踪摄影主体并且执行合适的摇摄模糊拍摄。
自动拍摄处理器7确定测量处理器5的测量结果。并且,当监视器屏幕G上的追踪对象存在区域Q’的移动速度(即追踪对象图像O’的移动速度)变得小于或等于预定的阈值时,自动执行拍摄,并且获得摇摄模糊拍摄图像。
在下文中,将说明作为具有那些处理器的成像装置的示例的数字相机的硬件构造。
图8是示出数字相机的硬件构造的框图。数字相机包括拍摄光学系统11、机械快门12、CCD(电荷耦合器件)13、CDS(相关双采样)电路14、A/D(模拟-数字)转换器15、图像处理器(图像处理电路)16、具有监视器屏幕G的液晶显示器(LCD)17、CPU(中央处理单元)18、RAM(随机存取存储器)19、ROM(只读存储器)20、SDRAM(同步动态随机存取存储器)21、压缩/解压缩部件22、存储卡23、操作部件24、定时信号生成器25和马达26。
在拍摄光学系统11和CCD13之间布置机械快门12,并且机械快门12用于阻挡来自摄影主体的光入射在CCD13上。由马达26驱动拍摄光学系统11的聚焦透镜等和机械快门12。
当数字相机瞄准摄影主体时,通过拍摄光学系统11将来自摄影主体的光输入到CCD13上。
CCD13将通过光学系统11输入的光的图像信息转换为模拟图像信号并且输出该模拟图像信号。从CCD13输出的图像信号中,由CDS电路14移除噪声成分,接着A/D转换器15将其转换为数字信号,该数字信号被输入到图像处理器16。
图像处理器16从输入的数字信号生成每个图像帧的图像数据。并且,生成的每个图像帧的图像数据被临时存储在SDRAM21中,并且图像处理器16对存储的图像数据执行各种图像处理,例如YCrCb转换处理、白平衡控制处理、对比度补偿处理、边缘增强处理和颜色转换处理等。
在白平衡控制处理中,调整图像的色彩深度,并且在对比度补偿处理中,调整图像的对比度。在边缘增强处理中,调整图像的锐度,并且在颜色转换处理中,调整图像的颜色。由图像处理器16在LCD17的监视器屏幕G上显示对其执行了信号处理和图像处理的图像数据。
经由压缩/解压缩部件22将对其执行了信号处理和图像处理的图像数据记录在存储卡23上。依照从操作部件24获得的指令,压缩/解压缩部件22压缩从图像处理器16输出的图像数据并且将其输出到存储卡23,以及解压缩从存储卡23读取的图像数据并且将其输出到图像处理器16。
CCD13、CDS电路14和A/D转换器15的每个定时由CPU18经由生成定时信号的定时信号生成器25控制。图像处理器16、压缩/解压缩部件22和存储卡23全部由CPU18控制。
CPU18、ROM20和RAM19经由总线相互连接,ROM20是只读存储器并且在其中存储程序等,RAM19是具有在各种处理中使用的工作区域和用于各种数据的存储区域等的可自由读取和写入的存储器。CPU18依照程序执行各种算术处理。
由此数字相机执行的图像处理程序是包括追踪摄影主体和测量监视器屏幕G上的摄影主体的移动速度的功能的模块构造。
在执行以上图像处理程序的情况下,CPU18从作为记录介质的ROM20加载写入了图3中示出的每个处理器的处理步骤的程序,并且基于该程序,执行追踪对象图像O’的速度的计算,执行数字相机的监视器屏幕G的显示的控制,执行图像拍摄和图像处理,压缩图像和在存储卡23中生成摇摄模糊拍摄图像数据。
在下文中,将参照图9中示出的流程图说明摇摄模糊拍摄的执行。
将包括正在移动的摄影主体图像O的图像输入到图像处理器16,并且将该图像显示在LCD17的监视器屏幕G上。
例如,当用户看着监视器屏幕G的同时触摸监视器屏幕G时,输入用户触摸的监视器屏幕G上的位置的坐标,并且设置包括作为摇摄模糊拍摄中的追踪拍摄对象的摄影主体图像O的追踪图像区域Q(步骤S.1)。
CPU18首先充当设置处理器3,并且依照追踪程序在追踪图像区域Q中选择高对比度区域,并且将追踪图像区域Q设置为包括追踪对象图像O’的追踪对象存在区域Q’。
接着,计算追踪图像区域Q中的图像的特征量(步骤S.2)。
CPU18以时间间隔△t获得与在监视器屏幕G上实时显示为移动图像的帧图像相对应的帧图像,并且将连续的两个帧图像的数据存储在SDRAM21中。
将存储的两个帧图像作为帧图像Fi和帧图像Fi-1,并且CPU18将帧图像Fi的那些帧图像数据和帧图像Fi-1的帧图像数据用于追踪处理。
接下来,CPU18充当搜索处理器4,并且对帧图像F0之后的帧图像F1到FN中的每一个设置扫描区域Q”,并且在搜索区域S中改变扫描区域Q”的位置,并且执行对于追踪对象存在区域Q’的搜索(步骤S.3)。
每次改变扫描区域Q”的位置,CPU18都计算扫描区域Q”中的图像的特征量(步骤S.4)。并且CPU18执行扫描区域Q”中的图像的特征量和追踪图像区域Q中的图像的特征量之间的相似度的计算(步骤S.5),并且在扫描区域Q”中的图像和追踪图像区域Q中的图像之间进行比较(步骤S.6)。直到搜索区域S中的搜索完成(步骤S.7),CPU18执行步骤S.3到S.7的搜索处理,并且如果有相似度最高的扫描区域Q”,CPU18确定其为追踪对象存在区域Q’(步骤S.8)。
接下来,对于正在其上执行搜索的帧图像Fi,CPU18确定是否获得追踪对象存在区域Q’(步骤S.9)。当对于帧图像Fi没有获得追踪对象存在区域Q’时,CPU18确定帧图像Fi是否是第N个帧图像(S.10)。在帧图像Fi不是第N个帧图像的情况下,处理回到步骤S.3,并且CPU18对其中还未执行搜索的帧图像Fi+1执行搜索处理。
在步骤S.10中,在帧图像Fi是第N个帧图像的情况下,停止摇摄模糊拍摄模式的执行,并且返回到正常拍摄模式。
对于正在其上执行搜索的帧图像Fi,在获得追踪对象存在区域Q’的情况下,CPU18充当测量处理器5,并且基于对于帧图像Fi-1获得的追踪对象存在区域Q’的帧图像数据和对于帧图像Fi获得的追踪对象存在区域Q’的帧图像数据,计算监视器屏幕G上的追踪对象图像O’的移动速度(步骤S.11)。
CPU18基于移动速度的结果在LCD17上输出显示数据。因此,在监视器屏幕G上,与追踪对象存在区域Q’一起显示对应于监视器屏幕G上的追踪对象图像O’的移动速度的速度显示标记VM(步骤S.12)。
依照速度显示标记VM的箭头,用户沿箭头指示的方向移动相机机身1。如果箭头的长度变得更短,相机机身1的移动速度变得更接近追踪对象图像O’的移动速度,因此用户可以认识到相机机身1的移动速度变得更接近摄影主体的移动速度。
CPU18确定监视器屏幕G上的追踪对象存在区域Q’中的追踪对象图像O’的移动速度是否小于或等于预定的阈值(步骤S.13),并且在移动速度小于或等于预定的阈值的情况下,自动执行拍摄(步骤S.14)。因此,获得合适的摇摄模糊拍摄图像。接着,返回到正常拍摄模式。
在监视器屏幕G上的追踪对象存在区域Q’中的追踪对象图像O’的移动速度不小于或等于预定的阈值的情况下,处理回到步骤S.3,并且CPU18重复执行在步骤S.3之后的处理,并且当对于N个帧图像完成处理时,CPU18停止摇摄模糊拍摄,并且返回到正常拍摄模式。
在摇摄模糊拍摄中,在单个拍摄模式中可以拍下一个摇摄模糊拍摄图像,并且在连续拍摄模式中可以拍下多个摇摄模糊拍摄图像。
对通过以上摇摄模糊拍摄获得的图像数据执行信号处理和图像处理,接着由压缩/解压缩部件22执行预定的处理,并且将处理后的图像数据记录在存储卡23中。
例如,如图10所示,在连续拍摄模式中,当速度显示标记VM的箭头的长度变得小于或等于预定的阈值时,释放快门,并且执行连续拍摄。并且当速度显示标记VM的箭头的长度变得等于或大于预定的阈值时,停止连续拍摄。因此,获得多个一系列的摇摄模糊拍摄图像。用户可以选择所述多个一系列的摇摄模糊拍摄图像中的合适的摇摄模糊拍摄图像。因此,用户可以可靠地获得合适的摇摄模糊拍摄图像。
在追踪对象存在区域Q’的追踪对象图像O’的移动速度变得小于或等于预定的阈值的情况下,可以执行摇摄模糊拍摄,使得将曝光时间设置为比通过测光计算获得的曝光时间更长并且释放相机快门。
因此,可大大增强摇摄模糊拍摄图像的效果。曝光时间变得越长,存在于背景中的对象图像流动的模糊效果增强得越多。
此外,如果追踪对象存在区域Q’的移动速度变得小于或等于预定的阈值,则可以在比通过测光计算获得的曝光时间更短的曝光时间和更长的曝光时间之间改变每个帧图像数据的曝光时间的同时,执行连续的摇摄模糊拍摄。
当执行上述连续的摇摄模糊拍摄时,在对于帧图像F1到FN中的每一个改变曝光时间的同时,获得具有不同效果的多个摇摄模糊拍摄图像。
连续拍下的一系列的摇摄模糊拍摄图像的曝光时间越长,背景流动的模糊效果增强得越多。
根据本发明的实施例,由于当由测量处理器获得的追踪对象图像的移动速度小于或等于预定的阈值时自动执行拍摄,因此可以可靠地执行摇摄模糊拍摄。
此外,在此情况下,连续拍下多个摇摄模糊拍摄图像,因此可以稍后选择摇摄模糊拍摄图像中的理想的拍摄图像。
此外,由于将拍摄曝光时间设置为长并且执行拍摄,因此可以增强摇摄模糊拍摄图像的拍摄效果。
根据本发明的实施例,由于在改变拍摄曝光时间的同时连续获得多个摇摄模糊拍摄拍摄图像,因此可以一次获得具有不同拍摄效果的多个摇摄模糊拍摄图像。
在将对于每个区域获得的亮度柱状图作为图像的特征量的情况下,可以对亮度柱状图使用现有的图像处理技术。
根据本发明的实施例,即使用户不是有高超的拍摄技术的专业摄影师,也可以简单地和可靠地执行摇摄模糊拍摄。
虽然根据示例实施例描述了本发明,但是本发明不限于此。应该认识到本领域的技术人员在所述实施例中可以进行变更而不背离由所附权利要求限定的本发明的范围。
相关申请的交叉引用
本申请基于2010年5月14日提交的日本专利申请号2010-111748并且要求来自该日本专利申请的优先权,其公开特此通过引用整体合并于此。

Claims (12)

1.一种成像装置,包括:
设置处理器,其对于经由拍摄光学系统以某个时间间隔获得并且在监视器屏幕上连续地显示的特定帧图像,将包括作为追踪对象图像的摇摄模糊拍摄中的追踪拍摄对象图像的图像区域设置为追踪图像区域;
搜索处理器,其分别对用来设置追踪图像区域的帧图像之后的多个帧图像设置用于与追踪图像区域相比较的扫描区域,分别在所述多个帧图像的每个对应帧图像上移动扫描区域,并且在追踪图像区域和扫描区域之间进行图像的特征量的比较,使得对于所述多个帧图像,搜索处理器分别获得图像的特征量与追踪图像区域中的图像相似的扫描区域作为包括追踪对象图像的追踪对象存在区域;
测量处理器,其将对于所述多个帧图像的一个帧图像获得的追踪对象存在区域的坐标和对于所述一个帧图像的下一帧图像获得的追踪对象存在区域的坐标之间的差除以所述某个时间间隔,使得测量处理器测量在监视器屏幕上的追踪对象图像的移动速度;和
显示处理器,其在监视器屏幕上显示对应于追踪对象图像的移动速度的速度显示标记。
2.如权利要求1所述的成像装置,包括自动拍摄处理器,当由测量处理器获得的追踪对象图像的移动速度小于或等于预定的阈值时,该自动拍摄处理器自动执行拍摄。
3.如权利要求2所述的成像装置,其中自动拍摄处理器通过连续拍摄获得多个摇摄模糊拍摄图像。
4.如权利要求2所述的成像装置,其中自动拍摄处理器设置比适当的曝光时间更长的拍摄时的曝光时间,并且当追踪对象图像的移动速度小于或等于预定的阈值时执行拍摄。
5.如权利要求3所述的成像装置,其中自动拍摄处理器通过在改变拍摄曝光时间的同时连续拍摄,获得多个摇摄模糊拍摄图像。
6.如权利要求1所述的成像装置,其中图像的特征量是通过每个区域中的每个像素获得的亮度柱状图。
7.一种图像处理方法,包括:
设置处理步骤,其对于经由拍摄光学系统以某个时间间隔获得并且在监视器屏幕上连续地显示的特定帧图像,将包括作为追踪对象图像的摇摄模糊拍摄中的追踪拍摄对象图像的图像区域设置为追踪图像区域;
搜索处理步骤,其分别对用来设置追踪图像区域的帧图像之后的多个帧图像设置用于与追踪图像区域相比较的扫描区域,分别在所述多个帧图像的每个对应帧图像上移动扫描区域,并且在追踪图像区域和扫描区域之间进行图像的特征量的比较,使得对于所述多个帧图像,搜索处理步骤分别获得图像的特征量与追踪图像区域中的图像相似的扫描区域作为包括追踪对象图像的追踪对象存在区域;
测量处理步骤,其将对于所述多个帧图像的一个帧图像获得的追踪对象存在区域的坐标和对于所述一个帧图像的下一帧图像获得的追踪对象存在区域的坐标之间的差除以所述某个时间间隔,使得测量处理步骤测量在监视器屏幕上的追踪对象图像的移动速度;和
显示处理步骤,其在监视器屏幕上显示对应于追踪对象图像的移动速度的速度显示标记。
8.如权利要求7所述的图像处理方法,包括自动拍摄处理步骤,当由测量处理步骤获得的追踪对象图像的移动速度小于或等于预定的阈值时,该自动拍摄处理步骤自动执行拍摄。
9.如权利要求8所述的图像处理方法,其中自动拍摄处理步骤通过连续拍摄获得多个摇摄模糊拍摄图像。
10.如权利要求8所述的图像处理方法,其中自动拍摄处理步骤设置比适当的曝光时间更长的拍摄时的曝光时间,并且当追踪对象图像的移动速度小于或等于预定的阈值时执行拍摄。
11.如权利要求9所述的图像处理方法,其中自动拍摄处理步骤通过在改变拍摄曝光时间的同时连续拍摄,获得多个摇摄模糊拍摄图像。
12.一种计算机可读记录介质,用于在其上记录能够被执行的计算机程序,该计算机程序包括:
设置处理步骤,其对于经由拍摄光学系统以某个时间间隔获得并且在监视器屏幕上连续地显示的特定帧图像,将包括作为追踪对象图像的摇摄模糊拍摄中的追踪拍摄对象图像的图像区域设置为追踪图像区域;
搜索处理步骤,其分别对用来设置追踪图像区域的帧图像之后的多个帧图像设置用于与追踪图像区域相比较的扫描区域,分别在所述多个帧图像的每个对应帧图像上移动扫描区域,并且在追踪图像区域和扫描区域之间进行图像的特征量的比较,使得对于所述多个帧图像,搜索处理步骤分别获得图像的特征量与追踪图像区域中的图像相似的扫描区域作为包括追踪对象图像的追踪对象存在区域;
测量处理步骤,其将对于所述多个帧图像的一个帧图像获得的追踪对象存在区域的坐标和对于所述一个帧图像的下一帧图像获得的追踪对象存在区域的坐标之间的差除以所述某个时间间隔,使得测量处理步骤测量在监视器屏幕上的追踪对象图像的移动速度;和
显示处理步骤,其在监视器屏幕上显示对应于追踪对象图像的移动速度的速度显示标记。
CN201180034551.4A 2010-05-14 2011-05-12 成像装置、图像处理方法和用于在其上记录程序的记录介质 Active CN102986208B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010111748A JP5589548B2 (ja) 2010-05-14 2010-05-14 撮像装置、画像処理方法、及びプログラム記憶媒体
JP2010-111748 2010-05-14
PCT/JP2011/061466 WO2011142480A1 (en) 2010-05-14 2011-05-12 Imaging apparatus, image processing method, and recording medium for recording program thereon

Publications (2)

Publication Number Publication Date
CN102986208A true CN102986208A (zh) 2013-03-20
CN102986208B CN102986208B (zh) 2016-10-12

Family

ID=44914526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180034551.4A Active CN102986208B (zh) 2010-05-14 2011-05-12 成像装置、图像处理方法和用于在其上记录程序的记录介质

Country Status (7)

Country Link
US (1) US9057932B2 (zh)
EP (1) EP2569934B1 (zh)
JP (1) JP5589548B2 (zh)
KR (1) KR101489048B1 (zh)
CN (1) CN102986208B (zh)
TW (1) TWI527448B (zh)
WO (1) WO2011142480A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103327251A (zh) * 2013-06-24 2013-09-25 腾讯科技(深圳)有限公司 一种多媒体拍摄处理方法、装置及终端设备
CN105472231A (zh) * 2014-09-03 2016-04-06 联想(北京)有限公司 控制方法、图像采集装置和电子设备
CN105763766A (zh) * 2016-02-29 2016-07-13 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN102986208B (zh) * 2010-05-14 2016-10-12 株式会社理光 成像装置、图像处理方法和用于在其上记录程序的记录介质
CN108345415A (zh) * 2017-01-25 2018-07-31 辛纳普蒂克斯公司 利用对象速度信息的对象追踪
CN108694216A (zh) * 2017-04-12 2018-10-23 杭州海康威视数字技术股份有限公司 一种多源对象关联方法及装置
CN110036629A (zh) * 2016-09-30 2019-07-19 株式会社尼康 拍摄装置、程序以及电子设备
CN110741627A (zh) * 2017-06-21 2020-01-31 富士胶片株式会社 摄像装置、摄像装置的控制方法及摄像装置的控制程序
CN113785298A (zh) * 2019-05-03 2021-12-10 丰田汽车欧洲股份有限公司 用于追踪对象的图像获取设备
CN115278079A (zh) * 2022-07-27 2022-11-01 维沃移动通信有限公司 拍摄方法及其装置
CN115334243A (zh) * 2022-08-23 2022-11-11 维沃移动通信有限公司 拍摄方法及其装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6106921B2 (ja) 2011-04-26 2017-04-05 株式会社リコー 撮像装置、撮像方法および撮像プログラム
KR101483827B1 (ko) * 2012-12-28 2015-01-16 삼성전기주식회사 자동 초점 조절 장치 및 연속 자동 초점 조절 방법
JP2016140030A (ja) 2015-01-29 2016-08-04 株式会社リコー 画像処理装置、撮像装置、及び画像処理プログラム
JP6525724B2 (ja) * 2015-05-20 2019-06-05 キヤノン株式会社 パンニング情報表示装置、パンニング情報の表示処理を実行する方法およびパンニング情報表示プログラム
CN105100634B (zh) * 2015-07-09 2019-03-15 小米科技有限责任公司 图像拍摄方法及装置
US9628720B2 (en) 2015-08-12 2017-04-18 Qualcomm Incorporated System and method to control an imaging process
JP6728634B2 (ja) 2015-11-04 2020-07-22 株式会社リコー 検知装置、検知方法及びプログラム
JP6994901B2 (ja) * 2017-10-24 2022-01-14 キヤノン株式会社 制御装置、制御方法、及びプログラム
JP7147199B2 (ja) * 2018-03-16 2022-10-05 ソニーグループ株式会社 信号処理装置及び信号処理方法
US10602107B2 (en) 2018-03-23 2020-03-24 Delta Electronics, Inc. Projection display apparatus and display method
CN111479062B (zh) * 2020-04-15 2021-09-28 上海摩象网络科技有限公司 目标对象的跟踪框显示方法、设备及手持相机
WO2024085506A1 (ko) * 2022-10-21 2024-04-25 삼성전자주식회사 이미지를 획득하기 위한 전자 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074143A (ja) * 2005-09-05 2007-03-22 Canon Inc 撮像装置及び撮像システム
US20090135261A1 (en) * 2007-11-22 2009-05-28 Casio Computer Co., Ltd. Imaging apparatus and recording medium
US20090268074A1 (en) * 2008-03-07 2009-10-29 Panasonic Corporation Imaging apparatus and imaging method
JP2009302794A (ja) * 2008-06-12 2009-12-24 Canon Inc 撮像装置
JP2010041299A (ja) * 2008-08-04 2010-02-18 Nikon Corp 電子カメラ

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09186927A (ja) 1995-12-28 1997-07-15 Sony Corp 追尾装置および追尾方法
JP3541820B2 (ja) * 2001-07-04 2004-07-14 ミノルタ株式会社 撮像装置及び撮像方法
US7079912B2 (en) * 2002-11-25 2006-07-18 Philip Morris Usa Inc. System and method for high speed control and rejection
KR100689420B1 (ko) * 2004-06-02 2007-03-08 삼성전자주식회사 휴대용 단말기의 오토포커싱 방법
ATE553456T1 (de) * 2005-02-03 2012-04-15 Bracco Imaging Spa Verfahren und computerprogrammprodukt zur registrierung biomedizinischer bilder mit verminderten objektbewegungsbedingten bildgebungsartefakten
JP4699040B2 (ja) 2005-02-15 2011-06-08 パナソニック株式会社 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
JP2006295350A (ja) 2005-04-07 2006-10-26 Sony Corp 撮像装置及び撮像結果の処理方法
WO2006110765A1 (en) * 2005-04-11 2006-10-19 Fall Prevention Technologies, Llc Display of ocular movement
US7945938B2 (en) 2005-05-11 2011-05-17 Canon Kabushiki Kaisha Network camera system and control method therefore
WO2007108458A1 (ja) * 2006-03-23 2007-09-27 Matsushita Electric Industrial Co., Ltd. コンテンツ撮影装置
JP4717701B2 (ja) * 2006-04-24 2011-07-06 キヤノン株式会社 撮像システム、撮影方向制御方法、及びプログラム
CN101346047B (zh) 2007-07-13 2010-06-02 富葵精密组件(深圳)有限公司 多层电路板制作方法及用于制作多层电路板的内层基板
JP2009100454A (ja) 2007-09-26 2009-05-07 Victor Co Of Japan Ltd 移動物体追尾制御装置
JP5740844B2 (ja) 2009-11-24 2015-07-01 株式会社リコー 撮像装置、画像処理方法、及び、コンピュータプログラム
JP2011193443A (ja) 2010-02-16 2011-09-29 Ricoh Co Ltd 物体追尾装置
JP5589548B2 (ja) * 2010-05-14 2014-09-17 株式会社リコー 撮像装置、画像処理方法、及びプログラム記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074143A (ja) * 2005-09-05 2007-03-22 Canon Inc 撮像装置及び撮像システム
US20090135261A1 (en) * 2007-11-22 2009-05-28 Casio Computer Co., Ltd. Imaging apparatus and recording medium
JP2009130628A (ja) * 2007-11-22 2009-06-11 Casio Comput Co Ltd 撮像装置及びそのプログラム
US20090268074A1 (en) * 2008-03-07 2009-10-29 Panasonic Corporation Imaging apparatus and imaging method
JP2009302794A (ja) * 2008-06-12 2009-12-24 Canon Inc 撮像装置
JP2010041299A (ja) * 2008-08-04 2010-02-18 Nikon Corp 電子カメラ

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102986208B (zh) * 2010-05-14 2016-10-12 株式会社理光 成像装置、图像处理方法和用于在其上记录程序的记录介质
CN103327251A (zh) * 2013-06-24 2013-09-25 腾讯科技(深圳)有限公司 一种多媒体拍摄处理方法、装置及终端设备
WO2014206274A1 (en) * 2013-06-24 2014-12-31 Tencent Technology (Shenzhen) Company Limited Method, apparatus and terminal device for processing multimedia photo-capture
CN103327251B (zh) * 2013-06-24 2016-03-02 腾讯科技(深圳)有限公司 一种多媒体拍摄处理方法、装置及终端设备
CN105472231A (zh) * 2014-09-03 2016-04-06 联想(北京)有限公司 控制方法、图像采集装置和电子设备
CN105763766A (zh) * 2016-02-29 2016-07-13 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN105763766B (zh) * 2016-02-29 2020-05-15 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN110036629A (zh) * 2016-09-30 2019-07-19 株式会社尼康 拍摄装置、程序以及电子设备
CN110036629B (zh) * 2016-09-30 2021-08-24 株式会社尼康 拍摄装置、由拍摄装置执行的方法
CN108345415A (zh) * 2017-01-25 2018-07-31 辛纳普蒂克斯公司 利用对象速度信息的对象追踪
CN108345415B (zh) * 2017-01-25 2023-06-30 豪威Tddi安大略有限合伙公司 利用对象速度信息的对象追踪
CN108694216A (zh) * 2017-04-12 2018-10-23 杭州海康威视数字技术股份有限公司 一种多源对象关联方法及装置
CN108694216B (zh) * 2017-04-12 2020-11-27 杭州海康威视数字技术股份有限公司 一种多源对象关联方法及装置
CN110741627A (zh) * 2017-06-21 2020-01-31 富士胶片株式会社 摄像装置、摄像装置的控制方法及摄像装置的控制程序
US11064135B2 (en) 2017-06-21 2021-07-13 Fujifilm Corporation Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus
CN110741627B (zh) * 2017-06-21 2021-10-29 富士胶片株式会社 摄像装置、摄像装置的控制方法及摄像装置的控制程序
CN113785298A (zh) * 2019-05-03 2021-12-10 丰田汽车欧洲股份有限公司 用于追踪对象的图像获取设备
CN115278079A (zh) * 2022-07-27 2022-11-01 维沃移动通信有限公司 拍摄方法及其装置
CN115334243A (zh) * 2022-08-23 2022-11-11 维沃移动通信有限公司 拍摄方法及其装置

Also Published As

Publication number Publication date
JP2011244046A (ja) 2011-12-01
JP5589548B2 (ja) 2014-09-17
WO2011142480A1 (en) 2011-11-17
TW201215124A (en) 2012-04-01
EP2569934A4 (en) 2013-10-23
EP2569934A1 (en) 2013-03-20
KR101489048B1 (ko) 2015-02-02
US9057932B2 (en) 2015-06-16
TWI527448B (zh) 2016-03-21
US20130063605A1 (en) 2013-03-14
KR20130018330A (ko) 2013-02-20
EP2569934B1 (en) 2018-04-18
CN102986208B (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
CN102986208A (zh) 成像装置、图像处理方法和用于在其上记录程序的记录介质
US10997696B2 (en) Image processing method, apparatus and device
US9124807B2 (en) Imaging apparatus, control method therefor, and storage medium
US8599268B2 (en) Image capturing apparatus, method of detecting tracking object, and computer program product
US20120147150A1 (en) Electronic equipment
EP3480784B1 (en) Image processing method, and device
CN109194877A (zh) 图像补偿方法和装置、计算机可读存储介质和电子设备
US11915430B2 (en) Image analysis apparatus, image analysis method, and storage medium to display information representing flow quantity
EP4057623A1 (en) Subject detection method and apparatus, electronic device, and computer-readable storage medium
CN113099122A (zh) 拍摄方法、装置、设备和存储介质
US20220174222A1 (en) Method for marking focused pixel, electronic device, storage medium, and chip
CN103634513A (zh) 图像处理设备及其控制方法
US20100061650A1 (en) Method And Apparatus For Providing A Variable Filter Size For Providing Image Effects
WO2022242569A1 (zh) 延迟校准方法、装置、计算机设备和存储介质
CN105208263B (zh) 图像处理装置及其控制方法
EP3267675B1 (en) Terminal device and photographing method
JP5805013B2 (ja) 撮像画像表示装置、撮像画像表示方法、プログラム
CN113014817A (zh) 高清高帧视频的获取方法、装置及电子设备
US20170285740A1 (en) Improving readability of content displayed on a screen
JP6063680B2 (ja) 画像生成装置、画像生成方法、撮像装置、および撮像方法
EP3038058A1 (en) Methods and systems for color processing of digital images
EP4280154A1 (en) Image blurriness determination method and device related thereto
US11750938B2 (en) Image pickup apparatus that can assist user, control method therefor, and storage medium storing control program therefor
US20120288144A1 (en) Image processing apparatus, image processing method, and motion detection system
JP2022099120A (ja) 被写体追尾装置およびその制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant