CN101662587A - 摄像装置及其跟踪方法 - Google Patents
摄像装置及其跟踪方法 Download PDFInfo
- Publication number
- CN101662587A CN101662587A CN200910168116A CN200910168116A CN101662587A CN 101662587 A CN101662587 A CN 101662587A CN 200910168116 A CN200910168116 A CN 200910168116A CN 200910168116 A CN200910168116 A CN 200910168116A CN 101662587 A CN101662587 A CN 101662587A
- Authority
- CN
- China
- Prior art keywords
- camera head
- image
- unit
- retention time
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000014759 maintenance of location Effects 0.000 claims description 52
- 230000008569 process Effects 0.000 claims description 9
- 239000003381 stabilizer Substances 0.000 claims description 5
- 230000008030 elimination Effects 0.000 abstract description 5
- 238000003379 elimination reaction Methods 0.000 abstract description 5
- 230000001815 facial effect Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
- Focusing (AREA)
Abstract
本发明涉及一种摄像装置及其跟踪方法,该摄像装置使得能够适当地设置具有当在对象跟踪期间暂时不能追踪对象时恢复到允许跟踪的状态的可能性的保持时间以提高用户的易用性。指定单元,其指定包含在捕获图像中的对象。显示单元,其将所述捕获图像显示在屏幕上并显示表示所指定的对象被跟踪的识别信息。跟踪单元,其跟踪所述对象。设置单元,其根据所述摄像装置的焦距和对象距离中的至少一个来设置保持所述识别信息的显示的保持时间。消除单元,其当在所述跟踪单元丢失所述对象后经过了所述保持时间时,消除所述识别信息的显示。
Description
技术领域
本发明涉及一种生成捕获图像的摄像装置及其跟踪方法。
背景技术
传统上,作为利用数码相机或监视相机的监视装置,已知一种跟踪对象的摄像系统。
例如,日本特开平06-054326号公报(JP06-054326A)公开了一种基于多条图像数据计算对象的运动矢量并旋转相机以跟踪对象的运动的系统。为了有效地跟踪和拍摄对象,该系统在变焦位置为望远时高速旋转相机,而在变焦位置为广角时低速旋转相机。
日本特开2007-104200号公报(JP2007-104200A)公开了通过控制被检测为肤色区域的跟踪框内的WB(白平衡)和曝光来优化白平衡和曝光的控制性能。
由此,提出了诸如对象跟踪系统及利用对象跟踪功能控制白平衡和曝光的装置的各种应用。
作为这些跟踪方法,常用的有使用运动矢量的计算所依据的帧图像数据之间的相关度(correlation)的跟踪方法、基于图像特征量进行的对象跟踪方法等。
然而,上述传统的摄像装置存在以下问题。即,在作为上述跟踪方法的使用图像数据之间的相关度的跟踪方法中,例如,当不同于主要对象的移动对象经过主要对象前面时,主要对象的图像数据之间的相关度降低,跟踪经过主要对象前面的移动对象的可能性高。
在基于图像特征量(例如,色调)的跟踪方法中,当在主要对象的周围存在与主要对象类似的对象时,很难继续跟踪该主要对象。
此外,在作为这些方法的组合的跟踪方法中,当针对各方法的弱条件(weak condition)重叠时,很难继续跟踪主要对象。
日本特开2007-104200号公报(JP2007-104200A)公开了结束对象跟踪的条件。即,通过使用角速度传感器的数据以及AF(自动聚焦)数据来跟踪对象,并且当跟踪区域内的对象的特征量与跟踪开始时的对象的特征量之间的差变大时,确定对象丢失。
然而,即使在暂时不能跟踪对象时,例如,当汽车等经过对象前面时,或者当作为对象的检测面部暂时侧转时,在预定的时间内恢复到允许跟踪的状态的可能性极大。
在此情况下,如果不能跟踪对象的时间暂时很短,则可以通过暂时固定跟踪区域并通过当在时间经过后再次检测到与原始对象具有高相关度的对象时再次重新开始跟踪来控制系统,而不会丢失对象。这使得能够提高装置的易用性。
这里,为了用户能够容易地检查对象跟踪是否成功,设置有这样的对象跟踪功能的摄像装置具有生成图像(该图像的框(跟踪框)叠置在跟踪区域上)并将该图像显示在监视设备上的功能。
当主要对象丢失时,应当消除跟踪框。然而,如果在丢失之后立即消除跟踪框,则当在此之后立即找到主要对象时跟踪框立即恢复,这作为显示是相当不合适的。
因此,当主要对象暂时丢失时,应当继续跟踪框的显示,但当主要对象彻底丢失时,应当消除跟踪框的显示。然而,这其中的判断极为困难。
发明内容
本发明提供一种摄像装置及其跟踪方法,其能够适当地设置具有当在对象跟踪期间暂时不能追踪对象时恢复到允许跟踪的状态的可能性的保持时间,从而提高用户的易用性。
因此,本发明的第一方面提供一种生成捕获图像的摄像装置,所述摄像装置包括:指定单元,其适于指定包含在所述捕获图像中的对象;显示单元,其适于将所述捕获图像显示在屏幕上并显示表示所指定的对象被跟踪的识别信息;跟踪单元,其适于跟踪所述对象;设置单元,其适于根据所述摄像装置的焦距和对象距离中的至少一者来设置保持所述识别信息的显示的保持时间;以及消除单元,其适于当在所述跟踪单元丢失所述对象后经过了所述保持时间时,消除所述识别信息的显示。
因此,本发明的第二方面提供一种生成捕获图像的摄像装置的跟踪方法,所述方法包括:指定步骤,所述摄像装置指定包含在所述捕获图像中的对象;显示步骤,所述摄像装置将所述捕获图像显示在屏幕上并显示表示所指定的对象被跟踪的识别信息;跟踪步骤,所述摄像装置跟踪所述对象;设置步骤,所述摄像装置根据所述摄像装置的焦距和对象距离中的至少一个,来设置保持所述识别信息的显示的保持时间;以及消除步骤,当在所述跟踪步骤中丢失所述对象后经过了所述保持时间时,所述摄像装置消除所述识别信息的显示。
根据本发明,当控制表示对象正被跟踪的识别信息的显示和消除时,能够根据焦距和对象距离中的至少一者设置保持所述识别信息的显示的保持时间。当丢失所述对象后经过所述保持时间时,摄像装置结束所述识别信息的显示。因此,能够适当地设置具有当在对象跟踪期间暂时不能跟踪对象时恢复到允许跟踪的状态的可能性的保持时间,由此提高用户的易用性。
通过以下结合附图进行的详细说明,本发明的特征和优点将变得更加明确。
附图说明
图1是示意性示出根据本发明实施例的摄像装置的结构的框图。
图2是示出图1的摄像装置的对象跟踪操作的前半部分的流程图。
图3是示出图1的摄像装置的对象跟踪操作的后半部分的流程图。
图4是示出图1的摄像装置的面部检测处理的流程图。
图5A是示出作为图1的摄像装置的面部检测处理的目标的原始图像数据的图。
图5B是示出通过图1的摄像装置的面部检测处理从原始图像数据中提取的肤色区域的图像数据的图。
图5C是示出通过图1的摄像装置的面部检测处理对肤色区域的图像数据应用高通滤波器而获得的图像数据的图。
图5D是示出关于通过图1的摄像装置的面部检测处理而应用了高通滤波器的图像数据的模板匹配方法的图。
图6是示出CIELAB的CIE1976Lab色彩空间中的代表色的色度图。
图7是示出二维高通滤波器的示例矩阵的图,在该矩阵中示出了用于图1的摄像装置的空间滤波处理的系数。
图8是与图2的步骤S4和步骤S5相对应的、用于计算图像数据之间的相关度的过程的流程图。
图9A是示出作为图8的跟踪处理中用于计算相关度的源的跟踪对象区域的图像数据的图。
图9B是示出作为图8的跟踪处理中用于计算相关度的目标的下一帧图像数据的图。
图10A示出表示与作为图3的步骤S12中用于计算保持时间的基础的焦距和对象距离相对应的保持时间的表。
图10B示出表示与作为图3的步骤S12中用于计算保持时间的基础的焦距和对象距离相对应的保持时间的曲线图。
具体实施方式
以下,参照附图对根据本发明的摄像装置及其跟踪方法的实施例进行详细的说明。图1是示意性示出根据实施例的摄像装置的结构的框图。摄像装置具有图像传感器101、缓冲存储器102、用户接口103、压缩电路104、记录器105、记录介质106、系统控制器107、显示控制电路108、D/A转换器109及监视装置110。此外,摄像装置具有信号处理电路111、透镜镜筒装置112、发光装置113、面部检测单元120以及对象跟踪单元121。在透镜镜筒装置112中安装有图像稳定器(IS,image stabilizer)112a及角速度传感器112b。
在经由用户接口103从用户接收到拍摄指令时,系统控制器107通过控制透镜镜筒装置112的焦点位置和光圈/机械快门、由CCD构成的图像传感器101、进行闪光拍摄时的发光装置113等来进行拍摄。
在拍摄后,图像传感器101输出存储在缓冲存储器102中的图像信号。然后,信号处理电路111对存储在缓冲存储器102中的图像信号施加用于生成图像的信号处理,以生成YUV图像数据。
所生成的图像数据被存储在缓冲存储器102中。当记录图像数据时,图像数据被从缓冲存储器102发送到压缩电路(压缩/扩展电路)104并被压缩为JPEG文件。通过记录器(记录器/读取器)105将压缩后的图像数据记录在记录介质106上。
当显示控制电路108基于存储在缓冲存储器102中的YUV图像数据生成显示图像数据(拍摄图像)时,拍摄图像由D/A转换器109进行转换并显示在监视装置110的屏幕上。
当从图像数据中进行面部检测时,面部检测单元120从存储在缓冲存储器102中的YUV图像数据或CCD图像数据中进行面部检测,并输出图像数据的坐标位置(地址)。
当面部检测单元120检测到面部时,系统控制器107指示显示控制电路108在面部位置显示面部框。然后,系统控制器107选择检测到的面部中的一个作为跟踪目标,并指示显示控制电路108在被选择作为跟踪目标的面部的位置显示替代面部框的跟踪框。该跟踪框用作识别信息,通过该识别信息,用户识别出哪个对象被跟踪。
在当捕获运动图像或使用EVF(电子取景器)时进行对象跟踪的情况下,对象跟踪单元121从系统控制器107获取包含跟踪对象的跟踪目标区域内的图像数据。并且,对象跟踪单元121通过计算跟踪目标区域的图像数据与新获取的帧图像数据之间的相关度,来在新的帧图像数据中获取跟踪目标区域的位置。系统控制器107指示显示控制电路108将跟踪框的位置改变为由对象跟踪单元121在新的帧图像数据中新获取的跟踪目标区域的位置。
根据本实施例,系统控制器107接收面部检测单元120检测到的面部位置作为面部检测信息,并将面部位置的图像数据设置为跟踪目标区域的图像数据。并且当对象跟踪单元121反复检测到与跟踪目标区域内的图像数据具有最高相关度的图像数据时,对对象进行跟踪。在成功地跟踪对象时,对象跟踪单元121不使用面部检测单元120新检测到的面部位置。当由于跟踪失败而造成跟踪框消除时,对象跟踪单元121再次将面部检测单元120检测到的面部位置作为跟踪目标区域。虽然通过假定被设置为跟踪目标的对象为人面部来说明本实施例,但是该对象不限于人面部。例如,可以将用户经由用户接口(控制面板)103任意指定的对象设置为跟踪目标。
对在具有上述结构的摄像装置中跟踪由面部检测单元120所检测到的面部的方法进行说明。图2和图3为示出对象跟踪操作的流程图。该处理由对象跟踪单元121执行。
对象跟踪单元121从系统控制器107获取跟踪目标区域,并获取该跟踪目标区域内的图像数据(步骤S1)。如上所述,在本实施例中,系统控制器107将面部检测单元120所检测到的面部位置的区域设置为第一跟踪目标区域。
对象跟踪单元121提取第一跟踪目标区域的图像特征量(步骤S2)。图像特征量例如是诸如亮度以及色调的颜色信息。
对象跟踪单元121获取下一帧图像数据(步骤S3)。对象跟踪单元121从下一帧图像数据中检测与跟踪目标区域具有最高相关度的区域(步骤S4),并计算运动矢量(步骤S5)。稍后将说明计算相关度及运动矢量的详情。
对象跟踪单元121将跟踪目标区域的位置移动运动矢量的量,确定跟踪目标候选区域的位置,并从下一帧图像数据中获取跟踪目标候选区域内的图像数据(步骤S6)。即,对象跟踪单元121从下一帧图像数据中获取与跟踪目标区域具有最高相关度的跟踪目标候选区域内的图像数据。对象跟踪单元121以与步骤S2相同的方式提取跟踪目标候选区域的图像特征量(步骤S7)。
对象跟踪单元121将在步骤S2中获取的跟踪目标区域的图像特征量与在步骤S7中获取的跟踪目标候选区域的图像特征量进行比较(步骤S8)。作为比较的结果,对象跟踪单元121确定图像特征量的差是否落入预定范围内(步骤S9)。即,对象跟踪单元121确定在步骤S6中获取的跟踪目标候选区域中的对象是否与在步骤S1中设置的第一跟踪目标区域中的对象相同。
当图像特征量的差落入预定范围内时,对象跟踪单元121向系统控制器107通知对象跟踪成功。系统控制器107通过用在步骤S6中获取的跟踪目标候选区域进行替换,来将跟踪目标区域更新为新跟踪目标区域,并基于更新后的跟踪目标区域的位置,指示显示控制电路108更新跟踪框的显示位置(步骤S10)。当在后述的步骤S13中启动了计时器时,系统控制器107使计时器停止并重新设置保持时间。
然后,对象跟踪单元121返回到步骤S3中的处理,并重新获取下一帧图像数据。在步骤S4到步骤S6中,对象跟踪单元121从下一帧图像数据中检测与在步骤S10中更新的跟踪目标区域最类似的跟踪目标候选区域,并在步骤S7中计算该跟踪目标候选区域的图像特征量。对象跟踪单元121将该跟踪目标候选区域的图像特征量与在步骤S2中计算出的初始跟踪目标区域的图像特征量进行比较。如果图像特征量的差落入预定范围内,则系统控制器107再次更新跟踪目标区域。
由此,对象跟踪单元121从新的帧图像数据中检测与跟踪目标区域相具有高相关度的跟踪目标候选区域。并且,如果跟踪目标候选区域与初始跟踪目标区域在图像特征量上类似,则对象跟踪单元121通过用跟踪目标候选区域进行替换来更新跟踪目标区域。即使对象的方向逐渐改变或者对象的形状逐渐改变,对象跟踪单元121仍能够通过更新跟踪目标区域来继续跟踪。然而,如果跟踪目标候选区域的图像特征量与初始跟踪目标区域的图像特征量之间的差超过预定范围,则与初始跟踪目标不同的对象已被检测为跟踪目标候选区域的可能性很高。在此情况下,确定跟踪失败。
另一方面,返回到步骤S9,如果图像特征量的差未落入预定范围内,则对象跟踪单元121确定跟踪失败,并使处理进入步骤S11及之后的对象跟踪失败例程。
对象跟踪单元121确定在前一帧图像数据中跟踪是否成功(步骤S11)。如果在前一帧图像数据中跟踪成功,则对象跟踪单元121假定在现阶段的帧中第一次跟踪失败来确定(设置)保持时间(步骤S12)。保持时间是即使跟踪失败也按照原样保持跟踪框的显示的时间。如下所述,通过获取透镜镜筒装置112中控制的焦距、在前一帧图像数据之前检测到的对象位置和对象距离、图像稳定器(IS)112a的控制信息、角速度传感器112b的输出等来设置保持时间。
对象跟踪单元121启动内置的计时器(步骤S13),并使处理进入步骤S14。
另一方面,当在步骤S11中确定在前一帧图像数据中跟踪也失败时,对象跟踪单元121假定在前一帧图像数据的失败之后的跟踪失败,来判断计时器的经过时间是否超过预定保持时间。
当经过时间未超过预定保持时间时,对象跟踪单元121在使显示控制电路108继续在同一位置显示跟踪框的同时获取下一帧图像数据(步骤S16),之后返回到步骤S6中的处理。当对象跟踪单元121使处理从步骤S16进入到步骤S6时,最后更新的跟踪目标区域被设置为跟踪目标候选区域。
另一方面,当超过(经过)预定保持时间时,对象跟踪单元121确定消除跟踪框(步骤S15),并结束处理。将跟踪框的消除的确定从对象跟踪单元121发送到系统控制器107。系统控制器107根据该确定向显示控制电路108发送消除跟踪框的指令,然后跟踪框被消除。由此结束跟踪。
接下来,对由面部检测单元120执行的面部检测方法进行说明。作为面部检测方法,已经提出了多种方法。通常,有使用由神经网络所代表的学习的方法、使用包含物理形状方面有特征的部位(例如,眼和鼻)的区域的模板匹配的方法、使用检测到的图像特征量(例如,肤色和眼的形状)的统计分析的方法。一般来说,面部检测方法组合了上述这些方法。
目前,提出了多种面部检测方法。例如,有利用小波变换(wavelettransform)和图像特征量来检测面部的方法以及进一步组合模板匹配等的方法。图4是示出作为上述方法的示例的面部检测处理的流程图。如上所述,该处理由面部检测单元120执行。图5A到图5D是用于说明面部检测方法的图。图5A示出了从中检测面部的目标图像数据(原始图像)。
首先,面部检测单元120进行肤色区域提取处理,并从对象图像数据中提取肤色区域(步骤S21)。图6是示出CIELAB的CIE1976Lab色彩空间中的代表色的色度图。椭圆E1所示出的区域为肤色区域的可能性高。图5B示出了色度为通过步骤S21中的处理从目标图像数据中提取的肤色的区域的图像数据。
面部检测单元120进行对所提取的肤色区域的图像数据应用高通滤波器的空间滤波处理(步骤S22)。图7是示出二维高通滤波器的示例矩阵的图,在该矩阵中示出了用于空间滤波处理的系数。图5C是示出通过对图5B的图像数据应用图7的高通滤波器而获得的图像数据的图。应用高通滤波器对图像数据中具有变化的部分(例如,眼或鼻)的轮廓进行加强。
此外,面部检测单元120进行模板匹配,并在图像数据中检测眼(步骤S23)。图5D是示出对图5C(其示出应用高通滤波器的结果)的图像数据应用模板匹配方法的图。面部检测单元120基于检测到的眼区域的位置关系来识别面部,并提取特征量(例如方向及大小)(步骤S24)。然后,面部检测单元120结束处理。应当注意,上述处理可以改变为:省略步骤S21,在步骤S22中对目标图像数据的整个区域应用高通滤波器,并在步骤S23中通过进行模板匹配来识别面部。
将包括在步骤S24中提取的图像特征量(例如,方向及大小)的面部检测信息从面部检测单元120发送到系统控制器107。系统控制器107根据面部检测信息来确定用作跟踪目标的区域(跟踪框)。
接下来,对跟踪对象的方法进行说明。已经提出了多种检测对象的相关度及运动矢量的方法。这里,说明一种比较简单的方法。
图8是示出计算图像数据之间的相关度的处理的流程图。该处理与图2所示的跟踪处理的步骤S4及步骤S5的处理相对应。
图9A和图9B分别是示出前一帧图像数据中的跟踪目标区域的图像数据以及后一帧图像数据的图。对象跟踪单元121获取作为计算相关度的源的跟踪目标区域内的图像数据201(步骤S31)。应当注意:如图9A所示,设置跟踪框210以使其包围跟踪目标区域内的图像数据201。
然后,对象跟踪单元121在跟踪目标区域内的图像数据201的下一获取定时获取到的帧图像数据300中,获取位于与跟踪目标区域内的图像数据201相同位置的比较区域的位置(步骤S32)。
对象跟踪单元121在帧图像数据300的预定区域内将比较区域的位置沿垂直、水平或倾斜方向移动,并获取在移动后的位置的比较区域内的图像数据(步骤S33)。
对象跟踪单元121计算在步骤S33中获取的比较区域内的图像数据与跟踪目标区域内的图像数据201之间的图像差(步骤S34)。对象跟踪单元121获取在步骤S34中计算出的图像差的绝对值的积分值(步骤S35)。这里,图像差的绝对值的积分值越小,图像数据之间的相关度越高(图像数据之间的相关度变得更高)。
对象跟踪单元121判断图像数据之间的相关度是否是到那时为止已获得的值中的最大值(步骤S36)。当图像数据之间的相关度是最大值时,对象跟踪单元121保存该相关度和比较区域的位置(步骤S37)。另一方面,当图像数据之间的相关度不是最大值时,对象跟踪单元121使处理直接进入步骤S38。
对象跟踪单元121判断在步骤S33中是否已将比较区域的位置移动到预先设置的、包括在步骤S32中获取的位置的所有位置(步骤S38)。如果尚未将比较区域移到所有位置,则对象跟踪单元121使处理返回到步骤S33。另一方面,如果已将比较区域移动到所有位置,则对象跟踪单元121计算到具有最高相关度的位置的位移量(运动矢量)和相关度(步骤S39)。在图9B中,图像数据301示出被确定为与跟踪目标区域内的图像数据201具有最高相关度的比较区域内的图像数据。然后,对象跟踪单元121结束处理。应当注意:计算运动矢量的方法有许多种,而不限于上述方法。
接下来,对步骤S12中保持时间的设置进行说明。图10A和图10B示出了与焦距和对象距离相对应的保持时间的表和曲线图。在图10A的表以及图10B的曲线图中,保持时间是基于对象距离和焦距的组合而设置的。
这里,焦距越长,保持时间设置得越短。即,当放大时(即,当焦距长时),由于因手抖动等或对象的移动而造成视野的变化使得作为跟踪目标的对象脱离视野的可能性高,因此在此情况下设置短的保持时间。因此,如果跟踪失败,变换到下一对象的检测所需的时间变短。类似地,对象距离越短,保持时间设置得越短。这是因为当对象距离较短时,主要对象脱离视野的可能性变得越高。应当注意:通过根据捕获图像的画面内的主要对象的大小替代对象距离来调整保持时间,能够获得同样的效果。在此情况下,主要对象的大小越大,保持时间越长。
同样,可以根据焦距与捕获图像的画面内对象跟踪失败的位置的组合来确定保持时间。即,当在前一帧之前检测到的对象的位置与捕获图像的画面的中心之间的距离越长时(即,当对象位于外围时),主要对象脱离视野的可能性变得高。在此情况下,优选设置短的保持时间。
还可以基于焦距、图像稳定器(IS)的控制信息、角速度传感器的输出、以及对象位置中的至少一个检测出主要对象脱离视野。当来自角速度传感器或IS的输出大于预定值时,确定主要对象脱离视野,并因此可以设置短的保持时间。
当确定摄像装置装备了三角架时,可以设置长的保持时间。基于来自安装在摄像装置上的角速度传感器的输出来判断是否装备了三角架。当主要对象以外的部分的图像数据之间的相关度极高时,可以确定装备了三角架,并可以设置长的保持时间。
保持时间不仅可以根据焦距或对象距离来设置,而且可以根据对象亮度、色温度、或图像传感器的灵敏度来设置。例如,当图像传感器的灵敏度设置得高时,噪声增加,当对象亮度低时,对象之间的相关度降低。因此,面部检测处理或跟踪处理的精确度降低。在此情况下,由于在错误位置显示跟踪框的可能性增加,因此将保持时间设置得较短。当色温度低时,通常使用诸如电灯泡的低强度光源,从而假定对象亮度低。因此,可以根据色温度设置保持时间。
本实施例的摄像装置在利用对象跟踪功能进行最适合对象的拍摄设置和信号处理时,控制示出了对象正被跟踪的跟踪框的显示和消除。此外,由于摄像装置根据焦距等控制不管对象跟踪的失败而显示跟踪框的保持时间,因此能够提高用户的易用性。
因此,摄像装置在控制示出了对象正被跟踪的跟踪框的显示和消除时根据焦距设置保持时间。当在丢失对象后经过所设置的保持时间时,摄像装置结束跟踪框的显示。因此,能够适当地设置保持时间(在保持时间内存在当在对象追踪期间暂时不能追踪对象时恢复到允许跟踪的状态的可能性),由此提高用户的易用性。
即使暂时丢失对象,只要在保持时间内就能够迅速恢复到跟踪状态。
当放大时(即,当焦距越长时),由于因手抖动等或对象的移动而造成视野的变化使得跟踪对象脱离视野的可能性高。然而,当焦距越长时,保持时间设置得越短,这使进行跟踪处理的时间缩短,结果,很容易变换到对下一对象的检测。
此外,摄像装置能够解决由于对象距离变短而使主要对象容易脱离视野的问题。此外,摄像装置能够解决由于对象跟踪失败的位置与捕获图像的画面的中心之间的距离变大而使主要对象容易脱离视野的问题。此外,摄像装置能够解决由于该装置的抖动变大而使主要对象容易脱离视野的问题。此外,由于自动指定对象或者由用户来指定对象,因此指定对象变得更容易。此外,由于显示跟踪框来指示作为跟踪目标的对象,因此,容易识别对象区域。
虽然参照示例性实施例对本发明进行了描述,但是应当理解,本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽泛的解释,以使其涵盖所有这些变型例以及等同的结构和功能。
例如,虽然在上述实施例中,面部检测单元120执行面部检测,并且指定包含面部位置的区域作为对象区域,然而,如上所述,也可以指定用户经由用户接口103指定的用户指定区域作为对象区域。
虽然在上述实施例中使用CCD元件作为图像传感器,然而也可以使用CMOS器件等。
监视(显示)设备不限于液晶显示器,还可以使用有机电致发光显示器、表面电场显示器(SED)、等离子显示器等。
作为摄像装置,本发明适用于小型数码相机、数码摄像机、数码SLR(单反)相机等。
本申请要求2008年8月29日提交的申请号为2008-221790的日本专利申请的优先权,该申请的全部内容通过引用并入于本文。
Claims (12)
1.一种生成捕获图像的摄像装置,所述摄像装置包括:
指定单元,其适于指定包含在所述捕获图像中的对象;
显示单元,其适于将所述捕获图像显示在屏幕上并显示表示所指定的对象被跟踪的识别信息;
跟踪单元,其适于跟踪所述对象;
设置单元,其适于根据所述摄像装置的焦距和对象距离中的至少一个,来设置保持所述识别信息的显示的保持时间;以及
消除单元,其适于当在所述跟踪单元丢失所述对象后经过了所述保持时间时,消除所述识别信息的显示。
2.根据权利要求1所述的摄像装置,其中,
当在所述跟踪单元丢失所述对象后未经过所述保持时间时,所述显示单元继续显示所述识别信息。
3.根据权利要求1所述的摄像装置,其中,
随着所述焦距变得越长,所述设置单元将所述保持时间设置得越短。
4.根据权利要求1所述的摄像装置,其中,
随着所述对象距离变得越长,所述设置单元将所述保持时间设置得越长。
5.根据权利要求1所述的摄像装置,其中,
所述设置单元根据所述焦距与所述对象距离的组合来设置所述保持时间。
6.根据权利要求1所述的摄像装置,其中,
所述设置单元根据所述捕获图像的画面中对象跟踪失败的位置来设置所述保持时间。
7.根据权利要求6所述的摄像装置,其中,
随着所述对象跟踪失败的位置与所述捕获图像的画面的中心之间的距离变得越长,所述设置单元将所述保持时间设置得越短。
8.根据权利要求1所述的摄像装置,其中,
所述设置单元根据图像稳定器的控制信息和来自角速度传感器的输出中的一个来设置所述保持时间。
9.根据权利要求8所述的摄像装置,其中,
所述设置单元根据所述控制信息和所述输出中的一个,将在确定所述摄像装置抖动的情况下的保持时间设置得比所述摄像装置不抖动的情况下的保持时间短。
10.根据权利要求1所述的摄像装置,其中,
所述指定单元还设置有检测单元,该检测单元适于检测包含在所述捕获图像中的所述对象。
11.根据权利要求1所述的摄像装置,其中,
由所述显示单元显示的所述识别信息是在所述捕获图像上显示的跟踪框。
12.一种生成捕获图像的摄像装置的跟踪方法,所述方法包括:
指定步骤,所述摄像装置指定包含在所述捕获图像中的对象;
显示步骤,所述摄像装置将所述捕获图像显示在屏幕上并显示表示所指定的对象被跟踪的识别信息;
跟踪步骤,所述摄像装置跟踪所述对象;
设置步骤,所述摄像装置根据所述摄像装置的焦距和对象距离中的至少一个,来设置保持所述识别信息的显示的保持时间;以及
消除步骤,当在所述跟踪步骤中丢失所述对象后经过了所述保持时间时,所述摄像装置消除所述识别信息的显示。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008-221790 | 2008-08-29 | ||
JP2008221790 | 2008-08-29 | ||
JP2008221790 | 2008-08-29 | ||
JP2009190119 | 2009-08-19 | ||
JP2009-190119 | 2009-08-19 | ||
JP2009190119A JP5409189B2 (ja) | 2008-08-29 | 2009-08-19 | 撮像装置及びその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101662587A true CN101662587A (zh) | 2010-03-03 |
CN101662587B CN101662587B (zh) | 2011-12-07 |
Family
ID=41724850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009101681165A Expired - Fee Related CN101662587B (zh) | 2008-08-29 | 2009-08-28 | 摄像装置及其跟踪方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US8284257B2 (zh) |
JP (1) | JP5409189B2 (zh) |
CN (1) | CN101662587B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102907081A (zh) * | 2010-05-24 | 2013-01-30 | 富士胶片株式会社 | 立体成像设备、面部检测设备和控制其操作的方法 |
CN103020101A (zh) * | 2011-09-20 | 2013-04-03 | 索尼公司 | 图像处理装置和控制图像处理装置的方法 |
CN103369251A (zh) * | 2012-04-10 | 2013-10-23 | 佳能株式会社 | 图像捕获装置和图像捕获装置的控制方法 |
CN104243796A (zh) * | 2013-06-11 | 2014-12-24 | 索尼公司 | 摄影装置、摄影方法、模板创建装置和模板创建方法 |
CN109272529A (zh) * | 2017-07-18 | 2019-01-25 | 信浓绢糸株式会社 | 视频分析方法 |
CN109426811A (zh) * | 2017-08-30 | 2019-03-05 | 信浓绢糸株式会社 | 影像分析方法 |
CN109831622A (zh) * | 2019-01-03 | 2019-05-31 | 华为技术有限公司 | 一种拍摄方法及电子设备 |
CN110047104A (zh) * | 2017-12-26 | 2019-07-23 | 精工爱普生株式会社 | 对象检测和跟踪方法、头戴式显示装置和存储介质 |
CN111050100A (zh) * | 2018-10-12 | 2020-04-21 | 黑快马股份有限公司 | 自动摄录像跟拍系统及自动摄录像跟拍方法 |
CN112004019A (zh) * | 2019-05-27 | 2020-11-27 | 福建天晴数码有限公司 | 跟踪对焦方法及计算机可读存储介质 |
CN112291480A (zh) * | 2020-12-03 | 2021-01-29 | 维沃移动通信有限公司 | 跟踪对焦方法、跟踪对焦装置、电子设备和可读存储介质 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201708684U (zh) * | 2010-06-07 | 2011-01-12 | 柳州五菱汽车有限责任公司 | 电动汽车驱动控制器散热系统 |
JP5629533B2 (ja) * | 2010-08-30 | 2014-11-19 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2012109900A (ja) * | 2010-11-19 | 2012-06-07 | Aof Imaging Technology Ltd | 撮影装置、撮影方法、およびプログラム |
JP2013013050A (ja) * | 2011-05-27 | 2013-01-17 | Ricoh Co Ltd | 撮像装置及びこの撮像装置を用いた表示方法 |
US9275285B2 (en) * | 2012-03-29 | 2016-03-01 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
US8660307B2 (en) | 2012-03-29 | 2014-02-25 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
US9092675B2 (en) | 2012-03-29 | 2015-07-28 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
US8761442B2 (en) | 2012-03-29 | 2014-06-24 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
JP2014123815A (ja) * | 2012-12-20 | 2014-07-03 | Sony Corp | 画像処理装置、画像処理方法及び記録媒体 |
JP6103526B2 (ja) * | 2013-03-15 | 2017-03-29 | オリンパス株式会社 | 撮影機器,画像表示機器,及び画像表示機器の表示制御方法 |
JP2014207658A (ja) * | 2013-03-19 | 2014-10-30 | パナソニック株式会社 | 画像処理装置及び撮像装置及び画像処理方法 |
JP6330283B2 (ja) * | 2013-09-30 | 2018-05-30 | 株式会社ニコン | 被写体追尾装置、撮像装置及び被写体追尾プログラム |
JP6273766B2 (ja) * | 2013-10-24 | 2018-02-07 | 株式会社ニコン | 画像処理装置、撮像装置、および画像処理プログラム |
JP6278688B2 (ja) * | 2013-12-20 | 2018-02-14 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
JP6442261B2 (ja) * | 2014-06-05 | 2018-12-19 | キヤノン株式会社 | 撮像素子及び撮像装置、及びその制御方法 |
JP6085390B1 (ja) * | 2016-06-20 | 2017-02-22 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP6785164B2 (ja) * | 2017-01-27 | 2020-11-18 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP7146450B2 (ja) * | 2018-05-24 | 2022-10-04 | 日本信号株式会社 | 物体検出装置 |
JP7366635B2 (ja) | 2019-08-07 | 2023-10-23 | キヤノン株式会社 | 撮像装置、コンピュータプログラム及び記憶媒体 |
CN111145311B (zh) * | 2019-12-30 | 2021-11-26 | 中国科学院自动化研究所 | 高分辨率人脸图像的多属性编辑方法、系统、装置 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR940007163B1 (ko) | 1991-07-09 | 1994-08-06 | 삼성전자 주식회사 | 캠코더의 피사체 자동추적장치 |
FI97665C (fi) * | 1995-11-21 | 1997-01-27 | Planmed Oy | Menetelmät ja laitteet kohteen kuvantamisessa |
CN1178467C (zh) * | 1998-04-16 | 2004-12-01 | 三星电子株式会社 | 自动跟踪运动目标的方法和装置 |
CN1254904A (zh) * | 1998-11-18 | 2000-05-31 | 株式会社新太吉 | 用于拍摄/识别脸孔的方法和装置 |
EP1068576A1 (en) * | 1999-02-01 | 2001-01-17 | Koninklijke Philips Electronics N.V. | Descriptor for a video sequence and image retrieval system using said descriptor |
US6754389B1 (en) * | 1999-12-01 | 2004-06-22 | Koninklijke Philips Electronics N.V. | Program classification using object tracking |
JP4672175B2 (ja) * | 2000-05-26 | 2011-04-20 | 本田技研工業株式会社 | 位置検出装置、位置検出方法、及び位置検出プログラム |
US20050128291A1 (en) * | 2002-04-17 | 2005-06-16 | Yoshishige Murakami | Video surveillance system |
US7466356B2 (en) * | 2003-07-25 | 2008-12-16 | Hewlett-Packard Development Company, L.P. | Method and apparatus for setting a marker on an object and tracking the position of the object |
US20060140445A1 (en) * | 2004-03-22 | 2006-06-29 | Cusack Francis J Jr | Method and apparatus for capturing digital facial images optimally suited for manual and automated recognition |
EP1860869B1 (en) * | 2005-03-18 | 2013-05-08 | Nikon Corporation | Digital camera |
US7945938B2 (en) * | 2005-05-11 | 2011-05-17 | Canon Kabushiki Kaisha | Network camera system and control method therefore |
JP4418400B2 (ja) * | 2005-05-20 | 2010-02-17 | オリンパスメディカルシステムズ株式会社 | 画像表示装置 |
US7720257B2 (en) * | 2005-06-16 | 2010-05-18 | Honeywell International Inc. | Object tracking system |
JP4350725B2 (ja) * | 2005-08-05 | 2009-10-21 | キヤノン株式会社 | 画像処理方法、画像処理装置、及び、画像処理方法をコンピュータに実行させるためのプログラム |
JP4844073B2 (ja) | 2005-10-03 | 2011-12-21 | 株式会社ニコン | 撮像装置 |
JP4572815B2 (ja) * | 2005-11-18 | 2010-11-04 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
JP4976160B2 (ja) * | 2007-02-22 | 2012-07-18 | パナソニック株式会社 | 撮像装置 |
US20090009651A1 (en) * | 2007-07-04 | 2009-01-08 | Sanyo Electric Co., Ltd. | Imaging Apparatus And Automatic Focus Control Method |
CN101106700A (zh) * | 2007-08-01 | 2008-01-16 | 大连海事大学 | 视频监控系统中的智能化目标细节捕获装置及方法 |
JP4492697B2 (ja) * | 2007-12-28 | 2010-06-30 | カシオ計算機株式会社 | 撮像装置、及び、プログラム |
US7860387B2 (en) * | 2008-08-12 | 2010-12-28 | Canon Kabushiki Kaisha | Imaging apparatus and control method therefor |
-
2009
- 2009-08-19 JP JP2009190119A patent/JP5409189B2/ja not_active Expired - Fee Related
- 2009-08-25 US US12/547,168 patent/US8284257B2/en not_active Expired - Fee Related
- 2009-08-28 CN CN2009101681165A patent/CN101662587B/zh not_active Expired - Fee Related
-
2012
- 2012-09-10 US US13/608,654 patent/US20130002885A1/en not_active Abandoned
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102907081A (zh) * | 2010-05-24 | 2013-01-30 | 富士胶片株式会社 | 立体成像设备、面部检测设备和控制其操作的方法 |
CN103020101A (zh) * | 2011-09-20 | 2013-04-03 | 索尼公司 | 图像处理装置和控制图像处理装置的方法 |
CN103020101B (zh) * | 2011-09-20 | 2018-01-19 | 索尼公司 | 图像处理装置和控制图像处理装置的方法 |
CN103369251A (zh) * | 2012-04-10 | 2013-10-23 | 佳能株式会社 | 图像捕获装置和图像捕获装置的控制方法 |
CN103369251B (zh) * | 2012-04-10 | 2017-04-12 | 佳能株式会社 | 图像捕获装置和图像捕获装置的控制方法 |
CN104243796A (zh) * | 2013-06-11 | 2014-12-24 | 索尼公司 | 摄影装置、摄影方法、模板创建装置和模板创建方法 |
CN104243796B (zh) * | 2013-06-11 | 2019-05-28 | 索尼公司 | 摄影装置、摄影方法、模板创建装置和模板创建方法 |
CN109272529A (zh) * | 2017-07-18 | 2019-01-25 | 信浓绢糸株式会社 | 视频分析方法 |
CN109272529B (zh) * | 2017-07-18 | 2023-07-14 | 信浓绢糸株式会社 | 视频分析方法 |
CN109426811B (zh) * | 2017-08-30 | 2023-06-30 | 信浓绢糸株式会社 | 影像分析方法 |
CN109426811A (zh) * | 2017-08-30 | 2019-03-05 | 信浓绢糸株式会社 | 影像分析方法 |
CN110047104A (zh) * | 2017-12-26 | 2019-07-23 | 精工爱普生株式会社 | 对象检测和跟踪方法、头戴式显示装置和存储介质 |
CN110047104B (zh) * | 2017-12-26 | 2023-12-08 | 精工爱普生株式会社 | 对象检测和跟踪方法、头戴式显示装置和存储介质 |
CN111050100A (zh) * | 2018-10-12 | 2020-04-21 | 黑快马股份有限公司 | 自动摄录像跟拍系统及自动摄录像跟拍方法 |
WO2020140726A1 (zh) * | 2019-01-03 | 2020-07-09 | 华为技术有限公司 | 一种拍摄方法及电子设备 |
CN109831622B (zh) * | 2019-01-03 | 2021-06-22 | 华为技术有限公司 | 一种拍摄方法及电子设备 |
CN109831622A (zh) * | 2019-01-03 | 2019-05-31 | 华为技术有限公司 | 一种拍摄方法及电子设备 |
US11889180B2 (en) | 2019-01-03 | 2024-01-30 | Huawei Technologies Co., Ltd. | Photographing method and electronic device |
CN112004019A (zh) * | 2019-05-27 | 2020-11-27 | 福建天晴数码有限公司 | 跟踪对焦方法及计算机可读存储介质 |
CN112291480A (zh) * | 2020-12-03 | 2021-01-29 | 维沃移动通信有限公司 | 跟踪对焦方法、跟踪对焦装置、电子设备和可读存储介质 |
CN112291480B (zh) * | 2020-12-03 | 2022-06-21 | 维沃移动通信有限公司 | 跟踪对焦方法、跟踪对焦装置、电子设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US8284257B2 (en) | 2012-10-09 |
US20130002885A1 (en) | 2013-01-03 |
US20100053419A1 (en) | 2010-03-04 |
JP2010081587A (ja) | 2010-04-08 |
CN101662587B (zh) | 2011-12-07 |
JP5409189B2 (ja) | 2014-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101662587B (zh) | 摄像装置及其跟踪方法 | |
KR101519427B1 (ko) | 촬상 장치 및 그 셔터 구동 모드 선택 방법 | |
US7672580B2 (en) | Imaging apparatus and method for controlling display device | |
US8736689B2 (en) | Imaging apparatus and image processing method | |
JP5507014B2 (ja) | 動体検出装置及び方法 | |
US8233078B2 (en) | Auto focus speed enhancement using object recognition and resolution | |
US8411159B2 (en) | Method of detecting specific object region and digital camera | |
JP2009268086A (ja) | 撮像装置 | |
US20100209093A1 (en) | Focus adjusting apparatus and focus adjusting method | |
US20120057034A1 (en) | Imaging system and pixel signal readout method | |
JP2010165012A (ja) | 撮像装置、画像検索方法及びプログラム | |
CN105516611A (zh) | 摄像装置和摄影方法 | |
CN102739961A (zh) | 能够生成广角图像的图像处理装置 | |
US20110242346A1 (en) | Compound eye photographing method and apparatus | |
JP2006067452A (ja) | 映像記録装置、および電子カメラ | |
JP2006246354A (ja) | 撮影装置及び撮影プログラム | |
JP5036334B2 (ja) | 撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラム | |
JP4487781B2 (ja) | 電子カメラ | |
US7319488B2 (en) | Digital camera in which shooting process mode is changed via the shutter release button | |
US20040196401A1 (en) | Focus detection apparatus and focusing control apparatus | |
US20130083963A1 (en) | Electronic camera | |
JP5962974B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP2009098850A (ja) | 演算装置及びそのプログラム | |
JP6833607B2 (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
JP2010161573A (ja) | 情報処理装置およびその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111207 Termination date: 20200828 |
|
CF01 | Termination of patent right due to non-payment of annual fee |