CN104641398A - 被拍摄体跟踪装置以及相机 - Google Patents

被拍摄体跟踪装置以及相机 Download PDF

Info

Publication number
CN104641398A
CN104641398A CN201380048010.6A CN201380048010A CN104641398A CN 104641398 A CN104641398 A CN 104641398A CN 201380048010 A CN201380048010 A CN 201380048010A CN 104641398 A CN104641398 A CN 104641398A
Authority
CN
China
Prior art keywords
template image
image
size
subject
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380048010.6A
Other languages
English (en)
Other versions
CN104641398B (zh
Inventor
金藤浩史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to CN201710826974.9A priority Critical patent/CN107610153B/zh
Publication of CN104641398A publication Critical patent/CN104641398A/zh
Application granted granted Critical
Publication of CN104641398B publication Critical patent/CN104641398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

被拍摄体跟踪装置具备：第1相似度演算部，其演算跟踪用模板图像与搜索区域内的图像的相似度；被拍摄体位置确定部，其基于演算出的相似度，确定输入图像内的跟踪被拍摄体位置；第2相似度演算部，其分别演算基于跟踪用模板图像所生成的多张尺寸调整判定用模板图像与搜索区域内的图像的相似度；匹配位置确定部，其基于演算出的相似度，分别确定输入图像内的、多张尺寸调整判定用模板图像的匹配位置；和尺寸变更部，其基于确定的多个匹配位置的疏密程度，变更跟踪用模板图像以及尺寸调整判定用模板图像的图像尺寸。

Description

被拍摄体跟踪装置以及相机
技术领域
本发明涉及被拍摄体跟踪装置以及相机。
背景技术
已知下面这样的物体跟踪装置。该物体跟踪装置，为了与被拍摄体的变化相对应，而使用不同的多个模板图像进行模板匹配，使用相似度最高的模板图像进行模板图像的更新(参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特许第3768073号公报
发明内容
发明要解决的课题
然而，在以往的物体跟踪装置中，即使被拍摄体的大小变化了，模板图像的尺寸也不变，所以不能高精度地跟踪大小变化的被拍摄体。
用于解决课题的技术方案
根据本发明的第1技术方案，一种被拍摄体跟踪装置，具备：搜索区域设定部，其在输入图像内设定搜索区域；第1相似度演算部，其演算跟踪用模板图像与搜索区域内的图像的相似度；被拍摄体位置确定部，其基于用第1相似度演算部演算出的相似度，确定输入图像内的跟踪被拍摄体位置；第2相似度演算部，其分别演算基于跟踪用模板图像所生成的多张尺寸调整判定用模板图像与搜索区域内的图像的相似度；匹配位置确定部，其基于用第2相似度演算部演算出的相似度，分别确定输入图像内的、多张尺寸调整判定用模板图像的匹配位置；和尺寸变更部，其基于用匹配位置确定部确定的多个匹配位置的疏密程度，变更跟踪用模板图像以及尺寸调整判定用模板图像的图像尺寸。
根据本发明的第2技术方案，在第1技术方案的被拍摄体跟踪装置中，优选：尺寸变更部，在用匹配位置确定部确定的多个匹配位置的疏密程度变化了预定以上的情况下，变更跟踪用模板图像以及尺寸调整判定用模板图像的图像尺寸。
根据本发明的第3技术方案，在第1或2技术方案的被拍摄体跟踪装置中，优选：尺寸变更部，在用匹配位置确定部确定的多个匹配位置的密度向高变了的情况下减小图像尺寸，在用匹配位置确定部确定的多个匹配位置的密度向低变了的情况下增大图像尺寸。
根据本发明的第4技术方案，在第1～3中任一技术方案的被拍摄体跟踪装置中，优选：尺寸变更部，在用匹配位置确定部确定的多个匹配位置中，选择用第2相似度演算部演算出的相似度为预定以上的高相似度的匹配位置，基于选择的匹配位置的疏密程度变更图像尺寸。
根据本发明的第5技术方案，在第1～4中任一技术方案的被拍摄体跟踪装置中，优选：多张尺寸调整判定用模板图像为分别包含跟踪用模板图像的不同部分的图像。
根据本发明的第6技术方案，在第5技术方案的被拍摄体跟踪装置中，优选：多张尺寸调整判定用模板图像分别是被分割为多个块的跟踪用模板图像中以各块的中心位置为中心的预定尺寸的图像。
根据本发明的第7技术方案，在第6技术方案的被拍摄体跟踪装置中，优选：尺寸变更部，基于以与以多个块中的正中的块的中心位置为中心的尺寸调整判定用模板图像有关的匹配位置为基准的、与其他尺寸调整判定用模板图像有关的匹配位置的疏密程度，变更跟踪用模板图像以及尺寸调整判定用模板图像的图像尺寸。
根据本发明的第8技术方案，在第7技术方案的被拍摄体跟踪装置中，优选：尺寸变更部，在以多个块中的正中的块的中心位置为中心的尺寸调整判定用模板图像与搜索区域内的图像的最大相似度为预定以上的高相似度的情况下，判定是否变更跟踪用模板图像以及尺寸调整判定用模板图像的图像尺寸。
根据本发明的第9技术方案，一种被拍摄体跟踪装置具备：搜索区域设定部，其在输入图像内设定搜索区域；第1相似度演算部，其分别演算初始模板图像与搜索区域内的图像的相似度、以及合成模板图像与搜索区域内的图像的相似度；被拍摄体位置确定部，其基于用第1相似度演算部演算出的相似度，确定输入图像内的跟踪被拍摄体位置；更新判定部，其基于用第1相似度演算部演算出的相似度，判定是否更新合成模板图像；更新部，其在更新判定部判定为更新合成模板图像的情况下，更新将输入图像中的包含跟踪被拍摄体位置的图像与初始模板图像合成而得的图像作为新合成模板图像；第2相似度演算部，其分别演算多张尺寸调整判定用模板图像与搜索区域内的图像的相似度；匹配位置确定部，其基于用第2相似度演算部演算出的相似度，分别确定输入图像内的、多张尺寸调整判定用模板图像的匹配位置；尺寸变更判定部，其基于用匹配位置确定部确定的多个匹配位置的疏密程度，判定是否变更初始模板图像、合成模板图像与尺寸调整判定用模板图像的图像尺寸；和尺寸变更部，其在尺寸变更判定部判定为变更图像尺寸的情况下，将初始模板图像的图像尺寸变更为新图像尺寸；更新部，在尺寸变更判定部判定为变更图像尺寸的情况下，更新将输入图像中的包含跟踪被拍摄体位置的新图像尺寸的图像作为新合成模板图像，进一步，将更新后的合成模板图像分割为多个块，更新输入图像中的包含各块的新图像尺寸的图像作为新尺寸调整判定用模板图像。
根据本发明的第10技术方案，一种被拍摄体跟踪装置具备：跟踪单元，其基于模板图像，对图像内的确定被拍摄体进行跟踪；检测单元，其检测确定被拍摄体的大小变化；和更新单元，其在检测单元检测到确定被拍摄体的大小变化了预定量以上的情况下，更新模板图像。
根据本发明的第11技术方案，一种相机具备第1～10中任一技术方案的被拍摄体跟踪装置。
发明效果
根据本发明，能够高精度地跟踪大小变化的被拍摄体。
附图说明
图1是对根据本发明的一个实施方式的相机的构成例进行说明的框图。
图2是表示被拍摄体跟踪处理的流程的流程图。
图3是表示模板图像生成处理的详细情况的流程图。
图4是接着图3的流程图。
图5是对二值图像以及与图像(アンド画像)进行说明的图。
图6是对初始模板图像的生成进行说明的图。
图7是对尺寸调整判定用模板图像的生成进行说明的图。
图8是对尺寸调整判定用模板图像的生成进行说明的图。
图9是表示跟踪被拍摄体位置确定处理的详细情况的流程图。
图10是表示合成模板图像更新处理的详细情况的流程图。
图11是表示模板尺寸更新处理的详细情况的流程图。
图12是接着图11的流程图。
图13是对与尺寸调整判定用模板图像有关的匹配位置与被拍摄体的大小的关系进行说明的图。
图14是对变形例1的尺寸调整判定用模板图像的生成进行说明的图。
具体实施方式
以下，参照附图对本发明的具体实施方式进行说明。图1是表示本实施方式中的相机的一个实施方式的构成的框图。相机100具备操作部件101、透镜102、拍摄元件103、控制装置104、存储卡插槽105和监视器106。操作部件101包含由使用者操作的各种输入部件，例如电源按钮、快门按钮、缩放按钮、十字键、确定按钮、再现按钮、删除按钮等。
透镜102由多个光学透镜构成，在图1中作为代表用1块透镜来表示。拍摄元件103为例如CMOS等图像传感器，对由透镜102成像的被拍摄体像进行拍摄。接着，将通过拍摄所得到的图像信号向控制装置104输出。
控制装置104由CPU、存储器、以及其他周边电路构成，对相机100进行控制。另外，在构成控制装置104的存储器中，含有SDRAM和/或闪存。SDRAM是易失性的存储器，作为CPU在程序执行时用于展开程序的工作存储器而使用，或作为用于暂时记录数据的缓存而使用。另外，闪存是非易失性的存储器，记录有控制装置104执行的程序的数据和/或、在程序执行读入的各种参数等。
控制装置104基于从拍摄元件103输入的图像信号而生成预定的图像形式例如JPEG形式的图像数据(以下称为“正式图像数据”)。另外，控制装置104基于生成的图像数据，生成显示用图像数据例如缩略图像数据。控制装置104生成包含生成的正式图像数据与缩略图像数据并进一步附加有标题信息而成的图像文件并将其向存储卡插槽105输出。在本实施方式中，正式图像数据与缩略图像数据都设为按RGB表色系表示的图像数据。
存储卡插槽105是供作为存储介质的存储卡插入的插槽。控制装置104将图像文件写入而记录于上述存储卡。另外，控制装置104读入存储于上述存储卡内的图像文件。
监视器106为搭载于相机100背面的液晶监视器(背面监视器)，在该监视器106上显示有存储于存储卡的图像和/或用于设定相机100的设定菜单等。另外，控制装置104，当由使用者将相机100的模式设定为摄影模式时，将从拍摄元件103按时间系列获取的图像的显示用图像数据向监视器106输出。由此，在监视器106显示静态画面(スルー画)。
图2是表示本实施方式中的被拍摄体跟踪处理的流程的流程图。图2所示的处理作为若开始从拍摄元件103输入静态画面则起动的程序，由控制装置104执行。
在步骤S10中，控制装置104读入从拍摄元件103输入的帧图像(第1帧图像)，进入步骤S20。读入的帧图像的尺寸设为例如360×240像素。另外，控制装置104将按RGB表色系表示的帧图像转换成YCbCr颜色空间中的由辉度分量(Y分量)构成的辉度图像与由色差分量(Cb分量、Cr分量)构成的色差图像。另外，在从拍摄元件103输入的帧图像按YCbCr表示的情况下，不需要该转换处理。
步骤S20中，控制装置104执行模板图像生成处理。在这里，使用图3以及图4对模板图像生成处理的详细情况进行说明。图3的步骤S201中，控制装置104对帧图像内的作为跟踪对象的被拍摄体(跟踪被拍摄体)的位置进行确定，进入步骤S202。在本实施方式中，督促使用者指定帧图像内的跟踪被拍摄体位置，将使用者操作操作部件101而输入的位置确定为跟踪被拍摄体位置。
步骤S202中，控制装置104，在以上述跟踪被拍摄体位置为中心的3×3像素的区域内分别计算Y分量的平均值、Cb分量的平均值、Cr分量的平均值。另外，控制装置104在整个帧图像中分别计算Y分量的标准偏差、Cb分量的标准偏差、Cr分量的标准偏差。另外，在本实施方式中，在这些标准偏差的计算中，不使用整个帧图像的平均值，而使用在以上述跟踪被拍摄体位置为中心的3×3像素的区域中计算出的平均值。
然后，进入步骤S203，控制装置104从帧图像的辉度图像(Y图像)与色差图像(Cb图像以及Cr图像)的各像素的值中减去步骤S202中计算出的Y分量、Cb分量、Cr分量的各自的平均值，分别作成取差值的绝对值而得的差分图像。
另外，控制装置104计算与距以上述跟踪被拍摄体位置为中心的预定大小(例如30×30像素)的矩形的距离相应的带距离权重的系数。另外，以距该矩形的距离越远(即越远离上述跟踪被拍摄体位置)越大的方式，计算出带距离权重的系数。而且，控制装置104通过在Y分量、Cb分量、Cr分量的各差分图像的各像素的值上乘以该带距离权重的系数，分别作成Y分量、Cb分量、Cr分量的带距离权重的差分图像。通过该处理，能够将背景的噪音除去。然后，进入步骤S204。
步骤S204中，控制装置104对步骤S203中生成的带距离权重的差分图像进行二值化处理，如图5所示，分别生成Y分量、Cb分量、Cr分量的二值图像3b～3d。另外，在图5中，用阴影表示的区域为黑像素的区域。
具体地说，在对Y分量的带距离权重的差分图像的二值化处理中，将在步骤S202中计算出的Y分量的标准偏差上乘以预定系数(例如0.6)所得的值设为阈值。而且，将像素值比阈值小的像素设为黑像素、将此外的像素设为白像素，生成二值图像。
对Cb分量的带距离权重的差分图像的二值化处理，与Y分量的情况同样地进行。但是，在步骤S202中计算出的Cb分量的平均值aveCb以及标准偏差sigCb满足下式(1)以及(2)这两方的情况下，在二值化处理中，使用通过下式(3)计算出的阈值thCb。这是为了与无彩色场景相对应。
118<aveCb<138···(1)
sigCb<abs(aveCb-128)+3···(2)
thCb＝α×sigCb×[{abs(aveCb－128)+3}/sigCb]1/2×[10/{abs(aveCb-128)+0.1}]1/2···(3)
另外，在数学式(2)以及(3)中，abs为取绝对值的函数。另外，数学式(3)中，α设为例如0.6。
另外，对Cr分量的带距离权重的差分图像的二值化处理，与Cb分量的情况同样地进行。
然后，进入步骤S205，控制装置104取步骤S204中生成的Y分量、Cb分量、Cr分量的二值图像3b～3d的逻辑与而进行合成，生成与图像(合成图像)3e，进入步骤S206。
在步骤S206中，控制装置104在上述与图像中，裁切(crop)出以跟踪被拍摄体位置为中心的预定范围、例如180×180像素的大小的区域。通过以通过该裁切处理所得到的裁切图像为对象而进行后面的处理，从而能够使处理高速化。而且，控制装置104通过对裁切出的图像进行8个方向的标示处理而生成标示图像，进入步骤S207。
步骤S207中，控制装置104从在上述标示处理中作出的标示图像内提取白像素的块作为掩模，并计算提取出的掩模的面积，进入步骤S208。
步骤S208中，控制装置104基于上述掩模的面积，进行用于将是跟踪被拍摄体的可能性低的掩模去掉的筛选。具体地说，仅将掩模面积除以上述与图像的画面面积所得的值比预定的下限值(例如0.0001)大的掩模留下，将其他的从以后的处理对象中去掉。由此，能够将是跟踪被拍摄体的可能性低的掩模从以后的处理对象中去掉以谋求处理的高速化。
然后，进入步骤S209，控制装置104判定步骤S208中没有被去掉的掩模(即剩下的掩模)是否为1个以上。剩下的掩模的数量为0意味着不能检测到是跟踪被拍摄体的可能性高的掩模。在该情况下，控制装置104在步骤S209中作出否定判定而返回步骤S201，再次使使用者输入跟踪被拍摄体位置。另外，在该情况下，也可以设为不能跟踪而结束被拍摄体跟踪处理。另一方面，在剩下的掩模的数量为1个以上的情况下，控制装置104在步骤S209中作出肯定判定而进入步骤S210。
步骤S210中，控制装置104分别通过下式(4)计算剩下的各掩模的惯性矩IM。
IM＝ΣΣ{(x－xg)2+(y－yg)2)···(4)
另外，在数学式(4)中，(x，y)为掩模的像素的坐标，(xg，yg)为跟踪被拍摄体位置的坐标。
接着，控制装置104基于上述惯性矩IM与步骤S207中计算出的掩模面积，分别通过下式(5)计算对剩下的各掩模的评价值。
评价值＝(掩模面积)β/IM···(5)
另外，在数学式(5)中，β的值优选为比1大的值，例如设为1.5。
然后，进入图4的步骤S211，控制装置104将上述评价值最大的掩模确定为表示跟踪被拍摄体的可能性高的掩模。而且，控制装置104基于图6(A)所示的包络该确定的掩模Ma的矩形的短边Rect，设定表示跟踪被拍摄体的大小的值(以下，称为目标尺寸(Objectsize))。具体地说，Rect>240的情况下设为Rect＝240，Rect<9的情况下设为Rect＝6。而且，通过通过下式(6)计算目标尺寸，从而将目标尺寸设为接近短边Rect的3的倍数的值。这是为了：在后述的处理中，将基于目标尺寸来设定尺寸的尺寸调整判定用模板图像分割为3×3的块。
Objectsize＝floor(Rect/3)×3···(6)
另外，数学式(6)中，floor是进行舍去小数点后数值的函数。
然后，进入步骤S212，控制装置104判定步骤S211中决定的目标尺寸是否比预定值(在本实施方式中为24个像素)大。另外，该预定值是在模板匹配处理中处理的模板图像的大小的最大值，例如受与控制装置104有关的硬件制约等而决定。控制装置104在目标尺寸比预定值大的情况下，在步骤S212中作出肯定判定而进入步骤S218。另一方面，在目标尺寸为预定值以下的情况下，在步骤S212中作出否定判定而进入步骤S213。
步骤S213中，控制装置104将帧图像的缩小放大率Shuku设定为1倍，在将缩小放大率记录于未图示的存储器后，进入步骤S214。
步骤S214中，控制装置104，在步骤S10中读入的帧图像中，如图6(B)所示，生成以上述跟踪被拍摄体位置Pt为中心的Objectsize×Objectsize的图像作为初始模板图像Ts，在将其记录于未图示的存储器后，进入步骤S215。另外，初始模板图像Ts是如后述那样进行尺寸变更但不进行图像内容更新的模板图像。
步骤S215中，控制装置104生成与初始模板图像Ts相同的图像作为合成模板图像Tg，进入步骤S216。另外，合成模板图像Tg与初始模板图像不同，是进行图像内容的更新的模板图像。对于该更新后述。另外，初始模板图像以及合成模板图像是用于确定跟踪被拍摄体位置的跟踪用模板图像。
步骤S216中，控制装置104生成用于判定是否要对模板图像进行尺寸调整的尺寸调整判定用模板图像。具体地说，如图7(A)所示，将步骤S215中生成的合成模板图像Tg分割为3×3的块B1～B9，计算各块B1～B9的中心位置P1～P9。而且，控制装置104如图8(A)所示，生成以块B1的中心位置P1为中心的、作为Objectsize×Objectsize的图像，将其作为第1尺寸调整判定用模板图像Tr1。对于块B2～B9的中心位置P2～P9也是同样，如图8(B)～(I)所示那样生成第2～第9尺寸调整判定用模板图像Tr2～Tr9。另外，在本实施方式中，以分割出的9个块中的中央的块B5的中心位置(＝跟踪被拍摄体位置)P5为中心的第5尺寸调整判定用模板图像Tr5，成为与合成模板图像Tg相同的图像。
然后，进入步骤S217，控制装置104如图7(B)所示，对第1～第4、第6～第9尺寸调整判定用模板图像Tr1～Tr4、Tr6～Tr9的中心位置P1～P4、P6～P9，分别计算距第5尺寸调整判定用模板图像Tr5的中心位置(＝跟踪被拍摄体位置)P5的距离L1～L4、L6～L9作为初始状态的距离(初始距离)。在本实施方式中，在距离的计算中使用例如欧几里得距离。控制装置104将计算出的初始距离L1～L4、L6～L9记录于未图示的存储器。然后，控制装置104结束图4的处理，返回到图2的处理。
另一方面，在上述的步骤S212中作出肯定判定而进入的步骤S218中，控制装置104通过下式(7)计算帧图像的缩小放大率Shuku，并记录于未图示的存储器。
Shuku＝24/ObjectSize···(7)
而且，控制装置104使用上述缩小放大率Shuku对步骤S10中读入的帧图像进行尺寸调整，进入步骤S219。在本实施方式中，作为图像的尺寸调整方法使用例如双线性法。另外，与该尺寸调整相配合地，对跟踪被拍摄体位置的坐标进行转换。
步骤S219中，控制装置104，在上述尺寸调整后的帧图像中，生成以上述跟踪被拍摄体位置为中心的24×24像素的图像作为初始模板图像，将其记录于未图示的存储器后，进入步骤S220。
步骤S220中，控制装置104生成与步骤S219中生成的初始模板图像相同的图像作为合成模板图像，进入步骤S221。
步骤221中，控制装置104将步骤S220中生成的合成模板图像分割为3×3的块，计算各块的中心位置。而且，控制装置104与上述步骤S216的情况同样地，生成以各块的中心位置为中心的、尺寸为24×24像素的图像作为第1～第9尺寸调整判定用模板图像。另外，以分割出的9个块中的中央的块的中心位置(即跟踪被拍摄体位置)为中心的第5尺寸调整判定用模板图像，成为与步骤S220中生成的合成模板图像相同的图像。
这样在本实施方式中，在上述步骤S211中设定的目标尺寸比24个像素大的情况下，在尺寸调整的帧图像中生成24×24像素的模板图像(初始模板图像、合成模板图像以及第1～第9尺寸调整判定用模板图像)。另外，以该24×24像素的模板图像成为与在原始的(尺寸调整前的)帧图像中生成尺寸为Objectsize×Objectsize的模板图像的情况下相同图像内容的方式，在上述步骤S218中计算帧图像的缩小放大率Shuku。而且，在后述的跟踪被拍摄体位置确定处理(图8)中，使用24×24像素的模板图像对尺寸调整后的帧图像进行模板匹配处理。由此，即使在模板匹配处理中处理的模板图像的尺寸限于24×24像素为止，也能够在原始的帧图像中对比24×24像素大的尺寸的被拍摄体进行跟踪。
然后，进入步骤S222，控制装置104对于第1～第4、第6～第9尺寸调整判定用模板图像的中心位置，分别计算其距第5尺寸调整判定用模板图像的中心位置的距离而作为初始距离。控制装置104将计算出的距离记录于未图示的存储器。然后，控制装置104结束图4的处理，返回到图2的处理。
控制装置104，若如上所述完成了图2的步骤S20的模板图像生成处理完成则进入步骤S30，设定第2帧的模板匹配处理中的搜索区域。在这里，控制装置104以上述跟踪被拍摄体位置为中心、将基于模板图像的尺寸(Tempsize)所决定的尺寸的区域设定为搜索区域。具体地说，通过下式(8)～(15)计算搜索区域的上端y坐标(TM_Ystart)、下端y坐标(TM_Yend)、左端x坐标(TM_Xstart)、右端y坐标(TM_Xend)。另外，在下式(8)～(15)中，TM_ImageWidth为在帧图像的横向宽度上乘以上述缩小放大率所的的值，ObjectY为跟踪被拍摄体位置的y坐标，ObjectX为跟踪被拍摄体位置的x坐标，MinZansa＝0.1，Keisu＝0.5。另外，在下式(12)～(15)中，在Objectsize为24个像素以下的情况下，Tempsize＝Objectsize，在Objectsize比24个像素大的情况下，Tempsize＝24。进一步，在下式(12)～(15)中，在Objectsize比24个像素大的情况下，关于ObjectX、ObjectY，使用在步骤S218中与尺寸调整配合而转换后的坐标。
Search＝TM_ImageWidth×Keisu···(8)
If(ObjectSize>＝60)→Geta＝50
else Geta＝24···(9)
Geta1＝Geta×Shuku···(10)
SearchWidth＝Minzansa×Search+Geta1···(11)
TM_Ystart＝ObjectY－(SearchWidth+1)－TempSize/2···(12)
TM_Yend＝ObjectY+SearchWidth+TempSize/2···(13)
TM_Xstart＝ObjectX－(SearchWidth+1)－TempSize/2···(14)
TM_Xend＝ObjectX+SearchWidth+TempSize/2···(15)
然后，进入步骤S40进入，控制装置104读入从拍摄元件103输入的帧图像(第2帧以后的图像)，进入步骤S50。此时，控制装置104与上述的步骤S10同样地，将按RGB表色系表示的帧图像转换成辉度图像(Y图像)与色差图像(Cb、Cr)。
步骤S50中，控制装置104执行跟踪被拍摄体位置确定处理。在这里，使用图9对跟踪被拍摄体位置确定处理的详细情况进行说明。图9的步骤S501中，控制装置104基于在上述步骤S213或S218、或后述的步骤S810或S815中设定的缩小放大率Shuku，而对步骤S40中读入的帧图像进行尺寸调整，进入步骤S502。
步骤S502中，控制装置104在步骤S501中进行了尺寸调整后的帧图像中，分别演算搜索区域内的图像与初始模板图像的相似度、以及搜索区域内的图像与合成模板图像的相似度。在这里，作为相似度的演算方法，使用绝对差分和(SAD：Sum of Absolute Difference)。绝对差分和的值越小表示相似度越高，值越大表示相似度越低。
具体地说，控制装置104，一边在搜索区域内1个像素1个像素地使与初始模板图像同一尺寸的搜索框移动，一边按Y分量、Cb分量、Cr分量分别演算搜索框内的图像与初始模板图像的绝对差分和。关于合成模板图像，也同样地一边1个像素1个像素地使搜索框移动，一边演算搜索框内的图像与合成模板图像的绝对差分和。而且，关于初始模板图像以及合成模板图像，分别按每个Y分量、Cb分量、Cr分量而生成将各搜索框位置中的绝对差分和2维化而表示的相似度映射。
然后，进入步骤S503，控制装置104判定步骤S40中读入的帧图像是否是第2帧。在是第2帧的情况下，控制装置104进入步骤S505，在是第3帧以后的情况下，进入步骤S504。
步骤S504中，控制装置104，对每个在步骤S502中生成的相似度映射，乘以与距前一帧中的用跟踪被拍摄体位置确定处理确定的跟踪被拍摄体位置的距离相应的系数Kyori，进入步骤S505。另外，通过下式(16)计算出该系数Kyori。即，该系数是以越远离前一帧中的跟踪被拍摄体位置越大的方式而计算出的。
Kyori(x,y)＝Kyori0+K(|x-Mx×Shuku|+|y－My×Shuku|)···(16)
另外，数学式(16)中，(x，y)是搜索区域内的各像素的坐标，Mx是在前一帧中确定的跟踪被拍摄体位置的x坐标，My是在前一帧中确定的跟踪被拍摄体位置的y坐标。另外，在本实施方式中，设为Kyori0＝1.0，K＝0.05。
步骤S505中，控制装置104关于初始模板图像以及合成模板图像，分别通过下式(17)综合Y分量、Cb分量、Cr分量的相似度映射SADY、SADCb、SADCr，并生成综合相似度映射SADall。
SADall＝1/N(GainY×SADY+GainCb×SADCb+GainCr×SADCb)···(17)
另外，数学式(17)中，在本实施方式中，设为GainY＝0.1，GainCb＝1.5，GainCr＝1.5。另外，N是SAD的标准化系数，设为N＝Tempsize×Tempsize×255。
而且，控制装置104从初始模板图像的综合相似度映射、以及合成模板图像的综合相似度映射之中，选出计算出了最大相似度(即最小绝对差分和)的搜索框位置作为匹配位置。控制装置104确定匹配位置中的搜索框内的区域(匹配区域)作为跟踪被拍摄体区域，确定跟踪被拍摄体区域的中心位置作为跟踪被拍摄体位置。
具体地说，控制装置104通过下式(18)以及(19)，计算跟踪被拍摄体位置的坐标(Objx，Objy)，并确定跟踪被拍摄体位置。
Objx＝Mx+Tempsize/2···(18)
Objy＝My+Tempsize/2···(19)
另外，控制装置104通过下式(20)～(23)，计算跟踪被拍摄体区域的上端y坐标(Obj_YStart)、下端y坐标(Obj_YEnd)、左端x坐标(Obj_XStart)、右端x坐标(Obj_XEnd)，确定跟踪被拍摄体区域。
Obj_YStart＝My/Shuku···(20)
Obj_YEnd＝(My+Tempsize－1)/Shuku···(21)
Obj_XStart＝Mx/Shuku···(22)
Obj_XEnd＝(Mx+Tempsize－1)/Shuku···(23)
然后，进入步骤S506，控制装置104在显示于监视器106的帧图像上显示上述跟踪被拍摄体区域以及跟踪被拍摄体位置，结束图9的处理，返回到图2的处理。
控制装置104，若如上所述那样完成了图2的步骤S50的跟踪被拍摄体位置确定处理则进入步骤S60，判定在步骤S40中读入的帧图像是否是最终帧。在是最终帧的情况下，控制装置104在步骤S60中作出肯定判定而结束图2的处理，在不是最终帧的情况下，在步骤S60中作出否定判定而进入步骤S70。
步骤S70中，控制装置104执行合成模板图像更新处理。在这里，关于合成模板图像更新处理的详细情况，使用图10进行说明。图10的步骤S701中，控制装置104判定是否要对合成模板图像进行更新。此时，控制装置104在满足以下条件(1)以及条件(2)的情况下，判断为满足合成模板图像的更新条件。
条件(1)···上述最小绝对差分和比预先设定的判定阈值小(即最大相似度为预定以上的高相似度)
条件(2)···连续预定的次数(例如3次)以上，根据利用相同模板图像所生成的相似度映射而计算出最大相似度
因此，控制装置104在判断为满足上述更新条件的情况下、在步骤S701中作出肯定判定而进入步骤S702。另一方面，在判断为不满足上述更新条件的情况下，在步骤S701中作出否定判定，不对合成模板图像进行更新而结束图10的处理，返回到图2的处理。这是因为：在不满足上述更新条件的情况下，不能捕捉跟踪对象的被拍摄体的可能性较高，要更新的合成模板图像包含不同于最初的跟踪对象的被拍摄体的可能性较高。
步骤S702中，控制装置104判定计算出了最大相似度的是初始模板图像的相似度映射还是合成模板图像的相似度映射。控制装置104在判定为是合成模板图像的相似度映射的情况下进入步骤S703，在判定为是初始模板图像的相似度映射的情况下进入步骤S704。
步骤S703中，控制装置104将乘上了第1权重系数后的匹配区域内的图像的像素信息与乘上了第2权重系数后的初始模板图像的像素信息相加即进行合成，生成新的合成模板图像。控制装置104将该生成的图像作为新合成模板图像而进行更新，结束图10的处理返回到图2的处理。
在这里，匹配区域内的图像与初始模板图像都是从应该跟踪的被拍摄体中切割下的数据，所以不会具有完全不同的信息量。由此，如果将这2个图像合成，则会生成与跟踪对象的被拍摄体相类似的图像。将这样合成出的图像作为新合成模板图像使用的优点是，在例如被拍摄体的运剧烈的情况下，通过使用包含多个被拍摄体信息的合成模板图像，即使有少许的被拍摄体变化，也能够稳定地进行跟踪。另外，第1权重系数与第2权重系数设定为其和为1，关于各自的权重系数的值设为例如第1权重系数＝0.6、第2权重系数＝0.4。即，在计算出了最大相似度的是合成模板图像的情况下，当前被拍摄体的形状相对于初始模板图像中的被拍摄体的形状大幅变化了的可能性较高，所以通过将与合成模板图像的像素信息相乘的第1权重系数设定得较大，从而能够生成较强地反映了当前被拍摄体的形状的新合成模板图像。另外，即使在该情况下，通过在初始模板图像的像素信息上以相乘的方式添加将值设定得较小而成的第2权重系数，从而能够使得新更新模板图像不会过大地偏离初始模板图像。
另一方面，步骤S704中，控制装置104将乘以了第3权重系数后的匹配区域内的图像的像素信息与乘以了第4权重系数后的初始模板图像的像素信息相加、即进行合成，生成新合成模板图像。控制装置104将该生成的图像作为新合成模板图像而进行更新，结束图10的处理返回到图2的处理。
在该情况下，第3权重系数与第4权重系数设定为其和为1，关于各自的权重系数的值，设为例如第3权重系数＝0.4、第4权重系数＝0.6。即，在计算出了最大相似度的是初始模板图像的相似度映射的情况下，当前被拍摄体的形状相对于初始模板图像中的被拍摄体的形状几乎没有变化的可能性较高，所以通过将要与初始模板图像的像素信息相乘的第4权重系数设定得较大，从而使得新生成的合成模板图像接近初始模板图像。另外，即使在该情况下，通过在合成模板图像的像素信息上以相乘的方式添加将值设定得较小的第3权重系数，从而能够生成也考虑了历时性地对被拍摄体形状的变化的影响的新合成模板图像。
控制装置104若如上述那样完成了步骤S70的合成模板图像更新处理则进入骤S80，执行模板图像尺寸变更处理。在这里，关于模板图像尺寸变更处理的详细情况，使用图11以及图12进行说明。图11的步骤S801中，控制装置104与在上述步骤S502中叙述了的初始模板图像以及合成模板图像的情况同样地，分别运算搜索区域内的图像与第1～第9尺寸调整判定用模板图像的相似度。而且，关于第1～第9尺寸调整判定用模板图像，分别按每个Y分量、Cb分量、Cr分量生成相似度映射。
然后，进入步骤S802，控制装置104判定步骤S40中读入的帧图像是否是第2帧。在是第2帧的情况下，控制装置104进入步骤S804，在是第3帧以后的帧的情况下进入步骤S803。
步骤S803中，控制装置104与上述步骤S504同样地，使用上述式(16)计算系数Kyori。另外，上述式(16)中的Mx与My，对于第1～第9尺寸调整判定用模板图像，分别使用前一帧中的用模板图像尺寸变更处理确定的匹配位置的坐标。而且，控制装置104，将每个在步骤S801中生成的相似度映射乘以系数Kyori，进入步骤S804。
步骤S804中，控制装置104对于第1～第9尺寸调整判定用模板图像，与上述步骤S505同样地，分别通过上述式(17)综合Y分量、Cb分量、Cr分量的相似度映射，生成综合相似度映射。而且，控制装置104在第1～第9尺寸调整判定用模板图像的综合相似度映射中，分别将作为最大相似度的(即作为最小绝对差分和的)搜索框位置确定为匹配位置，进入步骤S805。即，关于第1～第9尺寸调整判定用模板图像，分别确定匹配位置。
步骤S805中，控制装置104判定第5尺寸调整判定用模板图像的综合相似度映射的最小绝对差分和是否比预先设定的判定阈值小(即最大相似度为预定以上的高相似度)。在上述最小绝对差分和比上述判定阈值小的情况下，控制装置104在步骤S805中作出肯定判定而进入步骤S806。另一方面，在上述最小绝对差分和为上述判定阈值以上的情况下(即最大相似度比预定低的情况下)，控制装置104在步骤S805中作出否定判定，不变更模板图像的尺寸地结束图11的处理，返回到图2的处理。
步骤S806中，控制装置104在第1～第4以及第6～第9尺寸调整判定用模板图像中，选择最小绝对差分和比预先设定的判定阈值小的(即最大相似度为预定以上的高相似度)模板图像。而且，控制装置104分别计算和选择的尺寸调整判定用模板图像有关的匹配位置距与第5尺寸调整判定用模板图像有关的匹配位置(＝与合成模板图像有关的匹配位置)的距离(当前距离)，进入步骤S807。
在这里使用图13，对和第1～第9尺寸调整判定用模板图像有关的匹配位置M1～M9与跟踪被拍摄体Hs的大小的关系进行说明。图13(B)是对初始距离、即第1～第4、第6～第9尺寸调整判定用模板图像的中心位置P1～P4、P6～P9分别距第5尺寸调整判定用模板图像的中心位置P5的距离进行说明的图。
在从图13(B)的状态变化为图13(A)的状态的情况下、即在帧图像上跟踪被拍摄体Hs变小的情况下，第1～第5尺寸调整判定用模板图像的匹配位置M1～M9的位置关系，与图13(B)所示的情况相比较密度升高。即，第1～第4、第6～第9尺寸调整判定用模板图像的匹配位置M1～M4、M6～M9分别距第5尺寸调整判定用模板图像的匹配位置M5的距离(当前距离)，与分别相对应的初始距离相比变短。另外，跟踪被拍摄体H变得越小，则当前距离与初始距离相比变得更短。
在从图13(B)的状态变化为图13(C)的状态的情况下、即在帧图像上跟踪被拍摄体Hs变大的情况下，第1～第5尺寸调整判定用模板图像的匹配位置M1～M9的位置关系，与图13(B)所示的情况相比较密度降低(变稀)。即，第1～第4、第6～第9尺寸调整判定用模板图像的匹配位置M1～M4、M6～M9分别距第5尺寸调整判定用模板图像的匹配位置M5的距离(当前距离)，与分别相对应的初始距离相比变长。另外，跟踪被拍摄体Hs变得越大，则当前距离与初始距离相比变得更长。
另外，在跟踪被拍摄体Hs的尺寸不变的情况下，第1～第4、第6～第9尺寸调整判定用模板图像的匹配位置M1～M4、M6～M9分别距第5尺寸调整判定用模板图像的匹配位置M5的距离，相对于分别相对应的初始距离几乎没有变化。
因此。步骤S807中，控制装置104判定步骤S806中计算出的距离(称为当前距离)相对于上述步骤S217或步骤S222、或后述步骤S814或步骤S819中计算出的初始距离的变化大不大。具体地说，在步骤S806中计算出的当前距离中过半数以上变为当前距离/初始距离≥1.2、或当前距离/初始距离≤0.76的情况下，判断为当前距离相对于初始距离的变化较大，在此外的情况下判断为当前距离相对于初始距离的变化较小。在当前距离相对于初始距离的变化较大的情况下，跟踪被拍摄体的尺寸较大地变化的可能性较高。因此，在判断为该变化较大的情况下，控制装置104在步骤S807中作出肯定判定，进入步骤S808。另一方面，在判断为该变化较小的情况下，控制装置104在步骤S807中作出否定判定，不变更模板图像的尺寸地结束图11的处理，返回到图2的处理。
图12的步骤S808中，在当前距离与初始距离相比较变长了的情况下，控制装置104增大目标尺寸，在当前距离与初始距离相比较变短了的情况下控制装置104减小目标尺寸。另外，变更前的目标尺寸越大，控制装置104越增大尺寸的变更量，变更前的目标尺寸越小控制装置104越减小尺寸的变更量。具体地说，在当前距离/初始距离≥1.2的情况下使用下式(24)，在当前距离/初始距离≤0.76的情况下使用下式(25)，对目标尺寸(Objectsize)进行更新。
(1)在当前距离/初始距离≥1.2的情况下
If(ObjectSize≥240)→ObjectSize＝240
elseif(ObjectSize≥120)→ObjectSize＝ObjectSize+15
elseif(ObjectSize≥60)→ObjectSize＝ObjectSize+12
elseif(ObjectSize≥48)→ObjectSize＝ObjectSize+9
elseif(ObjectSize≥27)→ObjectSize＝ObjectSize+6
else→ObjectSize＝ObjectSize+3···(24)
(2)在当前距离/初始距离≤0.76的情况下
If(ObjectSize≥105)→ObjectSize＝ObjectSize－15
elseif(ObjectSize≥72)→ObjectSize＝ObjectSize－12
elseif(ObjectSize≥33)→ObjectSize＝ObjectSize－9
elseif(ObjectSize≥24)→ObjectSize＝ObjectSize－6
elseif(ObjectSize≤6)→ObjectSize＝6
else→ObjectSize＝ObjectSize－3···(25)
然后，进入步骤S809，控制装置104判定在步骤S808中更新后的目标尺寸是否比预定值(在本实施方式中为24个像素)大。在目标尺寸比预定值大的情况下，控制装置104在步骤S809中作出肯定判定而进入步骤S815。另一方面，在目标尺寸为预定值以下的情况下，在步骤S809中作出否定判定而进入步骤S810。
步骤S810中，控制装置104将帧图像的缩小放大率Shuku设定为1倍，进入步骤S811。
步骤S811中，控制装置104，使用在步骤S213或S218中保存于未图示的存储器的缩小放大率Shuku的倒数对在步骤S214或S219中记录于未图示的存储器的初始模板图像的尺寸进行尺寸调整。而且，控制装置104对该尺寸调整后的初始模板图像进行尺寸调整使得其变为步骤S808中更新后的目标尺寸Objectsize×Objectsize，进入步骤S812。
步骤S812中，控制装置104，在步骤S40中读入的帧图像中，更新以步骤S50中确定的跟踪被拍摄体位置为中心且尺寸为步骤S808中更新后的目标尺寸Objectsize×Objectsize的图像作为合成模板图像，进入步骤S813。
步骤S813中，控制装置104将在步骤S813中生成的合成模板图像分割为3×3的块，计算各块的中心位置。而且，控制装置104与上述步骤S216的情况同样地，更新以各块的中心位置为中心且在步骤S808中更新后的目标尺寸为Objectsize×Objectsize的图像作为第1～第9尺寸调整判定用模板图像。
这样在上述步骤S811～S813中，在当前距离与初始距离相比较变长了的情况下，控制装置104增大模板图像的尺寸，在当前距离与初始距离相比较变短了的情况下控制装置104减小模板图像的尺寸。
然后，进入步骤S814，控制装置104对于在步骤813中更新后的第1～第4、第6～第9尺寸调整判定用模板图像的中心位置，分别计算其距第5尺寸调整判定用模板图像的中心位置的距离作为初始距离。控制装置104将计算出的距离记录于未图示的存储器。然后，控制装置104结束图12的处理，返回到图2的处理。
另一方面，在上述步骤S809中作出肯定判定而进入的步骤S815中，控制装置104使用上述步骤S808中更新后的目标尺寸Objectsize，通过上述式(7)计算帧图像的缩小放大率Shuku。而且，控制装置104使用该计算出的缩小放大率Shuku对在步骤S40中读入的帧图像进行尺寸调整，进入步骤S816。另外，与该尺寸调整相配合地，对在步骤S50中确定的跟踪被拍摄体位置的坐标进行转换。
步骤S816中，控制装置104，使用在步骤S213或S218中记录于未图示的存储器的缩小放大率Shuku的倒数对在步骤S214或S219中记录于未图示的存储器的初始模板图像的尺寸进行尺寸调整。而且，控制装置104对该尺寸调整后的初始模板图像进行尺寸调整使得其变为步骤S808中更新后的目标尺寸Objectsize×Objectsize。进一步，控制装置104通过用上述步骤S815中计算出的缩小放大率Shuku对该尺寸调整后的初始模板图像进行尺寸调整，从而将初始模板图像的尺寸设为24×24像素，进入步骤S817。
步骤S817中，控制装置104，在步骤S815中尺寸调整后的帧图像中、更新以上述跟踪被拍摄体位置为中心且尺寸为24×24像素的图像作为合成模板图像，进入步骤S818。
步骤818中，控制装置104将在步骤S817中生成的合成模板图像分割为3×3的块，计算各块的中心位置。而且，控制装置104与上述步骤S221的情况同样地，更新以各块的中心位置为中心且尺寸为24×24像素的图像作为新第1～第9尺寸调整判定用模板图像。
这样在上述步骤S809中更新后的目标尺寸比24个像素大的情况下的上述步骤S815～S818中，在当前距离与初始距离相比较变长了的情况下，控制装置104增大与帧图像相对的模板图像的尺寸，在当前距离与初始距离相比较变短了的情况下，控制装置104减小与帧图像相对的模板图像的尺寸。另外，本说明中，所谓变更模板图像的尺寸包含变更模板图像的尺寸相对于帧图像的尺寸的放大率。
然后，进入步骤S819，控制装置104对于在步骤S818中更新后的第1～第4、第6～第9尺寸调整判定用模板图像的中心位置，分别计算其距第5尺寸调整判定用模板图像的中心位置的距离作为初始距离。控制装置104将计算出的距离记录于未图示的存储器。然后，控制装置104结束图12的处理，返回到图2的处理。
控制装置104，若如上所述完成了图2的步骤S80的模板尺寸变更处理则进入步骤S90，设定下一帧的模板匹配处理中的搜索区域。在这里，控制装置104将以上述跟踪被拍摄体位置为中心且基于模板尺寸以及在步骤S505中计算出的最小绝对差分和(即最大相似度)所决定的尺寸的区域设定为搜索区域。具体地说，与上述步骤S30同样地，通过上述式(8)～(15)计算搜索区域的上端y坐标(TM_Ystart)、下端y坐标(TM_Yend)、左端x坐标(TM_Xstart)、右端y坐标(TM_Xend)。另外，在上述式(11)中，MinZansa使用在步骤S505中计算出的最小绝对差分和。
若这样设定了下一帧中的搜索区域，则控制装置104返回到步骤S40。控制装置104通过反复进行步骤S40～S90，从而在逐次读入的帧图像中对跟踪对象的被拍摄体进行跟踪。
根据以上说明了的实施方式，能够得到下面的作用效果。
(1)被拍摄体跟踪装置具备：在输入图像(帧图像)内设定搜索区域的控制装置104；演算跟踪用模板图像(初始模板图像以及合成模板图像)与搜索区域内的图像的相似度的控制装置104；基于该演算出的相似度而确定帧图像内的跟踪被拍摄体位置的控制装置104；分别演算基于合成模板图像所生成的第1～第9尺寸调整判定用模板图像与搜索区域内的图像的相似度的控制装置104；基于该演算出的相似度而分别确定帧图像内的第1～第9尺寸调整判定用模板图像的匹配位置的控制装置104；和基于上述确定的匹配位置的疏密程度(即，上述当前距离相对于上述初始距离的变化程度)，变更跟踪用模板图像以及尺寸调整判定用模板图像的图像尺寸的控制装置104，所以能够与跟踪被拍摄体的大小的变化相应而变更模板图像的尺寸。因此，能够高精度地跟踪大小变化的被拍摄体。
(2)上述(1)的被拍摄体跟踪装置中，控制装置104构成为，在上述确定的多个匹配位置的疏密程度变化到达了预定以上的情况下(变为当前距离/初始距离≥1.2、或当前距离/初始距离≤0.76的情况下)，变更模板图像的尺寸，所以能够防止跟踪被拍摄体的大小几乎没有变化但误使模板图像的尺寸较大地变更的情况。
(3)上述(1)或(2)的被拍摄体跟踪装置中，控制装置104构成为，在上述确定的匹配位置的密度向高变了的情况下(即，上述当前距离变得比上述初始距离短了的情况下)减小模板图像的尺寸，在上述确定的多个匹配位置的密度向低变了的情况下(即，上述当前距离变得比上述初始距离长了的情况下)增大模板图像的尺寸，所以在跟踪被拍摄体变小了时能够减小模板图像的尺寸，在跟踪被拍摄体增大了时能够增大模板图像的尺寸。
(4)上述(1)～(3)的被拍摄体跟踪装置中，控制装置104构成为，在上述确定的匹配位置中选择最小绝对差分和比上述判定阈值小的匹配位置、即上述相似度为预定以上的高相似度的匹配位置，基于选择了的匹配位置的疏密程度而变更上述图像尺寸，所以能够仅基于能够可靠地捕捉并跟踪跟踪被拍摄体的匹配位置而变更模板图像的尺寸。因此，能够防止模板图像的尺寸不恰当地变更。
(5)上述(1)～(4)的被拍摄体跟踪装置中，第1～第9尺寸调整判定用模板图像构成为，分别包含跟踪用模板图像(合成模板图像)的不同部分的图像，所以能够使用第1～第9尺寸调整判定用模板图像高精度地识别跟踪被拍摄体的大小是否变化了。
(6)上述(5)的被拍摄体跟踪装置中，第1～第9尺寸调整判定用模板图像构成为，是被分割为3×3的块的跟踪用模板图像(合成模板图像)中分别以各块B1～B9的中心位置为中心的预定尺寸的图像，所以能够使用第1～第9尺寸调整判定用模板图像高精度地识别跟踪被拍摄体的大小是否变化了。
(7)上述(6)的被拍摄体跟踪装置中，控制装置104构成为，基于以与以上述3×3的块中的正中的块B5的中心位置P5为中心的第5尺寸调整判定用模板图像有关的匹配位置为基准的、与其他(第1～第4、第6～第9)的尺寸调整判定用模板图像有关的匹配位置的疏密程度，而变更模板图像的尺寸，所以能够高精度地追随跟踪被拍摄体的大小的变化。
(8)上述(7)的被拍摄体跟踪装置中，控制装置104构成为，在第5尺寸调整判定用模板图像与搜索区域内的图像的最大相似度为预定以上的高相似度的情况下，变更模板图像的尺寸，所以能够按以能够可靠地捕捉并跟踪跟踪被拍摄体的匹配位置为基准的疏密程度而变更模板图像的尺寸。因此，能够防止模板图像的尺寸不恰当地变更。
(9)被拍摄体跟踪装置构成为，具备：在输入图像(帧图像)内设定搜索区域的控制装置104；分别演算初始模板图像与搜索区域内的图像的相似度、以及合成模板图像与搜索区域内的图像的相似度的控制装置104；基于演算出的相似度而确定帧图像内的跟踪被拍摄体位置的控制装置104；基于演算出的相似度而判定是否对合成模板图像进行更新的控制装置104；在判定为对合成模板图像进行更新的情况下、更新将输入图像中的包含跟踪被拍摄体位置的图像与初始模板图像合成而得的图像作为新合成模板图像的控制装置104；分别演算第1～第9尺寸调整判定用模板图像与搜索区域内的图像的相似度控制装置104；基于演算出的相似度而分别确定帧图像内的第1～第9尺寸调整判定用模板图像的匹配位置的控制装置104；基于确定的匹配位置的疏密程度而判定是否对初始模板图像、合成模板图像与尺寸调整判定用模板图像的图像尺寸进行变更的控制装置104；和在判定为对上述图像尺寸进行变更的情况下、将初始模板图像的图像尺寸变更为新图像尺寸的控制装置104，控制装置104构成为，在判定为对上述图像尺寸进行变更的情况下，更新帧图像中的包含跟踪被拍摄体位置的新图像尺寸的图像作为新合成模板图像，进一步，将更新后的合成模板图像分割为多个块，更新输入图像中的包含各块的新图像尺寸的图像作为新尺寸调整判定用模板图像，所以能够与跟踪被拍摄体的大小的变化相应而变更初始模板图像、合成模板图像以及尺寸调整判定用模板图像的图像尺寸。因此，能够高精度地跟踪大小变化的被拍摄体。
(变形例1)
在上述的实施方式中，关于将合成模板图像分割为3×3的块并生成以分割后的各块的中心位置为中心且与合成模板图像同一尺寸的图像作为第1～第9尺寸调整判定用模板图像的例子进行了说明。然而，并不限定于3×3，也可以将合成模板图像分割为其他个数的块，生成包含分割后的各块的图像作为尺寸调整判定用模板图像。
例如，如图14(A)所示，也可以将合成模板图像Tg分割为2×2的块B11～B14。该情况下，控制装置104如图14(B)～(E)所示，生成分别包含各块B11～B14且与合成模板图像Tg同一尺寸的图像而作为第11～第14尺寸调整判定用模板图像Tr11～Tr14。
另外，各块B11～B14的中心位置也可以不必成为第11～第14尺寸调整判定用模板图像Tr11～Tr14的中心。另外，尺寸调整判定用模板图像优选生成为，包含跟踪被拍摄体的边缘部分且几乎不包含背景部分(跟踪被拍摄体以外的部分)。通过设为这样，从而能够使用尺寸调整判定用模板图像而追随跟踪被拍摄体的边缘部分，所以能够识别跟踪被拍摄体的大小是否变化了。
控制装置104关于第11～第14尺寸调整判定用模板图像Tr11～Tr14的中心位置，分别计算其距合成模板图像的中心位置的距离作为初始距离、并存储。在模板图像尺寸变更处理时，在合成模板图像Tg的匹配位置的相似度(即最大相似度)为预定以上的高相似度的情况下，控制装置104在上述步骤S805中作出肯定判定。而且，控制装置104在上述步骤S806中，关于第11～第14尺寸调整判定用模板图像Tr11～Tr14的匹配位置，分别计算距合成模板图像Tg的匹配位置的距离作为当前距离。然后，控制装置104与上述实施方式同样地变更模板尺寸。
(变形例2)
在上述实施方式中，对在表示跟踪被拍摄体的大小的目标尺寸比24个像素大的情况下、在按缩小放大率Shuku缩小后的帧图像中生成24×24像素的模板图像的例子进行了说明。然而，在模板匹配处理中处理的模板图像的大小的最大值不受限制的情况下，也可以不管目标尺寸的大小如何都生成Objectsize×Objectsize的模板图像。
(变形例3)
在上述实施方式中，对作为用于确定跟踪被拍摄体位置而使用的跟踪用模板图像、使用初始模板图像以及合成模板图像的例子进行了说明。然而，作为跟踪用模板图像，既可以仅使用初始模板图像，也可以仅使用合成模板图像。另外，例如，也可以将当前一帧中的匹配区域内的图像用作下一帧中的跟踪用模板图像。
(变形例4)
在上述实施方式中，对将初始模板图像以及合成模板图像的尺寸与尺寸调整判定用模板图像的尺寸设为同一尺寸的例子进行了说明。然而，初始模板图像以及合成模板图像的尺寸与尺寸调整判定用模板图像的尺寸也可以不同。
(变形例5)
在上述实施方式中，对控制装置104使用对帧图像进行的二值化处理以及标示处理后的结果来生成初始模板图像的例子进行了说明。然而，也可以通过其他方法来生成初始模板图像。例如，控制装置104也可以通过督促使用者指定帧图像内的跟踪被拍摄体区域，将使用者操作操作部件101而输入的区域内的图像切割出来，从而生成初始模板图像。
(变形例6)
在上述实施方式中，对于作为图像的尺寸调整方法使用双线性法的例子进行了说明。然而，作为图像的尺寸调整方法，也可以使用最近邻法或双立方法(bicubic)等。
(变形例7)
在上述实施方式中，对控制装置104将静止画面作为对象进行被拍摄体跟踪的例子进行了说明。然而，在相机100具备动态画面拍摄功能的情况下，控制装置104也可以不在静止画面而在拍摄完成的动态画面的帧之间进行被拍摄体跟踪。
(变形例8)
在上述实施方式中，对相机100所具备的控制装置104执行图2所示的处理而进行被拍摄体跟踪的例子进行了说明。然而，也可以将用于执行图2所示的处理的程序记录于个人计算机等其他终端，在该终端上执行处理。在该情况下，如果将用相机拍摄到的动态图像数据获取到终端侧、将其作为对象而进行处理，则能够在动态画面的帧之间进行被拍摄体跟踪。另外，本发明也能够应用于带相机的手机等。
以上的说明只不过是一例，并不限定于上述实施方式的构成。另外，也可以将各变形例的构成适宜地组合于上述实施方式。
下面的优先权基础申请的公开内容作为引用文而记载于此。
日本特许出愿2012年第158795号(2012年7月17日申请)
符号说明
100…相机
101…操作部件
102…透镜
103…拍摄元件
104…控制装置
105…存储卡插槽
106…监视器

Claims (11)

1.一种被拍摄体跟踪装置，其中，具备：
搜索区域设定部，其在输入图像内设定搜索区域；
第1相似度演算部，其演算跟踪用模板图像与所述搜索区域内的图像的相似度；
被拍摄体位置确定部，其基于用所述第1相似度演算部演算出的相似度，确定所述输入图像内的跟踪被拍摄体位置；
第2相似度演算部，其分别演算基于所述跟踪用模板图像所生成的多张尺寸调整判定用模板图像与所述搜索区域内的图像的相似度；
匹配位置确定部，其基于用所述第2相似度演算部演算出的相似度，分别确定所述输入图像内的、所述多张尺寸调整判定用模板图像的匹配位置；和
尺寸变更部，其基于用所述匹配位置确定部确定的多个匹配位置的疏密程度，变更所述跟踪用模板图像以及所述尺寸调整判定用模板图像的图像尺寸。
2.根据权利要求1所述的被拍摄体跟踪装置，其中：
所述尺寸变更部，在用所述匹配位置确定部确定的多个匹配位置的疏密程度变化了预定以上的情况下，变更所述跟踪用模板图像以及所述尺寸调整判定用模板图像的图像尺寸。
3.根据权利要求1或2所述的被拍摄体跟踪装置，其中：
所述尺寸变更部，在用所述匹配位置确定部确定的多个匹配位置的密度向高变了的情况下减小所述图像尺寸，在用所述匹配位置确定部确定的多个匹配位置的密度向低变了的情况下增大所述图像尺寸。
4.根据权利要求1～3中任一项所述的被拍摄体跟踪装置，其中：
所述尺寸变更部，在用所述匹配位置确定部确定的多个匹配位置中，选择用所述第2相似度演算部演算出的相似度为预定以上的高相似度的匹配位置，基于所述选择的匹配位置的疏密程度变更所述图像尺寸。
5.根据权利要求1～4中任一项所述的被拍摄体跟踪装置，其中：
所述多张尺寸调整判定用模板图像为分别包含所述跟踪用模板图像的不同部分的图像。
6.根据权利要求5所述的被拍摄体跟踪装置，其中：
所述多张尺寸调整判定用模板图像分别是被分割为多个块的所述跟踪用模板图像中以所述各块的中心位置为中心的预定尺寸的图像。
7.根据权利要求6所述的被拍摄体跟踪装置，其中：
所述尺寸变更部，基于以与以所述多个块中的正中的块的中心位置为中心的尺寸调整判定用模板图像有关的匹配位置为基准的、与其他尺寸调整判定用模板图像有关的匹配位置的疏密程度，变更所述跟踪用模板图像以及所述尺寸调整判定用模板图像的图像尺寸。
8.根据权利要求7所述的被拍摄体跟踪装置，其中：
所述尺寸变更部，在以所述多个块中的正中的块的中心位置为中心的尺寸调整判定用模板图像与所述搜索区域内的图像的最大相似度为预定以上的高相似度的情况下，判定是否变更所述跟踪用模板图像以及所述尺寸调整判定用模板图像的图像尺寸。
9.一种被拍摄体跟踪装置，其中，具备：
搜索区域设定部，其在输入图像内设定搜索区域；
第1相似度演算部，其分别演算初始模板图像与所述搜索区域内的图像的相似度、以及合成模板图像与所述搜索区域内的图像的相似度；
被拍摄体位置确定部，其基于用所述第1相似度演算部演算出的相似度，确定所述输入图像内的跟踪被拍摄体位置；
更新判定部，其基于用所述第1相似度演算部演算出的相似度，判定是否更新所述合成模板图像；
更新部，其在所述更新判定部判定为更新所述合成模板图像的情况下，更新将所述输入图像中的包含所述跟踪被拍摄体位置的图像与所述初始模板图像合成而得到的图像作为新合成模板图像；
第2相似度演算部，其分别演算多张尺寸调整判定用模板图像与所述搜索区域内的图像的相似度；
匹配位置确定部，其基于用所述第2相似度演算部演算出的相似度，分别确定所述输入图像内的、所述多张尺寸调整判定用模板图像的匹配位置；
尺寸变更判定部，其基于用所述匹配位置确定部确定的多个匹配位置的疏密程度，判定是否变更所述初始模板图像、所述合成模板图像与所述尺寸调整判定用模板图像的图像尺寸；和
尺寸变更部，其在所述尺寸变更判定部判定为变更所述图像尺寸的情况下，将所述初始模板图像的图像尺寸变更为新的图像尺寸；
所述更新部，在所述尺寸变更判定部判定为变更所述图像尺寸的情况下，更新所述输入图像中的包含所述跟踪被拍摄体位置的所述新图像尺寸的图像作为新合成模板图像，进一步，将所述更新后的合成模板图像分割为多个块，更新所述输入图像中的包含所述各块的所述新图像尺寸的图像作为新尺寸调整判定用模板图像。
10.一种被拍摄体跟踪装置，其中，具备：
跟踪单元，其基于模板图像，对图像内的确定被拍摄体进行跟踪；
检测单元，其检测所述确定被拍摄体的大小变化；和
更新单元，其在所述检测单元检测到所述确定被拍摄体的大小变化了预定量以上的情况下，更新所述模板图像。
11.一种相机，其中：
具备权利要求1～10中任一项所述的被拍摄体跟踪装置。
CN201380048010.6A 2012-07-17 2013-07-17 被拍摄体跟踪装置以及相机 Active CN104641398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710826974.9A CN107610153B (zh) 2012-07-17 2013-07-17 电子设备以及相机

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012158795 2012-07-17
JP2012-158795 2012-07-17
PCT/JP2013/069427 WO2014014031A1 (ja) 2012-07-17 2013-07-17 被写体追尾装置およびカメラ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710826974.9A Division CN107610153B (zh) 2012-07-17 2013-07-17 电子设备以及相机

Publications (2)

Publication Number Publication Date
CN104641398A true CN104641398A (zh) 2015-05-20
CN104641398B CN104641398B (zh) 2017-10-13

Family

ID=49948855

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710826974.9A Active CN107610153B (zh) 2012-07-17 2013-07-17 电子设备以及相机
CN201380048010.6A Active CN104641398B (zh) 2012-07-17 2013-07-17 被拍摄体跟踪装置以及相机

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710826974.9A Active CN107610153B (zh) 2012-07-17 2013-07-17 电子设备以及相机

Country Status (4)

Country Link
US (1) US9563967B2 (zh)
JP (2) JP6323330B2 (zh)
CN (2) CN107610153B (zh)
WO (1) WO2014014031A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228194A (zh) * 2016-08-05 2016-12-14 腾讯科技（深圳）有限公司 图像查找方法和装置
CN107240118A (zh) * 2017-05-19 2017-10-10 成都信息工程大学 一种基于rgb颜色直方图的判别式跟踪方法
CN111093465A (zh) * 2017-11-06 2020-05-01 Hoya株式会社 电子内窥镜用处理器以及电子内窥镜系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014224557A1 (de) * 2014-12-01 2016-06-02 Osram Gmbh Bildverarbeitung mittels Kreuzkorrelation
US10017115B2 (en) * 2015-11-11 2018-07-10 Ford Global Technologies, Llc Trailer monitoring system and method
JP6700791B2 (ja) * 2016-01-05 2020-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10332272B2 (en) * 2017-08-07 2019-06-25 Caterpillar Inc. Systems and methods for testing an automatic perception system
US11398072B1 (en) * 2019-12-16 2022-07-26 Siemens Healthcare Gmbh Method of obtaining a set of values for a respective set of parameters for use in a physically based path tracing process and a method of rendering using a physically based path tracing process
US11276199B2 (en) * 2020-02-17 2022-03-15 The Boeing Company Image template based tracking
KR20220028951A (ko) * 2020-08-31 2022-03-08 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2022050908A (ja) * 2020-09-18 2022-03-31 キヤノン株式会社 追尾装置、追尾方法、プログラム
JPWO2023105598A1 (zh) * 2021-12-07 2023-06-15

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060104517A1 (en) * 2004-11-17 2006-05-18 Byoung-Chul Ko Template-based face detection method
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
CN101373477A (zh) * 2007-08-24 2009-02-25 株式会社尼康 被摄物体跟踪方法、被摄物体跟踪装置及计算机程序产品
US20100165113A1 (en) * 2007-03-16 2010-07-01 Nikon Corporation Subject tracking computer program product, subject tracking device and camera
CN102970481A (zh) * 2011-09-01 2013-03-13 索尼公司 拍摄系统、图案检测系统和电子单元

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3768073B2 (ja) 1999-06-15 2006-04-19 株式会社日立国際電気 物体追跡方法及び物体追跡装置
JP4214926B2 (ja) * 2004-03-04 2009-01-28 株式会社ニコン 電子スチルカメラ
JP2010157792A (ja) * 2008-12-26 2010-07-15 Nikon Corp 被写体追跡装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060104517A1 (en) * 2004-11-17 2006-05-18 Byoung-Chul Ko Template-based face detection method
US20100165113A1 (en) * 2007-03-16 2010-07-01 Nikon Corporation Subject tracking computer program product, subject tracking device and camera
CN101373477A (zh) * 2007-08-24 2009-02-25 株式会社尼康 被摄物体跟踪方法、被摄物体跟踪装置及计算机程序产品
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
CN102970481A (zh) * 2011-09-01 2013-03-13 索尼公司 拍摄系统、图案检测系统和电子单元

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228194A (zh) * 2016-08-05 2016-12-14 腾讯科技（深圳）有限公司 图像查找方法和装置
CN107240118A (zh) * 2017-05-19 2017-10-10 成都信息工程大学 一种基于rgb颜色直方图的判别式跟踪方法
CN111093465A (zh) * 2017-11-06 2020-05-01 Hoya株式会社 电子内窥镜用处理器以及电子内窥镜系统

Also Published As

Publication number Publication date
JPWO2014014031A1 (ja) 2016-07-07
CN107610153B (zh) 2020-10-30
US20150356743A1 (en) 2015-12-10
US9563967B2 (en) 2017-02-07
JP2018136978A (ja) 2018-08-30
CN107610153A (zh) 2018-01-19
JP6763417B2 (ja) 2020-09-30
CN104641398B (zh) 2017-10-13
WO2014014031A1 (ja) 2014-01-23
JP6323330B2 (ja) 2018-05-16

Similar Documents

Publication Publication Date Title
CN104641398A (zh) 被拍摄体跟踪装置以及相机
JP4914398B2 (ja) 表情認識装置、撮像装置、方法及びプログラム
US8089515B2 (en) Method and device for controlling auto focusing of a video camera by tracking a region-of-interest
WO2009098894A1 (ja) 電子カメラおよび画像処理方法
KR101468351B1 (ko) 대상물 추적 장치, 대상물 추적 방법 및 제어 프로그램
CN113747050B (zh) 一种拍摄方法及设备
US20150003740A1 (en) Image processing device, method of controlling image processing device, and program for enabling computer to execute same method
US8509543B2 (en) Subject tracking device and camera
CN109937434B (zh) 图像处理方法、装置、终端和存储介质
CN112733946B (zh) 一种训练样本的生成方法、装置、电子设备及存储介质
US20210217145A1 (en) System and method for multi-frame contextual attention for multi-frame image and video processing using deep neural networks
WO2022160857A1 (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN111800569B (zh) 拍照处理方法、装置、存储介质及电子设备
JP6924064B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
CN114821404B (zh) 一种信息处理方法、装置、计算机设备及存储介质
CN113610865B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113283319A (zh) 人脸模糊度的评价方法及装置、介质和电子设备
JP5029647B2 (ja) 被写体追尾装置、およびカメラ
JP2014036429A (ja) 被写体追尾装置、およびカメラ
JP2013182478A (ja) 被写体追尾装置、被写体追尾方法およびカメラ
CN116029951B (zh) 图像处理方法与电子设备
US20230215018A1 (en) Electronic device including camera and method for generating video recording of a moving object
JP5214749B2 (ja) オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置
CN106534666A (zh) 相位对焦方法、装置及终端设备
CN118212231A (zh) 图像处理方法及相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant