CN102244728B - 被摄体跟踪装置及被摄体跟踪方法 - Google Patents

被摄体跟踪装置及被摄体跟踪方法 Download PDF

Info

Publication number
CN102244728B
CN102244728B CN201110122343.1A CN201110122343A CN102244728B CN 102244728 B CN102244728 B CN 102244728B CN 201110122343 A CN201110122343 A CN 201110122343A CN 102244728 B CN102244728 B CN 102244728B
Authority
CN
China
Prior art keywords
region
subject
image
unit
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110122343.1A
Other languages
English (en)
Other versions
CN102244728A (zh
Inventor
岛田敬辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN102244728A publication Critical patent/CN102244728A/zh
Application granted granted Critical
Publication of CN102244728B publication Critical patent/CN102244728B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明提供一种被摄体跟踪装置及被摄体跟踪方法。摄像装置(100)，其具备：存储器(4)，其存储被摄体的图像数据；图像分割部(5b)，其将存储器(4)所存储的被摄体的图像数据分割成多个区域；摄像部(1)，其逐次生成图像帧；区域特定部(5d)，其基于图像分割部(5b)分割的多个区域各自具有的特征信息的值，对通过摄像部(1)逐次生成的图像帧所含的、与多个区域的各自相类似的类似区域分别进行特定；和被摄体跟踪部(5h)，其基于通过区域特定部(5d)特定的类似区域，将逐次生成的图像帧的图像区域作为被摄体进行跟踪。

Description

被摄体跟踪装置及被摄体跟踪方法
技术领域
本发明涉及在多个图像间对被摄体进行跟踪的被摄体跟踪装置及被摄体跟踪方法。
背景技术
在对脸等的被摄体通过模板匹配而进行检测的技术中，JP特开2004-171490号公报中揭示了下述技术，即，在检测被摄体时，通过在上一次检测成功的被摄体的位置附近进行搜索来减少被摄体检测的运算量的技术。
上述专利文献的技术，是以在作为被摄体的脸的视角内，其位置转移不大为前提的。但是，上述专利文献的技术，对于回头、朝向上方等的、视角内的被摄体的朝向产生变化的动作，会降低对脸检测的精度，存在有无法对多个图像间的被摄体进行正确跟踪的可能性。
发明内容
在此，本发明的课题是提供一种可提高被摄体的跟踪精度的被摄体跟踪装置及被摄体跟踪方法。
为了解决上述课题，本发明的一种被摄体跟踪装置，其特征在于，具备：存储单元，其存储被摄体的图像数据；分割单元，其将所述存储单元所存储的被摄体的图像数据分割成多个区域；摄像单元，其逐次生成图像帧；特定单元，其基于通过所述分割单元分割的多个区域各自具有的特征信息的值，对通过所述摄像单元逐次生成的图像帧所含的、与所述多个区域的各自相类似的类似区域分别进行特定；和跟踪单元，其基于通过所述特定单元特定的类似区域，将逐次生成的所述图像帧的图像区域作为所述被摄体进行跟踪。
另外，本发明的一种被摄体跟踪方法，利用了被摄体跟踪装置，所述被摄体跟踪装置具备存储被摄体的图像数据的存储单元，所述被摄体跟踪方法的特征在于包括：分割步骤，将所述存储单元所存储的被摄体的图像数据分割成多个区域；摄像步骤，逐次生成图像帧；特定步骤，基于所分割成的多个区域各自具有的特征信息的值，对逐次生成的图像帧所含的、与所述多个区域的各自相类似的类似区域分别进行特定；和跟踪步骤，基于所特定的类似区域，对逐次生成的所述图像帧的图像区域进行跟踪。
附图说明
图1是表示适用了本发明的实施方式1的摄像装置的概略构成的框图。
图2是表示图1的摄像装置进行的与主处理有关的动作的一个示例的流程图。
图3是表示在图2的主处理中的与被摄体跟踪处理有关的动作的一个示例的流程图。
图4是表示在图3的被摄体跟踪处理中的与图像登记处理有关的动作的一个示例的流程图。
图5A是示意地表示与图3的被摄体跟踪处理有关的脸图像的一个示例的图。
图5B是示意地表示与图3的被摄体跟踪处理有关的脸图像的一个示例的图。
图6是表示适用了本发明的实施方式2的摄像装置的概略构成的框图。
图7A是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图7B是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图7C是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图7D是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图7E是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图7F是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图7G是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图7H是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图7I是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图7J是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图7K是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图7L是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图7M是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图7N是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图7O是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图7P是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图7Q是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图7R是示意地表示图6的摄像装置进行的被摄体的图像数据的分割样式的一个示例的图。
图8是表示图6的摄像装置进行的被摄体跟踪处理中的与图像登记处理有关的动作的一个示例的流程图。
图9A是示意地表示与图8的图像登记处理有关的脸图像的一个示例的图。
图9B是示意地表示与图8的图像登记处理有关的脸图像的一个示例的图。
图9C是示意地表示与图8的图像登记处理有关的脸图像的一个示例的图。
图10A是示意地表示与图8的图像登记处理有关的脸图像的一个示例的图。
图10B是示意地表示与图8的图像登记处理有关的脸图像的一个示例的图。
图10C是示意地表示与图8的图像登记处理有关的脸图像的一个示例的图。
具体实施方式
以下，关于本发明，利用附图来说明具体的方式。但是，发明的范围并不局限于图示例。
(实施方式1)
图1是表示适用了本发明的实施方式1的摄像装置100的概略构成的框图。
实施方式1的摄像装置100将存储在存储器4的被摄体的图像数据分割成多个区域。接下来，摄像装置100根据被分割的多个区域所各自具有的特征信息的值，对逐次生成的图像帧所含的与多个区域的各自相类似的类似区域进行逐个特定。而且，摄像装置100根据所特定的类似区域，进行对逐次生成的图像帧的图像区域进行跟踪。
具体而言，如图1所示，摄像装置100具有：摄像部1、摄像控制部2、图像数据生成部3、存储器4、图像处理部5、记录介质控制部6、显示控制部7、显示部8、操作输入部9以及中央控制部10。
摄像部1，其作为摄像单元，对被摄体(例如，人的脸等；参照图5A等)进行摄像并生成图像帧。即，虽省略图示，摄像部1的构成为包含由变焦透镜、聚焦透镜等多个透镜构成的透镜部、用于对通过该透镜部的光的光量进行调整的光圈、CCD(Charge Coupled Device：电荷耦合器件)，CMOS(Complementary Metal-oxide Semiconductor：互补金属氧化物半导体)等图像传感器。而且，摄像部1还具备：将通过透镜部的各种透镜的光学像变换成二维图像信号的电子摄像部。
另外，虽省略了图示，摄像部1也可具备在对被摄体进行摄像时，使变焦透镜在光轴方向移动的变焦驱动部、使聚焦透镜在光轴方向移动的对焦驱动部等。
摄像控制部2对摄像部1所进行的被摄体的摄像进行控制。即，摄像控制部2，虽省略了图示，其具备：定时发生器、驱动器等。接下来，摄像控制部2通过定时发生器、驱动器来扫描驱动电子摄像部，按照规定周期通过电子摄像部将光学像变换成二维图像信号，从该电子摄像部的摄像区域读取每个画面的图像帧，并向图像数据生成部3输出。
另外，摄像控制部2基于图像处理部5的被摄体跟踪部5h(后述)所得到的被摄体的跟踪结果，对摄像部1所进行的摄像进行控制。
具体而言，摄像控制部2基于被摄体跟踪部5h所得到的被摄体的跟踪结果，对AF(自动对焦处理)进行控制。即，摄像控制部2以将被摄体跟踪部5h进行跟踪的跟踪对象，即各图像帧中的脸区域F作为对焦区域的方式，通过摄像部1的对焦驱动部来使聚焦透镜在光轴方向移动，由此来调整该聚焦透镜的对焦位置。另外，在无法检测出预先登记的脸区域F的情况下，摄像控制部2以在各图像帧将具有与图像分割部5b(后述)进行分割后的脸的两个(例如，左右两个)区域Al、Ar各自所对应的对应区域的图像区域作为对焦区域的方式，通过摄像部1的对焦驱动部使聚焦透镜在光轴方向移动，由此来调整该聚焦透镜的对焦位置。
另外，摄像控制部2，代替透镜部，也可以使电子摄像部在光轴方向进行移动来调整透镜部的对焦位置。
另外，摄像控制部2除了AF(自动对焦处理)之外，也可以调整控制对AE(自动曝光处理)、AWB(自动白平衡)等的被摄体进行摄像时的条件。
如此，摄像控制部2根据被摄体跟踪部5h所得到的被摄体的跟踪结果，来控制摄像部1。
图像数据生成部3在对于从电子摄像部转送来的图像帧的模拟值信号按照RGB的各色成分进行适当增益调整后，通过采样保持电路(省略图示)进行采样保持，并通过A/D变换器而变换成数字数据。接下来，图像数据生成部3通过彩色处理电路(省略图示)，对变换成数字数据的模拟值信号进行包括像素插值处理以及γ修正处理在内的彩色处理后，生成数字值的亮度信号Y以及色差信号Cb、Cr(YUV数据)。
从彩色处理电路输出的亮度信号Y以及色差信号Cb、Cr，通过未图示的DMA控制器，向作为缓冲存储器而使用的存储器4进行DMA转送。
存储器4例如由DRAM(Dynamic Random Access Memory：动态随机存取存储器)等构成，暂时存储通过图像处理部5、中央控制部10等所处理得到的数据等。
图像处理部5具备：被摄体检测部5a、图像分割部5b、特征信息计算部5c、区域特定部5d、类似度计算部5e、区域指定部5f、计数部5g、被摄体跟踪部5h以及修剪部5i。
另外，图像处理部5的各部例如由规定的逻辑电路构成，该构成并不局限于此一个示例。
被摄体检测部5a从通过摄像部1生成的图像帧中检测被摄体(例如，人的脸等)。
即，被摄体检测部5a从存储器4取得通过摄像部1进行的被摄体的摄像而逐次生成的各图像帧的图像数据(YUV数据)。接下来，被摄体检测部5a利用诸如脸检测处理、边缘检测处理、特征提取处理等的规定的图像识别技术，从各图像帧中检测包含被摄体的被摄体区域(例如，脸区域F等)。具体而言，被摄体检测部5a例如对各图像帧的图像数据施加规定的脸检测处理，来检测脸区域F。
另外，因为脸检测处理、边缘检测处理、特征提取处理是公知的技术，因此在此省略详细说明。
如此，被摄体检测部5a从通过摄像部1逐次生成的图像帧中检测被摄体。
图像分割部5b将被摄体的图像数据分割成多个区域。
即，图像分割部5b取得被存储在存储器4中的被摄体区域(例如，脸区域F等)的图像数据，将该图像数据分割成多个区域(例如，脸的左右两个区域Al、Ar等)。具体而言，图像分割部5b取得在被摄体检测部5a进行的脸检测后而存储在存储器4中的脸区域F的图像数据。接下来，图像分割部5b，以在上下方向上通过左右眼中央的线段来分割该脸区域F，以不超出该脸区域F内的人的脸的程度的大小来设定左右两个矩形的区域Al、Ar(参照图5A)。
另外，被摄体的图像数据的分割方向、分割数并不局限于此一个示例。例如，可上下分割成多个区域(例如，以眼为中心的上区域，以口为中心的下区域等)，可分为3个以上的区域(例如，以左颊为中心的左区域，以鼻为中心的中区域，以右颊为中心的右区域等)。在此，被分割的各区域的形状仅为一个示例，并不局限于此，可适当任意变更。
如此，图像分割部5b将被存储在存储器4的被摄体的图像数据分割成多个区域。
特征信息计算部5c计算图像分割部5b所分割的各区域(例如，脸的左右区域Al、Ar等)的特征信息的值(例如，平均像素值Fl、Fr等)。具体而言，特征信息计算部5c例如针对脸的左右区域Al、Ar的各个，将其各自的亮度信号Y以及色差信号Cb、Cr(YUV数据)的平均像素值Fl、Fr作为特征信息的值进行计算。
另外，特征信息计算部5c计算与后述的区域特定部5d所特定的各区域相对应的对应区域的各自的特征信息的值(例如，平均像素值Fi等)。具体而言，特征信息计算部5c例如将各对应区域的亮度信号Y以及色差信号Cb、Cr(YUV数据)的各自的平均像素值Fi作为特征信息的值进行计算。
如此，特征信息计算部5c对图像分割部5b所分割的各区域的平均像素值和区域特定部5d所特定的类似区域(对应区域)的平均像素值分别进行计算。
另外，作为特征信息的值，例示了各区域的亮度信号Y以及色差信号Cb、Cr(YUV数据)的各自的平均像素值，但不局限于此一个示例，可适当任意变更。
区域特定部5d从通过摄像部1逐次生成的图像帧中特定与图像分割部5b所分割的各区域相对应的对应区域。
即，区域特定部5d基于特征信息计算部5c计算的各区域(例如，脸的左右区域Al、Ar等)所具有的特征信息的值(例如，平均像素值Fl、Fr等)，从通过摄像部1逐次生成的图像帧中，特定与各区域相对应的对应区域。具体而言，区域特定部5d，例如，将脸的左右区域Al、Ar的各自的位置(例如，矩形的四角的坐标等)作为基准，在通过摄像部1逐次生成的各图像帧中的各区域的位置的附近，设定规定的搜索范围。接下来，区域特定部5d在设定的搜索范围内将各区域的特征信息的值(平均像素值Fl、Fr)作为模板，在规定方向进行扫描，来特定与各区域相对应的对应区域。这时，区域特定部5d从通过摄像部1逐次生成的各图像帧中，特定多个与脸的两个(例如，左右)各区域Al、Ar相对应的对应区域，对应区域的特定数也可为一个。
另外，区域特定部5d计算所特定的各对应区域的位置(例如，矩形的四角的坐标等)。
如此，区域特定部5d基于由图像分割部5b分割的各区域所具有的特征信息的值，分别特定与通过摄像部1逐次生成的图像帧所含的、与多个区域的各个相类似的类似区域。
类似度计算部5e计算由区域特定部5d特定后的、由特征信息计算部5c计算的对应区域的平均像素值Fi。接下来，类似度计算部5e对由图像分割部5b分割后的由特征信息计算部5c计算的各区域(例如，脸的左右区域Al、Ar等)的各平均像素值Fl、Fr与平均像素值Fi进行比较，来计算类似度DLi、DRi。具体而言，类似度计算部5e对由区域特定部5d特定的对应区域的亮度信号Y以及色差信号Cb、Cr的各自的平均像素值Fi与由图像分割部5b分割的各区域(例如，脸的左右区域Al、Ar等)的亮度信号Y以及色差信号Cb、Cr的各自的平均像素值Fl、Fr分别进行比较，按照规定的运算式来计算类似度DLi、DRi。另外，作为类似度DLi、DRi的运算式，可适用任何式。
如此，类似度计算部5e基于由特征信息计算部5c计算的各区域的平均像素值Fl、Fr和类似区域的平均像素值Fi，来计算各区域和类似区域的类似度。
区域指定部5f指定由被摄体跟踪部5h跟踪的候补区域。
具体而言，区域指定部5f将与区域特定部5d所特定的对应区域有关的类似度DLi、DRi中的、值大的作为类似度Di，并判定该类似度Di是否为第1阈值(规定值)以上。接下来，区域指定部5f将类似度Di为第1阈值以上的对应区域作为由被摄体跟踪部5h跟踪的跟踪对象的跟踪候补区域进行指定。
如此，区域指定部5f将由类似度计算部5e计算的类似度为第1规定值以上的类似区域，作为由被摄体跟踪部5h跟踪的跟踪候补区域进行指定。
计数部5g对由类似度计算部5e计算的类似度Di为第1阈值(规定值)以上的对应区域的个数N进行计数。即，计数部5g对在由区域特定部5d特定的多个对应区域中，作为跟踪候补区域而由区域指定部5f指定的类似度Di为第1阈值以上的对应区域的个数N进行计数。
如此，计数部5g对在由区域特定部5d特定的多个类似区域中，由类似度计算部5e计算的类似度为第1阈值(规定值)以上的类似区域的个数进行计数。
被摄体跟踪部5h在由摄像部1逐次生成的各图像帧中，将具有由区域特定部5d特定的对应区域的图像区域作为跟踪对象进行跟踪。
即，被摄体跟踪部5h在通过被摄体检测部5a没有检测出被摄体区域(例如，脸区域F等)的情况下，基于由区域特定部5d特定的对应区域，对在各图像帧中的具有该对应区域的图像区域进行特定。具体而言，被摄体跟踪部5h基于由区域指定部5f指定的跟踪候补区域即由区域特定部5d特定的对应区域中的、类似度Di为第1阈值以上的对应区域，在各图像帧中，特定成为跟踪对象的具有该对应区域的图像区域。
更具体而言，被摄体跟踪部5h判定：由计数部5g计数的类似度Di为第1阈值以上的对应区域的个数N是否为第2阈值(规定值)以上。
接下来，被摄体跟踪部5h在对应区域的个数N为第2阈值(规定值)以上的情况下，对各对应区域的由区域特定部5d计算出的位置(例如，矩形的四角的坐标等)进行与类似度Di对应地加权平均，来特定与该平均位置G相对应的跟踪结果区域。
其后，被摄体跟踪部5h在平均位置G的跟踪结果区域的大小与跟踪对象区域(例如，脸区域F等)为不同的情况下，将该跟踪结果区域修正成与跟踪对象区域同等大小。即，例如，在该跟踪结果区域的大小比跟踪对象区域小的情况下，被摄体跟踪部5h，为使得包含已特定完了的跟踪结果区域全体，且使该跟踪结果区域和跟踪对象区域的大小相等，而将跟踪结果区域重新设定为更广的范围。另一方面，当该跟踪结果区域的大小比跟踪对象区域大时，被摄体跟踪部5h以该跟踪结果区域的中心作为基准进行修剪，将跟踪结果区域和跟踪对象区域的大小修正为相等。另外，跟踪结果区域的修正方法不局限于此一个示例，可适当任意变更。
由此，被摄体跟踪部5h对具有由区域特定部5d特定的对应区域的图像区域(修正后的跟踪结果区域)进行计算，将该图像区域作为跟踪对象而在各图像帧进行跟踪。
另外，被摄体跟踪部5h，在由计数部5g计数的对应区域的个数N为第2阈值(规定值)以上的情况下，基于该对应区域对图像区域进行跟踪，但不局限于此，也可由区域特定部5d特定一对应区域，基于该一对应区域来计算图像区域并进行跟踪。
另外，被摄体跟踪部5h将类似度计算部5e所计算出的对应区域的平均像素值Fi和被摄体区域的各区域的平均像素值Fl、Fr之间的类似度DLi、DRi作为基准，计算具有对应区域的图像区域，将该图像区域作为跟踪对象，但跟踪对象的确定方法并不局限于此一个示例，可适当任意变更。即，被摄体跟踪部5h只要是基于由区域特定部5d特定的对应区域，将图像帧中的具有该对应区域的图像区域作为跟踪对象而进行确定的方法即可，可用任何方法。
如此，被摄体跟踪部5h基于由区域特定部5d特定的类似区域，对逐次生成的图像帧的图像区域进行跟踪。
修剪部5i从由摄像部1摄像的图像数据中，将由摄像控制部2进行的AF(自动对焦处理)所对焦的对焦区域作为被摄体图像进行修剪。即，修剪部5i从存储器4取得通过摄像部1进行摄像后的图像的图像数据，将该图像的通过被摄体跟踪部5h确定为跟踪对象的图像区域(具有平均位置G的对应区域的图像区域)作为被摄体图像进行修剪。另外，被修剪的被摄体图像，通过规定的编码方式而被编码并压缩后，在记录介质控制部6的控制下，被存储在记录介质M的规定的存储区域。
如此，修剪部5i对摄像部1已对焦的图像区域进行修剪。
记录介质控制部6以记录介质M可装卸自由地构成，对从安装的记录介质M中进行的数据的读取和对记录介质M进行的数据的写入进行控制。
另外，记录介质M例如由非易失性存储器(闪存)等构成，但并不局限于此一个示例，可适当任意变更。
显示控制部7进行对在存储器4暂时存储的显示用的图像数据进行读取并使之在显示部8显示的控制。
具体而言，显示控制部7具备VRAM(Video Random Access Memory)、VRAM控制器、数字视频编码器等。接下来，数字视频编码器通过VRAM控制器从VRAM定期地读取在中央控制部10的控制下从存储器4读取并存储在VRAM(省略图示)的亮度信号Y以及色差信号Cb、Cr，以这些数据为基础而产生视频信号并向显示部8输出。
显示部8例如为液晶显示面板。显示部8基于来自显示控制部7的视频信号，在显示画面显示由电子摄像部所摄像得到的图像等。具体而言，显示部8在静止图像摄像模式或运动图像摄像模式下，对通过摄像部1以及摄像控制部2进行的被摄体的摄像而生成的多个图像帧进行以规定的帧速率一边逐次更新，一边显示实时取景图像。另外，显示部8显示作为静止图像被记录的图像(摄制的视频(REC-view)图像)和作为运动图像记录中的图像。
操作输入部9用于进行该摄像装置100的规定操作。具体而言，操作输入部9具备与被摄体的摄影指示有关的快门按钮、与摄像模式及功能等选择指示有关的选择确定按钮、与变焦量的调整指示有关的变焦按钮等(均省略图示)，根据这些按钮的操作将规定的操作信号向中央控制部10输出。
中央控制部10用于控制摄像装置100的各部。具体而言，中央控制部10省略图示，其具备CPU(Central Processing Unit)等，根据摄像装置100用的各种处理程序(省略图示)进行各种控制动作。
其次，参照图2，对摄像装置100进行的主处理进行说明。
图2是表示与主处理有关的动作的一个示例的流程图。
主处理是指，基于由用户进行的操作输入部9的选择确定按钮的规定操作，在从显示在菜单画面的多个动作模式中选择指示了静止图像、运动图像的摄像模式的情况下，通过中央控制部10所执行的处理。
首先，中央控制部10对存储在存储器4的计数值等进行初始化的初始化处理(步骤S1)后，在由摄像部1所摄像得到的多个图像间，使图像处理部5进行跟踪被摄体的被摄体跟踪处理(参照图3以及图4，后述)(步骤S2)。
其后，中央控制部10按照被摄体跟踪处理的结果，使摄像控制部2执行AF(自动对焦处理)(步骤S3)。具体而言，摄像控制部2将被摄体跟踪部5h跟踪的跟踪对象，即，图像帧中的具有与脸区域F、或由图像分割部5b分割的脸的两个(例如，左右两个)区域Al、Ar各自相对应的对应区域的图像区域(跟踪结果区域；后述)设定为对焦区域。接下来，摄像控制部2以在该对焦区域进行对焦的方式，通过摄像部1的对焦驱动部，使聚焦透镜在光轴方向移动，来调整该聚焦透镜的对焦位置。
另外，AF(自动对焦处理)可基于用户进行的操作输入部9的快门按钮的半按下操作来执行，无论有无该快门按钮的操作，可在执行被摄体跟踪处理后自动地执行。
其次，基于用户进行的操作输入部9的快门按钮的规定操作而向中央控制部10输入摄像指示时，中央控制部10对摄像控制部2进行控制，使摄像部1对被摄体进行摄像(步骤S4)。具体而言，摄像控制部2在规定的摄像条件下使电子摄像部对被摄体的光学像进行摄像，图像数据生成部3生成从电子摄像部转送的被摄体的摄像图像的YUV数据。所生成的YUV数据通过无图示的DMA控制器，向作为缓冲存储器而使用的存储器4进行DMA转送。
接着，中央控制部10使图像处理部5的修剪部5i执行被摄体图像的修剪(步骤S5)。具体而言，修剪部5i从存储器4取得通过摄像部1进行摄像后得到的图像的图像数据，将该图像中的由被摄体跟踪部5h进行跟踪的跟踪对象的图像区域(脸区域F)作为被摄体图像进行修剪。
由此，中央控制部10结束主处理。
在此，参照图3～图5，对被摄体跟踪处理进行说明。
图3是表示与被摄体跟踪处理有关的动作的一个示例的流程图。另外，图4是表示被摄体跟踪处理中的与图像登记处理有关的动作的一个示例的流程图。另外，图5A以及图5B是示意地表示与被摄体跟踪处理有关的脸图像的一个示例的图，图5B是示意地表示将成为跟踪对象的脸图像分割成左右各区域Al、Ar的状态的图。
另外，被摄体跟踪处理对作为被摄体的人脸进行检测并进行跟踪。另外，预先可将所希望的人的脸图像(例如，家族成员、朋友等的脸图像；参照图5A)的图像数据登记到存储器4的规定的登记表中(省略图示)，可适当任意变更预先是否登记脸图像的图像数据。
如图3所示，图像处理部5的被摄体检测部5a从存储器4取得通过摄像部1进行的被摄体的摄像而生成的一图像帧的图像数据(YUV数据)(步骤S21)后，利用脸检测处理等规定的图像识别技术，从该图像帧中检测包含预先登记在存储器4中的脸图像的脸区域F(参照图5A)(步骤S22)。
其次，被摄体检测部5a按照脸检测处理的结果，判定脸区域F的检测是否成功(步骤S23)。
在此，如果判定脸区域F的检测不成功时(步骤S23；“否”)，被摄体检测部5a将处理移到步骤S21，从存储器4重新取得一图像帧的图像数据(YUV数据)(步骤S21)后，执行其以后的处理。
另一方面，在步骤S23，判定脸区域F的检测成功时(步骤S23；“是”)，图像处理部5执行将检测到的脸区域F作为跟踪对象进行登记的图像登记处理(步骤S24；参照图4)。
以下，参照图4对图像登记处理进行说明。
如图4所示，图像处理部5，首先，由修剪部5i对通过被摄体检测部5a检测到的脸区域F的图像数据进行修剪，将该脸区域F的图像数据作为跟踪用数据而存储在存储器4的规定的存储区域(步骤S41)。
其次，图像处理部5的图像分割部5b取得被存储在存储器4的脸区域F的图像数据，以在上下方向上通过左右眼中央的线段来分割该脸区域F，以不超出该脸区域F的程度的大小来设定左右两个矩形区域(参照图5B)(步骤S42)。
其后，图像处理部5的特征信息计算部5c，对于由图像分割部5b分割成的脸的两个区域Al、Ar的各个，将其亮度信号Y以及色差信号Cb、Cr(YUV数据)的各平均像素值Fl、Fr作为特征信息的值进行计算。接着，特征信息计算部5c将计算出的两个区域Al、Ar各自的平均像素值Fl、Fr存储在存储器4规定的存储区域(步骤S43)，进而结束图像登记处理。
如图3所示，其次，图像处理部5的被摄体检测部5a，将通过摄像部1进行的被摄体的摄像而生成的多个图像帧的图像数据中的、经过图像登记处理而登记的脸区域F所含的一图像帧的下一个图像帧作为处理对象，从存储器4取得该图像帧的图像数据(步骤S25)。接着，被摄体检测部5a进行对从该图像帧中检测以图像登记处理预先在存储器4登记的脸区域F(参照图5A)的脸检测处理，按照该脸检测处理的结果，判定脸区域F的检测是否成功(步骤S26)。
在步骤S26中，判定脸区域F的检测成功时(步骤S26；“是”)，图像处理部5例如按照自动对焦处理的执行、摄像处理的执行的有无等，来判定是否对该被摄体跟踪处理的结束进行了指示(步骤S27)。
在此，当判定为对被摄体跟踪处理的结束不做指示时(步骤S27；“否”)，图像处理部5将处理移到步骤S25，将该被摄体跟踪处理的处理对象移到下一个图像帧，从存储器4取得该图像帧的图像数据(步骤S25)后，执行其后的处理。
另一方面，在步骤S27中，当判定为对被摄体跟踪处理的结束进行了指示时(步骤S27；“是”)，图像处理部5结束被摄体跟踪处理。
在步骤S26中，当判定脸区域F的检测未成功时(步骤S26；“否”)，即，因进行回头、向上等的、在视角内被摄体的朝向发生变化的动作，出现的脸上阴影的影响等，而导致脸区域F的检测失败的情况下，图像处理部5开始被摄体的脸区域的跟踪处理(步骤S28)。图像处理部5的区域特定部5d基于由特征信息计算部5c计算出的脸的两个(例如，左右)区域Al、Ar的平均像素值Fl、Fr，从处理对象的图像帧中，特定与脸的两个各区域Al、Ar相对应的对应区域(步骤S29)。
接着，区域特定部5d计算所特定的各对应区域的位置(例如，矩形的四角的坐标等)，并且，特征信息计算部5c针对各对应区域，将其亮度信号Y以及色差信号Cb、Cr(YUV数据)的各自的平均像素值Fi作为特征信息的值进行计算(步骤S30)。
其次，图像处理部5的类似度计算部5e对所计算出的各对应区域的亮度信号Y以及色差信号Cb、Cr的各自的平均像素值Fi与脸的两个各区域Al、Ar的亮度信号Y以及色差信号Cb、Cr的各自的平均像素值Fl、Fr分别进行比较，根据规定的运算式来计算类似度DLi、DRi(步骤S31)。接着，图像处理部5的区域指定部5f将与计算出的各对应区域的类似度DLi、DRi中的值大的作为类似度Di进行特定(步骤S32)。
其次，区域指定部5f在对所特定的类似度Di是否为第1阈值(规定值)以上后，计数部5g对通过区域指定部5f判定为类似度Di为第1阈值(规定值)以上的对应区域的个数N进行计数(步骤S33)。
接着，图像处理部5的被摄体跟踪部5h对计数部5g计数的类似度Di为第1阈值以上的对应区域的个数N是否为第2阈值(规定值)以上进行判定(步骤S34)。
在此，当判定为对应区域的个数N为第2阈值(规定值)以上时(步骤S34；“是”)，被摄体跟踪部5h对各对应区域的通过区域特定部5d所计算出的位置(例如，矩形的四角的坐标等)进行与类似度Di对应地加权平均，作为与该平均位置G相对应的跟踪结果区域进行跟踪(步骤S35)。
其次，被摄体跟踪部5h对平均位置G的跟踪结果区域的大小是否与跟踪对象的脸区域F的大小相等进行判定(步骤S36)。
在此，判定为平均位置G的跟踪结果区域的大小与跟踪对象的脸区域F的大小不同(步骤S36；“否”)，被摄体跟踪部5h将该跟踪结果区域修正成与脸区域F的大小相等。
另一方面，当判定为平均位置G的跟踪结果区域的大小与跟踪对象的脸区域F的大小相等时(步骤S36；“是”)，被摄体跟踪部5h跳过步骤S37的处理，判定对该被摄体跟踪处理的结束是否进行了指示(步骤S27)。
另外，在步骤S34中，当判定对应区域的个数N不为第2阈值(规定值)以上时(步骤S34；“否”)，被摄体跟踪部5h将处理移到步骤S27，在步骤S27不进行脸区域F的跟踪，而是判定是否对该被摄体跟踪处理的结束进行了指示(步骤S27)。
在此，如果判定为未对被摄体跟踪处理的结束进行指示(步骤S27；“否”)，图像处理部5与上述相同地，将处理移到步骤S25，将该被摄体跟踪处理的处理对象移到下一个图像帧，从存储器4取得该图像帧的图像数据(步骤S25)后，执行其后的处理。
另一方面，在步骤S27中，如果判定为对被摄体跟踪处理的结束进行了指示(步骤S27；“是”)，图像处理部50结束被摄体跟踪处理。
如上所述，根据实施方式1的摄像装置100，将存储在存储器4的被摄体区域(例如，脸区域F等)的图像数据分割成多个区域。接下来，摄像装置100基于所分割成的各区域具有的特征信息的值，从通过摄像部1逐次生成的各图像帧中，对与各区域相对应的对应区域进行分别特定，将各图像帧的具有该对应区域的图像区域作为跟踪对象而进行跟踪。也就是说，摄像装置100在通过摄像部1摄像的各图像帧，对被分割跟踪对象的被摄体区域的多个区域的各个进行特定。其结果，摄像装置100在进行被摄体检测处理时，诸如进行作为被摄体的人脸回头、向上等的在视角内被摄体的朝向发生变化的动作，因被摄体进入阴影等产生的阴影影响等，即使对比度发生变化，也可利用对比度变化少的被摄体区域(跟踪对象)的一部分区域进行被摄体检测。而且，通过上述处理，摄像装置100能够比将被摄体区域全体作为跟踪对象时更能抑制被摄体检测的精度的降低。由此，可谋求多个图像帧中的被摄体的跟踪精度的提高。
具体而言，摄像装置100对所分割的被摄体区域的各区域的平均像素值Fl、Fr和所特定的对应区域的平均像素值Fi进行比较并计算类似度Di，将该类似度Di为第1阈值以上的对应区域作为跟踪对象的跟踪候补区域，在各图像帧对作为跟踪对象的图像区域进行特定。接下来，摄像装置100跟踪所特定的该图像区域，故将被摄体区域的各区域的平均像素值Fl、Fr和各对应区域的平均像素值Fi之间的类似度Di作为基准，可适当进行跟踪候补区域的指定。
更具体而言，摄像装置100从各图像帧中特定多个与各区域相对应的对应区域，其中，类似度Di为第1阈值以上的对应区域的个数N为第2阈值以上的情况下，基于该对应区域将图像区域作为跟踪对象进行跟踪。由此，摄像装置100将被摄体区域分割成多个区域，即使跟踪该被摄体的情况下，也可防止跟踪对象的特定的失误，谋求被摄体跟踪精度的提高。
另外，摄像装置100，在从摄像部1逐次生成的各图像帧中没有检测出被摄体的情况下，将图像帧的具有与各区域相对应的对应区域的图像区域作为跟踪对象进行跟踪。也就是说，在从摄像部1逐次生成的各图像帧检测出被摄体的情况下，摄像装置100将该被摄体作为跟踪对象，可进行通常的被摄体跟踪处理。另一方面，摄像装置100即使从各图像帧中没有检测出被摄体的情况下，如上述，将图像帧的具有与各区域相对应的对应区域的图像区域作为跟踪对象进行跟踪，也可谋求提高对被摄体的跟踪精度。
另外，摄像装置100将各图像帧中的被摄体的跟踪对象(图像区域)作为对焦区域来控制摄像部1，故可对焦于该被摄体。而且，摄像装置100，将所对焦的图像区域作为被摄体图像进行修剪，故在今后的被摄体跟踪处理等的各处理中可利用该被摄体图像。
(实施方式2)
以下，参照图6～图10C，对实施方式2的摄像装置200进行说明。
实施方式2的摄像装置200，以预先决定的多个分割样式将被摄体的图像数据分割成多个区域后，对于以多个分割样式的每一个分割所分割的多个区域，特定所计算出的该多个区域间的各特征信息的值(例如，平均像素值)的偏差度中的、与最大的偏差度有关的分割样式。摄像装置200基于以最大的偏差度的分割样式所分割成的多个区域的各自的特征信息的值，分别特定对应区域。
另外，除以下详细说明的点以外的点，实施方式2的摄像装置200是具有与上述实施方式1的摄像装置100大致相同的构成，省略详细说明。
图6是表示适用了本发明的实施方式2的摄像装置200的概略构成的框图。
如图6所示，摄像装置200的图像处理部5除具备被摄体检测部5a、图像分割部5b、特征信息计算部5c、区域特定部5d、类似度计算部5e、区域指定部5f、计数部5g、被摄体跟踪部5h、修剪部5i之外，还具备分割控制部5j、偏差度计算部5k、分割样式确定部51。
分割控制部5j对使图像分割部5b进行的被摄体的图像数据的分割进行控制。
即，分割控制部5j将被摄体的图像数据以多个分割样式(参照图7A～图7R)并使图像分割部5b分割成多个区域。具体而言，分割控制部5j，使图像分割部5b取得在通过被摄体检测部5a进行的脸检测之后被存储在存储器4的脸区域F的图像数据。接着，分割控制部5j以在上下方向上通过左右眼中央的线段，使图像分割部5b分割该脸区域F，以不超出该脸区域F内的人脸的程度的大小设定两个矩形区域A1、A2(参照图7A)。
接下来，分割控制部5j将所设定的两个区域A1、A2作为与基准位置(例如，0°)相对应的基准区域，将该基准区域的大致中心位置作为轴，通过使之每次以规定的角度(例如，10°等)向规定方向(例如，右方向等)逐渐旋转，分别设定与各自的角度相对应的两个区域A1、A2(参照图7B～图7R)。分割控制部5j通过相对于基准位置，将基准区域的旋转进行到规定的角度(例如，170°)，并分别设定以多个分割样式(例如，18种模式)所分割的两个区域A1、A2。另外，图7A～图7R只示意地表现脸区域F内的脸图像的部分。
另外，上述被摄体的图像数据的分割方法并不局限于此一个示例，可适当任意变更。例如，也可以为：分割控制部5j将在上下方向上通过脸区域F的左右眼中央的线段作为基准线段，将该脸区域F的大致中心位置作为轴，每次以规定角度向规定方向逐渐旋转，并通过以各自的角度的线段来分割该脸区域，由此分别设定与各角度相对应的两个区域A1、A2。
另外，也可以是：不使上述基准区域、基准线段每次按规定的角度逐渐旋转，而是预先将相对于基准区域、基准线段的规定的角度作为分割被摄体的图像数据的角度而存储在存储单元，分割控制部5j基于相对于该存储单元所存储的基准区域、基准线段的规定角度，使图像分割部5b来分割被摄体的图像数据。
另外，对被摄体的图像数据进行分割的角度、基准区域、基准线段的旋转方向等，并不局限于此一个示例，可适当任意变更。
如此，分割控制部5j以预先决定的多个分割样式使图像分割部5b将被摄体的图像数据分割成多个区域。
偏差度计算部5k针对以多个分割样式的每一个分割样式所分割成的多个区域，分别计算该多个区域间的各特征信息的值的偏差度Ri。
具体而言，特征信息计算部5c针对以多个分割样式(例如，18种模式)的每一个分割样式由图像分割部5b所分割成的多个区域(例如，两个区域A1、A2等)，分别计算各区域的特征信息的值(例如，平均像素值Fi等)。另外，特征信息的值的具体计算方法与上述实施方式1大致相同，省略详细说明。
接下来，偏差度计算部5k针对多个分割样式的各个，基于所分割成的多个区域的特征信息的值，按照规定的运算式，分别计算该多个区域间的各特征信息的值的偏差度Ri。具体而言，偏差度计算部5k针对多个分割样式的各个，计算两个区域A1、A2的平均像素值F1、F2彼此间的差分，将取绝对值的值作为偏差度Ri而分别进行计算。另外，作为偏差度Ri的运算式，可适用任何式。
如此，偏差度计算部5k针对以多个分割样式的每一个分割样式由分割控制部5j所分割成的多个区域，分别计算该多个区域间的像素值(例如，平均像素值)的偏差度。
分割样式确定部51确定在多个分割样式中最大的偏差度Ri的分割样式。
即，分割样式确定部51对偏差度计算部5k所计算出的多个分割样式各自的偏差度Ri彼此间进行比较，并对偏差度Ri为最大的分割样式进行确定。
在此，偏差度Ri的大小在受到阴影的影响，即，随着相对于光源的被摄体(脸)的朝向所产生的阴影的影响而发生变动。也就是说，在光源相对于被摄体而位于规定位置的情况下，以与连结光源和被摄体的大致中心的线段大致正交且通过被摄体的大致中心的正交线段作为轴，在其两侧被摄体的亮度(对比度)发生变化，沿着该正交线段所分割成的两个区域A1、A2(省略图示)的特征信息的值(例如，平均像素值Fi等)的偏差度Ri为最大。
例如，相对于被摄体(脸)而光源在其左右方向的情况下，因为亮度在脸区域F的左右发生了变化(参照图9A以及图9B)，故将脸区域F左右分割的两个区域A1、A2(参照图9C)中的各特征信息的值的偏差度Ri成为最大。另外，例如，相对于被摄体(脸)而光源在其上下方向时，因为亮度在脸区域F的上下发生了变化(参照图10A以及图10B)，故将脸区域F上下分割的两个区域A1、A2(参照图10C)中的各特征信息的值的偏差度Ri成为最大。另外，相对于被摄体(脸)而光源在其斜向的情况下，也与上述相同。
另外，图9A～图9C以及图10A～图10C中，示意地表示光照的部分相对较“白”，阴影部分相对较“黑”。
如此，分割样式确定部51，确定由偏差度计算部5k分别计算出偏差度Ri的多个分割样式中的、最大的偏差度Ri的分割样式。
接下来，区域特定部5d基于以分割样式确定部51所确定的最大的偏差度Ri的分割样式来分割的多个区域(例如，脸的两个区域A1、A2等)的各自的特征信息的值(例如，平均像素值Fi等)，分别特定与该多个区域的各区域相对应的对应区域。
另外，通过区域特定部5d进行的对应区域的具体的特定方法，与上述实施方式1大致相同，省略其详细说明。
其次，参照图3、图8～图10C对被摄体跟踪处理进行说明。
图8是表示被摄体跟踪处理中的与图像登记处理有关的动作的一个示例的流程图。
另外，被摄体跟踪处理除以下说明的图像登记处理之外的处理，与实施方式1的被摄体跟踪处理大致相同，省略其详细说明。
被摄体跟踪处理，与实施方式1的被摄体跟踪处理相同，是作为主处理的一种而被执行的处理。
即，被摄体跟踪处理，与实施方式1的被摄体跟踪处理相同，如图3所示，被摄体检测部5a从存储器4取得通过摄像部1进行的被摄体的摄像而生成的一图像帧的图像数据(YUV数据)(步骤S21)。接下来，被摄体跟踪处理，利用脸检测处理等规定的图像识别技术，从该图像帧中检测包含预先在存储器4登记的脸图像的脸区域F(参照图5A)(步骤S22)。
其次，被摄体检测部5a与实施方式1的被摄体跟踪处理相同地，按照脸检测处理的结果，判定脸区域F的检测是否成功(步骤S23)。
在此，当判定脸区域F的检测成功时(步骤S23；“是”)，图像处理部5执行将检测出的脸区域F作为跟踪对象而登记的图像登记处理(步骤S24；参照图8)。
以下，参照图8，对图像登记处理进行说明。
如图8所示，图像处理部5与实施方式1的图像登记处理相同地，由修剪部5i修剪通过被摄体检测部5a检测出的脸区域F的图像数据，将该脸区域F的图像数据作为跟踪用数据，存储在存储器4的规定的存储区域(步骤S41)。
其次，图像处理部5按照多个分割样式，将脸区域F分别分割成两个区域A1、A2(步骤S142)。具体而言，图像分割部5b与实施方式1的图像登记处理相同地，在取得被存储在存储器4的脸区域F的图像数据后，分割控制部5j以在上下方向上通过左右眼的中央的线段，使图像分割部5b分割该脸区域F，在该脸区域F内设定两个矩形区域A1、A2(参照图7A)。接下来，分割控制部5j将所设定的两个区域A1、A2作为基准区域，将该基准区域的大致中心位置作为轴，每次以规定的角度(例如，10°等)逐渐向规定方向(例如，右方向等)进行旋转，分别设定与各自的角度相对应的两个区域A1、A2(参照图7A～图7R)。
接着，特征信息计算部5c以多个分割样式(例如，18种模式)的各个，对由图像分割部5b分割的两个区域A1、A2，分别将各区域的亮度信号Y以及色差信号Cb、Cr(YUV数据)的各自的平均像素值F1、F2作为特征信息的值进行计算(步骤S143)。另外，特征信息计算部5c将计算的多个分割样式(例如，18种模式)的各自的两个区域A1、A2的平均像素值F1、F2存储在存储器4的规定的存储区域。
其次，偏差度计算部5k针对多个分割样式的各个，基于所分割成的两个区域A1、A2的平均像素值F1、F2，按照规定的运算式，分别计算该两个区域A1、A2间的平均像素值F1、F2的偏差度Ri(步骤S144)。具体而言，偏差度计算部5k针对多个分割样式的各个，从存储器4取得两个区域A1、A2的平均像素值F1、F2。而且，偏差度计算部5k计算该平均像素值F1、F2彼此之间的差分，将其取绝对值的值作为偏差度Ri分别进行计算。
接下来，分割样式确定部51对通过偏差度计算部5k计算的多个分割样式中的与各个分割样式有关的偏差度Ri彼此之间进行比较，确定偏差度Ri为最大的分割样式(步骤S145)。例如，相对于被摄体(脸)而光源在其左右方向的情况下，因为在将脸区域F左右分割的两个区域A1、A2(参照图9C)各特征信息的值(例如，平均像素值Fi等)的偏差度Ri成为最大，所以，分割样式确定部51确定将左右分割该脸区域F的分割样式作为偏差度Ri为最大的分割样式。同样，例如，相对于被摄体(脸)而光源在其上下方向时，因为在将脸区域F上下分割的两个区域A1、A2(参照图10C)各特征信息的值(例如，平均像素值Fi等)的偏差度Ri成为最大，所以，分割样式确定部51确定将该脸区域F上下分割的分割样式作为偏差度Ri为最大的分割样式。
其后，图像处理部5将以通过分割样式确定部51所确定的最大的偏差度Ri的分割样式所分割成的两个区域A1、A2，作为与被摄体的脸区域的跟踪处理有关的跟踪区域，将该两个区域A1、A2的平均像素值F1、F2存储在存储器4的规定的存储区域(步骤S146)，结束图像登记处理。
回到图3，图像处理部5与实施方式1的被摄体跟踪处理同样地执行步骤S25以后的处理。
即，在步骤S25中，被摄体检测部5a从存储器4取得处理对象的图像帧的图像数据后，在步骤S26中，判定脸区域F的检测是否成功。
在此，当判定脸区域F的检测不成功时(步骤S26；“否”)，图像处理部5开始进行被摄体的脸区域的跟踪处理(步骤S28)。接下来，区域特定部5d基于以通过特征信息计算部5c计算的最大的偏差度Ri的分割样式所分割成的脸的两个区域A1、A2的平均像素值F1、F2，从处理对象图像帧中特定与脸的两个各区域A1、A2相对应的对应区域(步骤S29)。
其后，在步骤S30，区域特定部5d计算所特定的各对应区域的位置，并且，特征信息计算部5c，针对对应区域的各自，将其亮度信号Y以及色差信号Cb、Cr(YUV数据)的各自的平均像素值Fi作为特征信息进行计算。
接下来，在步骤S31，类似度计算部5e对所计算出的各对应区域的亮度信号Y以及色差信号Cb、Cr的各自的平均像素值Fi与以最大的偏差度Ri分割样式所分割成的脸的两个区域A1、A2的亮度信号Y以及色差信号Cb、Cr的各自的平均像素值F1、F2分别进行比较，按照规定的运算式计算类似度D1i、D2i。
接着，在步骤S32，区域指定部5f将与计算出的各对应区域有关的类似度D1i、D2i之中的值较大的一方作为类似度Di进行特定(步骤S32)。
另外，步骤S33以后的处理与实施方式1的被摄体跟踪处理相同，省略详细说明。
如上所述，根据实施方式2的摄像装置200，特定针对以多个分割样式的每一个分割样式所分割成的多个区域所计算的该多个区域间的各特征信息的值的偏差度Ri中的、与最大的偏差度Ri有关的分割样式。而且，摄像装置200基于以最大的偏差度Ri的分割样式所分割成的多个区域的各自的特征信息，分别特定对应区域，将各图像帧的具有该对应区域的图像区域作为跟踪对象进行跟踪。也就是说，因被摄体(例如，脸)相对于光源的朝向而产生阴影的影响，在该情况下，如果将与对应区域的特定有关的多个区域各自设定为跨过(跨越)对比度变化大的区域，则在对被摄体进行跟踪时容易受到阴影的影响，从而降低被摄体的跟踪精度。
在此，摄像装置200通过以使多个的区域间的各特征信息的值的偏差度Ri成为最大的方式来对被摄体区域的图像数据进行分割，并设定多个区域，由此，可防止设定该多个区域跨越对比度变化大的区域。其结果，可谋求提高对多个图像帧的被摄体的跟踪精度。
另外，本发明，并不局限于上述实施方式，在不脱离本发明主旨的范围内，可进行各种改良及设计的变更。
例如，在上述实施方式中，在被摄体摄像时，以通过被摄体检测部5a进行检测后而被存储在存储器4的脸区域F作为基准，进行被摄体跟踪处理，但并不局限于此，例如，作为基准的被摄体的图像数据，也可以是被摄体的摄像开始前预先在存储器4中所登记的图像数据。
另外，在上述实施方式1、2中，被摄体跟踪处理后，执行AF(自动对焦处理)、修剪处理，但并不必须进行这些处理，可适当任意变更是否执行这些处理。
而且，在上述实施方式1、2中，将通过图像分割部5b所分割成的被摄体区域(脸区域F)的各区域作为模板，进行对应区域的特定、被摄体的跟踪，但模板的对象并不局限于此。例如，也可在被分割的各区域内，特定特征区域(例如，左右的脸区域F的情况下，左右眼、鼻翼、嘴角等)，将该特征区域各自作为模板，进行对应区域的特定、被摄体的跟踪。
而且，上述实施方式1、2中所示的摄像装置100、200的构成，仅为一个示例，但并不局限于此。例如，作为被摄体跟踪装置，是以摄像装置100、200为例进行了例示，但并不局限于此，只要是可执行本发明的规定的图像处理的任何构成均可。
另外，关于上述实施方式1、2，作为分割单元、摄像单元、特定单元、跟踪单元的功能，是在中央控制部10的控制下，通过对摄像控制部2以及图像处理部5进行驱动来实现的构成。但是，并不局限于此，上述功能，也可作为通过由中央控制部10执行规定的程序等来实现的构成。
即，在用于存储程序的程序存储器(省略图示)中，存储包含分割处理程序(routine)、摄像控制处理程序、特定处理程序以及跟踪处理程序的程序。接下来，也可由分割处理程序，使中央控制部10的CPU作为将存储在存储单元的被摄体的图像数据分割成多个区域的分割单元而发挥功能。另外，也可由摄像控制处理程序，使中央控制部10的CPU作为逐次生成图像帧的摄像控制单元而发挥功能。另外，也可由特定处理程序，使中央控制部10的CPU，作为基于由分割单元分割的多个区域所各自具有的特征信息的值来对包含在逐次生成的图像帧中的、与多个区域各自相类似的类似区域分别进行特定的特定单元而发挥功能。另外，也可由跟踪处理程序，使中央控制部10的CPU，作为基于由特定单元特定的类似区域来对图像帧中的图像区域进行跟踪的跟踪单元而发挥功能。
同样地，关于像素值计算单元、类似度计算单元、指定单元、计数单元、检测单元、控制单元、修剪单元、分割控制单元、偏差度计算单元、确定单元，也可以是由中央控制部10的CPU通过执行规定的程序等实现其功能的构成。
而且，作为存储用于执行上述各处理的程序的计算机可读取的介质，可适用ROM、硬盘等外，也可适用闪存等非易失性存储器、CD-ROM等可移动型记录介质。另外，作为通过规定的通信线路来提供程序数据的介质，也可适用载波(传送波)。
就本发明的若干个实施方式进行了说明，但本发明的范围并不局限于上述实施方式，也包含权利要求书所记载的发明范围以及其均等的范围。
以下，附注有该申请的申请书中最初所附加的权利要求书所记载的发明。在附注中所记载的权利要求的序号是该申请的申请书中最初所附加的权利要求书相同。
〔附注〕
<技术方案1>
一种被摄体跟踪装置，其特征在于，具备：
存储单元，其存储被摄体的图像数据；
分割单元，其将所述存储单元所存储的被摄体的图像数据分割成多个区域；
摄像单元，其逐次生成图像帧；
特定单元，其基于通过所述分割单元分割的多个区域各自具有的特征信息的值，对通过所述摄像单元逐次生成的图像帧所含的、与所述多个区域的各自相类似的类似区域分别进行特定；和
跟踪单元，其基于通过所述特定单元特定的类似区域，将逐次生成的所述图像帧的图像区域作为所述被摄体进行跟踪。
<技术方案2>
根据技术方案1所述的被摄体跟踪装置，其特征在于：
所述特征信息的值是所述多个区域各自具有的像素值，
所述被摄体跟踪装置还具备：
分割控制单元，其以预先确定的多个分割样式使所述分割单元将所述被摄体的图像数据分割成多个区域；
偏差度计算单元，其针对通过所述分割控制单元以所述多个分割样式的每一个分割样式所分割成的多个区域，分别计算该多个区域间的所述像素值的偏差度；和
确定单元，其对通过所述偏差度计算单元已分别计算出所述偏差度的所述多个分割样式中的最大偏差度的分割样式进行确定，
所述特定单元基于以通过所述确定单元确定的所述最大偏差度的分割样式所分割成的多个区域的各自的特征信息，对所述类似区域分别进行特定。
<技术方案3>
根据技术方案1所述的被摄体跟踪装置，其特征在于，
所述被摄体跟踪装置还具备：
像素值计算单元，其对所述各区域的平均像素值与所述类似区域的平均像素值分别进行计算；
类似度计算单元，其基于通过所述像素值计算单元计算的所述各区域的平均像素值与所述类似区域的平均像素值，对所述各区域与所述类似区域之间的类似度进行计算；和
指定单元，其将通过所述类似度计算单元计算的所述类似度为第1规定值以上的所述类似区域，作为通过所述跟踪单元跟踪的跟踪候补区域而进行指定，
所述跟踪单元基于通过所述指定单元指定的跟踪候补区域，对所述图像区域进行跟踪。
<技术方案4>
根据技术方案3所述的被摄体跟踪装置，其特征在于：
所述特定单元从逐次生成的所述图像帧中，特定多个与所述各区域相类似的所述类似区域，
所述被摄体跟踪装置还具备计数单元，所述计数单元在通过所述特定单元特定的多个类似区域之中，对通过所述计算单元计算的所述类似度为第1规定值以上的所述类似区域的个数进行计数，
在通过所述计数单元计数的所述类似区域的个数为第2规定值以上的情况下，所述跟踪单元基于该类似区域对所述图像区域进行跟踪。
<技术方案5>
根据技术方案4所述的被摄体跟踪装置，其特征在于：
所述被摄体跟踪装置还具备检测单元，所述检测单元从通过所述摄像单元逐次生成的图像帧中检测被摄体，
在通过所述检测单元未检测出被摄体的情况下，所述跟踪单元对所述图像区域进行跟踪。
<技术方案6>
根据技术方案5所述的被摄体跟踪装置，其特征在于：
所述被摄体跟踪装置还具备控制单元，所述控制单元基于所述跟踪单元的跟踪结果，对所述摄像单元进行控制，
所述控制单元以将所述跟踪单元的所述跟踪对象即所述图像区域设为对焦区域的方式对所述摄像单元进行控制。
<技术方案7>
根据技术方案6所述的被摄体跟踪装置，其特征在于：
所述被摄体跟踪装置还具备修剪单元，所述修剪单元对通过所述摄像单元对焦的所述图像区域进行修剪。
<技术方案8>
一种被摄体跟踪方法，利用了被摄体跟踪装置，所述被摄体跟踪装置具备存储被摄体的图像数据的存储单元，
所述被摄体跟踪方法的特征在于包括：
分割步骤，将所述存储单元所存储的被摄体的图像数据分割成多个区域；
摄像步骤，逐次生成图像帧；
特定步骤，基于所分割成的多个区域各自具有的特征信息的值，对逐次生成的图像帧所含的、与所述多个区域的各自相类似的类似区域分别进行特定；和
跟踪步骤，基于所特定的类似区域，对逐次生成的所述图像帧的图像区域进行跟踪。

Claims (8)

1.一种被摄体跟踪装置，其特征在于，具备：
摄像单元，其逐次生成图像帧；
检测单元，其从通过所述摄像单元逐次生成的图像帧中检测规定的被摄体；
分割单元，其将通过所述检测单元检测出的规定的被摄体的图像数据分割成多个区域；
特定单元，其基于通过所述分割单元分割的多个区域各自具有的特征信息的值，对通过所述摄像单元逐次生成的图像帧所含的、与所述多个区域的各自相类似的类似区域分别进行特定；和
跟踪单元，其基于通过所述特定单元特定的类似区域，将逐次生成的所述图像帧的图像区域作为所述规定的被摄体进行跟踪。
2.根据权利要求1所述的被摄体跟踪装置，其特征在于：
所述特征信息的值是所述多个区域各自具有的像素值，
所述被摄体跟踪装置还具备：
分割控制单元，其以预先确定的多个分割样式使所述分割单元将所述被摄体的图像数据分割成多个区域；
偏差度计算单元，其针对通过所述分割控制单元以所述多个分割样式的每一个分割样式所分割成的多个区域，分别计算该多个区域间的所述像素值的偏差度；和
确定单元，其对通过所述偏差度计算单元已分别计算出所述偏差度的所述多个分割样式中的最大偏差度的分割样式进行确定，
所述特定单元基于以通过所述确定单元确定的所述最大偏差度的分割样式所分割成的多个区域的各自的特征信息，对所述类似区域分别进行特定。
3.根据权利要求1所述的被摄体跟踪装置，其特征在于，
所述被摄体跟踪装置还具备：
像素值计算单元，其对所述各区域的平均像素值与所述类似区域的平均像素值分别进行计算；
类似度计算单元，其基于通过所述像素值计算单元计算的所述各区域的平均像素值与所述类似区域的平均像素值，对所述各区域与所述类似区域之间的类似度进行计算；和
指定单元，其将通过所述类似度计算单元计算的所述类似度为第1规定值以上的所述类似区域，作为通过所述跟踪单元跟踪的跟踪候补区域而进行指定，
所述跟踪单元基于通过所述指定单元指定的跟踪候补区域，对所述图像区域进行跟踪。
4.根据权利要求3所述的被摄体跟踪装置，其特征在于：
所述特定单元从逐次生成的所述图像帧中，特定多个与所述各区域相类似的所述类似区域，
所述被摄体跟踪装置还具备计数单元，所述计数单元在通过所述特定单元特定的多个类似区域之中，对通过所述计算单元计算的所述类似度为第1规定值以上的所述类似区域的个数进行计数，
在通过所述计数单元计数的所述类似区域的个数为第2规定值以上的情况下，所述跟踪单元基于该类似区域对所述图像区域进行跟踪。
5.根据权利要求4所述的被摄体跟踪装置，其特征在于：
在通过所述检测单元未检测出被摄体的情况下，所述跟踪单元对所述图像区域进行跟踪。
6.根据权利要求5所述的被摄体跟踪装置，其特征在于：
所述被摄体跟踪装置还具备控制单元，所述控制单元基于所述跟踪单元的跟踪结果，对所述摄像单元进行控制，
所述控制单元以将所述跟踪单元的跟踪对象即所述图像区域设为对焦区域的方式对所述摄像单元进行控制。
7.根据权利要求6所述的被摄体跟踪装置，其特征在于：
所述被摄体跟踪装置还具备修剪单元，所述修剪单元对通过所述摄像单元对焦的所述图像区域进行修剪。
8.一种被摄体跟踪方法，利用了被摄体跟踪装置，
所述被摄体跟踪方法的特征在于包括：
摄像步骤，逐次生成图像帧；
检测步骤，从通过摄像步骤逐次生成的图像帧中检测规定的被摄体；
分割步骤，将检测出的规定的被摄体的图像数据分割成多个区域；
特定步骤，基于所分割成的多个区域各自具有的特征信息的值，对逐次生成的图像帧所含的、与所述多个区域的各自相类似的类似区域分别进行特定；和
跟踪步骤，基于所特定的类似区域，将逐次生成的所述图像帧的图像区域作为所述规定的被摄体进行跟踪。
CN201110122343.1A 2010-05-10 2011-05-09 被摄体跟踪装置及被摄体跟踪方法 Expired - Fee Related CN102244728B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010-107928 2010-05-10
JP2010107928 2010-05-10
JP2011035595A JP5625995B2 (ja) 2010-05-10 2011-02-22 被写体追跡装置、被写体追跡方法及びプログラム
JP2011-035595 2011-02-22

Publications (2)

Publication Number Publication Date
CN102244728A CN102244728A (zh) 2011-11-16
CN102244728B true CN102244728B (zh) 2014-02-05

Family

ID=44901695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110122343.1A Expired - Fee Related CN102244728B (zh) 2010-05-10 2011-05-09 被摄体跟踪装置及被摄体跟踪方法

Country Status (3)

Country Link
US (1) US8878939B2 (zh)
JP (1) JP5625995B2 (zh)
CN (1) CN102244728B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597817B (zh) * 2012-04-05 2018-05-08 松下电器（美国）知识产权公司 运动图像解析装置、运动图像解析方法及集成电路
CN104424634B (zh) * 2013-08-23 2017-05-03 株式会社理光 对象跟踪方法和装置
JP6032819B2 (ja) * 2014-06-13 2016-11-30 リズム時計工業株式会社 顔向き判別センサー装置
US9740918B1 (en) * 2015-05-20 2017-08-22 Amazon Technologies, Inc. Detecting objects in multiple images using integral images
US9740919B1 (en) * 2015-05-20 2017-08-22 Amazon Technologies, Inc. Detecting objects in multiple images using integral images
JP6641763B2 (ja) * 2015-08-03 2020-02-05 セイコーエプソン株式会社 表示システム
KR102476897B1 (ko) * 2016-10-05 2022-12-12 삼성전자주식회사 객체 추적 방법 및 장치, 및 이를 이용한 3d 디스플레이 장치
JP6916130B2 (ja) * 2018-03-02 2021-08-11 株式会社日立製作所 話者推定方法および話者推定装置
JP6972043B2 (ja) * 2019-01-11 2021-11-24 株式会社東芝 情報処理装置、情報処理方法およびプログラム
JP6743337B1 (ja) * 2019-06-04 2020-08-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、撮像システム、制御方法、及びプログラム
CN111178218B (zh) * 2019-12-23 2023-07-04 北京中广上洋科技股份有限公司 一种基于人脸识别的多特征联合视频追踪方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1556506A (zh) * 2003-12-30 2004-12-22 上海交通大学 视频监控系统的智能化报警处理方法
CN1738426A (zh) * 2005-09-09 2006-02-22 南京大学 一种视频运动目标分割与跟踪方法
CN1892702A (zh) * 2005-07-05 2007-01-10 欧姆龙株式会社 追踪装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08167022A (ja) * 1994-12-12 1996-06-25 Toshiba Corp 画像監視装置
JP3279479B2 (ja) * 1996-05-31 2002-04-30 株式会社日立国際電気 映像監視方法及び装置
KR100474848B1 (ko) * 2002-07-19 2005-03-10 삼성전자주식회사 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
JP4281338B2 (ja) 2002-11-22 2009-06-17 ソニー株式会社 画像検出装置及び画像検出方法
JP4324030B2 (ja) * 2004-06-25 2009-09-02 キヤノン株式会社 カメラ制御装置、カメラ制御方法、及び記憶媒体
JP4853707B2 (ja) * 2006-07-21 2012-01-11 カシオ計算機株式会社 撮像装置及びそのプログラム
JP4807623B2 (ja) * 2006-07-25 2011-11-02 カシオ計算機株式会社 撮像装置、撮像方法及び撮像プログラム
JP2009268086A (ja) * 2008-03-31 2009-11-12 Panasonic Corp 撮像装置
US20090290791A1 (en) * 2008-05-20 2009-11-26 Holub Alex David Automatic tracking of people and bodies in video
JP2010028370A (ja) * 2008-07-17 2010-02-04 Ricoh Co Ltd 撮像装置
TWI382360B (zh) * 2008-08-01 2013-01-11 Univ Nat Taiwan Science Tech 物件偵測方法及其裝置
AU2009243528B2 (en) * 2009-12-04 2013-08-01 Canon Kabushiki Kaisha Location-based signature selection for multi-camera object tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1556506A (zh) * 2003-12-30 2004-12-22 上海交通大学 视频监控系统的智能化报警处理方法
CN1892702A (zh) * 2005-07-05 2007-01-10 欧姆龙株式会社 追踪装置
CN1738426A (zh) * 2005-09-09 2006-02-22 南京大学 一种视频运动目标分割与跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开平8-167022A 1996.06.25

Also Published As

Publication number Publication date
US20110273571A1 (en) 2011-11-10
JP5625995B2 (ja) 2014-11-19
CN102244728A (zh) 2011-11-16
US8878939B2 (en) 2014-11-04
JP2011258180A (ja) 2011-12-22

Similar Documents

Publication Publication Date Title
CN102244728B (zh) 被摄体跟踪装置及被摄体跟踪方法
CN101854484B (zh) 图像选择装置、图像选择方法
US8682040B2 (en) Image processing apparatus, image processing method, and image capturing apparatus
CN101159010B (zh) 面部检测装置、成像设备、和面部检测方法
US20100302595A1 (en) Image Reproducing Apparatus And Imaging Apparatus
CN103733607B (zh) 用于检测运动物体的装置和方法
US8077216B2 (en) Image pickup apparatus with a human face detecting function, method and program product for detecting a human face
US8363122B2 (en) Image taking apparatus execute shooting control depending on face location
CN103297670B (zh) 被摄体判断装置以及被摄体判断方法
CN101783019A (zh) 被摄体跟踪设备及其控制方法、摄像设备以及显示设备
CN110536068A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN103037157A (zh) 图像处理装置以及图像处理方法
CN107566741A (zh) 对焦方法、装置、计算机可读存储介质和计算机设备
CN102006485B (zh) 图像处理装置及图像处理方法
CN104519278A (zh) 图像处理装置以及图像处理方法
CN102542251B (zh) 被摄体检测装置以及被摄体检测方法
CN105872355A (zh) 焦点调节装置和焦点调节方法
CN103685876A (zh) 摄像装置及摄像方法
JP4506779B2 (ja) 撮像装置及びプログラム
CN113223023A (zh) 图像处理方法及装置、电子设备、存储介质
JP4771536B2 (ja) 撮像装置及び主被写体となる顔の選択方法
US10070039B2 (en) Image processing device and image processing method
KR101880636B1 (ko) 디지털 촬영 장치 및 그의 제어 방법
US11394877B2 (en) Control apparatus, image pickup apparatus, and control method
JP5389592B2 (ja) 特定被写体検出方法及び装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140205

Termination date: 20200509

CF01 Termination of patent right due to non-payment of annual fee