CN108337429A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN108337429A
CN108337429A CN201810053654.9A CN201810053654A CN108337429A CN 108337429 A CN108337429 A CN 108337429A CN 201810053654 A CN201810053654 A CN 201810053654A CN 108337429 A CN108337429 A CN 108337429A
Authority
CN
China
Prior art keywords
body region
threshold
face
identified
region shot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810053654.9A
Other languages
English (en)
Other versions
CN108337429B (zh
Inventor
横关诚
石井和宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN108337429A publication Critical patent/CN108337429A/zh
Application granted granted Critical
Publication of CN108337429B publication Critical patent/CN108337429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明涉及一种图像处理设备和图像处理方法。图像处理设备的面部检测电路从视频信号中检测面部区域。个人识别电路基于从面部区域中所提取的特征信息和所登记的特征信息之间的相似度与预定阈值的比较来进行个人识别处理。照相机微计算机追踪利用个人识别电路已识别的面部并且存储与所追踪的面部有关的信息。此外，在没有追踪到已识别面部并且没有存储与第一被摄体有关的识别信息的情况下，照相机微计算机将第一阈值设置为用于第一被摄体的预定阈值。另一方面，在存储了与第一被摄体区域有关的识别信息的情况下，照相机微计算机将比第一阈值低的第二阈值设置为用于第一被摄体的预定阈值。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及用于进行图像识别处理的图像处理设备、图像处理方法和存储介质。
背景技术
近年来，诸如摄像机等的摄像设备采用个人识别技术，其中在这些个人识别技术中，从通过利用图像传感器对被摄体图像进行光电转换所获取的视频信号中周期性地检测被摄体区域(例如，面部区域)，并且将所检测到的被摄体区域与预先准备的面部特征信息进行比较，以判断所检测到的被摄体区域是否是特定人物的面部。这些个人识别技术使得能够对特定人物的面部执行自动调焦(AF)控制和自动曝光(AE)控制，以使得可以拍摄更能反映用户意图的图像。
然而，对于个人识别而言，所检测到的面部并非始终处于最佳的面部状态。例如，面部表情、取向等的变化可能会影响面部特征信息而使面部特征信息改变为与预先存储的面部特征信息不同的面部特征信息，这样使得难以获取可靠性高的个人识别结果。
此外，日本特开2013-101551论述了如下方法，其中该方法包括：登记人物的多个面部图像，计算在预定数量的监视图像内检测到的面部区域中的被识别为识别候选人物的面部区域的百分比作为登记人物检测率，并且基于该检测率来改变用于判断人物是否是登记人物的阈值。更具体地，在检测率高的情况下，将阈值设置为低的值，而在检测率低的情况下，将阈值设置为高的值。利用该方法，即使由于面部表情或取向的变化、因而人物和所登记的面部图像之间的相似度低，也在降低了将除登记人物以外的人物误识别为登记人物的可能性的同时，将该人物成功地判断为登记人物。
然而，在日本特开2013-101551所论述的方法中，为了在相似度低的情形中将人物判断为登记人物，需要在大量的监视图像中将人物判断为识别候选人物，因而可能需要长时间来将人物判断为识别候选人物。因而，例如，在正识别的登记人物丢失、然后被再次检测到的场景中，在将再次检测到的人物判断为登记人物之前，对另一面部或被摄体执行AF控制和AE控制。
发明内容
根据本发明的一个方面，一种图像处理设备，包括：检测单元，用于从视频信号中检测预定被摄体区域；识别单元，用于基于从所述检测单元检测到的被摄体区域中所提取的特征信息和所登记的特征信息之间的相似度与预定阈值的比较，来对所述被摄体区域进行识别处理；追踪单元，用于追踪所述识别单元所识别出的已识别被摄体区域；以及设置单元，用于设置所述预定阈值，其中，所述设置单元存储与所述追踪单元所追踪的所述已识别被摄体区域有关的信息，在所述追踪单元没有追踪到所述已识别被摄体区域、并且所述设置单元没有存储与第一被摄体有关的识别信息的情况下，所述设置单元将第一阈值设置为用于所述第一被摄体的所述预定阈值，以及在所述追踪单元没有追踪到所述已识别被摄体区域、并且所述设置单元存储了与所述第一被摄体有关的识别信息的情况下，所述设置单元将比所述第一阈值低的第二阈值设置为用于所述第一被摄体的所述预定阈值。
根据本发明的另一方面，一种图像处理方法，包括以下步骤：从视频信号中检测预定的被摄体区域；设置步骤，用于设置预定阈值；基于从所述被摄体区域中所提取的特征信息和所登记的特征信息之间的相似度与所述预定阈值的比较，来对所述被摄体区域进行识别处理；追踪步骤，用于追踪已识别被摄体区域；以及存储与所述追踪步骤中所追踪的所述已识别被摄体区域有关的信息，其中，在没有追踪到所述已识别被摄体区域、并且没有存储与第一被摄体有关的识别信息的情况下，所述设置步骤将第一阈值设置为用于所述第一被摄体的所述预定阈值，以及在没有追踪到所述已识别被摄体区域、并且存储了与所述第一被摄体有关的识别信息的情况下，所述设置步骤将比所述第一阈值低的第二阈值设置为用于所述第一被摄体的所述预定阈值。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示意性示出根据本发明的一个或多个方面的摄像机的结构的示例的框图。
图2A和2B是示出根据本发明的一个或多个方面的个人识别操作处理的流程图。
图3A、3B、3C和3D是分别示出根据本发明的一个或多个方面的第二识别阈值计算处理的第一模式、第二模式、第三模式和第四模式的流程图。
图4示出根据本发明的一个或多个方面的面部数据表的示例。
图5示出根据本发明的一个或多个方面的第二识别阈值表的示例。
图6A、6B、6C和6D分别示出根据本发明的一个或多个方面的用于设置第二识别阈值的操作的第一模式、第二模式、第三模式和第四模式的概念。
图7A示出在检测到平摇操作的情况下的根据画面位置的第二识别阈值设置的示例。图7B示出在沿广角方向驱动变焦的情况下的根据画面位置的第二识别阈值设置的示例。图7C示出根据所识别的面部丢失的位置的第二识别阈值设置的示例。图7D示出在检测到沿远摄方向的变焦驱动的情况下的根据画面位置的第二识别阈值设置的示例。
图8A、8B、8C和8D分别示出根据时间变化的第二识别阈值设置的示例的第一模式、第二模式、第三模式和第四模式。
具体实施方式
以下将参考附图来详细说明本发明的各种典型实施例。
根据本发明典型实施例的图像处理设备可应用于各种摄像设备，诸如数字照相机、数字摄像机、诸如智能电话和平板终端等的包括照相机功能的各种移动终端、工业用照相机、车载照相机以及医疗用照相机。在本典型实施例中，将说明包括个人识别功能的摄像机作为示例。摄像机从拍摄图像中检测人物的面部区域作为预定被摄体区域，并且使用所检测到的面部区域来进行个人识别。尽管在本典型实施例中说明摄像机作为示例，但也可以采用诸如数字静态照相机等的任何其它的摄像设备。
图1示意性示出作为根据本典型实施例的图像处理设备的应用示例的摄像机10的结构。
图1的摄像机10包括第一固定透镜101、变焦透镜102、光圈103、第二固定透镜104和调焦透镜105作为摄像光学系统。变焦透镜102是沿光轴方向移动以进行放大或缩小的变焦透镜。通过使变焦透镜102沿光轴方向移动(即，通过使变焦透镜102沿所谓的远摄方向、广角方向等移动)，变焦率是可改变的。调焦透镜105是用于调节摄像光学系统的焦点的透镜(还被称为“聚焦补偿透镜”或“调焦构件”)，并且不仅包括所谓的调焦功能，而且还包括校正由变焦引起的焦平面移动的功能。
变焦驱动装置115包括用于使变焦透镜102沿光轴方向移动的致动器和用于驱动该致动器的电路。调焦驱动装置116包括用于使调焦透镜105沿光轴方向移动的致动器和用于驱动该致动器的电路。变焦驱动装置115和调焦驱动装置116包括诸如步进马达、直流(DC)马达、振动马达或音圈马达等的致动器。
图像传感器106是包括电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器的光电转换元件。转换器107是对图像传感器106的输出进行采样、增益调整和数字化的相关双采样(CDS)/自动增益控制(AGC)/模数(AD)转换器。照相机信号处理电路108对来自转换器107的输出信号进行各种图像处理以生成视频信号。显示装置109基于来自照相机信号处理电路108的视频信号来显示视频图像。记录装置110将来自照相机信号处理电路108的视频信号记录在诸如磁带、光盘或半导体存储器等的记录介质上。
自动调焦(AF)门111仅使来自转换器107的所有像素的输出信号中的、焦点检测中所使用的区域(更具体地，以下所述的照相机微计算机114所设置的区域(AF框))的信号通过，并且将所通过的信号输出至焦点信号生成电路112。焦点信号生成电路112根据通过AF门111的信号生成焦点信号。焦点信号可以是表示基于来自图像传感器106的输出信号所生成的视频信号的锐度(对比度状态)的值，或者可以是表示基于焦点检测所用的图像信号的相位差的到被摄体的距离或散焦量的值。
面部检测电路113对从照相机信号处理电路108供给的视频信号进行众所周知的面部检测处理，以检测摄像画面内的人物的面部区域的位置、大小和角度(侧倾、俯仰、横摆)。可用于面部检测处理的方法的示例包括以下方法：基于拍摄图像的像素的灰度颜色来提取肌肤色区域，并且计算该肌肤色区域的轮廓和预先准备的面部轮廓板的匹配程度，以基于该匹配程度来检测面部。可用于面部检测处理的方法的另一示例是以下方法：基于从拍摄图像中所提取的诸如眼睛、鼻子和嘴等的面部的特征点来进行模式识别。面部检测电路113将针对视频信号的各帧所进行的面部检测处理的结果发送至以下所述的照相机微计算机114和以下所述的个人识别电路117。
个人识别电路117将照相机微计算机114内的随机存取存储器(RAM)(未示出)上所存储的识别对象人物的面部图像(登记人物的登记面部图像)与面部检测电路113所检测到的面部图像进行比较，以判断与登记人物相似的人物是否在摄像画面内。更具体地，首先，个人识别电路117计算面部检测电路113所检测到的面部图像和照相机微计算机114内的RAM上所存储的登记面部图像之间的相似度。接着，个人识别电路117判断所计算出的相似度是否大于预定的识别阈值。如果所计算出的相似度大于识别阈值，则个人识别电路117判断为面部检测电路113所检测到的面部图像是登记人物的面部的图像(即，个人识别电路117判断为识别出人物)。用于计算相似度的方法的示例包括以下方法：对面部图像的大小、角度、亮度等进行归一化，然后将通过傅立叶谱的Karhunen-Loève(KL)展开所计算出的成分确定为与面部图像有关的特征信息，以获得与面部图像有关的特征信息和与登记面部图像有关的特征信息的匹配程度。用于计算相似度的方法的另一示例是以下方法：将通过利用面部大小对所检测到的面部图像数据进行归一化所获得的信息确定为特征信息，并且获得与面部图像有关的特征信息和与登记面部图像有关的特征信息的匹配程度。在本典型实施例的说明中，照相机微计算机114内的RAM上所存储的登记面部图像可以是压缩并保存的面部图像数据，或者可以是表示诸如眼睛、鼻子、嘴和眉毛等的面部的特征量的信息。
照相机微计算机114基于面部检测电路113所进行的面部检测的结果和个人识别电路117所进行的个人识别的结果来控制AF门111，使得在摄像画面内的与被摄体人物的面部相对应的位置中设置AF框。然后，照相机微计算机114基于焦点信号生成电路112根据AF门111的输出信号所生成的焦点信号，通过控制调焦驱动装置116驱动调焦透镜105来进行AF控制。在存在由通过驱动变焦透镜102所执行的变焦引起的焦平面移动的情况下，照相机微计算机114控制调焦驱动装置116驱动调焦透镜105，使得对由变焦引起的焦平面移动进行校正。
此外，如上所述，照相机微计算机114通过变焦驱动装置115所进行的控制来驱动变焦透镜102。因而，照相机微计算机114例如可以进行变焦操作的开始检测、变焦操作中的变焦量的检测、用于检测到变焦操作在远摄方向上的远摄检测和用于检测到变焦操作在广角方向上的广角检测。
此外，照相机微计算机114还可以进行平摇/倾斜操作检测处理以检测摄像机10的平摇操作或倾斜操作。平摇/倾斜操作检测处理例如包括平摇操作或倾斜操作的开始检测、平摇方向或倾斜方向的检测、以及平摇量或倾斜量的检测。上述的平摇/倾斜操作检测处理可以使用众所周知的技术(诸如基于来自照相机信号处理电路108的视频信号的运动矢量的检测处理以及基于方向传感器(未示出)和倾斜传感器(未示出)等的输出的检测处理等)来进行。
照相机微计算机114按各预定定时(例如，生成视频信号的垂直同步信号的时间段)重复地进行如上所述的AF框设置处理、变焦操作检测处理、平摇/倾斜操作检测处理等。生成垂直同步信号的时间段还被称为“V周期”并且定时还被称为“V定时”。除上述处理外，照相机微计算机114还进行诸如将图像记录指示输出至记录装置110的处理等的处理。
此外，照相机微计算机114不仅进行上述的处理，而且还基于面部检测电路113所进行的面部检测的结果和个人识别电路117所进行的个人识别的结果来进行用于追踪(跟随)摄像画面内的主被摄体人物的面部区域(主面部区域)的追踪处理。关于针对面部区域的特定追踪处理，可以使用众所周知的技术，并且以下将说明该技术的详情。此外，照相机微计算机114可以将与上述的变焦操作检测处理有关的信息和与上述的平摇/倾斜操作检测处理有关的信息用在针对面部区域的追踪处理中。以下将说明该操作的详情。
面部检测处理、个人识别处理和追踪处理
接着，以下将参考图2A、2B、3A、3B、3C和3D所示的流程图来说明根据本典型实施例的面部检测电路113、个人识别电路117和照相机微计算机114所进行的面部检测处理、个人识别处理和追踪处理。这些流程图所示的处理可以由硬件结构来执行，或者中央处理单元(CPU)等可以执行程序以实现这些处理。此外，将以下所述的流程图中的步骤S201～S220和步骤S301～S306分别称为S201～S220和S301～S306。图3A～3D是示出在图2B的步骤S215中所执行的第二识别阈值计算处理的详情的流程图。
如果图2A和2B的流程图所示的个人识别处理开始，则首先在步骤S201中，面部检测电路113从照相机信号处理电路108获取视频信号。接着，在步骤S202中，面部检测电路113执行面部检测处理以从步骤S201中所获取到的视频信号中提取面部区域。然后，如果面部检测电路113成功地提取出面部区域，则面部检测电路113将所提取的面部区域的数量以及与所提取的各面部区域的位置、大小和角度有关的面部信息输出至照相机微计算机114。这样，照相机微计算机114获取到面部信息。
接着，在步骤S203中，照相机微计算机114基于步骤S202中所获取到的面部信息来更新面部数据表。
以下参考图4来详细说明面部数据表的示例。
图4示出作为用于针对照相机微计算机114所识别的各人物而管理一个系列数据的表的面部数据表401。系列数据是在面部数据表401的各行中指定的一组数据，并且包括面部标识符(ID)、面部位置403、面部大小404、面部角度405、更新标志406和识别标志407。照相机微计算机114管理面部数据表401，并且将面部数据表401存储在照相机微计算机114内的RAM(未示出)中。面部ID 402是用于区分照相机微计算机114所识别的人物的标识编号，并且在照相机微计算机114正对人物进行追踪处理期间，将相同的标识编号不断地分配至该人物。
照相机微计算机114例如将步骤S202中所获取到的面部信息与各系列数据的面部位置403和面部大小404进行比较，并且如果位置的差和大小的差各自均在预定范围内，则照相机微计算机114判断为追踪到人物(面部)。此外，照相机微计算机114利用步骤S202中所获取到的面部信息来更新与被判断为正追踪的人物相对应的系列数据中的面部位置403、面部大小404和面部角度405，并且将更新标志406改变为“更新”。此外，在与是否正追踪人物(面部)有关的判断中，即使步骤S202中所获取到的面部信息不包括与系列数据相对应的面部信息，照相机微计算机114也可以将基于与各面部有关的颜色信息和亮度信息所估计出的面部区域作为面部信息来进行比较。
面部位置403、面部大小404和面部角度405分别表示与从视频信号中提取的面部区域有关的位置坐标信息、大小信息和角度信息。在图4所示的示例中，尽管按大、中和小这三个等级指定面部大小404，但可以采用任何其它形式指定面部大小404。例如，可以通过记录视频信号的像素数来指定面部大小404。此外，在图4所示的示例中，尽管按0度、45度和90度这三个等级指定面部角度405，但可以采用任何其它形式指定面部角度405。例如，可以通过记录-180度～+180度的采用1度的增量的信息来指定面部角度405。
更新标志406是表示是否利用步骤S202中所获取到的最新面部信息来更新面部位置403、面部大小404和面部角度405的标志。照相机微计算机114将步骤S202中所获取到的面部信息与面部数据表401的各系列数据进行比较，并且基于人物是否被判断为同一人物来决定是否将更新标志406改变为“更新”。因而，如果在面部数据表401的系列数据中不存在被判断为同一人物的面部信息，则更新标志406继续保持“未更新”。如果面部数据表401的更新标志406继续保持“未更新”并持续了预定时间段，则照相机微计算机114判断为与更新标志406相对应的系列数据的人物从摄像画面内消失，并且照相机微计算机114将该系列数据从面部数据表401中删除。此外，面部数据表401中的更新标志406在步骤S203的处理开始之前，全部改变(初始化)为“未更新”。
识别标志407是以下标志：在作为在以下要说明的步骤S210～S212和步骤S218～S220中个人识别电路117执行个人识别处理的结果、判断为成功识别出个人的情况下，将该标志设置为“ON”(开启)。在照相机微计算机114判断为正追踪面部时，可以将识别标志407被设置为“ON”的面部判断为已识别面部，使得即使之后不执行识别处理，识别标志407也继续保持“ON”。因而，即使面部转向侧面等而使得与登记面部图像的相似度降低，已识别面部也继续处于已识别状态。
以下进一步说明图2A和2B所示的流程图。在步骤S203之后，处理进入步骤S204。
在步骤S204中，照相机微计算机114判断在步骤S203中更新后的面部数据表401是否包含一个或多个系列数据。在步骤S204中，如果照相机微计算机114判断为更新后的面部数据表401包含一个或多个系列数据(步骤S204中为“是”)，则处理进入步骤S205。另一方面，如果照相机微计算机114判断为更新后的面部数据表401不包含系列数据(步骤S204中为“否”)，则照相机微计算机114判断为视频图像中的所有面部(人物)都消失，并且处理进入步骤S221。
在步骤S205中，照相机微计算机114判断在步骤S203中更新后的面部数据表401是否包含识别标志407被设置为“ON”的系列数据。在步骤S205中，如果照相机微计算机114判断为更新后的面部数据表401包含识别标志407被设置为“ON”的系列数据(步骤S205中为“是”)，则处理进入步骤S206。另一方面，在步骤S205中，如果照相机微计算机114判断为更新后的面部数据表401不包含识别标志407被设置为“ON”的系列数据(步骤S205中为“否”)，则处理进入步骤S216。
在步骤S206中，照相机微计算机114判断与面部数据表401中的识别标志407被设置为“ON”的系列数据相对应的已识别面部是否丢失(即，已识别面部是否不再被追踪到并且丢失)。换句话说，照相机微计算机114判断与已识别面部相对应的系列数据的更新标志406是否设置为“未更新”。在步骤S206中，如果照相机微计算机114判断为已识别面部丢失(步骤S206中为“是”)，则处理进入步骤S207。另一方面，如果照相机微计算机114判断为已识别面部未丢失(步骤S206中为“否”)，则处理进入步骤S214。
在步骤S207中，照相机微计算机114对照相机微计算机114内的RAM中所保存的丢失计数器值进行计数。在以下所述的步骤S208中设置第二识别阈值时基于时间来改变第二识别阈值的情况下，使用该丢失计数器值。
接着，在步骤S208中，照相机微计算机114设置以下所述的第二识别阈值。第二识别阈值是通过以下所述的步骤S215的第二识别阈值计算处理所获得的值，并且以下将说明第二识别阈值计算处理的详情。在本典型实施例中，将第二识别阈值设置得低于以下所述的第一识别阈值。此外，在步骤S208中，照相机微计算机114进行用于基于上述的丢失计数器值来改变第二识别阈值的处理。以下将参考图8A～8D来说明用于改变第二识别阈值的处理的详情。
接着，在步骤S209中，照相机微计算机114判断是否存在与对应于更新标志406被设置为“更新”的系列数据的面部中的个人识别电路117没有执行个人识别处理的面部相对应的系列数据。在步骤S209中，如果照相机微计算机114判断为存在与没有执行个人识别处理的面部相对应的系列数据(步骤S209中为“是”)，则处理进入步骤S210。步骤S210的处理由个人识别电路117来进行。另一方面，在步骤S209中，如果照相机微计算机114判断为不存在与没有执行个人识别处理的面部相对应的系列数据(步骤S209中为“否”)，则图2A和2B所示的流程图的处理结束。不存在与没有执行个人识别处理的面部相对应的系列数据的情况是对与更新标志406被设置为“更新”的系列数据相对应的所有面部执行了个人识别处理的情况。
在步骤S210中，个人识别电路117等待从照相机微计算机114输入用以对与没有执行个人识别处理的系列数据相对应的面部执行个人识别处理的指示。如果个人识别电路117接收到用以执行个人识别处理的指示，则个人识别电路117计算面部检测电路113所检测到的面部区域中的与照相机微计算机114所指定的系列数据相对应的面部区域和照相机微计算机114的RAM内所存储的登记面部图像之间的相似度。然后，个人识别电路117向照相机微计算机114通知所计算出的相似度，然后处理进入步骤S211。步骤S211的处理由照相机微计算机114来执行。
在步骤S211中，照相机微计算机114将步骤S210中所计算出的相似度与步骤S208中所设置的第二识别阈值进行比较，以判断相似度是否大于第二识别阈值。在步骤S211中，如果照相机微计算机114判断为相似度大于第二识别阈值(步骤S211中为“是”)，则处理进入步骤S212。另一方面，如果照相机微计算机114判断为相似度不大于第二识别阈值(步骤S211中为“否”)，则处理返回至步骤S209。
在步骤S211中，如果照相机微计算机114判断为相似度大于第二识别阈值，则可以判断为再次发现了丢失的已识别面部。换句话说，可以判断为假定在步骤S210中执行了个人识别处理的系列数据是识别标志407被设置为“ON”的系列数据。因而，在步骤S212中，照相机微计算机114利用与步骤S210中执行了个人识别处理的系列数据有关的面部信息(面部位置403、面部大小404、面部角度405)来覆盖识别标志407被设置为“ON”的系列数据。此外，照相机微计算机114将更新标志406改变为“更新”并且删除执行了个人识别处理的原始系列数据。
之后，在步骤S213中，照相机微计算机114将丢失计数器值清零，然后图2A和2B所示的流程图的处理结束。
此外，在步骤S214中，照相机微计算机114将第一识别阈值设置为要与相似度进行比较的阈值。更具体地，在与面部数据表401中的识别标志407被设置为“ON”的系列数据相对应的面部没有丢失的情况下执行步骤S214的处理，并且在这种情况下，将第一识别阈值设置为要与相似度进行比较的阈值。第一识别阈值被设置得大于第二识别阈值。以下将说明第一识别阈值的详情。在步骤S214之后，处理进入步骤S215。
在步骤S215中，照相机微计算机114执行用以计算在已识别面部丢失时使用的第二识别阈值的处理，然后处理进入步骤S213。以下将说明步骤S215中的第二识别阈值计算处理的详情。
此外，在步骤S216中，照相机微计算机114将第一识别阈值设置为识别阈值。更具体地，在面部数据表401不包含识别标志407被设置为“ON”的系列数据的情况下执行步骤S216的处理。面部数据表401不包含识别标志407被设置为“ON”的数据的情况被视为以下情况：与登记人物相同的人物的面部从未出现、或者人物消失并且此后在预定时间段以上持续不会出现。人物消失并且此后在预定时间段以上持续不会出现的情况包括不存在可识别的面部的情况。发生这种状态的可能原因是：例如，在摄像者附近不存在登记人物、或者摄像者改变了主被摄体。因而，在这种情况下，照相机微计算机114将识别阈值设置为第一识别阈值以防止误识别了另一被摄体。在步骤S216之后，处理进入步骤S217。
在步骤S217中，与步骤S209相同，照相机微计算机114判断是否存在与对应于更新标志406被设置为“更新”的系列数据的面部中的个人识别电路117没有执行个人识别处理的面部相对应的系列数据。在步骤S217中，如果照相机微计算机114判断为存在与没有执行个人识别处理的面部相对应的系列数据(步骤S217中为“是”)，则处理进入步骤S218。步骤S218的处理由个人识别电路117来执行。另一方面，在步骤S217中，如果照相机微计算机114判断为不存在与没有执行个人识别处理的面部相对应的系列数据(步骤S217中为“否”)、即如果对与更新标志406被设置为“更新”的系列数据相对应的所有面部执行了个人识别处理，则处理进入步骤S213。
在步骤S218中，与步骤S210相同，个人识别电路117等待从照相机微计算机114输入用以对与没有执行个人识别处理的系列数据相对应的面部执行个人识别处理的指示。如果个人识别电路117接收到用以执行个人识别处理的指示，则个人识别电路117计算面部检测电路113所检测到的面部区域中的与照相机微计算机114所指定的系列数据相对应的面部区域和照相机微计算机114的RAM内所存储的登记面部图像之间的相似度。然后，个人识别电路117向照相机微计算机114通知所计算出的相似度，然后处理进入步骤S219。步骤S219的处理由照相机微计算机114来执行。
在步骤S219中，照相机微计算机114将步骤S218中所计算出的相似度与步骤S216中所设置的第一识别阈值进行比较，以判断相似度是否大于第一识别阈值。如果照相机微计算机114判断为相似度大于第一识别阈值(步骤S219中为“是”)，则处理进入步骤S220。另一方面，如果相似度不大于第一识别阈值(步骤S219中为“否”)，则处理返回至步骤S217。
在步骤S219中，如果照相机微计算机114判断为相似度大于第一识别阈值，则可以判断为：与登记人物相同的人物的面部第一次出现；或者登记人物消失，此后在预定时间段以上持续不会出现，然后再次出现。因而，在步骤S220中，照相机微计算机114将与步骤S218中执行了个人识别的面部相对应的系列数据的识别标志407设置为“ON”，然后处理进入步骤S213。
在步骤S204中面部数据表401不包含数据的情况下执行步骤S221的处理，因而照相机微计算机114将第一识别阈值设置为个人识别阈值，然后处理进入步骤S213。
第二识别阈值计算处理的说明
接着，以下将参考图3A～3D、图5以及图6A～6D来说明上述的步骤S215中所执行的第二识别阈值计算处理。
图3A～3D是示出在图2B的步骤S215中所执行的第二识别阈值计算处理的四个模式(第一模式～第四模式)的流程图。图3A、3B、3C和3D分别是第二识别阈值计算处理的第一模式、第二模式、第三模式和第四模式的流程图。此外，图5示出以下参考图3D所述的第二识别阈值表。此外，图6A～6D分别示出在执行图3A～3D所示的流程图中的第二识别阈值计算处理时所执行的操作的示例。图6A～6D各自的纵轴采用“0”～“10”这11个等级来表示上述的相似度，并且较大的值对应于较高的相似度，而较小的值对应于较低的相似度。此外，图6A～6D各自的横轴表示从被定义为时刻0的给定时刻起的时间长度。在图6A～6D各自的横轴上，时刻0～时刻tlost的时间段是识别出登记人物的时间段，时刻tlost是看不见已识别面部的时刻(已识别面部变得无法追踪并且丢失的时刻)，并且时刻tfind是再次检测到人物的面部的时刻。在时刻tfind处，人物尚未被识别为登记人物。此外，时刻trecog是再次识别出在时刻tlost处丢失的登记人物的定时。在图6A中，时刻tfind＝时刻trecog，并且这是在时刻tfind处再次检测到的人物立即再次被识别为登记人物的情况的示例。此外，在本典型实施例中，尽管将第一识别阈值定义成设置为“9”，但该数值是为了用以描述本典型实施例的描述性目的而设置的值，并且第一识别阈值不限于该数值。此外，在图6A～6D中向相同的值和曲线图赋予相同的附图标记，并且省略了针对这些相同的值和曲线图的说明。
首先，以下将参考图3A和6A来说明将预先确定的固定值设置为第二识别阈值的第一模式。
如果上述的步骤S215中的第二识别阈值计算处理开始，则在图3A的步骤S301中，照相机微计算机114读取照相机微计算机114内的RAM中所存储的固定值并将所读取的固定值设置为第二识别阈值，并且图3A所示的处理结束。该固定值是比第一识别阈值小的值，并且可以基于现有知识来设置用以使误识别降低为预定比率的值，或者可以设置基于预备实验结果根据经验所获得的值。
图6A示出在第一模式中将上述的固定值设置为“5”的情况的操作示例。
在图6A所示的示例中，在时刻0的定时，利用个人识别电路117将面部检测电路113所检测到的面部区域识别为登记人物的面部。在本典型实施例中，可能存在已识别面部，或者时刻0可能是通过图2A的步骤S218～S220的处理所计算出的相似度超过第一识别阈值601(“9”)、并且第一次识别出面部的定时。
在时刻0～时刻tlost的时间段内，追踪已识别面部并且执行图2B的步骤S214～S215的序列。图6A的曲线602是用曲线图标绘的用以示出从时刻0起直到时刻tlost为止的相似度的变化的线。曲线602不是示出连续地计算出的相似度的变化，而是示出通过使利用个人识别电路117在预定定时计算出的离散相似度虚拟地连接所获得的相似度的变化。这同样适用于以下所述的其它曲线604和607。如上所示，即使没有对已识别面部执行个人识别处理，在判断为利用个人识别电路117追踪已识别面部期间，该已识别面部也被判断为已识别面部。
然后，如果照相机微计算机114在时刻tlost处看不见已识别面部(如果已识别面部丢失)，则执行图2B的步骤S207～S212的序列。更具体地，在这种情况下，在步骤S208中，照相机微计算机114将步骤S301中所设置的第二识别阈值设置为要与相似度进行比较的识别阈值。在图6A所示的示例中，在时刻tlost的定时，将值“5”设置为识别阈值603。
时刻tlost～时刻tfind的时间段是如上所述在时刻tlost处已识别面部丢失之后的经过时间。更具体地，在图6A所示的示例中，时刻tlost～时刻tfind的时间段是在摄像画面内没有检测到丢失的已识别面部(利用个人识别电路117没有识别出丢失的已识别面部)的时间段。因而，例如，如果在时刻tlost处或者在时刻tlost之后检测到新的面部，则对该新检测到的面部执行图2B的步骤S209～S211。
如果在时刻tfind的定时再次检测到人物，则在步骤S210中，个人识别电路117执行个人识别。此时检测到的人物的面部是与登记人物不同的人物的面部、或者登记人物的面向侧面或面部大小小的面部，并且相似度有可能低。更具体地，此时的相似度更有可能低于第二识别阈值。另一方面，在时刻tlost的定时，将识别阈值设置为比第一识别阈值601(“9”)小的第二识别阈值603(“5”)，因而如果相似度为“5”以上，则判断为所检测到的人物是与丢失的已识别面部的人物相同的人物。因而，在时刻tfind处相似度为“5”以上的情况下，时刻tfind＝时刻trecog，并且再次识别出丢失的登记人物。这样，照相机微计算机114可以立即对登记人物的被摄体执行调焦和亮度调整处理。在时刻trecog处的识别之后，照相机微计算机114可以使识别阈值恢复为第一识别阈值，之后维持第一识别阈值，直到人物再次丢失或消失为止。
接着，以下将参考图3B和6B来说明第二模式。在第二模式中，在时刻0～时刻tlost的时间段内按各预定定时执行相似度计算处理，并且将紧挨在时刻tlost处登记人物丢失之前的最后定时所计算出的相似度设置为第二识别阈值。
如果步骤S215的第二识别阈值计算处理开始，则在图3B的步骤S302中，照相机微计算机114使个人识别电路117计算相似度。此时，个人识别电路117通过对与面部数据表401中的识别标志407被设置为“ON”的系列数据相对应的已识别面部执行使用登记面部图像的识别处理，来计算相似度。按上述的各预定定时执行该相似度计算处理。
接着，在步骤S303中，照相机微计算机114将在步骤S302中按各预定定时所计算出的相似度的值设置(分配)为第二识别阈值。在本典型实施例中，将第二识别阈值设置为比第一识别阈值小的值，因而如果步骤S302中所计算出的相似度是比第一识别阈值大的值，则照相机微计算机114不将所计算出的相似度分配为第二识别阈值。可选地，仅在所计算出的相似度是相对于第一识别阈值不大于预定值的值的情况下，照相机微计算机114才将步骤S302中所计算出的相似度分配为第二识别阈值。此外，与相似度计算处理的情况相同，按各预定定时执行第二识别阈值分配处理。此外，如果在图2B的步骤S206中判断为已识别面部丢失，则不执行图3B所示的处理，因而在登记人物丢失的情况下，将紧挨在登记人物丢失之前的最后定时所计算出的相似度的值设置为第二识别阈值。
图6B示出如下情况的操作示例：从时刻0起直到时刻tlost为止按预定定时(t1,t2,…,tn-1,tn)所计算出的相似度中的在紧挨时刻tlost之前的最后定时所计算出的相似度(时刻tn处的相似度)为“5.5”。在时刻0的定时所执行的处理与图6A所示的情况中的处理相同，因而省略了针对该处理的说明。
在图6B所示的示例中，时刻0～时刻tlost的时间段是追踪已识别面部的时间段，并且在该时间段内按各预定定时执行第二识别阈值计算处理。更具体地，通过第二识别阈值计算处理，将通过按诸如图6B所示的预定定时(t1～tn)等的固定时间间隔执行的相似度计算处理所获得的最新相似度设置为第二识别阈值。时刻tlost的定时所执行的处理与图6A所示的情况下的处理相同，因而省略了针对该处理的说明。此外，时刻tlost～时刻tfind的时间段与图6A所示的情况下的时间段相同，因而省略了针对该时间段的说明。
然后，在时刻tlost处登记人物丢失之后，如果在时刻tfind的定时再次检测到人物，则在步骤S210中，个人识别电路117执行识别处理。此时检测到的人物的面部是与登记人物不同的人物的面部、或者登记人物的面向侧面或面部大小小的面部，并且相似度有可能低。然而，在第二识别阈值计算处理的第二模式的情况下，将紧挨在上述的时刻tlost之前的最后定时所计算出的相似度(在图6B所示的示例中为值“5.5”)设置为第二识别阈值605。因而，如果通过在时刻tfind的定时执行的识别处理所获得的相似度大于第二识别阈值605(“5.5”)，则可以判断为所检测到的面部是与丢失的已识别面部的人物相同的人物的面部。
如果例如时刻tlost～时刻tfind的时间段相对较短，则面部更有可能以与面部丢失时的面部状态(面部取向、面部大小等)相似的状态出现。因而，在将通过在紧挨时刻tlost之前的时刻tn处执行的个人识别处理所计算出的相似度设置为第二识别阈值605的情况下，认为容易识别出再次检测到的面部并且降低了除登记人物以外的人物的面部的误识别。
如上所述，第二识别阈值计算处理的第二模式使得可以在与时刻tfind大致相同的时刻trecog处再次识别丢失的登记人物。这样，照相机微计算机114可以立即对登记人物的被摄体执行调焦和亮度调整处理。在时刻trecog处的识别之后，照相机微计算机114可以使识别阈值恢复为第一识别阈值，之后维持第一识别阈值，直到人物再次丢失或消失为止。
接着，以下将参考图3C和6C来说明第三模式。在第三模式中，在时刻0～时刻tlost内按各预定定时执行相似度计算处理，并且将通过在追踪已识别面部期间执行的识别处理所计算出的相似度中的最小值设置为第二识别阈值。以下将仅说明图3C的流程图中的与图3B的流程图有所不同的部分。
在图3C的步骤S304中，照相机微计算机114将通过步骤S302中执行的个人识别处理所计算出的相似度与当前设置为第二识别阈值的值进行比较，并且判断所计算出的相似度是否小于当前设置的第二识别阈值。作为步骤S304中的比较的结果，如果照相机微计算机114判断为所计算出的相似度小于当前设置的第二识别阈值(步骤S304中为“是”)，则处理进入步骤S303。在步骤S303中，将所计算出的相似度分配为第二识别阈值。另一方面，在步骤S304中，如果照相机微计算机114判断为当前设置的第二识别阈值不大于所计算出的相似度(步骤S304中为“否”)，则不将所计算出的相似度分配为第二识别阈值，并且图3C所示的处理结束。照相机微计算机114将第二识别阈值设置为比第一识别阈值小的值，因而如果所计算出的相似度大于第一识别阈值(“9”)，则不将该相似度分配为第二识别阈值。此外，在第三模式中，与上述的第二模式相同，按各预定定时执行相似度计算处理和第二识别阈值分配处理。
图6C示出如下情况的操作示例：在时刻tn-1的定时计算从时刻0起直到时刻tlost为止按预定定时(t1,t2,…,tn-1,tn)所计算出的相似度中的最小值的相似度，并且该相似度为“4”。在时刻0的定时所执行的处理与在图6A所示的情况下的处理相同，因而省略了针对该处理的说明。此外，时刻0～时刻tlost的时间段与图6B所示的情况下的时间段相同，因而省略了针对该时间段的说明。此外，在时刻tlost处所执行的处理与图6A和6B所示的情况下的处理相同，因而省略了针对该处理的说明。此外，时刻tlost～时刻tfind的时间段与图6A和6B所示的情况下的时间段相同，因而省略了针对该时间段的说明。
在图6C所示的示例中，如果在时刻tfind的定时再次检测到人物，则在步骤S210中，个人识别电路117执行识别处理。如上所述，此时检测到的人物的面部是与登记人物不同的人物的面部、或者登记人物的面向侧面或面部大小小的面部，并且相似度有可能低。然而，在第二识别阈值计算处理的第三模式的情况下，将在时刻0～时刻tlost所计算出的相似度中的最小值的相似度(“4”)设置为第二识别阈值606。因而，如果通过在时刻tfind的定时执行的识别处理所获得的相似度大于第二识别阈值606(“4”)，则可以判断为所检测到的面部是与丢失的已识别面部的人物相同的人物的面部。
根据在时刻t1～时刻tn-1期间执行的识别处理，得知根据诸如面部取向和面部大小等的面部的状态，丢失的面部的相似度可能下降为在追踪期间所计算出的最小相似度。因而，认为如果将通过在时刻t1～时刻tn-1内执行的个人识别处理所计算出的相似度中的最小值的相似度设置为第二识别阈值，则即使所检测到的面部的状态(面部取向、面部大小等)与面部丢失时的面部状态相比变差，也容易识别出再次检测到的面部。
如上所述，第二识别阈值计算处理的第三模式使得可以在与时刻tfind大致相同的时刻trecog再次识别丢失的登记人物。这样，照相机微计算机114可以立即对登记人物的被摄体执行调焦和亮度调整处理。在时刻trecog的识别之后，照相机微计算机114可以使识别阈值恢复为第一识别阈值，之后维持第一识别阈值，直到人物再次丢失或消失为止。
接着，以下将参考图3D和6D来说明第四模式。在第四模式中，在时刻0～时刻tlost内按预定定时执行识别处理，并且将通过在已识别面部追踪期间执行的识别处理所获得的相似度存储为表数据并且设置为第二识别阈值。
在图3D的步骤S305中，照相机微计算机114判断面部检测电路113所输出的面部信息中的面部大小信息和角度信息相对于先前输出的面部信息是否存在变化。在本典型实施例中，例如，基于面部大小相对于状态“大”、“中”或“小”是否改变、或者面部角度相对于“0度”、“45度”或“90度”是否改变，来判断是否存在面部信息的变化。如图5所示，照相机微计算机114生成与面部大小和面部角度的组合相对应的相似度表数据作为第二识别阈值表数据，并且将该相似度表数据存储在照相机微计算机114内的RAM中。判断是否存在变化所基于的大小信息和角度信息不限于上述的大小和角度，并且可以是个人识别的相似度大幅改变的大小和角度，或者可以通过预备检查来提取并设置大小和角度。然后，在步骤S305中，如果照相机微计算机114判断为面部信息相对于先前的面部信息存在变化(步骤S305中为“是”)，则处理进入步骤S302。另一方面，如果照相机微计算机114判断为不存在变化(步骤S305中为“否”)，则图3D所示的处理结束。步骤S302与图3B所示的处理中的步骤S302相同，因而省略了针对该步骤的说明。在图3D所示的情况下，在步骤S302之后，处理进入以下所述的步骤S306。
步骤S305中所执行的处理可以是如上所述按各预定定时(固定时间间隔)执行第二识别阈值计算处理的处理，但在第四模式中，仅在面部信息存在变化的定时才执行该处理，由此减轻了处理负荷。因而，在以下参考图6D的说明中，将说明仅在面部信息存在变化的情况下才执行该处理的情况作为示例。
在步骤S306中，照相机微计算机114关于通过步骤S305的处理所获取到的面部大小信息和面部角度信息的组合，利用通过步骤S302的识别处理所计算出的相似度来更新图5的第二识别阈值表内的相应单元格中的第二识别阈值。然后，在步骤S306之后，图3D所示的处理结束。照相机微计算机114将比第一识别阈值小的值设置为第二识别阈值，因而如果所计算出的相似度大于第一识别阈值，则不利用所计算出的相似度更新第二识别阈值。可选地，仅在所计算出的相似度是相对于第一识别阈值不大于预定值的值的情况下，照相机微计算机114才可以更新第二识别阈值。此外，照相机微计算机114可以针对与图5的第二识别阈值表内的没有执行识别处理的大小和角度的组合的单元格相对应的阈值，通过预备检查来设置预先固定的值。在这种情况下，利用所计算出的相似度仅更新与执行了识别处理的面部大小和面部角度的组合相对应的单元格的值。此外，照相机微计算机114可以预先存储各单元格之间的偏移值，并且可以基于通过识别处理所计算出的相似度和该偏移值来根据需要更新各值。
图6D示出第四模式的操作示例，其中在该第四模式中，将通过在面部信息改变的定时执行的识别处理所获得的相似度设置为第二识别阈值表。在时刻0的定时所执行的处理与图6A的情况下的处理相同，因而省略了针对该处理的说明。
在图6D中，在时刻0～时刻tlost的时间段内追踪已识别面部，并且在该时间段内，在来自面部检测电路113的面部信息存在变化的定时执行第二识别阈值计算处理。在图6D所示的示例中，在时刻t4～时刻t7的定时检测到面部信息的变化，在这些定时执行第二识别阈值计算处理以获得相似度，并且将这些相似度作为第二识别阈值分配到图5所示的识别阈值表。
以下说明了在假定图5的识别阈值表的状态是时刻tlost的定时的表的状态的情况下在图6D的时刻t4～时刻t7的定时所执行的操作。
在时刻0，面部大小为“中”，并且面部角度为“0度”。此外，如图6D所示，面部大小为“中”并且面部角度为“0度”的时刻0处的面部的相似度例如为“10”。此时的相似度“10”大于上述的第一识别阈值601“9”，因而不更新识别阈值表中的相应单元格的值。
接着，在时刻t4处，面部大小保持为“中”，而面部角度从“0度”改变为“45度”。在这种情况下，由于面部信息改变，因此个人识别电路117对面部执行识别处理，计算出相似度为“7”，并且向照相机微计算机114通知所计算出的相似度。这样，照相机微计算机114将所获取到的相似度“7”作为第二识别阈值分配到识别阈值表中的相应单元格(面部大小为“中”并且面部角度为“45度”的单元格)。
接着，在时刻t5处，面部大小从“中”改变为“大”，而面部角度保持为“45度”。在这种情况下，由于面部信息改变，因此个人识别电路117对面部执行识别处理，计算相似度，并且向照相机微计算机114通知所计算出的相似度。接着，照相机微计算机114将所获取到的相似度“8”作为第二识别阈值分配到识别阈值表中的相应单元格(面部大小为“大”并且面部角度为“45度”的单元格)。
接着，在时刻t6处，面部大小保持为“大”，而面部角度从“45度”改变为“90度”。在这种情况下，由于面部信息改变，因此个人识别电路117对面部执行识别处理，计算出相似度为“5”，并且向照相机微计算机114通知所计算出的相似度。这样，照相机微计算机114将所获取到的相似度“5”作为第二识别阈值分配到识别阈值表中的相应单元格(面部大小为“大”并且面部角度为“90度”的单元格)。
接着，在时刻t7处，面部大小从“大”改变为“中”，而面部角度保持为“90度”。在这种情况下，由于面部信息改变，因此个人识别电路117对面部执行识别处理，计算出相似度为“4”，并且向照相机微计算机114通知所计算出的相似度。这样，照相机微计算机114将所获取到的相似度“4”作为第二识别阈值分配到识别阈值表中的相应单元格(面部大小为“中”并且面部角度为“90度”的单元格)。
上述是在时刻0～时刻tlost内执行的第二识别阈值计算处理。如上所述，预先将预定值分配为上述的操作示例中没有更新的单元格中的值。
接着，时刻tlost和时刻tlost～时刻tfind的时间段是丢失的已识别面部没有出现在摄像画面内的时间段，并且针对该时间段内所检测到的新的面部所执行的处理与上述时刻tfind处及其之后的处理相同，因而省略了针对该处理的说明。
接着，如果在时刻tfind的定时再次检测到人物，则在步骤S210中，个人识别电路117执行识别处理以计算相似度。如上所述，此时检测到的人物的面部是与登记人物不同的人物的面部、或者登记人物的面向侧面或面部大小小的面部，并且相似度有可能低。在第四模式中，照相机微计算机114基于与新检测到的面部有关的面部信息(面部大小和面部角度)来从上述的识别阈值表中获取被设置到与该面部信息相对应的单元格的第二识别阈值。然后，照相机微计算机114将个人识别电路117所计算出的相似度与识别阈值表内的相应单元格中的第二识别阈值进行比较。
在图6D的时刻tfind处所获取到的面部信息是面部大小为“大”并且面部角度为“90度”。在这种情况下，照相机微计算机114将被设置到识别阈值表中的具有面部大小为“大”并且面部角度为“90度”的组合的单元格的值“5”设置为第二识别阈值608。在图6D所示的情况下，由于例如除面部大小和面部角度以外的面部状态不好等，因此在时刻tfind处，所计算出的相似度低于第二识别阈值“5”。面部状态不好的可能原因例如是面部的亮度和面部表情明显不同的情况。因而，在图6D所示的情况下，在时刻tfind处，照相机微计算机114不能判断为丢失的面部再次出现。
接着，时刻tfind处及其之后的相似度例如如图6D的曲线607所示。在曲线607低于第二识别阈值608的情况下，照相机微计算机114不能判断为丢失的面部再次出现。
在时刻tfront处，如果面部大小从“大”改变为“中”且面部角度从“90度”改变为“45度”、并且将该面部信息从个人识别电路117输入至照相机微计算机114，则照相机微计算机114将被设置到识别阈值表中的面部大小为“中”且面部角度为“45度”的单元格的值“7”设置为第二识别阈值609。此外，在时刻tfront～时刻trecog的时间段内，照相机微计算机114向个人识别电路117通知用以对未被识别的面部执行识别处理的指示。
然后，在时刻trecog的定时，如果通过个人识别电路117执行的识别处理所获得的相似度超过第二识别阈值609“7”，则照相机微计算机114判断为通过在时刻trecog处执行的识别处理来计算相似度的面部是丢失的已识别人物的面部。
如上所述，在第二识别阈值计算处理的第四模式中，将通过在面部信息改变的时刻t4～时刻t7的定时所执行的个人识别处理所计算出的相似度作为第二识别阈值存储在识别阈值表中。然后，在识别处理中，根据识别阈值表来设置与面部信息相对应的第二识别阈值。这样，在第二识别阈值计算处理的第四模式中，容易识别出再次检测到的面部并且降低了除登记人物以外的人物的面部的误识别。因而，照相机微计算机114可以立即对登记人物的被摄体执行调焦和亮度调整处理。在时刻trecog处的识别之后，照相机微计算机114可以使识别阈值恢复为第一识别阈值，之后维持第一识别阈值，直到人物再次丢失或消失为止。
第二识别阈值设置的示例(第二识别阈值根据位置而改变的情况)
接着，以下将参考图7A～7D来说明关于在上述的时刻tlost～时刻trecog的时间段内所设置的第二识别阈值、摄像画面内的各位置中的阈值设置的示例。
在图7A～7D各自的横轴上，将轴的中央定义为画面的中央区域，将轴的左端定义为画面左端，并且将轴的右端定义为画面右端。此外，图7A～7D各自的纵轴表示上述的第二识别阈值。将基于以上参考图6A所述的设置了固定值“5”的第一模式来说明图7A～7D所示的示例。图7A～7D各自中的点划折线上的值示出如本典型实施例所述的根据画面中的位置所设置的第二识别阈值。尽管参考图7A～7D来说明画面的水平方向的示例，但本典型实施例还可应用于画面的垂直方向以及其它方向。
图7A示出在照相机微计算机114检测到沿画面左方向的平摇操作(摄像者为了使摄像机10沿水平方向摆动所进行的操作)时所设置的第二识别阈值的示例。在图7A中，从画面左侧起直到位置ppan1为止，将固定值“5”设置为第二识别阈值，并且从位置ppan1起直到位置ppan2为止，将使固定值“5”和与第一识别阈值相对应的值“9”线性连接的值设置为第二识别阈值。此外，从位置ppan2起直到画面右侧为止，将与第一识别阈值相对应的值“9”设置为第二识别阈值。在图7A所示的示例中，在通过平摇使摄像机10摆动的情况下，如折线701所示，在平摇方向上的位置中，将小的值设置为第二识别阈值，而在与平摇方向相反的方向上的位置中，将大的值设置为第二识别阈值。
在摄像者(用户)正使摄像机10平摇的情况下，主被摄体更有可能处在平摇方向上，并且更有可能在平摇方向上检测到主被摄体、即丢失的已识别面部。另一方面，从与平摇方向相反的方向上的画面右侧检测到的被摄体不太可能是摄像者正寻找的主被摄体。因而，在图7A所示的示例中，针对在平摇方向上所检测到的面部，将第二识别阈值设置得低，而针对在与平摇方向相反的方向上所检测到的面部，将第二识别阈值设置得高。因而，在图7A所示的示例中，在再次检测到在时刻tlost处丢失的登记被摄体时，加快了用以识别的定时(时刻trecog)。此外，在检测到除登记被摄体以外的被摄体的情况下，防止了误识别。
此外，在图7A所示的示例中，由于以下所述的第一原因和第二原因，针对画面左端将第二识别阈值设置为固定值“5”，并且将第二识别阈值相对于固定值“5”改变的位置ppan1设置到位于离画面左侧预定距离的位置。
第一原因如下：考虑到所检测到的面部区域的大小，并且认为所检测到的面部区域的中心位置始终是面部区域的水平大小的一半的位置。因而，随着所检测到的面部区域的大小的增大，照相机微计算机114可以将位置ppan1设置成向着画面右侧。
第二原因如下：认为在平摇量增加时，检测到面部区域的位置有可能向着中心进一步偏移。因而，随着所检测到的平摇量的增加，照相机微计算机114可以将位置ppan1设置成向着画面右侧。
此外，在图7A所示的示例中，尽管第二识别阈值从位置ppan1起直到位置ppan2线性地连续改变，但第二识别阈值也可以非线性地或离散地改变，只要第二识别阈值单调增加即可。
尽管在图7A中示出根据平摇方向上的位置来设置第二识别阈值的示例，但可以基于相同的概念来进行针对摄像者沿垂直方向摆动摄像机10的倾斜操作的第二识别阈值设置。此外，可以基于平摇和倾斜其中之一或这两者来进行第二识别阈值设置。
图7B示出在利用照相机微计算机114检测沿广角方向对变焦透镜102的驱动的广角检测时的第二识别阈值的设置的示例。在图7B中，从画面左侧起直到位置pwide1为止，将固定值“5”设置为第二识别阈值，并且从位置pwide1起直到位置pwide2为止，将使固定值“5”和与第一识别阈值相对应的值“9”线性连接的值设置为第二识别阈值。此外，从位置pwide2起直到位置pwide3为止，将与第一识别阈值相对应的值“9”设置为第二识别阈值，并且从位置pwide3起直到位置pwide4为止，将使与第一识别阈值相对应的值“9”和固定值“5”线性连接的值设置为第二识别阈值。此外，从位置pwide4起直到画面右侧为止，将固定值“5”设置为第二识别阈值。在图7B所示的示例中，在沿广角方向驱动变焦透镜102的情况下，如折线702所示，在画面端部附近的位置，将第二识别阈值设置得低，而在画面中央区域附近的位置，将第二识别区域设置得高。
在摄像者沿广角方向操作摄像机10的变焦透镜102的情况下，更有可能从画面的外周区域检测到主被摄体。另一方面，在沿广角方向操作变焦透镜102的情况下，在画面中央附近所检测到的被摄体不太可能是摄像者正寻找的主被摄体。因而，在图7B所示的示例中，在沿广角方向操作变焦透镜102的情况下，针对在画面的外周区域中所检测到的面部，将第二识别阈值设置得低，而针对在画面的中央区域附近所检测到的面部，将第二识别阈值设置得高。这样，在再次检测到在时刻tlost处丢失的登记被摄体时，加快了用以识别的定时(时刻trecog)。此外，在检测到除登记被摄体以外的被摄体的情况下，防止了误识别。
此外，在图7B中，由于以下所述的第三原因和第四原因，针对画面两端将第二识别阈值设置为固定值“5”，并且将第二识别阈值相对于固定值“5”改变的位置pwide1和位置pwide4分别设置到位于离画面端部预定距离的位置。
第三原因如下：与图7A相同，考虑到所检测到的面部区域的大小，并且面部区域的中心位置始终是面部区域的水平大小的一半的位置。因而，随着所检测到的面部区域的大小的增大，照相机微计算机114可以将位置pwide1和位置pwide4设置成向着画面右侧。
第四原因如下：由于变焦驱动装置115的变焦驱动速度的增大，因而所检测到的位置向着中心进一步偏移。因而，随着变焦驱动速度的增大，照相机微计算机114可以将位置pwide1和位置pwide4设置成向着画面中央区域。
此外，在图7B所示的示例中，尽管第二识别阈值从位置pwide1起直到位置pwide2为止以及从位置pwide3起直到位置pwide4为止线性地连续改变，但第二识别阈值也可以非线性地或者离散地改变，只要第二识别阈值单调增加即可。
图7C示出在已识别面部丢失的位置是位置plost3的情况下的第二识别阈值的示例。在图7C中，折线703上的各值示出根据面部丢失的位置所设置的第二识别阈值。在图7C中，从画面左侧起直到位置plost1为止，将与第一识别阈值相对应的值“9”设置为第二识别阈值，并且从位置plost1起直到位置plost2为止，将使与第一识别阈值相对应的值“9”和固定值“5”线性连接的值设置为第二识别阈值。此外，从位置plost2起直到位置plost4为止，将固定值“5”设置为第二识别阈值，并且从位置plost4起直到位置plost5为止，将使固定值“5”和与第一识别阈值相对应的值“9”线性连接的值设置为第二识别阈值。此外，从位置plost5起直到画面右侧为止，将与第一识别阈值相对应的值“9”设置为第二识别阈值。在图7C所示的示例中，如折线703所示，在已识别面部丢失的位置是位置plost3的情况下，在位置plost3附近的位置，将第二识别阈值设置得低，并且在远离位置plost3的位置，将第二识别阈值设置得高。
另一方面，如果摄像者不进行摄像机10的平摇或变焦，则主被摄体(即，丢失的已识别面部的人物)有可能仍存在于看不见主被摄体的区域附近，并且该人物的已识别面部更有可能再次出现在丢失位置中。另一方面，在离已识别面部丢失的位置远的位置中所检测到的被摄体不太可能是已识别面部。因而，在图7C中，针对在已识别面部丢失的位置附近所检测到的面部，将第二识别阈值设置得低，而针对在离已识别面部丢失的位置远的位置中所检测到的面部，将第二识别阈值设置得高。这样，在再次检测到在时刻tlost处丢失的登记被摄体时，加快了用以识别的定时(时刻trecog)。此外，在检测到除登记被摄体以外的被摄体的情况下，防止了误识别。
此外，在图7C中，由于以下所述的第五原因和第六原因，将位置plost2和位置plost4各自设置到位于离位置plost3预定距离的位置。
第五原因如下：与图7A和7B相同，考虑到所检测到的面部区域的大小，并且面部区域的中心位置始终是面部区域的水平大小的一半的位置。因而，随着所检测到的面部区域的大小的增大，可以将位置plost2和位置plost4设置得离位置plost3更远。
第六原因如下：随着紧挨在已识别面部丢失之前的人物的移动量的增加，可以使检测位置从位置plost3起在移动方向上偏移。因而，随着紧挨在面部丢失之前的该面部的人物的移动量的增加，可以在紧挨在面部丢失之前的该面部的人物的移动方向上进一步设置位置plost2和plost4。换句话说，位置plost1～plost4不必相对于位置plost3对称。此外，尽管第二识别阈值从位置plost1起直到位置plost2为止以及从位置plost4起直到位置plost5为止线性地连续改变，但第二识别阈值也可以非线性地或离散地改变，只要第二识别阈值单调增加即可。
图7D示出在利用照相机微计算机114检测到沿远摄方向对变焦透镜102的驱动的远摄检测时的第二识别阈值设置的示例。在图7D中，从画面左侧起直到位置ptele1为止，将与第一识别阈值相对应的值“9”设置为第二识别阈值，并且从位置ptele1起直到位置ptele2为止，将使与第一识别阈值相对应的值“9”和固定值“5”线性连接的值设置为第二识别阈值。此外，从位置ptele2起直到位置ptele3为止，将固定值“5”设置为第二识别阈值，并且从位置ptele3起直到位置ptele4为止，将使固定值“5”和与第一识别阈值相对应的值“9”线性连接的值设置为第二识别阈值。此外，从位置ptele4起直到画面右侧为止，将与第一识别阈值相对应的值“9”设置为第二识别阈值。在图7D所示的示例中，在沿远摄方向驱动变焦透镜102的情况下，如折线704所示，针对画面中央区域附近的位置，将第二识别阈值设置得低，而针对画面端部附近的位置，将第二识别阈值设置得高。
在摄像者沿远摄方向操作摄像机10的变焦透镜102的情况下，更有可能在画面中央区域中检测到主被摄体、即已识别面部。另一方面，在画面的外周区域中所检测到的被摄体通过沿远摄方向的变焦而移动到画面外，因而该被摄体不太可能是摄像者正寻找的主被摄体。因而，如图7D所示，针对在画面中央区域附近所检测到的面部，将识别阈值设置得低，而针对在画面的外周区域中所检测到的面部，将识别阈值设置得高。这样，在再次检测到在时刻tlost处丢失的登记被摄体时，加快了用以识别的定时(时刻trecog)。此外，在检测到除登记被摄体以外的被摄体的情况下，防止了误识别。
此外，在图7D中，由于以下所述的第七原因和第八原因，将画面的外周区域附近的第二识别阈值相对于与第一识别阈值相对应的值“9”改变的位置ptele1和位置ptele4各自设置到位于离画面端部预定距离的位置。
第七原因如下：与图7A、7B和7C相同，考虑到所检测到的面部区域的大小，并且面部区域的中心的位置始终是面部区域的水平大小的一半的位置。因而，如果例如以已识别面部丢失时的面部大小和变焦倍率(1倍)为基准、变焦倍率为2倍，则可以将相对于面部丢失时的面部大小的两倍值设置为位置ptele2和位置ptele3。
第八原因如下所述：随着摄像机10的变焦驱动速度的增大，画面外周区域中的面部移动到画面外的速度增大。因而，随着变焦驱动速度的增大，可以在画面中央区域中进一步设置位置ptele1～ptele4。
此外，尽管第二识别阈值从位置ptele1起直到位置ptele2为止以及从位置ptele3起直到位置ptele4为止线性地连续改变，但第二识别阈值也可以非线性地或离散地改变，只要第二识别阈值单调增加即可。
第二识别阈值设置的示例(第二识别阈值根据时间而改变的情况)
接着，以下将参考图8A～8D来说明在时刻tlost～时刻trecog的时间段内所设置的第二识别阈值的时间变化的示例。
图8A～8D示出在从已识别面部丢失的时刻tlost起直到可以再次识别出面部的时刻trecog之前的时刻为止的时间段内的第二识别阈值的变化的示例。图8A～8D各自的横轴表示时间，并且原点是看不见所识别的被摄体(面部)的时刻tlost。此外，图8A～8D各自的纵轴表示上述的第二识别阈值。将基于以上参考图6A所示的设置固定值“5”的第一模式来说明图8A～8D所示的示例。图8A～8D中的点划线801～804上的值示出如本典型实施例所述的根据时间所设置的第二识别阈值。
图8A示出以下示例：第二识别阈值在时刻tlost处被设置为固定值“5”，之后在时刻ta被设置为与第一识别阈值相对应的值“9”。图8A中的点划线801表示第二识别阈值。
图8B示出以下示例：第二识别阈值在时刻tlost处被设置为固定值“5”，之后在时刻tb1的定时被设置为值“6”，然后逐级地设置第二识别阈值，以在时刻tbn的定时达到与第一识别阈值相对应的值“9”。图8B中的点划线802上的值示出根据时间所设置的第二识别阈值。尽管图8B示出第二识别阈值分四个阶段改变的示例，但变化的阶段数量可以是任何数量。
图8C示出以下示例：在时刻tlost处，第二识别阈值被设置为固定值“5”，然后从时刻tc1起直到时刻tc2为止，第二识别阈值线性地增加。图8C中的点划线803上的值示出根据时间所设置的第二识别阈值。
图8D示出以下示例：在时刻tlost处，第二识别阈值被设置为固定值“5”，然后从时刻td1起直到时刻td2为止，第二识别阈值非线性地增加。图8D中的点划线804上的值示出根据时间所设置的第二识别阈值。
时刻ta、时刻tb1～时刻tbn、时刻tc1、时刻tc2、时刻td1和时刻td2是各自与上述的丢失计数器值所表示的经过时间进行比较的值(时刻)。
此外，在本典型实施例中，可以将如图7A～7D所示的根据位置的阈值设置和如图8A～8D所示的根据时间的阈值设置组合到一起，以执行第二识别阈值设置。
以下将说明组合地执行图7A所示的第二识别阈值设置和图8C所示的第二识别阈值设置的情况作为示例。在该示例中，从图7A中的画面左侧起直到位置ppan2为止的各位置中的第二识别阈值可以在时刻tc1处开始单调增加，并且该单调增加可以在时刻tc2处结束，以将第二识别阈值设置为与第一识别阈值相对应的值“9”。在该示例中，在时刻tlost处针对位置所设置的阈值越低，每单位时间的阈值的增加量变得越大，但每单位时间的阈值的增加量也可被设置得恒定。
上述的根据画面位置的识别阈值可以基于面部检测电路113所检测到的面部的中心位置来确定，可以是基于面部的中心位置和面部大小而在面部区域中占多数的识别阈值，或者可以是面部区域中所设置的识别阈值的平均值。
如上所述，在本典型实施例中，在个人识别控制中在作为个人识别处理的结果而判断人物是否是与摄像机中所登记的人物相同的人物时所使用的阈值根据摄像状况而改变，以缩短判断为人物是登记人物所需的时间。更具体地，在本典型实施例中，即使由于面部表情、面部取向等的变化因而难以识别期望的人物，也可以在较早的定时将该人物识别为登记人物。因而，在本典型实施例中，可以在较早的定时对期望的人物执行AF控制和AE控制，使得拍摄到更能反映用户意图的视频图像。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (19)

1.一种图像处理设备，包括：
检测单元，用于从视频信号中检测预定被摄体区域；
识别单元，用于基于从所述检测单元检测到的被摄体区域中所提取的特征信息和所登记的特征信息之间的相似度与预定阈值的比较，来对所述被摄体区域进行识别处理；
追踪单元，用于追踪所述识别单元所识别出的已识别被摄体区域；以及
设置单元，用于设置所述预定阈值，
其中，所述设置单元存储与所述追踪单元所追踪的所述已识别被摄体区域有关的信息，
在所述追踪单元没有追踪到所述已识别被摄体区域、并且所述设置单元没有存储与第一被摄体有关的识别信息的情况下，所述设置单元将第一阈值设置为用于所述第一被摄体的所述预定阈值，以及
在所述追踪单元没有追踪到所述已识别被摄体区域、并且所述设置单元存储了与所述第一被摄体有关的识别信息的情况下，所述设置单元将比所述第一阈值低的第二阈值设置为用于所述第一被摄体的所述预定阈值。
2.根据权利要求1所述的图像处理设备，其中，在从所述被摄体区域中所提取的特征信息和所登记的特征信息之间的相似度大于所述预定阈值的情况下，所述识别单元判断为识别出所述预定被摄体区域。
3.根据权利要求1所述的图像处理设备，其中，在从所述追踪单元变得无法追踪所述已识别被摄体区域时起无法再次识别出所述已识别被摄体区域的时间段持续了预定时间段以上的情况下，所述设置单元删除与所述已识别被摄体区域有关的识别信息。
4.根据权利要求1所述的图像处理设备，其中，所述设置单元根据从所述追踪单元变得无法追踪所述已识别被摄体区域时起所经过的时间，来将比所述第二阈值大的值设置为所述预定阈值。
5.根据权利要求4所述的图像处理设备，其中，在从所述追踪单元变得无法追踪所述已识别被摄体区域时起经过了预定时间的情况下，所述设置单元将所述预定阈值从所述第二阈值改变为所述第一阈值。
6.根据权利要求4所述的图像处理设备，其中，所述设置单元从所述追踪单元变得无法追踪所述已识别被摄体区域时起直到经过了预定时间为止，使所述预定阈值从所述第二阈值起逐级地增加。
7.根据权利要求4所述的图像处理设备，其中，所述设置单元从所述追踪单元变得无法追踪所述已识别被摄体区域时起直到经过了预定时间为止，使所述预定阈值从所述第二阈值起线性地增加。
8.根据权利要求4所述的图像处理设备，其中，所述设置单元从所述追踪单元变得无法追踪所述已识别被摄体区域时起直到经过了预定时间为止，使所述预定阈值从所述第二阈值起非线性地增加。
9.根据权利要求1所述的图像处理设备，其中，
在所述追踪单元追踪到所述已识别被摄体区域的情况下，所述识别单元按预定定时计算所述相似度，以及
所述设置单元将按所述预定定时计算出的相似度中的在最后定时计算出的相似度的值设置为所述第二阈值。
10.根据权利要求9所述的图像处理设备，其中，
所述检测单元判断与所检测到的被摄体区域有关的大小信息和角度信息至少之一是否改变，以及
所述预定定时是所述检测单元判断为与所检测到的被摄体区域有关的大小信息和角度信息至少之一发生改变的定时。
11.根据权利要求1所述的图像处理设备，其中，
在所述追踪单元追踪到所述已识别被摄体区域的情况下，所述识别单元按预定定时计算所述相似度，以及
所述设置单元将按所述预定定时计算出的相似度中的最低相似度的值设置为所述第二阈值。
12.根据权利要求1所述的图像处理设备，其中，
在所述追踪单元追踪到所述已识别被摄体区域的情况下，所述识别单元按预定定时计算所述相似度，
所述检测单元检测与所检测到的被摄体区域有关的大小信息和角度信息至少之一，以及
所述设置单元存储用于将按所述预定定时计算出的相似度同与所检测到的被摄体区域有关的大小信息和角度信息至少之一相关联地进行存储的表，并且所述设置单元基于与所检测到的被摄体区域有关的大小信息和角度信息至少之一，来将从所述表所读取的相似度的值设置为所述第二阈值。
13.根据权利要求12所述的图像处理设备，其中，所述设置单元按所述预定定时，使用最新的相似度以及大小信息和角度信息来更新所述表。
14.根据权利要求1所述的图像处理设备，其中，
在所述追踪单元没有追踪到所述已识别被摄体区域、并且所述设置单元存储了与所述已识别被摄体区域有关的识别信息的情况下，
所述设置单元针对在进行操作检测单元所检测到的平摇操作和倾斜操作至少之一的方向上所检测到的被摄体区域，设置所述第二阈值，以及
所述设置单元针对在与该方向相反的方向上所检测到的被摄体区域，设置比所述第二阈值大的阈值。
15.根据权利要求1所述的图像处理设备，其中，
在所述追踪单元没有追踪到所述已识别被摄体区域、所述设置单元存储了与所述已识别被摄体区域有关的识别信息、并且在广角方向上进行变焦的情况下，
所述设置单元针对在所述视频信号的图像的外周区域中所检测到的被摄体区域，设置所述第二阈值，以及
所述设置单元针对在所述视频信号的图像的中央区域中所检测到的被摄体区域，设置比所述第二阈值大的阈值。
16.根据权利要求1所述的图像处理设备，其中，
在所述追踪单元没有追踪到所述已识别被摄体区域、所述设置单元存储了与所述已识别被摄体区域有关的信息、并且在远摄方向上进行变焦的情况下，
所述设置单元针对在所述视频信号的图像的中央区域中所检测到的被摄体区域，设置所述第二阈值，以及
所述设置单元针对在所述视频信号的图像的外周区域中所检测到的被摄体区域，设置比所述第二阈值大的阈值。
17.根据权利要求1所述的图像处理设备，其中，
在所述追踪单元没有追踪到所述已识别被摄体区域、并且所述设置单元存储了与所述已识别被摄体区域有关的识别信息的情况下，
所述设置单元针对在所述视频信号在画面内的无法追踪所述已识别被摄体区域的位置中所检测到的被摄体区域，设置所述第二阈值，以及
所述设置单元针对在另一位置中检测到的被摄体区域，根据相对于无法追踪所述已识别被摄体区域的位置的距离来设置比所述第二阈值大的阈值。
18.根据权利要求1所述的图像处理设备，其中，所述检测单元从所述视频信号中检测人物的面部区域作为所述预定被摄体区域。
19.一种图像处理方法，包括以下步骤：
从视频信号中检测预定的被摄体区域；
设置步骤，用于设置预定阈值；
基于从所述被摄体区域中所提取的特征信息和所登记的特征信息之间的相似度与所述预定阈值的比较，来对所述被摄体区域进行识别处理；
追踪步骤，用于追踪已识别被摄体区域；以及
存储与所述追踪步骤中所追踪的所述已识别被摄体区域有关的信息，
其中，在没有追踪到所述已识别被摄体区域、并且没有存储与第一被摄体有关的识别信息的情况下，所述设置步骤将第一阈值设置为用于所述第一被摄体的所述预定阈值，以及
在没有追踪到所述已识别被摄体区域、并且存储了与所述第一被摄体有关的识别信息的情况下，所述设置步骤将比所述第一阈值低的第二阈值设置为用于所述第一被摄体的所述预定阈值。
CN201810053654.9A 2017-01-19 2018-01-19 图像处理设备和图像处理方法 Active CN108337429B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-007529 2017-01-19
JP2017007529A JP6768537B2 (ja) 2017-01-19 2017-01-19 画像処理装置、画像処理方法、プログラム

Publications (2)

Publication Number Publication Date
CN108337429A true CN108337429A (zh) 2018-07-27
CN108337429B CN108337429B (zh) 2020-11-03

Family

ID=62716468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810053654.9A Active CN108337429B (zh) 2017-01-19 2018-01-19 图像处理设备和图像处理方法

Country Status (4)

Country Link
US (1) US10579864B2 (zh)
JP (1) JP6768537B2 (zh)
CN (1) CN108337429B (zh)
DE (1) DE102018101034A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112040115A (zh) * 2019-06-03 2020-12-04 佳能株式会社 图像处理设备及其控制方法和存储介质
WO2022205936A1 (zh) * 2021-03-30 2022-10-06 深圳市优必选科技股份有限公司 多目标跟踪方法、装置、电子设备及可读存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7204313B2 (ja) * 2017-03-03 2023-01-16 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
CN110020581B (zh) * 2018-12-03 2020-06-09 阿里巴巴集团控股有限公司 一种基于多帧脸部图像的比对方法、装置和电子设备
JP6733765B1 (ja) * 2019-03-27 2020-08-05 日本電気株式会社 処理装置、処理方法及びプログラム
US11688199B2 (en) 2019-11-13 2023-06-27 Samsung Electronics Co., Ltd. Method and apparatus for face detection using adaptive threshold
CN111242939B (zh) * 2020-01-17 2023-09-19 广东驰行电力设备有限公司 压板状态的识别方法
WO2022201810A1 (ja) * 2021-03-24 2022-09-29 富士フイルム株式会社 制御装置、制御方法、及びプログラム
CN113438420A (zh) * 2021-06-29 2021-09-24 维沃软件技术有限公司 图像处理方法、装置、电子设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050073721A1 (en) * 2003-10-06 2005-04-07 Canon Kabushiki Kaisha Form recognizing apparatus, form recognizing method, program and storage medium
CN101339608A (zh) * 2008-08-15 2009-01-07 北京中星微电子有限公司 一种基于检测的目标跟踪方法及系统
CN102103754A (zh) * 2009-12-21 2011-06-22 佳能株式会社 被摄体跟踪设备、被摄体区域提取设备及其控制方法
CN102496009A (zh) * 2011-12-09 2012-06-13 北京汉邦高科数字技术股份有限公司 智能银行视频监控中的多人脸跟踪方法
CN102622604A (zh) * 2012-02-14 2012-08-01 西安电子科技大学 一种基于可变形部件加权的多角度人脸检测方法
CN102663777A (zh) * 2012-04-26 2012-09-12 安科智慧城市技术（中国）有限公司 基于多视点视频的目标跟踪方法及系统
CN102857693A (zh) * 2011-06-30 2013-01-02 佳能株式会社 图像处理设备及其控制方法和存储介质
CN103209303A (zh) * 2012-01-16 2013-07-17 株式会社东芝 相机设备、通信系统和相机系统
CN103547024A (zh) * 2012-07-09 2014-01-29 松下电器产业株式会社 照明系统和感测装置
CN103679125A (zh) * 2012-09-24 2014-03-26 致伸科技股份有限公司 人脸追踪的方法
CN203552273U (zh) * 2013-08-26 2014-04-16 昆明学院 一种多视角取像人脸识别装置
CN104123562A (zh) * 2014-07-10 2014-10-29 华东师范大学 一种基于双目视觉的人体面部表情识别方法及其装置
CN105447474A (zh) * 2015-12-15 2016-03-30 3M创新有限公司 人像识别方法和人像识别装置
CN105825524A (zh) * 2016-03-10 2016-08-03 浙江生辉照明有限公司 目标跟踪方法和装置
US9424461B1 (en) * 2013-06-27 2016-08-23 Amazon Technologies, Inc. Object recognition for three-dimensional bodies

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4969291B2 (ja) * 2007-03-30 2012-07-04 セコム株式会社 移動物体追跡装置
WO2010143229A1 (ja) * 2009-06-11 2010-12-16 株式会社 東芝 画像処理装置、方法及びプログラム
JP2011159030A (ja) * 2010-01-29 2011-08-18 Canon Inc 被写体認証装置、被写体認証方法及びプログラム
US8705813B2 (en) * 2010-06-21 2014-04-22 Canon Kabushiki Kaisha Identification device, identification method, and storage medium
JP5766096B2 (ja) 2011-11-09 2015-08-19 セコム株式会社 顔画像認証装置
JP2014036429A (ja) * 2012-08-10 2014-02-24 Nikon Corp 被写体追尾装置、およびカメラ
JP2015104016A (ja) * 2013-11-26 2015-06-04 キヤノン株式会社 被写体検出装置、撮像装置、被写体検出装置の制御方法、被写体検出装置の制御プログラムおよび記憶媒体
US9734587B2 (en) * 2015-09-30 2017-08-15 Apple Inc. Long term object tracker
US10163212B2 (en) * 2016-08-19 2018-12-25 Sony Corporation Video processing system and method for deformation insensitive tracking of objects in a sequence of image frames

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050073721A1 (en) * 2003-10-06 2005-04-07 Canon Kabushiki Kaisha Form recognizing apparatus, form recognizing method, program and storage medium
CN101339608A (zh) * 2008-08-15 2009-01-07 北京中星微电子有限公司 一种基于检测的目标跟踪方法及系统
CN102103754A (zh) * 2009-12-21 2011-06-22 佳能株式会社 被摄体跟踪设备、被摄体区域提取设备及其控制方法
CN102857693A (zh) * 2011-06-30 2013-01-02 佳能株式会社 图像处理设备及其控制方法和存储介质
CN102496009A (zh) * 2011-12-09 2012-06-13 北京汉邦高科数字技术股份有限公司 智能银行视频监控中的多人脸跟踪方法
CN103209303A (zh) * 2012-01-16 2013-07-17 株式会社东芝 相机设备、通信系统和相机系统
CN102622604A (zh) * 2012-02-14 2012-08-01 西安电子科技大学 一种基于可变形部件加权的多角度人脸检测方法
CN102663777A (zh) * 2012-04-26 2012-09-12 安科智慧城市技术（中国）有限公司 基于多视点视频的目标跟踪方法及系统
CN103547024A (zh) * 2012-07-09 2014-01-29 松下电器产业株式会社 照明系统和感测装置
CN103679125A (zh) * 2012-09-24 2014-03-26 致伸科技股份有限公司 人脸追踪的方法
US9424461B1 (en) * 2013-06-27 2016-08-23 Amazon Technologies, Inc. Object recognition for three-dimensional bodies
CN203552273U (zh) * 2013-08-26 2014-04-16 昆明学院 一种多视角取像人脸识别装置
CN104123562A (zh) * 2014-07-10 2014-10-29 华东师范大学 一种基于双目视觉的人体面部表情识别方法及其装置
CN105447474A (zh) * 2015-12-15 2016-03-30 3M创新有限公司 人像识别方法和人像识别装置
CN105825524A (zh) * 2016-03-10 2016-08-03 浙江生辉照明有限公司 目标跟踪方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112040115A (zh) * 2019-06-03 2020-12-04 佳能株式会社 图像处理设备及其控制方法和存储介质
CN112040115B (zh) * 2019-06-03 2024-02-20 佳能株式会社 图像处理设备及其控制方法和存储介质
WO2022205936A1 (zh) * 2021-03-30 2022-10-06 深圳市优必选科技股份有限公司 多目标跟踪方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
JP2018117280A (ja) 2018-07-26
US20180204053A1 (en) 2018-07-19
DE102018101034A1 (de) 2018-07-19
US10579864B2 (en) 2020-03-03
JP6768537B2 (ja) 2020-10-14
CN108337429B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN108337429A (zh) 图像处理设备和图像处理方法
CN105611230B (zh) 图像处理装置及图像处理方法
US8180106B2 (en) Image capturing apparatus and image capturing method
KR101280920B1 (ko) 화상인식장치 및 방법
US8254691B2 (en) Facial expression recognition apparatus and method, and image capturing apparatus
US8314854B2 (en) Apparatus and method for image recognition of facial areas in photographic images from a digital camera
CN1905629B (zh) 摄像装置和摄像方法
US20060115157A1 (en) Image processing device, image device, image processing method
US9823331B2 (en) Object detecting apparatus, image capturing apparatus, method for controlling object detecting apparatus, and storage medium
JP2005227957A (ja) 最適顔画像記録装置及び最適顔画像記録方法
JP5127531B2 (ja) 画像監視装置
JP2003178306A (ja) 個人認証装置および個人認証方法
CN102111535B (zh) 提高人脸辨识率的方法
JP2005258860A (ja) 複数認証方法及びその装置
JPWO2020079741A1 (ja) 虹彩認証装置、虹彩認証方法、虹彩認証プログラムおよび記録媒体
CN109474785A (zh) 电子装置和电子装置的焦点追踪拍照方法
JP5971712B2 (ja) 監視装置及び方法
JP2013101551A (ja) 顔画像認証装置
JP4996568B2 (ja) 撮像装置および撮像装置の制御方法
JP2008089811A (ja) 撮像装置及びその制御方法
KR101635602B1 (ko) 홍채 인식 방법 및 장치
JP4471607B2 (ja) 眼の追跡装置、眼の状態判定装置及びコンピュータプログラム
CN110287841B (zh) 图像传输方法及装置、图像传输系统、存储介质
US11126852B2 (en) Method for training a person recognition model using images from a camera, and method for recognizing persons from a trained person recognition model by means of a second camera in a camera network
JP2002373340A (ja) 動作特徴抽出法および動作認識装置ならびに動作認識プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant