CN102054165A - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN102054165A
CN102054165A CN2010105232312A CN201010523231A CN102054165A CN 102054165 A CN102054165 A CN 102054165A CN 2010105232312 A CN2010105232312 A CN 2010105232312A CN 201010523231 A CN201010523231 A CN 201010523231A CN 102054165 A CN102054165 A CN 102054165A
Authority
CN
China
Prior art keywords
characteristic quantity
image
image processing
unit
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010105232312A
Other languages
English (en)
Inventor
伊藤嘉则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102054165A publication Critical patent/CN102054165A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

本发明提供图像处理装置及图像处理方法。一种图像处理装置，该图像处理装置包括：第一检测单元，从被摄体图像中检测第一物体；第一提取单元，提取用于识别所述第一物体的属性的第一特征量；第二提取单元，提取用于检测所述第二物体的第二特征量；第一存储单元，存储所述第一特征量；以及第二存储单元，存储所述第二特征量，其中，当所述第一检测单元检测出所述第一物体时，所述第一提取单元提取所述第一特征量，并且，所述第一存储单元存储该量，并且当所述第一检测单元不能检测出所述第一物体时，所述第二提取单元提取所述第二特征量，并且，所述第二存储单元存储该量。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及用于在图像中检测预定物体并识别(identify)其属性的图像处理装置及图像处理方法。
背景技术
面部检测技术在图像中检测人的面部，并指定其位置及大小(例如，参见P.Viola and M.Jones，″Rapid Object Detection using a Boosted Cascade of Simple Features″，Proc.IEEE Conf.on Computer Vision and Pattern Recognition，Vol.1，pp.511-518，December 2001)。这类技术被广泛应用于诸如数码相机等的图像拍摄装置，以及进行照片打印的打印机等。这类技术被用于例如确定经历AE(自动曝光)/AF(自动聚焦)控制或美肤处理的优先目标。
基于面部图像的个人辨识(recognition)技术确定检测出了谁的面部(例如，参见A.B.Ashraf，S.Lucey，and T.Chen，″Learning Patch Correspondences for Improved Viewpoint Invariant Face Recognition″，Carnegie Mellon University，IEEE International Conference on Computer Vision and Pattern Recognition(CVPR)，June 2008)。随着精确度的逐渐提高，该技术正被引入到诸如数据码相机等的产品中。此外，识别诸如人是否微笑或睁眼等的表情、以及诸如面部朝向等的面部属性的技术正在开发中，并且被用于拍照时机的确定等。
除了这些与人的面部有关的被摄体检测/辨识功能之外，对于将用户期望的任意物体指定为目标被摄体的功能(用户登记物体检测功能)，也已出现了需求。例如，Panasonic(松下)数码相机Lumix DMC FX-550TM除了面部检测及个人辨识功能之外，还利用了运动物体跟踪功能，来满足上述需求(参见Panasonic数码相机DMC FX-550TM使用说明书)。运动物体跟踪功能跟踪在触摸屏上指定的被摄体，并将其设置为AE/AF目标。另一机型的Panasonic数码相机可以让用户不必使用触摸屏，而是通过在预定框内捕捉自己选择的物体，并半按下快门按钮，来指定该物体并跟踪它。例如，带有相机功能的Sharp(夏普)手机SH-06ATM也具备类似的被摄体跟踪功能。作为在触摸屏上轻松指定用户期望的被摄体的方法，例如有在日本专利特开2006-101186号公报中公开的技术。
作为登记用户期望的物体、并从输入图像中检测该物体的已知方法，例如，将包含该物体的预定大小的图像登记作为模板。然后，使用在B.Lucas and T.Kanade，″An iterative image registration technique with an application to stereo vision″，Proceedings of Imaging understanding workshop，pp.121-130中描述的方法，快速检测各随后的图像拍摄框内的相应位置。可以提取在N.Dalal and B.Triggs，″Histograms of oriented gradients for human detection″，CVPR，2005中描述的称为“HoG”的特征量，并将其设置作为登记数据。在这种情况下，在检测处理中，使用大小等于登记的被摄体图像的子窗口来扫描输入图像，并且从针对各子窗口裁出的图像中，来提取与登记数据相同的HoG特征。然后，使用诸如SVM(支持向量机，Support Vector Machine)等的鉴别器，来确定提取出的特征与登记数据的匹配/不匹配。如果出现匹配，则意味着在子窗口位置存在登记物体。另外，使用如P.Viola and M.Jones，″Rapid Object Detection using a Boosted Cascade of Simple Features″，Proc.IEEE Conf.on Computer Vision and Pattern Recognition，Vol.1，pp.511-518，December 2001所述的方法，通过将被用户指定为检测目标的多个被摄体图像确定为正数据，并且通过将能够预先保持的背景数据确定为负数据，可以在设备内学习检测参数。
当使用前述的个人身份验证功能时，用户需要将用户选择的个人的被摄体图像(例如，面部图像)预先登记在装置中。另外当使用用户登记物体检测功能时，用户需要选择并登记自己期望的被摄体图像。也就是说，当使用这些功能时，用户需要登记选择的被摄体图像。
然而，该登记操作在传统上因使用的功能而异。例如，当用户使用上述数码相机的个人辨识功能时，用户首先从拍照菜单上选择“个人身份验证”。此外，用户选择“登记”，并依照显示在LCD中心的向导，来对要登记的人的面部进行摄影。然后，用户输入诸如姓名等的名称代码，从而完成登记。作为另选方案，当用户在将“自动登记”设置为“开”的同时、摄取人的面部的几张图片时，有画面自动出现，提示用户登记摄影频率高的人的面部。之后，用户可以通过相同的过程来登记人的面部。在登记后的拍照中，检测登记个人的面部图像(例如，与登记个人的面部接近的面部)并优先经历AE/AF。当使用该相机的运动物体跟踪功能时，用户通过使用触摸屏指定显示在LCD上的被摄体，来登记被摄体。随着被摄体的移动一起，连续地执行AE/AF。请注意，用户仅能够排他性地使用运动物体跟踪功能和个人身份验证功能中的任意一者。
由于这一原因，当传统装置包括需要登记操作来指定优先被摄体的、多种类型的物体检测/辨识功能时，用户需要选择并执行因功能而异的登记操作，从而给自己带来不小的负担。
发明内容
为了解决上述问题，本发明在具有多种类型的物体检测/辨识功能的图像处理装置中，提供了通用的被摄体登记操作方法，从而提高了可用性。
依照本发明的第一个方面，提供了一种图像处理装置，该图像处理装置包括：指定单元，其适合于指定待登记的被摄体图像；第一检测单元，其适合于从所指定的被摄体图像中检测第一物体；第一提取单元，其适合于提取用于识别所述第一物体的属性的第一特征量；第二提取单元，其适合于提取用于检测所述第二物体的第二特征量；第一存储单元，其适合于存储所述第一特征量；以及第二存储单元，其适合于存储所述第二特征量，其中，当所述第一检测单元检测出所述第一物体时，所述第一提取单元从所述被摄体图像中提取所述第一特征量，并且，所述第一存储单元存储所提取出的第一特征量，并且当所述第一检测单元不能检测出所述第一物体时，所述第二提取单元从所述被摄体图像中提取所述第二特征量，并且，所述第二存储单元存储所提取出的第二特征量。
根据本发明的第二个方面，提供了一种图像处理方法，该图像处理方法包括：指定步骤，指定待登记的被摄体图像；第一检测步骤，从所指定的被摄体图像中检测第一物体；第一提取步骤，当在所述第一检测步骤中检测出所述第一物体时，从所述被摄体图像中提取用于识别所述第一物体的属性的第一特征量；第二提取步骤，当在所述第一检测步骤中不能检测出所述第一物体时，从所述被摄体图像中提取用于检测所述第二物体的第二特征量；第一存储步骤，当在所述第一提取步骤中提取出所述第一特征量时，将所述第一特征量存储在第一存储单元中；以及第二存储步骤，当在所述第二提取步骤中提取出所述第二特征量时，将所述第二特征量存储在第二存储单元中。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是例示根据本发明的图像处理装置的结构的框图；
图2是示出根据第一实施例的图像处理装置执行的被摄体图像登记处理中的操作的流程图；
图3A及3B是示出根据第二实施例的图像处理装置执行的被摄体图像登记处理中的操作的流程图；
图4A及4B是例示在登记处理中显示消息来提示用户输入名称代码的画面的图；
图5是示出用于指定待登记的被摄体图像的用户接口的示例的图；
图6是示出用于指定待登记的被摄体图像的用户接口的另一示例的图；
图7A及7B是示出在对输入图像的检测/辨识处理中的操作的流程图；
图8A是用于说明在检测/辨识处理中的子窗口的扫描的图；以及
图8B是例示显示根据第一实施例的图像处理装置的检测/辨识处理结果的图像的图。
具体实施方式
(第一实施例)
<图像处理装置的结构图>
下面，将参照图1，来说明示出与根据本发明的图像处理装置的图像辨识处理单元有关的结构的框图。用户接口101由诸如显示器的显示设备以及包括键及触摸屏的输入设备构成。用户接口101在CPU(未示出)的控制下向用户显示图像及消息。另外，用户接口101依据使用情形来接受来自用户的指令。在本实施例中，用户接口101甚至用作指定待登记的物体图像的待登记被摄体图像指定单元。用户可以指定并登记自己选择的物体图像。
图像输入单元102将经历了检测/辨识处理的图像输入至装置。图像输入单元102包括图像拍摄相机设备(未示出)。图像输入单元102通过诸如CCD等的图像传感器，将光学图像转换为数字电信号，并且将信号输入到装置中。图像输入单元102通过将输入图像裁剪为预定大小或者将输入图像缩放到预定大小，来生成图像，并且将预定大小的图像数据发送到各处理单元。
用作第一检测单元的面部检测处理单元103，确定从图像输入单元102发送的裁出的图像是否代表人的面部(第一物体)。该面部检测处理算法可以采用P.Viola and M.Jones，″Rapid Object Detection using a Boosted Cascade of Simple Features″，Proc.IEEE Conf.on Computer Vision and Pattern Recognition，Vol.1，pp.511-518，December 2001中所述的技术。面部检测参数存储单元104存储用于面部检测处理单元103中的检测的参数。面部检测参数存储单元104存储通过机械地学习许多样本图像及背景图像而生成的参数，其中，所述样本图像及背景图像是由图像处理装置外部的通用计算机预先准备的。
当面部检测处理单元103确定裁出的图像代表人的面部(第一物体)时，个人辨识处理单元105对面部图像执行个人辨识处理。个人特征数据存储单元106是由RAM等构成的物体特征存储器。个人辨识处理单元105检查存储在用作第一存储单元的个人特征数据存储单元106中的个人特征数据(第一特征量)，是否与从面部图像中提取出的特征数据相匹配。然后，个人辨识处理单元105确定该人是登记过的还是未登记过的。如果该人是登记个人，则识别该人的属性。属性的示例有个人ID(例如，姓名)。基于例如眼睛宽度及面部大小，来对输入至个人辨识处理单元105的图像进行标准化。个人辨识处理单元105通过使用例如A.B.Ashraf，S.Lucey，and T.Chen，″Learning Patch Correspondences for Improved Viewpoint Invariant Face Recognition″，Carnegie Mellon University，IEEE International Conference on Computer Vision and Pattern Recognition(CVPR)，June 2008中所述的方法，来确定该人是否与已经登记的个人相匹配。这里使用的个人特征数据(第一特征量)，是在面部图像登记处理(稍后描述)中、通过由用作第一提取单元的面部图像登记处理单元109提取特征而获得的数据。用作第一识别单元的个人辨识处理单元105对输入的裁出的图像，执行相同的特征提取处理，并且计算与存储在个人特征数据存储单元106中的登记的特征数据(第一特征数据)的相似度，从而指定个人。
还将从图像输入单元102输入的裁出的图像，发送到用作第二检测单元的用户登记物体检测处理单元107。基于预先登记在用作第二存储单元的登记物体特征数据存储单元108中的特征数据(第二特征量)，用户登记物体检测处理单元107确定裁出的图像是否代表用户指定的物体(第二物体)。登记物体特征数据存储单元108是由RAM等构成的物体特征存储器。
要由用作第二检测单元的用户登记物体检测处理单元107检测的物体(第二物体)，是除了要由面部检测处理单元103检测的人的面部(第一物体)以外的物体。物体的示例有动物(例如，狗)、植物(例如，花)及车辆。存储在登记物体特征数据存储单元108中的登记物体特征数据(第二特征量)，是在登记处理(稍后描述)中、由用作第二提取单元的用户指定物体登记处理单元110从登记的被摄体图像中提取出的、不同于个人特征数据的物体特征数据。登记物体特征数据(第二特征量)可以是例如N.Dalal and B.Triggs，″Histograms of oriented gradients for human detection″，CVPR，2005中所述的HoG特征量。
在这种情况下，在检测处理中，用户登记物体检测处理单元107从输入图像的子窗口内的裁出的图像中，提取特征量(第二特征量)，并通过将提取出的特征量与已经登记的量进行比较，来确定匹配/不匹配。例如，对输入特征量及登记的量进行向量化，并计算它们的相关性作为相似度。作为另选方案，基于直方图的交集(intersection)来计算相似度。然后基于计算出的相似度，来确定匹配/不匹配。可以使用已经进行过学习的诸如SVM(支持向量机，Support Vector Machine)等的鉴别器。也可以使用预定大小的裁出的图像直接作为登记物体特征数据(模板)，并且使用B.Lucas and T.Kanade，″An iterative image registration technique with an application to stereo vision″，Proceedings of Imaging understanding workshop，pp.121-130中所述的方法，来由较大的输入图像计算相应位置。
在第一实施例中，为方便描述，令输入至各个检测/辨识处理单元的裁出的图像大小相等。虽然未详细描述，但图像输入单元102是在将单个输入图像缩放为多种大小(生成金字塔式图像)之后执行检测/辨识处理的。这使得甚至可以检测和识别大于或小于原始输入图像中的裁出的大小的目标物体。可以使用相同的检测/识别参数，来执行与具有各种大小的目标物体相对应的检测/辨识处理。
<登记处理序列>
下面，将参照图2，来描述根据第一实施例的登记处理序列。当在被摄体图像登记模式下开始处理时，在步骤S201中，提示用户指定自己选择的被摄体图像。图5例示了待登记被摄体图像指定方法。画面501是图像拍摄装置的、显示用于指定待登记的物体的框的LCD画面。画面上的消息提示用户将待登记的物体捕捉在框内。由于LCD画面显示待拍摄的图像，因此用户将待登记的被摄体放大至被框完全容纳，如画面502及503所示。然后，用户按下快门按钮，从而指定待登记的被摄体图像。
在用户指定待登记的被摄体图像之后，在步骤S202中，图像输入单元102裁出预定大小的被摄体图像，并将该被摄体图像输入至装置。在此时，加载被放大至几乎被框完全容纳的图像(参见图5)，并在必要时将其缩放到预定大小。
在步骤S203中，面部检测处理单元103对待登记的被摄体图像执行面部检测处理。
在步骤S204中，确定是否在被摄体图像中检测出面部。如果检测出面部，则处理进入到步骤S205。如果未检测出面部，则处理进入到步骤S209。
如果检测出面部，则登记面部图像。为此，在步骤S205中，显示画面(输入画面)，以提示用户输入表示个人的名称代码。该输入画面例如类似于图4A中所示。在步骤S206中，用户输入与待登记的面部图像相对应的名称代码(＝姓名或昵称等；在图2中，名称代码是个人ID)。
当在步骤S206中用户输入名称代码之后，在步骤S207中，从面部图像中提取个人识别特征(第一特征量)。面部图像登记处理单元109执行该提取处理，从而提取出适合于识别个人的特征量，如A.B.Ashraf，S.Lucey，and T.Chen，″Learning Patch Correspondences for Improved Viewpoint Invariant Face Recognition″，Carnegie Mellon University，IEEE International Conference on Computer Vision and Pattern Recognition(CVPR)，June 2008所述。在步骤S208中，个人特征数据存储单元106将提取出的特征量存储为个人特征数据(第一特征量)。
如果未检测出面部，则确定待登记的被摄体图像不是人的面部，并且在步骤S209中，进行用于用户登记物体检测处理的特征提取处理。在此时，可以显示消息，以确认是否实际登记被摄体图像，如图4B所示。也可以与人的面部图像的登记类似地提示用户输入目标物体的名称。在步骤S209中提取出的特征量，是例如N.Dalal and B.Triggs，″Histograms of oriented gradients for human detection″，CVPR，2005中所述的HOG(定向梯度直方图，Histograms of Oriented Gradients)量。在步骤S210中，登记物体特征数据存储单元108将被摄体图像存储为登记物体特征数据(第二特征量)。
请注意，使用在登记处理序列的步骤S207中提取出的特征量(第一特征量)，来鉴别作为相似图像的人的面部。相反，在步骤S210中提取出的特征量(第二特征量)适合于鉴别背景和具有各种形状的目标物体。由于识别/检测目标的特性是不同的，因此通常使用不同的特征量，但是用户不需要意识到这一点。
<检测/辨识处理序列>
下面，将参照图7A及7B，来说明示出针对根据第一实施例的图像处理装置中的输入图像的检测/辨识处理序列的流程图。请注意，使用图1中所示的图像处理装置，来针对在图像拍摄中直到用户按下快门按钮为止周期性地拍摄到的预览图像，执行根据第一实施例的检测/辨识处理。基于检测/辨识处理结果，在后续处理中执行控制，以在从图像中检测出优先被摄体时，自动聚焦于或曝光被确定为优先被摄体的物体。同时，将图像中存在检测/识别出的物体的位置、以及辨识出的属性(名称代码)呈现给用户。
在步骤S701中，接收从图像拍摄装置发送的图像。该图像是诸如图8A中的输入图像800等的预定大小(例如，VGA大小)的输入图像。下面，为方便描述，将说明针对单一大小的输入图像的处理序列。然而，在实际中，是对金字塔式图像进行处理，所以可能检测出具有各种大小的目标物体，如上所述。
检测处理的目的是确定图像是否包含目标物体，并且如果包含，则指定位置。对从预定大小的各子窗口中裁出的图像，来执行该处理。图8A中的子窗口801表示子窗口的初始位置。在完成该位置的检测处理时，令子窗口向右移动一个像素(或预定数目的像素)，并且执行检测处理。重复相同的检测处理，并且当子窗口到达右端时，令子窗口向下移动一行(或预定数目的行)，并且进行相同的处理。通过对整个图像执行该处理(扫描)，能够确定在任何子窗口位置是否存在目标物体。在步骤S702中，将子窗口位置重置为初始值。
在步骤S703中，裁出子窗口位置的图像。裁出的图像在步骤S704中经历面部检测处理，并在步骤S710中经历用户登记物体检测处理。
在第一实施例中，对相同大小的子窗口图像进行这两种检测处理，因此两处理可以使用公用子窗口。然而，大小可以改变。在这种情况下，设置多种类型的子窗口，来执行专用的裁出处理。
在第一实施例中，图像处理装置具有图1的框图中所示的结构，并且，通过不同的硬件构成要素，来执行面部检测处理单元103及用户登记物体检测处理单元107。这样，可以并行执行两种检测处理。显而易见的是，可以依照实际的结构及条件，来依次执行这些检测处理。
下面，将说明步骤S704至S709中的面部检测处理序列。在步骤S704中，通过参照面部检测参数存储单元104，来进行面部检测处理。在步骤S704中的面部检测处理完成时，在步骤S705中，确定是否在输入子窗口中检测出面部。如果检测出面部，则处理进入到步骤S706，以存储所处理的子窗口的位置。此外，处理进入到步骤S707，以执行个人辨识处理。在个人辨识处理中，图1中的个人辨识处理单元105将从子窗口中的面部中提取出的特征，与已在上述登记处理中登记、并存储在个人特征数据存储单元106中的个人特征数据(第一特征量)进行对照。当登记了多个个人时，执行多次对照处理。如果在步骤S708中辨识出登记个人，则在步骤S709中，存储其名称代码及所处理的子窗口的位置。然后处理进入到步骤S713。
如果在步骤S705中未检测出面部，则处理直接进入到步骤S713。另外，如果在步骤S708中未辨识出登记个人，则处理进入到步骤S713。
下面，将描述步骤S710至S712中的用户登记物体检测处理序列。在步骤S710中，基于存储在登记物体特征数据存储单元108中的登记物体特征数据(第二特征量)，用户登记物体检测处理单元107执行物体检测处理。当登记了多种物体时，重复物体检测处理，以确定是否包含了任一物体。如果在步骤S711中确定检测出登记物体，则在步骤S712中，将处理期间的子窗口位置连同检测出的物体信息一起存储。之后，处理进入到步骤S713。在面部检测处理、面部辨识处理(个人辨识处理)及物体检测处理完成时，在步骤S713中，子窗口位置移动到下一位置，如上所述(参见图8A及8B)。如果该位置是最后的位置，即越过了输入图像的右下位置，则完成扫描，并且处理进入到步骤S715。如果未完成扫描，则处理返回到步骤S703，以针对下一子窗口执行检测/辨识处理。
在步骤S715中，对通过扫描检测出的面部、个人及登记物体的位置信息进行合并。在该处理中，例如，当存在在仅仅几个像素的范围之内、彼此接近的同种物体时，将它们合并为一个物体。当几乎在同一位置检测出面部和登记物体时，依照预定的优先级或检测的可靠性，仅保留任一结果。当通过个人辨识在一个图像中的多个部分辨识出同一个人时，保留可靠性高的人的图像，并且将其余图像视为未登记的人。即使当进行专门针对大小的或专门针对角度的检测时，也在该步骤中对结果进行合并。
在步骤S716中，对在图像中检测出的多个被摄体进行优先顺序排列，并且向执行自动聚焦及自动曝光等的其他处理单元，通知优先被摄体的位置信息。例如，对于面部而言，为辨识出的登记的人，设置比未登记的人高的优先级。向登记的人分配预先设置的优先等级，或者为大小较大的面部设置更高的优先级。如果仅检测出未登记的人或者除面部以外的物体，则基于大小或者与中心的距离，来确定优先级。用户也可以预先指定优先级。
最后，在步骤S717中，LCD画面上的框表示检测出的目标物体的位置。当目标物体是面部并且辨识出个人时，在面部位置显示个人ID。图8B例示了显示输入图像800的检测处理结果的画面。框851至853表示检测出面部的位置。在框853中，检测出这样的面部，其大小是小的，并且其大小不同于在框851或852中检测出的面部。在框852中，检测出的面部是登记个人(ID是“A先生”)的面部。在框854中，检测出被登记为用户登记物体的“猫”。
如上所述，根据第一实施例，用户不需要注意第一特征量的登记处理与第二特征量的登记处理的不同之处，其中，所述第一特征量是用于识别个人的特征数据，所述第二特征量是用于检测用户期望的物体的特征数据。用户只须使用公用的登记操作界面，来指定待登记的物体。随后，用户可以依照装置的向导，来轻松地完成操作。
(第二实施例)
第一实施例中描述了这样的方法，即针对被指定待登记的被摄体图像，自动选择个人识别登记处理或用户登记物体检测登记处理。除此之外，第二实施例还执行这样的处理，即确定被指定待登记的被摄体图像是否与已经登记的特征数据相匹配。请注意，根据第二实施例的图像拍摄装置的图像处理单元，具有与图1的框图中相同的结构。
下面，将参照图3A及3B，来描述根据第二实施例的登记处理序列。在图3A及3B中所示的流程图中，步骤S301至S310中的处理与图2的步骤S201至S210中的相同，并且，这里将不再重复其详细描述。
在第二实施例中，如果在步骤S304中确定待登记的被摄体图像是面部，则处理进入到步骤S311，以执行个人辨识处理。该个人辨识处理与在第一实施例中的检测/辨识处理序列中所述的处理相同，并且由个人辨识处理单元105来执行。更具体地说，个人辨识处理单元105将已经在个人特征数据存储单元106中登记的个人特征数据(第一特征量)，与从待登记的被摄体图像的面部中提取出的特征数据进行对照。
如果在步骤S312中，确定待登记的被摄体图像的面部与已经登记的人相一致，则指定名称代码(个人ID)。在步骤S313中，显示指定的名称代码，并且显示消息，以确认是否将当前待登记的被摄体图像的特征数据，登记作为代码的附加数据。当登记区域的容量或辨识处理速度受到限制时，可以显示确认画面，以确认是否不进行追加登记，而是用当前待登记的被摄体图像的特征数据，来替换已经登记的特征数据(第一特征量)。
在步骤S314中，提示用户回答“是”或“否”。如果在步骤S315中，确定用户回答“追加”(或“替换”)，则处理进入到步骤S307，以提取个人识别特征。
如果在步骤S312中，确定待登记的被摄体图像的面部与已经登记的人不匹配，则与第一实施例类似地执行步骤S305至S308中的处理，以连同名称代码一起新登记个人特征数据。
在第二实施例中，在步骤S311已经提取出个人特征数据。通过存储提取出的个人特征数据，不需要在步骤S307中再次进行相同的处理。因此，可以跳过步骤S307中的处理，以仅在步骤S308中登记个人特征数据。
在第二实施例中，如果在步骤S304中，未从待登记的被摄体图像中检测出面部，则在步骤S316中，执行用户登记物体检测处理。该处理也与根据第一实施例的检测/辨识处理序列中所述的相同。确定待登记的被摄体图像是否是特征数据(第二特征量)已经被登记在登记物体特征数据存储单元108中的物体。
如果在步骤S317中，确定指定物体是登记的人，则处理进入到步骤S318，以显示指定物体已经被登记的消息，并确认是否追加登记指定物体(或者用指定物体来替换登记数据)。在步骤S319中，提示用户输入回答。如果在步骤S320中，确定用户回答“是”，则在步骤S309中，提取用户物体检测特征。与个人辨识特征数据类似地，已经在步骤S316中提取出的物体检测特征数据可以直接使用并在步骤S310中登记。
如上所述，根据第二实施例，用户可以轻松地知道待登记的物体是否已经被登记。第二实施例可以防止不必要的登记对存储区域的浪费消耗或者对处理速度的负面影响。
(第三实施例)
第一实施例描述了这样的方法，即通过将被摄体捕捉在预定框内，来指定待登记的被摄体图像，如图5所示。该方法不需要任何用于登记的特别硬件，并且能够以低成本来实现，但是却需要多少有些繁琐的操作。第三实施例使得可以更加轻松的指定待登记的被摄体。
下面，将参照图6，来说明根据第三实施例的图像处理装置中的待登记被摄体图像指定用户接口。图像拍摄装置600的用户接口包括LCD屏601及多个硬键602。LCD屏601覆盖有触摸屏，并且能够检测用户用手指触碰的坐标点。
当用户操作硬键602将装置改变到登记模式时，触摸屏进入有效状态。用户用手指触碰显示待登记的被摄体的位置，即框603的位置，从而向装置指示待登记的物体。图像拍摄装置600指定用手指在图像上触碰的坐标点，并裁出预定大小的范围作为待登记的被摄体图像。作为另选方案，图像拍摄装置600可以裁出包含被视为与用手指触碰的位置的像素相同的邻接像素的范围，作为待登记的被摄体图像。作为对通过预先操作转变到登记模式的替代，图像拍摄装置可以在图像拍摄期间检测到触摸屏按下时，自动地转变到登记处理模式。在后续登记处理中，执行与在第一及第二实施例中所述的处理相同的处理。
在第三实施例中，在触摸屏上指定被摄体的位置。然而，可以通过使用鼠标或光标键移动指针光标，来指定被摄体的位置。
根据第三实施例，用户可以更加直观地指定待登记的被摄体。不需要将待登记的被摄体捕捉在框的中心，因而，即使当在固定相机中登记被摄体时，或者当显示拍摄的图像并登记被摄体时，也能够登记待登记的被摄体。
(第四实施例)
第一至第三实施例描述了应用于以数码相机为代表的图像拍摄装置的图像处理装置，但是，本发明的应用不仅限于此。例如，本发明还适用于这样的情况，即诸如打印机等的图像形成装置优先对图像数据中包含的特定物体，执行所需图像处理，然后进行打印。在这种情况下，图像输入单元102经由网络等来接收图像，并且执行与前述各实施例相同的处理。图像输入单元102还可以处理存储在存储器或硬盘驱动器等中的图像。
作为人的面部检测处理单元，第一至第三实施例描述了预先在装置外部学习检测参数的检测处理单元，但是，本发明的应用不仅限于此。例如，与图1中的面部检测处理单元103相对应的检测单元，可以是检测人的全身图像的人体检测处理单元，并且，个人辨识处理单元105可以是这样的个人辨识处理单元，即不基于面部特征而基于与其全身相关的特征。由个人辨识处理单元105在辨识处理中确定的属性，并不局限于个体的识别。个人辨识处理单元105可以是其他物体属性辨识处理单元，例如用于鉴别特定表情的属性辨识处理单元，或者用于估计人的年龄的属性辨识处理单元等。与这种情况下的面部图像登记处理单元109相对应的登记处理单元，接收具有诸如特定表情图像或特定年龄等的属性的人的图像，并且提取特征。
与面部检测处理单元103相对应的检测处理单元，可以是针对其他物体例如一般的狗的检测处理单元。与个人辨识处理单元105相对应的辨识处理单元，可以辨识狗是属于特定犬种还是用户的宠物来作为属性。即使在这种情况下，本发明也是适用的。
与面部检测处理单元103相对应的检测处理单元可以不使用预先学习的检测参数，而是使用在装置内学习的检测参数。在这种情况下，检测处理单元可以是用户登记物体检测处理单元107。可以仅针对存储在特定的登记物体特征数据存储单元108中的登记物体特征数据，来进行由后续辨识处理单元执行的个体或属性识别处理。
根据本发明，针对在登记操作中指定的被摄体图像，自动选择适合于在装置中设置的多种类型的物体检测/辨识功能之一的登记处理。用户只须始终执行相同的登记操作，从而提高了可用性。
其他实施例
还可以由读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机(或诸如CPU或MPU等的设备)，来实现本发明的各方面；并且可以利用由通过例如读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机来执行各步骤的方法，来实现本发明的各方面。为此，例如经由网络或从充当存储设备的各种类型的记录介质(例如，计算机可读介质)将程序提供给计算机。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有的这类变型例及等同结构和功能。

Claims (9)

1.一种图像处理装置，该图像处理装置包括：
指定单元，其适合于指定待登记的被摄体图像；
第一检测单元，其适合于从所指定的被摄体图像中检测第一物体；
第一提取单元，其适合于提取用于识别所述第一物体的属性的第一特征量；
第二提取单元，其适合于提取用于检测所述第二物体的第二特征量；
第一存储单元，其适合于存储所述第一特征量；以及
第二存储单元，其适合于存储所述第二特征量，
其中，当所述第一检测单元检测出所述第一物体时，所述第一提取单元从所述被摄体图像中提取所述第一特征量，并且，所述第一存储单元存储所提取出的第一特征量，并且
当所述第一检测单元不能检测出所述第一物体时，所述第二提取单元从所述被摄体图像中提取所述第二特征量，并且，所述第二存储单元存储所提取出的第二特征量。
2.根据权利要求1所述的图像处理装置，其中，所述图像处理装置还包括：第一识别单元，其适合于基于存储在所述第一存储单元中的所述第一特征量，在由所述第一检测单元检测出的输入图像中识别被摄体的属性。
3.根据权利要求1所述的图像处理装置，其中，所述图像处理装置还包括：第二检测单元，其适合于基于存储在所述第二存储单元中的所述第二特征量，在输入图像中检测所述第二被摄体。
4.根据权利要求1所述的图像处理装置，其中，当所述第一检测单元不能在由所述指定单元指定的所述被摄体图像中检测出所述第一物体时，在用户确认将所述第二特征量存储在所述第二存储单元中之后，所述第二存储单元存储所述第二特征量。
5.根据权利要求1所述的图像处理装置，其中，所述图像处理装置还包括：输入单元，其适合于在将所述第一特征量存储在所述第一存储单元中时，使用户输入表示所述第一物体的所述属性的名称。
6.根据权利要求2所述的图像处理装置，其中，当所述第一识别单元识别出由所述指定单元指定的所述被摄体图像的所述属性与存储在所述第一存储单元中的所述第一特征量不匹配时，所述第一存储单元将从所述被摄体图像中提取出的特征量，存储为不同的第一物体的新的第一特征量。
7.根据权利要求2所述的图像处理装置，其中，当所述第一识别单元识别出由所述指定单元指定的所述被摄体图像的所述属性与存储在所述第一存储单元中的所述第一特征量相匹配时，所述第一存储单元询问用户是否要将从所述被摄体图像中提取出的特征量存储为新的第一特征量。
8.根据权利要求1所述的图像处理装置，其中，所述指定单元在待登记的被摄体被捕捉在预定框内的状态下指定所述被摄体图像。
9.一种图像处理方法，该图像处理方法包括：
指定步骤，指定待登记的被摄体图像；
第一检测步骤，从所指定的被摄体图像中检测第一物体；
第一提取步骤，当在所述第一检测步骤中检测出所述第一物体时，从所述被摄体图像中提取用于识别所述第一物体的属性的第一特征量；
第二提取步骤，当通过在所述第一检测步骤中不能检测出所述第一物体时，从所述被摄体图像中提取用于检测所述第二物体的第二特征量；
第一存储步骤，当在所述第一提取步骤中提取出所述第一特征量时，将所述第一特征量存储在第一存储单元中；以及
第二存储步骤，当在所述第二提取步骤中提取出所述第二特征量时，将所述第二特征量存储在第二存储单元中。
CN2010105232312A 2009-10-27 2010-10-26 图像处理装置及图像处理方法 Pending CN102054165A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009247109A JP5662670B2 (ja) 2009-10-27 2009-10-27 画像処理装置、画像処理方法、及びプログラム
JP2009-247109 2009-10-27

Publications (1)

Publication Number Publication Date
CN102054165A true CN102054165A (zh) 2011-05-11

Family

ID=43898488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105232312A Pending CN102054165A (zh) 2009-10-27 2010-10-26 图像处理装置及图像处理方法

Country Status (3)

Country Link
US (1) US8577098B2 (zh)
JP (1) JP5662670B2 (zh)
CN (1) CN102054165A (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009098894A1 (ja) * 2008-02-06 2009-08-13 Panasonic Corporation 電子カメラおよび画像処理方法
JP5543280B2 (ja) 2010-06-01 2014-07-09 キヤノン株式会社 画像処理装置、画像処理方法
JP5656705B2 (ja) 2010-06-01 2015-01-21 キヤノン株式会社 撮像装置、撮像装置の制御方法
US9389774B2 (en) * 2010-12-01 2016-07-12 Sony Corporation Display processing apparatus for performing image magnification based on face detection
TWI523476B (zh) * 2011-10-19 2016-02-21 致伸科技股份有限公司 帳號建立及認證方法
JP5962974B2 (ja) * 2012-06-04 2016-08-03 カシオ計算機株式会社 撮像装置、撮像方法、及びプログラム
US9076270B2 (en) * 2013-05-14 2015-07-07 Google Inc. Generating compositions
KR102266195B1 (ko) * 2014-06-20 2021-06-17 삼성전자주식회사 객체와 관련된 정보를 제공하는 방법 및 장치
FR3035251A1 (fr) 2015-04-17 2016-10-21 Stmicroelectronics (Grenoble 2) Sas Procede et dispositif de generation d'une representation multi-resolutions d'une image et application a la detection d'objet
JP6649005B2 (ja) * 2015-08-04 2020-02-19 ユニファ株式会社 ロボット撮影システムおよび画像管理方法
WO2020080037A1 (ja) 2018-10-18 2020-04-23 パナソニックＩｐマネジメント株式会社 撮像装置
JP2021175133A (ja) * 2020-04-28 2021-11-01 キヤノン株式会社 焦点調節装置、撮像装置、焦点調節方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040109587A1 (en) * 2002-09-13 2004-06-10 Sony Corporation Image recognition apparatus, image recognition processing method, and image recognition program
CN1983303A (zh) * 2005-12-15 2007-06-20 索尼株式会社 图像处理设备、方法及程序
CN101281595A (zh) * 2007-04-04 2008-10-08 索尼株式会社 用于面部确认的装置和方法、以及计算机程序
CN101369307A (zh) * 2007-08-14 2009-02-18 索尼株式会社 成像装置、成像方法和计算机程序
CN101383000A (zh) * 2007-09-03 2009-03-11 索尼株式会社 信息处理装置，信息处理方法和计算机程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8064650B2 (en) * 2002-07-10 2011-11-22 Hewlett-Packard Development Company, L.P. File management of digital images using the names of people identified in the images
JP4196714B2 (ja) * 2003-04-15 2008-12-17 株式会社ニコン デジタルカメラ
JP2006101186A (ja) 2004-09-29 2006-04-13 Nikon Corp カメラ
JP5056061B2 (ja) * 2007-02-22 2012-10-24 株式会社ニコン 撮像装置
EP1986421A3 (en) * 2007-04-04 2008-12-03 Nikon Corporation Digital camera
EP2139225B1 (en) * 2007-04-23 2015-07-29 Sharp Kabushiki Kaisha Image picking-up device, computer readable recording medium including recorded program for control of the device, and control method
JP5163008B2 (ja) * 2007-08-21 2013-03-13 沖電気工業株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5099488B2 (ja) * 2007-08-31 2012-12-19 カシオ計算機株式会社 撮像装置、顔認識方法およびそのプログラム
JP2009177680A (ja) * 2008-01-28 2009-08-06 Nikon Corp カメラ
JP5319415B2 (ja) * 2009-06-22 2013-10-16 キヤノン株式会社 画像処理装置、画像処理方法
JP2011027847A (ja) * 2009-07-22 2011-02-10 Fujifilm Corp Ａｆ枠自動追尾システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040109587A1 (en) * 2002-09-13 2004-06-10 Sony Corporation Image recognition apparatus, image recognition processing method, and image recognition program
CN1983303A (zh) * 2005-12-15 2007-06-20 索尼株式会社 图像处理设备、方法及程序
CN101281595A (zh) * 2007-04-04 2008-10-08 索尼株式会社 用于面部确认的装置和方法、以及计算机程序
CN101369307A (zh) * 2007-08-14 2009-02-18 索尼株式会社 成像装置、成像方法和计算机程序
CN101383000A (zh) * 2007-09-03 2009-03-11 索尼株式会社 信息处理装置，信息处理方法和计算机程序

Also Published As

Publication number Publication date
US8577098B2 (en) 2013-11-05
JP5662670B2 (ja) 2015-02-04
JP2011095862A (ja) 2011-05-12
US20110096995A1 (en) 2011-04-28

Similar Documents

Publication Publication Date Title
CN102054165A (zh) 图像处理装置及图像处理方法
CN105426857B (zh) 人脸识别模型训练方法和装置
EP2164027B1 (en) Object detecting device, imaging apparatus, object detecting method, and program
CN101339609B (zh) 图像处理装置和图像处理方法
JP4710979B2 (ja) 対象物検出装置、学習装置、対象物検出方法およびプログラム
US20150339516A1 (en) Collation apparatus and method for the same, and image searching apparatus and method for the same
JP5366756B2 (ja) 情報処理装置及び情報処理方法
EP2336949B1 (en) Apparatus and method for registering plurality of facial images for face recognition
EP2639740A2 (en) Registration determination device, control method and control program therefor, and electronic apparatus
CN112364827B (zh) 人脸识别方法、装置、计算机设备和存储介质
CN106548145A (zh) 图像识别方法及装置
JP5361524B2 (ja) パターン認識システム及びパターン認識方法
JP4710978B2 (ja) 対象物検出装置、撮像装置、対象物検出方法およびプログラム
US9047504B1 (en) Combined cues for face detection in computing devices
JP2009059257A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
CN111626371A (zh) 一种图像分类方法、装置、设备及可读存储介质
CN103179335A (zh) 对象跟踪装置
US20200258236A1 (en) Person segmentations for background replacements
US8311271B2 (en) Image processing apparatus and image processing method
CN110363111B (zh) 基于镜头失真原理的人脸活体检测方法、装置及存储介质
JP2013218605A (ja) 画像認識装置、画像認識方法及びプログラム
CN112766065A (zh) 一种移动端考生身份认证方法、装置、终端及存储介质
CN112655021A (zh) 图像处理方法、装置、电子设备和存储介质
CN114140839B (zh) 用于人脸识别的图像发送方法、装置、设备及存储介质
JPWO2019244277A1 (ja) 検索システム、検索方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110511