CN106462980A - 同一人物判定装置、其方法及其控制程序 - Google Patents

同一人物判定装置、其方法及其控制程序 Download PDF

Info

Publication number
CN106462980A
CN106462980A CN201580027210.2A CN201580027210A CN106462980A CN 106462980 A CN106462980 A CN 106462980A CN 201580027210 A CN201580027210 A CN 201580027210A CN 106462980 A CN106462980 A CN 106462980A
Authority
CN
China
Prior art keywords
face
mentioned
characteristic quantity
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580027210.2A
Other languages
English (en)
Other versions
CN106462980B (zh
Inventor
胡学斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN106462980A publication Critical patent/CN106462980A/zh
Application granted granted Critical
Publication of CN106462980B publication Critical patent/CN106462980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种即使是彼此类似的脸部也能够判定是否为同一人物的同一人物判定装置、同一人物判定方法及同一人物判定装置的计算机的控制程序。判定是否存在多个如一图像的一脸部的特征量和其他图像的一脸部的特征量近似即步骤28中判定为是、且一图像的一脸部的特征量和其他图像的一脸部以外的所有其他脸部的特征量不近似即步骤29中判定为是的近似‑非近似的关系即步骤31。当存在多个这种近似‑非近似的关系时，判定一图像的一脸部和其他图像的一脸部为同一人物。

Description

同一人物判定装置、其方法及其控制程序
技术领域
本发明涉及一种同一人物判定装置、其方法及其控制程序。
背景技术
随着数码相机、智能手机的普及，照相变得轻松，相当多的图像可保存在存储卡及个人计算机中。当以较多的图像制作相册等时，为了找到主要人物，需要对每个人物分成组。因此，有多个脸部的识别(专利文献1)、同一人物组的形成(专利文献2、3、4、5)、人物对照(专利文献6)及类推人际关系等技术(专利文献7)。
以往技术文献
专利文献
专利文献1：USP8379939
专利文献2：日本特开2006-343791
专利文献3：日本特开2007-102549
专利文献4：日本特开2010-211785
专利文献5：日本特开2012-64082
专利文献6：日本特开2011-34133
专利文献7：日本特开2009-59042
发明的概要
发明要解决的技术课题
当从含有多个人物像的多个图像中对主要人物进行分类时，通常通过脸部检测、认证技术来进行识别分类，但多个图像中存在主要人物以外的其他人(其他人的脸部)，并且因各种的脸部朝向、表情及照明条件等，存在对人物的分类不利的情况。因此，通常高精度的主要人物的识别并不容易。在自动抽取人物的情况下，连主要人物的预登录也不能实现。
专利文献1中所记载的技术为了从多个图像中识别多个脸部，作为脸部彼此的类似性的尺度计算距离，并根据其距离对脸部进行识别，但如父母和子女、兄弟及亲戚等脸部相似的情况下，由于其距离比较相近，因此有时无法对脸部进行区别。专利文献2中所记载的技术是找出从时间上不同的帧上进行检测的与脸部区域对应的区域而形成同一人物组的技术，因此需要动态图像。专利文献3中所记载的技术是对每一脸部特征量进行排序的技术，对彼此类似的脸部的区别比较困难。专利文献4中所记载的技术按照类似性对多个脸部区域进行组化，但对彼此类似的脸部的区别比较困难。专利文献5中所记载的技术存储每一表情的脸部特征量并通过与所检测到的脸部特征量进行比较而对人物进行识别，但对类似的脸部的识别比较困难。专利文献6中所记载的技术作为标识符信息附加兄弟、亲戚的ID并求出兄弟、亲戚等图像的类似度来进行对照，但为此需要预先在数据库进行登录。专利文献7中所记载的技术利用一起拍摄的人物来推断人物是谁，但不能断言其精度高。
本发明的目的在于即使是如父母和子女、兄弟、亲戚等彼此类似的脸部也能够判定是否为同一人物。
用于解决技术课题的手段
基于本发明的同一人物判定装置具备：第1特征量计算机构，其从含有多个脸部的一图像中计算出多个脸部的各自的脸部的特征量；特征量比较机构，其比较通过第1特征量计算机构从一图像中所计算出的各自的脸部的特征量和与一图像不同的其他图像中所包含的多个脸部的各自的脸部的特征量；及人物判定机构，其通过特征量比较机构中的比较，从一图像及其他图像中得到多个从一图像中所计算出的一脸部的特征量和从其他图像中所得到的一脸部的特征量近似且从一图像中所计算出的一脸部的特征量和从其他图像中所得到的一脸部以外的所有其他脸部的特征量不近似的关系，由此判定一图像中所包含的一脸部和其他图像中所包含的一脸部为同一人物的脸部。
本发明也提供一种同一人物判定方法。即，该方法中，由特征量计算机构从含有多个脸部的一图像中计算出多个脸部的各自的脸部的特征量，由特征量比较机构比较通过第1特征量计算机构从一图像中所计算出的各自的脸部的特征量和与一图像不同的其他图像中所包含的多个脸部的各自的脸部的特征量，由人物判定机构通过特征量比较机构中的比较，从一图像及其他图像中得到多个从一图像中所计算出的一脸部的特征量和从其他图像中所得到的一脸部的特征量近似且从一图像中所计算出的一脸部的特征量和从其他图像中所得到的一脸部以外的所有其他脸部的特征量不近似的关系，由此判定一图像中所包含的一脸部和其他图像中所包含的一脸部为同一人物的脸部。
本发明中提供控制同一物判定装置的计算机的计算机可读的程序。也可以是提供存放这种程序的记录介质的方式。
人物判定机构例如从一图像及其他图像中得到多个关系，由此判定一图像中所包含的一脸部和其他图像中所包含的一脸部为同一人物的脸部，且判定一图像中所包含的一脸部和其他图像中所包含的所有其他脸部为非同一人物。
当从一图像及其他图像仅得到一个关系时，人物判定机构也可以不判定一图像中所包含的一脸部和其他图像中所包含的一脸部为同一人物的脸部。
还可具备从其他图像计算出多个脸部的各自的脸部的特征量的第2特征量计算机构。在这种情况下，特征量比较机构可比较通过第1特征量计算机构从一图像中所计算出的各自的脸部的特征量和通过第2特征量计算机构从其他图像中所计算出的各自的脸部的特征量。
还可具备存储其他图像中所包含的多个脸部的各自的脸部的特征量的特征量存储机构。在这种情况下，特征量比较机构可比较通过第1特征量计算机构从一图像中所计算出的各自的脸部的特征量和存储在特征量存储机构中的各自的脸部的特征量。
当存在多个其他图像时，还可具备对多个其他图像进行特征量比较机构中的处理及人物判定机构中的处理的控制机构。
还可具备对通过人物判定机构判定为同一人物的脸部的每一脸部进行组化的组化机构。
发明效果
根据本发明，能够从含有多个脸部的一图像中计算出多个脸部的各自的脸部的特征量。比较所计算出的各自的脸部的特征量和与一图像不同的其他图像中所包含的多个脸部的各自的脸部的特征量(也可预先计算其他图像中所包含的多个脸部的特征量，也可在比较时进行计算)。当从一图像及其他图像中得到多个从一图像中所计算出的一脸部的特征量和从其他图像中所计算出的一脸部的特征量近似(例如，只要从一图像中所计算出的一脸部的特征量和从其他图像中所计算出的一脸部的特征量的差分在阈值以内则判断为近似)且从一图像中所计算出的一脸部的特征量和从其他图像中所计算出的一脸部以外的所有其他脸部的特征量不近似(例如，从一图像中所计算出的一脸部的特征量和从其他图像中所计算出的位置的脸部以外的所有其他脸部的特征量的差分超过阈值则判断为不近似)的这种关系时，判定一图像中所包含的一脸部和其他图像中所包含的一脸部为同一人物。
根据本发明，当从一图像及其他图像中获得多个不仅从一图像中所计算出的一脸部的特征量和从其他图像中所计算出的一脸部的特征量近似，而且从一图像中所计算出的一脸部的特征量和从其他图像中所计算出的一脸部以外的所有其他脸部的特征量不近似的关系时，判定一图像中所包含的一脸部和其他图像中所包含的一脸部为同一人物。并不仅以脸部的特征量近似而判定这些脸部的人物为同一人物，还考虑脸部的特征量不近似的情况而判定这些脸部的人物为同一人物，因此即使是彼此类似的脸部也能够判定是否为同一人物。而且，当得到不止一个而得到多个从一图像中所计算出的一脸部的特征量和从其他图像中所计算出的一脸部以外的所有其他脸部的特征量不近似这种关系时，判定一图像中所包含的一脸部和其他图像中所包含的一脸部为同一人物，因此即使是父母和子女、兄弟、亲戚等彼此更类似的脸部的人物也能够判定是否为同一人物。若要提高同一人物的判定精度，则需要提高用于判定是否为同一人物的脸部的类似度的阈值，但若提高该阈值，则有时即使是同一人物也会判定为非同一人物。根据本发明，当得到多个上述关系时，判定为同一人物，因此能够抑制用于判定是否为同一人物的脸部的类似度的阈值。能够实现对更多的同一人物的判定。
附图说明
图1是表示同一人物判定装置的电结构的框图。
图2是表示同一人物判定装置的处理步骤的流程图。
图3是表示同一人物判定装置的处理步骤的流程图。
图4是表示同一人物判定装置的处理步骤的流程图。
图5是图像的一例。
图6是图像的一例。
图7是图像的一例。
图8是图像的一例。
图9是表示从图像中被检测到的脸部。
图10是表示从图像中被检测到的脸部。
图11是表示从图像中被检测到的脸部。
图12是表示从图像中被检测到的脸部。
图13是特征量表格的一例。
图14是同一人物表格的一例。
图15是非同一人物表格的一例。
具体实施方式
图1是表示本发明的实施例的图，是表示同一人物判定装置的电结构的框图。
同一人物判定装置1整体的动作由CPU(中央处理装置)6集中控制。
在同一人物判定装置1中包含用于经由互联网等网络与其他装置进行通信的通信装置2、暂时存储数据等的存储器3、显示装置4及控制显示装4的显示控制装置5。并且，在同一人物判定装置1中设置有将命令等提供至同一人物判定装置1的键盘等输入装置7。来自输入装置7的输出信号提供至CPU6。
而且，在同一人物判定装置1中也包含存储图像数据等数据的硬盘9、用于访问硬盘9的硬盘驱动器8及用于访问微型光盘11的微型光盘驱动器10。
在微型光盘11中存放有控制后述的动作的程序。其程序由微型光盘驱动器10从微型光盘11读取。通过在同一人物判定装置1中安装所读取的程序，进行后述的动作。程序可存放于如微型光盘11等记录介质中，也可利用通信装置2从网络下载。
图2至图4是表示同一人物判定装置1的处理步骤的流程图，图5至图8是含有多个脸部的图像的一例。表示这些图像的图像数据存放于硬盘9中，但也可以不在硬盘9中存放，也可通过通信装置2进行下载，也可在同一人物判定装置1中读取记录在存储卡等记录介质中的图像数据。
图5表示第1图像I1且含有人物像H11至H14。第1图像I1是拍摄家庭的图像，人物像H11、H12、H13及H14分别为母亲的图像、长子的图像、次子的图像及父亲的图像。图6表示第2图像I2且含有人物像H21至H23。第2图像I2是拍摄母亲和父亲夫妇及其朋友的图像，人物像H21、H22及H23分别为母亲的图像、父亲的图像及朋友的图像。图7表示第3图像I3且含有人物像H31及H32。第3图像I3是拍摄父母和子女的图像，人物像H31及H32是长子的图像及母亲的图像。图8表示第4图像I4且含有人物像H41至H43。第4图像I4是拍摄父母和子女及朋友的图像，人物像H41、H42及H43是母亲的图像、朋友的图像及长子的图像。在图5至图8中，为了分辨人物像是谁，分别在人物像中标注了“母”、“长子”、“次子”、“父”或“朋友”的文字，但同一人物判定装置1并不识别哪一人物像为母、长子、次子、父或朋友(但是，可以预先将每个人物的特征登录于同一人物判定装置1，并设成能够识别每个人物像为某人)。
该实施例从含有多个脸部的多个图像中判定同一人物的脸部。在该实施例中，从4个图像I1至I4图像中判定同一人物的脸部，但若有含有多个脸部的多个图像，则当然并不限定于4个图像。
从多个图像I1至I4中，一图像由CPU6确定(图2步骤21)。也可由同一人物判定装置1的用户确定。第1图像I1设为作为一图像来被确定的图像。接着，对所确定的一图像I1由CPU6进行脸部检测处理，从一图像I1中脸部被检测(图2步骤22)。
图9表示从一图像I1中脸部F11至F14被检测到的状态。脸部F11为从人物像H11中被检测到的脸部，且为“母”的脸部F11。脸部F12是从人物像H12中被检测到的脸部，且为“长子”的脸部F12。脸部F13是从人物像H13中被检测到的脸部，且为“次子”的脸部F13。脸部F14是从人物像H14中被检测到的脸部，且为“父”的脸部F14。在图9中，也标注有“母”、“长子”、“次子”或“父”的文字以便辨识是谁的脸部，如上所述，同一人物判定装置1并不识别所检测到的脸部是谁的脸部。
接着，从一图像I1中被检测到的多个脸部F11、F12、F13及F14的各自的脸部的特征量由CPU6进行计算(第1特征量计算机构)，所计算出的脸部的特征量存储于特征量表格中(特征量存储机构)(图2步骤23)。特征量表格存储于存储器3(特征量存储机构)中。脸部的特征量为将相对于脸部整体的眼、鼻、口、耳等位置及大小等进行数值化的特征量，可通过公知的方法获得。
图13是特征量表格的一例。
特征量表格是对从图像中所检测到的每一脸部存储所计算出的脸部的特征量的表格。特征量表格存放于存储器3中。从一图像I1被检测到的脸部F11、F12、F13及F14的各自的脸部的特征量为L11、L12、L13及L14。
返回到图2，由CPU6确定其他图像(步骤24)。但是，也可由操作同一人物判定装置1的用户确定其他图像。在此，设为通过CPU6第2图像I6作为其他图像来被确定。接着，与一图像I1同样地，由CPU6进行脸部检测处理，并从作为其他图像来被确定的第2图像I2中脸部被检测(图2步骤25)。
图10表示从其他图像I2中脸部F21至F23被检测到的状态。脸部F21为从人物像H21中被检测到的脸部，且为“母”的脸部F21。脸部F22为从人物像H22中被检测到的脸部，且为“父”的脸部。脸部F23为从人物像H23中被检测到的脸部，且为“朋友”的脸部。在图10中，也标注有“母”、“父”或“朋友”的文字以便分辨是谁的脸部。
返回到图2，与上述同样地，从其他图像I2中被检测到的多个脸部F21、F22及F23的各自的脸部的特征量由CPU6进行计算(第2特征量计算机构)，所计算出的脸部的特征量存储于特征量表格中(步骤26)。由此，图13的特征量表格中作为从其他图像I2中被检测到的脸部F21、F22及F23的各自的脸部的特征量存储L21、L22及L23。
接着，从一图像I1中所计算出的各自的脸部的特征量L11、L12、L13及L14和从与一图像不同的其他图像I2中所计算出的各自的脸部的特征量L21、L22及L23由CPU6进行比较[成为由特征量比较机构比较通过第1特征量计算机构从一图像中所计算出的各自的脸部的特征量和通过第2特征量计算机构从从其他图像中所计算出的各自的脸部的特征量(存储于特征量存储机构中的各自的脸部的特征量)](图3步骤27)。通过该比较，判定是否从一图像I1及其他图像I2中得到多个从一图像I1中所计算出的一脸部的特征量和从其他图像I2中所得到的一脸部的特征量近似且从一图像I1中所计算出的一脸部的特征量和从其他图像I2中所得到的一脸部以外的所有其他脸部的特征量不近似的关系(近似-非近似关系)。若得到多个这种关系，则判定一图像I1中所含有的一脸部和其他图像I2中所含有的一脸部为同一人物的脸部。
首先，判定从一图像I1中所计算出的一脸部的特征量和从其他图像I2中所计算出的一脸部的特征量是否近似(图3步骤28)。例如，在一图像I1中所包含的脸部F11至F14中，作为一脸部脸部F11被CPU6确定，在其他图像I2中所包含的脸部F21至F23中，作为一脸部脸部F21被CPU6确定。判定一图像I1中所包含的一脸部F11的特征量L11和其他图像I2中所包含的一脸部F21的特征量L21是否近似。若特征量L11和特征量L21的差分小于阈值(以下)，则这些特征量L11和特征量L21判定为近似。若特征量L11和特征量L21的差分为阈值以上(大于阈值)，则这些特征量L11和特征量L21判定为不近似。对同一人物的多个脸部计算出特征量并通过所得到的特征量的变动量来确定阈值。
而且，判定一图像I1的一脸部的特征量和其他图像I2的所有其他脸部的特征量是否不近似(图3步骤29)。例如，判定一图像I1的一脸部F11的特征量L11和其他图像I2的其他脸部F22的特征量L22不近似且一图像I1的一脸部F11的特征量L11和其他图像I2的其他脸部F23的特征量L23是否不近似。若特征量L11和特征量L22的差分为阈值以上(大于阈值)，则这些特征量L11和特征量L22判定为不近似，若非如此，则判定为近似。虽然父母和子女、兄弟、亲戚等不是同一人物，但能够对相似的多个脸部计算出特征量并通过所得到的特征量的差分来确定该阈值。
对一图像I1中所包含的所有脸部F11、F12、F13及F14，一脸部F11变更为F12、F13及F14而进行步骤28及29的处理(图3步骤30)。并且，对其他图像I2中所包含的所有脸部F21、F22及F23，一脸部F21变更为F22及F23而进行步骤28及29的处理(图3步骤30)。对一图像I1中所包含的脸部F11至F14与其他图像I2中所包含的脸部F21至F23的所有组合，进行步骤28及29的处理。
判定是否存在多个在步骤28中被判定为近似的判定结果及在步骤29中被判定为不近似的判定结果的关系(近似-非近似关系)(图3步骤31)。
若判定为存在多个近似-非近似关系(图3步骤31中，是)，则由CPU6判定如此被判定的一图像的一脸部和其他图像的一脸部为同一人物的脸部(人物判定机构)(图4步骤32)。其判定结果存放于同一人物表格中(图4步骤32)。
图14是同一人物表格的一例。
在同一人物表格中，对每一人物存放判定为其人物的人物像的识别数据。在图14中，为了便于辨识对每一组存放有人物像的符号。例如，组1、2、3及4分别为母亲、长子、次子及父亲的组。存放与每个组对应的人物像的符号。由CPU6对判定为同一人物的每一脸部进行组化。这种同一人物表格由CPU6生成(组化机构)，并存放于存储器3中。
返回到图4，若一图像的一脸部和其他图像的一脸部被判定为同一人物的脸部，则可以认为一图像的一脸部和其他图像的一脸部以外的所有其他脸部不是同一人物。因此，由CPU6判定一图像的一脸部和其他图像的所有其他脸部为非同一人物(人物判定机构)(图4步骤33)。这种判定结果存放于非同一人物表格中(图4步骤33)。
图15是非同一人物表格的一例。
在非同一人物表格中，对每一人物存放被判定为与其人物不同的人物的人物像的识别数据。在图15中，为了便于辨识对每一组存放有人物像的符号。例如，人物像H11的人物成为与人物像H22、H23、H42、H43不同的人物。对于其他人物像的人物也相同。非同一人物表格也由CPU6生成，并存放于存储器3中。
例如，如上所述，假设成立一图像I1的一脸部F11的特征量L11和其他图像I2的一脸部F21的特征量L21近似且一图像I1的一脸部F11的特征量L11和其他图像I2的所有其他脸部F22及F23的特征量L22及L23不近似的关系，且成立一图像I1的一脸部F14的特征量L14和其他图像I2的一脸部F22的特征量L22近似且一图像I1的一脸部F14的特征量L14和其他图像I2的所有其他脸部F21及F23的特征量L21及L23不近似的关系。那么，成为存在多个上述的近似-非近似的关系，因此判定一图像I1的一脸部F11和其他图像I2的一脸部F21为同一人物的脸部，且判定一图像I1的一脸部F14和其他图像I2的一脸部F23为同一人物的脸部。如图14所示，对如此被判定为同一人物的脸部的每一人物在同一人物表格中被组化。而且，判定一图像I1的一脸部F11和其他图像I2的一脸部F21以外的所有其他脸部F22及F23为不同人物的脸部，且判定一图像I1的一脸部F14和其他图像I2的一脸部F23以外的所有其他脸部F21及F23为不同人物的脸部。如图15所示，识别如此被判定为非同一人物的脸部的人物的数据存放于非同一人物表格中。
返回到图3，当不存在多个上述的近似-非近似的关系时(步骤31中否)，即使在仅得到一个近似-非近似的关系的情况下，即使一图像中所包含的一脸部的特征量和其他图像中所包含的一脸部的特征量近似，CPU6也不会判定一图像中所包含的一脸部和其他图像中所包含的一脸部为同一人物。因此，跳过图4步骤32及步骤33的处理。
若对所有图像没有结束上述的处理(图4步骤34中否)，则重复从图2步骤21的处理。若结束一图像被设为图像I1且其他图像被设为图像I2时的上述的处理，则再次一图像被设为图像I1且其他图像被设为图7所示的图像I3而进行上述的处理。如图11所示，从图7所示的其他图像I3中所含有的人物像H31及H32中脸部图像F31及F32被检测，并计算出脸部的特征量L31及L32。所计算出的脸部的特征量L31及L32存放于图13所示的特征量表格中，如上所述，进行同一人物及非同一人物的检测处理。
在图5所示的一图像I1与图7所示的其他图像I3之间，成立图5的一图像I1中所包含的人物像H11的一脸部F11的特征量L11和图7的其他图像I3中所包含的人物像H32的一脸部F32的特征量L32近似且其特征量L11和其他图像I3中所包含的所有其他脸部F31的特征量L31不近似的这种近似-非近似关系，但这种近似-非近似关系只有一个，因此不会判定一图像I1的一脸部F11和其他图像I3位置的脸部F32为同一人物。
并且，在图5所示的一图像I1与图8所示的其他图像I4之间，如上所述，且如图12所示，也从图8所示的其他图像I4中脸部F41、F42及F43被检测，并计算出各自的脸部的特征量L41、L42及L43。所计算出的特征量L41、L42及L43存放于图13所示的特征量表格中。
在图5所示的一图像I1与图8所示的其他图像I4之间，成立图5的一图像I1中所包含的人物像H11的一脸部F11的特征量L11和图8的其他图像I4中所包含的人物像H41的一脸部F41的特征量L41近似且其特征量L11和其他图像I4中所包含的所有其他脸部F42及F43的特征量L42及L43不近似的这种近似-非近似关系，且也成立图5的一图像I1中所包含的人物像H12的一脸部F12的特征量L12和图8的其他图像I4中所包含的所有其他脸部F41及F42的特征量L41及L42不近似的这种近似-非近似关系。由于存在多个近似-非近似关系，因此判定图5的一图像I1中所包含的人物像H11和图8的其他图像I4中所包含的人物像H41为同一人物且图5的一图像I1中所包含的人物像H12和图8的其他图像I4中所包含的人物像H43为同一人物。而且，判定图5的一图像I1中所包含的人物像H11和图8的其他图像I4中所包含的人物像H42及H43为非同一人物且图5的一图像I1中所包含的人物像H12和图8的其他图像I4中所包含的人物像H41及H42为非同一人物。
若结束将图5所示的图像I1设为一图像且分别将图6至图8所示的图像I2至I4设为其他图像的上述处理，则接着进行将图6所示的图像I2设为一图像且将图7及图8所示的图像I3及I4设为其他图像的上述处理。而且，进行将图7所示的图像I3设为一图像且将图8所示的图像I4设为其他图像的上述处理。如此，对多个其他图像由CPU6进行控制以进行上述的特征量比较处理及人物判定处理(控制机构)。
拍摄家庭、父母和子女、兄弟、姉妹、亲戚等的图像中其脸形相似。因此，当根据脸部的类似度(特征量)判定是否为同一人物时，若要提高精度，则需要提高判别是否为同一人物的阈值。根据该实施例，如上所述，当存在多个近似-非近似关系时判定为同一人物，因此无需提高阈值。即使脸部的类似度不太高也能够找到同一人物。例如，即使是对照相机不露出正面脸部的孩子也能够判定是否为同一人物。
并且，也可以从如上所述的方式生成的同一人物表格按照被判定为同一人物的每一脸部在显示装置4的显示画面上一览显示。而且，也能够利用肯定包含被判定为同一人物的脸部的图像最多的人物的多个图像生成相册。
符号说明
1-同一人物判定装置，3-存储器(特征量存储机构)，6-CPU(第1特征量计算机构、特征量比较机构、人物判定机构、第2特征量计算机构、控制机构、组化机构)，11-微型光盘(存放程序的记录介质)。

Claims (9)

1.一种同一人物判定装置，其具备：
第1特征量计算机构，其从含有多个脸部的一图像中计算出多个脸部的各个脸部的特征量；
特征量比较机构，其比较通过上述第1特征量计算机构从上述一图像中所计算出的各个脸部的特征量和与上述一图像不同的其他图像中所包含的多个脸部的各个脸部的特征量；及
人物判定机构，其通过上述特征量比较机构中的比较，从上述一图像及上述其他图像中得到多个从上述一图像中所计算出的一脸部的特征量和从上述其他图像中所得到的一脸部的特征量近似且从上述一图像中所计算出的一脸部的特征量和从上述其他图像中所得到的一脸部以外的所有其他脸部的特征量不近似的关系，由此判定上述一图像中所包含的上述一脸部和上述其他图像中所包含的上述一脸部为同一人物的脸部。
2.根据权利要求1所述的同一人物判定装置，其中，
上述人物判定机构从上述一图像及上述其他图像中得到多个上述关系，由此判定上述一图像中所包含的上述一脸部和上述其他图像中所包含的上述一脸部为同一人物的脸部且上述一图像中所包含的上述一脸部和上述其他图像中所包含的上述所有其他脸部为非同一人物。
3.根据权利要求1或2所述的同一人物判定装置，其中，
上述人物判定机构当从上述一图像及上述其他图像中仅得到一个上述关系时，并不判定上述一图像中所包含的上述一脸部和上述其他图像中所包含的上述一脸部为同一人物的脸部。
4.根据权利要求1至3中任一项所述的同一人物判定装置，其中，
所述同一人物判定装置还具备从上述其他图像中计算出多个脸部的各个脸部的特征量的第2特征量计算机构，
上述特征量比较机构比较通过上述第1特征量计算机构从上述一图像中所计算出的各个脸部的特征量和通过上述第2特征量计算机构从上述从其他图像中所计算出的各个脸部的特征量。
5.根据权利要求1至3中任一项所述的同一人物判定装置，其中，
所述同一人物判定装置还具备存储上述其他图像中所包含的多个脸部的各个脸部的特征量的特征量存储机构，
上述特征量比较机构比较通过上述第1特征量计算机构从上述一图像中所计算出的各个脸部的特征量和存储于上述特征量存储机构中的各个脸部的特征量。
6.根据权利要求1所述的同一人物判定装置，其中，
存在多个上述其他图像，
所述同一人物判定装置还具备对多个上述其他图像进行上述特征量比较机构中的处理及上述人物判定机构中的处理的控制机构。
7.根据权利要求1至6中任一项所述的同一人物判定装置，其还具备对通过上述人物判定机构被判定为同一人物的脸部的每一脸部进行组化的组化机构。
8.一种同一人物判定方法，其中，
由特征量计算机构从含有多个脸部的一图像中计算出多个脸部的各个脸部的特征量，
由特征量比较机构比较通过上述第1特征量计算机构从上述一图像中所计算出的各自的脸部的特征量和与上述一图像不同的其他图像中所包含的多个脸部的各个脸部的特征量，
由人物判定机构通过上述特征量比较机构中的比较，从上述一图像及上述其他图像中得到多个从上述一图像中所计算出的一脸部的特征量和从上述其他图像中所得到的一脸部的特征量近似且从上述一图像中所计算出的一脸部的特征量和从上述其他图像中所得到的一脸部以外的所有其他脸部的特征量不近似的关系，由此判定上述一图像中所包含的上述一脸部和上述其他图像中所包含的上述一脸部为同一人物的脸部。
9.一种程序，其为控制同一人物判定装置的计算机的计算机可读的程序，其以如下方式控制同一人物判定装置的计算机：
从含有多个脸部的一图像中计算出多个脸部的各个脸部的特征量；
比较从上述一图像中所计算出的各个脸部的特征量和与上述一图像不同的其他图像中所包含的多个脸部的各个脸部的特征量；及
从上述一图像及上述其他图像中得到多个从上述一图像中所计算出的一脸部的特征量和从上述其他图像中所得到的一脸部的特征量近似且从上述一图像中所计算出的一脸部的特征量和从上述其他图像中所得到的一脸部以外的所有其他脸部的特征量不近似的关系，由此判定上述一图像中所包含的上述一脸部和上述其他图像中所包含的上述一脸部为同一人物的脸部。
CN201580027210.2A 2014-05-29 2015-04-14 同一人物判定装置、其方法及计算机可读取存储介质 Active CN106462980B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-110916 2014-05-29
JP2014110916A JP6215774B2 (ja) 2014-05-29 2014-05-29 同一人物判定装置ならびにその方法およびその制御プログラム
PCT/JP2015/061426 WO2015182270A1 (ja) 2014-05-29 2015-04-14 同一人物判定装置ならびにその方法およびその制御プログラム

Publications (2)

Publication Number Publication Date
CN106462980A true CN106462980A (zh) 2017-02-22
CN106462980B CN106462980B (zh) 2019-10-08

Family

ID=54698611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580027210.2A Active CN106462980B (zh) 2014-05-29 2015-04-14 同一人物判定装置、其方法及计算机可读取存储介质

Country Status (5)

Country Link
US (1) US10007842B2 (zh)
EP (1) EP3151191A4 (zh)
JP (1) JP6215774B2 (zh)
CN (1) CN106462980B (zh)
WO (1) WO2015182270A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US10753075B2 (en) 2016-09-26 2020-08-25 Zurn Industries, Llc Flush valve
KR20210083026A (ko) * 2019-12-26 2021-07-06 삼성전자주식회사 생체 인식을 위한 전자 장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236217A (ja) * 2005-02-28 2006-09-07 Fuji Photo Film Co Ltd 人物認識システム、人物認識方法、及び人物認識プログラム
JP2006343791A (ja) * 2005-06-07 2006-12-21 Hitachi Ltd 顔画像データベース作成方法
JP2007272890A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp デジタル画像データの制約条件付きスペクトル・クラスタリングを実施するための方法および装置
US20100226584A1 (en) * 2009-03-06 2010-09-09 Cyberlink Corp. Method of Grouping Images by Face
CN102124492A (zh) * 2009-03-13 2011-07-13 欧姆龙株式会社 脸部对照装置、电子设备、脸部对照装置的控制方法，以及脸部对照装置控制程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7403642B2 (en) * 2005-04-21 2008-07-22 Microsoft Corporation Efficient propagation for face annotation
JP2007102549A (ja) 2005-10-05 2007-04-19 Fujifilm Corp 画像検索支援装置
JP5128880B2 (ja) 2007-08-30 2013-01-23 オリンパスイメージング株式会社 画像取扱装置
JP5178611B2 (ja) * 2009-04-15 2013-04-10 株式会社東芝 画像処理装置、画像処理方法及びプログラム
JP5438419B2 (ja) 2009-07-29 2014-03-12 富士フイルム株式会社 人物照合装置及び人物照合方法
US8379939B1 (en) 2009-09-08 2013-02-19 Adobe Systems Incorporated Efficient and scalable face recognition in photo albums
JP2012064082A (ja) 2010-09-17 2012-03-29 Panasonic Corp 画像分類装置
US8494231B2 (en) * 2010-11-01 2013-07-23 Microsoft Corporation Face recognition in video content
JP4775515B1 (ja) * 2011-03-14 2011-09-21 オムロン株式会社 画像照合装置、画像処理システム、画像照合プログラム、コンピュータ読み取り可能な記録媒体、および画像照合方法
JP6074182B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236217A (ja) * 2005-02-28 2006-09-07 Fuji Photo Film Co Ltd 人物認識システム、人物認識方法、及び人物認識プログラム
JP2006343791A (ja) * 2005-06-07 2006-12-21 Hitachi Ltd 顔画像データベース作成方法
JP2007272890A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp デジタル画像データの制約条件付きスペクトル・クラスタリングを実施するための方法および装置
US20100226584A1 (en) * 2009-03-06 2010-09-09 Cyberlink Corp. Method of Grouping Images by Face
CN102124492A (zh) * 2009-03-13 2011-07-13 欧姆龙株式会社 脸部对照装置、电子设备、脸部对照装置的控制方法，以及脸部对照装置控制程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BAOYUAN WU ET AL: "Constrained Clustering and Its Application to Face Clustering in Videos", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
RAMAZAN GOKBERK CINBIS ET AL: "Unsupervised metric learning for face identification in TV video", 《2011 INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *

Also Published As

Publication number Publication date
JP6215774B2 (ja) 2017-10-18
US10007842B2 (en) 2018-06-26
CN106462980B (zh) 2019-10-08
WO2015182270A1 (ja) 2015-12-03
US20170032181A1 (en) 2017-02-02
EP3151191A4 (en) 2017-06-21
JP2015225567A (ja) 2015-12-14
EP3151191A1 (en) 2017-04-05

Similar Documents

Publication Publication Date Title
CN101401126B (zh) 面部图像注册装置、面部图像注册方法
CN103201769B (zh) 图像处理装置、图像处理方法、集成电路
CN108288027A (zh) 一种图像质量的检测方法、装置及设备
CN106355188A (zh) 图像检测方法及装置
US20150220806A1 (en) Intelligent determination of aesthetic preferences based on user history and properties
US20100109998A1 (en) System and method for sensing facial gesture
CN108228114A (zh) 控制方法和存储介质
US10037467B2 (en) Information processing system
Rodriguez et al. Optical fish trajectory measurement in fishways through computer vision and artificial neural networks
CN107408119A (zh) 图像检索装置、系统以及方法
CN107807914A (zh) 情感倾向的识别方法、对象分类方法及数据处理系统
JP7463473B2 (ja) 画像候補決定装置，画像候補決定方法，ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
US11107260B2 (en) Image processing apparatus, control method, and storage medium
US20230112555A1 (en) Image processing apparatus, control method, and storage medium
CN109753884A (zh) 一种基于关键帧提取的视频行为识别方法
CN106462980A (zh) 同一人物判定装置、其方法及其控制程序
Shahrian et al. Temporally coherent and spatially accurate video matting
CN105975550A (zh) 一种智能设备的题目搜索方法和装置
CN109583228B (zh) 一种隐私信息管理方法、装置和系统
CN109800675A (zh) 一种确定人脸对象的识别图像的方法及装置
JP2006065447A (ja) 識別器設定装置、注目度計測装置、識別器設定方法、注目度計測方法、およびプログラム
CN106162222B (zh) 一种视频镜头切分的方法及装置
CN110309859A (zh) 一种图像真伪检测方法、装置及电子设备
WO2018192244A1 (zh) 一种智能设备的拍摄引导方法
US11012613B2 (en) Flat surface detection in photographs

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant