CN111860223A - 属性识别系统、学习服务器以及计算机可读记录介质 - Google Patents

属性识别系统、学习服务器以及计算机可读记录介质 Download PDF

Info

Publication number
CN111860223A
CN111860223A CN202010622274.XA CN202010622274A CN111860223A CN 111860223 A CN111860223 A CN 111860223A CN 202010622274 A CN202010622274 A CN 202010622274A CN 111860223 A CN111860223 A CN 111860223A
Authority
CN
China
Prior art keywords
face
attribute
person
unit
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010622274.XA
Other languages
English (en)
Inventor
宇野礼于
土田安纩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AWL Inc
Original Assignee
AWL Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AWL Inc filed Critical AWL Inc
Publication of CN111860223A publication Critical patent/CN111860223A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

在属性识别系统、学习服务器以及记录有计算机程序的计算机可读记录介质中，使得能仅从一个帧图像中摄入的人或脸准确地进行性别、年龄等属性的识别，减小属性的识别处理的负荷。仅在针对已被赋予人物ID的脸还未进行性别和年龄的估计、且人脸检测部(21)检测出已被赋予人物ID的脸是适用于性别和年龄估计的脸时(在S3和S4中为“是”)，进行针对该脸的性别和年龄的估计(S5)。由此，仅从一个帧图像中摄入的适用于性别和年龄的估计的脸就能准确地进行性别和年龄的估计。因此，与现有的系统不同，能减小性别、年龄等属性的识别处理的负荷。

Description

属性识别系统、学习服务器以及计算机可读记录介质
技术领域
本发明涉及属性识别系统、学习服务器以及记录有计算机程序的计算机可读记录介质。
背景技术
从以往，存在如下属性识别系统：对利用监视相机、所谓的AI(ArtificialIntelligence)相机等相机拍摄出的帧图像中摄入的人的脸进行检测，并根据检测出的脸(图像)来进行性别、年龄等属性的识别(分类)。
在这种系统中，一般难以仅从一个帧图像中摄入的人的脸(图像)来准确地进行性别、年龄等属性的识别。为此，存在从连续获取到的多个帧图像中摄入的人的脸(图像)来进行性别、年龄等属性的识别的系统(例如，参照专利文献1)。在该系统中，针对连续获取到的多个帧图像的全部，检测这些帧图像中摄入的人的脸，并针对检测出的全部的脸进行性别、年龄等属性的识别处理，(1)仅使用是给定的属性的概率高的识别结果(判定结果)来进行属性的综合判断，或者(2)根据针对上述属性的全部的识别结果的平均值(是给定的属性的概率的平均值)，来判断属性。
上述(1)例如是在识别对象的属性为性别、且将判定概率的阈值设为80％的情况下，使用是男性的概率为93％的识别结果以及是男性的概率为81％的识别结果，将连续获取到的多个帧图像中摄入的(存在的)人(综合)判断为男性的方法。另外，上述(2)是如下的判断方法。即，例如，连续获取到的多个帧图像的数量为6个，设这些帧图像中摄入的(存在的)人是男性的概率分别为93％、67％、45％、74％、81％、74％，且是女性的概率分别为7％、33％、55％、26％、19％、26％。在该情况下，取这些概率的平均值，将上述人是男性的概率计算为72(＝(93+67+45+74+81+74)/6)，将是女性的概率计算为28(＝(7+33+55+26+19+26)/6)％，从而将上述多个帧图像中摄入的(存在的)人判断为男性。
在先技术文献
专利文献
专利文献1：JP专利第4778532号公报
发明内容
(发明要解决的课题)
但是，在上述专利文献1所示的现有的系统中，无论采用上述(1)或(2)的哪一种方法，均针对连续获取到的多个帧图像的全部，检测这些帧图像中摄入的人的脸，并针对检测出的全部的脸，进行了性别、年龄等属性的识别处理。换言之，针对连续获取到的多个帧图像(中的脸图像)的全部，进行了性别、年龄等属性的识别处理。故而，存在性别、年龄等属性的识别(分类)处理的负荷变大这样的问题。
本发明用于解决上述课题，其目的在于，提供一种属性识别系统、学习服务器以及记录有计算机程序的计算机可读记录介质，仅从一个帧图像中摄入的人或脸就能准确地进行性别、年龄等属性的识别，能减小上述属性的识别处理的负荷。
(用于解决课题的技术方案)
为了解决上述课题，本发明的基于第一形态的属性识别系统具备：人脸检测部，其从帧图像中摄入的人或脸之中检测适用于属性的识别的人或脸，所述帧图像是从对给定的拍摄区进行拍摄的1个以上的相机输入的；识别信息赋予部，其对由所述人脸检测部作为检测对象的所述帧图像中摄入的人或脸进行识别，并按识别出的人或脸的每一个来赋予识别信息；以及属性识别部，其仅在针对已被赋予所述识别信息的人或脸还未进行所述属性的识别、且所述人脸检测部检测为已被赋予所述识别信息的人或脸是适用于所述属性的识别的人或脸时，识别该人或脸的所述属性。
在该属性识别系统中，优选地，所述人脸检测部使用学习完毕物体检测用神经网络，来检测适用于所述属性的识别的人或脸，所述属性识别系统还具备：再学习用数据集编辑部，其根据由所述人脸检测部得到的适用于所述属性的识别的人或脸的检测结果的验证结果，来对所述学习完毕物体检测用神经网络的再学习用数据集的正确答案标签进行编辑；以及再学习部，其使用所述再学习用数据集编辑部进行编辑后的再学习用数据集，来进行所述学习完毕物体检测用神经网络的再学习。
在该属性识别系统中，优选地，所述属性识别系统还具备检测结果验证部，所述检测结果验证部对由所述人脸检测部得到的适用于所述属性的识别的人或脸的检测结果进行验证，所述再学习用数据集编辑部根据由所述检测结果验证部得到的所述验证结果，来自动地赋予所述学习完毕物体检测用神经网络的再学习用数据集的正确答案标签。
在该属性识别系统中，可以是，所述检测结果验证部根据由所述人脸检测部得到的适用于所述属性的识别的人或脸的检测结果、以及由所述属性识别部得到的所述属性的识别结果，来对由所述人脸检测部得到的适用于所述属性的识别的人或脸的检测结果进行验证。
在该属性识别系统中，可以是，所述检测结果验证部使用能进行比所述学习完毕物体检测用神经网络更高精度的推理的学习完毕高精度物体检测用神经网络，来对由所述人脸检测部得到的适用于所述属性的识别的人或脸的检测结果进行验证，所述再学习用数据集编辑部根据基于所述学习完毕高精度物体检测用神经网络而得到的检测结果，来向所述再学习用数据集内的图像自动地赋予正确答案标签。
在该属性识别系统中，可以是，所述属性识别部使用学习完毕物体识别用神经网络来识别所述人或脸的属性，所述检测结果验证部将使用能进行比所述学习完毕物体识别用神经网络更高精度的推理的学习完毕高精度物体识别用神经网络而得到的所述人或脸的属性的识别结果与基于所述学习完毕物体识别用神经网络而得到的所述属性的识别结果进行比较，并对由所述人脸检测部得到的适用于所述属性的识别的人或脸的检测结果进行验证。
在该属性识别系统中，所述属性可以是性别以及年龄。
本发明的基于第二形态的学习服务器具备再学习用数据集编辑部和再学习部，所述再学习用数据集编辑部根据从帧图像中摄入的人或脸之中检测适用于属性的识别的人或脸的学习完毕物体检测用神经网络的检测结果的验证结果，来对所述学习完毕物体检测用神经网络的再学习用数据集的正确答案标签进行编辑，所述帧图像是从对给定的拍摄区进行拍摄的1个以上的相机输入的，所述再学习部使用所述再学习用数据集编辑部进行编辑后的再学习用数据集，来进行所述学习完毕物体检测用神经网络的再学习。
在该学习服务器中，所述属性可以是性别以及年龄。
本发明的基于第三形态的计算机可读记录介质是记录有计算机程序(指令)的计算机可读记录介质，在该程序(指令)被处理器执行时，执行如下步骤：人脸检测步骤，从帧图像中摄入的人或脸之中检测适用于属性的识别的人或脸，所述帧图像是从对给定的拍摄区进行拍摄的1个以上的相机输入的；识别信息赋予步骤，对在所述人脸检测步骤中作为检测对象的所述帧图像中摄入的人或脸进行识别，并按识别出的人或脸的每一个来赋予识别信息；以及属性识别步骤，仅在针对已被赋予所述识别信息的人或脸还未进行所述属性的识别、且在所述人脸检测步骤中检测为已被赋予所述识别信息的人或脸是适用于所述属性的识别的人或脸时，识别该人或脸的所述属性。
在该计算机可读记录介质中，所述属性可以是性别以及年龄。
(发明效果)
根据本发明的基于第一形态的属性识别系统以及基于第三形态的记录有计算机程序的计算机可读记录介质，仅在针对已被赋予识别信息的人或脸还未进行属性的识别、且检测出已被赋予识别信息的人或脸是适用于上述属性的识别的人或脸时，识别该人或脸的属性。由此，仅从一个帧图像中摄入的适用于上述属性的识别的人或脸就能准确地进行性别、年龄等属性的识别。因此，与上述专利文献1记载的现有的系统不同，能减小属性的识别处理的负荷。
另外，根据本发明的基于第二形态的学习服务器，能根据从帧图像中摄入的人或脸之中检测适用于属性的识别的人或脸的学习完毕物体检测用神经网络的检测结果的验证结果，来对学习完毕物体检测用神经网络的再学习用数据集的正确答案标签进行编辑，并使用编辑后的再学习用数据集来进行学习完毕物体检测用神经网络的再学习。通过该再学习，学习完毕物体检测用神经网络能从帧图像中摄入的人或脸之中高精度地检测适用于属性的识别的人或脸。因此，仅从通过该再学习后的学习完毕物体检测用神经网络检测为适用于属性的识别的、一个帧图像中的人或脸，就能准确地进行性别、年龄等属性的识别。
附图说明
图1是表示本发明的一实施方式的属性识别系统的概略的构成的结构框图。
图2是表示图1中的分析盒的概略的硬件构成的框图。
图3是同分析盒中的CPU的功能块构成图。
图4是表示图1中的学习服务器的概略的硬件构成的框图。
图5是表示上述属性识别系统中的主要设备起到的功能的概要以及主要的数据的流动的结构框图。
图6是上述分析盒的通常运用时的脸检测处理和性别年龄估计处理的流程图。
图7是上述分析盒的应用包中所含的矢量化模型所进行的矢量化处理的说明图。
图8是上述学习服务器中的再学习用数据集的创建处理和再学习处理的流程图。
图9是表示本发明的变形例1的属性识别系统中的主要设备起到的功能的概要和主要的数据的流动的结构框图。
具体实施方式
以下，参照附图来说明基于使本发明具体化的实施方式的属性识别系统、学习服务器以及属性识别程序。图1是表示基于本实施方式的属性识别系统10的概略的构成的结构框图。在本实施方式中，针对分析盒1(技术方案中的“计算机”)、以及与该分析盒1连接的网络相机(IP(Internet Protocol)相机)2配置于连锁店等店铺S内的情况的例子进行说明。如图1所示，属性识别系统10在店铺S内除了具备上述分析盒1和相机2以外，还具备集线器4和路由器5。上述分析盒1经由LAN(Local Area Network)3和集线器4与多个相机2连接，并对从这些相机2各自输入的图像进行分析。具体而言，分析盒1进行针对从各相机2输入的图像的物体检测处理(脸检测处理)、以及针对通过该物体检测处理而检测出的物体的图像的物体识别处理(包含性别、年龄等属性识别处理)。
另外，属性识别系统10具备：云端C上的AI分析服务器7、管理服务器8以及学习服务器6。AI分析服务器7根据来自分析盒1的物体识别结果，例如分析各店铺内的人物的行动，并将分析结果的信息变换成市场营销、防盗等各种用途的应用容易使用的数据进行输出。
上述管理服务器8进行配置于各店铺的多个分析盒1、以及与这些分析盒1连接的相机2的管理。具体而言，管理服务器8进行向各店铺的分析盒1安装应用包、与这些分析盒1连接的相机2的启动以及停止等的控制。此外，该应用包是包含学习完毕的物体检测用神经网络模型(以下，称为“物体检测用NN模型”)、1种以上的学习完毕的物体识别用神经网络模型(以下，称为“物体识别用NN模型”)以及记载有这些神经网络模型(以下，称为“NN模型”)的用法(处理的顺序)的控制用脚本在内的打包程序。若更具体地进行说明，则上述应用包是包含作为学习完毕的物体检测用NN模型的脸检测模型(参照图6等)、作为学习完毕的物体识别用NN模型的性别和年龄估计模型(参照图6等)及矢量化模型、以及记载有这些NN模型的处理的顺序的控制用脚本在内的打包程序。
上述学习服务器6的细节将后述，但该学习服务器6具有对安装于上述分析盒1的应用包中所含的脸检测模型的再学习用数据集的正确答案标签进行编辑的功能、以及使用该编辑后的再学习用数据集来进行上述脸检测模型的再学习的功能。此外，上述再学习是指如下处理：为了将(安装于分析盒1的)脸检测模型的估计精度维持得较高，使用上述再学习用数据集来重新进行学习完毕的脸检测模型的学习。若该再学习完毕，则再学习后的新的版本的脸检测模型从学习服务器6经由管理服务器8而被安装至分析盒1。
接下来，参照图2来说明分析盒1的硬件构成。分析盒1具备：CPU11，其进行装置整体的控制以及各种运算；硬盘12(技术方案中的“计算机可读记录介质”)，其存放各种数据、程序；RAM(Random Access Memory)13；作为DNN推理用处理器的推理芯片(以下，简称为“芯片”)14a～14h；以及通信控制IC15。CPU11是一般的通用CPU或被设计成为了同时处理多个视频流而提高并行处理性能的CPU。另外，在存放于硬盘12的数据中包含对从各相机2输入的视频流(的数据)进行解码后的视频数据(帧图像的数据)，在存放于硬盘12的程序中，除了上述应用包(相当于技术方案中的“计算机程序”以及图5中的“属性识别程序”)以外，还含有图5的说明中描述的分析盒OS54的程序。
上述(推理)芯片14a～14h优选为为DNN(Deep Neural Networks)推理进行了优化的处理器(推理专用芯片)，但也可以是用于一般用途的通用的GPU(Graphics ProcessingUnit)、或其他的处理器。另外，上述各芯片14a～14h可以是在1个单板计算机上集成(搭载)有多个芯片(推理用处理器)的器件。
如图2所示，上述(推理)芯片14a～14h通过PCI Express或USB而与CPU11连接。另外，上述通信控制IC15具有向Ethernet规格的LAN进行连接的连接用的端口即LAN端口16。
图3示出图1的分析盒1中的CPU11的功能块。分析盒1具备人脸检测部21、识别信息赋予部22、属性识别部23以及处理器分配部24作为功能块。人脸检测部21从对给定的拍摄区进行拍摄的多个相机2输入的帧图像中摄入的(人的)脸之中，检测适用于性别和年龄的估计(技术方案中的“属性的识别”)的脸。识别信息赋予部22对由上述人脸检测部21作为检测对象的帧图像中摄入的脸进行识别，并按识别出的每个脸(的人)来赋予ID(识别信息)。
仅在针对被上述识别信息赋予部22赋予了ID(识别信息)的脸(的人)还未进行性别以及年龄的估计(“属性的识别”)、且人脸检测部21检测为被赋予了上述ID的脸是适用于性别和年龄的估计的脸时，上述属性识别部23估计该脸(的人)的性别以及年龄。另外，处理器分配部24根据应用包的各实例中所含的物体检测用NN模型(脸检测模型)、以及物体识别用NN模型(性别和年龄估计模型以及矢量化模型)的各自的推理处理所需的推理时间和使用频度，来从多个芯片14当中进行用于物体检测用NN模型中的推理处理以及物体识别用NN模型的每一个中的推理处理的芯片(推理用处理器)的分配。
接下来，参照图4来说明学习服务器6的硬件构成。学习服务器6具备：CPU31(相当于技术方案中的“再学习用数据集编辑部”、“检测结果验证部”以及“再学习部”)，其进行装置整体的控制以及各种运算；硬盘32，其存放各种数据、程序；RAM(Random Access Memory)33；显示器34；操作部35；通信部36；以及作为USB(Universal Serial Bus)设备的连接用的端口的USB连接器37。能将存储有图像数据等的USB存储卡45连接至该USB连接器37。
在存放于上述硬盘32的程序中含有对上述(安装于分析盒1的应用包中所含的)脸检测模型的再学习用数据集的正确答案标签进行编辑的再学习用数据集编辑程序41、以及使用该再学习用数据集编辑程序41进行编辑后的再学习用数据集来进行上述脸检测模型的再学习的再学习程序42。
另外，在存放于上述硬盘32的数据中含有图像数据DB38、带注释信息的数据集39、以及再学习用数据集40。
上述图像数据DB38是对在带注释信息的数据集39以及再学习用数据集40中使用的、摄入有人的大量的帧图像进行存放的数据库。该图像数据DB38内的帧图像既可以经由上述通信部36从分析盒1等其他计算机输入，也可以从上述USB存储卡45输入。另外，上述带注释信息的数据集39是对从上述图像数据DB38输入的各帧图像附加脸的边界框信息(以下，称为“脸框”)、以及针对各脸框的性别年龄标签后的数据集。在此，上述脸的边界框信息是指在帧图像中检测出的脸的位置、宽度以及高度的信息。另外，上述再学习用数据集40是对上述带注释信息的数据集39中所含的各帧图像附加上述脸框以及“肯定”(Positive)/“否定”(Negative)的标签后的、(学习完毕)脸检测模型的再学习用数据集。
接下来，参照图5，在属性识别系统10中，针对图1中的主要设备(分析盒1、学习服务器6以及管理服务器8)起到的功能的概要以及主要的数据的流动进行说明。图5示出图1中的主要设备中的功能块、NN模型以及主要的数据文件。如图5所示，管理服务器8在其硬盘51中存放有应用DB52，应用DB52存放应用包。存放于应用DB52的应用包是具备学习完毕的脸检测模型、学习完毕的性别和年龄估计模型及矢量化模型、以及记载有这些NN模型的处理的顺序的控制用脚本的应用包。该应用包由应用分发部53分发至分析盒1。
分析盒1将从管理服务器8接收到的上述应用包作为图5所示的属性识别程序55(相当于技术方案中的“计算机程序”)进行安装。另外，分析盒1从管理服务器8还接收分析盒OS54。该分析盒OS54不仅进行分析盒1内的属性识别程序55的实例等应用的控制，而且进行与管理服务器8之间的收发。此外，上述属性识别程序55是用于进行相当于图3中的人脸检测部21、识别信息赋予部22以及属性识别部23的处理的应用包。
学习服务器6具备用于向上述图像数据DB38输入帧图像的图像输入部61。这些帧图像既可以经由上述通信部36而从分析盒1等其他计算机输入，也可以从上述USB存储卡45输入。即，上述图像输入部61既可以是上述通信部36，也可以是图4中的USB连接器(USB端口)37。
若帧图像到上述图像数据DB38的输入处理完成，则学习服务器6的CPU31针对存放于图像数据DB38的各帧图像，使用学习完毕的简化脸检测模型62来检测脸，从而附加脸框信息。在此，上述简化脸检测模型62是指对作为对象的帧图像中摄入的脸进行检测、且对检测出的脸仅附加脸框(脸的边界框信息)的简化的脸检测处理用的NN模型。其中，该简化脸检测模型62优选为能进行比在通常运用时用于上述分析盒1中的脸检测处理的脸检测模型64(仅针对脸的检测处理)更高精度的推理的脸检测模型。另外，学习服务器6的CPU31针对由上述简化脸检测模型62检测出的脸，使用能进行比通常运用时用于上述分析盒1中的性别和年龄的估计的性别和年龄估计模型65(参照图6)更高精度的推理的学习完毕的物体识别用NN模型即高精度性别和年龄估计模型63，来进行性别和年龄的估计，并将表征该估计结果的性别年龄标签(注释信息)附加至上述带脸框的帧图像，从而创建带注释信息的数据集39。
此外，虽然在上述说明中例示了如下情况的例子：学习服务器6的CPU31针对通过上述简化脸检测模型62而检测出的脸，使用能进行精度高的推理的学习完毕的高精度性别和年龄估计模型63来进行性别和年龄的估计，从而求取性别年龄标签(注释信息)，但系统管理者等的人也可以使用学习服务器6的操作部35来输入上述性别年龄标签(注释信息)。
若上述带注释信息的数据集39的创建结束，则学习服务器6的CPU31针对带注释信息的数据集39中存放的各帧图像，使用分析盒1通常运用时所使用的脸检测模型64和性别和年龄估计模型65，来进行脸检测处理和性别和年龄的估计处理。然后，学习服务器6的CPU31的检测结果验证部66将采用了在上述通常运用时所使用的脸检测模型64以及性别和年龄估计模型65而得到的性别和年龄的估计结果与带注释信息的数据集39中所含的性别年龄标签(注释信息)的内容进行比较，并对基于上述性别和年龄估计模型65而得到的性别和年龄的估计结果进行验证，从而验证基于脸检测模型64而得到的检测结果(基于脸检测模型64而得到的“肯定”、“否定”的分类结果)是否正确。此外，图5中的学习用属性识别部69是使用对针对帧图像中摄入的脸(的人)的属性进行识别的性别和年龄估计模型65来识别该脸(的人)的属性的(学习服务器6的)CPU31的功能块。
学习服务器6的CPU31的再学习用数据集编辑部67根据上述检测结果验证部66的验证结果，对上述脸检测模型64的再学习用数据集40的正确答案标签(“肯定”或“否定”)进行编辑。然后，学习服务器6的CPU31的再学习部68使用上述再学习用数据集编辑部67进行编辑后的再学习用数据集，来进行上述脸检测模型64的再学习。
上述再学习后的脸检测模型64(相当于图6以及图8中的“能将适用于性别和年龄估计的脸检测为“肯定”的脸检测模型70”)先从学习服务器6被送往管理服务器8，在存放至管理服务器8的应用DB52后，在适当的定时从管理服务器8安装至各店铺内的分析盒1。
此外，图5中的学习服务器6所使用的脸检测模型64不必是在分析盒1中与通常运用时所使用的脸检测模型同样的脸检测模型(若检测出的脸适用于性别和年龄的估计，则输出为“肯定”，若不适用于性别和年龄的估计，则输出为“否定”的脸检测模型)，还可以是与上述简化脸检测模型62同样地，对作为对象的帧图像中摄入的脸进行检测，并对检测出的脸仅赋予脸框的简化的脸检测模型，也可以是对人和脸的两者进行检测，并对检测出的人以及脸赋予框(边界框信息)的人脸检测处理用的NN模型。
接下来，参照图6的流程图来说明上述分析盒1的通常运用时的脸检测处理和性别年龄估计处理的流程。分析盒1的CPU11的人脸检测部21从对给定的拍摄区进行拍摄的多个相机2输入的帧图像中摄入的脸之中，检测适用于性别和年龄的估计的脸(S1)。更准确地说，上述人脸检测部21对上述帧图像中摄入的脸进行检测，并对检测出的脸赋予脸框(脸的边界框信息)，若检测出的脸是适用于性别和年龄的估计的脸，则输出“肯定”，若检测出的脸是不适用于性别和年龄的估计的脸，则输出“否定”这样的分类结果。
若上述S1的脸检测处理结束，则分析盒1的CPU11的识别信息赋予部22对由上述人脸检测部21作为检测对象的帧图像中摄入的脸进行识别，按识别出的每个脸(的人)来赋予人物ID(S2)。具体而言，识别信息赋予部22根据当前以及过去的人脸检测部21的检测结果，通过物体追踪技术等来对检测出的脸的人物赋予相同的人物ID。
在上述人物ID的赋予中使用物体追踪(tracking)技术的情况下，分析盒1的CPU11的识别信息赋予部22可以设为如下的基于所谓的物体追踪处理的安装形态，在该物体追踪处理中，1)根据过去一定期间的帧图像组中被赋予了同一人物ID的脸的检测位置、尺寸、检测时刻，使用卡尔曼滤波器等来估计该人物ID的当前的帧图像中的脸的检测位置、尺寸，2)计算该估计出的脸的检测位置、尺寸与在当前的帧图像中检测出的脸的检测位置、尺寸的重叠区域的尺寸，3-1)选择该重叠区域的尺寸为给定值以上且最大的脸，且继承该选择出的脸的人物ID，3-2)在不存在该重叠区域的尺寸为给定值以上的脸的情况下，分配新的人物ID。
另外，分析盒1的CPU11的识别信息赋予部22可以利用上述应用包(图5的属性识别程序55)中所含的矢量化模型来识别是否为相同的人的脸，并根据该识别结果来赋予人物ID。具体而言，分析盒1的CPU11的识别信息赋予部22使用上述矢量化模型来对不同帧图像中摄入的脸的图像进行矢量化，并根据这些矢量来求取基于这些图像的类似度的距离。然后，根据该距离，来识别这些图像中摄入的脸是否为相同的人的脸。在该例中，在上述距离的计算中使用Dist函数。
若更详细地说明，则分析盒1的CPU11的识别信息赋予部22如图7所示，针对不同帧图像33a、33b，将由上述脸检测模型70作为检测对象的脸的图像(以下，称为“脸图像”)57a、57b输入至矢量化模型(的DNN模型)，从而矢量化模型如图7所示，将上述脸图像57a、57b变换成矢量V1、V2进行输出。这些矢量V1、V2例如是128维的矢量。
若将从上述脸图像57a求出的矢量V1以及从脸图像57b求出的矢量V2输入至Dist函数，则在上述脸图像57a中摄入的脸58a与脸图像57b中摄入的脸58b是相同的人的脸的情况下，Dist函数的输出值小于给定的值(例如，15)。与之相对，在图7所示的例子的情况下，Dist函数的输出值(32)为给定的值(15)以上，因此脸图像57a中摄入的脸58a与脸图像57b中摄入的脸58b将成为不同的人的脸。在此，上述Dist函数是求取所输入的矢量间的距离的函数。
分析盒1的CPU11的识别信息赋予部22如上所述，识别各帧图像中摄入的脸是否为相同的人的脸，该识别的结果是，对相同的人的脸赋予相同的人物ID，对不同人的脸赋予不同的人物ID。此外，识别信息赋予部22可以将基于上述物体追踪处理的人物ID赋予以及基于上述矢量间距离的人物ID赋予进行组合。具体而言，关于基于物体追踪处理的人物ID赋予，在多个人物交叉时，发生ID赋予错误的可能性高，因此在多个人物的交差后，利用矢量间距离计算，来比较人物交差以前的各人物的矢量与人物交差后的各人物的矢量，并修正人物交差后的人物ID。
若上述S2的人物ID赋予处理结束，则分析盒1的CPU11的属性识别部23针对由人脸检测部21作为检测对象的帧图像中的脸(图像)，仅在针对该脸(图像)的分类结果为“肯定”(在图6的S3中为“是”)、且针对被赋予了与该脸(的人)相同的人物ID的脸还未进行性别和年龄的估计的情况下(在S4中为“是”)，使用性别和年龄估计模型65来进行针对上述脸(图像)的性别和年龄的估计(S5)。与之相对，分析盒1的CPU11的属性识别部23针对由人脸检测部21作为检测对象的帧图像中的脸(图像)，在针对该脸(图像)的分类结果为“否定”的情况下(在S3中为“否”)，或在针对被赋予了与该脸(的人)相同的人物ID的脸已进行性别和年龄的估计的情况下(在S4中为“否”)，不进行针对该脸(图像)的性别和年龄的估计处理(S6)。
即，仅在针对上述S2中所赋予的人物ID的脸还未进行性别和年龄的估计、且人脸检测部21检测为已被赋予该人物ID的脸是适用于性别和年龄估计的脸时，分析盒1的CPU11的属性识别部23进行针对该脸的性别和年龄的估计。
接下来，参照图8的流程图，针对图5的说明中讲述的学习服务器6的处理当中的、上述带注释信息的数据集39的创建处理的结束后的再学习用数据集40的创建处理和再学习处理的流动进行详述。学习服务器6的CPU31针对存放于带注释信息的数据集39的各帧图像，进行采用了在分析盒1通常运用时所使用的(学习完毕)脸检测模型64的脸检测处理(S11)。然后，与上述图6所示的分析盒1的通常运用时的性别和年龄估计的情况不同，学习服务器6的CPU31针对由上述脸检测模型64作为检测对象的帧图像中的脸(图像)，在与该脸(图像)对应的脸框一起输出的分类结果无论是“肯定”的情况还是“否定”的情况，均使用性别和年龄估计模型65来进行针对上述脸(图像)的性别和年龄估计(S12)。
接下来，学习服务器6的CPU31(的检测结果验证部66)将采用了上述通常运用时所使用的脸检测模型64以及性别和年龄估计模型65而得到的性别和年龄的估计结果与带注释信息的数据集39中所含的性别年龄标签(注释信息)的内容进行比较，开始采用了上述脸检测模型64以及性别和年龄估计模型65的性别和年龄的估计结果的验证(S13)。
在上述S13的估计结果的验证处理中，首先，学习服务器6的CPU31(的检测结果验证部66)首先在上述S11中判定(验证)基于脸检测模型64的脸检测是否已完成。具体而言，CPU31的检测结果验证部66判定(验证)脸检测模型64是否检测出在上述S11中由脸检测模型64作为脸检测的对象的(带注释信息的数据集39中的)帧图像中的脸框内的脸(图像)(S14)。
另外，在上述S14中判定为脸检测模型64的脸检测已完成的情况下(在S14中为“是”)，CPU31的检测结果验证部66判定(验证)上述S12中的(基于性别和年龄估计模型65的)性别和年龄的估计结果是否正确(S15)。具体而言，检测结果验证部66将上述S12中的(基于性别和年龄估计模型65的)性别和年龄的估计结果与带注释信息的数据集39中所含的性别年龄标签(采用了学习完毕的高精度性别和年龄估计模型63而得到的性别和年龄的估计结果即注释信息)进行比较，并根据这些内容(性别和年龄的估计结果)中是否存在差，来判定(验证)基于性别和年龄估计模型65而得到的性别和年龄的估计结果是否正确。
例如，在通过性别和年龄估计模型65估计出的性别与注释信息(性别年龄标签)中的性别相同、且通过性别和年龄估计模型65估计出的年龄和注释信息(性别年龄标签)中的年龄进入相同的年龄层的情况下，检测结果验证部66判定为基于性别和年龄估计模型65而得到的性别和年龄的估计结果正确。反之，在通过性别和年龄估计模型65估计出的性别与注释信息中的性别不同、或通过性别和年龄估计模型65估计出的年龄与注释信息中的年龄未进入相同的年龄层的情况下，检测结果验证部66判定为基于性别和年龄估计模型65而得到的性别和年龄的估计结果不正确(错误)。
然后，学习服务器6的CPU31(的再学习用数据集编辑部67)根据上述S14以及S15的判定(验证)结果，来对脸检测模型64的再学习用数据集40的正确答案标签(Positive(肯定的)或Negative(否定的))进行编辑。
具体而言，CPU31(的再学习用数据集编辑部67)在上述S14的判定中判定为已完成基于脸检测模型64的脸检测(在S14中为“是”)、且在S15的判定中判定为基于性别和年龄估计模型65而得到的性别和年龄的估计结果正确的情况下(在S15中为“是”)，对由上述脸检测模型64作为检测对象的、(带注释信息的数据集39中所含的)帧图像所附的脸框附加“肯定”的标签(S16)，并将该脸框和附加有“肯定”的标签的帧图像(的数据)存放至再学习用数据集40。
另外，在上述S14的判定中判定为未完成基于脸检测模型64的脸检测的情况下(在S14中为“否”)，或在S15的判定中判定为基于性别和年龄估计模型65而得到的性别和年龄的估计结果错误(不正确)的情况下(在S15中为“否”)，CPU31(的再学习用数据集编辑部67)将由上述脸检测模型64作为检测对象的、(带注释信息的数据集39中所含的)帧图像所附的脸框附加“否定”的标签(S17)，并将该脸框和附加有“否定”的标签的帧图像(的数据)存放至再学习用数据集40。
学习服务器6的CPU31(的再学习用数据集编辑部67)通过进行上述那样的再学习用数据集40的编辑处理，来创建(编辑)脸框以及附加有“肯定”/“否定”的标签的脸检测模型64用的(再)学习用数据集即再学习用数据集40。然后，学习服务器6的CPU31的再学习部68使用上述再学习用数据集40来进行上述脸检测模型64的再学习(S18)。由此，能够得到在上述图6所示的分析盒1的通常运用时的脸检测处理(S1)中使用的(能将适用于性别和年龄估计的脸检测为“肯定”)脸检测模型70。
如上所述，根据本实施方式的属性识别系统10以及记录有属性识别程序55的计算机可读硬盘12，仅在针对已被赋予人物ID的脸还未进行性别和年龄的估计、且人脸检测部21检测为已被赋予人物ID的脸是适用于性别和年龄估计的脸时，进行针对该脸的性别和年龄的估计。由此，仅从一个帧图像中摄入的适用于性别和年龄的估计的脸，就能准确地进行性别和年龄的估计。因此，与上述专利文献1记载的现有的系统不同，能减小性别、年龄等属性的识别处理的负荷。
另外，根据本实施方式的属性识别系统10，学习服务器6使用学习完毕的脸检测模型64来检测适用于性别和年龄的估计的脸，并根据该检测结果的验证结果来对脸检测模型64的再学习用数据集40的正确答案标签进行编辑。然后，学习服务器6能使用编辑后的再学习用数据集40来进行学习完毕的脸检测模型64的再学习。通过该再学习后的脸检测模型70，能从帧图像中摄入的脸之中高精度地检测适用于性别和年龄的估计的脸。因此，仅从通过该再学习后的脸检测模型70而检测为适用于性别和年龄的估计的一个帧图像中的脸，就能准确地进行性别和年龄的估计。
另外，根据本实施方式的属性识别系统10，学习服务器6的CPU31自动地验证基于学习完毕的脸检测模型64而得到的适用于性别和年龄的估计的脸的检测结果，并根据该验证结果，来自动地赋予脸检测模型64的再学习用数据集40的正确答案标签。由此，学习服务器6的CPU31能自动地编辑(创建)脸检测模型64的再学习用数据集40。
另外，根据本实施方式的属性识别系统10，学习服务器6的CPU31根据基于脸检测模型64而得到的适用于性别和年龄的估计的脸的检测结果(主要是帧图像所附的脸框)以及基于性别和年龄估计模型65而得到的性别和年龄的估计结果，来验证基于脸检测模型64而得到的适用于性别和年龄的估计的脸的检测结果。由此，与仅根据基于脸检测模型64而得到的脸的检测结果以及基于性别和年龄估计模型65而得到的性别和年龄的估计结果当中的一者来验证基于脸检测模型64而得到的适用于性别和年龄的估计的脸的检测结果的情况相比，能更准确地验证基于脸检测模型64而得到的适用于性别和年龄的估计的脸的检测结果。
另外，根据本实施方式的属性识别系统10，学习服务器6的CPU31(的检测结果验证部66)将使用了能进行比通常运用时所使用的性别和年龄估计模型65更高精度的推理的学习完毕的高精度性别和年龄估计模型63而得到的性别和年龄的估计结果与基于性别和年龄估计模型65而得到的性别和年龄的估计结果进行比较，来验证基于脸检测模型64而得到的适用于性别和年龄的估计的脸的检测结果。由此，学习服务器6的CPU31能根据基于性别和年龄估计模型65而得到的性别和年龄的估计结果，来自动地验证基于脸检测模型64而得到的适用于性别和年龄的估计的脸的检测结果。
另外，根据本实施方式的学习服务器6，能够基于从帧图像中摄入的脸之中对适用于性别和年龄的估计的脸进行检测的学习完毕的脸检测模型64而得到的检测结果的验证结果，对脸检测模型64的再学习用数据集40的正确答案标签进行编辑，并使用编辑后的再学习用数据集40，来进行学习完毕的脸检测模型64的再学习。通过该再学习，再学习后的脸检测模型70能够从帧图像中摄入的脸之中高精度地检测适用于性别和年龄的估计的脸。因此，仅从由该再学习后的脸检测模型70检测为适用于性别和年龄的估计的一个帧图像中的脸，就能准确地进行性别和年龄的估计。
接下来，进行为将来的修改做准备的追记。
(1)如图5以及图3所示，本实施方式的属性识别系统10具备：学习用属性识别部69，其使用对针对帧图像中摄入的脸(的人)的属性进行识别的学习完毕物体识别用神经网络(性别和年龄估计模型65)，来识别该脸(的人)的属性；再学习部68，其进行上述学习完毕物体检测用神经网络(脸检测模型64)的再学习，以使从帧图像中摄入的脸之中检测适用于属性的识别的脸的学习完毕物体检测用神经网络(脸检测模型64)将学习用属性识别部69得到的属性的识别结果正确的脸检测为适用于上述属性的识别的脸；人脸检测部21，其使用再学习部68进行再学习后的学习完毕物体检测用神经网络，从对给定的拍摄区进行拍摄的1个以上的相机输入的帧图像中摄入的脸之中，检测适用于属性的识别的脸；识别信息赋予部22，其对由人脸检测部21作为检测对象的所述帧图像中摄入的脸进行识别，并按识别出的每个脸赋予识别信息；以及属性识别部23，其仅在针对已被赋予上述识别信息的脸还未进行上述属性的识别、且上述人脸检测部21检测出已被赋予上述识别信息的脸是适用于上述属性的识别的脸时，使用与上述学习用属性识别部(的性别和年龄估计模型65)同种类的学习完毕物体识别用神经网络来识别该脸的上述属性。
(2)如图5所示，上述属性识别系统10还具备再学习用数据集编辑部67，再学习用数据集编辑部67根据学习用属性识别部69得到的上述脸的属性的识别结果是否正确的验证结果，对上述学习完毕物体检测用神经网络(脸检测模型64)的再学习用数据集40的正确答案标签进行编辑，上述再学习部68使用再学习用数据集编辑部67进行编辑后的再学习用数据集40，来进行上述学习完毕物体检测用神经网络(脸检测模型64)的再学习。
(3)如图5所示，上述属性识别系统10还具备检测结果验证部66，检测结果验证部66通过验证学习用属性识别部69得到的脸的属性的识别结果是否正确，从而验证基于与人脸检测部21(参照图3)(的学习完毕物体检测用神经网络)同种类的学习完毕物体检测用神经网络(脸检测模型64)而得到的适用于上述属性的识别的脸的检测结果是否正确，上述再学习用数据集编辑部67根据检测结果验证部66得到的验证结果，来自动地赋予上述学习完毕物体检测用神经网络(脸检测模型64)的再学习用数据集40的正确答案标签。
(4)如图5所示，上述检测结果验证部66根据基于与人脸检测部21(参照图3)(的学习完毕物体检测用神经网络)同种类的学习完毕物体检测用神经网络(脸检测模型64)而得到的适用于上述属性的识别的脸的检测结果、以及学习用属性识别部69得到的上述属性的识别结果，来对基于与人脸检测部21同种类的学习完毕物体检测用神经网络(脸检测模型64)而得到的适用于上述属性的识别的脸的检测结果进行验证。
(5)如图5所示，检测结果验证部66将采用了能进行比学习用属性识别部69以及属性识别部23的学习完毕物体识别用神经网络更高精度的推理的学习完毕高精度物体识别用神经网络(高精度性别和年龄估计模型63)而得到的上述脸的属性的识别结果与学习用属性识别部69得到的上述属性的识别结果进行比较，来对基于与人脸检测部21同种类的学习完毕物体检测用神经网络(脸检测模型64)而得到的适用于上述属性的识别的脸的检测结果进行验证。
(6)如图5所示，学习服务器6具备：学习用属性识别部69，其使用对针对帧图像中摄入的脸的属性进行识别的学习完毕物体识别用神经网络(性别和年龄估计模型65)，来识别脸的属性；再学习用数据集编辑部67，其根据由学习用属性识别部69得到的脸的属性的识别结果是否正确的验证结果，来对从帧图像中摄入的脸之中检测适用于属性的识别的脸的学习完毕物体检测用神经网络(脸检测模型64)的再学习用数据集40的正确答案标签进行编辑；以及再学习部68，其使用再学习用数据集编辑部67进行编辑后的再学习用数据集40，进行上述学习完毕物体检测用神经网络(脸检测模型64)的再学习，使得上述学习完毕物体检测用神经网络(脸检测模型64)将学习用属性识别部69得到的上述属性的识别结果正确的脸检测为适用于上述属性的识别的脸。
(7)在记录有计算机程序(指令)的计算机可读记录介质(硬盘12)中，属性识别程序被CPU11(参照图2)执行时，如图6所示，执行如下步骤：人脸检测步骤(S1)，使用学习完毕物体检测用神经网络，从对给定的拍摄区进行拍摄的1个以上的相机输入的帧图像中摄入的脸之中，检测适用于属性的识别的脸；识别信息赋予步骤(S2)，对在上述人脸检测步骤中作为检测对象的帧图像中摄入的脸进行识别，并按识别出的每个脸来赋予识别信息(人物ID)；以及属性识别(性别和年龄估计)步骤(S5)，仅在针对已被赋予识别信息的脸还未进行属性的识别、且在人脸检测步骤中检测为已被赋予识别信息的脸是适用于属性的识别的脸时(在S3以及S4中为“是”)，使用性别和年龄估计模型65来识别该脸的属性。如图6所示，上述学习完毕物体检测用神经网络(脸检测模型70)是进行再学习使得将基于与属性识别部23的学习完毕物体识别用神经网络同种类的学习完毕物体识别用神经网络(性别和年龄估计模型65)而得到的属性的识别结果正确的脸检测为适用于属性的识别的脸(“肯定”)的学习完毕物体检测用神经网络。
变形例：
此外，本发明不限于上述各实施方式的构成，能在不变更发明的主旨的范围内进行各种变形。接下来，说明本发明的变形例。
变形例1：
在上述实施方式中，学习服务器6的CPU31将采用了能进行精度高的推理的学习完毕的高精度性别和年龄估计模型63的性别和年龄的估计结果(注释信息)与采用了通常运用时所使用的性别和年龄估计模型65而得到的性别和年龄的估计结果进行比较，并验证基于上述性别和年龄估计模型65而得到的性别和年龄的估计结果，从而验证基于脸检测模型64而得到的检测结果，且根据该验证结果来自动地赋予脸检测模型64的再学习用数据集40的正确答案标签(“肯定”或“否定”)。但不限于此，例如，学习服务器6的CPU31可以如图9所示，具备能进行比通常运用时所使用的脸检测模型64更高精度的推理的学习完毕的高精度脸检测模型72(技术方案中的“学习完毕高精度物体检测用神经网络”)，并根据基于该高精度脸检测模型72而得到的检测结果，来向再学习用数据集40(内的图像)自动地赋予正确答案标签。
在该变形例中，例如，如图9所示，学习服务器6的CPU31通过通信部36(参照图4)从分析盒1的图像发送部56接收基于通常运用时所使用的脸检测模型64而得到的脸检测结果、以及作为该脸检测处理的对象的帧图像(数据)，并根据接收到的数据来创建由带脸框的帧图像构成的原始数据集71。然后，学习服务器6的CPU31通过上述高精度脸检测模型72来检测存放于原始数据集71的各帧图像，并将基于该高精度脸检测模型72而得到的高精度的脸检测结果(脸框以及“肯定”/“否定”的分类结果)认定为正确的脸检测结果，来进行检测结果验证部66所执行的验证。然后，根据该验证结果(准确地说，基于高精度脸检测模型72的脸检测结果)，再学习用数据集编辑部67自动地赋予脸检测模型64的再学习用数据集40的正确答案标签。即，通过对由上述高精度脸检测模型72作为脸检测处理的对象的各帧图像附加高精度脸检测模型72得到的脸检测结果(脸框以及“肯定”/“否定”的标签)，来创建再学习用数据集40。
此外，如上所述，在将原始数据集71不由从分析盒1接收到的、带脸框的帧图像构成，而是将原始数据集71由从分析盒1接收到的带脸框和“肯定”/“否定”的标签的帧图像构成，且基于高精度脸检测模型72而得到的脸检测结果(脸框以及“肯定”/“否定”的分类结果)与从分析盒1接收到的(脸检测模型64的)脸检测结果不同的情况下，可以将利用基于高精度脸检测模型72的脸检测结果对原始数据集71中的脸检测结果(脸框以及“肯定”/“否定”的标签)进行修正后的数据存放至再学习用数据集40。
变形例2：
在上述实施方式中，学习服务器6的CPU31的检测结果验证部66将基于性别和年龄估计模型65而得到的性别和年龄的估计结果与带注释信息的数据集39中所含的性别年龄标签(采用了学习完毕的高精度性别和年龄估计模型63的性别和年龄的估计结果即注释信息)进行比较，并根据在这些内容(性别和年龄的估计结果)中是否存在差，来判定(验证)基于性别和年龄估计模型65而得到的性别和年龄的估计结果是否正确，从而对基于脸检测模型64而得到的适用于性别和年龄估计的脸的检测结果进行验证，且根据该验证结果，由CPU31的再学习用数据集编辑部67自动地编辑(赋予)脸检测模型64的再学习用数据集40的正确答案标签(“肯定”或“否定”)。但不限于此，还可以由系统管理者等的人判定基于性别和年龄估计模型而得到的性别和年龄的估计结果是否正确(由人对基于脸检测模型而得到的适用于性别和年龄估计的脸的检测结果进行验证)，并根据该判定(验证)结果，由系统管理者等的人对脸检测模型的再学习用数据集的正确答案标签进行编辑(手输入)。
变形例3：
在上述实施方式中，示出了分析盒1的CPU11的属性识别部23进行针对由人脸检测部21检测出的脸(的人)的性别以及年龄的估计的情况的例子，但不限于此，例如，分析盒的CPU的属性识别部可以从由人检测部检测出的人物区域中识别服装、随身物品等为了对个人进行识别而有用的属性。由此，能将本发明的属性识别系统例如应用于对持有购物篮的人进行检测(识别)的属性识别系统、进行店员与顾客的分类的属性识别系统。
变形例4：
在上述实施方式中，分析盒1的CPU11构成为具备人脸检测部21、识别信息赋予部22和属性识别部23，但不限于该构成，例如，还可以将配置于各店铺的相机设为具有所谓的边缘计算功能的AI(Artificial Intelligence)相机，在该AI相机中安装包含学习完毕的脸检测模型、学习完毕的性别和年龄估计模型及矢量化模型、以及记载有这些NN模型的处理的顺序的控制用脚本在内的应用包，使得AI相机具备上述人脸检测部、识别信息赋予部以及属性识别部的功能。另外，可以在属性识别系统中所含的分析盒以外的计算机中安装上述应用包，使得该计算机具备上述人脸检测部、识别信息赋予部以及属性识别部的功能。
变形例5：
在上述实施方式中，示出了属性识别系统10在云端C上具备学习服务器6、AI分析服务器7和管理服务器8的情况下的例子，但属性识别系统的构成不限于此，例如，在云端上还可以具备学习服务器和管理服务器，也可以仅具备学习服务器。
(标号说明)
1 分析盒(计算机)
2 网络相机(相机)
6 学习服务器
10 属性识别系统
12 硬盘(计算机可读记录介质)
21 人脸检测部
22 识别信息赋予部
23 属性识别部
40 再学习用数据集
55 属性识别程序(计算机程序)
63 高精度性别和年龄估计模型(学习完毕高精度物体识别用神经网络)
64 脸检测模型(学习完毕物体检测用神经网络)
65 性别和年龄估计模型(学习完毕物体识别用神经网络)
66 检测结果验证部
67 再学习用数据集编辑部
68 再学习部
70 脸检测模型(再学习后的“学习完毕物体检测用神经网络”)
72 高精度脸检测模型(学习完毕高精度物体检测用神经网络)。

Claims (12)

1.一种属性识别系统，具备：
人脸检测部，其从帧图像中摄入的人或脸之中检测适用于属性的识别的人或脸，所述帧图像是从对给定的拍摄区进行拍摄的1个以上的相机输入的；
识别信息赋予部，其对由所述人脸检测部作为检测对象的所述帧图像中摄入的人或脸进行识别，并按识别出的人或脸的每一个来赋予识别信息；以及
属性识别部，其仅在针对已被赋予所述识别信息的人或脸还未进行所述属性的识别、且所述人脸检测部检测为已被赋予所述识别信息的人或脸是适用于所述属性的识别的人或脸时，识别该人或脸的所述属性。
2.根据权利要求1所述的属性识别系统，其中，
所述人脸检测部使用学习完毕物体检测用神经网络，来检测适用于所述属性的识别的人或脸，
所述属性识别系统还具备：
再学习用数据集编辑部，其根据由所述人脸检测部得到的适用于所述属性的识别的人或脸的检测结果的验证结果，来对所述学习完毕物体检测用神经网络的再学习用数据集的正确答案标签进行编辑；以及
再学习部，其使用所述再学习用数据集编辑部进行编辑后的再学习用数据集，来进行所述学习完毕物体检测用神经网络的再学习。
3.根据权利要求2所述的属性识别系统，其中，
所述属性识别系统还具备检测结果验证部，所述检测结果验证部对由所述人脸检测部得到的适用于所述属性的识别的人或脸的检测结果进行验证，
所述再学习用数据集编辑部根据由所述检测结果验证部得到的所述验证结果，来自动地赋予所述学习完毕物体检测用神经网络的再学习用数据集的正确答案标签。
4.根据权利要求3所述的属性识别系统，其中，
所述检测结果验证部根据由所述人脸检测部得到的适用于所述属性的识别的人或脸的检测结果、以及由所述属性识别部得到的所述属性的识别结果，来对由所述人脸检测部得到的适用于所述属性的识别的人或脸的检测结果进行验证。
5.根据权利要求3所述的属性识别系统，其中，
所述检测结果验证部使用能进行比所述学习完毕物体检测用神经网络更高精度的推理的学习完毕高精度物体检测用神经网络，来对由所述人脸检测部得到的适用于所述属性的识别的人或脸的检测结果进行验证，
所述再学习用数据集编辑部根据基于所述学习完毕高精度物体检测用神经网络而得到的检测结果，来向所述再学习用数据集内的图像自动地赋予正确答案标签。
6.根据权利要求3所述的属性识别系统，其中，
所述属性识别部使用学习完毕物体识别用神经网络来识别所述人或脸的属性，
所述检测结果验证部将使用能进行比所述学习完毕物体识别用神经网络更高精度的推理的学习完毕高精度物体识别用神经网络而得到的所述人或脸的属性的识别结果与基于所述学习完毕物体识别用神经网络而得到的所述属性的识别结果进行比较，来对由所述人脸检测部得到的适用于所述属性的识别的人或脸的检测结果进行验证。
7.根据权利要求4所述的属性识别系统，其中，
所述属性识别部使用学习完毕物体识别用神经网络来识别所述人或脸的属性，
所述检测结果验证部将使用能进行比所述学习完毕物体识别用神经网络更高精度的推理的学习完毕高精度物体识别用神经网络而得到的所述人或脸的属性的识别结果与基于所述学习完毕物体识别用神经网络而得到的所述属性的识别结果进行比较，来对由所述人脸检测部得到的适用于所述属性的识别的人或脸的检测结果进行验证。
8.根据权利要求1至7中任一项所述的属性识别系统，其中，
所述属性是性别以及年龄。
9.一种学习服务器，具备再学习用数据集编辑部和再学习部，
所述再学习用数据集编辑部根据从帧图像中摄入的人或脸之中检测适用于属性的识别的人或脸的学习完毕物体检测用神经网络的检测结果的验证结果，来对所述学习完毕物体检测用神经网络的再学习用数据集的正确答案标签进行编辑，所述帧图像是从对给定的拍摄区进行拍摄的1个以上的相机输入的，
所述再学习部使用所述再学习用数据集编辑部进行编辑后的再学习用数据集，来进行所述学习完毕物体检测用神经网络的再学习。
10.根据权利要求9所述的学习服务器，其中，
所述属性是性别以及年龄。
11.一种计算机可读记录介质，记录有计算机程序，
在该计算机程序被处理器执行时，执行如下步骤：
人脸检测步骤，从帧图像中摄入的人或脸之中检测适用于属性的识别的人或脸，所述帧图像是从对给定的拍摄区进行拍摄的1个以上的相机输入的；
识别信息赋予步骤，对在所述人脸检测步骤中作为检测对象的所述帧图像中摄入的人或脸进行识别，并按识别出的人或脸的每一个来赋予识别信息；以及
属性识别步骤，仅在针对已被赋予所述识别信息的人或脸还未进行所述属性的识别、且在所述人脸检测步骤中检测为已被赋予所述识别信息的人或脸是适用于所述属性的识别的人或脸时，识别该人或脸的所述属性。
12.根据权利要求11所述的计算机可读记录介质，其中，
所述属性是性别以及年龄。
CN202010622274.XA 2019-07-03 2020-06-30 属性识别系统、学习服务器以及计算机可读记录介质 Pending CN111860223A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-124301 2019-07-03
JP2019124301A JP6651085B1 (ja) 2019-07-03 2019-07-03 属性認識システム、学習サーバ、及び属性認識プログラム

Publications (1)

Publication Number Publication Date
CN111860223A true CN111860223A (zh) 2020-10-30

Family

ID=69568334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010622274.XA Pending CN111860223A (zh) 2019-07-03 2020-06-30 属性识别系统、学习服务器以及计算机可读记录介质

Country Status (3)

Country Link
US (1) US11544960B2 (zh)
JP (1) JP6651085B1 (zh)
CN (1) CN111860223A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11562614B2 (en) * 2017-12-25 2023-01-24 Yi Tunnel (Beijing) Technology Co., Ltd. Method, a device and a system for checkout

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008310392A (ja) * 2007-06-12 2008-12-25 Yamaha Motor Co Ltd 人物属性識別装置及びその方法
JP4778532B2 (ja) 2008-03-17 2011-09-21 Ｎｅｃソフト株式会社 顧客情報収集管理システム
JP5286574B2 (ja) * 2010-01-08 2013-09-11 日本電信電話株式会社 オブジェクト検出認識装置、オブジェクト検出認識方法、および、プログラム
JP5272214B2 (ja) * 2010-04-30 2013-08-28 日本電信電話株式会社 広告効果指標測定装置、広告効果指標測定方法およびプログラム
US9053356B2 (en) * 2010-10-22 2015-06-09 Nec Solution Innovators, Ltd. Attribute determining method, attribute determining apparatus, program, recording medium, and attribute determining system
JP5840083B2 (ja) * 2012-07-04 2016-01-06 三菱電機株式会社 画像処理装置
JP6417664B2 (ja) * 2013-12-27 2018-11-07 沖電気工業株式会社 人物属性推定装置、人物属性推定方法及びプログラム
JP6476589B2 (ja) * 2014-05-15 2019-03-06 カシオ計算機株式会社 年齢推定装置、撮像装置、年齢推定方法及びプログラム
JP2018041273A (ja) * 2016-09-07 2018-03-15 キヤノン株式会社 画像認識装置、画像認識装置の制御方法およびプログラム
WO2018071424A1 (en) * 2016-10-10 2018-04-19 University Of Maryland, College Park All-in-one convolutional neural network for face analysis
JP6969878B2 (ja) * 2017-03-13 2021-11-24 パナソニック株式会社 識別器学習装置および識別器学習方法
US20180373980A1 (en) * 2017-06-27 2018-12-27 drive.ai Inc. Method for training and refining an artificial intelligence
JP6907774B2 (ja) * 2017-07-14 2021-07-21 オムロン株式会社 物体検出装置、物体検出方法、およびプログラム

Also Published As

Publication number Publication date
US20210004568A1 (en) 2021-01-07
JP6651085B1 (ja) 2020-02-19
JP2021009645A (ja) 2021-01-28
US11544960B2 (en) 2023-01-03

Similar Documents

Publication Publication Date Title
US10579860B2 (en) Learning model for salient facial region detection
CN110570389B (zh) 车辆损伤识别方法及装置
US9600711B2 (en) Method and system for automatically recognizing facial expressions via algorithmic periocular localization
EP3002710A1 (en) System and method for object re-identification
US20130121590A1 (en) Event detection apparatus and event detection method
US9589351B2 (en) System and method for pet face detection
CN111325260B (zh) 数据处理方法及装置、电子设备、计算机可读介质
US11599983B2 (en) System and method for automated electronic catalogue management and electronic image quality assessment
CN113313053B (zh) 图像处理方法、装置、设备、介质及程序产品
US9977950B2 (en) Decoy-based matching system for facial recognition
US11915519B2 (en) Information processing system, method for managing object to be authenticated, and program
US20210034842A1 (en) Method, electronic device, and computer readable medium for image identification
US20220012502A1 (en) Activity detection device, activity detection system, and activity detection method
US11380133B2 (en) Domain adaptation-based object recognition apparatus and method
US11423262B2 (en) Automatically filtering out objects based on user preferences
CN111860223A (zh) 属性识别系统、学习服务器以及计算机可读记录介质
US10007842B2 (en) Same person determination device and method, and control program therefor
US20220375202A1 (en) Hierarchical sampling for object identification
US20220261642A1 (en) Adversarial example detection system, method, and program
JP2018036870A (ja) 画像処理装置及びプログラム
Mathews et al. “Am I your sibling?” Inferring kinship cues from facial image pairs
US20230377188A1 (en) Group specification apparatus, group specification method, and computer-readable recording medium
Goldmann et al. Robust face detection based on components and their topology
JP2021125040A (ja) 帳票仕分システム、帳票仕分方法、及びプログラム
CN116884062A (zh) 图片处理方法、图片处理设备、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination