CN115867949A - 脸部构造推定装置、脸部构造推定方法以及脸部构造推定程序 - Google Patents

脸部构造推定装置、脸部构造推定方法以及脸部构造推定程序 Download PDF

Info

Publication number
CN115867949A
CN115867949A CN202180042275.XA CN202180042275A CN115867949A CN 115867949 A CN115867949 A CN 115867949A CN 202180042275 A CN202180042275 A CN 202180042275A CN 115867949 A CN115867949 A CN 115867949A
Authority
CN
China
Prior art keywords
face
face image
unit
face structure
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180042275.XA
Other languages
English (en)
Inventor
金在喆
林佑介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of CN115867949A publication Critical patent/CN115867949A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

脸部构造推定装置具有控制部(13)。控制部(13)将表示脸部图像与该脸部图像的构造的关系的参数存储为学习数据。控制部(13)学习第一脸部图像和与第一脸部图像对应的脸部的构造的关系。控制部(13)学习规定的人的第二脸部图像和与第二脸部图像对应的脸部的构造的关系。控制部(13)学习使用红外线检测出的规定的人的第二脸部图像和与第二脸部图像对应的脸部的构造的关系。

Description

脸部构造推定装置、脸部构造推定方法以及脸部构造推定 程序
相关申请的相互参照
本申请主张2020年6月19日在日本进行专利申请的日本特愿2020-106437的优先权，并将该在先申请的全部公开内容援引于此用于参照。
技术领域
本发明涉及脸部构造推定装置、脸部构造推定方法以及脸部构造推定程序。
背景技术
正在研究根据车内的驾驶员的状态来执行多种功能的装置等，例如对存在睡意的乘员进行督促休息或转换成自动驾驶等的装置。在这样的装置中，要求简易地识别乘员的状态。正在研究通过推定与状态相应的脸部构造来掌握如乘员这些人的状态。例如，已知一种通过深度学习从脸部图像推定脸部构造的技术(参照专利文献1)。
现有技术文献
专利文献
专利文献1：国际公开2019-176994号公报
发明内容
为了解决上述的诸多问题，基于第一观点的脸部构造推定装置，具有将表示脸部图像与该脸部图像的构造的关系的参数存储为学习数据的推定部，其中，
所述推定部学习包含RGB的信息的第一脸部图像和与该第一脸部图像对应的脸部的构造的关系，
所述推定部学习包含RGB的信息的规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系，
所述推定部学习使用红外线检测出的规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系。
基于另一个观点的脸部构造推定装置，其中，
具有：
获取部，获取包含第一频带成分的第一脸部图像、以及包含第二频带成分的第二脸部图像；以及
控制部，输出所述第二脸部图像的脸部构造，
所述控制部作为以下功能部发挥功能：
识别部，基于所述获取部获取到的所述第二脸部图像来识别该第二脸部图像的个人；
通用推定部，基于所述获取部获取到的所述第一脸部图像来推定该第一脸部图像的脸部构造；
通用评价部，计算所述通用推定部推定的脸部构造的妥当性；
第一个人用推定部，使所述通用推定部推定基于所述获取部获取的新的对象者的第一脸部图像的该第一脸部图像的脸部构造，使所述通用评价部计算该脸部构造的妥当性，筛选该妥当性为第一阈值以上的脸部构造，通过使用了筛选出的脸部构造以及与该脸部构造对应的第一脸部图像的学习进行构建；
专用评价部，使用所述第一个人用推定部基于与该筛选出的脸部构造对应的第一脸部图像所推定的脸部构造、以及所述通用评价部基于该脸部构造以及与该脸部构造对应的第一脸部图像所计算的妥当性进行学习；以及
第二个人用推定部，使所述第一个人用推定部推定基于所述获取部获取的所述新的对象者的第二脸部图像的该第二脸部图像的脸部构造，使所述专用评价部计算该脸部构造的妥当性，筛选该妥当性为第二阈值以上的脸部构造，通过使用了筛选出的脸部构造以及与该脸部构造对应的第二脸部图像的学习而构建为该新的对象者用，在构建后，在所述识别部将所述获取部获取的第二脸部图像的个人识别为该新的对象者的情况下，基于该第二脸部图像来推定并输出脸部构造。
基于第二观点的脸部构造推定方法，其中，包括：
第一学习工序，将表示脸部图像与该脸部图像的构造的关系的参数存储为学习数据的推定部，学习包含RGB的信息的第一脸部图像和与该第一脸部图像对应的脸部的构造的关系；
第二学习工序，所述推定部学习包含RGB的信息的、规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系；
第三学习工序，所述推定部学习使用红外线检测出的、规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系。
基于另一个观点的脸部构造推定方法，其中，
包括：
获取工序，获取包含第一频带的成分的第一脸部图像、以及包含第二频带的成分的第二脸部图像；以及
输出工序，输出所述第二脸部图像的脸部构造，
所述输出工序包括：
识别工序，基于在所述获取工序中获取到的所述第二脸部图像，来识别该第二脸部图像的个人；
通用推定工序，基于在所述获取工序中获取到的所述第一脸部图像，来推定该第一脸部图像的脸部构造；
通用评价工序，计算在所述通用推定工序中推定出的脸部构造的妥当性；
第一个人用推定工序，在所述通用推定工序中推定基于在所述获取工序中获取的新的对象者的第一脸部图像的该第一脸部图像的脸部构造，在所述通用评价工序中计算该脸部构造的妥当性，筛选该妥当性为第一阈值以上的脸部构造，通过使用了筛选出的脸部构造以及与该脸部构造对应的第一脸部图像的学习进行构建；
专用评价工序，使用在所述第一个人用推定工序中基于与该筛选出的脸部构造对应的第一脸部图像所推定出的脸部构造、以及在所述通用评价工序中基于该脸部构造以及与该脸部构造对应的第一脸部图像所计算出的妥当性进行学习；以及
第二个人用推定工序，在所述第一个人用推定工序中推定基于在所述获取工序中获取的所述新的对象者的第二脸部图像的该第二脸部图像的脸部构造，在所述专用评价工序中计算该脸部构造的妥当性，筛选该妥当性为第二阈值以上的脸部构造，通过使用了筛选出的脸部构造以及与该脸部构造对应的第二脸部图像的学习而构建为该新的对象者用，在构建后，在所述识别工序中将在所述获取工序中获取到的第二脸部图像的个人识别为该新的对象者的情况下，基于该第二脸部图像来推定并输出脸部构造。
基于第三观点的脸部构造推定程序，其中，
使示出表示包含RGB的信息的第一脸部图像和与该第一脸部图像对应的脸部的构造的关系的参数的推定部执行：
第一学习工序，学习包含RGB的信息的第一脸部图像和与该第一脸部图像对应的脸部的构造的关系；
第二学习工序，学习包含RGB的信息的规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系；
第三学习工序，学习使用红外线检测出的规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系。
基于另一个观点的脸部构造推定程序，其中，
使计算机包括：
获取部，获取包含第一频带的成分的第一脸部图像、以及包含第二频带的成分的第二脸部图像；以及
控制部，输出所述第二脸部图像的脸部构造，
所述控制部作为以下功能部发挥功能：
识别部，基于所述获取部获取到的所述第二脸部图像来识别该第二脸部图像的个人；
通用推定部，基于所述获取部获取到的所述第一脸部图像来推定该第一脸部图像的脸部构造；
通用评价部，计算所述通用推定部推定的脸部构造的妥当性；
第一个人用推定部，使所述通用推定部推定基于所述获取部获取的新的对象者的第一脸部图像的该第一脸部图像的脸部构造，使所述通用评价部计算该脸部构造的妥当性，筛选该妥当性为第一阈值以上的脸部构造，通过使用了筛选出的脸部构造以及与该脸部构造对应的第一脸部图像的学习进行构建；
专用评价部，使用所述第一个人用推定部基于与该筛选出的脸部构造对应的第一脸部图像所推定的脸部构造、以及所述通用评价部基于该脸部构造以及与该脸部构造对应的第一脸部图像所计算的妥当性进行学习；以及
第二个人用推定部，使所述第一个人用推定部推定基于所述获取部获取的所述新的对象者的第二脸部图像的该第二脸部图像的脸部构造，使所述专用评价部计算该脸部构造的妥当性，筛选该妥当性为第二阈值以上的脸部构造，通过使用了筛选出的脸部构造以及与该脸部构造对应的第二脸部图像的学习而构建为该新的对象者用，在构建后，在所述识别部将所述获取部获取的第二脸部图像的个人识别为该新的对象者的情况下，基于该第二脸部图像来推定并输出脸部构造。
附图说明
图1是表示本实施方式的脸部构造推定装置的概略结构的框图。
图2是表示在图1的控制部中构建的功能块的概略结构的框图。
图3是说明用于一次地构建图2的通用推定部的学习的概念图。
图4是对图2的通用推定部进行的基于脸部构造和带标签的脸部构造来计算作为正确回答的妥当性的方法进行说明的概念图。
图5是说明用于一次地构建图2的通用评价部的学习的概念图。
图6是说明用于二次地构建图2的通用推定部的脸部图像和虚拟的带标签的脸部构造的组的生成的概念图。
图7是说明用于二次地构建图2的通用推定部的学习的概念图。
图8是对图2的通用推定部进行的基于脸部构造和虚拟的带标签的脸部构造来计算作为正确回答的妥当性的方法进行说明的概念图。
图9是说明用于二次地构建图2的通用评价部的学习的概念图。
图10是说明用于构建图2的识别部的学习的概念图。
图11是说明用于构建图2的第一个人用推定部的脸部图像和虚拟的带标签的脸部构造的组的生成的概念图。
图12是说明用于构建图2的第一个人用推定部的学习的概念图。
图13是对图2的第一个人用推定部进行的基于脸部构造和虚拟的带标签的脸部构造来计算作为正确回答的妥当性的方法进行说明的概念图。
图14是说明用于构建图2的专用评价部的学习的概念图。
图15是说明用于构建图2的第二个人用推定部的脸部图像和虚拟的带标签的脸部构造的组的生成的概念图。
图16是说明用于构建图2的第二个人用推定部的学习的概念图。
图17是用于说明图1的控制部所执行的构建处理的第一流程图。
图18是用于说明图1的控制部所执行的构建处理的第二流程图。
图19是用于说明图1的控制部所执行的推定处理的流程图。
具体实施方式
以下，参照附图对应用了本公开的脸部构造推定装置的实施方式进行说明。需要说明的是，以下的应用了本公开的脸部构造推定装置的实施方式的说明兼作应用了本公开的脸部构造推定方法以及脸部构造推定程序的实施方式的说明。
本公开的一个实施方式的脸部构造推定装置例如设置于移动体。移动体可以包括例如车辆、船舶、以及飞机等。车辆例如可以包括汽车、工业车辆、铁道车辆、生活车辆、以及行驶在跑道上的固定翼机等。汽车可以包括例如乘用车、卡车、公共汽车、摩托车、以及无轨电车等。工业车辆可以包括例如面向农业以及面向建设的工业车辆等。工业车辆可以包括例如叉车以及高尔夫球车等。面向农业的工业车辆可以包括例如拖拉机、耕种机、插秧机、收割扎束机、联合收割机、以及割草机等。面向建设的工业车辆可以包括例如推土机、铲土机、铲车、吊车、翻斗车、以及压路机等。车辆可以包括靠人力行驶的车辆。车辆的分类不限于上述。例如，汽车可以包括能够在道路行驶的工业车辆。多种分类可以包括相同的车辆。船舶可以包括例如海上喷气机、船、以及邮轮等。飞机可以包括例如固定翼机以及旋转翼机等。
如图1所示，本公开的一个实施方式的脸部构造推定装置10构成为包括获取部11、存储器12、以及控制部13。
获取部11获取例如由第一摄像头14拍摄到的乘员的脸部的图像即第一脸部图像。第一摄像头14例如能够拍摄第一频带的成分的图像，该第一频带是包含RGB等原色或补色的可见光区域的至少一部分。因此，第一脸部图像包括第一频带的成分。获取部11例如获取由第二摄像头15拍摄到的乘员的脸部的图像即第二脸部图像。第二摄像头15例如能够拍摄第二频带的成分的图像，该第二频带既是近红外等的红外区域中的至少一部分又是与第一频带不同的频带。因此，第二脸部图像包含第二频带的成分。第二摄像头15也可以将第二频带的光向拍摄对象照射。
第一摄像头14以及第二摄像头15例如安装于能够拍摄位于驾驶席等移动体的特定位置的乘员的脸部周边的位置。另外，第一摄像头14以及第二摄像头15例如以30fps对脸部图像进行拍摄。
存储器12例如包括RAM(Random Access Memory：随机存取存储器)以及ROM(ReadOnly Memory：只读存储器)等任意的存储设备。存储器12存储使控制部13发挥功能的各种程序、以及控制部13所使用的各种信息。
控制部13包括一个以上的处理器以及存储器。处理器可以包括读取特定的程序并执行特定的功能的通用的处理器、以及专用于特定的处理的专用的处理器。专用的处理器可以包括专用集成电路(ASIC；Application Specific Integrated Circuit)。处理器可以包括可编辑逻辑器件(PLD；Programmable Logic Device)。PLD可以包括现场可编程门阵列(FPGA；Field-Programmable Gate Array)。控制部13也可以是一个或者多个处理器协作的片上系统(SoC；System-on-a-Chip)以及单封装系统(SiP；System In a Package)中的任意一个。控制部13控制脸部构造推定装置10的各构成要素的动作。
控制部13在通常时使第二摄像头15进行拍摄。控制部13将获取部11获取到的第二脸部图像的脸部构造向外部设备16输出。脸部构造是将根据人的状态而变化的表情等进行特定的特征，例如是在像下颚尖等这样的脸部的轮廓上定义的点的集合体、在像内眼角以及外眼角这样的眼睛的轮廓上定义的点的集合体、在从鼻尖到鼻根的鼻梁上定义的点的集合体等。
如后所述，在拍摄新的乘员(对象者)的情况下，控制部13使第一摄像头14以及第二摄像头15例如以30fps进行拍摄，获取多个第一脸部图像以及第二脸部图像。控制部13使用新的乘员的第一脸部图像以及第二脸部图像进行学习，以能够推定该新的乘员的脸部构造。
以下，对由控制部13进行的脸部构造的输出以及学习进行详细说明。如图2所示，如以下说明那样，控制部13作为识别部17、第二个人用推定部18、通用推定部19、通用评价部20、第一个人用推定部21、以及专用评价部22发挥功能。
识别部17基于获取部11获取到的第二脸部图像来识别该第二脸部图像的个人。识别部17例如由多层结构的神经网络构成。如后所述，识别部17通过实施监督学习来构建。
如后所述，第二个人用推定部18按个人来分别构建。从构建完毕的第二个人用推定部18中选择与识别部17基于第二脸部图像进行识别的个人对应的单一的第二个人用推定部18。该第二个人用推定部18基于在识别部17的识别中使用的第二脸部图像，来推定该个人的脸部构造。第二个人用推定部18推定出的脸部构造从控制部13输出。第二个人用推定部18例如由多层结构的神经网络构成。如后所述，第二个人用推定部18通过实施监督学习来构建。
通用推定部19基于获取部11获取到的不特定的个人的第一脸部图像，来推定该第一脸部图像的脸部构造。如后所述，通用推定部19被用于第一个人用推定部21以及专用评价部22的构建。通用推定部19例如由多层结构的神经网络构成。如后所述，通用推定部19通过实施监督学习来构建。
通用评价部20对通用推定部19推定出的第一脸部构造的妥当性进行计算。如后所述，通用评价部20被用于第一个人用推定部21以及专用评价部22的构建。通用评价部20例如由多层结构的神经网络构成。通用评价部20通过实施监督学习来构建。
如后所述，第一个人用推定部21按个人来分别构建。从构建完毕的第一个人用推定部21中选择与识别部17基于第二脸部图像进行识别的个人对应的单一的第一个人用推定部21。该第一个人用推定部21基于在识别部17的识别中使用的第二脸部图像，来推定该第二脸部图像的脸部构造。如后所述，第一个人用推定部21被用于第二个人用推定部18以及专用评价部22的构建。第一个人用推定部21例如由多层结构的神经网络构成。如后所述，第一个人用推定部21通过实施监督学习来构建。
专用评价部22对第一个人用推定部21推定出的脸部构造的妥当性进行计算。如后所述，专用评价部22被用于第二个人用推定部18以及专用评价部22的构建。专用评价部22例如由多层结构的神经网络构成。专用评价部22通过实施监督学习来构建。
以下，对识别部17、第二个人用推定部18、通用推定部19、通用评价部20、第一个人用推定部21、以及评价部23的监督学习进行说明。为了构建通用推定部19以及通用评价部20，在脸部构造推定装置10的制造时，执行监督学习。因此，在脸部构造推定装置10的使用时，通用推定部19以及通用评价部20已学习完毕。需要说明的是，通用推定部19以及通用评价部20的构建可以对单一的脸部构造推定装置10进行，在其他的脸部构造推定装置10中存储有用于构建通用推定部19以及通用评价部20的数据。为了构建识别部17、第一个人用推定部21、专用评价部22、以及第二个人用推定部18，在脸部构造推定装置10的使用中，执行监督学习。
以下，对通用推定部19以及通用评价部20的构建进行说明。在由机器学习进行的通用推定部19以及通用评价部20的构建中，使用多组第一脸部图像以及针对该第一脸部图像的带标签的脸部构造。带标签的脸部构造是作为针对第一脸部图像的正确回答的脸部构造。带标签的脸部构造例如基于前述的定义，通过人的判断制作而成。
如图3所示，一次通用推定部19a使用带标签的脸部构造lFS作为针对第一脸部图像FI1的正确回答，通过进行监督学习来构建。如图4所示，构建出的一次通用推定部19a根据该多个组CB1中包含的第一脸部图像FI1来推定脸部构造gFS。
控制部13使用与在脸部构造gFS的推定中使用的第一脸部图像FI1对应的带标签的脸部构造lFS来计算推定出的脸部构造gFS的妥当性。妥当性是推定出的脸部构造gFS的与带标签的脸部构造lFS的一致性，例如，构成推定出的脸部构造gFS的点与构成带标签的脸部构造lFS的点之间的距离越大则妥当性越低，越接近零则妥当性越高。
如图5所示，第一脸部图像FI1、带标签的脸部构造lFS、以及妥当性的多组CB2被用于一次通用评价部20a的构建。通过将妥当性用作第一脸部图像FI1以及带标签的脸部构造lFS的正确回答，并进行监督学习来构建一次通用评价部20a。
也可以对一次通用推定部19a进一步进行机器学习。在一次通用推定部19a的进一步的机器学习中，使用没有带标签的脸部构造lFS的单纯的第一脸部图像FI1。
如图6所示，为了进一步的机器学习，一次通用推定部19a基于第一脸部图像FI1来推定该第一脸部图像FI1的脸部构造gFS。一次通用评价部20a基于第一脸部图像FI1以及推定出的脸部构造gFS，来计算推定出的脸部构造gFS的妥当性。在计算出的妥当性为通用构建用的阈值以上的情况下，推定出的脸部构造gFS作为虚拟的带标签的脸部构造vlFS与第一脸部图像FI1进行组合。使用比具有真正的带标签的脸部构造lFS的第一脸部图像FI1数量多的第一脸部图像FI1进行脸部构造gFS的推定，生成虚拟的带标签的脸部构造vlFS和第一脸部图像FI1的组CB3。
如图7所示，使用第一脸部图像FI1以及虚拟的带标签的脸部构造vlFS的多组CB3，对一次通用推定部19a进行监督学习，构建二次通用推定部19b。在构建了二次通用推定部19b的情况下，生成用于构成该二次通用推定部19b的数据，控制部13基于该数据作为通用推定部19发挥功能。在未构建二次通用推定部19b的情况下，生成用于构成一次通用推定部19a的数据，控制部13基于该数据作为通用推定部19发挥功能。
也可以进一步对一次通用评价部20a进行机器学习。在一次通用评价部20a的进一步的机器学习中，使用第一脸部图像FI1以及虚拟的带标签的脸部构造vlFS的组CB3。如图8所示，为了进一步的机器学习，二次通用推定部19b基于与虚拟的带标签的脸部构造vlFS进行组合后的第一脸部图像FI1，来推定该第一脸部图像FI1的脸部构造gFS。使用与第一脸部图像FI1对应的虚拟的带标签的脸部构造vlFS来计算推定出的脸部构造gFS的妥当性。
如图9所示，使用第一脸部图像FI1、虚拟的带标签的脸部构造vlFS、以及妥当性的多组CB4，对一次通用评价部20a进行监督学习，构建二次通用评价部20b。在构建了二次通用评价部20b的情况下，生成用于构成该二次通用评价部20b的数据，控制部13基于该数据作为通用评价部20发挥功能。在未构建二次通用评价部20b的情况下，生成用于构成一次通用评价部20a的数据，控制部13基于该数据作为通用评价部20发挥功能。
以下，对识别部17的构建进行说明。例如，在由第二摄像头15拍摄新的乘员(对象者)的情况下，进行用于构建识别部17的机器学习。当识别部17无法根据第二脸部图像特定个人时或者当脸部构造推定装置10的输入部检测到存在新的乘员的输入时，控制部13判断第二摄像头15对新的乘员进行了拍摄，并开始机器学习。
如图10所示，识别部17构建为，通过将对特定的个人的多个第二脸部图像sFI2新作成的识别名作为正确回答进行机器学习，从而能够识别该个人。每当由第二摄像头15拍摄新的乘员时，识别部17进行监督学习，能够特定学习完毕的多个个人。每当构建识别部17时，生成用于构成识别部17的数据，控制部13基于该数据作为更新后的识别部17发挥功能。
以下，对第一个人用推定部21的构建进行说明。如前所述，在由第二摄像头15对新的乘员进行了拍摄的情况下，开始与该新的乘员对应的第一个人用推定部21的新的构建。如前所述，为了构建第一个人用推定部21，控制部13使第一摄像头14生成新的乘员的第一脸部图像sFI1。如图11所示，通用推定部19基于新的乘员的第一脸部图像sFI1来推定该第一脸部图像sFIq的脸部构造gFS。
通用评价部20基于该新的乘员的第一脸部图像sFI1以及推定出的脸部构造gFS来计算推定出的脸部构造gFS的妥当性。筛选计算出的妥当性为第一阈值以上的第一脸部图像sFI1以及脸部构造gFS。第一阈值可以与通用构建用的阈值相同，也可以不同。通过将筛选出的脸部构造gFS作为虚拟的带标签的脸部构造vlFS与第一脸部图像sFI1进行组合，从而生成多组CB5。
如图12所示，针对所述生成的多组CB5的各组，通过使用脸部构造vlFS作为针对第一脸部图像sFI1的正确回答来进行监督学习，从而构建与新的乘员对应的第一个人用推定部21。在构建了与新的乘员对应的第一个人用推定部21之后，生成用于构成该第一个人用推定部21的数据，控制部13基于该数据作为第一个人用推定部21发挥功能。
以下，对专用评价部22的构建进行说明。每次构建第一个人用推定部21时，以能够计算与该第一个人用推定部21对应的新的乘员的妥当性的方式构建或更新专用评价部22。如图13所示，为了构建专用评价部22，基于在第一个人用推定部21的学习中使用的多组CB5中的新的乘员的第一脸部图像sFI1，构建后的该第一个人用推定部21推定第一脸部图像sFI1的脸部构造gFS。通用评价部20使用与第一脸部图像sFI1对应的虚拟的带标签的脸部构造vlFS来计算推定出的脸部构造gFS的妥当性。
如图14所示，新的乘员的第一脸部图像sFI1、虚拟的带标签的脸部构造vlFS、以及妥当性的多组CB6被用于专用评价部22的构建。通过将妥当性作为第一脸部图像sFI1以及虚拟的带标签的脸部构造vlFS的正确回答使用而进行监督学习，从而构建专用评价部22。在已经构建了专用评价部22的情况下，将妥当性作为第一脸部图像sFI1以及虚拟的带标签的脸部构造vlFS的正确回答使用，对专用评价部22进行监督学习，构建能够针对新的乘员计算妥当性的专用评价部22。在构建了能够计算新的乘员的妥当性的专用评价部22之后，生成用于构成专用评价部22的数据，控制部13基于该数据作为专用评价部22发挥功能。
以下，对第二个人用推定部18的构建进行说明。在构建了能够计算作为新的乘员的个人的脸部构造gFS的妥当性的专用评价部22之后，开始与该个人对应的第二个人用推定部18的新的构建。如图15所示，为了构建第二个人用推定部18，与该新的乘员对应的第一个人用推定部21基于新的乘员的第二脸部图像sFI2，来推定该第二脸部图像sFI2的脸部构造gFS。需要说明的是，新的乘员的第二脸部图像sFI2可以是为了识别部17的构建而使用的第二脸部图像sFI2，也可以是之后由第二摄像头15的拍摄而生成的第二脸部图像sFI2。
专用评价部22基于该新的乘员的第二脸部图像sFI2以及推定出的脸部构造gFS，来计算推定出的脸部构造gFS的妥当性。筛选计算出的妥当性为第二阈值以上的第二脸部图像sFI2以及脸部构造gFS。第二阈值可以与第一阈值相同，也可以不同。通过将筛选出的脸部构造gFS作为虚拟的带标签的脸部构造vlFS与第二脸部图像sFI2进行组合，从而生成多组CB7。
如图16所示，在生成的多组CB7的各组中，通过将脸部构造vlFS作为针对第二脸部图像sFI2的正确回答使用而进行监督学习，来构建第二个人用推定部18。在构建了与新的乘员对应的第二个人用推定部18之后，生成用于构成该第二个人用推定部18的数据，控制部13基于该数据作为第二个人用推定部18发挥功能。在构建后被识别部17识别到的个人是与第二个人用推定部18对应的个人的情况下，如上所述，第二个人用推定部18基于该个人的第二脸部图像sFI2来推定脸部构造gFS。
接下来，使用图17、18的流程图对本实施方式中控制部13执行的构建处理进行说明。如上所述那样，构建处理在由第二摄像头15拍摄新的乘员时开始。
在步骤S100中，控制部13使第一摄像头14以及第二摄像头15开始拍摄，获取新的乘员的第一脸部图像sFI1以及第二脸部图像sFI2。获取后，程序进入步骤S101。
在步骤S101中，控制部13将新的乘员的识别名作为正确回答，使用在步骤S100中获取到的特定的个人的第二脸部图像sFI2来执行监督学习。监督学习的执行后，程序进入步骤S102。
在步骤S102中，控制部13将用于构成通过步骤S101中的监督学习构建的能够识别新的个人的识别部17的数据存储于存储器12。存储后，程序进入步骤S103。
在步骤S103中，控制部13使通用推定部19执行基于在步骤S100中获取到的、一帧的特定的个人的第一脸部图像sFI1的该个人的脸部构造gFS的推定。推定后，程序进入步骤S104。
在步骤S104中，控制部13使通用评价部20执行在步骤S103中推定出的脸部构造gFS的妥当性的计算。计算后，程序进入步骤S105。
在步骤S105中，控制部13判断在步骤S104中计算出的妥当性是否为第一阈值以上。在第一阈值以上的情况下，程序进入步骤S106。在不是第一阈值以上的情况下，程序进入步骤S107。
在步骤S106中，控制部13将在步骤S103中用于脸部构造gFS的推定的一帧的特定的个人的第一脸部图像sFI1与该脸部构造gFS进行组合。在组合后，程序进入步骤S108。
在步骤S107中，控制部13废弃在步骤S103中用于脸部构造gFS的特定的、一帧的特定的个人的第一脸部图像sFI1以及该脸部构造gFS。在废弃后，程序进入步骤S108。
在步骤S108中，控制部13判断特定的个人的第一脸部图像sFI1以及脸部构造gFS的组CB5是否被充分蓄积。是否被充分蓄积例如可以根据组CB5的数量是否超过组数阈值来判断。在未被充分蓄积的情况下，程序返回步骤S103。在被充分蓄积的情况下，程序进入步骤S109。
在步骤S109中，控制部13将组CB5中的脸部构造Gfs作为正确回答，执行特定的个人的第一脸部图像sFI1的监督学习，该脸部构造Gfs成为虚拟的带标签的脸部构造vlFS。监督学习的执行后，程序进入步骤S110。
在步骤S110中，控制部13将用于构成由步骤S109中的监督学习构建的、与新的个人对应的第一个人用推定部21的数据存储于存储器12。存储后，程序进入步骤S111。
在步骤S111中，控制部13使第一个人用推定部21执行基于在步骤S108中确认为被充分蓄积的组CB5中的特定的个人的第一脸部图像sFI1的该个人的脸部构造gFS的推定。推定后，程序进入步骤S112。
在步骤S112中，控制部13使通用评价部20执行在步骤S111中推定出的脸部构造gFS的妥当性的计算。计算后，程序进入步骤S113。
在步骤S113中，控制部13将在步骤S113中计算出的妥当性作为正确回答，执行推定出的脸部构造gFS的监督学习。监督学习的执行后，程序进入步骤S114。
在步骤S114中，控制部13将用于构成由步骤S113中的监督学习构建的、能够计算新的个人的妥当性的专用评价部22的数据存储于存储器12。存储后，程序进入步骤S115。
在步骤S115中，控制部13使在步骤S110中构建出的第一个人用推定部21，执行基于在步骤S100中获取到的一帧的特定的个人的第二脸部图像sFI2的该个人的脸部构造gFS的推定。推定后，程序进入步骤S116。
在步骤S116中，控制部13使在步骤S114中构建出的专用评价部22执行在步骤S115中推定出的脸部构造gFS的妥当性的计算。计算后，程序进入步骤S117。
在步骤S117中，控制部13判断在步骤S116中计算出的妥当性是否为第二阈值以上。在是第二阈值以上的情况下，程序进入步骤S118。在不是第二阈值以上的情况下，程序进入步骤S119。
在步骤S118中，控制部13使在步骤S115中用于脸部构造gFS的推定的一帧的特定的个人的第二脸部图像sFI2与该脸部构造gFS进行组合。组合后，程序进入步骤S120。
在步骤S119中，控制部13废弃在步骤S115中用于脸部构造gFS的特定的、一帧的特定的个人的第二脸部图像sFI2以及该脸部构造gFS。废弃后，程序进入步骤S120。
在步骤S120中，控制部13判断特定的个人的第二脸部图像sFI2以及脸部构造gFS的组CB7是否被充分蓄积。是否被充分蓄积，例如可以根据组CB7的数量是否超过组数阈值来判断。在未被充分蓄积的情况下，程序返回步骤S115。在被充分蓄积的情况下，程序进入步骤S121。
在步骤S121中，控制部13将组CB7中的脸部构造gFS作为正确回答，执行特定的个人的第二脸部图像sFI2的监督学习，该脸部构造gFS成为虚拟的带标签的脸部构造vlFS。监督学习的执行后，程序进入步骤S122。
在步骤S122中，控制部13用于构成将由步骤S121中的监督学习构建的、与新的个人对应的第二个人用推定部18的数据存储于存储器12。存储后，构建处理结束。
接下来，使用图19的流程图对在本实施方式中控制部13执行的、推定处理进行说明。推定处理在由第二摄像头15拍摄不是新的乘员时开始。
在步骤S200中，控制部13使识别部17执行基于由第二摄像头15拍摄到的第二脸部图像的个人的识别。识别后，程序进入步骤S201。
在步骤S201中，控制部13选择与在步骤S200中识别到的个人对应的第二个人用推定部18。选择后，程序进入步骤S202。
在步骤S202中，控制部13使在步骤S201中选择出的第二个人用推定部18执行基于在步骤S200中用于个人的识别的第二脸部图像的脸部构造gFS的推定。推定后，程序进入步骤S203。
在步骤S203中，控制部13将在步骤S202中推定出的脸部构造gFS向外部设备16输出。输出后，推定处理结束。
在以上那样结构的本实施方式的脸部构造推定装置10中，控制部13作为第一个人用推定部21发挥功能，该第一个人用推定部21使通用推定部19推定基于新的乘员(对象者)的第一脸部图像sFI1的该第一脸部图像sFI1的脸部构造gFS，使通用评价部20计算该脸部构造gFS的妥当性，筛选该妥当性为第一阈值以上的脸部构造gFS，通过使用了筛选出的脸部构造gFS以及与该脸部构造gFS对应的第一脸部图像sFI1的学习进行构建。另外，控制部13作为专用评价部22发挥功能，该专用评价部22使用第一个人用推定部21基于与该筛选出的脸部构造gFS对应的第一脸部图像sFI1所推定的脸部构造gFS、以及通用评价部20基于该脸部构造gFS以及与该脸部构造gFS对应的第一脸部图像sFI1所计算的妥当性进行学习。另外，控制部13作为第二个人用推定部18发挥功能：该第二个人用推定部18使第一个人用推定部21推定基于新的乘员的第二脸部图像sFI2的该第二脸部图像sFI2的脸部构造gFS，使专用评价部22计算该脸部构造gFS的妥当性，筛选该妥当性为第二阈值以上的脸部构造gFS，通过使用了筛选出的脸部构造gFS以及与该脸部构造gFS对应的第二脸部图像sFI2的学习而构建为该新的乘员用，在构建后，在识别部17将第二脸部图像的个人识别为该新的乘员的情况下，基于该第二脸部图像sFI2推定并输出脸部构造gFS。通过这样的结构，脸部构造推定装置10使用公开的基于针对第一脸部图像的带标签的脸部构造lFS而构建的通用推定部19，并使用特定的个人的第一脸部图像sFI1来构建与该特定的个人对应的第一个人用推定部21，使用相同的特定的个人的第二脸部图像sFI2来构建与该特定的个人对应的第二个人用推定部18。因此，脸部构造推定装置10即使针对与一般公开的学习数据的第一脸部图像不同的频带的第二脸部图像sFI2，也能够提高基于第二脸部图像sFI2的脸部构造gFS的推定的精度。
本公开的发明的一个实施方式是具有将表示脸部图像与该脸部图像的构造的关系的参数存储为学习数据的推定部的脸部构造推定装置。而且，推定部学习包含RGB的信息的第一脸部图像和与该第一脸部图像对应的脸部的构造的关系，学习包含RGB的信息的、规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系，学习使用红外线检测出的、规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系。在此，在本公开中，包含RGB的信息的脸部图像是指包含R(红色)、G(绿色)、B(蓝色)的颜色信息数据的脸部图像。包含RGB的信息的脸部图像可以将R(红色)、G(绿色)、B(蓝色)的颜色信息数据置换为其他颜色，也可以包含其他颜色的颜色信息数据。
本公开的发明的一个实施方式是使用学习完毕的使用红外线检测出的、规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系，来推定所述规定的人的脸部构造的脸部构造推定装置。在本公开中，使用红外线检测到的、规定的人的脸部图像也可以是由将包含红外线的电波向人发送并根据该发送电波的反射波获取到的数据构成的图像。
本公开的发明的一个实施方式是具有输出所述推定出的规定的人的脸部构造的妥当性的输出部的脸部构造推定装置。
基于各附图和实施例对本发明进行了说明，需要注意的是，本领域技术人员容易基于本公开进行各种变形和修正。因此，需要注意这些变形和修正包含在本发明的范围内。
[附记1]
一种脸部构造推定装置，其中，
具有：
获取部，获取包含第一频带的成分的第一脸部图像、以及包含第二频带的成分的第二脸部图像；以及
控制部，输出所述第二脸部图像的脸部构造；
所述控制部作为以下功能部发挥功能：
识别部，基于所述获取部获取到的所述第二脸部图像来识别该第二脸部图像的个人；
通用推定部，基于所述获取部获取到的所述第一脸部图像来推定该第一脸部图像的脸部构造；
通用评价部，计算所述通用推定部推定的脸部构造的妥当性；
第一个人用推定部，使所述通用推定部推定基于所述获取部获取的新的对象者的第一脸部图像的该第一脸部图像的脸部构造，使所述通用评价部计算该脸部构造的妥当性，筛选该妥当性为第一阈值以上的脸部构造，通过使用了筛选出的脸部构造以及与该脸部构造对应的第一脸部图像的学习进行构建；
专用评价部，使用所述第一个人用推定部基于与该筛选出的脸部构造对应的第一脸部图像所推定的脸部构造、以及所述通用评价部基于该脸部构造以及与该脸部构造对应的第一脸部图像所计算的妥当性进行学习；以及
第二个人用推定部，使所述第一个人用推定部推定基于所述获取部获取的所述新的对象者的第二脸部图像的该第二脸部图像的脸部构造，使所述专用评价部计算该脸部构造的妥当性，筛选该妥当性为第二阈值以上的脸部构造，通过使用了筛选出的脸部构造以及与该脸部构造对应的第二脸部图像的学习而构建为该新的对象者用，在构建后，在所述识别部将所述获取部获取的第二脸部图像的个人识别为该新的对象者的情况下，基于该第二脸部图像来推定并输出脸部构造。
[附记2]
如附记1所述的脸部构造推定装置，其中，
所述第一频带是可见光区域的至少一部分。
[附记3]
如附记1或2所述的脸部构造推定装置，其中，
所述第二频带是红外区域的至少一部分。
[附记4]
一种脸部构造推定方法，其中，
包括：
获取工序，获取包含第一频带的成分的第一脸部图像、以及包含第二频带的成分的第二脸部图像；以及
输出工序，输出所述第二脸部图像的脸部构造，
所述输出工序包括：
识别工序，基于在所述获取工序中获取到的所述第二脸部图像，来识别该第二脸部图像的个人；
通用推定工序，基于在所述获取工序中获取到的所述第一脸部图像，来推定该第一脸部图像的脸部构造；
通用评价工序，计算在所述通用推定工序中推定出的脸部构造的妥当性；
第一个人用推定工序，在所述通用推定工序中推定基于在所述获取工序中获取的新的对象者的第一脸部图像的该第一脸部图像的脸部构造，在所述通用评价工序中计算该脸部构造的妥当性，筛选该妥当性为第一阈值以上的脸部构造，通过使用了筛选出的脸部构造以及与该脸部构造对应的第一脸部图像的学习进行构建；
专用评价工序，使用在所述第一个人用推定工序中基于与该筛选出的脸部构造对应的第一脸部图像所推定出的脸部构造、以及在所述通用评价工序中基于该脸部构造以及与该脸部构造对应的第一脸部图像所计算出的妥当性进行学习；以及
第二个人用推定工序，在所述第一个人用推定工序中推定基于在所述获取工序中获取的所述新的对象者的第二脸部图像的该第二脸部图像的脸部构造，在所述专用评价工序中计算该脸部构造的妥当性，筛选该妥当性为第二阈值以上的脸部构造，通过使用了筛选出的脸部构造以及与该脸部构造对应的第二脸部图像的学习而构建为该新的对象者用，在构建后，在所述识别工序中将在所述获取工序中获取到的第二脸部图像的个人识别为该新的对象者的情况下，基于该第二脸部图像来推定并输出脸部构造。
[附记5]
一种脸部构造推定程序，其中，
使计算机包括：
获取部，获取包含第一频带成分的第一脸部图像、以及包含第二频带成分的第二脸部图像；以及
控制部，输出所述第二脸部图像的脸部构造，
所述控制部作为以下功能部发挥功能：
识别部，基于所述获取部获取到的所述第二脸部图像来识别该第二脸部图像的个人；
通用推定部，基于所述获取部获取到的所述第一脸部图像来推定该第一脸部图像的脸部构造；
通用评价部，计算所述通用推定部推定的脸部构造的妥当性；
第一个人用推定部，使所述通用推定部推定基于所述获取部获取的新的对象者的第一脸部图像的该第一脸部图像的脸部构造，使所述通用评价部计算该脸部构造的妥当性，筛选该妥当性为第一阈值以上的脸部构造，通过使用了筛选出的脸部构造以及与该脸部构造对应的第一脸部图像的学习进行构建；
专用评价部，使用所述第一个人用推定部基于与该筛选出的脸部构造对应的第一脸部图像所推定的脸部构造、以及所述通用评价部基于该脸部构造以及与该脸部构造对应的第一脸部图像所计算的妥当性进行学习；以及
第二个人用推定部，使所述第一个人用推定部推定基于所述获取部获取的所述新的对象者的第二脸部图像的该第二脸部图像的脸部构造，使所述专用评价部计算该脸部构造的妥当性，筛选该妥当性为第二阈值以上的脸部构造，通过使用了筛选出的脸部构造以及与该脸部构造对应的第二脸部图像的学习而构建为该新的对象者用，在构建后，在所述识别部将所述获取部获取的第二脸部图像的个人识别为该新的对象者的情况下，基于该第二脸部图像来推定并输出脸部构造。
附图说明
10脸部构造推定装置
11获取部
12存储器
13控制部
14第一摄像头
15第二摄像头
16外部设备
17识别部
18第二个人用推定部
19通用推定部
19a一次通用推定部
19b二次通用推定部
20通用评价部
20a一次通用评价部
20b二次通用评价部
21第一个人用推定部
22专用评价部
CB1第一脸部图像以及带标签的脸部构造的组
CB2第一脸部图像、带标签的脸部构造以及妥当性的组
CB3第一脸部图像以及虚拟的带标签的脸部构造的组
CB4第一脸部图像、虚拟的带标签的脸部构造以及妥当性的组
CB5特定的个人的第一脸部图像以及虚拟的带标签的脸部构造的组
CB6特定的个人的脸部图像、虚拟的带标签的脸部构造以及妥当性的组CB5特定的个人的第二脸部图像以及虚拟的带标签的脸部构造的组
FI1第一脸部图像
lFS带标签的脸部构造
gFS推定出的脸部构造
sFI1新的乘员的第一脸部图像
sFI2新的乘员的第二脸部图像
vlFS虚拟的带标签的脸部构造

Claims (9)

1.一种脸部构造推定装置，具有推定部，所述推定部将表示脸部图像与该脸部图像的构造的关系的参数存储为学习数据，其中，
所述推定部学习包含RGB的信息的第一脸部图像和与该第一脸部图像对应的脸部的构造的关系，
所述推定部学习包含RGB的信息的规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系，
所述推定部学习使用红外线检测出的规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系。
2.如权利要求1所述的脸部构造推定装置，其中，
使用所述学习完毕的使用红外线检测出的规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系，来推定所述规定的人的脸部构造。
3.如权利要求2所述的脸部构造推定装置，其中，
还具有输出部，该输出部输出所推定出的所述规定的人的脸部构造的妥当性。
4.一种脸部构造推定方法，其中，包括：
第一学习工序，将表示脸部图像与该脸部图像的构造的关系的参数存储为学习数据的推定部学习包含RGB的信息的第一脸部图像和与该第一脸部图像对应的脸部的构造的关系；
第二学习工序，所述推定部学习包含RGB的信息的规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系；
第三学习工序，所述推定部学习使用红外线检测出的规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系。
5.如权利要求3所述的脸部构造推定方法，其中，
使用所述学习完毕的使用红外线检测出的规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系，来推定所述规定的人的脸部构造。
6.如权利要求5所述的脸部构造推定方法，其中，
还具有输出部，该输出部输出所推定出的所述规定的人的脸部构造的妥当性。
7.一种脸部构造推定程序，其中，
使示出表示包含RGB的信息的第一脸部图像和与该第一脸部图像对应的脸部的构造的关系的参数的推定部执行：
第一学习工序，学习包含RGB的信息的第一脸部图像和与该第一脸部图像对应的脸部的构造的关系；
第二学习工序，学习包含RGB的信息的规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系；
第三学习工序，学习使用红外线检测出的规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系。
8.如权利要求7所述的脸部构造推定程序，其中，
使用所述学习完毕的使用红外线检测出的规定的人的第二脸部图像和与该第二脸部图像对应的脸部的构造的关系，来推定所述规定的人的脸部构造。
9.如权利要求8所述的脸部构造推定程序，其中，
还具有输出部，该输出部输出所推定出的所述规定的人的脸部构造的妥当性。
CN202180042275.XA 2020-06-19 2021-06-03 脸部构造推定装置、脸部构造推定方法以及脸部构造推定程序 Pending CN115867949A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-106437 2020-06-19
JP2020106437 2020-06-19
PCT/JP2021/021272 WO2021256287A1 (ja) 2020-06-19 2021-06-03 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム

Publications (1)

Publication Number Publication Date
CN115867949A true CN115867949A (zh) 2023-03-28

Family

ID=79267912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180042275.XA Pending CN115867949A (zh) 2020-06-19 2021-06-03 脸部构造推定装置、脸部构造推定方法以及脸部构造推定程序

Country Status (5)

Country Link
US (1) US20230237834A1 (zh)
EP (1) EP4170585A4 (zh)
JP (1) JP7224550B2 (zh)
CN (1) CN115867949A (zh)
WO (1) WO2021256287A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019159524A (ja) * 2018-03-09 2019-09-19 オムロン株式会社 情報処理装置、料理の提供タイミングの決定方法、及びプログラム
JP6760318B2 (ja) 2018-03-14 2020-09-23 オムロン株式会社 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
CN110188670B (zh) * 2019-05-29 2021-11-09 广西释码智能信息技术有限公司 一种虹膜识别中的人脸图像处理方法、装置和计算设备
CN110287671B (zh) * 2019-06-27 2021-07-30 深圳市商汤科技有限公司 验证方法及装置、电子设备和存储介质
CN111199607A (zh) * 2020-01-09 2020-05-26 深圳矽速科技有限公司 一种支持WiFi通信的高性能人脸识别装置

Also Published As

Publication number Publication date
EP4170585A4 (en) 2024-04-10
JP7224550B2 (ja) 2023-02-17
US20230237834A1 (en) 2023-07-27
JPWO2021256287A1 (zh) 2021-12-23
WO2021256287A1 (ja) 2021-12-23
EP4170585A1 (en) 2023-04-26

Similar Documents

Publication Publication Date Title
US11046273B2 (en) Seat belt status determining system and method
JP5648655B2 (ja) 対象物識別装置
DE102019111402A1 (de) Steuerungssysteme, steuerungsverfahren und steuerungen für ein autonomes fahrzeug
CN106061817A (zh) 自主驾驶系统及用于自主驾驶系统的方法
US11455538B2 (en) Correctness preserving optimization of deep neural networks
DE102018114039A1 (de) Systeme und verfahren zur auswahl einer klanglandschaft in autonomen fahrzeugen
CN110633615A (zh) 乘车人数监视系统
CN112989915A (zh) 用于检测自主载具中的异常乘客行为的系统和方法
CN111209833B (zh) 一种疲劳驾驶检测方法及无人驾驶设备
DE102023103232A1 (de) Netz für biometrische aufgaben
CN115867949A (zh) 脸部构造推定装置、脸部构造推定方法以及脸部构造推定程序
WO2024152635A1 (zh) 泊车方法、装置和智能驾驶设备
CN111886638B (zh) 图像处理装置、拍摄装置以及移动体
CN110376585A (zh) 基于3d雷达扫描的车厢拥挤度检测方法及装置、系统
CN115917591A (zh) 脸部构造推定装置、脸部构造推定方法以及脸部构造推定程序
CN115771367A (zh) 车辆悬架的控制方法、控制装置、车辆和电子设备
US20240089577A1 (en) Imaging device, imaging system, imaging method, and computer program
WO2021256289A1 (ja) 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム
US20210016802A1 (en) Method and device for operating an automated vehicle
Hao et al. An automatic vehicle occupant counting algorithm based on face detection
US11745647B2 (en) Method for sending information to an individual located in the environment of a vehicle
US20230245474A1 (en) Electronic device, information processing device, estimating method, and estimating program
JP2018200579A (ja) 画像処理装置、画像処理システム、カメラ装置、移動体、画像処理方法、および画像処理用プログラム
WO2020261820A1 (ja) 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びプログラム
CN115534822A (zh) 控制显示的方法、装置和移动载体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination