CN115699106A - 脸部构造推定装置、脸部构造推定方法以及脸部构造推定程序 - Google Patents

脸部构造推定装置、脸部构造推定方法以及脸部构造推定程序 Download PDF

Info

Publication number
CN115699106A
CN115699106A CN202180043264.3A CN202180043264A CN115699106A CN 115699106 A CN115699106 A CN 115699106A CN 202180043264 A CN202180043264 A CN 202180043264A CN 115699106 A CN115699106 A CN 115699106A
Authority
CN
China
Prior art keywords
unit
face
face image
estimation
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180043264.3A
Other languages
English (en)
Inventor
金在喆
船津阳平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of CN115699106A publication Critical patent/CN115699106A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

脸部构造推定装置(10)具有获取部(11)和控制部(13)。获取部(11)获取脸部图像。控制部(13)作为识别部(15)、推定部(16)和评价部(17)发挥功能。识别部(15)基于脸部图像识别个体。推定部(16)基于脸部图像来推定脸部构造。评价部(17)计算推定部(16)推定的脸部构造的有效性。评价部(17)使有效性为阈值以上的脸部构造以及脸部图像应用于推定部(16)的学习中。控制部(13)基于识别部(15)进行的个体的识别结果，使有效性为阈值以上的脸部构造以及脸部图像应用于推定部(16)的学习中。

Description

脸部构造推定装置、脸部构造推定方法以及脸部构造推定 程序
相关申请的相互参照
本申请主张2020年6月19日在日本进行专利申请的日本特愿2020-106443的优先权，并将该在先申请的全部公开内容援引于此用于参照。
技术领域
本发明涉及脸部构造推定装置、脸部构造推定方法以及脸部构造推定程序。
背景技术
例如，正在研究对有睡意的乘坐者进行督促休息或转换成自动驾驶等，根据车内的驾驶员的状态，来执行多种功能的装置等。在这样的装置中，要求简易地识别乘坐者的状态。正在研究：乘坐者通过推定与状态相应的脸部构造来掌握乘坐者这些人的状态。例如，已知通过深度学习，从脸部图像推定脸部构造的技术(参照专利文献1)。
现有技术文献
专利文献
专利文献1：国际公开2019-176994号公报
发明内容
为了解决上述的诸多问题，基于第一观点的脸部构造推定装置，其中，
具有：
获取部，获取脸部图像；以及
控制部，输出所述脸部图像的脸部构造，
所述控制部作为识别部、推定部以及评价部发挥作用，所述识别部基于所述获取部获取到的脸部图像来识别该脸部图像的个体，所述推定部基于所述获取部获取到的脸部图像来推定该脸部图像的脸部构造，所述评价部计算所述推定部推定的脸部构造的有效性并使该有效性为阈值以上的所述脸部构造以及所述脸部图像应用于所述推定部的学习中，所述控制部基于所述识别部进行的所述个体的识别结果，使所述有效性为阈值以上的脸部构造以及所述脸部图像应用于所述推定部的学习。
基于第二观点的脸部构造推定方法，其中，
包括：
获取工序，获取脸部图像；以及
输出工序，输出所述脸部图像的脸部构造，
所述输出工序包括：
识别工序，基于在所述获取工序中获取到的脸部图像来识别该脸部图像的个体；
推定工序，基于在所述获取工序中获取到的脸部图像来推定该脸部图像的脸部构造；
评价工序，计算在所述推定工序中推定的脸部构造的有效性，并且使该有效性为阈值以上的所述脸部构造以及所述脸部图像应用于所述推定工序的学习中；以及
应用工序，基于所述识别工序进行的所述个体的识别结果，使所述有效性为阈值以上的脸部构造以及所述脸部图像应用于所述推定工序的学习中。
基于第三观点的脸部构造推定程序，其中，
使计算机作为获取部和控制部发挥功能，所述获取部获取脸部图像，所述控制部输出所述脸部图像的脸部构造，
所述控制部作为识别部、推定部以及评价部发挥作用，所述识别部基于所述获取部获取到的脸部图像来识别该脸部图像的个体，所述推定部基于所述获取部获取到的脸部图像来推定该脸部图像的脸部构造，所述评价部计算所述推定部推定的脸部构造的有效性并使该有效性为阈值以上的所述脸部构造以及所述脸部图像应用于所述推定部的学习中，
所述控制部基于所述识别部进行的所述个体的识别结果，使所述有效性为阈值以上的脸部构造以及所述脸部图像应用于所述推定部的学习中。
附图说明
图1是表示本实施方式的脸部构造推定装置的概略结构的框图。
图2是说明用于一次地构建图1的通用推定部的学习的概念图。
图3是说明基于带标签的脸部构造和由图1的通用推定部进行的脸部构造，来计算作为正确答案的有效性的方法的概念图。
图4是说明用于一次地构建图1的评价部的学习的概念图。
图5是说明用于二次地构建图1的通用推定部的脸部图像和虚拟的带标签的脸部构造的组的生成的概念图。
图6是说明用于二次地构建图1的通用推定部的学习的概念图。
图7是说明基于虚拟的带标签的脸部构造和图1的通用推定部进行的脸部构造，来计算作为正确答案的有效性的方法的概念图。
图8是说明用于二次地构建图1的评价部的学习的概念图。
图9是说明用于构建图1的识别部的学习的概念图。
图10是说明用于构建图1的个体用推定部的脸部图像和虚拟的带标签的脸部构造的组的生成的概念图。
图11是说明用于构建图1的个体用推定部的学习的概念图。
图12是用于说明图1的控制部所执行的构建处理的流程图。
图13是用于说明图1的控制部所执行的推定处理的流程图。
图14是说明使用了特定以外提取部生成的特征的特定提取部所进行的二次特征的生成的概念图。
图15是说明使用了非特定提取部生成的特征的特定提取部所进行的二次特征的生成的概念图。
图16是说明使用了特定以外提取部的特定提取部的学习的概念图。
图17是说明使用了非特定提取部的特定提取部的学习的概念图。
具体实施方式
以下，参照附图对应用了本公开的脸部构造推定装置的实施方式进行说明。需要说明的是，以下的应用了本公开的脸部构造推定装置的实施方式的说明兼作应用了本公开的脸部构造推定方法以及脸部构造推定程序的实施方式的说明。
本公开的一个实施方式的脸部构造推定装置例如设置于移动体。移动体可以包括例如车辆、船舶、以及飞机等。车辆例如可以包括汽车、工业车辆、铁道车辆、生活车辆、以及行驶在跑道上的固定翼机等。汽车可以包括例如乘用车、卡车、公共汽车、摩托车、以及无轨电车等。工业车辆可以包括例如面向农业以及面向建设的工业车辆等。工业车辆可以包括例如叉车以及高尔夫球车等。面向农业的工业车辆可以包括例如拖拉机、耕种机、移植机、收割扎束机、联合收割机、以及割草机等。面向建设的工业车辆可以包括例如推土机、铲土机、铲车、吊车、翻斗车、以及压路机等。车辆可以包括靠人力行驶的车辆。车辆的分类不限于上述。例如，汽车可以包括能够在道路行驶的工业车辆。多种分类可以包括相同的车辆。船舶可以包括例如喷气摩托艇、小船、以及油船等。飞机可以包括例如固定翼机以及旋转翼机等。
如图1所示，本公开的一个实施方式的脸部构造推定装置10构成为包括获取部11、存储部12、以及控制部13。
获取部11获取例如由摄像头14拍摄到的乘坐者的脸部的图像即脸部图像。需要说明的是，摄像头14例如安装于能够对位于驾驶席等移动体的特定位置的乘坐者的脸部周边进行拍摄的位置。另外，摄像头14例如以30fps对脸部图像进行拍摄。
存储部12例如包括RAM(Random Access Memory，随机存取存储器)以及ROM(ReadOnly Memory，只读存储器)等任意的存储设备。存储部12存储使控制部13发挥功能的各种程序、以及控制部13所使用的各种信息。
控制部13包括一个以上的处理器以及存储部。处理器可以包括读取特定的程序并执行特定的功能的通用的处理器、以及专用于特定处理的专用的处理器。专用的处理器可以包括面向特定用途的专用集成电路IC(ASIC；Application Specific IntegratedCircuit)。处理器可以包括可编辑逻辑器件(PLD；Programmable Logic Device)。PLD可以包括现场可编程门阵列(FPGA；Field-Programmable Gate Array)。控制部13也可以是一个或者多个处理器协作的片上系统(SoC；System-on-a-Chip)以及系统级封装(SiP；SystemIn a Package)中的任意一个。控制部13控制脸部构造推定装置10的各构成要素的动作。
控制部13将获取部11获取到的脸部图像的脸部构造向外部设备20输出。脸部构造是将根据人的状态而变化的表情等进行特定的特征，例如，像下巴尖等这样在脸部的轮廓上定义的点的集合体、像内眼角以及外眼角这样在眼睛的轮廓上定义的点的集合体、在从鼻尖到鼻根的鼻梁上定义的点的集合体等。以下，详细说明由控制部13进行的脸部构造的输出。控制部13作为识别部15、推定部16、以及评价部17发挥功能。
识别部15基于获取部11获取到的图像来识别该脸部图像的个体。识别部15例如由多层结构的神经网络构成。如后所述，识别部15通过实施有监督学习来构建。
推定部16基于获取部11获取到的脸部图像来推定该脸部图像的构造。推定部16例如包括通用推定部18以及个体用推定部19。通用推定部18基于识别部15无法识别的非特定的个体的脸部图像来推定脸部构造。个体用推定部19与识别部15识别出的个体对应地被选择，并基于识别部15识别出的该个体的脸部图像来推定该个体的脸部构造。个体用推定部19推定出的脸部构造从控制部13被输出。通用推定部18以及个体用推定部19例如由多层结构的神经网络构成。如后所述，通用推定部18以及个体用推定部19通过实施有监督学习来构建。
评价部17判断推定部16推定的脸部构造的有效性。评价部17将有效性为阈值以上的脸部构造以及脸部图像应用于推定部16的学习。如后所述，将有效性为阈值以上的脸部构造以及脸部图像应用于推定部16的学习是基于识别部15进行的个体的识别结果进行的。评价部17例如由多层结构的神经网络构成。评价部17通过实施有监督学习来构建。
以下，对识别部15、推定部16、以及评价部17的有监督学习进行说明。在构造脸部构造推定装置10时，执行有监督学习，以构建通用推定部18以及评价部17。因此，在使用脸部构造推定装置10时，通用推定部18以及评价部17学习完毕。在脸部构造推定装置10的使用中，执行有监督学习，以构建识别部15以及个体用推定部19。
以下，对通用推定部18以及评价部17的构建进行说明。在机器学习进行的通用推定部18以及评价部17的构建中，使用多组脸部图像以及针对该脸部图像的带标签的脸部构造。带标签的脸部构造是作为针对脸部图像的正确答案的脸部构造。带标签的脸部构造例如基于前述的定义，通过人的判断制作而成。
如图2所示，一次通用推定部18a使用带标签的脸部构造lFS作为针对脸部图像FI的正确答案，通过进行有监督学习来构建。如图3所示，构建出的一次通用推定部18根据该多组CB1中包含的脸部图像FI来推定脸部构造gFS。
控制部13使用与脸部构造gGS的推定中所使用的脸部图像FI对应的带标签的脸部构造lFS来计算推定出的脸部构造gFS的有效性。有效性是推定出的脸部构造gFS与带标签的脸部构造lFS的一致性，例如，构成推定出的脸部构造gFS的点与构成带标签的脸部构造lFS的点之间的距离越大则有效性越低，越接近零则有效性越高。
如图4所示，脸部图像FI、带标签的脸部构造lFS、以及有效性的多组CB2被用于一次评价部17a的构建。将有效性作为脸部图像FI以及带标签的脸部构造lFS的正确答案使用，通过进行有监督学习来构建一次评价部17a。
也可以对一次通用推定部18a进一步进行机器学习。在一次通用推定部18a的进一步的机器学习中，使用没有带标签的脸部构造lFS的仅脸部图像FI。
如图5所示，为了进一步的机器学习，一次通用推定部18a基于脸部图像FI来推定该脸部图像FI的脸部构造gFS。评价部17基于脸部图像FI以及推定出的脸部构造gFS，来计算推定出的脸部构造gFS的有效性。在计算出的有效性为阈值以上的情况下，将推定出的脸部构造gFS作为虚拟的带标签的脸部构造vlFS与脸部图像FI进行组合。使用比具有真正的带标签的脸部构造lFS的脸部图像FI数量多的脸部图像FI进行脸部构造gFS的推定，生成虚拟的带标签的脸部构造vlFS和脸部图像FI的组CB3。
如图6所示，使用脸部图像FI以及虚拟的带标签的脸部构造vlFS的多组CB3，对一次通用推定部18a进行有监督学习，构建二次通用推定部18b。在构建了二次通用推定部18b的情况下，生成用于构成该二次通用推定部18b的数据，控制部13基于该数据作为通用推定部18发挥功能。在未构建二次通用推定部18b的情况下，生成用于构成一次通用推定部18a的数据，控制部13基于该数据作为通用推定部18发挥功能。
也可以进一步对一次评价部17a进行机器学习。在一次评价部17a的进一步的机器学习中，使用脸部图像FI以及虚拟的带标签的脸部构造vlFS的组CB3。如图7所示，为了进一步的机器学习，二次通用推定部18b基于与虚拟的带标签的脸部构造vlFS进行组合后的脸部图像FI，来推定该脸部图像FI的脸部构造gFS。使用与脸部图像FI对应的虚拟的带标签的脸部构造vlFS来计算所推定出的脸部构造gFS的有效性。
如图8所示，使用脸部图像FI、虚拟的带标签的脸部构造vlFS、以及有效性的多组CB4，对一次评价部17a进行有监督学习，构建二次评价部17b。在构建了二次评价部17b的情况下，生成用于构成该二次评价部17b的数据，控制部13基于该数据作为评价部17发挥功能。在未构建二次评价部17b的情况下，生成用于构成一次评价部17a的数据，控制部13基于该数据作为评价部17发挥功能。
以下，对识别部15的构建进行说明。例如，在由摄像头14拍摄新的乘坐者的情况下，进行用于构建识别部15的机器学习。当识别部15根据脸部图像FI无法确定个体时或者当脸部构造推定装置10的输入部检测到输入存在新的乘坐者时，控制部13判断由摄像头14拍摄到的脸部图像FI是新的乘坐者，并进行机器学习。如图9所示，识别部15通过针对摄像头14例如以30fps拍摄的特定的个体的多个脸部图像sFI，将新创建的识别名作为正确答案进行机器学习，从而构建为能够识别该个体的识别部15。每当由摄像头14拍摄新的乘坐者时，识别部15进行有监督学习，构建为能够确定学习完毕的多个个体。每当构建识别部15时，生成用于构成识别部15的数据，控制部13基于该数据作为识别部15发挥功能。
以下，对个体用推定部19的构建进行说明。如前所述，在构建了能够识别作为新的乘坐者的个体的识别部15之后，开始该个体所对应的个体用推定部19的新的构建。如图10所示，为了构建个体用推定部19，通用推定部18基于该个体的脸部图像sFI来推定该脸部图像sFI的脸部构造gFS。评价部17基于该个体的脸部图像sFI以及推定出的脸部构造fFS，来计算推定出的脸部构造gFS的有效性。在计算出的有效性为阈值以上的情况下，评价部17将脸部图像sFI以及脸部构造gFS应用于用于构建与识别部15能够识别的个体对应的个体用推定部19的学习。换言之，基于识别部15进行的个体的识别结果，有效性为阈值以上的脸部构造gFS以及脸部图像sFI被应用于推定部16的学习。评价部17生成有效性为阈值以上的作为虚拟的带标签的脸部构造vlFS的脸部构造gFS和脸部图像sFI的多组CB5。如图11所示，在生成的多组CB5的各组中，通过使用脸部构造vlFS作为针对脸部图像sFI的正确答案来进行有监督学习，从而构建个体用推定部19。在构建与特定的个体对应的个体用推定部19的情况下，生成用于构成该个体用推定部19的数据，控制部13基于该数据作为个体用推定部19发挥功能。
接着，使用图12的流程图对本实施方式中控制部13执行的构建处理进行说明。如上所述，构建处理从由摄像头14拍摄新的乘坐者时开始。
在步骤S100中，控制部13将新的乘坐者的识别名作为正确答案，执行特定的个体的脸部图像sFI的有监督学习。有监督学习的执行后，程序进入步骤S101。
在步骤S101中，控制部13将用于构成由步骤S100中的有监督学习构建的、能够识别新的个体的识别部15的数据存储于存储部12。存储后，程序进入步骤S102。
在步骤S102中，控制部13使通用推定部18执行基于一帧特定的个体的脸部图像sFI的该个体的脸部构造gFS的推定。推定后，程序进入步骤S103。
在步骤S103中，控制部13使评价部17执行在步骤S102中推定出的脸部构造gFS的有效性的计算。计算后，程序进入步骤S104。
在步骤S104中，控制部13判断在步骤S103中计算出的有效性是否为阈值以上。在为阈值以上的情况下，程序进入步骤S105。在不为阈值以上的情况下，程序进入步骤S106。
在步骤S105中，控制部13将在步骤S102中用于脸部构造gFS的推定的特定的个体的脸部图像sFI与该脸部构造gFS进行组合。在组合后，程序进入步骤S107。
在步骤S106中，控制部13废弃在步骤S102中在脸部构造gFS的特定中使用的一帧特定的个体的脸部图像sFI以及该脸部构造gFS。在废弃后，程序进入步骤S107。
在步骤S107中，控制部13判断特定的个体的脸部图像sFI以及脸部构造gFS的组CB4是否被充分蓄积。是否被充分蓄积例如可以根据组CB4的数量是否超过阈值来判断。在未被充分蓄积的情况下，程序返回步骤S102。在被充分蓄积的情况下，程序进入步骤S108。需要说明的是，在本实施方式中，也可以不执行步骤S107而进入步骤S108。
在步骤S108中，控制部13将组CB4中的脸部构造gFS设为虚拟的带标签的脸部构造vlFS来作为正确答案，执行特定的个体的脸部图像sFI的有监督学习。在有监督学习的执行后，程序进入步骤S109。
在步骤S109中，控制部13将用于构成由步骤S108中的有监督学习构建的、与新的个体对应的个体用推定部19的数据存储于存储部12。存储后，构建处理结束。
接着，使用图13的流程图对在本实施方式中控制部13执行的推定处理进行说明。推定处理从由摄像头14拍摄新的乘坐者时开始。
在步骤S200中，控制部13使识别部15执行基于由摄像头14拍摄到的脸部图像FI的个体的识别。识别后，程序进入步骤S201。
在步骤S201中，控制部13选择与在步骤S200中识别到的个体对应的个体用推定部19。选择后，程序进入步骤S202。
在步骤S202中，控制部13使在步骤S201中选择出的个体用推定部19基于在步骤S200中用于个体的识别的脸部图像FI执行脸部构造gFS的推定。推定后，程序进入步骤S203。
在步骤S203中，控制部13将在步骤S202中推定出的脸部构造gFS向外部设备20输出。输出后，推定处理结束。
在以上那样结构的本实施方式的脸部构造推定装置10中，基于识别部15进行的个体的识别结果，使有效性为阈值以上的脸部构造gFS以及脸部图像FI应用于推定部16的学习。通过这样的结构，脸部构造推定装置10能够筛选出适合于学习的脸部图像sFI以及脸部构造gFS，使推定部16学习，因此，能够提高基于脸部图像FI的脸部构造gFS的推定精度。另外，脸部构造推定装置10将适合于学习的脸部图像sFI以及脸部构造gFS的筛选基于评价部17计算的有效性来进行，因此，无需对大量的学习数据分别付与正确答案标签，从而能够减少注释成本的增加。
基于各附图和实施例对本发明进行了说明，需要注意的是，本领域技术人员容易基于本公开进行各种变形和修正。因此，需要注意这些变形和修正包含在本发明的范围内。
例如，在本实施方式中，通过使用特定的个体的脸部图像sFI以及虚拟的带标签的脸部构造vlFS进行学习从而独立地构建个体用推定部19，但不限于这样的结构。个体用推定部19也可以基于与其他的个体对应的个体用推定部19来构建。
例如，个体用推定部19可以包括特征提取部以及推论部。特征提取部例如是卷积神经网络(CNN：Convolutional Neural Network)，在所获取的脸部图像sFI中进行特征提取。特征提取部例如基于脸部图像sFI的亮度来提取特征。提取的特征例如是特征映射。特征提取部例如基于脸部图像sFI的亮度进行特征提取。推论部基于特征提取部提取出的特征来推定脸部构造gFS。
如图14所示，与特定的个体对应的特征提取部(以后，称为“特定提取部”)21可以从与该特定提取部21对应的特定的个体以外的个体所对应的个体用推定部19的特征提取部(以后，称为“特定以外提取部”)22获取特征。特定以外提取部22将基于与特定提取部21对应的特定的个体的脸部图像sFI而提取的特征F提供给特定提取部21。特定提取部21可以基于该特定提取部21一次提取的特征、以及从特定以外提取部22获取到的特征F，生成输出用的二次特征。推论部23可以基于输出用的特征，来推定特定的个体的脸部构造gFS。
特定提取部21例如通过平均化等来生成二次特征。特定以外提取部22可以将针对特定以外提取部22的每个层(layer)而生成的特征F提供给特定提取部21。特定提取部22可以基于按每个层获取的特征F和在特定提取部21的对应的层中生成的特征，生成在特定提取部21的下一层中使用的特征。
或者，如图15所示，特定提取部21可以从与非特定的个体对应的个体用推定部19或通用推定部18的特征提取部(以下，称为“非特定提取部”)24获取特征。非特定提取部24基于与特定提取部21对应的特定的个体的脸部图像sFI，将提取的特征F提供给特定提取部21。特定提取部21可以基于该特定提取部21一次提取的特征以及从非特定提取部24获取到的特征F，生成输出用的二次特征。推论部23可以基于输出用的特征映射来推定特定的个体的脸部构造gFS。
特定提取部21例如通过平均化等来生成二次特征。非特定提取部24可以将针对非特定提取部24的每个层而生成的特征F提供给特定提取部21。特定提取部22可以基于按每个层获取的特征F和在特定提取部21的对应的层中生成的特征，生成在特定提取部21的下一层中使用的特征。
在新构建个体用推定部19的情况下，特定提取部21基于已经构建完毕的特定以外提取部22的提取结果进行学习。以下，对特征提取部的学习进行详细说明。
与前述的个体用推定部19的构建时同样地，特定提取部21以及推论部23通过使用作为针对特定的个体的虚拟的带标签的脸部构造vlFS且有效性为阈值以上的脸部构造gFS和脸部图像sFI的多组CB5并学习而被构建。
如图16所示，在构建特定提取部21时，用于对应的特定的个体以外的个体的已经构建完毕的个体用推定部19，基于针对该特定的个体的多组CB5中的脸部图像sFI，来推定脸部构造gFS。另外，该个体用推定部19的特征提取部即特定以外提取部22，基于该脸部图像sFI生成特征F。特定以外提取部22可以按每个层生成特征F。
学习中的特定提取部25，基于该学习中的特定提取部25基于脸部图像sFI而一次提取的特征以及从特定以外提取部22获取到的特征F来生成输出用的二次特征。学习中的特定提取部25例如通过平均化等而生成二次特征。学习中的推论部26基于从学习中的特定提取部25获取的特征来推定学习中的脸部构造tgFS。
控制部13计算学习中的脸部构造tgFS与多组CB5中的虚拟的带标签的脸部构造vlFS的第一差分losstarget。另外，控制部13计算学习中的脸部构造tgFS与构建完毕的个体用推定部19分别推定出的脸部构造gFS的第二差分lossassistance。控制部13通过将第一差分losstarget和分别进行了加权的第二差分lossassistance合计，来计算式(1)所示的整体差分lossfinal。
[数1]
lossfinal＝losstarget+γ×lossassistance1+β×lossassistance2+…
在式(1)中，γ、β是加权系数。γ、β可以小于1，进而可以为0.5以下，进而加权系数的合计值可以为0.5以下。
控制部13通过以整体差分lossfinal最小化的方式进行学习，从而构建特定提取部21以及推论部23。需要说明的是，在上述的特定提取部21以及推论部23的构建中，除了与特定提取部21对应的特定的个体的脸部图像sFI以及虚拟的带标签的脸部构造vlFS的多组CB5以外，该特定的个体以外的个体的脸部图像sFI以及虚拟的带标签的脸部构造vlFS也可以被用于学习。
或者，在新构建个体用推定部19的情况下，特定提取部21基于已经构建完毕的非特定提取部24的提取结果进行学习。以下，对特征提取部的学习进行详细说明。
与前述的个体用推定部19的构建时同样地，特定提取部21以及推论部23通过使用作为针对特定的个体的虚拟的带标签的脸部构造vlFS的有效性为阈值以上的脸部构造gFS和脸部图像sFI的多组CB5并学习而被构建。
如图17所示，在构建特定提取部21时，用于非特定的个体的构建完毕的个体用推定部19或通用推定部18，基于针对该特定的个体的多组CB5中的脸部图像sFI，来推定脸部构造gFS。另外，该个体用推定部19或通用推定部18的特征提取部即非特定提取部24，基于该脸部图像sFI而生成特征F。非特定提取部24可以按每个层而生成特征F。
学习中的特定提取部25基于该学习中的特定提取部25基于脸部图像sFI一次提取的特征、以及从非特定提取部24获取到的特征F来生成输出用的二次特征。学习中的特定提取部25例如通过平均化等而生成二次特征。学习中的推论部26基于从学习中的特定提取部25获取的特征，来推定学习中的脸部构造tgFS。
控制部13计算学习中的脸部构造tgFS与多组CB5中的虚拟的带标签的脸部构造vlFS的第一差分losstarget。另外，控制部13计算学习中的脸部构造tgFS与构建完毕的个体用推定部19或通用推定部18推定出的脸部构造gFS的第二差分lossassistance。控制部13通过将第一差分losstarget和进行了加权的第二差分lossassistance合计，从而计算式(2)所示的整体差分lossfinal。
[数2]
lossfinal＝losstarget+γ×lossassistance
在式(2)中，γ是加权系数。γ可以小于1，进而可以为0.5以下。
控制部13通过以整体差分loss final最小化的方式进行学习，从而构建特定提取部21以及推论部23。
需要说明的是，与非特定的个体对应的个体用推定部19可以通过使用了公开的脸部图像以及针对该脸部图像的带标签的脸部构造的多组的学习来构建。与非特定的个体对应的个体用推定部19可以与通用推定部18分开地构建。在与通用推定部18分开地构建的非特定的个体对应的个体用推定部19中，可以使用作为针对特定的个体的虚拟的带标签的脸部构造vlFS的有效性为阈值以上的脸部构造gFS和脸部图像sFI的多组CB5，并进行进一步的学习。
如上所述的个体用推定部19通过基于与其他的个体对应的个体用推定部19来构建，进一步提高脸部构造gFS的推定精度。
附图标记说明
10 脸部构造推定装置
11 获取部
12 存储部
13 控制部
14 摄像头
15 识别部
16 推定部
17 评价部
18 通用推定部
18a 一次通用推定部
19 个体用推定部
20 外部设备
21 特定提取部
22 特定以外提取部
23 推论部
24 非特定提取部
25 学习中的特定提取部
26 学习中的推论部
CB1 脸部图像以及带标签的脸部构造的组
CB2 脸部图像、带标签的脸部构造以及有效性的组
CB3 脸部图像以及虚拟带标签的脸部构造的组
CB4 脸部图像、虚拟的带标签的脸部构造以及有效性的组
CB5 特定的个体的脸部图像以及虚拟的带标签的脸部构造的组
F 特征
FI 脸部图像
gFS 推定出的脸部构造
lFS 带标签的脸部构造
sFI 特定的个体的脸部图像
tgFS 学习中的脸部构造
vlFS 虚拟的带标签的脸部构造

Claims (6)

1.一种脸部构造推定装置，其中，
具有：
获取部，获取脸部图像；以及
控制部，输出所述脸部图像的脸部构造，
所述控制部作为识别部、推定部以及评价部发挥作用，所述识别部基于所述获取部获取到的脸部图像来识别该脸部图像的个体，所述推定部基于所述获取部获取到的脸部图像来推定该脸部图像的脸部构造，所述评价部计算所述推定部推定的脸部构造的有效性并使该有效性为阈值以上的所述脸部构造以及所述脸部图像应用于所述推定部的学习中，
所述控制部基于所述识别部进行的所述个体的识别结果，使所述有效性为阈值以上的脸部构造以及所述脸部图像应用于所述推定部的学习中。
2.如权利要求1所述的脸部构造推定装置，其中，
所述推定部具有多个个体用推定部，
针对所述获取部获取到的脸部图像，通过对所述识别部识别出的个体进行学习后的所述个体用推定部，推定脸部构造。
3.如权利要求2所述的脸部构造推定装置，其中，
所述推定部具有学习完毕的通用推定部，
所述个体用推定部使用基于评价部的针对所述通用推定部推定的脸部构造的有效性为阈值以上的脸部构造以及脸部图像进行学习。
4.如权利要求2或3所述的脸部构造推定装置，
所述个体用推定部具有特征提取部，该特征提取部基于与该个体用推定部对应的个体以外的人所对应的特征提取部的提取结果，来提取所述脸部图像的特征点。
5.一种脸部构造推定方法，其中，
包括：
获取工序，获取脸部图像；以及
输出工序，输出所述脸部图像的脸部构造，
所述输出工序包括：
识别工序，基于在所述获取工序中获取到的脸部图像，识别该脸部图像的个体；
推定工序，基于在所述获取工序中获取到的脸部图像，推定该脸部图像的脸部构造；
评价工序，计算在所述推定工序中推定的脸部构造的有效性，并且使该有效性为阈值以上的所述脸部构造以及所述脸部图像应用于所述推定工序的学习中；以及
应用工序，基于所述识别工序进行的所述个体的识别结果，使所述有效性为阈值以上的脸部构造以及所述脸部图像应用于所述推定工序的学习中。
6.一种脸部构造推定程序，其中，
使计算机作为获取部和控制部发挥功能，所述获取部获取脸部图像，所述控制部输出所述脸部图像的脸部构造，
所述控制部作为识别部、推定部以及评价部发挥作用，所述识别部基于所述获取部获取到的脸部图像来识别该脸部图像的个体，所述推定部基于所述获取部获取到的脸部图像来推定该脸部图像的脸部构造，所述评价部计算所述推定部推定的脸部构造的有效性并使该有效性为阈值以上的所述脸部构造以及所述脸部图像应用于所述推定部的学习中，
所述控制部基于所述识别部进行的所述个体的识别结果，使所述有效性为阈值以上的脸部构造以及所述脸部图像应用于所述推定部的学习中。
CN202180043264.3A 2020-06-19 2021-06-03 脸部构造推定装置、脸部构造推定方法以及脸部构造推定程序 Pending CN115699106A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-106443 2020-06-19
JP2020106443A JP7345436B2 (ja) 2020-06-19 2020-06-19 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム
PCT/JP2021/021274 WO2021256289A1 (ja) 2020-06-19 2021-06-03 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム

Publications (1)

Publication Number Publication Date
CN115699106A true CN115699106A (zh) 2023-02-03

Family

ID=79244739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180043264.3A Pending CN115699106A (zh) 2020-06-19 2021-06-03 脸部构造推定装置、脸部构造推定方法以及脸部构造推定程序

Country Status (5)

Country Link
US (1) US20230222815A1 (zh)
EP (1) EP4170584A4 (zh)
JP (1) JP7345436B2 (zh)
CN (1) CN115699106A (zh)
WO (1) WO2021256289A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3469031B2 (ja) * 1997-02-18 2003-11-25 株式会社東芝 顔画像登録装置及びその方法
JP2018156451A (ja) * 2017-03-17 2018-10-04 株式会社東芝 ネットワーク学習装置、ネットワーク学習システム、ネットワーク学習方法およびプログラム
JP6760318B2 (ja) 2018-03-14 2020-09-23 オムロン株式会社 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
JP7273505B2 (ja) 2018-12-28 2023-05-15 スタンレー電気株式会社 路面状態検知システム及び路面状態検知方法

Also Published As

Publication number Publication date
WO2021256289A1 (ja) 2021-12-23
JP2022002004A (ja) 2022-01-06
EP4170584A4 (en) 2024-03-27
JP7345436B2 (ja) 2023-09-15
EP4170584A1 (en) 2023-04-26
US20230222815A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
US10776642B2 (en) Sampling training data for in-cabin human detection from raw video
US11676005B2 (en) Method and system for deep neural networks using dynamically selected feature-relevant points from a point cloud
WO2021028533A1 (en) Method, device, medium, and vehicle for providing individual driving experience
CN113597395B (zh) 汽车用行驶控制系统
CN114194190A (zh) 车道机动意图检测系统和方法
CN115605386A (zh) 驾驶员筛选
CN115699106A (zh) 脸部构造推定装置、脸部构造推定方法以及脸部构造推定程序
CN115588188A (zh) 一种机车、车载终端和驾驶员行为识别方法
CN113597391B (zh) 汽车行驶控制用运算装置及使用该运算装置的行驶控制系统
US20200307611A1 (en) Vehicle control device, vehicle control method and computer-readable medium containing program
JP7224550B2 (ja) 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム
CN115917591A (zh) 脸部构造推定装置、脸部构造推定方法以及脸部构造推定程序
US20240089577A1 (en) Imaging device, imaging system, imaging method, and computer program
WO2022014353A1 (ja) 電子機器、情報処理装置、推定方法、および推定プログラム
Neto et al. A simple and efficient road detection algorithm for real time autonomous navigation based on monocular vision
CN109977786B (zh) 一种基于视频及肤色区域距离的驾驶员姿态检测方法
CN114463710A (zh) 车辆无人驾驶策略生成方法、装置、设备及存储介质
JP2022088962A (ja) 電子機器、情報処理装置、集中度算出プログラム、及び集中度算出方法
Erian et al. Measuring driving performance for an All-Terrain Vehicle in a paved road in the woods
CN114639125B (zh) 基于视频图像的行人意图预测方法、装置及电子设备
JP2018200579A (ja) 画像処理装置、画像処理システム、カメラ装置、移動体、画像処理方法、および画像処理用プログラム
US20230257002A1 (en) Method and controller for controlling a motor vehicle
JP7318352B2 (ja) 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びプログラム
JP7516313B2 (ja) 物体認識装置、および、物体認識方法
CN113449589B (zh) 一种无人驾驶汽车在城市交通场景中驾驶策略计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination