CN108921000B - 头部角度标注、预测模型训练、预测方法、设备和介质 - Google Patents

头部角度标注、预测模型训练、预测方法、设备和介质 Download PDF

Info

Publication number
CN108921000B
CN108921000B CN201810339769.4A CN201810339769A CN108921000B CN 108921000 B CN108921000 B CN 108921000B CN 201810339769 A CN201810339769 A CN 201810339769A CN 108921000 B CN108921000 B CN 108921000B
Authority
CN
China
Prior art keywords
head
angle
rotation
coordinate system
labeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810339769.4A
Other languages
English (en)
Other versions
CN108921000A (zh
Inventor
陈芳林
胡湛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensenets Technology Ltd
Original Assignee
Sensenets Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensenets Technology Ltd filed Critical Sensenets Technology Ltd
Priority to CN201810339769.4A priority Critical patent/CN108921000B/zh
Publication of CN108921000A publication Critical patent/CN108921000A/zh
Application granted granted Critical
Publication of CN108921000B publication Critical patent/CN108921000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了头部角度标注、预测模型训练、预测方法、设备和介质,其中头部角度标注方法,包括:获取头部坐标系到摄像机坐标系的第一旋转矩阵;获取头部坐标系当前旋转的方向和角度;根据所述第一旋转矩阵、以及所述当前旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵;若收到旋转结束指令,则根据所述第二旋转矩阵计算头部标注角度。头部角度标注不依赖于人脸关键点,对图像质量要求较低,不易受到脸型的干扰,计算得到的头部标注角度更精确;标注后的头部图像可以作为样本数据去训练头部角度预测模型,训练后的头部角度预测模型可以对头部图像中头部的偏转角度进行预测。

Description

头部角度标注、预测模型训练、预测方法、设备和介质
技术领域
本发明涉及图像识别领域,尤其涉及头部角度标注、预测模型训练、预测方法、设备和介质。
背景技术
目前,人脸识别算法虽然在各种领域进行实践应用,但人脸识别的准确率与人脸图像中人脸的质量关系很大,而人脸的角度是影响人脸角度的重要因素之一,甚至在一些应用场景中,人脸的质量只取决于人脸角度。所以,人脸角度的计算方法是图像处理领域一个重要方向。
随着深度学习技术在计算机视觉任务中的成功应用,人脸角度的计算也以深度学习方法为主。但是基于深度学习的方法需要带有真实标签的训练数据集,就人脸角度的深度学习方法来说,需要标注好人脸角度的人脸图像作为训练集。但是准确的人脸角度很难得到。
现在基于深度学习的方法的人脸角度算法的训练集都是以大概的角度作为人脸角度进行训练,所以预测得到的人脸角度的偏差很大,这就限制了此类算法的应用范围。
另一种思路是利用人脸的关键点信息,通过图像中人脸关键点位置拟合三维标准人脸模型的人脸关键点的三维位置,从而得到图像中人脸的角度。这种方法估计人脸角度存在两个问题:一个是人脸角度的估计受制于人脸关键点检测的精确程度,在分辨率过低或者较模糊的人脸图像中,这种人脸角度的估计方法从关键点检测步骤就会引入过多的误差;另一个问题是不同的人的脸型存在差异,而用三维标准人脸模型中的关键点三维位置进行拟合本身就会带来误差。以上两点使得利用人脸关键点进行人脸角度估计容易受到图像质量和图像中人脸的影响。
发明内容
为了克服现有技术的不足,本发明的目的之一在于提供头部角度标注方法,不依赖于人脸关键点,对图像质量要求较低,不易受到脸型的干扰,计算得到的头部标注角度更精确。
本发明的目的之二在于提供头部角度预测模型训练方法,训练后的头部角度预测模型可以对头部图像中头部的偏转角度进行更准确的预测。
本发明的目的之三在于提供头部角度预测方法,可以对头部图像中头部的偏转角度进行更准确的预测。
本发明的目的之四在于提供电子设备,头部角度标注不依赖于人脸关键点,对图像质量要求较低,不易受到脸型的干扰,计算得到的头部标注角度更精确;训练后的头部角度预测模型可以对头部图像中头部的偏转角度进行更准确的预测。
本发明的目的之五在于提供存储介质,存储有计算机程序,头部角度标注不依赖于人脸关键点,对图像质量要求较低,不易受到脸型的干扰,计算得到的头部标注角度更精确;训练后的头部角度预测模型可以对头部图像中头部的偏转角度进行更准确的预测。
本发明的目的之一采用以下技术方案实现:
头部角度标注方法,包括以下步骤:
获取头部坐标系到摄像机坐标系的第一旋转矩阵;
获取头部坐标系当前旋转的方向和角度;
根据所述第一旋转矩阵、以及所述当前旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵;
若收到旋转结束指令,则根据所述第二旋转矩阵计算头部标注角度。
进一步地,若未收到所述旋转结束指令,则执行以下步骤直至收到所述旋转结束指令:
将所述第二旋转矩阵作为第一旋转矩阵;
获取头部坐标系下一旋转的方向和角度;
根据所述第一旋转矩阵、以及所述下一旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵。
进一步地,所述获取头部坐标系到摄像机坐标系的第一旋转矩阵之前,还包括以下步骤:
将头部坐标系置为预设坐标系,所述预设坐标系与所述摄像机坐标系三个方向均平行;
所述获取头部坐标系到摄像机坐标系的第一旋转矩阵,具体为,所述第一旋转矩阵为:
进一步地,所述头部坐标系包括第一轴、第二轴和第三轴三个坐标轴;
所述获取头部坐标系当前旋转的方向和角度,具体为:获取头部坐标系绕第一轴或第二轴或第三轴旋转的角度。
进一步地,所述根据所述第一旋转矩阵、以及所述当前旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵,具体为根据下式计算:
Rn=Rn-1Rs
其中,Rn-1为第一旋转矩阵,Rn为第二旋转矩阵,Rs为根据所述当前旋转的方向和角度计算的矩阵。
进一步地,若所述当前旋转的方向和角度为绕第一轴旋转α,则:
若所述当前旋转的方向和角度为绕第二轴旋转β,则:
若所述当前旋转的方向和角度为绕第三轴旋转γ,则:
进一步地,所述第二旋转矩阵为:
所述若收到旋转结束指令,则根据所述第二旋转矩阵计算头部标注角度,具体为:若收到旋转结束指令,则根据下式计算所述头部标注角度:
βtag=-arcsinr7
其中βtag、αtag、γtag分别为相对于第二轴、第一轴、第三轴的标注角度。
进一步地,所述若收到旋转结束指令,则根据所述第二旋转矩阵计算头部标注角度之前,还包括以下步骤:
判断所述第二旋转矩阵相应的头部模型与标注头部的偏转角度是否相同,若相同则发出旋转结束指令。
进一步地,所述若收到旋转结束指令,则根据所述第二旋转矩阵计算头部标注角度之后,还包括以下步骤:
根据所述头部标注角度计算标注概率分布。
本发明的目的之二采用以下技术方案实现:
头部角度预测模型训练方法,包括以下步骤:
获取多个训练样本,所述训练样本包括头部图像和所述头部图像的头部标注角度,所述头部标注角度具体为通过上述的头部角度标注方法计算的;
根据所述训练样本对头部角度预测模型进行训练。
本发明的目的之三采用以下技术方案实现:
头部角度预测方法,包括以下步骤:
获取头部图像;
通过上述的头部角度预测模型训练方法训练后的头部角度预测模型对所述头部图像的头部角度进行预测。
本发明的目的之四采用以下技术方案实现:
电子设备,包括存储器、处理器以及存储在存储器中的程序,所述程序被配置成由处理器执行,处理器执行所述程序时实现:
上述的头部角度标注方法的步骤;和/或
上述的头部角度预测模型训练方法的步骤;和/或
上述的头部角度预测方法的步骤。
本发明的目的之五采用以下技术方案实现:
存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现:
上述的头部角度标注方法的步骤;和/或
上述的头部角度预测模型训练方法的步骤;和/或
上述的头部角度预测方法的步骤。
相比现有技术,本发明的有益效果在于:通过旋转头部坐标系,并根据头部坐标系旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵;当与头部坐标系相应的头部模型和头部图像中标注头部的偏转角度相同时,可以根据第二旋转矩阵计算头部尤其是人脸相对于摄像机的偏转角度,即头部标注角度;头部角度标注不依赖于人脸关键点,对图像质量要求较低,不易受到脸型的干扰,计算得到的头部标注角度更精确;标注后的头部图像可以作为样本数据去训练头部角度预测模型,训练后的头部角度预测模型可以对头部图像中头部的偏转角度进行预测。
附图说明
图1为本发明实施例一的头部角度标注方法的流程示意图;
图2为相应于预设坐标系的头部模型的示意图;
图3为头部图像的示意图;
图4为与图3中标注头部的偏转角度相同的头部模型的示意图;
图5为本发明实施例二的头部角度标注方法的流程示意图;
图6为第一标注角度为26.992°时的第一标注分布;
图7为本发明实施例四的电子设备的结构示意图。
具体实施方式
下面,结合附图以及具体实施方式,对本发明做进一步描述,需要说明的是,在不相冲突的前提下,以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例一
如图1为头部角度标注方法,包括以下步骤:
步骤S110、获取头部坐标系到摄像机坐标系的第一旋转矩阵。
作为优选的实施方式,头部坐标系包括第一轴、第二轴和第三轴三个坐标轴。其中,第一轴与脖子至头顶的方向平行,第二轴与两耳所在直线平行,第三轴与头部的前后方向平行。当头部绕第一轴旋转时,对应于左右摇头,可以定义为yaw方向的旋转;当头部绕第二轴旋转时,对应于上下摇头,可以定义为pitch方向的旋转;当头部绕第三轴旋转时,对应于左右歪头,可以定义为roll方向的旋转。
头部坐标系随着头部的转动而转动。当摄像机对准人脸的正前方拍摄,可以得到正脸的图像,那么此时的头部坐标系与摄像机坐标系三个方向均平行,此时头部坐标系称为预设坐标系;当摄像机没有对准人脸正前方拍摄,那么拍摄到的图像就不是正脸,而可能是侧脸等情况,这时头部坐标系与摄像机坐标系之间存在不平行的关系,头部坐标系需要旋转才能与摄像机坐标系平行,该旋转对应于第一旋转矩阵。
第一旋转矩阵既可以通过现有技术,如现有的基于深度学习方法的人脸角度算法获取,也可以通过本发明实施例的方式获取。
作为优选的实施方式,在本实施例中,步骤S110获取头部坐标系到摄像机坐标系的第一旋转矩阵之前,还包括以下步骤:
将头部坐标系置为预设坐标系,所述预设坐标系与所述摄像机坐标系三个方向均平行,此时所述第一旋转矩阵为:
如图2所示,可以建立一可三维转动的实体的头部模型,也可以建立一虚拟的可三维转动的头部模型。以对如图3所示的头部图像进行头部角度标注为例;可以先将头部模型转动至与摄像机正对的方向,此时,头部模型相应的头部坐标系,与所述摄像机坐标系三个方向均平行,即为预设坐标系。
步骤S120、获取头部坐标系当前旋转的方向和角度。
如图4所示,可以将实体的头部模型或者虚拟的头部模型转动,同时可以通过检测装置或者算法获取头部模型的转动方向和转动的角度,即获取头部坐标系当前旋转的方向和角度。
作为优选的实施方式,步骤S120获取头部坐标系当前旋转的方向和角度,具体为:获取头部坐标系绕第一轴或第二轴或第三轴旋转的角度。即可以将实体的头部模型或者虚拟的头部模型进行yaw方向或pitch方向或roll方向的旋转。
作为优选的实施方式,旋转头部模型时以其中某一方向进行旋转。
当头部模型所在的头部坐标系相对于摄像机坐标系旋转后,头部坐标系到摄像机坐标系的旋转矩阵也会发生改变。
步骤S130、根据所述第一旋转矩阵、以及所述当前旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵。
作为优选的实施方式,步骤S130根据所述第一旋转矩阵、以及所述当前旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵,具体为根据下式计算:
Rn=Rn-1Rs
其中,Rn-1为第一旋转矩阵,Rn为第二旋转矩阵,Rs为根据所述当前旋转的方向和角度计算的矩阵。
第一旋转矩阵可以由现有技术,如人工神经网络识别获取,也可以通过本发明实施例的方式获取。当头部模型所在的头部坐标系相对于摄像机坐标系旋转后,头部坐标系到摄像机坐标系的旋转矩阵也会发生改变,因此,可以通过第一旋转矩阵、以及所述当前旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵。
作为优选的实施方式,若所述当前旋转的方向和角度为绕第一轴旋转α,则:
若所述当前旋转的方向和角度为绕第二轴旋转β,则:
若所述当前旋转的方向和角度为绕第三轴旋转γ,则:
如果头部模型在旋转之后,头部模型与头部图像中的头部,即标注头部的偏转角度相同,如图4所示的头部模型与如图3所示的头部图像,头部模型和头部图像的头部角度相同,即偏转角度相同,那么就可以终止对头部模型的旋转。
作为优选的实施方式,判断所述第二旋转矩阵相应的头部模型与标注头部的偏转角度是否相同,可以由标注员进行对比判断,也可以由视觉算法或装置比较判断。如果所述第二旋转矩阵相应的头部模型与标注头部的偏转角度相同,可以由标注员或者视觉算法或装置发出旋转结束指令。
步骤S140、若收到旋转结束指令,则根据所述第二旋转矩阵计算头部标注角度。
若收到旋转结束指令,表示预设坐标系根据第二旋转矩阵旋转之后,与预设坐标系相应的头部模型的偏转角度与标注头部中头部的偏转角度相同,因此可以根据第二旋转矩阵计算标注头部的头部标注角度。
作为优选的实施方式,当步骤S140收到旋转结束指令时,第二旋转矩阵可以为以下形式:
作为优选的实施方式,以yaw方向>pitch方向>roll方向为顺序定义头部的旋转角度,那么有:
Rn=RrollRpitchRyaw
又由于:
设yaw方向、pitch方向、roll方向的旋转角度范围是[-90°,90°],可以由上式得出α、β、γ。
因此,在本实施例中,步骤S140中根据所述第二旋转矩阵计算头部标注角度,具体为根据下式计算所述头部标注角度:
βtag=-arcsinr7
其中βtag、αtag、γtag分别为相对于第二轴、第一轴、第三轴的标注角度。可以称αtag、βtag、γtag分别为第一标注角度、第二标注角度和第三标注角度。
本发明实施例提供的头部角度标注方法,通过旋转头部坐标系,并根据头部坐标系旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵;当与头部坐标系相应的头部模型和头部图像中标注头部的偏转角度相同时,可以根据第二旋转矩阵计算头部尤其是人脸相对于摄像机的偏转角度,即头部标注角度;头部角度标注不依赖于人脸关键点,对图像质量要求较低,不易受到脸型的干扰,计算得到的头部标注角度更精确。
当第一旋转矩阵通过现有的基于深度学习方法的人脸角度算法获取,仍可以通过本发明实施例提供的头部角度标注方法对现有算法获取的标注角度进行修正,得到更精确的头部标注角度。
实施例二
如图5所示的头部角度标注方法,包括以下步骤。
步骤S210、获取头部坐标系到摄像机坐标系的第一旋转矩阵。
步骤S220、获取头部坐标系当前旋转的方向和角度。
步骤S230、根据所述第一旋转矩阵、以及所述当前旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵。
步骤S201、判断所述第二旋转矩阵相应的头部模型与标注头部的偏转角度是否相同;若相同则发出旋转结束指令,若不相同则不发出旋转结束指令。
如果判断所述第二旋转矩阵相应的头部模型与标注头部的偏转角度相同,可以由标注员或者视觉算法或装置发出旋转结束指令。
若经过头部坐标系的某次旋转,以及计算第二旋转矩阵之后,如果与第二旋转矩阵相应的头部模型与标注头部的偏转角度仍不相同,那么就需要对头部坐标系,即头部模型进行再一次的旋转,并再次执行步骤S220-步骤S230,以及判断第二旋转矩阵相应的头部模型与标注头部的偏转角度是否相同的步骤,直至第二旋转矩阵相应的头部模型与标注头部的偏转角度相同,即头部角度标注方法还包括步骤S240:
步骤S240、若未收到所述旋转结束指令,则执行以下步骤直至收到所述旋转结束指令:
将所述第二旋转矩阵作为第一旋转矩阵;
获取头部坐标系下一旋转的方向和角度;
根据所述第一旋转矩阵、以及所述下一旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵。
步骤S250、若收到旋转结束指令,则根据所述第二旋转矩阵计算头部标注角度。
步骤S210、S220、S230和S250,分别对应实施例一中的S110、S120、S130和S140,不再赘述。
本发明实施例提供的头部角度标注方法,通过多次旋转头部坐标系,并根据头部坐标系旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵;当与头部坐标系相应的头部模型和头部图像中标注头部的偏转角度相同时,可以根据第二旋转矩阵计算头部尤其是人脸相对于摄像机的偏转角度,即头部标注角度;头部角度标注不依赖于人脸关键点,对图像质量要求较低,不易受到脸型的干扰,计算得到的头部标注角度更精确。
作为本发明实施例的进一步改进,步骤S250若收到旋转结束指令,则根据所述第二旋转矩阵计算头部标注角度之后还包括以下步骤:
步骤S260、根据所述头部标注角度计算标注概率分布。
由于进行深度学习时,样本数据的信息越丰富,学习训练后的模型预测的准确性越高,因此可以将头部图像中头部的标注概率分布作为样本数据的一部分,可以使得基于本实施例头部角度标注方法得到的样本数据训练后的人工神经网络模型更精确。
头部标注角度包括第一标注角度、第二标注角度和第三标注角度,相应的标注概率分布可以包括第一标注分布、第二标注分布和第三标注分布;第一标注分布、第二标注分布和第三标注分布可以分别由第一标注角度、第二标注角度和第三标注角度计算出。
作为优选的实施方式,以计算标注概率分布中的第一标注分布为例,第一标注分布具体根据以下算式由所述第一标注角度计算:
其中,x为离散角度,μ为所述第一标注角度,D(x)为所述第一标注分布。
第一标注分布是由第一标注角度按照高斯分布展开得到。计算第一标注分布前,首先把角度的取值范围进行离散化处理;例如可以每3度进行分割,则离散后角度的取值为[-99,-96,93…0…93,96,99],共67个离散值。之后,按照高斯分布将第一标注角度转为第一标注分布,越靠近第一标注角度的离散值所对应的概率越高。
作为优选的实施方式,σ可取为3。如果第一标注角度为26.992°,那么第一标注分布如图6所示。
由第二标注角度、第三标注角度计算第二标注分布、第三标注分布可以参考第一标注分布的计算方法,不再赘述。
实施例三
实施例一、实施例二提供的头部角度标注方法可以对作为样本的头部图像进行头部角度的标注。标注后的头部图像可以作为样本数据去训练头部角度预测模型,训练后的头部角度预测模型可以对头部图像中头部的偏转角度进行预测。因此本实施例提供了头部角度预测模型训练方法,包括以下步骤:
获取多个训练样本,所述训练样本包括头部图像和所述头部图像的头部标注角度,所述头部标注角度具体为通过前述的头部角度标注方法计算的;
根据所述训练样本对头部角度预测模型进行训练。
由于头部角度标注方法计算得到的头部标注角度更精确,因此训练后的头部角度预测模型可以对头部图像中头部的偏转角度进行更准确的预测。因此,本发明还提供了头部角度预测方法,包括以下步骤:
获取头部图像;
通过前述的头部角度预测模型训练方法训练后的头部角度预测模型对所述头部图像的头部角度进行预测。
头部角度预测模型的结构,以及根据训练样本进行训练的过程均可通过现有技术实现,在此不再赘述。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法,如:
存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现:
前述的头部角度标注方法的步骤;和/或
前述的头部角度预测模型训练方法的步骤;和/或
前述的头部角度预测方法的步骤。
本发明可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等,如实施例四。
实施例四
如图7所示电子设备,包括存储器200、处理器300以及存储在存储器200中的程序,所述程序被配置成由处理器300执行,处理器300执行所述程序时实现:
前述的头部角度标注方法的步骤;和/或
前述的头部角度预测模型训练方法的步骤;和/或
前述的头部角度预测方法的步骤。
本实施例中的电子设备与前述实施例中的方法是基于同一发明构思下的两个方面,在前面已经对方法实施过程作了详细的描述,所以本领域技术人员可根据前述描述清楚地了解本实施中的系统的结构及实施过程,为了说明书的简洁,在此就不再赘述。
本发明实施例提供的电子设备,可以通过旋转头部坐标系,并根据头部坐标系旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵;当与头部坐标系相应的头部模型和头部图像中标注头部的偏转角度相同时,可以根据第二旋转矩阵计算头部尤其是人脸相对于摄像机的偏转角度,即头部标注角度;头部角度标注不依赖于人脸关键点,对图像质量要求较低,不易受到脸型的干扰,计算得到的头部标注角度更精确;标注后的头部图像可以作为样本数据去训练头部角度预测模型,训练后的头部角度预测模型可以对头部图像中头部的偏转角度进行预测。
上述实施方式仅为本发明的优选实施方式,不能以此来限定本发明保护的范围,本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (12)

1.头部角度标注方法,其特征在于,包括以下步骤:
获取头部坐标系到摄像机坐标系的第一旋转矩阵;
获取头部坐标系当前旋转的方向和角度;
根据所述第一旋转矩阵、以及所述当前旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵;
若收到旋转结束指令,则根据所述第二旋转矩阵计算头部标注角度;
若未收到所述旋转结束指令,则执行以下步骤直至收到所述旋转结束指令:
将所述第二旋转矩阵作为第三旋转矩阵;
获取头部坐标系下一旋转的方向和角度;
根据所述第三旋转矩阵、以及所述下一旋转的方向和角度计算头部坐标系到摄像机坐标系的第四旋转矩阵。
2.如权利要求1所述的头部角度标注方法,其特征在于:所述获取头部坐标系到摄像机坐标系的第一旋转矩阵之前,还包括以下步骤:
将头部坐标系置为预设坐标系,所述预设坐标系与所述摄像机坐标系三个方向均平行;
所述获取头部坐标系到摄像机坐标系的第一旋转矩阵,具体为,所述第一旋转矩阵为:
3.如权利要求1所述的头部角度标注方法,其特征在于:所述头部坐标系包括第一轴、第二轴和第三轴三个坐标轴;
所述获取头部坐标系当前旋转的方向和角度,具体为:获取头部坐标系绕第一轴或第二轴或第三轴旋转的角度。
4.如权利要求3所述的头部角度标注方法,其特征在于:所述根据所述第一旋转矩阵、以及所述当前旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵,具体为根据下式计算:
Rn=Rn-1Rs
其中,Rn-1为第一旋转矩阵,Rn为第二旋转矩阵,Rs为根据所述当前旋转的方向和角度计算的矩阵。
5.如权利要求4所述的头部角度标注方法,其特征在于:若所述当前旋转的方向和角度为绕第一轴旋转α,则:
若所述当前旋转的方向和角度为绕第二轴旋转β,则:
若所述当前旋转的方向和角度为绕第三轴旋转γ,则:
6.如权利要求4所述的头部角度标注方法,其特征在于:所述第二旋转矩阵为:
所述若收到旋转结束指令,则根据所述第二旋转矩阵计算头部标注角度,具体为:若收到旋转结束指令,则根据下式计算所述头部标注角度:
βtag=-arcsinr7
其中βtag、αtag、γtag分别为相对于第二轴、第一轴、第三轴的标注角度。
7.如权利要求1-6中任一项所述的头部角度标注方法,其特征在于:所述若收到旋转结束指令,则根据所述第二旋转矩阵计算头部标注角度之前,还包括以下步骤:
判断所述第二旋转矩阵相应的头部模型与标注头部的偏转角度是否相同,若相同则发出旋转结束指令。
8.如权利要求1-6中任一项所述的头部角度标注方法,其特征在于:所述若收到旋转结束指令,则根据所述第二旋转矩阵计算头部标注角度之后,还包括以下步骤:
根据所述头部标注角度计算标注概率分布。
9.头部角度预测模型训练方法,其特征在于,包括以下步骤:
获取多个训练样本,所述训练样本包括头部图像和所述头部图像的头部标注角度,所述头部标注角度具体为通过如权利要求1-6中任一项所述的头部角度标注方法计算的;
根据所述训练样本对头部角度预测模型进行训练。
10.头部角度预测方法,其特征在于,包括以下步骤:
获取头部图像;
通过如权利要求9所述的头部角度预测模型训练方法训练后的头部角度预测模型对所述头部图像的头部角度进行预测。
11.电子设备,其特征在于:包括存储器、处理器以及存储在存储器中的程序,所述程序被配置成由处理器执行,处理器执行所述程序时实现:
如权利要求1-8中任一项所述的头部角度标注方法的步骤;和/或
如权利要求9所述的头部角度预测模型训练方法的步骤;和/或
如权利要求10所述的头部角度预测方法的步骤。
12.存储介质,所述存储介质存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现:
如权利要求1-8中任一项所述的头部角度标注方法的步骤;和/或
如权利要求9所述的头部角度预测模型训练方法的步骤;和/或
如权利要求10所述的头部角度预测方法的步骤。
CN201810339769.4A 2018-04-16 2018-04-16 头部角度标注、预测模型训练、预测方法、设备和介质 Active CN108921000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810339769.4A CN108921000B (zh) 2018-04-16 2018-04-16 头部角度标注、预测模型训练、预测方法、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810339769.4A CN108921000B (zh) 2018-04-16 2018-04-16 头部角度标注、预测模型训练、预测方法、设备和介质

Publications (2)

Publication Number Publication Date
CN108921000A CN108921000A (zh) 2018-11-30
CN108921000B true CN108921000B (zh) 2024-02-06

Family

ID=64402983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810339769.4A Active CN108921000B (zh) 2018-04-16 2018-04-16 头部角度标注、预测模型训练、预测方法、设备和介质

Country Status (1)

Country Link
CN (1) CN108921000B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862296B (zh) * 2019-04-24 2023-09-29 京东方科技集团股份有限公司 三维重建方法及装置、系统、模型训练方法、存储介质
CN111161429B (zh) * 2019-12-19 2023-09-26 武汉中科医疗科技工业技术研究院有限公司 模型图像显示方法、装置、计算机设备和存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1488912A (en) * 1973-12-26 1977-10-19 Rca Corp Method and apparatus for encoding an information signal and compressing the transmission bandwidth
US6850242B1 (en) * 1999-09-09 2005-02-01 Namco Ltd. Image generating system and program
JP2008148237A (ja) * 2006-12-13 2008-06-26 Sanyo Electric Co Ltd 姿勢検知装置
JP2009089080A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 画像処理方法および画像処理装置
CN101815174A (zh) * 2010-01-11 2010-08-25 北京中星微电子有限公司 摄像控制方法及控制装置
CN102638653A (zh) * 2012-03-01 2012-08-15 北京航空航天大学 一种基于Kinect的自动面部追踪方法
CN105120421A (zh) * 2015-08-21 2015-12-02 北京时代拓灵科技有限公司 一种生成虚拟环绕声的方法和装置
CN105235451A (zh) * 2015-10-22 2016-01-13 四川膨旭科技有限公司 具有胎压监测功能的驾驶人视觉识别系统
CN105279493A (zh) * 2015-10-22 2016-01-27 四川膨旭科技有限公司 车辆行驶过程中驾驶人视觉识别系统
JP2016173313A (ja) * 2015-03-17 2016-09-29 国立大学法人鳥取大学 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
CN106355147A (zh) * 2016-08-26 2017-01-25 张艳 一种活体人脸检测头部姿态回归器的获取方法及检测方法
CN106454315A (zh) * 2016-10-26 2017-02-22 深圳市魔眼科技有限公司 一种自适应虚拟视图转立体视图的方法、装置及显示设备
CN106503684A (zh) * 2016-10-28 2017-03-15 厦门中控生物识别信息技术有限公司 一种人脸图像处理方法和装置
CN106503671A (zh) * 2016-11-03 2017-03-15 厦门中控生物识别信息技术有限公司 确定人脸姿态的方法和装置
CN106955122A (zh) * 2017-03-20 2017-07-18 苏州网颢信息科技有限公司 放射治疗中基于单摄像模组的头部三维检测方法
CN107122774A (zh) * 2017-03-28 2017-09-01 武汉斗鱼网络科技有限公司 一种随图像中关键点移动的自适应贴图方法和系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1488912A (en) * 1973-12-26 1977-10-19 Rca Corp Method and apparatus for encoding an information signal and compressing the transmission bandwidth
US6850242B1 (en) * 1999-09-09 2005-02-01 Namco Ltd. Image generating system and program
JP2008148237A (ja) * 2006-12-13 2008-06-26 Sanyo Electric Co Ltd 姿勢検知装置
JP2009089080A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 画像処理方法および画像処理装置
CN101815174A (zh) * 2010-01-11 2010-08-25 北京中星微电子有限公司 摄像控制方法及控制装置
CN102638653A (zh) * 2012-03-01 2012-08-15 北京航空航天大学 一种基于Kinect的自动面部追踪方法
JP2016173313A (ja) * 2015-03-17 2016-09-29 国立大学法人鳥取大学 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
CN105120421A (zh) * 2015-08-21 2015-12-02 北京时代拓灵科技有限公司 一种生成虚拟环绕声的方法和装置
CN105279493A (zh) * 2015-10-22 2016-01-27 四川膨旭科技有限公司 车辆行驶过程中驾驶人视觉识别系统
CN105235451A (zh) * 2015-10-22 2016-01-13 四川膨旭科技有限公司 具有胎压监测功能的驾驶人视觉识别系统
CN106355147A (zh) * 2016-08-26 2017-01-25 张艳 一种活体人脸检测头部姿态回归器的获取方法及检测方法
CN106454315A (zh) * 2016-10-26 2017-02-22 深圳市魔眼科技有限公司 一种自适应虚拟视图转立体视图的方法、装置及显示设备
CN106503684A (zh) * 2016-10-28 2017-03-15 厦门中控生物识别信息技术有限公司 一种人脸图像处理方法和装置
CN106503671A (zh) * 2016-11-03 2017-03-15 厦门中控生物识别信息技术有限公司 确定人脸姿态的方法和装置
CN106955122A (zh) * 2017-03-20 2017-07-18 苏州网颢信息科技有限公司 放射治疗中基于单摄像模组的头部三维检测方法
CN107122774A (zh) * 2017-03-28 2017-09-01 武汉斗鱼网络科技有限公司 一种随图像中关键点移动的自适应贴图方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度神经网络的回归模型及其应用研究;包姣;《电子科技大学博士学位论文》;20180115;正文第四章第58-78页 *

Also Published As

Publication number Publication date
CN108921000A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
CN108764048B (zh) 人脸关键点检测方法及装置
US11710243B2 (en) Method for predicting direction of movement of target object, vehicle control method, and device
US11238272B2 (en) Method and apparatus for detecting face image
CN110147744B (zh) 一种人脸图像质量评估方法、装置及终端
CN110175558B (zh) 一种人脸关键点的检测方法、装置、计算设备及存储介质
WO2018137623A1 (zh) 图像处理方法、装置以及电子设备
EP3817360A1 (en) Method for tracking target in panoramic video, and panoramic camera
CN109657615B (zh) 一种目标检测的训练方法、装置及终端设备
CN111968235A (zh) 一种物体姿态估计方法、装置、系统和计算机设备
CN108229301B (zh) 眼睑线检测方法、装置和电子设备
CN109087261B (zh) 基于非受限采集场景的人脸矫正方法
CN110175528B (zh) 人体跟踪方法及装置、计算机设备及可读介质
CN108921000B (zh) 头部角度标注、预测模型训练、预测方法、设备和介质
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
CN108920999A (zh) 一种头部角度预测模型训练方法、预测方法、设备和介质
CN110598647B (zh) 一种基于图像识别的头部姿态识别方法
CN112861809B (zh) 基于多目标视频分析的课堂抬头检测系统及其工作方法
US9349038B2 (en) Method and apparatus for estimating position of head, computer readable storage medium thereof
CN110956131A (zh) 单目标追踪方法、装置及系统
CN115620082A (zh) 模型训练方法、头部姿态估计方法、电子设备及存储介质
CN112991449B (zh) 一种agv定位与建图方法、系统、装置及介质
CN115223240A (zh) 基于动态时间规整算法的运动实时计数方法和系统
CN114067417A (zh) 判断人员是否关注目标物的方法、装置及计算机主设备
CN114663972A (zh) 基于动作差分的目标标记方法及装置
CN114417965A (zh) 图像处理模型的训练方法、目标检测方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant