CN110849317B - 显示屏幕间夹角的确定方法、电子设备及存储介质 - Google Patents

显示屏幕间夹角的确定方法、电子设备及存储介质 Download PDF

Info

Publication number
CN110849317B
CN110849317B CN201911192185.XA CN201911192185A CN110849317B CN 110849317 B CN110849317 B CN 110849317B CN 201911192185 A CN201911192185 A CN 201911192185A CN 110849317 B CN110849317 B CN 110849317B
Authority
CN
China
Prior art keywords
face
determining
display screens
same
included angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911192185.XA
Other languages
English (en)
Other versions
CN110849317A (zh
Inventor
钟宜峰
莫东松
张进
赵璐
张健
马晓琳
马丹
王科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MIGU Culture Technology Co Ltd
Original Assignee
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MIGU Culture Technology Co Ltd filed Critical MIGU Culture Technology Co Ltd
Priority to CN201911192185.XA priority Critical patent/CN110849317B/zh
Publication of CN110849317A publication Critical patent/CN110849317A/zh
Application granted granted Critical
Publication of CN110849317B publication Critical patent/CN110849317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00—Measuring angles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种显示屏幕间夹角的确定方法、电子设备及存储介质，首先确定两个显示屏幕上的摄像装置同时拍摄得到的人脸图片，保证每张人脸图片中均包含有同一人脸的脸部区域，可以使后续操作集中于确定同一人脸的相关信息，简化了显示屏幕间夹角的确定方法的整个流程。然后基于每张人脸图片，确定同一人脸相对于每个摄像装置的水平姿态角。最后，根据水平姿态角确定两个显示屏幕之间的夹角。本发明实施例中结合每个显示屏幕上具有摄像装置的特点，通过人脸图片确定两个显示屏幕之间的夹角，并不需要引入额外的硬件设备，降低了硬件成本。

Description

显示屏幕间夹角的确定方法、电子设备及存储介质
技术领域
本发明涉及通信及测量学技术领域，尤其涉及显示屏幕间夹角的确定方法、电子设备及存储介质。
背景技术
随着科技的快速发展，为某一应用场景配置多个显示屏幕由于能够满足用户的更多需求而备受关注。
为了确定出不同应用场景下多个显示屏幕的显示状态，往往要确定出显示屏幕之间的夹角，以满足用户的使用需求。现有技术中在显示屏幕之间的夹角时，通常需要引入额外的硬件设备，例如设置角度传感器，通过角度传感器直接测量显示屏幕之间的夹角；或者，引入红外测距装置或者超声波测距装置等辅助测距设备，根据辅助测距设备测量得到的距离确定显示屏幕间夹角的。
现有技术中在确定显示屏幕之间的夹角时引入了额外的硬件设备，增加了硬件成本。因此，现急需提供一种显示屏幕间夹角的确定方法、电子设备及存储介质。
发明内容
针对现有技术存在的问题，本发明实施例中提供了一种显示屏幕间夹角的确定方法、电子设备及存储介质。
第一方面，本发明实施例提供了一种显示屏幕间夹角的确定方法，包括：
确定两个显示屏幕上的摄像装置同时拍摄得到的人脸图片，每张人脸图片中均包含有同一人脸的脸部区域；
基于每张人脸图片，确定所述同一人脸相对于每个摄像装置的水平姿态角；
基于所述水平姿态角，确定两个显示屏幕之间的夹角。
优选地，所述基于每张人脸图片，确定所述同一人脸相对于每个摄像装置的水平姿态角，具体包括：
分别从每张人脸图片中包含的所述同一人脸的脸部区域中提取出人脸关键点；
基于提取出的所述人脸关键点，确定所述同一人脸相对于每个摄像装置的水平姿态角。
优选地，所述分别从每张人脸图片中包含的所述同一人脸的脸部区域中提取出人脸关键点，具体包括：
分别将每张人脸图片输入至预先训练完成的卷积神经网络模型，得到每张人脸图片中包含的所有脸部区域以及每个脸部区域中的人脸关键点；
基于人脸识别算法，从每张人脸图片中包含的所有脸部区域中确定所述同一人脸的脸部区域。
优选地，所述分别从每张人脸图片中包含的所述同一人脸的脸部区域中提取出人脸关键点，具体包括：
确定每张人脸图片中包含的所有脸部区域，并基于人脸识别算法，从每张人脸图片中包含的所有脸部区域中确定所述同一人脸的脸部区域；
从所述同一人脸的脸部区域中提取所述同一人脸的人脸关键点。
优选地，所述基于人脸识别算法，从每张人脸图片中包含的所有脸部区域中确定所述同一人脸的脸部区域，具体包括：
基于人脸识别算法，分别提取每张人脸图片中包含的所有脸部区域的人脸特征；
对于一张人脸图片中包含的每个脸部区域的人脸特征，计算所述脸部区域的人脸特征与另一张人脸图片中包含的每个脸部区域的人脸特征之间的欧氏距离；
若所述欧氏距离小于预设阈值，则确定所述欧氏距离对应的两张人脸图片中的脸部区域均为所述同一人脸的脸部区域。
优选地，所述基于提取出的所述人脸关键点，确定所述同一人脸相对于每个摄像装置的水平姿态角，具体包括：
基于提取出的所述人脸关键点，采用人脸姿态估计算法确定所述同一人脸相对于每个摄像装置的姿态角三元组；
所述姿态角三元组中包括水平姿态角。
优选地，所述基于所述水平姿态角，确定两个显示屏幕之间的夹角，具体包括：
基于所述水平姿态角，计算第一连线与第二连线之间的夹角；
将所述夹角的补角作为两个显示屏幕之间的夹角；
其中，所述第一连线为所述同一人脸被第一摄像装置拍摄到的位置与所述第一摄像装置之间的连线，所述第二连线为所述同一人脸被第二摄像装置拍摄到的位置与所述第二摄像装置之间的连线。
优选地，所述两个显示屏幕分别为同一个柔性显示屏幕的两个显示区域；或者，所述两个显示屏幕相互独立。
第二方面，本发明实施例提供了一种显示屏幕间夹角的确定装置，包括：人脸图片确定模块、水平姿态角确定模块和夹角确定模块。其中，
人脸图片确定模块用于确定两个显示屏幕上的摄像装置同时拍摄得到的人脸图片，每张人脸图片中均包含有同一人脸的脸部区域；
水平姿态角确定模块用于基于每张人脸图片，确定所述同一人脸相对于每个摄像装置的水平姿态角；
夹角确定模块用于基于所述水平姿态角，确定两个显示屏幕之间的夹角。
第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器、至少两个显示屏幕及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的显示屏幕间夹角的确定方法的步骤。
优选地，所述至少两个显示屏幕分别为同一个柔性显示屏幕的至少两个显示区域；或者，所述至少两个显示屏幕相互独立。
第四方面，本发明实施例提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的显示屏幕间夹角的确定方法的步骤。
本发明实施例提供的显示屏幕间夹角的确定方法、电子设备及存储介质，首先确定两个显示屏幕上的摄像装置同时拍摄得到的人脸图片，保证每张人脸图片中均包含有同一人脸的脸部区域，可以使后续操作集中于确定同一人脸的相关信息，简化了显示屏幕间夹角的确定方法的整个流程。然后基于每张人脸图片，确定同一人脸相对于每个摄像装置的水平姿态角。最后，根据水平姿态角确定两个显示屏幕之间的夹角。本发明实施例中结合每个显示屏幕上具有摄像装置的特点，通过人脸图片确定两个显示屏幕之间的夹角，并不需要引入额外的硬件设备，降低了硬件成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种显示屏幕间夹角的确定方法的流程示意图；
图2为本发明实施例提供的一种显示屏幕间夹角的确定方法中折叠屏的结构示意图；
图3为本发明实施例提供的一种显示屏幕间夹角的确定方法中折叠屏的结构示意图；
图4为本发明实施例提供的一种显示屏幕间夹角的确定方法中人脸图片拍摄场景下的俯视图；
图5为本发明实施例提供的一种显示屏幕间夹角的确定方法中三维坐标系的结构示意图；
图6为本发明实施例提供的一种显示屏幕间夹角的确定装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明实施例中提供的一种显示屏幕间夹角的确定方法的流程示意图，所述方法包括：
S1，确定两个显示屏幕上的摄像装置同时拍摄得到的人脸图片，每张人脸图片中均包含有同一人脸的脸部区域；
S2，基于每张人脸图片，确定所述同一人脸相对于每个摄像装置的水平姿态角；
S3，基于所述水平姿态角，确定两个显示屏幕之间的夹角。
具体地，本发明实施例中，两个显示屏幕分别为同一个柔性显示屏幕的两个显示区域；或者，两个显示屏幕相互独立。也就是说，两个显示屏幕可以是与同一主机连接的多个相互独立的显示屏幕中的任意两个，例如可以是为同一电脑主机配置的多个相互独立的显示屏幕中的任意两个；也可以是处于同一应用场景下的不同主机上配置的显示屏幕中的任意两个，例如可以是从不同角度对某一目标物进行观测的场景下应用的多个相互独立的显示屏幕中的任意两个；还可以是折叠屏移动终端中属于同一个柔性显示屏幕的不同显示屏幕中的任意两个，本发明实施例中对此不作具体限定。需要保证的是，对于需要确定夹角的两个显示屏幕上均分别需要带有摄像装置。
以下仅以两个显示屏幕分别为折叠屏移动终端中同一个柔性显示屏幕的不同显示区域中的任意两个显示区域为例，移动终端具体可以包括智能手机、平板电脑、手提电脑等。折叠屏可以具有至少两个显示屏幕，每个显示屏幕为折叠屏的一个显示区域。每个显示屏幕上均设置有一摄像装置，每两个显示屏幕之间均具有一个夹角。例如，如图2所示，折叠屏具有两个显示屏幕a、b，a上设置有摄像装置1，b上设置有摄像装置2，a、b之间具有一个夹角。如图3所示，折叠屏具有三个显示屏幕a、b、c且a与b相邻，b与c相邻，a上设置有摄像装置1，b上设置有摄像装置2，c上设置有摄像装置3，a、b之间，b、c之间以及a、c之间均具有一个夹角。折叠屏的多个显示屏幕之间可以铰接，也可以一体成型，本发明实施例中对此不作具体限定。摄像装置具体可以是摄像头等，以折叠屏智能手机为例，折叠屏的每个显示屏幕上均设置有一个前置摄像头。
本发明实施例中，在确定显示屏幕之间的夹角时，首先执行步骤S1。确定两个显示屏幕上的摄像装置同时拍摄得到的人脸图片，每张人脸图片中均包含有同一人脸的脸部区域。需要说明的是，两个显示屏幕上的摄像装置需要同时拍摄，如此共可得到两张人脸图片，这两张人脸图片是在同一时刻不同方向上拍摄得到。由于折叠屏前方可能同时存在若干个不同的人(即人数大于等于1)，因此每张人脸图片中均可能包含有若干个人脸的脸部区域，但是需要保证的是，每张人脸图片中均包含有同一人脸P的脸部区域。例如，若折叠屏前方存在1个人，则需要保证每张人脸图片中均包含有这个人的人脸的脸部区域；若折叠屏前方同时存在2个人或2个人以上，则每张人脸图片中可能包含有所有人脸的脸部区域，也可能只包含部分人脸的脸部区域，即有部分人脸没有出现在人脸照片中。但是在每张人脸图片中包含的脸部区域中，需要保证存在同一人脸P的脸部区域。
然后执行步骤S2。基于每张人脸图片，确定同一人脸P相对于每个摄像装置的水平姿态角。由于每张人脸图片中均包含有同一人脸P的脸部区域，则可通过对同一人脸P的脸部区域进行识别以及姿态角估计，确定出同一人脸P相对于每个摄像装置的水平姿态角。其中，水平姿态角是指人左右摇头的角度。以摄像装置1和2为例，摄像装置1拍摄得到人脸图片A，摄像装置2拍摄得到人脸图片B，通过人脸图片A，可以确定出同一人脸P相对于摄像装置1的水平姿态角，即人脸图片A中包含的同一人脸P的脸部区域表征出的人脸姿态相对于同一人脸P正对摄像装置1时对应的人脸姿态在竖直方向上的旋转角度。同理，通过人脸图片B，可以确定出同一人脸P相对于摄像装置2的水平姿态角，即人脸图片B中包含的同一人脸P的脸部区域表征出的人脸姿态相对于同一人脸P正对摄像装置2时对应的人脸姿态在竖直方向上的旋转角度。
最后执行步骤S3。基于所述水平姿态角，确定两个显示屏幕之间的夹角。确定出两个水平姿态角后，即可根据这两个水平姿态角、两个显示屏幕以及其上的摄像装置之间的相对位置关系，确定出两个显示屏幕之间的夹角。
本发明实施例中提供的显示屏幕间夹角的确定方法，首先确定两个显示屏幕上的摄像装置同时拍摄得到的人脸图片，保证每张人脸图片中均包含有同一人脸的脸部区域，可以使后续操作集中于确定同一人脸的相关信息，简化了显示屏幕间夹角的确定方法的整个流程。然后基于每张人脸图片，确定同一人脸相对于每个摄像装置的水平姿态角。最后，根据水平姿态角确定两个显示屏幕之间的夹角。本发明实施例中结合折叠屏上具有摄像装置的特点，通过人脸图片确定显示屏幕之间的夹角，并不需要引入额外的硬件设备，降低了硬件成本。
在上述实施例的基础上，本发明实施例中提供的显示屏幕间夹角的确定方法，所述基于每张人脸图片，确定所述同一人脸相对于每个摄像装置的水平姿态角，具体包括：
分别从每张人脸图片中包含的所述同一人脸的脸部区域中提取出人脸关键点；
基于提取出的所述人脸关键点，确定所述同一人脸相对于每个摄像装置的水平姿态角。
具体地，本发明实施例中，在基于每张人脸图片，确定同一人脸P相对于每个摄像装置的水平姿态角时，首先分别从每张人脸图片中包含的所述同一人脸的脸部区域中提取人脸关键点。每张人脸图片中包含的同一人脸P的脸部区域中均分别可以提取出68个人脸关键点，包括脸部边缘的17个关键点、每只眉毛的5个关键点、嘴部的20个关键点、每只眼镜的6个关键点以及鼻部的9个关键点。提取出人脸关键点可以通过主动形状模型(ActiveShapeModel，ASM)和主动外观模型(Active Appearnce Model，AAM)实现，还可以通过基于级联姿态回归(Cascaded Pose Regression，CPR)实现，还可以通过深度学习算法实现，本发明实施例中对此不作具体限定。
然后，基于两张人脸图片中包含的同一人脸P的脸部区域中的人脸关键点，可以确定出同一人脸P相对于每个摄像装置的水平姿态角。具体可以以同一人脸P的头作为坐标原点，以两耳连线作为x轴，以竖直方向作为y轴，以与人脸朝向相反的方向作为z轴，建立三维坐标系，如图4所示。根据每张人脸图片中的人脸关键点与每个摄像装置之间的位置关系，即可以确定同一人脸P相对于每个摄像装置的水平姿态角，水平姿态角可以通过同一人脸P绕y的旋转角度yaw表示。图4中pitch表示同一人脸P绕x轴的旋转角度，roll表示同一人脸P绕z轴的旋转角度。
本发明实施例中提供了一种采用提取的人脸关键点确定同一人脸相对于每个摄像装置的水平姿态角的方法，由于提取人脸关键点的方法已经成熟，可以使确定水平姿态角的方法更加准确且容易实现。
在上述实施例的基础上，本发明实施例中提供的显示屏幕间夹角的确定方法，所述分别从每张人脸图片中包含的所述同一人脸的脸部区域中提取出人脸关键点，具体包括：
分别将每张人脸图片输入至预先训练完成的卷积神经网络模型，得到每张人脸图片中包含的所有脸部区域以及每个脸部区域中的人脸关键点；
基于人脸识别算法，从每张人脸图片中包含的所有脸部区域中确定所述同一人脸的脸部区域。
具体地，本发明实施例中在提取人脸关键点时，可以基于深度学习算法实现，具体可以采用预先训练完成的卷积神经网络模型实现。分别将每张人脸图片输入至预先训练完成的卷积神经网络模型，由预先训练完成的卷积神经网络模型输出每张人脸图片中包含的所有脸部区域以及每个脸部区域中的人脸关键点。其中，卷积神经网络模型具体可以包括第一卷积神经网络以及第二卷积神经网络，人脸图片输入至预先训练完成的卷积神经网络模型后，先对人脸图片进行尺寸调整，得到第一指定尺寸的人脸图片和第二指定尺寸的人脸图片，然后将第一指定尺寸的人脸图片输入至第一卷积神经网络，由第一卷积神经网络对人脸图片进行特征提取和边框坐标回归，并通过非极大值抑制算法(Non-maximumsuppression，NMS)对所有边框进行合并和筛选，得到人脸图片中用于表征每个脸部区域的人脸检测矩形框，得到了所有人脸检测矩形框就得到了人脸图片中的所有脸部区域。将第二指定尺寸的人脸图片输入至第二卷积神经网络，由第二卷积神经网络对人脸图片提取人脸特征后进行关键点坐标回归，得到每个脸部区域中的68个人脸关键点。第一指定尺寸具体可以为12×12，第二指定尺寸具体可以为48×48。
然后，基于人脸识别算法，从每张人脸图片中包含的所有脸部区域中确定所述同一人脸的脸部区域，即从第一卷积神经网络得到的人脸检测矩形框中确定出表征同一人脸的脸部区域的人脸检测矩形框。其中，人脸识别算法具体可以是1：1比对的人脸识别算法，例如Facenet人脸识别算法等。确定出同一人脸的脸部区域后，结合第二卷积神经网络的输出结果，从中选取出同一人脸的脸部区域中的人脸关键点。
本发明实施例中提供的提取人脸关键点的方法，利用预先训练完成的卷积神经网络模型确定出人脸图片中包含的所有脸部区域以及每个脸部区域中的人脸关键点，然后基于人脸识别算法从所有脸部区域内找到同一人脸的脸部区域，即可得到同一人脸的脸部区域中的人脸关键点。由于采用了预先训练完成的卷积神经网络模型，可以简化方法流程。
在上述实施例的基础上，本发明实施例中提供的显示屏幕间夹角的确定方法，在卷积神经网络模型中还可引入第三卷积神经网络，第三卷积神经网络用于为第二卷积神经网络提供难例选择。人脸图片输入至预先训练完成的卷积神经网络模型后，对人脸图片进行尺寸调整，得到第三指定尺寸的人脸图片，然后将第三指定尺寸的人脸图片输入至第三卷积神经网络，由第三卷积神经网络的输出结果为第二卷积神经网络提供难例选择，使第二卷积神经网络输出的每个脸部区域中的68个人脸关键点更加准确。第三指定尺寸具体可以为24×24。
在上述实施例的基础上，本发明实施例中提供的显示屏幕间夹角的确定方法，所述分别从每张人脸图片中包含的所述同一人脸的脸部区域中提取出人脸关键点，具体包括：
确定每张人脸图片中包含的所有脸部区域，并基于人脸识别算法，从每张人脸图片中包含的所有脸部区域中确定所述同一人脸的脸部区域；
从所述同一人脸的脸部区域中提取所述同一人脸的人脸关键点。
具体地，本发明实施例中在提取人脸关键点时，可以基于深度学习算法实现，具体可以先根据第一卷积神经网络确定每张人脸图片中包含的所有脸部区域，然后基于人脸识别算法，从每张人脸图片中包含的所有脸部区域中确定同一人脸P的脸部区域，然后再根据第二卷积神经网络，从同一人脸P的脸部区域中提取出同一人脸的68个人脸关键点。
本发明实施例中提供的这种提取人脸关键点的方法，可以仅提取出同一人脸P的脸部区域中的68个人脸关键点，而不需要提取出人脸图片中所有脸部区域中的人脸关键点，提高了提取的速度。
在上述实施例的基础上，本发明实施例中提供的显示屏幕间夹角的确定方法，确定每张人脸图片中包含的所有脸部区域后，对于每张人脸图片，可以将用于表征每个脸部区域的所有人脸检测矩形框进行排序，排序的规则可以是按照人脸检测矩形框的宽度由高到低的顺序降序排列，还可以是按照人脸检测矩形框的宽度由低到高的顺序升序排列。
本发明实施例中，将每张图片中表征每个脸部区域的所有人脸检测矩形框进行排序，可以便于对每张图片中的脸部区域进行管理，更有利于找到同一人脸的脸部区域。
在上述实施例的基础上，本发明实施例中提供的显示屏幕间夹角的确定方法，所述基于人脸识别算法，从每张人脸图片中包含的所有脸部区域中确定所述同一人脸的脸部区域，具体包括：
基于人脸识别算法，分别提取每张人脸图片中包含的所有脸部区域的人脸特征；
对于一张人脸图片中包含的每个脸部区域的人脸特征，计算所述脸部区域的人脸特征与另一张人脸图片中包含的每个脸部区域的人脸特征之间的欧氏距离；
若所述欧氏距离小于预设阈值，则确定所述欧氏距离对应的两张人脸图片中的脸部区域均为所述同一人脸的脸部区域。
具体地，本发明实施例中，首先基于人脸识别算法，分别提取每张人脸图片中包含的所有脸部区域的人脸特征(face embedding)，具体可以采用Facenet人脸识别算法实现。然后对于一张人脸图片中包含的每个脸部区域的人脸特征，计算所述脸部区域的人脸特征与另一张人脸图片中包含的每个脸部区域的人脸特征之间的欧氏距离。例如，人脸图片A中包含有2个脸部区域，分别为A1和A2，人脸图片B中包含有1个脸部区域，为B1。则计算A1的人脸特征与B1的人脸特征之间的欧氏距离d1，以及计算A2的人脸特征与B1的人脸特征之间的欧氏距离d2。
判断计算出的欧氏距离与预设阈值之间的大小关系，若欧氏距离小于预设阈值，则确定欧氏距离对应的两张人脸图片中的脸部区域均为所述同一人脸的脸部区域。例如，如果欧氏距离d1小于预设阈值，则确定A1与B1为同一人脸的脸部区域。其中预设阈值可以根据需要进行设定，本发明实施例中对此不作具体限定。
本发明实施例中提供的显示屏幕间夹角的确定方法，计算两张人脸图片中每两个脸部区域的人脸特征之间的欧氏距离，通过比较欧氏距离与预设阈值之间的大小关系确定出两张人脸图片中同一人脸的脸部区域。可以使结果更准确。
在上述实施例的基础上，本发明实施例中提供的显示屏幕间夹角的确定方法，所述基于提取出的所述人脸关键点，确定所述同一人脸相对于每个摄像装置的水平姿态角，具体包括：
基于提取出的所述人脸关键点，采用人脸姿态估计算法确定所述同一人脸相对于每个摄像装置的姿态角三元组；
所述姿态角三元组中包括水平姿态角。
具体地，本发明实施例中在基于每个人脸图片中提取出的同一人脸的人脸关键点确定同一人脸相对于每个摄像装置的水平姿态角时，具体可采用人脸姿态估计算法，将从人脸图片A中提取的同一人脸P的人脸关键点f1与从人脸图片B中提取的同一人脸P的人脸关键点f2输入至人脸姿态估计算法中，由人脸姿态估计算法参考先验知识进行人脸姿态估计，得到同一人脸P相对于每个摄像装置的姿态角三元组。其中，先验知识是指人脸68个三维人脸关键点坐标。同一人脸P相对于摄像装置1的姿态角三元组为(yaw1，pitch1，roll1)，同一人脸P相对于摄像装置2的姿态角三元组为(yaw2，pitch2，roll2)。其中，yaw1、pitch1、roll1、yaw2，pitch2，roll2均为包括方向和大小的矢量。
同一人脸相对于每个摄像装置的水平姿态角分别为yaw1和yaw2，分别表示同一人脸P相对于摄像装置1和摄像装置2左右摇头的偏转角度，pitch1和pitch2分别表示同一人脸P相对于摄像装置1和摄像装置2上下点头的偏转角度，roll1和roll2分别表示同一人脸P相对于摄像装置1和摄像装置2左右摆头的角度。
本发明实施例中采用的人脸姿态估计算法具体可以是Opencv SolvePnp算法。采用成熟的人脸姿态估计算法可以更快速准确的得到同一人脸相对于每个摄像装置的水平姿态角。
在上述实施例的基础上，本发明实施例中提供的显示屏幕间夹角的确定方法，所述基于所述水平姿态角，确定两个显示屏幕之间的夹角，具体包括：
基于所述水平姿态角，计算第一连线与第二连线之间的夹角；
将所述夹角的补角作为两个显示屏幕之间的夹角；
其中，所述第一连线为所述同一人脸被第一摄像装置拍摄到的位置与所述第一摄像装置之间的连线，所述第二连线为所述同一人脸被第二摄像装置拍摄到的位置与所述第二摄像装置之间的连线。
具体地，基于同一人脸相对于每个摄像装置的水平姿态角，可以通过如下公式计算同一人脸分别与每个摄像装置的连线之间的夹角β：
β＝|yaw1-yaw2|；
则两个显示屏幕a、b之间的夹角α可以通过如下公式计算：
α＝180°-β。
两个水平姿态角之差的绝对值为第一连线与第二连线之间的夹角，其中第一连线为同一人脸P能够被摄像装置1拍摄到的位置与摄像装置1之间的连线，第二连线为同一人脸P能够被摄像装置2拍摄到的位置与摄像装置2之间的连线。同一人脸P所在的头4、第一连线5、第二连线6、摄像装置1、摄像装置2以及两个显示屏幕a、b可以形成一个四边形，如图5所示，为人脸图片拍摄场景下的俯视图，第一连线5与第二连线6之间的夹角为β。由于摄像装置1和摄像装置2拍摄人脸图片时，拍摄的是正前方的场景，因此第一连线与显示屏幕1垂直，第二连线与显示屏幕2垂直，根据四边形的内角关系，即可确定出两个显示屏幕之间的夹角α。
本发明实施例中提供的显示屏幕间夹角的确定方法，根据水平姿态角得到两个显示屏幕之间的夹角，使得到的夹角的精度更高。
综上所述，本发明实施例中利用两个显示屏幕上设置的摄像装置确定人脸图片，并基于对人脸图片中人脸信息的识别，确定两个显示屏幕之间的夹角，无需引入其他硬件设备，节约了硬件成本。而且，本发明实施例中提供的显示屏幕间夹角的确定方法中，可以采用成熟算法提取人脸关键点以及进行人脸姿态估计，可以使得到的夹角的精度更高。
如图6所示，在上述实施例的基础上，本发明实施例中提供了一种显示屏幕间夹角的确定装置，包括：人脸图片确定模块61、水平姿态角确定模块62和夹角确定模块63。其中，
人脸图片确定模块61用于确定两个显示屏幕上的摄像装置同时拍摄得到的人脸图片，每张人脸图片中均包含有同一人脸的脸部区域；
水平姿态角确定模块62用于基于每张人脸图片，确定所述同一人脸相对于每个摄像装置的水平姿态角；
夹角确定模块63用于基于所述水平姿态角，确定两个显示屏幕之间的夹角。
具体地，本发明实施例中提供的显示屏幕间夹角的确定装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述方法类实施例，本发明实施例中对此不再赘述。
在上述实施例的基础上，本发明实施例中提供了一种电子设备，包括存储器、处理器、至少两个显示屏幕及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述方法类实施例中所述的显示屏幕间夹角的确定方法的步骤。
具体地，如图7所示，为一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行如下方法：确定两个显示屏幕上的摄像装置同时拍摄得到的人脸图片，每张人脸图片中均包含有同一人脸的脸部区域；基于每张人脸图片，确定所述同一人脸相对于每个摄像装置的水平姿态角；基于所述水平姿态角，确定两个显示屏幕之间的夹角。
需要说明的是，本实施例中的电子设备在具体实现时可以为服务器，也可以为PC机，还可以为其他设备，只要其结构中包括如图7所示的处理器710、通信接口720、存储器730和通信总线740，其中处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信，且处理器710可以调用存储器730中的逻辑指令以执行上述方法即可。本实施例不对电子设备的具体实现形式进行限定。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在上述实施例的基础上，本发明实施例中提供了一种电子设备，所述至少两个显示屏幕分别为同一个柔性显示屏幕的至少两个显示区域；或者，
所述至少两个显示屏幕相互独立。
具体地，本发明实施例中提供的电子设备，需要确定夹角的两个显示屏幕可以分别为同一个柔性显示屏幕的至少两个显示区域中的任意两个，也可以是相互独立的至少两个显示屏幕中的任意两个，具体可参见上述方法类实施例，本发明实施例中不再赘述。两个显示屏幕与电子设备之间的关系可以是：电子设备上配置有柔性显示屏幕，电子设备上也可以连接两个相互独立的显示屏幕，本发明实施例中对此不作具体限定。
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：确定两个显示屏幕上的摄像装置同时拍摄得到的人脸图片，每张人脸图片中均包含有同一人脸的脸部区域；基于每张人脸图片，确定所述同一人脸相对于每个摄像装置的水平姿态角；基于所述水平姿态角，确定两个显示屏幕之间的夹角。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：确定两个显示屏幕上的摄像装置同时拍摄得到的人脸图片，每张人脸图片中均包含有同一人脸的脸部区域；基于每张人脸图片，确定所述同一人脸相对于每个摄像装置的水平姿态角；基于所述水平姿态角，确定两个显示屏幕之间的夹角。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种显示屏幕间夹角的确定方法，其特征在于，包括：
确定两个显示屏幕上的摄像装置同时拍摄得到的人脸图片，每张人脸图片中均包含有同一人脸的脸部区域；
基于每张人脸图片，确定所述同一人脸相对于每个摄像装置的水平姿态角；所述水平姿态角是指人的脸部区域表征出的人脸姿态相对于正对所述摄像装置时对应的人脸姿态在竖直方向上的旋转角度；
基于所述水平姿态角，确定两个显示屏幕之间的夹角。
2.根据权利要求1所述的显示屏幕间夹角的确定方法，其特征在于，所述基于每张人脸图片，确定所述同一人脸相对于每个摄像装置的水平姿态角，具体包括：
分别从每张人脸图片中包含的所述同一人脸的脸部区域中提取出人脸关键点；
基于提取出的所述人脸关键点，确定所述同一人脸相对于每个摄像装置的水平姿态角。
3.根据权利要求2所述的显示屏幕间夹角的确定方法，其特征在于，所述分别从每张人脸图片中包含的所述同一人脸的脸部区域中提取出人脸关键点，具体包括：
分别将每张人脸图片输入至预先训练完成的卷积神经网络模型，得到每张人脸图片中包含的所有脸部区域以及每个脸部区域中的人脸关键点；
基于人脸识别算法，从每张人脸图片中包含的所有脸部区域中确定所述同一人脸的脸部区域。
4.根据权利要求2所述的显示屏幕间夹角的确定方法，其特征在于，所述分别从每张人脸图片中包含的所述同一人脸的脸部区域中提取出人脸关键点，具体包括：
确定每张人脸图片中包含的所有脸部区域，并基于人脸识别算法，从每张人脸图片中包含的所有脸部区域中确定所述同一人脸的脸部区域；
从所述同一人脸的脸部区域中提取所述同一人脸的人脸关键点。
5.根据权利要求3所述的显示屏幕间夹角的确定方法，其特征在于，所述基于人脸识别算法，从每张人脸图片中包含的所有脸部区域中确定所述同一人脸的脸部区域，具体包括：
基于人脸识别算法，分别提取每张人脸图片中包含的所有脸部区域的人脸特征；
对于一张人脸图片中包含的每个脸部区域的人脸特征，计算所述脸部区域的人脸特征与另一张人脸图片中包含的每个脸部区域的人脸特征之间的欧氏距离；
若所述欧氏距离小于预设阈值，则确定所述欧氏距离对应的两张人脸图片中的脸部区域均为所述同一人脸的脸部区域。
6.根据权利要求2所述的显示屏幕间夹角的确定方法，其特征在于，所述基于提取出的所述人脸关键点，确定所述同一人脸相对于每个摄像装置的水平姿态角，具体包括：
基于提取出的所述人脸关键点，采用人脸姿态估计算法确定所述同一人脸相对于每个摄像装置的姿态角三元组；
所述姿态角三元组中包括水平姿态角。
7.根据权利要求1所述的显示屏幕间夹角的确定方法，其特征在于，所述基于所述水平姿态角，确定两个显示屏幕之间的夹角，具体包括：
基于所述水平姿态角，计算第一连线与第二连线之间的夹角；
将所述夹角的补角作为两个显示屏幕之间的夹角；
其中，所述第一连线为所述同一人脸被第一摄像装置拍摄到的位置与所述第一摄像装置之间的连线，所述第二连线为所述同一人脸被第二摄像装置拍摄到的位置与所述第二摄像装置之间的连线。
8.根据权利要求1-7中任一项所述的显示屏幕间夹角的确定方法，其特征在于，所述两个显示屏幕分别为同一个柔性显示屏幕的两个显示区域；
或者，
所述两个显示屏幕相互独立。
9.一种电子设备，包括存储器、处理器、至少两个显示屏幕及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8中任一项所述的显示屏幕间夹角的确定方法的步骤。
10.根据权利要求9所述的电子设备，其特征在于，所述至少两个显示屏幕分别为同一个柔性显示屏幕的至少两个显示区域；
或者，
所述至少两个显示屏幕相互独立。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8中任一项所述的显示屏幕间夹角的确定方法的步骤。
CN201911192185.XA 2019-11-28 2019-11-28 显示屏幕间夹角的确定方法、电子设备及存储介质 Active CN110849317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911192185.XA CN110849317B (zh) 2019-11-28 2019-11-28 显示屏幕间夹角的确定方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911192185.XA CN110849317B (zh) 2019-11-28 2019-11-28 显示屏幕间夹角的确定方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110849317A CN110849317A (zh) 2020-02-28
CN110849317B true CN110849317B (zh) 2022-04-29

Family

ID=69606584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911192185.XA Active CN110849317B (zh) 2019-11-28 2019-11-28 显示屏幕间夹角的确定方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110849317B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109696955A (zh) * 2017-10-20 2019-04-30 美的集团股份有限公司 智能梳妆镜的调整方法和智能梳妆镜

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013224714A1 (en) * 2012-11-22 2014-06-05 Mackay, Timothy Donald MR Multiplex Stereographic Projector
CN108509890B (zh) * 2018-03-27 2022-08-16 百度在线网络技术（北京）有限公司 用于提取信息的方法和装置
CN109005286B (zh) * 2018-07-13 2021-06-04 维沃移动通信有限公司 一种显示控制方法及折叠屏终端
CN109218701B (zh) * 2018-11-13 2020-07-28 深圳市靓工创新应用科技有限公司 裸眼3d的显示设备、方法、装置及可读存储介质
CN110012154A (zh) * 2019-02-22 2019-07-12 华为技术有限公司 一种具有折叠屏的电子设备的控制方法及电子设备
CN110222651A (zh) * 2019-06-10 2019-09-10 Oppo广东移动通信有限公司 一种人脸姿态检测方法、装置、终端设备及可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109696955A (zh) * 2017-10-20 2019-04-30 美的集团股份有限公司 智能梳妆镜的调整方法和智能梳妆镜

Also Published As

Publication number Publication date
CN110849317A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN107993216B (zh) 一种图像融合方法及其设备、存储介质、终端
CN108830892B (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
US11398044B2 (en) Method for face modeling and related products
WO2021027537A1 (zh) 一种拍摄证件照的方法、装置、设备及存储介质
US20110148868A1 (en) Apparatus and method for reconstructing three-dimensional face avatar through stereo vision and face detection
JP7387202B2 (ja) ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
US11120535B2 (en) Image processing method, apparatus, terminal, and storage medium
CN107798704B (zh) 一种用于增强现实的实时图像叠加方法及装置
CN107749062B (zh) 图像处理方法、及装置
US9613404B2 (en) Image processing method, image processing apparatus and electronic device
CN110688914A (zh) 一种手势识别的方法、智能设备、存储介质和电子设备
CN112016469A (zh) 图像处理方法及装置、终端及可读存储介质
WO2016165614A1 (zh) 一种即时视频中的表情识别方法和电子设备
WO2021008205A1 (zh) 图像处理
CN111723687A (zh) 基于神经网路的人体动作识别方法和装置
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
CN112802081A (zh) 一种深度检测方法、装置、电子设备及存储介质
CN115457176A (zh) 一种图像生成方法、装置、电子设备及存储介质
CN109726613B (zh) 一种用于检测的方法和装置
CN109376618B (zh) 图像处理方法、装置及电子设备
CN113221767B (zh) 训练活体人脸识别模型、识别活体人脸的方法及相关装置
CN112446254A (zh) 人脸追踪的方法及相关装置
CN110849317B (zh) 显示屏幕间夹角的确定方法、电子设备及存储介质
CN116958795A (zh) 翻拍图像的识别方法、装置、电子设备及存储介质
CN112183155B (zh) 动作姿态库建立、动作姿态生成、识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant