CN115240276A - 一种面部朝向识别方法及装置 - Google Patents

一种面部朝向识别方法及装置 Download PDF

Info

Publication number
CN115240276A
CN115240276A CN202210871790.5A CN202210871790A CN115240276A CN 115240276 A CN115240276 A CN 115240276A CN 202210871790 A CN202210871790 A CN 202210871790A CN 115240276 A CN115240276 A CN 115240276A
Authority
CN
China
Prior art keywords
face
gray
data
image
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210871790.5A
Other languages
English (en)
Inventor
孙伟
孟昭晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202210871790.5A priority Critical patent/CN115240276A/zh
Publication of CN115240276A publication Critical patent/CN115240276A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面部朝向识别方法及装置，其中所述方法包括：对用户面部进行热成像，获得面部灰度图像；基于面部灰度图像中每个计算区域的灰度数据，获得面部灰度图像的灰度梯度数据；其中，灰度梯度数据用于表征相邻计算区域之间的灰度差距大小；从预设的面部朝向数据中，确定与灰度梯度数据匹配的目标面部朝向；其中，面部朝向数据包含用户面部的不同面部朝向与灰度梯度数据的对应关系。使用本发明进行面部识别和定位时数据处理量小，能够实现快速定位和识别，且具备较好的识别精度。

Description

一种面部朝向识别方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种面部朝向识别方法及装置。
背景技术
随着计算机科学和传感器技术的快速发展，动作捕捉技术在游戏设计，运动分析，舞蹈采集，虚拟现实等技术中得到了越来越广泛的应用。现有的视频式及光学式动作捕捉是人体运动特征分析的主要手段。特别是目前应用广泛的光学式动作捕捉，光学式动作捕捉可以分为主动式和被动式两种，其主要区别在于主动式捕捉的采用发光二极管等主动发光设备，而被动式捕捉的主要则采用涂有特殊材质从而在摄像机的捕捉下会显得格外明亮的小球，无论主动式还是被动式的动作捕捉所需设备复杂，都需在人体各部位进行标记，并且各种成像设备价格昂贵，检测及识别算法复杂度高，运算量大，检测结果不够准确。例如，发光二极管的红外定位方式存在精度低反馈数据不全的缺点；被动成像的方式又由于需要使用一次性的物体捕捉点材料，无法得到大面积的商业普及；成像摄像头主动成像捕捉信息，存在算法复杂，带宽要求高，难以实现快速显示。然而，在屏分(不同屏幕区域独立显示)类的高清快速显示的应用场景中，在捕捉用户面部时要求能够达到快速、准确的识别，从而在不同显示/投影区域进行对应的内容的显示和渲染，以实现裸眼3D显示效果。
因此，现有技术在进行面部捕捉定位时存在识别精度低和响应速度慢的问题。
发明内容
鉴于上述问题，本发明提出了一种面部朝向识别方法及装置，在进行面部识别和定位时数据处理量小，能够实现快速定位和识别，且具备较好的识别精度。
第一方面，本申请通过一实施例提供如下技术方案：
一种面部朝向识别方法，包括：
对用户面部进行热成像，获得面部灰度图像；基于所述面部灰度图像中每个计算区域的灰度数据，获得所述面部灰度图像的灰度梯度数据；其中，所述灰度梯度数据用于表征相邻所述计算区域之间的灰度差距大小；从预设的面部朝向数据中，确定与所述灰度梯度数据匹配的目标面部朝向；其中，所述面部朝向数据包含所述用户面部的不同面部朝向与所述灰度梯度数据的对应关系。
可选的，所述基于所述面部灰度图像中每个计算区域的灰度数据，获得所述面部灰度图像的灰度梯度数据，包括：
基于所述面部灰度图像中每个计算区域的灰度数据，在所述面部灰度图像中确定面部轮廓；基于所述面部轮廓内每个计算区域的灰度数据，获得所述灰度梯度数据。
可选的，所述基于所述面部灰度图像中每个计算区域的灰度数据，在所述面部灰度图像中确定面部轮廓，包括：
基于所述面部灰度图像中每个计算区域的灰度数据与预获取的轮廓灰度参考值之间的大小，在所述面部灰度图像中确定面部轮廓。
可选的，所述轮廓灰度参考值的获取步骤，包括：
对所述用户面部分别进行数字成像和热成像，获得面部数字图像和待定位灰度图像；在所述面部数字图像中识别出所述用户面部的第一参考轮廓；基于所述第一参考轮廓的像素坐标，在所述待定位灰度图像中确定第二参考轮廓；基于所述第二参考轮廓中每个计算区域的灰度数据，确定轮廓灰度参考值。
可选的，所述基于所述第二参考轮廓中每个计算区域的灰度数据，确定轮廓灰度参考值，包括：
将所述第二参考轮廓对应的所有计算区域的灰度数据的均值，确定为轮廓灰度参考值。
可选的，所述灰度梯度数据包括横向梯度值和纵向梯度值；所述基于所述面部轮廓内每个计算区域的灰度数据，获得所述灰度梯度数据，包括：
针对每个计算区域，基于所述计算区域的灰度数据与第一相邻区域的灰度数据，获得横向梯度值；所述第一相邻区域为与所述计算区域位于同一行，且相邻的区域；针对每个计算区域，基于所述计算区域的灰度数据与第二相邻区域的灰度数据，获得纵向梯度值；所述第二相邻区域为与所述计算区域位于同一列，且相邻的区域。
可选的，一所述计算区域对应一像素坐标。
第二方面，基于同一发明构思，本申请通过一实施例提供如下技术方案：
一种面部朝向识别装置，包括：
图像获取模块，用于对用户面部进行热成像，获得面部灰度图像；梯度数据获取模块，用于基于所述面部灰度图像中每个计算区域的灰度数据，获得所述面部灰度图像的灰度梯度数据；其中，所述灰度梯度数据用于表征相邻所述计算区域之间的灰度差距大小；面部朝向确定模块，用于从预设的面部朝向数据中，确定与所述灰度梯度数据匹配的目标面部朝向；其中，所述面部朝向数据包含所述用户面部的不同面部朝向与所述灰度梯度数据的对应关系。
第三方面，基于同一发明构思，本申请通过一实施例提供如下技术方案：
一种电子设备，包括处理器和存储器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时使所述电子设备执行前述第一方面中任一项所述方法的步骤。
第四方面，基于同一发明构思，本申请通过一实施例提供如下技术方案：
一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述第一方面中任一项所述方法的步骤。
本发明实施例提供的一种面部朝向识别方法及装置，通过对用户面部进行热成像得到面部灰度图像，进而根据面部灰度图像的每个计算区域的灰度数据进行处理，得到灰度梯度数据；该灰度梯度数据能够表示相邻计算区域之间的灰度差距大小。而用户面部朝向的不同热辐射的角度也会不同，会形成不同的灰度梯度数据。因此，采用灰度梯度数据就能够很好的表示用户面部的立体结构特点和朝向信息。最后，通过灰度梯度数据就可在预设的面部朝向数据中确定出目标面部朝向。本实施例中的整个处理过程采用红外成像捕捉用户面部，并在处理过程中进行会读数据的处理以形成灰度梯度数据来表征用户面部的特点，相对于现有的红外定位方式和被动成像方式而言，无需额外标记，且数据处理量更小，准确度更高，可很好的应用于屏分显示或投影技术中，进行快速的面部追踪和面部朝向识别。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了本发明实施例中的一种面部朝向识别方法的流程图；
图2示出了本发明实施例中的面部灰度图像；
图3示出了本发明实施例中的面部灰度图像的计算区域示意图；
图4示出了本发明实施例中的面部轮廓的一获取流程图；
图5示出了本发明实施例中基于数字图像确定的第一参考轮廓的示意图；
图6示出了本发明实施例中一种面部朝向识别装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
在裸眼3D的实现过程中需要对用户的面部进行捕捉和面部朝向进行快速准确的识别，从而判断用户所关注的屏幕区域；然后通过屏分技术对该所关注的屏幕区域进行重点渲染，从而实现裸眼3D效果。但是目前一些对用户面部进行追踪的技术需要使用额外的标记成本高，用户感受差；另一些，要么追踪精度差，要么数据处理量较大，难以实现准确且快速的识别和追踪。针对此，本发明实施例中提供了一种面部朝向识别方法，可准确和快速的对用户的面部朝向进行捕捉和识别。
请参见图1，示出了本发明一实施例提供的一种面部朝向识别方法的流程图，所述面部朝向识别方法如下步骤：
步骤S10：对用户面部进行热成像，获得面部灰度图像；
步骤S20：基于所述面部灰度图像中每个计算区域的灰度数据，获得所述面部灰度图像的灰度梯度数据；其中，所述灰度梯度数据用于表征相邻所述计算区域之间的灰度差距大小；
步骤S30：从预设的面部朝向数据中，确定与所述灰度梯度数据匹配的目标面部朝向；其中，所述面部朝向数据包含所述用户面部的不同面部朝向与所述灰度梯度数据的对应关系。
本发明通过步骤S10-S30，对用户面部进行热成像得到面部灰度图像，进而根据面部灰度图像的每个计算区域的灰度数据进行处理，得到灰度梯度数据；该灰度梯度数据能够表示相邻计算区域之间的灰度差距大小。而用户面部朝向的不同热辐射的角度也会不同，会形成不同的灰度梯度数据。因此，采用灰度梯度数据就能够很好的表示用户面部的立体结构特点和朝向信息。最后，通过灰度梯度数据就可在预设的面部朝向数据中确定出目标面部朝向。本实施例中的整个处理过程采用红外成像捕捉用户面部，并在处理过程中进行会读数据的处理以形成灰度梯度数据来表征用户面部的特点，相对于现有的红外定位方式和被动成像方式而言，无需额外标记，且数据处理量更小，准确度更高，可较好的应用于屏分显示或投影技术中，进行快速的面部追踪和面部朝向识别。下面分别对各个步骤的具体实现进一步的详细阐述。
步骤S10：对用户面部进行热成像，获得面部灰度图像。
在步骤S10中，对用户面部进行热成像时，可采用红外摄像头进行热成像捕捉。可以理解的，在热成像的时，并不能对用户的面部进行精准抓取，所获得的面部灰度图像不仅包含用户的面部，还包含有背景。因此，在后续处理的过程中可在面部灰度图像中识别出面部轮廓后，如图2所示；然后，对面部轮廓内的图像数据进行处理，以降低数据处理量，提高处理速度。
面部灰度图像可由热成像设备输出。得到的面部灰度图像可包括多个计算区域，如图3所示，包括计算区域G(1,1)、G(1,2)、···、G(1,n)、G(2,1)、···、G(m,n)。每个计算区域的大小可由计算精度进行确定，如需要更精准的计算则可将计算区域确定的更小，反之可将计算区域确定的更大；计算区域最小时，一像素位置对应的区域即可为一计算区域，即一计算区域对应一像素坐标，每个计算区域的灰度数据可为该像素的灰阶值或灰度值，该实现方式可保证较高的计算精度。另一些实现方式中，划分出多个像素作为一计算区域，每个计算区域的灰度数据可为这多个像素的灰度值的均值或灰阶值的均值；例如，2×2排列的4个像素作为一计算区域，3×3排列的9个像素作为一计算区域，等等；按照上述划分方式，同样可得到多个计算区域。该实现方式可降低数据处理量，提高后续识别的响应速度。
步骤S20：基于所述面部灰度图像中每个计算区域的灰度数据，获得所述面部灰度图像的灰度梯度数据；其中，所述灰度梯度数据用于表征相邻所述计算区域之间的灰度差距大小。
在步骤S20中，可对面部灰度图像中每个计算区域的灰度数据均进行处理以得到灰度阶梯数据。但是，为了提高处理效率、降低数据处理量，可首先在面部灰度图像中确定面部轮廓，然后仅对面部轮廓内的图像进行处理。也就是说，步骤S20可包括如下处理过程：
首先，基于面部灰度图像中每个计算区域的灰度数据，在面部灰度图像中确定面部轮廓；然后，基于面部轮廓内每个计算区域的灰度数据，获得灰度梯度数据。
一些实现方式中，可基于面部灰度图像确定面部轮廓。例如，可将面部灰度图像进行二值化处理，并将二值化处理后图像中的黑白交界位置确定为面部轮廓。还可计算面部灰度图像中每个计算区域与其相邻的计算区域的灰度数据差值；由于用户的面部和图像背景的交界位置一般存在较大热辐射变化，因此会导致这些交界位置的灰度数据也会产生变化。基于此，当得到两个相邻的计算区域的灰度数据差值大于一预设的灰度阈值时，则可认为这两个相邻的计算区域之间为轮廓分界位置。灰度值较大的区域可认为为面部轮廓内的区域，灰度值较小的区域可认为为面部轮廓外的区域。获取灰度阶梯数据时可仅处理面部轮廓之内的区域。该种面部轮廓确定方式可不必增加额外的硬件成本，仅需要热成像设备即可实现。
另一些实现方式中，还可找到面部轮廓的轮廓灰度参考值；然后，基于面部灰度图像中每个计算区域的灰度数据与轮廓灰度参考值之间的大小，在面部灰度图像中确定面部轮廓，如图4所示。具体的，通过面部灰度图像中每个计算区域的灰度数据与轮廓灰度参考值进行比较，可确定该计算区域是否属于面部轮廓所在的区域；其中，灰度数据与轮廓灰度参考值相同或接近的区域确定为面部轮廓所在的区域。例如，当某一计算区域与轮廓灰度参考值的差值为0，或小于预设差值阈值，则可认为该计算区域为面部轮廓所在的区域。通过轮廓灰度参考值来确定面部轮廓，可更加快速的实现面部定位，更有利于对快速移动过程中面部进行捕捉和定位。
在本实施例中，提供有以下方式来确定轮廓灰度参考值：
首先，对用户面部分别进行数字成像和热成像，获得面部数字图像和待定位灰度图像。可以理解的，可在首次执行步骤S10的过程中同时对用户面部进行数字成像；在后续应用过程中，若背景和用户均未变更的情况下，轮廓灰度参考值可不变更，就可不再进行数字成像。此时，得到的待定位灰度图像可为首次执行步骤S10得到的面部灰度图像，也可是单独用于确定轮廓灰度参考值时的图像。
然后，在面部数字图像中识别出用户面部的第一参考轮廓，如图5所示。该第一参考轮廓可由数字摄像头自动识别并输出，该第一参考轮廓的每个像素坐标均可读取得到。当然，在一些实现方式中还可将得到的面部数字图像进行后期的边缘识别或轮廓识别等处理，来确定第一参考轮廓；可采用常用的边缘识别算法或轮廓识别算法实现，此处不赘述。由于数字成像能够得到更多的细节数据，并且数字图像噪声数据少，可得到更加精确的面部轮廓，保证后续面部定位更加准确可靠。
再接着，基于第一参考轮廓的像素坐标，在待定位灰度图像中确定第二参考轮廓。具体的，可基于第一参考轮廓的像素坐标映射至待定位灰度图像中的对应像素坐标；也就是说，第一参考轮廓中每个像素坐标均能在待定位灰度图像中找到与之对应的像素坐标。第一参考轮廓的像素坐标和第二参考轮廓的像素坐标之间可以是一一对应，也可以是一对多，还可以是多对一，不做限制。
例如，在面部数字图像的分辨率小于待定位灰度图像时，第一参考轮廓的像素坐标和第二参考轮廓的像素坐标可为一对多的关系；当在面部数字图像的分辨率大于待定位灰度图像时，第一参考轮廓的像素坐标和第二参考轮廓的像素坐标可为多对一的关系；在面部数字图像的分辨率和待定位灰度图像相同时，第一参考轮廓的像素坐标和第二参考轮廓的像素坐标可为一一对应的关系。
最后，基于第二参考轮廓中每个计算区域的灰度数据，确定轮廓灰度参考值。具体的，可将第二参考轮廓对应的所有计算区域的灰度数据的均值，确定为轮廓灰度参考值。例如，
Figure BDA0003761193250000081
其中，K为轮廓灰度参考值，G(i,j)为像素(i,j)的灰度数据，N为第二参考轮廓对应的总像素个数。通过计算第二参考轮廓的灰度数据平均值获得轮廓灰度参考值K，在快速移动的场景下，只需要比较K和面部灰度图像的各个计算区域的灰度数据，就可以快速定位到面部轮廓，响应速度快。在用户和背景未更换的情况下，可在首次计算出轮廓灰度参考值后进行多次重复使用，直至用户和背景出现变化，有效降低了数字图像的数据处理量和数据传输量，提高了处理效率。
基于面部轮廓内每个计算区域的灰度数据，获得灰度梯度数据的过程可如下：
计算区域的灰度梯度数据可表征与其相邻区域的灰度差距大小。在本实施例中可将灰度梯度数据区分为横向梯度值和纵向梯度值；横向梯度值用于表征一行计算区域中的不同计算区域之间的灰度变化情况；纵向梯度值用于表征一列计算区域中的不同计算区域之间的灰度变化情况。从而可使得灰度梯度数据可更加准确的表征用户面部的立体结构特征，实现更加准确的识别。具体的，针对每个计算区域，基于计算区域的灰度数据与第一相邻区域的灰度数据，获得横向梯度值；第一相邻区域为与计算区域位于同一行，且相邻的区域；针对每个计算区域，基于计算区域的灰度数据与第二相邻区域的灰度数据，获得纵向梯度值；第二相邻区域为与计算区域位于同一列，且相邻的区域。
需要说明的是，第一相邻区域和第二相邻区域的大小可以为一个计算区域也可为多个计算区域；当为多个计算区域时，可获取这多个计算区域的灰度数据的均值，从而将该均值作为相邻区域的灰度数据。采用该实现方式可削弱噪点数据的影响，提高平滑度，提高对面部朝向表征的准确性。
在一些实现方式中，假设面部灰度图像中面部轮廓内的灰度图像表示为G(X,Y)，其大小为m×n，如图3所示。采用Gx，Gy表示图像中第x行第y列计算区域的灰度数据，本实施例中以一计算区域对应一像素坐标为例进行说明，则可以
Figure BDA0003761193250000091
表示G(X,Y)沿y方向的梯度，也即纵向梯度值
Figure BDA0003761193250000092
基于此可得到每个计算区域的纵向梯度值。同样的，可以
Figure BDA0003761193250000093
表示G(X,Y)沿x方向的梯度，也即横向梯度值。基于此可得到每个计算区域的横向梯度值。
进一步的，对于纵向梯度值
Figure BDA0003761193250000094
而言，在本实施例中还可用差分的方式来近似该纵向梯度值，从而降低计算量和数据传输量，实现快速响应。差分的方式可为向前差分，也可为向后差分，还可以是中心差分，差分的方式不做限制。此处，可以Δy＝Gi+1,j-Gi,j来近似纵向梯度值，其中，Δy为G(i,j)位置的纵向梯度值。同样的，沿x方向的横向梯度值，也可通过差分进行近似处理，提高处理效率。各个计算区域的灰度值可表示如下：
Gx＝|Gi+1,j-Gi,j|
其中，i＝1、2、3、···、m-1；j＝1、2、3、···、n；
Gy＝|Gi,j+1-Gi,j|
其中，i＝1、2、3、···、m；j＝1、2、3、···、n-1。
需要说明的是，边缘位置的计算区域可不做梯度值处理，也可将这些边缘位置的灰度梯度数据确定为0，以不影响面部灰度图像的整体表达。
在获取得到上述的灰度梯度数据后，可以表格的形式存储至预设的寄存器存储，当执行步骤S30时可进行读取调用。各个计算区域的存储位置如下表所示：
表1各计算区域的灰度梯度数据表
Figure BDA0003761193250000095
Figure BDA0003761193250000101
步骤S30：从预设的面部朝向数据中，确定与所述灰度梯度数据匹配的目标面部朝向；其中，所述面部朝向数据包含所述用户面部的不同面部朝向与所述灰度梯度数据的对应关系。
在步骤S30中，面部朝向数据可为预先标定数据。例如，针对用户的每种面部朝向均通过上述步骤S10-S20计算得到对应的灰度梯度数据；每个面部朝向还可对应标定多组灰度梯度数据，然后去除噪声数据以及进行均值处理等得到最终可使用的面部朝向数据；最终，可得到所有标定的面部朝向数据。当需要识别的精度越高时，可将面部朝向进行更精细的划分来进行标定。进一步的，当完成标定后，还可通过数据拟合处理，来得到更多的、更加连续的面部朝向数据。
在匹配的过程中可采用现有常用的相似度算法来将灰度梯度数据与面部朝向数据进行匹配，以找到相同或最近似的目标面部朝向。另外，还可通过多维度空间算法在面部朝向数据中索引与灰度梯度数据匹配度最佳的目标面部朝向。具体的算法实现，可参照现有的实现方式执行，此处不再赘述。
当得到目标面部朝向之后，可将目标面部朝向映射到显示/投影设备中对应的目标显示/投影区域。从而对目标显示/投影区域进行有区别的渲染，实现裸眼3D。另外，一些实现方式中可基于目标面部朝向与参考对象(如显示/投影设备)的相对角度和相对位置计算得到显示/投影设备上的目标显示/投影区域。将目标面部朝向映射至显示/投影设备上用户重点关注的目标显示/投影区域的过程，可参照现有技术实现。
综上所述，本实施例中通过热成像形成面部灰度图像，进一步的通过该面部灰度图像的灰度数据构建可表征面部立体特征的灰度梯度数据，从而以少量数据表征面部特征，并实现面部朝向识别。进一步的，可基于此通过面部灰度图像的相对位置变化实现面部朝向与显示/投影设备的显示/投影信息的建立，对智能屏分的具体区域实现定位。同时，本实施例中还结合了数字摄像头对面部轮廓进行定位，实现面部轮廓准确识别；此外，数字图像不参与后续的梯度计算减小了计算量，进而在定位过程中实现快速响应。
请参阅图6，基于同一发明构思，在本发明的又一实施例中还提供了一种面部朝向识别装置300，所述面部朝向识别装置300包括：
图像获取模块301，用于对用户面部进行热成像，获得面部灰度图像；
梯度数据获取模块302，用于基于所述面部灰度图像中每个计算区域的灰度数据，获得所述面部灰度图像的灰度梯度数据；其中，所述灰度梯度数据用于表征相邻所述计算区域之间的灰度差距大小；
面部朝向确定模块303，用于从预设的面部朝向数据中，确定与所述灰度梯度数据匹配的目标面部朝向；其中，所述面部朝向数据包含所述用户面部的不同面部朝向与所述灰度梯度数据的对应关系。
作为一种可选的实施方式，所述梯度数据获取模块302，具体用于：
基于所述面部灰度图像中每个计算区域的灰度数据，在所述面部灰度图像中确定面部轮廓；基于所述面部轮廓内每个计算区域的灰度数据，获得所述灰度梯度数据。
作为一种可选的实施方式，所述梯度数据获取模块302，具体用于：
基于所述面部灰度图像中每个计算区域的灰度数据与预获取的轮廓灰度参考值之间的大小，在所述面部灰度图像中确定面部轮廓。
作为一种可选的实施方式，还包括轮廓灰度参考值获取模块，用于：
对所述用户面部分别进行数字成像和热成像，获得面部数字图像和待定位灰度图像；在所述面部数字图像中识别出所述用户面部的第一参考轮廓；基于所述第一参考轮廓的像素坐标，在所述待定位灰度图像中确定第二参考轮廓；基于所述第二参考轮廓中每个计算区域的灰度数据，确定轮廓灰度参考值。
作为一种可选的实施方式，所述轮廓灰度参考值获取模块，具体用于：
将所述第二参考轮廓对应的所有计算区域的灰度数据的均值，确定为轮廓灰度参考值。
作为一种可选的实施方式，所述灰度梯度数据包括横向梯度值和纵向梯度值；所述梯度数据获取模块302，还具体用于：
针对每个计算区域，基于所述计算区域的灰度数据与第一相邻区域的灰度数据，获得横向梯度值；所述第一相邻区域为与所述计算区域位于同一行，且相邻的区域；针对每个计算区域，基于所述计算区域的灰度数据与第二相邻区域的灰度数据，获得纵向梯度值；所述第二相邻区域为与所述计算区域位于同一列，且相邻的区域。
作为一种可选的实施方式，一所述计算区域对应一像素坐标。
需要说明的是，本发明实施例所提供的面部朝向识别装置300，其具体实现及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
基于同一发明构思，本发明的又一实施例中还提供了一种电子设备，包括处理器和存储器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时使所述电子设备执行前述实施例中任一项所述方法的步骤。需要说明的是，本发明实施例所提供的电子设备，指令被处理器执行时，每个步骤的具体实现及产生的技术效果和前述方法实施例相同，为简要描述，该实施例部分未提及之处，可参考前述方法实施例中相应的内容。
基于同一发明构思，本发明的又一实施例中还提供了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法实施例中任一项所述方法的步骤。需要说明的是，本发明实施例所提供的可读存储介质，其中程序被处理器执行时，每个步骤的具体实现及产生的技术效果和前述方法实施例相同，为简要描述，该实施例部分未提及之处，可参考前述方法实施例中相应内容。
本文中出现的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系；单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种面部朝向识别方法，其特征在于，包括：
对用户面部进行热成像，获得面部灰度图像；
基于所述面部灰度图像中每个计算区域的灰度数据，获得所述面部灰度图像的灰度梯度数据；其中，所述灰度梯度数据用于表征相邻所述计算区域之间的灰度差距大小；
从预设的面部朝向数据中，确定与所述灰度梯度数据匹配的目标面部朝向；其中，所述面部朝向数据包含所述用户面部的不同面部朝向与所述灰度梯度数据的对应关系。
2.根据权利要求1所述的方法，其特征在于，所述基于所述面部灰度图像中每个计算区域的灰度数据，获得所述面部灰度图像的灰度梯度数据，包括：
基于所述面部灰度图像中每个计算区域的灰度数据，在所述面部灰度图像中确定面部轮廓；
基于所述面部轮廓内每个计算区域的灰度数据，获得所述灰度梯度数据。
3.根据权利要求2所述的方法，其特征在于，所述基于所述面部灰度图像中每个计算区域的灰度数据，在所述面部灰度图像中确定面部轮廓，包括：
基于所述面部灰度图像中每个计算区域的灰度数据与预获取的轮廓灰度参考值之间的大小，在所述面部灰度图像中确定面部轮廓。
4.根据权利要求3所述的方法，其特征在于，所述轮廓灰度参考值的获取步骤，包括：
对所述用户面部分别进行数字成像和热成像，获得面部数字图像和待定位灰度图像；
在所述面部数字图像中识别出所述用户面部的第一参考轮廓；
基于所述第一参考轮廓的像素坐标，在所述待定位灰度图像中确定第二参考轮廓；
基于所述第二参考轮廓中每个计算区域的灰度数据，确定轮廓灰度参考值。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第二参考轮廓中每个计算区域的灰度数据，确定轮廓灰度参考值，包括：
将所述第二参考轮廓对应的所有计算区域的灰度数据的均值，确定为轮廓灰度参考值。
6.根据权利要求2所述的方法，其特征在于，所述灰度梯度数据包括横向梯度值和纵向梯度值；所述基于所述面部轮廓内每个计算区域的灰度数据，获得所述灰度梯度数据，包括：
针对每个计算区域，基于所述计算区域的灰度数据与第一相邻区域的灰度数据，获得横向梯度值；所述第一相邻区域为与所述计算区域位于同一行，且相邻的区域；
针对每个计算区域，基于所述计算区域的灰度数据与第二相邻区域的灰度数据，获得纵向梯度值；所述第二相邻区域为与所述计算区域位于同一列，且相邻的区域。
7.根据权利要求1所述的方法，其特征在于，一所述计算区域对应一像素坐标。
8.一种面部朝向识别装置，其特征在于，包括：
图像获取模块，用于对用户面部进行热成像，获得面部灰度图像；
梯度数据获取模块，用于基于所述面部灰度图像中每个计算区域的灰度数据，获得所述面部灰度图像的灰度梯度数据；其中，所述灰度梯度数据用于表征相邻所述计算区域之间的灰度差距大小；
面部朝向确定模块，用于从预设的面部朝向数据中，确定与所述灰度梯度数据匹配的目标面部朝向；其中，所述面部朝向数据包含所述用户面部的不同面部朝向与所述灰度梯度数据的对应关系。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时使所述电子设备执行权利要求1-7中任一项所述方法的步骤。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
CN202210871790.5A 2022-07-22 2022-07-22 一种面部朝向识别方法及装置 Pending CN115240276A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210871790.5A CN115240276A (zh) 2022-07-22 2022-07-22 一种面部朝向识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210871790.5A CN115240276A (zh) 2022-07-22 2022-07-22 一种面部朝向识别方法及装置

Publications (1)

Publication Number Publication Date
CN115240276A true CN115240276A (zh) 2022-10-25

Family

ID=83675405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210871790.5A Pending CN115240276A (zh) 2022-07-22 2022-07-22 一种面部朝向识别方法及装置

Country Status (1)

Country Link
CN (1) CN115240276A (zh)

Similar Documents

Publication Publication Date Title
US10225473B2 (en) Threshold determination in a RANSAC algorithm
US9519968B2 (en) Calibrating visual sensors using homography operators
WO2018133130A1 (en) 3d marker model construction and real-time tracking using monocular camera
CN110568447A (zh) 视觉定位的方法、装置及计算机可读介质
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
TW201118791A (en) System and method for obtaining camera parameters from a plurality of images, and computer program products thereof
JP5951043B2 (ja) 画像計測装置
EP3497618B1 (en) Independently processing plurality of regions of interest
JP6566768B2 (ja) 情報処理装置、情報処理方法、プログラム
US11727637B2 (en) Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera
CN109934873B (zh) 标注图像获取方法、装置及设备
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
JP2018195070A (ja) 情報処理装置、情報処理方法、及びプログラム
Żak et al. Local image features matching for real-time seabed tracking applications
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
JP2005092451A (ja) 頭部検出装置及び頭部検出方法、並びに頭部検出プログラム
JP2006113832A (ja) ステレオ画像処理装置およびプログラム
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
US11205064B1 (en) Measuring quality of depth images in real time
CN115240276A (zh) 一种面部朝向识别方法及装置
CN112347904B (zh) 基于双目深度和图片结构的活体检测方法、装置及介质
WO2021114775A1 (en) Object detection method, object detection device, terminal device, and medium
CN113689397A (zh) 工件圆孔特征检测方法和工件圆孔特征检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination