CN111860154B - 一种基于视觉的额头检测方法、装置和电子设备 - Google Patents
一种基于视觉的额头检测方法、装置和电子设备 Download PDFInfo
- Publication number
- CN111860154B CN111860154B CN202010535633.8A CN202010535633A CN111860154B CN 111860154 B CN111860154 B CN 111860154B CN 202010535633 A CN202010535633 A CN 202010535633A CN 111860154 B CN111860154 B CN 111860154B
- Authority
- CN
- China
- Prior art keywords
- forehead
- face
- positioning frame
- vertex
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001061 forehead Anatomy 0.000 title claims abstract description 160
- 238000001514 detection method Methods 0.000 title claims abstract description 98
- 210000003128 head Anatomy 0.000 claims abstract description 57
- 230000001815 facial effect Effects 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 23
- 210000004709 eyebrow Anatomy 0.000 claims description 49
- 230000008859 change Effects 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 101100153581 Bacillus anthracis topX gene Proteins 0.000 description 11
- 101150041570 TOP1 gene Proteins 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000036760 body temperature Effects 0.000 description 4
- 238000009529 body temperature measurement Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101150104012 TOP2 gene Proteins 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于视觉的额头检测方法、装置和电子设备。本发明的方法，包括：获取目标对象的图像帧；对图像帧进行人脸检测，得到用于定位图像帧上人脸位置的人脸定位框和人脸图像帧；对人脸图像帧进行特征点检测，得到多个脸部特征点；利用多个脸部特征点和所述人脸定位框，分别计算头部位姿参数和用于定位图像帧上额头位置的初始额头定位框；利用头部位姿参数对初始额头定位框进行修正，获得修正后的额头定位框。本发明的技术方案可以提高额头检测的精度。
Description
技术领域
本发明涉及一种基于视觉的额头检测方法、装置和电子设备。
背景技术
额温检测是当前比较常用的体温检测方法，特别是在机场、火车站和公司经常被采用。相比水银测温、肛温等传统体温检测方法，额温检测具有非接触、识别速度快的优势，特别适合公共环境下大规模高效的体温检测需求。
目前常用的额温检测方式是人工检测和自动化视觉测温两种方式。其中，自动化视觉测温通过机器视觉检测出头部，再通过红外测出头部区域内的平均体温，这种方式能最大程度的克服人工检测的缺点，但由于没有准确定位额头部位，导致检测准确率低，存在着误检、漏检的风险。
发明内容
本发明的目的在于提供了一种基于视觉的额头检测方法、装置和电子设备。
一方面，本发明实施例提供了一种基于视觉的额头检测方法，包括：
获取目标对象的图像帧；
对图像帧进行人脸检测，得到用于定位图像帧上人脸位置的人脸定位框和人脸图像帧；
对人脸图像帧进行特征点检测，得到多个脸部特征点；
利用多个脸部特征点和所述人脸定位框，分别计算头部位姿参数和用于定位图像帧上额头位置的初始额头定位框；
利用头部位姿参数对初始额头定位框进行修正，获得修正后的额头定位框。
另一方面，本发明实施例提供了一种基于视觉的额头检测装置，包括：
图像获取单元，用于获取目标对象的图像帧；
人脸检测单元，用于对图像帧进行人脸检测，得到用于定位图像帧上人脸位置的人脸定位框和人脸图像帧；
特征点检测单元，用于对人脸图像帧进行特征点检测，得到多个脸部特征点；
参数计算单元，用于利用多个脸部特征点和人脸定位框，分别计算头部位姿参数和用于定位图像帧上额头位置的初始额头定位框；
定位框修正单元，用于利用头部位姿参数对初始额头定位框进行修正，获得修正后的额头定位框。
再一方面，本发明实施例提供了一种电子设备，包括：处理器和分别与处理器连接的显示屏、摄像头、存储器；
摄像头，采集目标对象的图像帧并发送给处理器；存储器，存储计算机可执行指令；
处理器，计算机可执行指令在被执行时使处理器执行额头检测方法，获得检测结果并将检测结果发送给显示器进行显示。
本发明至少取得以下技术效果：通过对目标对象的图像帧进行人脸检测与特征点提取，得到人脸定位框和脸部特征点，基于人脸定位框和脸部特征点计算出头部位姿参数和初始额头定位框，利用头部位姿参数和人脸定位框对初始额头定位框进行修正，得到可以准确定位目标对象额头位置的额头定位框，从而提高了额头检测的精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例示出的额头检测系统的硬件配置的框图；
图2为本发明实施例示出的基于视觉的额头检测方法流程图；
图3为本发明实施例示出的额头检测方法详细流程图；
图4为本发明实施例示出的输出显示额头定位框的效果图；
图5为本发明实施例示出的初始额头定位框的示意图；
图6为本发明实施例示出的修正后的额头定位框的示意图；
图7为本发明实施例示出的68个脸部特征点的示意图；
图8为本发明实施例示出的基于视觉的额头检测装置的结构框图；
图9为本发明实施例示出的电子设备的硬件结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<实施例一>
图1是根据本发明实施例的基于视觉的额头检测系统100的硬件配置的框图。
如图1所示，基于视觉的额头检测系统100包括图像采集装置1000和基于视觉的额头检测装置2000。
图像采集装置1000用于采集目标对象的头部图像，并将采集到的图像提供至基于视觉的额头检测装置2000。
该图像采集装置1000可以是能够进行拍照的任意成像设备，例如摄像头等。
基于视觉的额头检测装置2000可以是任意的电子设备，例如PC机、笔记本电脑、服务器等。
在本实施例中，参照图1所示，基于视觉的额头检测装置2000可以包括处理器2100、存储器2200、接口装置2300、通信装置2400、显示装置2500、输入装置2600、扬声器2700、麦克风2800等等。
处理器2100可以是移动版处理器。存储器2200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置2300例如包括USB接口、耳机接口等。通信装置2400例如能够进行有线或无线通信，通信装置2400可以包括短距离通信装置，例如是基于Hilink协议、WiFi(IEEE 802.11协议)、Mesh、蓝牙、ZigBee、Thread、Z-Wave、NFC、UWB、LiFi等短距离无线通信协议进行短距离无线通信的任意装置，通信装置2400也可以包括远程通信装置，例如是进行WLAN、GPRS、2G/3G/4G/5G远程通信的任意装置。显示装置2500例如是液晶显示屏、触摸显示屏等，显示装置2500用于显示图像采集装置1000采集的图像。输入装置2600例如可以包括触摸屏、键盘等。用户可以通过扬声器2700和麦克风2800输入/输出语音信息。
在该实施例中，基于视觉的额头检测装置2000的存储器2200用于存储指令，该指令用于控制处理器2100进行操作以至少执行根据本发明任意实施例的额头检测方法。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
尽管在图1中示出了基于视觉的额头检测装置2000的多个装置，但是，本发明可以仅涉及其中的部分装置，例如，基于视觉的额头检测装置2000只涉及存储器2200、处理器2100和显示装置2500。
在本实施例中，图像采集装置1000用于采集头部图像提供至基于视觉的额头检测装置2000，基于视觉的额头检测装置2000则基于该图像实施根据本发明任意实施例的额头检测方法。
应当理解的是，尽管图1仅示出一个图像采集装置1000和一个基于视觉的额头检测装置2000，但不意味着限制各自的数量，额头检测系统100中可以包含多个图像采集装置1000和/或基于视觉的额头检测装置2000。
<实施例二>
图2为本发明实施例示出的基于视觉的额头检测方法流程图，如图2所示，本实施例的方法包括：
S2100，获取目标对象的图像帧。
本实施例可以利用摄像头拍摄目标对象的头部图像，实现图像帧的采集与获取，也可以建立与图像源的连接，从图像源处获取图像帧。
在获取到图像帧之后，可以对图像帧进行预处理，例如对图像帧进行缩放处理，以便于对图像帧进行人脸检测。
S2200，对图像帧进行人脸检测，得到用于定位图像帧上人脸位置的人脸定位框和人脸图像帧。
本实施例可以预先构建好人脸检测器，例如构建基于神经网络的人脸检测器并利用样本图像对人脸检测器进行训练，将图像帧输入到训练好的人脸检测器中进行人脸检测。
S2300，对人脸图像帧进行特征点检测，得到多个脸部特征点。
本实施例可以预先构建好脸部特征点提取器，例如构建基于神经网络的脸部特征点提取器并利用样本图像对脸部特征点提取器进行训练，将人脸图像帧输入到训练好的脸部特征点提取器中进行特征点提取。
S2400，利用多个脸部特征点和人脸定位框，分别计算头部位姿参数和用于定位图像帧上额头位置的初始额头定位框。
其中，头部位姿参数用于指示目标对象头部的动作幅度，以便于判断图像帧中是否包括目标对象完整的额头信息。例如，目标对象头部相对摄像头偏转角度较大时，摄像头采集到的图像帧中，有部分额头被遮挡。此时基于多个脸部特征点和人脸定位框计算出的头部位姿参数可以指示目标对象头部的动作幅度较大，超出可识别额头位置的许可范围，此时检测到的额头位置并不准确。
在头部位姿参数指示目标对象头部的动作幅度超出许可范围时，基于该图像帧的额头检测失败，需要重新获取目标对象的图像帧。
S2500，利用头部位姿参数对初始额头定位框进行修正，获得修正后的额头定位框。
由于目标对象并不一定正对采集目标对象的图像采集装置，如图4所示，目标对象头部向右偏转，此时，图像采集装置采集到的图像帧中头部姿态并不是正立的，而是存在如图4所示的偏斜情况，此时基于脸部特征点和人脸定位框计算得到的初始额头定位框定位到的额头位置并不准确，参考图5，初始额头定位框定位到了非额头部位。此种情况下，可以基于头部位姿参数对初始额头定位框进行修正，以提高额头定位的精度。
本实施例通过对目标对象的图像帧进行人脸检测与特征点提取，得到人脸定位框和脸部特征点，基于人脸定位框和脸部特征点计算出头部位姿参数和初始额头定位框，利用头部位姿参数对初始额头定位框进行修正，得到可以准确定位目标对象额头位置的额头定位框，提高额头检测的精度。
<实施例三>
为便于进行人脸检测与特征点检测，本实施例提供的基于视觉的额头检测方法预先构建额头检测系统，该额头检测系统包括：基于神经网络的人脸检测器与基于神经网络的脸部特征点提取器，人脸检测器用于检测待检图像帧中是否有人脸，而脸部特征点提取器用于通过回归算法提取人脸图像帧中的68个特征点。
在对人脸检测器与脸部特征点提取器进行训练的过程中，可以基于实际情况设置样本图像，如设置人脸检测器与脸部特征点提取器对应的样本图像中包括戴口罩的人脸图像，由此训练好的人脸检测器、脸部特征点提取器可以对戴口罩的目标对象进行人脸识别与额头定位。
如图3所示，在获取目标对象的图像帧之后，执行步骤S3100预处理操作。即对目标对象的图像帧进行预处理，得到预处理后的图像帧，将预处理后的图像帧输入到系统的人脸检测器进行人脸检测；其中，本实施例所进行的预处理包括利用预设缩放算法进行的缩放处理。
本实施例对图像帧进行缩放，使图像帧缩放到人脸检测器所要求的尺度和大小。目前常见的图像缩放算法有：Bilinear(双线性)、Bicubic(双三次插值)、Lanczos(兰佐斯)等算法，这些算法在计算量、精度、图像质量等方面有一定的差异，由于神经网络对图像的质量有很好的鲁棒性，而采用缩放算法不同导致的精度和图像质量方面的差异较小，因而可忽略这方面的差异，本实施例可以根据系统的计算性能采用合适的缩放算法。
在执行完上述图像预处理之后，继续执行步骤S3200人脸检测操作。即将预处理后的图像帧输入到训练好的基于神经网络的人脸检测器中，获取人脸检测器输出的人脸定位框；根据预设缩放算法对人脸定位框进行逆缩放，得到人脸定位框在图像帧上的坐标；根据坐标从图像帧上剪裁得到人脸图像帧。
参考图4，图4中较大的矩形框即为人脸定位框，获取人脸定位框的具体过程为：将预处理后的图像帧输入到人脸检测器，利用人脸检测器提取人脸定位框，若无人脸则人脸检测失败，输出为空；若检测到人脸，则输出人脸定位框的顶点坐标。
继续参考图4，图4中人脸定位框中的图像帧即为人脸图像帧，获取人脸图像帧的具体过程为：根据人脸定位框的顶点坐标及相应缩放算法的缩放因子，对人脸定位框进行逆缩放，计算出在原始图像帧上人脸定位框的坐标，并依此坐标对原始图像帧进行剪裁操作，得到人脸图像帧。
在获得人脸图像帧和人脸定位框之后，继续执行S3300特征点检测操作。即将人脸图像帧输入到训练好的基于神经网络的脸部特征点提取器，利用脸部特征点提取器提取脸部特征点，得到脸部特征点提取器输出的多个脸部特点。其中，图7示出了脸部特征点提取器通过回归算法提取人脸图像帧中的68个特征点。
在本实施例中，在将人脸图像帧输入至脸部特征点提取器之前，也可以对人脸图像帧进行缩放等预处理。
在获得脸部特征点之后，继续执行步骤S3400计算初始额头定位框的操作和执行步骤S3500计算头部位姿参数的操作。
其中，初始额头定位框的计算过程并没有考虑目标对象头部的位姿变化情况，如图5所示，初始额头定位框为由左上角顶点top0、右上角顶点top1、左下角顶点p0和右下角顶点p1构成的四边形，该初始额头定位框的计算方法包括：从多个脸部特征点中获取左眉部特征点p0、右眉部特征点p1，以及从人脸定位框获取由左上侧顶点f1与右上侧顶点f2形成的参考直线f1f2；获取由左眉部特征点p0、右眉部特征点p1向参考直线f1f2做垂线所形成的两个交点top0,top1；由两个交点top0,top1和左眉部特征点p0、右眉部特征点p1确定的四边形作为初始额头定位框(top0,top1,p1,p0)。
可以理解的是，本实施例中的左眉部特征点、右眉部特征点为位置对称的特征点。例如，如图7所示，可以选择编号为21、24的特征点作为左眉部特征点、右眉部特征点。
本实施例中的头部位姿参数包括用于指示目标对象头部的水平方向位姿变化角度，可以通过如下方式获得该水平方向位姿变化角度：
S1，从多个脸部特征点中获取左眉部特征点、右眉部特征点，以及从人脸定位框获取左上侧顶点与右上侧顶点。
示例性的，选择图7中编号为21、24的特征点作为左眉部特征点、右眉部特征点，左眉部特征点的坐标为P0(x，y)，右眉部特征点的坐标为P1(x，y)，人脸定位框的左上侧顶点为f1(x，y)，右上侧顶点为f2(x，y)。其中，(x，y)分别表示水平方向的坐标和竖直方向的坐标
S2，计算由左眉部特征点与右眉部特征点形成的第一线段和由左上侧顶点与右上侧顶点形成的第二线段之间的夹角，将计算得到的夹角作为水平方向位姿变化角度。
如图5所示，左眉部特征点与右眉部特征点形成的第一线段为P0P1，由左上侧顶点与右上侧顶点形成的第二线段为f1f2，可以根据余弦夹角公式计算出第一线段P0P1与第二线段f1f2之间的夹角，该夹角即为水平方向位姿变化角度。
为了判别图像帧中目标对象的额头信息是否完整，即是否存在由于目标对象头部的动作幅度过大导致额头被遮挡未体现在图像帧中的情况，在执行上述S2之前，还可以利用左眉部特征点P0(x，y)、右眉部特征点P1(x，y)与左上侧顶点f1(x，y)、右上侧顶点f2(x，y)之间的坐标位置关系，检测目标对象头部的动作幅度；当动作幅度在许可范围内时，计算该夹角作为水平方向位姿变化角度；当动作幅度超出许可范围内时，基于图像帧的动作幅度检测失败，重新获取目标对象的图像帧。
在本实施例的一个实现方案中，检测目标对象头部的动作幅度的方法包括：
在图像帧所在的图像坐标系中，分别获得左眉部特征点P0(x，y)水平方向的坐标P0[x]、右眉部特征点P1(x，y)水平方向的坐标P1[x]、由左上侧顶点f1(x，y)与右上侧顶点f2(x，y)确定的中心点mid(x，y)水平方向的坐标mid[x]＝(f1[x]+f2[x])/2；
当左眉部特征点P0(x，y)水平方向的坐标P0[x]和/或右眉部特征点P1(x，y)水平方向的坐标P1[x]小于中心点mid(x，y)水平方向的坐标mid[x]时，确定动作幅度在许可范围内；即在满足下述三种情况中的任一种情况时，确定动作幅度在许可范围内：
第一种情况
左眉部特征点P0(x，y)水平方向的坐标P0[x]小于中心点mid(x，y)水平方向的坐标mid[x]，右眉部特征点P1(x，y)水平方向的坐标P1[x]小于中心点mid(x，y)水平方向的坐标mid[x]。
第二种情况
左眉部特征点P0(x，y)水平方向的坐标P0[x]小于中心点mid(x，y)水平方向的坐标mid[x]，右眉部特征点P1(x，y)水平方向的坐标P1[x]不小于中心点mid(x，y)水平方向的坐标mid[x]。
第三种情况
左眉部特征点P0(x，y)水平方向的坐标P0[x]不小于中心点mid(x，y)水平方向的坐标mid[x]，右眉部特征点P1(x，y)水平方向的坐标P1[x]小于中心点mid(x，y)水平方向的坐标mid[x]。
当左眉部特征点P0(x，y)水平方向的坐标P0[x]和右眉部特征点P1(x，y)水平方向的坐标P1[x]均不小于中心点mid(x，y)水平方向的坐标mid[x]时，确定动作幅度超出许可范围内。
在获得初始额头定位框和头部位姿参数之后，继续执行步骤S3600修正初始额头定位框操作。
本实施例中，初始额头定位框为由左上角顶点top0、右上角顶点top1、左下角顶点p0和右下角顶点p1构成的四边形，可以利用头部位姿参数和人脸定位框对初始额头定位框的左上角顶点top0与右上角顶点top1的坐标位置进行修正；将由修正后的左上角顶点top0’、修正后的右上角顶点top1’、初始额头定位框中的左下角顶点p0和初始额头定位框中的右下角顶点p1确定的矩形框作为修正后的额头定位框(top0’,top1’,p1,p0)。
在一个实施例中，可以通过坐标转换公式计算修正后的左上角顶点top0’和修正后的右上角顶点top1’：
计算初始额头定位框中由左上角顶点top0与左下角顶点p0形成的第三线段的长度，以及计算初始额头定位框中由右上角顶点top1与右下角顶点p1形成的第四线段的长度；选择第三线段与第四线段中长度较短的线段作为修正后的额头定位框的高度；例如选择图5所示的线段p1top1作为修正后的额头定位框的高度。
利用角度和高度对初始额头定位框中的左上角顶点top0坐标与右上角顶点top1坐标进行修正，获得修正后的左上角顶点top0’与修正后的右上角顶点top1’。
在一实施例中，可以先利用人脸定位框的左上侧顶点f1的竖向坐标f1[y]与左眉部特征点P0的竖向坐标p0[y]计算第三线段的长度r1，利用人脸定位框的右上侧顶点f2的竖向坐标f2[y]与右眉部特征点P1的竖向坐标p1[y]计算第四线段的长度r2，/>比较r1与r2的大小，设置修正后的额头定位框的高度L等于r1与r2中较小的数值，设置参数angle为水平方向位姿变化角度，参数R为坐标转换公式中的转换角度。示例性的，当r1<r2时，L＝r1，R＝π/2-angle；当r1≥r2时，L＝r2，R＝π/2+angle。
在计算得到L与R之后，可以利用坐标转换公式计算修正后的左上角顶点top0’的坐标为(cos(R)*L+p0[x]，p0[y]-sin(R)*L)，修正后的右上角顶点top1’的坐标为(cos(R)*L+p1[x]，p1[y]-sin(R)*L)。
在获得修正后的额头定位框之后，执行步骤S3700输出显示额头定位框，(top1’,top2’,p1,p0)，即输出显示如图4所示的较小矩形框即为修正后的额头定位框。
综合上述，本实施例通过步骤S3100～步骤S3700实现了基于视觉的额头定位检测，提高了额头检测的精度，为后续额温测量提供基础。
<实施例四>
图8为本发明实施例示出的基于视觉的额头检测装置的结构框图，如图8所示，本实施例的装置包括：
图像获取单元8100，用于获取目标对象的图像帧；
人脸检测单元8200，用于对图像帧进行人脸检测，得到用于定位图像帧上人脸位置的人脸定位框和人脸图像帧；
特征点检测单元8300，用于对人脸图像帧进行特征点检测，得到多个脸部特征点；
参数计算单元8400，用于利用多个脸部特征点和人脸定位框，分别计算头部位姿参数和用于定位图像帧上额头位置的初始额头定位框；
定位框修正单元8500，用于利用头部位姿参数对初始额头定位框进行修正，获得修正后的额头定位框。
在一些实施例中，部位姿参数包括用于指示目标对象头部的水平方向位姿变化角度，相应的，参数计算单元8400，用于从多个脸部特征点中获取左眉部特征点、右眉部特征点，以及从人脸定位框获取左上侧顶点与右上侧顶点；计算由左眉部特征点与右眉部特征点形成的第一线段和由左上侧顶点与右上侧顶点形成的第二线段之间的夹角，将计算得到的夹角作为水平方向位姿变化角度。
在一些实施例中，基于视觉的额头检测装置还包括检测单元，用于在计算由左眉部特征点与右眉部特征点形成的第一线段和由左上侧顶点与右上侧顶点形成的第二线段之间的夹角之前，利用左眉部特征点、右眉部特征点与左上侧顶点、右上侧顶点之间的坐标位置关系，检测目标对象头部的动作幅度；当检测单元检测到动作幅度在许可范围内时，参数计算单元8400计算该夹角作为水平方向位姿变化角度；当检测单元检测到动作幅度超出许可范围内时，基于图像帧的动作幅度检测失败，重新获取目标对象的图像帧。
检测单元，具体是用于在图像帧所在的图像坐标系中，分别获得左眉部特征点水平方向的坐标、右眉部特征点水平方向的坐标、由左上侧顶点与右上侧顶点确定的中心点水平方向的坐标；当左眉部特征点水平方向的坐标和/或右眉部特征点水平方向的坐标小于中心点水平方向的坐标时，确定动作幅度在许可范围内；当左眉部特征点水平方向的坐标和右眉部特征点水平方向的坐标均不小于中心点水平方向的坐标时，确定动作幅度超出许可范围内。
在一些实施例中，初始额头定位框为由左上角顶点、右上角顶点、左下角顶点和右下角顶点构成的四边形，相应的，定位框修正单元8500，用于利用头部位姿参数和人脸定位框对初始额头定位框的左上角顶点与右上角顶点的坐标位置进行修正；将由修正后的左上角顶点、修正后的右上角顶点、初始额头定位框中的左下角顶点和初始额头定位框中的右下角顶点确定的矩形框作为修正后的额头定位框。
其中，定位框修正单元8500具体是计算初始额头定位框中由左上角顶点与左下角顶点形成的第三线段的长度，以及计算初始额头定位框中由右上角顶点与右下角顶点形成的第四线段的长度；选择第三线段与第四线段中长度较短的线段作为修正后的额头定位框的高度；利用角度和高度对初始额头定位框中的左上角顶点坐标与右上角顶点坐标进行修正，获得修正后的左上角顶点与修正后的右上角顶点。
在一些实施例中，基于视觉的额头检测装置还包括预处理单元，用于对图像帧进行预处理，得到预处理后的图像帧并输入到训练好的基于神经网络的人脸检测器中，预处理包括利用预设缩放算法进行的缩放处理；
预处理单元还用于根据所述预设缩放算法对人脸检测单元8200输出的人脸定位框进行逆缩放，得到人脸定位框在图像帧上的坐标；使得人脸检测单元8200根据该坐标从图像帧上剪裁得到人脸图像帧。
<实施例五>
图9为本发明实施例示出的电子设备的硬件结构示意图，如图9所示，在硬件层面，该电子设备包括处理器，分别与处理器连接的显示屏、摄像头、存储器；存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器等。可选地，电子设备还包括内部总线、网络接口等。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，摄像头采集目标对象的图像帧并发送给处理器；存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机可执行指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成额头检测装置。处理器，执行存储器所存放的程序实现如上文描述的额头检测方法，获得检测结果并将检测结果发送给显示器进行显示。
上述如本说明书图9所示实施例揭示的额头检测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上文描述的额头检测方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述额头检测方法的步骤。
为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种基于视觉的额头检测方法，其中，包括：
获取目标对象的图像帧；
对所述图像帧进行人脸检测，得到用于定位所述图像帧上人脸位置的人脸定位框和人脸图像帧；
对所述人脸图像帧进行特征点检测，得到多个脸部特征点；
利用所述多个脸部特征点和所述人脸定位框，分别计算头部位姿参数和用于定位所述图像帧上额头位置的初始额头定位框，所述头部位姿参数包括用于指示目标对象头部的水平方向位姿变化角度，所述初始额头定位框为由左上角顶点、右上角顶点、左下角顶点和右下角顶点构成的四边形；
利用所述头部位姿参数对所述初始额头定位框进行修正，获得修正后的额头定位框；
所述利用所述头部位姿参数对所述初始额头定位框进行修正，包括：
利用所述头部位姿参数和所述人脸定位框对初始额头定位框的左上角顶点与右上角顶点的坐标位置进行修正；将由修正后的左上角顶点、修正后的右上角顶点、初始额头定位框中的左下角顶点和初始额头定位框中的右下角顶点确定的矩形框作为修正后的额头定位框；
利用所述头部位姿参数和所述人脸定位框对初始额头定位框的左上角顶点与右上角顶点的坐标位置进行修正，包括：
计算所述初始额头定位框中由左上角顶点与左下角顶点形成的第三线段的长度，以及计算所述初始额头定位框中由右上角顶点与右下角顶点形成的第四线段的长度；选择所述第三线段与所述第四线段中长度较短的线段作为修正后的额头定位框的高度；利用所述水平方向位姿变化角度和所述高度对所述初始额头定位框中的左上角顶点坐标与右上角顶点坐标进行修正，获得修正后的左上角顶点与修正后的右上角顶点；
利用所述多个脸部特征点和所述人脸定位框，分别计算头部位姿参数和用于定位所述图像帧上额头位置的初始额头定位框，包括：
从所述多个脸部特征点中获取左眉部特征点、右眉部特征点，以及从所述人脸定位框获取由左上侧顶点与右上侧顶点形成的参考直线；
获取由所述左眉部特征点、右眉部特征点向所述参考直线做垂线所形成的两个交点；
由所述两个交点和所述左眉部特征点、右眉部特征点确定的四边形作为所述初始额头定位框，其中将左眉部特征点作为所述左下角顶点、将所述右眉部特征点作为所述右下角顶点，将两个交点相应作为所述左上角顶点、右上角顶点。
2.根据权利要求1所述的方法，其中，通过如下方式获得该水平方向位姿变化角度：
从所述多个脸部特征点中获取左眉部特征点、右眉部特征点，以及从所述人脸定位框获取左上侧顶点与右上侧顶点；
计算由左眉部特征点与右眉部特征点形成的第一线段和由左上侧顶点与右上侧顶点形成的第二线段之间的夹角，将计算得到的所述夹角作为所述水平方向位姿变化角度。
3.根据权利要求2所述的方法，其中，在计算由左眉部特征点与右眉部特征点形成的第一线段和由左上侧顶点与右上侧顶点形成的第二线段之间的夹角之前，还包括：
利用所述左眉部特征点、右眉部特征点与左上侧顶点、右上侧顶点之间的坐标位置关系，检测目标对象头部的动作幅度；
当动作幅度在许可范围内时，计算所述夹角作为所述水平方向位姿变化角度；当动作幅度超出许可范围内时，基于所述图像帧的动作幅度检测失败，重新获取目标对象的图像帧。
4.根据权利要求3所述的方法，其中，利用所述左眉部特征点、右眉部特征点与左上侧顶点、右上侧顶点之间的坐标位置关系，检测目标对象头部的动作幅度，包括：
在所述图像帧所在的图像坐标系中，分别获得所述左眉部特征点水平方向的坐标、右眉部特征点水平方向的坐标、由左上侧顶点与右上侧顶点确定的中心点水平方向的坐标；
当所述左眉部特征点水平方向的坐标和/或右眉部特征点水平方向的坐标小于所述中心点水平方向的坐标时，确定所述动作幅度在许可范围内；
当所述左眉部特征点水平方向的坐标和所述右眉部特征点水平方向的坐标均不小于所述中心点水平方向的坐标时，确定所述动作幅度超出许可范围内。
5.根据权利要求1所述的方法，其中，对所述图像帧进行人脸检测，得到用于定位所述图像帧上人脸位置的人脸定位框和人脸图像帧，包括：
对所述图像帧进行预处理，得到预处理后的图像帧，所述预处理包括利用预设缩放算法进行的缩放处理；
将预处理后的图像帧输入到训练好的基于神经网络的人脸检测器中，获取所述人脸检测器输出的人脸定位框；
根据所述预设缩放算法对所述人脸定位框进行逆缩放，得到所述人脸定位框在所述图像帧上的坐标；
根据所述坐标从所述图像帧上剪裁得到所述人脸图像帧。
6.一种基于视觉的额头检测装置，其特征在于，包括：
图像获取单元，用于获取目标对象的图像帧；
人脸检测单元，用于对所述图像帧进行人脸检测，得到用于定位所述图像帧上人脸位置的人脸定位框和人脸图像帧；
特征点检测单元，用于对所述人脸图像帧进行特征点检测，得到多个脸部特征点；
参数计算单元，用于利用所述多个脸部特征点和所述人脸定位框，分别计算头部位姿参数和用于定位所述图像帧上额头位置的初始额头定位框，所述头部位姿参数包括用于指示目标对象头部的水平方向位姿变化角度，所述初始额头定位框为由左上角顶点、右上角顶点、左下角顶点和右下角顶点构成的四边形；具体是用于从所述多个脸部特征点中获取左眉部特征点、右眉部特征点，以及从所述人脸定位框获取由左上侧顶点与右上侧顶点形成的参考直线；获取由所述左眉部特征点、右眉部特征点向所述参考直线做垂线所形成的两个交点；由所述两个交点和所述左眉部特征点、右眉部特征点确定的四边形作为所述初始额头定位框，其中将左眉部特征点作为所述左下角顶点、将所述右眉部特征点作为所述右下角顶点，将两个交点相应作为所述左上角顶点、右上角顶点；
定位框修正单元，用于利用所述头部位姿参数对所述初始额头定位框进行修正，获得修正后的额头定位框，具体是用于利用头部位姿参数和人脸定位框对初始额头定位框的左上角顶点与右上角顶点的坐标位置进行修正；将由修正后的左上角顶点、修正后的右上角顶点、初始额头定位框中的左下角顶点和初始额头定位框中的右下角顶点确定的矩形框作为修正后的额头定位框；其中具体是计算初始额头定位框中由左上角顶点与左下角顶点形成的第三线段的长度，以及计算初始额头定位框中由右上角顶点与右下角顶点形成的第四线段的长度；选择第三线段与第四线段中长度较短的线段作为修正后的额头定位框的高度；利用水平方向位姿变化角度和高度对初始额头定位框中的左上角顶点坐标与右上角顶点坐标进行修正，获得修正后的左上角顶点与修正后的右上角顶点。
7.一种电子设备，包括：处理器和分别与所述处理器连接的显示器、摄像头、存储器；
所述摄像头，采集目标对象的图像帧并发送给所述处理器；所述存储器，存储计算机可执行指令；
所述处理器，在计算机可执行指令被执行时执行如权利要求1-5任一项所述的基于视觉的额头检测方法，获得检测结果并将所述检测结果发送给所述显示器进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010535633.8A CN111860154B (zh) | 2020-06-12 | 2020-06-12 | 一种基于视觉的额头检测方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010535633.8A CN111860154B (zh) | 2020-06-12 | 2020-06-12 | 一种基于视觉的额头检测方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111860154A CN111860154A (zh) | 2020-10-30 |
| CN111860154B true CN111860154B (zh) | 2024-05-28 |
Family
ID=72986453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010535633.8A Active CN111860154B (zh) | 2020-06-12 | 2020-06-12 | 一种基于视觉的额头检测方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860154B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113008380B (zh) * | 2021-03-10 | 2023-04-14 | 五邑大学 | 一种智慧ai体温预警方法、系统及存储介质 |
| CN112883925B (zh) * | 2021-03-23 | 2023-08-29 | 杭州海康威视数字技术股份有限公司 | 一种人脸图像处理方法、装置及设备 |
| CN113612932B (zh) * | 2021-08-09 | 2022-10-04 | 荣耀终端有限公司 | 曝光参数的调节方法、设备和存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012216180A (ja) * | 2011-03-30 | 2012-11-08 | Advanced Telecommunication Research Institute International | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
| CN103116902A (zh) * | 2011-11-16 | 2013-05-22 | 华为软件技术有限公司 | 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 |
| JP2014194617A (ja) * | 2013-03-28 | 2014-10-09 | Advanced Telecommunication Research Institute International | 視線方向推定装置、視線方向推定装置および視線方向推定プログラム |
| KR20160142742A (ko) * | 2015-06-03 | 2016-12-13 | 삼성전자주식회사 | 메이크업 거울을 제공하는 디바이스 및 방법 |
| CN106934375A (zh) * | 2017-03-15 | 2017-07-07 | 中南林业科技大学 | 基于特征点运动轨迹描述的人脸表情识别方法 |
| CN108875480A (zh) * | 2017-08-15 | 2018-11-23 | 北京旷视科技有限公司 | 一种人脸特征信息的追踪方法、装置及系统 |
| CN109472198A (zh) * | 2018-09-28 | 2019-03-15 | 武汉工程大学 | 一种姿态鲁棒的视频笑脸识别方法 |
| CN110060272A (zh) * | 2018-01-18 | 2019-07-26 | 杭州海康威视数字技术股份有限公司 | 人脸区域的确定方法、装置、电子设备及存储介质 |
| CN110188728A (zh) * | 2019-06-06 | 2019-08-30 | 四川长虹电器股份有限公司 | 一种头部姿态估计的方法及系统 |
| CN110245612A (zh) * | 2019-06-14 | 2019-09-17 | 百度在线网络技术（北京）有限公司 | 人脸图像的检测方法和装置 |
| WO2019184125A1 (zh) * | 2018-03-30 | 2019-10-03 | 平安科技（深圳）有限公司 | 基于微表情的风险识别方法、装置、设备及介质 |
| CN111191571A (zh) * | 2019-12-26 | 2020-05-22 | 新绎健康科技有限公司 | 一种基于人脸特征点检测的中医面诊脸部分区方法和系统 |
-
2020
- 2020-06-12 CN CN202010535633.8A patent/CN111860154B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012216180A (ja) * | 2011-03-30 | 2012-11-08 | Advanced Telecommunication Research Institute International | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
| CN103116902A (zh) * | 2011-11-16 | 2013-05-22 | 华为软件技术有限公司 | 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 |
| JP2014194617A (ja) * | 2013-03-28 | 2014-10-09 | Advanced Telecommunication Research Institute International | 視線方向推定装置、視線方向推定装置および視線方向推定プログラム |
| KR20160142742A (ko) * | 2015-06-03 | 2016-12-13 | 삼성전자주식회사 | 메이크업 거울을 제공하는 디바이스 및 방법 |
| CN106934375A (zh) * | 2017-03-15 | 2017-07-07 | 中南林业科技大学 | 基于特征点运动轨迹描述的人脸表情识别方法 |
| CN108875480A (zh) * | 2017-08-15 | 2018-11-23 | 北京旷视科技有限公司 | 一种人脸特征信息的追踪方法、装置及系统 |
| CN110060272A (zh) * | 2018-01-18 | 2019-07-26 | 杭州海康威视数字技术股份有限公司 | 人脸区域的确定方法、装置、电子设备及存储介质 |
| WO2019184125A1 (zh) * | 2018-03-30 | 2019-10-03 | 平安科技（深圳）有限公司 | 基于微表情的风险识别方法、装置、设备及介质 |
| CN109472198A (zh) * | 2018-09-28 | 2019-03-15 | 武汉工程大学 | 一种姿态鲁棒的视频笑脸识别方法 |
| CN110188728A (zh) * | 2019-06-06 | 2019-08-30 | 四川长虹电器股份有限公司 | 一种头部姿态估计的方法及系统 |
| CN110245612A (zh) * | 2019-06-14 | 2019-09-17 | 百度在线网络技术（北京）有限公司 | 人脸图像的检测方法和装置 |
| CN111191571A (zh) * | 2019-12-26 | 2020-05-22 | 新绎健康科技有限公司 | 一种基于人脸特征点检测的中医面诊脸部分区方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| Automatic method for detection of characteristic areas in thermal face images;Mariusz Marzec 等;《Multimed Tools Appl》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111860154A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860154B (zh) | 一种基于视觉的额头检测方法、装置和电子设备 | |
| CN106377264A (zh) | 一种人体身高测量方法、装置及智能镜子 | |
| JP6444283B2 (ja) | 姿勢判定装置 | |
| US9633450B2 (en) | Image measurement device, and recording medium | |
| JP7059054B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN111626105B (zh) | 姿态估计方法、装置及电子设备 | |
| WO2022014252A1 (ja) | 情報処理装置および情報処理方法 | |
| US20230080861A1 (en) | Automatic Iris Capturing Method And Apparatus, Computer-Readable Storage Medium, And Computer Device | |
| JP2017032335A (ja) | 情報処理装置、情報処理方法、プログラム | |
| JP7255173B2 (ja) | 人検出装置および人検出方法 | |
| JP2015222220A (ja) | 制御装置、ロボット、及び制御方法 | |
| CN113012407A (zh) | 一种基于机器视觉的眼屏距离提示预防近视系统 | |
| JP2017027492A (ja) | 顔照合装置およびこれを備えた顔照合システムならびに顔照合方法 | |
| JP7188067B2 (ja) | 人検出装置および人検出方法 | |
| US10750087B2 (en) | Image processing system, image processing method, and computer-readable medium | |
| KR20170011840A (ko) | 촬영 장치, 그의 오브젝트 감지 방법 및 비일시적 컴퓨터 판독가능 기록매체 | |
| CN111387987A (zh) | 一种基于图像识别的身高测量方法、装置、设备及存储介质 | |
| JP6296769B2 (ja) | 物体検出装置 | |
| CN108737733B (zh) | 信息提示方法和装置、电子设备、计算机可读存储介质 | |
| KR101384784B1 (ko) | 모바일 기기 카메라 화면의 사물 위치 판단 방법 | |
| US20170069109A1 (en) | Method and apparatus for measuring an object | |
| JP2021021577A (ja) | 画像処理装置及び画像処理方法 | |
| JP5935118B2 (ja) | 物体検出装置および物体検出方法 | |
| KR20120044783A (ko) | 프로젝터를 이용한 터치 스크린 장치 및 그 터치 스크린 장치의 터치 위치 검출방법 | |
| CN107562050B (zh) | 一种机器人识别环境的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |