CN104657719B - 一种煤矿井下矿工人脸区域检测方法 - Google Patents

一种煤矿井下矿工人脸区域检测方法 Download PDF

Info

Publication number
CN104657719B
CN104657719B CN201510094620.0A CN201510094620A CN104657719B CN 104657719 B CN104657719 B CN 104657719B CN 201510094620 A CN201510094620 A CN 201510094620A CN 104657719 B CN104657719 B CN 104657719B
Authority
CN
China
Prior art keywords
face
image
mine lamp
miner
mine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510094620.0A
Other languages
English (en)
Other versions
CN104657719A (zh
Inventor
刘晓阳
王娟
陆泽山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology Beijing CUMTB
Original Assignee
China University of Mining and Technology Beijing CUMTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology Beijing CUMTB filed Critical China University of Mining and Technology Beijing CUMTB
Priority to CN201510094620.0A priority Critical patent/CN104657719B/zh
Publication of CN104657719A publication Critical patent/CN104657719A/zh
Application granted granted Critical
Publication of CN104657719B publication Critical patent/CN104657719B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种煤矿井下矿工人脸区域检测方法。采集煤矿井下包含戴矿灯的矿工人脸图像和井下无人的背景环境图像,对采集的图像做减法处理,并根据确定的煤矿井下人员的位置区域还原图像,得到了只有矿工没有背景信息的新图像,进而求得去除背景后矿工人脸图像的直方图,根据直方图确定最佳分割阈值,然后运用全局阈值分割算法完整地分割定位出矿灯区域;人脸区域检测阶段,根据煤矿井下矿灯图像的分析方法标定出的矿灯位置及尺寸,并根据成人正面平视时的面孔五官比例“三庭五眼”说法,运用人脸的定位分割方法在图像中进行定位分割,若矿工人脸不是正面面对摄像仪时,进一步修正人脸的分割窗口。本发明利用矿灯定位检测人脸区域,能够有效克服井下光照差、矿工脸部存在煤灰的影响,可靠性强,检测率高,为矿井人员唯一性检测提供可靠的信息。

Description

一种煤矿井下矿工人脸区域检测方法
技术领域
本发明涉及一种煤矿井下矿工人脸区域检测方法,属于图像处理与模式识别技术领域。
背景技术
煤炭是我国主要的能源之一,是我国经济发展的重要保障,我国约70%的能源消耗来自煤炭。煤矿井下环境恶劣,光照条件差,且矿工违规、违章操作时有发生,会影响煤矿井下的安全生产,针对煤矿井下图像中的矿工检测会受到不同程度的影响,在减少误检、检测定位准确率以及检测效率等方面仍然需要进一步提高。
人脸检测与识别(Face Detection and Recognition)就是对给定的动态或静态的图像进行分析,从中检测并提取出有效的一些识别信息,通过与已有的人脸库来对比,“辨认”或者“确认”出人的身份,主要包括人脸检测和人脸识别两个部分。在实时的人脸识别系统中,人脸检测是识别系统实现的前提和基础,人脸检测的效果直接影响着系统的识别效果。
人脸检测按主流方法进行分类,归纳起来大致可以分为以下几种类型:基于显示模型的方法,这种方法又可以分为基于肤色模型的方法和基于模板匹配的方法。基于肤色检测方法是最常用的人脸检测方法之一,它采用的主要手段就是利用彩色图像中人脸的肤色与周围环境的差异,确定肤色模型,检测出肤色像素,通过肤色将人脸区域从背景环境中分割出来,基于肤色模型方法进行人脸检测的文献有很多。基于模板匹配的方法是要根据输入图像,先构造一个标准的人脸模板,然后计算待检测区域与模板之间的相关值,如果相关值满足我们设定的判断准则,就认为这个待检测区域为人脸区域,这是固定模板的检测方法。还有一种是变形模板的人脸检测方法,这种方法首先要求制定模板的参数,再根据待检测区域的数据修改这些参数,直至收敛来检测出人脸的位置。
在对煤矿井下作业人员进行监控、定位和身份识别的研究中,很少有人将矿工人脸作为煤矿井下人员的定位和身份识别的研究目标,对煤矿井下矿工的人脸定位检测和识别的研究寥寥无几,而矿工违规、违章操作时有发生的现象,会影响煤矿井下的安全生产,井下生产过程中对下井人员管理有着严格的要求与限制,因而煤矿井下人脸定位检测技术的研究具有深远意义。
发明内容
本发明的目的所要解决的技术问题是提供一种更适合井下巷道窄又长环境的、简单有效的矿工人脸区域检测方法。
为了克服现有诸多系统在煤矿井下图像检测中存在的问题,本发明公开了一种适合井下特殊环境的矿工人脸区域检测方法,根据煤矿井下戴矿灯矿工人脸图像的特点,选择矿灯作为矿工人脸区域检测的标靶物,研究了摄像机参数与矿灯投影图像的关系,并根据提取分割出的矿灯图像作为参考,实现了矿工人脸区域的快速检测,该系统能够在矿井下低照度的图像中得到较高的定位检测率,迅速有效的进行矿工人脸区域检测,为矿井人员唯一性检测提供了保障。
本发明所述的一种煤矿井下矿工人脸区域检测方法采用如下技术方案实现,包括矿工人脸图像中矿灯的分割阶段以及人脸区域检测阶段,矿工人脸图像中矿灯的分割阶段包括以下步骤:
(1)分别采集煤矿井下包含戴矿灯的矿工人脸图像和井下无人的背景环境图像,背景环境图像包括巷道内的照明灯等不变背景信息,采集的图像要求统一尺寸及格式;
(2)将井下无人的背景环境图像作为参考图像数据,与采集的戴矿灯矿工人脸图像进行图像减法运算,分离出不变的背景区域,确定煤矿井下人员在图像中所占的区域数据;
(3)将图像中有人的区域完整地从背景中分离出来,去除了原图像中相对固定的背景区域,根据确定的煤矿井下人员的位置区域还原图像,并将背景中的照明灯部分去除掉,去除图像中不变背景环境图像信息的干扰,得到了只有矿工没有背景信息的新图像;
(4)根据公式计算每个灰度级像素出现的频率,求出去除背景后戴矿灯矿工人脸图像的直方图,式中vi表示第i个灰度级像素出现的频率,ni表示第i个灰度级像素值,n表示所有的灰度级像素值之和,i=1,2,…,M;
(5)利用去除背景后戴矿灯矿工人脸图像的直方图,并根据类间最大距离方法设定区域分割的最佳阈值,然后运用全局阈值分割算法,对矿工人脸图像进行分割,从而完整分割定位出矿灯区域;
煤矿井下人脸区域检测阶段包括以下步骤:
(1)根据成人正面平视时的面孔五官比例“三庭五眼”说法,中国男子平均身高约为170cm,而身高与头的大致比例为6.75∶1,可以估算出一个男子头的长度大约为25cm左右,而人脸的长宽比例值在1.2∶1至1.8∶1的范围内,若按1.2∶1进行计算,可以得出人脸的宽度约为20cm左右;
(2)矿工人脸正面面对摄像仪时,根据煤矿井下矿灯图像的分析方法标定出的矿灯位置及尺寸,以上面得出的人脸的大致尺寸来定位人脸的检测区域;
(3)在图像中选取以矿灯圆心为对称点,本发明选取总宽具体为22厘米的位置处确定定位人脸矩形区域的宽度,再选取以矿灯下边沿至下方具体22cm位置处的区域作为定位人脸的矩形区域的高度,从而确定矿工的人脸定位区域的大小,以这个尺寸在图像中进行人脸的定位分割,即得到人脸分割窗口;
(4)若矿工人脸不是正面面对摄像仪时,即人脸平面与摄像仪具有一定的倾斜角度,在进行人脸的定位分割时,如果仍采用上面我们所选的定位区域尺寸,同样能够定位出人脸区域,但是存在一定的偏差,选取人脸的准确度会随着角度的增大而降低,而且角度越大,定位出的人脸区域比实际图像中人脸区域大得越多;
(5)当矿工人脸偏离摄像仪设定的角度时,根据头部的偏向角度来调整人脸定位区域的尺寸大小,进一步用人脸分割窗口的修正方法进行修正;
(6)根据以上运算得到的分割窗口对图像中的矿工人脸进行快速、准确的定位。
所述类间最大距离方法包括以下步骤:
(1)矿灯为前景图像,分离出的矿工图像除矿灯之外都是背景图像;
(2)由直方图可以得到:矿灯点数也就是前景点数占图像比例w0,平均灰度u0,背景点数占图像比例w1,平均灰度u1;
(3)图像的总平均灰度为:u=w0*u0-w1*u1;
(4)前景与背景图像的方差:g=w0*(u0-u)*(u0-u)-w1*(u1-u)*(u1-u)=w0*w1*(u0-u1)*(u0-u1);
(5)当方差g最大时,此时前景与背景图像差异最大,也就是此时的灰度是最佳阈值。
煤矿井下矿灯图像的分析方法包括以下步骤:
(1)选择分别从平视方向、俯视15°方向及俯视30°方向三种情况进行戴矿灯矿工人脸图像的采集;
(2)根据矿工正面脸部平面与成像平面的坐标关系,对所采集的带有俯视角度的摄像仪模型进行分析;
(3)通过分析得出,如果将摄像仪向下转动θy角度,则相当于将摄像仪坐标系绕YC轴转动了θy角,也即相当于将正面脸部平面绕YW轴旋转了θy角,因此,我们可以得到方向向量矩阵为:其坐标变换矩阵可表示为:
(4)由于在俯视或向左向右有一定偏向角度时,圆形物体会投影为椭圆形状,因此,将(3)中的坐标变换矩阵代入XWOWYw平面上圆的方程式xw 2+yw 2=r2,可以得到圆形物体在俯视时投影为椭圆形的方程为可以看出,在投影得到的椭圆形中,长轴半径等于圆的半径,短轴半径等于圆半径与平面间夹角的余弦的积;
(5)与俯视模型推导过程相似,将摄像仪向下转动θx角,相当于将摄像仪坐标系绕XC轴转动了θx角,也就相当于脸部平面绕XW轴旋转了θx角,可以得到方向向量矩阵为:其坐标变换矩阵可表示为
(6)将(5)中的坐标变换矩阵代入XWOWYw平面上圆的方程式xw 2+yw 2=r2,可以得到圆形物体在侧视时投影为椭圆形的方程为可以看出,在投影得到的椭圆形中,长轴半径等于圆的半径,短轴半径等于圆半径与平面间夹角的余弦的积;
(7)当摄像仪在XC轴和YC轴方向均有一定角度的转动时,就得将两个旋转变换矩阵进行相乘后方可得到摄像仪坐标系的旋转变换矩阵的转换方程可表示为
(8)如果不考虑焦距在方向上的差距和畸变,摄像仪内参数模型可表示为:p=kdr,式中:p表示图像中椭圆的长轴半径,r表示圆形物体的半径,kd表示放大系数,因此在图像分析中,只需测量出矿灯在图像投影后椭圆的长轴、短轴半径及长轴的方向,即可实时得出摄像仪的内外参数;
(9)根据从煤矿井下采集到的戴矿灯矿工人脸图像中分割出来的矿灯图像,找到该图像中待检测圆在上,下,左,右4个方向上的极点,并根据这四个极点的坐标,估算出图像中待检测圆的圆心,若得到的图像是圆投影后成像的椭圆,则根据这四个极点的坐标,可得到长轴半径p和短轴半径ps
(10)根据两个方程可得出ps=p cosθ,即头部偏转角度可表示为由方程p=kdr可得即可求得成像的放大倍数kd及摄像头的坐标XWOWYw平面与人脸平面的夹角θ的大小,r表示圆形矿灯的半径,p表示图像中测量得到的长轴半径,ps表示图像中测量得到的短轴半径;
(11)由于图像测量直接测到是圆或椭圆的长、短轴直径而非半径,若q和qs分别表示图像中测量出的椭圆长轴和短轴的长度,l表示矿灯头的半径,则可将分别变换为
(12)若已知物体的长度为M,该物体在图像中的像素数为m,则可将成像的放大倍数kd表示为:由此可得m=kdM;
所述人脸的定位分割方法包括以下步骤:
(1)根据矿灯位置、尺寸及人脸的大致尺寸,对煤矿井下采集的戴矿灯矿工图像进行具体的人脸定位分割;
(2)已知已知矿灯的直径为l=7cm,矿灯在图像中的像素数为q=27pixel,可以得到成像的放大倍数为
(3)根据已知截取的面部区域长为22cm,即M=22cm,由方程m=kdM可得矿灯在图像中的像素数m为:m=kdM=3.8571×22=84.8571;
(4)根据以上得出的数据,可以定位出矿灯的圆心坐标为(296,162),矿灯的下边缘坐标为(296,175),分别以坐标(252,175)(296,175)为对角取正方形的区域,即为正面人脸的定位区域。
所述人脸分割窗口的修正方法包括以下步骤:
(1)根据头部的偏转角度,即根据分割人脸平面与摄像仪XWOWYw平面具有的倾斜角度,来计算各参数变化;
(2)假设物体的长度已知,表示为m,其在图像中椭圆的短轴方向的像素数为ms,则有:ms=m cosθ,将代入ms=m cosθ得:
(3)根据头部的偏转角度θ、短轴方向的像素数ms和短轴长度qs三个参数的变化进行了人脸定位区域的调整;
(4)由于矿灯平面与人脸平面在ZC轴方向有约5cm的距离偏差,调整后定位的人脸区域仍存在一定的误差,考虑此因素的影响,对处理结果进行再修正,即在对煤矿井下人脸的图像进行分割时,对分割窗口进行平移来修正处理结果;
(5)若摄像头坐标XWOWYw平面与人脸平面的夹角为θ,则平移像素n可表示为:n=5kdsinθ;
(6)经过进一步的修正处理后,分割窗口能够随着脸部的转动角度进行调整,不仅对正面人脸能够快速、准确的定位,而且对头部有较大偏转角度的人脸也能快速、准确的定位。
所述图像减法运算方法具体为:
将两幅图像中的对应像素的值进行减法运算,若输入的两幅图像分别为A(x,y)和B(x,y),输出图像为C(x,y),则减法运算公式为C(x,y)=A(x,y)+B(x,y)。
所述全局阈值分割算法具体为:对矿工图像的每个像素采用一个固定的、单一的最佳阈值进行分割。
本发明的有益效果是,利用矿灯得出待检测矿工人脸的区域定位,能够有效克服井下光照条件差的影响。检测方法以矿灯进行区域标识可靠性强,识别率高,适应性强,为煤矿井下矿工唯一性检测提供了可靠的信息。
附图说明
下面结合附图和具体实施方式对本发明作进一步的详细描述。
图1是煤矿井下矿工人脸区域检测流程图;
图2是类间最大距离法求最佳阈值流程图;
图3是成人头部五官比例及大致尺寸示意图;
图4是煤矿井下矿灯图像的分析方法流程图;
图5是矿工正面脸部平面与成像平面的坐标关系示意图;
图6是煤矿井下人脸的定位分割流程图;
图7是煤矿井下人脸分割窗口的修正流程图;
具体实施方式
首先对煤矿井下矿工人脸区域检测的基本流程进行描述。参照图1,具体步骤如下,矿工人脸图像中矿灯的分割阶段:
(1)分别采集煤矿井下包含戴矿灯的矿工人脸图像和井下无人的背景环境图像,背景环境图像包括巷道内的照明灯等不变背景信息,图像中仅含有一个矿工,且矿灯所在图像中所占的区域大小基本维持不变,所有采集的图像将调整尺寸为220*220,格式为PNG;
(2)将井下无人的背景环境图像作为参考图像数据,与采集的戴矿灯矿工人脸图像进行图像减影法运算,即将两幅图像中的对应像素的值进行减法运算,若输入的两幅图像分别为A(x,y)和B(x,y),输出图像为C(x,y),则减法运算公式为C(x,y)=A(x,y)+B(x,y),分离出不变的背景区域后,确定煤矿井下人员在图像中所占的区域数据;
(3)将图像中有人的区域完整地从背景中分离出来,去除了原图像中相对固定的背景区域,根据确定的煤矿井下人员的位置区域还原图像,并将背景中的照明灯部分去除掉,去除图像中不变背景环境图像信息的干扰,得到了只有矿工没有背景信息的新图像;
(4)根据公式计算每个灰度级像素出现的频率,求出去除背景后戴矿灯矿工人脸图像的直方图,式中vi表示第i个灰度级像素出现的频率,ni表示第i个灰度级像素值,n表示所有的灰度级像素值之和,i=1,2,…,M;
(5)利用去除背景后戴矿灯矿工人脸图像的直方图,并根据类间最大距离方法设定区域分割的最佳阈值,然后运用全局阈值分割算法,即对矿工图像的每个像素采用一个固定的、单一的最佳阈值进行分割,从而完整分割定位出矿灯区域;
所述煤矿井下人脸区域检测阶段包括以下步骤:
(1)根据成人正面平视时的面孔五官比例“三庭五眼”说法,中国男子平均身高约为170cm,而身高与头的大致比例为6.75∶1,可以估算出一个男子头的长度大约为25cm左右,而人脸的长宽比例值在1.2∶1至1.8∶1的范围内,若按1.2∶1进行计算,可以得出人脸的宽度约为20cm左右,如图3所示;
(2)矿工人脸正面面对摄像仪时,根据煤矿井下矿灯图像的分析方法标定出的矿灯位置及尺寸,以上面得出的人脸的大致尺寸来定位人脸的检测区域;
(3)在图像中选取以矿灯圆心为对称点,本发明选取总宽为22厘米的位置处确定定位人脸矩形区域的宽度,再选取以矿灯下边沿至下方22cm位置处的区域作为定位人脸的矩形区域的高度,从而确定矿工的人脸定位区域的大小,并用人脸的定位分割方法以这个尺寸在图像中进行定位分割,即得到人脸分割窗口;
(4)若矿工人脸不是正面面对摄像仪时,即人脸平面与摄像机具有一定的倾斜角度,在进行人脸的定位分割时,如果仍采用上面我们所选的定位区域尺寸,同样能够定位出人脸区域,但是存在一定的偏差,选取人脸的准确度会随着角度的增大而降低,而且角度越大,定位出的人脸区域比实际图像中人脸区域大得越多;
(5)当矿工人脸偏离摄像仪设定的角度时,即根据头部的偏向角度来调整人脸定位区域的尺寸大小,进一步用人脸分割窗口的修正方法进行修正;
(6)根据以上运算得到的分割窗口对图像中的矿工人脸进行快速、准确的定位。
图2是类间最大距离法求最佳阈值的具体步骤:
(1)矿灯为前景图像,分离出的矿工图像除矿灯之外都是背景图像;
(2)由直方图可以得到:矿灯点数也就是前景点数占图像比例w0,平均灰度u0,背景点数占图像比例w1,平均灰度u1;
(3)图像的总平均灰度为:u=w0*u0+w1*u1;
(4)前景与背景图像的方差:g=w0*(u0-u)*(u0-u)+w1*(u1-u)*(u1-u)=w0*w1*(u0-u1)*(u0-u1);
(5)当方差g最大时,此时前景与背景图像差异最大,也就是此时的灰度是最佳阈值。
图4是煤矿井下矿灯图像分析的具体步骤:
(1)选择分别从平视方向、俯视15°方向及俯视30°方向三种情况进行戴矿灯矿工人脸图像的采集;
(2)根据矿工正面脸部平面与成像平面的坐标关系,如图5所示,对所采集的带有俯视角度的摄像仪模型进行分析;
(3)通过分析得出,如果将摄像仪向下转动θy角度,则相当于将摄像仪坐标系绕YC轴转动了θy角,也即相当于将正面脸部平面绕YW轴旋转了θy角,因此,我们可以得到方向向量矩阵为:其坐标变换矩阵可表示为:
(4)由于在俯视或向左向右有一定偏向角度时,圆形物体会投影为椭圆形状,因此,将(3)中的坐标变换矩阵代入XWOWYw平面上圆的方程式sw 2+yw 2=r2,可以得到圆形物体在俯视时投影为椭圆形的方程为可以看出,在投影得到的椭圆形中,长轴半径等于圆的半径,短轴半径等于圆半径与平面间夹角的余弦的积;
(5)与俯视模型推导过程相似,将摄像仪向下转动θx角,相当于将摄像仪坐标系绕XC轴转动了θx角,也就相当于脸部平面绕XW轴旋转了θx角,可以得到方向向量矩阵为:其坐标变换矩阵可表示为
(6)将(5)中的坐标变换矩阵代入XWOWYw平面上圆的方程式xw 2+yw 2=r2,可以得到圆形物体在侧视时投影为椭圆形的方程为可以看出,在投影得到的椭圆形中,长轴半径等于圆的半径,短轴半径等于圆半径与平面间夹角的余弦的积;
(7)当摄像仪在XC轴和YC轴方向均有一定角度的转动时,就得将两个旋转变换矩阵进行相乘后方可得到摄像仪坐标系的旋转变换矩阵的转换方程可表示为
(8)如果不考虑焦距在方向上的差距和畸变,摄像仪内参数模型可表示为:p=kdr,式中:p表示图像中椭圆的长轴半径,r表示圆形物体的半径,kd表示放大系数,因此在图像分析中,只需测量出矿灯在图像投影后椭圆的长轴、短轴半径及长轴的方向,即可实时得出摄像仪的内外参数;
(9)根据从煤矿井下采集到的戴矿灯矿工人脸图像中分割出来的矿灯图像,找到该图像中待检测圆在上,下,左,右4个方向上的极点,并根据这四个极点的坐标,估算出图像中待检测圆的圆心,若得到的图像是圆投影后成像的椭圆,则根据这四个极点的坐标,可得到长轴半径p和短轴半径ps
(10)根据两个方程可得出ps=p cosθ,即头部偏转角度可表示为由方程p=kdr可得即可求得成像的放大倍数kd及摄像头的坐标XWOWYw平面与人脸平面的夹角θ的大小,r表示圆形矿灯的半径,p表示图像中测量得到的长轴半径,ps表示图像中测量得到的短轴半径;
(11)由于图像测量直接测到是圆或椭圆的长、短轴直径而非半径,若q和qs分别表示图像中测量出的椭圆长轴和短轴的长度,l表示矿灯头的半径,则可将分别变换为
(12)若已知物体的长度为M,该物体在图像中的像素数为m,则可将成像的放大倍数kd表示为:由此可得m=kdM。
图6是煤矿井下人脸的定位分割的具体步骤:
(1)根据矿灯位置、尺寸及人脸的大致尺寸,对煤矿井下采集的戴矿灯矿工图像进行具体的人脸定位分割;
(2)已知已知矿灯的直径为l=7cm,矿灯在图像中的像素数为q=27pixel,可以得到成像的放大倍数为
(3)根据已知截取的面部区域长为22cm,即M=22cm,由方程m=kdM可得矿灯在图像中的像素数m为:m=kdM=3.8571×22=84.8571;
(4)根据以上得出的数据,可以定位出矿灯的圆心坐标为(296,162),矿灯的下边缘坐标为(296,175),分别以坐标(252,175)(296,175)为对角取正方形的区域,即为正面人脸的定位区域。
图7是煤矿井下人脸分割窗口的修正的具体步骤:
(1)根据头部的偏转角度,即根据分割人脸平面与摄像仪XWOWYw平面具有的倾斜角度,来计算各参数变化;
(2)假设物体的长度已知,表示为m,其在图像中椭圆的短轴方向的像素数为ms,则有:ms=m cosθ,将代入ms=m cosθ得:
(3)根据头部的偏转角度θ、短轴方向的像素数ms和短轴长度qs三个参数的变化进行了人脸定位区域的调整;
(4)由于矿灯平面与人脸平面在ZC轴方向有约5cm的距离偏差,调整后定位的人脸区域仍存在一定的误差,考虑此因素的影响,对处理结果进行再修正,即在对煤矿井下人脸的图像进行分割时,对分割窗口进行平移来修正处理结果;
(5)若摄像头坐标XWOWYw平面与人脸平面的夹角为θ,则平移像素n可表示为:n=5kdsinθ;
(6)经过进一步的修正处理后,分割窗口能够随着脸部的转动角度进行调整,不仅对正面人脸能够快速、准确的定位,而且对头部有较大偏转角度的人脸也能快速、准确的定位。

Claims (7)

1.一种煤矿井下矿工人脸区域检测方法,其特征在于,包括矿工人脸图像中矿灯的分割阶段以及人脸区域检测阶段,所述矿工人脸图像中矿灯的分割阶段包括以下步骤:
(1)分别采集煤矿井下包含戴矿灯的矿工人脸图像和井下无人的背景环境图像,背景环境图像包括巷道内的照明灯的不变背景信息,采集的图像要求统一尺寸及格式;
(2)将井下无人的背景环境图像作为参考图像数据,与采集的戴矿灯矿工人脸图像进行图像减法运算,分离出不变的背景区域后,确定煤矿井下人员在图像中所占的区域数据;
(3)将图像中有人的区域完整地从背景中分离出来,去除了原图像中相对固定的背景区域,根据确定的煤矿井下人员的位置区域还原图像,并将背景中的照明灯部分去除掉,去除图像中不变背景环境图像信息的干扰,得到了去除背景后戴矿灯矿工人脸图像;
(4)根据公式计算每个灰度级像素出现的频率,求出去除背景后戴矿灯矿工人脸图像的直方图,式中vi表示第i个灰度级像素出现的频率,ni表示第i个灰度级像素值,n表示所有的灰度级像素值之和,i=1,2,...,M,M为整数,表示像素点的个数;
(5)利用去除背景后戴矿灯矿工人脸图像的直方图,并根据类间最大距离方法设定区域分割的最佳阈值,然后运用全局阈值分割算法,对矿工人脸图像进行分割,从而完整分割定位出矿灯区域;
所述人脸区域检测阶段包括以下步骤:
(1)矿工人脸正面面对摄像仪时,根据煤矿井下矿灯图像的分析方法标定出的矿灯位置及尺寸,以人脸的大致尺寸来定位人脸的检测区域;
(2)在图像中选取以矿灯圆心为对称点,取总宽为22厘米-24厘米的位置处确定定位人脸矩形区域的宽度,再选取以矿灯下边沿至下方22厘米-24厘米位置处的区域作为定位人脸的矩形区域的高度,从而确定矿工的人脸定位区域的大小,并用人脸的定位分割方法以这个尺寸在图像中进行定位分割,即得到人脸分割窗口;
(3)当矿工人脸偏离摄像仪设定的角度时,根据头部的偏向角度来调整人脸定位区域的尺寸大小,进一步用人脸分割窗口的修正方法进行修正;
(4)根据以上运算得到的分割窗口对图像中的矿工人脸进行快速、准确的定位。
2.根据权利要求1所述的一种煤矿井下矿工人脸区域检测方法,其特征在于,所述类间最大距离方法包括以下步骤:
(1)矿灯为前景图像,分离出的矿工图像除矿灯之外都是背景图像;
(2)由直方图可以得到:矿灯点数也就是前景点数占图像比例w0,平均灰度u0,背景点数占图像比例w1,平均灰度u1;
(3)图像的总平均灰度为:u=w0u0+w1u1
(4)前景与背景图像的方差:g=w0(u0-u)2+w1(u1-u)2
(5)当方差g最大时,此时前景与背景图像差异最大,也就是此时的灰度是最佳阈值。
3.根据权利要求1所述的一种煤矿井下矿工人脸区域检测方法,其特征在于,所述煤矿井下矿灯图像的分析方法包括以下步骤:
(1)选择分别从平视方向、俯视15°方向及俯视30°方向三种情况进行戴矿灯矿工人脸图像的采集;
(2)根据矿工正面脸部平面与成像平面的坐标关系,对所采集的带有俯视角度的摄像仪模型进行分析;
(3)通过分析得出,如果将摄像仪向下转动θy角度,则相当于将摄像仪坐标系绕YC轴转动了θy角,也即相当于将正面脸部平面绕YW轴旋转了θy角,因此,得到方向向量矩阵为:
其坐标变换矩阵表示为:
由于在俯视或向左向右有一定偏向角度时,圆形物体会投影为椭圆形状,上述坐标变换 矩阵中的p表示所述椭圆的长轴半径;
(4)将(3)中的坐标变换矩阵代入XWOWYw平面上圆的方程式xw 2+yw 2=r2,得到圆形物体在俯视时投影为椭圆形的方程为可以看出,在投影得到的椭圆形中,长轴半径等于圆的半径,短轴半径等于圆半径与平面间夹角的余弦的积;
(5)与俯视模型推导过程相似,将摄像仪向下转动θx角,相当于将摄像仪坐标系绕XC轴转动了θx角,也就相当于脸部平面绕XW轴旋转了θx角,得到方向向量矩阵为:
其坐标变换矩阵表示为
(6)将(5)中的坐标变换矩阵代入XWOWYw平面上圆的方程式xw 2+yw 2=r2,可以得到圆形物体在侧视时投影为椭圆形的方程为可以看出,在投影得到的椭圆形中,长轴半径等于圆的半径,短轴半径等于圆半径与平面间夹角的余弦的积;
(7)当摄像仪在XC轴和YC轴方向均有一定角度的转动时,需要将两个旋转变换矩阵进行相乘后方可得到摄像仪坐标系的旋转变换矩阵的转换方程表示为
(8)如果不考虑焦距在方向上的差距和畸变,摄像仪内参数模型表示为:p=kdr,式中:p表示图像中椭圆的长轴半径,r表示圆形物体的半径,kd表示放大系数,因此在图像分析中,只需测量出矿灯在图像投影后椭圆的长轴、短轴半径及长轴的方向,即可实时得出摄像仪的内外参数;
(9)根据从煤矿井下采集到的戴矿灯矿工人脸图像中分割出来的矿灯图像,找到该图像中待检测圆在上,下,左,右4个方向上的极点,并根据这四个极点的坐标,估算出图像中待检测圆的圆心,若得到的图像是圆投影后成像的椭圆,则根据这四个极点的坐标,可得到长轴半径p和短轴半径ps
(10)根据两个方程可得出ps=p cosθ,即头部偏转角度可表示为由方程p=kdr可得即可求得成像的放大倍数kd及摄像头的坐标XWOWYw平面与人脸平面的夹角θ的大小,r表示圆形矿灯的半径,p表示图像中测量得到的长轴半径,ps表示图像中测量得到的短轴半径;
(11)由于图像测量直接测到是圆或椭圆的长、短轴直径而非半径,若q和qs分别表示图像中测量出的椭圆长轴和短轴的长度,l表示矿灯头的半径,则可将分别变换为
(12)若已知物体的长度为M,该物体在图像中的像素数为m,则可将成像的放大倍数kd表示为:由此可得m=kdM。
4.根据权利要求1所述的一种煤矿井下矿工人脸区域检测方法,其特征在于,所述人脸的定位分割方法包括以下步骤:
(1)根据矿灯位置、尺寸及人脸的大致尺寸,对煤矿井下采集的戴矿灯矿工图像进行具体的人脸定位分割;
(2)已知矿灯的直径为l=7cm,矿灯在图像中的像素数为q=27pixel,可以得到成像的放大倍数为
(3)根据已知截取的面部区域长为22cm,即M=22cm,由方程m=kdM可得矿灯在图像中的像素数m为:m=kdM=3.8571×22=84.8571;
(4)根据以上得出的数据,可以定位出矿灯的圆心坐标为(296,162),矿灯的下边缘坐标为(296,175),分别以坐标(252,175)(296,175)为对角取正方形的区域,即为正面人脸的定位区域。
5.根据权利要求1所述的一种煤矿井下矿工人脸区域检测方法,其特征在于,所述人脸分割窗口的修正方法包括以下步骤:
(1)根据头部的偏转角度,即根据分割人脸平面与摄像仪XWOWYw平面具有的倾斜角度,来计算各参数变化;
(2)假设物体的长度已知,表示为m,其在图像中椭圆的短轴方向的像素数为ms,则有:ms=m cosθ,将代入ms=m cosθ得:
(3)根据头部的偏转角度θ、短轴方向的像素数ms和短轴长度qs三个参数的变化进行了人脸定位区域的调整;
(4)由于矿灯平面与人脸平面在ZC轴方向有约5cm的距离偏差,调整后定位的人脸区域仍存在一定的误差,考虑此因素的影响,对处理结果进行再修正,即在对煤矿井下人脸的图像进行分割时,对分割窗口进行平移来修正处理结果;
(5)若摄像头坐标XWOWYw平面与人脸平面的夹角为θ,则平移像素n表示为:n=5kdsinθ;
(6)经过进一步的修正处理后,分割窗口能够随着脸部的转动角度进行调整,不仅对正面人脸能够快速、准确的定位,而且对头部有较大偏转角度的人脸也能快速、准确的定位。
6.根据权利要求1所述的一种煤矿井下矿工人脸区域检测方法,其特征在于,所述图像减法运算方法具体为:
将两幅图像中的对应像素的值进行减法运算,若输入的两幅图像分别为A(x,y)和B(x,y),输出图像为c(x,y),则减法运算公式为c(x,y)=A(x,y)-B(x,y)。
7.根据权利要求1所述的一种煤矿井下矿工人脸区域检测方法,其特征在于,所述全局阈值分割算法具体为:对矿工图像的每个像素采用一个固定的、单一的最佳阈值进行分割。
CN201510094620.0A 2015-03-04 2015-03-04 一种煤矿井下矿工人脸区域检测方法 Expired - Fee Related CN104657719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510094620.0A CN104657719B (zh) 2015-03-04 2015-03-04 一种煤矿井下矿工人脸区域检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510094620.0A CN104657719B (zh) 2015-03-04 2015-03-04 一种煤矿井下矿工人脸区域检测方法

Publications (2)

Publication Number Publication Date
CN104657719A CN104657719A (zh) 2015-05-27
CN104657719B true CN104657719B (zh) 2017-10-27

Family

ID=53248820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510094620.0A Expired - Fee Related CN104657719B (zh) 2015-03-04 2015-03-04 一种煤矿井下矿工人脸区域检测方法

Country Status (1)

Country Link
CN (1) CN104657719B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479441A (zh) * 2017-08-22 2017-12-15 武汉理工大学 煤矿生产安全智能管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246883A (zh) * 2013-05-20 2013-08-14 中国矿业大学(北京) 一种煤矿井下热红外图像人脸识别方法
EP2518661A3 (en) * 2011-04-29 2015-02-11 Tata Consultancy Services Limited System and method for human detection and counting using background modeling, hog and haar features

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2518661A3 (en) * 2011-04-29 2015-02-11 Tata Consultancy Services Limited System and method for human detection and counting using background modeling, hog and haar features
CN103246883A (zh) * 2013-05-20 2013-08-14 中国矿业大学(北京) 一种煤矿井下热红外图像人脸识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Human Face Detection in Color Images Using HSV Color Histogram and WLD";Jayanti Das et al.;《2014 International Conference on Computational Intelligence and Communication Networks》;20141116;全文 *
"复杂光照下的自适应人脸图像增强";王小明 等;《计算机工程与应用》;20110627;第47卷(第2期);全文 *
"有限空间低照度低分辨率图像中人脸检测";孙继平 等;《中国矿业大学学报》;20080531;第37卷(第3期);全文 *

Also Published As

Publication number Publication date
CN104657719A (zh) 2015-05-27

Similar Documents

Publication Publication Date Title
Zhou et al. LIDAR and vision-based real-time traffic sign detection and recognition algorithm for intelligent vehicle
Gu et al. Feature points extraction from faces
CN106446926A (zh) 一种基于视频分析的变电站工人安全帽佩戴检测方法
CN108985170A (zh) 基于三帧差分法及深度学习的输电线路悬挂物识别方法
CN103810491B (zh) 融合深度和灰度图像特征点的头姿估计兴趣点检测方法
Rasouli et al. The effect of color space selection on detectability and discriminability of colored objects
CN106682641A (zh) 基于fhog‑lbph特征的图像行人识别方法
Torabi et al. Local self-similarity-based registration of human ROIs in pairs of stereo thermal-visible videos
CN107909604A (zh) 基于双目视觉的动态物体运动轨迹识别方法
CN106886216A (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN102542289A (zh) 一种基于多高斯计数模型的人流量统计方法
CN105205455A (zh) 一种移动平台上人脸识别的活体检测方法及系统
CN102521565A (zh) 低分辨率视频的服装识别方法及系统
WO2009123354A1 (en) Method, apparatus, and program for detecting object
CN104700092A (zh) 一种基于模板和特征匹配相结合的小字符数字识别方法
CN104268853A (zh) 一种红外图像与可见光图像配准方法
CN103310194A (zh) 视频中基于头顶像素点梯度方向的行人头肩部检测方法
CN112381870B (zh) 一种基于双目视觉的船舶识别与航速测量系统及方法
CN104616006A (zh) 一种面向监控视频的胡须人脸检测方法
CN107491767B (zh) 端到端的无约束人脸关键点检测方法
CN110222661B (zh) 一种用于运动目标识别及跟踪的特征提取方法
CN110443247A (zh) 一种无人机地面运动小目标实时检测系统及方法
CN109359577A (zh) 一种基于机器学习的复杂背景下人数检测系统
CN107862675A (zh) 一种用于电铲斗齿缺失的实时视觉检测方法
CN105242568A (zh) 基于数字图像处理的烟叶精确剔除控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171027

Termination date: 20210304