CN104915641B - 基于android平台获取人脸图像光源方位的方法 - Google Patents

基于android平台获取人脸图像光源方位的方法 Download PDF

Info

Publication number
CN104915641B
CN104915641B CN201510276249.XA CN201510276249A CN104915641B CN 104915641 B CN104915641 B CN 104915641B CN 201510276249 A CN201510276249 A CN 201510276249A CN 104915641 B CN104915641 B CN 104915641B
Authority
CN
China
Prior art keywords
image
information
light source
value
subgraph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510276249.XA
Other languages
English (en)
Other versions
CN104915641A (zh
Inventor
杨蕊
徐成文
夏立
盛斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201510276249.XA priority Critical patent/CN104915641B/zh
Publication of CN104915641A publication Critical patent/CN104915641A/zh
Application granted granted Critical
Publication of CN104915641B publication Critical patent/CN104915641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于安卓平台获取人脸图像光源方位的方法：对数据库中的图像进行预处理，得到去除人脸信息的二值化图像；对该图像分割并将子图像素灰度值结合图像光源信息组成训练集；对训练集进行libsvm训练后可用于检测其他图像中的光源方位。本发明易便捷嵌入到现有的像素域算法框架中，所得模型基本可保证误差小于+/‐5°。

Description

基于android平台获取人脸图像光源方位的方法
技术领域
本发明涉及的是一种图像处理领域的技术，具体是一种基于android平台获取人脸图像光源方位的方法。
背景技术
手机拍照在我们日常生活中有广泛的应用，但是一个很常见的问题是有的时候因为环境光线的原因，所拍摄的照片会出现黑脸，阴阳脸等情况，如果能够在拍摄过程中根据人脸图像信息实时得到拍摄时的光源方位信息，这样就可以对拍摄者提出相应的建议，有助于拍摄出更加理想的照片。这正是本发明的应用意义所在。
现有的人脸识别的获取光照方位的方法有很多，譬如最早由Riklin-Raviv提出的商图像方法，类似的又有研究者提出自赏图像处理光照等方法。若系统中采用了人脸三维模型，那么模拟光线的更好的方法是根据光线条件用Phong光照模拟图像的光照。这种方法处理光线非常灵活，并能用于特定光照环境的图像识别与跟踪系统。孙雪梅等人提出基于分叉树和SVM的方法估计人脸图像光照方向，将光照方向按水平和垂直转角分为一系列角度空间作为目标分类对输入图像光照分类，分类准确率达到89.16％。然而这些方法大多都是基于PC平台，算法复杂性较高，很难实现实时判断并且运行时占用资源较多，无法应用到手机软件中。随着android平台的飞速发展，android用户越来越多，有必要产生一种更加适合android平台的求取人脸图像光源方位的方法。
发明内容
本发明针对现有技术存在的上述不足，提出一种基于android平台获取人脸图像光源方位的方法，利用每一张预处理后的人脸图像与图像的光源方位存在一种近似的一一对应关系，通过分类学习的方法，对每一个光源方位角度的图像都获取一副与之对应的预处理图像，这样将一副新的预处理图像输入模型时就可以得到相对应的光源方位信息。本发明中的算法包含多次信息压缩和提取，可以从像素域中直接计算得到，从而方便地嵌入到现有的大多数像素域算法框架中。
本发明是通过以下技术方案实现的：
本发明涉及一种基于android平台获取人脸图像光源方位的方法，通过对图像数据库中的图像进行预处理，得到去除人脸部分的光照信息二值化图像，进而对光照信息二值化图像分割并获得每个子图像的像素灰度值之和作为特征值，与图像光源方位信息的标签一同作为训练集，在android平台上采用训练集对libsvm进行训练并得到训练后的模型文件并用于检测人脸图像中的光源方位。
所述的图像数据库中包括含有人脸部分的图像以及该图像拍摄时的光源方位信息。
所述的预处理优选通过降维的方式进行优化，将三维光线方向与二维图片阴影区域进行对应，以便对每一张照片进行去信息化处理，最后经调整得到二值化图像。
本发明涉及一种实现上述方法的系统，包括：依次连接的预处理模块、分割模块、特征提取模块以及检测判断模块，其中：预处理模块接收原始图像信息，并输出处理后图像信息至分割模块，分割模块接收处理后图像信息，并输出分割后各个子图像信息至特征提取模块，特征提取模块接收子图像信息，并输出子图像灰度值信息至检测判断模块，检测判断模块经预测算法检测输出光源方位信息。
技术效果
与现有技术相比，本发明本发明就是基于android平台通过机器学习的方法实现了一个可以判断人脸图像光源方位的方法，考虑到android平台的性能问题，故本发明时间复杂性较低，可以做到实时获取光源方位；可以与现有的照相机软件进行整合，兼容性高。
附图说明
图1是本发明方法的流程图。
图2是本发明数据库与地平面平行方向数据区域分布。
图3是本发明方法中对人脸图像预处理的示意图。
图4是本发明方法中算法分块示意图。
图5是本发明方法的获取特征值的示意图。
图6是本发明实施例效果示意图；
图中：(a)实际光源方向：水平：3.3，竖直：33.0；(b)预测光源方向：水平：3.0，竖直：33.0；(c)实际光源方向：水平：-46.7，竖直：33.0；(d)预测光源方向：水平：-47.0，竖直：33.0；(e)实际光源方向：水平：84.8，竖直：33.0；(f)预测光源方向：水平：85.0，竖直：33.0。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
如图1所示，本实施例包括以下步骤：
第一步、建立一个通用的图像数据库，该数据库包括人脸图像，和拍摄照片时的光源方位信息。
所述的图像数据库优选包含不同年龄、不同性别、不同脸型、不同肤色的人在不同光源方位下所拍摄的人脸图像的图像库。
所述的数据库水平数据区域分布如图2所示，其中：相邻且颜色相同的区域视为同一区域，每一个区域内所收集照片数量大致相同。区域分割原因如下：在拍照过程中，当被拍照者正面面对光源或面向方向与光线方向向量夹角较小，是人们可以接受的拍摄角度。同样，当人们背光时，也会有类似的问题，在一定区域内，人脸均是无法看清的，这种情况我们也合并在一起。在人脸面向方向与光线方向夹角接近90°时，是比较需要详细分辨的角度，所以在这一部分需要拍摄较多的照片作为数据。
除此之外，在拍摄照片同时，我们也需要收集对应图像的光源方位信息，我们采用球坐标方式来记录数据，核心参数为水平方向的方位角θ和竖直方向的仰角光线的水平方向的方位角、竖直方向的仰角可以根据拍摄时的时间，经度，纬度通过地理学的知识求出，公式如下：
太阳高度角：
太阳方位角
其中：hs为太阳高度角，As为太阳方位角，为太阳纬度，δ为太阳赤纬，Ω为太阳时角。其中：太阳时角计算公式为：Ω＝(TT-12)*5其中：当TT为真太阳时，TT＝S+F/60+LC/60+Eq/60，其中LC为经度订正：LC＝4*(D-120)，Eq＝0.0028-1.9857sinθ+9.9059sin2θ-7.092cosθ-0.6882cos2θ。
以上公其中：S、F分别是观测时的时值和分值，θ为日角。
拍照者水平方向的方位角可以根据正对人脸拍摄时相机内陀螺仪的方位获得。
由于陀螺仪的不稳定性，我们同时采用图形方法进行验证。
第二步、对所得到的人脸图像数据库进行预处理，增强局部信息特征，得到一幅不含人脸信息(或人脸信息很少)，仅包含光照信息的二值化图像。
如图3所示，所述的预处理是指：首先在图像中抓取人脸，并将图像灰度化，再分别使用直方图均衡化HE(Histogram Equalization)和BHE(Block-based HistogramEqualization)算法取得处理后信息图，比较两信息图的差别，并将差值进行二值化处理，最后根据二值化的图像进行处理，可以获得有关光照方向的信息。
下面对每个阶段进行详细解释：
2.1)首先，我们在图像中识别出人脸区域，再读取眼睛和嘴唇位置确定截取图像的详细范围；截取特定范围内信息以保证数据的规范化(即尽量排除头发、脸型等方面的干扰)，并将此部分图片储存，作为后续处理的基本图像信息。此外，由于光照的方向与像素点中色彩的饱和度、色域信息关联相对较小，我们将图片进行灰度处理，使得每个像素点仅保留一个0-255的灰度信息以便后续处理。
2.2)然后，我们采用直方图均衡化对图像的整体光线强度进行调整，记录每一个像素点颜色数据，记为图像一。
2.3)下面，我们采用BHE算法，以得到一张去光照信息的人脸图：
2.3.1)将脸部图像分块，各块之间相互交叠重合各自的一半区域，区域划分表示如图4所示；
2.3.2)各块分别进行直方图均衡化，并根据块内各点位置计算权值信息，进行边界融合，以期得到平滑的整体图像。具体可由下式表示：
其中：fi(x,y)和f(x,y)分别是第i个块中(x,y)点以及平滑图像中(x,y)的灰度值，N是涉及计算该部分像素点的参与重叠的块的数量，ωi(x,y)，i＝1,2,3....,N，中储存的是关于块i的权值信息。根据图像块位置的不同，N的值也不同，当块不在边界的时候，N的取值为4，当块位于边界上且非角落位置的时候，N的取值为2，当块位于角落时，N的取值为1。ωi(x,y)的取值是根据像素点在重叠区域的位置进行计算，计算规则依照下列公式：
其中：SB是块的长度。
由此，我们可以最终得到经过BHE算法处理的平滑图像，记为图像二。
2.4)对图像一和图像二取差值，并根据下面公式进行二值化处理：
其中：B(x,y)为二值化后位于(x,y)点的色彩信息，f(x,y)为差值图像中位于(x,y)点的信息，α为平均灰度值。
至此，我们可以得到一幅基本仅具有光线信息，不包含(或基本不包含)人脸信息的光线表示图。
第三步、对上述处理后的图像进行分割，求取每一子图像的灰度情况之和作为特征值，加上图像光源方位信息的标签作为训练集，在android平台上应用libsvm进行训练，得到训练后的模型文件。
所述的分割是指：将预处理的图像按照像素大小划分成很多小的子图，划分示意图如图3所示，可以选取每20*20像素为一个子图，进行划分。
所述的灰度情况之和是指：经过划分后的每一个子图中的二值化情况不同，为了用数字来表示出二值化情况的不同，采用累加的方式，每当遇到一个灰度值为0的图像加一，若所划分的像素块为20*20，则这里的灰度变化范围即为：0～400。
所述的训练集是指：机器学习中是以标签加特征值的数据格式进行学习，训练集中每一个标签对应至少一个特征值。
所述的标签表示的是光源方位信息的两个角度；
所述的特征值表示的是之前划分的子图的灰度情况之和，根据划分的情况层序遍历所有的子图，根据顺序对每个子图进行从小到大的编号，记录编号和特征值。
所述的libsvm是指：台湾大学林智仁(Lin Chih-Jen)教授等开发设计的一个简单、易于使用和快速有效的SVM模式识别与回归的软件包。其中有为android平台编写的开源代码以供使用，其网址为：www.csie.ntu.edu.tw/～cjlin/
其中有train函数，将待处理的数据写入文件中，使用这个函数，既可以得到训练后的模型文件。
第四步、对上述得到的机器学习的模型进行检验，输入待测图像，得到其光源方位，进行误差分析。
实施效果
选择数据库中未被挑选作为训练样本的人脸图像，经过之前所述的预处理等过程，得到特征值列表，应用训练得到的模型进行学习，得到预测的人脸图像的光源方位信息，与实际测量得到的人脸光源方位信息进行对比，即可得到结果误差。
我们对训练后得到的模型选择了20张照片进行检验，得到结果如下：
误差+/-5°之内：95％
误差+/-10°之内：100％
由此得出结论：所训练的模型基本可以保证结果误差不超过+/-5°之内。

Claims (7)

1.一种基于android平台获取人脸图像光源方位的方法，通过对图像数据库中的图像进行预处理，得到去除人脸部分的光照信息二值化图像，进而对光照信息二值化图像分割并获得每个子图像的像素灰度值之和作为特征值，与图像光源方位信息的标签一同作为训练集，在android平台上采用训练集对libsvm进行训练并得到训练后的模型文件并用于检测人脸图像中的光源方位；
所述的预处理具体包括以下步骤：
2.1)在图像数据库中的图像中识别出人脸区域，读取眼睛和嘴唇位置确定截取图像的详细范围；截取并保存详细范围内的信息；然后将图像进行灰度处理，使得每个像素点仅保留一个0-255的灰度值；
2.2)采用直方图均衡化对图像的整体光线强度进行调整，记录每一个像素点颜色数据，记为图像一；
2.3)采用BHE算法得到去光照信息的平滑图像，记为图像二；
2.4)对图像一和图像二取差值后进行二值化处理，得到去除人脸部分的光照信息二值化图像；
所述的去光照信息的平滑图像通过以下方式得到：
2.3.1)将脸部图像分块，各块之间相互交叠重合各自的一半区域；
2.3.2)各块分别进行直方图均衡化，并根据块内各点位置计算权值信息，进行边界融合，以期得到平滑的整体图像，具体表示为：其中：fi(x，y)和f(x，y)分别是第i个块中(x，y)点以及平滑图像中(x，y)的灰度值，N是涉及计算该部分像素点的参与重叠的块的数量，ωi(x，y)，i＝1，2，3....，N，中储存的是关于块i的权值信息，ω(x，y)＝ω′(x)×ω′(y)，其中：SB是块的长度。
2.根据权利要求1所述的方法，其特征是，所述的图像数据库中包括含有人脸部分的图像以及该图像拍摄时的光源方位信息。
3.根据权利要求1所述的方法，其特征是，所述的二值化处理是指，对图像一和图像二取差值后计算：
其中：B(x，y)为二值化后位于(x，y)点的色彩信息，f(x，y)为差值图像中位于(x，y)点的信息，α为平均灰度值。
4.根据权利要求1所述的方法，其特征是，所述的特征值是指：经过划分后的每一个子图中的二值化情况不同，为了用数字来表示出二值化情况的不同，采用累加的方式，每当遇到一个灰度值为0的图像加一。
5.根据权利要求1所述的方法，其特征是，所述的训练集中，机器学习中是以标签加特征值的数据格式进行学习，每一个标签对应至少一个特征值；标签表示的是光源方位信息的两个角度，特征值表示的是之前划分的子图的灰度情况之和，根据划分的情况层序遍历所有的子图，根据顺序对每个子图进行从小到大的编号，记录编号和特征值。
6.根据权利要求1所述的方法，其特征是，所述的检测人脸图像是指：将待检测图像经所述的预处理、分割和生成训练集，得到特征值列表，应用训练得到的模型进行学习，得到预测的人脸图像的光源方位信息，与实际测量得到的人脸光源方位信息进行对比，即可得到结果误差。
7.一种实现上述任一权利要求所述方法的系统，其特征在于，包括：依次连接的预处理模块、分割模块、特征提取模块以及检测判断模块，其中：预处理模块接收原始图像信息，并输出处理后图像信息至分割模块，分割模块接收处理后图像信息，并输出分割后各个子图像信息至特征提取模块，特征提取模块接收子图像信息，并输出子图像灰度值信息至检测判断模块，检测判断模块经预测算法检测输出光源方位信息。
CN201510276249.XA 2015-05-27 2015-05-27 基于android平台获取人脸图像光源方位的方法 Active CN104915641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510276249.XA CN104915641B (zh) 2015-05-27 2015-05-27 基于android平台获取人脸图像光源方位的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510276249.XA CN104915641B (zh) 2015-05-27 2015-05-27 基于android平台获取人脸图像光源方位的方法

Publications (2)

Publication Number Publication Date
CN104915641A CN104915641A (zh) 2015-09-16
CN104915641B true CN104915641B (zh) 2018-02-02

Family

ID=54084693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510276249.XA Active CN104915641B (zh) 2015-05-27 2015-05-27 基于android平台获取人脸图像光源方位的方法

Country Status (1)

Country Link
CN (1) CN104915641B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488475B (zh) * 2015-11-30 2019-10-15 西安闻泰电子科技有限公司 手机中人脸检测方法
WO2020019131A1 (zh) * 2018-07-23 2020-01-30 太平洋未来科技（深圳）有限公司 光线信息的确定方法、装置及电子设备
CN111382618B (zh) 2018-12-28 2021-02-05 广州市百果园信息技术有限公司 一种人脸图像的光照检测方法、装置、设备和存储介质
CN110647865B (zh) * 2019-09-30 2023-08-08 腾讯科技（深圳）有限公司 人脸姿态的识别方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682276A (zh) * 2011-12-20 2012-09-19 河南科技大学 一种光照变化条件下的人脸识别方法及基图像合成方法
CN104143081A (zh) * 2014-07-07 2014-11-12 闻泰通讯股份有限公司 基于嘴部特征的笑脸识别系统及方法
CN104484669A (zh) * 2014-11-24 2015-04-01 苏州福丰科技有限公司 基于三维人脸识别的手机支付方法
CN104537363A (zh) * 2015-01-22 2015-04-22 哈尔滨工业大学 基于视觉检测系统的橱柜调节脚全自动装配控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682276A (zh) * 2011-12-20 2012-09-19 河南科技大学 一种光照变化条件下的人脸识别方法及基图像合成方法
CN104143081A (zh) * 2014-07-07 2014-11-12 闻泰通讯股份有限公司 基于嘴部特征的笑脸识别系统及方法
CN104484669A (zh) * 2014-11-24 2015-04-01 苏州福丰科技有限公司 基于三维人脸识别的手机支付方法
CN104537363A (zh) * 2015-01-22 2015-04-22 哈尔滨工业大学 基于视觉检测系统的橱柜调节脚全自动装配控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于分叉树和SVM的人脸图像光照方向估计;孙雪梅 等;《中国国象图形学报》;20071015;第12卷(第10期);第1885-1888页 *
经典光照模型实现人脸图像光照方向准确估计;陈晓钢 等;《计算机工程与应用》;20090411;第45卷(第11期);第203-205页 *

Also Published As

Publication number Publication date
CN104915641A (zh) 2015-09-16

Similar Documents

Publication Publication Date Title
Zou et al. A robust license plate recognition model based on bi-lstm
CN109684925B (zh) 一种基于深度图像的人脸活体检测方法及设备
CN105740780B (zh) 人脸活体检测的方法和装置
CN109492627B (zh) 一种基于全卷积网络的深度模型的场景文本擦除方法
CN110689000B (zh) 一种基于生成复杂环境下车牌样本的车辆车牌识别方法
CN104915641B (zh) 基于android平台获取人脸图像光源方位的方法
CN104809481A (zh) 一种基于自适应色彩聚类的自然场景文本检测的方法
CN105989331A (zh) 脸部特征提取装置、脸部特征提取方法、图像处理设备和图像处理方法
CN110188835A (zh) 基于生成式对抗网络模型的数据增强行人再识别方法
CN114998934B (zh) 基于多模态智能感知和融合的换衣行人重识别和检索方法
CN111401192B (zh) 基于人工智能的模型训练方法和相关装置
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
CN114758362B (zh) 基于语义感知注意力和视觉屏蔽的换衣行人重识别方法
CN104463240B (zh) 一种仪表定位方法及装置
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
CN107038400A (zh) 人脸识别装置及方法和利用其的目标人跟踪装置及方法
CN105488541A (zh) 增强现实系统中基于机器学习的自然特征点识别方法
WO2023165616A1 (zh) 图像模型隐蔽后门的检测方法及系统、存储介质、终端
CN109522807A (zh) 基于自生成特征的卫星影像识别系统、方法及电子设备
CN111260645A (zh) 基于分块分类深度学习的篡改图像检测方法及系统
CN110222217B (zh) 一种基于分段加权的鞋印图像检索方法
CN110390228A (zh) 基于神经网络的交通标志图片识别方法、装置及存储介质
CN115620090A (zh) 模型训练方法、低照度目标重识别方法和装置、终端设备
CN111507416A (zh) 一种基于深度学习的吸烟行为实时检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant