CN112733570A - 眼镜检测的方法、装置、电子设备及存储介质 - Google Patents
眼镜检测的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112733570A CN112733570A CN201910971114.3A CN201910971114A CN112733570A CN 112733570 A CN112733570 A CN 112733570A CN 201910971114 A CN201910971114 A CN 201910971114A CN 112733570 A CN112733570 A CN 112733570A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- glasses
- nose bridge
- preset threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011521 glass Substances 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 32
- 238000005520 cutting process Methods 0.000 claims abstract description 18
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 5
- 238000012360 testing method Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 6
- 210000002837 heart atrium Anatomy 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 208000001491 myopia Diseases 0.000 description 2
- 230000004379 myopia Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 229910000990 Ni alloy Inorganic materials 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910001000 nickel titanium Inorganic materials 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Abstract
本发明公开了一种眼镜检测的方法、装置、电子设备及存储介质，属于图像处理和生物识别技术领域，所述眼镜检测的方法包括：对待测图像进行人脸检测，并从中截出鼻梁区域；将鼻梁区域图像输入到训练好的深度卷积神经网络中得到输出数值；若所述输出数值大于预设阈值，则认为待测图像中的人佩戴眼镜，若所述输出数值小于等于预设阈值，则认为待测图像中的人没有佩戴眼镜。这样，通过截取鼻梁区域，并借助于深度卷积神经网络，本发明在测试集上达到了99.9％的准确率，而且检测快速，不包含人脸检测时只有2ms。
Description
技术领域
本发明涉及图像处理和生物识别技术领域，特别涉及一种眼镜检测的方法、装置、电子设备及存储介质。
背景技术
眼镜检测是来判断当前图像中的人有没有佩戴眼镜，有没有佩戴眼镜是人脸诸多属性比如性别、年龄、是否有遮挡、是否是睁眼或闭眼、图像质量等中的一种。佩戴墨镜或者近视眼镜反光严重时会影响后续的人脸识别效果等。正是基于此，在办身份证拍照时，工作人员会提醒摘掉眼镜。
眼镜有多种分类，按照用途分，包括近视镜、老花镜、太阳镜、偏光夜行镜、防护镜等；按照材料分，包括板材(或塑料)框镜、金属架(镍合金，钛等)镜等；按照框的类型分，包括全框、半框、无框(即镜片夹子类)等。
申请号为CN201110085419.8，名称为“眼镜检测方法和装置”的专利中通过提取眼睛区域的LBP(Local Binary Pattern，局部二值模式)特征，再利用SVM(Support VectorMachine，支持向量机)模型进行分类。
申请号为CN201410787322.5，名称为“用于人脸识别的眼镜检测方法及系统”的专利中依次提取眼睛区域的LBP特征和HOG(Histogram of Oriented Gradient，方向梯度直方图)特征，并通过AdaBoost算法挑选出更好的特征，之后用SVM分类。
上述专利中提到的方法如LBP、HOG等特征都属于传统手工设计的特征，通常一种有效的手工特征需要经过很多实验以及改进，这种基于传统手工设计特征的评价方法准确率不够高，并且计算耗时较多。
发明内容
为解决上述技术问题，本发明实施例提供一种准确率高、检测快速的眼镜检测的方法、装置、电子设备及存储介质。
本发明实施例提供技术方案如下：
一方面，提供一种眼镜检测的方法，包括：
对待测图像进行人脸检测，并从中截出鼻梁区域；
将鼻梁区域图像输入到训练好的深度卷积神经网络中得到输出数值；
若所述输出数值大于预设阈值，则认为待测图像中的人佩戴眼镜，若所述输出数值小于等于预设阈值，则认为待测图像中的人没有佩戴眼镜。
在本发明一些实施例中，所述对待测图像进行人脸检测，并从中截出鼻梁区域包括：
对待测图像进行人脸检测，得到人脸区域；
从所述人脸区域中截出鼻梁区域，所述鼻梁区域为包含鼻梁上部和两内侧眼角的方形区域。
在本发明一些实施例中，所述对待测图像进行人脸检测，并从中截出鼻梁区域还包括：
将鼻梁区域通过双线性插值归一化到预设标准尺寸。
在本发明一些实施例中，所述预设标准尺寸为：32×32。
在本发明一些实施例中，所述深度卷积神经网络包括：6个卷积层，每个卷积层依次是BN层和relu层，4个max池化层，3个全连接层，2个dropout层，一个softmax层。
在本发明一些实施例中，所述深度卷积神经网络采用深度学习框架MatConvNet进行训练，训练100个回合，每批次100个样本，学习率从1e-03降至1e-06。
在本发明一些实施例中，所述预设阈值为0.5。
另一方面，提供一种眼镜检测的装置，包括：
检测模块，用于对待测图像进行人脸检测，并从中截出鼻梁区域；
输入模块，用于将鼻梁区域图像输入到训练好的深度卷积神经网络中得到输出数值；
判定模块，用于若所述输出数值大于预设阈值，则认为待测图像中的人佩戴眼镜，若所述输出数值小于等于预设阈值，则认为待测图像中的人没有佩戴眼镜。
在本发明一些实施例中，所述检测模块包括：
检测子模块，用于对待测图像进行人脸检测，得到人脸区域；
截取子模块，用于从所述人脸区域中截出鼻梁区域，所述鼻梁区域为包含鼻梁上部和两内侧眼角的方形区域。
在本发明一些实施例中，所述检测模块包括：
归一化子模块，用于将鼻梁区域通过双线性插值归一化到预设标准尺寸。
在本发明一些实施例中，所述预设标准尺寸为：32×32。
在本发明一些实施例中，所述深度卷积神经网络包括：6个卷积层，每个卷积层依次是BN层和relu层，4个max池化层，3个全连接层，2个dropout层，一个softmax层。
在本发明一些实施例中，所述深度卷积神经网络采用深度学习框架MatConvNet进行训练，训练100个回合，每批次100个样本，学习率从1e-03降至1e-06。
在本发明一些实施例中，所述预设阈值为0.5。
再一方面，提供一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行上述任一所述的方法。
又一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一所述的方法。
本发明实施例具有以下有益效果：
本发明实施例提供的眼镜检测的方法、装置、电子设备及存储介质，首先对待测图像进行人脸检测，并从中截出鼻梁区域，然后将鼻梁区域图像输入到训练好的深度卷积神经网络中得到输出数值，最后若所述输出数值大于预设阈值，则认为待测图像中的人佩戴眼镜，若所述输出数值小于等于预设阈值，则认为待测图像中的人没有佩戴眼镜。这样，通过截取鼻梁区域，并借助于深度卷积神经网络，本发明在测试集上达到了99.9％的准确率，而且检测快速，不包含人脸检测时只有2ms。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明的眼镜检测的方法实施例的流程示意图；
图2为图1所示方法实施例中得到的人脸区域及鼻梁区域的示意图，其中(a)为人脸区域示意图，(b)为标示出鼻梁区域后的示意图；
图3为本发明的眼镜检测的装置实施例的结构示意图；
图4为本发明的电子设备一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
一方面，本发明实施例提供一种眼镜检测的方法，如图1所示，包括：
步骤101：对待测图像进行人脸检测，并从中截出鼻梁区域；
本步骤中，对待测图像进行人脸检测，当检测到人脸时，可以根据人脸的三庭五眼的分布规律，直接截出鼻梁区域，其中，中庭中眼区域即对应鼻梁区域，既可以直接将中庭中眼区域截取作为鼻梁区域，也可以围绕中庭中眼区域进行适当尺寸调整(例如加宽和/或缩短)后截取作为鼻梁区域。本发明此处不通过人脸关键点的定位而是根据人脸的三庭五眼的分布规律，直接截出鼻梁区域，这样能够提高处理速度。
作为一种可选的实施例，所述对待测图像进行人脸检测，并从中截出鼻梁区域(步骤101)可以包括：
步骤1011：对待测图像进行人脸检测，得到人脸区域；
本步骤中，可以采用现有技术中已知方法进行人脸检测，例如利用Haar特征的AdaBoost人脸检测算法、FaceCraft、SSD(Single Shot MultiBoxDetector)，Faster RCNN等。
步骤1012：从所述人脸区域中截出鼻梁区域，所述鼻梁区域为包含鼻梁上部和两内侧眼角的方形区域。
如背景技术所述，现有技术通常利用整个眼睛区域(双眼+鼻梁上部所共同形成的矩形区域)来判断是否存在眼镜，发明人在研究过程中发现，相对于眼睛区域，鼻梁区域对眼镜判断起主要的区分作用，故本步骤中，鼻梁区域为包含鼻梁上部和两内侧眼角的方形区域(如图2(b)中方框所示)，其面积小于现有技术中的整个眼睛区域、又并非仅仅是鼻梁上部区域，这样既降低了数据量，提高了运算速度，又确保了眼镜判断有较高的准确度。
作为另一种可选的实施例，所述对待测图像进行人脸检测，并从中截出鼻梁区域(步骤101)还可以包括：
步骤1013：将鼻梁区域通过双线性插值归一化到预设标准尺寸。
这样，将鼻梁区域的图像转化为预设标准尺寸，使得在后续输入到训练好的深度卷积神经网络中时更容易得到准确的输出结果，提高眼镜判断的准确度。其中预设标准尺寸可以根据需要灵活设定，例如设定为：32×32(像素点)。
步骤102：将鼻梁区域图像输入到训练好的深度卷积神经网络中得到输出数值；
本步骤中，为使深度卷积神经网络的模型体积不至于过大以确保其运行速度，又确保其有较高的准确度，优选的，深度卷积神经网络包括：6个卷积层，每个卷积层依次是BN(Batch Normalization，批标准化)层和relu(Rectified Linear Units，激活函数)层，4个max池化层，3个全连接层，2个dropout层(10％)，一个softmax层。
作为一种可选的实施例，深度卷积神经网络可以采用深度学习框架MatConvNet(matlab的一个深度学习工具)进行训练，训练100个回合，每批次100个样本，学习率从1e-03降至1e-06。这样训练出的深度卷积神经网络即可具有相对较高的判断准确率。
步骤103：若所述输出数值大于预设阈值，则认为待测图像中的人佩戴眼镜，若所述输出数值小于等于预设阈值，则认为待测图像中的人没有佩戴眼镜。
本步骤中，深度卷积神经网络的输出数值即为眼镜是否存在的概率数值，该数值的取值范围是[0,1]，越接近1代表眼镜存在的概率越高，即佩戴眼睛。通常情况下，可以将预设阈值设置为0.5，若输出数值大于0.5，则认为待测图像中的人佩戴眼镜，若输出数值小于等于0.5，则认为待测图像中的人没有佩戴眼镜。预设阈值的大小还可以根据场景需要灵活调整，例如，要求严格的场景下可以将预设阈值设置的低一些，要求宽松的场景下可以将预设阈值设置的高一些。
综上，本发明实施例提供的眼镜检测的方法，首先对待测图像进行人脸检测，并从中截出鼻梁区域，然后将鼻梁区域图像输入到训练好的深度卷积神经网络中得到输出数值，最后若所述输出数值大于预设阈值，则认为待测图像中的人佩戴眼镜，若所述输出数值小于等于预设阈值，则认为待测图像中的人没有佩戴眼镜。这样，通过截取鼻梁区域，并借助于深度卷积神经网络，本发明在测试集上达到了99.9％的准确率，而且检测快速，不包含人脸检测时只有2ms。
基于深度卷积神经网络的自动学习特征方法避免了手工设计特征，通过设计网络结构训练大量的数据即可达到很高的精度，这种精度一般都高于传统的评价方法，且对眼镜检测有更好的表征能力，比如在物体识别、人脸识别等领域，基于深度学习的都远超过了传统的方法并且超过了人类。现有技术中基于LBP、HOG等的传统评价方法对眼镜的判断准确率通常只能在80-90％之间，准确率不够高，并且计算耗时较多。而本发明实施例提供的眼镜检测的方法基于深度卷积神经网络则较好的解决了这些问题。
下面以一个具体的例子对本申请的技术方案进行详细说明。
首先，对待测图像进行人脸检测，并从中截出鼻梁区域；
本实施例中，采用利用Haar特征的AdaBoost人脸检测算法进行人脸检测，得到如图2(a)所示的人脸区域，该人脸区域中上庭区域较少，同时两侧也稍微小些；然后根据人脸的三庭五眼的分布规律，从该人脸区域中截出鼻梁区域，具体的，假设该人脸区域的宽是w，高是h，则截出的鼻梁区域的起始点是(w/4,h/16)，宽是w/2，高是h/3，如图2(b)所示(基于中庭中眼区域，在水平方向进行了加宽，在上下方向进行了缩短)；之后将鼻梁区域大小通过双线性插值归一化到预设标准尺寸32×32。
其次，将鼻梁区域图像输入到训练好的深度卷积神经网络中得到输出数值；
本实施例中，深度卷积神经网络包含：6个卷积层(每个卷积层依次是BN层和relu层)，4个max池化层，3个全连接层，2个dropout层(10％)，一个softmax层，具体的网络结构如下表1所示：
表1：深度卷积神经网络结构
关于深度卷积神经网络的训练：
我们建立了一个包含50万张佩戴眼镜和100万张不佩戴眼镜的鼻梁区域的数据库，利用深度学习框架MatConvNet进行训练，训练了100个回合，每批次100个样本，学习率从1e-03降至1e-06。
最后，若所述输出数值大于预设阈值，则认为待测图像中的人佩戴眼镜，若所述输出数值小于等于预设阈值，则认为待测图像中的人没有佩戴眼镜。本实施例中，预设阈值选为0.5。
本实施例的方法，在测试集上达到了99.9％的准确率，而且检测快速，不包含人脸检测时只有2ms。
另一方面，本发明实施例提供一种眼镜检测的装置，如图3所示，包括：
检测模块11，用于对待测图像进行人脸检测，并从中截出鼻梁区域；
输入模块12，用于将鼻梁区域图像输入到训练好的深度卷积神经网络中得到输出数值；
判定模块13，用于若所述输出数值大于预设阈值，则认为待测图像中的人佩戴眼镜，若所述输出数值小于等于预设阈值，则认为待测图像中的人没有佩戴眼镜。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
优选的，所述检测模块11可以包括：
检测子模块，用于对待测图像进行人脸检测，得到人脸区域；
截取子模块，用于从所述人脸区域中截出鼻梁区域，所述鼻梁区域为包含鼻梁上部和两内侧眼角的方形区域。
优选的，所述检测模块11还可以包括：
归一化子模块，用于将鼻梁区域通过双线性插值归一化到预设标准尺寸。
优选的，所述预设标准尺寸为：32×32。
优选的，所述深度卷积神经网络包括：6个卷积层，每个卷积层依次是BN层和relu层，4个max池化层，3个全连接层，2个dropout层，一个softmax层。
优选的，所述深度卷积神经网络采用深度学习框架MatConvNet进行训练，训练100个回合，每批次100个样本，学习率从1e-03降至1e-06。
优选的，所述预设阈值为0.5。
本发明实施例还提供一种电子设备，图4为本发明的电子设备一个实施例的结构示意图，可以实现本发明图1所示实施例的流程，如图4所示，上述电子设备可以包括：壳体41、处理器42、存储器43、电路板44和电源电路45，其中，电路板44安置在壳体41围成的空间内部，处理器42和存储器43设置在电路板44上；电源电路45，用于为上述电子设备的各个电路或器件供电；存储器43用于存储可执行程序代码；处理器42通过读取存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一方法实施例所述的方法。
处理器42对上述步骤的具体执行过程以及处理器42通过运行可执行程序代码来进一步执行的步骤，可以参见本发明图1所示实施例的描述，在此不再赘述。
该电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子设备。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法实施例所述的方法步骤。
本发明实施例还提供一种应用程序，所述应用程序被执行以实现本发明任一方法实施例提供的方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种眼镜检测的方法，其特征在于，包括：
对待测图像进行人脸检测，并从中截出鼻梁区域；
将鼻梁区域图像输入到训练好的深度卷积神经网络中得到输出数值；
若所述输出数值大于预设阈值，则认为待测图像中的人佩戴眼镜，若所述输出数值小于等于预设阈值，则认为待测图像中的人没有佩戴眼镜。
2.根据权利要求1所述的方法，其特征在于，所述对待测图像进行人脸检测，并从中截出鼻梁区域包括：
对待测图像进行人脸检测，得到人脸区域；
从所述人脸区域中截出鼻梁区域，所述鼻梁区域为包含鼻梁上部和两内侧眼角的方形区域。
3.根据权利要求1所述的方法，其特征在于，所述对待测图像进行人脸检测，并从中截出鼻梁区域还包括：
将鼻梁区域通过双线性插值归一化到预设标准尺寸。
4.根据权利要求3所述的方法，其特征在于，所述预设标准尺寸为：32×32。
5.根据权利要求1-4中任一所述的方法，其特征在于，所述深度卷积神经网络包括：6个卷积层，每个卷积层依次是BN层和relu层，4个max池化层，3个全连接层，2个dropout层，一个softmax层。
6.根据权利要求5所述的方法，其特征在于，所述深度卷积神经网络采用深度学习框架MatConvNet进行训练，训练100个回合，每批次100个样本，学习率从1e-03降至1e-06。
7.根据权利要求5所述的方法，其特征在于，所述预设阈值为0.5。
8.一种眼镜检测的装置，其特征在于，包括：
检测模块，用于对待测图像进行人脸检测，并从中截出鼻梁区域；
输入模块，用于将鼻梁区域图像输入到训练好的深度卷积神经网络中得到输出数值；
判定模块，用于若所述输出数值大于预设阈值，则认为待测图像中的人佩戴眼镜，若所述输出数值小于等于预设阈值，则认为待测图像中的人没有佩戴眼镜。
9.一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行上述权利要求1-7任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述权利要求1-7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910971114.3A CN112733570B (zh) | 2019-10-14 | 眼镜检测的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910971114.3A CN112733570B (zh) | 2019-10-14 | 眼镜检测的方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112733570A true CN112733570A (zh) | 2021-04-30 |
| CN112733570B CN112733570B (zh) | 2024-04-30 |
Family
ID=
Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102163288A (zh) * | 2011-04-06 | 2011-08-24 | 北京中星微电子有限公司 | 眼镜检测方法和装置 |
| AU2011204946B1 (en) * | 2011-07-22 | 2011-12-22 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
| CN102324166A (zh) * | 2011-09-19 | 2012-01-18 | 深圳市汉华安道科技有限责任公司 | 一种疲劳驾驶检测方法及装置 |
| CN103093215A (zh) * | 2013-02-01 | 2013-05-08 | 北京天诚盛业科技有限公司 | 人眼定位方法及装置 |
| CN103093210A (zh) * | 2013-01-24 | 2013-05-08 | 北京天诚盛业科技有限公司 | 人脸识别中眼镜的鉴别方法及装置 |
| CN105095885A (zh) * | 2015-09-06 | 2015-11-25 | 广东小天才科技有限公司 | 一种人眼状态的检测方法和检测装置 |
| CN105809507A (zh) * | 2016-02-29 | 2016-07-27 | 北京酷配科技有限公司 | 一种虚拟试戴方法、虚拟试戴装置 |
| WO2016169219A1 (zh) * | 2015-04-21 | 2016-10-27 | 深圳Tcl数字技术有限公司 | 提取人脸纹理的方法及装置 |
| CN106203375A (zh) * | 2016-07-20 | 2016-12-07 | 济南大学 | 一种基于人脸图像中人脸和人眼检测的瞳孔定位方法 |
| CN106407911A (zh) * | 2016-08-31 | 2017-02-15 | 乐视控股（北京）有限公司 | 基于图像的眼镜识别方法及装置 |
| CN106778453A (zh) * | 2015-11-25 | 2017-05-31 | 腾讯科技（深圳）有限公司 | 人脸图像中检测眼镜佩戴的方法及装置 |
| US20180039745A1 (en) * | 2016-08-02 | 2018-02-08 | Atlas5D, Inc. | Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy |
| WO2018041237A1 (zh) * | 2016-08-31 | 2018-03-08 | 腾讯科技（深圳）有限公司 | 人脸验证的方法、装置以及存储介质 |
| CN108229269A (zh) * | 2016-12-31 | 2018-06-29 | 深圳市商汤科技有限公司 | 人脸检测方法、装置和电子设备 |
| KR20180089879A (ko) * | 2018-06-21 | 2018-08-09 | 주식회사 엘지생활건강 | 메이크업 자동 평가 시스템 및 그의 동작 방법 |
| CN108596011A (zh) * | 2017-12-29 | 2018-09-28 | 中国电子科技集团公司信息科学研究院 | 一种基于组合深度网络的人脸属性识别方法和装置 |
| WO2018188535A1 (zh) * | 2017-04-14 | 2018-10-18 | 深圳市商汤科技有限公司 | 人脸图像处理方法、装置和电子设备 |
| US20190014884A1 (en) * | 2017-07-13 | 2019-01-17 | Shiseido Americas Corporation | Systems and Methods for Virtual Facial Makeup Removal and Simulation, Fast Facial Detection and Landmark Tracking, Reduction in Input Video Lag and Shaking, and a Method for Recommending Makeup |
| CN109299641A (zh) * | 2018-04-19 | 2019-02-01 | 中国铁路总公司 | 一种列车调度员疲劳监测图像自适应处理算法 |
| KR20190024861A (ko) * | 2018-10-25 | 2019-03-08 | 김지환 | 증강현실을 이용한 안경 맞춤 서비스 제공 방법 |
| CN110110593A (zh) * | 2019-03-27 | 2019-08-09 | 广州杰赛科技股份有限公司 | 基于自学习的人脸考勤方法、装置、设备及存储介质 |
| WO2019154509A1 (en) * | 2018-02-09 | 2019-08-15 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| CN110288567A (zh) * | 2019-05-24 | 2019-09-27 | 北京爱诺斯科技有限公司 | 一种针对眼部的图像分析方法 |
| CN110313006A (zh) * | 2017-11-14 | 2019-10-08 | 华为技术有限公司 | 一种人脸图像检测方法及终端设备 |
Patent Citations (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102163288A (zh) * | 2011-04-06 | 2011-08-24 | 北京中星微电子有限公司 | 眼镜检测方法和装置 |
| AU2011204946B1 (en) * | 2011-07-22 | 2011-12-22 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
| CN102324166A (zh) * | 2011-09-19 | 2012-01-18 | 深圳市汉华安道科技有限责任公司 | 一种疲劳驾驶检测方法及装置 |
| CN103093210A (zh) * | 2013-01-24 | 2013-05-08 | 北京天诚盛业科技有限公司 | 人脸识别中眼镜的鉴别方法及装置 |
| CN103093215A (zh) * | 2013-02-01 | 2013-05-08 | 北京天诚盛业科技有限公司 | 人眼定位方法及装置 |
| WO2016169219A1 (zh) * | 2015-04-21 | 2016-10-27 | 深圳Tcl数字技术有限公司 | 提取人脸纹理的方法及装置 |
| CN105095885A (zh) * | 2015-09-06 | 2015-11-25 | 广东小天才科技有限公司 | 一种人眼状态的检测方法和检测装置 |
| WO2017088804A1 (zh) * | 2015-11-25 | 2017-06-01 | 腾讯科技（深圳）有限公司 | 人脸图像中检测眼镜佩戴的方法及装置 |
| CN106778453A (zh) * | 2015-11-25 | 2017-05-31 | 腾讯科技（深圳）有限公司 | 人脸图像中检测眼镜佩戴的方法及装置 |
| CN105809507A (zh) * | 2016-02-29 | 2016-07-27 | 北京酷配科技有限公司 | 一种虚拟试戴方法、虚拟试戴装置 |
| CN106203375A (zh) * | 2016-07-20 | 2016-12-07 | 济南大学 | 一种基于人脸图像中人脸和人眼检测的瞳孔定位方法 |
| US20180039745A1 (en) * | 2016-08-02 | 2018-02-08 | Atlas5D, Inc. | Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy |
| WO2018041237A1 (zh) * | 2016-08-31 | 2018-03-08 | 腾讯科技（深圳）有限公司 | 人脸验证的方法、装置以及存储介质 |
| CN106407911A (zh) * | 2016-08-31 | 2017-02-15 | 乐视控股（北京）有限公司 | 基于图像的眼镜识别方法及装置 |
| CN108229269A (zh) * | 2016-12-31 | 2018-06-29 | 深圳市商汤科技有限公司 | 人脸检测方法、装置和电子设备 |
| WO2018188535A1 (zh) * | 2017-04-14 | 2018-10-18 | 深圳市商汤科技有限公司 | 人脸图像处理方法、装置和电子设备 |
| US20190014884A1 (en) * | 2017-07-13 | 2019-01-17 | Shiseido Americas Corporation | Systems and Methods for Virtual Facial Makeup Removal and Simulation, Fast Facial Detection and Landmark Tracking, Reduction in Input Video Lag and Shaking, and a Method for Recommending Makeup |
| CN110313006A (zh) * | 2017-11-14 | 2019-10-08 | 华为技术有限公司 | 一种人脸图像检测方法及终端设备 |
| CN108596011A (zh) * | 2017-12-29 | 2018-09-28 | 中国电子科技集团公司信息科学研究院 | 一种基于组合深度网络的人脸属性识别方法和装置 |
| WO2019154509A1 (en) * | 2018-02-09 | 2019-08-15 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| CN109299641A (zh) * | 2018-04-19 | 2019-02-01 | 中国铁路总公司 | 一种列车调度员疲劳监测图像自适应处理算法 |
| KR20180089879A (ko) * | 2018-06-21 | 2018-08-09 | 주식회사 엘지생활건강 | 메이크업 자동 평가 시스템 및 그의 동작 방법 |
| KR20190024861A (ko) * | 2018-10-25 | 2019-03-08 | 김지환 | 증강현실을 이용한 안경 맞춤 서비스 제공 방법 |
| CN110110593A (zh) * | 2019-03-27 | 2019-08-09 | 广州杰赛科技股份有限公司 | 基于自学习的人脸考勤方法、装置、设备及存储介质 |
| CN110288567A (zh) * | 2019-05-24 | 2019-09-27 | 北京爱诺斯科技有限公司 | 一种针对眼部的图像分析方法 |
Non-Patent Citations (10)
| Title |
|---|
| FUJII, S 等: "Safety glasses for blocking harmful electromagnetic radiation and preventing dazzling", 《COLLOID AND POLYMER SCIENCE》, vol. 293, no. 7, 31 July 2015 (2015-07-31), pages 1855 - 1864 * |
| TING-TING YANG 等: "A learning-based system for generating exaggerative caricature from face images with expression", 《 2010 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING》, 31 March 2010 (2010-03-31), pages 2138 - 2141, XP031697497 * |
| TSENG， SWW 等: "A Female Glasses Fitting Model Based on Neural Network", 《KEY ENGINEERING MATERIALS》, vol. 450, pages 530 - 533, XP009516501, DOI: 10.4028/www.scientific.net/KEM.450.530 * |
| 仝锡民: "戴眼镜情况下眼睛定位及眼睛状态识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 12, pages 138 - 844 * |
| 张嘉欣 等: "基于眼镜作用区域的头部形态参数研究", 《图学学报》, no. 03, pages 410 - 416 * |
| 邱铭晖: "用眼底照相评价受训者应用直接检眼镜的准确性", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》, no. 2012, 15 January 2012 (2012-01-15), pages 073 - 26 * |
| 郑莹莹 等: "基于图像处理方法的人眼动姿态识别技术的研究", 《工业控制计算机》, vol. 28, no. 03, 25 March 2015 (2015-03-25), pages 31 - 33 * |
| 韦争亮 等: "智能化交互人体表面特征点三维运动轨迹检测技术的研究", 《光学技术》, vol. 39, no. 04, 15 July 2013 (2013-07-15), pages 365 - 371 * |
| 黄亨利 等: "一种基于人脸检测的虚拟眼镜试戴技术", 《信息通信》, no. 6, pages 63 - 66 * |
| 黄增喜 等: "一种快速的自动人眼定位方法", 《计算机工程与应用》, vol. 47, no. 07, 1 March 2011 (2011-03-01), pages 183 - 186 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109472206B (zh) | 基于微表情的风险评估方法、装置、设备及介质 | |
| CN110741388B (zh) | 对抗样本检测方法、装置、计算设备及计算机存储介质 | |
| CN107292287B (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| CN108701216B (zh) | 一种人脸脸型识别方法、装置和智能终端 | |
| US10318797B2 (en) | Image processing apparatus and image processing method | |
| WO2021169637A1 (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
| CN106407911A (zh) | 基于图像的眼镜识别方法及装置 | |
| CN107330904A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112084856A (zh) | 一种人脸姿态检测方法、装置、终端设备及存储介质 | |
| CN113706502B (zh) | 一种人脸图像质量评估方法及装置 | |
| US10395095B2 (en) | Face model matrix training method and apparatus, and storage medium | |
| CN104036254A (zh) | 一种人脸识别方法 | |
| CN111126623B (zh) | 一种模型更新方法、装置及设备 | |
| CN112818909A (zh) | 图像更新方法、装置、电子设备及计算机可读介质 | |
| WO2022142903A1 (zh) | 身份识别方法、装置、电子设备及相关产品 | |
| CN110362814A (zh) | 一种基于改进损失函数的命名实体识别方法及装置 | |
| CN110741387A (zh) | 人脸识别方法、装置、存储介质及电子设备 | |
| CN111652138B (zh) | 戴口罩人脸识别方法、装置、设备及存储介质 | |
| CN110175500B (zh) | 指静脉比对方法、装置、计算机设备及存储介质 | |
| CN110162956A (zh) | 确定关联账户的方法和装置 | |
| CN116151965B (zh) | 一种风险特征提取方法、装置、电子设备及存储介质 | |
| CN111444906B (zh) | 基于人工智能的图像识别方法和相关装置 | |
| CN110688878A (zh) | 活体识别检测方法、装置、介质及电子设备 | |
| CN112733570B (zh) | 眼镜检测的方法、装置、电子设备及存储介质 | |
| CN112200109A (zh) | 面部属性识别方法、电子设备以及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |