CN108229443A - 一种防闭眼的拍照方法和装置 - Google Patents
一种防闭眼的拍照方法和装置 Download PDFInfo
- Publication number
- CN108229443A CN108229443A CN201810130879.XA CN201810130879A CN108229443A CN 108229443 A CN108229443 A CN 108229443A CN 201810130879 A CN201810130879 A CN 201810130879A CN 108229443 A CN108229443 A CN 108229443A
- Authority
- CN
- China
- Prior art keywords
- image
- human eye
- eye
- effective
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种防闭眼的拍照方法和装置，包括：预先基于卷积神经网络CNN，建立用于识别眼睛状态的人眼分类模型；当终端设备检测到拍摄指令时，利用镜头获取有效图像，并利用所述人眼分类模型对所述有效图像中人像的眼睛状态进行识别，如果所述有效图像中存在闭眼图像，则将所述闭眼图像修正为睁眼图像，将修正后的图像作为当前的拍照结果。采用本发明，可以有效解决用户拍照时的闭眼问题。
Description
技术领域
本发明涉及拍摄设备领域，特别是涉及一种防闭眼的拍照方法和装置。
背景技术
随着智能终端设备(如智能手机、平板电脑等)的普及，拍照或自拍已经成为人们生活中不可或缺的一部分。然而经过统计可以发现，人们在拍照或自拍时，经常会遇到闭眼的情况，导致抓拍到的照片效果不好，没有保存的价值，只能重拍，这样就会造成用户时间的浪费，有时甚至会由于错过了拍摄场景而无法重拍，导致用户体验的降低。
现有的拍照方案中，针对闭眼检测，一般采用以下几种方式：
(1)通过对眼睛形状的捕捉判断眼睛的状态，如果眼睛形状偏向椭圆类的，则认为是睁眼状态，如果偏向直线状态，则认为是闭眼状态(基于几何特征的方法)。
(2)计算每一张人体影像中人脸数量与眼球数量的比例；筛选出人脸数量与眼球数量的比例接近1∶2的人体影像作为最佳人体影像。
上述闭眼检测方式，存在以下几个问题：
(1)基于几何特征的方法并不能涵盖所有的情况，因为人眼的形状以及表情会有很微妙的变化，固定的几何特征检测会遗漏很多特殊的情况；
(2)眼球比例的算法不带有替换脸的功能，无法解决闭眼情况；
(3)对于闭眼状态的检测，准确度不高，尤其是眼球比例的算法，对眼睛的分辨率要求比较高，如果是多人合影的情况，眼睛像素很低，眼球比例算法的对眼睛状态的识别准确率就很低。
由此可见，现有拍照方案存在无法对人眼状态进行准确识别、不能对所识别出的闭眼状态进行相应修正等问题，从而无法有效解决用户拍照时的闭眼问题。
发明内容
有鉴于此，本发明的主要目的在于提供一种防闭眼的拍照方法和装置，可以有效解决用户拍照时的闭眼问题。
为了达到上述目的，本发明提出的技术方案为：
一种防闭眼的拍照方法，包括：
a、预先基于卷积神经网络CNN，建立用于识别眼睛状态的人眼分类模型；
b、当终端设备检测到拍摄指令时，利用镜头获取有效图像，并利用所述人眼分类模型对所述有效图像中人像的眼睛状态进行识别，如果所述有效图像中存在闭眼图像，则将所述闭眼图像修正为睁眼图像，将修正后的图像作为当前的拍照结果。
一种防闭眼的拍照装置，包括：
模型建立模块，用于预先基于卷积神经网络CNN，建立用于识别眼睛状态的人眼分类模型；
拍照控制模块，用于当终端设备检测到拍摄指令时，利用镜头获取有效图像，并利用所述人眼分类模型对所述有效图像中人像的眼睛状态进行识别，如果所述有效图像中存在闭眼图像，则将所述闭眼图像修正为睁眼图像，将修正后的图像作为当前的拍照结果。
综上所述，本发明提出的防闭眼的拍照方法，利用基于卷积神经网络CNN建立的人眼分类模型，可以对镜头获取图像中人像的眼睛状态进行准确地识别，并对识别出的闭眼图像进行修正，从而可以有效解决用户拍照时的闭眼问题。
附图说明
图1为本发明实施例的方法流程示意图；
图2为本发明实施例的装置结构示意图；
图3为图2中模型建立模块的结构示意图；
图4为本发明的人眼分类模型网络结构实施例的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。
本发明的核心思想是：预先基于卷积神经网络(Convolutional Neural Network，CNN)，建立用于识别眼睛状态的人眼分类模型，当用户拍照时，则利用该人眼分类模型，对照片中的闭眼图像进行识别和修正，从而可以有效解决用户拍照时的闭眼问题。
图1为本发明实施例提供的防闭眼的拍照方法流程示意图，如图1所示，该方法主要包括：
步骤101、预先基于卷积神经网络CNN，建立用于识别眼睛状态的人眼分类模型。
本步骤中，为了确保对图像中的闭眼图像进行准确识别，基于卷积神经网络，建立用于识别眼睛状态的人眼分类模型，以便在后续步骤中可以利用该人眼分类模型通过一层层的卷积处理，对镜头拍摄的闭眼图像进行准确识别，从而可以对有闭眼的图像进行有效修正，进而可以有效解决用户拍照时的闭眼问题。
较佳地，本步骤中可以采用下述方法建立用于识别眼睛状态的人眼分类模型：
步骤1011、从预设的眼睛图片样本集合中读取M张图片和所述M张图片对应的类别信息，作为当前的深度学习样本集合。
其中，所述M为预设的批处理样本数量，所述眼睛图片样本集合中包含闭眼图片和睁眼图片；所述图片类别信息为闭眼类别或睁眼类别。
在实际应用中，为了确保模型对眼睛状态的准确识别，选择样本图片构建眼睛图片样本集合时，需要考虑是否戴眼镜的情况，例如，睁眼图片5000张中可以包含不戴眼镜的照片2500张和戴眼镜的照片2500张，闭眼图片5000张中可以包含不戴眼镜的照片2500张和戴眼镜的照片2500张。
本步骤，用于从眼睛图片样本集合中读取出一批图片以及图片的类别信息，以便在后续步骤中利用该批图片和图片的类别对卷积神经网络进行训练，得到能够识别眼睛状态的人眼分类模型。
所述M用于限定每次批处理的样本图片数量，具体可由本领域技术人员根据实际需要设置。
步骤1012、对于所述深度学习样本集合中的每张样本图片，利用该样本图片对卷积神经网络的各层参数进行训练。
本步骤中，将逐一从步骤101中生成的所述深度学习样本集合中取出样本图片对卷积神经网络的各层参数进行反复训练，从而使模型逐步符合闭眼分类需求，以获得能够对眼睛状态准确识别的人眼分类模型。
具体地，对于每张样本图片，可以采用下述方法利用该样本图片对卷积神经网络的各层参数进行训练：
步骤c1、将该样本图片转换成深度学习系统能够识别的数据格式。
本步骤中，需要将样本图片的格式转换为深度学习系统能够识别的数据格式，以便作为卷积神经网络的输入参数，对其进行卷积处理。具体的转换方法为本领域技术人员所掌握在此不再赘述。
步骤c2、利用所述卷积神经网络，对所述转换结果进行W次的卷积处理后，将所得到的特征图输入到卷积神经网络的全连接层处理，得到该样本图片识别为睁眼类别和闭眼类别的概率，将所述概率和所述读取到的该样本图片对应的类别信息，输入至所述卷积神经网络的Accuracy层处理，得到当前的卷积神经网络应用于待测试数据时的准确率，其中，所述W为预设的卷积处理次数，W≥1。
本步骤需要对当前的样本图片执行W次卷积处理。较佳地，为了提高训练结果的准确性，可以采用多次的卷积处理过程，具体，卷积处理的次数W可由本领域技术人员综合考虑准确性和算法复杂性，设置合适的取值，例如，可以设置为4。
这里，较佳地，可以采用下述方法实现所述W次的卷积处理：
步骤x1、将卷积次数变量i初始化为1，将所述转换结果作为当前的待处理数据。
步骤x2、将当前的待处理数据输入至卷积神经网络的第i个卷积层，通过第i个卷积层的卷积核做卷积操作，并将卷积操作所生成的特征图输出至卷积神经网络的第i个激活层进行激活处理，将所述激活处理的结果输出至卷积神经网络的第i个池化层进行降维处理。
所述卷积层，用于利用卷积核对输入的数据进行卷积操作，生成特征图输出给下一层。
所述激活层，会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，从而可以减少过拟合问题的发生。
所述池化层，用于对特征进行降维，以减少计算复杂度，同时可以保持特征不变性。
较佳地，为了获得较好的降维效果，所述池化层可以采用最大值降维MAX pooling方法。
较佳地，为了确保激活层的处理效果，所述激活层可以使用目前较为成熟的激活函数：ReLU激活函数。
所述卷积层、激活层以及池化层的具体处理过程和现有的卷积神经网络相同，在此不再赘述。
步骤x3、如果i＜W，则i＝i+1，将当前的待处理数据更新为第i个池化层降维处理后得到的特征图，执行步骤x2；否则，将第i个池化层降维处理后得到的特征图作为所述W次的卷积处理的结果。
所述步骤c2中，对于执行完W次卷积处理后的结果，将通过全连接层进行处理，得到对应样本图片识别为睁眼类别的概率和识别为闭眼类别的概率，然后再根据所得到的两种类别的概率和读取样本图片时获得的类别信息，通过Accuracy层处理，得到当前的卷积神经网络应用于待测试数据时的准确率。
步骤c3、将样本图片识别为睁眼类别和闭眼类别的概率和步骤1011读取到的该样本图片对应的类别信息，输入至所述卷积神经网络的Loss层处理，得到当前的卷积神经网络的丢失率；所述卷积神经网络以降低卷积神经网络的丢失率为调整目标对各层的参数进行调整。
本步骤，用于根据当前计算到的卷积神经网络的丢失率，以降低丢失率为目标，对卷积神经网络各层的参数进行调整，使得loss值逐渐降低，从而经过多次训练后最终可以获得能够准确地对闭眼图像进行识别的模型。
具体如何计算丢失率，以及如何基于丢失率对卷积神经网络各层的参数进行调整同现有技术，在此不再赘述。
上述方法中，通过采用步骤c1～c3所实现的卷积神经网络结构对网络各层参数进行训练，一方面可以确保训练的效率，另一方面可以使得本系统提取出训练数据中睁眼和闭眼的核心特征信息，从而确保所得到模型应用于待测数据的准确性。
步骤1013、判断当前的所述卷积神经网络的丢失率是否大于预设的丢失率阈值，如果是，则执行步骤1011，否则，执行步骤1014。
本步骤中，如果丢失率依然大于预设的丢失率阈值，需要再返回执行步骤1011，以通过下一批样本图片对卷积神经网络进行训练，如果丢失率小于预设的丢失率阈值，说明利用当前的卷积神经网络及各层参数可以对样本图片中的闭眼图像进行准确识别，则执行步骤1014生成所述人眼分类模型。
步骤1014、利用当前的所述卷积神经网络，生成所述人眼分类模型。
本步骤生成人眼分类模型的具体方法，为本领域技术人员所掌握，在此不再赘述。
步骤102、当终端设备检测到拍摄指令时，利用镜头获取有效图像，并利用所述人眼分类模型对所述有效图像中人像的眼睛状态进行识别，如果所述有效图像中存在闭眼图像，则将所述闭眼图像修正为睁眼图像，将修正后的图像作为当前的拍照结果。
这里需要说明的是，由于步骤101中所建立的人眼分类模型可以确保对闭眼图像的准确识别，因此，本步骤中利用该模型来对镜头铺捉的有效图像中的眼睛状态进行识别，并基于该识别结果进一步对闭眼图像进行修正，可以较大程度地提高图像修正的准确性，进而可以有效解决用户拍照时的闭眼问题。
在实际应用中，步骤102可以采用多种方式实现，例如，可以采用下述两种方法实现步骤102：
方法一：
步骤102a1、当检测到拍摄指令后，利用镜头获取至少两张有效图像。
较佳地，具体可以采用下述方法利用镜头获取至少两张有效图像：
在每个预设的拍摄周期，利用所述镜头捕捉一张图像，并判断本次捕捉的图像是否满足预设的图像采集参数指标，如果是，则将该图像作为有效图像，如果当前的有效图像数量未达到预设的有效图像数量阈值n，则在下个拍摄周期到达时继续执行本步骤，直至获取到n张有效图像。
本步骤中，为了确保拍摄质量、提高处理效率，当镜头捕捉到一张图像后，需要根据预设的图像采集参数指标，对图像的有效性进行判断，以便在后续步骤中只对满足要求的图像做进一步的眼睛状态的识别和修正。
所述图像采集参数指标可由本领域技术人员根据实际需要进行设置，具体地，所述图像采集参数指标可以包括亮度和清晰度。
所述有效图像数量阈值n≥2，具体可由本领域技术人员根据实际的拍摄情况并考虑运算效率，设置合适的n值。例如，简单起见，可以设置为2。
在实际应用中，为了减小连续获得多张闭眼的图像，考虑到眨眼的时间间隔，可以采用预设的拍摄周期捕捉图像，较佳地，该拍摄周期大于等于0.2秒且小于等于0.4秒。
步骤102a2、对于每张所述有效图像，对该有效图像中的人眼区域进行识别，并利用所述人眼分类模型对所述人眼区域对应的眼睛状态进行识别。
本步骤在具体实现时，可以利用预设的人脸识别库如dlib，先对有效图像中的人脸进行特征点识别，计算出准确的人眼区域，再通过人眼分类模型利用卷积运算提取人眼特征并进行分类，得到该有效图像中眼睛的状态类别。
步骤102a3、如果第一张所述有效图像中存在处于闭眼状态的人眼区域，则触发利用其他有效图像对所述处于闭眼状态的人眼区域进行修正；将修正后的图像作为当前的拍照结果。
较佳地，具体可以采用下述方法利用其他有效图像对所述处于闭眼状态的人眼区域进行修正：
对于第一张有效图像中每个处于闭眼状态的人眼区域，遍历除第一张有效图像之外的其他有效图像，查询相对应的人眼区域是否处于睁眼状态，直至查询到相对应的人眼区域处于睁眼状态；利用所查询到的处于睁眼状态的人眼区域替换该处于闭眼状态的人眼区域。
上述修正方法中，如果第一张有效图像中有闭眼图像，则利用其他有效图像中的相应位置的睁眼状态图像进行替换。这里是以第一张图像为最终生成照片的基准图，并对其进行修正，在实际应用中，也可以选择其他图像作为基准图，在此不再赘述。
进一步地，为了获得更自然的照片效果，上述修正方法中在进行所述替换时，可以直接利用相匹配的睁眼状态的人脸对对应的闭眼状态的人脸进行替换。
较佳地，可以采用下述方法查询相对应的人眼区域是否处于睁眼状态：
对于每个所述处于闭眼状态的人眼区域，从当前查询的有效图像中查找与该人眼区域所在人脸相匹配的人脸，根据所述识别结果，确定该相匹配的人脸中的相应人眼区域是否处于睁眼状态。
这里，对于查找与该人眼区域所在人脸相匹配的人脸，具体可以采用现有方法实现，例如，特征点匹配或直方图匹配等方法。
步骤102a4、如果第一张所述有效图像中不存在处于闭眼状态的人眼区域，直接将第一张所述有效图像作为当前的拍照结果。
上述方法一中，是先获取一定数量的有效图像，再对其中的有效图像进行眼睛状态的识别和修正，在实际应用中，还可以先获取一张有效图像，再进行眼睛状态的识别和修正，如果有闭眼的图像再获取新的有效图像，利用新的有效图像对第一张的闭眼图像进行修正，具体可以采用下述方法二实现。
方法二：
步骤102b1、当检测到拍摄指令后，利用镜头获取一张有效图像，作为第一有效图像。
较佳地，可以采用下述方法获取有效图像：
判断当前所述镜头捕捉的图像是否满足预设的图像采集参数指标，如果是，则将当前捕捉的图像作为有效图像，否则，在下一预设的拍摄周期到达时，重新执行本步骤。
较佳地，为了提高修正的成功率，所述拍摄周期大于等于0.2秒且小于等于0.4秒。
步骤102b2、对所述第一有效图像中的人眼区域进行识别，并利用所述人眼分类模型对所述人眼区域对应的眼睛状态进行识别。
步骤102b3、如果所述第一有效图像中存在处于闭眼状态的人眼区域，则触发利用所述镜头获取一张有效图像，作为候选匹配图像。
较佳地，为了提高修正的成功率，这里触发利用所述镜头获取一张有效图像的时刻与所述第一有效图像的捕捉时刻之间的间隔大于等于所述拍摄周期。
步骤102b4、利用所述候选匹配图像，对所述处于闭眼状态的人眼区域进行修正。
较佳地，可以采用同方法一相同的方法利用所述候选匹配图像，对处于闭眼状态的人眼区域进行修正：
对于每个所述处于闭眼状态的人眼区域，从所述候选匹配图像中查找与该人眼区域所在人脸相匹配的人脸，利用所述人眼分类模型，对该相匹配的人脸中人眼区域的眼睛状态进行识别，如果识别结果为睁眼状态，则利用该相匹配的人脸中的人眼区域对该处于闭眼状态的人眼区域进行替换。
步骤102b5、如果所述第一有效图像经过所述修正，则将修正后的图像作为当前的拍照结果，否则，直接将所述第一有效图像作为当前的拍照结果。
在实际应用中，除了上述两种方法，为了提高处理效率，步骤102中获取有效图像的过程与对有效图像进行识别和修正的过程相互独立，即可以采用预设的周期捕捉图像，直到成功生成没有闭眼的照片。
图2为与上述方法对应的一种防闭眼的拍照装置结构示意图，如图2所示，该装置包括：
模型建立模块201，用于预先基于卷积神经网络CNN，建立用于识别眼睛状态的人眼分类模型。
拍照控制模块202，用于当终端设备检测到拍摄指令时，利用镜头获取有效图像，并利用所述人眼分类模型对所述有效图像中人像的眼睛状态进行识别，如果所述有效图像中存在闭眼图像，则将所述闭眼图像修正为睁眼图像，将修正后的图像作为当前的拍照结果。
较佳地，如图3所示，该模型建立模块201可以包括下述单元：
样本读取单元301，用于从预设的眼睛图片样本集合中读取M张图片和所述M张图片对应的类别信息，作为当前的深度学习样本集合，之后触发训练单元执行；其中，所述M为预设的批处理样本数量，所述眼睛图片样本集合中包含闭眼图片和睁眼图片；所述图片类别信息为闭眼类别或睁眼类别。
训练单元302，用于对于所述深度学习样本集合中的每张样本图片，利用该样本图片对卷积神经网络的各层参数进行训练，之后触发判断单元执行；其中，所述利用该样本图片对卷积神经网络的各层参数进行训练包括：将该样本图片转换成深度学习系统能够识别的数据格式；利用所述卷积神经网络，对所述转换结果进行W次的卷积处理后，将所得到的特征图输入到卷积神经网络的全连接层处理，得到该样本图片识别为睁眼类别和闭眼类别的概率，将所述概率和所述读取到的该样本图片对应的类别信息，输入至所述卷积神经网络的Accuracy层处理，得到当前的卷积神经网络应用于待测试数据时的准确率，将所述概率和所述读取到的该样本图片对应的类别信息，输入至所述卷积神经网络的Loss层处理，得到当前的卷积神经网络的丢失率；所述卷积神经网络以降低卷积神经网络的丢失率为调整目标对各层的参数进行调整；其中，所述W为预设的卷积处理次数，W≥1。
判断单元303，用于判断当前的所述卷积神经网络的丢失率是否大于预设的丢失率阈值，如果是，则触发样本读取单元执行，否则，触发模型生成单元执行。
模型生成单元304，用于利用当前的所述卷积神经网络，生成所述人眼分类模型。
较佳地，所述训练单元302所执行的所述W次的卷积处理过程包括下述步骤：
步骤x1、将卷积次数变量i初始化为1，将所述转换结果作为当前的待处理数据；
步骤x2、将当前的待处理数据输入至卷积神经网络的第i个卷积层，通过第i个卷积层的卷积核做卷积操作，并将卷积操作所生成的特征图输出至卷积神经网络的第i个激活层进行激活处理，将所述激活处理的结果输出至卷积神经网络的第i个池化层进行降维处理；
步骤x3、如果i＜W，则i＝i+1，将当前的待处理数据更新为第i个池化层降维处理后得到的特征图，执行步骤x2；否则，将第i个池化层降维处理后得到的特征图作为所述W次的卷积处理的结果。
较佳地，所述池化层采用最大值降维MAX pooling方法。
较佳地，所述激活层使用的激活函数为ReLU激活函数。
较佳地，所述训练单元，用于当检测到拍摄指令后，利用镜头获取至少两张有效图像；对于每张所述有效图像，对该有效图像中的人眼区域进行识别，并利用所述人眼分类模型对所述人眼区域对应的眼睛状态进行识别；如果第一张所述有效图像中存在处于闭眼状态的人眼区域，则触发利用其他有效图像对所述处于闭眼状态的人眼区域进行修正；将修正后的图像作为当前的拍照结果；如果第一张所述有效图像中不存在处于闭眼状态的人眼区域，直接将第一张所述有效图像作为当前的拍照结果。
较佳地，所述训练单元，用于在利用镜头获取至少两张有效图像时，在每个预设的拍摄周期，利用所述镜头捕捉一张图像，并判断本次捕捉的图像是否满足预设的图像采集参数指标，如果是，则将该图像作为有效图像，如果当前的有效图像数量未达到预设的有效图像数量阈值n，则在下个拍摄周期到达时继续执行本步骤，直至获取到n张有效图像。
较佳地，所述训练单元，用于在利用其他有效图像对所述处于闭眼状态的人眼区域进行修正时，对于第一张有效图像中每个处于闭眼状态的人眼区域，遍历除第一张有效图像之外的其他有效图像，查询相对应的人眼区域是否处于睁眼状态，直至查询到相对应的人眼区域处于睁眼状态；利用所查询到的处于睁眼状态的人眼区域替换该处于闭眼状态的人眼区域。
较佳地，所述训练单元，用于在查询相对应的人眼区域是否处于睁眼状态时，对于每个所述处于闭眼状态的人眼区域，从当前查询的有效图像中查找与该人眼区域所在人脸相匹配的人脸，根据所述识别结果，确定该相匹配的人脸中的相应人眼区域是否处于睁眼状态。
较佳地，所述训练单元，用于当检测到拍摄指令后，利用镜头获取一张有效图像，作为第一有效图像；对所述第一有效图像中的人眼区域进行识别，并利用所述人眼分类模型对所述人眼区域对应的眼睛状态进行识别；如果所述第一有效图像中存在处于闭眼状态的人眼区域，则触发利用所述镜头获取一张有效图像，作为候选匹配图像；
利用所述候选匹配图像，对所述处于闭眼状态的人眼区域进行修正；如果所述第一有效图像经过所述修正，则将修正后的图像作为当前的拍照结果，否则，直接将所述第一有效图像作为当前的拍照结果。
较佳地，所述训练单元，用于利用所述候选匹配图像对所述处于闭眼状态的人眼区域进行修正时，对于每个所述处于闭眼状态的人眼区域，从所述候选匹配图像中查找与该人眼区域所在人脸相匹配的人脸，利用所述人眼分类模型，对该相匹配的人脸中人眼区域的眼睛状态进行识别，如果识别结果为睁眼状态，则利用该相匹配的人脸中的人眼区域对该处于闭眼状态的人眼区域进行替换。
较佳地，所述训练单元，用于在获取所述有效图像时，判断当前所述镜头捕捉的图像是否满足预设的图像采集参数指标，如果是，则将当前捕捉的图像作为有效图像，否则，在下一预设的拍摄周期到达时，对当前所述镜头捕捉的图像进行所述判断。
较佳地，所述触发利用所述镜头获取一张有效图像的时刻与所述第一有效图像的捕捉时刻之间的间隔大于等于预设的拍摄周期。
较佳地，所述图像采集参数指标包括亮度和清晰度。
较佳地，所述拍摄周期大于等于0.2秒且小于等于0.4秒。
为了进一步说明本发明中的人眼分类模型建立过程，下面给出一模型建立具体示例：
如图4所示，该实施示例采用的卷积神经网络结构具有四层卷积处理结构。
其中，Data层用于读取样本图片数据，每次读取的样本数量为160，并将它转换成深度学习系统能够识别的数据(blob shapes：[1，3，64，64])，输出给第一卷积层conv1来进行卷积操作。训练时首先将所有样本的尺寸统一调整为64*64，随后进行去均值操作，生成LMDB格式的文件供Data层读取。
conv1即第一个卷积层，它接收Data层的输入图片数据，并将图片与本层通过初始化好的卷积核(大小为7)做卷积操作，并生成16个特征图作为输出(blob shapes：[1，16，29，29])，输入给第一激活层(relu1)，relu1处理完成后，输出结果给第一池化层(pool1)降维，pool1使用MAX pooling的方法，Stride为2，取3*3的区域内最大值作为输出，输出的是维度减少后的特征图(blob shapes：[1，16，14，14])。
第二卷积层(conv2)的卷积核大小为5，接受pool1的输出特征图作为输入，并输出32个特征图(blob shapes：[1，32，10，10])给第二激活层(relu2)接收。
relu2/pool2/relu3/pool3/relu4/pool4与之前层作用相同，不再赘述。
pool2的输出blob shapes：[1，32，8，8]。
conv3的卷积核大小为3，输出64个特征图，blob shapes：[1，64，6，6]。
pool3的输出blob shapes：[1，64，4，4]。
conv4的卷积核大小为3，输出128个特征图，blob shapes：[1，128，2，2]。
pool4的输出blob shapes：[1，128，1，1]。
ip1即全连接层(fully connected layers，fc)，作用是起到将学到的“分布式特征表示”映射到样本标记空间的作用。ip1接收pool4的特征图作为输入，并产生一个1*N维向量，即图片的分类结果。
Accuracy层会计算训练后的模型应用于待测试数据时的准确率。
loss层：接收全连接层的结果来计算loss值。采用Softmax的方式可以防止较小的值饥饿。这样大值经常被取到，但是小值也可以偶尔取到。
卷积神经网络在训练的过程会根据这个loss值，重新调整各层的参数，使得loss值逐渐降低，然后反复重新训练，从而使模型逐步符合闭眼分类需求。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (30)
1.一种防闭眼的拍照方法，其特征在于，包括：
a、预先基于卷积神经网络CNN，建立用于识别眼睛状态的人眼分类模型；
b、当终端设备检测到拍摄指令时，利用镜头获取有效图像，并利用所述人眼分类模型对所述有效图像中人像的眼睛状态进行识别，如果所述有效图像中存在闭眼图像，则将所述闭眼图像修正为睁眼图像，将修正后的图像作为当前的拍照结果。
2.根据权利要求1所述的方法，其特征在于，所述建立用于识别眼睛状态的人眼分类模型包括：
a1、从预设的眼睛图片样本集合中读取M张图片和所述M张图片对应的类别信息，作为当前的深度学习样本集合；其中，所述M为预设的批处理样本数量，所述眼睛图片样本集合中包含闭眼图片和睁眼图片；所述图片类别信息为闭眼类别或睁眼类别；
a2、对于所述深度学习样本集合中的每张样本图片，利用该样本图片对卷积神经网络的各层参数进行训练；
a3、判断当前的所述卷积神经网络的丢失率是否大于预设的丢失率阈值，如果是，则执行步骤a1，否则，执行步骤a4；
a4、利用当前的所述卷积神经网络，生成所述人眼分类模型；
其中，所述利用该样本图片对卷积神经网络的各层参数进行训练包括：
将该样本图片转换成深度学习系统能够识别的数据格式；利用所述卷积神经网络，对所述转换结果进行W次的卷积处理后，将所得到的特征图输入到卷积神经网络的全连接层处理，得到该样本图片识别为睁眼类别和闭眼类别的概率，将所述概率和所述读取到的该样本图片对应的类别信息，输入至所述卷积神经网络的Accuracy层处理，得到当前的卷积神经网络应用于待测试数据时的准确率，将所述概率和所述读取到的该样本图片对应的类别信息，输入至所述卷积神经网络的Loss层处理，得到当前的卷积神经网络的丢失率；所述卷积神经网络以降低卷积神经网络的丢失率为调整目标对各层的参数进行调整；其中，所述W为预设的卷积处理次数，W≥1。
3.根据权利要求2所述的方法，其特征在于，所述W次的卷积处理包括：
x1、将卷积次数变量i初始化为1，将所述转换结果作为当前的待处理数据；
x2、将当前的待处理数据输入至卷积神经网络的第i个卷积层，通过第i个卷积层的卷积核做卷积操作，并将卷积操作所生成的特征图输出至卷积神经网络的第i个激活层进行激活处理，将所述激活处理的结果输出至卷积神经网络的第i个池化层进行降维处理；
x3、如果i＜W，则i＝i+1，将当前的待处理数据更新为第i个池化层降维处理后得到的特征图，执行步骤x2；否则，将第i个池化层降维处理后得到的特征图作为所述W次的卷积处理的结果。
4.根据权利要求3所述的方法，其特征在于，所述池化层采用最大值降维MAX pooling方法。
5.根据权利要求3所述的方法，其特征在于，所述激活层使用的激活函数为ReLU激活函数。
6.根据权利要求1所述的方法，其特征在于，所述步骤b包括：
当检测到拍摄指令后，利用镜头获取至少两张有效图像；
对于每张所述有效图像，对该有效图像中的人眼区域进行识别，并利用所述人眼分类模型对所述人眼区域对应的眼睛状态进行识别；
如果第一张所述有效图像中存在处于闭眼状态的人眼区域，则触发利用其他有效图像对所述处于闭眼状态的人眼区域进行修正；将修正后的图像作为当前的拍照结果；
如果第一张所述有效图像中不存在处于闭眼状态的人眼区域，直接将第一张所述有效图像作为当前的拍照结果。
7.根据权利要求6所述的方法，其特征在于，所述利用镜头获取至少两张有效图像包括：
在每个预设的拍摄周期，利用所述镜头捕捉一张图像，并判断本次捕捉的图像是否满足预设的图像采集参数指标，如果是，则将该图像作为有效图像，如果当前的有效图像数量未达到预设的有效图像数量阈值n，则在下个拍摄周期到达时继续执行本步骤，直至获取到n张有效图像。
8.根据权利要求6所述的方法，其特征在于，所述利用其他有效图像对所述处于闭眼状态的人眼区域进行修正包括：
对于第一张有效图像中每个处于闭眼状态的人眼区域，遍历除第一张有效图像之外的其他有效图像，查询相对应的人眼区域是否处于睁眼状态，直至查询到相对应的人眼区域处于睁眼状态；利用所查询到的处于睁眼状态的人眼区域替换该处于闭眼状态的人眼区域。
9.根据权利要求8所述的方法，其特征在于，所述查询相对应的人眼区域是否处于睁眼状态包括：
对于每个所述处于闭眼状态的人眼区域，从当前查询的有效图像中查找与该人眼区域所在人脸相匹配的人脸，根据所述识别结果，确定该相匹配的人脸中的相应人眼区域是否处于睁眼状态。
10.根据权利要求1所述的方法，其特征在于，所述步骤b包括：
当检测到拍摄指令后，利用镜头获取一张有效图像，作为第一有效图像；
对所述第一有效图像中的人眼区域进行识别，并利用所述人眼分类模型对所述人眼区域对应的眼睛状态进行识别；
如果所述第一有效图像中存在处于闭眼状态的人眼区域，则触发利用所述镜头获取一张有效图像，作为候选匹配图像；
利用所述候选匹配图像，对所述处于闭眼状态的人眼区域进行修正；
如果所述第一有效图像经过所述修正，则将修正后的图像作为当前的拍照结果，否则，直接将所述第一有效图像作为当前的拍照结果。
11.根据权利要求10所述的方法，其特征在于，利用所述候选匹配图像，对所述处于闭眼状态的人眼区域进行修正包括：
对于每个所述处于闭眼状态的人眼区域，从所述候选匹配图像中查找与该人眼区域所在人脸相匹配的人脸，利用所述人眼分类模型，对该相匹配的人脸中人眼区域的眼睛状态进行识别，如果识别结果为睁眼状态，则利用该相匹配的人脸中的人眼区域对该处于闭眼状态的人眼区域进行替换。
12.根据权利要求10所述的方法，其特征在于，所述有效图像的获取包括：
判断当前所述镜头捕捉的图像是否满足预设的图像采集参数指标，如果是，则将当前捕捉的图像作为有效图像，否则，在下一预设的拍摄周期到达时，重新执行本步骤。
13.根据权利要求10所述的方法，其特征在于，所述触发利用所述镜头获取一张有效图像的时刻与所述第一有效图像的捕捉时刻之间的间隔大于等于预设的拍摄周期。
14.根据权利要求7或12所述的方法，其特征在于，所述图像采集参数指标包括亮度和清晰度。
15.根据权利要求8、12或13所述的任一方法，其特征在于，所述拍摄周期大于等于0.2秒且小于等于0.4秒。
16.一种防闭眼的拍照装置，其特征在于，包括：
模型建立模块，用于预先基于卷积神经网络CNN，建立用于识别眼睛状态的人眼分类模型；
拍照控制模块，用于当终端设备检测到拍摄指令时，利用镜头获取有效图像，并利用所述人眼分类模型对所述有效图像中人像的眼睛状态进行识别，如果所述有效图像中存在闭眼图像，则将所述闭眼图像修正为睁眼图像，将修正后的图像作为当前的拍照结果。
17.根据权利要求1所述的装置，其特征在于，所述模型建立模块包括：
样本读取单元，用于从预设的眼睛图片样本集合中读取M张图片和所述M张图片对应的类别信息，作为当前的深度学习样本集合，之后触发训练单元执行；其中，所述M为预设的批处理样本数量，所述眼睛图片样本集合中包含闭眼图片和睁眼图片；所述图片类别信息为闭眼类别或睁眼类别；
训练单元，用于对于所述深度学习样本集合中的每张样本图片，利用该样本图片对卷积神经网络的各层参数进行训练，之后触发判断单元执行；其中，所述利用该样本图片对卷积神经网络的各层参数进行训练包括：将该样本图片转换成深度学习系统能够识别的数据格式；利用所述卷积神经网络，对所述转换结果进行W次的卷积处理后，将所得到的特征图输入到卷积神经网络的全连接层处理，得到该样本图片识别为睁眼类别和闭眼类别的概率，将所述概率和所述读取到的该样本图片对应的类别信息输入至所述卷积神经网络的Accuracy层处理，得到当前的卷积神经网络应用于待测试数据时的准确率，将所述概率和所述读取到的该样本图片对应的类别信息，输入至所述卷积神经网络的Loss层处理，得到当前的卷积神经网络的丢失率；所述卷积神经网络以降低卷积神经网络的丢失率为调整目标对各层的参数进行调整；其中，所述W为预设的卷积处理次数，W≥1；
判断单元，用于判断当前的所述卷积神经网络的丢失率是否大于预设的丢失率阈值，如果是，则触发样本读取单元执行，否则，触发模型生成单元执行；
模型生成单元，用于利用当前的所述卷积神经网络，生成所述人眼分类模型。
18.根据权利要求17所述的装置，其特征在于，所述W次的卷积处理包括：
x1、将卷积次数变量i初始化为1，将所述转换结果作为当前的待处理数据；
x2、将当前的待处理数据输入至卷积神经网络的第i个卷积层，通过第i个卷积层的卷积核做卷积操作，并将卷积操作所生成的特征图输出至卷积神经网络的第i个激活层进行激活处理，将所述激活处理的结果输出至卷积神经网络的第i个池化层进行降维处理；
x3、如果i＜W，则i＝i+1，将当前的待处理数据更新为第i个池化层降维处理后得到的特征图，执行步骤x2；否则，将第i个池化层降维处理后得到的特征图作为所述W次的卷积处理的结果。
19.根据权利要求18所述的装置，其特征在于，所述池化层采用最大值降维MAXpooling方法。
20.根据权利要求18所述的装置，其特征在于，所述激活层使用的激活函数为ReLU激活函数。
21.根据权利要求16所述的装置，其特征在于，所述训练单元，用于当检测到拍摄指令后，利用镜头获取至少两张有效图像；对于每张所述有效图像，对该有效图像中的人眼区域进行识别，并利用所述人眼分类模型对所述人眼区域对应的眼睛状态进行识别；如果第一张所述有效图像中存在处于闭眼状态的人眼区域，则触发利用其他有效图像对所述处于闭眼状态的人眼区域进行修正；将修正后的图像作为当前的拍照结果；如果第一张所述有效图像中不存在处于闭眼状态的人眼区域，直接将第一张所述有效图像作为当前的拍照结果。
22.根据权利要求21所述的装置，其特征在于，所述训练单元，用于在利用镜头获取至少两张有效图像时，在每个预设的拍摄周期，利用所述镜头捕捉一张图像，并判断本次捕捉的图像是否满足预设的图像采集参数指标，如果是，则将该图像作为有效图像，如果当前的有效图像数量未达到预设的有效图像数量阈值n，则在下个拍摄周期到达时继续执行本步骤，直至获取到n张有效图像。
23.根据权利要求21所述的装置，其特征在于，所述训练单元，用于在利用其他有效图像对所述处于闭眼状态的人眼区域进行修正时，对于第一张有效图像中每个处于闭眼状态的人眼区域，遍历除第一张有效图像之外的其他有效图像，查询相对应的人眼区域是否处于睁眼状态，直至查询到相对应的人眼区域处于睁眼状态；利用所查询到的处于睁眼状态的人眼区域替换该处于闭眼状态的人眼区域。
24.根据权利要求23所述的装置，其特征在于，所述训练单元，用于在查询相对应的人眼区域是否处于睁眼状态时，对于每个所述处于闭眼状态的人眼区域，从当前查询的有效图像中查找与该人眼区域所在人脸相匹配的人脸，根据所述识别结果，确定该相匹配的人脸中的相应人眼区域是否处于睁眼状态。
25.根据权利要求16所述的装置，其特征在于，所述训练单元，用于当检测到拍摄指令后，利用镜头获取一张有效图像，作为第一有效图像；对所述第一有效图像中的人眼区域进行识别，并利用所述人眼分类模型对所述人眼区域对应的眼睛状态进行识别；如果所述第一有效图像中存在处于闭眼状态的人眼区域，则触发利用所述镜头获取一张有效图像，作为候选匹配图像；
利用所述候选匹配图像，对所述处于闭眼状态的人眼区域进行修正；如果所述第一有效图像经过所述修正，则将修正后的图像作为当前的拍照结果，否则，直接将所述第一有效图像作为当前的拍照结果。
26.根据权利要求25所述的装置，其特征在于，所述训练单元，用于利用所述候选匹配图像对所述处于闭眼状态的人眼区域进行修正时，对于每个所述处于闭眼状态的人眼区域，从所述候选匹配图像中查找与该人眼区域所在人脸相匹配的人脸，利用所述人眼分类模型，对该相匹配的人脸中人眼区域的眼睛状态进行识别，如果识别结果为睁眼状态，则利用该相匹配的人脸中的人眼区域对该处于闭眼状态的人眼区域进行替换。
27.根据权利要求25所述的装置，其特征在于，所述训练单元，用于在获取所述有效图像时，判断当前所述镜头捕捉的图像是否满足预设的图像采集参数指标，如果是，则将当前捕捉的图像作为有效图像，否则，在下一预设的拍摄周期到达时，对当前所述镜头捕捉的图像进行所述判断。
28.根据权利要求25所述的装置，其特征在于，所述触发利用所述镜头获取一张有效图像的时刻与所述第一有效图像的捕捉时刻之间的间隔大于等于预设的拍摄周期。
29.根据权利要求22或27所述的任一装置，其特征在于，所述图像采集参数指标包括亮度和清晰度。
30.根据权利要求22、27或28所述的任一装置，其特征在于，所述拍摄周期大于等于0.2秒且小于等于0.4秒。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810130879.XA CN108229443A (zh) | 2018-02-08 | 2018-02-08 | 一种防闭眼的拍照方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810130879.XA CN108229443A (zh) | 2018-02-08 | 2018-02-08 | 一种防闭眼的拍照方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108229443A true CN108229443A (zh) | 2018-06-29 |
Family
ID=62669698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810130879.XA Pending CN108229443A (zh) | 2018-02-08 | 2018-02-08 | 一种防闭眼的拍照方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108229443A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109151304A (zh) * | 2018-08-22 | 2019-01-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读取存储介质 |
| CN109711309A (zh) * | 2018-12-20 | 2019-05-03 | 北京邮电大学 | 一种自动识别人像图片是否闭眼的方法 |
| CN109740472A (zh) * | 2018-12-25 | 2019-05-10 | 武汉纺织大学 | 一种防闭眼的拍照方法 |
| CN110163806A (zh) * | 2018-08-06 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置以及存储介质 |
| CN110348331A (zh) * | 2019-06-24 | 2019-10-18 | 深圳和而泰家居在线网络科技有限公司 | 人脸识别方法及电子设备 |
| CN110991458A (zh) * | 2019-11-25 | 2020-04-10 | 创新奇智(北京)科技有限公司 | 基于图像特征的人工智能识别结果抽样系统及抽样方法 |
| CN111126347A (zh) * | 2020-01-06 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 人眼状态识别方法、装置、终端及可读存储介质 |
| WO2020140617A1 (zh) * | 2019-01-04 | 2020-07-09 | 平安科技（深圳）有限公司 | 一种图像处理方法、终端设备及计算机可读介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105072327A (zh) * | 2015-07-15 | 2015-11-18 | 广东欧珀移动通信有限公司 | 一种防闭眼的人像拍摄处理的方法和装置 |
| CN106485214A (zh) * | 2016-09-28 | 2017-03-08 | 天津工业大学 | 一种基于卷积神经网络的眼睛和嘴部状态识别方法 |
| CN106657759A (zh) * | 2016-09-27 | 2017-05-10 | 奇酷互联网络科技（深圳）有限公司 | 防闭眼的拍照方法及装置 |
-
2018
- 2018-02-08 CN CN201810130879.XA patent/CN108229443A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105072327A (zh) * | 2015-07-15 | 2015-11-18 | 广东欧珀移动通信有限公司 | 一种防闭眼的人像拍摄处理的方法和装置 |
| CN106657759A (zh) * | 2016-09-27 | 2017-05-10 | 奇酷互联网络科技（深圳）有限公司 | 防闭眼的拍照方法及装置 |
| CN106485214A (zh) * | 2016-09-28 | 2017-03-08 | 天津工业大学 | 一种基于卷积神经网络的眼睛和嘴部状态识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吴祖珍: "《2007电脑故障排查实例》", 28 February 2007, 四川电子音像出版中心 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163806A (zh) * | 2018-08-06 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置以及存储介质 |
| CN110163806B (zh) * | 2018-08-06 | 2023-09-15 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置以及存储介质 |
| CN109151304B (zh) * | 2018-08-22 | 2021-09-14 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读取存储介质 |
| CN109151304A (zh) * | 2018-08-22 | 2019-01-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读取存储介质 |
| CN109711309B (zh) * | 2018-12-20 | 2020-11-27 | 北京邮电大学 | 一种自动识别人像图片是否闭眼的方法 |
| CN109711309A (zh) * | 2018-12-20 | 2019-05-03 | 北京邮电大学 | 一种自动识别人像图片是否闭眼的方法 |
| CN109740472A (zh) * | 2018-12-25 | 2019-05-10 | 武汉纺织大学 | 一种防闭眼的拍照方法 |
| WO2020140617A1 (zh) * | 2019-01-04 | 2020-07-09 | 平安科技（深圳）有限公司 | 一种图像处理方法、终端设备及计算机可读介质 |
| CN110348331A (zh) * | 2019-06-24 | 2019-10-18 | 深圳和而泰家居在线网络科技有限公司 | 人脸识别方法及电子设备 |
| CN110348331B (zh) * | 2019-06-24 | 2022-01-14 | 深圳数联天下智能科技有限公司 | 人脸识别方法及电子设备 |
| CN110991458A (zh) * | 2019-11-25 | 2020-04-10 | 创新奇智(北京)科技有限公司 | 基于图像特征的人工智能识别结果抽样系统及抽样方法 |
| CN111126347A (zh) * | 2020-01-06 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 人眼状态识别方法、装置、终端及可读存储介质 |
| CN111126347B (zh) * | 2020-01-06 | 2024-02-20 | 腾讯科技（深圳）有限公司 | 人眼状态识别方法、装置、终端及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229443A (zh) | 一种防闭眼的拍照方法和装置 | |
| Rao et al. | Deep convolutional neural networks for sign language recognition | |
| CN110569795B (zh) | 一种图像识别方法、装置以及相关设备 | |
| Liu et al. | A data augmentation method based on generative adversarial networks for grape leaf disease identification | |
| CN108717524B (zh) | 一种基于双摄手机和人工智能系统的手势识别系统 | |
| CN105608447B (zh) | 对人体面部微笑表情深度卷积神经网络的检测方法 | |
| CN109063737A (zh) | 图像处理方法、装置、存储介质及移动终端 | |
| Huang et al. | An experimental study of pupil constriction for liveness detection | |
| Tian et al. | Deep lda-pruned nets for efficient facial gender classification | |
| CN110458235B (zh) | 一种视频中运动姿势相似度比对方法 | |
| Dellana et al. | Data augmentation in CNN-based periocular authentication | |
| Lin et al. | Near-realtime face mask wearing recognition based on deep learning | |
| Li et al. | Deep representation via convolutional neural network for classification of spatiotemporal event streams | |
| Liu et al. | Crop disease recognition based on modified light-weight CNN with attention mechanism | |
| CN108229432A (zh) | 人脸标定方法及装置 | |
| CN108629265A (zh) | 用于瞳孔定位的方法和装置 | |
| CN109299641A (zh) | 一种列车调度员疲劳监测图像自适应处理算法 | |
| Mogan et al. | Gait-DenseNet: A Hybrid Convolutional Neural Network for Gait Recognition. | |
| Duffner et al. | A neural scheme for robust detection of transparent logos in TV programs | |
| CN113378799A (zh) | 基于目标检测和姿态检测框架的行为识别方法及系统 | |
| Ariza et al. | Recognition system for facial expression by processing images with deep learning neural network | |
| Ruan et al. | Facial expression recognition in facial occlusion scenarios: A path selection multi-network | |
| Goga et al. | Hand gesture recognition using 3D sensors | |
| CN110059742A (zh) | 基于深度学习的安全护具穿戴识别方法及设备 | |
| CN109800657A (zh) | 一种针对模糊人脸图像的卷积神经网络人脸识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180629 |