CN111274993B - 眉毛识别方法、装置、计算设备及计算机可读存储介质 - Google Patents

眉毛识别方法、装置、计算设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111274993B
CN111274993B CN202010089029.7A CN202010089029A CN111274993B CN 111274993 B CN111274993 B CN 111274993B CN 202010089029 A CN202010089029 A CN 202010089029A CN 111274993 B CN111274993 B CN 111274993B
Authority
CN
China
Prior art keywords
eyebrow
branch
feature
image
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010089029.7A
Other languages
English (en)
Other versions
CN111274993A (zh
Inventor
陈仿雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Original Assignee
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shuliantianxia Intelligent Technology Co Ltd filed Critical Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority to CN202010089029.7A priority Critical patent/CN111274993B/zh
Publication of CN111274993A publication Critical patent/CN111274993A/zh
Application granted granted Critical
Publication of CN111274993B publication Critical patent/CN111274993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明实施例涉及图像识别技术领域，公开了一种眉毛识别方法、装置、计算设备及计算机可读存储介质，该方法包括：获取待识别的眉毛图像；通过预先训练得到的眉毛识别模型对待识别的眉毛图像进行多个浅层特征提取，得到多个浅层特征图；通过眉毛识别模型中的多个分支识别模型分别对多个浅层特征图进行识别，以得到多个分支识别模型各自对应的识别结果；根据识别结果计算每一种眉毛类别的概率和；将最大概率和对应的眉毛类别作为待识别的眉毛图像所属的眉毛类别。通过上述方式，本发明实施例实现了眉毛图像的识别。

Description

眉毛识别方法、装置、计算设备及计算机可读存储介质
技术领域
本发明实施例涉及图像识别技术领域，具体涉及一种眉毛识别方法、装置、计算设备及计算机可读存储介质。
背景技术
眉毛是人脸识别中的一个重要特征。相较于人脸其他特征，例如，眼睛、嘴巴等，眉毛具有一定的稳定性。因此，眉毛类型的识别在人脸识别中发挥着重要作用。
现有技术中眉毛识别的方法包括基于尺度不变特征变换(Scale-invariantfeature transform，SIFT)的眉毛识别方法、梯度匹配的眉毛识别方法和稀疏表示的眉毛识别方法。上述方法均通过提取眉毛的形状、颜色等特征进行眉毛识别，识别结果容易受图像质量的影响。
发明内容
鉴于上述问题，本发明实施例提供了一种眉毛识别方法、装置、计算设备及计算机可读存储介质，克服了上述问题或者至少部分地解决了上述问题。
根据本发明实施例的一个方面，提供了一种眉毛识别方法，所述方法包括：
获取待识别的眉毛图像；
通过预先训练得到的眉毛识别模型对所述待识别的眉毛图像进行多个浅层特征提取，得到多个浅层特征图，一个浅层特征图用于反馈所述眉毛图像的一个低层语义图像特征；
通过眉毛识别模型中的多个目标分支识别模型分别对所述多个浅层特征图进行识别，以得到所述多个分支识别模型各自对应的识别结果，每个识别结果包括用于指示所述眉毛图像中的眉毛属于各种眉毛类别的多个概率，一个概率对应一种眉毛类别，所述多个分支模型的感受野各不相同；
根据所述识别结果计算每一种眉毛类别对应的概率之和，以得到每一种眉毛类别对应的概率和；
将最大概率对应的眉毛类别作为所述待识别的眉毛图像所属的眉毛类别。
可选的，所述通过预先训练得到的眉毛识别模型对所述待识别的眉毛图像进行多个浅层特征提取，得到多个浅层特征图，包括：
通过所述眉毛识别模型中的多个单边卷积核分别提取所述待识别的眉毛图像的纹理特征，得到多个第一特征图，一个单边卷积核用于提取所述待识别的眉毛图像的一种纹理特征；
对每一个第一特征图进行填充，得到多个第二特征图，每一个第二特征图的宽和高相同；
通过眉毛识别模型中的浅层特征提取层对所述多个第二特征图进行浅层特征统一提取，得到所述多个浅层特征图。
可选的，每个支识别模型包括降维层、多个相互串联的目标卷积层、目标池化层和全连接层；每个分支模型的目标卷积层中的卷积核的尺寸各不相同；所述通过眉毛识别模型中的多个分支识别模型分别对所述多个浅层特征图进行识别，以得到所述多个分支模型各自对应的识别结果，包括：
通过各分支识别模型中的降维层分别对所述多个第三特征图进行降维，以得到所述多个分支识别模型各自对应的多个第三特征图，所述第三特征图用于反馈所述眉毛图像的目标低层语义图像特征，所述目标低层语义特征是指所述低层语义特征中用于精确表达所述眉毛图像的图像特征；
通过所述各分支识别模型中的目标卷积层各自对所述多个分支识别模型各自对应的多个第三特征图进行深层特征提取，得到所述多个分支识别模型各自对应的多个第四特征图，一个第四特征图用于表示所述待识别的眉毛图像的高层语义图像特征；
通过所述各分支识别模型中的目标池化层各自对所述多个分支识别模型各自对应的多个第四特征图进行池化，得到所述多个分支识别模型各自对应的多个第五特征图；
通过所述各分支识别模型中的全连接层各自对所述多个分支识别模型各自对应的多个第五特征图表征的图像特征进行加权运算，得到所述多个分支识别模型各自对应的加权结果，每个加权结果包括用于表示所述待识别的眉毛图像属于每一种眉毛类别的可能性的多个数值；
对所述多个分支识别模型各自对应的加权结果进行归一化输出，得到所述多个分支识别模型各自对应的识别结果。
可选的，所述第五特征图为一维图像特征；通过所述各分支识别模型中的目标池化层各自对所述多个分支识别模型各自对应的多个第四特征图进行池化，得到所述多个分支识别模型各自对应的多个第五特征图，包括：
通过目标分支识别模型中的目标池化层对目标第四特征图中的所有像素点计算平均值，所述目标分支识别模型为所述多个分支识别模型中的任一分支识别模型，所述目标第四特征图为所述多个第四特征图中的任意一个第四特征图；
将所述平均值作为所述目标第四特征图对应的第五特征图的像素值，以得到所述多个分支识别模型各自对应的多个第五特征图。
可选的，在获取待识别的眉毛图像之前，所述方法还包括：
构建眉毛识别模型；
获取多个训练图像；
对每一个训练图像对应的眉毛类别进行标识，得到每一个标准训练图像的标识信息，同一种眉毛类别对应的训练图像的标识信息相同，不同种眉毛类别对应的训练图像的标识信息不同；
将每一个训练图像及其对应的标识信息作为一组训练样本，以得到多组训练样本；
根据所述多组训练样本训练所述眉毛识别模型，得到训练好的眉毛识别模型。
可选的，所述根据所述多组训练样本训练所述眉毛识别模型，得到训练好的眉毛识别模型，包括：
将所述多组训练样本输入所述眉毛识别模型，得到每一组训练样本在每一个分支识别模型上属于每一种眉毛类别的样本概率；
根据所有训练样本的样本概率和标识信息计算眉毛识别模型的损失函数值；
计算所述损失函数关于每一个权重的梯度，通过梯度下降法更新所述眉毛识别模型的权重；
根据更新权重后的眉毛识别模型返回执行将所述多组训练样本输入所述眉毛识别模型的步骤，直至所述损失函数的损失函数值最小；
将所述损失函数值最小的眉毛识别模型作为训练好的眉毛识别模型。
可选的，所述根据所有训练样本的样本概率和标识信息计算损失函数的损失函数值，包括：
根据所有训练样本的样本概率计算每一个分支识别模型的损失函数的损失函数值；
将所有的分支识别模型的损失函数值相加，得到所述眉毛识别模型的损失函数值。
根据本发明实施例的另一方面，提供了一种眉毛识别装置，所述装置包括：
获取模块，用于获取待识别的眉毛图像；
特征提取模块，用于通过预先训练得到的眉毛识别模型对待识别的眉毛图像进行多个浅层特征提取，得到多个浅层特征图，一个浅层特征图表征所述待识别的眉毛图像的一个低层语义图像特征；
识别模块，用于通过眉毛识别模型中的多个目标分支识别模型分别对所述多个浅层特征图进行识别，以得到所述多个分支识别模型各自对应的识别结果，每个识别结果包括用于指示所述眉毛图像中的眉毛属于各种眉毛类别的多个概率，一个概率对应一种眉毛类别，所述多个分支模型的感受野各不相同；
计算模块，用于根据所述识别结果计算每一种眉毛类别对应的概率之和，以得到每一种眉毛类别对应的概率和；
确定模块，用于将最大概率和对应的眉毛类别作为所述待识别的眉毛图像所属的眉毛类别。
根据本发明实施例的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述的眉毛识别方法对应的步骤。
根据本发明实施例的还一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行上述的一种眉毛识别方法对应的步骤。
本发明实施例通过眉毛识别模型对眉毛进行识别，眉毛识别模型中包含多个分支识别模型，每一个分支识别模型分别对待识别眉毛图像的多个浅层特征进行识别，以得到多个分支识别模型各自对应的识别结果，识别结果中包含了待识别的眉毛图像中的眉毛属于各种眉毛识别的多个概率，通过计算每一种眉毛类别对应的概率之和得到待识别的眉毛图像属于每一种眉毛类别的概率和，概率和的最大值为待识别的眉毛图像所属的眉毛类别。通过上述方式，最后确定的眉毛类别是通过多个分支识别模型的识别结果确定的。由于最后确定的眉毛类别综合了各分支模型的识别结果，因此，得到的识别结果更加可靠。此外，眉毛识别模型中的多个分支识别模型分别对浅层特征图进行进一步的识别得到识别结果，相较于仅提取颜色、形状、纹理等浅层特征进行眉毛识别，本发明实例更具有鲁棒性。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种眉毛识别方法的流程图；
图2示出了本发明实施例提供的一种眉毛识别方法中人脸关键点示意图；
图3示出了本发明实施例提供的一种眉毛识别方法中图像填充的示意图；
图4示出了本发明实施例提供的一种眉毛识别方法中感受野的确定示意图；
图5示出了本发明另一实施例提供的一种眉毛识别方法的流程图；
图6示出了本发明实施例提供的一种眉毛识别方法中眉毛识别模型的结构示意图；
图7示出了本发明实施例提供的一种眉毛识别方法中眉毛识别模型的训练流程图；
图8示出了本发明实施例提供的一种眉毛识别装置的功能框图；
图9示出了本发明实施例提供的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例的一种眉毛识别方法的流程图。如图1所示，该方法包括以下步骤：
步骤110：获取待识别的眉毛图像。
其中，待识别的眉毛图像是包含人脸中的眉毛部位的图像。在具体实施过程中，可能需要从人脸图像中对眉毛进行识别。在从人脸中提取眉毛图像时，根据人脸关键点算法获取眉毛图像。具体的，利用Dlib官方训练好的“shape_predictor_68_face_landmarks.dat”模型进行68点标注，查找图片中的关键点。通过上述方法得到的人脸关键点及每一个关键点对应的序号分别如图2所示。根据图2中的各关键点可知，通过获取第17号点的横坐标、第19号点的纵坐标、第21号点的横坐标和第37号点的纵坐标可以获得右眉毛区域左上角和右下角的矩形坐标值，从而确定右眉毛图像。通过获取第22号点的横坐标、第24号点的纵坐标、第26号点的横坐标和第44号点的纵坐标可以获得左眉毛区域左上角和右下角的矩形坐标值，从而确定左眉毛图像。将左眉毛图像和右眉毛图像分别作为待识别的眉毛图像。在本发明实施例中，待识别的眉毛图像为三通道的RGB图像。
在一些实施例中，待识别的眉毛图像的大小不适用于眉毛识别模型。在这种情况下，对待识别的眉毛图像进行归一化，将待识别的眉毛图像转换为适用于眉毛识别模型的大小。在一种实施方式中，对待识别的眉毛图像的宽和高分别按照一定的比例进行缩放，以将待识别的眉毛图像缩放至适用于眉毛识别模型的大小。归一化后的待识别的眉毛图像的尺寸为一个预设尺寸，该尺寸与眉毛识别模型的输入图像尺寸一致。通过上述方式，将待识别的眉毛图像转换到固定大小，从而消除了待识别的眉毛图像的尺寸对于眉毛识别结果的影响。
步骤120：通过预先训练得到的眉毛识别模型对待识别的眉毛图像进行多个浅层特征提取，得到多个浅层特征图。
其中，预先训练得到的眉毛识别模型对待识别眉毛图像进行多个浅层特征提取包括提取待识别的眉毛图像的纹理特征和低层语义图像特征。眉毛识别模型是预先训练得到的，具体的训练过程在下一个实施例中进行说明，请参阅下一个实施例的描述。一个浅层特征图用于反馈待识别的眉毛图像的一个低层语义图像特征。其中，纹理特征表示待识别眉毛图像的图像特征，例如，轮廓特征等。低层语义图像特征用于表示待识别眉毛图像的一个局部特征。低层语义图像特征是各纹理特征的部分特征相互组合得到的特征。例如，纹理特征为眉毛的轮廓特征，则低层语义图像特征为待识别的眉毛图像中一簇眉毛的长度特征。在提取眉毛图像的纹理特征时，通过眉毛识别模型中单边卷积核进行提取，每一个单边卷积核用于提取标准眉毛图像的一个纹理特征。在本发明实施例中，通过单边卷积核得到多个第一特征图，每一个第一特征图用于表示待识别的眉毛图像的一个纹理特征。得到的第一特征图的数量与单边卷积核的数量相同。例如，输入的待识别的眉毛图像大小为112*56*3，112和56分别表示待识别的眉毛图像的宽和高，宽和高的乘积结果表示待识别的眉毛图像中的像素点个数；3表示待识别的眉毛图像是三通道的RGB图像。每一个通道的RGB图像分别通过64个大小为3*1的单边卷积核进行卷积运算，卷积运算的扫描步长为1，填充步长为1。填充步长为在图像周围补零的圈数。在单边卷积运算时，根据填充步长对图像补零时，仅对单边进行补零。例如，对112*56的图像补零时，仅对112*56的图像的宽进行补零，补零后的图像大小为112*58，则通过3*1的单边卷积核进行卷积运算时，每一个通道的图像均得到64个大小为112*56的卷积特征图。在本发明实施例中，卷积运算得到的图像大小通过公式W2＝(W1-F+2P)/S+1，H2＝(H1-F+2P)/S+1得到。其中，W1和H1分别表示卷积运算的目标图像的宽和高，W2和H2分别表示卷积运算后得到的卷积特征图像的宽和高，F表示卷积核的尺寸，P表示填充步长，S表示扫描步长。例如，W1为112，F为3，P和S均为1，则宽为112的图像进行卷积运算后得到的卷积特征图的宽为(112-3+2)/1+1＝112。在具体实施过程中，如果运算结果为小数，则运算结果取小数的整数部分。例如，运算结果为112.5，则取112为卷积特征图对应的尺寸。将同一个单边卷积核提取的三个通道的图像对应的卷积特征图按照相应的像素点将像素值相加，得到64个第一特征图，每一个第一特征图的大小为112*56。其中，卷积运算为卷积核覆盖的区域与卷积核的对应元素进行点乘运算，点乘运算的结果为卷积特征图中各像素点的像素值。通过上述方式，扩充了眉毛识别模型的通道数，增强了眉毛识别模型输入的待识别的眉毛图像的表达能力。
在得到多个第一特征图之后，对每一个第一特征图进行填充，得到多个第二特征图，第二特征图与第一特征图一一对应。由于第一特征图为待识别的眉毛图像的纹理特征图，纹理特征是一种图像表面的特征，并不改变图像形状，因此，第一特征图的形状与眉毛形状相适应，为长条状。在对第一特征图在进行进一步的特征提取时，得到的特征图不断变小。长条状的第一特征图在变小时，宽和高的大小不一致，很可能造成特征提取后进一步得到的特征图失真。因此，对第一特征图进行填充。填充时，根据第一特征图的宽将第一特征图的高进行扩张，得到第二特征图，第二特征图的宽和高相同。在将第一特征图的高进行扩张时，第一特征图中扩张部分的像素值填充为0。具体填充过程如图3所示。以64个大小为112*56的第一特征图为例，对第一特征图填充后，得到64个大小为112*112的第二特征图。通过上述方式，避免了后续特征提取时得到的特征图不断变小带来的特征损失过多。此外，由于后续进行特征提取时，对第二特征图中的宽和高进行相同的特征提取操作，第二特征图能够在特征提取时保持原图特征信息与位置信息之间的关系。
得到第二特征图后，通过眉毛识别模型中的特征提取层对多个第二特征图进行低层语义图像特征提取，得到多个浅层特征图。眉毛识别模型中的特征提取层包括卷积层和池化层。卷积层包括多个卷积核，一个卷积核用于提取待识别的眉毛图像的一个语义图像特征。在本发明的一种具体实施方式中，卷积核的数量为128个，每一个卷积核的大小均为3*3。当第二特征图为64个，每一个第二特征图的大小为112*112，卷积核扫描的扫描步长为1，即每次移动一个像素的距离；填充步长为1，即在第二特征图周围补一圈0。经过卷积运算后得到的特征图的数量为128个，每一个特征图的大小为112*112。
池化层用于对卷积运算后的特征图的特征进行降维，以提高眉毛识别模型的识别速度。池化层的池化方式可以为最大池化或平均池化。在一种实施方式中，池化层的池化类型为最大池化，即通过特定维度的池化核对卷积运算后的特征图进行扫描，将卷积运算后的特征图划分为多个区域，池化核覆盖的区域取该区域中元素的最大值为该区域的表征值，即得到池化后的输出特征图。例如，使用128个2*2的池化核对128个尺寸为112*112的特征图进行扫描，填充步长为2，即在112*112的特征图周围补两圈零。池化扫描步长为2，即，每次在补零后的特征图上移动一个2×2的区域，通过池化得到128个大小为56*56的浅层特征图，一个浅层特征图用于反馈眉毛图像的一个低层语义图像特征。通过池化层，降低了输出特征的维度，提高了眉毛识别模型的收敛速度。
在一些实施例中，特征提取层可以为多层，每一层均包括卷积层和池化层，多层特征提取层之间串联连接。每一层特征提取层中的卷积层中卷积核的个数和大小可以相同也可以不同；每一层特征提取层中的池化层中池化核的个数和大小可以相同也可以不同。最后一层特征提取层输出的特征图为浅层特征图。以特征提取层为两层为例。第一层特征提取层经过池化层后，输出的特征图为128个，每一个特征图的大小为56*56。128个大小为56*56的特征图作为第二层特征提取层的输入。第二特征提取层中的卷积层共有256个3*3的卷积核，卷积核扫描的扫描步长为1，填充步长为1，则经过第二特征提取层的卷积层进行卷积运算后得到的特征图的数量为256个，每一个特征图的大小为56*56。第二特征提取层中的池化层共有256个池化核，每一个池化核的大小为2*2，池化扫描步长为2，即，每次移动一个2×2的区域，填充步长为2，则得到的浅层特征图的个数为256个，每一个浅层特征图的大小为28*28。
步骤130：通过眉毛识别模型中的多个分支识别模型分别对多个浅层特征图进行识别，以得到多个分支识别模型各自对应的识别结果。
其中，分支识别模型的数量可以为两个或两个以上。优选的，在保证识别率同时减小眉毛识别模型复杂度的基础上，眉毛识别模型中分支识别模型的数量为3个。每一个分支识别模型对应一个感受野，用于提取该感受野的特征。以图4中输入图像为5*5为例，对感受野进行说明。如图4所示，输入图像为5*5，通过两层3*3的卷积核进行卷积操作之后，得到一个1*1的特征图像。其中，卷积核的扫描步长为1，则该识别模型的感受野是5*5。在本发明实施例中，三个分支识别模型的感受野分别为7*1、11*1和15*1，即经过分支识别模型中的卷积核提取后得到的特征图中一个像素点分别对应于输入分支识别模型的输入特征图中的7*1的区域、11*1的区域和15*1的区域。通过设置每一个分支识别模型的感受野，使每一个分支识别模型提取待识别的眉毛图像的一个感受野包含的特征，多个分支识别模型提取多个感受野的特征，从而使提取到的特征更加多样化，更有利于区分不同的眉毛类别。以感受野为7*1的分支识别模型为例，对分支识别模型的识别过程进行说明。
分支识别模型包括降维层、多个相互串联的目标卷积层、目标池化层和全连接层。每一个分支识别模型中目标卷积层的个数可以相同，也可以不同，每一个分支识别模型中目标卷积层的个数可以为一个或多个，本发明实施例并不以此为限。在通过分支识别模型对多个浅层特征图进行识别时，通过降维层对多个浅层特征图进行降维，得到降维后的多个第三特征图，第三特征图用于反馈待识别的眉毛图像的目标低层语义图像特征，目标低层语义图像特征是低层语义特征中用于精确表达眉毛图像的图像特征；通过多个相互串联的目标卷积层对多个第三特征图进行深层特征提取，得到该分支识别模型对应的多个第四特征图，一个第四特征图用于表示待识别的眉毛图像的一个高层语义图像特征。高层语义图像特征是低层语义图像特征的组合，例如，低层语义图像特征为一簇眉毛的长度，高层语义图像特征为待识别的眉毛图像中眉毛整体的长度；通过目标池化层对多个第四特征图进行池化，得到多个第五特征图；通过全连接层对第五特征图表征的图像特征进行加权运算，得到该分支识别模型对应的加权结果，该加权结果包括用于表示待识别的眉毛图像属于每一种眉毛类别的可能性的多个数值。加权结果中，属于某一类眉毛类别对应的数值越大，则待识别的眉毛图像属于该眉毛类别的可能性越大。对加权结果进行归一化输出，得到该分支识别模型对应的识别结果，该识别结果表示待识别的眉毛图像属于每一种眉毛类别的概率。
以256个大小为28*28的浅层特征图输入多个分支识别模型中的其中一个分支识别模型后的识别过程为例。该分支识别模型通过256个1*1的卷积核以扫描步长为2、填充步长为0的方式对浅层特征图进行降维，得到256个大小为14*14的第三特征图。两层串联的目标卷积层对256个14*14的第三特征图进行特征提取。每一层目标卷积层包括128个3*1的卷积核，每一个卷积核在对第三特征图进行扫描时的扫描步长为2，填充步长为1，从而得到128个大小为4*4的第四特征图。第四特征图中每一个像素点对应于第三特征图中的一个7*1的区域。通过目标池化层对每一个第四特征图进行池化，得到多个第五特征图。在本发明实施例中，目标池化层中的池化核大小与第四特征图的大小相同，通过池化层得到的第五特征图与第四特征图一一对应。例如，对于128个4*4的第四特征图，通过128个4*4的池化核进行池化，得到128个1*1的第五特征图。目标池化层的池化方式可以为最大池化或平均池化。以平均池化为例，将目标第四特征图中的所有像素点计算平均值，将该平均值作为第五特征图中的像素点的值。其中，目标第四特征图为多个第四特征图中的任意一个第四特征图。
每一个第五特征图与每一个眉毛类别之间有一个权重。将该权重与128个1*1的第五特征图进行加权计算，得到加权结果。加权结果表示待识别的眉毛图像属于每一种眉毛类别的可能性。例如，眉毛类别共包含两类，128个1*1的第五特征图对应的一个像素值分别表示为a1 1～a1 128，每一个第五特征图与第一种眉毛类别之间的权重分别表示为W1 1～W1 128，则第一种眉毛类别对应的加权结果为a1 1*W1 1+...+a1 128*W1 128。对于每一种眉毛类别对应的加权结果归一化，得到识别结果，该识别结果表示待识别的眉毛图像属于每一种眉毛类别的概率。
步骤140：根据识别结果计算每一种眉毛类别对应的概率之和，以得到每一种眉毛类别对应的概率和。
在本步骤中，每一个分支识别模型的识别结果均表示待识别的眉毛图像属于每一种眉毛类别的概率。将所有分支识别模型的识别结果中同一种眉毛类别的概率相加，得到该眉毛类别的概率和。例如，眉毛类别包含“柳叶眉”和“平直眉”两种，分支识别模型的数量为三个，每一个分支模型的识别结果分别为(b11，b12)、(b21，b22)、(b31，b32)，其中b11、b21、b31分别表示各分支模型的识别结果中待识别眉毛图像属于“柳叶眉”的概率，b12、b22、b32分别表示各分支模型的识别结果中待识别眉毛图像属于“平直眉”的概率，则待识别的眉毛图像属于“柳叶眉”的概率和c1为b11+b21+b31；待识别的眉毛图像属于“平直眉”的概率和c2为b12+b22+b32。
步骤150：将最大概率和对应的眉毛类别作为待识别的眉毛图像所属的眉毛类别。
以步骤140中计算得到的概率和为例，如果c1大于c2，则待识别的眉毛图像所属的眉毛类别为“柳叶眉”，如果c1小于c2，则待识别的眉毛图像所属的眉毛类别为“平直眉”。
本发明实施例通过眉毛识别模型对待识别的眉毛图像进行识别，眉毛识别模型中包含多个分支识别模型，通过多个分支识别模型的识别结果确定眉毛类别，每一个分支识别模型分别对待识别眉毛图像的多个浅层特征进行识别，以得到多个分支识别模型各自对应的识别结果，识别结果中包含了待识别的眉毛图像中的眉毛属于各种眉毛识别的多个概率，通过计算每一种眉毛类别对应的概率之和得到待识别的眉毛图像属于每一种眉毛类别的概率和，概率和的最大值为待识别的眉毛图像所属的眉毛类别。通过上述方式，最后确定的眉毛类别是通过多个分支识别模型的识别结果确定的。由于最后确定的眉毛类别综合了各分支模型的识别结果，因此，得到的识别结果更加可靠。此外，眉毛识别模型中的多个分支识别模型分别对浅层特征图进行进一步的识别得到识别结果，相较于仅提取颜色、形状、纹理等浅层特征进行眉毛识别，本发明实例更具有鲁棒性。
图5示出了本发明另一个实施例的一种眉毛识别方法的流程图。本发明实施例在步骤110之前，还包括如图5所示的以下步骤：
步骤210：构建眉毛识别模型。
其中，眉毛识别模型包括单边卷积层、填充层、特征提取层和多个分支识别模型。其中，单边卷积层用于提取特征提取层包括卷积层和池化层，卷积层用于提取眉毛特征，池化层用于对提取的眉毛特征进行降维。特征提取层可以为一层，也可以为多层，本发明实施例并不以此为限。多个分支识别模型相互独立，每一个分支识别模型分别对降维后的眉毛特征进行特征识别，以得到识别结果。根据所有分支识别模型的识别结果确定眉毛类别。分支识别模型的数量可以为一个或多个，本发明实施例并不以此为限。每一个分支识别模型中均包含降维层、卷积层、池化层和全连接层。其中，卷积层为至少一层。
在一种具体的实施方式中，构建的眉毛识别模型如图6所示，该眉毛识别模型包括一层单边卷积层，一层填充层、第一特征提取层、第二特征提取层和三个分支识别模型。其中，第一特征提取层和第二特征提取层均包含卷积层和池化层。三个分支识别模型中的第一分支识别模型包括一个降维层、两个相互串联的目标卷积层、一个目标池化层和一个全连接层；第二分支识别模型和第三分支识别模型分别包括一个降维层、一个目标卷积层和一个全连接层。
步骤220：获取多个训练图像。
其中，训练图像为眉毛图像，包括左眉毛图像和右眉毛图像。在一些实施例中，为了满足眉毛识别模型对输入图像的大小要求，对训练图像进行归一化。对训练图像归一化的过程可以参阅上一实施例中步骤110对待识别眉毛图像进行归一化的过程，在此不再赘述。
步骤230：对每一个训练图像对应的眉毛类别进行标识，得到每一个训练图像的标识信息。
其中，同一种眉毛类别的训练图像对应的标识信息相同，不同种眉毛类别的训练图像对应的标识信息不同。
步骤240：将每一个训练图像及其对应的标识信息作为一组训练样本，以得到多组训练样本。
其中，标识信息用于标识训练图像中眉毛的类别。同一种类别的训练图像标识信息相同，不同种类别的训练图像标识信息不相同。标识信息的具体形式可以为任一种，本发明实施例并不以此为限。在一种实施方式中，标识信息使用独热编码表示。例如，眉毛类别共包含四种类别，则使用独热编码表示的每一种类别的标识信息分别为1000、0100、0010、0001。一个训练图像和该训练图像对应的标识信息为一组训练样本。
步骤250：根据多组训练样本训练眉毛识别模型，得到训练好的眉毛识别模型。
在本发明实施例中，按照如图7所示的如下步骤训练眉毛识别模型。
步骤310：将多组训练样本输入眉毛识别模型中，得到每一组训练样本在每一个分支识别模型上属于每一种眉毛类别的样本概率。
将多组训练样本输入眉毛识别模型后，眉毛识别模型按照图1中步骤130～步骤160的方法得到每一组训练样本在每一个分支识别模型上属于每一种眉毛类别的样本概率。
步骤320：根据所有训练样本的样本概率和标识信息计算眉毛识别模型的损失函数的损失函数值。
其中，损失函数可以为任一种损失函数，例如，回归损失函数、平均损失函数、softmax损失函数等。本发明实施例并不限定损失函数的具体类别。以softmax损失函数为例，softmax损失函数的表达式为其中，Lk表示表示第k个分支识别模型的损失函数，αk表示第k个分支模型在所有分支模型中的权重，yj表示第j中类别的眉毛对应的标签，例如，两种眉毛类别对应的标签分别为0和1。zj为眉毛识别模型中第j种类别的眉毛对应的输出结果，j＝1，2...m，m表示眉毛类别总数，i＝1，2...N，N表示样本总数。每一组训练样本的样本概率为该组训练样本得到的该训练样本属于每一种眉毛类别的概率的最大值。将该样本概率作为zj，该组训练样本的标签作为yj，得到损失函数值。
步骤330：计算损失函数关于每一个权重的梯度，通过梯度下降法更新眉毛识别模型的权重。
以眉毛识别模型包括三个分支识别模型为例，对于任一需要更新的权重w，计算损失函数的梯度根据该梯度更新权重。更新后的权重w’＝w-μg(w)，其中，μ为学习率。
步骤340：判断损失函数值是否最小，若否，返回执行步骤310，若是，执行步骤350。
根据更新后的权重，按照步骤320计算更新权重后的损失函数值。
步骤350：将损失函数值最小的眉毛识别模型作为训练好的眉毛识别模型。
经过反复迭代更新，包含使损失函数最小值对应的权重的眉毛识别模型为训练好的眉毛识别模型。
本发明实施例通过训练图像对构建的眉毛识别模型进行训练，得到训练好的眉毛识别模型；训练好的眉毛识别模型是根据大量的训练图像得到的，训练图像中包含了各种眉毛类别的特征，从而使训练得到的眉毛识别模型更加可靠。
以图6构建的眉毛识别模型为例，输入的训练样本以64组样本为一个批次输入眉毛识别模型，每一个样本为一个大小为112*56*3的图像。设置初始学习率为0.001，最大迭代次数为10000次对眉毛识别模型进行训练。每训练一次，计算一次眉毛识别模型的损失函数，直至损失函数最小。如果迭代次数小于10000次时即获得使损失函数最小的眉毛识别模型，则停止模型的训练，得到训练好的眉毛识别模型。否则，则一直对眉毛识别模型进行训练10000次。
训练好眉毛识别模型后，将待识别的眉毛图像输入眉毛识别模型。其中，待识别的眉毛图像的大小为112*56*3。眉毛识别模型中各层的输入图像大小、各层设置的卷积核的大小、各层设置的卷积核的个数、扫描步长以及填充步长之间的对应关系分别如下表1所示。
表1
在上表1中，每一层输出的图像大小为与该层连接的眉毛识别模型的结构层对应的输入图像大小。上表中的k表示眉毛的类别，在实施过程中，k的取值等于眉毛类别的种类数。
图8示出了本发明实施例的一种眉毛识别装置的结构示意图。如图8所示，该装置包括：获取模块410、特征提取模块420、识别模块430、计算模块440和确定模块450。
其中，获取模块410用于获取待识别的眉毛图像。特征提取模块420，用于通过预先训练得到的眉毛识别模型对待识别的眉毛图像进行多个浅层特征提取，得到多个浅层特征图，一个浅层特征图用于反馈所述眉毛图像的一个低层语义图像特征。识别模块430，用于通过眉毛识别模型中的多个分支识别模型对所述多个浅层特征图进行识别，以得到所述多个分支识别模型各自对应的识别结果，每个识别结果包括用于指示所述眉毛图像中的眉毛属于各种眉毛类别的多个概率，一个概率对应一种眉毛类别，所述多个分支模型的感受野各不相同。计算模块440，用于根据所述识别结果计算每一种眉毛类别对应的概率之和，以得到每一种眉毛类别对应的概率和；确定模块450，用于将最大概率和对应的眉毛类别作为所述待识别的眉毛图像所属的眉毛类别。
在一种可选的方式中，所述特征提取模块420进一步用于：
通过所述眉毛识别模型中的多个单边卷积核分别提取所述待识别的眉毛图像的多种纹理特征，得到多个第一特征图，一个单边卷积核用于提取所述待识别的眉毛图像的一种纹理特征；
对每一个第一特征图进行填充，得到多个第二特征图，每一个第二特征图的宽和高相同；
通过眉毛识别模型中的浅层特征提取层对所述多个第二特征图进行浅层特征统一提取，得到所述多个浅层特征图。
在一种可选的方式中，每个分支识别模型包括降维层、多个相互串联的目标卷积层、目标池化层和全连接层，每个分支模型的目标卷积层中的卷积核的尺寸各不相同；所述识别模块430进一步用于：
通过各分支识别模型中的降维层分别对所述多个浅层特征图进行降维，以得到所述多个分支识别模型各自对应的多个第三特征图，所述第三特征图用于反馈所述眉毛图像的目标低层语义图像特征，所述目标低层语义特征是指所述低层语义特征中用于精确表达所述眉毛图像的图像特征；
通过所述各分支识别模型中的目标卷积层各自对所述多个分支识别模型各自对应的多个第三特征图进行深层特征提取，得到所述多个分支识别模型各自对应的多个第四特征图，一个第四特征图用于表示所述待识别的眉毛图像的高层语义图像特征；
通过所述各分支识别模型中的目标池化层各自对所述多个分支识别模型各自对应的多个第四特征图进行池化，得到所述多个分支识别模型各自对应的多个第五特征图；
通过所述各分支识别模型中的全连接层各自对所述多个分支识别模型各自对应的多个第五特征图表征的图像特征进行加权运算，得到所述多个分支识别模型各自对应的加权结果，每个加权结果包括用于表示所述待识别的眉毛图像属于每一种眉毛类别的可能性的多个数值；
对所述多个分支识别模型各自对应的加权结果进行归一化输出，得到所述多个分支识别模型各自对应的识别结果。
在一种可选的方式中，所述识别模块430进一步用于：
通过目标分支识别模型中的目标池化层对目标第四特征图中的所有像素点计算平均值，所述目标分支识别模型为所述多个分支识别模型中的任一分支识别模型，所述目标第四特征图为所述多个第四特征图中的任意一个第四特征图；
将所述平均值作为所述目标第四特征图对应的第五特征图的像素值，以得到所述多个分支识别模型各自对应的多个第五特征图。
在一种可选的方式中，所述装置还包括：
构建模块460，用于构建眉毛识别模型；
第一获取模块470，用于获取多个训练图像；
标识模块480，用于对每一个标准训练图像对应的眉毛类别进行标识，得到每一个标准训练图像的标识信息，同一种眉毛类别对应的标准训练图像的标识信息相同，不同种眉毛类别对应的标准训练图像的标识信息不同；
第一确定模块490，用于将每一个标准训练图像及其对应的标识信息作为一组训练样本，以得到多组训练样本；
训练模块400，用于根据所述多组训练样本训练所述眉毛识别模型，得到训练好的眉毛识别模型。
在一种可选的方式中，训练模块400进一步用于：
将所述多组训练样本输入所述眉毛识别模型，得到每一组训练样本在每一个分支识别模型上属于每一种眉毛类别的样本概率；
根据所有训练样本的样本概率和标识信息计算眉毛识别模型的损失函数的损失函数值；
计算所述损失函数关于每一个权重的梯度，通过梯度下降法更新所述眉毛识别模型的权重；
根据更新权重后的眉毛识别模型返回执行将所述多组训练样本输入所述眉毛识别模型的步骤，直至所述损失函数值最小；
将所述损失函数值最小的眉毛识别模型作为训练好的眉毛识别模型。
在一种可选的方式中，训练模块400进一步用于：
根据所有训练样本的样本概率计算每一个分支识别模型的损失函数值；
将所有的分支识别模型的损失函数值相加，得到所述眉毛识别模型的损失函数的损失函数值。
本发明实施例通过眉毛识别模型对眉毛进行识别，眉毛识别模型中包含多个分支识别模型，每一个分支识别模型分别对待识别眉毛图像的多个浅层特征进行识别，以得到多个分支识别模型各自对应的识别结果，识别结果中包含了待识别的眉毛图像中的眉毛属于各种眉毛识别的多个概率，通过计算每一种眉毛类别对应的概率之和得到待识别的眉毛图像属于每一种眉毛类别的概率和，概率和的最大值为待识别的眉毛图像所属的眉毛类别。通过上述方式，最后确定的眉毛类别是通过多个分支识别模型的识别结果确定的。由于最后确定的眉毛类别综合了各分支模型的识别结果，因此，得到的识别结果更加可靠。此外，眉毛识别模型中的多个分支识别模型分别对浅层特征图进行进一步的识别得到识别结果，相较于仅提取颜色、形状、纹理等浅层特征进行眉毛识别，本发明实例更具有鲁棒性。
本发明实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的一种眉毛识别方法的步骤。
图9示出了本发明实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图9所示，该计算设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中：处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。处理器502，用于执行程序510，具体可以执行上述用于眉毛识别方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行图1中的步骤110～步骤150，图5中的步骤210～步骤250，图7中的步骤310～步骤350，以及实现图8中的模块410～模块400的功能。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (9)

1.一种眉毛识别方法，其特征在于，所述方法包括：
获取待识别的眉毛图像；
通过预先训练得到的眉毛识别模型对所述待识别的眉毛图像进行多个浅层特征提取，得到多个浅层特征图，一个浅层特征图用于反馈所述眉毛图像的一个低层语义图像特征；
通过眉毛识别模型中的多个分支识别模型分别对所述多个浅层特征图进行识别，以得到所述多个分支识别模型各自对应的识别结果，每个识别结果包括用于指示所述眉毛图像中的眉毛属于各种眉毛类别的多个概率，一个概率对应一种眉毛类别，所述多个分支识别模型的感受野各不相同；其中，每个分支识别模型包括降维层、多个相互串联的目标卷积层、目标池化层和全连接层，每个分支模型的目标卷积层中的卷积核的尺寸各不相同；所述通过眉毛识别模型中的多个分支识别模型分别对所述多个浅层特征图进行识别，以得到所述多个分支识别模型各自对应的识别结果，包括：
通过各分支识别模型中的降维层分别对所述多个浅层特征图进行降维，以得到所述多个分支识别模型各自对应的多个第三特征图，所述第三特征图用于反馈所述眉毛图像的目标低层语义图像特征，所述目标低层语义图像特征是指所述低层语义图像特征中用于精确表达所述眉毛图像的图像特征；
通过所述各分支识别模型中的目标卷积层各自对所述多个分支识别模型各自对应的多个第三特征图进行深层特征提取，得到所述多个分支识别模型各自对应的多个第四特征图，一个第四特征图用于表示所述待识别的眉毛图像的高层语义图像特征；
通过所述各分支识别模型中的目标池化层各自对所述多个分支识别模型各自对应的多个第四特征图进行池化，得到多个分支识别模型各自对应的多个第五特征图；
通过所述各分支识别模型中的全连接层各自对所述多个分支识别模型各自对应的多个第五特征图表征的图像特征进行加权运算，得到所述多个分支识别模型各自对应的加权结果，每个加权结果包括用于表示所述待识别的眉毛图像属于每一种眉毛类别的可能性的多个数值；
对所述多个分支识别模型各自对应的加权结果进行归一化输出，得到所述多个分支识别模型各自对应的识别结果；
根据所述识别结果计算每一种眉毛类别对应的概率之和，以得到每一种眉毛类别对应的概率和；
将最大概率和对应的眉毛类别作为所述待识别的眉毛图像所属的眉毛类别。
2.根据权利要求1所述的方法，其特征在于，所述通过预先训练得到的眉毛识别模型对所述待识别的眉毛图像进行多个浅层特征提取，得到多个浅层特征图，包括：
通过所述眉毛识别模型中的多个单边卷积核分别提取所述待识别的眉毛图像的多种纹理特征，得到多个第一特征图，一个单边卷积核用于提取所述待识别的眉毛图像的一种纹理特征；
对每一个第一特征图进行填充，得到多个第二特征图，每一个第二特征图的宽和高相同；
通过眉毛识别模型中的浅层特征提取层对所述多个第二特征图进行浅层特征统一提取，得到所述多个浅层特征图。
3.根据权利要求1所述的方法，其特征在于，所述第五特征图为一维图像特征；通过所述各分支识别模型中的目标池化层各自对所述多个分支识别模型各自对应的多个第四特征图进行池化，得到所述多个分支识别模型各自对应的多个第五特征图，包括：
通过目标分支识别模型中的目标池化层对目标第四特征图中的所有像素点计算平均值，所述目标分支识别模型为所述多个分支识别模型中的任一分支识别模型，所述目标第四特征图为所述多个第四特征图中的任意一个第四特征图；
将所述平均值作为所述目标第四特征图对应的第五特征图的像素值，以得到所述多个分支识别模型各自对应的多个第五特征图。
4.根据权利要求1所述的方法，其特征在于，在获取待识别的眉毛图像之前，所述方法还包括：
构建眉毛识别模型；
获取多个训练图像；
对每一个训练图像对应的眉毛类别进行标识，得到每一个训练图像的标识信息，同一种眉毛类别对应的训练图像的标识信息相同，不同种眉毛类别对应的训练图像的标识信息不同；
将每一个训练图像及其对应的标识信息作为一组训练样本，以得到多组训练样本；
根据所述多组训练样本训练所述眉毛识别模型，得到训练好的眉毛识别模型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述多组训练样本训练所述眉毛识别模型，得到训练好的眉毛识别模型，包括：
将所述多组训练样本输入所述眉毛识别模型，得到每一组训练样本在每一个分支识别模型上属于每一种眉毛类别的样本概率；
根据所有训练样本的样本概率和标识信息计算眉毛识别模型的损失函数的损失函数值；
计算所述损失函数关于每一个权重的梯度，通过梯度下降法更新所述眉毛识别模型的权重；
根据更新权重后的眉毛识别模型返回执行将所述多组训练样本输入所述眉毛识别模型的步骤，直至所述损失函数的损失函数值最小；
将所述损失函数值最小的眉毛识别模型作为训练好的眉毛识别模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所有训练样本的样本概率和标识信息计算眉毛识别模型的损失函数的损失函数值，包括：
根据所有训练样本的样本概率计算每一个分支识别模型的损失函数的损失函数值；
将所有的分支识别模型的损失函数值相加，得到所述眉毛识别模型的损失函数值。
7.一种眉毛识别装置，其特征在于，所述装置包括：
获取模块，用于获取待识别的眉毛图像；
特征提取模块，用于通过预先训练得到的眉毛识别模型对待识别的眉毛图像进行多个浅层特征提取，得到多个浅层特征图，一个浅层特征图用于反馈所述眉毛图像的一个低层语义图像特征；
识别模块，用于通过眉毛识别模型中的多个分支识别模型分别对所述多个浅层特征图进行识别，以得到所述多个分支识别模型各自对应的识别结果，每个识别结果包括用于指示所述眉毛图像中的眉毛属于各种眉毛类别的多个概率，一个概率对应一种眉毛类别，所述多个分支识别模型的感受野各不相同；其中，每个分支识别模型包括降维层、多个相互串联的目标卷积层、目标池化层和全连接层，每个分支模型的目标卷积层中的卷积核的尺寸各不相同；所述通过眉毛识别模型中的多个分支识别模型分别对所述多个浅层特征图进行识别，以得到所述多个分支识别模型各自对应的识别结果，包括：
通过各分支识别模型中的降维层分别对所述多个浅层特征图进行降维，以得到所述多个分支识别模型各自对应的多个第三特征图，所述第三特征图用于反馈所述眉毛图像的目标低层语义图像特征，所述目标低层语义图像特征是指所述低层语义图像特征中用于精确表达所述眉毛图像的图像特征；
通过所述各分支识别模型中的目标卷积层各自对所述多个分支识别模型各自对应的多个第三特征图进行深层特征提取，得到所述多个分支识别模型各自对应的多个第四特征图，一个第四特征图用于表示所述待识别的眉毛图像的高层语义图像特征；
通过所述各分支识别模型中的目标池化层各自对所述多个分支识别模型各自对应的多个第四特征图进行池化，得到多个分支识别模型各自对应的多个第五特征图；
通过所述各分支识别模型中的全连接层各自对所述多个分支识别模型各自对应的多个第五特征图表征的图像特征进行加权运算，得到所述多个分支识别模型各自对应的加权结果，每个加权结果包括用于表示所述待识别的眉毛图像属于每一种眉毛类别的可能性的多个数值；
对所述多个分支识别模型各自对应的加权结果进行归一化输出，得到所述多个分支识别模型各自对应的识别结果；
计算模块，用于根据所述识别结果计算每一种眉毛类别对应的概率之和，以得到每一种眉毛类别对应的概率和；
确定模块，用于将最大概率和对应的眉毛类别作为所述待识别的眉毛图像所属的眉毛类别。
8.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行根据权利要求1-6任一项所述的眉毛识别方法的步骤。
9.一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行根据权利要求1-6任一项所述的一种眉毛识别方法的步骤。
CN202010089029.7A 2020-02-12 2020-02-12 眉毛识别方法、装置、计算设备及计算机可读存储介质 Active CN111274993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010089029.7A CN111274993B (zh) 2020-02-12 2020-02-12 眉毛识别方法、装置、计算设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010089029.7A CN111274993B (zh) 2020-02-12 2020-02-12 眉毛识别方法、装置、计算设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111274993A CN111274993A (zh) 2020-06-12
CN111274993B true CN111274993B (zh) 2023-08-04

Family

ID=71003744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010089029.7A Active CN111274993B (zh) 2020-02-12 2020-02-12 眉毛识别方法、装置、计算设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111274993B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688784A (zh) * 2017-08-23 2018-02-13 福建六壬网安股份有限公司 一种基于深层特征和浅层特征融合的字符识别方法及存储介质
CN109241930A (zh) * 2018-09-20 2019-01-18 北京字节跳动网络技术有限公司 用于处理眉部图像的方法和装置
CN109934173A (zh) * 2019-03-14 2019-06-25 腾讯科技（深圳）有限公司 表情识别方法、装置及电子设备
CN110555481A (zh) * 2019-09-06 2019-12-10 腾讯科技（深圳）有限公司 一种人像风格识别方法、装置和计算机可读存储介质
CN110688875A (zh) * 2018-07-05 2020-01-14 杭州海康威视数字技术股份有限公司 人脸质量评估网络训练方法、人脸质量评估方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688784A (zh) * 2017-08-23 2018-02-13 福建六壬网安股份有限公司 一种基于深层特征和浅层特征融合的字符识别方法及存储介质
CN110688875A (zh) * 2018-07-05 2020-01-14 杭州海康威视数字技术股份有限公司 人脸质量评估网络训练方法、人脸质量评估方法及装置
CN109241930A (zh) * 2018-09-20 2019-01-18 北京字节跳动网络技术有限公司 用于处理眉部图像的方法和装置
CN109934173A (zh) * 2019-03-14 2019-06-25 腾讯科技（深圳）有限公司 表情识别方法、装置及电子设备
CN110555481A (zh) * 2019-09-06 2019-12-10 腾讯科技（深圳）有限公司 一种人像风格识别方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
CN111274993A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN111950638B (zh) 基于模型蒸馏的图像分类方法、装置和电子设备
CN108229509B (zh) 用于识别物体类别的方法及装置、电子设备
WO2020238054A1 (zh) Pdf文档中图表的定位方法、装置及计算机设备
CN111160114B (zh) 手势识别方法、装置、设备及计算机可读存储介质
CN112308866B (zh) 图像处理方法、装置、电子设备及存储介质
CN110245621B (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN111444365B (zh) 图像分类方法、装置、电子设备及存储介质
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN112256899B (zh) 图像重排序方法、相关设备及计算机可读存储介质
CN110457677A (zh) 实体关系识别方法及装置、存储介质、计算机设备
CN113408570A (zh) 一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端
CN113065426A (zh) 基于通道感知的手势图像特征融合方法
CN114626476A (zh) 基于Transformer与部件特征融合的鸟类细粒度图像识别方法及装置
CN111414823B (zh) 人体特征点的检测方法、装置、电子设备以及存储介质
CN111666813B (zh) 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法
CN111274993B (zh) 眉毛识别方法、装置、计算设备及计算机可读存储介质
CN106709490A (zh) 一种字符识别方法和装置
CN112489173A (zh) 人像照片漫画生成的方法和系统
CN110765917A (zh) 适用于人脸识别模型训练的主动学习方法、装置、终端、介质
CN110555462A (zh) 基于卷积神经网络的无固定多字符验证码识别方法
CN113408528B (zh) 商品图像的质量识别方法、装置、计算设备及存储介质
CN115147405A (zh) 一种快速新能源电池无损检测方法
CN113065480B (zh) 书法作品风格的识别方法、装置、电子装置和存储介质
CN114677578A (zh) 确定训练样本数据的方法和装置
CN111738248B (zh) 字符识别方法、字符译码模型的训练方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant