CN109145987B - 模型生成方法及装置 - Google Patents

模型生成方法及装置 Download PDF

Info

Publication number
CN109145987B
CN109145987B CN201810956790.9A CN201810956790A CN109145987B CN 109145987 B CN109145987 B CN 109145987B CN 201810956790 A CN201810956790 A CN 201810956790A CN 109145987 B CN109145987 B CN 109145987B
Authority
CN
China
Prior art keywords
model
image
prediction
images
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810956790.9A
Other languages
English (en)
Other versions
CN109145987A (zh
Inventor
刘志辉
许清泉
洪炜冬
王喆
余清洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN201810956790.9A priority Critical patent/CN109145987B/zh
Publication of CN109145987A publication Critical patent/CN109145987A/zh
Application granted granted Critical
Publication of CN109145987B publication Critical patent/CN109145987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及一种模型生成方法及装置，方法包括：获取多张人脸图像并进行处理以得到多张样本图像，将多张样本图像输入至卷积神经网络以得到包括年龄模型、性别模型以及种族模型的多任务预测模型，针对同一用户对应的所有样本图像采用多任务预测模型进行预测得到该用户对应的所有样本的预测结果，根据各用户对应的所有样本的预测结果得到预测结果的准确率，接收用户基于预测结果对样本图像输入的调整信息，根据调整信息得到调整后的预测结果，将调整后的预测结果对应的样本图像输入多任务预测模型以进行更新。通过上述方法，以使更新后的多任务预测模型能实现进行多任务准确并行处理，进而避免内存消耗过高的问题。

Description

模型生成方法及装置
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种模型生成方法及装置。
背景技术
目前，性别、年龄、种族的分类有着非常广泛的实际应用，通过分析人脸的这些属性可以对用户图片进行不同的美化任务，可以给不同的用户推荐不同的产品等许多应用，使得商家更有针对性的为特定用户提供定向服务。
发明人经研究发现，现有技术都是通过不同的分类器来分别处理性别、年龄和种族，但是由于移动设备计算能力和存储有限，多个模型来处理不同任务会导致计算速度慢、内存消耗高等问题。因此，提供一种能够同时处理性别、年龄、种族分类的方式，以避免内存消耗过高是亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种模型生成方法及装置，有效缓解上述技术问题。
为实现上述目的，本发明实施例采用如下技术方案：
一种模型生成方法，包括：
获取多张人脸图像并进行处理以得到多张样本图像，其中，所述多张人脸图像为多个用户的人脸图像，且每个用户对应的人脸图像为多张，每张图像分别对应有标识类型，所述标识类型包括年龄标识、种族标识和性别标识；
将所述多张样本图像输入至卷积神经网络并根据各张图像对应的标识类型以得到包括年龄模型、性别模型以及种族模型的多任务预测模型；
针对同一用户对应的所有样本图像采用所述多任务预测模型进行预测得到该用户对应的所有样本的预测结果，并根据各用户对应的所有样本的预测结果得到预测结果的准确率；
当准确率低于一设定值时，接收用户基于所述预测结果对所述样本图像输入的调整信息，并根据所述调整信息对所述预测结果进行调整以得到调整后的预测结果；
将调整后的预测结果对应的样本图像输入所述多任务预测模型以更新所述多任务预测模型。
可选的，在上述模型生成方法中，所述获取多张人脸图像并进行处理以得到多张样本图像的步骤包括：
获取多张人脸图像，并针对每张图像分别进行摆正并缩放至一设定尺度以得到缩放后的样本图像；
将所述多张样本图像输入至卷积神经网络并根据各张图像对应的标识类型以得到包括年龄模型、性别模型以及种族模型的多任务预测模型的步骤包括：
将各所述样本图像进行第一卷积降维以得到第一图像；
对各所述第一图像采用第二卷积降维以得到第二图像，对所述第一图像采用分组卷积进行处理以得到第三图像，将各所述第二图像和对应的第三图像进行融合以得到目标图像；
根据各所述目标图像及对应的标识类型得到包括年龄模型、性别模型以及种族模型的多任务预测模型。
可选的，在上述模型生成方法中，对所述第一图像采用分组卷积进行处理以得到第三图像的步骤包括：
对所述第一图像采用1*1卷积进行信息流通和组合处理以得到处理后的第一图像；
对所述处理后的第一图像采用3*3分组卷积进行处理以得到第三图像。
可选的，在上述模型生成方法中，所述根据各所述目标图像及对应的标识类型得到包括年龄模型、性别模型以及种族模型的多任务预测模型的步骤包括：
针对包括年龄标识的目标图像、包括种族标识的目标图像和包括性别标识的目标图像分别进行迭代学习以得到包括年龄模型、性别模型以及种族模型的多任务预测模型。
可选的，在上述模型生成方法中，所述针对同一用户对应的所有样本图像采用所述多任务预测模型进行预测得到该用户对应的所有样本的预测结果，并根据各用户对应的所有样本的预测结果得到预测结果的准确率的步骤包括：
针对同一用户对应的所有样本图像采用所述多任务预测模型进行预测得到该用户对应的所有样本图像包括年龄预测结果、种族预测结果以及性别预测结果的多任务预测结果，并在该所有样本图像对应的年龄预测结果差值大于预设值或存在样本图像对应的性别或年龄与其他样本图像不同时，得到该用户对应的所有样本的预测结果的准确率。
可选的，在上述模型生成方法中，在执行将调整后的预测结果对应的样本图像输入所述多任务预测模型以更新所述多任务预测模型的步骤之后，所述方法还包括：
将多个待识别图像依次采用更新后的多任务预测模型进行多任务预测，并在预测完成后，采用
Figure BDA0001772854890000041
对所述更新后的多任务预测模型的准确率进行调整，其中，k为任务预测模型，Δak,t为任务预测模型k在t次迭代的准确率的变化率，且初始值设置为Δak,t＝1。
本发明还提供一种模型生成装置，所述装置包括：
样本获得模块用于获取多张人脸图像并进行处理以得到多张样本图像，其中，所述多张人脸图像为多个用户的人脸图像，且每个用户对应的人脸图像为多张，每张图像分别对应有标识类型，所述标识类型包括年龄标识、种族标识和性别标识；
模型生成模块，用于将所述多张样本图像输入至卷积神经网络以得到包括年龄模型、性别模型以及种族模型的多任务预测模型；
准确率获得模块，用于针对同一用户对应的所有样本图像采用所述多任务预测模型进行预测得到该用户对应的所有样本的预测结果，并根据各用户对应的所有样本的预测结果得到预测结果的准确率；
调整模块，用于当准确率低于一设定值时，接收用户基于所述预测结果对所述样本图像输入的调整信息，并根据所述调整信息对所述预测结果进行调整以得到调整后的预测结果；
更新模块，用于将调整后的预测结果对应的样本图像输入所述多任务预测模型以更新所述多任务预测模型。
可选的，在上述模型生成装置中，所述样本获得模块，还用于获取多张人脸图像，并针对每张图像分别进行摆正并缩放至一设定尺度以得到缩放后的样本图像：
所述模型生成模块包括：
第一处理子模块，用于将各所述样本图像进行第一卷积降维以得到第一图像；
第二处理子模块，用于对各所述第一图像采用第二卷积降维以得到第二图像，对所述第一图像采用分组卷积进行处理以得到第三图像，将各所述第二图像和对应的第三图像进行融合以得到目标图像；
模型获得子模块，用于根据各所述目标图像及对应的标识类型得到包括年龄模型、性别模型以及种族模型的多任务预测模型。
可选的，在上述模型生成装置中，所述第二处理子模块包括：
第一处理单元，用于对所述第一图像采用1*1卷积进行信息流通和组合处理以得到处理后的第一图像；
第二处理单元，用于对所述处理后的第一图像采用3*3分组卷积进行处理以得到第三图像。
可选的，在上述模型生成装置中，所述模型生成模块，还用于针对包括年龄标识的目标样本图像、包括种族标识的目标样本图像和包性别标识的目标样本图像分别输入至所述卷积神经网络以得到包括年龄模型、性别模型以及种族模型的多任务预测模型。
本发明提供的一种模型生成方法及装置，获取多张人脸图像并进行处理以得到多张样本图像，将多张样本图像输入至卷积神经网络以得到包括年龄模型、性别模型以及种族模型的多任务预测模型，针对同一用户对应的所有样本图像采用多任务预测模型进行预测得到该用户对应的所有样本的预测结果，根据各用户对应的所有样本的预测结果得到预测结果的准确率，接收用户基于预测结果对样本图像输入的调整信息，根据调整信息得到调整后的预测结果，将调整后的预测结果对应的样本图像输入多任务预测模型以进行更新。通过上述方法，以使更新后的多任务预测模型能实现进行多任务准确并行处理，进而避免内存消耗过高的问题。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1为本发明实施例提供的终端设备的结构框图。
图2为本发明实施例提供的模型生成方法的流程示意图。
图3为图2中步骤S120的流程示意图。
图4为图3中步骤S124的流程示意图。
图5为本发明实施例提供的模型生成装置的连接框图。
图6为本发明实施例提供的样本获得模块的连接框图。
图7为本发明实施例提供的第二处理子模块的连接框图。
图标：10-终端设备；12-存储器；14-处理器；100-模型生成装置；110-样本获得模块；120-模型生成模块；122-第一处理子模块；124-第二处理子模块；124a-第一处理单元；124b-第二处理单元；126-模型获得子模块；130-准确率获得模块；140-调整模块；150-更新模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
如图1所示，本发明实施例提供了一种终端设备10，包括存储器12、处理器14和模型生成装置100。其中，所述终端设备10是但不限于智能手机、个人电脑(personalcomputer，PC)、平板电脑等具有数据处理能力的电子设备，在此不作具体限定。
在本实施实例中，所述存储器12和处理器14之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述模型生成装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行模块，例如所述模型生成装置100所包括的软件功能模块及计算机程序等，以实现模型生成方法。
其中，所述存储器12可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器12用于存储程序，所述处理器14在接收到执行指令后，执行所述程序。
所述处理器14可能是一种集成电路芯片，具有信号的处理能力。上述的处理器14可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以理解，图1所示的结构仅为示意，所述终端设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
结合图2，本发明实施例还提供一种可应用于上述的终端设备10的模型生成方法，所述方法包括步骤S110-步骤S150五个步骤。
步骤S110：获取多张人脸图像并进行处理以得到多张样本图像，其中，所述多张人脸图像为多个用户的人脸图像，且每个用户对应的人脸图像为多张，每张图像分别对应有标识类型，所述标识类型包括年龄标识、种族标识和性别标识。
其中，多张图像的数量可以是但不限于几百张、几千张或几万张，在此不作具体限定，可以理解，当数量越多时对应生成的模型更加可靠。每张人脸图像的尺寸大小可以是任意的，且各张图片的大小可以是相同的，也可以是不同的，在此不作具体限定。多张人脸图像中的人脸的摆放位置可以是任意的，且各张图像中的人脸摆放位置和方向可以是相同的，也可以是不同的，在此不作具体限定。对获取到的多张人脸图像进行处理的方式可以是对各人脸图像中包括的人脸缩放至相同尺寸，对各人脸图像中的人脸进行摆正处理和/或对各人脸图像中的人脸进行除噪音等处理，在此不作具体限定。
为便于对各图像进行后续处理，可选的，在本实施例中，获取多张人脸图像并进行处理以得到多张样本图像的步骤包括：获取多张人脸图像，并针对每张图像分别进行摆正并缩放至一设定尺度以得到缩放后的人脸图像。
其中，将每张图像分别进行摆正并缩放至一设定尺寸的方式为，将每张图片中人脸缩进行摆正并缩放至一设定尺寸。
步骤S120：将所述多张样本图像输入至卷积神经网络并根据各张图像对应的标识类型以得到包括年龄模型、性别模型以及种族模型的多任务预测模型。
请结合图3，在本实施例中，将所述多张样本图像输入至卷积神经网络并根据各张图像对应的标识类型以得到包括年龄模型、性别模型以及种族模型的多任务预测模型的步骤包括：
步骤S122：将各所述样本图像进行第一卷积降维以得到第一图像。
其中，对所述样本图像进行第一卷积降维的方式可以是，对所述样本图像采用1*1的方式进行卷积降维，也可以是采用3*3的方式进行卷积降维，还可以是5*5的方式进行卷积降维，在此不作具体限定。
步骤S124：对各所述第一图像采用第二卷积降维以得到第二图像，对所述第一图像采用分组卷积进行处理以得到第三图像，将各所述第二图像和对应的第三图像进行融合以得到目标图像。
其中，对所述第一图像采用第二卷积降维以得到第二图像的方式可以对所述第一图像采用1*1的方式进行卷积降维，也可以是采用3*3的方式进行卷积降维，还可以是5*5的方式进行卷积降维，在此不作具体限定。对所述第二图像采用分组卷积进行处理的方式可以是，对所述第二图像先采用1*1卷积进行流通信息处理，并对处理后的第二图像采用3*3进行分组卷积处理以得到第三图像，也可以是先采用1*1卷积进行流通信息处理，并对处理后的第二图像采用5*5进行分组卷积处理以得到第三图像。
通过上述设置以降低所述先将特征层分类分组，每组分别进行卷积，最后再将所有的信息进行融合，这样有效降低后续的计算量和参数。
可选的，在本实施例中，对所述第一图像采用分组卷积进行处理以得到第三图像的步骤包括：
步骤S124a：对所述第一图像采用1*1卷积进行信息流通和组合处理以得到处理后的第一图像。
步骤S124b：对所述处理后的第一图像采用3*3分组卷积进行处理以得到第三图像。
步骤S126：根据各所述目标图像及对应的标识类型得到包括年龄模型、性别模型以及种族模型的多任务预测模型。
所述根据各所述目标图像及对应的标识类型得到包括年龄模型、性别模型以及种族模型的多任务预测模型的步骤包括：
所述针对包括年龄标识的目标图像、包括种族标识的目标图像和包括性别标识的目标图像分别进行迭代学习以得到包括年龄模型、性别模型以及种族模型的多任务预测模型。
步骤S130：针对同一用户对应的所有样本图像采用所述多任务预测模型进行预测得到该用户对应的所有样本的预测结果，并根据各用户对应的所有样本的预测结果得到预测结果的准确率。
可以理解，针对同一用户对应的所有样本图像采用所述多任务预测模型进行预测得到的预测结果应当为同一种族和同一性别，且该所有样本对应的年龄应当在一设定范围内。当存在同一用户对应的样本图像的年龄超出所述设定范围，以及存在同一用户的种族不同以及存在同一用户的性别不同，则可以根据年龄超出所述设定范围内的样本图像数量，种族不同的图像数量和/或性别不同的图像数量得到预测结果的准确率。
具体的，在本实施例中，所述针对同一用户对应的所有样本图像采用所述多任务预测模型进行预测得到该用户对应的所有样本的预测结果，并根据各用户对应的所有样本的预测结果得到预测结果的准确率的步骤包括：
针对同一用户对应的所有样本图像采用所述多任务预测模型进行预测得到该用户对应的所有样本图像包括年龄预测结果、种族预测结果以及性别预测结果的多任务预测结果，并在该所有样本图像对应的年龄预测结果差值大于预设值或存在样本图像对应的性别或年龄与其他样本图像不同时，得到该用户对应的所有样本的预测结果得的准确率。
步骤S140：当准确率低于一设定值时，接收用户基于所述预测结果对所述样本图像输入的调整信息，并根据所述调整信息对所述预测结果进行调整以得到调整后的预测结果。
其中，所述调整信息为年龄数值、种族类型或性别类型，其中，所述年龄数值为0-100中的任意整数，所述种族为黄种人、白种人以及黑种人，所述性别为男性或女性。
步骤S150：将调整后的预测结果对应的样本图像输入所述多任务预测模型以更新所述多任务预测模型。
通过上述设置，以使获得的更新后的多任务预测模型对待检测图像进行预测时能实现对所述待测图像进行多任务准确并行处理，进而避免内存消耗过高的问题。
为使在完成更新多任务预测模型之后，再基于该多任务预测模型进行多任务的学习，以使学习后的多任务预测模型对待测图像进行预测后得到的结果更加准确，在本实施例中，在执行将调整后的预测结果对应的样本图像输入所述多任务预测模型以更新所述多任务预测模型的步骤之后，所述方法还包括：
将多个待识别图像依次采用更新后的多任务预测模型进行多任务预测，并在预测完成后，采用
Figure BDA0001772854890000131
对所述更新后的多任务预测模型的准确率进行调整，其中，k为任务预测模型，Δak,t为任务预测模型k在t次迭代的准确率的变化率，且初始值设置为Δak,t＝1。
请结合图5，在上述基础上，本发明还提供一种模型生成装置100，包括样本获得模块110、模型生成模块120、准确率获得模块130、调整模块140以及更新模块150。
所述样本获得模块110用于获取多张人脸图像并进行处理以得到多张样本图像。其中，所述多张人脸图像为多个用户的人脸图像，且每个用户对应的人脸图像为多张，每张图像分别对应有标识类型，所述标识类型包括年龄标识、种族标识和性别标识。在本实施例中，所述样本获得模块110可用于执行图2所示的步骤S110，关于所样本获得模块110的具体描述可以参照前文对步骤S110的描述。
其中，所述样本获得模块110还用于获取多张人脸图像，并针对每张图像分别进行摆正并缩放至一设定尺度以得到缩放后的样本图像。
所述模型生成模块120用于将所述多张样本图像输入至卷积神经网络以得到包括年龄模型、性别模型以及种族模型的多任务预测模型。在本实施例中，所述模型生成模块120可用于执行图2所示的步骤S120，关于所述模型生成模块120的具体描述可以参照前文对步骤S120的描述。
请结合图6，可选的，在本实施例中，所述模型生成模块120还包括：第一处理子模块122、第二处理子模块124以及模型获得子模块126。
所述第一处理子模块122用于将各所述样本图像进行第一卷积降维以得到第一图像。在本实施例中，所述第一处理子模块122可用于执行图3所示的步骤S122，关于所述第一处理子模块122的具体描述可以参照前文对步骤S122的描述。
所述第二处理子模块124用于对各所述第一图像采用第二卷积降维以得到第二图像，对所述第一图像采用分组卷积进行处理以得到第三图像，将各所述第二图像和对应的第三图像进行融合以得到目标图像。在本实施例中，所述第二处理子模块124可用于执行图3所示的步骤S124，关于所述第二处理子模块124的具体描述可以参照前文对步骤S124的描述。
请结合图7，在本实施例中，所述第二处理子模块124包括第一处理单元124a和第二处理单元124b。
所述第一处理单元124a用于对所述第一图像采用1*1卷积进行信息流通和组合处理以得到处理后的第一图像。在本实施例中，所述第一处理单元124a可用于执行图4所示的步骤S124a，关于所述第一处理单元124a的具体描述可以参照前文对步骤S124a的描述。
所述第二处理单元124b用于对所述处理后的第一图像采用3*3分组卷积进行处理以得到第三图像。在本实施例中，所述第二处理单元124b可用于执行图4所示的步骤S124b，关于所述第二处理单元124b的具体描述可以参照前文对步骤S124b的描述。
所述模型获得子模块126用于根据各所述目标图像及对应的标识类型得到包括年龄模型、性别模型以及种族模型的多任务预测模型。在本实施例中，所述模型获得子模块126可用于执行图3所示的步骤S126，关于所述模型获得子模块126的具体描述可以参照前文对步骤S126的描述。
可选的，在本实施例中，所述模型生成模块120，还用于针对包括年龄标识的目标样本图像、包括种族标识的目标样本图像和包性别标识的目标样本图像分别输入至所述卷积神经网络以得到包括年龄模型、性别模型以及种族模型的多任务预测模型。
所述准确率获得模块130用于针对同一用户对应的所有样本图像采用所述多任务预测模型进行预测得到该用户对应的所有样本的预测结果，并根据各用户对应的所有样本的预测结果得到预测结果的准确率。在本实施例中，所述准确率获得模块130可用于执行图2所示的步骤S130于所述准确率获得模块130的具体描述可以参照前文对步骤S130。
可选的，在本实施例中，所述准确率获得模块130还用于针对同一用户对应的所有样本图像采用所述多任务预测模型进行预测得到该用户对应的所有样本图像包括年龄预测结果、种族预测结果以及性别预测结果的多任务预测结果，并在该所有样本图像对应的年龄预测结果差值大于预设值或存在样本图像对应的性别或年龄与其他样本图像不同时，得到该用户对应的所有样本的预测结果的准确率。
所述调整模块140用于当准确率低于一设定值时，接收用户基于所述预测结果对所述样本图像输入的调整信息，并根据所述调整信息对所述预测结果进行调整以得到调整后的预测结果。在本实施例中，所述调整模块140可用于执行图2所示的步骤S140，关于所述调整模块140的具体描述可以参照前文对步骤S140的描述。
所述更新模块150用于将调整后的预测结果对应的样本图像输入所述多任务预测模型以更新所述多任务预测模型。在本实施例中，所述更新模块150可用于执行图2所示的步骤S150，关于所述更新模块150的具体描述可以参照前文对步骤S150的描述。
可选的，在本实施例中，所述模型生成装置100还包括准确率更改模块，用于将多个待识别图像依次采用更新后的多任务预测模型进行多任务预测，并在预测完成后，采用
Figure BDA0001772854890000161
对所述更新后的多任务预测模型的准确率进行调整，其中，k为任务预测模型，Δak,t为任务预测模型k在t次迭代的准确率的变化率，且初始值设置为Δak,t＝1。关于所述准确率更改模块请参照上文对所述模型生成方法的描述。
综上，本发明提供的一种模型生成方法及装置，通过获取多张人脸图像并进行处理以得到多张样本图像，将多张样本图像输入至卷积神经网络以得到包括年龄模型、性别模型以及种族模型的多任务预测模型，针对同一用户对应的所有样本图像采用多任务预测模型进行预测得到该用户对应的所有样本的预测结果，根据各用户对应的所有样本的预测结果得到预测结果的准确率，接收用户基于预测结果对样本图像输入的调整信息，根据调整信息得到调整后的预测结果，将调整后的预测结果对应的样本图像输入多任务预测模型以进行更新。通过上述方法，以使更新后的多任务预测模型能实现进行多任务准确并行处理，进而避免内存消耗过高的问题。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种模型生成方法，其特征在于，所述方法包括：
获取多张人脸图像并进行处理以得到多张样本图像，其中，所述多张人脸图像为多个用户的人脸图像，且每个用户对应的人脸图像为多张，每张图像分别对应有标识类型，所述标识类型包括年龄标识、种族标识和性别标识；
将所述多张样本图像输入至卷积神经网络并根据各张图像对应的标识类型以得到包括年龄模型、性别模型以及种族模型的多任务预测模型；
针对同一用户对应的所有样本图像采用所述多任务预测模型进行预测得到该用户对应的所有样本的预测结果，并根据各用户对应的所有样本的预测结果得到预测结果的准确率；
当准确率低于一设定值时，接收用户基于所述预测结果对所述样本图像输入的调整信息，并根据所述调整信息对所述预测结果进行调整以得到调整后的预测结果；
将调整后的预测结果对应的样本图像输入所述多任务预测模型以更新所述多任务预测模型；
将多个待识别图像依次采用更新后的多任务预测模型进行多任务预测，并在预测完成后，采用
Figure FDA0002592249110000011
对所述更新后的多任务预测模型的准确率进行调整，其中，k为任务预测模型，Δak,t为任务预测模型k在t次迭代的准确率的变化率，且初始值设置为Δak,t＝1；
其中，所述获取多张人脸图像并进行处理以得到多张样本图像的步骤包括：获取多张人脸图像，并针对每张图像分别进行摆正并缩放至一设定尺度以得到缩放后的样本图像；
将所述多张样本图像输入至卷积神经网络并根据各张图像对应的标识类型以得到包括年龄模型、性别模型以及种族模型的多任务预测模型的步骤包括：
将各所述样本图像进行第一卷积降维以得到第一图像；
对各所述第一图像采用第二卷积降维以得到第二图像，对所述第一图像采用分组卷积进行处理以得到第三图像，将各所述第二图像和对应的第三图像进行融合以得到目标图像；
根据各所述目标图像及对应的标识类型得到包括年龄模型、性别模型以及种族模型的多任务预测模型。
2.根据权利要求1所述的模型生成方法，其特征在于，对所述第一图像采用分组卷积进行处理以得到第三图像的步骤包括：
对所述第一图像采用1*1卷积进行信息流通和组合处理以得到处理后的第一图像；
对所述处理后的第一图像采用3*3分组卷积进行处理以得到第三图像。
3.根据权利要求1所述的模型生成方法，其特征在于，所述根据各所述目标图像及对应的标识类型得到包括年龄模型、性别模型以及种族模型的多任务预测模型的步骤包括：
针对包括年龄标识的目标图像、包括种族标识的目标图像和包括性别标识的目标图像分别进行迭代学习以得到包括年龄模型、性别模型以及种族模型的多任务预测模型。
4.根据权利要求3所述的模型生成方法，其特征在于，所述针对同一用户对应的所有样本图像采用所述多任务预测模型进行预测得到该用户对应的所有样本的预测结果，并根据各用户对应的所有样本的预测结果得到预测结果的准确率的步骤包括：
针对同一用户对应的所有样本图像采用所述多任务预测模型进行预测得到该用户对应的所有样本图像包括年龄预测结果、种族预测结果以及性别预测结果的多任务预测结果，并在该所有样本图像对应的年龄预测结果差值大于预设值或存在样本图像对应的性别或年龄与其他样本图像不同时，得到该用户对应的所有样本的预测结果的准确率。
5.一种模型生成装置，其特征在于，所述装置包括：
样本获得模块，用于获取多张人脸图像并进行处理以得到多张样本图像，其中，所述多张人脸图像为多个用户的人脸图像，且每个用户对应的人脸图像为多张，每张图像分别对应有标识类型，所述标识类型包括年龄标识、种族标识和性别标识；
模型生成模块，用于将所述多张样本图像输入至卷积神经网络以得到包括年龄模型、性别模型以及种族模型的多任务预测模型；
准确率获得模块，用于针对同一用户对应的所有样本图像采用所述多任务预测模型进行预测得到该用户对应的所有样本的预测结果，并根据各用户对应的所有样本的预测结果得到预测结果的准确率；
调整模块，用于当准确率低于一设定值时，接收用户基于所述预测结果对所述样本图像输入的调整信息，并根据所述调整信息对所述预测结果进行调整以得到调整后的预测结果；
更新模块，用于将调整后的预测结果对应的样本图像输入所述多任务预测模型以更新所述多任务预测模型；
所述样本获得模块，还用于获取多张人脸图像，并针对每张图像分别进行摆正并缩放至一设定尺度以得到缩放后的样本图像：
所述装置还用于：将多个待识别图像依次采用更新后的多任务预测模型进行多任务预测，并在预测完成后，采用
Figure FDA0002592249110000041
对所述更新后的多任务预测模型的准确率进行调整，其中，k为任务预测模型，Δak,t为任务预测模型k在t次迭代的准确率的变化率，且初始值设置为Δak,t＝1；
其中，所述模型生成模块包括：
第一处理子模块，用于将各所述样本图像进行第一卷积降维以得到第一图像；
第二处理子模块，用于对各所述第一图像采用第二卷积降维以得到第二图像，对所述第一图像采用分组卷积进行处理以得到第三图像，将各所述第二图像和对应的第三图像进行融合以得到目标图像；
模型获得子模块，用于根据各所述目标图像及对应的标识类型得到包括年龄模型、性别模型以及种族模型的多任务预测模型。
6.根据权利要求5所述的模型生成装置，其特征在于，所述第二处理子模块包括：
第一处理单元，用于对所述第一图像采用1*1卷积进行信息流通和组合处理以得到处理后的第一图像；
第二处理单元，用于对所述处理后的第一图像采用3*3分组卷积进行处理以得到第三图像。
7.根据权利要求5所述的模型生成装置，其特征在于，所述模型生成模块，还用于针对包括年龄标识的目标样本图像、包括种族标识的目标样本图像和包性别标识的目标样本图像分别输入至所述卷积神经网络以得到包括年龄模型、性别模型以及种族模型的多任务预测模型。
CN201810956790.9A 2018-08-21 2018-08-21 模型生成方法及装置 Active CN109145987B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810956790.9A CN109145987B (zh) 2018-08-21 2018-08-21 模型生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810956790.9A CN109145987B (zh) 2018-08-21 2018-08-21 模型生成方法及装置

Publications (2)

Publication Number Publication Date
CN109145987A CN109145987A (zh) 2019-01-04
CN109145987B true CN109145987B (zh) 2020-10-20

Family

ID=64790920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810956790.9A Active CN109145987B (zh) 2018-08-21 2018-08-21 模型生成方法及装置

Country Status (1)

Country Link
CN (1) CN109145987B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046571B (zh) * 2019-04-15 2020-05-15 北京字节跳动网络技术有限公司 用于识别年龄的方法和装置
CN110956079A (zh) * 2019-10-12 2020-04-03 深圳壹账通智能科技有限公司 人脸识别模型构建方法、装置、计算机设备和存储介质
CN111083369A (zh) * 2019-12-26 2020-04-28 上海传英信息技术有限公司 一种人脸对焦方法、装置、移动终端及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN107239736A (zh) * 2017-04-28 2017-10-10 北京智慧眼科技股份有限公司 基于多任务级联卷积神经网络的人脸检测方法及检测装置
CN108171207A (zh) * 2018-01-17 2018-06-15 百度在线网络技术（北京）有限公司 基于视频序列的人脸识别方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672416B2 (en) * 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN107239736A (zh) * 2017-04-28 2017-10-10 北京智慧眼科技股份有限公司 基于多任务级联卷积神经网络的人脸检测方法及检测装置
CN108171207A (zh) * 2018-01-17 2018-06-15 百度在线网络技术（北京）有限公司 基于视频序列的人脸识别方法和装置

Also Published As

Publication number Publication date
CN109145987A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN110378235B (zh) 一种模糊人脸图像识别方法、装置及终端设备
EP3968280A1 (en) Target tracking method and apparatus, storage medium and electronic device
CN110288082B (zh) 卷积神经网络模型训练方法、装置和计算机可读存储介质
CN109145987B (zh) 模型生成方法及装置
CN110660066A (zh) 网络的训练方法、图像处理方法、网络、终端设备及介质
CN108830329B (zh) 图片处理方法和装置
Mallick et al. Bayesian methods for high dimensional linear models
CN105956628B (zh) 数据分类方法和用于数据分类的装置
US11704563B2 (en) Classifying time series image data
CN107451854B (zh) 确定用户类型的方法及装置、电子设备
CN106446946B (zh) 图像识别方法及装置
Zhu et al. Generalized integrative principal component analysis for multi-type data with block-wise missing structure
CN107590460A (zh) 人脸分类方法、装置及智能终端
CN114282581A (zh) 基于数据增强的训练样本获取方法、装置和电子设备
CN109993026B (zh) 亲属识别网络模型的训练方法及装置
CN109564636B (zh) 使用一个神经网络来训练另一个神经网络
JP7124957B2 (ja) 画像処理システム、推定装置、処理方法及びプログラム
CN111598117B (zh) 图像识别方法及装置
CN111160410A (zh) 一种物体检测方法和装置
CN108257081B (zh) 用于生成图片的方法和装置
CN110555182A (zh) 用户画像的确定方法、装置及计算机可读存储介质
CN111353428B (zh) 动作信息识别方法、装置、电子设备及存储介质
CN111754518B (zh) 图像集合的扩充方法、装置及电子设备
CN109685069B (zh) 图像检测方法、装置及计算机可读存储介质
CN111815654A (zh) 用于处理图像的方法、装置、设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant