CN109034069B - 用于生成信息的方法和装置 - Google Patents

用于生成信息的方法和装置 Download PDF

Info

Publication number
CN109034069B
CN109034069B CN201810846313.7A CN201810846313A CN109034069B CN 109034069 B CN109034069 B CN 109034069B CN 201810846313 A CN201810846313 A CN 201810846313A CN 109034069 B CN109034069 B CN 109034069B
Authority
CN
China
Prior art keywords
image
face image
recognition model
extracted
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810846313.7A
Other languages
English (en)
Other versions
CN109034069A (zh
Inventor
陈日伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
Douyin Vision Beijing Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201810846313.7A priority Critical patent/CN109034069B/zh
Priority to PCT/CN2018/116182 priority patent/WO2020019591A1/zh
Publication of CN109034069A publication Critical patent/CN109034069A/zh
Application granted granted Critical
Publication of CN109034069B publication Critical patent/CN109034069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了用于生成信息的方法和装置。该方法的一具体实施方式包括：获取待识别图像；从待识别图像中提取脸图像，以及将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果，其中，识别结果用于表征脸图像所对应的脸的类别；从候选识别模型集合中选取与所获得的识别结果相匹配的候选识别模型作为第二识别模型，其中，候选识别模型集合中的候选识别模型为预先训练的、用于识别不同类别的脸以生成关键点信息的模型；将所提取的脸图像输入第二识别模型，获得所提取的脸图像所对应的关键点信息，其中，关键点信息用于表征脸图像中的关键点在脸图像中的位置。该实施方式提高了信息生成的全面性和准确性。

Description

用于生成信息的方法和装置
技术领域
本申请实施例涉及计算机技术领域，尤其涉及用于生成信息的方法和装置。
背景技术
脸的关键点指的是脸中具有明显语义区分度的点，例如鼻子所对应的点、眼睛所对应的点等。
目前，对于脸的关键点的检测通常指的是针对人脸关键点的检测。通过对人脸关键点进行检测，可以实现特效添加、人脸三维建模、美颜拍照等功能。
发明内容
本申请实施例提出了用于生成信息的方法和装置。
第一方面，本申请实施例提供了一种用于生成信息的方法，该方法包括：获取待识别图像，其中，待识别图像包括脸图像；从待识别图像中提取脸图像，以及将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果，其中，识别结果用于表征脸图像所对应的脸的类别；从候选识别模型集合中选取与所获得的识别结果相匹配的候选识别模型作为第二识别模型，其中，候选识别模型集合中的候选识别模型为预先训练的、用于识别不同类别的脸以生成关键点信息的模型；将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息，其中，关键点信息用于表征脸图像中的关键点在脸图像中的位置。
在一些实施例中，将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果，包括：将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果和基准关键点信息，其中，基准关键点信息用于表征脸图像中的基准关键点在脸图像中的位置；以及将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息，包括：将所提取的脸图像和所获得的基准关键点信息输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息。
在一些实施例中，从待识别图像中提取脸图像，包括：将待识别图像输入预先训练的第三识别模型，获得用于表征待识别图像中的脸图像在待识别图像中的位置的位置信息；基于所获得的位置信息，从待识别图像中提取脸图像。
在一些实施例中，将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息，包括：将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息和匹配信息，其中，匹配信息包括用于表征所输入的脸图像所对应的脸的类别与第二识别模型所对应的脸的类别的匹配程度的匹配指数。
在一些实施例中，获取待识别图像，包括：从目标视频所对应的图像序列中选取图像作为待识别图像，其中，目标视频为对脸进行拍摄所获得的视频。
在一些实施例中，在将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息和匹配信息之后，该方法还包括：从图像序列中选取位于待识别图像之后且与待识别图像相邻的图像作为候选待识别图像；从候选待识别图像中提取脸图像作为候选脸图像，以及将所提取的、待识别图像中的脸图像确定为基准脸图像；确定所确定的基准脸图像所对应的匹配信息中的匹配指数是否符合预设条件；响应于确定是，将所提取的候选脸图像输入所确定的基准脸图像所输入的第二识别模型，获得所提取的候选脸图像所对应的关键点信息和匹配信息。
第二方面，本申请实施例提供了一种用于生成信息的装置，该装置包括：图像获取单元，被配置成获取待识别图像，其中，待识别图像包括脸图像；第一输入单元，被配置成从待识别图像中提取脸图像，以及将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果，其中，识别结果用于表征脸图像所对应的脸的类别；模型选取单元，被配置成从候选识别模型集合中选取与所获得的识别结果相匹配的候选识别模型作为第二识别模型，其中，候选识别模型集合中的候选识别模型为预先训练的、用于识别不同类别的脸以生成关键点信息的模型；第二输入单元，被配置成将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息，其中，关键点信息用于表征脸图像中的关键点在脸图像中的位置。
在一些实施例中，第一输入单元进一步被配置成：将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果和基准关键点信息，其中，基准关键点信息用于表征脸图像中的基准关键点在脸图像中的位置；以及第二输入单元进一步被配置成：将所提取的脸图像和所获得的基准关键点信息输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息。
在一些实施例中，第一输入单元包括：第一输入模块，被配置成将待识别图像输入预先训练的第三识别模型，获得用于表征待识别图像中的脸图像在待识别图像中的位置的位置信息；图像提取模块，被配置成基于所获得的位置信息，从待识别图像中提取脸图像。
在一些实施例中，第二输入单元进一步被配置成：将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息和匹配信息，其中，匹配信息包括用于表征所输入的脸图像所对应的脸的类别与第二识别模型所对应的脸的类别的匹配程度的匹配指数。
在一些实施例中，图像获取单元进一步被配置成：从目标视频所对应的图像序列中选取图像作为待识别图像，其中，目标视频为对脸进行拍摄所获得的视频。
在一些实施例中，该装置还包括：图像选取单元，被配置成从图像序列中选取位于待识别图像之后且与待识别图像相邻的图像作为候选待识别图像；图像确定单元，被配置成从候选待识别图像中提取脸图像作为候选脸图像，以及将所提取的、待识别图像中的脸图像确定为基准脸图像；条件确定单元，被配置成确定所确定的基准脸图像所对应的匹配信息中的匹配指数是否符合预设条件；第三输入单元，被配置成响应于确定是，将所提取的候选脸图像输入所确定的基准脸图像所输入的第二识别模型，获得所提取的候选脸图像所对应的关键点信息和匹配信息。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述用于生成信息的方法中任一实施例的方法。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现上述用于生成信息的方法中任一实施例的方法。
本申请实施例提供的用于生成信息的方法和装置，通过获取待识别图像，然后从待识别图像中提取脸图像，以及将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果，其中，识别结果用于表征脸图像所对应的脸的类别，接着从候选识别模型集合中选取与所获得的识别结果相匹配的候选识别模型作为第二识别模型，最后将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息，其中，关键点信息用于表征脸图像中的关键点在脸图像中的位置，从而可以利用预先训练的、用于识别不同类别的脸的候选识别模型对脸图像进行识别，以生成关键点信息，进而可以识别不同类别的脸图像，提高了信息生成的全面性，并且，利用与脸图像所对应的类别相匹配的候选识别模型进行识别，可以提供信息生成的准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的用于生成信息的方法的一个实施例的流程图；
图3是根据本申请实施例的用于生成信息的方法的一个应用场景的示意图；
图4是根据本申请的用于生成信息的方法的又一个实施例的流程图；
图5是根据本申请的用于生成信息的装置的一个实施例的结构示意图；
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于生成信息的方法或用于生成信息的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如图像处理类应用、美图软件、网页浏览器应用、搜索类应用、社交平台软件等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103发送的待识别图像进行处理的图像处理服务器。图像处理服务器可以对接收到的待识别图像等数据进行分析等处理，并获得处理结果(例如关键点信息)。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在待识别图像或者生成关键点信息的过程中所使用的数据不需要从远程获取的情况下，上述系统架构可以不包括网络，而只包括终端设备或服务器。
继续参考图2，示出了根据本申请的用于生成信息的方法的一个实施例的流程200。该用于生成信息的方法，包括以下步骤：
步骤201，获取待识别图像。
在本实施例中，用于生成信息的方法的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式获取待识别图像。其中，待识别图像可以包括脸图像。具体的，待识别图像所包括的脸图像可以包括动物脸图像，也可以包括人脸图像。动物脸图像所对应的动物脸可以为各种类别的动物脸，例如狗脸、猫脸等。
需要说明的是，上述执行主体可以获取本地预先存储的待识别图像，也可以获取与之通信连接的电子设备(例如图1所示的终端设备)发送的待识别图像。
在本实施例的一些可选的实现方式中，上述执行主体可以从目标视频所对应的图像序列中选取图像作为待识别图像，其中，目标视频为可以为对脸进行拍摄所获得的视频。具体的，上述执行主体可以首先从本地或与之通信连接的电子设备获取目标视频所对应的图像序列，然后从图像序列中选取图像作为待识别图像。在这里，需要说明的是，上述执行主体可以采用各种方式从上述图像序列中选取待识别图像，例如，可以采用随机选取的方式；或者，可以从图像序列中选取排序在第一位的图像作为待识别图像。另外，可以理解的是，视频实质上是一个按照时间的先后顺序排列的图像序列，故任意一个视频都可以对应一个图像序列。
步骤202，从待识别图像中提取脸图像，以及将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果。
在本实施例中，基于步骤201中得到的待识别图像，上述执行主体可以首先从待识别图像中提取脸图像，而后将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果。其中，识别结果可以包括但不限于以下至少一项：文字、数字、符号、图像、音频，识别结果可以用于表征脸图像所对应的脸的类别。
具体的，上述执行主体可以通过各种方式从待识别图像中提取脸图像。例如，可以采用图像分割技术中的阈值分割方法将待识别图像中的脸图像与其他图像区域分割开来，进而从待识别图像中提取出脸图像。需要说明的是，图像分割技术是目前广泛研究和应用的公知技术，此处不再赘述。
在本实施例的一些可选的实现方式中，上述执行主体也可以通过如下步骤从待识别图像中提取脸图像：
步骤2021，将待识别图像输入预先训练的第三识别模型，获得用于表征待识别图像中的脸图像在待识别图像中的位置的位置信息。
其中，位置信息可以包括但不限于以下至少一项：文字、数字、符号、图像。作为示例，位置信息可以为在待识别图像中框选出脸图像的四边形图像。
第三识别模型可以用于表征包括脸图像的待识别图像与用于表征脸图像在待识别图像中的位置的位置信息的对应关系。具体的，第三识别模型可以为基于训练样本，利用机器学习方法，对初始模型(例如卷积神经网络(Convolutional Neural Network，CNN)、残差网络(ResNet)等)进行训练后得到的模型。
作为示例，上述第三识别模型可以通过如下步骤训练得到：首先，获取训练样本集，其中，训练样本可以包括包括样本脸图像的样本待识别图像，以及针对样本待识别图像中的样本脸图像预先标注的样本位置信息，其中，样本位置信息可以用于表征样本待识别图像中的样本脸图像在样本待识别图像中的位置。然后，可以从训练样本集中选取训练样本，并执行以下训练步骤：将所选取的训练样本的样本待识别图像输入初始模型，获得样本待识别图像中的样本脸图像所对应的位置信息；将所输入的样本待识别图像所对应的样本位置信息作为初始模型的期望输出，基于所获得的位置信息和样本位置信息，调整初始模型的参数；确定训练样本集中是否存在未被选取的训练样本；响应于不存在未被选取的训练样本，将调整后的初始模型确定为第三识别模型。
在该示例中，还可以包括以下步骤：响应于确定存在未被选取的训练样本，从未被选取的训练样本中重新选取训练样本，以及将最近一次调整的初始模型作为新的初始模型，继续执行上述训练步骤。
需要说明的是，实践中，用于生成模型的步骤的执行主体可以与用于生成信息的方法的执行主体相同或者不同。如果相同，则用于生成模型的步骤的执行主体可以在训练得到模型后将训练好的模型存储在本地。如果不同，则用于生成模型的步骤的执行主体可以在训练得到模型后将训练好的模型发送给用于生成信息的方法的执行主体。
步骤2022，基于所获得的位置信息，从待识别图像中提取脸图像。
在这里，基于所获得的位置信息，上述执行主体可以采用各种方式从待识别图像中提取脸图像。例如，可以基于所获得的位置信息，对待识别图像进行裁剪，获得脸图像。
对于提取出的脸图像，上述执行主体可以生成脸图像所对应的识别结果。需要说明的是，在本实施例中，待识别图像可以包括至少一个脸图像，对于至少一个脸图像中的脸图像，上述执行主体可以将该脸图像输入预先训练的第一识别模型，获得该脸图像所对应的识别结果。其中，第一识别模型可以用于表征脸图像与脸图像所对应的识别结果的对应关系。
具体的，第一识别模型可以为基于训练样本，利用机器学习方法，对初始模型(例如卷积神经网络、残差网络等)进行训练后得到的模型。
可以理解的是，用于训练获得上述第一识别模型的执行主体可以采用与上述第三识别模型的训练方式相似的训练方式训练获得上述第一识别模型，具体的训练步骤此处不再赘述。需要特别说明的是，对于第一识别模型的训练，其所对应的训练样本集中的训练样本可以包括样本脸图像和针对样本脸图像预先标注的样本识别结果，其中，样本识别结果可以用于表征样本脸图像所对应的脸的类别。
步骤203，从候选识别模型集合中选取与所获得的识别结果相匹配的候选识别模型作为第二识别模型。
在本实施例中，基于步骤202中得到的识别结果，上述执行主体可以从候选识别模型集合中选取与所获得的识别结果相匹配的候选识别模型作为第二识别模型。其中，候选识别模型集合中的候选识别模型可以为预先训练的、用于识别不同类别的脸以生成关键点信息的模型。
具体的，上述执行主体可以采用各种方法从候选识别模型集合中选取与所获得的识别结果相匹配的候选识别模型作为第二识别模型。例如，技术人员可以在上述执行主体中预先设置识别结果与候选识别模型集合中的候选识别模型的对应关系(例如对应关系表)，进而，上述执行主体可以利用所获得的识别结果，查找上述对应关系，以确定出与所获得的识别结果相匹配的候选识别模型作为第二识别模型。
或者，对于候选识别模型集合中的候选识别模型，技术人员可以预先设置该候选识别模型所对应的类别信息，其中，类别信息可以用于表征该候选识别模型所能识别的脸的类别。类别信息可以包括但不限于以下至少一项：数字、文字、符号、图片。进而，上述执行主体可以对所获得的识别结果和候选识别模型集合中的候选识别模型所对应的类别信息进行匹配(例如进行相似度计算)，以确定出与所获得的识别结果相匹配的候选识别模型(进行相似度计算所得到的计算结果大于等于预设阈值的候选识别模型)作为第二识别模型。
在本实施例中，候选识别模型可以用于表征脸图像与脸图像所对应的关键点信息的对应关系。其中，关键点信息可以用于表征脸图像中的关键点在脸图像中的位置。脸图像的关键点可以为具有明显语义区分度的点，例如用于表征鼻子的点、用于表征眼睛的点等。
具体的，候选识别模型可以为基于训练样本，利用机器学习方法，对初始模型(例如卷积神经网络、残差网络等)进行训练后得到的模型。
可以理解的是，用于训练获得上述候选识别模型的执行主体可以采用与上述第三识别模型的训练方式相似的训练方式训练获得上述候选识别模型，具体的训练步骤此处不再赘述。需要特别说明的是，对于候选识别模型集合中的每个候选识别模型的训练，其所对应的训练样本集中的训练样本可以包括样本脸图像和针对样本脸图像预先标注的样本关键点信息，其中，样本脸图像所对应的脸的类别可以相同(例如均为猫脸，或均为狗脸)。样本关键点信息可以用于表征样本脸图像中的关键点在样本脸图像中的位置。
还需要说明的是，基于步骤202，上述执行主体可以提取出至少一个脸图像，而针对提取出的脸图像中的每个脸图像，上述执行主体可以获得一个识别结果，进而，对于所获得的识别结果中的每个识别结果，基于步骤203，上述执行主体可以选取一个候选识别模型作为该识别结果所对应的第二识别模型。
步骤204，将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息。
在本实施例中，基于步骤203所选取的第二识别模型，上述执行主体可以将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息。需要说明的是，在这里，对于所提取的脸图像中的脸图像，上述执行主体可以将该脸图像输入该脸图像所对应的第二识别模型，获得该脸图像所对应的关键点信息。可以理解，脸图像与第二识别模型的对应关系可以由脸图像所对应的识别结果与第二识别模型的对应关系确定。
实践中，在生成脸图像所对应的关键点信息之后，上述执行主体还可以采用逆推的方式确定上述待识别图像所对应的关键点信息，其中，待识别图像所对应的关键点信息可以用于表征待识别图像中的关键点(即待识别图像中的脸图像所包括的关键点)在待识别图像中的位置。
在本实施例的一些可选的实现方式中，候选识别模型(第二识别模型)可以用于表征脸图像与脸图像所对应的关键点信息和匹配信息的对应关系，其中，匹配信息可以包括但不限于以下至少一项：数字、文字、符号、图像、音频。具体的，匹配信息可以包括用于表征所输入的脸图像所对应的脸的类别与第二识别模型所对应的脸的类别的匹配程度的匹配指数。
在这里，匹配指数的大小与匹配程度的高低可以具有对应关系。具体的，对应关系可以为匹配指数越大，匹配程度越高；或者为匹配指数越小，匹配程度越高。
需要说明的是，对于本实现方式中的候选识别模型(第二识别模型)，其所对应的训练样本集中的训练样本可以包括样本脸图像和针对样本脸图像预先标注的样本关键点信息和样本匹配信息，其中，样本关键点信息可以用于表征样本脸图像中的关键点在样本脸图像中的位置。样本匹配信息可以包括样本匹配指数。样本匹配指数可以用于表征所输入的样本脸图像所对应的脸的类别与针对候选识别模型预先确定的脸的类别的样本匹配程度。在这里，样本匹配指数与样本匹配程度的对应关系可以由技术人员预先设置。例如，可以设置为样本匹配指数越大，样本匹配程度越高。
在本实现方式中，基于上述第二识别模型，上述执行主体可以将所提取的脸图像输入第二识别模型，获得所提取的脸图像所对应的关键点信息和匹配信息。进而，通过上述第二识别模型，可以确定所输入的脸图像和第二识别模型的匹配程度，生成匹配信息，以便基于匹配信息，执行后续操作(例如重新选取第二识别模型)，可以进一步提高信息处理的准确性。
在本实施例的一些可选的实现方式中，当待识别图像为从目标视频所对应的图像序列中选取的图像时，在将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息和匹配信息之后，上述执行主体还可以执行以下信息生成步骤：
首先，从上述图像序列中选取位于待识别图像之后且与待识别图像相邻的图像作为候选待识别图像。
然后，从候选待识别图像中提取脸图像作为候选脸图像，以及将所提取的、待识别图像中的脸图像确定为基准脸图像。
在这里，上述执行主体可以采用上述针对待识别图像的提取脸图像的方法从候选待识别图像中提取脸图像作为候选脸图像，此处不再赘述。
接着，确定所确定的基准脸图像所对应的匹配信息中的匹配指数是否符合预设条件。
其中，预设条件可以用于限制基准脸图像所对应的脸的类别与基准脸图像所输入的第二识别模型所对应的脸的类别的匹配程度的高低。具体的，技术人员可以预先设置匹配阈值。进而，当匹配指数与匹配程度的对应关系为匹配指数越大，匹配程度越高时，上述预设条件可以为匹配指数大于等于匹配阈值；当匹配指数与匹配程度的对应关系为匹配指数越小，匹配程度越高时，上述预设条件可以为匹配指数小于等于匹配阈值。
最后，响应于确定所确定的基准脸图像所对应的匹配信息中的匹配指数符合预设条件，将所提取的候选脸图像输入所确定的基准脸图像所输入的第二识别模型，获得所提取的候选脸图像所对应的关键点信息和匹配信息。
可以理解的是，对于上述图像序列中位于待识别图像之后的任意一个图像，均可以利用位于该图像之前的图像所对应的匹配信息和第二识别模型，采用本实现方式描述的方法，生成该图像中的脸图像所对应的关键点信息和匹配信息，具体步骤可参照上述信息生成步骤，此处不再赘述。
继续参见图3，图3是根据本实施例的用于生成信息的方法的应用场景的一个示意图。在图3的应用场景中，服务器301首先获取终端设备302发送的待识别图像303，其中，待识别图像303包括脸图像3031、3032。然后，服务器301从待识别图像303中提取出脸图像3031和脸图像3032，以及将脸图像3031和脸图像3032分别输入预先训练的第一识别模型304，获得脸图像3031所对应的识别结果“猫”3051和脸图像3032所对应的识别结果“狗”3052。接着，服务器301可以获取候选识别模型集合306，其中，候选识别模型集合306包括候选识别模型3061、3062、3063。技术人员预先设置了候选识别模型与识别结果的对应关系为：候选识别模型3061与识别结果“猫”相对应；候选识别模型3062与识别结果“狗”相对应；候选识别模型3063与识别结果“人”相对应。进而，服务器301可以从候选识别模型集合306中选取与所获得的识别结果“猫”3051相匹配的候选识别模型3061作为脸图像3031所对应的第二识别模型3071；从候选识别模型集合306中选取与所获得的识别结果“狗”3052相匹配的候选识别模型3062作为脸图像3032所对应的第二识别模型3072。最后，服务器301可以将脸图像3031输入第二识别模型3071，获得脸图像3031所对应的关键点信息3081；将脸图像3032输入第二识别模型3072，获得脸图像3032所对应的关键点信息3082，其中，关键点信息可以用于表征脸图像中的关键点在脸图像中的位置。
本申请的上述实施例提供的方法通过获取待识别图像，然后从待识别图像中提取脸图像，以及将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果，其中，识别结果用于表征脸图像所对应的脸的类别，接着从候选识别模型集合中选取与所获得的识别结果相匹配的候选识别模型作为第二识别模型，最后将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息，其中，关键点信息用于表征脸图像中的关键点在脸图像中的位置，从而可以利用预先训练的、用于识别不同类别的脸的候选识别模型对脸图像进行识别，以生成关键点信息，进而可以识别不同类别的脸图像，提高了信息生成的全面性，并且，利用与脸图像所对应的类别相匹配的候选识别模型进行识别，可以提供信息生成的准确性。
进一步参考图4，其示出了用于生成信息的方法的又一个实施例的流程400。该用于生成信息的方法的流程400，包括以下步骤：
步骤401，获取待识别图像。
在本实施例中，用于生成信息的方法的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式获取待识别图像。其中，待识别图像可以包括脸图像。具体的，待识别图像所包括的脸图像可以包括动物脸图像，也可以包括人脸图像。动物脸图像所对应的动物脸可以为各种类别的动物脸，例如狗脸、猫脸等。
需要说明的是，步骤401可以采用与前述实施例中的步骤201类似的方式实现。相应地，上文针对步骤201的描述也适可用于本实施例的步骤401，此处不再赘述。
步骤402，从待识别图像中提取脸图像，以及将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果和基准关键点信息。
在本实施例中，基于步骤401中得到的待识别图像，上述执行主体可以首先从待识别图像中提取脸图像，而后将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果和基准关键点信息。其中，识别结果可以包括但不限于以下至少一项：文字、数字、符号、图像、音频。识别结果可以用于表征脸图像所对应的脸的类别。基准关键点信息可以包括但不限于以下至少一项：文字、数字。符号、图像，基准关键点信息可以用于表征脸图像中的基准关键点在脸图像中的位置。基准关键点可以为用于确定脸图像中的关键点的点，例如鼻子的鼻尖部位所在的点、嘴巴的嘴角部位所在的点等。
在本实施例中，上述执行主体可以采用图2所对应的实施例中的脸图像的提取方式从待识别图像中提取脸图像，此处不再赘述。
需要说明的是，本实施例中的第一识别模型可以用于表征脸图像与脸图像所对应的识别结果和基准关键点信息的对应关系。相应的，对于本实施例中的第一识别模型的训练，其所对应的训练样本集中的训练样本可以包括样本脸图像和针对样本脸图像预先标注的样本识别结果和样本基准关键点信息。其中，样本基准关键点信息可以用于表征样本脸图像中的基准关键点在样本脸图像中的位置。
步骤403，从候选识别模型集合中选取与所获得的识别结果相匹配的候选识别模型作为第二识别模型。
在本实施例中，基于步骤402中得到的识别结果，上述执行主体可以从候选识别模型集合中选取与所获得的识别结果相匹配的候选识别模型作为第二识别模型。
其中，候选识别模型集合中的候选识别模型可以为预先训练的、用于识别不同类别的脸以生成关键点信息的模型。候选识别模型可以用于表征脸图像及脸图像的基准关键点信息与脸图像的关键点信息的对应关系。具体的，候选识别模型可以为基于训练样本，利用机器学习方法，对初始模型(例如卷积神经网络、残差网络等)进行训练后得到的模型。
作为示例，候选识别模型可以通过如下步骤训练得到：首先，获取训练样本集，其中，训练样本可以包括样本脸图像和针对样本脸图像预先标注的样本关键点信息。然后，可以从训练样本集中选取训练样本，并执行以下模型训练步骤：提取所选取的训练样本的样本脸图像所对应的样本基准关键点信息，其中，样本基准关键点信息可以用于表征基准关键点在样本脸图像中的位置；将所选取的训练样本的样本脸图像和所提取的样本基准关键点信息输入初始模型，获得关键点信息；将所输入的样本脸图像所对应的样本关键点信息作为初始模型的期望输出，基于所获得的关键点信息和样本关键点信息，调整初始模型的参数；确定训练样本集中是否存在未被选取的训练样本；响应于不存在未被选取的训练样本，将调整后的初始模型确定为候选识别模型。
在这里，需要说明的是，用于执行上述模型训练步骤的执行主体可以通过各种方式提取样本脸图像所对应的样本基准关键点信息。例如，可以将样本脸图像输入本实施例步骤402中的第一识别模型，获得样本脸图像所对应的样本基准关键点信息；或者，也可以输出样本脸图像，并获取用户针对样本脸图像标注的样本基准关键点信息。
在该示例中，还可以包括以下步骤：响应于确定存在未被选取的训练样本，从未被选取的训练样本中重新选取训练样本，以及将最近一次调整的初始模型作为新的初始模型，继续执行上述模型训练步骤。
另外，需要说明的是，本实施例中的第二识别模型的选取可以采用与图2所对应的实施例中的第二识别模型的选取方法类似的方式实现，此处不再赘述。
步骤404，将所提取的脸图像和所获得的基准关键点信息输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息。
在本实施例中，基于步骤403所选取的第二识别模型，上述执行主体可以将所提取的脸图像和所获得的基准关键点信息输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息。需要说明的是，在这里，对于所提取的脸图像中的脸图像，上述执行主体可以将该脸图像和该脸图像所对应的基准关键点信息输入该脸图像所对应的第二识别模型，获得该脸图像所对应的关键点信息。可以理解，脸图像与第二识别模型的对应关系可以由脸图像所对应的识别结果与第二识别模型的对应关系确定。
从图4中可以看出，与图2对应的实施例相比，本实施例中的用于生成信息的方法的流程400突出了生成脸图像所对应的基准关键点信息，以及基于所生成的基准关键点信息，生成脸图像所对应的关键点信息的步骤。由此，本实施例描述的方案可以以基准关键点信息作为参考，生成更为准确的关键点信息，进一步提高了信息生成的准确性。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于生成信息的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于生成信息的装置500包括：图像获取单元501、第一输入单元502、模型选取单元503和第二输入单元504。其中，图像获取单元501被配置成获取待识别图像，其中，待识别图像包括脸图像；第一输入单元502被配置成从待识别图像中提取脸图像，以及将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果，其中，识别结果用于表征脸图像所对应的脸的类别；模型选取单元503被配置成从候选识别模型集合中选取与所获得的识别结果相匹配的候选识别模型作为第二识别模型，其中，候选识别模型集合中的候选识别模型为预先训练的、用于识别不同类别的脸以生成关键点信息的模型；第二输入单元504被配置成将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息，其中，关键点信息用于表征脸图像中的关键点在脸图像中的位置。
在本实施例中，用于生成信息的装置500的图像获取单元501可以通过有线连接方式或者无线连接方式获取待识别图像。其中，待识别图像可以包括脸图像。具体的，待识别图像所包括的脸图像可以包括动物脸图像，也可以包括人脸图像。动物脸图像所对应的动物脸可以为各种类别的动物脸，例如狗脸、猫脸等。
在本实施例中，基于图像获取单元501得到的待识别图像，第一输入单元502可以首先从待识别图像中提取脸图像，而后将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果。其中，识别结果可以包括但不限于以下至少一项：文字、数字、符号、图像、音频。识别结果可以用于表征脸图像所对应的脸的类别。
需要说明的是，在本实施例中，待识别图像可以包括至少一个脸图像，对于至少一个脸图像中的脸图像，第一输入单元502可以将该脸图像输入预先训练的第一识别模型，获得该脸图像所对应的识别结果。其中，第一识别模型可以用于表征脸图像与脸图像所对应的识别结果的对应关系。
在本实施例中，基于第一输入单元502得到的识别结果，模型选取单元503可以从候选识别模型集合中选取与所获得的识别结果相匹配的候选识别模型作为第二识别模型。其中，候选识别模型集合中的候选识别模型可以为预先训练的、用于识别不同类别的脸以生成关键点信息的模型。
在本实施例中，候选识别模型可以用于表征脸图像与脸图像所对应的关键点信息的对应关系。其中，关键点信息可以用于表征脸图像中的关键点在脸图像中的位置。脸图像的关键点可以为具有明显语义区分度的点，例如用于表征鼻子的点、用于表征眼睛的点等。
在本实施例中，基于模型选取单元503所选取的第二识别模型，第二输入单元504可以将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息。需要说明的是，在这里，对于所提取的脸图像中的脸图像，第二输入单元504可以将该脸图像输入该脸图像所对应的第二识别模型，获得该脸图像所对应的关键点信息。可以理解，脸图像与第二识别模型的对应关系可以由脸图像所对应的识别结果与第二识别模型的对应关系确定。
在本实施例的一些可选的实现方式中，第一输入单元502可以进一步被配置成：将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果和基准关键点信息，其中，基准关键点信息可以用于表征脸图像中的基准关键点在脸图像中的位置；以及第二输入单元504可以进一步被配置成：将所提取的脸图像和所获得的基准关键点信息输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息。
在本实施例的一些可选的实现方式中，第一输入单元502可以包括：第一输入模块(图中未示出)，被配置成将待识别图像输入预先训练的第三识别模型，获得用于表征待识别图像中的脸图像在待识别图像中的位置的位置信息；图像提取模块(图中未示出)，被配置成基于所获得的位置信息，从待识别图像中提取脸图像。
在本实施例的一些可选的实现方式中，第二输入单元504可以进一步被配置成：将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息和匹配信息，其中，匹配信息可以包括用于表征所输入的脸图像所对应的脸的类别与第二识别模型所对应的脸的类别的匹配程度的匹配指数。
在本实施例的一些可选的实现方式中，图像获取单元501可以进一步被配置成：从目标视频所对应的图像序列中选取图像作为待识别图像，其中，目标视频可以为对脸进行拍摄所获得的视频。
在本实施例的一些可选的实现方式中，装置500还可以包括：图像选取单元(图中未示出)，被配置成从图像序列中选取位于待识别图像之后且与待识别图像相邻的图像作为候选待识别图像；图像确定单元(图中未示出)，被配置成从候选待识别图像中提取脸图像作为候选脸图像，以及将所提取的、待识别图像中的脸图像确定为基准脸图像；条件确定单元(图中未示出)，被配置成确定所确定的基准脸图像所对应的匹配信息中的匹配指数是否符合预设条件；第三输入单元(图中未示出)，被配置成响应于确定是，将所提取的候选脸图像输入所确定的基准脸图像所输入的第二识别模型，获得所提取的候选脸图像所对应的关键点信息和匹配信息。
可以理解的是，该装置500中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置500及其中包含的单元，在此不再赘述。
本申请的上述实施例提供的装置500通过图像获取单元501获取待识别图像，然后第一输入单元502从待识别图像中提取脸图像，以及将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果，其中，识别结果用于表征脸图像所对应的脸的类别，接着模型选取单元503从候选识别模型集合中选取与所获得的识别结果相匹配的候选识别模型作为第二识别模型，最后第二输入单元504将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息，其中，关键点信息用于表征脸图像中的关键点在脸图像中的位置，从而可以利用预先训练的、用于识别不同类别的脸的候选识别模型对脸图像进行识别，以生成关键点信息，进而可以识别不同类别的脸图像，提高了信息生成的全面性，并且，利用与脸图像所对应的类别相匹配的候选识别模型进行识别，可以提供信息生成的准确性。
下面参考图6，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的终端设备/服务器)的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括图像获取单元、第一输入单元、模型选取单元和第二输入单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，图像获取单元还可以被描述为“获取待识别图像的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待识别图像，其中，待识别图像包括脸图像；从待识别图像中提取脸图像，以及将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果，其中，识别结果用于表征脸图像所对应的脸的类别；从候选识别模型集合中选取与所获得的识别结果相匹配的候选识别模型作为第二识别模型，其中，候选识别模型集合中的候选识别模型为预先训练的、用于识别不同类别的脸以生成关键点信息的模型；将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息，其中，关键点信息用于表征脸图像中的关键点在脸图像中的位置。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种用于生成信息的方法，包括：
获取待识别图像，其中，所述待识别图像包括脸图像；
从所述待识别图像中提取脸图像，以及将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果，其中，识别结果用于表征脸图像所对应的脸的类别，脸的类别是根据脸所属的对象的物种进行分类所获得的类别；
从候选识别模型集合中选取与所获得的识别结果相匹配的候选识别模型作为第二识别模型，其中，候选识别模型集合中的候选识别模型为预先训练的、用于识别不同类别的脸以生成关键点信息的模型；
将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息，其中，关键点信息用于表征脸图像中的关键点在脸图像中的位置。
2.根据权利要求1所述的方法，其中，所述将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果，包括：
将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果和基准关键点信息，其中，基准关键点信息用于表征脸图像中的基准关键点在脸图像中的位置；以及
所述将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息，包括：
将所提取的脸图像和所获得的基准关键点信息输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息。
3.根据权利要求1或2所述的方法，其中，所述从所述待识别图像中提取脸图像，包括：
将所述待识别图像输入预先训练的第三识别模型，获得用于表征所述待识别图像中的脸图像在所述待识别图像中的位置的位置信息；
基于所获得的位置信息，从所述待识别图像中提取脸图像。
4.根据权利要求3所述的方法，其中，所述将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息，包括：
将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息和匹配信息，其中，匹配信息包括用于表征所输入的脸图像所对应的脸的类别与第二识别模型所对应的脸的类别的匹配程度的匹配指数。
5.根据权利要求4所述的方法，其中，所述获取待识别图像，包括：
从目标视频所对应的图像序列中选取图像作为待识别图像，其中，所述目标视频为对脸进行拍摄所获得的视频。
6.根据权利要求5所述的方法，其中，在所述将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息和匹配信息之后，所述方法还包括：
从所述图像序列中选取位于所述待识别图像之后且与所述待识别图像相邻的图像作为候选待识别图像；
从所述候选待识别图像中提取脸图像作为候选脸图像，以及将所提取的、待识别图像中的脸图像确定为基准脸图像；
确定所确定的基准脸图像所对应的匹配信息中的匹配指数是否符合预设条件；
响应于确定是，将所提取的候选脸图像输入所确定的基准脸图像所输入的第二识别模型，获得所提取的候选脸图像所对应的关键点信息和匹配信息。
7.一种用于生成信息的装置，包括：
图像获取单元，被配置成获取待识别图像，其中，所述待识别图像包括脸图像；
第一输入单元，被配置成从所述待识别图像中提取脸图像，以及将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果，其中，识别结果用于表征脸图像所对应的脸的类别，脸的类别是根据脸所属的对象的物种进行分类所获得的类别；
模型选取单元，被配置成从候选识别模型集合中选取与所获得的识别结果相匹配的候选识别模型作为第二识别模型，其中，候选识别模型集合中的候选识别模型为预先训练的、用于识别不同类别的脸以生成关键点信息的模型；
第二输入单元，被配置成将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息，其中，关键点信息用于表征脸图像中的关键点在脸图像中的位置。
8.根据权利要求7所述的装置，其中，所述第一输入单元进一步被配置成：
将所提取的脸图像输入预先训练的第一识别模型，获得所提取的脸图像所对应的识别结果和基准关键点信息，其中，基准关键点信息用于表征脸图像中的基准关键点在脸图像中的位置；以及
所述第二输入单元进一步被配置成：
将所提取的脸图像和所获得的基准关键点信息输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息。
9.根据权利要求7或8所述的装置，其中，所述第一输入单元包括：
第一输入模块，被配置成将所述待识别图像输入预先训练的第三识别模型，获得用于表征所述待识别图像中的脸图像在所述待识别图像中的位置的位置信息；
图像提取模块，被配置成基于所获得的位置信息，从所述待识别图像中提取脸图像。
10.根据权利要求9所述的装置，其中，所述第二输入单元进一步被配置成：
将所提取的脸图像输入所选取的第二识别模型，获得所提取的脸图像所对应的关键点信息和匹配信息，其中，匹配信息包括用于表征所输入的脸图像所对应的脸的类别与第二识别模型所对应的脸的类别的匹配程度的匹配指数。
11.根据权利要求10所述的装置，其中，所述图像获取单元进一步被配置成：
从目标视频所对应的图像序列中选取图像作为待识别图像，其中，所述目标视频为对脸进行拍摄所获得的视频。
12.根据权利要求11所述的装置，其中，所述装置还包括：
图像选取单元，被配置成从所述图像序列中选取位于所述待识别图像之后且与所述待识别图像相邻的图像作为候选待识别图像；
图像确定单元，被配置成从所述候选待识别图像中提取脸图像作为候选脸图像，以及将所提取的、待识别图像中的脸图像确定为基准脸图像；
条件确定单元，被配置成确定所确定的基准脸图像所对应的匹配信息中的匹配指数是否符合预设条件；
第三输入单元，被配置成响应于确定是，将所提取的候选脸图像输入所确定的基准脸图像所输入的第二识别模型，获得所提取的候选脸图像所对应的关键点信息和匹配信息。
13.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201810846313.7A 2018-07-27 2018-07-27 用于生成信息的方法和装置 Active CN109034069B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810846313.7A CN109034069B (zh) 2018-07-27 2018-07-27 用于生成信息的方法和装置
PCT/CN2018/116182 WO2020019591A1 (zh) 2018-07-27 2018-11-19 用于生成信息的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810846313.7A CN109034069B (zh) 2018-07-27 2018-07-27 用于生成信息的方法和装置

Publications (2)

Publication Number Publication Date
CN109034069A CN109034069A (zh) 2018-12-18
CN109034069B true CN109034069B (zh) 2021-04-09

Family

ID=64647253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810846313.7A Active CN109034069B (zh) 2018-07-27 2018-07-27 用于生成信息的方法和装置

Country Status (2)

Country Link
CN (1) CN109034069B (zh)
WO (1) WO2020019591A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740567A (zh) * 2019-01-18 2019-05-10 北京旷视科技有限公司 关键点定位模型训练方法、定位方法、装置及设备
CN109919244B (zh) * 2019-03-18 2021-09-07 北京字节跳动网络技术有限公司 用于生成场景识别模型的方法和装置
CN110347134A (zh) * 2019-07-29 2019-10-18 南京图玩智能科技有限公司 一种ai智能水产养殖样本识别方法及养殖系统
CN110688894B (zh) * 2019-08-22 2024-05-10 平安科技（深圳）有限公司 一种手掌关键点提取方法和装置
CN111461352B (zh) * 2020-04-17 2023-05-09 蚂蚁胜信(上海)信息技术有限公司 模型训练、业务节点识别方法、装置及电子设备
CN112241709B (zh) * 2020-10-21 2024-06-21 北京字跳网络技术有限公司 图像处理方法、胡子变换网络的训练方法、装置
CN112926479A (zh) * 2021-03-08 2021-06-08 新疆爱华盈通信息技术有限公司 猫脸识别方法、系统、电子装置及存储介质
CN113221767B (zh) * 2021-05-18 2023-08-04 北京百度网讯科技有限公司 训练活体人脸识别模型、识别活体人脸的方法及相关装置
CN113808044B (zh) * 2021-09-17 2022-11-01 北京百度网讯科技有限公司 加密掩膜确定方法、装置、设备以及存储介质
CN115240230A (zh) * 2022-09-19 2022-10-25 星宠王国(北京)科技有限公司 一种犬类脸部检测模型训练方法、装置、检测方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008139093A2 (fr) * 2007-04-06 2008-11-20 France Telecom Determination d'un modele de categorie d'images
CN104715227A (zh) * 2013-12-13 2015-06-17 北京三星通信技术研究有限公司 人脸关键点的定位方法和装置
CN105512627A (zh) * 2015-12-03 2016-04-20 腾讯科技（深圳）有限公司 一种关键点的定位方法及终端
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、系统及拍摄终端
CN106295591A (zh) * 2016-08-17 2017-01-04 乐视控股（北京）有限公司 基于人脸图像的性别识别方法及装置
CN107103269A (zh) * 2016-02-23 2017-08-29 芋头科技（杭州）有限公司 一种表情反馈方法及智能机器人
CN107491726A (zh) * 2017-07-04 2017-12-19 重庆邮电大学 一种基于多通道并行卷积神经网络的实时表情识别方法
CN108197644A (zh) * 2017-12-27 2018-06-22 深圳市大熊动漫文化有限公司 一种图像识别方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1266642C (zh) * 2003-10-09 2006-07-26 重庆大学 基于多类别的人脸分类识别方法
US20070183665A1 (en) * 2006-02-06 2007-08-09 Mayumi Yuasa Face feature point detecting device and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008139093A2 (fr) * 2007-04-06 2008-11-20 France Telecom Determination d'un modele de categorie d'images
CN104715227A (zh) * 2013-12-13 2015-06-17 北京三星通信技术研究有限公司 人脸关键点的定位方法和装置
CN105512627A (zh) * 2015-12-03 2016-04-20 腾讯科技（深圳）有限公司 一种关键点的定位方法及终端
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、系统及拍摄终端
CN107103269A (zh) * 2016-02-23 2017-08-29 芋头科技（杭州）有限公司 一种表情反馈方法及智能机器人
CN106295591A (zh) * 2016-08-17 2017-01-04 乐视控股（北京）有限公司 基于人脸图像的性别识别方法及装置
CN107491726A (zh) * 2017-07-04 2017-12-19 重庆邮电大学 一种基于多通道并行卷积神经网络的实时表情识别方法
CN108197644A (zh) * 2017-12-27 2018-06-22 深圳市大熊动漫文化有限公司 一种图像识别方法和装置

Also Published As

Publication number Publication date
WO2020019591A1 (zh) 2020-01-30
CN109034069A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN109034069B (zh) 用于生成信息的方法和装置
CN108830235B (zh) 用于生成信息的方法和装置
CN108509915B (zh) 人脸识别模型的生成方法和装置
CN108898186B (zh) 用于提取图像的方法和装置
CN108073910B (zh) 用于生成人脸特征的方法和装置
CN107492379B (zh) 一种声纹创建与注册方法及装置
CN108052577B (zh) 一种通用文本内容挖掘方法、装置、服务器及存储介质
US11436863B2 (en) Method and apparatus for outputting data
CN109101919B (zh) 用于生成信息的方法和装置
CN108960316B (zh) 用于生成模型的方法和装置
CN108256591B (zh) 用于输出信息的方法和装置
CN109993150B (zh) 用于识别年龄的方法和装置
CN110363220B (zh) 行为类别检测方法、装置、电子设备和计算机可读介质
CN108491823B (zh) 用于生成人眼识别模型的方法和装置
CN112559800B (zh) 用于处理视频的方法、装置、电子设备、介质和产品
WO2020029466A1 (zh) 图像处理方法和装置
CN108549848B (zh) 用于输出信息的方法和装置
CN112507090B (zh) 用于输出信息的方法、装置、设备和存储介质
CN109214501B (zh) 用于识别信息的方法和装置
CN108229375B (zh) 用于检测人脸图像的方法和装置
CN108399401B (zh) 用于检测人脸图像的方法和装置
CN113221918A (zh) 目标检测方法、目标检测模型的训练方法及装置
CN109829431B (zh) 用于生成信息的方法和装置
CN108921138B (zh) 用于生成信息的方法和装置
CN109064464B (zh) 用于检测电池极片毛刺的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Tiktok vision (Beijing) Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Douyin Vision Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: Tiktok vision (Beijing) Co.,Ltd.

CP01 Change in the name or title of a patent holder