CN111428645A - 人体关键点的检测方法、装置、电子设备及存储介质 - Google Patents

人体关键点的检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111428645A
CN111428645A CN202010220489.9A CN202010220489A CN111428645A CN 111428645 A CN111428645 A CN 111428645A CN 202010220489 A CN202010220489 A CN 202010220489A CN 111428645 A CN111428645 A CN 111428645A
Authority
CN
China
Prior art keywords
network
detection network
detection
image
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010220489.9A
Other languages
English (en)
Other versions
CN111428645B (zh
Inventor
彭志辉
蒋燚
李亚乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jinsheng Communication Technology Co ltd
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Shanghai Jinsheng Communication Technology Co ltd
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jinsheng Communication Technology Co ltd, Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Shanghai Jinsheng Communication Technology Co ltd
Priority to CN202010220489.9A priority Critical patent/CN111428645B/zh
Publication of CN111428645A publication Critical patent/CN111428645A/zh
Priority to PCT/CN2021/073990 priority patent/WO2021190122A1/zh
Application granted granted Critical
Publication of CN111428645B publication Critical patent/CN111428645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本申请公开了一种人体关键点的检测方法、装置、存储介质及电子设备，本申请通过获取待检测图像；调用预训练的第一多级检测网络，第一多级检测网络基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，第二多级检测网络的层级数大于第一多级检测网络的层级数；基于第一多级检测网络对待检测图像进行关键点检测，得到待检测图像的关键点热力图；根据关键点热力图确定出待检测图像的人体关键点信息。本申请的第一多级检测网络是基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，故第一多级检测网络与第二多级检测网络的检测准确性相当。以此，提高人体关键点检测的准确率。

Description

人体关键点的检测方法、装置、电子设备及存储介质
技术领域
本申请实施例涉及计算机技术，尤其涉及一种人体关键点的检测方法、装置、电子设备及存储介质。
背景技术
目前，对于一些具有多级(Multiple Stages)网络结构的网络模型，如人体关键点检测模型而言，网络结构中的层级越多，该网络模型相应的检测精度也会越好。
但是，现有的多级人体关键点的检测方法一般参数量较大，使得该网络模型在移动设备上部署时会遇到计算量太大，模型输出时延过大的问题，另外如果直接减少该网络模型层级的级数虽然可以加速该模型推理，但又会带来模型精度不够的问题。
发明内容
本申请实施例提供的人体关键点的检测方法、装置、电子设备及存储介质，可以提高人体关键点检测的准确率。
第一方面，本申请实施例提供了一种人体关键点的检测方法，包括：
获取待检测图像；
调用预训练的第一多级检测网络，所述第一多级检测网络基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，所述第二多级检测网络的层级数大于所述第一多级检测网络的层级数；
基于所述第一多级检测网络对所述待检测图像进行关键点检测，得到所述待检测图像的关键点热力图；
根据所述关键点热力图确定出所述待检测图像的人体关键点信息。
第二方面，本申请实施例还提供了一种人体关键点的检测装置，包括：
获取模块，用于获取待检测图像；
调用模块，用于调用预训练的第一多级检测网络，所述第一多级检测网络基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，所述第二多级检测网络的层级数大于所述第一多级检测网络的层级数；
检测模块，用于基于所述第一多级检测网络对所述待检测图像进行关键点检测，得到所述待检测图像的关键点热力图；
确定模块，用于根据所述关键点热力图确定出所述待检测图像的人体关键点信息。
第三方面，本申请实施例提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行本申请任一实施例提供的人体关键点的检测方法。
第四方面，本申请实施例提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行：
获取待检测图像；
调用预训练的第一多级检测网络，所述第一多级检测网络基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，所述第二多级检测网络的层级数大于所述第一多级检测网络的层级数；
基于所述第一多级检测网络对所述待检测图像进行关键点检测，得到所述待检测图像的关键点热力图；
根据所述关键点热力图确定出所述待检测图像的人体关键点信息。
本申请实施例通过获取待检测图像；调用预训练的第一多级检测网络，所述第一多级检测网络基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，所述第二多级检测网络的层级数大于所述第一多级检测网络的层级数；基于所述第一多级检测网络对所述待检测图像进行关键点检测，得到所述待检测图像的关键点热力图；根据所述关键点热力图确定出所述待检测图像的人体关键点信息。由于本申请的第一多级检测网络是基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，故第一多级检测网络与第二多级检测网络的检测准确性相当。因此，本申请调用第一多级检测网络对待检测图像进行人体关键点检测时，可以提高人体关键点检测的准确率。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。
图1是本申请实施例提供的人体关键点的检测方法的第一流程示意图。
图2是本申请实施例提供的人体关键点的检测方法的第二流程示意图。
图3是本申请实施例提供的第一多级检测网络与第二多级检测网络对应的节点对信息的示意图。
图4是本申请实施例提供的人体关键点的检测装置的第一结构示意图。
图5是本申请实施例提供的人体关键点的检测装置的第二结构示意图。
图6是本申请实施例提供的电子设备的第一种结构示意图。
图7是本申请实施例提供的电子设备的第二种结构示意图。
具体实施方式
请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。
本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文该的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文该的装置及方法优选的以软件的方式进行实施，当然也可在硬件上进行实施，均在本申请保护范围之内。
本申请实施例提供一种人体关键点的检测方法，该人体关键点的检测方法应用于电子设备。其中，该人体关键点的检测方法的执行主体可以是本申请实施例提供的人体关键点的检测装置，或者集成了该人体关键点的检测装置的电子设备，该文本分类装置可以采用硬件或者软件的方式实现，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备。
请参考图1，图1为本申请实施例提供的人体关键点的检测方法的第一流程示意图。具体而言，该人体关键点的检测方法可以包括以下步骤：
101、获取待检测图像。
其中，电子设备获取包括人体的图像，将包括人体的图像确定为待检测图像。其中，该待检测图像中可以包括一个或多个人体。该待检测图像的格式可以为联合照片专家组(JointPhotographicExpertGroup，JPEG)或者绘图交换文件(Drawing ExchangeFormat，DXF)等等格式。
在一些实施方式中，待检测图像中可以包括人体和人体以外的其他物体，如车辆等。当待检测图像中包括人体和人体以外的其他物体时，电子设备可以将待检测图像中的人体部分进行截取，以得到人体图像，使得该检测图像中的物体只有人体。
102、调用预训练的第一多级检测网络。
其中，为了提高人体关键点的检测准确率，需要调用多层级的第一多级检测网络。该第一多级检测网络包括多个层级的人体关键点检测网络，多个层级的人体关键点检测网络模块顺序相连形成一个堆叠结构，使得待检测图像会依次经过每一人体关键点检测网络进行多次处理，每一层级的人体关键点检测网络可以对上一级检测网络的处理结果进行修正，从而不断提高确定出的人体关键点检测的准确率。
进一步的，该第一多级检测网络基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，所述第二多级检测网络的层级数大于所述第一多级检测网络的层级数。
需要说明的是，由于第二多级检测网络的层级数较多，使得第二多级检测网络在进行人体关键点检测时的计算量大以及处理时长较长，从而导致人体关键点的检测效率较低。但若只是简单的多级检测网络的层级数减小，虽然会使得该模型的计算量以及处理时长降低，但是也会影响到层级数减小的多级检测网络模型的精度，使得人体关键点检测的准确率降低。
故，本申请采用层级数多的第二多级检测网络中部分检测网络的网络参数对层级数少的第一多级检测网络进行训练，使得训练完毕的第一多级检测网络的精度与层级数多的第二多级检测网络的精度相当，以此提高人体关键点检测的准确率。
在一些实施方式中，调用预训练的第一多级检测网络的步骤之前，还包括：
(1)构建第一层级数的第一多级检测网络；
(2)获取训练完毕的第二层级数的第二多级检测网络，第二层级数大于第一层级数；
(3)从第二多级检测网络中数量为第一层级数的目标检测网络；
(4)获取每一目标检测网络的目标网络参数，基于目标网络参数对第一多级检测网络进行训练，以得到训练完毕的第一多级检测网络。
其中，构建第一层级数的第一多级检测网络，即第一多级检测网络中包括第一层级数的人体关键点检测网络。并从训练完毕的第二多级检测网络中获取第一层级数的目标检测网络，并根据检测网络的层级顺序将目标检测网络与第一多级检测网络中的人体关键点网络一一对应，使得可以根据目标检测网络的目标网络参数对第一多级检测网络中的人体关键点网络进行训练，以得到训练完毕的第一多级检测网络。
在一些实施方式中，获取每一目标检测网络的目标网络参数，基于目标网络参数对第一多级检测网络进行训练，以得到训练完毕的第一多级检测网络的步骤，可以包括：
将第一层级数的目标检测网络与第一多级检测网络中的第一检测网络一一对应进行存储；获取每一目标检测网络对应的目标网络参数，基于所述目标网络参数对对应的第一检测网络进行训练。
103、基于第一多级检测网络对待检测图像进行关键点检测，得到待检测图像的关键点热力图。
其中，第一多级检测网络中包括多个层级的人间关键点检测网络，其中，第一层级的人体关键点检测网络会根据待检测图像的特征信息得到第一预测输出信息，第二层级的人体关键点网络以第一预设输出信息和特征信息作为输出信息，对待检测图像进行检测以得到第二预测输出信息，直至最后一个层级的人体关键点检测网络输出最后的预测输出信息即关键点热力图。
人体的关键点是指人体的重要组成部位的位置点，如人体的关键点可以包括：左眼，右眼，左耳，右耳，鼻子，胸，左肩，右肩，左手肘，右手肘，左手腕，右手腕，左髋关节，右髋关节，左膝，右膝，左脚踝，右脚踝等等。可以根据实际需要选取多个人体关键点作为预设关键点，以检测出待检测图像中的预设关键点的位置。
关键点热力图包括待检测图像中多个位置属于每一人体关键点的概率，也就是说，在在人体图像中可能属于该关键点的各个位置以及各个位置属于该关键点的概率均可以在该关键点对应的关键点热力图中呈现出来。
在一些实施方式中，基于第一多级检测网络对待检测图像进行关键点检测，得到待检测图像的关键点热力图的步骤，可以包括：
通过第一多级检测网络中的特征提取网络提取待检测图像的特征信息；将特征信息依次输入至多层级的检测网络中进行处理，以得到各个关键点的关键点热力图。
其中，第一多级检测网络中的特征提取网络为卷积神经网络，如VGG、 ResNet、Inception、MobileNet等。电子设备将待检测图像输入预设的关键点检测模型中，得到待检测图像对应的多组特征图，其中，每组特征图包括多个不同尺寸的特征图；
电子设备对待检测图像对应的每组特征图中的特征图进行融合处理，得到待检测图像对应的多个关键点热力图，其中，一组特征图对应一个热力图。
例如，电子设备可将每组特征图中的多个不同尺度的特征图按照从大到小的顺序排列。然后，电子设备确定出每组特征图中排列在中间的特征图，作为第一特征图。接着，电子设备可以以该第一特征图为标准，对每组特征图中的其他特征图进行上采样或者下采样处理，以使经上采样或者下采样处理后的其他特征图的尺寸与该第一特征图的尺寸相同。随后，电子设备可对该第一特征图、经过上采样或者下采样处理的其他特征图进行融合处理。
在第一多级检测网络提取出待检测图像的特征信息后，会将特征信息输入至第一层级的检测网络(人体关键点检测网络)进行处理，以得到第一输出信息，进行将第一输出信息和特征信息作为输入，输入至第二层级的检测网络中进行处理，以得到第二输出信息，直至最后层级的检测网络处理完毕，以得到各个关键点的关键点热力图。
104、根据关键点热力图确定出待检测图像的人体关键点信息。
其中，获取每一人体关键点的关键点热力图，将关键点热力图中概率值最大的位置坐标确定为该人体关键点的位置坐标。以此，根据每一人体关键点的关键点热力图确定出每一人体关键点的位置信息，得到待检测图像的多个人体关键点信息。其中，关键点的位置坐标包括x坐标和y坐标，也就是说，每个关键点坐标可以用一组(x，y)坐标表示。
在一些实施方式中，在确定出待检测图像的人体关键点信息后，电子设备可以根据人体关键点信息确定出待检测图像中人体的姿态。例如，在确定出待检测图像中的人体关键点信息之后，电子设备可将待检测图像中的人体关键点信息输入预设的姿态识别模型中，以识别出待检测图像息的人体的姿态。
由上可知，本申请实施例提供的人体关键的检测方法，通过获取待检测图像；调用预训练的第一多级检测网络，所述第一多级检测网络基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，所述第二多级检测网络的层级数大于所述第一多级检测网络的层级数；基于所述第一多级检测网络对所述待检测图像进行关键点检测，得到所述待检测图像的关键点热力图；根据所述关键点热力图确定出所述待检测图像的人体关键点信息。由于本申请的第一多级检测网络是基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，故第一多级检测网络与第二多级检测网络的检测准确性相当。因此，本申请调用第一多级检测网络对待检测图像进行人体关键点检测时，可以提高人体关键点检测的准确率。
根据上述实施例所描述的方法，以下将举例进一步详细说明。
请参阅图2，图2为本申请实施例提供的人体关键点的检测方法的第二流程示意图。具体而言，人体关键点的检测方法包括：
201、获取待检测图像。
其中，电子设备获取包括人体的图像，将包括人体的图像确定为待检测图像。其中，该待检测图像中可以包括一个或多个人体。该待检测图像的格式可以为JPEG或者DXF等等格式。
在一些实施方式中，待检测图像中可以包括人体和人体以外的其他物体，如车辆等。当待检测图像中包括人体和人体以外的其他物体时，电子设备可以将待检测图像中的人体部分进行截取，以得到人体图像，使得该检测图像中的物体只有人体。
202、构建第一层级数的第一多级检测网络。
其中，构建包括第一层级数的第一检测网络的第一多级检测网络，该第一检测网络为人体关键点检测网络。第一多级检测网络可以为CPM网络 (Convolutional PoseMachine)、hourglass网络、OpenPose网络等。
在一些实施方式中，构建第一层级数的第一多级检测网络的步骤之后，还包括：
通过截断正态分布(truncated normal distribution)的方法随机获取多个参数值，所述参数值为非零值；将所述多个参数值作为所述第一多级检测网络的初始网络参数。
其中，通过截断正态分布的方法随机确定出第一多级检测网络中的每一检测网络的初始网络参数。
203、获取训练完毕的第二层级数的第二多级检测网络。
其中，获取包括第二层级数的第二检测网络的第二多级检测网络，第二检测网络为与第一检测网络结构相同的人体关键点检测网络。其中，第二层级数大于第一层级数。
在一些实施方式中，获取训练完毕的第二层级数的第二多级检测网络的步骤之前，还包括：
1)构建第二多级检测网络以及第二损失函数；
2)通过截断正态分布的方法随机获取多个非零值的参数值，将所述多个参数值作为所述第二多级检测网络的初始网络参数。
3)加载训练数据，根据训练数据以及第二损失函数对第二多级检测网络进行训练，以得到训练完毕的第二多级检测网络。
其中，第二多级检测网络中包括第二层级数的第二检测网络。根据训练数据以及第二损失函数对第二多级检测网络中的每一第二检测网络的网络参数进行更新，直至第二多级检测网络收敛。
在一些实施方式中，可以采用梯度下降方法对第二多级检测网络进行训练，并采用均方误差公式构建第二损失函数。
第二损失函数为：
Figure RE-GDA0002533655390000091
P代表网络预测的输出，yGT表示训练数据的图像标签，W(P)表示某个关键点是否存在的权重，若存在为1否则为0，j表示各个人体关键点的编号， Hj(p)表示第j个人体关键点的PCM(part confidence map)输出，c表示关键点之间的连接边数量，Lc(p)表示第c条连接边的PAF(Part Affinity Fields)输出。
其中，训练数据的图像标签表示每一训练数据中标记的人体关键点的位置坐标。
204、从第二多级检测网络中确定数量为第一层级数的目标检测网络。
其中，从第二多级检测网络的第二检测网络中确定出数量为第一层级数的目标检测网络。
在一些实施方式中，从第二多级检测网络中确定数量为第一层级数的目标检测网络的步骤，包括：
当第二层级数为第一层级数的N倍时，确定每一第一检测网络的第一网络层级数；从第二检测网络中选取网络层级数为第一网络层级数的N倍的第二网络层级数；将第二网络层级数的第二检测网络确定为目标检测网络。
例如，请参阅图3，图3为本申请实施例提供的第一多级检测网络与第二多级检测网络对应的节点对信息的示意图。当第一层级数为4，第二层级数为 8时，此时第二层级数为第一层级数的2倍。故，获取第二检测网络中网络层级数为2、4、6、8的第二检测网络作为目标检测网络。其中，网络层数为2 的第二检测网络与网络层数为1的第一检测网络一一对应，网络层数为4的第二检测网络与网络层数为2的第一检测网络一一对应，网络层数为6的第二检测网络与网络层数为3的第一检测网络一一对应，网络层数为8的第二检测网络与网络层数为4的第一检测网络一一对应。
205、获取第一多级检测网络中每一第一检测网络的第一输出层，以及目标检测网络的第二输出层。
其中，每一检测网络中均至少包括输入层、隐藏层以及输出层。第一多级检测网络的当前层级的第一检测网络的输入层与上一层级的第一检测网络的输出层相连。使得将上一层级的输出层输出的预设输出信息作为输入信息，输入至当前层级的第一检测网络的输入层进行处理。
获取每一第一检测网络的输出层，将其确定为第一输出层。以及获取目标检测网络的输出层，并将其确定为第二输出层。
206、根据多级检测网络的层级顺序将第一输出层与第二输出层一一对应进行存储。
其中，请继续参阅图3，如图所示，根据多级检测网络的层级顺序将第一输出层与第二输出层一一对应，组成一个节点对信息，并将每一节点对信息存储至链表中。
例如，将网络层数为2的第二检测网络的第二输出层与网络层数为1的第一检测网络的第一输出层组成第一节点对信息，将网络层数为4的第二检测网络的第二输出层与网络层数为2的第一检测网络的第一输出层组成第二节点对信息，将网络层数为6的第二检测网络的第二输出层与网络层数为3的第一检测网络的第一输出层组成第三节点对信息，将网络层数为8的第二检测网络的第二输出层与网络层数为4的第一检测网络的第一输出层组成第四节点对信息。
207、获取第二输出层的网络参数，将网络参数确定为目标检测网络的目标网络参数。
208、获取目标网络参数以及每一第一检测网络的第一网络参数，根据目标网络参数与第一网络参数构建第一多级检测网络对应的第一损失函数。
其中，从链表中获取每一节点对信息对应的目标网络参数以及第一网络参数，根据目标网络参数与第一网络参数构建第一多级检测网络对应的第一损失函数。
例如，第一节点对信息中包括网络层级为2第二多级检测网络的目标网络参数以及网络层级为1的第一检测网络的第一网络参数；第二节点对信息中包括网络层级为4第二多级检测网络的目标网络参数以及网络层级为2的第一检测网络的第一网络参数。
在一些实施方式中，可以通过计算每一节点对信息中的目标网络参数与第一网络参数的欧式距离(Euclidean Distance)来构架第一多级检测网络的第一损失函数。
第一损失函数为：
Figure RE-GDA0002533655390000111
其中，n为第一层级数，y(x)表示第x个节点对信息对应的目标网络参数，a(x)第x个节点对信息对应的第一网络参数。
209、基于第一损失函数对第一多级检测网络进行训练，直至第一多级检测网络满足收敛条件，得到训练完毕的第一多级检测网络。
其中，加载训练数据，基于第一损失函数以及训练数据对第一多级检测网络的第一网络参数进行更新。可以以第一损失函数最小化为目标对第一多级检测网络进行训练。当第一损失函数的损失值达到最小值时，或者说说，当第一损失函数收敛至预设范围后，确定第一多级检测网络满足收敛条件，得到训练完毕的第一多级检测网络。
加载数据带有多个标记人体关键点的位置坐标的图像标签，加载训练数据获取每一训练数据的人体关键点的位置坐标，以通过训练数据的人体关键点的位置坐标以及第一损失函数对第一多级检测网络进行训练。
需要说明的是，损失函数通常是用来估量模型的预测值(如模型所预测的关键点坐标)与真实值(如实际标记的关键点坐标)的不一致程度。它是一个非负实值函数。损失函数可以根据实际需求来设置。
可以理解的是，本申请通过训练完毕的多层级的第二多级检测网络对层级少的第一多级检测网络进行训练，以将多层级的第二多级检测网络的部分检测网络的中间跳层作为指导，将先验知识传递至层级少的第一多级检测网络的第一检测网络中，以加速第一多级检测网络的收敛，提高第一多级检测网络的训练速度。并且通过第二多级检测网络对第一多级检测网络进行训练还可以提高第一多级检测网络的精度。
进一步的，由于第一多级检测网络模型与第二多级检测模型的网络结构相同，故本申请对第一多级检测网络的训练过程不需要对多级检测网络的网络结构进行改动，可以实现以极小的精度损失压缩多级检测网络的模型尺寸与计算量，以提高人体关键点检测的准确率和处理速度。
210、调用预训练的第一多级检测网络。
其中，为了提高人体关键点的检测准确率，需要调用步骤209训练得到的第一多级检测网络。该第一多级检测网络包括多个层级的人体关键点检测网络，多个层级的人体关键点检测网络模块顺序相连形成一个堆叠结构，使得待检测图像会依次经过每一人体关键点检测网络进行多次处理，每一层级的人体关键点检测网络可以对上一级检测网络的处理结果进行修正，从而不断提高确定出的人体关键点检测的准确率。
211、基于第一多级检测网络对待检测图像进行关键点检测，得到待检测图像的关键点热力图。
其中，第一多级检测网络中包括多个层级的人间关键点检测网络，其中，第一层级的人体关键点检测网络会根据待检测图像的特征信息得到第一预测输出信息，第二层级的人体关键点网络以第一预设输出信息和特征信息作为输出信息，对待检测图像进行检测以得到第二预测输出信息，直至最后一个层级的人体关键点检测网络输出最后的预测输出信息即关键点热力图。
人体的关键点是指人体的重要组成部位的位置点，如人体的关键点可以包括：左眼，右眼，左耳，右耳，鼻子，胸，左肩，右肩，左手肘，右手肘，左手腕，右手腕，左髋关节，右髋关节，左膝，右膝，左脚踝，右脚踝等等。可以根据实际需要选取多个人体关键点作为预设关键点，以检测出待检测图像中的预设关键点的位置。
关键点热力图包括待检测图像中多个位置属于每一人体关键点的概率，也就是说，在在人体图像中可能属于该关键点的各个位置以及各个位置属于该关键点的概率均可以在该关键点对应的关键点热力图中呈现出来。
212、根据关键点热力图确定出待检测图像的人体关键点信息。
其中，获取每一人体关键点的关键点热力图，将关键点热力图中概率值最大的位置确定为该人体关键点的位置。以此，根据每一人体关键点的关键点热力图确定出每一人体关键点的位置，得到待检测图像的人体关键点信息。
由上可知，本申请实施例提供的人体关键的检测方法，通过获取待检测图像；调用预训练的第一多级检测网络，所述第一多级检测网络基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，所述第二多级检测网络的层级数大于所述第一多级检测网络的层级数；基于所述第一多级检测网络对所述待检测图像进行关键点检测，得到所述待检测图像的关键点热力图；根据所述关键点热力图确定出所述待检测图像的人体关键点信息。由于本申请的第一多级检测网络是基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，故第一多级检测网络与第二多级检测网络的检测准确性相当。因此，本申请调用第一多级检测网络对待检测图像进行人体关键点检测时，可以提高人体关键点检测的准确率。
请参阅图4，图4为本申请实施例提供的人体关键点的检测装置的结构示意图。该人体关键点的检测装置300可以包括：第一获取模块31、调用模块 32、检测模块33和第一确定模块34。
第一获取模块31，用于获取待检测图像。
调用模块32，用于调用预训练的第一多级检测网络，第一多级检测网络基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，第二多级检测网络的层级数大于第一多级检测网络的层级数。
检测模块33，用于基于第一多级检测网络对待检测图像进行关键点检测，得到待检测图像的关键点热力图。
第一确定模块34，用于根据关键点热力图确定出待检测图像的人体关键点信息。
在一些实施方式中，请参阅图5，图5为本申请实施例提供的人体关键点的检测装置的第二结构示意图。其中，人体关键点的检测装置300还可以包括：
构建模块35，用于构建第一层级数的第一多级检测网络。
第二获取模块36，用于获取训练完毕的第二层级数的第二多级检测网络，第二层级数大于第一层级数。
第二确定模块37，用于从第二多级检测网络中确定出数量为第一层级数的目标检测网络。
训练模块38，用于获取每一目标检测网络的目标网络参数，基于目标网络参数对第一多级检测网络进行训练，以得到训练完毕的第一多级检测网络。
在一些实施方式中，第二确定模块37具体用于，将第一层级数的目标检测网络与第一多级检测网络中的第一检测网络一一对应进行存储；获取每一目标检测网络对应的目标网络参数，基于目标网络参数对对应的第一检测网络进行训练。
在一些实施方式中，第二确定模块37还具体用于，获取第一多级检测网络中每一第一检测网络的第一输出层，以及目标检测网络的第二输出层；根据多级检测网络的层级顺序将第一输出层与第二输出层一一对应进行存储；获取第二输出层的网络参数，将网络参数确定为目标检测网络的目标网络参数。
在一些实施方式中，第二确定模块37具体用于，获取每一目标检测网络的目标网络参数以及每一第一检测网络的第一网络参数，根据目标网络参数与第一网络参数构建第一多级检测网络对应的第一损失函数；基于第一损失函数对第一多级检测网络进行训练，直至第一损失函数的损失值最小时，确定第一多级检测网络满足收敛条件，得到训练完毕的第一多级检测网络。
在一些实施方式中，构建模块35还用于，通过截断正态分布的方法随机获取多个参数值，参数值为非零值；将多个参数值作为第一多级检测网络的初始网络参数。
在一些实施方式中，检测模块33具体用于，通过第一多级检测网络中的特征提取网络提取待检测图像的特征信息；将特征信息依次输入至多层级的第一检测网络中进行处理，以得到各个关键点的关键点热力图。
由上可知，本申请实施例提供的人体关键的检测装置，通过获取模块获取待检测图像；调用模块调用预训练的第一多级检测网络，第一多级检测网络基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，第二多级检测网络的层级数大于第一多级检测网络的层级数；检测模块基于第一多级检测网络对待检测图像进行关键点检测，得到待检测图像的关键点热力图；确定模块根据关键点热力图确定出待检测图像的人体关键点信息。由于本申请的第一多级检测网络是基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，故第一多级检测网络与第二多级检测网络的检测准确性相当。因此，本申请调用第一多级检测网络对待检测图像进行人体关键点检测时，可以提高人体关键点检测的准确率。
应当说明的是，本申请实施例提供的人体关键点的检测装置与上文实施例中的人体关键点的检测方法属于同一构思，在人体关键点的检测装置上可以运行人体关键点的检测方法实施例中提供的任一方法，其具体实现过程详见人体关键点的检测方法实施例，此处不再赘述。
根据上述实施例所描述人体关键点的检测方法，以下将举例进一步详细说明。
本申请实施例还提供一种电子设备。请参阅图6，电子设备500包括处理器 501以及存储器502。其中，处理器501与存储器502电性连接。
该处理器500是电子设备500的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器502内的计算机程序，以及调用存储在存储器502内的数据，执行电子设备500的各种功能并处理数据，从而对电子设备500进行整体监控。
该存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等) 等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器502 可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。
在本申请实施例中，电子设备500中的处理器501会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器502中，并由处理器501运行存储在存储器502中的计算机程序，从而实现各种功能，如下：
获取待检测图像；
调用预训练的第一多级检测网络，第一多级检测网络基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，第二多级检测网络的层级数大于第一多级检测网络的层级数；
基于第一多级检测网络对待检测图像进行关键点检测，得到待检测图像的关键点热力图；
根据关键点热力图确定出待检测图像的人体关键点信息。
在一些实施方式中，调用预训练的第一多级检测网络之前，处理器501 可以具体执行以下步骤：
构建第一层级数的第一多级检测网络；
获取训练完毕的第二层级数的第二多级检测网络，第二层级数大于第一层级数；
从第二多级检测网络中确定出数量为第一层级数的目标检测网络；
获取每一目标检测网络的目标网络参数，基于目标网络参数对第一多级检测网络进行训练，以得到训练完毕的第一多级检测网络。
在一些实施方式中，获取每一目标检测网络的目标网络参数，基于目标网络参数对第一多级检测网络进行训练时，处理器501可以具体执行以下步骤：
将第一层级数的目标检测网络与第一多级检测网络中的第一检测网络一一对应进行存储；
获取每一目标检测网络对应的目标网络参数，基于目标网络参数对对应的第一检测网络进行训练。
在一些实施方式中，将第一层级数的目标检测网络与第一多级检测网络中的第一检测网络一一对应进行存储的步骤，包括：
获取第一多级检测网络中每一第一检测网络的第一输出层，以及目标检测网络的第二输出层；
根据多级检测网络的层级顺序将第一输出层与第二输出层一一对应进行存储；
获取第二输出层的网络参数，将网络参数确定为目标检测网络的目标网络参数。
在一些实施方式中，获取每一目标检测网络的目标网络参数，基于目标网络参数对第一多级检测网络进行训练时，处理器501可以具体执行以下步骤：
获取每一目标检测网络的目标网络参数以及每一第一检测网络的第一网络参数，根据目标网络参数与第一网络参数构建第一多级检测网络对应的第一损失函数；
基于第一损失函数对第一多级检测网络进行训练，直至第一损失函数的损失值最小时，确定第一多级检测网络满足收敛条件，得到训练完毕的第一多级检测网络。
在一些实施方式中，构建第一层级数的第一多级检测网络之后，处理器 501可以具体执行以下步骤：
通过截断正态分布的方法随机获取多个参数值，参数值为非零值；
将多个参数值作为第一多级检测网络的初始网络参数。
在一些实施方式中，基于第一多级检测网络对待检测图像进行关键点检测，得到待检测图像的关键点热力图时，处理器501可以具体执行以下步骤：：
通过第一多级检测网络中的特征提取网络提取待检测图像的特征信息；
将特征信息依次输入至多层级的第一检测网络中进行处理，以得到各个关键点的关键点热力图。
本申请实施例提供的电子设备，通过获取待检测图像；调用预训练的第一多级检测网络，第一多级检测网络基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，第二多级检测网络的层级数大于第一多级检测网络的层级数；基于第一多级检测网络对待检测图像进行关键点检测，得到待检测图像的关键点热力图；根据关键点热力图确定出待检测图像的人体关键点信息。由于本申请的第一多级检测网络是基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，故第一多级检测网络与第二多级检测网络的检测准确性相当。因此，本申请调用第一多级检测网络对待检测图像进行人体关键点检测时，可以提高人体关键点检测的准确率。
请一并参阅图7，在某些实施方式中，电子设备500还可以包括：显示器503、射频电路504、音频电路505以及电源506。其中，其中，显示器503、射频电路 504、音频电路505以及电源506分别与处理器501电性连接。
该显示器503可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器503可以包括显示面板，在某些实施方式中，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、或者有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板。
该射频电路504可以用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。
该音频电路505可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。
该电源506可以用于给电子设备500的各个部件供电。在一些实施例中，电源506可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图7中未示出，电子设备500还可以包括摄像头、蓝牙模块等，在此不再赘述。
本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当其存储的计算机程序在计算机上执获取待检测图像；调用预训练的第一多级检测网络，第一多级检测网络基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，第二多级检测网络的层级数大于第一多级检测网络的层级数；基于第一多级检测网络对待检测图像进行关键点检测，得到待检测图像的关键点热力图；根据关键点热力图确定出待检测图像的人体关键点信息。
在本申请实施例中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM，)、或者随机存取记忆体(Random Access Memory，RAM) 等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
需要说明的是，对本申请实施例的人体关键点的检测方法而言，本领域普通测试人员可以理解实现本申请实施例的人体关键点的检测方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的至少一个处理器执行，在执行过程中可包括如人体关键点的检测方法的实施例的流程。其中，该的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的人体关键点的检测装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，该存储介质譬如为只读存储器，磁盘或光盘等。
以上对本申请实施例所提供的一种人体关键点的检测方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种人体关键点的检测方法，其特征在于，包括：
获取待检测图像；
调用预训练的第一多级检测网络，所述第一多级检测网络基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，所述第二多级检测网络的层级数大于所述第一多级检测网络的层级数；
基于所述第一多级检测网络对所述待检测图像进行关键点检测，得到所述待检测图像的关键点热力图；
根据所述关键点热力图确定出所述待检测图像的人体关键点信息。
2.根据权利要求1所述的检测方法，其特征在于，所述调用预训练的第一多级检测网络的步骤之前，还包括：
构建第一层级数的第一多级检测网络；
获取训练完毕的第二层级数的第二多级检测网络，所述第二层级数大于所述第一层级数；
从所述第二多级检测网络中确定出数量为第一层级数的目标检测网络；
获取每一目标检测网络的目标网络参数，基于所述目标网络参数对所述第一多级检测网络进行训练，以得到训练完毕的第一多级检测网络。
3.根据权利要求2所述的检测方法，其特征在于，获取每一目标检测网络的目标网络参数，基于所述目标网络参数对所述第一多级检测网络进行训练的步骤，包括：
将第一层级数的目标检测网络与第一多级检测网络中的第一检测网络一一对应进行存储；
获取每一目标检测网络对应的目标网络参数，基于所述目标网络参数对对应的第一检测网络进行训练。
4.根据权利要求3所述的检测方法，其特征在于，所述将第一层级数的目标检测网络与第一多级检测网络中的第一检测网络一一对应进行存储的步骤，包括：
获取第一多级检测网络中每一第一检测网络的第一输出层，以及所述目标检测网络的第二输出层；
根据多级检测网络的层级顺序将所述第一输出层与所述第二输出层一一对应进行存储；
所述获取每一目标检测网络对应的目标网络参数的步骤，包括：
获取所述第二输出层的网络参数，将所述网络参数确定为目标检测网络的目标网络参数。
5.根据权利要求3所述的检测方法，其特征在于，所述获取每一目标检测网络的目标网络参数，基于所述目标网络参数对所述第一多级检测网络进行训练的步骤，包括：
获取每一目标检测网络的目标网络参数以及每一第一检测网络的第一网络参数，根据所述目标网络参数与所述第一网络参数构建所述第一多级检测网络对应的第一损失函数；
基于所述第一损失函数对所述第一多级检测网络进行训练，直至所述第一多级检测网络满足收敛条件，得到训练完毕的第一多级检测网络。
6.根据权利要求2至5任一项所述的检测方法，其特征在于，所述构建第一层级数的第一多级检测网络的步骤之后，还包括：
通过截断正态分布的方法随机获取多个参数值，所述参数值为非零值；
将所述多个参数值作为所述第一多级检测网络的初始网络参数。
7.根据权利要求1至5任一项所述的检测方法，其特征在于，所述基于所述第一多级检测网络对所述待检测图像进行关键点检测，得到所述待检测图像的关键点热力图的步骤，包括：
通过所述第一多级检测网络中的特征提取网络提取所述待检测图像的特征信息；
将所述特征信息依次输入至多层级的第一检测网络中进行处理，以得到各个关键点的关键点热力图。
8.一种人体关键点的检测装置，其特征在于，包括：
获取模块，用于获取待检测图像；
调用模块，用于调用预训练的第一多级检测网络，所述第一多级检测网络基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，所述第二多级检测网络的层级数大于所述第一多级检测网络的层级数；
检测模块，用于基于所述第一多级检测网络对所述待检测图像进行关键点检测，得到所述待检测图像的关键点热力图；
确定模块，用于根据所述关键点热力图确定出所述待检测图像的人体关键点信息。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1至7任一项所述的人体关键点的检测方法。
10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行：
获取待检测图像；
调用预训练的第一多级检测网络，所述第一多级检测网络基于训练完毕的第二多级检测网络中部分检测网络的网络参数训练得到，所述第二多级检测网络的层级数大于所述第一多级检测网络的层级数；
基于所述第一多级检测网络对所述待检测图像进行关键点检测，得到所述待检测图像的关键点热力图；
根据所述关键点热力图确定出所述待检测图像的人体关键点信息。
CN202010220489.9A 2020-03-25 2020-03-25 人体关键点的检测方法、装置、电子设备及存储介质 Active CN111428645B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010220489.9A CN111428645B (zh) 2020-03-25 2020-03-25 人体关键点的检测方法、装置、电子设备及存储介质
PCT/CN2021/073990 WO2021190122A1 (zh) 2020-03-25 2021-01-27 人体关键点的检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010220489.9A CN111428645B (zh) 2020-03-25 2020-03-25 人体关键点的检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111428645A true CN111428645A (zh) 2020-07-17
CN111428645B CN111428645B (zh) 2023-07-18

Family

ID=71548703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010220489.9A Active CN111428645B (zh) 2020-03-25 2020-03-25 人体关键点的检测方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN111428645B (zh)
WO (1) WO2021190122A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364713A (zh) * 2020-10-22 2021-02-12 深圳大学 一种智能化妆建议方法及系统
WO2021190122A1 (zh) * 2020-03-25 2021-09-30 Oppo广东移动通信有限公司 人体关键点的检测方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114519666B (zh) * 2022-02-18 2023-09-19 广州方硅信息技术有限公司 直播图像矫正方法、装置、设备及存储介质
CN115019136B (zh) * 2022-08-05 2022-11-25 山东圣点世纪科技有限公司 抗边界点漂移的目标关键点检测模型训练方法及检测方法
CN116645699B (zh) * 2023-07-27 2023-09-29 杭州华橙软件技术有限公司 一种关键点检测方法、装置、终端及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229509A (zh) * 2016-12-16 2018-06-29 北京市商汤科技开发有限公司 用于识别物体类别的方法及装置、电子设备
CN109784149A (zh) * 2018-12-06 2019-05-21 北京飞搜科技有限公司 一种人体骨骼关键点的检测方法及系统
CN110276316A (zh) * 2019-06-26 2019-09-24 电子科技大学 一种基于深度学习的人体关键点检测方法
CN110309706A (zh) * 2019-05-06 2019-10-08 深圳市华付信息技术有限公司 人脸关键点检测方法、装置、计算机设备及存储介质
CN110580487A (zh) * 2018-06-08 2019-12-17 Oppo广东移动通信有限公司 神经网络的训练方法、构建方法、图像处理方法和装置
CN110619316A (zh) * 2019-09-26 2019-12-27 联想(北京)有限公司 人体关键点检测方法、装置和电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145946A (zh) * 2017-03-17 2017-09-08 华南理工大学 一种在不同神经网络结构间进行知识迁移的方法
CN108229651A (zh) * 2017-11-28 2018-06-29 北京市商汤科技开发有限公司 神经网络模型迁移方法和系统、电子设备、程序和介质
CN110033077A (zh) * 2019-02-11 2019-07-19 阿里巴巴集团控股有限公司 神经网络训练方法以及装置
CN111428645B (zh) * 2020-03-25 2023-07-18 Oppo广东移动通信有限公司 人体关键点的检测方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229509A (zh) * 2016-12-16 2018-06-29 北京市商汤科技开发有限公司 用于识别物体类别的方法及装置、电子设备
CN110580487A (zh) * 2018-06-08 2019-12-17 Oppo广东移动通信有限公司 神经网络的训练方法、构建方法、图像处理方法和装置
CN109784149A (zh) * 2018-12-06 2019-05-21 北京飞搜科技有限公司 一种人体骨骼关键点的检测方法及系统
CN110309706A (zh) * 2019-05-06 2019-10-08 深圳市华付信息技术有限公司 人脸关键点检测方法、装置、计算机设备及存储介质
CN110276316A (zh) * 2019-06-26 2019-09-24 电子科技大学 一种基于深度学习的人体关键点检测方法
CN110619316A (zh) * 2019-09-26 2019-12-27 联想(北京)有限公司 人体关键点检测方法、装置和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021190122A1 (zh) * 2020-03-25 2021-09-30 Oppo广东移动通信有限公司 人体关键点的检测方法、装置、电子设备及存储介质
CN112364713A (zh) * 2020-10-22 2021-02-12 深圳大学 一种智能化妆建议方法及系统

Also Published As

Publication number Publication date
WO2021190122A1 (zh) 2021-09-30
CN111428645B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN111428645A (zh) 人体关键点的检测方法、装置、电子设备及存储介质
CN110599557B (zh) 图像描述生成方法、模型训练方法、设备和存储介质
CN111985240B (zh) 命名实体识别模型的训练方法、命名实体识别方法及装置
CN110110045B (zh) 一种检索相似文本的方法、装置以及存储介质
CN109902296B (zh) 自然语言处理方法、训练方法及数据处理设备
CN108537283A (zh) 一种图像分类方法及卷积神经网络生成方法
CN110147532B (zh) 编码方法、装置、设备及存储介质
CN110084253A (zh) 一种生成物体检测模型的方法
CN111930964B (zh) 内容处理方法、装置、设备及存储介质
JP2022502758A (ja) 符号化方法、装置、機器およびプログラム
US20230035366A1 (en) Image classification model training method and apparatus, computer device, and storage medium
CN111709398A (zh) 一种图像识别的方法、图像识别模型的训练方法及装置
CN111209377A (zh) 基于深度学习的文本处理方法、装置、设备及介质
CN111339737B (zh) 实体链接方法、装置、设备及存储介质
CN111340213B (zh) 神经网络的训练方法、电子设备、存储介质
CN115393251A (zh) 印制线路板的缺陷检测方法、装置、存储介质及电子设备
CN113095072A (zh) 文本处理方法及装置
CN113486260B (zh) 互动信息的生成方法、装置、计算机设备及存储介质
WO2020207294A1 (zh) 服务处理方法、装置、存储介质及电子设备
CN113761195A (zh) 文本分类方法、装置、计算机设备及计算机可读存储介质
CN116415624A (zh) 模型训练方法及装置、内容推荐方法及装置
CN113413607A (zh) 一种信息推荐方法、装置、计算机设备及存储介质
CN113222167A (zh) 一种图像处理方法及其装置
CN112632222B (zh) 一种终端设备和确定数据所属领域的方法
CN113806532B (zh) 比喻句式判断模型的训练方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant