CN111860199A - 图像中关键点的检测方法及设备 - Google Patents

图像中关键点的检测方法及设备 Download PDF

Info

Publication number
CN111860199A
CN111860199A CN202010598834.2A CN202010598834A CN111860199A CN 111860199 A CN111860199 A CN 111860199A CN 202010598834 A CN202010598834 A CN 202010598834A CN 111860199 A CN111860199 A CN 111860199A
Authority
CN
China
Prior art keywords
image
key points
sample image
detection model
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010598834.2A
Other languages
English (en)
Other versions
CN111860199B (zh
Inventor
黄骏杰
朱政
黄冠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xinyi Intelligent Technology Co ltd
Original Assignee
Shanghai Xinyi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xinyi Intelligent Technology Co ltd filed Critical Shanghai Xinyi Intelligent Technology Co ltd
Priority to CN202010598834.2A priority Critical patent/CN111860199B/zh
Publication of CN111860199A publication Critical patent/CN111860199A/zh
Application granted granted Critical
Publication of CN111860199B publication Critical patent/CN111860199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种图像中关键点的检测方法及设备，能够将样本图像输入神经网络进行关键点检测的训练得到初始检测模型，再将去除部分图像的样本图像输入初始检测模型进行再次训练，将得到的优化检测模型作为最终的关键点检测模型，再使用该关键点检测模型对待检测图像进行关键点检测，确定待检测图像中的关键点，从而使得关键点检测模型能够学习和利用关键点之间的关系来进行关键点检测，进而提高了待检测图像中关键点的检测精度。

Description

图像中关键点的检测方法及设备
技术领域
本申请涉及图像识别领域，尤其涉及一种图像中关键点的检测方法及设备。
背景技术
检测图像中的关键点即关键点估计，是指从二维图像中给出感兴趣目标的关键点的位置，这里的目标可以为人体、人脸或其它任意的目标等，可以应用于人机交互、视觉监控、体育运动分析、医疗诊断、虚拟现实以及增强现实等多种领域。
当前，对图像中的关键点进行估计的神经网络算法多采用基于关键点的外观信息来定位关键点，相关论文例如有2019年Sun K，Xiao B等人发表的Deep high-resolutionrepresentation learning for human pose estimation，Huang J，Zhu Z等人发表的TheDevil is in the Details:Delving into Unbiased Data Processing for Human PoseEstimation，Liu Z，Zhu X等人发表的Semantic alignment:Finding semanticallyconsistent ground-truth for facial landmark detection等，这些方法根据关键点附近的图像像素信息来确定关键点位置，每个关键点独立进行定位，位置估计的精度往往不高。
发明内容
本申请的一个目的是提供一种图像中关键点的检测方法及设备，用于解决现有技术下对关键点检测的精度不高的问题。
为实现上述目的，本申请提供了一种图像中关键点的检测方法，其中，该方法包括：
构建关键点检测模型，其中，所述关键点检测模型为将去除部分图像的样本图像输入预先构建的初始检测模型进行训练所得到的优化检测模型，所述初始检测模型为将所述样本图像输入神经网络进行训练所得到的模型，所述神经网络根据所述样本图像的像素信息检测图像关键点；
将待检测图像输入所述关键点检测模型进行关键点检测，确定所述待检测图像中的关键点。
进一步地，所述构建关键点检测模型的步骤，包括：
去除所述样本图像中的部分图像；
将去除部分图像的样本图像输入预先构建的初始检测模型进行关键点检测，获取初始关键点；
将所述初始关键点与所述样本图像对应的标记关键点进行比对，根据比对结果调整所述初始检测模型的参数；
在满足预设的模型训练完成条件时，将具有最新参数的所述初始检测模型确定为所述关键点检测模型。
进一步地，所述初始检测模型的预先构建步骤，包括：
将所述样本图像作为训练数据，对所述神经网络进行关键点检测的训练；
将训练完成的所述神经网络确定为所述初始检测模型。
进一步地，去除所述样本图像中的部分图像，包括：
对所述样本图像对应的标记关键点和/或所述样本图像中的预设位置进行图像填充。
进一步地，对所述样本图像对应的标记关键点和/或所述样本图像中的预设位置进行图像填充，包括：
根据预设的图像填充范围和图像填充概率，对所述样本图像对应的标记关键点和/或所述样本图像中的预设位置进行图像填充。
进一步地，对所述样本图像对应的标记关键点和/或所述样本图像中的预设位置进行图像填充，包括：
使用预设图像对所述样本图像对应的标记关键点和/或所述样本图像中的预设位置进行图像填充。
进一步地，所述样本图像为包含人体的图像或包含人脸的图像，若所述样本图像为包含人体的图像，其中所述关键点为人体关键点，若所述样本图像为包含人脸的图像，其中所述关键点为人脸关键点。
进一步地，所述神经网络为卷积神经网络或全连接神经网络。
基于本申请的另一方面，本申请还提供了一种设备，该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，使该设备执行前述图像中关键点的检测方法。
本申请还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现前述图像中关键点的检测方法。
与现有技术相比，本申请提供的方案能够将样本图像输入神经网络进行关键点检测的训练得到初始检测模型，再将去除部分图像的样本图像输入初始检测模型进行再次训练，将得到的优化检测模型作为最终的关键点检测模型，再使用该关键点检测模型对待检测图像进行关键点检测，确定待检测图像中的关键点，从而使得关键点检测模型能够学习和利用关键点之间的关系来进行关键点检测，进而提高了待检测图像中关键点的检测精度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请的一些实施例提供的一种图像中关键点的检测方法的流程图。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、网络设备均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
图1示出了本申请的一些实施例提供的一种图像中关键点的检测方法，其中，该方法可具体包括如下步骤：
步骤S101，构建关键点检测模型，其中，所述关键点检测模型为将去除部分图像的样本图像输入预先构建的初始检测模型进行训练所得到的优化检测模型，所述初始检测模型为将所述样本图像输入神经网络进行训练所得到的模型，所述神经网络根据所述样本图像的像素信息检测图像关键点；
步骤S102，将待检测图像输入所述关键点检测模型进行关键点检测，确定所述待检测图像中的关键点。
该方案尤其适合用于希望对图像中的关键点进行检测定位的场景，能够先根据样本图像进行关键点检测的训练得到初始检测模型，再将去除部分图像的样本图像输入初始检测模型再次进行关键点检测的训练，得到优化的检测模型，再使用优化检测模型对待检测图像进行关键点检测。
在步骤S101中，首先构建关键点检测模型，在此，关键点检测模型并非是一个从头建立的模型，而是在预先构建的初始检测模型的基础上得到的模型，通过将去除部分图像的样本图像作为训练数据，再次对初始检测模型进行训练，优化初始检测模型的模型参数，最终得到的优化检测模型即为关键点检测模型。
关键点检测模型可以学习到关键点之间的关系，例如肩、肘、手等关键点的相对位置关系等，从而可根据一个或多个关键点的相关信息推测其它关键点的信息，如通过已知的肩和肘的位置推测不可见的手的位置等，进而提高关键点的检测准确度。
初始检测模型的训练数据为原始的样本图像，并未去除部分图像，通过将原始的样本图像输入神经网络进行关键点检测的训练，所得到的神经网络模型即为初始检测模型。这里，该神经网络检测样本图像中的关键点所采用的方法是通过图像中的像素信息来确定是否存在关键点。
本申请的一些实施例中，构建关键点检测模型，具体可包括如下步骤：
1)去除样本图像中的部分图像；
2)将去除部分图像的样本图像输入预先构建的初始检测模型进行关键点检测，获取初始关键点；
3)将初始关键点与样本图像对应的标记关键点进行比对，根据比对结果调整初始检测模型的参数；
4)在满足预设的模型训练完成条件时，将具有最新参数的初始检测模型确定为所述关键点检测模型。
在此，样本图像可以为包含人体的图像，也可以为包含人脸的图像，用于作为训练数据输入神经网络进行模型训练，得到初始检测模型。如果样本图像为包含人体的图像，其中的关键点为人体关键点，如肩、肘、手、膝、足等，如果样本图像为包含人脸的图像，其中的关键点为人脸关键点，如眼、鼻、口等。
样本图像有对应的标记关键点，标记关键点是对样本图像中的关键点进行标注所得到的点，用于在模型训练过程中作为检测关键点的真实值。确定样本图像对应的标记关键点可采用多种方法，例如通过人工标注的方法，以人工方式在样本图像中标注出相应的标记关键点，也可以通过自动识别的方法，通过现有的关键点估计算法对样本图像进行关键点识别，得到样本图像对应的标记关键点，如可通过背景技术中公开论文中方法实现的神经网络Simplebaseline、MSPN、HRNet等得到样本图像对应的标记关键点。
本申请的一些实施例中，初始检测模型的预先构建，具体可包括如下步骤：将样本图像作为训练数据，对神经网络进行关键点检测的训练；将训练完成的该神经网络确定为初始检测模型。在此，初始检测模型是从头构建的模型，通过将作为训练数据的样本图像输入神经网络，再根据样本图像对应的标记关键点对神经网络进行训练，最终得到的神经网络即为初始检测模型，初始检测模型具备了根据图像中像素点的相关信息对关键点进行检测的能力。在此，神经网络可为用于实现关键点检测的任意神经网络，在此不做具体的限定，优选可为卷积神经网络或全连接神经网络。
本申请的一些实施例中，去除样本图像中的部分图像，具体可包括对样本图像对应的标记关键点和/或样本图像中的预设位置进行图像填充。在此，对样本图像对应的标记关键点进行图像填充，是指对样本图像上标记关键点的对应位置进行图像填充，从而使得关键点检测模型在模型训练时无法根据该标记关键点附近的像素信息来得到检测关键点，只能根据未被图像填充的其它关键点来推测该检测关键点的位置，从而使得关键点检测模型可学习到关键点之间的关系，再进一步根据关键点之间的关系推测未知关键点的相关位置，因此可提高对未知关键点位置的检测准确性。
由于样本图像可以对应多个标记关键点，在进行图像填充时可对全部的标记关键点进行图像填充，也可以对标记关键点中的一部分进行图像填充，优选采用选择一部分标记关键点进行填充，从而降低模型学习的难度，提升模型学习的效率。选择标记关键点时，可采用的方式包括但不限于如下方式：随机选择、按关键点类型(如头、肩、手等)选择等。随机选择方式比较简单，易于实现。按关键点类型选择可根据关键点类型进行分组，再在不同的组中随机选择。另外，还可以预先设置标记关键点的选择数量，根据用户的需要确定要进行图像填充的标记关键点数量。
另外，还可以对样本图像中的预设位置进行图像填充，预设位置是样本图像中非标记关键点对应的位置。如果将仅仅对标记关键点进行了图像填充的样本图像作为训练数据，得到的模型可能学习到在有图像填充的地方就一定有关键点的不正确知识，不利于得到准确的关键点检测模型。因此，优选是对样本图像中标记关键点和预设位置都进行图像填充，避免模型根据图像填充位置来预测关键点位置，使模型能够真正学习到关键点之间关系的知识。预设位置可由用户根据自身需要预先设定，也可以以随机方式确定位置。
本申请的一些实施例中，对样本图像对应的标记关键点和/或样本图像中的预设位置进行图像填充，具体可以根据预设的图像填充范围和图像填充概率，对样本图像对应的标记关键点和/或样本图像中的预设位置进行图像填充。在此，可根据预先设定的图像填充范围和图像填充概率进行图像填充，从而可以调整根据已知关键点检测未知关键点的推测难度，尽可能让模型学习到关键点之间更多的知识。
本申请的一些实施例中，对样本图像对应的标记关键点和/或样本图像中的预设位置进行图像填充，具体可以使用预设图像对样本图像对应的标记关键点和/或样本图像中的预设位置进行图像填充。在此，优选使用预先设定的图像进行图像填充，避免实时生成图像填充内容对模型训练效率的降低。预设图像的生成可采用但不限于如下方式：使用固定像素点填充预设图像，如使用全黑像素点进行填充，使用全白像素点进行填充等；使用随机像素点填充预设图像，如预设图像中每个像素点都是随机产生等；使用其它图像进行填充预设图像，如使用其它图像中的部分图像进行填充，或剪切多张图像中的部分图像进行组合，用组合图像进行填充等。
在得到去除部分图像的样本图像之后，将该去除部分图像的样本图像输入初始检测模型进行关键点检测，得到初始关键点，该初始关键点是根据初始检测模型的原有知识所得到的结果，原有知识只能根据关键点附近像素点的信息来对关键点进行定位，因此进行了图像填充的标记关键点基本上无法进行准确的检测。再将初始关键点与作为模型训练真实值的标记关键点进行比对，这里进行比对通常采用损失函数来确定两者间的差距，再使用模型优化方法如梯度下降法等对初始检测模型的参数进行优化调整。一般来说，每次训练都会对模型参数进行调整，在满足预设的模型训练完成条件时，停止模型训练，训练停止时具有当前最新的模型参数的初始检测模型为关键点检测模型。模型训练完成条件可由用户预先进行设定，例如可为训练次数、检测关键点与标记关键点的信息差距小于预设阈值等。
在步骤S102中，将待检测图像输入所述关键点检测模型进行关键点检测，确定待检测图像中的关键点。在此，待检测图像是需要进行关键点检测的图像，与样本图像不同，不是用于训练关键点检测模型的图像，待检测图像没有对应的预先标注的标记关键点。
本申请的一些实施例还提供了一种设备，该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，使该设备执行前述图像中关键点的检测方法。
本申请的一些实施例还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现前述图像中关键点的检测方法。
综上所述，本申请提供的方案能够将样本图像输入神经网络进行关键点检测的训练得到初始检测模型，再将去除部分图像的样本图像输入初始检测模型进行再次训练，将得到的优化检测模型作为最终的关键点检测模型，再使用该关键点检测模型对待检测图像进行关键点检测，确定待检测图像中的关键点，从而使得关键点检测模型能够学习和利用关键点之间的关系来进行关键点检测，进而提高了待检测图像中关键点的检测精度。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个设备，该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该设备运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种图像中关键点的检测方法，其中，该方法包括：
构建关键点检测模型，其中，所述关键点检测模型为将去除部分图像的样本图像输入预先构建的初始检测模型进行训练所得到的优化检测模型，所述初始检测模型为将所述样本图像输入神经网络进行训练所得到的模型，所述神经网络根据所述样本图像的像素信息检测图像关键点；
将待检测图像输入所述关键点检测模型进行关键点检测，确定所述待检测图像中的关键点。
2.根据权利要求1所述的方法，其中，所述构建关键点检测模型的步骤，包括：
去除所述样本图像中的部分图像；
将去除部分图像的样本图像输入预先构建的初始检测模型进行关键点检测，获取初始关键点；
将所述初始关键点与所述样本图像对应的标记关键点进行比对，根据比对结果调整所述初始检测模型的参数；
在满足预设的模型训练完成条件时，将具有最新参数的所述初始检测模型确定为所述关键点检测模型。
3.根据权利要求1或2所述的方法，其中，所述初始检测模型的预先构建步骤，包括：
将所述样本图像作为训练数据，对所述神经网络进行关键点检测的训练；
将训练完成的所述神经网络确定为所述初始检测模型。
4.根据权利要求2所述的方法，其中，去除所述样本图像中的部分图像，包括：
对所述样本图像对应的标记关键点和/或所述样本图像中的预设位置进行图像填充。
5.根据权利要求4所述的方法，其中，对所述样本图像对应的标记关键点和/或所述样本图像中的预设位置进行图像填充，包括：
根据预设的图像填充范围和图像填充概率，对所述样本图像对应的标记关键点和/或所述样本图像中的预设位置进行图像填充。
6.根据权利要求4或5所述的方法，其中，对所述样本图像对应的标记关键点和/或所述样本图像中的预设位置进行图像填充，包括：
使用预设图像对所述样本图像对应的标记关键点和/或所述样本图像中的预设位置进行图像填充。
7.根据权利要求1所述的方法，其中，所述样本图像为包含人体的图像或包含人脸的图像，若所述样本图像为包含人体的图像，其中所述关键点为人体关键点，若所述样本图像为包含人脸的图像，其中所述关键点为人脸关键点。
8.根据权利要求1所述的方法，其中，所述神经网络为卷积神经网络或全连接神经网络。
9.一种设备，该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，使该设备执行权利要求1至8中任一项所述的方法。
10.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至8中任一项所述的方法。
CN202010598834.2A 2020-06-28 2020-06-28 图像中关键点的检测方法及设备 Active CN111860199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010598834.2A CN111860199B (zh) 2020-06-28 2020-06-28 图像中关键点的检测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010598834.2A CN111860199B (zh) 2020-06-28 2020-06-28 图像中关键点的检测方法及设备

Publications (2)

Publication Number Publication Date
CN111860199A true CN111860199A (zh) 2020-10-30
CN111860199B CN111860199B (zh) 2022-09-27

Family

ID=72988590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010598834.2A Active CN111860199B (zh) 2020-06-28 2020-06-28 图像中关键点的检测方法及设备

Country Status (1)

Country Link
CN (1) CN111860199B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214343A (zh) * 2018-09-14 2019-01-15 北京字节跳动网络技术有限公司 用于生成人脸关键点检测模型的方法和装置
CN109376659A (zh) * 2018-10-26 2019-02-22 北京陌上花科技有限公司 用于人脸关键点网络检测模型的训练方法、人脸关键点检测方法、装置
CN110059522A (zh) * 2018-01-19 2019-07-26 北京市商汤科技开发有限公司 人体轮廓关键点检测方法、图像处理方法、装置及设备
CN110826519A (zh) * 2019-11-14 2020-02-21 深圳市华付信息技术有限公司 人脸遮挡检测方法、装置、计算机设备及存储介质
CN111027504A (zh) * 2019-12-18 2020-04-17 上海眼控科技股份有限公司 人脸关键点检测方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059522A (zh) * 2018-01-19 2019-07-26 北京市商汤科技开发有限公司 人体轮廓关键点检测方法、图像处理方法、装置及设备
CN109214343A (zh) * 2018-09-14 2019-01-15 北京字节跳动网络技术有限公司 用于生成人脸关键点检测模型的方法和装置
CN109376659A (zh) * 2018-10-26 2019-02-22 北京陌上花科技有限公司 用于人脸关键点网络检测模型的训练方法、人脸关键点检测方法、装置
CN110826519A (zh) * 2019-11-14 2020-02-21 深圳市华付信息技术有限公司 人脸遮挡检测方法、装置、计算机设备及存储介质
CN111027504A (zh) * 2019-12-18 2020-04-17 上海眼控科技股份有限公司 人脸关键点检测方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RUTH C.FONG ET AL.: ""Occlusions for Effective Data Augmentation in Image Classification"", 《ARXIV》 *
RYO TAKAHASHI ET AL.: ""RICAP:Random Image Cropping and Patching Data Augmentation for Deep CNNs"", 《PROCEEDING OF MACHING LEARNING RESEARCH》 *

Also Published As

Publication number Publication date
CN111860199B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN109117848B (zh) 一种文本行字符识别方法、装置、介质和电子设备
CN110827247B (zh) 一种识别标签的方法及设备
CN110197190B (zh) 模型训练和物体的定位方法及装置
US20190377930A1 (en) Method and System for Face Recognition Via Deep Learning
CN110287854B (zh) 表格的提取方法、装置、计算机设备和存储介质
CN112287820A (zh) 人脸检测神经网络及训练方法、人脸检测方法、存储介质
CN111191649A (zh) 一种识别弯曲多行文本图像的方法与设备
CN109977826B (zh) 物体的类别识别方法和装置
CN110059637B (zh) 一种人脸对齐的检测方法及装置
CN109034037A (zh) 基于人工智能的在线学习方法
CN111507332A (zh) 车辆vin码检测方法与设备
CN110570348A (zh) 一种脸部图像替换方法及设备
CN114332514B (zh) 一种字体测评方法及系统
CN109145720A (zh) 一种人脸识别方法和装置
CN110020638B (zh) 人脸表情识别方法、装置、设备和介质
CN114240956A (zh) 一种肺部ct影像管状结构分割方法、装置、电子设备
CN112307852A (zh) 面部检测目标与打标匹配方法、存储介质及处理器
JP6713422B2 (ja) 学習装置、イベント検出装置、学習方法、イベント検出方法、プログラム
CN113887545A (zh) 一种基于目标检测模型的腹腔镜手术器械识别方法及装置
CN111860199B (zh) 图像中关键点的检测方法及设备
CN110874554A (zh) 动作识别方法、终端设备、服务器、系统及存储介质
CN110889393A (zh) 人体姿态估计方法及设备
CN112016387A (zh) 适用于毫米波安检仪的违禁品识别方法和装置
CN112949305B (zh) 负反馈信息采集方法、装置、设备及存储介质
TW201248456A (en) Identifying contacts and contact attributes in touch sensor data using spatial and temporal features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 200331 room e176, 1f, 406 Gulang Road, Putuo District, Shanghai

Applicant after: Shanghai Xinyi Intelligent Technology Co.,Ltd.

Address before: 200080 7th floor, No.137 Haining Road, Hongkou District, Shanghai

Applicant before: Shanghai Xinyi Intelligent Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant