CN108229489B - 关键点预测、网络训练、图像处理方法、装置及电子设备 - Google Patents

关键点预测、网络训练、图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN108229489B
CN108229489B CN201611261431.9A CN201611261431A CN108229489B CN 108229489 B CN108229489 B CN 108229489B CN 201611261431 A CN201611261431 A CN 201611261431A CN 108229489 B CN108229489 B CN 108229489B
Authority
CN
China
Prior art keywords
key point
prediction
information
neural network
keypoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611261431.9A
Other languages
English (en)
Other versions
CN108229489A (zh
Inventor
刘宇
闫俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201611261431.9A priority Critical patent/CN108229489B/zh
Priority to PCT/CN2017/119877 priority patent/WO2018121737A1/zh
Publication of CN108229489A publication Critical patent/CN108229489A/zh
Application granted granted Critical
Publication of CN108229489B publication Critical patent/CN108229489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种关键点预测、网络训练、图像处理方法、装置及电子设备，其中，所述关键点预测方法包括：采用第一卷积神经网络检测图像，获得所述图像的特征信息；所述第一卷积神经网络为使用含有通用物体的关键点标注信息的样本图像训练得到的卷积神经网络；采用所述第一卷积神经网络根据所述特征信息预测所述图像的通用物体的关键点，获得所述图像的通用物体的关键点预测结果，关键点预测结果包括关键点位置预测信息和关键点存在预测信息。本发明实施例中通过第一卷积神经网络扩大了物体类别的关键点预测范围，实现了结合通用物体的关键点位置预测信息和关键点存在预测信息综合判断图像中的通用物体的关键点。

Description

关键点预测、网络训练、图像处理方法、装置及电子设备
技术领域
本发明实施例涉及人工智能技术领域，尤其涉及一种关键点预测、网络训练、图像处理方法、装置及电子设备。
背景技术
通用物体的关键点预测指对于自然场景中的通用物体(如人体、交通工具、动植物、家具等物体)的关键点(如人的头部、手部、躯干位置；车辆的前窗、轮胎、底盘、后箱位置等)进行预测。通用物体的关键点可用于增强通用物体检测和场景分割等应用的效果。
但是，目前除了对于特定物体如人脸、人体的关键点进行预测外，并没有对于大规模通用物体的关键点进行预测的技术手段。
发明内容
本发明实施例提供了一种关键点预测、网络训练、图像处理方法、装置及电子设备。
根据本发明实施例的第一方面，提供了一种关键点预测方法，包括：采用第一卷积神经网络检测图像，获得所述图像的特征信息；所述第一卷积神经网络为使用含有通用物体的关键点标注信息的样本图像训练得到的卷积神经网络；采用所述第一卷积神经网络根据所述特征信息预测所述图像的通用物体的关键点，获得所述图像的通用物体的关键点预测结果，所述关键点预测结果包括关键点位置预测信息和关键点存在预测信息。
可选地，所述第一卷积神经网络至少包括特征提取层、第一关键点预测卷积层和第二关键点预测卷积层，所述第一关键点预测卷积层和所述第二关键点预测卷积层分别与所述特征提取层连接，其中，所述特征提取层用于提取所述图像的特征信息；所述第一关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点位置预测信息；所述第二关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点存在预测信息。
可选地，所述第一关键点预测卷积层的卷积核为1*1*2N，第二关键点预测卷积层的卷积核为1*1*N，其中，N为待预测的关键点的总数量。
可选地，所述第一卷积神经网络为全卷积神经网络。
可选地，所述第一卷积神经网络的训练，包括：获取所述样本图像，所述关键点标注信息包括关键点位置标注信息和关键点存在标注信息；使用所述样本图像训练第一卷积神经网络，获得所述第一卷积神经网络针对所述样本图像的通用物体的关键点位置预测信息和关键点存在预测信息；根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督，判断所述第一卷积神经网络的迭代损失率是否满足设定条件；若满足，则完成对所述第一卷积神经网络的训练。
可选地，所述第一卷积神经网络的训练，还包括：若不满足，则根据获得的关键点位置预测信息和关键点存在预测信息调整所述第一卷积神经网络的参数，直至所述迭代损失率满足所述设定条件。
可选地，所述根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督，包括：根据回归目标函数对关键点位置预测信息进行监督，同时，根据分类目标函数对关键点存在预测信息进行监督。
根据本发明实施例的第二方面，提供了一种关键点预测网络训练方法，包括：获取含有通用物体的关键点标注信息的样本图像，其中，所述关键点标注信息包括关键点位置标注信息和关键点存在标注信息；使用所述样本图像训练第一卷积神经网络，获得所述第一卷积神经网络针对所述样本图像的通用物体的关键点位置预测信息和关键点存在预测信息；根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督，判断所述第一卷积神经网络的迭代损失率是否满足设定条件；若满足，则完成对所述第一卷积神经网络的训练。
可选地，还包括：若不满足，则根据获得的关键点位置预测信息和关键点存在预测信息调整所述第一卷积神经网络的参数，直至所述迭代损失率满足所述设定条件。
可选地，所述根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督，包括：根据回归目标函数对关键点位置预测信息进行监督，同时，根据分类目标函数对关键点存在预测信息进行监督。
可选地，所述第一卷积神经网络至少包括特征提取层、第一关键点预测卷积层和第二关键点预测卷积层，所述第一关键点预测卷积层和所述第二关键点预测卷积层分别与所述特征提取层连接；其中，所述特征提取层用于提取所述样本图像的特征信息；所述第一关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点位置预测信息；所述第二关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点存在预测信息。
可选地，所述第一关键点预测卷积层的卷积核为1*1*2N，第二关键点预测卷积层的卷积核为1*1*N，其中，N为待预测的关键点的总数量。
可选地，所述第一卷积神经网络为全卷积神经网络。
根据本发明实施例的第三方面，提供了一种图像处理方法，包括：采用如第一方面所述的方法检测图像，或者，采用如第二方面所述的方法训练而得的通用物体的关键点预测网络检测图像，得到所述图像的通用物体的关键点预测结果，所述关键点预测结果包括关键点位置预测信息和关键点存在预测信息；根据所述通用物体的关键点预测结果对所述图像进行处理。
可选地，所述根据所述通用物体的关键点预测结果对所述图像进行处理，包括：根据所述通用物体的关键点预测结果确定所述图像中的通用物体的位置。
可选地，所述根据所述通用物体的关键点预测结果对所述图像进行处理，包括：根据所述通用物体的关键点预测结果提取所述图像中的通用物体的物体特征。
可选地，所述根据所述通用物体的关键点预测结果对所述图像进行处理，包括：根据所述通用物体的关键点预测结果估计所述图像中的通用物体的姿态。
可选地，所述根据所述通用物体的关键点预测结果对所述图像进行处理，包括：根据所述通用物体的关键点预测结果跟踪所述图像中的通用物体。
可选地，所述根据所述通用物体的关键点预测结果对所述图像进行处理，包括：根据所述通用物体的关键点预测结果识别所述图像中的通用物体。
可选地，所述根据所述通用物体的关键点预测结果对所述图像进行处理，包括：根据所述通用物体的关键点预测结果渲染所述图像中的通用物体。
根据本发明实施例的第四方面，提供了一种关键点预测装置，包括：检测模块，用于采用第一卷积神经网络检测图像，获得所述图像的特征信息；所述第一卷积神经网络为使用含有通用物体的关键点标注信息的样本图像训练得到的卷积神经网络；预测模块，用于采用所述第一卷积神经网络根据所述特征信息预测所述图像的通用物体的关键点，获得所述图像的通用物体的关键点预测结果，所述关键点预测结果包括关键点位置预测信息和关键点存在预测信息。
可选地，所述第一卷积神经网络至少包括特征提取层、第一关键点预测卷积层和第二关键点预测卷积层，所述第一关键点预测卷积层和所述第二关键点预测卷积层分别与所述特征提取层连接，其中，所述特征提取层用于提取所述图像的特征信息；所述第一关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点位置预测信息；所述第二关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点存在预测信息。
可选地，所述第一关键点预测卷积层的卷积核为1*1*2N，第二关键点预测卷积层的卷积核为1*1*N，其中，N为待预测的关键点的总数量。
可选地，所述第一卷积神经网络为全卷积神经网络。
可选地，所述装置还包括：训练模块，用于训练所述第一卷积神经网络，所述训练模块包括：获取子模块，用于获取所述样本图像，所述关键点标注信息包括关键点位置标注信息和关键点存在标注信息；训练子模块，用于使用所述样本图像训练第一卷积神经网络，获得所述第一卷积神经网络针对所述样本图像的通用物体的关键点位置预测信息和关键点存在预测信息；监督子模块，用于根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督；判断子模块，用于判断所述第一卷积神经网络的迭代损失率是否满足设定条件；执行子模块，用于若所述第一卷积神经网络的迭代损失率满足设定条件，则完成对所述第一卷积神经网络的训练。
可选地，所述执行子模块，还用于若所述第一卷积神经网络的迭代损失率不满足设定条件，则根据所述训练子模块获得的关键点位置预测信息和关键点存在预测信息调整所述第一卷积神经网络的参数，直至所述迭代损失率满足所述设定条件。
可选地，所述监督子模块，用于根据回归目标函数对关键点位置预测信息进行监督，同时，根据分类目标函数对关键点存在预测信息进行监督。
根据本发明实施例的第五方面，提供了一种关键点预测网络训练装置，包括：获取模块，用于获取含有通用物体的关键点标注信息的样本图像，其中，所述关键点标注信息包括关键点位置标注信息和关键点存在标注信息；训练模块，用于使用所述样本图像训练第一卷积神经网络，获得所述第一卷积神经网络针对所述样本图像的通用物体的关键点位置预测信息和关键点存在预测信息；监督模块，用于根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督；判断模块，用于判断所述第一卷积神经网络的迭代损失率是否满足设定条件；执行模块，用于若所述第一卷积神经网络的迭代损失率满足设定条件，则完成对所述第一卷积神经网络的训练。
可选地，所述执行模块，还用于若所述第一卷积神经网络的迭代损失率不满足设定条件，则根据所述训练模块获得的关键点位置预测信息和关键点存在预测信息调整所述第一卷积神经网络的参数，直至所述迭代损失率满足所述设定条件。
可选地，所述监督模块，用于根据回归目标函数对关键点位置预测信息进行监督，同时，根据分类目标函数对关键点存在预测信息进行监督。
可选地，所述第一卷积神经网络至少包括特征提取层、第一关键点预测卷积层和第二关键点预测卷积层，所述第一关键点预测卷积层和所述第二关键点预测卷积层分别与所述特征提取层连接；其中，所述特征提取层用于提取所述样本图像的特征信息；所述第一关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点位置预测信息；所述第二关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点存在预测信息。
可选地，所述第一关键点预测卷积层的卷积核为1*1*2N，第二关键点预测卷积层的卷积核为1*1*N，其中，N为待预测的关键点的总数量。
可选地，所述第一卷积神经网络为全卷积神经网络。
根据本发明实施例的第六方面，提供了一种图像处理装置，包括：检测模块，用于采用如第四方面所述的装置检测图像，或者，采用如第五方面所述的装置训练而得的通用物体的关键点预测网络检测图像，得到所述图像的通用物体的关键点预测结果，所述关键点预测结果包括关键点位置预测信息和关键点存在预测信息；处理模块，用于根据所述通用物体的关键点预测结果对所述图像进行处理。
可选地，所述处理模块，包括：位置确定子模块，用于根据所述通用物体的关键点预测结果确定所述图像中的通用物体的位置。
可选地，所述处理模块，包括：特征提取子模块，用于根据所述通用物体的关键点预测结果提取所述图像中的通用物体的物体特征。
可选地，所述处理模块，包括：姿态估计子模块，用于根据所述通用物体的关键点预测结果估计所述图像中的通用物体的姿态。
可选地，所述处理模块，包括：物体跟踪子模块，用于根据所述通用物体的关键点预测结果跟踪所述图像中的通用物体。
可选地，所述处理模块，包括：物体识别子模块，用于根据所述通用物体的关键点预测结果识别所述图像中的通用物体。
可选地，所述处理模块，包括：物体渲染子模块，用于根据所述通用物体的关键点预测结果渲染所述图像中的通用物体。
根据本发明实施例的第七方面，提供了一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的物体关键点预测方法对应的操作。
根据本发明实施例的第八方面，提供了一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第二方面所述的物体关键点预测网络训练方法对应的操作。
根据本发明实施例的第九方面，提供了一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第三方面所述的图像处理方法对应的操作。
根据本发明实施例的第十方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有：用于采用第一卷积神经网络检测图像，获得所述图像的特征信息的可执行指令，所述第一卷积神经网络为使用含有通用物体的关键点标注信息的样本图像训练得到的卷积神经网络；用于采用所述第一卷积神经网络根据所述特征信息预测所述图像的通用物体的关键点，获得所述图像的通用物体的关键点预测结果的可执行指令，所述关键点预测结果包括关键点位置预测信息和关键点存在预测信息。
根据本发明实施例的第十一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有：用于获取含有通用物体的关键点标注信息的样本图像的可执行指令，所述关键点标注信息包括关键点位置标注信息和关键点存在标注信息；用于使用所述样本图像训练第一卷积神经网络，获得所述第一卷积神经网络针对所述样本图像的通用物体的关键点位置预测信息和关键点存在预测信息的可执行指令；用于根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督，判断所述第一卷积神经网络的迭代损失率是否满足设定条件的可执行指令；用于若满足，则完成对所述第一卷积神经网络的训练的可执行指令。
根据本发明实施例的第十二方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有：用于采用如第一方面所述的方法检测图像，或者，采用如第二方面所述的方法训练而得的通用物体的关键点预测网络检测图像，得到所述图像的通用物体的关键点预测结果的可执行指令，所述关键点预测结果包括关键点位置预测信息和关键点存在预测信息；用于根据所述通用物体的关键点预测结果对所述图像进行处理的可执行指令。
根据本发明实施例提供的技术方案，使用含有通用物体的关键点标注信息的样本图像训练第一卷积神经网络，训练得到的第一卷积神经网络用于预测图像中的通用物体的关键点，其中，通用物品可以理解为自然场景中的通用物体如人体、交通工具、动植物、家具等物体，关键点如人的头部、手部、躯干位置；车辆的前窗、轮胎、底盘、后箱位置等。与现有的只能对单一类别的物体进行关键点预测的卷积神经网络相比，第一卷积神经网络扩大了物体类别的关键点预测范围。
而且，通过第一卷积神经网络预测图像中通用物体的关键点，可以直接得到通用物体的关键点位置预测信息和关键点存在预测信息，其中，关键点位置预测信息为待预测的关键点在图像中的位置信息，关键点存在预测信息为待预测的关键点在图像中是否存在的信息，当得到待预测的关键点在图像中的位置信息，并确定待预测的关键点在图像中存在时，即可预测该关键点，实现了结合通用物体的关键点位置预测信息和关键点存在预测信息综合判断图像中的通用物体的关键点。
附图说明
图1是根据本发明实施例一的关键点预测方法的步骤流程图；
图2是根据本发明实施例二的关键点预测方法的步骤流程图；
图3是根据本发明实施例二的关键点预测方法中训练第一卷积神经网络的步骤流程图；
图4是根据本发明实施例二的第一卷积神经网络的训练原理示意图；
图5是根据本发明实施例三的图像处理方法的步骤流程图；
图6是根据本发明实施例四的关键点预测装置的结构框图；
图7是根据本发明实施例五的关键点预测装置的结构框图；
图8是根据本发明实施例六的关键点预测网络训练装置的结构框图；
图9是根据本发明实施例七的图像处理装置的结构框图；
图10是根据本发明实施例八的一种电子设备的结构示意图；
图11是根据本发明实施例九的一种电子设备的结构示意图；
图12是根据本发明实施例十的一种电子设备的结构示意图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
实施例一
参照图1，示出了根据本发明实施例一的关键点预测方法的步骤流程图。
为了便于理解本发明实施例提供的关键点预测方案，本实施例以预测图像中的通用物体的关键点为示例场景，以移动终端或PC为本实施例的关键点预测方法的执行者为例，对本实施例的关键点预测方法进行说明。但本领域技术人员应当明了的是，其它应用场景，以及其它具有数据采集、处理和传输功能的设备均可参照本实施例实现本发明实施例提供的关键点预测方案，本发明实施例对实现场景不做限制。
本实施例的关键点预测方法包括以下步骤：
步骤S100、采用第一卷积神经网络检测图像，获得图像的特征信息。
本实施例中，第一卷积神经网络为使用含有通用物体的关键点标注信息的样本图像训练得到的卷积神经网络，第一卷积神经网络用于预测图像中的通用物体的关键点信息。其中，图像可以是来源于图像采集设备的图像，由一帧一帧的图像组成，也可以为单独的一帧图像或者一幅图像，还可以来源于其他设备，图像包括静态图像或视频中的图像。
具体可以将图像输入至第一卷积神经网络，得到图像的特征信息。其中，特征信息包括通用物体的特征信息。
步骤S102、采用第一卷积神经网络根据特征信息预测图像的通用物体的关键点，获得图像的通用物体的关键点预测结果。
本实施例中，第一卷积神经网络可以包括：输入层、特征提取层和关键点预测卷积层。输入层用于输入图像，特征提取层用于提取图像的特征信息，关键点预测卷积层用于对特征信息进行卷积操作，得到关键点预测结果，关键点预测结果包括关键点位置预测信息和关键点存在预测信息。
根据本实施例提供的关键点预测方法，使用训练完毕的第一卷积神经网络可以从图像中预测出通用物体的关键点预测结果，与现有的只能预测单一类别的物体如人脸、人体的关键点的卷积神经网络相比，本实施例中的第一卷积神经网络由使用含有通用物体的关键点标注信息的样本图像训练得到，第一卷积神经网络可以预测多个类别的物体的关键点，扩大了物体关键点预测卷积神经网络的适用范围。
实施例二
参照图2，示出了根据本发明实施例二的关键点预测方法的步骤流程图。
本实施例仍以移动终端或PC为例，对本实施例提供的关键点预测方法进行说明，其它设备和场景可参照本实施例执行。
本实施例在于强调与上述实施例的不同之处，相同之处可以参照上述实施例中的介绍和说明，在此不再赘述。
本实施例的关键点预测方法包括以下步骤：
步骤S200、训练第一卷积神经网络。
参照图3，示出了训练第一卷积神经网络的步骤流程图，本步骤S200可以包括以下子步骤：
子步骤S300、获取含有通用物体的关键点标注信息的样本图像。
含有通用物体的关键点标注信息的样本图像可以是来源于图像采集设备的视频图像，由一帧一帧的图像组成，也可以为单独的一帧图像或者一幅图像，还可以来源于其他设备，然后在样本图像中进行标注操作。其中，关键点标注信息包括关键点位置标注信息和关键点存在标注信息。具体可以在样本图像中标注是否存在通用物体的关键点，以及通用物体的关键点位置，本实施例对含有通用物体的关键点标注信息的样本图像的来源和获得途径等不做限制。
子步骤S302、使用样本图像训练第一卷积神经网络，获得第一卷积神经网络针对样本图像的通用物体的关键点位置预测信息和关键点存在预测信息。
关键点位置预测信息可以理解为通用物体的关键点在样本图像中的位置信息，例如，坐标点信息或者像素点信息。关键点存在预测信息可以理解为通用物体的关键点在样本图像中的存在信息，例如，某通用物体的某个关键点在样本图像中存在或者不存在，本实施例对通用物体的关键点位置预测信息和关键点存在预测信息的具体内容不做限制。
本实施例中，第一卷积神经网络可以包括：输入层、特征提取层和关键点预测卷积层。其中，关键点预测卷积层可以包括第一关键点预测卷积层和第二关键点预测卷积层，第一关键点预测卷积层和第二关键点预测卷积层分别与特征提取层连接。输入层用于输入样本图像，特征提取层用于提取样本图像的特征信息，第一关键点预测卷积层用于对特征信息进行卷积操作，得到关键点位置预测信息，第二关键点预测卷积层用于对特征信息进行卷积操作，得到关键点存在预测信息。
第一关键点预测卷积层的卷积核为1*1*2N，第二关键点预测卷积层的卷积核为1*1*N，其中，N为待预测的关键点的总数量。
训练第一卷积神经网络即训练第一卷积神经网络的输入层、特征提取层、第一关键点预测卷积层和第二关键点预测卷积层的参数，再根据训练得到的参数构建第一卷积神经网络。
具体可以使用含有通用物体的关键点标注信息的样本图像对第一卷积神经网络进行训练，为使得训练得到的第一卷积神经网络更加准确，在选择样本图像时可以选择多种情况下的样本图像，样本图像中可以包括标注有通用物体的关键点标注信息的样本图像，还可以包括未标注有通用物体的关键点标注信息的样本图像。
本实施例中的第一卷积神经网络可以为全卷积神经网络，第一卷积神经网络可以为任意结构的卷积神经网络。本实施例只是以此为例进行说明，实际应用中第一卷积神经网络并不仅限于此，例如，还可以是其他二分类或多分类卷积神经网络。
子步骤S304、根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督。
在对第一卷积神经网络的训练过程中，根据目标函数对关键点位置预测信息和关键点存在预测信息同时进行监督，例如，根据回归目标函数，如平滑L1目标函数、euclidean目标函数等对关键点位置预测信息进行监督，同时，根据分类目标函数，如softmax目标函数、cross entropy目标函数，hinge目标函数等对关键点存在预测信息进行监督。
子步骤S306、判断第一卷积神经网络的迭代损失率是否满足设定条件，若满足，则执行子步骤S308；若不满足，则执行子步骤S310。
通过对第一卷积神经网络的迭代训练，判断第一卷积神经网络的迭代损失率是否满足设定条件。
其中，设定条件可以为在第一卷积神经网络的预定次数的训练过程中，迭代损失率保持不变，或者迭代损失率的变化保持在一定范围内，本实施例对设定条件的具体内容不做限制。
子步骤S308、完成对第一卷积神经网络的训练。
子步骤S310、根据获得的关键点位置预测信息和关键点存在预测信息调整第一卷积神经网络的参数，直至迭代损失率满足设定条件。
若第一卷积神经网络的迭代损失率不满足设定条件，表示获得的关键点位置预测信息和关键点存在预测信息与样本图像中标记的关键点位置标注信息和关键点存在标注信息不对应，也就是说，当前训练的第一卷积神经网络的参数不够准确，需要对第一卷积神经网络的参数进行相应的调整，本实施例对第一卷积神经网络的参数的调整过程不做限制。当参数调整后的第一卷积神经网络的迭代损失率满足设定条件，则确定完成对第一卷积神经网络的训练。
步骤S202、采用第一卷积神经网络检测图像，获得图像的特征信息。
步骤S204、采用第一卷积神经网络根据特征信息预测图像的通用物体的关键点，获得图像的通用物体的关键点预测结果。
参照图4，示出了根据本发明实施例二的第一卷积神经网络的训练原理示意图，由于全卷积神经网络的运算速度相比非全卷积神经网络的运算速度快，本实施例中的第一卷积神经网络优选全卷积神经网络，本实施例对第一卷积神经网络具体为全卷积神经网络或者非全卷积神经网络不做限制。本实施例中，以第一卷积神经网络为全卷积神经网络为例进行说明，将样本图像输入至全卷积神经网络，从全卷积神经网络的特征提取层得到样本图像的特征信息，再通过第一关键点预测卷积层对特征信息进行卷积操作，得到关键点位置预测信息，即使关键点不存在，第一关键点预测卷积层也会为不存在的关键点随机预测一个关键点位置信息。同时，通过第二关键点预测卷积层对特征信息进行卷积操作，得到关键点存在预测信息。在全卷积神经网络的训练过程中，使用平滑L1目标函数对训练关键点位置预测信息的回归任务进行监督，使用softmax目标函数对训练关键点存在预测信息的分类任务进行监督。最终根据关键点位置预测信息关键点存在预测信息预测样本图像中的通用物体的关键点。
根据本实施例提供的关键点预测方法，使用训练完毕的第一卷积神经网络可以从图像中预测出通用物体的关键点预测结果，与现有的只能预测单一类别的物体如人脸、人体的关键点的卷积神经网络相比，本实施例中的第一卷积神经网络由使用含有通用物体的关键点标注信息的样本图像训练得到，第一卷积神经网络可以预测多个类别的物体的关键点，扩大了物体关键点预测卷积神经网络的适用范围。
本实施例中的关键点预测结果包括关键点位置预测信息和关键点存在预测信息，其中，关键点位置预测信息为待预测的关键点在图像中的位置信息，关键点存在预测信息为待预测的关键点在图像中是否存在的信息，当得到待预测的关键点在图像中的位置信息，并确定待预测的关键点在图像中存在时，即可预测该关键点，实现了结合通用物体的关键点位置预测信息和关键点存在预测信息综合判断图像中的通用物体的关键点。
本实施例中的关键点预测结果不仅包括关键点位置预测信息还包括关键点存在预测信息，与现有关键点预测方案只能预测关键点的位置相比，增加了关键点是否存在的预测，提高了关键点预测的准确性。
本实施例中的第一卷积神经网络包括第一关键点预测卷积层和第二关键点预测卷积层，第一关键点预测卷积层和第二关键点预测卷积层分别与特征提取层连接，特征提取层提取到图像的特征信息后，第一关键点预测卷积层和第二关键点预测卷积层可以并行对特征信息进行卷积操作，第一关键点预测卷积层和第二关键点预测卷积层属于并行关系，即关键点位置预测信息和关键点存在预测信息同时预测。如果待预测的关键点的总数量为N，则关键点位置预测信息包括[x1，y1，x2，y2，…，xN，yN]，其中，x1，x2，…，xN表示关键点在样本图像中的横坐标信息，y1，y2，…，yN表示关键点在样本图像中的纵坐标信息。关键点存在预测信息包括[s1，s2，…，sN]，其中，s1，s2，…，sN表示关键点在样本图像中的存在信息。与通过串行方式获得关键点位置预测信息和关键点存在预测信息相比，提高了第一卷积神经网络预测关键点的效率。
本实施例中的第一关键点预测卷积层用于对特征信息进行卷积操作，得到关键点位置预测信息，由于关键点位置预测信息包括横坐标信息和纵坐标信息，因此第一关键点预测卷积层的卷积核为1*1*2N。第二关键点预测卷积层用于对特征信息进行卷积操作，得到关键点存在预测信息，由于关键点存在预测信息为关键点存在或者关键点不存在，因此第二关键点预测卷积层的卷积核为1*1*N。
本实施例中的第一卷积神经网络可以为全卷积神经网络，由于全卷积神经网络的运算速度比非全卷积神经网络的运算速度快，因此，利用第一卷积神经网络预测关键点的速度比利用非全卷积神经网络预测关键点的速度快。
实施例三
参照图5，示出了根据本发明实施例三的图像处理方法的步骤流程图。
本实施例的图像处理方法可以由任意具有数据采集、处理和传输功能的设备执行，包括但不限于移动终端和PC等。
本实施例的图像处理方法包括以下步骤：
步骤S500、对图像进行关键点预测，得到图像中的通用物体的关键点预测结果。
本实施例中对图像进行关键点预测可以采用上述实施例中训练得到第一卷积神经网络对图像进行关键点预测，或者采用上述实施例中的关键点预测方法对图像进行关键点预测，具体预测过程可以参照上述实施例中的相关介绍和说明，本实施例在此不再赘述。
步骤S502、根据通用物体的关键点预测结果对图像进行处理。
本实施例中，可以根据通用物体的关键点预测结果对图像进行多种处理，如根据通用物体的关键点预测结果确定图像中的通用物体的位置；根据通用物体的关键点预测结果提取图像中的通用物体的物体特征；根据通用物体的关键点预测结果估计图像中的通用物体的姿态；根据通用物体的关键点预测结果跟踪图像中的通用物体；根据通用物体的关键点预测结果识别图像中的通用物体；根据通用物体的关键点预测结果渲染图像中的通用物体等等。
本实施例仅以根据通用物体的关键点预测结果确定图像中的通用物体的位置为例进行说明，其他根据通用物体的关键点预测结果对图像进行处理的方式可以参照常用的处理方式执行，本实施例对根据通用物体的关键点预测结果对图像进行处理所采用的技术手段不做限制。
例如，从图像中预测到通用物体的关键点位置预测信息和关键点存在预测信息，如预测到猫的头部、躯干、四肢关节和尾部的位置信息和存在信息，则可以根据上述猫的关键点信息确定猫的位置、朝向和姿态等等。
实施例四
参照图6，示出了根据本发明实施例四的关键点预测装置的结构框图。
本实施例提供的关键点预测装置包括：检测模块600，用于采用第一卷积神经网络检测图像，获得图像的特征信息；第一卷积神经网络为使用含有通用物体的关键点标注信息的样本图像训练得到的卷积神经网络；预测模块602，用于采用第一卷积神经网络根据特征信息预测图像的通用物体的关键点，获得图像的通用物体的关键点预测结果，关键点预测结果包括关键点位置预测信息和关键点存在预测信息。
根据本实施例提供的关键点预测装置，使用训练完毕的第一卷积神经网络可以从图像中预测出通用物体的关键点预测结果，与现有的只能预测单一类别的物体如人脸、人体的关键点的卷积神经网络相比，本实施例中的第一卷积神经网络由使用含有通用物体的关键点标注信息的样本图像训练得到，第一卷积神经网络可以预测多个类别的物体的关键点，扩大了物体关键点预测卷积神经网络的适用范围。
实施例五
参照图7，示出了根据本发明实施例五的关键点预测装置的结构框图。
本实施例提供的关键点预测装置包括：检测模块700，用于采用第一卷积神经网络检测图像，获得图像的特征信息；第一卷积神经网络为使用含有通用物体的关键点标注信息的样本图像训练得到的卷积神经网络；预测模块702，用于采用第一卷积神经网络根据特征信息预测图像的通用物体的关键点，获得图像的通用物体的关键点预测结果，关键点预测结果包括关键点位置预测信息和关键点存在预测信息。
可选地，第一卷积神经网络至少包括特征提取层、第一关键点预测卷积层和第二关键点预测卷积层，第一关键点预测卷积层和第二关键点预测卷积层分别与特征提取层连接，其中，特征提取层用于提取图像的特征信息；第一关键点预测卷积层用于对特征信息进行卷积操作，得到关键点位置预测信息；第二关键点预测卷积层用于对特征信息进行卷积操作，得到关键点存在预测信息。
可选地，第一关键点预测卷积层的卷积核为1*1*2N，第二关键点预测卷积层的卷积核为1*1*N，其中，N为待预测的关键点的总数量。
可选地，第一卷积神经网络为全卷积神经网络。
可选地，本实施例提供的关键点预测装置还包括：训练模块704，用于训练第一卷积神经网络，训练模块704包括：获取子模块7040，用于获取样本图像，关键点标注信息包括关键点位置标注信息和关键点存在标注信息；训练子模块7042，用于使用样本图像训练第一卷积神经网络，获得第一卷积神经网络针对样本图像的通用物体的关键点位置预测信息和关键点存在预测信息；监督子模块7044，用于根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督；判断子模块7046，用于判断第一卷积神经网络的迭代损失率是否满足设定条件；执行子模块7048，用于若第一卷积神经网络的迭代损失率满足设定条件，则完成对第一卷积神经网络的训练。
可选地，执行子模块7048，还用于若第一卷积神经网络的迭代损失率不满足设定条件，则根据训练子模块7042获得的关键点位置预测信息和关键点存在预测信息调整第一卷积神经网络的参数，直至迭代损失率满足设定条件。
可选地，监督子模块7044，用于根据回归目标函数对关键点位置预测信息进行监督，同时，根据分类目标函数对关键点存在预测信息进行监督。
根据本实施例提供的关键点预测装置，使用训练完毕的第一卷积神经网络可以从图像中预测出通用物体的关键点预测结果，与现有的只能预测单一类别的物体如人脸、人体的关键点的卷积神经网络相比，本实施例中的第一卷积神经网络由使用含有通用物体的关键点标注信息的样本图像训练得到，第一卷积神经网络可以预测多个类别的物体的关键点，扩大了物体关键点预测卷积神经网络的适用范围。
本实施例中的关键点预测结果包括关键点位置预测信息和关键点存在预测信息，其中，关键点位置预测信息为待预测的关键点在图像中的位置信息，关键点存在预测信息为待预测的关键点在图像中是否存在的信息，当得到待预测的关键点在图像中的位置信息，并确定待预测的关键点在图像中存在时，即可预测该关键点，实现了结合通用物体的关键点位置预测信息和关键点存在预测信息综合判断图像中的通用物体的关键点。
本实施例中的关键点预测结果不仅包括关键点位置预测信息还包括关键点存在预测信息，与现有关键点预测方案只能预测关键点的位置相比，增加了关键点是否存在的预测，提高了关键点预测的准确性。
本实施例中的第一卷积神经网络包括第一关键点预测卷积层和第二关键点预测卷积层，第一关键点预测卷积层和第二关键点预测卷积层分别与特征提取层连接，特征提取层提取到图像的特征信息后，第一关键点预测卷积层和第二关键点预测卷积层可以并行对特征信息进行卷积操作，第一关键点预测卷积层和第二关键点预测卷积层属于并行关系，即关键点位置预测信息和关键点存在预测信息同时预测。如果待预测的关键点的总数量为N，则关键点位置预测信息包括[x1，y1，x2，y2，…，xN，yN]，其中，x1，x2，…，xN表示关键点在样本图像中的横坐标信息，y1，y2，…，yN表示关键点在样本图像中的纵坐标信息。关键点存在预测信息包括[s1，s2，…，sN]，其中，s1，s2，…，sN表示关键点在样本图像中的存在信息。与通过串行方式获得关键点位置预测信息和关键点存在预测信息相比，提高了第一卷积神经网络预测关键点的效率。
本实施例中的第一关键点预测卷积层用于对特征信息进行卷积操作，得到关键点位置预测信息，由于关键点位置预测信息包括横坐标信息和纵坐标信息，因此第一关键点预测卷积层的卷积核为1*1*2N。第二关键点预测卷积层用于对特征信息进行卷积操作，得到关键点存在预测信息，由于关键点存在预测信息为关键点存在或者关键点不存在，因此第二关键点预测卷积层的卷积核为1*1*N。
本实施例中的第一卷积神经网络可以为全卷积神经网络，由于全卷积神经网络的运算速度比非全卷积神经网络的运算速度快，因此，利用第一卷积神经网络预测关键点的速度比利用非全卷积神经网络预测关键点的速度快。
实施例六
参照图8，示出了根据本发明实施例六的关键点预测网络训练装置的结构框图。
本实施例提供的关键点预测网络训练装置包括：获取模块800，用于获取含有通用物体的关键点标注信息的样本图像，其中，关键点标注信息包括关键点位置标注信息和关键点存在标注信息；训练模块802，用于使用样本图像训练第一卷积神经网络，获得第一卷积神经网络针对样本图像的通用物体的关键点位置预测信息和关键点存在预测信息；监督模块804，用于根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督；判断模块806，用于判断第一卷积神经网络的迭代损失率是否满足设定条件；执行模块808，用于若第一卷积神经网络的迭代损失率满足设定条件，则完成对第一卷积神经网络的训练。
可选地，执行模块808，还用于若第一卷积神经网络的迭代损失率不满足设定条件，则根据训练模块802获得的关键点位置预测信息和关键点存在预测信息调整第一卷积神经网络的参数，直至迭代损失率满足设定条件。
可选地，监督模块804，用于根据回归目标函数对关键点位置预测信息进行监督，同时，根据分类目标函数对关键点存在预测信息进行监督。
可选地，第一卷积神经网络至少包括特征提取层、第一关键点预测卷积层和第二关键点预测卷积层，第一关键点预测卷积层和第二关键点预测卷积层分别与特征提取层连接；其中，特征提取层用于提取样本图像的特征信息；第一关键点预测卷积层用于对特征信息进行卷积操作，得到关键点位置预测信息；第二关键点预测卷积层用于对特征信息进行卷积操作，得到关键点存在预测信息。
可选地，第一关键点预测卷积层的卷积核为1*1*2N，第二关键点预测卷积层的卷积核为1*1*N，其中，N为待预测的关键点的总数量。
可选地，第一卷积神经网络为全卷积神经网络。
本实施例的关键点预测网络训练装置用于实现前述多个实施例中相应的关键点预测网络训练方法，并具有相应的方法实施例的有益效果，在此不再赘述。
实施例七
参照图9，示出了根据本发明实施例七的图像处理装置的结构框图。
本实施例提供的图像处理装置包括：检测模块900，用于采用如上述实施例四或五的关键点预测装置检测图像，或者，采用如上述实施例六或七的关键点预测网络训练装置训练而得的通用物体的关键点预测网络检测图像，得到图像的通用物体的关键点预测结果，关键点预测结果包括关键点位置预测信息和关键点存在预测信息；处理模块902，用于根据通用物体的关键点预测结果对图像进行处理。
可选地，处理模块902包括：位置确定子模块9020，用于根据通用物体的关键点预测结果确定图像中的通用物体的位置。
可选地，处理模块902包括：特征提取子模块9021，用于根据通用物体的关键点预测结果提取图像中的通用物体的物体特征。
可选地，处理模块902包括：姿态估计子模块9022，用于根据通用物体的关键点预测结果估计图像中的通用物体的姿态。
可选地，处理模块902包括：物体跟踪子模块9023，用于根据通用物体的关键点预测结果跟踪图像中的通用物体。
可选地，处理模块902包括：物体识别子模块9024，用于根据通用物体的关键点预测结果识别图像中的通用物体。
可选地，处理模块902包括：物体渲染子模块9025，用于根据通用物体的关键点预测结果渲染图像中的通用物体。
本实施例的图像处理装置用于实现前述多个实施例中相应的图像处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。
实施例八
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图10，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备1000的结构示意图：如图10所示，电子设备1000包括一个或多个处理器、通信元件等，一个或多个处理器例如：一个或多个中央处理单元(CPU)1001，和/或一个或多个图像处理器(GPU)1013等，处理器可以根据存储在只读存储器(ROM)1002中的可执行指令或者从存储部分1008加载到随机访问存储器(RAM)1003中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件1012和/或通信接口1009。其中，通信组件1012可包括但不限于网卡，网卡可包括但不限于IB(Infiniband)网卡，通信接口1009包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口1009经由诸如因特网的网络执行通信处理。
处理器可与只读存储器1002和/或随机访问存储器1003中通信以执行可执行指令，通过通信总线1004与通信组件1012相连、并经通信组件1012与其他目标设备通信，从而完成本发明实施例提供的任一项关键点预测方法对应的操作，例如，采用第一卷积神经网络检测图像，获得图像的特征信息；第一卷积神经网络为使用含有通用物体的关键点标注信息的样本图像训练得到的卷积神经网络；采用第一卷积神经网络根据特征信息预测图像的通用物体的关键点，获得图像的通用物体的关键点预测结果，关键点预测结果包括关键点位置预测信息和关键点存在预测信息。
此外，在RAM 1003中，还可存储有装置操作所需的各种程序和数据。CPU1001或GPU1013、ROM1002以及RAM1003通过通信总线1004彼此相连。在有RAM1003的情况下，ROM1002为可选模块。RAM1003存储可执行指令，或在运行时向ROM1002中写入可执行指令，可执行指令使处理器执行上述通信方法对应的操作。输入/输出(I/O)接口1005也连接至通信总线1004。通信组件1012可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口1009。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
需要说明的，如图10所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图10的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，采用第一卷积神经网络检测图像，获得图像的特征信息；第一卷积神经网络为使用含有通用物体的关键点标注信息的样本图像训练得到的卷积神经网络；采用第一卷积神经网络根据特征信息预测图像的通用物体的关键点，获得图像的通用物体的关键点预测结果，关键点预测结果包括关键点位置预测信息和关键点存在预测信息。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被处理器执行时，执行本发明实施例的方法中限定的上述功能。
实施例九
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图11，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备1100的结构示意图：如图11所示，电子设备1100包括一个或多个处理器、通信元件等，一个或多个处理器例如：一个或多个中央处理单元(CPU)1101，和/或一个或多个图像处理器(GPU)1113等，处理器可以根据存储在只读存储器(ROM)1102中的可执行指令或者从存储部分1108加载到随机访问存储器(RAM)1103中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件1112和/或通信接口1109。其中，通信组件1112可包括但不限于网卡，网卡可包括但不限于IB(Infinib and)网卡，通信接口1109包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口1109经由诸如因特网的网络执行通信处理。
处理器可与只读存储器1102和/或随机访问存储器1103中通信以执行可执行指令，通过通信总线1104与通信组件1112相连、并经通信组件1112与其他目标设备通信，从而完成本发明实施例提供的任一项关键点预测方法对应的操作，例如，获取含有通用物体的关键点标注信息的样本图像，其中，关键点标注信息包括关键点位置标注信息和关键点存在标注信息；使用样本图像训练第一卷积神经网络，获得第一卷积神经网络针对样本图像的通用物体的关键点位置预测信息和关键点存在预测信息；根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督，判断第一卷积神经网络的迭代损失率是否满足设定条件；若满足，则完成对第一卷积神经网络的训练。
此外，在RAM 1103中，还可存储有装置操作所需的各种程序和数据。CPU1101或GPU1113、ROM1102以及RAM1103通过通信总线1104彼此相连。在有RAM1103的情况下，ROM1102为可选模块。RAM1103存储可执行指令，或在运行时向ROM1102中写入可执行指令，可执行指令使处理器执行上述通信方法对应的操作。输入/输出(I/O)接口1105也连接至通信总线1104。通信组件1112可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口1109。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
需要说明的，如图11所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图11的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，获取含有通用物体的关键点标注信息的样本图像，其中，关键点标注信息包括关键点位置标注信息和关键点存在标注信息；使用样本图像训练第一卷积神经网络，获得第一卷积神经网络针对样本图像的通用物体的关键点位置预测信息和关键点存在预测信息；根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督，判断第一卷积神经网络的迭代损失率是否满足设定条件；若满足，则完成对第一卷积神经网络的训练。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被处理器执行时，执行本发明实施例的方法中限定的上述功能。
实施例十
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图12，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备1200的结构示意图：如图12所示，电子设备1200包括一个或多个处理器、通信元件等，一个或多个处理器例如：一个或多个中央处理单元(CPU)1201，和/或一个或多个图像处理器(GPU)1213等，处理器可以根据存储在只读存储器(ROM)1202中的可执行指令或者从存储部分1208加载到随机访问存储器(RAM)1203中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件1212和/或通信接口1209。其中，通信组件1212可包括但不限于网卡，网卡可包括但不限于IB(Infiniband)网卡，通信接口1209包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口1209经由诸如因特网的网络执行通信处理。
处理器可与只读存储器1202和/或随机访问存储器1203中通信以执行可执行指令，通过通信总线1204与通信组件1212相连、并经通信组件1212与其他目标设备通信，从而完成本发明实施例提供的任一项关键点预测方法对应的操作，例如，采用如上述实施例的关键点预测方法检测图像，或者，采用如上述实施例的关键点预测网络训练方法训练而得的通用物体的关键点预测网络检测图像，得到图像的通用物体的关键点预测结果，关键点预测结果包括关键点位置预测信息和关键点存在预测信息；根据通用物体的关键点预测结果对图像进行处理。
此外，在RAM 1203中，还可存储有装置操作所需的各种程序和数据。CPU1201或GPU1213、ROM1202以及RAM1203通过通信总线1204彼此相连。在有RAM1203的情况下，ROM1202为可选模块。RAM1203存储可执行指令，或在运行时向ROM1202中写入可执行指令，可执行指令使处理器执行上述通信方法对应的操作。输入/输出(I/O)接口1205也连接至通信总线1204。通信组件1212可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口1209。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。
需要说明的，如图12所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图12的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，采用如上述实施例的关键点预测方法检测图像，或者，采用如上述实施例的关键点预测网络训练方法训练而得的通用物体的关键点预测网络检测图像，得到图像的通用物体的关键点预测结果，关键点预测结果包括关键点位置预测信息和关键点存在预测信息；根据通用物体的关键点预测结果对图像进行处理。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被处理器执行时，执行本发明实施例的方法中限定的上述功能。
可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明实施例的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明实施例的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明实施例的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明实施例的方法的程序的记录介质。
本发明实施例的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式，很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (35)

1.一种关键点预测方法，其特征在于，包括：
采用第一卷积神经网络检测图像，获得所述图像的特征信息；所述第一卷积神经网络为使用含有通用物体的关键点标注信息的样本图像训练得到的卷积神经网络；
采用所述第一卷积神经网络根据所述特征信息预测所述图像的通用物体的关键点，获得所述图像的通用物体的关键点预测结果，所述关键点预测结果包括关键点位置预测信息和关键点存在预测信息，
其中，所述第一卷积神经网络至少包括特征提取层、第一关键点预测卷积层和第二关键点预测卷积层，所述第一关键点预测卷积层和所述第二关键点预测卷积层分别与所述特征提取层连接，
所述特征提取层用于提取所述图像的特征信息；
所述第一关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点位置预测信息，所述第一关键点预测卷积层的卷积核为1*1*2N，N为待预测的关键点的总数量；
所述第二关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点存在预测信息，所述第二关键点预测卷积层的卷积核为1*1*N。
2.根据权利要求1所述的方法，其特征在于，所述第一卷积神经网络为全卷积神经网络。
3.根据权利要求1-2任一所述的方法，其特征在于，所述第一卷积神经网络的训练，包括：
获取所述样本图像，所述关键点标注信息包括关键点位置标注信息和关键点存在标注信息；
使用所述样本图像训练第一卷积神经网络，获得所述第一卷积神经网络针对所述样本图像的通用物体的关键点位置预测信息和关键点存在预测信息；
根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督，判断所述第一卷积神经网络的迭代损失率是否满足设定条件；
若满足，则完成对所述第一卷积神经网络的训练。
4.根据权利要求3所述的方法，其特征在于，所述第一卷积神经网络的训练，还包括：
若不满足，则根据获得的关键点位置预测信息和关键点存在预测信息调整所述第一卷积神经网络的参数，直至所述迭代损失率满足所述设定条件。
5.根据权利要求3所述的方法，其特征在于，所述根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督，包括：
根据回归目标函数对关键点位置预测信息进行监督，同时，根据分类目标函数对关键点存在预测信息进行监督。
6.一种关键点预测网络训练方法，其特征在于，包括：
获取含有通用物体的关键点标注信息的样本图像，其中，所述关键点标注信息包括关键点位置标注信息和关键点存在标注信息；
使用所述样本图像训练第一卷积神经网络，获得所述第一卷积神经网络针对所述样本图像的通用物体的关键点位置预测信息和关键点存在预测信息；
根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督，判断所述第一卷积神经网络的迭代损失率是否满足设定条件；
若满足，则完成对所述第一卷积神经网络的训练，
其中，所述第一卷积神经网络至少包括特征提取层、第一关键点预测卷积层和第二关键点预测卷积层，所述第一关键点预测卷积层和所述第二关键点预测卷积层分别与所述特征提取层连接；
所述特征提取层用于提取所述样本图像的特征信息；
所述第一关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点位置预测信息，所述第一关键点预测卷积层的卷积核为1*1*2N，N为待预测的关键点的总数量；
所述第二关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点存在预测信息，所述第二关键点预测卷积层的卷积核为1*1*N。
7.根据权利要求6所述的方法，其特征在于，还包括：
若不满足，则根据获得的关键点位置预测信息和关键点存在预测信息调整所述第一卷积神经网络的参数，直至所述迭代损失率满足所述设定条件。
8.根据权利要求6所述的方法，其特征在于，所述根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督，包括：
根据回归目标函数对关键点位置预测信息进行监督，同时，根据分类目标函数对关键点存在预测信息进行监督。
9.根据权利要求6-8任一所述的方法，其特征在于，所述第一卷积神经网络为全卷积神经网络。
10.一种图像处理方法，其特征在于，包括：
采用如权利要求1-5任一所述的方法检测图像，或者，采用如权利要求6-9任一所述的方法训练而得的通用物体的关键点预测网络检测图像，得到所述图像的通用物体的关键点预测结果，所述关键点预测结果包括关键点位置预测信息和关键点存在预测信息；
根据所述通用物体的关键点预测结果对所述图像进行处理。
11.根据权利要求10所述的方法，其特征在于，所述根据所述通用物体的关键点预测结果对所述图像进行处理，包括：
根据所述通用物体的关键点预测结果确定所述图像中的通用物体的位置。
12.根据权利要求10所述的方法，其特征在于，所述根据所述通用物体的关键点预测结果对所述图像进行处理，包括：
根据所述通用物体的关键点预测结果提取所述图像中的通用物体的物体特征。
13.根据权利要求10所述的方法，其特征在于，所述根据所述通用物体的关键点预测结果对所述图像进行处理，包括：
根据所述通用物体的关键点预测结果估计所述图像中的通用物体的姿态。
14.根据权利要求10所述的方法，其特征在于，所述根据所述通用物体的关键点预测结果对所述图像进行处理，包括：
根据所述通用物体的关键点预测结果跟踪所述图像中的通用物体。
15.根据权利要求10所述的方法，其特征在于，所述根据所述通用物体的关键点预测结果对所述图像进行处理，包括：
根据所述通用物体的关键点预测结果识别所述图像中的通用物体。
16.根据权利要求10所述的方法，其特征在于，所述根据所述通用物体的关键点预测结果对所述图像进行处理，包括：
根据所述通用物体的关键点预测结果渲染所述图像中的通用物体。
17.一种关键点预测装置，其特征在于，包括：
检测模块，用于采用第一卷积神经网络检测图像，获得所述图像的特征信息；所述第一卷积神经网络为使用含有通用物体的关键点标注信息的样本图像训练得到的卷积神经网络；
预测模块，用于采用所述第一卷积神经网络根据所述特征信息预测所述图像的通用物体的关键点，获得所述图像的通用物体的关键点预测结果，所述关键点预测结果包括关键点位置预测信息和关键点存在预测信息，
其中，所述第一卷积神经网络至少包括特征提取层、第一关键点预测卷积层和第二关键点预测卷积层，所述第一关键点预测卷积层和所述第二关键点预测卷积层分别与所述特征提取层连接，
所述特征提取层用于提取所述图像的特征信息；
所述第一关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点位置预测信息，所述第一关键点预测卷积层的卷积核为1*1*2N，N为待预测的关键点的总数量；
所述第二关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点存在预测信息，所述第二关键点预测卷积层的卷积核为1*1*N。
18.根据权利要求17所述的装置，其特征在于，所述第一卷积神经网络为全卷积神经网络。
19.根据权利要求17-18任一所述的装置，其特征在于，所述装置还包括：训练模块，用于训练所述第一卷积神经网络，所述训练模块包括：
获取子模块，用于获取所述样本图像，所述关键点标注信息包括关键点位置标注信息和关键点存在标注信息；
训练子模块，用于使用所述样本图像训练第一卷积神经网络，获得所述第一卷积神经网络针对所述样本图像的通用物体的关键点位置预测信息和关键点存在预测信息；
监督子模块，用于根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督；
判断子模块，用于判断所述第一卷积神经网络的迭代损失率是否满足设定条件；
执行子模块，用于若所述第一卷积神经网络的迭代损失率满足设定条件，则完成对所述第一卷积神经网络的训练。
20.根据权利要求19所述的装置，其特征在于，所述执行子模块，还用于若所述第一卷积神经网络的迭代损失率不满足设定条件，则根据所述训练子模块获得的关键点位置预测信息和关键点存在预测信息调整所述第一卷积神经网络的参数，直至所述迭代损失率满足所述设定条件。
21.根据权利要求19所述的装置，其特征在于，所述监督子模块，用于根据回归目标函数对关键点位置预测信息进行监督，同时，根据分类目标函数对关键点存在预测信息进行监督。
22.一种关键点预测网络训练装置，其特征在于，包括：
获取模块，用于获取含有通用物体的关键点标注信息的样本图像，其中，所述关键点标注信息包括关键点位置标注信息和关键点存在标注信息；
训练模块，用于使用所述样本图像训练第一卷积神经网络，获得所述第一卷积神经网络针对所述样本图像的通用物体的关键点位置预测信息和关键点存在预测信息；
监督模块，用于根据目标函数对关键点位置预测信息和关键点存在预测信息进行监督；
判断模块，用于判断所述第一卷积神经网络的迭代损失率是否满足设定条件；
执行模块，用于若所述第一卷积神经网络的迭代损失率满足设定条件，则完成对所述第一卷积神经网络的训练，
其中，所述第一卷积神经网络至少包括特征提取层、第一关键点预测卷积层和第二关键点预测卷积层，所述第一关键点预测卷积层和所述第二关键点预测卷积层分别与所述特征提取层连接；
所述特征提取层用于提取所述样本图像的特征信息；
所述第一关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点位置预测信息，所述第一关键点预测卷积层的卷积核为1*1*2N，N为待预测的关键点的总数量；
所述第二关键点预测卷积层用于对所述特征信息进行卷积操作，得到所述关键点存在预测信息，所述第二关键点预测卷积层的卷积核为1*1*N。
23.根据权利要求22所述的装置，其特征在于，所述执行模块，还用于若所述第一卷积神经网络的迭代损失率不满足设定条件，则根据所述训练模块获得的关键点位置预测信息和关键点存在预测信息调整所述第一卷积神经网络的参数，直至所述迭代损失率满足所述设定条件。
24.根据权利要求22所述的装置，其特征在于，所述监督模块，用于根据回归目标函数对关键点位置预测信息进行监督，同时，根据分类目标函数对关键点存在预测信息进行监督。
25.根据权利要求22-24任一所述的装置，其特征在于，所述第一卷积神经网络为全卷积神经网络。
26.一种图像处理装置，其特征在于，包括：
检测模块，用于采用如权利要求17-21任一所述的装置检测图像，或者，采用如权利要求22-25任一所述的装置训练而得的通用物体的关键点预测网络检测图像，得到所述图像的通用物体的关键点预测结果，所述关键点预测结果包括关键点位置预测信息和关键点存在预测信息；
处理模块，用于根据所述通用物体的关键点预测结果对所述图像进行处理。
27.根据权利要求26所述的装置，其特征在于，所述处理模块，包括：
位置确定子模块，用于根据所述通用物体的关键点预测结果确定所述图像中的通用物体的位置。
28.根据权利要求26所述的装置，其特征在于，所述处理模块，包括：
特征提取子模块，用于根据所述通用物体的关键点预测结果提取所述图像中的通用物体的物体特征。
29.根据权利要求26所述的装置，其特征在于，所述处理模块，包括：
姿态估计子模块，用于根据所述通用物体的关键点预测结果估计所述图像中的通用物体的姿态。
30.根据权利要求26所述的装置，其特征在于，所述处理模块，包括：
物体跟踪子模块，用于根据所述通用物体的关键点预测结果跟踪所述图像中的通用物体。
31.根据权利要求26所述的装置，其特征在于，所述处理模块，包括：
物体识别子模块，用于根据所述通用物体的关键点预测结果识别所述图像中的通用物体。
32.根据权利要求26所述的装置，其特征在于，所述处理模块，包括：
物体渲染子模块，用于根据所述通用物体的关键点预测结果渲染所述图像中的通用物体。
33.一种电子设备，其特征在于，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-5任一所述的关键点预测方法对应的操作。
34.一种电子设备，其特征在于，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求6-9任一所述的关键点预测网络训练方法对应的操作。
35.一种电子设备，其特征在于，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求10-16任一所述的图像处理方法对应的操作。
CN201611261431.9A 2016-12-30 2016-12-30 关键点预测、网络训练、图像处理方法、装置及电子设备 Active CN108229489B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611261431.9A CN108229489B (zh) 2016-12-30 2016-12-30 关键点预测、网络训练、图像处理方法、装置及电子设备
PCT/CN2017/119877 WO2018121737A1 (zh) 2016-12-30 2017-12-29 关键点预测、网络训练及图像处理方法和装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611261431.9A CN108229489B (zh) 2016-12-30 2016-12-30 关键点预测、网络训练、图像处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN108229489A CN108229489A (zh) 2018-06-29
CN108229489B true CN108229489B (zh) 2020-08-11

Family

ID=62657284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611261431.9A Active CN108229489B (zh) 2016-12-30 2016-12-30 关键点预测、网络训练、图像处理方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN108229489B (zh)
WO (1) WO2018121737A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472289B (zh) * 2018-10-09 2022-03-29 北京陌上花科技有限公司 关键点检测方法和设备
CN109448007B (zh) * 2018-11-02 2020-10-09 北京迈格威科技有限公司 图像处理方法、图像处理装置及存储介质
CN109410253B (zh) * 2018-11-06 2019-11-26 北京字节跳动网络技术有限公司 用于生成信息的方法、装置、电子设备和计算机可读介质
CN109614867A (zh) * 2018-11-09 2019-04-12 北京市商汤科技开发有限公司 人体关键点检测方法和装置、电子设备、计算机存储介质
CN111191492B (zh) * 2018-11-15 2024-07-02 北京三星通信技术研究有限公司 信息估计、模型检索和模型对准方法和装置
CN109697446B (zh) * 2018-12-04 2021-12-07 北京字节跳动网络技术有限公司 图像关键点提取方法、装置、可读存储介质及电子设备
CN109670591B (zh) * 2018-12-14 2022-09-27 深圳市商汤科技有限公司 一种神经网络的训练方法及图像匹配方法、装置
CN109657615B (zh) * 2018-12-19 2021-11-02 腾讯科技（深圳）有限公司 一种目标检测的训练方法、装置及终端设备
CN111340043B (zh) * 2018-12-19 2024-06-18 北京京东尚科信息技术有限公司 关键点检测方法、系统、设备及存储介质
CN111353325A (zh) * 2018-12-20 2020-06-30 北京京东尚科信息技术有限公司 关键点检测模型训练方法及装置
CN109522910B (zh) * 2018-12-25 2020-12-11 浙江商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN111507334B (zh) * 2019-01-30 2024-03-12 中国科学院宁波材料技术与工程研究所 一种基于关键点的实例分割方法
CN110309706B (zh) * 2019-05-06 2023-05-12 深圳华付技术股份有限公司 人脸关键点检测方法、装置、计算机设备及存储介质
CN111950723B (zh) * 2019-05-16 2024-05-21 武汉Tcl集团工业研究院有限公司 神经网络模型训练方法、图像处理方法、装置及终端设备
CN112115745A (zh) * 2019-06-21 2020-12-22 杭州海康威视数字技术股份有限公司 一种商品漏扫码行为识别方法、装置及系统
CN112150533A (zh) * 2019-06-28 2020-12-29 顺丰科技有限公司 物体体积计算方法、装置、设备、及存储介质
CN110478911A (zh) * 2019-08-13 2019-11-22 苏州钛智智能科技有限公司 基于机器学习的智能游戏车无人驾驶方法及智能车、设备
CN110533006B (zh) * 2019-09-11 2022-03-25 北京小米智能科技有限公司 一种目标跟踪方法、装置及介质
CN110909655A (zh) * 2019-11-18 2020-03-24 上海眼控科技股份有限公司 一种识别视频事件的方法及设备
CN110910449B (zh) * 2019-12-03 2023-10-13 清华大学 识别物体三维位置的方法和系统
CN111179247A (zh) * 2019-12-27 2020-05-19 上海商汤智能科技有限公司 三维目标检测方法及其模型的训练方法及相关装置、设备
CN111481208B (zh) * 2020-04-01 2023-05-12 中南大学湘雅医院 一种应用于关节康复的辅助系统、方法及存储介质
CN111523422B (zh) * 2020-04-15 2023-10-10 北京华捷艾米科技有限公司 一种关键点检测模型训练方法、关键点检测方法和装置
CN111814588B (zh) * 2020-06-18 2023-08-01 浙江大华技术股份有限公司 行为检测方法以及相关设备、装置
CN111783986B (zh) * 2020-07-02 2024-06-14 清华大学 网络训练方法及装置、姿态预测方法及装置
CN111862189B (zh) * 2020-07-07 2023-12-05 京东科技信息技术有限公司 体尺信息确定方法、装置、电子设备和计算机可读介质
CN111967949B (zh) * 2020-09-22 2023-05-16 武汉博晟安全技术股份有限公司 基于Leaky-Conv&Cross安全课程推荐引擎排序方法
CN112287855B (zh) * 2020-11-02 2024-05-10 东软睿驰汽车技术（沈阳）有限公司 基于多任务神经网络的驾驶行为检测方法和装置
CN112348035B (zh) * 2020-11-11 2024-05-24 东软睿驰汽车技术（沈阳）有限公司 车辆关键点检测方法、装置及电子设备
CN113449718A (zh) * 2021-06-30 2021-09-28 平安科技（深圳）有限公司 关键点定位模型的训练方法、装置和计算机设备
CN116721412B (zh) * 2023-04-17 2024-05-03 之江实验室 一种自下而上的基于结构性先验的豆荚关键点检测方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718879A (zh) * 2016-01-19 2016-06-29 华南理工大学 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105981041A (zh) * 2014-05-29 2016-09-28 北京旷视科技有限公司 使用粗到细级联神经网络的面部关键点定位
CN104156715B (zh) * 2014-09-01 2018-08-28 杭州朗和科技有限公司 一种终端设备、信息采集方法及装置
CN105354565A (zh) * 2015-12-23 2016-02-24 北京市商汤科技开发有限公司 基于全卷积网络人脸五官定位与判别的方法及系统
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、系统及拍摄终端

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718879A (zh) * 2016-01-19 2016-06-29 华南理工大学 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Bottom-Up and Top-Down Reasoning with Hierarchical Rectified Gaussians;Peiyun Hu et.al;《2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20161212;第5601-5607页 *
Shubham Tulsiani et.al.Viewpoints and Keypoints.《2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》.2015, *
Viewpoints and Keypoints;Shubham Tulsiani et.al;《2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20151231;第1510-1517页 *

Also Published As

Publication number Publication date
WO2018121737A1 (zh) 2018-07-05
CN108229489A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108229489B (zh) 关键点预测、网络训练、图像处理方法、装置及电子设备
CN108229267B (zh) 对象属性检测、神经网络训练、区域检测方法和装置
CN108229478B (zh) 图像语义分割及训练方法和装置、电子设备、存储介质和程序
CN111178183B (zh) 人脸检测方法及相关装置
US20190279014A1 (en) Method and apparatus for detecting object keypoint, and electronic device
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
CN108229673B (zh) 卷积神经网络的处理方法、装置和电子设备
CN111860255B (zh) 驾驶检测模型的训练、使用方法、装置、设备及介质
CN111931764B (zh) 一种目标检测方法、目标检测框架及相关设备
CN108230354B (zh) 目标跟踪、网络训练方法、装置、电子设备和存储介质
US11420623B2 (en) Systems for determining object importance in on-road driving scenarios and methods thereof
Ye et al. A two-stage real-time YOLOv2-based road marking detector with lightweight spatial transformation-invariant classification
CN108229675B (zh) 神经网络的训练方法、物体检测方法、装置和电子设备
CN111738403B (zh) 一种神经网络的优化方法及相关设备
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN113052295B (zh) 一种神经网络的训练方法、物体检测方法、装置及设备
CN111860259B (zh) 驾驶检测模型的训练、使用方法、装置、设备及介质
WO2020030052A1 (zh) 一种动物数量识别方法、装置、介质及电子设备
CN113569852A (zh) 语义分割模型的训练方法、装置、电子设备及存储介质
CN111445496B (zh) 一种水下图像识别跟踪系统及方法
CN109242882B (zh) 视觉跟踪方法、装置、介质及设备
CN113223037B (zh) 一种面向大规模数据的无监督语义分割方法及系统
CN111428567B (zh) 一种基于仿射多任务回归的行人跟踪系统及方法
CN112579824A (zh) 视频数据分类方法、装置、电子设备及存储介质
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant