CN109697446A - 图像关键点提取方法、装置、可读存储介质及电子设备 - Google Patents

Abstract

本公开涉及一种图像关键点提取方法、装置、可读存储介质及电子设备，所述方法包括：提取目标图像中人体部分的全局特征图；根据预设布局对所述全局特征图进行划分，获得多个局部特征图；根据所述全局特征图和各个所述局部特征图确定所述目标图像中人体部分的关键点。通过上述技术方案，通过全局特征图确定局部特征图，从而可以在确定目标图像的中人体部分的关键点时，既包含人体部分的全局特征，又包含人体部分的局部特征，从而有效保证确定出的人体部分的关键点的准确度，为基于人体部分的关键点进行后续操作提供准确的数据支持，提升用户使用体验。

Description

图像关键点提取方法、装置、可读存储介质及电子设备

技术领域

本公开涉及图像处理领域，具体地，涉及一种图像关键点提取方法、装置、可读存储介质及电子设备。

背景技术

计算机技术的发展推动着图像处理技术的发展。现有技术中，图像处理中最重要的部分便是提取图像的关键点，从而可以基于图像的关键点对其进行后续处理或操作。示例地，在对图像中的人体部分进行姿态估计时，通常是对图像进行特征提取，之后直接根据该提取出的特征确定图像关键点。但是通过上述方案中，确定出的图像关键点的误差偏大，影响后续的处理过程。

发明内容

本公开的目的是提供一种准确地图像关键点提取方法、装置、可读存储介质及电子设备。

为了实现上述目的，根据本公开的第一方面，提供一种图像关键点提取方法，所述方法包括：

提取目标图像中人体部分的全局特征图；

根据预设布局对所述全局特征图进行划分，获得多个局部特征图；

根据所述全局特征图和各个所述局部特征图确定所述目标图像中人体部分的关键点。

可选地，所述提取目标图像中人体部分的全局特征图，包括：

提取目标图像的人体部分对应的第一图像；

将所述第一图像对应的分辨率调整至预设分辨率，获得第二图像，并将所述第二图像对应的特征图确定为所述全局特征图。

可选地，所述根据所述全局特征图和各个所述局部特征图确定所述目标图像中人体部分的关键点，包括：

根据所述全局特征图确定全局关键点信息；

根据各个所述局部特征图确定与该局部特征图对应的局部关键点信息；

根据所述全局关键点信息和所述局部关键点信息，确定所述目标图像中人体部分的关键点。

可选地，所述根据所述全局关键点信息和所述局部关键点信息，确定所述目标图像中人体部分的关键点，包括：

将所述局部关键点信息依次输入与该局部关键点信息对应的反卷积神经网络、自注意力网络和空间注意力网络，对该局部关键点信息进行上采样；

将所述全局关键点信息和上采样后获得的各个局部关键点信息进行线性组合，获得目标关键点信息；

对所述目标关键点信息进行解码，获得所述目标图像中人体部分的关键点。

根据本公开的第二方面，提供一种图像关键点提取装置，所述装置包括：

提取模块，用于提取目标图像中人体部分的全局特征图；

划分模块，用于根据预设布局对所述全局特征图进行划分，获得多个局部特征图；

确定模块，用于根据所述全局特征图和各个所述局部特征图确定所述目标图像中人体部分的关键点。

可选地，所述提取模块包括：

提取子模块，用于提取目标图像的人体部分对应的第一图像；

调整子模块，用于将所述第一图像对应的分辨率调整至预设分辨率，获得第二图像，并将所述第二图像对应的特征图确定为所述全局特征图。

可选地，所述确定模块包括：

第一确定子模块，用于根据所述全局特征图确定全局关键点信息；

第二确定子模块，用于根据各个所述局部特征图确定与该局部特征图对应的局部关键点信息；

第三确定子模块，用于根据所述全局关键点信息和所述局部关键点信息，确定所述目标图像中人体部分的关键点。

可选地，所述第三确定子模块包括：

上采样子模块，用于将所述局部关键点信息依次输入与该局部关键点信息对应的反卷积神经网络、自注意力网络和空间注意力网络，对该局部关键点信息进行上采样；

组合子模块，用于将所述全局关键点信息和上采样后获得的各个局部关键点信息进行线性组合，获得目标关键点信息；

解码子模块，用于对所述目标关键点信息进行解码，获得所述目标图像中人体部分的关键点。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面任一所述方法的步骤。

根据本公开的第四方面，提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面任一所述方法的步骤。

在上述技术方案中，提取目标图像中人体部分的全局特征图，之后对该全局特征图进行划分，并根据该全局特征图和划分所得的各个局部特征图确定目标图像中人体部分的关键点。通过上述技术方案，通过全局特征图确定局部特征图，从而可以在确定目标图像的中人体部分的关键点时，既包含人体部分的全局特征，又包含人体部分的局部特征，从而有效保证确定出的人体部分的关键点的准确度，为基于人体部分的关键点进行后续操作提供准确的数据支持，提升用户使用体验。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据本公开的一种实施方式提供的图像关键点提取方法的流程图；

图2是根据全局特征图和各个局部特征图确定目标图像中人体部分的关键点的一种示例性实现方式的流程图；

图3是根据本公开的一种实施方式提供的图像关键点提取装置的框图；

图4是根据本公开的一种实施方式提供的图像关键点提取装置的确定模块的框图；

图5是根据一示例性实施例示出的一种电子设备的框图；

图6是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

图1所示，为根据本公开的一种实施方式提供的图像关键点提取方法的流程图，如图1所示，所述方法包括：

在S11中，提取目标图像中人体部分的全局特征图。其中，可以通过现有的人体检测算法对目标图像进行检测，示例地，可以通过HOG(Histogram of Oriented Gradient，方向梯度直方图)对目标图像进行检测，提取出目标图像中的人体部分，从而可以提取出该人体部分对应的全局特征图。

在S12中，根据预设布局对全局特征图进行划分，获得多个局部特征图。

其中，预设布局可以根据人体生理结构进行划分，示例地，可以按照人体生理结构分成头部区域、躯干区域、腿部区域等三部分，也可以划分成头部区域、躯干区域、大腿区域和小腿区域等四部分，本公开对此不进行限定。根据预设布局对全局特征图进行划分后，可以获得各个区域对应的局部特征图。

在S13中，根据全局特征图和各个局部特征图确定目标图像中人体部分的关键点。

在上述技术方案中，提取目标图像中人体部分的全局特征图，之后对该全局特征图进行划分，并根据该全局特征图和划分所得的各个局部特征图确定目标图像中人体部分的关键点。通过上述技术方案，通过全局特征图确定局部特征图，从而可以在确定目标图像的中人体部分的关键点时，既包含人体部分的全局特征，又包含人体部分的局部特征，从而有效保证确定出的人体部分的关键点的准确度，为基于人体部分的关键点进行后续操作提供准确的数据支持，提升用户使用体验。

为了使本领域技术人员更加理解本发明实施例提供的技术方案，下面对上述步骤进行详细的说明。

可选地，在S11中，提取目标图像中人体部分的全局特征图，可以包括：

提取目标图像的人体部分对应的第一图像，其中，可以通过现有的人体识别提取算法提取出第一图像，示例地，可以通过faster-rcnn算法或者maskrcnn算法对目标图像中的人体图像进行提取。

将所述第一图像对应的分辨率调整至预设分辨率，获得第二图像，并将所述第二图像对应的特征图确定为所述全局特征图。其中，可以通过卷积神经网络对图像中的特征进行提取。

不同的目标图像中人体部分对应的占比可能相同也可能不同，例如，目标图像是同一用户通过连拍获得的，其中人体部分对应的占比一般类似，而对于不同用户拍摄的图像而言，其中人体部分对应的占比一般不同。因此，为了便于对目标图像中人体部分进行统一的处理，在该实施例中，可以在提取出目标图像中的人体部分对应的第一图像之后，将该第一图像的分辨率调整到预设分辨率以获得第二图像，从而使得基于第二图像提取出的全局特征图的分辨率相同。示例地，预设分辨率可以是400*600，当提取出的第一图像的分辨率小于该预设分辨率时，可以通过放大图像的方式使得第一图像的分辨率为400*600；当提取出的第一图像的分辨率大于该预设分辨率时，可以通过缩小图像的方式使得第一图像的分辨率为400*600。其中，对图像进行放大或缩小的方式为现有技术，在此不再赘述。

因此，通过上述技术方案，可以根据用户不同的目标图像提取出分辨率一致的全局特征图，便于对全局特征图进行统一的处理，有效简化处理流程，提高处理速度。同时，也可以为后续全局特征图的划分提供统一的数据基础，有效保证后续全局特征图划分的准确度，贴合用户的使用需求，便于用户使用。

可选地，在S13中，根据全局特征图和各个局部特征图确定目标图像中人体部分的关键点的一种示例性实现方式如下，如图2所示，包括：

在S21中，根据全局特征图确定全局关键点信息，该全局关键点信息可以通过特征图进行表示。

其中，可以预先训练提取全局关键点信息特征的全局模型，即通过全局模型对全局特征图进行特征再提取，从而获得全局关键点信息，示例地，该全局模型可以通过卷积神经网络训练和实现。

在S22中，根据各个局部特征图确定与该局部特征图对应的局部关键点信息，该局部关键点信息可以通过特征图进行表示。

其中，可以根据预设布局分别训练提取各个局部特征图中的局部关键点信息的局部模型，该局部模型可以通过卷积神经网络实现。在该实施例中，可以针对每个局部特征图对应的区域训练对应的局部模型，从而可以通过训练各个局部模型，使得局部模型和该局部特征相对应，示例地，当根据预设布局分成头部区域、躯干区域、腿部区域等三部分时，可以分别训练头部区域、躯干区域、腿部区域对应的局部模型，从而可以有效提高局部关键点信息的准确度。

在S23中，根据全局关键点信息和局部关键点信息，确定目标图像中人体部分的关键点。

在一实施例中，可以对局部关键点信息通过插值法进行上采样，从而使得全局关键点信息和局部关键点信息对应的分辨率一致，从而将全局关键点信息和局部关键点信息通过线性组合获得目标图像中人体部分的关键点。

在另一实施例中，所述根据全局关键点信息和局部关键点信息，确定目标图像中人体部分的关键点的一种示例性实现方式，可以包括：

将所述局部关键点信息依次输入与该局部关键点信息对应的反卷积神经网络、自注意力网络和空间注意力网络，对该局部关键点信息进行上采样。

其中，反卷积神经网络是通过将卷积神经网络中卷积、池化等变化的过程反序执行，从而在对反卷积神经网络的输入数据进行上采样的过程中，既可以调整输入数据的分辨率，又可以有效保证数据的准确性。

示例地，每个局部特征图都具备其对应的反卷积神经网络，基于该局部特征图提取出的局部关键点信息在通过该局部特征图对应的反卷积神经网络后，可以将该局部关键点信息调整到与全局关键点信息相一致的分辨率。其中，可以将反卷积神经网络、自注意力网络和空间注意力网络串联的模型形成为一个子模型，一个局部特征图可以对应于一个子模型，也可以对应于多个串联的子模型，该子模型的个数可以根据实际上采样的需求进行设置，本公开对此不进行限定。同时，通过自注意力网络和空间注意力网络使得在对局部关键点信息进行上采样时，可以自动关注到与该局部关键点信息相对应的特征，从而可以进一步提高局部关键点信息上采样后的准确度。

将全局关键点信息和上采样后获得的各个局部关键点信息进行线性组合，获得目标关键点信息。其中，可以根据卷积神经网络实现对全局关键点信息和上采样后获得的各个局部关键点信息的线性组合，从而可以对全局关键点和上采样后获得的各个局部关键点信息进行融合，获得全局特征和局部特征相融合的目标关键点信息。

对目标关键点信息进行解码，获得目标图像中人体部分的关键点。

融合后的目标关键点信息通常对应一个通道编码，因此，在将该通道编码解码后，便可以获得对应的关键点。

在上述技术方案，通过反卷积神经网络、自注意力网络和空间注意力网络对局部关键点信息进行上采样，从而可以在调整分辨率的同时，有效保证上采样后数据的准确性。通过将全局关键点信息和局部关键点进行组合以获得目标关键点信息，从而提高目标关键点信息的准确性，保证基于该目标关键点信息获得的关键点的精准度，为基于该关键点进行后续操作提供准确的数据支持，进一步提升用户使用体验。

可选地，所述人体部分的关键点为所述人体部分对应的骨骼关键点，在确定出目标图像中的人体部分的骨骼关键点后，可以根据该骨骼关键点对目标图像中的人体部分进行姿态估计。由此可以提高人体部分对应的骨骼关键点的预测准确度，从而保证对目标图像中人体部分进行姿态估计的准确性。

本公开还提供一种图像关键点提取装置，如图3所示，所述装置10包括：

提取模块100，用于提取目标图像中人体部分的全局特征图；

划分模块200，用于根据预设布局对所述全局特征图进行划分，获得多个局部特征图；

确定模块300，用于根据所述全局特征图和各个所述局部特征图确定所述目标图像中人体部分的关键点。

可选地，所述提取模块100包括：

提取子模块，用于提取目标图像的人体部分对应的第一图像；

调整子模块，用于将所述第一图像对应的分辨率调整至预设分辨率，获得第二图像，并将所述第二图像对应的特征图确定为所述全局特征图。

可选地，所述确定模块300包括：

第一确定子模块301，用于根据所述全局特征图确定全局关键点信息；

第二确定子模块302，用于根据各个所述局部特征图确定与该局部特征图对应的局部关键点信息；

第三确定子模块303，用于根据所述全局关键点信息和所述局部关键点信息，确定所述目标图像中人体部分的关键点。

可选地，所述第三确定子模块包括：

上采样子模块，用于将所述局部关键点信息依次输入与该局部关键点信息对应的反卷积神经网络、自注意力网络和空间注意力网络，对该局部关键点信息进行上采样；

组合子模块，用于将所述全局关键点信息和上采样后获得的各个局部关键点信息进行线性组合，获得目标关键点信息；

解码子模块，用于对所述目标关键点信息进行解码，获得所述目标图像中人体部分的关键点。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图5是根据一示例性实施例示出的一种电子设备700的框图。如图5所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。

其中，处理器701用于控制该电子设备700的整体操作，以完成上述的图像关键点提取方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的图像关键点提取方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像关键点提取方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的图像关键点提取方法。

图6是根据一示例性实施例示出的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图6，电子设备1900包括处理器1922，其数量可以为一个或多个，以及存储器1932，用于存储可由处理器1922执行的计算机程序。存储器1932中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器1922可以被配置为执行该计算机程序，以执行上述的图像关键点提取方法。

另外，电子设备1900还可以包括电源组件1926和通信组件1950，该电源组件1926可以被配置为执行电子设备1900的电源管理，该通信组件1950可以被配置为实现电子设备1900的通信，例如，有线或无线通信。此外，该电子设备1900还可以包括输入/输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM等等。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像关键点提取方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1932，上述程序指令可由电子设备1900的处理器1922执行以完成上述的图像关键点提取方法。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种图像关键点提取方法，其特征在于，所述方法包括：

提取目标图像中人体部分的全局特征图；

根据预设布局对所述全局特征图进行划分，获得多个局部特征图；

根据所述全局特征图和各个所述局部特征图确定所述目标图像中人体部分的关键点。

2.根据权利要求1所述的方法，其特征在于，所述提取目标图像中人体部分的全局特征图，包括：

提取目标图像的人体部分对应的第一图像；

将所述第一图像对应的分辨率调整至预设分辨率，获得第二图像，并将所述第二图像对应的特征图确定为所述全局特征图。

3.根据权利要求1所述的方法，其特征在于，所述根据所述全局特征图和各个所述局部特征图确定所述目标图像中人体部分的关键点，包括：

根据所述全局特征图确定全局关键点信息；

根据各个所述局部特征图确定与该局部特征图对应的局部关键点信息；

根据所述全局关键点信息和所述局部关键点信息，确定所述目标图像中人体部分的关键点。

4.根据权利要求3所述的方法，其特征在于，所述根据所述全局关键点信息和所述局部关键点信息，确定所述目标图像中人体部分的关键点，包括：

将所述局部关键点信息依次输入与该局部关键点信息对应的反卷积神经网络、自注意力网络和空间注意力网络，对该局部关键点信息进行上采样；

将所述全局关键点信息和上采样后获得的各个局部关键点信息进行线性组合，获得目标关键点信息；

对所述目标关键点信息进行解码，获得所述目标图像中人体部分的关键点。

5.一种图像关键点提取装置，其特征在于，所述装置包括：

提取模块，用于提取目标图像中人体部分的全局特征图；

划分模块，用于根据预设布局对所述全局特征图进行划分，获得多个局部特征图；

确定模块，用于根据所述全局特征图和各个所述局部特征图确定所述目标图像中人体部分的关键点。

6.根据权利要求5所述的装置，其特征在于，所述提取模块包括：

提取子模块，用于提取目标图像的人体部分对应的第一图像；

调整子模块，用于将所述第一图像对应的分辨率调整至预设分辨率，获得第二图像，并将所述第二图像对应的特征图确定为所述全局特征图。

7.根据权利要求5所述的装置，其特征在于，所述确定模块包括：

第一确定子模块，用于根据所述全局特征图确定全局关键点信息；

第二确定子模块，用于根据各个所述局部特征图确定与该局部特征图对应的局部关键点信息；

第三确定子模块，用于根据所述全局关键点信息和所述局部关键点信息，确定所述目标图像中人体部分的关键点。

8.根据权利要求7所述的装置，其特征在于，所述第三确定子模块包括：

上采样子模块，用于将所述局部关键点信息依次输入与该局部关键点信息对应的反卷积神经网络、自注意力网络和空间注意力网络，对该局部关键点信息进行上采样；

组合子模块，用于将所述全局关键点信息和上采样后获得的各个局部关键点信息进行线性组合，获得目标关键点信息；

解码子模块，用于对所述目标关键点信息进行解码，获得所述目标图像中人体部分的关键点。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-4中任一项所述方法的步骤。