CN113807266A - 一种人体姿态估计方法与识别装置 - Google Patents

Abstract

本申请提供了一种人体姿态估计方法与识别装置，其中方法包括：将预处理后的图像传入高分辨率网络，经过下采样、上采样、卷积运算，在网络各个分支生成特征图；在生成的特征图后接入注意力模块捕捉重点特征，对最终阶段的特征图采取与上一层次特征图融合的方式生成新的特征图，新特征图经过反卷积操作恢复到与主干相同的分辨率，得到最终的heatmap，根据heatmap可以预测各个关节点的位置；图像经过高分辨率网络的处理可以避免有效信息丢失，加入注意力模块可以高效利用特征信息，多个分辨率分支交互信息能够解决遮挡图像姿态估计不准确及小目标难预测的问题，输出结果传入装置可实现实时检测可视化。

Description

一种人体姿态估计方法与识别装置

技术领域

本申请涉及人机交互技术领域，尤其涉及一种人体姿态估计方法与识别装置。

背景技术

人体姿态估计技术是指对于普通图像或者视频当中的人体各个关节位置进行标注。按照标注对象的数量，人体姿态估计可分为单人姿态估计和多人姿态估计，单人姿态估计任务可以当作是对于确定个体的关节位置检测，在图像中找到人像位置后进行关节位置定位；多人姿态估计比单人姿态估计要更复杂，现有技术主要有自顶向下和自底向上两种方式。其中，自顶向下方式是先检测图像当中的人像，然后再对每一个检测到的人体做单人姿态估计；自底向上的检测方式则是先检测图像中的所有关节点，然后对这些检测到的关节点进行匹配，构建出各个人体框架实现姿态估计。自顶向下方式检测的速度受到人像数量的影响，同时检测精度也跟人像检测精度密切关联，自底向上的检测方式在速度上由于自顶向下的检测方式，但是在检测精度上略低。

在人体姿态估计方法的处理过程中，需要从高分辨率经过下采样到低分辨率获取特征图中的强语义信息，然后经过上采样恢复到原来的分辨率得到特征图中的位置信息，然而这个过程会丢失大量的有效信息，导致最终的估计结果存在偏差，关键点定位不准确。当图像中存在多人位置相互遮挡的情况时，传统的姿态估计方法无法精确定位和识别各个关键点的位置。在实际应用中的姿态估计方法对图像处理要求高，对相机拍摄的图像无法直接处理，且存在实时性差和可视化程度低的问题。

高分辨率网络能够避免有用信息丢失的问题，网络中有多个并行分支，多个并行分支交互，在整个网络当中能够保持高分辨率的状态，也能够得到特征图中的强语义信息和精准的关键点位置信息。在网络中加入注意力模块能够对关键点的信息有所侧重，当图像存在遮挡情况时能够有改善，检测的精度和估计的结果能够提高。采用人体姿态估计识别装置能够处理相机拍摄照片和其他设备传输的图片，最终结果能够直接显示在显示屏上，实时反映出图像的姿态估计处理结果。

发明内容

本申请提供了一种人体姿态估计方法与识别装置，能够解决分辨率恢复过程中有效信息丢失、遮挡图像识别不准确、姿态估计算法实时性差和识别结果可视化程度低的问题。

第一方面，本申请实施例提供了一种人体姿态估计方法与识别装置，所述方法包括：将预处理后的图像传入高分辨率网络，经过下采样、上采样、卷积运算，在网络各个分支生成特征图；特征图后接入注意力模块捕捉重点特征，对最终阶段的特征图采取与上一层次特征图融合的方式生成新的特征图，最后经过反卷积操作恢复到与主干相同的分辨率，经融合得到最终的heatmap，根据heatmap预测各个关节点的位置；

所述高分辨率网络由三个分支层和一个主干层构成，主干层分辨率为输入图像分辨率的一半，其中的特征图经过卷积运算得到下一阶段特征图，主干层经过下采样操作得到第一个分支层，第一个分支层经下采样操作得到第二个分支层，以此类推得出所有分支层；

所述分支层分辨率以1/2倍数逐层递减，各层的前序特征图经卷积运算得到后序的特征图，分支层可利用上采样操作恢复分辨率到上一层次的水平；

所述主干层与分支层通过上采样和下采样操作相互联系，在网络中各分支均可保持特征图像一直具有高分辨率特征，确保特征图中的强语义信息不发生丢失以及各个关键点的位置信息得到保留，同时，后序特征图涵盖多个分支的信息可以检测并纠正前序特征图的错误；所述注意力模块连接在主干层与分支层的各级特征图卷积运算之后，目的在于提取特征图中的关键点的重点信息，对图像信息有所侧重；

所述最终阶段的特征图位于主干层和分支层的最后一级，包含了前序特征图的信息，由前序特征图经卷积运算、下采样、上采样、注意力模块处理得到，融合方式采用当前层与上一层进行融合的方法得到新的特征图；

所述反卷积操作针对第一个分支层最终的融合特征图进行，目的在于得到与主干层相同分辨率的特征图，最后再与主干层的最后一级特征图进行融合得到heatmap，根据heatmap可以预测出人体关节点的准确位置。

第二方面，本申请实施例提供了一种人体姿态估计方法与识别装置，所述装置包括：图像获取模块，用于接收外界传输图像或相机拍摄图像，对接收的图像做预处理后传入到主控处理模块进行姿态估计；主控处理模块，该模块将图像获取模块传入的图像输入主控箱中的高分辨率网络进行姿态估计，得出网络预测结果，并将结果传输到显示屏显示。

图像获取模块包括：摄像头、补偿光源、升降器、接收器；主控处理模块包括主控箱、底托和调位旋钮；所述摄像头与补偿光源紧接并置于升降器上方，接收器与升降器正对，接收器与升降器均安装在底托左端，主控箱位于底托正上方中间位置，底托右端上方为调位旋钮，用于调整摄像头的拍摄角度和高度；

所述升降器顶端与补偿光源紧密连接，底端内嵌于升降台，可调节升降和转动；补偿光源提供光源补偿，在弱光环境下可给摄像头提供照明光源；

所述接收器还包括接收天线，接收天线立于接收器中央，用于接收传输图像数据，最后将数据输送到主控箱；所述主控箱包括显示屏，用于显示估计结果，确保姿态估计结果的可视化；

所述调位旋钮包括升降调节旋钮和角度调节旋钮，升降调节旋钮顺时针转动可实现升降器上升，逆时针转动则升降台下降；角度调节旋钮顺时针转动与逆时针转动控制摄像头的转动方向，摄像头的转动方向与角度调节旋钮转动同步；电源指示灯与升降调节旋钮紧邻，指示电源通断情况，电源通断由电源控制器控制。

上述本申请提供的一种人体姿态估计方法，将预处理后的图像传入高分辨率网络，经过下采样、上采样、卷积运算，在网络各个分支生成特征图；在生成的特征图后接入注意力模块捕捉重点特征，对最终阶段的特征图采取与上一层次特征图融合的方式生成新的特征图，新特征图经过反卷积操作恢复到与主干相同的分辨率，得到最终的heatmap，根据heatmap可以预测各个关节点的位置。这样的方法能够保持在整个网络中特征图有高分辨率特征，从而避免出现因下采样与上采样过程导致的有效信息丢失问题；由于高分辨率网络有多个分支层，可以感知不同尺度的人物图像，分支层与主干层网络交互连接，低分辨率分支层可以处理大目标的姿态估计，主干层可以处理大目标的姿态估计问题，各层交互连接使得特征信息全面，以提高最终的姿态估计结果准确率。

上述本申请提供的一种人体姿态估计识别装置，图像获取模块，用于接收外界传输图像或相机拍摄图像，对接收的图像做预处理后传入到主控处理模块进行姿态估计；主控处理模块，该模块将图像获取模块传入的图像输入主控箱中的高分辨率网络进行姿态估计，得出网络预测结果，并将结果传输到显示屏显示。图像获取模块包括：摄像头、补偿光源、升降器、接收器；主控处理模块包括：主控箱、底托和调位旋钮；所述摄像头与补偿光源紧接并置于升降器上方，接收器与升降器正对，接收器与升降器均安装在底托左端，主控箱位于底托正上方中间位置，底托右端上方为调位旋钮，用于调整摄像头的拍摄角度和高度；该装置不仅能够处理摄像头拍摄的图像，还能对接收器接收的图像做姿态估计处理，即可以处理装置内部图像和外界输入图像，增加实用性。另外，装置配备了显示器，能够实时显示图像的姿态估计结果，满足对姿态估计结果可视化的需求。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请保护范围的限定。

图1是本申请实施例提供的一种人体姿态估计方法与识别装置的算法模型示意图；

图2是本申请实施例提供的一种人体姿态估计方法与识别装置的装置示意图；

图3是本申请实施例提供的一种人体姿态估计方法与识别装置的人体关节连接示意图；

图4是本申请实施例提供的一种人体姿态估计方法与识别装置的装置工作流程示意图；

图2装置示意图中，1、摄像头；11、补偿光源、12、升降器；13、升降台；2、接收天线；21、接收器；3、底托；31、电源控制器；32、电源指示灯；33、升降调节旋钮；34、角度调节旋钮；4、主控箱；41、显示屏。

具体实施方式

下面将结合本申请实施例的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

通常在此处附图中描述和出示的本申请实施例的组件可以以各种不同的配置来布置和设计。因此以下对在附图中提供的本申请实施例的详细描述并非旨在限制要求保护本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词，仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语将被解释为具有与在相关技术领域的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。

实施例1

本公开实施例提供了一种人体姿态估计方法。

具体的，参见图1，一种人体姿态估计方法包括：

步骤一，将预处理后的图像传入高分辨率网络，经过下采样、上采样、卷积运算，在网络各个分支生成特征图；

在本实施例中，构建一个高分辨率网络模型，模型分为1/2分辨率层、1/4分辨率层、1/8分辨率层和1/16分辨率层。其中，1/2分辨率层为主干层，分辨率为传输图像分辨率的一半，能够处理图像中的小目标人物姿态估计问题，其他三个分辨率层为网络的分支层。1/2分辨率层经过下采样操作得到1/4分辨率层，1/4分辨率层经下采样操作得到1/8分辨率层，1/8分辨率层经下采样操作得到1/16分辨率层。低分辨率层经过上采样操作可恢复到与上一层相同分辨率，即1/16分辨率层经上采样操作得到1/8分辨率层，1/8分辨率层经过上采样得到1/4分辨率层，1/4分辨率层经上采样得到1/2分辨率层。上采样与下采样操作交互进行，组成高分辨率网络的分支，在各个分支中都能够保持有高分辨率特征图的存在，从而避免重要特征信息丢失的问题。

经过各层各级的运算和处理，网络中各级输出不同的特征图，上一级特征图经过卷积运算之后得到下一级特征图，网络中的各部分特征图根据各级表示分为A1,A2,A3,A4,A5,A6,A7和A8，共有八级高分辨率特征图。在网络末端的特征图经过特征融合处理，各级表示为B1,B2和B3，共三级融合高分辨率特征图，B1和B2为融合中间过程输出的特征图，B3为高分辨率网络最终输出的特征图。

步骤二，特征图后接入注意力模块捕捉重点特征，对最终阶段的特征图采取与上一层次特征图融合的方式生成新的特征图。

在本实施例中，输入图像经预处理传入网络，在网络中各个阶段生成不同特征图，为了让特征图中的信息得以充分利用，重点的关键点信息不被忽略，引入注意力模块对标注关键点特征重点关注，避免因盲目关注无用信息带来的资源浪费,在注意力模块处理后的最终阶段进行特征融合以获取综合信息，得到融合特征图。参见图1，A3、A5和A7级的各层特征图后接入注意力模块获取关键点信息，A8级1/16分辨率层输出特征图与A8级1/8分辨率层输出特征图融合得到B1级1/8分辨率的特征图，再继续与A8级1/4分辨率层的输出特征图进行融合得到B2级1/4分辨率特征图。

步骤三，最后经过反卷积操作恢复到与主干相同的分辨率，经融合得到最终的heatmap，根据heatmap预测各个关节点的位置；

在本实施例中，B2级1/4分辨率的特征图能够用于对图像中大目标人物的姿态估计预测。此阶段的特征图经过4x4的反卷积操作，再与A8级1/2分辨率的输出特征图融合得到能够处理小目标人像姿态估计问题的B3级1/2分辨率的输出特征图，最后得到网络输出结果heatmap,根据heatmap预测人体图像各个关键点的具体位置并显示结果。

步骤四，根据网络预测结果在图片上标出各个人体关节点的位置，并在装置上显示实际输出结果；

在本实施例中，各个人体关节点位置参见图3，本申请实施例的方法检测人体的关键点一共有16个，0表示右脚踝的位置；1表示右膝盖所处的位置；2则表示右髋骨所处位置；3表示左髋骨的位置；4表示左膝盖的所处位置；5表示左脚踝的位置信息；6表示骨盆关键点的位置；7表示胸腔的位置；8表示上颈部的所处位置；9则表示头部的位置；10表示右手腕的位置；11表示右手肘的具体位置；12表示右肩膀的位置；13表示左肩膀所处的位置；14表示左手肘的位置；15表示左手腕的关键点位置。根据生成的heatmap预测出人体关节点的位置，在根据关节点连接图对检测到的关节点进行连接，最后得到人体姿态估计的结果。

本实施例提供的一种人体姿态估计方法，将预处理后的图像传入高分辨率网络，经过下采样、上采样、卷积运算，在网络各个分支生成特征图；在生成的特征图后接入注意力模块捕捉重点特征，对最终阶段的特征图采取与上一层次特征图融合的方式生成新的特征图，新特征图经过反卷积操作恢复到与主干相同的分辨率，得到最终的heatmap，根据heatmap可以预测各个关节点的位置；通过高分辨率网络的处理，能够在网络中保留特征图中的强语义信息和关键点的位置信息，避免关键信息大量丢失的问题；网络多分支交互信息，以及多尺度特征融合，能够解决遮挡图像预测不准确的问题；另外，对于大目标人像和小目标人像都可以有相应的分辨率分支做处理，从而提高检测和准确估计效果。

实施例2

本公开实施例提供了一种人体姿态估计识别装置。

具体的，参见图2，人体姿态估计识别装置包括：1、摄像头；11、补偿光源、12、升降器；13、升降台；2、接收天线；21、接收器；3、底托；31、电源控制器；32、电源指示灯；33、升降调节旋钮；34、角度调节旋钮；4、主控箱；41、显示屏。

在本实施例中，摄像头1与补偿光源11紧接并置于升降器12上方，接收器21与升降器12正对，接收器21与升降器12均安装在底托3左端，主控箱4位于底托3正上方中间位置，底托3右端上方为调位旋钮；摄像头1用于捕捉外界人像信息并拍摄照片，调位旋钮用于调整摄像头1的拍摄角度和高度，确保摄像头1能够拍摄各个角度和高度的图像。

升降器12顶端与补偿光源11紧密连接，底端内嵌于升降台13，可调节升降和转动，升降器12上升时可让摄像头1拍摄所处位置高的照片，下降时拍摄所处位置低的照片，转动时的转动幅度与摄像头1的拍摄角度同步，通过改变升降器12的转动幅度及方向来调节拍摄角度，使得拍摄的信息全面；补偿光源11为摄像头1提供光源补偿，在弱光环境下提供照明光源，避免光照不足带来图像噪声干扰；

接收器还包括接收天线2，接收天线2立于接收器21中央，用于接收传输图像数据，最后将数据输送到主控箱4；所述主控箱4包括显示屏41，用于显示估计结果，确保姿态估计结果的可视化；

调位旋钮包括升降调节旋钮33和角度调节旋钮34，升降调节旋钮33顺时针转动可实现升降器12上升，逆时针转动则升降台13下降；角度调节旋钮34顺时针转动与逆时针转动控制摄像头1的转动方向，摄像头1的转动方向与角度调节旋钮34转动同步；电源指示灯32与升降调节旋钮33紧邻，指示电源通断情况，电源通断由电源控制器31控制。

可选的，摄像头1用于摄像头拍摄图像的姿态估计，流程参见图4；

第一步，电源开关闭合，电源指示灯32点亮，摄像头1高度与角度通过升降调节旋钮33和角度调节旋钮34调整；

第二步，摄像头1位置调整完毕，拍摄目标图像，然后将拍摄图像传入主控箱4；

第三步，主控箱4对传入图像进行预处理，在主控箱4中完成检测，由检测器检测图像中的人像位置，将输入图像传入网络得到输出的heatmap，根据heatmap预测出人体关键点的位置，得到姿态估计结果；

第四步，主控箱4对输入图像进行处理后得到预测结果，结果传入显示屏41做可视化，显示出人像图片并在图像上标出各个关键点的位置和连接结果。

可选的，接收器21用于设备传输图像的姿态估计，流程参见图4；

第一步，接收器21经接收天线2接收外界设备传输过来的图像，通过接收天线2与外界设备实现信息传输，接收器21将接收的数据传输到主控箱进行处理；

第二步，主控箱4对传入图像进行预处理，在主控箱4中完成检测，由检测器检测图像中的人像位置，将输入图像传入网络得到输出的heatmap，根据heatmap预测出人体关键点的位置，得到姿态估计结果；

第三步，主控箱4对输入图像进行处理后得到预测结果，结果传入显示屏41做可视化，显示出人像图片并在图像上标出各个关键点的位置和连接结果。

本实施例提供的一种人体姿态估计识别装置能够实现实施例1中的一种人体姿态估计方法，将预处理后的图像传入高分辨率网络，经过下采样、上采样、卷积运算，在网络各个分支生成特征图；特征图后接入注意力模块捕捉重点特征，对最终阶段的特征图采取与上一层次特征图融合的方式生成新的特征图，最后经过反卷积操作恢复到与主干相同的分辨率，经融合得到最终的heatmap，根据heatmap预测各个关节点的位置；通过摄像头1和接收器21能够实现装置在摄像头拍摄情况和外界传输图像情况下都能够达到预期效果，且装置能够实现姿态估计结果可视化，能够直观反映出检测的结果和精度，方便使用和调整。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (4)

1.一种人体姿态估计方法与识别装置，其特征在于，所述方法包括：将预处理后的图像传入高分辨率网络，经过下采样、上采样、卷积运算，在网络各个分支生成特征图；在生成的特征图后接入注意力模块捕捉重点特征，对最终阶段的特征图采取与上一层次特征图融合的方式生成新的特征图，新特征图经过反卷积操作恢复到与主干相同的分辨率，得到最终的heatmap，根据heatmap可以预测各个关节点的位置。

2.根据权利要求1所述的一种人体姿态估计方法与识别装置，其特征在于，所述高分辨率网络由三个分支层和一个主干层构成，主干层分辨率为输入图像分辨率的一半，其中的特征图经过卷积运算得到下一阶段特征图，主干层经过下采样操作得到第一个分支层，第一个分支层经下采样操作得到第二个分支层，第二个分支层经下采样操作得到第三个分支层，第一分支层分辨率为主干层的一半，第二分支层分辨率为第一分支层的一半，第三分支层分辨率为第二分支层分辨率的一半；所述分支层分辨率以1/2倍数逐层递减，各层的前序特征图经卷积运算得到后序的特征图，分支层可利用上采样操作恢复分辨率到上一层次的水平；所述主干层与分支层通过上采样和下采样操作相互联系，在网络中各分支均可保持特征图像一直具有高分辨率特征，同时能够在后序特征图检测并纠正前序特征图的错误。

3.根据权利要求1所述的方法，其特征在于，所述注意力模块连接在主干层与分支层的各级特征图卷积运算之后，目的在于提取特征图中的关键点的重点信息；所述最终阶段的特征图位于主干层和分支层的最后一级，包含了前序特征图的信息，由前序特征图经卷积运算、下采样、上采样、注意力模块处理得到，融合方式采用当前层与上一层进行融合的方法得到新的特征图；所述反卷积操作针对第一个分支层最终的融合特征图进行，目的在于得到与主干层相同分辨率的特征图，最后再与主干层的最后一级特征图进行融合得到heatmap，根据heatmap可以预测出人体关节点的准确位置。

4.一种人体姿态估计识别装置，其特征在于，所述装置包括：图像获取模块，用于接收外界传输图像或相机拍摄图像，对接收的图像做预处理后传入到主控处理模块进行姿态估计；主控处理模块，该模块将图像获取模块传入的图像输入主控箱中的高分辨率网络进行姿态估计，得出网络预测结果，并将结果传输到显示屏显示。

Images