CN113435320B - 自适应配置多模型的人体姿态估计方法 - Google Patents

Abstract

本发明公开了一种人体姿态估计多模型自适应配置的方法，包括：步骤1，对当前处理视频段的前t时长的所有采样帧高精度人体姿态估计模型预测出当前视频内容参数，选择得出该当前处理视频段需要的最低配置值；步骤2，根据最低配置参数对采样得到采样帧进行细粒度划分得出各子区域和处理等级，用与各子区域的处理等级最匹配的人体姿态估计模型进行估计处理，再通过坐标转化得到最终估计结果；步骤3，判断当前最低配置参数是否与下一段视频匹配，匹配，按步骤2至3处理，不匹配，按步骤1至3处理，直至处理完整个待处理视频。该方法基于多人体姿态估计模型自适应配置，能在计算资源有限、不降低其精度的情况下，提升多人人体姿态估计的执行效率。

Description

自适应配置多模型的人体姿态估计方法

技术领域

本发明涉及视频分析领域，尤其涉及一种自适应配置多模型的人体姿态估计方法。

背景技术

目前，大量的摄像头在实际中被广泛应用，如在安全场景、各种工作场景、交通场景中得到广泛应用。而随着摄像头应用的普及，视频分析的工作也越来越重要，特别是，对人体姿态估计是其中很重要的一部分功能。

目前，已有十分成熟的人体姿态估计方法，在单人的情况下能实现对人体姿态进行精准探测。但是当有多人存在的情况下，现有的人体姿态估计方法至少存在以下局限性：探测结果较为精准的框架(如Openpose)需要很大的计算开销，且每秒能够处理的帧率达不到应用所需的要求；此外，有一些探测速率较快的框架(如PoseProposalNetworks)处理速率十分迅速，在计算资源足够的情况下，处理帧率可以高达百帧以上，但是其探测结果却不尽人意。

发明内容

针对现有方法所存在的问题，本发明的目的是提供一种自适应配置多模型的人体姿态估计方法，能够解决现有人体姿态估计方法，存在计算开销大、处理速度慢或结果不够精准，无法取得处理速度与结果精准度之间平衡的问题。

本发明的目的是通过以下技术方案实现的：

本发明实施方式提供一种自适应配置多模型的人体姿态估计方法，对待处理视频按预定时长T分段进行处理，先从所述待处理视频中获取第一段视频作为当前处理视频段，包括：

步骤1，对所述当前处理视频段的前t时长的所有采样帧进行高精度人体姿态估计模型预测得出当前视频内容参数，根据所述当前处理视频内容参数进行选择得出该当前处理视频段所需要的最低配置参数，所述t的时长为所述预定时长T的10％；

步骤2，根据所述最低配置参数对所述当前处理视频段进行采样得到采样帧，利用与所述最低配置参数相匹配的人体姿态模型对所述采样帧进行内容估计，根据内容估计的结果对该采样帧进行细粒度划分得出各子区域和各子区域的处理等级，根据各子区域的处理等级采用与其最匹配的人体姿态估计模型，对各子区域进行人体姿态估计处理，得到各人体姿态估计模型的估计结果，将各估计结果所对应的坐标，由子区域的相对坐标转化至采样帧中的绝对坐标，在采样帧中得出最终估计结果；

步骤3，从所述待处理视频中获取的下一段视频，判断处理当前处理视频段的当前最低配置参数与该下一段视频是否匹配，若匹配，则将处理当前处理视频段的当前最低配置参数作为下一段视频的最低配置参数，并将该下一段视频作为当前处理视频段，按所述步骤2至3进行估计处理，若不匹配，则将下一段视频作为当前处理视频段，按所述步骤1至3进行估计处理，直至估计处理完整个待处理视频。

由上述本发明提供的技术方案可以看出，本发明实施例提供的人体姿态估计多模型自适应配置的方法，其有益效果为：

通过将视频分段处理，根据先从视频段得出的最低配置参数，对采用帧画面估计后进行细粒度划分，划分出不同处理级别的各子区域，将各处理级别的各子区域用对应级别的最匹配人体姿态估计模型进行处理，得出人体姿态估计结果，通过坐标转换方式将各子区域估计结果集合至所处理的采样帧作为最终估计结果，进而实现了在估计同一段视频时，自适应地对多个人体姿态估计模型进行调配，在计算资源有限，且精度没有显著降低的前提下，提高对人体姿态估计处理的帧率；通过对当前最低配置值与下一段视频是否匹配的判断，能在两者匹配时，减少计算处理量。本发明的方法可以在计算资源有限、不降低其精度的情况下，提升多人人体姿态估计模型的执行效率，解决了原本对于多人人体姿态估计模型只能在拥有大量计算资源的计算机中才能进行实时检测的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的人体姿态估计多模型自适应配置的方法的流程图；

图2为本发明实施例提供的实现人体姿态估计多模型自适应配置方法的架构示意图。

具体实施方式

下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

参见图1、2，本发明实施例提供一种自适应配置多模型的人体姿态估计方法，对待处理视频按预定时长T分段进行处理，先从所述待处理视频中获取第一段视频作为当前处理视频段，包括：

步骤1，对所述当前处理视频段的前t时长的所有采样帧进行高精度人体姿态估计模型预测得出当前视频内容参数，根据所述当前处理视频内容参数进行选择得出该当前处理视频段所需要的最低配置参数，所述t的时长为所述预定时长T的10％；

步骤2，根据所述最低配置参数对所述当前处理视频段进行采样得到采样帧，利用与所述最低配置参数相匹配的人体姿态模型对所述采样帧进行内容估计，根据内容估计的结果对该采样帧进行细粒度划分得出各子区域和各子区域的处理等级，根据各子区域的处理等级采用与其最匹配的人体姿态估计模型，对各子区域进行人体姿态估计处理，得到各人体姿态估计模型的估计结果，将各估计结果所对应的坐标，由子区域的相对坐标转化至采样帧中的绝对坐标，在采样帧中得出最终估计结果；

步骤3，从所述待处理视频中获取的下一段视频，判断处理当前处理视频段的当前最低配置参数与该下一段视频是否匹配，若匹配，则将处理当前处理视频段的当前最低配置参数作为下一段视频的最低配置参数，并将该下一段视频作为当前处理视频段，按所述步骤2至3进行估计处理，若不匹配，则将下一段视频作为当前处理视频段，按所述步骤1至3进行估计处理，直至估计处理完整个待处理视频。

上述方法中，预定时长T为1～5秒。

上述方法的步骤1中，所述高精度人体姿态估计模型采用Openpose人体姿态估计模型。

上述方法的步骤1中，得出的最低配置参数包括：人物数量、视频画面的采样帧率和视频画面的分辨率。优选的，所述最低配置参数中的人物数量包括：多人、单人和无人。

上述方法的步骤2中，按以下方式根据内容估计的结果对该采样帧进行细粒度划分得出各子区域和各子区域的处理等级，包括：

若内容估计的结果中估计出至少两个人物且至少两个人物存在重合部分，所述重合部分超过其中任一人物区域的20％，则按存在重合人物的最大边界从所述采样帧中划分出子区域，并将该子区域标记为复杂级处理子区域；

若内容估计的结果中仅估计出一个人物，则按该人物的最大边界从所述采样帧中划分出子区域，并将该子区域标记为普通级处理子区域；

若内容估计的结果中未识别出人物，则不对所述采样帧进行划分，并直接忽略该采样帧。

上述方法的步骤2中，按以下方式根据各子区域的处理等级采用与其最匹配的人体姿态估计模型，包括：

按各人体姿态估计模型的识别精度，将各人体姿态估计模型分别标记为复杂级和普通级；其中，标记为复杂级的人体姿态估计模型作为与划分出的复杂处理级子区域最匹配的人体姿态估计模型；标记为普通级的人体姿态估计模型作为与划分出的普通处理级子区域最匹配的人体姿态估计模型。通常的，复杂级的人体姿态估计模型属于识别精度高的模型，但处理速度不快；所述标记为普通级的人体姿态估计模型为仅能识别出一个人物的人体姿态估计模型；通常的，普通级的人体姿态估计模型属于识别精度低的模型，但处理速度较快。

上述方法的标记为复杂级的人体姿态估计模型为能识别出两个人物以上的人体姿态估计模型；

所述标记为普通级的人体姿态估计模型为仅能识别出一个人物的人体姿态估计模型。

上述方法的步骤3中，按以下方式判断处理当前处理视频段的当前最低配置值是否与该下一段视频匹配，包括：

用与当前最低配置参数相匹配的人体姿态估计模型和高精度人体姿态估计模型分别对下一段视频的前t时长的所有采样帧进行预测估计，若两者的估计结果相差在5％以内，则确认该当前最低配置参数与下一段视频匹配，若两者的估计结果相差超过5％，则确认该当前最低配置参数与下一段视频不匹配。该步骤中的，高精度人体姿态估计模型采用Openpose人体姿态估计模型。用当前视频段的最低配置参数用于下一段视频的处理，避免了处理每段视频都获取最低配置参数，能节省计算消耗。

本发明的方法，通过自适应调配多种人体姿态估计模型，实现提升多人人体姿态估计的帧率。由于利用提取特征参数自适应调节后对多个人体姿态估计模型的调配使用，本发明具有在资源有限，且要求精度没有显著下降的情况下，达到更高帧率的模型效率的优点，适用于拥有大量摄像头，且计算资源有限的场景。

下面对本发明实施例具体作进一步地详细描述。

参见图1、2，本发明实施例提供的自适应配置多模型的人体姿态估计方法，对待处理视频按预定时长T(通常取1～5秒)分段进行处理，先从所述待处理视频中获取第一段视频作为当前处理视频段，主要包括以下步骤：

步骤1，对所述当前处理视频段的前t时长(t时长为预定时长T的10％)的所有采样帧进行高精度人体姿态估计模型预测得出当前视频内容参数，根据所述当前处理视频内容参数进行选择得出处理该当前处理视频段所需要的最低配置参数；

步骤2，根据所述最低配置参数对所述当前处理视频段进行采样得到采样帧，应用与所述最低配置参数相匹配的人体姿态模型对所述采样帧进行内容估计，根据内容估计的结果对该采样帧进行细粒度划分得出各子区域和各子区域的处理等级，根据各子区域的处理等级采用与其最匹配的人体姿态估计模型，对各子区域进行人体姿态估计处理，得到各人体姿态估计模型的估计结果，将各估计结果所对应的坐标，由子区域的相对坐标转化至采样帧中的绝对坐标，在采样帧中得出最终估计结果；

步骤3，从所述待处理视频中获取的下一段视频，判断处理当前处理视频段的当前最低配置值是否与该下一段视频匹配，若匹配，则将处理当前处理视频段的当前最低配置值作为下一段视频的最低配置值，并将下一段视频作为当前处理视频段，按所述步骤3至4进行处理，若不匹配，则将下一段视频作为当前处理视频段，按所述步骤1至4进行处理，直至处理完整个待处理视频。

参见图2，上述方法的各步骤具体处理方式如下：

上述步骤1中，得出的最低配置参数包括：人物数量、视频画面的采样帧率(每秒需要对画面进行采样的频率)和视频画面的分辨率(480P、720、1080P等)。优选的，所述最低配置参数中的人物数量包括：多人、单人和无人。便于根据这些参数确定处理当前视频段所需的最低配置值。

上述步骤1中，设定视频段的时长为T，通常T取1～5秒，即在T秒内运用同样的配置参数进行处理，对第一段前t秒的视频进行分析，获取该段视频间隔所需要的最低配置值，例如：将采样帧划分为左半边和右半边两个子区域，左半边的子区域需要识别精细更高的人体姿态估计模型，估计时采样数据需要每秒10帧，右半边的子区域需要识别更迅速的人体姿态估计模型，估计时采样数据每秒1帧即可；所需要的画面的分辨率均在480P时就可达到最佳精度，则在该段视频内余下的时间中运用此这样确定的人物数量对应的模型、视频画面的采样帧率和视频画面的分辨率的配置作为最低配置参数。

上述步骤2中，根据步骤1中得出的最低配置参数，对视频段进行采样，对采样帧进行子区域划分操作，按划分的各子区域对采样帧进行剪裁等处理，按照最低配置参数将最后得出的子区域传入相匹配的人体姿态估计模型进行估计处理，输出各模型的估计结果。

上述步骤3中，将处理前一段视频用的最低配置参数相匹配的人体姿态估计模型与高精度人体姿态估计模型对下一段视频的前t时长的所有帧进行预测估计，然后对比两者估计结果，若两者估计结果相差在5％以内，则确定该最低配置参数与下一段视频匹配，将最低配置值作为处理下一段视频的最低配置参数，按上述步骤2、3进行下一段视频处理，否则，认为与下一段视频不匹配，则按步骤1至3对下一段视频处理，直至处理完整个待处理视频。

本发明的方法能自适应配置多个人体姿态估计模型对同一待处理视频进行处理，实现动态的控制模型选择，达到进一步高效的模型运算效率，具有在资源有限，且要求精度没有显著下降的情况下，达到更高帧率的模型效率的优点，适用于拥有大量摄像头，且计算资源有限场景。

本领域普通技术人员可以理解：实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种自适应配置多模型的人体姿态估计方法，其特征在于，对待处理视频按预定时长T分段进行处理，先从所述待处理视频中获取第一段视频作为当前处理视频段，包括：

步骤1，对所述当前处理视频段的前t时长的所有采样帧进行高精度人体姿态估计模型预测得出当前视频内容参数，根据所述当前处理视频内容参数进行选择得出该当前处理视频段所需要的最低配置参数，所述t的时长为所述预定时长T的10%；

步骤2，根据所述最低配置参数对所述当前处理视频段进行采样得到采样帧，利用与所述最低配置参数相匹配的人体姿态模型对所述采样帧进行内容估计，根据内容估计的结果对该采样帧进行细粒度划分得出各子区域和各子区域的处理等级，根据各子区域的处理等级采用与其最匹配的人体姿态估计模型，对各子区域进行人体姿态估计处理，得到各人体姿态估计模型的估计结果，将各估计结果所对应的坐标，由子区域的相对坐标转化至采样帧中的绝对坐标，在采样帧中得出最终估计结果；

所述步骤2中，按以下方式根据内容估计的结果对该采样帧进行细粒度划分得出各子区域和各子区域的处理等级，包括：

若内容估计的结果中识别出至少两个人物且至少两个人物存在重合部分，所述重合部分超过其中任一人物区域的20%，则按存在重合人物的最大边界从所述采样帧中划分出子区域，并将该子区域标记为复杂级处理子区域；

若内容估计的结果中仅识别出一个人物，则按该人物的最大边界从所述采样帧中划分出子区域，并将该子区域标记为普通级处理子区域；

若内容估计的结果中未识别出人物，则不对所述采样帧进行划分，并直接忽略该采样帧；

步骤3，从所述待处理视频中获取的下一段视频，判断处理当前处理视频段的当前最低配置参数与该下一段视频是否匹配，若匹配，则将处理当前处理视频段的当前最低配置参数作为下一段视频的最低配置参数，并将该下一段视频作为当前处理视频段，按所述步骤2至3进行估计处理，若不匹配，则将下一段视频作为当前处理视频段，按所述步骤1至3进行估计处理，直至估计处理完整个待处理视频。

2.根据权利要求1所述的自适应配置多模型的人体姿态估计方法，其特征在于，所述方法中，预定时长T为1～5秒。

3.根据权利要求1所述的自适应配置多模型的人体姿态估计方法，其特征在于，所述步骤1中，所述高精度人体姿态估计模型采用Openpose人体姿态估计模型。

4.根据权利要求1至3任一项所述的自适应配置多模型的人体姿态估计方法，其特征在于，所述步骤1中，得出的最低配置参数包括：人物数量、视频画面的采样帧率和视频画面的分辨率。

5.根据权利要求4所述的自适应配置多模型的人体姿态估计方法，其特征在于，所述最低配置参数中的人物数量包括：多人、单人和无人。

6.根据权利要求1所述的自适应配置多模型的人体姿态估计方法，其特征在于，所述步骤2中，按以下方式根据各子区域的处理等级采用与其最匹配的人体姿态估计模型，包括：

按各人体姿态估计模型的识别精度，将各人体姿态估计模型分别标记为复杂级和普通级；其中，标记为复杂级的人体姿态估计模型作为与划分出的复杂处理级子区域最匹配的人体姿态估计模型；标记为普通级的人体姿态估计模型作为与划分出的普通处理级子区域最匹配的人体姿态估计模型。

7.根据权利要求6所述的自适应配置多模型的人体姿态估计方法，其特征在于，所述标记为复杂级的人体姿态估计模型为能识别出两个人物以上的人体姿态估计模型；

所述标记为普通级的人体姿态估计模型为仅能识别出一个人物的人体姿态估计模型。

8.根据权利要求1至3任一项所述的自适应配置多模型的人体姿态估计方法，其特征在于，所述步骤3中，按以下方式判断处理当前处理视频段的当前最低配置值是否与该下一段视频匹配，包括：

用与当前最低配置参数相匹配的人体姿态估计模型和最高精度的人体姿态估计模型分别对下一段视频的前t时长的所有采样帧进行预测估计，若两者的估计结果相差在5%以内，则确认该当前最低配置参数与下一段视频匹配，若两者的估计结果相差超过5%，则确认该当前最低配置参数与下一段视频不匹配。

Images