CN111723776A - 人体外轮廓点检测方法、装置、电子设备和可读存储介质 - Google Patents

人体外轮廓点检测方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN111723776A
CN111723776A CN202010635914.0A CN202010635914A CN111723776A CN 111723776 A CN111723776 A CN 111723776A CN 202010635914 A CN202010635914 A CN 202010635914A CN 111723776 A CN111723776 A CN 111723776A
Authority
CN
China
Prior art keywords
human body
input image
detection
coordinates
contour point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010635914.0A
Other languages
English (en)
Inventor
刘岩
曲晓超
姜浩
杨思远
万鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN202010635914.0A priority Critical patent/CN111723776A/zh
Publication of CN111723776A publication Critical patent/CN111723776A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施例提供了一种人体外轮廓点检测方法、装置、电子设备和可读存储介质，涉及图像处理技术领域。本发明实施例提供的人体外轮廓点检测方法、装置、电子设备和可读存储介质，通过对包含人体的输入图像进行裁剪，得到检测区域图像，将检测区域图像输入至检测网络，得到多个热力图，并计算每个热力图对应的人体外轮廓点的坐标，以得到输入图像中的每个人体外轮廓点的初始坐标，在得到输入图像中的每个人体外轮廓点的初始坐标后，对输入图像中的每个人体外轮廓点的初始坐标进行平滑处理，以得到输入图像中的每个人体外轮廓点的目标坐标，大大缓解了人体外轮廓点的抖动问题，提高了人体外轮廓点检测的便利性。

Description

人体外轮廓点检测方法、装置、电子设备和可读存储介质
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种人体外轮廓点检测方法、装置、电子设备和可读存储介质。
背景技术
人体外轮廓点检测是指在一张图中找到人体并且检测出人体肩膀、胳膊、腰部和腿部等外轮廓点的技术。
人体外轮廓点中包含更加准确的人体各个部分的位置信息，可以让机器获取更多的高层次的语义信息，更加有利于机器对图片内容的理解。但是由于人体的姿势太过于多变和复杂，人体外轮廓点常常发生抖动，给人体外轮廓点的检测带来了很多的不便。
发明内容
基于上述研究，本发明提供了一种人体外轮廓点检测方法、装置、电子设备和可读存储介质，以改善上述问题。
本发明的实施例可以这样实现：
第一方面，本发明实施例提供一种人体外轮廓点检测方法，应用于电子设备，所述方法包括：
对包含人体的输入图像进行裁剪，得到检测区域图像；
将所述检测区域图像输入至检测网络，得到多个热力图，并计算每个所述热力图对应的人体外轮廓点的坐标，以得到所述输入图像中的每个人体外轮廓点的初始坐标；
对所述输入图像中的每个人体外轮廓点的初始坐标进行平滑处理，得到所述输入图像中的每个人体外轮廓点的目标坐标。
在可选的实施方式中，所述计算每个所述热力图对应的人体外轮廓点的坐标的步骤包括：
针对每个所述热力图，获取该热力图中的最大值，以及所述最大值的坐标；
基于所述最大值的坐标，获取所述最大值预设半径内所有的值，以及每个值所对应的坐标；
对获取得到的所有的值以及每个值所对应的坐标进行加权平均，得到该热力图对应的人体外轮廓点的坐标。
在可选的实施方式中，所述对所述输入图像中的每个人体外轮廓点的初始坐标进行平滑处理，得到所述输入图像中的每个人体外轮廓点的目标坐标的步骤包括：
针对第i帧的所述输入图像中的每个人体外轮廓点，获取在第i+1帧到第i+n帧图像中与该人体外轮廓点对应的轮廓点的坐标；
根据所述第i+1帧到第i+n帧图像中与该人体外轮廓点对应的轮廓点的坐标以及该人体外轮廓点的初始坐标，分别计算第i+1帧到第i+n帧图像中的对应的轮廓点与该人体外轮廓点的距离值，并计算每个距离值所对应的权重值；
将计算得到的所有权重值与该人体外轮廓点的初始坐标进行加权平均，得到该人体外轮廓点的目标坐标。
在可选的实施方式中，所述计算每个距离值所对应的权重值的步骤包括：
通过以下公式计算得到每个距离值所对应的权重值：
Figure BDA0002568636850000031
其中，wn为权重值，σ为参数值，可以任意选择，z为距离值，μ是所有距离值的均值。
在可选的实施方式中，所述方法还包括：
对所述输入图像进行特征提取，得到特征图；
将所述输入图像输入至区域建议网络，得到多个粗略检测框。
根据各所述粗略检测框，对所述特征图进行裁剪，并将裁剪得到的各裁剪特征图输入至分类回归网络，得到粗略人体检测框以及所述粗略人体检测框的精修参数；
根据所述粗略人体检测框的精修参数对所述粗略人体检测框进行精修处理，得到第一人体检测框；
所述对包含人体的输入图像进行剪裁的步骤，包括：
根据所述第一人体检测框，对所述包含人体的输入图像进行裁剪。
在可选的实施方式中，在得到所述输入图像中的每个人体外轮廓点的目标坐标之后，所述方法还包括：
根据所述输入图像中的每个人体外轮廓点的目标坐标，计算得到第二人体检测框；
根据所述第二人体检测框，对下一帧输入图像进行裁剪。
在可选的实施方式中，在根据所述第二人体检测框，对下一帧输入图像进行裁剪之前，所述方法还包括：
通过以下公式，对所述第二人体检测框进行放大：
k＝(w+2s)/w
k为放大倍数，w为第二人体检测框的宽度，s为相邻两帧人体移动的距离。
第二方面，本发明实施例提供一种人体外轮廓点检测装置，应用于电子设备，所述人体外轮廓点检测装置包括人体外轮廓点检测模块；所述人体外轮廓点检测模块用于：
对包含人体的输入图像进行裁剪，得到检测区域图像，将所述检测区域图像输入至检测网络，得到多个热力图，并计算每个所述热力图对应的人体外轮廓点的坐标，以得到所述输入图像中的每个人体外轮廓点的初始坐标；
对所述输入图像中的每个人体外轮廓点的初始坐标进行平滑处理，得到所述输入图像中的每个人体外轮廓点的目标坐标。
第三方面，本发明实施例提供一种电子设备，包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述电子设备执行前述实施方式中任意一项所述的人体外轮廓点检测方法。
第四方面，本发明实施例提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现前述实施方式中任意一项所述的人体外轮廓点检测方法。
本发明实施例提供的人体外轮廓点检测方法、装置、电子设备和可读存储介质，通过对包含人体的输入图像进行裁剪，得到检测区域图像，将检测区域图像输入至检测网络，得到多个热力图，并计算每个热力图对应的人体外轮廓点的坐标，以得到输入图像中的每个人体外轮廓点的初始坐标，在得到输入图像中的每个人体外轮廓点的初始坐标后，对输入图像中的每个人体外轮廓点的初始坐标进行平滑处理，以得到输入图像中的每个人体外轮廓点的目标坐标，大大缓解了人体外轮廓点的抖动问题，提高了人体外轮廓点检测的便利性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的电子设备的一种方框示意图。
图2为本发明实施例提供的人体外轮廓点检测装置的一种方框示意图。
图3为本发明实施例提供的人体外轮廓点检测方法的流程示意图之一。
图4为本发明实施例提供的人体外轮廓点检测方法的流程示意图之二。
图5为本发明实施例提供的人体外轮廓点检测方法的子步骤流程示意图之一。
图6为本发明实施例提供的人体外轮廓点检测方法的一种轮廓示意图。
图7为本发明实施例提供的人体外轮廓点检测方法的一种取值示意图。
图标：100-电子设备；10-人体外轮廓点检测装置；11-人体检测模块；12-人体外轮廓点检测模块；13-人体跟踪模块；20-存储器；30-处理器；40-通信单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
如背景技术所述，人体外轮廓点中包含更加准确的人体各个部分的位置信息，可以让机器获取更多的高层次的语义信息，更加有利于机器对图片内容的理解。
人体外轮廓点检测技术可以细分为三个子技术，分别是人体检测、人体外轮廓点检测、人体跟踪三个部分。其中，人体检测技术主要是从图像中找到人体的包围框，人体外轮廓点检测技术主要负责检测出人体外轮廓的位置，人体跟踪技术负责对检测到的人体进行跟踪，保证检测框中始终是同一个人。
目前，深度神经网络是解决人体检测最有效的方法，因此，基于深度神经网络的人体检测技术被更多的人去研究，并出来了不少经典的算法，例如，Faster RCNN、SSD算法、Yolo v3、Mask RCNN等，这些人体检测算法的出现使得人体检测的移动端应用效果更加的好，但是由于人体检测实际应用场景比较复杂多变，使用小的模型很难达到预期的效果，因此一般使用比较大的模型，但是这种方式给人体检测带来了时延和功耗问题，即时延较长，且功耗过大。
并且，由于人体的姿势太过多变和复杂，同样给人体外轮廓点的检测也带来很多挑战，例如，复杂姿势和背景下的抖动和误检。
基于上述研究，本实施例提供一种人体外轮廓点检测方法，以改善上述问题。
请参考图1，本实施例提供的人体外轮廓点检测方法，应用于图1所示的电子设备100，由图1所示的电子设备100执行本实施例所提供的人体外轮廓点检测方法。如图1所示，本实施例所提供的电子设备100包括人体外轮廓点检测装置10、存储器20、处理器30以及通信单元40。
所述存储器20、处理器30及通信单元40各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述人体外轮廓点检测装置10包括至少一个可以软件或固件(firmware)的形式存储于所述存储器20中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器30用于执行所述存储器20中存储的可执行模块，例如所述人体外轮廓点检测装置10所包括的软件功能模块及计算机程序等。
如图2所示，在本实施例中，人体外轮廓点检测装置10包括人体检测模块11、人体外轮廓点检测模块12以及人体跟踪模块13。
其中，人体检测模块11采用Faster-RCNN检测框架作为人体检测模块的基础框架，其网络由基础网络、区域建议网络(Region Proposal Network，RPN)和分类回归网络组成。其中，基础网络用于提取输入图像的特征，得到特征图，区域建议网络负责生成多个粗略检测框，(粗略检测框的数量可以通过参数进行设置)，然后根据多个粗略检测框对特征图进行裁剪，并将裁剪得到的各裁剪特征图输入至分类回归网络，通过分类回归网络判断裁剪得到的各裁剪特征图是否存在人体，其中，若判定得到某个裁剪特征图存在人体，则该裁剪特征图对应粗略检测框为粗略人体检测框，同时分类回归网络会再回归出一个精确的位置坐标，对粗略人体检测框进行精修，以得到精修后的人体检测框，即第一人体检测框。
人体外轮廓点检测模块12是由一个检测网络和一个网络后处理单元处理。其中，检测网络用于根据得到的第一人体检测框对输入图像进行裁剪，得到检测区域图像，并对检测区域图像进行处理，得到多个热力图。网络后处理单元用于针对每个热力图，计算该热力图对应的人体外轮廓点的坐标，并对每个人体外轮廓点进行平滑处理，以缓解点的抖动问题。
人体跟踪模块13用于根据人体外轮廓点检测模块12得到的平滑后的人体外轮廓点，计算得到该人体的人体检测框，即第二人体检测框，以第二人体检测框作为下一帧图像的人体检测框，对下一帧图像的人体检测，实现人体的跟踪，从而无需调用人体检测模块，也可以得到人体检测框。
在本实施例中，所述存储器20可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器20用于存储程序或者数据。
所述处理器30可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述通信单元40用于通过网络建立所述电子设备100与其他电子设备之间的通信连接，并用于通过所述网络收发数据。
在一些实施例中，所述网络可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、无线局域网(Wireless Local Area Networks，WLAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、公共电话交换网(Public Switched Telephone Network，PSTN)、蓝牙网络、ZigBee网络、或近场通信(Near Field Communication，NFC)网络等，或其任意组合。
可以理解，图1所示的结构仅为示意，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
基于上述电子设备100的实现架构，请结合参阅图3，图3为本实施例所提供的人体外轮廓点检测方法的流程示意图。下面对图3所示的流程示意图进行详细阐述。
步骤S10：对包含人体的输入图像进行裁剪，得到检测区域图像。
步骤S20：将检测区域图像输入至检测网络，得到多个热力图，并计算每个热力图对应的人体外轮廓点的坐标，以得到输入图像中的每个人体外轮廓点的初始坐标。
步骤S30：对输入图像中的每个人体外轮廓点的初始坐标进行平滑处理，得到输入图像中的每个人体外轮廓点的目标坐标。
本实施例提供的人体外轮廓点检测方法，通过将检测区域图像输入至检测网络，得到多个热力图，并计算每个热力图对应的人体外轮廓点的坐标，以得到输入图像中的每个人体外轮廓点的初始坐标，在得到输入图像中的每个人体外轮廓点的初始坐标后，通过对输入图像中的每个人体外轮廓点的初始坐标进行平滑处理，大大缓解了人体外轮廓点的抖动问题，提高了人体外轮廓点检测的便利性。
作为一种可选的实施方式中，为了便于对包含人体的输入图像进行裁剪，本实施例可通过人体检测框对包含人体的输入图像进行裁剪。请结合参阅图4，在一种示例性的实施方式中，本实施例所提供的人体外轮廓点检测方法还包括步骤S1至步骤S4。
步骤S1：对输入图像进行特征提取，得到特征图。
步骤S2：将输入图像输入至区域建议网络，得到多个粗略检测框。
步骤S3：根据各粗略检测框，对特征图进行裁剪，并将裁剪得到的各裁剪特征图输入至分类回归网络，得到粗略人体检测框以及粗略人体检测框的精修参数。
步骤S4：根据粗略人体检测框的精修参数对粗略人体检测框进行精修处理，得到第一人体检测框。
其中，将输入图像输入至区域建议网络后，通过区域建议网络对输入图像进行处理，得到多个粗略检测框，然后根据多个粗略检测框对基础网络提取得到的特征图进行裁剪，将裁剪得到的各裁剪特征图输入至分类回归网络，通过分类回归网络判断裁剪得到的各裁剪特征图是否存在人体，其中，若判定得到某个裁剪特征图存在人体，则该裁剪特征图对应粗略检测框为粗略人体检测框，同时分类回归网络会再回归出一个精确的位置坐标，对粗略人体检测框的精修，从而得到第一人体检测框。
在得到第一人体检测框后，即可根据第一人体检测框对包含人体的输入图像进行裁剪，得到检测区域图像。
可选的，为了保证裁剪得到的人体部分的完整性，在本实施例中，在根据第一人体检测框对包含人体的输入图像进行裁剪之前，还需对第一人体检测框进行放大，例如，对第一人体检测框的长和宽扩大1.2倍，再根据扩大后的第一人体检测框对输入图像进行裁剪。
可选的，在本实施例中，输入图像为BGR格式，对包含人体的输入图像进行裁剪，即根据第一人体检测框的大小和位置，对BGR格式的输入图像进行裁剪，得到检测区域图像，其中，检测区域图像为对应人体部分的图像，也为BGR格式。
在本实施例中，检测网络是由残差网络(Resnet)的block组成，每个block都有一个Se模块。因此，在得到BGR格式的检测区域图像后，将检测区域图像输入到检测网络中，网络的输出即为多个热力图。
可选的，为了便于图像的处理，在将检测区域图像输入至检测网络之前，本实施例还需对检测区域图像进行缩放，将检测区域图像缩放为256*128的BGR格式图像，然后将缩放后的检测区域图像输入到检测网络，网络的输出则为64*32的热力图。
在本实施例中，输出的多个热力图中，每一个热力图对应于一个人体外轮廓点。
在输出得到多个热力图后，即可针对每个热力图，计算该热力图对应的人体外轮廓点的坐标。在可选的实施方式中，请结合参阅图5，计算每个热力图对应的人体外轮廓点的坐标的步骤包括步骤S21至步骤S23。
步骤S21：针对每个热力图，获取该热力图中的最大值，以及最大值的坐标。
步骤S22：基于最大值的坐标，获取最大值预设半径内所有的值，以及每个值所对应的坐标。
步骤S23：对获取得到的所有的值以及每个值所对应的坐标进行加权平均，得到该热力图对应的人体外轮廓点的坐标。
其中，如图6所示，本实施例以检测区域图像建立一坐标系，因此，得到的多个热力图中的每个值均有一个坐标。
而在得到热力图后，针对每个热力图，首先从该热力图中找到最大值，然后根据最大值对应的坐标轴的值，得到最大值的坐标，记为(x，y)。然后根据最大值的坐标，获取最大值预设半径内所有的值以及每个值对应的坐标，如图7所示。然后对获取的所有的值以及每个值对应的坐标进行加权平均，得到一个坐标，该坐标即为该热力图对应的外轮廓点的坐标。
可选的，本实施例可将获取得到的每个值分别与该值的坐标进行相乘，然后将所有值相乘后的坐标进行相加，并在相加后，求平均值，从而得到一个坐标，该坐标即为该热力图对应的外轮廓点的坐标。例如，从某热力图中最大值预设半径内获取得到的值包括a，b，c，d，坐标分别为(x1，y1)，(x2，y2)，(x3，y3)以及(x4，y4)，将获取得到每个值分别与该值的坐标进行相乘，可得到(ax1，ay1)，(bx2，by2)，(cx3，cy3)以及(dx4，dy4)，然后将所有值相乘后的坐标进行相加，并在相加后，求平均值，可得到xi＝(ax1+bx2+cx3+dx4)/4，yi＝(y1+y2+y3+y4)/4，进而，该热力图对应的外轮廓点的坐标为(xi，yi)。
为了减少计算的工作量，在本实施例中，还可以对最大值预设半径内获取得到的值进行筛选，例如，使用heatmap矩阵，将大于0.1的每个值分别与该值的坐标进行相乘，然后将大于0.1的值相乘后的坐标进行相加，并在相加后，求平均值，从而得到热力图对应的外轮廓点的坐标。
作为一种可选的实施方式，预设半径可以根据实际需求而设定，在本实施例中，预设半径可以为2。
在计算得到每个热力图对应的人体外轮廓点的坐标后，即可得到输入图像中每个人体外轮廓点的初始坐标。
在得到输入图像中的每个人体外轮廓点的初始坐标后，为了缓解点的抖动，因此，还需要对输入图像中的每个人体外轮廓点的初始坐标进行平滑处理。
在可选的实施方式中，对输入图像中的每个人体外轮廓点的初始坐标进行平滑处理，得到输入图像中的每个人体外轮廓点的目标坐标的步骤包括：
首先：针对第i帧的输入图像中的每个人体外轮廓点，获取在第i+1帧到第i+n帧图像中与该人体外轮廓点对应的轮廓点的坐标。
其次：根据所述第i+1帧到第i+n帧图像中与该人体外轮廓点对应的轮廓点的坐标以及该人体外轮廓点的初始坐标，分别计算第i+1帧到第i+n帧图像中的对应轮廓点与该人体外轮廓点的距离值，并计算每个距离值所对应的权重值。
最后：将计算得到的所有权重值与该人体外轮廓点的初始坐标进行加权平均，得到该人体外轮廓点的目标坐标。
其中，在对第i帧的输入图像中的某个人体外轮廓点进行平滑时，首先找到第i+1帧到第i+n帧中与该人体轮廓点对应的轮廓点，然后获取第i+1帧到第i+n帧图像中与该人体外轮廓点对应的轮廓点的坐标，然后根据第i+1帧到第i+n帧图像中与该人体外轮廓点对应的轮廓点的坐标以及该人体外轮廓点的初始坐标，分别计算第i+1帧到第i+n帧中对应的轮廓点到该人体轮廓点的距离，得到n个距离值。
可选的，在本实施例中，可以分别计算第i+1帧到第i+n帧中对应的轮廓点到该人体轮廓点的欧式距离，从而得到n个距离值。例如，第i+1帧中与该人体轮廓点对应的轮廓点的坐标为(m1，n1)，第i+2帧中与该人体轮廓点对应的轮廓点的坐标为(m2，n2)，该人体轮廓点的初始坐标为(m，n)，则第i+1帧中对应的轮廓点与该人体轮廓点的距离值为
Figure BDA0002568636850000141
第i+1帧中对应的轮廓点与该人体轮廓点的距离值为
Figure BDA0002568636850000142
在得到n个距离值后，计算每个距离值所对应的权重值，从而得到n个权重值。
可选的，在本实施例中，可通过以下公式计算得到每个距离值所对应的权重值：
Figure BDA0002568636850000151
其中，wn为权重值，n＝1、2、3...n，σ为参数值，可以任意选择，例如可以选择1、2、3等，z为距离值，μ是所有距离值的均值。
在得到n个权重值后，将n个权重值与该人体外轮廓点的初始坐标进行加权平均，从而得到该人体外轮廓点的目标坐标。
例如，该人体外轮廓点的初始坐标为(xi，yi)，将n个权重值与人体外轮廓点的坐标进行加权平均，即将n个权重值分别与人体外轮廓点的xi坐标、yi坐标进行加权平均，可得到xi’＝(w1*xi+w2*xi+...+wn*xi)/n，yi’＝(w1*yi+w2*yi+...+wn*yi)/n，其中，w1、w2、...wn为权重值，因此，该人体外轮廓点的目标坐标为(xi’，yi’)。
针对输入图像中的每个人体外轮廓点，通过上述过程，得到每个人体外轮廓点的目标坐标后，即可得到每个人体外轮廓点平滑后的结果。
本实施例针对每个人体外轮廓点，采用高斯公式进行平滑，在实现外轮廓点的有效检测的同时，大大缓解了点的抖动问题，并消除了点抖动平滑带来的效果滞后感。
为了解决人体检测功耗过大的问题，在得到输入图像中的每个人体外轮廓点的目标坐标之后，本实施例所提供的人体外轮廓点检测方法还包括以下步骤：
根据输入图像中的每个人体外轮廓点的目标坐标，计算得到第二人体检测框。
根据第二人体检测框，对下一帧输入图像进行裁剪。
其中，根据输入图像中的每个人体外轮廓点的目标坐标，即可计算得到图像中人体部分对应的检测框，即第二人体检测框，然后再根据第二人体检测框，对下一帧输入图像进行裁剪，即将第二人体检测框作为下一帧图像的人体检测框，对下一帧输入图像进行裁剪，以获取下一帧图像中的人体部分，无需再将基于对输入图像的特征提取，基于区域建议网络得到人体检测框，即无需再调用人体检测模块，也可以得到人体检测框，显著的降低了人体检测的功耗，且时效快。
为了在根据第二人体检测框对下一帧图像进行裁剪时，保证裁剪得到的图像包含完整的人体部分，在可选的实施方式中，在根据第二人体检测框，对下一帧输入图像进行裁剪之前，所述方法还包括：
通过以下公式，对第二人体检测框进行放大：
k＝(w+2s)/w
其中，k为放大倍数，可选的，在本实施例中，k＝1.2，w为第二人体检测框的宽度，s为相邻两帧人体移动的距离。
本实施例所提供的人体外轮廓点检测方法，根据放大后的第二人体检测框对下一帧输入图像进行裁剪，可有效保证裁剪得到的下一帧输入图像中人体部分的完整性，实现人体的跟踪以及有效检测，解决人体检测功耗过大的问题。
本实施例所提供的人体外轮廓点检测方法，针对每个人体外轮廓点，采用高斯公式进行平滑，大大缓解了点的抖动问题，并消除了点抖动平滑带来的效果滞后感。除此之外，本实施例所提供的人体外轮廓点检测方法，根据平滑后的人体外轮廓点形成的人体检测框，对下一帧图像进行检测，解决了现有技术中人体检测功耗过大，时延过长的问题。
基于同一发明构思，请返回结合参阅图2，本实施例还提供一种人体外轮廓点检测装置10，应用于电子设备100，所述人体外轮廓点检测装置10包括人体外轮廓点检测模块12，所述人体外轮廓点检测模块12用于：
对包含人体的输入图像进行裁剪，得到检测区域图像，将检测区域图像输入至检测网络，得到多个热力图，并计算每个热力图对应的人体外轮廓点的坐标，以得到输入图像中的每个人体外轮廓点的初始坐标，对输入图像中的每个人体外轮廓点的初始坐标进行平滑处理，得到输入图像中的每个人体外轮廓点的目标坐标。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的人体外轮廓点检测装置10的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
在上述基础上，本实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现前述实施方式中任意一项所述的人体外轮廓点检测方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的可读存储介质的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
综上所述，本实施例提供的人体外轮廓点检测方法、装置、电子设备和可读存储介质，通过对包含人体的输入图像进行裁剪，得到检测区域图像，将检测区域图像输入至检测网络，得到多个热力图，并计算每个热力图对应的人体外轮廓点的坐标，以得到输入图像中的每个人体外轮廓点的初始坐标，在得到输入图像中的每个人体外轮廓点的初始坐标后，对输入图像中的每个人体外轮廓点的初始坐标进行平滑处理，以得到输入图像中的每个人体外轮廓点的目标坐标，大大缓解了人体外轮廓点的抖动问题。并且，根据平滑后的人体外轮廓点形成的人体检测框，对下一帧图像进行检测，解决了现有技术中人体检测功耗过大，时延过长的问题。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种人体外轮廓点检测方法，其特征在于，应用于电子设备，所述方法包括：
对包含人体的输入图像进行裁剪，得到检测区域图像；
将所述检测区域图像输入至检测网络，得到多个热力图，并计算每个所述热力图对应的人体外轮廓点的坐标，以得到所述输入图像中的每个人体外轮廓点的初始坐标；
对所述输入图像中的每个人体外轮廓点的初始坐标进行平滑处理，得到所述输入图像中的每个人体外轮廓点的目标坐标。
2.根据权利要求1所述的人体外轮廓点检测方法，其特征在于，所述计算每个所述热力图对应的人体外轮廓点的坐标的步骤包括：
针对每个所述热力图，获取该热力图中的最大值，以及所述最大值的坐标；
基于所述最大值的坐标，获取所述最大值预设半径内所有的值，以及每个值所对应的坐标；
对获取得到的所有的值以及每个值所对应的坐标进行加权平均，得到该热力图对应的人体外轮廓点的坐标。
3.根据权利要求1所述的人体外轮廓点检测方法，其特征在于，所述对所述输入图像中的每个人体外轮廓点的初始坐标进行平滑处理，得到所述输入图像中的每个人体外轮廓点的目标坐标的步骤包括：
针对第i帧的所述输入图像中的每个人体外轮廓点，获取在第i+1帧到第i+n帧图像中与该人体外轮廓点对应的轮廓点的坐标；
根据所述第i+1帧到第i+n帧图像中与该人体外轮廓点对应的轮廓点的坐标以及该人体外轮廓点的初始坐标，分别计算第i+1帧到第i+n帧图像中的对应的轮廓点与该人体外轮廓点的距离值，并计算每个距离值所对应的权重值；
将计算得到的所有权重值与该人体外轮廓点的初始坐标进行加权平均，得到该人体外轮廓点的目标坐标。
4.根据权利要求3所述的人体外轮廓点检测方法，其特征在于，所述计算每个距离值所对应的权重值的步骤包括：
通过以下公式计算得到每个距离值所对应的权重值：
Figure FDA0002568636840000021
其中，wn为权重值，σ为参数值，可任意选择，z为距离值，μ是所有距离值的均值。
5.根据权利要求1所述的人体外轮廓点检测方法，其特征在于，所述方法还包括：
对所述输入图像进行特征提取，得到特征图；
将所述输入图像输入至区域建议网络，得到多个粗略检测框；
根据各所述粗略检测框，对所述特征图进行裁剪，并将裁剪得到的各裁剪特征图输入至分类回归网络，得到粗略人体检测框以及所述粗略人体检测框的精修参数；
根据所述粗略人体检测框的精修参数对所述粗略人体检测框进行精修处理，得到第一人体检测框；
所述对包含人体的输入图像进行剪裁的步骤，包括：
根据所述第一人体检测框，对所述包含人体的输入图像进行裁剪。
6.根据权利要求1所述的人体外轮廓点检测方法，其特征在于，在得到所述输入图像中的每个人体外轮廓点的目标坐标之后，所述方法还包括：
根据所述输入图像中的每个人体外轮廓点的目标坐标，计算得到第二人体检测框；
根据所述第二人体检测框，对下一帧输入图像进行裁剪。
7.根据权利要求6所述的人体外轮廓点检测方法，其特征在于，在根据所述第二人体检测框，对下一帧输入图像进行裁剪之前，所述方法还包括：
通过以下公式，对所述第二人体检测框进行放大：
k＝(w+2s)/w
k为放大倍数，w为第二人体检测框的宽度，s为相邻两帧人体移动的距离。
8.一种人体外轮廓点检测装置，其特征在于，应用于电子设备，所述人体外轮廓点检测装置包括人体外轮廓点检测模块；所述人体外轮廓点检测模块用于：
对包含人体的输入图像进行裁剪，得到检测区域图像，将所述检测区域图像输入至检测网络，得到多个热力图，并计算每个所述热力图对应的人体外轮廓点的坐标，以得到所述输入图像中的每个人体外轮廓点的初始坐标；
对所述输入图像中的每个人体外轮廓点的初始坐标进行平滑处理，得到所述输入图像中的每个人体外轮廓点的目标坐标。
9.一种电子设备，其特征在于，包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述电子设备执行权利要求1-7中任意一项所述的人体外轮廓点检测方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-7中任意一项所述的人体外轮廓点检测方法。
CN202010635914.0A 2020-07-03 2020-07-03 人体外轮廓点检测方法、装置、电子设备和可读存储介质 Pending CN111723776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010635914.0A CN111723776A (zh) 2020-07-03 2020-07-03 人体外轮廓点检测方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010635914.0A CN111723776A (zh) 2020-07-03 2020-07-03 人体外轮廓点检测方法、装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN111723776A true CN111723776A (zh) 2020-09-29

Family

ID=72571739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010635914.0A Pending CN111723776A (zh) 2020-07-03 2020-07-03 人体外轮廓点检测方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111723776A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329686A (zh) * 2020-11-13 2021-02-05 杭州艾芯智能科技有限公司 人脸检测加速方法、系统、计算机设备和存储介质
CN112598070A (zh) * 2020-12-25 2021-04-02 创新奇智(广州)科技有限公司 目标检测方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967693A (zh) * 2017-12-01 2018-04-27 北京奇虎科技有限公司 视频关键点处理方法、装置、计算设备及计算机存储介质
CN108647639A (zh) * 2018-05-10 2018-10-12 电子科技大学 实时人体骨骼关节点检测方法
CN109684920A (zh) * 2018-11-19 2019-04-26 腾讯科技（深圳）有限公司 物体关键点的定位方法、图像处理方法、装置及存储介质
CN111325179A (zh) * 2020-03-09 2020-06-23 厦门美图之家科技有限公司 手势跟踪方法、装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967693A (zh) * 2017-12-01 2018-04-27 北京奇虎科技有限公司 视频关键点处理方法、装置、计算设备及计算机存储介质
CN108647639A (zh) * 2018-05-10 2018-10-12 电子科技大学 实时人体骨骼关节点检测方法
CN109684920A (zh) * 2018-11-19 2019-04-26 腾讯科技（深圳）有限公司 物体关键点的定位方法、图像处理方法、装置及存储介质
CN111325179A (zh) * 2020-03-09 2020-06-23 厦门美图之家科技有限公司 手势跟踪方法、装置、电子设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329686A (zh) * 2020-11-13 2021-02-05 杭州艾芯智能科技有限公司 人脸检测加速方法、系统、计算机设备和存储介质
CN112598070A (zh) * 2020-12-25 2021-04-02 创新奇智(广州)科技有限公司 目标检测方法、装置、电子设备及存储介质
CN112598070B (zh) * 2020-12-25 2023-07-28 创新奇智(广州)科技有限公司 目标检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10783354B2 (en) Facial image processing method and apparatus, and storage medium
JP5406705B2 (ja) データ補正装置及び方法
US9773192B2 (en) Fast template-based tracking
JP6688277B2 (ja) プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置
US10796447B2 (en) Image detection method, apparatus and system and storage medium
CN111723776A (zh) 人体外轮廓点检测方法、装置、电子设备和可读存储介质
CN112102340B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US11501407B2 (en) Method and apparatus for image processing, and computer storage medium
JP2006146922A (ja) テンプレート方式の顔検出方法
US10448879B2 (en) Skin condition detection method and electronic device
TWI668637B (zh) 指紋感測裝置以及指紋感測方法
CN113628229B (zh) 图像裁剪方法及相关产品
US8571315B2 (en) Information processing apparatus, information processing method, and program
US20190050678A1 (en) Face similarity evaluation method and electronic device
CN109389018B (zh) 一种人脸角度识别方法、装置及设备
US11462052B2 (en) Image processing device, image processing method, and recording medium
CN110674873A (zh) 图像分类方法、装置、移动终端及存储介质
US9721145B2 (en) Central person determining system, information terminal used in the same, central person determining method, and recording medium for central person determining program
JP2013015891A (ja) 画像処理装置、画像処理方法及びプログラム
CN111179287A (zh) 人像实例分割方法、装置、设备及存储介质
CN111382653A (zh) 一种人体坐姿的监督方法
CN113610864B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
KR20130098675A (ko) 얼굴 검출 처리 회로 및 이를 포함하는 촬상 장치
WO2021157213A1 (ja) 画像処理装置および画像処理方法
US9159118B2 (en) Image processing apparatus, image processing system, and non-transitory computer-readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination