CN108986137B - 人体跟踪方法、装置及设备 - Google Patents

人体跟踪方法、装置及设备 Download PDF

Info

Publication number
CN108986137B
CN108986137B CN201711242934.6A CN201711242934A CN108986137B CN 108986137 B CN108986137 B CN 108986137B CN 201711242934 A CN201711242934 A CN 201711242934A CN 108986137 B CN108986137 B CN 108986137B
Authority
CN
China
Prior art keywords
image
joint
joint point
rectangle
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711242934.6A
Other languages
English (en)
Other versions
CN108986137A (zh
Inventor
陈志超
周剑
龙学军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Topplusvision Technology Co ltd
Original Assignee
Chengdu Topplusvision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Topplusvision Technology Co ltd filed Critical Chengdu Topplusvision Technology Co ltd
Priority to CN201711242934.6A priority Critical patent/CN108986137B/zh
Publication of CN108986137A publication Critical patent/CN108986137A/zh
Application granted granted Critical
Publication of CN108986137B publication Critical patent/CN108986137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，具体而言，涉及一种人体跟踪方法、装置及设备，所述方法包括：获取第一图像，其中，第一图像包括人体，然后将第一图像输入预先训练好的卷积神经网络，得到第一关节点集，其中，第一关节点集包括同一个人体的多个第一关节点，根据第一关节点集，得到人体的第一外接矩形，根据第一外接矩形，获取第二图像中的第二外接矩形，其中，第二图像为第一图像的后一帧图像，根据每个第一关节点的位置信息，求取第二图像中与每个第一关节点对应的多个第二关节点，得到第二关节点集。该方法能够对人体进行准确跟踪。

Description

人体跟踪方法、装置及设备
技术领域
本发明涉及计算机视觉技术领域，具体而言，涉及一种人体跟踪方法、装置及设备。
背景技术
计算机视觉技术在运动捕捉、动画制作、智能监控、医学治疗等方面有重要应用，人体跟踪是人体动作识别和分析的基础，因而人体跟踪成为计算机视觉领域的一个重要研究课题。
目前，人体跟踪主要有两类方法：一是以检测代替跟踪，即在每一帧图像中检测人体实现跟踪人体，这类跟踪准确率低；第二类方法是采用模板匹配方法，即通过提取需要跟踪的人体的模板，将该人体的模板在其他图像上进行匹配，这种方法人体跟踪准确性差。
发明内容
本发明的目的在于提供一种人体跟踪方法、装置及设备，其旨在改善现有技术中存在的上述问题。
本发明提供一种技术方案：
本发明实施例中提供了一种人体跟踪方法，所述方法包括：
获取第一图像，其中，所述第一图像包括人体；
将所述第一图像输入预先训练好的卷积神经网络，得到第一关节点集，其中，所述第一关节点集包括同一个人体的多个第一关节点；
根据所述第一关节点集，得到所述人体的第一外接矩形；
根据所述第一外接矩形，获取第二图像中的第二外接矩形，其中，所述第二图像为所述第一图像的后一帧图像；
根据每个第一关节点的位置信息，求取所述第二图像中与每个第一关节点对应的多个第二关节点，得到第二关节点集。
本发明实施例中还提供了一种人体跟踪装置，所述装置包括获取图像模块、关节点识别模块、生成外接矩形模块、跟踪外接矩形模块和跟踪关节点模块；
所述获取图像模块用于获取第一图像，其中，所述第一图像包括人体；
所述关节点识别模块用于将所述第一图像输入预先训练好的卷积神经网络，得到第一关节点集，其中，所述第一关节点集包括同一个人体的多个第一关节点；
所述生成外接矩形模块用于根据所述第一关节点集，得到所述人体的第一外接矩形；
所述跟踪外接矩形模块用于根据所述第一外接矩形，获取第二图像中的第二外接矩形，其中，所述第二图像为所述第一图像的后一帧图像；
所述跟踪关节点模块用于根据每个第一关节点的位置信息，求取第二图像中与每个第一关节点对应的多个第二关节点，得到第二关节点集。
本发明实施例中还提供了一种人体跟踪设备，所述设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
获取第一图像，其中，所述第一图像包括人体；
将所述第一图像输入预先训练好的卷积神经网络，得到第一关节点集，其中，所述第一关节点集包括同一个人体的多个第一关节点；
根据所述第一关节点集，得到所述人体的第一外接矩形；
根据所述第一外接矩形，获取第二图像中的第二外接矩形，其中，所述第二图像为所述第一图像的后一帧图像；
根据每个第一关节点的位置信息，求取第二图像中与每个第一关节点对应的多个第二关节点，得到第二关节点集。
本发明提出的一种人体跟踪方法、装置及设备，该方法首先通过卷积神经网络检测出第一图像中的人体的第一关节点集，然后根据第一关节点集的位置信息获取人体的第一外接矩形集，再根据第一外接矩形的位置信息预测第一外接矩形在第二图像中的位置信息，从而获取第二图像中与第一外接矩形对应的第二外接矩形，再根据每个第一关节点的位置信息预测第二图像中与每个第一关节点对应的第二关节点，由多个第二关节点构成第二关节点集，最后将第二关节点集和第二外接矩形的位置信息结合起来确定人体的位置信息，从而实现人体跟踪。该方法能够对人体进行准确跟踪。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的一种人体跟踪设备的方框示意图。
图2示出了本发明实施例提出的一种人体跟踪方法流程图。
图3示出了步骤S200包括的子步骤的流程图。
图4示出了步骤S400的流程图。
图5示出了步骤S500的流程图。
图6示出了本发明实施例提供的一种人体跟踪装置200的方框结构示意图。
图7示出了图6中关节点识别模块220的方框结构示意图。
图8示出了图6中跟踪外接矩形模块240的方框结构示意图。
图9示出了图6中跟踪关节点模块250的方框结构示意图。
图标：100-人体跟踪设备；101-存储器；102-处理器；103-外设接口；104-摄像装置；105-显示屏；200-人体跟踪装置；210-获取图像模块；220-关节点识别模块；221-关节点检测单元；222-关节点分类单元；230-生成外接矩形模块；240-跟踪外接矩形模块；241-获取矩形位置单元；242-跟踪矩形单元；250-跟踪关节点模块；251-获取关节点单元；252-预测关节点单元。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参阅图1，图1示出了本发明实施例提供的一种人体跟踪设备100的方框示意图。人体跟踪设备100可以是，但不限于智能手机、平板电脑、膝上型便携计算机、穿戴式移动终端、无人机、飞行器等等。人体跟踪设备100包括人体跟踪装置200、存储器101、处理器102、外设接口103、摄像装置104和显示屏105。
所述存储器101、处理器102、外设接口103、摄像装置104和显示屏105各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述人体跟踪装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述人体跟踪设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器102用于执行存储器101中存储的可执行模块，例如所述人体跟踪装置200包括的软件功能模块或计算机程序。
其中，存储器101可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器101用于存储程序，所述处理器102在接收到执行指令后，执行所述程序，本发明任一实施例揭示的流程定义的服务器所执行的方法可以应用于处理器102中，或者由处理器102实现。
处理器102可以是一种集成电路芯片，具有信号处理能力。上述的处理器102可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)、语音处理器以及视频处理器等；还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器102也可以是任何常规的处理器等。
所述外设接口103用于将各种输入/输出装置耦合至处理器102以及存储器101。在一些实施例中，外设接口103以及处理器102可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。
摄像装置104用于采集原始图像，摄像装置104包括第一镜头和第二镜头，第一镜头用于采集原始图像中的第一图像，第二镜头用于采集原始图像中的第二图像。在本实施例中，摄像装置104可以是，但不限于双目摄像头或者多目摄像头等。
显示屏105用于实现用户与人体跟踪设备100之间的交互，具体可以是，但不限于显示屏105将人体图像进行显示。
请参阅图2，图2示出了本发明实施例提出的一种人体跟踪方法流程图。人体跟踪方法包括以下步骤：
步骤S100：获取第一图像，其中，第一图像包括人体。
作为优选的一种实施方式，由摄像装置104实时采集视频或图像，通过人体识别方法在所述视频或图像中识别出包含人体的图像，获取出该图像作为第一图像，但本发明获取第一图像的实施方式不限于此，可以通过将由摄像装置104采集视频或图像存储于存储器101中，通过人体识别方法在所述视频或图像中识别出包含人体的图像，获取出该图像作为第一图。
在本发明实施例中，人体跟踪方法还可包括对第一图像进行预处理的步骤，具体的，可以通过利用图像预处理方法对由摄像装置104采集的视频或图像进行预处理，或者过利用图像预处理方法对包括人体的第一图像进行预处理。在本发明实施例中，预处理方法可以是但不限于图像去噪、图像增强等。
步骤S200：将第一图像输入预先训练好的卷积神经网络，得到第一关节点集，其中，第一关节点集包括同一个人体的多个第一关节点。
在本发明实施例中，步骤S200包括步骤S210和步骤S220两个子步骤。请参阅图3，图3示出了步骤S200包括的子步骤的流程图。以下对步骤S210和步骤S220进行详细阐述。
步骤S210：将第一图像输入预先训练好的卷积神经网络中，通过卷积神经网络检测得到多个第一关节点。
步骤S220：利用卷积神经网络对多个第一关节点进行分类，得到第一关节点集。
在本发明实施例中，实现检测第一关节点和对第一关节点进行分类的操作，可以由同一个卷积神经网络实现，也可以由两个不同的卷积神经网络实现。由同一个卷积神经网络实现检测第一关节点和对第一关节点进行分类的操作，具体的，将第一图像输入卷积神经网络中，经过卷积神经网络对第一图像进行训练、处理，最后输出分类好的第一关节点，每一类中的第一关节点具有属于同一个人体的属性，属于同一个人的第一关节点构成第一关节点集。由两个不同的卷积神经网络实现检测第一关节点和对第一关节点进行分类的操作，具体的，将第一图像输入能够检测关节点的卷积神经网络中，该卷积神经网络检测出第一图像中的第一关节点，所有第一关节点的没有属性之分，通过将第一关节点输入能够将这些关节点按照属于同一个人体的属性进行分类的卷积神经网络，该卷积神经网络对所有第一关节点进行分类，得到具有属于同一个人体的第一关节点，属于同一个人的第一关节点构成第一关节点集。
在本发明实施例中，属于同一个人体的属性通过亲和域刻画，即属于同一个人体的关节点之间存在距离亲和关系，具体的，属于同一个人体的关节点之间的距离总在某一范围之内，该范围即是关节点的亲和域，总是处在同一亲和域内的关节点属于同一个人。
在本发明实施例中，第一图像可包含一个人体或多个人体，因此，可有一个第一关节点集或多个第一关节点集，每个第一关节点集包含属于同一个人体的第一关节点。
在本发明实施例中，第一图像和第二图像仅仅是作为两帧相邻图像的标识，并不仅仅指代第一张图像和第二张图像，在本发明实施例采集的视频帧中，任意两张相邻或任一两张不同的图像，都可以作为第一图像和\或第二图像。
作为一种实施方式，第一关节点集用
Figure BDA0001490187010000091
表示，其中
Figure BDA0001490187010000092
表示第k帧图像中第m个人的所有关节点的集合，由
Figure BDA0001490187010000093
构成的集合
Figure BDA0001490187010000094
中，M表示第一图像中有M个人。在本发明实施例中，可以将第k帧图像标注为第一图像。
通过采用以上方案，能够得到准确的关节点以及关节点之间的位置，计算量少，检测效率高，实时性好。
步骤S300：根据第一关节点集，得到人体的第一外接矩形。
在本发明实施例中，步骤S300的实施方式可以是，但不限于，1.获取第一关节点集中每一个第一关节点的位置信息。2.绘制一个矩形，使得该矩形包含且仅第一关节点集中的所有的第一关节点且该矩形是包含第一关节点集中的所有的第一关节点的最小矩形，则该矩形即是第一外接矩形。
作为一种实施方式，第一外接矩形用
Figure BDA0001490187010000101
M个人的外接矩形的集合用
Figure BDA0001490187010000102
表示，其中，
Figure BDA0001490187010000103
表示第k帧图像中第m个人的外界矩形。
步骤S400：根据第一外接矩形，获取第二图像中的第二外接矩形，其中，第二图像为第一图像的后一帧图像。
在本发明实施例中，步骤S400包括步骤S410和步骤S420。请参阅图4，图4示出了步骤S400的流程图。以下对步骤S410和步骤S420进行详细阐述。
步骤S410：获取第一外接矩形的位置信息。
在本发明实施例中，第一外接矩形的位置信息包括第一外接矩形四个顶点的位置信息。
步骤S420：根据第一外接矩形的位置信息，通过核相关滤波(KCF)算法，获取第一外接矩形在第二图像中对应的第二外接矩形。
在本发明实施例中，相关滤波(KCF)算法的思想是：根据当前一帧图像的信息和之前若干帧帧图像的信息训练出一个核相关滤波器，然后将该核相关滤波器与新输入的图像进行相关性计算，得到置信图，该置信图就是预测的跟踪结果，即跟踪结果是置信图中得分最高的那个点(或者块)。
在本发明实施例中，通过核相关滤波(KCF)算法根据第一外接矩形的位置信息获取第一外接矩形在第二图像中对应的第二外接矩形的实施方式，包括1.将第二图像输入预先训练好的核相关滤波器中，得到与第一外接矩形的顶点的位置信息相对应的顶点。2.连接与第一外接矩形的顶点的位置信息相对应的顶点得到第二外接矩形。
通过采用以上方案，不需要手动在每一张图像中框出人体，省时省力，同时，外接矩形准确率高。
步骤S500：根据每个第一关节点的位置信息，求取第二图像中与每个第一关节点对应的多个第二关节点，得到第二关节点集。
在本发明实施例中，步骤S500包括步骤S510和步骤S520。请参阅图5，图5示出了步骤S500的流程图。以下对步骤S510和步骤S520进行详细阐述
步骤S510：获取每个第一关节点的位置信息。
步骤S520：根据每个第一关节点的位置信息，通过双向金字塔光流法求取第二图像中与每个第一关节点对应的多个第二关节点，得到第二关节点集。
在本发明实施例中，作为一种实施方式，通过双向金字塔光流法求取第二图像中与每个第一关节点对应的多个第二关节点，得到第二关节点集的具体实施方式是：将第一图像种人体第一关节点的集合Jk，通过金字塔光流法得到第二图像中人体第二关节点的集合Jk+1，其中，
Figure BDA0001490187010000121
k表示第一图像，也就是第k帧图像，k+1表示第二图像，也就是第k+1帧图像。
作为一种实施例，本发明实施例提出的一种人体跟踪方法，在步骤S400和步骤S500之后还可包括判定人体跟踪是否成功的步骤。判定人体跟踪是否成功的步骤包括：
1.判断第一外接矩形和第二外接矩形的重合面积是否达到预设值，如果达到预设值，则判定为外接矩形跟踪成功。
在本发明实施例中，如果判断第一外接矩形和第二外接矩形的重合面积没有达到预设值，则判定为外接矩形跟踪不成功，如果外接矩形跟踪不成功，则重新在第二图像中预测第二外接矩形。
作为一种实施方式，在第二图像中预测得到的第二外接矩形标志为Rk+1，Rk+1表示第k+1帧图像中的外接矩形集合，在本发明实施例中，第k+1帧图像表示第k帧图像的后一帧图像。
作为一种实施例，设定所述预设值为oth，当
Figure BDA0001490187010000122
与
Figure BDA0001490187010000123
之间的重合面积小于oth时，判定为外接矩形跟踪不成功，当
Figure BDA0001490187010000124
与
Figure BDA0001490187010000125
之间的重合面积大于或等于oth时，判定为外接矩形跟踪成功。
2.根据第二关节点计算第二关节点在第一帧图像中的理想位置，判断理想位置与第一关节点之间的距离是在设定范围之内，如果理想位置与所述第一关节点之间的距离在设定范围之内，则判定为关节点跟踪成功。
在本发明实施例中，如果所述理想位置与所述第一关节点之间的距离不在设定范围之内，则判定为关节点跟踪不成功，则重新检测和跟踪关节点。
作为一种实施方式，根据第二关节点计算第二关节点在第一帧图像中的理想位置，判断理想位置与第一关节点之间的距离是在设定范围之内，如果理想位置与所述第一关节点之间的距离在设定范围之内，则判定为关节点跟踪成功的步骤的一种具体实施方式为：通过金字塔光流法的前向预测，得到Jk+1在第一图像中的理想位置J′k。求J′k和Jk的平均欧式距离dk，如果dk大于阈值dth，则认为关节点跟踪失败。如果dk大于0.4*dth，且跟踪的图像帧数大于阈值fth，则认为跟踪失败。如果dk一直小于0.4*dth，则认为跟踪成功。如果dk大于0.4*dth，且跟踪的图像帧数小于阈值fth，则认为跟踪成功。其中阈值dth、阈值fth和0.4是数，0.4仅仅是预先设定的一种优选。
3.如果关节点跟踪成功且外接矩形跟踪成功，则判定为人体跟踪成功，第二关节点集和第二外接矩形的位置就是人体在第二图像的所在位置。如果不满足关节点跟踪成功且外接矩形跟踪成功，则返回步骤2，重新进行人体关节点检测和跟踪，即重新执行步骤S200到判定人体跟踪是否成功的步骤。
通过采用以上方案，该方法通过将第二关节点集和第二外接矩形的位置信息结合起来确定人体的位置信息，能够对人体进行准确跟踪。
请参阅图6，图6示出了本发明实施例提供的一种人体跟踪装置200的方框结构示意图。在本发明实施例中，人体跟踪装置200包括获取图像模块210、关节点识别模块220、生成外接矩形模块230、跟踪外接矩形模块240和跟踪关节点模块250。获取图像模块210与关节点识别模块220连接，关节点识别模块220与生成外接矩形模块230连接，生成外接矩形模块230与跟踪外接矩形模块240连接，跟踪外接矩形模块240与跟踪关节点模块250连接。
获取图像模块210用于获取第一图像，将第一图像发送至关节点识别模块220中，其中，第一图像包括人体。在本发明实施例中，获取图像模块210可用于执行步骤S100。
关节点识别模块220用于将第一图像输入预先训练好的卷积神经网络，得到第一关节点集，将第一关节点集发送至跟踪关节点模块250中，其中，第一关节点集包括同一个人体的多个第一关节点。在本发明实施例中，关节点识别模块220可用于执行步骤S200。
请参阅图7，图7示出了图6中关节点识别模块220的方框结构示意图。关节点识别模块220包括关节点检测单元221和关节点分类单元222，关节点检测单元221与关节点分类单元222连接。
关节点检测单元221用于将第一图像输入预先训练好的卷积神经网络中，通过卷积神经网络检测得到多个第一关节点，将多个第一关节点发送至关节点分类单元222中。在本发明实施例中，关节点检测单元221可用于执行步骤S210。
关节点分类单元222用于利用卷积神经网络对多个第一关节点进行分类，得到第一关节点集。在本发明实施例中，关节点分类单元222可用于执行步骤S220。
生成外接矩形模块230用于根据第一关节点集，得到人体的第一外接矩形，将第一外接矩形发送至跟踪外接矩形模块240中。在本发明实施例中，生成外接矩形模块230可用于执行步骤S300。
跟踪外接矩形模块240用于根据第一外接矩形，获取第二图像中的第二外接矩形，其中，第二图像为所述第一图像的后一帧图像。在本发明实施例中，跟踪外接矩形模块240可用于执行步骤S400。
请参阅图8，图8示出了图6中跟踪外接矩形模块240的方框结构示意图。跟踪外接矩形模块240包括获取矩形位置单元241和跟踪矩形单元242，获取矩形位置单元241与跟踪矩形单元242连接。
获取矩形位置单元241用于获取第一外接矩形的位置信息，将第一外接矩形的位置信息发送至跟踪矩形单元242中。在本发明实施例中，获取矩形位置单元241可用于执行步骤S410。
跟踪矩形单元242用于根据第一外接矩形的位置信息，通过核相关滤波(KCF)算法，获取第一外接矩形在所述第二图像中对应的第二外接矩形。在本发明实施例中，跟踪矩形单元242可用于执行步骤S420。
跟踪关节点模块250用于根据每个第一关节点的位置信息，求取第二图像中与每个第一关节点对应的多个第二关节点，得到第二关节点集。在本发明实施例中，跟踪关节点模块250可用于执行步骤S500。
请参阅图9。图9示出了图6中跟踪关节点模块250的方框结构示意图。
跟踪关节点模块250包括获取关节点单元251和预测关节点单元252，获取关节点单元251与预测关节点单元252连接。
获取关节点单元251用于获取每个第一关节点的位置信息。在本发明实施例中，获取关节点单元251用于执行步骤S510。
预测关节点单元252用于根据每个第一关节点的位置信息，通过双向金字塔光流法求取第二图像中与每个第一关节点对应的多个第二关节点，得到第二关节点集。在本发明实施例中，预测关节点单元252可用于执行步骤S520。
综上所述，本发明实施例提供的一种人体跟踪方法、装置及系，所述方法获取第一图像，其中，第一图像包括人体，然后将第一图像输入预先训练好的卷积神经网络，得到第一关节点集，其中，第一关节点集包括同一个人体的多个第一关节点，根据第一关节点集，得到人体的第一外接矩形，根据第一外接矩形，获取第二图像中的第二外接矩形，其中，第二图像为第一图像的后一帧图像，根据每个第一关节点的位置信息，求取第二图像中与每个第一关节点对应的多个第二关节点，得到第二关节点集。该方法能够对人体进行准确跟踪。通过采用卷积神经网络检测人体关节点，能够得到属于同一个人体的关节点集，检测准确率高。分别跟踪第一外接矩形和第一关节点集，分别得到第二关节点集和第二外接矩形，将第二关节点集和第二外接矩形的位置信息结合起来确定人体的位置信息，从而实现人体跟踪，能够准确地跟踪人体，计算量少。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (8)

1.一种人体跟踪方法，其特征在于，所述方法包括：
获取第一图像，其中，所述第一图像包括人体；
将所述第一图像输入预先训练好的卷积神经网络，得到第一关节点集，其中，所述第一关节点集包括同一个人体的多个第一关节点；
根据所述第一关节点集，得到所述人体的第一外接矩形，所述第一外接矩形为包含所述第一关节点集中的所有的第一关节点的最小矩形；
根据所述第一外接矩形，获取第二图像中的第二外接矩形，其中，所述第二图像为所述第一图像的后一帧图像；
所述根据所述第一外接矩形，获取第二图像中的第二外接矩形的步骤，包括：
获取所述第一外接矩形的位置信息；
将所述第二图像输入预先训练好的核相关滤波器中，得到与第一外接矩形的顶点的位置信息相对应的顶点；
连接与所述第一外接矩形的顶点的位置信息相对应的顶点得到所述第二外接矩形；
根据每个第一关节点的位置信息，求取所述第二图像中与每个第一关节点对应的多个第二关节点，得到第二关节点集。
2.根据权利要求1所述的人体跟踪方法，其特征在于，将所述第一图像输入预先训练好的卷积神经网络，得到第一关节点集的步骤，包括：
将所述第一图像输入预先训练好的卷积神经网络中，通过所述卷积神经网络检测得到多个第一关节点；
利用所述卷积神经网络对多个所述第一关节点进行分类，得到第一关节点集。
3.根据权利要求1所述的人体跟踪方法，其特征在于，所述根据每个第一关节点的位置信息，求取第二图像中与每个第一关节点对应的多个第二关节点，得到第二关节点集的步骤，包括：
获取每个所述第一关节点的位置信息；
根据每个所述第一关节点的位置信息，通过双向金字塔光流法求取所述第二图像中与每个所述第一关节点对应的多个第二关节点，得到第二关节点集。
4.根据权利要求1所述的人体跟踪方法，其特征在于，所述方法还包括：
判断所述第一外接矩形和所述第二外接矩形的重合面积是否达到预设值，如果所述第一外接矩形和所述第二外接矩形的重合面积达到所述预设值，则判定为外接矩形跟踪成功；
根据所述第二关节点计算所述第二关节点在所述第一图像中的理想位置，判断所述理想位置与所述第一关节点之间的距离是否在设定范围之内，如果所述理想位置与所述第一关节点之间的距离在设定范围之内，则判定为关节点跟踪成功；
如果关节点跟踪成功且外接矩形跟踪成功，则判定为人体跟踪成功。
5.一种人体跟踪装置，其特征在于，所述装置包括：
获取图像模块，用于获取第一图像，其中，所述第一图像包括人体；
关节点识别模块，用于将所述第一图像输入预先训练好的卷积神经网络，得到第一关节点集，其中，所述第一关节点集包括同一个人体的多个第一关节点；
生成外接矩形模块，用于根据所述第一关节点集，得到所述人体的第一外接矩形，所述第一外接矩形为包含所述第一关节点集中的所有的第一关节点的最小矩形；
跟踪外接矩形模块，用于根据所述第一外接矩形，获取第二图像中的第二外接矩形，其中，所述第二图像为所述第一图像的后一帧图像；
所述跟踪外接矩形模块包括获取矩形位置单元和跟踪矩形单元，所述获取矩形位置单元用于，获取所述第一外接矩形的位置信息；
所述跟踪矩形单元用于：
将所述第二图像输入预先训练好的核相关滤波器中，得到与第一外接矩形的顶点的位置信息相对应的顶点；
连接与所述第一外接矩形的顶点的位置信息相对应的顶点得到所述第二外接矩形；
跟踪关节点模块，用于根据每个第一关节点的位置信息，求取第二图像中与每个第一关节点对应的多个第二关节点，得到第二关节点集。
6.根据权利要求5所述的人体跟踪装置，其特征在于，所述关节点识别模块包括：
关节点检测单元，用于将所述第一图像输入预先训练好的卷积神经网络中，通过所述卷积神经网络检测得到多个第一关节点；
关节点分类单元，用于利用所述卷积神经网络对多个所述第一关节点进行分类，得到第一关节点集。
7.根据权利要求5所述的人体跟踪装置，其特征在于，所述跟踪关节点模块包括：
获取关节点单元，用于获取每个第一关节点的位置信息；
预测关节点单元，用于根据每个第一关节点的位置信息，通过双向金字塔光流法求取第二图像中与每个第一关节点对应的多个第二关节点，得到第二关节点集。
8.一种人体跟踪设备，其特征在于，所述设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取第一图像，其中，所述第一图像包括人体；
将所述第一图像输入预先训练好的卷积神经网络，得到第一关节点集，其中，所述第一关节点集包括同一个人体的多个第一关节点；
根据所述第一关节点集，得到所述人体的第一外接矩形，所述第一外接矩形为包含所述第一关节点集中的所有的第一关节点的最小矩形；
根据所述第一外接矩形，获取第二图像中的第二外接矩形，其中，所述第二图像为所述第一图像的后一帧图像；
所述根据所述第一外接矩形，获取第二图像中的第二外接矩形的步骤，包括：
获取所述第一外接矩形的位置信息；
将所述第二图像输入预先训练好的核相关滤波器中，得到与第一外接矩形的顶点的位置信息相对应的顶点；
连接与所述第一外接矩形的顶点的位置信息相对应的顶点得到所述第二外接矩形；
根据每个第一关节点的位置信息，求取第二图像中与每个第一关节点对应的多个第二关节点，得到第二关节点集。
CN201711242934.6A 2017-11-30 2017-11-30 人体跟踪方法、装置及设备 Active CN108986137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711242934.6A CN108986137B (zh) 2017-11-30 2017-11-30 人体跟踪方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711242934.6A CN108986137B (zh) 2017-11-30 2017-11-30 人体跟踪方法、装置及设备

Publications (2)

Publication Number Publication Date
CN108986137A CN108986137A (zh) 2018-12-11
CN108986137B true CN108986137B (zh) 2022-02-01

Family

ID=64542369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711242934.6A Active CN108986137B (zh) 2017-11-30 2017-11-30 人体跟踪方法、装置及设备

Country Status (1)

Country Link
CN (1) CN108986137B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443116B (zh) * 2019-06-19 2023-06-20 平安科技（深圳）有限公司 视频行人检测方法、装置、服务器及存储介质
CN111179281A (zh) * 2019-12-24 2020-05-19 广东省智能制造研究所 人体图像提取方法及人体动作视频提取方法
CN111539992A (zh) * 2020-04-29 2020-08-14 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备和存储介质
CN111738075A (zh) * 2020-05-18 2020-10-02 深圳奥比中光科技有限公司 一种基于行人检测的关节点跟踪方法及系统
CN113469017A (zh) * 2021-06-29 2021-10-01 北京市商汤科技开发有限公司 一种图像处理方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127815A (zh) * 2016-07-21 2016-11-16 广东工业大学 一种融合卷积神经网络的跟踪方法及系统
CN106780557A (zh) * 2016-12-23 2017-05-31 南京邮电大学 一种基于光流法和关键点特征的运动目标跟踪方法
CN106980841A (zh) * 2017-04-01 2017-07-25 成都通甲优博科技有限责任公司 一种目标检测跟踪方法及装置
CN107336243A (zh) * 2017-08-24 2017-11-10 安徽工大信息技术有限公司 基于智能移动终端的机器人控制系统及控制方法
CN107358209A (zh) * 2017-07-17 2017-11-17 成都通甲优博科技有限责任公司 人脸检测模型的训练方法、装置及人脸检测方法、装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127815A (zh) * 2016-07-21 2016-11-16 广东工业大学 一种融合卷积神经网络的跟踪方法及系统
CN106780557A (zh) * 2016-12-23 2017-05-31 南京邮电大学 一种基于光流法和关键点特征的运动目标跟踪方法
CN106980841A (zh) * 2017-04-01 2017-07-25 成都通甲优博科技有限责任公司 一种目标检测跟踪方法及装置
CN107358209A (zh) * 2017-07-17 2017-11-17 成都通甲优博科技有限责任公司 人脸检测模型的训练方法、装置及人脸检测方法、装置
CN107336243A (zh) * 2017-08-24 2017-11-10 安徽工大信息技术有限公司 基于智能移动终端的机器人控制系统及控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Associative Embedding: End-to-End Learning for Joint Detection and Grouping;Alejandro Newell 等;《31st Conference on Neural Information Processing Systems (NIPS 2017)》;20170630;摘要、第2-3节 *
基于相关滤波器的长时视觉目标跟踪方法;朱明敏 等;《计算机应用》;20170531;第37卷(第5期);摘要、第1-2节 *

Also Published As

Publication number Publication date
CN108986137A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN108986137B (zh) 人体跟踪方法、装置及设备
Song et al. EDRNet: Encoder–decoder residual network for salient object detection of strip steel surface defects
CN109508688B (zh) 基于骨架的行为检测方法、终端设备及计算机存储介质
CN109255352B (zh) 目标检测方法、装置及系统
CN111860506B (zh) 识别文字的方法和装置
CN108470332B (zh) 一种多目标跟踪方法及装置
US10891473B2 (en) Method and device for use in hand gesture recognition
US20180018503A1 (en) Method, terminal, and storage medium for tracking facial critical area
CN110826519A (zh) 人脸遮挡检测方法、装置、计算机设备及存储介质
CN111797657A (zh) 车辆周边障碍检测方法、装置、存储介质及电子设备
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
CN111327949B (zh) 一种视频的时序动作检测方法、装置、设备及存储介质
CN113128368B (zh) 一种人物交互关系的检测方法、装置及系统
WO2021169642A1 (zh) 基于视频的眼球转向确定方法与系统
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN111680546A (zh) 注意力检测方法、装置、电子设备及存储介质
CN113706481A (zh) 精子质量检测方法、装置、计算机设备和存储介质
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN111723762B (zh) 人脸属性识别方法、装置、电子设备及存储介质
CN112417974A (zh) 一种公共卫生监控方法
CN111753618A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
WO2020244076A1 (zh) 人脸识别方法、装置、电子设备及存储介质
CN111571567A (zh) 机器人转译技能训练方法、装置及电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant