CN110598547A - 快速运动人体姿态估计方法及装置 - Google Patents

快速运动人体姿态估计方法及装置 Download PDF

Info

Publication number
CN110598547A
CN110598547A CN201910723033.1A CN201910723033A CN110598547A CN 110598547 A CN110598547 A CN 110598547A CN 201910723033 A CN201910723033 A CN 201910723033A CN 110598547 A CN110598547 A CN 110598547A
Authority
CN
China
Prior art keywords
human body
loss
image
fast moving
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910723033.1A
Other languages
English (en)
Inventor
李一鹏
蔡卓
韩昱城
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910723033.1A priority Critical patent/CN110598547A/zh
Publication of CN110598547A publication Critical patent/CN110598547A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种快速运动人体姿态估计方法及装置，其中，方法包括以下步骤：获取快速运动人体图像信息；通过图像处理端对快速运动人体图像信息使用神经网络进行插帧，获得平滑的图像序列；利用图像序列进行人体姿态估计，生成人体姿态估计结果。根据本发明实施例的方法，适用于人体快速运动时的姿态估计及模型重建，提高姿态估计质量，拓展其应用场景，为传感器采集信息受限时人体姿态估计及重建提供理论和技术基础。

Description

快速运动人体姿态估计方法及装置
技术领域
本发明涉及人体姿态估计技术领域，特别涉及一种快速运动人体姿态估计方法及装置。
背景技术
人体姿态估计技术已经得到广泛应用，但仍很难兼顾准确性和实时性，需要依赖提高图像采集质量及后端数据处理能力。当人体存在快速运动时，会对采集设备和软件提出更高的要求，使得成本大幅增加。目前已经出现了能够一定程度上兼顾准确性和实时性的技术，例如Pose Proposal Networks，但是面对快速动作依然会出现部分帧无法准确识别的情况。
相关技术中，人体姿态估计技术很难适用于快速运动的人体，之所以如此，主要原因有二，一是快速运动对摄像机的质量要求更高，二是快速运动容易出现边界模糊，容易导致无法准确识别。
如何利用现有的人体姿态估计技术，构建适用于捕捉快速动作的人体姿态估计技术，是学术界和工业界非常关注的科学问题和工程难题。核心关键技术的突破将会极大拓展人体姿态估计技术在捕捉快速复杂动作方面的应用场景，提高任务完成的效率。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种快速运动人体姿态估计方法，该方法可以提高姿态估计质量，拓展其应用场景，为传感器采集信息受限时人体姿态估计及重建提供理论和技术基础。
本发明的另一个目的在于提出一种快速运动人体姿态估计装置。
为达到上述目的，本发明一方面实施例提出了一种快速运动人体姿态估计方法，包括以下步骤：获取快速运动人体图像信息；通过图像处理端对所述快速运动人体图像信息使用神经网络进行插帧，获得平滑的图像序列；利用所述图像序列进行人体姿态估计，生成人体姿态估计结果。
本发明实施例的快速运动人体姿态估计方法，对快速运动人体图像信息进行平滑处理，从而利用平滑的图像序列进行人体姿态估计，适用于人体快速运动时的姿态估计及模型重建，提高姿态估计质量，拓展其应用场景，为传感器采集信息受限时人体姿态估计及重建提供理论和技术基础。
另外，根据本发明上述实施例的快速运动人体姿态估计方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述通过图像处理端对所述快速运动人体图像信息使用神经网络进行插帧，包括：
从t时刻分别到0和1的光流Ft→0,Ft→1，插帧图像表述为：
其中，令Z＝(1-t)Vt→0+tVt→1为归一化因子，t∈(0,1)，It为所述t时刻的图像，Vt←0为从0时刻到所述t时刻某个像素是否一直可见，g(I0,Ft→0)为利用双线性插值的backwardwarping通过I0得到的It。
进一步地，在本发明的一个实施例中，所述通过图像处理端对所述快速运动人体图像信息使用神经网络进行插帧，进一步包括：获取输入图片I0,I1和中间帧中间帧的预测值为则所述神经网络的插帧处理方法损失函数定义方法为：损失函数l＝λrlr+λplp+λωlω+λsls+λglg，其中为Reconstruction loss，模拟中间帧重建的质量，定义在RGB空间中，像素值在[0，255]之间；为Perceptualloss，其中φ表示一个经过VGG16预训练的ImageNet conv4_3的特征，保存预测细节； 为Warping loss，模拟计算光流的品质； 为Smoothness loss；为gentle loss，模拟每张图片的色彩明晰程度。
可选地，在本发明的一个实施例中，权重设定为λr＝0.8,λp＝0.005,λω＝0.4,λs＝1,λg＝0.5。
进一步地，在本发明的一个实施例中，所述获取快速运动人体图像信息，包括：通过至少一个可见光传感器采集所述快速运动人体图像信息。
为达到上述目的，本发明另一方面实施例提出了一种快速运动人体姿态估计装置，包括：获取模块，用于获取快速运动人体图像信息；处理模块，用于通过图像处理端对所述快速运动人体图像信息使用神经网络进行插帧，获得平滑的图像序列；估计模块，用于利用所述图像序列进行人体姿态估计，生成人体姿态估计结果。
本发明实施例的快速运动人体姿态估计装置，对快速运动人体图像信息进行平滑处理，从而利用平滑的图像序列进行人体姿态估计，适用于人体快速运动时的姿态估计及模型重建，提高姿态估计质量，拓展其应用场景，为传感器采集信息受限时人体姿态估计及重建提供理论和技术基础。
另外，根据本发明上述实施例的快速运动人体姿态估计装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述处理模块进一步用于从t时刻分别到0和1的光流Ft→0,Ft→1，插帧图像表述为：
其中，令Z＝(1-t)Vt→0+tVt→1为归一化因子，t∈(0,1)，It为所述t时刻的图像，Vt←0为从0时刻到所述t时刻某个像素是否一直可见，g(I0,Ft→0)为利用双线性插值的backwardwarping通过I0得到的It。
进一步地，在本发明的一个实施例中，所述处理模块还用于获取输入图片I0,I1和中间帧中间帧的预测值为则所述神经网络的插帧处理方法损失函数定义方法为：损失函数l＝λrlr+λplp+λωlω+λsls+λglg，其中为Reconstructionloss，模拟中间帧重建的质量，定义在RGB空间中，像素值在[0，255]之间； 为Perceptual loss，其中φ表示一个经过VGG16预训练的ImageNetconv4_3的特征，保存预测细节； Fti→01+1Ni＝1NIt＝i-gI1,Fti→11为Warping loss，模拟计算光流的品质；为Smoothness loss；为gentle loss，模拟每张图片的色彩明晰程度。
可选地，在本发明的一个实施例中，权重设定为λr＝0.8,λp＝0.005,λω＝0.4,λs＝1,λg＝0.5。
进一步地，在本发明的一个实施例中，所述获取模块包括：采集单元，用于通过至少一个可见光传感器采集所述快速运动人体图像信息。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的快速运动人体姿态估计方法的流程图；
图2为根据本发明一个实施例的图像序列生成的原理示意图；
图3为根据本发明一个实施视频质量提升的原理示意图；
图4为根据本发明实施例的快速运动人体姿态估计装置的方框示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的快速运动人体姿态估计方法及装置，首先将参照附图描述根据本发明实施例提出的快速运动人体姿态估计方法。
图1为根据本发明实施例的快速运动人体姿态估计方法的流程图。
如图1所示，该快速运动人体姿态估计方法包括以下步骤：
在步骤S101中，获取快速运动人体图像信息。
其中，在本发明的一个实施例中，获取快速运动人体图像信息，包括：通过至少一个可见光传感器采集快速运动人体图像信息。
可以理解的是，首先可见光传感器采集快速运动人体图像信息并传输给图像处理端。需要说明的是，可见光传感器包括但不限于单目可见光传感器、双目可见光传感器、Event-based传感器和RGB-D传感器，从而以stereo-labs公司提供的ZED双目摄像机为例(以下简称ZED)，使用相应的程序获得左目的视频，并将其传输给图像处理端。
在步骤S102中，通过图像处理端对快速运动人体图像信息使用神经网络进行插帧，获得平滑的图像序列。
可以理解的是，其次图像处理端使用神经网络进行插帧获得更加平滑的图像序列。需要说明的是，图像处理端使用的神经网络插帧方法，包括但不限于Super-SloMo，sepconv以及简单的通过端到端的神经网络进行插帧的方法。
进一步地，在本发明的一个实施例中，通过图像处理端使用神经网络进行插帧，包括：
从t时刻分别到0和1的光流Ft→0,Ft→1，插帧图像表述为：
其中，令Z＝(1-t)Vt→0+tVt→1为归一化因子，t∈(0,1)，It为t时刻的图像，Vt←0为从0时刻到t时刻某个像素是否一直可见，g(I0,Ft→0)为利用双线性插值的backward warping通过I0得到的It。
进一步地，在本发明的一个实施例中，获取输入图片I0,I1和中间帧中间帧的预测值为则神经网络的插帧处理方法损失函数定义方法为：损失函数l＝λrlr+λplp+λωlω+λsls+λglg，其中为Reconstruction loss，模拟中间帧重建的质量，定义在RGB空间中，像素值在[0，255]之间；为Perceptualloss，其中φ表示一个经过VGG16预训练的ImageNet conv4_3的特征，保存预测细节； Fti→11为Warping loss，模拟计算光流的品质；为Smoothness loss；为gentle loss，模拟每张图片的色彩明晰程度。
可选地，在本发明的一个实施例中，权重设定为λr＝0.8,λp＝0.005,λω＝0.4,λs＝1,λg＝0.5。
具体而言，图像处理端使用的神经网络插帧处理方法，假设已知从t分别到0和1的光流Ft→0,Ft→1，则插帧图像表述为
where Z＝(1-t)Vt→0+tVt→1is a normalization factor and t∈(0,1)，
其中，令Z＝(1-t)Vt→0+tVt→1为归一化因子，t∈(0,1)，It表示t时刻的图像；Vt←0表示的是从0时刻到t时刻某个像素是否一直可见；g(I0,Ft→0)表示的是利用双线性插值的backward warping通过I0得到的It，上述公式中的Ft→1,Ft→0是通过一个类似于U-Net的神经网络计算得出。
本发明实施例修改了Super-SloMo的损失函数，给定两张输入图片I0,I1，一系列中间帧为其中ti∈(0,1)，中间帧的预测值为则神经网络插帧处理方法损失函数定义方法为，损失函数l＝λrlr+λplp+λωlω+λsls+λglg，其中为Reconstruction loss，模拟中间帧重建的质量，定义在RGB空间中，像素值在[0,255]之间；为Perceptual loss，其中φ表示一个经过VGG16预训练的ImageNetconv4_3的特征，保存预测细节； 为Warping loss，模拟计算光流的品质；为Smoothness loss；为gentleloss，模拟每张图片的色彩明晰程度。权重设定为经验值λr＝0.8,λp＝0.005,λω＝0.4,λs＝1,λg＝0.5。
在步骤S103中，利用图像序列进行人体姿态估计，生成人体姿态估计结果。
可以理解的是，最后利用处理后的图像序列进行人体姿态估计。需要说明的是，人体姿态估计方法包括但不限于PPN、HMR、OpenPose等方法，神经网络插帧方法对可见光传感器采集到的视频序列进行插帧，得到一组图片量更大的、基本保持原有重要图像要素的视频序列之后，将此视频序列作为PPN、OpenPose等典型人体姿态估计系统的输入，然后进行人体姿态估计的计算。
举例而言，本发明实施例使用EECV2018的pose proposal networks中实现的神经网络，其主要的思路为分别预测每一个个体和图像中的四肢，并将各个四肢连接起来构成一个人的骨架，从而快速准确的人体姿态估计，但是容易因为人和环境色彩相近，人的轮廓不明晰导致追踪出现误差，为此，在上述步骤S102中更改了损失函数以期生成更为明晰的图像便于进行追踪。
下面结合图2和图3以一个具体实施例对本发明实施例的方法进行详细描述。
步骤S1：可见光传感器采集快速运动人体图像信息并传输给图像处理端。
例如，以stereo-labs公司提供的ZED双目摄像机为例(以下简称ZED)，使用相应的程序获得左目的视频，并将其传输给图像处理端。
步骤S2：图像处理端使用神经网络进行插帧获得更加平滑的图像序列。
例如，使用了英伟达团队在CVPR2018发表的论文Super SloMo，其为基于改进的光流技术和神经网络为基础的结构对帧率偏低的图片序列进行插帧处理得到帧率合适的图片序列。
首先假设已知从t分别到0和1的光流Ft→0,Ft→1，那么可以分析得知中间的图像应该可以写成下面的形式：
where Z＝(1-t)Vt→0+tVt→1 is a normalization factor and t∈(0,1)
在上述公式中It表示t时刻的图像；Vt←0表示的是从0时刻到t时刻某个像素是否一直可见；g(I0,Ft→0)表示的是利用双线性插值的backward warping通过I0得到的It。
需要说明的是，使用的损失函数也是借鉴自Super-SloMo，具体定义如下：给定两张输入图片I0,I1，一系列的中间帧其中ti∈(0,1)，中间帧的预测值我们的损失函数是一个四部分组成的线性组合体。L＝λrlr+λplp+λωlω+λsls+λglg。
如图2所示，四部分分别为：(Reconstruction loss)拟合的损失函数模拟了中间帧重建的质量这样的一个重建损失函数在RGB空间中被定义，在其中像素的值在[0,255]之间(Perceptual loss)感知损失。即便使用了L1损失函数来模拟中间插帧的失误，它仍然将会在预测中导致模糊的情况出现。因此使用了一个perceptual loss函数来保存预测的细节，同时使得插入的帧更明晰。具体说来，这个损失函数被定义为其中φ表示一个经过VGG16预训练的ImageNet conv4_3的特征，具体细节可以参考文章Very deep convolutional networks for large-scale imagerecognition。(warping loss)扭曲损失。和中间帧的预测一起，引入了warping loss lω来模拟计算出的光流的品质。这个损失函数定义为： (Smoothness loss)流畅度损失。用来鼓励相邻的像素有相似的光流值：(gentle loss)为gentle loss，模拟每张图片的色彩明晰程度。目的是为了避免后续的人体姿态估计过程中由于人体轮廓不明晰导致的无法识别。(weights)权重通过一系列被验证的值经验的设定为λr＝0.8,λp＝0.005,λω＝0.4,λs＝1,λg＝0.5。
步骤S3：利用处理后的图像序列进行人体姿态估计。
需要说明的是，本发明实施例可以使用EECV2018的pose proposal networks中实现的神经网络，主要的思路为分别预测每一个个体和图像中的四肢，并将各个四肢连接起来构成一个人的骨架。
该模型可以进行快速准确的人体姿态估计，但是容易因为人和环境色彩相近，人的轮廓不明晰导致追踪出现误差。为此，在上述步骤S2中更改了损失函数以期生成更为明晰的图像便于进行追踪。
根据本发明实施例的快速运动人体姿态估计方法，对快速运动人体图像信息进行平滑处理，从而利用平滑的图像序列进行人体姿态估计，适用于人体快速运动时的姿态估计及模型重建，提高姿态估计质量，拓展其应用场景，为传感器采集信息受限时人体姿态估计及重建提供理论和技术基础。
其次参照附图描述根据本发明实施例提出的快速运动人体姿态估计装置。
图4为根据本发明实施例的快速运动人体姿态估计装置的方框示意图。
如图4所示，该快速运动人体姿态估计装置10包括：获取模块100、处理模块200和估计模块300。
其中，获取模块100用于获取快速运动人体图像信息。
处理模块200用于通过图像处理端对快速运动人体图像信息使用神经网络进行插帧，获得平滑的图像序列。
估计模块300用于利用图像序列进行人体姿态估计，生成人体姿态估计结果。
进一步地，在本发明的一个实施例中，处理模块进一步用于从t时刻分别到0和1的光流Ft→0,Ft→1，插帧图像表述为：
其中，令Z＝(1-t)Vt→0+tVt→1为归一化因子，t∈(0,1)，It为t时刻的图像，Vt←0为从0时刻到t时刻某个像素是否一直可见，g(I0,Ft→0)为利用双线性插值的backward warping通过I0得到的It。
进一步地，在本发明的一个实施例中，处理模块还用于获取输入图片I0,I1和中间帧中间帧的预测值为则神经网络的插帧处理方法损失函数定义方法为：损失函数l＝λrlr+λplp+λωlω+λsls+λglg，其中为Reconstruction loss，模拟中间帧重建的质量，定义在RGB空间中，像素值在[0，255]之间；为Perceptual loss，其中φ表示一个经过VGG16预训练的ImageNet conv4_3的特征，保存预测细节； 为Warping loss，模拟计算光流的品质； 为Smoothness loss；为gentle loss，模拟每张图片的色彩明晰程度。
可选地，在本发明的一个实施例中，权重设定为λr＝0.8,λp＝0.005,λω＝0.4,λs＝1,λg＝0.5。
进一步地，在本发明的一个实施例中，获取模块包括：采集单元，用于通过至少一个可见光传感器采集快速运动人体图像信息。
需要说明的是，前述对快速运动人体姿态估计方法实施例的解释说明也适用于该实施例的快速运动人体姿态估计装置，此处不再赘述。
根据本发明实施例的快速运动人体姿态估计装置，对快速运动人体图像信息进行平滑处理，从而利用平滑的图像序列进行人体姿态估计，适用于人体快速运动时的姿态估计及模型重建，提高姿态估计质量，拓展其应用场景，为传感器采集信息受限时人体姿态估计及重建提供理论和技术基础。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种快速运动人体姿态估计方法，其特征在于，包括以下步骤：
获取快速运动人体图像信息；
通过图像处理端对所述快速运动人体图像信息使用神经网络进行插帧，获得平滑的图像序列；以及
利用所述图像序列进行人体姿态估计，生成人体姿态估计结果。
2.根据权利要求1所述的方法，其特征在于，所述通过图像处理端对所述快速运动人体图像信息使用神经网络进行插帧，包括：
从t时刻分别到0和1的光流Ft→0，Ft→1，插帧图像表述为：
其中，令Z＝(1-t)Vt→0+tVt→1为归一化因子，t∈(0，1)，It为所述t时刻的图像，Vt←0为从0时刻到所述t时刻某个像素是否一直可见，g(I0，Ft→0)为利用双线性插值的backwardwarping通过I0得到的It。
3.根据权利要求2所述的方法，其特征在于，所述通过图像处理端对所述快速运动人体图像信息使用神经网络进行插帧，进一步包括：
获取输入图片I0，I1和中间帧中间帧的预测值为则所述神经网络的插帧处理方法损失函数定义方法为：损失函数l＝λrlr+λplp+λωlω+λsls+λglg，其中为Reconstruction loss，模拟中间帧重建的质量，定义在RGB空间中，像素值在[0，255]之间；为Perceptual loss，其中φ表示一个经过VGG16预训练的ImageNet conv4_3的特征，保存预测细节；lω＝||I0-g(I1，F0→1)||1+||I1-gI0，F1→01+1Ni＝1NIti-gI0，Fti→01+1Ni＝1NIt＝i-gI1，Fti→11为Warping loss，模拟计算光流的品质；为Smoothness loss；为gentle loss，模拟每张图片的色彩明晰程度。
4.根据权利要求3所述的方法，其特征在于，权重设定为λr＝0.8，λp＝0.005，λω＝0.4，λs＝1，λg＝0.5。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述获取快速运动人体图像信息，包括：
通过至少一个可见光传感器采集所述快速运动人体图像信息。
6.一种快速运动人体姿态估计装置，其特征在于，包括：
获取模块，用于获取快速运动人体图像信息；
处理模块，用于通过图像处理端对所述快速运动人体图像信息使用神经网络进行插帧，获得平滑的图像序列；以及
估计模块，用于利用所述图像序列进行人体姿态估计，生成人体姿态估计结果。
7.根据权利要求6所述的装置，其特征在于，所述处理模块进一步用于从t时刻分别到0和1的光流Ft→0，Ft→1，插帧图像表述为：
其中，令Z＝(1-t)Vt→0+tVt→1为归一化因子，t∈(0，1)，It为所述t时刻的图像，Vt←0为从0时刻到所述t时刻某个像素是否一直可见，g(I0，Ft→0)为利用双线性插值的backwardwarping通过I0得到的It。
8.根据权利要求7所述的装置，其特征在于，所述处理模块还用于获取输入图片I0，I1和中间帧中间帧的预测值为则所述神经网络的插帧处理方法损失函数定义方法为：损失函数l＝λrlr+λplp+λωlω+λsls+λglg，其中为Reconstruction loss，模拟中间帧重建的质量，定义在RGB空间中，像素值在[0，255]之间；为Perceptual loss，其中φ表示一个经过VGG16预训练的ImageNetconv4_3的特征，保存预测细节； 为Warping loss，模拟计算光流的品质；为Smoothness loss；为gentleloss，模拟每张图片的色彩明晰程度。
9.根据权利要求8所述的装置，其特征在于，权重设定为λr＝0.8，λp＝0.005，λω＝0.4，λs＝1，λg＝0.5。
10.根据权利要求6-9任一项所述的装置，其特征在于，所述获取模块包括：
采集单元，用于通过至少一个可见光传感器采集所述快速运动人体图像信息。
CN201910723033.1A 2019-08-06 2019-08-06 快速运动人体姿态估计方法及装置 Pending CN110598547A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910723033.1A CN110598547A (zh) 2019-08-06 2019-08-06 快速运动人体姿态估计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910723033.1A CN110598547A (zh) 2019-08-06 2019-08-06 快速运动人体姿态估计方法及装置

Publications (1)

Publication Number Publication Date
CN110598547A true CN110598547A (zh) 2019-12-20

Family

ID=68853627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910723033.1A Pending CN110598547A (zh) 2019-08-06 2019-08-06 快速运动人体姿态估计方法及装置

Country Status (1)

Country Link
CN (1) CN110598547A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255429A (zh) * 2021-03-19 2021-08-13 青岛根尖智能科技有限公司 一种视频中人体姿态估计与跟踪方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9058663B2 (en) * 2012-04-11 2015-06-16 Disney Enterprises, Inc. Modeling human-human interactions for monocular 3D pose estimation
CN107316286A (zh) * 2017-07-07 2017-11-03 北京邮电大学 一种图像中雨雾同步合成、去除的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9058663B2 (en) * 2012-04-11 2015-06-16 Disney Enterprises, Inc. Modeling human-human interactions for monocular 3D pose estimation
CN107316286A (zh) * 2017-07-07 2017-11-03 北京邮电大学 一种图像中雨雾同步合成、去除的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUAIZU JIANG ETAL.: "Super SloMo: High Quality Estimation of Multiple Intermediate Frames for Video Interpolation", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
徐海洋等: "基于四元数 3D 骨骼表示的人体行为识别", 《激光与光电子学进展》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255429A (zh) * 2021-03-19 2021-08-13 青岛根尖智能科技有限公司 一种视频中人体姿态估计与跟踪方法及系统
CN113255429B (zh) * 2021-03-19 2023-04-07 青岛根尖智能科技有限公司 一种视频中人体姿态估计与跟踪方法及系统

Similar Documents

Publication Publication Date Title
JP7177062B2 (ja) 統計モデルを用いた画像データからの深度予測
CN108304755B (zh) 用于图像处理的神经网络模型的训练方法和装置
CN112700392A (zh) 一种视频超分辨率处理方法、设备及存储介质
JP2019526878A5 (zh)
CN110782490A (zh) 一种具有时空一致性的视频深度图估计方法及装置
CN109087243A (zh) 一种基于深度卷积生成对抗网络的视频超分辨率生成方法
JP2012212322A5 (zh)
CN112767534A (zh) 视频图像处理方法、装置、电子设备及存储介质
CN111028282A (zh) 一种无监督位姿与深度计算方法及系统
JP5893166B2 (ja) ３ｄモデル・モーフィングのための方法および装置
KR20170046140A (ko) 얼굴 이미지 편집 방법 및 디바이스
CN109903315A (zh) 用于光流预测的方法、装置、设备以及可读存储介质
WO2023160426A1 (zh) 视频插帧方法、训练方法、装置和电子设备
Chen et al. Optical flow estimation for motion-compensated compression
CN114339030B (zh) 一种基于自适应可分离卷积的网络直播视频稳像方法
CN109255773A (zh) 基于全变分的异分辨率红外与可见光图像融合方法及系统
Kong et al. Fdflownet: Fast optical flow estimation using a deep lightweight network
CN110598547A (zh) 快速运动人体姿态估计方法及装置
JP2010506482A (ja) ビデオストリームの視差回復方法及びフィルタ
Sadek et al. A variational model for gradient-based video editing
JP4563982B2 (ja) 動き推定方法，装置，そのプログラムおよびその記録媒体
CN114885144B (zh) 基于数据融合的高帧率3d视频生成方法及装置
TW536918B (en) Method to increase the temporal resolution of continuous image series
CN110830848B (zh) 图像插值方法、装置、计算机设备和存储介质
CN113469880A (zh) 图像拼接方法及装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191220

WD01 Invention patent application deemed withdrawn after publication