CN110197501B - 图像处理方法和设备 - Google Patents

图像处理方法和设备 Download PDF

Info

Publication number
CN110197501B
CN110197501B CN201910457355.6A CN201910457355A CN110197501B CN 110197501 B CN110197501 B CN 110197501B CN 201910457355 A CN201910457355 A CN 201910457355A CN 110197501 B CN110197501 B CN 110197501B
Authority
CN
China
Prior art keywords
point
bone
image
frame
fitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910457355.6A
Other languages
English (en)
Other versions
CN110197501A (zh
Inventor
张玉
陈维强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Co Ltd
Original Assignee
Hisense Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Co Ltd filed Critical Hisense Co Ltd
Priority to CN201910457355.6A priority Critical patent/CN110197501B/zh
Publication of CN110197501A publication Critical patent/CN110197501A/zh
Application granted granted Critical
Publication of CN110197501B publication Critical patent/CN110197501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Abstract

本发明提供一种图像处理方法和设备，该图像处理方法包括：获取待处理的多帧图像中人体姿态的各个骨骼点的位置坐标；针对任一所述骨骼点，根据各帧所述图像中所述骨骼点的位置坐标，拟合得到所述骨骼点对应的第一拟合曲线；根据各帧所述图像中所述骨骼点到所述第一拟合曲线的竖直距离，对各帧所述图像中所述骨骼点的位置进行修正。本发明实施例的方法提高了人体姿态估计结果的准确性。

Description

图像处理方法和设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法和设备。
背景技术
基于视觉的人体姿态估计算法已成为行为识别领域的重要组成部分，在人机交互、行为理解、娱乐游戏、智能监控等领域有着广阔的应用前景。人体姿态估计是指通过图像或视频，检测出人体的骨骼框架和各关节点的位置及其之间的关系。简言之，人体姿态估计是基于图像重建人体的关节和肢干，难点在于降低模型分析算法的复杂程度，生成稳定准确的识别结果，并能够适应多种多变的情况。姿态估计的主要思想是对图像中出现的关键点进行特征提取，确定出每个骨骼点，然后通过部分亲和域的方法来建立骨骼点之间的联系，构建人体骨架。
相关技术中，在人体姿态估计算法结果中，可能会出现由于摄像头灵敏度不高导致单帧图像不清晰、由于人体运动速度过快导致人体形态模糊或由于姿态估计算法不完善等导致的骨骼点位置错误的问题。
发明内容
本发明提供一种图像处理方法和设备，以提高人体姿态估计算法结果的准确性。
第一方面，本发明提供一种图像处理方法，包括：
获取待处理的多帧图像中人体姿态的各个骨骼点的位置坐标；
针对任一所述骨骼点，根据各帧所述图像中所述骨骼点的位置坐标，拟合得到所述骨骼点对应的第一拟合曲线；
根据各帧所述图像中所述骨骼点到所述第一拟合曲线的竖直距离，对各帧所述图像中所述骨骼点的位置进行修正。
第二方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法。
第三方面，本发明实施例提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的方法。
本发明实施例提供的图像处理方法和设备，获取待处理的多帧图像中人体姿态的各个骨骼点的位置坐标；针对任一所述骨骼点，根据各帧所述图像中所述骨骼点的位置坐标，拟合得到所述骨骼点对应的第一拟合曲线；根据各帧所述图像中所述骨骼点到所述第一拟合曲线的竖直距离，对各帧所述图像中所述骨骼点的位置进行修正，由于根据多帧图像中骨骼点的位置进行拟合，即利用了人体运动行为具有连续性的特点，对人体中每个骨骼点进行跟踪，通过前后帧骨骼点的位置和运动趋势对当前帧图像中骨骼点的位置进行修正，提高了人体姿态估计算法结果的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本发明一实施例的人体骨骼点示意图；
图2是本发明一实施例的人体姿态估计示意图一；
图3是本发明一实施例的人体姿态估计示意图二；
图4是本发明提供的图像处理方法一实施例的流程示意图；
图5是图2所示图像修正后的示意图；
图6是本发明一实施例的运动方向的拟合曲线；
图7是本发明另一实施例的运动方向的拟合曲线；
图8是本发明一实施例的第一拟合曲线示意图；
图9是本发明一实施例的修正后的骨骼点位置示意图；
图10是本发明提供的图像处理装置一实施例的结构示意图；
图11是本发明提供的电子设备实施例的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本发明的说明书和权利要求书及所述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先对本发明所涉及的应用场景进行介绍：
本发明实施例提供的图像处理方法，应用于人体姿态估计场景中，以提高人体姿态估计结果的准确性。
相关技术中，采用人体姿态估计算法，获取构成人体姿态中每个骨骼点的位置，如图1所示。人体姿态估计算法例如可以采用openpose算法，通过卷积神经网络模型计算得到每个像素所拥有的置信度，组成一幅置信图。置信图是关于特定身体部位出现在每个像素位置的可能性的二维表示，进一步，Openpose算法中采用了部分亲和域方法关联身体的各个部位形成人体姿态，从而实现了人体姿态估计。
人体姿态估计算法可能会由于摄像头灵敏度不高，由于人体运动速度过快导致人体形态模糊，或对于场景中突然出现光线强烈变化的情况反应不及时等情况出现单个骨骼点位置不准确、无法检测到人体或将其他物体误检测为人体等问题。
如图2所示，在对举重过程中人体姿态的识别，即在对连续帧的关节点识别过程中，单帧出现关节点识别错误，即其中第4帧举重运动员的左手腕关节点识别错误(图2中画圈部分)。图3是滑板运动的骨骼点识别图，如图3所示，第2帧出现了误检错误，误将一面旗检测成了人体(图3中第2帧画圈部分)。
下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图4是本发明提供的图像处理方法一实施例的流程示意图。如图4所示，本实施例提供的方法，包括：
步骤401、获取待处理的多帧图像中人体姿态的各个骨骼点的位置坐标；
步骤402、针对任一所述骨骼点，根据各帧所述图像中所述骨骼点的位置坐标，拟合得到所述骨骼点对应的第一拟合曲线；
具体的，通过人体姿态估计算法估计出待处理视频的各帧图像中每个骨骼点的位置坐标。
记录每个骨骼点在连续多帧图像中的位置坐标，对于任一个骨骼点来说，根据该骨骼点在连续多帧图像中的位置坐标，进行拟合得到第一拟合曲线，例如可以通过最小二乘法进行拟合。
步骤403、根据各帧所述图像中所述骨骼点到所述第一拟合曲线的竖直距离，对各帧所述图像中所述骨骼点的位置进行修正。
具体的，在得到第一拟合曲线之后，分别对各帧图像中该骨骼点进行位置合理性判定，即确定每一帧图像中该骨骼点到该第一拟合曲线的竖直距离是否在预设的阈值范围内，若是，则认为该帧图像中该骨骼点的位置合理，不需要进行修正；若否，则对该帧图像中该骨骼点的位置进行修正。例如可以根据前后相邻帧图像的该骨骼点的位置坐标，对当前帧图像中该骨骼点的位置进行修正。
进一步的，在本发明的一些实施例中，为了避免对人体姿态的误识别，例如将其他物体识别为人体，可以在步骤402之前进行如下操作：
确定各帧所述图像中所述骨骼点的有效识别帧数是否大于预设帧数；
若是，则执行根据各帧所述图像中所述骨骼点的位置坐标，拟合得到所述骨骼点对应的第一拟合曲线的步骤。
例如，在连续30帧的图像中单个骨骼点的有效识别帧数小于10帧，则判定为误检，舍弃该骨骼点，则不会出现如图3第二帧图像中旗杆被误检成人体的情况，如果有效识别帧数大于10帧，则进一步对该骨骼点的位置合理性进行判定，即执行步骤402的操作。
进一步的，在本发明的一些实施例中，步骤403之后还可以进行如下操作：
根据各帧所述图像中各个所述骨骼点修正后的位置坐标以及各个所述骨骼点的连接关系，输出修正后的各帧所述图像。
图5为对图2所示图像进行修正后的图像。
本实施例的图像处理方法，利用了人体运动行为具有连续性的特点，对人体中每个骨骼点进行跟踪，通过前后帧骨骼点的位置和运动趋势对当前帧图像中骨骼点的位置进行修正，提高了人体姿态估计算法结果的准确性。
在上述实施例的基础上，进一步的，在执行步骤402之前还可以进行如下操作：
根据各帧所述图像中所述骨骼点的位置坐标，确定所述骨骼点的运动方向。
具体的，由于人体运动方向分为偏横向的和偏纵向的，所以需要先判定以骨骼点的X坐标作为第一拟合曲线的横坐标，还是以骨骼点的Y坐标作为第一拟合曲线的横坐标。即首先确定各个骨骼点的运动方向。
在本发明的一实施例中，具体可以通过如下方式实现：
根据各帧所述图像中所述骨骼点的位置坐标，分别以所述骨骼点的横坐标和纵坐标作为拟合曲线对应的横坐标，利用最小二乘法进行拟合得到第二拟合曲线和第三拟合曲线；
根据所述第二拟合曲线和所述第三拟合曲线的离散程度，确定所述骨骼点的运动方向。
其中，若所述第二拟合曲线的离散程度，小于所述第三拟合曲线的离散程度，则所述骨骼点的运动方向为横向；
若所述第二拟合曲线的离散程度，大于或等于所述第三拟合曲线的离散程度，则所述骨骼点的运动方向为纵向。
具体的，先将多帧图像的骨骼点数据以骨骼点X坐标作为拟合曲线对应的横坐标利用最小二乘法进行拟合，然后以骨骼点Y坐标作为拟合曲线对应的横坐标利用最小二乘法进行拟合，然后根据拟合曲线的离散程度(即标准差)确定骨骼点的运动方向。
若以骨骼点X坐标作为拟合曲线对应的横坐标拟合得到的第二拟合曲线的离散程度较小则运动方向为偏横向的，则最终在拟合第一拟合曲线时采用运动方向为横向的方案。反之，运动方向是偏纵向的，则最终在拟合第一拟合曲线时采用运动方向为纵向的方案。
其中，离散程度计算公式如下：
Figure GDA0003177280550000061
其中，N为各帧所述图像的帧数，σ表示离散程度，对于所述第二拟合曲线
Figure GDA0003177280550000062
xi表示第i帧图像中所述骨骼点的横坐标，yi表示第i帧图像中所述骨骼点的纵坐标，
Figure GDA0003177280550000063
表示拟合得到的第i帧图像中所述骨骼点的纵坐标，a3、b3分别为拟合的参数值，如图6所示，得到第二拟合曲线y＝0.1127x+48.444，此时a3为0.1127，b3为48.444；
对于所述第三拟合曲线
Figure GDA0003177280550000064
xi表示第i帧图像中所述骨骼点的纵坐标，yi表示第i帧图像中所述骨骼点的横坐标，
Figure GDA0003177280550000065
表示拟合得到的第i帧图像中所述骨骼点的横坐标，a4、b4分别为拟合的参数值，如图7所示，得到第三拟合曲线y＝0.4441x+168.43，此时a4为0.4441，b4为168.43。
具体的，在拟合第三拟合曲线时，将骨骼点的纵坐标带入到线性方程y＝a4x+b4的x中，将骨骼点的横坐标带入到线性方程的y中。
上述拟合过程可以以图2举重过程中举重选手左手腕骨骼点数据为例进行说明，下表中记录了部分帧的骨骼点数据：
帧数 第1帧 第2帧 第3帧 第4帧 第5帧 第6帧 第7帧 第8帧 第9帧
X 197.1 197.101 197.099 197.78 197.076 197.078 197.1 197.098 223.479
Y 70.6581 70.6535 70.6518 69.2863 67.8823 67.8835 77.6064 76.9073 72.7398
帧数 第10帧 第11帧 第12帧 第13帧 第14帧 第15帧 第16帧 第17帧 第18帧
X 197.809 197.802 197.817 199.183 199.182 199.181 203.318 203.353 200.575
Y 69.9728 69.2542 67.8916 68.5815 68.5825 68.5822 74.1138 75.5349 70.6687
图6是以骨骼点X坐标作为横坐标拟合的第二拟合曲线，其各帧图像中骨骼点(去掉一个最大值和一个最小值(最大值和最小值为X坐标对应的值))到第二拟合曲线的离散程度即标准差σ＝2.564，图7是以骨骼点Y坐标作为横坐标拟合的第三拟合曲线，其各帧图像中骨骼点(去掉一个最大值和一个最小值(最大值和最小值为Y坐标对应的值))到第三拟合曲线的离散程度即标准差σ＝2.257，因此，选定以骨骼点Y坐标作为横坐标拟合第一拟合曲线，即此时骨骼点的运动方向为纵向。
在上述实施例的基础上，进一步的，步骤402具体可以通过以下方式实现：
根据各帧所述图像中所述骨骼点的位置坐标以及所述骨骼点的运动方向，利用最小二乘法进行拟合，得到所述第一拟合曲线。
其中，若所述骨骼点的运动方向为横向，则根据如下公式(1)利用最小二乘法进行拟合，得到所述第一拟合曲线；
y1＝a1x1 3+b1x1 2+c1x1+d1 (1)
其中，x1表示各帧所述图像中所述骨骼点的横坐标，y1表示各帧所述图像中所述骨骼点的纵坐标，a1、b1、c1和d1分别为拟合的参数值；
若所述骨骼点的运动方向为纵向，则根据如下公式(2)利用最小二乘法进行拟合，得到所述第一拟合曲线；
y2＝a2x2 3+b2x2 2+c2x2+d2 (2)
其中，x2表示各帧所述图像中所述骨骼点的纵坐标，y2表示各帧所述图像中所述骨骼点的横坐标，a2、b2、c2和d2分别为拟合的参数值。
具体的，若骨骼点的运动方向为横向，则将骨骼点的横坐标代入到公式(1)中的x1中，将骨骼点的纵坐标代入到公式(1)中的y1，利用最小二乘法进行拟合，得到拟合的参数值a1、b1、c1和d1，从而得到了第一拟合曲线。
若骨骼点的运动方向为纵向，则将骨骼点的横坐标代入到公式(2)中的y2中，将骨骼点的纵坐标代入到公式(2)中的x2，利用最小二乘法进行拟合，得到拟合的参数值a2、b2、c2和d2，从而得到了第一拟合曲线。
图8是在骨骼点的运动方向为纵向的情况下得到的第一拟合曲线。
对于任一当前帧图像，若当前帧图像中骨骼点到第一拟合曲线的竖直距离大于预设阈值，例如图8中A点(坐标为(72.7398,223.479))到第一拟合曲线的竖直距离L1(26.084)大于预设阈值，则对骨骼点A的位置进行修正，图8中B点(坐标为(74.1138,203.318))到第一拟合曲线的竖直距离L2小于预设阈值，则不对骨骼点B(4.405)的位置进行修正。上述预设阈值例如为10。
在上述实施例的基础上，进一步的，以下实施例中详细阐述如何对骨骼点的位置进行修正，即步骤403具体可以采用如下方式实现：
对于任一当前帧图像，若所述当前帧图像中所述骨骼点到所述第一拟合曲线的竖直距离大于预设阈值，则根据所述当前帧图像的前一帧图像和后一帧图像中所述骨骼点的位置坐标，对所述当前帧图像中所述骨骼点的位置进行修正。
其中，若所述骨骼点的运动方向为横向，将所述当前帧图像的前一帧图像和后一帧图像中所述骨骼点的横坐标的中点，作为所述当前帧图像中所述骨骼点修正后的横坐标；
根据所述骨骼点的横坐标以及所述骨骼点对应的第一拟合曲线，确定所述骨骼点修正后的纵坐标，得到所述当前帧图像中所述骨骼点修正后的位置坐标；其中，所述第一拟合曲线中的y坐标对应所述骨骼点的纵坐标；所述第一拟合曲线中的x坐标对应所述骨骼点的横坐标；
若所述骨骼点的运动方向为纵向，将所述当前帧图像的前一帧图像和后一帧图像中所述骨骼点的纵坐标的中点，作为所述当前帧图像中所述骨骼点修正后的纵坐标；
根据所述骨骼点的纵坐标以及所述骨骼点对应的第一拟合曲线，确定所述骨骼点修正后的横坐标，得到所述当前帧图像中所述骨骼点修正后的位置坐标；其中，所述第一拟合曲线中的y坐标对应所述骨骼点的横坐标；所述第一拟合曲线中的x坐标对应所述骨骼点的纵坐标。
具体的，若需要对当前帧图像中骨骼点的位置进行修正，则根据当前帧图像的前一帧图像和后一帧图像中骨骼点的位置坐标，对当前帧图像中所述骨骼点的位置进行修正。
假设骨骼点的运动方向为横向，则将当前帧图像的前一帧图像和后一帧图像中该骨骼点的横坐标的中点，作为当前帧图像中该骨骼点修正后的横坐标；
将骨骼点修正后的横坐标代入到第一拟合曲线中，得到骨骼点修正后的纵坐标，具体是将骨骼点修正后的横坐标代入到公式(1)中x1，得到y1为骨骼点修正后的纵坐标。
假设骨骼点的运动方向为纵向，则将当前帧图像的前一帧图像和后一帧图像中该骨骼点的纵坐标的中点，作为当前帧图像中该骨骼点修正后的纵坐标；
将骨骼点修正后的纵坐标代入到第一拟合曲线中，得到骨骼点修正后的横坐标，具体是将骨骼点修正后的纵坐标代入到公式(1)中x2，得到y2为骨骼点修正后的横坐标，如图9中所示的A’的位置为图8中A点修正后的位置，最终得到如图5中修正后的图像。
上述方案中，利用了人体运动行为具有连续性的特点，对人体中每个骨骼点进行跟踪，通过前后帧骨骼点的位置和运动趋势对当前帧图像中骨骼点的位置合理性进行判定，通过确定当前帧图像中骨骼点与第一拟合曲线的竖直距离是否位于预设的阈值范围内，决定是保留该骨骼点的位置结果或重新定位该骨骼点的位置，进而提高人体姿态估计算法的识别准确率。
本发明实施例的方法解决了人体姿态估计算法结果跳帧的问题，例如出现的单个骨骼点单帧检测结果错误、非人类物体在单帧中被检测成为人体、人体在单帧中没有被识别出来等，优化了人体姿态识别算法，为后续行为识别和姿态匹配等算法提供了较准确的前验数据，对智能安防、人机交互、智能家居等应用具有重要意义。
图10为本发明提供的图像处理装置一实施例的结构图，如图10所示，本实施例的图像处理装置，包括：
获取模块101，用于获取待处理的多帧图像中人体姿态的各个骨骼点的位置坐标；
处理模块102，用于针对任一所述骨骼点，根据各帧所述图像中所述骨骼点的位置坐标，拟合得到所述骨骼点对应的第一拟合曲线；
所述处理模块102，还用于根据各帧所述图像中所述骨骼点到所述第一拟合曲线的竖直距离，对各帧所述图像中所述骨骼点的位置进行修正。
在一种可能的实现方式中，待补充
本实施例的装置，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图11为本发明提供的电子设备实施例的结构图，如图11所示，该电子设备包括：
处理器501，以及，用于存储处理器501的可执行指令的存储器502。
可选的，还可以包括：通信接口503，用于实现与其他设备的通信。
上述部件可以通过一条或多条总线进行通信。
其中，处理器501配置为经由执行所述可执行指令来执行前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，此处不再赘述。
本发明实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，其实现原理和技术效果类似，此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (9)

1.一种图像处理方法，其特征在于，包括：
获取待处理的多帧图像中人体姿态的各个骨骼点的位置坐标；
针对任一所述骨骼点，根据各帧所述图像中所述骨骼点的位置坐标，拟合得到所述骨骼点对应的第一拟合曲线；
根据各帧所述图像中所述骨骼点到所述第一拟合曲线的竖直距离，对各帧所述图像中所述骨骼点的位置进行修正；
根据各帧所述图像中所述骨骼点的位置坐标，拟合得到所述骨骼点对应的第一拟合曲线之前，还包括：
根据各帧所述图像中所述骨骼点的位置坐标，以所述骨骼点的横坐标作为拟合曲线对应的横坐标，以所述骨骼点的纵坐标作为拟合曲线对应的纵坐标，利用最小二乘法进行拟合得到第二拟合曲线；以所述骨骼点的纵坐标作为拟合曲线对应的横坐标，以所述骨骼点的横坐标作为拟合曲线对应的纵坐标，利用最小二乘法进行拟合得到第三拟合曲线；
根据所述第二拟合曲线和所述第三拟合曲线的离散程度，确定所述骨骼点的运动方向；
所述根据各帧所述图像中所述骨骼点到所述第一拟合曲线的竖直距离，对各帧所述图像中所述骨骼点的位置进行修正，包括：
对于任一当前帧图像，若所述当前帧图像中所述骨骼点到所述第一拟合曲线的竖直距离大于预设阈值，则根据所述当前帧图像的前一帧图像和后一帧图像中所述骨骼点的位置坐标和所述骨骼点的运动方向，对所述当前帧图像中所述骨骼点的位置进行修正。
2.根据权利要求1所述的方法，其特征在于，所述根据所述当前帧图像的前一帧图像和后一帧图像中所述骨骼点的位置坐标，对所述当前帧图像中所述骨骼点的位置进行修正，包括：
若所述骨骼点的运动方向为横向，将所述当前帧图像的前一帧图像和后一帧图像中所述骨骼点的横坐标的中点，作为所述当前帧图像中所述骨骼点修正后的横坐标；
根据所述骨骼点的横坐标以及所述骨骼点对应的第一拟合曲线，确定所述骨骼点修正后的纵坐标，得到所述当前帧图像中所述骨骼点修正后的位置坐标；其中，所述第一拟合曲线中的y坐标对应所述骨骼点的纵坐标；所述第一拟合曲线中的x坐标对应所述骨骼点的横坐标；
若所述骨骼点的运动方向为纵向，将所述当前帧图像的前一帧图像和后一帧图像中所述骨骼点的纵坐标的中点，作为所述当前帧图像中所述骨骼点修正后的纵坐标；
根据所述骨骼点的纵坐标以及所述骨骼点对应的第一拟合曲线，确定所述骨骼点修正后的横坐标，得到所述当前帧图像中所述骨骼点修正后的位置坐标；其中，所述第一拟合曲线中的y坐标对应所述骨骼点的横坐标；所述第一拟合曲线中的x坐标对应所述骨骼点的纵坐标。
3.根据权利要求1或2所述的方法，其特征在于，根据各帧所述图像中所述骨骼点的位置坐标，拟合得到所述骨骼点对应的第一拟合曲线，包括：
根据各帧所述图像中所述骨骼点的位置坐标以及所述骨骼点的运动方向，利用最小二乘法进行拟合，得到所述第一拟合曲线。
4.根据权利要求3所述的方法，其特征在于，所述根据各帧所述图像中所述骨骼点的位置坐标以及所述骨骼点的运动方向，利用最小二乘法进行拟合，得到所述第一拟合曲线，包括：
若所述骨骼点的运动方向为横向，则根据如下公式(1)利用最小二乘法进行拟合，得到所述第一拟合曲线；
y1＝a1x1 3+b1x1 2+c1x1+d1 (1)
其中，x1表示各帧所述图像中所述骨骼点的横坐标，y1表示各帧所述图像中所述骨骼点的纵坐标，a1、b1、c1和d1分别为拟合的参数值；
若所述骨骼点的运动方向为纵向，则根据如下公式(2)利用最小二乘法进行拟合，得到所述第一拟合曲线；
y2＝a2x2 3+b2x2 2+c2x2+d2 (2)
其中，x2表示各帧所述图像中所述骨骼点的纵坐标，y2表示各帧所述图像中所述骨骼点的横坐标，a2、b2、c2和d2分别为拟合的参数值。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第二拟合曲线和所述第三拟合曲线的离散程度，确定所述骨骼点的运动方向，包括：
若所述第二拟合曲线的离散程度，小于所述第三拟合曲线的离散程度，则所述骨骼点的运动方向为横向；
若所述第二拟合曲线的离散程度，大于或等于所述第三拟合曲线的离散程度，则所述骨骼点的运动方向为纵向。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第二拟合曲线和所述第三拟合曲线的离散程度，确定所述骨骼点的运动方向之前，还包括：
根据如下公式(3)确定所述第二拟合曲线和所述第三拟合曲线的离散程度；
Figure FDA0003197581010000031
其中，N为各帧所述图像的帧数，σ表示离散程度，对于所述第二拟合曲线
Figure FDA0003197581010000032
xi表示第i帧图像中所述骨骼点的横坐标，yi表示第i帧图像中所述骨骼点的纵坐标，
Figure FDA0003197581010000033
表示拟合得到的第i帧图像中所述骨骼点的纵坐标，a3、b3分别为拟合的参数值；对于所述第三拟合曲线
Figure FDA0003197581010000034
xi表示第i帧图像中所述骨骼点的纵坐标，yi表示第i帧图像中所述骨骼点的横坐标，
Figure FDA0003197581010000035
表示拟合得到的第i帧图像中所述骨骼点的横坐标，a4、b4分别为拟合的参数值。
7.根据权利要求1或2所述的方法，其特征在于，所述根据各帧所述图像中所述骨骼点的位置坐标，拟合得到所述骨骼点对应的第一拟合曲线之前，还包括：
确定各帧所述图像中所述骨骼点的有效识别帧数是否大于预设帧数；
若是，则执行根据各帧所述图像中所述骨骼点的位置坐标，拟合得到所述骨骼点对应的第一拟合曲线的步骤。
8.根据权利要求1或2所述的方法，其特征在于，所述对各帧所述图像中所述骨骼点的位置进行修正之后，还包括：
根据各帧所述图像中各个所述骨骼点修正后的位置坐标以及各个所述骨骼点的连接关系，输出修正后的各帧所述图像。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-8任一项所述的方法。
CN201910457355.6A 2019-05-29 2019-05-29 图像处理方法和设备 Active CN110197501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910457355.6A CN110197501B (zh) 2019-05-29 2019-05-29 图像处理方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910457355.6A CN110197501B (zh) 2019-05-29 2019-05-29 图像处理方法和设备

Publications (2)

Publication Number Publication Date
CN110197501A CN110197501A (zh) 2019-09-03
CN110197501B true CN110197501B (zh) 2021-09-28

Family

ID=67753371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910457355.6A Active CN110197501B (zh) 2019-05-29 2019-05-29 图像处理方法和设备

Country Status (1)

Country Link
CN (1) CN110197501B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941990B (zh) * 2019-10-22 2023-06-16 泰康保险集团股份有限公司 基于骨骼关键点进行人体动作评估的方法和装置
CN111027473B (zh) * 2019-12-09 2023-05-26 山东省科学院自动化研究所 一种基于人体关节运动实时预测的目标识别方法及系统
CN113705284A (zh) * 2020-05-22 2021-11-26 杭州萤石软件有限公司 攀爬识别方法、装置及摄像机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103606178A (zh) * 2013-10-23 2014-02-26 合肥工业大学 一种基于便携终端的交互式运动数据采集方法
CN105447889A (zh) * 2015-11-19 2016-03-30 北京理工大学 一种基于体感的远程虚拟歌剧指挥系统
JP2018005677A (ja) * 2016-07-05 2018-01-11 Ｊｆｅスチール株式会社 車体の接合位置の最適化解析方法及び装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902086A (zh) * 2012-12-28 2014-07-02 北京汇冠新技术股份有限公司 一种基于曲线拟合的触摸轨迹平滑方法及系统
CN105872729A (zh) * 2015-04-21 2016-08-17 乐视致新电子科技（天津）有限公司 识别操作事件的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103606178A (zh) * 2013-10-23 2014-02-26 合肥工业大学 一种基于便携终端的交互式运动数据采集方法
CN105447889A (zh) * 2015-11-19 2016-03-30 北京理工大学 一种基于体感的远程虚拟歌剧指挥系统
JP2018005677A (ja) * 2016-07-05 2018-01-11 Ｊｆｅスチール株式会社 車体の接合位置の最適化解析方法及び装置

Also Published As

Publication number Publication date
CN110197501A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN110197501B (zh) 图像处理方法和设备
CN107491742B (zh) 一种长时稳定的无人机目标跟踪方法
JP5498454B2 (ja) 追跡装置、追跡方法およびプログラム
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
CN110688929B (zh) 一种人体骨架关节点定位方法及装置
CN108846855B (zh) 目标跟踪方法及设备
CN109087261B (zh) 基于非受限采集场景的人脸矫正方法
CN110619285A (zh) 人体骨骼关键点提取方法及计算机可读存储介质
CN111401192A (zh) 基于人工智能的模型训练方法和相关装置
CN108549878A (zh) 基于深度信息的手部检测方法及系统
US20210358133A1 (en) Method and device for estimating background motion of infrared image sequences and storage medium
CN114494347A (zh) 一种单摄像头多模式视线追踪方法和装置、电子设备
CN111898571A (zh) 动作识别系统及方法
CN113781523B (zh) 一种足球检测跟踪方法及装置、电子设备、存储介质
CN109658441A (zh) 基于深度信息的前景检测方法及装置
CN110335308B (zh) 基于视差约束与双向环形检验的双目视觉里程计计算方法
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置
CN110826495A (zh) 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统
CN113592947B (zh) 一种半直接法的视觉里程计实现方法
CN116188535A (zh) 基于光流估计的视频跟踪方法、装置、设备及存储介质
CN110211150A (zh) 一种具有尺度协调机制的实时视觉目标识别方法
CN110751163A (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
CN112101303B (zh) 一种图像数据处理方法、装置以及计算机可读存储介质
CN113824880A (zh) 一种基于目标检测和uwb定位的车辆跟踪方法
CN112183271A (zh) 一种图像处理的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant