CN111107278A - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本公开提供了一种图像处理方法、装置、电子设备及可读存储介质，属于图像处理技术领域。该方法包括：获取待处理的用户视频；获取用户视频中的每一帧用户图像中用户的人体关键点的关键点信息；根据获取到的所有帧的用户图像中用户的人体关键点的关键点信息，确定用户视频中用户的动态肢体动作；根据动态肢体动作所对应的特效，对用户视频进行相应的特效处理。通过本公开的方案，能够提升对用户视频进行处理的趣味性，有效提高用户的体验，更好的满足了用户的需求。

Description

图像处理方法、装置、电子设备及可读存储介质

技术领域

本公开涉及图像处理技术领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着人们生活水平的提高，终端应用程序已经成为人们生活不可或缺的一部分。为了满足人们的使用需求，应用程序的功能也在不断强大，应用程序的交互式功能也已经成为应用程序的常用功能之一。目前，用户能够随时随地通过应用程序进行视频的拍摄或发布。

为使视频的显示效果更加丰富，更加与众不同，用户可以对视频增加特效。现有技术中，特效的增加，通常是用户按照预先设定好的特效对视频进行相应的，但该方式中，用户不能够很好的参与到特效的添加过程中，用户的体验较差，不能够很好的满足用户的实际应用需求。

发明内容

本公开的目的旨在至少能能够解决上述的技术缺陷之一。本公开所采用的技术方案如下：

第一方面，本公开提供了一种图像处理方法，该方法包括：

获取待处理的用户视频；

获取用户视频中的每一帧用户图像中用户的人体关键点的关键点信息；

根据获取到的所有帧的用户图像中用户的人体关键点的关键点信息，确定用户视频中用户的动态肢体动作；

根据动态肢体动作所对应的特效，对用户视频进行相应的特效处理。

在第一方面的一种可选实施方式中，人体关键点的关键点信息包括关键点的位置，或者包括关键点的位置和关键点的可见性。

在第一方面的一种可选实施方式中，根据动态肢体动作所对应的特效，对用户图像进行相应的特效处理，包括：

根据预配置的动作与特效的对应关系，确定动态肢体动作所对应的特效。

在第一方面的一种可选实施方式中，动态肢体动作所对应的特效，是与动态肢体动作的变化轨迹相匹配的动态特效。

在第一方面的一种可选实施方式中，获取用户视频中的每一帧用户图像中用户的人体关键点的关键点信息，包括：

确定用户视频中的每一帧用户图像中所包括的用户的人体部位；

获取用户视频中的每一帧用户图像中所包括的用户的人体部位所对应的人体关键点的关键点信息。

在第一方面的一种可选实施方式中，根据获取到的所有帧的用户图像中用户的人体关键点的关键点信息，确定用户视频中用户的动态肢体动作，包括：

将获取到的所有帧的用户图像中用户的人体关键点的关键点信息，输入到预配置的动作识别模型，基于动作识别模型的输出，确定出动态肢体动作。

在第一方面的一种可选实施方式中，将获取到的所有帧的用户图像中用户的人体关键点的关键点信息，输入到预配置的动作识别模型，基于动作识别模型的输出，确定出动态肢体动作，包括：

将第一设定帧数的用户图像中用户的人体关键点的关键点信息，输入至动作识别模型；

若基于动作识别模型的输出确定出动态肢体动作，则结束操作；

若基于动作识别模型的输出未确定出动态肢体动作，则循环执行以下操作，直至确定出动态肢体动作：

按照预配置的帧数变化规则，对上一次输入至动作识别模型的关键点信息所对应的用户图像的帧数进行调整，将调整后的帧数的用户图像中用户的人体关键点的关键点信息，输入至动作识别模型。

在第一方面的一种可选实施方式中，将获取到的所有帧的用户图像中用户的人体关键点的关键点信息，输入到预配置的动作识别模型之前，还包括：

根据预配置的数据预处理方式，对所有帧的用户图像中用户的人体关键点的关键点信息进行相应的预处理。

在第一方面的一种可选实施方式中，用户视频包括第二设定帧数的用户图像。

在第一方面的一种可选实施方式中，获取待处理的用户视频，包括：

获取待处理视频，其中，待处理视频包括第三设定帧数的用户图像，第三设定帧数大于第二设定帧数；

将待处理视频中帧数等于第二设定帧数的用户图像所形成的视频，确定为用户视频，或者，将待处理视频进行降采样处理，得到用户视频。

在第一方面的一种可选实施方式中，根据动态肢体动作所对应的特效，对用户视频进行相应的特效处理，包括：

确定用户视频的关联视频中用户的肢体动作，其中，关联视频中的视频帧图像与用户视频中的视频帧图像连续，或者，关联视频的视频帧图像与用户视频中的视频帧图像部分相同；

若用户视频的关联视频中用户的肢体动作与动态肢体动作相同，则根据动态肢体动作所对应的特效，对用户视频进行相应的特效处理。

在第一方面的一种可选实施方式中，用户视频为实时录制的视频，或者为本地存储的视频。

第二方面，本公开提供了一种图像处理装置，该装置包括：

待处理视频获取模块，用于获取待处理的用户视频；

关键点信息获取模块，用于获取用户视频中的每一帧用户图像中用户的人体关键点的关键点信息；

用户动作识别模块，用于根据获取到的所有帧的用户图像中用户的人体关键点的关键点信息，确定用户视频中用户的动态肢体动作；

特效处理模块，用于根据动态肢体动作所对应的特效，对用户视频进行相应的特效处理。

在第二方面的一种可选实施方式中，人体关键点的关键点信息包括关键点的位置，或者包括关键点的位置和关键点的可见性。

在第二方面的一种可选实施方式中，特效处理模块具体用于：

根据预配置的动作与特效的对应关系，确定动态肢体动作所对应的特效。

在第二方面的一种可选实施方式中，动态肢体动作所对应的特效，是与动态肢体动作的变化轨迹相匹配的动态特效。

在第二方面的一种可选实施方式中，关键点信息获取模块具体用于：

确定用户视频中的每一帧用户图像中所包括的用户的人体部位；

获取用户视频中的每一帧用户图像中所包括的用户的人体部位所对应的人体关键点的关键点信息。

在第二方面的一种可选实施方式中，用户动作识别模块具体用于：

将获取到的所有帧的用户图像中用户的人体关键点的关键点信息，输入到预配置的动作识别模型，基于动作识别模型的输出，确定出动态肢体动作。

在第二方面的一种可选实施方式中，用户动作识别模块在将获取到的所有帧的用户图像中用户的人体关键点的关键点信息，输入到预配置的动作识别模型，基于动作识别模型的输出，确定出动态肢体动作时，具体用于：

将第一设定帧数的用户图像中用户的人体关键点的关键点信息，输入至动作识别模型；

若基于动作识别模型的输出确定出动态肢体动作，则结束操作；

若基于动作识别模型的输出未确定出动态肢体动作，则循环执行以下操作，直至确定出动态肢体动作：

按照预配置的帧数变化规则，对上一次输入至动作识别模型的关键点信息所对应的用户图像的帧数进行调整，将调整后的帧数的用户图像中用户的人体关键点的关键点信息，输入至动作识别模型。

在第二方面的一种可选实施方式中，该装置还包括：

数据预处理模块，用于将获取到的所有帧的用户图像中用户的人体关键点的关键点信息，输入到预配置的动作识别模型之前，根据预配置的数据预处理方式，对所有帧的用户图像中用户的人体关键点的关键点信息进行相应的预处理。

在第二方面的一种可选实施方式中，用户视频包括第二设定帧数的用户图像。

在第二方面的一种可选实施方式中，待处理视频获取模块具体用于：

获取待处理视频，其中，待处理视频包括第三设定帧数的用户图像，第三设定帧数大于第二设定帧数；

将待处理视频中帧数等于第二设定帧数的用户图像所形成的视频，确定为用户视频，或者，将待处理视频进行降采样处理，得到用户视频。

在第二方面的一种可选实施方式中，特效处理模块具体用于：

确定用户视频的关联视频中用户的肢体动作，其中，关联视频中的视频帧图像与用户视频中的视频帧图像连续，或者，关联视频的视频帧图像与用户视频中的视频帧图像部分相同；

若用户视频的关联视频中用户的肢体动作与动态肢体动作相同，则根据动态肢体动作所对应的特效，对用户视频进行相应的特效处理。

在第二方面的一种可选实施方式中，用户视频为实时录制的视频，或者为本地存储的视频。

第三方面，本公开提供了一种电子设备，包括存储器和处理器；

存储器中存储有计算机程序指令；

处理器，用于读取计算机程序指令，以执行本公开第一方面或第一方面的任一可选实施方式中所示的图像处理方法。

第四方面，本公开提供了一种计算机可读存储介质，该存储介质中存储有计算机程序指令，当计算机程序指令被处理器执行时，处理器实现本公开第一方面或第一方面任一可选实施方式中所示的图像处理方法。

本公开提供的技术方案带来的有益效果是：本公开提供的图像处理方法、装置、电子设备及可读存储介质，能够基于用户视频中用户的动态肢体动作，对用户视频进行相应的特效处理，从而使得处理后的用户视频中的特效能够基于用户的肢体动作的改变而发生变化，使用户能够根据其动作的变化感受到特效的变化，从而提高了对视频进行特效处理的趣味性，提升了用户的体验，更好的满足了用户的需求。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对本公开实施例描述中所需要使用的附图作简单地介绍。

图1示出了本公开实施例中提供的一种图像处理方法的流程示意图；

图2示出了本公开实施例中提供的一种图像处理装置的结构示意图；

图3示出了本公开实施例中提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本公开的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

下面以具体的实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。

图1示出了本公开实施例中提供的一种图像处理方法的流程示意图，如图1所示，该方法具体可以由终端设备或服务器执行，该方法主要可以包括以下步骤：

步骤S110：获取待处理的用户视频；

本公开的实施例中，用户视频中的视频帧图像中包括用户，为描述方便，将包括用户视频中包括用户的视频帧图像称为用户图像，也就是说，用于图像为包括用户的部分或全部身体(肢体)部位的图像。可以理解的是，身体部位主要可以包括但不限于头部、颈部、躯干、四肢等部位。

步骤S120：获取用户视频中的每一帧用户图像中用户的人体关键点的关键点信息；

本公开的可选实施例中，用户视频为实时录制的视频，或者为本地存储的视频。

步骤S130：根据获取到的所有帧的用户图像中用户的人体关键点的关键点信息，确定用户视频中用户的动态肢体动作；

需要说明的是，本公开的实施例中，动态肢体动作是指用户视频的所视频帧中至少两帧视频帧图像中用户的肢体动作是不同的，也就是说，用户视频中用户的肢体动作是存在变化的。

在实际应用中，用户的动态肢体动作的具体描述或表示方式，本公开实施例中不做限定，只要能够表现出用户动作的动态变化特征即可。在一可选方案中，可以通过用户视频中所有帧图像中的用户的肢体动作描述，也可以通过所有帧图像所对应的用户的肢体动作的变化轨迹来描述，例如，可以通过用户的所有帧图像中用户的指定人体关键点的变化轨迹来描述。

其中，动态肢体动作可以是指用户的身体部位中任一身体部位的动态动作，如用户的头部的动作、手部的动作、腿部的动作或躯干的动作等等。

步骤S140：根据动态肢体动作所对应的特效，对用户视频进行相应的特效处理。

其中，与动态肢体动作所对应的特效的具体形式，可以根据需要进行配置，也就是说，对用户视频进行相应的特效处理的具体处理方式不公开实施例中不做限定。

本公开提供的图像处理方法，能够基于用户视频中用户的动态肢体动作，对用户视频进行相应的特效处理，从而使得处理后的用户视频中的特效能够基于用户的肢体动作的改变而发生变化，使用户能够根据其动作的变化感受到特效的变化，从而提高了对视频进行特效处理的趣味性，提升了用户的体验，更好的满足了用户的需求。

本公开的可选实施例中，人体关键点的关键点信息可以包括关键点的位置，也可以包括关键点的位置和关键点的可见性。

其中，每一帧用户图像中的人体关键点的关键点的位置即为关键点在该用户图像中的坐标，关键点的可见性即为关键点是否能够在该用户图像中检测到，若能够检测到，则可见性为可见，若不能够检测到，则可见性为不可见。在实际应用中，所需要获取的人体关键点的关键点信息可以根据需要配置为关键点的位置，或者配置为关键点的位置和可见性。

本公开的可选实施例中，根据动态肢体动作所对应的特效，对用户图像进行相应的特效处理，包括：

根据预配置的动作与特效的对应关系，确定动态肢体动作所对应的特效。

在实际应用中，可以根据应用需求，预配置不同的动态肢体动作与对应的特效的对应关系，在确定出用户视频中用户的某一具体动态肢体动作时，可以根据该对应关系，确定出该具体动态肢体动作所对应的特效，从而基于该特效对用户视频进行相应的处理。

可以理解的是，不同的动态肢体动作与对应的特效的对应关系的细化程度是可以配置的，也就是说，动作的细化粒度是可以根据需要配置的。例如，一种可选方式中，动作与特效的对应关系可以包括多个指定动态动作与某一特效的对应关系，例如，多个上肢的动态动作对应同一特效；在另一种可选的方式中，动作与特效的对应关系还可以进一步细化，例如，动作与特效的对应关系可以包括，不同的指定动态动作对应不同的特效，例如，一个上肢的动态动作对应一个特效，另一个上肢的动态动作对应另一个特效。

需要说明的是，在实际应用中，如果根据预配置的动作与特效的对应关系，未能够确定出用户的动态肢体动作所对应的特效，则可以根据预配置的处理规则，对用户视频进行相应处理，其中，处理规则可以根据需要进行配置。例如，在一可选方式中，处理规则可以是不对用户视频进行处理，也可以向用户提供相应的提示信息，如在用户界面显示“未检测到符合条件的动作”等提示信息，以使用户能够根据提示信息进行相应的操作或动作。

本公开的可选实施例中，动态肢体动作所对应的特效，是与动态肢体动作的变化轨迹相匹配的动态特效。

也就是说，在实际应用中，本公开实施例中的特效可以为动态特效，所谓动态特效是指在播放添加了该特效的视频时，除原视频外，用户还能够看到对应的动态效果，也就是说，在用户视频中添加具有动态的视觉效果的特效。其中，本公开的实施例中，对动态特效的具体添加方式不做限定，即对实现动态视觉效果的具体方式不做限定。例如，在一可选方案中，动态特效可以针对用户视频中的视频帧图像分解为一系列的不同的静态视觉效果，一系列的静态视觉效果可以构成具有动态变化效果的动态特效，其中，可以一帧或多帧图像对应一个静态视觉效果，将一系列的静态视觉效果中的每一个静态视觉效果添加到用户视频中对应的视频帧图像中，实现对用户视频的动态特效的添加。

本公开的可选实施例中，获取用户视频中的每一帧用户图像中用户的人体关键点的关键点信息，可以包括：

确定用户视频中的每一帧用户图像中所包括的用户的人体部位；

获取用户视频中的每一帧用户图像中所包括的用户的人体部位所对应的人体关键点的关键点信息。

在实际应用中，为了提高图像处理的效率，减少图像处理对终端设备的资源消耗，在获取人体关键点的关键点信息的检测之前，可以确定用户视频中每一帧用户图像中所包括的用户的人体部位，从而在获取每一帧用户图像中的人体关键点的关键点信息时，可以只对图像中所包括的人体部位的人体关键点进行检测，即只获取相应人体部位所对应的人体关键点。

例如，在某一帧用户图中只包括用户的身体的局部，如上半身部位，则在检测时，可以只检测上半身部位所对应的人体关键点，获取上半身部位所对应的人体关键点的关键点信息。其中，上半身部分的具体限定可以根据需要设置，也就是说，上半身所对应的人体部位的范围可以根据需要设置。

本公开的可选实施例中，根据获取到的所有帧的用户图像中用户的人体关键点的关键点信息，确定用户视频中用户的动态肢体动作，包括：

将获取到的所有帧的用户图像中用户的人体关键点的关键点信息，输入到预配置的动作识别模型，基于动作识别模型的输出，确定出动态肢体动作。

其中，动作识别模型为基于大量的训练数据(包括大量的视频中用户的人体关键点的关键点信息和对应的动态肢体动作信息)，通过训练得到的、用于基于用户视频中所对应的人体关键点的关键点信息进行用户的动态肢体动作识别的模型，也就是动态肢体动作的分类模型，其输入为用户视频中多帧用户图像中用户的人体关键点的关键点信息，输出为动态肢体动作的标识信息。

在实际应用中，动作识别模型可以根据需要配置，可选的，该动作识别模型可以为卷积神经网络，也可以为深度学习网络或其他分类模型。

本公开的可选实施例中，将获取到的所有帧的用户图像中用户的人体关键点的关键点信息，输入到预配置的动作识别模型，基于动作识别模型的输出，确定出动态肢体动作，包括：

将第一设定帧数的用户图像中用户的人体关键点的关键点信息，输入至动作识别模型；

若基于动作识别模型的输出确定出动态肢体动作，则结束操作；

若基于动作识别模型的输出未确定出动态肢体动作，则循环执行以下操作，直至确定出动态肢体动作：

按照预配置的帧数变化规则，对上一次输入至动作识别模型的关键点信息所对应的用户图像的帧数进行调整，将调整后的帧数的用户图像中用户的人体关键点的关键点信息，输入至动作识别模型。

可以理解的是，上述第一设定帧数不大于用户视频中的视频帧的帧数。其中，上述帧数变化规则可以包括帧数递增规则，和/或，帧数递减规则。

在实际应用中，为了提供动作识别效率，可以先基于获取到的关键点信息中的第一设定帧数的用户图像对应的人体关键点的关键点信息，来确定用户的动态肢体动作，如果能够基于第一设定帧数的用户图像对应的人体关键点的关键信息，得到用户的动态肢体动作，则基于确定出的该动作进入到下一步的处理，如果不能够基于第一设定帧数的用户图像对应的人体关键点的关键信息得到用户的动态肢体动作，则按照预配置的帧数变化规则，在第一设定帧数的基础上，调整所需要输入到动作输入模型中的关键点信息所对应的视频帧的帧数，也就是说，将调整后的与第一设定帧数不同的帧数的用户图像所对应的人体关键点的关键点信息输入到动作识别模型中，如果此时能够基于动作识别模型的输出确定出用户的动态肢体动作，则结束识别过程，基于确定出的该动作进入到下一步的处理，如果未能够确定出用户的动态肢体动作，则在上一次调整后的帧数的基础上，再次基于上述帧数变化规则再次调整帧数，将再次调整后的帧数的用户图像中的人体关键点的关键点信息输入至动作识别模型，采用上述循环处理的方式，直至动作识别模型能够基于输入的关键点信息，输出动态肢体动作的标识信息，即能够基于动态识别模型的输出，确定出用户的动态肢体动作。

可见，在通过动作识别模型得到用户的动态肢体动作时，可以从帧数一定的(第一设定帧数)的用户图像所对应的关键点信息，逐步向帧数较多或较少的用户图像所对应的关键点信息进行识别，一旦动作识别模型能够基于输入的关键点信息识别出动作，则动作识别结束，基于识别结果得到用户的动态肢体动作。通过该方式，可减少需要处理的关键点信息的数量，提高动作识别的效率。

作为一个示例，例如，上述帧数变化规则为帧数递增规则，在获取到了40帧的用户图像中用户的人体关键点的关键点信息，可以先使用20帧(第一设定帧数)的用户图像所对应的关键点信息进行用户动作识别，即将20帧用户图像所对应的关键点信息输入至动作识别模型中，如果模型能够基于当前输入识别出用户动作，则完成用户的动作肢体动作的识别，如果根据20帧用户图像所对应的关键点信息未能识别出用户动作，则可以再使用25帧用户图像所对应的关键点信息进行用户动作识别，采用该视频帧数量递增的方式，重复用户动作识别的过程，直至动作识别模型能够基于输入的关键点信息识别出用户的动态肢体动作。

作为另一个示例，例如，帧数变化规则为帧数递减规则，在获取到了40帧的用户图像中用户的人体关键点的关键点信息，可以先使用20帧(第一设定帧数)的用户图像所对应的关键点信息进行用户动作识别，即将20帧用户图像所对应的关键点信息输入至动作识别模型中，如果模型能够基于当前输入识别出用户动作，则完成用户的动作肢体动作的识别，如果根据20帧用户图像所对应的关键点信息未能识别出用户动作，则可以基于15帧用户图像所对应的关键点信息进行用户动作识别，采用该视频帧数量递减的方式，重复用户动作识别的过程，直至动作识别模型能够基于输入的关键点信息识别出用户的动态肢体动作。

当然，在实际应用中，预配置的帧数变化规则也可以是帧数递增规则和帧数递减规则，如上述示例中，在基于20帧的用户图像中用户的人体关键点的信息未能够识别出用户的动态肢体动作时，可以先基于25帧的用户图像进行再次识别，如果仍未能识别出动态肢体动作，可以再基于15帧的用户图像进行再次识别，即采用递增和递减交替的方式进行用户的动态肢体动作的识别。

采用本公开实施例的该方案，可有效避免所采用的用户图像的帧数过少，导致占用时间较长的用户的动态肢体动作识别失败的问题，以及避免所采用的用户图像的帧数过多，导致占用时间较短的用户的动态肢体动作识别失败的问题。如用户的某个动态肢体动作所占用的时间为获取10帧用户图像所对应的时间，如果采用20帧用户图像，则可能会导致该短时动作识别失败。

本公开的可选实施例中，将获取到的所有帧的用户图像中用户的人体关键点的关键点信息，输入到预配置的动作识别模型之前，还可以包括：

根据预配置的数据预处理方式，对所有帧的用户图像中用户的人体关键点的关键点信息进行相应的预处理。

其中，上述数据预处理方式可以包括以下预处理中的一项或多项：

根据动作识别模型所对应的输入数据格式，对获取到的所有帧的用户图像中用户的人体关键点的关键点信息进行相应的格式转换；

将获取到的所有帧的用户图像中用户的人体关键点的关键点信息进行平滑处理。

其中，根据动作识别模型所对应的输入数据格式，对获取到的所有帧的用户图像中用户的人体关键点的关键点信息进行相应的格式转换，可以包括以下至少一项：

a.根据预配置的关键点顺序，将获取到的每一帧用户图像中用户的人体关键点的关键点信息进行排序；

b.根据每一帧用户图像的获取时间，对所有帧的用户图像中每一帧用户图像所对应的人体关键点的关键点信息进行排序；

c根据已获取到的同一帧用户图像中用户的人体关键点的关键点信息，确定同一帧用户图像中未获取到的人体关键点的关键点信息；

d.将未获取到的人体关键点的关键点信息设置为预配置的默认值；

e.对于任一帧用户图像中未获取到的人体关键点的关键点信息，根据未获取到的人体关键点的历史关键点信息，确定未获取到的人体关键点的关键点信息；

f.根据指定的原点位置和指定的归一化尺寸，对获取到所有关键点信息中的关键点位置进行归一化处理。

本公开的实施例中，在获取到用户视频中的每一帧用户图像中用户的人体关键点的关键点信息后，为了进一步提高用户的动态肢体动作的识别准确性，以及识别的效率，可以对获取到的关键点信息进行预处理。其中，预处理包括但不限于数据格式转换和数据平滑处理中的一项或多项。

对于数据格式转换，由于不同的动作识别模型所对应的输入数据的格式可能不同，因此，在实际应用中，若检测到的人体关键点的关键点信息的格式与动作识别模型所能够识别的数据格式不同时，需要将人体关键点的关键点信息转换为动作识别模型所能够识别的数据格式，将转换后的关键点信息输入至动作识别模型，根据动作识别模型的输出，得到用户的动态肢体动作。本公开实施例中，数据格式转换可以包括但不限于上述a至f中的一项或多项。

对于处理方式a，在基于训练数据训练得到动作识别模型时，在将训练数据中的人体关键点的关键点信息输入至模型对模型进行训练时，对于输入的用户视频中每一帧用户图像所对应的关键点信息，可以是根据上述预配置的关键点顺序依次输入至模型中的，相对应的，在通过训练得到的该动作识别模型对待处理的用户视频中的人体关键点的关键点信息进行识别时，可以先根据该关键点顺序，对每一帧用户图像中的人体关键点的关键点信息进行排序，再将排序后的人体关键点的关键点信息输入至该模型时，以提高肢体动作的识别准确度。

例如，在一示例中，在进行动作识别模型的训练时，是基于用户图像中用户的左肩关键点、右肩关键点、左手肘关键点、右手肘关键点、左手腕关键点和右手腕关键点等关键点的关键点信息进行训练的，在训练时，每一帧用户图像中的关键点的关键点信息输入的顺序为左肩关键点的关键点信息、右肩关键点的关键点信息、左手肘关键点的关键点信息、右手肘关键点的关键点信息、左手腕关键点的关键点信息和右手腕关键点的关键点信息，则在进行用户的动作识别时，可以将获取到的关键点的关键点信息按照上述输入顺序进行排序。

对于处理方式b，显然的，基于每一帧用户图像的获取先后顺序，依次将每一帧用户图像所对应的关键点信息输入至动作识别模型中，可大大提高动作识别的准确度。

对于处理方式c，是对于未能够获取到的人体关键点的关键点信息的确定，即对于缺少的人体关键点的关键点信息的计算。由于不同的人体关键点之间具体一定的对应关系，不同人体关键点的之间的相对位置或距离通常是在一定范围内的，例如，耳部关键点(左耳关键点或右耳关键点)与鼻子关键点之间相对位置关系一般是相对固定的，因此，可以预配置两者之间的相对位置关系，在检测到耳部关键点和鼻子关键点中的其中一个关键点的关键点信息时，则可以根据两者间的相对位置关系，确定出另一个关键点的关键点信息。因此，可以根据某些已知的人体关键点的关键点信息以及预配置的不同关键点之间的关联关系，确定某些未知的人体关键点的关键点信息。

对于处理方式d，在实际应用中，如果某个或某些需要检测人体关键点的关键点信息未检测到，也可以将这些未检测到的人体关键点的关键点信息设置为默认值。

可以理解的是，在关键点信息包括关键点的位置和关键点的可见性时，在上述人体关键点的关键点信息设置为默认值时，可以只是将关键点的位置设置为默认值，也可以是将关键点的位置和关键点的可见性设置为默认值。例如，对于未获取到的人体关键点的关键点信息，其位置信息可以设置为默认值，如位置坐标为(0，0)，可见性为不可见或不可见所对应的标识，当然，可见性也可以设置为默认值，如可见性可以设置为0。

需要说明的是，在实际应用中，在检测人体关键点的位置即在用户图像中的坐标时，坐标原点的具体位置可以根据实际需要配置。

对于上述方式e，在实际应用中，如果某些人体关键点的关键点信息未能够获取到，还能够将该人体关键点的历史关键点信息作为当前的人体关键点信息。

作为一个示例，例如，在基于动作识别模型进行用户的动态肢体动作的动作识别时，预配置的是需要10个特定的人体关键点的关键点信息，但对于某帧用户图像，只获取到了8个特点的人体关键点的关键点信息，此时，则可以基于了8个特点的人体关键点的关键点信息中的一个或多个，计算另外2个人体关键点的关键点信息，还可以将另外2个人体关键点的关键点信息设置为默认值，还可以将这2个人体关键点的历史关键点信息作为当前的关键点信息，如上述某帧用户图像为第10帧用户图像，则可以将第10帧之前的任一帧用户图像中这2个人体关键点的关键点信息作为第10帧用户图像中这2个人体关键点的关键点信息。

对于上述处理方式f，是为了实现数据的空间归一化处理。在实际应用中，可以采用线性归一化的处理方式，例如，可以通过刚体变换的方式，基于预先确定的原点和归一化尺寸，对关键点信息进行空间归一化处理。作为一个示例，如可以指定图像中用户的鼻子关键点为原点，鼻子关键点与耳部关键点的距离作为归一化尺寸，具体可以将鼻子关键点与耳部关键点的距离归一化为1，则其他人体关键点的位置可以根据人体关键点的位置与原点之间的距离，以及上述归一化尺寸，得到人体关键点的位置所对应的归一化数据，如鼻子关键点与耳部关键点的距离为10厘米，某一人体关键点与鼻子关键点的距离为20厘米，则该关键点对应的归一化数据为2。

对于数据的平滑处理，在实际应用中，对于关键点信息进行平滑处理的具体方式，可以根据实际需要配置。

本公开的可选实施例中，用户视频包括第二设定帧数的用户图像。

其中，第一设定帧数的具体数值可以根据需要配置，例如，可以设置为20、40或其他数值。当然，在实际应用中，第一设定帧数的值越大，用于确定用户动作肢体动作的用户图像的帧数越大，动作识别的准确度相对越高；第一设定帧数的值越小，在识别用户肢体动作时，需要处理的关键点信息的数据量越小，识别效率相对越高。

本公开的可选实施例中，获取待处理的用户视频，可以包括：

获取待处理视频，其中，待处理视频包括第三设定帧数的用户图像，第三设定帧数大于第二设定帧数；

将待处理视频中帧数等于第二设定帧数的用户图像所形成的视频确定为，用户视频，或者，将待处理视频进行降采样处理，得到用户视频。

本方案中，在获取到的待处理的用户视频(即上述待处理视频)的用户图像的帧数大于检测所需的用户视频的图像帧数即大于第二设定帧数时，可以将待处理视频中的任意的、且数量为第二设定帧数的用户图像对应的视频作为需要处理的用户视频，也可以通过图像降采样的方式，将待处理视频处理成第二设定帧数的用户图像，得到用户视频。其中，降采样处理的具体方式，本公开实施例不做限定，在一可选方案中，可以采用线性采样。

作为一个示例，例如，第二设定帧数为20，获取到的待处理视频中连续的用户图像的帧数为40帧，则可以将40帧的任意20帧图像作为待处理的用户视频的图像，如选取40帧中的前20帧。

本公开的可选实施例中，根据动态肢体动作所对应的特效，对用户视频进行相应的特效处理，包括：

确定用户视频的关联视频中用户的肢体动作，其中，关联视频中的视频帧图像与用户视频中的视频帧图像连续，或者，关联视频的视频帧图像与用户视频中的视频帧图像部分相同；

若用户视频的关联视频中用户的肢体动作与动态肢体动作相同，则根据动态肢体动作所对应的特效，对用户视频进行相应的特效处理。

本公开实施例中，关联视频是与用户视频关联的、且不相同的视频，关联视频中的视频帧图像中也包括用户，该用户与用户视频中的视频帧图像中的用户相同。其中，关联视频和用户视频可以是实时录制的一段视频(包括用户图像的视频)中不完全相同的两段子视频，也可以是存储在本地的视频(包括用户图像的视频)中不完全相同的子视频。

作为一个示例，假设一段视频包括60帧用户图像，当前待处理的用户视频中的图像可以为第21帧至第40帧的用户图像，该用户视频的关联视频中的图像可以是第1帧至第20帧的用户图像，也可以是第41帧至第60帧的用户图像，也可以是包括第21帧至第40帧的用户图像中的部分图像和至少一帧与用户视频中的图像不同的用户图像，如可以是第10帧至第35帧的用户图像，也可以是第5帧至第10帧的用户图像和第15帧至第25帧的用户图像。

在实际应用中，由于较短的设定时间内，可以获取到的用户图像的帧数较多，且多帧连续的用户图像中用户肢体动作发生变化的概率一般较小，因此，为了提高用户动态肢体动作识别的准确性，在确定出当前待处理的用户视频中对应的用户动态肢体动作后，在根据该动态肢体动作对应的特效对用户视频图像进行相应处理之前，可以再进一步该用户视频的关联视频中所对应的用户动作是否与该动态肢体动作相同，在相同时，对当前待处理的用户视频进行相应的特效处理，在不相同时，可以根据预配置的处理方式进行相应的处理，其中，处理方式可以根据需要配置，如可以不对用户视频进行特效处理，也可以根据预配置的特效进行处理等。

其中，确定关联视频中用户的动作的方式，也可以采用本公开实施例中确定用户的动态肢体动作的方式。

本公开的可选实施例中，人体关键点为根据关键点配置参数确定的以下关键点中的关键点：

左眼关键点、右眼关键点、左耳关键点、右耳关键点、鼻子关键点、左肩关键点、右肩关键点、左手肘关键点、右手肘关键点、左手腕关键点、右手腕关键点、左腰关键点、左腰关键点、左髋关键点、右髋关键点、左膝关键点、右膝关键点、左脚踝关键点、右脚踝关键点；

其中，关键点配置参数包括用于指定关键点的配置参数，和/或，关键点数量的配置参数。

在实际应用中，具体需要检测哪些人体关键点，可以根据应用需要和应用场景，通过上述关键点配置参数进行配置。例如，在一可选方案中，需要检测的人体关键点可以包括上述19个关键点，也可以是上述人体关键点中的某些关键点。可以理解的是，所配置的需要检测的人体关键点至少可以确定出用户的至少一个身体部位的动态肢体动作。

其中，上述指定关键点的配置参数用于指示具体需要检测的人体关键点，关键点数量用于指示需要检测的关键点的数量。可以理解的是，关键点的数量不大于用于指定关键点的配置参数所对应的关键点的个数，也就是说，关键点数量不大于指定的需要检测的所有关键点的数量。例如，指定关键点的配置参数所指示的需要检测的人体关键点包括左眼关键点、右眼关键点、左耳关键点、右耳关键点、鼻子关键点、左肩关键点、右肩关键点、左手肘关键点、右手肘关键点、左手腕关键点、右手腕关键点、左腰关键点和左腰关键点，共13个关键点，则关键点数量的配置参数所指示的关键点数量不大于13，在关键点数量的配置参数所指示的关键点数量小于13时，可以随机检测13个关键点中对应数量的关键点，也可以根据其他预设的配置信息，检测指定的13个关键点中对应的关键点。

基于与图1中所示的方法相同的原理，本公开实施例中还提供了一种图像处理装置，如图2所示，该图像处理装置200可以包括待处理视频获取模块210、关键点信息获取模块220、用户动作识别模块230和特效处理模块240。其中：

待处理视频获取模块210，用于获取待处理的用户视频；

关键点信息获取模块220，用于获取用户视频中的每一帧用户图像中用户的人体关键点的关键点信息；

用户动作识别模块230，用于根据获取到的所有帧的用户图像中用户的人体关键点的关键点信息，确定用户视频中用户的动态肢体动作；

特效处理模块240，用于根据动态肢体动作所对应的特效，对用户视频进行相应的特效处理。

可以理解的是，本公开实施例中的图像处理装置200的上述各模块具有实现上述图1中所示的图像处理方法中相应步骤的功能，该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现，该硬件或软件包括一个或多个与上述功能相对应的模块。上述各模块可以单独实现，也可以多个模块集成实现。对于图像处理装置的各模块的功能描述具体可以参见前文中对图1所示的图像处理方法中的对应描述，在此不再赘述。

本公开的可选实施例中，人体关键点的关键点信息包括关键点的位置，或者包括关键点的位置和关键点的可见性。

本公开的可选实施例中，特效处理模块240具体用于：

根据预配置的动作与特效的对应关系，确定动态肢体动作所对应的特效。

本公开的可选实施例中，动态肢体动作所对应的特效，是与动态肢体动作的变化轨迹相匹配的动态特效。

本公开的可选实施例中，关键点信息获取模块220具体用于：

确定用户视频中的每一帧用户图像中所包括的用户的人体部位；

获取用户视频中的每一帧用户图像中所包括的用户的人体部位所对应的人体关键点的关键点信息。

本公开的可选实施例中，用户动作识别模块230具体用于：

将获取到的所有帧的用户图像中用户的人体关键点的关键点信息，输入到预配置的动作识别模型，基于动作识别模型的输出，确定出动态肢体动作。

本公开的可选实施例中，用户动作识别模块230在将获取到的所有帧的用户图像中用户的人体关键点的关键点信息，输入到预配置的动作识别模型，基于动作识别模型的输出，确定出动态肢体动作时，具体用于：

将第一设定帧数的用户图像中用户的人体关键点的关键点信息，输入至动作识别模型；

若基于动作识别模型的输出确定出动态肢体动作，则结束操作；

若基于动作识别模型的输出未确定出动态肢体动作，则循环执行以下操作，直至确定出动态肢体动作：

按照预配置的帧数变化规则，对上一次输入至动作识别模型的关键点信息所对应的用户图像的帧数进行调整，将调整后的帧数的用户图像中用户的人体关键点的关键点信息，输入至动作识别模型。

本公开的可选实施例中，该装置还可以包括：

数据预处理模块，用于将获取到的所有帧的用户图像中用户的人体关键点的关键点信息，输入到预配置的动作识别模型之前，根据预配置的数据预处理方式，对所有帧的用户图像中用户的人体关键点的关键点信息进行相应的预处理。

本公开的可选实施例中，用户视频包括第二设定帧数的用户图像。

本公开的可选实施例中，待处理视频获取模块210具体用于：

获取待处理视频，其中，待处理视频包括第三设定帧数的用户图像，第三设定帧数大于第二设定帧数；

将待处理视频中帧数等于第二设定帧数的用户图像所形成的视频确定为用户视频，或者，将待处理视频进行降采样处理，得到用户视频。

本公开的可选实施例中，特效处理模块240具体用于：

确定用户视频的关联视频中用户的肢体动作，其中，关联视频中的视频帧图像与用户视频中的视频帧图像连续，或者，关联视频的视频帧图像与用户视频中的视频帧图像部分相同；

若用户视频的关联视频中用户的肢体动作与动态肢体动作相同，则根据动态肢体动作所对应的特效，对用户视频进行相应的特效处理。

本公开的可选实施例中，用户视频为实时录制的视频，或者为本地存储的视频。

本公开的可选实施例中，人体关键点为根据关键点配置参数确定的以下关键点中的关键点：

左眼关键点、右眼关键点、左耳关键点、右耳关键点、鼻子关键点、左肩关键点、右肩关键点、左手肘关键点、右手肘关键点、左手腕关键点、右手腕关键点、左腰关键点、左腰关键点、左髋关键点、右髋关键点、左膝关键点、右膝关键点、左脚踝关键点、右脚踝关键点；

其中，关键点配置参数包括用于指定关键点的配置参数，和/或，关键点数量的配置参数。

可以理解的是，本公开各实施例中的装置中的各模块所执行的动作是与本公开各实施例中的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应的方法中的描述，在此不再赘述。

基于与本公开实施例的图像处理方法相同的原理，本公开实施例中还提供了一种电子设备，该电子设备包括存储器和处理器，存储器中存储有计算机程序指令，处理器用于读取计算机程序指令，以执行上述本公开任一实施例中所示的方法。

基于与本公开实施例的图像处理方法相同的原理，本公开实施例中还提供了一种计算机可读存储介质，该存储介质中存储有计算机程序指令，当计算机程序指令被处理器执行时，处理器实现本公开任一实施例中所示的方法。

本公开实施例还提供了一种电子设备，如图3所示，其示出了适于用来实现本公开实施例的电子设备(例如终端设备或服务器)800的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图3所示，电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储装置808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有电子设备800操作所需的各种程序和数据。处理装置801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

通常，以下装置可以连接至I/O接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808；以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从ROM 802被安装。在该计算机程序被处理装置801执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取至少两个网际协议地址；向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求，其中，所述节点评价设备从所述至少两个网际协议地址中，选取网际协议地址并返回；接收所述节点评价设备返回的网际协议地址；其中，所获取的网际协议地址指示内容分发网络中的边缘节点。

或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收包括至少两个网际协议地址的节点评价请求；从所述至少两个网际协议地址中，选取网际协议地址；返回选取出的网际协议地址；其中，接收到的网际协议地址指示内容分发网络中的边缘节点。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其他技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种图像处理方法，其特征在于，包括：

获取待处理的用户视频；

获取所述用户视频中的每一帧用户图像中用户的人体关键点的关键点信息；

根据获取到的所有帧的用户图像中用户的人体关键点的关键点信息，确定所述用户视频中所述用户的动态肢体动作；

根据所述动态肢体动作所对应的特效，对所述用户视频进行相应的特效处理。

2.根据权利要求1所述的方法，其特征在于，所述人体关键点的关键点信息包括关键点的位置，或者包括关键点的位置和关键点的可见性。

3.根据权利要求1所述的方法，其特征在于，所述根据所述动态肢体动作所对应的特效，对所述用户图像进行相应的特效处理，包括：

根据预配置的动作与特效的对应关系，确定所述动态肢体动作所对应的特效。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述动态肢体动作所对应的特效，是与所述动态肢体动作的变化轨迹相匹配的动态特效。

5.根据权利要求1至3中任一项所述的方法，其特征在于，获取所述用户视频中的每一帧用户图像中用户的人体关键点的关键点信息，包括：

确定所述用户视频中的每一帧用户图像中所包括的所述用户的人体部位；

获取所述用户视频中的每一帧用户图像中所包括的所述用户的人体部位所对应的人体关键点的关键点信息。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据获取到的所有帧的用户图像中用户的人体关键点的关键点信息，确定所述用户视频中所述用户的动态肢体动作，包括：

将获取到的所有帧的用户图像中用户的人体关键点的关键点信息，输入到预配置的动作识别模型，基于所述动作识别模型的输出，确定出所述动态肢体动作。

7.根据权利要求6所述的方法，其特征在于，所述将获取到的所有帧的用户图像中用户的人体关键点的关键点信息，输入到预配置的动作识别模型，基于所述动作识别模型的输出，确定出所述动态肢体动作，包括：

将第一设定帧数的用户图像中用户的人体关键点的关键点信息，输入至所述动作识别模型；

若基于所述动作识别模型的输出确定出所述动态肢体动作，则结束操作；

若基于所述动作识别模型的输出未确定出所述动态肢体动作，则循环执行以下操作，直至确定出所述动态肢体动作：

按照预配置的帧数变化规则，对上一次输入至所述动作识别模型的关键点信息所对应的用户图像的帧数进行调整，将调整后的帧数的用户图像中用户的人体关键点的关键点信息，输入至所述动作识别模型。

8.根据权利要求6所述的方法，其特征在于，所述将获取到的所有帧的用户图像中用户的人体关键点的关键点信息，输入到预配置的动作识别模型之前，还包括：

根据预配置的数据预处理方式，对所述所有帧的用户图像中用户的人体关键点的关键点信息进行相应的预处理。

9.根据权利要求1至8中任一项所述的方法，其特征在于，所述用户视频包括第二设定帧数的用户图像。

10.根据权利要求9所述的方法，其特征在于，所述获取待处理的用户视频，包括：

获取待处理视频，其中，所述待处理视频包括第三设定帧数的用户图像，所述第三设定帧数大于所述第二设定帧数；

将所述待处理视频中帧数等于所述第二设定帧数的用户图像所形成的视频，确定为所述用户视频，或者，将所述待处理视频进行降采样处理，得到所述用户视频。

11.根据权利要求1至10中任一项所述的方法，其特征在于，所述根据所述动态肢体动作所对应的特效，对所述用户视频进行相应的特效处理，包括：

确定所述用户视频的关联视频中所述用户的肢体动作，其中，所述关联视频中的视频帧图像与所述用户视频中的视频帧图像连续，或者，所述关联视频的视频帧图像与所述用户视频中的视频帧图像部分相同；

若所述用户视频的关联视频中用户的肢体动作与所述动态肢体动作相同，则根据所述动态肢体动作所对应的特效，对所述用户视频进行相应的特效处理。

12.根据权利要求1至11中任一项所述的方法，其特征在于，所述用户视频为实时录制的视频，或者为本地存储的视频。

13.一种图像处理装置，其特征在于，包括：

待处理视频获取模块，用于获取待处理的用户视频；

关键点信息获取模块，用于获取所述用户视频中的每一帧用户图像中用户的人体关键点的关键点信息；

用户动作识别模块，用于根据获取到的所有帧的用户图像中用户的人体关键点的关键点信息，确定所述用户视频中所述用户的动态肢体动作；

特效处理模块，用于根据所述动态肢体动作所对应的特效，对所述用户视频进行相应的特效处理。

14.一种电子设备，其特征在于，包括存储器和处理器；

所述存储器中存储有计算机程序指令；

所述处理器，用于读取所述计算机程序指令，以执行权利要求1至12中任一项所述的图像处理方法。

15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序指令，当所述计算机程序指令被处理器执行时，所述处理器实现权利要求1至12任一项所述的图像处理方法。

Images