CN109344796A - 信息处理方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种信息处理方法和装置、电子设备、计算机可读存储介质。该方法包括：获取深度图像，深度图像中包含有目标人像的深度信息，将深度图像输入至人体检测模型中，得到人体关键点信息，根据人体关键点信息得到目标人像对应的目标肢体动作，当目标肢体动作与参考肢体动作不一致时，输出提示信息，其中，提示信息用于提示用户矫正肢体动作。电子设备根据目标人像的深度信息得到人体关键点信息，进而得到目标肢体动作，当目标肢体动作与参考肢体动作不一致时，电子设备通过输出提示信息提示用户矫正肢体动作，可以实时纠正用户的肢体动作，从而提高用户黏度。

Description

信息处理方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种信息处理方法和装置、电子设备、计算机可读存储介质。

背景技术

随着社会生活的发展，越来越多的人注重身体健康，运动是保持身体健康的要素之一。运动的方式有很多，例如，舞蹈、瑜伽、太极拳、健身操等。为了更加方便的进行运动，电子设备中可以存储有运动视频，用户可以跟随电子设备中播放的运动视频进行运动。例如，电子设备中播放的视频是瑜伽动作的视频时，用户可以跟随电子设备中播放的瑜伽动作做出相应的动作，从而达到运动的效果。

发明内容

本申请实施例提供一种信息处理方法和装置、电子设备、计算机可读存储介质，可以根据深度信息对肢体动作进行检测，实时纠正肢体动作，提高用户黏度。

一种信息处理方法，包括：

获取深度图像，所述深度图像中包含有目标人像的深度信息；

将所述深度图像输入至人体检测模型中，得到人体关键点信息；

根据所述人体关键点信息得到所述目标人像对应的目标肢体动作；

当所述目标肢体动作与参考肢体动作不一致时，输出提示信息，其中，所述提示信息用于提示用户矫正肢体动作。

一种信息处理装置，包括：

图像获取模块，用于获取深度图像，所述深度图像中包含有目标人像的深度信息；

关键点信息获取模块，用于将所述深度图像输入至人体检测模型中，得到人体关键点信息；

目标肢体动作获取模块，用于根据所述人体关键点信息得到所述目标人像对应的目标肢体动作；

信息提示模块，用于当所述目标肢体动作与参考肢体动作不一致时，输出提示信息，其中，所述提示信息用于提示用户矫正肢体动作。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取深度图像，所述深度图像中包含有目标人像的深度信息；

将所述深度图像输入至人体检测模型中，得到人体关键点信息；

根据所述人体关键点信息得到所述目标人像对应的目标肢体动作；

当所述目标肢体动作与参考肢体动作不一致时，输出提示信息，其中，所述提示信息用于提示用户矫正肢体动作。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取深度图像，所述深度图像中包含有目标人像的深度信息；

将所述深度图像输入至人体检测模型中，得到人体关键点信息；

根据所述人体关键点信息得到所述目标人像对应的目标肢体动作；

当所述目标肢体动作与参考肢体动作不一致时，输出提示信息，其中，所述提示信息用于提示用户矫正肢体动作。

上述信息处理方法和装置、电子设备、计算机可读存储介质，通过获取深度图像，深度图像中包含有目标人像的深度信息，将深度图像输入至人体检测模型中，得到人体关键点信息，根据人体关键点信息得到目标人像对应的目标肢体动作，当目标肢体动作与参考肢体动作不一致时，输出提示信息，其中，提示信息用于提示用户矫正肢体动作。电子设备根据目标人像的深度信息得到人体关键点信息，进而得到目标肢体动作，当目标肢体动作与参考肢体动作不一致时，电子设备通过输出提示信息提示用户矫正肢体动作，可以实时纠正用户的肢体动作，提高用户黏度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中信息处理方法的应用环境图；

图2为一个实施例中信息处理方法的流程图；

图3为一个实施例中获取参考肢体动作的方法流程图；

图4为一个实施例中播放视频帧的示意图；

图5为一个实施例中判断目标肢体动作与参考肢体动作是否一致的示意图；

图6为一个实施例中信息处理装置的结构框图；

图7为一个实施例中电子设备的内部结构示意图；

图8为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中信息处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备110。电子设备110可以通过摄像头拍摄周围的环境，电子设备110可以获取深度图像，其中，电子设备110获取的深度图像可以是使用深度摄像头采集的。例如，电子设备110可以通过飞行时间TOF(Time of Flight)摄像头采集深度图像。电子设备110采集的深度图像中可以包含有目标人像的深度信息。电子设备110可以将深度图像输入至人体检测模型中，得到人体关键点信息。电子设备110可以根据人体关键点信息得到目标人像对应的目标肢体动作，当目标肢体动作与参考肢体动作不一致时，电子设备110可以输出提示信息，提示信息用于提示用户矫正肢体动作。可以理解的是，上述电子设备可以是手机、电脑、平板电脑、可穿戴设备等，在此不做限定。

在一个实施例中，提供了一种信息处理方法，以应用于上述电子设备来举例说明，如图2所示，该信息处理方法包括步骤202至步骤208。其中：

步骤202，获取深度图像，深度图像中包含有目标人像的深度信息。

深度图像是将摄像头到场景中各点的距离或者深度作为像素值的图像。目标人像是指摄像头当前采集的深度图像中出现的人像。深度信息是图像中的物体与摄像头之间的距离，目标人像的深度信息是图像中目标人像与摄像头之间的距离。

其中，深度图像可以是电子设备通过摄像头采集得到的。具体的，电子设备上可以设置有用于采集深度图像的摄像头，例如，电子设备上设置的摄像头可以是飞行时间TOF(Time of Flight)摄像头。TOF摄像头可以采集深度图像，具体的，TOF摄像头通过对目标场景发射连续的光脉冲，然后用传感器接收由物体反射回的光脉冲，通过比较发射光脉冲与经过物体反射的光脉冲的相位差，可以推算得到光脉冲之间的传输延迟，进而得到物体相对于摄像头的距离，最终得到一幅深度图像。电子设备可以获取通过摄像头采集的包含有目标人像深度信息的深度图像。

步骤204，将深度图像输入至人体检测模型中，得到人体关键点信息。

人体检测模型是指训练好的用于检测人体关键点的模型，具体的，人体检测模型可以是人体骨骼关键点检测模型、人体目标点检测模型等，在此不做限定。人体检测模型的训练过程可以是：收集大量的含有人像深度信息的深度图像，并对这些深度图像中的人体关键点进行标记，将标记好的深度图像输入至模型中进行训练，得到训练好的人体检测模型。其中，训练好的人体检测模型可以是神经网络模型，也可以是其他模型，在此不做限定。人体关键点信息是指深度图像中目标人像对应的骨骼关键点，例如，人体关键点信息可以是人像中的头部、颈部、肩部、肘部、手部、臀部、膝部、脚部等骨骼关键点。

电子设备在获取到深度图像后，可以将深度图像输入至人体检测模型中。由于电子设备获取到的深度图像中包含有目标人像的深度信息，电子设备可以将深度图像输入到人体检测模型中后，得到目标人像对应的人体关键点信息。

步骤206，根据人体关键点信息得到目标人像对应的目标肢体动作。

肢体动作用于表示人体的行为举动的数据。例如，肢体动作可以是举手、抬腿、弯腰等动作数据。目标肢体动作用于表示目标人像的行为举动的数据。人体关键点信息是指深度图像中目标人像对应的骨骼关键点。电子设备可以以目标人像对应的骨骼关键点中的某一个骨骼关键点为基准，通过比较目标人像对应的各个骨骼关键点的位置与作为基准的骨骼关键点的位置，得到目标肢体动作。例如，电子设备将目标人像对应的骨骼关键点中的腰部作为基准，将目标人像对应的膝部和脚部的位置与腰部的位置进行比较，当膝部和脚部的位置与腰部的位置平齐时，电子设备可以得到目标人像对应的目标肢体动作是踢腿。

步骤208，当目标肢体动作与参考肢体动作不一致时，输出提示信息，其中，提示信息用于提示用户矫正肢体动作。

参考肢体动作用于表示参考人像的行为举动的数据。电子设备在得到目标人像的目标肢体动作后，可以将目标肢体动作与参考肢体动作进行比较。例如，参考肢体动作是踢腿，电子设备检测到的目标人像的目标肢体动作也是踢腿，则电子设备可以将参考肢体动作的踢腿与目标肢体动作的踢腿进行比较，判断参考肢体动作和目标肢体动作是否一致。具体的，电子设备可以将参考肢体动作的踢腿的方向和高度与目标肢体动作的踢腿的方向和高度进行比较，当参考肢体动作的踢腿的方向和高度与目标肢体动作的踢腿的方向和高度都一致时，表示目标肢体动作与参考肢体动作一致。

提示信息是指提示用户矫正肢体动作的信息。提示信息可以包括语音提示信息、震动提示信息、弹框提示信息等。

电子设备将目标肢体动作与参考肢体动作进行比较，当电子设备得到的比较结果是目标肢体动作与参考肢体动作不一致时，电子设备可以输出用于提示用户矫正肢体动作的信息。例如，当电子设备得到的比较结果是目标肢体动作的踢腿的高度和参考肢体动作的踢腿的高度不一致时，电子设备可以输出“踢腿高度不一致”的提示信息，用户可以根据提示信息调整踢腿的高度。

在本实施例中，通过获取深度图像，深度图像中包含有目标人像的深度信息，将深度图像输入至人体检测模型中，得到人体关键点信息，根据人体关键点信息得到目标人像对应的目标肢体动作，当目标肢体动作与参考肢体动作不一致时，输出提示信息，其中，提示信息用于提示用户矫正肢体动作。电子设备根据目标人像的深度信息得到人体关键点信息，进而得到目标肢体动作，当目标肢体动作与参考肢体动作不一致时，电子设备通过输出提示信息提示用户矫正肢体动作，可以实时纠正用户的肢体动作，从而提高用户黏度。

如图3所示，在一个实施例中，提供的一种信息处理方法还可以包括获取参考肢体动作的过程，具体步骤包括：

步骤302，获取参考深度图像，参考深度图像中包含有参考人像的深度信息。

参考人像是指电子设备获取的参考深度图像中的人像。参考人像的深度信息是指参考人像与摄像头之间的距离。参考深度图像可以是存储在电子设备中的图像，也可以从服务器中获取的图像，还可以是接收的其他电子设备发送的图像，在此不做限定。电子设备可以从本地获取包含有参考人像的深度信息的参考深度图像，也可以从服务器中获取参考深度图像，还可以接收其他电子设备发送的参考深度图像，在此不做限定。

步骤304，将参考深度图像输入至人体检测模型中，得到参考人体关键点信息。

人体检测模型是指训练好的用于检测人体关键点的模型，具体的，人体检测模型可以是神经网络模型。参考人体关键点信息是指参考深度图像中参考人像对应的参考人体关键点信息。具体的，参考人体关键点信息是指参考深度图像中参考人像对应的骨骼关键点，例如，参考人体关键点信息可以是参考人像的头部、颈部、肩部、肘部、手部、臀部、膝部、脚部等骨骼关键点。

电子设备在获取包含有参考人像的深度信息的参考深度图像后，可以将参考深度图像输入至人体检测模型中，得到参考人像关键点信息，即参考人像对应的骨骼关键点。

步骤306，根据参考人体关键点信息得到参考人像对应的参考肢体动作。

参考肢体动作用于表示参考人像的行为举动的数据。例如，参考肢体动作可以是举手、抬腿、弯腰等动作数据。电子设备得到参考人像关键点信息后，可以根据关键点信息得到与参考人像对应的参考肢体动作。参考人体关键点信息是指深度图像中参考人像对应的骨骼关键点。电子设备可以以参考人像对应的骨骼关键点中的某一个骨骼关键点为基准，通过比较参考人像对应的各个骨骼关键点的位置与作为基准的骨骼关键点的位置，得到参考肢体动作。例如，电子设备将参考人像对应的骨骼关键点中的腰部作为基准，将参考人像对应的膝部和脚部的位置与腰部的位置进行比较，当膝部和脚部的位置与腰部的位置平齐时，电子设备可以得到参考人像对应的参考肢体动作是踢腿。

在一个实施例中，电子设备可以预先获取参考深度图像，并将预先获取的参考深度图像输入至人体检测模型中，得到参考人体关键点信息。电子设备可以根据参考人体关键点信息得到参考人像对应的参考肢体动作。电子设备可以将得到的参考肢体动作存储在本地，还可以将得到的参考肢体动作发送至服务器进行存储。电子设备在得到目标人像对应的目标肢体动作后，可以将目标肢体动作与电子设备中存储的参考肢体动作进行比较，并在目标肢体动作与参考肢体动作不一致时，输出提示信息。

在本实施例中，通过获取参考深度图像，参考深度图像中包含有参考人像的深度信息，将参考深度图像输入至人体检测模型中，得到参考人体关键点信息，根据参考人体关键点信息得到参考人像对应的参考肢体动作。电子设备通过将包含有参考人像的深度信息输入人体检测模型中，得到参考人体关键点信息，从而得到参考人像对应的参考肢体动作，电子设备可以通过人体检测模型准确快速的得到参考人像对应的参考肢体动作，可以根据参考肢体动作实时纠正用户的肢体动作。

在一个实施例中，提供的一种信息处理方法还可以包括获取参考深度图像的过程，具体包括：获取待播放视频，逐帧播放待播放视频中的图像帧，并在播放图像帧时获取图像帧对应的参考深度图像。

待播放视频可以是电子设备中存储的视频。例如，待播放视频可以是电子设备中存储的舞蹈视频、瑜伽视频、太极拳视频等。具体的，待播放视频可以通过电子设备上安装的应用程序进行播放。

待播放视频可以是由多帧图像帧组成的，且每个图像帧都可以有对应的参考深度图像。例如，待播放视频是一个瑜伽视频，由20帧图像帧组成，该瑜伽视频中正在做瑜伽的人像为参考人像，瑜伽视频中的20帧图像帧中每一帧图像帧可以有对应的参考人像的参考深度图像。

电子设备获取到待播放视频后，可以逐帧播放获取的待播放视频中的图像帧，用户可以参考播放的图像帧做出对应的动作。电子设备在逐帧播图像帧时，可以同时获取正在播放的图像帧对应的参考深度图像。例如，电子设备在逐帧播放瑜伽视频时，可以同时获取正在播放的瑜伽的图像帧中参考人像对应的参考深度图像。

在本实施例中，通过获取待播放视频，逐帧播放待播放视频中的图像帧，并在播放图像帧时获取图像帧对应的参考深度图像。电子设备通过逐帧播放待播放视频中的图像帧获取图像帧对应的参考深度图像，可以实时的获取参考人像在图像帧中的参考深度信息，从而使电子设备完整的获取待播放视频中的每一帧图像对应的参考深度信息。

在一个实施例中，如图4所示，提供了播放视频帧的示意图。如图4所示，电子设备可以获取待播放视频400，电子设备可以逐帧播放待播放视频400中的图像帧，在图4中，以待播放视频400中包含有2帧图像帧为例，在其他实施例中，待播放视频中可以包含有其他数量的图像帧，在此不做限定。电子设备在逐帧播放待播放视频400中的图像帧时，可以分别获取图像帧410以及图像帧420对应的深度图像。

在一个实施例中，提供的一种信息处理方法还可以包括当所述目标肢体动作与参考肢体动作不一致时，输出提示信息的过程，具体包括：获取目标肢体动作与参考肢体动作的相似度，当相似度小于相似度阈值时，输出提示信息。

相似度是指目标肢体动作与参考肢体动作相似的程度。相似度可以是一个具体的数值，例如，相似度可以是60％、75％、87％等数值。相似度阈值可以是用户自己设置的，也可以是电子设备生成的。相似度阈值可以是具体的数值，例如，相似度阈值可以是85％、70％、52％等数值。

电子设备在获取到目标肢体动作和参考肢体动作后，可以将获取的目标肢体动作与参考肢体动作进行比较。具体的，电子设备可以计算目标肢体动作与参考肢体动作的相似度。例如，电子设备获取到的目标肢体动作是踢腿，电子设备获取到的参考肢体动作也是踢腿，电子设备可以根据目标肢体动作踢腿检测目标人像的臀部、膝部以及脚部三点连线的目标夹角，同时，电子设备还可以根据参考肢体动作踢腿检测参考人像的臀部、膝部以及脚部三点连线的参考夹角，电子设备可以根据目标夹角和参考夹角计算目标肢体动作与参考肢体动作的相似度。假设电子设备检测出的目标夹角为160°，电子设备检测出的参考夹角为180°，电子设备计算出的目标肢体动作与参考肢体动作的相似度为88％。

电子设备计算出目标肢体动作与参考肢体动作的相似度后，可以将计算出的相似度与相似度阈值进行比较，并得到比较结果。例如，电子设备计算出的目标肢体动作与参考肢体动作的相似度为69％，而相似度阈值为88％，电子设备可以得到相似度小于相似度阈值的比较结果。

当电子设备得到的比较结果为相似度小于相似度阈值时，电子设备可以输出提示信息，提示用户矫正肢体动作。

在本实施例中，获取目标肢体动作与参考肢体动作的相似度，当相似度小于相似度阈值时，输出提示信息。电子设备根据目标肢体动作与参考肢体动作的相似度输出提示信息，在相似度小于相似度阈值时才输出提示信息，用于提示用户矫正肢体动作，可以实时纠正肢体动作。

在一个实施例中，如图5所示，提供了判断目标肢体动作与参考肢体动作是否一致的示意图。如图5所示，参考深度图像510中的参考人像的参考肢体动作为抬手，目标深度图像520中的目标人像的目标肢体动作也是抬手。电子设备可以根据参考肢体动作抬手检测参考人像的肩部512、肘部514以及手部516三点连线的参考夹角，电子设备检测到的参考夹角为160°；电子设备可以根据目标肢体动作抬手检测目标人像的肩部522、肘部524以及手部526三点连线的目标夹角，电子设备检测到的目标夹角为140°，电子设备可以计算出参考肢体动作与目标肢体动作的相似度为69％，而相似度阈值为88％，电子设备可以得到相似度小于相似度阈值的比较结果，进而得到目标肢体动作与参考肢体动作不一致的结果，电子设备可以输出提示信息。

在一个实施例中，提供的一种信息处理方法还可以包括获取相似度阈值的过程，具体包括：获取历史深度图像，统计目标人像在历史深度图像中出现的次数，并根据次数获取对应的相似度阈值。

历史深度图像是指电子设备在获取当前深度图像之前获取的深度图像。电子设备在获取深度图像时，可以对深度图像中出现的人像进行标记。

电子设备可以获取历史深度图像，并对历史深度图像中目标人像出现的次数进行统计。由于电子设备可以对深度图像中出现的人像进行标记，电子设备可以根据标记找到历史深度图像中的目标人像，并统计历史深度图像中目标人像出现的次数。

相似度阈值是一个具体的数值，电子设备可以根据统计的目标人像在历史深度图像中出现的次数获取对应的相似度阈值。历史深度图像中出现的目标人像的次数越多，说明目标人像练习肢体动作的次数越多，则可以根据目标人像练习肢体动作的次数来调节动作的规范标准。具体的，目标人像在历史深度图像中出现的次数与相似度阈值可以是正比关系，即，目标人像在历史深度图像中出现的次数越多，相似度阈值越大。

在本实施例中，通过获取历史深度图像，统计目标人像在历史深度图像中出现的次数，并根据次数获取对应的相似度阈值。目标人像在历史深度图像中出现的次数越多，对应的相似度阈值越大，电子设备可以根据目标人像在历史深度图像中出现的次数获取对应的相似度阈值，可以提高将目标肢体动作与参考肢体动作比对的准确性，从而准确的提示用户矫正肢体动作。

在另一个实施例中，提供的一种信息处理方法还可以包括获取深度图像的过程，具体包括：检测目标人像的肢体动作的变化速度，根据变化速度调整采样频率，并根据调整后的采样频率获取深度图像。

肢体动作的变化速度可以是肢体动作从一个高度变化到另一个高度的变化速度。肢体动作的变化速度可以是一个具体的数值，例如，肢体动作的变化速度可以是目标人像从踢腿高度为30cm变化到踢腿高度为25cm的变化速度，速度为5cm/s。

肢体动作的变化速度还可以是从一个肢体动作变化到另一个肢体动作的变化速度。例如，肢体动作的变化速度可以是目标人像从踢腿的肢体动作变化为举手的肢体动作的变化速度。

采样频率是指摄像头采集深度图像的频率，采样频率可以是一个具体的数值。例如，采样频率可以是20帧/s。目标人像的肢体动作的变化速度可以与采样频率成正比。电子设备可以根据检测到的目标人像的肢体动作的变化速度对采样频率进行调整，电子设备检测到的变化速度越快，采样频率也就越高。例如，目标人像的肢体动作的变化速度为5cm/s时，电子设备可以将采样频率调整为10帧/s，目标人像的肢体动作的变化速度为1cm/s时，电子设备可以将采样频率调整为20帧/s。电子设备可以根据调整后的采样频率获取深度图像。

在本实施例中，电子设备根据目标人像的肢体动作的变化速度对采样频率进行调整，并使用调整后的采样频率获取深度图像，可以对获取深度图像的频率进行调整，当目标人像的肢体动作的变化速度较快时，电子设备可以将采样频率调高，可以及时对目标人像的肢体动作进行提示；当目标人像的肢体动作的变化速度较慢时，电子设备可以将采样频率调低，避免了摄像头采用高频率获取深度图像，可以节约资源。

在另一个实施例中，提供的一种信息处理方法还可以包括当所述目标肢体动作与参考肢体动作不一致时，输出提示信息的过程，具体包括：获取目标肢体动作与参考肢体动作的相似度，根据相似度获取对应的提示强度，输出提示强度对应的提示信息。

相似度是指目标肢体动作与参考肢体动作相似的程度。相似度可以是一个具体的数值，例如，相似度可以是60％、75％、87％等数值，在此不做限定。例如，电子设备获取到的目标肢体动作是举手，电子设备获取到的参考肢体动作也是举手，电子设备可以根据举手这个肢体动作检测出目标人像的肩部、肘部以及手部三点连线的目标夹角，以及参考人像的肩部、肘部以及手部三点连线的参考夹角，假设电子设备检测出的目标夹角为160°，电子设备检测出的参考夹角为180°，电子设备计算出的目标肢体动作与参考肢体动作的相似度为88％。

提示强度可以是提示信息的语音播放声音的大小，还可以是提示信息的震动的频率，还可以是提示框中文字的大小等，在此不做限定。提示强度可以与相似度成正比。

电子设备可以获取目标肢体动作与参考肢体动作的相似度，并根据相似度获取对应的提示强度，相似度越大，获取的提示强度越强。电子设备可以根据获取的提示强度输出对应的提示信息。

在本实施例中，电子设备通过获取与相似度对应的提示强度，根据提示强度输出对应的提示信息。由于电子设备是根据提示强度输出对应的提示信息，可以根据用户的肢体动作提示用户矫正肢体动作。

在一个实施例中，提供了一种信息处理方法，实现该方法的具体步骤如下所述：

(1)获取待播放视频。

(2)逐帧播放待播放视频中的图像帧，并在播放图像帧时获取图像帧对应的参考深度图像。

(3)参考深度图像输入至人体检测模型中，得到参考人体关键点信息。

(4)根据参考人体关键点信息得到参考人像对应的参考肢体动作。

(5)检测目标人像的肢体动作的变化速度。

(6)根据变化速度调整采样频率，并根据调整后的采样频率获取深度图像。

(7)将深度图像输入至人体检测模型中，得到人体关键点信息。

(8)根据人体关键点信息得到目标人像对应的目标肢体动作。

(9)获取目标肢体动作与参考肢体动作的相似度。

(10)获取历史深度图像，统计目标人像在历史深度图像中出现的次数，并根据次数获取对应的相似度阈值。

(11)当相似度小于相似度阈值时，输出提示信息，其中，提示信息用于提示用户矫正肢体动作。

(12)获取目标肢体动作与参考肢体动作的相似度，并根据相似度获取对应的提示强度，输出提示强度对应的提示信息。

应该理解的是，虽然上述各个流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各个流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种信息处理装置，包括：图像获取模块610、关键点信息获取模块620、目标肢体动作获取模块630以及信息提示模块640，其中:

图像获取模块610，用于获取深度图像，深度图像中包含有目标人像的深度信息。

关键点信息获取模块620，用于将深度图像输入至人体检测模型中，得到人体关键点信息。

目标肢体动作获取模块630，用于根据人体关键点信息得到目标人像对应的目标肢体动作。

信息提示模块640，用于当目标肢体动作与参考肢体动作不一致时，输出提示信息，其中，提示信息用于提示用户矫正肢体动作。

通过获取深度图像，深度图像中包含有目标人像的深度信息，将深度图像输入至人体检测模型中，得到人体关键点信息，根据人体关键点信息得到目标人像对应的目标肢体动作，当目标肢体动作与参考肢体动作不一致时，输出提示信息，其中，提示信息用于提示用户矫正肢体动作。电子设备根据目标人像的深度信息得到人体关键点信息，进而得到目标肢体动作，当目标肢体动作与参考肢体动作不一致时，电子设备通过输出提示信息提示用户矫正肢体动作，可以实时纠正肢体动作，从而满足个性化需求，提高用户黏度。

在一个实施例中，提供的一种信息处理装置还可以包括参考深度图像获取模块、参考人像关键点信息获取模块以及参考肢体动作获取模块，其中：

参考深度图像获取模块，用于获取参考深度图像，参考深度图像中包含有参考人像的深度信息。

参考人像关键点信息获取模块，用于将参考深度图像输入至人体检测模型中，得到参考人体关键点信息。

参考肢体动作获取模块，用于根据参考人体关键点信息得到参考人像对应的参考肢体动作。

在一个实施例中，参考深度图像获取模块还用于获取待播放视频，逐帧播放待播放视频中的图像帧，并在播放图像帧时获取图像帧对应的参考深度图像。

在一个实施例中，信息提示模块640还用于获取目标肢体动作与参考肢体动作的相似度，当相似度小于相似度阈值时，输出提示信息。

在一个实施例中，信息提示模块640还用于获取历史深度图像，统计目标人像在历史深度图像中出现的次数，并根据次数获取对应的相似度阈值。

在一个实施例中，图像获取模块610还用于检测目标人像的肢体动作的变化速度，根据变化速度调整采样频率，并根据调整后的采样频率获取深度图像。

在一个实施例中，信息提示模块640还用于获取目标肢体动作与参考肢体动作的相似度，根据相似度获取对应的提示强度，输出提示强度对应的提示信息。

上述信息处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将信息处理装置按照需要划分为不同的模块，以完成上述信息处理装置的全部或部分功能。

关于信息处理装置的具体限定可以参见上文中对于信息处理方法的限定，在此不再赘述。上述信息处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请实施例中提供的信息处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

在一个实施例中，如图7所示，提供了一种电子设备的内部结构示意图。该电子设备包括通过系统总线连接的处理器、存储器、显示器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序、和/或指令代码等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的信息处理方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random-Access-Memory，RAM)等。例如，在一个实施例中，存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统、数据库和计算机程序。该计算机程序可被处理器所执行，以用于实现本申请各个实施例所提供的一种信息处理方法。内存储器为非易失性存储介质中的操作系统、数据库和计算机程序提供高速缓存的运行环境。显示器可以用于显示上传界面等，还可以用于展示光效模型。网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信，比如可用于同服务器或者其他电子设备进行通信。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本申请实施例还提供一种电子设备。电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图8所示，图像处理电路包括ISP处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由ISP处理器840处理，ISP处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一个或多个透镜812和图像传感器814的照相机。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器840处理的一组原始图像数据。传感器820(如陀螺仪)可基于传感器820接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器840。传感器820接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器814也可将原始图像数据发送给传感器820，传感器820可基于传感器820接口类型把原始图像数据提供给ISP处理器840，或者传感器820将原始图像数据存储到图像存储器830中。

ISP处理器840按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器840可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器840还可从图像存储器830接收图像数据。例如，传感器820接口将原始图像数据发送给图像存储器830，图像存储器830中的原始图像数据再提供给ISP处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器814接口或来自传感器820接口或来自图像存储器830的原始图像数据时，ISP处理器840可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器830，以便在被显示之前进行另外的处理。ISP处理器840从图像存储器830接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器840处理后的图像数据可输出给显示器870，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器840的输出还可发送给图像存储器830，且显示器870可从图像存储器830读取图像数据。在一个实施例中，图像存储器830可被配置为实现一个或多个帧缓冲器。此外，ISP处理器840的输出可发送给编码器/解码器860，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器870设备上之前解压缩。编码器/解码器860可由CPU或GPU或协处理器实现。

ISP处理器840确定的统计数据可发送给控制逻辑器850单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备810的控制参数及ISP处理器840的控制参数。例如，成像设备810的控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜812阴影校正参数。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行信息处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行信息处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种信息处理方法，其特征在于，包括：

获取深度图像，所述深度图像中包含有目标人像的深度信息；

将所述深度图像输入至人体检测模型中，得到人体关键点信息；

根据所述人体关键点信息得到所述目标人像对应的目标肢体动作；

当所述目标肢体动作与参考肢体动作不一致时，输出提示信息，其中，所述提示信息用于提示用户矫正肢体动作。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取参考深度图像，所述参考深度图像中包含有参考人像的深度信息；

将所述参考深度图像输入至所述人体检测模型中，得到参考人体关键点信息；

根据所述参考人体关键点信息得到所述参考人像对应的参考肢体动作。

3.根据权利要求2所述的方法，其特征在于，所述获取参考深度图像，包括：

获取待播放视频；

逐帧播放所述待播放视频中的图像帧，并在播放所述图像帧时获取所述图像帧对应的参考深度图像。

4.根据权利要求1所述的方法，其特征在于，所述当所述目标肢体动作与参考肢体动作不一致时，输出提示信息，包括：

获取所述目标肢体动作与所述参考肢体动作的相似度；

当所述相似度小于相似度阈值时，输出提示信息。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

获取历史深度图像；

统计所述目标人像在所述历史深度图像中出现的次数，并根据所述次数获取对应的相似度阈值。

6.根据权利要求1所述的方法，其特征在于，所述获取深度图像包括：

检测所述目标人像的肢体动作的变化速度；

根据所述变化速度调整采样频率，并根据调整后的采样频率获取深度图像。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述当所述目标肢体动作与参考肢体动作不一致时，输出提示信息，包括：

获取所述目标肢体动作与所述参考肢体动作的相似度；

根据所述相似度获取对应的提示强度，输出所述提示强度对应的提示信息。

8.一种信息处理装置，其特征在于，包括：

图像获取模块，用于获取深度图像，所述深度图像中包含有目标人像的深度信息；

关键点信息获取模块，用于将所述深度图像输入至人体检测模型中，得到人体关键点信息；

目标肢体动作获取模块，用于根据所述人体关键点信息得到所述目标人像对应的目标肢体动作；

信息提示模块，用于当所述目标肢体动作与参考肢体动作不一致时，输出提示信息，其中，所述提示信息用于提示用户矫正肢体动作。

9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的信息处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。