CN113723307A - 基于俯卧撑检测的社交分享方法、设备及计算机可读介质 - Google Patents

Abstract

本申请实施例提供的一种基于俯卧撑检测的社交分享方法、设备以及计算机可读介质，该方案可以通过具有摄像功能的用户设备，例如手机、平板电脑等设备中的摄像头即可采集到需要的俯卧撑视频，并且通过后续的处理可以准确地检测出用户的每一次俯卧撑动作，在识别到用户的俯卧撑动作后，可以从所述俯卧撑视频中提取至少一个包括用户脸部图像的第二视频帧，然后将所述第二视频帧作为社交图片在社交平台中分享，从而能够自动捕捉并分享俯卧撑过程中的图片，以满足用户使用关于俯卧撑的社交需求，提升社交体验。

Description

基于俯卧撑检测的社交分享方法、设备及计算机可读介质

技术领域

本申请涉及信息技术领域，尤其涉及一种基于俯卧撑检测的社交分享方法、设备及计算机可读介质。

背景技术

俯卧撑是日常比较常见的锻炼方案，在一部分社交场景中，人们存在使用“俯卧撑”社交的需求，比如：在线比拼俯卧撑数量，或者通过俯卧撑打卡达到持续健身的目的。但是，由于目前缺少能够通过手机等移动设备准确地判断是否真的做了俯卧撑的手段，使得无法客观衡量用户做俯卧撑的行为是否真实有效，会导致丧失社交的趣味性和日常的监督能力。同时，此类社交场景与用户所做的俯卧撑动作高度结合，若能够在做俯卧撑的过程中捕捉到一些有特点的图片作为社交分享的素材，将可以有效提高俯卧撑运动与社交的结合度，提高社交的趣味性。因此，如何提供一种能够准确地检测用户的俯卧撑行为，并在检测过程中自动捕捉图片进行分享的方案，是亟待解决的问题。

发明内容

本申请的一个目的是提供一种基于俯卧撑检测的社交分享方法、设备以及计算机可读介质，用以解决目前缺少能够准确地检测俯卧撑行为并自动捕捉图片进行分享的方案的问题。

为实现上述目的，本申请的一些实施例提供了一种基于俯卧撑检测的社交分享方法，该方法包括：

获取包括用户脸部图像的俯卧撑视频；

从所述俯卧撑视频中获取视频帧序列，所述视频帧序列中至少包括多个按照时间顺序排列的第一视频帧；

识别用户脸部图像在对应第一视频帧中的位置信息；

根据用户脸部图像在每个第一视频帧中的位置信息，确定用户脸部图像在每个第一视频帧中的大小信息；

根据用户脸部图像在视频帧序列中的大小信息的变化情况，识别用户的俯卧撑动作；

在识别到用户的俯卧撑动作后，从所述俯卧撑视频中提取至少一个包括用户脸部图像的第二视频帧；

将所述第二视频帧作为社交图片在社交平台分享。

此外，本申请实施例还提供了一种基于俯卧撑检测的社交分享设备，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行所述基于俯卧撑检测的社交分享方法。

本申请实施例还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现所述基于俯卧撑检测的社交分享方法。

相较于现有技术，本申请实施例提供的一种基于俯卧撑检测的社交分享方案中，可以获取包括用户脸部图像的俯卧撑视频，然后从所述俯卧撑视频中获取视频帧序列，识别用户脸部图像在对应第一视频帧中的位置信息，根据用户脸部图像在每个第一视频帧中的位置信息，确定用户脸部图像在每个第一视频帧中的大小信息，根据用户脸部图像在视频帧序列中的大小信息的变化情况，识别用户的俯卧撑动作，由此，用户通过具有摄像功能的用户设备，例如手机、平板电脑等设备中的摄像头即可采集到需要的俯卧撑视频，并且通过后续的处理可以准确地检测出用户的每一次俯卧撑动作。而在识别到用户的俯卧撑动作后，可以从所述俯卧撑视频中提取至少一个包括用户脸部图像的第二视频帧，然后将所述第二视频帧作为社交图片在社交平台中分享，从而能够自动捕捉并分享俯卧撑过程中的图片，以满足用户使用关于俯卧撑的社交需求，提升社交体验。

附图说明

图1为本申请实施例提供的一种基于俯卧撑检测的社交分享方法的处理流程图；

图2为本申请实施例中用户放置采集俯卧撑视频的用户设备的位置关系示意图；

图3为本申请实施例中获取的一个第一视频帧的示意图；

图4为本申请实施例中获取的另一个第一视频帧的示意图；

图5为申请实施例中识别用户俯卧撑动作的一种处理方式的流程图；

图6为采用本申请实施例提供的方案实现俯卧撑检测及社交分享时的处理流程图；

图7为本申请实施例提供的基于俯卧撑检测的社交分享方法中关于鉴伪功能部分的处理流程图；

图8为采用本申请实施例提供的另一方案实现俯卧撑检测及社交分享时的处理流程图；

图9为采用本申请实施例提供的用于实现基于俯卧撑检测的社交分享的设备的结构示意图；

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请一个典型的配置中，终端、服务网络的设备均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机程序指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本申请实施例提供的一种基于俯卧撑检测的社交分享方法，该方法可以通过具有摄像功能的用户设备，例如手机、平板电脑等设备中的摄像头即可采集到需要的俯卧撑视频，并且通过后续的处理可以准确地检测出用户的每一次俯卧撑动作，在识别到用户的俯卧撑动作后，可以从所述俯卧撑视频中提取至少一个包括用户脸部图像的第二视频帧，然后将所述第二视频帧作为社交图片在社交平台中分享，从而能够自动捕捉并分享俯卧撑过程中的图片，以满足用户使用关于俯卧撑的社交需求，提升社交体验。

在实际场景中，该方法的执行主体可以是用户设备、或者用户设备与网络设备通过网络相集成所构成的设备。该方案中涉及数据处理的部分可以在用户设备本地实现，也可以在网络设备中实现并通过网络将处理结果提供至用户设备，例如对于第一视频帧的图像处理、对位置信息、大小信息的数据处理、可信度的计算等均可以由用户设备将需要的信息提供至网络设备，利用网络设备的计算资源完成计算后，将结果返回给本地的用户设备。而涉及交互的部分则由用户设备实现，如俯卧撑视频的获取等，可以由用户设备基于其上安装的摄像头完成采集。

所述用户设备可以包括但不限于计算机、手机、平板电脑、智能手表等各类终端设备，所述网络设备可以包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现。在此，云由基于云计算(Cloud Computing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟计算机。

图1示出了本申请实施例提供的一种基于俯卧撑检测的社交分享方法的处理流程，至少包括以下的处理步骤：

步骤S101，获取包括用户脸部图像的俯卧撑视频。在实际场景中，获取俯卧撑视频可以通过各类采集装置实现，其中采集装置可以是与用户设备连接的摄像头或者内置于用户设备中的摄像头等，例如可以手机、平板电脑的前置摄像头来拍摄用户做俯卧撑时的动作，且镜头中包含用户脸部图像。

由于本申请实施例提供的方案中，后续处理时会需要基于用户脸部图像的大小变化来实现俯卧撑动作的检测，因此在获取俯卧撑视频时，俯卧撑视频的拍摄方向需要与俯卧撑的动作方向存在一定的对应关系，以便于用户脸部图像在不同第一视频帧中会随俯卧撑动作的变化发生较为显著的大小变化，从而提高检测的准确性。

在本申请实施例中可以设定俯卧撑视频的拍摄方向与用户俯卧撑的动作方向之间的夹角小于预设值，如两者的夹角可以限定在5°、10°或者20°等范围以内，以便于获取良好的检测效果，然后基于该拍摄方向来获取包括用户脸部图像的俯卧撑视频。例如，在实际场景中，若采用手机、平板电脑等移动设备时，则可以通过将设备放置在用户脸部下方，并使用移动设备的前置摄像头来拍摄，使得镜头朝向与用户支撑的水平面垂直，从而获取符合角度限定的、包括用户脸部图像的俯卧撑视频，具体可以如图2所示。

在本申请的一些实施例中，还可以在满足条件时，向用户播放相关视频内容，其中，所述预设条件包括以下至少任意一项：当前正在获取包括用户脸部图像的俯卧撑视频；当前识别到的用户的俯卧撑动作不符合俯卧撑标准动作；在预设时间内没有识别到新的俯卧撑动作，如用户在做俯卧撑的过程中突然停止，但又没有取消设备的俯卧撑检测功能时。

在实际场景中，对应于这些不同的预设条件，所播放的相关视频内容也可以示不同的具体内容，例如相关视频内容可以是当前获取到的俯卧撑视频，由此可以让用户实时查看到自己自己正在做的俯卧撑动作，还如相关视频内容可以是俯卧撑的教学视频，此时可以让用户对照标准的教学视频学习正确的俯卧撑动作，此外也可以是当前与用户正在进行交互的其它用户的交互视频，由此可以让用户能够在做俯卧撑的同时实现与其它用户的视频互动，提升社交体验。

通过此种方式，配合具有前置摄像头的移动设备，可以使得设备在采集俯卧撑视频的同时，可以通过显示屏向用户播放有助于提升社交体验的相关内容，例如同步播放采集到的俯卧撑视频、俯卧撑的教学视频、当前与用户正在进行交互的其它用户的视频内容等，从而使得本方案更加适用于移动社交场景，能够在不影响做俯卧撑的情况下，方便地查看移动设备，提升使用体验。

在本申请的一些实施例中，在获取包括用户脸部图像的俯卧撑视频之前，还可以获取检测触发信息。由此可以实现触发式的检测，用户通过在需要的时候输入触发信息即可主动控制设备取包括用户脸部图像的俯卧撑视频并执行后续的检测处理。在实际场景中，所述触发信息可以基于用户通过设备完成的触发操作实现输入，例如，用户在控制设备进入俯卧撑功能或应用时，点击开始按钮，使得设备获取到基于该点击开始按钮的操作所输入的触发信息，来启动俯卧撑视频的拍摄，使得设备执行后续步骤完成俯卧撑检测。

在此，本领域技术人员应当理解上述触发信息的具体输入形式仅为举例，现有或今后出现的基于类似原理的其它形式如果能够适用于本申请，也应该包含在本申请的保护范围内，并以引用的形式包含于此。

步骤S102，从所述俯卧撑视频中获取视频帧序列，所述视频帧序列中至少包括多个按照时间顺序排列的第一视频帧。其中，获取视频帧序列可以与获取俯卧撑视频实时同步完成，即在获取到俯卧撑视频的过程中，可以实时从俯卧撑视频中提取需要的视频帧序列，而无需等待整个俯卧撑视频拍摄完成后，在基于一段已经完成拍摄的视频数据从中提取视频帧序列，由此提高整个检测过程的效率。

在获取视频帧序列时，可以根据实际应用场景的需求，来选择获取视频帧序列的粒度，例如若需要最准确的检测效果，可以将俯卧撑视频中的每个第一视频帧作为视频帧序列，此时由于第一视频帧中包含了俯卧撑视频中的完整信息，以此进行检测所获得的结果将最为准确，但是由于需要处理的第一视频帧最多，因此计算负载将最高。

为了提高检测效率，在获取视频帧序列时，可以对俯卧撑视频进行采样，按照一定的比例从中提取第一视频帧，例如若俯卧撑视频时按照每秒30帧的格式拍摄获取的，则在获取视频帧序列时，可以按照每秒6帧的格式提取，即从俯卧撑视频中每5帧抽取1帧，形成视频帧序列。此外，为了避免遗漏关键帧，导致在提取视频帧序列的过程中造成关键信息丢失，可以根据用户俯卧撑动作的速度动态调整获取视频帧序列时提取第一视频帧的比例，当用户俯卧撑动作的速度较快时采样的比例可以较高，如每秒提取10帧，当用户俯卧撑动作的速度较快时采样的比例可以较低，如每秒提取4帧等。由此，可以在提高检测效率的同时，避免关键信息丢失，提高检测的准确性。

步骤S103，识别用户脸部图像在对应第一视频帧中的位置信息。

其中，所述用户脸部图像所对应的具体对象可以根据实际应用需求设定，所述用户脸部图像可以是用户五官的图像、用户眼睛的图像、用户嘴巴的图像、用户鼻子的图像或者是用户脸部皮肤的图像，此外也可以采用上述几种的组合。通过对各个第一视频帧分别进行图像识别处理，即可从每个第一视频帧中识别出用户脸部图像在对应第一视频帧中的位置信息。

在本实施例中，所述位置信息可以采用坐标的形式表示，例如以第一视频帧的图像范围的某一个顶点作为坐标原点，建立平面坐标系，以每个像素点作为坐标单位，由此可以通过坐标的形式标示出用户脸部图像在对应第一视频帧中的位置。其中，表示位置信息的方式可以是根据用户脸部图像的具体形式，预先设定好对齐点，例如当使用用户嘴巴的图像作为用户脸部图像时，则可以设定嘴巴图像最右侧的像素点为对齐点，从而在每个第一视频帧中确定位置信息。对齐点的数量可以根据实际场景的需求设定为大于1个，例如可以设定为3个、5个等。

在本申请的一些实施例中，可以采用神经网络算法实现位置信息的识别，即将每个第一视频帧输入预先训练完成的神经网络，输出用户脸部图像在对应第一视频帧中的位置信息。

步骤S104，根据用户脸部图像在每个第一视频帧中的位置信息，确定用户脸部图像在每个第一视频帧中的大小信息。其中，所述大小可以采用像素坐标值的形式表示，即用户脸部图像中对齐点的像素坐标值。以图3和图4两个第一视频帧为例，若设定对齐点为用户五官的图像中最右侧的点，其坐标系的原点为第一视频帧左下角的顶点，则图3中用户脸部图像的大小信息即为对齐点p1的像素坐标值(x1、y1)，而图4中的用户脸部图像的大小信息即为对齐点p2的像素坐标值(x2、y2)。在实际使用时，也可以仅采用其中一个坐标轴的坐标值，例如仅使用x轴的像素坐标值x1和x2。

步骤S105，根据用户脸部图像在视频帧序列中的大小信息的变化情况，识别用户的俯卧撑动作。在确定对视频帧序列中每个第一视频帧的大小信息之后，即可根据其大小信息在时间维度上的变化情况，基于俯卧撑动作的运动规律可知，大小信息的连续变化过程应当是具有周期性的，每一个俯卧撑动作，即对应大小信息由“小-大-小”或者是“大-小-大”的变化过程，直至用户停止做俯卧撑。

通过此种方式，即可在获取视频帧序列中所有第一视频帧之间大小信息的连续变化过程后，由此，根据用户脸部图像在视频帧序列中的大小信息的变化情况，识别用户的俯卧撑动作。对于识别出的俯卧撑动作，可以对其进行记录，保存在本地或上传到云端，记录的内容可以包括俯卧撑动作对应的视频内容、俯卧撑的频率、俯卧撑的数量等。

图5示出了本申请实施例中识别用户俯卧撑动作的一种处理方式的流程，至少包括以下的处理步骤：

步骤S501，按照视频帧序列中第一视频帧排列的时间顺序，确定用户脸部图像的大小信息的变化序列。例如若连续10个第一视频帧中的大小信息采用了x轴的像素坐标值，将其按按照时间顺序排列后，可以组成如下的变化序列[840,800,850,900,950,910,845,795,850,899]。

步骤S502，确定所述变化序列中大小信息的极大值和极小值。在求解极大值和极小值时，可以先基于变化序列中的离散数值拟合函数，然后通过计算导数的方式，确定这些离散数值中的极大值和极小值。在本实施例的上述变化序列中，极大值为950，对应第5个第一视频帧，极小值为800和795，对应第2和第8个第一视频帧。

步骤S503，将基于极大值和极小值的周期性变化过程，识别为用户的一次俯卧撑动作。其中，周期性变化过程可以是指由极大值变化为极小值、再变化为极大值的变化过程，或者是由极小值变化为极大值、再变化为极小值的变化过程。在本实施例中，由周期性变化过程即为第2至第8个第一视频帧的所对应变化过程，由此可以识别出用户在第2至第8个第一视频帧的过程中，完成了一次俯卧撑动作。基于此原理可以识别出一段视频内用户所做出的所有俯卧撑动作，对俯卧撑动作进行准确地计数，以便于满足用户使用关于俯卧撑的社交需求。

在此，本领域技术人员应当理解上述位置信息、大小信息的具体形式仅为举例，现有或今后出现的基于类似原理的其它形式如果能够适用于本申请，也应该包含在本申请的保护范围内，并以引用的形式包含于此。例如，所述位置信息也可以是组成用户脸部图像的轮廓的像素点的坐标，而大小信息则可以是用户脸部图像的轮廓所覆盖范围内的像素点的数量，由此同样可以基于此种形式的大小信息，通过其变化情况来识别用户的俯卧撑动作。

步骤S106，在识别到用户的俯卧撑动作后，从所述俯卧撑视频中提取至少一个第二视频帧。

步骤S107，将所述第二视频帧作为社交图片在社交平台分享。当识别到用户的俯卧撑动作之后，即可确定用户在俯卧撑视频采集的过程中处于正在做俯卧撑的状态，此时，从所述俯卧撑视频中提取的第二视频帧中包含了用户在做俯卧撑过程中面部表情，可以将其作为社交图片在社交平台中分享，可以提升社交时的趣味性。

由于在社交场景中，用户往往希望自己分享的信息能够获得更高的关注度，因此本申请的一些实施例中，在从所述俯卧撑视频中提取至少一个第二视频帧时，可以先从所述俯卧撑视频中提取多个候选视频帧，然后在所述多个候选视频帧中确定至少一个热门程度符合第一预设条件的第二视频帧，从而使得用于分享的社交图片能够在社交活动中获得更高的关注度，进一步提升社交的体验。

其中，所述热门程度可以表示一张第二视频帧作为社交图片时的受欢迎程度，在在所述多个候选视频帧中确定至少一个热门程度符合第一预设条件的第二视频帧时，可以先将每个候选视频帧输入预先训练完成的神经网络，输出对应候选视频帧的热门程度值，所述热门程度值可以是能够表示图片热门程度的分数。

该神经网络训练时，可以从社交平台上获取样本图片。其中，样本图片可以来自于社交平台上不同用户所分享的图片，这些图片可以是与本方案所分享的社交图片的同类图片，即同样是其它用户在做俯卧撑时所拍摄的包括用户脸部图像的图片，通过对这些样本图片打分，来对样本图片的热门程度值进行标注。其中，打分的方式可以是由用户通过人工的方式进行主观的评价，也可以是采集与这些样本图片相关的其它信息进行评价，例如可以采集这些样本图片在发布后所收到的互动次数，如点赞数、评论数、转发数等，然后基于这些数值以预设的计算规则计算出热门程度值，或者也可以是直接使用这些数值作为热门程度值。

基于标注了热门程度值的样本图片即可对神经网络进行训练，通过迭代的方式不断调整神经网络的参数，使得损失函数符合训练要求，即可完成神经网络的训练。由此，通过训练完成的神经网络，即可对输入的候选视频帧进行预测，预测出候选视频帧的热门程度值。

在获取了各个候选视频帧的热门程度值之后，可以将热门程度值最高的候选视频帧确定为热门程度符合第一预设条件的第二视频帧，由此可以将俯卧撑视频中热门程度最高的画面作为社交图片在社交平台中分享，提升用户的社交体验。例如，本实施例中从一段俯卧撑视频中提取了10个候选视频帧，分别为f1～f10，将这10个候选视频帧输入训练完成的神经网络之后，输出10个分别对应于f1～f10的热门程度值K1～K10。对这些热门程度值进行排序后，排序结果为：K5＞K4＞K8＞K9＞K1＞K2＞K3＞K7＞K10＞K6，由此可知候选视频帧f5对应的热门程度值K5最高，则可以将候选视频帧f5确定为热门程度符合第一预设条件的第二视频帧。

在此，本领域技术人员应当理解上述热门程度符合第一预设条件的具体形式仅为举例，现有或今后出现的基于类似原理的其它形式如果能够适用于本申请，也应该包含在本申请的保护范围内，并以引用的形式包含于此。例如，根据实际选取第二视频帧时的需求不同，也可以选取热门程度值排序靠前的N个候选视频帧，作为热门程度符合第一预设条件的第二视频帧，或者也可以将所有热门程度值超过某一阈值的候选视频帧都确定为热门程度符合第一预设条件的第二视频帧等。

在本申请的另一些实施例中，为了使得上传的图片具有更高的质量，可以在提取候选视频帧是对俯卧撑视频中所包含的视频帧进行一次有目的的筛选。由此，在从所述俯卧撑视频中提取多个候选视频帧时，可以从所述俯卧撑视频中提取多个图片质量符合预设第二预设条件的候选视频帧，以便于控制社交图片的质量，提升社交体验。

在提取候选视频帧时，同样可以利用神经网络实现，首先可以将所述俯卧撑视频中的视频帧输入预先训练完成的神经网络，输出对应视频帧的图片质量值，然后将图片质量值高于预设值的视频帧确定为图片质量符合第二预设条件的候选视频帧。

其中，所述图片质量可以是指图片本身在数据属性上的质量，如清晰度等，由此可以使得最终获得的、用于分享的社交图片的清晰度较高。此外，图片质量也可以是指图片所表达的内容在社交属性上的质量，如图片中的内容是否足够美观、图片的画面表达是否有足够的趣味性等，由此可以使得最终获得的、用于分享的社交图片能够更加符合社交场景的需求，如其中包含了趣味性较高的表情，拍摄到的脸部图像内容较为美观等。在不同的应用场景下，可以根据实际需求选择任意一种或多种形式的图片质量，来对俯卧撑视频中的视频帧进行筛选，从而获取高质量的候选视频帧。相应地，神经网络所输出的图片质量值，也可以是图片清晰度、图片美观度以及图片趣味度等一种或几种具体数值的组合。

该神经网络训练时，可以对样本图片通过人工标注的方式确定其对应的图片质量值，然后输入神经网络进行训练，通过迭代的方式不断调整神经网络的参数，使得损失函数符合训练要求，即可完成神经网络的训练。由此，通过训练完成的神经网络，即可对输入的俯卧撑视频中的视频帧进行预测，预测出这些视频帧的图片质量值。

图6示出了采用本申请实施提供的方案实现社交图片分享时的处理流程，至少包括了以下的处理步骤：

步骤S601，通过摄像头拍摄获取俯卧撑视频并提取视频帧序列，然后基于视频帧序列检测拍摄到的用户是否在做俯卧撑。

步骤S602，若检测到在做俯卧撑，则对俯卧撑视频中的视频帧进行质量判断，判断视频帧的图片质量是否符合要求。

步骤S603，对于图片质量符合要求的视频帧，加入大侯选池中作为候选视频帧。

步骤S604，判断候选池中的候选视频帧的热门程度是否符合要求。

步骤S605，对于符合要求的候选视频帧，确定为第二视频帧，并作为社交图片在社交平台上发布进行分享。

由此，在准确地检测用户俯卧撑动作的同时，可以从所述俯卧撑视频中提取至少一个包括用户脸部图像的第二视频帧，然后将所述第二视频帧作为社交图片在社交平台中分享，从而能够自动捕捉并分享俯卧撑过程中的图片，以满足用户使用关于俯卧撑的社交需求，提升社交体验。

在本申请的另一些实施例中，若为了进一步提升俯卧撑识别的可靠性，避免用户通过其它动作模拟俯卧撑动作来进行作弊，可以在识别俯卧撑之外，额外增加一用于鉴伪的功能模块。由此，本申请实施例提供的基于俯卧撑检测的社交分享方法中，还可以包括如图7所示的处理步骤：

步骤S701，识别对应第一视频帧中用户的心跳表征信息。在本申请的一些实施例中，可以采用神经网络算法实现心跳表征信息的识别，即将每个第一视频帧输入预先训练完成的神经网络，输出对应第一视频帧中用户的心跳表征信息。

步骤S702，根据视频帧序列中的心跳表征信息的变化情况，确定用户的心跳频率。

所述心跳表征信息包括对应心脏收缩的表征信息和对应心脏舒张的表征信息，当心跳表征信息发生一次周期性的变化，即表示一次心跳的过程。例如，在本实施例中可以将对应心脏收缩的表征信息记录为“+1”，将对应心脏舒张的表征信息记录为“-1”，当心跳表征信息由+1变化为-1、再变化为+1的过程，即可认为是一次心跳。由此，可以确定心跳与视频帧序列之间的对应关系，如每M个第一视频帧N次心跳。进一步地，结合视频帧序列的帧速，即可确定用户该段时间内的心率，例如当视频帧序列的帧速为每秒10帧时，此时的心率即为10N/M次/秒。

由于第一视频帧中包括了用户脸部视频，因此可以识别用户额头部位在心脏舒张和心脏收缩时的不同特点，例如在心脏收缩时由于动脉血液的泵出，流经额头的血液颜色应当是偏红的，而当心脏舒张时由于静脉血液的回流，流经额头的血液颜色应当是偏暗的，此时可以采用光学识别的方式识别额头的不同颜色，以确定为不同的心跳表征信息。在此，本领域技术人员应当理解上述心跳表征信息的具体形式仅为举例，现有或今后出现的基于类似原理的其它形式如果能够适用于本申请，也应该包含在本申请的保护范围内，并以引用的形式包含于此。

在根据心跳表征信息的变化情况确定用户的心跳频率时，同样可以利用心跳表征信息所对应的变化序列中的极大值和极小值，来实现周期的判断，进而确定心跳频率。其具体处理过程可以如下：首先，按照视频帧序列中第一视频帧排列的时间顺序，确定用户脸部图像的心跳表征信息的变化序列，然后确定所述变化序列中大小信息的极大值和极小值，最后将基于极大值和极小值的周期性变化时间，确定为用户的一次心跳时间，并基于所述心跳时间确定用户的心跳频率。

步骤S703，根据所述心跳频率以及已识别到的俯卧撑动作的频率和/或数量，确定当前识别到的俯卧撑动作的可信度。由于在实际场景中，用户的心跳频率会跟用户的运动强度存在一定的关联，即俯卧撑做的越多、越快，心跳频率往往也会随之上升，例如用户刚开始做俯卧撑时其心跳频率往往较低，而当用户做了一段俯卧撑之后，其心跳频率会处于在一个较高的数值。

由此可以基于这一原理，根据所述心跳频率以及已识别到的俯卧撑动作的频率和/或数量，确定当前识别到的俯卧撑动作的可信度，若用户通过其它不耗费体力的动作模拟俯卧撑动作时拍摄到的视频画面，则心跳频率和已经识别到的俯卧撑动作的频率和/或数量，将会出现不符合关联关系的情况，此时将会获得一个较低的可信度。反之，若对于真实在做俯卧撑的用户，其所获取到的心跳频率和已经识别到的俯卧撑动作的频率和/或数量，将会符合一定的关联关系，此时将获得一个较高的可信度。由此，可以判断用户所做的俯卧撑是否有效，避免用户作弊，提高基于俯卧撑的社交的趣味性和监督能力。例如，在实际场景中，可以设定一个可信度的阈值，当所确定的俯卧撑动作的可信度低于该阈值时，可以判定用户所做的俯卧撑无效，通过向用户发送消息的方式进行提醒，告知用户判定无效的结果。此外，可以提醒之后或者是不经过提醒取消本次俯卧撑的统计结果，如直接将统计的俯卧撑数量清零，并在可信度高于该阈值后重新开始统计，由此可以更加适用于多个用户之间进行俯卧撑竞赛的社交场景，从而提升社交体验。

在本申请的一些实施例中，可以采用神经网络算法实现可信度的计算，即将当前确定的心跳频率以及已识别到的俯卧撑动作的频率和/或数量输入预先训练完成的神经网络，输出可信度。在实际场景中，所述可信度可以是(0-1)这一数值区间的值，可以通过设定一个可信度阈值，将当前确定的可信度与该可信度阈值比较，若大于可信度阈值，则判定当前的识别到的俯卧撑动作是可信、有效的，而若小于可信度阈值，则判定当前的识别到的俯卧撑动作是不可信、无效的。

在本申请的另一些实施例中，还可以通过检测采集装置是否发生过移动来判断当前的检测过程是否为有效检测，其中是否发生过移动可以通过采集装置在检测过程中的位移幅度来进行判断，例如位移超过的某一预设的距离，则表示当前检测无效。由此，本申请实施例提供的俯卧撑检测方法中，还可以获取用于获取包括用户脸部图像的俯卧撑视频的采集装置在检测过程中的位移幅度，若所述位移幅度超过预设值，则表示采集装置发生了一定程度的移动，当前的检测将被判定为无效，此时可以暂停或结束本次俯卧撑检测。若采用了暂停的处理方式，则可以等待位移动作结束后，继续本次俯卧撑检测，而当采用了结束的处理方式，则可以可以等待位移动作结束后，重新开始一次新的俯卧撑检测。

图8示出了采用本申请实施提供的另一种方案实现社交图片分享时的处理流程，该方案中进一步结合了俯卧撑动作的鉴伪处理，从而可以进一步提高俯卧撑识别的可靠性，具体包括了以下的处理步骤：

步骤S801，通过摄像头拍摄获取俯卧撑视频并提取第一视频帧。

步骤S802，通过第一视频帧检测用户人脸图像的大小信息。

步骤S803，根据大小信息的变化情况，识别俯卧撑动作，确定俯卧撑动作的数量和频率。

步骤S804，通过第一视频帧检测心跳表征信息；

步骤S805，根据心跳表征信息的变化情况计算心跳频率。

步骤S806，根据俯卧撑动作的频率和心跳频率计算俯卧撑动作的可信度。

步骤S807，基于可信度判断俯卧撑动作是否有效，若无效，则返回重新检测。

步骤S808，若有效，输出结果，如俯卧撑数量、频率等。

步骤S809，若检测到在做俯卧撑，则对俯卧撑视频中的视频帧进行质量判断，判断视频帧的图片质量是否符合要求。

步骤S810，对于图片质量符合要求的视频帧，加入大侯选池中作为候选视频帧。

步骤S811，判断候选池中的候选视频帧的热门程度是否符合要求。

步骤S812，对于符合要求的候选视频帧，确定为第二视频帧，并作为社交图片在社交平台上发布进行分享。

由此，用户通过任意具有摄像功能的用户设备，例如手机、平板电脑等设备中的摄像头即可采集到需要的俯卧撑视频，并且通过后续的处理可以准确地检测出用户的每一次俯卧撑动作，以便于满足用户使用关于俯卧撑的社交需求。

基于同一发明构思，本申请实施例中还提供了一种基于俯卧撑识别的社交分享设备，所述设备对应的方法是前述实施例中的基于俯卧撑识别的社交分享方法，并且其解决问题的原理与该方法相似。该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行前述的基于俯卧撑识别的社交分享方法。

图9示出了适用于实现本申请实施例中的方法和/或技术方案的一种设备的结构，该设备900包括中央处理单元(CPU，Central Processing Unit)901，其可以根据存储在只读存储器(ROM，Read Only Memory)902中的程序或者从存储部分908加载到随机访问存储器(RAM，Random Access Memory)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有系统操作所需的各种程序和数据。CPU 901、ROM 902以及RAM903通过总线904彼此相连。输入/输出(I/O，Input/Output)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标、触摸屏、麦克风、红外传感器等的输入部分906；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，LiquidCrystal Display)、LED显示器、OLED显示器等以及扬声器等的输出部分907；包括硬盘、光盘、磁盘、半导体存储器等一个或多个计算机可读介质的存储部分908；以及包括诸如LAN(局域网，Local Area Network)卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。

特别地，本申请实施例中的方法和/或实施例可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在该计算机程序被中央处理单元(CPU)901执行时，执行本申请的方法中限定的上述功能。

需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图或框图示出了按照本申请各种实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的针对硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个计算机程序指令，所述计算机程序指令可被处理器执行以实现前述本申请的多个实施例的方法和/或技术方案。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (18)

1.一种基于俯卧撑检测的社交分享方法，其中，该方法包括：

获取包括用户脸部图像的俯卧撑视频；

从所述俯卧撑视频中获取视频帧序列，所述视频帧序列中至少包括多个按照时间顺序排列的第一视频帧；

识别用户脸部图像在对应第一视频帧中的位置信息；

根据用户脸部图像在每个第一视频帧中的位置信息，确定用户脸部图像在每个第一视频帧中的大小信息；

根据用户脸部图像在视频帧序列中的大小信息的变化情况，识别用户的俯卧撑动作；

在识别到用户的俯卧撑动作后，从所述俯卧撑视频中提取至少一个第二视频帧；

将所述第二视频帧作为社交图片在社交平台分享。

2.根据权利要求1所述的方法，其中，从所述俯卧撑视频中提取至少一个包括用户脸部图像的第二视频帧，包括：

从所述俯卧撑视频中提取多个候选视频帧；

在所述多个候选视频帧中确定至少一个热门程度符合第一预设条件的第二视频帧。

3.根据权利要求2所述的方法，其中，在所述多个候选视频帧中确定至少一个热门程度符合第一预设条件的第二视频帧，包括：

将每个候选视频帧输入预先训练完成的神经网络，输出对应候选视频帧的热门程度值；

将热门程度值最高的候选视频帧确定为热门程度符合第一预设条件的第二视频帧。

4.根据权利要求2所述的方法，其中，从所述俯卧撑视频中提取多个候选视频帧，包括：

从所述俯卧撑视频中提取多个图片质量符合预设第二预设条件的候选视频帧。

5.根据权利要求4所述的方法，其中，从所述俯卧撑视频中提取多个图片质量符合预设第二预设条件的候选视频帧，包括：

将所述俯卧撑视频中的视频帧输入预先训练完成的神经网络，输出对应视频帧的图片质量值；

将图片质量值高于预设值的视频帧确定为图片质量符合第二预设条件的候选视频帧。

6.根据权利要求5所述的方法，其中，所述图片质量值包括：图片清晰度、图片美观度和/或图片趣味度。

7.根据权利要求1所述的方法，其中，识别用户脸部图像在对应第一视频帧中的位置信息，包括：

将每个第一视频帧输入预先训练完成的神经网络，输出用户脸部图像在对应第一视频帧中的位置信息。

8.根据权利要求1所述的方法，其中，根据用户脸部图像在视频帧序列中的大小信息的变化情况，识别用户的俯卧撑动作，包括：

按照视频帧序列中第一视频帧排列的时间顺序，确定用户脸部图像的大小信息的变化序列；

确定所述变化序列中大小信息的极大值和极小值；

将基于极大值和极小值的周期性变化过程，识别为用户的一次俯卧撑动作。

9.根据权利要求8所述的方法，其中，所述大小信息包括用户脸部图像中对齐点的像素坐标值。

10.根据权利要求1所述的方法，其中，所述用户脸部图像包括以下至少任意一项：

用户五官的图像；

用户眼睛的图像；

用户嘴巴的图像；

用户鼻子的图像；

用户脸部皮肤的图像。

11.根据权利要求1所述的方法，其中，获取包括用户脸部图像的俯卧撑视频，包括：

设置俯卧撑视频的拍摄方向与用户俯卧撑的动作方向之间的夹角小于预设值，并基于所述拍摄方向获取包括用户脸部图像的俯卧撑视频。

12.根据权利要求1所述的方法，其中，所述方法还包括：

在满足预设条件时，向用户播放相关视频内容，其中，所述预设条件包括以下至少任意一项：

当前正在获取包括用户脸部图像的俯卧撑视频；

当前识别到的用户的俯卧撑动作不符合俯卧撑标准动作；

在预设时间内没有识别到新的俯卧撑动作。

13.根据权利要求1至12中任一项所述的方法，其中，该方法还包括：

识别对应视频帧中用户的心跳表征信息，所述心跳表征信息包括对应心脏收缩的表征信息和对应心脏舒张的表征信息；

根据视频帧序列中的心跳表征信息的变化情况，确定用户的心跳频率；

根据所述心跳频率以及已识别到的俯卧撑动作的频率和/或数量，确定当前识别到的俯卧撑动作的可信度。

14.根据权利要求13所述的方法，其中，根据视频帧序列中的心跳表征信息的变化情况，确定用户的心跳频率，包括：

按照视频帧序列中视频帧排列的时间顺序，确定用户脸部图像的心跳表征信息的变化序列；

确定所述变化序列中大小信息的极大值和极小值；

将基于极大值和极小值的周期性变化时间，确定为用户的一次心跳时间，并基于所述心跳时间确定用户的心跳频率。

15.根据权利要求13所述的方法，其中，识别对应视频帧中用户的心跳表征信息，包括：

将每个视频帧输入预先训练完成的神经网络，输出对应视频帧中用户的心跳表征信息。

16.根据权利要求13所述的方法，其中，根据所述心跳频率和俯卧撑动作的频率，确定当前识别到的俯卧撑动作的可信度，包括：

将所述心跳频率和俯卧撑动作的频率输入预先训练完成的神经网络，输出当前识别到的俯卧撑动作的可信度。

17.一种基于俯卧撑检测的社交分享设备，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行权利要求1至16中任一项所述的方法。

18.一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现如权利要求1至16中任一项所述的方法。

Images