CN113726465A - 时间戳同步方法和设备 - Google Patents

Abstract

本申请涉及姿态识别技术领域，尤其涉及一种时间戳同步方法和设备。其中，所述方法包括：根据N个设备已拍摄的第一图像，确定所述N个设备的第一帧率，其中N≥2；根据所述N个设备的第一帧率，确定所述N个设备的取图帧率；其中，按照所述N个设备的取图帧率，从所述N个设备拍摄的第二图像中取图并基于所取图像执行人体姿态识别算法。本申请实施例方案能够在基于多个设备所拍摄的用户图像进行姿态识别的场景中，解决多个设备时间戳同步的问题。

Description

时间戳同步方法和设备

技术领域

本申请涉及姿态识别技术领域，尤其涉及一种时间戳同步方法和设备。

背景技术

随着计算机视觉技术的发展，人体姿态识别已经应用在智能视频监控、智能家居、运动健身、人机交互和医学康复等领域。人体姿态识别主要是将与人体姿态相关的图像作为输入数据输入到人体姿态识别算法中，然后通过人体姿态识别算法从输入的图像中识别出可能的人体动作。

相关技术中，可以通过单一设备拍摄用户图像，并基于该单一设备拍摄的图像进行人体姿态的识别。但此方式的缺点是，单一设备摄像头的镜头视角有限，可能无法拍摄到用户的完整信息。而且用户所处场景中的某些摆设可能对用户肢体形成遮挡，导致所拍摄图像中用户的部分肢体区域缺失，进而影响对用户动作的识别。为此可以通过多个设备从多角度对用户进行拍摄，并根据多个设备拍摄的用户图像综合评价用户动作。而在通过多个设备采集用户图像的场景中，首先要解决的问题是如何对多个设备进行时间戳同步。在多个设备时间戳同步的前提下，才能准确进行用户动作的多角度识别。

发明内容

本申请提供一种时间戳同步方法和设备，以在基于多个设备所拍摄的用户图像进行姿态识别的场景中，解决多个设备时间戳同步的问题。

第一方面，本技术方案提供了一种时间戳同步方法，包括：

根据N个设备已拍摄的第一图像，确定所述N个设备的第一帧率，其中N≥2；

根据所述N个设备的第一帧率，确定所述N个设备的取图帧率；

其中，按照所述N个设备的取图帧率，从所述N个设备拍摄的第二图像中取图并基于所取图像执行人体姿态识别算法。

本申请实施例方法应用于多设备拍摄用户动作的姿态识别场景中。具体的，该方法根据各个设备的第一帧率确定各设备的取图帧率；后续在进行人体姿态识别时，按照取图帧率从各设备拍摄的图像中取图并基于所取图像执行人体姿态识别算法。通过该方法可以实现各设备的时间戳同步。

结合第一方面，在第一方面的某些实现方式中，所述第一图像为：在提示用户做特定动作的过程中，由所述N个设备对用户进行拍摄得到。

结合第一方面，在第一方面的某些实现方式中，所述方法还包括：

确定用于提示用户做特定动作的提示信息的结束时间；

根据所述结束时间确定基于所述取图帧率取图以及基于所取图像执行人体姿态识别算法的起始时间。

结合第一方面，在第一方面的某些实现方式中，根据N个设备已拍摄的第一图像，确定所述N个设备的第一帧率，包括：

根据所述N个设备对各自已拍摄的所述第一图像执行人体姿态识别算法的帧率，确定所述N个设备的第一帧率。

结合第一方面，在第一方面的某些实现方式中，根据所述N个设备的第一帧率，确定所述N个设备的取图帧率，包括：

确定所述N个设备的第一帧率的最大公约数；

根据所述最大公约数确定所述N个设备的取图帧率。

结合第一方面，在第一方面的某些实现方式中，在基于所取图像执行人体姿态识别算法的过程中，所述方法还包括：

根据所述N个设备拍摄的第二图像，确定所述N个设备的第一帧率是否跳变；

如果所述N个设备中的至少一个设备的第一帧率产生跳变，则重新确定所述N个设备的取图帧率。

第二方面，本技术方案提供了一种时间戳同步设备，包括：确定单元，用于根据N个设备已拍摄的第一图像，确定所述N个设备的第一帧率，其中N≥2；以及根据所述N个设备的第一帧率，确定所述N个设备的取图帧率；姿态识别单元，用于按照所述N个设备的取图帧率，从所述N个设备拍摄的第二图像中取图并基于所取图像执行人体姿态识别算法。

结合第二方面，在第二方面的某些实现方式中，所述设备还包括：提示单元，用于提示用户做特定动作；所述第一图像为：在提示用户做特定动作的过程中，由所述N个设备对用户进行拍摄得到。

结合第二方面，在第二方面的某些实现方式中，所述确定单元还用于确定用于提示用户做特定动作的提示信息的结束时间；根据所述结束时间确定基于所述取图帧率取图以及基于所取图像执行人体姿态识别算法的起始时间。

结合第二方面，在第二方面的某些实现方式中，所述确定单元，具体用于根据所述N个设备对各自已拍摄的所述第一图像执行人体姿态识别算法的帧率，确定所述N个设备的第一帧率。

结合第二方面，在第二方面的某些实现方式中，所述确定单元，具体用于确定所述N个设备的第一帧率的最大公约数；根据所述最大公约数确定所述N个设备的取图帧率。

结合第二方面，在第二方面的某些实现方式中，所述确定单元，还用于根据所述N个设备拍摄的第二图像，确定所述N个设备的第一帧率是否跳变；如果所述N个设备中的至少一个设备的第一帧率产生跳变，则重新确定所述N个设备的取图帧率。

第三方面，本技术方案提供了一种电子设备，包括：显示屏；摄像头；一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行以下步骤：根据N个设备已拍摄的第一图像，确定所述N个设备的第一帧率，其中N≥2；根据所述N个设备的第一帧率，确定所述N个设备的取图帧率；其中，按照所述N个设备的取图帧率，从所述N个设备拍摄的第二图像中取图并基于所取图像执行人体姿态识别算法。

第四方面，本技术方案提供了一种电子设备，所述设备包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现所述第一方面或者第一方面的任一可能的实现方式中的方法。

第五方面，本技术方案提供了一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第一方面或第一方面的任一可能的实现方式中的方法。

可选的，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面或第一方面的任一可能的实现方式中的方法。

第六方面，本技术方案提供了一种计算机可读存储介质，所述计算机可读介质存储用于设备执行的程序代码，所述程序代码包括用于执行第一方面或者第一方面的任一可能的实现方式中的方法的指令。

附图说明

图1是本申请实施例提供的电子设备的一种结构示意图；

图2是本申请实施例提供的时间戳同步方法的一个示意性流程图；

图3是本申请实施例提供的基于多设备进行人体姿态识别的场景示意图；

图4是本申请实施例提供的时间戳同步方法的另一个示意性流程图；

图5是本申请实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

如背景技术部分所介绍，当使用多个设备拍摄用户图像并基于该多个设备拍摄的用户图像执行人体姿态识别算法时，容易出现多个设备时间戳不同步的问题。例如，在人体姿态识别场景中，第一设备和第二设备分别从第一视角和第二视角拍摄用户图像。第一设备的拍摄帧率为x₁，第二设备的拍摄帧率为x₂，x₁不同于x₂。当需要基于第一视角和第二视角的用户图像执行人体姿态识别算法并从第一视角和第二视角对用户动作进行综合评价时，由于第一设备和第二设备的拍摄帧率不同，第一设备和第二设备对所拍摄图像进行动作识别时的处理帧率也不同，导致第一设备和第二设备进行用户动作识别的用户图像的时间不同步。并且由于用于执行人体姿态识别算法的该两个设备的用户图像的时间难以对齐，从而影响对用户动作的多角度识别。为此在多设备拍摄用户动作的姿态识别场景中，需要一种对多设备进行时间戳同步的方案。

本申请实施例提供了一种时间戳同步方法，该方法应用于多设备拍摄用户动作的姿态识别场景中。具体的，该方法根据各个设备的第一帧率确定各设备的取图帧率；后续在进行人体姿态识别时，按照取图帧率从各设备拍摄的图像中取图并基于所取图像执行人体姿态识别算法。通过该方法能够确保用于执行人体识别算法的各设备的用户图像的时间同步，实现各设备的时间戳同步。

本申请实施例的时间戳同步方法可以应用于具有显示屏的手机、平板电脑、计算机、大屏装置、可穿戴设备、车载设备、智能家居设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备等电子设备上。其中，所述大屏装置例如可以是电视机、智慧屏等设备。智慧屏是一种新型大屏设备，在具有显示功能的基础上，还具有与手机、平板、车载设备、家居设备等互联互通的功能，是家庭物联网的连接入口。本申请实施例对电子设备的具体类型不作任何限制。

示例性的，图1示出了本申请实施例提供的电子设备100的一种结构示意图。所述电子100可以作为拍摄用户图像的拍摄设备，也可以作为执行本申请实施例时间戳同步方法的执行设备。进一步，所述电子100作为其中一个拍摄设备的同时也可以执行本申请实施例时间戳同步方法的部分或者全部步骤。如图1所示，电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriberidentification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

例如，在本申请中，当电子设备100作为拍摄设备时，该设备中的摄像头193以其所在的拍摄视角拍摄用户图像。该设备中的ISP将摄像头193反馈的关于用户图像的电信号转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP可以将数字图像信号转换成标准的RGB，YUV等格式的图像信号。

当电子设备100具有执行人体姿态识别算法的功能时，上述基于DSP处理生成的关于用户图像的图像信号可以发送给NPU进行人体姿态的识别，例如基于用户图像识别用户的关节点和用户动作等。进一步，经过DSP识别的人体姿态可以在显示屏194中进行显示。另外，在显示屏194中还可以显示参考动作。例如，在健身场景中，显示屏194中可以显示健身指导动作。当识别到用户动作后，将用户动作显示在显示屏194中。可选的，用户动作和健身指导动作可以同时显示在显示屏194中。

当电子设备100具有执行本申请实施例时间戳同步方法的功能时，电子设备100中的NPU或者控制器可以基于其自身采集的用户图像和/或其它设备拍摄的用户图像执行该时间戳同步方法。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如图像数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。

为了便于理解，本申请以下实施例将以具有图1所示结构的电子设备为例，结合附图和应用场景，对本申请实施例提供的时间戳同步方法进行具体阐述。

图2是本申请实施例提供的时间戳同步方法的一个示意性流程图。本申请实施例应用于多设备拍摄拍摄用户动作的姿态识别场景中。可选的，该多个设备分别从不同的视角拍摄用户动作，由此可以根据多视角的用户图像评价用户动作。如图2所示，该实现多设备时间戳同步的方法步骤包括：

101，根据N个设备已拍摄的第一图像，确定N个设备的第一帧率。

本申请实施例中，使用N个设备拍摄用户动作，其中，N≥2。可选的，该N个设备分别从不同视角拍摄用户动作，以在后续进行人体姿态识别时从N个视角分析用户动作。

为了实现N个设备的时间戳同步，首先确定该N个设备的第一帧率。所述第一帧率是指各设备基于用户图像执行人体姿态识别算法的帧率。例如，对于第一设备，其一秒内拍摄x₁帧图像。在该一秒的时间内，第一设备能够对x₁帧图像中的m帧执行人体姿态识别算法，即第一设备的第一帧率为m帧每秒。本申请实施例中，确定该N个设备的第一帧率的方式可以是，根据N个设备已经拍摄的图像确定该N个设备的第一帧率。其中，为了描述方便，本实施例中将N个设备已经拍摄的图像称为第一图像。对于每个设备而言，其所对应的第一图像的数量为多张。即，根据N个设备已经拍摄的图像数据流分别确定该N个设备的第一帧率。具体的，在获取N个设备已拍摄的图像时，可以提示用户做特定动作；在提示用户做特定动作的过程中，N个设备持续进行拍摄以得到该N个设备的第一图像。在获取N个设备所拍摄的第一图像后，分别根据各个设备基于第一图像执行人体姿态识别算法的帧率，确定N个设备的第一帧率。

在一个示例中，在播放特定动作时，N个设备以各自的拍摄帧率持续拍摄用户动作。此时，可以实时对各设备拍摄的用户图像执行人体姿态识别算法，并根据各设备对用户图像执行人体姿态识别算法的帧率确定各设备的第一帧率。本示例中，用于提示用户动作的特定动作可以包括一个或多个健身动作，例如包括蹲起动作、压腿动作等。对于每个健身动作而言，其起始时间和结束时间是既定的。对于各个设备而言，其所采集图像的起始时间和结束时间也是既定的，即计算各设备第一帧率的时间是既定且对齐的。进一步，由于各设备执行软件算法的效率不同、各设备的硬件配置不同等因素均会影响各设备执行人体姿态识别算法，因此，本示例中采用实时方式获取各设备拍摄的图像并计算各设备的第一帧率，由此可以将各设备执行软件算法的效率、硬件配置等因素考虑在内，使获得的各设备的第一帧率更符合各设备的实际情况，提高所获取第一帧率的准确性，进而有利于后续进行各设备的时间戳对齐。

可选的，上述提示用户做特定动作，可以采用语音提示方式，也可以采用视频提示方式。在一个示例中，在大屏装置，例如电视中播放特定视频动作。在播放特定视频动作的过程中，N个用于拍摄用户动作的设备以各自的拍摄帧率持续进行拍摄。当特定视频动作播放完毕后，N个设备停止拍摄，并根据N个设备在特定视频动作播放过程中所拍摄的图像(即第一图像)确定N个设备的第一帧率。例如，在播放特定视频动作的过程中，通过大屏装置和手机同时拍摄。在特定视频动作播放完毕时，根据大屏装置和手机基于用户图像执行人体姿态识别算法的帧率分别确定大屏装置的第一帧率为y₁和手机的第一帧率为y²。

102，根据N个设备的第一帧率，确定N个设备的取图帧率。

上述取图帧率是指进行用户动作识别时，从各设备所拍摄的用户图像中取图并执行人体姿态识别算法的频率。各设备的取图频率根据各设备的第一帧率确定。例如，第一设备的第一帧率y₁，当进行用户动作识别时可以按照取图帧率m₁从第一设备拍摄的图像中取图。其中，按照取图频率从第一设备拍摄的图像中取图可以是：每隔M张取一张图像，或者，每隔预设时长取一次图像。所取图像用于执行人体姿态识别算法。

本申请实施例中，根据N个设备的第一帧率，确定N个设备的取图帧率的方式可以是：确定N个设备的第一帧率的最大公约数；根据所述最大公约数确定N个设备的取图帧率。例如第一设备的第一帧率为80帧/秒，第二设备的第一帧率为120帧/秒。第一设备和第二设备第一帧率的最大公约数为40帧/秒，则可以将40帧/秒作为第一设备和第二设备的取图帧率，并按照40帧/秒的帧率从第一设备和第二设备所拍摄的图像中取图。即，当第一设备的第一帧率为80帧/秒时，其每两张图像取一张图；当第二设备的第一帧率为120帧/秒时，其每三张图像取一张图。

103，按照N个设备的取图帧率，从N个设备拍摄的第二图像中取图并基于所取图像执行人体姿态识别算法。

上述确定N个设备的取图帧率之后，进入正式的人体姿态识别流程。在人体姿态识别过程中，N个设备仍然按照各自的拍摄帧率进行拍摄，并且将各设备在正式人体姿态识别流程过程中的所拍摄的图像称为第二图像。之后，按照取图帧率从各设备拍摄的第二图像中取图并执行人体姿态识别算法，由此以确保各设备时间戳同步。在各设备时间戳同步的前提下，可以实现从多角度对用户动作的识别和评价。例如，从用户正面视角和侧面视角对用户的同一动作进行拍摄，在正面视角和侧面视角所取图像时间对齐的情况下，可以确保多角度动作识别的准确性，提高用户体验。

在本申请实施例方案中，各设备可以按照取图帧率自行从自身所拍摄的第二图像中取图并基于所取图像执行人体姿态识别算法。可选的，各设备也可以将自身所拍摄的第二图像发送给处理设备，由处理设备按照取图帧率从各设备拍摄的图像中取图并基于所取图像执行人体姿态识别算法。其中，所述处理设备可以为用于执行本申请实施例时间戳同步方法的专用设备，可选的，所述处理设备也可以为N个设备中的其中一个。在一个示例中，通过大屏装置和手机同时拍摄用户动作，在确定大屏装置和手机的取图帧率并开始进入人体姿态识别时，大屏装置和手机分别按照各自的拍摄帧率拍摄用户图像。当将大屏装置作为处理设备时，手机拍摄的用户图像实时传送给大屏装置。大屏装置按照取图帧率从自身所拍摄图像以及手机所拍摄图像中取图，并基于所取图像执行人体姿态识别算法。当然也可以将手机作为处理设备。或者，大屏装置和手机分别独立对各自所拍摄图像取图以及基于所取图像执行人体姿态识别算法，并且将所识别结果传送给其中一个设备，以使该设备从多角度对用户动作进行评价。

进一步，本申请实施例中除了确定各设备的取图帧率之外，还进一步确定执行人体姿态识别算法的起始时间。在一个示例中可以根据用于提示用户做特定动作的提示信息确定执行人体姿态算法的起始时间，具体的：确定用于提示用户做特定动作的提示信息的结束时间；根据所述结束时间确定基于取图帧率取图以及基于所取图像执行所述人体姿态识别算法的起始时间。可选的，可以将所述结束时间作为基于取图帧率取图以及基于所取图像执行人体姿态识别算法的起始时间。即根据提示信息的结束时间确定正式进入用户动作识别的起始时间。本申请实施例中，通过确定进入用户动作识别的起始时间，可以对各设备所取图像的起始时间进行对齐。需要说明的是，本申请实施例中可以首先提示用户做特定动作，在特定动作播放结束后进入正式的用户动作识别流程。

进一步，在从各设备拍摄的第二图像取图并执行用户动作识别的过程中，本申请实施例方法还进一步监测各设备的第一帧率是否发生跳变，如果N个设备中的至少一个设备的第一帧率产生跳变，则重新确定N个设备的取图帧率。其中，监测各设备的第一帧率是否发生跳变可以是根据N个设备拍摄的第二图像确定N个设备的第一帧率是否发生跳变。即在根据各个设备拍摄的用户图像对进行动作识别的过程中，进一步根据各设备拍摄的图像确定各设备的第一帧率是否发生跳变。

本申请实施例方案中，对执行人体姿态识别算法的起始时间进行对齐，由此以解决多个设备进行人体姿态识别起始时间不同步的问题。另外，本申请实施例中基于取图帧率，从各设备拍摄的图像中取图，由此以解决各设备用于执行人体姿态识别算法的图像时间不对齐的问题。

图3是本申请实施例提供的基于多设备进行人体姿态识别的场景示意图。图3所示场景为家庭健身场景。在该场景中，设置大屏装置(附图中以电视为例)和手机，大屏装置和手机分别从不同视角拍摄用户动作，由此以从大屏装置视角和手机视角对用户动作进行识别并从该两个视角对用户动作进行综合评价。在图3所示健身场景中，在大屏装置中播放健身动作，用户对大屏装置播放的健身动作进行跟做。其中，在正式进行健身动作的识别之前，首先按照本申请实施例方法对大屏装置和手机进行时间戳同步。图4是本申请实施例提供的时间戳同步方法的另一个示意性流程图。如图4所述，该方法包括：

201，大屏装置和手机建立通信连接。例如，将大屏装置和手机接入同一无线局域网中，实现大屏装置和手机的互联互通。

202，大屏装置中播放特定动作。所述特定动作用于引导用户做相同的动作。

203，大屏装置和手机在特定动作播放的过程中拍摄用户图像。

204，根据大屏装置和手机所拍摄的用户图像分别确定大屏装置和手机的第一帧率。具体的，大屏装置和手机可以分别独立确定各自的第一帧率。可选的，大屏装置和手机可以将在播放特定动作过程中所拍摄的图像发送给处理设备，由处理设备确定大屏装置和手机的第一帧率。所述处理设备可以为除大屏装置和手机之外的其它设备，如云服务器或者其它可能的设备。所述处理设备也可以为大屏显示装置大屏装置和手机中的其中一个设备，例如为大屏装置。

205，根据大屏装置和手机的第一帧率确定大屏装置和手机的取图帧率。在确定大屏装置和手机的第一帧率后，根据大屏装置和手机的第一帧率确定取图频率。可选的，可以将大屏装置和手机的第一帧率的最大公约数作为取图帧率。其中，当大屏装置和手机各自确定自身的第一帧率时，大屏装置和手机可以交换第一帧率；大屏装置和手机交换第一帧率后，分别计算取图帧率；或者，大屏装置和手机可以将各自的第一帧率发送给处理设备，由处理设备确定取图帧率。另外，当通过处理设备确定大屏装置和手机的第一帧率时，可以继续由处理设备计算取图帧率。

206，将特定动作的播放结束时间作为健身起始时间，并在特定动作播放结束后开始播放健身指导动作。

本实施例中，通过将特定动作的播放结束时间确定为用户健身起始时间，并基于该起始时间作为执行人体姿态识别算法的起始时间，从而实现大屏装置和手机起始时间的对齐。

207，大屏装置和手机拍摄用户图像，按照取图帧率从大屏装置和手机所拍摄的图像中取图执行人体姿态识别算法。

本实施例中，在播放健身指导工作的过程中，大屏装置和手机分别以各自的拍摄帧率持续拍摄用户图像。其中，大屏装置和手机可以各自分别从自身拍摄的图像中取图并基于所取图像执行人体姿态识别算法。可选的，大屏装置和手机可以将所拍摄图像发送给处理设备，由处理设备按照第一帧率从大屏装置和手机拍摄的图像中取图并基于所取图像执行人体姿态识别算法。参见步骤204所述，处理设备可以为除大屏装置和手机之外的其它设备，也可以为大屏装置和手机中的其中一个设备。

本实施例中，按照取图帧率从大屏装置和手机所拍摄图像中取图，可以确保所取图像的时间同步，进而可以基于不同设备同一时间拍摄的用户图像执行人体姿态识别算法，并根据人体姿态识别算法的识别结果从不同角度对用户动作进行综合评价。

如图3所示，在用户健身过程中，可以基于人体姿态识别算法，从大屏装置视角和手机视角识别用户的骨骼节点，进而从大屏装置视角和手机视角对用户动作进行评价。例如，将大屏装置视角和手机视角所识别的用户动作与健身指导动作进行比对，进而从不同角度给出用户动作指导建议。

208，在健身指导动作播放的过程中监测大屏装置和手机的第一帧率是否发生跳变。如果大屏装置和/或手机的第一帧率发生跳变，则跳转到205重新确定大屏装置和手机的取图帧率；如果大屏装置和手机的第一帧率未发生跳变则跳转到207继续执行用户动作的拍摄和识别。

本实施例中，利用大屏装置和手机从多角度获取用户健身动作的图像数据，以从大屏装置视角和手机角度对用户动作进行综合评价。其中，在指导用户做健身动作之前，引导用户做特定动作，并将该特定动作的结束时间作为健身起始时间，从而实现大屏装置和手机初始时间同步，完成大屏装置和手机时间戳同步的初始化。进一步，将大屏装置和手机第一帧率的最大公约数作为取图帧率，并按照取图帧率从大屏装置和手机所拍摄图像中取图，从而实现大屏装置和手机所取图像的时间同步，由此实现大屏装置和手机的时间戳同步。

本申请实施例的时间戳同步方法，适用于各类人体姿态识别场景下的多设备时间戳同步，能够提升产品的使用范围和用户体验。

可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的步骤，本申请能够以硬件或者硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能。

本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或者两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图5示出了上述实施例中涉及的电子设备的一种可能的组成示意图。如图5所示，电子设备中可以集成用于时间戳同步的功能模块，所述功能模块具体包括：确定单元501和姿态识别单元502；其中：

确定单元501，用于根据N个设备已拍摄的第一图像，确定所述N个设备的第一帧率，其中N≥2；以及根据所述N个设备的第一帧率，确定所述N个设备的取图帧率；姿态识别单元，用于按照所述N个设备的取图帧率，从所述N个设备拍摄的第二图像中取图并基于所取图像执行人体姿态识别算法。

在本申请实施例中，所述设备还包括：提示单元，用于提示用户做特定动作；所述第一图像为：在提示用户做特定动作的过程中，由所述N个设备对用户进行拍摄得到。

在本申请实施例中，所述确定单元还用于确定用于提示用户做特定动作的提示信息的结束时间；根据所述结束时间确定基于所述取图帧率取图以及基于所取图像执行人体姿态识别算法的起始时间。

在本申请实施例中，所述确定单元501，具体用于根据所述N个设备对各自已拍摄的所述第一图像执行人体姿态识别算法的帧率，确定所述N个设备的第一帧率。

在本申请实施例中，所述确定单元501，具体用于确定所述N个设备的第一帧率的最大公约数；根据所述最大公约数确定所述N个设备的取图帧率。

在本申请实施例中，所述确定单元501，还用于根据所述N个设备拍摄的第二图像，确定所述N个设备的第一帧率是否跳变；如果所述N个设备中的至少一个设备的第一帧率产生跳变，则重新确定所述N个设备的取图帧率。

应理解，这里的电子设备以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specificintegrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

本申请实施例还提供了一种电子设备，包括：显示屏；摄像头；一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行以下步骤：

根据N个设备已拍摄的第一图像，确定所述N个设备的第一帧率，其中N≥2；

根据所述N个设备的第一帧率，确定所述N个设备的取图帧率；

其中，按照所述N个设备的取图帧率，从所述N个设备拍摄的第二图像中取图并基于所取图像执行人体姿态识别算法。

本申请还提供了一种电子设备，所述设备包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现上述图2至图4中所示的时间戳同步方法。

本申请还提供了一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述图2至图4中所示的时间戳同步方法。

可选的，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行上述各实施例中的时间戳同步方法。

第六方面，本技术方案提供了一种计算机可读存储介质，所述计算机可读介质存储用于设备执行的程序代码，所述程序代码包括用于执行上述时间戳同步方法可能的实现方式中的方法的指令。

存储器可以是只读存储器(read-only memory，ROM)、可存储静态信息和指令的其它类型的静态存储设备、随机存取存储器(random access memory，RAM)或可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备，或者还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质等。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种时间戳同步方法，其特征在于，包括：

根据N个设备已拍摄的第一图像，确定所述N个设备的第一帧率，其中N≥2；

根据所述N个设备的第一帧率，确定所述N个设备的取图帧率；

其中，按照所述N个设备的取图帧率，从所述N个设备拍摄的第二图像中取图并基于所取图像执行人体姿态识别算法。

2.根据权利要求1所述的方法，其特征在于，所述第一图像为：在提示用户做特定动作的过程中，由所述N个设备对用户进行拍摄得到。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

确定用于提示用户做特定动作的提示信息的结束时间；

根据所述结束时间确定基于所述取图帧率取图及基于所取图像执行人体姿态识别算法的起始时间。

4.根据权利要求1所述的方法，其特征在于，根据N个设备已拍摄的第一图像，确定所述N个设备的第一帧率，包括：

根据所述N个设备对各自已拍摄的所述第一图像执行人体姿态识别算法的帧率，确定所述N个设备的第一帧率。

5.根据权利要求1至4中任一项所述的方法，其特征在于，根据所述N个设备的第一帧率，确定所述N个设备的取图帧率，包括：

确定所述N个设备的第一帧率的最大公约数；

根据所述最大公约数确定所述N个设备的取图帧率。

6.根据权利要求1所述的方法，其特征在于，在基于所取图像执行人体姿态识别算法的过程中，所述方法还包括：

根据所述N个设备拍摄的第二图像，确定所述N个设备的第一帧率是否跳变；

如果所述N个设备中的至少一个设备的第一帧率产生跳变，则重新确定所述N个设备的取图帧率。

7.一种电子设备，其特征在于，包括：

显示屏；摄像头；一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行以下步骤：

根据N个设备已拍摄的第一图像，确定所述N个设备的第一帧率，其中N≥2；

根据所述N个设备的第一帧率，确定所述N个设备的取图帧率；

其中，按照所述N个设备的取图帧率，从所述N个设备拍摄的第二图像中取图并基于所取图像执行人体姿态识别算法。

8.根据权利要求7所述的设备，其特征在于，所述第一图像为：在提示用户做特定动作的过程中，由所述N个设备对用户进行拍摄得到。

9.根据权利要求8所述的设备，其特征在于，当所述指令被所述设备执行时，使得所述设备执行以下步骤：

确定用于提示用户做特定动作的提示信息的结束时间；

根据所述结束时间确定基于所述取图帧率取图以及基于所取图像执行人体姿态识别算法的起始时间。

10.根据权利要求7所述的设备，其特征在于，当所述指令被所述设备执行时，使得所述设备执行以下步骤：

根据所述N个设备对各自已拍摄的所述第一图像执行人体姿态识别算法的帧率，确定所述N个设备的第一帧率。

11.根据权利要求7至10中任一项所述的设备，其特征在于，当所述指令被所述设备执行时，使得所述设备执行以下步骤：

确定所述N个设备的第一帧率的最大公约数；

根据所述最大公约数确定所述N个设备的取图帧率。

12.根据权利要求7所述的设备，其特征在于，当所述指令被所述设备执行时，使得所述设备执行以下步骤：

在基于所取图像执行人体姿态识别算法的过程中，根据所述N个设备拍摄的第二图像，确定所述N个设备的第一帧率是否跳变；

如果所述N个设备中的至少一个设备的第一帧率产生跳变，则重新确定所述N个设备的取图帧率。

13.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至6中任一项所述的时间戳同步方法。

Images