CN115240223A - 一种用户拍摄姿态矫正提示方法、装置、设备和介质 - Google Patents

Abstract

本申请涉及移动应用领域，提供一种用户拍摄姿态矫正提示方法、装置、设备和介质，方法包括：通过终端的摄像头获取用户的拍摄视频，并从拍摄视频提取视频帧；获取用户的拍摄场景模式，并根据拍摄场景模式确定待检测的目标人体关键点；将视频帧输入预先部署在终端的姿态检测模型，以通过姿态检测模型对视频帧进行人体关键点检测，获得目标人体关键点在视频帧中的位置信息；根据与拍摄场景模式对应的场景对照算法对目标人体关键点的位置信息进行计算，得到位置信息比对结果；根据位置信息比对结果在终端输出矫正提示信息，实现拍摄姿态矫正，提高拍摄姿态矫正提示的实时性。

Description

一种用户拍摄姿态矫正提示方法、装置、设备和介质

技术领域

本申请涉及移动应用领域，具体涉及一种用户拍摄姿态矫正提示方法、装置、设备和介质。

背景技术

目前，用户在通过终端上的拍照应用进行视频拍摄时，为了提升拍摄效果，会在终端上提示用户进行拍摄姿态矫正。传统的拍摄姿态矫正提示方法是通过截取视频帧，然后将视频帧传送给远端服务器，通过远端服务器中的网络模型对视频帧中的人体部位关键点检测获得姿态信息，再返回姿态信息给终端，终端使用获得的姿态信息与预设模板的姿态信息作空间特征差异计算两者是否相似，根据差异计算结果来获取拍摄姿态矫正提示。对于终端而言，需要与远端服务器进行交互实现姿态检测，以及空间特征差异计算量的数据量较大，对于拍摄姿态矫正提示的实时性均会产生影响。

发明内容

本申请实施例提供一种用户拍摄姿态矫正提示方法、装置、设备和介质，可以提高对拍摄矫正提示的实时性。

第一方面，本申请实施例提供一种用户拍摄姿态矫正提示方法，应用于终端，所述方法包括：

通过终端的摄像头获取用户的拍摄视频，并从所述拍摄视频提取视频帧；

获取所述用户的拍摄场景模式，并根据所述拍摄场景模式确定待检测的目标人体关键点；

将所述视频帧输入预先部署在所述终端的姿态检测模型，以通过所述姿态检测模型对所述视频帧进行人体关键点检测，获得所述目标人体关键点在所述视频帧中的位置信息；

根据与所述拍摄场景模式对应的场景对照算法对所述目标人体关键点的位置信息进行计算，得到位置信息比对结果；

根据所述位置信息比对结果在所述终端输出矫正提示信息。

在一些可能的实现方式中，所述根据所述拍摄场景模式确定待检测的目标人体关键点，包括：

当所述拍摄场景模式为头部拍摄场景，确定待检测的目标人体关键点包括以下至少一项：鼻子、左眼、右眼、左耳、右耳、左肩或者右肩；

当所述拍摄场景模式为半身拍摄场景，确定待检测的目标人体关键点包括以下至少一项：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕或者右腕；

当所述拍摄场景模式为全身拍摄场景，确定待检测的目标人体关键点包括以下至少一项：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝或者右踝。

在一些可能的实现方式中，所述根据与所述拍摄场景模式对应的场景对照算法对所述目标人体关键点的位置信息进行计算，得到位置信息比对结果，包括：

根据所述目标人体关键点的位置信息计算人体部位在所述视频帧中的左右位置信息、上下位置信息和区域大小信息；

根据所述人体部位在所述视频帧中的左右位置信息、上下位置信息和区域大小信息得到位置信息比对结果。

在一些可能的实现方式中，所述根据所述位置信息比对结果在所述终端输出矫正提示信息，包括：

当所述位置信息比对结果表示所述人体部位偏左或者偏右，在所述终端对应输出所述人体部位稍稍右移或者左移的提示信息；

当所述位置信息比对结果表示所述人体部位偏上或者偏下，在所述终端对应输出所述人体部位稍稍放低或者上抬的提示信息；

当所述位置信息比对结果表示所述人体部位的面积在图像中偏小或者偏大，在所述终端对应输出所述人体部位前移或者后移的提示信息。

在一些可能的实现方式中，所述从所述拍摄视频提取视频帧，包括：

按照预设的时间间隔对所述拍摄视频进行视频画面截取，得到所述视频帧；对所述视频帧进行预处理，以将预处理后的所述视频帧输入预先部署在所述终端的姿态检测模型；

所述预处理包括以下至少之一：

将所述视频帧转化为转换成bitmap格式的视频帧；

或者，对所述视频帧进行压缩，以减小所述视频帧的占用空间。

在一些可能的实现方式中，所述姿态检测模型通过以下方式部署在所述终端：

获取已完成训练的初始姿态检测模型；

通过tensorflow lite转换器对所述初始姿态检测模型进行格式转换，得到所述终端可识别文件格式的姿态检测模型，将所述姿态检测模型载入所述终端。

在一些可能的实现方式中，将所述视频帧输入预先部署在所述终端的姿态检测模型，以通过所述姿态检测模型对所述视频帧进行人体关键点检测，获得所述目标人体关键点在所述视频帧中的位置信息，包括：

通过预设的接口将所述视频帧输入预先部署在所述终端的tensorflow lite解释器；

通过所述tensorflow lite解释器调用所述姿态检测模型，输出所述目标人体关键点在所述视频帧中的位置信息。

第二方面，本申请实施例提供一种用户拍摄姿态矫正提示装置，所述装置包括：

视频帧获取模块，用于通过终端的摄像头获取用户的拍摄视频，并从所述拍摄视频提取视频帧；

人体关键点信息获取模块，用于获取所述用户的拍摄场景模式，并根据所述拍摄场景模式确定待检测的目标人体关键点；

位置信息检测模块，用于将所述视频帧输入预先部署在所述终端的姿态检测模型，以通过所述姿态检测模型对所述视频帧进行人体关键点检测，获得所述目标人体关键点在所述视频帧中的位置信息；

位置信息比对模块，用于根据与所述拍摄场景模式对应的场景对照算法对所述目标人体关键点的位置信息进行计算，得到位置信息比对结果；

矫正提示模块，用于根据所述位置信息比对结果在所述终端输出矫正提示信息。

第三方面，本申请实施例提供一种电子设备，所述设备包括存储器和处理器，其中，所述存储器中存储有程序，所述程序被所述处理器执行，所述处理器用于执行：如本申请实施例第一方面提供的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储有计算机程序，在所述计算机程序被计算机执行时，所述计算机用于执行：如本申请实施例第一方面提供的方法。

本申请实施例提供的方案，首先，通过终端的摄像头获取用户的拍摄视频，并从拍摄视频提取视频帧；获取用户的拍摄场景模式，并根据拍摄场景模式确定待检测的目标人体关键点；将视频帧输入预先部署在终端的姿态检测模型，以通过姿态检测模型对视频帧进行人体关键点检测，获得目标人体关键点在视频帧中的位置信息；根据与拍摄场景模式对应的场景对照算法对目标人体关键点的位置信息进行计算，得到位置信息比对结果；根据位置信息比对结果在终端输出矫正提示信息。由于本申请实施例只对与拍摄场景模式相关的目标人体关键点进行检测，因此可以提升检测速度；另外，本申请实施例的姿态检测模型部署在本地，所以终端无需通过远端服务器实现姿态检测，节省了处理流程，减少了网络的开销，提高拍摄姿态矫正提示的实时性。

附图说明

图1是本申请实施例提供的一种用户拍摄姿态矫正提示方法流程示意图；

图2是本申请实施例提供的一种用户拍摄姿态矫正提示方法的实时步骤中步骤S200的子步骤示意图；

图3是本申请实施例提供的一种用户拍摄姿态矫正提示方法中姿态检测模型的终端部署流程示意图；

图4是本申请实施例提供的一种用户拍摄姿态矫正提示装置的结构示意图；

图5是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

现有技术中，拍摄用户在拍摄时使用的姿态矫正方法是通过截取视频帧，对视频帧中的人体部位关键点检测获得姿态信息，使用获得的姿态信息与预设模板的姿态信息作空间特征差异计算两者是否相似，根据差异计算结果来获取拍摄矫正提示。对于终端而言，空间特征差异计算量的数据量较大，对于拍摄矫正提示的实时性会产生影响。

有鉴于此，本发明实施例提供了一种用户拍摄姿态矫正提示方法、装置、设备和介质。在用户拍摄姿态矫正提示方法中，首先获得一个可识别拍摄姿态的检测模型，将该模型转换成可以部署于终端的格式文件，同时在终端部署一个解释器，用该解释器接受这个格式文件以此来完成这个检测模型在终端上的部署。用户使用终端的摄像头拍摄视频，终端会截取缓存的已拍摄视频的视频帧并将该视频帧转换成一定的模型输入数据格式，通过同一解释器将视频帧数据输入至模型，模型对视频帧中被拍摄对象的姿态进行分析，判断用户的拍摄姿态中的人体部位是否符合预设的人体部位位置范围，如果不符合设定范围，则会向用户给出拍摄姿态矫正提示信息，用户可以根据该提示信息完成拍摄姿态矫正。通过直接判断人体部位的位置范围是否符合，实现拍摄姿态矫正，提高拍摄姿态矫正提示的实时性。

需说明的是，本申请实施例提供的一种用户拍摄姿态矫正提示方法，其执行主体可以是用户终端。具体而言，用户终端可以为台式电脑、平板电脑或者智能手机等，本申请实施例不对用户终端的具体类型进行限定。

请参见图1，为本申请实施例提供的一种用户拍摄姿态矫正提示方法流程示意图，该方法包括以下步骤S100至步骤S500，下面依次对各个步骤进行介绍：

步骤S100：通过终端摄像头获取用户的视频，从视频提取视频帧。

本发明实施例中，用户使用终端通过终端摄像头拍摄视频，缓存于终端的储存介质中，终端在终端储存介质中调取缓存的用户拍摄视频，并从该视频中进行帧截取获得用于检测姿态的视频帧。

具体实现时，用户使用终端拍摄视频；在拍摄视频过程中，终端从终端储存介质中获取已拍摄视频部分，按照预设的时间间隔，对已拍摄的视频部分进行视频帧的截取，截取的视频帧进行下一步处理：终端在截取到视频帧后，将调用相关程序对视频帧进行格式转换，并对转换格式后的视频帧进行数据压缩，被转换格式的视频帧将的数据大小会被压缩至一定区间内，方便输入模型进行检测。

本发明实施例中，终端内部调用相关的程序接口获取上文截取的视频帧，将该视频帧通过程序转换为bitmap格式的视频帧。在将视频帧转换为bitmap格式视频帧后，将bitmap格式的视频帧进行数据压缩，压缩至一个预设的数据大小内，以保证后续的模型检测的精度以及速度。

示例性的，终端可以预设时间间隔为300ms，模型允许视频帧数据输入的大小为20kb。当计时达到300ms时，对缓存的已拍摄视频部分进行视频帧的截取，在截取之后，重新开始计算下一个300ms，进行下一个视频帧的提取，往复循环。在截取到一个视频帧后，终端调用相关程序将该视频帧转换为bitmap格式的视频帧，而后将b itmap格式的视频帧使用裁剪、灰度化等方式将视频帧的数据大小降至为16.8kb，则此时转换格式后的视频帧数据允许输入模型。

需要说明的是，上述举例只用于对步骤S100进行说明，上述的允许输入大小、时间间隔大小、视频帧压缩后的数据大小的具体数值均不作为对步骤S100的限定，本领域技术人员可以根据实际情况预设包括300ms在内的时间间隔以及包括20kb在内的数据输入模型允许大小。

步骤S200：获取用户的拍摄场景模式，并根据拍摄场景模式确定待检测的目标人体关键点。

本发明实施例中，终端内部预设有多个拍摄场景模式，用户根据实际需要选择相应的拍摄场景模式，终端根据选择的拍摄场景模式对视频帧上的目标人体关键点进行检测，获得目标人体关键点在视频帧上的位置信息用于后面运算。

应该理解的是，每个拍摄场景模式设定中，需要检测的目标人体关键点的种类、数量不相同，终端根据选择的拍摄场景模式对需要检测的目标人体关键点进行检测。

请参见图2，为步骤S200的子流程示意图，具体实施时，步骤S200可以分为步骤S210至步骤S220。

步骤S210：获取拍摄场景模式。

本发明实施例中，用户在拍摄前，在终端中选择相应的拍摄场景模式，而后再进行拍摄。应该理解的是，这里的拍摄场景模式可以包括头部拍摄场景、半身拍摄场景以及全身拍摄场景。

本发明的一些其他实施例中，这里的拍摄场景模式还可以包括多个任务场景，用户可以根据实际的拍摄要求选择对应的任务场景。示例性的，如宣传视频场景，Vl og场景等，应该理解的是，此处任务场景示例不对本发明做出限定，相关技术人员可根据实际情况预设包括宣传视频场景，Vlog场景在内的任务场景。

步骤S220：根据拍摄场景模式获得目标人体关键点。

本发明实施例中，各拍摄场景模式预设有对应需要检测的目标人体关键点，各拍摄场景模式需要检测目标人体关键点的类型和数量都不同相同。

应该理解的是，当用户选择的拍摄场景模式为头部拍摄场景，终端会获得该场景模式下对应需要检测的目标人体关键点，包括被拍摄对象在视频帧上的鼻子、左眼、右眼、左耳、右耳、左肩或者右肩。

应该理解的是，当用户选择的拍摄场景模式为半身拍摄场景，终端会获得该场景模式下对应需要检测的目标人体关键点，包括被拍摄对象在视频帧上的鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕或者右腕。

应该理解的是，当用户选择的拍摄场景模式为全身拍摄场景，终端会获得该场景模式下对应需要检测的目标人体关键点，包括被拍摄对象在视频帧上的鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝或者右踝。

本发明的其他一些实施例中，用户除了上述的拍摄场景模式的拍摄场景可以选择外，还可以选择预设的任务场景模式，当用户选择了所需要的任务场景模式，终端会获得该任务场景模式下对应需要检测的目标人体关键点。应该理解的是，这里的任务场景目标人体关键点可以与上述的头部拍摄场景，半身拍摄场景，全身拍摄场景的目标人体关键点相同，也可以与上述的头部拍摄场景，半身拍摄场景，全身拍摄场景的目标人体关键点不同。

示例性的，如终端的拍摄场景模式中预设有宣传片场景，在相关实践中认为，宣传片拍摄使用半身拍摄场景较佳，因此终端对宣传片场景预设对应需要检测的目标人体关键点与半身拍摄场景对应需要检测的目标人体关键点相同，用户选择预设有的宣传片场景，则终端会获得该拍摄场景下对应需要检测的目标人体关键点，包括被拍摄对象在视频帧上的鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕或者右腕。

示例性的，再如终端的拍摄场景模式中预设有宣传片场景，在相关实践中认为，宣传片拍摄半身手臂以上的位置较佳，因此终端对宣传片场景预设对应需要检测的目标人体关键点与半身拍摄场景对应需要检测的目标人体关键点不尽相同，宣传片场景设定需要检测的目标人体关键点为鼻子、左眼、右眼、左耳、右耳、左肩、右肩，用户选择预设有的宣传片场景，则终端会获得该拍摄场景下对应需要检测的目标人体关键点，包括被拍摄对象在视频帧上的鼻子、左眼、右眼、左耳、右耳、左肩、右肩。

此处举例不对本发明进行限定，预设的任务场景模式对应需要检测的目标人体关键点相关技术人员可根据实际情况进行设置。

步骤S300：将视频帧输入预先部署在终端的姿态检测模型，以通过姿态检测模型对视频帧进行人体关键点检测，获得目标人体关键点在视频帧中的位置信息。

本发明实施例中，终端内部预先部署了一个姿态检测模型，该姿态模型是用于检测上述步骤S220获得的目标人体关键点，该姿态模型可以检测出视频帧上的人体关键点，因此使用该模型获得这些目标人体关键点在视频帧的位置信息。

具体实施时，步骤S100已获得经过预处理的视频帧，终端内部调用程序将该视频帧转换数组数据，再调用预置在终端内部的tensorflow lite解释器的接口进行数组数据输入，该数组数据通过tensorflow lite解释器的接口输入后，tensorflow lite解释器会调用预先部署的姿态检测模型进行检测，即该视频帧以数组形式将输入到姿态检测模型中，模型可以对输入的视频帧的数组形式数据进行姿态检测，获得目标人体关键点的坐标作为位置信息。

本发明实施例中，首先模型会计算视频帧的长与宽的数值，根据这个长宽的建立关于这个视频帧的坐标系，该坐标系用于表示目标人体关键点的位置，而后模型会对视频帧中的被拍摄对象进行目标人体关键点检测，计算出目标人体关键点在视频帧中关于这个视频帧建立的坐标系的坐标，用该坐标作为位置信息来表示目标人体关键点的位置信息。

以下通过举例对步骤S300进行说明，本举例用于说明，不作为步骤S300技术特征限定。

假设选择了半身拍摄场景，该模式下会检测预设的目标人体关键点，此处由于目标人体关键点数量多，此处仅以左眼与右眼进行举例，其他目标人体关键点不过多进行赘述。假设图片的大小为1080×1920，设定坐标原点的位置边缘处，使整个视频帧处于坐标的第一象限，为宽度1080，高度1920处，则该坐标系的表示范围为X轴范围为[0，1080]，Y轴的表示范围为[0，1920]。先假设左眼在视频帧左上部的260×1390处，右眼在视频帧右上部的850×1390处，则获得的位置信息是：左眼关于这个视频帧建立的坐标系中的坐标为(260，1390)，右眼关于这个视频帧建立的坐标系中的坐标为(850，1390)。

请参见图3，为姿态检测模型部署终端流程示意图。在本发明实施例中，步骤S300中描述的姿态检测模型可以通过以下方式进行部署。

步骤S310：获取已完成训练的初始姿态检测模型。

应该理解的是，初始姿态检测模型并非从终端中获取，终端中的处理器的处理能力无法完成训练姿态检测模型这一任务。

步骤S320：通过tensorflow lite转换器对初始姿态检测模型进行格式转换，得到终端可识别文件格式的姿态检测模型，将姿态检测模型载入终端。

应该理解的是，获得的初始姿态检测模型无法直接载入终端，需要转换为终端相匹配的格式才能将模型部署于终端。

本发明实施例中，在终端外通过tensorflow lite转换器将已完成训练的初始姿态检测模型转换成tflite格式的模型格式文件。转换成tflite格式的模型格式文件后，通过步骤S300中描述的tensorflow lite解释器接受这个tflite格式的模型格式文件，该模型格式文件实质上为同一模型的不同格式，步骤S300中通过tensorflow lite解释器调用这个模型格式文件进行运算实质上为使用姿态检测模型进行目标人体关键点的检测。

通过预部署在终端上的姿态检测模型直接在终端本地完成姿态检测，实时给出提示，不需要网络传输参与姿态矫正过程，保证矫正提示信息不会因网络问题而失去实时性的情况。

步骤S400：根据与拍摄场景模式对应的场景对照算法对目标人体关键点的位置信息进行计算，得到位置信息比对结果。

本发明实施例中，拍摄场景模式除了预设有对应需要检测的目标人体关键点外，还预设对应的各目标人体关键点的场景对照算法以及各目标人体关键点的位置阈值，各对照算法使用步骤S300获得的位置信息进行计算，获得各目标人体关键点的计算结果，将所获得各目标人体关键点的计算结果与各目标人体关键点对应的位置阈值进行比较，获得位置比对结果。在本发明实施例中，场景对照算法通过计算对称的目标人体关键点在视频帧中的相对位置，从而表征目标人体关键点所在的人体部位在视频帧中的位置是否适中。

具体实施时，终端调用拍摄场景模式对应的场景对照算法对对称目标人体关键点进行计算，获得各目标人体关键点关于视频帧的位置计算值。

本发明实施例中，各拍摄场景模式下对应需要检测的各目标人体关键点都预设有各模式对应的场景对照算法，场景对照算法根据步骤S300中获取的坐标信息对对称的目标人体关键点进行计算，获得各目标人体关键点关于视频帧的位置计算值，该计算值用于表征在视频帧中的人体部位的相对位置，拍摄场景模式预设有关于目标人体关键点的位置阈值，通过获得的各位置计算值与对应的位置阈值形成的范围进行比对，获得位置信息比对结果。

应该理解的是，对称的目标人体关键点是指关于人体器官的对称的目标人体关键点，不是指关于坐标对称的目标人体关键点，示例性的如左眼右眼是对称的目标人体关键点，左耳右耳是对称的目标人体关键点，左肩右肩是对称的目标人体关键点，此处不过多赘述。

本发明的一些实施例中，使用目标人体关键点中的左眼和右眼在视频帧中的位置信息获得人体头部的相对位置。由于眼睛对称分布于头部，因此可以计算眼睛的位置信息可以间接得到头部在视频帧中的上下位置、左右位置和区域大小是否适合。在该实施例中，关于左眼和右眼的目标人体关键点对照算法如下：

关于眼睛间距的场景对照算法如下：

eyeRate＝|(rightEyePointX–leftEyePointX)|/screenWidth

其中，eyeRate表示眼睛间距相对于视频帧的大小；

rightEyePointX表示右眼对于X轴坐标的位置；

leftEyePointX表示左眼对于X轴坐标的位置；

screenWidth表示视频帧的宽度；

(rightEyePointX–leftEyePointX)表示右眼对于X轴坐标的位置的数值减去左眼对于X轴坐标的位置的数值；

|(rightEyePointX–leftEyePointX)|表示表示右眼对于X轴坐标的位置的数值减去左眼对于X轴坐标的位置的数值的绝对值。

关于眼睛中心值的场景对照算法如下：

EyePositionXRate＝|(rightEyePointX+leftEyePointX)|/(2×screenWidth)

其中，EyePositionXRate表示双眼中心点位置；

rightEyePointX表示右眼对于X轴坐标的位置；

leftEyePointX表示左眼对于X轴坐标的位置；

screenWidth表示视频帧的宽度；

(rightEyePointX+leftEyePointX)表示右眼对于X轴坐标的位置的数值家伙加上左眼对于X轴坐标的位置的数值；

|(rightEyePointX+leftEyePointX)|表示右眼对于X轴坐标的位置的数值家伙加上左眼对于X轴坐标的位置的数值的绝对值；

(2×screenWidth)表示两倍视频帧宽度。

关于眼睛上下位置值的场景对照算法如下：

EyePositionYRate＝|(rightEyePointY+leftEyePointY)|/(2×screenHeight)

其中，EyePositionYRate表示双眼相对于视频帧的上下位置；

rightEyePointY表示右眼对于Y轴坐标的位置；

leftEyePointY表示左眼对于Y轴坐标的位置；

screenHeight表示视频帧的高度；

(rightEyePointY+leftEyePointY)表示右眼对于Y轴坐标的位置的数值家伙加上左眼对于Y轴坐标的位置的数值；

|(rightEyePointX+leftEyePointX)|表示右眼对于Y轴坐标的位置的数值家伙加上左眼对于Y轴坐标的位置的数值的绝对值；

(2×screenHeight)表示两倍视频帧高度。

下面以举例对步骤S400进行说明，本举例只用于对步骤S400说明，不对步骤S400进行限定，本领域技术人员可根据实际情况对相关设置。此处使用步骤S300的举例继续对步骤S400进行说明。

假设在实际拍摄实践中，拍摄半身的过程中，被拍摄对象的头部在视频帧的左右居中，大小适中，上下位于三分之一处效果最好，则可以在拍摄过程中对头部的位置进行检测。基于此，可以在半身拍摄场景中设定被拍摄对象在视频帧中的眼睛间距阈值为0.11与0.23，即眼睛间距在0.11至0.23的范围内时，头部区域大小适合；设定被拍摄对象在视频帧中的眼睛中心值阈值为0.4与0.6，即眼睛中心值在0.4至0.6的范围内时，头部左右居中；设定被拍摄对象在视频帧中的眼睛上下值阈值为0.5与0.8，即眼睛上下位置值在0.5至0.8的范围内时，头部处于上下三分之一位置处。

此时有左眼坐标(260，1390)，右眼坐标(850，1390)，视频帧宽度为1080，视频帧高度为1920，使用上述的眼睛间距的场景对照算法、眼睛中心值的场景对照算法以及眼睛上下位置值的场景对照算法进行计算，则此视频帧中的眼睛间距为0.55，眼睛中间值为0.51，眼睛上下位置值为0.72。根据这些值与位置阈值进行比较，判断是否满足在位置阈值组成的范围内，得到信息位置比对结果：头部处于左右位置适中，上下位置处于三分之一处，区域过大。

步骤S500：根据位置信息比对结果在终端输出矫正提示信息。

本发明实施例中，根据位置信息比对结果，给出关于表示人体部位的信息，并根据该信息给出相关的提示信息。

本发明实施例中，当位置信息比对结果表示某一人体部位偏左或者偏右时，终端会根据该人体部位偏左偏右的信息对应给出该人体部位稍微右移或者左移的提示信息；当位置信息比对结果表示某一人体部位偏上或者偏下时，终端会根据该人体部位偏上偏下的信息对应给出该人体部位稍微放低或者上抬的提示信息；当位置信息比对结果表示某一人体部位偏小或者偏大时，终端会根据该人体部位偏小偏大的信息对应给出该人体部位稍微前移或者后移的提示信息。用户可以根据提示信息稍微调整该人体部位，亦可调整终端摄像头拍摄的位置。

本发明实施例中，终端在用户根据提示信息调整的过程中，会继续检测人体部位在视频帧中的位置的位置信息的计算结果是否符合阈值，不符合阈值继续给出提示信息，如此循环直至用户的该人体部位在视频帧中的位置的位置信息是否符合阈值才不再给出提示信息。

下面继续使用步骤S400的举例继续对步骤S500进行说明，此处举例不对本发明作出限定。

步骤S400举例说明中，得到了头部上下位置处于三分之一处，左右位置适中，区域过大这一位置比对结果，该位置比对结果表示人体的头部不偏左也不偏右，不偏上也不偏下，但在视频帧中偏大，终端会基于此输出一个人体头部稍微后移的提示信息，而不会输出稍微左移或右移或放低或上抬的提示信息。假设被拍摄对象稍微将头部后移，或者被拍摄对象向远离终端摄像头的方向稍微移动或者拍摄用户往远离被拍摄对象的方向移动，在视频帧中的左眼和右眼的位置信息改变，左眼的坐标为(300，1390)，右眼的坐标为(740，1390)，则此时视频帧中，得到的位置比对结果为眼睛间距0.41，眼睛中间值0.48，眼睛上下位置值0.72，该结果依旧表明人体头部需要稍微后移，则终端会依旧给出人体头部稍微后移的提示信息，用户或者被拍摄对象需要再次进行调整。假设再次进行调整，左眼和右眼的位置信息改变，左眼的坐标为(450，1390)，右眼的坐标为(640，1390)，则此时视频帧中，得到的位置比对结果为眼睛间距0.18，眼睛中间值0.51，眼睛上下位置值0.72，该结果表明用户调整后头部上下左右位置适中，区域大小适中，符合半身拍摄场景对于头部在视频帧中的位置要求，此时终端不会给出提示信息，直至再次出现位置不适中的情况。

本申请实施例中，使用姿态检测模型对检测人体关键点进行检测，通过判断人体部位的位置范围是否符合而给出矫正提示从而实现拍摄姿态矫正，不进行预设判断与预期人体姿态的相似度的计算，减少终端计算资源的消耗，提高拍摄姿态矫正提示的实时性，并且通过在终端本地部署模型，无须进行网络交互，进一步保证拍摄矫正的是实时性，实时帮助用户获得较好的拍摄效果。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

上文描述了本申请提供的方法实施例，下文将描述本申请提供的装置实施例。应理解，装置实施例的描述与方法实施例的描述相互对应，因此，未详细描述的内容可以参见上文方法实施例。

请参见图4，为本申请实施例提供的一种用户拍摄姿态矫正提示装置400的结构示意图。装置400包括：视频帧获取模块410、人体关键点信息获取模块420，位置信息检测模块430、位置信息比对模块440、矫正提示模块450；

该视频帧获取模块410，用于通过终端的摄像头获取用户的拍摄视频，并从拍摄视频提取视频帧。

该人体关键点信息获取模块420，用于获取用户的拍摄场景模式，并根据拍摄场景模式确定待检测的目标人体关键点。

该位置信息检测模块430，用于将视频帧输入预先部署在终端的姿态检测模型，以通过姿态检测模型对视频帧进行人体关键点检测，获得目标人体关键点在视频帧中的位置信息。

该位置信息比对模块440，用于根据与拍摄场景模式对应的场景对照算法对目标人体关键点的位置信息进行计算，得到位置信息比对结果。

该矫正提示模块450，用于根据位置信息比对结果在终端输出矫正提示信息。

在本申请的一个可选实施例中，上文描述的根据拍摄场景模式确定待检测的目标人体关键点包括当拍摄场景模式为头部拍摄场景，确定待检测的目标人体关键点包括鼻子、左眼、右眼、左耳、右耳、左肩或者右肩中至少一项；当拍摄场景模式为半身拍摄场景，确定待检测的目标人体关键点包括鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕或者右腕中至少一项；当拍摄场景模式为全身拍摄场景，确定待检测的目标人体关键点包括鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝或者右踝中至少一项。

在本申请的一个可选实施例中，上文描述的位置信息比对模块440，具体通过以下方式对目标人体关键点的位置信息进行计算，得到位置信息比对结果：根据目标人体关键点的位置信息计算人体部位在视频帧中的左右位置信息、上下位置信息和区域大小信息；根据人体部位在视频帧中的左右位置信息、上下位置信息和区域大小信息得到位置信息比对结果。

在本申请的一个可选实施例中，上文描述的根据位置信息比对结果在终端输出矫正提示信息，包括：当位置信息比对结果表示人体部位偏左或者偏右，在终端对应输出人体部位稍稍右移或者左移的提示信息；当位置信息比对结果表示人体部位偏上或者偏下，在终端对应输出人体部位稍稍放低或者上抬的提示信息；当位置信息比对结果表示人体部位的面积在图像中偏小或者偏大，在终端对应输出人体部位前移或者后移的提示信息。

在本申请的一个可选实施例中，上文描述的从拍摄视频提取视频帧，包括：按照预设的时间间隔对拍摄视频进行视频画面截取，得到视频帧；对视频帧进行预处理，以将预处理后的视频帧输入预先部署在终端的姿态检测模型。上文描述的视频帧获取模块410通过以下方式进行预处理：将视频帧转化为转换成bitmap格式的视频帧；或者，对视频帧进行压缩，以减小视频帧的占用空间。

在本申请的一个可选实施例中，上文描述的装置400通过以下方式部署姿态检测模型：获取已完成训练的初始姿态检测模型；通过tensorflow lite转换器对初始姿态检测模型进行格式转换，得到终端可识别文件格式的姿态检测模型，将姿态检测模型载入终端。

在本申请的一个可选实施例中，上文描述的位置信息检测模块430通过以下方式获取目标人体关键点在视频帧中的位置信息：通过预设的接口将视频帧输入预先部署在终端的tensorflow lite解释器；通过tensorflow lite解释器调用姿态检测模型，输出目标人体关键点在视频帧中的位置信息。

需说明的是，上述用户拍摄姿态矫正提示装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于用户终端中的处理器中，也可以以软件形式存储于用户终端中的存储器中，以便于处理器调用执行以上各个模块对应的操作

需说明的是，上述用户拍摄姿态矫正提示装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于用户终端中的处理器中，也可以以软件形式存储于用户终端中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请实施例还提供一种电子设备，该电子设备可以是用户终端，用于实现本申请实施例提供的用户拍摄姿态矫正提示方法。

请参见图5，为本申请实施例提供的一种电子设备500的结构示意图，该电子设备500包括存储器510和处理器520，该存储器510存储有计算机程序或指令，该处理器520执行上述计算机程序或指令时实现本申请实施例提供的一种用户拍摄姿态矫正提示方法。

上文描述的处理器520和存储器510可以通过总线或者其他方式连接。

在实现过程中，上述方法的各步骤可以通过处理器520中的硬件的集成逻辑电路或者软件形式的计算机程序或指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

应注意，本申请实施例中的处理器520可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器520中的硬件的集成逻辑电路或者软件形式的计算机程序或指令完成。上述的处理器520可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器510，处理器520读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解，本申请实施例中的存储器510可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmableROM，PROM)、可擦除可编程只读存储器(erasablePROM，EPROM)、电可擦除可编程只读存储器(electricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(randomaccessmemory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(staticRAM，SRAM)、动态随机存取存储器(dynamicRAM，DRAM)、同步动态随机存取存储器(synchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(doubledatarateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(directrambusRAM，DRRAM)。应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序或指令，计算机程序或指令被处理器执行时实现本申请实施例提供的一种用户拍摄姿态矫正提示方法。

在实现过程中，该计算机可读存储介质存储有计算机程序或指令，该计算机程序或指令被一个或多个控制处理器执行，比如，被上述电子设备中的处理器执行，当被该处理器执行时实现本申请实施例提供的一种用户拍摄姿态矫正提示方法。

本实施例提供的装置、电子设备、计算机可读存储介质均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：单独存在a，单独存在b，单独存在c，同时存在a和b，同时存在a和c，同时存在b和c或者同时存在a和b和c，其中a，b，c可以是单个，也可以是多个。

在本申请的实施例中，“指示”可以包括直接指示和间接指示，也可以包括显式指示和隐式指示。将某一信息所指示的信息称为待指示信息，则具体实现过程中，对待指示信息进行指示的方式可以有很多种，例如但不限于，可以直接指示待指示信息，如指示待指示信息本身或者该待指示信息的索引等。也可以通过指示其他信息来间接指示待指示信息，其中该其他信息与待指示信息之间存在关联关系。还可以仅仅指示待指示信息的一部分，而待指示信息的其他部分则是已知的或者提前约定的。例如，还可以借助预先约定(例如协议规定)的各个信息的排列顺序来实现对特定信息的指示，从而在一定程度上降低指示开销。

在本申请的实施例中，各术语及英文缩略语均为方便描述而给出的示例性举例，不应对本申请构成任何限定。本申请并不排除在已有或未来的协议中定义其它能够实现相同或相似功能的术语的可能。

在本申请的实施例中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个该特征。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims (10)

1.一种用户拍摄姿态矫正提示方法，应用于终端，其特征在于，所述方法包括以下步骤：

通过终端的摄像头获取用户的拍摄视频，并从所述拍摄视频提取视频帧；

获取所述用户的拍摄场景模式，并根据所述拍摄场景模式确定待检测的目标人体关键点；

将所述视频帧输入预先部署在所述终端的姿态检测模型，以通过所述姿态检测模型对所述视频帧进行人体关键点检测，获得所述目标人体关键点在所述视频帧中的位置信息；

根据与所述拍摄场景模式对应的场景对照算法对所述目标人体关键点的位置信息进行计算，得到位置信息比对结果；

根据所述位置信息比对结果在所述终端输出矫正提示信息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述拍摄场景模式确定待检测的目标人体关键点，包括：

当所述拍摄场景模式为头部拍摄场景，确定待检测的目标人体关键点包括以下至少一项：鼻子、左眼、右眼、左耳、右耳、左肩或者右肩；

当所述拍摄场景模式为半身拍摄场景，确定待检测的目标人体关键点包括以下至少一项：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕或者右腕；

当所述拍摄场景模式为全身拍摄场景，确定待检测的目标人体关键点包括以下至少一项：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝或者右踝。

3.根据权利要求1所述的方法，其特征在于，所述根据与所述拍摄场景模式对应的场景对照算法对所述目标人体关键点的位置信息进行计算，得到位置信息比对结果，包括：

根据所述目标人体关键点的位置信息计算人体部位在所述视频帧中的左右位置信息、上下位置信息和区域大小信息；

根据所述人体部位在所述视频帧中的左右位置信息、上下位置信息和区域大小信息得到位置信息比对结果。

4.根据权利要求3所述的方法，其特征在于，所述根据所述位置信息比对结果在所述终端输出矫正提示信息，包括：

当所述位置信息比对结果表示所述人体部位偏左或者偏右，在所述终端对应输出所述人体部位稍稍右移或者左移的提示信息；

当所述位置信息比对结果表示所述人体部位偏上或者偏下，在所述终端对应输出所述人体部位稍稍放低或者上抬的提示信息；

当所述位置信息比对结果表示所述人体部位的面积在图像中偏小或者偏大，在所述终端对应输出所述人体部位前移或者后移的提示信息。

5.根据权利要求1所述的方法，其特征在于，所述从所述拍摄视频提取视频帧，包括：

按照预设的时间间隔对所述拍摄视频进行视频画面截取，得到所述视频帧；对所述视频帧进行预处理，以将预处理后的所述视频帧输入预先部署在所述终端的姿态检测模型；

所述预处理包括以下至少之一：

将所述视频帧转化为转换成bitmap格式的视频帧；

或者，对所述视频帧进行压缩，以减小所述视频帧的占用空间。

6.根据权利要求1所述的方法，其特征在于，所述姿态检测模型通过以下方式部署在所述终端：

获取已完成训练的初始姿态检测模型；

通过tensorflow lite转换器对所述初始姿态检测模型进行格式转换，得到所述终端可识别文件格式的姿态检测模型，将所述姿态检测模型载入所述终端。

7.根据权利要求6所述的方法，其特征在于，将所述视频帧输入预先部署在所述终端的姿态检测模型，以通过所述姿态检测模型对所述视频帧进行人体关键点检测，获得所述目标人体关键点在所述视频帧中的位置信息，包括：

通过预设的接口将所述视频帧输入预先部署在所述终端的tensorflowlite解释器；

通过所述tensorflow lite解释器调用所述姿态检测模型，输出所述目标人体关键点在所述视频帧中的位置信息。

8.一种用户拍摄姿态矫正提示装置，其特征在于，包括：

视频帧获取模块，用于通过终端的摄像头获取用户的拍摄视频，并从所述拍摄视频提取视频帧；

人体关键点信息获取模块，用于获取所述用户的拍摄场景模式，并根据所述拍摄场景模式确定待检测的目标人体关键点；

位置信息检测模块，用于将所述视频帧输入预先部署在所述终端的姿态检测模型，以通过所述姿态检测模型对所述视频帧进行人体关键点检测，获得所述目标人体关键点在所述视频帧中的位置信息；

位置信息比对模块，用于根据与所述拍摄场景模式对应的场景对照算法对所述目标人体关键点的位置信息进行计算，得到位置信息比对结果；

矫正提示模块，用于根据所述位置信息比对结果在所述终端输出矫正提示信息。

9.一种电子设备，其特征在于，所述设备包括存储器和处理器，其中，所述存储器中存储有程序，所述程序被所述处理器执行，所述处理器用于执行：如权利要求1至7中任一项所述的方法。

10.一种计算机介质，其特征在于，所述计算机可读存储有计算机程序，在所述计算机程序被计算机执行时，所述计算机用于执行：如权利要求1至7中任一项所述的方法。

Images