CN115564875A - 图像处理方法和装置 - Google Patents

Abstract

本公开涉及一种图像处理方法和装置，应用于图像处理技术领域，该方法包括：采集第i帧用户图像，i＝0，1，2……；通过目标识别算法确定第i帧用户图像中各个人体关键点的初始坐标；将各个人体关键点的初始坐标按照目标比例进行缩放处理，得到各个人体关键点的缩放坐标，各个人体关键点的缩放坐标均位于待显示区域内；基于各个人体关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象。可以在用户跟练示范视频时，将用户图像转化为卡通形象展示，更加生动有趣，从而提升用户与显示设备的互动频率。

Description

图像处理方法和装置

技术领域

本申请实施例涉及图像处理技术。更具体地讲，涉及一种图像处理方法和装置。

背景技术

随着用户需求的增加，显示设备的功能也越来越全面，其中，显示设备上提供的动作类互动活动的(如：跟练舞蹈、健身等)功能受到广大用户的喜爱，用户可以通过显示设备直观的看到自身的动作与视频中动作的差异。

现有的通过显示设备实现动作类活动的互动，是通过在显示设备显示示范动作视频的同时，显示采集的用户的姿态，即通过摄像头实时采集用户的图像并播放，显示方式较单一，类似于用户站在镜子前跟练示范视频的动作，缺乏趣味性，不够生动形象。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种图像处理方法和装置，可以在用户跟练示范视频时，将用户图像转化为卡通形象展示，更加生动有趣，从而提升用户与显示设备的互动频率。

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：采集第i帧用户图像，i＝0，1，2……；通过目标识别算法确定第i帧用户图像中各个人体关键点的初始坐标；将各个人体关键点的初始坐标按照目标比例进行缩放处理，得到各个人体关键点的缩放坐标，各个人体关键点的缩放坐标均位于待显示区域内；基于各个人体关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象。

本申请一些实施例中，将各个人体关键点的初始坐标按照目标比例进行缩放处理之前，该方法还包括：确定宽度比值和高度比值，宽度比值为待显示区域的宽度与第i帧用户图像的宽度的比值，高度比值为待显示区域的高度与第i帧用户图像的高度的比值；将宽度比值和高度比值中的较小值作为目标比例。

本申请一些实施例中，基于各个人体关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象，包括：基于各个人体关键点的缩放坐标的置信度，确定各个人体关键点中的有效关键点和无效关键点，有效关键点的缩放坐标的置信度大于或者等于预设阈值，无效关键点的缩放坐标的置信度小于预设阈值；基于各个人体关键点中的有效关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象。

本申请一些实施例中，基于各个人体关键点的缩放坐标的置信度，确定各个人体关键点中的有效关键点和无效关键点之后，该方法还包括：将第i帧用户图像对应的关键点信息存储至目标缓存区，关键点信息用于指示各个人体关键点中的有效关键点和无效关键点，以及各个有效关键点的缩放坐标；在i大于n的情况下，针对第i帧用户图像的各个人体关键点执行下述步骤：根据目标关键点的关键点信息，以及第i帧用户图像之前的n帧用户图像中与目标关键点对应的关键点的关键点信息，确定目标关键点最终是否为有效关键点，以及在确定目标关键点最终为有效关键点的情况下，确定目标关键点的最终坐标；其中，n为大于1的整数，目标关键点为各个人体关键点中的任一个。

本申请一些实施例中，根据目标关键点的关键点信息，以及第i帧用户图像之前的n帧用户图像中与目标关键点对应的关键点的关键点信息，确定目标关键点最终是否为有效关键点，以及在确定目标关键点最终为有效关键点的情况下，确定目标关键点的最终坐标，包括：在目标关键点为有效关键点，以及目标数量大于或等于数量阈值的情况下，确定目标关键点最终为有效关键点，以及将目标关键点的缩放坐标确定为目标关键点的最终坐标，目标数量为n帧用户图像中与目标关键点对应的关键点中有效关键点的数量；在目标关键点为有效关键点，以及目标数量小于数量阈值的情况下，确定目标关键点最终为无效关键点；在目标关键点为无效关键点，以及目标数量大于或等于数量阈值的情况下，确定目标关键点最终为有效关键点，以及将第一关键点的缩放坐标确定为目标关键点的最终坐标，第一关键点为第一用户图像中与目标关键点对应的关键点，第一用户图像为m帧用户图像中与第i帧用户图像最近的用户图像，m帧用户图像为n帧用户图像中与目标关键点对应的关键点中有效关键点对应的各帧用户图像；m为小于或者等于n的正整数；在目标关键点为无效关键点，以及目标数量小于数量阈值的情况下，确定目标关键点最终为无效关键点。

本申请一些实施例中，基于各个人体关键点中的有效关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象之前，该方法还包括：在各个人体关键点中的有效关键点还包括目标膝关键点，且目标膝关键点与待显示区域的下边界的距离小于或等于距离阈值的情况下，将目标膝关键点置为无效关键点；其中，目标膝关键点为左膝关键点或右膝关键点。

本申请一些实施例中，虚拟动画形象包括头部和躯干，各个人体关键点中的有效关键点包括头部关键点，左肩关键点，右肩关键点，左胯关键点，右胯关键点；基于各个人体关键点中的有效关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象，包括：基于头部关键点的缩放坐标，左肩关键点的缩放坐标，右肩关键点的缩放坐标，左胯关键点的缩放坐标，右胯关键点的缩放坐标，绘制第i帧用户图像对应的虚拟动画形象。

本申请一些实施例中，头部关键点包括：鼻子关键点；基于头部关键点的缩放坐标，左肩关键点的缩放坐标，右肩关键点的缩放坐标，左胯关键点的缩放坐标，右胯关键点的缩放坐标，绘制第i帧用户图像对应的虚拟动画形象，包括：以鼻子关键点的缩放坐标为圆心，半径为第一半径绘制第一圆，以得到虚拟动画形象的头部，虚拟动画形象的头部为第一圆所对应的区域；分别以左肩关键点的缩放坐标，右肩关键点的缩放坐标，左胯关键点的缩放坐标，右胯关键点的缩放坐标为圆心，半径为第二半径确定四个第二圆，绘制任意相邻的第二圆的外公切线，以得到虚拟动画形象的躯干，虚拟动画形象的躯干为每四个外公切线组成的区域中的最大区域。

本申请一些实施例中，各个人体关键点中的有效关键点还包括目标胳膊对应的关键点，目标胳膊对应关键点包括：肩关键点，肘关键点，腕关键点；基于各个人体关键点中的有效关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象，还包括：分别以目标胳膊对应的关键点的缩放坐标为圆心，半径为第三半径绘制三个第三圆，绘制任意相邻的第三圆的外公切线，以得到虚拟动画形象的目标胳膊，虚拟动画形象的目标胳膊为四个外公切线组成的区域；和/或，各个人体关键点中的有效关键点还包括目标腿对应的关键点，目标腿对应关键点包括：跨关键点，膝关键点，踝关键点；基于各个人体关键点中的有效关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象，还包括：分别以目标腿对应的关键点的缩放坐标为圆心，半径为第四半径绘制三个第四圆，绘制任意相邻的第四圆的外公切线，以得到虚拟动画形象的目标腿，虚拟动画形象的目标腿为四个外公切线组成的区域。

第二方面，本申请提供了一种图像处理装置，该装置包括：采集模块，确定模块，缩放模块，绘制模块；该采集模块，用于采集第i帧用户图像，i＝0，1，2……；该确定模块，用于通过目标识别算法确定第i帧用户图像中各个人体关键点的初始坐标；该缩放模块，用于将各个人体关键点的初始坐标按照目标比例进行缩放处理，得到各个人体关键点的缩放坐标，各个人体关键点的缩放坐标均位于待显示区域内；该绘制模块，用于基于各个人体关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象。

第三方面，本申请提供了一种显示设备，该显示设备包括显示器，存储器及存储在该存储器上并可在该处理器上运行的计算机程序，该计算机程序被该处理器执行时实现如第一方面所述的图像处理方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，包括：计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如第一方面所示的图像处理方法。

第五方面，本申请提供了一种计算机程序产品，包括：当计算机程序产品在计算机上运行时，使得计算机实现如第一方面所示的图像处理方法。

本申请实施例提供的技术方案与现有技术相比具有如下优点：本申请实施例中，采集第i帧用户图像，i＝0，1，2……；通过目标识别算法确定第i帧用户图像中各个人体关键点的初始坐标；将各个人体关键点的初始坐标按照目标比例进行缩放处理，得到各个人体关键点的缩放坐标，各个人体关键点的缩放坐标均位于待显示区域内；基于各个人体关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象。如此，将采集的用户图像转化为虚拟动画形象显示，更加形象生动，提升了用户在跟练过程中的趣味性，从而增加用户与显示设备进行互动的频率。

附图说明

为了更清楚地说明本申请实施例或相关技术中的实施方式，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图；

图2示出了根据一些实施例的控制装置100的硬件配置框图；

图3示出了根据一些实施例的显示设备200的硬件配置框图；

图4示出了根据一些实施例的图像处理方法的流程示意图之一；

图5示出了根据一些实施例的采集的一帧用户图像的示意图；

图6示出了根据一些实施例的一帧用户图像对应的关键点的示意图；

图7示出了根据一些实施例的待显示区域与缩放后用户图像的显示区域的示意图；

图8a示出了根据一些实施例的横屏显示示范视频和用户图形对应的卡通形象的示意图；

图8b示出了根据一些实施例的竖屏显示示范视频和用户图形对应的卡通形象的示意图；

图8c示出了根据一些实施例的全屏显示用户图形对应的卡通形象的示意图；

图9示出了根据一些实施例的图像处理方法的流程示意图之二；

图10示出了根据一些实施例的图像处理方法的流程示意图之三；

图11示出了根据一些实施例的图像处理方法的流程示意图之四；

图12示出了根据一些实施例的图像处理方法的流程示意图之五；

图13示出了根据一些实施例的图像处理方法的流程示意图之六；

图14示出了根据一些实施例的图像处理方法的流程示意图之七；

图15示出了根据一些实施例的图像处理方法的流程示意图之八；

图16示出了根据一些实施例的虚拟动画形象的轮廓示意图；

图17示出了根据一些实施例的图像处理方法的流程示意图之九；

图18示出了根据一些实施例的虚拟动画形象填充颜色后的示意图；

图19示出了根据一些实施例的采集的用户图像与虚拟动画形象的对比示意图；

图20示出了根据一些实施例的图像处理装置的结构示意图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请实施方式提供的显示设备可以具有多种实施形式，例如，可以是电视、智能电视、激光投影设备、显示器(monitor)、电子白板(electronic bulletin board)、电子桌面(electronic table)、手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备等。

本申请实施例提供的图像处理方法可以用于显示设备，图1为根据实施例中显示设备与控制设备之间操作场景的示意图，其中控制设备包括智能设备或控制装置。如图1所示，用户可通过智能设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。

在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。

在一些实施例中，显示设备可以不使用上述的智能设备或控制设备接收指令，而是通过触摸或者手势等接收用户的控制。

在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、外部存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

如图3，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、用户接口280、外部存储器、供电电源中的至少一种。

在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。

显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。

显示器260可为液晶显示器、OLED显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。

通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制装置100或服务器400建立控制信号和数据信号的发送和接收。

用户接口280，可用于接收控制装置100(如：红外遥控器等)的控制信号。也可以用于直接接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，此时可以称为用户输入接口。

检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

外部装置接口240可以包括但不限于如下：高清多媒体接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合型的输入/输出接口。

调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

控制器250，通过存储在存储器(内部存储器或外部存储器)上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，以及随机存取存储器(Random Access Memory，RAM)，只读存储器(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。

其中，RAM也叫主存，是与控制器直接交换数据的内部存储器。它可以随时读写(刷新时除外)，而且速度很快，通常作为操作系统或其他正在运行中的程序的临时数据存储介质。它与ROM的最大区别是数据的易失性，即一旦断电所存储的数据将随之丢失。RAM在计算机和数字系统中用来暂时存储程序、数据和中间结果。ROM以非破坏性读出方式工作，只能读出无法写入信息。信息一旦写入后就固定下来，即使切断电源，信息也不会丢失，所以又称为固定存储器。

用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在显示设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

本申请实施例中，提供了一种图像处理方法，下面结合图4，以该方法应用于显示设备为例对本申请实施例提供的图像处理方法进行示例性的说明。该方法可以包括下述的步骤401至步骤404。

401、采集第i帧用户图像，i＝0，1，2……。

可以理解，采集的第i帧用户图像为通过显示设备的摄像头采集的用户的当前姿态对应的图像，采集的频率根据实际需要确定，本申请实施例不做限定。

402、通过目标识别算法确定第i帧用户图像中各个人体关键点的初始坐标。

可以理解，目标识别算法可以是人体关键点识别算法(即人体关节点识别算法)，也可以是人体关键点识别算法和人脸识别算法(通过人体关键点识别算法识别躯干和四肢的关键点，通过人脸识别算法识别人脸的关键点)，还可以是其他可以识别到人体关键点的算法，本申请实施例不做限定。

可以理解，人体关键点包括：鼻子关键点，左眼关键点，右眼关键点，嘴巴关键点，左耳关键点，右耳关键点，左肩关键点，右肩关键点，左肘关键点，右肘关键点，左腕关键点，右腕关键点，左胯关键点，右胯关键点，左膝关键点，右膝关键点，左踝关键点，右踝关键点等。

示例性地，如图5所示，为采集的一帧用户图像，将该用户图像输入到目标识别算法中，得到如图6所示的当前用户图像的关键点，以及人体关键点二维坐标：标号0指示鼻子关键点，坐标为(x0，y0)，标号1指示左眼关键点，坐标为(x1，y1)，标号2指示右眼关键点，坐标为(x2，y2)，标号3指示左耳关键点，坐标为(x3，y3)，标号4指示右耳关键点，坐标为(x4，y4)，标号5指示左肩关键点，坐标为(x5，y5)，标号6指示右肩关键点，坐标为(x6，y6)，标号7指示左肘关键点，坐标为(x7，y7)，标号8指示右肘关键点，坐标为(x8，y8)，标号9指示左腕关键点，坐标为(x9，y9)，标号10指示右腕关键点，坐标为(x10，y10)，标号11指示左胯关键点，坐标为(x11，y11)，标号12指示右胯关键点，坐标为(x12，y12)，标号13指示左膝关键点，坐标为(x13，y13)，标号14指示右膝关键点，坐标为(x14，y14)，标号15指示左踝关键点，坐标为(x15，y5)，标号16指示右踝关键点，坐标为(x16，y16)。

可以理解，通过目标识别算法可以得到人体关键点的坐标及识别到的关键点的置信度，置信度的取值一般大于0且小于1，数值越大，标识识别结果越可靠。

403、将各个人体关键点的初始坐标按照目标比例进行缩放处理，得到各个人体关键点的缩放坐标。

其中，各个人体关键点的缩放坐标均位于待显示区域内。

可以理解，将各个人体关键点的初始坐标按照目标比例进行缩放处理，得到各个人体关键点的缩放坐标，即将采集的用户图像进行缩放，以使采集的用户图像可以显示在待显示区域内。

示例性地，如图7所示，标号700指示的区域为显示设备的显示屏区域，标号701指示的区域为显示设备上的待显示区域，标号703指示的区域为将各人体关键点的缩放坐标连接得到的图像区域。

404、基于各个人体关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象。

可以理解，绘制的虚拟动画形象，可以是基于图形库中，将五官用图形库中的图形填充，也可以是基于一定规则绘制得到，本申请实施例不做限定。如图8a所示，右侧显示区域显示的图像，即为将嘴巴关键点的坐标和鼻子关键点的坐标用不同大小的椭圆填充得到的虚拟动画形象。其中，图形库中存储了各种卡通图形的人体各部位以及各种基础图形，根据实际需要可以绘制不同的卡通形象。

可以理解，绘制的动画形象，还可以根据实际需要填充各种颜色。

可以理解，绘制的虚拟动画形象地显示区域，可以根据实际情况确定。

示例性地，如图8a所示，横屏同时显示示范视频和用户图形对应的卡通形象，如图8b所示，竖屏显示示范视频和用户图形对应的卡通形象，如图8c所示，全屏显示用户图形对应的卡通形象。

本申请实施例中，采集第i帧用户图像，i＝0，1，2……；通过目标识别算法确定第i帧用户图像中各个人体关键点的初始坐标；将各个人体关键点的初始坐标按照目标比例进行缩放处理，得到各个人体关键点的缩放坐标，各个人体关键点的缩放坐标均位于待显示区域内；基于各个人体关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象。如此，将采集的用户图像转化为虚拟动画形象显示，更加形象生动，提升了用户在跟练过程中的趣味性，从而增加用户与显示设备进行互动的频率。

本申请一些实施例中，结合图4，如图9所示，上述步骤403之前，本申请实施例提供的方法还包括下述步骤405和步骤406。

405、确定宽度比值和高度比值。

其中，宽度比值为待显示区域的宽度与第i帧用户图像的宽度的比值，高度比值为待显示区域的高度与第i帧用户图像的高度的比值。

406、将宽度比值和高度比值中的较小值作为目标比例。

可以理解，如图6和图7所示，待显示区域的宽度为rw，待显示区域的宽度为rh，第i帧用户图像的宽度为dw，第i帧用户图像的宽度为dh，目标比例为：r＝Math.min(rw/dw，rh/dh)，则缩放后第i帧用户图像的宽度w＝r×dw：缩放后第i帧用户图像的高度h＝r×dh。

可选地，目标比例还可以是宽度比值、高度比值和预设比值中最小的，预设比值可以是根据历史采集的用户图像以及待显示区域确定的缩放后显示效果较好的固定值，具体目标比例的确定本申请实施例不做限定。

本申请实施例中，确定宽度比值和高度比值，宽度比值为待显示区域的宽度与第i帧用户图像的宽度的比值，高度比值为待显示区域的高度与第i帧用户图像的高度的比值；将宽度比值和高度比值中的较小值作为目标比例。如此计算得到的目标比例，可以使得采集的用户图像完整的显示在待显示区域，以使得用户的观感更佳。

本申请一些实施例中，结合图4，如图10所示，上述步骤404具体可以通过下述步骤404a和步骤404b。

404a、基于各个人体关键点的缩放坐标的置信度，确定各个人体关键点中的有效关键点和无效关键点。

其中，有效关键点的缩放坐标的置信度大于或者等于预设阈值，无效关键点的缩放坐标的置信度小于预设阈值。

可以理解，预设阈值根据实际需要确定，一般可以设置为0.2。

可以理解，将关键点确定为无效关键点，则在绘制时，无需绘制无效关键点。

404b、基于各个人体关键点中的有效关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象。

本申请一些实施例中，基于各个人体关键点的缩放坐标的置信度，确定各个人体关键点中的有效关键点和无效关键点，有效关键点的缩放坐标的置信度大于或者等于预设阈值，无效关键点的缩放坐标的置信度小于预设阈值；基于各个人体关键点中的有效关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象。如此，在通过目标识别算法确定的关键点的坐标的置信度较低时，即说明确定的该关键点的坐标准确度不够，因此，绘制时，剔除掉无效关键点可以提高绘制的准确性，可以确保绘制的动画形象和用户实时的姿态更接近。

本申请一些实施例中，结合图10，如图11所示，上述步骤404a之后，本申请实施例提供的方法还包括下述步骤404c、步骤404d以及步骤404d1和步骤404d2。

404c、将第i帧用户图像对应的关键点信息存储至目标缓存区。

其中，关键点信息用于指示各个人体关键点中的有效关键点和无效关键点，以及各个有效关键点的缩放坐标。

可以理解，目标缓存区用于存储采集到的各帧用户图像对应的关键点信息，每帧关键点信息包括的关键点相同，如：人体包括17个关键点，则采集到的图像中可能包括全部的17个关键点，也可能仅包括17个关键点中的部分关键点，则存储时，不包括的关键点存储为无效关键点。

可以理解，存储时，无效关键点和有效关键点可以根据坐标区分，也可以根据不同标记区分，如：有效关键点的缩放坐标为真实值，无效关键点的坐标记为(-1，-1)，即通过坐标即可确定该关键点是否有效。

404d、判断i是否大于n。

是则针对第i帧用户图像的各个人体关键点执行下述步骤404d1和步骤404d2，否则采集下一帧用户图像。

可以理解，从采集用户图像开始，按顺序记录每帧的序号i，n为大于1的预设值。

404d1、根据目标关键点的关键点信息，以及第i帧用户图像之前的n帧用户图像中与目标关键点对应的关键点的关键点信息，确定目标关键点最终是否为有效关键点。

可以理解，与目标关键点对应的关键点，即与目标关键点指示的人体关节点相同的关键点，如：第i帧用户图像中的目标关键点为鼻子关键点，则与目标关键点对应的关键点为：第i-1帧用户图像中的鼻子关键点，第i-2帧用户图像中的鼻子关键点等。

可以理解，目标关键点为第i帧用户图像中所有关键点中的任一关键点，对任一关键点均是结合第i帧用户图像之前的n帧来确定最终是否为有效关键点。

404d2、在确定目标关键点最终为有效关键点的情况下，确定目标关键点的最终坐标。

其中，n为大于1的整数，目标关键点为各个人体关键点中的任一个。

可以理解，根据第i帧用户图像的各个人体关键的坐标可以确定出各关键点是否为有效关键点，然后在结合第i帧用户图像之前的n帧用户图像的各个人体关键是否有效，进一步确定了最终的第i帧用户图像的各个人体关键点是否有效。

本申请一些实施例中，将第i帧用户图像对应的关键点信息存储至目标缓存区，关键点信息用于指示各个人体关键点中的有效关键点和无效关键点，以及各个有效关键点的缩放坐标；在i大于n的情况下，针对第i帧用户图像的各个人体关键点执行下述步骤：根据目标关键点的关键点信息，以及第i帧用户图像之前的n帧用户图像中与目标关键点对应的关键点的关键点信息，确定目标关键点最终是否为有效关键点，以及在确定目标关键点最终为有效关键点的情况下，确定目标关键点的最终坐标；其中，n为大于1的整数，目标关键点为各个人体关键点中的任一个。如此，利用第i帧用户图像之前的n帧用户图像，确定第i帧用户图像中的各个人体关键点最终是否有效，可以提升绘制的卡通形象的稳定性，避免点的闪烁现象。

本申请一些实施例中，结合图11，如图12所示，上述步骤404d1和步骤404d2具体可以通过下述步骤404d3至步骤404d9实现。

404d3、判断目标关键点是否为有效关键点。

是则执行步骤404d4，否则执行步骤404d7。

404d4、判断目标数量是否小于数量阈值。

是则执行步骤404d5，否则执行步骤404d6。

404d5、确定目标关键点最终为无效关键点。

404d6、确定目标关键点最终为有效关键点，将目标关键点的缩放坐标确定为目标关键点的最终坐标。

其中，目标数量为n帧用户图像中与目标关键点对应的关键点中有效关键点的数量。

404d7、判断目标数量是否小于数量阈值。

是则执行步骤404d8，否则执行步骤404d9。

404d8、确定目标关键点最终为无效关键点。

404d9、确定目标关键点最终为有效关键点，将第一关键点的缩放坐标确定为目标关键点的最终坐标。

其中，第一关键点为第一用户图像中与目标关键点对应的关键点，第一用户图像为m帧用户图像中与第i帧用户图像最近的用户图像，m帧用户图像为n帧用户图像中与目标关键点对应的关键点中有效关键点对应的各帧用户图像；m为小于或者等于n的正整数。

可以理解，数量阈值为小于n的任意值，具体地，数量阈值可以是预先设置的固定值，也可以是根据n确定的，具体根据实际需要确定，本申请实施例不做限定。如：n为10，数量阈值可以为固定值7；数量阈值根据n确定，数量阈值为n的一半，则数量阈值为5。

示例性地，n为10，数量阈值为3，i为11，则确定的前10帧用户图像中与目标关键点对应的关键点为有效关键点的用户图像有6帧(第1，2，3，4，7，9帧)，6即为目标数量，目标数量大于3，则第一用户图像为第9帧用户图像，即6帧(即m)中与第11帧图像最近的用户图像。

示例性地，以无效关键点的坐标用(-1，-1)表示；i为6，n为5，数量阈值为3，目标关键点为鼻子关键点，目标缓存区存储有：

第1帧关键点信息(17个关键点)：[(x＝708.0，y＝138.0)，(x＝756.0，y＝108.0)……]；第2帧关键点信息(17个关键点)：[(x＝756.0，y＝108.0)，(x＝642.0，y＝86.0)……]；第3帧关键点信息(17个关键点)：[(x＝806.0，y＝122.0)，(x＝642.0，y＝86.0)……]；第4帧关键点信息(17个关键点)：[(x＝-1，y＝-1)，(x＝642.0，y＝86.0)……]；第5帧关键点信息(17个关键点)：[(x＝-1，y＝-1)，(x＝642.0,y＝86.0)……]；确认的第6帧关键点的缩放坐标为：[(x＝-1，y＝-1)，(x＝642.0，y＝86.0)……]；则第6帧鼻子关键点的坐标为(x＝-1，y＝-1)，即指示鼻子关键点为无效关键点，结合第6帧用户图像之前的5帧用户图像，鼻子关键点中有效关键点的缩放坐标有：第1帧中(x＝708.0，y＝138.0)，第1帧中(x＝756.0，y＝108.0)，第1帧中(x＝806.0，y＝122.0)，即目标数量为3，5帧中鼻子关键点为有效关键点的有3帧，数量阈值为3，即将目标关键点确认为有效关键点，且距离第6帧最近的且鼻子关键点有效的为第3帧，因此，将第3帧关键点信息中的鼻子关键点的缩放坐标确定为目标关键点的缩放坐标，即存储到目标缓存区的第6帧用户图像对应的关键点信息为：第6帧关键点信息(17个关键点)：[(x＝806.0，y＝122.0)，(x＝642.0，y＝86.0)……]。

本申请一些实施例中，在目标关键点为有效关键点，以及目标数量大于或等于数量阈值的情况下，确定目标关键点最终为有效关键点，以及将目标关键点的缩放坐标确定为目标关键点的最终坐标，目标数量为n帧用户图像中与目标关键点对应的关键点中有效关键点的数量；在目标关键点为有效关键点，以及目标数量小于数量阈值的情况下，确定目标关键点最终为无效关键点；在目标关键点为无效关键点，以及目标数量大于或等于数量阈值的情况下，确定目标关键点最终为有效关键点，以及将第一关键点的缩放坐标确定为目标关键点的最终坐标，第一关键点为第一用户图像中与目标关键点对应的关键点，第一用户图像为m帧用户图像中与第i帧用户图像最近的用户图像，m帧用户图像为n帧用户图像中与目标关键点对应的关键点中有效关键点对应的各帧用户图像；m为小于或者等于n的正整数；在目标关键点为无效关键点，以及目标数量小于数量阈值的情况下，确定目标关键点最终为无效关键点。如此，在采集到的一帧用户图像中存在的目标关键点为无效关键点时，可以结合前序帧对应的关键点确定目标关键点的缩放坐标，或者，将有效的目标关键点置为无效，可以使绘制的动画形象显示的更稳定，减少闪烁现象的出现。

本申请一些实施例中，结合图10，如图13所示，上述步骤404b之前，本申请实施例的方法还包括下述步骤404e。

404e、在各个人体关键点中的有效关键点还包括目标膝关键点，且目标膝关键点与待显示区域的下边界的距离小于或等于距离阈值的情况下，将目标膝关键点置为无效关键点。

其中，目标膝关键点为左膝关键点或右膝关键点。

可以理解，在各个人体关键点中的有效关键点还包括左膝关键点，且左膝关键点与待显示区域的下边界的距离小于或等于距离阈值的情况下，将左膝关键点置为无效关键点；或者，在各个人体关键点中的有效关键点还包括右膝关键点，且右膝关键点与待显示区域的下边界的距离小于或等于距离阈值的情况下，将右膝关键点置为无效关键点；或者，在各个人体关键点中的有效关键点还包括右膝关键点和左膝关键点，且右膝关键点与待显示区域的下边界的距离小于或等于距离阈值的情况下，将右膝关键点和左膝关键点均置为无效关键点；或者，在各个人体关键点中的有效关键点还包括右膝关键点和左膝关键点，且左膝关键点与待显示区域的下边界的距离小于或等于距离阈值的情况下，将右膝关键点和左膝关键点均置为无效关键点；具体的设置根据实际需要确定，本申请实施例不做限定。

可以理解，距离阈值根据实际待显示区域的大小确定，本申请实施例不做限定。

本申请一些实施例中，基于各个人体关键点中的有效关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象之前，该方法还包括：在各个人体关键点中的有效关键点还包括目标膝关键点，且目标膝关键点与待显示区域的下边界的距离小于或等于距离阈值的情况下，将目标膝关键点置为无效关键点；其中，目标膝关键点为左膝关键点或右膝关键点。如此，在用户站位比较靠下，采集到用户的腿部不全，腿部已经出画面时，无需绘制腿部，确保动画形象有更好的显示效果。

本申请一些实施例中，结合图10，如图14所示，虚拟动画形象包括头部和躯干，各个人体关键点中的有效关键点包括头部关键点，左肩关键点，右肩关键点，左胯关键点，右胯关键点；上述步骤404b具体可以通过下述步骤404b1实现。

404b1、基于头部关键点的缩放坐标，左肩关键点的缩放坐标，右肩关键点的缩放坐标，左胯关键点的缩放坐标，右胯关键点的缩放坐标，绘制第i帧用户图像对应的虚拟动画形象。

可以理解，头部关键点包括以下任一项：鼻子关键点，左眼关键点，右眼关键点，嘴关键点。

可以理解，绘制第i帧用户图像对应的虚拟动画形象，可以是基于图形库，确定目标动画形象的头部和躯干，将目标动画形象的头部以鼻子为中心，绘制虚拟动画形象的头部，将目标动画形象的躯干，绘制到目标区域，目标区域为左肩关键点的缩放坐标，右肩关键点的缩放坐标，左胯关键点的缩放坐标，右胯关键点的缩放坐标连线所围成的区域。绘制第i帧用户图像对应的虚拟动画形象，还可以是基于预设规则绘制，本申请实施例不做限定。

本申请一些实施例中，虚拟动画形象包括头部和躯干，各个人体关键点中的有效关键点包括头部关键点，左肩关键点，右肩关键点，左胯关键点，右胯关键点；基于各个人体关键点中的有效关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象，包括：基于头部关键点的缩放坐标，左肩关键点的缩放坐标，右肩关键点的缩放坐标，左胯关键点的缩放坐标，右胯关键点的缩放坐标，绘制第i帧用户图像对应的虚拟动画形象。如此，可以根据各个人体关键点中的有效关键点绘制动画形象，使得显示的姿态更加生动有趣。

本申请一些实施例中，头部关键点包括：鼻子关键点；结合图14，如图15所示，上述步骤404b1具体可以通过下述步骤404b2和步骤404b3实现。

404b2、以鼻子关键点的缩放坐标为圆心，半径为第一半径绘制第一圆，以得到虚拟动画形象的头部。

其中，虚拟动画形象的头部为第一圆所对应的区域。

404b3、分别以左肩关键点的缩放坐标，右肩关键点的缩放坐标，左胯关键点的缩放坐标，右胯关键点的缩放坐标为圆心，半径为第二半径确定四个第二圆，绘制任意相邻的第二圆的外公切线，以得到虚拟动画形象的躯干。

其中，虚拟动画形象的躯干为每四个外公切线组成的区域中的最大区域。

可以理解，如图16所示，以标号0为圆心，绘制半径为第一半径的第一圆，分别以标号5、6、10、11为圆心，绘制四个半径为第二半径的第二圆，连接相邻第二圆的外公切线，即得到虚拟动画形象的躯干。

本申请一些实施例中，头部关键点包括：鼻子关键点；基于头部关键点的缩放坐标，左肩关键点的缩放坐标，右肩关键点的缩放坐标，左胯关键点的缩放坐标，右胯关键点的缩放坐标，绘制第i帧用户图像对应的虚拟动画形象，包括：以鼻子关键点的缩放坐标为圆心，半径为第一半径绘制第一圆，以得到虚拟动画形象的头部，虚拟动画形象的头部为第一圆所对应的区域；分别以左肩关键点的缩放坐标，右肩关键点的缩放坐标，左胯关键点的缩放坐标，右胯关键点的缩放坐标为圆心，半径为第二半径确定四个第二圆，绘制任意相邻的第二圆的外公切线，以得到虚拟动画形象的躯干，虚拟动画形象的躯干为每四个外公切线组成的区域中的最大区域。如此，通过绘制不同半径的圆，以及连接相邻圆的外公切线即可得到动画形象，绘制流程简单。

本申请一些实施例中，各个人体关键点中的有效关键点还包括目标胳膊对应的关键点，目标胳膊对应关键点包括：肩关键点，肘关键点，腕关键点；和/或，各个人体关键点中的有效关键点还包括目标腿对应的关键点，目标腿对应关键点包括：跨关键点，膝关键点，踝关键点；

上述步骤404b1之后，结合图14，如图17所示，本申请实施例的方法还包括下述步骤404b4和/或步骤404b5。

404b4、分别以目标胳膊对应的关键点的缩放坐标为圆心，半径为第三半径绘制三个第三圆，绘制任意相邻的第三圆的外公切线，以得到虚拟动画形象的目标胳膊。

其中，虚拟动画形象的目标胳膊为四个外公切线组成的区域。

404b5、分别以目标腿对应的关键点的缩放坐标为圆心，半径为第四半径绘制三个第四圆，绘制任意相邻的第四圆的外公切线，以得到虚拟动画形象的目标腿。

其中，虚拟动画形象的目标腿为四个外公切线组成的区域。

可以理解，分别以左胳膊对应的左肩关键点，左肘关键点，左腕关键点的缩放坐标为圆心，半径为第三半径绘制三个第三圆，绘制任意相邻的第三圆的外公切线，以得到虚拟动画形象的左标胳膊；分别以右胳膊对应的左肩关键点，右肘关键点，右腕关键点的缩放坐标为圆心，半径为第三半径绘制三个第三圆，绘制任意相邻的第三圆的外公切线，以得到虚拟动画形象的右标胳膊；分别以左腿对应的左跨关键点，左膝关键点，左踝关键点的缩放坐标为圆心，半径为第四半径绘制三个第四圆，绘制任意相邻的第四圆的外公切线，以得到虚拟动画形象的左腿；分别以右腿对应的左跨关键点，右膝关键点，右踝关键点的缩放坐标为圆心，半径为第四半径绘制三个第四圆，绘制任意相邻的第四圆的外公切线，以得到虚拟动画形象的右腿。如图16所示，为绘制的包括四肢的动画形象。

可以理解，绘制的动画形象的左胳膊、右胳膊、左腿、右腿为根据对应有效关键点的坐标绘制的。如：采集的一帧图像中包括左胳膊和右腿对应的有效关键点，则绘制的动画形象包括左胳膊和右腿，采集的一帧图像中仅包括左胳膊对应的有效关键点，则绘制的动画形象包括左胳膊。

可以理解，对绘制的动画形象可以填充颜色，如图18所示。如图19所示，为采集的用户一帧用户图像与对应的动画形象的对比图，左侧为采集的一帧用户图像，右侧为对应的动画形象。

本申请一些实施例中，各个人体关键点中的有效关键点还包括目标胳膊对应的关键点，目标胳膊对应关键点包括：肩关键点，肘关键点，腕关键点；基于各个人体关键点中的有效关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象，还包括：分别以目标胳膊对应的关键点的缩放坐标为圆心，半径为第三半径绘制三个第三圆，绘制任意相邻的第三圆的外公切线，以得到虚拟动画形象的目标胳膊，虚拟动画形象的目标胳膊为四个外公切线组成的区域；和/或，各个人体关键点中的有效关键点还包括目标腿对应的关键点，目标腿对应关键点包括：跨关键点，膝关键点，踝关键点；基于各个人体关键点中的有效关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象，还包括：分别以目标腿对应的关键点的缩放坐标为圆心，半径为第四半径绘制三个第四圆，绘制任意相邻的第四圆的外公切线，以得到虚拟动画形象的目标腿，虚拟动画形象的目标腿为四个外公切线组成的区域。

本申请实施例中，如图20所示，提供了一种图像处理装置，该装置包括：采集模块2001，确定模块2002，缩放模块2003，绘制模块2004；该采集模块2001，用于采集第i帧用户图像，i＝0，1，2……；该确定模块2002，用于通过目标识别算法确定第i帧用户图像中各个人体关键点的初始坐标；该缩放模块2003，用于将各个人体关键点的初始坐标按照目标比例进行缩放处理，得到各个人体关键点的缩放坐标，各个人体关键点的缩放坐标均位于待显示区域内；该绘制模块2004，用于基于各个人体关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象。

本申请一些实施例中，该确定模块2002，还用于确定宽度比值和高度比值，宽度比值为待显示区域的宽度与第i帧用户图像的宽度的比值，高度比值为待显示区域的高度与第i帧用户图像的高度的比值；将宽度比值和高度比值中的较小值作为目标比例。

本申请一些实施例中，该确定模块2002，具体用于基于各个人体关键点的缩放坐标的置信度，确定各个人体关键点中的有效关键点和无效关键点，有效关键点的缩放坐标的置信度大于或者等于预设阈值，无效关键点的缩放坐标的置信度小于预设阈值；该绘制模块2004，基于各个人体关键点中的有效关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象。

本申请一些实施例中，该装置还包括：存储模块和执行模块；该存储模块，用于基于各个人体关键点的缩放坐标的置信度，确定各个人体关键点中的有效关键点和无效关键点之后，将第i帧用户图像对应的关键点信息存储至目标缓存区，关键点信息用于指示各个人体关键点中的有效关键点和无效关键点，以及各个有效关键点的缩放坐标；该执行模块，用于在i大于n的情况下，针对第i帧用户图像的各个人体关键点执行下述步骤：根据目标关键点的关键点信息，以及第i帧用户图像之前的n帧用户图像中与目标关键点对应的关键点的关键点信息，确定目标关键点最终是否为有效关键点，以及在确定目标关键点最终为有效关键点的情况下，确定目标关键点的最终坐标；其中，n为大于1的整数，目标关键点为各个人体关键点中的任一个。

本申请一些实施例中，该确定模块2002，具体用于在目标关键点为有效关键点，以及目标数量大于或等于数量阈值的情况下，确定目标关键点最终为有效关键点，以及将目标关键点的缩放坐标确定为目标关键点的最终坐标，目标数量为n帧用户图像中与目标关键点对应的关键点中有效关键点的数量；在目标关键点为有效关键点，以及目标数量小于数量阈值的情况下，确定目标关键点最终为无效关键点；在目标关键点为无效关键点，以及目标数量大于或等于数量阈值的情况下，确定目标关键点最终为有效关键点，以及将第一关键点的缩放坐标确定为目标关键点的最终坐标，第一关键点为第一用户图像中与目标关键点对应的关键点，第一用户图像为m帧用户图像中与第i帧用户图像最近的用户图像，m帧用户图像为n帧用户图像中与目标关键点对应的关键点中有效关键点对应的各帧用户图像；m为小于或者等于n的正整数；在目标关键点为无效关键点，以及目标数量小于数量阈值的情况下，确定目标关键点最终为无效关键点。

本申请一些实施例中，该装置还包括：设置模块；该设置模块，用于基于各个人体关键点中的有效关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象之前，在各个人体关键点中的有效关键点还包括目标膝关键点，且目标膝关键点与待显示区域的下边界的距离小于或等于距离阈值的情况下，将目标膝关键点置为无效关键点；其中，目标膝关键点为左膝关键点或右膝关键点。

本申请一些实施例中，虚拟动画形象包括头部和躯干，各个人体关键点中的有效关键点包括头部关键点，左肩关键点，右肩关键点，左胯关键点，右胯关键点；该绘制模块2004，具体用于基于头部关键点的缩放坐标，左肩关键点的缩放坐标，右肩关键点的缩放坐标，左胯关键点的缩放坐标，右胯关键点的缩放坐标，绘制第i帧用户图像对应的虚拟动画形象。

本申请一些实施例中，头部关键点包括：鼻子关键点；该绘制模块2004，具体用于以鼻子关键点的缩放坐标为圆心，半径为第一半径绘制第一圆，以得到虚拟动画形象的头部，虚拟动画形象的头部为第一圆所对应的区域；分别以左肩关键点的缩放坐标，右肩关键点的缩放坐标，左胯关键点的缩放坐标，右胯关键点的缩放坐标为圆心，半径为第二半径确定四个第二圆，绘制任意相邻的第二圆的外公切线，以得到虚拟动画形象的躯干，虚拟动画形象的躯干为每四个外公切线组成的区域中的最大区域。

本申请一些实施例中，各个人体关键点中的有效关键点还包括目标胳膊对应的关键点，目标胳膊对应关键点包括：肩关键点，肘关键点，腕关键点；该绘制模块2004，具体用于分别以目标胳膊对应的关键点的缩放坐标为圆心，半径为第三半径绘制三个第三圆，绘制任意相邻的第三圆的外公切线，以得到虚拟动画形象的目标胳膊，虚拟动画形象的目标胳膊为四个外公切线组成的区域；和/或，各个人体关键点中的有效关键点还包括目标腿对应的关键点，目标腿对应关键点包括：跨关键点，膝关键点，踝关键点；基于各个人体关键点中的有效关键点的缩放坐标，绘制与第i帧用户图像对应的虚拟动画形象，还包括：分别以目标腿对应的关键点的缩放坐标为圆心，半径为第四半径绘制三个第四圆，绘制任意相邻的第四圆的外公切线，以得到虚拟动画形象的目标腿，虚拟动画形象的目标腿为四个外公切线组成的区域。

本申请实施例中，各模块可以实现上述方法实施例提供的图像处理方法，且能达到相同的技术效果，为避免重复，这里不再赘述。

本申请实施例还提供一种显示设备，该显示设备可以包括：显示器，处理器，存储器以及存储在存储器上并可在处理器上运行的程序或指令，该程序或指令被处理器执行时可以实现上述方法实施例提供的图像处理方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例提供还提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现上述图像处理方法执行的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，该计算机可读存储介质可以为只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本发明提供一种计算机程序产品，包括：当所述计算机程序产品在计算机上运行时，使得所述计算机实现上述的图像处理方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

采集第i帧用户图像，i＝0，1，2……；

通过目标识别算法确定所述第i帧用户图像中各个人体关键点的初始坐标；

将所述各个人体关键点的初始坐标按照目标比例进行缩放处理，得到所述各个人体关键点的缩放坐标，所述各个人体关键点的缩放坐标均位于待显示区域内；

基于所述各个人体关键点的缩放坐标，绘制与所述第i帧用户图像对应的虚拟动画形象。

2.根据权利要求1所述的方法，其特征在于，所述将所述各个人体关键点的初始坐标按照目标比例进行缩放处理之前，所述方法还包括：

确定宽度比值和高度比值，所述宽度比值为所述待显示区域的宽度与所述第i帧用户图像的宽度的比值，所述高度比值为所述待显示区域的高度与所述第i帧用户图像的高度的比值；

将所述宽度比值和所述高度比值中的较小值作为所述目标比例。

3.根据权利要求1所述的方法，其特征在于，所述基于所述各个人体关键点的缩放坐标，绘制与所述第i帧用户图像对应的虚拟动画形象，包括：

基于所述各个人体关键点的缩放坐标的置信度，确定所述各个人体关键点中的有效关键点和无效关键点，所述有效关键点的缩放坐标的置信度大于或者等于预设阈值，所述无效关键点的缩放坐标的置信度小于所述预设阈值；

基于所述各个人体关键点中的有效关键点的缩放坐标，绘制与所述第i帧用户图像对应的虚拟动画形象。

4.根据权利要求3所述的方法，其特征在于，所述基于所述各个人体关键点的缩放坐标的置信度，确定所述各个人体关键点中的有效关键点和无效关键点之后，所述方法还包括：

将所述第i帧用户图像对应的关键点信息存储至目标缓存区，所述关键点信息用于指示所述各个人体关键点中的有效关键点和无效关键点，以及各个有效关键点的缩放坐标；

在i大于n的情况下，针对所述第i帧用户图像的所述各个人体关键点执行下述步骤：

根据目标关键点的关键点信息，以及所述第i帧用户图像之前的n帧用户图像中与所述目标关键点对应的关键点信息，确定所述目标关键点最终是否为有效关键点，以及在确定所述目标关键点最终为有效关键点的情况下，确定所述目标关键点的最终坐标；

其中，n为大于1的整数，所述目标关键点为所述各个人体关键点中的任一个。

5.根据权利要求4所述的方法，其特征在于，所述根据目标关键点的关键点信息，以及所述第i帧用户图像之前的n帧用户图像中与所述目标关键点对应的关键点信息，确定所述目标关键点最终是否为有效关键点，以及在确定所述目标关键点最终为有效关键点的情况下，确定所述目标关键点的最终坐标，包括：

在所述目标关键点为有效关键点，以及目标数量大于或等于数量阈值的情况下，确定所述目标关键点最终为有效关键点，以及将所述目标关键点的缩放坐标确定为所述目标关键点的最终坐标，所述目标数量为所述n帧用户图像中与所述目标关键点对应的关键点中有效关键点的数量；

在所述目标关键点为有效关键点，以及所述目标数量小于所述数量阈值的情况下，确定所述目标关键点最终为无效关键点；

在所述目标关键点为无效关键点，以及所述目标数量大于或等于数量阈值的情况下，确定所述目标关键点最终为有效关键点，以及将第一关键点的缩放坐标确定为所述目标关键点的最终坐标，所述第一关键点为第一用户图像中与所述目标关键点对应的关键点，所述第一用户图像为m帧用户图像中与所述第i帧用户图像最近的用户图像，所述m帧用户图像为所述n帧用户图像中与所述目标关键点对应的关键点中有效关键点对应的各帧用户图像；m为小于或者等于n的正整数；

在所述目标关键点为无效关键点，以及所述目标数量小于所述数量阈值的情况下，确定所述目标关键点最终为无效关键点。

6.根据权利要求3所述的方法，其特征在于，所述基于所述各个人体关键点中的有效关键点的缩放坐标，绘制与所述第i帧用户图像对应的虚拟动画形象之前，所述方法还包括：

在所述各个人体关键点中的有效关键点还包括目标膝关键点，且所述目标膝关键点与所述待显示区域的下边界的距离小于或等于距离阈值的情况下，将所述目标膝关键点置为无效关键点；

其中，所述目标膝关键点为左膝关键点或右膝关键点。

7.根据权利要求3至6中任一项所述的方法，其特征在于，所述虚拟动画形象包括头部和躯干，所述各个人体关键点中的有效关键点包括头部关键点，左肩关键点，右肩关键点，左胯关键点，右胯关键点；

所述基于所述各个人体关键点中的有效关键点的缩放坐标，绘制与所述第i帧用户图像对应的虚拟动画形象，包括：

基于所述头部关键点的缩放坐标，所述左肩关键点的缩放坐标，所述右肩关键点的缩放坐标，所述左胯关键点的缩放坐标，所述右胯关键点的缩放坐标，绘制所述第i帧用户图像对应的所述虚拟动画形象。

8.根据权利要求7所述的方法，其特征在于，所述头部关键点包括：鼻子关键点；所述基于所述头部关键点的缩放坐标，所述左肩关键点的缩放坐标，所述右肩关键点的缩放坐标，所述左胯关键点的缩放坐标，所述右胯关键点的缩放坐标，绘制所述第i帧用户图像对应的所述虚拟动画形象，包括：

以所述鼻子关键点的缩放坐标为圆心，半径为第一半径绘制第一圆，以得到所述虚拟动画形象的头部，所述虚拟动画形象的头部为所述第一圆所对应的区域；

分别以所述左肩关键点的缩放坐标，所述右肩关键点的缩放坐标，所述左胯关键点的缩放坐标，所述右胯关键点的缩放坐标为圆心，半径为第二半径确定四个第二圆，绘制任意相邻的第二圆的外公切线，以得到所述虚拟动画形象的躯干，所述虚拟动画形象的躯干为每四个外公切线组成的区域中的最大区域。

9.根据权利要求7所述的方法，其特征在于，所述各个人体关键点中的有效关键点还包括目标胳膊对应的关键点，所述目标胳膊对应关键点包括：肩关键点，肘关键点，腕关键点；

所述基于所述各个人体关键点中的有效关键点的缩放坐标，绘制与所述第i帧用户图像对应的虚拟动画形象，还包括：

分别以所述目标胳膊对应的关键点的缩放坐标为圆心，半径为第三半径绘制三个第三圆，绘制任意相邻的所述第三圆的外公切线，以得到所述虚拟动画形象的所述目标胳膊，所述虚拟动画形象的所述目标胳膊为四个外公切线组成的区域；

和/或，

所述各个人体关键点中的有效关键点还包括目标腿对应的关键点，所述目标腿对应关键点包括：跨关键点，膝关键点，踝关键点；

所述基于所述各个人体关键点中的有效关键点的缩放坐标，绘制与所述第i帧用户图像对应的虚拟动画形象，还包括：

分别以所述目标腿对应的关键点的缩放坐标为圆心，半径为第四半径绘制三个第四圆，绘制任意相邻的所述第四圆的外公切线，以得到所述虚拟动画形象的所述目标腿，所述虚拟动画形象的所述目标腿为四个外公切线组成的区域。

10.一种图像处理装置，其特征在于，所述装置包括：采集模块，确定模块，缩放模块，绘制模块；

所述采集模块，用于采集第i帧用户图像，i＝0，1，2……；

所述确定模块，用于通过目标识别算法确定所述第i帧用户图像中各个人体关键点的初始坐标；

所述缩放模块，用于将所述各个人体关键点的初始坐标按照目标比例进行缩放处理，得到所述各个人体关键点的缩放坐标，所述各个人体关键点的缩放坐标均位于待显示区域内；

所述绘制模块，用于基于所述各个人体关键点的缩放坐标，绘制与所述第i帧用户图像对应的虚拟动画形象。

Images