CN112784622B - 图像的处理方法、装置、电子设备及存储介质 - Google Patents

图像的处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112784622B
CN112784622B CN201911060495.6A CN201911060495A CN112784622B CN 112784622 B CN112784622 B CN 112784622B CN 201911060495 A CN201911060495 A CN 201911060495A CN 112784622 B CN112784622 B CN 112784622B
Authority
CN
China
Prior art keywords
cartoon
cartoon character
key points
target object
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911060495.6A
Other languages
English (en)
Other versions
CN112784622A (zh
Inventor
张树鹏
唐堂
杨辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
Original Assignee
Douyin Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd filed Critical Douyin Vision Co Ltd
Priority to CN201911060495.6A priority Critical patent/CN112784622B/zh
Priority to JP2022508774A priority patent/JP7356575B2/ja
Priority to PCT/CN2020/122832 priority patent/WO2021083028A1/zh
Publication of CN112784622A publication Critical patent/CN112784622A/zh
Priority to US17/672,446 priority patent/US11593983B2/en
Application granted granted Critical
Publication of CN112784622B publication Critical patent/CN112784622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例提供一种图像的处理方法、装置、电子设备及存储介质；方法包括：采集包含目标对象的第一帧图像；在所述第一帧图像中，对所述目标对象的关键点进行检测，得到所述关键点的第一位置信息；基于所述关键点的第一位置信息，生成并呈现与所述目标对象的形态相同的卡通人物；采集包含所述目标对象的第二帧图像，所述第一帧图像与所述第二帧图像为连续的帧图像；在所述第二帧图像中，对所述目标对象的关键点进行检测，得到所述关键点的第二位置信息；基于所述第一位置信息与所述第二位置信息的差异，更新呈现的所述卡通人物的形态。

Description

图像的处理方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及图像处理技术，尤其涉及一种图像的处理方法、装置、电子设备及存储介质。
背景技术
随着通信技术和终端设备的发展，各种终端设备例如手机、平板电脑等已经成为了人们工作和生活中不可或缺的一部分，而且随着终端设备的日益普及，基于终端设备的交互应用成为一种沟通和娱乐的主要渠道。相关技术中，交互应用的互动方式单一，无法满足用户的多样化需求。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开实施例提供了一种图像的处理方法，包括：
采集包含目标对象的第一帧图像；
在所述第一帧图像中，对所述目标对象的关键点进行检测，得到所述关键点的第一位置信息；
基于所述关键点的第一位置信息，生成并呈现与所述目标对象的形态相同的卡通人物；
采集包含所述目标对象的第二帧图像，所述第一帧图像与所述第二帧图像为连续的帧图像；
在所述第二帧图像中，对所述目标对象的关键点进行检测，得到所述关键点的第二位置信息；
基于所述第一位置信息与所述第二位置信息的差异，更新呈现的所述卡通人物的形态。
上述方案中，所述基于所述关键点的第一位置信息，生成与所述目标对象的形态相同的卡通人物，包括：
加载卡通素材，所述卡通素材包括卡通人物的头部素材、肢体素材及服饰素材中至少之一；
基于所述关键点的第一位置信息，确定所述卡通人物的头部关键点和肢体关键点的位置信息；
基于所述卡通人物的头部关键点和肢体关键点的位置信息、及所述卡通素材，生成与所述目标对象的形态相同的卡通人物。
上述方案中，所述基于所述卡通人物的头部关键点和肢体关键点的位置信息、及所述卡通素材，生成与所述目标对象的形态相同的卡通人物，包括：
当所述卡通素材包括卡通人物的头部素材及肢体素材时，
根据所述卡通人物的头部关键点和肢体关键点的位置信息，将所述头部素材及肢体素材行组合，得到所述卡通人物。
上述方案中，所述基于所述卡通人物的头部关键点和肢体关键点的位置信息、及所述卡通素材，生成与所述目标对象的形态相同的卡通人物，包括：
基于所述关键点的第一位置信息，确定所述卡通人物的头部关键点和肢体关键点的位置信息；
基于所述卡通人物的头部关键点的位置信息，采用线条的形式绘制所述卡通人物的头部；
基于所述卡通人物的肢体关键点的位置信息，采用线条的形式绘制所述卡通人物的肢体；
将绘制的所述卡通人物的头部及肢体进行组合，得到与所述目标对象的形态相同的卡通人物。
上述方案中，所述采用线条的形式绘制所述卡通人物的肢体，包括：
基于所述卡通人物肢体关键点的位置，确定所述肢体关键点不处于一条直线上时，
通过弧线对所述肢体关键点进行连接，得到肢体弯曲程度与所述目标对象的肢体弯曲程度相匹配的弧形线条形式的肢体。
上述方案中，所述呈现与所述目标对象的形态相同的卡通人物，包括：
确定所述卡通人物与所述目标对象在图形界面中呈现时的相对位置关系；
基于所述相对位置关系，通过同一窗口，呈现所述目标对象和所述卡通人物。
上述方案中，所述呈现与所述目标对象的形态相同的卡通人物，包括：
分别确定所述卡通人物与所述目标对象在图形界面中呈现时对应的窗口，所述卡通人物与所述目标对象对应不同的窗口；
通过主窗口及子窗口，分别呈现所述卡通人物与所述目标对象。
上述方案中，所述基于所述第一位置信息与所述第二位置信息的差异，更新呈现的所述卡通人物的形态，包括：
基于所述第一位置信息与所述第二位置信息的差异，确定所述卡通人物的关键点的位置变化；
基于所述卡通人物的关键点的位置变化，调整呈现的所述卡通人物的形态，使得更新后所述卡通人物的形态与所述第二帧图像中所述目标对象的形态相同。
第二方面，本公开实施例提供了一种图像的处理装置，包括：
第一采集单元，用于采集包含目标对象的第一帧图像；
第一检测单元，用于在所述第一帧图像中，对所述目标对象的关键点进行检测，得到所述关键点的第一位置信息；
处理单元，用于基于所述关键点的第一位置信息，生成并呈现与所述目标对象的形态相同的卡通人物；
第二采集单元，用于采集包含所述目标对象的第二帧图像，所述第一帧图像与所述第二帧图像为连续的帧图像；
第二检测单元，用于在所述第二帧图像中，对所述目标对象的关键点进行检测，得到所述关键点的第二位置信息；
更新单元，基于所述第一位置信息与所述第二位置信息的差异，更新呈现的所述卡通人物的形态。
上述方案中，所述处理单元，还用于加载卡通素材，所述卡通素材包括卡通人物的头部素材、肢体素材及服饰素材中至少之一；
基于所述关键点的第一位置信息，确定所述卡通人物的头部关键点和肢体关键点的位置信息；
基于所述卡通人物的头部关键点和肢体关键点的位置信息、及所述卡通素材，生成与所述目标对象的形态相同的卡通人物。
上述方案中，所述处理单元，还用于当所述卡通素材包括卡通人物的头部素材及肢体素材时，
根据所述卡通人物的头部关键点和肢体关键点的位置信息，将所述头部素材及肢体素材行组合，得到所述卡通人物。
上述方案中，所述处理单元，还用于当所述卡通素材包括卡通人物的头部素材时，
基于所述卡通人物的肢体关键点的位置信息，采用线条的形式绘制所述卡通人物的肢体；
将所述头部素材与绘制的所述卡通人物的肢体进行组合，得到与所述目标对象的形态相同的卡通人物。
上述方案中，所述处理单元，还用于基于所述关键点的第一位置信息，确定所述卡通人物的头部关键点和肢体关键点的位置信息；
基于所述卡通人物的头部关键点的位置信息，采用线条的形式绘制所述卡通人物的头部；
基于所述卡通人物的肢体关键点的位置信息，采用线条的形式绘制所述卡通人物的肢体；
将绘制的所述卡通人物的头部及肢体进行组合，得到与所述目标对象的形态相同的卡通人物。
上述方案中，所述处理单元，还用于基于所述卡通人物肢体关键点的位置，确定所述肢体关键点不处于一条直线上时，
通过弧线对所述肢体关键点进行连接，得到肢体弯曲程度与所述目标对象的肢体弯曲程度相匹配的弧形线条形式的肢体。
上述方案中，所述处理单元，还用于确定所述卡通人物与所述目标对象在图形界面中呈现时的相对位置关系；
基于所述相对位置关系，通过同一窗口，呈现所述目标对象和所述卡通人物。
上述方案中，所述处理单元，还用于分别确定所述卡通人物与所述目标对象在图形界面中呈现时对应的窗口，所述卡通人物与所述目标对象对应不同的窗口；
通过主窗口及子窗口，分别呈现所述卡通人物与所述目标对象。
上述方案中，所述更新单元，还用于基于所述第一位置信息与所述第二位置信息的差异，确定所述卡通人物的关键点的位置变化；
基于所述卡通人物的关键点的位置变化，调整呈现的所述卡通人物的形态，使得更新后所述卡通人物的形态与所述第二帧图像中所述目标对象的形态相同。
第三方面，本公开实施例提供了一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述可执行指令时，实现本公开实施例提供的图像的处理方法。
第四方面，本公开实施例提供了一种存储介质，存储有可执行指令，所述可执行指令被执行时，用于实现本公开实施例提供的图像的处理方法。
本公开实施例具有如下有益效果：
应用本公开上述实施例，通过在第一帧图像中，对目标对象的关键点进行检测，得到关键点的第一位置信息；从而基于关键点的第一位置信息，生成并呈现与目标对象的形态相同的卡通人物；并通过在第二帧图像中，对目标对象的关键点进行检测，得到关键点的第二位置信息；进而基于第一位置信息与第二位置信息的差异，更新呈现的卡通人物的形态，使得在视频拍摄过程中，生成的卡通人物能够跟随执行与采集的图像中的目标对象相同的动作，从而为用户提供一种新的互动方式，提升用户的体验感。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1是本公开实施例提供的图像的处理系统100的一种可选的架构示意图；
图2是本公开实施例提供的电子设备20的结构示意图；
图3是本公开实施例提供的图像的处理方法的一个可选的流程示意图；
图4是本公开实施例提供的第一帧图像中目标对象的关键点示意图；
图5是本公开实施例提供的卡通人物的一个可选的示意图；
图6是本公开实施例提供的卡通人物的一个可选的示意图；
图7是本公开实施例提供的卡通人物的一个可选的示意图；
图8是本公开实施例提供的卡通人物的一个可选的示意图；
图9是本公开实施例提供的呈现卡通人物的一个可选的图形界面示意图；
图10是本公开实施例提供的呈现卡通人物的一个可选的图形界面示意图；
图11是本公开实施例提供的呈现卡通人物的一个可选的图形界面示意图；
图12是本公开实施例提供的图像的处理方法的一个可选的流程示意图；
图13是本公开实施例提供的图像的处理方法的一个可选的流程示意图；
图14是本公开实施例提供的图像的处理方法的一个可选的流程示意图；
图15是本公开实施例提供的图像的处理装置的一个可选的组成结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
参见图1，图1为本公开实施例提供的图像的处理系统100的一种可选的架构示意图，为实现支撑一个示例性应用，终端200(包括终端200-1和终端200-2)，终端200通过网络300连接服务器400，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。
终端200，用于采集包含目标对象的第一帧图像，并将第一帧图像发送至服务器400；
服务器400，用于在第一帧图像中，对目标对象的关键点进行检测，得到关键点的第一位置信息，并返回给终端200；
终端200，还用于基于所述关键点的第一位置信息，生成并呈现与目标图像的形态相同的卡通人物；采集包含目标对象的第二帧图像，并将第二帧图像发送至服务器400；第一帧图像与第二帧图像为连续的帧图像；
服务器400，还用于在第二帧图像中，对所述目标对象的关键点进行检测，得到所述关键点的第二位置信息，并返回给终端200；
终端200，还用于基于第一位置信息与第二位置信息的差异，更新呈现的所述卡通人物的形态。
在实际应用中，服务器400既可以为单独配置的支持各种业务的一个服务器，亦可以配置为一个服务器集群；终端可以为智能手机、平板电脑、笔记本电脑等各种类型的用户终端，还可以为可穿戴计算设备、个人数字助理(PDA)、台式计算机、蜂窝电话、媒体播放器、导航设备、游戏机、电视机、或者这些数据处理设备或其他数据处理设备中任意两个或多个的组合。
下面对实施本公开实施例实施图像的处理方法的电子设备进行说明。在一些实施例中，电子设备可以以各种形式来实施，如：由智能手机、平板电脑和台式机等终端单独实施，或者由终端、服务器协同实施。
下面参见图2，图2是本公开实施例提供的电子设备20的结构示意图。图2示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示，电子设备20可以包括处理装置(例如中央处理器、图形处理器等)210，其可以根据存储在只读存储器(ROM，Read-Only Memory)220中的程序或者从存储装置280加载到随机访问存储器(RAM，Random Access Memory)230中的程序而执行各种适当的动作和处理。在RAM 230中，还存储有电子设备20操作所需的各种程序和数据。处理装置210、ROM220以及RAM 230通过总线240彼此相连。输入/输出(I/O，Input/Output)接口250也连接至总线240。
通常，以下装置可以连接至I/O接口250：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置260；包括例如液晶显示器(LCD，LiquidCrystal Display)、扬声器、振动器等的输出装置270；包括例如磁带、硬盘等的存储装置280；以及通信装置290。通信装置290可以允许电子设备20与其他设备进行无线或有线通信以交换数据。虽然图2示出了具有各种装置的电子设备20，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开实施例，所提供的流程图描述的过程可以被实现为计算机软件程序。例如，本公开实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，计算机程序可以通过通信装置290从网络上被下载和安装，或者从存储装置280被安装，或者从ROM 220被安装。在计算机程序被处理装置210执行时，执行本公开实施例的图像的处理方法中的功能。
需要说明的是，本公开实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(EPROM，ErasableProgrammable Read Only Memory)、闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括电线、光缆、射频(RF，Radio Frequency)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备20中所包含的；也可以是单独存在，而未装配入电子设备20中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被电子设备20执行时，使得电子设备执行本公开实施例提供的图像的处理方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开实施例中操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN，Local Area Network))和广域网(WAN，Wide Area Network)，以连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本公开实施例提供的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一采集单元还可以被描述为“采集包含目标对象的第一帧图像”。
本公开实施例中描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA，Field-Programmable Gate Array)、专用集成电路(ASIC，Application SpecificIntegrated Circuit)、专用标准产品(ASSP，Application Specific Standard Parts))、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开实施例的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
继续参见图3，图3是本公开实施例提供的图像的处理方法的一个可选的流程示意图，本公开实施例的图像的处理方法包括：
步骤301：终端采集包含目标对象的第一帧图像。
在实际应用中，终端上设置有客户端，如即时通讯客户端、微博客户端、短视频客户端等，用户可在客户端的用户界面上点击视频拍摄按键，以触发视频拍摄指令，使得终端调用图像采集传感器，如摄像头，对包含目标对象的第一帧图像进行采集。需要说明的是，视频拍摄的目标对象为被拍摄的用户，其中，用户的数量可以为一个或多个。
步骤302：在第一帧图像中，对目标对象的关键点进行检测，得到关键点的第一位置信息。
在实际实施时，目标对象的关键点可以为第一帧图像中人物的各个关节点，如头、肩、手肘、手腕等，参见图4，图4为本公开实施例提供的第一帧图像中目标对象的关键点示意图，目标对象共包括14个关键点，通过关键点可以确定目标对象的形态。
在一些实施例中，终端可通过训练得到的神经网络模型(如卷积神经网络模型(CNN，Convolutional Neural Networks)对目标对象的关键点进行检测。在实际实施时，终端将第一帧图像输入卷积神经网络模型，得到第一位置信息。这里，第一位置信息包括目标对象的各个关键点的位置信息，通过在第一帧图像建立坐标系，用坐标表示各个关键点的位置信息。
步骤303：基于关键点的第一位置信息，生成并呈现与所述目标对象的形态相同的卡通人物。
在实际实施时，由于根据关键点的第一位置信息，能够确定出目标对象的形态，因此，基于关键点的第一位置信息，能够生成与目标对象形态相同的卡通人物，并对生成的卡通人物进行展示。
在一些实施例中，终端可以通过以下方式生成与目标对象的形态相同的卡通人物：加载卡通素材，所述卡通素材包括卡通人物的头部素材、肢体素材及服饰素材中至少之一；基于所述关键点的第一位置信息，确定所述卡通人物的头部关键点和肢体关键点的位置信息；基于卡通人物的头部关键点和肢体关键点的位置信息、及卡通素材，生成与目标对象的形态相同的卡通人物。
需要说明的是，头部素材即卡通人物的头部，肢体素材包括卡通人物的四肢和身体，服饰素材包括卡通人物的衣服、鞋子等。在实际实施时，卡通人物的关键点与目标对象的关键点是一一对应的，目标对象的关键点的位置信息是基于第一帧图像对应的坐标系确定的，在生成卡通人物时，需要建立对应卡通人物的坐标系，基于第一帧图像的坐标系与卡通人物的坐标系的对应关系，确定卡通人物的头部关键点的肢体关键点的位置信息。
在一些实施例中，当卡通素材包括卡通人物的头部及肢体素材时，终端根据卡通人物的头部关键点和肢体关键点的位置信息，将头部素材及肢体素材进行组合，得到卡通人物。
这里，卡通素材包括卡通人物的头部及肢体素材，即卡通人物身体的各部分均有对应的素材，通过将素材进行组合，构成完整的卡通人物。在实际实施时，通过卡通人物的头部关键点和肢体关键点的位置信息，能够确定各个素材的位置及尺寸，进而根据各个素材的位置将头部素材与肢体素材进行组合。
例如，图5为本公开实施例提供的卡通人物的一个可选的示意图，参见图5，卡通人物的头部和肢体均是由卡通素材生成的，且卡通素材的位置与卡通人物的关键点的位置相对应。
当加载的卡通素材不能构成完整的卡通人物，则需要通过线条绘制卡通人物缺少卡通素材的部分。
在一些实施例中，当卡通素材包括卡通人物的头部素材时，基于卡通人物的肢体关键点的位置信息，采用线条的形式绘制卡通人物的肢体；将头部素材与绘制的卡通人物的肢体进行组合，得到与目标对象的形态相同的卡通人物。
这里，由于卡通素材仅包括卡通人物的头部素材，缺少卡通人物的肢体部分，需要通过线条绘制卡通人物的肢体，即卡通人物的身体和四肢。
在实际实施时，肢体关键点分为卡通人物的身体关键点和四肢关键点，通过线条分别对卡通人物的身体关键点和四肢关键点进行连接。其中，肢体关键点包括：左肩关键点、右肩关键点、右髋关键点、左髋关键点，通过线条将肢体关键点顺序连接，以绘制得到卡通人物的身体；四肢关键点包括双上肢关键点和双下肢关键点，每个上肢关键点包括：肩关键点、肘关键点和腕关键点；每个下肢关键点包括：髋关键点、膝关键点和踝关键点，通过线条分别将四肢关键点连接，以绘制得到卡通人物的四肢。例如，通过线条将左肩关键点、左肘关键点、左腕关键点顺序连接，绘制得到卡通人物的左上肢。
例如，图6为本公开实施例提供的卡通人物的一个可选的示意图，参见图6，卡通人物的头部为卡通素材，卡通人物的肢体由线条组成，且头部素材的位置与头部关键点的位置相对应，卡通人物的肢体为通过线条连接肢体关键点得到的。
在一些实施例中，当卡通素材包括卡通人物的头部及服饰素材时，由于缺少卡通人物的四肢，基于卡通人物四肢关键点的位置信息，通过线条的形式绘制卡通人物的四肢，将卡通人物的头部及服饰素材与绘制的卡通人物的四肢进行组合，得到与目标对象的形态相同的卡通人物。
例如，图7为本公开实施例提供的卡通人物的一个可选的示意图，参见图7，卡通人物的头部、衣服和鞋子为加载的素材，而四肢由线条构成。
在一些实施例中，终端可以通过以下方式生成与目标对象的形态相同的卡通人物：基于关键点的第一位置信息，确定卡通人物的头部关键点和肢体关键点的位置信息；基于卡通人物的头部关键点的位置信息，采用线条的形式绘制卡通人物的头部；基于卡通人物的肢体关键点的位置信息，采用线条的形式绘制卡通人物的肢体；将绘制的卡通人物的头部及肢体进行组合，得到与目标对象的形态相同的卡通人物。
这里，在没有加载卡通素材时，通过线条绘制整个卡通人物。在实际实施时，基于卡通人物的头部关键点的位置信息，确定卡通人物的头部的位置，在卡通人物的头部所对应的位置，通过圆形线条绘制卡通人物的头部。肢体关键点分为身体关键点和四肢关键点，分别通过线条分别对卡通人物的身体关键点和四肢关键点进行连接，绘制卡通人物的身体和四肢。
例如，图8为本公开实施例提供的卡通人物的一个可选的示意图，参见图8，卡通人物的头部和肢体均是由线条组成的。
在一些实施例中，终端基于卡通人物肢体关键点的位置，确定肢体关键点不处于一条直线上时，通过弧线对肢体关键点进行连接，得到肢体弯曲程度与目标对象的肢体弯曲程度相匹配的弧形线条形式的肢体。
在实际实施时，通过每两个关键点之间的直线的斜率，判断肢体关键点是否位于一条直线上，若是，则直接通过直线连接肢体关键点；否则，通过弧线连接三个关键点，以得到肢体弯曲程度与目标对象的肢体弯曲程度相匹配的弧形线条形式的肢体。
例如，参见图8，卡通人物的右上肢的三个关键点不处于一条直线上，通过弧线这三个关键点进行连接，得到弯曲程度与目标对象的右上肢弯曲程度相匹配的弧形线条形式的右上肢。
在一些实施例中，终端可以通过以下方式呈现与目标对象的形态相同的卡通人物：确定卡通人物与目标对象在图形界面中呈现时的相对位置关系；基于相对位置关系，通过同一窗口，呈现目标对象和卡通人物。
在实际实施时，卡通人物与目标对象的相对位置关系可以是上下、左右等，基于相对位置关系，通过同一窗口，呈现目标对象和卡通人物。在呈现目标对象和卡通人物时，可以是卡通人物相对于目标对象占据较少的显示区域，也可以是目标对象相对于卡通人物占据较少的显示区域，还可以是目标对象和卡通人物占据相同大小的显示区域。
例如，图9为本公开实施例提供的呈现卡通人物的一个可选的图形界面示意图，参见图9，通过同一窗口呈现目标对象和卡通人物，其中，卡通人物显示在目标对象的右下方，且相对于目标对象占据较少的显示区域。
在一些实施例中，终端可以通过以下方式呈现与目标对象的形态相同的卡通人物：分别确定卡通人物与目标对象在图形界面中呈现时对应的窗口，卡通人物与目标对象对应不同的窗口；通过主窗口及子窗口，分别呈现卡通人物与目标对象。
这里，主窗口的尺寸大于子窗口的尺寸，且子窗口位于主窗口上。
在一些实施例中，通过主窗口呈现卡通人物，通过子窗口呈现目标对象。图10为本公开实施例提供的呈现卡通人物的一个可选的图形界面示意图，参见图10，图形界面中包括主窗口和子窗口，子窗口位于主窗口的右下角区域，通过主窗口呈现卡通人物，通过主窗口呈现目标对象。
在一些实施例中，通过主窗口呈现目标对象，通过子窗口呈现卡通人物。图11为本公开实施例提供的呈现卡通人物的一个可选的图形界面示意图，参见图11，图形界面中包括主窗口和子窗口，子窗口位于主窗口的右下角区域，通过主窗口呈现目标对象，通过主窗口呈现卡通人物。
步骤304：采集包含目标对象的第二帧图像，第一帧图像与第二帧图像为连续的帧图像。
这里，图像的采集为实时采集，第二帧图像为第一帧图像后连续的一帧图像。
步骤305：在第二帧图像中，对目标对象的关键点进行检测，得到关键点的第二位置信息。
这里，终端可采用与步骤302中相同的方式，对目标对象的关键点进行检测。
步骤306：基于第一位置信息与第二位置信息的差异，更新呈现的卡通人物的形态。
这里，基于第一位置信息与第二位置信息的差异，能够确定目标对象的形态变化，通过基于第一位置信息与第二位置信息的差异，更新呈现的卡通人物的形态，能够使卡通人物执行与目标对象相同的动作。
在一些实施例中，终端可以通过以下方式更新呈现的卡通人物的形态：基于第一位置信息与第二位置信息的差异，确定卡通人物的关键点的位置变化；基于卡通人物的关键点的位置变化，调整呈现的卡通人物的形态，使得更新后卡通人物的形态与第二帧图像中目标对象的形态相同。
在实际实施时，可以通过向量来表示第二位置信息相对于第一位置信息的变化，再根据两个坐标系之间的对应关系，确定卡通人物的关键点的位置变化，进而基于卡通人物的关键点的位置变化，调整呈现的卡通人物的形态。
在实际应用中，当卡通人物全部由卡通素材组成时，根据卡通人物的关键点的位置变化，调整各个卡通素材的位置；当卡通人物由头部素材与绘制的卡通人物的肢体组合时，根据卡通人物头部关键点的位置变化，调整头部素材的位置，并根据肢体关键点的位置变化，调整肢体的弯曲弧度及位置；当卡通人物全部由绘制的卡通人物的头部及肢体时，根据卡通人物的关键点的位置变化，调整线条的肢体的弯曲弧度和位置、及头部的位置。
需要说明的是，终端对包含目标对象的帧图像进行实时采集，针对采集到的每一帧图像，均执行以下操作：检测图像中目标对象的关键点的位置信息，并基于与前一帧图像中目标对象的关键点的位置信息的差异，更新呈现的卡通人物的形态。
本公开实施例通过在第一帧图像中，对目标对象的关键点进行检测，得到关键点的第一位置信息；从而基于关键点的第一位置信息，生成并呈现与目标对象的形态相同的卡通人物；并通过在第二帧图像中，对目标对象的关键点进行检测，得到关键点的第二位置信息；进而基于第一位置信息与第二位置信息的差异，更新呈现的卡通人物的形态，使得在视频拍摄过程中，生成的卡通人物能够跟随执行与采集的图像中的目标对象相同的动作，从而为用户提供一种新的互动方式，提升用户的体验感。
下面以加载的卡通素材包括头部素材为例，说明本公开实施例提供的图像的处理方法，图12为本公开实施例提供的图像的处理方法的一个可选的流程示意图，参见图12，本公开实施例的图像的处理方法包括：
步骤401：客户端采集包含目标对象的第一帧图像。
这里，在实际应用中，客户端可以为社交网络客户端，如短视频客户端，即时通讯客户端，还可以为图像处理客户端，如美颜相机客户端。客户端通过调用终端的照相机采集包含目标对象的第一帧图像。
步骤402：在第一帧图像中，对目标对象的关键点进行检测，得到关键点的第一位置信息。
步骤403：加载卡通人物的头部素材。
步骤404：基于关键点的第一位置信息，确定卡通人物的头部关键点和肢体关键点的位置信息。
步骤405：根据卡通人物的肢体关键点的位置信息，采用线条的形式绘制卡通人物的肢体。
如图9所示，卡通人物由头部素材和肢体素材组合得到，卡通人物的形态与目标对象相同。
步骤406：基于卡通人物的头部关键点和肢体关键点的位置信息，将绘制的卡通人物的头部及肢体进行组合，得到与目标对象的形态相同的卡通人物。
步骤407：确定卡通人物与目标对象在图形界面中呈现时的相对位置关系为卡通人物位于目标对象的右下方。
步骤408：基于相对位置关系，通过同一窗口，呈现目标对象和卡通人物。
如图9所示，通过同一窗口呈现目标对象和卡通人物，卡通人物位于目标对象的右下方，且卡通人物的显示区域小于目标对象的显示区域。
步骤409：采集包含目标对象的第二帧图像，第一帧图像与第二帧图像为连续的帧图像。
步骤410：在第二帧图像中，对目标对象的关键点进行检测，得到关键点的第二位置信息。
步骤411：基于第一位置信息与第二位置信息的差异，确定卡通人物的头部及肢体关键点的位置变化。
步骤412：基于卡通人物的头部及肢体关键点的位置变化，调整呈现的卡通人物的头部与肢体的位置。
这里，通过同一窗口呈现第二帧图像中的目标对象，以及调整后的卡通人物，其中，调整后的卡通人物与第二帧图像中目标对象的形态相同。
下面以卡通素材包括头部素材及肢体素材为例，说明本公开实施例提供的图像的处理方法，图13为本公开实施例提供的图像的处理方法的一个可选的流程示意图，参见图13，本公开实施例的图像的处理方法包括：
步骤501：客户端采集包含目标对象的第一帧图像。
这里，在实际应用中，客户端可以为社交网络客户端，如短视频客户端，即时通讯客户端，还可以为图像处理客户端，如美颜相机客户端。客户端通过调用终端的照相机采集包含目标对象的第一帧图像。
步骤502：在第一帧图像中，对目标对象的关键点进行检测，得到关键点的第一位置信息。
步骤503：加载卡通人物的头部素材及肢体素材。
步骤504：基于关键点的第一位置信息，确定卡通人物的头部关键点和肢体关键点的位置信息。
步骤505：基于卡通人物的头部关键点和肢体关键点的位置信息，将卡通人物的头部素材及肢体素材进行组合，得到与目标对象的形态相同的卡通人物。
步骤506：将绘制的卡通人物的头部及肢体进行组合，得到与目标对象的形态相同的卡通人物。
如图10所示，卡通人物由头部素材和绘制的肢体组成。
步骤507：通过图形界面中的主窗口呈现卡通人物，通过图形界面中的子窗口呈现目标对象。
如图10所示，主窗口的尺寸大于子窗口的尺寸，且子窗口位于主窗口上。通过主窗口呈现的卡通人物的形态与通过子窗口呈现的目标对象的形态相同。
步骤508：采集包含目标对象的第二帧图像，第一帧图像与第二帧图像为连续的帧图像。
步骤509：在第二帧图像中，对目标对象的关键点进行检测，得到关键点的第二位置信息。
步骤510：基于第一位置信息与第二位置信息的差异，确定卡通人物的头部关键点及肢体关键点的位置变化。
步骤511：根据卡通人物的头部关键点及肢体关键点的位置变化，调整头部素材和肢体素材的位置。
步骤512：通过图形界面中的主窗口呈现调整后的卡通人物，通过图形界面中的子窗口呈现第二帧图像中的目标对象。
下面以采用线条的形式绘制卡通人物为例，说明本公开实施例提供的图像的处理方法，图14为本公开实施例提供的图像的处理方法的一个可选的流程示意图，参见图14，本公开实施例的图像的处理方法包括：
步骤601：客户端采集包含目标对象的第一帧图像。
这里，在实际应用中，客户端可以为社交网络客户端，如短视频客户端，即时通讯客户端，还可以为图像处理客户端，如美颜相机客户端。客户端通过调用终端的照相机采集包含目标对象的第一帧图像。
步骤602：在第一帧图像中，对目标对象的关键点进行检测，得到关键点的第一位置信息。
步骤603：基于关键点的第一位置信息，确定卡通人物的头部关键点和肢体关键点的位置信息。
步骤604：基于卡通人物的头部关键点的位置信息，采用线条的形式绘制卡通人物的头部。
如图11所示，卡通人物的头部为圆形线条。
步骤605：基于卡通人物的肢体关键点的位置信息，确定肢体关键点不处于一条直线上时，通过弧线对肢体关键点进行连接，得到卡通人物的肢体。
如图11所示，卡通人物的肢体由弧线构成，其中，弧线线条的弯曲程度与目标对象的肢体弯曲程度相同。
步骤606：将绘制的卡通人物的头部及肢体进行组合，得到与目标对象的形态相同的卡通人物。
步骤607：通过图形界面中的主窗口呈现目标对象，通过图形界面中的子窗口呈现卡通人物。
如图11所示，主窗口的尺寸大于子窗口的尺寸，且子窗口位于主窗口上。通过子窗口呈现的卡通人物，与通过主窗口呈现的目标对象的形态相同。
步骤608：采集包含目标对象的第二帧图像，第一帧图像与第二帧图像为连续的帧图像。
步骤609：在第二帧图像中，对目标对象的关键点进行检测，得到关键点的第二位置信息。
步骤610：基于第一位置信息与第二位置信息的差异，确定卡通人物的头部关键点和肢体关键点的位置变化。
步骤611：基于卡通人物的头部关键点和肢体关键点的位置变化，调整线条的肢体的弯曲弧度和位置、及头部的位置。
步骤612：通过图形界面中的主窗口呈现第二帧图像中的目标对象，通过图形界面中的子窗口呈现调整后的卡通人物。
继续对本公开实施例提供的图像的处理装置的软件实现进行说明。参见图15，图15为本公开实施例提供的图像的处理装置的一个可选的组成结构示意图，参见图15，本公开实施例图像的处理装置70包括：
第一采集单元71，用于采集包含目标对象的第一帧图像；
第一检测单元72，用于在所述第一帧图像中，对所述目标对象的关键点进行检测，得到所述关键点的第一位置信息；
处理单元73，用于基于所述关键点的第一位置信息，生成并呈现与所述目标对象的形态相同的卡通人物；
第二采集单元74，用于采集包含所述目标对象的第二帧图像，所述第一帧图像与所述第二帧图像为连续的帧图像；
第二检测单元75，用于在所述第二帧图像中，对所述目标对象的关键点进行检测，得到所述关键点的第二位置信息；
更新单元76，基于所述第一位置信息与所述第二位置信息的差异，更新呈现的所述卡通人物的形态。
在一些实施例中，所述处理单元73，还用于加载卡通素材，所述卡通素材包括卡通人物的头部素材、肢体素材及服饰素材中至少之一；
基于所述关键点的第一位置信息，确定所述卡通人物的头部关键点和肢体关键点的位置信息；
基于所述卡通人物的头部关键点和肢体关键点的位置信息、及所述卡通素材，生成与所述目标对象的形态相同的卡通人物。
在一些实施例中，所述处理单元73，还用于当所述卡通素材包括卡通人物的头部素材及肢体素材时，
根据所述卡通人物的头部关键点和肢体关键点的位置信息，将所述头部素材及肢体素材行组合，得到所述卡通人物。
在一些实施例中，所述处理单元73，还用于当所述卡通素材包括卡通人物的头部素材时，
基于所述卡通人物的肢体关键点的位置信息，采用线条的形式绘制所述卡通人物的肢体；
将所述头部素材与绘制的所述卡通人物的肢体进行组合，得到与所述目标对象的形态相同的卡通人物。
在一些实施例中，所述处理单元73，还用于基于所述关键点的第一位置信息，确定所述卡通人物的头部关键点和肢体关键点的位置信息；
基于所述卡通人物的头部关键点的位置信息，采用线条的形式绘制所述卡通人物的头部；
基于所述卡通人物的肢体关键点的位置信息，采用线条的形式绘制所述卡通人物的肢体；
将绘制的所述卡通人物的头部及肢体进行组合，得到与所述目标对象的形态相同的卡通人物。
在一些实施例中，所述处理单元73，还用于基于所述卡通人物肢体关键点的位置，确定所述肢体关键点不处于一条直线上时，
通过弧线对所述肢体关键点进行连接，得到肢体弯曲程度与所述目标对象的肢体弯曲程度相匹配的弧形线条形式的肢体。
在一些实施例中，所述处理单元73，还用于确定所述卡通人物与所述目标对象在图形界面中呈现时的相对位置关系；
基于所述相对位置关系，通过同一窗口，呈现所述目标对象和所述卡通人物。
在一些实施例中，所述处理单元73，还用于分别确定所述卡通人物与所述目标对象在图形界面中呈现时对应的窗口，所述卡通人物与所述目标对象对应不同的窗口；
通过主窗口及子窗口，分别呈现所述卡通人物与所述目标对象。
在一些实施例中，所述更新单元76，还用于基于所述第一位置信息与所述第二位置信息的差异，确定所述卡通人物的关键点的位置变化；
基于所述卡通人物的关键点的位置变化，调整呈现的所述卡通人物的形态，使得更新后所述卡通人物的形态与所述第二帧图像中所述目标对象的形态相同。
根据本公开的一个或多个实施例，提供了一种图像的处理方法，包括：
采集包含目标对象的第一帧图像；
在所述第一帧图像中，对所述目标对象的关键点进行检测，得到所述关键点的第一位置信息；
基于所述关键点的第一位置信息，生成并呈现与所述目标对象的形态相同的卡通人物；
采集包含所述目标对象的第二帧图像，所述第一帧图像与所述第二帧图像为连续的帧图像；
在所述第二帧图像中，对所述目标对象的关键点进行检测，得到所述关键点的第二位置信息；
基于所述第一位置信息与所述第二位置信息的差异，更新呈现的所述卡通人物的形态。
根据本公开的一个或多个实施例，提供了上述图像的处理方法，所述基于所述关键点的第一位置信息，生成与所述目标对象的形态相同的卡通人物，包括：
加载卡通素材，所述卡通素材包括卡通人物的头部素材、肢体素材及服饰素材中至少之一；
基于所述关键点的第一位置信息，确定所述卡通人物的头部关键点和肢体关键点的位置信息；
基于所述卡通人物的头部关键点和肢体关键点的位置信息、及所述卡通素材，生成与所述目标对象的形态相同的卡通人物。
根据本公开的一个或多个实施例，提供了上述图像的处理方法，所述基于所述卡通人物的头部关键点和肢体关键点的位置信息、及所述卡通素材，生成与所述目标对象的形态相同的卡通人物，包括：
当所述卡通素材包括卡通人物的头部素材及肢体素材时，
根据所述卡通人物的头部关键点和肢体关键点的位置信息，将所述头部素材及肢体素材行组合，得到所述卡通人物。
根据本公开的一个或多个实施例，提供了上述图像的处理方法，所述基于所述卡通人物的头部关键点和肢体关键点的位置信息、及所述卡通素材，生成与所述目标对象的形态相同的卡通人物，包括：
基于所述关键点的第一位置信息，确定所述卡通人物的头部关键点和肢体关键点的位置信息；
基于所述卡通人物的头部关键点的位置信息，采用线条的形式绘制所述卡通人物的头部；
基于所述卡通人物的肢体关键点的位置信息，采用线条的形式绘制所述卡通人物的肢体；
将绘制的所述卡通人物的头部及肢体进行组合，得到与所述目标对象的形态相同的卡通人物。
根据本公开的一个或多个实施例，提供了上述图像的处理方法，所述采用线条的形式绘制所述卡通人物的肢体，包括：
基于所述卡通人物肢体关键点的位置，确定所述肢体关键点不处于一条直线上时，
通过弧线对所述肢体关键点进行连接，得到肢体弯曲程度与所述目标对象的肢体弯曲程度相匹配的弧形线条形式的肢体。
根据本公开的一个或多个实施例，提供了上述图像的处理方法，所述呈现与所述目标对象的形态相同的卡通人物，包括：
确定所述卡通人物与所述目标对象在图形界面中呈现时的相对位置关系；
基于所述相对位置关系，通过同一窗口，呈现所述目标对象和所述卡通人物。
根据本公开的一个或多个实施例，提供了上述图像的处理方法，所述呈现与所述目标对象的形态相同的卡通人物，包括：
分别确定所述卡通人物与所述目标对象在图形界面中呈现时对应的窗口，所述卡通人物与所述目标对象对应不同的窗口；
通过主窗口及子窗口，分别呈现所述卡通人物与所述目标对象。
根据本公开的一个或多个实施例，提供了上述图像的处理方法，所述基于所述第一位置信息与所述第二位置信息的差异，更新呈现的所述卡通人物的形态，包括：
基于所述第一位置信息与所述第二位置信息的差异，确定所述卡通人物的关键点的位置变化；
基于所述卡通人物的关键点的位置变化，调整呈现的所述卡通人物的形态，使得更新后所述卡通人物的形态与所述第二帧图像中所述目标对象的形态相同。
根据本公开的一个或多个实施例，提供了一种图像的处理装置，包括：
第一采集单元，用于采集包含目标对象的第一帧图像；
第一检测单元，用于在所述第一帧图像中，对所述目标对象的关键点进行检测，得到所述关键点的第一位置信息；
处理单元，用于基于所述关键点的第一位置信息，生成并呈现与所述目标对象的形态相同的卡通人物；
第二采集单元，用于采集包含所述目标对象的第二帧图像，所述第一帧图像与所述第二帧图像为连续的帧图像；
第二检测单元，用于在所述第二帧图像中，对所述目标对象的关键点进行检测，得到所述关键点的第二位置信息；
更新单元，基于所述第一位置信息与所述第二位置信息的差异，更新呈现的所述卡通人物的形态。
根据本公开的一个或多个实施例，提供了一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述可执行指令时，实现本公开实施例提供的图像的处理方法。
根据本公开的一个或多个实施例，提供了一种存储介质，存储有可执行指令，所述可执行指令被执行时，用于实现本公开实施例提供的图像的处理方法。
以上描述仅为本公开的实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (20)

1.一种图像的处理方法，其特征在于，所述方法包括：
采集包含目标对象的第一帧图像；
在所述第一帧图像中，对所述目标对象的关键点进行检测，得到所述关键点的第一位置信息；
加载卡通素材，基于所述关键点的第一位置信息，生成并呈现与所述目标对象的形态相同的卡通人物，在所述卡通素材不能构成完整的卡通人物的情况下，基于缺失部分的关键点通过线条绘制所述卡通人物缺少的部分，在没有加载卡通素材的情况下，基于各个部分的关键点通过线条绘制整个卡通人物，所述卡通素材包括卡通人物的头部素材、肢体素材及服饰素材中至少之一；
采集包含所述目标对象的第二帧图像，所述第一帧图像与所述第二帧图像为连续的帧图像；
在所述第二帧图像中，对所述目标对象的关键点进行检测，得到所述关键点的第二位置信息；
基于所述第一位置信息与所述第二位置信息的差异，更新呈现的所述卡通人物的形态。
2.如权利要求1所述的方法，其特征在于，所述基于所述关键点的第一位置信息，生成与所述目标对象的形态相同的卡通人物，包括：
基于所述关键点的第一位置信息，确定所述卡通人物的头部关键点和肢体关键点的位置信息；
基于所述卡通人物的头部关键点和肢体关键点的位置信息、及所述卡通素材，生成与所述目标对象的形态相同的卡通人物。
3.如权利要求2所述的方法，其特征在于，所述基于所述卡通人物的头部关键点和肢体关键点的位置信息、及所述卡通素材，生成与所述目标对象的形态相同的卡通人物，包括：
当所述卡通素材包括卡通人物的头部素材及肢体素材时，
根据所述卡通人物的头部关键点和肢体关键点的位置信息，将所述头部素材及肢体素材行组合，得到所述卡通人物。
4.如权利要求2所述的方法，其特征在于，所述基于所述卡通人物的头部关键点和肢体关键点的位置信息、及所述卡通素材，生成与所述目标对象的形态相同的卡通人物，包括：
当所述卡通素材包括卡通人物的头部素材时，
基于所述卡通人物的肢体关键点的位置信息，采用线条的形式绘制所述卡通人物的肢体；
将所述头部素材与绘制的所述卡通人物的肢体进行组合，得到与所述目标对象的形态相同的卡通人物。
5.如权利要求1所述的方法，其特征在于，所述基于所述关键点的第一位置信息，生成与所述目标对象的形态相同的卡通人物，包括：
基于所述关键点的第一位置信息，确定所述卡通人物的头部关键点和肢体关键点的位置信息；
基于所述卡通人物的头部关键点的位置信息，采用线条的形式绘制所述卡通人物的头部；
基于所述卡通人物的肢体关键点的位置信息，采用线条的形式绘制所述卡通人物的肢体；
将绘制的所述卡通人物的头部及肢体进行组合，得到与所述目标对象的形态相同的卡通人物。
6.如权利要求5所述的方法，其特征在于，所述采用线条的形式绘制所述卡通人物的肢体，包括：
基于所述卡通人物肢体关键点的位置，确定所述肢体关键点不处于一条直线上时，
通过弧线对所述肢体关键点进行连接，得到肢体弯曲程度与所述目标对象的肢体弯曲程度相匹配的弧形线条形式的肢体。
7.如权利要求1所述的方法，其特征在于，所述呈现与所述目标对象的形态相同的卡通人物，包括：
确定所述卡通人物与所述目标对象在图形界面中呈现时的相对位置关系；
基于所述相对位置关系，通过同一窗口，呈现所述目标对象和所述卡通人物。
8.如权利要求1所述的方法，其特征在于，所述呈现与所述目标对象的形态相同的卡通人物，包括：
分别确定所述卡通人物与所述目标对象在图形界面中呈现时对应的窗口，所述卡通人物与所述目标对象对应不同的窗口；
通过主窗口及子窗口，分别呈现所述卡通人物与所述目标对象。
9.如权利要求1所述的方法，其特征在于，所述基于所述第一位置信息与所述第二位置信息的差异，更新呈现的所述卡通人物的形态，包括：
基于所述第一位置信息与所述第二位置信息的差异，确定所述卡通人物的关键点的位置变化；
基于所述卡通人物的关键点的位置变化，调整呈现的所述卡通人物的形态，使得更新后所述卡通人物的形态与所述第二帧图像中所述目标对象的形态相同。
10.一种图像的处理装置，其特征在于，所述装置包括：
第一采集单元，用于采集包含目标对象的第一帧图像；
第一检测单元，用于在所述第一帧图像中，对所述目标对象的关键点进行检测，得到所述关键点的第一位置信息；
处理单元，用于加载卡通素材，基于所述关键点的第一位置信息，生成并呈现与所述目标对象的形态相同的卡通人物，在所述卡通素材不能构成完整的卡通人物的情况下，基于缺失部分的关键点通过线条绘制所述卡通人物缺少的部分，在没有加载卡通素材的情况下，基于各个部分的关键点通过线条绘制整个卡通人物，所述卡通素材包括卡通人物的头部素材、肢体素材及服饰素材中至少之一；
第二采集单元，用于采集包含所述目标对象的第二帧图像，所述第一帧图像与所述第二帧图像为连续的帧图像；
第二检测单元，用于在所述第二帧图像中，对所述目标对象的关键点进行检测，得到所述关键点的第二位置信息；
更新单元，基于所述第一位置信息与所述第二位置信息的差异，更新呈现的所述卡通人物的形态。
11.如权利要求10所述的装置，其特征在于，
所述处理单元，还用于加载卡通素材，所述卡通素材包括卡通人物的头部素材、肢体素材及服饰素材中至少之一；
基于所述关键点的第一位置信息，确定所述卡通人物的头部关键点和肢体关键点的位置信息；
基于所述卡通人物的头部关键点和肢体关键点的位置信息、及所述卡通素材，生成与所述目标对象的形态相同的卡通人物。
12.如权利要求11所述的装置，其特征在于，
所述处理单元，还用于当所述卡通素材包括卡通人物的头部素材及肢体素材时，
根据所述卡通人物的头部关键点和肢体关键点的位置信息，将所述头部素材及肢体素材行组合，得到所述卡通人物。
13.如权利要求11所述的装置，其特征在于，
所述处理单元，还用于当所述卡通素材包括卡通人物的头部素材时，
基于所述卡通人物的肢体关键点的位置信息，采用线条的形式绘制所述卡通人物的肢体；
将所述头部素材与绘制的所述卡通人物的肢体进行组合，得到与所述目标对象的形态相同的卡通人物。
14.如权利要求10所述的装置，其特征在于，
所述处理单元，还用于基于所述关键点的第一位置信息，确定所述卡通人物的头部关键点和肢体关键点的位置信息；
基于所述卡通人物的头部关键点的位置信息，采用线条的形式绘制所述卡通人物的头部；
基于所述卡通人物的肢体关键点的位置信息，采用线条的形式绘制所述卡通人物的肢体；
将绘制的所述卡通人物的头部及肢体进行组合，得到与所述目标对象的形态相同的卡通人物。
15.如权利要求14所述的装置，其特征在于，
所述处理单元，还用于基于所述卡通人物肢体关键点的位置，确定所述肢体关键点不处于一条直线上时，
通过弧线对所述肢体关键点进行连接，得到肢体弯曲程度与所述目标对象的肢体弯曲程度相匹配的弧形线条形式的肢体。
16.如权利要求10所述的装置，其特征在于，
所述处理单元，还用于确定所述卡通人物与所述目标对象在图形界面中呈现时的相对位置关系；
基于所述相对位置关系，通过同一窗口，呈现所述目标对象和所述卡通人物。
17.如权利要求10所述的装置，其特征在于，
所述处理单元，还用于分别确定所述卡通人物与所述目标对象在图形界面中呈现时对应的窗口，所述卡通人物与所述目标对象对应不同的窗口；
通过主窗口及子窗口，分别呈现所述卡通人物与所述目标对象。
18.如权利要求10所述的装置，其特征在于，
所述更新单元，还用于基于所述第一位置信息与所述第二位置信息的差异，确定所述卡通人物的关键点的位置变化；
基于所述卡通人物的关键点的位置变化，调整呈现的所述卡通人物的形态，使得更新后所述卡通人物的形态与所述第二帧图像中所述目标对象的形态相同。
19.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述可执行指令时，实现如权利要求1至9任一项所述的图像的处理方法。
20.一种存储介质，其特征在于，存储有可执行指令，所述可执行指令被执行时，用于实现如权利要求1至9任一项所述的图像的处理方法。
CN201911060495.6A 2019-11-01 2019-11-01 图像的处理方法、装置、电子设备及存储介质 Active CN112784622B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911060495.6A CN112784622B (zh) 2019-11-01 2019-11-01 图像的处理方法、装置、电子设备及存储介质
JP2022508774A JP7356575B2 (ja) 2019-11-01 2020-10-22 画像の処理方法、装置、電子機器及び記憶媒体
PCT/CN2020/122832 WO2021083028A1 (zh) 2019-11-01 2020-10-22 图像的处理方法、装置、电子设备及存储介质
US17/672,446 US11593983B2 (en) 2019-11-01 2022-02-15 Image processing method and apparatus, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911060495.6A CN112784622B (zh) 2019-11-01 2019-11-01 图像的处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112784622A CN112784622A (zh) 2021-05-11
CN112784622B true CN112784622B (zh) 2023-07-25

Family

ID=75715724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911060495.6A Active CN112784622B (zh) 2019-11-01 2019-11-01 图像的处理方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (1) US11593983B2 (zh)
JP (1) JP7356575B2 (zh)
CN (1) CN112784622B (zh)
WO (1) WO2021083028A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948237B2 (en) * 2021-12-30 2024-04-02 Samsung Electronics Co., Ltd. System and method for mimicking user handwriting or other user input using an avatar

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231209A (zh) * 2011-04-19 2011-11-02 浙江大学 基于异构特征降维的二维角色卡通生成方法
JP2016062277A (ja) * 2014-09-18 2016-04-25 泰章 岩井 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
CN108711180A (zh) * 2018-05-02 2018-10-26 北京市商汤科技开发有限公司 美妆/换脸特效程序文件包的生成及美妆/换脸特效生成方法与装置
CN109829960A (zh) * 2019-01-22 2019-05-31 安徽状元郎电子科技有限公司 一种vr动漫系统交互方法
CN110390705A (zh) * 2018-04-16 2019-10-29 北京搜狗科技发展有限公司 一种生成虚拟形象的方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027315A (ja) 2000-07-07 2002-01-25 Sony Corp 動き検出装置及び動き検出方法
EP2263190A2 (en) 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
CN101833459B (zh) * 2010-04-14 2012-10-03 四川真视信息技术有限公司 基于网页的动态2d骨骼人物实现系统
CN102509333B (zh) * 2011-12-07 2014-05-07 浙江大学 基于动作捕获数据驱动的二维卡通表情动画制作方法
CN102682420A (zh) * 2012-03-31 2012-09-19 北京百舜华年文化传播有限公司 一种真实人物图像转换为卡通风格图像的方法及装置
CN104616331A (zh) * 2015-02-16 2015-05-13 百度在线网络技术（北京）有限公司 移动设备上的图像处理方法和装置
CN108268120B (zh) * 2016-12-29 2020-07-28 同方威视技术股份有限公司 基于vr或ar的图像数据处理方法、设备和安检系统
KR101966384B1 (ko) * 2017-06-29 2019-08-13 라인 가부시키가이샤 영상 처리 방법 및 시스템
CN107831902B (zh) 2017-11-23 2020-08-25 腾讯科技（上海）有限公司 一种运动控制方法及其设备、存储介质、终端
US10553009B2 (en) * 2018-03-15 2020-02-04 Disney Enterprises, Inc. Automatically generating quadruped locomotion controllers
CN109191548A (zh) * 2018-08-28 2019-01-11 百度在线网络技术（北京）有限公司 动画制作方法、装置、设备及存储介质
CN109308682A (zh) * 2018-10-18 2019-02-05 杭州数为科技有限公司 一种人脸识别与卡通还原方法、装置、介质及系统
CN109727303B (zh) * 2018-12-29 2023-07-25 广州方硅信息技术有限公司 视频展示方法、系统、计算机设备、存储介质和终端
JP2022501732A (ja) 2019-01-18 2022-01-06 北京市商▲湯▼科技▲開▼▲發▼有限公司Beijing Sensetime Technology Development Co., Ltd. 画像処理方法及び装置、画像デバイス並びに記憶媒体
CN110058685B (zh) * 2019-03-20 2021-07-09 北京字节跳动网络技术有限公司 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
CN110047102A (zh) * 2019-04-18 2019-07-23 北京字节跳动网络技术有限公司 用于输出信息的方法、装置和系统
CN110335331B (zh) * 2019-07-08 2023-01-31 上海乂学教育科技有限公司 教学动画制作方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231209A (zh) * 2011-04-19 2011-11-02 浙江大学 基于异构特征降维的二维角色卡通生成方法
JP2016062277A (ja) * 2014-09-18 2016-04-25 泰章 岩井 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
CN110390705A (zh) * 2018-04-16 2019-10-29 北京搜狗科技发展有限公司 一种生成虚拟形象的方法及装置
CN108711180A (zh) * 2018-05-02 2018-10-26 北京市商汤科技开发有限公司 美妆/换脸特效程序文件包的生成及美妆/换脸特效生成方法与装置
CN109829960A (zh) * 2019-01-22 2019-05-31 安徽状元郎电子科技有限公司 一种vr动漫系统交互方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向多感官体验的丝绸之路虚拟现实系统的研究与实现;管洪跃;《中国优秀硕士学位论文全文数据库（信息科技辑）》(第03期);I138-7534 *

Also Published As

Publication number Publication date
JP2022543892A (ja) 2022-10-14
JP7356575B2 (ja) 2023-10-04
CN112784622A (zh) 2021-05-11
US20220172418A1 (en) 2022-06-02
WO2021083028A1 (zh) 2021-05-06
US11593983B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
CN110070063B (zh) 目标对象的动作识别方法、装置和电子设备
US20230245398A1 (en) Image effect implementing method and apparatus, electronic device and storage medium
US20230005194A1 (en) Image processing method and apparatus, readable medium and electronic device
US20220358662A1 (en) Image generation method and device
CN112818898B (zh) 模型训练方法、装置和电子设备
US10776979B2 (en) Virtual skeleton based on computing device capability profile
CN110045958B (zh) 纹理数据生成方法、装置、存储介质及设备
CN113163135B (zh) 视频的动画添加方法、装置、设备及介质
CN114742856A (zh) 一种视频处理方法、装置、设备及介质
CN110717467A (zh) 头部姿势的估计方法、装置、设备及存储介质
CN112258622B (zh) 图像处理方法、装置、可读介质及电子设备
CN112784622B (zh) 图像的处理方法、装置、电子设备及存储介质
CN112270242B (zh) 轨迹的显示方法、装置、可读介质和电子设备
CN111104827A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN110189364B (zh) 用于生成信息的方法和装置，以及目标跟踪方法和装置
CN112257594A (zh) 多媒体数据的显示方法、装置、计算机设备及存储介质
CN116228952A (zh) 一种虚拟对象挂载方法、装置、设备及介质
CN116360661A (zh) 特效处理方法、装置、电子设备及存储介质
CN113223012B (zh) 视频处理方法、设备及电子设备
CN110990549A (zh) 获取答案的方法、装置、电子设备及存储介质
CN110852093A (zh) 文本信息生成方法、装置、计算机设备及存储介质
CN112418233B (zh) 图像处理方法、装置、可读介质及电子设备
CN116527993A (zh) 视频的处理方法、装置、电子设备、存储介质和程序产品
CN113703704A (zh) 界面显示方法、头戴式显示设备和计算机可读介质
CN111652432A (zh) 用户属性信息的确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant after: Douyin Vision Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant before: Tiktok vision (Beijing) Co.,Ltd.

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant after: Tiktok vision (Beijing) Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant