CN108629821A - 动画生成方法和装置 - Google Patents

动画生成方法和装置 Download PDF

Info

Publication number
CN108629821A
CN108629821A CN201810359143.XA CN201810359143A CN108629821A CN 108629821 A CN108629821 A CN 108629821A CN 201810359143 A CN201810359143 A CN 201810359143A CN 108629821 A CN108629821 A CN 108629821A
Authority
CN
China
Prior art keywords
target
data
picture
target object
animation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810359143.XA
Other languages
English (en)
Inventor
邓澍军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bit Intelligence Technology Co Ltd
Original Assignee
Beijing Bit Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bit Intelligence Technology Co Ltd filed Critical Beijing Bit Intelligence Technology Co Ltd
Priority to CN201810359143.XA priority Critical patent/CN108629821A/zh
Publication of CN108629821A publication Critical patent/CN108629821A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种动画生成方法和装置,其中,方法包括:针对第一动画片段中每帧画面,从所述画面中提取目标角色的第一形象数据;同步采集目标对象的每帧图像,从所述图像中提取所述目标对象的第二形象数据;针对所述第一动画片段中每帧画面,根据所述第二形象数据,调整所述画面中所述目标角色的第一形象数据;利用调整后的每帧画面,生成第二动画片段。通过本方法,用户可以按照自己的喜好和需求将动画中的角色替换为真实的人物形象,从而能够满足动画制作的个性化需求,丰富用户的兴趣活动,使用户参与到动画中,提高用户的参与感和体验感。

Description

动画生成方法和装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种动画生成方法和装置。
背景技术
动画是一种综合艺术,是集合了绘画、漫画、电影、数字媒体、摄影、音乐、文学等众多艺术门类于一身的艺术表现形式。动画作为一门幻想艺术,更容易直观地表现和抒发人们的感情,可以把现实生活中不可能看到的场景变为现实,扩展了人类的想象力和创造力。
目前,用户只能观看已经制作完成的动画,而不能对已有动画进行个性化编辑。
发明内容
本发明提供一种动画生成方法和装置,解决现有技术中观看动画时不能对动画进行个性化编辑的技术问题。
为此,本发明的第一个目的在于提出一种动画生成方法,通过对动画片段中的目标角色的形象数据进行调整,将目标角色的形象数据调整为采集的目标对象的形象数据,得到包含目标对象的动画片段,用户可以按照自己的喜好和需求将动画中的角色替换为真实的人物形象,从而能够满足动画制作的个性化需求,丰富用户的兴趣活动,使用户参与到动画中,提高用户的参与感和体验感。
本发明的第二个目的在于提出一种动画生成装置。
本发明的第三个目的在于提出一种电子设备。
本发明的第四个目的在于提出一种非暂态计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的,本发明第一方面实施例提出了一种动画生成方法,包括:
针对第一动画片段中每帧画面,从所述画面中提取目标角色的第一形象数据;
同步采集目标对象的每帧图像,从所述图像中提取所述目标对象的第二形象数据;
针对所述第一动画片段中每帧画面,根据所述第二形象数据,调整所述画面中所述目标角色的第一形象数据;
利用调整后的每帧画面,生成第二动画片段。
本发明实施例的动画生成方法,通过针对第一动画片段中每帧画面,从画面中提取目标角色的第一形象数据,并同步采集目标对象的每帧图像,从图像中提取目标对象的第二进行数据,进而针对第一动画片段中每帧画面,根据第二形象数据调整画面中目标角色的第一形象数据,最终利用调整形象后的每帧画面生成第二动画片段。由此,通过对动画片段中的目标角色的形象数据进行调整,将目标角色的形象数据调整为采集的目标对象的形象数据,得到包含目标对象的动画片段,用户可以按照自己的喜好和需求将动画中的角色替换为真实的人物形象,从而能够满足动画制作的个性化需求,丰富用户的兴趣活动,使用户参与到动画中,提高用户的参与感和体验感。
为达上述目的,本发明第二方面实施例提出了一种动画生成装置,包括:
第一提取模块,用于针对第一动画片段中每帧画面,从所述画面中提取目标角色的第一形象数据;
第二提取模块,用于同步采集目标对象的每帧图像,从所述图像中提取所述目标对象的第二形象数据;
调整模块,用于针对所述第一动画片段中每帧画面,根据所述第二形象数据,调整所述画面中所述目标角色的第一形象数据;
生成模块,用于利用调整后的每帧画面,生成第二动画片段。
本发明实施例的动画生成装置,通过针对第一动画片段中每帧画面,从画面中提取目标角色的第一形象数据,并同步采集目标对象的每帧图像,从图像中提取目标对象的第二进行数据,进而针对第一动画片段中每帧画面,根据第二形象数据调整画面中目标角色的第一形象数据,最终利用调整形象后的每帧画面生成第二动画片段。由此,通过对动画片段中的目标角色的形象数据进行调整,将目标角色的形象数据调整为采集的目标对象的形象数据,得到包含目标对象的动画片段,用户可以按照自己的喜好和需求将动画中的角色替换为真实的人物形象,从而能够满足动画制作的个性化需求,丰富用户的兴趣活动,使用户参与到动画中,提高用户的参与感和体验感。
为达上述目的,本发明第三方面实施例提出了一种电子设备,包括:处理器和存储器;其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如第一方面实施例所述的动画生成方法。
为达上述目的,本发明第四方面实施例提出了一种非暂态计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面实施例所述的动画生成方法。
为达上述目的,本发明第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,实现如第一方面实施例所述的动画生成方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例所提供的一种动画生成方法的流程示意图;
图2为本发明实施例所提供的另一种动画生成方法的流程示意图;
图3为本发明实施例所提供的又一种动画生成方法的流程示意图;
图4为本发明实施例所提供的还一种动画生成方法的流程示意图;
图5为本发明实施例提供的一种动画生成装置的结构示意图;
图6为本发明实施例提供的另一种动画生成装置的结构示意图;
图7为本发明实施例提供的又一种动画生成装置的结构示意图;
图8为本发明实施例所提供的一种电子设备的结构示意图;
图9是图示根据本发明实施例的电子设备的硬件结构示意图;以及
图10是图示根据本发明的实施例的计算机可读存储介质的示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的动画生成方法和装置。
图1为本发明实施例所提供的一种动画生成方法的流程示意图。
如图1所示,该动画生成方法包括以下步骤:
步骤101,针对第一动画片段中每帧画面,从画面中提取目标角色的第一形象数据。
其中,第一动画片段是已有动画的片段节选,可以从已有动画中剪辑获得,比如,截取动画《千与千寻》的部分片段作为第一动画片段;目标角色为第一动画片段中用户感兴趣的角色,即用户想要模仿的角色;第一形象数据为目标角色在第一动画片段中的形象数据,包括目标角色的肢体动作、面部表情等。
本实施例中,当用户想要参与到某一动画中时,用户可以从动画中截取一部分作为第一动画片段,并选定想要模仿的目标角色,进而,电子设备可以针对第一动画片段中的每帧画面,从画面中提取出目标角色的第一形象数据。
步骤102,同步采集目标对象的每帧图像,从图像中提取目标对象的第二形象数据。
其中,目标对象为想要模仿目标角色的用户,即想要参与到第一动画片段中的用户。
本实施例中,可以通过电子设备的摄像头同步采集目标对象的每帧图像,并从采集的图像中提取目标对象的第二形象数据,其中,第二形象数据是目标对象在图像中的形象数据,包括目标对象的肢体动作、面部表情等。例如,在提取目标对象的第二形象数据时,可以采用相关的人体行为识别技术来提取图像中目标对象的肢体动作,采用相关的面部表情识别技术来提取图像中目标对象的面部表情。
步骤103,针对第一动画片段中每帧画面,根据第二形象数据,调整画面中目标角色的第一形象数据。
本实施例中,获取了目标形象的第一形象数据以及目标对象的第二形象数据之后,可以针对第一动画片段中的每帧画面,根据第二形象数据,对第一动画片段中目标角色的第一形象数据进行调整。例如,可以将第一动画片段中目标角色的第一形象数据替换为目标对象的第二形象数据。
步骤104,利用调整后的每帧画面,生成第二动画片段。
本实施例中,将第一动画片段中的目标角色的第一形象数据调整为目标对象的第二形象数据之后,可以利用调整形象后的每帧画面,生成第二动画片段,则生成的第二动画片段中,目标角色的形象被调整为目标对象的形象。
本实施例的动画生成方法,通过针对第一动画片段中每帧画面,从画面中提取目标角色的第一形象数据,并同步采集目标对象的每帧图像,从图像中提取目标对象的第二进行数据,进而针对第一动画片段中每帧画面,根据第二形象数据调整画面中目标角色的第一形象数据,最终利用调整形象后的每帧画面生成第二动画片段。由此,通过对动画片段中的目标角色的形象数据进行调整,将目标角色的形象数据调整为采集的目标对象的形象数据,得到包含目标对象的动画片段,用户可以按照自己的喜好和需求将动画中的角色替换为真实的人物形象,从而能够满足动画制作的个性化需求,丰富用户的兴趣活动,使用户参与到动画中,提高用户的参与感和体验感。
图2为本发明实施例所提供的另一种动画生成方法的流程示意图。
如图2所示,该动画生成方法可以包括以下步骤:
步骤201,针对第一动画片段中每帧画面,根据目标角色的特征信息,对图像中的目标角色进行检测,识别目标角色的关键点,提取目标角色的关键点的第一轮廓数据,利用第一轮廓数据,得到第一形象数据。
本实施例中,可以由用户选定第一动画片段中的目标角色,比如,用户可以通过点击选择或者输入选择的方式选择目标角色,电子设备获取用户选择的目标角色的特征信息,其中,目标角色的特征信息可以包括目标角色的五官轮廓信息、身体的轮廓信息等。电子设备针对第一动画片段中的每帧画面,可以根据目标角色的特征信息,对图像中的目标角色进行检测,识别出每帧画面中目标角色的关键点,并提取出目标角色的关键点的第一轮廓数据,进而,利用第一轮廓数据,得到目标角色的第一形象数据。其中,目标角色的关键点例如可以为目标角色的眼睛、嘴巴、鼻子、耳朵、四肢等。
步骤202,同步采集目标对象的每帧图像,根据目标对象的特征信息,对图像中的目标对象进行检测,识别目标对象的关键点,提取目标对象的关键点的第二轮廓数据,利用第二轮廓数据,得到第二形象数据。
本实施例中,目标对象可以由用户指定,例如,当用户自身希望参与到第一动画片段中时,则用户自身即为目标对象,用户可以从电子设备的本地图像中选择一张自身的图像来指定目标对象,或者也可以通过电子设备的摄像头拍摄一张自身的图像来指定目标对象,电子设备对用户指定的目标对象进行识别后,获取目标对象的特征信息。电子设备同步采集目标对象的每帧图像后,可以根据目标对象的特征信息对图像中的目标对象进行检测,以识别目标对象的关键点,并提取目标对象的关键点的第二轮廓数据,得到第二形象数据。
步骤203,针对第一动画片段中每帧画面,针对同一关键点,将目标对象的关键点的第二轮廓数据,与目标角色的关键点的第一轮廓数据进行融合,得到关键点的目标轮廓数据。
步骤204,根据目标轮廓数据,调整目标角色的关键点的轮廓。
获取了目标角色的第一形象数据以及目标对象的第二形象数据之后,针对第一动画片段中的每帧画面,可以针对目标角色和目标对象的同一关键点,将目标对象的关键点的第二轮廓数据与目标角色的关键点的第一轮廓数据进行融合,得到关键点的目标轮廓数据。进而,根据得到的目标轮廓数据,可以对目标角色的关键点的轮廓进行调整。
作为一种示例,针对同一关键点,可以求取第二形象数据和第一形象数据的并集,将并集处理后所得的数据作为目标轮廓数据,进而利用目标轮廓数据对目标角色的关键点的轮廓进行调整。
作为一种示例,针对同一关键点,可以利用第二轮廓数据对第一轮廓数据进行替换,即将第二轮廓数据作为目标轮廓数据,进而利用目标轮廓数据对目标角色的关键点的轮廓进行调整。
步骤205,利用调整后的每帧画面,生成第二动画片段。
本实施例中,对目标角色的每个关键点的轮廓进行调整后,可以利用调整后的每帧画面,生成第二动画片段,则第二动画片段中包括目标对象的形象。
本实施例的动画生成方法,通过根据目标角色的特征信息从第一动画片段的每帧画面中提取目标角色的关键点的第一轮廓数据,并根据目标对象的特征信息从目标对象的图像中提取出目标对象的观点及的第二轮廓数据,进而针对同一关键点,将第二轮廓数据与第一轮廓数据进行融合得到关键点的目标轮廓数据,根据目标轮廓数据调整目标角色的关键点的轮廓,由此,能够对第一动画片段中目标角色的关键点进行调整,从而实现对目标角色的细节调整,使得调整后的目标角色生动形象。
进一步地,在本发明实施例一种可能的实现方式中,针对第一动画片段中每帧画面获取的第一形象数据中,可以包括目标角色的每个关键点的第一姿态数据,以及第二形象数据中可以包括目标对象的每个关键点的第二姿态数据,从而,本发明实施例提出了另一种动画生成方法,如图3所示,在如图2所示实施例的基础上,步骤203之前还可以包括以下步骤:
步骤301,针对同一关键点,根据第一姿态数据,确定目标角色上关键点的姿态。
其中,关键点的姿态可以为关键点的动作,例如,当关键点为嘴巴时,嘴巴的姿态可以为嘴角上扬、嘴角下沉、嘴巴紧抿等;当关键点为胳膊时,胳膊的姿态可以为上举、下垂、弯曲、前平举等。
步骤302,根据第二姿态数据确定目标对象上关键点的姿态。
本实施例中,当获取的第一形象数据中包括目标角色的每个关键点的第一姿态数据,第二形象数据中包括目标对象的每个关键点的第二姿态数据时,针对同一个关键点,可以分别根据第一姿态数据确定目标角色上该关键点的姿态,以及根据第二姿态数据确定目标对象上该关键点的姿态。
步骤303,将目标角色的姿态与目标对象的姿态进行对比。
步骤304,如果目标对象上关键点的姿态与目标角色上关键点的姿态不一致,则将目标角色上关键点的姿态调整为目标对象上关键点的姿态。
本实施例中,确定了目标角色上每个关键点的姿态以及目标对象上每个关键点的姿态之后,可以针对目标角色上和目标对象上每个相同的关键点,将该关键点对应的目标角色的姿态与目标对象的姿态进行对比,并在目标对象上关键点的姿态与目标角色上关键点的姿态不一致时,将目标角色上关键点的姿态调整为目标对象上关键点的姿态。
步骤305,从画面中,提取由目标角色上关键点的姿态调整引起的空白区域,对空白区域进行画面补全。
由于目标角色和目标对象的尺寸不一定完全匹配,对目标角色上关键点的姿态进行调整时,可能存在调整后的画面中存在空白区域的情况。为了保证画面的完整性,可以对画面中的空白区域进行补全。
作为一种可能的实现方式,对空白区域进行画面补全时,可以从画面中提取空白区域周围区域的画面特征,利用提取的画面特征对空白区域进行填补。第一动画片段的画面中,目标角色的某一关键点周围区域的像素往往像素值相同或相近,因此,本实施例中,对因调整关键点的姿态遗留的空白区域进行补全时,可以获取与空白区域相邻的区域的像素值对空白区域进行填补,由于在姿态调整之前,与空白区域相邻的区域是与目标角色的关键点相邻的,从而,在进行填补后,使得调整后的关键点周围区域的像素值与调整之前相同,保证了画面的协调性。
作为一种可能的实现方式,对空白区域进行画面补全时,可以先获取空白区域在画面中的位置信息,再从画面的相邻帧画面中,根据位置信息,提取位置信息对应区域内的画面特征,进而根据对应区域内的画面特征,对空白区域进行填补;或者,从第一动画片段的所有帧画面中,提取与画面相似的相似画面,再从相似画面中,根据位置信息,提取位置信息对应区域内的画面特征,进而根据对应区域内的画面特征,对空白区域进行填补。
本实施例的动画生成方法,通过根据第一姿态数据和第二姿态数据分别确定目标角色上关键点的姿态和目标对象上关键点的姿态,并将目标角色的姿态与目标对象的姿态进行对比,在不一致时将目标角色上关键点的姿态调整为目标对象上关键点的姿态,由此,能够对目标角色的动作进行调整,使用户根据喜好更改目标角色的动作,满足用户的个性化需求;通过从画面中提取由目标角色上关键点的姿态调整引起的空白区域,对空白区域进行画面补全,能够使得调整后的画面无损,保证了画面的协调性。
基于前述实施例,为了使得生成的第二动画片段更加真实,提高第二动画片段中调整后的目标角色与目标对象的匹配度,在本发明实施例一种可能的实现方式中,还可以为第二动画片段中调整后的目标角色进行配音,以使得第二动画片段中目标角色的声音与目标对象的声音一致,提高真实性。从而,本发明实施例提出了另一种动画生成方法,图4为本发明实施例所提供的还一种动画生成方法的流程示意图。
如图4所示,在前述实施例的基础上,生成第二动画片段之后,该动画生成方法还可以包括以下步骤:
步骤401,采集目标对象的配音数据。
例如,可以通过电子设备的麦克风采集目标对象的配音数据。
示例一,目标对象可以根据第二动画片段中,目标角色的口型判断目标角色可能发出的语音信息,进而目标对象根据判断结果进行说话,由电子设备的音频采集装置(例如,麦克风)采集配音数据。其中,第二动画片段中的目标角色的形象与目标对象的形象一致。
示例二,目标对象可以根据第一动画片段中,目标角色的台词进行说话,目标对象说出与目标角色的台词相同的语句,由电子设备的音频采集装置(例如,麦克风)采集配音数据。
步骤402,将配音数据与第二动画片段进行合成,生成目标动画片段。
本实施例中,采集了目标对象的配音数据之后,可以将配音数据与第二动画片段进行合成,生成目标动画片段。
本实施例的动画生成方法,通过采集目标对象的配音数据,将配音数据与第二动画片段进行合成,生成目标动画片段,能够使得目标动画片段中目标角色的声音与目标对象的声音一致,提高动画的真实性。
为了实现上述实施例,本发明还提出一种动画生成装置。
图5为本发明实施例提供的一种动画生成装置的结构示意图。
如图5所示,该动画生成装置50包括:第一提取模块510、第二提取模块520、调整模块530,以及生成模块540。其中,
第一提取模块510,用于针对第一动画片段中每帧画面,从画面中提取目标角色的第一形象数据。
第二提取模块520,用于同步采集目标对象的每帧图像,从图像中提取目标对象的第二形象数据。
调整模块530,用于针对第一动画片段中每帧画面,根据第二形象数据,调整画面中目标角色的第一形象数据。
生成模块540,用于利用调整后的每帧画面,生成第二动画片段。
进一步地,在本发明实施例的一种可能的实现方式中,第一提取模块510具体用于:针对第一动画片段中每帧画面,根据目标角色的特征信息,对图像中的目标角色进行检测;识别目标角色的关键点,提取目标角色的关键点的第一轮廓数据;利用第一轮廓数据,得到第一形象数据。
相应地,第二提取模块520具体用于:同步采集目标对象的每帧图像,根据目标对象的特征信息,对图像中的目标对象进行检测;识别目标对象的关键点,提取目标对象的关键点的第二轮廓数据;利用第二轮廓数据,得到第二形象数据。
此时,如图6所示,在如图5所示实施例的基础上,调整模块530包括:
融合单元534,用于针对同一关键点,将目标对象的关键点的第二轮廓数据,与目标角色的关键点的第一轮廓数据进行融合,得到关键点的目标轮廓数据;
调整单元535,用于根据目标轮廓数据,调整目标角色的关键点的轮廓。
通过根据目标角色的特征信息从第一动画片段的每帧画面中提取目标角色的关键点的第一轮廓数据,并根据目标对象的特征信息从目标对象的图像中提取出目标对象的观点及的第二轮廓数据,进而针对同一关键点,将第二轮廓数据与第一轮廓数据进行融合得到关键点的目标轮廓数据,根据目标轮廓数据调整目标角色的关键点的轮廓,由此,能够对第一动画片段中目标角色的关键点进行调整,从而实现对目标角色的细节调整,使得调整后的目标角色生动形象。
进一步地,在本发明实施例一种可能的实现方式中,第一形象数据中包括目标角色的每个关键点的第一姿态数据,第二形象数据中包括目标对象的每个关键点的第二姿态数据,从而,如图6所示,调整模块530还可以包括:
姿态确定单元531,用于针对同一关键点,根据第一姿态数据,确定目标角色上关键点的姿态,以及,根据第二姿态数据确定目标对象上关键点的姿态。
姿态调整单元532,用于将目标角色的姿态与目标对象的姿态进行对比;如果目标对象上关键点的姿态与目标角色上关键点的姿态不一致,则将目标角色上关键点的姿态调整为目标对象上关键点的姿态。
通过根据第一姿态数据和第二姿态数据分别确定目标角色上关键点的姿态和目标对象上关键点的姿态,并将目标角色的姿态与目标对象的姿态进行对比,在不一致时将目标角色上关键点的姿态调整为目标对象上关键点的姿态,由此,能够对目标角色的动作进行调整,使用户根据喜好更改目标角色的动作,满足用户的个性化需求。
补全单元533,用于从画面中,提取由目标角色上关键点的姿态调整引起的空白区域,对空白区域进行画面补全。
具体地,补全单元533具体用于从画面中,提取空白区域周围区域的画面特征,利用提取的画面特征对空白区域进行填补;或者,获取空白区域在画面中的位置信息;从画面的相邻帧画面中,根据位置信息,提取位置信息对应区域内的画面特征,根据对应区域内的画面特征,对空白区域进行填补;或者,从第一动画片段的所有帧画面中,提取与画面相似的相似画面;从相似画面中,根据位置信息,提取位置信息对应区域内的画面特征,根据对应区域内的画面特征,对空白区域进行填补。
通过从画面中提取由目标角色上关键点的姿态调整引起的空白区域,对空白区域进行画面补全,能够使得调整后的画面无损,保证了画面的协调性。
为了使得生成的第二动画片段中的目标角色更加真实,在本发明实施例一种可能的实现方式中,如图7所示,在如图5所示实施例的基础上,该动画生成装置50还可以包括:
采集模块550,用于采集目标对象的配音数据。
配音单元560,用于将配音数据与第二动画片段进行合成,生成目标动画片段。
通过采集目标对象的配音数据,将配音数据与第二动画片段进行合成,生成目标动画片段,能够使得目标动画片段中目标角色的声音与目标对象的声音一致,提高动画的真实性。
需要说明的是,前述对动画生成方法实施例的解释说明也适用于该实施例的动画生成装置,其实现原理类似,此处不再赘述。
本实施例的动画生成装置,通过针对第一动画片段中每帧画面,从画面中提取目标角色的第一形象数据,并同步采集目标对象的每帧图像,从图像中提取目标对象的第二进行数据,进而针对第一动画片段中每帧画面,根据第二形象数据调整画面中目标角色的第一形象数据,最终利用调整形象后的每帧画面生成第二动画片段。由此,通过对动画片段中的目标角色的形象数据进行调整,将目标角色的形象数据调整为采集的目标对象的形象数据,得到包含目标对象的动画片段,用户可以按照自己的喜好和需求将动画中的角色替换为真实的人物形象,从而能够满足动画制作的个性化需求,丰富用户的兴趣活动,使用户参与到动画中,提高用户的参与感和体验感。
为了实现上述实施例,本发明还提出一种电子设备。
图8为本发明实施例所提供的一种电子设备的结构示意图。如图8所示,该电子设备80包括:处理器801和存储器802。其中,处理器801通过读取存储器802中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于实现如前述实施例所述的动画生成方法。
图9是图示根据本发明实施例的电子设备的硬件结构示意图。电子设备可以以各种形式来实施,本发明中的电子设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。
如图9所示,电子设备1100可以包括无线通信单元1110、A/V(音频/视频)输入单元1120、用户输入单元1130、感测单元1140、输出单元1150、存储器1160、接口单元1170、控制器1180和电源单元1190等等。图9示出了具有各种组件的终端设备,但是应理解的是,并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。
其中,无线通信单元1110允许电子设备1100与无线通信系统或网络之间的无线电通信。A/V输入单元1120用于接收音频或视频信号。用户输入单元1130可以根据用户输入的命令生成键输入数据以控制电子设备的各种操作。感测单元1140检测电子设备1100的当前状态、电子设备1100的位置、用户对于电子设备1100的触摸输入的有无、电子设备1100的取向、电子设备1100的加速或减速移动和方向等等,并且生成用于控制电子设备1100的操作的命令或信号。接口单元1170用作至少一个外部装置与电子设备1100连接可以通过的接口。输出单元1150被构造为以视觉、音频和/或触觉方式提供输出信号。存储器1160可以存储由控制器1180执行的处理和控制操作的软件程序等等,或者可以暂时地存储己经输出或将要输出的数据。存储器1160可以包括至少一种类型的存储介质。而且,电子设备1100可以与通过网络连接执行存储器1160的存储功能的网络存储装置协作。控制器1180通常控制电子设备的总体操作。另外,控制器1180可以包括用于再现或回放多媒体数据的多媒体模块。控制器1180可以执行模式识别处理,以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。电源单元1190在控制器1180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
本发明提出的动画生成方法的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施,本发明提出的动画生成方法的各种实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施,在一些情况下,本发明提出的动画生成方法的各种实施方式可以在控制器1180中实施。对于软件实施,本发明提出的动画生成方法的各种实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施,软件代码可以存储在存储器1160中并且由控制器1180执行。
为了实现上述实施例,本发明还提出一种非暂态计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如前述实施例所述的动画生成方法。
图10是图示根据本发明的实施例的计算机可读存储介质的示意图。如图10所示,根据本发明实施例的计算机可读存储介质300,其上存储有非暂时性计算机可读指令310。当该非暂时性计算机可读指令310由处理器运行时,执行前述的本公开各实施例的动画生成方法的全部或部分步骤。
为了实现上述实施例,本发明还提出一种计算机程序产品,当该计算机程序产品中的指令由处理器执行时,实现如前述实施例所述的动画生成方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种动画生成方法,其特征在于,包括:
针对第一动画片段中每帧画面,从所述画面中提取目标角色的第一形象数据;
同步采集目标对象的每帧图像,从所述图像中提取所述目标对象的第二形象数据;
针对所述第一动画片段中每帧画面,根据所述第二形象数据,调整所述画面中所述目标角色的第一形象数据;
利用调整后的每帧画面,生成第二动画片段。
2.根据权利要求1所述的方法,其特征在于,所述从所述画面中提取目标角色的第一形象数据,包括:
根据所述目标角色的特征信息,对所述图像中的目标角色进行检测;
识别所述目标角色的关键点,提取所述目标角色的关键点的第一轮廓数据;
利用所述第一轮廓数据,得到所述第一形象数据;
所述从所述图像中提取所述目标对象的第二形象数据,包括:
根据所述目标对象的特征信息,对所述图像中的目标对象进行检测;
识别所述目标对象的关键点,提取所述目标对象的关键点的第二轮廓数据;
利用所述第二轮廓数据,得到所述第二形象数据。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第二形象数据,调整所述画面中所述目标角色的第一形象数据,包括:
针对同一关键点,将所述目标对象的关键点的第二轮廓数据,与所述目标角色的关键点的第一轮廓数据进行融合,得到所述关键点的目标轮廓数据;
根据所述目标轮廓数据,调整所述目标角色的关键点的轮廓。
4.根据权利要求3所述的方法,其特征在于,所述第一形象数据中包括目标角色的每个关键点的第一姿态数据,以及所述第二形象数据中包括目标对象的每个关键点的第二姿态数据,则将所述目标对象的关键点的第二轮廓数据,与所述目标角色的关键点的第一轮廓数据进行融合之前,还包括:
针对同一关键点,根据所述第一姿态数据,确定所述目标角色上所述关键点的姿态;
根据所述第二姿态数据确定所述目标对象上所述关键点的姿态;
将所述目标角色的姿态与所述目标对象的姿态进行对比;
如果所述目标对象上所述关键点的姿态与所述目标角色上所述关键点的姿态不一致,则将所述目标角色上所述关键点的姿态调整为所述目标对象上所述关键点的姿态。
5.根据权利要求4所述的方法,其特征在于,所述将所述目标角色上所述关键点的姿态调整为所述目标对象上所述关键点的姿态之后,包括:
从所述画面中,提取由所述目标角色上所述关键点的姿态调整引起的空白区域,对空白区域进行画面补全。
6.根据权利要求5所述的方法,其特征在于,所述对空白区域进行画面补全,包括:
从所述画面中,提取所述空白区域周围区域的画面特征,利用提取的所述画面特征对所述空白区域进行填补;或者,
获取所述空白区域在所述画面中的位置信息;
从所述画面的相邻帧画面中,根据所述位置信息,提取所述位置信息对应区域内的画面特征,根据所述对应区域内的画面特征,对所述空白区域进行填补;或者,
从所述第一动画片段的所有帧画面中,提取与所述画面相似的相似画面;
从所述相似画面中,根据所述位置信息,提取所述位置信息对应区域内的画面特征,根据所述对应区域内的画面特征,对所述空白区域进行填补。
7.根据权利要求1所述的方法,其特征在于,所述生成第二动画片段之后,包括:
采集所述目标对象的配音数据;
将所述配音数据与所述第二动画片段进行合成,生成目标动画片段。
8.一种动画生成装置,其特征在于,包括:
第一提取模块,用于针对第一动画片段中每帧画面,从所述画面中提取目标角色的第一形象数据;
第二提取模块,用于同步采集目标对象的每帧图像,从所述图像中提取所述目标对象的第二形象数据;
调整模块,用于针对所述第一动画片段中每帧画面,根据所述第二形象数据,调整所述画面中所述目标角色的第一形象数据;
生成模块,用于利用调整后的每帧画面,生成第二动画片段。
9.一种电子设备,其特征在于,包括处理器和存储器;
其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如权利要求1-7中任一项所述的动画生成方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的动画生成方法。
CN201810359143.XA 2018-04-20 2018-04-20 动画生成方法和装置 Pending CN108629821A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810359143.XA CN108629821A (zh) 2018-04-20 2018-04-20 动画生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810359143.XA CN108629821A (zh) 2018-04-20 2018-04-20 动画生成方法和装置

Publications (1)

Publication Number Publication Date
CN108629821A true CN108629821A (zh) 2018-10-09

Family

ID=63694129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810359143.XA Pending CN108629821A (zh) 2018-04-20 2018-04-20 动画生成方法和装置

Country Status (1)

Country Link
CN (1) CN108629821A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047119A (zh) * 2019-03-20 2019-07-23 北京字节跳动网络技术有限公司 包含动态背景的动画生成方法、装置及电子设备
CN110415321A (zh) * 2019-07-06 2019-11-05 深圳市山水原创动漫文化有限公司 一种动画动作处理方法及其系统
CN110806865A (zh) * 2019-11-08 2020-02-18 百度在线网络技术(北京)有限公司 动画生成方法、装置、设备及计算机可读存储介质
WO2021164653A1 (zh) * 2020-02-18 2021-08-26 京东方科技集团股份有限公司 动画形象的生成方法、设备及存储介质
CN113796088A (zh) * 2019-09-27 2021-12-14 苹果公司 基于观众参与的内容生成
CN113794799A (zh) * 2021-09-17 2021-12-14 维沃移动通信有限公司 视频处理方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020067363A1 (en) * 2000-09-04 2002-06-06 Yasunori Ohto Animation generating method and device, and medium for providing program
CN103390286A (zh) * 2013-07-11 2013-11-13 梁振杰 一种修改游戏中虚拟角色的形象的方法和系统
CN103971394A (zh) * 2014-05-21 2014-08-06 中国科学院苏州纳米技术与纳米仿生研究所 人脸动画合成方法
CN105118082A (zh) * 2015-07-30 2015-12-02 科大讯飞股份有限公司 个性化视频生成方法及系统
CN106507170A (zh) * 2016-10-27 2017-03-15 宇龙计算机通信科技(深圳)有限公司 一种视频处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020067363A1 (en) * 2000-09-04 2002-06-06 Yasunori Ohto Animation generating method and device, and medium for providing program
CN103390286A (zh) * 2013-07-11 2013-11-13 梁振杰 一种修改游戏中虚拟角色的形象的方法和系统
CN103971394A (zh) * 2014-05-21 2014-08-06 中国科学院苏州纳米技术与纳米仿生研究所 人脸动画合成方法
CN105118082A (zh) * 2015-07-30 2015-12-02 科大讯飞股份有限公司 个性化视频生成方法及系统
CN106507170A (zh) * 2016-10-27 2017-03-15 宇龙计算机通信科技(深圳)有限公司 一种视频处理方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047119A (zh) * 2019-03-20 2019-07-23 北京字节跳动网络技术有限公司 包含动态背景的动画生成方法、装置及电子设备
CN110415321A (zh) * 2019-07-06 2019-11-05 深圳市山水原创动漫文化有限公司 一种动画动作处理方法及其系统
CN110415321B (zh) * 2019-07-06 2023-07-25 深圳市山水原创动漫文化有限公司 一种动画动作处理方法及其系统
CN113796088A (zh) * 2019-09-27 2021-12-14 苹果公司 基于观众参与的内容生成
CN110806865A (zh) * 2019-11-08 2020-02-18 百度在线网络技术(北京)有限公司 动画生成方法、装置、设备及计算机可读存储介质
WO2021164653A1 (zh) * 2020-02-18 2021-08-26 京东方科技集团股份有限公司 动画形象的生成方法、设备及存储介质
US11836839B2 (en) 2020-02-18 2023-12-05 Boe Technology Group Co., Ltd. Method for generating animation figure, electronic device and storage medium
CN113794799A (zh) * 2021-09-17 2021-12-14 维沃移动通信有限公司 视频处理方法和装置

Similar Documents

Publication Publication Date Title
CN108629821A (zh) 动画生成方法和装置
CN109819313B (zh) 视频处理方法、装置及存储介质
CN111726536B (zh) 视频生成方法、装置、存储介质及计算机设备
CN108537867B (zh) 根据用户肢体运动的视频渲染方法和装置
TWI766499B (zh) 互動物件的驅動方法、裝置、設備以及儲存媒體
JP2019145108A (ja) 顔に対応する3次元アバターを用いて顔の動きが反映された3dアバターを含むイメージを生成する電子装置
CN109637518A (zh) 虚拟主播实现方法及装置
CN112396679B (zh) 虚拟对象显示方法及装置、电子设备、介质
US20080165195A1 (en) Method, apparatus, and software for animated self-portraits
WO2022227393A1 (zh) 图像拍摄方法及装置、电子设备和计算机可读存储介质
CN109064387A (zh) 图像特效生成方法、装置和电子设备
CN111986076A (zh) 图像处理方法及装置、互动式展示装置和电子设备
KR102667064B1 (ko) 전자 장치 및 이를 이용한 카메라 기능과 연동하여 이모지 편집을 위한 사용자 인터페이스를 제공하는 방법
KR20130032620A (ko) 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법
CN108986016A (zh) 图像美化方法、装置及电子设备
CN112188304A (zh) 视频生成方法、装置、终端及存储介质
CN111368127B (zh) 图像处理方法、装置、计算机设备及存储介质
CN109819167B (zh) 一种图像处理方法、装置和移动终端
CN110162598B (zh) 一种数据处理方法和装置、一种用于数据处理的装置
KR20200092207A (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
JP7568201B2 (ja) 仮想対象のアクション処理方法およびその装置、コンピュータプログラム
CN111541951B (zh) 基于视频的交互处理方法、装置、终端及可读存储介质
CN105635452A (zh) 移动终端及其联系人标识方法
CN114007099A (zh) 一种视频处理方法、装置和用于视频处理的装置
CN112235635A (zh) 动画显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181009

RJ01 Rejection of invention patent application after publication