CN113961746B - 视频生成方法、装置、电子设备及可读存储介质 - Google Patents

视频生成方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113961746B
CN113961746B CN202111152771.9A CN202111152771A CN113961746B CN 113961746 B CN113961746 B CN 113961746B CN 202111152771 A CN202111152771 A CN 202111152771A CN 113961746 B CN113961746 B CN 113961746B
Authority
CN
China
Prior art keywords
portrait
original image
change
image
sampling points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111152771.9A
Other languages
English (en)
Other versions
CN113961746A (zh
Inventor
邓瑞峰
林天威
李甫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111152771.9A priority Critical patent/CN113961746B/zh
Publication of CN113961746A publication Critical patent/CN113961746A/zh
Priority to US17/898,704 priority patent/US20230101704A1/en
Application granted granted Critical
Publication of CN113961746B publication Critical patent/CN113961746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开公开了一种视频生成方法、装置、电子设备及可读存储介质，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于3D视觉场景下。具体实现方案为：确定原始图像中的基准人像；利用非线性函数，将所述原始图像中的所述基准人像进行姿态变化处理，以获得至少一个变化图像；以及根据所述原始图像和所述至少一个变化图像，生成所述基准人像的动态视频。

Description

视频生成方法、装置、电子设备及可读存储介质
技术领域
本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于3D视觉场景下。
背景技术
随着互联网的深入发展，应用于终端上的应用(Application，APP)层出不穷。有些应用中会涉及虚拟人像形象的视频输出，通常可以根据一张人像的基准图像，生成能够表现人像姿态变化的虚拟人像视频，例如，地铁、银行、政务等多种公共场景的虚拟助理自助应用。
目前需要采用人工方式，利用图像处理软件，对人像的基准图像进行图像处理，以获得人像姿态不同的多个变化图像。进而，则可以将人像的基准图像和所获得的人像姿态不同的多个变化图像，作为人像视频的多个视频帧图像，以形成虚拟人像视频。
发明内容
本公开提供了一种视频生成方法、装置、电子设备及可读存储介质。
根据本公开的一方面，提供了一种视频生成方法，包括：
确定原始图像中的基准人像；
利用非线性函数，将所述原始图像中的所述基准人像进行姿态变化处理，以获得至少一个变化图像；
根据所述原始图像和所述至少一个变化图像，生成所述基准人像的动态视频。
根据本公开的另一方面，提供了一种视频生成装置，包括：
识别单元，用于确定原始图像中的基准人像；
变化单元，用于利用非线性函数，将所述原始图像中的所述基准人像进行姿态变化处理，以获得至少一个变化图像；
生成单元，用于根据所述原始图像和所述至少一个变化图像，生成所述基准人像的动态视频。
根据本公开的再一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。
根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方面和任一可能的实现方式的方法。
根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方面和任一可能的实现方式的方法。
由上述技术方案可知，本公开实施例通过确定原始图像中的基准人像，进而利用非线性函数，将所述原始图像中的所述基准人像进行姿态变化处理，以获得至少一个变化图像，使得能够根据所述原始图像和所述至少一个变化图像，生成所述基准人像的动态视频，无需人工参与，操作简单，而且不容易出错，从而提高了动态视频生成的效率和可靠性。
另外，采用本公开所提供的技术方案，能够有效地提高用户的体验。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2示出了图1对应的实施例提供的一种示例性的原始图像；
图3示出了从图2提供的原始图像中识别出的基准人像的示意图；
图4示出了从图2提供的原始图像中确定出的人像膨胀轮廓的示意图；
图5示出了从图2提供的原始图像中确定出的人像腐蚀轮廓的示意图；
图6示出了图2提供的原始图像被划分成的三角形的示例性分布示意图；
图7示出了图2提供的原始图像中一种人体关键点的示例性分布示意图；
图8是根据本公开第二实施例的示意图；
图9是用来实现本公开实施例的视频生成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
需要说明的是，本公开实施例中所涉及的终端设备可以包括但不限于手机、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(TabletComputer)等智能设备；显示设备可以包括但不限于个人电脑、电视等具有显示功能的设备。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
随着互联网的深入发展，应用于终端上的应用(Application，APP)层出不穷。有些应用中会涉及虚拟人像形象的视频输出，通常可以根据一张人像的基准图像，生成能够表现人像姿态变化的虚拟人像视频，例如，地铁、银行、政务等多种公共场景的虚拟助理自助应用。
在一些应用场景中，需要基于一个包含人像的基准图像来生成一个能够表现人像姿态变化的人像的动态视频，一般是采用人工方式，通过图像处理软件(例如，Photo Shop，PS)对基准图像中的人像进行变形，得到人像姿态不同的多个变化图像，进而再进一步将基准图像和基于基准图像得到的多个变化图像作为人像的动态视频的多个视频帧图像。
上述基于基准图像来生成人像的动态视频的方式需要较多的人工参与，操作复杂，而且容易出错，生成视频的效率较低，视频的可靠性也较差。
因此，为了解决现有技术的如上技术问题中的至少一个，亟需提供一种效率和可靠性更高的视频生成方法。
图1是根据本公开第一实施例的示意图，如图1所示。
101、确定原始图像中的基准人像。
102、利用非线性函数，将所述原始图像中的所述基准人像进行姿态变化处理，以获得至少一个变化图像。
其中，所采用的非线性函数，是指函数图像不是一条直线的函数，例如，指数函数、幂函数、对数函数、多项式函数、三角函数等函数。
其中，所获得的至少一个变化图像中各变化图像中的人像姿态与原始图像中的人像姿态是不相同的。
103、根据所述原始图像和所述至少一个变化图像，生成所述基准人像的动态视频。
本实施例提供的视频生成方法，首先确定原始图像中的基准人像，然后，利用非线性函数，依次生成与原始图像中基准人像的姿态不同的多个变化图像。在获得至少一个变化图像之后，可以将原始图像和至少一个变化图像作为一个视频帧图像集合，得到原始图像中基准人像的动态视频。
可以理解的是，在播放基准人像的动态视频时，可以依次展示原始图像和至少一个变化图像，从而流畅地展示基准人像的姿态变化过程，整个过程无需人力参与，操作简单，既能节约成本又可以提高视频生成的效率和可靠性。
至此，通过利用非线性函数，将静默状态的基准人像进行驱动，让其产生类似真实人物在静默状态时的不自主的轻微晃动，使得静默状态的虚拟人看起来更加逼真，而不是完全僵在原地一动不动。
需要说明的是，101～103的执行主体的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(SoftwareDevelopment Kit，SDK)等功能单元，或者还可以为位于网络侧服务器中的处理引擎，或者还可以为位于网络侧的分布式系统，例如，网络侧的图像处理平台中的处理引擎或者分布式系统等，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在本地终端上的本地程序(nativeApp)，或者还可以是本地终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行限定。
这样，通过确定原始图像中的基准人像，进而利用非线性函数，将所述原始图像中的所述基准人像进行姿态变化处理，以获得至少一个变化图像，使得能够根据所述原始图像和所述至少一个变化图像，生成所述基准人像的动态视频，无需人工参与，操作简单，而且不容易出错，从而提高了动态视频生成的效率和可靠性。
本实施例中，形成动态视频的每一帧图像即都是基于原始图像的变化处理得到的，其图像质量的损耗降到了最低，基本肉眼不可见，从而使得所生成的动态视频具有较高的清晰度。
本实施例所提供的技术方案，由于纯粹基于图像的人物姿态变化方案，使得动态视频的视频帧图像的质量维持在高水平，且易于进行运动轨迹的控制。
同时，本实施例所提供的技术方案，所采用的基于非线性函数所进行的姿态变化处理，是随机的非线性变化处理，并非是均匀的变化处理，这样，就能够避免均匀的姿态变化处理而导致的人像运动显得很机械而且不自然的现象。
图2示出了本公开第一实施例提供的一种示例性的原始图像。在本实施例中，如图2所示，原始图像中的基准人像可以是真实人像，或者还可以是利用虚拟技术所创作出的虚拟人像，本实施例对此不进行特别限定。
需要说明的是，当原始图像中的基准人像是真实人像时，还需要进一步获得相关授权，例如，原始图像中真实人像本人的授权等。并且，本实施例所提供的方法并不需要获取原始图像中的真实人像本人的隐私信息，如虹膜、唇纹或指纹等。
可以理解的是，原始图像中包括背景内容和基准人像，在101中，需要从原始图像中，识别出基准人像。具体来说，具体可以采用现有的人像分割技术，将原始图像中的人像进行分割处理，以识别出基准人像。图3示出了从图2提供的原始图像中识别出的基准人像的示意图，在图3中，黑色区域表示背景内容，白色区域表示基准人像。
本实施例所提供的技术方案，其适用对象不但可以为图像，用以实现将图像中静默状态的基准人像进行驱动，而且还可以进一步扩展为视频，用以实现将视频中多帧图像中静默状态的基准人像进行驱动，具有更高的灵活性。
可选地，在本实施例的一个可能的实现方式中，在101中，所适用的原始图像可以为一个图像，或者还可以为多个图像，本实施例对此不进行特别限定。
在一个具体的实现过程中，具体可以将包含所述基准人像的一个图像，作为所述原始图像。
此时，通过利用非线性函数，可以实现将图像中静默状态的基准人像进行驱动。
在另一个具体的实现过程中，具体可以从视频中获得包含所述基准人像的连续多帧图像，以作为所述原始图像。其中，所述连续多帧图像为视频中所截取的连续帧图像。
此时，通过利用非线性函数，可以实现将视频中多帧图像中静默状态的基准人像进行驱动，相比于只能实现将图像中静默状态的基准人像进行驱动的技术方案，具有更高的灵活性。
在该实现过程中，可以将本实施例所提供的技术方案扩展到视频级的人像驱动中。对视频中的人像进行驱动，可以通过利用非线性函数对视频每一帧的帧图像中的基准人像进行姿态变化处理，相当于对视频中的人像原有的运动基础上附加一个轻微晃动。
随着虚拟人技术在不断发展，静默状态的人像驱动的方案应尽可能的支持可扩展。本实施例所提供的技术方案，能够方便的将每一帧的运动变化叠加到原始的视频中，具有很高的可扩展性。
可选地，在本实施例的一个可能的实现方式中，在102中，具体可以利用所述非线性函数，获得所述基准人像的至少一个变化参数，进而，则可以基于所述至少一个变化参数，对所述原始图像中的所述基准人像进行姿态变化处理，以获得至少一个变化图像。
这样，基于非线性函数所获得的变化参数是随机的非线性变化参数，因此基于此所进行的姿态变化处理，也同样是随机的非线性变化处理，并非是均匀的变化处理，这样，就能够避免均匀的姿态变化处理而导致的人像运动显得很机械而且不自然的现象。
在一个具体的实现过程中，为了更好的控制运动轨迹，使之更加自然，可以采用三角函数，作为驱动基准人像的非线性函数。假设基准人像的基准姿态与基准人像的目标姿态之间，确定需要n帧变化图像进行变化姿态的过渡，其中，n为大于或者等于1的整数，目标姿态相对于基准姿态需要变化的旋转角度为theta，那么，第i帧变化图像的旋转角度则为theta*sin(pi/2*i/n)。当旋转至第n帧的目标姿态的变化图像之后，本轮基准人像的运动则已经完成。
基准人像的一轮运动完成之后，在进行下一轮运动时，其初始位置的旋转角度，可以通过调整三角函数的初始相位fi，以及偏置bias，与前一帧图像对齐，例如bias+theta'*cos(pi*i/n)。基于此，可以不断规划基准人像的运动轨迹。
这样，通过利用三角函数的变化速率模拟人体在静默状态时，由静止到轻微晃动再到静止的运动过程，使得人像的运动看起来更加自然。
在另一个具体的实现过程中，具体可以识别出原始图像中的所述基准人像，进而，则可以基于所述基准人像，在所述原始图像中获取多个采样点，以将所述原始图像划分为多个三角形。然后，则可以基于所述至少一个变化参数，对所述原始图像中的至少部分所述三角形进行变形处理，以获得至少一个变化图像。
在多边形网格的面片中三角面片是被分割的最小单位，且表示比较简单、灵活并且拓扑描述方便，因此，通过将原始图像划分成若干个三角形，使得原始图像能够被分割为最小单位，进行人像姿态的变化处理。
在该实现过程中，可以按照预设的采点方式，基于基准人像在原始图像中获取多个采样点，多个采样点可以包括在基准人像内部的采样点和在基准人像外部的采样点。在获取多个采样点之后，可以基于所获取的多个采样点，采用三角剖分算法将原始图像划分成多个三角形，或者还可以采用其它算法将原始图像划分成多个三角形，此处不再一一列举。
其中，每个三角形的三个顶点均为采样点，在该实现过程中，可以通过改变至少一个采样点的位置，对所述原始图像中的至少部分所述三角形进行变形处理，此时，则可以将至少部分三角形变形处理之后的原始图像定义为变化图像。可以理解的是，由于变化图像中的至少部分三角形与原始图像中对应的三角形不同，因此变化图像中的人像姿态与原始图像中的人像姿态不同。
如前文所述，本实施例需要基于基准人像在原始图像中获取多个采样点，这些采样点中部分采样点可以具有相同特性。因此，在该实现过程中，可以预先确定具有相同特性的各类型采样点的采样范围，进而，则可以在所确定的各类型采样点的采样范围之内，获取各类型采样点。
其中，可以基于基准人像在原始图像中的位置范围来确定出对应的各类型采样点的采样范围。在各类型采样点的采样范围之内获取采样点时，应当确保任一采样点不在基准人像的人像轮廓上。具体来说，如图3所示，基准人像的人像轮廓为图3中黑色区域和白色区域的交界，任一采样点均不在该交界上。
在该实现过程中，在各类型采样点的采样范围所获取的采样点的位置和数量可以根据实际的设计需要而定，本公开将在后续内容中对获取采样点的示例性过程做进一步介绍。
例如，所述采样点可以包括但不限于轮廓边缘点和人像内部点，本实施例对此不进行特别限定。具体可以基于所述基准人像，进行形态学处理，以获得形态学轮廓。其中，所述形态学轮廓包括人像膨胀轮廓和人像腐蚀轮廓。然后，则可以在所述形态学轮廓上，获取多个采样点，以作为轮廓边缘点，以及还可以在所述人像腐蚀轮廓的内部，获取多个采样点，以作为人像内部点。
具体来说，具体可以对基准人像分别进行膨胀处理和腐蚀处理，以确定出人像膨胀轮廓和人像腐蚀轮廓。其中，对基准人像进行膨胀处理可以是指对基准人像进行等比放大，放大到得到的人像膨胀轮廓可以将基准人像包含在其内部；对基准人像进行腐蚀处理可以是指对基准人像进行等比缩小，缩小到得到的人像腐蚀轮廓可以完全被包括在基准人像的内部。
图4示出了从图2提供的原始图像中确定出的人像膨胀轮廓的示意图，图5示出了从图2提供的原始图像中确定出的人像腐蚀轮廓的示意图。在图4中，黑色区域表示背景内容，黑色区域和白色区域的交界表示人像膨胀轮廓；在图5中，黑色区域表示背景内容，黑色区域和白色区域的交界表示人像腐蚀轮廓。
可以理解的是，图4中的人像膨胀轮廓是对图3中的基准人像进行膨胀处理后得到的，并且人像膨胀轮廓可以将基准人像包含在其内部；图5中的人像腐蚀轮廓是对图3中的基准人像进行腐蚀处理后得到的，人像腐蚀轮廓可以完全被包括在基准人像的内部。
由于人像膨胀轮廓可以将基准人像包含在其内部，人像腐蚀轮廓可以完全被包括在基准人像的内部，因此，人像膨胀轮廓上的采样点均在基准人像的外部，人像腐蚀轮廓上的采样点均在基准人像的内部，基准人像的内部的采样点也均在基准人像的人像轮廓的内侧，也就是说基准人像的人像轮廓上并不存在任何的采样点。
或者，进一步地，再例如，所述采样点除了包括轮廓边缘点和人像内部点之外，还可以进一步包括变化控制点。相应地，还可以进一步在所述人像膨胀轮廓的外部获取多个采样点，以作为变化控制点。其中，可以将轮廓边缘点和人像内部点统一称为人像采样点，将变化控制点称为背景采样点。
在该实现过程中，可以将人像膨胀轮廓作为人像采样点的采样范围，因此，除了在人像采样点的采样范围内获取人像采样点即轮廓边缘点和人像内部点之外，还可以进一步在人像采样点的采样范围外(即人像膨胀轮廓的外部)获取多个背景采样点即变化控制点，也就是说，基准人像的人像轮廓上并不存在任何的采样点。在通过各采样点将原始图像划分成多个三角形时，对于人像膨胀轮廓的外部的三角形，其顶点为变化控制点和人像采样点的组合。例如，该三角形的三个顶点中，可以为一个变化控制点和两个人像采样点，或者还可以为两个变化控制点和一个人像采样点。
为了进一步减少背景部分所在区域中的三角形的变形程度，可以在原始图像的边界上获取多个变化控制点。可以理解是，以原始图像的边界上的变化控制点为顶点的三角形位于背景内容所在区域内且面积较大。图6示出了图2提供的原始图像被划分成的三角形的示例性分布示意图，在图6中，基准人像外侧的一圈采样点为人像膨胀轮廓上的轮廓边缘点，原始图像的边界上的8个采样点为变化控制点，以原始图像的边界上的变化控制点为顶点的三角形位于背景区域。当各轮廓边缘点的位置变化程度相同时，位于背景内容所在区域内的三角形的变形程度相比于基准人像的内部的三角形的变形程度更小，从而避免变化图像中的背景内容所在区域发生较大的变形，保证图像的视觉效果。
在该实现过程中，基于多个采样点，采用三角剖分算法将原始图像划分成多个三角形，例如，可以将指定的变化控制点、以及指定的轮廓边缘点和/或人像内部点(例如，两个变化控制点和一个轮廓边缘点，或者一个变化控制点、一个轮廓边缘点和一个人像内部点等，或者一个变化控制点和两个轮廓边缘点，或者一个变化控制点和两个人像内部点)作为三角形的顶点、或者将指定的轮廓边缘点、以及指定的人像内部点作为三角形的顶点(例如，两个轮廓边缘点和一个人像内部点，或者一个轮廓边缘点和两个人像内部点等)。当然，本实施例也可以采用其他算法将原始图像划分成多个三角形，此处不再一一列举。
在另一个具体的实现过程中，所述变化参数可以包括但不限于旋转角度。那么，具体可以根据所述原始图像中的基准人像，识别出预设类型的人体关键点，进而，则可以将所述原始图像中的至少部分所述三角形中的所述采样点，基于至少一个类型的人体关键点旋转所述变化参数所指示的旋转角度，以获得至少一个变化图像。
在该实现过程中，可以预先定义多个类型的人体关键点，例如，脚踝关键点、腰部关键点和颈部关键点等。图7示出了图2提供的原始图像中一种人体关键点的示例性分布示意图，在图7中，每一个圆点代表一种类型的人体关键点。
在该实现过程中，可以从图7所示的人体关键点中选择出至少一个类型的人体关键点，作为预设类型的人体关键点，例如，可以将脚踝关键点、腰部关键点和颈部关键点定义为预设类型的人体关键点。
在该实现过程中，可以从所述原始图像中的基准人像中识别出预设类型的人体关键点，进而，则可以将至少一个采样点基于至少一个类型的人体关键点旋转所述变化参数所指示的旋转角度，以使所述原始图像中的至少部分所述三角形变形。
具体来说，以从所述原始图像中的基准人像中所识别出的预设类型的人体关键点作为旋转中心点，基于该旋转中心点对至少一个采样点旋转所述变化参数所指示的旋转角度，从而通过改变至少一个采样点的位置对至少部分三角形进行变形处理，将至少部分三角形变形后的原始图像定义为变化图像。
可以理解的是，由于变化图像中的至少部分三角形与原始图像中的对应的三角形不同，因此变化图像中的人像姿态与原始图像中的人像姿态不同。
其中，从所述原始图像中的基准人像中所识别出的预设类型的人体关键点可以作为至少一个采样点的旋转中心，需要旋转的采样点可以根据实际的设计需要而定，采样点所需要旋转的旋转角度取决于基于非线性函数所获得的变化参数。
在本实施例中，为了避免变化图像中的背景内容所在的区域发生较大的变形，可以仅改变至少一个人像采样点(即轮廓边缘点和人像内部点)的位置。具体来说，可以将至少一个人像采样点基于至少一个类型的人体关键点旋转所述变化参数所指示的旋转角度，这样可以尽量避免包括位于背景内容所在的区域中的三角形发生变形，从而避免变化图像中的背景内容发生较大的变形，保证图像的视觉效果。
以脚踝关键点(图中未示出)、腰部关键点和颈部关键点使预设类型的人体关键点为例，首先脚踝关键点作为旋转中心，对脚踝关键点以上的所有人像采样点旋转所述变化参数所指示的旋转角度；之后以腰部关键点作为旋转中心，对腰部关键点以上的所有人像采样点再进一步旋转所述变化参数所指示的旋转角度；最后以颈部关键点作为旋转中心，对颈部关键点以上的所有人像采样点再进一步旋转所述变化参数所指示的旋转角度，最终可以得到一系列的变化图像。
可选地，在本实施例的一个可能的实现方式中，还可以进一步包括调整所述非线性函数的参数的步骤。
具体地，具体可以根据人体真实生理状态情况，调整所述非线性函数的参数。
例如，可以通过调整基准人像的每一轮运动中的参数n(反比于三角函数频率)，来调整基准人像的运动速率。
或者，再例如，还可以通过调整三角函数的振幅(theta或者theta')，来调整基准人像的运动幅度。
这样，基于人体真实生理状态情况所调整的所述非线性函数的参数，例如，三角函数所输出的变化参数次数(n)、三角函数的振幅等，在一定数值范围内，具有随机性，避免人体的运动看起来像“钟摆”一样单纯的晃动。
同时，在一段运动结束时，还可以进一步引入随机的自然动作，例如，停顿等，能够进一步增强运动轨迹的真实感，让虚拟人像的运动看起来更加自然。
本实施例中，通过确定原始图像中的基准人像，进而利用非线性函数，将所述原始图像中的所述基准人像进行姿态变化处理，以获得至少一个变化图像，使得能够根据所述原始图像和所述至少一个变化图像，生成所述基准人像的动态视频，无需人工参与，操作简单，而且不容易出错，从而提高了动态视频生成的效率和可靠性。
另外，采用本公开所提供的技术方案，能够有效地提高用户的体验。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本公开所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
图8是根据本公开第二实施例的示意图，如图8所示。本实施例的视频生成装置800可以包括识别单元801、变化单元802和生成单元803。其中，识别单元801，用于确定原始图像中的基准人像；变化单元802，用于利用非线性函数，将所述原始图像中的所述基准人像进行姿态变化处理，以获得至少一个变化图像；生成单元803，用于根据所述原始图像和所述至少一个变化图像，生成所述基准人像的动态视频。
需要说明的是，本实施例的视频生成装置的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(SoftwareDevelopment Kit，SDK)等功能单元，或者还可以为位于网络侧服务器中的处理引擎，或者还可以为位于网络侧的分布式系统，例如，网络侧的图像处理平台中的处理引擎或者分布式系统等，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在本地终端上的本地程序(nativeApp)，或者还可以是本地终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行限定。
可选地，在本实施例的一个可能的实现方式中，所述识别单元801，具体可以用于将包含所述基准人像的一个图像，作为所述原始图像；或者从视频中获得包含所述基准人像的连续多帧图像，以作为所述原始图像。
可选地，在本实施例的一个可能的实现方式中，所述变化单元802，具体可以用于利用所述非线性函数，获得所述基准人像的至少一个变化参数；以及基于所述至少一个变化参数，对所述原始图像中的所述基准人像进行姿态变化处理，以获得至少一个变化图像。
在一个具体的实现过程中，所述变化单元802，具体可以用于识别出原始图像中的所述基准人像；基于所述基准人像，在所述原始图像中获取多个采样点，以将所述原始图像划分为多个三角形；以及基于所述至少一个变化参数，对所述原始图像中的至少部分所述三角形进行变形处理，以获得至少一个变化图像。
具体地，所述采样点可以包括但不限于轮廓边缘点和人像内部点，本实施例对此不进行特别限定；相应地，所述变化单元802，具体可以用于基于所述基准人像，进行形态学处理，以获得形态学轮廓；其中，所述形态学轮廓包括人像膨胀轮廓和人像腐蚀轮廓；在所述形态学轮廓上，获取多个采样点，以作为轮廓边缘点；以及在所述人像腐蚀轮廓的内部，获取多个采样点，以作为人像内部点。
进一步地，所述采样点还可以进一步包括变化控制点；相应地，所述变化单元802，具体可以用于在所述人像膨胀轮廓的外部获取多个采样点，以作为变化控制点。
在另一个具体的实现过程中，所述变化参数可以包括但不限于旋转角度，本实施例对此不进行特别限定；相应地，所述变化单元802，具体可以用于根据所述原始图像中的基准人像，识别出预设类型的人体关键点；以及将所述原始图像中的至少部分所述三角形中的所述采样点，基于至少一个类型的人体关键点旋转所述变化参数所指示的旋转角度，以获得至少一个变化图像。
可选地，在本实施例的一个可能的实现方式中，所述变化单元802，还可以进一步用于根据人体真实生理状态情况，调整所述非线性函数的参数。
本实施例中，通过识别单元确定原始图像中的基准人像，进而由变化单元利用非线性函数，将所述原始图像中的所述基准人像进行姿态变化处理，以获得至少一个变化图像，使得生成单元能够根据所述原始图像和所述至少一个变化图像，生成所述基准人像的动态视频，无需人工参与，操作简单，而且不容易出错，从而提高了动态视频生成的效率和可靠性。
另外，采用本公开所提供的技术方案，能够有效地提高用户的体验。
本公开的技术方案中，所涉及的用户个人信息的获取、存储和应用等，例如，用户的生理特征参数、用户身份信息等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，电子设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM903中，还可存储电子设备900操作所需的各种程序和数据。计算单元901、ROM902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
电子设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许电子设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如视频生成方法。例如，在一些实施例中，视频生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM902和/或通信单元909而被载入和/或安装到电子设备900上。当计算机程序加载到RAM903并由计算单元901执行时，可以执行上文描述的视频生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程视频生成装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (12)

1.一种视频生成方法，包括：
确定原始图像中的基准人像；
利用非线性函数，获得所述基准人像的至少一个变化参数，基于所述至少一个变化参数，对所述原始图像中的所述基准人像进行姿态变化处理，以获得至少一个变化图像；所述至少一个变化参数是随机的非线性变化参数；
根据所述原始图像和所述至少一个变化图像，生成所述基准人像的动态视频；其中，
所述基于所述至少一个变化参数，对所述原始图像中的所述基准人像进行姿态变化处理，以获得至少一个变化图像，包括：
识别出原始图像中的所述基准人像；
基于所述基准人像，在所述原始图像中获取多个采样点，以将所述原始图像划分为多个三角形；
基于所述至少一个变化参数，对所述原始图像中的至少部分所述三角形进行变形处理，以获得至少一个变化图像；其中，
所述采样点包括变化控制点；所述基于所述基准人像，在所述原始图像中获取多个采样点，以将所述原始图像划分为多个三角形，包括：
基于所述基准人像，进行形态学处理，以获得形态学轮廓；其中，所述形态学轮廓包括人像膨胀轮廓和人像腐蚀轮廓；
在所述人像膨胀轮廓的外部获取多个采样点，以作为变化控制点。
2.根据权利要求1所述的方法，其中，所述确定原始图像中的基准人像，包括：
将包含所述基准人像的一个图像，作为所述原始图像；或者
从视频中获得包含所述基准人像的连续多帧图像，以作为所述原始图像。
3.根据权利要求1所述的方法，其中，所述采样点还包括轮廓边缘点和人像内部点；所述基于所述基准人像，在所述原始图像中获取多个采样点，还包括：
在所述形态学轮廓上，获取多个采样点，以作为轮廓边缘点；
在所述人像腐蚀轮廓的内部，获取多个采样点，以作为人像内部点。
4.根据权利要求1-3中任一项所述的方法，其中，所述变化参数包括旋转角度；所述基于所述至少一个变化参数，对所述原始图像中的至少部分所述三角形进行变形处理，以获得至少一个变化图像，包括：
根据所述原始图像中的基准人像，识别出预设类型的人体关键点；
将所述原始图像中的至少部分所述三角形中的所述采样点，基于至少一个类型的人体关键点旋转所述变化参数所指示的旋转角度，以获得至少一个变化图像。
5.根据权利要求1-3中任一项所述的方法，其中，所述方法还包括：
根据人体真实生理状态情况，调整所述非线性函数的参数。
6.一种视频生成装置，包括：
识别单元，用于确定原始图像中的基准人像；
变化单元，用于利用非线性函数，获得所述基准人像的至少一个变化参数，基于所述至少一个变化参数，对将所述原始图像中的所述基准人像进行姿态变化处理，以获得至少一个变化图像；所述至少一个变化参数是随机的非线性变化参数；
生成单元，用于根据所述原始图像和所述至少一个变化图像，生成所述基准人像的动态视频；其中，
所述变化单元，具体用于
识别出原始图像中的所述基准人像；
基于所述基准人像，在所述原始图像中获取多个采样点，以将所述原始图像划分为多个三角形；以及
基于所述至少一个变化参数，对所述原始图像中的至少部分所述三角形进行变形处理，以获得至少一个变化图像；其中，
所述采样点还包括变化控制点；所述变化单元，具体用于
基于所述基准人像，进行形态学处理，以获得形态学轮廓；其中，所述形态学轮廓包括人像膨胀轮廓和人像腐蚀轮廓；
在所述人像膨胀轮廓的外部获取多个采样点，以作为变化控制点。
7.根据权利要求6所述的装置，其中，所述识别单元，具体用于
将包含所述基准人像的一个图像，作为所述原始图像；或者
从视频中获得包含所述基准人像的连续多帧图像，以作为所述原始图像。
8.根据权利要求6所述的装置，其中，所述采样点包括轮廓边缘点和人像内部点；所述变化单元，具体用于
在所述形态学轮廓上，获取多个采样点，以作为轮廓边缘点；以及
在所述人像腐蚀轮廓的内部，获取多个采样点，以作为人像内部点。
9.根据权利要求6-8中任一项所述的装置，其中，所述变化参数包括旋转角度；所述变化单元，具体用于
根据所述原始图像中的基准人像，识别出预设类型的人体关键点；以及
将所述原始图像中的至少部分所述三角形中的所述采样点，基于至少一个类型的人体关键点旋转所述变化参数所指示的旋转角度，以获得至少一个变化图像。
10.根据权利要求6-8中任一项所述的装置，其中，所述变化单元，还用于
根据人体真实生理状态情况，调整所述非线性函数的参数。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。
CN202111152771.9A 2021-09-29 2021-09-29 视频生成方法、装置、电子设备及可读存储介质 Active CN113961746B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111152771.9A CN113961746B (zh) 2021-09-29 2021-09-29 视频生成方法、装置、电子设备及可读存储介质
US17/898,704 US20230101704A1 (en) 2021-09-29 2022-08-30 Video generation method and apparatus, electronic device and readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111152771.9A CN113961746B (zh) 2021-09-29 2021-09-29 视频生成方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113961746A CN113961746A (zh) 2022-01-21
CN113961746B true CN113961746B (zh) 2023-11-21

Family

ID=79463276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111152771.9A Active CN113961746B (zh) 2021-09-29 2021-09-29 视频生成方法、装置、电子设备及可读存储介质

Country Status (2)

Country Link
US (1) US20230101704A1 (zh)
CN (1) CN113961746B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600691A (zh) * 2016-01-29 2017-04-26 刘朔 多路二维视频图像在三维地理空间中融合校正方法、系统
CN107392984A (zh) * 2017-07-26 2017-11-24 厦门美图之家科技有限公司 一种基于人脸图像生成动画的方法及计算设备
CN110516598A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 用于生成图像的方法和装置
CN111047548A (zh) * 2020-03-12 2020-04-21 腾讯科技（深圳）有限公司 姿态变换数据处理方法、装置、计算机设备和存储介质
CN111696185A (zh) * 2019-03-12 2020-09-22 北京奇虎科技有限公司 利用静态人脸图像生成动态表情图像序列的方法和装置
WO2021008158A1 (zh) * 2019-07-15 2021-01-21 深圳市商汤科技有限公司 一种人体关键点检测方法及装置、电子设备和存储介质
WO2021012599A1 (zh) * 2019-07-24 2021-01-28 广州视源电子科技股份有限公司 图像调整方法、装置和计算机设备
CN112508773A (zh) * 2020-11-20 2021-03-16 小米科技(武汉)有限公司 图像处理方法及装置、电子设备、存储介质
CN112541484A (zh) * 2020-12-28 2021-03-23 平安银行股份有限公司 人脸抠图方法、系统、电子装置及存储介质
CN113240780A (zh) * 2021-05-14 2021-08-10 北京百度网讯科技有限公司 生成动画的方法和装置
CN113421204A (zh) * 2021-07-09 2021-09-21 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436668A (zh) * 2011-09-05 2012-05-02 上海大学 京剧脸谱自动化妆方法
CN105550637B (zh) * 2015-12-04 2019-03-08 小米科技有限责任公司 轮廓点定位方法及装置
US10186067B2 (en) * 2016-10-25 2019-01-22 Aspeed Technology Inc. Method and apparatus for generating panoramic image with rotation, translation and warping process
US10356341B2 (en) * 2017-10-13 2019-07-16 Fyusion, Inc. Skeleton-based effects and background replacement
CN109063560B (zh) * 2018-06-28 2022-04-05 北京微播视界科技有限公司 图像处理方法、装置、计算机可读存储介质和终端
US10832472B2 (en) * 2018-10-22 2020-11-10 The Hong Kong Polytechnic University Method and/or system for reconstructing from images a personalized 3D human body model and thereof
CN109903217B (zh) * 2019-01-25 2023-05-02 北京百度网讯科技有限公司 图像变形方法和装置
CN111340732B (zh) * 2020-02-28 2022-10-14 新疆大学 一种低照度视频图像增强方法及装置
CN112991358A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
CN112802037A (zh) * 2021-01-20 2021-05-14 北京百度网讯科技有限公司 人像提取方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600691A (zh) * 2016-01-29 2017-04-26 刘朔 多路二维视频图像在三维地理空间中融合校正方法、系统
CN107392984A (zh) * 2017-07-26 2017-11-24 厦门美图之家科技有限公司 一种基于人脸图像生成动画的方法及计算设备
CN111696185A (zh) * 2019-03-12 2020-09-22 北京奇虎科技有限公司 利用静态人脸图像生成动态表情图像序列的方法和装置
WO2021008158A1 (zh) * 2019-07-15 2021-01-21 深圳市商汤科技有限公司 一种人体关键点检测方法及装置、电子设备和存储介质
WO2021012599A1 (zh) * 2019-07-24 2021-01-28 广州视源电子科技股份有限公司 图像调整方法、装置和计算机设备
CN110516598A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 用于生成图像的方法和装置
CN111047548A (zh) * 2020-03-12 2020-04-21 腾讯科技（深圳）有限公司 姿态变换数据处理方法、装置、计算机设备和存储介质
CN112508773A (zh) * 2020-11-20 2021-03-16 小米科技(武汉)有限公司 图像处理方法及装置、电子设备、存储介质
CN112541484A (zh) * 2020-12-28 2021-03-23 平安银行股份有限公司 人脸抠图方法、系统、电子装置及存储介质
CN113240780A (zh) * 2021-05-14 2021-08-10 北京百度网讯科技有限公司 生成动画的方法和装置
CN113421204A (zh) * 2021-07-09 2021-09-21 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
US20230101704A1 (en) 2023-03-30
CN113961746A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
CN113658309B (zh) 三维重建方法、装置、设备以及存储介质
CN111369428B (zh) 虚拟头像生成方法和装置
CN113643412A (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
CN114820905B (zh) 虚拟形象生成方法、装置、电子设备及可读存储介质
US20230419592A1 (en) Method and apparatus for training a three-dimensional face reconstruction model and method and apparatus for generating a three-dimensional face image
CN112652057B (zh) 生成人体三维模型的方法、装置、设备以及存储介质
CN111710035B (zh) 人脸重建方法、装置、计算机设备及存储介质
CN115345980A (zh) 个性化纹理贴图的生成方法及装置
CN113362263A (zh) 变换虚拟偶像的形象的方法、设备、介质及程序产品
CN113379932B (zh) 人体三维模型的生成方法和装置
CN113658035B (zh) 脸部变换方法、装置、设备、存储介质以及产品
CN114549728A (zh) 图像处理模型的训练方法、图像处理方法、装置及介质
CN113052962A (zh) 模型训练、信息输出方法，装置，设备以及存储介质
CN113961746B (zh) 视频生成方法、装置、电子设备及可读存储介质
CN115965735B (zh) 纹理贴图的生成方法和装置
CN115222895B (zh) 图像生成方法、装置、设备以及存储介质
CN114140320B (zh) 图像迁移方法和图像迁移模型的训练方法、装置
CN113223128B (zh) 用于生成图像的方法和装置
CN114972587A (zh) 表情驱动方法、装置、电子设备及可读存储介质
CN113538644B (zh) 人物动态视频生成方法、装置、电子设备以及存储介质
CN115953553B (zh) 虚拟形象生成方法、装置、电子设备以及存储介质
CN114820908B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN113012281B (zh) 人体模型的确定方法、装置、电子设备及存储介质
CN116206035B (zh) 人脸重建方法、装置、电子设备以及存储介质
CN112819715B (zh) 数据还原方法、网络训练方法、相关装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant