CN111027438B - 一种人体姿态的迁移方法、移动终端以及计算机存储介质 - Google Patents
一种人体姿态的迁移方法、移动终端以及计算机存储介质 Download PDFInfo
- Publication number
- CN111027438B CN111027438B CN201911219621.8A CN201911219621A CN111027438B CN 111027438 B CN111027438 B CN 111027438B CN 201911219621 A CN201911219621 A CN 201911219621A CN 111027438 B CN111027438 B CN 111027438B
- Authority
- CN
- China
- Prior art keywords
- human body
- source video
- body image
- estimation
- migrated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 82
- 230000005012 migration Effects 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000010586 diagram Methods 0.000 claims description 113
- 238000004891 communication Methods 0.000 claims description 8
- 230000036544 posture Effects 0.000 description 139
- 238000004590 computer program Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000005291 magnetic effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种人体姿态迁移方法，该方法应用于一移动终端中，包括：对获取到的待迁移人体图像进行姿态估计，得到待迁移人体图像的姿态估计图，对获取到的源视频中的人体图像进行姿态估计，得到源视频的姿态估计图，将待迁移人体图像，待迁移人体图像的姿态估计图和源视频的姿态估计图输入至轻量化的对抗生成网络中，输出得到待迁移人体图像迁移至源视频的姿态估计图下的姿态迁移图，利用姿态迁移图生成迁移后的视频。本申请实施例还同时提供了一种移动终端及计算机存储介质。
Description
技术领域
本申请涉及人体姿态迁移技术，尤其涉及一种人体姿态的迁移方法、移动终端以及计算机存储介质。
背景技术
目前，针对人体姿态迁移技术通常有三种输入，分别是输入一张人体照片，该照片对应点18个人体关键点姿态估计图，以及一小段舞蹈视频。
首先，对视频的每一帧使用姿态估计模型估计视频中人体的姿态，得到一系列目标姿态估计图，然后使用基于对抗生成网络的模型生成一系列人体在目标姿态下的图片，最后把一系列生成的图片组成视频即可。
然而，由于人体姿态迁移技术仅仅能够应用于大型的设备中，不能够直接应用于移动终端中；由此可以看出，现有的人体姿态迁移技术无法适用于移动终端中。
发明内容
本申请实施例提供一种人体姿态迁移方法、移动终端以及计算机存储介质，能够提高人体姿态迁移的方法在移动终端中的适用性。
本申请的技术方案是这样实现的：
本申请实施例提供了一种人体姿态迁移方法，该方法应用于一移动终端中，包括：
对获取到的待迁移人体图像进行姿态估计，得到所述待迁移人体图像的姿态估计图；
对获取到的源视频中的人体图像进行姿态估计，得到所述源视频的姿态估计图；
将所述待迁移人体图像，所述待迁移人体图像的姿态估计图和所述源视频的姿态估计图输入至轻量化的对抗生成网络中，输出得到所述待迁移人体图像迁移至所述源视频的姿态估计图下的姿态迁移图；其中，所述轻量化的对抗生成网络是对对抗生成网络进行改进所得到的网络模型；
利用所述姿态迁移图生成迁移后的视频。
本申请实施例提供了一种移动终端，所述移动终端包括：
第一估计模块，对获取到的待迁移人体图像进行姿态估计，得到所述待迁移人体图像的姿态估计图；
第二估计模块，用于对获取到的源视频中的人体图像进行姿态估计，得到所述源视频的姿态估计图；
迁移模块，用于将所述待迁移人体图像，所述待迁移人体图像的姿态估计图和所述源视频的姿态估计图输入至轻量化的对抗生成网络中，输出得到所述待迁移人体图像迁移至所述源视频的姿态估计图下的人体姿态迁移图；其中，所述轻量化的对抗生成网络是对对抗生成网络进行改进所得到的网络模型；
生成模块，用于利用所述姿态迁移图生成迁移后的视频。
本申请实施例还提供了一种移动终端，所述移动终端包括：处理器以及存储有所述处理器可执行指令的存储介质，所述存储介质通过通信总线依赖所述处理器执行操作，当所述指令被所述处理器执行时，执行上述一个或多个实施例所述人体姿态迁移方法。
本申请实施例提供了一种计算机存储介质，存储有可执行指令，当所述可执行指令被一个或多个处理器执行的时候，所述处理器执行上述一个或多个实施例所述人体姿态迁移方法。
本申请实施例提供了一种人体姿态迁移方法、移动终端及计算机存储介质，该方法包括：对获取到的待迁移人体图像进行姿态估计，得到待迁移人体图像的姿态估计图，对获取到的源视频中的人体图像进行姿态估计，得到源视频的姿态估计图，将待迁移人体图像，待迁移人体图像的姿态估计图和源视频的姿态估计图输入至轻量化的对抗生成网络中，输出得到待迁移人体图像迁移至源视频的姿态估计图下的姿态迁移图，其中，轻量化的对抗生成网络是对对抗生成网络进行改进所得到的网络模型，利用姿态迁移图生成迁移后的视频；也就是说，在本申请实施例中，首先在对获取到的待迁移人体图像和获取到的源视频中的人体图像分别进行姿态估计后，得到待迁移人体图像的姿态估计图和源视频的姿态估计图，然后，将待迁移人体图像，待迁移人体图像的姿态估计图和源视频的姿态估计图这三种数据输入至轻量化的对抗生成网络中，能够得到待迁移人体图像迁移至源视频的姿态估计图下的姿态迁移图，从而得到迁移后的视频，这里，采用对对抗生成网络进行改进所得到的轻量化的对抗生成网络模型，由于该网络模型是在原有大模型的基础上轻量化，使得该轻量化的对抗生成网络能够适用于移动终端中，从而使得移动终端中采用轻量化的对抗生成网络即可实现人体姿态的迁移，这样，提高了人体姿态迁移的适用性，使得人体姿态迁移技术能够广泛地应用于各种移动终端中。
附图说明
图1为本申请实施例提供的一种可选的人体姿态迁移方法的流程示意图；
图2为本申请实施例提供的另一种可选的人体姿态迁移方法的流程示意图；
图3为本申请实施例提供的再一种可选的人体姿态迁移方法的流程示意图；
图4为本申请实施例提供的一种移动终端的结构示意图一；
图5为本申请实施例提供的一种移动终端的结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
实施例一
本申请实施例提供了一种人体姿态迁移方法，该方法应用于一移动终端中，图1为本申请实施例提供的一种可选的人体姿态迁移方法的流程示意图，参考图1所示，上述人体姿态迁移方法可以包括：
S101：对获取到的待迁移人体图像进行姿态估计，得到待迁移人体图像的姿态估计图；
目前，针对人体姿态迁移技术通常采用对抗生成网络这一网络模型，然而，现有的人体姿态迁移技术所采用的对抗生成网络这一网络模型规模较大，普遍在上百兆大小，大多应用于大型设备中，例如，云服务器，并不能够直接使用到移动终端中，从而使得移动终端中无法通过现有的对抗生成网络来实现人体姿态迁移。
为了在移动终端中能够实现人体姿态迁移，首先，获取待迁移人体图像，这里，待迁移人体图像通常情况下是一张人体照片，例如，一个人的正面全身照。
在获取到待迁移人体图像之后，对待迁移人体图像进行姿态估计，这里采用的姿态估计方法可以有多种，可以是二维的姿态估计方法，也可以是三维的姿态估计方法，这里，本申请实施例对此不作具体限定。
这样，经过对待迁移人体图像的姿态估计可以得到待迁移人体图像的姿态估计图。
S102：对获取到的源视频中的人体图像进行姿态估计，得到源视频的姿态估计图；
同样地，为了将待迁移人体图像迁移至源视频中的人体图像中，以使得待迁移人体图像能够迁移至源视频中人体图像的姿态下，这里，先获取到源视频，该源视频中存在人体图像，该源视频为人体图像的运动视频，例如，源视频可以为一段舞蹈视频。
与S101相同的是，这里，同样采用与S101相同的姿态估计方法对源视频中每一帧图像中的人体图像进行姿态估计，可以得到源视频中人体图像的姿态估计图。
S103：将待迁移人体图像，待迁移人体图像的姿态估计图和源视频的姿态估计图输入至轻量化的对抗生成网络中，输出得到待迁移人体图像迁移至源视频的姿态估计图下的姿态迁移图；
S104：利用姿态迁移图生成迁移后的视频。
也就是说，在得到待迁移人体图像的姿态估计图和源视频的姿态估计图之后，需要将待迁移人体图像，待迁移人体图像的姿态估计图和源视频的姿态估计图输入至轻量化的对抗生成网络中，从而经过对抗生成网络的生成模型和判别模型生成得到待迁移人体图像迁移至源视频的姿态估计图下的姿态迁移图，这样，便可以将待迁移人体图像迁移至源视频中的人体图像中以替代源视频中的人体图像，得到待迁移人体图像迁移至源视频的姿态估计图下的每一帧姿态迁移图。
最后，将每一帧姿态迁移图组合便可以得到迁移后的视频，从而实现了人体姿态迁移；其中，该迁移后的视频为：待迁移人体图像迁移至源视频中的人体图像，并执行源视频中人体图像的动作的视频。
其中，轻量化的对抗生成网络是对对抗生成网络进行改进所得到的网络模型；这里，采用轻量化的对抗生成网络，由于该模型占用内存较小，可以适用于内存具有局限性的移动终端中，从而采用轻量化的对抗生成网络可以在移动终端上实现人体姿态迁移。
在实际应用中，通常存在源视频中不止一个人体图像，也就是说，源视频中存在两个或者两个以上的人的运动视频，在存在至少两个人体图像的源视频中，为了得到源视频的姿态估计图，在一种可选的实施例中，当源视频中包括至少两个人体图像时，图2为本申请实施例提供的另一种可选的人体姿态迁移方法的流程示意图，如图2所示，S102可以包括：
S201：对源视频进行人体图像的识别，得到源视频中所包括的人体图像；
S202：对源视频中的每个人体图像进行姿态估计，将得到的每个人体图像的姿态估计图确定为源视频的姿态估计图。
也就是说，先采用人像识别算法对源视频中的人体图像进行识别，以识别出源视频中所包括的人体图像，然后再对源视频中所包括的人体图像中的每个人体图像进行姿态估计，这样使得所得到的源视频的姿态估计图中包括每个人体图像的姿态估计图。
那么，当源视频中包括至少两个人体图像时，为了实现人体姿态迁移，在一种可选的实施例中，S103可以包括：
从源视频中所包括的人体图像中选取出目标人体图像；
将待迁移人体图像，待迁移人体图像的姿态估计图，源视频的姿态估计图和目标人体图像输入至轻量化的对抗生成网络中，输出得到待迁移人体图像迁移至目标人体图像的姿态估计图下的姿态迁移图。
也就是说，先从源视频中所包括的人体图像中选取出目标人体图像，这样，可以确定出需要将待迁移人体图像迁移至源视频中的哪个人或者哪些人中，并执行目标人体图像的动作；这样，可以有目的的实现人体姿态迁移。
另外，除了上述对源视频中的每个人体图像都进行姿态估计以外，还可以有选择的对源视频中的人体图像进行姿态估计，在一种可选的实施例中，当源视频中包括至少两个人体图像时，图3为本申请实施例提供的再一种可选的人体姿态迁移方法的流程示意图，如图3所示，S102可以包括：
S301：对源视频进行人体图像的识别，得到源视频中所包括的人体图像；
S302：从源视频中所包括的人体图像中选取出目标人体图像；
S303：对目标人体图像进行姿态估计，将得到的目标人体图像的姿态估计图确定为源视频的姿态估计图。
这里，也是先对源视频中采用人像识别算法进行识别，可以得到源视频中所包括的人体图像，为了实现有目的的人体姿态迁移，这里，可以从源视频中所包括的人体图像中选取出目标人体图像，这样，仅仅对源视频中的目标人体图像进行姿态估计，从而得到的源视频的姿态估计图包括对目标人体图像的姿态估计图。
其中，上述目标人体图像的数目可以为1个，也可以为多个，为1个时可以实现单个人体的人体姿态迁移，为多个时，可以实现多个人体的人体姿态迁移，这里，本申请实施例对此不作具体限定。
为了选取出目标人体图像，可以在移动终端上设置相应地选项供用户进行选择，也可以是移动终端按照预设的选取规则进行选择，这里，本申请实施例对此不作具体限定。
进一步地，为了选取出目标人体图像，在一种可选的实施例中，从源视频中所包括的人体图像中选取出目标人体图像，包括：
接收对源视频中人体图像的选取指令；
根据选取指令，从源视频中所包括的人体图像中选取出目标人体图像。
在实际应用中，可以在移动终端中的显示界面上设置一个选项，当对源视频进行人像识别时识别出不止一个人体图像时，那么移动终端的显示界面上会弹出一个窗口，该窗口中包括对源视频中人体图像的选项，这样，用户通过对该窗口的操作使得移动终端可以接收到对源视频中人体图像的选取指令。
移动终端在接收到选取指令之后，响应该选取指令，可以从源视频中所包括的人体图像中选取出目标人体图像，这样，使得用户可以通过移动终端的显示界面来选择需要将待迁移人体图像迁移至源视频中的哪个人或哪些人中。
另外，除了通过选取指令选取目标人体图像之外，在一种可选的实施例中，从源视频中所包括的人体图像中选取出目标人体图像，包括：
获取源视频中特定帧的图像；
确定特定帧的图像中每个人体图像的画面占比；
将画面占比的最大值对应的人体图像确定为目标人体图像。
具体来说，先从源视频中获取特定帧的图像，该特定帧的图像中包括源视频中所包括的全部人体图像，该特定帧可以是源视频中任意一个指定的图像，这里，通常获取的特定帧的图像是源视频中的第一帧的图像，然后确定第一帧的图像中每个人体图像的在该帧图像中的画面占比，最后，将画面占比的最大值对应的人体图像确定为目标人体图像。
举例来说，当源视频中存在3个人的运动视频时，先获取第一帧的图像，然后确定每个人体图像的画面占比，若分别为40％，30％和20％，那么，可以将画面占比为40％的人体图像确定为目标人体图像。
为了得到待迁移人体图像的姿态估计图和源视频的姿态估计图，可以采用二维的姿态估计方法实现二维空间下的人体姿态迁移，为了实现二维空间下的人体姿态迁移，在一种可选的实施例中，S101可以包括：
对待迁移人体图像，采用预设的个人体关键点进行姿态估计，得到待迁移人体图像的姿态估计图；
相应地，S102可以包括：
对源视频中的人体图像，采用预设的个人体关键点进行姿态估计，得到源视频的姿态估计图。
具体来说，在对待迁移人体图像进行姿态估计时，可以采用预设的人体关键点的姿态估计方法进行姿态估计，这样，可以得到待迁移人体图像的姿态估计图，该待迁移人体图像的姿态迁移图中包括待迁移人体图像的人体关键点的姿态。
同样的，针对源视频中的人体图像，也可以采用相同的姿态估计方法，以估计得到源视频的姿态估计图，这样，使得源视频的姿态估计图中也包括人体图像的人体关键点的姿态。
需要说明的是，这里的预设的人体关键点的数目可以根据实际情况进行设置，在实际应用中，通常可以为采用9个人体关键点，也可以采用18个人体关键点，这里，本申请实施例对此不作具体限定。
在获取到待迁移人体图像的姿态估计图和源视频的姿态估计图之后，可以将待迁移人体图像，待迁移人体图像的姿态估计图和源视频的姿态估计图作为输入，输入至轻量化的对抗生成网络中，从生成得到一系列待迁移人体图像迁移至源视频的姿态估计图下的每一帧姿态迁移图，最后，将得到的每一帧姿态迁移图进行组合，便可以得到迁移后的视频，该迁移后的视频为：待迁移人体图像迁移至源视频中的人体图像，并执行源视频中人体图像的动作的视频。
在一种可选的实施例中，S101可以包括：
采用预设的人像分割算法进行分割，对待迁移人体图像，将分割后的人体部位确定为待迁移人体图像的姿态估计图；
相应地，S102可以包括：
采用人像分割算法进行分割，对源视频中的人体图像，将分割后的人体部位确定为源视频的姿态估计图。
具体来说，在对待迁移人体图像进行姿态估计时，可以采用人像分割算法进行姿态估计，这样，可以将得到的分割后的人体部分确定为待迁移人体图像的姿态估计图，该待迁移人体图像的姿态迁移图中包括待迁移人体图像的人体分割部分的姿态，例如分割人体得到的手，头，足等部分。
同样的，针对源视频中的人体图像，也可以采用相同的姿态估计方法，以估计得到源视频的姿态估计图，这样，使得源视频的姿态估计图中也包括人体图像的人体分割部分的姿态。
在获取到待迁移人体图像的姿态估计图和源视频的姿态估计图之后，可以将待迁移人体图像，待迁移人体图像的姿态估计图和源视频的姿态估计图作为输入，输入至轻量化的对抗生成网络中，从而生成得到一系列待迁移人体图像迁移至源视频的姿态估计图下的每一帧姿态迁移图，最后，将得到的每一帧姿态迁移图进行组合，便可以得到迁移后的视频，该迁移后的视频为：待迁移人体图像迁移至源视频中的人体图像，并执行源视频中人体图像的动作的视频。
在实际应用中，通常获取到的待迁移人体图像会存在遮挡，或者源视频中存在一些人体的新姿态，例如，待迁移人体图像为人体的正面全身照，但是源视频中存在人体的背面全身照，这样的话，由于待迁移人体图像的遮挡或者待迁移人体图像的角度不够全面等存在的缺陷，使得迁移后的视频效果不佳。
为了提高迁移后的视频的效果，可以采用三维的姿态估计方法实现三维空间下的人体姿态迁移，为了实现三维空间下的人体姿态迁移，在一种可选的实施例中，S101可以包括：
对待迁移人体图像中不同角度的人体图像进行三维图像的姿态估计，得到待迁移人体图像的三维姿态估计图；
将待迁移人体图像的三维姿态估计图确定为待迁移人体图像的姿态估计图；
相应地，S102可以包括：
对源视频中不同角度的人体图像进行三维图像的姿态估计，得到源视频的三维姿态估计图；
将源视频的三维姿态估计图确定为源视频的姿态估计图。
具体来说，为了实现三维姿态估计的效果，需要待迁移人体图像的不同角度的人体图像，例如待迁移人体图像的正面全身照，待迁移人体图像的左侧面全身照，待迁移人体图像的右侧面全身照和待迁移人体图像的背面全身照，这样，可以根据待迁移人体图像的不同角度的人体图像，采用三维图像的姿态估计方法进行姿态估计，可以得到待迁移人体图像的三维姿态估计图，也就是说，可以得到一个全方位的立体的人体姿态估计图。
同样的，针对源视频中的人体图像，在实际应用中，通常人体的运动视频中包括人体多个角度的动作，这里，也可以采用相同的姿态估计方法，对源视频中不同角度的人体图像进行三维图像的姿态估计，得到源视频的三维姿态估计图，这样，使得源视频的姿态估计图为一个三维人体姿态估计图。
这样，在获取到待迁移人体图像的三维姿态估计图和源视频的三维姿态估计图之后，可以将待迁移人体图像的不同角度的人体图像，待迁移人体图像的三维姿态估计图和源视频的三维姿态估计图作为输入，输入至轻量化的对抗生成网络中，从而生成得到一系列待迁移人体图像迁移至源视频的姿态估计图下的每一帧姿态迁移图，且，每一帧姿态迁移图均为三维的人体姿态迁移图，最后，将得到的每一帧三维的人体姿态迁移图进行组合，便可以得到三维的迁移后的视频，该迁移后的视频为：待迁移人体图像迁移至源视频中的人体图像，并执行源视频中人体图像的动作的三维立体视频。
本申请实施例提供了一种人体姿态迁移方法，该方法包括：对获取到的待迁移人体图像进行姿态估计，得到待迁移人体图像的姿态估计图，对获取到的源视频中的人体图像进行姿态估计，得到源视频的姿态估计图，将待迁移人体图像，待迁移人体图像的姿态估计图和源视频的姿态估计图输入至轻量化的对抗生成网络中，输出得到待迁移人体图像迁移至源视频的姿态估计图下的姿态迁移图，其中，轻量化的对抗生成网络是对对抗生成网络进行改进所得到的网络模型，利用姿态迁移图生成迁移后的视频；也就是说，在本申请实施例中，首先在对获取到的待迁移人体图像和获取到的源视频中的人体图像分别进行姿态估计后，得到待迁移人体图像的姿态估计图和源视频的姿态估计图，然后，将待迁移人体图像，待迁移人体图像的姿态估计图和源视频的姿态估计图这三种数据输入至轻量化的对抗生成网络中，能够得到待迁移人体图像迁移至源视频的姿态估计图下的姿态迁移图，从而得到迁移后的视频，这里，采用对对抗生成网络进行改进所得到的轻量化的对抗生成网络模型，由于该网络模型是在原有大模型的基础上轻量化，使得该轻量化的对抗生成网络能够适用于移动终端中，从而使得移动终端中采用轻量化的对抗生成网络即可实现人体姿态的迁移，这样，提高了人体姿态迁移的适用性，使得人体姿态迁移技术能够广泛地应用于各种移动终端中。
实施例二
图4为本申请实施例提供的一种移动终端的结构示意图一，如图4所示，本申请实施例提供了一种移动终端，包括：第一估计模块41，第二估计模块42，迁移模块43和生成模块44；其中，
第一估计模块41，对获取到的待迁移人体图像进行姿态估计，得到待迁移人体图像的姿态估计图；
第二估计模块42，用于对获取到的源视频中的人体图像进行姿态估计，得到源视频的姿态估计图；
迁移模块43，用于将待迁移人体图像，待迁移人体图像的姿态估计图和源视频的姿态估计图输入至轻量化的对抗生成网络中，输出得到待迁移人体图像迁移至源视频的姿态估计图下的姿态迁移图；其中，轻量化的对抗生成网络是对对抗生成网络进行改进所得到的网络模型；
生成模块44，用于利用姿态迁移图生成迁移后的视频。
可选的，当源视频中包括至少两个人体图像时，第二估计模块42，具体用于：
对源视频进行人体图像的识别，得到源视频中所包括的人体图像；
对源视频中的每个人体图像进行姿态估计，将得到的每个人体图像的姿态估计图确定为源视频的姿态估计图。
可选的，迁移模块43，具体用于：
从源视频中所包括的人体图像中选取出目标人体图像；
将待迁移人体图像，待迁移人体图像的姿态估计图，源视频的姿态估计图和目标人体图像输入至轻量化的对抗生成网络中，输出得到待迁移人体图像迁移至目标人体图像的姿态估计图下的人体姿态迁移图。
可选的，当源视频中包括至少两个人体图像时，第二估计模块42，具体用于：
对源视频进行人体图像的识别，得到源视频中所包括的人体图像；
从源视频中所包括的人体图像中选取出目标人体图像；
对目标人体图像进行姿态估计，将得到的目标人体图像的姿态估计图确定为源视频的姿态估计图。
可选的，第二估计模块42从源视频中所包括的人体图像中选取出目标人体图像中，包括：
接收对源视频中人体图像的选取指令；
根据选取指令，从源视频中所包括的人体图像中选取出目标人体图像。
可选的，第二估计模块42从源视频中所包括的人体图像中选取出目标人体图像中，包括：
获取源视频中特定帧的图像；
确定特定帧的图像中每个人体图像的画面占比；
将画面占比的最大值对应的人体图像确定为目标人体图像。
可选的，第一估计模块41，具体用于：
对待迁移人体图像，采用预设的人体关键点进行姿态估计，得到待迁移人体图像的姿态估计图；
相应地，第二估计模块42，具体用于：
对源视频中的人体图像，采用预设的人体关键点进行姿态估计，得到源视频的姿态估计图。
可选的，第一估计模块41，具体用于：
采用预设的人像分割算法进行分割，对待迁移人体图像，将分割后的人体部位确定为待迁移人体图像的姿态估计图；
相应地，第二估计模块42，具体用于：
采用人像分割算法进行分割，对源视频中的人体图像，将分割后的人体部位确定为源视频的姿态估计图。
可选的，第一估计模块41，具体用于：
对待迁移人体图像中不同角度的人体图像进行三维图像的姿态估计，得到待迁移人体图像的三维姿态估计图；
将待迁移人体图像的三维姿态估计图确定为待迁移人体图像的姿态估计图；
相应地，第二估计模块42，具体用于：
对源视频中不同角度的人体图像进行三维图像的姿态估计，得到源视频的三维姿态估计图；
将源视频的三维姿态估计图确定为源视频的姿态估计图。
在实际应用中，上述第一估计模块41、第二估计模块42，迁移模块43和生成模块44可由位于移动终端上的处理器实现，具体为CPU、微处理器(MPU，Microprocessor Unit)、数字信号处理器(DSP，Digital Signal Processing)或现场可编程门阵列(FPGA，FieldProgrammable Gate Array)等实现。
图5为本申请实施例提供的一种移动终端的结构示意图二，如图5所示，本申请实施例提供了一种移动终端500，包括：
处理器51以及存储有所述处理器51可执行指令的存储介质52，所述存储介质52通过通信总线53依赖所述处理器51执行操作，当所述指令被所述处理器51执行时，执行上述实施例一所述的人体姿态迁移方法。
需要说明的是，实际应用时，移动终端中的各个组件通过通信总线53耦合在一起。可理解，通信总线53用于实现这些组件之间的连接通信。通信总线53除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图5中将各种总线都标为通信总线53。
本申请实施例提供了一种计算机存储介质，存储有可执行指令，当所述可执行指令被一个或多个处理器执行的时候，所述处理器执行实施例一所述的人体姿态迁移方法。
其中，计算机可读存储介质可以是磁性随机存取存储器(ferromagnetic randomaccess memory，FRAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
Claims (12)
1.一种人体姿态迁移方法，其特征在于，应用于一移动终端中，包括：
对获取到的待迁移人体图像进行姿态估计，得到所述待迁移人体图像的姿态估计图；
对获取到的源视频中的人体图像进行姿态估计，得到所述源视频的姿态估计图；
将所述待迁移人体图像，所述待迁移人体图像的姿态估计图和所述源视频的姿态估计图输入至轻量化的对抗生成网络中，输出得到所述待迁移人体图像迁移至所述源视频的姿态估计图下的姿态迁移图；其中，所述轻量化的对抗生成网络是对对抗生成网络进行改进所得到的网络模型；
利用所述姿态迁移图生成迁移后的视频。
2.根据权利要求1所述的方法，其特征在于，当所述源视频中包括至少两个人体图像时，所述对获取到的源视频中的人体图像进行姿态估计，得到所述源视频的姿态估计图，包括：
对所述源视频进行人体图像的识别，得到所述源视频中所包括的人体图像；
对所述源视频中的每个人体图像进行姿态估计，将得到的所述每个人体图像的姿态估计图确定为所述源视频的姿态估计图。
3.根据权利要求2所述的方法，其特征在于，所述将所述待迁移人体图像，所述待迁移人体图像的姿态估计图和所述源视频的姿态估计图输入至轻量化的对抗生成网络中，输出得到所述待迁移人体图像迁移至所述源视频的姿态估计图下的姿态迁移图，包括：
从所述源视频中所包括的人体图像中选取出目标人体图像；
将所述待迁移人体图像，所述待迁移人体图像的姿态估计图，所述源视频的姿态估计图和所述目标人体图像输入至轻量化的对抗生成网络中，输出得到所述待迁移人体图像迁移至所述目标人体图像的姿态估计图下的姿态迁移图。
4.根据权利要求1所述的方法，其特征在于，当所述源视频中包括至少两个人体图像时，所述对获取到的源视频中的人体图像进行姿态估计，得到所述源视频的姿态估计图，包括：
对所述源视频进行人体图像的识别，得到所述源视频中所包括的人体图像；
从所述源视频中所包括的人体图像中选取出目标人体图像；
对所述目标人体图像进行姿态估计，将得到的所述目标人体图像的姿态估计图确定为所述源视频的姿态估计图。
5.根据权利要求3或4所述的方法，其特征在于，所述从所述源视频中所包括的人体图像中选取出目标人体图像，包括：
接收对所述源视频中人体图像的选取指令；
根据所述选取指令，从所述源视频中所包括的人体图像中选取出所述目标人体图像。
6.根据权利要求3或4所述的方法，其特征在于，所述从所述源视频中所包括的人体图像中选取出目标人体图像，包括：
获取所述源视频中特定帧的图像；
确定所述特定帧的图像中每个人体图像的画面占比；
将画面占比的最大值对应的人体图像确定为所述目标人体图像。
7.根据权利要求1所述的方法，其特征在于，所述对获取到的待迁移人体图像进行姿态估计，得到所述待迁移人体图像的姿态估计图，包括：
对所述待迁移人体图像，采用预设的人体关键点进行姿态估计，得到所述待迁移人体图像的姿态估计图；
相应地，所述对获取到的源视频中的人体图像进行姿态估计，得到所述源视频的姿态估计图，包括：
对所述源视频中的人体图像，采用所述预设的人体关键点进行姿态估计，得到所述源视频的姿态估计图。
8.根据权利要求1所述的方法，其特征在于，所述对获取到的待迁移人体图像进行姿态估计，得到所述待迁移人体图像的姿态估计图，包括：
采用预设的人像分割算法进行分割，对所述待迁移人体图像，将分割后的人体部位确定为所述待迁移人体图像的姿态估计图；
相应地，所述对获取到的源视频中的人体图像进行姿态估计，得到所述源视频的姿态估计图，包括：
采用所述人像分割算法进行分割，对所述源视频中的人体图像，将分割后的人体部位确定为所述源视频的姿态估计图。
9.根据权利要求1所述的方法，其特征在于，所述对获取到的待迁移人体图像进行姿态估计，得到所述待迁移人体图像的姿态估计图，包括：
对所述待迁移人体图像中不同角度的人体图像进行三维图像的姿态估计，得到所述待迁移人体图像的三维姿态估计图；
将所述待迁移人体图像的三维姿态估计图确定为所述待迁移人体图像的姿态估计图；
相应地，所述对获取到的源视频中的人体图像进行姿态估计，得到所述源视频的姿态估计图，包括：
对所述源视频中不同角度的人体图像进行三维图像的姿态估计，得到所述源视频的三维姿态估计图；
将所述源视频的三维姿态估计图确定为所述源视频的姿态估计图。
10.一种移动终端，其特征在于，所述移动终端包括：
第一估计模块，对获取到的待迁移人体图像进行姿态估计，得到所述待迁移人体图像的姿态估计图；
第二估计模块，用于对获取到的源视频中的人体图像进行姿态估计，得到所述源视频的姿态估计图；
迁移模块，用于将所述待迁移人体图像，所述待迁移人体图像的姿态估计图和所述源视频的姿态估计图输入至轻量化的对抗生成网络中，输出得到所述待迁移人体图像迁移至所述源视频的姿态估计图下的姿态迁移图；其中，所述轻量化的对抗生成网络是对对抗生成网络进行改进所得到的网络模型；
生成模块，用于利用所述姿态迁移图生成迁移后的视频。
11.一种移动终端，其特征在于，所述移动终端包括：处理器以及存储有所述处理器可执行指令的存储介质，所述存储介质通过通信总线依赖所述处理器执行操作，当所述指令被所述处理器执行时，执行上述的权利要求1至9任一项所述的人体姿态迁移方法。
12.一种计算机存储介质，其特征在于，存储有可执行指令，当所述可执行指令被一个或多个处理器执行的时候，所述处理器执行所述的权利要求1至9任一项所述的人体姿态迁移方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911219621.8A CN111027438B (zh) | 2019-12-03 | 2019-12-03 | 一种人体姿态的迁移方法、移动终端以及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911219621.8A CN111027438B (zh) | 2019-12-03 | 2019-12-03 | 一种人体姿态的迁移方法、移动终端以及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111027438A CN111027438A (zh) | 2020-04-17 |
| CN111027438B true CN111027438B (zh) | 2023-06-02 |
Family
ID=70204046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911219621.8A Active CN111027438B (zh) | 2019-12-03 | 2019-12-03 | 一种人体姿态的迁移方法、移动终端以及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111027438B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111626218B (zh) * | 2020-05-28 | 2023-12-26 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像生成方法、装置、设备及存储介质 |
| CN113824898B (zh) * | 2020-06-19 | 2022-09-09 | 清华大学 | 一种视频生成方法、装置、电子设备及存储介质 |
| CN111739115B (zh) * | 2020-06-23 | 2021-03-16 | 中国科学院自动化研究所 | 基于循环一致性的无监督人体姿态迁移方法、系统及装置 |
| CN112714263B (zh) * | 2020-12-28 | 2023-06-20 | 北京字节跳动网络技术有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN112734632B (zh) * | 2021-01-05 | 2024-02-27 | 百果园技术(新加坡)有限公司 | 图像处理方法、装置、电子设备和可读存储介质 |
| CN112634444B (zh) * | 2021-03-10 | 2021-11-09 | 北京创新智源科技有限公司 | 一种基于三维信息的人体姿态迁移方法、装置、存储介质及终端 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2843621A1 (en) * | 2013-08-26 | 2015-03-04 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Human pose calculation from optical flow data |
| WO2016110199A1 (zh) * | 2015-01-05 | 2016-07-14 | 掌赢信息科技（上海）有限公司 | 一种表情迁移方法、电子设备及系统 |
| CN108960086A (zh) * | 2018-06-20 | 2018-12-07 | 电子科技大学 | 基于生成对抗网络正样本增强的多姿态人体目标跟踪方法 |
| CN110047118A (zh) * | 2019-04-08 | 2019-07-23 | 腾讯科技（深圳）有限公司 | 视频生成方法、装置、计算机设备及存储介质 |
| CN110287848A (zh) * | 2019-06-19 | 2019-09-27 | 北京卡路里信息技术有限公司 | 视频的生成方法及装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10444845B2 (en) * | 2012-12-21 | 2019-10-15 | Qualcomm Incorporated | Display of separate computer vision based pose and inertial sensor based pose |
| US10474881B2 (en) * | 2017-03-15 | 2019-11-12 | Nec Corporation | Video retrieval system based on larger pose face frontalization |
| CN109859322B (zh) * | 2019-01-22 | 2022-12-06 | 广西大学 | 一种基于变形图的谱姿态迁移方法 |
| CN109978975A (zh) * | 2019-03-12 | 2019-07-05 | 深圳市商汤科技有限公司 | 一种动作的迁移方法及装置、计算机设备 |
| CN109905724A (zh) * | 2019-04-19 | 2019-06-18 | 广州虎牙信息科技有限公司 | 直播视频处理方法、装置、电子设备及可读存储介质 |
| CN110135336B (zh) * | 2019-05-14 | 2023-08-25 | 腾讯科技（深圳）有限公司 | 行人生成模型的训练方法、装置及存储介质 |
| CN110246209B (zh) * | 2019-06-19 | 2021-07-09 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置 |
-
2019
- 2019-12-03 CN CN201911219621.8A patent/CN111027438B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2843621A1 (en) * | 2013-08-26 | 2015-03-04 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Human pose calculation from optical flow data |
| WO2016110199A1 (zh) * | 2015-01-05 | 2016-07-14 | 掌赢信息科技（上海）有限公司 | 一种表情迁移方法、电子设备及系统 |
| CN108960086A (zh) * | 2018-06-20 | 2018-12-07 | 电子科技大学 | 基于生成对抗网络正样本增强的多姿态人体目标跟踪方法 |
| CN110047118A (zh) * | 2019-04-08 | 2019-07-23 | 腾讯科技（深圳）有限公司 | 视频生成方法、装置、计算机设备及存储介质 |
| CN110287848A (zh) * | 2019-06-19 | 2019-09-27 | 北京卡路里信息技术有限公司 | 视频的生成方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111027438A (zh) | 2020-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111027438B (zh) | 一种人体姿态的迁移方法、移动终端以及计算机存储介质 | |
| EP3698323B1 (en) | Depth from motion for augmented reality for handheld user devices | |
| JP6154075B2 (ja) | オブジェクト検出及び分割の方法，装置，コンピュータプログラム製品 | |
| CN110503703B (zh) | 用于生成图像的方法和装置 | |
| CA2667538C (en) | System and method for recovering three-dimensional particle systems from two-dimensional images | |
| US8433157B2 (en) | System and method for three-dimensional object reconstruction from two-dimensional images | |
| CN111062981B (zh) | 图像处理方法、装置及存储介质 | |
| CN107771391B (zh) | 用于确定图像帧的曝光时间的方法和装置 | |
| US11514263B2 (en) | Method and apparatus for processing image | |
| CN108124489B (zh) | 信息处理方法、装置、云处理设备以及计算机程序产品 | |
| JP7032871B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
| CN110166684B (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
| CN108648140B (zh) | 图像拼接方法、系统、设备及存储介质 | |
| CN109712082B (zh) | 协作修图的方法及装置 | |
| CN105701762B (zh) | 一种图片处理方法和电子设备 | |
| CN110516598B (zh) | 用于生成图像的方法和装置 | |
| CN108447105A (zh) | 一种全景图像的处理方法及装置 | |
| US20140198177A1 (en) | Realtime photo retouching of live video | |
| US9171357B2 (en) | Method, apparatus and computer-readable recording medium for refocusing photographed image | |
| CN110827341A (zh) | 一种图片深度估计方法、装置和存储介质 | |
| JP6842618B2 (ja) | ３ｄマップの作成 | |
| US9361540B2 (en) | Fast image processing for recognition objectives system | |
| CN116228850A (zh) | 物体姿态估计方法、装置、电子设备及可读存储介质 | |
| CN114419279A (zh) | 三维对象生成方法及装置、存储介质和电子设备 | |
| US20240054665A1 (en) | Image processing apparatus, method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |