CN113763232A - 图像处理方法、装置、设备及计算机可读存储介质 - Google Patents
图像处理方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113763232A CN113763232A CN202010795528.8A CN202010795528A CN113763232A CN 113763232 A CN113763232 A CN 113763232A CN 202010795528 A CN202010795528 A CN 202010795528A CN 113763232 A CN113763232 A CN 113763232A
- Authority
- CN
- China
- Prior art keywords
- trained
- image
- target
- model
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 130
- 238000012549 training Methods 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 25
- 230000015572 biosynthetic process Effects 0.000 claims description 16
- 238000003786 synthesis reaction Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 210000000697 sensory organ Anatomy 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本公开提供一种图像处理方法、装置、设备及计算机可读存储介质，方法包括：获取终端设备发送的图像处理请求，所述图像处理请求中包括待处理图像以及目标模板；根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作，获得合成后的目标图像，其中，所述网络模型中包括编码器以及与所述目标模板对应的解码器；将所述目标图像发送至所述终端设备。由于网络模型与模板相对应，在训练过程中仅利用与该模板对应的合成图像进行训练，减少了训练数据的数据量。每个网络模型均采用与该模板对应的合成图像进行训练，在后续合成过程中，得到的合成的图像平滑性较高，能够满足用户的需求，提高用户体验。
Description
技术领域
本公开涉及人工智能领域，尤其涉及一种图像处理方法、装置、设备及计算机可读存储介质。
背景技术
随着科技的发展，越来越多的应用软件走进了用户的生活，逐渐丰富了用户的业余生活，例如短视频APP等。用户可以采用视频、照片等方式记录生活，并上传至短视频APP上。但是，仅用终端设备的图像采集装置拍摄的视频或者照片种类较为单一，导致用户体验较差。
为了提高用户体验，提高用户拍摄的视频或照片的质量以及趣味性，现有技术中题述一种图像处理方法，可以将用户拍摄的人脸图像与预设的模板进行融合操作，获得合成人脸。具体地，可以将人脸与选择的模板一同输入至预设的网络模型中，得到网络模型输出的合成人脸。
但是，采用上述方法进行图像处理时，由于模板的数量较多，因此网络模型训练过程中所需的训练数据也相对较多，训练数据获取难度较大。且该网络模型需要同时实现多个模板对应的图像处理操作，平滑性较差。
发明内容
本公开提供一种图像处理方法、装置、设备及计算机可读存储介质，用于解决现有图像处理方法的网络模型训练过程中所需的训练数据相对较多，训练数据获取难度较大，且该网络模型需要同时实现多个模板对应的图像处理操作时平滑性较差的技术问题。
本公开的第一个方面是提供一种图像处理方法，包括：
获取终端设备发送的图像处理请求，所述图像处理请求中包括待处理图像以及目标模板；
根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作，获得合成后的目标图像，其中，所述网络模型中包括编码器以及与所述目标模板对应的解码器；
将所述目标图像发送至所述终端设备。
可选的，所述根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作，包括：
根据所述图像处理请求，采用所述编码器对所述待处理图像进行向量化处理，获得所述待处理图像对应的目标向量；
采用所述与所述目标模板对应的解码器，对所述目标向量与所述目标模板进行合成操作，获得所述合成后的目标图像。
可选的，所述根据所述图像处理请求，采用所述编码器对所述待处理图像进行向量化处理，获得所述待处理图像对应的目标向量，包括：
根据所述图像处理请求，将所述待处理图像输入至预设的图像检测模型，获得人脸区域对应的目标图像；
采用预设的编码器对所述人脸区域对应的目标图像进行向量化处理，获得所述待处理图像对应的目标向量。
可选的，所述根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作之前，还包括：
获取待训练数据集，所述待训练数据集中包括多个待训练数据，每一待训练数据中包括待训练图像、模板信息以及所述待训练图像对应的目标合成图像；
通过所述待训练数据集对预设的各模板信息对应的待训练模型进行训练，获得与各模板信息对应的网络模型。
可选的，所述通过所述待训练数据集对预设的各模板信息对应的待训练模型进行训练，获得与各模板信息对应的网络模型，包括：
针对每一模板信息，在所述待训练数据集中获取包括所述模板信息的全部目标待训练数据；
根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练，获得所述模板信息对应的网络模型。
可选的，所述根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练，获得所述模板信息对应的网络模型，包括：
将所述待训练图像输入至所述待训练模型中的待训练编码器中，获得待训练向量；
将所述待训练向量输入至所述待训练模型中的待训练解码器中，获得待处理合成图像；
确定所述待处理合成图像与所述目标合成图像之间的误差值是否大于预设的误差阈值；
若大于，则根据所述误差值对所述待训练模型的参数进行调节，并返回执行所述将所述待训练图像输入至所述待训练模型中的待训练编码器中的步骤，直至所述误差值小于预设的误差阈值；
若不大于，则获得所述模板信息对应的网络模型。
可选的，所述待训练模型为全卷积模型。
可选的，所述根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练之前，还包括：
获取预设的分类数据集；
通过所述分类数据集对所述模板信息对应的待训练模型进行预训练操作，获得预训练后的待训练模型；
相应地，所述根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练，包括：
根据所述目标待训练数据对所述预训练后的待训练模型进行训练。
本公开的第二个方面是提供一种图像处理装置，包括：
图像处理请求获取模块，用于获取终端设备发送的图像处理请求，所述图像处理请求中包括待处理图像以及目标模板；
目标图像合成模块，用于根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作，获得合成后的目标图像，其中，所述网络模型中包括编码器以及与所述目标模板对应的解码器；
目标图像发送模块，用于将所述目标图像发送至所述终端设备。
可选的，所述目标图像合成模块，包括：
向量化单元，用于根据所述图像处理请求，采用所述编码器对所述待处理图像进行向量化处理，获得所述待处理图像对应的目标向量；
合成单元，用于采用所述与所述目标模板对应的解码器，对所述目标向量与所述目标模板进行合成操作，获得所述合成后的目标图像。
可选的，所述向量化单元，用于：
根据所述图像处理请求，将所述待处理图像输入至预设的图像检测模型，获得人脸区域对应的目标图像；
采用预设的编码器对所述人脸区域对应的目标图像进行向量化处理，获得所述待处理图像对应的目标向量。
可选的，所述图像处理装置，还包括：
待训练数据集获取模块，用于在所述根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作之前，获取待训练数据集，所述待训练数据集中包括多个待训练数据，每一待训练数据中包括待训练图像、模板信息以及所述待训练图像对应的目标合成图像；
网络模型获取模块，用于在所述根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作之前，通过所述待训练数据集对预设的各模板信息对应的待训练模型进行训练，获得与各模板信息对应的网络模型。
可选的，所述网络模型获取模块，包括：
待训练数据获取单元，用于针对每一模板信息，在所述待训练数据集中获取包括所述模板信息的全部目标待训练数据；
网络模型获取单元，用于根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练，获得所述模板信息对应的网络模型。
可选的，所述网络模型获取单元，用于：
将所述待训练图像输入至所述待训练模型中的待训练编码器中，获得待训练向量；
将所述待训练向量输入至所述待训练模型中的待训练解码器中，获得待处理合成图像；
确定所述待处理合成图像与所述目标合成图像之间的误差值是否大于预设的误差阈值；
若大于，则根据所述误差值对所述待训练模型的参数进行调节，并返回执行所述将所述待训练图像输入至所述待训练模型中的待训练编码器中的步骤，直至所述误差值小于预设的误差阈值；
若不大于，则获得所述模板信息对应的网络模型。
可选的，所述待训练模型为全卷积模型。
可选的，所述网络模型获取模块，还包括：
分类数据集获取单元，用于在所述根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练之前，获取预设的分类数据集；
待训练模型获取单元，用于在所述根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练之前，通过所述分类数据集对所述模板信息对应的待训练模型进行预训练操作，获得预训练后的待训练模型；
相应地，网络模型获取单元，用于：
根据所述目标待训练数据对所述预训练后的待训练模型进行训练。
本公开的第三个方面是提供一种图像处理设备，包括：存储器，处理器；
所述存储器，用于存储所述处理器可执行指令；
所述处理器配置为经由执行所述可执行指令来执行第一方面所述的图像处理方法。
本公开的第四个方面是提供一种计算机可读存储介质，包括：所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面所述的图像处理方法。
本公开提供的图像处理方法、装置、设备及计算机可读存储介质，可以在获取终端设备发送的图像处理请求，根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作，获得合成后的目标图像并将所述目标图像发送至所述终端设备。通过针对每一个模板设置对应的网络模型，从而针对每一个网络模型，只要采用该模板对应的训练数据进行训练即可，减少了网络模型所需的训练数据使用量。且改善了网络模型需要同时实现多个模板对应的图像处理操作时平滑性较差的问题。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本公开基于的网络架构示意图；
图2为本公开实施例一提供的图像处理方法的流程示意图；
图3为本公开提供的图像处理示意图；
图4为本公开实施例二提供的图像处理方法的流程示意图；
图5为本公开提供的网络模型示意图；
图6为本公开实施例三提供的图像处理方法的流程示意图；
图7为本公开实施例提供的图像裁剪示意图；
图8为本公开实施例四提供的图像处理方法的流程示意图；
图9为本公开实施例五提供的图像处理装置的结构示意图；
图10为本公开实施例六提供的图像处理装置的结构示意图；
图11为本公开实施例八提供的图像处理装置的结构示意图；
图12为本公开实施例九提供的图像处理装置的结构示意图；
图13为本公开实施例十提供的图像处理装置的结构示意图；
图14为本公开实施例十一提供的图像处理装置的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例所获得的所有其他实施例，都属于本公开保护的范围。
针对上述提及的现有图像处理方法的网络模型训练过程中所需的训练数据相对较多，训练数据获取难度较大，且该网络模型需要同时实现多个模板对应的图像处理操作时平滑性较差的技术问题，本公开提供了一种图像处理方法、装置、设备及计算机可读存储介质。
需要说明的是，本公开提供图像处理方法、装置、设备及计算机可读存储介质可运用在各种根据用户选择的图像对模板进行换脸的场景中。
现有技术中，为了提高用户拍摄的影像的趣味性，可以根据用户选择的图像以及模板进行换脸操作，获得换脸后的目标图像。具体地，可以获取用户终端设备发送的换脸请求，其中，该换脸请求中包括用户选择的图像以及模板。通过预设的网络模型对用户选择的图像以及模板进行合成操作，获得换脸后的目标图像。但是，现有的网络模型一般都兼容多个不同的模板，因此，训练过程中需要获取每一模板对应的合成图像，所需训练数据量较大，且合成效果可能无法满足用户的需求。
在解决上述技术问题的过程中，发明人研究发现，针对该网络模型，为了减少模型的训练数据量并提高模型的合成精准度，可以针对每一模板，构建一个与模板相对应的网络模型。因此，后续在图像处理的过程中，可以采用与用户选择的目标模板对应的网络模型进行图像合成操作。由于网络模型与模板相对应，因此，在训练过程中仅需要获取与该模板对应的合成图像进行训练即可，对训练数据的数据量要求不高。且由于每个网络模型均采用与该模板对应的合成图像进行训练，因此，后续合成过程中，得到的合成的图像平滑性较高，能够满足用户的需求，提高用户体验。
图1为本公开基于的网络架构示意图，如图1所示，本公开基于的网络架构至少包括：终端设备1以及服务器2，其中，服务器2中设置有图像处理装置。该图像处理装置采用C/C++、Java、Shell或Python等语言编写；终端设备1则可例如台式电脑、平板电脑等。该终端设备1与服务器2通信连接，从而终端设备1能够与服务器2进行信息交互。
图2为本公开实施例一提供的图像处理方法的流程示意图，如图2所示，所述方法包括：
步骤101、获取终端设备发送的图像处理请求，所述图像处理请求中包括待处理图像以及目标模板。
本实施例的执行主体为图像处理装置，该图像处理装置设置在服务器中，该服务器可以与终端设备通信连接，从而能够与终端设备进行信息交互。
在本实施方式中，图像处理装置与终端设备通信连接，接收终端设备发送的图像处理请求，图像处理请求中包括待处理图像以及目标模板。
以实际应用举例来说，用户想要将一个经典的电影片段中人物的脸替换成用户人脸，或者想要将一个明星的图像中的人脸替换成用户人脸，即需要将用户人脸与经典电影片段中人物的脸或者明星图像中的人脸进行合成。用户通过点击终端设备上的图像处理按钮，触发终端设备向图像处理装置发送图像处理请求，图像处理装置接收终端设备发送的待处理图像和目标模板。
待处理图像为包含用户人脸的图像，待处理图像可以是用户实时拍摄的，也可以是用户从相册中选择的，本公开对此不做限定。目标模板可以为视频片段，也可以为图像，本公开对此不做限定。
进一步的，用户可以根据确定的待处理图像选择目标模板，也可以根据目标模板选择待处理图像。用户在确定待处理图像之后，可以预先对待处理图像进行编辑，例如美图，裁剪，旋转等操作。
步骤102、根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作，获得合成后的目标图像，其中，所述网络模型中包括编码器以及与所述目标模板对应的解码器。
在本实施方式中，图像处理装置在获取到用户选择的待处理图像和目标模板后，利用与目标模板对应的网络模型将获取到的人脸局部区域与目标模板进行合成，将待处理图像中的人脸按照目标模板的人脸的姿态进行合成，把用户的五官容貌转换到模板上，生成合成后的目标图像。
图3为本公开提供的图像处理示意图，如图所示，左图为用户选择的待处理图像，中图为用户选择的目标模板，右图为图像处理装置采用与目标模板对应的网络模型对待处理图像以及目标模板进行处理生成的合成图像。用户可以将目标模板以及待处理图像一同输入至与该目标模板对应的网络模型中，获得如右图所示的合成图像。
步骤103、将所述目标图像发送至所述终端设备。
在本实施方式中，图像处理装置采用与目标模板对应的网络模型，将待处理图像与目标模板合成后生成的目标图像后，将生成的目标图像发送到终端设备，并进行显示，以供用户查看。
相应地，终端设备再接收到该目标图像之后，可以在显示界面上显示该目标图像以供用户查看。用户在查看该目标图像之后，可以选择将该目标图像发布至指定的平台，或者可以根据实际需求对该目标图像进行进一步地编辑操作，也可以将该目标图像存储至预设的存储路径等，本公开对此不做限制。
本实施例提供的图像处理方法，通过将待处理图像和目标模板利用与目标模板对应的网络模型进行编码-解码操作，生成用户需要的合成图像。通过对编码-解码结构的深度神经网络模型进行训练，构建单编码多解码的网络模型，减少了模型的训练数据量并提高了模型的合成精准度。
图4为本公开实施例二提供的图像处理方法的流程示意图，在实施例一的基础上，如图4所示，步骤102具体包括：
步骤201、根据所述图像处理请求，采用所述编码器对所述待处理图像进行向量化处理，获得所述待处理图像对应的目标向量。
在本实施方式中，图像处理装置在获取到待处理图像后，将待处理图像和目标模板输入网络模型中，网络模型中的编码器提取人脸的基本特征，比如五官的姿态，并将人脸的基本特征信息压缩为固定维度的Embedded向量进行表达，从而获得所述待处理图像对应的目标向量。
步骤202、采用所述与所述目标模板对应的解码器，对所述目标向量与所述目标模板进行合成操作，获得所述合成后的目标图像。
在本实施例中，在网络模型中的编码器输出固定维度的Embedded向量后，将该固定维度的Embedded向量作为输入解码器。该解码器为与目标模板唯一对应的解码器，解码器经过计算，将压缩的特征向量按照目标模板的特征进行恢复，即可得到该目标模板下的用户所需合成图像，从而实现人脸转换的效果。
图5为本公开提供的网络模型示意图，如图5所示，该网络模型具体包括编码器以及与目标模板对应的解码器。
具体地，编码器为通用编码器，即所有的待处理图像都能够通过该编码器进行编码，输出一个固定维度Embedded向量。解码器与目标模板一一对应，即一种解码器只能对编码器输出的向量按照一张固定的目标模板进行解码。
本实施例提供的图像处理方法，通过利用网络模型的编码器对待处理图像进行编码，生成固定维度Embedded向量，并根据目标模板对应的解码器对编码器生成的固定维度Embedded向量进行解码，获得合成后的目标图像。通过构建单编码多解码的网络模型，减少了模型的训练数据量并提高了模型的合成精准度。
图6为本公开实施例三提供的图像处理方法的流程示意图，在上述任一实施例的基础上，如图6所示，步骤102具体包括：
步骤301、根据所述图像处理请求，将所述待处理图像输入至预设的图像检测模型，获得人脸区域对应的目标图像。
在本实施方式中，为了提高编码器编码的有效性，降低图像处理的复杂度，在图像处理装置接收到图像处理请求后，可以将待处理图像输入到预设的图像检测模型中。预设的图像检测模型能够对待处理图像进行图像识别，获取目标图像。目标图像指待处理图像对应的局部人脸图像。
步骤302、采用预设的编码器对所述人脸区域对应的目标图像进行向量化处理，获得所述待处理图像对应的目标向量。
在本实施方式中，网络模型的编码器通过对图像检测模型输出的目标图像提取人脸的基本特征，比如五官的姿态，并将人脸的基本特征信息压缩为固定维度的Embedded向量进行表达，从而获得所述待处理图像对应的目标向量。
图7为本公开实施例提供的图像裁剪示意图，如图7所示，左图为待处理图像，右图为待处理图像经过图像检测模型处理后，生成的目标图像。该目标图像中仅包括人物的脸部图像，不包括头发、身体等部位的信息，提高了后续图像处理的效率以及精准度。
本实施例提供的图像处理方法，通过图像检测模型将待处理图像进行局部人脸图像提取，生成目标图像，利用编码器对目标图像进行向量化处理，获取目标向量。通过提取目标图像，对目标图像进行编码操作，提高了编码的效率和准确率，进一步提高了合成图像的精度。
图8为本公开实施例四提供的图像处理方法的流程示意图，在上述任一实施例的基础上，如图8所示，步骤102之前，还包括：
步骤401、获取待训练数据集，所述待训练数据集中包括多个待训练数据，每一待训练数据中包括待训练图像、模板信息以及所述待训练图像对应的目标合成图像。
步骤402、通过所述待训练数据集对预设的各模板信息对应的待训练模型进行训练，获得与各模板信息对应的网络模型。
在本实施例中，在通过与目标模板对应的网络模型进行图像处理之前，首先需要训练待训练模型，获得该网络模型。由于网络模型的输入是待处理图像和目标模板，输出为合成后的目标图像，因此待训练模型需要以待训练图像、模板信息为输入，目标合成图像为输出进行训练。
在实际应用中，可以通过开源的换脸软件，辅助生成所需要的目标合成图像，以便待训练模型进行学习。而采用开源的换脸软件进行目标合成图像的获取，往往能够降低待训练数据集的获取难度。
其中，该待训练模型具体可以为全卷积模型。此外，待训练模型也可以为其他任意一种能够实现图像合成的网络模型，本公开对此不做限制。
具体地，在上述任一实施例的基础上，步骤402具体包括：
针对每一模板信息，在所述待训练数据集中获取包括所述模板信息的全部目标待训练数据。
根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练，获得所述模板信息对应的网络模型。
在本实施例中，为了减少模型的训练数据量并提高模型的合成精准度，可以针对每一模板，构建一个与模板相对应的网络模型。网络模型与模板相对应，每个网络模型均采用与该模板对应的合成图像进行训练，在训练过程中仅需要获取与该模板对应的合成图像进行训练即可，对训练数据的数据量要求较低。
进一步地，在上述任一实施例的基础上，所述根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练，获得所述模板信息对应的网络模型，包括：
将所述待训练图像输入至所述待训练模型中的待训练编码器中，获得待训练向量。
将所述待训练向量输入至所述待训练模型中的待训练解码器中，获得待处理合成图像。
确定所述待处理合成图像与所述目标合成图像之间的误差值是否大于预设的误差阈值。
若大于，则根据所述误差值对所述待训练模型的参数进行调节，并返回执行所述将所述待训练图像输入至所述待训练模型中的待训练编码器中的步骤，直至所述误差值小于预设的误差阈值。
若不大于，则获得所述模板信息对应的网络模型。
在本实施例中，在网络模型的训练过程为有监督的训练过程，具体可以采用前向传播计算和误差反向传播交替迭代进行。具体地，前向传播计算过程具体可以包括将待训练图像输入至待训练模型中的待训练编码器中，获得待训练向量；将待训练向量输入至待训练模型中的待训练解码器中，获得待处理合成图像。
进一步地，误差反向传播的过程具体可以为根据待处理合成图像与目标合成图像之间的误差值对模型的参数进行调整。具体地，在获得待处理合成图像之后，可以确定待处理合成图像与目标合成图像之间的误差值是否大于预设的误差阈值，若大于，则根据误差值对待训练模型的参数进行调节，计算误差损失，网络将总体误差传递给各层的神经元节点，令其更新和调整自身权值，使得总体损失降低。返回执行将待训练图像输入至待训练模型中的待训练编码器中的步骤，直至误差值小于预设的误差阈值。若不大于，则获得模板信息对应的网络模型。
在网络模型的过程中，前向传播计算和误差反向传播交替迭代进行，直直待训练模型收敛，获得模板信息对应的网络模型。从而后续可以根据该网络模型对用户的待处理图像与目标模板进行合成操作。
进一步地，在上述任一实施例的基础上，所述根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练之前，还包括：
获取预设的分类数据集；
通过所述分类数据集对所述模板信息对应的待训练模型进行预训练操作，获得预训练后的待训练模型；
相应地，所述根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练，包括：
根据所述目标待训练数据对所述预训练后的待训练模型进行训练。
在本实施例中，为了获取待训练模型，提高待训练模型的训练效率，需要对待训练模型进行预训练操作。搭建好网络结构后，首先使用imagenet-1K分类数据集对初始的编解码网络模型进行预训练，解码模块预训练模型作为后期所有解码器的微调初始参考。通过在采用目标待训练数据度待训练模型进行训练之前，对待训练模型进行预训练处理，从而能够提高后续模型的训练效率。
本实施例提供的图像处理方法，通过对初始的编解码网络模型进行预训练获得待训练模型，利用目标待训练数据对待训练模型进行训练获得最终的网络模型。由于每个网络模型均采用与该模板对应的合成图像进行训练，因此，得到的合成的图像平滑性较高，能够满足用户的需求，提高用户体验。
图9为本公开实施例五提供的图像处理装置的结构示意图，如图9所示，所述装置包括：图像处理请求获取模块91、目标图像合成模块92、目标图像发送模块93。其中，
图像处理请求获取模块91，用于获取终端设备发送的图像处理请求，所述图像处理请求中包括待处理图像以及目标模板。
目标图像合成模块92，用于根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作，获得合成后的目标图像，其中，所述网络模型中包括编码器以及与所述目标模板对应的解码器。
目标图像发送模块93，用于将所述目标图像发送至所述终端设备。
本实施例提供的图像处理装置，通过将待处理图像和目标模板利用与目标模板对应的网络模型进行编码-解码操作，生成用户需要的合成图像。通过对编码-解码结构的深度神经网络模型进行训练，构建单编码多解码的网络模型，减少了模型的训练数据量并提高了模型的合成精准度。
图10为本公开实施例六提供的图像处理装置的结构示意图，如图10所示，所述目标图像合成模块92，包括：
向量化单元101，用于根据所述图像处理请求，采用所述编码器对所述待处理图像进行向量化处理，获得所述待处理图像对应的目标向量。
合成单元102，用于采用所述与所述目标模板对应的解码器，对所述目标向量与所述目标模板进行合成操作，获得所述合成后的目标图像。
在本实施方式中，在网络模型中的编码器输出固定维度的Embedded向量后，将该固定维度的Embedded向量作为输入解码器。该解码器为与目标模板唯一对应的解码器，解码器经过计算，将压缩的特征向量按照目标模板的特征进行恢复，即可得到该目标模板下的用户所需合成图像，从而实现人脸转换的效果。
本公开实施例七提供的图像处理装置，在上述任一实施例的基础上，所述向量化单元101，用于：根据所述图像处理请求，将所述待处理图像输入至预设的图像检测模型，获得人脸区域对应的目标图像；采用预设的编码器对所述人脸区域对应的目标图像进行向量化处理，获得所述待处理图像对应的目标向量。
本实施例提供的图像处理装置，通过图像检测模型将待处理图像进行局部人脸图像提取，生成目标图像，利用编码器对目标图像进行向量化处理，获取目标向量。通过提取目标图像，对目标图像进行编码操作，提高了编码的效率和准确率，进一步提高了合成图像的精度。
图11为本公开实施例八提供的图像处理装置的结构示意图，如图11所示，在上述任一实施例的基础上，所述图像处理装置，还包括：
待训练数据集获取模块111，用于在所述根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作之前，获取待训练数据集，所述待训练数据集中包括多个待训练数据，每一待训练数据中包括待训练图像、模板信息以及所述待训练图像对应的目标合成图像。
网络模型获取模块112，用于在所述根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作之前，通过所述待训练数据集对预设的各模板信息对应的待训练模型进行训练，获得与各模板信息对应的网络模型。
本实施例提供的图像处理装置，在通过与目标模板对应的网络模型进行图像处理之前，首先需要训练待训练模型，获得该网络模型。利用一些开源的换脸软件，辅助生成所需要的目标合成图像，供待训练模型进行学习。通过训练待训练模型，提高了网络模型的精度，从而提高了目标合成图像的生成效率和准确率。
图12为本公开实施例九提供的图像处理装置的结构示意图，如图12所示，所述网络模型获取模块112，包括：
待训练数据获取单元1121，用于针对每一模板信息，在所述待训练数据集中获取包括所述模板信息的全部目标待训练数据。
网络模型获取单元1122，用于根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练，获得所述模板信息对应的网络模型。
具体地，在上述任一实施例的基础上，所述网络模型获取单元1122，用于：将所述待训练图像输入至所述待训练模型中的待训练编码器中，获得待训练向量；将所述待训练向量输入至所述待训练模型中的待训练解码器中，获得待处理合成图像；确定所述待处理合成图像与所述目标合成图像之间的误差值是否大于预设的误差阈值；若大于，则根据所述误差值对所述待训练模型的参数进行调节，并返回执行所述将所述待训练图像输入至所述待训练模型中的待训练编码器中的步骤，直至所述误差值小于预设的误差阈值；若不大于，则获得所述模板信息对应的网络模型。
具体地，在上述任一实施例的基础上，所述待训练模型为全卷积模型。
本实施例提供的图像处理装置，在通过与目标模板对应的网络模型进行图像处理之前，首先需要训练待训练模型，获得该网络模型。利用一些开源的换脸软件，辅助生成所需要的目标合成图像，供待训练模型进行学习。通过训练待训练模型，提高了网络模型的精度，从而提高了目标合成图像的生成效率和准确率。
图13为本公开实施例十提供的图像处理装置的结构示意图，如图13所示，所述网络模型获取模块112，还包括：
分类数据集获取单元1123，用于在所述根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练之前，获取预设的分类数据集。
待训练模型获取单元1124，用于在所述根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练之前，通过所述分类数据集对所述模板信息对应的待训练模型进行预训练操作，获得预训练后的待训练模型。
相应地，网络模型获取单元1122，用于：
根据所述目标待训练数据对所述预训练后的待训练模型进行训练。
本实施例提供的图像处理装置，通过对初始的编解码网络模型进行预训练获得待训练模型，利用目标待训练数据对待训练模型进行训练获得最终的网络模型。由于每个网络模型均采用与该模板对应的合成图像进行训练，因此，得到的合成的图像平滑性较高，能够满足用户的需求，提高用户体验。
图14为本公开实施例十一提供的图像处理装置的结构示意图，如图14所示，所述图像处理设备，包括：存储器141，处理器142。其中，
存储器141，用于存储所述处理器可执行指令。具体地，可执行指令可以包括程序代码，所述程序代码包括计算机操作指令。存储器141可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
其中，处理器142可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本公开实施例的一个或多个集成电路。
可选的，在具体实现上，如果存储器141和处理器142独立实现，则存储器141和处理器142可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图14中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器141和处理器142集成在一块芯片上实现，则存储器141和处理器142可以通过内部接口完成相同间的通信。
本公开的另一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述任一实施例所述的路侧单元控制方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。
Claims (18)
1.一种图像处理方法，其特征在于，包括：
获取终端设备发送的图像处理请求，所述图像处理请求中包括待处理图像以及目标模板；
根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作，获得合成后的目标图像，其中，所述网络模型中包括编码器以及与所述目标模板对应的解码器；
将所述目标图像发送至所述终端设备。
2.根据权利要求1所述的方法，其特征在于，所述根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作，包括：
根据所述图像处理请求，采用所述编码器对所述待处理图像进行向量化处理，获得所述待处理图像对应的目标向量；
采用所述与所述目标模板对应的解码器，对所述目标向量与所述目标模板进行合成操作，获得所述合成后的目标图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述图像处理请求，采用所述编码器对所述待处理图像进行向量化处理，获得所述待处理图像对应的目标向量，包括：
根据所述图像处理请求，将所述待处理图像输入至预设的图像检测模型，获得人脸区域对应的目标图像；
采用预设的编码器对所述人脸区域对应的目标图像进行向量化处理，获得所述待处理图像对应的目标向量。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作之前，还包括：
获取待训练数据集，所述待训练数据集中包括多个待训练数据，每一待训练数据中包括待训练图像、模板信息以及所述待训练图像对应的目标合成图像；
通过所述待训练数据集对预设的各模板信息对应的待训练模型进行训练，获得与各模板信息对应的网络模型。
5.根据权利要求4所述的方法，其特征在于，所述通过所述待训练数据集对预设的各模板信息对应的待训练模型进行训练，获得与各模板信息对应的网络模型，包括：
针对每一模板信息，在所述待训练数据集中获取包括所述模板信息的全部目标待训练数据；
根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练，获得所述模板信息对应的网络模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练，获得所述模板信息对应的网络模型，包括：
将所述待训练图像输入至所述待训练模型中的待训练编码器中，获得待训练向量；
将所述待训练向量输入至所述待训练模型中的待训练解码器中，获得待处理合成图像；
确定所述待处理合成图像与所述目标合成图像之间的误差值是否大于预设的误差阈值；
若大于，则根据所述误差值对所述待训练模型的参数进行调节，并返回执行所述将所述待训练图像输入至所述待训练模型中的待训练编码器中的步骤，直至所述误差值小于预设的误差阈值；
若不大于，则获得所述模板信息对应的网络模型。
7.根据权利要求4所述的方法，其特征在于，所述待训练模型为全卷积模型。
8.根据权利要求5所述的方法，其特征在于，所述根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练之前，还包括：
获取预设的分类数据集；
通过所述分类数据集对所述模板信息对应的待训练模型进行预训练操作，获得预训练后的待训练模型；
相应地，所述根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练，包括：
根据所述目标待训练数据对所述预训练后的待训练模型进行训练。
9.一种图像处理装置，其特征在于，包括：
图像处理请求获取模块，用于获取终端设备发送的图像处理请求，所述图像处理请求中包括待处理图像以及目标模板；
目标图像合成模块，用于根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作，获得合成后的目标图像，其中，所述网络模型中包括编码器以及与所述目标模板对应的解码器；
目标图像发送模块，用于将所述目标图像发送至所述终端设备。
10.根据权利要求9所述的装置，其特征在于，所述目标图像合成模块，包括：
向量化单元，用于根据所述图像处理请求，采用所述编码器对所述待处理图像进行向量化处理，获得所述待处理图像对应的目标向量；
合成单元，用于采用所述与所述目标模板对应的解码器，对所述目标向量与所述目标模板进行合成操作，获得所述合成后的目标图像。
11.根据权利要求10所述的装置，其特征在于，所述向量化单元，用于：
根据所述图像处理请求，将所述待处理图像输入至预设的图像检测模型，获得人脸区域对应的目标图像；
采用预设的编码器对所述人脸区域对应的目标图像进行向量化处理，获得所述待处理图像对应的目标向量。
12.根据权利要求9-11任一项所述的装置，其特征在于，还包括：
待训练数据集获取模块，用于在所述根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作之前，获取待训练数据集，所述待训练数据集中包括多个待训练数据，每一待训练数据中包括待训练图像、模板信息以及所述待训练图像对应的目标合成图像；
网络模型获取模块，用于在所述根据所述图像处理请求，采用预设的与所述目标模板对应的网络模型对所述待处理图像与所述目标模板进行合成操作之前，通过所述待训练数据集对预设的各模板信息对应的待训练模型进行训练，获得与各模板信息对应的网络模型。
13.根据权利要求12所述的装置，其特征在于，所述网络模型获取模块，包括：
待训练数据获取单元，用于针对每一模板信息，在所述待训练数据集中获取包括所述模板信息的全部目标待训练数据；
网络模型获取单元，用于根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练，获得所述模板信息对应的网络模型。
14.根据权利要求13所述的方法，其特征在于，所述网络模型获取单元，用于：
将所述待训练图像输入至所述待训练模型中的待训练编码器中，获得待训练向量；
将所述待训练向量输入至所述待训练模型中的待训练解码器中，获得待处理合成图像；
确定所述待处理合成图像与所述目标合成图像之间的误差值是否大于预设的误差阈值；
若大于，则根据所述误差值对所述待训练模型的参数进行调节，并返回执行所述将所述待训练图像输入至所述待训练模型中的待训练编码器中的步骤，直至所述误差值小于预设的误差阈值；
若不大于，则获得所述模板信息对应的网络模型。
15.根据权利要求12所述的装置，其特征在于，所述待训练模型为全卷积模型。
16.根据权利要求13所述的装置，其特征在于，所述网络模型获取模块，还包括：
分类数据集获取单元，用于在所述根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练之前，获取预设的分类数据集；
待训练模型获取单元，用于在所述根据所述目标待训练数据对所述模板信息对应的待训练模型进行训练之前，通过所述分类数据集对所述模板信息对应的待训练模型进行预训练操作，获得预训练后的待训练模型；
相应地，网络模型获取单元，用于：
根据所述目标待训练数据对所述预训练后的待训练模型进行训练。
17.一种图像处理设备，其特征在于，包括：存储器，处理器；
所述存储器，用于存储所述处理器可执行指令；
所述处理器配置为经由执行所述可执行指令来执行权利要求1-8任一所述的图像处理方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-8任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010795528.8A CN113763232B (zh) | 2020-08-10 | 2020-08-10 | 图像处理方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010795528.8A CN113763232B (zh) | 2020-08-10 | 2020-08-10 | 图像处理方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113763232A true CN113763232A (zh) | 2021-12-07 |
| CN113763232B CN113763232B (zh) | 2024-06-18 |
Family
ID=78785672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010795528.8A Active CN113763232B (zh) | 2020-08-10 | 2020-08-10 | 图像处理方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763232B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023103897A1 (zh) * | 2021-12-10 | 2023-06-15 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
| WO2023158404A1 (en) * | 2022-02-17 | 2023-08-24 | Uestguel Oezgecan | Synthetic vectoral image generation method |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567716A (zh) * | 2011-12-19 | 2012-07-11 | 中山爱科数字科技股份有限公司 | 一种人脸合成系统及实现方法 |
| CN108665506A (zh) * | 2018-05-10 | 2018-10-16 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机存储介质及服务器 |
| CN109377445A (zh) * | 2018-10-12 | 2019-02-22 | 北京旷视科技有限公司 | 模型训练方法、替换图像背景的方法、装置和电子系统 |
| CN110222722A (zh) * | 2019-05-14 | 2019-09-10 | 华南理工大学 | 交互式图像风格化处理方法、系统、计算设备及存储介质 |
| US20190287301A1 (en) * | 2017-06-27 | 2019-09-19 | Mad Street Den, Inc. | Systems and Methods for Synthesizing Images of Apparel Ensembles on Models |
| CN110415166A (zh) * | 2019-07-29 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 融合图像处理模型的训练方法、图像处理方法、装置及存储介质 |
| CN110472558A (zh) * | 2019-08-13 | 2019-11-19 | 上海掌门科技有限公司 | 图像处理方法和装置 |
| CN110796089A (zh) * | 2019-10-30 | 2020-02-14 | 上海掌门科技有限公司 | 用于训练换脸模型的方法和设备 |
| CN111127378A (zh) * | 2019-12-23 | 2020-05-08 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
-
2020
- 2020-08-10 CN CN202010795528.8A patent/CN113763232B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567716A (zh) * | 2011-12-19 | 2012-07-11 | 中山爱科数字科技股份有限公司 | 一种人脸合成系统及实现方法 |
| US20190287301A1 (en) * | 2017-06-27 | 2019-09-19 | Mad Street Den, Inc. | Systems and Methods for Synthesizing Images of Apparel Ensembles on Models |
| CN108665506A (zh) * | 2018-05-10 | 2018-10-16 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机存储介质及服务器 |
| CN109377445A (zh) * | 2018-10-12 | 2019-02-22 | 北京旷视科技有限公司 | 模型训练方法、替换图像背景的方法、装置和电子系统 |
| CN110222722A (zh) * | 2019-05-14 | 2019-09-10 | 华南理工大学 | 交互式图像风格化处理方法、系统、计算设备及存储介质 |
| CN110415166A (zh) * | 2019-07-29 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 融合图像处理模型的训练方法、图像处理方法、装置及存储介质 |
| CN110472558A (zh) * | 2019-08-13 | 2019-11-19 | 上海掌门科技有限公司 | 图像处理方法和装置 |
| CN110796089A (zh) * | 2019-10-30 | 2020-02-14 | 上海掌门科技有限公司 | 用于训练换脸模型的方法和设备 |
| CN111127378A (zh) * | 2019-12-23 | 2020-05-08 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李娜;王丹;: "基于采样抠图和自适应颜色的图像合成算法", 液晶与显示, no. 02, 15 February 2018 (2018-02-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023103897A1 (zh) * | 2021-12-10 | 2023-06-15 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
| WO2023158404A1 (en) * | 2022-02-17 | 2023-08-24 | Uestguel Oezgecan | Synthetic vectoral image generation method |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113763232B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021103698A1 (zh) | 换脸方法、装置、电子设备及存储介质 | |
| Zhang et al. | Facial: Synthesizing dynamic talking face with implicit attribute learning | |
| TWI753327B (zh) | 圖像處理方法、處理器、電子設備與電腦可讀存儲介質 | |
| Yan et al. | Mt-vae: Learning motion transformations to generate multimodal human dynamics | |
| KR102387570B1 (ko) | 표정 생성 방법, 표정 생성 장치 및 표정 생성을 위한 학습 방법 | |
| EP3912085A1 (en) | Systems and methods for face reenactment | |
| CN110969572B (zh) | 换脸模型训练方法、人脸互换方法、装置及电子设备 | |
| CN111753801A (zh) | 人体姿态跟踪与动画生成方法及装置 | |
| CN113763232B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN116392812A (zh) | 动作生成方法及虚拟人物动画生成方法 | |
| CN113570689B (zh) | 人像卡通化方法、装置、介质和计算设备 | |
| CN113987269A (zh) | 数字人视频生成方法、装置、电子设备和存储介质 | |
| Sun et al. | Masked lip-sync prediction by audio-visual contextual exploitation in transformers | |
| Agarwal et al. | Audio-visual face reenactment | |
| CN114187165A (zh) | 图像处理方法和装置 | |
| Mukhopadhyay et al. | Diff2lip: Audio conditioned diffusion models for lip-synchronization | |
| US20220101122A1 (en) | Energy-based variational autoencoders | |
| CN112634413B (zh) | 生成模型和生成3d动画的方法、装置、设备和存储介质 | |
| Tan et al. | Style2talker: High-resolution talking head generation with emotion style and art style | |
| CN113395569A (zh) | 视频生成方法及装置 | |
| CN116168108A (zh) | 文本生成图像的方法及装置、存储介质及电子设备 | |
| CN116385606A (zh) | 一种语音信号驱动的个性化三维人脸动画生成方法及其应用 | |
| CN115810215A (zh) | 面部图像生成方法、装置、设备及存储介质 | |
| CN113469292A (zh) | 视频合成模型的训练方法、合成方法、装置、介质和设备 | |
| CN113393545A (zh) | 一种图像动漫化处理方法、装置、智能设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |