CN111432267A - 视频调整方法、装置、电子设备及存储介质 - Google Patents

视频调整方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111432267A
CN111432267A CN202010329067.5A CN202010329067A CN111432267A CN 111432267 A CN111432267 A CN 111432267A CN 202010329067 A CN202010329067 A CN 202010329067A CN 111432267 A CN111432267 A CN 111432267A
Authority
CN
China
Prior art keywords
image
parameter
fine
parameters
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010329067.5A
Other languages
English (en)
Other versions
CN111432267B (zh
Inventor
杨国基
刘炫鹏
王鑫宇
陈泷翔
刘致远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuiyi Technology Co Ltd
Original Assignee
Shenzhen Zhuiyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuiyi Technology Co Ltd filed Critical Shenzhen Zhuiyi Technology Co Ltd
Priority to CN202010329067.5A priority Critical patent/CN111432267B/zh
Publication of CN111432267A publication Critical patent/CN111432267A/zh
Priority to PCT/CN2020/116388 priority patent/WO2021212733A1/zh
Application granted granted Critical
Publication of CN111432267B publication Critical patent/CN111432267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Hospice & Palliative Care (AREA)
  • Computer Graphics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种视频调整方法、装置、电子设备及存储介质,涉及人机交互领域,该方法包括:在用户界面上显示原始虚拟图像,所述原始虚拟图像由指定网络模型根据第一图像参数得到;获取用户基于所述用户界面输入的图像微调参数;根据所述图像微调参数对所述第一图像参数进行调整,得到第二图像参数;将所述第二图像参数输入至所述指定网络模型,得到目标虚拟图像;利用所述目标虚拟图像生成目标视频,并将所述目标视频在所述用户界面上显示。本申请可以通过图像微调参数对原始虚拟图像进行修改,使得虚拟图像的生成更加可控。

Description

视频调整方法、装置、电子设备及存储介质
技术领域
本申请涉及人机交互领域,更具体地,涉及一种视频调整方法、装置、电子设备及存储介质。
背景技术
随着科技的迅猛发展,人机交互技术渗透到日常生活中的方方面面,尤其是手机等终端设备的普及率越来越高,智能手机已经成为人们出行的必备随身物品。目前,移动终端上出现了各种各样的应用程序,通过这些应用程序不仅可以为用户提供各种娱乐活动,而且可以生成各种不同的虚拟形象,这些虚拟形象不仅可以与用户沟通为用户提供咨询,而且可以为满足用户的不同娱乐需求。然而,现有的多数虚拟形象生成后无法再进行修改,用户体验较为单一。
发明内容
鉴于上述问题,本申请提出了一种视频调整方法、装置、电子设备及存储介质。
第一方面,本申请实施例提供了一种视频调整方法,该方法包括:在用户界面上显示原始虚拟图像,原始虚拟图像由指定网络模型根据第一图像参数得到;获取用户基于用户界面输入的图像微调参数;根据图像微调参数对第一图像参数进行调整,得到第二图像参数;将第二图像参数输入至指定网络模型,得到目标虚拟图像;利用目标虚拟图像生成目标视频,并将目标视频在用户界面上显示。
进一步地,用户界面包括微调控件,获取用户基于用户界面输入的图像微调参数包括:获取用户基于微调控件输入的微调控制参数,并根据微调控制参数得到图像微调参数。
进一步地,第一图像参数包括虚拟形象参数,虚拟形象参数用于生成原始虚拟图像中的虚拟形象的头部、体型或者服装中的至少一个。
进一步地,虚拟形象参数包括预设偏转方向,预设偏转方向为原始虚拟图中虚拟形象头部的偏转方向,图像微调参数包括虚拟形象的指定偏转方向;根据图像微调参数对第一图像参数进行调整包括:获取虚拟形象的指定偏转方向;当指定偏转方向与预设偏转方向不匹配时,将预设偏转方向替换为指定偏转方向。
进一步地,指定偏转方向包括向左偏转和向右偏转。
进一步地,虚拟形象参数包括预设偏转角度,预设偏转角度为原始虚拟图中虚拟形象头部的偏转角度,图像微调参数包括虚拟形象的指定偏转角度;根据图像微调参数对第一图像参数进行调整,包括:获取虚拟形象的指定偏转角度;当指定偏转角度与预设偏转角度不匹配时,将预设偏转角度替换为指定偏转角度。
进一步地,当指定偏转角度与预设偏转角度不匹配时,将预设偏转方向替换为指定偏转方向,包括:判断指定偏转角度是否小于预设阈值;如果指定偏转角度小于预设阈值,则将预设偏转角度替换为指定偏转角度。
进一步地,如果指定偏转角度大于或者等于预设阈值,则将预设偏转角度替换为默认偏转角度。
进一步地,虚拟形象参数包括虚拟形象的预设面部特征参数,预设面部特征参数包括发际线高度和瞳孔大小中的至少一个,图像微调参数包括虚拟形象的指定面部特征参数;根据图像微调参数对第一图像参数进行调整,包括:获取虚拟形象的指定面部特征参数;当指定面部特征参数与预设面部特征参数不匹配时,将预设面部特征参数替换为指定面部特征参数。
进一步地,第一图像参数包括虚拟背景参数,虚拟背景参数用于生成原始虚拟图像中除虚拟形象以外的其他虚拟环境或者虚拟物体。
进一步地,如果在预设时间段内未获取到图像微调参数;获取用户的情感信息,并根据情感信息获取图像微调参数;利用图像微调参数对第一图像参数进行调整,得到第二图像参数。
进一步地,根据情感信息获取图像微调参数,包括:根据情感信息确定用户的情绪是否为负面情绪;如果用户的情绪为负面情绪,则获取与负面情绪对应的图像微调参数。
第二方面,本申请实施例提供了一种视频调整装置,该装置包括:原始图像显示模块、微调参数获取模块、图像参数获取模块、目标图像获取模块以及目标视频生成模块。其中,原始图像显示模块用于在用户界面上显示原始虚拟图像,原始虚拟图像由指定网络模型根据第一图像参数得到。微调参数获取模块用于获取用户基于用户界面输入的图像微调参数。图像参数获取模块用于根据图像微调参数对第一图像参数进行调整,得到第二图像参数。目标图像获取模块用于将第二图像参数输入至指定网络模型,得到目标虚拟图像。目标视频生成模块用于利用目标虚拟图像生成目标视频,并将目标视频在用户界面上显示。
第三方面,本申请实施例提供了一种电子设备,其包括:存储器、一个或多个处理器以及一个或多个应用程序。其中,一个或多个处理器与存储器耦接。一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于执行如上述第一方面的方法。
第四方面,本申请实施例提供了一种计算机可读取存储介质,该计算机可读取存储介质中存储有程序代码,该程序代码可被处理器调用执行如上述第一方面的方法。
本申请实施例提供的视频调整方法、装置、电子设备及存储介质,在用户界面上显示原始虚拟图像后可以获取用户基于用户界面输入的图像微调参数,其中,原始虚拟图像由指定网络模型根据第一图像参数得到,根据该图像微调参数可以对第一图像参数进行调整,进而得到第二图像参数,然后将获取的第二图像参数输入至指定网络模型,得到目标虚拟图像,最后利用目标虚拟图像生成目标视频,并将目标视频显示于用户界面上。本申请实施例可以通过用户界面输入的图像微调参数对用户界面上最终显示的视频进行快速有效的调整,同时因为图像微调参数是通过用户界面输入的,如此可以使视频调整更加简单且易于实现。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的应用环境示意图;
图2示出了本申请一实施例提供的视频调整方法的流程示意图。
图3示出了本申请实施例提供的用户界面示意图。
图4示出了本申请另一实施例提供的视频调整方法的流程示意图。
图5示出了本申请又一实施例提供的视频调整方法的流程示意图。
图6示出了本申请再一实施例提供的视频调整方法的流程示意图。
图7示出了本申请再另一实施例提供的视频调整方法的流程示意图。
图8示出了本申请实施例提供的对虚拟形象的发际线高度进行调整的示意图。
图9示出了本申请实施例提供的对虚拟形象的瞳孔大小进行调整的示意图。
图10示出了本申请一实施例提供的视频调整方法的流程示意图。
图11示出了本申请另一实施例提供的视频调整方法的流程示意图。
图12示出了本申请又一实施例提供的视频调整方法中步骤S730的流程示意图。
图13示出了本申请再一实施例提供的视频调整装置的模块框图。
图14是本申请实施例的用于执行根据本申请实施例的视频调整方法的电子设备的框图。
图15是本申请实施例的用于保存或者携带实现根据本申请实施例的视频调整方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,图1示出了一种适用于本申请实施例的应用环境示意图。本申请实施例提供的视频调整方法可以应用于如图1所示的多态交互系统100。多态交互系统100包括电子设备101以及服务器102,服务器102与电子设备101通信连接。其中,服务器102可以是传统服务器,也可以是云端服务器,在此不作具体限定。
其中,电子设备101可以是具有显示屏且支持数据输入的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和可穿戴式电子设备等。具体的,数据输入可以是基于电子设备101上具有的语音模块输入语音、字符输入模块输入字符、图像输入模块输入图像等,还可以是基于电子设备101上安装有的手势识别模块,使得用户可以实现手势输入等交互方式。
其中,电子设备101上可以安装有客户端应用程序,用户可以基于客户端应用程序(例如APP、微信小程序等)与服务器102进行通信,具体的,服务器102上安装有对应的服务端应用程序,用户可以基于客户端应用程序在服务器102注册一个用户帐号,并基于该用户帐号与服务器102进行通信,例如用户在客户端应用程序登录用户帐号,并基于该用户帐号通过客户端应用程序进行输入,可以输入文字信息、语音信息或图像信息等,客户端应用程序接收到用户输入的信息后,可以将该信息发送至服务器102,使得服务器102可以接收该信息并进行处理及存储,服务器102还可以接收该信息并根据该信息返回一个对应的输出信息至电子设备101。
上述的应用环境仅为方便理解所作的示例,可以理解的是,本申请实施例不仅局限于上述应用环境。
目前,基于机器学习合成虚拟形象的技术已成熟,即通过虚拟形象的合成技术可以做到以假乱真,然而现有的虚拟形象生成技术,对于相同的输入,通常只能输出相同的结果。例如,对于相同的输入文本,只能输出相同的虚拟形象视频,即现有的虚拟形象生成模型缺乏多样化的输出,且用户对生成的虚拟形象不能进行调整。另外,现有技术中虽然有的虚拟形象生成技术对于同样的输入,基于模型随机参数可以得到不同的输出,但是输出的结果是不可控的,换句话说,现有的虚拟形象调整方式不能由使用者进行控制。
另外,基于GAN网络(Generative Adversarial Networks,生成对抗网络)生成的虚拟人与传统的2D或者3D动画形象不一样,传统的2D或者3D动画形象可以控制动画模型来实现对动画的控制,然而目前没有虚拟形象的快捷控制方法。虽然目前虚拟形象生成技术可以让用户改动外形线生成相应的新图片和新视频,但是这种控制方法需要较高的美术功底,普通大众无法做到简单有效的控制。
为了改善上述问题,发明人提出了本申请实施例中的视频调整方法、装置、电子设备及存储介质。能够提供利用微调控制参数对原始虚拟图像进行有效的调整,且该微调控制参数是用户通过用户界面输入的使得虚拟视频的调整更加简单易操作。
下面将通过具体实施例对本申请实施例提供的视频调整方法、装置、电子设备及存储介质进行详细说明。
第一实施例
请参阅图2,图2示出了本申请实施例提供的视频调整方法的流程示意图,该方法应用于具有显示屏或其他图像输出装置的电子设备,电子设备可以是智能手机、平板电脑、投影仪、穿戴式智能终端等电子设备,其可以包括步骤S110至步骤S150。
步骤S110:在用户界面上显示原始虚拟图像,所述原始虚拟图像由指定网络模型根据第一图像参数得到。
本申请实施例中,原始虚拟图像指的是包括虚拟形象、虚拟物体或者虚拟环境的图像,该原始虚拟图像是根据用户输入的文本、语音或者图像等生成的虚拟图像。在用户界面上显示原始虚拟图像之前可以先获取一个虚拟图像生成信息,该虚拟图像生成信息包括但不限于语音信息、文本信息、图像信息、动作信息等各种类型的信息。其中,语音信息可以包括语言类的音频信息(例如汉语、英语音频等)以及非语言类的音频信息(例如音乐音频等);文本信息可以包括文字类的文本信息(例如中文、英文等)以及非文字类的文本信息(例如特殊符号、字符表情等);图像信息可以包括静态图像信息(例如静态图片、照片等)以及动态图像信息(例如动态图片、视频图像等);动作信息可以包括用户动作信息(例如用户手势、身体动作、表情动作等)以及终端动作信息(例如电子设备的位置、姿态和摇动、旋转等运动状态等)。可以理解的是,对应于不同种类的虚拟图像生成信息,可以通过电子设备上不同类型的信息输入模块进行信息采集。例如,可通过麦克风等音频输入设备采集用户的语音信息,通过触摸屏或物理按键采集用户输入的文本信息,通过摄像头采集图像信息,通过光学传感器、重力传感器等采集动作信息等。
获取到图像生成信息之后,电子设备可以将该图像生成信息输入至第一网络模型,通过第一网络模型可以将图像生成信息转化为第一图像参数,其中,第一图像参数可以包括虚拟信息参数、虚拟背景参数或者虚拟物体对应的参数等。作为一个示例,第一图像参数可以为N维向量,每一帧图片对应一个N维向量,一段M帧的视频,可以通过M个N维向量生成视频。每一帧的向量生成一帧视频图片,即第一图像参数组成部分有人体轮廓关键点、头部朝向向量、区域分块颜色等。
本申请实施例中,第一网络模型可以是基于大量真人图像或者真人视频的训练样本,通过神经网络训练得到的,其可以运行于服务器中,由服务器基于输入的图像生成信息通过第一网络模型将其转换为对应的第一图像参数。作为一种方式,电子设备在获取到图像生成信息后,可以将所述图像生成信息发送至服务器,由服务器对其进行识别生成第一图像参数。通过将第一网络模型部署于服务器中,可以减少对电子设备存储容量及运算资源的占用,并且服务器只需接收少量数据,也大大降低了数据传输的压力,提高了数据传输的效率,如此,不仅使得存储容量以及运算资源相对较少的电子设备可以轻松实现本实施例提供的方法,降低了用户门槛,提升了市场适应性,也同时提高了电子设备的响应速度,提升了用户体验。另外,第一网络模型也可以运行于电子设备本地,使得第一图像参数在离线情况下也可以生成。
作为一种方式,第一网络模型可以采用RNN(Recurrent Neural Network,循环神经网络)模型,其可以利用内部的记忆来处理任意时序的输入序列,这使得其在语音识别处理上相对于其他机器学习模型具有更佳的计算效率和精确度。
在一些实施方式中,通过第一网络模型获取到第一图像参数之后可以将所述第一图像参数输入至指定网络模型,第一图像参数结合该指定网络模型即可获取到原始虚拟图像。换句话说,指定网络模型主要是用于根据第一图像参数构建与第一图像参数对应的虚拟图像的模型。通过将由第一网络模型输出的第一图像参数输入指定网络模型,即可由指定网络模型输出与第一图像参数对应的原始虚拟图像。在一些实施方式中,指定网络模型与第一网络模型类似,可以运行于服务器中,也可以运行于电子设备本地,在不同的应用场景下具有相应的优势,可根据实际需求进行选择。
本实施例中,指定网络模型可以根据输入的第一图像参数,输出与真人图像近似的虚拟图像,例如,在面部轮廓、空间形状、皮肤材质等方面,均可在一定程度的训练后,实现输出与真人在视觉上难以分辨区别的虚拟图像。可以理解的是,基于训练样本数量以及训练时间的累积,指定网络模型基于第一图像参数模拟真人图像的拟真度会逐步提升。
作为一种方式,指定网络模型可以选择GAN模型,GAN模型是近年来复杂分布上无监督学习最具前景的方法之一,其主要通过生成模型(Generator Model)和判别模型(Discriminator Model)的互相博弈学习,能够不断优化自身的输出,在训练样本数量足够大的情况下,可通过GAN模型获得无限趋近真人的虚拟形象图像,实现“以假乱真”的效果。其中,生成模型由深度卷积网络构成,主要功能是完成给定姿态下虚拟信息的自动创建和渲染;判别模型是由6层卷积神经网络构成,目的是为了进行生成模型的对抗性的训练。指定网络模型不仅可以根据第一图像参数输出原始虚拟图像,其还可以利用第一图像参数不断对模型参数进行优化。
在一些示例中,原始虚拟图像可以包括虚拟形象,该虚拟形象可以是真人形象也可以是卡通形象,其可以包括面部特征、体型特征、姿态特征或者是服装特征等。本申请实施例中,利用指定网络模型获取到原始虚拟图像后,可以将该原始虚拟图像显示于用户界面上,即原始虚拟图像可以在用户界面的预设位置上进行显示。另外,用户界面上也可以显示控制原始虚拟图像的控件,通过这些控件用户可以快速有效的对原始虚拟图像进行调整。为了更清楚的理解原始虚拟图像以及虚拟图像在用户界面上的显示情况,本申请实施例给出了如图3所示的界面显示示例图。从图3可以看出原始虚拟图像包括一个虚拟形象,该虚拟形象显示于用户界面的预设位置上,即虚拟形象可以显示于用户界面的上半部分,也可以显示于用户界面的中间,或者显示于用户界面的下部,原始虚拟图像具体显示在用户界面的哪个位置这里不进行明确限制,可以根据实际需求进行设置。
另外,原始虚拟图像也可以以预设尺寸显示于用户界面上,即原始虚拟图像的尺寸可以和用户界面的尺寸大小相同,即整个用户界面上都可以被原始虚拟图像填充。原始虚拟图像的尺寸也可以小于用户界面的尺寸,在该种情况下,用户界面的一部分区域用于显示原始虚拟图像,另一部分区域用于显示对话框、键盘、输入框以及图像控件等。在一些实施方式中,当原始虚拟图像的尺寸大于用户界面的尺寸时,将所述原始虚拟图像的尺寸设置为默认尺寸并显示于用户界面。
步骤S120:获取用户基于所述用户界面输入的图像微调参数。
在一些实施例中,用户界面上显示原始虚拟图像后,电子设备可以检测是否有微调控制参数输入,该微调控制参数是用户基于所述用户界面输入的。用户可以基于用户界面上包括的控件输入图像微调参数,即用户可以通过触摸或者按压的方式输入微调控制参数。另外,用户也可以基于用户界面上显示的原始虚拟图像输入图像微调参数,在该种情况下要求电子设备的显示屏为触摸屏,用户通过滑动、拖拽等操作输入图像微调参数。例如,用户可以通过拖拽的方式放大原始虚拟图像中虚拟形象的眼睛,此时输入的微调控制参数即为虚拟形象眼睛相关的修改参数。又如,用户通过控件对原始虚拟图像中的背景颜色进行切换,此时的图像微调参数则是与虚拟背景相关的修改参数。
步骤S130:根据所述图像微调参数对所述第一图像参数进行调整,得到第二图像参数。
电子设备在获取到用户通过用户界面发送的图像微调参数之后可以根据该图像微调参数对第一图像参数进行调整,输入的图像微调参数不同则对应修改的第一图像参数也不相同。例如,用户输入的图像微调参数针对的是虚拟形象的眼睛,那么本申请调整的就是第一图像参数中虚拟形象眼睛的参数,而如果用户输入的图像微调参数针对的是虚拟背景的颜色,那么本申请调整的就是第一图像参数中虚拟背景的颜色参数。因此,电子设备获取到图像微调参数后,首先需确定其获取的图像微调参数是第一图像参数的哪一部分参数,而后根据图像微调参数对第一图像参数进行调整或者修改,进而得到第二图像参数。
步骤S140:将所述第二图像参数输入至所述指定网络模型,得到目标虚拟图像。
在一些实施方式中,电子设备利用图像微调参数对第图像参数进行修改后可以将修改后的第一图像参数输入至指定网络模型,并利用该指定网络模型生成目标虚拟图像。本申请实施例可以将修改后的第一图像参数作为第二图像参数,将所述第二图像参数输入至指定网络模型后可以生成与原始虚拟图像存在一定差异的目标虚拟图像。目标虚拟图像与原始虚拟图像类似,其也可以包括虚拟形象、虚拟背景或者其他虚拟物体,同时目标虚拟图像与原始虚拟图像包含的虚拟形象、虚拟物体或者虚拟背景基本相似,不同之处在于,二者包含的虚拟形象、虚拟物体或者虚拟背景的形状、颜色、大小或者姿态发生了一定的改变。例如,原始虚拟图像A中包含一个虚拟形象,该虚拟形象的头部是正对前方的,而目标虚拟图像B中同样包含一个虚拟形象,该虚拟形象与原始虚拟图像A包含的虚拟形象的面部特征、姿势特征以及表情特征都相同,不同之处在于目标虚拟图像B中虚拟形象的头部是向右偏转的,而原始虚拟图像中的虚拟形象的头部则是没有发生偏转的。
步骤S150:利用所述目标虚拟图像生成目标视频,并将所述目标视频在所述用户界面上显示。
在一种实施方式中,电子设备获取到目标虚拟图像后可以将预设视频中的预设图像替换为目标虚拟图像,进而得到目标视频。其中,预设视频可以是预先准备的用于针对虚拟图像生成信息对用户进行反馈的视频,而预设图像则可以是预设视频中包含的图像。在获取目标虚拟图中后,即可将预设视频中的预设图像替换为目标虚拟图像,获得替换后的目标视频。例如,虚拟图像是人脸图像,利用指定网络模型获取到目标人脸图像后,可以将预设视频中的预设人脸图像替换为目标人脸图像,其中,预设人脸图像可以是预设视频中包含的人脸图像,在获取到目标人脸图像后,可以将预设视频中的预设人脸图像替换为目标人脸图像,进而获得替换人脸后的目标视频。
本实施例中,目标虚拟图像的替换可以是在服务器中进行的。作为一种方式,服务器可以从接受电子设备发送的图像微调参数开始,依次进行针对图像微调参数生成第二图像参数、基于第二图像参数生成目标虚拟图像、将预设视频中的预设图像替换为目标虚拟图像、输出包含目标虚拟图像的目标视频至电子设备,使得电子设备可以仅进行向服务器发送用户输入的图像微调参数,以及获取服务器反馈的目标视频,大大减小了电子设备本地的运算存储压力,提高了目标视频获取的效率,使得电子设备与用户的交互实现及时的响应。
可以理解的是,本实施例中上述的各个步骤,均可以由电子设备在本地进行,也可以由电子设备与服务器分工进行,根据应用场景的不同,可以按照需求进行任务的分配,以实现最优化的虚拟图像调整方案。
本申请一个实施例提供的视频调整方法,通过获取用户基于用户界面输入的微调控制参数,对用户界面上显示的原始虚拟图像进行修改,即当用户对用户界面上显示的原始虚拟图像不满意时其可以根据自己的意愿通过用户界面输入图像微调参数,电子设备可以根据该图像微调参数对第一图像参数进行调整,得到第二图像参数,而后电子设备可以将第二图像参数输入至指定网络模型,利用指定网络模型得到目标虚拟图像。本申请实施例提出的视频调整方法,用户可以通过用户界面对原始虚拟图像进行调整,调整方式简单且易于实现,并且最终获取的目标视频也更符合用户的实际需求。
第二实施例
请参阅图4,图4示出了本申请实施例提供的视频调整方法的流程示意图,该方法应用于具有显示屏或其他图像输出装置的电子设备,电子设备可以是智能手机、平板电脑、投影仪、穿戴式智能终端等电子设备,其可以包括步骤S210至步骤S250。
步骤S210:在用户界面上显示原始虚拟图像,所述原始虚拟图像由指定网络模型根据第一图像参数得到。
在一些实施方式中,用户界面可以包括至少一个微调控件,不同的微调控件其作用不相同,有些微调控件用于控制原始虚拟图像中虚拟形象的面部特征,有些微调控件用于控制原始虚拟图像中虚拟形象的头部偏转方向,有些微调控件用于控制原始虚拟图像中虚拟形象的体型特征等。虚拟形象的面部特征可以包括虚拟形象的眼睛瞳孔大小、眼睛视线的角度、嘴巴张开的大小以及发际线高度等。虚拟形象的体型特征可以包括虚拟形象的身高、虚拟形象的胖瘦、虚拟形象的性别以及虚拟形象的性别。本申请实施例中,微调控件可以包括滑动条、输入框以及按钮等,微调控件不相同则输入的图像微调参数也不相同。例如,微调控件为滑动条时,主要是对第一图像参数中虚拟形象的头部偏转方向进行修改,又如,微调控件为输入框时其可以对第一图像参数中虚拟形象的瞳孔大小、嘴巴张开的大小以及发际线高度等进行调整。
步骤S220:获取用户基于所述微调控件输入的微调控制参数,并根据所述微调控制参数得到所述图像微调参数。
本申请实施例中,在用户界面上显示原始虚拟图像后,电子设备可以判断在预设时间段内用户是否基于微调控件输入微调控制参数,如果在预设时间段内检测到用户基于用户界面的微调控件输入了微调控制参数,此时电子设备则可以获取该微调控制参数,并根据所述微调控制参数得到图像微调参数。具体的,电子设备可以将微调控件输入的微调控制参数输入至微调网络模型,利用该微调网络模型获取图像微调参数,而后结合该图像微调参数和第一图像微调参数得到第二图像微调参数。本申请实施例中,微调网络模型主要作用是将用户基于用户界面输入的微调控制参数转换为可以形成与第一图像微调参数类似的第二图像微调参数,即微调网络模型的输入为微调控制参数和第一图像参数,输出则是调整后的第一图像参数,将其作为第二图像参数。
通过上述介绍可以知道,原始虚拟图像是第一图像参数经过第一网络模型获取的,即原始虚拟图像主要是经过图像识别技术得到的,其可以包括虚拟人物的诸多属性。例如,眼睛张开的大小、眼镜视角的角度、嘴巴张开的大小以及发际线的高低等,虚拟人物的这些属性用于关联用户界面中的微调控制参数。经过图像识别技术后,每个第一图像参数和每个微调控制参数可以得到关联,通过这些关联数据以及深度学习技术的训练过程即可得到微调网络模型。例如,原始虚拟图像包括微调控制参数1、微调控制参数2、微调控制参数3......微调控制参数N,每个所述微调控制参数对应一个图像微调参数,即图像微调参数可以包括图像微调参数1、图像微调参数2、图像微调参数3......图像微调参数M,微调控制参数和图像微调参数存在一一对应的关系,将微调控制参数和图像微调参数同时输入至微调网络,即可对该网络进行训练学习以及不断优化,最终获取到微调网络模型。因此,将用户通过用户界面输入的微调控制参数输入至微调网络模型即可获取到图像微调参数。
本申请实施例中,微调网络模型可以运行服务器上,由服务器基于输入的微调控制参数通过微调网络模型将其转换为对应的图像微调参数。作为一种方式,电子设备获取到微调控制参数后,可以先将该参数发送至服务器,由服务器上对该参数进行识别,并由服务器获取到图像微调参数。通过将微调网络模型部署于服务器中,可减少对电子设备存储容量及运算资源的占用,并且服务器只需接收少量数据,也大大降低了数据传输的压力,提高了数据传输的效率,如此,不仅使得存储容量以及运算资源相对较少的电子设备可以轻松实现本实施例提供的方法,降低了用户门槛,提升了市场适应性,也同时提高了电子设备的响应速度,提升了用户体验。另外,第一机器学习模型还可以运行于终端设备本地。
步骤S230:根据所述图像微调参数对所述第一图像参数进行调整,得到第二图像参数。
步骤S240:将所述第二图像参数输入至所述指定网络模型,得到目标虚拟图像。
步骤S250:利用所述目标虚拟图像生成目标视频,并将所述目标视频在所述用户界面上显示。
本申请一个实施例提供的视频调整方法中用户通过用户界面中包含的微调控件输入微调控制参数,该微调控制参数的输入方式简单快捷,电子设备获取到该微调控制参数后可以利用微调网络模型获取到图像微调参数,因该微调网络模型是通过大量微调控制参数和图像微调参数训练获取的,如此可以保证微调控制参数获取的准确性,进而在一定程度上可以提高视频调整的准确性。
第三实施例
请参阅图5,图5示出了本申请实施例提供的视频调整方法的流程示意图,该方法应用于具有显示屏或其他图像输出装置的电子设备,电子设备可以是智能手机、平板电脑、投影仪、穿戴式智能终端等电子设备,其方法可以包括步骤S310至步骤S350。
步骤S310:在用户界面上显示原始虚拟图像,所述原始虚拟图像由指定网络模型根据第一图像参数得到。
步骤S320:获取用户基于所述用户界面输入的图像微调参数。
步骤S330:根据所述图像微调参数对所述虚拟形象参数进行调整,得到第二图像参数。
在一种实施方式中,第一图像参数可以包括虚拟形象参数,所述虚拟形象参数用于生成原始虚拟图像中虚拟形象的头部、体型、皮肤或者服装中的至少一个。虚拟形象的头部可以包括虚拟形象的头部朝向、面部特征、头发特征以及头发与面部之间的特征,其中,面部特征主要指的是虚拟形象五官的相关的特征。例如,眼睛的大小、眉毛的形状、嘴巴的大小以及鼻子、耳朵以及面颊在整个头部所占的区域等。虚拟形象的头发特征则可以包括头发的颜色、头发的长短以及头发的发型等,头发与面部之间的特征则可以包括发际线的高度以及额头宽度等。
本申请实施例中,用户基于用户界面输入的图像微调参数不同则对应修改的虚拟形象的参数也不相同。例如,用户想基于用户界面对虚拟形象的头部偏转方向进行修改,则其可以输入头部偏转的方向以及偏转的角度大小,其可以将虚拟形象的头部向左偏转也可以向右偏转。又如,用户觉得虚拟形象的眼睛太小,则其可以通过拖拽的方式放大眼睛,此时虚拟形象的眼睛部分的参数即会发生改变。另外,用户也可以通过用户界面对虚拟形象的身高、年龄或者胖瘦等进行修改与调整,同时也可以根据调整后的体型对虚拟形象的服装进行调整。例如,用户通过用户界面将虚拟形象的体型进行了调整,此时则需要根据调整后的体型参数对虚拟形象的服装尺寸大小进行实时调整。
步骤S340:将所述第二图像参数输入至所述指定网络模型,得到目标虚拟图像。
步骤S350:利用所述目标虚拟图像生成目标视频,并将所述目标视频在所述用户界面上显示。
本申请一个实施例提供的视频调整方法,可通过用户输入的图像微调参数对原始虚拟图像中包含的虚拟形象进行修改,如此可以使用户界面上显示的虚拟形象更符合用户的需求,同时因为图像微调参数是用户基于用户界面输入的,如此可以使用户对虚拟形象的调整更加简单方便。
第四实施例
请参阅图6,图6示出了本申请实施例提供的视频调整方法的流程示意图,该方法应用于具有显示屏或其他图像输出装置的电子设备,电子设备可以是智能手机、平板电脑、投影仪、穿戴式智能终端等电子设备,其可以包括步骤S410至步骤S460。
步骤S410:在用户界面上显示原始虚拟图像,所述原始虚拟图像由指定网络模型根据第一图像参数得到。
步骤S420:获取用户基于用户界面输入的图像微调参数。
步骤S430:获取所述虚拟形象的指定偏转方向。
在一些实施方式中,虚拟形象参数可以包括预设偏转方向,该预设偏转方向为原始虚拟图像中虚拟形象头部的偏转方向,而图像微调参数可以包括虚拟形象的指定偏转方向。具体的,电子设备接收到用户基于用户界面输入图像微调参数后,首先可以根据该图像微调参数获取虚拟形象的指定偏转方向,根据该指定偏转方向可以对虚拟形象的头部偏转方向进行一定的调整。其中,指定偏转方向包括向左偏转和向右偏转,即根据该指定偏转方向可以将虚拟形象的头部向右偏转,也可以将虚拟形象的头部向左偏转,或者是将向左或者向右偏转的虚拟形象的头部调整为正对用户。另外,将虚拟形象的头部向左偏转或者向右偏转也会因为偏转角度的不同存在差异。例如,可以将虚拟形象的头部向左偏转45度,也可以将虚拟形象的头部向左偏转90度。
步骤S440:当所述指定偏转方向与所述预设偏转方向不匹配时,将所述预设偏转方向替换为指定偏转方向,得到第二图像参数。
本申请实施例获取到用户基于用户界面输入的指定偏转方向后,电子设备可以先判断其获取的指定偏转方向与预设偏转方向是否匹配,如果指定偏转方向与预设偏转方向匹配则不需要对虚拟形象的偏转方向进行调整,如果指定偏转方向与预设偏转方向不匹配则需要将虚拟形象的偏转方向进行调整,即将预设偏转方向替换为指定偏转方向。例如,原始虚拟图像中虚拟形象的预设偏转方向是向左,而指定偏转方向是向右,此时就可以将预设偏转方向向左替换为指定偏转方向向右。
在另一些实施方式中,虚拟形象参数可以包括预设偏转角度,该预设偏转角度为原始虚拟图像中虚拟形象头部的偏转角度,而图像微调参数则可以包括虚拟形象的指定偏转角度。根据图像微调参数对第一图像参数进行调整,包括:获取虚拟形象的指定偏转角度,当所述指定偏转角度与预设偏转角度不匹配时,将所述预设偏转角度替换为指定偏转角度。例如,原始虚拟图像中虚拟形象的预设偏转角度是0度,而指定偏转角度则是90,此时就可以将预设偏转角度的0度替换为指定偏转角度的90度。
在另一些实施方式中,本申请实施例也可以结合指定偏转方向和指定偏转角度对虚拟形象的预设偏转方向和预设偏转角度进行调整,即当指定偏转方向和预设偏转方向匹配时,电子设备可以判断指定偏转方向对应的指定偏转角度和预设偏转方向对应的预设偏转角度是否匹配,如果匹配则不对虚拟形象的偏转方向进行调整,如果不匹配,则将预设偏转方向对应的预设偏转角度替换为指定偏转方向对应的指定偏转角度。例如,原始虚拟图像中虚拟形象预设偏转方向为向左,其对应的预设偏转角度是35度,而虚拟形象的指定偏转方向也为向左,但是其指定偏转角度是70度,此时预设偏转方向不发生改变,只需预设偏转角度的35度替换为指定偏转角度的70度。
另外,电子设备获取到指定偏转角度可以先判断该指定偏转角度是否小于预设阈值,如果所述指定偏转角度小于预设阈值,则将所述预设偏转角度替换为指定偏转角度。如果指定偏转角度大于或者等于预设阈值,则将预设偏转角度替换为默认偏转角度。例如,预设偏转角度为0度,指定偏转角度为235度,而预设阈值为180度,此时则可以将预设偏转角度0度替换为默认偏转角度45度。另外,当指定偏转角度大于或者等于预设阈值预设偏转角度也可以不发生改变。
需要说明的是,指定偏转方向和指定偏转角度可以通过用户界面包括的滑动控件输入,滑动控件的距离越大则输入的偏转角度越大,而将滑动控件向左滑动则输入的指定偏转方向是向左。例如,用户将滑动控件向左滑动了1cm,此时的指定偏转方向是向左,而指定滑动角度为10度,滑动距离和滑动角度之间存在一一对应的关系,具体如何设置这二者的关系这里不进行明确限制,可以根据实际需求进行设置。
步骤S450:将所述第二图像参数输入至所述指定网络模型,得到目标虚拟图像。
步骤S460:利用所述目标虚拟图像生成目标视频,并将所述目标视频在所述用户界面上显示。
本申请一个实施例提供的视频调整方法,电子设备可以通过用户界面传输的图像微调参数中包括的指定偏转方向对虚拟形象的偏转方向进行调整,也可以通过指定偏转角度对虚拟形象的偏转角度进行调整,或者可以结合指定偏转方向和指定偏转角度对虚拟形象的预设偏转方向和预设偏转角度进行调整,通过不同的调整策略本申请可以对虚拟形象的头部朝向进行简单有效的调整。
第五实施例
请参阅图7,图7示出了本申请实施例提供的视频调整方法的流程示意图,该方法应用于具有显示屏或其他图像输出装置的电子设备,电子设备可以是智能手机、平板电脑、投影仪、穿戴式智能终端等电子设备,其可以包括步骤S510至步骤S560。
步骤S510:在用户界面上显示原始虚拟图像,所述原始虚拟图像由指定网络模型根据第一图像参数得到。
步骤S520:获取用户基于用户界面输入的图像微调参数。
步骤S530:获取所述虚拟形象的指定面部特征参数。
在一些实施例中,虚拟形象参数可以包括虚拟形象的预设面部特征参数,该预设面部特征参数包括发际线高度和瞳孔大小中的至少一个,而所述图像微调参数包括虚拟形象的指定面部特征参数。具体的,电子设备接收到用户基于用户界面输入图像微调参数后,首先可以根据该图像微调参数获取虚拟形象的指定面部特征参数,根据该指定面部特征参数可以对虚拟形象的面部特征进行一定的调整。其中,指定面部特征可以包括发际线高度和瞳孔大小等,即根据该指定面部特征可以将虚拟形象的发际线向低调整,也可以将虚拟形象的瞳孔调大等。
步骤S540:当所述指定面部特征参数与所述预设面部特征参数不匹配时,将所述预设面部特征参数替换为指定面部特征参数,得到第二图像参数。
本申请实施例获取到用户基于用户界面输入的指定面部特征参数后,电子设备可以先判断其获取的指定面部特征参数与预设面部特征参数是否匹配,如果指定面部特征参数与预设面部特征参数匹配则不需要对虚拟形象的面部特征参数进行调整,如果指定面部特征参数与预设面部特征参数不匹配则需要将虚拟形象的面部特征参数进行调整,即将预设面部特征参数替换为指定面部特征参数。
作为一种示例,本申请实施例可以对虚拟形象的发际线高度进行调整,即当用户输入的指定发际线高度和预设发际线高度相同时,则不需要进行发际线高度的调整,而如果用户输指定发际线高度和预设发际线高度不同时,则可以将预设发际线高度调整为指定发际线高度。如图8所示,因为指定发际线高度和预设发际线高度不相同,因此可以将虚拟形象的预设发际线高度替换为指定发际线高度,从图8明显可以看出调整后虚拟形象的发际线比调整前虚拟形象的发际线低。作为另一种示例,本申请实施例也可以对虚拟形象的眼睛瞳孔大小进行调整,即当用户输入的指定瞳孔大小和预设瞳孔大小相同时,则不需要进行瞳孔大小的调整,而如果用户输指定瞳孔大小和预设瞳孔大小不同时,则可以将预设瞳孔大小调整为指定瞳孔大小。如图9所示,因为指定瞳孔大小和预设瞳孔大小不相同,因此可以将虚拟形象的预设瞳孔大小替换为指定瞳孔大小,从图9明显可以看出调整后虚拟形象的眼睛瞳孔比调整前虚拟形象的眼睛瞳孔大。
本申请实施例中,指定面部特征参数可以通过用户界面包括的输入框控件输入,通过输入框控件用户可以输入其想要调整的面部特征的以及面部特征对应的大小。例如,用户界面上包括输入框控件A,用户可以先输入需要调整的面部特征“瞳孔”,而后再输入瞳孔对应的大小,如此用户通过用户界面的输入框控件A即可输入图像微调参数。
步骤S550:将所述第二图像参数输入至所述指定网络模型,得到目标虚拟图像。
步骤S560:利用所述目标虚拟图像生成目标视频,并将所述目标视频在所述用户界面上显示。
本申请一个实施例提供的视频调整方法,可通过用户界面上设置的不同微调控件对虚拟形象的面部特征进行调整,其不仅可以调整虚拟形象的发际线高度,而且可以对用户的五官,如瞳孔大小、鼻子大小以及耳朵大小等进行调整,如此可以使最终获取的虚拟形象更加符合用户的需求,而且因为面部特征可以根据用户的需求进行设置,如此在一定程度上提高视频调整的趣味性。
第六实施例
请参阅图10,图10示出了本申请实施例提供的视频调整方法的流程示意图,该方法应用于具有显示屏或其他图像输出装置的电子设备,电子设备可以是智能手机、平板电脑、投影仪、穿戴式智能终端等电子设备,其可以包括步骤S610至步骤S650。
步骤S610:在用户界面上显示原始虚拟图像,所述原始虚拟图像由指定网络模型根据第一图像参数得到。
步骤S620:获取用户基于所述微调控件输入的微调控制参数,并根据所述微调控制参数得到所述图像微调参数。
步骤S630:根据所述图像微调参数对所述虚拟背景参数进行调整,得到第二图像参数。
在一种实施方式中,第一图像参数可以包括虚拟背景参数,所述虚拟背景参数用于生成原始虚拟图像中除虚拟形象以外的其他虚拟环境或者虚拟物体。其中,虚拟环境可以包括虚拟形象所处的虚拟背景,即本申请实施例可以对虚拟背景的颜色或者形状等进行调整。例如,预设的虚拟背景颜色为红色,但是用户对该颜色不满意,此时其可以通过用户界面的微调控件输入图像微调参数,通过该图像微调参数电子设备可以将虚拟背景的颜色从红色修改为蓝色。另外,用户可以对虚拟背景的形状进行修改,例如,预设的虚拟背景形状为矩形的,用户通过输入微调控制参数将其修改为椭圆形状。
在另一种实施方式中,第一图像参数中不仅包括虚拟形象,其也可以包括虚拟物体,如虚拟动物、虚拟花草、虚拟家居或者虚拟建筑等,用户通过微调控件可以对这些虚拟物体进行调整,其不仅可以删除一些虚拟物体,也可以相应的增加一些虚拟物体,或者是对虚拟物体的部分特征进行修改。例如,原始虚拟图像中有一只小猫,它的皮毛颜色是黑色的,用户可以通过微调控件输入图像微调参数,电子设备根据该微调参数将小猫的皮毛颜色从黑色调整为白色。
步骤S640:将所述第二图像参数输入至所述指定网络模型,得到目标虚拟图像。
步骤S650:利用所述目标虚拟图像生成目标视频,并将所述目标视频在所述用户界面上显示。
本申请一个实施例提供的视频调整方法,可通过用户输入的图像微调参数对原始虚拟图像中包含的虚拟环境或者虚拟物体进行修改,如此可以使用户界面上显示的虚拟环境或者虚拟物体更符合用户的需求,同时因为图像微调参数是用户基于用户界面输入的,如此可以使用户对虚拟形象的调整更加简单方便。
第七实施例
请参阅图11,图11示出了本申请实施例提供的视频调整方法的流程示意图,该方法应用于具有显示屏或其他图像输出装置的电子设备,电子设备可以是智能手机、平板电脑、投影仪、穿戴式智能终端等电子设备,其可以包括步骤S710至步骤S760。
步骤S710:在用户界面上显示原始虚拟图像,所述原始虚拟图像由指定网络模型根据第一图像参数得到。
步骤S720:如果在预设时间段内未获取到所述图像微调参数。
步骤S730:获取所述用户的情感信息,并根据所述情感信息获取所述图像微调参数。
在一种实施方式中,电子设备可以检测在预设时间段内是否获取到用户界面传输的图像微调参数,如果在预设时间段内未检测到图像微调参数,电子设备可以通过其自带的图像采集模块或者音频采集模块获取用户的人脸图像或者声音,并对其获取的人脸图像或者声音进行识别与分析,确定出用户在查看虚拟形象时其情绪是高兴的还是伤心的。本申请实施例中情绪信息可以包括正面情绪和负面情绪,而正面情绪可以包括高兴、惊喜或者平静等,负面可以包括愤怒、厌恶、恐惧或者伤心等。
如图12可知,步骤S730可以包括步骤S731至步骤S732。
步骤S731:根据所述情感信息确定所述用户的情绪是否为负面情绪。
步骤S732:如果所述用户的情绪为负面情绪,则获取与所述负面情绪对应的图像微调参数。
本申请实施例中,电子设备获取到用户的情绪后,可以先确定用户的情绪是否是负面情绪,如果用户的情绪是负面情绪,表示此时用户的心情不好,或者是用户对用户界面上显示的原始图像中包含的虚拟形象不满意,此时则可以根据所述负面情绪获取对应的图像微调参数。具体的,用户可以获取多个历史图像微调参数,并对所述多个历史图像微调参数进行分析,并将出现频率最多的或者使用时间最长的图像微调参数作为负面情绪对应的图像微调参数。在另一种实施方式中,当用户的情绪为负面情绪时,也可以输入预设图像微调参数,该预设图像微调参数用于将虚拟形象的面部特征搞笑化或者夸大化,如此在一定程度上可以使用户的心情愉悦,预设图像微调参数与负面情绪通过一一对应的关系存储于电子设备或者服务器上。
步骤S740:根据所述图像微调参数对所述第一图像参数进行调整,得到第二图像参数。
步骤S750:将所述第二图像参数输入至所述指定网络模型,得到目标虚拟图像。
步骤S760:利用所述目标虚拟图像生成目标视频,并将所述目标视频在所述用户界面上显示。
本申请一个实施例提供的视频调整方法,可通过对用户进行情绪识别来实现对虚拟形象的调整,尤其是当用户的情绪为负面情绪时,本申请可以通过预设的图像微调参数对原始虚拟图像进行调整,如此不仅对视原始虚拟图像进行调整,而且在一定程度上可以改善用户的情绪,提高用户的使用满意度。
第八实施例
请参阅图13,图13示出了本申请实施例提供的视频调整装置的模块框图。该装置800应用于具有显示屏或其他图像输出装置的电子设备,电子设备可以是智能手机、平板电脑、投影仪、穿戴式智能终端等电子设备。
下面将针对图13所示的模块框图进行阐述,该视频调整装置800包括:原始图像显示模块810、微调参数获取模块820、图像参数获取模块830、目标图像获取模块840以及目标视频生成模块850。
原始图像显示模块810,用于在用户界面上显示原始虚拟图像,所述原始虚拟图像由指定网络模型根据第一图像参数得到。
微调参数获取模块820,用于获取用户基于所述用户界面输入的图像微调参数。
可选地,微调参数获取模块820还用于获取用户基于所述微调控件输入的微调控制参数,并根据所述微调控制参数得到所述图像微调参数。
图像参数获取模块830,用于根据所述图像微调参数对所述第一图像参数进行调整,得到第二图像参数。
可选地,第一图像参数包括虚拟形象参数,所述虚拟形象参数用于生成所述原始虚拟图像中的虚拟形象的头部、体型或者服装中的至少一个。虚拟形象参数包括预设偏转方向,所述预设偏转方向为所述原始虚拟图中虚拟形象头部的偏转方向,所述图像微调参数包括虚拟形象的指定偏转方向。
可选地,图像参数获取模块830还用于获取所述虚拟形象的指定偏转方向,当所述指定偏转方向与所述预设偏转方向不匹配时,将所述预设偏转方向替换为指定偏转方向。其中,指定偏转方向可以包括向左偏转和向右偏转。
可选地,虚拟形象参数包括预设偏转角度,所述预设偏转角度为所述原始虚拟图中虚拟形象头部的偏转角度,所述图像微调参数包括虚拟形象的指定偏转角度。图像参数获取模块830还用于获取所述虚拟形象的指定偏转角度,当所述指定偏转角度与所述预设偏转角度不匹配时,将所述预设偏转角度替换为指定偏转角度。
可选地,图像参数获取模块830还用于判断所述指定偏转角度是否小于预设阈值,如果所述指定偏转角度小于预设阈值,则将所述预设偏转角度替换为指定偏转角度。如果所述指定偏转角度大于或者等于预设阈值,则将所述预设偏转角度替换为默认偏转角度。
可选地,虚拟形象参数包括虚拟形象的预设面部特征参数,所述预设面部特征参数可以包括发际线高度和瞳孔大小中的至少一个,所述图像微调参数包括虚拟形象的指定面部特征参数。图像参数获取模块830还用于获取所述虚拟形象的指定面部特征参数,当所述指定面部特征参数与所述预设面部特征参数不匹配时,将所述预设面部特征参数替换为指定面部特征参数。
可选地,第一图像参数包括虚拟背景参数,所述虚拟背景参数用于生成所述原始虚拟图像中除虚拟形象以外的其他虚拟环境或者虚拟物体。
可选地,图像参数获取模块830还用于如果在预设时间段内未获取到所述图像微调参数,获取所述用户的情感信息,并根据所述情感信息获取所述图像微调参,利用所述图像微调参数对所述第一图像参数进行调整,得到第二图像参数。
可选地,图像参数获取模块830还用于根据所述情感信息确定所述用户的情绪是否为负面情绪,如果所述用户的情绪为负面情绪,则获取与所述负面情绪对应的图像微调参数。
目标图像获取模块840,用于将所述第二图像参数输入至所述指定网络模型,得到目标虚拟图像。
目标视频生成模块850,用于利用所述目标虚拟图像生成目标视频,并将所述目标视频在所述用户界面上显示。
本申请实施例提供的视频调整装置800用于实现前述方法实施例中相应的视频调整方法,并具有相应的方法实施例的有益效果,在此不再赘述。
所属领域的技术人员可以清楚地了解到,本申请实施例提供的视频调整装置800能够实现前述方法实施例中的各个过程,为描述的方便和简洁,上述描述装置800和模块的具体工作过程,可以参阅前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置800或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
第九实施例
请参阅图14,其示出了本申请实施例提供的一种电子设备1000的结构框图。该电子设备1000可以是智能手机、平板电脑等能够运行应用程序的电子设备。本申请中的电子设备1000可以包括一个或多个如下部件:处理器1010、存储器1020以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器1020中并被配置为由一个或多个处理器1010执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器1010可以包括一个或者多个处理核。处理器1010利用各种接口和线路连接整个电子设备1000内的各个部分,通过运行或执行存储在存储器1020内的指令、程序、代码集或指令集,以及调用存储在存储器1020内的数据,执行电子设备1000的各种功能和处理数据。可选地,处理器1010可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1010可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1010中,单独通过一块通信芯片进行实现。
存储器1020可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器1020可用于存储指令、程序、代码、代码集或指令集。存储器1020可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备1000在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
第十实施例
请参阅图15,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质1100中存储有程序代码,程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质1100可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质1100包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1100具有执行上述方法中的任何方法步骤的程序代码1110的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1110可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种视频调整方法,其特征在于,包括:
在用户界面上显示原始虚拟图像,所述原始虚拟图像由指定网络模型根据第一图像参数得到;
获取用户基于所述用户界面输入的图像微调参数;
根据所述图像微调参数对所述第一图像参数进行调整,得到第二图像参数;
将所述第二图像参数输入至所述指定网络模型,得到目标虚拟图像;
利用所述目标虚拟图像生成目标视频,并将所述目标视频在所述用户界面上显示。
2.根据权利要求1所述的方法,其特征在于,所述用户界面包括微调控件;
所述获取用户基于所述用户界面输入的图像微调参数,包括:
获取用户基于所述微调控件输入的微调控制参数,并根据所述微调控制参数得到所述图像微调参数。
3.根据权利要求1或2所述的方法,其特征在于,所述第一图像参数包括虚拟形象参数,所述虚拟形象参数用于生成所述原始虚拟图像中的虚拟形象的头部、体型或者服装中的至少一个。
4.根据权利要求3所述的方法,其特征在于,所述虚拟形象参数包括预设偏转方向,所述预设偏转方向为所述原始虚拟图中虚拟形象头部的偏转方向,所述图像微调参数包括虚拟形象的指定偏转方向;
所述根据所述图像微调参数对所述第一图像参数进行调整,包括:
获取所述虚拟形象的指定偏转方向;
当所述指定偏转方向与所述预设偏转方向不匹配时,将所述预设偏转方向替换为指定偏转方向。
5.根据权利要求4所述的方法,其特征在于,所述指定偏转方向包括向左偏转和向右偏转。
6.根据权利要求3所述的方法,其特征在于,所述虚拟形象参数包括预设偏转角度,所述预设偏转角度为所述原始虚拟图中虚拟形象头部的偏转角度,所述图像微调参数包括虚拟形象的指定偏转角度;
所述根据所述图像微调参数对所述第一图像参数进行调整,包括:
获取所述虚拟形象的指定偏转角度;
当所述指定偏转角度与所述预设偏转角度不匹配时,将所述预设偏转角度替换为指定偏转角度。
7.根据权利要求6所述的方法,其特征在于,所述当所述指定偏转角度与所述预设偏转角度不匹配时,将所述预设偏转方向替换为指定偏转方向,包括:
判断所述指定偏转角度是否小于预设阈值;
如果所述指定偏转角度小于预设阈值,则将所述预设偏转角度替换为指定偏转角度。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
如果所述指定偏转角度大于或者等于预设阈值,则将所述预设偏转角度替换为默认偏转角度。
9.根据权利要求3所述的方法,其特征在于,所述虚拟形象参数包括虚拟形象的预设面部特征参数,所述预设面部特征参数包括发际线高度和瞳孔大小中的至少一个,所述图像微调参数包括虚拟形象的指定面部特征参数;
所述根据所述图像微调参数对所述第一图像参数进行调整,包括:
获取所述虚拟形象的指定面部特征参数;
当所述指定面部特征参数与所述预设面部特征参数不匹配时,将所述预设面部特征参数替换为指定面部特征参数。
10.根据权利要求1或2所述的方法,其特征在于,所述第一图像参数包括虚拟背景参数,所述虚拟背景参数用于生成所述原始虚拟图像中除虚拟形象以外的其他虚拟环境或者虚拟物体。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如果在预设时间段内未获取到所述图像微调参数;
获取所述用户的情感信息,并根据所述情感信息获取所述图像微调参数;
利用所述图像微调参数对所述第一图像参数进行调整,得到第二图像参数。
12.根据权利要求11所述的方法,其特征在于,所述根据所述情感信息获取所述图像微调参数,包括:
根据所述情感信息确定所述用户的情绪是否为负面情绪;
如果所述用户的情绪为负面情绪,则获取与所述负面情绪对应的图像微调参数。
13.一种视频调整装置,其特征在于,所述装置包括:
原始图像显示模块,用于在用户界面上显示原始虚拟图像,所述原始虚拟图像由指定网络模型根据第一图像参数得到;
微调参数获取模块,用于获取用户基于所述用户界面输入的图像微调参数;
图像参数获取模块,用于根据所述图像微调参数对所述第一图像参数进行调整,得到第二图像参数;
目标图像获取模块,用于将所述第二图像参数输入至所述指定网络模型,得到目标虚拟图像;
目标视频生成模块,用于利用所述目标虚拟图像生成目标视频,并将所述目标视频在所述用户界面上显示。
14.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-12中任意一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-12中任意一项所述的方法。
CN202010329067.5A 2020-04-23 2020-04-23 视频调整方法、装置、电子设备及存储介质 Active CN111432267B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010329067.5A CN111432267B (zh) 2020-04-23 2020-04-23 视频调整方法、装置、电子设备及存储介质
PCT/CN2020/116388 WO2021212733A1 (zh) 2020-04-23 2020-09-21 视频调整方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010329067.5A CN111432267B (zh) 2020-04-23 2020-04-23 视频调整方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111432267A true CN111432267A (zh) 2020-07-17
CN111432267B CN111432267B (zh) 2021-05-21

Family

ID=71559150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010329067.5A Active CN111432267B (zh) 2020-04-23 2020-04-23 视频调整方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN111432267B (zh)
WO (1) WO2021212733A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364447A (zh) * 2020-09-30 2021-02-12 深圳市为汉科技有限公司 零件模型的生成方法及相关装置
CN112613495A (zh) * 2021-03-05 2021-04-06 北京世纪好未来教育科技有限公司 真人视频生成方法、装置、可读存储介质及设备
CN112669228A (zh) * 2020-12-22 2021-04-16 厦门美图之家科技有限公司 图像处理方法、系统、移动终端及存储介质
CN112887796A (zh) * 2021-02-10 2021-06-01 北京字跳网络技术有限公司 视频生成方法、装置、设备及介质
CN113099298A (zh) * 2021-04-08 2021-07-09 广州华多网络科技有限公司 虚拟形象的改变方法、装置和终端设备
WO2021212733A1 (zh) * 2020-04-23 2021-10-28 深圳追一科技有限公司 视频调整方法、装置、电子设备及存储介质
WO2023125181A1 (zh) * 2021-12-30 2023-07-06 北京字跳网络技术有限公司 图像处理方法、装置、电子设备和存储介质
WO2023160196A1 (zh) * 2022-02-22 2023-08-31 Oppo广东移动通信有限公司 内容显示方法、装置、电子设备及存储介质
CN112669228B (zh) * 2020-12-22 2024-05-31 厦门美图之家科技有限公司 图像处理方法、系统、移动终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107551549A (zh) * 2017-08-09 2018-01-09 广东欧珀移动通信有限公司 游戏形象调整方法及其装置
CN109271553A (zh) * 2018-08-31 2019-01-25 乐蜜有限公司 一种虚拟形象视频播放方法、装置、电子设备及存储介质
CN110087121A (zh) * 2019-04-30 2019-08-02 广州虎牙信息科技有限公司 虚拟形象显示方法、虚拟形象显示装置和电子设备
CN110263617A (zh) * 2019-04-30 2019-09-20 北京永航科技有限公司 三维人脸模型获取方法及装置
CN110691279A (zh) * 2019-08-13 2020-01-14 北京达佳互联信息技术有限公司 一种虚拟直播的方法、装置、电子设备及存储介质
KR102082670B1 (ko) * 2018-10-12 2020-02-28 주식회사 아프리카티비 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100701010B1 (ko) * 2005-12-09 2007-03-29 한국전자통신연구원 가상 스튜디오를 이용한 인터넷 연동형 데이터 방송 시스템및 그 방법
CN107154069B (zh) * 2017-05-11 2021-02-02 上海微漫网络科技有限公司 一种基于虚拟角色的数据处理方法及系统
CN109120985B (zh) * 2018-10-11 2021-07-23 广州虎牙信息科技有限公司 直播中的形象展示方法、装置和存储介质
CN110033505A (zh) * 2019-04-16 2019-07-19 西安电子科技大学 一种基于深度学习的人体动作捕捉与虚拟动画生成方法
CN110624244B (zh) * 2019-10-24 2023-04-18 网易(杭州)网络有限公司 游戏中脸部模型的编辑方法、装置和终端设备
CN111432267B (zh) * 2020-04-23 2021-05-21 深圳追一科技有限公司 视频调整方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107551549A (zh) * 2017-08-09 2018-01-09 广东欧珀移动通信有限公司 游戏形象调整方法及其装置
CN109271553A (zh) * 2018-08-31 2019-01-25 乐蜜有限公司 一种虚拟形象视频播放方法、装置、电子设备及存储介质
KR102082670B1 (ko) * 2018-10-12 2020-02-28 주식회사 아프리카티비 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법 및 장치
CN110087121A (zh) * 2019-04-30 2019-08-02 广州虎牙信息科技有限公司 虚拟形象显示方法、虚拟形象显示装置和电子设备
CN110263617A (zh) * 2019-04-30 2019-09-20 北京永航科技有限公司 三维人脸模型获取方法及装置
CN110691279A (zh) * 2019-08-13 2020-01-14 北京达佳互联信息技术有限公司 一种虚拟直播的方法、装置、电子设备及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021212733A1 (zh) * 2020-04-23 2021-10-28 深圳追一科技有限公司 视频调整方法、装置、电子设备及存储介质
CN112364447A (zh) * 2020-09-30 2021-02-12 深圳市为汉科技有限公司 零件模型的生成方法及相关装置
CN112364447B (zh) * 2020-09-30 2023-10-27 深圳市为汉科技有限公司 零件模型的生成方法及相关装置
CN112669228A (zh) * 2020-12-22 2021-04-16 厦门美图之家科技有限公司 图像处理方法、系统、移动终端及存储介质
CN112669228B (zh) * 2020-12-22 2024-05-31 厦门美图之家科技有限公司 图像处理方法、系统、移动终端及存储介质
CN112887796A (zh) * 2021-02-10 2021-06-01 北京字跳网络技术有限公司 视频生成方法、装置、设备及介质
CN112613495A (zh) * 2021-03-05 2021-04-06 北京世纪好未来教育科技有限公司 真人视频生成方法、装置、可读存储介质及设备
CN112613495B (zh) * 2021-03-05 2021-06-01 北京世纪好未来教育科技有限公司 真人视频生成方法、装置、可读存储介质及设备
CN113099298A (zh) * 2021-04-08 2021-07-09 广州华多网络科技有限公司 虚拟形象的改变方法、装置和终端设备
WO2023125181A1 (zh) * 2021-12-30 2023-07-06 北京字跳网络技术有限公司 图像处理方法、装置、电子设备和存储介质
WO2023160196A1 (zh) * 2022-02-22 2023-08-31 Oppo广东移动通信有限公司 内容显示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111432267B (zh) 2021-05-21
WO2021212733A1 (zh) 2021-10-28

Similar Documents

Publication Publication Date Title
CN111432267B (zh) 视频调整方法、装置、电子设备及存储介质
CN112379812B (zh) 仿真3d数字人交互方法、装置、电子设备及存储介质
CN110390704B (zh) 图像处理方法、装置、终端设备及存储介质
CN113112580B (zh) 一种虚拟形象的生成方法、装置、设备及介质
US20220150285A1 (en) Communication assistance system, communication assistance method, communication assistance program, and image control program
US20210174072A1 (en) Microexpression-based image recognition method and apparatus, and related device
JP2024028390A (ja) 顔に対応する3次元アバターを用いて顔の動きが反映された3dアバターを含むイメージを生成する電子装置
KR101306221B1 (ko) 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법
CN110555507B (zh) 虚拟机器人的交互方法、装置、电子设备及存储介质
CN110969682B (zh) 虚拟形象切换方法、装置、电子设备及存储介质
CN110942501B (zh) 虚拟形象切换方法、装置、电子设备及存储介质
CN113362263B (zh) 变换虚拟偶像的形象的方法、设备、介质及程序产品
WO2022252866A1 (zh) 一种互动处理方法、装置、终端及介质
CN110555896B (zh) 一种图像生成方法、装置以及存储介质
CN112750186B (zh) 虚拟形象切换方法、装置、电子设备及存储介质
KR20180071833A (ko) 3d 디지털 액터형 컴퓨터 인터페이스 운용시스템
CN111968248A (zh) 基于虚拟形象的智能化妆方法、装置、电子设备及存储介质
CN110794964A (zh) 虚拟机器人的交互方法、装置、电子设备及存储介质
WO2022257766A1 (zh) 图像处理方法、装置、设备及介质
CN114904268A (zh) 一种虚拟形象的调整方法、装置、电子设备及存储介质
CN112149599B (zh) 表情追踪方法、装置、存储介质和电子设备
CN111506184A (zh) 化身呈现方法及电子设备
CN117441192A (zh) 图像生成方法和装置
CN112767520A (zh) 数字人生成方法、装置、电子设备及存储介质
JP7418709B2 (ja) コンピュータプログラム、方法及びサーバ装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant