CN116630487A - 视频图像处理方法、装置、电子设备及存储介质 - Google Patents
视频图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116630487A CN116630487A CN202210126470.7A CN202210126470A CN116630487A CN 116630487 A CN116630487 A CN 116630487A CN 202210126470 A CN202210126470 A CN 202210126470A CN 116630487 A CN116630487 A CN 116630487A
- Authority
- CN
- China
- Prior art keywords
- image
- special effect
- target
- processed
- virtual object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 230000000694 effects Effects 0.000 claims abstract description 283
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000001960 triggered effect Effects 0.000 claims abstract description 35
- 230000001815 facial effect Effects 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 34
- 238000003709 image segmentation Methods 0.000 claims description 17
- 210000004709 eyebrow Anatomy 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 abstract description 5
- 230000008921 facial expression Effects 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 28
- 230000006870 function Effects 0.000 description 17
- 210000001508 eye Anatomy 0.000 description 16
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000000697 sensory organ Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开实施例提供了一种视频图像处理方法、装置、电子设备及存储介质,该方法包括:响应于特效触发操作,显示目标虚拟对象模型,并采集包括目标对象的待处理图像;其中,目标虚拟对象模型按照预先设置的基础动画特效进行播放;根据待处理图像中的面部图像,确定触发的至少一个叠加动画特效;为目标虚拟对象模型叠加至少一个叠加动画特效,得到目标视频帧并显示。本公开实施例的技术方案,实现了通过根据用户的面部表情变化,确定后续叠加动画特效,并且,可以同时播放多种动画特效,不仅丰富了特效显示效果,还增强了与用户之间的互动效果。
Description
技术领域
本公开实施例涉及图像处理技术领域,尤其涉及一种视频图像处理方法、装置、电子设备及存储介质。
背景技术
随着网络技术的发展,越来越多的应用程序进入了用户的生活,尤其是一系列可以拍摄短视频的软件,深受用户的喜爱。
目前,视频拍摄过程中,通过控制虚拟对象进行特效显示变得越来越普遍,然而,现有的特效显示技术,仅能在视频拍摄过程中,显示单一动画特效,从而导致呈现出的特效显示效果存在一定的局限性。
发明内容
本公开提供一种视频图像处理方法、装置、电子设备及存储介质,以实现多种动画特效的叠加播放。
第一方面,本公开实施例提供了一种视频图像处理方法,包括:
响应于特效触发操作,显示目标虚拟对象模型,并采集包括目标对象的待处理图像;其中,目标虚拟对象模型按照预先设置的基础动画特效进行播放;
根据待处理图像中的面部图像,确定触发的至少一个叠加动画特效;
为目标虚拟对象模型叠加至少一个叠加动画特效,得到目标视频帧并显示。
第二方面,本发明实施例还提供了一种视频图像处理装置,该装置包括:
待处理图像采集模块,用于响应于特效触发操作,显示目标虚拟对象模型,并采集包括目标对象的待处理图像;其中,目标虚拟对象模型按照预先设置的基础动画特效进行播放;
叠加动画特效确定模块,用于根据待处理图像中的面部图像,确定触发的至少一个叠加动画特效;
目标视频帧显示模块,用于为目标虚拟对象模型叠加至少一个叠加动画特效,得到目标视频帧并显示。
第三方面,本公开实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本公开实施例任一所述的视频图像处理方法。
第四方面,本公开实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的视频图像处理方法。
本公开实施例的技术方案,通过对特效触发操作进行响应,显示目标虚拟对象模型,并采集包括目标对象的待处理图像,进而确定待处理图像中的面部图像,以便可以根据待处理图像中的面部图像,确定触发的至少一个叠加动画特效,进一步地,将叠加动画特效叠加至目标虚拟对象模型中,最终得到目标视频帧并显示,解决了现有视频图像处理技术中,仅能触发单一动画特效,并且在特效播放过程中,也仅能选择其中的一个来进行播放的问题,实现了多种动画特效可以同时播放,丰富了特效显示效果,并且,通过目标对象的面部图像,确定后续叠加的动画特效,不仅可以提升视频图像的丰富性、趣味性,还增强了与用户之间的互动效果。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为本公开实施例一所提供的一种视频图像处理方法的流程示意图;
图2为本公开实施例二所提供的一种视频图像处理方法的流程示意图;
图3为本公开实施例三所提供的一种视频图像处理方法的流程示意图;
图4为本公开实施例四所提供的一种视频图像处理装置的结构示意图;
图5为本公开实施例五所提供的一种电子设备结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
在介绍本技术方案之前,可以先对应用场景进行示例性说明。可以将本公开技术方案应用在任意需要特效展示或者特效处理的场景中,如应用在视频拍摄过程中,可以对被拍摄对象进行特效处理,得到展示的目标特效图;也可以是应用在静态图像拍摄过程中,例如,通过终端设备自带摄像机拍摄图像后,将拍摄的图像处理成特效图像进行特效展示的情况。在本实施例中,添加的特效可以是上下跳跃、左挥拳、覆盖特效等。在本实施中,目标对象可以是用户,也可以是拍摄到的各种动物等
实施例一
图1为本公开实施例一所提供的一种视频图像处理方法流程示意图,本公开实施例适用于在互联网所支持的任意特效展示或者特效处理的场景中,用于实现多种动画特效同时播放的情况,该方法可以由视频图像处理装置来执行,该装置可以通过软件和/或硬件的形式实现,可选的,通过电子设备来实现,该电子设备可以是移动终端、PC端或服务器等。
如图1所示,所述方法包括:
S110、响应于特效触发操作,显示目标虚拟对象模型,并采集包括目标对象的待处理图像。
需要说明的是,执行本公开实施例提供的视频图像处理方法的装置,可以集成在支持视频图像处理功能的应用软件中,且该软件可以安装至电子设备中,可选的,电子设备可以是移动终端或者PC端等。应用软件可以是对图像/视频处理的一类软件,其具体的应用软件在此不再一一赘述,只要可以实现图像/视频处理即可。还可以是专门研发的应用程序,来实现添加特效并特效展示的软件中,亦或是集成在相应的页面中,用户可以通过PC端中集成的页面来实现特效添加处理。
其中,目标虚拟对象模型可以为显示界面上展示的,等待被控制去执行某种动作的动画模型。可以预先为每个虚拟对象模型设置基础的动画特效,其基础动画特效为预先设置的原始动画特效,例如,原始动画特效可以是跳舞、跑步或者散步中的至少一种。基础动画特效可以根据目标虚拟对象模型所在动画场景的不同而发生变化,相应的,目标虚拟对象模型则会按照预先设置的基础动画特效进行播放。例如,当动画场景为舞台场景时,基础动画特效可以为跳舞,则目标虚拟对象模型可以为正在跳舞的卡通人物模型。
其中,待处理图像可以为需要被处理的图像。该图像可以是基于终端设备采集的图像。终端设备可以指相机、智能手机以及平板电脑等具有图像拍摄功能的电子产品。在实际应用中,终端设备上设置有前置摄像头、后置摄像头或者其他摄像装置,相应的,拍摄方式可以包括自拍以及拍摄,当检测到触发特效操作时,并且根据用户选择的拍摄方式,如自拍方式,则可以检测视野区域内是否出现目标对象。在当检测到目标对象出现在终端设备的视野区域内时,可以对当前终端设备中的视频帧图像进行采集,作为待处理图像;在图像采集过程中,如果检测到当前终端设备采集的视频帧图像中不包括目标对象,则不会对其进行后续处理;或者,如果在待处理图像中的目标对象处于静止状态,则目标虚拟对象模型会一直按照预先设置的基础动画特效进行播放,直至检测到目标对象发生变化。相应的,目标对象可以是入镜画面中姿态或者位置信息可以发生变化的任意对象,例如可以是用户或者宠物等。
需要说明的是,在采集包括目标对象的待处理图像时,可以对拍摄视频对应的视频帧进行处理,如,可以预先设置与拍摄视频对应的目标对象,当检测到视频帧对应的图像中包括目标对象时,则可以将该视频帧对应的图像作为待处理图像,以便后续可以对视频中每个视频帧图像中的目标对象进行追踪,并对其进行特效处理。
还需说明的是,同一拍摄场景中目标对象的数量可以一个或者多个,不论是一个还是多个,都可以采用本公开所提供的技术方案来确定特效展示视频图像。
在实际应用中,通常在触发某些特效触发操作的情况下,才会开始采集包括目标对象的待处理图像,那么,特效触发操作包括如下至少一种:触发目标虚拟对象模型所对应的特效道具;在检测到视野区域中包括面部图像。
其中,可以预先设置用于触发特效道具的控件,当用户触发该控件时,可以在显示界面上弹出特效道具显示页面,该显示页面中可以显示多个特效道具。用户可以触发目标动画对应的特效道具,如果触发到目标虚拟动画模型所对应的特效道具,则可以说明触发了特效触发操作。另一种实现方式可以是,终端设备的拍摄装置会有一定的拍摄视野范围,当检测到视野范围内包括目标对象的面部图像,则可以说明触发了特效触发操作。例如,可以预先将某用户设置为目标对象,当检测到视野区域内包括该用户的面部图像时,则可以确定触发了特效触发操作;或者,可以将目标对象的面部图像预先存储在终端设备中,当检测到视野区域内出现若干个面部图像,若检测到在若干个面部图像中包括预设目标对象的面部图像,则可以确定触发了特效触发操作,以使终端设备可以对目标对象的面部图像进行追踪,并进一步获取包括目标对象的待处理图像。
S120、根据待处理图像中的面部图像,确定触发的至少一个叠加动画特效。
可以理解的是,触发的叠加动画特效,可以基于待处理图像中的面部图像来确定,相应的,当待处理图像中目标对象的面部五官的状态信息发生变化时,可能会触发不同的动画特效。例如,当检测到目标对象的嘴巴处于张开状态时,其触发的叠加动画特效可以是上下跳跃。
目标虚拟对象模型在不同的虚拟场景中会按照预先设置的基础动画特效进行播放,若待处理图像中的面部图像的五官状态信息发生变化时,其目标虚拟对象模型会在原有基础动画特效的基础上添加其他的动画特效,可以将后续添加至目标虚拟对象模型的动画特效作为叠加动画特效。至少一个叠加动画特效可以为多种动画特效同时叠加至目标虚拟对象模型中,例如,上下跳动、右挥拳以及左挥拳等。若面部图像中五官所对应的状态信息未发生变化时,则目标虚拟对象模型会一直按照基础动画特效进行播放,直至在后续采集的待处理图像中检测到面部图像中五官对应的状态信息发生变化,从而可以确定触发的叠加动画特效。
具体地,可以预先设置用于停止拍摄的控件,当检测用户触发特效触发操作时,可以开始对每一幅采集的待处理图像进行处理,并生成视频帧图像,在当检测到触发停止拍摄控件时,可以根据之前生成的所有视频帧图像,生成目标视频。
S130、为目标虚拟对象模型叠加至少一个叠加动画特效,得到目标视频帧并显示。
如前所述,目标虚拟对象模型在不同的虚拟场景中会按照预先设置的基础动画特效进行播放,在根据目标对象的面部图像,确定其对应的至少一个叠加动画特效后,可以将确定的叠加动画特效与目标虚拟对象模型的基础动画特效进行叠加,以使目标虚拟对象模型可以一边执行基础动画特效,一边执行叠加动画特效,并将当前显示的视频帧图像,作为目标视频帧并显示。
本公开实施例的技术方案,通过对特效触发操作进行响应,显示目标虚拟对象模型,并采集包括目标对象的待处理图像,进而确定待处理图像中的面部图像,以便可以根据待处理图像中的面部图像,确定触发的至少一个叠加动画特效,进一步地,将叠加动画特效叠加至目标虚拟对象模型中,最终得到目标视频帧并显示,解决了现有视频图像处理技术中,仅能触发单一动画特效,并且在特效播放过程中,也仅能选择其中的一个来进行播放的问题,实现了多种动画特效可以同时播放,丰富了特效显示效果,并且,通过目标对象的面部图像,确定后续叠加的动画特效,不仅可以提升视频图像的丰富性、趣味性,还增强了与用户之间的互动效果。
实施例二
图2为本公开实施例二所提供的一种视频图像处理方法的流程示意图,在前述实施例的基础上,对S110和S120作进一步的细化,其具体的实施方式可以参见本实施例技术方案。其中,与上述实施例相同或者相应的技术术语在此不再赘述。
如图2所示,该方法具体包括如下步骤:
S210、响应于特效触发操作,调取与特效触发操作相对应的目标虚拟对象模型,并控制目标虚拟对象模型按照基础动画特效进行播放。
在实际应用中,可以预先设置不同的虚拟对象模型,当检测到用户触发特效触发操作时,可以根据用户的基本注册信息,为用户调取相对应的虚拟对象模型,以作为该用户的目标虚拟对象模型,并控制当前调取的目标虚拟对象模型按照预先设置的基础动画特效进行播放;或者,当检测到用户触发特效触发操作时,终端设备的显示界面上会弹出特效道具显示页面,该显示页面上包括若干个虚拟对象模型,以使用户可以根据自己的喜好进行选择,将用户选择的虚拟对象模型作为目标虚拟对象模型,并控制当前选择的目标虚拟对象模型按照其对应的基础动画特效进行播放等。这样设置的好处,在于可以根据用户的喜好进行个性化配置,在一定程度上加强了与用户之间的互动效果。
S220、基于终端设备上部署的摄像装置采集包括目标对象的待处理图像。
可选的,终端设备可以为移动终端,如手机或者平板电脑等,还可以是PC机等固定终端。相应的,终端设备上部署的摄像装置可以安装在终端设备内部的内置摄像头,如前置摄像头或者后置摄像头;或者,也可以为终端设备上的外接摄像头,并且可以实现360°的旋转功能,如旋转摄像头等;或者,还可以为其他用于实现图像采集功能的摄像装置等,本公开实施例对此不作具体限定。
可选的,基于摄像装置采集待处理图像,可以通过终端设备中的诸如触摸屏或物理按键之类的输入设备输入摄像装置启动指令,用于控制终端设备上的摄像装置处于视频图像拍摄模式,并对待处理图像进行采集;或者,也可以在终端设备中预先设置摄像装置启动控件,当检测到用户触发该控件时,可以开启其对应的摄像装置,并对待处理图像进行采集;或者,还可以通过其他方式启动摄像装置的视频图像拍摄模式,以用来实现待处理图像的采集功能等,本公开实施例对此不作具体限定。
具体地,当检测到用户触发特效触发操作时,调取与特效触发操作对应的目标虚拟对象模型,并通过终端设备上的摄像装置对包括目标对象的待处理图像进行采集,以便可以对获取的待处理图像进行后续的各项操作。
S230、将目标虚拟对象模型作为前景图像,将待处理图像作为背景图像。
在实际应用中,在对待处理图像进行处理的过程中,为了让用户可以更明显的捕捉到目标虚拟对象模型所执行的特效动作,可以将目标虚拟对象模型作为前景图像,将待处理图像作为背景图像。这样设置的好处,在于可以让用户清楚了解当待处理图像中面部图像各部位的状态信息发生变化时,其对应触发的叠加动画特效以及目标虚拟对象模型的特效显示情况,还可以让用户在应用该视频图像处理应用软件时,有一种身临其境的感觉,使用户更有参与感。
S240、基于图像分割模型,确定待处理图像中的面部图像。
一般情况下,目标虚拟对象模型需要根据待处理图像中目标对象的表情变化,而执行相对应的特效动作,相应的,目标对象的表情变化需要根据待处理图像中面部图像来确定,基于此,可以基于图像分割模型,确定待处理图像中的面部图像。可选的,面部图像上的部位包括左眼部位、右眼部位、左眉部位、右眉部位、鼻子部位以及嘴部部位中的至少两种。
其中,图像分割模型可以为预先训练完成,用于实现目标图像分割的神经网络模型。可选的,图像分割模型可以是由卷积神经网络、循环神经网络以及深度神经网络中的至少一个网络结构构成,本公开实施例对此不作具体限定。
在本实施例中,图像分割模型可以基于待处理样本图像和面部区域标注图像进行训练,其中,面部区域标注图像可以为表征真值(Ground Truth)图像,可以作为用于评价后续预测结果的依据。图像分割模型的具体训练过程可以是:获取待处理样本图像集,将待处理样本图像集输入至待训练的图像分割模型中,输出初始训练结果,基于初始训练结果与面部区域标注图像确定损失结果,基于损失结果与待训练的图像分割模型所对应的预设损失函数,即可对待训练的图像分割模型中的模型参数进行调整,并得到对应的调整结果。在本实施例中,可以将待训练的图像分割模型对应的预设损失函数收敛作为训练目标,基于此,可以理解的是,当判定预设损失函数未收敛时,表明调整结果不符合模型训练的要求,需要继续输入待处理样本图像集对模型进行训练,当判定预设损失函数收敛时,表明调整结果符合模型训练要求,得到训练完成的图像分割模型。
S250、确定面部图像中至少一个部位的多个待处理关键点,并根据多个待处理关键点,确定面部图像中至少一个部位的触发参数。
其中,至少一个部位可以包括一个或者多个部位。如果要实现更加精准的控制,至少一个部位可以是面部图像中的多个部位。可选的,当确定一个部位的待处理关键点时,可以仅关注某些特定部位的关键点信息,例如,眼睛、眉毛或者嘴巴等;当确定多个部位的待处理关键点时,不同部位对应不同的触发参数,可以分别确定不同部位的待处理关键点信息,并根据待处理关键点信息确定其对应的触发参数。
在一些实施方式中,为了确定待处理图像中目标对象面部图像中各部位的变化信息,则需要确定面部图像中各部位周围的关键点信息,可以将面部图像中各部位周围的关键点作为多个待处理关键点,通过确定多个待处理关键点的坐标信息变化,可以确定面部图像中各部位的变化信息,以便可以根据待处理关键点信息,确定面部图像中各部位的触发参数。其中,触发参数可以为各部位待处理关键点的不同移动情况所对应触发不同动画特效时的参数信息。可选的,触发参数包括与各部位所对应的叠加动画特效参数。
可选的,确定面部图像中至少一个部位的多个待处理关键点,并根据多个待处理关键点,确定面部图像中至少一个部位的触发参数,包括:基于关键点识别算法,确定面部图像中至少一个部位的多个待处理关键点;通过对至少一个部位的待处理关键点进行处理,确定至少一个部位的特征信息;基于各特征信息,确定相应的触发参数。
其中,关键点识别算法可以为预先设置的,用于对面部图像中各部位周围的关键点进行识别的算法。关键点识别算法可以根据面部图像中各部位的位移变化信息,识别该部位周围发生相对变化的关键点,并将其确定为该部位的多个待处理关键点,例如,当目标对象睁眼或者闭眼时,其面部图像中眼睛周围的多个关键点会发生相对位置变化,通过关键点识别算法,可以将眼睛周围的多个关键点确定为待处理关键点,以便后续可以通过对待处理关键点的坐标信息进行计算,确定其对应部位的相对变化情况。
其中,各部位的特征信息可以为用于显示各部位当前状态的信息,例如,对于眼睛来说,其特征信息可以为睁开或者闭着;对于嘴巴来说,其特征信息可以为张开或者闭着,还可以包括张开时的幅度信息等。
在实际应用中,在确定面部图像中至少一个部位的多个待处理关键点后,可以根据待处理关键点的位置信息变化情况,通过计算确定该部位的特征信息变化情况,如,对于眼睛来说,可以检测上下眼皮的位置变化情况,如果靠近,则可以确定当初处于闭眼状态;对于眉毛来说,可以检测眉峰关键点的位置变化,如果出现位置上移,则可以确定当前处于挑眉状态;对于嘴巴来说,可以检测上下嘴唇的位置变化情况,如果出现上下嘴唇的相对距离变大,则可以确定当前处于张嘴状态等,并可以通过各部位的特征信息,确定其触发的特效参数。
在一些实施方式中,通过对各部位的待处理关键点进行处理,确定各部位的特征信息,可以根据相邻两幅待处理图像中各部位关键点的位置变化信息,确定移动信息。例如,可以将眼睛对应的多个待处理关键点中的某点作为参考点,确定该参考点在相邻两幅待处理图像中的位置信息,根据两点间距离公式,确定位置偏移量,并将位置偏移量作为移动信息。若移动信息满足预设条件,可选的,预设条件为移动距离,则可以确定其特征信息,以便可以根据特征信息确定触发的特效参数。
可选的,基于至少一个部位的特征信息,确定相应的触发参数,包括:根据预先建立的参数映射关系表,确定各特征信息所对应的触发参数。
在本实施例中,面部图像中各部位的特征信息,对应的触发参数是不同的,相应的,同一部位的不同特征信息,对应的触发参数也是存在一定的差异的。触发参数可以用于表征面部图像中某一部位的状态变化信息,例如,面部图像中的部位为嘴巴时,其对应的触发参数可以是嘴巴张开的幅度信息;当部位为眉毛时,其对应的触发参数可以是眉毛上挑的高度信息等。
可以预先建立各部位的特征信息与其对应的触发参数之间的对应关系,并根据该对应关系建立相应的参数映射关系表。其中,映射关系表中包括各特征信息对应的触发参数,触发参数与叠加动画特效相对应。相应的,根据各部位的特征信息,确定相应的触发参数,进而可以确定触发参数对应的叠加动画特效。
S260、基于至少一个触发参数,确定至少一个叠加动画特效。
可以理解的是,根据面部图像中各部位关键点的变化情况,确定其对应的各项触发参数,为了使目标虚拟对象模型可以按照目标对象面部图像中各部位的变化,执行相应的动画特效,可以根据各触发参数,确定其对应的至少一个叠加动画特效。需要说明的是,叠加动画特效的数量可以根据待处理图像中目标对象面部图像各部位的变化情况确定,例如,当检测到用户在同一时间一边张开嘴巴,一边左眨眼,其对应的叠加动画特效就可以为两个,分别为切换循环动画和左挥拳。
可选的,基于至少一个触发参数,确定至少一个叠加动画特效,包括:根据至少一个触发参数,确定对应的叠加动画特效,并确定叠加动画特效的幅度信息和持续时长信息,以基于幅度信息和持续时长信息显示相应的叠加动画特效。
其中,叠加动画特效的幅度信息可以为目标虚拟对象模型在执行相应动画特效时的强度信息。叠加动画特效的幅度信息可以与目标对象面部图像中相应部位的变化幅度相对应。当目标对象面部图像中某部位的变化幅度越来越大时,其对应的叠加动画特效的幅度信息可以随之变大,即,目标虚拟对象模型在执行相应动画特效时的强度信息变大。例如,目标对象处于张开嘴巴的状态时,其对应的叠加动画特效为切换循环动画,当目标对象的嘴巴张开幅度越来越大时,切换循环动画的速度可以越来越快等。叠加动画特效的持续时长信息可以为目标虚拟对象模型在执行相应动画特效时的持续时长信息,例如,当叠加动画特效为左挥拳时,其持续时长信息为目标虚拟对象在执行左挥拳动作时的持续时间信息等。
在实际应用中,可以预先建立触发参数与叠加动画特效之间的对应关系,以及与叠加动画特效的幅度信息与持续时长之间的对应关系,并建立相应的映射关系表,以便可以在确定各触发参数后,基于各触发参数,确定对应的叠加动画特效,并确定叠加动画特效在执行时的幅度信息和持续时长信息,以使显示界面上可以基于幅度信息和持续时长信息显示相应的叠加动画特效。
示例性的,当目标对象面部图像中有两个或者两个以上部位发生变化时,其对应的叠加动画特效可以混合叠加至目标虚拟对象模型中,并可以根据不同部位的变化幅度对应不同的混合比例,以使目标虚拟对象模型可以根据混合比例对应播放。例如,当检测到用户在同一时间一边张开嘴巴,一边眨左眼时,其对应的叠加动画特效分别为切换循环动画和左挥拳,目标虚拟对象模型可以同时执行以上两种叠加动画特效,并且,当检测到用户的嘴巴张开幅度变大时,其对应的叠加动画特效幅度也会相应变大,即,切换循环动画的速度变得越来越快,或者,当检测到用户眨左眼的时间变长时,其对应的叠加动画特效的持续时间也会相应变长,即,目标虚拟对象模型一直处于左挥拳的状态,相应的,叠加动画特效的混合比例可以根据目标对象面部图像中不同部位的变化情况进行确定,从而可以使目标虚拟对象模型可以按照不同的混合比例对应播放不同的混合动画特效。这样设置的好处在于:可以通过目标对象面部表情变化自由混合出一套独一无二的动画特效,并控制目标虚拟对象模型可以根据混合后的动画特效进行播放。
需要说明的是,对于目标对象面部图像中两个以上部位的关键点信息发生变化时,可以在两种部位的基础上进行叠加,即,目标虚拟对象模型可以同时执行两个以上的叠加动画特效。
S270、为目标虚拟对象模型叠加至少一个叠加动画特效,得到目标视频帧并显示。
本公开实施例的技术方案,通过对特效触发操作进行响应,调取与特效触发操作相对应的目标虚拟对象模型,并控制目标虚拟对象模型按照基础动画特效进行播放,同时基于终端设备上的摄像装置采集包括目标对象的待处理图像,进而基于图像分割模型,确定待处理图像中的面部图像,并确定面部图像中至少一个部位的多个待处理关键点,根据待处理关键点,确定面部图像中至少一个部位的触发参数,以便可以根据各触发参数,确定至少一个叠加动画特效,进一步地,将叠加动画特效叠加至目标虚拟对象模型中,最终得到目标视频帧并显示,实现了根据待处理图像中目标对象的面部图像的表情变化,控制其对应的虚拟对象模型可以同时执行多个特效动作并显示,丰富了特效显示效果,并且,基于图像分割模型对待处理图像中的面部图像进行分割,可以更加准确地捕捉面部图像中各部位的变化,从而达到准确触发相应动画特效的效果。
实施例三
图3为本公开实施例三所提供的一种视频图像处理方法的流程示意图,在前述实施例的基础上,对S130作进一步的细化,其具体的实施方式可以参见本实施例技术方案。其中,与上述实施例相同或者相应的技术术语在此不再赘述。
如图3所示,该方法具体包括如下步骤:
S310、响应于特效触发操作,显示目标虚拟对象模型,并采集包括目标对象的待处理图像。
S320、根据待处理图像中的面部图像,确定触发的至少一个叠加动画特效。
S330、将至少一个叠加动画特效与目标虚拟对象模型的基础动画特效进行叠加,得到执行目标特效的目标虚拟对象模型,并显示。
在本实施例中,目标虚拟对象模型根据其所在虚拟场景的不同会有其对应的基础动画特效,因此,目标特效中可以包括目标虚拟对象模型的基础动画特效和至少一个叠加动画特效。
具体地,在根据待处理图像中面部图像的各部位关键点的变化,可以确定其触发的至少一个叠加动画特效,并将确定的叠加动画特效与目标虚拟对象模型当前的基础动画特效进行叠加,可以得到既执行基础动画特效,又执行叠加动画特效的目标虚拟对象模型,并可以将基于当前目标特效显示参数确定的目标视频帧,并显示播放。
示例性的,目标视频帧中可以包括执行目标特效的目标虚拟对象模型以及目标对象,目标对象为背景图像,目标虚拟对象模型为前景图像。
在上述技术方案的基础上,在采集包括目标对象的待处理图像时,还包括:确定目标对象与摄像装置之间的相对位置信息,以基于相对位置调整目标虚拟对象模型在目标视频帧中的显示位置信息。
一般情况下,基于终端设备上的摄像装置采集包括目标对象的待处理图像时,目标对象与摄像装置之间会存在一定的距离,可以将目标对象与摄像装置之间的距离信息,作为相对位置信息。当目标虚拟对象模型在终端设备上的显示界面上进行展示时,目标虚拟对象模型发生位置变化,是根据目标对象的移动情况确定的,相应的,在采集待处理图像时,同时确定目标对象与摄像装置之间的相对位置信息,以根据相对位置信息,调整目标虚拟对象模型在目标视频帧图像中的显示位置,以使目标视频帧中的图像是以目标对象为背景图像,来控制处于前景图像中的目标虚拟对象模型执行相应的动画特效的特效显示视频图像。
本公开实施例的技术方案,通过对特效触发操作进行响应,显示目标虚拟对象模型,并采集包括目标对象的待处理图像,进而根据待处理图像中的面部图像,确定触发的至少一个叠加动画特效,进一步地,将叠加动画特效与目标虚拟对象的基础动画特效进行叠加,得到执行目标特效的目标虚拟对象模型并显示,实现了在同一视频帧图像中可以同时播放多种动画特效,丰富了特效显示效果。
实施例四
图4为本公开实施例四所提供的一种视频图像处理装置的结构示意图,如图4所示,所述装置包括:待处理图像采集模块410、叠加动画特效确定模块420和目标视频帧显示模块430。
其中,待处理图像采集模块410,用于响应于特效触发操作,显示目标虚拟对象模型,并采集包括目标对象的待处理图像;其中,目标虚拟对象模型按照预先设置的基础动画特效进行播放;叠加动画特效确定模块420,用于根据待处理图像中的面部图像,确定触发的至少一个叠加动画特效;目标视频帧显示模块430,用于为目标虚拟对象模型叠加至少一个叠加动画特效,得到目标视频帧并显示。
在上述各技术方案的基础上,所述待处理图像采集模块410,包括特效触发操作设置单元。
特效触发操作设置单元,用于触发目标虚拟对象模型所对应的特效道具;在检测到视野区域中包括面部图像。
在上述各技术方案的基础上,所述待处理图像采集模块410,包括虚幻对象模型调取单元和待处理图像采集单元。
虚幻对象模型调取单元,用于调取与特效触发操作相对应的目标虚拟对象模型,并控制目标虚拟对象模型按照基础动画特效进行播放;
待处理图像采集单元,用于基于终端设备上部署的摄像装置采集包括目标对象的待处理图像。
在上述各技术方案的基础上,在采集包括目标对象的待处理图像之后,所述装置还包括:前景图像和背景图像确定模块。
前景图像和背景图像确定模块,用于将所述目标虚拟对象模型作为前景图像,将所述待处理图像作为背景图像。
在上述各技术方案的基础上,所述叠加动画特效确定模块420,包括面部图像确定单元、触发参数确定单元和叠加动画特效确定单元。
面部图像确定单元,用于基于图像分割模型,确定待处理图像中的面部图像;
触发参数确定单元,用于确定面部图像中至少一个部位的多个待处理关键点,并根据多个待处理关键点,确定面部图像中至少一个部位的触发参数;
叠加动画特效确定单元,用于基于至少一个触发参数,确定至少一个叠加动画特效。
在上述各技术方案的基础上,所述触发参数确定单元,包括待处理关键点确定子单元、特征信息确定子单元和触发参数确定子单元。
待处理关键点确定子单元,用于基于关键点识别算法,确定面部图像中至少一个部位的多个待处理关键点;
特征信息确定子单元,用于通过对至少一个部位的待处理关键点进行处理,确定至少一个部位的特征信息;
触发参数确定子单元,用于基于至少一个部位的特征信息,确定相应的触发参数。
在上述各技术方案的基础上,触发参数确定子单元,还用于根据预先建立的参数映射关系表,确定至少一个部位的特征信息所对应的触发参数;其中,所述映射关系表中包括各特征信息对应的触发参数,所述触发参数与叠加动画特效相对应。
在上述各技术方案的基础上,叠加动画特效确定单元,还用于根据至少一个触发参数,确定对应的叠加动画特效,并确定叠加动画特效的幅度信息和持续时长信息,以基于幅度信息和持续时长信息显示相应的叠加动画特效。
在上述各技术方案的基础上,所述面部图像上的部位包括左眼部位、右眼部位、左眉部位、右眉部位、鼻子部位以及嘴部部位中的至少两种;
相应的,触发参数包括与各部位所对应的叠加动画特效参数。
在上述各技术方案的基础上,所述目标视频帧显示模块430,还用于将至少一个叠加动画特效与目标虚拟对象模型的基础动画特效进行叠加,得到执行目标特效的目标虚拟对象模型,并显示;
其中,所述目标视频帧中包括执行目标特效的目标虚拟对象模型以及目标对象;所述目标对象为背景图像,所述目标虚拟对象模型为前景图像。
在上述各技术方案的基础上,所述装置还包括:相对位置信息确定模块。
相对位置信息确定模块,用于确定目标对象与摄像装置之间的相对位置信息,以基于相对位置调整目标虚拟对象模型在目标视频帧中的显示位置信息。
本公开实施例的技术方案,通过对特效触发操作进行响应,显示目标虚拟对象模型,并采集包括目标对象的待处理图像,进而确定待处理图像中的面部图像,以便可以根据待处理图像中的面部图像,确定触发的至少一个叠加动画特效,进一步地,将叠加动画特效叠加至目标虚拟对象模型中,最终得到目标视频帧并显示,解决了现有视频图像处理技术中,仅能触发单一动画特效,并且在特效播放过程中,也仅能选择其中的一个来进行播放的问题,实现了多种动画特效可以同时播放,丰富了特效显示效果,并且,通过目标对象的面部图像,确定后续叠加的动画特效,不仅可以提升视频图像的丰富性、趣味性,还增强了与用户之间的互动效果。
本公开实施例所提供的视频图像处理装置可执行本公开任意实施例所提供的视频图像处理方法,具备执行方法相应的功能模块和有益效果。
值得注意的是,上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本公开实施例的保护范围。
实施例五
图5为本公开实施例五所提供的一种电子设备的结构示意图。下面参考图5,其示出了适于用来实现本公开实施例的电子设备(例如图5中的终端设备或服务器)500的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置506加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。编辑/输出(I/O)接口505也连接至总线504。
通常,以下装置可以连接至I/O接口505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从ROM 502被安装。在该计算机程序被处理装置501执行时,执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的视频图像处理方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。
实施例六
本公开实施例提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例所提供的视频图像处理方法。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:
响应于特效触发操作,显示目标虚拟对象模型,并采集包括目标对象的待处理图像;其中,所述目标虚拟对象模型按照预先设置的基础动画特效进行播放;
根据所述待处理图像中的面部图像,确定触发的至少一个叠加动画特效;
为所述目标虚拟对象模型叠加所述至少一个叠加动画特效,得到目标视频帧并显示。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,【示例一】提供了一种视频图像处理方法,该方法包括:
响应于特效触发操作,显示目标虚拟对象模型,并采集包括目标对象的待处理图像;其中,目标虚拟对象模型按照预先设置的基础动画特效进行播放;
根据待处理图像中的面部图像,确定触发的至少一个叠加动画特效;
为目标虚拟对象模型叠加至少一个叠加动画特效,得到目标视频帧并显示。
根据本公开的一个或多个实施例,【示例二】提供了一种视频图像处理方法,该方法,还包括:
可选的,所述特效触发操作包括下述至少一种:
触发目标虚拟对象模型所对应的特效道具;
在检测到视野区域中包括面部图像。
根据本公开的一个或多个实施例,【示例三】提供了一种视频图像处理方法,该方法,还包括:
可选的,所述显示目标虚拟对象模型,并采集包括目标对象的待处理图像,包括:
调取与特效触发操作相对应的目标虚拟对象模型,并控制所述目标虚拟对象模型按照所述基础动画特效进行播放;
基于终端设备上部署的摄像装置采集包括目标对象的待处理图像。
根据本公开的一个或多个实施例,【示例四】提供了一种视频图像处理方法,该方法,在所述采集包括目标对象的待处理图像之后,还包括:
可选的,将所述目标虚拟对象模型作为前景图像,将所述待处理图像作为背景图像。
根据本公开的一个或多个实施例,【示例五】提供了一种视频图像处理方法,该方法,还包括:
可选的,所述根据所述待处理图像中的面部图像,确定触发的至少一个叠加动画特效,包括:
基于图像分割模型,确定所述待处理图像中的面部图像;
确定所述面部图像中至少一个部位的多个待处理关键点,并根据所述多个待处理关键点,确定面部图像中至少一个部位的触发参数;
基于至少一个触发参数,确定至少一个叠加动画特效。
根据本公开的一个或多个实施例,【示例六】提供了一种视频图像处理方法,该方法,还包括:
可选的,所述确定所述面部图像中至少一个部位的多个待处理关键点,并根据所述多个待处理关键点,确定面部图像中至少一个部位的触发参数,包括:
基于关键点识别算法,确定所述面部图像中至少一个部位的多个待处理关键点;
通过对至少一个部位的待处理关键点进行处理,确定至少一个部位的特征信息;
基于至少一个部位的特征信息,确定相应的触发参数。
根据本公开的一个或多个实施例,【示例七】提供了一种视频图像处理方法,该方法,还包括:
可选的,所述基于至少一个部位的特征信息,确定相应的触发参数,包括:
根据预先建立的参数映射关系表,确定至少一个部位的特征信息所对应的触发参数;
其中,所述映射关系表中包括各特征信息对应的触发参数,所述触发参数与叠加动画特效相对应。
根据本公开的一个或多个实施例,【示例八】提供了一种视频图像处理方法,该方法,还包括:
可选的,所述基于至少一个触发参数,确定至少一个叠加动画特效,包括:
根据至少一个触发参数,确定对应的叠加动画特效,并确定所述叠加动画特效的幅度信息和持续时长信息,以基于所述幅度信息和持续时长信息显示相应的叠加动画特效。
根据本公开的一个或多个实施例,【示例九】提供了一种视频图像处理方法,该方法,还包括:
可选的,所述面部图像上的部位包括左眼部位、右眼部位、左眉部位、右眉部位、鼻子部位以及嘴部部位中的至少两种;
相应的,触发参数包括与各部位所对应的叠加动画特效参数。
根据本公开的一个或多个实施例,【示例十】提供了一种视频图像处理方法,该方法,还包括:
所述为所述目标虚拟对象模型叠加所述至少一个叠加动画特效,得到目标视频帧并显示,包括:
可选的,将所述至少一个叠加动画特效与所述目标虚拟对象模型的基础动画特效进行叠加,得到执行目标特效的目标虚拟对象模型,并显示;
其中,所述目标视频帧中包括执行目标特效的目标虚拟对象模型以及目标对象;所述目标对象为背景图像,所述目标虚拟对象模型为前景图像。
根据本公开的一个或多个实施例,【示例十一】提供了一种视频图像处理方法,该方法,还包括:
可选的,在采集包括目标对象的待处理图像时,还包括:
确定所述目标对象与摄像装置之间的相对位置信息,以基于所述相对位置调整所述目标虚拟对象模型在所述目标视频帧中的显示位置信息。
根据本公开的一个或多个实施例,【示例十二】提供了一种视频图像处理装置,该装置包括:
待处理图像采集模块,用于响应于特效触发操作,显示目标虚拟对象模型,并采集包括目标对象的待处理图像;其中,所述目标虚拟对象模型按照预先设置的基础动画特效进行播放;
叠加动画特效确定模块,用于根据所述待处理图像中的面部图像,确定触发的至少一个叠加动画特效;
目标视频帧显示模块,用于为所述目标虚拟对象模型叠加所述至少一个叠加动画特效,得到目标视频帧并显示。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (14)
1.一种视频图像处理方法,其特征在于,包括:
响应于特效触发操作,显示目标虚拟对象模型,并采集包括目标对象的待处理图像;其中,所述目标虚拟对象模型按照预先设置的基础动画特效进行播放;
根据所述待处理图像中的面部图像,确定触发的至少一个叠加动画特效;
为所述目标虚拟对象模型叠加所述至少一个叠加动画特效,得到目标视频帧并显示。
2.根据权利要求1所述的方法,其特征在于,所述特效触发操作包括下述至少一种:
触发目标虚拟对象模型所对应的特效道具;
在检测到视野区域中包括面部图像。
3.根据权利要求1所述的方法,其特征在于,所述显示目标虚拟对象模型,并采集包括目标对象的待处理图像,包括:
调取与特效触发操作相对应的目标虚拟对象模型,并控制所述目标虚拟对象模型按照所述基础动画特效进行播放;
基于终端设备上部署的摄像装置采集包括目标对象的待处理图像。
4.根据权利要求1所述的方法,其特征在于,在所述采集包括目标对象的待处理图像之后,还包括:
将所述目标虚拟对象模型作为前景图像,将所述待处理图像作为背景图像。
5.根据权利要求1所述的方法,其特征在于,所述根据所述待处理图像中的面部图像,确定触发的至少一个叠加动画特效,包括:
基于图像分割模型,确定所述待处理图像中的面部图像;
确定所述面部图像中至少一个部位的多个待处理关键点,并根据所述多个待处理关键点,确定面部图像中至少一个部位的触发参数;
基于至少一个触发参数,确定至少一个叠加动画特效。
6.根据权利要求5所述的方法,其特征在于,所述确定所述面部图像中至少一个部位的多个待处理关键点,并根据所述多个待处理关键点,确定面部图像中至少一个部位的触发参数,包括:
基于关键点识别算法,确定所述面部图像中至少一个部位的多个待处理关键点;
通过对至少一个部位的待处理关键点进行处理,确定至少一个部位的特征信息;
基于至少一个部位的特征信息,确定相应的触发参数。
7.根据权利要求6所述的方法,其特征在于,所述基于至少一个部位的特征信息,确定相应的触发参数,包括:
根据预先建立的参数映射关系表,确定至少一个部位的特征信息所对应的触发参数;
其中,所述映射关系表中包括各特征信息对应的触发参数,所述触发参数与叠加动画特效相对应。
8.根据权利要求6所述的方法,其特征在于,所述基于至少一个触发参数,确定至少一个叠加动画特效,包括:
根据至少一个触发参数,确定对应的叠加动画特效,并确定所述叠加动画特效的幅度信息和持续时长信息,以基于所述幅度信息和持续时长信息显示相应的叠加动画特效。
9.根据权利要求6所述的方法,其特征在于,所述面部图像上的部位包括左眼部位、右眼部位、左眉部位、右眉部位、鼻子部位以及嘴部部位中的至少两种;
相应的,触发参数包括与各部位所对应的叠加动画特效参数。
10.根据权利要求1所述的方法,其特征在于,所述为所述目标虚拟对象模型叠加所述至少一个叠加动画特效,得到目标视频帧并显示,包括:
将所述至少一个叠加动画特效与所述目标虚拟对象模型的基础动画特效进行叠加,得到执行目标特效的目标虚拟对象模型,并显示;
其中,所述目标视频帧中包括执行目标特效的目标虚拟对象模型以及目标对象;所述目标对象为背景图像,所述目标虚拟对象模型为前景图像。
11.根据权利要求1所述的方法,其特征在于,在采集包括目标对象的待处理图像时,还包括:
确定所述目标对象与摄像装置之间的相对位置信息,以基于所述相对位置调整所述目标虚拟对象模型在所述目标视频帧中的显示位置信息。
12.一种视频图像处理装置,其特征在于,包括:
待处理图像采集模块,用于响应于特效触发操作,显示目标虚拟对象模型,并采集包括目标对象的待处理图像;其中,所述目标虚拟对象模型按照预先设置的基础动画特效进行播放;
叠加动画特效确定模块,用于根据所述待处理图像中的面部图像,确定触发的至少一个叠加动画特效;
目标视频帧显示模块,用于为所述目标虚拟对象模型叠加所述至少一个叠加动画特效,得到目标视频帧并显示。
13.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-11中任一所述的视频图像处理方法。
14.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-11中任一所述的视频图像处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210126470.7A CN116630487A (zh) | 2022-02-10 | 2022-02-10 | 视频图像处理方法、装置、电子设备及存储介质 |
PCT/CN2023/074765 WO2023151554A1 (zh) | 2022-02-10 | 2023-02-07 | 视频图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210126470.7A CN116630487A (zh) | 2022-02-10 | 2022-02-10 | 视频图像处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116630487A true CN116630487A (zh) | 2023-08-22 |
Family
ID=87563625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210126470.7A Pending CN116630487A (zh) | 2022-02-10 | 2022-02-10 | 视频图像处理方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116630487A (zh) |
WO (1) | WO2023151554A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018195485A1 (en) * | 2017-04-21 | 2018-10-25 | Mug Life, LLC | Systems and methods for automatically creating and animating a photorealistic three-dimensional character from a two-dimensional image |
CN108648284A (zh) * | 2018-04-10 | 2018-10-12 | 光锐恒宇(北京)科技有限公司 | 一种视频处理的方法和装置 |
CN109922354B9 (zh) * | 2019-03-29 | 2020-08-21 | 广州虎牙信息科技有限公司 | 直播互动方法、装置、直播系统及电子设备 |
CN113163135B (zh) * | 2021-04-25 | 2022-12-16 | 北京字跳网络技术有限公司 | 视频的动画添加方法、装置、设备及介质 |
CN113422977B (zh) * | 2021-07-07 | 2023-03-14 | 上海商汤智能科技有限公司 | 直播方法、装置、计算机设备以及存储介质 |
-
2022
- 2022-02-10 CN CN202210126470.7A patent/CN116630487A/zh active Pending
-
2023
- 2023-02-07 WO PCT/CN2023/074765 patent/WO2023151554A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023151554A1 (zh) | 2023-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110827378B (zh) | 虚拟形象的生成方法、装置、终端及存储介质 | |
CN110348524B (zh) | 一种人体关键点检测方法及装置、电子设备和存储介质 | |
CN112911182B (zh) | 游戏互动方法、装置、终端及存储介质 | |
CN112199016B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN111726536A (zh) | 视频生成方法、装置、存储介质及计算机设备 | |
WO2023051185A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
US20230245398A1 (en) | Image effect implementing method and apparatus, electronic device and storage medium | |
CN111669502B (zh) | 目标对象显示方法、装置及电子设备 | |
CN110072047B (zh) | 图像形变的控制方法、装置和硬件装置 | |
CN112764845B (zh) | 视频处理方法及装置、电子设备和计算机可读存储介质 | |
CN111432245B (zh) | 多媒体信息的播放控制方法、装置、设备及存储介质 | |
US20230386001A1 (en) | Image display method and apparatus, and device and medium | |
US20220358662A1 (en) | Image generation method and device | |
CN114401443B (zh) | 特效视频处理方法、装置、电子设备及存储介质 | |
US20230133416A1 (en) | Image processing method and apparatus, and device and medium | |
CN114630057B (zh) | 确定特效视频的方法、装置、电子设备及存储介质 | |
CN114598823B (zh) | 特效视频生成方法、装置、电子设备及存储介质 | |
WO2023273697A1 (zh) | 图像处理方法、模型训练方法、装置、电子设备及介质 | |
CN116934577A (zh) | 一种风格图像生成方法、装置、设备及介质 | |
WO2024027819A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
CN114697568B (zh) | 特效视频确定方法、装置、电子设备及存储介质 | |
CN116630487A (zh) | 视频图像处理方法、装置、电子设备及存储介质 | |
JP2023516238A (ja) | 拡張現実に基づく表示方法、機器、記憶媒体及びプログラム製品 | |
CN110807728B (zh) | 对象的显示方法、装置、电子设备及计算机可读存储介质 | |
US20240242310A1 (en) | Target object display method, apparatus and electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |