CN113538696A - 特效生成方法、装置、存储介质及电子设备 - Google Patents
特效生成方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113538696A CN113538696A CN202110820758.XA CN202110820758A CN113538696A CN 113538696 A CN113538696 A CN 113538696A CN 202110820758 A CN202110820758 A CN 202110820758A CN 113538696 A CN113538696 A CN 113538696A
- Authority
- CN
- China
- Prior art keywords
- special effect
- map
- character
- depth map
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title claims abstract description 275
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 67
- 239000002245 particle Substances 0.000 claims description 72
- 230000033001 locomotion Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008030 elimination Effects 0.000 claims description 11
- 238000003379 elimination reaction Methods 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 abstract description 16
- 230000036544 posture Effects 0.000 description 33
- 230000008859 change Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 230000002452 interceptive effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Abstract
本申请实施例公开了一种特效生成方法、装置、存储介质及电子设备。所述方法包括：获取目标人物的深度图和彩色图；对所述深度图进行图像处理，得到人物模型；识别所述目标人物的姿势；确定所述姿势对应的特效参数；根据所述彩色图和所述特效参数，生成基于所述人物模型的跟随特效。本申请实施例能够丰富特效效果，且增加与人物的互动效果。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及游戏技术领域，具体涉及一种特效生成方法、装置、存储介质及电子设备。
背景技术
目前市场上的密室采用传统方式布景，即通过装修或实物装饰来进行布景。布景的内容固定，即布景内容无法实现实时迭代更新，导致布景效果单一，而且，布景内容无法与位于密室中的玩家进行互动。
发明内容
本申请实施例提供一种特效生成方法、装置、存储介质及电子设备，能够丰富特效效果，且增加与人物的互动效果。
本申请实施例提供了一种特效生成方法，包括：
获取目标人物的深度图和彩色图；
对所述深度图进行图像处理，得到人物模型；
识别所述目标人物的姿势；
确定所述姿势对应的特效参数；
根据所述彩色图和所述特效参数，生成基于所述人物模型的跟随特效。
可选地，所述对所述深度图进行图像处理，得到人物模型，包括：
对所述深度图进行二值化处理，得到遮罩图；
对所述遮罩图进行图像处理，得到片面模型，并将所述片面模型作为所述人物模型。
可选地，所述对所述深度图进行二值化处理，得到遮罩图，包括：
对所述深度图进行深度剔除处理，得到指定深度的第一人物深度图；
对所述第一人物深度图进行二值化处理，得到遮罩图。
可选地，所述对所述深度图进行图像处理，得到人物模型，包括：
将所述深度图转换为点云数据；
根据所述点云数据，生成结构模型，并将所述结构模型作为所述人物模型。
可选地，所述将所述深度图转换为点云数据，包括：
对所述深度图进行深度剔除处理，得到指定深度的第二人物深度图；
将所述第二人物深度图转换为点云数据。
可选地，所述根据所述彩色图和所述特效参数，生成基于所述人物模型的特效，包括：
从所述彩色图中提取人物贴图；
根据所述人物贴图和所述特效参数，生成基于所述人物模型的跟随特效。
可选地，所述根据所述人物贴图和所述特效参数，生成基于所述人物模型的跟随特效，包括：
将所述人物模型作为粒子发射源，生成多个粒子；
根据所述人物贴图对所述粒子进行渲染；
根据所述特效参数控制渲染后的粒子运动，使粒子构成相应的特效形态，得到基于所述人物模型的跟随特效。
可选地，所述方法还包括：
将预设的背景图像与基于所述人物模型的特效进行合成。
可选地，所述获取目标人物的深度图和彩色图，包括：
在检测到所述目标人物位于目标场景时，通过所述目标场景中的图像采集设备获取所述目标人物的深度图和彩色图。
可选地，所述方法还包括：
将基于所述人物模型的特效进行显示或投影至所述目标场景中。
本申请实施例还提供一种特效生成装置，包括：
图像获取模块，用于获取目标人物的深度图和彩色图；
图像处理模块，用于对所述深度图进行图像处理，得到人物模型；
识别模块，用于识别所述目标人物的姿势；
确定模块，用于确定所述姿势对应的特效参数；以及，
特效生成模块，用于根据所述彩色图和所述特效参数，生成基于所述人物模型的跟随特效。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上任一实施例所述的特效生成方法中的步骤。
本申请实施例还提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，执行如上述任一实施例所述的特效生成方法中的步骤。
本申请实施例提供的特效生成方法、装置、存储介质及电子设备，通过获取目标人物的深度图和彩色图；对所述深度图进行图像处理，得到人物模型；识别所述目标人物的姿势；确定所述姿势对应的特效参数；根据所述彩色图和所述特效参数，生成基于所述人物模型的跟随特效。本申请实施例实时识别目标人物的姿势，以根据不同的姿势生成基于人物模型的不同跟随特效，丰富特效展示效果，且增强与目标人物的互动效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的特效生成装置的系统示意图。
图2为本申请实施例提供的特效生成方法的流程示意图。
图3为本申请实施例提供的特效生成方法中密室的一个示意图。
图4为本申请实施例提供的特效生成方法中的深度图。
图5为本申请实施例提供的特效生成方法中的彩色图。
图6为本申请实施例提供的特效生成方法中的遮罩图。
图7为本申请实施例提供的特效生成方法中人物模型的一个示意图。
图8为本申请实施例提供的特效生成方法中人物模型的另一个示意图。
图9为本申请实施例提供的特效生成方法中特效形态的一个示意图。
图10为本申请实施例提供的特效生成方法中的人物贴图。
图11为本申请实施例提供的特效生成方法中的背景图像。
图12为本申请实施例提供的特效生成方法中最终特效的示意图。
图13为本申请实施例提供的特效生成方法中密室的另一示意图。
图14为本申请实施例提供的特效生成方法的另一流程示意图。
图15为本申请实施例提供的特效生成装置的结构示意图。
图16为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种特效生成方法、装置、存储介质及电子设备。具体地，本申请实施例的特效生成方法可以由电子设备执行，其中，该电子设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、个人计算机(PersonalComputer，PC)、个人数字助理(Personal Digital Assistant，PDA)等终端设备，终端还可以包括客户端，该客户端可以是应用客户端、携带有特效展示软件的浏览器客户端或即时通信客户端等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
例如，当该特效生成方法运行于终端时，终端设备存储有特效生成软件。终端设备用于通过图形用户界面与用户进行交互，例如通过终端设备下载安装特效生成软件并运行。该终端设备将图形用户界面提供给用户的方式可以包括多种，例如，可以渲染显示在终端设备的显示屏上，或者，通过全息投影呈现图形用户界面。例如，终端设备可以包括触控显示屏和处理器，该触控显示屏用于呈现图形用户界面以及接收用户作用于图形用户界面产生的操作指令，该图形用户界面包括特效生成界面，该处理器用于运行特效生成软件、生成图形用户界面、响应操作指令以及控制图形用户界面在触控显示屏上的显示。
请参阅图1，图1为本申请实施例提供的特效生成装置的系统示意图。该系统可以包括至少一个终端1000，至少一个服务器2000，至少一个数据库3000，至少一个图像采集设备4000，以及至少一个展示设备5000。终端1000可以通过网络连接到不同的服务器2000。终端1000是具有计算硬件的任何设备，该计算硬件能够支持和执行与特效生成相对应的软件产品。另外，终端1000具有用于感测和获得用户通过在一个或者多个触控显示屏的多个点执行的触摸或者滑动操作的输入的一个或者多个多触敏屏幕。图像采集设备4000可以通过网络连接到不同的服务器2000，图像采集设备4000可以包括用于采集深度图像的深度摄像机，以及用于采集彩色图像的彩色摄像机。展示设备5000可以通过网络连接到不同的服务器2000，展示设备包括显示器和/或投影器，显示器用于对图像进行显示，投影器用于对图像进行投影。
另外，当系统包括多个终端1000、多个服务器2000、多个图像采集设备4000，多个展示设备5000时，不同的终端1000可以通过不同的网络与不同的服务器2000连接，不同的图像采集设备4000可以通过不同的网络与不同的服务器2000连接，不同的展示设备5000可以通过不同的网络与不同的服务器2000连接。网络可以是无线网络或者有线网络，比如无线网络为WLAN(Wireless Local Area Network，无线局域网)、LAN(Local Area Network，局域网)、蜂窝网络、2G网络、3G网络、4G网络、5G网络等。另外，不同的终端1000之间也可以使用自身的蓝牙网络或者热点网络连接到其他终端或者连接到服务器、图像采集设备、展示设备等。另外，该系统可以包括多个数据库3000，多个数据库3000耦合到不同的服务器2000，并且可以将特效有关的信息，如深度图、彩色图、特效参数等存储于数据库3000中。
本申请实施例提供了一种特效生成方法，该方法可以由终端执行。本申请实施例以特效生成方法由终端执行为例来进行说明。
下面结合具体实施例进行详细说明。
在本实施例中，将从特效生成装置的角度进行描述，该特效生成装置具体可以集成在电子设备如终端、服务器等设备中。
请参阅图2，为本发明实施例中特效生成方法的一个实施例流程示意图。该方法的具体流程可以如下：
步骤101，获取目标人物的深度图和彩色图。
本实施例中，终端可以通过图像采集设备获取目标人物的深度图和彩色图，深度图可以是指通过图像采集设备采集到的具有目标人物的深度图。深度图也被称为距离影像，是指将从图像采集设备到场景中各点的距离(深度)作为像素值的图像，其直接反映了景物可见表面的几何形状。深度图的获取方法有激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法等等。彩色图可以是指通过图像采集设备采集到的具有目标人物的RGB图像。
其中，图像采集设备可以包括深度摄像机和RGB摄像机，深度摄像机和RGB摄像机可以安装在指定位置，深度摄像机和RGB摄像机的安装位置和拍摄角度可以相同，以能够拍摄指定区域中的目标人物。深度摄像机可以实时拍摄目标人物的深度图，并将目标人物的深度图实时传输至终端，使得终端能够实时获取目标人物的深度图。RGB摄像机可以实时拍摄目标人物的彩色图，并将目标人物的彩色图实时传输至终端，使得终端能够实时获取目标人物的彩色图。
具体地，步骤101中的所述获取目标人物的深度图和彩色图，包括：在检测到所述目标人物位于目标场景时，通过所述目标场景中的图像采集设备获取所述目标人物的深度图和彩色图。
其中，目标场景为真实场景，例如目标场景为密室。目标场景中具有互动区域，该互动区域可以是目标人物在目标场景中可以到达的区域。目标场景中安装有图像采集设备，图像采集设备的采集范围覆盖互动区域，即在图像采集设备包括深度摄像机和RGB摄像机时，深度摄像机的拍摄范围覆盖互动区域，RGB摄像机的拍摄范围覆盖互动区域。深度摄像机中可以嵌入式集成硬件和软件，以在目标人物进入目标场景，即目标人物位于互动区域时，深度摄像机可以立即被激活，以实时拍摄目标人物的深度图，并传输给终端；在目标人物离开目标场景，即目标人物离开互动区域时，深度摄像机可以停止拍摄。RGB摄像机可以实时拍摄目标场景，并将拍摄的彩色图传输给终端，在终端获取深度摄像机拍摄的目标人物的深度图时，终端可以获取相同时刻RGB摄像机拍摄到的目标人物的彩色图。
如图3所示，目标场景为密室，密室的墙壁上安装图像采集设备31，使图像采集设备31的采集范围能够完全覆盖互动区域33。当目标人物32进入密室，位于该互动区域33中时，图像采集设备31中的深度摄像机立即被激活，以实时进行拍摄，此时深度摄像机拍摄目标人物32的深度图，终端获取目标人物32的深度图。同时，终端可以获取图像采集设备31中RGB摄像机拍摄到的目标人物32的彩色图。当目标人物32离开密室，即离开互动区域33，即深度摄像机的采集范围内不具有目标人物32时，深度摄像机可以停止拍摄，RGB摄像机可以继续拍摄，以对密室进行监控。
在互动区域中具有多个人物时，图像采集设备可以同时对多个人物进行拍摄，使拍摄到的深度图中具有多个人物，使拍摄到的彩色图中具有多个人物。参见图4和图5，图4为多个人物的深度图，该深度图中具有两个人物32a、32b，其中人物32a的颜色较浅，表明人物32a与深度摄像机的距离较近，人物32b的颜色较暗，表明人物32b与深度摄像机的距离较远。图5为多个人物的彩色图，该彩色图中具有两个人物32a、32b。图4中的深度图与图5中的彩色图的拍摄角度相同，即图4中的两个人物32a、32b与图5中的两个人物32a、32b的位置和姿势相同。
步骤102，对所述深度图进行图像处理，得到人物模型。
本实施例中，终端中可以配置UE4服务端，UE4服务端可以对获取的目标人物的深度图进行图像处理，以得到人物模型。人物模型可以为片面模型或结构模型，对目标人物的深度图进行不同的图像处理，可以得到不同的人物模型。
在一个实施方式中，步骤102中的所述对所述深度图进行图像处理，得到人物模型，包括：对所述深度图进行二值化处理，得到遮罩图；对所述遮罩图进行图像处理，得到片面模型，并将所述片面模型作为所述人物模型。
在深度图中具有一个人物，且该人物为目标人物时，或者，在深度图中具有多个人物，且多个人物均为目标人物时，直接对深度图进行二值化处理，即将深度图中目标人物的像素点全部调整为白色，将除了目标人物之外的背景区域的像素点调整为黑色，从而得到遮罩图。
在深度图中具有多个人物时，也可以根据实际需求从多个人物中选取部分人物作为目标人物，即并非将所有人物都作为目标人物。这种情况下，需要先将深度图进行深度剔除再处理为遮罩图。
具体的，所述对所述深度图进行二值化处理，得到遮罩图，包括：对所述深度图进行深度剔除处理，得到指定深度的第一人物深度图；对所述第一人物深度图进行二值化处理，得到遮罩图。
根据目标人物的深度范围对深度图进行深度剔除处理，得到指定深度的第一人物深度图。其中，指定深度是指目标人物的深度范围，即第一人物深度图仅保留深度图中具有目标人物的区域，去除深度图中其它人物(非目标人物)的区域。在得到第一人物深度图后，对第一人物深度图进行二值化处理，即将第一人物深度图中目标人物的像素点全部调整为白色，将除了目标人物之外的背景区域的像素点调整为黑色，从而得到遮罩图。
例如，图4所示的深度图中具有两个人物32a、32b，选取人物32a为目标人物，人物32b为非目标人物。而人物32a的深度范围为0至0.5，人物32b的深度范围为0.6至1，因此对深度图进行深度剔除处理,仅保留深度图中深度范围为0至0.5的区域，去除深度图中其它深度范围的区域，得到指定深度(深度范围0至0.5)的第一人物深度图，而第一人物深度图中仅具有人物32a，不具有人物32b。然后，对第一人物深度图进行二值化处理，即将第一人物深度图中人物32a的像素点全部调整为白色，将除了人物32a之外的其它像素点全部调整为黑色，得到遮罩图，如图6所示。
在遮罩图中具有一个目标人物时，对该遮罩图进行图像处理，例如采用图像生成模型算法或边缘检测算法等对该遮罩图进行处理，以检测出人物轮廓，得到表示人物轮廓的片面模型。片面模型可以是具有人物轮廓的二维模型。该片面模型可以作为人物模型进行后续处理。例如，对图6的遮罩图进行图像处理，得到人物32a的片面模型，如图7所示。
在遮罩图中具有多个目标人物时，可以针对多个目标人物对遮罩图进行图像处理，以分别检测出每个目标人物的轮廓，得到每个目标人物的片面模型，从而得到每个目标人物的人物模型，以分别对每个人物模型进行后续处理。
在另一个实施方式中，步骤102中的所述对所述深度图进行图像处理，得到人物模型，包括：将所述深度图转换为点云数据；根据所述点云数据，生成结构模型，并将所述结构模型作为所述人物模型。
在深度图中具有一个人物，且该人物为目标人物时，或者，在深度图中具有多个人物，且多个人物均为目标人物时，直接将深度图转换为点云数据，即先确定深度图中每个像素点在图像坐标系中的坐标，再根据转换公式，将图像坐标系转换为世界坐标系，从而将深度图中每个像素点在图像坐标系中的坐标转换为在世界坐标系中的坐标，得到点云数据。
在深度图中具有多个人物时，也可以根据实际需求从多个人物中选取部分人物作为目标人物，即并非将所有人物都作为目标人物。这种情况下，需要先将深度图进行深度剔除再转换为点云数据。
具体地，所述将所述深度图转换为点云数据，包括：对所述深度图进行深度剔除处理，得到指定深度的第二人物深度图；将所述第二人物深度图转换为点云数据。
根据目标人物的深度范围对深度图进行深度剔除处理，得到指定深度的第二人物深度图。其中，指定深度是指目标人物的深度范围，即第二人物深度图仅保留深度图中具有目标人物的区域，去除深度图中其它人物(非目标人物)的区域。在得到第二人物深度图后，采用转换公式，将第二人物深度图转换为点云数据。
在转换的点云数据对应一个目标人物时，基于点云数据，构建结构模型。结构模型可以是表示人物结构的三维模型。例如，将点云数据输入至三维模型处理软件，即可得到结构模型。该结构模型可以作为人物模型进行后续处理。
在转换的点云数据对应多个目标人物时，确定每个目标人物对应的点云数据，分别针对每个目标人物对应的点云数据，构建一个结构模型，得到每个目标人物的结构模型，从而得到每个目标人物的人物模型，以分别对每个人物模型进行后续处理。如图8所示，图8针对两个目标人物分别构建一个结构模型，即图8中具有两个结构模型。
步骤103，识别所述目标人物的姿势。
本实施例中，在实时获取目标人物的深度图和彩色图时，实时识别目标人物的姿势，即在目标人物位于目标场景时，实时识别目标人物的姿势。目标人物的姿势可以根据目标人物的多个关节点的坐标变换来识别。预先建立人体关节点的坐标系，并定义每个关节点的原始坐标数据，在目标人物进入目标场景后，实时采集目标人物每个关节点的坐标数据，并将每个关节点的坐标数据与原始坐标数据进行对比，得到目标人物每个关节点的变化坐标数据。然后，根据目标人物每个关节点的变化坐标数据，确定目标人物的姿势。
例如，定义目标人物自然站立，且双手自然垂落在身体两侧时各个关节点的坐标数据为原始坐标数据。在目标人物单手托腮时，采集到目标人物单手的坐标数据发生变化，并将实时采集到的目标人物单手的坐标数据与原始坐标数据进行对比，得到目标人物单手的变化坐标数据，从而识别出目标人物的姿势为目标人物单手托腮。
由于人物姿势过多，为了降低处理量，可以预先设置多个人物姿势，并设置每个人物姿势对应的关节点的变化坐标数据，以便在确定目标人物的关节点的变化坐标数据时，能够及时识别出目标人物的姿势。
由于不同目标人物的相同姿势会存在一定的差异性，即相同姿势对应的变化坐标数据存在一定的差异性，因此针对每个人物姿势设置一个变化坐标区间。预先针对多个人物姿势分别设置一个变化坐标区间，多个变化坐标区间无交集。
在获取目标人物的关节点的变化坐标数据后，可以先判断目标人物的变化坐标数据是否位于预设的多个变化坐标区间内，若目标人物的变化坐标数据位于其中一个变化坐标区间内，则确定目标人物的变化坐标数据所在的变化坐标区间为目标区间，根据变化坐标区间与人物姿势的对应关系，确定目标区间对应的人物姿势，该目标区间对应的人物姿势即为识别到的目标人物的姿势。若目标人物的变化坐标数据不位于任一变化坐标区间内，则表明目标人物当前的实际姿势不属于预设的多个人物姿势，默认目标人物当前的姿势为最新识别到的目标人物的姿势。例如，最新识别到的目标人物的姿势为单手托腮，目标人物当前的实际姿势为单手遮眼，但单手遮眼不属于预设的多个人物姿势，因此仍默认目标人物当前的姿势为单手托腮。
需要说明的是，目标人物的姿势还可以通过其它方式来识别，在此不做具体限定。
步骤104，确定所述姿势对应的特效参数。
本实施例中，特效参数用于确定特效形态，其中，特效形态是指特效最终呈现的形状，如特效形态可以为翅膀、火焰等。预先存储多个特效参数，每个特效参数对应一种特效形态，不同特效参数对应不同的特效形态。预先设置多种人物姿势，以建立多种人物姿势与多个特效参数一一对应的映射关系。不同的人物姿势可以触发获取不同的特效参数，进而确定不同的特效形态。
例如，在识别到目标人物的姿势为单手托腮时，根据人物姿势与特效参数的映射关系，可以确定单手托腮对应的特效参数，而该特效参数确定的特效形态为火焰，如图9所示。
步骤105，根据所述彩色图和所述特效参数，生成基于所述人物模型的跟随特效。
本实施例中，终端中的UE4服务端可以采用粒子系统来实现粒子特效，将人物模型输入至粒子系统，并基于彩色图和特效参数，生成基于人物模型的跟随特效，跟随特效是指跟随人物模型移动的特效，该跟随特效为粒子特效。其中，彩色图用于对粒子进行渲染，特效参数用于确定粒子的属性和运动方式等，从而确定特效形态。
具体地，步骤105中的所述根据所述彩色图和所述特效参数，生成基于所述人物模型的特效，包括：从所述彩色图中提取人物贴图；根据所述人物贴图和所述特效参数，生成基于所述人物模型的特效。
为了使生成的特效与目标人物的实际状态更符合，从彩色图中提取仅具有目标人物的人物贴图，以便采用人物贴图对粒子进行渲染。具体地，可以基于步骤102中得到的遮罩图，从彩色图中提取人物贴图。
在遮罩图中具有多个人物时，表明该多个人物均为目标人物，针对每个目标人物，从彩色图中提取人物贴图，即每个目标人物对应一个人物贴图。在遮罩图中具有一个人物时，表明仅具有一个目标人物，从彩色图中提取该目标人物的人物贴图。
如图5所示，彩色图中具有两个人物，即人物32a、人物32b，图6所示的遮罩图对应人物32a，表明人物32a为目标人物，根据图6中的人物32a，从图5中提取人物32a的人物贴图，即该人物贴图中仅具有人物32a，如图10所示。
然后，所述根据所述人物贴图和所述特效参数，生成基于所述人物模型的跟随特效，包括：将所述人物模型作为粒子发射源，生成多个粒子；根据所述人物贴图对所述粒子进行渲染；根据所述特效参数控制渲染后的粒子运动，使粒子构成相应的特效形态，得到基于所述人物模型的跟随特效。
特效参数可以用于表征粒子的属性及运动方式，具体可以包括粒子大小、粒子形状、粒子密度、粒子寿命等与粒子属性相关的粒子属性参数，以及运动作用力类型、运动作用力大小、力场范围等与粒子运行相关的粒子运动参数。
将人物模型输入至粒子系统，先将人物模型粒子化，即将人物模型的边缘转变为粒子，以得到多个粒子。根据人物贴图对粒子进行渲染，得到多个渲染后的粒子。然后，将人物模型作为粒子发射源，发射渲染后的粒子，并根据特效参数，控制每个渲染后的粒子的运动。不同特效参数可以确定不同的特效形态，即根据不同特效参数，可以控制粒子运动构成不同特效形态，因此根据目标人物的姿势所对应的特效参数，可以控制粒子运动构成相应的特效形态。渲染后的粒子构成相应的特效形态，即生成相应的粒子特效。另外，由于以人物模型作为粒子发射源，因此粒子在根据特效参数运动的同时，会跟随人物模型的运动而运动，使得生成的粒子特效为基于人物模型的跟随特效。
另外，粒子系统还可以实现碰撞检测，即检测粒子与人物模型碰撞的物理特性，并可以根据检测结果调整特效参数，使粒子根据调整后的特效参数运动，以生成效果更好的特效。
例如，在特效参数对应的特效形态为火焰时，以人物模型为粒子发射源，生成多个粒子，在对生成的粒子渲染后，发射渲染后的粒子，并根据特效参数控制渲染后的粒子运动，使粒子构成位于人物模型两侧的火焰形态，从而得到火焰特效。无论目标人物在目标场景中任何移动，即无论人物模型如何移动，只要目标人物的姿势不变，火焰跟随人物模型移动，即火焰一直位于人物模型的两侧，同时火焰在人物模型的两侧可以实现跳动效果。
在生成基于人物模型的跟随特效后，还可以给特效增加背景图像，以丰富显示效果。具体地，所述方法还包括：将预设的背景图像与基于所述人物模型的跟随特效进行合成。
预先设置多个背景图像，可以从多个背景图像中选取一个背景图像，与基于人物模型的跟随特效进行合成，得到具有背景的特效。另外，也可以建立多种人物姿势与多个背景图像一一对应的映射关系。不同人物姿势可以触发获取不同的背景图像。在步骤103识别目标人物的姿势后，可以根据映射关系，确定目标人物的姿势所对应的背景图像。将背景图像与步骤105得到的基于人物模型的跟随特效进行合成，即可得到具有背景的特效。
例如，在目标人物的姿势为单手托腮时，可以触发获取背景图像如图11所示，将如图11所示的背景图像与基于人物模型的跟随特效进行合成，得到最终特效如图12所示。
在得到基于所述人物模型的跟随特效后，可以将特效进行展示。具体地，所述方法还包括：将基于所述人物模型的特效进行显示或投影至所述目标场景中。
可以通过显示器或投影器对特效进行展示，终端在生成基于人物模型的特效后，将特效转换为图像数据，并将图像数据传输至显示器或投影器，使显示器或投影器展示图像数据，从而实现特效的展示。例如，在目标场景中安装投影器，终端将特效转换的图像数据传输至目标场景中的投影器，投影器将图像数据投影至目标场景，以在目标场景中展示特效，使目标人物在目标场景中观看自己实时互动的特效，更具有沉浸体验感，增强互动效果。如图13所示，目标场景为密室，在密室的墙壁上安装投影器(图中未示出)，投影器可以与图像采集设备31相对设置，终端在将基于人物模型的跟随特效与背景图像合成后，将最终特效转换为图像数据并传输至投影器，投影器将图像数据投影至图像采集设备31所在的墙壁上，使目标人物可以在密室中观看互动的特效，同时可以避免图像采集设备31拍摄到特效，影响拍摄效果。
终端也可以将特效转换的图像数据传输至显示器，以通过显示器直播展示特效，以达到线下实景的实时互动到线上直播的整合营销，更进一步突破空间限制并增强了互动。
另外，在目标人物处于目标场景中时，目标人物无需穿戴特殊设备，目标场景也无需设置绿幕，目标人物即可观看实时互动特效，以实现特效与实景的投影融合，增加目标场景的沉浸式互动体验。
上述所有的技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
本申请实施例提供的特效生成方法，通过获取目标人物的深度图和彩色图；对所述深度图进行图像处理，得到人物模型；识别所述目标人物的姿势；确定所述姿势对应的特效参数；根据所述彩色图和所述特效参数，生成基于所述人物模型的跟随特效。本申请实施例实时识别目标人物的姿势，以根据不同的姿势生成基于人物模型的不同跟随特效，丰富特效展示效果，且增强与目标人物的互动效果。
请参阅图14，图14为本申请实施例提供的特效生成方法的另一流程示意图。该方法的具体流程可以如下：
步骤201，在目标人物位于目标场景时，获取目标人物的深度图和彩色图。
目标场景中安装有深度摄像机和RGB摄像机。深度摄像机中安装有SDK(SoftwareDevelopment Kit，软件开发工具包)，深度摄像机在目标人物位于目标场景时，拍摄目标人物的深度图，并通过SDK将目标人物的深度图传输至终端，使终端实时获取目标人物的深度图，同理，RGB摄像机在拍摄到目标人物的彩色图时传输至终端，使终端实时获取目标人物的彩色图。
步骤202，对深度图进行二值化处理，得到遮罩图。
终端中配置有UE4服务端，UE4服务端将深度图中目标人物的像素点全部调整为白色，将除了目标人物之外的背景区域的像素点调整为黑色，从而得到遮罩图。
步骤203，对遮罩图进行图像处理，得到人物模型。
UE4服务端采用图像生成模型算法或边缘检测算法等对该遮罩图进行处理，以检测出目标人物的轮廓，得到片面模型(二维模型)，该片面模型即为人物模型。
步骤204，根据遮罩图，从彩色图中提取人物贴图。
UE4服务端根据遮罩图确定目标人物，以从彩色图中提取仅具有目标人物的人物贴图。
步骤205，识别目标人物的姿势。
步骤206，确定所述姿势对应的特效参数。
UE4服务端根据预先设置的人物姿势与特效参数的对应关系，确定识别到的目标人物的姿势所对应的特效参数。特效参数用于确定特效形态。
步骤207，将人物模型作为粒子发射源，生成多个粒子。
UE4服务端将人物模型输入至粒子系统，使人物模型粒子化，生成多个粒子，同时将人物模型作为粒子发射源，即生成的多个粒子从人物模型处开始发射。
步骤208，根据人物贴图，对粒子进行渲染。
步骤209，根据特效参数控制渲染后的粒子运动，使粒子构成相应的特效形态，得到基于人物模型的跟随特效。
渲染后的粒子根据特效参数来运动，可以使粒子构成特效参数所对应的特效形态，且以人物模型作为粒子发射源，使粒子在根据特效参数运动的同时，能够实时跟随人物模型移动，从而得到基于人物模型的跟随特效。
步骤210，将预设的背景图像与基于人物模型的跟随特效进行合成，得到最终特效。
步骤211，将最终特效转换为特效图像传输至投影器，使投影器投影至目标场景进行展示。
目标场景中安装有投影器，投影器将特效图像投影至目标场景中，以供目标人物实时观看互动的特效。
本实施例能够丰富特效展示效果，提升人物沉浸式体验，且增加互动效果。
上述所有的技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
为便于更好的实施本申请实施例的特效生成方法，本申请实施例还提供一种特效生成装置。请参阅图15，图15为本申请实施例提供的特效生成装置的结构示意图。该特效生成装置300可以包括图像获取模块301，图像处理模块302、识别模块303、确定模块304以及特效生成模块305。
图像获取模块301，用于获取目标人物的深度图和彩色图；
图像处理模块302，用于对所述深度图进行图像处理，得到人物模型；
识别模块303，用于识别所述目标人物的姿势；
确定模块304，用于确定所述姿势对应的特效参数；
特效生成模块305，用于根据所述彩色图和所述特效参数，生成基于所述人物模型的跟随特效。
可选地，所述图像处理模块302还用于：
对所述深度图进行二值化处理，得到遮罩图；
对所述遮罩图进行图像处理，得到片面模型，并将所述片面模型作为所述人物模型。
可选地，所述图像处理模块302还用于：
对所述深度图进行深度剔除处理，得到指定深度的第一人物深度图；
对所述第一人物深度图进行二值化处理，得到遮罩图。
可选地，所述图像处理模块302还用于：
将所述深度图转换为点云数据；
根据所述点云数据，生成结构模型，并将所述结构模型作为所述人物模型。
可选地，所述图像处理模块302还用于：
对所述深度图进行深度剔除处理，得到指定深度的第二人物深度图；
将所述第二人物深度图转换为点云数据。
可选地，所述特效生成模块305还用于：
从所述彩色图中提取人物贴图；
根据所述人物贴图和所述特效参数，生成基于所述人物模型的跟随特效。
可选地，所述特效生成模块305还用于：
将所述人物模型作为粒子发射源，生成多个粒子；
根据所述人物贴图对所述粒子进行渲染；
根据所述特效参数控制渲染后的粒子运动，使粒子构成相应的特效形态，得到基于所述人物模型的跟随特效。
可选地，所述装置还包括合成模块，所述合成模块用于：
将预设的背景图像与基于所述人物模型的特效进行合成。
可选地，所述图像获取模块301用于：
在检测到所述目标人物位于目标场景时，通过所述目标场景中的图像采集设备获取所述目标人物的深度图和彩色图。
可选地，所述装置还包括展示模块，所述展示模块用于：
将基于所述人物模型的特效进行显示或投影至所述目标场景中。
上述所有的技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
本申请实施例提供的特效生成装置300，通过获取目标人物的深度图和彩色图；对所述深度图进行图像处理，得到人物模型；识别所述目标人物的姿势；确定所述姿势对应的特效参数；根据所述彩色图和所述特效参数，生成基于所述人物模型的跟随特效。本申请实施例实时识别目标人物的姿势，以根据不同的姿势生成基于人物模型的不同跟随特效，丰富特效展示效果，且增强与目标人物的互动效果。
相应的，本申请实施例还提供一种电子设备，该电子设备可以为终端或者服务器，该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机(PC，Personal Computer)、个人数字助理(Personal Digital Assistant，PDA)等终端设备。如图16所示，图16为本申请实施例提供的电子设备的结构示意图。该电子设备400包括有一个或者一个以上处理核心的处理器401、有一个或一个以上计算机可读存储介质的存储器402及存储在存储器402上并可在处理器上运行的计算机程序。其中，处理器401与存储器402电性连接。本领域技术人员可以理解，图中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备400的各个部分，通过运行或加载存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备400的各种功能和处理数据，从而对电子设备400进行整体监控。
在本申请实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能：
获取目标人物的深度图和彩色图；对所述深度图进行图像处理，得到人物模型；识别所述目标人物的姿势；确定所述姿势对应的特效参数；根据所述彩色图和所述特效参数，生成基于所述人物模型的跟随特效。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
可选的，如图16所示，电子设备400还包括：触控显示屏403、射频电路404、音频电路405、输入单元406以及电源407。其中，处理器401分别与触控显示屏403、射频电路404、音频电路405、输入单元406以及电源407电性连接。本领域技术人员可以理解，图16中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
触控显示屏403可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏403可以包括显示面板和触控面板。其中，显示面板可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并生成相应的操作指令，且操作指令执行对应程序。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器401，并能接收处理器401发来的命令并加以执行。触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器401以确定触摸事件的类型，随后处理器401根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中，可以将触控面板与显示面板集成到触控显示屏403而实现输入和输出功能。但是在某些实施例中，触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏403也可以作为输入单元406的一部分实现输入功能。
在本申请实施例中，通过处理器401执行路网生成软件在触控显示屏403上生成图形用户界面。该触控显示屏403用于呈现图形用户界面以及接收用户作用于图形用户界面产生的操作指令。
射频电路404可用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。
音频电路405可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。音频电路405可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路405接收后转换为音频数据，再将音频数据输出处理器401处理后，经射频电路404以发送给比如另一电子设备，或者将音频数据输出至存储器402以便进一步处理。音频电路405还可能包括耳塞插孔，以提供外设耳机与电子设备的通信。
输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
电源407用于给电子设备400的各个部件供电。可选的，电源407可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源407还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管图16中未示出，电子设备400还可以包括摄像头、传感器、无线保真模块、蓝牙模块等，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
由上可知，本实施例提供的电子设备，通过获取目标人物的深度图和彩色图；对所述深度图进行图像处理，得到人物模型；识别所述目标人物的姿势；确定所述姿势对应的特效参数；根据所述彩色图和所述特效参数，生成基于所述人物模型的跟随特效。本申请实施例实时识别目标人物的姿势，以根据不同的姿势生成基于人物模型的不同跟随特效，丰富特效展示效果，且增强与目标人物的互动效果。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种特效生成方法中的步骤。例如，该计算机程序可以执行如下步骤：
获取目标人物的深度图和彩色图；对所述深度图进行图像处理，得到人物模型；识别所述目标人物的姿势；确定所述姿势对应的特效参数；根据所述彩色图和所述特效参数，生成基于所述人物模型的跟随特效。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种特效生成方法中的步骤，因此，可以实现本申请实施例所提供的任一种特效生成方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种特效生成方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (13)
1.一种特效生成方法，其特征在于，所述方法包括：
获取目标人物的深度图和彩色图；
对所述深度图进行图像处理，得到人物模型；
识别所述目标人物的姿势；
确定所述姿势对应的特效参数；
根据所述彩色图和所述特效参数，生成基于所述人物模型的跟随特效。
2.根据权利要求1所述的特效生成方法，其特征在于，所述对所述深度图进行图像处理，得到人物模型，包括：
对所述深度图进行二值化处理，得到遮罩图；
对所述遮罩图进行图像处理，得到片面模型，并将所述片面模型作为所述人物模型。
3.根据权利要求2所述的特效生成方法，其特征在于，所述对所述深度图进行二值化处理，得到遮罩图，包括：
对所述深度图进行深度剔除处理，得到指定深度的第一人物深度图；
对所述第一人物深度图进行二值化处理，得到遮罩图。
4.根据权利要求1所述的特效生成方法，其特征在于，所述对所述深度图进行图像处理，得到人物模型，包括：
将所述深度图转换为点云数据；
根据所述点云数据，生成结构模型，并将所述结构模型作为所述人物模型。
5.根据权利要求4所述的特效生成方法，其特征在于，所述将所述深度图转换为点云数据，包括：
对所述深度图进行深度剔除处理，得到指定深度的第二人物深度图；
将所述第二人物深度图转换为点云数据。
6.根据权利要求1所述的特效生成方法，其特征在于，所述根据所述彩色图和所述特效参数，生成基于所述人物模型的特效，包括：
从所述彩色图中提取人物贴图；
根据所述人物贴图和所述特效参数，生成基于所述人物模型的跟随特效。
7.根据权利要求6所述的特效生成方法，其特征在于，所述根据所述人物贴图和所述特效参数，生成基于所述人物模型的跟随特效，包括：
将所述人物模型作为粒子发射源，生成多个粒子；
根据所述人物贴图对所述粒子进行渲染；
根据所述特效参数控制渲染后的粒子运动，使粒子构成相应的特效形态，得到基于所述人物模型的跟随特效。
8.根据权利要求1所述的特效生成方法，其特征在于，所述方法还包括：
将预设的背景图像与基于所述人物模型的特效进行合成。
9.根据权利要求1所述的特效生成方法，其特征在于，所述获取目标人物的深度图和彩色图，包括：
在检测到所述目标人物位于目标场景时，通过所述目标场景中的图像采集设备获取所述目标人物的深度图和彩色图。
10.根据权利要求9所述的特效生成方法，其特征在于，所述方法还包括：
将基于所述人物模型的特效进行显示或投影至所述目标场景中。
11.一种特效生成装置，其特征在于，包括：
图像获取模块，用于获取目标人物的深度图和彩色图；
图像处理模块，用于对所述深度图进行图像处理，得到人物模型；
识别模块，用于识别所述目标人物的姿势；
确定模块，用于确定所述姿势对应的特效参数；以及，
特效生成模块，用于根据所述彩色图和所述特效参数，生成基于所述人物模型的跟随特效。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如权利要求1-10任一项所述的特效生成方法中的步骤。
13.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，执行如权利要求1-10任一项所述的特效生成方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110820758.XA CN113538696A (zh) | 2021-07-20 | 2021-07-20 | 特效生成方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110820758.XA CN113538696A (zh) | 2021-07-20 | 2021-07-20 | 特效生成方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113538696A true CN113538696A (zh) | 2021-10-22 |
Family
ID=78100512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110820758.XA Pending CN113538696A (zh) | 2021-07-20 | 2021-07-20 | 特效生成方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538696A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114070956A (zh) * | 2021-11-26 | 2022-02-18 | 上海米哈游天命科技有限公司 | 一种图像融合处理方法、系统、设备及计算机可读存储介质 |
| CN114598824A (zh) * | 2022-03-09 | 2022-06-07 | 北京字跳网络技术有限公司 | 特效视频的生成方法、装置、设备及存储介质 |
| WO2023098664A1 (zh) * | 2021-11-30 | 2023-06-08 | 北京字节跳动网络技术有限公司 | 特效视频的生成方法、装置、设备及存储介质 |
| WO2024041637A1 (zh) * | 2022-08-26 | 2024-02-29 | 北京字跳网络技术有限公司 | 特效图生成方法、装置、设备及存储介质 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030038892A1 (en) * | 2001-08-09 | 2003-02-27 | Sidney Wang | Enhancing broadcast of an event with synthetic scene using a depth map |
| CN103020648A (zh) * | 2013-01-09 | 2013-04-03 | 北京东方艾迪普科技发展有限公司 | 一种动作类型识别方法、节目播出方法及装置 |
| CN105069423A (zh) * | 2015-07-29 | 2015-11-18 | 北京格灵深瞳信息技术有限公司 | 一种人体姿态检测方法及装置 |
| CN107705278A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 动态效果的添加方法和终端设备 |
| CN107728782A (zh) * | 2017-09-21 | 2018-02-23 | 广州数娱信息科技有限公司 | 交互方法及交互系统、服务器 |
| CN109147037A (zh) * | 2018-08-16 | 2019-01-04 | Oppo广东移动通信有限公司 | 基于三维模型的特效处理方法、装置和电子设备 |
| CN109448105A (zh) * | 2018-10-15 | 2019-03-08 | 山东大学 | 基于多深度图像传感器的三维人体骨架生成方法及系统 |
| CN109521879A (zh) * | 2018-11-19 | 2019-03-26 | 网易（杭州）网络有限公司 | 交互式投影控制方法、装置、存储介质及电子设备 |
| CN111385508A (zh) * | 2018-12-28 | 2020-07-07 | 广州市百果园信息技术有限公司 | 一种视频处理方法、装置、设备和存储介质 |
| CN111913871A (zh) * | 2019-05-10 | 2020-11-10 | 中国信息通信研究院 | 一种基于深度学习的肺结节检出软件测试方法 |
| CN112106347A (zh) * | 2019-08-30 | 2020-12-18 | 深圳市大疆创新科技有限公司 | 一种图像生成方法、设备、可移动平台及存储介质 |
| CN112102422A (zh) * | 2020-11-19 | 2020-12-18 | 蚂蚁智信(杭州)信息技术有限公司 | 图像处理方法及装置 |
| CN112270807A (zh) * | 2020-10-29 | 2021-01-26 | 怀化学院 | 一种老人跌倒预警系统 |
| CN112652044A (zh) * | 2021-01-05 | 2021-04-13 | 网易（杭州）网络有限公司 | 粒子特效渲染方法、装置、设备及存储介质 |
| CN112818860A (zh) * | 2021-02-02 | 2021-05-18 | 北京航空航天大学 | 基于端到端多任务多尺度神经网络的实时三维人脸重建方法 |
| CN112861624A (zh) * | 2021-01-05 | 2021-05-28 | 哈尔滨工业大学（威海） | 一种人体姿态检测方法、系统、存储介质、设备及终端 |
| CN112884874A (zh) * | 2021-03-18 | 2021-06-01 | 腾讯科技（深圳）有限公司 | 在虚拟模型上贴花的方法、装置、设备及介质 |
-
2021
- 2021-07-20 CN CN202110820758.XA patent/CN113538696A/zh active Pending
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030038892A1 (en) * | 2001-08-09 | 2003-02-27 | Sidney Wang | Enhancing broadcast of an event with synthetic scene using a depth map |
| CN103020648A (zh) * | 2013-01-09 | 2013-04-03 | 北京东方艾迪普科技发展有限公司 | 一种动作类型识别方法、节目播出方法及装置 |
| CN105069423A (zh) * | 2015-07-29 | 2015-11-18 | 北京格灵深瞳信息技术有限公司 | 一种人体姿态检测方法及装置 |
| CN107705278A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 动态效果的添加方法和终端设备 |
| CN107728782A (zh) * | 2017-09-21 | 2018-02-23 | 广州数娱信息科技有限公司 | 交互方法及交互系统、服务器 |
| CN109147037A (zh) * | 2018-08-16 | 2019-01-04 | Oppo广东移动通信有限公司 | 基于三维模型的特效处理方法、装置和电子设备 |
| CN109448105A (zh) * | 2018-10-15 | 2019-03-08 | 山东大学 | 基于多深度图像传感器的三维人体骨架生成方法及系统 |
| CN109521879A (zh) * | 2018-11-19 | 2019-03-26 | 网易（杭州）网络有限公司 | 交互式投影控制方法、装置、存储介质及电子设备 |
| CN111385508A (zh) * | 2018-12-28 | 2020-07-07 | 广州市百果园信息技术有限公司 | 一种视频处理方法、装置、设备和存储介质 |
| CN111913871A (zh) * | 2019-05-10 | 2020-11-10 | 中国信息通信研究院 | 一种基于深度学习的肺结节检出软件测试方法 |
| CN112106347A (zh) * | 2019-08-30 | 2020-12-18 | 深圳市大疆创新科技有限公司 | 一种图像生成方法、设备、可移动平台及存储介质 |
| CN112270807A (zh) * | 2020-10-29 | 2021-01-26 | 怀化学院 | 一种老人跌倒预警系统 |
| CN112102422A (zh) * | 2020-11-19 | 2020-12-18 | 蚂蚁智信(杭州)信息技术有限公司 | 图像处理方法及装置 |
| CN112652044A (zh) * | 2021-01-05 | 2021-04-13 | 网易（杭州）网络有限公司 | 粒子特效渲染方法、装置、设备及存储介质 |
| CN112861624A (zh) * | 2021-01-05 | 2021-05-28 | 哈尔滨工业大学（威海） | 一种人体姿态检测方法、系统、存储介质、设备及终端 |
| CN112818860A (zh) * | 2021-02-02 | 2021-05-18 | 北京航空航天大学 | 基于端到端多任务多尺度神经网络的实时三维人脸重建方法 |
| CN112884874A (zh) * | 2021-03-18 | 2021-06-01 | 腾讯科技（深圳）有限公司 | 在虚拟模型上贴花的方法、装置、设备及介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114070956A (zh) * | 2021-11-26 | 2022-02-18 | 上海米哈游天命科技有限公司 | 一种图像融合处理方法、系统、设备及计算机可读存储介质 |
| WO2023098664A1 (zh) * | 2021-11-30 | 2023-06-08 | 北京字节跳动网络技术有限公司 | 特效视频的生成方法、装置、设备及存储介质 |
| CN114598824A (zh) * | 2022-03-09 | 2022-06-07 | 北京字跳网络技术有限公司 | 特效视频的生成方法、装置、设备及存储介质 |
| CN114598824B (zh) * | 2022-03-09 | 2024-03-19 | 北京字跳网络技术有限公司 | 特效视频的生成方法、装置、设备及存储介质 |
| WO2024041637A1 (zh) * | 2022-08-26 | 2024-02-29 | 北京字跳网络技术有限公司 | 特效图生成方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109427083B (zh) | 三维虚拟形象的显示方法、装置、终端及存储介质 | |
| CN108525298B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN113538696A (zh) | 特效生成方法、装置、存储介质及电子设备 | |
| US10313657B2 (en) | Depth map generation apparatus, method and non-transitory computer-readable medium therefor | |
| US9304594B2 (en) | Near-plane segmentation using pulsed light source | |
| CN111541907B (zh) | 物品显示方法、装置、设备及存储介质 | |
| US8913037B1 (en) | Gesture recognition from depth and distortion analysis | |
| CN112287852B (zh) | 人脸图像的处理方法、显示方法、装置及设备 | |
| CN113426117B (zh) | 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质 | |
| CN113052947B (zh) | 一种渲染方法、装置、电子设备和存储介质 | |
| CN112138386A (zh) | 一种体积渲染方法、装置、存储介质及计算机设备 | |
| CN109167914A (zh) | 一种图像处理方法及移动终端 | |
| CN108665510B (zh) | 连拍图像的渲染方法、装置、存储介质及终端 | |
| CN112465945A (zh) | 一种模型生成方法、装置、存储介质及计算机设备 | |
| CN112770173A (zh) | 直播画面处理方法、装置、计算机设备及存储介质 | |
| WO2022237116A1 (zh) | 图像处理方法及装置 | |
| CN110622218A (zh) | 一种图像显示方法、装置、存储介质和终端 | |
| CN113487662A (zh) | 画面显示方法、装置、电子设备和存储介质 | |
| CN112887601B (zh) | 拍摄方法、装置及电子设备 | |
| CN108932505A (zh) | 一种图像处理方法和电子设备 | |
| CN116129526A (zh) | 合拍控制方法、装置、电子设备及存储介质 | |
| CN113194329B (zh) | 直播互动方法、装置、终端及存储介质 | |
| CN108830901A (zh) | 一种图像处理方法和电子设备 | |
| CN116797631A (zh) | 差异区域定位方法、装置、计算机设备及存储介质 | |
| CN110012229B (zh) | 一种图像处理方法和终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |