CN104766361B - 一种残影效果的实现方法，及装置 - Google Patents
一种残影效果的实现方法，及装置 Download PDFInfo
- Publication number
- CN104766361B CN104766361B CN201510212217.3A CN201510212217A CN104766361B CN 104766361 B CN104766361 B CN 104766361B CN 201510212217 A CN201510212217 A CN 201510212217A CN 104766361 B CN104766361 B CN 104766361B
- Authority
- CN
- China
- Prior art keywords
- destination object
- duplication
- destination
- grid
- ghost effect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000033001 locomotion Effects 0.000 claims abstract description 74
- 230000003362 replicative effect Effects 0.000 claims abstract description 26
- 239000000463 material Substances 0.000 claims description 10
- 238000012545 processing Methods 0.000 abstract description 19
- 238000003860 storage Methods 0.000 abstract description 13
- 230000000007 visual effect Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 230000006854 communication Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 3
- 238000009738 saturating Methods 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 239000004575 stone Substances 0.000 description 3
- 241000272194 Ciconiiformes Species 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/62—Semi-transparency
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
本发明实施例公开了一种残影效果的实现方法，及装置，其中方法的实现包括：确定目标对象，所述目标对象为需要实现残影效果的图像元素；复制预定数量的所述目标对象获得复制对象，将获得的目标对象和复制对象按照所述目标对象的运动轨迹排列，并按照各复制对象与所述目标对象的距离由近到远，由高到底设置各复制对象的透明度；显示所述目标对象以及各复制对象。以上产生残影效果的过程，不需要将整个图像帧保存到渲染缓冲区，也不需要对整个图像帧进行透明混合处理，因此可以减少实现残影效果所需的数据处理资源以及存储资源，降低对硬件的要求使硬件性能相对较低的设备中也能获得流畅的视觉效果。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种残影效果的实现方法，及装置。
背景技术
残影是影视或视频游戏中，为表达某物体高速运动，在物体运动路径上跟随着物体的一列此物体的虚化影像。
目前实现残影效果的方法通常如下：
采用关闭渲染清除的方式，让上一帧渲染的图像帧残留在渲染缓冲区中，然后使用新绘制的图像帧与残留的图像帧进行透明混合处理，使之发生重叠，从而带来视觉上的残影效果。
为了更形象的说明以上方案，如图1所示，左侧是图像帧，其中上面三个残留帧，是残留在渲染缓冲区中的图像帧，下面当前帧是当前新绘制的图像帧；中间是四个图像帧进行透明混合处理的示意(残留帧与当前帧重叠)，右侧是视觉残影效果。为了实现残影效果，按照时间由近及远，透明度会越来越高。
由于需要将之前的图像帧保存在渲染缓冲区，另外用于显示的每一帧图像均需要对渲染缓冲区与当前渲染的图像帧进行透明混合处理，对硬件要求相对较高，所以移动设备在使用以上方案实现残影时帧率(Frame rate)比较低，视觉体验不够流畅。
因此以上残影效果的实现方案，需要消耗大量数据处理资源，以及存储资源，对硬件要求高导致帧率低画面不流畅。
发明内容
本发明实施例提供了一种残影效果的实现方法，及装置，用于减少实现残影效果所需的数据处理资源以及存储资源，降低对硬件的要求使硬件性能相对较低的设备中也能获得流畅的视觉效果。
一种残影效果的实现方法，包括：
确定目标对象，所述目标对象为需要实现残影效果的图像元素；
复制预定数量的所述目标对象获得复制对象，将获得的目标对象和复制对象按照所述目标对象的运动轨迹排列，并按照各复制对象与所述目标对象的距离由近到远，由高到底设置各复制对象的透明度；
显示所述目标对象以及各复制对象。
一种残影效果的实现装置，包括：
目标确定单元，用于确定目标对象，所述目标对象为需要实现残影效果的图像元素；
复制单元，用于复制预定数量的所述目标对象获得复制对象；
排列单元，用于将获得的目标对象和复制对象按照所述目标对象的运动轨迹排列；
设置单元，用于按照各复制对象与所述目标对象的距离由近到远，由高到底设置各复制对象的透明度；
显示单元，用于显示所述目标对象以及各复制对象。
从以上技术方案可以看出，本发明实施例具有以下优点：显示目标对象和各复制对象以后，会产生残影效果；以上产生残影效果的过程，仅需要复制需要产生残影效果的图像元素，并排列图像和设置透明度，不需要将整个图像帧保存到渲染缓冲区，也不需要对整个图像帧进行透明混合处理，因此可以减少实现残影效果所需的数据处理资源以及存储资源，降低对硬件的要求使硬件性能相对较低的设备中也能获得流畅的视觉效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术图像渲染示意图；
图2为本发明实施例方法流程示意图；
图3为本发明实施例图像复制结果示意图；
图4为本发明实施例透明度设置结果示意图；
图5为本发明实施例物体直线运动结果示意图；
图6为本发明实施例物体发生位移并且发生了旋转结果示意图；
图7为本发明实施例运动前端的原始3D物体残影效果图；
图8为本发明实施例复制出的网格跟随和模仿运动效果图；
图9为本发明实施例3D游戏的残影效果图；
图10为本发明实施例装置结构示意图；
图11为本发明实施例装置结构示意图；
图12为本发明实施例装置结构示意图；
图13为本发明实施例手机结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例提供了一种残影效果的实现方法，其特征在于，包括：
201：确定目标对象，上述目标对象为需要实现残影效果的图像元素；
在本发明实施例中，目标对象可以是任意需要实现残影效果的图像元素，例如：动画中的人物角色、器物等会移动的图像元素。通常来说，静止物体不需要实现残影效果，例如：背景画面，地图上的花草树木石头等。在本实施例中，动画人物可以是3D(Threedimensional，三维)动画人物角色、器物等会移动的图像元素，也可以是2D人物角色、器物等会移动的图像元素；本发明实施例方案均可以有效应用，对此本发明实施例不作限定。
202：复制预定数量的上述目标对象获得复制对象，将获得的目标对象和复制对象按照上述目标对象的运动轨迹排列，并按照各复制对象与上述目标对象的距离由近到远，由高到底设置各复制对象的透明度；
在本实施例中，到底复制多少个复制对象，可以依照需求进行确定，通常来说复制的个数一般会大于或等于两个，复制一个的情况残影效果相对较差。对于运动的图像元素来说，会有运动轨迹，运动的轨迹可以包含运动的方向以及物体自身状态等信息。例如：图像元素直线/曲线/运动会有运动经过的路线，图像元素旋转等会改变图像元素视觉角度的状态。另外，复制对象与上述目标对象的距离，可以是空间距离，也可以是时间距离；在直线运动等情况下，可以仅采用空间距离就可以了，如果采用时间距离则可以有较广泛的应用，时间距离可以是各复制图像在运动轨迹中对应的时刻与目标对象对应的时刻之间的差值。采用最近一个复制对象对应的时刻之后的任意其他时刻替代目标对象对应的时刻作为基准也是可以的，本发明实施例不作唯一性限定。
203：显示上述目标对象以及各复制对象。
在本实施例中，显示目标对象和各复制对象以后，会产生残影效果；以上产生残影效果的过程，仅需要复制需要产生残影效果的图像元素，并排列图像和设置透明度，不需要将整个图像帧保存到渲染缓冲区，也不需要对整个图像帧进行透明混合处理，因此可以减少实现残影效果所需的数据处理资源以及存储资源，降低对硬件的要求使硬件性能相对较低的设备中也能获得流畅的视觉效果。
在本发明实施例中，残影效果的实现方法可以应用在任意以图像显示为表现形式的视频、游戏等需要实现残影效果的应用场景。例如：影视制作过程中的视频生成过程，2D或者3D游戏的动画生成过程，等。具体的应用场景依据残影效果的应用需求可以对应确定，对此本发明实施例不作唯一性限定。其中对于三维画面，本发明实施例提供了更加优选的实现方案，具体如下：上述目标对象为3D(Three dimensional，三维)的目标对象；上述复制预定数量的上述目标对象获得复制对象包括：
复制预定数量的上述目标对象对应的网格，获得复制对象对应的网格，并确定复制获得的网格与上述目标对象的网格具有相同材质。
在本实施例中，对于3D图像元素，仅仅复制了网格，不必复制图像元素的全部信息，可以尽量减少复制的数据量以及相应需要占用的存储空间。网格在3D渲染中，代表一个3D物体的形体，即上述图像元素的形体。材质在3D渲染中，代表一个3D物体的表面信息，包括颜色、花纹等，附加在网格表面，使网格呈现真实3D物体的效果。
基于本发明实施例应用于3D这一特定的应用场景，本发明实施例还提供了进行透明度设置的优选实现方案，具体如下：上述设置各目标对象的透明度包括：调整各复制对象对应的网格中顶点的透明度。
在本实施例中，目标对象的运动轨迹可以有很多种获得方式，然后对复制图像进行排列，其中本发明实施例提供了如下优选方案：上述将获得的目标对象和复制对象按照上述目标对象的运动轨迹排列包括：
以预定的时间间隔记录上述目标对象的运动信息，将复制对象依次对应到记录的各运动信息对应的位置。
本实施例并不需要另外获取目标对象的运动轨迹，只要定期获得目标对象的运动信息就可以确定每个复制对象的位置以及角度等信息，因此可以更高效的完成残影位置以及角度。预定的时间间隔，可以是固定值，也可以是随着一些控制参数变化的值，例如运动速度越大，会导致残影之间的间隔增大，但是过大的距离会降低残影的效果，因此此时可以缩短时间间隔；缩短时间间隔的标准可以设定为，使相邻两个复制对象之间的距离小于预定值。这个预定值可以参考目标对象的体积设定，目标对象的体积越大预定值越大。
可选地，在本实施例中运动信息可以仅包含位置信息，但是对于很多物体来说其可能发生了旋转，因此也可以包含旋转信息。位置发生变化旋转导致的角度变化，都是运动导致的所以均称为运动信息，具体如下：上述运动信息包括：旋转信息和/或位置信息。
进一步地，为了表现物体运动速度加快和减慢的效果，本实施例还可以通过增加或/减少复制对象的数量实现，具体如下：在复制预定数量的上述目标对象获得复制对象之前，上述方法还包括：
计算上述目标对象的运动速度，按照运动速度从高到底对应地从高到底调整上述预定数量。
基于本发明实施例用于移动终端一侧实现的游戏画面显示为应用场景，具体如下：所述确定目标对象包括：
将移动终端显示的画面中，当前用户操作的人物对象确定为目标对象。
用户操作的人物可以是2D游戏画面中的人物对象也可以是3D游戏画面中的人物对象，具体的游戏类别依据需要使用残影效果的客户端确定，后续图9给出了腾讯公司手机游戏《企鹅总动员》作为示例。
以下实施例将以移动端的3D游戏画面为例进行举例说明，首先介绍涉及的技术术语含义如下：
残影：影视或视频游戏中，为表达某物体高速运动，在物体运动路径上跟随着物体的一列此物体的虚化影像。
渲染缓冲区：3D渲染中，存储绘制内容的缓存，即为渲染缓冲区，当所有绘制完成之后，渲染缓冲区显示在屏幕之上，呈现给用户。
渲染清除：在3D渲染中，清除渲染缓冲区的操作。
透明混合：在3D渲染中，两幅带有透明元素的画面进行重叠混合成一幅画面，在视觉效果上能够正确的透过前一副画面，看到后一幅画面的内容。
图像帧：3D渲染中，每次屏幕上呈现的一副画面，每一幅画面即为一帧，一般3D动画会在屏幕上每秒绘制30到60幅画面，形成动画效果。
网格：在3D渲染中，代表一个3D物体的形体。
材质：在3D渲染中，代表一个3D物体的表面信息，包括颜色、花纹等，附加在网格表面，使网格呈现真实3D物体的效果。
移动端应用中经常需要使用残影效果来带来更好的视觉体验，背景技术中的残影效果实现方案主要依赖透明混合技术，而透明混合对硬件性能要求较高，所以3D残影效果很难在中低端移动设备上流畅运行，本发明实施例将提供比较高效的方式，能够让3D残影效果在中低端移动设备上也能流畅运行。本实施例采用复制3D物体网格，控制复制网格的运动规律达到残影效果，具体步骤如下：
1、针对需要实现残影效果的3D物体，将此3D物体的网格复制多份；
如图3所示，假定图3中的三角形代表3D物体，图3所示为复制了三份，连带原始物体一共四份。在图3中，左侧为原始图像，右侧为复制后的图像。在本实施例中，需要产生多少个残影，则复制出多少份网格，单纯只复制网格，不复制其他信息，可以节省内存使用。
2、复制出的网格均采用原3D物体的材质，以节省内存，并调整每个复制网格中顶点颜色的透明度，达到残影半透效果。如图4所示，透明度距离3D物体实际位置越远透明度越高。也即是说复制出的网格透明度是递减的。
3、当原3D物体开始运动后，开始记录原物体运动时的位置信息和旋转信息，位置信息和旋转信息统称运动信息。
4、在每次经过了指定时间间隔后(例如0.5秒)记录一次运动信息，例如：0.5秒后，开始对第一个复制网格应用已记录的运动信息，1秒后，开始对第二个复制网格应用运动信息，以此类推，达到残影跟随效果，如图5和图6所示，其中图5是物体直线移动，图6是物体发生位移并且发生了旋转。
如图7所示，是运动前端的原始3D物体残影效果图，图8为复制出的网格跟随和模仿运动效果图。图9为一款3D游戏的残影效果图。
本发明实施例还提供了一种残影效果的实现装置，如图10所示，包括：
目标确定单元1001，用于确定目标对象，上述目标对象为需要实现残影效果的图像元素；
复制单元1002，用于复制预定数量的上述目标对象获得复制对象；
排列单元1003，用于将获得的目标对象和复制对象按照上述目标对象的运动轨迹排列；
设置单元1004，用于按照各复制对象与上述目标对象的距离由近到远，由高到底设置各复制对象的透明度；
显示单元1005，用于显示上述目标对象以及各复制对象。
在本发明实施例中，目标对象可以是任意需要实现残影效果的图像元素，例如：动画中的人物角色、器物等会移动的图像元素。通常来说，静止物体不需要实现残影效果，例如：背景画面，地图上的花草树木石头等。
在本实施例中，到底复制多少个复制对象，可以依照需求进行确定，通常来说复制的个数一般会大于或等于两个，复制一个的情况残影效果相对较差。对于运动的图像元素来说，会有运动轨迹，运动的轨迹可以包含运动的方向以及物体自身状态等信息。例如：图像元素直线/曲线/运动会有运动经过的路线，图像元素旋转等会改变图像元素视觉角度的状态。另外，复制对象与上述目标对象的距离，可以是空间距离，也可以是时间距离；在直线运动等情况下，可以仅采用空间距离就可以了，如果采用时间距离则可以有较广泛的应用，时间距离可以是各复制图像在运动轨迹中对应的时刻与目标对象对应的时刻之间的差值。采用最近一个复制对象对应的时刻之后的任意其他时刻替代目标对象对应的时刻作为基准也是可以的，本发明实施例不作唯一性限定。
在本实施例中，显示目标对象和各复制对象以后，会产生残影效果；以上产生残影效果的过程，仅需要复制需要产生残影效果的图像元素，并排列图像和设置透明度，不需要将整个图像帧保存到渲染缓冲区，也不需要对整个图像帧进行透明混合处理，因此可以减少实现残影效果所需的数据处理资源以及存储资源，降低对硬件的要求使硬件性能相对较低的设备中也能获得流畅的视觉效果。
在本发明实施例中，残影效果可以应用在任意以图像显示为表现形式的视频、游戏等需要实现残影效果的应用场景，其中对于三维画面，本发明实施例提供了更加优选的实现方案，具体如下：上述目标对象为3D的目标对象；
上述复制单元1002，用于复制预定数量的上述目标对象对应的网格，获得复制对象对应的网格，并确定复制获得的网格与上述目标对象的网格具有相同材质。
在本实施例中，对于3D图像元素，仅仅复制了网格，不必复制图像元素的全部信息，可以尽量减少复制的数据量以及相应需要占用的存储空间。网格在3D渲染中，代表一个3D物体的形体，即上述图像元素的形体。材质在3D渲染中，代表一个3D物体的表面信息，包括颜色、花纹等，附加在网格表面，使网格呈现真实3D物体的效果。
基于本发明实施例应用于3D这一特定的应用场景，本发明实施例还提供了进行透明度设置的优选实现方案，具体如下：上述设置单元1004，用于设置各目标对象的透明度包括：调整各复制对象对应的网格中顶点的透明度。
在本实施例中，目标对象的运动轨迹可以有很多种获得方式，然后对复制图像进行排列，其中本发明实施例提供了如下优选方案：上述排列单元1003，用于以预定的时间间隔记录上述目标对象的运动信息，将复制对象依次对应到记录的各运动信息对应的位置。
本实施例并不需要另外获取目标对象的运动轨迹，只要定期获得目标对象的运动信息就可以确定每个复制对象的位置以及角度等信息，因此可以更高效的完成残影位置以及角度。预定的时间间隔，可以是固定值，也可以是随着一些控制参数变化的值，例如运动速度越大，会导致残影之间的间隔增大，但是过大的距离会降低残影的效果，因此此时可以缩短时间间隔；缩短时间间隔的标准可以设定为，使相邻两个复制对象之间的距离小于预定值。这个预定值可以参考目标对象的体积设定，目标对象的体积越大预定值越大。
可选地，在本实施例中运动信息可以仅包含位置信息，但是对于很多物体来说其可能发生了旋转，因此也可以包含旋转信息。位置发生变化旋转导致的角度变化，都是运动导致的所以均称为运动信息，具体如下：上述运动信息包括：
旋转信息和/或位置信息。
进一步地，为了表现物体运动速度加快和减慢的效果，本实施例还可以通过增加或/减少复制对象的数量实现，具体如下：如图11所示，上述装置还包括：
速度计算单元1101，用于在上述复制单元1002复制预定数量的上述目标对象获得复制对象之前，计算上述目标对象的运动速度；
数量调整单元1102，用于按照运动速度从高到底对应地从高到底调整上述预定数量。
基于本发明实施例用于移动终端一侧实现的游戏画面显示为应用场景，具体如下：所述残影效果的实现装置为移动终端；
所述目标确定单元1001，用于将移动终端显示的画面中，当前用户操作的人物对象确定为目标对象。
用户操作的人物可以是2D游戏画面中的人物对象也可以是3D游戏画面中的人物对象，具体的游戏类别依据需要使用残影效果的客户端确定，前述图9给出了腾讯公司手机游戏《企鹅总动员》作为示例。
本发明实施例还提供了另一种残影效果的实现装置，如图12所示，包括：接收器1201、发射器1202、处理器1203以及存储器1204；存储器1204可以应用于处理器1203在进行数据处理过程中所需的缓存，以及处理结果的存储。
其中，上述处理器1204，用于确定目标对象，上述目标对象为需要实现残影效果的图像元素；复制预定数量的上述目标对象获得复制对象，将获得的目标对象和复制对象按照上述目标对象的运动轨迹排列，并按照各复制对象与上述目标对象的距离由近到远，由高到底设置各复制对象的透明度；控制显示上述目标对象以及各复制对象。
在本发明实施例中，目标对象可以是任意需要实现残影效果的图像元素，例如：动画中的人物角色、器物等会移动的图像元素。通常来说，静止物体不需要实现残影效果，例如：背景画面，地图上的花草树木石头等。
在本实施例中，到底复制多少个复制对象，可以依照需求进行确定，通常来说复制的个数一般会大于或等于两个，复制一个的情况残影效果相对较差。对于运动的图像元素来说，会有运动轨迹，运动的轨迹可以包含运动的方向以及物体自身状态等信息。例如：图像元素直线/曲线/运动会有运动经过的路线，图像元素旋转等会改变图像元素视觉角度的状态。另外，复制对象与上述目标对象的距离，可以是空间距离，也可以是时间距离；在直线运动等情况下，可以仅采用空间距离就可以了，如果采用时间距离则可以有较广泛的应用，时间距离可以是各复制图像在运动轨迹中对应的时刻与目标对象对应的时刻之间的差值。采用最近一个复制对象对应的时刻之后的任意其他时刻替代目标对象对应的时刻作为基准也是可以的，本发明实施例不作唯一性限定。
在本实施例中，显示目标对象和各复制对象以后，会产生残影效果；以上产生残影效果的过程，仅需要复制需要产生残影效果的图像元素，并排列图像和设置透明度，不需要将整个图像帧保存到渲染缓冲区，也不需要对整个图像帧进行透明混合处理，因此可以减少实现残影效果所需的数据处理资源以及存储资源，降低对硬件的要求使硬件性能相对较低的设备中也能获得流畅的视觉效果。
在本发明实施例中，残影效果可以应用在任意以图像显示为表现形式的视频、游戏等需要实现残影效果的应用场景，其中对于三维画面，本发明实施例提供了更加优选的实现方案，具体如下：上述目标对象为3D的目标对象；上述处理器1204，用于复制预定数量的上述目标对象获得复制对象包括：
复制预定数量的上述目标对象对应的网格，获得复制对象对应的网格，并确定复制获得的网格与上述目标对象的网格具有相同材质。
在本实施例中，对于3D图像元素，仅仅复制了网格，不必复制图像元素的全部信息，可以尽量减少复制的数据量以及相应需要占用的存储空间。网格在3D渲染中，代表一个3D物体的形体，即上述图像元素的形体。材质在3D渲染中，代表一个3D物体的表面信息，包括颜色、花纹等，附加在网格表面，使网格呈现真实3D物体的效果。
基于本发明实施例应用于3D这一特定的应用场景，本发明实施例还提供了进行透明度设置的优选实现方案，具体如下：上述处理器1204，用于设置各目标对象的透明度包括：调整各复制对象对应的网格中顶点的透明度。
在本实施例中，目标对象的运动轨迹可以有很多种获得方式，然后对复制图像进行排列，其中本发明实施例提供了如下优选方案：上述处理器1204，用于将获得的目标对象和复制对象按照上述目标对象的运动轨迹排列包括：
以预定的时间间隔记录上述目标对象的运动信息，将复制对象依次对应到记录的各运动信息对应的位置。
本实施例并不需要另外获取目标对象的运动轨迹，只要定期获得目标对象的运动信息就可以确定每个复制对象的位置以及角度等信息，因此可以更高效的完成残影位置以及角度。预定的时间间隔，可以是固定值，也可以是随着一些控制参数变化的值，例如运动速度越大，会导致残影之间的间隔增大，但是过大的距离会降低残影的效果，因此此时可以缩短时间间隔；缩短时间间隔的标准可以设定为，使相邻两个复制对象之间的距离小于预定值。这个预定值可以参考目标对象的体积设定，目标对象的体积越大预定值越大。
可选地，在本实施例中运动信息可以仅包含位置信息，但是对于很多物体来说其可能发生了旋转，因此也可以包含旋转信息。位置发生变化旋转导致的角度变化，都是运动导致的所以均称为运动信息，具体如下：上述运动信息包括：旋转信息和/或位置信息。
进一步地，为了表现物体运动速度加快和减慢的效果，本实施例还可以通过增加或/减少复制对象的数量实现，具体如下：上述处理器1204，还用于在复制预定数量的上述目标对象获得复制对象之前，计算上述目标对象的运动速度，按照运动速度从高到底对应地从高到底调整上述预定数量。
基于本发明实施例用于移动终端一侧实现的游戏画面显示为应用场景，具体如下：所述确定目标对象包括：将移动终端显示的画面中，当前用户操作的人物对象确定为目标对象。用户操作的人物可以是2D游戏画面中的人物对象也可以是3D游戏画面中的人物对象，具体的游戏类别依据需要使用残影效果的客户端确定。
本发明实施例还提供了另一种残影效果的实现装置，如图13所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备，以终端为手机为例：
图13示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图13，手机包括：射频(Radio Frequency，RF)电路1310、存储器1320、输入单元1330、显示单元1340、传感器1350、音频电路1360、无线保真(wireless fidelity，WiFi)模块1370、处理器1380、以及电源1390等部件。本领域技术人员可以理解，图13中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图13对手机的各个构成部件进行具体的介绍：
RF电路1310可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1380处理；另外，将设计上行的数据发送给基站。通常，RF电路1310包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路1310还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器1320可用于存储软件程序以及模块，处理器1380通过运行存储在存储器1320的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1330可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1330可包括触控面板1331以及其他输入设备1332。触控面板1331，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1331上或在触控面板1331附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1331可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1380，并能接收处理器1380发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1331。除了触控面板1331，输入单元1330还可以包括其他输入设备1332。具体地，其他输入设备1332可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1340可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1340可包括显示面板1341，可选的，可以采用液晶显示器(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1341。进一步的，触控面板1331可覆盖显示面板1341，当触控面板1331检测到在其上或附近的触摸操作后，传送给处理器1380以确定触摸事件的类型，随后处理器1380根据触摸事件的类型在显示面板1341上提供相应的视觉输出。虽然在图13中，触控面板1331与显示面板1341是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1331与显示面板1341集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1350，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1341的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1341和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1360、扬声器1361，传声器1362可提供用户与手机之间的音频接口。音频电路1360可将接收到的音频数据转换后的电信号，传输到扬声器1361，由扬声器1361转换为声音信号输出；另一方面，传声器1362将收集的声音信号转换为电信号，由音频电路1360接收后转换为音频数据，再将音频数据输出处理器1380处理后，经RF电路1310以发送给比如另一手机，或者将音频数据输出至存储器1320以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图13示出了WiFi模块1370，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1380是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1320内的软件程序和/或模块，以及调用存储在存储器1320内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1380可包括一个或多个处理单元；优选的，处理器1380可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1380中。
手机还包括给各个部件供电的电源1390(比如电池)，优选的，电源可以通过电源管理系统与处理器1380逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本发明实施例中，该终端所包括的处理器1380可以用于执行方法实施例中的各步骤。
值得注意的是，上述装置实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各方法实施例中的全部或部分步骤是可以通过程序来指令相关的硬件完成，相应的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种残影效果的实现方法，其特征在于，包括：
确定目标对象，所述目标对象为需要实现残影效果的图像元素；
复制预定数量的所述目标对象获得复制对象，将获得的目标对象和复制对象按照所述目标对象的运动轨迹排列，并按照各复制对象与所述目标对象的距离由近到远，由高到低设置各复制对象的透明度；
显示所述目标对象以及各复制对象；
所述将获得的目标对象和复制对象按照所述目标对象的运动轨迹排列包括：
以预定的时间间隔记录所述目标对象的运动信息，将复制对象依次对应到记录的各运动信息对应的位置；
在复制预定数量的所述目标对象获得复制对象之前，所述方法还包括：
计算所述目标对象的运动速度，按照运动速度从高到低对应地从高到低调整所述预定数量。
2.根据权利要求1所述方法，其特征在于，所述目标对象为3D的目标对象；所述复制预定数量的所述目标对象获得复制对象包括：
复制预定数量的所述目标对象对应的网格，获得复制对象对应的网格，并确定复制获得的网格与所述目标对象的网格具有相同材质。
3.根据权利要求2所述方法，其特征在于，所述设置各复制对象的透明度包括：调整各复制对象对应的网格中顶点的透明度。
4.根据权利要求1所述方法，其特征在于，所述运动信息包括：
旋转信息和/或位置信息。
5.根据权利要求1至3任意一项所述方法，其特征在于，所述确定目标对象包括：
将移动终端显示的画面中，当前用户操作的人物对象确定为目标对象。
6.一种残影效果的实现装置，其特征在于，包括：
目标确定单元，用于确定目标对象，所述目标对象为需要实现残影效果的图像元素；
复制单元，用于复制预定数量的所述目标对象获得复制对象；
排列单元，用于将获得的目标对象和复制对象按照所述目标对象的运动轨迹排列；
设置单元，用于按照各复制对象与所述目标对象的距离由近到远，由高到低设置各复制对象的透明度；
显示单元，用于显示所述目标对象以及各复制对象；
所述排列单元，用于以预定的时间间隔记录所述目标对象的运动信息，将复制对象依次对应到记录的各运动信息对应的位置；
所述装置还包括：
速度计算单元，用于在所述复制单元复制预定数量的所述目标对象获得复制对象之前，计算所述目标对象的运动速度；
数量调整单元，用于按照运动速度从高到低对应地从高到低调整所述预定数量。
7.根据权利要求6所述装置，其特征在于，所述目标对象为3D的目标对象；
所述复制单元，用于复制预定数量的所述目标对象对应的网格，获得复制对象对应的网格，并确定复制获得的网格与所述目标对象的网格具有相同材质。
8.根据权利要求7所述装置，其特征在于，
所述设置单元，用于设置各复制对象的透明度包括：调整各复制对象对应的网格中顶点的透明度。
9.根据权利要求6所述装置，其特征在于，所述运动信息包括：
旋转信息和/或位置信息。
10.根据权利要求6至8任意一项所述装置，其特征在于，所述残影效果的实现装置为移动终端；
所述目标确定单元，用于将移动终端显示的画面中，当前用户操作的人物对象确定为目标对象。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510212217.3A CN104766361B (zh) | 2015-04-29 | 2015-04-29 | 一种残影效果的实现方法，及装置 |
| PCT/CN2016/079647 WO2016173427A1 (zh) | 2015-04-29 | 2016-04-19 | 一种残影效果的实现方法，装置以及计算机可读介质 |
| US15/787,503 US10332240B2 (en) | 2015-04-29 | 2017-10-18 | Method, device and computer readable medium for creating motion blur effect |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510212217.3A CN104766361B (zh) | 2015-04-29 | 2015-04-29 | 一种残影效果的实现方法，及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104766361A CN104766361A (zh) | 2015-07-08 |
| CN104766361B true CN104766361B (zh) | 2018-04-27 |
Family
ID=53648166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510212217.3A Active CN104766361B (zh) | 2015-04-29 | 2015-04-29 | 一种残影效果的实现方法，及装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10332240B2 (zh) |
| CN (1) | CN104766361B (zh) |
| WO (1) | WO2016173427A1 (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104766361B (zh) | 2015-04-29 | 2018-04-27 | 腾讯科技（深圳）有限公司 | 一种残影效果的实现方法，及装置 |
| CN105117004A (zh) * | 2015-08-13 | 2015-12-02 | 小米科技有限责任公司 | 展现设备工作状态的方法和装置 |
| CN108573467A (zh) * | 2017-03-09 | 2018-09-25 | 南昌黑鲨科技有限公司 | 基于图像的轨迹合成方法、装置及终端 |
| CN107145280B (zh) * | 2017-04-20 | 2020-04-24 | 腾讯科技（深圳）有限公司 | 一种图像数据处理方法和装置 |
| CN108090945B (zh) * | 2017-11-03 | 2019-08-02 | 腾讯科技（深圳）有限公司 | 对象渲染方法和装置、存储介质及电子装置 |
| CN110365927B (zh) * | 2018-04-09 | 2022-03-01 | 腾讯科技（深圳）有限公司 | 视频录制方法、装置、存储介质和计算机设备 |
| CN108717701B (zh) * | 2018-05-24 | 2021-03-02 | 北京乐蜜科技有限责任公司 | 一种制作影片残影特效的方法、装置、电子设备及介质 |
| CN109040837B (zh) * | 2018-07-27 | 2021-09-14 | 北京市商汤科技开发有限公司 | 视频处理方法及装置、电子设备和存储介质 |
| CN110913118B (zh) * | 2018-09-17 | 2021-12-17 | 腾讯数码（天津）有限公司 | 视频处理方法、装置及存储介质 |
| CN110163935A (zh) * | 2019-04-04 | 2019-08-23 | 浙江口碑网络技术有限公司 | 动画渲染方法、装置、设备及可读存储介质 |
| CN110047124A (zh) * | 2019-04-23 | 2019-07-23 | 北京字节跳动网络技术有限公司 | 渲染视频的方法、装置、电子设备和计算机可读存储介质 |
| CN110139141B (zh) * | 2019-04-28 | 2021-10-15 | 腾讯科技（深圳）有限公司 | 视频画面渲染方法、装置、存储介质及电子设备 |
| CN112351221B (zh) | 2019-08-09 | 2024-02-13 | 北京字节跳动网络技术有限公司 | 图像特效处理方法、装置、电子设备和计算机可读存储介质 |
| CN112347301B (zh) * | 2019-08-09 | 2024-07-23 | 北京字节跳动网络技术有限公司 | 图像特效处理方法、装置、电子设备和计算机可读存储介质 |
| CN112351222B (zh) * | 2019-08-09 | 2022-05-24 | 北京字节跳动网络技术有限公司 | 图像特效处理方法、装置、电子设备和计算机可读存储介质 |
| CN112348748B (zh) * | 2019-08-09 | 2024-07-26 | 北京字节跳动网络技术有限公司 | 图像特效处理方法、装置、电子设备和计算机可读存储介质 |
| CN111796806B (zh) * | 2019-09-25 | 2022-07-08 | 厦门雅基软件有限公司 | 生成对象的方法、装置、电子设备及可读存储介质 |
| CN110930478B (zh) * | 2019-11-19 | 2023-12-01 | 广东明创软件科技有限公司 | 残影效果实现方法、装置、终端设备以及存储介质 |
| CN113313788A (zh) * | 2020-02-26 | 2021-08-27 | 北京小米移动软件有限公司 | 图像处理方法和装置、电子设备以及计算机可读存储介质 |
| CN114627040A (zh) * | 2020-12-08 | 2022-06-14 | 上海米哈游天命科技有限公司 | 确定透明度的方法、装置、电子设备及存储介质 |
| CN114627231A (zh) * | 2020-12-08 | 2022-06-14 | 上海米哈游天命科技有限公司 | 确定透明度的方法、装置、电子设备及存储介质 |
| CN112999657B (zh) * | 2021-03-09 | 2022-11-25 | 腾讯科技（深圳）有限公司 | 虚拟角色的幻影显示方法、装置、设备及介质 |
| CN113706504B (zh) * | 2021-08-27 | 2024-07-26 | 上海米哈游璃月科技有限公司 | 一种残影处理方法、装置、存储介质及电子设备 |
| CN114070956B (zh) * | 2021-11-26 | 2024-05-28 | 上海米哈游天命科技有限公司 | 一种图像融合处理方法、系统、设备及计算机可读存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101154294A (zh) * | 2006-09-29 | 2008-04-02 | 三星电子株式会社 | 渲染三维图形数据的方法、介质和系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3442336B2 (ja) * | 2000-03-02 | 2003-09-02 | 株式会社ナムコ | ゲームシステム及び情報記憶媒体 |
| JP4390351B2 (ja) * | 2000-03-29 | 2009-12-24 | 株式会社バンダイナムコゲームス | ゲーム装置、及び情報記憶媒体 |
| CN100463004C (zh) * | 2006-02-24 | 2009-02-18 | 腾讯科技（深圳）有限公司 | 一种渲染模型残影效果的方法 |
| JP4901539B2 (ja) * | 2007-03-07 | 2012-03-21 | 株式会社東芝 | 立体映像表示システム |
| JP2009237878A (ja) * | 2008-03-27 | 2009-10-15 | Dainippon Printing Co Ltd | 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム |
| US8421800B2 (en) * | 2009-05-29 | 2013-04-16 | Siemens Product Lifecycle Management Software Inc. | System and method for selectable display in object models |
| CN102724418B (zh) * | 2011-05-11 | 2016-06-15 | 新奥特（北京）视频技术有限公司 | 一种三维场景中实现出特技的方法 |
| CN103021007B (zh) | 2012-09-04 | 2016-01-13 | 小米科技有限责任公司 | 一种动画播放的方法及装置 |
| CN104766361B (zh) * | 2015-04-29 | 2018-04-27 | 腾讯科技（深圳）有限公司 | 一种残影效果的实现方法，及装置 |
-
2015
- 2015-04-29 CN CN201510212217.3A patent/CN104766361B/zh active Active
-
2016
- 2016-04-19 WO PCT/CN2016/079647 patent/WO2016173427A1/zh active Application Filing
-
2017
- 2017-10-18 US US15/787,503 patent/US10332240B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101154294A (zh) * | 2006-09-29 | 2008-04-02 | 三星电子株式会社 | 渲染三维图形数据的方法、介质和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016173427A1 (zh) | 2016-11-03 |
| US10332240B2 (en) | 2019-06-25 |
| CN104766361A (zh) | 2015-07-08 |
| US20180040106A1 (en) | 2018-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104766361B (zh) | 一种残影效果的实现方法，及装置 | |
| CN109598777B (zh) | 图像渲染方法、装置、设备及存储介质 | |
| CN106547599B (zh) | 一种资源动态加载的方法及终端 | |
| CN105183296B (zh) | 交互界面显示方法及装置 | |
| CN103984493B (zh) | 滑动控制方法及终端 | |
| CN103488403B (zh) | 界面布局切换方法、装置和移动终端 | |
| CN106933525B (zh) | 一种显示图像的方法和装置 | |
| CN103472971B (zh) | 一种设置拍摄参数的方法、装置及终端设备 | |
| CN103778656A (zh) | 一种图像渲染方法、装置及电子设备 | |
| CN105808060B (zh) | 一种播放动画的方法和装置 | |
| CN105187930A (zh) | 基于视频直播的互动方法及装置 | |
| CN104134230A (zh) | 一种图像处理方法、装置及计算机设备 | |
| CN105828160B (zh) | 视频播放方法及装置 | |
| CN108024073B (zh) | 视频编辑方法、装置及智能移动终端 | |
| CN104157007B (zh) | 视频处理的方法及装置 | |
| CN104375811A (zh) | 一种音效处理方法和装置 | |
| CN103473804A (zh) | 一种图像处理方法、装置和终端设备 | |
| CN106504303B (zh) | 一种播放帧动画的方法和装置 | |
| CN103325332A (zh) | 页面刷新方法、装置及设备 | |
| CN108920053A (zh) | 一种对齐方法及移动终端 | |
| CN107396193B (zh) | 视频播放的方法和装置 | |
| CN104751404A (zh) | 一种图像变换的方法及装置 | |
| CN103559731A (zh) | 一种锁屏状态下歌词显示的方法及终端 | |
| CN104423840A (zh) | 一种进度指示条的实现方法和装置 | |
| CN110062279A (zh) | 视频裁剪方法、可穿戴设备以及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |