CN115066881A - 对于图像序列生成稳定化图像合成效果的方法、系统及计算机可读介质 - Google Patents
对于图像序列生成稳定化图像合成效果的方法、系统及计算机可读介质 Download PDFInfo
- Publication number
- CN115066881A CN115066881A CN202080095961.9A CN202080095961A CN115066881A CN 115066881 A CN115066881 A CN 115066881A CN 202080095961 A CN202080095961 A CN 202080095961A CN 115066881 A CN115066881 A CN 115066881A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- stabilized
- light source
- effects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000694 effects Effects 0.000 title claims abstract description 366
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000000203 mixture Substances 0.000 title claims description 155
- 230000006641 stabilisation Effects 0.000 claims abstract description 177
- 238000011105 stabilization Methods 0.000 claims abstract description 177
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 112
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 112
- 238000001514 detection method Methods 0.000 claims abstract description 110
- 230000000087 stabilizing effect Effects 0.000 claims abstract description 22
- 239000002131 composite material Substances 0.000 claims description 52
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000003467 diminishing effect Effects 0.000 claims 3
- 230000003287 optical effect Effects 0.000 claims 1
- 230000001419 dependent effect Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 30
- 230000003247 decreasing effect Effects 0.000 description 28
- 230000001815 facial effect Effects 0.000 description 14
- 238000005286 illumination Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000002156 mixing Methods 0.000 description 9
- 230000007704 transition Effects 0.000 description 9
- 238000009499 grossing Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 230000001795 light effect Effects 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
提供一种用于图像序列的方法、系统及计算机可读介质。所述方法包括:获得一第一图像序列,一目标被捕获于所述第一图像序列中,其中所述第一图像序列包括多个原始图像,及对应于所述目标的多个对应目标区域是在所述多个原始图像中;检测所述多个原始图像中的所述多个对应目标区域,以获得一检测结果;使用所述检测结果进行稳定化,以获得一稳定化结果;及使用所述稳定结果来生成所述多个稳定图像合成效果,以获得一第二图像序列,使得所述多个稳定图像合成效果比一第三图像序列中的多个图像合成效果更为时间性闪烁平滑化,其中除了使用所述检测结果而非所述稳定结果来生成所述图像合成效果之外,如同所述第二图像序列那样获得所述第三图像序列。
Description
技术领域
本公开涉及图像处理领域,尤其涉及对于一图像序列多个生成稳定化图像合成效果的一方法、一系统及一计算机可读介质。
背景技术
一图像合成效果是通过将来自诸多单独来源的诸多视觉元素结合成单个图像而引起的一效果,以创造所有视觉元素都是同一场景的一部分的一幻觉。所述图像合成效果可以是所述多个视觉元素之间的诸多转变为平滑的情况下的一图像混合效果。所述图像混合效果的一示例是一人造散景效果。一散景镜头效果是一图像中的一离焦部分为模糊的一效果。所述人造散景效果通过混合从对应于所述离焦部分的所述图像区域被创建的一区域与所述图像区域周围的一区域以模仿所述散景镜头效果。以此方式,所述图像区域被放大且被模糊。所述多个视觉元素之间的多个转变为突然的所述图像合成效果的一示例是一人造脸部艺术标贴效果。在人造脸部艺术标贴效果下,一脸部区域由多个脸部艺术标贴合成。所述脸部艺术标贴效果不受限于具有所述多个视觉元素之间的多个骤然转变,并且替代地可以具有多个平滑转变。
发明内容
本公开的一个目的是提出对于一图像序列生成稳定化的多个图像合成效果的一方法、一系统及一计算机可读介质。
在本公开的一第一方面中,一种计算机实现的方法包括:获得一第一图像序列,一目标被捕获于所述第一图像序列中,其中所述第一图像序列包括多个原始图像,及对应于所述目标的多个对应目标区域是在所述多个原始图像中;检测所述多个原始图像中的所述多个对应目标区域,以获得一检测结果;使用所述检测结果进行稳定化,以获得一稳定化结果;及使用所述稳定化结果来生成所述多个稳定化图像合成效果,以获得一第二图像序列,使得所述多个稳定化图像合成效果比一第三图像序列中的多个图像合成效果更为时间性闪烁平滑化,其中除了使用所述检测结果而非所述稳定化结果来生成所述图像合成效果之外,如同所述第二图像序列那样获得所述第三图像序列。所述进行稳定化的步骤包括:对于基于所述检测结果被成功检测或未被成功检测的所述多个原始图像中的一第一图像中的所述对应目标区域,构建所述稳定化结果用于致使生成所述多个原始图像中的所述多个对应目标区域的多个稳定化图像合成效果中的一第一稳定化图像合成效果,其中所述第一稳定化图像合成效果具有一第一不透明度;及对于基于所述检测结果未被成功检测的所述多个原始图像中的一第二图像中的所述对应目标区域,构建所述稳定化结果用于致使生成所述多个稳定化图像合成效果中的一第二稳定化图像合成效果,其中所述第二稳定化图像合成效果具有一第二不透明度;其中所述第一图像及所述第二图像是连续的;及其中所述第二不透明度小于所述第一不透明度。
在本公开的第二方面中,一种系统包括至少一个内存及一处理器模块。所述至少一个内存,被配置为存储多个程序指令;所述处理器模块被配置为执行多个程序指令,所述程序指令致使所述处理器模块进行多个步骤,包括:获得一第一图像序列,一目标被捕获于所述第一图像序列中,其中所述第一图像序列包括多个原始图像,及对应于所述目标的多个对应目标区域是在所述多个原始图像中;检测所述多个原始图像中的所述多个对应目标区域,以获得一检测结果;使用所述检测结果进行稳定化,以获得一稳定化结果;及使用所述稳定化结果来生成所述多个稳定化图像合成效果,以获得一第二图像序列,使得所述多个稳定化图像合成效果比一第三图像序列中的多个图像合成效果更为时间性闪烁平滑化,其中除了使用所述检测结果而非所述稳定化结果来生成所述图像合成效果之外,如同所述第二图像序列那样获得所述第三图像序列。所述进行稳定化的步骤包括:对于基于所述检测结果被成功检测或未被成功检测的所述多个原始图像中的一第一图像中的所述对应目标区域,构建所述稳定化结果用于致使生成所述多个原始图像中的所述多个对应目标区域的多个稳定化图像合成效果中的一第一稳定化图像合成效果,其中所述第一稳定化图像合成效果具有一第一不透明度;及对于基于所述检测结果未被成功检测的所述多个原始图像中的一第二图像中的所述对应目标区域,构建所述稳定化结果用于致使生成所述多个稳定化图像合成效果中的一第二稳定化图像合成效果,其中所述第二稳定化图像合成效果具有一第二不透明度;其中所述第一图像及所述第二图像是连续的;及其中所述第二不透明度小于所述第一不透明度。
在本公开的一第三方面,提供一种非暂时性计算机可读介质,其上存储有多个程序指令。当所述多个程序指令由一处理器模块执行时,致使所述处理器模块进行多个步骤,包括:获得一第一图像序列,一目标被捕获于所述第一图像序列中,其中所述第一图像序列包括多个原始图像,及对应于所述目标的多个对应目标区域是在所述多个原始图像中;检测所述多个原始图像中的所述多个对应目标区域,以获得一检测结果;使用所述检测结果进行稳定化,以获得一稳定化结果;及使用所述稳定结果来生成所述多个稳定图像合成效果,以获得一第二图像序列,使得所述多个稳定图像合成效果比一第三图像序列中的多个图像合成效果更为时间性闪烁平滑化,其中除了使用所述检测结果而非所述稳定结果来生成所述图像合成效果之外,如同所述第二图像序列那样获得所述第三图像序列。所述进行稳定化的步骤包括:对于基于所述检测结果被成功检测或未被成功检测的所述多个原始图像中的一第一图像中的所述对应目标区域,构建所述稳定化结果用于致使生成所述多个原始图像中的所述多个对应目标区域的多个稳定化图像合成效果中的一第一稳定化图像合成效果,其中所述第一稳定化图像合成效果具有一第一不透明度;及对于基于所述检测结果未被成功检测的所述多个原始图像中的一第二图像中的所述对应目标区域,构建所述稳定化结果用于致使生成所述多个稳定化图像合成效果中的一第二稳定化图像合成效果,其中所述第二稳定化图像合成效果具有一第二不透明度;其中所述第一图像及所述第二图像是连续的;及其中所述第二不透明度小于所述第一不透明度。
附图说明
为了更清楚地说明本公开或相关技术的实施例,在对所述诸多实施例进行简要介绍时,将对以下附图进行说明。显然,附图只是本公开的一些实施例,本领域普通技术人员可以在不付出前提的情况下,根据这些附图获得其他附图。
图1是以图解说明根据本公开的一实施例的摄取一目标集被捕获的一第一图像序列的一终端的一示意图。
图2是以图解说明根据本公开的一实施例的用于所述光源集中的一光源于所述第一图像序列中被捕获所生成的多个人造散景效果的一时间性闪烁(temporal flickering)问题的一示意图。
图3是以图解说明根据本公开的一实施例的用于所述光源集中的一光源于所述第一图像序列中被捕获所生成的所述多个人造散景效果的一尺寸跃变(size jumping)问题的一示意图。
图4是以图解说明根据本公开的一实施例的一终端中的输入、处理及输出硬件模块的一框图。
图5是以图解说明根据本公开的一实施例的一种对于所述第一图像序列生成多个稳定化图像合成效果集的方法的一流程图。
图6是以图解说明根据本公开的一实施例的归因于图5中的获得所述第一图像序列的一步骤的多个原始图像及归因于图5中的检测多个光源区域集的一步骤的多个图像的一示意图。
图7是以图解说明根据本公开的一实施例的图5中进行稳定化以获得一稳定化结果及使用所述稳定化结果来生成多个稳定化图像合成效果集的一步骤的一流程图。
图8是以图解说明根据本公开的一实施例的图7中的一概率增加或减少步骤的一流程图。
图9是以图解说明根据本公开的一实施例的图7中的一概率初始化步骤的一流程图。
图10是以图解说明根据本公开的一实施例的图7中的一概率相依的不透明度决定步骤的一流程图。
图11是以图解说明根据本公开的一实施例的图7中的一不透明度相依的稳定化图像合成效果生成步骤的一流程图。
图12是以图解说明图6中的捕获一光源处于一图像合成效果期望状态的所述多个原始图像的一部分、图6中的具备未成功检测所述光源的一图像的所述多个图像的一部分,以及归因于对于所述光源进行图8中的所述概率增加或减少步骤、图10中的所述概率相依的不透明度决定步骤及图11中的所述不透明度相依的稳定化图像合成效果生成步骤的多个图像的一示意图。
图13是以图解说明图6中的捕获两个连续图像中的一光源处于一被捕获的关闭(OFF)状态的所述多个原始图像、图6中的具备未成功检测所述光源的两个连续图像的多个图像,以及归因于对于所述光源进行图8中的所述概率增加或减少步骤、图10中的所述概率相依的不透明度决定步骤及图11中的所述不透明度相依的稳定化图像合成效果生成步骤的多个图像的一示意图。
图14是以图解说明根据本公开的一实施例的一概率增加或减少步骤使用一计数器实现图8中的所述概率增加或减少步骤的一流程图。
图15是以图解说明根据本公开的一实施例的一概率初始化步骤使用一计数器实现图9中的所述概率初始化步骤的一流程图。
图16是以图解说明根据本公开的一实施例的一概率相依的不透明度决定步骤使用一计数器实现图10中的所述概率相依的不透明度决定步骤的一流程图。
图17是以图解说明根据本公开的一实施例的每个目标在迄至一当前图像的多个图像被捕获时处于所述图像合成效果期望状态的一对应概率所对应的一第一变量与图16中的所述概率相依的不透明度决定步骤的一对应不透明度所对应的一第二变量之间的一关系的一曲线的一示例的一示意图。
图18是根据本公开的一实施例的用于一目标的一计数器使用被添加到所述计数器的一第一步长值及从所述计数器被减去的一第二步长值的一示例性时序图,其中所述第一步长值小于所述第二步长值。
图19是以图解说明根据本公开的一实施例的一概率增加或减少步骤除了图8中的所述概率增加或减少步骤之外还包括用于尺寸平滑的至少一个步骤的一示意图。
图20是以图解说明根据本公开的一实施例的一概率初始化步骤具备从图9中的所述概率初始化步骤中的至少一个对应步骤进行修改的至少一个步骤以进一步包括用于尺寸平滑的至少一个对应部分的一示意图。
图21是以图解说明根据本公开的一实施例的一不透明度相依的稳定化图像合成效果生成步骤具备从图11中的所述不透明度相依的稳定化图像合成效果生成步骤中的至少一个对应步骤进行修改的至少一个步骤以进一步包括用于尺寸平滑的至少一个对应部分的一示意图。
图22是以图解说明一光源所对应的多个对应光源区域具有多个不稳定对应深度相关特性的所述多个原始图像以及归因于图19、图20及图21中的尺寸平滑的多个图像的一示意图。
具体实施方式
结合附图对本公开实施例的技术内容、结构特征、达到的目的及效果进行详细说明如下。具体地,本公开实施例中的术语仅用于说明本公开实施例的目的,并不用于限制本公开。
不同附图间的相同附图标记表示本质相同的元件,其中一个描述适用于其他元件。
如本文所使用的,术语“使用至少一个对象进行至少一个操作(performing atleast one operation using at least one object)”是指至少一个对象被直接利用于进行所述至少一个操作的情况,或者所述至少一个对象被至少一项干预操作修改,并且所述被修改的至少一个对象被直接利用于进行所述至少一个操作的情况。
如本文所使用的,术语“对至少一个对象进行至少一个操作(performing atleast one operation on at least one object)”是指所述至少一个对象被直接利用于进行所述至少一个操作的情况。
如本文所使用的,术语“部分(portion)”旨在表示一片段或一整体。
如本文所使用的,术语“图像序列(image sequence)”是指一视频的一部分、一电影的一部分或多个一连串实时取景图像。
图1是以图解说明根据本公开的一实施例的摄取一光源集1LS被捕获的一第一图像序列的一终端102的一示意图。在图1中,所述光源集1LS是实体的。所述光源集1LS包括多个光源1LSa至1LSe。所述终端102用于摄取所述光源集1LS被捕获的所述第一图像序列。
图2是以图解说明根据本公开的一实施例的用于所述光源集1LS(在图1中被例示)中的所述光源1LSc在一图像序列22F中被捕获所生成的多个人造散景效果26BEc的一时间性闪烁问题的一示意图。所述图像序列22F是由图1中的所述终端102捕获的所述第一图像序列。为了简单起见,在图2中,仅所述光源1LSc被图解说明为被捕获于所述图像序列22F中,并且其他光源1LSa、1LSb、1LSd及1LSe被省略。所述图像序列22F包括多个原始图像22F1至22Ft。示例性的两个原始图像22Fn及22Fn+1可以是连续的所述多个原始图像22F1至22Ft中的任意两者。所述光源1LSc处于一被捕获的充分光照状态(即,所述光源1LSc被所述终端102捕获于所述两个原始图像22Fn及22Fn+1中时处于一充分光照状态)。在所述两个原始图像22Fn及22Fn+1中的多个对应光源区域22LSRcn及22LSRcn+1对应于所述光源1LSc。为了使用图像序列合成用于所述两个原始图像22Fn及22Fn+1中的所述多个对应光源区域22LSRcn及22LSRcn+1生成多个对应人造散景效果,所述多个对应光源区域22LSRcn及22LSRcn+1需被检测。在检测后,所述光源区域22LSRcn被成功检测,由具备所述光源区域24LSRcn的一图像24Fn表示,所述光源区域24LSRcn对应于所述光源区域22LSRcn。然而,所述光源区域22LSRcn+1未被成功检测,由没有任何光源区域的一图像24Fn+1表示。由于所述终端102的至少一噪声或一灯光效果等,所述光源区域22LSRcn+1未被成功检测。因此,在被所述图像序列合成生成的一图像序列26F中,用于所述光源区域22LSRcn的一对应人造散景效果26BEcn被成功生成,并且用于所述光源区域22LSRcn+1的一对应人造散景效果26BEcn+1未被成功生成。因此,所述图像序列26F中的所述人造散景效果26BEc具有所述时间性闪烁问题。
如本文所使用的,术语“当一光源被一终端捕获于一第一图像中时,所述光源处于一充分光照状态(a light source is in a sufficiently illuminating state whenthe light source is captured in a first image by a terminal)”是指所述光源处于一开启(ON)状态,并且所述终端接收足够的光照,使得所述第一图像中的一第一光源区域的检测是成功的情况。所述第一光源区域对应于所述光源。因为处于所述开启(ON)状态的所述光源可能会闪烁(flickering)或扑闪(blinking),并且所述光源的一闪烁频率或扑闪频率与所述终端的一图像速率(image rate)可能经受至少一个误差,因此,当所述光源被所述终端捕获于一第二图像中时,所述光源也可能处于一非充分光照状态。在这种情况下,所述光源处于所述开启状态,并且所述终端接收非足够的光照,使得所述第二图像中的一第二光源区域的检测是不成功的。所述第二光源区域对应于所述光源。闪烁的光源的一示例可以是一脉宽调制(PWM)控制的发光二极管(LED)。
在上述示例中,以图解说明用于一目标集被捕获于一图像序列中所生成的多个图像合成效果的所述时间性闪烁问题,其中所述诸多图像合成效果是诸多图像混合效果,诸如所述诸多对应人造散景效果26BEc,以及所述目标集是所述光源集1LS。如下的一些实施例被导向为解决上述问题。其他图像合成效果存在适用于本公开的主题的诸多替代实施例。例如,所述诸多图像合成效果可以是诸多对应人造脸部艺术标贴效果,及所述目标集为一脸部集。所述人造脸部艺术标贴效果可能具有诸多平滑的或骤然的脸部艺术的标贴对脸部的转变(smooth or abrupt face art sticker-to-face transitions)。
图3是以图解说明根据本公开的一实施例的用于所述光源集1LS中的一光源1LSd(如图1中所图解说明)在一图像序列32F中被捕获所生成的多个人造散景效果36BEd的一尺寸跃变问题的一示意图。所述图像序列32F是由图1中的所述终端102捕获的所述第一图像序列。为了简单起见,在图3中,仅所述光源1LSd被图解说明为被捕获于所述图像序列32F中,诸多其他光源1LSa、1LSb、1LSc及1LSe被省略。所述图像序列32F包括多个原始图像32F1至32Ft。示例性的两个原始图像32Fn-1及32Fn可以是连续的所述多个原始图像32F1至32Ft中的任意两者。当所述两个原始图像32Fn-1及32Fn由所述终端102捕获时,所述光源1LSd没有移动,所述终端102也没有移动。然而,所述原始图像32Fn-1中的一光源区域32LSRdn-1的一尺寸大于所述原始图像32Fn中的一光源区域32LSRdn的一尺寸。所述多个光源区域32LSRdn-1及32LSRdn对应于所述光源1LSd。以此方式,所述光源1LSd的一深度貌似从对于所述原始图像32Fn-1较大跃变成对于所述原始图像32Fn较小。对于与所述示例性的两个原始图像32Fn-1及32Fn重叠一个图像的另一示例性的两个原始图像32Fn及32Fn+1,所述光源1LSd的所述深度再度跃变。对于所述示例性的两个原始图像32Fn-1及32Fn中的所述多个对应光源区域32LSRdn-1及32LSRdn,使用所述图像序列合成基于所述多个对应光源区域32LSRdn-1及32LSRdn的多个对应深度相关特性生成多个对应人造散景效果36BEdn-1及36BEdn。所述多个人造散景效果36BEdn-1及36BEdn的一示例是多个对应散景光效果。每个深度相关特性可以是用于所述对应原始图像32Fn-1或32Fn的所述对应光源区域32LSRdn-1或32LSRdn的所述对应尺寸或者所述光源1LSd的所述对应深度。因此,在通过所述图像序列合成而生成的一图像序列36F中,所述人造散景效果36BEdn-1及36BEdn的多个对应尺寸貌似在跃变。然后,类似地,多个对应尺寸的所述人造散景效果36BEdn及36BEdn+1貌似再次在跃变。由于所述两个人造散景效果36BEdn-1及36BEdn以及所述两个人造散景效果36BEdn及36BEdn+1中的任何集合,所述图像序列36F中的所述多个人造散景效果36BEd具有所述尺寸跃变问题。
在上述示例中,一目标集在一图像序列中被捕获而生成的诸多图像合成效果的所述尺寸跃变问题被例示,其中所述诸多图像合成效果是诸多图像混合效果,诸如所述诸多对应人造散景效果36BEd,及所述目标集是所述光源集1LS。如下的一些实施例被导向为解决上述问题。其他图像合成效果存在适用于本公开的主题的诸多替代实施例。例如:所述诸多图像合成效果可以是多个对应人造脸部艺术标贴效果,所述目标集是一脸部集。所述人造脸部艺术标贴效果可能具有诸多平滑的或骤然的脸部艺术的标贴对脸部的转变。
图4是以图解说明根据本公开的一实施例的一终端102中的输入、处理及输出硬件模块的一框图。参考图4,所述终端102包括一相机模块(camera module)402、一处理器模块(processor module)404、一内存模块(memory module)406、一显示模块(display module)408、一存储模块(storage module)410、一有线或无线通信模块(wired or wirelesscommunication module)412及多个总线(buses)414。所述终端102可以是诸多手机、诸多平板电脑、诸多笔记本电脑、诸多台式电脑或具有足够计算能力以进行所述图像序列合成的任何电子装置。
所述相机模块402是一输入硬件模块,并且被配置成摄取所述目标集被捕获的所述第一图像序列(参考图1描述)。所述第一图像序列将通过所述总线414传输到所述处理器模块404。所述相机模块402包括一RGB相机或一灰度相机。替代地,所述第一图像序列可以使用其他输入硬件模块,诸如所述存储模块410,或者所述有线或无线通信模块412而获得。所述存储模块410被配置成存储所述第一图像序列,所述第一图像序列通过所述总线414被传输到所述处理器模块404。所述有线或无线通信模块412被配置成通过有线或无线通信从一网络接收所述第一图像序列,其中所述第一图像序列通过所述总线414传输到所述处理器模块404。
所述存储模块406存储诸多程序指令,所述诸多程序指令由所述处理器模块404执行,致使所述处理器模块404进行所述图像序列合成以生成一第二图像序列,所述第二图像序列具备多个对应稳定化图像合成效果集,用于所述第一图像序列中捕获的所述目标集。所述内存模块406可以是一暂时性或非暂时性计算机可读介质,所述暂时性或非暂时性计算机可读介质包括至少一个内存。所述处理器模块404包括至少一个处理器,所述处理器经由所述总线414直接或间接向所述相机模块402、所述内存模块406、所述显示模块408、所述存储模块410及所述有线或无线通信模块412发送信号及/或直接或间接从所述相机模块402、所述内存模块406、所述显示模块408、所述存储模块410及所述有线或无线通信模块412接收信号。所述至少一个处理器可以是(诸多)中央处理单元(CPU(s))、(诸多)图形处理单元(GPU(s))及/或(诸多)数字信号处理器(DSP(s))。所述(诸多)CPU可以经由所述总线414将所述第一图像序列、一些程序指令及其他数据或指令发送到所述(诸多)GPU及/或(诸多)DSP。
所述显示模块408为一输出硬件模块,并且被配置成显示通过所述总线414从所述处理器模块404接收的所述第二图像序列。替代地,所述第二图像序列可以使用另一个输出硬件模块诸如所述存储模块410或者所述有线或无线通信模块412被输出。所述存储模块410被配置成存储通过所述总线414从所述处理器模块404接收的所述第二图像序列。所述有线或无线通信模块412被配置成将所述第二图像序列通过有线或无线通信传输到所述网络,其中所述第二图像序列通过所述总线414从所述处理器模块404被接收。
在上述实施例中,所述终端102是一种计算系统,所述计算系统的所有构件通过所述总线414被集成在一起。其他类型的计算系统诸如具有一远程相机模块而非所述相机模块102的一计算系统是在本公开的预期范围内。
图5是以图解说明根据本公开的一实施例的一种对于所述第一图像序列生成多个稳定化图像合成效果集的方法500的一流程图。所述用于所述第一图像序列生成多个稳定化图像合成效果集的方法500包括如下步骤。在一步骤502中,一第一图像序列,所述第一图像序列中捕获了包括多个目标的一目标集。所述第一图像序列包括多个原始图像。多个对应目标区域集是在所述多个原始图像中。每个目标区域集包括多个对应目标区域,所述多个对应目标区域与所述多个目标相对应。在步骤504中,检测所述多个原始图像中的所述多个对应目标区域集,以获得一检测结果。在步骤506中,单独地或组合地,使用所述检测结果进行稳定化,以获得一稳定化结果,以及,使用所述稳定化结果对于所述多个原始图像中的所述多个对应目标区域集生成多个对应稳定化图像合成效果集,以获得一第二图像序列,使得所述多个稳定化图像合成效果集比一第三图像序列中的多个图像合成效果集更为时间性闪烁平滑化(more temporal flickering-smoothened)。每个稳定化图像合成效果集包括多个稳定化图像合成效果,所述多个稳定化图像合成效果对应于所述对应目标区域集的所述多个对应目标区域的一对应部分。除了使用所述检测结果而非所述稳定化结果来生成所述多个图像合成效果集之外,如同所述第二图像序列那样获得所述第三图像序列。
在如下的示例中,包括所述多个目标的所述目标集是包括多个光源的一光源集。包括了所述多个稳定化图像合成效果的每个稳定化图像合成效果集是一对应稳定化人造散景效果集,所述对应稳定化人造散景效果集包括多个稳定化人造散景效果。
图6是以图解说明根据本公开的一实施例的归因于图5中获得所述第一图像序列的步骤502的多个原始图像62Fn-1至62Fn+1以及归因于图5中检测所述第一图像序列中捕获的所述光源集的步骤504的多个图像64Fn-1至64Fn+1。参考图1、图5及图6,在步骤502中,捕获所述第一图像序列,其中所述光源集1LS包括所述多个光源1LSa至1LSe。所述第一图像序列包括所述多个原始图像62F1至62Ft。示例性的三个原始图像62Fn-1到62Fn+1可以是连续的所述多个原始图像62F1到62Ft中的任意三者。所述多个对应光源区域集62LSRn-1至62LSRn+1是在所述多个原始图像62Fn-1至62Fn+1中。每个光源区域集62LSRn-1、62LSRn或62LSRn+1包括多个对应光源区域62LSRan-1至62LSRen-1、62LSRan至62LSRen或62LSRan+1至62LSRen+1,所述多个对应光源区域62LSRan-1至62LSRen-1、62LSRan至62LSRen或62LSRan+1至62LSRen+1对应于所述多个对应光源1LSa至1LSe。在所述原始图像62Fn-1被捕获时,所述多个光源1LSa至1LSe处于多个相应被捕获的充分光照状态。在所述原始图像62Fn被捕获时,所述多个光源1LSa至1LSd处于多个相应被捕获的充分光照状态,并且所述光源1LSe处于一被捕获的关闭(OFF)状态。在所述原始图像62Fn+1被捕获时,所述多个光源1LSa至1LSd处于多个相应被捕获的充分光照状态,并且所述光源1LSe处于一被捕获的关闭状态。
参考图5及图6,在步骤504中,检测所述多个原始图像62Fn-1至62Fn+1中的所述对应光源区域集62LSRn-1至62LSRn+1以获得一检测结果。
在检测后,对于所述原始图像62Fn-1,所述多个光源区域62LSRan-1、62LSRcn-1、62LSRdn-1及62LSRen-1被成功检测,而所述光源区域62LSRbn-1未被成功检测,由仅具有多个光源区域64LSRan-1、64LSRcn-1、64LSRdn-1及64LSRen-1的一图像64Fn-1表示,所述多个光源区域64LSRan-1、64LSRcn-1、64LSRdn-1及64LSRen-1对应于所述多个光源区域62LSRan-1、62LSRcn-1、62LSRdn-1及62LSRen-1。所述检测结果包括所述原始图像62Fn-1中的所述多个光源区域62LSRan-1、62LSRcn-1、62LSRdn-1、62LSRen-1的多个对应位置,如由所述图像64Fn-1中的所述64LSRan-1、64LSRcn-1、64LSRdn-1及64LSRen-1的多个对应位置表示。
对于所述原始图像62Fn,所述多个光源区域62LSRan、62LSRcn及62LSRdn被成功检测,而所述光源区域62LSRbn及62LSRen未被成功检测,由仅具有多个光源区域64LSRan、64LSRcn及64LSRdn的一图像64Fn表示,所述多个光源区域64LSRan、64LSRcn及64LSRdn对应于所述多个光源区域62LSRan、62LSRcn及62LSRdn。所述检测结果包括所述原始图像62Fn中的所述多个光源区域62LSRan、62LSRcn及62LSRdn的多个对应位置,如由所述图像64Fn中的所述64LSRan、64LSRcn及64LSRdn的多个对应位置表示。
对于所述原始图像62Fn+1,所述多个光源区域62LSRan+1、62LSRbn+1及62LSRdn+1被成功检测,而所述多个光源区域62LSRcn+1及62LSRen+1未被成功检测,由仅具有多个光源区域64LSRan+1、64LSRbn+1及64LSRdn+1的一图像64Fn+1表示,所述多个光源区域64LSRan+1、64LSRbn+1及64LSRdn+1对应于所述多个光源区域62LSRan+1、62LSRbn+1及62LSRdn+1。所述检测结果包括所述原始图像62Fn+1中的所述多个光源区域62LSRan+1、62LSRbn+1及62LSRdn+1的多个对应位置,如由所述图像64Fn+1中的所述多个光源区域64LSRan+1、64LSRbn+1及64LSRdn+1的多个对应位置表示。
在上述示例中,在步骤502中,所述目标集是所述光源集1LS。在步骤504中,所述多个对应原始图像中的所述多个目标区域集是所述多个对应原始图像62Fn-1至62Fn+1中的所述多个对应光源区域集62LSRn-1至62LSRn+1。对于所述多个光源区域集62LSRn-1至62LSRn+1中的所述多个对应光源区域(譬如62LSRan-1)的检测成功可以归因于所述光源集1LS中的所述多个对应光源(譬如1LSa)处于所述对应被捕获的充分光照状态(即,所述多个相应光源(譬如1LSa)在所述多个对应原始图像(譬如62Fn-1)中被捕获时处于所述相应充分光照状态)。对于所述光源区域62LSRcn+1的检测失败归因于所述终端102的至少一噪声或一灯光效果等。对于所述光源区域62LSRen+1的检测失败归因于所述对应光源1LSe处于所述被捕获的关闭状态(即,所述多个光源1LSe被捕获于所述原始图像(譬如62Fn+1)中时处于所述关闭状态)。其他原因诸如,在所述终端102的所述相机模块402进行捕获时,所述终端102移动及一光源不再处于所述终端102的所述相机模块402的一视野中,也可能导致检测不成功。替代地,在步骤502中,所述目标集是一脸部集。在步骤504中,所述多个对应原始图像中的所述多个目标区域集是多个对应原始图像中的多个对应脸部区域集。对于所述多个脸部区域集中的多个对应脸部区域的检测成功可以归因于所述多个脸部集中的多个对应脸部处于多个对应被捕获的充分光照状态(即,所述多个对应脸部被捕获于所述多个相应原始图像中时处于多个对应充分光照状态)。一原因诸如,所述终端102的至少一噪声或一灯光效果等,或者在所述终端102的所述相机模块402进行捕获时,所述终端102移动及一脸部不再处于所述终端102的所述相机模块402的一视野中,可能导致检测不成功。
本文使用的术语“当一脸部被一终端捕获于一第一图像中时,一脸部处于一充分光照状态(a face is in a sufficiently illuminated state when a face iscaptured in a first image by a terminal)”是指所述脸部向所述终端反射足够光照,使得所述第一图像中的一第一脸部区域的检测是成功的情况。所述第一脸部区域对应于所述脸部。由于所述脸部的采光可能是不稳定的,因此所述脸部被所述终端捕获于一第二图像中时,所述脸部也可能处于一光照不足状态。在这种情况下,所述脸部向所述终端反射的光照不足,使得对于所述第二图像中的一第二脸部区域的检测是不成功的。所述第二脸部区域对应于所述脸部。
图7是以图解说明根据本公开的一实施例的图5中进行稳定化以获得一稳定化结果以及使用所述稳定化结果来生成多个稳定化图像合成效果集的步骤506的一流程图。参考图5及图7所示,步骤506包括以下步骤。在一步骤702中,将用于所述多个原始图像中的一当前图像(a current image)的所述稳定化结果设置为用于所述多个原始图像中的一稍前图像(a previous image)的所述稳定化结果。在一步骤704中,将用于所述稍前图像的所述稳定化结果中的多个目标区域及用于所述当前图像的所述检测结果中的多个目标区域所对应的多个匹配标志中的每个匹配标志初始化为假(FALSE)。在一步骤706中,进行一概率增加或减少步骤。在一步骤708中,进行一概率初始化步骤。在一步骤710中,进行一概率相依的不透明度决定步骤。在一步骤712中,进行一不透明度相依的稳定化图像合成效果生成步骤。然后,步骤506循环回到步骤702,直到没有更多的图像要由步骤702到步骤712处理。
图8是以图解说明根据本公开的一实施例的图7中的所述概率增加或减少步骤706的一流程图。所述概率增加或减少步骤706包括以下步骤。在一步骤802中,获得用于所述稍前图像的所述稳定化结果中的一当前目标区域的一对应位置。在一步骤806中,获得用于所述当前图像的所述检测结果中的一当前目标区域的一对应位置。在一步骤808中,决定用于所述当前图像的所述检测结果中的所述当前目标区域的所述对应匹配标志是否为真(TRUE)。如果为是,则步骤706循环回到步骤806。如果为否,则进行一步骤810。在步骤810中,决定用于所述当前图像的所述检测结果中的所述当前目标区域的所述对应位置与对于所述稍前图像的所述稳定化结果中的所述当前目标区域的所述对应位置是否相匹配。如果为是,则进行一步骤812。如果为否,则进行步骤806。在步骤812中,将用于所述稍前图像的所述稳定化结果中的所述当前目标区域及用于所述当前图像的所述检测结果中的所述当前目标区域的所述对应匹配标志设置为真(TRUE)。在一步骤814中,在用于所述当前图像的所述稳定化结果中,致使一第一目标在迄至所述当前图像的多个图像被捕获时处于一图像合成效果期望状态的一对应概率,从所述第一目标在迄至所述稍前图像的多个图像被捕获时处于所述图像合成效果期望状态的一对应概率增加,其中所述第一目标对应于所述当前图像的所述检测结果中的所述当前目标区域。在一步骤816中,在用于所述当前图像的所述稳定化结果中,将用于所述当前图像的所述检测结果中的所述当前目标区域所对应的所述第一目标区域的一对应位置更新为用于所述当前图像的所述检测结果中的所述当前目标区域的所述对应位置。步骤706在此循环回到步骤806(即在一框804内循环),如前所述,将所述当前目标区域更新为一下一个目标区域,直到用于所述当前图像的所述检测结果中不再有更多(诸多)目标区域。然后,进行一步骤818。在步骤818中,决定用于所述稍前图像的所述稳定化结果中的所述当前目标区域的所述对应匹配标志是否为假(FALSE)。如果为是,则进行一步骤820。如果为否,则步骤706循环回到步骤802。在步骤820中,在用于所述当前图像的所述稳定化结果中,致使一第二目标在迄至所述当前图像的所述多个图像被捕获时处于所述图像合成效果期望状态的一对应概率,从所述第二目标在迄至所述稍前图像的多个图像被捕获时处于所述图像合成效果期望状态的一对应概率减少,其中所述第二目标对应于所述稍前图像的所述稳定化结果中的所述当前目标区域。步骤706在此循环回到步骤802,如前所述,将所述当前目标区域更新为一下一个目标区域,直到用于所述稍前图像的所述稳定化结果中不再有更多(诸多)目标区域。然后,进行随后的步骤708。
图9是以图解说明根据本公开的一实施例的图7中的所述概率初始化步骤708的一流程图。所述概率初始化步骤708包括以下步骤。在一步骤902中,从用于所述当前图像的所述检测结果中的所述多个目标区域所对应的所述多个匹配标志中获得一当前匹配标志。在步骤904,决定所述当前匹配标志是否为真(TRUE)。在一步骤906中,在用于所述当前图像的所述稳定化结果中,致使一第三目标在迄至所述当前图像的所述多个图像被捕获时处于所述图像合成效果期望状态的一对应概率进行初始化,其中所述第三目标对应于所述当前匹配标志所对应的所述当前图像的所述稳定化结果中的一目标区域。在一步骤908中,在用于所述当前图像的所述稳定化结果中,将所述当前匹配标志所对应的所述目标区域的一对应位置设置为用于所述当前图像的所述检测结果中的所述当前目标区域的所述对应位置。然后,步骤708循环回到步骤902,直到不再有更多(诸多)匹配标志。
图10是以图解说明根据本公开的一实施例的图7中的所述概率相依的不透明度决定步骤710的一流程图。所述概率相依的不透明度决定步骤710包括以下步骤。在一步骤1002中,从用于所述当前图像的所述稳定化结果中,获得一第四目标在迄至所述当前图像的所述多个图像被捕获时处于所述图像合成效果期望状态的一对应概率,其中所述第四目标对应于所述当前图像的所述稳定化结果中的一当前目标区域。在一步骤1004中,在用于所述当前图像的所述稳定化结果中,使用所述第四目标在迄至所述当前图像的所述多个图像被捕获时处于所述图像合成效果期望状态的所述对应概率,决定所述当前图像的所述稳定化结果中的所述当前目标区域的一对应不透明度。然后,步骤710循环回到步骤1002,直到用于所述当前图像的所述稳定化结果中不再有更多(诸多)目标区域。
图11是以图解说明根据本公开的一实施例的图7中的所述不透明度相依的稳定化图像合成效果生成步骤712的一流程图。所述不透明度相依的稳定化图像合成效果生成步骤712包括以下步骤。在一步骤1102中,获得用于所述当前图像的所述稳定化结果中的一当前目标区域的所述对应位置及所述对应不透明度。在一步骤1104中,生成所述多个稳定化图像合成效果集中的一第一稳定化图像合成效果集中的一第一稳定化图像合成效果。所述第一稳定化图像合成效果集对应于所述当前图像,所述第一稳定化图像合成效果对应于所述当前图像的所述稳定化结果中的所述当前目标区域,以及所述第一稳定化图像合成效果位于所述当前图像的所述稳定化结果中的所述当前目标区域的所述对应位置,并且具有用于所述当前图像的所述稳定化结果中的所述当前目标区域的所述相应不透明度。然后,步骤712循环回到步骤1102,直到用于所述当前图像的所述稳定化结果中不再有更多(诸多)目标区域。
参考图6至图9,在步骤702中,将所述多个原始图像62Fn-1至62Fn+1中的一当前图像62Fn的所述稳定化结果设置为所述多个原始图像62Fn-1至62Fn+1中的一稍前图像62Fn-1的所述稳定化结果。假设所述稍前图像62Fn-1的所述稳定化结果也由所述图像64Fn表示。在步骤704中,将所述稍前图像62Fn-1的所述稳定化结果中的多个光源区域64LSRan-1、64LSRcn-1、64LSRdn-1及64LSRen-1以及所述当前图像62Fn的所述检测结果中的多个光源区域64LSRan、64LSRcn及64LSRdn所对应的多个匹配标志中的每个匹配标志初始化为假(FALSE)。在步骤802中,获得用于所述稍前图像62Fn-1的所述稳定化结果中的一当前光源区域64LSRan-1的一对应位置。在步骤806中,获得用于所述当前图像62Fn的所述检测结果中的一当前光源区域64LSRan的一对应位置。在步骤808中,决定用于所述当前图像62Fn的所述检测结果中的所述当前光源区域64LSRan的所述对应匹配标志为假(FALSE)。因此,进行步骤810。在步骤810中,决定用于所述当前图像62Fn的所述检测结果中的所述当前光源区域64LSRan的所述对应位置与用于所述稍前图像62Fn-1的所述稳定化结果中的所述当前光源区域64LSRan-1的所述对应位置相匹配。因此,进行步骤812。在步骤812中,将用于所述稍前图像62Fn-1的所述稳定化结果中的所述当前光源区域64LSRan-1及用于所述当前图像62Fn的所述检测结果中的所述当前光源区域64LSRan的所述多个对应匹配标志设置为真(TRUE)。在步骤814中,在用于所述当前图像62Fn的所述稳定化结果中,致使一第一光源在迄至所述当前图像62Fn的多个图像62F1至62Fn被捕获时处于一图像合成效果期望状态的一对应概率,从所述第一光源在迄至所述稍前图像62Fn-1的多个图像62F1至62Fn-1被捕获时处于所述图像合成效果期望状态的一对应概率增加,其中所述第一光源对应于所述当前图像62Fn的所述检测结果中的所述当前光源区域64LSRan。遍历本示例中,术语“一第一光源在迄至所述当前图像的多个图像被捕获时处于一图像合成效果期望状态(a first light source being in an imagecompositing effect desired state when a plurality of images up to the currentimage are captured)”是指所述第一光源在被所述终端102的所述相机模块402捕获迄至所述当前图像的所述多个图像时处于一被捕获的开启状态的情况。术语“所述第一光源在被所述终端102的所述相机模块402捕获迄至所述当前图像的所述多个图像时处于一被捕获的开启状态(the first light source is in a captured ON state when the imagesup to the current image are captured by the camera module 402 of the terminal102)”是指所述第一光源在被所述终端102的所述相机模块402捕获迄至所述当前图像的所述多个图像时处于一开启状态并且所述第一光源处于所述终端102的所述相机模块402捕获所述多个图像的一视野中的情况。在步骤816中,在用于所述当前图像62Fn的所述稳定化结果中,将所述当前图像62Fn的所述检测结果中的所述当前光源区域64LSRan所对应的一第一光源区域的一对应位置更新为用于所述当前图像62Fn的所述检测结果中的所述当前光源区域64LSRan的所述对应位置。由于所述当前图像62Fn的所述检测结果中有较多的光源区域64LSRcn及64LSRdn,因此步骤706循环回到步骤806。对于所述多个光源区域64LSRcn及64LSRdn,在步骤808中,决定进行步骤810,以及在步骤810中,决定步骤706循环回到步骤806。然后,由于所述当前图像62Fn的所述检测结果中没有更多的光源区域,因此进行步骤818。在步骤818中,决定用于所述稍前图像62Fn-1的所述稳定化结果中的所述当前光源区域64LSRan-1的所述对应匹配标志为真(TRUE)。由于所述稍前图像62Fn-1的所述稳定化结果中有更多的光源区域64LSRcn-1、64LSRdn-1及64LSRen-1,因此步骤706循环回到步骤802。对于所述多个光源区域64LSRcn-1及64LSRdn-1,进行的诸多步骤类似用于所述光源区域64LSRan-1的诸多步骤,在此省略。对于所述光源区域64LSRen-1,由于步骤810中的所述光源区域64LSRan、64LSRcn及64LSRdn无一者与所述稍前图像62Fn-1的所述稳定化结果中的所述当前光源区域64LSRen-1的所述对应位置相匹配,在步骤818中决定所述稍前图像62Fn-1的所述稳定化结果中的所述当前光源区域64LSRen-1的所述对应匹配标志为假(FALSE)。因此,进行步骤820。在步骤820中,在用于所述当前图像62Fn的所述稳定化结果中,致使一第二光源在捕获迄至所述当前图像62Fn的所述多个图像62F1至62Fn时处于所述图像合成效果期望状态的一对应概率,从所述第二光源在迄至所述稍前图像62Fn-1的多个图像62F1至62Fn-1被捕获时处于所述图像合成效果期望状态的一对应概率减少,其中所述第二光源对应于所述稍前图像62Fn-1的所述稳定化结果中的所述当前光源区域64LSRen-1。
由于在步骤810中的所述当前图像62Fn的所述检测结果中的全部所述光源区域64LSRan、64LSRcn及64LSRdn已被决定为与所述稍前图像62Fn-1的所述稳定化结果中的所述多个对应光源区域64LSRan-1、64LSRcn-1及64LSRdn-1相匹配,在步骤904中决定所述当前图像62Fn的所述检测结果中的所述多个光源区域64LSRan、64LSRcn及64LSRdn的全部所述对应匹配标志为真(TRUE)。因此,对于所述当前图像62Fn的所述检测结果中的多个光源区域64LSRan、64LSRcn及64LSRdn中的任何一者,不进行步骤906及步骤908。
然后,对于所述当前图像62Fn进行所述多个步骤710及712。归因于步骤710及步骤712的诸多图像的诸多示例将参考图12及图13被描述。
然后,步骤506循环回到步骤702,将所述稍前图像62Fn-1更新为所述当前图像62Fn,并且将所述当前图像62Fn更新为一随后图像(a next image)62Fn+1。对于所述稍前图像62Fn的所述稳定化结果中的所述光源区域64LSRan及64LSRdn与所述当前图像62Fn+1的所述检测结果中的所述对应光源区域64LSRan+1及64LSRdn+1相互匹配,进行的诸多步骤类似用于多个光源区域64LSRan-1与所述光源区域64LSRan相互匹配的诸多步骤。
对于所述稍前图像62Fn的所述稳定化结果中的所述光源区域64LSRcn,由于所述当前图像62Fn+1的所述检测结果中的所述多个光源区域64LSRan+1、64LSRbn+1及64LSRdn+1无一者与所述光源区域64LSRcn相匹配,在步骤818中决定所述稍前图像62Fn的所述稳定化结果中的所述当前光源区域64LSRcn的所述对应匹配标志为假(FALSE)。因此,进行步骤820。在步骤820中,在用于所述当前图像62Fn+1的所述稳定化结果中,致使一第二光源在迄至所述当前图像62Fn+1的所述多个图像62F1至62Fn+1被捕获时处于所述图像合成效果期望状态的一对应概率,从在捕获迄至所述稍前图像62Fn的所述多个图像62F1至62Fn时的所述第二光源处于所述图像合成效果期望状态的一对应概率被减少,其中所述第二光源对应于所述稍前图像62Fn的所述稳定化结果中的所述当前光源区域64LSRcn。
对于所述稍前图像62Fn的所述稳定化结果中的所述光源区域64LSRen,由于所述当前图像62Fn+1的所述检测结果中的所述光源区域64LSRan+1、64LSRbn+1及64LSRdn+1无一者与所述光源匹配区域64LSRen相匹配,在步骤818中决定所述稍前图像62Fn的所述稳定化结果中的所述当前光源区域64LSRen的所述对应匹配标志为假(FALSE)。因此,进行步骤820。在步骤820中,在用于所述当前图像的所述稳定化结果中,致使一第二光源在迄至所述当前图像62Fn+1的所述多个图像62F1至62Fn+1被捕获时处于所述图像合成效果期望状态的一对应概率,从所述第二光源在迄至所述稍前图像62Fn的所述多个图像62F1至62Fn被捕获时处于所述图像合成效果期望状态的一对应概率减少,其中所述第二光源对应于所述稍前图像62Fn的所述稳定化结果中的所述当前光源区域64LSRen。
对于所述当前图像62Fn+1的所述检测结果中的所述光源区域64LSRbn+1,由于所述稍前图像62Fn的所述稳定化结果中的所述多个光源区域64LSRan、64LSRcn及64LSRdn无一者与所述当前光源区域64LSRbn+1的所述对应位置相匹配,在步骤708中进行步骤906及步骤908,如下所述。在步骤902中,从用于所述当前图像62Fn+1的所述检测结果中的所述多个光源区域64LSRan+1、64LSRbn+1及64LSRdn+1所对应的所述多个匹配标志中获得一当前匹配标志(用于所述光源区域64LSRbn+1)。在步骤904中,决定所述当前匹配标志为假(FALSE)。因此,进行步骤906。在步骤906中,在用于所述当前图像62Fn+1的所述稳定化结果中,致使一第三目标在迄至所述当前图像62Fn+1的所述多个图像62F1至62Fn+1被捕获时处于所述图像合成效果期望状态的一对应概率进行初始化,其中所述第三目标对应于所述当前匹配标志所对应的所述当前图像62Fn+1的所述稳定化结果中的一光源区域64LSRbn+1。在步骤908中,在用于所述当前图像62Fn+1的所述稳定化结果中,将所述当前匹配标志所对应的所述光源区域64LSRbn+1的一对应位置设置为所述当前图像62Fn+1的所述检测结果中的所述当前光源区域64LSRbn+1的所述对应位置。
然后,对于所述当前图像62Fn+1进行步骤710及步骤712。归因于步骤710及步骤712的诸多图像的诸多示例将参考图12及图13被描述。
图12是以图解说明图6中的捕获所述光源1LSc处于一图像合成效果期望状态的所述多个原始图像62Fn-1至62Fn+1中的一部分62Fn及62Fn+1、图6中的具备未成功检测所述光源1LSc的所述图像64Fn+1的所述多个原始图像62Fn-1至62Fn+1中的一部分62Fn及62Fn+1,以及归因于对于所述光源1LSc进行在图8中的所述概率增加或减少步骤706、图10中的所述概率相依的不透明度决定步骤710及图11中的所述不透明度相依的稳定化图像合成效果生成步骤712的多个图像126Fn及126Fn+1的一示意图。为了简单起见,在图12中,仅与所述光源1LSc相关的部分被图解说明为一示例,省略与其他光源1LSa、1LSb、1LSd、1LSe相关的部分。参考图6、图8、图10至图12,如前所述,当所述当前图像为图7中的步骤506中的所述图像62Fn时,对于所述稍前图像62Fn-1的所述稳定化结果中的所述光源区域64LSRcn-1,决定所述光源区域64LSRcn-1与所述当前图像62Fn的所述检测结果中的所述光源区域64LSRcn相匹配。基于如上所述,基于所述检测结果决定所述当前图像62Fn中的所述光源区域62LSRcn为被成功检测。
然后,在步骤814中,在用于所述当前图像62Fn的所述稳定化结果中,致使所述光源1LSc在迄至所述当前图像62Fn的所述多个图像62F1至62Fn被捕获时处于所述图像合成效果期望状态的所述对应概率,从所述光源1LSc在迄至所述稍前图像62Fn-1的所述多个图像62F1至62Fn-1被捕获时处于所述图像合成效果期望状态的所述对应概率增加。然后,在步骤1002中,从用于所述当前图像62Fn的所述稳定化结果中,获得所述光源1LSc在迄至所述当前图像62Fn的所述多个图像62F1至62Fn被捕获时处于所述图像合成效果期望状态的所述对应概率。在步骤1004中,使用所述光源1LSc在迄至所述当前图像62Fn的所述多个图像62F1至62Fn被捕获时处于所述图像合成效果期望状态的所述对应概率,在用于所述当前图像62Fn的所述稳定化结果中,决定用于所述当前图像62Fn的所述稳定化结果中的所述光源区域64LSRcn的一对应不透明度。然后,在步骤1102中,获得用于所述当前图像62Fn的稳定化结果中的所述光源区域64LSRcn的所述对应位置及所述对应不透明度。在步骤1104中,生成所述多个稳定化图像合成效果集(在步骤506中提及)中的一第一稳定化图像合成效果集中的一第一稳定化图像合成效果126BEcn。所述第一稳定化图像合成效果集包括多个稳定化图像合成效果,所述多个稳定化图像合成效果对应于所述当前图像62Fn的所述稳定化结果中的所述多个光源区域64LSRan、64LSRcn、64LSRdn及64LSRen。所述第一稳定化图像合成效果126BEcn对应于所述当前图像62Fn的所述稳定化结果中的所述当前光源区域64LSRcn。所述第一稳定化图像合成效果126BEcn位于所述当前图像62Fn的所述稳定化结果中的所述当前光源区域64LSRcn的所述对应位置,并且具有用于所述当前图像62Fn的所述稳定化结果中的所述当前光源区域64LSRcn的所述对应不透明度。基于如上所述,在步骤814、步骤1002、步骤1004中构建所述稳定化结果用于致使生成所述第一稳定化图像合成效果126BEcn。使用步骤1102及步骤1104中的所述稳定化结果来生成所述第一稳定化图像合成效果126BEcn。
在一实施例中,遍历本公开,在步骤1104中,具有所述相应不透明度的所述第一稳定化图像合成效果可以使用阿尔法混合(alpha blending)被生成。替代地,在步骤1104中,使用其他类型的混合,诸如加法混合或乘法混合,具有所述相应不透明度的所述第一稳定化图像合成效果可以被生成。
在用于所述当前图像为图7中的步骤506中的所述图像62Fn+1时,对于所述稍前图像62Fn的所述稳定化结果中的所述光源区域64LSRcn,决定所述当前图像62Fn+1的所述检测结果中的所述多个光源区域64LSRan+1、64LSRbn+1及64LSRdn+1无一者与所述光源区域64LSRcn相匹配。基于如上所述,基于所述检测结果决定所述当前图像62Fn+1中的所述光源区域62LSRcn+1为未被成功检测。
然后,在步骤820中,在用于所述当前图像62Fn+1的所述稳定化结果中,致使所述光源1LSc在迄至所述当前图像62Fn+1的所述图像62F1至62Fn+1被捕获时处于所述图像合成效果期望状态的所述对应概率,从所述光源1LSc在迄至所述稍前图像62Fn的所述多个图像62F1至62Fn被捕获时处于所述图像合成效果期望状态的所述对应概率减少。然后,在步骤1002中,从用于所述当前图像62Fn+1的所述稳定化结果中,获得所述光源1LSc在迄至所述当前图像62Fn+1的所述多个图像62F1至62Fn+1被捕获时处于所述图像合成效果期望状态的所述对应概率。在步骤1004中,在用于所述当前图像62Fn+1的所述稳定化结果中,使用所述光源1LSc在迄至所述当前图像62Fn+1的所述多个图像62F1至62Fn+1被捕获时处于所述图像合成效果期望状态的所述对应概率,决定用于所述当前图像62Fn+1的所述稳定化结果中的所述光源区域64LSRcn+1(未被例示,但具有一位置与所述光源区域64LSRcn的位置相同)的一对应不透明度。然后,在步骤1102中,获得用于所述当前图像62Fn+1的所述稳定化结果中的所述光源区域64LSRcn+1的所述对应位置及所述对应不透明度。在步骤1104中,生成所述多个稳定化图像合成效果集(在步骤506中提及)中的一第一稳定化图像合成效果集中的一第一稳定化图像合成效果126BEcn+1。所述第一稳定化图像合成效果集包括多个稳定化图像合成效果,所述多个稳定化图像合成效果对应于所述当前图像62Fn+1的所述稳定化结果中的所述多个光源区域64LSRan+1、64LSRbn+1、64LSRcn+1、64LSRdn+1及64LSRen+1。所述第一稳定化图像合成效果126BEcn+1对应于所述当前图像62Fn+1的所述稳定化结果中的所述当前光源区域64LSRcn+1。所述第一稳定化图像合成效果126BEcn+1位于所述当前图像62Fn+1的所述稳定化结果中的所述当前光源区域64LSRcn+1的所述对应位置,并且具有用于所述当前图像62Fn+1的所述稳定化结果中的所述当前光源区域64LSRcn+1的所述对应不透明度。基于如上所述,在步骤820、步骤1002、步骤1004中构建所述稳定化结果用于致使生成所述第一稳定化图像合成效果126BEcn+1。使用步骤1102及步骤1104中的所述稳定化结果来生成所述第一稳定化图像合成效果126BEcn+1。
在步骤1004中使用所述光源1LSc在迄至所述图像62Fn的所述多个图像62F1至62Fn被捕获时处于所述图像合成效果期望状态的所述概率以及所述光源1LSc在迄至所述图像62Fn+1的所述多个图像62F1至62Fn+1被捕获时处于所述图像合成效果期望状态的所述概率,在步骤1104中分别决定所述稳定化图像合成效果126BEcn及126BEcn+1的所述多个对应不透明度。为了决定所述稳定化图像合成效果126BEcn及126BEcn+1的所述多个对应不透明度,使用所述多个对应概率所对应的一第一变量与所述多个对应不透明度所对应的一第二变量之间的一关系的一曲线。在以图14至图18描述的一实施例中,对于一目标诸如所述光源1LSc使用一计数器(a counter)以实现所述概率增加或减少步骤706。图17是以图解说明对于使用所述计数器的所述实施例中的在所述多个概率所对应的所述第一变量与所述多个不透明度所对应的所述第二变量之间的所述关系的曲线1700的一示例的一示意图。在图17中,所述计数器的一较高数值对应于所述光源1LSc在迄至一当前图像的多个图像被捕获时处于所述图像合成效果期望状态的一较高概率,所述计数器的一较低数值对应于所述光源1LSc在迄至所述当前图像的所述多个图像被捕获时处于所述图像合成效果期望状态的一较低概率。如在图17中以图解说明的,所述曲线1700是非递减的(non-decreasing)。由于步骤820中,当所述当前图像为所述图像62Fn+1时,致使所述光源1LSc在迄至所述当前图像62Fn+1的所述多个图像62F1至62Fn+1被捕获时处于所述图像合成效果期望状态的所述对应概率,从所述光源1LSc在迄至所述稍前图像62Fn的所述多个图像62F1至62Fn被捕获时处于所述图像合成效果期望状态的对应概率减少,所述稳定化图像合成效果126BEcn+1的所述对应不透明度小于所述稳定化图像合成效果126BEcn的所述相应不透明度,如在图12中以图解说明的。
图13是以图解说明图6中的捕获两个连续图像62Fn及62Fn+1中的一光源1LSe处于一被捕获的关闭状态的所述多个原始图像62Fn-1至62Fn+1、图6中的具备未成功检测所述光源1LSe的两个连续图像64Fn及64Fn+1的所述多个图像64Fn-1至64Fn+1,以及归因于对于所述光源1LSe进行图8中的所述概率增加或减少步骤706、图10中的所述概率相依的不透明度决定步骤710及图11中的所述不透明度相依的稳定化图像合成效果生成步骤712的多个图像的一示意图。在参考图13描述的一示例中,所述稳定化图像合成效果136Ben-1类似于参考图12描述的示例中的所述稳定化图像合成效果126BEcn,在此省略叙述。与参考图12描述的示例相比,参考图13描述的示例13具有以下差异。
参考图6、图8及图10、图11及图13,如前所述,对于所述稍前图像62Fn-1的所述稳定化结果中的所述光源区域64LSRen-1,决定所述当前图像62Fn的所述检测结果中的所述多个光源区域64LSRan、64LSRcn及64LSRdn无一者与所述光源区域64LSRen-1相匹配。基于如上所述,基于所述检测结果决定所述当前图像62Fn中的所述光源区域62LSRen为未被成功检测。
然后,在步骤820中,在用于所述当前图像62Fn的所述稳定化结果中,致使所述光源1LSe在迄至所述当前图像62Fn的所述多个图像62F1至62Fn被捕获时处于所述图像合成效果期望状态的所述对应概率,从所述光源1LSe在迄至所述稍前图像62Fn-1的所述图像62F1至62Fn-1被捕获时处于所述图像合成效果期望状态的所述对应概率减少。然后,在步骤1002中,从用于所述当前图像62Fn的所述稳定化结果中,获得所述光源1LSe在迄至所述当前图像62Fn的所述图像62F1至62Fn被捕获时处于所述图像合成效果期望状态的所述对应概率。在步骤1004中,在用于所述当前图像62Fn的稳定化结果中,使用所述光源1LSe在迄至所述当前图像62Fn的所述多个图像62F1至62Fn被捕获时处于所述图像合成效果期望状态的所述对应概率,决定用于所述当前图像62Fn的所述稳定化结果中的所述光源区域64LSRen(未被例示,但具有一位置与所述光源区域64LSRen-1的位置相同)的一对应不透明度。然后,在步骤1102中,获得用于所述当前图像62Fn的所述稳定化结果中的所述光源区域64LSRen的所述对应位置及所述对应不透明度。在步骤1104中,生成所述多个稳定化图像合成效果集(在步骤506中提及)中的一第一稳定化图像合成效果集中的一第一稳定化图像合成效果136BEen。所述第一稳定化图像合成效果集包括多个稳定化图像合成效果,所述多个稳定化图像合成效果对应于所述当前图像62Fn的所述稳定化结果中的所述多个光源区域64LSRan、64LSRcn、64LSRdn及64LSRen。所述第一稳定化图像合成效果136BEen对应于所述当前图像62Fn的所述稳定化结果中的所述当前光源区域64LSRen。所述第一稳定化图像合成效果136BEen位于所述当前图像62Fn的所述稳定化结果中的所述当前光源区域64LSRen的所述对应位置,并且具有用于所述当前图像62Fn的所述稳定化结果中的所述当前光源区域64LSRen的所述对应不透明度。基于如上所述,在步骤820、步骤1002、步骤1004中构建所述稳定化结果用于致使生成所述第一稳定化图像合成效果136BEen。使用步骤1102及步骤1104中的所述稳定化结果来生成所述第一稳定化图像合成效果136BEen。
在所述当前图像为图7中的步骤506中的所述图像62Fn+1时,对于所述稍前图像62Fn的所述稳定化结果中的所述光源区域64LSRen,决定所述当前图像62Fn+1的所述检测结果中的所述多个光源区域64LSRan+1、64LSRbn+1及64LSRdn+1无一者与所述光源区域64LSRen相匹配。基于如上所述,基于所述检测结果决定所述当前图像62Fn+1中的所述光源区域62LSRen+1为未被成功检测。
然后,在步骤820中,在用于所述当前图像62Fn+1的所述稳定化结果中,致使所述光源1LSe在迄至所述当前图像62Fn+1的所述多个图像62F1至62Fn+1被捕获时处于所述图像合成效果期望状态的所述对应概率,从所述光源1LSe在迄至所述稍前图像62Fn的所述多个图像62F1至62Fn被捕获时处于所述图像合成效果期望状态的所述对应概率减少。然后,在步骤1002中,从用于所述当前图像62Fn+1的所述稳定化结果中,获得所述光源1LSe在迄至所述当前图像62Fn+1的所述多个图像62F1至62Fn+1被捕获时处于所述图像合成效果期望状态的所述对应概率。在步骤1004中,在用于所述当前图像62Fn+1的所述稳定化结果中,使用所述光源1LSe在迄至所述当前图像62Fn+1的所述多个图像62F1至62Fn+1被捕获时处于所述图像合成效果期望状态的所述对应概率,决定用于所述当前图像62Fn+1的所述稳定化结果中的所述光源区域64LSRen+1(未被例示,但具有一位置与所述光源区域64LSRen的位置相同)的一对应不透明度。然后,在步骤1102中,获得用于所述当前图像62Fn+1的所述稳定化结果中的所述光源区域64LSRen+1的所述对应位置及所述对应不透明度。在步骤1104中,生成所述多个稳定化图像合成效果集(在步骤506中提及)中的一第一稳定化图像合成效果集中的一第一稳定化图像合成效果136BEen+1。所述第一稳定化图像合成效果集包括多个稳定化图像合成效果,所述多个稳定化图像合成效果对应于所述当前图像62Fn+1的所述稳定化结果中的所述多个光源区域64LSRan+1、64LSRbn+1、64LSRcn+1、64LSRdn+1及64LSRen+1。所述第一稳定化图像合成效果136BEen+1对应于所述当前图像62Fn+1的所述稳定化结果中的所述当前光源区域64LSRen+1。所述第一稳定化图像合成效果136BEen+1位于所述当前图像62Fn+1的稳定化结果中的所述当前光源区域64LSRen+1的所述对应位置,并且具有用于所述当前图像62Fn+1的所述稳定化结果中的所述当前光源区域64LSRen+1的所述对应不透明度。基于以上所述,在步骤820、步骤1002及步骤1004中构建所述稳定化结果用于致使生成所述第一稳定化图像合成效果136BEen+1。使用步骤1102及1104中的所述稳定化结果来生成所述第一稳定化图像合成效果136BEen+1。
在步骤1004中,分别使用所述光源1LSe在迄至图像62Fn的所述多个图像62F1至62Fn被捕获时处于所述图像合成效果期望状态的所述概率,及所述光源1LSe在迄至所述图像62Fn+1的所述多个图像62F1至62Fn+1被捕获时处于所述图像合成效果期望状态的所述概率,以决定在步骤1104中的所述稳定化图像合成效果136BEen及136BEen+1的所述多个对应不透明度。为了决定所述稳定化图像合成效果136BEen及136BEen+1的所述多个对应不透明度,使用图17中的曲线1700。
尽管类似于参考图12描述的示例,所述稳定化图像合成效果136BEen+1的所述对应不透明度小于所述稳定化图像合成效果136BEen的所述对应不透明度,如在图13中以图解说明的,所述稳定化图像合成效果136BEen+1的所述对应不透明度小于而非同于所述稳定化图像合成效果126BEcn+1的所述对应不透明度。诸多原因如下。对于参考图12描述的示例,对于所述图像Fn+1,所述光源1LSc处于所述图像合成效果期望状态,但是,由于终端102的至少一种噪声或一光照效果等,对于所述图像62Fn+1,所述光源1LSc意外地未被成功检测。对于参考图13描述的示例,由于所述光源1LSe在所述多个图像62Fn及62Fn+1被捕获时处于所述被捕获的关闭状态,对于所述多个图像62Fn及62Fn+1,所述光源1LSe未被成功检测。因此,更可能是,所述光源1LSc在所述多个图像62F1至62Fn中具有更多数量的图像具备与所述光源1LSc所对应的多个被成功检测的光源区域,而且所述光源1LSe在所述多个图像62F1至62Fn中具有更少数量的图像具备与所述光源1LSe所对应的多个被成功检测的光源区域。此为示例性地反映了对于所述图像62Fn成功检测所述光源1LSc并且对于所述图像62Fn未成功检测所述光源1LSe。以此方式,所述光源1LSc在迄至所述图像62Fn的所述多个图像62F1至62Fn被捕获时处于所述图像合成效果期望状态的所述对应概率,可以高于所述光源1LSe在迄至所述图像62Fn的所述多个图像62F1至62Fn被捕获时处于所述图像合成效果期望状态的所述对应概率。因此,所述光源1LSc在迄至所述图像62Fn+1的所述多个图像62F1至62Fn+1被捕获时处于所述图像合成效果期望状态的所述对应概率,从一较高值减少;而且,所述光源1LSe在迄至所述图像62Fn+1的所述多个图像62F1至62Fn+1被捕获时处于所述图像合成效果期望状态的所述对应概率,从一较低值减少。
在步骤506中,提及图5中的诸多步骤实现以下效果。所述第二图像序列中的所述多个稳定化图像合成效果集比所述第三图像序列中的所述多个图像合成效果集更为时间性闪烁平滑化。所述第三图像序列的一示例是所述图像序列26F,所述图像序列26F包括参考图2描述的所述多个图像26Fn及26Fn+1,所述第二图像序列的一示例是所述图像序列126F,所述图像序列126F包括参考图12描述的所述多个图像126Fn及126Fn+1。在上述实施例中,对于未成功检测到所述光源1LSc的所述图像64Fn+1,生成所述稳定化图像合成效果126BEcn+1。此外,为了使从所述图像126Fn到所述图像126Fn+1的一不透明度变化是渐进的,使用一完整或部分检测历史相依变量与一不透明度变量之间的一关系的一第一曲线,以决定用于所述稳定化图像合成效果126BEcn+1的所述对应不透明度。所述第一曲线是非递减的并且具有一增加部分。所述第一曲线还具有多个点,所述多个点将所述不透明度变量的一上限与一下限之间的一范围划分为两个以上的区间(intervals)。所述多个区间的一数量大于一个步骤可以跨越的一最大区间数量。因此,至少需要两个步骤才能遍历所述不透明度变量的所述上限与所述下限之间的整个范围。以此方式,从所述图像126Fn到所述图像126Fn+1的不透明度变化是渐进的。所述多个区间的数量越多及/或一个步骤可以跨越的最大区间数量越少,所述不透明度的变化就越更渐缓。举例来说,所述第一曲线是所述曲线1700,所述曲线1700被用于使用所述光源1LSc在迄至所述图像62Fn+1的所述多个图像62F1至62Fn+1被捕获时处于所述图像合成效果期望状态的所述概率,以决定所述稳定化图像合成效果126BEcn+1的所述对应不透明度。参考图18描述的一第二步长值是跨越所述不透明度变量的一上限与一下限之间的一范围的三个区间的一个步骤的一示例。
此外,即使更为时间性闪烁平滑化是待达成的一目标,需要区别的是,在所述光源1LSc对于所述图像62Fn+1处于所述图像合成效果期望状态但对于所述图像62Fn+1意外地未被成功检测的情况,与在所述多个图像62Fn及62Fn+1被捕获时因为对于所述多个图像62Fn及62Fn+1的所述光源1LSe处于所述被捕获的关闭(OFF)状态而未被成功检测的情况,使得所述第二图像序列(也是图13中的图像序列136F)不会过度地时间性闪烁平滑化。因此,所述多个光源1LSc及光源1LSe中的每一者处于所述图像合成效果期望状态的所述对应概率基于检测为成功或不成功而被逐个图像地保持。以此方式,所述光源1LSc在迄至图像62Fn的所述多个图像62F1至62Fn被捕获时处于所述图像合成效果期望状态的所述概率,反映了所述光源1LSc更有可能对于所述图像62Fn+1处于所述图像合成效果期望状态,而且所述光源1LSe在迄至所述图像62Fn的所述多个图像62F1至62Fn被捕获时处于所述图像合成效果期望状态的所述概率,反映了所述光源1LSc不太可能对于所述图像62Fn+1处于所述图像合成效果期望状态。因此,所述稳定化图像合成效果136BEen+1的所述对应不透明度小于所述稳定化图像合成效果126BEcn+1的所述对应不透明度,这意味着在所述光源1LSe处于所述被捕获的关闭状态时,所述光源1LSe的所述稳定化图像合成效果逐渐消失。
如本文所使用的,术语“图像合成效果期望状态(image compositing effectdesired state)”是一目标集中的每个目标被期望的一状态,以便对于每个目标实现一对应稳定化合成效果。在如上的示例中,所述目标集是所述光源集。每个稳定化图像合成效果集是所对应的稳定化人造散景效果集。对于所述光源集中的任何一者的所述图像合成效果期望状态是所述光源集中的任何一者处于所述捕获的开启(ON)状态(即,当所述光源集中的任何一者被捕获于所述第一图像序列的对应一者中时处于所述开启状态)。当所述光源集中的任何一者处于所述被捕获的关闭状态时(即当所述光源集中的任何一者被捕获于所述第一图像序列的对应一者中时处于关闭状态),或者所述光源集中的任何一者处于一被捕获的非呈现状态(即,当所述终端102的所述相机模块402捕获时不再处于所述终端102的所述相机模块402的一视野中),则任意一个所述光源集为未处于所述图像合成效果期望状态。替代地,所述目标集是所述脸部集。每个稳定化图像合成效果集是一对应稳定化人造脸部艺术标贴效果集。所述脸部集中的任何一者的一图像合成效果期望状态是所述脸部集中的任何一者处于所述一被捕获的呈现状态(即,当所述脸部集中的任何一者被捕获于所述第一图像序列的对应一者中时处于所述终端102的所述相机模块402的所述视野中)。当所述脸部集中的任何一者处于一被捕获的非呈现状态(即,当所述终端102的所述相机模块402捕获时不再处于所述终端102的所述相机模块402的一视野中),则所述脸部集中的任何一者未处于所述图像合成效果期望状态。
相比于上述实施例使用所述目标在迄至所述稍前图像的所述多个图像被捕获时处于所述图像合成效果期望状态的所述概率以及所述目标在迄至所述当前图像的所述多个图像被捕获时处于所述图像合成效果期望状态的所述概率,不使用所述诸多概率的一替代实施例如下。只要对于所述当前图像检测一目标是成功的,将最高的不透明度用于所述当前图像。当对于所述当前图像检测所述目标不成功时,对于所述当前图像使用的不透明度低于对于所述稍前图像的不透明度。以此方式,由于从检测为成功的一图像到检测为不成功的一图像在不透明度方面的渐进变化较小,使用所述替代实施例的所述第二图像序列不像使用上述实施例的所述第二图像序列那样时间性闪烁平滑化,但是仍比所述第三个图像序列更为时间性闪烁平滑化。此外,由于每当用于所述目标的检测为成功时,一检测历史就被重置,因此一检测失败是偶然的或是由于所述目标不处于所述图像合成效果期望状态引起的一决定结果是不太确定的。这样,使用所述替代实施例的所述第二图像序列不太确定不会比使用上述实施例的所述第二图像序列更过度地时间性闪烁平滑化。
与参照图7至图13描述的实施例相比,其中在步骤506中用于所述多个原始图像中的所述多个对应目标区域集进行稳定化的步骤及生成所述多个对应稳定化图像合成效果集的步骤是被结合进行的,其中在步骤506中的两个步骤被分别进行的一替代实施例如下。首先生成用于全部所述多个原始图像的所述稳定化结果。然后,使用所述稳定化结果对于所述多个原始图像中的所述多个对应目标区域集生成所述多个对应稳定化图像合成效果集。此外,与参照图5描述的实施例相比,其中检测所述原始图像中的所述多个对应目标区域集的步骤504与步骤506分别进行,其中步骤504与步骤506结合进行的一替代实施例如下。在图7中的步骤704前进行对于一当前图像的检测,在对于所述当前图像完成在步骤506中的步骤702至步骤712后,对于现在成为一当前图像的一随后图像进行检测。
图14是以图解说明根据本公开的一实施例的一概率增加或减少步骤706'使用一计数器实现图8中的所述概率增加或减少步骤706的一流程图。参考图14,与参考图8描述的实施例相比,参考图14描述的一实施例使用一步骤1414实现步骤814并且使用一步骤1420实现步骤820。在步骤1414中,将一第一值添加到用于一第一目标的一对应计数器,以获得所述对应计数器的一当前值。所述计数器的所述当前值是在用于所述当前图像的所述稳定化结果中。所述第一目标对应于所述当前图像的所述检测结果中的所述当前目标区域。在步骤1420中,从用于一第一目标的一对应计数器减去一第二值,以获得所述对应计数器的一当前值。所述计数器的所述当前值是在用于所述当前图像的所述稳定化结果中。所述第一目标对应于所述当前图像的所述检测结果中的所述当前目标区域。
图15是以图解说明根据本公开的一实施例的一概率初始化步骤708'使用一计数器实现图9中的所述概率初始化步骤708的一流程图。对应于图14中的所述概率增加或减少步骤706',图15中的所述概率初始化步骤708'具有一步骤1506,所述步骤1506实现图9中的步骤906。在步骤1506中,在用于所述当前图像的所述稳定化结果中,将用于一第三目标的一对应计数器进行初始化。所述第三目标对应于所述当前图像的所述稳定化结果中的所述目标区域。
图16是以图解说明根据本公开的一实施例使用一计数器实现图10中的所述概率相依的不透明度决定步骤710的一概率相依的不透明度决定步骤710'的一流程图。对应于图14中的所述概率增加或减少步骤706'及图15中的所述概率相依的不透明度决定步骤710',图16中的所述概率相依的不透明度决定步骤710’具有一步骤1602及一步骤1604,所述步骤1602实现图10中的步骤1002,所述步骤1604实现图10中的步骤1004。在步骤1602中,从用于所述当前图像的所述稳定化结果中获得用于一第四目标的一对应计数器。所述第四目标对应于所述当前图像的所述稳定化结果中的一当前目标区域。在步骤1604中,在用于所述当前图像的所述稳定化结果中,使用所述第四目标的所述对应计数器的一值,决定用于所述当前图像的所述稳定化结果中的所述当前目标区域的一对应不透明度。
与参照图14至图16描述的实施例相比,其中步骤814及步骤820中的所述多个对应概率是使用进行加与减的所述计数器获得,不使用进行加与减的所述计数器获得步骤814及步骤820中的所述多个相应概率的一替代实施例如下。步骤814及步骤820中的所述多个对应概率中的每一者是通过计算在迄至一当前图像的多个第二图像中检测一目标为成功的多个第一图像的一数量与所述多个第二图像的一总数量的一对应比率获得。
图17是以图解说明根据本公开的一实施例的每个目标在迄至所述当前图像的多个图像被捕获时处于所述图像合成效果期望状态的一对应概率所对应的所述第一变量与图16中的所述概率相依的不透明度决定步骤710’的一对应不透明度所对应的所述第二变量之间的所述关系的所述曲线1700的一示例的一示意图。在图17中,所述第一变量对应于每个目标的所述对应计数器的所述多个对应值的一轴,所述第二变量对应于每个目标的所述多个对应不透明度的一轴。在步骤1604中,曲线1700中的所述第一变量的轴中查找所述第四目标的所述对应计数器的值,然后所述当前图像的所述稳定化结果中的所述当前目标区域的所述对应不透明度为曲线1700中的所述第二变量的轴中的一值,曲线1700中的所述第二变量的轴中的值对应于曲线1700中的所述第一变量的轴中找到的值。
在一实施例中,每个目标在迄至所述当前图像的所述多个图像被捕获时处于所述图像合成效果期望状态的所述对应概率所对应的所述第一变量与所述对应不透明度所对应的所述第二变量之间的所述关系的所述曲线1700具有非线性的一增加部分。在图17的示例中,所述增加部分对应于所述第一变量从三到七的一范围。替代地,所述增加部分可以是线性的。
在一实施例中,在步骤1414及步骤1420中,所述计数器在一上限及一下限处被修剪。在图17的示例中,曲线1700中的所述第一变量具有从零到十一的一范围。因此,所述计数器的上限为十一。所述计数器的下限为零。在所述上限处修剪所述计数器的原因如下。当一目标在一原始图像Fn+1(图17中未被例示)之前的许多原始图像被捕获时处于所述图像合成效果期望状态时,如果所述目标的所述计数器没有在所述上限处被修剪,则一原始图像Fn-1(图17中未被例示)的所述计数器的值是非常高的。然后,当所述目标从所述原始图像Fn(图17中未被例示)开始不处于所述图像合成效果期望的状态时,所述计数器需要很长的时间才能下降到三(其在曲线1700中具有一对应不透明度为零),因此对于所述目标不处于所述图像合成效果期望状态发生的一原始图像,一图像合成效果的消失需要很长的时间。类似的原因适用于所述计数器在所述下限处被修剪的情况。替代地,所述计数器不被修剪,但步骤1414中的所述第一值用于诸多连续检测成功而逐渐增加,而且步骤1420中的所述第二值用于诸多连续检测失败而逐渐增加。
图18是根据本公开的一实施例的用于一目标的一计数器使用被添加到所述计数器的一第一步长值及被用于从所述计数器被减去的一第二步长值的一示例性时序图1800,其中所述第一步长值小于所述第二步长值。在图18的示例中,当对于具备多个对应图像编号从零到十一的多个图像中的每一者进行图14中的步骤1414时,所述第一值等于所述第一步长值,所述第一步长值为一。当对于具备诸多对应图像编号从十二到二十的多个图像中的每一者进行步骤1420时,所述第二值等于所述第二步长值,所述第二步长值为三,但是所述计数器在零处被修剪。使用较大的第二步长值的原因如下。如上所述,为了使所述第二图像序列不过度地时间性闪烁平滑化,对于所述目标不处于所述图像合成效果期望状态的所述多个原始图像的所述图像合成效果需要逐渐消失。即使消失是渐进的,也不能太慢,这是由于用户可能会注意到所述目标未处于所述被捕获的图像合成效果期望状态的诸多原始图像的诸多图像合成效果。因此,所述第二步长值大于所述第一步长值,使得所述消失不会太慢。
与上述第一步长值及所述第二步长值为固定的实施例相比,一替代实施例追踪一计数器的一历史,并且基于所述计数器的所述历史改变步骤1414中的所述第一值及步骤1420中的所述第二值。
图19是以图解说明根据本公开的一实施例的一概率增加或减少步骤706”除了图8中的所述概率增加或减少步骤706之外还包括用于尺寸平滑的至少一个步骤1915的一示意图。与图8中的概率增加或减少步骤706相比,图19中的概率增加或减少步骤706”还在步骤810的是(YES)路径中包括一步骤1915。在步骤1915中,在用于所述当前图像的所述稳定化结果中,将所述当前图像的所述检测结果中的所述当前目标区域所对应的一第一目标区域的一对应深度相关特性设置为:通过将所述多个原始图像中的一图像集的所述多个对应目标区域的多个对应深度相关特性进行平均而获得的一值,其中所述图像集包括所述稍前图像及所述当前图像。
图20是以图解说明根据本公开的一实施例的一概率初始化步骤708”具备从图9中的概率初始化步骤708中的至少一个对应步骤908进行修改的至少一个步骤2008以进一步包括用于尺寸平滑的至少一个对应部分的一示意图。与图9中的概率初始化步骤708相比,图20中的概率初始化步骤708”具有从步骤908进行修改的步骤2008,以进一步包括图19中的概率增加或减少步骤706”所对应的一部分。在步骤2008中,在用于所述当前图像的所述稳定化结果中,将所述当前匹配标志所对应的所述目标区域的一对应位置及一对应深度相关特性设置为对于所述当前图像的所述检测结果中的所述当前目标区域的所述对应位置及一对应深度相关特性。
图21是以图解说明根据本公开的一实施例的一不透明度相依的稳定化图像合成效果生成步骤712'具备从图11中的所述不透明度相依的稳定化图像合成效果生成步骤712中的至少一个对应步骤1102及1104进行修改的至少一个步骤2102及2104以进一步包括用于尺寸平滑的至少一个对应部分的一示意图。与图11中的不透明度相依的稳定化图像合成效果生成步骤712相比,图21中的不透明度相依的稳定化图像合成效果生成步骤712'具有从所对应的步骤1102及1104进行修改的步骤2102及2104,以进一步包括对应于图19中的概率增加或减少步骤706”的诸多对应部分,及图20中的概率初始化步骤708”。在步骤2102中,获得用于所述当前图像的所述稳定化结果中的一当前目标区域的所述对应位置、所述对应不透明度及所述对应深度相关特性。在步骤2104中,生成所述多个稳定化图像合成效果集中的一第一稳定化图像合成效果集中的一第一稳定化图像合成效果。所述第一稳定化图像合成效果集对应于所述当前图像,所述第一稳定化图像合成效果对应于所述当前图像的所述稳定化结果中的所述当前目标区域,以及所述第一稳定化图像合成效果是位于所述当前图像的所述稳定化结果中的所述当前目标区域的所述对应位置、使用对于所述当前图像的所述稳定化结果中的所述当前目标区域的所述对应深度相关特性被生成,并且具有用于所述当前图像的所述稳定化结果中的所述当前目标区域的所述对应不透明度。
在如下的示例中,包括所述诸多目标的所述目标集是包括多个光源的一光源集。包括了所述诸多稳定化图像合成效果的每个稳定化图像合成效果集是包括了多个稳定化人造散景效果的一对应稳定化人造散景效果集。替代地,包括了所述目标的所述目标集是包括了多个脸部的一脸部集。包括了所述诸多稳定化图像合成效果的所述稳定化图像合成效果集是包括了多个稳定化人造脸部艺术标贴效果的一对应稳定化人造脸部艺术标贴效果集。
图22是以图解说明所述光源1LSd(如图1中被例示)所对应的多个对应光源区域62LSRdn-1至62LSRdn+1具有多个不稳定化对应深度相关特性(为了简单起见,在图6中未被例示)的所述多个原始图像62Fn-1至62Fn+1以及归因于图19、图20及图21的尺寸平滑的多个图像226Fn-1至226Fn+1的一示意图。为了简单起见,仅例示了与所述光源1LSd相关的部分,而省略了与其他光源1LSa、1LSb、1LSc及1LSe相关的部分。参考图6及图19至图22,类似于图3中的所述多个原始图像32Fn-1至32Fn+1,所述光源1LSd的一深度貌似从对于所述原始图像62Fn-1较大跃变成对于所述原始图像62Fn较小,并且貌似再次从对于所述原始图像62Fn较小跃变成对于所述原始图像62Fn+1较大。当图19中的概率增加或减少步骤706”的所述当前图像为所述原始图像62Fn时,在步骤1915中,在用于所述当前图像62Fn的所述稳定化结果中,将所述当前图像62Fn的所述检测结果中的所述当前光源区域64LSRdn所对应的一第一光源区域的一对应深度相关特性设置为:通过将迄至所述当前图像62Fn的多个图像62F1至62Fn中的一图像集的所述多个对应光源区域62LSRdn-1及62LSRdn的多个对应深度相关特性进行平均而获得的一值,其中所述图像集包括所述稍前图像62Fn-1及所述当前图像62Fn。在一实施例中,每个深度相关特性可以是所述对应光源区域62LSRdn-1或62LSRdn的所述对应尺寸。替代地,每个深度相关特性可以是所述对应原始帧62Fn-1或62Fn的所述光源1LSd的所述对应深度。在一实施例中,所述图像集中的一图像数量是两个。替代地,所述图像集中的一图像数量可以大于两个。在步骤2102中,获得用于所述当前图像62Fn的所述稳定化结果中的一当前光源区域64LSRdn的所述对应位置、所述对应不透明度及所述对应深度相关特性。在步骤2104中,生成所述稳定化图像合成效果集(在步骤506中提及)中的一第一稳定化图像合成效果集中的一第一稳定化图像合成效果。所述第一稳定化图像合成效果集包括多个稳定化图像合成效果,所述多个稳定化图像合成效果对应于所述当前图像62Fn的所述稳定化结果中的所述多个光源区域64LSRan、64LSRcn、64LSRdn及64LSRen。所述第一稳定化图像合成效果226BEdn对应于所述当前图像62Fn的所述稳定化结果中的所述当前光源区域64LSRdn。所述第一稳定化图像合成效果226BEdn是位于所述当前图像62Fn的所述稳定化结果中的所述当前光源区域64LSRdn的所述对应位置、使用对于所述当前图像62Fn的所述稳定化结果中的所述当前光源区域64LSRdn的所述对应深度相关特性被生成,并且具有用于所述当前图像62Fn的所述稳定化结果中的所述当前光源区域64LSRdn的所述对应不透明度。基于上述,在步骤1915中构建所述稳定化结果用于致使生成所述第一稳定化图像合成效果226BEdn。使用步骤2102及步骤2104中的稳定化结果来生成所述第一稳定化图像合成效果126BEcn。
步骤2008与用于所述光源区域64LSRbn+1的步骤908类似,在此不再赘述。
由于步骤1915中将深度相关特性进行平均,所以稳定化图像合成效果226BEdn-1及226BEdn的相应尺寸没有貌似跃变并且因此尺寸平滑化。类似地,步骤1915中将深度相关特性进行平均致使所述稳定化图像合成效果226BEdn及226BEdn+1的相应尺寸不再貌似跃变并且因此尺寸平滑化。
需要说明的是,本公开不限于上述实施例,其他符合逻辑的等效实施例也在本公开的构思范围内。例如,一不透明度可以在逻辑上等效地替换为一透明度。对于另一示例,增加一目标处于一图像合成效果期望状态的一概率可以在逻辑上等效地替换为降低一目标非处于所述图像合成效果期望状态的一概率。对于另一逻辑等效示例,在所述第一变量与所述第二变量之间的关系的曲线可以是非递增的,以及所述计数器被初始化为具有最大值,并以一相反方式相加及相减。
本领域普通技术人员可以理解,在本公开的所述诸多实施例中被描述及被公开的所述系统或所述计算机实现的方法的诸多单元、诸多模块、诸多层、诸多块、诸多算法及诸多步骤中的每一者使用硬件、固件、软件或其一组合被实现。功能是在硬件、固件或软件中运行,取决于应用条件及一技术方案的设计要求。本领域普通技术人员可以使用不同方式以实现用于每个具体应用的功能,但这样的实现不应超出本公开的范围。本领域普通技术人员可以理解,由于上述系统、装置、模块及单元的工作流程基本相同,他/她可以参照上述实施例中的所述系统、装置、模块及单元的工作流程。为了便于描述及简单起见,这些工作过程将不再被详述。
可以理解的是,本公开的诸多实施例中的所述被公开的系统、装置及计算机实现的方法可以用其他方式被实现。上述诸多实施例仅是示例性的。所述诸多单元或诸多模块的划分方式只是基于逻辑功能,而其他的划分方式存在于实现中。所述诸多单元或诸多模块可以是也可以不是诸多实体单元或模块。诸多单元或模块被结合或被集成到一个实体单元或模块中是可行的。任何单元或模块被划分为诸多实体单元或模块也是可行的。省略或跳过某些特征也是可行的。另一方面,所述被显示或被讨论的相互耦合、直接耦合或通信耦合通过一些端口、装置、单元或模块进行操作,无论是间接地还是通过电气、机械或其他种类的形式进行通信。
作为用于解释的诸多分离构件的所述诸多单元或诸多模块是在实体上分离的或不是在实体上分离的。所述诸多单元或诸多模块位于一个位置或分布在多个网络单元或模块上。部分或全部单元或模块根据所述诸多实施例的诸多目的被使用。此外,每个实施例中的每个功能单元或模块可以被集成在一个处理单元或模块中、在实体上独立的,或以两个或两个以上的单元或模块集成在一个处理单元或模块中。
如果所述软件功能单元或模块作为一产品被实现和被使用及被销售,则可以被存储在计算机可读存储介质中。基于这样的理解,本公开提出的技术方案可以本质地或部分地被实现为一软件产品的形式。或者,对现有技术有利的技术方案的一部分可以被实现为一软件产品的形式。所述软件产品被存储在一计算机可读存储介质中,包括多个命令,用于一计算设备(诸如一个人计算机、一手机)的一处理器模块以运行本公开的所述诸多实施例被公开的全部或一些步骤。所述存储介质包括一U盘、一移动硬盘、一只读存储器(ROM)、一随机存取存储器(RAM)、一软盘或能够存储程序指令的其他介质。
尽管本公开已经结合被认为是最实用及优选的实施例而被描述,但是应当理解,本公开不限于被公开的实施例,而是旨在涵盖不背离所附权利要求的最广泛解释范围的情况下做出的各种布置。
Claims (33)
1.一种计算机实现的方法,其特征在于:包括:
获得一第一图像序列,一目标被捕获于所述第一图像序列中,其中所述第一图像序列包括多个原始图像,及对应于所述目标的多个对应目标区域是在所述多个原始图像中;
检测所述多个原始图像中的所述多个对应目标区域,以获得一检测结果;
使用所述检测结果进行稳定化,以获得一稳定化结果,其中所述进行稳定化的步骤包括:
对于基于所述检测结果被成功检测或未被成功检测的所述多个原始图像中的一第一图像中的所述对应目标区域,构建所述稳定化结果用于致使生成所述多个原始图像中的所述多个对应目标区域的多个对应稳定化图像合成效果中的一第一稳定化图像合成效果,其中所述第一稳定化图像合成效果具有一第一不透明度;及
对于基于所述检测结果未被成功检测的所述多个原始图像中的一第二图像中的所述对应目标区域,构建所述稳定化结果用于致使生成所述多个稳定化图像合成效果中的一第二稳定化图像合成效果,其中所述第二稳定化图像合成效果具有一第二不透明度;
其中所述第一图像及所述第二图像是连续的;及
其中所述第二不透明度小于所述第一不透明度;及
使用所述稳定化结果来生成所述多个稳定化图像合成效果,以获得一第二图像序列,使得所述多个稳定化图像合成效果比一第三图像序列中的多个图像合成效果更为时间性闪烁平滑化,其中除了使用所述检测结果而非所述稳定化结果来生成所述图像合成效果之外,如同所述第二图像序列那样获得所述第三图像序列。
2.如权利要求1所述的计算机实现的方法,其特征在于:在所述构建所述稳定化结果用于致使生成所述第一稳定化图像合成效果的步骤之前,所述进行稳定化的步骤还包括以下步骤:
使用所述目标在迄至所述第一图像的多个图像被捕获时处于一图像合成效果期望状态的一概率,以决定所述第一不透明度,其中所述目标在迄至所述第一图像的所述多个图像被捕获时处于所述图像合成效果期望状态的所述概率所对应的一第一变量与所述第一不透明度所对应的一第二变量之间的一关系的一曲线是非递减的。
3.如权利要求2所述的计算机实现的方法,
其特征在于:
所述目标是一光源;及
所述图像合成效果期望状态是所述光源处于一被捕获的开启状态。
4.如权利要求3所述的计算机实现的方法,
其特征在于:
所述构建所述稳定化结果用于致使生成所述多个原始图像中的所述多个对应目标区域的多个对应稳定化图像合成效果中的所述第一稳定化图像合成效果的步骤,包括:
对于基于所述检测结果被成功检测的所述多个原始图像中的所述第一图像中的所述对应目标区域,将一第一值加到一计数器中,用于获得所述目标在迄至所述第一图像的所述多个图像被捕获时处于所述图像合成效果期望状态的所述概率;及
所述构建所述稳定化结果用于致使生成所述多个稳定化图像合成效果中的所述第二稳定化图像合成效果的步骤,包括:
对于所述第二图像中的所述对应目标区域,从所述计数器减去一第二值;或者
其特征在于:
所述构建所述稳定化结果用于致使生成所述第一稳定化图像合成效果的步骤,还包括:
对于基于所述检测结果被成功检测的所述多个原始图像中的一第三图像中的所述对应目标区域,将一第三值加到一计数器,其中所述第三图像在所述第二图像之前;
所述构建所述稳定化结果用于致使生成所述多个原始图像中的所述多个对应目标区域的所述多个对应稳定化图像合成效果中的所述第一稳定化图像合成效果的步骤,包括:
对于基于所述检测结果未被成功检测的所述多个原始图像中的所述第一图像中的所述对应目标区域,从所述计数器中减去一第四值;及
所述构建所述稳定化结果用于致使生成所述多个稳定化图像合成效果中的所述第二稳定化图像合成效果的步骤,包括:
对于所述第二图像中的所述对应目标区域,从所述计数器减去一第五值,其中所述计数器用于获得所述目标在迄至所述第一图像的所述多个图像被捕获时处于所述图像合成效果期望状态的所述概率。
5.如权利要求4所述的计算机实现的方法,其特征在于:所述第一值小于所述第二值。
6.如权利要求4所述的计算机实现的方法,其特征在于:所述计数器在一上限及一下限处被修剪。
7.如权利要求2所述的计算机实现的方法,其特征在于:所述目标在迄至所述第一图像的所述多个图像被捕获时处于所述图像合成效果期望状态的所述概率所对应的所述第一变量与所述第一不透明度所对应的所述第二变量之间的所述关系的所述曲线具有非线性的一增加部分。
8.如权利要求1所述的计算机实现的方法,其特征在于:所述进行稳定化的步骤还包括:
构建所述稳定化结果用于致使生成所述多个稳定化图像合成效果中的一第三稳定化图像合成效果,其中所述第三稳定化图像合成效果是使用从迄至所述第二图像的多个图像中的一图像集的所述多个对应目标区域的多个对应深度相关特性进行平均而获得的一深度相关特性被生成。
9.如权利要求8所述的计算机实现的方法,其特征在于:所述图像集的所述多个对应目标区域的所述多个对应深度相关特性是所述图像集的所述多个对应目标区域的多个尺寸。
10.如权利要求8所述的计算机实现的方法,其特征在于:所述图像集中的一图像数量是两个。
11.如权利要求1所述的计算机实现的方法,
其特征在于:
所述目标是一光源;及
所述多个稳定化图像合成效果是多个相应稳定化人造散景效果。
12.一种系统,其特征在于:包括:
一内存模块,被配置为存储多个程序指令;
一处理器模块,被配置为执行所述多个程序指令,所述多个程序指令致使所述处理器模块进行至少一个步骤,包括:
获得一第一图像序列,一目标被捕获于所述第一图像序列中,其中所述第一图像序列包括多个原始图像,及对应于所述目标的多个对应目标区域是在所述多个原始图像中;
检测所述多个原始图像中的所述多个对应目标区域,以获得一检测结果;
使用所述检测结果进行稳定化,以获得一稳定化结果,其中所述进行稳定化的步骤包括:
对于基于所述检测结果被成功检测或未被成功检测的所述多个原始图像中的一第一图像中的所述对应目标区域,构建所述稳定化结果用于致使生成所述多个原始图像中的所述多个对应目标区域的多个对应稳定化图像合成效果中的一第一稳定化图像合成效果,其中所述第一稳定化图像合成效果具有一第一不透明度;及
对于基于所述检测结果未被成功检测的所述多个原始图像中的一第二图像中的所述对应目标区域,构建所述稳定化结果用于致使生成所述多个稳定化图像合成效果中的一第二稳定化图像合成效果,其中所述第二稳定化图像合成效果具有一第二不透明度;
其中所述第一图像及所述第二图像是连续的;及
其中所述第二不透明度小于所述第一不透明度;及
使用所述稳定化结果来生成所述多个稳定化图像合成效果,以获得一第二图像序列,使得所述多个稳定化图像合成效果比一第三图像序列中的多个图像合成效果更为时间性闪烁平滑化,其中除了使用所述检测结果而非所述稳定化结果来生成所述图像合成效果之外,如同所述第二图像序列那样获得所述第三图像序列。
13.如权利要求12所述的系统,其特征在于:在所述构建所述稳定化结果用于致使生成所述第一稳定化图像合成效果的步骤之前,所述进行稳定化的步骤还包括以下步骤:
使用所述目标在迄至所述第一图像的多个图像被捕获时处于一图像合成效果期望状态的一概率,以决定所述第一不透明度,其中所述目标在迄至所述第一图像的所述多个图像被捕获时处于所述图像合成效果期望状态的所述概率所对应的一第一变量与所述第一不透明度所对应的一第二变量之间的一关系的一曲线是非递减的。
14.如权利要求13所述的计算机实现的方法,
其特征在于:
所述目标是一光源;及
所述图像合成效果期望状态是一被捕获的开启状态。
15.如权利要求13所述的系统,
其特征在于:
所述构建所述稳定化结果用于致使生成所述多个原始图像中的所述多个对应目标区域的所述多个对应稳定化图像合成效果中的所述第一稳定化图像合成效果的步骤,包括:
对于基于所述检测结果被成功检测的所述多个原始图像中的所述第一图像中的所述对应目标区域,将一第一值加到一计数器中,用于获得所述目标在迄至所述第一图像的所述多个图像被捕获时处于所述图像合成效果期望状态的所述概率;及
所述构建所述稳定化结果用于致使生成所述多个稳定化图像合成效果中的所述第二稳定化图像合成效果的步骤,包括:
对于所述第二图像中的所述对应目标区域,从所述计数器减去一第二值;或者
其特征在于:
所述构建所述稳定化结果用于致使生成所述第一稳定化图像合成效果的步骤,还包括:
对于基于所述检测结果被成功检测的所述多个原始图像中的一第三图像中的所述对应目标区域,将一第三值加到一计数器,其中所述第三图像在所述第二图像之前;
所述构建所述稳定化结果用于致使生成所述多个原始图像中的所述多个对应目标区域的所述多个对应稳定化图像合成效果中的所述第一稳定化图像合成效果的步骤,包括:
对于基于所述检测结果未被成功检测的所述多个原始图像中的所述第一图像中的所述对应目标区域,从所述计数器中减去一第四值;及
所述构建所述稳定化结果用于致使生成所述多个稳定化图像合成效果中的所述第二稳定化图像合成效果的步骤,包括:
对于所述第二图像中的所述对应目标区域,从所述计数器减去一第五值,其中所述计数器用于获得所述目标在迄至所述第一图像的所述多个图像被捕获时处于所述图像合成效果期望状态的所述概率。
16.如权利要求15所述的系统,其特征在于:所述第一值小于所述第二值。
17.如权利要求15所述的系统,其特征在于:所述计数器在一上限及一下限处被修剪。
18.如权利要求13所述的系统,其特征在于:所述目标在迄至所述第一图像的所述多个图像被捕获时处于所述图像合成效果期望状态的所述概率所对应的所述第一变量与所述第一不透明度所对应的所述第二变量之间的所述关系的所述曲线具有非线性的一增加部分。
19.如权利要求12所述的计算机实现的方法,其特征在于:所述进行稳定化的步骤还包括:
构建所述稳定化结果用于致使生成所述多个稳定化图像合成效果中的一第三稳定化图像合成效果,其中所述第三稳定化图像合成效果是使用从迄至所述第二图像的多个图像中的一图像集的所述多个对应目标区域的多个对应深度相关特性进行平均而获得的一深度相关特性被生成。
20.如权利要求19所述的系统,其特征在于:所述图像集的所述多个对应目标区域的所述多个对应深度相关特性是所述图像集的所述多个对应目标区域的多个尺寸。
21.如权利要求19所述的系统,其特征在于:所述图像集中的一图像数量是两个。
22.如权利要求12所述的系统,
其特征在于:
所述目标是一光源;及
所述多个稳定化图像合成效果是多个相应稳定化人造散景效果。
23.一种非暂时性计算机可读介质,其特征在于:所述非暂时性计算机可读介质上存储有多个程序指令,当由一处理器模块执行所述多个程序指令时,致使所述处理器模块进行多个步骤,包括:
获得一第一图像序列,一目标被捕获于所述第一图像序列中,其中所述第一图像序列包括多个原始图像,及对应于所述目标的多个对应目标区域是在所述多个原始图像中;
检测所述多个原始图像中的所述多个对应目标区域,以获得一检测结果;
使用所述检测结果进行稳定化,以获得一稳定化结果,其中所述进行稳定化的步骤包括:
对于基于所述检测结果被成功检测或未被成功检测的所述多个原始图像中的一第一图像中的所述对应目标区域,构建所述稳定化结果用于致使生成所述多个原始图像中的所述多个对应目标区域的多个稳定化图像合成效果中的一第一稳定化图像合成效果,其中所述第一稳定化图像合成效果具有一第一不透明度;及
对于基于所述检测结果未被成功检测的所述多个原始图像中的一第二图像中的所述对应目标区域,构建所述稳定化结果用于致使生成所述多个稳定化图像合成效果中的一第二稳定化图像合成效果,其中所述第二稳定化图像合成效果具有一第二不透明度;
其中所述第一图像及所述第二图像是连续的;及
其中所述第二不透明度小于所述第一不透明度;及
使用所述稳定化结果来生成所述多个稳定化图像合成效果,以获得一第二图像序列,使得所述多个稳定化图像合成效果比一第三图像序列中的多个图像合成效果更为时间性闪烁平滑化,其中除了使用所述检测结果而非所述稳定化结果来生成所述图像合成效果之外,如同所述第二图像序列那样获得所述第三图像序列。
24.如权利要求23所述的非暂时性计算机可读介质,其特征在于:在所述构建所述稳定化结果用于致使生成所述第一稳定化图像合成效果的步骤之前,所述进行稳定化的步骤还包括以下步骤:
使用所述目标在迄至所述第一图像的多个图像被捕获时处于一图像合成效果期望状态的一概率,以决定所述第一不透明度,其中所述目标在迄至所述第一图像的所述多个图像被捕获时处于所述图像合成效果期望状态的所述概率所对应的一第一变量与所述第一不透明度所对应的一第二变量之间的一关系的一曲线是非递减的。
25.如权利要求24所述的计算机实现的方法,
其特征在于:
所述目标是一光源;及
所述图像合成效果期望状态是一被捕获的开启状态。
26.如权利要求24所述的非暂时性计算机可读介质,
其特征在于:
所述构建所述稳定化结果用于致使生成所述多个原始图像中的所述多个对应目标区域的所述多个对应稳定化图像合成效果中的所述第一稳定化图像合成效果的步骤,包括:
对于基于所述检测结果被成功检测的所述多个原始图像中的所述第一图像中的所述对应目标区域,将一第一值加到一计数器中,用于获得所述目标在迄至所述第一图像的所述多个图像被捕获时处于所述图像合成效果期望状态的所述概率;及
所述构建所述稳定化结果用于致使生成所述多个稳定化图像合成效果中的所述第二稳定化图像合成效果的步骤,包括:
对于所述第二图像中的所述对应目标区域,从所述计数器减去一第二值;或者
其特征在于:
所述构建所述稳定化结果用于致使生成所述第一稳定化图像合成效果的步骤,还包括:
对于基于所述检测结果被成功检测的所述多个原始图像中的一第三图像中的所述对应目标区域,将一第三值加到一计数器,其中所述第三图像在所述第二图像之前;
所述构建所述稳定化结果用于致使生成所述多个原始图像中的所述多个对应目标区域的所述多个对应稳定化图像合成效果中的所述第一稳定化图像合成效果的步骤,包括:
对于基于所述检测结果未被成功检测的所述多个原始图像中的所述第一图像中的所述对应目标区域,从所述计数器中减去一第四值;及
所述构建所述稳定化结果用于致使生成所述多个稳定化图像合成效果中的所述第二稳定化图像合成效果的步骤,包括:
对于所述第二图像中的所述对应目标区域,从所述计数器减去一第五值,其中所述计数器用于获得所述目标在迄至所述第一图像的所述多个图像被捕获时处于所述图像合成效果期望状态的所述概率。
27.如权利要求26所述的非暂时性计算机可读介质,其特征在于:所述第一值小于所述第二值。
28.如权利要求26所述的非暂时性计算机可读介质,其特征在于:所述计数器在一上限及一下限处被修剪。
29.如权利要求24所述的非暂时性计算机可读介质,其特征在于:所述目标在迄至所述第一图像的所述多个图像被捕获时处于所述图像合成效果期望状态的所述概率所对应的所述第一变量与所述第一不透明度所对应的所述第二变量之间的所述关系的所述曲线具有非线性的一增加部分。
30.如权利要求23所述的非暂时性计算机可读介质,其特征在于:所述进行稳定化的步骤还包括:
构建所述稳定化结果用于致使生成所述多个稳定化图像合成效果中的一第三稳定化图像合成效果,其中所述第三稳定化图像合成效果是使用从迄至所述第二图像的多个图像中的一图像集的所述多个对应目标区域的多个对应深度相关特性进行平均而获得的一深度相关特性被生成。
31.如权利要求30所述的非暂时性计算机可读介质,其特征在于:所述图像集的所述多个对应目标区域的所述多个对应深度相关特性是所述图像集的所述多个对应目标区域的多个尺寸。
32.如权利要求30所述的非暂时性计算机可读介质,其特征在于:所述图像集中的一图像数量是两个。
33.如权利要求23所述的非暂时性计算机可读介质,
其特征在于:
所述目标是一光源;及
所述多个稳定化图像合成效果是多个相应稳定化人造散景效果。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/074458 WO2021155549A1 (en) | 2020-02-06 | 2020-02-06 | Method, system, and computer-readable medium for generating stabilized image compositing effects for image sequence |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115066881A true CN115066881A (zh) | 2022-09-16 |
CN115066881B CN115066881B (zh) | 2023-11-14 |
Family
ID=77199700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080095961.9A Active CN115066881B (zh) | 2020-02-06 | 2020-02-06 | 对于图像序列生成稳定化图像合成效果的方法、系统及计算机可读介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115066881B (zh) |
WO (1) | WO2021155549A1 (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080259154A1 (en) * | 2007-04-20 | 2008-10-23 | General Instrument Corporation | Simulating Short Depth of Field to Maximize Privacy in Videotelephony |
US20100266207A1 (en) * | 2009-04-21 | 2010-10-21 | ArcSoft ( Hangzhou) Multimedia Technology Co., Ltd | Focus enhancing method for portrait in digital image |
CN106550243A (zh) * | 2016-12-09 | 2017-03-29 | 武汉斗鱼网络科技有限公司 | 直播视频处理方法、装置及电子设备 |
CN107730460A (zh) * | 2017-09-26 | 2018-02-23 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
CN107820019A (zh) * | 2017-11-30 | 2018-03-20 | 广东欧珀移动通信有限公司 | 虚化图像获取方法、装置及设备 |
WO2019070299A1 (en) * | 2017-10-04 | 2019-04-11 | Google Llc | DEPTH ESTIMATION USING A SINGLE CAMERA |
CN110363814A (zh) * | 2019-07-25 | 2019-10-22 | Oppo(重庆)智能科技有限公司 | 一种视频处理方法、装置、电子装置和存储介质 |
CN110363702A (zh) * | 2019-07-10 | 2019-10-22 | Oppo(重庆)智能科技有限公司 | 图像处理方法及相关产品 |
-
2020
- 2020-02-06 WO PCT/CN2020/074458 patent/WO2021155549A1/en active Application Filing
- 2020-02-06 CN CN202080095961.9A patent/CN115066881B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080259154A1 (en) * | 2007-04-20 | 2008-10-23 | General Instrument Corporation | Simulating Short Depth of Field to Maximize Privacy in Videotelephony |
US20100266207A1 (en) * | 2009-04-21 | 2010-10-21 | ArcSoft ( Hangzhou) Multimedia Technology Co., Ltd | Focus enhancing method for portrait in digital image |
CN106550243A (zh) * | 2016-12-09 | 2017-03-29 | 武汉斗鱼网络科技有限公司 | 直播视频处理方法、装置及电子设备 |
CN107730460A (zh) * | 2017-09-26 | 2018-02-23 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
WO2019070299A1 (en) * | 2017-10-04 | 2019-04-11 | Google Llc | DEPTH ESTIMATION USING A SINGLE CAMERA |
CN107820019A (zh) * | 2017-11-30 | 2018-03-20 | 广东欧珀移动通信有限公司 | 虚化图像获取方法、装置及设备 |
CN110363702A (zh) * | 2019-07-10 | 2019-10-22 | Oppo(重庆)智能科技有限公司 | 图像处理方法及相关产品 |
CN110363814A (zh) * | 2019-07-25 | 2019-10-22 | Oppo(重庆)智能科技有限公司 | 一种视频处理方法、装置、电子装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021155549A1 (en) | 2021-08-12 |
CN115066881B (zh) | 2023-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113613362B (zh) | 灯珠数量检测方法、控制器、灯光模组及存储介质 | |
CN106128416B (zh) | 控制方法、控制装置及电子装置 | |
CN111246051B (zh) | 自动检测条纹并抑制的方法、装置、设备及存储介质 | |
US20210392261A1 (en) | Flicker mitigation via image signal processing | |
US9111353B2 (en) | Adaptive illuminance filter in a video analysis system | |
EP2245594B1 (en) | Flash detection | |
US7679655B2 (en) | Image-data processing apparatus, image-data processing method, and imaging system for flicker correction | |
CN103646392B (zh) | 逆光检测方法及设备 | |
US20180262667A1 (en) | Image capturing device and brightness adjusting method | |
JP2008259161A (ja) | 目標追尾装置 | |
US20150318019A1 (en) | Method and apparatus for editing video scenes based on learned user preferences | |
KR20120014515A (ko) | 전경 및 배경 분리 장치 및 방법 | |
KR102643611B1 (ko) | 펄스 신호 기반 디스플레이 방법 및 장치, 전자 디바이스, 및 매체 | |
TW202006676A (zh) | 電腦系統及其資源分配方法 | |
CN115066881A (zh) | 对于图像序列生成稳定化图像合成效果的方法、系统及计算机可读介质 | |
US10210816B2 (en) | Image display apparatus and method for dimming light source | |
US9219868B2 (en) | Image processing device, image processing method, and program | |
JPH10289321A (ja) | 画像監視装置 | |
CN114764821A (zh) | 移动物体检测方法、装置、电子设备和存储介质 | |
CN113038093B (zh) | 视频图像闪烁抑制处理的系统、方法、装置及其存储介质 | |
CN113170038B (zh) | 抖动校正控制装置、抖动校正控制装置的工作方法、存储介质及摄像装置 | |
CN115334250A (zh) | 一种图像处理方法、装置及电子设备 | |
CN114005059A (zh) | 视频转场的检测方法、装置及电子设备 | |
CN110163037B (zh) | 监测驾驶员状态的方法、设备、系统、处理器及存储介质 | |
US20240155246A1 (en) | A method and image capturing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |