CN118071660A - 用于应用强度导数用于时域图像稳定性的系统、设备和/或过程 - Google Patents

Abstract

公开了示例方法、装置和/或制品，该示例方法、装置和/或制品可全部或部分地实施用于将图像反走样操作应用于图像帧的技术。在特定具体实施中，可至少部分地基于图像帧中强度的变化率而将防闪烁处理应用于图像帧的一部分。

Description

用于应用强度导数用于时域图像稳定性的系统、设备和/或 过程

本申请要求于2022年11月24日提交的题为“SYSTEM,DEVICES AND/OR PROCESSESFOR APPLICATION OF AN INTENSITY DERIVATIVE FOR TEMPORAL IMAGE STABILITY”的英国专利申请序列2217591.3号的优先权，其全部内容通过引用并入本文。

背景技术

1.技术领域

描述了用于将反走样技术应用于经渲染的图像的技术、设备和过程。

2.发明内容

使计算机生成的图像适应不同分辨率(例如，适应移动游戏平台上的小分辨率)可能引入图像走样，从而可能引起渲染的内容中的“锯齿”边缘。可采用时间性反走样(TAA)过程来通过例如设定子像素样本的平均数的像素值来减轻此类走样效应。子像素样本的此类平均数可至少部分地基于此类子像素样本的时间性累积来确定。

附图说明

要求保护的主题在本说明书的结尾部分中被特别指出和清楚地要求保护。然而，关于组织和/或操作方法，以及其对象、特征和/或优点，在结合附图阅读的情况下，参考以下详细描述可以最好地理解，其中：

图1A是根据实施方案的用于处理图像帧的系统的示意图；

图1B是根据实施方案的具有高频边缘的图像帧的一部分的图示；

图2A是根据实施方案的用于将图像反走样操作应用于图像帧的系统的具体实施的示意图；

图2B和图2C是根据实施方案的用于为图像帧的一部分计算灰度导数的操作的具体实现的示意图；

图3A和图3B是根据实施方案的用于将图像反走样操作应用于图像帧的系统的具体实施的示意图；

图4是根据实施方案的用于确定对一个时间实例中的至少一个值的校正的过程的流程图；

图5是根据具体实施的示例计算系统；并且

图6是根据实施方案的形成为“层”的神经网络的示意图。

在以下详细描述中参考了附图，附图形成描述的一部分，在整个描述中，类似的数字可表示类似的部件，这些部件是对应的和/或相似的。应当理解，附图未必按比例绘制，诸如为了简化和/或清楚地示出。例如，一些方面的尺寸相对于其他方面可能有所放大。此外，应当理解，可利用其他实施方案。此外，在不脱离要求保护的主题的情况下，可进行结构和/或其他改变。本说明书通篇提及的“要求保护的主题”是指旨在由一项或多项权利要求或其任何部分所涵盖的主题，并且不一定旨在指完整的权利要求集、权利要求集的特定组合(例如，方法权利要求、设备权利要求等)或特定权利要求。还应当指出的是，方向和/或参考(例如，诸如上、下、顶部、底部等)可用于促进对附图的讨论，并且不旨在限制要求保护的主题的应用。因此，以下详细说明不应理解为限制要求保护的主题和/或等同物。

具体实施方式

本说明书通篇提及的一个具体实施、一具体实施、一个实施方案、一实施方案等意味着，关于特定具体实施和/或实施方案描述的特定特征、结构、特性等包括在要求保护的主题的至少一个具体实施和/或实施方案中。因此，此类短语例如在本说明书通篇中的多处出现不一定旨在指相同的具体实施和/或实施方案或任何一个特定具体实施和/或实施方案。此外，应当理解，所描述的特定特征、结构、特性等能够在一个或多个具体实施和/或实施方案中以各种方式组合，并且因此在预期的权利要求范围内。当然，一般来讲，就像对于专利申请的说明书而言一直存在的那样，这些和其他问题具有在特定使用环境下变化的可能性。换句话讲，在整个本公开中，描述和/或使用的特定上下文提供了关于要得出的合理推理的有帮助的指导；然而，同样地，一般而言“在该上下文中”在不进一步限定的情况下至少是指本专利申请的上下文。

根据实施方案，时间性反走样(TAA)技术可涉及对在多个图像帧上收集的图像信号强度值的处理。在具体实施中，如果没有以足够高的分辨率获得图像信号的观察值和/或样本以避免再现的图像中的失真和/或伪像，则可能发生走样。为了均匀地对像素区域内的不同位置进行采样，可以使用从采样序列得到的子像素抖动偏移来在图像帧上临时地将视口移位。例如，视口子像素抖动偏移可被注入到相机投影矩阵，以在空间上改变不同图像帧中的不同图像像素值。来自前一图像帧的输出的时间性累积的样本可至少部分地基于应用程序生成的运动向量而被重新投影(例如，重新采样)以说明相机和/或对象运动。例如，由于遮挡、光照和/或表面内容的变化，所获取的图像像素值的历史(例如，对于先前图像)可能是无效的和/或与当前图像帧中的图像信号强度值不一致。在没有仔细检查的情况下应用这种无效图像信号强度值可以引入重影和/或图像滞后伪影。在特定具体实施中，可以拒绝或修正被识别为无效的图像信号强度值。为了生成当前帧的图像信号强度值，可以将当前图像信号强度值累积到相关联像素位置处的经扭曲的修正历史中。

在一个具体实施中，TAA算法的有效性可以至少部分地基于这种TAA算法“修正”经扭曲的反走样历史帧的能力来确定。这样的修正过程可以涉及识别在重新投影期间是否已经发生了去遮挡(或扭曲误差)，并且在这样的情况下，选择替代颜色值，称为“箝位”历史。这种历史箝位可依赖于规则定义的算法，这些算法涉及使用图形缓冲器信息(诸如运动向量、表面法线、帧缓冲器/几何统计或计算色彩和/或深度缓冲器统计)，并且可利用手动调谐的试探法。虽然这种试探法在一些应用中可能是有效的，但这种试探法在缺乏位置导出规则的情况下可能无法产生足够的图像质量。根据实施方案，可以至少部分地通过训练例如由NVIDIA的DLSS神经网络架构所采用的深度神经网络，来确定这样的位置导出规则。

对于TAA处理的一个特别有挑战性的内容类型是高对比度薄边缘。由于时间步之间的抖动，TAA过程可能交替地对高对比度边缘进行开和关采样。在修正(例如，箝位)时，TAA过程可能将历史朝向输入色彩样本箝位。如果输入色彩信号正在随时间振荡，则这可能导致历史在每个时间步被朝向该特定输入色彩样本钳位，从而导致振荡作为“闪烁”伪像出现在输出帧中。这个时域不稳定性可能显著地劣化所感知的图像质量。

代替钳位历史，像素的采样图像信号强度值的累积可产生在多个图像帧上的空间样本的积分。然而，在存在大量运动的区域中仅累积并且完全放弃箝位可能引入重影(例如，历史未被箝位到当前输入)。

TAA过程的一些具体实施可能累积具有基于与目标像素的空间相关性、以及已累积信息量的逐像素样本贡献的样本。然而，这可能未考虑样本随时间的变化。一个实施方案涉及计算用于使得能够区分闪烁行为(例如，高频振荡)的存在和重影(例如，值的阶跃变化)的度量。在一种具体实施中，用于计算此类度量的过程可在线发生以例如减少存储器和计算开销(例如，避免需要存储图像帧的历史以计算该度量)。在另一具体实施中，此类度量可作为输入张量的一部分被提供给神经网络(NN)以用于在计算滤波系数和/或其它参数(例如，用于确定是接受还是拒绝当前历史的参数)中使用。在另一具体实施中，此类度量可并入多种图形和非图形使用情况中用于检测闪烁，并且如果检测到闪烁，则应用处理以移除/减少/减轻检测到的闪烁，由此改善感知质量。

简言之，在一个方面，本文中所公开的具体实施涉及一种计算机实现的方法，包括：接收时间实例的时间序列，每个时间实例包括具有至少一个值的一个或多个样本；对于时间实例的该时间序列中的当前时间实例：计算用于指示至少一个值在该当前时间实例处的变化率的信号；以及基于所计算的该信号以及为时间实例的该时间序列中前一时间实例生成的累积差值生成累积信号值；以及应用该累积差值来校正时间实例的该时间序列中的时间实例中的至少一个值或者要应用于时间实例的该时间序列中的时间实例中的至少一个值的操作。在时间实例的序列对应于图像帧的时间序列的特定具体实施中，此类累积差值可被应用以校正要呈现的图像的一部分中的闪烁。

在特定具体实施中，可至少部分地基于检查所计算的色彩样本在一持续时间上的导数来评估图像帧的一部分的强度的变化率。如果这样的所计算的导数在一持续时间上为高，指示高变化率，则闪烁可能更有可能存在。如果这样的所计算的导数在一持续时间上为低，指示低变化率，则重影可能更有可能存在。为了评估这样的所计算的导数将如何随时间变化，可在图像帧的滑动窗口上计算平均值。然而，这可能需要在存储器中维持多个图像帧以及对所有所存储的图像帧的计算操作，这对于存储器受约束的计算环境诸如移动设备可能是计算成本高的。

在特定具体实施中，例如，可至少部分地基于要利用α混合在缓冲器中存储/更新的图像帧间隔处的导数的累积来评估该导数的变化率。可被实施为指数平滑滤波器的此类α混合可将当前导数混合到缓冲器中的累积值中，该累积值可以是多个先前混合步骤的累积的结果。这种α混合背后的一个基本原理是，如果导数的变化率高，则高值可被连续地混合到存储在缓冲器中的累积值中，从而导致所存储的值上升。同样，如果导数的变化率低，则低值可被连续地混合到存储在缓冲器中的累积值中，使得所存储的值减小和/或保持低水平。这样的累积值于是可使得能够检测输入色彩样本中闪烁的存在。

图1A是根据实施方案的用于处理图像帧的系统100的示意图，其中反走样组件102可确定与图像帧帧N中的像素位置相关联的图像信号强度值。根据实施方案，系统100的特征可以与能够显示和/或再现可视图像的电子设备(诸如，能够生成特定格式的信号以驱动显示设备的设备)集成。此类设备可包括例如移动电话和/或适用于游戏等的其他专用计算设备。

如图所示，反走样组件102可至少部分地基于帧帧N-1的图像信号强度值和抖动偏移信号和运动向量来确定图像帧帧N的图像信号强度值。框104可进一步处理图像帧帧N的图像信号强度值，以供在显示设备上呈现(例如，根据特定图像呈现格式)。还可以至少部分地基于帧N的图像信号强度值来生成后续帧帧N+1(未示出)的图像信号强度值。

图1B是根据实施方案的具有高频边缘的图像帧的一部分的图示。如上文所指出，对于高对比度、薄边缘，抖动可能对TAA处理引入挑战。在存在此类抖动的情况下在时间步之间，TAA过程可能交替地对诸如区域150中的高对比度边缘进行开/关采样。在图1B的特定示例中，时间t＝1处第一颜色的区域152中的样本被采样，而时间t＝2处第二对比颜色的区域154中的样本被采样。第一颜色的区域152中时间t＝3处的样本又被采样，而第二颜色的区域154中时间t＝4处的样本又被采样。在序列t＝1、2、3和4中获取这样的样本可能导致对比极值之间的振荡产生闪烁。

在图2A的特定具体实施中，帧帧N-1的图像信号强度值可至少部分地基于从渲染操作214供应的运动向量和/或光流而在重新投影操作208处扭曲。为了减少并且/或者消除重影和/或图像滞后伪影，验证操作210可将由重新投影操作208产生的扭曲帧的部分识别为无效的(例如，被拒绝或修正)。由验证操作产生的经修正的扭曲帧可接着在累积操作212处与由渲染操作214生成的一个或多个帧混合和/或组合，以提供经混合的图像帧。由累积操作212产生的混合图像帧然后可以在操作216处被后处理，以在显示设备(未示出)上显示。

根据实施方案，要在验证操作210和/或累积操作212中应用的参数可被确定为由神经网络(NN)202提供的输出值，这样的输出值例如至少部分地基于在重新投影操作208处计算的扭曲图像帧。在特定具体实施中，NN 202可以定义多个输出通道，以提供例如将由累积操作212在生成混合图像帧时应用的每像素值α以及将由验证操作210应用的每像素值θ和内核偏移值。

根据实施方案，在到NN 202的输入张量中提供的扭曲图像帧可以至少部分地从由重新投影操作208提供的扭曲图像帧导出。到NN 202的输入张量可包括扭曲图像帧、运动向量的长度和/或色彩样本(例如，来自渲染操作214)，仅举几例。在特定具体实施中，在到NN202的输入张量中提供的扭曲图像帧可以包括由重新投影操作208提供的扭曲图像帧的下采样版本。同样地，在操作210和212处，在NN 202的输出张量中提供的参数可被上采样到较高分辨率，以应用于较高分辨率图像帧。将在反走样操作中应用的输入张量中的扭曲图像帧的该下采样和输出张量中的参数的上采样可使得能够从任何特定大小的图像帧解耦NN202，并且进一步使得能够减小NN 202的尺度，而不显著损失图像质量。如上文所指出，由NN202接收的输入值可基于由帧N-1累积操作206计算的扭曲图像帧。在特定具体实施中，由NN202接收的输入值的缩放可以与由重新投影操作208产生的扭曲图像帧的缩放不同和/或解耦。例如，虽然重新投影操作208可提供具有1920×1080像素的图像帧的像素的图像信号强度值，但是在NN 202处接收的输入可包括具有图像信号强度值(例如，对于960×540像素图像帧)的缩减的图像帧。因此，NN 202的特定NN模型可以独立于被处理以解决图像走样的图像帧的特定分辨率，从而允许将NN 202的设置具体实施应用于反走样操作，这些反走样操作应用于不同像素分辨率的图像帧。

在另一特定具体实施中，在NN 202处接收的输入张量可包括指示图像帧的至少一部分(例如，图像帧历史中多个图像帧上的特定像素位置)的强度的变化率的所计算度量。如上文所指出，渲染操作214可以使用第一像素分辨率提供图像帧，而NN 202可以使用低于第一像素分辨率的第二像素分辨率接收图像帧，作为输入张量的一部分。在一个具体实施中，验证操作210和/或累积操作212可以用(由渲染操作214提供的图像帧的)第一像素分辨率来执行。在另一具体实施中，提供给后处理216和重新投影操作218的重新投影输出图像帧将被放大，以具有高于第一像素分辨率的像素分辨率。为了能够以高于第一像素分辨率的像素分辨率提供这样的输出图像帧，由NN 202提供给验证操作210和/或累积操作212的参数可以被适当地放大到更高的分辨率。

根据实施方案，图像的强度的变化率的指标可以被计算为图像帧中特定位置(例如，像素位置)处灰度值的累积导数。在这个上下文中，本文中所提及的“灰度值”是指用于表示与图像帧中的位置或区域(例如，像素)相关联的强度(例如，强度或光和/或亮度)的一维量值。这样的灰度值可以例如被表达为单个浮点或整数表达式。在图2B和图2C的特定示例具体实施中，可将这样的灰度值计算为明度值，并且可基于所计算明度值的累积导数来计算图像的强度的变化率的指标。在其它具体实施中，可不同地计算这样的灰度值(例如，作为亮度值)，并且可将灰度值的累积导数计算为不同地计算的灰度值的累积导数(例如，作为亮度值的累积导数)。如图2B中所示，系统250可至少部分地基于帧N-1处的所计算明度254的累积导数来计算帧N处明度272的经更新的累积导数。例如，可由渲染操作214生成帧N处特定像素位置的图像信号强度值256。在其中以红、绿、蓝(RGB)格式提供图像信号强度值256的一个特定具体实施中，框260可根据如下表达式(1)至少部分地基于图像信号强度值来计算明度值L：

L＝0.25×R+0.5×G+0.25×B, (1)

其中R、G、B分别是针对红颜色通道、绿颜色通道和蓝颜色通道的帧N中像素位置的图像信号强度值。

在其它具体实施中，框260可利用其它不同技术(诸如根据ITU-R RecommendationBT.709或BT.2000中所提出的模型)计算明度值，这仅仅是提供若干附加示例。如上文所指出，应理解，明度值的计算(例如，如表达式(1)中所示)仅为可如何计算灰度值的示例，并且可使用其它技术(例如，将多个强度值映射到一维量值)来计算灰度值而不偏离所请求保护的主题。

为了更好地将在框256处针对帧N确定的明度值252和累积明度导数254与在框260处确定的明度值在时间上对准，可至少部分地基于运动向量258(例如，由渲染操作214计算)在框262和264处应用密集图像扭曲操作。在特定具体实施中，框262和264可应用密集图像扭曲操作来根据如下表达式(2)计算像素位置x，y处的扭曲值输出out(x，y)(例如，对于诸如明度值252这样的灰度值和/或诸如累积明度导数254这样的累积灰度导数值)：

out(x,y)＝in(x+u(x,y),y+v(x,y)), (2)

其中：

in(x，y)表示帧N-1的像素位置x，y的明度或累积明度导数的输入值；并且

u和v表示帧帧N-1与帧N之间的水平和竖直位移。

根据实施方案，可根据如下表达式(3)将框266处的绝对值L_d(x,y)计算为框260处针对帧N确定的明度值与框262处确定的扭曲明度值的组合：

其中：

_Lt(x,y)是像素位置x，y的帧N中的明度值；并且

是像素位置x，y的框262处从帧N-1扭曲到帧N的明度值。

根据实施方案，框268可根据如下表达式(4)确定位置x，y处帧N的累积明度导数(框272)：

其中：

alpha(x，y)是整体确定的可调谐混合系数；并且

是在框264处针对扭曲到帧N的帧N-1计算的像素位置x，y处的累积明度导数254。

如以上所指出的，渲染操作214可以生成一个分辨率(例如，540×960像素)的图像帧，而最终输出图像可以被提供给后处理216以用于以更高分辨率(例如，1080×1920像素)显示。根据实施方案，可修改系统250以提供系统280(图2C)，其中可在框286处对运动向量258进行上采样以提供要在框264处的密集图像扭曲操作处应用的更高分辨率运动向量。同样地，框266处的绝对值L_d(x,y)可在框284处至少部分地基于抖动信号282(例如，由渲染操作214产生)而被上采样以提供要在框268处组合的绝对值L_d(x,y)的上采样。

图3A和图3B是根据实施方案的用于对图像帧执行图像反走样操作的系统300的流水线具体实施的示意图。在特定具体实施中，系统300可以包括形成在一个或多个集成电路(IC)管芯(诸如，实施计算设备342和346和媒体设备362的一个或多个IC管芯)上的一个或多个计算设备。媒体设备362可包括能够处理和呈现内容(例如，音频内容和/或图像内容)给最终用户的若干类型的设备中的任何一种，诸如游戏设备或移动娱乐设备。例如，系统300还可以将计算设备342和346与形成在单独的IC管芯上和/或由单独的IC管芯执行的NN设备344集成。系统300可以实现系统200的一个或多个特征(图2A)。例如，NN 302可通过至少部分地基于在输入缓冲器338中至少部分地基于扭曲图像帧330提供的输入张量计算包括要应用于一个或多个图像反走样操作中的参数的输出张量336来至少部分地实施NN202。例如，NN 302可被配置为执行卷积NN。

根据实施方案，媒体设备362可以在渲染操作诸如渲染操作214中生成当前图像帧324的图像信号强度值。例如，框332可诸如通过操作260和表达式(1)来计算被渲染图像帧324中各个像素位置的明度值。框366可至少部分地基于在框332处计算的明度值和在框322处提供的前一图像帧中所计算的累积明度导数值来计算被渲染图像帧324中的像素位置的累积明度导数，诸如累积明度导数272。例如，框366可根据框268和/或表达式(4)计算这样的累积明度导数。框366处针对像素位置计算的累积明度导数的值可与其它参数(例如，从334导出的图像信号强度值)级联以形成要加载到缓冲器338的输入张量。

如上文所指出，NN 302可被配置为至少部分地基于针对前一时间实例确定的图像帧以及所计算的运动向量来处理比扭曲图像帧的分辨率(例如，1080×1920像素)低的分辨率(例如，540×960像素)的图像帧以及相关参数。虽然扭曲图像帧330可以表达一个特定像素分辨率(例如，1080×1920像素)的图像，但下采样操作326可生成扭曲图像帧来以较低像素分辨率(例如，540×960像素)表达图像帧，以被组合在要加载到缓冲器338的输入张量中。这样的输入张量的元素可根据输入量化在量化350处被量化。另外，加载到缓冲器336的输出张量中的参数可被提升到较高分辨率(例如，从540×960像素到1080×1920像素)以应用于修正操作310和混合操作312。

根据实施方案，NN 302可以至少部分地基于存储在缓冲器338中的输入张量的参数来计算要存储在缓冲器336中的输出张量的参数。存储在缓冲器336中的这样的输出张量的参数可以包括要应用于计算设备部分346的反走样操作(例如，修正操作310和混合操作312)中的参数。在特定具体实施中，存储在缓冲器336中的输出张量的这种参数可在上采样操作328处被上采样，以提供例如根据与扭曲图像帧的分辨率相匹配的分辨率来缩放的参数。如上文所指出，执行NN 302以提供将应用于比扭曲历史364处扭曲图像帧的分辨率低的像素分辨率的图像帧的参数可使得能够实现不显著劣化图像质量的NN 302的较小规模、较低成本设计。

图4是用于处理时间实例的时间序列的计算机实现的过程400的流程图。在框402处接收的时间实例的时间序列的此类时间实例可包括能被量化为值的一个或多个信号和/或样本。根据实施方案，在框402处接收的实例的时间序列可以包括要由系统200处理的图像帧的时间序列。例如，在框402处接收的时间实例的时间序列的实例可包括在重新投影操作208处从累积操作206(例如，在前一实例中执行)接收的图像帧。

框404可包括更新和/或维持时间实例的时间序列中至少一个值的累积差值。例如，框404可包括通过根据框272和/或表达式(2)和(3)计算像素位置处所计算明度值的差来计算指示图像帧的时间序列中像素位置处的变化率的信号。然而，应理解，所计算明度值的这样的差的计算仅为可如何计算指示时间实例的一个或多个信号的值的变化率的信号的示例，并且所请求保护的主题在此方面不受限制。例如，框404而是可计算指示与图像帧的时间序列中的像素位置相关联的明度值和/或其它属性的变化率的值。

根据实施方案，框404可通过处理针对前一时间实例生成的至少一个样本以提供针对该前一时间实例生成的该至少一个样本的外推(例如，在操作262处)；以及计算针对该前一时间实例生成的该至少一个样本的该外推与针对当前时间实例生成的至少一个样本之间的差来计算指示至少一个值的变化率的信号。

框404还可包括基于指示变化率的所计算信号(诸如例如前一图像帧的累积差)以及指示变化率的所计算信号(诸如，图像帧的时间序列的当前图像帧中像素位置处的所计算变化率)来计算累积差值。例如，可以根据表达式(4)通过操作272来计算这样的累积差值。在实施方案中，框404可以至少部分地基于针对前一时间实例生成的累积差值的外推(例如，通过在操作208和/或操作264处的扭曲来外推)来计算针对当前时间实例的累积差值。从该前一时间实例生成的这样的外推累积差值然后可与针对当前时间实例计算的差值组合(例如，在操作268处)。根据实施方案，可以通过至少部分地基于光流和/或运动向量扭曲从前一时间实例生成的累积差值，来计算这样的外推累积差值。

可想到，经更新的累积差值的计算(例如，基于针对前一图像帧计算的累积明度导数254的经更新的累积明度导数272)可消除否则对于维持时间实例的时间序列的大量信号历史的需要。例如，对于图像帧的时间序列，在框404处更新累积差值(例如，累积明度导数)可使得能够实现对图形缓冲器(例如，在移动设备中)的有限存储器资源的使用的减少。

框406可包括应用在框404处计算的累积差值以校正在框402处接收的时间实例的时间序列中的时间实例的一个或多个方面。例如，可将这样的累积差应用于图像帧以减轻和/或移除伪影诸如图像闪烁。在特定具体实施中，框406可包括在验证操作210和/或累积操作212处将基于神经网络(例如，NN 202)的输出张量确定的系数应用于帧的时间序列的扭曲历史的图像信号强度值以提供输出图像帧(其中至少部分地基于在框404处计算的累积差值确定输出张量)。

根据实施方案，系统200、250、280和/或系统300可由以下器件形成和/或通过以下器件来表示：在过程(例如，前端生产线过程和/或后端生产线过程)诸如用于形成互补金属氧化物半导体(CMOS)电路(仅作为示例)中的晶体管和/或下部金属互连件(未示出)。然而，应当理解，这仅仅是如何在生产线前端过程中在设备中形成电路的示例，并且要求保护的主题在这方面不受限制。

应当指出的是，本文所公开的各种电路可使用计算机辅助设计工具来描述，并且根据其行为、寄存器传输、逻辑组件、晶体管、布局几何形状和/或其他特征来表达(或表示)为体现在各种计算机可读介质中的数据和/或指令。可在其中实现此类电路表达的文件和其他对象的格式包括但不限于支持行为语言诸如C、Verilog和VHDL的格式，支持寄存器级描述语言诸如RTL的格式，以及支持几何描述语言诸如GDSII、GDSIII、GDSIV、CIF、MEBES的格式和任何其他合适的格式和语言。可体现此类格式化的数据和/或指令的存储介质包括但不限于各种形式的非易失性存储介质(例如，光学、磁性或半导体存储介质)和可用于通过无线、光学或有线信令介质或它们的任何组合传输此类格式化的数据和/或指令的载波。通过载波传输此类格式化的数据和/或指令的示例包括但不限于经由一个或多个数据传输协议(例如，HTTP、FTP、SMTP等)通过互联网和/或其他计算机网络进行传输(上传、下载、电子邮件等)。

如果经由一个或多个机器可读介质接收在计算机系统内，则上述电路的此类基于数据和/或指令的表达可由计算机系统内的处理实体(例如，一个或多个处理器)结合一个或多个其他计算机程序(包括但不限于网表生成程序、地点和路由程序等)的执行来处理，以生成此类电路的物理表现的表示或图像。此后，此类表示或图像可用于设备制造，例如，通过能够生成一个或多个掩模，该一个或多个掩模用于在设备制造过程(例如，晶圆制造过程)中形成该电路的各种组件。

在本专利申请的上下文中，术语“在…之间”和/或类似术语应理解为包括“在…之中”(如果适用于特定用途)，反之亦然。同样，在本专利申请的上下文中，术语“与…相容”、“顺应”和/或类似术语应被理解为分别包括实质相容性和/或实质顺应性。

对于一个或多个实施方案，系统200和300可在设备中实现，诸如计算设备和/或联网设备，其可包括，例如，较宽范围的数字电子设备中的任一种，包括但不限于：台式计算机和/或笔记本电脑、高清电视、数字通用光盘(DVD)和/或其他光盘播放器和/或录像机、游戏机、卫星电视接收器、移动电话、平板设备、可穿戴设备、个人数字助理、移动音频和/或视频回放和/或录制设备、物联网(IoT)类型设备或者前述的任何组合。此外，除非另外特别说明，否则诸如参考流程图和/或其他方式描述的过程也可全部或部分地由计算设备和/或网络设备执行和/或影响。诸如计算设备和/或网络设备的设备可根据能力和/或特征而变化。所要求保护的主题旨在涵盖较宽范围的潜在变型。例如，设备可包括功能有限的数字小键盘和/或其他显示器，诸如用于显示文本的单色液晶显示器(LCD)。然而，相比之下，又如，启用网络的设备可包括物理和/或虚拟键盘、大容量存储装置、一个或多个加速度计、一个或多个陀螺仪、全球定位系统(GPS)和/或其他位置识别类型能力，和/或诸如触敏彩色2D或3D显示器的具有更高功能度的显示器。

在本专利申请的上下文中，术语“连接件”、术语“部件”和/或类似术语旨在为物理的，但不一定总是有形的。因此，这些术语是否指代有形主题，可在特定使用环境下变化。例如，可诸如通过能够在两个有形部件之间传导电流的有形电连接(诸如包括金属或其他导体的导电路径)来形成有形连接和/或有形连接路径。同样，有形连接路径可至少部分地受到影响和/或控制，使得如典型的那样，有形连接路径有时可能由于一个或多个外部衍生信号(诸如用于电气开关的外部电流和/或电压)的影响而打开或闭合。电开关的非限制性示例包括晶体管、二极管等。然而，在特定使用上下文中，“连接”和/或“部件”同样(尽管是物理的)也可以是非有形的，诸如客户端与服务器之间通过网络(特别是无线网络)的连接，这通常指代客户端和服务器发射、接收和/或交换通信的能力，如稍后更详细地讨论。

因此，在特定使用上下文(诸如讨论有形部件的特定上下文)中，术语“耦接”和“连接”以使得这些术语不同义的方式使用。也可以表现出类似意图的方式使用类似的术语。因此，“连接”用于指示例如两个或更多个有形部件等有形地直接物理接触。因此，使用先前的示例，电连接的两个有形部件经由有形电连接物理地连接，如前所述。然而，“耦接”用于意指潜在地两个或更多个有形部件有形地直接物理接触。尽管如此，“耦接”也用于意指两个或更多个有形部件等不一定有形地直接物理接触，而是能够诸如通过“光学耦接”来协作、联络和/或交互。同样，术语“耦接”也被理解为意指间接连接。还应当注意，在本专利申请的上下文中，由于存储器诸如存储器部件和/或存储器状态旨在为非暂态的，因此术语“物理”(至少如果相对于存储器使用的话)必然意味着此类存储器部件和/或存储器状态(继续该示例)是有形的。

除非另外指明，否则在本专利申请的上下文中，如果用于关联列表，诸如A、B或C，则术语“或”旨在此处以包含性意义使用以表示A、B和C，以及在此处以排他性意义使用以表示A、B或C。根据该理解，“和”以包含性意义使用，并且旨在表示A、B和C；而“和/或”可谨慎使用以使所有前述含义都是预期的，尽管此类使用不是必需的。此外，术语“一个或多个”和/或类似术语用于描述单数形式的任何特征、结构、特性等，“和/或”也用于描述特征、结构、特性等的多个和/或一些其他组合。同样，术语“基于”和/或类似术语被理解为不一定旨在传达详尽的因素列表，而是允许存在不一定明确描述的附加因素。

此外，对于涉及要求保护的主题的具体实施并且受制于关于程度的测试、测量和/或规范的情况，旨在以如下方式理解特定情况。例如，在给定情况下，假设将测量物理属性的值。如果普通技术人员合理地可能想到关于程度的测试、测量和/或规范的另选合理方法(至少相对于属性，继续该示例)，则至少出于具体实施目的，除非另外明确指明，否则要求保护的主题旨在涵盖那些另选合理方法。例如，如果产生某个区域上的测量值的曲线图并且受权利要求书保护的主题的具体实施指代采用该区域上的斜率的测量值，但存在多种合理且可供选择的技术来估计该区域上的斜率，则除非另外明确指明，否则受权利要求书保护的主题旨在涵盖那些合理的可供选择的技术。

在受权利要求书保护的主题涉及一个或多个特定测量的程度上，诸如关于能够被物理测量的物理表现，诸如但不限于温度、压力、电压、电流、电磁辐射等，据信受权利要求书保护的主题不属于法定主题的抽象概念司法例外。相反，声称物理测量不是精神步骤，并且同样不是抽象概念。

尽管如此，应当注意，所采用的典型测量模型是，一个或多个测量可分别包括至少两个分量的总和。因此，对于给定的测量，例如，一个分量可包括确定性分量，该确定性分量在理想意义上可包括通常为一个或多个信号、信号样本和/或状态的形式的物理值(例如，经由一个或多个测量来寻找)，并且一个分量可包括随机分量，该随机分量可具有可能难以量化的各种源。有时，例如，缺乏测量精度可影响给定测量。因此，对于受权利要求书保护的主题，除了确定性模型之外，还可以使用统计模型或随机模型作为识别和/或预测关于可能与受权利要求书保护的主题相关的一个或多个测量值的方法。

例如，可收集相对大量的测量以更好地估计确定性分量。同样，如果测量变化(这通常可能发生)，则可能的是方差的一些部分可被解释为确定性分量，而方差的另一些部分可被解释为随机分量。通常，如果可行的话，希望与测量相关联的随机方差相对较小。也就是说，通常可能优选的是，能够以确定的方式而不是作为识别和/或可预测性的辅助手段的随机因素来说明测量变化的合理部分。

按照这些原则，已使用多种技术，使得可处理一个或多个测量值以更好地估计基础确定性分量，以及潜在地估计随机分量。当然，这些技术可随围绕给定情况的细节而变化。然而，通常更复杂的问题可能涉及使用更复杂的技术。就这一点而言，如上所述，对物理表现的一个或多个测量可确定地和/或随机地建模。采用模型允许潜在地识别和/或处理所收集的测量值，和/或潜在地允许例如相对于将进行的稍后测量来估计和/或预测基础确定性分量。给定估计值可能不是完美估计值；然而，一般来讲，预期平均一个或多个估计值可更好地反映基础确定性分量，例如，如果考虑可包括在一个或多个所获得的测量中的随机分量。当然，实际上，希望能够诸如通过估计方法生成影响将进行的测量的过程的有物理意义的模型。

然而，在一些情况下，如所指出的那样，潜在影响可能是复杂的。因此，寻求理解要考虑的适当因素可能是特别具有挑战性的。因此，在此类情况下，相对于生成一个或多个估计值采用启发法并不罕见。启发法指代使用可反映实现的过程和/或实现的结果的经验相关的方法，诸如相对于历史测量的使用。例如，可在更多分析方法可能过于复杂和/或几乎难以处理的情况下采用启发法。因此，就受权利要求书保护的主题而言，创新特征可包括在示例性实施方案中可用于例如估计和/或预测一个或多个测量值的启发法。

还需注意的是，如果使用术语“类型”和/或“类”，诸如与特征、结构、特性等一起使用，使用“光学”或“电”作为简单示例，意指至少部分地具有该特征、结构、特性等和/或与该特征、结构、特性等相关，这样使得存在微小变型、甚至以其他方式可能不被认为与该特征、结构、特性等完全一致的变型通常不会阻止特征、结构、特性等称为“类型”和/或“类”(诸如为“光学类型”或“光学类”)，如果微小变型足够小，使得特征、结构、特性等仍将被视为基本上存在于也存在此类变型的情况下。因此，继续该示例，术语光学类型和/或光学类特性必然旨在包括光学特性。同样，作为另一示例，术语电类型和/或电类特性必然旨在包括电特性。应当注意，本专利申请的说明书仅提供一个或多个说明性示例，并且要求保护的主题旨在不限于一个或多个说明性示例；然后，同样，如相对于专利申请的说明书中始终存在的情况，描述和/或使用的上下文提供了关于要得出的合理推理的有帮助的指导。

在整个本文档中使用的术语“电子文件”和/或术语“电子文档”指代以某种方式相关联的所存储的存储器状态的集合和/或物理信号的集合，从而至少在逻辑上形成文件(例如，电子文件)和/或电子文档。也就是说，这并不意指隐式地引用例如相对于相关联的存储器状态的集合和/或相关联的物理信号的集合所使用的特定语法、格式和/或方法。如果例如预期特定类型的文件存储格式和/或语法，则明确引用该文件存储格式和/或语法。还需注意，存储器状态的关联性例如可以是逻辑意义上的并且不一定是有形的物理意义上的。因此，尽管文件和/或电子文档的信号和/或状态部件将例如在逻辑上相关联，但在一个实施方案中，该信号和/或状态部件的存储例如可驻留在有形的物理存储器中的一个或多个不同位置中。

在本专利申请的上下文中，术语“条目”、“电子条目”、“文档”、“电子文档”、“内容”、“数字内容”、“项”和/或类似术语意在指代物理格式(诸如数字信号和/或数字状态格式)的信号和/或状态，例如，如果由诸如数字设备(包括例如计算设备)的设备显示、播放、触觉生成等和/或以其他方式执行则可被用户感知到，但(例如，如果以数字格式形式)可能不一定易于被人类感知到。同样，在本专利申请的上下文中，数字内容以某种形式提供给用户，使得用户能够容易地感知内层内容本身(例如，以可由人类消费的形式呈现的内容，诸如听到音频、感受触觉感受和/或看到图像)相对于用户被称为“消费”数字内容、“消耗”数字内容、“可消费”数字内容和/或类似术语。对于一个或多个实施方案，例如，电子文档和/或电子文件可包括由或将由计算和/或联网设备执行的标记语言的网页代码(例如，计算机指令)。在另一实施方案中，电子文档和/或电子文件可包括网页的一部分和/或一个区域。然而，所要求保护的主题并不旨在在这些方面受到限制。

另外，在本专利申请的上下文中，术语“参数”(例如，一个或多个参数)、“值”(例如，一个或多个值)、“符号”(例如，一个或多个符号)、“位”(例如，一个或多个位)、“元素”(例如，一个或多个元素)、“字符”(例如，一个或多个字符)、“数字”(例如，一个或多个数字)、“数字”(例如，一个或多个数字)或“测量”(例如，一个或多个测量)指代描述诸如在一个或多个电子文档和/或电子文件中的信号集合的材料，并且以物理信号和/或物理状态诸如存储器状态的形式存在。例如，一个或多个参数、值、符号、位、元素、字符、数字、数量或测量值(诸如参考包括图像的电子文档和/或电子文件的一个或多个方面)可包括例如所捕获图像的当日时间、诸如相机的图像捕获设备的纬度和经度等。在另一示例中，例如，与数字内容相关的一个或多个参数、值、符号、位、元素、字符、数字、数量或测量值(诸如包括技术论文的数字内容)可包括例如一位或多位作者。受权利要求书保护的主题旨在涵盖任何格式的有意义的描述性参数、值、符号、位、元素、字符、数字、数量或测量值，只要该一个或多个参数、值、符号、位、元素、字符、数字、数量或测量值包括物理信号和/或状态即可，该物理信号和/或状态可包括作为参数示例的集合名称(例如，电子文件和/或电子文档标识符名称)、创建技术、创建目的、创建时间和日期、如果存储的逻辑路径、编码格式(例如，计算机指令的类型，诸如标记语言)和/或所使用的以便对于一个或多个用途协议兼容的标准和/或规范(例如，基本兼容和/或基本上兼容的含义)等。

也被称为信号分组传输和/或信号帧传输(或仅“信号分组”或“信号帧”)的信号分组通信和/或信号帧通信可在网络的节点之间传达，其中，例如，节点可包括一个或多个网络设备和/或一个或多个计算设备。作为说明性示例，但不作限制，节点可包括采用本地网络地址的诸如在本地网络地址空间中的一个或多个站点。同样，设备诸如网络设备和/或计算设备可与该节点相关联。还需注意，在本专利申请的上下文中，术语“传输”旨在作为可在多种情况中的任一种下发生的信号通信类型的另一术语。因此，并非旨在暗示通信的特定方向性和/或用于“传输”通信的通信路径的特定发起端。例如，在本专利申请的上下文中，仅仅使用该术语本身并不意指相对于被传达的一个或多个信号具有特定的含义，诸如信号是否被“传达到”特定设备，信号是否从特定设备“传达”，和/或关于通信路径的哪个端可发起通信，诸如以信号传输的“推送类型”或信号传输的“拉取类型”进行。在本专利申请的上下文中，通过通信路径的哪一端发起信号传输来区分推送型信号传输和/或拉取型信号传输。

因此，例如，信号分组和/或帧可经由通信信道和/或通信路径(诸如包括互联网和/或Web的一部分)从站点经由耦接到互联网的接入节点进行通信，或者反之亦然。同样，例如，信号分组和/或帧可经由网络节点转发到耦接到本地网络的目标站点。经由互联网和/或网络传达的信号分组和/或帧例如可经由包括一个或多个网关、服务器等的路径路由，诸如被“推送”或“拉取”，该一个或多个网关、服务器等可例如基本上根据目标地址和/或目的地地址以及网络节点到目标地址和/或目的地地址的网络路径的可用性来路由信号分组和/或帧。尽管互联网和/或Web包括可互操作网络的网络，但并非所有这些可互操作网络都是公众可用的和/或可访问的。根据实施方案，信号分组和/或帧可包括在设备之间传输的“消息”的全部或一部分。在具体实施中，消息可包括表达将被递送到接收方设备的内容的信号和/或状态。例如，消息可至少部分地包括传输介质中的物理信号，该物理信号由待被存储在接收方设备处的非暂态存储介质中的内容调制，并且随后被处理。

在特定专利申请的上下文中，网络协议(诸如用于在网络的设备之间进行通信)可至少部分地基本上根据分层描述(诸如所谓的开放系统互连(OSI)七层类型的方法和/或描述)来表征。网络计算和/或通信协议(也称为网络协议)指代信令约定集合，诸如用于通信传输，例如，如可能在网络中的设备之间和/或相互间发生的。在本专利申请的上下文中，术语“在…之间”和/或类似术语应理解为包括“在…之中”(如果适用于特定用途)，反之亦然。同样，在本专利申请的上下文中，术语“与…相容”、“顺应”和/或类似术语应被理解为分别包括实质相容性和/或实质顺应性。

诸如基本上根据前述OSI描述表征的协议的网络协议具有若干个层。这些层被称为网络堆栈。诸如网络通信的各种类型的通信(例如，传输)可跨各个层发生。网络堆栈中诸如所谓物理层的最低层级的层可表征如何经由物理介质(例如，双绞线铜线、同轴电缆、光纤电缆、无线空气接口、它们的组合等)来将符号(例如，位和/或字节)作为一个或多个信号(和/或信号样本)传达。进展到网络协议栈中的更高层级的层，附加操作和/或特征可经由参与和这些更高层级的层处的特定网络协议基本兼容和/或基本上兼容的通信而可用。例如，网络协议的较高层级的层可例如影响设备许可、用户许可等。

图5示出了可用于实现任一类型或两种类型的网络的系统的实施方案1800。网络1808可包括一个或多个网络连接、链路、进程、服务、应用和/或资源，以促进和/或支持通信，诸如在计算设备(诸如1802)与另一计算设备(诸如1806)之间的通信信号的交换，该另一计算设备可例如包括一个或多个客户端计算设备和/或一个或多个服务器计算设备。作为示例而非限制，网络1808可包括无线和/或有线通信链路、电话和/或电信系统、Wi-Fi网络、Wi-MAX网络、互联网、局域网(LAN)、广域网(WAN)或它们的任何组合。

在实施方案中，图5中的示例性设备可以包括例如客户端计算设备和/或服务器计算设备的特征。还应注意，术语计算设备一般而言无论被用作客户端和/或服务器，还是除此以外，至少是指通过通信总线连接的处理器和存储器。例如，“处理器”和/或“处理电路”被理解为意味着可以包括控制单元和执行单元的计算设备的特定结构，诸如中央处理单元(CPU)、数字信号处理器(DSP)、图形处理单元(GPU)和/或神经网络处理单元(NPU)或它们的组合。在一方面中，处理器和/或处理电路可包括获取、解译及执行指令以处理输入信号来提供输出信号的设备。因此，至少在本专利申请的上下文中，这被理解为是指在35USC§112(f)的意义内的足够的结构，以便特别地旨在35USC§112(f)不通过使用术语“计算设备”、“处理器”、“处理单元”、“处理电路”和/或类似术语来暗示。然而，如果由于某些不明显的原因，确定前述理解不能成立，并且因此35USC§112(f)必然被术语“计算设备”和/或类似术语的使用所暗示，那么，根据该法定部分，用于执行一个或多个功能的相应结构、材料和/或动作应被理解和解释为至少在图2A、图2B、图2C、图3A、图3B和图4中以及在与本专利申请的前述图相关联的文本中描述。

现在参考图5，在实施方案中，第一设备1802和第三设备1806可以能够渲染例如用于网络设备和/或计算设备的图形用户界面(GUI)，使得用户操作者可参与系统使用。在该图示中，设备1804可潜在地发挥类似的功能。同样，在图5中，计算设备1802(附图中的“第一设备”)可与计算设备1804(附图中的“第二设备”)进行交互，在一个实施方案中，该计算设备也可以包括例如客户端计算设备和/或服务器计算设备的特征。处理器(例如，处理设备)1820和可包括主存储器1824和辅助存储器1826的存储器1822可通过例如通信总线1815进行通信。在本专利申请的上下文中，术语“计算设备”指代包括以信号和/或状态的形式处理(例如，执行计算)和/或存储诸如电子文件、电子文档、测量、文本、图像、视频、音频等的数字内容的能力的系统和/或设备，诸如计算设备。因此，在本专利申请的上下文中，计算设备可包括硬件、软件、固件或它们的任何组合(除软件本身之外)。如图9所示，计算设备1804仅是一个示例，并且所要求保护的主题在范围上不限于该特定示例。图5还可以包括通信接口1830，该通信接口可以包括电路和/或设备，以促进例如使用本文所识别的一种或多种网络通信技术通过网络1808在物理传输介质中在第二设备1804与第一设备1802和/或第三设备1806之间传输消息。在特定具体实施中，通信接口1830可包括发射器设备，该发射器设备包括设备和/或电路，以至少部分地基于旨在由一个或多个接收方设备接收的消息根据特定通信格式调制物理传输介质中的物理信号。类似地，通信接口1830可包括接收器设备，该接收器设备包括用于解调物理传输介质中的物理信号的设备和/或电路，以至少部分地恢复用于根据特定通信格式调制物理信号的消息的至少一部分。在特定具体实施中，通信接口可包括收发器设备，该收发器设备具有用于实施接收器设备和发射器设备的电路。

对于一个或多个实施方案，设备诸如计算设备和/或网络设备可包括例如较宽范围的数字电子设备中的任一种，包括但不限于：台式计算机和/或笔记本电脑、高清电视、数字通用光盘(DVD)和/或其他光盘播放器和/或录像机、游戏机、卫星电视接收器、移动电话、平板设备、可穿戴设备、个人数字助理、移动音频和/或视频回放和/或录制设备、物联网(IoT)类型设备或者前述的任何组合。此外，除非另外特别说明，否则诸如参考流程图和/或其他方式描述的过程也可全部或部分地由计算设备和/或网络设备执行和/或影响。诸如计算设备和/或网络设备的设备可根据能力和/或特征而变化。所要求保护的主题旨在涵盖较宽范围的潜在变型。例如，设备可包括功能有限的数字小键盘和/或其他显示器，诸如用于显示文本的单色液晶显示器(LCD)。然而，相比之下，又如，启用网络的设备可包括物理和/或虚拟键盘、大容量存储装置、一个或多个加速度计、一个或多个陀螺仪、GNSS接收器和/或其他位置识别类型能力，和/或诸如触敏彩色5D或3D显示器的具有更高功能度的显示器。

在图5中，计算设备1802可以以例如物理状态和/或信号(例如，存储在存储器状态中)的形式提供可执行计算机指令的一个或多个源。例如，计算设备1802可通过网络连接与计算设备1804通信，诸如经由网络1808进行。如前所述，连接虽然是物理的，但可能不一定有形。尽管图5的计算设备1804示出了各种有形的物理部件，但所要求保护的主题不限于仅具有这些有形部件的计算设备，因为其他具体实施和/或实施方案可以包括以不同的方式工作而实现类似结果的另选布置，该另选布置可以包括例如附加有形部件或更少有形部件。相反，提供示例仅是说明性的。不旨在将所要求保护的主题限制在说明性示例的范围内。

存储器1822可包括任何非暂态存储机构。存储器1822可包括例如主存储器1824和辅助存储器1826，可使用附加存储器电路、机构或它们的组合。存储器1822可包括例如随机存取存储器、只读存储器等，诸如呈一个或多个存储设备和/或系统的形式，诸如例如包括光盘驱动器、磁带驱动器、固态存储器驱动器等的磁盘驱动器，仅列举数例。

存储器1822可用于存储可执行计算机指令的程序。例如，处理器1820可从存储器获取可执行指令并且继续执行所获取的指令。存储器1822还可包括用于访问设备可读介质1840的存储器控制器，该设备可读介质可承载和/或形成能够访问的数字内容，该数字内容可包括例如可由处理器1820和/或例如能够执行计算机指令的一些其他设备(诸如控制器)执行的代码和/或指令。在处理器1820的指导下，包括例如可执行计算机指令的程序的非暂态存储器(诸如存储物理状态(例如，存储器状态)的存储器单元)可由处理器1820执行并且能够生成待经由网络传达的信号，例如，如前所述。所生成的信号也可存储在存储器中，也可存储在先前建议的存储器中。

存储器1822可存储诸如与一个或多个用户相关的电子文件和/或电子文档，并且还可包括计算机可读介质，该计算机可读介质可承载和/或形成能够访问的内容，包括例如可由处理器1820和/或例如能够执行计算机指令的一些其他设备(诸如控制器)执行的代码和/或指令。如前所述，在整个本文档中使用的术语电子文件和/或术语电子文档等指代以某种方式相关联的所存储的存储器状态的集合和/或物理信号的集合，从而形成电子文件和/或电子文档。也就是说，这并不意指隐式地引用例如相对于相关联的存储器状态的集合和/或相关联的物理信号的集合所使用的特定语法、格式和/或方法。还需注意，存储器状态的关联性例如可以是逻辑意义上的并且不一定是有形的物理意义上的。因此，尽管电子文件和/或电子文档的信号和/或状态部件将在逻辑上相关联，但在一个实施方案中，该信号和/或状态部件的存储例如可驻留在有形的物理存储器中的一个或多个不同位置中。

算法描述和/或符号表示是信号处理和/或相关领域的普通技术人员用于向本领域的其他技术人员传达他们工作实质的技术的示例。在本专利申请的上下文中，算法被认为是并且通常被认为是导致所需结果的操作和/或类似信号处理的自相一致的序列。在本专利申请的上下文中，操作和/或处理涉及物理量的物理操纵。通常，尽管不是必需的，但此类量可采取能够被存储、传输、组合、比较、处理和/或以其他方式操纵的电和/或磁信号和/或状态的形式，例如，作为构成各种形式的数字内容(诸如信号测量、文本、图像、视频、音频等)的部件的电子信号和/或状态。

主要出于常用的原因，有时已经证明将此类物理信号和/或物理状态称为位、值、元素、参数、符号、字符、术语、样品、观察结果、权重、数字、数量、量度、内容等是方便的。然而，应当理解，所有这些和/或类似术语将与适当的物理量相关联，并且仅仅是为了方便的标签。除非另外特别说明，否则从前述讨论中显而易见的是，应当理解，在本说明书通篇中，使用术语诸如“处理”、“计算”、“确定”、“建立”、“获得”、“识别”、“选择”、“生成”等可指特定装置诸如专用计算机和/或类似的专用计算设备和/或网络设备的动作和/或过程。因此，在本说明书的上下文中，专用计算机和/或类似的专用计算和/或网络设备能够处理、操纵和/或变换专用计算机和/或类似的专用计算和/或网络设备的存储器、寄存器和/或其他存储设备、处理设备和/或显示设备内的通常为物理电子和/或磁量形式的信号和/或状态。在该特定专利申请的上下文中，如所提及的，术语“特定装置”因此包括通用计算和/或网络设备，诸如通用计算机，一旦被编程就诸如依据程序软件指令来执行特定功能。

在一些情况下，存储器设备的诸如从二进制一到二进制零的状态变化或反之亦然的操作可包括转换，诸如物理转换。对于特定类型的存储器设备，此类物理转换可包括制品到不同状态或事物的物理转换。例如但不限于，对于一些类型的存储器设备，状态变化可涉及聚积和/或存储电荷或者释放所存储的电荷。同样，在其他存储器设备中，状态变化可包括物理变化，诸如磁性取向的转换。同样，物理变化可包括分子结构的转换，诸如从结晶形式转变为无定形形式，或者反之亦然。在其他存储器设备中，物理状态的变化可涉及量子机械现象，诸如叠加、缠结等，这可涉及例如量子比特(量子位)。上述内容并非旨在穷举所有示例的列表，其中存储器设备中从二进制一到二进制零或反之亦然的状态变化可包括转换，诸如物理但非暂态的转换。相反，上述内容旨在作为说明性示例。

再次参考图5，处理器1820可以包括诸如数字电路的一个或多个电路，以执行计算步骤和/或过程的至少一部分。作为示例而非限制，处理器1820可包括一个或多个处理器，诸如控制器、微处理器、微控制器、专用集成电路、数字信号处理器(DSP)、图形处理单元(GPU)、神经网络处理单元(NPU)、可编程逻辑设备、现场可编程门阵列等或它们的任何组合。在各种具体实施和/或实施方案中，处理器1820可通常基本上根据所获取的可执行计算机指令来执行信号处理，诸如操纵信号和/或状态，构建信号和/或状态等，其中，以此类方式生成的信号和/或状态将被传达和/或存储在存储器中。

图5还将设备1804示出为包括能够与输入/输出设备一起操作的部件1832，例如，使得信号和/或状态可在设备之间适当地传达，诸如在设备1804与输入设备和/或设备1804与输出设备之间适当地传达。用户可利用输入设备，诸如计算机鼠标、触笔、轨迹球、键盘和/或能够接收用户动作和/或运动作为输入信号的任何其他类似设备。同样，对于具有语音到文本能力的设备，用户可与设备说话以生成输入信号。用户可利用输出设备，诸如显示器、打印机等、和/或能够为用户提供信号和/或生成诸如视觉刺激、音频刺激和/或其他类似刺激的刺激的任何其他设备。

根据一个实施方案，神经网络可包括图，该图包括用于对脑中的神经元进行建模的节点。在该上下文中，如本文所提及的“神经网络”意指由图定义和/或表示的处理设备的架构，该图包括：节点，这些节点用于表示处理输入信号以生成输出信号的神经元；以及边缘，这些边缘连接这些节点以表示由图表示的神经元之间和/或之中的输入和/或输出信号路径。在特定具体实施中，神经网络可包括由真实生物神经元组成的生物神经网络或由人工神经元组成的人工神经网络，以用于例如求解人工智能(AI)问题。在具体实施中，这种人工神经网络可由一个或多个计算设备实现，该一个或多个计算设备诸如包括中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理(DSP)单元和/或神经处理单元(NPU)(仅提供几个示例)的计算设备。在特定具体实施中，与用于表示输入和/或输出路径的边缘相关联的神经网络权重可反映待应用的增益和/或连接节点之间的相关联连接是兴奋性连接(例如，具有正值的权重)还是抑制性连接(例如，具有负值的权重)。在示例性具体实施中，神经元可将神经网络权重应用于输入信号，并且对加权输入信号求和以生成线性组合。

根据一个实施方案，神经网络连接节点中的边缘可对能够在神经元之间传输(例如，由实数值表示的)信号的突触进行建模。响应于接收到这种信号，节点/神经元可执行一些计算以生成输出信号(例如，以被提供给神经网络中的由边缘连接的另一节点)。这种输出信号可至少部分地基于与提供输出信号的节点和/或边缘相关联的一个或多个权重和/或数值系数。例如，这种权重可增大或减小输出信号的强度。在特定具体实施中，此类权重和/或数值系数可随机器学习过程的进行而进行调整和/或更新。在一个具体实施中，如果输出信号的强度不超过阈值，则可禁止从神经网络中的节点传输输出信号。

图6是形成在“层”中的神经网络1000的示意图，其中，初始层由节点1002形成，最终层由节点1006形成。NN 1000的全部或部分特征可以在系统200、300或400的方面中实现，诸如例如NN 202或NN 302。神经网络(NN)1000可以包括由节点1004形成的中间层。节点1002和1004之间所示的边缘示出了从初始层到中间层的信号流。类似地，在节点1004和1006之间示出的边缘示出了从中间层到最终层的信号流。虽然神经网络1000示出了由节点1004形成的单个中间层，但是应当理解，神经网络的其他实现可以包括在初始层与最终层之间形成的多个中间层。

根据实施方案，节点1002、1004和/或1006可处理(例如，在一个或多个传入边缘上接收到的)输入信号，以根据激活函数提供输出信号(例如，在一个或多个传出边缘上)。如本文所提及的“激活函数意指与神经网络的节点相关联以将一个或多个输入信号映射到一个或多个输出信号的一组一个或多个操作。在特定具体实施中，这种激活函数可以至少部分地基于与神经网络的节点相关联的权重来定义。将一个或多个输入信号映射到一个或多个输出信号的激活函数的操作可以包括例如恒等、二元阶跃、逻辑(例如，S型和/或软阶跃)、双曲正切、修正线性单元、高斯误差线性单元、Softplus、指数线性单元、比例指数线性单元、泄漏修正线性单元、参数修正线性单元、S型线性单元、Swish、Mish、高斯和/或生长余弦单元操作。然而，应当理解，这些仅为可应用于在激活函数中将节点的输入信号映射到输出信号的操作的示例，并且要求保护的主题在这方面不受限制。另外，如本文所提及的“激活输入值”意指作为输入参数和/或信号提供给由神经网络中的节点定义和/或表示的激活函数的值。在该上下文中，如本文所提及的“激活输出值”意指由神经网络中的节点定义和/或表示的激活函数所提供的输出值。在特定具体实施中，可基于和/或响应于在节点处接收的一个或多个激活输入值而根据激活函数来计算和/或生成激活输出值。在特定具体实施中，激活输入值和/或激活输出值可被构造、设定尺寸和/或格式化为“张量”。因此，在本上下文中，如本文所提及的“激活输入张量”或“输入张量”意指根据特定结构、尺寸和/或格式的一个或多个激活输入值的表达。同样地，在本上下文中，如本文所提及的“激活输出张量”或“输出张量”意指根据特定结构、尺寸和/或格式的一个或多个激活输出值的表达。

在特定具体实施中，神经网络可在宽泛的任务范围，包括图像识别、语音识别(仅提供几个示例性应用)中实现改进结果。为了能够执行此类任务，神经网络的特征(例如，节点、边缘、权重、节点和边缘层)可被结构化和/或配置为形成可具有可测量/数值状态诸如输出信号的值的“滤波器”。这种滤波器可包括布置在“路径”中并且将对作为输入信号提供的传感器观察作出响应的节点和/或边缘。在一个具体实施中，这种滤波器的状态和/或输出信号可指示和/或推断输入信号中特征的存在或不存在的检测。

在特定具体实施中，用于执行由神经网络支持的功能的智能计算设备可以包括各种静止和/或移动设备，诸如例如，汽车传感器、生物芯片转发器、心脏监测植入物、物联网(IoT)设备、厨房器具、锁或类似紧固设备、太阳能面板阵列、家庭网关、智能仪表、机器人、金融交易平台、智能电话、蜂窝电话、安全相机、可穿戴设备、恒温器、全球定位系统(GPS)收发器、个人数字助理(PDA)、虚拟助理、膝上型计算机、个人娱乐系统、平板个人计算机(PC)、PC、个人音频或视频设备、个人导航设备，仅提供几个示例。

根据一个实施方案，神经网络可被分层结构化，使得特定神经网络层中的节点可从位于神经网络中上游层中的一个或多个节点接收输出信号，并且向位于神经网络中下游层中的一个或多个节点提供输出信号。一种特定分类的分层神经网络可包括使得能够进行深度学习的卷积神经网络(CNN)或空间不变人工神经网络(SIANN)。此类CNN和/或SIANN可至少部分地基于卷积核的共享权重架构，该共享权重架构可转换输入特征并且提供平移等变性响应。此类CNN和/或SIANN可应用于图像和/或视频识别、推荐系统、图像分类、图像分割、医学图像分析、自然语言处理、脑机接口、金融时间序列，仅提供几个示例。

另一类分层神经网络可以包括递归神经网络(RNN)，该RNN是节点之间的连接沿着时间序列形成有向循环图的一类神经网络。这样的时间序列可以实现时间动态行为的建模。在具体实施中，RNN可采用内部状态(例如，存储器)来处理可变长度的输入序列。这可以应用于例如诸如未分段的、连接的手写识别或语音识别等任务，仅提供几个示例。在特定具体实施中，RNN可以使用有限脉冲响应(FIR)或无限脉冲响应(IIR)结构来模仿时间行为。RNN可以包括附加结构，以控制这样的FIR和IIR结构的存储状态被老化。控制这种存储状态的结构可以包括包含时间延迟和/或具有反馈回路的网络或图，诸如，在长短期记忆网络(LSTM)和门控递归单元中。

根据实施方案，一个或多个神经网络的输出信号(例如，单独地或组合地获取)可以至少部分地定义“预测器”，以生成与一些可观察和/或可测量现象和/或状态相关联的预测值。在具体实施中，神经网络可被“训练”，以提供能够基于根据损失函数优化的输入值(例如，测量结果和/或观察结果)生成这种预测值的预测器。例如，训练过程可采用反向传播技术来至少部分地基于“训练集”迭代地更新要与神经网络的节点和/或边缘相关联的神经网络权重。这样的训练集可以包括训练测量结果和/或观察结果，以作为与“基准真值”观察结果配对的输入值来提供。基于这种基准真值观察结果与根据训练过程中的这种输入值生成的相关联预测值的比较，可使用反向传播根据损失函数来更新权重。

一个具体实施方案涉及一种制品，该制品包括：非暂态存储介质，该非暂态存储介质包括存储在其上的计算机可读指令，该计算机可读指令能够由计算设备的一个或多个处理器执行，以在一个或多个电路设备中表达：用于获取时间实例的时间序列的电路，每个时间实例包括一个或多个样本；对于时间实例的该时间序列中的当前时间实例：用于计算指示该当前时间实例的该一个或多个样本的至少一个值的变化率的信号的电路；以及用于基于所计算的信号以及为时间实例的该时间序列中前一时间实例生成的累积差值生成累积差值的电路；以及用于应用该累积差值来校正时间实例的该时间序列中所选时间实例中的一个或多个样本的至少一个值、或者要应用于时间实例的该时间序列中该所选时间实例中的一个或多个样本的该至少一个值的操作的电路。在特定具体实施中，时间实例的该时间序列包括图像帧的时间序列，每个图像帧包括与图像帧格式中空间布置的位置相关联的一个或多个强度值；并且用于计算指示该当前时间实例的该一个或多个样本的至少一个值的该变化率的该信号的该电路包括：用于至少部分地基于图像帧的时间序列中多个图像帧上与至少一个空间布置的位置相关联的多个颜色通道的图像信号强度值来确定图像帧的该时间序列的当前图像帧中该至少一个空间布置的位置的灰度值的电路；以及用于在该多个图像帧上累积组合灰度值的电路。例如，用于在该多个图像帧上累积该组合灰度值的该电路可以包括：用于至少部分地基于运动向量来扭曲图像帧的该时间序列的前一图像帧的灰度值以提供扭曲灰度值的电路；以及用于将该扭曲灰度值与被渲染当前图像帧中空间布置的位置的图像信号强度值的灰度值组合以提供指示该变化率的所计算的信号的电路。在另一特定具体实施中，时间实例的该时间序列包括图像帧的时间序列；并且用于应用该累积差值的该电路还包括：用于至少部分地基于该累积差值确定神经网络的输入张量的电路；以及用于将系数应用于帧的该时间序列的扭曲历史的图像信号强度值以提供输出图像帧的电路，该系数至少部分地基于该神经网络的输出张量来确定。

在前面的描述中，已经描述了要求保护的主题的各个方面。出于解释的目的，阐述了作为示例的细节，诸如量、系统和/或构型。在其他情况下，省略和/或简化了熟知的特征，以避免导致要求保护的主题模糊。虽然本文已举例说明和/或描述了某些特征，但本领域的技术人员现在将想到许多修改形式、替代形式、变化形式和/或等同形式。因此，应当理解，所附权利要求旨在涵盖落入所要求保护的主题内的所有修改形式和/或变化形式。

Claims (20)

1.一种计算机实现的方法，所述方法包括：

接收时间实例的时间序列，每个时间实例包括一个或多个样本；以及

对于时间实例的所述时间序列中的当前时间实例：

计算指示所述当前时间实例的一个或多个样本的至少一个值的变化率的信号；

基于所计算的信号以及为时间实例的所述时间序列中前一时间实例生成的累积差值生成累积差值；以及

应用所述累积差值来校正时间实例的所述时间序列中所选时间实例中的一个或多个样本的至少一个值、或者要应用于时间实例的所述时间序列中所述所选时间实例中的一个或多个样本的所述至少一个值的操作。

2.根据权利要求1所述的方法，其中：

时间实例的所述时间序列包括图像帧的时间序列，每个图像帧包括与图像帧格式中空间布置的位置相关联的一个或多个强度值；

并且所述方法还包括：

计算指示所述当前时间实例的所述一个或多个样本的至少一个值的所述变化率的所述信号包括：

至少部分地基于与图像帧的所述时间序列中多个图像帧上至少一个空间布置的位置相关联的多个颜色通道的图像信号强度值来确定图像帧的所述时间序列的当前图像帧中所述至少一个空间布置的位置的灰度值；以及

至少部分地基于所述当前时间实例的灰度值与来自所述前一时间实例的灰度值之间的绝对差来确定灰度导数值；以及

在所述多个图像帧上累积所述灰度导数值。

3.根据权利要求2所述的方法，其中在所述多个图像帧上累积所述灰度导数值包括：

至少部分地基于运动向量来扭曲图像帧的所述时间序列的前一图像帧的灰度值，以提供扭曲灰度值；以及

将所述扭曲灰度值与被渲染当前图像帧中空间布置的位置的图像信号强度值的灰度值组合以提供指示所述变化率的所计算的信号。

4.根据权利要求1所述的方法，其中指示所述变化率的所计算的信号包括组合灰度值。

5.根据权利要求2所述的方法，其中计算指示所述当前时间实例的所述一个或多个样本的所述至少一个值的所述变化率的所述信号包括：

至少部分地基于运动向量来扭曲前一图像帧的灰度值，以提供扭曲灰度值；

将所述扭曲灰度值与被渲染当前帧中空间布置的位置的图像信号强度值的灰度值组合以提供组合灰度值；以及

将所述组合灰度值与针对所述前一图像帧计算的累积灰度值组合以提供所计算的信号。

6.根据权利要求1所述的方法，其中：

时间实例的所述时间序列包括图像帧的时间序列；并且

应用所述累积差值还包括：

对图像帧的所述时间序列中至少一个帧图像帧中的像素位置的至少一部分的图像信号强度值选择性地应用防闪烁处理。

7.根据权利要求1所述的方法，其中：

时间实例的所述时间序列包括图像帧的时间序列；并且

应用所述累积差值还包括：

至少部分地基于所述累积差值来确定神经网络的输入张量；以及

将系数应用于帧的所述时间序列的扭曲历史的图像信号强度值以提供输出图像帧，所述系数至少部分地基于所述神经网络的输出张量来确定。

8.一种计算设备，包括：

一个或多个存储器设备；以及

耦接到所述一个或多个存储器设备的一个或多个处理器，所述一个或多个处理器用于：

获取时间实例的时间序列，每个时间实例包括一个或多个样本；以及

对于时间实例的所述时间序列中的当前时间实例：

计算指示所述当前时间实例的一个或多个样本的至少一个值的变化率的信号；以及

基于所计算的信号以及为时间实例的所述时间序列中前一时间实例生成的累积差值生成累积差值；以及

应用所述累积差值来校正时间实例的所述时间序列中所选时间实例中的一个或多个样本的至少一个值、或者要应用于时间实例的所述时间序列中所述所选时间实例中的所述一个或多个样本的所述至少一个值的操作。

9.根据权利要求8所述的计算设备，其中：

时间实例的所述时间序列包括图像帧的时间序列，每个图像帧包括与图像帧格式中空间布置的位置相关联的一个或多个强度值；并且

所述一个或多个处理器还用于：

至少部分地基于与图像帧的所述时间序列中多个图像帧上至少一个空间布置的位置相关联的多个颜色通道的图像信号强度值来确定图像帧的所述时间序列的当前图像帧中所述至少一个空间布置的位置的灰度值；

将所述当前图像帧中的所述至少一个空间布置的位置的所述灰度值与被渲染前一图像帧中的空间布置的位置的图像信号强度值的灰度值组合，以提供组合灰度值；以及

至少部分地基于：

在所述多个图像帧上组合灰度值的累积来计算指示所述当前时间实例的所述一个或多个样本的至少一个值的所述变化率的所述信号。

10.根据权利要求9所述的计算设备，其中所述一个或多个处理器还用于：

至少部分地基于运动向量来扭曲所述被渲染前一图像帧中的所述空间布置的位置的图像信号强度值的所述灰度值，以提供扭曲灰度值；以及

将所述扭曲灰度值与所述当前图像帧中的所述至少一个空间布置的位置的所述灰度值组合，以提供指示所述变化率的所计算的信号。

11.根据权利要求8所述的计算设备，其中指示所述变化率的所计算的信号包括组合灰度值。

12.根据权利要求9所述的计算设备，其中所述一个或多个处理器还用于：

至少部分地基于运动向量来扭曲前一图像帧的灰度值，以提供扭曲灰度值；

将所述扭曲灰度值与被渲染当前帧中空间布置的位置的图像信号强度值的灰度值组合以提供组合灰度值；以及

将所述组合灰度值与针对所述前一图像帧计算的累积灰度值组合以提供指示所述变化率的所计算的信号。

13.根据权利要求8所述的计算设备，其中：

时间实例的所述时间序列包括图像帧的时间序列；以及

所述一个或多个处理器还用于对图像帧的所述时间序列中至少一个帧图像帧中的像素位置的至少一部分的图像信号强度值选择性地应用防闪烁处理。

14.根据权利要求8所述的计算设备，其中：

时间实例的所述时间序列包括图像帧的时间序列；并且

所述一个或多个处理器还用于：

至少部分地基于所述累积差值来确定神经网络的输入张量；以及

将系数应用于帧的所述时间序列的扭曲历史的图像信号强度值以提供输出图像帧，所述系数至少部分地基于所述神经网络的输出张量来确定。

15.一种制品，包括：

非暂态存储介质，所述非暂态存储介质包括存储在其上的计算机可读指令，所述计算机可读指令能够由一个或多个处理器执行以：

获取时间实例的时间序列，每个时间实例包括一个或多个样本；以及

对于时间实例的所述时间序列中的当前时间实例：

在所述当前时间实例的一个或多个样本的至少一个值中计算指示所述至少一个值的变化率的信号；以及基于所计算的信号以及为时间实例的所述时间序列中前一时间实例生成的累积差值生成累积差值；以及

应用所述累积差值来校正时间实例的所述时间序列中所选时间实例中的一个或多个样本的至少一个值、或者要应用于时间实例的所述时间序列中所述所选时间实例中的所述一个或多个样本的所述至少一个值的操作。

16.根据权利要求15所述的制品，其中：

时间实例的所述时间序列包括图像帧的时间序列，每个图像帧包括与图像帧格式中空间布置的位置相关联的一个或多个强度值；并且

所述指令还能够由所述一个或多个处理器执行以：

至少部分地基于与图像帧的所述时间序列中多个图像帧上至少一个空间布置的位置相关联的多个颜色通道的图像信号强度值来确定图像帧的所述时间序列的当前图像帧中所述至少一个空间布置的位置的灰度值；

将所述灰度值与被渲染前一图像帧中空间布置的位置的图像信号强度值的灰度值组合以提供组合灰度值；以及

至少部分地基于：

在所述多个图像帧上组合灰度值的累积来计算指示所述当前时间实例的所述一个或多个样本的至少一个值的所述变化率的所述信号。

17.根据权利要求16所述的制品，其中所述指令还能够由所述一个或多个处理器执行以：

至少部分地基于运动向量来扭曲所述被渲染前一图像帧中的所述空间布置的位置的图像信号强度值的所述灰度值，以提供扭曲灰度值；以及

将所述扭曲灰度值与所述当前图像帧中的所述至少一个空间布置的位置的所述灰度值组合，以提供指示所述变化率的所计算的信号。

18.根据权利要求15所述的制品，其中指示所述变化率的所计算的信号包括组合灰度值。

19.根据权利要求15所述的制品，其中所述指令还能够由所述一个或多个处理器执行以：

至少部分地基于运动向量来扭曲前一图像帧的灰度值，以提供扭曲灰度值；

将所述扭曲灰度值与被渲染当前帧中空间布置的位置的图像信号强度值的灰度值组合以提供组合灰度值；以及

将所述组合灰度值与针对所述前一图像帧计算的累积灰度组合以提供指示所述变化率的所计算的信号。

20.根据权利要求15所述的制品，其中：

时间实例的所述时间序列包括图像帧的时间序列；并且

所述指令还能够由所述一个或多个处理器执行以至少部分地基于所述累积差值对图像帧的所述时间序列中至少一个帧图像帧中的空间布置的位置的至少一部分的图像信号强度值选择性地应用防闪烁处理。