CN116508028A - 用于行为生物测定的时空深度学习 - Google Patents

Abstract

提供了一种行为生物测定深度学习(BBDL)流水线，其包括操作以提供基于时空输入数据进行操作的基于行为生物测定的认证器的机器学习计算机模型的多个级。BBDL流水线在多个时间区间上接收时空输入数据，每个时间区间具有时空输入数据的对应子集。对于每个时间区间，对应级的机器学习计算机模型处理与该时间区间对应的所述时空输入数据的子集以生成输出向量，所述输出向量具有指示实体的时空特性的内部表示的值。跨BBDL流水线的所述多个级累积输出向量以生成指示时空输入数据中表示的实体的时空特性的最终输出向量。基于最终输出向量来认证实体。

Description

用于行为生物测定的时空深度学习

背景技术

本申请总体上涉及一种改进的数据处理装置和方法，并且更具体地涉及用于对行为生物测定执行时空深度学习的机制。

物理生物测定包括通常用于验证人的身份的唯一物理特征(诸如指纹、语音模式、DNA、视网膜模式等)的测量和分析。行为生物测定是处理人类活动中唯一识别和可测量模式的测量的研究领域。行为生物测定的示例包括击键动态(其中在人选择键盘设备上的键时创建节奏和定时的模式)、步态分析、计算机鼠标使用特性、签名分析等。行为生物测定在许多行业中被用于安全认证，包括金融机构、商业、政府设施、零售销售点(POS)设备等。

发明内容

提供发明内容以便以简化形式介绍将在具体实施方式中进一步描述的概念的选择。发明内容并不旨在标识所要求保护的主题的关键因素或必要特征，也不旨在用于限制所要求保护的主题的范围。

在本发明的一个方面中，提供了一种在包括至少一个处理器和至少一个存储器的数据处理系统中的方法，所述至少一个存储器包括由所述至少一个处理器执行的指令，所述指令用于具体地配置所述至少一个处理器以实现行为生物测定深度学习(BBDL)流水线，所述BBDL流水线包括机器学习计算机模型的多个级，所述机器学习计算机模型操作用于提供基于行为生物测定的认证机制，所述认证机制基于时空输入数据进行操作。根据一个说明性实施例，该方法包括在包括多个时间区间的预定时间窗口上从一个或多个传感器接收对应于与实体相关联的输入的时空输入数据，每个时间区间具有时空输入数据的对应子集。该方法还包括：对于多个时间区间中的每个时间区间，通过所述多个级中的相应级的一个或多个机器学习计算机模型处理与该时间区间对应的时空输入数据的子集以生成输出向量，该输出向量具有指示在时空输入数据的子集中表示的实体的时空特性(trait)的内部表示的值。此外，该方法包括在BBDL流水线的所述多个级上累积输出向量以生成最终输出向量，该最终输出向量包括指示在时空输入数据中表示的实体的时空特性的最终输出向量值。此外，该方法包括由数据处理系统基于最终输出向量来认证实体。

所述时空输入数据包括既在空间上依赖于由所述一个或多个传感器中的至少一个监视的物理区域又是时间依赖的输入数据。由此，例示性实施例的BBDL流水线不需要对原始时空输入数据进行预处理以生成固定的预定输入特征集合并移除时间特性，诸如在现有机制中。此外，时空输入数据的处理允许BBDL流水线学习实体(用户)的行为生物测定，而不是仅仅认证可以由知道特定模式的任何实体或多个实体提供的输入模式。即，时空输入数据表示由实体/用户展现的以实体/用户生成输入的方式表示的独特行为，并且不仅是检测到的模式。

优选地，本发明提供一种方法，其中认证实体包括将最终输出向量与存储在授权用户的用户简档中的由BBDL流水线生成的至少一个先前生成的输出向量相比较，以确定最终输出向量表示该授权用户的时空特性的概率。此外，认证实体还包括响应于比较的结果控制对受保护资源的访问。以此方式，先前生成的输出向量的小集合可以用于定义表示授权用户的行为生物测定的用户简档，并且后续用户输入可以针对这样的行为生物测定数据进行认证。

优选地，本发明提供一种方法，其中控制对受保护资源的访问包括：响应于确定所述概率指示最终输出向量表示与授权用户的时空特性匹配的用户的时空特性：向该用户授予对受保护资源的访问权；以及更新所述用户简档以包括所述最终输出向量。以此方式，用户简档可被动态更新以反映授权用户的最当前行为生物测定信息。

优选地，本发明提供一种方法，其中所述BBDL流水线的每个级包括图像处理机器学习计算机模型，并且其中，对于所述BBDL流水线的每个级，处理与所述时间区间对应的时空输入数据的子集包括：处理时空输入数据的子集，以将时空输入数据的子集中的时空特征变换成图像；以及通过所述级的所述图像处理机器学习计算机模型对所述图像执行图像分析以生成第一向量输出。以这种方式，能够以能够通过机器学习模型进行图像分析以便关于各种时空特征对时空数据进行分类的格式来表示时空特征。

优选地，本发明提供一种方法，其中所述BBDL流水线的每个级包括全连接神经网络机器学习计算机模型，并且其中，对于所述BBDL流水线的每个级，处理与所述时间区间对应的时空输入数据的子集包括：处理时空输入数据的子集以识别时空输入数据的子集中的时间特征；以及通过所述级的全连接神经网络机器学习模型来处理所述时间特征以生成第二向量输出。由此，可以在时空输入数据中识别时间特征，其中时间特征不依赖于特定空间元素，并且可以在与分析时空特征的结果组合之前与时空特征分开地评估时间特征。

优选地，本发明提供一种方法，其中所述BBDL流水线的每个级包括固定/分类数据嵌入逻辑，并且其中，对于所述BBDL流水线的每个级，处理与所述时间区间相对应的时空输入数据的子集包括：处理时空输入数据的子集以识别时空输入数据的子集中的固定/分类特征；以及由所述级的所述固定/分类数据嵌入逻辑处理所述固定/分类特征以生成第三向量输出。因此，说明性实施例的机制能够进一步基于固定/分类数据以及时空输入数据中的时空特征和时间特征以输入数据的评估为基础。

优选地，本发明提供了一种方法，其中BBDL流水线的每个级包括组合逻辑，该组合逻辑操作以组合第一输出向量、第二输出向量和第三输出向量以生成组合输出向量，该组合输出向量输入至该级的主级机器学习计算机模型。由此，将处理时空输入数据中的时空特征、时间特征和固定/分类特征的结果组合以生成输入的时空特征的内部表示，以用于预测时空输入数据是否与授权用户相关联。

优选地，本发明提供一种方法，其中所述BBDL流水线的每个级的每个主级机器学习计算机模型处理其对应级的对应组合输出向量连同来自所述BBDL流水线的前一级的输入以生成级输出向量，并且其中，在所述BBDL流水线的所述多个级上累积输出向量以生成最终输出向量包括：对于每个级，输出所述级输出向量作为所述BBDL流水线中的下一级的输入，并且其中，所述BBDL流水线的最后级的主级机器学习计算机模型的级输出向量是所述最终输出向量。以此方式，累积跨时间窗口的多个时间区间的时空特征、时间特征和固定/分类特征的处理，使得能够在该时间窗口内识别行为生物测定模式。

优选地，本发明提供一种方法，其中嵌入式设备信息输入至BBDL流水线的第一级的主级机器学习计算机模型，并且其中，主级机器学习计算机模型处理与第一级相关联的组合输出向量连同嵌入式设备信息，以生成第一级的级输出向量。因此，可以针对与时空输入数据相关联的特定设备定制BBDL流水线的评估。

优选地，本发明提供一种方法，其中所述一个或多个传感器包括触敏显示设备的触摸传感器，并且其中时空输入数据包括指示实体的触摸输入的特性的传感器数据。例如，说明性实施例的机制可以结合许多现代电子设备(诸如智能电话、平板计算机等)上的触敏显示设备来实现。

优选地，本发明提供了一种方法，其中提供了包括具有计算机可读程序的计算机可用或可读介质的计算机程序产品。当在计算设备上执行时，计算机可读程序使计算设备执行以上关于方法说明性实施例概述的操作中的不同操作和组合。

根据本发明的另一方面，提供了一种系统/装置。所述系统/装置可以包括一个或多个处理器和耦合到所述一个或多个处理器的存储器。存储器可包括指令，这些指令在由一个或多个处理器执行时使一个或多个处理器执行以上关于方法说明性实施例概述的操作中的不同操作和组合。

本发明的这些和其他特征和优点将在本发明的示例实施例的以下详细描述中被描述，或者鉴于本发明的示例实施例的以下详细描述将对本领域普通技术人员变得清楚。

附图说明

当结合附图阅读时，通过参考说明性实施例的以下详细描述，将最好地理解本发明以及其优选使用模式和进一步的目的和优点，其中：

图1A-1D示出了根据一个说明性实施例的可以用于用户认证的时空特征的示例绘图；

图1E示出了根据一个说明性实施例的可以用于用户认证的时间特征的示例绘图；

图2是根据一个说明性实施例的行为生物测定深度学习(BBDL)流水线的示例框图；

图3是示出了根据一个说明性实施例的用于训练BBDL流水线的训练过程的高级表示的示例框图。

图4是示出了根据一个说明性实施例的BBDL流水线的运行时操作的高级表示的示例框图；

图5是概述根据一个说明性实施例的BBDL流水线的示例操作的流程图；

图6是可以实现说明性实施例的各方面的分布式数据处理系统的示例图；以及

图7是可以实现说明性实施例的各方面的计算设备的示例框图。

具体实施方式

行为生物测定是允许连续认证的认证范例，这与通常由物理生物测定和基于知识(例如基于口令、基于安全问题)的认证机制所采用的一次性认证相反。例如，在智能电话、平板设备等上，不同用户可以具有不同的轻扫(swiping)速度、捏合角度等，其可以由行为生物测定机制监视。虽然可能存在使用行为生物测定作为认证方法的机制，但是由于这些现有方法的限制不能够处理可变长度输入特征，这些现有机制仅考虑具有消除了时间维度的固定维度的预定义特征。

即，现有机制需要固定维度以便训练计算机模型来执行预测或分类，然而行为生物测定的时间方面是可变的。由此，原始输入数据的时间方面必须通过对原始输入数据进行预处理或者预先计算而从由计算机模型处理的输入数据中减少，以便生成所定义的较高级别特征，通过特征工程，以具体地区分一个实体与另一个实体，例如，可以定义涉及计算轻扫的角度并且将其表示为取决于阈值的布尔值的轻扫角度特征，然后，这可用于确定轻扫的角度是表示轻扫中的角转弯还是圆形转弯，例如，如果轻扫是角轻扫则为1，或者如果不是，则为0；如果它是圆形转弯则为1，或者如果它不是，则为0。这些特征可能能够通过用户在执行轻扫手势时使用的转弯的类型来区分用户，但是特征本身不包含任何时间方面或特定空间信息。

正是这种包括高级实体区别特征的经预处理的数据由现有行为生物测定计算机模型处理，该经预处理的数据通过将原始输入数据变换成具有预先定义的实体区别特征的固定维度输入来生成，其中去除了原始输入数据的可变定时方面和/或空间方面。由于需要固定维度输入的现有行为生物测定计算机模型的限制，需要具有固定维度的此类高级特征。由此，现有机制不基于原始时空输入数据来执行它们的行为生物测定分类操作，因为它们不能考虑时间维度关于行为生物测定的可变性。

作为示例，来自传感器设备的原始输入数据(诸如用于用户在触敏屏幕上的笔划或轻扫)可以是时间和空间的函数F(t，x，y)＝v，其指示在时间t在坐标(x，y)处所感测到的所述笔划/轻扫的特性的值(或者可替代地F(t)＝(x，y，v)，其中x是屏幕的水平坐标，y是屏幕的垂直坐标，t是时间点，并且v是笔划或轻扫的感测的特性(例如，压力等)的值。现有机制不能够处理这样的可变输入，因为必须使用固定维度特征输入数据来训练基于固定维度的计算机模型。相反，输入数据必须通过由输入数据的预处理实现的特征提取变换别转换成固定维度的用户区分特征，例如，布尔值，诸如通过预处理输入使得F(x，y)＝1或0(取决于屏幕是否在坐标(x，y)处被触摸)来将F(t，x，y)＝v转换成布尔输入值，从而移除输入的时间维度。即，通过基于特征工程执行的特征提取，特征提取可以生成F1(session)＝\max|F(t，x，y)-avg(F(t，x，y))|-\min|F(t，x，y)–avg(F(t，x，y))|，这有效地消除了一个或多个维度t和/或x和y。max(F-avg(F))告知在会话期间某个特征可以有多大，诸如与会话平均值相比较轻扫可以有多快，其中大的数意味着偏差大。可以使用2范数而不是绝对值来进一步阐明这个等式，例如，F1(session)＝\max||F(t，x，y)avg(F(t，x，y))||_2-\min||F(t，x，y)–avg(F(t，x，y))||_2，其中“||_2”表示2范数。

此类经预处理的输入生成表示输入的高级特征的固定维度值，诸如“此用户形成锐角”、“此用户快速/慢速地放大”、“此用户交替地/重复地放大和缩小”等，这些固定维度值然后被馈送到计算机模型中，该计算机模型基于已经从输入中移除了时空输入数据的高级特征来执行分类或预测。

说明性实施例提供包括机器学习图像分析计算机模型、特征分类机器学习模型、特征嵌入机制等的行为生物测定深度学习(BBDL)计算机模型流水线(下文称为BBDL流水线)，所述机器学习图像分析计算机模型、特征分类机器学习模型、特征嵌入机制等操作以学习原始时空输入数据的时空特性的模式，其不需要移除时间和/或空间特性以生成如在现有机制中的高级特征。这些所学习的时空特性的模式指示特定用户的行为生物测定并基于机器学习的时空特征模式生成用户简档，该用户简档随后可被用于关于由后续用户输入的时空特征表示的行为生物测定来认证后续用户输入。应当认识到，BBDL流水线的原始时空输入是本身未设计成特定实体区别特征的原始输入数据，即，所述原始输入数据不是经过预处理以进行基于特征工程的特征提取的预处理输入数据，并且仍然包括原始时间和空间信息。即，不像其中计算机模型必须对被特别设计为区分特定实体的特定特征设计的输入进行操作的现有机制，BBDL流水线的输入是恰巧用于特定实施例的任何原始输入数据，并且包括在特定滑动时间窗口上来自一个或多个传感器装置的原始、非预处理的时空输入数据。

原始输入数据被收集并输入至BBDL流水线的时间窗口是滑动或移动时间窗口，其中每个单独的时间区间可以重叠或不重叠。例如，如果时间窗口包括时间点T1、…、T12，则单独的时间区间(或时间片段)可以是(T1，T2)，(T2，T3)，…(T11，T12)或(T1，T3)，(T2，T4)，(T3，T5)，…(T10，T12)，这取决于对于特定实现方式是否期望重叠的时间区间。在该示例中，来自实体(为了说明的目的，假设是人类用户，但不限于此)的可观察的(可由一个或多个传感器检测的)输入事件可发生在T1和T12之间的任何时间。即，如果T1＝12:00:10(小时:分钟:秒)，T2＝12:00:15(基于壁钟时间)，则轻扫事件可在12:00:12发生，这可与第一时间区间(T1，T2)相关联。通过使时间区间重叠，丢失信息的可能性被最小化，例如，在不重叠的情况下在12:00:11和12:00:13处的两个事件将落入相同的时间区间，然而尽管有相同的时间差，在12:00:14和12:00:16处的两个事件将落入两个不同的时间区间。

因此，BBDL流水线对不与实体行为的特定高级别特征直接相关的原始时空输入数据进行操作。因此，BBDL流水线的机制可以针对新的分类(例如，新的用户)通过仅仅非常小的一组示例进行动态训练，所述示例例如为嵌入两个轻扫会话并且比较嵌入的相似性，在后文中更详细地描述。与此相反，现有机制需要针对固定的一组分类来训练计算机模型，或者针对不同的分类的单独训练的计算机模型，并且如果期望新的分类，则必须用新的分类来重新训练整个计算机模型或者生成新的计算机模型。

根据一个说明性实施例，BBDL流水线包括计算机逻辑的多个级，每个级包括实现机器学习模型(或当将BBDL流水线作为整体视为计算机“模型”时的“子模型”)的集合的逻辑，所述机器学习模型针对包括时间点t、t+1、t+2、至t+n的特定对应时间区间评估时空特征、时间特征、和固定/分类特征，其中n指示时间窗口的大小，在所述时间窗口上评估时空特征模式以确定特定用户的行为生物测定。因此，BBDL流水线将具有n个级，每个级具有评估用户的对该用户与之对接的计算设备的输入的时空特征、时间特征、和固定/分类特征的多个机器学习(ML)计算机模型(或总体BBDL流水线模型的“子模型”)，这些特征可以由与该计算设备相关联的用户输入设备的一个或多个传感器生成，和/或由计算设备本身生成，例如，多个传感器可与一个或多个用户操纵的设备相关联地提供，用户操纵的设备诸如为智能电话、平板计算机、触摸屏设备、计算机鼠标、轨迹球输入设备、图像捕捉设备、生物测定读取器设备、或生物测定或行为生物测定输入数据的任何其他源。

例如，在一些说明性实施例中，这些传感器可包含其中可用F(t，x，y)表示输入的触敏屏幕中的触摸传感器、与装置本身相关联的加速度计、环境光传感器、相机装置等。由这种传感器感测并作为数据提供输入到BBDL流水线的时空特征的示例包括但不限于手指轻扫数据，例如，触摸屏上的轻扫大小、轻扫速度、轻扫加速度、轻扫方向等，包括相对于特定触摸屏尺寸的坐标数据、关于触摸屏设备上的触摸压力的压力信息、鼠标悬停信息、来自图像拾取设备(相机等)、触摸屏或手势信息的任何其他源的检测到的手势信息、与语音输入相关联的声纹信息、表示用户对特定设备的移动的加速度信息，等等。在一个说明性实施例中，所使用的时空特征包括布尔触摸(参见以下描述)、触摸大小(例如，F(t，x，y)的值为1的点(x，y)周围的面积有多大)、触摸压力、(x，y)触摸速度(从速度为{(t1，(x2-x1)/(t2-t1)，(y2-y1)/(t2-t1)，…}的点序列{(t1，x1，y1)，(t2，x2，y2)，…}确定,并且F(t，x，y)和F’(t，x，y)从这些值构建)、(x，y)触摸加速度、标量触摸速度以及标量触摸加速度。应当理解，虽然在此处的示例中使用笛卡尔坐标，但是说明性实施例不限于此，并且可以在不脱离本发明的范围的情况下使用任何其他坐标系，例如，F(t，x，y)可以被变换成F(t，phi，r)以便在极坐标系中表示类似的信息(触摸大小、速度、加速度等)。

一般而言，时空特征是在设备的输入范围(例如，触摸屏设备的屏幕尺寸或图形用户界面尺寸、或表示针对图形用户界面的用户输入等的计算机鼠标、设备轨迹球或其他用户输入设备移动)上变化并且随时间而变化的特征的集合。例如，布尔时空触摸特征是表示在特定时间步长触摸设备屏幕的哪个部分的特征的集合。形式上，这可以表示为$f_{布尔触摸}(x，y，t)$，其中如果在时间步长t在设备屏幕上的(x，y)处触摸了设备屏幕，则值为1，否则为0。由此，对于时间步长t的(x，y)的每个值，时空特征的值为1或0，从而产生用户输入的矩阵或位图表示。在函数F(t，x，y)＝v的情况下，v的值可以不限于布尔值，而是取决于所感测的输入可以在v的预定义值范围内，例如，v可以在max(v)和min(v)(例如，1和-1)之间。

根据说明性实施例的时空特征的使用与先前基于手势的认证机制显著不同，基于手势的认证机制忽视相对于设备的输入范围的位置并且手势随着用户动作的时间而变化(先前基于手势的认证机制仅涉及消除如先前讨论的空间和/或时间特性的高级别特征)。先前基于手势的认证机制记住固定的一系列手势并基于正在输入相同或不同的一系列手势进行认证，使得如果输入具有完全相同的一系列手势，则用户被认证，并且如果没有，则用户未被认证。所以，可以成功地认证知道所记住的固定模式的任何人。另一方面，说明性实施例使用原始输入数据并且对不与固定模式相关联的用户(实体)行为的细微差别进行操作。即，用户行为的细微差别提供用户与用户的各种输入一起使用的特定用户的时空特性(例如，诸如绘制曲线的速度、缩放角度和趋势等的时空用户输入特性)的表示。这些特性关于时间信息被捕获并且对于特定用户是唯一可识别的，而不是可由知道输入的固定模式的任何用户复制的非时空特征的固定模式。

说明性实施例考虑不依赖于与特定设备相关联的输入范围的时间特征，所述时间特征可以是与用户输入相关联的聚合的时空信息或非时空信息。例如，加速度计变化不依赖于设备的特定输入范围，例如用户向其提供输入的设备的触摸屏的尺寸，而是简单地相对于加速度的先前测量。也就是说，不论特定设备的输入范围如何，加速度的变化都将是相同的。形式上，$f_{加速度计-x}(t)$是加速度计在时间步长t沿着x轴改变。此类时间特征包括但不限于欧几里德/极坐标中的三维加速度计值、加速度一阶导数、加速度二阶导数、时空特征的聚合值、以及上下文嵌入，例如，图形用户界面和/或触摸屏的哪些组件被触摸。

此外，除了时空特征输入数据和时间特征输入数据之外，说明性实施例还从信息源获得不依赖于生物测定数据、行为生物测定数据、或与用户的输入相关联的其他数据的数据。例如，不依赖于这样的用户输入特定数据的其他特征，诸如用户操纵的设备自身的身份，例如，品牌和型号(例如，苹果iPhoneX、三星Galaxy S20等)、设备的配置(例如，传感器类型和它们的特性等)、设备的尺寸或可操纵限制(例如，屏幕大小、触摸面板大小、图形用户界面大小等)、实体/用户用来对接以提供输入的特定应用等。这些特征是不随时间改变的特征，即，这些是固定特征，但是与用于认证用户身份的时空特征和时间特征组合是有用的。可使用的固定特征的其他示例包括指示可测量值的范围的配置信息，例如，不同装置可使用不同值范围、不同单元等来测量输入。

这些特征可以嵌入为设备本身的一个或多个向量表示。分类的任何特征可以被嵌入，并且嵌入的向量作为整体被提供作为对该级和/或BBDL流水线的网络的剩余部分的输入。可以此方式嵌入的其他特征的示例包括但不限于音量、扬声器电话开/关、相机状态、相机闪光灯状态、活动/触摸的应用、触摸的用户界面元素、设备名称/类型、操作系统版本等。

特征数据(例如，时空特征和时间特征)的源可在多个时间点或时间区间上连续地或周期性地收集和/或生成特征数据，并且可将特征数据提供到预处理器，所述预处理器操作以将原始特征数据变换成可由BBDL流水线的各级的不同机器学习模型使用的形式，例如，用于时空特征的时间x 2D特征矩阵或映射、用于时间特征的时间x 1D矩阵或映射。此外，对于任何固定的设备特征或分类类型的特征，这些特征的嵌入可以由预处理器或其他嵌入组件来执行，并且嵌入的向量表示可以与神经网络的输出一起被提供用于下游处理，如下文所讨论的。嵌入是生成输入值的向量表示的过程。在神经网络机制中，嵌入是用于生成离散变量的低维的、学习的连续向量表示的过程。将输入嵌入到向量表示中的过程在本领域中一般是已知的。

在一些说明性实施例中，BBDL流水线的每个级包括一个或多个第一ML计算机模型(或“子模型”)，其通过机器学习过程被训练以便对从不同源接收并且由预处理器预处理成时间x 2D特征矩阵或映射表示的时空特征数据执行图像分析或基于计算机视觉的分析。所述一个或多个第一ML计算机模型可以包括被训练来执行多个不同时空特征的分类或归类的单个ML计算机模型，可以是被训练来执行单个时空特征的分类或归类的单个ML计算机模型，或者可以是多个ML计算机模型的组合，每个ML计算机模型被训练来执行关于不同时空特征的分类或归类。在多个ML计算机模型对时空特征数据进行操作的情况下，每个ML计算机模型的结果可以通过将最终向量输出表示输出到生成到BBDL流水线的下一级的输出的机器学习模型或另一神经网络的合并逻辑而被聚合成最终向量输出表示，如下文所述。

应当理解，BBDL流水线的每个级的ML计算机模型的训练可以作为整个BBDL流水线的整体训练操作的一部分而执行，并且因此，每个级的每个单独模型(或“子模型”)不必被预训练，尽管这可以在一些示例性实施例中完成。因此，可以训练BBDL流水线(或“模型”)，其包括训练每个级的计算机模型(或“子模型”)，作为整个BBDL流水线的整体训练操作。应当理解，在一些实施例中，各级的ML计算机模型或“子模型”中的一个或多个可以被预训练或训练为基于单独的机器学习的训练操作的一部分(如果希望的话)，并且用于训练单独的ML计算机模型或“子模型”的训练数据是可用的。为了便于描述，BBDL流水线的每个级的ML计算机模型在下文中将被称为ML计算机模型而不是“子模型”，并且BBDL流水线将被称为BBDL流水线，而不是BBDL流水线ML计算机模型。然而，应当认识到，BBDL流水线是具有不同级的整体计算机模型，其中每个级包括整体BBDL流水线ML计算机模型的一个或多个“子模型”。

时空特征数据可以被表示为时间x 2D特征矩阵或映射表示，其实质上提供图像，所述图像可以由图像分析或计算机视觉神经网络或其他图像/视觉分析机器学习模型处理，以生成表示输入图像的归类的输出向量。在总体BBDL流水线计算机模型的每个级中的图像/视觉分析机器学习模型或“子模型”的示例包括AllConvNet、ResNet、Inception和Xception。通过机器学习过程来具体地训练说明性实施例的图像/视觉分析机器学习模型，以便关于特定行为生物测定类别对时空矩阵或映射表示进行分类或归类。不同时空特征的不同时间x 2d特征矩阵或映射的不同归类可被组合以生成特定时间点或时间区间的输入中存在的时空特征的分类的向量表示。

在本发明的一些说明性实施例中，可以不使用图像/视觉分析机器学习模型的最后罗吉特(logit)层。即，在神经网络中，层产生特征，然后由密集层处理所述特征以产生具有与输出类别的数量相同的维度的向量。这被称为罗吉特层，并且最后的激活被应用在由罗吉特层生成的输出的顶部，例如，softmax激活。在一些说明性实施例中，这些最后两个层(即，罗吉特层和激活层)不在说明性实施例的图像/视觉分析中使用，并且因此，对罗吉特层的输入被用作BBDL流水线中的下一级的图像的内部表示。

时间特征可以被表示为时间x 1D矩阵或映射，其可以被输入到生成表示时间特征的归类的向量输出的一个或多个第二神经网络或训练的机器学习计算机模型。在一些说明性实施例中，一个或多个第二神经网络或训练的机器学习计算机模型可以是一个或多个训练的全连接的神经网络或其他密集层神经网络。一个或多个第二神经网络或训练的机器学习计算机模型输出时间区间的时间特征输入的分类的一个或多个向量表示，该一个或多个向量表示可以与时空特征处理机器学习模型和用于固定或分类(即，非时间依赖)的特征的其他嵌入特征组合，以生成最终向量输出，所述最终向量输出被输入到用于生成到BBDL流水线的下一级的输出的神经网络或机器学习计算机模型(下文称为主级机器学习(ML)模型)。

应当理解，每个级的模型的输出以及因此每个主级ML模型是作为在整体上训练BBDL流水线的一部分而学习的内部表示。即，由于BBDL流水线尝试对两个输入会话是否来自相同用户进行分类，所以每个级的模型将尝试提取可以最好地表示用户的输入图像的特征。由于级计算机模型的这些输出是内部表示，因此它们没有被明确地/单独地训练以生成某些特征，而是作为整体被训练为BBDL流水线的总体的基于机器学习的训练的一部分。每个主级ML模型的输出的维度是实体(用户)的时空特性的程度。例如，假设维度1表示执行若干连续快速放大和缩小以检查智能电话屏幕上的某物的细节的用户时空特性(与单次放大相反)，而维度2表示单次放大的特性。在两个维度上，1表示该输入的执行者具有该特性，而0表示他们不具有该特性。BBDL流水线累积在时间窗口上检测到的主级ML模型的特性。例如，第一主级ML模型可以检测放大，第二主级ML模型可以检测缩小，第三主级ML模型可以检测另一放大，而第四主级ML模型可以检测缩小。由于BBDL流水线的各个级的这些检测在时间窗口上累积，所以BBDL流水线确定维度1应当是1(不是单个放大特性)。

在一个说明性实施例中，BBDL流水线的第一级的主级ML模型接收在每个时间步长不提供的设备信息和/或其他固定或分类信息的嵌入作为输入。对于BBDL流水线的后续级，前一级的主级ML模型耦接至下一级的主级ML模型并且将其输出作为输入提供给下一级的主级ML模型。在一个说明性实施例中，BBDL流水线的每个级的主级ML模型可以是递归神经网络(RNN)，诸如长短期记忆(LSTM)RNN。

在沿着BBDL流水线的每个级，相应的级ML模型执行与上述类似的功能，但是针对相应的时间点或时间区间的特定时空、时间和其他固定/分类特征执行。级ML模型的所得输出向量与来自前一级的主级ML模型的输入进行组合，在当前级的ML模型中作为特征输入，该特征输入然后由该级的主级ML模型处理以生成输入到下一级的主级ML模型的向量输出。该过程继续进行到BBDL流水线的最后级，该最后级然后生成表示关于时空、时间和固定/分类输入的时间窗口上的用户输入的输出向量K。“K”的值表示包括在表示用户输入的特性的输出向量中的值的数量。该输出向量K对于特定用户的行为生物测定特征是唯一的，因此可以被用来认证用户。

在一个说明性实施例中，可以使用任何合适的机器学习过程(例如，有监督或无监督的机器学习过程)来执行BBDL流水线的各级的机器学习模型的训练。应当认识到，虽然BBDL流水线包括不同级的多个机器学习模型，但是BBDL流水线机器学习训练作为整体关于BBDL流水线执行。

一般而言，机器学习涉及以经验数据(诸如网络统计和性能指示符)作为输入并且识别这些数据中的复杂模式的技术的设计和开发。机器学习技术中的一个模式是使用底层模型M，给定输入数据，该模型M的参数被优化以最小化与M相关联的成本函数。例如，在二分类的上下文中，模型M可以是将数据分成两个类别(例如，标签)的直线，使得M＝a*x+b*y+c，并且成本函数将是误分类的点的数量。然后，学习过程通过调整参数a、b、c来操作，使得误分类的点的数量最小。在这个优化阶段(或学习阶段)之后，模型M可以用于对新数据点进行分类。当然，这是二分类的简单示例，并且执行分类为两个以上类别的其他模型将使用其他类似技术。

利用说明性实施例，机器学习过程一般涉及学习如何针对特定用户的用户输入的时空特征、时间特征和固定/分类特征来表示特定用户的行为生物测定。机器学习过程一般涉及，对于机器学习训练的每个时期的每次迭代，获得表示在特定时间段或时间窗口上的用户输入的一对用户会话信息。该对用户会话信息包括对应于目标用户的第一组会话信息。该对中的第二会话信息可以来自相同或不同的用户。获取所述第二会话信息对应的标签信息，所述标签信息指示该用户是同一用户还是不同用户。第一会话信息和第二会话信息均通过BBDL流水线分别进行处理，生成对应的K维输出向量。将第一会话信息的K维输出向量与第二会话信息的K维输出向量进行比较，以确定该会话信息是否由BBDL流水线分类为相同或不同的用户，即，两个会话的会话信息是否被确定为足够相似以表示相同用户。

然后，可将该得到的确定与用于第二会话信息的标签相比较，以确定第二会话信息实际上是来自相同还是不同用户。如果相似性结果基于第二会话信息的标签是不正确的，那么调整机器学习模型的操作参数以减少由BBDL模型生成的K值中的误差。即，如果相似性比较指示两个会话的用户是相同的用户，并且他们如由第二会话信息的标签所指示的是不同的，则调整机器学习模型的操作参数，使得所生成的K值对于不同的用户是不同的。如果相似性比较指示两个会话的用户不相同，并且他们如由第二会话信息的标签所指示的是相同的，则调整机器学习模型的操作参数，使得所生成的K值对于与相同用户的不同会话更相似。如果相似度比较指示两个会话的用户相同，并且他们如由第二会话信息的标签所指示的是相同的，则不需要调整。应当认识到，针对相同和/或不同用户的不同的第二会话信息重复该过程，例如，可以在用于训练BBDL流水线的机器学习模型的训练数据中提供该过程。

一旦被训练，BBDL流水线可在目标用户的一个或多个用户会话上执行，以生成存储BBDL流水线的一个或多个K值输出的授权用户简档，所述K值输出表示针对特定设备的授权用户的用户输入。例如，可为多个用户会话获得用户的历史会话信息，并且可由BBDL流水线处理这些会话信息中的每个以生成存储在用户简档中的每个会话的K维输出向量。该组用户会话(即，用户历史会话)可以是连续更新的一组用户历史会话，例如，可以维持最后10个会话，并且当与用户的新会话发生时，可以动态地更新相应的用户简档。即，对于每个后续用户会话，BBDL流水线对来自用户会话的输入数据执行以生成对应的K维输出向量，该K维输出向量然后用于替换用户简档中的最老的K维输出向量条目。由此，为授权用户维护动态的用户简档。

可通过确定新用户输入信息的K维输出向量是否与存储在授权用户简档中的K维输出向量信息充分相似，以与先前关于训练BBDL流水线描述的方式类似的方式来确定新会话的新用户输入信息是否实际上来自授权用户，其中“充分相似”可以相对于预定阈值来确定，该预定阈值指示可接受的差异量，同时仍指示两个K维输出向量代表同一用户(实体)。响应于用户的简档与新用户输入信息的K维输出向量的比较导致确定它们不充分相似，拒绝用户访问计算资源、物理场所或由说明性实施例的行为生物测定认证机制保护的任何其他资源。此外，在运行时操作期间，除了导致准许对受保护资源的访问之外，确定新会话的新用户信息来自授权用户还可以使得更新引擎利用该新会话的K维输出向量来更新用户简档，诸如通过在用户简档中存在预定数量的K维输出向量条目的情况下替换用户简档中的最老的K维输出向量条目。

因此，说明性实施例提供了用于实现用于行为生物测定的时空深度学习机制的机制。说明性实施例提供了一种多级流水线，所述流水线包括用于每个级的一组机器学习模型，所述一组机器学习模型关于时空特征、时间特征和固定/分类特征对相应时间点或时间区间的输入数据进行分类或归类。在一些说明性实施例中，时空特征被呈现为图像数据，该图像数据然后由经训练的图像分析或计算机视觉分析机器学习模型处理，而时间特征通过基于全连接和/或密集层的机器学习模型处理。流水线的级在用户输入数据上针对其相应的时间点或时间区间以及来自流水线中的前一级的输出进行操作，以最终生成K维输出向量，该K维输出向量表示用户输入在由流水线处理的时间窗口或时间段上的行为生物测定。这可以用于生成用户简档，该用户简档然后可以与随后的用户会话一起使用以认证用户。

在继续讨论说明性实施例的各方面和由说明性实施例执行的改进的计算机操作之前，应当首先理解的是，在整个说明书中，术语“机制”将用于指执行各种操作、功能等的本发明的元件。如本文中使用的术语“机制”可以是以装置、过程或计算机程序产品的形式的说明性实施例的功能或方面的实现方式。在过程的情况下，该过程由一个或多个设备、装置、计算机、数据处理系统等实现。在计算机程序产品的情况下，由体现在计算机程序产品中或上的计算机代码或指令表示的逻辑由一个或多个硬件设备执行，以便实现功能或执行与特定“机制”相关联的操作。因此，本文中描述的机制可以被实现为专用硬件、在硬件上执行的软件(以由此配置硬件来实现硬件原本将不能够执行的本发明的专用功能)、存储在介质上的软件指令(使得指令可容易地由硬件执行以由此专门配置硬件来执行本文中描述的所述功能和特定计算机操作)、用于执行功能的过程或方法、或以上的任何的组合。

本说明书和权利要求可以利用关于说明性实施例的特定特征和元件的术语“一个”、“至少一个”和“一个或多个”。应当理解，这些术语和短语旨在陈述在特定说明性实施例中存在至少一个特定特征或元素，但还可以存在多于一个特征或要素。即，这些术语/短语并非旨在将说明书或权利要求限制为存在的单个特征/元素或者需要存在多个这样的特征/元素。相反，这些术语/短语仅需要至少单个特征/元素，其中多个这种特征/元素可能在说明书和权利要求的范围内。

此外，应理解的是，如果在此关于描述本发明的实施例和特征使用术语“引擎”，则该使用不旨在限制用于实现和/或执行归因于和/或由该引擎执行的动作、步骤、过程等的任何特定实现。引擎可以是但不限于执行指定功能的软件、硬件和/或固件或其任意组合，包括但不限于与加载或存储在机器可读存储器中并由处理器执行的适当软件相结合的通用和/或专用处理器的任何使用。此外，除非另外指定，否则与特定引擎相关联的任何名称是出于方便参考的目的而并非旨在限于特定实现方式。此外，归于引擎的任何功能可以同样地由多个引擎执行，并入到相同或不同类型的另一引擎的功能中和/或与其组合，或分布在各种配置的一个或多个引擎上。

此外，应当理解，以下描述使用说明性实施例的各种元素的多个不同示例来进一步说明说明性实施例的示例实施例并且帮助理解说明性实施例的机制。这些示例旨在是非限制性的，并且不是穷尽用于实施说明性实施例的机制的各种可能性。对于本领域普通技术人员而言，鉴于本说明书，在不偏离本发明的范围的情况下，除了或代替本文提供的示例，存在可以利用的这些不同元素的许多其他替代实现方式。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质。

计算机可读存储媒体可为可保留和存储供指令执行装置使用的指令的有形装置。计算机可读存储介质可以是，例如但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、或者上述的任意合适的组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下各项：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式紧凑盘只读存储器(CD-ROM)、数字通用盘(DVD)、记忆棒、软盘、诸如穿孔卡之类的机械编码设备或具有记录在其上的指令的槽中的凸出结构、以及上述各项的任何合适的组合。如本文所使用的计算机可读存储媒体不应被解释为暂时性信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输媒体传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线发射的电信号。

本文中所描述的计算机可读程序指令可以经由网络(例如，互联网、局域网、广域网和/或无线网络)从计算机可读存储介质下载到相应的计算/处理设备，或者下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或以一种或多种编程语言的任何组合编写的源代码或目标代码，这些编程语言包括面向对象的编程语言(如Java、Smalltalk、C++等)和常规的过程编程语言(如“C”编程语言或类似的编程语言)。计算机可读程序指令可以完全地在用户计算机上执行、部分在用户计算机上执行、作为独立软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接至用户计算机，或者可连接至外部计算机(例如，使用互联网服务提供商通过互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来使电子电路个性化来执行计算机可读程序指令，以便执行本发明的各方面。

下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可被提供给计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图的或多个框中指定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置、和/或其他设备以特定方式工作，从而，其中存储有指令的计算机可读存储介质包括包含实现流程图和/或框图中的或多个方框中规定的功能/动作的方面的指令的制造品。

也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的处理，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图中的或多个方框中规定的功能/动作。

附图中的流程图和框图示出了根据本发明的不同实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。对此，流程图或框图中的每个框可表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些备选实现中，框中标注的功能可以不按照图中标注的顺序发生。例如，取决于所涉及的功能，连续示出的两个块实际上可以基本上同时执行，或者这些块有时可以以相反的顺序执行。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作或执行专用硬件与计算机指令的组合的专用的基于硬件的系统来实现。

如上所述，说明性实施例的机制提供了一种行为生物测定深度学习(BBDL)流水线，其包括机器学习计算机模型的多个级，机器学习计算机模型关于在时间窗口的不同时间步长或时间区间处的时空特征、时间特征、以及固定/分类特征来处理输入数据，从而将输入数据表征为可用于生成用户简档和/或与用户简档进行比较以认证用户的向量表示。BBDL流水线包括数据预处理器，该数据预处理器获取原始行为生物测定数据并且将该数据转换成BBDL流水线的各级的机器学习模型可用的格式。例如，预处理器将存在于原始输入数据中的时空特征转换为时间x 2D特征矩阵或映射。预处理器还将原始输入数据的时间特征转换为时间x 1D特征矩阵或映射。此外，预处理器可以本身或与单独的嵌入引擎结合，将固定/分类输入数据嵌入到嵌入值的向量表示中，以用于与BBDL流水线的对应逻辑级的其他机器学习模型的输出一起使用。

图1A-1D示出了根据一个说明性实施例的可以用于用户认证的时空特征的示例绘图。在这些示例中，这些时空特征的绘图被称为时间x 2D特征绘图，并且表示用户输入随时间推移的二维行为生物测定特征。图1A-1D中的每个时间x 2D特征绘图包括沿水平轴的时间维度，其中时空特征的二维(2D)特性被绘制为沿垂直轴的点，该点表示第一特性，并且色度(shade)或颜色表示2D特性的另一特性。绘制的特定2D特性取决于正在绘制的特定时空特征。如从图1A-1D可见，时空特征的绘图得出表示随时间推移的时空特征的图像。

在所描绘的时间x 2D中，图1A-1D的特征图表示与用户操纵设备(诸如智能电话、平板计算设备等)的触摸屏上的轻扫用户输入相关联的时空特征。图1A是轻扫用户输入的时间x 2D特征图的时间序列。x轴和y轴对应于用户操纵设备的触摸屏上的(x，y)坐标，并且因此构成2D绘图。每个绘图表示用户在特定时间点或时间区间的输入。2D特征图中的像素的色度表示特定坐标处的特征的值，其中特定值和值含义取决于所表示的特定特征，例如布尔触摸在特定坐标处可为1或0(由两个不同颜色表示)，速度可为由在可能色度(例如，从白色到黑色)的谱上的不同色度表示的实数等。

图1B中的时间x 2D特征图表示绘制的轻扫大小相对于时间的2D特性。在图1B的绘图中，2D特性可以是指示用户在特定时间点或时间区间触摸的给定像素周围的像素的范围或面积的值。

图1C中的时间x 2D特征图表示绘制的轻扫速度相对于时间的2D特性。在图1C的绘图中，2D特性可以包括轻扫速度，轻扫速度可以是速度的x分量，而另一绘图(未示出)可以表示速度的y分量。绘图中的色度可表示正/负值，其中符号是相对于特定轴。在所描绘的图中，像素的色度指示运动的左半部分从左到右(相对于x轴的正方向)并且右半部分从右到左(相对于x轴的负方向)。由此，所描绘的运动是捏合运动，诸如当用户试图在触摸屏上缩小时。类似于上文，图1D中的时间x 2D特征图表示绘制的轻扫加速度相对于时间的2D特性。

将原始传感器数据作为原始输入数据提供给预处理器，预处理器执行操作以将时空特征转换为时间x 2D矩阵或映射，其是表示单独的时空特征的图像。作为时间x 2D特征图的矩阵或映射生成的结果而由预处理器生成的图像数据随后可输入到BBDL流水线的对应级的图像分析/计算机视觉机器学习模型。可存在针对每个时空特征的单个图像分析/计算机视觉ML模型，或处理针对多个时空特征矩阵/映射的图像分析/计算机视觉操作的单个图像分析/计算机视觉ML模型。

另外，如先前所提及，预处理器还可将输入数据中的时间特征转换为时间x1D特征矩阵或映射。这些是输入数据中的特征，这些特征不在设备的输入范围内(例如，在触摸屏的位置上)变化，如上所述，但是随时间而变化。由此，时间x 1D特征矩阵或映射可用于表示这些时间特征的绘制时间和单一维度特征，即，对应时间特征的值。图1E示出了根据一个说明性实施例的可以用于用户认证的时间特征的示例绘图。再次，水平轴表示时间，而垂直轴表示时间特征的值，诸如加速度计记录的x轴。虚线框表示用于对时间特征进行采样的滑动时间窗口。可以将时间x 1D矩阵或映射输入到基于全连接或密集层的机器学习模型中，所述机器学习模型生成表示时间特征的向量输出。基于全连接/密集层的机器学习模型的输出可以与图像分析/计算机视觉机器学习模型的输出以及固定/分类输入数据的嵌入相组合，以生成针对该时间点或时间区间的用户输入的组合向量输出表示，该组合向量输出表示随后可以被提供给主级ML模型作为输入以供处理。

图2是根据一个说明性实施例的行为生物测定深度学习(BBDL)流水线的示例框图。如图2所示，并且如上所述，BBDL流水线200包括多个级210-230，每个级210-230包括一组机器学习模型212-218、222-228和232-238，这些机器学习模型针对包括一个或多个时间点(例如，t、t+1、t+2、直到t+n)的特定对应时间区间，评估时空特征、时间特征和固定/分类特征，其中n指示用于评估时空特征模式以确定特定用户的行为生物测定的时间窗口的大小。因此，BBDL流水线200将具有n个级，每个级210-230具有多个经训练的机器学习(ML)计算机模型212-218、222-228、232-238，这些模型评估经由与用户正与之对接的计算设备相关联的输入设备接收的用户输入的时空、时间和固定/分类特征。

用户输入可以由与计算设备相关联的用户输入设备所关联的一个或多个传感器捕捉或收集，和/或由计算设备本身生成。即，根据一个或多个说明性实施例，多个传感器201-204与一个或多个用户操纵设备(未示出)相关联地提供，用户操作设备诸如为智能电话、平板计算机、触摸屏设备、计算机鼠标、轨迹球输入设备、图像捕捉设备、生物测定读取器设备、或生物测定或行为生物测定输入数据的任何其他源。例如，在一些说明性实施例中，这些传感器201-204可以包括触敏屏幕中的触摸传感器、与设备本身相关联的加速度计等。由这样的传感器201-204感测并且作为输入数据205-208的一部分被提供用于输入至BBDL流水线200的时空特征的示例包括但不限于，包括相对于特定触摸屏尺寸的坐标数据的触摸屏上的手指轻扫数据(例如，轻扫大小、轻扫速度、轻扫加速度、轻扫方向等)，与触摸屏设备上的触摸压力有关的压力信息，鼠标悬停信息，来自图像拾取设备(相机等)、触摸屏或手势信息的任何其他源的检测到的手势信息，与语音输入相关联的声纹信息，表示用户对特定设备的移动的加速度信息等。在一个说明性实施例中，所使用的时空特征包括布尔触摸(参见下文的描述)、触摸大小、(x，y)触摸加速度、标量触摸速度和标量触摸加速度。

一般而言，时空特征是在用户接口设备292-294和/或计算设备290的输入范围上变化并且随时间而变化的特征的集合，所述输入范围例如为用于触摸屏设备或计算机鼠标的设备的屏幕尺寸或图形用户界面尺寸、表示针对图形用户界面的用户输入的轨迹球或其他用户输入设备移动等。再次，如上文所提及，示例时空特征可为布尔时空触摸特征，其为表示在某一时间步长处触摸了设备屏幕的哪一部分的特征的集合，并且还可为具有沿潜在值范围的不同值的实值特征，例如压力值等。然而，应了解，时空特征不限于仅能够由用户输入设备和/或计算设备的传感器感测的特征。在一些说明性实施例中，还可评估其他时空特征，诸如对应于由传感器监视的物理区域的任何时空特征，例如在环境光值的情况下可从所述物理区域获得时空数据，所述传感器可检测时间窗口上和特定物理区域上的光水平，并且此光水平数据可表示时空输入数据。

说明性实施例还考虑不依赖于与特定用户输入设备292-295或计算设备290相关联的输入范围的时间特征。如上所述，这些时间特征可以是与用户输入相关联的聚合的时空信息或非时空信息。此类时间特征包括但不限于欧几里德/极坐标中的三维加速度计值、加速度一阶导数、加速度二阶导数、时空特征的聚合值、以及上下文嵌入，例如，图形用户界面和/或触摸屏的哪些组件被触摸。

此外，对于任何固定设备特征或分类类型特征，这些特征的嵌入可以由对应于特定级210-230的预处理器280、282、284或级210-230的其他嵌入组件216、226、236来执行。嵌入组件216、226和236可以是被训练成将对应的固定/分类特征嵌入到表示这些固定/分类特征的向量表示中的机器学习模型。

应当理解，传感器201-204提供原始输入数据205-208，所述原始输入数据205-208包括针对多个时间点或时间区间中的每个的时空特征、时间特征和固定/分类特征。这些时间点或时间区间一起表示用户输入的时间窗口。用户输入的时间窗口可为移动或滑动窗口，使得传感器201-204在用户会话期间连续地监视用户输入。由此，在时间点/区间t+n+1，时间窗口处理在级210处理处重新开始，即，时间点/区间t+n+1变成新时间窗的时间点/区间t。如上所述，时间区间可以是重叠的或非重叠的。

每个原始输入数据205-208被提供给特定逻辑级210-230的对应预处理器280、282、284。预处理器280、282、284生成时间x 2D特征矩阵/映射、时间x 1D矩阵/映射、以及固定/分类特征，它们被提供给逻辑级210-230的对应机器学习模型，如之前所描述的。

除了用户输入数据之外，设备数据250可以从计算设备290和/或用户接口设备获得并被嵌入。例如，不依赖于这样的用户输入特定数据的其他设备特征可嵌入为向量表示(嵌入)260并且作为输入提供至BBDL流水线200的第一级210的主级ML模型218，所述设备特征诸如为用户操纵设备自身的身份(例如，品牌和型号(例如，苹果iPhone X、三星GalaxyS20等))、设备的配置(例如，传感器类型及其特性等)、设备的尺寸或可操纵限制(例如，屏幕尺寸、触摸面板尺寸、图形用户界面尺寸等)、等等。

用户输入设备292-294和/或计算设备290的传感器201-204在多个时间点或时间区间上连续地或周期性地收集和/或生成包括时空特征、时间特征和固定/分类特征的原始输入数据205-208，并且可以将特征数据提供给与BBDL流水线200的级210-230相关联的对应预处理器280-284。预处理器280-282操作以将原始用户输入数据转换成BBDL流水线200的级210-230的不同机器学习模型212-218、222-228和232-238可用的形式，例如，针对时空特征的时间x 2D特征矩阵或映射、针对时间特征的时间x 1D矩阵或映射、以及被提供用于嵌入的固定/分类特征。预处理器280-282被配置成识别存在于原始输入数据205-208中的不同类型的特征。即，预处理器280-284可以解析原始输入数据205-208，并且基于其配置，关于原始输入数据205-208的各部分是表示时空特征、时间特征还是固定/分类特征来对这些部分进行分类。基于对原始输入数据205-208的各部分的分类，执行预处理器280-284的相应处理，以生成时间x 2D矩阵/映射、时间x 1D矩阵/映射、以及可被输入以供嵌入的固定/分类特征的标识。然后，将经预处理的用户输入数据240-244提供给相应级210-230逻辑，用于由相应级210-230的机器学习模型处理。

如图2所示，BBDL流水线200的每个级210-230包括一个或多个第一ML计算机模型212、222、232，其通过机器学习过程来训练以对于相应的时间点/片段针对经预处理的用户输入数据240-244中存在的时空特征数据执行图像分析或基于计算机视觉的分析。即，一个或多个第一ML计算机模型212、222、232可以包括被训练来执行多个不同时空特征的分类或归类的单个ML计算机模型，可以是被训练来执行单个时空特征的分类或归类的单个ML计算机模型，或者可以是多个ML计算机模型的组合，每个ML计算机模型被训练来执行关于不同时空特征的分类或归类。在多个ML计算机模型对时空特征数据进行操作的情况下，可以通过合并逻辑(未示出)将每个ML计算机模型的结果聚合成最终向量输出表示，所述合并逻辑将各个ML计算机模型212的输出串联或以其他方式聚合，然后可以由级210-230的组合逻辑217、227、237组合这些输出以生成BBDL流水线200的主级ML模型218的单个最终向量输出表示。

如以上所讨论的，时空特征数据可以被表示为时间x 2D特征矩阵或映射表示，其实质上提供图像，所述图像可以由图像分析或计算机视觉神经网络或其他图像/视觉分析机器学习模型来处理以生成表示输入图像的分类的输出向量。通过机器学习过程来具体地训练说明性实施例的图像/视觉分析机器学习模型，以便对关于特定行为生物测定类别的时空矩阵或映射表示进行分类或归类。不同时空特征的不同时间x 2D特征矩阵/映射的不同归类可被组合或聚合以生成特定时间点或时间区间的输入中存在的时空特征的分类的向量表示。

经预处理的用户输入240-244中的时间特征可以被表示为时间x 1D矩阵或映射，其可以被输入到生成表示时间特征的分类的向量输出的一个或多个第二神经网络或经训练的机器学习计算机模型214、224、234。在一些说明性实施例中，一个或多个第二神经网络或经训练的机器学习计算机模型214、224、234可以是一个或多个经训练的全连接的神经网络或其他密集层神经网络。一个或多个第二神经网络或经训练的机器学习计算机模型214、224、234输出针对时间区间的时间特征输入的分类的一个或多个向量表示，所述向量表示可以被组合逻辑217、227、237与来自时空特征处理机器学习模型212、222、232的输出和由嵌入逻辑216、226、236针对固定的或分类的(即，非时间相关的)特征生成的其他嵌入特征进行组合，以生成最终向量输出，所述最终向量输出被输入至主级机器学习(ML)模型218、228、238，所述模型生成至BBDL流水线200的下一级的输出。

BBDL流水线200的第一级210的主级ML模型218接收在每个时间步长未提供的设备信息和/或其他固定或分类信息250的嵌入268作为输入。对于BBDL流水线200的后续级220-230，前一级的主级ML模型耦合到下一级的主级ML模型并且将其输出作为输入提供给下一级的主级ML模型，例如，主级ML模型218的输出被输入到级220的主级ML模型228并且主级ML模型228的输出作为输入提供给主级ML模型238。在一个说明性实施例中，BBDL流水线200的级210-230中的每一个的主级ML模型218、228、238可以是递归神经网络(RNN)，诸如长短期记忆(LSTM)RNN。

在沿着BBDL流水线200的每个级210-230处，相应的级ML模型212-218、222-228和232-238执行与上述类似的功能，但是针对相应的时间点或时间区间的特定时空、时间和其他固定/分类特征执行。级ML模型的所得输出向量与来自前一级的主级ML模型的输入相组合，在当前级的ML模型中作为特征输入，所述特征输入然后由该级的主级ML模型处理以生成输入到下一级的主级ML模型的向量输出。该过程继续直到BBDL流水线200的最后级(例如，级230)，其然后生成输出向量K 270，该输出向量K 270表示关于时空、时间和固定/分类输入的时间窗口上的用户输入。以这种方式，BBDL流水线200在时间窗口中表示的时间点上累积在输入中表示的实体(用户)的特性。所得输出向量K 270对于特定用户的行为生物测定特征(或用户特征)是唯一的，并且因此可用于认证用户。

可以使用任何合适的机器学习过程(例如，有监督或无监督的机器学习过程)来执行BBDL流水线200的各级的机器学习模型的训练。图3是示出了根据一个说明性实施例的用于训练BBDL流水线200的训练过程的高级表示的示例框图。利用说明性实施例，机器学习过程一般涉及学习如何按照特定用户的用户输入的时空特征、时间特征和固定/分类特征来表示特定用户的行为生物测定。机器学习过程一般涉及：对于机器学习训练的每个时期的每次迭代，获得表示在特定时间段或时间窗口上的用户输入的一对用户会话信息310和320。该对用户会话信息310和320涉及对应于目标用户的第一组会话信息310，诸如从不同传感器和/或计算设备获得的原始输入数据205-208，以及用户输入设备/计算设备的设备信息250。该对中的第二会话信息320可以来自相同或不同用户，并且可以包括其他原始输入数据305-308和对应的设备信息250。为第二会话信息320获取对应的标签信息322，所述标签信息322指示该用户是同一用户还是不同用户。在一些实施例中，每个用户会话信息310和320可具有指定提供用户会话信息310、320的用户的身份的标签数据312、322，使得出于训练目的，用户身份的比较可确定用户是相同的还是不同的。

在由预处理器330(可包括预处理器280-284)进行预处理之后，通过包括BBDL流水线200的模型340分别处理第一和第二用户会话信息310、320，以生成对应的K维输出向量342、344，诸如图2中的K维输出向量270。将第一会话信息的K维输出向量342与第二会话信息的K维输出向量344进行比较，以确定会话信息是否由包括BBDL流水线200的模型340分类为相同或不同的用户，即，两个会话的会话信息是否被确定为充分相似以表示相同用户。

由比较逻辑350比较K维输出向量K1和K2、342、344以确定K1和K2输出向量342、344是否充分相似(K1和K2输出向量的各个值的差等于或小于预定或学习的阈值)以得出提供用户会话信息310的用户与提供用户会话信息320的用户是相同或不同的结论。比较的结果生成概率值，该概率值指示提供用户会话信息310的用户与提供用户会话信息320的用户相同的可能性，然后可将其与阈值概率进行比较。如果所计算的概率满足或超过阈值概率，则预测提供用户会话信息310的用户是提供用户会话信息320的同一用户。

在获得预测之后，训练逻辑360检查预测的准确度，以确定包括BBDL流水线200的BBDL模型340是否生成用户会话信息310、320的正确结果。例如，用户会话信息310、320的标签312、322可被比较，或者在仅第二用户信息320被标记的实施例中，标签322可与模型340被训练的授权用户的身份比较。由训练逻辑360执行的比较确定第二会话信息事实上是来自相同还是不同用户。如果基于用户会话信息310、320的标签312和/或322，相似性预测是不正确的，那么训练逻辑360调整BBDL模型340的BBDL流水线200的机器学习模型的操作参数，以便减少由BBDL模型340生成的K值中的误差(损失或成本)。

应当理解，BBDL模型340和BBDL流水线200的训练是用户独立的，因为BBDL流水线200和BBDL模型340被训练为准确地生成用于相同和不同用户的实例的K向量输出。训练确定BBDL流水线200和BBDL模型340是否适当地生成对于相同用户充分相同的或对于不同用户充分不同的K向量输出，以便基于用户输入中存在的用户的行为生物测定数据使用户认证的预测准确。说明性实施例的机制可提供单个BBDL流水线200和BBDL模型340，其可对授权用户输入进行操作，从而生成授权用户简档，而不是必须为不同的用户训练单独的机器学习模型。此后，BBDL流水线200和BBDL模型340可对新的用户输入进行操作，以生成K向量输出，然后，可将其与存储的授权用户简档进行比较，以认证用户输入是来自授权用户。

即，一旦被训练，包括BBDL流水线200的BBDL模型340可在目标用户的一个或多个用户会话上执行以生成授权用户简档，该授权用户简档存储表示用于特定设备的授权用户的用户输入的BBDL流水线的一个或多个K值输出。图4是示出了根据一个说明性实施例的BBDL流水线的运行时操作的高级表示的示例框图。如图4所示，可以获得多个用户会话的用户历史会话信息410，并且这些用户历史会话信息410中的每个可以由相应的预处理器420和模型430的BBDL流水线200处理，以生成存储在用户简档440中的每个会话的K维输出向量。该组用户会话(即，用户历史会话)可以是用户历史会话410的连续更新的集合，例如，可以维持最后10个会话，并且当与用户的新会话发生时，可以动态地更新相应的用户简档440。即，对于每个后续用户会话，包括BBDL流水线200的模型430对来自用户会话的输入数据执行以生成对应的K维输出向量，该K维输出向量然后用于替换用户简档440中的最老的K维输出向量条目。因此，为授权用户保持了动态用户简档440。

可以以与先前关于模型340和BBDL流水线200的训练所描述的相似的方式，确定新会话的新用户输入信息是否实际上来自授权用户。训练操作的一个例外是，在训练后的运行时操作期间，确定后续会话的用户不匹配他们声称的授权用户或者从其获得会话信息的特定设备的注册的授权用户，然后可以拒绝对访问受保护资源的授权。即，通过预处理器420和包括BBDL流水线200的模型430处理的新会话450的新用户输入信息产生K维输出向量460，K维输出向量460可与存储在用户简档440中的K维输出向量进行比较。可以将K维输出向量460与每个K维输出向量进行比较以确定K维输出向量460是否充分匹配用户简档440中存储的K维输出向量中的任何一个。如果K维输出向量460充分匹配用户简档440中的这些存储的K维输出向量中的任何一个，则确定提供新会话信息450的用户是授权用户，并且可以授权对受保护资源的访问。如果K维输出向量460与存储在用户简档中的任何K维输出向量都不充分匹配，则提供新会话信息450的用户不是授权用户，并且因此，可以拒绝对受保护资源的访问。除了导致允许访问受保护资源之外，确定新会话信息450来自授权用户还可以使得更新引擎480利用此新会话信息450的K维输出向量460来更新用户简档440，诸如通过在用户简档440中存在预定数量的K维输出向量条目的情况下替换用户简档440中的最老的K维输出向量条目，或者在尚未达到最大条目数量的情况下添加新条目。

因此，如前所述，说明性实施例提供了用于实现用于行为生物测定的时空深度学习机制的机制。说明性实施例提供了一种有多级的流水线，所述流水线包括用于每个级的一组机器学习模型，所述一组机器学习模型关于时空特征、时间特征和固定/分类特征对相应时间点或时间区间的输入数据进行分类或归类。在一些说明性实施例中，时空特征被呈现为图像数据，该图像数据然后由经训练的图像分析或计算机视觉分析机器学习模型处理，而时间特征通过基于全连接和/或密集层的机器学习模型处理。流水线的级对相应的时间点或时间区间的用户输入数据以及来自流水线中的前一级的输出进行操作，以最终生成K维输出向量，该K维输出向量表示用户输入在由流水线处理的时间窗口或时间段上的行为生物测定。这可以用于生成用户简档，该用户简档然后可以与随后的用户会话一起使用以认证用户。

图5是概述根据一个说明性实施例的BBDL流水线的示例操作的流程图。图5中概述的操作可以由BBDL流水线执行，作为运行时操作的一部分，假设已经通过如上所述的机器学习过程训练了BBDL流水线。

如图5所示，操作通过接收新会话的用户输入开始(步骤510)。预处理用户输入以识别和预处理在接收到的用户输入中存在的时空特征、时间特征和固定/分类特征(步骤520)。该预处理可以包括时间x 2D特征矩阵/映射和时间x 1D特征矩阵/映射的生成，以及识别存在于所接收的用户输入中的固定/分类特征。对于用户输入中表示的时间窗口的每个时间点，用户输入由BBDL流水线的对应级处理，并且各级的结果被组合以生成用户输入的行为生物测定的K向量输出表示(步骤530)。

确定设备的授权用户的身份，并且检索授权用户的相应用户简档(步骤540)。可在用户输入中指定用户的身份，例如，登录过程期间的用户标识符等，其可用以检索用户简档以寻找所标识的用户。在其他情况下，设备的身份可以用于针对特定设备在授权用户的注册表中执行查找操作。

执行用户简档中的K向量条目与针对用户输入的K向量输出表示的比较(步骤550)以确定向量是否充分相似以指示同一用户，或不充分相似使得它们表示不同用户(步骤560)。如果预测指示用户是相同的用户，则准予对受保护资源的访问(步骤570)，并且利用针对用户输入的K向量输出来更新用户简档(步骤580)。如果预测指示用户不同，则拒绝对受保护资源的访问(步骤590)。然后操作终止。

说明性实施例可用在许多不同类型的数据处理环境中，以基于行为生物测定保护各种类型的计算资源、物理场所或设备等，所述行为生物测定基于对行为生物测定输入的时空特征、时间特征和固定/分类特征的分析。数据处理环境可以包括单个计算设备和/或分布式数据处理环境。下文提供图6和7作为可以实现说明性实施例的各方面的示例环境。应了解，图6和7仅为示例，并且不意欲断言或暗示关于其中可实施本发明的各方面或实施例的环境的任何限制。在不背离本发明的范围的情况下，可以对所描绘的环境做出许多修改。

图6描绘了可以实现说明性实施例的各方面的示例分布式数据处理系统的图形表示。分布式数据处理系统600可以包括计算机的网络，其中可以实现说明性实施例的各方面。分布式数据处理系统600包含至少一个网络602，该网络602是用于在分布式数据处理系统600内连接在一起的不同设备和计算机之间提供通信链路的介质。网络602可以包括诸如有线、无线通信链路或光纤电缆之类的连接。

在所描绘的示例中，服务器604和服务器606连同存储单元608连接到网络602。此外，客户端610、612和614也连接到网络602。这些客户端610、612和614可以是例如个人计算机、网络计算机等。在所描绘的示例中，服务器604向客户端610、612和614提供诸如引导文件、操作系统映像和应用之类的数据。在所描绘的示例中，客户端610、612和614是服务器604的客户端。分布式数据处理系统600可包括附加的服务器、客户端和未示出的其他设备。

在所描绘的示例中，分布式数据处理系统600是具有网络602的互联网，网络602表示使用传输控制协议/互联网协议(TCP/IP)协议组来彼此通信的网络和网关的全球集合。互联网的核心是主节点或主机计算机之间的高速数据通信线路的主干，由数以千计的路由数据和消息的商业、政府、教育和其他计算机系统组成。当然，分布式数据处理系统600还可被实现为包括许多不同类型的网络，诸如例如内联网、局域网(LAN)、广域网(WAN)等。如上所述，图6旨在作为示例，而不是作为对本发明的不同实施例的架构限制，并且因此，图6中所示的特定元件不应当被认为是关于可以实现本发明的说明性实施例的环境的限制。

如图6中所示，计算设备中的一个或多个(例如，服务器604)可以具体被配置为实现包括BBDL流水线的行为生物测定深度学习(BBDL)模型，例如，包括图2中的BBDL流水线200的图3的BBDL模型340。计算设备的配置可包括提供专用硬件、固件等以促进本文关于说明性实施例描述的操作的执行和输出的产生。计算设备的配置还可或替代地包括提供存储在一个或多个存储装置中且加载到计算设备(例如服务器604)的存储器中的软件应用，用于致使计算设备的一个或多个硬件处理器执行该软件应用，所述软件应用配置处理器执行操作以及产生本文中关于说明性实施例描述的输出。此外，在不脱离说明性实施例的范围的情况下，可以使用专用硬件、固件、在硬件上执行的软件应用等的任何组合。

应当理解，一旦计算设备以这些方式之一被配置，计算设备就变成专门被配置为实现说明性实施例的机制的专用计算设备并且不是通用计算设备。此外，如本文所描述的，说明性实施例的机制的实现改进了计算设备的功能，并提供了有用和具体的结果，该结果便于对来自客户端计算设备610的用户输入设备(诸如用户输入设备205-208)的用户输入(诸如用户输入205-208)的评估。用户输入表示关于时空特征、时间特征和固定/分类特征的行为生物测定。BBDL模型340和BBDL流水线200表征用户输入的行为生物测定并生成用户的简档，其随后可被存储在用户简档注册表630中用于授权用户访问受保护资源。用户简档注册表630中的用户简档可与后续用户输入的行为生物测定的表征进行比较，从而在后续会话中认证用户。认证逻辑620(诸如图4中的比较和更新逻辑470和480)例如比较行为生物测定的表征以认证用户，并且如果用户不是真正的用户，则可以拒绝对受保护资源的访问。如果用户是经认证的用户，那么用户可以被授权访问受保护的资源，并且在一些实施例中，经认证的用户的简档可以由认证逻辑620(包括例如更新逻辑470)用会话用户输入的表征来更新，从而动态地更新用户简档。

在一些实施例中，可以从可以是客户端计算系统610的一部分的用户接口设备292-295的传感器接收用户输入以及表征客户端计算设备610本身的其他数据。用户输入和/或设备信息可通过网络602提供给实现BBDL流水线200的服务器604，然后该BBDL流水线处理用户输入以认证用户。服务器604随后可返回授权或拒绝对受保护资源的访问的输出。应当理解，虽然在图6中示出了客户端/服务器配置，但是说明性实施例不限于此。此外，客户端计算设备610-614可采取许多不同的形式，诸如客户端计算机、平板计算机、智能电话、其他智能设备、物联网(IoT)设备等。简而言之，在不背离本发明的范围的情况下，可以使用具有用户输入接口的任何计算设备，通过该用户输入接口可以接收基于行为生物测定的用户输入并将其提供给BBDL流水线和BBDL模型。

如上所述，说明性实施例的机制利用专门配置的计算设备或数据处理系统来执行用于实现BBDL流水线200和执行基于行为生物测定深度学习的用户输入认证的操作。这些计算设备或数据处理系统可包括不同硬件元件，这些硬件元件通过硬件配置、软件配置、或硬件和软件配置的组合被具体配置以实现本文所描述的系统/子系统中的一个或多个。图7是可以实现说明性实施例的各方面的仅一个示例数据处理系统的框图。数据处理系统700是计算机(诸如图6中的服务器604)的示例，其中可以定位和/或执行实现本发明的说明性实施例的过程和方面的计算机可用代码或指令，以便实现如本文所述的说明性实施例的操作、输出和外部效果。

在所描绘的示例中，数据处理系统700采用包括北桥和存储器控制器中心(NB/MCH)702以及南桥和输入/输出(I/O)控制器中心(SB/ICH)704的集线器架构。处理单元706、主存储器708和图形处理器710连接到NB/MCH 702。图形处理器710可以通过加速图形端口(AGP)连接到NB/MCH 702。

在所描绘的示例中，局域网(LAN)适配器712连接到SB/ICH 704。音频适配器716、键盘和鼠标适配器720、调制解调器722、只读存储器(ROM)724、硬盘驱动器(HDD)726、CD-ROM驱动器730、通用串行总线(USB)端口和其他通信端口732、以及PCI/PCIe设备734通过总线738和总线740连接到SB/ICH 704。PCI/PCIe设备可以包括例如以太网适配器、插入卡和用于笔记本计算机的PC卡。PCI使用卡总线控制器，而PCIe不使用。ROM 724可以是例如闪存基本输入/输出系统(BIOS)。

HDD 726和CD-ROM驱动器730通过总线740连接到SB/ICH 704。HDD 726和CD-ROM驱动器730可以使用例如集成驱动电子设备(IDE)或串行高级技术附件(SATA)接口。超级I/O(SIO)设备736可以连接到SB/ICH 704。

操作系统在处理单元706上运行。操作系统协调并提供图7中的数据处理系统700内的不同组件的控制。作为客户端，操作系统可以是可商购的操作系统，诸如Windows/>面向对象的编程系统(诸如Java^TM编程系统)可以结合操作系统运行，并且从在数据处理系统700上执行的Java^TM程序或应用提供对操作系统的调用。

作为服务器，数据处理系统700可以是例如运行高级交互执行操作系统或操作系统的IBM eServer^TMSystem/>计算机系统、基于Power^TM处理器的计算机系统等。数据处理系统700可以是在处理单元706中包括多个处理器的对称多处理器(SMP)系统。可替代地，可以采用单处理器系统。

操作系统、面向对象的编程系统和应用或程序的指令位于诸如HDD 726的存储设备上，并且可以被加载到主存储器708中以供处理单元706执行。本发明的说明性实施例的处理可以使用计算机可用程序代码由处理单元706执行，计算机可用程序代码可以位于存储器(例如，主存储器708、ROM 724)中或例如一个或多个外围设备726和730中。

总线系统(诸如图7中所示的总线738或总线740)可由一条或多条总线组成。当然，总线系统可以使用在附接到结构或架构的不同组件或设备之间提供数据传送的任何类型的通信结构或架构来实现。通信单元(诸如图7的调制解调器722或网络适配器712)可包括用于发送和接收数据的一个或多个设备。存储器可以是例如主存储器708、ROM 724或诸如在图7中的NB/MCH 702中找到的高速缓存。

如上所述，在一些说明性实施例中，说明性实施例的机制可以被实现为专用硬件、固件等，存储在存储设备(诸如HDD 726)中并被加载到存储器(诸如主存储器708)中的应用软件，用于由一个或多个硬件处理器(诸如处理单元706等)执行。照此，图7中所示的计算设备变得具体配置为实现说明性实施例的机制，并且具体配置为执行本文关于图2中的BBDL流水线200描述的操作和生成输出，以及基于由BBDL流水线200生成的用户输入的表征的认证机制。

本领域普通技术人员将理解，图6和7中的硬件可以取决于实现方式而变化。除了或代替图6和7中所描绘的硬件，可使用其他内部硬件或外围设备，例如快闪存储器、等效非易失性存储器或光盘驱动器等。此外，举例实施例的过程可以应用于除了先前提到的SMP系统之外的多处理器数据处理系统，而不脱离本发明的范围。

此外，数据处理系统700可采取许多不同数据处理系统中的任的形式，包括客户端计算设备、服务器计算设备、平板计算机、膝上型计算机、电话或其他通信装置、个人数字助理(PDA)等。在一些说明性示例中，数据处理系统700可以是被配置为具有闪存的便携式计算设备，以提供用于存储操作系统文件和/或用户生成的数据的非易失性存储器。本质上，数据处理系统700可以是任何已知的或以后开发的数据处理系统，而没有架构限制。

如上所述，应当理解，说明性实施例可以采取完全硬件实施例、完全软件实施例或包含硬件和软件元件的实施例的形式。在一个示范性实施例中，说明性实施例的机制在软件或程序代码中实现，该软件或程序代码包括但不限于固件、常驻软件、微代码等。

适合于存储和/或执行程序代码的数据处理系统将包括至少处理器，该至少处理器通过例如系统总线的通信总线直接或间接地耦合到存储器元件。存储器元件可以包括在程序代码的实际执行期间使用的本地存储器、大容量存储器和提供至少一些程序代码的临时存储以便减少在执行期间必须从大容量存储器检索代码的次数的高速缓冲存储器。存储器可以是各种类型的，包括但不限于ROM、PROM、EPROM、EEPROM、DRAM、SRAM、闪存、固态存储器等。

输入/输出或I/O设备(包括但不限于键盘、显示器、定点设备等)可以直接地或通过中间的有线或无线I/O接口和/或控制器等耦合到系统。I/O设备可以采取除常规键盘、显示器、定点设备等之外的许多不同形式，例如通过有线或无线连接耦合的通信设备，包括但不限于智能电话、平板计算机、触摸屏设备、语音识别设备等。任何已知或随后开发的I/O设备都旨在处于说明性实施例的范围内。

网络适配器也可以耦合到系统，以使得数据处理系统能够通过居间的私有或公共网络耦合到其他数据处理系统或远程打印机或存储设备。调制解调器、电缆调制解调器和以太网卡仅仅是用于有线通信的网络适配器的当前可用类型中的几种。还可以使用基于无线通信的网络适配器，包括但不限于802.11a/b/g/n无线通信适配器、蓝牙无线适配器等。任何已知或以后开发的网络适配器都处于本发明的范围内。

已经出于说明和描述的目的呈现了本发明的描述，并且不旨在是详尽的或限于所公开形式的本发明。在不脱离所描述的实施例的范围的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。选择和描述实施例以便最好地解释本发明的原理、实际应用，并且使本领域的其他普通技术人员能够理解本发明的具有适合于预期的特定用途的各种修改的各种实施例。这里使用的术语被选择来最好地解释实施例的原理、实际应用或对在市场中找到的技术的技术改进，或者使得本领域普通技术人员能够理解这里公开的实施例。

Claims (20)

1.一种在数据处理系统中的方法，所述数据处理系统包括至少一个处理器和至少一个存储器，所述至少一个存储器包括指令，所述指令由所述至少一个处理器执行以具体地配置所述至少一个处理器实现行为生物测定深度学习(BBDL)流水线，所述BBDL流水线包括操作以实现所述方法的机器学习计算机模型的多个级，所述方法包括：

在包括多个时间区间的预定时间窗口上从一个或多个传感器接收对应于与实体相关联的输入的时空输入数据，每个时间区间具有所述时空输入数据的对应子集，其中所述时空输入数据包括既关于由所述一个或多个传感器中的至少一个监视的物理区域在空间上依赖又在时间上依赖的输入数据；

对于所述多个时间区间中的每个时间区间，由所述多个级中的对应级的一个或多个机器学习计算机模型处理与所述时间区间对应的所述时空输入数据的子集以生成输出向量，所述输出向量具有指示在所述时空输入数据的所述子集中表示的所述实体的时空特性的内部表示的值；

在所述BBDL流水线的所述多个级上累积输出向量以生成最终输出向量，所述最终输出向量包括指示在所述时空输入数据中表示的所述实体的所述时空特性的最终输出向量值；以及

由所述数据处理系统基于所述最终输出向量来认证所述实体。

2.根据权利要求1所述的方法，其中，认证所述实体包括：

将所述最终输出向量与存储在授权用户的用户简档中的由所述BBDL流水线生成的至少一个先前生成的输出向量进行比较，以确定所述最终输出向量表示与所述授权用户的时空特性匹配的用户的时空特性的概率；以及

响应于所述比较的结果而控制对受保护资源的访问。

3.根据权利要求2所述的方法，其中，控制对受保护资源的访问包括，响应于确定所述概率指示所述最终输出向量表示与所述授权用户的时空特性匹配的所述用户的时空特性：

准予所述用户对所述受保护资源访问；以及

更新所述用户简档以包括所述最终输出向量。

4.根据权利要求1所述的方法，其中，所述BBDL流水线的每个级包括图像处理机器学习计算机模型，并且其中，对于所述BBDL流水线的每个级，处理与所述时间区间对应的时空输入数据的子集包括：

处理所述时空输入数据的子集以将所述时空输入数据的子集中的时空特征变换为图像；以及

由所述级的所述图像处理机器学习计算机模型对所述图像执行图像分析以生成第一向量输出。

5.根据权利要求4所述的方法，其中，所述BBDL流水线的每个级包括全连接神经网络机器学习计算机模型，并且其中，对于所述BBDL流水线的每个级，处理与所述时间区间对应的时空输入数据的子集包括：

处理所述时空输入数据的子集以识别所述时空输入数据的子集中的时间特征；以及

由所述级的所述全连接神经网络机器学习模型来处理所述时间特征以生成第二向量输出。

6.根据权利要求5所述的方法，其中，所述BBDL流水线的每个级包括固定/分类数据嵌入逻辑，并且其中，对于所述BBDL流水线的每个级，处理与所述时间区间对应的时空输入数据的子集包括：

处理所述时空输入数据的子集以识别所述时空输入数据的子集中的固定/分类特征；以及

由所述级的所述固定/分类数据嵌入逻辑处理所述固定/分类特征以生成第三向量输出。

7.根据权利要求6所述的方法，其中，所述BBDL流水线的每个级包括组合逻辑，所述组合逻辑操作以组合第一输出向量、第二输出向量和第三输出向量来生成组合输出向量，所述组合输出向量被输入至所述级的主级机器学习计算机模型。

8.根据权利要求7所述的方法，其中，所述BBDL流水线的每个级的每个主级机器学习计算机模型处理其对应级的对应组合输出向量以及来自所述BBDL流水线的前一级的输入以生成级输出向量，并且其中，在所述BBDL流水线的所述多个级上累积输出向量以生成最终输出向量包括，对于每个级，输出级输出向量作为所述BBDL流水线中的下一级的输入，并且其中所述BBDL流水线的最后级的主级机器学习计算机模型的级输出向量是所述最终输出向量。

9.根据权利要求8所述的方法，其中，嵌入式设备信息被输入到所述BBDL流水线的第一级的主级机器学习计算机模型，并且其中，所述主级机器学习计算机模型处理与第一级相关联的组合输出向量连同所述嵌入式设备信息以生成第一级的级输出向量。

10.根据权利要求1所述的方法，其中，所述一个或多个传感器包括触敏显示器设备的触摸传感器，并且其中，所述时空输入数据包括指示所述实体的触摸输入的特性的传感器数据。

11.一种包括计算机可读存储介质的计算机程序产品，所述计算机可读存储介质中存储有计算机可读程序，其中所述计算机可读程序当在计算设备上执行时使所述计算设备实现行为生物测定深度学习(BBDL)流水线，所述BBDL流水线包括机器学习计算机模型的多个级，所述机器学习计算机模型操作用于：

在包括多个时间区间的预定时间窗口上从一个或多个传感器接收对应于与实体相关联的输入的时空输入数据，每个时间区间具有所述时空输入数据的对应子集，其中所述时空输入数据包括既关于由所述一个或多个传感器中的至少一个监视的物理区域在空间上依赖又在时间上依赖的输入数据；

对于所述多个时间区间中的每个时间区间，通过所述多个级中的对应级的一个或多个机器学习计算机模型来处理与所述时间区间对应的所述时空输入数据的子集以生成输出向量，所述输出向量具有指示在所述时空输入数据的所述子集中表示的所述实体的时空特性的内部表示的值；

在所述BBDL流水线的所述多个级上累积输出向量以生成最终输出向量，所述最终输出向量包括指示在所述时空输入数据中表示的所述实体的所述时空特性的最终输出向量值；以及

由所述数据处理系统基于所述最终输出向量来认证所述实体。

12.根据权利要求11所述的计算机程序产品，其中，认证所述实体包括：

将所述最终输出向量与存储在授权用户的用户简档中的由所述BBDL流水线生成的至少一个先前生成的输出向量进行比较，以确定所述最终输出向量表示与所述授权用户的时空特性匹配的用户的时空特性的概率；以及

响应于所述比较的结果而控制对受保护资源的访问。

13.根据权利要求12所述的计算机程序产品，其中，控制对受保护资源的访问包括，响应于确定所述概率指示所述最终输出向量表示与所述授权用户的时空特性匹配的所述用户的时空特性：

准予所述用户对所述受保护资源访问；以及

更新所述用户简档以包括所述最终输出向量。

14.根据权利要求11所述的计算机程序产品，其中，所述BBDL流水线的每个级包括图像处理机器学习计算机模型，并且其中，对于所述BBDL流水线的每个级，处理与所述时间区间对应的时空输入数据的子集包括：

处理所述时空输入数据的子集以将所述时空输入数据的子集中的时空特征变换为图像；以及

由所述级的所述图像处理机器学习计算机模型对所述图像执行图像分析以生成第一向量输出。

15.根据权利要求14所述的计算机程序产品，其中，所述BBDL流水线的每个级包括全连接神经网络机器学习计算机模型，并且其中，对于所述BBDL流水线的每个级，处理与所述时间区间对应的时空输入数据的子集包括：

处理所述时空输入数据的子集以识别所述时空输入数据的子集中的时间特征；以及

由所述级的所述全连接神经网络机器学习模型处理所述时间特征以生成第二向量输出。

16.根据权利要求15所述的计算机程序产品，其中，所述BBDL流水线的每个级包括固定/分类数据嵌入逻辑，并且其中，对于所述BBDL流水线的每个级，处理与所述时间区间对应的时空输入数据的子集包括：

处理所述时空输入数据的子集以识别所述时空输入数据的子集中的固定/分类特征；以及

由所述级的所述固定/分类数据嵌入逻辑处理所述固定/分类特征以生成第三向量输出。

17.根据权利要求16所述的计算机程序产品，其中，所述BBDL流水线的每个级包括组合逻辑，所述组合逻辑操作以组合第一输出向量、第二输出向量和第三输出向量来生成组合输出向量，所述组合输出向量被输入至所述级的主级机器学习计算机模型。

18.根据权利要求17所述的计算机程序产品，其中，所述BBDL流水线的每个级的每个主级机器学习计算机模型处理其对应级的对应组合输出向量连同来自所述BBDL流水线的前一级的输入以生成级输出向量，并且其中，在所述BBDL流水线的所述多个级上累积输出向量以生成最终输出向量包括，对于每个级，输出所述级输出向量作为所述BBDL流水线中的下一级的输入，并且其中所述BBDL流水线的最后级的主级机器学习计算机模型的级输出向量是所述最终输出向量。

19.根据权利要求18所述的计算机程序产品，其中，嵌入式设备信息被输入到所述BBDL流水线的第一级的主级机器学习计算机模型，并且其中，所述主级机器学习计算机模型处理与所述第一级相关联的组合输出向量连同所述嵌入式设备信息以生成所述第一级的级输出向量。

20.一种装置，包括：

至少一个处理器；以及

耦合至所述至少一个处理器的至少一个存储器，其中所述至少一个存储器包括指令，所述指令当由所述至少一个处理器执行时使所述至少一个处理器实现行为生物测定深度学习(BBDL)流水线，所述BBDL流水线包括机器学习计算机模型的多个级，所述机器学习计算机模型操作用于：

在包括多个时间区间的预定时间窗口上从一个或多个传感器接收对应于与实体相关联的输入的时空输入数据，每个时间区间具有所述时空输入数据的对应子集，其中所述时空输入数据包括既关于由所述一个或多个传感器中的至少一个监视的物理区域在空间上依赖又在时间上依赖的输入数据；

对于所述多个时间区间中的每个时间区间，通过所述多个级中的对应级的一个或多个机器学习计算机模型来处理与所述时间区间对应的所述时空输入数据的子集以生成输出向量，所述输出向量具有指示在所述时空输入数据的所述子集中表示的所述实体的时空特性的内部表示的值；

在所述BBDL流水线的所述多个级上累积输出向量以生成最终输出向量，所述最终输出向量包括指示在所述时空输入数据中表示的所述实体的所述时空特性的最终输出向量值；以及

由所述数据处理系统基于所述最终输出向量来认证所述实体。