CN115809446A - 基于触控操作认证使用者身份的方法 - Google Patents

基于触控操作认证使用者身份的方法 Download PDF

Info

Publication number
CN115809446A
CN115809446A CN202111084089.0A CN202111084089A CN115809446A CN 115809446 A CN115809446 A CN 115809446A CN 202111084089 A CN202111084089 A CN 202111084089A CN 115809446 A CN115809446 A CN 115809446A
Authority
CN
China
Prior art keywords
touch
training
processor
test
authentication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111084089.0A
Other languages
English (en)
Inventor
陈佩君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inventec Pudong Technology Corp
Inventec Corp
Original Assignee
Inventec Pudong Technology Corp
Inventec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inventec Pudong Technology Corp, Inventec Corp filed Critical Inventec Pudong Technology Corp
Priority to CN202111084089.0A priority Critical patent/CN115809446A/zh
Priority to US17/547,403 priority patent/US11861933B2/en
Publication of CN115809446A publication Critical patent/CN115809446A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种基于触控操作认证使用者身份的方法，包括训练阶段及认证阶段；训练阶段包括：触控接口产生多个训练触控参数，以及处理器依据这些训练触控参数产生训练热图；认证阶段包括：触控接口产生多个测试触控参数，处理器依据这些测试触控参数产生测试热图，处理器比对测试热图及训练热图以产生误差图，以及处理器依据误差图产生认证通过信号及认证失败信号中的一个；本发明连续地且非侵入性地监视和认证当前的使用者；采用数据导向(data‑driven)，并具有适应性，可适应使用者不断变化的触控操作的模式，提高了用户身份认证的频率。

Description

基于触控操作认证使用者身份的方法
技术领域
本发明涉及使用者身份认证技术领域，特别是涉及一种基于触控操作认证使用者身份的方法。
背景技术
用户身份认证(authentication)允许运算装置(如笔记本电脑或智能型手机)对尝试使用运算装置的人的身份进行认证，而认证结果是二元的通过或失败。认证通过代表使用者的身份确实是他/她所宣称的那个人，而认证失败代表使用者的身份并非是他/她所宣称的那个人。
密码是用户身份认证的常用机制。然而，若密码被窃取，则取得密码的用户将取得帐户的控制权。即使密码未被窃取，当已认证的使用者暂时离开他/她已经使用密码登入的运算装置时，其他未经授权的使用者可以趁机存取此运算装置，这种状况被称为内部攻击(insider attack)。
当密码有被窃取的风险时，可使用生物特征认证解决此问题。生物特征认证方法将用户的生物特征与数据库中的记录进行比对，典型的生物辨识(biometrics)技术包括指纹、脸部、视网膜、虹膜、语音等。由于生物特征认证使用独特的生物特征进行认证，因此难以复制或窃取。
然而，生物特征具备高度敏感性和隐私性。生物特征认证的一个潜在问题是，生物特征认证系统可能被用于实现超出其原始意图的功能，这种状况被称为功能蠕变(function creep)。举例来说，工作场所安装的生物特征认证系统原本是用来防止一般员工进入机密场所，然而，系统管理员也可利用这个系统在未事先告知员工的情况下追踪个别员工去过的所有场所，进而侵犯员工的隐私权。
此外，以密码或生物特征认证用户身份通常都是一次性，即使需要重复认证也会间隔一定的周期，否则将对用户带来额外的困扰。换言之，现有的使用者身份认证方式并不具备连续性及非侵入性(non-intrusive)。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提出一种基于触控操作认证使用者身份的方法。此方法通过观察用户的触控操作的模式，达到连续地、非侵入地对使用者进行身份认证。若新用户的触控模式与旧用户的触控模式差异过大，则新使用者将被判定为冒名顶替者(imposter)，且其存取将被禁止。本发明提出的方法可称之为触控辨识(TouchPrint)，因为触控操作的使用动态可以像指纹一样认证使用者的身份。
为实现上述目的及其他相关目的，本发明提供一种基于触控操作认证使用者身份的方法，包括：训练阶段，包括：触控接口产生多个训练触控参数；以及处理器依据所述训练触控参数产生训练热图；以及认证阶段，包括：所述触控接口产生多个测试触控参数；所述处理器依据所述测试触控参数产生测试热图；所述处理器比对所述测试热图及所述训练热图以产生误差图；以及所述处理器依据所述误差图产生认证通过信号及认证失败信号中的一个。
本发明提供一种基于触控操作认证使用者身份的方法，包括：训练阶段，包括：触控接口产生多个训练触控参数；以及处理器依据所述训练触控参数训练神经网络模型；以及认证阶段，包括：所述触控接口产生多个测试触控参数；该处理器输入所述测试触控参数至所述神经网络模型以产生预测值；以及所述处理器计算所述预测值与一实际值的误差值以产生认证通过信号及认证失败信号中的一个。
本发明提供一种基于触控操作认证使用者身份的方法，包括：训练阶段，包括：触控接口产生多个训练触控参数；以及处理器依据所述训练触控参数产生训练热图及训练神经网络模型；以及认证阶段，包括：所述触控接口产生多个测试触控参数；所述处理器依据所述测试触控参数产生测试热图；所述处理器比对所述测试热图及所述训练热图以产生误差图；所述处理器依据所述误差图计算第一误差值；所述处理器输入所述测试触控参数至所述神经网络模型以产生预测值；以及所述处理器依据所述第一误差值及一第二误差值产生认证通过信号及认证失败信号中的一个，其中所述第二误差值关联于所述预测值及一实际值。
综上所述，本发明提出的基于触控操作认证使用者身份的方法具有下列功效：
1.连续地且非侵入性地监视和认证当前的使用者；
2.采用数据导向(data-driven)，并具有适应性，可适应使用者不断变化的触控操作的模式；以及
3.提高用户身份认证的频率，在现有的使用者身份认证机制(如密码或生物特征)未进行认证的时间进行认证。
值得注意的是，本发明提出的方法并不意味着取代现有的使用者身份认证机制，而是补充及增强现有机制的安全性，避免内部攻击的状况。换言之，在运算装置未锁定的状态也能侦测出冒名顶替者。
以上关于本揭露内容的说明及以下的实施方式说明用以示范与解释本发明的精神与原理，并且提供本发明的专利申请范围更进一步的解释。
附图说明
图1显示为本发明的基于触控操作认证使用者身份的方法于第一实施例中的流程图；
图2显示为本发明的训练阶段和认证阶段于第一实施例中的流程图；
图3显示为本发明的两个不同的使用者基于移动操作于一实施例中的位置热图；
图4显示为本发明的两个不同的使用者基于按压操作于一实施例中的位置热图；
图5显示为本发明的两个不同的使用者基于卷动操作于一实施例中的位置热图；
图6显示为本发明的同一使用者基于移动操作于一实施例中的位置热图及速度热图；
图7显示为本发明的基于触控操作认证使用者身份的方法于第二实施例中的流程图；
图8显示为本发明的训练阶段和认证阶段于第二实施例中的流程图；
图9显示为本发明的基于触控操作认证使用者身份的方法于第三实施例中的流程图；
图10显示为本发明的基于触控操作认证使用者身份的方法于第四实施例中的流程图；
图11显示为本发明的训练阶段和认证阶段于第四实施例中的流程图；
图12显示为本发明的基于触控操作认证使用者身份的方法于第五实施例中的流程图；
图13显示为本发明的训练阶段和认证阶段于第五实施例中的流程图；
图14显示为本发明的基于触控操作认证使用者身份的方法于第六实施例中的流程图；
图15显示为本发明的基于触控操作认证使用者身份的方法于第七实施例中的流程图；
图16显示为本发明的训练阶段和认证阶段于第七实施例中的流程图；
图17显示为本发明的基于触控操作认证使用者身份的方法于第八实施例中的流程图；
图18A及图18B分别显示为本发明的训练阶段和认证阶段于第八实施例中的流程图；以及
图19显示为本发明的基于触控操作认证使用者身份的方法于第九实施例中的流程图。
标号说明
S1，S1'，T1，T1'，U1，U1'：训练阶段
S2，S2'，T2，T2'，U2，U2'：认证阶段
S3，S3'，T3，T3'，U3，U3'：更新阶段
S11，S13，S21，S23，S25，S27：步骤
S11'，S12'，S13'，S21'，S22'，S23'，S25'，S27'，S31，S32'，S33'，S34：步骤
T11，T13，T21，T23，T25：步骤
T11'，T12'，T13'，T21'，T22'，T23'，T25'，T31，T32'，T33'：步骤
U11，U13，U21，U23，U24，U25，U26，U27：步骤
U11'，U12'，U13'，U21'，U22'，U23'，U24，U25'，U26，U27'：步骤
U31，U32'，U33'，U34：步骤
具体实施方式
以下在实施方式中详细叙述本发明的详细特征以及特点，其内容足以使任何熟习相关技艺者了解本发明的技术内容并据以实施，且根据本说明书所揭露的内容、申请专利范围及图式，任何熟习相关技艺者可轻易地理解本发明相关的构想及特点。以下的实施例进一步详细说明本发明的观点，但非以任何观点限制本发明的范畴。
本发明的基于触控操作认证使用者身份的方法包括九个实施例，其中第一实施例、第二实施例、第三实施例是以触控操作建立的热图(heat map)作为认证依据，第二、三实施例相较于第一实施例增加了认证依据的更新机制，但第二、三实施例中更新机制的执行顺序有所不同。第四实施例、第五、六实施例是以触控操作建立的神经网络模型作为认证依据，第五、六实施例相较于第四实施例增加了认证依据的更新机制，但第五、六实施例中更新机制的执行顺序有所不同。第七实施例、第八实施例、第九实施例是以热图及神经网络作为认证依据，第八、九实施例相较于第七实施例增加了认证依据的更新机制，但第八、九实施例中更新机制的执行顺序有所不同。
图1显示为本发明的基于触控操作认证使用者身份的方法于第一实施例中的流程图，其中：触控操作定义为用户在一特定区域中执行的任何操作，触控操作的类型可包含移动、按压(及稍后释放)、卷动中的至少一者，但本发明并不以此为限。如图1所示，基于触控操作认证使用者身份的方法包括训练阶段S1及认证阶段S2，并适用于具有触控接口及处理器的运算装置。运算装置例如笔记本电脑或智能型手机，触控接口例如实体的触控面板或触控屏幕。在一实施例中，触控接口也可以由实体装置和显示接口组成，例如：鼠标和显示鼠标光标的屏幕，动作传感器和将感测到的动作投影至平面的投影机，摄像装置和将拍摄到的动作转换为移动轨迹的应用程序，但本发明不以上述范例为限制，凡是可让使用者在指定范围内控制标志符(如光标)移动的任何软、硬件装置，都可适用于本发明。
图2显示为本发明的训练阶段(对应图1中的S1)和认证阶段(对应图1中的S2)于第一实施例中的流程图，如图2所示，训练阶段S1包括步骤S11、S13，且认证阶段S2包括步骤S21、S23、S25、S27。训练阶段S1用于收集特定用户通过触控接口产生的多笔触控操作的训练数据，并归纳出该特定用户的行为模式。认证阶段S2用于收集当前用户通过触控接口产生的多笔触控操作的测试数据，并判断这些数据对应的行为模式是否类似于训练阶段S1中产生的行为模式。
在训练阶段S1，步骤S11是触控接口产生多个训练触控参数，步骤S13是处理器依据这些训练触控参数产生训练热图，步骤S21是触控接口产生多个测试触控参数，步骤S23是处理器依据这些测试触控参数产生测试热图，步骤S25是处理器比对测试热图及训练热图以产生误差图，步骤S27是处理器依据误差图产生认证通过信号及认证失败信号中的一个。
在步骤S11、S21中，训练触控参数及测试触控参数中每一个的内容均包括：触控时间点、触控位置及操作类型。通过触控接口的驱动程序或操作系统的软件开发工具包(Software Development Kit，SDK)，处理器可存取到下方表格一举例的触控操作的日志文件(Log)。
表格一，触控操作的日志文件
Figure BDA0003261938230000051
在步骤S13、S23中，训练热图(heat map)及测试热图中每一个均包括位置热图及速度热图中的至少一个，位置热图用以反映触控位置的累计次数，且处理器产生对应于不同操作类型的多个位置热图，如图3、图4及图5所示。图3显示为本发明的两个不同的使用者基于移动操作于一实施例中的位置热图，图4显示为本发明的两个不同的使用者基于按压操作于一实施例中的位置热图，图5显示为本发明的两个不同的使用者基于卷动操作于一实施例中的位置热图。
图6显示为本发明的同一使用者基于移动操作于一实施例中的位置热图及速度热图，其中速度热图用以反映移动操作的方向及距离。在一实施例中，处理器先计算多个速度向量再产生速度热图，其中每个速度向量由连续两笔移动操作组成。在图6右方的速度热图中，横轴为移动操作的方向，单位例如为弪度(radian)；纵轴为移动操作的距离，单位例如为像素。例如：移动操作花费3毫秒从坐标(0，0)移动到坐标(6,12)，则此移动操作的速度为每毫秒2√5个像素；且此移动操作在X轴的分量为2个像素，在Y轴的分量为4个像素，此移动操作的角度约为1.10714872弪度(rad)。
步骤S25主要是应用模板匹配(template matching)的技术。具体来说，处理器比对训练热图及测试热图以产生误差图，其中用于比对的训练热图及测试热图的类型必须相同，例如二者皆为位置热图或二者皆为速度热图。在步骤S25的第一种范例中，比对的精确程度例如是像素尺度及区块尺度中的至少一个。像素尺度的比对例如：计算训练热图及测试热图二者在相同位置的像素的灰阶值的差值；而区块尺度的比对例如：计算训练热图及测试热图二者的结构相似性指针(structural similarity index measure，SSIM)。在步骤S25的第二种范例中，处理器先将训练热图及测试热图各自切割成多个特征空间(eigenspaces)，针对每个特征空间执行旋转操作，然后采用第一种范例的方式，随机选择训练热图中的一特征空间与测试热图中的一特征空间进行比对，第二种范例可以找到同一个使用者在不同触控位置的相同触控模式。
在基于图2的一个延伸实施例中，处理器在训练阶段S1及认证阶段S2中还收集运算装置当前执行的作业程序(process)，例如操作系统中的前景窗口对应的应用程序(如Microsoft Word、Google Chrome等)，并依据作业程序的不同分别产生对应的训练热图及测试热图。因此，处理器在比对训练热图及测试热图时，除了二者的类型必须相同，二者对应的作业程序也必须相同。
值得注意的是，依据多种触控类型或多种作业程序，在步骤S13中处理器可能产生多个训练热图；在步骤23中，处理器产生对应于多个训练热图的多个测试热图；因此在步骤S25中，处理器产生多个误差图，本发明并不限制误差图的数量上限。
在步骤S27中，处理器依据一个误差图可计算一或多个误差值，然后处理器比对每一误差值与其对应的阈值的大小。若超过指定数量的误差值大于阈值，则处理器产生认证失败信号；反之，若超过指定数量的误差值不大于阈值，则处理器产生认证通过信号。
图7显示为本发明的基于触控操作认证使用者身份的方法于第二实施例中的流程图，相较于第一实施例，第二实施例主要增加了更新阶段S3'。图8显示为本发明的训练阶段和认证阶段于第二实施例中的流程图，由图8可知，第二实施例的训练阶段S1'比第一实施例的训练阶段S1增加了步骤S12'，第二实施例的认证阶段S2'比第一实施例的认证阶段S2增加了步骤S22'。以下只说明第二实施例新增的部分，至于第二实施例与第一实施例相同的步骤则不重复叙述。
步骤S12'为处理器判断这些训练触控参数的收集量大于第一阈值，步骤S22'为处理器判断这些测试触控参数的收集量大于测试阈值。收集量可以是时间间隔(例如72小时内收集到的触控参数)及参数数量(例如十万笔触控参数)中的至少一个。在步骤S11'及步骤S21'开始收集触控参数后，便需要满足步骤S12'及步骤S22'的判断机制才可分别进入步骤S13'及步骤S23'。
请参考图7及图8，在第二实施例中，更新阶段S3'位于训练阶段S1'及认证阶段S2'之间。步骤S31'为触控接口产生多个新触控参数，步骤S32'为处理器判断这些新触控参数的收集量大于第二阈值，步骤S33'为处理器依据这些新触控参数产生新训练热图，且步骤S34'为处理器依据新训练热图更新训练热图。基本上，更新阶段S3'中的步骤S31'～S33'与训练阶段S1'的步骤S11'～S13'相同。另外，在第二实施例中，步骤S12'的第一阈值、步骤S32'的第二阈值、步骤S22'的测试阈值三者的数值大小并未特别限制。
在步骤S34'中，处理器计算新训练热图及训练热图之间的差异量，当差异量小于更新阈值时，处理器依据在步骤S11'收集的训练参数及在步骤S31'收集的新训练参数产生一个新训练热图(相异于步骤S1'的训练热图)。当差异量不小于更新阈值时，处理器依据在步骤S33'产生的新训练热图取代原本在步骤S13'产生的的训练热图。
整体而言，由于用户的触控模式可能随着时间或当前作业程序的不同而改变，因此，第二实施例先收集一组触控参数以初始化一个参考用的训练热图，然后再收集另一组触控参数以更新原本的训练热图。
图9显示为本发明的基于触控操作认证使用者身份的方法于第三实施例中的流程图，第三实施例的训练阶段S1'及认证阶段S2'与第二实施例基本上相同。换言之，第三实施例相当于在第一实施例中增加步骤S12'、步骤S22'，并在认证阶段S2'之后增加更新阶段S3'。换言之，第三实施例是以第二实施例为基础，将更新阶段S3'的执行顺序移动到认证阶段S2'之后。
第三实施例的应用方式如下：一个使用者在训练阶段S1'产生其专属的训练热图，同一个使用者可继续在认证阶段S2'通过测试热图验证训练热图判断的准确率，再将此准确率反馈到更新阶段S3'中，用以修正步骤S32'中的第二阈值。举例来说，若在认证阶段S2'中，步骤S27'的正确率小于特定阈值，则处理器将于步骤S32'中增加第二阈值去收集更多的新触控参数，以便提高下一次执行认证阶段S2'时的正确率。
在第二实施例及第三实施例中，更新阶段S3'也可采用定期执行的方式更新触控参数以反映用户触控模式随时间的变化，其中更新方式如下方式一：
TP＝TPnew×w1+TPcurrent×w2
其中，TP为更新后的触控参数，TPnew为步骤S31'所述的新触控参数，TPcurrent为步骤S11'所述的触控参数，w1及w2是权重。
图10显示为本发明的基于触控操作认证使用者身份的方法于第四实施例中的流程图，图11显示为本发明的训练阶段和认证阶段于第四实施例中的流程图，其中步骤T11为触控接口产生多个训练触控参数，步骤T13为处理器依据这些训练触控参数训练神经网络模型，步骤T21为触控接口产生多个测试触控参数，步骤T23为处理器输入这些测试触控参数至神经网络模型以产生预测值，步骤T25为处理器计算预测值及实际值的误差值以产生认证通过信号及认证失败信号中的一个。
第四实施例与第一实施例主要的差异是训练阶段T1中的步骤T13及认证阶段T2中的步骤T23、T25，故以下只说眀这些差异步骤T13、T23、T25的细节，至于第四实施例与第一实施例相同的步骤则不重复叙述。
在步骤T13中，处理器将多个训练触控参数转换为时间序列(time series)，然后将时间序列作为神经网络模型的输入层进行训练，并得到一个用于预测后续时间序列的预测模型。神经网络模型例如是长短期记忆(Long Short-Term Memory，LSTM)模型。另外，可按照不同触控类型的触控参数训练出多个预测模型。
时间序列的产生方式可包括但不限于以下列举的三种方式：
1.时间序列由每个移动操作的时间和位置组成。
2.时间序列由起始时间(或终止时间)及速度向量组成，其中速度向量是处理器以固定时间间隔在连续的多个移动操作中取出两个计算而得。因为速度向量是二维向量，此种时间序列为多变量统计(multivariate)时间序列。
3.时间序列由每个训练热图的一或多个质心(centroid)及每个训练热图对应的时间点组成。例如，将多个训练触控参数依照时间顺序分割为多组，并针对每一组训练触控参数产生一个训练热图，然后计算出每一个训练热图的质心，计算方式例如采用K平均算法(K-means)。
在步骤T23中，处理器可输入一组测试触控信号至步骤T13产生的预测模型以得到一组预测值，这组预测值可包括一或多个测试触控信号。
步骤T25的第一种范例采用“H Nguyen,Kim Phuc Tran,S Thomassey,MHamad.Forecasting and Anomaly Detection approaches using LSTM and LSTMAutoencoder techniques with the applications in Supply ChainManagement.International Journal of Information Management,Elsevier,2020.”所介绍的时间序列的异常侦测(Anomaly detection)机制。
异常侦测机制的说明如下：通过LSTM模型可以预测下一次的触控参数，如位置。如果实际位置与预测位置相距太远，则此实际位置被认为是异常。通过使用自动编码器(auto-encoder)，例如LSTM编码器或图像自动编码器，可学习到作为认证标准的模板(norm)，自动编码器相当于特征提取器，无论自动编码器的输入是一般图像、热图、时间序列或多变量统计的时间序列/热图。以位置热图的范例来说，模板代表触摸板的常用触控区域，并以一个低维度或一个嵌入式空间(embedded space)表示。在认证阶段T2，测试热图被输入至自动编码器并进行重建。一旦测试热图和重建后的测试热图的差异过大，此测试热图被认为是异常。
步骤T25的第二种范例如下：处理器取得时间顺序在步骤T23所述的该组测试触控信号之后的另一组测试触控信号，将其设定为一组实际值，然后计算该组实际值中的每一个与对应的预测值之间的误差值。处理器比对每一误差值与其对应的阈值的大小。若超过指定数量的误差值大于阈值，则处理器产生认证失败信号；反之，若超过指定数量的误差值不大于阈值，则处理器产生认证通过信号。
图12显示为本发明的基于触控操作认证使用者身份的方法于第五实施例中的流程图，相较于第四实施例，第五实施例主要增加了更新阶段T3'。图13显示为本发明的训练阶段和认证阶段于第五实施例中的流程图。由图13可知，第五实施例的训练阶段T1'比第四实施例的训练阶段T1增加了步骤T12'，第五实施例的认证阶段T2'比第四实施例的认证阶段T2增加了步骤T22'，以下不重复叙述第五实施例与第四实施例中相同的步骤。另外，第五实施例的更新阶段T3'与第二实施的更新阶段S3'具有相近的架构，两者之间的差异处为：步骤T33'是处理器依据新触控参数更新神经网络模型，反观步骤S33'则是处理器依据新触控参数更新训练热图。综上所述，这两个实施例依据新触控参数更新不同的认证参考标准。
图14显示为本发明的基于触控操作认证使用者身份的方法于第六实施例中的流程图，第六实施例的训练阶段T1'及认证阶段T2'与第五实施例基本上相同。换言之，第六实施例是以第五实施例为基础，将更新阶段T3'的执行顺序移动到认证阶段T2'之后。
图15显示为本发明的基于触控操作认证使用者身份的方法于第七实施例中的流程图，包括训练阶段U1以及认证阶段U2。图16显示为本发明的训练阶段和认证阶段于第七实施例中的流程图。训练阶段U1包括步骤U11、U13，认证阶段U2包括步骤U21、U23、U24、U25、U26、U27。
步骤U11为触控接口产生多个训练触控参数，步骤U13为处理器依据这些训练触控参数产生训练热图及训练神经网络模型，步骤U21为触控接口产生多个测试触控参数，步骤U23为处理器依据这些测试触控参数产生测试热图，步骤U24为处理器比对测试热图及训练热图以产生误差图，步骤U25为处理器依据误差图计算第一误差值，步骤U26为处理器输入这些测试触控参数至神经网络模型以产生预测值，步骤U27为处理器依据第一误差值及第二误差值产生认证通过信号及认证失败信号中的一个。由上述内容可知，第七实施例是将第一实施例及第四实施例进行整合，同时采用训练热图以及神经网络模型进行用户的认证。
图17显示为本发明的基于触控操作认证使用者身份的方法于第八实施例中的流程图，相较于第七实施例，第八实施例主要增加了更新阶段U3'。图18A及图18B分别显示为本发明的训练阶段和认证阶段于第八实施例中的流程图，由图18A及图18B可知，第八实施例的训练阶段U1'比第七实施例的训练阶段U1增加了步骤U12'，第八实施例的认证阶段U2'比第七实施例的认证阶段U2增加了步骤U22'。以下不重复叙述第八实施例与第七实施例中相同的步骤。此外，第八实施例中相当于整合第二实施例及第五实施例，换言之，步骤U23'、U24'相当于步骤S23'、S25'，步骤U26'相当于T26'。基于整合需求，第八实施例新增步骤U25'及步骤U27'。在步骤U25'中，处理器依据误差图计算第一误差值。在步骤U27'中，处理器依据第一误差值及第二误差值产生认证通过信号及认证失败信号中的一个，其中第二误差值关联于步骤S26'中得到的预测值以及从步骤U23'获取的实际值。关于预测值、实际值及第二误差值的细节可参考步骤T27中关于误差值计算的部分。处理器例如计算第一误差值及第二误差值的加权平均值，并判断此加权平均值是否大于阈值，据以决定输出认证通过信号或认证失败信号。
另外，第八实施例的更新阶段U3'相当于整合第二实施例的S3'及第五实施例的T3'。换言之，在步骤U33’中，处理器不仅依据新触控参数产生新训练热图，还包括依据新触控参数更新神经网络模型。而在步骤U34'中，处理器依据新训练热图更新训练热图。综上所述，处理器同时采用两种不同的认证参考标准。
图19显示为发明的基于触控操作认证使用者身份的方法于第九实施例中的流程图，第九实施例的训练阶段U1'及认证阶段U2'与第八实施例基本上相同。换言之，第九实施例是以第八实施例为基础，将更新阶段U3'的执行顺序移动到认证阶段U2'之后。
在第七实施例、第八实施例以及第九实施例中，本发明不仅使用模板匹配的技术进行训练热图与测试热图的比对之外，更加入人工智能(Artificial Intelligence，AI)的技术为使用者独特的触控辨识提供额外的比对标准。
综上所述，本发明提出的基于触控操作认证使用者身份的方法具有下列功效：
1.连续地且非侵入性地监视和认证当前的使用者；
2.采用数据导向(data-driven)，并具有适应性，可适应使用者不断变化的触控操作的模式；以及
3.提高用户身份认证的频率，在现有的使用者身份认证机制(如密码或生物特征)未进行认证的时间进行认证。
值得注意的是，本发明提出的方法并不意味着取代现有的使用者身份认证机制，而是补充及增强现有机制的安全性，避免内部攻击的状况。换言之，在运算装置未锁定的状态也能侦测出冒名顶替者。
虽然本发明以前述的实施例揭露如上，然其并非用以限定本发明。在不脱离本发明的精神和范围内，所做的更动与润饰，均属本发明的专利保护范围。关于本发明所界定的保护范围请参考本发明权利要求所界定的范围。

Claims (10)

1.一种基于触控操作认证使用者身份的方法，特征在于，包括：
训练阶段，包括：
触控接口产生多个训练触控参数；以及
处理器依据所述训练触控参数产生训练热图；以及
认证阶段，包括：
所述触控接口产生多个测试触控参数；
所述处理器依据所述测试触控参数产生测试热图；
所述处理器比对所述测试热图及所述训练热图以产生误差图；以及
所述处理器依据所述误差图产生认证通过信号及认证失败信号中的一个。
2.根据权利要求1所述的基于触控操作认证使用者身份的方法，其特征在于，所述训练触控参数及所述测试触控参数中的内容均包括：触控时间点、触控位置及操作类型，所述操作类型包括：移动、按压及卷动中的至少一个。
3.根据权利要求1所述的基于触控操作认证使用者身份的方法，其特征在于，所述训练热图及测试热图中均包括位置热图及速度热图中的至少一个，所述位置热图用以反映触控位置的累计次数，所述速度热图用以反映移动操作的方向及距离。
4.根据权利要求1所述的基于触控操作认证使用者身份的方法，其特征在于，
所述训练阶段还包括：在所述处理器产生所述训练热图之前，所述处理器判断所述训练触控参数的收集量大于第一阈值；
所述认证阶段还包括：在所述处理器产生所述测试热图之前，所述处理器判断所述测试触控参数的收集量大于测试阈值；以及
所述方法还包括更新阶段，所述更新阶段包括：
所述触控接口产生多个新触控参数；
所述处理器判断所述新触控参数的收集量大于第二阈值；
所述处理器依据所述新触控参数产生新训练热图；以及
所述处理器依据所述新训练热图更新所述训练热图。
5.一种基于触控操作认证使用者身份的方法，包括：
训练阶段，包括：
触控接口产生多个训练触控参数；以及
处理器依据所述训练触控参数训练神经网络模型；以及
认证阶段，包括：
所述触控接口产生多个测试触控参数；
所述处理器输入所述测试触控参数至所述神经网络模型以产生预测值；以及
所述处理器计算所述预测值与一实际值的误差值以产生认证通过信号及认证失败信号中的一个。
6.根据权利要求5所述的基于触控操作认证使用者身份的方法，其特征在于，所述训练触控参数及所述测试触控参数中的内容均包括：触控时间点、触控位置及操作类型，所述操作类型包括：移动、按压及卷动中的至少一个。
7.根据权利要求5所述的基于触控操作认证使用者身份的方法，其特征在于，
所述训练阶段还包括：在所述处理器产生所述神经网络模型之前，所述处理器判断所述训练触控参数的收集量大于第一阈值；
所述认证阶段还包括：在所述处理器输入所述测试触控参数至所述神经网络模型之前，所述处理器判断所述测试触控参数的收集量大于测试阈值；以及
所述方法还包括更新阶段，所述更新阶段包括：
所述触控接口产生多个新触控参数；
所述处理器判断所述新触控参数的收集量大于第二阈值；以及
所述处理器依据所述新触控参数更新所述神经网络模型。
8.一种基于触控操作认证使用者身份的方法，其特征在于，包括：
训练阶段，包括：
触控接口产生多个训练触控参数；以及
处理器依据所述训练触控参数产生训练热图及训练神经网络模型；以及
认证阶段，包括：
所述触控接口产生多个测试触控参数；
所述处理器依据所述测试触控参数产生测试热图；
所述处理器比对所述测试热图及所述训练热图以产生误差图；
所述处理器依据所述误差图计算第一误差值；
所述处理器输入所述测试触控参数至所述神经网络模型以产生预测值；以及
所述处理器依据所述第一误差值及一第二误差值产生认证通过信号及认证失败信号中的一个，其中所述第二误差值关联于所述预测值及一实际值。
9.根据权利要求8所述的基于触控操作认证使用者身份的方法，其特征在于，所述训练热图及测试热图中均包括位置热图及速度热图中的至少一个，所述位置热图用以反映触控位置的累计次数，所述速度热图用以反映移动操作的方向及距离。
10.根据权利要求8所述的基于触控操作认证使用者身份的方法，其特征在于，
所述训练阶段还包括：在所述处理器产生所述训练热图及训练所述神经网络模型之前，所述处理器判断所述些训练触控参数的收集量大于第一阈值；
所述认证阶段还包括：在所述处理器产生所述测试热图及训练所述神经网络模型之前，所述处理器判断所述测试触控参数的收集量大于测试阈值；以及
所述方法还包括更新阶段，所述更新阶段包括：
所述触控接口产生多个新触控参数；
所述处理器判断所述新触控参数的收集量大于第二阈值；
所述处理器依据所述新触控参数产生新训练热图及更新所述神经网络模型；以及
所述处理器依据所述新训练热图更新所述训练热图。
CN202111084089.0A 2021-09-14 2021-09-14 基于触控操作认证使用者身份的方法 Pending CN115809446A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111084089.0A CN115809446A (zh) 2021-09-14 2021-09-14 基于触控操作认证使用者身份的方法
US17/547,403 US11861933B2 (en) 2021-09-14 2021-12-10 Touch-based method for user authentication

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111084089.0A CN115809446A (zh) 2021-09-14 2021-09-14 基于触控操作认证使用者身份的方法

Publications (1)

Publication Number Publication Date
CN115809446A true CN115809446A (zh) 2023-03-17

Family

ID=85478993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111084089.0A Pending CN115809446A (zh) 2021-09-14 2021-09-14 基于触控操作认证使用者身份的方法

Country Status (2)

Country Link
US (1) US11861933B2 (zh)
CN (1) CN115809446A (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003050799A1 (en) * 2001-12-12 2003-06-19 International Business Machines Corporation Method and system for non-intrusive speaker verification using behavior models
US9147059B2 (en) * 2012-02-22 2015-09-29 Polytechnic Institute Of New York University Biometric-rich gestures for authentication on multi-touch devices
WO2014159563A1 (en) * 2013-03-13 2014-10-02 University Of Pittsburgh Of The Commonwealth System Of Higher Education Usage modeling
US20160239649A1 (en) * 2015-02-13 2016-08-18 Qualcomm Incorporated Continuous authentication
US20180004924A1 (en) * 2016-06-30 2018-01-04 Synaptics Incorporated Systems and methods for detecting biometric template aging
US11232178B2 (en) * 2017-12-22 2022-01-25 Synaptics Incorporated Systems and methods for behavioral authentication using a touch sensor device
US20200275271A1 (en) * 2019-02-21 2020-08-27 Alibaba Group Holding Limited Authentication of a user based on analyzing touch interactions with a device
KR20210095282A (ko) * 2020-01-22 2021-08-02 삼성전자주식회사 사용자 인증 방법 및 이 방법을 실행하는 디바이스

Also Published As

Publication number Publication date
US20230078398A1 (en) 2023-03-16
US11861933B2 (en) 2024-01-02

Similar Documents

Publication Publication Date Title
Abuhamad et al. AUToSen: Deep-learning-based implicit continuous authentication using smartphone sensors
US10588017B2 (en) System and method for implicit authentication
Draffin et al. Keysens: Passive user authentication through micro-behavior modeling of soft keyboard interaction
Gascon et al. Continuous authentication on mobile devices by analysis of typing motion behavior
US9788203B2 (en) System and method for implicit authentication
Gamboa et al. A behavioral biometric system based on human-computer interaction
Impedovo et al. Automatic signature verification in the mobile cloud scenario: survey and way ahead
Zhao et al. Mobile user authentication using statistical touch dynamics images
Dahia et al. Continuous authentication using biometrics: An advanced review
US20150302252A1 (en) Authentication method using multi-factor eye gaze
CN104809377A (zh) 基于网页输入行为特征的网络用户身份监控方法
Hashia et al. On using mouse movements as a biometric
Shi et al. Fine-grained and context-aware behavioral biometrics for pattern lock on smartphones
CN112861082B (zh) 用于被动认证的集成系统和方法
JP6028453B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Fenu et al. Controlling user access to cloud-connected mobile applications by means of biometrics
Cao et al. Evidence in hand: Passive vibration response-based continuous user authentication
Wu et al. Toward robust detection of puppet attacks via characterizing fingertip-touch behaviors
Gupta et al. Artificial intelligence-based behavioral biometrics
Li et al. Wrist in motion: A seamless context-aware continuous authentication framework using your clickings and typings
Li et al. Hand in motion: enhanced authentication through wrist and mouse movement
CN115809446A (zh) 基于触控操作认证使用者身份的方法
TWI783689B (zh) 基於觸控操作認證使用者身分的方法
Hasan et al. Multifactor pattern implicit authentication
Lamb et al. Swipe Dynamics as a means of authentication: Results from a Bayesian unsupervised approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination