CN110427737A - 操作行为的人机识别方法、装置及计算机设备 - Google Patents

操作行为的人机识别方法、装置及计算机设备 Download PDF

Info

Publication number
CN110427737A
CN110427737A CN201910538454.7A CN201910538454A CN110427737A CN 110427737 A CN110427737 A CN 110427737A CN 201910538454 A CN201910538454 A CN 201910538454A CN 110427737 A CN110427737 A CN 110427737A
Authority
CN
China
Prior art keywords
man
machine
operation behavior
target point
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910538454.7A
Other languages
English (en)
Inventor
李敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910538454.7A priority Critical patent/CN110427737A/zh
Priority to PCT/CN2019/103648 priority patent/WO2020252932A1/zh
Publication of CN110427737A publication Critical patent/CN110427737A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/316User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2133Verifying human interaction, e.g., Captcha

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及活体检测技术的技术领域,本申请中操作行为的人机识别方法,包括:获取用户的操作行为轨迹的空间特征和运动方向特征;根据空间特征和运动方向特征及操作行为轨迹上采集的目标点,提取对应运动特征信息;其中,运动特征信息包括对应目标点的速度变化值、角度变化值、距离变化值或加速度变化值至少一种;将运动特征信息输入预先训练的人机识别模型;获取所述人机识别模型输出的操作行为轨迹为人为操作或机器模拟的识别结果。本申请还提供一种操作行为的人机识别装置、计算机和存储介质。操作行为的人机识别方法能判断操作相关设备是否属于真实用户,即操作对象真实性,有效避免计算机设备所受攻击,保证系统安全性。

Description

操作行为的人机识别方法、装置及计算机设备
技术领域
本发明涉及活体检测技术领域,具体而言,本发明涉及一种操作行为的人机识别方法、装置及计算机设备。
背景技术
在当前的计算机设备、手机设备等设备在交互时需要进行人机验证,以验证当前的用户是真实的用户。
现有的技术方案中采用验证码、密码验证等验证技术,通过用户输入的数据,验证用户的真实性,避免系统被攻击或者发生误认。
现有技术中,所采用的验证技术很容易被计算机通过文字识别、多次验证密码等破解方式破解,识别的结果不准确,通过影响对象真实性从而引发安全性问题。
发明内容
本发明的目的旨在至少能解决上述的技术缺陷之一,特别是验证技术很容易被计算机通过文字识别、多次验证密码等破解方式破解,识别的结果不准确,从而引发安全性问题的技术缺陷。
本申请提供一种操作行为的人机识别方法,包括如下步骤:
获取用户的操作行为轨迹的空间特征和运动方向特征;其中,所述空间特征表征当前目标点在空间坐标系的特征,所述运动方向特征表征操作行为轨迹当前目标点的运动趋势特征;
根据所述空间特征和运动方向特征及所述操作行为轨迹上采集的目标点,提取对应的运动特征信息;其中,运动特征信息包括对应各个目标点的速度变化值、角度变化值、距离变化值、加速度变化值的至少一种;
将所述运动特征信息输入预先训练的人机识别模型;其中,所述人机识别模型用于识别操作对象的真实性;
获取所述人机识别模型输出的所述操作行为轨迹为人为操作或机器模拟的识别结果;其中,所述人机识别模型用于识别操作对象的真实性。
在一种实施例中,所述获取用户的操作行为轨迹的空间特征和运动方向特征的步骤之前,还包括:
将用户操作所形成的操作行为轨迹的最后一点作为第一目标点;获取在所述第一目标点之前构成用户操作行为轨迹的若干第二目标点;
根据所述第二目标点对应的用户操作次序,对第一目标点和第二目标点进行解析得到运动方向特征;
根据所述第一目标点和第二目标点之间的空间关系,对第一目标点和第二目标点进行分析得到空间特征。
在一种实施例中,所述根据所述第二目标点对应的用户操作次序,对第一目标点和第二目标点进行解析得到运动方向特征的步骤,包括:
根据所述第二目标点对应的用户操作时间,对若干第二目标点进行时间排序;
根据第二目标点的时间排序得到上一个第二目标点至下一个第二目标点或第二目标点至第一目标点所构成的运动轨迹;
对所述运动轨迹进行解析得到运动方向特征。
在一种实施例中,所述获取用户的操作行为轨迹的空间特征和运动方向特征的步骤之前,还包括:
采集用户通过操作外部输入设备所输入目标点对应的位置信息;
根据外部输入设备输入目标点的时间和位置信息生成操作行为轨迹。
在一种实施例中,获取所述人机识别模型输出的所述操作行为轨迹为人为操作或机器模拟的识别结果的步骤,包括:
获取在展示页面中向用户展示的验证信息和验证信息相应的标准轨迹信息以及匹配阈值;
当标准轨迹信息和用户的操作行为轨迹的匹配率大于匹配阈值时,将所述运动特征信息输入预先训练的人机识别模型;其中,所述人机识别模型用于识别操作对象的真实性;
获取所述人机识别模型输出的所述操作行为轨迹为人为操作或机器模拟的识别结果。
在一种实施例中,所述获取在展示页面中向用户展示的验证信息和验证信息相应的标准轨迹信息以及匹配阈值的步骤,包括:
根据所述验证信息的特征识别点的位置及特征识别点的先后顺序在验证数据库中查找标准轨迹信息和对应验证信息的匹配阈值;
获取用户的移动和/或点选的操作生成操作行为轨迹;
根据标准轨迹信息和操作行为轨迹之间特征点和顺序的匹配生成匹配率。
在一种实施例中,所述将所述运动特征信息输入预先训练的人机识别模型的步骤之前,还包括:
从历史数据库中获取历史用户的测试轨迹信息组成训练集;
在所述训练集中写入若干模拟轨迹;其中,所述模拟轨迹信息通过输入若干测试点,基于所述测试点的位置模拟测试轨迹;
根据训练集采用决策树、随机森林或神经卷积网络构建人机验证模型。
本申请实施例中还提供一种操作行为的人机识别装置,包括:
获取单元,用于获取用户的操作行为轨迹的空间特征和运动方向特征;其中,所述空间特征表征当前目标点在空间坐标系的特征,所述运动方向特征表征操作行为轨迹当前目标点的运动趋势特征;
提取单元,用于根据所述空间特征和运动方向特征及所述操作行为轨迹上采集的目标点,提取对应的运动特征信息;其中,运动特征信息包括对应各个操作点的速度变化值、角度变化值、距离变化值、加速度变化值的至少一种;
输入单元,用于将所述运动特征信息输入预先训练的人机识别模型;其中,所述人机识别模型用于识别操作对象的真实性;
识别单元,用于获取所述人机识别模型输出的所述操作行为轨迹为人为操作或机器模拟的识别结果。
本申请实施例中还提供一种计算机设备,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:执行根据上述任一项实施例的操作行为的人机识别方法。
本申请实施例中还提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行根据上述任一项实施例的操作行为的人机识别方法的步骤。
本申请实施例中提供一种操作行为的人机识别方法,包括如下步骤:获取用户的操作行为轨迹的空间特征和运动方向特征;其中,所述空间特征表征当前目标点在空间坐标系的特征,所述运动方向特征表征操作行为轨迹当前目标点的运动趋势特征;根据所述空间特征和运动方向特征及所述操作行为轨迹上采集的目标点,提取对应的运动特征信息;其中,运动特征信息包括对应各个目标点的速度变化值、角度变化值、距离变化值、加速度变化值的至少一种;将所述运动特征信息输入预先训练的人机识别模型输出所述操作行为轨迹为人为操作或机器模拟的识别结果;其中,所述人机识别模型用于识别操作对象的真实性。通过操作行为的人机识别方法,通过分析操作行为轨迹的运动方向特征和空间特征得到的运动特征信息并将运动特征信息输入人机验证模型输出识别结果,能够判断当前操作相关设备的是真实的用户还是模拟的用户,即操作对象的真实性,能够有效避免人机识别系统等计算机设备所受到的攻击,保证系统的安全性。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为一个实施例的操作行为的人机识别方法的应用场景示意图;
图2为一个实施例的操作行为的人机识别方法的方法流程图;
图3为实施例中提取运动方向特征和空间特征的方法流程图;
图4为实施例中提取运动方向特征和空间特征的效果流程图;
图5为本实施例提取运动方向特征的效果示意图;
图6为实施例的提取空间特征的效果示意图;
图7为本实施例提取运动方向特征的方法流程图;
图8为本实施例通过外部输入设备得到操作行为轨迹的方法流程图;
图9为实施例中验证操作行为轨迹和验证信息匹配率的方法流程图;
图10为一个实施例的匹配率的生成方法的方法流程图;
图11为一个实施例的构建人机验证模型的方法流程图;
图12示出的一个实施例的人机识别装置的装置结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
为了克服验证技术容易被破解方式破解,识别的结果不准确,从而引发安全性问题的技术缺陷,本申请提供一种操作行为的人机识别方法的技术方案,可以克服现有技术的技术缺陷。请参考图1,本实施例中还示例性地提供一种操作行为的人机识别方法的应用场景,其中用户与计算机11之间发生交互,用户将相关指令传送至计算机11中,计算机11通过网络连接将相关信息转送至人机识别系统。人机识别系统还会通过网络连接从数据库12中获取相关数据。
请参考图2,本实施例中提供一种操作行为的人机识别方法,包括如下步骤:
步骤S21:获取用户的操作行为轨迹的空间特征和运动方向特征。
其中,所述空间特征表征当前目标点在空间坐标系的特征,所述运动方向特征表征操作行为轨迹当前目标点的运动趋势特征。
步骤S22:根据所述空间特征和运动方向特征及所述操作行为轨迹上采集的目标点,提取对应的运动特征信息。
其中,运动特征信息包括对应各个目标点的速度变化值、角度变化值、距离变化值、加速度变化值的至少一种,前述的速度变化值、角度变化值、距离变化值或加速度变化值可以进行多维度的组合,提升人机识别的准确率,采用的运动特征种类越多,准确率也会越高,同时对运算能力的要求也会越大。
步骤S23:将所述运动特征信息输入预先训练的人机识别模型。
其中,所述人机识别模型用于识别操作对象的真实性。
步骤S24:获取所述人机识别模型输出的所述操作行为轨迹为人为操作或机器模拟的识别结果。
在上述过程中,用户可以通过鼠标、键盘、触控屏等外部输入设备向计算机11输入相关的指令,形成操作行为轨迹。人机识别系统通过网络连接获取计算机11采集对应用户的操作行为轨迹。人机识别系统进一步分析操作行为轨迹,提取得到操作行为轨迹的空间特征和运动方向特征。
人机识别系统通过得到的操作行为轨迹,分析其上由计算机11采集得到的目标点。人机识别系统可以通过操作行为轨迹中的特征点得到计算机11采集的目标点,也可以通过分析操作行为轨迹的轨迹特征得到计算机11原本采集的目标点。
人机识别系统根据得到的目标点和上述空间特征以及运动方向特征,进行分析和提取,得到对应的运动特征信息。前述的运动特征信息可以是目标点所构成操作行为轨迹的速度变化值、角度变化值、距离变化值或加速度变化值等二维变化特征。
其中,速度变化值可以是某一操作行为轨迹的切线速度,例如计算机11可以通过即时采集用户在某一时刻的鼠标操作速度,并记录在相关信息中,通过网络向人机识别系统传输。角度变化值可以是操作行为轨迹在某一空间位置的角度变化,例如人机识别系统可以通过分析操作行为轨迹的角度变化得到。距离变化值可以是某一操作行为轨迹在特定的时间的位移距离,例如人机识别系统可以通过预设时间间隔计算操作行为轨迹的距离变化数值。加速度变化值可以通过不同时刻的速度变化值计算得到,用于反映用户在操作时的速度变化的快慢。
当然,在硬件条件允许的情况下,可以获取触控屏幕等外部输入设备采集的压力变化值。此时,二维变化特征可以变化为三维变化特征,三维变化特征表征用户操作行为轨迹的三维变化所展示的特征。
人机识别系统将上述分析得到的运动特征信息输入预先训练的人机识别模型,人机识别模型输出对应用户的操作行为轨迹是人为操作还是机器模拟的识别结果。人机识别模型经过预先训练,用于识别操作对象的真实性,也就是用户的真实性。
在上述过程中,如果人机识别系统得到该用户的操作行为轨迹是机器模拟的识别结果时,可以将该结果通过网络连接反馈至计算机11,计算机11可以向用户提示重新进行相应操作。更进一步,当识别结果为机器模拟超过一定次数时,人机识别系统可以通过计算机11向用户提示账户被锁定或者登陆在一段时间内受到限制等提示信息。
如果人机识别系统得到该用户的操作行为轨迹是人为操作的识别结果时,将该结果通过网络连接反馈至计算机11,计算机11可以向用户提示用户通过验证或者直接展示相应内容。
本申请的实施例还提供一种通过用户的操作行为轨迹,提取得到运动方向特征和空间特征相应的技术方案。请参考图3,操作行为的人机识别方法中的步骤S21获取用户的操作行为轨迹的空间特征和运动方向特征的步骤之前,还包括:
步骤S31:将用户操作所形成的操作行为轨迹的最后一点作为第一目标点。
步骤S32:获取在所述第一目标点之前构成用户操作行为轨迹的若干第二目标点。
步骤S33:根据所述第二目标点对应的用户操作次序,对第一目标点和第二目标点进行解析得到运动方向特征。
步骤S34:根据所述第一目标点和第二目标点之间的空间关系,对第一目标点和第二目标点进行分析得到空间特征。
在上述过程中,请参考图4,图4展示了用户通过外部输入设备(例如鼠标)向计算机11发送操作指令,由鼠标在计算机11内形成的操作行为轨迹。为了便于理解,操作行为轨迹在图4的左侧显示为若干鼠标图标形成的轨迹(包括鼠标图标A至鼠标图标G),操作行为轨迹在图4的右侧显示的是鼠标图标在计算机11内部显示位置轨迹的目标点(包括目标点A至目标点G),目标点和鼠标图标的位置一一对应。图4左侧的视图可以供用户在显示器上参考,图4右侧的视图可以是计算机11内部外部输入设备输入的位置。
请结合图4的视图,在上述过程中,人机识别系统将用户操作所形成的操作行为轨迹的最后一点作为第一目标点,在图4中将鼠标图标G对应的目标点G作为第一目标点,也就是说目标点G是用户操作行为轨迹的终点。
人机识别系统获取用户操作中,第一目标点之前构成用户操作行为轨迹的若干第二目标点,在图4中,第二目标点分别是鼠标图标A至鼠标图标F各自对应目标点A至目标点F,例如鼠标图标B对应目标点B。
人机识别系统根据上述的第二目标点(目标点A至目标点F)对应的用户操作次序,对第一目标点(目标点G)和第二目标点进行解析得到运动方向特征。在本实施例中,以图4为例,用户的操作次序依次是鼠标图标A、鼠标图标B、鼠标图标C、鼠标图标D、鼠标图标E、鼠标图标F,相应得到的第二目标点的用户操作顺序依次是目标点A、目标点B、目标点C、目标点D、目标点E、目标点F。
人机识别系统根据上述第二目标点(目标点A、目标点B、目标点C、目标点D、目标点E、目标点F)对应的用户操作次序,对第一目标点(目标点G)和第二目标点进行解析得到运动方向特征。运动方向特征可以用于指示用户操作行为的方向及其变化,运动方向特征的效果图可以参考图5。
人机识别系统根据上述第一目标点和第二目标点之间的空间关系,对第一目标点和第二目标点进行分析得到空间特征。空间特征可以用于指示用户的操作行为的空间分布。在计算机11的内部,目标点可以用坐标点进行表示,目标点的空间特征可以表示为空间向量特征或者距离第一目标点的距离特征等等。空间特征的效果图可以参考图6。
为了更精确地从用户的操作行为轨迹中提取运动方向特征,本申请实施例中提供一种提取运动方向特征的技术方案,请参考图7,操作行为的人机识别方法的步骤S33根据所述第二目标点对应的用户操作次序,对第一目标点和第二目标点进行解析得到运动方向特征的步骤,包括:
步骤S71:根据所述第二目标点对应的用户操作时间,对若干第二目标点进行时间排序。
步骤S72:根据第二目标点的时间排序得到上一个第二目标点至下一个第二目标点或第二目标点至第一目标点所构成的运动轨迹。
步骤S73:对所述运动轨迹进行解析得到运动方向特征。
在上述过程中,请参考图5,图5是人机识别系统通过计算机11采集的用户操作行为轨迹(图4的左侧视图)进一步分析得到运动方向特征的效果示意图。
人机识别系统根据第二目标点(包括目标点A、目标点B、目标点C、目标点D、目标点E、目标点F)对应的用户操作时间,对若干第二目标点进行时间排序。
根据用户操作的先后次序排序后,人机识别系统根据第二目标点的时间排序得到上一个第二目标点至下一个第二目标点、第二目标点至第一目标点所构成的运动轨迹。在图5中,例如上一个第二目标点是目标点B,那么相应下一个第二目标点就是目标点C,目标点B至目标点C之间的箭头表示目标点B至目标点C的运动轨迹。在图5中,例如第二目标点是目标点F,那么相应第一目标点就是目标点G,目标点F至目标点G之间的箭头表示目标点F至目标点G的运动轨迹。在本实施例中,人机识别系统将用户的操作行为轨迹分为若干目标点并识别目标点之间的次序连接关系,得到两个目标点之间的运动轨迹。
人机识别系统对每一段运动轨迹进行解析得到运动方向特征,运动方向特征可以是以向量形式展示的,也可以是以几何形式展示的。在人机识别系统中还可以根据识别的精度,调整目标点的采集间距。在其他的实施方式中,可以按照用户操作时停顿时间的阈值控制采集目标点的位置,也可以根据采集时间间隔均匀采集目标点。人机识别系统通过设定不同的精度,可以控制采集目标点的位置,进而使得到的运动轨迹对应的运动方向特征的采集精度有所不同。
当人机识别系统获取得到用户的操作行为轨迹中带有压力特征时,可以将每个目标点的压力特征量化,最终获得三维的运动方向特征。通过计算机模拟的操作行为轨迹往往缺乏压力特征,或者压力特征的数值相对随机,而真实用户的操作行为轨迹中的压力特征数值相对稳定在一个范围内。
本实施例中还提出一种提取目标空间特征的技术方案,请参考图6,图6中展示目标点在一个坐标系中的相对位置关系。人机识别系统可以通过识别目标点的坐标得到空间特征。以计算机11通过屏幕展示用户的操作行为轨迹为例,计算机11内部可以通过建立与用户展示屏幕大小等比例的区域,并在其中随机选取一个原点,根据该原点建立坐标系,并将用户的操作行为轨迹和其上的目标点进行函数化和坐标化,得到空间特征。
在一些实施例中,当人机识别系统获取得到用户的操作行为轨迹中带有压力特征时,可以将每个目标点的压力特征量化为垂直轴的深度特征,最终联合原有的二维平面特征,生成三维立体特征。
请参考图8,本申请的实施例提供一种技术方案,用于采集用户的操作行为轨迹,所述操作行为的人机识别方法,步骤S21获取用户的操作行为轨迹的空间特征和运动方向特征的步骤之前,还包括:
步骤S81:采集用户通过操作外部输入设备所输入目标点对应的位置信息。
步骤S82:根据外部输入设备输入目标点的时间和位置信息生成操作行为轨迹。
在上述过程中,请参考图1,计算机11可以通过连接在计算机11上的鼠标、触控板采集用户操作的目标点对应的位置信息。外部输入设备还可以是手机上的触控屏幕,此时触控屏幕可以向手机的中央处理器发送用户行为轨迹和相应的空间特征、运动方向特征,手机的中央处理器再向人机识别系统发送。当然,在一些实施方式中,手机的中央处理器可以通过网络向人机识别系统发送用户的操作行为轨迹,人机识别系统可以通过手机收集得到的操作行为轨迹进一步分析得到空间特征和运动方向特征。
请参考图4的效果图,以鼠标为例,人机识别系统根据用户操作鼠标输入目标点的时间和对应目标点的位置信息,根据时间的先后顺序生成操作行为轨迹。
在直接通过外部输入设备获取用户操作行为轨迹的方案中,该方案可以通过用户以单点对接的方式,直接对单个用户的操作行为轨迹进行分析并反馈相应的结果。该方案区别于直接从第三方采集(例如是大数据提供商)或者是通过大量用户样本进行云计算,对所获取的数据包进行用户操作行为轨迹分析,更能精准地分析用户的操作行为轨迹,结果的可信性有所提升。
请参考图9,为了进一步验证用户的身份,避免利用已经通过验证的操作行为轨迹再次验证,或者针对不同页面采用相同的操作行为轨迹,提升验证的准确性和安全性,本申请还提供一种技术方案,所述操作行为的人机识别方法,步骤S24所述人机识别模型输出的所述操作行为轨迹为人为操作或机器模拟的识别结果的步骤,包括:
步骤S91:获取在展示页面中向用户展示的验证信息和验证信息相应的标准轨迹信息以及匹配阈值。
步骤S92:判断标准轨迹信息和用户的操作行为轨迹的匹配率是否大于匹配阈值。若是,执行步骤S93;若否,执行步骤S94。
步骤S93:将所述运动特征信息输入预先训练的人机识别模型。
步骤S94:获取所述人机识别模型输出的所述操作行为轨迹为人为操作或机器模拟的识别结果。
步骤S95:提示重新进行验证。
在上述步骤中,人机识别系统可以向数据库12获取验证信息。验证信息可以是验证码、拼图或者算式等验证信息。其中,以验证码为例,验证码可以指示用户以特定的点击顺序点击特定的区域。
人机识别系统可以向数据库12中获取与验证信息相应的标准轨迹信息和匹配阈值。在本实施例中,可以获取对应验证码的点击顺序和对应点击目标点所构成的标准轨迹信息,以及指示匹配阈值的最低匹配度。
例如,在验证码“请点击红色的字体”中,人机识别系统提示用户依次点击“红”、“体”和“点”,在数据库12中记录了对应验证码“请点击红色的字体”的标准轨迹信息。该标准轨迹信息包括点击的次序和相应点击的位置或点击范围所形成的标准轨迹。人机识别系统在数据库12中还可以获取验证码“请点击红色的字体”对应的匹配阈值,例如是匹配度达到80%即可以通过验证时,那么该验证码的匹配阈值为80%。
人机识别系统根据标准轨迹信息和用户的操作行为轨迹的匹配率,判断匹配率是否大于匹配阈值。其中,匹配率可以通过用户的操作行为轨迹与标准轨迹信息中标准轨迹相似度的比对得到匹配率。进一步地,人机识别系统还可以通过操作行为轨迹中点击特定位置的目标点和标准轨迹中的设定点击位置进行匹配得到匹配率。
当人机识别系统判断标准轨迹信息和用户的操作行为轨迹的匹配率大于匹配阈值时,那么人机识别系统将该用户行为轨迹对应的运动特征信息,输入预先训练的人机识别模型。人机识别系统获取人机识别模型输出的该操作行为轨迹为人为操作或机器模拟的识别结果。
当人机识别系统判断标准轨迹信息和用户的操作行为轨迹的匹配率小于匹配阈值时,人机识别系统可以向计算机11反馈,计算机11可以通过显示器等显示设备提示用户重新进行验证码等验证方式的验证。除此之外,计算机11还可以通过震动、屏幕亮度变化或者光闪烁等可以感知的方式提示用户重新验证。此时,人机识别系统可以重新从数据库12中获取新的验证码或者拼图、算式,提示用户重新进行验证。
在上述过程中,采用验证码等验证方式前置验证,确保用户输入的操作行为轨迹适应对应页面或对应时刻,避免利用通过验证的操作行为轨迹攻击人机识别系统,确保人机验证的安全性。
请参考图10,本申请实施例中还提供一种在数据库中查找验证信息对应的标准轨迹信息以及根据标准轨迹信息和操作行为轨迹得到匹配率的技术方案。操作行为的人机识别方法中,步骤S91获取在展示页面中向用户展示的验证信息和验证信息相应的标准轨迹信息以及匹配阈值的步骤,包括:
步骤S101:根据所述验证信息的特征识别点的位置及特征识别点的先后顺序在验证数据库中查找标准轨迹信息和对应验证信息的匹配阈值。
步骤S102:获取用户的移动和/或点选的操作生成操作行为轨迹。
步骤S103:根据标准轨迹信息和操作行为轨迹之间特征点和顺序的匹配生成匹配率。
在上述过程中,人机识别系统解析上述验证信息(仍以验证码为例)的特征识别点的位置和特征识别点的先后顺序。例如,人机识别系统解析上述验证码“请点击红色的字体”,得到“红”、“体”和“点”特征识别点在向用户展示的验证码图片中的位置及其点击顺序。人机识别系统根据解析得到的验证码中特征识别点的位置及其点击顺序,在图1的数据库12中查找得到对应验证信息的标准轨迹信息和匹配阈值。
人机识别系统可以通过计算机11接收外部输入设备的信号,得到用户的移动或点选的操作,在人机识别系统中生成操作行为轨迹。请继续参考图4,图4左侧视图可以理解为计算机11通过外部输入设备采集的鼠标轨迹,人机识别系统通过计算机11获取得到鼠标轨迹,经过处理后可以得到右侧视图的操作行为轨迹。
在上述过程中,人机识别系统可以根据从数据库12中查找的到的标准轨迹信息和计算机11采集得到操作行为轨迹,对前述两者进行轨迹上特征点和顺序的匹配,进一步生成匹配率。轨迹上特征点可以通过坐标的偏离程度计算匹配率,也可以以标准轨迹信息中的特征点为圆心,设定相应的半径作为识别范围,判断用户的操作行为轨迹中特征点落入前述识别范围的比例作为匹配率。
请参考图11,本实施例还提供一种训练得到人机识别模型的技术方案,操作行为的人机识别方法中步骤S23将所述运动特征信息输入预先训练的人机识别模型的步骤之前,还包括:
步骤S111:从历史数据库中获取历史用户的测试轨迹信息组成训练集。
步骤S112:在所述训练集中写入若干模拟轨迹;其中,所述模拟轨迹信息通过输入若干测试点,基于所述测试点的位置模拟测试轨迹。
步骤S113:根据训练集采用决策树、随机森林或神经卷积网络构建人机验证模型。
在上述过程中,请继续参考图1,人机识别系统还可以连接历史数据库,从中获取历史用户的测试轨迹信息。当然,历史数据库也可以内嵌于数据库11中,为人机识别系统提供数据支持。测试轨迹信息可以是用户在日常的系统操作中的操作行为轨迹,也可以是用户针对特定验证信息的操作行为轨迹,例如对验证码、拼图或算式的操作行为轨迹。将若干历史用户的测试轨迹信息组成测试集,以供后续训练模型。
人机识别系统可以通过输入若干测试点,并基于所述测试点的位置模拟并生成测试轨迹。人机识别系统可以通过外部输入的代码或算法,生成模拟用户操作的操作行为轨迹,并作为模拟轨迹加入训练集中,使训练集中混合有一定量模拟轨迹。
人机识别系统以训练集中的数据作为数据源,并采用决策树、随机森林或神经卷积网络的任意一种算法构建人机验证模型。具体地,人机识别系统可以将训练集中操作行为轨迹和模拟轨迹中特征点的空间特征或者运动方向特征和人为或模拟的识别结果关联,生成人机验证模型。
请参考图12,为了克服验证技术容易被破解方式破解,识别的结果不准确,从而引发安全性问题的技术缺陷,本申请提供一种操作行为的人机识别装置,包括:
获取单元121,用于获取用户的操作行为轨迹的空间特征和运动方向特征。其中,所述空间特征表征当前目标点在空间坐标系的特征,所述运动方向特征表征操作行为轨迹当前目标点的运动趋势特征。
提取单元122,用于根据所述空间特征和运动方向特征及所述操作行为轨迹上采集的目标点,提取对应的运动特征信息;其中,运动特征信息包括对应各个操作点的速度变化值、角度变化值、距离变化值、加速度变化值的至少一种;
输入单元123,用于将所述运动特征信息输入预先训练的人机识别模型;其中,所述人机识别模型用于识别操作对象的真实性。
识别单元124,用于获取所述人机识别模型输出的所述操作行为轨迹为人为操作或机器模拟的识别结果。
本申请实施例中还提供一种计算机设备,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:执行根据上述任一项实施例的操作行为的人机识别方法。
本申请实施例中还提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行根据上述任一项实施例的操作行为的人机识别方法的步骤。
本申请实施例中提供一种操作行为的人机识别方法,包括如下步骤:获取用户的操作行为轨迹的空间特征和运动方向特征;其中,所述空间特征表征当前目标点在空间坐标系的特征,所述运动方向特征表征操作行为轨迹当前目标点的运动趋势特征;根据所述空间特征和运动方向特征及所述操作行为轨迹上采集的目标点,提取对应的运动特征信息;其中,运动特征信息包括对应各个目标点的速度变化值、角度变化值、距离变化值、加速度变化值的至少一种;将所述运动特征信息输入预先训练的人机识别模型;其中,所述人机识别模型用于识别操作对象的真实性;所述人机识别模型输出的所述操作行为轨迹为人为操作或机器模拟的识别结果;。通过操作行为的人机识别方法,通过分析操作行为轨迹的运动方向特征和空间特征得到的运动特征信息并将运动特征信息输入人机验证模型输出识别结果,能够判断当前操作相关设备的是真实的用户还是模拟的用户,即操作对象的真实性,能够有效避免人机识别系统等计算机设备所受到的攻击,保证系统的安全性。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种操作行为的人机识别方法,其特征在于,包括如下步骤:
获取用户的操作行为轨迹的空间特征和运动方向特征;其中,所述空间特征表征当前目标点在空间坐标系的特征,所述运动方向特征表征操作行为轨迹当前目标点的运动趋势特征;
根据所述空间特征和运动方向特征及所述操作行为轨迹上采集的目标点,提取对应的运动特征信息;其中,运动特征信息包括对应各个目标点的速度变化值、角度变化值、距离变化值、加速度变化值的至少一种;
将所述运动特征信息输入预先训练的人机识别模型;其中,所述人机识别模型用于识别操作对象的真实性;
获取所述人机识别模型输出的所述操作行为轨迹为人为操作或机器模拟的识别结果。
2.根据权利要求1所述的操作行为的人机识别方法,其特征在于,所述获取用户的操作行为轨迹的空间特征和运动方向特征的步骤之前,还包括:
将用户操作所形成的操作行为轨迹的最后一点作为第一目标点;
获取在所述第一目标点之前构成用户操作行为轨迹的若干第二目标点;
根据所述第二目标点对应的用户操作次序,对第一目标点和第二目标点进行解析得到运动方向特征;
根据所述第一目标点和第二目标点之间的空间关系,对第一目标点和第二目标点进行分析得到空间特征。
3.根据权利要求2所述的操作行为的人机识别方法,其特征在于,所述根据所述第二目标点对应的用户操作次序,对第一目标点和第二目标点进行解析得到运动方向特征的步骤,包括:
根据所述第二目标点对应的用户操作时间,对若干第二目标点进行时间排序;
根据第二目标点的时间排序得到上一个第二目标点至下一个第二目标点或第二目标点至第一目标点所构成的运动轨迹;
对所述运动轨迹进行解析得到运动方向特征。
4.根据权利要求3所述的操作行为的人机识别方法,其特征在于,所述获取用户的操作行为轨迹的空间特征和运动方向特征的步骤之前,还包括:
采集用户通过操作外部输入设备所输入目标点对应的位置信息;
根据外部输入设备输入目标点的时间和位置信息生成操作行为轨迹。
5.根据权利要求4所述的操作行为的人机识别方法,其特征在于,获取所述人机识别模型输出的所述操作行为轨迹为人为操作或机器模拟的识别结果的步骤,包括:
获取在展示页面中向用户展示的验证信息和验证信息相应的标准轨迹信息以及匹配阈值;
当标准轨迹信息和用户的操作行为轨迹的匹配率大于匹配阈值时,将所述运动特征信息输入预先训练的人机识别模型;
获取所述人机识别模型输出的所述操作行为轨迹为人为操作或机器模拟的识别结果。
6.根据权利要求5所述的操作行为的人机识别方法,其特征在于,所述获取在展示页面中向用户展示的验证信息和验证信息相应的标准轨迹信息以及匹配阈值的步骤,包括:
根据所述验证信息的特征识别点的位置及特征识别点的先后顺序在验证数据库中查找标准轨迹信息和对应验证信息的匹配阈值;
获取用户的移动和/或点选的操作生成操作行为轨迹;
根据标准轨迹信息和操作行为轨迹之间特征点和顺序的匹配生成匹配率。
7.根据权利要求2所述的操作行为的人机识别方法,其特征在于,所述将所述运动特征信息输入预先训练的人机识别模型的步骤之前,还包括:
从历史数据库中获取历史用户的测试轨迹信息组成训练集;
在所述训练集中写入若干模拟轨迹;其中,所述模拟轨迹信息通过输入若干测试点,基于所述测试点的位置模拟测试轨迹;
根据训练集采用决策树、随机森林或神经卷积网络构建人机验证模型。
8.一种人机验证装置,其特征在于,包括:
获取单元,用于获取用户的操作行为轨迹的空间特征和运动方向特征;其中,所述空间特征表征当前目标点在空间坐标系的特征,所述运动方向特征表征操作行为轨迹当前目标点的运动趋势特征;
提取单元,用于根据所述空间特征和运动方向特征及所述操作行为轨迹上采集的目标点,提取对应的运动特征信息;其中,运动特征信息包括对应各个操作点的速度变化值、角度变化值、距离变化值、加速度变化值的至少一种;
输入单元,用于将所述运动特征信息输入预先训练的人机识别模型;其中,所述人机识别模型用于识别操作对象的真实性;
识别单元,用于获取所述人机识别模型输出的所述操作行为轨迹为人为操作或机器模拟的识别结果。
9.一种计算机设备,其特征在于,其包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:执行根据权利要求1~7任一项所述的操作行为的人机识别方法。
10.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行根据权利要求1~7任一项所述的操作行为的人机识别方法的步骤。
CN201910538454.7A 2019-06-20 2019-06-20 操作行为的人机识别方法、装置及计算机设备 Pending CN110427737A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910538454.7A CN110427737A (zh) 2019-06-20 2019-06-20 操作行为的人机识别方法、装置及计算机设备
PCT/CN2019/103648 WO2020252932A1 (zh) 2019-06-20 2019-08-30 操作行为的人机识别方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910538454.7A CN110427737A (zh) 2019-06-20 2019-06-20 操作行为的人机识别方法、装置及计算机设备

Publications (1)

Publication Number Publication Date
CN110427737A true CN110427737A (zh) 2019-11-08

Family

ID=68408815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910538454.7A Pending CN110427737A (zh) 2019-06-20 2019-06-20 操作行为的人机识别方法、装置及计算机设备

Country Status (2)

Country Link
CN (1) CN110427737A (zh)
WO (1) WO2020252932A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110879881A (zh) * 2019-11-15 2020-03-13 重庆邮电大学 基于特征组分层和半监督随机森林的鼠标轨迹识别方法
CN111125670A (zh) * 2019-12-17 2020-05-08 美的集团股份有限公司 滑动轨迹人机识别方法、装置、电子设备及存储介质
CN111666968A (zh) * 2020-04-21 2020-09-15 北京奇艺世纪科技有限公司 人机识别方法及装置、电子设备、计算机可读存储介质
CN111966223A (zh) * 2020-08-17 2020-11-20 陈涛 非感知的mr眼镜人机识别方法、系统、设备及存储介质
WO2020252932A1 (zh) * 2019-06-20 2020-12-24 平安科技(深圳)有限公司 操作行为的人机识别方法、装置及计算机设备
CN113030890A (zh) * 2019-12-24 2021-06-25 深圳市大富科技股份有限公司 基于车载雷达的目标识别方法及设备
CN113126794A (zh) * 2019-12-31 2021-07-16 京东数字科技控股有限公司 异常操作识别方法、装置和计算机可读存储介质
CN115793923A (zh) * 2023-02-09 2023-03-14 深圳市泛联信息科技有限公司 一种人机界面运动轨迹识别方法、系统、设备及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113900889B (zh) * 2021-09-18 2023-10-24 百融至信(北京)科技有限公司 一种智能识别app人为操作的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975823A (zh) * 2016-05-05 2016-09-28 百度在线网络技术(北京)有限公司 用于区分人机的验证方法及装置
CN106815514A (zh) * 2015-11-27 2017-06-09 阿里巴巴集团控股有限公司 一种人机识别方法及装置
CN107153786A (zh) * 2017-05-26 2017-09-12 北京奇点数聚科技有限公司 一种人机识别方法、系统及终端设备、可读存储介质
CN107491991A (zh) * 2017-08-15 2017-12-19 上海精数信息科技有限公司 基于晃动的人机识别方法及应用其的广告投放方法和系统
CN108229130A (zh) * 2018-01-30 2018-06-29 中国银联股份有限公司 一种验证方法及装置
CN109902474A (zh) * 2019-03-01 2019-06-18 北京奇艺世纪科技有限公司 一种滑动验证码中移动对象的移动轨迹的确定方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259503A (zh) * 2018-01-30 2018-07-06 成都睿码科技有限责任公司 一种为网站和应用区分机器和人类访问的系统和方法
CN108416198B (zh) * 2018-02-06 2022-02-01 平安科技(深圳)有限公司 人机识别模型的建立装置、方法及计算机可读存储介质
CN109299592B (zh) * 2018-09-29 2021-08-10 武汉极意网络科技有限公司 人机行为特征边界构建方法、系统、服务器及存储介质
CN110427737A (zh) * 2019-06-20 2019-11-08 平安科技(深圳)有限公司 操作行为的人机识别方法、装置及计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815514A (zh) * 2015-11-27 2017-06-09 阿里巴巴集团控股有限公司 一种人机识别方法及装置
CN105975823A (zh) * 2016-05-05 2016-09-28 百度在线网络技术(北京)有限公司 用于区分人机的验证方法及装置
CN107153786A (zh) * 2017-05-26 2017-09-12 北京奇点数聚科技有限公司 一种人机识别方法、系统及终端设备、可读存储介质
CN107491991A (zh) * 2017-08-15 2017-12-19 上海精数信息科技有限公司 基于晃动的人机识别方法及应用其的广告投放方法和系统
CN108229130A (zh) * 2018-01-30 2018-06-29 中国银联股份有限公司 一种验证方法及装置
CN109902474A (zh) * 2019-03-01 2019-06-18 北京奇艺世纪科技有限公司 一种滑动验证码中移动对象的移动轨迹的确定方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020252932A1 (zh) * 2019-06-20 2020-12-24 平安科技(深圳)有限公司 操作行为的人机识别方法、装置及计算机设备
CN110879881A (zh) * 2019-11-15 2020-03-13 重庆邮电大学 基于特征组分层和半监督随机森林的鼠标轨迹识别方法
CN110879881B (zh) * 2019-11-15 2022-06-10 重庆邮电大学 基于特征组分层和半监督随机森林的鼠标轨迹识别方法
CN111125670A (zh) * 2019-12-17 2020-05-08 美的集团股份有限公司 滑动轨迹人机识别方法、装置、电子设备及存储介质
CN113030890A (zh) * 2019-12-24 2021-06-25 深圳市大富科技股份有限公司 基于车载雷达的目标识别方法及设备
CN113030890B (zh) * 2019-12-24 2023-11-21 大富科技(安徽)股份有限公司 基于车载雷达的目标识别方法及设备
CN113126794A (zh) * 2019-12-31 2021-07-16 京东数字科技控股有限公司 异常操作识别方法、装置和计算机可读存储介质
CN111666968A (zh) * 2020-04-21 2020-09-15 北京奇艺世纪科技有限公司 人机识别方法及装置、电子设备、计算机可读存储介质
CN111966223A (zh) * 2020-08-17 2020-11-20 陈涛 非感知的mr眼镜人机识别方法、系统、设备及存储介质
CN111966223B (zh) * 2020-08-17 2022-06-28 陈涛 非感知的mr眼镜人机识别方法、系统、设备及存储介质
CN115793923A (zh) * 2023-02-09 2023-03-14 深圳市泛联信息科技有限公司 一种人机界面运动轨迹识别方法、系统、设备及介质
CN115793923B (zh) * 2023-02-09 2023-04-18 深圳市泛联信息科技有限公司 一种人机界面运动轨迹识别方法、系统、设备及介质

Also Published As

Publication number Publication date
WO2020252932A1 (zh) 2020-12-24

Similar Documents

Publication Publication Date Title
CN110427737A (zh) 操作行为的人机识别方法、装置及计算机设备
KR102063037B1 (ko) 신원 인증 방법, 단말기 장치 및 컴퓨터 판독 가능한 저장 매체
WO2019153604A1 (zh) 人机识别模型的建立装置、方法及计算机可读存储介质
US20180308107A1 (en) Living-body detection based anti-cheating online research method, device and system
CN105989268A (zh) 一种人机识别的安全访问方法和系统
CN109033798B (zh) 一种基于语义的点选验证码识别方法及其装置
CN104809377A (zh) 基于网页输入行为特征的网络用户身份监控方法
CN106778151B (zh) 基于笔迹的用户身份识别方法和装置
US10387645B2 (en) Method for recognizing if a user of an electronic terminal is a human or a robot
CN103413078B (zh) 基于用户标识和笔迹的两层在线认证系统及认证方法
CN105574398B (zh) 一种验证码验证方法及装置
CN102890776A (zh) 通过面部表情调取表情图释的方法
CN111143813B (zh) 一种验证问题的生成方法、验证方法及装置
CN109271762B (zh) 基于滑块验证码的用户认证方法及装置
CN105446741B (zh) 一种基于api比对的移动应用程序辨识方法
CN109194689B (zh) 异常行为识别方法、装置、服务器及存储介质
CN104778387A (zh) 基于人机交互行为的跨平台身份认证系统及方法
CN110378095A (zh) 基于验证码的交互验证方法、装置、介质和计算设备
Van Nguyen et al. Finger-drawn pin authentication on touch devices
CN110807183A (zh) 一种多维度特征体系的滑动验证码人机行为识别方法
CN111563746A (zh) 用户身份认证的方法、装置、电子设备和介质
CN111782068A (zh) 鼠标轨迹生成的方法、装置和系统以及数据处理的方法
CN109726543A (zh) 一种应用程序的登录方法、装置、终端设备和存储介质
CN111079499B (zh) 一种学习环境中的书写内容识别方法及系统
CN111353140B (zh) 验证码的生成、显示方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination