CN112818320A - 基于视频的智能手机图案密码推测方法 - Google Patents

基于视频的智能手机图案密码推测方法 Download PDF

Info

Publication number
CN112818320A
CN112818320A CN202110213431.6A CN202110213431A CN112818320A CN 112818320 A CN112818320 A CN 112818320A CN 202110213431 A CN202110213431 A CN 202110213431A CN 112818320 A CN112818320 A CN 112818320A
Authority
CN
China
Prior art keywords
points
track
video
passwords
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110213431.6A
Other languages
English (en)
Inventor
邱卫东
查言
王杨德
郭捷
唐鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110213431.6A priority Critical patent/CN112818320A/zh
Publication of CN112818320A publication Critical patent/CN112818320A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G06F21/46—Structures or tools for the administration of authentication by designing passwords or checking the strength of passwords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Telephone Function (AREA)

Abstract

一种基于视频的智能手机图案密码推测方法，通过从包含密码输入的视频中检测用户手部关键点和手机角目标并进行追踪，生成手部运动轨迹后提取轨迹中的转折点得到简化的轨迹，将其与图案密码进行匹配，最后生成候选密码并按照相似度排序。本发明使用视频处理，推测智能手机图案密码的方法，能够从视频片段推测出用户输入的的密码。

Description

基于视频的智能手机图案密码推测方法
技术领域
本发明涉及的是一种信息安全领域的侧信道攻击技术，具体是一种基于视频的智能手机图案密码推测方法。
背景技术
智能手机的使用过程中，为验证操作者的身份，往往要求用户输入各类密码进行身份验证。其中智能手机的图案密码是一种在给定大小网格中(常见为3×3)，画出相应图形用于身份认证的一种密码。在解锁过程中，用户通过手指触摸显示屏并移动，逐一连接网格点，画出图案密码。
由于图案锁的广泛使用，图案锁的安全问题近来引起广泛关注。在当前的研究中，研究人员用来推测图案密码的方法主要有四种方式：肉眼观察法、污迹(指纹、温度)方法、传感器方法、视频方法。这些方法有较多的限制条件，如必须接近用户、必须获取用户设备、必须安装恶意软件等，且对环境的依赖性很强。
发明内容
本发明针对现有技术存在的上述不足，提出一种基于视频的智能手机图案密码推测方法，使用视频处理，推测智能手机图案密码的方法，能够从视频片段推测出用户输入的的密码。
本发明是通过以下技术方案实现的：
本发明涉及一种基于视频的智能手机图案密码推测方法，通过从包含密码输入的视频中检测用户手部关键点和手机角目标并进行追踪，生成手部运动轨迹后提取轨迹中的转折点得到简化的轨迹，将其与图案密码进行匹配，最后生成候选密码并按照相似度排序。
所述的用户手部关键点，通过OpenPose人体姿态检测模型对输入视频的每一帧进行检测得到。
所述的手机角目标，通过YOLO目标检测模型对输入视频的每一帧进行检测得到。
所述的用户手部关键点包括：手指尖和手关节，检测的结果为在视频某一帧中两个目标的位置，当手部关节目标与手机目标位置相近时，选取该帧中手指关节位置和手机目标的左上角进行进行下一步追踪。
所述的相近是指：手部关键点目标的位置与手机目标的位置横、纵坐标的差值的绝对值分别小于手机目标结果的宽度和高度的指定倍数，该倍数根据应用场景设置。
所述的追踪，使用多路相关滤波追踪算法(CSRT)，对检测到手机角目标和手部关键点位置的后续每一帧中，追踪两个目标的位置，直到追踪失败或两个目标位置远离超过设定值。
所述的手部运动轨迹，即由追踪得到的每帧的手机角目标(n,x1,y1)和手部关键点位置(n,x2,y2)组成，其中：n为帧号，x、y分别为横、纵坐标，运动轨迹为{(0,(x2-x1)0,(y2-y1)0),(1,(x2-x1)1,(y2-y1)1),…,(n,(x2-x1)n,(y2-y1)n)}。
所述的简化的轨迹：通过将轨迹的起始点和结束点作为转折点，计算其他点到这两点连线的距离，将其中距离最大的点作为第三个转折点并检查该点是否满足转折点的特征，当满足时加入转折点集合，随后将转折点集合中每两个相邻转折点作为起始点和结束点再次进行距离计算和转折点选取，直到选取的转折点不再满足特征，该转折点集合即构成简化的轨迹。
所述的转折点的特征包括：在该点前后的轨迹方向有明显变化、在该点前后轨迹速度呈现先减慢再加快的趋势、在该点附近范围内的点密度高于阈值。
所述的明显变化是指：两方向间的夹角大于根据应用场景预设的角度。
所述的轨迹速度通过相邻点间的距离近似表示，距离越小，速度越慢，其中先减慢再加快是指：在该点之前的点，与相邻点的距离是不断减少的，而在该点之后的点，与相邻点的距离是不断增加的。
所述的附近范围是指：以该点为圆心，通过检测手机的宽度乘以根据应用场景预设的比例系数计算得出的距离作为半径的范围。
所述的点密度高于阈值是指：在附近范围内的点的数量大于通过完整轨迹所包含点的数量乘以根据应用场景预设的比例系数计算得到的阈值。
所述的匹配，具体包括：
1)每连续三个转折点为一组，匹配三个点可能的密码，每组一共504种可能的密码；
2)从简化轨迹中搜索最中间的三个转折点组，当所有点数为偶数则选取靠前的中间组；
3)对中间组的所有候选密码，比对临近组候选密码，当有重合部分密码相同，则将临近组不重合部分密码加入，并延长候选密码；
4)以增加临近点后的部分作为中间组，重复步骤3)，直到两个端点被比对过；
5)最后得到的所有候选密码，即为推测的候选密码。
本发明涉及一种实现上述方法的系统，包括：目标检测单元、目标追踪单元、轨迹处理单元以及图案密码匹配单元，其中：目标检测单元与目标追踪相连并传输检测到的手机位置和手部关键点位置信息，目标追踪单元与轨迹处理单元相连并传输追踪到的视频中手机角和手部关键点移动位置信息，轨迹处理单元图案密码匹配单元相连并传输简化后的轨迹信息，图案单元最后输出可能的候选密码结果。
技术效果
本发明整体解决了现有技术推测图案密码限制条件多，人工参与多的问题；与现有技术相比，本发明使用包含图案密码输入的视频作为系统输入，自动生成推测的图案密码结果，可连续处理批量视频，限制条件小；使用目标检测算法自动识别视频中手机目标和手部关键点的位置，选取目标进行追踪，减少了人工的参与；通过视频中的手部运动轨迹自动匹配生成所有可能的密码，并按照可能性的大小进行排序，相比于已有技术生成的候选密码更多，推测成功率更高。
附图说明
图1为本发明流程图；
图2为本发明实施例的从手部运动轨迹匹配可能的图案密码的示意图。
具体实施方式
如图1所示，为本实施例涉及一种基于视频的智能手机图案密码推测方法，通过录制包含用户输入图案密码这一过程的视频后进行密码推测，得到候选密码并按照相似度排序，具体步骤包括：
步骤1、输入包含用户在智能手机上输入图案密码的视频，逐帧进行读取；
步骤2、对视频每一帧进行目标检测，检测该帧中手机目标和手部关键点的位置，具体使用YOLO目标检测模型检测手机目标，检测成功返回手机目标位置(x,y,w,h)，其中x、y为手机左上角横、纵坐标，w、h为手机宽、高，使用OpenPose人体姿态检测框架检测手部关键点，检测成功返回手部二十一个关键点的位置和对应的置信度{(c0,x0,y0),(c1,x1,y1),…,(c20,x20,y20)}，其中cn为第n个关键点的置信度，xn、yn分别为第n个点的横、纵坐标，二十一个点分别对应手部二十一个位置，如0号对应手腕、8号对应食指指尖，本实施例中选取8号点即食指指尖作为手部目标，对比手部目标与手机左上角的距离，本实施例中若横纵坐标差值均小于两倍手机宽和高，将此帧两目标位置传入目标检测模块，并进行步骤3，否则重复此步骤检测下一帧；
步骤3、根据上一步结果，初始化两个目标追踪器，本发明使用相关滤波追踪算法实现对目标的追踪，在本实施例中，以手机左上角位置为中心，扩展一个30×30像素大小的框体框选手机左上角作为追踪目标，同时以食指指尖位置为中心，拓展一个30×30像素大小的框体作为手部关键点目标，追踪器初始化完成后进入步骤4；
步骤4、追踪算法自动更新在下一帧中两个目标的位置，返回的结果为手机左上角目标的追踪结果为(x1,y1,w1,h1)，手指目标的追踪结果为(x2,y2,w2,h2)，其中x、y为目标左上角横、纵坐标，w、h为目标框体宽、高，计算两个目标的位置差，用以表示手部当前的位置，可表示为(x2-x1+w1/2-w2/2,y2-y1+h1/2-h2/2)；
步骤5、跟踪算法会返回跟踪是否成功，同时根据上一帧的位置，若本帧的位置结果与上一帧相比数值变化过大，本实施例中设置为若超过步骤2中手机宽度w，则按照失败处理，当失败则进入步骤6，当成功则重复到步骤4继续追踪下一帧；
步骤6、当已经追踪的帧数满足设定的数量，数量的设定与视频拍摄参数相关，本实施例采用每秒30帧拍摄的视频，根据输入图案密码时间一般最短为2秒，最小数量设定60帧，满足则进入步骤7，否则返回步骤2并从之前检测单元结果的下一帧开始；
步骤7、为了统一化轨迹，在本实施例中将起始的位置设置为零，对于每一帧的位置结果，均与第一帧结果求差，得到的轨迹数据格式为{(0,0,0),(1,x1,y1),…,(n,xn,yn)}。
步骤8、使用轨迹简化算法提取手指运动轨迹的转折点，以图二中的轨迹为例，首先将首尾两点提取为转折点，此时转折点有{A,E}，随后计算A、E中间所有点到直线AE的距离，距离最大点为B，同时判断B与周围点的关系是否满足转折点的要求如本实施例中要求前后十个点的距离均小于w/5(w步骤2检测手机宽度)且角度变化大于10度，满足则将B加入转折点，此时转折点有{A,B,E}，再对AB、BE重复上面操作，AB中无满足要求点，BE中距离最大且满足要求的点为D，此时转折点有{A,B,D,E}，继续相邻点间重复提取转折点，直到不再找到新的转折点，最终提取的转折点结果为{A,B,C,D,E}；
步骤9、通过简化轨迹匹配图案，生成推测的候选图案，并按照相似度排序。
如图2所示，所述的步骤9，具体包括：
9.1)从轨迹中提取转折点，如图中的点A、B、C、D、E；将每连续三个点分为一组，如ABC、BCD、CDE；对每组三个点匹配三个不同的密码，如ABC匹配到278、389、578、178等等，每组一共能匹配504种可能的密码，并通过下列公式计算每种可能的相似度
Figure BDA0002953135040000041
Figure BDA0002953135040000042
其中：0<θ<1，向量a、向量b为转折点AB、BC组成的向量，向量c为AB、BC长度组成的向量即
Figure BDA0002953135040000043
向量u、向量v为候选密码(以278为例)的27，78组成的两个向量，向量w为27、78长度组成的向量，θ为调整方向和长度在相似度所占权重的系数，越大方向所占权重越大。
9.2)从中间组开始，如此实施例中的BCD，其匹配最高候选密码为783，向前合并ABC的最高可能278，78作为重合部分，满足合并要求，因此推测ABCD的候选密码有2783，同理向后合并CDE的最高可能839，得到BCDE的候选密码有7839；对504种可能均进行相同操作，使用相似度相乘进行累计，得到完整的推测图案密码，并按照相似度排列。
以上步骤中，从轨迹匹配候选图案密码的算法为本发明独创，其与现有常规技术手段相比，将轨迹的转折点按照一定的窗口大小进行分组，对每组进行分别匹配，减少了计算的复杂度的同时保留了可能的正确结果，随后从转折点的中间组开始根据每组的重合部分推测完整密码，根据每组匹配的相似度，累乘得到完整候选密码的相似度进行排序，可以生成较多的候选可能密码并保证较高的成功率。
经过具体实验，使用手机摄像头，以每秒30帧，在正面距离2米处拍摄用户输入图案密码，共计拍摄300条视频，一共140种图案密码的情况下，本系统够成功在二十次内尝试推测出92.33％的图案密码，能够在十次尝试内成功推测86.67％的图案密码，能够在五次尝试内成功推测76.67％的图案密码。
与现有技术相比，本系统在不需要人工参与的情况下，在测试中即可达到相近的成功率，并且该系统推测图案密码只要求包含图案密码输入过程的视频，不需要其他工具的辅助，对于视频的拍摄条件没有限制要求，且可以批量处理视频。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (7)

1.一种基于视频的智能手机图案密码推测方法，其特征在于，通过从包含密码输入的视频中检测用户手部关键点和手机角目标并进行追踪，生成手部运动轨迹后提取轨迹中的转折点得到简化的轨迹，将其与图案密码进行匹配，最后生成候选密码并按照相似度排序；
所述的用户手部关键点包括：手指尖和手关节，检测的结果为在视频某一帧中两个目标的位置，当手部关节目标与手机目标位置相近时，选取该帧中手指关节位置和手机目标的左上角进行进行下一步追踪。
2.根据权利要求1所述的基于视频的智能手机图案密码推测方法，其特征是，所述的用户手部关键点，通过OpenPose人体姿态检测模型对输入视频的每一帧进行检测得到；
所述的手机角目标，通过YOLO目标检测模型对输入视频的每一帧进行检测得到。
3.根据权利要求1所述的基于视频的智能手机图案密码推测方法，其特征是，所述的追踪，使用多路相关滤波追踪算法，对检测到手机角目标和手部关键点位置的后续每一帧中，追踪两个目标的位置，直到追踪失败或两个目标位置远离超过设定值。
4.根据权利要求1所述的基于视频的智能手机图案密码推测方法，其特征是，所述的手部运动轨迹，即由追踪得到的每帧的手机角目标(n,x1,y1)和手部关键点位置(n,x2,y2)组成，其中：n为帧号，x、y分别为横、纵坐标，运动轨迹为{(0,(x2-x1)0,(y2-y1)0),(1,(x2-x1)1,(y2-y1)1),…,(n,(x2-x1)n,(y2-y1)n)}。
5.根据权利要求1所述的基于视频的智能手机图案密码推测方法，其特征是，所述的简化的轨迹：通过将轨迹的起始点和结束点作为转折点，计算其他点到这两点连线的距离，将其中距离最大的点作为第三个转折点并检查该点是否满足转折点的特征，当满足时加入转折点集合，随后将转折点集合中每两个相邻转折点作为起始点和结束点再次进行距离计算和转折点选取，直到选取的转折点不再满足特征，该转折点集合即构成简化的轨迹。
6.根据权利要求1所述的基于视频的智能手机图案密码推测方法，其特征是，所述的匹配，具体包括：
1)每连续三个转折点为一组，匹配三个点可能的密码，每组一共504种可能的密码；
2)从简化轨迹中搜索最中间的三个转折点组，当所有点数为偶数则选取靠前的中间组；
3)对中间组的所有候选密码，比对临近组候选密码，当有重合部分密码相同，则将临近组不重合部分密码加入，并延长候选密码；
4)以增加临近点后的部分作为中间组，重复步骤3)，直到两个端点被比对过；
5)最后得到的所有候选密码，即为推测的候选密码。
7.一种实现上述任一权利要求所述基于视频的智能手机图案密码推测方法的系统，其特征在于，包括：目标检测单元、目标追踪单元、轨迹处理单元以及图案密码匹配单元，其中：目标检测单元与目标追踪相连并传输检测到的手机位置和手部关键点位置信息，目标追踪单元与轨迹处理单元相连并传输追踪到的视频中手机角和手部关键点移动位置信息，轨迹处理单元图案密码匹配单元相连并传输简化后的轨迹信息，图案单元最后输出可能的候选密码结果。
CN202110213431.6A 2021-02-26 2021-02-26 基于视频的智能手机图案密码推测方法 Pending CN112818320A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110213431.6A CN112818320A (zh) 2021-02-26 2021-02-26 基于视频的智能手机图案密码推测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110213431.6A CN112818320A (zh) 2021-02-26 2021-02-26 基于视频的智能手机图案密码推测方法

Publications (1)

Publication Number Publication Date
CN112818320A true CN112818320A (zh) 2021-05-18

Family

ID=75863898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110213431.6A Pending CN112818320A (zh) 2021-02-26 2021-02-26 基于视频的智能手机图案密码推测方法

Country Status (1)

Country Link
CN (1) CN112818320A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809387A (zh) * 2015-03-12 2015-07-29 山东大学 基于视频图像手势识别的非接触式解锁方法及装置
CN105447375A (zh) * 2015-11-09 2016-03-30 广东欧珀移动通信有限公司 一种图片解密的方法及电子设备
CN109934127A (zh) * 2019-02-27 2019-06-25 电子科技大学 基于视频图像与无线信号的行人识别与跟踪方法
CN110334576A (zh) * 2019-04-30 2019-10-15 北京旷视科技有限公司 一种手部追踪方法及装置
CN110750771A (zh) * 2019-09-09 2020-02-04 深圳壹账通智能科技有限公司 登录认证方法、装置、计算机设备和存储介质
CN112183153A (zh) * 2019-07-01 2021-01-05 中国移动通信集团浙江有限公司 一种基于视频分析的对象行为检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809387A (zh) * 2015-03-12 2015-07-29 山东大学 基于视频图像手势识别的非接触式解锁方法及装置
CN105447375A (zh) * 2015-11-09 2016-03-30 广东欧珀移动通信有限公司 一种图片解密的方法及电子设备
CN109934127A (zh) * 2019-02-27 2019-06-25 电子科技大学 基于视频图像与无线信号的行人识别与跟踪方法
CN110334576A (zh) * 2019-04-30 2019-10-15 北京旷视科技有限公司 一种手部追踪方法及装置
CN112183153A (zh) * 2019-07-01 2021-01-05 中国移动通信集团浙江有限公司 一种基于视频分析的对象行为检测方法及装置
CN110750771A (zh) * 2019-09-09 2020-02-04 深圳壹账通智能科技有限公司 登录认证方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANGDE WANG ETC.: "PatternMonitor：a whole pipeline with a much higher level or automation for guessing Android lock pattern based on videos", 《ARXIV.ORG》 *

Similar Documents

Publication Publication Date Title
CN107563286B (zh) 一种基于Kinect深度信息的动态手势识别方法
Binh et al. Real-time hand tracking and gesture recognition system
Doliotis et al. Comparing gesture recognition accuracy using color and depth information
Charles et al. Personalizing human video pose estimation
Ma et al. Kinect Sensor‐Based Long‐Distance Hand Gesture Recognition and Fingertip Detection with Depth Information
Yang et al. Dynamic hand gesture recognition using hidden Markov models
CN109829368B (zh) 手掌特征的识别方法、装置、计算机设备及存储介质
Lee et al. Game interface using hand gesture recognition
CN112380512B (zh) 卷积神经网络动态手势认证方法、装置、存储介质及设备
Ye et al. Gesture recognition using 3D appearance and motion features
CN111105443A (zh) 一种基于特征关联的视频群体人物运动轨迹跟踪方法
CN110633004A (zh) 基于人体姿态估计的交互方法、装置和系统
CN108549878A (zh) 基于深度信息的手部检测方法及系统
CN103700107B (zh) 一种基于图像尖锐度分布的特征点匹配方法
Bhuyan et al. Trajectory guided recognition of hand gestures having only global motions
CN113608663A (zh) 一种基于深度学习和k-曲率法的指尖跟踪方法
Stefan et al. Translation and scale-invariant gesture recognition in complex scenes
Chen et al. Depth-based hand gesture recognition using hand movements and defects
CN106650554A (zh) 静态手势识别方法
CN112818320A (zh) 基于视频的智能手机图案密码推测方法
Krisandria et al. Hog-based hand gesture recognition using Kinect
CN117237861A (zh) 人流量统计方法、设备以及存储介质
Bhowmick et al. Continuous hand gesture recognition for English alphabets
CN112926518A (zh) 基于视频的复杂场景下手势密码轨迹还原系统
WO2003009218A1 (en) Dynamic gesture recognition from stereo sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210518