CN111783717A - 一种生物特征运动模态智能识别方法及其应用 - Google Patents
一种生物特征运动模态智能识别方法及其应用 Download PDFInfo
- Publication number
- CN111783717A CN111783717A CN202010665028.2A CN202010665028A CN111783717A CN 111783717 A CN111783717 A CN 111783717A CN 202010665028 A CN202010665028 A CN 202010665028A CN 111783717 A CN111783717 A CN 111783717A
- Authority
- CN
- China
- Prior art keywords
- motion
- user
- data
- database
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000013598 vector Substances 0.000 claims abstract description 174
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 29
- 238000013507 mapping Methods 0.000 claims abstract description 26
- 238000010801 machine learning Methods 0.000 claims abstract description 18
- 238000007405 data analysis Methods 0.000 claims abstract description 8
- 238000012795 verification Methods 0.000 claims abstract description 5
- 238000004458 analytical method Methods 0.000 claims description 32
- 230000001133 acceleration Effects 0.000 claims description 31
- 230000005021 gait Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 7
- 230000000737 periodic effect Effects 0.000 claims description 7
- 238000010219 correlation analysis Methods 0.000 claims description 4
- 238000013506 data mapping Methods 0.000 claims description 3
- 208000012661 Dyskinesia Diseases 0.000 claims description 2
- 238000013075 data extraction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 210000000554 iris Anatomy 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010019233 Headaches Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/112—Gait analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Physiology (AREA)
- Evolutionary Computation (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Fuzzy Systems (AREA)
- Social Psychology (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提出了一种生物特征运动模态智能识别方法及其应用，包括如下步骤：S1，通过智能终端运动参数传感器获取用户身体运动参数数据，并形成多维度数据；S2，通过对上述用户身体运动参数数据集进行数据分析和机器学习模型不断训练之后形成用户身体运动参数特征向量第一数据库；S3，通过视频图像采集方式获取用户身体运动图像数据集，经过机器学习模型不断训练之后形成用户身体运动图像特征向量第二数据库；S4，将用户身体运动参数特征向量第一数据库按照正方向运动和侧方向运动参数特征向量分解后与第二数据库进行区间映射训练；S5，判断映射匹配结果并根据用户身体运动参数特征向量进行映射校验，同时录入身体运动参数分解特征向量第三数据库。
Description
技术领域
本发明涉及计算机领域，尤其涉及一种生物特征运动模态智能识别方法及其应用。
背景技术
随着大数据及人工智能技术的快速发展，基于人脸、指纹、虹膜、步态等生物特征的识别技术得到了广泛应用。在工程实践中，由于人脸、指纹、虹膜、步态等生物特征的识别技术主要基于2D空间进行分析识别，因此在实际应用场景下开展个体精准识别时将受到诸多限制：一是受限于图像数据采集时的角度、光照度、观测距离以及目标对象的配合程度等条件变化，严重影响识别精度；二是需要目标对象有意识或潜意识配合，由于化妆、带口罩、携带随身物等行为常导致现有个体识别模式效率极度下降；三是基于2D空间的信息表达过于直观，比对样本数据采集难、存储难，涉及公民个人信息容易被盗用等问题导致应用场景受限。
截至目前，尽管基于深度学习的神经网络机器模型在人脸、指纹、虹膜等生物特征识别方面有所突破，但海量的学习样本采集，比对样本采集以及大规模的模型训练仍然是广大工程师头痛的问题。此外，最终的模型训练结果和数据特征值表达对工程师来讲也是极度抽象的，始终缺乏一种最优化的认定范式。特别是在步态识别方面，由于缺乏对生物运动模态识别的有效方法和研究途径，因此国内除了对步态识别有一定的初步应用研究外，对其它生物运动模态识别，比如手势运动或其它特殊运动的识别和应用研究极少涉及。这就亟需本领域技术人员解决相应的技术问题。
发明内容
为了实现本发明的上述目的，本发明提供了一种生物特征运动模态智能识别方法，包括如下步骤：
S1，通过智能终端运动参数传感器获取用户身体运动参数数据，并形成多维度数据，将多维度数据与用户身份信息进行关联匹配；
S2，根据匹配认证后的的多维度数据形成用户身体运动参数数据集，经过不断训练之后形成用户身体运动参数特征向量第一数据库；
S3，通过视频图像采集方式获取用户身体运动图像数据集，经过不断训练之后形成用户身体运动图像特征向量第二数据库；
S4，将用户身体运动参数特征向量第一数据库按照正方向运动和侧方向运动参数特征向量分解后与用户身体运动图像特征向量第二数据库进行数据映射匹配；
S5，判断映射匹配结果并根据用户身体运动参数特征向量进行映射校验，同时录入用户身体运动参数分解特征向量第三数据库。
优选的，所述S1包括：上述指出的运动参数传感器涵盖了陀螺仪传感器、加速度传感器、磁传感器，获取用户身体运动参数数据；
S1-1，根据陀螺仪传感器获取三维瞬间角度向量数据，
根据加速度传感器获取三维瞬间加速度向量数据，
根据磁传感器获取三维瞬间角度向量数据，
S1-2，根据用户所在位置进行经纬度数据P的定位，将用户的经纬度数据P，
和
进行收集，同时根据用户的身份信息进行身体运动参数映射；
S1-3，根据映射完成的用户身体运动参数数据，从而根据身份信息快速匹配用户身体运动参数数据；每种运动参数传感器采集频率为50-80次/s；
S1-4，将用户身体运动参数数据进行收集整理，分类为正常行走参数数据集、非正常运动参数数据集。在通常情况下，每个人在正常行走时，应具备各自不同但又相对稳定的步态特征。这就为我们下一步开展步态识别、比对提供了科学依据和理论支撑。
优选的，所述S2包括：S2-1，通过获取其中之一的目标人群身体运动参数数据集中陀螺仪数据，生成的目标人群陀螺仪X轴角速度值
其中Δt为间隔时间，
为t时刻陀螺仪X轴运动角度，
为t+Δt时刻陀螺仪X轴运动角度，目标人群陀螺仪Y轴角速度值
为t时刻陀螺仪Y轴运动角度，
为t+Δt时刻陀螺仪Y轴运动角度，目标人群陀螺仪Z轴角速度值
为t时刻陀螺仪Z轴运动角度，
为t+Δt时刻陀螺仪Z轴运动角度；
S2-2，根据目标人群XYZ轴的陀螺仪角速度值，形成目标人群陀螺仪角速度向量
S2-3，通过获取该目标人群身体运动参数数据集中磁传感器数据，生成的目标人群磁传感器X轴角速度值
其中Δt为间隔时间，
为t时刻磁传感器X轴运动角度，
为t+Δt时刻磁传感器X轴运动角度，目标人群磁传感器Y轴角速度值
为t时刻磁传感器Y轴运动角度，
为t+Δt时刻磁传感器Y轴运动角度，目标人群磁传感器Z轴角速度值
为t时刻磁传感器Z轴运动角度，
为t+Δt时刻磁传感器Z轴运动角度；
S2-4，根据目标人群XYZ轴的磁传感器角速度值，形成目标人群磁传感器角速度向量
S2-5，通过获取该目标人群身体运动参数数据集中加速度数据，生成的目标人群加速度传感器X轴加速度值
其中Δt为间隔时间，ΔVx为X轴目标人群速度变化量，生成的目标人群加速度传感器Y轴加速度值
ΔVy为Y轴目标人群速度变化量，生成的目标人群加速度传感器Z轴加速度值
ΔVz为Z轴目标人群速度变化量，根据目标人群XYZ轴的加速度值，形成目标人群加速度传感器家速度向量
S2-6，形成陀螺仪、加速度和磁传感器的多维度向量
和
之后，进行相关性分析，将匀速走、跑步设置为强相关性数据，将左转弯、右转弯、上台阶、下台阶设置为弱相关性数据，根据获取用户身体运动参数后所执行命令的差别，也能够将强相关性数据设置为左转弯、右转弯、上台阶、下台阶，将匀速走、跑步设置为弱相关性数据，
S2-7，根据筛选的强相关性数据形成瞬间向量分析样本举例：
S2-8，其中对应9个维度向量集，遍历计算每个向量中的数值正确性，通过对同一人多个周期的样本数据，或多个人同一运动状态的样本数据进行周期函数学习，计算出各个向量在具备运动特征高度相关性的同时，又具备用户身体运动参数的周期性、协调性，从而将用户身体运动参数瞬间向量匹配形成周期向量生成用户运动参数特征向量第一数据库。
优选的，所述S3包括：
S3-1，通过视频AI分析工具分析目标人群相应的运动特征向量列表，获取用户身体运动图像数据集，经过不断训练之后形成用户身体运动图像特征向量第二数据库；
S3-2，将用户身体运动参数特征向量第一数据库按照正方向运动和侧方向运动参数特征向量分解后与用户身体运动图像特征向量第二数据库进行数据映射匹配，判断映射匹配结果并根据用户身体运动参数特征向量进行映射校验，同时录入用户身体运动参数分解特征向量第三数据库。
优选的，所述S4包括：S4-1，通过构建基于分解特征识别机器模型开展图像识别训练，不断对第一数据库中的分析样本和第二数据库中的目标人群图像数据特征提取模型进行映射，从而修正第一数据库和第二数据库的映射模型，直到达到训练完成度停止，同时将训练结果录入用户身体运动参数分解特征向量第三数据库。
优选的，所述S5包括：S5-1，通过训练之后可直接由第一数据库中M个目标人群运动参数特征向量生成对应M个目标人群的2*M个第三数据库正向运动参数特征向量和侧向运动参数特征向量集。此举主要用于今后和与之相对应第二数据库中新发现的目标人群运动图像数据特征向量进行二次比对；
S5-2，如果通过智能终端获取到新用户的运动身体参数数据，则会自动执行S2步骤，实时对陀螺仪、加速度和磁传感器参数数据进行多维度向量样本分析，自动生成第一数据库增量和第三数据库增量；
S5-3，如果新用户通过视频镜头触发视频AI分析工具，则会自动执行S3步骤，实时对运动图像数据进行运动图像数据特征向量样本分析，自动生成第二数据库增量，同时与第二数据库中的历史样本进行比对；当缺乏原始比对样本宣告识别失效时，系统自动会发起二次比对请求；
S5-4，当基于分解特征向量识别模块收到二次比对请求指令后，自动根据当前用户位置信息(假设在当前位置同时段出现的有M个用户，每个用户均在第三数据库中有2个运动参数分解特征向量，共2*M)将其对应的第三数据库中所保存的运动参数分解特征向量调取出来与其对应的当前用户运动图像数据特征向量进行2*M：1的识别，并将比对结果发送至大数据分析模块、报警监控中心或直接发送至智能终端。
本发明还公开一种生物特征运动模态智能识别方法的应用，使用权利要求1的方法在智能终端进行报警、显示或者信息推送。综上所述，由于采用了上述技术方案，本发明的有益效果是：
通过引入有效特征数据样本，提升了对机器学习的监督能力，降低了机器学习的成本。通过引入标准的全样数据标本，提升了对机器学习灵活性，多样性。通过对多种机器学习模型的组合应用，降低了机器学习难度，提升了机器学习针对性和有效性。通过A、B集映射训练，实现了数据样本复用，提升了对缺乏比对样本应用场景适应能力。同时通过引入基于空域的比对识别模式增强了识别效率和精准度。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明实施流程图；
图2是本发明工作流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
如图1和2所示，本发明所要解决的核心问题：
(一)为解决人工智能研究应用领域特别是基于深度学习的神经网络在模型训练时缺乏有效监督的问题提供新方法；
(二)为解决步态、手势运动或其它特殊运动等生物特征识别缺乏有效数据训练集和比对样本的现实难题提供新途径；
(三)创新性提出了基于空域条件进一步增强运动模态识别效率的特殊应用场景解决方案。
本发明所采用的技术解决方案为：
(一)通过引入智能手机APP数据采集手段，自动采集智能手机中的陀螺仪、加速度计、磁传感器，A-GPS等原始数据，从根本上解决步态、手势运动或其它特殊运动等生物特征识别时缺乏有效数据训练集的现实难题；
(二)通过大数据分析和数据降噪，在陀螺仪、加速度计、磁传感器，A-GPS等原始数据中挖掘标准运动状态数据片段，进而通过(智能设备内部传感器)AI技术(主要指于深度学习的神经网络技术)提取生成多维特征向量训练集(以下简称A集)；
(三)同步通过现有视频流AI分析技术工具，提取生成对应的运动模态结果训练集(以下简称B集)，并将上述训练集的正、侧分量一并输入区间映射机器模型开展A、B集映射训练，根据训练结果调整AI分析模型直至最优化。其根本目的在于最终实现完全基于A训练集的运动模态识别。
在此需要进一步说明的有以下几点：1、B集只是基于视频流开展AI分析的结果，他并不能对运动模态进行真实表达和模型还原，而A集则是基于原始数据进行大数据分析的结果，他完全能对运动模态进行真实表达和模型还原；2、B集是基于非结构化的视频流产生的分析数据，因此相比于A训练集而言：一是数据量大，二是计算困难、三是数据采集存储难。因此，我们迫切需要通过AI技术(主要指于深度学习的神经网络技术)开展A、B集映射训练，最终实现完全基于A训练集的运动模态识别。
下面通过步态识别实施示例并结合附图，对本发明作进一步说明，根据对本示例的学习启发和推演，可以开发出其它场景应用，因此，在本案中不再一一列举：
第一阶段共分以下几个步骤
步骤一：通过智能手机APP数据采集实现对目标人群的常规运动数据采集：数据采集为50次/秒，采集内容为陀螺仪三维瞬间角度，加速度计瞬间三维加速度，磁传感器瞬间三维角度共9个维度向量数据，以及目标人群前所在位置经纬度(A-GPS数据)和目标人群身份ID，好友ID。
步骤二：将上述目标人群相应的后一时刻运行与前一时刻的陀螺仪三维角度相减并除以间隔时间生成三维角速度向量，同理将磁传感器三维角度作相应处理生成三维角速度向量，同时将加速度计瞬间三维加速度等结果向量一并存入数据库。
步骤三：根据目标人群常规运动采集数据既有一定的相似性，又有一定的差异性等特点，我们可做出如下判定：一是人们的正常步态具备周期性，其步频应当大致一样；二是由于每人的手机携带方式有一定的差异，传感器灵敏度有差异，动作协调性和步幅有一定差异，因此需要首先对正常步态所具备周期性进行大数据统计分析，对运动行程中产生的9个维度向量数据进行强相关性分析，次相关性分析，从中筛选出具备高度相关性的上述5-6个瞬间向量数据作为分析样本。
左转弯、右转弯、匀速走，快速走，慢跑、上台阶、下台阶等分析样本；
步骤四：由于人们的正常步态具备周期性，所以通过对同一人多个周期的样本数据，或多个人同一运动状态的样本数据进行周期函数学习。由于在上个步骤中筛选出的5-6个向量在具备运动特征高度相关性的同时，又具备个体自身运动的协调性，因此，这5-6个瞬间向量在一个运动周期内的多个瞬间向量均匀集中表达为5-6个基本运动特征向量，如果考虑到需要对运动特征作更精准描述，我们还可以在上述类别的向量中选择2个强相关向量进行高阶向量分析，最终合成为7-8个运动特征向量列表(以下简称A特征向量)。
第二阶段共分以下几个步骤
步骤一：将上述目标人群相应的常规运动视频流数据同样按50帧/秒采集入库，进而通过现有相对成熟的视频AI分析工具分析出上述目标人群相应的运动特征向量列表(以下简称B特征向量)。在工具选择时，尽量采用向量表达较为丰富的机器学习分析模型。
步骤二：在阐述该步骤之前，我们不妨先举一个有关机器学习模型训练的例子，比如我们企图通过一个人的声音来与一个人的人像进行特征向量匹配，我们无论采用何种机器学习模型进行训练都将是徒劳，因为同一个人的声音与同一个人的人像之间是没有强相关性的，必然存在机器学习模型在进行训练期间缺乏有效监督的问题，从而注定这种训练是失效的。
在本案中，尽管同一个目标人群所具备的A特征向量与B特征向量在表达上有较大差异，但这种差异主要来源于两个方面的内在原因：一是分析算法上的差异，二是视觉上的差异(即在第二阶段步骤一中，由于在采集运动视频流数据时，有可能是正面的，也有可能是侧面的，从而导致同一个人同一个运动会存在至少2种不同的B特征向量的可能性)，因此，我们就有必要对A特征向量进一步作出正向分解与侧向分解训练，以满足与之对应的B特征向量间的匹配。这在机器学习中，我们可通过在7-8个运动特征向量中随机抽取5-6个进行正向训练，随机抽取5～6个进行侧向训练，直至A正子特征向量或A侧子特征向量与B特征向量匹配在一个相对稳定的区间为止。我们之所以能够做出上述判断是基于两个重要因素：一、B特征向量通常是基于2D平面图计算来抽象表达的，因此在特征表达方面维度相对较低，而A特征向量是基于9个维度的关键运动特征数据来表达的；二、既然是同一个人的同一个运动模态，我们通过对高维度A特征向量进行正、侧分解后，理论上是可以与低维度B特征向量进行匹配的。因此，我们期望能通过机器学习得到A正子特征向量或A侧子特征向量后与B特征向量进行区间映射机器模型匹配训练，进而获得一个相对稳定区间映射机器模型预期是可以实现的。必要的时候，我们还可通过对B特征向量进行自身机器模型的反向修正，进一步提升区间模型稳定性。具体哪种机器模型效率较好，这需要一个在工程实践中反复验证的过程。
步骤三：尝试通过构建基于分解特征识别机器模型开展识别训练。必要时，可再次对A特征向量机器模型和区间映射机器模型进行修正，直到识别率满意为止。
步骤四：在完成上述两个阶段数据处理，机器学习模型训练完成后，我们就可以开展相应的步态识别和完成系统的应用搭建工作了。具体系统功能模块及业务流程详见附图1说明示意图。
各功能模块说明：
1、智能手机APP：主要采集智能手机中的陀螺仪、加速度计、磁传感器，A-GPS等与运动相关原始数据，以及用户所在位置经纬度(A-GPS数据)、身份ID、好友ID，自定义报警内容信息等。同时用于接收消息、触发自定义功能。
2、数据采集模块APP用户管理模块：主要用于接收智能手机APP采集数据，接收报警数据等待。
3、大数据存储：主要用于存储采集原始数据和过程数据。
4、大数据AI分析模块：主要用于实时获取用户当前位置信息，接收消息，提取A特征向量。
5、A特征向量集：用于存储提取出来的用户A特征向量样本。
6、基于A特征识别模块：主要用于1：N的A特征比对识别。
7、A特征向量分解机器模型：主要用于对A特征向量进行正向、侧向分解。
8、区间映射机器模型：前期主要用于A、B集映射，后期主要用于自动修正生成A特征向量正向、侧向分解集。
9、A特征向量正、侧集：用于存储提取出来的用户A特征正、侧向量样本；
10、基于分解特征识别模块：因缺乏原始比对样本，从而导致当前基于B特征识别而失效的情况下，该模块将根据接收到的位置信息自动获取当前用户的A特征正、侧向量作为比对样本并与当前获得的用户B特征向量进行2*M：1的识别(因为在该时间段，可能会同时收到M数量的当前用户位置信息和比对请求)
11、消息生成模块和消息推送模块：主要用于根据各种识别模块做出的判断结果结合当前用户自定义报警信息开展信息推送和大数据分析请求。
12、位置信息分发模块：主要用于根据大数据分析模块指令，向需要当前用户位置信息的各类模块分发位置信息，为各模块开展识别、数据抽取、报警提供相应位置信息支持。
13、报警监控模块：主要用于自动接收各类报警和用户自定义内容报警。
14、视频采集镜头：主要用于采集当前用户和目标人群(不一定每个用户均安装了APP)视频流数据，可能是正面的，也可能是侧面的。
15、视频存储：主要用于存储视频流并提供给视频AI分析模块用于提取当前用户和目标人群B特征向量。
16、视频AI分析模块：主要用于提取当前用户和目标人群B特征向量，并将结果送入B特征向量集作为本地比对样本，同时将该最新B特征向量送入基于B特征识别模块开展进一步识别。
17、基于B特征识别模块：主要用于将获取到的最新B特征向量与B特征向量集中的比对样本开展1：N识别，同时将分析结合送入消息生成模块。如果该模块识别失败，大数据AI分析模块将会对基于分解特征识别模块发出相应指令，从而启动二次识别。
18、B特征向量集：主要用于存储最新获取的B特征向量，为基于B特征识别模块提供本地B特征向量历史比对样本。
说明：1、上述9个维度的运动参数可对应生成9个瞬间向量，通过对同一人多个周期的样本数据，或多个人同一运动状态的样本数据进行周期函数学习，计算的出各个向量在具备运动特征高度相关性的同时，又具备个体自身运动的周期性、协调性，从而可将每个用户各个瞬间向量归并为周期向量生成用户运动参数特征向量第一数据库。
2、正常情况下，如果视频AI分析工具分析出的当前目标人群图像数据特征为M个对应的人，那么在第二数据库中相应的应该至少有M个历史图像数据特征值与之对应，否则没法进行比对识别。在缺乏历史比对样本的情况下，我们只有通过启动二次比对来完成后续工作。那就是调取第三数据库存中的2*M个历史样本与当前的M个目标人群进行逐一1：2*M比对。
3、第三数据库是由第一数据库即运动参数特征按照正方向、侧方向分解后进行匹配训练自动生成，因此在完成模型匹配训练后，第三数据库是由第一数据库直接生成的，他不再依赖于第二数据库而相对独立存在。第三数据库存在主要意义在于为当前所获取的目标人群图像数据特征向量提供二次比对历史样本，也就是说：1个当前图像数据特征向量必需对应有2个历史运动参数特征分解向量。
4、由于第二数据库中所表达的图像数据特征向量维度低，因此无法进行二次分解。所以我们只能通过对第一数据库中所表达的运动参数特征向量进行正方向和侧方向的耦合匹配。从而形成图像数据特征向量与运动参数分解特征向量之间1：2的对应关系。既无论图像数据特征向量是正向的、还是侧向的，我们都可以在运动参数分解特征向量中得到匹配。
具体工作流程举例说明：
假设甲、乙两人互为好友，均在自己智能手机中注册安装了APP，系统通过APP自动采集到了甲、乙两人的日常运动状态数据后，通过大数据AI分析自动提取出了甲、乙两人的常规步态运动特征向量并存入A特征向量集，同时自动通过A特征向量分解机器模型和区间映射机器模型自动获得了甲的A特征向量正集和A特征向量侧集。由于甲曾经在1区视频镜头出现，系统因此也获得了甲的视频特征向量并存入B特征向量集。当甲再次在1区视频镜头出现时，视频AI分析模块自动将甲当前的B特征向量送入基于B特征向量识别模块开展识别，由于B特征向量集中已经有了甲的历史比对样本，因此甲被准确识别并生成报警消息。
由于乙是甲的好友，因此乙与监控中心(APP中)同时收到了甲的报警信息和位置信息。此时，乙出于对好友的关心，立即往甲所在的1区视频镜头区域寻找甲，此时视频AI分析模块自动将获取的乙当前B特征向量送入基于B特征向量识别模块开展识别，由于乙未曾在该区域出现过，因此在B特征向量集中并无乙的历史比对样本，从而无法开展基于B特征向量识别。由于乙在该区域活动期间，大数据AI分析模块已经收到乙在该区域第一次比对失败的消息，从而自动发出指令将乙的B特征向量和乙的A特征向量正集和A特征向量侧集同时推送到该区域所在的基于分解特征识别模块开展二次识别。由于乙在该镜头区域出现时被捕获的是侧向画面，因而在A特征向量侧集被比中报警。此时，甲与监控中心同时收到了乙的报警信息和位置信息。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种生物特征运动模态智能识别方法，其特征在于，包括如下步骤：
S1，通过智能终端运动参数传感器获取用户身体运动参数数据，并形成多维度数据，将多维度数据与用户身份信息进行关联匹配；
S2，通过对上述用户身体运动参数数据集进行数据分析和机器学习模型不断训练之后形成用户身体运动参数特征向量第一数据库；
S3，通过视频图像采集方式获取用户身体运动图像数据集，经过机器学习模型不断训练之后形成用户身体运动图像特征向量第二数据库；
S4，将用户身体运动参数特征向量第一数据库按照正方向运动和侧方向运动参数特征向量分解后，与用户身体运动图像特征向量第二数据库进行数据映射匹配；
S5，判断映射匹配结果并根据用户身体运动参数特征向量进行映射校验，同时录入用户身体运动参数分解特征向量第三数据库。
2.根据权利要求1所述的生物特征运动模态智能识别方法，其特征在于，所述S1包括：
S1-1，根据陀螺仪传感器获取三维瞬间角度向量数据，
根据加速度传感器获取三维瞬间加速度向量数据，
根据磁传感器获取三维瞬间角度向量数据，
3.根据权利要求1所述的生物特征运动模态智能识别方法，其特征在于，所述S1还包括：
S1-2，根据用户所在位置进行经纬度数据P的定位，将用户的经纬度数据P，
和
进行收集，同时根据用户的身份信息进行身体运动参数关联匹配；
S1-3，根据身份信息快速匹配用户身体运动参数数据并形成基础数据；每种运动参数传感器采集频率为50-80次/s；
S1-4，将用户身体运动参数数据进行收集整理，分类为正常行走参数数据集、非正常运动参数数据集。在通常情况下，每个人在正常行走时，应具备各自不同但又相对稳定的步态特征。这就为我们下一步开展步态识别、比对提供了科学依据和理论支撑。
4.根据权利要求1所述的生物特征运动模态智能识别方法，其特征在于，所述S2包括：S2-1，通过获取其中之一的目标人群身体运动参数数据集中陀螺仪数据，生成的目标人群陀螺仪X轴角速度值
其中Δt为间隔时间，
为t时刻陀螺仪X轴运动角度，
为t+Δt时刻陀螺仪X轴运动角度，目标人群陀螺仪Y轴角速度值
为t时刻陀螺仪Y轴运动角度，
为t+Δt时刻陀螺仪Y轴运动角度，目标人群陀螺仪Z轴角速度值
为t时刻陀螺仪Z轴运动角度，
为t+Δt时刻陀螺仪Z轴运动角度；
S2-2，根据目标人群XYZ轴的陀螺仪角速度值，形成目标人群陀螺仪角速度向量
S2-3，通过获取该目标人群身体运动参数数据集中磁传感器数据，生成的目标人群磁传感器X轴角速度值
其中Δt为间隔时间，
为t时刻磁传感器X轴运动角度，
为t+Δt时刻磁传感器X轴运动角度，目标人群磁传感器Y轴角速度值
为t时刻磁传感器Y轴运动角度，
为t+Δt时刻磁传感器Y轴运动角度，目标人群磁传感器Z轴角速度值
为t时刻磁传感器Z轴运动角度，
为t+Δt时刻磁传感器Z轴运动角度；
S2-4，根据目标人群XYZ轴的磁传感器角速度值，形成目标人群磁传感器角速度向量
5.根据权利要求1所述的生物特征运动模态智能识别方法，其特征在于，所述S2还包括：
S2-5，通过获取该目标人群身体运动参数数据集中加速度数据，生成的目标人群加速度传感器X轴加速度值
其中Δt为间隔时间，ΔVx为X轴目标人群速度变化量，生成的目标人群加速度传感器Y轴加速度值
ΔVy为Y轴目标人群速度变化量，生成的目标人群加速度传感器Z轴加速度值
ΔVz为Z轴目标人群速度变化量，根据目标人群XYZ轴的加速度值，形成目标人群加速度传感器家速度向量
S2-6，形成陀螺仪、加速度和磁传感器的多维度向量
和
之后，进行相关性分析，将匀速走、跑步设置为强相关性数据，将左转弯、右转弯、上台阶、下台阶设置为弱相关性数据，根据获取用户身体运动参数后所执行命令的差别，也能够将强相关性数据设置为左转弯、右转弯、上台阶、下台阶，将匀速走、跑步设置为弱相关性数据。
6.根据权利要求1所述的生物特征运动模态智能识别方法，其特征在于，所述S2还包括：
其中对应9个维度向量集，遍历计算每个向量中的数值正确性，通过对同一人多个周期的样本数据，或多个人同一运动状态的样本数据进行周期函数学习，计算出各个向量在具备运动特征高度相关性的同时，又具备用户身体运动参数的周期性、协调性，从而将用户身体运动参数瞬间向量匹配形成周期向量生成用户运动参数特征向量第一数据库。
7.根据权利要求1所述的生物特征运动模态智能识别方法，其特征在于，所述S3包括：
S3-1，通过视频AI分析工具分析目标人群相应的运动图像数据，获取用户身体运动图像特征向量集，经过不断训练之后提取形成用户身体运动图像特征向量第二数据库；
S3-2，通过构建区间映射机器学习模型将用户身体运动参数特征向量第一数据库按照正方向运动和侧方向运动参数特征向量分解后与用户身体运动图像特征向量第二数据库进行数据映射匹配训练，判断映射匹配结果并根据用户身体运动参数特征向量进行映射校验，同时录入用户身体运动参数分解特征向量第三数据库。
8.根据权利要求1所述的生物特征运动模态智能识别方法，其特征在于，所述S4包括：
S4-1，通过构建基于分解特征识别机器模型开展图像识别训练，不断对第三数据库中分解特征向量和第二数据库中的目标人群图像数据提取模型进行映射，从而修正第一数据库和第二数据库的映射模型，直到达到训练完成度停止；同时将训练结果录入用户身体运动参数分解特征向量第三数据库。
9.根据权利要求1所述的生物特征运动模态智能识别方法，其特征在于，所述S5包括：
S5-1，通过训练之后可直接由第一数据库中M个目标人群运动参数特征向量生成对应M个目标人群的2*M个第三数据库正向运动参数特征向量和侧向运动参数特征向量集。此举主要用于今后和与之相对应第二数据库中新发现的目标人群运动图像数据特征向量进行二次比对；
S5-2，如果通过智能终端获取到新用户的运动身体参数数据，则会自动执行S2步骤，实时对陀螺仪、加速度和磁传感器参数数据进行多维度向量样本分析，自动生成第一数据库增量和第三数据库增量；
S5-3，如果新用户通过视频镜头触发视频AI分析工具，则会自动执行S3步骤，实时对运动图像数据进行运动图像数据特征向量样本分析，自动生成第二数据库增量，同时与第二数据库中的历史样本进行比对；当缺乏原始比对样本宣告识别失效时，系统自动会发起二次比对请求；
S5-4，当基于分解特征向量识别模块收到二次比对请求指令后，自动根据当前用户位置信息将其对应的第三数据库中所保存的运动参数分解特征向量调取出来与其对应的当前用户运动图像数据特征向量进行2*M：1的识别，并将比对结果发送至大数据分析模块、报警监控中心或直接发送至智能终端。
10.一种生物特征运动模态智能识别方法的应用，其特征在于，使用权利要求1的方法在智能终端进行报警、显示或者信息推送。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010665028.2A CN111783717B (zh) | 2020-07-10 | 2020-07-10 | 一种生物特征运动模态智能识别方法及其应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010665028.2A CN111783717B (zh) | 2020-07-10 | 2020-07-10 | 一种生物特征运动模态智能识别方法及其应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111783717A true CN111783717A (zh) | 2020-10-16 |
| CN111783717B CN111783717B (zh) | 2024-02-20 |
Family
ID=72768298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010665028.2A Active CN111783717B (zh) | 2020-07-10 | 2020-07-10 | 一种生物特征运动模态智能识别方法及其应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111783717B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114515146A (zh) * | 2020-11-17 | 2022-05-20 | 北京机械设备研究所 | 基于电学测量的智能手势识别方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102772211A (zh) * | 2012-08-08 | 2012-11-14 | 中山大学 | 一种人体运动状态检测系统及检测方法 |
| CN103886341A (zh) * | 2014-03-19 | 2014-06-25 | 国家电网公司 | 基于特征组合的步态行为识别方法 |
| CN106295501A (zh) * | 2016-07-22 | 2017-01-04 | 中国科学院自动化研究所 | 基于唇部运动的深度学习身份识别方法 |
| CN106725445A (zh) * | 2017-02-27 | 2017-05-31 | 厦门大学 | 一种脑电波控制的便携式人体运动损伤监护系统与方法 |
| US20170188895A1 (en) * | 2014-03-12 | 2017-07-06 | Smart Monitor Corp | System and method of body motion analytics recognition and alerting |
| CN107015646A (zh) * | 2017-03-28 | 2017-08-04 | 北京犀牛数字互动科技有限公司 | 运动状态的识别方法及装置 |
| CN109045682A (zh) * | 2018-07-13 | 2018-12-21 | 深圳众赢时代科技有限公司 | 一种降低投影手机与智能鞋互动健身游戏传输时延的方法 |
| US10213645B1 (en) * | 2011-10-03 | 2019-02-26 | Swingbyte, Inc. | Motion attributes recognition system and methods |
| CN110390565A (zh) * | 2019-07-23 | 2019-10-29 | 厦门市佳音在线股份有限公司 | 通过ai边缘计算实现智能网关自适应管理的方法及系统 |
| CN110909762A (zh) * | 2019-10-15 | 2020-03-24 | 北京航空航天大学 | 基于多传感器融合的机器人姿态识别方法及装置 |
-
2020
- 2020-07-10 CN CN202010665028.2A patent/CN111783717B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10213645B1 (en) * | 2011-10-03 | 2019-02-26 | Swingbyte, Inc. | Motion attributes recognition system and methods |
| CN102772211A (zh) * | 2012-08-08 | 2012-11-14 | 中山大学 | 一种人体运动状态检测系统及检测方法 |
| US20170188895A1 (en) * | 2014-03-12 | 2017-07-06 | Smart Monitor Corp | System and method of body motion analytics recognition and alerting |
| CN103886341A (zh) * | 2014-03-19 | 2014-06-25 | 国家电网公司 | 基于特征组合的步态行为识别方法 |
| CN106295501A (zh) * | 2016-07-22 | 2017-01-04 | 中国科学院自动化研究所 | 基于唇部运动的深度学习身份识别方法 |
| CN106725445A (zh) * | 2017-02-27 | 2017-05-31 | 厦门大学 | 一种脑电波控制的便携式人体运动损伤监护系统与方法 |
| CN107015646A (zh) * | 2017-03-28 | 2017-08-04 | 北京犀牛数字互动科技有限公司 | 运动状态的识别方法及装置 |
| CN109045682A (zh) * | 2018-07-13 | 2018-12-21 | 深圳众赢时代科技有限公司 | 一种降低投影手机与智能鞋互动健身游戏传输时延的方法 |
| CN110390565A (zh) * | 2019-07-23 | 2019-10-29 | 厦门市佳音在线股份有限公司 | 通过ai边缘计算实现智能网关自适应管理的方法及系统 |
| CN110909762A (zh) * | 2019-10-15 | 2020-03-24 | 北京航空航天大学 | 基于多传感器融合的机器人姿态识别方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114515146A (zh) * | 2020-11-17 | 2022-05-20 | 北京机械设备研究所 | 基于电学测量的智能手势识别方法及系统 |
| CN114515146B (zh) * | 2020-11-17 | 2024-03-22 | 北京机械设备研究所 | 基于电学测量的智能手势识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111783717B (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dikovski et al. | Evaluation of different feature sets for gait recognition using skeletal data from Kinect | |
| CN107506684B (zh) | 步态识别方法及装置 | |
| CN105630897B (zh) | 一种内容感知的地理视频多层次关联方法 | |
| CN108154075A (zh) | 经由单次学习的群体分析法 | |
| Qin et al. | A fuzzy authentication system based on neural network learning and extreme value statistics | |
| CN110428449A (zh) | 目标检测跟踪方法、装置、设备及存储介质 | |
| Bertoni et al. | Perceiving humans: from monocular 3d localization to social distancing | |
| CN110418337B (zh) | 身份认证方法、电子设备及计算机可读存储介质 | |
| CN1341401A (zh) | 基于部件主分量分析的多模式人脸识别方法 | |
| Redžić et al. | Image and wlan bimodal integration for indoor user localization | |
| CN109902681B (zh) | 用户群体关系确定方法、装置、设备及存储介质 | |
| CN111444488A (zh) | 一种基于动态手势的身份认证方法 | |
| Ding et al. | Interval type-2 fuzzy temporal convolutional autoencoder for gait-based human identification and authentication | |
| Huang et al. | Towards an efficient real-time kernel function stream clustering method via shared nearest-neighbor density for the IIoT | |
| CN111783717B (zh) | 一种生物特征运动模态智能识别方法及其应用 | |
| Cruciani et al. | Personalizing activity recognition with a clustering based semi-population approach | |
| CN113378691B (zh) | 基于实时用户行为分析的智能家居管理系统及方法 | |
| Zhang et al. | Human deep squat detection method based on MediaPipe combined with Yolov5 network | |
| CN113742669A (zh) | 一种基于孪生网络的用户认证方法 | |
| WO2019199942A1 (en) | Behavioral biometric feature extraction and verification | |
| Wang et al. | A novel multi-cue integration system for efficient human fall detection | |
| CN111767880B (zh) | 一种基于脸部特征的活体身份识别方法、装置和存储介质 | |
| CN111860097B (zh) | 一种基于模糊理论的异常行为检测方法 | |
| CN112257559A (zh) | 一种基于生物个体步态信息的身份识别方法 | |
| CN111414886A (zh) | 一种人体动态特征的智能识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240118 Address after: Unit 6-1, Unit 2, No. 27 Hebin South Road, Nanchuan City, Chongqing, 408400 Applicant after: Shao Yong Applicant after: Chongqing Zhiwu Konglian Technology Co.,Ltd. Address before: Unit 6-1, Unit 2, No. 27 Hebin South Road, Nanchuan City, Chongqing, 408400 Applicant before: Shao Yong |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |