CN115131874A - 一种用户行为识别预测方法、系统及智能安全帽 - Google Patents
一种用户行为识别预测方法、系统及智能安全帽 Download PDFInfo
- Publication number
- CN115131874A CN115131874A CN202210753900.8A CN202210753900A CN115131874A CN 115131874 A CN115131874 A CN 115131874A CN 202210753900 A CN202210753900 A CN 202210753900A CN 115131874 A CN115131874 A CN 115131874A
- Authority
- CN
- China
- Prior art keywords
- user
- behavior
- data
- human body
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- A—HUMAN NECESSITIES
- A42—HEADWEAR
- A42B—HATS; HEAD COVERINGS
- A42B3/00—Helmets; Helmet covers ; Other protective head coverings
- A42B3/04—Parts, details or accessories of helmets
- A42B3/0406—Accessories for helmets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Entrepreneurship & Innovation (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Development Economics (AREA)
Abstract
本发明适用于计算机技术领域，提供了一种用户行为识别预测方法、系统及智能安全帽，所述方法包括实时获取传感器数据，所述传感器数据至少包括定位数据、图像数据以及惯性数据，所述惯性数据包括倾角和加速度信息；对所述传感器数据进行处理，得到用户的基本动作特征，所述用户的基本动作特征至少包括人体动作、人体速度、头部动作、手部动作和全局定位；根据用户的基本动作特征得到用户的行为识别和预测结果；根据所述行为识别和预测结果，基于安全规范与用户行为之间的关系，向用户输出提醒信息，可实现对人体动作的辨识和预测，从而自动实现用户意图推断与提前示警，可以成为整个安全保障体系的有益补充。
Description
技术领域
本发明属于计算机技术领域，尤其涉及一种用户行为识别预测方法、系统及智能安全帽。
背景技术
建筑施工、电力等行业中，人员安全问题是重中之重。目前，为了定期检查工地是否存在各类安全隐患、是否作业正常，以及进行日常抄表等作业，通常是由安全员进行现场巡视。安全员自身的安全，需要依靠他们的自觉来保障，需要严格遵守各种规章制度，同时牢记安全隐患区域与操作流程。这对安全员素质要求很高，而且有些时候并非完全可靠，因为安全员可能并不总是在认知上或身体上能够主动地提供他们的想法的明确指示。
在一些行业，除了依靠严格培训、二人小组互相监督之外，开始引入第三方的系统，来额外进行监督。例如，国家电网就设立了后台安监部门，在前方人工作业时，通过后台监视固定摄像头或者头盔摄像头，观察作业人员是否违规，并及时提出警告。但是，这样的方法用人成本很高，后台人员也会疲劳，不适合在极高危场合之外的普遍场景推广。相关的系统很多时候也只是用于事故后的查找与事后处理。
基于此，本申请提出了一种用户行为识别预测方法、系统及智能安全帽。
发明内容
本发明实施例的目的在于提供一种用户行为识别预测方法、系统及智能安全帽，旨在解决背景技术中确定的现有技术所存在的技术问题。
本发明实施例是这样实现的，一种用户行为识别预测方法，所述方法包括以下步骤：
实时获取传感器数据，所述传感器数据至少包括定位数据、图像数据以及惯性数据，所述惯性数据包括倾角和加速度信息；
对所述传感器数据进行处理，得到用户的基本动作特征，所述用户的基本动作特征至少包括人体动作、人体速度、头部动作、手部动作和全局定位；
根据用户的基本动作特征得到用户的行为识别和预测结果；
根据所述行为识别和预测结果，基于安全规范与用户行为之间的关系，向用户输出提醒信息。
本发明实施例的另一目的在于提供一种用户行为识别预测系统，包括数据获取模块、基本动作特征识别模块、行为识别和预测模块和提醒模块，其中：
数据获取模块，用于实时获取传感器数据，所述传感器数据至少包括定位数据、图像数据以及惯性数据，所述惯性数据包括倾角和加速度信息；
基本动作特征识别模块，用于对所述传感器数据进行处理，得到用户的基本动作特征，所述用户的基本动作特征至少包括人体动作、人体速度、头部动作、手部动作和全局定位；
行为识别和预测模块，用于根据用户的基本动作特征得到用户的行为识别和预测结果；
提醒模块，用于根据所述行为识别和预测结果，基于安全规范与用户行为之间的关系，向用户输出提醒信息。
本发明实施例的另一目的在于提供一种智能安全帽，包括安全帽本体，还包括：
传感器模块，用于采集传感器数据，所述传感器数据至少包括定位数据、图像数据以及惯性数据；
供电模块，用于供电；
交互模块，用于与用户进行交互；
计算控制单元，用于执行所述用户行为识别预测方法的步骤。
本发明实施例提供的一种用户行为识别预测方法、系统及智能安全帽，可实现对人体动作的辨识和预测，从而自动实现用户意图推断与提前示警，可以成为整个安全保障体系的有益补充。
附图说明
图1为本发明实施例提供的用户行为识别预测方法的流程图；
图2为本发明实施例提供的得到用户的基本动作特征的流程图；
图3为本发明实施例提供的对实时获取所述加速度信息在固定时间间隔内进行积分计算速度以确定人体动作的流程图；
图4为本发明实施例提供的根据用户的基本动作特征得到用户的行为识别和预测结果的流程图；
图5为本发明实施例提供的构建双层隐马尔科夫模型的流程图；
图6为本发明实施例提供的双层隐马尔科夫模型的结构示意图；
图7为本发明实施例提供的根据所述行为识别和预测结果，基于安全规范与用户行为之间的关系，向用户输出提醒信息的流程图；
图8为本发明实施例提供的用户行为识别预测系统的结构框图；
图9为本发明实施例提供的智能安全帽的结构框图；
图10为一个实施例中计算机设备的内部结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
如图1所示，在一个实施例中，一种用户行为识别预测方法，所述方法包括以下步骤：
步骤S100，实时获取传感器数据，所述传感器数据至少包括定位数据、图像数据以及惯性数据，所述惯性数据包括倾角和加速度信息。
本发明实施例中，定位数据指的是用户在环境或者世界坐标系中的位置，其获取方式可以通过RFID、UWB等定位系统实现，图像数据可以通过摄像头等进行采集获取，惯性数据可以通过惯性测量单元imu来实现。
步骤S200，对所述传感器数据进行处理，得到用户的基本动作特征，所述用户的基本动作特征至少包括人体动作、人体速度、头部动作、手部动作和全局定位。
本发明实施例中，通过原始传感器数据，包括定位数据、图像、imu数据，初步的辨识区分用户的基本动作特征，包括人体动作、人体速度、头部动作、手部动作、全局定位相对于安全区的状态等等，其目的在于对用户状态进行初步的识别。
步骤S300，根据用户的基本动作特征得到用户的行为识别和预测结果。
步骤S400，根据所述行为识别和预测结果，基于安全规范与用户行为之间的关系，向用户输出提醒信息。
本发明实施例中，由于用户的行为具备一定的连续性，因此在某个行为被识别出后，可以对用户的下一个行为进行预测，例如，当发现用户正处于“在A点检查高空作业”的行为中，可以在佩戴安全帽的用户“抬头”作业之前，就提前通过安全帽向用户推送播报高空作业的正确规范，防止用户错误作业；当用户在处于“在B点检查电表状态”的行为中，发现用户跳过其他检查步骤，过早的将手部抬起，将要进入操作状态时(序列不符合预定操作规范)，可及时通过语音播报，提示其错误的操作行为。
在一个实施例中，如图2所示，步骤S200具体可以包括以下步骤：
步骤S201，对实时获取所述加速度信息在固定时间间隔内进行积分计算速度以确定人体动作，所述人体动作包括前进、后退、静止、上楼和下楼。
步骤S202，以所述速度信息表征人体速度，所述速度信息亦由加速度信息积分所得。
步骤S203，根据所述倾角信息确定头部动作。
步骤S204，根据图像数据确定手部动作。
步骤S205，根据定位数据确定用户在世界坐标系中的位置。
本发明实施例中，上述步骤不一定按照特定顺序进行执行，本实施例在此不进行具体限定。人体动作可以分为前进、后退、静止、上楼和下楼，其表达的是用户在一定时间内的运动趋势。此处，人体动作可以用F1＝[f1,f2,f3,f4,f5]来表示，f1、f2、f3、f4和f5分别表示前进、后退、静止、上楼和下楼，取值为0或1。人体速度表示的是表示为x、y和z三个方向的速度，记作
头部动作可以分别可分为：向上看、平视和向下看三种状态，它由imu的实时俯仰角来确定，记为PT＝(-1,0,1)，其中-1,0,1分别表示向下看、平视和向上看。
关于手部动作的确定，通过对图像数据的分析处理，一般情况来说，如果图像数据中存在或者显示用户的手部，可以理解为此时用户正在进行操作施工，如果不存在或者不显示用户的手部，说明此时用户处于非操作状态。在实际应用时，可以通过已训练好的手部识别分类器，对图像数据进行分析处理，分别有手部和无手部两大类，对应操作状态和非操作状态，记为PS＝(0,1)。
关于用户在世界坐标系中的位置，可以直接由定位数据得到，定位数据表示用户在当前作业场地的全局坐标位置；同时，如果作业场地划分了区域，比如，某个房间或者走廊或者其他，还需标注其所在区域。全局定位由x,y,z坐标以及表示区域的p来表示，其中p可以按照区域编号，依次取1，2，3，...，n。。基于此，用户在世界坐标系中的位置可以表示为D＝[x,y,z,p]。
综上所述，用户的基本动作特征可以表述为上述特征向量的组合，即为：
F＝[F1,V,PT,PS,D]。
在一个实施例中，如图3所示，所述步骤S201具体可以包括以下步骤：
步骤S2011，实时获取用户在各个方向上的加速度；
步骤S2012，对各个方向上的加速度在固定时间间隔进行积分以获取用户在各个方向上的速度；
步骤S2013，按下述规则确定人体动作：
各个方向速度均小于设定的第一阈值时，界定人体动作为静止；
当X正方向速度最大，且超过设定的第二阈值时，界定人体动作为前进；
当Z正方向大于设定的第三阈值时，界定人体动作为上楼。
本发明实施例中，人体动作包括前进、后退、静止、上楼和下楼，指示的是人整体在一定时间内的运动趋势。在实际应用时，可以通过imu获取实时加速度数据(accX，accY，accZ)，然后对各个方向上的加速度在固定时间间隔进行积分以获取用户在各个方向上的速度，本发明实施例中，时间间隔Δt可取0.5s。
在实际应用时，其判定或者界定规则可以如下：
当X正方向速度最大，且超过设定的第二阈值(可设置为0.2m/s)时，界定人体动作为前进；
对应的，X负方向速度最大，同理可判定为后退；
当各个方向速度均小于第一阈值(可设定为0.1m/s)时，可将人体动作界定为静止；
当Z方向速度持续向上，且大于第三阈值(可设置为0.1m/s)时，将人体动作界定为上楼。
这里的人体动作特征，最终可以用五位0或1的数据来表示。
在一个实施例中，如图4所示，步骤S300具体可以包括以下步骤：
步骤S301，构建双层隐马尔科夫模型，所述双层隐马尔科夫模型用于对用户的基本动作特征进行处理；
步骤S302，输入所述用户的基本动作特征，得到用户的行为识别和预测结果。
本发明实施例中，用户的长期行为与意图，可以由用户一段时间内的中间行为构成，而用户的中间行为又可以由连续一小段时间内的基本动作特征所表征。实际应用时，可以将其类比于句子的语义识别，对于一句话来说，它的含义对应于“用户的长期行为与意图”，而句子中若干词组成的短句短语，对应于“用户的中间行为”，每一个单词，则对应于“连续一小段时间类的基本动作特征”。
因此，为了识别用户的长期行为与意图，采用类似于句子语义识别的方法，利用双层隐马尔科夫模型的行为识别器来对用户的行为意图、中间行为、基本动作特征三个层次之间的关系进行建模，最终得到行为识别的结果，并且同时预测用户的行为。
在一个实施例中，如图5和6所示，步骤S301具体可以包括以下步骤：
步骤S3011，构建具备观测层、中间层和行为层的模型，所述观测层、中间层和行为层分别与用户的基本动作特征、中间行为和用户的行为意图对应；
步骤S3012，配置观测层、中间层和行为层的概率转化关系；
步骤S3013，输入样本对模型进行训练，得到双层隐马尔科夫模型。
本发明实施例中所述双层隐马尔科夫模型包括观测层、中间层、行为层三个层；每一层都按照上一时刻t-1、当前时刻t、下一时刻t+1来表述时间上的连续状态。
在行为层，用户当前t时刻的行为意图状态用At表示；它还包括了结束当前行为意图(行为意图切换)的中间状态Et；在中间层，用户当前t时刻的中间行为，用Ht表示；在观测层，对用户当前t时刻的观测特征，用Ot表示，它同时也对应于用户的基本动作特征F。
本发明实施例中，双层隐马尔科夫模型的基本意义是：用户的行为意图，决定了其一段时间内连续的中间行为，并且最终决定了其一段时间内的基本动作特征，而这些特征，最终对应于用户的不同传感器数据。在行为层、中间层、观测层之间的连线，就表示了它们之间不同状态转化的概率。
上述示例所构建的双层隐马尔科夫模型，它的每一个节点对应于一个状态转移矩阵。以At节点为例，它对应于如下的概率矩阵：
其中，αj表示第j个行为的默认先验概率，T(i,j)表示从第i个行为转移到第j个行为的概率，f＝1表示上一个行为状态已经明确终止，f＝0表示上一个行为状态没有明确中止。
类似的，对于Ht节点，它对应于如下的概率矩阵：
其中，βj表示第j个中间行为的默认先验概率；T(m,k)表示从第m个行为转移到第k个行为的概率，f＝1表示上一个行为状态已经明确终止，f＝0表示上一个行为状态没有明确中止。
在观测层与中间层之间，它们的关系可以用如下的观测模型来表示：
P(Ot|Ht＝m)＝C(m)；
其中，C(m)表示对应于当中间状态为m时，观测到Ot的离散点的采样分布。这里的Ot即对应于当前t时刻的用户基本动作特征向量。
例如在某工地，需要安全员进行：在A点检查高空作业；在B点检查电表状态两个任务。那么，“在A点检查高空作业”和“在B点检查电表状态”就分别对应于两个用户的行为；同时对应于行为层两个不同的主要状态。
以“在A点检查高空作业”为例，它可由一系列的中间行为来表示，例如，从起点出发→前往楼梯口→上楼梯→直线行走→停止→抬头等一系列中间行为组成，这些中间行为就分别对应不同的中间状态，也就是Ht。
以“上楼梯”这种中间行为为例，它对应于一系列的观测特征序列，也就是上述提及的用户的基本动作特征Ft。
对于某个工地的安全巡查任务而言，上述的双层隐马尔科夫模型可以通过指定安全员利用标准行为动作在环境中作业，通过一定次数的采集数据，利用期望最大算法等统计学习的方法，学习训练得到。在工地安全检查的过程中，用户的行为一般相对固定，而且符合既定流程与安全规范，随意的行为比较少。因此，利用双层隐马尔科夫模型来表示、预测用户的行为，是合理而且符合安全规范操作要求的在一个实施例中，如图7所示，步骤S400具体可以包括以下步骤：
步骤S401，获取用户的行为识别以及预测结果；
步骤S402，基于所述行为识别结果获取对应行为的预定操作安全规范序列；
步骤S403，判定用户行为的预测结果是否满足预定操作安全规范序列的规定；
步骤S404，当不满足时，向用户输出提醒信息。
本发明实施例中，通过双层隐马尔科夫模型可以实现对用户当前行为的一个识别、以及对用户下一行为的预测，基于此，可以实现对用户的主动提醒或者被动提醒。
本发明实施例中，在实际应用时，当发现安全员正处于“在A点检查高空作业”的行为中，可以在安全员“抬头”作业之前，就提前向安全员推送播报高空作业的正确规范，防止安全员错误作业，即为主动提醒。
当安全员在处于“在B点检查电表状态”的行为中，发现安全员跳过其他检查步骤，过早的将手部抬起，即不符合预定操作安全规范序列，将要进入操作状态时，可及时通过语音播报，提示其错误的操作行为。
如图8所示，在一个实施例中，提供了一种用户行为识别预测系统，该用户行为识别预测系统具体可以包括数据获取模块100、基本动作特征识别模块200、行为识别和预测模块300和提醒模块400。
数据获取模块100，用于实时获取传感器数据，所述传感器数据至少包括定位数据、图像数据以及惯性数据，所述惯性数据包括倾角和加速度信息；
基本动作特征识别模块200，用于对所述传感器数据进行处理，得到用户的基本动作特征，所述用户的基本动作特征至少包括人体动作、人体速度、头部动作、手部动作和全局定位；
行为识别和预测模块300，用于根据用户的基本动作特征得到用户的行为识别和预测结果；
提醒模块400，用于根据所述行为识别和预测结果，基于安全规范与用户行为之间的关系，向用户输出提醒信息。
如图9所示，在一个实施例中，提供了一种智能安全帽，包括安全帽本体，还包括：
传感器模块a，用于采集传感器数据，所述传感器数据至少包括定位数据、图像数据以及惯性数据；
供电模块b，用于供电；
交互模块c，用于与用户进行交互；
计算控制单元d，用于执行所述用户行为识别预测方法的步骤。但不限于执行上述步骤，例如计算控制单元d还可以对其余模块进行管理，比如进行电量的显示、交互模块c的音量控制等。
本发明实施例中所述传感器模块a可以包括摄像头、RFID定位芯片、Imu传感器等，摄像头用于采集正前方的连续的图像信息，一般与用户的视野基本重合，实际应用时，传感器模块a中用于定位的部分也可以通过其他方式来实现，例如UWB定位系统等。交互模块c可以包括喇叭和扬声器，主要可以实现与用户之间的语音交互。供电模块b可以由电池和变压、充电、供电线路构成，负责供电。
图10示出了一个实施例中计算机设备的内部结构图。如图10所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现用户行为识别预测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行用户行为识别预测方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的用户行为识别预测系统可以实现为一种计算机程序的形式，计算机程序可在如图10所示的计算机设备上运行。计算机设备的存储器中可存储组成该用户行为识别预测系统的各个程序模块，比如，图8所示的数据获取模块100、基本动作特征识别模块200、行为识别和预测模块300和提醒模块400。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的用户行为识别预测方法中的步骤。
例如，图10所示的计算机设备可以通过如图8所示的用户行为识别预测系统中的数据获取模块100、基本动作特征识别模块200、行为识别和预测模块300和提醒模块400分别执行步骤S100、步骤S200、步骤S300和步骤S400。
在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
步骤S100，实时获取传感器数据，所述传感器数据至少包括定位数据、图像数据以及惯性数据，所述惯性数据包括倾角和加速度信息。
步骤S200，对所述传感器数据进行处理，得到用户的基本动作特征，所述用户的基本动作特征至少包括人体动作、人体速度、头部动作、手部动作和全局定位。
步骤S300，根据用户的基本动作特征得到用户的行为识别和预测结果。
步骤S400，根据所述行为识别和预测结果，基于安全规范与用户行为之间的关系，向用户输出提醒信息。
在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
步骤S100，实时获取传感器数据，所述传感器数据至少包括定位数据、图像数据以及惯性数据，所述惯性数据包括倾角和加速度信息。
步骤S200，对所述传感器数据进行处理，得到用户的基本动作特征，所述用户的基本动作特征至少包括人体动作、人体速度、头部动作、手部动作和全局定位。
步骤S300，根据用户的基本动作特征得到用户的行为识别和预测结果。
步骤S400，根据所述行为识别和预测结果，基于安全规范与用户行为之间的关系，向用户输出提醒信息。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种用户行为识别预测方法，其特征在于，所述方法包括以下步骤：
实时获取传感器数据，所述传感器数据至少包括定位数据、图像数据以及惯性数据，所述惯性数据包括倾角和加速度信息；
对所述传感器数据进行处理，得到用户的基本动作特征，所述用户的基本动作特征至少包括人体动作、人体速度、头部动作、手部动作和全局定位；
根据用户的基本动作特征得到用户的行为识别和预测结果；
根据所述行为识别和预测结果，基于安全规范与用户行为之间的关系，向用户输出提醒信息。
2.根据权利要求1所述的方法，其特征在于，所述对所述传感器数据进行处理，得到用户的基本动作特征的步骤，具体包括：
对实时获取所述加速度信息在固定时间间隔内进行积分计算速度以确定人体动作，所述人体动作包括前进、后退、静止、上楼和下楼；
以所述速度信息表征人体速度；
根据所述倾角信息确定头部动作；
根据图像数据确定手部动作；
根据定位数据确定用户在世界坐标系中的位置。
3.根据权利要求2所述的方法，其特征在于，所述对实时获取所述加速度信息在固定时间间隔内进行积分计算速度以确定人体动作的步骤，具体包括：
实时获取用户在各个方向上的加速度；
对各个方向上的加速度在固定时间间隔进行积分以获取用户在各个方向上的速度；
按下述规则确定人体动作：
各个方向速度均小于设定的第一阈值时，界定人体动作为静止；
当X正方向速度最大，且超过设定的第二阈值时，界定人体动作为前进；
当Z正方向大于设定的第三阈值时，界定人体动作为上楼。
4.根据权利要求1所述的方法，其特征在于，所述根据用户的基本动作特征得到用户的行为识别和预测结果的步骤，具体包括：
构建双层隐马尔科夫模型，所述双层隐马尔科夫模型用于对用户的基本动作特征进行处理；
输入所述用户的基本动作特征，得到用户的行为识别和预测结果。
5.根据权利要求4所述的方法，其特征在于，所述构建双层隐马尔科夫模型的步骤，具体包括：
构建具备观测层、中间层和行为层的模型，所述观测层、中间层和行为层分别与用户的基本动作特征、中间行为和用户的行为意图对应；
配置观测层、中间层和行为层的概率转化关系；
输入样本对模型进行训练，得到双层隐马尔科夫模型。
6.根据权利要求1所述的方法，其特征在于，所述根据所述行为识别和预测结果，基于安全规范与用户行为之间的关系，向用户输出提醒信息的步骤，具体包括：
获取用户的行为识别以及预测结果；
基于所述行为识别结果获取对应行为的预定操作安全规范序列；
判定用户行为的预测结果是否满足预定操作安全规范序列的规定；
当不满足时，向用户输出提醒信息。
7.一种用户行为识别预测系统，其特征在于，包括数据获取模块、基本动作特征识别模块、行为识别和预测模块和提醒模块，其中：
数据获取模块，用于实时获取传感器数据，所述传感器数据至少包括定位数据、图像数据以及惯性数据，所述惯性数据包括倾角和加速度信息；
基本动作特征识别模块，用于对所述传感器数据进行处理，得到用户的基本动作特征，所述用户的基本动作特征至少包括人体动作、人体速度、头部动作、手部动作和全局定位；
行为识别和预测模块，用于根据用户的基本动作特征得到用户的行为识别和预测结果；
提醒模块，用于根据所述行为识别和预测结果，基于安全规范与用户行为之间的关系，向用户输出提醒信息。
8.一种智能安全帽，包括安全帽本体，其特征在于，还包括：
传感器模块，用于采集传感器数据，所述传感器数据至少包括定位数据、图像数据以及惯性数据；
供电模块，用于供电；
交互模块，用于与用户进行交互；
计算控制单元，用于执行如执行权利要求1至6中任一项权利要求所述用户行为识别预测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210753900.8A CN115131874B (zh) | 2022-06-29 | 2022-06-29 | 一种用户行为识别预测方法、系统及智能安全帽 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210753900.8A CN115131874B (zh) | 2022-06-29 | 2022-06-29 | 一种用户行为识别预测方法、系统及智能安全帽 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115131874A true CN115131874A (zh) | 2022-09-30 |
| CN115131874B CN115131874B (zh) | 2023-10-17 |
Family
ID=83381077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210753900.8A Active CN115131874B (zh) | 2022-06-29 | 2022-06-29 | 一种用户行为识别预测方法、系统及智能安全帽 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115131874B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103318181A (zh) * | 2013-06-19 | 2013-09-25 | 电子科技大学 | 一种驾驶员意图识别方法 |
| CN103640532A (zh) * | 2013-11-29 | 2014-03-19 | 大连理工大学 | 基于驾驶员制动与加速意图辨识的行人防碰撞预警方法 |
| CN105787434A (zh) * | 2016-02-01 | 2016-07-20 | 上海交通大学 | 基于惯性传感器的人体运动模式识别方法 |
| US20170300825A1 (en) * | 2015-11-24 | 2017-10-19 | Bae Systems Information And Electronic Systems Integration Inc. | Hidden markov model for jammer behavior prediction |
| CN107390865A (zh) * | 2017-06-28 | 2017-11-24 | 国网上海市电力公司 | 一种适用于可穿戴巡检系统的智能头盔 |
| CN108627153A (zh) * | 2018-05-11 | 2018-10-09 | 南京大学 | 一种基于惯性传感器的刚体运动追踪系统及其工作方法 |
| US20210004611A1 (en) * | 2019-07-05 | 2021-01-07 | Zoox, Inc. | Prediction on top-down scenes based on action data |
| CN112329560A (zh) * | 2020-10-23 | 2021-02-05 | 岭东核电有限公司 | 核电作业人员的违规行为识别方法、装置和计算机设备 |
| CN112434669A (zh) * | 2020-12-14 | 2021-03-02 | 武汉纺织大学 | 一种多信息融合的人体行为检测方法及系统 |
| CN112580550A (zh) * | 2020-12-24 | 2021-03-30 | 康佳集团股份有限公司 | 一种利用人机物时空交互关系的用户意图预测方法及装置 |
| CN112754096A (zh) * | 2020-12-28 | 2021-05-07 | 北京田一科技有限公司 | 智能安全帽 |
| CN113114994A (zh) * | 2021-04-08 | 2021-07-13 | 中山大学 | 行为感知方法、装置及设备 |
| CN113920461A (zh) * | 2021-10-09 | 2022-01-11 | 国网甘肃省电力公司电力科学研究院 | 一种电网运维过程图像监测系统及监测方法 |
| WO2022036866A1 (zh) * | 2020-08-21 | 2022-02-24 | 广东电网有限责任公司清远供电局 | 变电站作业防误预警系统 |
| CN114111777A (zh) * | 2021-11-24 | 2022-03-01 | 中国矿业大学(北京) | 一种基于头部姿态监测的井下人员状态感知系统 |
| CN114218998A (zh) * | 2021-11-02 | 2022-03-22 | 国家电网有限公司信息通信分公司 | 一种基于隐马尔可夫模型的电力系统异常行为分析方法 |
-
2022
- 2022-06-29 CN CN202210753900.8A patent/CN115131874B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103318181A (zh) * | 2013-06-19 | 2013-09-25 | 电子科技大学 | 一种驾驶员意图识别方法 |
| CN103640532A (zh) * | 2013-11-29 | 2014-03-19 | 大连理工大学 | 基于驾驶员制动与加速意图辨识的行人防碰撞预警方法 |
| US20170300825A1 (en) * | 2015-11-24 | 2017-10-19 | Bae Systems Information And Electronic Systems Integration Inc. | Hidden markov model for jammer behavior prediction |
| CN105787434A (zh) * | 2016-02-01 | 2016-07-20 | 上海交通大学 | 基于惯性传感器的人体运动模式识别方法 |
| CN107390865A (zh) * | 2017-06-28 | 2017-11-24 | 国网上海市电力公司 | 一种适用于可穿戴巡检系统的智能头盔 |
| CN108627153A (zh) * | 2018-05-11 | 2018-10-09 | 南京大学 | 一种基于惯性传感器的刚体运动追踪系统及其工作方法 |
| US20210004611A1 (en) * | 2019-07-05 | 2021-01-07 | Zoox, Inc. | Prediction on top-down scenes based on action data |
| WO2022036866A1 (zh) * | 2020-08-21 | 2022-02-24 | 广东电网有限责任公司清远供电局 | 变电站作业防误预警系统 |
| CN112329560A (zh) * | 2020-10-23 | 2021-02-05 | 岭东核电有限公司 | 核电作业人员的违规行为识别方法、装置和计算机设备 |
| CN112434669A (zh) * | 2020-12-14 | 2021-03-02 | 武汉纺织大学 | 一种多信息融合的人体行为检测方法及系统 |
| CN112580550A (zh) * | 2020-12-24 | 2021-03-30 | 康佳集团股份有限公司 | 一种利用人机物时空交互关系的用户意图预测方法及装置 |
| CN112754096A (zh) * | 2020-12-28 | 2021-05-07 | 北京田一科技有限公司 | 智能安全帽 |
| CN113114994A (zh) * | 2021-04-08 | 2021-07-13 | 中山大学 | 行为感知方法、装置及设备 |
| CN113920461A (zh) * | 2021-10-09 | 2022-01-11 | 国网甘肃省电力公司电力科学研究院 | 一种电网运维过程图像监测系统及监测方法 |
| CN114218998A (zh) * | 2021-11-02 | 2022-03-22 | 国家电网有限公司信息通信分公司 | 一种基于隐马尔可夫模型的电力系统异常行为分析方法 |
| CN114111777A (zh) * | 2021-11-24 | 2022-03-01 | 中国矿业大学(北京) | 一种基于头部姿态监测的井下人员状态感知系统 |
Non-Patent Citations (2)
| Title |
|---|
| M. HUMAYUN KABIR等: "Two-Layer Hidden Markov Model for Human Activity Recognition in Home Environments", 《INTERNATIONAL JOURNAL OF DISTRIBUTED SENSOR NETWORKS》, pages 1 - 12 * |
| 石祥滨等: "基于组合特征的人体动作识别算法研究", 《沈阳航空航天大学学报》, pages 1 - 6 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115131874B (zh) | 2023-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021179818A1 (zh) | 行驶状态识别方法、装置、终端及存储介质 | |
| Munoz et al. | Distinguishing patterns in drivers’ visual attention allocation using Hidden Markov Models | |
| CN113723528B (zh) | 车载语视融合多模态交互方法及系统、设备、存储介质 | |
| CN111581623B (zh) | 智能数据交互方法、装置、电子设备及存储介质 | |
| CN113569627A (zh) | 人体姿态预测模型训练方法、人体姿态预测方法及装置 | |
| Lai et al. | An ensemble of knowledge sharing models for dynamic hand gesture recognition | |
| Rozaliev et al. | Methods and Models for Identifying Human Emotions by Recognition Gestures and Motion | |
| CN115131874B (zh) | 一种用户行为识别预测方法、系统及智能安全帽 | |
| CN113469023A (zh) | 确定警觉度的方法、装置、设备和存储介质 | |
| Peng et al. | Reservoir computing models based on spiking neural P systems for time series classification | |
| Reimer et al. | Patterns in transitions of visual attention during baseline driving and during interaction with visual–manual and voice-based interfaces | |
| CN112364912A (zh) | 信息分类方法、装置、设备及存储介质 | |
| CN110459296A (zh) | 信息推送方法及相关产品 | |
| CN111027215A (zh) | 针对虚拟人的性格训练系统及其方法 | |
| D’Ulizia | Exploring multimodal input fusion strategies | |
| Dai et al. | Investigating the dynamic memory effect of human drivers via ON-LSTM | |
| US20210326659A1 (en) | System and method for updating an input/output device decision-making model of a digital assistant based on routine information of a user | |
| Teng et al. | A transformer-based multimodal network for audiovisual depression prediction | |
| Guo et al. | Temporal Information Fusion Network for Driving Behavior Prediction | |
| CN110717377B (zh) | 人脸驾驶风险预测模型训练及其预测方法及相关设备 | |
| Sahoo et al. | Two layered gated recurrent stacked long short-term memory networks for driver’s behavior analysis | |
| Stanley et al. | Modeling the effects of new automation capabilities on air traffic control operations: Approved for public release; Distribution unlimited. Case number 17-2692 | |
| Yin et al. | A Face Mask Detection Algorithm Based on YOLOv5 | |
| Leemann et al. | Distribution Preserving Multiple Hypotheses Prediction for Uncertainty Modeling | |
| US20240152788A1 (en) | Information processing system, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |