CN110740211B - 基于行进状态感知和专注度感知的非干扰式危险预警方法 - Google Patents

基于行进状态感知和专注度感知的非干扰式危险预警方法 Download PDF

Info

Publication number
CN110740211B
CN110740211B CN201910851461.2A CN201910851461A CN110740211B CN 110740211 B CN110740211 B CN 110740211B CN 201910851461 A CN201910851461 A CN 201910851461A CN 110740211 B CN110740211 B CN 110740211B
Authority
CN
China
Prior art keywords
user
state
data
mobile phone
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910851461.2A
Other languages
English (en)
Other versions
CN110740211A (zh
Inventor
董玮
高艺
蔡振宇
王敏玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910851461.2A priority Critical patent/CN110740211B/zh
Publication of CN110740211A publication Critical patent/CN110740211A/zh
Application granted granted Critical
Publication of CN110740211B publication Critical patent/CN110740211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72418User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting emergency services
    • H04M1/72421User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting emergency services with automatic activation of emergency service functions, e.g. upon sensing an alarm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Telephone Function (AREA)

Abstract

在用户使用智能手机行进过程中实时进行危险预警的方法,步骤为:采集用户使用智能手机过程中的传感器数据和用户交互数据,采集的数据首先被标注后用于离线地预训练出行进状态感知模块中用于感知手机状态和用户状态的分类模型,其次作为实际危险预警进程的输入数据。在实际的危险预警进程中,首先由行进状态感知模块检测出手机的状态和用户的状态,然后将手机状态和采集的用户交互数据输入专注度感知模块量化用户使用智能手机的专注度,最后结合专注度值、用户状态、行进速度三者综合评估用户当前的危险系数并合理发出危险预警。本发明通过非干扰式地从智能手机上获取各类传感器数据以及用户与手机之间的交互数据,为用户提供危险预警。

Description

基于行进状态感知和专注度感知的非干扰式危险预警方法
技术领域
本发明涉及一种在用户使用智能手机行进过程中实时进行危险预警的方法。
背景技术
最近的十多年来,智能手机已经取代了传统的功能手机,融入了人们日常生活的方方面面,是现代每个人不可或缺的随身物品。但是随着人们对智能手机依赖性的增强,有越来越多的安全隐患暴露出来。例如日常生活中我们经常可以看到行人边走路边使用手机,也有不少人在骑自行车或者是电瓶车的过程中使用智能手机,他们或者是为了娱乐,或者是为了工作,但是这些行为都可能导致危险的发生。
智能手机自出现以来发展迅猛,搭载其上的各类传感器也随之更新换代。惯性传感器已经是智能手机的标配,包括加速度传感器、陀螺仪、距离传感器等等。此外,用户平时使用频率较高的还有定位模块,麦克风,摄像头等待。这些传感器提供的信息,可以反映用户及手机状态的变化。
如今智能手机使用的主流操作系统,主要包括Google公司开发的Android操作系统和苹果公司开发的iOS操作系统。不同于iOS相对封闭的特点,Android操作系统是一个基于Linux内核开发的开源操作系统。在智能手机上,用户的操作通常包括在屏幕上的点击操作、滑动操作、实体按键的按压操作等。Android底层将用户的这些输入动作以二进制的格式保存下来,存储于文件之中。通过借助Linux提供的getevent命令,我们可以获得关于输入设备和内核输入事件的实时转储的信息。
行进状态感知指的是对用户行进时候的状态进行区分。本专利考虑的行进状态包括走路、跑步、骑自行车、骑电动车。同样在使用智能手机的情况下,不同的行进状态引发危险的概率并不相同。通常来说,走路的同时使用智能手机在日常生活中出现的频率是最高的,而跑步的同时使用智能手机的情况一般只发生在用户跑步锻炼的时候。骑车的同时使用智能手机的情况通常发生于用户需要查看导航软件或者是和人电话交流的时候。相对来说,用户在骑车时遭遇障碍物或者发生碰撞的危险性要大于走路和跑步的时候,另外,行进速度的提高也会提高发生危险的概率。
为了感知用户的行进状态,来自智能手机传感器的数据是必不可少的。但是不同传感器的精度不同,功耗不同,能够提供的数据也不尽相同,如何合理的选择传感器以及如何将不同传感器的数据结合起来,通过较低的代价获得令人满意的数据是一个难点。
此外,仅仅知悉用户的行进状态还不足以进行危险预警,当用户在行进的同时使用智能手机时,特别是当用户比较专注地使用时,发生危险的概率就会大大提高。反映用户使用智能手机专注度的事物有很多,例如用户的手持姿势,手持时长,交互的频率等等。精确地感知用户使用智能手机的专注度可以大大提高危险预警的准确性。
非干扰式的方法指的是本技术方法在执行的过程中无须用户的主动参与,无论是对用户行进状态的感知还是对其使用智能手机专注度的感知都不需要用户参与录入自身所处的状态。干扰式的方法与此相反,例如在判断用户的行进状态时直接发送弹窗向用户询问。干扰式的方法实现起来简单,但是妨碍了用户正常的智能手机使用体验,同时像专注度这样的参数无法被用户主动量化填写。非干扰式的方法可以最大程度上避免这些问题。
发明内容
本发明要克服现有技术的上述缺点,提供一种基于行进状态感知和专注度感知的非干扰式危险预警方法。
本发明力图为用户日常的智能手机使用提供一种危险预警的方法。该方法通过非干扰式地从智能手机上获取各类传感器数据以及用户与手机之间的交互数据,分析出用户行进时的状态和用户使用智能手机的专注度,结合用户行进的速度进行综合评估,为用户提供危险预警。
为实现以上目的,本发明所采取的技术方案是:一种基于行进状态感知和专注度感知的非干扰式危险预警方法,包括以下步骤:
(1)采集必要的数据,包括传感器数据和用户与手机交互的数据,数据采集可以分为两类:
11)第一类要求获取不同用户在不同行进状态下智能手机的数据。该类数据可以提供给步骤(2),用来离线的预先训练出用于后续实时感知行进状态的分类模型。
12)第二类即实时采集智能手机的数据以在线地感知用户的行进状态、专注度以及行进速度。
(2)使用步骤11)采集的数据,预训练得到行进状态感知模块:
21)将数据分成两份,一份用于训练行进状态感知模块中的用户状态检测模型,一份用于训练模块中的手机状态检测模型。
22)针对用于训练手机状态检测模型的数据,正确标注不同数据在采集时智能手机实际所处的状态。
23)针对用于训练用户状态检测模型的数据,正确标注不同数据在采集时用户实际所处的状态。
24)根据采集的数据和标记的类别进行机器学习,分别训练出可以用于分类的两个模型。
(3)在实际的危险预警进程中,将步骤12)采集的数据输入步骤(2)训练的模型,感知用户状态和手机状态。
(4)根据步骤(3)得到的不同的手机状态,结合步骤12)的数据,实时感知用户使用智能手机的专注度:
41)当手机状态为“贴耳打电话”时,设置此时的用户专注度。
42)当手机状态为“身前使用”时,结合用户和智能手机之间的交互特征,量化用户此时的专注度。
(5)根据步骤12)得到的数据,计算得到用户的行进速度。
(6)结合步骤(3)感知得到的用户状态、步骤(4)感知得到的用户专注度和步骤(5)得到的用户行进速度,综合评估用户当前的危险系数,当超过阈值时向用户发送危险预警。
本发明的优点是:借助智能手机上已有的硬件获取用户的行进状态、用户使用智能手机的专注度,同时结合用户的行进速度,在综合分析之后给出危险预警,为用户日常使用智能手机提供了安全保障;同时,本方法的整个过程是非干扰式的,不需要用户的主动参与,保障了用户正常使用智能手机的体验。
附图说明
图1是本发明依次进行数据采集、行进状态感知、专注度感知和危险预警的整体工作流程图。
图2是本发明的行进状态感知模块的训练过程示意图。
具体实施方式
下面结合附图进一步说明本发明的技术方案。
本发明以智能手机上的传感器数据和用户交互数据为输入,通过训练分类模型去感知用户行进状态,同时量化用户使用智能手机的专注度,并且结合用户移动速度进行综合分析,得到危险系数并发出危险预警。具体步骤如下所示:
(1)通过实现一个后台服务自动地采集智能手机的数据,包括各类传感器的数据,例如加速度传感器、陀螺仪、距离传感器,同时通过getevent命令去获取用户和智能手机的交互数据。数据采集的场景分为两类:
11)第一类数据用于在实际的危险预警之前,离线的训练出用于实时感知行进状态的分类模型,数据采集需要寻找多名志愿者在不同用户状态和手机状态下使用手机。用户状态包括走路、跑步、骑自行车、骑电瓶车以及其它共五种,其它可以是用户静止、乘公交等状态。手机状态包括“贴耳打电话”、“身前使用”、其它共三种,这里的“身前使用”指的是手机被用户纵向或者横向手持于身前使用的姿势,其它指的是手机被平放、被用户抓在手中正常走路等状态。
12)第二类数据实时采集,在真实的危险预警场景下即时地感知用户的行进状态、专注度以及行进速度,从而实现危险预警。
(2)根据步骤11)采集的数据,预先训练出用于行进状态感知模块的分类模型:
21)将数据分成两份,一份用于训练行进状态感知模块中的用户状态检测模型,一份用于训练模块中的手机状态检测模型。
22)针对用于训练手机状态检测模型的数据,正确标注不同数据在采集时智能手机实际所处的状态。
23)针对用于训练用户状态检测模型的数据,正确标注不同数据在采集时用户实际所处的状态。
24)根据采集的数据和标记的类别进行机器学习,将步骤22)和步骤23)的数据输入支持向量机训练分类模型,同时通过十折交叉验证调整参数,提高分类效果。
(3)在实际的危险预警进程中,将步骤12)采集的传感器数据输入步骤(2)训练的分类模型,感知用户状态和手机状态。
(4)根据步骤(3)得到的不同的手机状态,结合步骤12)的数据,实时感知用户使用智能手机的专注度:
41)当手机状态为“贴耳打电话”时,设置此时的用户专注度为定值,即参数focus=0.5。
42)当手机状态为“身前使用”时,此时的用户专注度可以通过公式(1)计算得到。
Figure GDA0002548216970000061
式中f为分析getevent事件流还原出的最近5秒用户和智能手机的每秒交互次数,交互包括:触碰、滑动、拖曳、多指手势操作,多点触控视为触碰多次。参数t指本次手机状态变为“身前使用”所持续的时间。
(5)根据步骤12)得到的加速度传感器和GPS数据,计算出用户的行进速度v。
(6)结合步骤(3)感知得到的用户状态、步骤(4)感知得到的用户专注度和步骤(5)得到的用户行进速度,综合评估用户当前的危险系数rf,见公式(2)。
rf=focus*us_factor+v 公式(2)
当危险系数rf超过阈值2时,向用户发送危险预警。式中us_factor指代不同的用户状态对应的状态系数,见表一。
表1不同用户状态对应的状态系数
用户状态 走路 跑步 骑自行车 骑电瓶车 其它
us_factor 1 1.1 1.3 1.5 0
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.基于行进状态感知和专注度感知的非干扰式危险预警方法,包括以下步骤:
(1)通过实现一个后台服务自动地采集智能手机的数据,包括各类传感器的数据,同时通过getevent命令去获取用户和智能手机的交互数据;数据采集的场景分为两类:
11)第一类数据用于在实际的危险预警之前,离线的训练出用于实时感知行进状态的分类模型,数据采集需要寻找多名志愿者在不同用户状态和手机状态下使用手机;用户状态包括走路、跑步、骑自行车、骑电瓶车以及其它共五种;手机状态包括“贴耳打电话”、“身前使用”、其它共三种,这里的“身前使用”指的是手机被用户纵向或者横向手持于身前使用的姿势;
12)第二类数据实时采集,在真实的危险预警场景下即时地感知用户的行进状态、专注度以及行进速度,从而实现危险预警;
(2)根据步骤11)采集的数据,预先训练出用于行进状态感知模块的分类模型:
21)将数据分成两份,一份用于训练行进状态感知模块中的用户状态检测模型,一份用于训练模块中的手机状态检测模型;
22)针对用于训练手机状态检测模型的数据,正确标注不同数据在采集时智能手机实际所处的状态;
23)针对用于训练用户状态检测模型的数据,正确标注不同数据在采集时用户实际所处的状态;
24)根据采集的数据和标记的类别进行机器学习,将步骤22)和步骤23)的数据输入支持向量机训练分类模型,同时通过十折交叉验证调整参数,提高分类效果;
(3)在实际的危险预警进程中,将步骤12)采集的传感器数据输入步骤(2)训练的分类模型,感知用户状态和手机状态;
(4)根据步骤(3)得到的不同的手机状态,结合步骤12)的数据,实时感知用户使用智能手机的专注度:
41)当手机状态为“贴耳打电话”时,设置此时的用户专注度为定值,即参数focus=0.5;
42)当手机状态为“身前使用”时,此时的用户专注度可以通过公式(1)计算得到;
Figure FDA0002548216960000021
式中f为分析getevent事件流还原出的最近5秒用户和智能手机的每秒交互次数,交互包括:触碰、滑动、拖曳、多指手势操作,多点触控视为触碰多次;参数t指本次手机状态变为“身前使用”所持续的时间;
(5)根据步骤12)得到的加速度传感器和GPS数据,计算出用户的行进速度v;
(6)结合步骤(3)感知得到的用户状态、步骤(4)感知得到的用户专注度和步骤(5)得到的用户行进速度,综合评估用户当前的危险系数rf,见公式(2);
rf=focus*us_factor+v 公式(2)
当危险系数rf超过阈值2时,向用户发送危险预警;式中us_factor指代不同的用户状态对应的状态系数,其中用户状态是走路时是1,用户状态是跑步时是1.1,用户状态是骑自行车时是1.3,用户状态是骑电瓶车时是1.5,用户状态是其它时是0。
CN201910851461.2A 2019-09-10 2019-09-10 基于行进状态感知和专注度感知的非干扰式危险预警方法 Active CN110740211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910851461.2A CN110740211B (zh) 2019-09-10 2019-09-10 基于行进状态感知和专注度感知的非干扰式危险预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910851461.2A CN110740211B (zh) 2019-09-10 2019-09-10 基于行进状态感知和专注度感知的非干扰式危险预警方法

Publications (2)

Publication Number Publication Date
CN110740211A CN110740211A (zh) 2020-01-31
CN110740211B true CN110740211B (zh) 2020-08-21

Family

ID=69267897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910851461.2A Active CN110740211B (zh) 2019-09-10 2019-09-10 基于行进状态感知和专注度感知的非干扰式危险预警方法

Country Status (1)

Country Link
CN (1) CN110740211B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627615A (zh) * 2022-03-01 2022-06-14 重庆邮电大学 一种行走时使用手机的危险提示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106371554A (zh) * 2015-07-23 2017-02-01 阿里巴巴集团控股有限公司 一种状态提醒方法和装置
CN109637089A (zh) * 2019-01-08 2019-04-16 合肥鑫晟光电科技有限公司 用户安全的预警方法及装置
CN110151201A (zh) * 2019-06-25 2019-08-23 南京好好玩智能科技有限公司 一种用于专注度的提醒装置及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101726849B1 (ko) * 2010-08-06 2017-04-13 삼성전자주식회사 휴대 단말, 휴대 단말을 이용한 위험 감지 장치 및 방법
CN105701015B (zh) * 2016-01-11 2018-04-17 西安交通大学 一种基于用户模型的智能手机人机界面可用性评估方法
CN106303041A (zh) * 2016-08-17 2017-01-04 珠海格力电器股份有限公司 一种预警信息的生成方法和一种移动终端
CN106534523A (zh) * 2016-10-28 2017-03-22 维沃移动通信有限公司 一种移动终端危险预警的方法及移动终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106371554A (zh) * 2015-07-23 2017-02-01 阿里巴巴集团控股有限公司 一种状态提醒方法和装置
CN109637089A (zh) * 2019-01-08 2019-04-16 合肥鑫晟光电科技有限公司 用户安全的预警方法及装置
CN110151201A (zh) * 2019-06-25 2019-08-23 南京好好玩智能科技有限公司 一种用于专注度的提醒装置及方法

Also Published As

Publication number Publication date
CN110740211A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN110288979B (zh) 一种语音识别方法及装置
US10532749B2 (en) Systems and methods to adjust autonomous vehicle parameters in response to passenger feedback
CN101278324B (zh) 自适应驾驶员工作负荷估计器
CN110765807B (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
US10140533B1 (en) Apparatuses, systems and methods for generating data representative of vehicle occupant postures
KR20190115040A (ko) 운전 거동 결정 방법, 디바이스, 장비 및 저장 매체
US10783360B1 (en) Apparatuses, systems and methods for vehicle operator gesture recognition and transmission of related gesture data
CN107031622A (zh) 用于碰撞避免的训练算法
JP6612707B2 (ja) 情報提供装置
US20220041168A1 (en) Apparatuses, Systems and Methods for Determining Distracted Drivers Associated With Vehicle Driving Routes
US20190362565A1 (en) Method and device for in-vehicle payment
CN107408258A (zh) 在运载工具中呈现广告
US10990837B1 (en) Systems and methods for utilizing machine learning and feature selection to classify driving behavior
US10943136B1 (en) Apparatuses, systems and methods for generating a vehicle driver signature
CN110443190A (zh) 一种对象识别方法和装置
CN107662613B (zh) 一种基于移动群智感知的极端驾驶行为识别方法及系统
CN107277222A (zh) 基于手机内置传感器的用户行为状态判断方法
KR20150038877A (ko) 사용자 입력에 대응되는 이벤트를 이용한 유저 인터페이싱 장치 및 방법
CN112002027A (zh) 高速公路计费方法、装置、终端及存储介质
CN110740211B (zh) 基于行进状态感知和专注度感知的非干扰式危险预警方法
CN110516760A (zh) 情境识别方法、装置、终端及计算机可读存储介质
US20170344123A1 (en) Recognition of Pickup and Glance Gestures on Mobile Devices
KR101584458B1 (ko) 혼합 센서 데이터 기반 실시간 행위인지 및 자세인지 장치 및 그 방법
CN115617217A (zh) 一种车辆状态的显示方法、装置、设备及可读存储介质
CN111310650A (zh) 车辆乘坐对象的分类方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant