CN106933483A - 一种可以感知用户感受的触摸交互方式 - Google Patents

一种可以感知用户感受的触摸交互方式 Download PDF

Info

Publication number
CN106933483A
CN106933483A CN201710112057.4A CN201710112057A CN106933483A CN 106933483 A CN106933483 A CN 106933483A CN 201710112057 A CN201710112057 A CN 201710112057A CN 106933483 A CN106933483 A CN 106933483A
Authority
CN
China
Prior art keywords
user
svri
ppg
interaction
impression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710112057.4A
Other languages
English (en)
Inventor
吕勇强
张潇
史元春
尹浩
罗晓民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201710112057.4A priority Critical patent/CN106933483A/zh
Publication of CN106933483A publication Critical patent/CN106933483A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种可以感知用户感受的触摸交互方式，通过与传统触摸交互模态的无缝结合，在不影响用户既有触摸交互习惯前提下，实现对用户心理状态的精准感知，包括：在进行触摸交互如滑动、点击等过程中采集手指的原始PPG信号片段，并进行波形处理挑选，数字滤波，消除噪声；根据处理好后的波形进行周围血管压力响应指数(sVRI)特征提取，评估心理状态；结合当前的交互应用通过sVRI对用户心理状态的精准感知；根据分析出的用户的心理状态，调整当前交互的内容和形式，从而使交互的结果中用户心理状态造成的影响降至最低；本发明不仅有利于设计者改善交互设计，而且有利于智能应用基于用户状态提供精确情境感知和精准主动服务。

Description

一种可以感知用户感受的触摸交互方式
技术领域
本发明属于计算机技术领域，涉及人机交互，特别涉及一种可以感知用户感受的触摸交互方式。
背景技术
人类的生活脱离不开数字化和信息化的介入，网络信息、通讯的日益便捷，缩小了地域空间的实际距离，却也弱化了人与人之间，人与物之间，人与环境之间的实际交流与对话，人类的生活是需要建立在互动、交流基础上的。而现阶段人机交互的信息通道还是传统多模态方式，包括触摸、语音、图像、计算机IO等等，计算机对用户的使用状态尤其是心理状态缺乏实时感知，交互智能性不高。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种可以感知用户感受的触摸交互方式，基于发明人自主提出的心理压力感知技术sVRI，通过与传统触摸交互模态的无缝结合，在不影响用户既有触摸交互习惯的前提下，实现对用户心理状态的精准感知，不仅有利于设计者改善交互设计，而且有利于智能应用基于用户状态提供精确情境感知和精准主动服务。
为了实现上述目的，本发明采用的技术方案是：
一种可以感知用户感受的触摸交互方式，包括：
通过用户触摸交互行为采集用户手指的原始的血管容积波(PPG)信号片段；
对原始的PPG信号片段进行波形处理挑选，并进行数字滤波，消除噪声；
根据处理好后的波形进行周围血管压力响应指数(sVRI)特征提取，评估心理状态；
结合当前的交互应用通过sVRI对用户心理状态的精准感知；
以及，根据分析出的用户的心理状态，调整当前交互的内容和形式，从而使交互的结果中用户心理状态造成的影响降至最低。
采用由集成反射式PPG传感器点阵构成的触摸屏为交互设备，在交互过程中，通过PPG传感器采集原始的PPG信号片段。
所述触摸交互行为包括滑动和点击：
点击行为下，PPG片段直接得到；
滑动行为下，对用户手指在屏幕上的滑动轨迹曲线进行离散化，形成按照时序排列的轨迹离散点向量Vc，基于Vc按照最近原则，实现轨迹到最近传感点的映射，即模型粗化，得到向量Vs，由Vs中的所有实际映射后的活跃传感器返回实测的离散PPG片段。
所述对原始的PPG信号片段进行波形处理挑选，主要包括：
片段提取：在用户产生触摸交互行为时，提取该时刻的原始的PPG信号片段；
根据阀值切割：在用户交互的过程中，首先将收集到的PPG信号进行处理，根据阀值将原始PPG信号切割成以单个PPG信号为最小单位的片段；
定位波峰波谷：根据PPG信号片段的波峰波谷来确定PPG信号位置；
波形挑选：对于定位后的PPG信号，过滤掉不完整的部分，从而可以进入sVRI的计算模型进行处理。
所述sVRI特征提取的方法是：每个PPG波形对应的瞬时sVRI标准特征定义为PPG波形相邻波段中，上升沿和下降沿的平均振幅的比值，由此获得多个瞬时sVRI标准特征，在瞬时sVRI特征提取之后，通过动态滑动窗口整理和基于统计学的数据调制，获得连续稳定的sVRI输出。
所述连续稳定的sVRI输出的获取过程为：
采用动态滑动窗口，把连续PPG波形通过窗口滑动的方式，使每个窗口包括一系列连续的PPG波形，即包括一系列连续的瞬时sVRI，每个窗口内部采用基于统计学的数据调制处理窗口包含的瞬时sVRI，一个窗口只输出一个稳定的sVRI，作为这个窗口的输出，由此得到连续稳定的sVRI输出；
所述基于统计学的数据调制方法为：
在每个窗口内，采用基于正态分布的sVRI滤波与稳定策略，对窗口内数据进行基于正态分布假设的异常数据(outlier)滤波和数学期望提取，最后的数学期望即该窗口的sVRI输出。
在该交互过程中，目标设备同时还通过交互通道获得用户的认知负载和心理压力，实现“感知人心理”的交互方式。
所述结合当前的交互应用实现对用户心理状态的精准感知具体是指，根据交互过程中求出的sVRI的值，分析用户当前的认知压力，再结合当前的交互应用，分析用户的心理状态；例如，在游戏过程中，发现用户认知压力过大，可以认为当前游戏难度过大，导致用户非常紧张。
所述根据分析出的用户的心理状态，调整当前交互的内容和形式，具体是指，检测到用户压力过大后，降低交互难度；检测到用户心理状态非常平稳，可以适当增加交互任务和难度。
与现有技术相比，本发明基于认知负载与心理压力感知技术sVRI，通过与传统触摸交互模态的无缝结合，在不影响用户既有触摸交互习惯的前提下，实现对用户心理状态的精准感知，不仅有利于设计者改善交互设计，而且有利于智能应用基于用户状态提供精确情境感知和精准主动服务。
附图说明
图1为基于点阵传感的滑动测量。
图2为根据PPG信号求sVRI参数的过程
图3为PPG波形分割筛选流程。
图4为可感知用户感受的触摸交互流程图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
一种可感知用户感受的触摸人机交互方式，首先通过用户触摸交互行为采集PPG信号。
在包含触摸屏的设备上，比如触摸式会议桌，智能手机等便携终端，汽车中控台等，通过触摸屏下方增加红外感应层，通过反射式的sVRI检测，从而达到获取用户感知压力的目的。
对于同一个位置的点击可以直接得到PPG片段，对于图1所示的滑动情况，还需要通过对用户手指在屏幕上的滑动轨迹(红色曲线)曲线进行离散化，形成按照时序排列的轨迹离散点向量Vc，基于Vc按照最近原则，实现轨迹到最近传感点的映射(模型粗化)，得到向量Vs，由Vs中的所有实际映射后的活跃传感器返回实测的离散PPG片段。
sVRI的标准特征如图2定义，PPG波形的分两个波段，左端的平均振幅是A1、右端的平均振幅是A2。每个PPG波形对应的瞬时周围血管应变(sVRI)标准特征定义为PPG波形相邻波段的平均振幅的比值，即如图2中所示的A2/A1。
图3是对离散PPG片段进行提取处理的过程，主要包括片段提取，根据阀值切割，定位波峰波谷，和波形挑选。首先在用户产生触摸交互行为时，提取该时刻的原始的PPG信号片段；然后将收集到的PPG信号进行处理，根据阀值将原始PPG信号切割成以单个PPG信号为最小单位的片段。再根据信号片段中的波峰波谷来确定PPG信号位置。最后对于定位后的PPG信号，过滤掉不完整的部分，从而可以进入sVRI的计算模型进行处理。
图4是可感知用户感受的触摸交互流程图，根据分割筛选后波形计算出sVRI后就可以评估用户的心里压力，然后结合当前的交互智能调整交互的内容和形式。例如：工作效能提醒，在需要触屏办公的环境中实时监测工作人员的sVRI，从而得知工作人员当前心理压力，如果当前压力过高，可能影响工作效率，通过放松提醒，让工作人员在稍事休息后降低心理压力，达到更高的工作效率。
本发明的可感知用户感受的触摸交互方式流程如图4所示，首先通过用户在集成反射式PPG传感器点阵的触摸平面上(如平板或者手机)的交互行为采集PPG信号片段；其次进行PPG波形的处理，并进行sVRI计算，根据计算结果评估用户认知负载和心理压力得出用户感受；根据求出的用户感受调整正在交互的内容或者形式，如个性化交互优化、工作效能提醒、智能帮教等。
本发明所基于的心理压力感知技术sVRI，是通过透射式或者反射式光电传感器采集血管容积波信号，并进行滤波，消除噪声；进行瞬时周围血管应变特征提取；通过动态滑动窗口整理和基于统计学的数据调制，获得连续稳定的sVRI输出；最后使用sVRI评估认知负载和压力水平。该技术具体、详细的技术方案在申请人所申请的专利CN105852884A中有明确记载，本发明是在该现有技术方案的基础上做出的。

Claims (10)

1.一种可以感知用户感受的触摸交互方式，其特征在于，包括：
通过用户触摸交互行为采集用户手指的原始的血管容积波(PPG)信号片段；
对原始的PPG信号片段进行波形处理挑选，并进行数字滤波，消除噪声；
根据处理好后的波形进行周围血管压力响应指数(sVRI)特征提取，评估心理状态；
结合当前的交互应用通过sVRI对用户心理状态的精准感知；
以及，根据分析出的用户的心理状态，调整当前交互的内容和形式，从而使交互的结果中用户心理状态造成的影响降至最低。
2.根据权利要求1所述可以感知用户感受的触摸交互方式，其特征在于，采用由集成反射式PPG传感器点阵构成的触摸屏为交互设备，在交互过程中，通过PPG传感器采集原始的PPG信号片段。
3.根据权利要求1所述可以感知用户感受的触摸交互方式，其特征在于，所述触摸交互行为包括滑动和点击。
4.根据权利要求3所述可以感知用户感受的触摸交互方式，其特征在于，
点击行为下，PPG片段直接得到；
滑动行为下，对用户手指在屏幕上的滑动轨迹曲线进行离散化，形成按照时序排列的轨迹离散点向量Vc，基于Vc按照最近原则，实现轨迹到最近传感点的映射，即模型粗化，得到向量Vs，由Vs中的所有实际映射后的活跃传感器返回实测的离散PPG片段。
5.根据权利要求1所述可以感知用户感受的触摸交互方式，其特征在于，所述对原始的PPG信号片段进行波形处理挑选，主要包括：
片段提取：在用户产生触摸交互行为时，提取该时刻的原始的PPG信号片段；
根据阀值切割：在用户交互的过程中，首先将收集到的PPG信号进行处理，根据阀值将原始PPG信号切割成以单个PPG信号为最小单位的片段；
定位波峰波谷：根据PPG信号片段的波峰波谷来确定PPG信号位置；
波形挑选：对于定位后的PPG信号，过滤掉不完整的部分，从而可以进入sVRI的计算模型进行处理。
6.根据权利要求5所述可以感知用户感受的触摸交互方式，其特征在于，所述sVRI特征提取的方法是：每个PPG波形对应的瞬时sVRI标准特征定义为PPG波形相邻波段中，上升沿和下降沿的平均振幅的比值，由此获得多个瞬时sVRI标准特征，在瞬时sVRI特征提取之后，通过动态滑动窗口整理和基于统计学的数据调制，获得连续稳定的sVRI输出。
7.根据权利要求6所述可以感知用户感受的触摸交互方式，其特征在于，所述连续稳定的sVRI输出的获取过程为：
采用动态滑动窗口，把连续PPG波形通过窗口滑动的方式，使每个窗口包括一系列连续的PPG波形，即包括一系列连续的瞬时sVRI，每个窗口内部采用基于统计学的数据调制处理窗口包含的瞬时sVRI，一个窗口只输出一个稳定的sVRI，作为这个窗口的输出，由此得到连续稳定的sVRI输出。
8.根据权利要求7所述可以感知用户感受的触摸交互方式，其特征在于，所述基于统计学的数据调制方法为：
在每个窗口内，采用基于正态分布的sVRI滤波与稳定策略，对窗口内数据进行基于正态分布假设的异常数据(outlier)滤波和数学期望提取，最后的数学期望即该窗口的sVRI输出。
9.根据权利要求1所述可以感知用户感受的触摸交互方式，其特征在于，在该交互过程中，目标设备同时还通过交互通道获得用户的认知负载和心理压力，实现“感知人心理”的交互方式。
10.根据权利要求1所述可以感知用户感受的触摸交互方式，其特征在于，所述结合当前的交互应用实现对用户心理状态的精准感知具体是指，根据交互过程中求出的sVRI的值，分析用户当前的认知压力，再结合当前的交互应用，分析用户的心理状态；所述根据分析出的用户的心理状态，调整当前交互的内容和形式，具体是指，检测到用户压力过大后，降低交互难度；检测到用户心理状态非常平稳，可以适当增加交互任务和难度。
CN201710112057.4A 2017-02-28 2017-02-28 一种可以感知用户感受的触摸交互方式 Pending CN106933483A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710112057.4A CN106933483A (zh) 2017-02-28 2017-02-28 一种可以感知用户感受的触摸交互方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710112057.4A CN106933483A (zh) 2017-02-28 2017-02-28 一种可以感知用户感受的触摸交互方式

Publications (1)

Publication Number Publication Date
CN106933483A true CN106933483A (zh) 2017-07-07

Family

ID=59424340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710112057.4A Pending CN106933483A (zh) 2017-02-28 2017-02-28 一种可以感知用户感受的触摸交互方式

Country Status (1)

Country Link
CN (1) CN106933483A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109121108A (zh) * 2018-08-01 2019-01-01 佛山市苔藓云链科技有限公司 一种基于物联网的感知控制系统
CN109189273A (zh) * 2018-11-06 2019-01-11 业成科技（成都）有限公司 触控事件处理方法、装置、计算机设备和存储介质
CN109497984A (zh) * 2018-12-27 2019-03-22 深圳还是威健康科技有限公司 一种心率信号的处理方法及相关设备
CN110200641A (zh) * 2019-06-04 2019-09-06 清华大学 一种基于触摸屏测量认知负荷与心理压力的方法及装置
CN110262767A (zh) * 2019-06-03 2019-09-20 清华大学 基于靠近嘴部检测的语音输入唤醒装置、方法和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101437079A (zh) * 2008-12-31 2009-05-20 深圳华为通信技术有限公司 一种移动终端用户情绪缓解方法及移动终端
US20140142403A1 (en) * 2012-06-22 2014-05-22 Fitbit, Inc. Biometric monitoring device with heart rate measurement activated by a single user-gesture
CN104360800A (zh) * 2014-10-23 2015-02-18 深圳市金立通信设备有限公司 一种解锁模式调整方法
CN105852884A (zh) * 2016-03-22 2016-08-17 清华大学 一种基于周围血管应变的认知负载和压力测量方法与装置
CN106055236A (zh) * 2016-05-30 2016-10-26 努比亚技术有限公司 一种内容推送方法及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101437079A (zh) * 2008-12-31 2009-05-20 深圳华为通信技术有限公司 一种移动终端用户情绪缓解方法及移动终端
US20140142403A1 (en) * 2012-06-22 2014-05-22 Fitbit, Inc. Biometric monitoring device with heart rate measurement activated by a single user-gesture
CN104360800A (zh) * 2014-10-23 2015-02-18 深圳市金立通信设备有限公司 一种解锁模式调整方法
CN105852884A (zh) * 2016-03-22 2016-08-17 清华大学 一种基于周围血管应变的认知负载和压力测量方法与装置
CN106055236A (zh) * 2016-05-30 2016-10-26 努比亚技术有限公司 一种内容推送方法及终端

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109121108A (zh) * 2018-08-01 2019-01-01 佛山市苔藓云链科技有限公司 一种基于物联网的感知控制系统
CN109189273A (zh) * 2018-11-06 2019-01-11 业成科技（成都）有限公司 触控事件处理方法、装置、计算机设备和存储介质
CN109189273B (zh) * 2018-11-06 2021-11-26 业成科技（成都）有限公司 触控事件处理方法、装置、计算机设备和存储介质
CN109497984A (zh) * 2018-12-27 2019-03-22 深圳还是威健康科技有限公司 一种心率信号的处理方法及相关设备
CN110262767A (zh) * 2019-06-03 2019-09-20 清华大学 基于靠近嘴部检测的语音输入唤醒装置、方法和介质
CN110262767B (zh) * 2019-06-03 2022-03-11 交互未来(北京)科技有限公司 基于靠近嘴部检测的语音输入唤醒装置、方法和介质
CN110200641A (zh) * 2019-06-04 2019-09-06 清华大学 一种基于触摸屏测量认知负荷与心理压力的方法及装置

Similar Documents

Publication Publication Date Title
CN106933483A (zh) 一种可以感知用户感受的触摸交互方式
CN101732050B (zh) 一种基于光电容积波的呼吸率监测方法
CN108392211B (zh) 一种基于多信息融合的疲劳检测方法
CN105943015A (zh) 一种主动降噪的穿戴式心率变异性监测设备
CN104720748B (zh) 一种睡眠阶段确定方法和系统
CN108765876A (zh) 基于多模信号的驾驶疲劳深度分析预警系统及方法
CN104490387B (zh) 能够抑制运动干扰的无线便携与穿戴式心电检测器
CN105395192A (zh) 一种基于脑电的可穿戴情感识别方法和系统
CN204674751U (zh) 一种可测量生理参数的自行车
CN106562766A (zh) 一种基于石墨烯传感器的中医脉象检测系统及其脉象识别方法
CN107212883B (zh) 一种基于脑电控制的机械臂写字装置及控制方法
CN103027668A (zh) 用于中医脉诊的脉搏信号的处理
CN112099624B (zh) 多模态菱形框架式电容感应手势识别系统
CN106859608A (zh) 动态中医三部脉象电信号连续监测和实时分析系统
CN206499449U (zh) 一种脉搏波采集手环
CN109157232A (zh) 心率变异性反馈训练辅助方法、装置、设备及存储介质
CN106484082B (zh) 一种基于生物电的控制方法、装置及控制器
CN115040095A (zh) 适老化多功能自主非侵入式动态生理信号监测分析系统
CN110200642A (zh) 一种认知负荷与心理压力的测量方法及终端
CN205433676U (zh) 一种基于树莓派的便携式人体多生理参数检测仪
CN109949897A (zh) 监护曲线的显示方法、装置及终端设备
CN208511016U (zh) 一种生命体征综合检测分析系统
WO2020132899A1 (zh) 血压脉象检测系统及其检测方法、检测装置
CN109717832A (zh) 一种基于手写文字输入的手部运动功能分析装置
CN104665828A (zh) 基于肌电信号控制遥控器的系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170707

RJ01 Rejection of invention patent application after publication