CN116126131A - 一种目标场景的识别方法、系统及计算机可读存储介质 - Google Patents
一种目标场景的识别方法、系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116126131A CN116126131A CN202210431708.7A CN202210431708A CN116126131A CN 116126131 A CN116126131 A CN 116126131A CN 202210431708 A CN202210431708 A CN 202210431708A CN 116126131 A CN116126131 A CN 116126131A
- Authority
- CN
- China
- Prior art keywords
- user
- wearable device
- terminal device
- information
- wearable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及智慧生活领域,公开了一种目标场景的识别方法、系统及计算机可读存储介质,用以通过可穿戴设备便携地实现对目标场景的识别。该方法可应用于目标场景的识别系统,所述系统包括第一可穿戴设备和终端设备。所述第一可穿戴设备对用户的手部动作进行监测,若监测到用户存在与预设饮酒动作轨迹匹配度大于指定匹配度阈值的手部动作轨迹,向所述终端设备发送第一指示信息;所述终端设备接收并响应于所述第一指示信息,获取用户相关的生理指标的变化值;若所述用户相关的生理指标的变化值大于或等于目标场景所对应的预设变化阈值,所述终端设备识别到所述用户处于所述目标场景中。
Description
相关申请的交叉引用
本申请要求在2021年11月12日提交中华人民共和国知识产权局、申请号为202111341745.0、申请名称为“一种对醉酒状态进行识别的智能穿戴装置、方法”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请实施例涉及智慧生活技术领域,尤其涉及一种目标场景的识别方法、系统及计算机可读存储介质。
背景技术
随着人们物质生活的日渐丰富,在社交活动中,饮酒成为了不可避免的一部分。但是饮酒所带来的危害也是不容忽视的,除了会对身体造成的损伤外,酒后驾车也会造成严重的交通隐患;同时,过度饮酒(即醉酒)后,饮酒者在行走时容易步态不稳,可能造成跌倒问题,从而带来二次危害。另一方面,目前智能可穿戴设备正蓬勃发展,可以实现越来越多的功能,如心率监测、温度监测、位置定位及运动类型感应等。
因此,如何通过可穿戴设备实现对如饮酒等目标场景的识别,是值得研究的。
发明内容
本申请实施例提供一种目标场景的识别方法、系统及计算机可读存储介质,用以通过可穿戴设备实现对目标场景的识别,以便于可以基于目标场景进行相应地及时处理,例如告警等处理。
第一方面,本申请实施例提供了一种目标场景的识别方法,所述方法可应用于目标场景的识别系统,所述系统包括第一可穿戴设备和终端设备。所述方法包括:所述第一可穿戴设备对用户的手部动作进行监测,若监测到用户存在与预设饮酒动作轨迹匹配度大于指定匹配度阈值的手部动作轨迹,向所述终端设备发送第一指示信息;所述终端设备接收并响应于所述第一指示信息,获取用户相关的生理指标的变化值;若所述用户相关的生理指标的变化值大于或等于目标场景所对应的预设变化阈值,所述终端设备识别到所述用户处于所述目标场景中。
该方法中,通过可穿戴设备对手部动作的监测,若监测到与预设饮酒动作轨迹相同或相似的手部动作,则可以启动对目标场景的识别流程。也即,终端设备可以通过结合用户的生理指标的变化值,进一步确定用户的生理指标的变化情况是否满足目标场景下对应的变化情况特性,从而可以对用户处于目标场景的情况进行更加准确地识别。这样,本申请实施例通过用户已有的终端设备和可穿戴设备可以便携地实现对目标场景的识别,可以便于终端设备进行用户处于目标场景时相应的处理,例如,若用户处于饮酒场景时,终端设备可及时进行提醒或向紧急联系人发送提示信息等。并且,本申请实施例提供的方法,无需与云侧设备进行交互,因此无需受到网络限制。因此通过对目标场景准确地、及时的识别,更好地保障用户安全,提升用户体验。
在一种可能的设计中,所述系统还包括第二可穿戴设备。所述方法还包括:若所述终端设备识别到所述用户处于所述目标场景中,所述终端设备向所述第二可穿戴设备发送第二指示信息;所述第二可穿戴设备接收并响应于所述第二指示信息,启动对用户步态信息的监测;若所述第二可穿戴设备分析到异常步态信息,将所述异常步态信息上传给所述终端设备,以使所述终端设备对所述异常步态信息进行异常响应处理;或者,所述第二可穿戴设备向所述终端设备上传所述用户步态信息,以使所述终端设备对所述用户步态信息进行分析,且若所述终端设备分析到异常步态信息,对所述异常步态信息进行异常响应处理。
该设计中,在终端设备确定用户处于目标场景的基础上,终端设备还可进一步通过第二可穿戴设备对异常步态信息进行及时地监测,从而可便于对异常步态信息进行异常响应处理。例如,若终端设备获取到用户在饮酒场景下,并且存在危险步态,可以及时地向紧急联系人发送告警信息或通过用户的终端设备/第二可穿戴设备进行提醒等,从而可避免用户的潜在危险。
在一种可能的设计中,所述预设饮酒动作轨迹包括相继发生的以下动作:举杯动作,敬酒动作,喝酒动作,放杯动作。该设计中,通过对用户的饮酒动作轨迹进行细致地分解,并且再结合用户的生理指标的变化情况,从而可提升对目标场景的识别准确度。
在一种可能的设计中,所述举杯动作具有对应的第一方向参数和第一距离参数;所述敬酒动作具有对应的第一时长参数;所述喝酒动作具有对应的第二方向参数;所述放杯动作具有对应的第三方向参数和第二距离参数。该设计中,通过对用户的饮酒动作轨迹进行更为细致地分解,并且再结合用户的生理指标的变化情况,从而可提升对目标场景的识别准确度。
在一种可能的设计中,所述方法还包括:所述第一可穿戴设备根据所述手部动作轨迹,对预先存储的所述预设饮酒动作轨迹进行更新。该设计中,所述第一可穿戴设备还可根据对用户的历史监测结果,为用户个性化定制预设饮酒动作轨迹,从而可进一步提升对用户的目标场景的识别准确度。此外,第一可穿戴设备或终端设备还可向用户弹出反馈意见收集界面,在确定用户处于目标场景时,向用户收集识别是否准确的反馈意见,进而可根据准确的识别结果,保障预设饮酒动作轨迹的更新准确度。
在一种可能的设计中,所述对预先存储的所述预设饮酒动作轨迹进行更新,包括:对所述第一方向参数、所述第一距离参数、所述第一时长参数、所述第二方向参数、所述第三方向参数、所述第二距离参数中的至少一个参数进行调整。
该设计中,在为用户个性化定制预设饮酒动作轨迹时,还可对细致分解之后的预设动作轨迹进行更为精度的预设饮酒动作轨迹的更新。
在一种可能的设计中,所述终端设备获取用户相关的生理指标,包括:所述终端设备接收所述第一可穿戴设备监测到的所述用户相关的生理指标;或者,所述终端设备接收所述第二可穿戴设备监测到的所述用户相关的生理指标;或者,若所述系统还包括第三可穿戴设备,所述终端设备接收所述第三可穿戴设备监测到的所述用户相关的生理指标。
该设计中,终端设备可以通过多种途径获取用户相关的生理指标,从而可便于对目标场景的识别。
在一种可能的设计中,所述用户相关的生理指标包括以下信息中的至少一种:心率、体温。在一种可能的设计中,所述方法还包括:所述终端设备根据所述用户相关的生理指标的变化值,对预先存储的所述预设变化阈值进行更新。该设计中,所述终端设备还可根据对用户的历史监测结果,为用户个性化定制用户生理指标的预设变化阈值,从而可进一步提升对用户的目标场景的识别准确度。此外,第一可穿戴设备或终端设备还可向用户弹出反馈意见收集界面,在确定用户处于目标场景时,向用户收集识别是否准确的反馈意见,进而可根据准确的识别结果,保障用户生理指标的预设变化阈值的更新准确度。
在一种可能的设计中,所述分析到异常步态信息,包括以下信息中的至少一种:多组步长的方差大于第一方差阈值、多组步宽的方差大于第二方差阈值、多组步频的方差大于第三方差阈值、多组步态横向位移的方差大于第四方差阈值。该设计中,通过对异常步态信息的更有精度的分析,从而可提升对异常步态信息的分析准确度。
在一种可能的设计中,所述系统还包括第四穿戴设备。所述方法还包括:所述终端设备向所述第四可穿戴设备发送第三指示信息;所述第四可穿戴设备接收并响应于所述第三指示信息,启动对用户身体的平衡性信息的监测;所述平衡性信息包括所述第四可穿戴设备的第一侧平衡性数据和第二侧平衡性数据;若所述第四可穿戴设备分析到所述第一侧平衡性数据和所述第二侧平衡性数据之差大于预设差值,确定分析到所述异常步态信息,并将所述异常步态信息上传给所述终端设备;或者,所述第四可穿戴设备向所述终端设备上传所述平衡性信息,以使所述终端设备对所述平衡性信息进行分析。
该设计中,为了提升终端设备对用户是否处于目标场景中的识别结果,本申请实施时还可结合其他可能的可穿戴设备的不同功能实现对用户不同特征的分析,从而可提升对用户处于目标场景的识别准确度。
在一种可能的设计中,所述终端设备对所述异常步态信息进行异常响应处理之前,所述方法还包括:所述终端设备基于所述第二可穿戴设备上报的用户步态信息或异常步态信息、和所述第四可穿戴设备上报的平衡性信息或异常步态信息,进行融合判断,确定分析到异常步态信息的置信度;所述终端设备对所述异常步态信息进行异常响应处理,包括:若所述置信度大于预设置信度阈值,对所述异常步态信息进行异常响应处理。
该设计中,通过对多个可穿戴设备收集信息的融合判断,从而可提升对用户处于目标场景的识别准确度。
在一种可能的设计中,所述第一可穿戴设备为手部可穿戴设备。
在一种可能的设计中,所述第二可穿戴设备为脚部可穿戴设备。
在一种可能的设计中,所述第四可穿戴设备为腰部可穿戴设备。
第二方面,本申请实施例提供了一种目标场景的识别方法。所述方法包括:第二可穿戴设备对用户步态信息进行监测;若所述第二可穿戴设备分析到异常步态信息,将所述异常步态信息上传给终端设备,以使所述终端设备根据所述异常步态信息,确定用户处于目标场景中;或者,所述第二可穿戴设备向所述终端设备上传所述用户步态信息,所述用户步态信息用于所述终端设备识别用户处于目标场景。
该方法中,通过第二可穿戴设备对用户步态信息的采集和分析,从而可以实现对用户处于目标场景的识别的便携性。因此,在识别到用户处于目标场景时,可及时进行用户处于目标场景时所对应的处理。
在一种可能的设计中,所述第二可穿戴设备对用户步态信息进行监测之前,所述方法还包括:所述第二可穿戴设备接收并响应于所述终端设备发送的第二指示信息,启动对所述用户步态信息的监测。
在一种可能的设计中,所述分析到异常步态信息,包括以下信息中的至少一种:多组步长的方差大于第一方差阈值、多组步宽的方差大于第二方差阈值、多组步频的方差大于第三方差阈值、多组步态横向位移的方差大于第四方差阈值。
第三方面,本申请实施例还提供了一种终端设备,包括:一个或多个处理器;一个或多个存储器;所述一个或多个存储器,用于存储一个或多个计算机程序以及数据信息;其中所述一个或多个计算机程序包括指令;当所述指令被所述一个或多个处理器执行时,使得所述终端设备执行如上述第一方面中任一项可能的设计中所述的方法。
第四方面,本申请实施例还提供了一种第一可穿戴设备,包括:一个或多个处理器;一个或多个存储器;所述一个或多个存储器,用于存储一个或多个计算机程序以及数据信息;其中所述一个或多个计算机程序包括指令;当所述指令被所述一个或多个处理器执行时,使得所述第一可穿戴设备执行如上述第一方面中任一项可能的设计中所述的方法。
第五方面,本申请实施例还提供了一种目标场景的识别系统,包括如上述第三方面所述的终端设备和如上述第四方面所述的第一可穿戴设备。
在一种可能的设计中,所述系统还包括第二可穿戴设备;其中,所述第二可穿戴设备执行第一方面中任一可能的设计中所述第二可穿戴设备执行的方法。
第六方面,本申请实施例还提供了一种第二可穿戴设备,包括:一个或多个处理器;一个或多个存储器;所述一个或多个存储器,用于存储一个或多个计算机程序以及数据信息;其中所述一个或多个计算机程序包括指令;当所述指令被所述一个或多个处理器执行时,使得所述第二可穿戴设备执行如上述第二方面中任一项可能的设计中所述的方法。
第七方面,本申请实施例提供了一种计算机可读存储介质,计算机可读介质存储有计算机程序(也可以称为代码,或指令)当其在计算机上运行时,使得计算机执行上述第一方面中任一种可能实现方式中的方法,或执行上述第二方面中任一种可能实现方式中的方法。
第八方面,本申请实施例提供了一种计算机程序产品,计算机程序产品包括:计算机程序(也可以称为代码,或指令),当计算机程序被运行时,使得计算机执行上述第一方面中任一种可能实现方式中的方法,或执行上述第二方面中任一种可能实现方式中的方法。
第九方面,本申请实施例还提供一种终端设备上的图形用户界面,该终端设备具有显示屏、一个或多个存储器、以及一个或多个处理器,所述一个或多个处理器用于执行存储在所述一个或多个存储器中的一个或多个计算机程序,所述图形用户界面包括所述终端设备执行本申请实施例第一方面任一可能的实现方式时显示的图形用户界面。
第十方面,本申请实施例还提供一种可穿戴设备上的图形用户界面,该可穿戴设备具有显示屏、一个或多个存储器、以及一个或多个处理器,所述一个或多个处理器用于执行存储在所述一个或多个存储器中的一个或多个计算机程序,所述图形用户界面包括所述可穿戴设备执行本申请实施例第一方面任一可能的实现方式时显示的图形用户界面。其中,所述可穿戴设备例如可以为第一方面中包含的第一可穿戴设备或第二可穿戴设备或第三可穿戴设备或第四可穿戴设备。
上述第二方面至第十方面中任一方面的有益效果请具体参阅上述第一方面中各种可能的设计的有益效果,在此不再赘述。
附图说明
图1为本申请实施例提供的一种可能的终端设备的硬件结构示意图;
图2为本申请实施例提供的一种终端设备的软件结构框图;
图3a为本申请实施例提供的一种目标场景的识别系统的场景示意图之一;
图3b为本申请实施例提供的一种目标场景的识别系统的场景示意图之二;
图3c为本申请实施例提供的一种目标场景的识别系统的场景示意图之三;
图4a为本申请实施例提供的一种目标场景的识别方法的交互流程示意图之一;
图4b为本申请实施例提供的一种目标场景的识别方法的交互流程示意图之二;
图5为一种可能的预设饮酒动作轨迹的示意图;
图6为一种可能的更新后的预设饮酒动作轨迹的示意图;
图7a为本申请实施例提供的心率的变化情况的示例图;
图7b为本申请实施例提供的体温的变化情况的示例图;
图8为本申请实施例提供的一种步态信息的对比示意图。
具体实施方式
随着电子设备和半导体技术的发展,可穿戴设备的形态越来越多,例如手环、手表、脚环、智能鞋等。并且,目前智能可穿戴设备正蓬勃发展,可以实现越来越多的功能,如心率监测、温度监测、位置定位及运动类型感应等。然而,可穿戴设备普遍还缺乏对饮酒场景的检测功能。目前针对饮酒场景的检测装置常见于吹气检测装置,但该装置一般体积、重量较大,不方便携带,也无法配置于可穿戴设备中。因此,如何通过可穿戴设备可以实现对饮酒场景的识别,可以及时地向用户发出预警信息,从而可以减少或避免饮酒甚至醉酒可能导致的附加伤害,具有一定的研究意义。
目前,基于可穿戴设备进行饮酒识别的一种实现方式为,将可穿戴设备穿戴至用户身上;实时获取用户的生命体征指标信息;针对生命体征指标信息(包括脉搏信息和体温信息)进行特征提取,获得生命体征指标特征;解析生命体征指标特征,获得生命体征指标监测数据;对生命体征指标监测数据进行验证和汇总,得到饮酒验证结果;根据饮酒验证结果进行用户饮酒状态更新,并根据用户饮酒状态进行预警。然而,该实现方式仅通过对脉搏信息和体温信息进行提取、分析和匹配,来确定用户是否饮酒,准确性较低;并且,该实现方式需要将获取的信息上传至云端进行分析,因此会受到较大的网络影响,实时性不高。
有鉴于此,本申请实施例提供一种目标场景的识别方法、系统及计算机可读存储介质,一方面可以通过用户手部的可穿戴设备进行手部动作监测,若识别到与预设饮酒动作轨迹相似度大于一定阈值的手部动作轨迹,终端设备可进一步结合对用户的体温、心率等生理指标信息的一定时间的监测,确定用户处于饮酒场景。另一方面,终端设备还可以结合用户脚部的可穿戴设备进行步态数据的采集和分析,进一步用户是否处于过度饮酒(也即醉酒)场景。这样,通过本申请提供的方法,可以提高对饮酒场景的识别准确性,并且还可以对醉酒场景进行识别,从而可以及时地进行预警。
下面将结合附图,对本申请实施例进行详细描述。
可以理解的是,本申请实施例的终端设备可以是诸如智能家居设备(例如,智能电视,智慧屏,智能音箱等)、手机、平板电脑、可穿戴设备(例如,手环、手表、头盔、脚环等)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等具有语音指令输入能力的设备。可以理解的是,本申请实施例对终端设备的具体类型不作任何限制。
本申请实施例中,终端设备可以与用户手部的可穿戴设备、或用户脚部的可穿戴设备进行通信,以实现对目标场景的识别;其中,终端设备也可为所述用户手部的可穿戴设备或所述用户脚部的可穿戴设备。
本申请实施例可以应用到的终端设备,示例性实施例包括但不限于搭载 或者其它操作系统的便携式终端设备。上述便携式终端设备也可以是其它便携式终端设备,诸如具有触敏表面(例如触控面板)的膝上型计算机(Laptop)等。
图1示出了一种可能的终端设备的硬件结构示意图。其中,所述终端设备100包括:射频(radio frequency,RF)电路110、电源120、处理器130、存储器140、输入单元150、显示单元160、音频电路170、通信接口180、以及无线保真(wireless-fidelity,Wi-Fi)模块190等部件。本领域技术人员可以理解,图1中示出的终端设备100的硬件结构并不构成对终端设备100的限定,本申请实施例提供的终端设备100可以包括比图示更多或更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图1中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
下面结合图1对所述终端设备100的各个构成部件进行具体的介绍:
所述RF电路110可用于通信或通话过程中,数据的接收和发送。特别地,所述RF电路110在接收到基站的下行数据后,发送给所述处理器130处理;另外,将待发送的上行数据发送给基站。通常,所述RF电路110包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier,LNA)、双工器等。
此外,RF电路110还可以通过无线通信网络和其他设备进行通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(global system of mobilecommunication,GSM)、通用分组无线服务(general packet radio service,GPRS)、码分多址(code division multiple access,CDMA)、宽带码分多址(wideband code divisionmultiple access,WCDMA)、长期演进(long term evolution,LTE)、电子邮件、短消息服务(short messaging service,SMS)等。
Wi-Fi技术属于短距离无线传输技术,所述终端设备100通过Wi-Fi模块190可以连接访问接入点(access point,AP),从而实现数据网络的访问。所述Wi-Fi模块190可用于通信过程中,数据的接收和发送。在本申请实施例中,所述终端设备100还可以通过Wi-Fi模块190与用户的可穿戴设备进行连接,从而实现信息交互,例如接收用户手部的可穿戴设备采集的手部动作轨迹,又例如接收用户脚部的可穿戴设备采集的用户步态信息,或者向所述用户手部的可穿戴设备或所述用户脚部的可穿戴设备发送告警信息,以控制可穿戴设备通过振动等方式向用户发出预警。
所述终端设备100可以通过所述通信接口180与其他设备实现物理连接。可选的,所述通信接口180与所述其他设备的通信接口通过电缆连接,实现所述终端设备100和其他设备之间的数据传输。
由于在本申请实施例中,所述终端设备100能够实现通信业务,例如可以与可穿戴设备实现交互,因此所述终端设备100需要具有数据传输功能,即所述终端设备100内部需要包含通信模块。虽然图1示出了所述RF电路110、所述Wi-Fi模块190、和所述通信接口180等通信模块,但是可以理解的是,所述终端设备100中存在上述部件中的至少一个或者其他用于实现通信的通信模块(如蓝牙模块),以进行数据传输。
例如,当所述终端设备100为手机时,所述终端设备100可以包含所述RF电路110,还可以包含所述Wi-Fi模块190,或可以包含蓝牙模块(图1中未示出);当所述终端设备100为计算机时,所述终端设备100可以包含所述通信接口180,还可以包含所述Wi-Fi模块190,或可以包含蓝牙模块(图1中未示出);当所述终端设备100为平板电脑时,所述终端设备100可以包含所述Wi-Fi模块,或可以包含蓝牙模块(图1中未示出)。
所述存储器140可用于存储软件程序以及模块。所述处理器130通过运行存储在所述存储器140的软件程序以及模块,从而执行所述终端设备100的各种功能应用以及数据处理。可选的,所述存储器140可以主要包括存储程序区和存储数据区。其中,存储程序区可存储操作系统(主要包括内核层、系统层、应用程序框架层和应用程序层等各自对应的软件程序或模块)。
此外,所述存储器140可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述输入单元150可用于接收用户输入的数字或字符信息等多种不同类型的数据对象的编辑操作,以及产生与所述终端设备100的用户设置以及功能控制有关的键信号输入。可选的,输入单元150可包括触控面板151以及其他输入设备152。
其中,所述触控面板151,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触控面板151上或在所述触控面板151附近的操作),并根据预先设定的程序驱动相应的连接装置。
可选的,所述其他输入设备152可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
所述显示单元160可用于显示由用户输入的信息或提供给用户的信息以及所述终端设备100的各种菜单。所述显示单元160即为所述终端设备100的显示系统,用于呈现界面,实现人机交互。所述显示单元160可以包括显示面板161。可选的,所述显示面板161可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)等形式来配置。本申请实施例中,在终端设备上可以不设置显示单元160,例如若终端设备为一些可穿戴设备(比如脚部的可穿戴设备)时,可以不设置显示单元160;或者,在终端设备上设置显示单元160,可以通过显示单元160显示各可穿戴设备上传的数据信息,或者若终端设备为一些可穿戴设备时,可以通过显示单元160显示告警信息等,例如在手环上显示告警信息。
所述处理器130是所述终端设备100的控制中心,利用各种接口和线路连接各个部件,通过运行或执行存储在所述存储器140内的软件程序和/或模块,以及调用存储在所述存储器140内的数据,执行所述终端设备100的各种功能和处理数据,从而实现基于所述终端设备100的多种业务。本申请实施例中,处理器130用来实现本申请实施例提供的方法,从而可以实现对目标场景的识别,以及可以在识别到目标场景时,及时地进行后续处理,例如发出告警信息、联系预先设置的紧急联系人等。
所述终端设备100还包括用于给各个部件供电的电源120(比如电池)。可选的,所述电源120可以通过电源管理系统与所述处理器130逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
如图1所示,终端设备100还包括音频电路170、麦克风171和扬声器172,可提供用户与终端设备100之间的音频接口。音频电路170可用于将音频数据转换为扬声器172能够识别的信号,并将信号传输到扬声器172,由扬声器172转换为声音信号输出。麦克风171用于收集外部的声音信号(如人说话的声音、或者其它声音等),并将收集的外部的声音信号转换为音频电路170能够识别的信号,发送给音频电路170。音频电路170还可用于将麦克风171发送的信号转换为音频数据,再将音频数据输出至RF电路110以发送给比如另一终端设备,或者将音频数据输出至存储器140以便后续进一步处理。
尽管未示出,所述终端设备100还可以包括至少一种传感器、摄像头等,在此不再赘述。至少一种传感器可以包含但不限于压力传感器、气压传感器、加速度传感器、距离传感器、指纹传感器、触摸传感器、温度传感器等。本申请实施例中,若终端设备100为脚部的可穿戴设备,可以包括加速度传感器,通过所述加速度传感器可以监测用户的步频信息。或者,若终端设备100为可穿戴设备,可以包括温度传感器,通过所述温度传感器可以监测用户的体温信息。
本申请实施例涉及的操作系统(operating system,OS),是运行在终端设备100上的最基本的系统软件。以手机为例,操作系统可以是鸿蒙系统(HarmonyOS)或安卓(android)系统或IOS系统。终端设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以采用分层架构的操作系统为例,示例性说明终端设备100的软件结构。
图2为本申请实施例提供的一种终端设备的软件结构框图。如图2所示,终端设备的软件结构可以是分层架构,例如可以将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将操作系统分为五层,从上至下分别为应用程序层,应用程序框架层(framework,FWK),运行时和系统库,内核层,以及硬件层。
应用程序层可以包括一系列应用程序包。如图2所示,应用程序层可以包括相机、设置、皮肤模块、用户界面(user interface,UI)、三方应用程序等。其中,三方应用程序可以包括WLAN、音乐、通话、蓝牙、视频等。
一种可能的实现方式中,应用程序可以使用java语言开发,通过调用应用程序框架层所提供的应用程序编程接口(application programming interface,API)来完成,开发者可以通过应用程序框架层来与操作系统的底层(例如硬件层、内核层等)进行交互,开发自己的应用程序。该应用程序框架层主要是操作系统的一系列的服务和管理系统。
应用程序框架层为应用程序层的应用程序提供应用编程接口和编程框架。应用程序框架层包括一些预定义函数。如图2所示,应用程序框架层可以包括快捷图标管理模块,窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
快捷图标管理模块用于对终端设备上显示的快捷图标进行管理,例如创建快捷图标、移除快捷图标、监控快捷图标是否满足显示条件等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供终端设备的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,终端设备振动,指示灯闪烁等。
在本申请一些实施例中,该应用程序框架层主要负责调用与硬件层之间通信的服务接口,以将用户进行操作的操作请求传递到硬件层,所述操作请求可以包含用户通过显示单元160添加紧急联系人等。
运行时包括核心库和虚拟机。运行时负责操作系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是操作系统的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
在一些实施例中,三维图形处理库可以用于绘制三维的运动轨迹图像,2D图形引擎可以用于绘制二维的运动轨迹图像。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
硬件层可以包括各类传感器,例如加速度传感器、重力传感器、触摸传感器等。
通常终端设备100可以同时运行多个应用程序。较为简单的,一个应用程序可以对应一个进程,较为复杂的,一个应用程序可以对应多个进程。每个进程具备一个进程号(进程ID)。
结合上述图1中对终端设备的硬件结构的介绍,以及图2中对终端设备的软件框架的介绍,下面结合多个实施例和附图,示例性说明终端设备执行本申请实施例中提出的一种目标场景的识别方法的软件以及硬件的工作原理。
应理解,本申请实施例中“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一(项)个”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a、b或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,或a、b和c,其中a、b、c可以是单个,也可以是多个。
本申请实施例涉及的多个,是指大于或等于两个。
另外,需要理解的是,在本申请的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
此外,本申请实施例中,“终端设备”、“设备”等可以混用,即指可以用于实现本申请实施例的各种设备。
应理解,终端设备的硬件结构可以如图1所示,软件架构可以如图2所示,其中,终端设备中的软件架构对应的软件程序和/或模块可以存储在存储器140中,处理器130可以运行存储器140中存储的软件程序和应用以执行本申请实施例提供的一种目标场景的识别方法的流程。
为了便于理解本申请提供的一种目标场景的识别方法,以下结合图3a至图8中所示的内容,对采用本申请提供的方法的实现过程进行介绍。
首先介绍本申请实施例适用的一种可能的目标场景的识别系统。图3a为本申请实施例提供的一种目标场景的识别系统的场景示意图。该系统可以包括但不限于:手部的可穿戴设备301、终端设备100、脚部的可穿戴设备302。其中,
所述手部的可穿戴设备301,可以用于对用户的手部动作进行监测,若监测到用户存在与预设饮酒动作轨迹匹配度(或相似度)大于指定匹配度阈值的手部动作轨迹,可以向所述终端设备100发送第一指示信息,所述第一指示信息用于指示所述手部的可穿戴设备301监测到用户存在预设饮酒动作,以触发所述终端设备100启动对用户是否处于目标场景的识别流程。
其中,所述预设饮酒动作轨迹包括但不限于相继发生的以下预设饮酒动作中的至少一种:举杯动作、敬酒动作、喝酒动作、放杯动作。
示例性的,结合图1介绍的内容,所述手部的可穿戴设备301可以包括但不限于:通信模块和处理器;其中,所述手部的可穿戴设备301可以通过所述通信模块与所述终端设备100进行信息交互,例如发送第一指示信息;以及,可以通过所述处理器对用户动作进行监测和匹配分析等。例如,所述手部的可穿戴设备301可以为手环、手表等设备。
所述终端设备100,可以用于接收所述手部的可穿戴设备301发送的第一指示信息;根据所述第一指示信息进一步监测用户是否处于目标场景中,例如饮酒场景中。
可选的,所述终端设备100结合用户相关的生理指标的变化情况,若确定在预设时长内变化情况满足所述目标场景所对应的变化情况特性,可实施为确定所述用户相关的胜利指标的变化值大于或等于所述目标场景对应的预设变化阈值,则可以识别到用户处于所述目标场景中;例如,通过实验,用户饮酒后,生理指标发生变化的差异值通常会在预设时长内达到最大值。
其中,所述用户相关的生理指标可以包括但不限于以下信息中的至少一种:心率、体温。可以理解,若用户处于饮酒场景中,通常生理指标与非饮酒场景下会发生一定变化,例如心率会上升(通常约为5BPM(beat per minute,心率的单位)~10BPM)、体温会下降(通常约为-0.3°~-0.4°)。
这样,终端设备100可以根据识别结果及时地向用户或紧急联系人发出告警信息,或者还可以向脚部的可穿戴设备302发送第二指示信息,所述第二指示信息用于指示所述脚部的可穿戴设备302启动用户步态信息的监测和分析。
示例性的,结合图1介绍的内容,所述终端设备100可以包括但不限于:通信模块和处理器;其中,所述终端设备100可以通过所述通信模块与所述手部的可穿戴设备301进行信息交互,或与所述脚部的可穿戴设备302进行信息交互,例如发送第二指示信息;以及,可以通过所述处理器对来自手部的可穿戴设备301的第一指示信息进行后续处理等。例如,所述终端设备100可以为手机、平板电脑或任一可穿戴设备等。
一种可选的实施例,所述终端设备100获取所述用户相关的生理指标,可实施为通过所述手部的可穿戴设备301进行监测。可选的,所述终端设备100可以在接收到所述第一指示信息之后,向所述手部的可穿戴设备301发送第一控制信息,所述第一控制信息用于控制所述手部的可穿戴设备301对所述用户相关的生理指标进行监测,并同步给所述终端设备100。另一可选的,所述手部的可穿戴设备301也可以在监测到用户预设饮酒动作后,可以触发启动对用户相关的生理指标进行监测,并主动上报给所述终端设备100。又一可选的,所述手部的可穿戴设备301也可以持续监测用户相关的生理指标,终端设备100可以在接收到所述第一指示信息之后,筛选出预设时长内的生理指标信息。
另一种可选的实施例,所述终端设备100获取所述用户相关的生理指标信息,还可实施为通过其它可穿戴设备进行获取。可选的,其它可穿戴设备可以为如图3a中示出的脚部的可穿戴设备302。另一可选的,其它可穿戴设备也可以为如图3b中示出的其它可穿戴设备303,例如智能衣服、智能鞋或智能项圈等,本申请对此不进行限定。
需要说明的是,本申请实施例中涉及到的“预设饮酒动作轨迹”、“预设饮酒动作”、“预设变化阈值”或“预设时长”等预设信息,可以根据实验结果确定,或者是自定义的。并且,在实施本申请提供的方法时,对目标场景进行识别的历史结果可以用于进行用户的预设信息的个性化调整,例如,所述终端设备100识别到用户处于饮酒场景的结果之后,可以根据本次识别过程中监测到的用户手部动作、用户相关的生理指标等信息对存储的预设信息进行调整,并同步给各可穿戴设备,从而可以提高对目标场景的识别效率。
所述脚部的可穿戴设备302,可以用于对用户步态信息进行监测或分析。示例性的,所述脚部的可穿戴设备302可以监测用户的步长稳定性、或步频稳定性、或步宽稳定性、或步态横向位移稳定性等信息。若检测到用户的步长、步频、步宽或步态横向位移稳定性等数值的稳定性较差、变化幅度较大等异常步态信息,则可确定用户处于醉酒场景中、或将异常步态信息上传给所述终端设备100,并且向所述终端设备100发送告警信息或通知紧急联系人等,以进行及时地预警。
示例性的,结合图1介绍的内容,所述脚部的可穿戴设备302也可以包括但不限于:通信模块和处理器;其中,所述脚部的可穿戴设备302可以通过所述通信模块与所述终端设备100进行信息交互,例如上传异常步态信息等;以及,可以通过所述处理器对用户步态信息进行监测和分析等。例如,所述脚部的可穿戴设备302可以为智能鞋、单脚脚环或双脚脚环等设备。
此外,本申请实施时,除图3a或图3b示出的系统场景之外,还可包含其它可穿戴设备,并且各可穿戴设备可以协同进行目标场景的识别。示例性的,如图3c所示,若用户佩戴腰部的可穿戴设备304,则通过所述腰部的可穿戴设备304也可监测用户的走路的稳定性、对称性或平衡性,若通过所述腰部的可穿戴设备304包含的左侧和右侧的传感器监测到用户平衡性较差,则可以判定用户处于醉酒场景中,从而进一步可以在识别到醉酒场景时及时地进行异常响应处理,例如向终端设备100发送告警信息等。这样,终端设备100可以通过所述腰部的可穿戴设备304或所述脚部的可穿戴设备302及时地识别到用户处于醉酒场景中。或者,终端设备100还可综合各可穿戴设备监测到的信息进行综合判断。示例性的,用户佩戴的多个可穿戴设备均可监测心率,终端设备100可以接收多个可穿戴设备监测的心率信息,并根据各心率信息的平均值或加权平均值,确定用户的心率信息。
基于结合图3a和3b示出的内容对本申请实施例可能适用的应用场景进行说明,可以得到本申请实施例提供的方法的设计思想为,基于一种或多种可穿戴设备的监测,可以实现对一些目标场景的识别,并且终端设备100可以结合可穿戴设备监测的多种类型信息,进一步更准确地识别目标场景,从而可以提高识别准确性,以及时地进行预警。
参阅图4a,为本申请实施例提供的一种目标场景的识别方法的交互流程示意图。需要说明的是,该实施例中以第一可穿戴设备和第二可穿戴设备作为示例,本申请实施时,不限定可穿戴设备的类型和数量;具体实现时,可以包含更多的可穿戴设备参与到目标场景的识别中。该交互流程包括:
步骤401、第一可穿戴设备对用户的手部动作进行监测。示例性的,所述第一可穿戴设备通常可以为佩戴在用户常用手的手部的可穿戴设备,例如手环、手表等。
本申请实施时,在所述第一可穿戴设备的存储器中,可以存储有目标场景所对应的预设动作轨迹信息。以所述目标场景为饮酒场景,所述预设动作轨迹为预设饮酒动作轨迹作为示例,图5为一种可能的预设饮酒动作轨迹的示意图,为了提升对预设饮酒动作轨迹的识别准确性,可对预设饮酒动作轨迹进行更加细致地分解。所述预设饮酒动作轨迹可以包括相继发生的以下动作:
如图5中的(1)示出的举杯动作,可以识别为手部进行由下至上的第一竖直方向运动的手部动作,并且可以具有对应的第一预设距离,假设以dup来表示,例如可以根据实验结果或自定义dup为25厘米(cm)~35cm。
如图5中的(2)示出敬酒动作,可以识别为手部在进行举杯动作之后停止运动的手部动作,并且还可以具有对应的第一预设时长,假设可以t来表示,例如可以根据实验结果或自定义t为3秒(s)~5s。
如图5中的(3)示出的喝酒动作,可以识别为手部进行四分之一圆周方向运动的手部动作。
如图5中的(4)示出的放杯动作,可以识别为手部进行由上至下的第二竖直方向运动的手部动作,并且还可以具有对应的第二预设距离,假设以ddown来表示,例如可以根据实验结果或自定义ddown为40cm~50cm。
因此,由以上多个动作可以得到如图5中的(5)示出的预设饮酒动作轨迹。
示例性的,所述第一可穿戴设备可以通过内置的传感器等部件感应用户的手部动作,然后将用户的手部动作与所述预设饮酒动作轨迹进行匹配分析。可选的,为避免增加对所述第一可穿戴设备的资源消耗,本申请实施时还可以预先设置在指定时间段内对用户的手部动作进行监测和分析,例如,所述第一可穿戴设备可以在11:00~14:00、18:00~21:00对用户的手部动作进行监测,而在其他时间段时保持静默状态,以减少对所述第一可穿戴设备的资源消耗。
此外,本申请提供的方法不仅可以适用于饮酒场景,也可以适用于其他需要进行预警的目标场景中,例如吸烟场景。所述第一可穿戴设备可以预先存储有预设吸烟动作轨迹,若识别到吸烟场景,可以累计用户每天的吸烟次数,并在达到一定次数阈值时,向用户进行预警等。可以理解,本申请主要以饮酒场景作为示例,但不限定于饮酒场景。
步骤402、第一可穿戴设备若监测到用户存在与预设饮酒动作轨迹匹配度大于指定匹配度阈值的手部动作轨迹,向终端设备发送第一指示信息。其中,所述第一指示信息可以用于指示所述第一可穿戴设备监测到用户存在预设饮酒动作,以触发终端设备启动对用户处于目标场景的识别流程。
示例性的,所述第一可穿戴设备将用户的手部动作与所述预设饮酒动作轨迹进行匹配分析,可以基于动作匹配算法或特征匹配等匹配方式,本申请对具体的匹配分析方式不进行限定。若所述第一可穿戴设备用户的手部动作轨迹与预设饮酒动作轨迹之间的匹配度大于指定匹配度阈值,表示所述手部动作轨迹为饮酒动作轨迹的概率较大,因此可以初步判断用户较可能处于饮酒场景中,然后可以向终端设备发送第一指示信息,以使所述终端设备进行进一步的用户处于目标场景的判定。
此外,由于每个用户具有不同的动作习惯或动作幅度,第一可穿戴设备还可以基于每次识别到饮酒场景时所监测到的手部动作,对存储器中存储的预设饮酒动作轨迹进行优化更新,以实现为用户个性化设置目标场景对应的预设动作轨迹。例如,存储的预设运动轨迹中对应的dup为25cm~35cm,根据所述第一可穿戴设备在多次饮酒场景中监测到的手部动作,确定当前用户的dup分布于22cm~30cm之间,则可以将存储器中存储的预设动作轨迹中对应的dup更新为22cm~30cm。又例如,存储的预设运动轨迹中对应的放杯动作为直下的竖直运动,根据所述第一可穿戴设备在多次饮酒场景中监测到的手部动作,确定当前用户的放杯动作为具有一定倾斜角的向下的斜线运动,则可以将对应的放杯动作更新为向下的斜线运动,并且存储对应的倾斜角;如图6所示的示例,放杯动作更新为向下的斜线运动,假设倾斜角以adown来表示,可以根据历史识别结果或自定义adown为5°~30°。可以理解,所述第一可穿戴设备在对预设饮酒动作轨迹进行优化更新后,为了提高对手部动作的识别准确度,可以提高所述指定匹配度阈值。可以理解,若用户的手部动作轨迹与预设饮酒动作轨迹之间的匹配度越高,则用户处于饮酒场景的概率越大。另外,对预设饮酒动作轨迹的更新还可以为由终端设备执行的,然后终端设备发送给第一可穿戴设备,这样可减少第一可穿戴设备的处理资源的占用。
并且,为了保障对预设饮酒动作轨迹进行个性化更新的准确性,所述第一可穿戴设备或所述终端设备还可向用户手机对目标场景识别结果的反馈,根据用户的反馈意见,确定对目标场景识别正确时所监测到的手部动作轨迹对所述预设饮酒动作轨迹进行更新,而对目标场景识别有误时所述监测到的手部动作轨迹避免对所述预设饮酒动作轨迹进行更新。
步骤403、终端设备获取用户相关的生理指标的变化情值。示例性的,所述终端设备通常可以为用户的电子设备,例如手机、平板电脑等。并且,终端设备可以与第一可穿戴设备或以下实施例中涉及的第二可穿戴设备等,通过通信模块进行通信,以及可采用蓝牙、短距离通信等技术进行信息交互。
示例性的,终端设备接收到所述第一可穿戴设备的第一指示信息后,可以得知所述第一可穿戴设备监测到用户处于饮酒场景中。为保证对目标场景的识别准确性,所述终端设备还可以结合用户的生理指标的变化情况进行进一步地分析和判断。可以理解,用户处于饮酒场景下和非饮酒场景下,通常生理指标会发生一定变化。其中,所述用户相关的生理指标可以包括但限于以下信息中的一种或多种:心率、体温。图7a为本申请实施例提供的心率的变化情况的示例图,对比非饮酒场景下用户的心率,在饮酒场景下用户的心率会有一定上升,每分钟跳动次数约增加约5BPM~10BPM;此外,图7a中还以运动后的心率变化作为参照来说明不同场景下的心率差异。图7b为本申请实施例提供的体温的变化情况的示例图,对比非饮酒场景下用户的体温,在饮酒场景下用户的体温会有一定下降,如图7b中,用户的体温约下降通常约为-0.3°~-0.4°,且在约45分钟时差异值达到最大。这样,终端设备可以获取用户在预设时长内生理指标的变化情况,其中预设时长例如可以为45分钟。
一种可选的实施例中,所述终端设备获取用户相关的生理指标的变化值,可以通过所述第一可穿戴设备或者所述第二可穿戴设备或其他可穿戴设备(假设第三可穿戴设备)采集并上报。可选的,所述终端设备可以在通过所述第一可穿戴设备识别到饮酒场景时,控制用户佩戴的某一可穿戴设备进行采集并上报。另一可选的,用于采集用户相关的生理指标的可穿戴设备通常会持续采集并上报用户的生理指标,以实时监测用户的身体情况,在通过所述第一可穿戴设备识别到饮酒场景时,终端设备可以对预设时长内的生理指标数据进行变化情况的分析。又一可选的,若所述第一可穿戴设备具有生理指标的监测能力,则所述第一可穿戴设备可以在识别到饮酒场景时,自动触发对用户的生理指标的持续监测并上报,以便于终端设备进行分析。其中,可穿戴设备上报生理指标可实施为周期性上报、或根据终端设备的指示进行上报,本申请对此不进行限定。可以理解,本申请实施时对所述终端设备如何获取用户相关的生理指标不进行限定,任一可采集的设备均可实现本申请提供的方法。
其中,所述终端设备获取用户相关的生理指标的变化情况,可以接收到所述第一可穿戴设备的第一指示信息为监测的起始点,并且监测预设时长内的变化值。所述预设时长可以根据各类生理指标的在不同时长内的变化决定,例如体温在45分钟变化的差异值达到最大,则对用户的体温进行监测的预设时长可以为45分钟,又例如心率在60分钟变化的差异值达到最大,则对用户的心率进行监测的预设时长可以为60分钟。可以理解,不同类的生理指标可以具有相同的进行监测的预设时长,也可以具有不同的进行监测的预设时长,本申请对此不进行限定。
步骤404、终端设备确定若所述用户相关的生理指标的变化情值大于或等于目标场景所对应的预设变化阈值,识别到所述用户处于所述目标场景中。示例性的,所述终端设备一方面通过第一可穿戴设备对手部动作轨迹的监测,识别到用户较大概率处于饮酒场景;另一方面通过结合用户的生理指标的变化值,确定变化值大于或等于饮酒场景的预设变化阈值,则可以进一步确定用户处于饮酒场景中。例如,终端设备若监测到用户在45分钟的体温变化下降到最大差异值,且为-0.3°,则可以进一步确定用户处于饮酒场景中。
此外,与第一可穿戴设备对预设动作轨迹进行优化更新相似的原理,由于每个用户具有不同的体质,终端设备也可以基于每次识别到饮酒场景时所监测的生理指标的变化值,对存储器中存储的预设变化阈值或监测变化情况的预设时长进行优化更新,以实现为用户个性化设置目标场景对应的预设变化阈值,具体实现方式在此不再赘述。并且,终端设备也可基于用户对目标场景识别是否准确的反馈意见,若对目标场景识别准确时,才对预设变化阈值或预设时长进行更新,而对目标场景识别不准确时,避免对预设变化阈值或预设时长进行更新。
通过以上实现过程,基于可穿戴设备对用户的手部动作轨迹、生理指标信息的监测,一方面通过对手部动作轨迹与预设饮酒动作轨迹的匹配度,来初步确定用户是否处于饮酒场景,若确定处于饮酒场景时,另一方面结合对用户的生理指标信息的变化情况进行监测,若确定变化情况满足饮酒场景所对应的特征时,则可以进一步确定用户处于饮酒场景,从而可以提升识别的准确性。相比于常用的吹气装置进行设备,该方法具有便捷性和实时性;或相比于相关技术中仅根据用户的生命体征指标特征来确定用户是否饮酒的方式,可以提升识别的准确性。并且,本申请无需与云服务器进行交互,通过终端设备对各可穿戴设备监测的信息的采集和获取,从而可以受到较小的网络影响。
此外,通过本申请提升的方法,还可以进一步实现对危险步态的识别。参阅图4b,为本申请实施例提供的一种目标场景的识别方法的另一交互流程示意图。其中,图4b中步骤401至步骤404的实现过程可参阅对图4a的介绍,在该实施例中,还可包括以下步骤:
步骤405、若所述终端设备识别到所述用户处于所述目标场景中,向第二可穿戴设备发送第二指示信息。其中,所述第二指示信息用于指示第二可穿戴设备启动用户步态信息的监测和分析。
步骤406、第二可穿戴设备根据所述第二指示信息,启动对用户步态信息的监测和分析。示例性的,所述第二可穿戴设备通常可以为佩戴在用户脚部的可穿戴设备,例如脚环(单脚或双脚)、智能鞋等。并且,所述第二可穿戴设备可以与终端设备,通过通信模块进行通信,以及通过内置的传感器等部件感应用户的步态定位信息、步行速度信息等,以获取用户的步长、步频等信息,并且,通过佩戴于双脚的第二可穿戴设备(例如智能鞋或双脚脚环等)还可以获取用户的步宽等信息。
可以理解,通常用户在正常的步行姿态中,步态信息较为稳定,变化较小。然而,用户在饮酒场景甚至是过度饮酒(也即醉酒)场景时,步态信息可能存在剧烈变化。例如,图8为本申请实施例提供的一种步态信息的对比示意图。如图8中的(a),示出的为正常状态(非饮酒场景)下的步态示意图,可以得到用户的左右脚之间的步宽w和每只脚在两次相邻脚印之间的步长l的数值较稳定/变化较小。然而,如图8中的(b),示出的异常步态信息,可以为醉酒场景下的步态示意图,可以得到,用户的左右脚的步宽w1~w5、以及用户的每只脚在两次相邻脚印之间的步长l1~l4数值较不稳定、变化较大。其中,若用户佩戴例如双脚脚环或智能鞋等双脚的第二可穿戴设备,则可以监测和分析用户的步宽;可以理解,若用户佩戴单脚脚环时,则第二可穿戴设备可分析用户步态的单脚的横向位移的稳定性,例如图8中的(b)示出的S1~S4。
步骤407、第二可穿戴设备若分析到异常步态信息,对所述异常步态信息进行异常响应处理。示例性的,若第二可穿戴设备从监测到的用户步态信息中,识别到步长、步宽、步态横向位移或者步频等信息的方差较大,且大于方差阈值时,则可以判定为异常步态信息,如图8中的(b)示出的异常步态信息;比如,识别到多组步长的方差大于第一方差阈值、多组步宽的方差大于第二方差阈值、多组步频的方差大于第三方差阈值、多组步态横向位移的方差大于第四方差阈值。此时,所述第二可穿戴设备进行异常响应处理,可以及时地进行危险预警。例如第二可穿戴设备可以向终端设备发送告警信息,终端设备根据告警信息进行及时的预警。又例如通过终端设备或用户佩戴的任一可穿戴设备且采用震动或铃声等方式发出告警。又例如向终端设备中预先存储的紧急联系人发送通知等。可以理解,本申请实施时,异常响应处理的具体实现方式可根据实际场景进行预先设置,对此不进行限定。
此外,若用户还佩戴其他种类的可穿戴设备,本申请实施时还可以结合各个可穿戴设备可以监测的信息进行目标场景的识别,从而可以提升识别准确性。可选的,若用户佩戴有第四可穿戴设备(例如腰部的可穿戴设备),则所述腰部的可穿戴设备可以对用户步行时左右脚着地的垂直高度进行分析,如果左右两侧的数据相差不大,说明用户步行的平衡性较好;否则用户的平衡性较差,此时也可以向终端设备发送告警信息等。这样,终端设备基于已经监测到用户处于饮酒状态,若进一步接收到第二可穿戴设备或腰部的可穿戴设备发送的告警信息,则可以进一步判定用户处于醉酒状态,需要及时地提醒用户。
并且,为进一步提高对目标场景的识别准确性,终端设备还可以结合多个可穿戴设备上报的信息进行融合判断。可选的,各可穿戴设备可以上报各自对用户处于醉酒状态的概率,终端设备可以根据各可穿戴设备的概率,计算得到平均值或者加权平均值,从而得到融合之后的概率值,然后根据融合之后的概率值判断用户是否处于醉酒状态。例如,终端设备根据以下公式1确定融合之后的概率值:
其中,所述μ为融合之后的概率值,也即用户是否处于醉酒状态的置信度。所述i表示第i个可穿戴设备,n表示可穿戴设备的数量。所述αi表示第i个可穿戴设备的权重因子,若可穿戴设备对目标场景的识别准确性越高,则该可穿戴设备对应分配的权重因子越大。所述Di表示第i个可穿戴设备上报的用户处于醉酒状态的概率。例如,若终端设备接收到第二可穿戴设备和脚部的可穿戴设备分别上报的告警信息,所述告警信息中可以包含用户处于醉酒状态的概率值,则终端设备可以结合第二可穿戴设备和脚部的可穿戴设备上报的信息对用户是否处于醉酒状态进行融合性判断,从而可以提升识别的准确性。其中,各可穿戴设备在每次识别到用户处于饮酒或醉酒场景之后,还可以在指定时间通过显示界面向用户弹起反馈界面,通过该反馈界面可以展示可穿戴设备识别到用户曾处于饮酒场景或者醉酒场景,该识别结果是否准确;然后根据用户的反馈结果,调整各可穿戴设备的权重因子。
通过本申请实施例提供的方法,终端设备可以接收用户佩戴的多个可穿戴设备采集的数据,从而可以结合各可穿戴设备的信息进行综合决策,从而可以实现对目标场景更准确的识别结果。因此,本申请实施例基于可穿戴设备,可以实现对一些目标场景的识别,从而可以及时地进行预测,向用户发出提醒或向紧急联系人发送告警信息等,从而可以及时地发现用户是否存在危险状况,更好的保障用户安全。
基于以上实施例,本申请还提供一种终端设备,所述终端设备包括多个功能模块;所述多个功能模块相互作用,实现本申请实施例所描述的各方法中终端设备所执行的功能。如执行图4a所示实施例中终端设备执行的步骤403至步骤404,或还可执行图4b所示实施例中终端设备执行的步骤405和步骤407。所述多个功能模块可以基于软件、硬件或软件和硬件的结合实现,且所述多个功能模块可以基于具体实现进行任意组合或分割。
基于以上实施例,本申请还提供一种可穿戴设备,所述可穿戴设备包括多个功能模块;所述多个功能模块相互作用,实现本申请实施例所描述的各方法中第一可穿戴设备或第二可穿戴设备或第三可穿戴设备或第四可穿戴设备所执行的功能。如执行图4a所示实施例中第一可穿戴设备执行的步骤401至步骤402,或还可执行图4b所示实施例中第二可穿戴设备执行的步骤406。所述多个功能模块可以基于软件、硬件或软件和硬件的结合实现,且所述多个功能模块可以基于具体实现进行任意组合或分割。
基于以上实施例,本申请还提供一种终端设备,该终端设备包括至少一个处理器和至少一个存储器,所述至少一个存储器中存储计算机程序指令,所述终端设备运行时,所述至少一个处理器执行本申请实施例所描述的各方法中终端设备所执行的功能。如执行图4a所示实施例中终端设备执行的步骤403至步骤404,或还可执行图4b所示实施例中终端设备执行的步骤405和步骤407。
基于以上实施例,本申请还提供一种可穿戴设备,该可穿戴设备包括至少一个处理器和至少一个存储器,所述至少一个存储器中存储计算机程序指令,所述可穿戴设备运行时,所述至少一个处理器执行本申请实施例所描述的各方法中可穿戴设备所执行的功能。如执行图4a所示实施例中第一可穿戴设备执行的步骤401至步骤402,或还可执行图4b所示实施例中第二可穿戴设备执行的步骤406。
基于以上实施例,本申请还提供一种目标场景的识别系统,该系统包括上述实施例中的终端设备和第一可穿戴设备。在一种可能的设计中,所述系统还可包括如上述实施例中的第二可穿戴设备。在另一种可能的设计中,所述系统还可包括如上述实施例中的第三可穿戴设备或第四可穿戴设备。
基于以上实施例,本申请还提供一种计算机程序产品,计算机程序产品包括:计算机程序(也可以称为代码,或指令),当计算机程序被运行时,使得计算机执行本申请实施例所描述的各方法。
基于以上实施例,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序被计算机执行时,使得所述计算机执行本申请实施例所描述的各方法。
基于以上实施例,本申请还提供了一种芯片,所述芯片用于读取存储器中存储的计算机程序,实现本申请实施例所描述的各方法。
基于以上实施例,本申请提供了一种芯片系统,该芯片系统包括处理器,用于支持计算机装置实现本申请实施例所描述的各方法。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器用于保存该计算机装置必要的程序和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的保护范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (25)
1.一种目标场景的识别方法,其特征在于,应用于目标场景的识别系统,所述系统包括第一可穿戴设备和终端设备,所述方法包括:
所述第一可穿戴设备对用户的手部动作进行监测,若监测到用户存在与预设饮酒动作轨迹匹配度大于指定匹配度阈值的手部动作轨迹,向所述终端设备发送第一指示信息;
所述终端设备接收并响应于所述第一指示信息,获取用户相关的生理指标的变化值;
若所述用户相关的生理指标的变化值大于或等于目标场景所对应的预设变化阈值,所述终端设备识别到所述用户处于所述目标场景中。
2.根据权利要求1所述的方法,其特征在于,所述系统还包括第二可穿戴设备,所述方法还包括:
若所述终端设备识别到所述用户处于所述目标场景中,向所述第二可穿戴设备发送第二指示信息;
所述第二可穿戴设备接收并响应于所述第二指示信息,启动对用户步态信息的监测;
若所述第二可穿戴设备分析到异常步态信息,将所述异常步态信息上传给所述终端设备,以使所述终端设备对所述异常步态信息进行异常响应处理;或者,所述第二可穿戴设备向所述终端设备上传所述用户步态信息,以使所述终端设备对所述用户步态信息进行分析,且若所述终端设备分析到异常步态信息,对所述异常步态信息进行异常响应处理。
3.根据权利要求1或2所述的方法,其特征在于,所述预设饮酒动作轨迹包括相继发生的以下动作:举杯动作,敬酒动作,喝酒动作,放杯动作。
4.根据权利要求3所述的方法,其特征在于,
所述举杯动作具有对应的第一方向参数和第一距离参数;
所述敬酒动作具有对应的第一时长参数;
所述喝酒动作具有对应的第二方向参数;
所述放杯动作具有对应的第三方向参数和第二距离参数。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:
所述第一可穿戴设备根据所述手部动作轨迹,对预先存储的所述预设饮酒动作轨迹进行更新。
6.根据权利要求5所述的方法,其特征在于,所述对预先存储的所述预设饮酒动作轨迹进行更新,包括:
对所述第一方向参数、所述第一距离参数、所述第一时长参数、所述第二方向参数、所述第三方向参数、所述第二距离参数中的至少一个参数进行调整。
7.根据权利要求2至6中任一项所述的方法,其特征在于,所述终端设备获取用户相关的生理指标,包括:
所述终端设备接收所述第一可穿戴设备监测到的所述用户相关的生理指标;或者,
所述终端设备接收所述第二可穿戴设备监测到的所述用户相关的生理指标;或者,
若所述系统还包括第三可穿戴设备,所述终端设备接收所述第三可穿戴设备监测到的所述用户相关的生理指标。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述用户相关的生理指标包括以下信息中的至少一种:心率、体温。
9.根据权利要求1至8中任一项所述的方法,其特征在于,所述方法还包括:
所述终端设备根据所述用户相关的生理指标的变化值,对预先存储的所述预设变化阈值进行更新。
10.根据权利要求2所述的方法,其特征在于,所述分析到异常步态信息,包括以下信息中的至少一种:
多组步长的方差大于第一方差阈值、多组步宽的方差大于第二方差阈值、多组步频的方差大于第三方差阈值、多组步态横向位移的方差大于第四方差阈值。
11.根据权利要求2至10中任一所述的方法,其特征在于,所述系统还包括第四穿戴设备,所述方法还包括:
所述终端设备向所述第四可穿戴设备发送第三指示信息;
所述第四可穿戴设备接收并响应于所述第三指示信息,启动对用户身体的平衡性信息的监测;所述平衡性信息包括所述第四可穿戴设备的第一侧平衡性数据和第二侧平衡性数据;
若所述第四可穿戴设备分析到所述第一侧平衡性数据和所述第二侧平衡性数据之差大于预设差值,确定分析到所述异常步态信息,并将所述异常步态信息上传给所述终端设备;或者,所述第四可穿戴设备向所述终端设备上传所述平衡性信息,以使所述终端设备对所述平衡性信息进行分析。
12.根据权利要求11所述的方法,其特征在于,所述终端设备对所述异常步态信息进行异常响应处理之前,所述方法还包括:
所述终端设备基于所述第二可穿戴设备上报的用户步态信息或异常步态信息、和所述第四可穿戴设备上报的平衡性信息或异常步态信息,进行融合判断,确定分析到异常步态信息的置信度;
所述终端设备对所述异常步态信息进行异常响应处理,包括:若所述置信度大于预设置信度阈值,对所述异常步态信息进行异常响应处理。
13.根据权利要求1至12中任一所述的方法,其特征在于,所述第一可穿戴设备为手部可穿戴设备。
14.根据权利要求2所述的方法,其特征在于,所述第二可穿戴设备为脚部可穿戴设备。
15.根据权利要求11或12所述的方法,其特征在于,所述第四可穿戴设备为腰部可穿戴设备。
16.一种目标场景的识别方法,其特征在于,所述方法包括:
第二可穿戴设备对用户步态信息进行监测;
若所述第二可穿戴设备分析到异常步态信息,将所述异常步态信息上传给终端设备,以使所述终端设备根据所述异常步态信息,确定用户处于目标场景中;或者,
所述第二可穿戴设备向所述终端设备上传所述用户步态信息,所述用户步态信息用于所述终端设备识别用户处于目标场景。
17.根据权利要求16所述的方法,其特征在于,所述第二可穿戴设备对用户步态信息进行监测之前,所述方法还包括:
所述第二可穿戴设备接收并响应于所述终端设备发送的第二指示信息,启动对所述用户步态信息的监测。
18.根据权利要求16或17所述的方法,其特征在于,所述分析到异常步态信息,包括以下信息中的至少一种:
多组步长的方差大于第一方差阈值、多组步宽的方差大于第二方差阈值、多组步频的方差大于第三方差阈值、多组步态横向位移的方差大于第四方差阈值。
19.一种终端设备,其特征在于,包括:一个或多个处理器;一个或多个存储器;
所述一个或多个存储器,用于存储一个或多个计算机程序以及数据信息;其中所述一个或多个计算机程序包括指令;
当所述指令被所述一个或多个处理器执行时,使得所述终端设备执行如权利要求1至15中任一项所述终端设备执行的方法。
20.一种第一可穿戴设备,其特征在于,包括:一个或多个处理器;一个或多个存储器;
所述一个或多个存储器,用于存储一个或多个计算机程序以及数据信息;其中所述一个或多个计算机程序包括指令;
当所述指令被所述一个或多个处理器执行时,使得所述第一可穿戴设备执行如权利要求1至15中任一项所述第一可穿戴设备执行的方法。
21.一种目标场景的识别系统,其特征在于,包括如权利要求19所述的终端设备和如权利要求20所述的第一可穿戴设备。
22.根据权利要求21所述的系统,其特征在于,所述系统还包括第二可穿戴设备;其中,所述第二可穿戴设备执行如权利要求2或10或11或12或14所述第二可穿戴设备执行的方法。
23.一种第二可穿戴设备,其特征在于,包括:一个或多个处理器;一个或多个存储器;
所述一个或多个存储器,用于存储一个或多个计算机程序以及数据信息;其中所述一个或多个计算机程序包括指令;
当所述指令被所述一个或多个处理器执行时,使得所述第二可穿戴设备执行如权利要求16至18中任一项所述的方法。
24.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至15中任意一项所述的方法,或执行如权利要求16至18中任一项所述的方法。
25.一种计算机程序产品,其特征在于,包括计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至15中任意一项所述的方法,或执行如权利要求16至18中任一项所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2021113417450 | 2021-11-12 | ||
CN202111341745 | 2021-11-12 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116126131A true CN116126131A (zh) | 2023-05-16 |
Family
ID=86305025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210431708.7A Pending CN116126131A (zh) | 2021-11-12 | 2022-04-22 | 一种目标场景的识别方法、系统及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116126131A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116649959A (zh) * | 2023-05-31 | 2023-08-29 | 北京欧应科技有限公司 | 监测系统、判断佩戴装置定位的方法及存储介质 |
-
2022
- 2022-04-22 CN CN202210431708.7A patent/CN116126131A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116649959A (zh) * | 2023-05-31 | 2023-08-29 | 北京欧应科技有限公司 | 监测系统、判断佩戴装置定位的方法及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200401225A1 (en) | Sleep detection in a location sharing system | |
US10462277B2 (en) | Method and device for providing function of mobile terminal | |
US10261475B1 (en) | Smart watch extended system | |
KR102446811B1 (ko) | 복수의 디바이스들로부터 수집된 데이터 통합 및 제공 방법 및 이를 구현한 전자 장치 | |
US10549173B2 (en) | Sharing updatable graphical user interface elements | |
US9201841B2 (en) | Activating applications based on accelerometer data | |
US9641991B2 (en) | Systems and methods for determining a user context by correlating acceleration data from multiple devices | |
CN109062467B (zh) | 分屏应用切换方法、装置、存储介质和电子设备 | |
US20120109862A1 (en) | User device and method of recognizing user context | |
CN107997767A (zh) | 用于识别用户活动的方法及其电子设备 | |
CN108604246A (zh) | 一种调节用户情绪的方法及装置 | |
CN108648381A (zh) | 体感型通知警告 | |
TW201628556A (zh) | 體能活動及健身監控器 | |
WO2016018788A1 (en) | Providing notifications based on user activity data | |
CN107710724A (zh) | 使用传感器数据控制显示器的方法及其电子设备 | |
KR20160079664A (ko) | 웨어러블 기기를 제어하는 디바이스 및 그 제어 방법 | |
US20180178064A1 (en) | Method for providing exercise information and wearable device therefor | |
US11043105B2 (en) | Hand-washing monitoring method, hand-washing monitoring device, and electronic device | |
CN116070035B (zh) | 数据处理方法和电子设备 | |
CN112566152A (zh) | 一种卡顿预测的方法、数据处理的方法以及相关装置 | |
CN116126131A (zh) | 一种目标场景的识别方法、系统及计算机可读存储介质 | |
CN114095542A (zh) | 显示控制方法及电子设备 | |
CN113495967A (zh) | 一种多媒体数据的推送方法、设备、服务器以及存储介质 | |
CN114583852A (zh) | 电子设备间的无线充电方法、存储介质及其电子设备 | |
KR102365161B1 (ko) | 모바일 단말의 기능 제공 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |