CN113761989A - 行为监控方法、装置、计算机及可读存储介质 - Google Patents
行为监控方法、装置、计算机及可读存储介质 Download PDFInfo
- Publication number
- CN113761989A CN113761989A CN202010509511.1A CN202010509511A CN113761989A CN 113761989 A CN113761989 A CN 113761989A CN 202010509511 A CN202010509511 A CN 202010509511A CN 113761989 A CN113761989 A CN 113761989A
- Authority
- CN
- China
- Prior art keywords
- behavior
- user
- gesture
- monitoring
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请实施例公开了一种行为监控方法、装置、计算机及可读存储介质,本申请适用于人工智能领域,该方法包括:获取用户的行为图像数据,识别该行为图像数据中上述用户的轮廓信息,根据轮廓信息确定该用户的用户行为姿态;获取用于监控用户姿态的监控行为状态,获取监控行为状态对应的标准行为姿态;获取标准行为姿态与用户行为姿态之间的匹配度;若该匹配度小于姿态匹配阈值,则确定用户行为姿态属于异常姿态,显示姿态调整消息。采用本申请,实现了对用户的行为管理,可以降低对用户进行行为监控的监控成本,还可以提高对用户进行行为监控的安全性,并提高对用户进行行为监控的效率及监控结果的准确性。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种行为监控方法、装置、计算机及可读存储介质。
背景技术
当用户处于不同的行为状态时,该用户保持所处的行为状态对应的行为姿态,不仅有助于该用户的形体保持,还可以提高用户的身体健康水平。如果用户的行为姿态不正确,会容易影响该用户的身体健康。以用户在工作时的坐姿为例,当用户的坐姿不正确时,会使得用户腰酸背痛,甚至影响脊椎,压迫神经,长此以往,可能会对用户的身体健康造成不可逆的伤害。因此,对于任何人来说,保持正确的行为姿态就极为重要。目前,一般可以通过其他人的监督提示,保持正确的行为姿态,通过这种方式会浪费其他人的时间和精力,进而增加了监控成本。或者,用户可以穿戴辅助工具强制保持正确的行为姿态,而这种辅助工具往往会对用户的身体带来负担,从而降低对用户进行行为姿态监控的安全性。
发明内容
本申请实施例提供了一种行为监控方法、装置、计算机及可读存储介质,可以降低对用户进行行为监控的监控成本,还可以提高对用户进行行为监控的安全性,提高对用户进行行为监控的效率和准确性。
本申请实施例一方面提供了一种行为监控方法,包括:
获取用户的行为图像数据,识别上述行为图像数据中上述用户的轮廓信息,根据上述轮廓信息确定上述用户的用户行为姿态;
获取用于监控用户姿态的监控行为状态,获取上述监控行为状态对应的标准行为姿态;
获取上述标准行为姿态与上述用户行为姿态之间的匹配度;
若上述匹配度小于姿态匹配阈值,则确定上述用户行为姿态属于异常姿态,显示姿态调整消息。
其中,上述方法还包括:
从上述用户行为姿态中获取上述用户的姿态特征,上述姿态特征包括上述用户的头部特征及身体特征;
根据上述头部特征及上述身体特征,确定上述用户行为姿态对应的实际行为状态;
上述获取上述标准行为姿态与上述用户行为姿态之间的匹配度,包括:
若上述实际行为状态与上述监控行为状态不匹配,则将默认异常匹配度确定为上述标准行为姿态与上述用户行为姿态之间的匹配度,上述默认异常匹配度小于上述姿态匹配阈值。
其中,上述用户行为姿态为用户姿态图片,上述标准行为姿态为标准姿态图片;
上述方法还包括:
若上述实际行为状态与上述监控行为状态相匹配,则调整上述用户姿态图片的尺寸,得到标准尺寸的待检测姿态图片,上述标准尺寸为上述标准姿态图片的尺寸;
对上述待检测姿态图片与上述标准姿态图片进行重合度比对,确定上述标准姿态图片与上述待检测姿态图片之间的重合度,将上述重合度确定为上述标准行为姿态与上述用户行为姿态之间的匹配度。
其中,上述获取上述标准行为姿态与上述用户行为姿态之间的匹配度,包括:
获取上述用户行为姿态中的用户姿态重心线及用户姿态基准点,上述用户姿态基准点在上述用户姿态重心线上;
获取上述标准行为姿态中的标准姿态重心线及标准姿态基准点,上述标准姿态基准点在上述标准姿态重心线上;
基于上述用户姿态基准点与上述标准姿态基准点,确定上述用户姿态重心线与上述标准姿态重心线之间的相似值;
基于上述相似值确定上述标准行为姿态与上述用户行为姿态之间的匹配度。
其中,上述获取上述标准行为姿态与上述用户行为姿态之间的匹配度,包括:
将上述用户行为姿态输入姿态检测模型,获取上述姿态检测模型所输出的上述用户行为姿态与至少两个姿态预测标签之间的姿态预测概率,上述至少两个姿态预测标签包括上述标准行为姿态对应的标签;
将上述用户行为姿态与上述标准行为姿态对应的标签之间的姿态预测概率,确定为上述标准行为姿态与上述用户行为姿态之间的匹配度。
其中,上述方法还包括:
若匹配度大于或等于姿态匹配阈值,则根据上述用户行为姿态获取屏幕与上述用户之间的行为距离,获取上述行为距离与标准行为距离之间的距离差值;
若上述距离差值大于距离异常阈值,则确定上述用户行为姿态属于上述异常姿态,显示距离调整消息。
其中,上述方法还包括:
响应针对上述用户的任务执行操作,确定上述用于监控用户姿态的监控行为状态为任务执行行为状态,启动任务执行计时器,上述任务执行计时器用于计时上述用户处于上述任务执行行为状态的时长;
当上述任务执行计时器所计时的时长等于任务执行时长阈值时,显示休息开始提示消息。
其中,上述监控行为状态还包括休息行为状态;上述方法还包括:
若获取到针对上述休息开始提示消息的休息确认响应,则创建休息计时器,暂停上述任务执行计时器,将上述监控行为状态从上述任务执行行为状态切换为上述休息行为状态;上述休息计时器用于计时上述用户处于上述休息行为状态的时长;
当上述休息计时器所计时的时长等于休息时长阈值时,显示休息结束提示消息,删除上述休息计时器,控制上述任务执行计时器继续计时,将上述监控行为状态从上述休息行为状态切换为上述任务执行行为状态。
其中,上述方法还包括:
响应针对上述用户的任务结束操作,将上述监控行为状态从上述任务执行行为状态切换为休息行为状态,将上述任务执行计时器的值,确定为任务执行时长;
获取系统网络时间,根据上述任务执行时长及上述系统网络时间得到任务执行日志信息;
将上述任务执行日志信息添加至任务日志数据库中,上述任务日志数据库用于存储上述用户的历史任务执行日志信息,上述历史任务执行日志信息包括上述任务执行日志信息。
其中,上述方法还包括:
获取终端设备发送的任务数据查询请求,根据上述任务数据查询请求,从上述任务日志数据库中获取上述历史任务执行日志信息;
根据上述历史任务执行日志信息生成任务执行统计图表,将上述任务执行统计图表发送给上述终端设备,以使上述终端设备显示上述任务执行统计图表。
其中,上述方法还包括:
基于上述任务结束操作,显示行为习惯监控列表,上述行为习惯监控列表包括行为习惯类型及上述行为习惯类型的执行状态;上述执行状态包括未完成状态及已完成状态;
当获取到针对上述行为习惯类型的行为习惯完成消息时,根据上述行为习惯完成消息将上述行为习惯类型的执行状态确定为上述已完成状态;
将更新后的行为习惯监控列表添加至业务记录数据库中,上述业务记录数据库用于记录上述行为习惯类型在不同时间段的执行状态。
本申请实施例一方面提供了一种行为监控装置,上述装置包括摄像头、距离传感器、显示屏幕及处理器;上述摄像头朝向上述显示屏幕的一侧用于获取光线;
上述摄像头,用于获取用户的行为图像数据;
上述处理器,用于识别上述行为图像数据中上述用户的轮廓信息,根据上述轮廓信息确定上述用户的用户行为姿态;
上述处理器,还用于获取用于监控用户姿态的监控行为状态,获取上述监控行为状态对应的标准行为姿态;
上述处理器,还用于获取上述标准行为姿态与上述用户行为姿态之间的匹配度;
上述处理器,还用于若上述匹配度小于姿态匹配阈值,则确定上述用户行为姿态属于异常姿态,在上述显示屏幕中显示姿态调整消息。
本申请实施例一方面提供了一种行为监控装置,上述装置包括:
姿态监控模块,用于获取用户的行为图像数据,识别上述行为图像数据中上述用户的轮廓信息,根据上述轮廓信息确定上述用户的用户行为姿态;
标准获取模块,用于获取用于监控用户姿态的监控行为状态,获取上述监控行为状态对应的标准行为姿态;
匹配确定模块,用于获取上述标准行为姿态与上述用户行为姿态之间的匹配度;
第一显示模块,用于若上述匹配度小于姿态匹配阈值,则确定上述用户行为姿态属于异常姿态,显示姿态调整消息。
其中,上述装置还包括:
特征获取模块,用于从上述用户行为姿态中获取上述用户的姿态特征,上述姿态特征包括上述用户的头部特征及身体特征;
状态获取模块,用于根据上述头部特征及上述身体特征,确定上述用户行为姿态对应的实际行为状态;
上述匹配确定模块,包括:
异常确定单元,用于若上述实际行为状态与上述监控行为状态不匹配,则将默认异常匹配度确定为上述标准行为姿态与上述用户行为姿态之间的匹配度,上述默认异常匹配度小于上述姿态匹配阈值。
其中,上述用户行为姿态为用户姿态图片,上述标准行为姿态为标准姿态图片;
上述匹配确定模块,还包括:
尺寸调整单元,用于若上述实际行为状态与上述监控行为状态相匹配,则调整上述用户姿态图片的尺寸,得到标准尺寸的待检测姿态图片,上述标准尺寸为上述标准姿态图片的尺寸;
重合比对单元,用于对上述待检测姿态图片与上述标准姿态图片进行重合度比对,确定上述标准姿态图片与上述待检测姿态图片之间的重合度,将上述重合度确定为上述标准行为姿态与上述用户行为姿态之间的匹配度。
其中,上述匹配确定模块,还包括:
第一获取单元,用于获取上述用户行为姿态中的用户姿态重心线及用户姿态基准点,上述用户姿态基准点在上述用户姿态重心线上;
第二获取单元,用于获取上述标准行为姿态中的标准姿态重心线及标准姿态基准点,上述标准姿态基准点在上述标准姿态重心线上;
差异确定单元,用于基于上述用户姿态基准点与上述标准姿态基准点,确定上述用户姿态重心线与上述标准姿态重心线之间的相似值;
匹配确定单元,用于基于上述相似值确定上述标准行为姿态与上述用户行为姿态之间的匹配度。
其中,上述匹配确定模块,还包括:
模型检测单元,用于将上述用户行为姿态输入姿态检测模型,获取上述姿态检测模型所输出的上述用户行为姿态与至少两个姿态预测标签之间的姿态预测概率,上述至少两个姿态预测标签包括上述标准行为姿态对应的标签;
上述匹配确定单元,还用于将上述用户行为姿态与上述标准行为姿态对应的标签之间的姿态预测概率,确定为上述标准行为姿态与上述用户行为姿态之间的匹配度。
其中,上述装置还包括:
距离获取模块,用于若匹配度大于或等于姿态匹配阈值,则根据上述用户行为姿态获取屏幕与上述用户之间的行为距离,获取上述行为距离与标准行为距离之间的距离差值;
距离调整模块,用于若上述距离差值大于距离异常阈值,则确定上述用户行为姿态属于上述异常姿态,显示距离调整消息。
其中,上述装置还包括:
第一计时模块,用于响应针对上述用户的任务执行操作,确定上述用于监控用户姿态的监控行为状态为任务执行行为状态,启动任务执行计时器,上述任务执行计时器用于计时上述用户处于上述任务执行行为状态的时长;
休息显示模块,用于当上述任务执行计时器所计时的时长等于任务执行时长阈值时,显示休息开始提示消息。
其中,上述监控行为状态还包括休息行为状态;上述装置还包括:
第二计时模块,用于若获取到针对上述休息开始提示消息的休息确认响应,则创建休息计时器,暂停上述任务执行计时器,将上述监控行为状态从上述任务执行行为状态切换为上述休息行为状态;上述休息计时器用于计时上述用户处于上述休息行为状态的时长;
第一切换模块,用于当上述休息计时器所计时的时长等于休息时长阈值时,显示休息结束提示消息,删除上述休息计时器,控制上述任务执行计时器继续计时,将上述监控行为状态从上述休息行为状态切换为上述任务执行行为状态。
其中,上述装置还包括:
第二切换模块,用于响应针对上述用户的任务结束操作,将上述监控行为状态从上述任务执行行为状态切换为休息行为状态,将上述任务执行计时器的值,确定为任务执行时长;
日志生成模块,用于获取系统网络时间,根据上述任务执行时长及上述系统网络时间得到任务执行日志信息;
日志存储模块,用于将上述任务执行日志信息添加至任务日志数据库中,上述任务日志数据库用于存储上述用户的历史任务执行日志信息,上述历史任务执行日志信息包括上述任务执行日志信息。
其中,上述装置还包括:
任务查询模块,用于获取终端设备发送的任务数据查询请求,根据上述任务数据查询请求,从上述任务日志数据库中获取上述历史任务执行日志信息;
任务统计模块,用于根据上述历史任务执行日志信息生成任务执行统计图表,将上述任务执行统计图表发送给上述终端设备,以使上述终端设备显示上述任务执行统计图表。
其中,上述装置还包括:
习惯显示模块,用于基于上述任务结束操作,显示行为习惯监控列表,上述行为习惯监控列表包括行为习惯类型及上述行为习惯类型的执行状态;上述执行状态包括未完成状态及已完成状态;
完成确定模块,用于当获取到针对上述行为习惯类型的行为习惯完成消息时,根据上述行为习惯完成消息将上述行为习惯类型的执行状态确定为上述已完成状态;
习惯统计模块,用于将更新后的行为习惯监控列表添加至业务记录数据库中,上述业务记录数据库用于记录上述行为习惯类型在不同时间段的执行状态。
本申请实施例一方面提供了一种计算机设备,包括处理器、存储器、输入输出接口;
上述处理器分别与上述存储器和上述输入输出接口相连,其中,上述输入输出接口用于接收数据及输出数据,上述存储器用于存储程序代码,上述处理器用于调用上述程序代码,以执行如本申请实施例第一方面中上述的行为监控方法。
本申请实施例一方面提供了一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,上述计算机程序包括程序指令,上述程序指令当被处理器执行时,执行如本申请实施例第一方面中上述的行为监控方法。
实施本申请实施例,将具有如下有益效果:
本申请实施例通过获取用户的行为图像数据,识别该行为图像数据中用户的轮廓信息,根据该轮廓信息确定用户的用户行为姿态;获取用于监控用户姿态的监控行为状态,获取该监控行为状态对应的标准行为姿态;获取用户行为姿态与标准行为姿态之间的匹配度,若该匹配度小于姿态匹配阈值,则确定用户行为姿态属于异常姿态,显示姿态调整消息,以使用户根据该姿态调整消息调整用户行为姿态。通过上述过程,可以在无需其他人的监督提示或穿戴式辅助工具的情况下,实现对用户的行为监控及提示,可以降低对用户进行行为监控的监控成本,还可以提高对用户进行行为监控的安全性,并且通过人工智能对用户进行行为监控,提高了行为监控的效率及监控结果的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种行为监控架构图;
图2是本申请实施例提供的一种行为监控场景示意图;
图3是本申请实施例提供的一种行为监控方法流程图;
图4是本申请实施例提供的一种行为监控具体流程示意图;
图5a是本申请实施例提供的一种语音指令控制场景示意图;
图5b是本申请实施例提供的一种触屏控制场景示意图;
图6是本申请实施例提供的一种休息场景示意图;
图7是本申请实施例提供的一种基于重心线确定匹配值的场景示意图;
图8是本申请实施例提供的一种数据统计场景示意图;
图9是本申请实施例提供的一种行为习惯监控场景示意图;
图10是本申请实施例提供的一种计算机设备页面显示示意图;
图11是本申请实施例提供的一种行为监控装置示意图;
图12是本申请实施例提供的一种行为监控装置的结构视图;
图13是本申请实施例提供的一种行为监控的计算机设备架构图;
图14是本申请实施例中提供的一种设备架构的数据传输示意图;
图15是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
具体的,本申请可以通过人工智能技术管理用户的行为习惯等,如通过人工智能中的计算机视觉技术实现对用户的行为监控,以使用户可以根据监控结果调整自己的行为姿态,通过人工智能中的语音技术采集用户的语音信息,以根据采集到的语音信息进行功能切换或选择确认等。
其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、三维(3-Dimension,3D)技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。其中,该图像识别是指利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象的技术,是应用深度学习算法的一种实践应用。
语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR)和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉,是未来人机交互的发展方向,其中语音成为未来最被看好的人机交互方式之一。
具体的,本申请实施例提供的方案涉及上述人工智能中的计算机视觉技术及语音技术等,具体通过如下实施例进行说明。
请参见图1,图1为本申请实施例提供的一种行为监控架构图,如图1所示,本申请是通过计算机设备101所实现的,该计算机设备101可以是由服务器及终端设备组成;该计算机设备101还可以是由服务器、显示器及摄像头组成;或者,该计算机设备101还可以为终端设备,该终端设备为具备显示功能及图像采集功能的设备等,在此不做限定。
举例来说,该计算机设备101为终端设备,该计算机设备101包括图像采集区1011、数据存储区1012及显示区1013等。具体的,该计算机设备101通过图像采集区1011获取用户的行为图像数据,计算机设备101从该行为图像数据中识别该用户的用户行为姿态,该用户行为姿态为该用户的身体的当前行为姿态。计算机设备101获取用于监控用户姿态的监控行为状态,获取该监控行为状态对应的标准行为姿态,该标准行为姿态为用户在监控行为状态下,身体应该保持的正确行为姿态。计算机设备101获取用户行为姿态与标准行为姿态的匹配度,在匹配度小于姿态匹配阈值时,确定用户行为姿态属于异常姿态,在显示区1013显示姿态调整消息,以使用户可以根据该姿态调整消息调整自己的行为姿态。其中,计算机设备101可以将在对用户进行行为监控的过程中所产生的数据,存储至数据存储区1012。当计算机设备101获取到终端设备102的查询请求时,计算机设备101从数据存储区1012中获取与该查询请求相关联的数据,将与查询请求相关联的数据发送给终端设备102。本申请在无需其他人进行监督提示或穿戴式的辅助工具进行辅助的情况下,实现了对用户的行为监控,从而节省了时间和精力,并减少对用户的身体带来的负担。
可以理解的是,本申请实施例提供的方法可以由计算机设备执行,计算机设备包括但不限于终端设备或服务器。其中,该计算机设备为一种软硬件结合的设备,即该计算机设备包括硬件设备及软件系统,该软件系统可以认为是根据程序代码生成的,该程序代码可以实现本申请中进行行为监控的各个步骤。本申请实施例中进行数据异常识别的执行主体可以为计算机设备。其中,计算机设备101可以是服务器或终端设备,也可以是服务器和终端设备组成的系统,其中,上述所提及的终端设备可以是一种电子设备,包括但不限于手机、平板电脑、台式电脑、笔记本电脑、掌上电脑及移动互联网设备(mobile internetdevice,MID)等。
进一步地,请参见图2,图2是本申请实施例提供的一种行为监控场景示意图。如图2所示,计算机设备201置于支撑面2011上,该支撑面2011可以是能放置物品的平面,如地面或桌子表面等,在此不做限定。计算机设备201获取用户202的行为图像数据203,该行为图像数据203包括背景及用户画像,其中,背景为当计算机设备201获取该用户的行为图像数据203时,该用户所处的周边环境。计算机设备201识别该行为图像数据203,得到该行为图像数据203中用户202的轮廓信息204,具体的,该用户202的轮廓信息204是根据行为图像数据203中的用户画像得到的。计算机设备201根据该用户202的轮廓信息204,确定该用户202的用户行为姿态205,该用户行为姿态205可以是用户姿态图片,也可以是用户姿态特征等,在此不做限定。计算机设备201获取用于监控用户姿态的监控行为状态,从数据存储区206中获取该监控行为状态对应的标准行为姿态207。获取用户行为姿态205与标准行为姿态207之间的匹配度,若该匹配度小于姿态匹配阈值,则确定用户行为姿态205为异常姿态,在计算机设备201的显示区显示姿态调整消息,以使用户202可以根据该姿态调整消息调整自己的行为姿态,从而在无需其他人的监督提示或穿戴式辅助工具的情况下,实现对用户202的行为监控提示,可以降低对用户进行行为监控的监控成本,还可以提高对用户进行行为监控的安全性,同时通过人工智能监控,获取到的数据更为精准,从而提高了对用户进行行为监控的效率及监控结果的准确性。
进一步地,请参见图3,图3是本申请实施例提供的一种行为监控方法流程图。如图3所示,该行为监控过程包括如下步骤:
步骤S301,获取用户的行为图像数据,识别该行为图像数据中用户的轮廓信息,根据该轮廓信息确定用户的用户行为姿态。
具体的,计算机设备通过图像采集区获取用户的行为图像数据,识别该行为图像数据中用户的轮廓信息,根据该轮廓信息确定用户的用户行为姿态。其中,该轮廓信息可以是用户的轮廓特征,也可以是用户的轮廓形状。计算机设备可以将获取到的用户的行为图像数据输入人物识别模型,得到该行为图像数据中用户的用户行为姿态,具体的,该人物识别模型获取到用户的行为图像数据,识别该行为图像数据中的人物区域,并基于该人物区域提取该行为图像数据中的轮廓信息,根据该轮廓信息输出用户的用户行为姿态;或者,该计算机设备可以直接采集用户的轮廓信息,根据轮廓信息确定用户的用户行为姿态,如,通过红外线感应用户,根据感应到的用户提取该用户的轮廓信息,根据该轮廓信息确定用户的用户行为姿态。
步骤S302,获取用于监控用户姿态的监控行为状态,获取该监控行为状态对应的标准行为姿态。
具体的,不同的监控行为状态对应的标准行为姿态可能不同,即,用户在不同的行为状态下所需保持的正确的行为姿态可能不同。举例来说,当监控行为状态为任务执行行为状态时,该任务执行行为状态对应的标准行为状态为第一坐姿,第一坐姿为执行任务时需要保持的标准行为姿态,如该第一坐姿为“背挺直,头摆正,微低头等”对应的用户姿态特征,或者,该第一坐姿为“背挺直,头摆正,微低头等”对应的用户姿态图片;当监控行为状态为屏幕查看状态时,该屏幕查看状态对应的标准行为状态为第二坐姿,其中,第二坐姿可以为“背挺直,头摆正,头部直面屏幕等”对应的用户姿态特征或用户姿态图片;当监控行为状态为休息行为状态时,该休息行为状态对应的标准行为状态为第三坐姿或站立姿态,其中,该第三坐姿可以为“身体趴伏等”对应的用户姿态特征或用户姿态图片,站立姿态为“全身直立,两肩齐平等”对应的用户姿态特征或用户姿态图片;等。可选的,可以对该监控行为状态与标准行为姿态的对应关系进行更新,如,可以根据针对人体姿态的科学研究,对标准行为姿态进行更新,以使标准行为姿态为科学研究表明的对人体负担最小的行为姿态,或者,当用户存在新的行为状态时,可以存储该新的行为状态及该新的行为状态对应的标准行为姿态。
其中,该计算机设备中包括的程序代码中存在监控行为状态,该监控行为状态为变量,该监控行为状态用于存储用户当前的理论行为状态,当计算机设备确定用户行为姿态时,获取监控行为状态,根据该监控行为状态的值获取标准行为姿态,该监控行为状态的值为用户当前的理论行为状态。其中,该理论行为状态为计算机设备根据获取到的操作等所确定的,例如,当计算机设备获取到任务执行操作,该任务执行操作对应任务执行行为状态(即用户当前的理论行为状态为任务执行行为状态),则确定监控行为状态为任务执行行为状态。
步骤S303,获取标准行为姿态与用户行为姿态之间的匹配度。
具体的,计算机设备比对标准行为姿态及用户行为姿态,得到标准行为姿态与用户行为姿态之间的匹配度,该匹配度用于表示标准行为姿态与用户行为姿态之间的相似程度。其中,该用户行为姿态用于表示该用户当前的实际行为姿态,标准行为姿态用于表示用户在监控行为状态下,应该保持的正确的行为姿态,因此,该匹配度可以用于确定用户当前的实际行为姿态是否正确。
步骤S304,若匹配度小于姿态匹配阈值,则确定用户行为姿态属于异常姿态,显示姿态调整消息。
具体的,若匹配度小于姿态匹配阈值,则确定用户行为姿态属于异常姿态,以表示用户当前的实际行为姿态不正确,并显示姿态调整消息,该姿态调整消息可以被用户获取到。其中,该姿态调整消息可以包括需要调整的具体的身体部位以及该身体部位的调整方式,当用户获取到该姿态调整消息时,可以根据该姿态调整消息调整用户行为姿态,以使调整后的用户行为姿态与标准行为姿态之间的匹配度,大于或等于姿态匹配阈值,从而实现对用户的行为监控及提示。
举例来说,假定用户行为姿态与标准行为姿态之间的匹配度为50%,姿态匹配阈值为85%,该匹配度50%小于姿态匹配阈值85%,则确定该用户行为姿态属于异常姿态。其中,对比该用户行为姿态与标准行为姿态后,确定用户的头部向左偏移5厘米,身体前倾30度,根据该用户行为姿态与标准行为姿态之间的对比结果,生成并显示姿态调整消息“请头部向右偏5厘米,身体向后靠30度”,以使该用户可以根据姿态调整消息调整用户行为姿态。其中,上述“左、右、前及后等”方位性名词,均是以用户为参照,例如,“左”是对于用户来说的左侧,“前”是对于用户来说的前方(用户面部朝向的方位)等。
本申请实施例通过获取用户的行为图像数据,识别该行为图像数据中用户的轮廓信息,根据该轮廓信息确定用户的用户行为姿态;获取用于监控用户姿态的监控行为状态,获取该监控行为状态对应的标准行为姿态;获取用户行为姿态与标准行为姿态之间的匹配度,若该匹配度小于姿态匹配阈值,则确定用户行为姿态属于异常姿态,显示姿态调整消息,以使用户根据该姿态调整消息调整用户行为姿态。通过上述过程,可以在无需其他人的监督提示或穿戴式辅助工具的情况下,实现对用户的行为监控及提示,可以降低对用户进行行为监控的监控成本,还可以提高对用户进行行为监控的安全性,并且通过人工智能对用户进行行为监控,使得获取到的数据更为精确,从而提高了行为监控的效率及监控结果的准确性。
进一步地,参见图4,图4是本申请实施例提供的一种行为监控具体流程示意图。如图4所示,包括如下步骤:
步骤S401,响应针对用户的任务执行操作,确定监控行为状态,并进行任务计时。
具体的,当计算机设备接收到任务执行操作时,响应针对用户的任务执行操作,确定用于监控用户姿态的监控行为状态为任务执行行为状态(即将监控行为状态的值置为任务执行行为状态),启动任务执行计时器,该任务执行计时器用于计时用户处于任务执行行为状态的时长。其中,该任务执行操作所针对的任务可以是写字或低头看书等,任务执行计时器用于计时用户写字或低头看书等的时长。其中,当任务执行计时器所计时的时长等于任务执行时长阈值时,显示休息开始提示消息,从而可以提示用户及时休息,对用户的身体健康有利,如可以让眼睛、头部、肩膀及腰部等及时得到放松。
其中,计算机设备可以通过摄像头进行监控,当该摄像头监测到用户在摄像头的监测的指定范围内停留的时间大于或等于预设停留时长时,确定用户存在执行任务的可能性,显示任务执行确认消息,基于该任务执行确认消息获取针对用户的任务执行操作。
其中,该任务执行操作可以是针对用户的语音指令,也可以是针对用户的触屏操作,或者可以是针对用户的点击操作等,在此不做限制。举例来说,计算机设备获取该用户的语音指令,提取该语音指令中的关键词,获取该关键词对应的操作类型,若该操作类型为任务执行操作,则响应该任务执行操作;或者,计算机设备获取到针对该用户的触屏操作,获取该触屏操作对应的功能区域,若该功能区域对应任务执行操作,则响应该任务执行操作;或者,计算机室合并获取到针对用户的点击操作,获取该点击操作对应的点击对象,若该点击对象对应任务执行操作,则响应任务执行操作。
其中,以语音指令及触屏操作为例,对任务执行操作的获取及响应过程进行描述,具体通过图5a对语音指令控制的场景进行描述,通过图5b对触屏操作控制的场景进行描述。
具体的,以语音指令为例,可以参见图5a,图5a是本申请实施例提供的一种语音指令控制场景示意图,其中,该图5a为语音指令指示任务执行操作时的具体场景,当该语音指令指示其他操作类型时,根据语音指令得到其他操作类型的过程与图5a中得到任务执行操作的过程一致。其中,当用户501发出声音“写作业”时,计算机设备503获取该“写作业”对应的语音指令502,对该语音指令502与存储的语音操作映射表进行模糊匹配,获取语音操作映射表中该语音指令502对应的操作类型,得到该语音指令502对应的操作类型为任务执行操作。其中,该模糊匹配可以是通过提取语音指令502中的关键词,在语音操作映射表中查找该关键词,若在语音操作映射表中查找到该关键词,则该关键词对应的操作类型即为语音指令502对应的操作类型,例如,可以通过正则表达式等在语音操作映射表中查找该关键词,在此不做限制。
举例来说,该语音操作映射表可以是一个如下表1所示的表格。
表1
语音指令 | 写作业、写字 | 休息 | 查字典 | ... |
操作类型 | 任务执行操作 | 休息确认操作 | 屏幕查看操作 | ... |
计算机设备503响应针对用户501的任务执行操作,确定用户监控用户姿态的监控行为状态为任务执行行为状态(相当于,将监控行为状态的值确定为任务执行行为状态,该过程可以通过赋值公式“监控行为状态=任务执行行为状态”等方式实现),启动任务执行计时器504(如图5a中实线所指示的过程)。当任务执行计时器504所计时的时长等于任务执行时长阈值时,计算机设备503显示休息开始提示消息5031。例如,假定任务执行时长阈值为25分钟,当任务执行计时器504所计时的时长为25分钟时,该任务执行计时器504所计时的时长“25分钟”等于任务执行时长阈值,显示休息开始提示消息。
具体的,以触屏操作为例,可以参见图5b,图5b是本申请实施例提供的一种触屏控制场景示意图,其中,该图5b为触屏操作指示任务执行操作时的具体场景,当该触屏操作指示其他操作类型时,根据触屏操作得到其他操作类型的过程与图5b中得到任务执行操作的过程一致。如图5b所示,当摄像头505监测到用户506在摄像头505的指定范围内停留的时间大于或等于预设停留时长时,计算机设备507显示任务执行确认消息5071,例如,该任务执行确认消息5071为“是否开始写作业”。当计算机设备507接收到的语音指令为“是”或“确定”等肯定性指令时,计算机设备507获取针对用户506的任务执行操作;当计算机设备507接收到的语音指令为“否”或“取消”等否定性指令时,计算机设备507返回设备首页或返回显示任务执行确认消息5071前一时刻的页面。其中,该摄像头505属于计算机设备507。
其中,计算机设备5071获取到任务执行操作之后所执行的步骤,与图5a中计算机设备503获取到任务执行操作之后所执行的步骤一致,在此简要说明。计算机设备507将监控行为状态确定为任务执行行为状态,启动任务执行计时器508(如图5b中实线所指示的过程),当任务执行计时器508所计时的时长等于任务执行时长阈值时,计算机设备507显示休息开始提示消息5072,例如,“您好,已经工作XX时间啦,请休息XX时间,活动一下”。
可选的,当计算机设备获取到任务执行操作时,可以显示任务时间提示消息,例如,“您好,现在是X时X分,加油写作业吧,XX时间之后我会提醒您休息”,其中,假定任务执行时长阈值为25分钟,则该任务时间提示消息为“您好,现在是X时X分,加油写作业吧,25分钟之后我会提醒您休息”。其中,在图5a中,计算机设备503响应任务执行操作,显示任务时间提示消息5032,启动任务执行计时器504,该过程如图5a中虚线所指示的过程;在图5b中,计算机设备507响应任务执行操作,显示任务时间提示消息5073,启动任务执行计时器508,该过程如图5b中虚线所指示的过程。
步骤S402,若获取到针对休息开始提示消息的休息确认响应,则切换监控行为状态,进行休息计时。
具体的,该监控行为状态还包括休息行为状态,若计算机设备获取到针对休息开始提示消息的休息确认响应,则创建休息计时器,暂停任务执行计时器,将监控行为状态从任务执行行为状态切换为休息行为状态;休息计时器用于计时用户处于休息行为状态的时长。当休息计时器所计时的时长等于休息时长阈值时,显示休息结束提示消息,删除休息计时器,控制任务执行计时器继续计时,将监控行为状态从休息行为状态切换为任务执行行为状态。其中,上述休息确认响应可以是语音指令,也可以是触屏操作,还可以是点击操作等,在此不做限制。其中,若计算机设备获取到针对休息开始提示消息的休息取消响应,则直接执行步骤S403。
具体的,以触屏操作为例,请参见图6,图6是本申请实施例提供的一种休息场景示意图。如图6所示,计算机设备601显示了休息开始提示消息6011,该休息开始提示消息6011包括确定选项及取消选项。当计算机设备601监测到确定选项被触摸时,根据该确定选项获取针对休息开始提示消息的休息确认响应,基于该休息确认响应创建休息计时器603,暂停任务执行计时器602,将监控行为状态从任务执行行为状态切换为休息行为状态,可以通过赋值公式“监控行为状态=休息行为状态”等对监控行为状态进行切换。当休息计时器603所计时的时长等于休息时长阈值时,计算机设备601显示休息结束提示消息6012,如,“您好,休息时间到,请继续书写作业吧~”。计算机设备601删除休息计时器603,控制任务执行计时器604继续计时,将监控行为状态从休息行为状态切换为任务执行行为状态。其中,该任务执行计时器602与任务执行计时器604是不同状态下的同一计时器,该任务执行计时器602为暂停计时状态下的计时器,任务执行计时器604为进行计时状态下的计时器。
步骤S403,响应针对用户的任务结束操作,切换监控行为状态,存储任务执行日志信息。
具体的,计算机设备响应针对用户的任务结束操作,将监控行为状态从任务执行行为状态切换为休息行为状态,将任务执行计时器的值,确定为任务执行时长;获取系统网络时间,根据任务执行时长及系统网络时间得到任务执行日志信息;将任务执行日志信息添加至任务日志数据库中,任务日志数据库用于存储用户的历史任务执行日志信息,该历史任务执行日志信息包括上述任务执行日志信息。例如,假定任务执行计时器的值为40分钟,确定任务执行时长为40分钟,获取系统网络时间“2020年3月25日星期三”,根据任务执行时长“40分钟”及系统网络时间“2020年3月25日星期三”,得到任务执行日志信息,该任务执行日志信息用于表示用户在2020年3月25日星期三这一天,执行了40分钟的任务;将该任务执行日志信息存储至任务日志数据库中之后,此时该任务日志数据库中包括2020年3月25日的任务执行日志信息,以及2020年3月25日之前的历史任务执行日志信息。
可选的,计算机设备还可以显示当日任务完成消息,如“您今天写作业用了40分钟,比昨天快XX,超过了…的用户~”。其中,当步骤S401中的任务执行计时器所计时的时长小于任务执行时长阈值时,计算机设备获取到针对用户的任务结束操作,执行步骤S403。
步骤S404,获取用户的行为图像数据,识别该行为图像数据中用户的轮廓信息,根据该轮廓信息确定用户的用户行为姿态。
具体的,该步骤可以参见图3中步骤S301所示的具体描述。可选的,计算机设备可以获取到至少一个行为图像数据,该至少一个行为图像数据包括用户的正面行为图像数据,该至少一个行为图像数据还可以包括用户的侧面行为图像数据,获取每个行为图像数据对应的用户行为姿态;其中,计算机设备可以通过摄像头等采集用户的三维图像,根据三维图像得到用户的正面行为图像数据及侧面行为图像数据。可选的,计算机设备还可以通过摄像头等采集用户的三维图像,将该三维图像作为用户的行为图像数据。
步骤S405,获取用于监控用户姿态的监控行为状态,获取该监控行为状态对应的标准行为姿态。
具体的,计算机设备获取用于监控用户姿态的监控行为状态,根据该监控行为状态的值获取该监控行为状态对应的标准行为状态。例如,根据上述步骤S403可知,计算机设备获取到用户监控用户姿态的监控行为状态为任务执行行为状态,获取任务执行行为状态对应的标准行为姿态,即第一坐姿。进一步地,可以参见图3中步骤S302所示的具体描述,在此不再进行赘述。
步骤S406,获取标准行为姿态与用户行为姿态之间的匹配度。
具体的,可以参见图3中步骤S303所示的具体描述。
进一步地,一种匹配度确定方式中,计算机设备可以从用户行为姿态中获取用户的姿态特征,该姿态特征包括上述用户的头部特征及身体特征;根据头部特征及身体特征,确定用户行为姿态对应的实际行为状态。对比实际行为状态与监控行为状态,若实际行为状态与监控行为状态不匹配,则表示用户的用户行为姿态完全不正确,将默认异常匹配度确定为标准行为状态与用户行为姿态之间的匹配度,其中,该默认异常匹配度小于姿态匹配阈值。其中,默认异常匹配度可以是一个预设的固定数值,如默认异常匹配度可以为0,该默认异常匹配度的作用在于当实际行为状态与监控行为状态不匹配时,可以直接调用该默认异常匹配度,进而通过默认异常匹配度进行匹配度的检测及后续对用户行为姿态的异常检测,从而减少了对用户进行行为姿态监控时所需的计算量,提高了行为监控的效率。
其中,该头部特征可以包括抬头特征或低头特征,具体是根据头部中的额头与下巴的相对位置关系等确定的,该身体特征包括局部特征与全身特征等,具体是根据采集到的用户的身体范围所确定的,该头部特征与身体特征的确定方式,在此不做限制。例如,计算机设备获取到用户的额头与下巴间的平面距离小于抬头阈值,则确定头部特征为低头特征,该平面距离大于或等于抬头阈值,则确定头部特征为抬头特征等;计算机设备获取到用户的身体范围小于全身阈值,则确定身体特征为局部特征,当身体范围大于或等于全身阈值时,确定身体特征为全身特征。其中,还可以根据低头特征确定低头程度,不同的低头程度对应不同的行为状态,如,该低头特征表明用户的低头程度达到完全低头(趴伏在平面上),则确定实际行为状态为休息行为状态。
其中,该用户行为姿态为用户姿态图片,标准行为姿态为标准姿态图片。若实际行为状态与监控行为状态不匹配,则计算机设备调整用户姿态图片的尺寸,得到标准尺寸的待检测姿态图片,该标准尺寸为标准姿态图片的尺寸。对待检测图片与标准姿态图片进行重合度比对,确定标准姿态图片与待检测姿态图片之间的重合度,将该重合度确定为标准行为姿态与用户行为姿态之间的匹配度。
具体的,另一种匹配度确定方式中,可以直接调整用户姿态图片的尺寸,得到标准尺寸的待检测姿态图片,该标准尺寸为标准姿态图片的尺寸。对待检测图片与标准姿态图片进行重合度比对,确定标准姿态图片与待检测姿态图片之间的重合度,将该重合度确定为标准行为姿态与用户行为姿态之间的匹配度。
具体的,又一种匹配度确定方式中,获取用户行为姿态中的用户姿态重心线及用户姿态基准点,该用户姿态基准点在用户姿态重心线上;获取标准行为姿态中的标准姿态重心线及标准姿态基准点,该标准姿态基准点在标准姿态重心线上;基于用户姿态基准点与标准姿态基准点,确定用户姿态重心线与标准姿态重心线之间的相似值;基于相似值确定标准行为姿态与用户行为姿态之间的匹配度。其中,用户姿态重心线为用户行为姿态中的中心线,标准姿态重心线为用户行为姿态中的中心线。
具体可以参见图7,图7是本申请实施例提供的一种基于重心线确定匹配值的场景示意图,此处假定获取到用户的至少一个行为图像数据,包括正面行为图像数据及侧面行为图像数据等,以行为图像数据为侧面行为图像数据为例。如图7所示,计算机设备中的摄像头701采集到用户702的行为图像数据,根据该行为图像数据得到用户702的用户行为姿态703,获取该用户行为姿态703中的用户姿态重心线7031及用户姿态基准点7032,其中,该用户姿态重心线7031是根据用户702的身体重心所得到的,可以表示该用户的行为姿态曲线。计算机设备获取到正确姿态704的标准行为姿态705,获取该标准行为姿态705中的标准姿态重心线7051及标准姿态基准点7052,其中,该标准姿态重心线7051是根据正确姿态704的行为姿态曲线得到的。其中,该用户姿态基准点7032与标准姿态基准点7052为同一部位,换句话说,用户姿态基准点7032在用户行为姿态703中对应的部位,与标准姿态基准点7052在标准行为姿态705中对应的部位一致。
计算机设备基于用户姿态基准点7032与标准姿态基准点7052,确定用户姿态重心线7031与标准姿态重心线7051之间的相似值,基于该相似值确定标准行为姿态705与用户行为姿态703之间的匹配度。具体的,计算机设备可以重合用户姿态基准点7032与标准姿态基准点7052,将用户姿态重心线7031与标准姿态重心线7051置于同一平面进行相似比对,其中,该相似比对过程706中的标准姿态重心线7051为虚线,是用于区分用户姿态重心线7031,并无实际含义。计算机设备对用户姿态重心线7031与标准姿态重心线7051进行相似比对后,将两者的重合程度确定为用户姿态重心线7031与标准姿态重心线7051之间的相似值,基于该相似值确定标准行为姿态705与用户行为姿态703之间的匹配度。
具体的,还一种匹配度确定方式中,计算机设备将用户行为姿态输入姿态检测模型,获取姿态检测模型所输出的用户行为姿态与至少两个姿态预测标签之间的姿态预测概率,至少两个姿态预测标签包括标准行为姿态对应的标签;将用户行为姿态与标准行为姿态对应的标签之间的姿态预测概率,确定为标准行为姿态与用户行为姿态之间的匹配度。
可选的,该姿态检测模型还可以用于检测用户行为姿态与至少两个异常姿态预测标签之间的异常姿态预测概率,当用户行为姿态与任意一个异常姿态预测标签之间的异常姿态预测概率大于或等于异常姿态匹配值时,将默认异常匹配度确定为该用户行为姿态与标准行为姿态之间的匹配度。当用户行为姿态与所有异常姿态预测标签之间的异常姿态预测概率均小于异常姿态匹配值时,确定该用户行为姿态与标准行为姿态之间的匹配度为正确匹配度,该正确匹配度大于或等于姿态匹配阈值。
步骤S407,若匹配度小于姿态匹配阈值,则确定用户行为姿态属于异常姿态,显示姿态调整消息。
具体的,若匹配度小于姿态匹配阈值,则确定用户行为姿态属于异常姿态,以表示用户当前的实际行为姿态不正确,并显示姿态调整消息,该姿态调整消息可以被用户获取到。具体可以参见图3中步骤S304所示的具体描述,在此不再进行赘述。
步骤S408,根据用户的行为距离检测用户行为姿态的合法性。
具体的,若匹配度大于或等于姿态匹配阈值,则计算机设备根据用户行为姿态获取屏幕与用户之间的行为距离,获取行为距离与标准行为距离之间的距离差值;若距离差值大于距离异常阈值,则确定用户行为姿态属于异常姿态,显示距离调整消息。具体的,计算机设备可以通过距离传感器,获取屏幕与用户之间的行为距离。其中,该标准行为距离为屏幕与计算机设备所在支撑面的边沿之间的距离,以及支撑面的边沿与用户之间的标准间距之和,其中,该支撑面的边沿指位于屏幕与用户之间的边。例如,屏幕与计算机设备所在支撑面的边沿之间的距离为50厘米,该支撑面的边沿与用户之间的标准间距为10厘米,得到标准行为距离为60厘米。若距离异常阈值为2厘米,则获取到行为距离为55厘米,得到该行为距离与标准行为距离之间的距离差值为5厘米,该距离差值5厘米大于距离异常阈值2厘米,确定用户姿态属于异常姿态,显示距离调整消息,该距离调整消息可以包括“请远离支撑面的边沿5厘米”。
其中,上述数值仅为举例,在实际实现中,标准行为距离是根据用户保持正确行为姿态时,应与支撑面的边沿保持的距离得到的。其中,该距离差值可以是由行为距离减去标准行为距离,当得到的距离差值为负数时,该用户应该远离支撑面的边沿,当得到的距离差值为正数时,该用户应该靠近支撑面的边沿;该距离差值也可以是由标准行为距离减去行为距离,当得到的距离差值为负数时,该用户应该靠近支撑面的边沿,当得到的距离差值为正数时,该用户应该远离支撑面的边沿。
其中,该行为距离可以包括至少一个部位行为距离,如眼睛行为距离及胸部行为距离等。
步骤S409,统计任务日志数据库中的数据。
具体的,获取终端设备发送的任务数据查询请求,根据任务数据查询请求,从任务日志数据库中获取历史任务执行日志信息;根据历史任务执行日志信息生成任务执行统计图表,将任务执行统计图表发送给终端设备,以使终端设备显示任务执行统计图表。
具体的,可以参见图8,图8是本申请实施例中提供的一种数据统计场景示意图。如图8所示,终端设备包括课表设置、习惯监控、数据统计、声音设置及远程监控等功能,其中,课表设置用于导入或显示课表,习惯监控用于显示计算机设备中的习惯监控数据库中的数据,数据统计用于显示任务日志数据库中的数据及行为姿态调整的数据等,声音设置用于设置终端设备进行语音播报时的声音风格,远程监控用于实时监控计算机设备的摄像头采集的画面等。
当用户在设备管理页面801中针对数据统计功能进行操作时,终端设备接收到该数据统计请求,将该数据统计请求发送给计算机设备802,该计算机设备802获取到终端设备发送的数据统计请求,从数据库803中获取数据统计请求对应的数据,将数据统计请求对应的数据发送给终端设备,该终端设备在数据统计页面804中显示接收到的数据统计请求对应的数据。具体的,该数据统计功能可以包括多个子功能,每个子功能对应一个统计对象,假定终端设备获取到针对任务数据查询子功能的操作,向计算机设备802发送任务数据查询请求,计算机设备802获取到该任务查询请求,从数据库803中获取历史任务执行日志信息,此时的数据库803为任务日志数据库。计算机设备根据历史任务执行日志信息生成任务执行统计图表8041,将该任务执行统计图表8041发送给终端设备,终端设备在数据统计页面804中显示该任务执行统计图表8041。其中,该任务执行统计图表8041还可以包括历史任务执行日志信息的统计情况,包括历史任务执行日志信息的历史任务执行时长的最大时长、平均时长及最小时长等中的至少一个。如图8中,该任务执行统计图表8041中的历史任务执行日志信息的统计情况,包括历史任务执行日志信息的历史任务执行时长的最大时长及平均时长,如“时长:平均45分钟,最长60分钟”。
步骤S410,记录用户的行为习惯完成情况。
具体的,基于任务结束操作,显示行为习惯监控列表,行为习惯监控列表包括行为习惯类型及行为习惯类型的执行状态;执行状态包括未完成状态及已完成状态,即该行为习惯类型的执行状态可以为未完成状态,也可以为已完成状态,其中,该行为习惯监控列表中的行为习惯类型的执行状态默认是未完成状态。当获取到针对行为习惯类型的行为习惯完成消息时,根据行为习惯完成消息将行为习惯类型的执行状态确定为已完成状态。将更新后的行为习惯监控列表添加至习惯监控数据库中,该习惯监控数据库用于记录行为习惯类型在不同时间段的执行状态。
其中,该行为习惯完成消息可以是语音指令,也可以是触屏操作或点击操作等,在此不做限制。其中,当该行为习惯监控列表中包括多个(至少两个)行为习惯类型时,可以单独获取每个行为习惯类型的行为习惯完成消息,也可以同时获取至少两个行为习惯类型分别对应的行为习惯完成消息。其中,计算机设备可以在指定时间内获取行为习惯完成消息,该指定时间为从显示行为习惯监控列表开始的一段固定时长的时间范围,从而避免计算机设备在未获取到所有行为习惯类型的行为习惯完成消息时,不会中断获取行为习惯完成消息的进程的情况,可以节省计算机设备的资源。其中,当计算机设备终止获取行为习惯完成消息的过程时,可以通过“习惯监控功能”再次启动该获取行为习惯完成消息的过程。
进一步地,可以参见图9,图9是本申请实施例提供的一种行为习惯监控场景示意图。如图9所示,以行为习惯完成消息为语音指令为例,对一次获取一个行为习惯类型的行为习惯完成消息,以及一次获取至少两个行为习惯类型的行为习惯完成消息的过程,进行说明。具体的,计算机设备在行为监控页面901中显示行为习惯监控列表,该行为习惯监控列表包括5个行为习惯类型,分别为“按时起床、认真刷牙、叠被子、做家务及书包整理”,计算机设备还可以在行为监控页面901中显示习惯完成情况,该习惯完成情况用于表示用户完成的行为习惯类型的数量,可选的,还可以用于表示用户对行为习惯类型的完成程度(如一般完成,合格,完美等)。其中,每个行为习惯类型的执行状态默认是未完成状态,此时该习惯完成情况为“_个习惯/总共5个”。
当计算机设备获取到用户902的语音指令903时,计算机设备解析该语音指令903,获取到针对行为习惯类型“按时起床”的行为习惯完成消息,根据该针对行为习惯类型“按时起床”的行为习惯完成消息,将行为习惯类型“按时起床”的执行状态确定为已完成状态,并在行为监控页面901进行同步更新,得到行为监控页面904,此时的习惯完成情况为“1个习惯/总共5个”。当计算机设备获取到用户902的语音指令905时,计算机设备解析该语音指令905,获取到针对至少两个行为习惯类型“认真刷牙,叠被子,书包整理”分别对应的行为习惯完成消息,根据该针对至少两个行为习惯类型“认真刷牙,叠被子,书包整理”分别对应的行为习惯完成消息,将行为习惯类型“认真刷牙”的执行状态、行为习惯类型“叠被子”的执行状态,以及行为习惯类型“书包整理”的执行状态均确定为已完成状态,并在行为监控页面904的基础上进行同步更新,得到行为监控页面906,此时的习惯完成情况为“4个习惯/总共5个”。假定,行为监控页面906中显示的行为习惯监控列表为本次进行行为习惯监控的最终结果,则将行为监控页面906中显示的行为习惯监控列表添加至习惯监控数据库中。
其中,上述步骤S401至步骤S403可以在任意一个步骤之前或之后执行,不限制执行的时间点,其中,步骤S401至步骤S403的执行先后顺序可以不进行更改。例如,可以在执行步骤S401后,执行步骤S404至步骤S408,再执行步骤S402、步骤S403、步骤S409及步骤S410;也可以在执行步骤S404至步骤S408后,执行步骤S401至步骤S403,再执行步骤S409至步骤S410等。换句话说,在执行步骤S404至步骤S408的过程中,任意一个时间点都可以执行步骤S401至步骤S403,且步骤S401至步骤S403可以不是相邻的步骤。即,步骤S401至步骤S403与步骤S404至步骤S408为并行的两条支线,每条支线的执行时间的先后不影响另一条支线的执行过程。其中,上述步骤S409与步骤S410的执行顺序也可以进行交换。
其中,参见图8,当终端设备获取到针对姿态查询子功能的操作时,终端设备向计算机设备802发送行为姿态查询请求,计算机设备802根据行为姿态查询请求从数据库803中获取行为姿态调整数据8042,将该行为姿态调整数据8042发送给终端设备,该终端设备在数据统计页面804中显示该行为姿态调整数据8042。其中,该行为姿态调整数据8042还可以包括行为姿态调整的最大次数、平均次数及最小次数等中的至少一个。如图8中,该行为姿态调整数据8042包括行为姿态调整的最大次数及平均次数,如“调整:平均每天3次,最多一天6次”。
其中,数据统计功能包括的至少一个子功能中,每个子功能可以分别对应一个时间范围,该时间范围用于表示对应的子功能显示的数据所处的时间段。例如,图8中任务数据查询子功能对应的时间范围为5天,则终端设备在响应该任务数据查询子功能时,显示5天内的历史任务执行日志信息,如计算机设备获取到4月1日至4月15日的历史任务执行日志信息,从中获取4月11日至4月15日这5天的任务执行日志信息,生成任务执行统计图表,将该任务执行统计图表发送给终端设备;姿态查询子功能对应的时间范围为5天,则终端设备在响应该姿态查询子功能时,显示5天内的行为姿态调整数据等。
进一步地,计算机设备还可以根据各个数据库对应的存储时间阈值,根据该存储时间阈值对对应数据库中的数据进行删除。例如,该任务日志数据库对应的存储时间阈值为1个月,则删除该任务日志数据库中一个月之前的历史任务执行日志信息。
进一步地,该计算机设备包括多个设备功能,如行为监控功能、字典查询功能、任务记录功能、课程管理功能、习惯监控功能及桌面设置功能等。其中,该计算机设备的首页可以根据桌面设置功能中的设置数据进行显示,如显示时间及功能提示等。该计算机设备还可以包括多个页面,该多个页面可以包括功能选择页面,该功能选择页面包括多个设备功能,当设备功能被触发时,计算机设备会从功能选择页面跳转到该设备功能对应的页面。其中,该多个页面还可以包括常用的设备功能的页面。具体的,以上多个页面仅为本申请中各个设备功能的一种显示方式,也可以是其他可以显示各个设备功能的显示方式,在此不做限定。
举例来说,请参见图10,图10是本申请实施例提供的一种计算机设备页面显示示意图。如图10所示,计算机设备包括四个页面,分别为设备首页1001、课程管理页面1002、习惯监控页面1003及功能选择页面1004。
其中,该设备首页1001可以用于显示当前的时间,还可以显示功能提示等,该功能提示用于表示各个设备功能的一种调用方式。如当该功能提示为“您好,试试对我说‘查单词’”时,该功能提示用于表示计算机设备获取到语音指令“查单词”后,跳转到字典查询功能的页面。可选的,计算机设备通过响应针对该功能提示的点击操作或触屏操作等,跳转至该功能提示的内容所指示的设备功能的页面。其中,计算机设备可以更新该功能提示的内容,以使用户可以获取到不同设备功能的调用方式。
该课程管理页面1002用于显示用户的课程,包括用户的本周课程、本学期课程或下周课程等,这些课程可以进行切换。例如,该课程管理页面1002中显示了用户的本周课程,当计算机设备获取到针对本学期课程的切换操作时,计算机设备将课程管理页面1002中所显示的本周课程切换为本学期课程。
该习惯监控页面1003用于显示习惯监控数据库中存储的行为习惯类型在不同时间段的执行状态。例如,当计算机设备需要显示本周的行为习惯类型的执行状态时,获取本周在习惯监控数据库中行为习惯类型对应的执行状态,并在习惯监控页面1003中进行显示。用户可以查看该习惯监控页面1003,获取自己在本周的行为习惯类型的执行状态,以实现自查。如图10中所示,用户可以得知,在本周的星期一,行为习惯类型“叠被子”及行为习惯类型“书包整理”的执行状态均为未完成状态;在本周的星期二,行为习惯类型“按时起床”的执行状态为未完成状态;在本周的其他时间段(星期三至星期五),各个行为习惯类型的执行状态均为已完成状态。从而用户可以根据该习惯监控页面1003中显示的数据,确定需要在按时起床、叠被子及书包整理方面继续保持已完成状态。
该功能选择页面1004中包括计算机设备的各个设备功能,包括字典查询功能、摄像头设置功能、桌面设置功能及任务记录功能等。计算机设备通过获取针对目标设备功能的语音指令、触屏操作或点击操作等,跳转该目标设备功能的页面,该目标设备功能为各个设备功能中的任意一个设备功能。
本申请实施例通过获取用户的行为图像数据,识别该行为图像数据中用户的轮廓信息,根据该轮廓信息确定用户的用户行为姿态;获取用于监控用户姿态的监控行为状态,获取监控行为状态对应的标准行为姿态;获取标准行为姿态与用户行为姿态之间的匹配度,若该匹配度小于姿态匹配阈值,则确定用户行为姿态属于异常姿态,显示姿态调整消息。其中,该监控行为状态相当于一个变量,计算机设备在执行响应操作等会影响行为状态的步骤时,会更新该监控行为状态的值,从而可以保持该监控行为状态的实时性,且响应操作等过程,与获取用于监控用户姿态的监控行为状态之间不会相互影响。同时,计算机设备会存储任务执行过程及习惯监控过程等产生的数据,从而可以对这些数据进行查询。本申请在无其他人的监督提示或穿戴式辅助工具的情况下,实现了对用户的行为监控及提示,可以降低对用户进行行为监控的监控成本,还可以提高对用户进行行为监控的安全性,同时,由于该行为监控的过程不影响其他过程的执行,因此可以提高了行为监控的灵活性,再加上通过人工智能对用户进行行为监控,使得获取到的数据更为精确,从而提高了行为监控的效率及监控结果的准确性。
参见图11,图11是本申请实施例提供的一种行为监控装置示意图。上述行为监控装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该共识网络管理装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图11所示,该行为监控装置110可以用于上述图3或图4所对应实施例中的计算机设备,具体的,该装置可以包括:姿态监控模块11、标准获取模块12、匹配确定模块13及第一显示模块14。
姿态监控模块11,用于获取用户的行为图像数据,识别上述行为图像数据中上述用户的轮廓信息,根据上述轮廓信息确定上述用户的用户行为姿态;
标准获取模块12,用于获取用于监控用户姿态的监控行为状态,获取上述监控行为状态对应的标准行为姿态;
匹配确定模块13,用于获取上述标准行为姿态与上述用户行为姿态之间的匹配度;
第一显示模块14,用于若上述匹配度小于姿态匹配阈值,则确定上述用户行为姿态属于异常姿态,显示姿态调整消息。
其中,上述装置还包括:
特征获取模块15,用于从上述用户行为姿态中获取上述用户的姿态特征,上述姿态特征包括上述用户的头部特征及身体特征;
状态获取模块16,用于根据上述头部特征及上述身体特征,确定上述用户行为姿态对应的实际行为状态;
上述匹配确定模块13,包括:
异常确定单元131,用于若上述实际行为状态与上述监控行为状态不匹配,则将默认异常匹配度确定为上述标准行为姿态与上述用户行为姿态之间的匹配度,上述默认异常匹配度小于上述姿态匹配阈值。
其中,上述用户行为姿态为用户姿态图片,上述标准行为姿态为标准姿态图片;
上述匹配确定模块13,还包括:
尺寸调整单元132,用于若上述实际行为状态与上述监控行为状态相匹配,则调整上述用户姿态图片的尺寸,得到标准尺寸的待检测姿态图片,上述标准尺寸为上述标准姿态图片的尺寸;
重合比对单元133,用于对上述待检测姿态图片与上述标准姿态图片进行重合度比对,确定上述标准姿态图片与上述待检测姿态图片之间的重合度,将上述重合度确定为上述标准行为姿态与上述用户行为姿态之间的匹配度。
其中,上述匹配确定模块13,还包括:
第一获取单元134,用于获取上述用户行为姿态中的用户姿态重心线及用户姿态基准点,上述用户姿态基准点在上述用户姿态重心线上;
第二获取单元135,用于获取上述标准行为姿态中的标准姿态重心线及标准姿态基准点,上述标准姿态基准点在上述标准姿态重心线上;
差异确定单元136,用于基于上述用户姿态基准点与上述标准姿态基准点,确定上述用户姿态重心线与上述标准姿态重心线之间的相似值;
匹配确定单元137,用于基于上述相似值确定上述标准行为姿态与上述用户行为姿态之间的匹配度。
其中,上述匹配确定模块13,还包括:
模型检测单元138,用于将上述用户行为姿态输入姿态检测模型,获取上述姿态检测模型所输出的上述用户行为姿态与至少两个姿态预测标签之间的姿态预测概率,上述至少两个姿态预测标签包括上述标准行为姿态对应的标签;
上述匹配确定单元137,还用于将上述用户行为姿态与上述标准行为姿态对应的标签之间的姿态预测概率,确定为上述标准行为姿态与上述用户行为姿态之间的匹配度。
其中,上述装置还包括:
距离获取模块17,用于若匹配度大于或等于姿态匹配阈值,则根据上述用户行为姿态获取屏幕与上述用户之间的行为距离,获取上述行为距离与标准行为距离之间的距离差值;
距离调整模块18,用于若上述距离差值大于距离异常阈值,则确定上述用户行为姿态属于上述异常姿态,显示距离调整消息。
其中,上述装置还包括:
第一计时模块19,用于响应针对上述用户的任务执行操作,确定上述用于监控用户姿态的监控行为状态为任务执行行为状态,启动任务执行计时器,上述任务执行计时器用于计时上述用户处于上述任务执行行为状态的时长;
休息显示模块20,用于当上述任务执行计时器所计时的时长等于任务执行时长阈值时,显示休息开始提示消息。
其中,上述监控行为状态还包括休息行为状态;上述装置还包括:
第二计时模块21,用于若获取到针对上述休息开始提示消息的休息确认响应,则创建休息计时器,暂停上述任务执行计时器,将上述监控行为状态从上述任务执行行为状态切换为上述休息行为状态;上述休息计时器用于计时上述用户处于上述休息行为状态的时长;
第一切换模块22,用于当上述休息计时器所计时的时长等于休息时长阈值时,显示休息结束提示消息,删除上述休息计时器,控制上述任务执行计时器继续计时,将上述监控行为状态从上述休息行为状态切换为上述任务执行行为状态。
其中,上述装置还包括:
第二切换模块23,用于响应针对上述用户的任务结束操作,将上述监控行为状态从上述任务执行行为状态切换为休息行为状态,将上述任务执行计时器的值,确定为任务执行时长;
日志生成模块24,用于获取系统网络时间,根据上述任务执行时长及上述系统网络时间得到任务执行日志信息;
日志存储模块25,用于将上述任务执行日志信息添加至任务日志数据库中,上述任务日志数据库用于存储上述用户的历史任务执行日志信息,上述历史任务执行日志信息包括上述任务执行日志信息。
其中,上述装置还包括:
任务查询模块26,用于获取终端设备发送的任务数据查询请求,根据上述任务数据查询请求,从上述任务日志数据库中获取上述历史任务执行日志信息;
任务统计模块27,用于根据上述历史任务执行日志信息生成任务执行统计图表,将上述任务执行统计图表发送给上述终端设备,以使上述终端设备显示上述任务执行统计图表。
其中,上述装置还包括:
习惯显示模块28,用于基于上述任务结束操作,显示行为习惯监控列表,上述行为习惯监控列表包括行为习惯类型及上述行为习惯类型的执行状态;上述执行状态包括未完成状态及已完成状态;
完成确定模块29,用于当获取到针对上述行为习惯类型的行为习惯完成消息时,根据上述行为习惯完成消息将上述行为习惯类型的执行状态确定为上述已完成状态;
习惯统计模块30,用于将更新后的行为习惯监控列表添加至业务记录数据库中,上述业务记录数据库用于记录上述行为习惯类型在不同时间段的执行状态。
本申请实施例提供了一种行为监控装置,上述装置通过获取用户的行为图像数据,识别该行为图像数据中用户的轮廓信息,根据该轮廓信息确定用户的用户行为姿态;获取用于监控用户姿态的监控行为状态,获取监控行为状态对应的标准行为姿态;获取标准行为姿态与用户行为姿态之间的匹配度,若该匹配度小于姿态匹配阈值,则确定用户行为姿态属于异常姿态,显示姿态调整消息。其中,该监控行为状态相当于一个变量,计算机设备在执行响应操作等会影响行为状态的步骤时,会更新该监控行为状态的值,从而可以保持该监控行为状态的实时性,且响应操作等过程,与获取用于监控用户姿态的监控行为状态之间不会相互影响。同时,计算机设备会存储任务执行过程及习惯监控过程等产生的数据,从而可以对这些数据进行查询。本申请在无其他人的监督提示或穿戴式辅助工具的情况下,实现了对用户的行为监控及提示,可以降低对用户进行行为监控的监控成本,还可以提高对用户进行行为监控的安全性,同时,由于该行为监控的过程不影响其他过程的执行,因此可以提高了行为监控的灵活性,再加上通过人工智能对用户进行行为监控,使得获取到的数据更为精确,从而提高了行为监控的效率及监控结果的准确性。
进一步地,参见图12,图12是本申请实施例提供的一种行为监控装置的结构视图,该行为监控装置包括摄像头、距离传感器、显示屏幕及处理器;摄像头朝向显示屏幕的一侧用于获取光线;
上述摄像头,用于获取用户的行为图像数据;
上述处理器,用于识别上述行为图像数据中上述用户的轮廓信息,根据上述轮廓信息确定上述用户的用户行为姿态;
上述处理器,还用于获取用于监控用户姿态的监控行为状态,获取上述监控行为状态对应的标准行为姿态;
上述处理器,还用于获取上述标准行为姿态与上述用户行为姿态之间的匹配度;
上述处理器,还用于若上述匹配度小于姿态匹配阈值,则确定上述用户行为姿态属于异常姿态,在上述显示屏幕中显示姿态调整消息。
其中,该行为监控装置中包括的各个硬件在该装置中的位置不做限定,图12为本申请实施例中所提供的一种可选的装置结构。该行为监控装置中包括摄像头12d、距离传感器12e、显示屏幕12g及处理器(该处理器为行为监控装置的内部组成)。其中,该行为监控装置还可以包括声音收发器12f及功能键12h。其中,该声音收发器12f用于接收用户的语音指令,或播放声音;该功能键12h可以用于获取用户的选择,相当于确认或取消键。其中,该行为监控装置的设备顶部包括电源开关12a、增加音量12b、减少音量12c、麦克风12i,可以用于连接耳机或麦克风等外接设备。行为监控装置的设备背部包括电源插孔12k及电源线12j。
进一步地,请参见图13,图13是本申请实施例提供的一种行为监控的计算机设备架构图。如图13所示,该计算机设备的设备架构包括应用层、人工智能技术层、使能层及硬件层。
其中,硬件层用于表示该计算机设备的硬件组成,包括摄像头、测距仪(距离传感器)、麦克风及显示屏幕等;使能层包括该计算机设备的存储、网络及账号等技术,可以接收硬件层传输的数据,其中,该账号用于管理计算机设备的登录账号及与该计算机设备关联的终端设备的终端登录账号等,还可以通过网络连接获取其他计算机设备的账号;人工智能技术层包括视觉识别系统及语音识别系统,该视觉识别系统用于采集用户的行为图像数据,对该用户的用户行为姿态进行监控,该语音识别系统用于获取并解析用户的语音指令,其中,该视觉识别系统是计算机视觉技术及图像识别技术等实现的,语音识别系统基于语音技术实现的;应用层包括计算机设备中的各个设备功能,如闹钟、姿态管理功能、课程管理功能、字典查询功能、习惯监控功能及桌面设置功能等。
具体可以参见图14,图14是本申请实施例中提供的一种设备架构的数据传输示意图。如图14所示,计算机设备获取到用户输入的数据,可以将该数据依次从硬件层、使能层、人工智能技术层至应用层进行传输,并在传输过程中对该数据进行处理。
其中,当人工智能技术层获取到用户的行为图像数据时,基于视觉识别系统对该行为图像数据进行识别,获取该用户的用户行为姿态,对该用户行为姿态进行检测,若确定该用户行为姿态属于异常姿态,则中断计算机设备正在运行的当前设备功能,提醒姿态调整,即显示姿态调整消息,调用应用层,继续运行上述当前设备功能;若确定该用户行为姿态属于正确姿态,则不进行中断当前设备功能,提醒姿态调整的过程,计算机设备的运行的设备功能不发生变化。举例来说,计算机设备在运行课程管理功能时,基于人工智能技术层获取到用户的行为图像数据,基于视觉识别系统得到该用户的用户行为姿态,并确定该用户行为姿态属于异常姿态,则中断课程管理功能,提醒姿态调整,基于应用层继续运行课程管理功能。
其中,当人工智能技术层获取到用户的语音指令时,基于语音识别系统识别该语音指令对应的操作类型,若该操作类型对应新的设备功能,则中断计算机设备正在运行的当前设备功能,基于该操作类型切换设备功能,再基于应用层将计算机设备运行的设备功能切换为该操作类型对应的设备功能;若该操作类型对应的设备功能为计算机设备正在运行的设备功能,或者基于语音识别系统未成功解析该语音指令,或者基于语音识别系统识别到语音指令无对应的操作类型,则不进行切换设备功能的过程,计算机设备的运行的设备功能不发生变化。例如,计算机设备在运行课程管理功能时,基于人工智能技术层获取到语音指令,基于语音识别系统解析该语音指令,得到该语音指令对应字典查询功能,则中断课程管理功能,基于应用层将当前运行的设备功能切换为字典查询功能。
具体实现中,计算机设备可通过设备架构中的各层共同实现如上述图3或图4中的各个步骤,具体可参见上述图3或图4中各个步骤中的具体描述,在此不再赘述。
本申请实施例通过人工智能中的计算机视觉技术对用户的行为进行监控,基于人工智能中的语音技术对用户的语音指令进行解析,从而实现对用户的行为监控提示,及设备功能的切换,提高了计算机设备对设备功能的管理效率,降低对用户进行行为监控的监控成本。
参见图15,图15是本申请实施例提供的一种计算机设备的结构示意图。如图15所示,本申请实施例中的计算机设备可以包括:一个或多个处理器1501、存储器1502和输入输出接口1503。上述处理器1501、存储器1502和输入输出接口1503通过总线1504连接。存储器1502用于存储计算机程序,该计算机程序包括程序指令,输入输出接口1503用于接收数据及输出数据;处理器1501用于执行存储器1502存储的程序指令,执行如下操作:
获取用户的行为图像数据,识别上述行为图像数据中上述用户的轮廓信息,根据上述轮廓信息确定上述用户的用户行为姿态;
获取用于监控用户姿态的监控行为状态,获取上述监控行为状态对应的标准行为姿态;
获取上述标准行为姿态与上述用户行为姿态之间的匹配度;
若上述匹配度小于姿态匹配阈值,则确定上述用户行为姿态属于异常姿态,显示姿态调整消息。
在一些可行的实施方式中,上述处理器1501可以是中央处理单元(centralprocessing unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(digitalsignal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器1502可以包括只读存储器和随机存取存储器,并向处理器1501和输入输出接口1503提供指令和数据。存储器1502的一部分还可以包括非易失性随机存取存储器。例如,存储器1502还可以存储设备类型的信息。
具体实现中,上述计算机设备可通过其内置的各个功能模块执行如上述图3或图4中各个步骤所提供的实现方式,具体可参见上述图3或图4中各个步骤所提供的实现方式,在此不再赘述。
本申请实施例通过提供一种计算机设备,包括:处理器、输入输出接口、存储器,通过处理器获取存储器中的计算机指令,执行上述图3或图4中所示方法的各个步骤,进行行为监控操作。通过存储器中的计算机指令,处理器执行获取用户的行为图像数据,识别该行为图像数据中用户的轮廓信息,根据该轮廓信息确定用户的用户行为姿态;获取用于监控用户姿态的监控行为状态,获取该监控行为状态对应的标准行为姿态;获取用户行为姿态与标准行为姿态之间的匹配度,若该匹配度小于姿态匹配阈值,则确定用户行为姿态属于异常姿态,显示姿态调整消息,以使用户根据该姿态调整消息调整用户行为姿态。通过上述过程,可以在无需其他人的监督提示或穿戴式辅助工具的情况下,实现对用户的行为监控及提示,可以降低对用户进行行为监控的监控成本,还可以提高对用户进行行为监控的安全性,并且通过人工智能对用户进行行为监控,使得获取到的数据更为精确,从而提高了行为监控的效率及监控结果的准确性。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包括程序指令,当该程序指令被上述处理器执行时,可以实现图3或图4中各个步骤所提供的行为监控方法,具体可参见上述图3或图4各个步骤所提供的实现方式,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。作为示例,程序指令可被部署为在一个计算机设备上执行,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行。
上述计算机可读存储介质可以是前述任一实施例提供的行为监控装置或者上述计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (15)
1.一种行为监控方法,其特征在于,所述方法包括:
获取用户的行为图像数据,识别所述行为图像数据中所述用户的轮廓信息,根据所述轮廓信息确定所述用户的用户行为姿态;
获取用于监控用户姿态的监控行为状态,获取所述监控行为状态对应的标准行为姿态;
获取所述标准行为姿态与所述用户行为姿态之间的匹配度;
若所述匹配度小于姿态匹配阈值,则确定所述用户行为姿态属于异常姿态,显示姿态调整消息。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
从所述用户行为姿态中获取所述用户的姿态特征,所述姿态特征包括所述用户的头部特征及身体特征;
根据所述头部特征及所述身体特征,确定所述用户行为姿态对应的实际行为状态;
所述获取所述标准行为姿态与所述用户行为姿态之间的匹配度,包括:
若所述实际行为状态与所述监控行为状态不匹配,则将默认异常匹配度确定为所述标准行为姿态与所述用户行为姿态之间的匹配度,所述默认异常匹配度小于所述姿态匹配阈值。
3.如权利要求2所述的方法,其特征在于,所述用户行为姿态为用户姿态图片,所述标准行为姿态为标准姿态图片;
所述方法还包括:
若所述实际行为状态与所述监控行为状态相匹配,则调整所述用户姿态图片的尺寸,得到标准尺寸的待检测姿态图片,所述标准尺寸为所述标准姿态图片的尺寸;
对所述待检测姿态图片与所述标准姿态图片进行重合度比对,确定所述标准姿态图片与所述待检测姿态图片之间的重合度,将所述重合度确定为所述标准行为姿态与所述用户行为姿态之间的匹配度。
4.如权利要求1所述的方法,其特征在于,所述获取所述标准行为姿态与所述用户行为姿态之间的匹配度,包括:
获取所述用户行为姿态中的用户姿态重心线及用户姿态基准点,所述用户姿态基准点在所述用户姿态重心线上;
获取所述标准行为姿态中的标准姿态重心线及标准姿态基准点,所述标准姿态基准点在所述标准姿态重心线上;
基于所述用户姿态基准点与所述标准姿态基准点,确定所述用户姿态重心线与所述标准姿态重心线之间的相似值;
基于所述相似值确定所述标准行为姿态与所述用户行为姿态之间的匹配度。
5.如权利要求1所述的方法,其特征在于,所述获取所述标准行为姿态与所述用户行为姿态之间的匹配度,包括:
将所述用户行为姿态输入姿态检测模型,获取所述姿态检测模型所输出的所述用户行为姿态与至少两个姿态预测标签之间的姿态预测概率,所述至少两个姿态预测标签包括所述标准行为姿态对应的标签;
将所述用户行为姿态与所述标准行为姿态对应的标签之间的姿态预测概率,确定为所述标准行为姿态与所述用户行为姿态之间的匹配度。
6.如权利要求1所述的方法,其特征在于,所述方法还包括:
若所述匹配度大于或等于所述姿态匹配阈值,则根据所述用户行为姿态获取屏幕与所述用户之间的行为距离,获取所述行为距离与标准行为距离之间的距离差值;
若所述距离差值大于距离异常阈值,则确定所述用户行为姿态属于所述异常姿态,显示距离调整消息。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
响应针对所述用户的任务执行操作,确定所述用于监控用户姿态的监控行为状态为任务执行行为状态,启动任务执行计时器,所述任务执行计时器用于计时所述用户处于所述任务执行行为状态的时长;
当所述任务执行计时器所计时的时长等于任务执行时长阈值时,显示休息开始提示消息。
8.如权利要求7所述的方法,其特征在于,所述监控行为状态还包括休息行为状态;所述方法还包括:
若获取到针对所述休息开始提示消息的休息确认响应,则创建休息计时器,暂停所述任务执行计时器,将所述监控行为状态从所述任务执行行为状态切换为所述休息行为状态;所述休息计时器用于计时所述用户处于所述休息行为状态的时长;
当所述休息计时器所计时的时长等于休息时长阈值时,显示休息结束提示消息,删除所述休息计时器,控制所述任务执行计时器继续计时,将所述监控行为状态从所述休息行为状态切换为所述任务执行行为状态。
9.如权利要求7所述的方法,其特征在于,所述方法还包括:
响应针对所述用户的任务结束操作,将所述监控行为状态从所述任务执行行为状态切换为休息行为状态,将所述任务执行计时器的值,确定为任务执行时长;
获取系统网络时间,根据所述任务执行时长及所述系统网络时间得到任务执行日志信息;
将所述任务执行日志信息添加至任务日志数据库中,所述任务日志数据库用于存储所述用户的历史任务执行日志信息,所述历史任务执行日志信息包括所述任务执行日志信息。
10.如权利要求9所述的方法,其特征在于,所述方法还包括:
获取终端设备发送的任务数据查询请求,根据所述任务数据查询请求,从所述任务日志数据库中获取所述历史任务执行日志信息;
根据所述历史任务执行日志信息生成任务执行统计图表,将所述任务执行统计图表发送给所述终端设备,以使所述终端设备显示所述任务执行统计图表。
11.如权利要求9所述的方法,其特征在于,所述方法还包括:
基于所述任务结束操作,显示行为习惯监控列表,所述行为习惯监控列表包括行为习惯类型及所述行为习惯类型的执行状态;所述执行状态包括未完成状态及已完成状态;
当获取到针对所述行为习惯类型的行为习惯完成消息时,根据所述行为习惯完成消息将所述行为习惯类型的执行状态确定为所述已完成状态;
将更新后的行为习惯监控列表添加至习惯监控数据库中,所述习惯监控数据库用于记录所述行为习惯类型在不同时间段的执行状态。
12.一种行为监控装置,其特征在于,所述装置包括摄像头、显示屏幕及处理器;所述摄像头朝向所述显示屏幕的一侧用于获取光线;
所述摄像头,用于获取用户的行为图像数据;
所述处理器,用于识别所述行为图像数据中所述用户的轮廓信息,根据所述轮廓信息确定所述用户的用户行为姿态;
所述处理器,还用于获取用于监控用户姿态的监控行为状态,获取所述监控行为状态对应的标准行为姿态;
所述处理器,还用于获取所述标准行为姿态与所述用户行为姿态之间的匹配度;
所述处理器,还用于若所述匹配度小于姿态匹配阈值,则确定所述用户行为姿态属于异常姿态,在所述显示屏幕中显示姿态调整消息。
13.一种行为监控装置,其特征在于,所述装置包括:
姿态监控模块,用于获取用户的行为图像数据,识别所述行为图像数据中所述用户的轮廓信息,根据所述轮廓信息确定所述用户的用户行为姿态;
标准获取模块,用于获取用于监控用户姿态的监控行为状态,获取所述监控行为状态对应的标准行为姿态;
匹配确定模块,用于获取所述标准行为姿态与所述用户行为姿态之间的匹配度;
第一显示模块,用于若所述匹配度小于姿态匹配阈值,则确定所述用户行为姿态属于异常姿态,显示姿态调整消息。
14.一种计算机设备,其特征在于,包括处理器、存储器、输入输出接口;
所述处理器分别与所述存储器和所述输入输出接口相连,其中,所述输入输出接口用于接收数据及输出数据,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行权利要求1-11任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,执行权利要求1-11任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010509511.1A CN113761989B (zh) | 2020-06-05 | 2020-06-05 | 行为识别方法、装置、计算机及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010509511.1A CN113761989B (zh) | 2020-06-05 | 2020-06-05 | 行为识别方法、装置、计算机及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113761989A true CN113761989A (zh) | 2021-12-07 |
CN113761989B CN113761989B (zh) | 2023-04-07 |
Family
ID=78785253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010509511.1A Active CN113761989B (zh) | 2020-06-05 | 2020-06-05 | 行为识别方法、装置、计算机及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113761989B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117115755A (zh) * | 2023-10-23 | 2023-11-24 | 科曼智能科技有限公司 | 一种基于图像识别电力作业现场违章监控报警识别系统 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150093726A1 (en) * | 2013-09-30 | 2015-04-02 | Technology for Autism Now, Inc. | Systems and Methods for Tracking Learning Behavior |
CN105205756A (zh) * | 2015-09-15 | 2015-12-30 | 广东小天才科技有限公司 | 一种行为监控的方法和系统 |
CN105448053A (zh) * | 2015-12-02 | 2016-03-30 | 广东小天才科技有限公司 | 一种姿势提醒方法及系统 |
KR20160039496A (ko) * | 2014-10-01 | 2016-04-11 | 한국전자통신연구원 | 자세 교정 장치 및 방법 |
US20160110986A1 (en) * | 2014-10-21 | 2016-04-21 | Kenneth Lawrence Rosenblood | Posture improvement device, system, and method |
CN106302688A (zh) * | 2016-08-08 | 2017-01-04 | 杭州创辉农业科技有限公司 | 一种用于儿童习惯养成的方法及系统 |
CN106344030A (zh) * | 2016-08-30 | 2017-01-25 | 苏州品诺维新医疗科技有限公司 | 一种姿势矫正方法和装置 |
US9795322B1 (en) * | 2016-10-14 | 2017-10-24 | Right Posture Pte. Ltd. | Methods and systems for monitoring posture with alerts and analytics generated by a smart seat cover |
CN107993262A (zh) * | 2017-10-25 | 2018-05-04 | 深圳市金立通信设备有限公司 | 终端设备使用姿势提示方法、终端及计算机可读存储介质 |
CN108419128A (zh) * | 2018-03-12 | 2018-08-17 | 深圳市赛亿科技开发有限公司 | 人物姿态调整的方法及装置 |
CN108519818A (zh) * | 2018-03-29 | 2018-09-11 | 北京小米移动软件有限公司 | 信息提示方法及装置 |
CN108601133A (zh) * | 2018-02-12 | 2018-09-28 | 甄十信息科技(上海)有限公司 | 一种智能台灯及基于智能台灯的坐姿纠正方法 |
CN108600535A (zh) * | 2018-04-18 | 2018-09-28 | 广东小天才科技有限公司 | 一种用于电子设备的护眼方法及电子设备 |
CN109685007A (zh) * | 2018-12-21 | 2019-04-26 | 深圳市康康网络技术有限公司 | 用眼习惯的预警方法、用户设备、存储介质及装置 |
CN110797104A (zh) * | 2019-09-06 | 2020-02-14 | 腾讯科技(深圳)有限公司 | 控制方法、控制装置、电子设备及存储介质 |
CN110859630A (zh) * | 2019-11-26 | 2020-03-06 | 塔普翊海(上海)智能科技有限公司 | 一种基于ar技术的姿态矫正器及其矫正方法 |
-
2020
- 2020-06-05 CN CN202010509511.1A patent/CN113761989B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150093726A1 (en) * | 2013-09-30 | 2015-04-02 | Technology for Autism Now, Inc. | Systems and Methods for Tracking Learning Behavior |
KR20160039496A (ko) * | 2014-10-01 | 2016-04-11 | 한국전자통신연구원 | 자세 교정 장치 및 방법 |
US20160110986A1 (en) * | 2014-10-21 | 2016-04-21 | Kenneth Lawrence Rosenblood | Posture improvement device, system, and method |
CN105205756A (zh) * | 2015-09-15 | 2015-12-30 | 广东小天才科技有限公司 | 一种行为监控的方法和系统 |
CN105448053A (zh) * | 2015-12-02 | 2016-03-30 | 广东小天才科技有限公司 | 一种姿势提醒方法及系统 |
CN106302688A (zh) * | 2016-08-08 | 2017-01-04 | 杭州创辉农业科技有限公司 | 一种用于儿童习惯养成的方法及系统 |
CN106344030A (zh) * | 2016-08-30 | 2017-01-25 | 苏州品诺维新医疗科技有限公司 | 一种姿势矫正方法和装置 |
US9795322B1 (en) * | 2016-10-14 | 2017-10-24 | Right Posture Pte. Ltd. | Methods and systems for monitoring posture with alerts and analytics generated by a smart seat cover |
CN107993262A (zh) * | 2017-10-25 | 2018-05-04 | 深圳市金立通信设备有限公司 | 终端设备使用姿势提示方法、终端及计算机可读存储介质 |
CN108601133A (zh) * | 2018-02-12 | 2018-09-28 | 甄十信息科技(上海)有限公司 | 一种智能台灯及基于智能台灯的坐姿纠正方法 |
CN108419128A (zh) * | 2018-03-12 | 2018-08-17 | 深圳市赛亿科技开发有限公司 | 人物姿态调整的方法及装置 |
CN108519818A (zh) * | 2018-03-29 | 2018-09-11 | 北京小米移动软件有限公司 | 信息提示方法及装置 |
CN108600535A (zh) * | 2018-04-18 | 2018-09-28 | 广东小天才科技有限公司 | 一种用于电子设备的护眼方法及电子设备 |
CN109685007A (zh) * | 2018-12-21 | 2019-04-26 | 深圳市康康网络技术有限公司 | 用眼习惯的预警方法、用户设备、存储介质及装置 |
CN110797104A (zh) * | 2019-09-06 | 2020-02-14 | 腾讯科技(深圳)有限公司 | 控制方法、控制装置、电子设备及存储介质 |
CN110859630A (zh) * | 2019-11-26 | 2020-03-06 | 塔普翊海(上海)智能科技有限公司 | 一种基于ar技术的姿态矫正器及其矫正方法 |
Non-Patent Citations (3)
Title |
---|
LAN MU ET AL.: "A sitting posture surveillance system based on image processing technology" * |
周钰: "基于机器学习的坐姿监测系统的设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 * |
郭立祺等: "坐姿监测信息采集系统的设计" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117115755A (zh) * | 2023-10-23 | 2023-11-24 | 科曼智能科技有限公司 | 一种基于图像识别电力作业现场违章监控报警识别系统 |
CN117115755B (zh) * | 2023-10-23 | 2024-01-23 | 科曼智能科技有限公司 | 一种基于图像识别电力作业现场违章监控报警识别系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113761989B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108009521B (zh) | 人脸图像匹配方法、装置、终端及存储介质 | |
CN105184246A (zh) | 活体检测方法和活体检测系统 | |
US9671872B2 (en) | Gesture recognition method, gesture recognition system, terminal device and wearable device | |
JP2019535055A (ja) | ジェスチャに基づく操作の実施 | |
US10326928B2 (en) | Image processing apparatus for determining whether section of target area matches section of person area and control method thereof | |
CN109240582A (zh) | 一种点读控制方法及智能设备 | |
CN104809380A (zh) | 头戴式智能设备及其使用者的身份一致性的判断方法 | |
CN110457699B (zh) | 一种停用词挖掘方法、装置、电子设备及存储介质 | |
KR20190030140A (ko) | 시선 추적 방법 및 이를 수행하기 위한 사용자 단말 | |
CN102662473A (zh) | 基于眼部动作识别来实现人机信息交互的装置及方法 | |
US11380131B2 (en) | Method and device for face recognition, storage medium, and electronic device | |
CN112101124B (zh) | 一种坐姿检测方法及装置 | |
CN110741377A (zh) | 人脸图像处理方法、装置、存储介质及电子设备 | |
US10216914B2 (en) | System, method, and apparatus for personal identification | |
CN109272473B (zh) | 一种图像处理方法及移动终端 | |
US10843299B2 (en) | Object recognition and presentation for the visually impaired | |
CN109543633A (zh) | 一种人脸识别方法、装置、机器人和存储介质 | |
CN110546596A (zh) | 一种视线跟踪方法及用于执行所述方法的终端 | |
CN113761989B (zh) | 行为识别方法、装置、计算机及可读存储介质 | |
CN113536262A (zh) | 基于面部表情的解锁方法、装置、计算机设备和存储介质 | |
KR102399809B1 (ko) | 전자 장치 및 그 제어 방법 | |
KR20200013149A (ko) | 인공지능 서버 및 인공지능 디바이스 | |
CN113093907B (zh) | 人机交互方法、系统、设备及存储介质 | |
CN106815264B (zh) | 一种信息处理方法及系统 | |
CN114283453A (zh) | 流浪动物的信息获取方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |