CN114724232A - 姿态识别和矫正方法、装置、系统以及电子设备 - Google Patents

姿态识别和矫正方法、装置、系统以及电子设备 Download PDF

Info

Publication number
CN114724232A
CN114724232A CN202011510425.9A CN202011510425A CN114724232A CN 114724232 A CN114724232 A CN 114724232A CN 202011510425 A CN202011510425 A CN 202011510425A CN 114724232 A CN114724232 A CN 114724232A
Authority
CN
China
Prior art keywords
posture
distance
characteristic information
correct
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011510425.9A
Other languages
English (en)
Inventor
王耀园
卢曰万
郜文美
胡宏伟
董辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011510425.9A priority Critical patent/CN114724232A/zh
Publication of CN114724232A publication Critical patent/CN114724232A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/08Systems for measuring distance only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising

Abstract

本申请公开了一种姿态识别和矫正方法,应用于电子设备。该姿态识别和矫正方法包括:获取第一环境距离信息,第一环境距离信息为电子设备与周围环境物体之间的距离信息;根据第一环境距离信息确定第一人体姿态特征信息和第一人体距离特征信息;若根据第一人体姿态特征信息和第一人体距离特征信息,以及预设的正确人体姿态特征信息和正确人体距离特征信息确定使用者姿态不正确,生成矫正提醒信息。通过人体姿态特征信息和人体距离特征信息判断使用者的姿态是否正确,可以更为准确、方便地进行姿势识别,提高了姿态识别的鲁棒性和准确性,可以有效地提高使用者的使用体验。本申请还公开了一种姿态识别和矫正装置、系统以及电子设备。

Description

姿态识别和矫正方法、装置、系统以及电子设备
技术领域
本申请涉及计算机技术领域,特别涉及一种姿态识别和矫正方法、装置、系统以及电子设备。
背景技术
在日常的工作、学习、运动、生活等场景中,需要保持正确的坐姿、站姿、走姿、睡姿、运动姿态等姿态(姿态也可以称为姿势)。正确的姿态有利于保持身体健康,不正确的姿态会影响身体健康。尤其是目前人们使用手机、电脑等电子设备的时间越来越长,正确的姿态的意义显得更为重要。
目前用于姿态矫正的设备的种类较多,例如常见的有“背背佳”、矫正书桌等物理矫正设备,以及眼镜、手表、手环等可穿戴设备通过简单的可穿戴设备与使用者之间的距离参数或使用者的头部角度参数的检测进行姿态矫正等。这些设备存在姿态识别和矫正不准确、不方便的问题,使得使用者(使用者也可以称为用户)的体验感较差。
发明内容
本申请提供了一种姿态识别和矫正方法、装置、系统以及电子设备,以解决姿态识别和矫正不准确、不方便的问题。可以实现更为准确、方便地姿态识别和矫正,提高使用者的体验感。
为解决上述技术问题,第一方面,本申请的实施方式提供了一种姿态识别和矫正方法,应用于电子设备,该方法包括:获取第一环境距离信息,第一环境距离信息为电子设备与周围环境物体之间的距离信息;根据第一环境距离信息确定第一人体姿态特征信息和第一人体距离特征信息,第一人体姿态特征信息表征使用者的当前姿态,第一人体距离特征信息表征使用者与电子设备之间的当前距离;若根据第一人体姿态特征信息和第一人体距离特征信息,以及预设的正确人体姿态特征信息和正确人体距离特征信息确定使用者姿态不正确,生成矫正提醒信息,正确人体姿态特征信息表征使用者的正确姿态,正确人体距离特征信息表征使用者与电子设备之间的正确距离。
通过实时确定的第一人体姿态特征信息和第一人体距离特征信息与预设的正确人体姿态特征信息和正确人体距离特征信息判断使用者的姿态是否正确,可以更为准确、方便地进行姿势识别,提高了姿态识别的鲁棒性和准确性,可以有效地提高使用者的使用体验。
在上述第一方面的一种可能的实现中,第一环境距离信息可以是环境距离矩阵。环境距离矩阵例如可以是KM=[K1,K2,K3……Kn],其中K1,K2,K3……Kn为手表100与周围环境物体之间的多个距离信息。
在上述第一方面的一种可能的实现中,该方法还包括:若根据第一环境距离信息确定周围环境物体包括使用者,根据第一环境距离信息确定使用者的第一人体姿态特征信息和第一人体距离特征信息。
根据第一环境距离信息确定周围环境物体是否包括使用者,可以是通过机器学习算法根据第一环境距离信息确定周围环境物体的轮廓信息以确定周围环境物体的种类或者类型,并且进一步判断周围环境物体是否包括人体轮廓以判断周围环境是否存在使用者。
在上述第一方面的一种可能的实现中,若工作模式为自动模式,该方法还包括通过以下方式确定使用者姿态是否正确:根据第一人体姿态特征信息和第一人体距离特征信息确定第一姿态模式;根据第一人体姿态特征信息和第一人体距离特征信息,以及预存的第一姿态模式对应的正确人体姿态特征信息和正确人体距离特征信息确定使用者的姿态是否正确。
在上述第一方面的一种可能的实现中,该方法还包括通过以下方式确定工作模式:显示第一菜单,第一菜单包括自动模式控件;若检测到使用者与对自动模式控件的选择操作,确定工作模式为自动模式。
使用者可以手动设置工作模式,在自动工作模式下,电子设备根据第一人体姿态特征信息和第一人体距离特征信息确定使用者当前的第一姿态模式,并确定使用者当前姿态是否正确,可以提高使用者的使用体验。
在上述第一方面的一种可能的实现中,若工作模式为非自动模式,该方法还包括通过以下方式确定使用者姿态是否正确:根据第一人体姿态特征信息和第一人体距离特征信息确定第一姿态模式;若第一姿态模式与预设的第二姿态模式不一致,生成模式切换提醒信息以用于使用者进行姿态模式选择操作;若接收到使用者对第一姿态模式的选择操作,根据第一人体姿态特征信息和第一人体距离特征信息,以及预存的第一姿态模式对应的正确人体姿态特征信息和正确人体距离特征信息确定使用者的姿态是否正确;若接收到使用者对第二姿态模式的选择操作,根据第一人体姿态特征信息和第一人体距离特征信息,以及预存的第二姿态模式对应的正确人体姿态特征信息和正确人体距离特征信息确定使用者的姿态是否正确。
在上述第一方面的一种可能的实现中,该方法还包括通过以下方式确定工作模式:显示第一菜单,第一菜单包括至少一个姿态模式控件;若检测到使用者对姿态模式控件的选择操作,确定工作模式为非自动模式,且确定姿态模式控件对应的姿态模式为预设的第二姿态模式。
使用者可以手动设置工作模式,例如使用者可以选择某一姿态模式作为第二姿态模式,此时电子设备处于非自动工作模式。在非自动工作模式下,电子设备根据第一人体姿态特征信息和第一人体距离特征信息确定使用者当前的第一姿态模式,并确定第一姿态模式与使用者选择的第二姿态模式是否一致,若不一致则可以提醒用户进行姿态模式切换,以及根据使用者最终选择的姿态模式确定姿态是否正确,可以提高使用者的使用体验。
在上述第一方面的一种可能的实现中,姿态模式控件为读书模式控件、写字模式控件和看电脑模式控件中的任意一个。姿态模式控件也可以是其他例如观看平板电脑等控件。
在上述第一方面的一种可能的实现中,该方法还包括通过以下方式进行正确姿态录入以得到正确人体姿态特征信息和正确人体距离特征信息:显示第二菜单,第二菜单包括至少一个姿态模式控件;若接收到使用者对姿态模式控件的选择操作,获取第二环境距离信息,第二环境距离信息为电子设备与周围环境物体之间的距离信息;根据第二环境距离信息确定第二人体姿态特征信息和第二人体距离特征信息,第二人体姿态特征信息表征使用者的当前姿态,第二人体距离特征信息表征使用者与电子设备之间的当前距离;将第二人体姿态特征信息作为正确人体姿态特征信息,将第二人体距离特征信息作为正确人体距离特征信息。
电子设备根据第二环境距离矩阵提取人体姿态特征信息和人体距离特征信息分别作为第二人体姿态特征信息和第二人体距离特征信息,然后将第二人体姿态特征信息和第二人体距离特征信息分别作为正确人体姿态特征信息和正确人体距离特征信息进行存储。在进行姿态识别和矫正的时候,电子设备可以根据得到的使用者当前姿态对应的第一人体姿态特征信息和第一人体距离特征信息,与存储的正确人体姿态特征信息和正确人体距离特征信息进行姿态异常识别,以确定使用者姿态是否正确。可以有效地提高电子设备的动态范围和适应性,提高姿态识别的准确性。
在上述第一方面的一种可能的实现中,该方法还包括:显示正确姿态继续录入提醒信息以用于使用者进行正确姿态录入选择操作;若接收到使用者继续进行正确姿态录入的选择操作,继续进行正确姿态信息录入;若接收到使用者取消继续进行正确姿态录入的选择操作,结束正确姿态信息录入。
对于某一姿态模式,使用者通过正确姿态继续录入提醒信息,可以根据需要进行一次正确姿态录入,也可以进行多次正确姿态录入,可以有效地提高使用者的使用体验。
在上述第一方面的一种可能的实现中,该方法还包括:根据矫正提醒信息执行相应提醒操作;和/或将矫正提醒信息发送给与电子设备建立通信连接的其他电子设备,以使其他电子设备根据矫正提醒信息执行相应提醒操作。电子设备可以自己进行矫正提醒,也可以联动其他设备进行矫正提醒,可以方便地进行校正提醒,以达到更为及时地提醒使用者进行姿态调整的目的。
在上述第一方面的一种可能的实现中,该方法还包括:向周围环境发射超声波信号;接收经过周围环境物体反射回来的超声波信号;根据发射超声波信号的时间、接收反射回来的超声波信号的时间以及超声波信号的传输速率得到电子设备与周围环境物体之间的距离信息。
电子设备通过向周围环境的不同方向发射超声波信号,通过超声波检测技术可以得到电子设备与周围环境物体之间的多个距离信息,以得到前述的环境距离矩阵。通过环境距离矩阵可以确定周围环境物体的种类,以及确定使用者的姿态等。
第二方面,本申请的实施方式提供了一种姿态识别和矫正装置,包括:超声波模块,用于发射和接收超声波信号以获取第一环境距离信息,第一环境距离信息为姿态识别和矫正装置与周围环境物体之间的距离信息;信息存储模块,用于存储预设的正确人体姿态特征信息和正确人体距离特征信息,正确人体姿态特征信息表征使用者的正确姿态,正确人体距离特征信息表征使用者与电子设备之间的正确距离;信息处理模块,用于根据第一环境距离信息确定第一人体姿态特征信息和第一人体距离特征信息,并且若根据第一人体姿态特征信息和第一人体距离特征信息,以及信息存储模块存储的正确人体姿态特征信息和正确人体距离特征信息确定使用者姿态不正确,生成矫正提醒信息,第一人体姿态特征信息表征使用者的当前姿态,第一人体距离特征信息表征使用者与电子设备之间的当前距离。
通过实时确定的第一人体姿态特征信息和第一人体距离特征信息与预设的正确人体姿态特征信息和正确人体距离特征信息判断使用者的姿态是否正确,可以更为准确、方便地进行姿势识别,提高了姿态识别的鲁棒性和准确性,可以有效地提高使用者的使用体验。
在上述第二方面的一种可能的实现中,超声波模块设置有一个,超声波模块用于按照预设的周期向不同的方向发送超声波信号;或者超声波模块设置有多个,多个超声波模块用于同时向不同的方向发送超声波信号。
通过向周围环境的不同方向发射超声波信号,通过超声波检测技术可以得到姿态识别和矫正装置与周围环境物体之间的多个距离信息,以得到前述的环境距离矩阵。通过环境距离矩阵可以确定周围环境物体的种类,以及确定使用者的姿态等。
本申请提供的姿态识别和矫正装置,包括用于执行上述第一方面和/或第一方面的任意一种可能的实现方式所提供的姿态识别和矫正方法的模块,因此也能实现第一方面提供的姿态识别和矫正方法所具备的有益效果(或优点)。
第三方面,本申请的实施方式提供了一种姿态识别和矫正系统,包括建立通信连接的第一电子设备和第二电子设备,第一电子设备包括超声波模块,超声波模块用于发射和接收超声波信号以获取第一环境距离信息,第一环境距离信息为姿态识别和矫正装置与周围环境物体之间的距离信息;第二电子设备包括信息存储模块和信息处理模块,信息存储模块用于存储预设的正确人体姿态特征信息和正确人体距离特征信息;信息处理模块用于根据第一环境距离信息确定第一人体姿态特征信息和第一人体距离特征信息,并且若根据第一人体姿态特征信息和第一人体距离特征信息,以及信息存储模块存储的正确人体姿态特征信息和正确人体距离特征信息确定使用者姿态不正确,生成矫正提醒信息,第一人体姿态特征信息表征使用者的姿态,第一人体距离特征信息表征使用者与电子设备之间的距离,正确人体姿态特征信息表征使用者的正确姿态,正确人体距离特征信息表征使用者与电子设备之间的正确距离。
本申请提供的姿态识别和矫正系统,包括用于执行上述第一方面和/或第一方面的任意一种可能的实现方式所提供的姿态识别和矫正方法的第一电子设备和第二电子设备,因此也能实现第一方面提供的姿态识别和矫正方法所具备的有益效果(或优点)。
第四方面,本申请的实施方式提供了一种电子设备,包括:存储器,用于存储计算机程序,计算机程序包括程序指令;控制部件,用于执行程序指令,以使电子设备执行如上述第一方面和/或第一方面的任意一种可能的实现方式所提供的姿态识别和矫正方法。
第五方面,本申请的实施方式提供了一种计算机可读取存储介质,其特征在于,计算机可读取存储介质存储有计算机程序,计算机程序包括程序指令,程序指令被计算机运行以使计算机执行如上述第一方面和/或第一方面的任意一种可能的实现方式所提供的姿态识别和矫正方法。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施方式描述中所使用的附图作简单介绍。
图1A和图1B是根据本申请的一些实施方式,示出了本申请提供的姿态识别和矫正方法的一些应用场景;
图2是根据本申请的一些实施方式,示出了一种手表100的结构示意图;
图3A-3G是根据本申请的一些实施方式,示出了一些进行正确姿态录入时的手表100的显示界面示意图;
图4A-4I是根据本申请的一些实施方式,示出了一些进行姿态识别和矫正时的手表100的显示界面示意图;
图5是根据本申请的一些实施方式,示出了一种正确姿态录入过程的流程示意图;
图6是根据本申请的一些实施方式,示出了一种进行姿态识别和矫正的过程的流程示意图;
图7是根据本申请的一些实施方式,示出了一种进行异常识别的过程的流程示意图;
图8是根据本申请的一些实施方式,示出了一种姿态识别和矫正装置的结构示意图;
图9是根据本申请的一些实施方式,示出了一种姿态识别和矫正系统的结构示意图;
图10是根据本申请的一些实施例,示出了一种电子设备的结构示意图;
图11是根据本申请的一些实施例,示出了一种片上系统(SoC)的结构示意图。
具体实施方式
下面将结合附图对本申请的技术方案作进一步清楚、完整地描述。
本申请以进行坐姿识别和矫正的场景对本申请的技术方案进行详细说明。
近视是目前最常见的眼科疾病,据估计全球约有15亿人患有近视,并且全球各地区、各人种都可能患上近视。研究表明多数近视为非遗传性近视,其发生与近距离用眼非常密切。特别是青少年,青少年的眼球处在生长发育阶段,眼球壁的伸展性较大,加之青少年自制能力较差,很容易坐姿不正确,如果青少年长期处于近距离阅读、书写状态则极易患上近视。预防非遗传性近视已成为当前青少年除学习之外的首要事务之一。另外,对于工作群体,长时间的使用电脑,若坐姿不正确,也很容易出现视疲劳,以及影响颈椎等部位的健康等问题。
目前矫正坐姿的方式包括利用物理装置矫正坐姿、利用头部可穿戴装置矫正坐姿和利用手部可穿戴装置矫正坐姿三种。
利用物理装置矫正坐姿,例如可以是使用带栏杆或支架的桌子(例如矫正书桌),保证使用者的头部与桌面之间具有一定的距离。或者采用“背背佳”或带“背背佳”的椅子,利用“背背佳”的绳带束缚使用者的身体,迫使其与桌面产生一定的距离。
利用物理装置矫正坐姿的方案,因为每个人的体型及习惯不同,“背背佳”可调节的范围有限,而且束缚感强,故而矫正时使用者常常感觉不舒适。矫正书桌使得使用者被束缚在有限的空间内,不方便使用者移动;同时其便携性差,需要对课桌进行改造,成本较高。
利用头部可穿戴装置矫正坐姿的方案,使用者将头部可穿戴装置穿戴在头部,头部可穿戴装置检测头部可穿戴装置到前方物体的距离,以及检测使用者头部的倾角。当距离小于距离阈值或倾角大于倾角阈值时头部可穿戴装置报警,以此提示使用者调整坐姿。头部可穿戴装置例如可以是耳环、头环、眼镜等装置。
头部可穿戴装置矫正坐姿的方案,由于检测参数单一,仅包括单个距离和角度,故而无法准确识别坐姿,容易产生漏检或误检。另外,不同人体型不同,头部可穿戴装置可检测的使用者的动态范围小、适应性较弱。同时,头部可穿戴装置对于有些使用者使用起来比较麻烦,例如不近视却需要戴眼镜。
利用手部可穿戴装置矫正坐姿的方案,使用者将手部可穿戴装置穿戴在手部,手部可穿戴装置检测手部可穿戴装置到前方物体的距离,当距离小于距离阈值时报警,以此提示使用者调整坐姿。手部可穿戴装置例如可以是手环、手表等装置。
利用手部可穿戴装置矫正坐姿的方案,由于手部可穿戴装置检测参数单一,仅有单个距离信息,故而无法准确识别坐姿,容易产生漏检或误检。另外,不同人体型不同,该手部可穿戴装置可检测的使用者的动态范围小、适应性较弱。
本申请提供了一种姿态识别和矫正方法,该姿态识别和矫正方法可以应用于作为手部可穿戴装置的手表。请参见图1A和图1B,图1A和图1B示出了手表100的使用场景示意图。该场景中,使用者(人)佩戴手表100,并且使用者处于观看电脑200的状态。手表100位于使用者的身体和电脑200之间。其中,图1A所示为观看电脑200的正确姿态,图1B为不正确的姿态,即为错误姿态。
手表100包括超声波模块,手表100通过超声波模块向手表100的周围环境的不同方位发射超声波信号,手表100周围环境中的例如使用者的身体、电脑200、桌子等周围环境物体会反射超声波信号。手表100接收经过周围环境物体反射回来的超声波信号后,利用超声波检测技术确定手表100与周围环境物体之间的多个用于表征手表100与环境物体之间距离的距离信息。例如在手表100的使用过程中,使用者通过图1B所示的姿态观看电脑200,则手表100可以得到如图1B所示的手表100与使用者之间的多个距离信息K1、K2、K3和K4等,得到手表100与电脑200之间的多个距离信息K5、K6和K7等,以及得到手表100与周围其他不同物体之间的多个距离信息。然后,手表100根据该多个距离信息得到包括该多个距离信息的环境距离矩阵作为第一环境距离信息。环境距离矩阵例如可以是KM=[K1,K2,K3……Kn],其中K1,K2,K3……Kn为手表100与周围环境物体之间的多个距离信息。并且,手表100根据该环境距离矩阵提取手表的使用者的姿态信息(例如姿态轮廓)作为第一人体姿态特征信息,以及提取手表100与手表100的使用者之间的距离信息(例如手表100与使用者的头部之间的距离)作为第一人体距离特征信息。接着,手表100根据第一人体姿态特征信息和第一人体距离特征信息,以及预设的正确人体姿态特征信息和正确人体距离特征信息进行分析和比较以进行姿态异常识别,就可以确定使用者的姿态是否正确。即本申请提供的姿态识别和矫正方法,手表100通过人体姿态特征信息和人体距离特征信息判断使用者的姿态是否正确,可以更为准确、方便地进行姿势识别,提高了姿态识别的鲁棒性和准确性,可以有效地提高使用者的使用体验。
本申请提供的姿态识别和矫正方法,手表100还可以接收使用者的正确姿态录入(或者也可以称为正确姿态学习)得到正确人体姿态特征信息和正确人体距离特征信息,例如使用者可以摆出图1A所示的正确姿态,手表100根据使用者的正确姿态得到正确人体姿态特征信息和正确人体距离特征信息。具体的,手表100利用超声波检测技术得到手表100与周围环境物体之间的距离信息,并根据该距离信息形成环境距离矩阵作为第二环境距离信息。手表100根据该环境距离矩阵提取手表100的使用者的姿态信息作为第二人体姿态特征信息,以及提取手表100与手表100的使用者之间的距离信息作为第二人体距离特征信息,然后将第二人体姿态特征信息和第二人体距离特征信息分别作为正确人体姿态特征信息和正确人体距离特征信息进行存储。在进行姿态识别和矫正的时候,手表100可以根据得到的使用者当前姿态对应的第一人体姿态特征信息和第一人体距离特征信息,与存储的正确人体姿态特征信息和正确人体距离特征信息进行分析和比较以进行姿态异常识别,就可以确定使用者的姿态是否正确。可以有效地提高手表100的动态范围和适应性,提高姿态识别的准确性。
本申请提供的姿态识别和矫正方法,在确定使用者的姿态不正确时,手表100还可以生成矫正提醒信息以进行相应的矫正提醒。一方面,手表100可以根据矫正提醒信息进行例如发生震动或发出声音进行报警等提醒操作。另外,手表100可以将与该手表100建立通信连接(例如蓝牙连接、WiFi连接等)的其他电子设备(例如电脑200,或者手机等)、或者进行了账号绑定的其他电子设备等设备作为联动设备,通过与联动设备之间进行联动完成矫正提醒。例如手表100将矫正提醒信息发送给联动设备,以使联动设备根据该矫正提醒信息执行相应提醒操作,例如在联动设备上出现提醒联动设备、关闭联动设备、锁定联动设备屏幕等操作。可以方便地进行校正提醒,以达到更为及时地提醒使用者进行姿态调整的目的。
请参见图2,图2示出了手表100的结构示意图。
手表100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接头130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M和超声波传感器180N等。
可以理解的是,本发明实施例示意的结构并不构成对手表100的具体限定。在本申请另一些实施例中,手表100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
处理器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
手表100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。手表100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在手表100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在手表100上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,手表100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得手表100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system formobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code divisionmultiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(globalnavigation satellite system,GLONASS),北斗卫星导航系统(beidou navigationsatellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
手表100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,手表100可以包括1个或N个显示屏194,N为大于1的正整数。
手表100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现手表100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手表100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行手表100的各种功能应用以及数据处理。
手表100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。
距离传感器180F,用于测量距离。手表100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,手表100可以利用距离传感器180F测距以实现快速对焦。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。
超声波传感器180N,也称“超声波模块”,用于向手表100的周围环境的不同方位发射超声波信号,以及接收经过周围环境物体反射回来的超声波信号后,利用超声波检测技术确定手表100与周围环境物体之间的多个用于表征手表100与环境物体之间距离的距离信息。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。手表100可以接收按键输入,产生与手表100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
本申请的一种实现方式中,手表100可以提供使用者进行正确姿态录入的功能。
请参见图3A,手表100显示主桌面,主桌面包括时间、日期等信息。若手表100检测到使用者对屏幕的单击操作,手表100显示如图3B所示的显示界面。该显示界面包括手表100中的应用的图标和名称等信息,例如包括姿态矫正应用G。
若手表100检测到使用者对姿态矫正应用G的图标的单击操作,则手表100显示如图3C所示的显示界面。该显示界面包括“正确姿态录入”控件300和“姿态识别和矫正”控件400。
若手表100检测到使用者对“正确姿态录入”控件300的单击操作,手表100显示如图3D所示的显示界面。该显示界面包括姿态模式菜单310作为第二菜单,姿态模式菜单310提供“看电脑模式”、“读书模式”、“写字模式”以及其他模式(例如“看平板电脑模式”等)等姿态模式控件,以供使用者选择。
若手表100检测到使用者对“看电脑模式”控件的单击操作,手表100显示图3E所示的显示界面。该显示界面显示提醒信息301“正在进行正确姿态录入,请摆出正确姿态,并至少保持3秒不动”。此时使用者可以摆出如上述图1A所示的正确姿态进行正确姿态录入。然后手表100开始获取使用者当前的正确姿态对应的手表100与周围环境物体之间的多个距离信息作为环境距离矩阵,环境距离矩阵例如可以是KM=[K1,K2,K3……Kn],其中K1,K2,K3……Kn为手表100与周围环境物体之间的多个距离信息。然后,手表100根据环境距离矩阵KM得到人体姿态特征信息和人体距离特征信息进行存储以完成正确姿态录入,其中,人体姿态特征信息为使用者的姿态信息,人体距离特征信息为使用者与手表100之间的距离信息。
手表100录入正确姿态后,显示如图3F所示的显示界面。该显示界面包括提醒信息302“请确认是否继续进行正确姿态录入”作为正确姿态继续录入提醒信息。若手表100检测到使用者对“确定”控件的触发操作,手表100继续显示图3E所示的显示界面,以用于使用者继续录入正确姿态。若手表100检测到使用者对“取消”控件的单击操作,手表100完成当前模式下的正确姿态录入,显示如图3D所示的显示界面。此时使用者还可以选择其他姿态模式,进行其他姿态模式下的正确姿态录入,其录入方式与上述的“看电脑模式”对应的正确姿态录入的方式相同或类似,此处不再赘述。
若手表100根据使用者在一个姿态模式下摆出的一个正确姿态,得到一个环境矩阵信息,并根据该环境矩阵信息得到一组人体姿态特征信息和距离特征信息,则手表100将该人体姿态特征信息和人体距离特征信息作为正确人体姿态特征信息和正确人体距离特征信息进行存储。若手表100根据使用者在一个姿态模式下摆出的多个正确姿态,得到多个环境矩阵信息,并得到多组人体姿态特征信息和人体距离特征信息,则手表100将多组人体姿态特征信息和人体距离特征信息分别作为正确人体姿态特征信息和正确人体距离特征信息进行存储。
手表100将使用者输入的正确姿态进行编号,并对应于每个编号将对应的正确姿态特征和正确距离特征进行存储,以用于在进行使用者姿态识别和矫正时,作为进行姿态异常识别的比较对象。
在本申请的一种实现方式中,若手表100检测到使用者对“正确姿态录入”控件300的单击操作,手表100也可以显示如图3G所示的显示界面。该显示界面包括用户菜单320,用户菜单320提供“用户A”、“用户B”等用户名称控件,以供使用者选择。若手表100检测到使用者对用户名称控件(例如用户A)的单击操作,手表100显示上述的如图3D所示的显示界面。使得手表100可以录入不同用户的正确姿态特征信息和正确距离特征信息,以满足不同使用者的使用需求。
本申请的一种实现方式中,手表100可以用于进行姿态识别和矫正。
手表100显示如图4A所示的显示界面,若手表100检测到使用者对“姿态识别和矫正”控件400的单击操作,手表100显示如图4B所示的显示界面。该显示界面包括姿态模式菜单410作为第一菜单,姿态模式菜单410提供“自动模式”、“看电脑模式”、“读书模式”、“写字模式”、等姿态模式选项控件。该显示界面还可以包括“设置”控件420。
若手表100检测到使用者对“看电脑模式”控件的单击操作,手表100显示图4C所示的显示界面。该显示界面显示提醒信息401“已开启姿态识别和矫正”。手表100则可以对使用者的姿态进行识别,以判断当前使用者的姿态是否为当前“看电脑模式”对应的正确姿态。
若手表100检测到使用者的姿态为不正确的姿态,则手表100可以通过自己振动、响铃、显示提醒信息等方式提醒使用者当前的姿态不正确。例如如图4D所示,手表100显示提醒信息402“当前坐姿不正确,请进行调整”作为矫正提醒信息。另外,提醒信息402还可以包括坐姿调整建议“保持背部挺直,并适当远离电脑200”。
若手表100检测到使用者的姿态正确姿态,则手表100可以不用发出任何提醒信息,或者也可以通过语音等方式,提醒使用者当前姿态正确。例如发出语音“姿态正确,请继续保持”。
在本申请的一种实现方式中,手表100也可以默认将与手表100建立了通信连接的电脑200作为联动设备,向电脑200发送提醒信息,由电脑200根据提醒信息执行提醒操作以提醒使用者的坐姿不正确。例如可以是由电脑200通过锁屏、闪屏、黑屏等方式进行提醒。
在本申请的另一种实现方式中,手表100还可以根据使用者的操作进行联动设备的设置。
若手表100检测到使用者对图4B中的“设置”控件420的单击操作,手表100显示如图4E所示的显示界面。该显示界面包括“联动设备”设置控件421。
若手表100检测到使用者对“联动设备”设置控件421的单击操作,手表100显示图4F所示的显示界面。该显示界面显示“已建立通信连接设备”控件4211、“通讯录联系人”控件4212。
若手表100检测到使用者对“已建立通信连接设备”控件4211的单击操作,手表100显示如图4G所示的显示界面,该显示界面包括与手表100建立连接通信连接的电子设备的名称,例如电脑200、手机、平板、音响等。若手表100检测到使用者对电子设备的名称的单击操作,则手表100将使用者选择的电子设备名称对应的电子设备作为联动设备。
另外,若手表100检测到使用者对某一电子设备的名称的单击操作,手表100还可以显示“提醒方式”菜单422。“提醒方式”菜单422包括锁屏、震动、响铃、屏幕模糊等多种提醒方式。若手表100检测到使用者对提醒方式后的选择框的单击操作,手表100确定使用者当前选择的该电子设备对应的提醒方式为使用者选择的提醒方式。例如,电脑200对应的提醒方式包括锁屏和响铃两种提醒方式。使用者可以根据需要设置不同电子设备的联动提醒方式。
若手表100检测到使用者对图4F所示的显示界面上的“通讯录联系人”控件4212的单击操作,手表100显示如图4H所示的显示界面,该显示界面包括通讯录联系人。若手表100检测到使用者对联系人的选择操作,则手表100将联系人对应的电子设备作为联动设备,可以默认通过发短信等方式进行联动提醒。
在本申请的另一种实现方式中,若手表100中的应用与联系人对应的电子设备中的应用存在账号绑定,手表100也可以通过手表100中的应用向联系人对应的电子设备中的应用发送矫正提醒信息。该应用例如可以是各种聊天应用、社交应用等。
在本申请的另一种实现方式中,手表100默认联动方式,例如可以是手表100本身通过震动方式进行提醒,电脑200、平板电脑通过闪屏、黑屏的方式进行提醒,通讯录联系人对应电子设备通过短信提醒等。
在本申请的另一种实现方式中,若手表100在进行姿态识别的过程中,根据环境距离矩阵确定使用者的姿态模式为“写字模式”,与使用者手动选择的“看电脑模式”不一致,手表100还可以显示图4I所示的提醒信息403“请确定是否切换为“写字模式””作为模式切换提醒信息。若手表100检测到使用者对“确认”控件的单击操作,手表100将姿态模式切换为“写字模式”,并判断使用者当前姿态是否为“写字模式”对应的正确姿态。若手表100检测到使用者对“取消”控件的单击操作,手表100判断使用者当前姿态是否为“看电脑模式”对应的正确姿态。
在本申请的另一种实现方式中,若手表100检测到使用者对图4B所示的姿态模式菜单410提供的“自动模式”控件的单击操作,手表100也可以显示图4C所示的显示界面进行姿势识别和矫正。并且手表100确定工作模式为自动模式,手表100在姿态识别的过程中,自动确定使用者当前的姿态模式(例如为“看电脑模式”,或者“读书模式”等)。
另外,若手表100检测到使用者对图4E所示界面上的“识别和矫正时间”设置控件的单击操作,手表100也可以提供时间设置显示界面,以用于使用者设置进行姿态识别和矫正的时间。当然,手表100也可以默认进行姿态识别和矫正的时间为使用者开启姿态识别和矫正功能后的1个小时,其可以根据需要设置。
在本申请的一种实现方式中,若手表100如上述的图3C所示,检测到使用者对“看电脑模式”控件的单击操作,手表100认为接收到使用者对“看电脑模式”进行正确姿态录入的指令,手表100可以进行“看电脑模式”对应的正确姿态录入。以下根据图5对手表100进行“看电脑模式”对应的正确姿态录入的过程进行解释和说明。
请参见图5,手表100进行“看电脑模式”对应的正确姿态录入的过程包括以下步骤。
S101,手表100以不同的角度向手表100周围发射超声波信号。超声波信号遇到周围环境中的物体后,会进行反射。
S102,手表100接收反射回来的超声波信号。
周围环境中的物体与手表100的距离不同,反射超声波信号的时间也不同。即超声波信号在传递过程中遇到不同距离的物体反射后,手表100接收到的不同物体反射回来的超声波信号的时间不同。
S103,手表100根据发射超声波信号的时间、接收到超声波信号的时间信息以及超声波的传输速率,可以计算得到手表100与周围环境物体之间的距离信息。并且手表100可以将多个距离信息作为一个集合得到环境距离矩阵KM=[K1,K2,K3……Kn]。
具体地,超声波的传输速度为V,手表100发出超声波信号后,接收到对应的反射回来的超声波信号的时间为T,则手表与周围环境物体之间的距离K=(V×T)/2。
手表100根据接收到的多个不同角度反射回来的超声波信号可以得到多个距离信息,然后根据多个不同角度对应的距离信息可以得到环境距离矩阵KM=[K1,K2,K3……Kn]。
S104,手表100通过环境距离矩阵判断手表100周围环境是否存在人体,若存在人体,手表100执行S105。若不存在人体,手表100执行S101。
手表100通过环境距离矩阵判断手表100的周围环境是否存在人体,即是否存在使用者,可以是手表100通过环境距离矩阵和人体检测算法确定是否存在人体,人体检测算法可以是深度神经网络分类器。例如手表100将环境距离矩阵KM输入到由若干卷积层、池化层或全连接层组成的深度神经网络分类器中,由深度神经网络分类器得到周围环境物体的轮廓信息以确定周围环境物体的种类或者类型,并且进一步判断周围环境物体是否包括人体轮廓以判断周围环境是否存在人体。周围环境物体的轮廓信息例如可以是根据距离信息得到的物体轮廓点云模型。该深度神经网络分类器例如可以是ShuffleNet、MobileNet、EfficientNet、SqueezeNet等。
人体检测算法也可以是其他机器学习算法。手表100通过环境距离矩阵判断手表100的周围环境是否存在人体,也可以是手表100可以先通过机器学习算法提取环境距离矩阵KM中特定距离区间的点作为提取点,例如提取0m~1m距离区间内的点。然后手表100通过机器学习算法对这些提取点进行归一化处理,并计算这些提取点与预设的人形距离模板的相关性参数。
人形距离模板可以通过采集一定数量的手表100前方有人体时的距离矩阵数据(例如1万组距离矩阵数据),并对距离矩阵数据进行归一化处理后求得平均距离矩阵得到,即人形距离模板为该平均距离矩阵。此时,相关性参数表征提取点组成的距离矩阵与人形距离模板之间的相似程度,可以用提取点组成的距离矩阵和人形距离模板这两个矩阵间所有参数的平均绝对误差表示。其中,若提取点组成的距离矩阵与人形距离模板完全不同,则相关性参数为1;若提取点组成的距离矩阵与人形距离模板完全相同,则相关性参数为0。另外,若相关性参数大于预设的相关性参数阈值,则判定存在人体,反之,则判定不存在人体。该预设的相关性参数阈值的取值范围可以是0.5~0.9,例如可以是0.5、0.65、0.8、0.9等。当然,该相关性参数阈值也可以是其他值。
S105,手表100通过环境距离矩阵确定人体姿态特征信息和人体距离特征信息。
手表100通过环境距离矩阵确定人体姿态特征信息和人体距离特征信息,可以是手表100通过深度神经网络根据环境距离矩阵提取人体姿态特征信息和人体距离特征信息。例如对于人体姿态特征信息,手表100将环境距离矩阵KM输入到自编码器(Autoencoder)网络中,得到降维后的矩阵k=[k1,k2,k3……km](m<n),作为人体姿态特征信息。降维后的矩阵k可以用于描述使用者的身体轮廓,例如可以是身体轮廓点云模型,从而可以用于确定使用者的姿态。对于人体距离特征信息,手表100也可以将环境距离矩阵KM输入到由若干卷积层、池化层或全连接层组成的深度神经网络中,预测使用者头部到手表100之间的距离值M(或者也可以称为M),作为人体距离特征信息。M可以是使用者头部上的一个确定的位置(例如两只眼睛的中间位置)到手表100的距离,也可以是使用者头部上的多个位置到手表100的多个距离的平均值等。
当然,手表100也可以通过其他机器学习算法提取人体姿态特征信息和人体距离特征信息。
例如对于人体姿态特征信息,手表100可以通过机器学习算法提取环境距离矩阵KM中特定距离区间的点,例如提取0m~1m距离区间的点,并通过机器学习算法对其进行归一化处理。然后通过机器学习算法计算这些点的均值l1、方差l2、梯度l3、峰峰值l4、峰值因子l5,以及计算这些点与人体典型正确姿态距离模板的相关性参数l6等等,得到人体姿态特征矩阵k=[k1,k2,k3……km](m可以大于n,也可以小于n),作为人体姿态特征信息。
人体典型正确姿态距离模板可以通过采集一定数量的具有典型正确姿态人体的距离矩阵数据(例如1万组距离矩阵数据),进行归一化处理后求得平均距离矩阵得到,即人体典型正确姿态距离模板为该平均距离矩阵。
对于人体姿态特征信息,也可以是手表100通过主成分分析(PCA)、线性判别分析(LDA)、独立成分分析(ICA)等机器学习算法得到降维后的矩阵k=[k1,k2,k3……km](m<n),作为人体姿态特征信息。
对于人体距离特征信息,手表100也可以通过机器学习算法,基于使用者头部距离模板,计算环境距离矩阵KM中与使用者头部距离模板相关性参数大于相关性参数阈值的距离点的平均值,预测使用者头部到手表100的距离值M,作为人体距离特征信息。
头部距离模板可以通过采集一定数量的前方有人体头部的距离矩阵数据(例如1万组距离矩阵数据),提取出头部位置的距离矩阵信息,进行归一化处理后求得头部平均距离矩阵得到,即头部距离模板为该头部平均距离矩阵。
则人体距离特征信息的具体过程为计算环境距离矩阵KM与头部距离模板这两个矩阵间所有参数的平均绝对误差,其中若环境距离矩阵KM与头部距离模板两矩阵完全不同,则相关性参数为1,若环境距离矩阵KM与头部距离模板两矩阵完全相同,则相关性参数为0。另外,若相关性参数大于预设的相关性参数阈值,则判定存在头部,计算头部的距离平均值作为人体距离特征信息。该预设的相关性参数阈值的取值范围可以是0.5~0.9,例如可以是0.5、0.65、0.8、0.9等。当然,该相关性参数阈值也可以是其他值。
S106,手表100确定姿态编号,并存储该姿态编号以及上述得到的人体姿态特征信息和人体距离特征信息,作为正确人体姿态特征信息和正确人体距离特征信息。
手表100保存的姿态编号和正确人体姿态特征信息和正确人体距离特征信息的对应关系,例如可以是:姿态模式编号-姿态编号-正确人体姿态特征信息-正确人体距离特征信息。
S107,手表100判断是否继续录入正确姿态,若继续录入,手表100执行S101,否则手表100结束正确姿态录入。
手表100判断是否进行正确姿态录入可以是,手表100判断是否达到当前“看电脑模式”对应的预设的正确姿态录入次数阈值。若已达到,手表100结束正确姿态录入。如未达到,则手表100继续执行S101,进行正确姿态录入。
手表100判断是否进行正确姿态录入,也可以是手表100根据接收到的使用者是否继续进行正确姿态录入的指令确定。例如,若手表100检测到使用者对上述的图3F所示的确认控件的单击操作,则手表100认为接收到使用者继续进行正确姿态录入的指令,手表100继续执行S101,进行正确姿态录入。若手表100检测到使用者对上述的图3F所示的取消控件的单击操作,则手表100确定接收到使用者不继续进行正确姿态录入的指令,则手表100结束正确姿态录入。
在本申请的一种实现方式中,若手表100接收到使用者对“看电脑模式”对应的正确姿态的一次录入,则手表100可以得到如下表1所示的一组姿态模式1对应的姿态编号与正确人体姿态特征信息和正确人体距离特征信息的对应关系。
Figure BDA0002846233990000151
表1
在本申请的另一种实现方式中,若手表100接收到使用者对“看电脑模式”对应的正确姿态的多次录入,则手表100可以得到如下表2所示的姿态模式2对应的多组姿态编号与正确人体姿态特征信息和正确人体距离特征信息的对应关系。
Figure BDA0002846233990000152
表2
另外,若手表100接收到使用者对其他“读书模式”、“写字模式”等其他姿态模式对应的正确姿态录入指令,手表100也执行与上述的S101~S107类似的操作,以进行相应姿态模式的正确姿态录入。并且手表100可以得到如下表3所示的对应关系。
Figure BDA0002846233990000153
表3
在本申请的另一种实现方式中,手表100提供针对多个不同使用者的正确姿态录入功能,以用于对多个不同使用者进行正确姿态识别和矫正。则手表100在接收到使用者对不同用户对应的不同模式的正确姿态录入后,手表100可以得到如下表4所示的对应关系。
Figure BDA0002846233990000154
Figure BDA0002846233990000161
表4
在本申请的另一种实现方式中,手表100包括S个姿态模式,手表100也可以默认每种姿态模式提取P次特征信息。则手表100如果完成S×P次正确姿态特征录入,则手表100判断确定正确姿态录入结束。
本申请中,手表100将得到的正确人体姿态特征信息和正确人体距离特征信息编号存储,以用于在进行姿态识别和矫正的时候,根据获取得到的当前的使用者的姿态对应的正确人体姿态特征信息和正确人体距离特征信息,以及该保存的正确人体姿态特征信息和正确人体距离特征信息进行比较,以判断使用者的姿态是否正确。
另外,利用正确姿态录入过程,可以“千人千面”地学习不同体型和不同习惯人的正确人体姿态特征信息和正确人体距离特征信息,适配性强、鲁棒性高。同时,也可以对不同姿态模式(或者用眼状态)下的正确姿态进行录入和存储,例如看电脑状态、写作业状态、读书状态等,提高后续进行姿态识别和矫正阶段的准确性。
本实现方式中,采用机器学习算法提取人体姿态特征信息、人体距离特征信息,也可以有效地提高识别鲁棒性和准确性。
本申请还提供一种手表100进行人体坐姿识别和矫正的方法。例如若手表100检测到使用者对图4B所示的“看电脑模式”控件的单击操作,则手表100进行人体坐姿识别和矫正。以下根据图6对手表100进行人体坐姿识别和矫正的过程进行解释和说明。
请参见图6,在本申请的一种实现方式中,手表100进行人体坐姿识别和矫正的过程包括以下步骤。
S201,手表100确定当前工作模式,工作模式包括自动模式与非自动模式。
若手表100检测到如上图4B所示的使用者对“自动模式”控件的单击操作,则确定当前工作模式为自动模式,若手表100检测到使用者对如上图4B所示的“看电脑模式”控件的单击操作,则确定当前工作模式为非自动模式。
在自动模式下,手表100根据使用者的姿态直接自动判定当前的姿态模式。在非自动模式下,手表100根据使用者对姿态模式的选择操作,确定姿态模式。
S202,手表100发射超声波信号。
S203,手表100接收反射超声波信号。
S204,手表100利用得到反射超声波信号的时间信息计算得到环境距离矩阵。
S205,手表100基于机器学习算法,通过环境距离矩阵判断手表100的周围环境是否存在人体,若存在人体,手表100执行S206;若不存在人体,手表100执行S202。
S206,手表100通过环境距离矩阵计算使用者的人体姿态特征信息和手表100与使用者之间的人体距离特征信息。其中,使用者的人体姿态特征信息可以是如前所述的对环境距离矩阵KM降维后的矩阵k=[k1,k2,k3……km](m<n),降维后的矩阵k可以用于描述使用者的身体轮廓。手表100与使用者之间的人体距离特征信息为使用者头部到手表100之间的距离值M。
需要说明的是,上述S202~S206,与前述的101~105分别依次对应相同,此处不再赘述。
S207,手表100进行姿态异常检测。
对于S207,手表100进行姿态异常检测,可以是如图7所示,包括以下步骤:
S2071,手表100确定工作模式,并且根据人体姿态特征信息确定与该人体姿态特征信息对应的当前姿态模式。
手表100根据人体姿态特征信息确定与该人体姿态特征信息对应的当前姿态模式,可以是手表100计算人体姿态特征信息与手表100存储的各种姿态模式下正确人体姿态特征信息的欧氏距离的平均值,取欧氏距离平均值最大的人体姿态特征信息所代表的姿态模式作为当前姿态模式。
进一步地,若手表100确定工作模式为自动模式,则手表100执行S2072。若手表100确定工作模式为非自动模式,则手表100执行S2073。
S2072,手表100将人体姿态特征信息与人体距离特征信息与该当前姿态模式对应的正确人体姿态特征信息与正确人体距离特征信息进行比较,以确定当前姿态是否正确,即是否异常。
具体的,手表100基于异常检测算法,异常检测算法可以是深度神经网络,例如手表100将当前人体姿态特征信息、人体距离特征信息和手表100存储的正确人体姿态信息、正确人体距离信息均输入由若干卷积层、池化层或全连接层组成的深度神经网络判别器中,判断姿态是否异常,即姿态是否正确。
异常检测算法也可以是其他机器学习算法,例如手表100通过机器学习算法计算当前人体姿态特征信息与存储的正确人体姿态特征信息之间的欧氏距离,以及当前人体距离特征信息与存储的正确人体距离特征信息之间的欧氏距离。然后将两个欧氏距离的平均值作为最终异常欧氏距离结果,并判断最终异常欧氏距离结果是否大于预设的最终异常欧氏距离结果阈值。若最终异常欧氏距离结果大于最终异常欧氏距离结果阈值,则判定姿态异常。
最终异常欧氏距离结果阈值为统计值,可以是统计一定数量的使用者(例如100人),对每个使用者计算其若干组(例如50组)异常姿态下的异常欧氏距离结果,取该异常欧氏距离结果的最小值作为该使用者的异常欧氏距离结果阈值。统计该一定数量的使用者(例如100人)的异常欧氏距离结果阈值的平均值,作为最终异常欧氏距离结果阈值。
S2073,手表100判定当前姿态模式与使用者手动设置的姿态模式是否一致。若不一致,手表100执行S2074。若一致,手表100执行S2077。
S2074,手表100显示姿态模式切换提醒信息。并且手表100执行S2075。
S2075,手表100确定是否进行姿态模式切换。若确定进行姿态模式切换,则将姿态模式切换为上述根据人体姿态特征信息与人体距离特征信息确定的当前姿态模式,并且手表100执行S2076。若确定不进行姿态模式切换,则手表100执行S2077。
手表100显示的姿态模式切换提醒信息例如可以是如图4I所示的提醒信息403。若手表100检测到使用者对“确认”控件的单击操作,手表100确定进行姿态模式切换。若手表100检测到使用者对“取消”控件的单击操作,手表100确定不进行姿态模式切换。
另外,姿态模式切换提醒信息也可以是振动、声音、文字、图像等信息的一种或几种,或利用设备联动,在与手环在同一蓝牙连接网络或WiFi网络中的其他设备上产生提醒,包括产生振动、声音、文字、图像等信息的一种或几种,也包括改变其他设备显示屏显示参数、显示特性、触摸特性、控制特性,例如将其黑屏、模糊处理、强制退出、强制锁屏等。
S2076,手表100将人体姿态特征信息与人体距离特征信息,与切换后的姿态模式对应的正确人体姿态特征信息和正确人体距离特征信息进行比较,例如计算前述的欧氏距离以及最终异常欧氏距离结果,以确定当前姿态是否正确。
S2077,手表100将人体姿态特征信息与人体距离特征信息,与使用者手动选择的姿态模式对应的正确人体姿态特征信息和正确人体距离特征信息进行比较,例如计算前述的欧氏距离以及最终异常欧氏距离结果,以确定当前姿态是否正确。
手表100执行S2076或者S2077,判定当前姿态是否准确,与前述S2072类似,此处不再赘述。
S208,手表100通过步骤S207的判断结果,判断是否进行矫正提醒。具体的,若当前姿态无异常,手表100执行S210。若当前姿态存在异常,手表100执行S209。
S209,手表100发出矫正信号,对使用者进行矫正提醒。
手表100对使用者进行矫正提醒时,提醒内容具体包括:手表100自己产生震动、声音、文字、图像等矫正信号(或者可以称为矫正提醒信息)对使用者进行矫正提醒。或者手表100利用设备联动,在与手表100在同一蓝牙连接网络或WiFi网络中的其他联动设备上产生提醒,具体包括联动设备产生震动、声音、文字、图像等矫正信号(或者可以称为矫正提醒信息)对使用者进行矫正提醒,或者设备联动改变显示屏显示参数(例如屏幕有变暗)、显示特性(例如文字放大显示)、触摸特性(例如屏幕冻结,对使用者的触发操作不进行反应)、控制特性(例如关机)等对使用者进行矫正提醒。通过设备联动进行矫正提醒,可以提高姿态矫正的“惩罚”力度,一定程度上迫使使用者更好地矫正姿态。
S210,手表100不发出矫正信号,不对使用者进行矫正提醒。
S211,手表100判断姿态识别和矫正工作是否结束。若结束,手表100退出姿态识别和矫正流程。若没有结束,则手表100继续执行S202。
手表100判断姿态识别和矫正工作是否结束,可以是手表100判断是否到达使用者事先设定好的姿态识别和矫正时间,或者是否检测到使用者手动退出姿态识别矫正任务等。
手表100继续执行S202,可以是手表100按照使用者预设的姿态识别和矫正周期周期性地发射超声波信号,以对使用者的姿态进行姿态识别和矫正。
本实现方式提供的姿态识别和矫正方法,手表100可以根据得到的用户的实时姿态对应的人体姿态特征信息和人体距离特征信息,与存储的正确人体姿态特征信息和正确人体距离特征信息进行姿态异常识别,以确定使用者姿态是否正确。可以有效地提高电子设备的动态范围和适应性,提高姿态识别的鲁棒性和准确性。并且手表100便于使用者携带和使用,佩戴起来美观并且舒服舒适。另外,手表100具备动态范围大、适应性好的优点。
请参见图8,图8所示为本申请提供的姿态识别和矫正装置的模块结构示意图。
姿态识别和矫正装置包括超声波模块101、信息处理模块102和信息存储模块103。其中,超声波模块101用于得到环境矩阵信息,信息处理模块102用于处理装置工作过程中的姿态异常确定等各类计算任务,信息存储模块103用于存储装置工作过程中需要保存的各类数据,例如存储多个不同姿态模式对应的正确人体姿态特征信息和正确人体距离特征信息,以及例如程序数据、计算过程数据、输入信息数据等其他数据信息。
在本申请的一种实现方式中,上述的手表100包括该姿态识别和矫正装置。
超声波模块101包括超声波发射模块1011和超声波接收模块1012。
超声波发射模块1011用于执行前述的S101,或者用于执行上述的S202,即超声波发射模块1011用于发射超声波信号并且记录超声波发射时间。
超声波接收模块1012用于执行前述的S102和S103,或者用于执行上述的S203和S204,即超声波接收模块1012用于接收超声波发射模块1011发射的超声波经过周围环境物体返回的超声波信号,并且记录接收到返回的超声波信号的时间。并且超声波发射模块1011将超声波发射时间发送给超声波接收模块1012,超声波接收模块1012根据超声波信号的发射时间、接收反射回来的超声波信号的时间,以及超声波的传输速度计算得到姿态识别和矫正装置与周围环境中的各物体之间的距离信息,并进一步计算得到环境距离矩阵KM。
信息处理模块102包括人体检测模块1021、工作模式检测模块1022、人体距离特征提取模块1023、人体姿态特征提取模块1024和异常检测模块1025。
人体检测模块1021用于执行上述的S104,或者用于执行上述的S205,即人体检测模块1021用于接收超声波模块101发送来的环境距离矩阵KM的信息,并且通过环境距离矩阵KM判断手表100的周围环境是否存在人体。若存在人体,人体检测模块1021将手表100的周围环境存在人体的信息发送(告知)给工作模式检测模块1022。
工作模式检测模块1022用于执行上述S207中的S2071,即工作模式检测模块1022用于确定手表100当前进行姿态识别和矫正的工作模式为自动模式还是非自动模式。然后,工作模式检测模块1022将确定的工作模式的类型信息发送给人体距离特征提取模块1023。
人体距离特征提取模块1023用于执行上述的S105,即人体距离特征提取模块1023用于通过环境距离矩阵KM提取手表100与使用者之间的距离特征信息。人体距离特征提取模块1023还用于将距离特征信息发送给信息存储模块103进行存储以作为正确距离特征信息。
人体姿态特征提取模块1024用于执行上述的S105,即人体姿态特征提取模块1024用于通过环境距离矩阵提取手表100的使用者的人体姿态特征信息。人体姿态特征提取模块1024还用于将姿态特征信息发送给信息存储模块103进行存储以作为正确姿态特征信息。
信息存储模块103用于执行前述的S106,即信息存储模块103用于接收人体距离特征提取模块1023发送来的距离特征信息,并进行存储以作为正确距离特征信息,以及用于接收人体姿态特征提取模块1024发来的人体姿态特征信息,并进行存储以作为正确人体姿态特征信息。
人体距离特征提取模块1023还用于执行上述的S206,即人体距离特征提取模块1023用于通过环境距离矩阵KM提取手表100与使用者之间的人体距离特征信息。人体距离特征提取模块1023还用于将距离特征信息发送给异常检测模块1025。
人体姿态特征提取模块1024用于执行上述的S206,即人体姿态特征提取模块1024用于通过环境距离矩阵提取手表100的使用者的人体姿态特征信息。人体姿态特征提取模块1024还用于将人体姿态特征信息发送给异常检测模块1025。
异常检测模块1025用于执行上述的S207中的S2072~S2075,即用于根据人体距离特征提取模块1023发送来的人体距离特征信息,人体姿态特征提取模块1024发送来的人体姿态特征信息,以及信息存储模块103存储的正确人体姿态特征信息和人体正确距离特征信息进行姿态异常检测。
在本申请的一种实现方式中,姿态识别和矫正装置可以只设置一个超声波模块101,超声波模块101用于按照预设的周期向不同的方向发送和接收超声波信号,以得到环境距离矩阵。预设的周期例如可以是0.01s。当然,其也可以是其他值。
在本申请的另一种实现方式中,姿态识别和矫正装置也可以包括多个超声波模块101组成的阵列,多个超声波模块101用于同时向不同的方向发送和接收超声波信号,以得到环境距离矩阵。
在本申请的另一种实现方式中,超声波模块101还可以包括计算模块,则超声波发射模块1011用于发射超声波,并且记录超声波发射时间。超声波接收模块1012用于接收超声波发射模块1011发射的超声波经过周围环境物体返回的超声波信号,并且记录接收到返回的超声波信号的时间。超声波发射模块1011将超声波发射时间发给计算模块,超声波发射模块1011将超声波发射时间发送给计算模块,计算模块根据超声波信号的发射时间、接收反射回来的超声波信号的时间,以及超声波的传输速度计算得到姿态识别和矫正装置与周围环境中的各物体之间的距离信息,并进一步计算得到环境距离矩阵。
在本申请的另一些实现方式中,手表100也可以在接收到使用者的语音指令后,选定姿态模式进行正确姿态录入,以及进行姿态识别和矫正。
在本申请的另一些实现方式中,手表100也可以是例如手环、手镯、手链、戒指、手套等其他手部可穿戴设备,便于使用者携带和使用,佩戴起来美观并且舒服舒适。另外,具备动态范围大、适应性好的优点。
在本申请的另一些实现方式中,手表100也可以是例如眼镜、耳环等头部可穿戴设备,当然,也可以是手机、平板电脑、音箱、电子笔、电视、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、个人数字助理(personal digitalassistant,PDA)、虚拟现实设备等其他电子设备。
在本申请的另一些实现方式中,手表100也可以从姿态识别和矫正应用对应的应用服务器获取标准人体姿态特征信息和标准人体距离特征信息作为正确人体姿态特征信息和正确人体距离特征信息。标准人体姿态特征信息和标准人体距离特征信息为对不同姿态模式对应的正确姿态进行大数据进行分析后得到的人体姿态特征信息和人体距离特征信息。
请参见图9,图9所示为本申请提供的姿态识别和矫正系统的示意图。
本申请提供的姿态识别和矫正系统包括手环500和手机600,其中,使用者佩戴手环500。手环500用于发射和接收超声波信号以获取第一环境距离信息,并将第一环境距离信息发送给手机600。手机600用于存储预设的正确人体姿态特征信息和正确人体距离特征信息,以及用于根据第一环境距离信息确定第一人体姿态特征信息和第一人体距离特征信息,并且若根据第一人体姿态特征信息和第一人体距离特征信息,以及正确人体姿态特征信息和正确人体距离特征信息确定使用者的姿态不正确,生成矫正提醒信息以提醒用户进行坐姿调整。
手环500包括前述的超声波模块101,超声波模块101包括超声波发射模块1011和超声波接收模块1012,超声波模块101用于得到环境矩阵信息。
手机600包括前述的信息处理模块102和信息存储模块103。信息处理模块102包括人体检测模块1021、工作模式检测模块1022、人体距离特征提取模块1023、人体姿态特征提取模块1024和异常检测模块1025,用于处理装置工作过程中的姿态异常确定等各类计算任务。信息存储模块103用于存储装置工作过程中需要保存的各类数据,例如存储正确人体姿态特征信息和正确人体距离特征信息,例如存储多个不同姿态模式对应的正确人体姿态特征信息和正确人体距离特征信息,以及例如程序数据、计算过程数据、输入信息数据等其他数据信息。
其中,手环500通过超声波模块101可以获取环境矩阵信息,并且手环500将环境矩阵信息发送给手机600。手机600接收到手环500发送来的环境距离矩阵信息后,可以根据环境距离矩阵信息执行与前述的S205~S211类似的操作,以进行姿态识别和矫正。并且手机600在检测到使用者姿态不正确后,也可以向手环500发送矫正提醒以使手环500进行震动等以提醒使用者当前姿态正确。另外,手机600也可以执行与前述的S104~S107类似的操作,以进行正确姿态录入。
在本申请的另一些实现方式中,本申请提供的姿态识别和矫正方法,也可以用于其他的姿态识别和矫正场景。例如,可以用于对睡姿进行识别,在使用者睡姿不正确时,可以生成提醒信息。另外,还可以对运动姿态进行识别和矫正,以使使用者可以达到更好地运动效果,减少因运动姿态错误引起的损害。当然,也可以其他例如站姿、走路姿态的识别和错误姿态的提醒。
请参见图10,图10所示为根据本申请的一实施方式提供的电子设备900的结构示意图。电子设备900可以包括耦合到控制器中枢904的一个或多个处理器901。对于至少一个实施例,控制器中枢904经由诸如前端总线(Front Side Bus,FSB)之类的多分支总线、诸如快速通道互连(QuickPath Interconnect,QPI)之类的点对点接口、或者类似的连接与处理器901进行通信。处理器901执行控制一般类型的数据处理操作的指令。在一实施例中,控制器中枢904包括,但不局限于,图形存储器控制器中枢(Graphics Memory controller hub,GMCH)(图中未示出)和输入/输出中枢(IOH)(其可以在分开的芯片上)(图中未示出),其中GMCH包括存储器和图形控制器并与IOH耦合。
电子设备900还可包括耦合到控制器中枢904的协处理器906和存储器902。或者,存储器902和GMCH中的一个或两者可以被集成在处理器901内(如本申请中所描述的),存储器902和协处理器906直接耦合到处理器901以及控制器中枢904,控制器中枢904与IOH处于单个芯片中。
存储器902可以是例如动态随机存取存储器(Dynamic Random Access Memory,DRAM)、相变存储器(Phase Change Memory,PCM)或这两者的组合。
在一个实施例中,协处理器906是专用处理器,诸如例如高吞吐量众核(ManyIntegrated Core,MIC)处理器、网络或通信处理器、压缩引擎、图形处理器、通用图形处理器(General Purpose Graphics Processing Units,GPGPU)、或嵌入式处理器等等。协处理器906的任选性质用虚线表示在图9中。
在一个实施例中,电子设备900可以进一步包括网络接口(Network InterfaceCard,NIC)903。网络接口903可以包括收发器,用于为电子设备900提供无线电接口,进而与任何其他合适的设备(如前端模块,天线等)进行通信。在各种实施例中,网络接口903可以与电子设备900的其他组件集成。网络接口903可以实现上述实施例中的通信单元的功能。
电子设备900可以进一步包括输入/输出(I/O)设备905。输入/输出(I/O)设备905可以包括:用户界面,该设计使得用户能够与电子设备900进行交互;外围组件接口的设计使得外围组件也能够与电子设备900交互;和/或传感器设计用于确定与电子设备900相关的环境条件和/或位置信息。
值得注意的是,图10仅是示例性的。即虽然图10中示出了电子设备900包括处理器901、控制器中枢904、存储器902等多个器件,但是,在实际的应用中,使用本申请各方法的设备,可以仅包括电子设备900各器件中的一部分器件,例如,可以仅包含处理器901和NIC903。图10中可选器件的性质用虚线示出。
在该电子设备900的存储器中可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性计算机可读介质。计算机可读存储介质中存储有指令,具体而言,存储有该指令的暂时和永久副本。
本申请中,该电子设备900具体可以是手机、平板电脑、个人数字助理(PersonalDigital Assistant,PDA)或台式电脑等终端设备。该电子设备的存储器中存储的指令可以包括:由处理器中的至少一个单元执行时导致电子设备实施如前述提到的姿态识别和矫正方法的指令。
请参见图11,图11所示为根据本申请的一实施方式提供的SoC(System on Chip,片上系统)1000的结构示意图。在图11中,相似的部件具有同样的附图标记。另外,虚线框是更先进的SoC 1000的可选特征。该SoC 1000可以被用于根据本申请的任一电子设备,根据其所在的设备不同以及其内所存储的指令的不同,可以实现相应的功能。
在图11中,SoC1000包括:互连单元1002,其被耦合至处理器1001;系统代理单元1006;总线控制器单元1005;集成存储器控制器单元1003;一组或一个或多个协处理器1007,其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器;静态随机存取存储器(Static Random-Access Memory,SRAM)单元1008;直接存储器存取(Direct MemoryAccess,DMA)单元1004。在一个实施例中,协处理器1007包括专用处理器,诸如例如网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、或嵌入式处理器等等。
SRAM单元1008中可以包括用于存储数据和/或指令的一个或多个计算机可读介质。计算机可读存储介质中可以存储有指令,具体而言,存储有该指令的暂时和永久副本。该指令可以包括:由处理器1001中的至少一个单元执行时导致电子设备实施如前述所提到的姿态识别和矫正方法的指令。
需要说明的是,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在附图中,可以以特定布置和/或顺序示出一些结构或方法特征。然而,应该理解,可能不需要这样的特定布置和/或排序。而是,在一些实施例中,这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外,在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征,并且在一些实施例中,可以不包括这些特征或者可以与其他特征组合。
虽然通过参照本申请的某些优选实施方式,已经对本申请进行了图示和描述,但本领域的普通技术人员应该明白,以上内容是结合具体的实施方式对本申请所作的进一步详细说明,不能认定本申请的具体实施只局限于这些说明。本领域技术人员可以在形式上和细节上对其作各种改变,包括做出若干简单推演或替换,而不偏离本申请的精神和范围。

Claims (16)

1.一种姿态识别和矫正方法,应用于电子设备,其特征在于,所述方法包括:
获取第一环境距离信息,所述第一环境距离信息为所述电子设备与周围环境物体之间的距离信息;
根据所述第一环境距离信息确定所述电子设备的使用者的第一人体姿态特征信息和第一人体距离特征信息,所述第一人体姿态特征信息表征所述使用者的当前姿态,所述第一人体距离特征信息表征所述使用者与所述电子设备之间的当前距离;
若根据所述第一人体姿态特征信息和所述第一人体距离特征信息,以及预设的正确人体姿态特征信息和正确人体距离特征信息确定所述使用者的姿态不正确,生成矫正提醒信息,所述正确人体姿态特征信息表征所述使用者的正确姿态,所述正确人体距离特征信息表征所述使用者与所述电子设备之间的正确距离。
2.根据权利要求1所述的姿态识别和矫正方法,其特征在于,所述方法还包括:
若根据所述第一环境距离信息确定所述周围环境物体包括所述使用者,根据所述第一环境距离信息确定所述使用者的所述第一人体姿态特征信息和所述第一人体距离特征信息。
3.根据权利要求1所述的姿态识别和矫正方法,其特征在于,若工作模式为自动模式,所述方法还包括通过以下方式确定所述使用者的姿态是否正确:
根据所述第一人体姿态特征信息和所述第一人体距离特征信息确定第一姿态模式;
根据所述第一人体姿态特征信息和所述第一人体距离特征信息,以及预存的所述第一姿态模式对应的正确人体姿态特征信息和正确人体距离特征信息确定所述使用者的姿态是否正确。
4.根据权利要求3所述的姿态识别和矫正方法,其特征在于,所述方法还包括通过以下方式确定所述工作模式:
显示第一菜单,所述第一菜单包括自动模式控件;
若检测到所述使用者对所述自动模式控件的选择操作,确定所述工作模式为自动模式。
5.根据权利要求1所述的姿态识别和矫正方法,其特征在于,若工作模式为非自动模式,所述方法还包括通过以下方式确定所述使用者的姿态是否正确:
根据所述第一人体姿态特征信息和所述第一人体距离特征信息确定第一姿态模式;
若所述第一姿态模式与预设的第二姿态模式不一致,生成模式切换提醒信息以用于所述使用者进行姿态模式选择操作;
若接收到所述使用者对所述第一姿态模式的选择操作,根据所述第一人体姿态特征信息和所述第一人体距离特征信息,以及预存的所述第一姿态模式对应的正确人体姿态特征信息和正确人体距离特征信息确定所述使用者的姿态是否正确;
若接收到所述使用者对所述第二姿态模式的选择操作,根据所述第一人体姿态特征信息和所述第一人体距离特征信息,以及预存的所述第二姿态模式对应的正确人体姿态特征信息和正确人体距离特征信息确定所述使用者的姿态是否正确。
6.根据权利要求5所述的姿态识别和矫正方法,其特征在于,所述方法还包括通过以下方式确定所述工作模式:
显示第一菜单,所述第一菜单包括至少一个姿态模式控件;
若检测到所述使用者对所述姿态模式控件的选择操作,确定所述工作模式为非自动模式,且确定所述姿态模式控件对应的姿态模式为所述第二姿态模式。
7.根据权利要求6所述的姿态识别和矫正方法,其特征在于,所述姿态模式控件为读书模式控件、写字模式控件和看电脑模式控件中的任意一个。
8.根据权利要求1-7任一项所述的姿态识别和矫正方法,其特征在于,所述方法还包括通过以下方式进行正确姿态录入以得到所述正确人体姿态特征信息和所述正确人体距离特征信息:
显示第二菜单,所述第二菜单包括至少一个姿态模式控件;
若接收到所述使用者对所述姿态模式控件的选择操作,获取第二环境距离信息,所述第二环境距离信息为所述电子设备与周围环境物体之间的距离信息;
根据所述第二环境距离信息确定第二人体姿态特征信息和第二人体距离特征信息,所述第二人体姿态特征信息表征所述使用者的当前姿态,所述第二人体距离特征信息表征所述使用者与所述电子设备之间的当前距离;
将所述第二人体姿态特征信息作为所述正确人体姿态特征信息,将所述第二人体距离特征信息作为所述正确人体距离特征信息。
9.根据权利要求8所述的姿态识别和矫正方法,其特征在于,所述方法还包括:
显示正确姿态继续录入提醒信息以用于所述使用者进行正确姿态录入选择操作;
若接收到所述使用者继续进行正确姿态录入的选择操作,继续进行正确姿态信息录入;
若接收到所述使用者取消继续进行正确姿态录入的选择操作,结束正确姿态信息录入。
10.根据权利要求1-9任一项所述的姿态识别和矫正方法,其特征在于,所述方法还包括:
根据所述矫正提醒信息执行相应提醒操作;和/或
将所述矫正提醒信息发送给与所述电子设备建立通信连接的其他电子设备,以使所述其他电子设备根据所述矫正提醒信息执行相应提醒操作。
11.根据权利要求1-10任一项所述的姿态识别和矫正方法,其特征在于,所述方法还包括:
向周围环境发射超声波信号;
接收经过周围环境物体反射回来的超声波信号;
根据发射超声波信号的时间、接收反射回来的超声波信号的时间以及超声波信号的传输速率得到所述电子设备与周围环境物体之间的距离信息。
12.一种姿态识别和矫正装置,其特征在于,包括:
超声波模块,用于发射和接收超声波信号以获取第一环境距离信息,所述第一环境距离信息为所述姿态识别和矫正装置与周围环境物体之间的距离信息;
信息存储模块,用于存储预设的正确人体姿态特征信息和正确人体距离特征信息,所述正确人体姿态特征信息表征所述使用者的正确姿态,所述正确人体距离特征信息表征所述使用者与所述电子设备之间的正确距离;
信息处理模块,用于根据所述第一环境距离信息确定第一人体姿态特征信息和第一人体距离特征信息,并且若根据所述第一人体姿态特征信息和所述第一人体距离特征信息,以及所述信息存储模块存储的所述正确人体姿态特征信息和所述正确人体距离特征信息确定所述使用者的姿态不正确,生成矫正提醒信息,所述第一人体姿态特征信息表征所述使用者的姿态,所述第一人体距离特征信息表征所述使用者与所述电子设备之间的距离。
13.根据权利要求12所述的姿态识别和矫正装置,其特征在于,
所述超声波模块设置有一个,所述超声波模块用于按照预设的周期向不同的方向发射和接收超声波信号;或者
所述超声波模块设置有多个,多个所述超声波模块用于同时向不同的方向发射和接收超声波信号。
14.一种姿态识别和矫正系统,其特征在于,包括建立通信连接的第一电子设备和第二电子设备,
所述第一电子设备用于发射和接收超声波信号以获取第一环境距离信息,并将所述第一环境距离信息发送给所述第二电子设备,所述第一环境距离信息为所述姿态识别和矫正装置与周围环境物体之间的距离信息;
所述第二电子设备用于存储预设的正确人体姿态特征信息和正确人体距离特征信息,以及用于根据所述第一环境距离信息确定第一人体姿态特征信息和第一人体距离特征信息,并且若根据接收到的所述第一电子设备发送来的所述第一人体姿态特征信息和所述第一人体距离特征信息,以及所述正确人体姿态特征信息和所述正确人体距离特征信息确定所述使用者的姿态不正确,生成矫正提醒信息,所述第一人体姿态特征信息表征所述使用者的姿态,所述第一人体距离特征信息表征所述使用者与所述电子设备之间的距离,所述正确人体姿态特征信息表征所述使用者的正确姿态,所述正确人体距离特征信息表征所述使用者与所述电子设备之间的正确距离。
15.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序,所述计算机程序包括程序指令;
控制部件,用于执行所述程序指令,以使所述电子设备执行如权利要求1-11任一项所述的姿态识别和矫正方法。
16.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被所述计算机运行以使所述计算机执行如权利要求1-11任一项所述的姿态识别和矫正方法。
CN202011510425.9A 2020-12-18 2020-12-18 姿态识别和矫正方法、装置、系统以及电子设备 Pending CN114724232A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011510425.9A CN114724232A (zh) 2020-12-18 2020-12-18 姿态识别和矫正方法、装置、系统以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011510425.9A CN114724232A (zh) 2020-12-18 2020-12-18 姿态识别和矫正方法、装置、系统以及电子设备

Publications (1)

Publication Number Publication Date
CN114724232A true CN114724232A (zh) 2022-07-08

Family

ID=82230023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011510425.9A Pending CN114724232A (zh) 2020-12-18 2020-12-18 姿态识别和矫正方法、装置、系统以及电子设备

Country Status (1)

Country Link
CN (1) CN114724232A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495937A (zh) * 2023-12-25 2024-02-02 荣耀终端有限公司 人脸图像处理的方法及电子设备
CN117495937B (zh) * 2023-12-25 2024-05-10 荣耀终端有限公司 人脸图像处理的方法及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495937A (zh) * 2023-12-25 2024-02-02 荣耀终端有限公司 人脸图像处理的方法及电子设备
CN117495937B (zh) * 2023-12-25 2024-05-10 荣耀终端有限公司 人脸图像处理的方法及电子设备

Similar Documents

Publication Publication Date Title
US10191564B2 (en) Screen control method and device
US11797084B2 (en) Method and apparatus for training gaze tracking model, and method and apparatus for gaze tracking
CN110874129B (zh) 显示系统
US10169639B2 (en) Method for fingerprint template update and terminal device
WO2020151580A1 (zh) 一种屏幕控制和语音控制方法及电子设备
CN108052079B (zh) 设备控制方法、装置、设备控制装置及存储介质
CN108537207B (zh) 唇语识别方法、装置、存储介质及移动终端
CN111985265A (zh) 图像处理方法和装置
CN112527094A (zh) 一种人体姿态检测方法及电子设备
CN111651040A (zh) 用于肌肤检测的电子设备的交互方法及电子设备
CN112799508A (zh) 显示方法与装置、电子设备及存储介质
CN106851119B (zh) 一种图片生成的方法和设备以及移动终端
CN112783330A (zh) 电子设备的操作方法、装置和电子设备
CN109101106B (zh) 电子设备
CN115187824A (zh) 一种模型训练方法、场景识别方法及相关设备
CN110225282B (zh) 一种视频录制控制方法、设备及计算机可读存储介质
CN110013260B (zh) 一种情绪主题调控方法、设备及计算机可读存储介质
CN110060062B (zh) 一种可穿戴设备丢失后的信息交流方法、可穿戴设备及存储介质
CN112733673B (zh) 一种内容显示方法、装置、电子设备及可读存储介质
CN112584037B (zh) 保存图像的方法及电子设备
CN111191018B (zh) 对话系统的应答方法和装置、电子设备、智能设备
CN114724232A (zh) 姿态识别和矫正方法、装置、系统以及电子设备
CN111614841B (zh) 闹钟控制方法、装置、存储介质及移动终端
WO2021036562A1 (zh) 用于健身训练的提示方法和电子设备
CN109379531B (zh) 一种拍摄方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination