CN112633232A - 基于坐姿检测的交互方法及装置、设备、介质及家居设备 - Google Patents
基于坐姿检测的交互方法及装置、设备、介质及家居设备 Download PDFInfo
- Publication number
- CN112633232A CN112633232A CN202011629179.9A CN202011629179A CN112633232A CN 112633232 A CN112633232 A CN 112633232A CN 202011629179 A CN202011629179 A CN 202011629179A CN 112633232 A CN112633232 A CN 112633232A
- Authority
- CN
- China
- Prior art keywords
- sitting posture
- user
- current
- detection result
- posture detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 342
- 238000000034 method Methods 0.000 title claims abstract description 94
- 230000003993 interaction Effects 0.000 title claims abstract description 61
- 230000002452 interceptive effect Effects 0.000 claims abstract description 193
- 230000004044 response Effects 0.000 claims description 54
- 238000004590 computer program Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 11
- 230000031702 trunk segmentation Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000036544 posture Effects 0.000 description 828
- 210000003128 head Anatomy 0.000 description 38
- 238000012545 processing Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000010295 mobile communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 208000001491 myopia Diseases 0.000 description 3
- 230000004379 myopia Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241001456553 Chanodichthys dabryi Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010041591 Spinal osteoarthritis Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 208000036319 cervical spondylosis Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 208000005801 spondylosis Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及一种基于坐姿检测的交互方法及装置、设备、介质及家居设备。所述方法包括:对用户进行坐姿检测,得到所述用户的当前坐姿检测结果;获取所述用户的坐姿历史数据;将所述当前坐姿检测结果与所述坐姿历史数据进行比较,得到坐姿比较结果;生成与所述坐姿比较结果对应的交互信息。
Description
技术领域
本公开涉及人机交互技术领域,尤其涉及一种基于坐姿检测的交互方法及装置、设备、介质及家居设备。
背景技术
坐姿不正是导致儿童近视的重要原因,甚至会影响儿童的体态发育。对于成人而言,如果长时间维持不正确的坐姿,将容易导致身体上的不适,例如将增加患颈椎病的概率。因此,对用户进行坐姿提醒具有重要意义。
发明内容
本公开提供了一种基于坐姿检测的交互技术方案。
根据本公开的一方面,提供了一种基于坐姿检测的交互方法,包括:
对用户进行坐姿检测,得到所述用户的当前坐姿检测结果;
获取所述用户的坐姿历史数据;
将所述当前坐姿检测结果与所述坐姿历史数据进行比较,得到坐姿比较结果;
生成与所述坐姿比较结果对应的交互信息。
通过对用户进行坐姿检测,得到所述用户的当前坐姿检测结果,获取所述用户的坐姿历史数据,将所述当前坐姿检测结果与所述坐姿历史数据进行比较,得到坐姿比较结果,并生成与所述坐姿比较结果对应的交互信息,由此通过比对用户的当前坐姿与历史坐姿来与用户进行交互,更加符合用户的心理特征,使坐姿交互提醒方式更容易被用户接受,从而有助于提高坐姿交互的效果,帮助用户养成良好的坐姿习惯。
在一种可能的实现方式中,所述生成与所述坐姿比较结果对应的交互信息,包括:
响应于所述坐姿比较结果包括所述当前坐姿检测结果相对于所述坐姿历史数据发生变化,生成与所述坐姿比较结果对应的交互信息。
通过响应于所述坐姿比较结果包括所述当前坐姿检测结果相对于所述坐姿历史数据发生变化,生成与所述坐姿比较结果对应的交互信息,由此能够减少非必要的交互,从而能够减少对用户的非必要的影响。
在一种可能的实现方式中,
与所述坐姿比较结果对应的交互信息包括第一交互信息;
所述生成与所述坐姿比较结果对应的交互信息,包括:响应于所述坐姿比较结果表示所述当前坐姿检测结果相对于所述坐姿历史数据更接近于标准坐姿数据,生成所述第一交互信息,其中,所述第一交互信息用于提示所述用户当前坐姿相对于历史坐姿有改善。
在该实现方式中,通过响应于所述坐姿比较结果表示所述当前坐姿检测结果相对于所述坐姿历史数据更接近于标准坐姿数据,生成所述第一交互信息,由此能够在所述用户的坐姿有进步时对所述用户进行鼓励,从而能够提高坐姿提醒的效果,有助于所述用户继续保持良好坐姿。
在一种可能的实现方式中,
与所述坐姿比较结果对应的交互信息包括第二交互信息;
所述生成与所述坐姿比较结果对应的交互信息,包括:
响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,根据所述用户的当前坐姿与所述标准坐姿之间的差异,确定所述用户的当前坐姿与所述标准坐姿相比所需的调整信息;
响应于所述坐姿比较结果表示所述当前坐姿检测结果相对于所述坐姿历史数据更接近于标准坐姿数据,生成所述第二交互信息,其中,所第二交互信息用于提示所述用户当前坐姿相对于历史坐姿有改善,且所述第二交互信息用于提示所述调整信息。
在该实现方式中,通过结合所述用户的坐姿历史数据进行鼓励性的交互并提出调整建议,相对于单纯提出调整建议,交互方式更温暖,更符合儿童等用户的心理特征,使得用户更容易接受,从而能够提高坐姿监督的效果。
在一种可能的实现方式中,所述对用户进行坐姿检测,得到所述用户的当前坐姿检测结果,包括:
基于摄像头采集所述用户的影像数据;对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果;
和/或,
通过至少一个距离传感器,检测所述用户的至少一个身体部位与桌子和/或桌面之间的距离;根据所述用户的至少一个身体部位与桌子和/或桌面之间的距离,确定所述用户的当前坐姿检测结果。
在该实现方式中,通过基于摄像头采集所述用户的影像数据,并对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果,由此能够基于计算机视觉技术,利用标准坐姿在人体关键点方面的特点进行坐姿检测,得到准确的当前坐姿检测结果;通过一个或两个以上距离传感器进行所述用户的坐姿检测,能够快速获得用户的至少一个身体部位相对于桌子和/或桌面的距离信息,从而能够快速得到当前坐姿检测结果,计算量较小。
在一种可能的实现方式中,所述对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果,包括:
对所述影像数据进行所述用户的肩部关键点检测,其中,所述肩部关键点包括左肩关键点和右肩关键点;
根据所述左肩关键点与所述右肩关键点之间的高度差,和/或,所述左肩关键点与所述右肩关键点的连线与预设方向的夹角,确定所述用户的当前坐姿检测结果。
在该实现方式中,通过对所述影像数据进行所述用户的肩部关键点检测,并根据所述左肩关键点与所述右肩关键点之间的高度差,和/或,所述左肩关键点与所述右肩关键点的连线与预设方向的夹角,确定所述用户的当前坐姿检测结果,由此基于所述用户的双肩关键点检测来确定所述用户的人体的倾斜状态,从而能够准确地确定所述用户的当前坐姿检测结果。
在一种可能的实现方式中,所述对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果,包括:
对所述影像数据进行人体躯干分割和桌子分割,得到所述用户的躯干所在区域的位置信息和桌子所在区域的位置信息;
根据所述用户的躯干所在区域的位置信息与所述桌子所在区域的位置信息,确定所述用户的躯干与所述桌子之间的水平距离;
根据所述用户的躯干与所述桌子之间的水平距离,确定所述用户的当前坐姿检测结果。
该实现方式基于图像分割技术,利用标准坐姿在人体的躯干和桌子的相对位置方面(如躯干距离桌面一拳远)的特点,进行坐姿检测,能够准确地确定所述用户的当前坐姿检测结果。
在一种可能的实现方式中,所述对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果,包括:
对所述影像数据进行所述用户的头部关键点检测和桌面检测,得到所述头部关键点的位置信息和桌面的位置信息;
根据所述头部关键点的位置信息和所述桌面的位置信息,确定所述头部关键点与所述桌面之间的距离;
根据所述头部关键点与所述桌面之间的距离,确定所述用户的当前坐姿检测结果。
该实现方式将基于影像数据的人体关键点提取和物体检测技术相结合,利用标准坐姿在头部和桌面的相对位置方面(如头部距离桌面一尺高)的特点,进行坐姿检测,能够准确地确定所述用户的当前坐姿检测结果。
在一种可能的实现方式中,在所述得到所述用户的当前坐姿检测结果之后,所述方法还包括:
响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示与所述当前坐姿检测结果对应的交互信息。
在该实现方式中,通过将所述用户的当前坐姿与标准坐姿相比较,并响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示与所述当前坐姿检测结果对应的交互信息,由此在基于所述用户的当前坐姿与历史坐姿的比较结果进行交互提示的基础上,通过显示屏直观地进行标准坐姿的提醒,有助于帮助所述用户矫正至标准坐姿。在所述显示屏不需要展示交互信息或其他信息的情况下,可以控制所述显示屏熄灭,由此不仅能够节省功耗,还能够降低对用户的影响。
在一种可能的实现方式中,
与所述当前坐姿检测结果对应的交互信息包括第三交互信息和/或第四交互信息;
所述响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示与所述当前坐姿检测结果对应的交互信息,包括:响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示所述第三交互信息和/或所述第四交互信息,其中,所述第三交互信息用于提示所述标准坐姿,所述第四交互信息用于提示所述用户的当前坐姿与所述标准坐姿相比所需的调整信息。
在该实现方式中,通过响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示用于提示标准坐姿的第三交互信息,由此能够通过显示屏直观地进行标准坐姿的提醒,有助于帮助所述用户矫正至标准坐姿。通过响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示用于提示所述用户的当前坐姿与所述标准坐姿相比所需的调整信息的第四交互信息,由此能够根据所述用户的坐姿不合格的部位针对性地进行交互提示,从而有助于进一步提高坐姿提示的效果。
在一种可能的实现方式中,
在所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围的情况下,所述当前坐姿检测结果还包括所述用户的当前坐姿对应的坐姿不正级别;
在所述得到所述用户的当前坐姿检测结果之后,所述方法还包括:响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出所述预设容许范围,根据所述用户的当前坐姿对应的坐姿不正级别,生成与所述当前坐姿检测结果对应的交互信息,其中,与所述当前坐姿检测结果对应的交互信息的提示级别,根据所述用户的当前坐姿对应的坐姿不正级别确定。
在该实现方式中,通过根据所述用户的当前坐姿对应的坐姿不正级别进行差异性的交互提示,有助于进一步提供坐姿交互提醒的效果。
在一种可能的实现方式中,在所述得到所述用户的当前坐姿检测结果之后,所述方法还包括:
响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异在预设容许范围内,确定所述用户坐姿合格的累计时长和/或持续时长,其中,所述坐姿合格表示所述用户的坐姿与标准坐姿之间的差异在所述预设容许范围内;
响应于所述累计时长和/或所述持续时长达到第一预设时长,生成第五交互信息,其中,所述第五交互信息包括奖励信息,或者,所述第五交互信息包括奖励信息且所述第五交互信息用于提示所述用户坐姿合格的累计时长和/或持续时长达到所述第一预设时长。
在该实现方式中,通过响应于所述用户坐姿合格的累计时长和/或持续时长达到第一预设时长,生成用于奖励用户的第五交互信息,由此能够起到鼓励用户的作用,从而有助于进一步帮助用户养成良好的坐姿习惯。
在一种可能的实现方式中,
在所述对用户进行坐姿检测,得到所述用户的当前坐姿检测结果之前,所述方法还包括:确定所述用户的用户属性;
所述对用户进行坐姿检测,得到所述用户的当前坐姿检测结果,包括:响应于所述用户的用户属性为儿童,对所述用户进行坐姿检测,得到所述用户的当前坐姿检测结果。
根据该实现方式,能够针对儿童进行基于坐姿检测的交互,帮助儿童矫正坐姿,降低儿童近视和/或驼背的概率。
根据本公开的一方面,提供了一种基于坐姿检测的交互装置,包括:
坐姿检测模块,用于对用户进行坐姿检测,得到所述用户的当前坐姿检测结果;
获取模块,用于获取所述用户的坐姿历史数据;
比较模块,用于将所述当前坐姿检测结果与所述坐姿历史数据进行比较,得到坐姿比较结果;
第一生成模块,用于生成与所述坐姿比较结果对应的交互信息。
在一种可能的实现方式中,所述第一生成模块用于:
响应于所述坐姿比较结果包括所述当前坐姿检测结果相对于所述坐姿历史数据发生变化,生成与所述坐姿比较结果对应的交互信息。
在一种可能的实现方式中,
与所述坐姿比较结果对应的交互信息包括第一交互信息;
所述第一生成模块用于:响应于所述坐姿比较结果表示所述当前坐姿检测结果相对于所述坐姿历史数据更接近于标准坐姿数据,生成所述第一交互信息,其中,所述第一交互信息用于提示所述用户当前坐姿相对于历史坐姿有改善。
在一种可能的实现方式中,
与所述坐姿比较结果对应的交互信息包括第二交互信息;
所述第一生成模块用于:
响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,根据所述用户的当前坐姿与所述标准坐姿之间的差异,确定所述用户的当前坐姿与所述标准坐姿相比所需的调整信息;
响应于所述坐姿比较结果表示所述当前坐姿检测结果相对于所述坐姿历史数据更接近于标准坐姿数据,生成所述第二交互信息,其中,所第二交互信息用于提示所述用户当前坐姿相对于历史坐姿有改善,且所述第二交互信息用于提示所述调整信息。
在一种可能的实现方式中,所述坐姿检测模块用于:
基于摄像头采集所述用户的影像数据;对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果;
和/或,
通过至少一个距离传感器,检测所述用户的至少一个身体部位与桌子和/或桌面之间的距离;根据所述用户的至少一个身体部位与桌子和/或桌面之间的距离,确定所述用户的当前坐姿检测结果。
在一种可能的实现方式中,所述坐姿检测模块用于:
对所述影像数据进行所述用户的肩部关键点检测,其中,所述肩部关键点包括左肩关键点和右肩关键点;
根据所述左肩关键点与所述右肩关键点之间的高度差,和/或,所述左肩关键点与所述右肩关键点的连线与预设方向的夹角,确定所述用户的当前坐姿检测结果。
在一种可能的实现方式中,所述坐姿检测模块用于:
对所述影像数据进行人体躯干分割和桌子分割,得到所述用户的躯干所在区域的位置信息和桌子所在区域的位置信息;
根据所述用户的躯干所在区域的位置信息与所述桌子所在区域的位置信息,确定所述用户的躯干与所述桌子之间的水平距离;
根据所述用户的躯干与所述桌子之间的水平距离,确定所述用户的当前坐姿检测结果。
在一种可能的实现方式中,所述坐姿检测模块用于:
对所述影像数据进行所述用户的头部关键点检测和桌面检测,得到所述头部关键点的位置信息和桌面的位置信息;
根据所述头部关键点的位置信息和所述桌面的位置信息,确定所述头部关键点与所述桌面之间的距离;
根据所述头部关键点与所述桌面之间的距离,确定所述用户的当前坐姿检测结果。
在一种可能的实现方式中,所述坐姿还包括:
控制模块,用于响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示与所述当前坐姿检测结果对应的交互信息。
在一种可能的实现方式中,
与所述当前坐姿检测结果对应的交互信息包括第三交互信息和/或第四交互信息;
所述控制模块用于:响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示所述第三交互信息和/或所述第四交互信息,其中,所述第三交互信息用于提示所述标准坐姿,所述第四交互信息用于提示所述用户的当前坐姿与所述标准坐姿相比所需的调整信息。
在一种可能的实现方式中,
在所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围的情况下,所述当前坐姿检测结果还包括所述用户的当前坐姿对应的坐姿不正级别;
所述坐姿还包括:第二生成模块,用于响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出所述预设容许范围,根据所述用户的当前坐姿对应的坐姿不正级别,生成与所述当前坐姿检测结果对应的交互信息,其中,与所述当前坐姿检测结果对应的交互信息的提示级别,根据所述用户的当前坐姿对应的坐姿不正级别确定。
在一种可能的实现方式中,所述装置还包括:
第一确定模块,用于响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异在预设容许范围内,确定所述用户坐姿合格的累计时长和/或持续时长,其中,所述坐姿合格表示所述用户的坐姿与标准坐姿之间的差异在所述预设容许范围内;
第三生成模块,用于响应于所述累计时长和/或所述持续时长达到第一预设时长,生成第五交互信息,其中,所述第五交互信息包括奖励信息,或者,所述第五交互信息包括奖励信息且所述第五交互信息用于提示所述用户坐姿合格的累计时长和/或持续时长达到所述第一预设时长。
在一种可能的实现方式中,
所述装置还包括:第二确定模块,用于确定所述用户的用户属性;
所述坐姿检测模块用于:响应于所述用户的用户属性为儿童,对所述用户进行坐姿检测,得到所述用户的当前坐姿检测结果。
根据本公开的一方面,提供了一种智能家居设备,包括:
存储器,用于存储用户的坐姿历史数据;
处理器,与所述存储器连接,用于对所述用户进行坐姿检测,得到所述用户的当前坐姿检测结果,从所述存储器获取所述用户的坐姿历史数据,将所述当前坐姿检测结果与所述坐姿历史数据进行比较,得到坐姿比较结果,并生成与所述坐姿比较结果对应的交互信息。
在一种可能的实现方式中,
所述智能家居设备还包括:摄像头,与所述处理器连接,用于采集所述用户的影像数据;和/或,至少一个距离传感器,与所述处理器连接,用于检测所述用户的至少一个身体部位与桌子和/或桌面之间的距离;
所述处理器用于:从所述摄像头获取所述用户的影像数据,并对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果;和/或,根据所述用户的至少一个身体部位与桌子和/或桌面之间的距离,确定所述用户的当前坐姿检测结果。
在一种可能的实现方式中,
所述处理器还用于:响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示与所述当前坐姿检测结果对应的交互信息;
所述智能台灯还包括:显示屏,与所述处理器连接,用于展示与所述当前坐姿检测结果对应的交互信息。
在一种可能的实现方式中,所述智能家居设备为智能台灯、智能书桌或者智能伴读机器人。
根据本公开的一方面,提供了一种电子设备,包括:一个或多个处理器;用于存储可执行指令的存储器;其中,所述一个或多个处理器被配置为调用所述存储器存储的可执行指令,以执行上述方法。
根据本公开的一方面,提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。
在本公开实施例中,通过对用户进行坐姿检测,得到所述用户的当前坐姿检测结果,获取所述用户的坐姿历史数据,将所述当前坐姿检测结果与所述坐姿历史数据进行比较,得到坐姿比较结果,并生成与所述坐姿比较结果对应的交互信息,由此通过比对用户的当前坐姿与历史坐姿来与用户进行交互,更加符合用户的心理特征,使坐姿交互提醒方式更容易被用户接受,从而有助于提高坐姿交互的效果,帮助用户养成良好的坐姿习惯。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1示出本公开实施例提供的基于坐姿检测的交互方法的流程图。
图2示出本公开实施例提供的智能家居设备的框图。
图3示出了本公开实施例提供的智能家居设备的一示意图。
图4示出本公开实施例提供的基于坐姿检测的交互装置的框图。
图5示出本公开实施例提供的一种电子设备800的框图。
图6示出本公开实施例提供的一种电子设备1900的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外,为了更好地说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
下面结合附图对本公开实施例提供的基于坐姿交互的检测方法进行详细的说明。图1示出本公开实施例提供的基于坐姿检测的交互方法的流程图。在一种可能的实现方式中,所述基于坐姿检测的交互方法可以由终端设备或服务器或其它处理设备执行。其中,终端设备可以是智能台灯、智能书桌、智能伴读机器人、用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备或者可穿戴设备等。在一种可能的实现方式中,所述基于坐姿检测的交互方法可以由终端设备的处理器执行。例如,所述基于坐姿检测的交互方法可以由智能台灯、智能书桌、智能伴读机器人等智能家居设备的处理器执行。在一些可能的实现方式中,所述基于坐姿检测的交互方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示,所述基于坐姿检测的交互方法包括步骤S11至步骤S14。
在步骤S11中,对用户进行坐姿检测,得到所述用户的当前坐姿检测结果。
在步骤S12中,获取所述用户的坐姿历史数据。
在步骤S13中,将所述当前坐姿检测结果与所述坐姿历史数据进行比较,得到坐姿比较结果。
在步骤S14中,生成与所述坐姿比较结果对应的交互信息。
在本公开实施例中,所述用户可以表示坐姿检测的对象。所述用户可以是儿童,也可以是成人。例如,在由智能台灯、智能书桌或者智能伴读机器人等智能家居设备执行所述基于坐姿检测的交互方法的情况下,所述用户可以表示所述智能台灯、所述智能书桌或者所述智能伴读机器人等智能家居设备的使用者。
本公开实施例对台灯等家居设备进行智能化改进,可以提醒如儿童等用户及时进行坐姿调整,不妨以儿童用户为例,如果提醒方式过于“冰冷”,对儿童而言,就好像在学习过程中受到严格监督,容易引起儿童的抵触和反感,甚至会故意关闭坐姿检测和告警功能,从而导致无法发挥智能台灯进行坐姿调整提示的功能。
本公开实施例提供了一种基于坐姿检测的交互方法及装置、设备、介质及家居设备,通过对用户进行坐姿检测,得到所述用户的当前坐姿检测结果,获取所述用户的坐姿历史数据,将所述当前坐姿检测结果与所述坐姿历史数据进行比较,得到坐姿比较结果,并生成与所述坐姿比较结果对应的交互信息,由此通过比对用户的当前坐姿与历史坐姿来与用户进行交互,更加符合用户的心理特征,使坐姿交互提醒方式更容易被用户接受,从而有助于提高坐姿交互的效果,帮助用户养成良好的坐姿习惯。
在本公开实施例中,可以基于影像数据或者距离传感器(例如超声波传感器、红外测距传感器)等,对所述用户进行坐姿检测。例如,在基于影像数据进行坐姿检测的情况下,所述用户可以指在所述影像数据中的面积占比大于或等于预设比例的人。又如,在通过超声波传感器进行坐姿检测的情况下,所述用户可以指与所述超声波传感器的距离小于或等于第一预设距离的人。
在本公开实施例中,可以根据所述用户的躯干与桌子之间的水平距离、所述用户的头部或头部的至少一部分相对于桌面的高度、所述用户的身体姿态等中的至少之一,确定所述用户的当前坐姿检测结果。其中,所述用户的当前坐姿检测结果可以表示当前所述用户的坐姿的检测结果。
在一种可能的实现方式中,所述当前坐姿检测结果可以包括所述用户的当前坐姿与标准坐姿之间的差异是否在预设容许范围的信息,即,所述当前坐姿检测结果可以包括所述用户的当前坐姿是否合格的信息。例如,所述当前坐姿检测结果可以包括所述用户的当前坐姿与标准坐姿之间的差异在预设容许范围内,或者所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围。若所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异在预设容许范围内,则可以表示所述用户的当前坐姿合格;若所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,则可以表示所述用户的当前坐姿不合格。
作为该实现方式的一个示例,在所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围的情况下,所述当前坐姿检测结果还可以包括所述用户的当前坐姿对应的坐姿不正级别。其中,坐姿不正级别可以表示坐姿不标准的程度。坐姿不正级别越高,则可以表示坐姿越不标准。例如,可以预先对坐姿不标准的程度进行级别划分。例如,坐姿不正级别可以包括:坐姿不正一级(稍微不正)、坐姿不正二级(中度不正)和坐姿不正三级(严重不正)。当然,坐姿不正级别的数量也可以更少或更多,或者,也可以不进行坐姿不正级别的划分。
在另一种可能的实现方式中,所述当前坐姿检测结果可以包括坐姿不正级别。例如,坐姿不正级别可以包括:坐姿不正零级(坐姿标准)、坐姿不正一级(稍微不正)、坐姿不正二级(中度不正)和坐姿不正三级(严重不正)。
在另一种可能的实现方式中,所述当前坐姿检测结果可以包括坐姿分数。例如,坐姿分数的取值范围可以是[0,10]。其中,10分可以表示标准坐姿。在坐姿分数小于10的情况下,坐姿分数越高,则可以表示越接近标准坐姿。
在本公开实施例中,所述用户的坐姿历史数据可以表示所述用户在过去的一个或多个时间段内的坐姿的数据。例如,在由智能台灯执行所述基于坐姿检测的交互方法的情况下,可以将所述用户上一次使用所述智能台灯时的坐姿数据作为所述用户的坐姿历史数据。又如,可以将第二预设时长内所述用户的最接近于标准坐姿数据的坐姿数据作为所述用户的坐姿历史数据。例如,第二预设时长可以为3天或者7天等。在本公开实施例中,所述用户的坐姿历史数据可以采用与标准坐姿之间的差异是否在预设容许范围内(即坐姿是否合格)、坐姿不正级别、坐姿分数等来表示,在此不作限定。
在本公开实施例中,通过将所述用户的当前坐姿检测结果与所述用户的坐姿历史数据进行比较,可以得到坐姿比较结果,其中,所述坐姿比较结果可以用于表示所述用户的当前坐姿相对于所述用户的历史坐姿的变化情况。在一种可能的实现方式中,所述坐姿比较结果可以包括以下任意一项:所述当前坐姿检测结果相对于所述坐姿历史数据更接近于标准坐姿数据、所述坐姿历史数据相对于所述当前坐姿检测结果更接近于标准坐姿数据、所述当前坐姿检测结果与所述坐姿历史数据相同。作为该实现方式的一个示例,在所述当前坐姿检测结果相对于所述坐姿历史数据发生变化(即,所述当前坐姿检测结果相对于所述坐姿历史数据更接近于标准坐姿数据,或者,所述坐姿历史数据相对于所述当前坐姿检测结果更接近于标准坐姿数据)的情况下,所述坐姿比较结果还可以包括所述当前坐姿检测结果与所述坐姿历史数据之间的差异大小。例如,所述当前坐姿检测结果与所述坐姿历史数据之间的差异大小可以根据坐姿不正级别的级数差距、坐姿分数的分数差距等来表示。
在本公开实施例中,所述坐姿比较结果对应的交互信息可以用于提示所述用户的当前坐姿相对于所述用户的历史坐姿的变化的情况。例如,若所述用户的当前坐姿比所述用户的历史坐姿更标准,那么,即使所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,也可以生成用于提示当前坐姿相对于历史坐姿具有改善的交互信息。例如,可以生成“当前坐姿相对于昨天有进步,要继续加油呀”等信息。又如,若所述用户的当前坐姿比所述用户的历史坐姿更不标准,那么,即使所述用户的历史坐姿与标准坐姿之间的差异超出预设容许范围,也可以生成用于提示历史坐姿较标准的交互信息。例如,可以生成“上午坐姿特别棒,现在也要继续坐好呦”等信息。本公开实施例中的交互信息可以通过语音、文字、动画、表情、音乐等方式进行展示,在此不作限定。
在本公开实施例中,通过结合所述用户的当前坐姿检测结果和所述用户的坐姿历史数据进行坐姿检测的交互提示,使得用户可以对比自身以往和当前和坐姿来获得坐姿调整的激励信息,这样更加符合儿童等特定用户的心理特征,使坐姿交互提醒的方式更容易被接受,从而有助于发挥坐姿监督调整的功能。对于儿童独自学习的场景,本公开实施例提供的基于坐姿检测的交互方法不仅可以以温馨的方式提醒坐姿调整,还可以通过与儿童进行交互,成为儿童学习过程中的小伴侣,温暖而有趣,提升用户体验。
在一种可能的实现方式中,所述生成与所述坐姿比较结果对应的交互信息,包括:响应于所述坐姿比较结果包括所述当前坐姿检测结果相对于所述坐姿历史数据发生变化,生成与所述坐姿比较结果对应的交互信息。在该实现方式中,所述当前坐姿检测结果相对于所述坐姿历史数据发生变化,可以是所述当前坐姿检测结果相对于所述坐姿历史数据更接近于标准坐姿数据,也可以是所述坐姿历史数据相对于所述当前坐姿检测结果更接近于标准坐姿数据。在该实现方式中,在所述坐姿比较结果包括所述当前坐姿检测结果相对于所述坐姿历史数据未发生变化的情况下,可以不生成与所述坐姿比较结果对应的交互信息。通过响应于所述坐姿比较结果包括所述当前坐姿检测结果相对于所述坐姿历史数据发生变化,生成与所述坐姿比较结果对应的交互信息,由此能够减少非必要的交互,从而能够减少对用户的非必要的影响。
在另一种可能的实现方式中,在所述坐姿比较结果包括所述当前坐姿检测结果相对于所述坐姿历史数据未发生变化的情况下,也可以生成与所述坐姿比较结果对应的交互信息。例如,若所述当前坐姿检测结果与所述坐姿历史数据均与标准坐姿之间的差异在预设容许范围内,则可以生成与所述坐姿比较结果对应的第六交互信息。例如,第六交互信息可以为“昨天和今天坐姿都特别棒,继续加油哦”,等等。
在一种可能的实现方式中,与所述坐姿比较结果对应的交互信息包括第一交互信息;所述生成与所述坐姿比较结果对应的交互信息,包括:响应于所述坐姿比较结果表示所述当前坐姿检测结果相对于所述坐姿历史数据更接近于标准坐姿数据,生成所述第一交互信息,其中,所述第一交互信息用于提示所述用户当前坐姿相对于历史坐姿有改善。其中,所述历史坐姿表示所述坐姿历史数据对应的坐姿。在该实现方式中,所述当前坐姿检测结果相对于所述坐姿历史数据更接近于标准坐姿数据,可以表示所述用户的当前坐姿比所述用户的历史坐姿更标准,即,所述用户的当前坐姿比所述用户的历史坐姿更接近于标准坐姿。在该实现方式中,第一交互信息可以为“当前坐姿相对于昨天有进步,要继续加油呀”,“当前坐姿比以前更标准,继续保持哦”,等等。在该实现方式中,通过响应于所述坐姿比较结果表示所述当前坐姿检测结果相对于所述坐姿历史数据更接近于标准坐姿数据,生成所述第一交互信息,由此能够在所述用户的坐姿有进步时对所述用户进行鼓励,从而能够提高坐姿提醒的效果,有助于所述用户继续保持良好坐姿。
在一种可能的实现方式中,与所述坐姿比较结果对应的交互信息包括第七交互信息;所述生成与所述坐姿比较结果对应的交互信息,包括:响应于所述坐姿比较结果表示所述坐姿历史数据相对于所述当前坐姿检测结果更接近于标准坐姿数据,生成所述第七交互信息,其中,所述第七交互信息用于提示所述用户历史坐姿比当前坐姿更标准。在该实现方式中,所述坐姿历史数据相对于所述当前坐姿检测结果更接近于标准坐姿数据,可以表示所述用户的当前坐姿比所述用户的历史坐姿更不标准,即,所述用户的当前坐姿与所述用户的历史坐姿相比与标准坐姿的差异更大。在该示例中,第七交互信息可以为“上午坐姿特别棒,现在也要继续坐好呦”,“刚刚坐姿特别标准,请继续保持哦”,等等。在该实现方式中,通过响应于所述坐姿比较结果包括所述坐姿历史数据相对于所述当前坐姿检测结果更接近于标准坐姿数据,生成所述第七交互信息,由此能够在所述用户的坐姿退步时根据所述用户以往的良好坐姿对所述用户进行鼓励,从而能够提高坐姿提醒的效果。
在一种可能的实现方式中,与所述坐姿比较结果对应的交互信息包括第二交互信息;所述生成与所述坐姿比较结果对应的交互信息,包括:响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,根据所述用户的当前坐姿与所述标准坐姿之间的差异,确定所述用户的当前坐姿与所述标准坐姿相比所需的调整信息;响应于所述坐姿比较结果表示所述当前坐姿检测结果相对于所述坐姿历史数据更接近于标准坐姿数据,生成所述第二交互信息,其中,所第二交互信息用于提示所述用户当前坐姿相对于历史坐姿有改善,且所述第二交互信息用于提示所述调整信息。在该实现方式中,所述调整信息可以包括需要调整的部位、需要调整的部位的调整方向、需要调整的部位的调整幅度等中的一种或多种信息。第二交互信息可以为“当前坐姿相对于昨天有进步,如果再把头抬高一些,就更棒喽”等等。在该实现方式中,通过结合所述用户的坐姿历史数据进行鼓励性的交互并提出调整建议,相对于单纯提出调整建议,交互方式更温暖,更符合儿童等用户的心理特征,使得用户更容易接受,从而能够提高坐姿监督的效果。
在一种可能的实现方式中,与所述坐姿比较结果对应的交互信息包括第八交互信息;所述生成与所述坐姿比较结果对应的交互信息,包括:响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,根据所述用户的当前坐姿与所述标准坐姿之间的差异,确定所述用户的当前坐姿与所述标准坐姿相比所需的调整信息;响应于所述坐姿比较结果表示所述坐姿历史数据相对于所述当前坐姿检测结果更接近于标准坐姿数据,生成所述第八交互信息,其中,所述第八交互信息用于提示所述用户历史坐姿比当前坐姿更标准,且所述第八交互信息用于提示所述调整信息。例如,第八交互信息可以为“上午坐姿特别棒,现在也要继续坐好呦,如果再把头抬高一些,就更棒喽”等等。在该实现方式中,通过结合所述用户的坐姿历史数据进行鼓励性的交互并提出调整建议,根据所述用户以往的良好坐姿对所述用户进行鼓励及建议,相对于单纯提出调整建议,交互方式更温暖,更符合儿童等用户的心理特征,使得用户更容易接受,从而能够提高坐姿提醒的效果。
在一种可能的实现方式中,所述对用户进行坐姿检测,得到所述用户的当前坐姿检测结果,包括:基于摄像头采集所述用户的影像数据;对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果;和/或,通过至少一个距离传感器,检测所述用户的至少一个身体部位与桌子和/或桌面之间的距离;根据所述用户的至少一个身体部位与桌子和/或桌面之间的距离,确定所述用户的当前坐姿检测结果。在该实现方式中,所述用户的影像数据可以包括所述用户的视频流、图像、图像序列等中的至少之一。例如,可以持续采集所述用户的视频流。又如,可以每隔第三预设时长采集一帧所述用户的图像。例如,所述第三预设时长可以是1秒、5秒、1分钟、5分钟、10分钟等。在该实现方式中,可以对所述影像数据进行人体关键点提取,根据人体关键点进行坐姿估计,得到所述用户的当前坐姿检测结果,由此能够基于计算机视觉技术,利用标准坐姿在人体关键点方面的特点进行坐姿检测,得到准确的当前坐姿检测结果。在该实现方式中,还可以通过一个或两个以上距离传感器进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果。其中,距离传感器可以是超声波距离传感器或者红外距离传感器等。例如,可以通过超声波传感器检测所述用户的头部与桌面之间的距离,根据所述用户的头部与桌面之间的距离,确定所述用户的当前坐姿检测结果。在该实现方式中,通过一个或两个以上距离传感器进行所述用户的坐姿检测,能够快速获得用户的至少一个身体部位相对于桌子和/或桌面的距离信息,从而能够快速得到当前坐姿检测结果,计算量较小。
作为给实现方式的一个示例,所述对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果,包括:对所述影像数据进行所述用户的肩部关键点检测,其中,所述肩部关键点包括左肩关键点和右肩关键点;根据所述左肩关键点与所述右肩关键点之间的高度差,和/或,所述左肩关键点与所述右肩关键点的连线与预设方向的夹角,确定所述用户的当前坐姿检测结果。
在该示例中,所述左肩关键点与所述右肩关键点之间的高度差,可以表示所述左肩关键点与所述右肩关键点之间的高度的差值。若所述左肩关键点与所述右肩关键点之间的高度差大于第一预设值,则可以确定所述用户的当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围。在一个例子中,在所述左肩关键点与所述右肩关键点之间的高度差大于第一预设值的情况下,可以根据所述高度差与所述第一预设值的第一差值,确定所述用户的当前坐姿对应的坐姿不正级别。其中,所述第一差值表示所述高度差与所述第一预设值的差值。例如,若所述第一差值小于第二预设值,则可以确定所述用户的当前坐姿对应的坐姿不正级别为坐姿不正一级;若所述第一差值大于或等于所述第二预设值且小于第三预设值,则可以确定所述用户的当前坐姿对应的坐姿不正级别为坐姿不正二级,其中,所述第三预设值大于所述第二预设值;若所述第一差值大于所述第三预设值,则可以确定所述用户的当前坐姿对应的坐姿不正级别为坐姿不正三级。
在该示例中,所述预设方向可以是水平方向或者竖直方向等任意预设的方向。在一个例子中,所述预设方向可以是水平方向,若所述左肩关键点与所述右肩关键点的连线与水平方向的夹角大于第四预设值,则可以确定所述用户的当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围。在一个例子中,在所述左肩关键点与所述右肩关键点的连线与水平方向的夹角大于第四预设值的情况下,可以根据所述夹角的大小,确定所述用户的当前坐姿对应的坐姿不正级别。例如,若所述夹角大于所述第四预设值且小于第五预设值,则可以确定所述用户的当前坐姿对应的坐姿不正级别为坐姿不正一级,其中,所述第五预设值大于所述第四预设值;若所述夹角大于或等于所述第五预设值且小于第六预设值,则可以确定所述用户的当前坐姿对应的坐姿不正级别为坐姿不正二级,其中,所述第六预设值大于所述第五预设值;若所述夹角大于所述第六预设值,则可以确定所述用户的当前坐姿对应的坐姿不正级别为坐姿不正三级。
在该示例中,通过对所述影像数据进行所述用户的肩部关键点检测,并根据所述左肩关键点与所述右肩关键点之间的高度差,和/或,所述左肩关键点与所述右肩关键点的连线与预设方向的夹角,确定所述用户的当前坐姿检测结果,由此基于所述用户的双肩关键点检测来确定所述用户的人体的倾斜状态,从而能够准确地确定所述用户的当前坐姿检测结果。
作为该实现方式的一个示例,所述对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果,包括:对所述影像数据进行人体躯干分割和桌子分割,得到所述用户的躯干所在区域的位置信息和桌子所在区域的位置信息;根据所述用户的躯干所在区域的位置信息与所述桌子所在区域的位置信息,确定所述用户的躯干与所述桌子之间的水平距离;根据所述用户的躯干与所述桌子之间的水平距离,确定所述用户的当前坐姿检测结果。在该示例中,对所述影像数据进行人体躯干分割,可以表示确定所述用户的躯干所在区域的位置信息;对所述影像数据进行桌子分割,可以表示确定所述桌子所在区域的位置信息。所述用户的躯干与所述桌子之间的水平距离,可以表示所述用户的躯干与所述桌子之间在水平方向上的距离。所述用户的躯干与所述桌子之间的水平距离,可以是所述用户的胸部和/或腹部与所述桌子之间的水平距离。在一个例子中,若所述水平距离不属于预设区间,则可以确定所述用户的当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围。该示例基于图像分割技术,利用标准坐姿在人体的躯干和桌子的相对位置方面(如躯干距离桌面一拳远)的特点,进行坐姿检测,能够准确地确定所述用户的当前坐姿检测结果。
作为该实现方式的一个示例,所述对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果,包括:对所述影像数据进行所述用户的头部关键点检测和桌面检测,得到所述头部关键点的位置信息和桌面的位置信息;根据所述头部关键点的位置信息和所述桌面的位置信息,确定所述头部关键点与所述桌面之间的距离;根据所述头部关键点与所述桌面之间的距离,确定所述用户的当前坐姿检测结果。在该示例中,所述头部关键点可以包括额头关键点、眼睛关键点、眉毛关键点等中的至少之一。在该示例中,若所述头部关键点与所述桌面之间的距离小于第七预设值,则可以确定所述用户的当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围。在一个例子中,在所述头部关键点与所述桌面之间的距离小于第七预设值的情况下,可以根据所述头部关键点与所述桌面之间的距离,确定所述用户的当前坐姿对应的坐姿不正级别。例如,若所述头部关键点与所述桌面之间的距离小于第七预设值且大于或等于第八预设值,则可以确定所述用户的当前坐姿对应的坐姿不正级别为坐姿不正一级,其中,所述第八预设值小于所述第七预设值;若所述头部关键点与所述桌面之间的距离小于所述第八预设值且大于或等于第九预设值,则可以确定所述用户的当前坐姿对应的坐姿不正级别为坐姿不正二级,其中,所述第九预设值小于所述第八预设值;若所述头部关键点与所述桌面之间的距离小于所述第九预设值,则可以确定所述用户的当前坐姿对应的坐姿不正级别为坐姿不正三级。由于个体差异,标准坐姿下不同的人的头部关键点与桌面之间的距离有所差异,因此,可以根据用户的高度信息(身高和/或坐高等),设置与所述用户对应的第七预设值。当然,还可以根据所述用户的高度信息,设置与所述用户对应的第八预设值和/或第九预设值。该示例将基于影像数据的人体关键点提取和物体检测技术相结合,利用标准坐姿在头部和桌面的相对位置方面(如头部距离桌面一尺高)的特点,进行坐姿检测,能够准确地确定所述用户的当前坐姿检测结果。
在一种可能的实现方式中,在所述对用户进行坐姿检测,得到所述用户的当前坐姿检测结果之前,所述方法还包括:确定所述用户的用户属性;所述对用户进行坐姿检测,得到所述用户的当前坐姿检测结果,包括:响应于所述用户的用户属性为儿童,对所述用户进行坐姿检测,得到所述用户的当前坐姿检测结果。在该实现方式中,可以通过对所述用户进行用户属性识别,得到所述用户的用户属性。在该实现方式中,若所述用户的用户属性不为儿童,则可以不对所述用户进行坐姿检测。根据该实现方式,能够针对儿童进行基于坐姿检测的交互,帮助儿童矫正坐姿,降低儿童近视和/或驼背的概率。
在一种可能的实现方式中,在所述得到所述用户的当前坐姿检测结果之后,所述方法还包括:响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示与所述当前坐姿检测结果对应的交互信息。在该实现方式中,通过将所述用户的当前坐姿与标准坐姿相比较,并响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示与所述当前坐姿检测结果对应的交互信息,由此在基于所述用户的当前坐姿与历史坐姿的比较结果进行交互提示的基础上,通过显示屏直观地进行标准坐姿的提醒,有助于帮助所述用户矫正至标准坐姿。作为该实现方式的一个示例,在所述显示屏不需要展示交互信息或其他信息的情况下,可以控制所述显示屏熄灭,由此不仅能够节省功耗,还能够降低对用户的影响。当然,在其他示例中,所述显示屏也可以处于常亮状态,在此不作限定。
作为该实现方式的一个示例,与所述当前坐姿检测结果对应的交互信息包括第三交互信息和/或第四交互信息;所述响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示与所述当前坐姿检测结果对应的交互信息,包括:响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示所述第三交互信息和/或所述第四交互信息,其中,所述第三交互信息用于提示所述标准坐姿,所述第四交互信息用于提示所述用户的当前坐姿与所述标准坐姿相比所需的调整信息。例如,所述第三交互信息可以包括所述标准坐姿的示意图和/或示意动画。又如,所述第三交互信息还可以包括用于说明所述标准坐姿的文字和/或语音。在该示例中,通过响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示用于提示标准坐姿的第三交互信息,由此能够通过显示屏直观地进行标准坐姿的提醒,有助于帮助所述用户矫正至标准坐姿。在该示例中,例如,所述第四交互信息可以通过图像、动画、文字和语音等中的一种或多种方式提示所述用户的当前坐姿与所述标准坐姿相比所需的调整信息。其中,所述调整信息可以包括需要调整的部位、需要调整的部位的调整方向、需要调整的部位的调整幅度等中的一种或多种信息。在该示例中,通过响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示用于提示所述用户的当前坐姿与所述标准坐姿相比所需的调整信息的第四交互信息,由此能够根据所述用户的坐姿不合格的部位针对性地进行交互提示,从而有助于进一步提高坐姿提示的效果。
在一种可能的实现方式中,在所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围的情况下,所述当前坐姿检测结果还包括所述用户的当前坐姿对应的坐姿不正级别;在所述得到所述用户的当前坐姿检测结果之后,所述方法还包括:响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,根据所述用户的当前坐姿对应的坐姿不正级别,生成与所述当前坐姿检测结果对应的交互信息,其中,与所述当前坐姿检测结果对应的交互信息的提示级别根据所述用户的当前坐姿对应的坐姿不正级别确定。在该实现方式中,可以预先为不同的坐姿不正级别确定差异性的交互提示方式,坐姿不正级别越高,则交互信息的提示级别也可以越高。例如,在所述用户的当前坐姿对应的坐姿不正级别为坐姿不正一级的情况下,可以不进行交互提示。又如,在所述用户的当前坐姿对应的坐姿不正级别为坐姿不正一级,且所述用户的当前坐姿与所述用户的历史坐姿相比存在变化(例如更接近于标准坐姿)的情况下,可以进行鼓励性的交互。又如,在所述用户的当前坐姿对应的坐姿不正级别为坐姿不正三级的情况下,可以提高交互提示的频率,例如,可以控制显示屏以更高的频率展示与所述当前坐姿检测结果对应的交互信息,或者以更吸引用户的交互方式(例如播放动画等)进行交互,等等。在该实现方式中,通过根据所述用户的当前坐姿对应的坐姿不正级别进行差异性的交互提示,有助于进一步提供坐姿交互提醒的效果。
在一种可能的实现方式中,在所述得到所述用户的当前坐姿检测结果之后,所述方法还包括:响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异在预设容许范围内,确定所述用户坐姿合格的累计时长和/或持续时长,其中,所述坐姿合格表示所述用户的坐姿与标准坐姿之间的差异在所述预设容许范围内;响应于所述累计时长和/或所述持续时长达到第一预设时长,生成第五交互信息,其中,所述第五交互信息包括奖励信息,或者,所述第五交互信息包括奖励信息且所述第五交互信息用于提示所述用户坐姿合格的累计时长和/或持续时长达到所述第一预设时长。例如,第五交互信息可以以娱乐项目作为奖励,或者可以包括播放鼓励性的音乐、动画,等等。在该实现方式中,通过响应于所述用户坐姿合格的累计时长和/或持续时长达到第一预设时长,生成用于奖励用户的第五交互信息,由此能够起到鼓励用户的作用,从而有助于进一步帮助用户养成良好的坐姿习惯。
可以理解,本公开提及的上述各个方法实施例,在不违背原理逻辑的情况下,均可以彼此相互结合形成结合后的实施例,限于篇幅,本公开不再赘述。本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外,本公开还提供了智能家居设备、基于坐姿检测的交互装置、电子设备、计算机可读存储介质、程序,上述均可用来实现本公开提供的任一种基于坐姿检测的交互方法,相应技术方案和技术效果可参见方法部分的相应记载,不再赘述。
图2示出本公开实施例提供的智能家居设备的框图。如图2所示,所述智能家居设备包括:存储器21,用于存储用户的坐姿历史数据;处理器22,与所述存储器21连接,用于对所述用户进行坐姿检测,得到所述用户的当前坐姿检测结果,从所述存储器21获取所述用户的坐姿历史数据,将所述当前坐姿检测结果与所述坐姿历史数据进行比较,得到坐姿比较结果,并生成与所述坐姿比较结果对应的交互信息。
在一种可能的实现方式中,所述智能家居设备为智能台灯、智能书桌或者智能伴读机器人。当然,所述智能家居设备还可以是能够实现上述基于坐姿检测的交互方法的任意家居设备,在此不作限定。
在一种可能的实现方式中,所述智能家居设备还包括:摄像头,与所述处理器22连接,用于采集所述用户的影像数据;和/或,至少一个距离传感器,与所述处理器22连接,用于检测所述用户的至少一个身体部位与桌子和/或桌面之间的距离;所述处理器22用于:从所述摄像头获取所述用户的影像数据,并对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果;和/或,根据所述用户的至少一个身体部位与桌子和/或桌面之间的距离,确定所述用户的当前坐姿检测结果。在该实现方式中,在所述智能家居设备为智能台灯的情况下,所述摄像头可以设置在所述智能家居设备的灯罩、灯杆或者底座等处。
在一种可能的实现方式中,所述处理器22还用于:响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示与所述当前坐姿检测结果对应的交互信息;所述智能家居设备还包括:显示屏,与所述处理器22连接,用于展示与所述当前坐姿检测结果对应的交互信息。
图3示出了本公开实施例提供的智能家居设备的一示意图。如图3所示,在这个例子中,所述智能家居设备包括处理器22,以及分别与所述处理器22连接的存储器21、摄像头23和显示屏24。
图4示出本公开实施例提供的基于坐姿检测的交互装置的框图。如图4所示,所述基于坐姿检测的交互装置包括:
坐姿检测模块41,用于对用户进行坐姿检测,得到所述用户的当前坐姿检测结果;
获取模块42,用于获取所述用户的坐姿历史数据;
比较模块43,用于将所述当前坐姿检测结果与所述坐姿历史数据进行比较,得到坐姿比较结果;
第一生成模块44,用于生成与所述坐姿比较结果对应的交互信息。
在一种可能的实现方式中,所述第一生成模块44用于:
响应于所述坐姿比较结果包括所述当前坐姿检测结果相对于所述坐姿历史数据发生变化,生成与所述坐姿比较结果对应的交互信息。
在一种可能的实现方式中,
与所述坐姿比较结果对应的交互信息包括第一交互信息;
所述第一生成模块44用于:响应于所述坐姿比较结果表示所述当前坐姿检测结果相对于所述坐姿历史数据更接近于标准坐姿数据,生成所述第一交互信息,其中,所述第一交互信息用于提示所述用户当前坐姿相对于历史坐姿有改善。
在一种可能的实现方式中,
与所述坐姿比较结果对应的交互信息包括第二交互信息;
所述第一生成模块44用于:
响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,根据所述用户的当前坐姿与所述标准坐姿之间的差异,确定所述用户的当前坐姿与所述标准坐姿相比所需的调整信息;
响应于所述坐姿比较结果表示所述当前坐姿检测结果相对于所述坐姿历史数据更接近于标准坐姿数据,生成所述第二交互信息,其中,所第二交互信息用于提示所述用户当前坐姿相对于历史坐姿有改善,且所述第二交互信息用于提示所述调整信息。
在一种可能的实现方式中,所述坐姿检测模块41用于:
基于摄像头采集所述用户的影像数据;对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果;
和/或,
通过至少一个距离传感器,检测所述用户的至少一个身体部位与桌子和/或桌面之间的距离;根据所述用户的至少一个身体部位与桌子和/或桌面之间的距离,确定所述用户的当前坐姿检测结果。
在一种可能的实现方式中,所述坐姿检测模块41用于:
对所述影像数据进行所述用户的肩部关键点检测,其中,所述肩部关键点包括左肩关键点和右肩关键点;
根据所述左肩关键点与所述右肩关键点之间的高度差,和/或,所述左肩关键点与所述右肩关键点的连线与预设方向的夹角,确定所述用户的当前坐姿检测结果。
在一种可能的实现方式中,所述坐姿检测模块41用于:
对所述影像数据进行人体躯干分割和桌子分割,得到所述用户的躯干所在区域的位置信息和桌子所在区域的位置信息;
根据所述用户的躯干所在区域的位置信息与所述桌子所在区域的位置信息,确定所述用户的躯干与所述桌子之间的水平距离;
根据所述用户的躯干与所述桌子之间的水平距离,确定所述用户的当前坐姿检测结果。
在一种可能的实现方式中,所述坐姿检测模块41用于:
对所述影像数据进行所述用户的头部关键点检测和桌面检测,得到所述头部关键点的位置信息和桌面的位置信息;
根据所述头部关键点的位置信息和所述桌面的位置信息,确定所述头部关键点与所述桌面之间的距离;
根据所述头部关键点与所述桌面之间的距离,确定所述用户的当前坐姿检测结果。
在一种可能的实现方式中,所述坐姿还包括:
控制模块,用于响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示与所述当前坐姿检测结果对应的交互信息。
在一种可能的实现方式中,
与所述当前坐姿检测结果对应的交互信息包括第三交互信息和/或第四交互信息;
所述控制模块用于:响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示所述第三交互信息和/或所述第四交互信息,其中,所述第三交互信息用于提示所述标准坐姿,所述第四交互信息用于提示所述用户的当前坐姿与所述标准坐姿相比所需的调整信息。
在一种可能的实现方式中,
在所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围的情况下,所述当前坐姿检测结果还包括所述用户的当前坐姿对应的坐姿不正级别;
所述坐姿还包括:第二生成模块,用于响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出所述预设容许范围,根据所述用户的当前坐姿对应的坐姿不正级别,生成与所述当前坐姿检测结果对应的交互信息,其中,与所述当前坐姿检测结果对应的交互信息的提示级别,根据所述用户的当前坐姿对应的坐姿不正级别确定。
在一种可能的实现方式中,所述装置还包括:
第一确定模块,用于响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异在预设容许范围内,确定所述用户坐姿合格的累计时长和/或持续时长,其中,所述坐姿合格表示所述用户的坐姿与标准坐姿之间的差异在所述预设容许范围内;
第三生成模块,用于响应于所述累计时长和/或所述持续时长达到第一预设时长,生成第五交互信息,其中,所述第五交互信息包括奖励信息,或者,所述第五交互信息包括奖励信息且所述第五交互信息用于提示所述用户坐姿合格的累计时长和/或持续时长达到所述第一预设时长。
在一种可能的实现方式中,
所述装置还包括:第二确定模块,用于确定所述用户的用户属性;
所述坐姿检测模块41用于:响应于所述用户的用户属性为儿童,对所述用户进行坐姿检测,得到所述用户的当前坐姿检测结果。
在本公开实施例中,通过对用户进行坐姿检测,得到所述用户的当前坐姿检测结果,获取所述用户的坐姿历史数据,将所述当前坐姿检测结果与所述坐姿历史数据进行比较,得到坐姿比较结果,并生成与所述坐姿比较结果对应的交互信息,由此通过比对用户的当前坐姿与历史坐姿来与用户进行交互,更加符合用户的心理特征,使坐姿交互提醒方式更容易被用户接受,从而有助于提高坐姿交互的效果,帮助用户养成良好的坐姿习惯。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现和技术效果可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。其中,所述计算机可读存储介质可以是非易失性计算机可读存储介质,或者可以是易失性计算机可读存储介质。
本公开实施例还提出一种计算机程序,包括计算机可读代码,当所述计算机可读代码在电子设备中运行时,所述电子设备中的处理器执行用于实现上述方法。
本公开实施例还提供了一种计算机程序产品,用于存储计算机可读指令,指令被执行时使得计算机执行上述任一实施例提供的基于坐姿检测的交互方法的操作。
本公开实施例还提供一种电子设备,包括:一个或多个处理器;用于存储可执行指令的存储器;其中,所述一个或多个处理器被配置为调用所述存储器存储的可执行指令,以执行上述方法。
电子设备可以被提供为终端、服务器或其它形态的设备。
图5示出本公开实施例提供的一种电子设备800的框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等终端。
参照图5,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如互补金属氧化物半导体(CMOS)或电荷耦合装置(CCD)图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如无线网络(Wi-Fi)、第二代移动通信技术(2G)、第三代移动通信技术(3G)、第四代移动通信技术(4G)/通用移动通信技术的长期演进(LTE)、第五代移动通信技术(5G)或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器804,上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图6示出本公开实施例提供的一种电子设备1900的框图。例如,电子设备1900可以被提供为一服务器。参照图6,电子设备1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理,一个有线或无线网络接口1950被配置为将电子设备1900连接到网络,和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统,例如微软服务器操作系统(Windows ServerTM),苹果公司推出的基于图形用户界面操作系统(Mac OSXTM),多用户多进程的计算机操作系统(UnixTM),自由和开放原代码的类Unix操作系统(LinuxTM),开放原代码的类Unix操作系统(FreeBSDTM)或类似。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1932,上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (20)
1.一种基于坐姿检测的交互方法,其特征在于,包括:
对用户进行坐姿检测,得到所述用户的当前坐姿检测结果;
获取所述用户的坐姿历史数据;
将所述当前坐姿检测结果与所述坐姿历史数据进行比较,得到坐姿比较结果;
生成与所述坐姿比较结果对应的交互信息。
2.根据权利要求1所述的方法,其特征在于,所述生成与所述坐姿比较结果对应的交互信息,包括:
响应于所述坐姿比较结果包括所述当前坐姿检测结果相对于所述坐姿历史数据发生变化,生成与所述坐姿比较结果对应的交互信息。
3.根据权利要求1或2所述的方法,其特征在于,
与所述坐姿比较结果对应的交互信息包括第一交互信息;
所述生成与所述坐姿比较结果对应的交互信息,包括:响应于所述坐姿比较结果表示所述当前坐姿检测结果相对于所述坐姿历史数据更接近于标准坐姿数据,生成所述第一交互信息,其中,所述第一交互信息用于提示所述用户当前坐姿相对于历史坐姿有改善。
4.根据权利要求1或2所述的方法,其特征在于,
与所述坐姿比较结果对应的交互信息包括第二交互信息;
所述生成与所述坐姿比较结果对应的交互信息,包括:
响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,根据所述用户的当前坐姿与所述标准坐姿之间的差异,确定所述用户的当前坐姿与所述标准坐姿相比所需的调整信息;
响应于所述坐姿比较结果表示所述当前坐姿检测结果相对于所述坐姿历史数据更接近于标准坐姿数据,生成所述第二交互信息,其中,所第二交互信息用于提示所述用户当前坐姿相对于历史坐姿有改善,且所述第二交互信息用于提示所述调整信息。
5.根据权利要求1至4中任意一项所述的方法,其特征在于,所述对用户进行坐姿检测,得到所述用户的当前坐姿检测结果,包括:
基于摄像头采集所述用户的影像数据;对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果;
和/或,
通过至少一个距离传感器,检测所述用户的至少一个身体部位与桌子和/或桌面之间的距离;根据所述用户的至少一个身体部位与桌子和/或桌面之间的距离,确定所述用户的当前坐姿检测结果。
6.根据权利要求5所述的方法,其特征在于,所述对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果,包括:
对所述影像数据进行所述用户的肩部关键点检测,其中,所述肩部关键点包括左肩关键点和右肩关键点;
根据所述左肩关键点与所述右肩关键点之间的高度差,和/或,所述左肩关键点与所述右肩关键点的连线与预设方向的夹角,确定所述用户的当前坐姿检测结果。
7.根据权利要求5或6所述的方法,其特征在于,所述对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果,包括:
对所述影像数据进行人体躯干分割和桌子分割,得到所述用户的躯干所在区域的位置信息和桌子所在区域的位置信息;
根据所述用户的躯干所在区域的位置信息与所述桌子所在区域的位置信息,确定所述用户的躯干与所述桌子之间的水平距离;
根据所述用户的躯干与所述桌子之间的水平距离,确定所述用户的当前坐姿检测结果。
8.根据权利要求5至7中任意一项所述的方法,其特征在于,所述对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果,包括:
对所述影像数据进行所述用户的头部关键点检测和桌面检测,得到所述头部关键点的位置信息和桌面的位置信息;
根据所述头部关键点的位置信息和所述桌面的位置信息,确定所述头部关键点与所述桌面之间的距离;
根据所述头部关键点与所述桌面之间的距离,确定所述用户的当前坐姿检测结果。
9.根据权利要求1至8中任意一项所述的方法,其特征在于,在所述得到所述用户的当前坐姿检测结果之后,所述方法还包括:
响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示与所述当前坐姿检测结果对应的交互信息。
10.根据权利要求9所述的方法,其特征在于,
与所述当前坐姿检测结果对应的交互信息包括第三交互信息和/或第四交互信息;
所述响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示与所述当前坐姿检测结果对应的交互信息,包括:响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示所述第三交互信息和/或所述第四交互信息,其中,所述第三交互信息用于提示所述标准坐姿,所述第四交互信息用于提示所述用户的当前坐姿与所述标准坐姿相比所需的调整信息。
11.根据权利要求1至10中任意一项所述的方法,其特征在于,
在所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围的情况下,所述当前坐姿检测结果还包括所述用户的当前坐姿对应的坐姿不正级别;
在所述得到所述用户的当前坐姿检测结果之后,所述方法还包括:响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出所述预设容许范围,根据所述用户的当前坐姿对应的坐姿不正级别,生成与所述当前坐姿检测结果对应的交互信息,其中,与所述当前坐姿检测结果对应的交互信息的提示级别,根据所述用户的当前坐姿对应的坐姿不正级别确定。
12.根据权利要求1至11中任意一项所述的方法,其特征在于,在所述得到所述用户的当前坐姿检测结果之后,所述方法还包括:
响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异在预设容许范围内,确定所述用户坐姿合格的累计时长和/或持续时长,其中,所述坐姿合格表示所述用户的坐姿与标准坐姿之间的差异在所述预设容许范围内;
响应于所述累计时长和/或所述持续时长达到第一预设时长,生成第五交互信息,其中,所述第五交互信息包括奖励信息,或者,所述第五交互信息包括奖励信息且所述第五交互信息用于提示所述用户坐姿合格的累计时长和/或持续时长达到所述第一预设时长。
13.根据权利要求1至12中任意一项所述的方法,其特征在于,
在所述对用户进行坐姿检测,得到所述用户的当前坐姿检测结果之前,所述方法还包括:确定所述用户的用户属性;
所述对用户进行坐姿检测,得到所述用户的当前坐姿检测结果,包括:响应于所述用户的用户属性为儿童,对所述用户进行坐姿检测,得到所述用户的当前坐姿检测结果。
14.一种基于坐姿检测的交互装置,其特征在于,包括:
坐姿检测模块,用于对用户进行坐姿检测,得到所述用户的当前坐姿检测结果;
获取模块,用于获取所述用户的坐姿历史数据;
比较模块,用于将所述当前坐姿检测结果与所述坐姿历史数据进行比较,得到坐姿比较结果;
第一生成模块,用于生成与所述坐姿比较结果对应的交互信息。
15.一种电子设备,其特征在于,包括:
一个或多个处理器;
用于存储可执行指令的存储器;
其中,所述一个或多个处理器被配置为调用所述存储器存储的可执行指令,以执行权利要求1至13中任意一项所述的方法。
16.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至13中任意一项所述的方法。
17.一种智能家居设备,其特征在于,包括:
存储器,用于存储用户的坐姿历史数据;
处理器,与所述存储器连接,用于对所述用户进行坐姿检测,得到所述用户的当前坐姿检测结果,从所述存储器获取所述用户的坐姿历史数据,将所述当前坐姿检测结果与所述坐姿历史数据进行比较,得到坐姿比较结果,并生成与所述坐姿比较结果对应的交互信息。
18.根据权利要求17所述的智能家居设备,其特征在于,
所述智能家居设备还包括:摄像头,与所述处理器连接,用于采集所述用户的影像数据;和/或,至少一个距离传感器,与所述处理器连接,用于检测所述用户的至少一个身体部位与桌子和/或桌面之间的距离;
所述处理器用于:从所述摄像头获取所述用户的影像数据,并对所述影像数据进行所述用户的坐姿检测,得到所述用户的当前坐姿检测结果;和/或,根据所述用户的至少一个身体部位与桌子和/或桌面之间的距离,确定所述用户的当前坐姿检测结果。
19.根据权利要求17或18所述的智能家居设备,其特征在于,
所述处理器还用于:响应于所述当前坐姿检测结果包括所述用户的当前坐姿与标准坐姿之间的差异超出预设容许范围,控制显示屏展示与所述当前坐姿检测结果对应的交互信息;
所述智能台灯还包括:显示屏,与所述处理器连接,用于展示与所述当前坐姿检测结果对应的交互信息。
20.根据权利要求17至19中任意一项所述的智能家居设备,其特征在于,所述智能家居设备为智能台灯、智能书桌或者智能伴读机器人。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011629179.9A CN112633232A (zh) | 2020-12-31 | 2020-12-31 | 基于坐姿检测的交互方法及装置、设备、介质及家居设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011629179.9A CN112633232A (zh) | 2020-12-31 | 2020-12-31 | 基于坐姿检测的交互方法及装置、设备、介质及家居设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112633232A true CN112633232A (zh) | 2021-04-09 |
Family
ID=75290601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011629179.9A Pending CN112633232A (zh) | 2020-12-31 | 2020-12-31 | 基于坐姿检测的交互方法及装置、设备、介质及家居设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112633232A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113932388A (zh) * | 2021-09-29 | 2022-01-14 | 青岛海尔空调器有限总公司 | 用于控制空调的方法及装置、空调、存储介质 |
CN115998288A (zh) * | 2022-12-16 | 2023-04-25 | 厦门大学 | 一种基于多种传感器组合的坐姿检测方法 |
WO2023092775A1 (zh) * | 2021-11-24 | 2023-06-01 | 深圳创维-Rgb电子有限公司 | 儿童行为引导动画播放控制方法、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104900019A (zh) * | 2015-04-23 | 2015-09-09 | 上海维锐智能科技有限公司 | 一种人体坐姿探测装置及探测方法 |
CN106709263A (zh) * | 2017-01-11 | 2017-05-24 | 北京至真互联网技术有限公司 | 用于近视防控的坐姿数据记录仪及其数据分析显示方法 |
CN109003424A (zh) * | 2018-08-14 | 2018-12-14 | 广东小天才科技有限公司 | 一种用于课堂的坐姿监测方法、装置及设备 |
CN110245637A (zh) * | 2019-06-20 | 2019-09-17 | 深圳市成者云科技有限公司 | 一种坐姿监控方法及装置 |
CN111382653A (zh) * | 2018-12-29 | 2020-07-07 | 沈阳新松机器人自动化股份有限公司 | 一种人体坐姿的监督方法 |
CN112101124A (zh) * | 2020-08-20 | 2020-12-18 | 深圳数联天下智能科技有限公司 | 一种坐姿检测方法及装置 |
-
2020
- 2020-12-31 CN CN202011629179.9A patent/CN112633232A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104900019A (zh) * | 2015-04-23 | 2015-09-09 | 上海维锐智能科技有限公司 | 一种人体坐姿探测装置及探测方法 |
CN106709263A (zh) * | 2017-01-11 | 2017-05-24 | 北京至真互联网技术有限公司 | 用于近视防控的坐姿数据记录仪及其数据分析显示方法 |
CN109003424A (zh) * | 2018-08-14 | 2018-12-14 | 广东小天才科技有限公司 | 一种用于课堂的坐姿监测方法、装置及设备 |
CN111382653A (zh) * | 2018-12-29 | 2020-07-07 | 沈阳新松机器人自动化股份有限公司 | 一种人体坐姿的监督方法 |
CN110245637A (zh) * | 2019-06-20 | 2019-09-17 | 深圳市成者云科技有限公司 | 一种坐姿监控方法及装置 |
CN112101124A (zh) * | 2020-08-20 | 2020-12-18 | 深圳数联天下智能科技有限公司 | 一种坐姿检测方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113932388A (zh) * | 2021-09-29 | 2022-01-14 | 青岛海尔空调器有限总公司 | 用于控制空调的方法及装置、空调、存储介质 |
WO2023092775A1 (zh) * | 2021-11-24 | 2023-06-01 | 深圳创维-Rgb电子有限公司 | 儿童行为引导动画播放控制方法、设备及存储介质 |
CN115998288A (zh) * | 2022-12-16 | 2023-04-25 | 厦门大学 | 一种基于多种传感器组合的坐姿检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3971704B1 (en) | Method and apparatus for processing text information | |
CN112633232A (zh) | 基于坐姿检测的交互方法及装置、设备、介质及家居设备 | |
US9848796B2 (en) | Method and apparatus for controlling media play device | |
CN105260360B (zh) | 命名实体的识别方法及装置 | |
US10230891B2 (en) | Method, device and medium of photography prompts | |
CN110705365A (zh) | 一种人体关键点检测方法、装置、电子设备及存储介质 | |
CN108121631B (zh) | 屏幕异常状态提醒方法及装置 | |
CN109446912B (zh) | 人脸图像的处理方法及装置、电子设备和存储介质 | |
US11335348B2 (en) | Input method, device, apparatus, and storage medium | |
EP3024211A1 (en) | Method and device for announcing voice call | |
US10423195B2 (en) | Verification method, device and computer-readable storage medium based on a flexible display screen | |
CN109039877A (zh) | 一种显示未读消息数量的方法、装置、电子设备及存储介质 | |
CN111028566A (zh) | 直播教学的方法、装置、终端和存储介质 | |
CN106127132B (zh) | 滑动式录入指纹的提示方法及装置、电子设备 | |
CN108735218A (zh) | 语音唤醒方法、装置、终端及存储介质 | |
CN105677023A (zh) | 信息呈现方法及装置 | |
CN109862169B (zh) | 电子设备控制方法、装置及存储介质 | |
CN105094626A (zh) | 文本内容选择方法及装置 | |
CN112673612B (zh) | 显示方式的切换方法、装置、设备及介质 | |
US20170034347A1 (en) | Method and device for state notification and computer-readable storage medium | |
CN111698600A (zh) | 一种处理执行方法、装置及可读介质 | |
CN112764658B (zh) | 内容展示方法、装置及存储介质 | |
CN112990055A (zh) | 姿态纠正方法及装置、电子设备和存储介质 | |
CN110209314A (zh) | 图标排列方法及装置 | |
CN111292743A (zh) | 语音交互方法及装置、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210409 |