CN112184642A - 睡眠姿势异常的警示方法和装置、存储介质、电子装置 - Google Patents

睡眠姿势异常的警示方法和装置、存储介质、电子装置 Download PDF

Info

Publication number
CN112184642A
CN112184642A CN202010976121.5A CN202010976121A CN112184642A CN 112184642 A CN112184642 A CN 112184642A CN 202010976121 A CN202010976121 A CN 202010976121A CN 112184642 A CN112184642 A CN 112184642A
Authority
CN
China
Prior art keywords
sleep
posture
sleeping
abnormal
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010976121.5A
Other languages
English (en)
Inventor
宋德超
陈翀
陈勇
林进华
李雨铭
陈向文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202010976121.5A priority Critical patent/CN112184642A/zh
Publication of CN112184642A publication Critical patent/CN112184642A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Alarm Systems (AREA)

Abstract

本申请公开了一种睡眠姿势异常的警示方法和装置、存储介质、电子装置。其中，该方法包括：在第一对象处于睡眠状态的情况下，监测第一对象所处的睡眠姿势；在第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息。本申请解决了相关技术中无法监测睡眠姿势异常的技术问题。

Description

睡眠姿势异常的警示方法和装置、存储介质、电子装置
技术领域
本申请涉及监测领域，具体而言，涉及一种睡眠姿势异常的警示方法和装置、存储介质、电子装置。
背景技术
随着二胎政策放开，越来越多的家庭选择再添一个小孩；与此同时现在的年轻人对小孩的照料也更在意，让宝贝健康成长是每个家庭共同的心愿。两周岁以下儿童还不具备自己翻身等动作的能力，因此在睡眠时需要尤其注意。不同的睡眠姿势对儿童的健康存在不同的影响。例如长久的侧睡可能导致宝宝睡偏头，而趴睡更可能造成宝宝呼吸困难。
而相关技术中并无检测睡眠姿势的方案，一般是家长隔一段时间人工查看一次，尤其对于新生儿，家长可能需要整晚频繁查看，需要耗费大量精力，基本没法睡觉。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种睡眠姿势异常的警示方法和装置、存储介质、电子装置，以至少解决相关技术中无法监测睡眠姿势异常的技术问题。
根据本申请实施例的一个方面，提供了一种睡眠姿势异常的警示方法，包括：在第一对象处于睡眠状态的情况下，监测第一对象所处的睡眠姿势；在第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息。
可选地，监测第一对象所处的睡眠姿势包括：在第一对象位于有光环境中的情况下，通过采集到的第一对象的睡眠图像监测第一对象所处的睡眠姿势。
可选地，在第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息包括：在第一对象的睡眠姿势为异常睡眠姿势且保持异常睡眠姿势的持续时间达到预设时间阈值的情况下，向第二对象发出警示信息；或，在第一对象处于被障碍物遮挡口鼻的睡眠姿势的情况下，向第二对象发出警示信息。
可选地，通过采集到的第一对象的睡眠图像监测第一对象所处的睡眠姿势包括：采集第一对象的睡眠图像；将第一对象的睡眠图像输入长短期记忆人工神经网络LSTM模型，通过LSTM模型识别出第一对象所处的睡眠姿势。
可选地，监测第一对象所处的睡眠姿势包括：在第一对象处于无光环境中的情况下，通过采集到的第一对象的点云数据监测第一对象所处的睡眠姿势；
可选地，在第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息包括：在第一对象的睡眠姿势为异常睡眠姿势且保持异常睡眠姿势的持续时间达到预设时间阈值的情况下，向第二对象发出警示信息。
可选地，通过采集到的第一对象的点云数据监测第一对象所处的睡眠姿势包括：采集第一对象的点云数据和时频信息；通过对点云数据和时频信息进行卡尔曼滤波处理，从而对检测到的目标进行聚类；根据聚类得到的聚类类型确定第一对象所处的睡眠姿势，其中，每种聚类类型对应于一种睡眠姿势。
根据本申请实施例的另一方面，还提供了一种睡眠姿势异常的警示装置，包括：监测单元，用于在第一对象处于睡眠状态的情况下，监测第一对象所处的睡眠姿势；警示单元，用于在第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的方法。
根据本申请实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。
在本申请实施例中，可以智能监测第一对象的睡眠姿势是否发生异常，在所述第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息，可以解决相关技术中无法监测睡眠姿势异常的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种可选的睡眠姿势异常的警示方法的流程图；
图2是根据本申请实施例的一种可选的睡眠姿势异常的警示方案的示意图；
图3是根据本申请实施例的一种可选的睡眠姿势异常的警示方案的示意图；
图4是根据本申请实施例的一种可选的睡眠姿势异常的警示装置的示意图；以及，
图5是根据本申请实施例的一种终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明设计了一种基于毫米波雷达与智能视觉的婴儿房睡眠安全监测方案。包括三部分：毫米波雷达人形检测模块，智能视觉模块，告警模块。毫米波雷达用于检测夜间儿童的睡姿，在一个睡姿持续时间过长时会向宝妈发出告警。智能视觉服务用于白天检测儿童的睡姿，当一个睡姿(趴睡、侧睡)持续时间过长或者趴睡时有被子等其他物品遮住口鼻时向宝妈发出告警。图1是根据本申请实施例的一种可选的睡眠姿势异常的警示方法的流程图，该方法可以运行在上述架构上，如图1所示，该方法可以包括以下步骤：
步骤S101，在第一对象处于睡眠状态的情况下，监测第一对象所处的睡眠姿势。第一对象即睡觉的对象，如婴幼儿、老年人等。
步骤S102，在第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息。第二对象即第一对象的监护者，如父母、爷爷奶奶、外公外婆、老人的子女等。
上述睡眠姿势发生异常主要指睡姿(如趴睡、侧睡)持续时间过长或者趴睡时有被子等其他物品遮住口鼻等异常情况。
通过上述步骤，可以智能监测第一对象的睡眠姿势是否发生异常，在第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息，可以解决相关技术中无法监测睡眠姿势异常的技术问题。
在上述实施例中，以将本申请的技术方案应用于儿童为例，可利用毫米波雷达技术和智能视觉技术来检测儿童的睡姿，并对睡姿进行分类，一旦发现一个睡姿持续时间过长或其他异常情况就会向宝妈发送告警消息。基于毫米波雷达与智能视觉的婴儿房睡眠安全监测系统，利用技术保证儿童睡眠安全的同时让父母省心。下文结合具体的实施方式进一步详述本申请的技术方案。
在一个可选的技术方案中，可基于毫米波雷达智能视觉技术检测儿童睡觉时的不同姿势，对异常睡姿进行监测并向宝妈发出告警信息。在监测第一对象所处的睡眠姿势时，在第一对象处于无光环境中(如夜晚、或者封闭空间无光源的情况)的情况下，通过采集到的第一对象的点云数据监测第一对象所处的睡眠姿势；在第一对象的睡眠姿势为异常睡眠姿势且保持异常睡眠姿势的持续时间达到预设时间阈值的情况下，向第二对象发出警示信息。
在上述方案中，通过采集到的第一对象的点云数据监测第一对象所处的睡眠姿势时，可采集第一对象的点云数据和时频信息；通过对点云数据和时频信息进行卡尔曼滤波处理，从而对检测到的目标进行聚类；根据聚类得到的聚类类型确定第一对象所处的睡眠姿势，其中，每种聚类类型对应于一种睡眠姿势。
例如，如图2所示，在基于毫米波雷达与智能视觉的婴儿房睡眠安全监测中，具体的，在晚上毫米波雷达(即雷达装置)会通过对回波信号的信号处理，实现对婴儿睡姿形态进行检测。通过分析和处理毫米波雷达信号确定婴儿的睡姿，其中，点云数据和时频信息会经过卡尔曼滤波处理实现对目标物体跟踪(即形体检测)，通过对检测到的目标进行跟踪和聚类，聚类算法采用DBSCAN聚类算法，利用卡尔曼滤波实现对点云数据属于哪个物体的跟踪，分类算法可以采用支持向量机，应用分类算法进行分类，实现形态判断。不同的分类对应不同的睡姿，当分类属于异常睡姿(趴睡，侧睡)时，会开始计时，超过一定的时长就会发出告警，如果是仰睡，则不处理。
在又一个可选的技术方案中，在监测第一对象所处的睡眠姿势时，在第一对象处于有光环境中(如白天、或者有灯光的夜晚等)的情况下，通过采集到的第一对象的睡眠图像监测第一对象所处的睡眠姿势。在第一对象的睡眠姿势为异常睡眠姿势且保持异常睡眠姿势的持续时间达到预设时间阈值的情况下，向第二对象发出警示信息；在第一对象处于被障碍物遮挡口鼻的睡眠姿势的情况下，向第二对象发出警示信息。
在上述实施方案中，通过采集到的第一对象的睡眠图像监测第一对象所处的睡眠姿势包括：采集第一对象的睡眠图像；将第一对象的睡眠图像输入长短期记忆人工神经网络LSTM模型，通过LSTM模型识别出第一对象所处的睡眠姿势。
例如，如图2和图3所示，图2是模型的示意图，输入有侧睡、平躺睡、趴睡三种类型的图，如用Frame t-2表示侧睡、Frame t-1表示平躺睡、 Frame t表示趴睡，经过神经网络的各层(如卷积层Conv)从而识别出是侧睡、平躺睡、趴睡三种类型Classification，图3是智能视觉服务中采用的模型。
将视频流处理为一系列的图片帧V＝{I0,I1,...In}。本模型的目的在于从帧级水平恢复检测到的儿童睡姿{O0,O1,...On}，其中每个Ok表示对应于图片帧Ik的边界框和睡姿类型的列表。
本预测模型可以用下面的方程描述：F(It,st-1)＝(Ot,st)，其中
Figure 1
指的是一个特征图向量，描述的是截止到当前帧k的一段视频，Ot对应图片帧Ik中检测到的边界框和睡姿类型列表；st表示截止图片帧k的特征图向量。公式表示的是输入图片帧It以及截止It帧前一帧的特征向量st，则输出检测结果Ot以及截止It帧的特征向量图。可以利用一个包含m层LSTM的神经网络来近似这个方程，其中，特征向量 st-1的每个特征图作为一个LSTM的状态输入(state input)；特征向量st的每一个特征图都来自LSTM的状态输出。为了获得整个视频的检测结果，只需要按顺序让每个图片帧经过这个神经网络，模型训练数据会标记图片中睡姿的类型，将训练数据输入模型，对模型进行训练，调整模型参数。在进行预测时，会根据图片的特征向量进行计算从而判断睡姿的类型。
在本申请的技术方案中，提供了一种基于毫米波雷达与智能视觉的婴儿房睡眠安全监测方案，在晚上，利用毫米波雷达进行形体检测，判断儿童的睡姿并监测不正常的睡姿是否持续时间过长，出现异常则发出告警；在白天，对婴儿房进行实时监控，并对视频进行图像分析，将视频中婴儿的睡姿进行实时分类，并监测不正常睡姿是否持续时间过长，出现异常则发出告警。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如 ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面，还提供了一种用于实施上述睡眠姿势异常的警示方法的睡眠姿势异常的警示装置。图4是根据本申请实施例的一种可选的睡眠姿势异常的警示装置的示意图，如图4所示，该装置可以包括：
监测单元401，用于在第一对象处于睡眠状态的情况下，监测所述第一对象所处的睡眠姿势；
警示单元403，用于在所述第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息。
需要说明的是，该实施例中的监测单元401可以用于执行本申请实施例中的步骤S101，该实施例中的警示单元403可以用于执行本申请实施例中的步骤S102。
通过上述模块，可以智能监测第一对象的睡眠姿势是否发生异常，在所述第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息，可以解决相关技术中无法监测睡眠姿势异常的技术问题。
可选地，监测单元在监测所述第一对象所处的睡眠姿势时，在所述第一对象位于有光环境中的情况下，通过采集到的所述第一对象的睡眠图像监测所述第一对象所处的睡眠姿势。
可选地，警示单元在所述第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息时，可在所述第一对象的睡眠姿势为异常睡眠姿势且保持所述异常睡眠姿势的持续时间达到预设时间阈值的情况下，向所述第二对象发出警示信息；或，在所述第一对象处于被障碍物遮挡口鼻的睡眠姿势的情况下，向所述第二对象发出警示信息。
可选地，监测单元在通过采集到的所述第一对象的睡眠图像监测所述第一对象所处的睡眠姿势时，可采集所述第一对象的睡眠图像；将所述第一对象的睡眠图像输入长短期记忆人工神经网络LSTM模型，通过LSTM 模型识别出所述第一对象所处的睡眠姿势。
可选地，监测单元在监测所述第一对象所处的睡眠姿势时，可在所述第一对象处于无光环境中的情况下，通过采集到的所述第一对象的点云数据监测所述第一对象所处的睡眠姿势。
例如，如图2所示，在基于毫米波雷达与智能视觉的婴儿房睡眠安全监测中，具体的，在晚上毫米波雷达(即雷达装置)会通过对回波信号的信号处理，实现对婴儿睡姿形态进行检测。通过分析和处理毫米波雷达信号确定婴儿的睡姿，其中，点云数据和时频信息会经过卡尔曼滤波处理实现对目标物体跟踪(即形体检测)，通过对检测到的目标进行跟踪和聚类，聚类算法采用DBSCAN聚类算法，利用卡尔曼滤波实现对点云数据属于哪个物体的跟踪，分类算法可以采用支持向量机，应用分类算法进行分类，实现形态判断。不同的分类对应不同的睡姿，当分类属于异常睡姿(趴睡，侧睡)时，会开始计时，超过一定的时长就会发出告警，如果是仰睡，则不处理。
可选地，警示单元在所述第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息，可在所述第一对象的睡眠姿势为异常睡眠姿势且保持所述异常睡眠姿势的持续时间达到预设时间阈值的情况下，向所述第二对象发出警示信息。
可选地，监测单元在通过采集到的所述第一对象的点云数据监测所述第一对象所处的睡眠姿势时，可采集所述第一对象的点云数据和时频信息；通过对所述点云数据和所述时频信息进行卡尔曼滤波处理，从而对检测到的目标进行聚类；根据聚类得到的聚类类型确定所述第一对象所处的睡眠姿势，其中，每种聚类类型对应于一种睡眠姿势。
例如，如图2和图3所示，图2是模型的示意图，输入有侧睡、平躺睡、趴睡三种类型的图，如用Frame t-2表示侧睡、Frame t-1表示平躺睡、 Frame t表示趴睡，经过神经网络的各层(如卷积层Conv)从而识别出是侧睡、平躺睡、趴睡三种类型Classification，图3是智能视觉服务中采用的模型。
在上述实施例中，以将本申请的技术方案应用于儿童为例，可利用毫米波雷达技术和智能视觉技术来检测儿童的睡姿，并对睡姿进行分类，一旦发现一个睡姿持续时间过长或其他异常情况就会向宝妈发送告警消息。基于毫米波雷达与智能视觉的婴儿房睡眠安全监测系统，利用技术保证儿童睡眠安全的同时让父母省心。
在本申请的技术方案中，提供了一种基于毫米波雷达与智能视觉的婴儿房睡眠安全监测方案，在晚上，利用毫米波雷达进行形体检测，判断儿童的睡姿并监测不正常的睡姿是否持续时间过长，出现异常则发出告警；在白天，对婴儿房进行实时监控，并对视频进行图像分析，将视频中婴儿的睡姿进行实时分类，并监测不正常睡姿是否持续时间过长，出现异常则发出告警。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在相应的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本申请实施例的另一个方面，还提供了一种用于实施上述睡眠姿势异常的警示方法的服务器或终端。
图5是根据本申请实施例的一种终端的结构框图，如图5所示，该终端可以包括：一个或多个(图5中仅示出一个)处理器201、存储器203、以及传输装置205，如图5所示，该终端还可以包括输入输出设备207。
其中，存储器203可用于存储软件程序以及模块，如本申请实施例中的睡眠姿势异常的警示方法和装置对应的程序指令/模块，处理器201通过运行存储在存储器203内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的睡眠姿势异常的警示方法。存储器203可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器203 可进一步包括相对于处理器201远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置205用于经由一个网络接收或者发送数据，还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置205包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置205为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
其中，具体地，存储器203用于存储应用程序。
处理器201可以通过传输装置205调用存储器203存储的应用程序，以执行下述步骤：
在第一对象处于睡眠状态的情况下，监测所述第一对象所处的睡眠姿势；
在所述第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息。
处理器201还用于执行下述步骤：
采集所述第一对象的点云数据和时频信息；
通过对所述点云数据和所述时频信息进行卡尔曼滤波处理，从而对检测到的目标进行聚类；
根据聚类得到的聚类类型确定所述第一对象所处的睡眠姿势，其中，每种聚类类型对应于一种睡眠姿势。
采用本申请实施例，可以智能监测第一对象的睡眠姿势是否发生异常，在所述第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息，可以解决相关技术中无法监测睡眠姿势异常的技术问题。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图5所示的结构仅为示意，终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices，MID)、PAD等终端设备。图5 其并不对上述电子装置的结构造成限定。例如，终端还可包括比图5中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图5所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器 (Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行睡眠姿势异常的警示方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
在第一对象处于睡眠状态的情况下，监测所述第一对象所处的睡眠姿势；
在所述第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：
采集所述第一对象的点云数据和时频信息；
通过对所述点云数据和所述时频信息进行卡尔曼滤波处理，从而对检测到的目标进行聚类；
根据聚类得到的聚类类型确定所述第一对象所处的睡眠姿势，其中，每种聚类类型对应于一种睡眠姿势。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种睡眠姿势异常的警示方法，其特征在于，包括：
在第一对象处于睡眠状态的情况下，监测所述第一对象所处的睡眠姿势；
在所述第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息。
2.根据权利要求1所述的方法，其特征在于，监测所述第一对象所处的睡眠姿势包括：
在所述第一对象位于有光环境中的情况下，通过采集到的所述第一对象的睡眠图像监测所述第一对象所处的睡眠姿势。
3.根据权利要求2所述的方法，其特征在于，在所述第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息包括：
在所述第一对象的睡眠姿势为异常睡眠姿势且保持所述异常睡眠姿势的持续时间达到预设时间阈值的情况下，向所述第二对象发出警示信息；或，
在所述第一对象处于被障碍物遮挡口鼻的睡眠姿势的情况下，向所述第二对象发出警示信息。
4.根据权利要求2所述的方法，其特征在于，通过采集到的所述第一对象的睡眠图像监测所述第一对象所处的睡眠姿势包括：
采集所述第一对象的睡眠图像；
将所述第一对象的睡眠图像输入长短期记忆人工神经网络LSTM模型，通过LSTM模型识别出所述第一对象所处的睡眠姿势。
5.根据权利要求1所述的方法，其特征在于，监测所述第一对象所处的睡眠姿势包括：
在所述第一对象处于无光环境中的情况下，通过采集到的所述第一对象的点云数据监测所述第一对象所处的睡眠姿势。
6.根据权利要求5所述的方法，其特征在于，在所述第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息包括：
在所述第一对象的睡眠姿势为异常睡眠姿势且保持所述异常睡眠姿势的持续时间达到预设时间阈值的情况下，向所述第二对象发出警示信息。
7.根据权利要求5所述的方法，其特征在于，通过采集到的所述第一对象的点云数据监测所述第一对象所处的睡眠姿势包括：
采集所述第一对象的点云数据和时频信息；
通过对所述点云数据和所述时频信息进行卡尔曼滤波处理，从而对检测到的目标进行聚类；
根据聚类得到的聚类类型确定所述第一对象所处的睡眠姿势，其中，每种聚类类型对应于一种睡眠姿势。
8.一种睡眠姿势异常的警示装置，其特征在于，包括：
监测单元，用于在第一对象处于睡眠状态的情况下，监测所述第一对象所处的睡眠姿势；
警示单元，用于在所述第一对象的睡眠姿势发生异常的情况下，向第二对象发出警示信息。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行上述权利要求1至7任一项中所述的方法。
CN202010976121.5A 2020-09-16 2020-09-16 睡眠姿势异常的警示方法和装置、存储介质、电子装置 Withdrawn CN112184642A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010976121.5A CN112184642A (zh) 2020-09-16 2020-09-16 睡眠姿势异常的警示方法和装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010976121.5A CN112184642A (zh) 2020-09-16 2020-09-16 睡眠姿势异常的警示方法和装置、存储介质、电子装置

Publications (1)

Publication Number Publication Date
CN112184642A true CN112184642A (zh) 2021-01-05

Family

ID=73921374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010976121.5A Withdrawn CN112184642A (zh) 2020-09-16 2020-09-16 睡眠姿势异常的警示方法和装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN112184642A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112971730A (zh) * 2021-04-20 2021-06-18 广东德泷智能科技有限公司 一种基于区块链的婴幼儿睡眠健康数据监测系统
CN114098720A (zh) * 2022-01-05 2022-03-01 珠海格力电器股份有限公司 睡姿纠正与控制方法、装置、存储介质以及电子设备
CN114255848A (zh) * 2021-12-16 2022-03-29 珠海格力电器股份有限公司 一种姿势调整方法、装置、设备及存储介质
CN116030534A (zh) * 2023-02-22 2023-04-28 中国科学技术大学 睡眠姿态模型的训练方法和睡眠姿态识别方法
CN116386278A (zh) * 2023-03-20 2023-07-04 武汉星巡智能科技有限公司 基于婴幼儿睡姿的智能识别提醒方法、装置及设备
CN117122275A (zh) * 2023-02-10 2023-11-28 荣耀终端有限公司 睡眠姿势的监测方法、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180235471A1 (en) * 2017-02-23 2018-08-23 Samsung Electronics Co., Ltd. Method of obtaining biometric information in electronic device and electronic device for the same
CN110916614A (zh) * 2019-11-28 2020-03-27 深圳市爱深盈通信息技术有限公司 一种用户睡眠监测的方法、装置及智能吊扇
CN111008671A (zh) * 2019-12-23 2020-04-14 Oppo广东移动通信有限公司 姿势识别方法和装置、电子设备、计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180235471A1 (en) * 2017-02-23 2018-08-23 Samsung Electronics Co., Ltd. Method of obtaining biometric information in electronic device and electronic device for the same
CN110916614A (zh) * 2019-11-28 2020-03-27 深圳市爱深盈通信息技术有限公司 一种用户睡眠监测的方法、装置及智能吊扇
CN111008671A (zh) * 2019-12-23 2020-04-14 Oppo广东移动通信有限公司 姿势识别方法和装置、电子设备、计算机可读存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112971730A (zh) * 2021-04-20 2021-06-18 广东德泷智能科技有限公司 一种基于区块链的婴幼儿睡眠健康数据监测系统
CN112971730B (zh) * 2021-04-20 2021-08-06 广东德泷智能科技有限公司 一种基于区块链的婴幼儿睡眠健康数据监测系统
CN114255848A (zh) * 2021-12-16 2022-03-29 珠海格力电器股份有限公司 一种姿势调整方法、装置、设备及存储介质
CN114255848B (zh) * 2021-12-16 2024-06-07 珠海格力电器股份有限公司 一种姿势调整方法、装置、设备及存储介质
CN114098720A (zh) * 2022-01-05 2022-03-01 珠海格力电器股份有限公司 睡姿纠正与控制方法、装置、存储介质以及电子设备
CN114098720B (zh) * 2022-01-05 2023-09-12 珠海格力电器股份有限公司 睡姿纠正与控制方法、装置、存储介质以及电子设备
CN117122275A (zh) * 2023-02-10 2023-11-28 荣耀终端有限公司 睡眠姿势的监测方法、电子设备及可读存储介质
CN117122275B (zh) * 2023-02-10 2024-05-31 荣耀终端有限公司 睡眠姿势的监测方法、电子设备及可读存储介质
CN116030534A (zh) * 2023-02-22 2023-04-28 中国科学技术大学 睡眠姿态模型的训练方法和睡眠姿态识别方法
CN116386278A (zh) * 2023-03-20 2023-07-04 武汉星巡智能科技有限公司 基于婴幼儿睡姿的智能识别提醒方法、装置及设备
CN116386278B (zh) * 2023-03-20 2023-11-10 武汉星巡智能科技有限公司 基于婴幼儿睡姿的智能识别提醒方法、装置及设备

Similar Documents

Publication Publication Date Title
CN112184642A (zh) 睡眠姿势异常的警示方法和装置、存储介质、电子装置
US10825314B2 (en) Baby monitor
US20210063214A1 (en) Activity Monitoring Systems And Methods
US20170039455A1 (en) Computer-vision based security system using a depth camera
US20210065891A1 (en) Privacy-Preserving Activity Monitoring Systems And Methods
US10993417B2 (en) Detection and management of disease outbreaks in livestock using health graph networks
US11631306B2 (en) Methods and system for monitoring an environment
CN108615333A (zh) 基于人工智能的婴儿窒息预警系统和方法
CN112712020B (zh) 睡眠监测方法、装置及系统
CN110781808A (zh) 跌倒检测方法、装置、设备及存储介质
US20200069222A1 (en) Image detection method and image detection device for determining position of user
CN107590953A (zh) 一种智能穿戴设备的报警方法、系统及终端设备
CN114469076A (zh) 一种融合身份特征的独居老人跌倒识别方法及系统
US20230207120A1 (en) Method for Network Subgraph Link Selection
Pramerdorfer et al. Fall detection based on depth-data in practice
JP7081606B2 (ja) 対象の転倒応答を決定する方法、システム、及び、コンピュータプログラム
KR20190028021A (ko) 센서 기술을 활용한 애완동물 상태 분석 방법 및 시스템
CN104506809A (zh) 一种基于智能视频的重症病患监控系统
KR20200055821A (ko) 반려 동물의 위험 행동의 검출 및 억제 방법 및 이를 위한 자동화된 카메라-기반 시스템
He et al. An elderly care system based on multiple information fusion
Bahbouh et al. A cost effective IoT-based system for monitoring baby incidents by deaf parents
CN111414829B (zh) 一种发送报警信息的方法和装置
CN113361469A (zh) 一种覆盖状态识别方法、装置、设备及存储介质
US11087157B2 (en) Image detection method and image detection device utilizing dual analysis
CN104616424A (zh) 一种防止小孩踢被系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210105

WW01 Invention patent application withdrawn after publication