CN110706449A - 一种婴幼儿监测方法、装置与摄像设备及存储介质 - Google Patents
一种婴幼儿监测方法、装置与摄像设备及存储介质 Download PDFInfo
- Publication number
- CN110706449A CN110706449A CN201910832679.3A CN201910832679A CN110706449A CN 110706449 A CN110706449 A CN 110706449A CN 201910832679 A CN201910832679 A CN 201910832679A CN 110706449 A CN110706449 A CN 110706449A
- Authority
- CN
- China
- Prior art keywords
- infant
- state
- data
- model
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 43
- 206010011469 Crying Diseases 0.000 claims abstract description 59
- 230000002159 abnormal effect Effects 0.000 claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000012806 monitoring device Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims 1
- 230000004044 response Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 206010039740 Screaming Diseases 0.000 description 5
- 230000036760 body temperature Effects 0.000 description 5
- 230000008451 emotion Effects 0.000 description 5
- 230000000474 nursing effect Effects 0.000 description 3
- 206010037660 Pyrexia Diseases 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
- G08B21/0208—Combination with audio or video communication, e.g. combination with "baby phone" function
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Abstract
本发明实施例涉及家庭监控领域,公开了一种婴幼儿监测方法、装置与摄像设备及存储介质。本发明包括以下步骤:通过摄像头实时获取婴幼儿的状态数据,根据婴幼儿状态数据和预设模型获取婴幼儿的状态,婴幼儿状态数据至少包括音频数据,预设模型至少包括哭声检测模型,哭声检测模型用于根据音频数据输出婴幼儿的状态信息,状态包括正常状态和异常状态,哭声检测模型根据历史婴幼儿的音频数据训练得到。通过以摄像头为载体的一种婴幼儿监测方法,可以实时准确监测婴幼儿的状态,并可于家中任何位置安装,轻巧便携。
Description
技术领域
本发明实施例涉及家庭监控领域,特别涉及一种婴幼儿监测方法、装置与摄像设备及存储介质。
背景技术
婴幼儿看护问题已成为现代双职工父母的一大难题。婴幼儿生活无法自理,需要成人随时随地得陪伴,重返职场的双职工父母只能将婴儿交给家人或保姆照顾,然而新手爸妈们往往时刻牵挂孩子的情况。
目前,婴幼儿常见的监测系统包括几种:啼哭监测、体温监测、心率监测、睡眠监测。啼哭监测要是通过设置婴儿哭闹阈值、利用电子设备的音频分析技术进行婴儿啼哭监测;体温监测主要是通过在婴儿身上放置体温监测器(如耳温枪、额温枪等)进行婴儿体温监测与异常报警;心率监测主要是通过在婴儿身上或附近放置专业电子装置进行心率监测,发生异常情况会将报警信息发送给监护人员所携带的终端设备;睡眠监测主要是通过红外线设备照射并监测婴儿身体与周围环境的温度差,进行异常监测与报警。
发明人发现现有技术中至少存在如下问题:现有监测方法的准确性难以保证,而且,需要在婴幼儿身上或身边放置专业的电子设备,舒适度、便捷性等较弱。
发明内容
本发明实施方式的目的在于提供一种婴幼儿监测方法、装置与摄像设备及存储介质,使得可以实时准确监测婴幼儿的状态,并可于家中任何位置安装,轻巧便携。
为解决上述技术问题,本发明的实施方式提供了一种婴幼儿监测方法,包括:通过摄像头实时获取婴幼儿的状态数据,根据婴幼儿状态数据和预设模型获取婴幼儿的状态,婴幼儿状态数据至少包括音频数据,预设模型至少包括哭声检测模型,哭声检测模型用于根据音频数据输出婴幼儿的状态信息,状态包括正常状态和异常状态,哭声检测模型根据历史婴幼儿的音频数据训练得到。
本发明的实施方式还提供了一种婴幼儿监测装置,包括:获取模块,用于通过摄像头实时获取婴幼儿的状态数据;状态获取模块,用于根据婴幼儿状态数据和预设模型获取婴幼儿的状态,婴幼儿状态数据至少包括音频数据,预设模型至少包括哭声检测模型,哭声检测模型用于根据音频数据输出婴幼儿的状态信息,状态包括正常状态和异常状态,哭声检测模型根据历史婴幼儿的音频数据训练得到。
本发明的实施方式还提供了一种摄像设备,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述婴幼儿监测方法。
本发明的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现上述婴幼儿监测方法。
本发明实施方式相对于现有技术而言,通过收集大量的历史婴幼儿哭声特征数据进行训练得到哭声检测模型,通过哭声检测模型分析获取的婴幼儿音频数据,可以在大数据的基础上得到更加准确的婴幼儿哭声判断结果,相较于传统监测方法,经过大数据建立的训练模型可以针对不同情况、不同婴幼儿的哭声,提供更加准确的哭声判断结果,提供更加优质的婴幼儿监测服务,此外,以摄像头为监测的载体,可以在不与婴幼儿接触的情况下对婴幼儿的状态进行实时监测,且可于家中任何位置安装,轻巧便携。
另外,按照预设时长将音频数据划分成连续的固定时长片段,并将每一个固定时长片段的音频数据作为哭声检测模型的输入数据,得到各个固定时长片段对应的婴幼儿的状态信息;若任意一个固定时长片段对应的婴幼儿的状态信息表示为异常状态,则判定婴幼儿的状态异常。通过将婴幼儿监测音频数据划分成连续的固定时长片段,针对固定时长片段进行分析判断,增加了哭声监测模型的分辨率,降低了监测的误报率。
另外,状态数据还包括视频数据,预设模型还包括图像侦测模型,图像侦测模型根据历史婴幼儿视频数据训练得到,用于根据视频数据输出婴幼儿的状态信息,根据婴幼儿状态数据和预设模型获取婴幼儿的状态,包括:通过各预设模型分别获取婴幼儿的状态;若任一预设模型获取到的状态为异常状态,则判定婴幼儿的状态异常。在哭声监测模型的基础上结合图像和动态监测模型对婴幼儿状态数据进行判断,避免了现有技术中单一监测方式无法监测婴幼儿哭闹以外,比如婴幼儿口鼻被遮掩而无法呼吸、出声的情况,更加全面的监测婴幼儿的状态,提升了婴幼儿监测结果的准确性和可靠性。
另外,在根据婴幼儿状态数据和预设模型获取婴幼儿的状态之后,还包括:若获取到的婴幼儿为异常状态,则触发至少两种报警方式;其中,报警方式包括:短信报警、电话报警、蜂鸣震动报警。当分析结果为异常时,融合多种报警方式发出异常情况报警信号,信息必达,避免婴幼儿监护者错漏任何异常情况。
另外,在根据婴幼儿状态数据和预设模型获取婴幼儿的状态之后,还包括:若获取到的婴幼儿为异常状态,则触发对婴幼儿的安抚操作;其中,安抚操作包括灯光安抚和/或音频安抚;灯光安抚包括:打开发光设备通过灯光对婴幼儿进行安抚,其中,灯光包括以下之一或其任意组合:星空灯光、彩虹灯光、闪烁灯光;音频安抚包括:播放预设的音频或视频。当分析结果为异常情况时,提供自动安抚措施,触发发光设备发出可以吸引婴幼儿的灯光,或者播放预存的音乐、监护者声音或视频对婴幼儿进行安抚,及时对婴幼儿进行安抚,快速稳定婴儿情绪,避免婴幼儿哭闹引起的其他风险,在一定程度上减轻监护者的看护工作。
另外,安抚操作还包括:与预先绑定的终端设备进行实时双向通话或实时双向视频通话。当分析结果为异常情况时,实现监护者与婴幼儿的音频或视频通话,及时告知监护者婴幼儿的异常状况,并通过监护者的音频或视频对婴幼儿进行安抚,增强了婴幼儿与监护者之间的交互,在一定程度上减轻监护者的看护工作,并守护了监护者和婴幼儿之间的亲情。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定。
图1是根据本发明第一实施例的一种婴幼儿监测方法的流程图;
图2是根据本发明第二实施例的一种婴幼儿监测方法的流程图;
图3是根据本发明第三实施例的一种婴幼儿监测装置的结构图;
图4是根据本发明第四实施例的一种摄像设备的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便,不应对本发明的具体实现方式构成任何限定,各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施方式涉及一种婴幼儿监测方法,本实施方式具体可应用在摄像设备中。在本实施方式中,通过摄像头实时获取婴幼儿的状态数据,根据婴幼儿状态数据和预设模型获取婴幼儿的状态,婴幼儿状态数据至少包括音频数据,预设模型至少包括哭声检测模型,哭声检测模型用于根据音频数据输出婴幼儿的状态信息,状态包括正常状态和异常状态,哭声检测模型根据历史婴幼儿的音频数据训练得到。
下面对本实施方式的一种婴幼儿监测方法的实现细节进行具体的说明,以下内容仅为方便理解提供的实现细节,并非实施本方案的必须。
本实施方式中的一种婴幼儿监测方法如流程图1所示。具体包括以下步骤:
步骤101,实时获取婴幼儿状态数据,状态数据包括声音数据。
本实施方式中,通过摄像头实时获取婴幼儿的状态数据。具体地,摄像头中可以内置声音采集装置,例如但不限定为麦克风。通过摄像头中的声音采集装置,采集婴幼儿的声音信息并提取婴幼儿声纹特征。更具体地说,以一定频率的采样率(比如16千赫兹),将脉冲编码调制(Pulse Code Modulation,PCM)编码录入音频流,实时采集婴幼儿的声音信息,并提取其中婴幼儿的声纹特征。
步骤102,根据预设哭声检测模型分析婴幼儿声音数据。
具体来说,本实施方式的哭声检测模型是建立在全国婴幼儿大数据基础上,通过与分散在全国各地的,有婴幼儿的300多个志愿者家庭建立合作关系,收集到大量的婴幼儿第一手哭声数据,数据量超1TB,通过提取婴幼儿哭声声纹特征来判断声音类别,在哭声数据库上进行训练得到哭声监测模型,将哭声检测模型存储在摄像设备中,将步骤101中提取的婴幼儿声纹特征输入预设的哭声检测模型中,根据婴幼儿状态数据和预设模型获取婴幼儿的状态,其中,哭声检测模型经过分析比对判断获取的婴幼儿声音数据是否为异常哭声,更佳地,还可以根据哭声监测模型判断出婴幼儿的哭声类别,例如饿、尿、病导致的哭声。
在一个具体的实现中,还可以对音频数据按照时长划分成连续的固定时长片段,例如将采集地音频数据划分成连续地3秒片段,将每一个3秒片段作为输入哭声检测模型的数据样本基本单元,哭声检测模型对每一个数据单元都进行判断,是否符合婴儿哭声特征,当固定时长片段的判断结果为异常时,输出分析结果为异常。通过将婴幼儿监测音频数据划分成连续的固定时长片段,针对固定时长片段进行分析判断,增加了哭声监测模型的分辨率,降低了监测的误报率,甚至可以将误报率降低到1%以下,以实现婴幼儿监测的准确性。
步骤103,判断状态是否异常。
具体来说,如果哭声检测模型检测结果为哭声,则输出异常状态,如果监测结果不为哭声,则继续实时获取婴幼儿状态数据。
步骤104,当检测模型输出检测结果为异常状态时,做出响应,如发出报警信息。
值得注意的是,当分析结果为异常时,可以融合多种报警方式发出报警信息,多种报警方式至少包括短信、电话、手机应用消息推送或设备蜂鸣震动中的两种。融合多种报警方式,信息必达,避免婴幼儿监护者错漏任何异常情况。
值得注意的是,为了当婴幼儿发生异常哭闹情况时,为了快速稳定婴儿情绪,避免婴幼儿哭闹引起的其他风险,在一定程度上减轻监护者的看护工作,可以通过安抚单元对婴幼儿进行安抚,提供自动安抚措施,及时对婴幼儿进行安抚。具体的,可以打开发光设备通过灯光对婴儿进行安抚,发光设备可以发出为星空灯光、彩虹灯光、闪烁灯光中的任意组合的灯光;还可以播放预设的音频或视频,用户可以预先设定一些可以安抚婴幼儿情绪的柔和音乐或者视频,当检测到婴幼儿哭闹的时候,播放音乐和视频来安抚婴幼儿的情绪。
值得注意的是,当分析结果为异常时,为了对婴幼儿进行安抚,还可以实现监护者和婴幼儿之间实时双向通话或实时双向视频通话。具体来说,当检测到婴幼儿为哭闹情况时,设备通过多种方式向监护方发送报警信息,监护者收到报警信息后,可以通过和监测终端(即摄像设备)构建通信连接,具体的,摄像设备接受监护者的音频或视频通话请求,实时传输监测到的婴幼儿声音、视频图像数据到监护者的数据请求端。
本实施方式相较于传统监测方法,经过大数据建立的训练模型可以针对不同情况、不同婴幼儿的哭声,提供更加准确的哭声判断结果,提供更加优质的婴幼儿监测服务,此外,以摄像头为监测的载体,可以在不与婴幼儿接触的情况下对婴幼儿的状态进行实时监测,且可于家中任何位置安装,轻巧便携。而且,当监测到婴幼儿出现异常情况可以及时做出响应,例如发出报警信息、对婴幼儿进行安抚或者实现和监护者之间的通话后,继续对婴幼儿进行实时监测,提供全天候的婴幼儿监测保护。
本发明的第二实施方式涉及一种婴幼儿监测方法。第二实施方式与第一实施方式大致相同,主要区别之处在于:在第一实施方式中,获取至少包括婴幼儿声音数据在内的婴幼儿状态数据,通过哭声监测模型分析获取的声音数据是否为异常情况,而在本发明第二实施方式中,除了获取婴幼儿声音数据之外,还获取视频数据,还通过图像侦测模型,根据获取的视频数据提取婴幼儿的图像和动态数据,区分正常状态和异常状态。图2为本实施例的流程图。
步骤201,实时获取婴幼儿声音数据和视频图像数据;
具体来说,本实施方式中,通过摄像头实时获取婴幼儿的声音、视频图像,并提取婴幼儿声纹特征和婴幼儿及婴幼儿周围的图像。更具体地说,以一定频率的采样率(比如16千赫兹),将PCM编码录入音频流,实时采集婴幼儿的声音信息,并提取其中婴幼儿的声纹特征;通过高清摄像头实时获取婴幼儿及其周围环境的图像,并通过图像、视频取帧识别婴幼儿及其周围环境的当前动态。
步骤202,根据预设哭声检测模型分析婴幼儿声音数据。本步骤与步骤102类似,在此不再赘述。
步骤203,判断婴幼儿状态是否异常。
具体来说,从获取的声音数据中提取婴幼儿声纹特征数据,输入预设的哭声检测模型,如果判断结果为异常状态,执行步骤206,如果判断结果为正常状态,执行步骤204。
步骤204,根据预设图像侦测模型分析婴幼儿视频数据。
具体的说,通过收集全国各地大量婴幼儿的状态图像、动态、成长数据,建立起婴幼儿状态数据库,区分正常状态、异常状态,高清摄像头时刻通过图像、视频取帧识别婴幼儿及其周围环境的当前动态,输入图像侦测模型中,将图像、视频与系统预置状态进行对比分析,当识别到状态为异常时即触发报警。如当婴儿仰卧时口鼻被毛巾覆盖、当婴儿保持一个姿势静止超过时间阈值、当婴儿动作幅度或频率超过正常阈值等情况发生时,摄像头会识别为异常状态并立刻做出响应、报警通知家人。
步骤205-206同步骤103-104,在此不再赘述。
值得注意的是,本实施方式步骤201中,还可以包含实时获取婴幼儿的温度等数据,可以实时监测婴幼儿的体温数据情况,在婴幼儿发生疾病情况,例如感冒发烧、低烧时及时发出报警信息,提醒监护者及时采取进一步的措施,避免疾病情况处理不及时给婴幼儿带来不可逆的后果,提供更加全面的监护。
通过结合多种监测方式来监测婴幼儿的状态,避免了单一声音监测可能出现的婴儿仰卧时口鼻被毛巾覆盖等无法发出声音的危险状况,提供更加全面、准确的监测服务,防止了极端情况发生时系统无法准确监测的问题,为监护者提供更加准确的监测结果,也提升了监护系统监测婴幼儿的安全性,让监护者更加放心、省心。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种婴幼儿监测装置,如图3所示,包括:
获取模块301,用于实时获取婴幼儿的状态数据;
具体的说,获取模块至少包括内置的声音获取单元,声音获取单元用于实时获取婴幼儿的声音数据。
状态获取模块302,用于根据婴幼儿状态数据和预设模型获取婴幼儿的状态,婴幼儿状态数据至少包括音频数据,预设模型至少包括哭声检测模型,哭声检测模型用于根据音频数据输出婴幼儿的状态信息,状态包括正常状态和异常状态,哭声检测模型根据历史婴幼儿的音频数据训练得到。
具体来说,状态获取模块内置有存储器,获取模块将获取数据发送至状态获取模块,状态获取模块将上述音频数据存储在存储器中,并利用内置的哭声检测模型对上述声音数据进行分析比对,当分析结果为异常时,输出响应执行信号,发送执行信号给响应模块。
值得注意的是,为了提升监测装置监测婴幼儿的全面性和准确性,获取模块301中还包括视频图像获取单元,例如采用高清摄像头实时获取婴幼儿及周围的视频图像,状态获取模块302还将获取的视频图像数据存储在存储器中,状态获取模块302还内置有图像侦测模型,用于根据获取的视频数据提取婴幼儿的图像和动态数据,区分正常状态和异常状态。
值得注意的是,为了对监测装置的分析结果做出进一步的措施,提供更优质的婴幼儿监测体验,还可以包括响应模块303,当状态获取模块分析结果为异常时,发送执行信号给响应模块,响应模块用于根据获取模块的执行信号做出响应。
值得注意的是,响应模块303中可以包含有报警单元,当状态获取模块分析结果为异常时,报警单元融合多种报警方式发出报警信息,例如通过短信、电话、手机应用消息推送或设备蜂鸣震动中的两种及两种以上的方式向监护者发出报警信息。
值得注意的是,响应模块303中还可以包含有发光单元,例如为可以发出星空灯光、彩虹灯光、闪烁灯光等几种任意组合的发光设备,当状态获取模块分析结果为异常状态时,发光设备发出灯光对婴幼儿进行安抚,快速平静婴幼儿的情绪。
值得注意的是,响应模块303中还可以包含音频播放单元,具体的,可以为扬声器,监护者可以预先在状态获取模块的存储器中存储柔和的音乐,当状态获取模块分析结果为异常时,扬声器播放存储器中的音乐,安抚婴幼儿的情绪。
值得注意的是,响应模块303中还可以包含视频播放单元,具体的,可以为平面显示器、平板电脑、投影仪等,监护者可以预先在状态获取模块的存储器中存储婴幼儿喜欢的视频,或者监护者自己录制的视频,当分析结果为异常时,视频播放单元播放监护者预先存储的视频。
值得注意的是,为了在婴幼儿发生异常状况系统发出报警信息时,监护者能够及时收到婴幼儿的实时声音、视频图像,本系统还可以包括服务器模块,服务器与状态获取模块双向通信;状态获取模块还用于传输获取的婴幼儿状态数据和分析结果数据至服务器模块;服务器模块用于接收和存储状态获取模块上传的婴幼儿状态数据和分析结果,服务器还用于响应请求终端的数据请求,向数据请求终端传输婴幼儿状态数据和分析结果。
具体来说,当发生婴幼儿哭闹等异常情况时,状态获取模块根据获取的婴幼儿状态信息和预设的哭声检测模型、视频图像侦测模型进行分析,输出分析结果为异常,并将实时获取的声音、视频图像等信息上传至服务器模块,报警单元执行响应信号,通过短信、电话、手机应用消息推送等方式向监护者发送报警信息,监护者收到报警信息后,立即向服务器模块发起数据请求,服务器接受监护者的数据请求,传输状态获取模块上传的实时婴幼儿检测画面和声音数据。当婴幼儿发生的异常情况较为严重时,监护者可以从服务器传输的实时监测画面中知悉情况的异常情况的严重程度,并及时对严重的异常情况做出及时的举措,避免婴幼儿发生进一步的糟糕情况。
值得注意的是,当系统监测婴幼儿发生异常情况时,除了通过灯光、预设的声音、视频等方式对婴幼儿进行安抚之外,为了更加丰富对婴幼儿的安抚措施,服务器还可以接收监护者数据请求终端的通信请求,例如手机、电脑等终端设备,与数据请求终端建立通信连接,接收请求发送的监护者方音频、视频数据,并将接收的数据以及播放执行信号传输给状态获取模块,状态获取模块接收上述数据和播放执行信号后,指示监测端的声音播放单元或视频播放单元播放状态获取模块接收的监护者声音或视频数据,与此同时,服务器端将状态获取模块上传的婴幼儿实时监测声音、视频图像等数据,通过通信连接方式传输给监护者数据请求终端,实现监护者和婴幼儿的实时音频、视频通话。在婴幼儿发生异常哭闹情况时,通过构建监测端和监护者之间的音频、视频通信连接,既丰富了婴幼儿的安抚措施,又增加了监护者和婴幼儿之间的连结,守护了亲情,守护了家的温暖。
不难发现,本实施方式为与第一实施方式、第二实施方式相对应的系统实施例,本实施方式可与第一实施方式和第二实施方式互相配合实施。第一实施方式和第二实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式和第二实施方式。
值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
本发明第五实施方式涉及一种摄像设备,如图4所示,包括至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述婴幼儿监测方法的实施方式。
其中,存储器和处理器采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第五实施方式涉及一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。
Claims (11)
1.一种婴幼儿监测方法,其特征在于,包括:
通过摄像头实时获取婴幼儿的状态数据;
根据所述婴幼儿状态数据和预设模型获取婴幼儿的状态,所述婴幼儿状态数据至少包括音频数据,所述预设模型至少包括哭声检测模型,所述哭声检测模型用于根据所述音频数据输出所述婴幼儿的状态信息,所述状态包括正常状态和异常状态,所述哭声检测模型根据历史婴幼儿的音频数据训练得到。
2.根据权利要求1所述的一种婴幼儿监测方法,其特征在于,所述根据所述婴幼儿状态数据和预设模型获取婴幼儿的状态,具体包括:
按照预设时长将所述音频数据划分成连续的固定时长片段,并将每一个固定时长片段的音频数据作为所述哭声检测模型的输入数据,得到各个固定时长片段对应的所述婴幼儿的状态信息;
若任意一个固定时长片段对应的所述婴幼儿的状态信息表示为异常状态,则判定所述婴幼儿的状态异常。
3.根据权利要求1所述的一种婴幼儿监测方法,其特征在于,所述状态数据还包括视频数据,所述预设模型还包括图像侦测模型;所述图像侦测模型根据历史婴幼儿的视频数据训练得到,用于根据所述视频数据输出所述婴幼儿的状态信息;
所述根据所述婴幼儿状态数据和预设模型获取婴幼儿的状态,包括:
通过各所述预设模型分别获取所述婴幼儿的状态;
若任一所述预设模型获取到的所述状态为异常状态,则判定所述婴幼儿的状态异常。
4.根据权利要求3所述的一种婴幼儿监测方法,其特征在于,所述视频数据,包括:
所述婴幼儿的图像数据以及所述婴幼儿的周围环境的图像数据。
5.根据权利要求1至4中任一项所述的一种婴幼儿监测方法,其特征在于,在所述根据所述婴幼儿状态数据和预设模型获取婴幼儿的状态之后,还包括:
若获取到的所述婴幼儿为异常状态,则触发至少两种报警方式;其中,所述报警方式包括:
短信报警、电话报警、蜂鸣震动报警。
6.根据权利要求1至4中任一项所述的一种婴幼儿监测方法,其特征在于,在所述根据所述婴幼儿状态数据和预设模型获取婴幼儿的状态之后,还包括:
若获取到的所述婴幼儿为异常状态,则触发对所述婴幼儿的安抚操作;
其中,所述安抚操作包括灯光安抚和/或音频安抚;
所述灯光安抚包括:打开发光设备通过灯光对所述婴幼儿进行安抚,其中,所述灯光包括以下之一或其任意组合:星空灯光、彩虹灯光、闪烁灯光;
所述音频安抚包括:播放预设的音频或视频。
7.根据权利要求6所述的一种婴幼儿监测方法,其特征在于,所述安抚操作还包括:与预先绑定的终端设备进行实时双向通话或实时双向视频通话。
8.根据权利要求1至4中任一项所述的一种婴幼儿监测方法,其特征在于,所述婴幼儿监测方法应用在摄像设备中。
9.一种婴幼儿监测装置,其特征在于,包括:
获取模块,用于通过摄像头实时获取婴幼儿的状态数据;
状态获取模块,用于根据所述婴幼儿状态数据和预设模型获取婴幼儿的状态,所述婴幼儿状态数据至少包括音频数据,所述预设模型至少包括哭声检测模型,所述哭声检测模型用于根据所述音频数据输出所述婴幼儿的状态信息,所述状态包括正常状态和异常状态,所述哭声检测模型根据历史婴幼儿的音频数据训练得到。
10.一种摄像设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至8中任一项所述的婴幼儿监测方法。
11.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的婴幼儿监测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910832679.3A CN110706449A (zh) | 2019-09-04 | 2019-09-04 | 一种婴幼儿监测方法、装置与摄像设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910832679.3A CN110706449A (zh) | 2019-09-04 | 2019-09-04 | 一种婴幼儿监测方法、装置与摄像设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110706449A true CN110706449A (zh) | 2020-01-17 |
Family
ID=69194286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910832679.3A Pending CN110706449A (zh) | 2019-09-04 | 2019-09-04 | 一种婴幼儿监测方法、装置与摄像设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110706449A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111196240A (zh) * | 2020-01-19 | 2020-05-26 | 深圳瑞为智能科技有限公司 | 一种基于视觉分析的幼儿防遗留预警装置及预警方法 |
CN111383422A (zh) * | 2020-06-01 | 2020-07-07 | 北京隆普智能科技有限公司 | 一种监控方法及其系统 |
CN111768593A (zh) * | 2020-06-29 | 2020-10-13 | 歌尔科技有限公司 | 一种状态监测方法、装置、智能穿戴设备及存储介质 |
CN111882820A (zh) * | 2020-07-30 | 2020-11-03 | 重庆电子工程职业学院 | 用于特殊人群的看护系统 |
CN112365678A (zh) * | 2020-11-09 | 2021-02-12 | 珠海格力电器股份有限公司 | 一种婴幼儿哭声提醒方法、装置及存储介质 |
CN112786073A (zh) * | 2021-01-14 | 2021-05-11 | 深圳市芯中芯科技有限公司 | 基于蓝牙连接的音箱控制方法、系统、装置和存储介质 |
CN113011311A (zh) * | 2021-03-15 | 2021-06-22 | 深圳创维-Rgb电子有限公司 | 监控方法、系统、设备及存储介质 |
CN113375316A (zh) * | 2021-06-15 | 2021-09-10 | 青岛海尔空调器有限总公司 | 用于空调的控制方法及装置、空调 |
CN113392736A (zh) * | 2021-05-31 | 2021-09-14 | 五八到家有限公司 | 提升家政服务安全的监控方法、系统、设备及介质 |
CN113628411A (zh) * | 2020-05-07 | 2021-11-09 | 中移(成都)信息通信科技有限公司 | 婴儿安全预警的系统、方法、设备及计算机存储介质 |
CN114430478A (zh) * | 2022-03-08 | 2022-05-03 | 佛山市顺富元亨电子有限公司 | 一种远程通话安抚婴儿监视器及方法 |
CN114710555A (zh) * | 2022-06-06 | 2022-07-05 | 深圳市景创科技电子股份有限公司 | 一种婴儿监护方法及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106230959A (zh) * | 2016-08-09 | 2016-12-14 | 西安科技大学 | 一种智能婴儿监护系统 |
CN106530608A (zh) * | 2016-12-23 | 2017-03-22 | 重庆墨希科技有限公司 | 一种用于监测婴幼儿的智能手环 |
CN107545904A (zh) * | 2016-06-23 | 2018-01-05 | 杭州海康威视数字技术股份有限公司 | 一种音频检测方法及装置 |
CN107591162A (zh) * | 2017-07-28 | 2018-01-16 | 南京邮电大学 | 基于模式匹配的哭声识别方法及智能看护系统 |
CN107977634A (zh) * | 2017-12-06 | 2018-05-01 | 北京飞搜科技有限公司 | 一种针对视频的表情识别方法、装置及设备 |
CN108011903A (zh) * | 2016-10-31 | 2018-05-08 | 杭州萤石网络有限公司 | 一种监护婴幼儿的方法、装置及系统 |
CN108063800A (zh) * | 2017-11-27 | 2018-05-22 | 海尔优家智能科技(北京)有限公司 | 一种婴幼儿看护系统及方法 |
CN108670196A (zh) * | 2018-04-20 | 2018-10-19 | 深圳市沃特沃德股份有限公司 | 监测婴儿睡眠状态的方法及装置 |
CN109982046A (zh) * | 2019-04-04 | 2019-07-05 | 成都易通酷物联网科技有限公司 | 一种便于婴幼儿护理的云自动摄像监控系统及方法 |
-
2019
- 2019-09-04 CN CN201910832679.3A patent/CN110706449A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107545904A (zh) * | 2016-06-23 | 2018-01-05 | 杭州海康威视数字技术股份有限公司 | 一种音频检测方法及装置 |
CN106230959A (zh) * | 2016-08-09 | 2016-12-14 | 西安科技大学 | 一种智能婴儿监护系统 |
CN108011903A (zh) * | 2016-10-31 | 2018-05-08 | 杭州萤石网络有限公司 | 一种监护婴幼儿的方法、装置及系统 |
CN106530608A (zh) * | 2016-12-23 | 2017-03-22 | 重庆墨希科技有限公司 | 一种用于监测婴幼儿的智能手环 |
CN107591162A (zh) * | 2017-07-28 | 2018-01-16 | 南京邮电大学 | 基于模式匹配的哭声识别方法及智能看护系统 |
CN108063800A (zh) * | 2017-11-27 | 2018-05-22 | 海尔优家智能科技(北京)有限公司 | 一种婴幼儿看护系统及方法 |
CN107977634A (zh) * | 2017-12-06 | 2018-05-01 | 北京飞搜科技有限公司 | 一种针对视频的表情识别方法、装置及设备 |
CN108670196A (zh) * | 2018-04-20 | 2018-10-19 | 深圳市沃特沃德股份有限公司 | 监测婴儿睡眠状态的方法及装置 |
CN109982046A (zh) * | 2019-04-04 | 2019-07-05 | 成都易通酷物联网科技有限公司 | 一种便于婴幼儿护理的云自动摄像监控系统及方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111196240A (zh) * | 2020-01-19 | 2020-05-26 | 深圳瑞为智能科技有限公司 | 一种基于视觉分析的幼儿防遗留预警装置及预警方法 |
CN113628411A (zh) * | 2020-05-07 | 2021-11-09 | 中移(成都)信息通信科技有限公司 | 婴儿安全预警的系统、方法、设备及计算机存储介质 |
CN111383422A (zh) * | 2020-06-01 | 2020-07-07 | 北京隆普智能科技有限公司 | 一种监控方法及其系统 |
CN111768593A (zh) * | 2020-06-29 | 2020-10-13 | 歌尔科技有限公司 | 一种状态监测方法、装置、智能穿戴设备及存储介质 |
CN111882820A (zh) * | 2020-07-30 | 2020-11-03 | 重庆电子工程职业学院 | 用于特殊人群的看护系统 |
CN112365678A (zh) * | 2020-11-09 | 2021-02-12 | 珠海格力电器股份有限公司 | 一种婴幼儿哭声提醒方法、装置及存储介质 |
CN112786073A (zh) * | 2021-01-14 | 2021-05-11 | 深圳市芯中芯科技有限公司 | 基于蓝牙连接的音箱控制方法、系统、装置和存储介质 |
CN113011311A (zh) * | 2021-03-15 | 2021-06-22 | 深圳创维-Rgb电子有限公司 | 监控方法、系统、设备及存储介质 |
CN113392736A (zh) * | 2021-05-31 | 2021-09-14 | 五八到家有限公司 | 提升家政服务安全的监控方法、系统、设备及介质 |
CN113375316A (zh) * | 2021-06-15 | 2021-09-10 | 青岛海尔空调器有限总公司 | 用于空调的控制方法及装置、空调 |
CN114430478A (zh) * | 2022-03-08 | 2022-05-03 | 佛山市顺富元亨电子有限公司 | 一种远程通话安抚婴儿监视器及方法 |
CN114710555A (zh) * | 2022-06-06 | 2022-07-05 | 深圳市景创科技电子股份有限公司 | 一种婴儿监护方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110706449A (zh) | 一种婴幼儿监测方法、装置与摄像设备及存储介质 | |
US9538959B2 (en) | System and method for human monitoring | |
CN107277164B (zh) | 一种儿童远程智能监护系统 | |
US20160310067A1 (en) | A baby monitoring device | |
US20070156060A1 (en) | Real-time video based automated mobile sleep monitoring using state inference | |
US9931042B2 (en) | Monitoring baby physical characteristics | |
WO2011100890A1 (zh) | 一种环境声音提醒方法和移动终端 | |
CN105354975A (zh) | 一种可实现移动终端实时通信的婴儿床监控报警系统 | |
CN112069949A (zh) | 一种基于人工智能的婴儿睡眠监测系统及监测方法 | |
CN110709930A (zh) | 用于提供有关检测到的事件的信息的方法、系统和介质 | |
EP3432772B1 (en) | Using visual context to timely trigger measuring physiological parameters | |
WO2013093686A1 (en) | Apparatus and method for monitoring a sleeping person | |
WO2017049485A1 (zh) | 一种信息处理方法以及智能手环 | |
CN108986405B (zh) | 一种基于Zigbee网关的多参数控制方法 | |
KR20210147691A (ko) | 반려동물을 모니터링하기 위한 모니터링 장치 및 서버 | |
CN105719427A (zh) | 一种用于看护的监控方法和系统 | |
CN206402360U (zh) | 一种能监控婴儿的婴儿车控制系统 | |
JP2014151120A (ja) | 睡眠状態監視システムおよび睡眠状態監視プログラム | |
CN112580390B (zh) | 基于智能音箱的安防监控方法、装置、音箱和介质 | |
WO2018039934A1 (zh) | 安抚宠物的方法、装置及系统 | |
CN220545148U (zh) | 婴儿监视系统 | |
JP2005275640A (ja) | 安否確認システム、安否確認方法、安否確認用プログラムおよびそのプログラムを記憶した記憶媒体 | |
KR101609939B1 (ko) | 신생아 영상 시스템 | |
Konar et al. | Infant Posture Analyzer and Wet Diaper System | |
CN111275928A (zh) | 一种用于监测人体活动的预警方法、电子设备、终端设备及预警系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200117 |
|
RJ01 | Rejection of invention patent application after publication |