CN111191483B - 看护方法、装置及存储介质 - Google Patents

看护方法、装置及存储介质 Download PDF

Info

Publication number
CN111191483B
CN111191483B CN201811351440.6A CN201811351440A CN111191483B CN 111191483 B CN111191483 B CN 111191483B CN 201811351440 A CN201811351440 A CN 201811351440A CN 111191483 B CN111191483 B CN 111191483B
Authority
CN
China
Prior art keywords
nursing
expression
physical examination
nursing object
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811351440.6A
Other languages
English (en)
Other versions
CN111191483A (zh
Inventor
肖俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811351440.6A priority Critical patent/CN111191483B/zh
Publication of CN111191483A publication Critical patent/CN111191483A/zh
Application granted granted Critical
Publication of CN111191483B publication Critical patent/CN111191483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation

Abstract

本发明实施例提出一种看护方法、装置及计算机可读存储介质。其中看护方法包括：获取看护对象的人脸图像；利用机器学习模型对所述人脸图像进行识别，获取看护对象的表情；根据所述看护对象的表情执行对应的看护操作。本发明实施例根据识别出的看护对象的表情给出不同的响应操作，及时给看护对象提供帮助，安抚看护对象的情绪，可以在一定程度上帮助看护人照顾看护对象，用户体验良好。

Description

看护方法、装置及存储介质
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种看护方法、装置及计算机可读存储介质。
背景技术
目前使用机器学习模型，如使用神经网络模型进行人脸识别，可识别出人脸的表情。人脸识别技术包括人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。人脸识别自然性和不被被测个体察觉的特点使之渐渐被广泛应用于各类需要识别表情的系统。例如，在生活中婴儿、老人等都是需要看护的对象，利用人脸识别技术可识别出看护对象的表情。
以看护婴儿为例，现有技术中的看护装置，在识别出婴儿的表情后，通常只是确认婴儿是否处于安全状态，并没有利用人脸识别技术实现看护婴儿的功能。如何利用人脸识别技术让看护装置更智能地实现看护的功能，帮助看护人更好地照顾看护对象是目前亟待解决的问题。
发明内容
本发明实施例提供一种看护方法、装置及计算机可读存储介质，以至少解决现有技术中的一个或多个技术问题。
第一方面，本发明实施例提供了一种看护方法，包括：获取看护对象的人脸图像；利用机器学习模型对所述人脸图像进行识别，获取看护对象的表情；根据所述看护对象的表情执行对应的看护操作。
在一种实施方式中，获取看护对象的人脸图像，包括：实时或按照预设周期获取看护对象的人脸图像。
在一种实施方式中，所述方法还包括：预先存储与所述看护对象的表情对应的看护操作设置信息；根据所述看护对象的表情执行对应的看护操作，包括：获取与所述看护对象的表情对应的看护操作设置信息；执行与所述看护操作设置信息对应的操作。
在一种实施方式中，所述看护对象包括老人、病人或残疾人；利用机器学习模型对所述人脸图像进行识别，获取看护对象的表情，包括：获取所述看护对象的体检特征，利用所述体检特征训练所述机器学习模型以对所述人脸图像进行识别，所述体检特征包括心律、血压和体温中至少一种；根据所述看护对象的表情执行对应的看护操作，包括：若识别出所述看护对象的表情是痛苦，则执行给看护对象输氧和/或呼救的操作。
在一种实施方式中，根据所述看护对象的表情执行对应的看护操作，包括：获取所述看护对象的体检特征，所述体检特征包括心律、血压和体温中至少一种；比较所述机器学习模型识别出的表情与体检特征参考范围是否相符合，所述体检特征参考范围为所述看护对象处于所述表情时对应的体检特征的参考范围；如果相符合，则执行给看护对象输氧和/或呼救的操作。
在一种实施方式中，所述看护对象包括老人、病人或残疾人；根据所述看护对象的表情执行对应的看护操作，包括：若识别出所述看护对象的表情是生气，则执行启动通风设备、打开电视和启动呼叫设备中的至少一种操作；和/或，若识别出所述看护对象的表情是痛苦，则执行给看护对象提供饮食和/或药品的操作。
在一种实施方式中，所述看护对象包括婴儿；根据所述看护对象的表情执行对应的看护操作，包括：若识别出婴儿的表情是痛苦，则执行播放音乐和/或摇动的操作；和/或，若识别出婴儿的表情是困倦，则执行播放摇篮曲的操作。
在一种实施方式中，所述方法还包括：将获取的所述看护对象的人脸图像、所述看护对象的表情和已执行看护操作的信息中的至少一项发送给指定人员的终端设备。
第二方面，本发明实施例提供了一种看护装置，包括：人脸图像获取单元，用于获取看护对象的人脸图像；表情识别单元，用于利用机器学习模型对所述人脸图像进行识别，获取看护对象的表情；看护操作执行单元，用于根据所述看护对象的表情执行对应的看护操作。
在一种实施方式中，所述人脸图像获取单元还用于：实时或按照预设周期获取看护对象的人脸图像。
在一种实施方式中，所述装置还包括设置单元，用于：预先存储与所述看护对象的表情对应的看护操作设置信息；所述看护操作执行单元还用于：获取与所述看护对象的表情对应的看护操作设置信息；执行与所述看护操作设置信息对应的操作。
在一种实施方式中，所述看护对象包括老人、病人或残疾人；所述表情识别单元还用于：获取所述看护对象的体检特征，利用所述体检特征训练所述机器学习模型以对所述人脸图像进行识别，所述体检特征包括心律、血压和体温中至少一种；所述看护操作执行单元还用于：若识别出所述看护对象的表情是痛苦，则执行给看护对象输氧和/或呼救的操作。
在一种实施方式中，所述看护操作执行单元还用于：获取所述看护对象的体检特征，所述体检特征包括心律、血压和体温中至少一种；比较所述机器学习模型识别出的表情与体检特征参考范围是否相符合，所述体检特征参考范围为所述看护对象处于所述表情时对应的体检特征的参考范围；如果相符合，则执行给看护对象输氧和/或呼救的操作。
在一种实施方式中，所述看护对象包括老人、病人或残疾人；所述看护操作执行单元还用于：若识别出所述看护对象的表情是生气，则执行启动通风设备、打开电视和启动呼叫设备中的至少一种操作；和/或，若识别出所述看护对象的表情是痛苦，则执行给看护对象提供饮食和/或药品的操作。
在一种实施方式中，所述看护对象包括婴儿；所述看护操作执行单元还用于：若识别出婴儿的表情是痛苦，则执行播放音乐和/或摇动的操作；和/或，若识别出婴儿的表情是困倦，则执行播放摇篮曲的操作。
在一种实施方式中，所述装置还包括信息发送单元，用于：将获取的所述看护对象的人脸图像、所述看护对象的表情和已执行看护操作的信息中的至少一项发送给指定人员的终端设备。
在一个可能的设计中，看护装置的结构中包括处理器和存储器，所述存储器用于存储支持看护装置执行上述第一方面中看护方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述看护装置还可以包括通信接口，用于看护装置与其他设备或通信网络通信。
第三方面，本发明实施例提供了一种看护装置，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述第一方面中任一所述的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一所述的方法。
上述技术方案具有如下优点或有益效果：根据识别出的看护对象的表情给出不同的响应操作，及时给看护对象提供帮助，安抚看护对象的情绪，可以在一定程度上帮助看护人照顾看护对象，用户体验良好。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1为本发明实施例提供的看护方法的流程图。
图2为本发明实施例提供的看护方法的根据看护操作设置信息执行看护操作的流程图。
图3为本发明实施例提供的看护方法的信息发送的流程图。
图4为本发明实施例提供的看护装置的结构框图。
图5为本发明实施例提供的看护装置的结构框图。
图6为本发明实施例提供的看护装置的结构框图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
图1为本发明实施例提供的看护方法的流程图。如图1所示，本发明实施例的看护方法包括：步骤S110，获取看护对象的人脸图像；步骤S120，利用机器学习模型对所述人脸图像进行识别，获取看护对象的表情；步骤S130，根据所述看护对象的表情执行对应的看护操作。
人脸的表情主要是通过眼部肌肉、颜面肌肉和口部肌肉的变化来表现各种情绪状态。表情包括多种类型，例如兴奋、喜欢、惊讶、痛苦、恐惧、害羞、厌恶、生气等。一般来说，眼睛和口腔附近的肌肉群是面部表情最丰富的部分。
可以预先利用各种表情的训练样本建立机器学习模型。利用机器学习模型对看护对象的人脸图像进行识别，能够识别出看护对象的表情，进而判定该看护对象需要进行什么看护操作。
在生活中婴儿、老人、病人、残疾人等是需要实时照顾的看护对象。看护对象的表情，能够表现出看护对象的状态。例如，如果识别出婴儿的表情是痛苦，表明该婴儿可能处于哭闹状态。婴儿哭闹的原因有多种，例如饥饿、太热、太冷、需要处理尿布等。再如，如果识别出老人的表情是生气，表明该老人可能处于不满意状态。老人不满意的原因有多种，例如对饭菜、床铺、屋内气味等不满意。
本发明实施例利用人脸识别技术获取看护对象的表情，进而根据识别出的表情给出不同的响应操作，可以安抚看护对象的情绪，帮助看护人照顾看护对象。
在一种实施方式中，获取看护对象的人脸图像，包括：实时或按照预设周期获取看护对象的人脸图像。
以看护婴儿为例，在上述步骤S110中，可通过设置于房间或婴儿车上的摄像头获取婴儿的人脸图像。在一种可能的实现方式中，可实时获取看护对象的人脸图像，以便及时地执行对应的看护操作。在另一种可能的实现方式中，可设置人脸图像获取周期，例如每1分钟获取一次人脸图像。
在步骤S120中，使用机器学习模型进行人脸识别，可识别出看护对象的表情，例如识别出病人的表情是痛苦还是平静。其中，机器学习模型可包括神经网络模型等。人脸的表情包含着复杂的内在情感，是看护时需要获取的重要信息。可将不同表情的人脸图片作为样本训练机器学习模型。在样本数量足够多的情况下，对于表情的识别会达到较好的效果。
在步骤S130中，根据识别到的看护对象的表情，及时地给出对应的响应操作。例如，可在婴儿车上设置摄像头和表情识别单元。在摄像头获取婴儿的人脸图像后，可将婴儿的人脸图像传输给表情识别单元。表情识别单元根据人脸图像识别的结果，控制婴儿车做出不同响应。比如，识别到婴儿的表情是难过，表明婴儿处于哭闹状态，可控制婴儿车播放音乐、摇动等，以安抚婴儿的情绪。再如，识别到老人的表情是生气，表明老人处于不满意状态时，可控制房间中自动通风设备启动，电视打开，以安抚老人的情绪，还可以控制呼叫设备启动，自动呼叫看护人的手机号码。本发明实施例的看护方法可以在一定程度上帮助家长和/或看护人看护婴儿，用户体验良好。
图2为本发明实施例提供的看护方法的根据看护操作设置信息执行看护操作的流程图。如图2所示，在一种实施方式中，所述方法还包括：步骤S210，预先存储与所述看护对象的表情对应的看护操作设置信息；图1中的步骤S130，根据所述看护对象的表情执行对应的看护操作，具体可包括：步骤S220，获取与所述看护对象的表情对应的看护操作设置信息；步骤S230，执行与所述看护操作设置信息对应的操作。
在一种实施方式中，所述看护对象包括婴儿；根据所述看护对象的表情执行对应的看护操作，包括：若识别出婴儿的表情是痛苦，则执行播放音乐和/或摇动的操作；和/或，若识别出婴儿的表情是困倦，则执行播放摇篮曲的操作。
仍以看护婴儿为例，家长可根据婴儿的喜好，预先设置不同表情对应的响应动作。如婴儿哭闹时识别出婴儿的表情是痛苦，对应的响应动作是播放欢快的音乐或给摇篮发出指令执行摇动的操作，以安抚婴儿的情绪。再如婴儿困倦时对应的响应动作是播放摇篮曲等。
在一种实施方式中，所述看护对象包括老人、病人或残疾人；利用机器学习模型对所述人脸图像进行识别，获取看护对象的表情，包括：获取所述看护对象的体检特征，利用所述体检特征训练所述机器学习模型以对所述人脸图像进行识别，所述体检特征包括心律、血压和体温中至少一种；根据所述看护对象的表情执行对应的看护操作，包括：若识别出所述看护对象的表情是痛苦，则执行给看护对象输氧和/或呼救的操作。
利用机器学习模型对所述人脸图像进行识别的基础上，还可针对看护对象的心律、血压或体温等体检特征，进一步进行表情的确认。具体地，可在机器学习模型中加入上述体检特征中的至少一种，利用体检特征对机器学习模型进行训练，使表情的识别更加准确。在识别出所述看护对象的表情是痛苦时，可能看护对象此时的体检特征也是处于异常状态，则采取相应的救护措施，如给看护对象输氧、呼救等。
在一种实施方式中，根据所述看护对象的表情执行对应的看护操作，包括：获取所述看护对象的体检特征，所述体检特征包括心律、血压和体温中至少一种；比较所述机器学习模型识别出的表情与体检特征参考范围是否相符合，所述体检特征参考范围为所述看护对象处于所述表情时对应的体检特征的参考范围；如果相符合，则执行给看护对象输氧和/或呼救的操作。
机器学习模型识别出看护对象的表情之后，在执行对应的看护操作之前，还可针对看护对象的心律、血压或体温等体检特征，进一步进行表情的确认。具体地，可比较机器学习模型识别出的表情与体检特征参考范围是否相符合。例如，正常心律的频率每分钟约为60～100次。看护对象处于痛苦表情时，可能是身体处于不适状态，其对应的心律可能也处于异常状态。在一个示例中，可设置痛苦表情对应的心律的频率为每分钟110次以上。若机器学习模型识别出看护对象的表情是痛苦，且实时获取到看护对象的心律的频率每分钟约为120次，则机器学习模型识别出的表情与体检特征参考范围相符合，则执行给看护对象输氧和/或呼救的操作。
图3为本发明实施例提供的看护方法的信息发送的流程图。如图3所示，在一种实施方式中，所述方法还包括步骤S140：将获取的所述看护对象的人脸图像、所述看护对象的表情和已执行看护操作的信息中的至少一项发送给指定人员的终端设备。所述指定人员包括但不限于家属、护工等看护人。
具体地，可在步骤S110，获取看护对象的人脸图像之后，执行步骤S140，将所述看护对象的人脸图像发送给家属和/或看护人，使家属和/或看护人能够随时看到看护对象的情况。
可在步骤S120，获取看护对象的表情之后，执行步骤S140，将所述看护对象的表情发送给家属和/或看护人，使家属和/或看护人能够随时看到看护对象的情绪状态，以使家属和/或看护人根据情况采取相应的看护措施。
可在步骤S130，执行对应的看护操作之后，执行步骤S140，将已执行看护操作的信息发送给家属和/或看护人，并提示家属和/或看护人继续关注看护对象的状况。
在另一种实施方式中，也可以在获取看护对象的表情之后，触发语音播报装置，播报获取的所述看护对象的表情。和/或，在执行对应的看护操作之后，触发语音播报装置，播报已执行看护操作的信息。以看护婴儿为例，语音播报装置可设置于婴儿车上或看护人经常出入的房间中。如可将语音播报装置设置于厨房，以便看护人在厨房做饭时也能够实时掌握婴儿的状况。
在一种实施方式中，所述看护对象包括婴儿、老人、病人和残疾人中的至少一种。以看护老人、病人和残疾人为例，可在房间内或轮椅上设置摄像头和表情识别单元。在一种实施方式中，还可设置看护机器人。首先通过摄像头获取老人、病人或残疾人的人脸图像。在表情识别单元识别出老人、病人或残疾人的表情是痛苦时，可给看护机器人发送指令，指示看护机器人给看护对象送水、药品和食物等。
例如如果识别出婴儿的表情是痛苦，表明该婴儿可能处于哭闹状态。婴儿哭闹的原因有多种，例如饥饿、太热、太冷、需要处理尿布等。这时，可以向看护人的手机等终端设备发送提醒，告知看护人“婴儿在哭闹，请检查他是否饿了、热了或需要换尿布了”。
在一种实施方式中，所述看护对象包括老人、病人或残疾人；根据所述看护对象的表情执行对应的看护操作，包括：若识别出所述看护对象的表情是生气，则执行启动通风设备、打开电视和启动呼叫设备中的至少一种操作；和/或，若识别出所述看护对象的表情是痛苦，则执行给看护对象提供饮食和/或药品的操作。
例如，如果识别出老人的表情是生气，表明该老人可能处于不满意状态。老人不满意的原因有多种，例如对饭菜、床铺、屋内气味等不满意。这时，可以向看护人的手机等终端设备发送提醒，告知看护人“老人不满意，请检查他是否需要更换饭菜、床铺或通风”。
以上提醒的具体内容仅是示例，而非限制。在实际应用场景中，可以根据看护对象的特点进行调整，可以支持用户自定义提醒信息。
再如，也可以在识别出老人的表情是生气的时候，直接给通风设备发生指令，启动通风设备以使室内空气新鲜、心情愉悦；或者直接给电视机发生指令，打开电视机调到预先设置的老人喜欢的频道，以使老人心情愉悦；或者直接给呼叫设备发生指令，启动呼叫设备以通知相关看护人员前来照看老人。
又如，如果识别出老人的表情是痛苦，表明老人可能处于饥渴或病痛状态。这时，可以给看护机器人发送指令，指示看护机器人执行给老人提供饮食和/或药品的操作。
上述技术方案具有如下优点或有益效果：根据识别出的看护对象的表情给出不同的响应操作，及时给看护对象提供帮助，安抚看护对象的情绪，可以在一定程度上帮助看护人照顾看护对象，用户体验良好。
图4为本发明实施例提供的看护装置的结构框图。如图4所示，本发明实施例的看护装置包括：人脸图像获取单元100，用于获取看护对象的人脸图像；表情识别单元200，用于利用机器学习模型对所述人脸图像进行识别，获取看护对象的表情；看护操作执行单元300，用于根据所述看护对象的表情执行对应的看护操作。
在一种实施方式中，所述人脸图像获取单元100还用于：实时或按照预设周期获取看护对象的人脸图像。
图5为本发明实施例提供的看护装置的结构框图。如图5所示，在一种实施方式中，所述装置还包括设置单元400，用于：预先存储与所述看护对象的表情对应的看护操作设置信息；所述看护操作执行单元300还用于：获取与所述看护对象的表情对应的看护操作设置信息；执行与所述看护操作设置信息对应的操作。
在一种实施方式中，所述看护对象包括老人、病人或残疾人；所述表情识别单元200还用于：获取所述看护对象的体检特征，利用所述体检特征训练所述机器学习模型以对所述人脸图像进行识别，所述体检特征包括心律、血压和体温中至少一种；所述看护操作执行单元300还用于：若识别出所述看护对象的表情是痛苦，则执行给看护对象输氧和/或呼救的操作。
在一种实施方式中，所述看护操作执行单元300还用于：获取所述看护对象的体检特征，所述体检特征包括心律、血压和体温中至少一种；比较所述机器学习模型识别出的表情与体检特征参考范围是否相符合，所述体检特征参考范围为所述看护对象处于所述表情时对应的体检特征的参考范围；如果相符合，则执行给看护对象输氧和/或呼救的操作。
在一种实施方式中，所述看护对象包括老人、病人或残疾人；所述看护操作执行单元300还用于：若识别出所述看护对象的表情是生气，则执行启动通风设备、打开电视和启动呼叫设备中的至少一种操作；和/或，若识别出所述看护对象的表情是痛苦，则执行给看护对象提供饮食和/或药品的操作。
在一种实施方式中，所述看护对象包括婴儿；所述看护操作执行单元300还用于：若识别出婴儿的表情是痛苦，则执行播放音乐和/或摇动的操作；和/或，若识别出婴儿的表情是困倦，则执行播放摇篮曲的操作。
参见图5，在一种实施方式中，所述装置还包括信息发送单元500，用于：将获取的所述看护对象的人脸图像、所述看护对象的表情和已执行看护操作的信息中的至少一项发送给指定人员的终端设备。所述指定人员包括但不限于家属、护工等看护人。
本发明实施例的看护装置中各单元的功能可以参见上述方法的相关描述，在此不再赘述。
在看护婴儿的应用场景中，本发明实施例的看护装置可以设置在婴儿车、摇篮、学步车、婴儿床、玩具或婴儿读物等物品中。例如玩具小鸟可做出跳跃、飞翔、鸣叫和下蛋等多个动作。可在玩具小鸟中设置本发明实施例提供的看护装置。在玩具小鸟做出动作一时，根据识别到的婴儿表情确定婴儿的兴奋度。在婴儿兴奋度较高的情况下，可增加动作一的执行次数；若婴儿的兴奋度较低，可停止执行动作一，改换执行动作，如将执行飞翔动作改换为执行下蛋动作，使婴儿始终保持快乐的情绪。本发明实施例基于人脸识别技术，能够根据看护对象的实时表情提供到位的服务，用户体验良好。
在看护老人、病人或残疾人的应用场景中，本发明实施例的看护装置可以设置在轮椅、拐杖、病床、治疗仪器或医药箱等物品中。
在一个可能的设计中，看护装置的结构中包括处理器和存储器，所述存储器用于存储支持看护装置执行上述看护方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述看护装置还可以包括通信接口，用于看护装置与其他设备或通信网络通信。
图6为本发明实施例提供的看护装置的结构框图。如图6所示，该装置包括：存储器101和处理器102，存储器101内存储有可在处理器102上运行的计算机程序。所述处理器102执行所述计算机程序时实现上述实施例中的看护方法。所述存储器101和处理器102的数量可以为一个或多个。
该装置还包括：
通信接口103，用于与外界设备进行通信，进行数据交互传输。
存储器101可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器101、处理器102和通信接口103独立实现，则存储器101、处理器102和通信接口103可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent)总线或扩展工业标准体系结构(EISA，Extended Industry StandardComponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器101、处理器102及通信接口103集成在一块芯片上，则存储器101、处理器102及通信接口103可以通过内部接口完成相互间的通信。
又一方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述看护方法中任一所述的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种看护方法，其特征在于，包括：
获取看护对象的人脸图像，其中，所述看护对象包括老人、病人或残疾人；
利用机器学习模型对所述人脸图像进行识别，获取看护对象的表情，包括：获取所述看护对象的体检特征，利用所述体检特征训练所述机器学习模型以对所述人脸图像进行识别，获取所述看护对象的表情，其中，所述机器学习模型基于不同的体检特征和不同表情的样本人脸图像进行训练得到，所述体检特征包括心律、血压和体温中至少一种；
根据所述看护对象的表情执行对应的看护操作，包括：若识别出所述看护对象的表情是痛苦，则执行给看护对象输氧和/或呼救的操作。
2.根据权利要求1所述的方法，其特征在于，获取看护对象的人脸图像，包括：实时或按照预设周期获取看护对象的人脸图像。
3.根据权利要求1所述的方法，其特征在于，还包括：预先存储与所述看护对象的表情对应的看护操作设置信息；
根据所述看护对象的表情执行对应的看护操作，包括：获取与所述看护对象的表情对应的看护操作设置信息；执行与所述看护操作设置信息对应的操作。
4.根据权利要求1-3中任一项所述的方法，其特征在于，根据所述看护对象的表情执行对应的看护操作，包括：
获取所述看护对象的体检特征，所述体检特征包括心律、血压和体温中至少一种；
比较所述机器学习模型识别出的表情与体检特征参考范围是否相符合，所述体检特征参考范围为所述看护对象处于所述表情时对应的体检特征的参考范围；
如果相符合，则执行给看护对象输氧和/或呼救的操作。
5.根据权利要求1-3中任一项所述的方法，其特征在于，所述看护对象包括老人、病人或残疾人；
根据所述看护对象的表情执行对应的看护操作，包括：
若识别出所述看护对象的表情是生气，则执行启动通风设备、打开电视和启动呼叫设备中的至少一种操作；和/或
若识别出所述看护对象的表情是痛苦，则执行给看护对象提供饮食和/或药品的操作。
6.根据权利要求1-3中任一项所述的方法，其特征在于，所述看护对象包括婴儿；
根据所述看护对象的表情执行对应的看护操作，包括：
若识别出婴儿的表情是痛苦，则执行播放音乐和/或摇动的操作；和/或
若识别出婴儿的表情是困倦，则执行播放摇篮曲的操作。
7.根据权利要求1-3中任一项所述的方法，其特征在于，还包括：
将获取的所述看护对象的人脸图像、所述看护对象的表情和已执行看护操作的信息中的至少一项发送给指定人员的终端设备。
8.一种看护装置，其特征在于，包括：
人脸图像获取单元，用于获取看护对象的人脸图像，其中，所述看护对象包括老人、病人或残疾人；
表情识别单元，用于利用机器学习模型对所述人脸图像进行识别，获取看护对象的表情，其中，所述机器学习模型基于不同的体检特征和不同表情的样本人脸图像进行训练得到，所述体检特征包括心律、血压和体温中至少一种；
看护操作执行单元，用于根据所述看护对象的表情执行对应的看护操作；
所述表情识别单元还用于：获取所述看护对象的体检特征，利用所述体检特征训练所述机器学习模型以对所述人脸图像进行识别，获取所述看护对象的表情；
所述看护操作执行单元还用于：若识别出所述看护对象的表情是痛苦，则执行给看护对象输氧和/或呼救的操作。
9.根据权利要求8所述的装置，其特征在于，所述人脸图像获取单元还用于：实时或按照预设周期获取看护对象的人脸图像。
10.根据权利要求8所述的装置，其特征在于，还包括设置单元，用于：预先存储与所述看护对象的表情对应的看护操作设置信息；
所述看护操作执行单元还用于：获取与所述看护对象的表情对应的看护操作设置信息；执行与所述看护操作设置信息对应的操作。
11.根据权利要求8-10中任一项所述的装置，其特征在于，所述看护操作执行单元还用于：
获取所述看护对象的体检特征，所述体检特征包括心律、血压和体温中至少一种；
比较所述机器学习模型识别出的表情与体检特征参考范围是否相符合，所述体检特征参考范围为所述看护对象处于所述表情时对应的体检特征的参考范围；
如果相符合，则执行给看护对象输氧和/或呼救的操作。
12.根据权利要求8-10中任一项所述的装置，其特征在于，所述看护对象包括老人、病人或残疾人；
所述看护操作执行单元还用于：
若识别出所述看护对象的表情是生气，则执行启动通风设备、打开电视和启动呼叫设备中的至少一种操作；和/或
若识别出所述看护对象的表情是痛苦，则执行给看护对象提供饮食和/或药品的操作。
13.根据权利要求8-10中任一项所述的装置，其特征在于，所述看护对象包括婴儿；
所述看护操作执行单元还用于：
若识别出婴儿的表情是痛苦，则执行播放音乐和/或摇动的操作；和/或
若识别出婴儿的表情是困倦，则执行播放摇篮曲的操作。
14.根据权利要求8-10中任一项所述的装置，其特征在于，还包括信息发送单元，用于：
将获取的所述看护对象的人脸图像、所述看护对象的表情和已执行看护操作的信息中的至少一项发送给指定人员的终端设备。
15.一种看护装置，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN201811351440.6A 2018-11-14 2018-11-14 看护方法、装置及存储介质 Active CN111191483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811351440.6A CN111191483B (zh) 2018-11-14 2018-11-14 看护方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811351440.6A CN111191483B (zh) 2018-11-14 2018-11-14 看护方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111191483A CN111191483A (zh) 2020-05-22
CN111191483B true CN111191483B (zh) 2023-07-21

Family

ID=70706967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811351440.6A Active CN111191483B (zh) 2018-11-14 2018-11-14 看护方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111191483B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762184A (zh) * 2021-09-13 2021-12-07 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备和计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
KR20150034023A (ko) * 2013-09-25 2015-04-02 민준영 노인 관리용 무선 카메라 장치 및 이를 통한 노인 관리 시스템
CN106778497A (zh) * 2016-11-12 2017-05-31 上海任道信息科技有限公司 一种基于综合检测的智能养老看护方法及系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351981A (ja) * 2001-05-24 2002-12-06 Matsushita Electric Ind Co Ltd 看護支援システム
US20140221866A1 (en) * 2010-06-02 2014-08-07 Q-Tec Systems Llc Method and apparatus for monitoring emotional compatibility in online dating
WO2011153318A2 (en) * 2010-06-02 2011-12-08 Q-Tec Systems Llc Method and apparatus for monitoring emotion in an interactive network
KR20130122535A (ko) * 2010-06-07 2013-11-07 어펙티바,아이엔씨. 웹서비스들을 이용한 심리 상태 분석
US20140357976A1 (en) * 2010-06-07 2014-12-04 Affectiva, Inc. Mental state analysis using an application programming interface
US9204823B2 (en) * 2010-09-23 2015-12-08 Stryker Corporation Video monitoring system
US9934427B2 (en) * 2010-09-23 2018-04-03 Stryker Corporation Video monitoring system
WO2013058985A1 (en) * 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for detecting deterioration of health status
US20140307076A1 (en) * 2013-10-03 2014-10-16 Richard Deutsch Systems and methods for monitoring personal protection equipment and promoting worker safety
WO2016108225A1 (en) * 2014-12-31 2016-07-07 Parenting Science Ltd Systems and methods of monitoring and encouraging exercise in infants
WO2016205246A1 (en) * 2015-06-15 2016-12-22 Knit Health, Inc. Remote biometric monitoring system
US10176642B2 (en) * 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
US9424532B1 (en) * 2015-12-21 2016-08-23 International Business Machines Corporation Machine training and search engine for providing specialized cognitive healthcare apparatus
DE102016205425A1 (de) * 2016-04-01 2017-10-05 Robert Bosch Gmbh Verfahren, Vorrichtung und System zum Überwachen eines Kindes
US9934363B1 (en) * 2016-09-12 2018-04-03 International Business Machines Corporation Automatically assessing the mental state of a user via drawing pattern detection and machine learning
US10105617B2 (en) * 2016-09-20 2018-10-23 International Business Machines Corporation Cognitive mobile device
CN107463874A (zh) * 2017-07-03 2017-12-12 华南师范大学 情绪识别方法及系统、及应用该方法的智能看护系统
CN107665334A (zh) * 2017-09-11 2018-02-06 广东欧珀移动通信有限公司 基于表情的智能控制方法和装置
CN108733547B (zh) * 2018-03-30 2022-04-26 百度在线网络技术（北京）有限公司 监控方法和装置
CN110598611B (zh) * 2019-08-30 2023-06-09 深圳智慧林网络科技有限公司 看护系统、基于看护系统的病人看护方法和可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
KR20150034023A (ko) * 2013-09-25 2015-04-02 민준영 노인 관리용 무선 카메라 장치 및 이를 통한 노인 관리 시스템
CN106778497A (zh) * 2016-11-12 2017-05-31 上海任道信息科技有限公司 一种基于综合检测的智能养老看护方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
人脸疼痛表情识别综述;彭进业;杨瑞靖;冯晓毅;王文星;彭先霖;《数据采集与处理》(第1期);第47-59页 *

Also Published As

Publication number Publication date
CN111191483A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
Mahler Autism and symbiosis, two extreme disturbances of identity 1
Widström et al. Skin‐to‐skin contact the first hour after birth, underlying implications and clinical practice
Gardner et al. The neonate and the environment
Greenson On the silence and sounds of the analytic hour
American Academy of Pediatrics Caring for your baby and young child: Birth to age 5
Mobbs et al. Imprinting, latchment and displacement: a mini review of early instinctual behaviour in newborn infants influencing breastfeeding success
Van Manen Phenomenology of the newborn: Life from womb to world
CN111191483B (zh) 看护方法、装置及存储介质
CN113925508A (zh) 信息提供装置、信息提供方法以及计算机可读记录介质
Marski et al. Developmental Care: assistance of nurses from Neonatal Intensive Care Units
Cameron The nursing ‘How are you?’
Alvarez Types of sexual transference and countertransference in psychotherapeutic work with children and adolescents
Davis et al. Touch deprivation and counselling as healing touch
WO2019200158A1 (en) Systems and methods for improved communication with patients
Bivens A neonatal intensive care unit (NICU) soundscape: Physiological monitors, rhetorical ventriloquism, and earwitnessing
Benakappa Breastfeeding in the first hour of birth: Science and skills
Palmer Baby Matters, Revised 2nd Ed., What Your Doctor May Not Tell You About Caring for Your Baby
CN204596102U (zh) 一种健康管理电路
Berlin Attachment behavior in hospitalized patients
Versteegh et al. Mimo: a non-pharmacological comforting solution for preterm neonates
Freitag et al. Holding Ashley (X): Bestowing Identity Through Caregiving in Profound Intellectual Disability
US20230352156A1 (en) Outcomes and Response Times for Patients in Critical Care Settings
Joyce Maternal perinatal mental illness: the baby’s unexperienced breakdown
De Roiste Aspects of tactile stimulation with infants in intensive and special care baby units
Lazzara Birth and Postpartum

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant