CN110598612B

CN110598612B - 基于移动终端的病人看护方法、移动终端和可读存储介质

Info

Publication number: CN110598612B
Application number: CN201910826346.XA
Authority: CN
Inventors: 丁晓端; 钟王攀; 金大鹏; 黄坤; 李彤; 殷燕
Original assignee: Shenzhen Zhihuilin Network Technology Co ltd
Current assignee: Shenzhen Zhihuilin Network Technology Co ltd
Priority date: 2019-08-30
Filing date: 2019-08-30
Publication date: 2023-06-09
Anticipated expiration: 2039-08-30
Also published as: CN110598612A

Abstract

本发明公开了一种基于移动终端的病人看护方法，移动终端包括图像采集模块，所述基于移动终端的病人看护方法包括以下步骤：在检测到针对移动终端的操作时，启动图像采集模块；获取所述图像采集模块采集的病人的图像；根据所述图像确定所述病人的情绪状态。本发明还公开一种移动终端和可读存储介质。本发明移动终端能够及时的发现病人的异常情绪。

Description

基于移动终端的病人看护方法、移动终端和可读存储介质

技术领域

本发明涉及病人看护技术领域，尤其涉及一种基于移动终端的病人看护方法、移动终端和可读存储介质。

背景技术

随着人们生活、工作的压力增大，越来越多的人的精神处于紧张以及压抑状态，若不及时处理以及疏导，会导致人们产生精神疾病。

在当病人的精神疾病被治疗完毕后，还需要对病人进行观察，以避免病人复发。但家属不可能时时刻刻看护病人，或者病人较为抵触家属的看护，也即病人在进行康复治疗过程中，或多或少会处于较为封闭的环境中，从而导致病人的异常情绪不能及时发现。

发明内容

本发明的主要目的在于提供一种基于移动终端的病人看护方法、移动终端和，旨在解决病人的异常情绪不能被及时发现的问题。

为实现上述目的，本发明提供的一种基于移动终端的病人看护方法，移动终端包括图像采集模块，所述基于移动终端的病人看护方法包括以下步骤：

在检测到针对移动终端的操作时，启动图像采集模块；

获取所述图像采集模块采集的病人的图像；

根据所述图像确定所述病人的情绪状态。

在一实施例中，所述根据所述图像确定所述病人的情绪状态的步骤包括：

确定所述移动终端当前运行的应用程序；

根据所述图像以及所述应用程序确定所述病人的情绪状态。

在一实施例中，所述根据所述图像以及所述应用程序确定所述病人的情绪状态的步骤包括：

确定所述应用程序的类型以及持续运行时长；

根据所述图像、所述应用程序的类型以及所述应用程序的持续运行时长确定所述病人的情绪状态。

根据所述图像识别所述病人的脸部表情以及肢体动作；

确定所述脸部表情以及所述肢体动作对应的情绪状态，以作为所述病人的情绪状态。

在一实施例中，所述移动终端还包括语音采集模块，所述根据所述图像确定所述病人的情绪状态的步骤包括：

获取所述语音采集模块采集的病人的语音以及所述语音的语音参数，并将所述语音转换为文本，其中，所述语音参数包括音调、音速以及响度中的至少一个；

根据所述语音参数、所述文本以及所述图像确定所述病人的情绪状态。

在一实施例中，所述启动图像采集模块的步骤之后，还包括：

隐藏所述图像采集模块对应的图像采集界面。

在一实施例中，所述根据所述图像确定所述病人的情绪状态的步骤之后，还包括：

根据所述情绪状态判断所述病人的情绪是否异常；

在所述病人的情绪异常时，向预设终端发送病人情绪异常的提示信息。

在一实施例中，所述启动图像采集模块的步骤之前，还包括：

确定移动终端未被操作的间隔时长，并判断间隔时长是否大于预设间隔时长；

在所述间隔时长大于预设间隔时长时，输出音频或者进行振动，以供所述病人对所述移动终端进行操作。

为实现上述目的，本发明还提供一种移动终端，所述移动终端包括图像采集模块、存储器、处理器以及存储在所述存储器并可在所述处理器上运行的病人看护程序，所述病人看护程序被处理器执行时实现如上所述的基于移动终端的病人看护方法的各个步骤。

为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质存储有病人看护程序，所述病人看护程序被处理器执行时实现如上所述的基于移动终端的病人看护方法的各个步骤。

本发明提供的基于移动终端的病人看护方法、移动终端和可读存储介质，移动终端在检测到针对移动终端的操作时，启动图像采集模块，并获取图像采集模块采集的病人的图像，并根据图像确定病人的情绪状态。由于病人在处于较为封闭的环境中，或多或少会对移动终端进行操作，使得移动终端能够采集病人的图像，进而根据病人的图像确定病人的情绪状态，从而及时发现病人的异常情绪。

附图说明

图1为本发明实施例涉及的移动终端的硬件构架示意图；

图2为本发明基于移动终端的病人看护方法第一实施例的流程示意图；

图3为图2中步骤S30的细化流程示意图；

图4为本发明基于移动终端的病人看护方法第二实施例的流程示意图；

图5为本发明基于移动终端的病人看护方法第三实施例的流程示意图；

图6为本发明基于移动终端的病人看护方法第四实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：在检测到针对移动终端的操作时，启动图像采集模块；获取所述图像采集模块采集的病人的图像；根据所述图像确定所述病人的情绪状态。

由于病人在处于较为封闭的环境中，或多或少会对移动终端进行操作，使得移动终端能够采集病人的图像，进而根据病人的图像确定病人的情绪状态，从而及时发现病人的异常情绪。

作为一种实现方案，移动终端可以如图1所示。

本发明实施例方案涉及的是移动终端，移动终端可为任意包括图像采集模块的终端，例如，手机、Ipid等，移动终端包括：处理器101，例如CPU，存储器102，通信总线103以及图像采集模块104。其中，通信总线103用于实现这些组件之间的连接通信，图像采集模块104可为摄像头。

存储器102可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。如图1所示，作为一种计算机存储介质的存储器103中可以包括病人看护程序；而处理器101可以用于调用存储器102中存储的病人看护程序，并执行以下操作：

在检测到针对移动终端的操作时，启动图像采集模块；

获取所述图像采集模块采集的病人的图像；

根据所述图像确定所述病人的情绪状态。

在一实施例中，处理器101可以用于调用存储器102中存储的病人看护程序，并执行以下操作：

确定所述移动终端当前运行的应用程序；

根据所述图像以及所述应用程序确定所述病人的情绪状态。

确定所述应用程序的类型以及持续运行时长；

根据所述图像识别所述病人的脸部表情以及肢体动作；

隐藏所述图像采集模块对应的图像采集界面。

根据所述情绪状态判断所述病人的情绪是否异常；

本实施例根据上述方案，移动终端在检测到针对移动终端的操作时，启动图像采集模块，并获取图像采集模块采集的病人的图像，并根据图像确定病人的情绪状态。由于病人在处于较为封闭的环境中，或多或少会对移动终端进行操作，使得移动终端能够采集病人的图像，进而根据病人的图像确定病人的情绪状态，从而及时发现病人的异常情绪。

基于上述移动终端的硬件构架，提出本发明基于移动终端的病人看护方法的实施例。

参照图2，图2为本发明基于移动终端的病人看护方法的第一实施例，所述基于移动终端的病人看护方法包括以下步骤：

步骤S10，在检测到针对移动终端的操作时，启动图像采集模块；

在本实施例中，执行主体为移动终端。移动终端可为手机、Ipad等设有图像采集模块的终端，图像采集模块可为摄像头。

移动终端设有病人看护程序，也即病人看护APP，APP与服务器连接。在移动终端开机后，APP一直处于后台运行中，且不会被关闭，APP享有对移动终端的图像采集模块的控制权限，且图像采集模块为移动终端的正面摄像头。在移动终端检测到病人针对自身的操作时，APP控制图像采集模块启动。需要说明的是，操作可以是任意唤醒移动终端显示运行界面的操作，比如触屏操作、摇晃操作、屏幕解锁操作等。移动终端可为病人专属的终端。需要说明的是，在本实施例中，病人指的是精神疾病治疗好，但处于康复期需要观察的用户。

步骤S20，获取所述图像采集模块采集的病人的图像；

步骤S30，根据所述图像确定所述病人的情绪状态。

由于病人对移动终端进行操作时，脸部一般是面对正面摄像头的，从而使得移动终端的正面摄像头采集病人的图像。在正面摄像头，也即图像采集模块在采集到病人的图像后，将图像上传至APP中。APP设有情绪识别模型，情绪识别模型通过对含有异常情绪的病人的图像进行训练得到。具体的，采集异常情绪的病人的图像，且根据不同的异常情绪对图像进行情绪标签的标记，异常情绪包括惊恐、愤怒、过度兴奋等不正常的情绪，将带有情绪标签的图像输入预设的模型中进行训练，在当模型的收敛值不在变化时，停止训练，从而得到情绪识别模型，再将情绪识别模型存储至APP中。当然，也可对正常情绪以及异常情绪的病人的图像进行训练，得到情绪识别模型。

APP通过情绪识别模型对图像中病人的脸部表情以及肢体动作进行识别，从而确定病人的情绪状态。具体的，请参照图3，也即步骤S30包括：

步骤S31，根据所述图像识别所述病人的脸部表情以及肢体动作；

步骤S32，确定所述脸部表情以及所述肢体动作对应的情绪状态，以作为所述病人的情绪状态。

移动终端从图像中查找到病人的脸部以及四肢，从而识别病人的脸部表情以及肢体动作，脸部表情以及肢体动作能够表征病人的情绪状态。例如，手握拳头且面目较为狰狞，可以判定病人处于愤怒状态。可以理解的是，移动终端先从图像中识别病人的脸部表情，再确定病人的肢体动作，脸部表情为主，肢体动作为辅，也即优先从脸部表情判断病人的情绪状态，再通过肢体动作对由脸部表情确定情绪状态进行再次确认。

此外，可设置脸部表情与肢体动作的组合，每种组合对应一种情绪状态。例如，脸部表情分为5种、肢体动作分为10种，组合即为50种，对应50种情绪状态。

当然，不同的病人的脸部表情所代表的情绪状态不同，因此，可对病人的情绪状态进行观看，从而收集病人不同情绪状态下的图像，以建立病人对应的情绪识别模型，也即APP中存储的是病人对应的情绪识别模型。

此外，APP可与服务器连接，服务器存储情绪识别模型，APP仅需将图像上传至服务器，由服务器通过情绪识别模型识别病人的情绪状态，再将情绪状态反馈至APP。

在移动终端识别出病人的情绪状态后，进一步根据情绪状态判断病人的情绪是否异常。情绪分为正面情绪以及负面情绪，正面情绪可为高兴、兴奋等，而负面情绪可为悲伤、惊恐等。移动终端在确定情绪状态后，确定情绪状态是否为负面情绪，若是，即可判定病人的情绪异常；若情绪状态为正面情绪时，需要进一步确定情绪状态的情绪等级，若情绪等级大于预设等级，即可判定病人的情绪异常。需要说明的是，情绪状态可分为多个等级，例如1、2、3、4以及5五个等级，其中，1等级与2等级属于轻微的情绪等级，3等级属于中等的情绪等级，而4等级以及5等级则属于严重的情绪等级，可将预设等级设置为3级情绪等级。也即在情绪状态为兴奋时，若情绪等级为4级时，则为严重兴奋，可视为过度兴奋，此时，即可判定病人的情绪为异常。

移动终端可以记录病人的异常情绪的次数，每间隔一段时间对病人的情绪状态进行确定，在预设周期内，如2h，若异常情绪的次数达到预设次数，则向预设终端发送病人情绪异常的提示信息，使得预设终端的用户与病人进行沟通或者陪护。此外，移动终端在确定病人的情绪异常时，可直接向预设终端发送病人情绪异常的提示信息。

在本实施例提供的技术方案中，移动终端在检测到针对移动终端的操作时，启动图像采集模块，并获取图像采集模块采集的病人的图像，并根据图像确定病人的情绪状态。由于病人在处于较为封闭的环境中，或多或少会对移动终端进行操作，使得移动终端能够采集病人的图像，进而根据病人的图像确定病人的情绪状态，从而及时发现病人的异常情绪。

在一实施例中，移动终端还包括语音采集模块，语音采集模块可为麦克风，也即APP拥有控制麦克风的权限。移动终端在采集病人的图像的同时，通过语音采集模块采集病人的语音。移动终端中含有病人的声纹模板，在采集到语音后，移动终端提取该语音的声纹特征，并比对声纹模板与声纹特征以确定该语音是否为病人发出。若该语音为病人发出，那么移动终端获取语音的语音参数，语音参数包括音调、音速以及响度中的至少一个，同时，移动终端还将语音转化为文本。

在得到语音的语音参数以及文本后，即可根据语音参数、文本、脸部表情以及肢体动作确定病人的情绪状态。具体的，语音参数以及文本也是确定病人情绪状态的因素之一，例如，音调较高、语速较快、响度较高、且文本中为无意义的词语，即可表征病人的情绪状态为激动、愤怒等情绪状态，移动终端再结合脸部表情以及肢体动作进一步确定病人的情绪状态。

此外，移动终端可能通过脸部表情以及肢体动作无法准确的判断病人的情绪状态，也即病人的异常情绪和病人的正常情绪的脸部表情以及肢体动作相同。此时，可通过语音进行情绪状态的确定。例如，病人的情绪状态为孤单，病人可能在自言自语，比如，“我想小明了”，移动终端通过捕捉语音，识别到该文本，在通过病人的重复次数，确定孤单的等级，在病人重复“我想小明了”的次数达到预设次数，或者在预设时间周期的重复次数达到预设次数，即可判定病人孤单且需要进行安抚，也即移动终端可以通过语音转化的文本确定病人的情绪状态。

在本实施例中，移动终端可以通过语音的文本、语音的语音参数、脸部表情以及肢体动作中的一个或多个准确的确定病人的情绪状态。

参照图4，图4为本发明基于移动终端的病人看护方法的第二实施例，基于第一实施例，所述步骤S30包括：

步骤S33，确定所述移动终端当前运行的应用程序；

步骤S34，根据所述图像以及所述应用程序确定所述病人的情绪状态。

在本实施例中，病人在对移动终端进行操作时，不可避免的会启动某些应用程序，此时，移动终端检测当前运行的应用程序，进而根据应用程序以及图像确定病人的情绪状态。

具体的，移动终端可确定应用程序的类型以及持续运行时长；应用程序可分为游戏、音乐、视频、社交等类型的应用程序，此外，移动终端还可确定应用程序具体运行的内容的类型，例如，应用程序为音乐播放器，移动终端可确定播放的音乐的类型，如轻快的音乐、伤感的音乐等；又例如，应用程序为视频播放器，移动终端可确定播放的视频的类型。移动终端还可进一步确定应用程序的持续运行时长，例如，在应用程序为游戏时，获取病人进行游戏的时长，时长即为游戏的持续运行时长。

移动终端可以根据应用程序的类型、应用程序的持续时长辅助图像中病人的脸部表情以及肢体动作对病人的情绪状态进行确定。病人在被观察时，表征精神疾病的情绪状态已被治疗，此处的治疗可能是表面的治疗，但内心并未完全根治，也即图像中的病人的脸部表情以及肢体动作表征病人的情绪状态是正常；但实际上，此种判断方式可能并不准确。因此，移动终端根据运行的应用程序的类型以及应用程序的持续运行时长辅助脸部表情以及肢体动作进行病人的情绪状态的确定。例如，运行的应用程序为游戏，且游戏为暴力血腥的游戏，也即应用程序的类型为暴力，若该游戏的持续运行时长达到预设时长时，即可初步判定病人有暴力倾向，且移动终端可进一步根据脸部表情以及肢体动作再次进行确认；若是病人的脸部表情为狰狞或者兴奋、且手部很用力，如冒青筋，即可判断病人的情绪状态为过度兴奋且有暴力倾向。

在本实施例提供的技术方案中，移动终端确定当前运行的应用程序，并根据应用程序的类型、应用程序的持续运行时长以及图像准确的确定病人的情绪状态。

参照图5，图5为本发明基于移动终端的病人看护方法第三实施例，基于第一或第二实施例，所述步骤S10之后，还包括：

步骤S40，隐藏所述图像采集模块对应的图像采集界面。

在本实施例中，病人的精神疾病被治疗好后，病人会潜意识的认为自身的精神疾病已根治，对于康复观察有一定的抵触心理。或者，病人在得知移动终端采集图像，会对自身的脸部表情以及肢体动作进行隐藏，也即在移动终端的镜头前仅露出正常的脸部表情以及肢体动作，从而使得移动终端无法真实的确定病人实际的情绪状态。

对此，在移动终端启动图像采集模块时，并不会显示图像采集模块对应的图像采集界面，也即移动终端将图像采集界面隐藏，从而使得病人无法察觉到摄像头启动，从而使得移动终端隐秘的采集病人的图像，且在当移动终端根据图像确定用户的情绪状态后，可将图像进行删除，从而进一步增强病人图像获取的隐蔽性。

在本实施例提供的技术方案中，移动终端在启动图像采集模块后，将图像采集模块对应的图像显示界面隐藏，从而使得病人无法察觉移动终端启动图像采集模块，进而使得移动终端隐秘的采集病人的图像，避免移动终端对病人采集图像对病人造成抵制。

参照图6，图6为本发明基于移动终端的病人看护方法的第四实施例，基于第一至第三实施例，所述步骤S10之前，还包括：

步骤S50，确定移动终端未被操作的间隔时长，并判断间隔时长是否大于预设间隔时长；

步骤S60，在所述间隔时长大于预设间隔时长时，输出音频或者进行振动，以供所述病人对所述移动终端进行操作。

在本实施例中，移动终端是在被病人操作时，进行病人的图像采集。而实际上，病人有可能长时间不会触碰移动终端，也即导致移动终端长时间不能够确定病人的情绪状态，移动终端失去了观察病人的情绪状态的初衷。

对此，移动终端在进行每一次操作时，会记录操作对应的结束时间点，并基于结束时间点开始计时。结束时间点表征病人不再触碰移动终端。

移动终端开始计时的时长即为移动终端未被病人操作的间隔时长，移动终端再判断间隔时长是否大于预设间隔时长。

若间隔时长大于预设间隔时长时，移动终端则需要获取病人的图像以对病人进行情绪状态的确定。此时，移动终端可输出音频或者进行振动，吸引病人的注意，从而使得病人对移动终端进行操作，进而采集病人的图像，以确定病人的情绪状态。

在本实施例提供的技术方案中，移动终端确定其未被操作的间隔时长，并判断间隔时长是否大于预设间隔时长，并在间隔时长大于预设间隔时长，输出音频或者进行振动，以吸引病人的注意，从而使得病人对移动终端进行操作，使得移动终端得以确定病人的情绪状态。

本发明还提供一种移动终端，所述移动终端包括图像采集模块、存储器、处理器以及存储在所述存储器并可在所述处理器上运行的病人看护程序，所述病人看护程序被处理器执行时实现如上实施例所述的基于移动终端的病人看护方法的各个步骤。

本发明还提供一种可读存储介质，所述可读存储介质存储有病人看护程序，所述病人看护程序被处理器执行时实现如上实施例所述的基于移动终端的病人看护方法的各个步骤。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于移动终端的病人看护方法，其特征在于，移动终端包括图像采集模块，所述基于移动终端的病人看护方法包括以下步骤：

在检测到针对移动终端的操作时，启动图像采集模块，将所述图像采集模块对应的图像显示界面隐藏，以使病人无法察觉所述移动终端启动图像采集模块，其中，所述操作是任意唤醒所述移动终端显示运行界面的操作；

获取所述图像采集模块采集的病人的图像；

根据所述图像确定所述病人的情绪状态；

所述根据所述图像确定所述病人的情绪状态的步骤包括：

确定所述移动终端当前运行的应用程序；

根据所述图像以及所述应用程序确定所述病人的情绪状态；

所述根据所述图像以及所述应用程序确定所述病人的情绪状态的步骤包括：

确定所述应用程序的类型以及持续运行时长，其中所述应用程序的类型为应用程序具体运行的内容的类型；

根据所述图像、所述应用程序的类型以及所述应用程序的持续运行时长确定所述病人的情绪状态，其中，所述应用程序的类型以及所述应用程序的持续运行时长用于辅助从所述图像中识别的脸部表情和肢体动作确定所述病人的情绪状态。

2.如权利要求1所述的基于移动终端的病人看护方法，其特征在于，所述根据所述图像确定所述病人的情绪状态的步骤包括：

根据所述图像识别所述病人的脸部表情以及肢体动作；

3.如权利要求1所述的基于移动终端的病人看护方法，其特征在于，所述移动终端还包括语音采集模块，所述根据所述图像确定所述病人的情绪状态的步骤包括：

4.如权利要求1所述的基于移动终端的病人看护方法，其特征在于，所述启动图像采集模块的步骤之后，还包括：

隐藏所述图像采集模块对应的图像采集界面。

5.如权利要求1-4任一项所述的基于移动终端的病人看护方法，其特征在于，所述根据所述图像确定所述病人的情绪状态的步骤之后，还包括：

根据所述情绪状态判断所述病人的情绪是否异常；

6.如权利要求1-4任一项所述的基于移动终端的病人看护方法，其特征在于，所述启动图像采集模块的步骤之前，还包括：

7.一种移动终端，其特征在于，所述移动终端包括图像采集模块、存储器、处理器以及存储在所述存储器并可在所述处理器上运行的病人看护程序，所述病人看护程序被处理器执行时实现如权利要求1-6任一项所述的基于移动终端的病人看护方法的各个步骤。

8.一种可读存储介质，其特征在于，所述可读存储介质存储有病人看护程序，所述病人看护程序被处理器执行时实现如权利要求1-6任一项所述的基于移动终端的病人看护方法的各个步骤。