CN108010271B - 一种看护机器人、报警系统和方法 - Google Patents

Abstract

一种看护机器人，该看护机器人可跟随病人行走而行驶，包括：跟踪模块、IMU传感器、相机、控制器和报警模块。由于通过利用跟踪模块获取的病人位置信息、IMU传感器测量机器人当前行驶的三轴姿态角和加速度以及相机采集机器人前方的图像数据，预测机器人下一时刻所处的位置，再结合所采集的机器人前方图像数据，确定病人所处的场景，使得可在病人处于预设的危险场景时，进行报警提醒，及时发现病人所处场景存在的潜在危险。相应地，本申请还提供了一种看护机器人报警系统和方法以及一种可读存储介质。

Description

一种看护机器人、报警系统和方法

技术领域

本发明涉及智能机器人技术领域，具体涉及一种看护机器人、报警系统和方法。

背景技术

阿尔茨海默病(Alzheimer disease，AD)，又叫老年性痴呆，是一种中枢神经系统变性病，起病隐袭，病程呈慢性进行性，是老年期痴呆最常见的一种类型，主要表现为渐进性记忆障碍、认知功能障碍、人格改变等神经精神症状，严重影响社交、职业与生活。

以美国为例，350万阿尔茨海默病患者生活在家里。每年有225万的阿尔茨海默病患者经历在家中跌倒导致骨折。对阿尔茨海默病患者来说，任何下跌都可能有危险甚至造成重大后果。为了照顾阿尔茨海默病患者，人工看护者需保持高度警惕，看护者的压力很大，亟需开发一种看护机器人帮助这些阿尔茨海默病患者避免跌倒，并减少看守者的压力。

发明内容

本申请提供一种看护机器人，用于看护阿尔茨海默病患者，在出现病人可能处于危险场景时，提醒患者注意。

根据第一方面，一种实施例中提供一种看护机器人，用于看护病人，实时跟随病人行走而行驶，包括：

跟踪模块，用于获取病人位置信息；

惯性测量单元传感器，用于测量机器人当前行驶的三轴姿态角和加速度；

相机，用于采集机器人前方的图像数据；

控制器，用于根据所述相机采集的机器人前方的图像数据，建立病人生活环境的室内网格地图；用于根据所述跟踪模块获取的病人位置信息，计算机器人下一时刻行驶的方向，根据所述机器人下一时刻行驶的方向以及所述惯性测量单元传感器测量的机器人当前行驶的三轴姿态角和加速度，预测机器人下一时刻在所述室内网格地图的位置；用于根据所述相机采集的机器人前方的图像数据，修正所预测的机器人下一时刻在所述室内网格地图的位置；还用于根据修正后的机器人下一时刻在所述室内网格地图的位置以及所述相机采集的机器人前方的图像数据，确定病人所处的场景，并判断病人所处的场景是否为预设的危险场景；

报警模块，用于当病人所处的场景为预设的危险场景，进行报警提醒。

在一些实施例中，所述惯性测量单元传感器的数量至少为两个；所述相机为双目相机；所述预设的危险场景包括：湿滑的浴室、未关火的厨房和楼梯口。

在一些实施例中，所述报警模块至少包括语音模块，所述语音模块用于当病人所处的场景为预设的危险场景时，发出相应的语音提醒。

在一些实施例中，所述语音模块还用于在发出语音提醒后，接收病人回复的预设语音信息；所述报警模块包括无线通讯模块，所述无线通讯模块用于在所述语音模块发出语音提醒后，且预设的时间内所述语音模块未接收到病人回复的预设语音信息时，将异常提醒信号远程发送至移动终端或计算机。

在一些实施例中，所述跟踪模块包括蓝牙模块、GPS模块或位置跟踪传感器。

根据第二方面，一种实施例中提供一种看护机器人报警系统，包括：

位置模块，所述位置模块佩戴于病人身上，用于发送病人位置信息；

如第一方面任一项所述的看护机器人。

根据第三方面，一种实施例中提供一种看护机器人报警方法，包括：

数据采集步骤，获取病人位置信息，测量机器人当前行驶的三轴姿态角和加速度，并采集机器人前方的图像数据；

建立地图步骤，根据所采集的机器人前方的图像数据，建立病人生活环境的室内网格地图；

位置初步预测步骤，根据所获取的病人位置信息，计算机器人下一时刻行驶的方向，根据所述机器人下一时刻行驶的方向以及所测量的机器人当前行驶的三轴姿态角和加速度，预测机器人下一时刻在所述室内网格地图的位置；

位置修正步骤，根据所采集的机器人前方的图像数据，修正所预测的机器人下一时刻在所述室内网格地图的位置；

场景确定步骤，根据修正后的机器人下一时刻在所述室内网格地图的位置以及所采集的机器人前方的图像数据，确定病人所处的场景；

判断与报警步骤，判断病人所处的场景是否为预设的危险场景，当病人所处的场景为预设的危险场景，发出进行报警提醒，当病人所处的场景不为预设的危险场景，重复所述数据采集步骤。

在一些实施例中，所述建立地图步骤中，建立病人生活环境的室内网格地图时采用的特征点为稀疏特征点。

在一些实施例中，所述判断与报警步骤包括：

当病人所处的场景为预设的危险场景时，发出相应的语音提醒；

在所述语音提醒发出后，在预设的时间内需接收到病人回复的预设语音信息，当未接收病人预设的语音回复信息时，远程发送异常提醒信号至移动终端或计算机。

根据第四方面，一种实施例中提供一种可读存储介质,包括程序，所述程序能够被处理器执行以实现如如第三方面中任一项所述的方法。

依据上述实施例，本申请的看护机器人跟随病人行走而行驶，由于通过利用跟踪模块获取的病人位置信息、IMU传感器测量机器人当前行驶的三轴姿态角和加速度以及相机采集机器人前方的图像数据，预测机器人下一时刻所处的位置，再结合所采集的机器人前方图像数据，确定病人所处的场景，使得可在病人处于预设的危险场景时，进行报警提醒，及时发现病人所处场景存在的潜在危险。本申请的看护机器人综合利用了跟踪模块、IMU传感器和相机，巧妙地将位置信息、惯性测量信息与图像信息运用于场景判断，避免被看护的病人处于危险场景，有效保证病人的安全和健康。

附图说明

图1为本申请提供的一种看护机器人结构框图；

图2为一种实施例的报警模块示意图；

图3为一实施例的一种看护机器人的信号处理过程示意图；

图4为一实施例的一种看护机器人报警系统示意图；

图5为本申请提供的一种看护机器人报警方法流程图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

在本发明实施例中，由于阿尔茨海默病人存在渐进性记忆障碍、认知功能障碍，不能及时发现所处场景存在的潜在危险。为了准确地监测病人的所处的场景，并评估潜在的危险，并在可能发生危险时，及时提醒病人注意，发明人在构思本申请时，提出了一种可跟随病人行走而行驶的看护机器人。该看护机器人用于在病人的生活环境中看护病人，结合运用了惯性测量技术和图像处理技术以及跟踪算法来预测机器人下一时刻所处的位置，从而确定病人所处的场景并判断该场景是否是预设的危险场景。

实施例一：

请参考图1，为一种看护机器人的结构框图，该看护机器人可跟随病人行走而行驶，包括：跟踪模块10、惯性测量单元传感器(IMU传感器)11、相机12、控制器20和报警模块30。

跟踪模块10用于获取病人位置信息；惯性测量单元传感器11用于测量机器人当前行驶的三轴姿态角和加速度相机12用于采集机器人前方的图像数据。

控制器20用于通过建立病人生活环境的室内网格地图，根据跟踪模块10获取的获取病人位置信息，计算机器人下一时刻行驶的方向根据机器人下一时刻行驶的方向以及IMU传感器11测量的机器人当前行驶的三轴姿态角和加速度预测机器人下一时刻在室内网格地图的位置；用于根据相机12采集的机器人前方的图像数据，修正所预测的机器人下一时刻在所述室内网格地图的位置；还用于根据修正后的机器人下一时刻在所述室内网格地图的位置以及相机12采集的机器人前方的图像数据，确定病人所处的场景，并判断病人所处的场景是否为预设的危险场景。预设的危险场景包括：湿滑的浴室、未关火的厨房和楼梯口等。

报警模块30用于当病人所处的场景为预设的危险场景，进行报警提醒。报警模块30至少包括语音模块31，语音模块31用于当病人所处的场景为预设的危险场景时，发出相应的语音提醒。

以上就是本申请的看护机器人的一些基本结构，其通过相机12采集机器人前方的图像数据，建立病人生活环境的室内网格地图；通过跟踪模块10获取病人位置信息，从而计算机器人下一时刻行驶的方向通过IMU传感器11测量机器人当前行驶的三轴姿态角和加速度并结合机器人下一时刻行驶的方向预测机器人下一时刻在所建室内网格地图的位置，再通过相机12采集的机器人前方的图像数据，修正所预测的机器人下一时刻在所建室内网格地图的位置；结合修正后的机器人下一时刻在所建室内网格地图的位置和机器人前方的图像数据，确定病人所处的场景，当病人所处的场景为预设的危险场景，利用报警模块30进行报警提醒。

由此可见，该看护机器人跟随病人行走而行驶，通过预测机器人下一时刻所处的位置，并所采集的机器人前方图像数据，确定病人所处的场景，可及时发现病人所处场景存在的潜在危险，有效避免病人出现跌倒、滑到或烫伤等。

在一些实施例中，跟踪模块10包括蓝牙模块、GPS模块或位置跟踪传感器，可获取病人位置信息。

在一些实施例中，IMU传感器11的数量至少为两个，通过多传感器融合，可以保证所测量的三轴姿态角和加速度的准确性和鲁棒性，同时还可消除某个IMU传感器11损坏导致测量结果不准额影响。

IMU传感器11一般包含:三个单轴的加速度计和三个单轴的陀螺。其中，加速度计用于检测看护机器人的加速度信号，陀螺用于检测看护机器人的三轴姿态角信号，从而测量看护机器人的角速度和加速度，并以此计算出看护机器人的姿态。

在一些实施例中，相机12为双目相机，模拟人眼视觉，可以提取深度信息，使得所采集的图像清晰、准确，也保证了所建病人生活环境的室内网格地图的准确性。

参考图2，在一些实施例中，报警模块30包括：语音模块31、无线通讯模块32和计时器33。

语音模块31还用于在发出语音提醒后，接收病人回复的预设语音信息；当语音模块31发出语音提醒后，且在计时器33预设的时间内语音模块31未接收到病人回复的预设语音信息时，无线通讯模块32将远程发送异常提醒信号至移动终端或计算机，从而提醒看护人员或管理人员注意。在一实施例中，预设语音信息包括“好”、“OK”和“知道了”等词语。

如图3所示，为一种看护机器人的信号处理过程示意图，包括：

首先，采集病人位置信息，测量机器人当前行驶的三轴姿态角和加速度和采集机器人前方的图像数据；

其次，根据图像数据建立病人生活环境的室内网格地图，利用根据病人位置信息计算出的下一时刻行驶的方向以及三轴姿态角和加速度预测机器人下一时间在地图上的位置，并利用所采集的图像数据修正所预测的机器人下一时间在地图上的位置，从而精确预测机器人下一时刻位置；

再次，根据精确预测机器人下一时刻位置信息以及所采集的图像数据，机器人利用场景理解算法从位置信息和图像数据中提取出场景信息，确定被看护病人所处的场景，比如，拄着拐杖在浴室或靠近楼梯口等；

最后，通过判断病人所处的场景是否为预设的危险场景，当是预设的危险场景，看护机器人发出语音提醒，并在发出语音提醒后，且预设的时间内未接收到病人回复的预设语音信息时，将异常提醒信号远程发送至移动终端或计算机。

实施例二：

请参考图4，为一种看护机器人报警系统，该系统包括位置模块1和看护机器人2，在一些实施例中，还包括移动终端3或/和计算机4，下面详细说明。

位置模块1佩戴于病人身上，用于发送病人位置信息，包括蓝牙模块、GPS模块或位置跟踪传感器等。

看护机器人2为实施例一中所述的一种看护机器人。

移动终端3或/和计算机4用于接收看护机器人2的无线通讯模块32远程发送的异常提醒信号。

实施例三：

参考图5，相应地，本申请还提供一种看护机器人报警方法，包括：

数据采集步骤100，获取病人位置信息，测量机器人当前行驶的三轴姿态角和加速度并采集机器人前方的图像数据；

建立地图步骤200，根据所采集的机器人前方的图像数据，建立病人生活环境的室内网格地图；

位置初步预测步骤300，根据所获取的病人位置信息，计算机器人下一时刻行驶的方向根据机器人下一时刻行驶的方向以及所测量的机器人当前行驶的三轴姿态角和加速度预测机器人下一时刻在所述室内网格地图的位置；

位置修正步骤400，根据所采集的机器人前方的图像数据，修正所预测的机器人下一时刻在所述室内网格地图的位置；

场景确定步骤500，根据修正后的机器人下一时刻在所述室内网格地图的位置以及所采集的机器人前方的图像数据，利用场景理解算法，确定病人所处的场景；

判断与报警步骤600，判断病人所处的场景是否为预设的危险场景，当病人所处的场景为预设的危险场景，发出进行报警提醒，当病人所处的场景不为预设的危险场景，重复所述数据采集步骤100。

在一些实施例，建立地图步骤200中，建立病人生活环境的室内网格地图时采用的特征点为稀疏特征点。相比密集特征点，使用稀疏特征点所建立的地图，计算速度更快，降低了计算负担，提高了机器人跟随病人移动而行驶的及时性，尽管定位精度没有使用密集特征点所建的精度高，但其定位精度可以达到厘米级，满足机器人的实际需要。

在一些实施例，位置初步预测步骤300中，预测机器人下一时刻在所述室内网格地图的位置所使用的目标跟踪算法，其跟踪滤波算法采用卡尔曼滤波算法或扩展卡尔曼滤波算法。

在一些实施例，判断与报警步骤600包括：

当病人所处的场景为预设的危险场景时，发出相应的语音提醒；

在所述语音提醒发出后，预设的时间内需接收到病人回复的预设语音信息，当未接收病人预设的语音回复信息时，远程发送异常提醒信号至移动终端或计算机。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过控制器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过控制器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种看护机器人，用于看护病人，实时跟随病人行走而行驶，其特征在于包括：

跟踪模块，用于获取病人位置信息；

惯性测量单元传感器，用于测量机器人当前行驶的三轴姿态角和加速度；

相机，用于采集机器人前方的图像数据；

控制器，用于根据所述相机采集的机器人前方的图像数据，建立病人生活环境的室内网格地图；用于根据所述跟踪模块获取的病人位置信息，计算机器人下一时刻行驶的方向，根据所述机器人下一时刻行驶的方向以及所述惯性测量单元传感器测量的机器人当前行驶的三轴姿态角和加速度，预测机器人下一时刻在所述室内网格地图的位置；用于根据所述相机采集的机器人前方的图像数据，修正所预测的机器人下一时刻在所述室内网格地图的位置；还用于根据修正后的机器人下一时刻在所述室内网格地图的位置以及所述相机采集的机器人前方的图像数据，确定病人所处的场景，并判断病人所处的场景是否为预设的危险场景；

报警模块，用于当病人所处的场景为预设的危险场景，进行报警提醒。

2.如权利要求1所述的看护机器人，其特征在于，所述惯性测量单元传感器的数量至少为两个；所述相机为双目相机；所述预设的危险场景包括：湿滑的浴室、未关火的厨房和楼梯口。

3.如权利要求1所述的看护机器人，其特征在于，所述报警模块至少包括语音模块，所述语音模块用于当病人所处的场景为预设的危险场景时，发出相应的语音提醒。

4.如权利要求3所述的看护机器人，其特征在于，所述语音模块还用于在发出语音提醒后，接收病人回复的预设语音信息；所述报警模块包括无线通讯模块，所述无线通讯模块用于在所述语音模块发出语音提醒后，且预设的时间内所述语音模块未接收到病人回复的预设语音信息时，将异常提醒信号远程发送至移动终端或计算机。

5.如权利要求1至4中任一项所述的看护机器人，其特征在于，所述跟踪模块包括蓝牙模块或位置跟踪传感器。

6.一种看护机器人报警系统，其特征在于包括：

位置模块，所述位置模块佩戴于病人身上，用于发送病人位置信息；

如权利要求1-5中任一项所述的看护机器人。

7.一种看护机器人报警方法，其特征在于包括：

数据采集步骤，获取病人位置信息，测量机器人当前行驶的三轴姿态角和加速度，并采集机器人前方的图像数据；

建立地图步骤，根据所采集的机器人前方的图像数据，建立病人生活环境的室内网格地图；

位置初步预测步骤，根据所获取的病人位置信息，计算机器人下一时刻行驶的方向，根据所述机器人下一时刻行驶的方向以及所测量的机器人当前行驶的三轴姿态角和加速度，预测机器人下一时刻在所述室内网格地图的位置；

位置修正步骤，根据所采集的机器人前方的图像数据，修正所预测的机器人下一时刻在所述室内网格地图的位置；

场景确定步骤，根据修正后的机器人下一时刻在所述室内网格地图的位置以及所采集的机器人前方的图像数据，确定病人所处的场景；

判断与报警步骤，判断病人所处的场景是否为预设的危险场景，当病人所处的场景为预设的危险场景，发出进行报警提醒，当病人所处的场景不为预设的危险场景，重复所述数据采集步骤。

8.如权利要求7所述的方法，其特征在于，所述建立地图步骤中，建立病人生活环境的室内网格地图时采用的特征点为稀疏特征点。

9.如权利要求7所述的方法，其特征在于，所述判断与报警步骤包括：

当病人所处的场景为预设的危险场景时，发出相应的语音提醒；

在所述语音提醒发出后，在预设的时间内需接收到病人回复的预设语音信息，当未接收病人预设的语音回复信息时，远程发送异常提醒信号至移动终端或计算机。

10.一种可读存储介质,其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求7至9中任一项所述的方法。