CN109318239A - 一种导诊机器人、导诊方法及装置 - Google Patents

Abstract

本发明适用于机器人领域，提供了一种导诊机器人、导诊方法及装置，其中，机器人包括机器人本体，以及设置于机器人本体上的：第一传感器单元、第二传感器单元、图像识别单元、语音交互单元、医疗数据库单元、行为运动单元、IC读卡单元、通信单元、显示单元，以及与上述各部件连接的主控制单元；其中，主控制单元根据第二传感器单元及图像识别单元发送的数据进行处理，并根据就诊引导信息，获得用于引导待诊人员就诊的服务信息，并通过显示单元和/或语音交互单元向用户输出服务信息。本发明的导诊机器人功能丰富且强大，可以为待诊人员做就医向导，大大减轻医院工作人员的压力。

Description

一种导诊机器人、导诊方法及装置

技术领域

本发明属于机器人领域，尤其涉及一种导诊机器人、导诊方法及装置。

背景技术

医用机器人是医疗人工智能领域的一大前程，正以颠覆式创新的方式提高 了医疗机构对疾病的对抗。在中国普遍存在着“看病难”的情况，而“看病难” 不仅患病人员本身情况有关，更与医院的配套资源、操作程序有极大的关系， 因此，医院作为医疗的主要执行部门，其承担着巨大的压力与风险。

为了弥补医疗资源的不足，医疗机器人成为了缓解医院资源压力的一大重 要技术，但是目前的医疗机器人的功能较为单一，只能执行简单的信息查询与 取号(以进行排队挂号)功能，对于医院所面临的巨大压力，其不过杯水车薪， 难易满足需求。

发明内容

基于此，本发明实施例提供一种导诊机器人、导诊方法及装置。

本发明实施例是这样实现的，一种导诊机器人，所述机器人包括机器人本 体，以及设置于所述机器人本体上的：

第一传感器单元、第二传感器单元、图像识别单元、语音交互单元、医疗 数据库单元、行为运动单元、IC读卡单元、通信单元、显示单元，以及与上述 各部件连接的主控制单元；

所述第一传感器单元，用于识别预设的若干区域内是否存在待诊人员，若 存在，则由所述控制单元控制所述机器人将正面旋转至待诊人员所在区域；

所述第二传感器单元，用于获取待诊人员的体温数据，并输出至所述主控 制单元；

所述图像识别单元，用于获取待诊人员的人体影像信息，并输出至所述控 制单元；

所述语音交互单元，用于采集、处理用户语音信号以得到用户命令，所述 主控制单元可根据所述用户命令输出对应的控制指令，所述对应的控制指令至 少包含通过所述语音交互单元执行的语音指令；

所述医疗数据库单元，用于存储就诊引导信息；

所述行为运动单元，用于实现所述机器人本体的移动及执行服务动作；

所述IC读卡单元，用于读取医疗卡信息，及医院充值卡余额；

所述通信单元，用于与用户终端进行连接、通信；

其中，所述主控制单元根据所述第二传感器单元及图像识别单元发送的数 据进行处理，并根据所述就诊引导信息，获得用于引导所述待诊人员就诊的服 务信息，并通过所述显示单元和/或语音交互单元向用户输出所述服务信息。

一种导诊方法，应用于导诊机器人，所述方法包括：

若预设区域内存在待诊人员，则所述导诊机器人的机体将转到所述待诊人 员所在区域，所述导诊机器人将调整自身模拟头部姿态以实现与用户正面交互， 并通过语音交互单元以预设方式与所述待诊人员进行交互；

获取所述待诊人员的体温信息及人体影像信息；

根据所述体温信息及人体影像信息为所述待诊人员匹配用于引导就诊的服 务信息；

将所述服务信息向所述待诊人员输出。

一种导诊装置，应用于导诊机器人，所述装置用于：

若预设区域内存在待诊人员，则所述导诊机器人的机体将转到所述待诊人 员所在区域，所述导诊机器人将调整自身模拟头部姿态以实现与用户正面交互， 并通过语音交互单元以预设方式与所述待诊人员进行交互；

获取所述待诊人员的体温信息及人体影像信息；

根据所述体温信息及人体影像信息为所述待诊人员匹配用于引导就诊的服 务信息；

将所述服务信息向所述待诊人员输出。

本发明的上述实施例中，导诊机器人功能丰富且强大，能够主动识别待诊 人员的存在，利用人脸识别技术实现与人的正面交互，为其提供初步咨询，还 可以进行相关健康咨询、预约挂号、科室导航和医学知识科普等查询，该导诊 机器人可获取待诊人员的相关体征信息，并形成初步的导诊信息，导诊信息及 相关建议不仅能在显示屏上显示，还能形成分析报告并通过二维码扫描到用户/ 待诊人员的手机上，此导诊方法可以为待诊人员做就医向导，可以减少医院工 作人员的压力。

附图说明

图1是本发明实施例提供的一种导诊机器人的组成结构图；

图2是本发明实施例提供的一种导诊机器人的扫描区域图；

图3是本发明实施例提供的一种导诊方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 仅用以解释本发明，并不用于限定本发明。

结合图1、2所示，本发明提供了一种导诊机器人，该机器人包括机器人本 体100，以及设置于机器人本体100上的：

第一传感器单元121、第二传感器单元122、图像识别单元130、语音交互 单元140、医疗数据库单元150、行为运动单元160、IC读卡单元170、通信单 元180、显示单元190，以及与上述各部件连接的主控制单元110。

其中，所述主控制单元110根据所述第二传感器单元122及图像识别单元130发送的数据进行处理，并根据所述就诊引导信息，获得用于引导所述待诊 人员就诊的服务信息，并通过所述显示单元和/或语音交互单元向用户输出所述 服务信息。

在本发明的一个实施例中，所述服务信息包括以下信息的一种或多种的组 合：医院导航的最短路径信息；推荐挂号的科室信息；以及平时生活应注意的 饮食及禁忌信息。

在本发明实施例中，所述第一传感器单元121，用于识别预设的若干区域 内是否存在待诊人员，若存在，则由所述主控制单元110控制所述机器人将正 面旋转至待诊人员所在区域。其中，第一传感器单元121为人体红外传感器， 例如本发明的一个示例中所采用的一种人体红外传感器，其能以非接触式方法 检测出至少6米内的人体辐射红外线能量的变化，其检测范围为120°，为实 现导诊机器人能够在360°范围内检测到人体，即待诊人员，机器人底部安装 了三个人体红外传感器，底部区域的监测情况如图2所示，在区域1、2、3的方向上各安置了一个人体红外传感器。当机器人检测到某一区域有人(即待诊 人员)靠近到一米内时，机器人将机体正面旋转到接收到红外线信号的区域， 即待诊人员所在的区域。

在本发明实施例中，所述第二传感器单元122，用于获取待诊人员的体温 数据，并输出至所述主控制单元110。第二传感器单元122采用非接触式人体 红外温度传感器，其可用于测量人体的体温，具体的，是根据人体红外辐射能 量的大小及波长的分布进而判断人体的温度，以此为基础可以引导用户去相应 的科室就诊。

在本发明实施例中，机器人本体100上还设有机器人手臂结构，手臂结构 上设有手掌结构；有一种非接触式人体红外温度传感器的测量范围为33mm， 其可安装在机器人的手掌，当需要测量体温时，机器人通过语音交互单元140 语音提示用户站立不动，图像识别单元130根据人脸识别技术识别用户的额头 部位，并将手掌结构伸起靠近待诊人员额头进行体温测量。

在本发明实施例中，所述图像识别单元130，用于获取待诊人员的人体影 像信息，并输出至所述控制单元。

该图像识别单元130可以采用3D摄像机来采集待诊人员的人体影像信息， 该待诊人员的人体影像信息包括以下信息中的一种或多种：人脸图像信息、人 体全身图像信息，以及舌苔图像信息。

在本发明的一个实施例中，所述机器人本体上还设有模拟头部结构，该模 拟头部结构可以进行旋转或执行抬头、低头、侧头等动作。

其中，所述主控制单元110可根据所述人脸图像信息获取人脸姿态信息， 并根据所述人脸姿态信息控制所述行为运动单元160对所述模拟头部结构进行 姿态调整，使所述模拟头部结构与所述待诊人员正面相对。

人脸姿态信息的识别是机器人经过3D摄像机获取人脸图像信息，根据人 脸图像信息进行人脸姿态计算，机器人把头部转向用户正面进行交互。

当机器人三个底部区域中某一区域接收到红外信号时，机器人将身体旋转 到有红外信号的区域，利用3D摄像机获取图像，从图像中检测是否有人体的 存在；当检测出存在人体时，机器人将人体部分从背景中提取，并将人脸部分 进行锁定与识别，根据对人脸姿态的判别情况，控制模拟头部结构做出相对应 的头部姿态调整，实现与人的正面交互。

在本发明实施例中，机器人通过所述主控制单元110将所述人体全身图像 信息形成带有患病部位提示信息的模拟人体图像，通过所述显示单员190将所 述模拟人体图像向用户进行展示，并接收所述待诊人员的确认信息。其中，该 显示单元190可以是显示屏或投影装置。

当待诊人员描述不清自己发病的部位时，且患病部位与肢体相关时，机器 人使用3D摄影机采集待诊人员的人体全身图像信息，通过主控制单元110形 成虚拟人体图像，该模拟人体图像上带有患病部位提示信息，该提示信息可以 是文字描述，或者在图像上突出显示，例如发亮、上色或用线划/圈出。然后， 把虚拟人体投影到屏幕上，虚拟人体图像上的提示的部位与待诊人员指向的部 位一致，待诊人员可以通过观察虚拟人体进而确定机器人识别的患病部位是否 为自身想要描述的发病部位，然后可以通过语音方式、触屏录入方式、或机械 键盘录入方式(即机器人设备还包括触屏或机械键盘)。机器人识别患病部位是根据获取的人体全身图像信息，从中提取人体的骨骼信息，通过计算左手或 者右手关节与各个关节间的距离、相对位置，进而判断待诊人员的发病部位(因 为当待诊人员的手指指向某各部位时，手指会靠近/抵触/指向该部位，便会和这 些部位形成特定的位置关系，因此，经过大量的模拟实验，确认可以通过手指 关节与这些部位的这些关系来判断待诊人员所指的部位)，通过初步的体征识 别，可以引导用户去相应的科室就诊。

在本发明的一个实施例中，图像识别单元130还可以采集舌苔图像信息。 详细的，舌苔识别主要是通过3D摄影机(即一种图像识别单元130)获取舌苔 图像，系统从舌苔图像中提取舌象部分，经过去噪和舌象边缘检测预处理后， 将舌苔和舌质颜色特征分离和识别，从抽取的特征中进行决策分类，以区分不 同的病历，以此为基础引导用户去相应的科室就诊。

所述主控制单元110可根据由所述人脸图像信息构成的人脸视频进行分 析，得到所述待诊人员的心率与血压信息。

详细的，利用3D摄影机(即一种图像识别单元130)检测心率及血压，主 要是从获取的人脸视频中提取脉搏波。首先，从人脸视频中提取RGBD图像， 进行图像中R、B、G(红、蓝、绿)三个通道的分离，并做空间像素的平均处 理，R、B或G通道一维源信号为：

n为图像帧数，N为视频总帧数，x_i,j(n)为像素点(i，j)在对应通道的颜 色强度值，h和w分别为图像的高度和宽度；其次，利用ICA(Independent Component CorrelationAlgorithm，独立成分分析)函数对三个通道的信号进行 独立分析得到与脉搏相关性最大的脉搏波信号；最后，利用CEEMD(Complete Ensemble Empirical Mode Decomposition，完全总体经验模型分解)算法做去噪 处理，选取频率位于心脏频带的脉搏波，假设心跳频率为f_n，则心率R＝60f_n； 若要得到血压，需要计算其脉搏波动脉方向的波速pwv＝k₀×(d/T)+b₀,k_o和b_o为波速矫正系数，d为图像中心距离，T为传播时间，则血压为k为血压校正系数，ρ为血压密度。通过上述方式可以准 确地、量化地计算出待诊人员的心率与血压，以此为基础引导用户去相应的科 室就诊。

在本发明的一个实施例中，所述语音交互单元140，用于采集、处理用户 语音信号以得到用户命令，所述主控制单元110可根据所述用户命令输出对应 的控制指令，所述对应的控制指令至少包含通过所述语音交互单元140执行的 语音指令。

详细的，该语音交互单元140可分为语音采集模块、语义处理模块和语音 输出模块。语音采集模块通过EM6027麦克风对用户、待诊人员发出的语音进 行语音信号采样，并将用户语音信号传送至语义处理模块进行处理；语义处理 模块对收集的用户语音信号进行语句分析处理，计算出用户命令，系统根据用 户命令做出相对应的处理，即主控制单元110根据所述用户命令输出对应的控 制指令，其中，该控制指令可包含通过所述语音交互单元140执行的语音指令， 该语音交互单元140通过语音输出模块做出相对应语音播报，即进行语音输出。

在本发明的一个实施例中，所述医疗数据库单元150，用于存储就诊引导 信息。其中，该就诊引导信息包括以下信息中的一种或几种：

相关病症的科普信息、挂号信息、医院导航信息、医生所给药的用途及禁 忌信息、相关症状的医疗建议信息，以及医生的值班情况信息。

在本发明的一个实施例中，所述行为运动单元160，用于实现所述机器人 本体的移动及执行服务动作。详细的，该行为运动单元160通过PID算法驱动 直流电机最终实现机器人及其机体的转向、移动，以及机器人手臂、模拟头部 结构的运动。

在本发明的一个实施例中，所述IC读卡单元，用于读取医疗卡信息，及医 院充值卡余额，便于用户及时获取医疗信息，或进行充值，通过该单元可以节 约医院、用户的相关操作程序。

在本发明的一个实施例中，所述通信单元180，用于与用户终端进行连接、 通信。具体的，该通信单元180基于移动数据，待诊人员可以扫描机器人屏幕 显示出的二维码获取相关信息；通过该单元可以节约医院、用户的相关操作程 序。

本发明的上述实施例中，该导诊机器人功能丰富且强大，能够主动识别待 诊人员的存在，利用人脸识别技术实现与人的正面交互，为其提供初步咨询， 还可以进行相关健康咨询、预约挂号、科室导航和医学知识科普等查询，该导 诊机器人可获取待诊人员的相关体征信息，并形成初步的导诊信息，导诊信息 及相关建议不仅能在显示屏上显示，还能形成分析报告并通过二维码扫描到用 户/待诊人员的手机上，此导诊方法可以为待诊人员做就医向导，可以减少医院 工作人员的压力。

如图1～3所示，结合上述实施例，本发明还提供一种导诊方法，应用于上 述的导诊机器人，所述方法包括：

若预设区域内存在待诊人员，则所述导诊机器人的机体将转到所述待诊人 员所在区域，所述导诊机器人将调整自身模拟头部姿态以实现与用户正面交互， 并通过语音交互单元以预设方式与所述待诊人员进行交互；

获取所述待诊人员的人体影像信息；

根据所述体温信息及人体影像信息为所述待诊人员匹配用于引导就诊的服 务信息；

将所述服务信息向所述待诊人员输出。

具体的，在本发明的一个实施例中，该导诊方法可以实现如下：

a.机器人通过第一传感器单元121探测预设区域1、2、3内是否存在人体。

b.直到机器人检测出三个预设区域内的某一区域内存在人体，机器人将机 体转到有人体信号的相对应区域，即待诊人员所在区域。

c.机器人通过3D摄影机(即一种图像识别装置130)获取人体影像信息， 识别出人的正脸位姿进而调整自身的模拟头部结构的姿态，实现与人正面交互。

d.机器人通过语音交互单元140对用户语音输出：“您好，请问有什么可 以帮到您！”。

5.机器人通过语音交互单元140不断地采集语音，将语音转化成文本，提 取文本中的用户命令。

e.将关键信息与医疗数据库相匹配，得出相关的分析结果。

f.判断关键信息是否与肢体相关，若是，则获取患者图像进行发病部位进 行识别，得到发病部位信息，把发病部位信息输送至医疗数据库单元150进行 匹配。

g.判断医疗数据库单元150输出的分析结果是否为病症信息，当分析结果 并非病症信息如医院导航、相关医生值班信息和医学科普等，则直接把相关的 分析结果输出。

当分析结果为病症信息，则机器人做相对应的询问及检测如体温、血压、 心率的测量、以往病史及过敏药物的询问以及医疗卡的查询等。

h.根据对待诊人员的询问及检测的信息与医疗数据库单元150进行匹配， 得出最终的分析结果。

i.机器人将附带有二维码的分析结果及建议的服务信息推送至显示界面，该 服务信息包括了医院导航的最短路径，推荐挂号的科室，平时生活应注意的饮 食及禁忌等，用户可以扫描二维码把分析报告扫描到手机上。

在本发明的一个实施例中，还提供一种导诊装置，应用于上述的导诊机器 人，该所述装置用于：

若预设区域内存在待诊人员，则所述导诊机器人的机体将转到所述待诊人 员所在区域，所述导诊机器人将调整自身模拟头部姿态以实现与用户正面交互， 并通过语音交互单元以预设方式与所述待诊人员进行交互；

获取所述待诊人员的人体影像信息；

根据所述体温信息及人体影像信息为所述待诊人员匹配用于引导就诊的服 务信息；

将所述服务信息向所述待诊人员输出。

本发明的上述实施例中，导诊机器人功能丰富且强大，能够主动识别待诊 人员的存在，利用人脸识别技术实现与人的正面交互，为其提供初步咨询，还 可以进行相关健康咨询、预约挂号、科室导航和医学知识科普等查询，该导诊 机器人可获取待诊人员的相关体征信息，并形成初步的导诊信息，导诊信息及 相关建议不仅能在显示屏上显示，还能形成分析报告并通过二维码扫描到用户/ 待诊人员的手机上，此导诊方法可以为待诊人员做就医向导，可以减少医院工 作人员的压力。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指 示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本 文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以 其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或 者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以 在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而 是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替 地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易 失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施 例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据 库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存 储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM (EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包 括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM 以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM (SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、 同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动 态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对 上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技 术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域 的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和 改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附 权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发 明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明 的保护范围之内。

Claims (10)

1.一种导诊机器人，其特征在于，所述导诊机器人包括机器人本体，以及设置于所述机器人本体上的：

第一传感器单元、第二传感器单元、图像识别单元、语音交互单元、医疗数据库单元、行为运动单元、IC读卡单元、通信单元、显示单元，以及与上述各部件连接的主控制单元；

所述第一传感器单元，用于识别预设的若干区域内是否存在待诊人员，若存在，则由所述控制单元控制所述导诊机器人将正面旋转至待诊人员所在区域；

所述第二传感器单元，用于获取待诊人员的体温数据，并输出至所述主控制单元；

所述图像识别单元，用于获取待诊人员的人体影像信息，并输出至所述控制单元；

所述语音交互单元，用于采集、处理用户语音信号以得到用户命令，所述主控制单元可根据所述用户命令输出对应的控制指令，所述对应的控制指令至少包含通过所述语音交互单元执行的语音指令；

所述医疗数据库单元，用于存储就诊引导信息；

所述行为运动单元，用于实现所述机器人本体的移动及执行服务动作；

所述IC读卡单元，用于读取医疗卡信息，及医院充值卡余额；

所述通信单元，用于与用户终端进行连接、通信；

其中，所述主控制单元根据所述第二传感器单元及图像识别单元发送的数据进行处理，并根据所述就诊引导信息，获得用于引导所述待诊人员就诊的服务信息，并通过所述显示单元和/或语音交互单元向用户输出所述服务信息。

2.如权利要求1所述的导诊机器人，其特征在于，所述服务信息包括以下信息的一种或多种的组合：

医院导航的最短路径信息；

推荐挂号的科室信息；以及平时生活应注意的饮食及禁忌信息。

3.如权利要求1所述的导诊机器人，其特征在于，所述人体影像信息包括以下信息的一种或多种的组合：

人脸图像信息、人体全身图像信息，以及舌苔图像信息。

4.如权利要求3所述的导诊机器人，其特征在于，所述机器人本体具有模拟头部结构；

所述主控制单元可根据所述人脸图像信息获取人脸姿态信息，并根据所述人脸姿态信息控制所述行为运动单元对所述模拟头部结构进行姿态调整，使所述模拟头部结构与所述待诊人员正面相对。

5.如权利要求3所述的导诊机器人，其特征在于，所述主控制单元可根据由所述人脸图像信息构成的人脸视频进行分析，得到所述待诊人员的心率与血压信息。

6.如权利要求3所述的导诊机器人，其特征在于，所述机器人通过所述主控制单元将所述人体全身图像信息形成带有患病部位提示信息的虚拟人体图像，通过所述显示单元将所述虚拟人体图像向用户进行展示，并接收所述待诊人员的确认信息。

7.如权利要求6所述的导诊机器人，其特征在于，所述显示单元为显示屏或投影装置。

8.如权利要求1所述的导诊机器人，其特征在于，所述就诊引导信息包括以下信息中的一种或几种：

相关病症的科普信息、挂号信息、医院导航信息、医生所给药的用途及禁忌信息、相关症状的医疗建议信息，以及医生的值班情况信息。

9.一种导诊方法，应用于导诊机器人，其特征在于，所述方法包括：

若预设区域内存在待诊人员，则所述导诊机器人的机体将自行转到所述待诊人员所在区域，所述导诊机器人将调整自身模拟头部姿态以实现与用户正面交互，并通过语音交互单元以预设方式与所述待诊人员进行交互；

获取所述待诊人员的人体影像信息；

根据所述体温信息及人体影像信息为所述待诊人员匹配用于引导就诊的服务信息；

将所述服务信息向所述待诊人员输出。

10.一种导诊装置，应用于导诊机器人，其特征在于，所述装置用于：

若预设区域内存在待诊人员，则所述导诊机器人的机体将自行转到所述待诊人员所在区域，所述导诊机器人将调整自身模拟头部姿态以实现与用户正面交互，并通过语音交互单元以预设方式与所述待诊人员进行交互；

获取所述待诊人员的人体影像信息；

根据所述体温信息及人体影像信息为所述待诊人员匹配用于引导就诊的服务信息；

将所述服务信息向所述待诊人员输出。