CN102103663B - 病房巡视服务机器人系统及其目标搜寻方法 - Google Patents

Abstract

本发明涉及一种病房巡视服务机器人系统及其目标搜寻方法。它首次提出利用贝叶斯理论融合多模式目标表示与先验知识进行目标搜寻，并提出利用主动视觉、特征提取与特征验证相结合的方法进行病房复杂环境下目标的主动检索机制。它利用机器人的本体视觉与RFID信息，实现主动式的机器人病房巡视。机器人定位系统由StarGazer系统利用Kalman滤波得到；机器人控制系统利用贝叶斯理论，通过目标的多模式表示来表示目标，并融合先验知识进行机器人控制；控制机器人位姿的同时，得到目标位置，利用主动视觉和融合特征的方法进行目标定位；利用分区逻辑的方法进行摄像头控制，拍摄到图片后传送到服务器端显示并存储。

Description

病房巡视服务机器人系统及其目标搜寻方法

技术领域

本发明涉及的是一种病房巡视服务机器人系统及其目标搜寻方法，属于护理机器人领域。

背景技术

当前护理机器人的研究取得了极大的进步，其主要用来辅助护士完成一些相关的护理活动，如药物运送等低智能水平的活动。病房巡视是护理工作中的重要环节，现阶段却存在大量问题，因此，通过发展护理巡视机器人来解决护士护理质量与劳力负荷、精神压力过重之间的矛盾是一个很有实际意义的课题，而该课题在国内却鲜有研究。机器人病房巡视要完成的任务主要有：病人信息验证、病人的状态监测、伤口部位查看、监测与治疗仪器状态拍照、图像传送等。其利用机器人自身所带的摄像头，通过机器人和摄像头的控制，实现病房环境下病人伤口、针头刺入部位、输液瓶、监护仪、引流袋等各种护士巡视的目标的识别与定位，并对这些识别出的目标进行拍照并传输到护士站端的服务器，其关键是目标的识别与定位、机器人控制和摄像头的控制。但现有的目标识别方法无法精确的对静止的多目标进行识别，并且缺乏有效的视觉识别信息与运动控制结合方案，无法满足护理的需要。

中国发明专利申请公开说明书CN200910013650.9，描述的人体的定位与跟踪算法，其对象单一，特征容易提取，但当目标种类多样时，难以提取合适特征。

中国发明专利申请公开说明书CN200810063440.6，主要利用目标的特征，然后利用粒子滤波来进行目标跟踪，其主要用于目标的跟踪，而非目标的发现；

中国发明专利申请公开说明书CN201010248283.3，一种基于贝叶斯框架及LBP的运动目标检测方法，用于视频中物体的运动信息进行目标检测，不适用于静态目标。

目前仍缺乏有效对于病房巡视的系统，以及对于所需目标的有效搜寻方法。

发明内容

本发明针对现有病房巡视服务机器人在目标识别上的问题，提供一种病房巡视服务机器人系统及其目标搜寻方法，它通过机器人的主动控制和视觉系统，完成病房环境下的感兴趣目标的主动搜寻，从而实现机器人病房巡视，利用多种模式进行目标表示，并利用目标的多模式表示来进行目标定位与搜寻。

为实现上述目的，本发明采用如下技术方案：

一种病房巡视服务机器人系统，它包括移动机器人，在所述移动机器人上设有RFID天线，移动机器人顶部设有云台摄像头，在移动机器人前部则设有红外定位系统和激光传感器；所述RFID天线与病房中各病床上的RFID标签相配合。

所述红外定位系统由红外线发射/接收器与被动式红外标签组成；被动式红外标签贴在病房天花板上，红外线发射/接收器安装在机器人平台顶端，当红外线发射/接收器检测到被动式红外标签时，就通过串口将其相对于被动式红外标签的位姿和其被动式红外标签的ID传递给服务机器人；由于标签在世界坐标系中的位置已知，通过坐标变换机器人就可获取自身在世界坐标系中的位姿，实现自定位。

一种病房巡视服务机器人系统用目标搜寻方法，它的方法为：

1)在病床的床头处设有RFID标签，RFID标签记录病人的科室、病名、需要巡视的信息、巡视信息相应的先验知识，机器人通过携带的RFID读写器，读取床头的RFID标签完成病人信息验证，如读取信息与机器人预存信息有差别，则向服务器发出警报，由护理人员判断是否为患者，如果是则继续为该患者护理；如果否，需要护理人员对当前患者信息进行干预，并转入下一位患者；

2)机器人进入病房后，通过与服务器的交互，获得当前病房的地图，机器人通过携带的RFID读写器进行粗定位，即根据是否读到RFID标签，判断机器人与目标物是否接近，如果没有，则按照常规的路径跟踪策略引导机器人行走；如果收到，则说明在大区域内存在目标，启动基于贝叶斯模型的运动控制模型控制机器人完成目标的搜寻；

3)对于输液瓶或输液袋图像，通过标记物分割结果控制机器人的运动，利用坐标变换得到目标的粗略位置，然后利用主动视觉进行候选区域筛选，对筛选出的区域利用特征匹配分割输液瓶或输液袋图像，以分割出的目标为基准，进行摄像头的调整获取该类设备可识别图片；

对于位置不变设备，采用模板匹配控制机器人运动，并可以获得目标的大致位置，在该位置内，利用主动视觉进行候选区域筛选，对筛选出的区域利用直方图进行匹配，以分割该类设备，以分割出的该类设备为基准，进行摄像头调整获取该类设备可识别图片；

对于针头、伤口及人体面部图像，则采用肤色分割方式控制机器人运动，并以肤色分割的结果结合人体结构信息调整摄像头获取位姿较好图片；

将上述图片上传至服务器，供护理人员查看；

4)在完成预设护理工作后，转入下一位病人的护理。

所述步骤2)中，采用基于贝叶斯模型的运动控制模型，搜寻目标图像，其具体过程为：

将机器人的控制量用R＝(x_r，y_r，z_r)表示，其中x_r，y_r分别表示两个方向上的偏移量，z_r表示朝向角的偏移量，摄像头的控制量用C＝(C_p，C_t，C_z)，分别表示的是Pan，Tilt，Zoom的控制量，总的控制量表示为Z＝(R，C)；在读取RFID之后，根据巡视任务设置云台摄像头的控制量，在该条件下进行机器人运动控制，从而进行目标图像的获取，用O来表示目标图像，再利用目标搜索机制来控制云台摄像头的运动，从而得到最终的目标图片。

将控制量简化为Z＝R，而机器人的运动同时要受到规划好的路径和机器人当前位姿的影响，按照统计论的观点，求解控制规律，即求解P(R|O，M，T)，也就是在出现目标的情况下，在规划路径和机器人位姿约束下控制率的概率，其中，O表示目标图像，M表示机器人的当前位姿，T表示规划的路径；

$P\left(R\right|O,M,T)=\frac{P\left(O\right|R,M,T)P\left(R\right|M,T)}{P\left(O\right|M,T)}---\left(2\right)$

其中P(O|M，T)和P(O|R，M，T)为目标出现概率，P(R|M，T)为控制量似然律；

(R|M，T)表示在给定路径T和当前位姿下M下机器人的控制量的似然律，在给定路径和机器人当前位姿的情况下，进行控制量的求取；规划好的路径一定是离散的，在规划好的路径下进行机器人控制量的求取：

设M＝(x，y，theta)，T＝(T₁，T₂，......T_n)，其中T_i＝(x_i，y_i)，令M_p＝(x，y)，M_o＝theta，定义

$T_{\mathrm{opt}}=\arg \underset{T_i}{\min }D(M_p,T_i)---\left(3\right)$

其中，D表示的是欧式距离，T_opt为位置，为了获取角度信息，期望位姿定义为

T_o＝||T_opt||e^jθ，θ为T_opt+1相对于T_opt的偏移角            (4)

期望控制律

R_O＝(x_o，y_o，z_o)＝(T_ox-x，T_oy-y，θ-theta)                (5)

则最终的控制似然律表示为

$P\left(R\right|M,T)=\mathrm{sim}(R,R_O)=1/\sqrt{{(x_r-x_o)}^2+{(y_r-y_o)}^2+w_{\mathrm{\θ}}{(z_r-z_o)}^2}---\left(6\right)$

其中w_θ为调节权重；P(O|M，T)表示在当前位姿和轨迹下的目标出现的概率，P(O|R，M，T)表示在其对应控制量下出现目标的概率；如果没有读到RFID标签，说明距离目标物还比较远，则认为P(O/M，T)＝0，此时，式(2)没有意义，对应到实际情况，在目标不可能出现的情况下或区域中，那么机器人的运动完全由路径规划来引导，也就是常规的路径跟踪策略；如果读到了该RFID标签，则说明在大区域中存在目标，则启动基于图像的目标搜寻策略；通过考察本体视觉捕获的当前图像，基于当前图像和对目标的认识来确定P(O/M，T)和P(O|R，M，T)；其中P(O|M，T)所对应的摄像头图像即为当前图像，记为Img_C，而P(O|R，M，T)中图像的获取则可以通过当前图像根据R进行仿射变换得到，记为Img_Aff，

P(O|M，T)＝P(O|Img_C)                 (7)

P(O|R，M，T)＝P(O|Img_Aff)            (8)

为了确定图像中目标出现的概率，记为P(O|I)，I为待考察的图像。

所述步骤3)中，基于模板匹配的目标表示方法为：由于该类目标的位置相对固定，因此，通过预先保存的模板图像的出现来代表目标出现的概率，因此

P(O|I)＝sim(I_temp，I)                (9)

其中，I_temp为保存的模板图像，I为当前图像，sim(I_temp，I)是两幅图像的相似性。

所述步骤3)中，输液瓶或输液袋图像表示，通过利用颜色信息明显的人工标记物的方法来确定输液瓶的位置，采用特征来代替图像从而完成相似性度量

P(O|I)＝sim(I_temp，I)＝sim(V_temp，V)                 (10)

其中V_temp为保存的模板特征，V为当前特征。由于机器人在搜寻过程中，不止要找到目标，同时需要确定目标的尺寸和位姿；因此，采用颜色特征进行目标分割，分割以后计算其外接矩形W，

$\mathrm{sim}(V_{\mathrm{temp}},V)=\sqrt{{(W_{\mathrm{temp}}/W)}^2+{(H_{\mathrm{temp}}/H)}^2}---\left(11\right)$

对于人工标记物的分割，采用YCbCr空间中的Cb、Cr颜色分量，将Y滤除，利用颜色查找表法建立标记物的二维颜色概率模型，在机器人巡视时，机器人不断采集图像，遍历图像中的每一像素点，并实时进行判断，完成标记物的分割，再对分割出的标记物进行轮廓查找，利用外接矩形标记。

所述步骤3)中，对于针头或人面部表情，采用肤色分割方法，利用现有常用的颜色空间分别进行肤色分割，并用其综合来完成最终的肤色分割；分别采用RGB、HSV和YCrCb进行肤色分割；其中，RGB子空间下肤色模型如式(12)：

YCrCb空间的模型确定为式(13)：

69＜Y＜256，133＜Cr＜166，79＜Cb＜129               (13)

其中Y、Cr、Cb分别是三个颜色通道的像素值；

HSV空间模型确定为式(14)：

H＜19，S＞＝48                                      (14)

其中H，S分别是色调(H)、饱和度(S)的值。

所述步骤3)中，采用分区逻辑的方式进行摄像头控制，控制的基础是目标的分割结果。根据不同的目标进行不同的分割方法。

所述步骤3)中，对于输液瓶或输液袋分割，首先分割并定位标记物，然后进行输液瓶定位。

(1)标记物定位

设标记物的质心位置与输液瓶的质心位置距离分别为WD、HD，标记物和输液瓶的两个矩形框的长宽HL、WL、HO、WO，且标记物与输液瓶足够近，存在近似的比例关系：HL/HD ≈HL′/HD′，其中HL′和HD′为待搜索图像中的标志物高度和标志物中心与输液瓶中心的距离，HL、HD、HL′已知，HD′可求，且标记物的中心可求，从而可以求出输液瓶的大致位置P和尺度Scale；

完成标记物的颜色分割后，对分割出的区域进行评价，滤除那些面积小的噪声点，得到待候选的目标区域；利用Hu的七个不变矩来作为目标的形状特征，对分割出的区域计算其Hu不变矩，按照最近邻的方法确定分割出的区域即为标记物区域；

将标记物的长度和宽度作为测量值，将其模型假设为长度和宽度均匀变化，利用Kalman滤波进行噪声的滤除；

(2)基于主动视觉的输液瓶定位与分割

由于标记物距离输液瓶较近，标记物定位后得到的输液瓶的位置P和尺度Scale，在此基础上以该位置P为中心，以2Scale*2Scale为邻域，进行输液瓶的精定位；首先计算图像的特征图，采用颜色特征图和方向特征图，记为M:[n]²→R，计算其显著性度量函数，A:[n]²→R，即根据其特征图计算其响应函数；以M(i，j)代表在点(i，j)处的特征值，定义相似度函数

$d\left((i,j)\right|\left|(p,q)\right)\stackrel{\mathrm{\Δ}}{=}\left|\log \frac{M(i,j)}{M(p,q)}\right|---\left(15\right)$

以图像中的每个点作为结点，构造全连接图G_A；结点(i，j)与结点(p，q)的边的权重为

$w((i,j),(p,q))\stackrel{\mathrm{\Δ}}{=}d\left((i,j)\right|\left|(p,q)\right)\·F=d\left((i,j)\right|\left|(p,q)\right)\·\exp (-\frac{{(i-p)}^2+{(j-q)}^2}{2{\mathrm{\σ}}^2})---\left(16\right)$

其中，F代表调节权重，该权重调节距离对相似度的影响；

基于构建的G_A，以结点表示状态，以权重表示转移概率，引入马尔科夫链，利用马氏链的演化计算显著性图；在具有独异性的区域，得到的累积概率值大，响应函数就大，从而得到对应的显著性图；对于分割出的输液瓶邻域计算其显著性图，响应函数最大值进一步定位出输液瓶，定位之后利用SIFT特征匹配对得到的区域进行确认，从而得到最终的输液瓶位置、大小和位姿。

所述步骤3)中，对于位置相对不变的目标，根据模板匹配的结果，利用仿射变换得到目标的大致位置，在该粗略区域内，利用主动视觉进行筛选，对于颜色明显的物体，如引流袋，利用颜色直方图进行匹配，得到目标的定位结果；对于颜色不明显的物体利用灰度直方图进行匹配，得到最终的设备位置和大小。

所述步骤3)中，对于伤口、表情和针头信息，利用肤色分割的结果，结合人的结构信息，得到伤口、表情和针头信息。

步骤3)中的基于分区逻辑的方法实现简单且省去了复杂的摄像机标定环节。将图像平面分为摄像头静止区域、运动保持区域、运动区域，根据定位出的目标在图像中的不同区域和大小，采用不同的云台控制策略，从而控制摄像头运动。

本发明的病房巡视机器人系统包括机器人定位系统、机器人控制系统和机器人视觉系统。其工作过程如下：出于保护病人隐私的考虑，病房内不布置分布式摄像头，通过巡视机器人的视觉替代护士完成巡护任务。机器人进入病房以后，通过与服务器的交互，获得当前病房的地图，机器人规划从当前点到病床的路径，然后利用路径跟踪技术到达床头，通过RFID的读取完成病人信息的验证，同时获取对于病人的巡护任务。结合RFID读取到的与服务器下载的巡护任务，利用当前病房的地图信息，机器人规划房间内的路径，并进行巡视。在巡视过程中，机器人通过StarGazer进行机器人定位，根据机器人的实时位姿、捕获的场景图像以及预先规划好的路径进行机器人运动控制，控制机器人到达目标位置后，对场景图像进行搜索进行目标精定位，并控制云台摄像头进行图像抓取，并传输到服务器端主界面且自动保存到数据库以供护士查看。

本发明的有益效果是：通过机器人的视觉，对病房内的海量视频数据进行主动提取，将提取得到的有意义的图像数据传送到护士站，使护士可以在护士站浏览少量的图像信息就可以完成病房巡视，改善了目前病房巡视中过度依赖陪护和呼叫器的缺点，并大大降低了护士的工作量。

附图说明

图1为本发明的流程图。

图2给定路径和位姿下的控制量求取示意图。

图3为机器人机构示意图。

其中，1.移动机器人，2.RFID天线，3.云台摄像头，4.红外定位系统，5.激光传感器。

具体实施方式

下面结合附图与实施例对本发明做进一步说明。

图1中，移动机器人进入病房之后，首先进行病人信息验证：利用预先规划好的路径移动到床头，床头上贴有RFID标签，RFID记录病人的科室、病名、需要巡视的信息、巡视信息相应的先验知识等，通过机器人携带的RFID读写器读取床头的RFID标签实现快速、准确的病人信息验证。如果RFID的认证与数据库中的记录相符，进行下一步的巡视任务，否则，机器人要报警，并等待护士确认，同时，进行下一位病人的巡视。然后机器人通过携带的RFID进行目标的粗定位，然后通过本体视觉进行精定位；同时机器人依靠StarGazer进行定位，通过携带的激光进行避障，并控制机器人进行目标搜寻与定位。为了完成目标定位，提出基于贝叶斯模型的机器人运动控制模型，利用分区控制模型进行摄像头的控制。

将机器人的控制量用R＝(x_r，y_r，z_r)表示，其中x_r，y_r分别表示两个方向上的偏移量，z_r表示朝向角的偏移量，摄像头的控制量用C＝(C_p，C_t，C_z)，分别表示的是Pan，Tilt，Zoom的控制量，总的控制量表示为Z＝(R，C)，在读取RFID之后，可以根据巡视任务设置云台摄像头的控制量，在该条件下进行机器人运动控制，从而进行目标图像的获取。我们用O来表示目标图像，再利用目标搜索机制来控制云台摄像头的运动，从而得到最终的目标图片，因此，我们将控制量简化为Z＝R，而机器人的运动同时要受到规划好的路径和机器人当前位姿的影响，按照统计论的观点，要求解控制规律，即求解P(R|O，M，T)，也就是在出现目标的情况下，在规划路径和机器人位姿约束下控制率的概率，其中，O表示目标图像，M表示机器人的当前位姿，T表示规划的路径。为了得到P(R|O，M，T)，以A，B，C作为三个不同的事件，从概率论的角度来求解P(A|B，C)

$P\left(A\right|B,C)=\frac{P(A,B,C)}{P(B,C)}=\frac{P\left(B\right|A,C)P(A,C)}{P\left(B\right|C)P\left(C\right)}=\frac{P\left(B\right|A,C)P\left(A\right|C)P\left(C\right)}{P\left(B\right|C)P\left(C\right)}=\frac{P\left(B\right|A,C)P\left(A\right|C)}{P\left(B\right|C)}---\left(1\right)$

所以

$P\left(R\right|O,M,T)=\frac{P\left(O\right|R,M,T)P\left(R\right|M,T)}{P\left(O\right|M,T)}---\left(2\right)$

其中P(O|M，T)和P(O|R，M，T)为目标出现概率，P(R|M，T)为控制量似然律。

(R|M，T)表示在给定路径T和当前位姿下M下机器人的控制量的似然律，在给定路径和机器人当前位姿的情况下，进行控制量的求取。规划好的路径一定是离散的，如图2。在规划好的路径下进行机器人控制量的求取。

设M＝(x，y，theta)，T＝(T₁，T₂，......T_n)，其中T_i＝(x_i，y_i)，令M_p＝(x，y)，M_o＝theta，定义

$T_{\mathrm{opt}}=\arg \underset{T_i}{\min }D(M_p,T_i)---\left(3\right)$

其中，D表示的是欧式距离，T_opt为位置，为了获取角度信息，期望位姿定义为

T_o＝||T_opt||e^jθ，θ为T_opt+1相对于T_opt的偏移角          (4)

期望控制律

R_O＝(x_o，y_o，z_o)＝(T_ox-x，T_oy-y，θ-theta)              (5)

则最终的控制似然律表示为

$P\left(R\right|M,T)=\mathrm{sim}(R,R_O)=1/\sqrt{{(x_r-x_o)}^2+{(y_r-y_o)}^2+w_{\mathrm{\θ}}{(z_r-z_o)}^2}---\left(6\right)$

其中w_θ为调节权重。

为了定位目标，采用多模式的目标表示方法。P(O|M，T)表示在当前位姿和轨迹下的目标出现的概率，P(O|R，M，T)表示在其对应控制量下出现目标的概率。为了确定目标的出现概率，采用多种模式进行目标表示。将RFID、模板图像与特征结合起来，将目标由粗到细进行表示，从而引导机器人高效、准确的完成目标搜寻。

在待搜寻目标上粘贴RFID标签，如果没有读到RFID标签，说明距离目标物还比较远，则认为P(O/M，T)＝0，此时，式(2)没有意义，对应到实际情况，在目标不可能出现的情况下(或区域中)，那么机器人的运动完全由路径规划来引导，也就是常规的路径跟踪策略。如果读到了该RFID标签，则说明在大区域中存在目标，则启动基于图像的目标搜寻策略。

通过考察本体视觉捕获的当前图像，基于当前图像和对目标的认识来确定P(O/M，T)和P(O|R，M，T)。其中P(O|M，T)所对应的摄像头图像即为当前图像，记为Img_C，而P(O|R，M，T)中图像的获取则可以通过当前图像根据R进行仿射变换得到，记为Img_Aff。

P(O|M，T)＝P(O|Img_C)               (7)

P(O|R，M，T)＝P(O|Img_Aff)          (8)

为了确定图像中目标出现的概率，记为P(O|I)，I为待考察的图像，图像的维数是非常高的，因此直接确定P(O|I)是非常困难的，因此，需要寻求合适的目标表示方法，针对病房巡视任务，设计不同的方法来确定目标出现的概率。病房环境下的巡视目标分两类，一类是位置相对固定的设备，如，监护仪一般放在病人床边的桌子上，缓冲罐和引流袋放在床下方；另一类是经常移动的目标或颜色明显的目标，如输液瓶，病人可以随意调整位置，针头刺入部位，伤口部位，人脸表情等。对于第一类目标，预先采集包含目标的图像作为模板，通过图像的相似性来评价目标出现的概率；对于第二类目标，设计基于颜色特征的目标分割从而确定目标出现概率。

(1)基于模板匹配的目标分割

由于第一类目标的位置相对固定，因此，可以通过预先保存的模板图像的出现来代表目标出现的概率，因此

P(O|I)＝sim(I_temp，I)             (9)

其中，I_temp为保存的模板图像，I为当前图像，sim(I_temp，I)是两幅图像的相似性。关于图像的相似性，可以有很多方法确定，如相关系数法，直方图法和傅里叶描述子等。

(2)基于特征的目标分割

由于第二类目标位置相对灵活，如输液瓶，采用颜色信息明显的人工标记物的方法来确定输液瓶的位置，同时针头刺入部位，伤口部位，人脸表情等，都是具有肤色的区域。为了快速确定目标出现的概率，采用特征来代替图像从而完成相似性度量。

P(O|I)＝sim(I_temp，I)＝sim(V_temp，V)            (10)

其中V_temp为保存的模板特征，V为当前特征。由于机器人在搜寻过程中，不止要找到目标，同时需要确定目标的尺寸和位姿。因此，采用颜色特征进行目标分割，分割以后计算其外接矩形W，

$\mathrm{sim}(V_{\mathrm{temp}},V)=\sqrt{{(W_{\mathrm{temp}}/W)}^2+{(H_{\mathrm{temp}}/H)}^2}---\left(11\right)$

(a)基于颜色查找表的标记物分割

对于人工标记物的分割，采用YCbCr空间中的Cb、Cr颜色分量，将Y滤除，利用颜色查找表法建立标记物的二维颜色概率模型，在机器人巡视时，机器人不断采集图像，遍历图像中的每一像素点，并实时进行判断，完成标记物的分割，再对分割出的标记物进行轮廓查找，利用外接矩形标记。

(b)基于多颜色空间的肤色分割

对于肤色分割，利用现有常用的颜色空间分别进行肤色分割，并用其综合来完成最终的肤色分割。人体肤色随环境差异不同而显示出不同的颜色，但从几何模式识别的观点来看，同样颜色的点在空间中是相对聚合的，因此，可以寻求肤色在颜色空间中的子空间，分别采用RGB、HSV和YCrCb进行肤色分割。其中，RGB子空间下肤色模型如式(12)：

YCrCb空间的模型确定为式(13)：

69＜Y＜256，133＜Cr＜166，79＜Cb＜129             (13)

其中Y、Cr、Cb分别是三个颜色通道的像素值。

HSV空间模型确定为式(14)：

H＜19，S＞＝48                                    (14)

其中H，S分别是色调(H)、饱和度(S)的值。

基于大量的实验结果，发现基于RGB颜色空间得到的结果将非肤色区域(尤其是偏红色调的部分)分割出来了，但一般没有漏检，主要原因是由于人的肤色比较红润的地方参与了训练，从而导致会把红色认为是肤色；而在HSV空间结果非肤色区域分割的较准确，但是肤色区域分割效果不完全，YCrCb空间的结果较好的去掉了肤色发红的部分。将三个颜色空间的结果相互进行与操作，又因为RGB空间分割的较完全，我们将与操作的结果的肤色区域标记出来，在这些标记区域中我们和RGB空间中相应的区域进行或操作完善分割结果，得到的结果具有较好的抗干扰性和稳定性。

为了实现高稳定性和可靠性的目标定位，针对具体的巡视任务采用不同的特征进行目标定位。当机器人搜索到目标后，机器人停止，并进行目标定位。

由于输液瓶形态各异，且内装液体颜色不一，直接进行输液瓶的分割是非常困难且较不稳定的，故我们采用加入人工标记物的方法来进行输液瓶定位，分割出人工标记物之后，利用人工标记物与输液瓶的图像变换关系，进行输液瓶的定位。由于要搜索的图像与目标图像的匹配度较大，因此如果设标记物的质心位置与输液瓶的质心位置距离分别为WD、HD，标记物和输液瓶的两个矩形框的长宽HL、WL、HO、WO，且标记物与输液瓶足够近，存在近似的比例关系：HL/HD ≈HL′/HD′，其中HL′和HD′为待搜索图像中的标志物高度和标志物中心与输液瓶中心的距离，HL、HD、HL′已知，HD′可求，且标记物的中心可求，从而可以求出输液瓶的大致位置P和尺度Scale。

(1)标记物定位

完成标记物的分割后，对分割出的区域进行评价，滤除那些面积小的噪声点，得到待候选的目标区域。为了防止与目标颜色相近的目标的干扰，综合物品的形状信息提取最终的目标。由于图像的不变矩对图像的平移、旋转和尺度变化均具有不变性，因此我们利用Hu的7个不变矩来作为目标的形状特征，对分割出的区域计算其Hu不变矩，按照最近邻的方法确定分割出的区域即为标记物区域。

为了克服机器人在移动过程引起的标记物检测的噪声，将标记物的长度和宽度作为测量值，将其模型假设为长度和宽度均匀变化，利用Kalman滤波进行噪声的滤除，提高了标记物的检测效果。

(2)基于主动视觉的输液瓶定位

由于标记物距离输液瓶较近，标记物定位后可以得到的输液瓶的大体位置和尺度，在此基础上以该位置P为中心，以2Scale*2Scale为邻域，进行输液瓶的精定位。在得到的邻域内，借鉴主动视觉的思路，得到视觉显著性图。基于图论的显著性图算法在模拟人眼视觉方面具有独到优势，该算法在特征提取的过程中模拟视觉原理，在显著图生成的过程引入马尔可夫链计算得到显著性值。

首先计算图像的特征图，我们采用颜色特征图和方向特征图，记为M:[n]²→R，计算其显著性度量函数，A:[n]²→R，即根据其特征图计算其响应函数。以M(i，j)代表在点(i，j)处的特征值，定义相似度函数

$d\left((i,j)\right|\left|(p,q)\right)\stackrel{\mathrm{\Δ}}{=}\left|\log \frac{M(i,j)}{M(p,q)}\right|---\left(15\right)$

以图像中的每个点作为结点，构造全连接图G_A。结点(i，j)与结点(p，q)的边的权重为

$w((i,j),(p,q))\stackrel{\mathrm{\Δ}}{=}d\left((i,j)\right|\left|(p,q)\right)\·F=d\left((i,j)\right|\left|(p,q)\right)\·\exp (-\frac{{(i-p)}^2+{(j-q)}^2}{2{\mathrm{\σ}}^2})---\left(16\right)$

其中，F代表调节权重，该权重调节距离对相似度的影响。

基于构建的G_A，以结点表示状态，以权重表示转移概率，引入马尔科夫链，从而利用马氏链的演化计算显著性图。在具有独异性的区域，得到的累积概率值大，响应函数就大，从而得到对应的显著性图。对于分割出的输液瓶邻域计算其显著性图，响应函数最大值进一步定位出输液瓶，定位之后利用SIFT特征匹配对得到的区域进行确认，从而得到最终的输液瓶位置。

对于监护仪和引流袋的定位，由于该类仪器相对固定，通过图像的匹配可以确定目标的大致尺度Scale和位置P，以该位置P为中心，以3Scale*3Scale为邻域，进行目标的精定位。同样利用基于主动视觉的显著性图进行视觉引导，对于颜色信息明显的目标，如引流袋，利用颜色直方图进行确认，对于颜色不明显的目标，但强度比较明显的目标，则用灰度直方图进行确认。

为了查看针头的刺入部位和伤口情况，预设有裸露在外面的皮肤，否则，即使是人也无法观察到针头刺入情况，通过语音交互的方式，使病人或陪护配合将伤口或针头部位漏出，并利用肤色分割的方式来进行针头刺入部位的查找，查找到肤色区域后，融合读取到的RFID记录的伤口位置信息和对人的结构认识进行针头部位和伤口部位等的区分。解决了肤色检测分割后，根据人的结构特点，可以确定人脸或针头，同样可以定位伤口。

根据定位出的目标区域，进行云台摄像头控制。使定位后的目标尽量的位于视野中央，为下一步的图像缩放做准备。采用基于分区逻辑的方法，实现简单且省去了复杂的摄像机标定环节，完成云台摄像头的控制。将图像平面分为摄像头静止区域、运动保持区域、运动区域，根据定位出的目标在图像中的不同区域，采用不同的云台控制策略，从而控制摄像头运动；由于服务器端需要得到清楚的设备状态，如果目标较小的话，需要对当前捕获的目标进行拉近，从而便于护士观察。

机器人本体上的红外发射/接受器距离天花板2.5米，StarGazer标签之间的距离1.5米，实际定位精度2厘米之内，满足病房巡视的要求；w_θ取为0.5，按照随机采样方式，计算最大似然率得到最终控制率，采样个数采用自适应控制方式，如果与目标相似性较小，则采样个数较大，随着相似性的增大，减小采样个数；采用相关系数法进行图像与模板图像的匹配；为了提高分割的速度且减小颜色查找表的体积，对Cb、Cr按每5个灰度级别进行量化，概率阈值取为0.3，对人工标记物进行分割；待匹配阶段出现目标的概率较大，因此匹配阈值较低，SIFT匹配阈值设为5，颜色直方图匹配阈值设为0.6，灰度直方图阈值设为0.6，完成机器人病房巡视。

图3中，它包括移动机器人1，在所述移动机器人1上设有RFID天线2，移动机器人1顶部设有云台摄像头3，在移动机器人1前部则设有红外定位系统4和激光传感器5；所述RFID天线2与病房中各病床上的RFID标签相配合。

本发明的机器人中包含自定位系统和目标定位系统。它采用了红外定位系统4完成机器人定位。其由红外线发射/接收器与被动式红外标签组成。标签贴在天花板上，发射/接收器安装在机器人平台顶端，当发射/接收器检测到标签时，就通过串口将其相对于标签的位姿和其标签的ID传递给服务机器人。由于标签在世界坐标系中的位置已知，通过坐标变换机器人就可获取自身在世界坐标系中的位姿，实现自定位。对于红外定位系统来说，其定位精度较高，但同样存在误定位的情况，为了滤除噪声的影响，利用Kalman滤波来对机器人的位姿进行滤波。

服务器端界面和本体端界面，服务器端接收机器人本体传回的视频，同时，将本体检测到的目标抓拍图片显示，并将其存入数据库，且按照病人的巡视信息进行合理组织，从而使护士可以不用一直盯着界面查看，可以只检索经过组织后的图片，很方便的检索出错的图片或没有抓取到的图片，并针对这些图像进行人为操作，从而减轻护士的工作量，同时，服务器端显示当前的巡视状态及机器人运行轨迹；服务器端留有机器人操作功能，在需要的情况下可以进行机器人的遥操作，实现远程的机器人操控与人机交互。本体端主要由视频显示窗口，RFID读取窗口，机器人轨迹窗口，机器人当前位姿，同时，在本体上同样可以进行机器人的控制。

Claims (5)

1.一种采用病房巡视服务机器人系统的目标搜寻方法，它包括移动机器人，在所述移动机器人上设有RFID天线，移动机器人顶部设有云台摄像头，在移动机器人前部则设有红外定位系统和激光传感器；所述RFID天线与病房中各病床上的RFID标签相配合，其特征是，它的方法为：

1)在病床的床头处设有RFID标签，RFID标签记录病人的科室、病名、需要巡视的信息、巡视信息相应的先验知识，机器人通过携带的RFID读写器，读取床头的RFID标签完成病人信息验证，如读取信息与机器人预存信息有差别，则向服务器发出警报，由护理人员判断是否为患者，如果是则继续为该患者护理；如果否，则转入下一位患者；

2)机器人进入病房后，通过与服务器的交互，获得当前病房的地图，机器人通过携带的RFID读写器进行粗定位，即根据是否读到RFID标签，判断机器人与目标物是否接近，如果没有，则按照常规的路径跟踪策略引导机器人行走；如果收到，则说明在大区域内存在目标，启动基于贝叶斯模型的运动控制模型控制机器人完成目标的搜寻；采用基于贝叶斯模型的运动控制模型，利用分区控制模型进行摄像头的控制，搜寻目标图像，其具体过程为：

将机器人的控制量用R＝(x_r，y_r，z_r)表示，其中x_r，y_r分别表示两个方向上的偏移量，z_r表示朝向角的偏移量，摄像头的控制量用C＝(C_p，C_t，C_z)，分别表示的是Pan，Tilt，Zoom的控制量，总的控制量表示为Z＝(R，C)；在读取RFID之后，根据巡视任务设置云台摄像头的控制量，在该条件下进行机器人运动控制，从而进行目标图像的获取，用O来表示目标图像，再利用目标搜索机制来控制云台摄像头的运动，从而得到最终的目标图片；

将控制量简化为Z＝R，而机器人的运动同时要受到规划好的路径和机器人当前位姿的影响，按照统计论的观点，求解控制规律，即求解P(R|O，M，T)，也就是在出现目标的情况下，在规划路径和机器人位姿约束下控制率的概率，其中，O表示目标图像，M表示机器人的当前位姿，T表示规划的路径；

$P\left(R\right|O,M,T)=\frac{P\left(O\right|R,M,T)P\left(R\right|M,T)}{P\left(O\right|M,T)}---\left(2\right)$

其中P(O|M，T)和P(O|R，M，T)为目标出现概率，P(R|M，T)为控制量似然律；

(R|M，T)表示在给定路径T和当前位姿下M下机器人的控制量的似然律，在给定路径和机器人当前位姿的情况下，进行控制量的求取；规划好的路径一定是离散的，在规划好的路径下进行机器人控制量的求取：

设M＝(x，y，theta)，T＝(T₁，T₂，......Tn)，其中T_i＝(x_i，y_i)，令M_p＝(x，y)，M_o＝theta，定义

$T_{\mathrm{opt}}=\arg \underset{T_i}{\min }D(M_p,T_i)---\left(3\right)$

其中，D表示的是欧式距离，T_opt为位置，为了获取角度信息，期望位姿定义为

T_o＝||T_opt||e^jθ，θ为T_opt+1相对于T_opt的偏移角    (4)

期望控制律

R_O＝(x_o，y_o，z_o)＝(T_ox-x，T_oy-y，θ-theta)        (5)

则最终的控制似然律表示为

$P\left(R\right|M,T)=\mathrm{sim}(R,R_O)=1/\sqrt{{(x_r-x_o)}^2+{(y_r-y_o)}^2+w_{\mathrm{\θ}}{(z_r-z_o)}^2}---\left(6\right)$

其中w_θ为调节权重；P(O|M，T)表示在当前位姿和轨迹下的目标出现的概率，P(O|R，M，T)表示在其对应控制量下出现目标的概率；如果没有读到RFID标签，说明距离目标物还比较远，则认为P(O/M，T)＝0，此时，式(2)没有意义，对应到实际情况，在目标不可能出现的情况下或区域中，那么机器人的运动完全由路径规划来引导，也就是常规的路径跟踪策略；如果读到了该RFID标签，则说明在大区域中存在目标，则启动基于图像的目标搜寻策略；通过考察本体视觉捕获的当前图像，基于当前图像和对目标的认识来确定P(O/M，T)和P(O|R，M，T)；其中P(O|M，T)所对应的摄像头图像即为当前图像，记为Img_C，而P(O|R，M，T)中图像的获取则可以通过当前图像根据R进行仿射变换得到，记为Img_Aff，

P(O|M，T)＝P(O|Img_C)         (7)

P(O|R，M，T)＝P(O|Img_Aff)    (8)

为了确定图像中目标出现的概率，记为P(O|I)，I为待考察的图像；

3)对于输液瓶或输液袋图像，通过标记物分割，利用坐标变换得到目标的粗略位置，然后利用主动视觉进行候选区域筛选，对筛选出的区域利用特征匹配分割输液瓶或输液袋图像，以分割出的目标为基准，进行摄像头的调整获取该类设备可识别图片；

对于位置不变设备，采用模板匹配可以获得目标的大致位置，在该位置内，利用主动视觉进行候选区域筛选，对筛选出的区域利用直方图进行匹配，以分割该类设备，以分割出的该类设备为基准，进行摄像头调整获取该类设备可识别图片；

对于针头、伤口及人体面部图像，则采用肤色分割方式，调整摄像头获取位姿较好图片；

将上述图片上传至服务器，供护理人员查看；

4)在完成预设护理工作后，转入下一位病人的护理。

2.如权利要求1所述的目标搜寻方法，其特征是，所述步骤3)中，基于模板匹配的目标分割方法为：由于该类目标的位置相对固定，因此，通过预先保存的模板图像的出现来代表目标出现的概率，因此

P(O|I)＝sim(I_temp，I)    (9)

其中，I_temp为保存的模板图像，I为当前图像，sim(I_temp，I)是两幅图像的相似性。

3.如权利要求1所述的目标搜寻方法，其特征是，所述步骤3)中，所述输液瓶或输液袋图像识别，采用颜色信息明显的人工标记物的方法来确定输液瓶的位置，采用特征来代替图像从而完成相似性度量

P(O|I)＝sim(I_temp，I)＝sim(V_temp，V)    (10)

其中V_temp为保存的模板特征，V为当前特征；由于机器人在搜寻过程中，不止要找到目标，同时需要确定目标的尺寸和位姿；因此，采用颜色特征进行目标分割，分割以后计算其外接矩形W，

$\mathrm{sim}(V_{\mathrm{temp}},V)=\sqrt{{(W_{\mathrm{temp}}/W)}^2+{(H_{\mathrm{temp}}/H)}^2}---\left(11\right)$

对于人工标记物的分割，采用YCbCr空间中的Cb、Cr颜色分量，将Y滤除，利用颜色查找表法建立标记物的二维颜色概率模型，在机器人巡视时，机器人不断采集图像，遍历图像中的每一像素点，并实时进行判断，完成标记物的分割，再对分割出的标记物进行轮廓查找，利用外接矩形标记。

4.如权利要求3所述的目标搜寻方法，其特征是，设标记物的质心位置与输液瓶的质心位置距离分别为WD、HD，标记物和输液瓶的两个矩形框的长宽HL、WL、HO、WO，且标记物与输液瓶足够近，存在近似的比例关系：HL/HD≈HL′/HD′，其中HL′和HD′为待搜索图像中的标志物高度和标志物中心与输液瓶中心的距离，HL、HD、HL′已知，HD′可求，且标记物的中心可求，从而可以求出输液瓶的大致位置P和尺度Scale；

(1)标记物定位

完成标记物的分割后，对分割出的区域进行评价，滤除那些面积小的噪声点，得到待候选的目标区域；利用Hu的7个不变矩来作为目标的形状特征，对分割出的区域计算其Hu不变矩，按照最近邻的方法确定分割出的区域即为标记物区域；

将标记物的长度和宽度作为测量值，将其模型假设为长度和宽度均匀变化，利用Kalman滤波进行噪声的滤除；

(2)基于主动视觉的输液瓶定位

由于标记物距离输液瓶较近，标记物定位后得到的输液瓶的位置和尺度，在此基础上以该位置P为中心，以2Scale*2Scale为邻域，进行输液瓶的精定位；首先计算图像的特征图，采用颜色特征图和方向特征图，记为M：[n]²→R，计算其显著性度量函数，A：[n]²→R，即根据其特征图计算其响应函数；以M(i，j)代表在点(i，j)处的特征值，定义相似度函数

$d\left((i,j)\right|\left|(p,q)\right)\underset{=}{\mathrm{\Δ}}\left|\log \frac{M(i,j)}{M(p,q)}\right|---\left(15\right)$

以图像中的每个点作为结点，构造全连接图G_A；结点(i，j)与结点(p，q)的边的权重为

$w((i,j),(p,q))\underset{=}{\mathrm{\Δ}}d\left((i,j)\right|\left|(p,q)\right)\·F=d\left((i,j)\right|\left|(p,q)\right)\·\exp (-\frac{{(i-p)}^2+{(j-q)}^2}{2{\mathrm{\σ}}^2})---\left(16\right)$

其中，F代表调节权重，该权重调节距离对相似度的影响；

基于构建的G_A，以结点表示状态，以权重表示转移概率，引入马尔科夫链，利用马氏链的演化计算显著性图；在具有独异性的区域，得到的累积概率值大，响应函数就大，从而得到对应的显著性图；对于分割出的输液瓶邻域计算其显著性图，响应函数最大值进一步定位出输液瓶，定位之后利用SIFT特征匹配对得到的区域进行确认，从而得到最终的输液瓶位置。

5.如权利要求1所述的目标搜寻方法，其特征是，所述步骤3)中，对于针头或人面部表情，采用肤色分割方法，利用现有常用的颜色空间分别进行肤色分割，并用其综合来完成最终的肤色分割；分别采用RGB、HSV和YCrCb进行肤色分割；其中，RGB子空间下肤色模型如式(12)：

YCrCb空间的模型确定为式(13)：

69＜Y＜256，133＜Cr＜166，79＜Cb＜129    (13)

其中Y、Cr、Cb分别是三个颜色通道的像素值；

HSV空间模型确定为式(14)：

H＜19，S＞＝48    (14)

其中H，S分别是色调(H)、饱和度(S)的值。

Images