CN107038402B - 用于患者移动检测的检测方法及检测设备 - Google Patents

Abstract

提供了用于患者移动检测的检测方法及检测设备。检测方法包括：获取图像；在图像中限定的目标区域中搜索对象人物的头部图像的候选；以及当在目标区域中的第一区域和第二区域之中，在第二区域中没有检测到头部图像的候选并且在第一区域中检测到头部图像的一个或更多个候选时，将距第二区域最远检测到的头部图像的候选检测为对象人物的头部图像。

Description

用于患者移动检测的检测方法及检测设备

技术领域

本文所讨论的实施方式涉及用于患者移动检测的检测方法及用于患者移动检测的检测设备。

背景技术

在医疗设施、疗养院等中，患者可能在护士等没有注意到患者离开的情况下离开他的或她的床，并且可能发生如患者走失和跌倒的意外。为了减少这种意外的数目，提出了用于检测关于例如从床上起身和离开床的患者的移动的技术。

例如，存在用于根据由相机捕捉的图像检测人的头部的技术。利用这种技术，例如，根据由安装在床上的枕头上方例如床头板正上方的位置处的相机捕捉的图像来检测患者的头部，并且通过跟踪所检测的患者的头部来识别患者的起身移动或离床移动。

国际专利申请的日本国家公开第2006-511826号和日本特许专利公开第2015-011649号是相关技术的示例。

然而，利用背景中描述的技术，患者的除头部之外的部位或如寝具的静止物可能被错误地检测为患者的头部。

发明内容

因此，在本发明的一个方面中目的是提供一种增加头部检测的准确度的检测方法。

根据本发明的一个方面，一种检测方法包括：通过计算机获取图像；在图像中限定的目标区域中搜索对象人物的头部图像的候选；以及当在目标区域中的第一区域和第二区域之中，在第二区域中没有检测到头部图像的候选并且在第一区域中检测到头部图像的一个或更多个候选时，将距第二区域最远检测到的头部图像的候选检测为对象人物的头部图像。

根据本发明的另一方面，一种检测设备包括存储器和被耦接至存储器的处理器，并且处理器被配置成：获取图像；在图像中限定的目标区域中搜索对象人物的头部图像的候选；以及当在目标区域中的第一区域和第二区域之中，在第二区域中没有检测到头部图像的候选并且在第一区域中检测到头部图像的一个或更多个候选时，将距第二区域最远检测到的头部图像的候选检测为对象人物的头部图像。

附图说明

图1是示出了根据第一实施方式的包括在检测系统中的设备的功能配置的示例的框图；

图2A是示意性示出了人在床上起身的起身移动的示例的图；

图2B是示意性示出了人从床上站起来的离床移动的示例的图；

图3A是示出了床坐标系中的相机位置、相机角度和床的四个角的定义的示例的图；

图3B是示出了床坐标系中的床的四个角的定义的示例的图；

图4是示出了起身线和离床线的示例的图；

图5是示出了起身移动与起身线之间的关系以及离床移动与离床线之间的关系的示例的图；

图6A和图6B是示出了姿势确定线的示例的图；

图7A和图7B是示意性示出了根据第一实施方式的姿势确定和头部位置检测的概述的示例的图；

图8是示出了学习方法的示例的图；

图9是示意性示出了背景差异检测的概述的示例的图；

图10是示出了扫描方法的示例的图；

图11A是示出了可靠性等级输出的示例的图；

图11B是示出了可靠性等级输出的示例的图；

图11C是示出了可靠性等级输出的示例的图；

图12是示出了根据第一实施方式的初始设置过程的程序的示例的流程图；

图13A是示出了根据第一实施方式的搜索过程的程序的示例的流程图；

图13B是示出了根据第一实施方式的搜索过程中的头部位置检测过程的程序的示例的流程图；

图14是示出了根据第二实施方式(和第三实施方式)的被包括在检测系统中的设备的功能配置的示例的框图；

图15是示出了根据第二实施方式的搜索过程的程序的示例的流程图；

图16A是示出了根据第二实施方式(和第三实施方式)的跟踪过程的程序的示例的流程图；

图16B是示出了根据第二实施方式的跟踪过程中的头部位置检测过程的程序的示例的流程图；

图17是示意性示出了根据第二实施方式的跟踪过程中的检测范围确定过程的概述的示例的图；

图18A和图18B是示意性示出了根据第三实施方式的跟踪过程中的检测范围确定过程的概述的示例的图；

图18C和图18D是示意性示出了根据第三实施方式的跟踪过程中的检测范围确定过程的概述的示例的图；

图19是示出了根据第三实施方式的跟踪过程中的检测范围确定过程的程序的示例的流程图；以及

图20是示出了根据第一实施方式至第三实施方式的执行程序的计算机的硬件配置的示例的图。

具体实施方式

在下文中，将参考附图描述根据本申请的存储用于患者移动检测的程序的计算机可读记录介质、用于患者移动检测的检测方法和用于患者移动检测的检测设备。注意，下面的实施方式不限制本文所公开的技术。在处理的内容不自相矛盾的范围内，可以适当地将实施方式组合。另外，在实施方式中，由相同的附图标记表示相同的配置和相同的过程，并且将省略已描述的配置和过程的描述。

[第一实施方式]

[根据第一实施方式的检测系统]

图1是示出了根据第一实施方式的包括在检测系统中的设备的功能配置的示例的框图。图1所示的检测系统1应用于医疗设施、疗养院等，并且提供检测服务，通过该检测服务使用由相机捕捉的图像检测床的用户(床用户)如接受护理的患者或人的移动，移动与在用户或患者“卧床”的情况下用户从床“起身”和“离床”的动作有关。

首先，将描述“卧床”、“起身”和“离床”。图2A是示意性示出了人在床上起身的起身移动的示例的图。此外，图2B是示意性示出了人从床上站起来的离床移动的示例的图。如图2A的部分(a)所示，“卧床”表示以下状态：床b的用户或患者h躺在床b的躺卧表面上。另外，如图2A的部分(b)所示，“起身”表示以下状态或移动：床b的用户或患者h已从床b的躺卧表面上的“卧床”状态挺起他的或她的上半身并且在床b上坐起。另外，“离床”表示以下状态或移动：床b的用户或患者h从图2A的部分(b)所示的在床b的躺卧表面上的“起身”状态进入以下状态，在该状态下用户或患者h如图2B的部分(a)所示坐在床b的躺卧表面上，并且此后床b的用户或患者h如图2B的部分(b)所示站立，并且离开床b。

作为这样的检测服务的一部分，检测系统1对从相机捕捉的图像检测到的床的用户的头部图像的候选进行检测，用户处于卧床或起身状态。检测系统1根据基于为床设置的姿势确定线的头部图像候选分布状况的确定，确定床的用户是否处于卧床姿势或起身姿势。检测系统1根据所确定的床的用户的姿势，在床的用户的头部图像的候选之间检测床的用户的头部图像。

此外，检测系统1跟踪所检测到的床的用户的头部。当跟踪的床的用户的头部的路径与为床设置的起身线相交(cross)时，检测系统1检测到床的用户从卧床到起身的动作。当跟踪的床的用户的头部的路径与为床设置的离床线相交时，检测系统1检测到床的用户从起身到离床的动作。注意，“与……相交”表示当将紧接在前的帧的图像与当前帧的图像进行比较时，跟踪的床的用户的头部的路径在紧接在前的帧的图像中没有与起身线或离床线相交，而在当前帧的图像中与起身线或离床线相交。

如图1所示，检测系统1包括设置设备10、头部及非头部图像数据存储单元20、相机30和检测设备100。设置设备10、头部及非头部图像数据存储单元20、相机30和检测设备100彼此连接，使得可以经由某个网络进行通信。作为这样的网络，例如，可以使用任意类型的通信网络，如有线网络或无线网络、公共网络或封闭网络、电路交换网络或存储转发交换网络等。

注意，作为示例，图1示出了一个相机30；然而，检测系统1可以包括多个相机30。此处，作为相机30，可以使用包括如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)的摄像装置的摄像设备。可替选地，红外相机或可见光相机可以用作相机30。作为一个实施方式，将相机30安装在下述位置处：从该位置在医疗设施或疗养院中提供给患者的床的全部或部分被包括在摄像范围中。例如，相机30可以沿从床靠近枕头的位置(枕头位置)朝向躺在床上的用户的脚的位置(脚位置)的方向定向，并且被安装在特定位置处，从该位置可以捕捉床的躺卧表面的图像。注意，在下文中，将描述相机30沿从枕头位置朝向脚位置的方向定向并且安装的情况作为示例；然而，相机30还可以沿从脚位置朝向枕头位置的方向定向。

[起身线、离床线和姿势确定线]

起身线、离床线和姿势确定线是在相机30捕捉的图像上设置的图像坐标系中的数据，并且是通过将安装相机30的环境的三维空间中定义的坐标投射在二维图像坐标系上而获得的。如此，定义了例如床坐标系的三维坐标系。

图3A是示出了床坐标系中的相机位置、相机角度和床的四个角的定义的示例的图。另外，图3B是示出了床坐标系中的床的四个角的定义的示例的图。如图3A所示，床坐标系具有例如在床b的躺卧表面内的枕头位置这侧处的短边的中心的正下方的点处或附近的原点，并且为如下三维矩形坐标系：床b的横向方向是X轴、床b的纵向方向是Y轴，并且床b的高度方向是Z轴。

如图3A所示，相机30的俯角是相机30的拍摄方向A与负Z轴方向B形成的角度。如图3A所示，在床坐标系中，相机30沿从床b的枕头位置朝向脚位置的方向定向，并且被安装在可以捕捉床b的躺卧表面的图像的某个位置处。表示相机30捕捉床b的躺卧表面的图像的拍摄方向的俯角相对于负Z轴方向例如为θ[deg]。

检测系统1从外部获取床坐标系中的床b的位置的坐标、床b的躺卧表面的四个角p1至p4的坐标和相机30的俯角。如图3B所示，然后，检测系统1计算帧f中的床b的四个角p1至p4的位置。注意，帧f是由相机30捕捉的床b的图像的帧。

图4是示出了起身线和离床线的示例的图。图4示出了以下示例：例如在沿纵向方向与床b的躺卧表面的枕头侧相距N1个像素的位置处横向跨越床b设置起身线L1。此外，图4示出了以下示例：与床b的左右侧边缘平行并且在与左右侧边缘相距N2个像素的位置处设置离床线L21和L22。

例如，当由检测系统1跟踪的用户或患者的头部图像的候选的中心区域存在于起身线L1上方的图像这侧时，换言之，当患者的头部图像的候选的中心区域的Y坐标大于起身线L1的Y坐标时，确定用户或患者已起身。另外，例如，当由检测系统1跟踪的患者的头部图像的候选的中心区域在相对于离床线L21的左侧时，换言之，当患者的头部图像的候选的中心区域的X坐标小于离床线L21的X坐标时，确定用户或患者已离开床。另外，例如，当由检测系统1跟踪的用户或患者的头部图像的候选的中心区域在相对于离床线L22的右侧时，换言之，当用户或患者的头部图像的候选的中心区域的X坐标大于离床线L22的X坐标时，也确定用户或患者已离开床。

图5是示出了起身移动与起身线之间的关系以及离床移动与离床线之间的关系的示例的图。例如，如图5所示，床b的用户或患者h的头部图像的候选的中心区域的Y坐标大于起身线L1的Y坐标。因此，检测系统1确定床b的用户或患者h已起身。此外，床b的用户或患者h的头部图像的候选的中心区域的X坐标小于起身线L21的X坐标。因此，检测系统1确定床b的用户或患者h已离开床。

图6A和图6B是示出了姿势确定线的示例的图。如图6A所示，姿势确定线L3是沿床b的躺卧表面的横向方向设置的线，并且被限定为如下边界：当床b的用户或患者h在床b的躺卧表面上起身时，相对于该边界用户或患者h没有坐在床b的躺卧表面的放置枕头的这侧。根据例如包括沿纵向方向的床的长度、床坐标系中相机30的安装位置和俯角以及床b的用户或患者h的身高和坐高的某些参数来计算姿势确定线L3。如图6B所示确定帧f中姿势确定线L3的投射位置。注意，姿势确定线L3还可以是某个固定值。

图6B示出了由图6A中的相机30捕捉的图像被投射在帧f上的情况。例如，当床b的用户或患者h的头部图像的所有候选在帧f中存在于姿势确定线L3上方的图像这侧时，检测系统1确定用户或患者的姿势处于起身状态。即，当床b的用户或患者h的头部图像的所有候选的中心区域的Y坐标大于起身线L1的Y坐标时，检测系统1确定患者的姿势处于起身状态。例如，当床b的用户或患者h的头部图像的所有候选在帧f中存在于姿势确定线L3下方的图像这侧时，即，当床b的用户或患者h的头部图像的所有候选的中心区域的Y坐标小于起身线L1的Y坐标时，检测系统1确定患者的姿势处于卧床状态。

图7A和图7B是示意性示出了根据第一实施方式的姿势确定和头部位置检测的概述的示例的图。图7A示出了以下示例：其中因为床b的用户或患者h的头部图像的所有候选在帧f中存在于姿势确定线L3上方的图像这侧(例如，第一区域)，所以确定患者的姿势处于起身状态。姿势确定线L3上方的图像这侧的区域被适当地称为第一区域。当床b的用户或患者h的头部图像的所有候选在帧f中存在于姿势确定线L3上方的图像这侧时，检测系统1确定用户或患者的姿势处于起身状态。然后，检测系统1确定检测范围q，该检测范围q包括在用户或患者h的头部图像的候选之中的用户或患者h的头部在帧f中定位最高的候选。检测范围q是用于检测在下面的帧中用户或患者h的头部图像h1的范围。

另外，图7B示出了以下示例：其中因为床b的用户或患者h的头部图像的所有候选在帧f中不存在于姿势确定线L3上方的图像这侧，所以确定患者的姿势处于卧床状态。在帧f中，当床b的用户或患者h的头部图像的所有候选不存在于仅姿势确定线L3上方的图像这侧，而是存在于仅姿势确定线L3下方的图像这侧(例如，第二区域)时，检测系统1确定患者的姿势处于卧床状态。姿势确定线L3下方的图像这侧适当地被称为第二区域。在帧f中，当用户或患者h的头部图像的候选存在于相对于用作边界的姿势确定线L3的图像的例如第一区域和第二区域的顶侧和底侧两者上时，检测系统1确定患者的姿势处于卧床状态。然后，检测系统1确定检测范围q，该检测范围q包括在用户或患者h的头部图像的候选之中的用户或患者h的头部图像在帧f中定位最低的候选。

[根据第一实施方式的设置设备]

设置设备10是设置检测设备100中的各种设置的设备。作为实施方式，设置设备10可以被实现为由与设施相关联的人使用的信息处理设备。例如，作为设置设备10，可以使用台式个人计算机、笔记本个人计算机或平板个人计算机。除这些个人计算机之外，作为设置设备10，还可以使用如智能手机、移动电话或个人手持系统(PHS)的移动通信终端，或者此外如个人数字助理(PDA)的平板装置。此外，设置设备10还可以被实现为检测设备100的控制台。

设置设备10包括参数获取单元11、床位置计算单元12、起身线及离床线计算单元13、姿势确定线计算单元14、设置单元15和学习单元16。

参数获取单元11获取包括沿纵向方向的床b的长度、床坐标系中相机30的安装位置和俯角θ、以及床b的用户或患者h的身高和坐高的某些参数。作为实施方式，参数获取单元11可以通过经由未示出的输入装置执行的输入操作来获取某些参数。除此之外，参数获取单元11还可以从如硬盘或光盘的辅助存储设备或者如存储卡或通用串行总线(USB)存储器的可移除介质获取某些参数。此外，参数获取单元11还可以通过经由网络从外部设备接收参数来获取某些参数。

床位置计算单元12使用由参数获取单元11获取的某些参数计算床坐标系中的床b的躺卧表面的四个角p1至p4的坐标。然后，床位置计算单元12计算帧f中的床b的四个角p1至p4的位置。

起身线及离床线计算单元13根据床位置计算单元12计算的帧f中的床b的四个角p1至p4的位置，计算起身线L1以及离床线L21和L22。

姿势确定线计算单元14根据床位置计算单元12计算的帧f中的床b的四个角p1至p4的位置以及由参数获取单元11获取的某些参数，计算帧f中的姿势确定线L3。

设置单元15在检测设备100中设置由起身线及离床线计算单元13计算的起身线L1及离床线L21和L22以及由姿势确定线计算单元14计算的姿势确定线L3。

学习单元16是处理单元，其基于存储在头部及非头部图像数据存储单元20中的人的头部的图像和非头部部分的图像来对床b的用户或患者h的头部的图像执行机器学习。人的头部的图像还可以包括床b的用户或患者h的头部的图像。另外，非头部部分的图像是除出现在床b的躺卧表面上的用户或患者h的头部之外的对象的图像，如蒲团的图像和非头部身体部位的图像。还可以适当地累积人的头部的图像和非头部部分的图像。作为实施方式，学习单元16基于HOG特征值+Real AdaBoost使用训练数据来执行机器学习。

图8是示出了学习方法的示例的图。如图8所示，学习单元16使用关于人的头部的正数据以及关于日式寝具、床上用品、非头部身体部位等的负数据作为训练样本。然后，学习单元16根据Real AdaBoost算法通过学习训练样本的HOG特征值来生成HOG特征值及Real-AdaBoost分类器作为头部检测检测器(基于HOG特征值的Real-AdaBoost检测器)(将该检测器称为HOG检测器)。以这种方式为头部检测生成的HOG特征值及Real-AdaBoost鉴别器被设置为由检测设备100的头搜索单元110使用的确定模型。HOG特征值及Real-AdaBoost鉴别器通过以下操作来检测目标形状：依据所研究的人的局部形状(例如，头部的形状)同具有与局部形状类似的形状的部分之间的相似度，经由对相机30捕捉的图像执行的边缘检测处理来输出可靠性等级。

注意，可以如下文实现如参数获取单元11、床位置计算单元12、起身线及离床线计算单元13、姿势确定线计算单元14、设置单元15和学习单元16的处理单元。例如，可以通过中央处理单元(CPU)等实现处理单元，所述中央处理单元(CPU)使传递与处理单元相同的功能的过程载入存储器中并且执行这些过程。这些功能单元可以由微处理单元(MPU)执行，而不是由CPU执行。另外，功能单元还可以通过如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的硬布线逻辑实现。

另外，作为示例，例如随机存取存储器(RAM)或闪存的各类半导体存储元件可以被用作由处理单元使用的主存储器。另外，代替每个场合上的主存储器，处理单元参考的存储设备也可以是辅助存储设备。在这种情况下，可以使用硬盘驱动器(HDD)、光盘、固态驱动器(SSD)等。

[根据第一实施方式的检测设备]

接下来，将描述根据第一实施方式的检测设备100。作为实施方式，可以通过在某个计算机中安装将检测过程实现为打包软件或在线软件的程序来实现检测设备100。例如，检测设备100可以被实现为基于检测过程提供服务的Web服务器，或者还可以被实现为基于检测过程通过业务外包提供服务的云计算。除这些之外，可以通过在便携式终端装置如示例为智能手机、便携式电话和个人手持系统(PHS)的移动通信终端或者平板终端中安装检测过程程序使便携式终端装置用作检测设备100。

如图1所示，检测设备100包括头搜索单元110、跟踪单元120和通知单元130。作为实施方式，每当相机30捕捉图像时，头搜索单元110开始过程。每当图像的帧被输入时，头搜索单元110对头部位置进行检测。跟踪单元120基于由头搜索单元110检测到的头部位置来逐帧跟踪所检测的头部位置，并且检测床b的用户或患者h的动作。

头搜索单元110是从图像检测头部的处理单元。头搜索单元110包括背景扣除处理单元110b、可靠性等级计算单元110c、姿势确定单元110d和头部位置检测单元110e。

图9是示意性示出了背景差异检测的概述的示例的图。如图9所示，背景扣除处理单元110b从背景图像与每个帧之间的像素差异或彼此靠近的帧之间的像素差异来检测差异区域d。

图10是示出了扫描方法的示例的图。如图10所示，可靠性等级计算单元110c通过对背景扣除处理单元110b检测到差异区域d的图像执行光栅扫描并且使用由学习单元16生成的HOG特征值及Real-AdaBoost鉴别器来检测头部的位置，例如头部的重心的位置。

对于执行光栅扫描的图像的像素中的每个，可靠性等级计算单元110c使用由学习单元16生成的HOG特征值及Real-AdaBoost鉴别器来获取每个像素相对于例如关于人的头部图像的正数据的可靠性等级，并且提取可靠性等级为正的区域(可靠区域)。可靠性等级是表示人的头部图像的似然性的值。例如，-5表示最低似然性，+5表示最高似然性，并且可靠性等级是增量为一的从-5至+5的值。注意，可以适当地改变可靠性等级的值范围和增量的大小。在图10所示的示例中，床b的用户或患者h的头部图像h1具有4.0的可靠性等级，并且床b的外周部分在帧f中具有-1.0的可靠性等级。因此，可靠性等级计算单元110c提取具有正可靠性等级的区域作为床b的用户或患者h的头部图像或者床b的用户或患者h的头部图像的候选，并且不提取可靠性等级不为正的区域。

图11A至图11C是示出了可靠性等级输出的示例的图。如图11A所示，在可靠性等级计算单元110c提取仅床b的用户或患者h的头部图像h1作为具有正可靠性等级的区域，即床b的用户或患者h的头部图像的候选的情况下，唯一地确定床b的用户或患者h的头部图像h1。

然而，如图11B和图11C所示，实际上可能存在以下情况：其中可靠性等级计算单元110c提取床b的用户或患者h的头部图像h1的多个候选区域，并且因此不唯一地确定床b的用户或患者h的头部图像h1。因此，在通过跟踪床b的用户或患者h的头部图像h1来确定用户或患者h的起身或离床的情况下，起身或离床确定结果根据哪个候选区域要用于床b的用户或患者h的头部图像h1而变化，并且会降低确定结果的可靠性等级。

因此，如图11B所示，当被可靠性等级计算单元110c提取为帧f中具有正可靠性等级的区域的、床b的用户或患者h的头部图像h1的所有候选区域定位在姿势确定线L3上方时，姿势确定单元110d确定床b的用户或患者h的姿势处于起身状态。然后，头部位置检测单元110e检测在床b的被姿势确定单元110d确定为处于起身状态的用户或患者h的头部图像h1的所有候选区域之中定位最高的候选区域，作为头部位置。

另外，如图11C所示，在除被可靠性等级计算单元110c提取为帧f中具有正可靠性等级的区域的、床b的用户或患者h的头部图像h1的所有候选区域定位在姿势确定线L3上方的情况之外的情况下，姿势确定单元110d确定床b的用户或患者h的姿势处于卧床状态。然后，头部位置检测单元110e检测或估计在床b的被姿势确定单元110d确定为处于卧床状态的用户或患者h的头部图像h1的所有候选区域之中定位最低的候选区域，作为头部位置。

注意，如图11A至图11C所示，在具有正可靠性等级的区域即头部区域或头部候选区域中，具有最高可靠性等级的区域被定位在区域的中心，并且可靠性等级朝向关于中心的圆周以基本上同轴的方式变得更低。具有最高可靠性等级的区域定位的中心被称为头部区域或头部候选区域的重心。

跟踪单元120包括动作检测单元120f。动作检测单元120f确定由头搜索单元110的头部位置检测单元110e检测到的头部位置是否与起身线或任意离床线相交。在头部位置与起身线相交的情况下，动作检测单元120f确定床b的用户或患者h处于起身状态。在头部位置与任意离床线相交的情况下，动作检测单元120f确定床b的用户或患者h处于离床状态。当动作检测单元120f确定床b的用户或患者h处于例如离床状态时，动作检测单元120f命令通知单元130发出通知，如护士呼叫。

相比之下，当动作检测单元120f确定床b的用户或患者h不例如处于离床状态时，动作检测单元120f使头搜索单元110执行对下一帧的过程。

[根据第一实施方式的初始设置过程]

图12是示出了根据第一实施方式的初始设置过程的程序的示例的流程图。每当以一定间隔或以任意定时获取某个参数时，由设置设备10执行根据第一实施方式的初始设置过程。

首先，参数获取单元11获取某些参数并且在设置设备10中设置某些参数(步骤S11)。接下来，起身线及离床线计算单元13基于由床位置计算单元12等计算的床b的四个角p1至p4的位置来计算起身线L1以及离床线L21和L22(步骤S12)。接下来，姿势确定线计算单元14基于由床位置计算单元12计算的床b的四个角p1至p4的位置以及由参数获取单元11获取的某些参数来计算姿势确定线L3(步骤S13)。

[根据第一实施方式的搜索过程]

图13A是示出了根据第一实施方式的搜索过程的程序的示例的流程图。每当相机30获取图像的新帧时执行根据第一实施方式的搜索过程。可替选地，还可以每当设置设备10计算起身线L1、离床线L21和L22或姿势确定线L3时或者每当更新被存储在头部及非头部图像数据存储单元20中的数据时执行根据第一实施方式的搜索过程。可替选地，还可以以一定间隔或以任意定时执行根据第一实施方式的搜索过程。

首先，头搜索单元110从相机30获取下一帧(步骤S21)。接下来，背景扣除处理单元110b从步骤S21中获取的帧提取背景差异(步骤S22)。接下来，可靠性等级计算单元110c对步骤S22中提取背景差异的帧执行光栅扫描，并且计算可靠性等级(步骤S23)。接下来，可靠性等级计算单元110c确定在步骤S23中执行光栅扫描的帧中是否存在具有正可靠性等级的区域(可靠区域)(步骤S24)。在可靠性等级计算单元110c确定在步骤S23中执行光栅扫描的帧中存在具有正可靠性等级的区域(可靠区域)(在步骤S24中，是)的情况下，该过程进行至步骤S25。相比之下，在可靠性等级计算单元110c确定在步骤S23中执行光栅扫描的帧中不存在具有正可靠性等级的区域(可靠区域)(在步骤S24中，否)的情况下，该过程返回至步骤S21。

在步骤S25中，姿势确定单元110d和头部位置检测单元110e执行头部位置检测过程。稍后将参考图13B描述根据第一实施方式的头部位置检测过程的细节。接下来，跟踪单元120基于步骤S25中检测到的头部位置来检测床b的用户或患者h的动作(步骤S26)。当检测设备100完成步骤S26时，过程返回至步骤S21。

[根据第一实施方式的头部位置检测过程]

图13B是示出了根据第一实施方式的搜索过程中的头部位置检测过程的程序的示例的流程图。姿势确定单元110d确定在帧f中具有在步骤S23中计算的正可靠性等级的区域(可靠区域)的整体分布是否定位在姿势确定线L3上方(步骤S25-1)。在姿势确定单元110d确定所有计算的可靠区域定位在姿势确定线L3上方(在步骤S25-1中，是)的情况下，在帧f中可靠区域的分布中定位最高的可靠区域的重心被当作头部位置(步骤S25-2)。相比之下，在姿势确定单元110d确定并非所有可靠区域定位在姿势确定线L3上方(在步骤S25-1中，否)的情况下，在帧f中可靠区域的分布中定位最低的可靠区域的重心被当作头部位置(步骤S25-3)。当姿势确定单元110d完成步骤S25-2或步骤S25-3时，该过程进行至图13A的步骤S26。

根据上述第一实施方式，基于可靠区域的分布与姿势确定线L3之间的位置关系来确定床b的用户或患者h的姿势，并且基于确定的姿势从多个头部位置候选之中检测最可能的头部位置。因此，可以改进头部位置检测准确度。

[第二实施方式]

在第一实施方式中，跟踪单元120的动作检测单元120f基于由头搜索单元110的头部位置检测单元110e获得的头部位置检测结果来检测床b的用户或患者h的动作。然而，检测床b的用户或患者h的动作的方式不限于此。跟踪单元120还可以基于床b的用户或患者h的姿势来检测头部位置，并且基于该检测结果来检测床b的用户或患者h的动作。在第二实施方式中，将描述以下示例：其中跟踪单元基于床b的用户或患者h的姿势进一步检测头部位置，并且基于该检测结果来检测床b的用户或患者h的动作。

[根据第二实施方式的检测系统]

图14是示出了根据第二实施方式(和第三实施方式)的包括在检测系统中的设备的功能配置的示例的框图。根据第二实施方式的检测系统1B包括检测设备100B，代替根据第一实施方式的检测系统1的检测设备100。

[根据第二实施方式的检测设备]

如图14所示，根据第二实施方式的检测设备100B包括头搜索单元110、跟踪单元120B和通知单元130。跟踪单元120B包括检测范围确定单元120a、背景扣除处理单元120b、可靠性等级计算单元120c、姿势确定单元120d、头部位置检测单元120e和动作检测单元120f2。

检测范围确定单元120a将某个范围确定为用于检测当前帧中的头部图像或头部图像的候选的检测范围，其中某个范围包括被头部位置检测单元110e检测为头部位置的头部图像或头部图像的候选区域。此处，检测范围是包括如下区域的范围：在该区域中头部图像可以从紧接在前的帧移动到当前帧。

类似于背景扣除处理单元110b，关于由头搜索单元110处理的紧接在前的帧和下一帧，背景扣除处理单元120b根据背景图像与紧接在前的帧之间的像素差异、背景图像与下一帧之间的像素差异或者紧接在前的帧与下一帧之间的像素差异来检测差异区域d。

类似于可靠性等级计算单元110c，可靠性等级计算单元120c在由检测范围确定单元120a设置的检测范围中计算背景扣除处理单元120b检测差异区域d的帧的可靠性等级。可靠性等级计算单元120c提取具有正可靠性等级的区域作为床b的用户或患者h的头部图像或床b的用户或患者h的头部图像的候选，并且不提取可靠性等级不为正的区域。

当被提取为具有正可靠性等级的区域的、床b的用户或患者h的头部图像h1的所有候选区域定位在姿势确定线L3上方时，类似于姿势确定单元110d，姿势确定单元120d确定床b的用户或患者h的姿势处于起身状态。然后，头部位置检测单元120e检测在床b的被姿势确定单元120d确定为处于起身状态的用户或患者h的头部图像h1的所有候选区域之中定位最高的候选区域的重心，作为头部位置。

另外，在除了被提取为具有正可靠性等级的区域的床b的用户或患者h的头部图像h1的所有候选区域定位在姿势确定线L3上方的情况之外的情况下，类似于姿势确定单元110d，姿势确定单元120d确定床b的用户或患者h的姿势处于卧床状态。然后，头部位置检测单元120e检测在床b的被姿势确定单元120d确定为处于卧床状态的用户或患者h的头部图像h1的所有候选区域之中定位最低的候选区域的重心，作为头部位置。

注意，在姿势确定单元120d可能根本没有提取床b的用户或患者h的头部图像h1的具有正可靠性等级的任意候选区域的情况下，该过程进行以使头搜索单元110执行对下一帧的处理。

动作检测单元120f2确定由头部位置检测单元120e检测到的头部位置的重心是否与起身线或任意离床线相交。在头部位置的重心与起身线相交的情况下，动作检测单元120f2确定床b的用户或患者h处于起身状态。在头部位置的重心与任意离床线相交的情况下，动作检测单元120f2确定床b的用户或患者h处于离床状态。当动作检测单元120f2确定床b的用户或患者h处于例如离床状态时，动作检测单元120f2命令通知单元130发布如护士呼叫的通知。

相比之下，当动作检测单元120f2确定床b的用户或患者h不处于起身状态或离床状态时，动作检测单元120f2使可靠性等级计算单元120c、姿势确定单元120d和头部位置检测单元120e执行对下一帧的设置检测范围的处理。

[根据第二实施方式的搜索过程]

图15是示出了根据第二实施方式的搜索过程的程序的示例的流程图。每当相机30获取图像的新帧时，执行根据第二实施方式的搜索过程。可替选地，每当设置设备10计算起身线L1、离床线L21和L22或姿势确定线L3时或者每当更新存储在头部及非头部图像数据存储单元20中的数据时，还可以执行根据第二实施方式的搜索过程。可替选地，还可以以一定间隔或以任意定时执行根据第二实施方式的搜索过程。

根据第二实施方式且在图15示出的搜索过程的步骤S21至步骤S25与第一实施方式的步骤基本上相同。当头搜索单元110完成步骤S25时，该过程转移至由跟踪单元120B执行的跟踪过程(步骤S36)。

[根据第二实施方式的跟踪过程]

图16A是示出了根据第二实施方式(和第三实施方式)的跟踪过程的程序的示例的流程图。每当执行根据第二实施方式的搜索过程的步骤S36时，开始根据第二实施方式的跟踪过程。

首先，检测设备100B的跟踪单元120B获取在图15的步骤S21中获取的紧接在前的帧的下一帧(步骤S41)。接下来，检测范围确定单元120a设置包括如下头部的候选区域的某个范围作为检测范围：该头部的候选区域被头部位置检测单元110e检测为头部位置(步骤S42)。接下来，背景扣除处理单元120b提取关于在步骤S42中确定的检测范围的背景差异(步骤S43)。

接下来，可靠性等级计算单元120c关于在步骤S43中提取背景差异的帧来计算在步骤S42中确定的检测范围的可靠性等级(步骤S44)。接下来，可靠性等级计算单元120c确定在步骤S44中执行光栅扫描的帧中是否存在具有正可靠性等级的区域(可靠区域)(步骤S45)。在可靠性等级计算单元120c确定在步骤S44中执行光栅扫描的帧中存在具有正可靠性等级的区域(可靠区域)(在步骤S45中，是)的情况下，该过程进行至步骤S46。相比之下，在可靠性等级计算单元120c确定在步骤S44中执行光栅扫描的帧中不存在具有正可靠性等级的区域(可靠区域)(在步骤S45中，否)的情况下，该过程进行至步骤S48。

在步骤S46中，姿势确定单元120d和头部位置检测单元120e执行头部位置检测过程。稍后将参考图16B描述根据第二实施方式的头部位置检测过程的细节。接下来，跟踪单元120B基于步骤S46中检测到的头部位置来检测床b的用户或患者h的动作(步骤S47)。当检测设备100B完成步骤S47时，该过程返回至步骤S41。

相比之下，在步骤S48中，跟踪单元120B使该过程转移至图15所示的搜索过程。当检测设备100B完成步骤S48时，根据第二实施方式的跟踪过程结束。

[根据第二实施方式的头部位置检测过程]

图16B是示出了根据第二实施方式的跟踪过程中的头部位置检测过程的程序的示例的流程图。姿势确定单元120d确定紧接在前的帧的状态是否为“起身”(步骤S46-1)。即，在图15的步骤S25中，姿势确定单元120d确定具有正可靠性等级的区域(可靠区域)的整体分布在紧接在步骤S41中获取的帧之前的帧中是否定位在姿势确定线L3上方。在姿势确定单元120d确定紧接在前的帧的状态为“起身”(在步骤S46-1中，是)的情况下，将在步骤S41中获取的帧的检测范围中可靠区域的分布中定位最高的可靠区域的重心当作头部位置(步骤S46-2)。相比之下，在姿势确定单元120d确定紧接在前的帧的状态为“卧床”(在步骤S46-1中，否)的情况下，将在步骤S41中获取的帧的检测范围中可靠区域的分布中定位最低的可靠区域的重心当作头部位置(步骤S46-3)。当姿势确定单元120d完成步骤S46-2或步骤S46-3时，该过程进行至图16A的步骤S47。

图17是示意性示出了根据第二实施方式的跟踪过程中的检测范围确定过程的概述的示例的图。例如，如图17所示，在对紧接在前的帧执行的搜索过程中在床b的用户或患者h的姿势被确定为“卧床”的情况下，在包括位于所检测的用户或患者h的头部位置处的候选区域的重心r的检测范围q中在跟踪过程期间检测和跟踪用户或患者h的头部图像。因此，根据上述第二实施方式，甚至当过程从搜索过程转移至跟踪过程时，在跟踪过程中根据床b的用户或患者h的姿势以及搜索过程中确定的检测范围q来检测当前帧中的头部位置。因此，根据第二实施方式，可以以高准确度高效跟踪床b的用户或患者h的头部。

[第三实施方式]

在第二实施方式中，在跟踪过程中根据床b的用户或患者h的姿势以及搜索过程中确定的检测范围来检测当前帧中的头部位置。然而，包括在搜索过程中检测到的床b的用户或患者h的头部位置处定位的候选区域的重心r的检测范围q并未在每个场合捕捉用户或患者h的头部h1。因此，在第三实施方式中，包括在搜索过程中检测到的床b的用户或患者h的头部位置处定位的候选区域的重心r的检测范围q被适当地扩展，并且在跟踪过程期间尝试捕捉用户或患者h的头部图像h1。

图18A和图18B是示意性示出了根据第三实施方式的跟踪过程中的检测范围确定过程的概述的示例的图。图18A示出了以下情况：其中搜索过程中确定的床b的用户或患者h的姿势为“卧床”，并且包括在搜索过程中检测到的床b的用户或患者h的头部位置处定位的候选区域的重心r的某个检测范围q并未捕捉用户或患者h的头部图像h1。在第三实施方式中的这种情况下，如图18B所示，某个检测范围q朝向帧f的底部扩展。这是基于以下理念：在搜索过程中确定的床b的用户或患者h的姿势为“卧床”，并且不能正确捕捉用户或患者h的头部图像h1的位置的情况下，用户或患者h的头部图像h1很可能位于通过朝向帧f的底部扩展检测范围q而获得的扩展的检测范围q'中。当在扩展的检测范围q'中继续用于跟踪用户或患者h的头部图像h1的跟踪过程时，可以正确捕捉用户或患者h的头部图像h1。

另外，图18C和图18D是示意性示出了根据第三实施方式的跟踪过程中的检测范围确定过程的概述的示例的图。图18C示出了以下情况：其中搜索过程中确定的床b的用户或患者h的姿势为“起身”，并且包括在搜索过程中检测到的床b的用户或患者h的头部位置处定位的候选区域的重心r的检测范围q并未捕捉用户或患者h的头部图像h1。在第三实施方式中的这种情况下，如图18D所示，检测范围q朝向帧f的顶部扩展。这是基于以下理念：在搜索过程中确定的床b的用户或患者h的姿势为“起身”，并且不能准确捕捉用户或患者h的头部图像h1的位置的情况下，用户或患者h的头部图像h1很可能位于通过朝向帧f的顶部扩展检测范围q而获得的扩展的检测范围q”中。当在扩展的检测范围q”中继续用于跟踪用户或患者h的头部图像h1的跟踪过程时，可以正确捕捉用户或患者h的头部图像h1。

[根据第三实施方式的检测范围确定过程]

图19是示出了根据第三实施方式的跟踪过程中的检测范围确定过程的程序的示例的流程图。图19的流程图被执行为图16A的流程图中的步骤S42a的子例程。检测系统1C的检测设备100C的检测范围确定单元120a3(参见图14)基于紧接在前的帧的头部位置来临时设置检测范围(步骤S42a-1)。在步骤S42a-1中临时设置的检测范围是例如设置在图18A中的检测范围q和设置在图18C中的检测范围。

接下来，检测范围确定单元120a3确定紧接在前的帧的状态是否为“起身”(步骤S42a-2)。在检测范围确定单元120a3确定紧接在前的帧的状态为“起身”(在步骤S42a-2中，是)的情况下，过程进行至步骤S42a-3。相比之下，在检测范围确定单元120a3确定紧接在前的帧的状态为“卧床”(在步骤S42a-2中，否)的情况下，过程进行至步骤S42a-4。

在步骤S42a-3中，检测范围确定单元120a3向上扩展检测范围。即，检测范围确定单元120a3将检测范围从某个检测范围q扩展至扩展的检测范围q”。相比之下，在步骤S42a-4中，检测范围确定单元120a3向下扩展检测范围。即，检测范围确定单元120a3将检测范围从某个检测范围q扩展至扩展的检测范围q'。当步骤S42a-3或步骤S42a-4完成时，检测范围确定单元120a3使该过程转移至图16A的步骤S43。

根据上述第三实施方式，甚至当在搜索过程中不正确地捕捉床b的用户或患者h的头部图像h1的位置时，增加在跟踪过程中正确地捕捉用户或患者h的头部图像h1的位置的可能性，并且会增加用户或患者h的动作的检测准确度。

[分布和集成]

上述实施方式所示的设备的结构要素不是必须物理上如附图中那样进行配置。即，设备的特定且分布式或集成实施方式不限于附图所示的实施方式，并且可以根据各类负载、使用状态等在任意单元中以分布式方式或集成方式功能上或物理上配置所有或部分结构要素。

例如，图1所示的根据第一实施方式的头搜索单元110可以被配置为检测头部位置的头部检测设备。另外，例如，头部检测设备还可以被配置成包括根据第二实施方式并且在图14中所示出的头搜索单元110以及跟踪单元120B的检测范围确定单元120a、背景扣除处理单元120b、可靠性等级计算单元120c、姿势确定单元120d和头部位置检测单元120e。另外，例如，头部检测设备还可以被配置成包括根据第三实施方式并且在图14中所示出的头搜索单元110以及跟踪单元120C的检测范围确定单元120a3、背景扣除处理单元120b、可靠性等级计算单元120c、姿势确定单元120d和头部位置检测单元120e。

另外，例如，可以集成设置设备10以及检测设备100、100B和100C中的每个。另外，床位置计算单元12、起身线及离床线计算单元13和姿势确定线计算单元14中的一些或全部可以被适当地集成在设置设备10中。另外，可以集成头搜索单元110的背景扣除处理单元110b以及跟踪单元120B和120C的背景扣除处理单元120b。另外，可以集成头搜索单元110的可靠性等级计算单元110c以及跟踪单元120B和120C的可靠性等级计算单元120c。另外，可以集成头搜索单元110的姿势确定单元110d以及跟踪单元120B和120C的姿势确定单元120d。另外，可以集成头搜索单元110的头部位置检测单元110e以及跟踪单元120B和120C的头部位置检测单元120e。

另外，设置设备10以及检测设备100、100B和100C在数据中心处适当地提供，并且可以被配置为经由网络提供例如云服务的服务的服务器设备等。

[程序]

可以通过执行预先准备的程序的工作站或如个人计算机的计算机来实现上面实施方式中描述的各类过程。在下文中，将使用图20描述执行具有基本上与上面的实施方式相同的功能的程序的计算机的示例。

图20是示出了根据第一实施方式至第三实施方式的执行程序的处理器或计算机的硬件配置的示例的图。如图20所示，处理器或计算机1100包括操作单元1110a、扬声器1110b、相机1110c、显示器1120和通信单元1130。此外，计算机1100包括CPU 1150、ROM1160、HDD 1170和RAM 1180。这些单元1110至1180经由总线1140彼此连接。

在使计算机1100用作第一实施方式至第三实施方式所述的设置设备10的情况下，程序1170a是传递基本上与通过由CPU等执行的设置设备10的单元相同的功能的程序。类似于设置设备10的单元的分布或集成，适当地使传递基本上与设置设备10的单元相同的功能的程序1170a模块化。

可替选地，在使计算机1100用作第一实施方式至第三实施方式所述的检测设备100至100C的情况下，程序1170a是传递基本上与通过由CPU等执行的检测设备100至100C的单元相同的功能的程序。类似于检测设备100至100C的单元的分布或集成，适当地使传递基本上与检测设备100至100C的单元相同的功能的程序1170a模块化。

另外，存储在HDD 1170中的所有数据不是必须在每个场合中被存储在HDD 1170中，并且仅要在处理中使用的数据必须仅被存储在HDD 1170中。

CPU 1150从HDD 1170读出程序1170a，并且将程序1170a加载到RAM 1180中。因此，如图20所示，程序1170a用作过程1180a。过程1180a适当地将从HDD 1170读出的各类数据加载到RAM 1180上对其分配的区域，并且基于这些加载的各类数据来执行各类处理。

注意，在使计算机1100用作第一实施方式至第三实施方式所述的设置设备10的情况下，由过程1180a执行的处理包括由第一实施方式至第三实施方式所述的设置设备10的单元执行的处理。可替选地，在使计算机1100用作第一实施方式至第三实施方式所述的检测设备100、100B和100C的情况下，由过程1180a执行的处理包括由第一实施方式至第三实施方式所述的检测设备100、100B和100C的单元执行的处理。

另外，CPU 1150上实现的所有处理单元不是必须在每个场合中在CPU 1150上操作，并且仅要在处理中使用的处理单元必须仅在执行时被实现。

注意，程序1170a不是必须在每个场合中从一开始被存储在HDD 1170或ROM 1160中。例如，程序被存储在要插入计算机1100中的软盘中，其为如FD、CD-ROM、DVD盘、磁光盘和IC卡的“便携式物理介质”。计算机1100可以从这些便携式物理介质获取程序并且执行程序。另外，程序被存储在经由公用线、互联网、LAN、WAN等连接至计算机1100的其他计算机、服务器设备等中，并且计算机1100可以从这些计算机或服务器设备获取程序并且执行程序。

Claims (9)

1.一种检测方法，包括：

获取图像；

在所述图像中限定的目标区域中搜索对象人物的头部图像的候选；

当在所述目标区域中的第一区域和第二区域之中，在所述第二区域中没有检测到所述头部图像的候选并且在所述第一区域中检测到所述头部图像的一个或更多个候选时，将定位最高的所述头部图像的候选检测为所述对象人物的头部图像；以及

当在所述目标区域中的第一区域和第二区域之中，在所述第一区域中没有检测到所述头部图像的候选并且在所述第二区域中检测到所述头部图像的一个或更多个候选时，将定位最低的所述头部图像的候选检测为所述对象人物的头部图像，

其中，所述目标区域通过基于所述对象人物的参数计算的姿势确定线而被分成所述第一区域和所述第二区域。

2.根据权利要求1所述的检测方法，所述检测方法还包括：

在所述第一区域中扩展用于搜索与所述检测中的所述第一区域进一步远离的所述头部图像的候选的区域；

在扩展区域中搜索所述对象人物的头部图像的候选；以及

将在距所述第二区域最远的所述扩展区域中检测到的候选检测为所述对象人物的头部图像。

3.根据权利要求1所述的检测方法，

其中，在搜索对象人物的头部图像的候选中，以背景扣除方法从除背景之外的部分检测所述头部图像的候选。

4.根据权利要求2所述的检测方法，

其中，在搜索对象人物的头部图像的候选中，以背景扣除方法从除背景之外的部分检测所述头部图像的候选。

5.根据权利要求1所述的检测方法，

其中，在搜索对象人物的头部图像的候选中，通过对所述图像执行的头部形状边缘检测处理来检测所述头部图像的候选。

6.根据权利要求2所述的检测方法，

其中，在搜索对象人物的头部图像的候选中，通过对所述图像执行的头部形状边缘检测处理来检测所述头部图像的候选。

7.根据权利要求1所述的检测方法，

其中，所述第一区域被显示为高于所述第二区域。

8.根据权利要求2所述的检测方法，

其中，所述第一区域被显示为高于所述第二区域。

9.一种检测设备，包括：

存储器；以及

被耦接至所述存储器的处理器，并且所述处理器被配置成：

获取图像；

在所述图像中限定的目标区域中搜索对象人物的头部图像的候选；

当在所述目标区域中的第一区域和第二区域之中，在所述第二区域中没有检测到所述头部图像的候选并且在所述第一区域中检测到所述头部图像的一个或更多个候选时，将定位最高的所述头部图像的候选检测为所述对象人物的头部图像；以及

当在所述目标区域中的第一区域和第二区域之中，在所述第一区域中没有检测到所述头部图像的候选并且在所述第二区域中检测到所述头部图像的一个或更多个候选时，将定位最低的所述头部图像的候选检测为所述对象人物的头部图像，

其中，所述目标区域通过基于所述对象人物的参数计算的姿势确定线而被分成所述第一区域和所述第二区域。

Images