CN105283129A - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

本发明的一个方面的信息处理装置，包括：图像取得部，其取得拍摄行动被监护的监护对象和成为该监护对象的行动的基准的对象物而成的拍摄图像，上述拍摄图像包含表示上述拍摄图像中的按每个像素得到的深度的深度信息；前景提取部，其根据背景图像与上述拍摄图像的差提取上述拍摄图像的前景区域，其中，上述背景图像被设定成作为上述拍摄图像的背景包含该背景的深度；和行动推测部，其基于上述深度信息参照上述前景区域内的像素的深度，判断上述前景区域与上述对象物的区域在真实空间中的位置关系是否满足假定所提取的上述前景区域与上述监护对象的行动相关联所设定的条件，由此推测上述监护对象相对于上述对象物的行动。

Description

信息处理装置、信息处理方法和程序

技术领域

本发明涉及信息处理装置、信息处理方法和程序。

背景技术

具有下述技术：通过从室内斜上方向室内下方拍摄的图像的边界边，检测从地面区域向床区域的人体移动，判断就寝情况，通过检测从床区域向地面区域的人体移动，判断离床情况(专利文献1)。

另外，具有下述技术：将用于判断躺在床上的患者进行起床行为的监护区域设定为包含在床上就寝的患者的床的正上方的区域，在表示从床的横向占包含监护区域的拍摄图像的监护区域的、被认为是患者的图像区域的大小的变动值，小于表示在患者躺在床上的状态下占从摄像机得到的拍摄图像的监护区域的、被认为是患者的图像区域的大小的初始值的情况下，判断患者进行起床行为(专利文献2)。

现有技术文献

专利文献

专利文献1：日本特开2002-230533号公报

专利文献2：日本特开2011-005171号公报

发明内容

发明想要解决的技术问题

近年来，存在入院患者、社会福利院入住者、要看护者等的监护对象从床跌倒、掉下的事故，以及痴呆症患者的徘徊导致的事故年年增加的倾向。作为防止这样的事故的方法，例如，开发了在专利文献1和2中例示那样的、通过设置在室内的摄像机拍摄监护对象、分析所拍摄的图像，由此来检测起床、端座位、离床等的监护对象的行动的监护系统。在这样的监护系统中，基于由摄像机拍摄的二维图像的分析结果，来推测监护对象的行动。因此，存在得到与现实的空间(以下称为“真实空间”)中的监护对象的状态不符合的行动推测的结果的情况。

本发明的一个方面是考虑这样的情况而完成的，提供能够进行与真实空间中的监护对象的状态相符合的行动推测的技术。

用于解决技术问题的技术方案

本发明为了解决上述的技术问题，采用以下的结构。即，本发明的第1方式提供一种信息处理装置，其包括：图像取得部，其取得拍摄行动被监护的监护对象和成为该监护对象的行动的基准的对象物而成的拍摄图像，上述拍摄图像包含表示上述拍摄图像中的按每个像素得到的深度的深度信息；前景提取部，其根据背景图像与上述拍摄图像的差提取上述拍摄图像的前景区域，其中，上述背景图像被设定成作为上述拍摄图像的背景包含该背景的深度；和行动推测部，其基于上述深度信息参照上述前景区域内的像素的深度，判断上述前景区域与上述对象物的区域在真实空间中的位置关系是否满足假定所提取的上述前景区域与上述监护对象的行动相关联所设定的条件，由此推测上述监护对象相对于上述对象物的行动。

根据上述构成，关于拍摄监护对象和成为该监护对象的行动的基准的对象物而成的拍摄图像的各像素取得深度。该深度表现被拍摄体的深度。因此，通过利用该深度，能够推测包含监护对象和对象物的被拍摄体在真实空间的位置关系。

所以，在上述构成中，首先，根据背景图像与该拍摄图像的差提取该拍摄图像的前景区域，上述背景图像被设定成作为拍摄图像的背景包含该背景的深度。基于拍摄图像与背景图像的差提取的前景区域，是从背景图像产生变化的区域。因此，在监护对象产生了动作的情况下，设定在要提取的前景区域中至少包含因监护对象产生了动作而发生了变化的区域。本发明的第1方式，利用这样的前景区域推测监护对象的行动。

具体而言，本发明的第1方式，参照基于拍摄图像中包含的深度信息提取的前景区域中的图像的深度，判断该前景区域和上述对象物的区域在真实空间中的位置关系是否满足假定该前景区域与监护对象的行动相关联时而设定的条件，由此推测监护对象的行动。此外，监护对象根据本发明为行动被监护的对象，例如为入院患者、福利机构入住者、要看护者等。

所以，根据上述构成，使用表示被拍摄体的深度的深度信息，根据监护对象和对象物在真实空间中的位置关系推测该监护对象的行动，因此，能够进行在真实空间中的与监护对象的状态相符合的行动推测。

另外，本发明的第2方式是在第1方式的信息处理装置中，上述行动推测部，基于所提取的上述前景区域中的包含在对于上述对象物所设定的检测区域中的部分，判断上述前景区域与上述对象物的区域的上述位置关系是否满足上述条件。根据该构成，能够通过检测区域限定作为监护对象的行动推测的处理对象的前景区域，因此，能够调整进行该监护对象的行动推测的真实空间中的范围。

另外，本发明的第3方式是在第2方式的信息处理装置中，检测区域设定部，其接受在上述拍摄图像中存在上述对象物的区域的指定，从上述拍摄图像取得存在于所指定的区域的上述对象物的深度，基于所取得的上述对象物的深度，确定上述对象物在真实空间中的位置，根据所确定的上述对象物在真实空间中的位置来设定上述检测区域。根据该构成，能够由用户指定对象物的区域，该对象物的区域成为设定作为监护对象的行动推测的对象的区域的检测区域的基准。因此，根据该构成，能够提供可以灵活地应对摄像机的朝向、对象物的配置状态等的监护系统。

另外，本发明的第4方式是在第3方式的信息处理装置中，上述检测区域设定部，不参照上述拍摄图像中包含的上述深度信息，而通过将上述拍摄图像中的上述对象物的长度与作为规定的值设定的上述对象物在真实空间中的长度相对应，来计算上述对象物的深度，由此从上述拍摄图像取得上述对象物的深度。

存在深度在被拍摄体的边界变化较大的情况。因此，在用户偏离对象物的边界外地指定该对象物的范围的情况下，如果根据包含于拍摄图像中的深度信息取得该对象物的深度，则取得了与本来的对象物的深度的值区别较大的深度值的情况。根据该构成，由于不依赖于拍摄图像中包含的深度信息而取得该对象物的深度，因此能够避免这样的情况，能够基于该对象物高精度地在真实空间中设定检测区域。

另外，本发明的第5方式是在第2方式至第4方式中任一项记载的信息处理装置中，作为用于推测上述监护对象的行动的上述条件，在上述监护对象进行了相对于上述对象物的行动的情况下，关于存在于上述真实空间上的上述检测区域中的上述监护对象的规定部位设定取得上述深度的区域的面积的范围，上述行动推测部，在包含于上述前景区域中的上述检测区域中的部分中，推测与上述监护对象的上述规定部位对应的部位区域，根据由上述深度信息表示的上述部位区域中的每个像素的深度，计算该每个像素在真实空间中的面积，判断上述部位区域中的按每个像素计算出的面积的总和是否包含在作为上述条件所设定的上述面积的范围中，由此推测上述监护对象相对于上述对象物的行动。

根据该构成，在包含于检测区域中的前景区域的部分中，推测与监护对象的规定部位对应的部位区域。并且，根据该部位区域的面积，来推测该监护对象的行动。此外，在该监护对象的规定部位取得深度的区域，是该规定部位的成为拍摄对象的表面。因此，该部位区域的面积与该规定部位的成为拍摄对象的表面的面积对应。

在此，被拍摄体越远离拍摄拍摄图像的机器，该拍摄图像中的该被拍摄体的像越小。因此，当将部位区域内的像素数原样地对应于该部位区域的面积时，受到被拍摄体的远近的影响，取得不符合真实空间的状态的部位区域的面积。为了对应该问题点，本发明的第5方式中，根据该部位区域中的每个像素的深度计算该每个像素在真实空间的面积，求出在上述部位区域中的按每个像素计算出的面积的总和作为该部位区域的面积。由此，不受到被拍摄体的远近的影响，能够求出作为监护对象的行动的推测基准的部位区域的面积。因此，在该构成中，能够不受到被拍摄体的远近的影响地，推测上述监护对象的行动。

另外，本发明的第6方式是在第5方式的信息处理装置中，作为用于推测上述监护对象的行动的上述条件，在上述监护对象进行了相对于上述对象物的行动的情况下，关于存在于上述真实空间上的上述检测区域的上述监护对象的规定部位进一步设定表示取得上述深度的区域的扩展情况的弥散的范围，上述行动推测部计算表示被推测的上述部位区域在上述真实空间中的扩展情况的弥散，进而判断计算出的上述弥散是否包含在作为上述条件所设定的上述范围中，由此推测上述监护对象相对于上述对象物的行动。

仅通过监护对象的规定部位区域的面积，有可能误识别监护对象的部位。例如，在头部区域的面积与臂区域的面积为相同的状态下拍摄监护对象的情况下，有可能将臂误识别为头部。所以，在该构成中，着眼于身体的每个部位在真实空间中的扩展情况的不同，利用表示该部位区域在真实空间的扩展情况的弥散(分散)，来防止上述的误识别。

另外，本发明的第7方式是在第6方式的信息处理装置中，上述对象物为床，上述检测区域以上述监护对象在上述床上行动时至少包括上述监护对象的头部的方式设定于上述床上，作为用于推测上述监护对象的行动的上述条件的上述面积的范围和上述弥散的范围分别至少以上述监护对象的头部为对象来设定，上述行动推测部，在包含在上述前景区域中的上述检测区域中的部分中，推测与上述监护对象的头部对应的头部区域，计算关于所推测的上述头部区域的上述面积的总和和上述弥散，判断所计算出的关于上述头部区域的上述面积的总和和上述弥散分别是否包含于设定为对象的上述范围中，由此推测上述监护对象相对于上述床的行动。根据该构成，能够推测监护对象相对于床的行动。因此，作为在医院、看护福利机构等用于监护入院患者、福利机构入住者、要看护者等的装置，能够利用本发明。

另外，本发明的第8方式是在第7方式的信息处理装置中，作为用于推测上述监护对象的行动的上述条件的上述面积的范围和上述弥散的范围，分别进一步以上述监护对象的肩部为对象来设定，上述行动推测部，在包含在上述前景区域中的上述检测区域中的部分中，从与上述头部区域相邻的区域进一步推测与上述监护对象的肩部对应的肩部区域，计算关于所推测的上述肩部区域的上述面积的总和和上述弥散，判断所计算出的关于上述肩部区域的上述面积的总和和上述弥散分别是否包含于设定为对象的上述范围中，由此推测上述监护对象相对于上述床的行动。根据该构成，不仅着眼于头部，也着眼于肩部，因此，能够提高推测监护对象的行动的精度。

另外，本发明的第9方式是在第8方式的信息处理装置中，上述行动推测部基于上述头部区域和上述肩部区域与上述床的在上述真实空间中的位置关系，推测在上述床上起来、在上述床上的端座位、身体从上述床探出、从上述床落下和从上述床离开之中的至少任一种上述监护对象的行动。此外，端座位是指监护对象坐在床端的状态。根据该构成，能够推测监护对象起来、端座位、身体探出(越过护栏)、落下和离床的至少任一种的行动。因此，能够提供更适合于在医院、看护福利机构等中用于监护入院患者、福利机构入住者、要看护者等的装置的监护系统。

另外，本发明的第10方式在第9方式的信息处理装置中，上述行动推测部，使用推测了上述监护对象的在上述床上起来、在上述床上的端座位、身体从上述床探出、从上述床落下和从上述床离开之中的任一种行动后取得的拍摄图像，推测上述监护对象的行动的情况下，以推测了上述监护对象的上述任一种行动时的上述头部区域和上述肩部区域的位置为基准，变更上述检测区域的范围，使其成为推测为存在上述监护对象的头部和肩部的范围的区域。

如上述所述，存在检测区域设定在床上的情况。在该情况下，在监护对象进行了端座位、身体探出、落下和离床中的任一种行动之后，该监护对象出到检测区域之外的可能性较高。因此，在该构成中，在检测到监护对象的上述任一种行动之后，根据该监护对象的存在位置修正该检测区域，由此，在监护对象利用之后能够继续进行推测该监护对象的行动。

另外，本发明的第11方式是在第7方式至第10方式中的任一项记载的信息处理装置中，包含在拍摄上述监护对象和上述床而成的上述拍摄图像中的上述深度信息，是通过基于红外线的照射测定深度的深度传感器取得的。

在该构成中，进行监护对象的监护的场所，是在设置有监护对象的床的场所，换言之，是在该监护对象就寝的场所。因此，进行监护对象的监护的场所大多是较暗的场所。在此，测定深度的深度传感器存在多种机型时，在该构成中，利用基于红外线的照射测定深度的深度传感器。因此，根据该构成，能够在不受进行监护对象的监护的场所的明亮度的影响地取得被拍摄体的深度，推测监护对象的行动。此外，作为比较廉价的红外线深度传感器，能够列举微软公司的Kinect、ASUS社的Xtion、PrimeSense公司的CARMINE。

另外，本发明的第12方式是在第1方式至第12方式中的任一项记载的信息处理装置中，还包括显示控制部，其使上述拍摄图像显示在显示装置中，其中，上述拍摄图像中的各像素的灰度值是根据该各像素的深度确定的，上述显示控制部将在上述拍摄图像中作为特定的区域被识别的区域以颜色区分，使上述拍摄图像显示在上述显示装置中。根据该构成，即使在以对应于深度的灰度表现的拍摄图像，特定的区域也以颜色区分，因此，用户能够掌握该拍摄图像中的特定的区域。

本发明的第13方式是在第1方式至第12方式中的任一项记载的信息处理装置中，还包括通知部，其在关于上述监护对象所推测的行动是表示危险迫近上述监护对象的预兆的行动的情况下，进行用于向监护上述监护对象的监护者告知该预兆的通知。

根据该构成，能够对监护者通知有危险迫近监护对象的预兆。另外，也能够向监护对象告知有危险迫近的预兆。此外，监护者是监护监护对象的行动的人，在监护对象是入院患者、福利机构入住者、要看护者等的情况下，例如为护理人员、福利机构职员、看护者等。另外，用于向监护对象告知有危险迫近的预兆的通知，可以与设置在护士呼叫等的机构的设备相协作地进行。

此外，作为上述各方式的信息处理装置的另外的方式，可以为实现以上的各构成的信息处理系统，也可以为信息处理方法，也可以为程序，也可以为存储有这样的程序的能够被计算机其它装置、机器等读取的存储介质。在此，计算机等可读取的存储介质是通过电、磁、光学、机械或者化学作用保存程序等的信息的介质。另外，信息处理系统可以通过一个或多个信息处理装置实现。

例如，本发明的第14方式是一种信息处理方法，其中，计算机执行下述步骤：取得拍摄行动被监护的监护对象和成为该监护对象的行动的基准的对象物而成的拍摄图像的步骤，其中，上述拍摄图像包含表示上述拍摄图像中的按每个像素得到的深度的深度信息；根据背景图像与上述拍摄图像的差，提取上述拍摄图像的前景区域的步骤，其中，上述背景图像被设定成作为上述拍摄图像的背景包含该背景的深度；和基于上述深度信息参照上述前景区域内的像素的深度，判断上述前景区域与上述对象物的区域在真实空间中的位置关系是否满足假定所提取的上述前景区域与上述监护对象的行动相关联而设定的条件，由此推测上述监护对象相对于上述对象物的行动的步骤。

另外，例如，本发明的第15方式是一种程序，用于使计算机执行下述步骤：取得拍摄行动被监护的监护对象和成为该监护对象的行动的基准的对象物而成的拍摄图像的步骤，其中，上述拍摄图像包含表示上述拍摄图像中的按每个像素得到的深度的深度信息；根据背景图像与上述拍摄图像的差，提取上述拍摄图像的前景区域的步骤，其中，上述背景图像被设定成作为上述拍摄图像的背景包含该背景的深度；和基于上述深度信息参照上述前景区域内的像素的深度，判断上述前景区域与上述对象物的区域在真实空间中的位置关系是否满足假定所提取的上述前景区域与上述监护对象的行动相关联而设定的条件，由此推测上述监护对象相对于上述对象物的行动的步骤。

根据本发明的第14方式和第15方式，与上述第1方式同样地，根据监护对象和对象物在真实空间中的位置关系推测该监护对象的行动，因此，能够实现与在真实空间中的监护对象的状态相符合的行动推测。

发明效果

根据本发明，能够提供进行与在真实空间中的监护对象的状态相符合的行动推测的技术。

附图说明

图1是表示应用本发明的情景的一个例子。

图2表示根据各像素的深度确定了该各像素的灰度值的拍摄图像的一例。

图3例示实施方式的深度。

图4例示实施方式的信息处理装置的硬件构成。

图5例示实施方式的功能构成。

图6例示实施方式的信息处理装置的处理顺序。

图7例示实施方式的信息处理装置取得的拍摄图像。

图8例示基于拍摄图像中包含的深度信息确定的拍摄范围中的被拍摄体的三维分布。

图9例示从拍摄图像提取的前景区域的三维分布。

图10例示设定于真实空间中的检测区域。

图11例示在拍摄图像中接受对象物的区域的指定的画面。

图12例示确定在拍摄图像中被指定的对象物在真实空间的位置的处理顺序。

图13例示摄像机的俯仰角和从拍摄图像的纵向中央偏离地拍摄被拍摄体而生成的、该被拍摄体的纵向的长度的变形。

图14例示从拍摄图像的横向中央偏离地拍摄被拍摄体而生成的、该被拍摄体的横向的长度的变形。

图15例示在真实空间的长度和拍摄图像中的长度的关系。

图16例示区域的扩展情况和弥散的关系。

图17例示在包含于前景区域中的检测区域中的部分推测的头部区域和肩部区域的关系。

图18例示监护对象在床端行动时的前景区域。

图19例示对特定的区域以颜色区分显示的拍摄图像。

具体实施方式

以下，基于附图说明本发明的一个方面的实施方式(以下也记作“本实施方式”)。其中，以下说明的本实施方式的所有方面仅是本发明的例示。当然在不脱离本发明的范围的情况下，能够进行各种改良和变形。即，在本发明的实施中，可以适当采用与实施方式对应的具体的结构。

此外，在本实施方式中，利用自然语言说明出现的数据，但更具体来讲，由计算机能够识别的伪语言(quasilanguage)、命令、参数、机器语言(计算机语言)等指定。

§1应用情景例

首先，使用图1对应用本发明的情景进行说明。图1是表示应用本发明的情景的一例。在本实施方式中，设定在医疗机构或者护理机构中，入院患者或者福利机构入住者作为监护对象其行动被进行监护的情景。监护对象被设置在床的长边方向的前方的摄像机2拍摄，由此，其行动被监护。

摄像机2对行动被监护的监护对象和成为该监护对象的行动的基准的对象物进行拍摄。成为监护对象的行动的基准的对象物可以根据实施方式适当选择。在图1中例示的应用情景中，设定对病房或者福利机构内的入院患者或者福利机构入住者的行动进行监护，因此，作为监护对象的行动的基准的对象物例示了床。

在此，对在本实施方式中使用的摄像机2进行说明。本实施方式的摄像机2可以包括以能够取得与拍摄图像中的各像素对应的深度的方式测定被拍摄体的深度的深度传感器。深度传感器的种类和测定方式可以根据实施方式适当选择。其中，为了不受拍摄场所中的明亮度的影响地取得深度，优选使用基于红外线的照射测定深度的深度传感器。

另外，摄像机2可以为立体摄像机，以便能够确定拍摄范围内的被拍摄体的深度。立体摄像机从多个不同的方向拍摄拍摄范围内的被拍摄体，因此能够记录该被拍摄体的深度。摄像机2只要能够确定拍摄范围内的被拍摄体的深度，则可以置换为深度传感器单体，并无特别限定。

本实施方式中，使用这样的摄像机2，取得拍摄了监护对象和对象物(床)而得到的拍摄图像3。如图1中所例示，拍摄图像3包括表示按每个像素得到的深度的深度信息。拍摄图像3只要是表示拍摄范围内的被拍摄体的深度的数据即可，例如可以是拍摄范围内的被拍摄体的深度呈二维状分布的数据(例如，深度图)。另外，拍摄图像3可以包含深度信息并且包含RGB图像。并且，拍摄图像3可以为动态图像，也可以为静止图像。

图2表示该拍摄图像3的一例。在图2中例示的拍摄图像3是各像素的灰度值对应于该各像素的深度而确定的图像。越黑色的像素表示越靠近摄像机2。另一方面，越白色的像素，表示越远离摄像机2。根据该深度信息，能够确定拍摄范围内的被拍摄体的在真实空间(三维空间)内的位置。更详细而言，被拍摄体的深度相对于该被拍摄体的表面取得。因此，通过使用拍摄图像3中包含的深度信息，能够确定摄像机2所拍摄的被拍摄体表面的在真实空间中的位置。此外，由摄像机2所拍摄的拍摄图像3被发送到信息处理装置1。

本实施方式的信息处理装置1从摄像机2取得拍摄了监护对象和对象物(床)的拍摄图像3、并且是包含表示该拍摄图像3中的按每个像素取得的深度的深度信息的拍摄图像3。而且，信息处理装置1，根据背景图像与该拍摄图像3的差提取该拍摄图像3的前景区域，上述背景图像被设定成作为该拍摄图像3的背景包含该背景的深度。并且，信息处理装置1基于深度信息参照前景区域内的像素的深度，判断该前景区域和对象物(床)的区域在真实空间中的位置关系是否满足假定所提取的前景区域与监护对象的行动相关联所设定的条件，来推测该监护对象的相对于对象物(床)的行动。

此外，监护对象的相对于对象物的行动是监护对象的行动之中相对于对象物的行动，根据实施方式可以适当设定。本实施方式中，成为监护对象的行动的基准的对象物是该监护对象用于就寝的床。所以本实施方式的信息处理装置1，作为监护对象的相对于对象物的行动推测在床上的起来、床上的端座位、越过床的栏杆(身体的探出)、从床落下和从床离开之中的至少任一种行动。由此，作为在医院、监护机构等用于监护入院患者、福利机构入住者、要看护者等的装置，能够利用该信息处理装置1。详细在后文述说。

如上所述，根据本实施方式，利用表现被拍摄体的进深的深度，能够推测监护对象的行动。因此，根据本实施方式，使用表示被拍摄体的进深的深度信息，根据监护对象和对象物在真实空间中的位置关系推测该监护对象的行动，因此，能够进行真实空间中的与监护对象的状态符合的行动推测。

在此，使用图3对本实施方式的“深度”进行说明。图3是表示能够作为本实施方式的深度对待的距离的一例。该深度表现被拍摄体的进深。如图3中例示所示，被拍摄体的进深例如可以由摄像机与对象物的直线的距离A表现，也可以由从摄像机的相对被拍摄体的水平轴垂下的垂线的距离B表现。即，本实施方式的深度可以为距离A，也可以为距离B。本实施方式中，将距离B用作深度。其中，距离A和距离B例如通过使用勾股定理能够彼此互换。因此，在使用距离B的下文的说明能够原样应用于距离A。

§2构成例

<硬件构成例>

接着，使用图4对信息处理装置1的硬件构成进行说明。图4例示本实施方式的信息处理装置1的硬件构成。如图4中所例示，信息处理装置1是电连接有：包含CPU、RAM(RandomAccessMemory)和ROM(ReadOnlyMemory)等的控制部11；存储由控制部11执行的程序5等的存储部12；用于经由网络进行通信的通信接口13；用于读取存储于存储介质6的程序的驱动器14；和用于与外部装置连接的外部接口15而成的计算机。

此外，信息处理装置1的具体的硬件构成，能够根据实施方式适当进行构成要素的省略、置换和追加。例如，控制部11可以包含多个处理器。另外，信息处理装置1可以具有显示器等的输出装置和鼠标、键盘等的用于进行输入的输入装置。此外，图4中，通信接口和外部接口分别记载为“通信I/F”和“外部I/F”。

另外，信息处理装置1具有多个外部接口15，可以与多个外部装置连接。本实施方式中，信息处理装置1可以经由外部接口15与包含深度传感器的摄像机2连接。并且，信息处理装置1经由外部接口15与设置在护士呼叫等的机构的设备连接，由此可以与该设备相协作地进行用于告知有危险迫近监护对象的预兆的通知。

另外，程序5是使信息处理装置1执行后述的动作中包含的步骤的程序，对应于本发明的“程序”。另外，程序5可以记录在存储介质6。存储介质6是以使计算机及其它装置、机器等所记录的程序等的信息能够读取的方式，通过电、磁、光学、机械或者化学作用存储该程序等的信息的介质。存储介质6相当于本发明的“存储介质”。此外，图4例示作为存储介质6的一例的、CD(CompactDisk)、DVD(DigitalVersatileDisk)等的盘式的存储介质。但是，存储介质6的种类，不限于盘式，也可以为盘式以外的存储介质。作为盘式以外的存储介质，例如能够列举闪存等的半导体存储器。

另外，作为信息处理装置1，例如可以使用设计为要提供的服务专用的装置之外，还能够使用PC(PersonalComputer)、平板终端等的通用的装置。另外，信息处理装置1可以通过一个或者多个计算机安装。

<功能构成例>

接着，使用图5对信息处理装置1的功能构成を进行说明。图5例示本实施方式的信息处理装置1的功能构成。本实施方式的信息处理装置1所具有的CPU将存储于存储部12的程序5在RAM中展开。而且，CPU解释和执行在RAM中展开的程序5，来控制各构成要素。由此，本实施方式的信息处理装置1作为具有图像取得部21、前景提取部22、行动推测部23和通知部24的计算机发挥作用。

图像取得部21取得拍摄了行动被监护的监护对象和成为该监护对象的行动的基准的对象物而得到的拍摄图像3、且该拍摄图像3包含表示在该拍摄图像中的按每个像素取得的深度的深度信息。本实施方式中，作为成为监护对象的行动的基准的对象物，例示用于该监护对象就寝的床。

前景提取部22，根据背景图像与拍摄图像3的差提取该拍摄图像3的前景区域，上述背景图像被设定成作为拍摄图像3的背景包含该背景的深度。对于背景图像在后文述说。作为拍摄图像3与背景图像的差的前景区域是在拍摄图像3中从背景图像产生变化的区域。因此，在被提取的前景区域中至少包含因监护对象发生了动作而产生了变化的区域。

行动推测部23利用这样的前景区域，推测监护对象的行动。即，行动推测部23基于深度信息参照前景区域内的像素的深度，判断该前景区域和对象物的区域在真实空间中的位置关系是否满足假定所提取的前景区域与监护对象的行动相关联时所设定的条件，由此推测该监护对象的相对于对象物的行动。

在此，存在前景区域中也包含与监护对象的行动无关地产生了变化的区域。所以，行动推测部23基于对象物的位置和推测对象的行动，将设想为基于监护对象而产生了变化的区域作为检测区域设定于真实空间中，由此可以无视与监护对象的行动无关地产生变化的区域。即，行动推测部23可以基于被提取的前景区域之中、相对于该对象物所设定的检测区域中包含的部分，判断该前景区域和对象物的区域的位置关系是否满足条件。

这样的检测区域可以预先设定，也可以由用户设定。在由用户设定检测区域的情况下，信息处理装置1例如可以具有检测区域设定部25。检测区域设定部25接受在拍摄图像3中存在对象物的区域的指定，从该拍摄图像3取得在被指定的区域存在的对象物的深度，基于所取得的对象物的深度，确定对象物在真实空间中的位置，对应于所确定的对象物在真实空间中的位置设定检测区域。

此外，存在在被拍摄体的边界深度变化较大的情况。因此，在用户偏离对象物的边界外地指定该对象物的范围的情况下，如果根据包含在拍摄图像3中的深度信息取得该对象物的深度时，则发生取得了与本来的对象物的深度区别较大的值的深度的情况。为了对应该问题，检测区域设定部25不参照拍摄图像3中包含的深度信息，而将拍摄图像3中的对象物的长度与作为规定的值设定的对象物在真实空间中的长度相对应地，计算出该对象物的深度，由此可以从该拍摄图像3取得对象物的深度。

另外，用于推测监护对象的行动的条件可以根据实施方式适当设定。例如，作为用于推测监护对象的行动的条件，在监护对象进行了相对于对象物的行动的情况下，关于存在于真实空间上的检测区域的监护对象的规定部位设定能够得到深度的区域的面积的范围。如上所述，相对于该被拍摄体的表面取得被拍摄体的深度。因此，用于推测监护对象的行动的上述条件，相对于关于监护对象的规定部位能够取得深度的区域的面积被设定。

在该情况下，行动推测部23在前景区域中的包含在检测区域中的部分中，推测与监护对象的规定部位对应的部位区域，根据由深度信息表示的该部位区域内的每个像素的深度，计算出该每个像素在真实空间中的面积，判断该部位区域内的按每个像素计算出的面积的总和是否包含在作为上述条件所设定的面积的范围中，由此推测监护对象的相对于对象物的行动。

此外，利用关于监护对象的规定部位能够取得深度的区域的面积，设定用于推测监护对象的行动的条件的情况下，该规定部位为与推测对象的行动相关的监护对象的身体部位。即，在该情况下，行动推测部23基于与推测对象的行动相关的监护对象的身体部位存在于检测区域中，进行监护对象的行动推测。

但是，存在与推测对象的行动相关的规定部位以外的部位以具有与该规定部位相同的面积的方式拍摄于拍摄图像3中的情况。在该情况下，存在行动推测部23将以与该规定部位相同的面积拍摄的另外的部位误识别为该规定部位，误识别监护对象的行动的可能。所以，在本实施方式的信息处理装置1中，着眼于按身体的每个部位在真实空间中的扩展情况不同，可以进一步设定能够防止该误识别那样的条件。

例如，作为用于推测监护对象的行动的条件，在监护对象进行了相对于对象物的行动的情况下，关于存在于真实空间上的检测区域的监护对象的规定部位进一步设定表示能够取得深度的区域的扩展情况的弥散(分散)的范围。在该情况下，行动推测部23计算表示被推测的部位区域的在真实空间中的扩展情况的弥散，进一步判断所计算出的弥散是否包含在作为上述条件设定的范围中，来推测监护对象的相对于对象物的行动。

在本实施方式中，成为监护对象的行动的基准的对象物是床。所以，检测区域可以以该监护对象在床上行动时至少包含该监护对象的头部的方式设定于该床上。而且，成为用于推测监护对象的行动的条件的上述面积的范围和上述弥散的范围可以分别至少将监护对象的头部设定为对象。

在该情况下，行动推测部23在包含于前景区域之中的检测区域中的部分中，推测与监护对象的头部对应的头部区域，计算关于所推测的头部区域的上述面积的总和和上述弥散。而且，行动推测部23通过判断所计算出的关于头部区域的上述面积的总和和上述弥散分别是否包含于被设定为对象的上述范围中，由此推测该监护对象相对于床的行动。

在此，推测相对于床的监护对象的行动时如果仅利用头部区域，行动推测部23有可能将具有与头部相同的表面形状的被拍摄体误识别为头部，而误识别了监护对象的行动。所以，为了提高监护对象的行动的推测精度，作为用于推测监护对象的行动的条件的上述面积的范围和上述弥散的范围可以分别进一步将监护对象的肩部设定为对象。

而且，行动推测部23，可以在包含于前景区域之中的检测区域中的部分中，从与头部区域相邻的区域，进一步推测与监护对象的肩部对应的肩部区域，计算关于所推测的该肩部区域的上述面积的总和和上述弥散，判断所计算出的关于该肩部区域的上述面积的总和和上述弥散分别是否包含于被设定为对象的上述范围中，由此来推测监护对象的起来。肩部区域是具有从头部区域连续的、比头部区域变宽的区域的区域。因此，通过考虑这样的头部区域和肩部区域的关系，行动推测部23能够提高头部区域的推测精度。

另外，行动推测部23可以利用该头部区域和肩部区域，来推测监护对象的起来等的行动。例如，行动推测部23可以基于头部区域和肩部区域与床在真实空间中的位置关系，来推测在床上的起来、床上的端座位、身体从床的探出、从床落下和从床离开之中的至少任一种监护对象的行动。

如上所述，存在检测区域以当监护对象在床上行动时至少包含该监护对象的头部的方式设定于该床上的情况。在该情况下，监护对象进行了在床上的端座位、身体从床探出、从床落下和从床离开的任一种之后，该监护对象出到检测区域之外的可能性较高。为了应对该情况，行动推测部23使用在推测了监护对象的上述任一种行动后取得的拍摄图像3推测该监护对象的行动的情况下，以推测了该监护对象的上述任一种行动时的头部区域和肩部区域的位置为基准，变更上述检测区域的范围，使其成为推测为上述监护对象的头部和肩部存在的范围的区域。

此外，取得用于监护对象的行动推测的深度信息的深度传感器或者摄像机的种类和测定方式可以根据实施方式适当选择。但是，如本实施方式所示，在监护对象就寝的场所进行监护时，存在要取得深度的拍摄范围不明亮的情况。所以，在本实施方式中，摄像机2可以包括基于红外线的照射测定深度的深度传感器，使得能够不收进行监护对象的监护的场所的明亮度的影响地取得被拍摄体的深度。而且，也可以通过基于该红外线的照射测定深度的深度传感器取得深度信息。

另外，本实施方式的信息处理装置1也可以对与该信息处理装置1连接的显示器等的显示装置输出拍摄图像3。在该情况下，信息处理装置1可以具有显示控制部26，使拍摄图像3中的各像素的灰度值根据该各像素的深度被确定的拍摄图像3显示。但是，如图2中所例示，各像素的灰度值根据该各像素的深度被确定的拍摄图像3是用户难以识别拍摄图像3中的被拍摄体的图像。所以，显示控制部26对拍摄图像3中作为特定的区域识别的区域进行颜色区分，使显示装置显示该拍摄图像3，由此用户容易掌握拍摄图像3中的特定的区域。

另外，本实施方式的信息处理装置1包括通知部24，其在关于监护对象所推测的行动为表示危险迫近监护对象的预兆的行动的情况下，进行用于向监护该监护对象的监护者告知该预兆的通知。在此，监护者是监护监护对象的行动的人，在监护对象是入院患者、福利机构入住者、要看护者等的情况下，例如是护理师、福利机构职员、监护者等。另外，用于告知有危险迫近监护对象的预兆的通知，可以与设置在护士呼叫等的福利机构的设备协作进行。

此外，在本实施方式中，说明这些功能均通过通用的CPU来实现的例子。但是，这些功能的一部分或者全部也可以由一个或者多个专用的处理器实现。例如，在不实施用于告知有危险迫近监护对象的预兆的通知的情况下，通知部24可以省略。

§3动作例

图6表示本实施方式的信息处理装置1的动作例。此外，以下说明的动作例的处理顺序不过是一个例子，各处理只要可能就可以被调换。另外，以下说明的动作例的处理顺序能够根据实施方式适当进行处理的省略、置换和追加。例如，在不实施用于告知有危险迫近监护对象的预兆的通知的情况下，步骤S104和S105可以省略。

在步骤S101中，控制部11作为图像取得部21发挥作用，取得拍摄了行动被监护的监护对象和成为该监护对象的行动的基准的对象物的拍摄图像3、并且是包含表示该拍摄图像中的按每个像素取得的深度的深度信息的拍摄图像3。在本实施方式中，控制部11从摄像机2取得拍摄了入院患者或者福利机构入住者和床的拍摄图像3。

在此，使用图7对控制部11取得的拍摄图像3进行说明。图7例示控制部11取得的拍摄图像3。在图7中例示的拍摄图像3的各像素的灰度值与图2同样根据该各像素的深度确定。即，各像素的灰度值(像素值)对应拍摄于该各像素的部分的深度。如上所述，拍摄图像3中包含的深度信息可以表现为各像素的灰度值(像素值)。

如上所述，包含以灰度值表现深度的情况，表示按每个像素取得的深度的深度信息包含于拍摄图像3中，因此，控制部11能够基于该深度信息，确定拍摄于各像素的部分在真实空间中的位置。即，控制部11能够根据拍摄图像3中的各像素的位置(二维信息)和该各像素的深度，确定拍摄于该各像素内的被拍摄体的在三维空间(真实空间)中的位置。该真实空间的状态在接下来的图8中例示。

图8例示基于拍摄图像3中包含的深度信息确定的拍摄范围内的被拍摄体的位置的三维分布。通过按拍摄图像3中的位置和深度在三维空间内描绘各像素，能够作成图8中例示那样的三维分布。控制部11可以利用拍摄图像3中的深度信息，作成图8中例示的三维分布的数据，来识别监护对象和对象物(床)的在真实空间的位置关系。另外，控制部11可以不作成图8中例示那样的三维分布的数据，根据要求参照拍摄图像3中的深度信息，以图8中例示那样的状态，识别监护对象和对象物(床)的在真实空间的位置关系。即，控制部11可以不使用以三维分布表现的数据，来识别监护对象和对象物(床)的在真实空间的位置关系。

此外，在图8中，监护对象和床分别存在于以虚线表示的区域中。如上所述，被拍摄体的深度相对于该被拍摄体的表面取得。因此，描绘各像素的位置具体而言是在拍摄图像3中拍摄的监护对象和床的面的位置。控制部11以这样的面的位置识别监护对象和床的在真实空间的位置关系。

在此，本实施方式的信息处理装置1在医疗机构或者监护机构中，用于监护入院患者或者福利机构入住者。在该情况下，控制部11可以与对摄像机2的视频信号同步地取得图像。然后，控制部11可以对所取得的图像立即执行至后述的步骤S102～S105的处理。信息处理装置1通过连续不间断地执行该动作，能够实现实时图像处理，实时地监护入院患者或者福利机构入住者的行动。

返回图6，在步骤S102中，控制部11作为前景提取部22发挥作用，根据背景图像与拍摄图像3的差提取该拍摄图像3的前景区域，上述背景图像是在步骤S101中所取得的被设定成作为拍摄图像3的背景包含该背景的深度。在此，背景图像是为了提取该前景区域而利用的数据，例如，通过取得在信息处理装置1开始动作时(开始监护对象的监护时)得到的数帧的拍摄图像的平均而作成。此时，背景图像也包含深度信息地被作成。

图9例示从图8中所例示的被拍摄体之中从拍摄图像3提取的前景区域的三维分布。更详细来说，图9例示监护对象在床上起来时被提取的前景区域的三维分布。利用上述那样的背景图像提取的前景区域出现于从在背景图像中表示的真实空间中的状态发生了变化的位置。因此，在监护对象在床上进行了动作的情况下，该监护对象进行了动作的区域从背景图像发生变化，作为前景区域被提取。例如，在图9的例子中，当监护对象在床上进行了起来的动作时进行了动作的上半身的区域被作为前景区域提取。控制部11使用这样的前景区域掌握监护对象的动作。

此外，本步骤S102中，可以使用背景差分法(backgroundsubtraction、背景减除法)将背景和前景分离。作为背景差分法，例如，能够列举根据上述那样的背景图像和输入图像(拍摄图像3)的差分离背景和前景的方法、使用不同的3个图像分离背景和前景的方法和应用统计的模型将背景和前景分离的方法。提取前景区域的方法无特别限定，可以根据实施方式适当选择。

返回图6，在步骤S103中，控制部11作为行动推测部23发挥作用，参照在步骤S102中所提取的前景区域内的像素的深度，判断该前景区域和对象物的区域的在真实空间中的位置关系是否满足假定为所提取的前景区域与监护对象的行动相关联而设定了的条件，推测该监护对象的相对于对象物的行动。

如上所述，在监护对象进行了动作的情况下，在上述步骤S102的处理中，该监护对象进行了动作的区域被作为前景区域提取。所以，用于推测监护对象的行动的条件，假定为在步骤S102中被提取的前景区域与监护对象的行动相关联而被设定。在此，用于推测监护对象的行动的该条件可以根据成为推测对象的行动适当设定。

此外，在本实施方式中，信息处理装置1作为监护入院患者或者福利机构入住者的行动的装置(监护系统)被有效利用。因此，在本实施方式中，控制部11推测在床上起来、在床上的端座位、越过床的栏杆(身体的探出)、从床落下和从床离开之中的至少任一种行动作为监护对象的行动。

(1)推测条件的第一例

例如，作为用于推测监护对象的相对于对象物的行动的条件，可以设定评价相对于对象物存在的区域处于规定的位置关系的区域中是否出现阈值以上的像素数量的前景区域的条件。以监护对象在床上的行动为例对该条件进行说明。

(a)起来

在监护对象在床上起来(坐起)了的情况下，如图9中所例示，设定在床的长边方向的上半部分的区域并且在该床的上方出现前景区域。所以，当在床的长边方向的上半部分的区域并且该床的上方出现阈值以上的像素数量的前景区域的情况下，控制部11可以推测出监护对象在床上起来。

(b)端座位

在监护对象在床上进行了端座位的情况下，设定在床的侧框架周边的区域并且在从床的上方到下方出现前景区域。所以，当在床的侧框架周边的区域并且在从床的上方到下方出现了阈值以上的像素数量的前景区域的情况下，控制部11可以推测出监护对象在床上的端座位。

(c)越过栏杆(身体的探出)

在监护对象从床探出身体的(越过栏杆)情况下，设定在床的侧框架周边的区域、并且在从比床靠上方到比评价上述端座位的位置靠下方出现前景区域。所以，在床的侧框架周边的区域、并且在从比床靠上方到比评价端座位的位置靠下方出现了阈值以上的像素数量的前景区域的情况下，控制部11可以推测出监护对象的从床越过栏杆。

(d)落下

在监护对象从床落下的情况下，设定在床的侧框架周边的区域、并且在床的下侧出现前景区域。所以，当在床的侧框架周边的区域、并且在床的下侧出现了阈值以上的像素数量的前景区域的情况下，控制部11可以推测出监护对象从床落下。

(e)离床

在监护对象从床离开的情况下，设定在床的侧框架周边的区域、并且在比评价上述端座位的位置靠床的上方出现前景区域。所以，当在床的侧框架周边的区域、并且在比评价上述端座位的位置靠床的上方出现了阈值以上的像素数量的前景区域的情况下，控制部11可以推测出监护对象从床离开。

(f)另外

如(a)～(e)中例示所示，在本条件下，在设定为监护对象在床上进行了规定的行动的情况下出现前景区域的范围中，当出现了阈值以上的像素数量的前景区域时，能够推测出监护对象进行了该规定的行动。设定该条件的行动不限于在上述(a)～(e)中例示的行动，可以根据实施方式适当选择。另外，推测各行动时的阈值可以根据该各行动适当决定。

(2)推测条件的第二例

另外，例如，作为用于推测监护对象的相对于对象物的行动的条件，可以有效利用前景区域的在真实空间中的平均位置。具体而言，作为用于推测监护对象的相对于对象物的行动的条件，可以设定评价相对于对象物存在的区域处于规定的位置关系的区域中是否包含前景区域的该平均位置的条件。此外，该前景区域的平均位置例如能够通过取得作为前景区域被提取的各像素的在拍摄图像3中的位置和深度的平均来计算。

(g)起来

在监护对象在床上起来了的情况下，如上所述，设定在床的长边方向的上半部分的区域并且在该床的上方出现前景区域。所以，当在床的长边方向的上半部分的大致中央附近并且在该床的上方的范围中包含在步骤S102中所提取的前景区域的平均位置的情况下，控制部11可以推测出监护对象的在床上的起来。

(h)端座位

在监护对象在床上进行了端座位的情况下，设定为在床的侧框架周边的区域并且在从床的上方到下方出现前景区域。所以，在床的侧框架附近并且在床的稍稍上方的范围包含前景区域的平均位置时，控制部11可以推测出监护对象的在床上的端座位。

(i)越过栏杆(身体的探出)

在监护对象从床探出了身体的(越过栏杆)情况下，设定为在床的侧框架周边的区域、并且在比床靠上方到比评价上述端座位的位置靠下方出现前景区域。所以，在床的侧框架附近并且在与床大致相同的高度的范围中包含前景区域的平均位置时，控制部11可以推测出监护对象的从床越过栏杆。

(j)落下

在监护对象从床落下的情况下，设定为在床的侧框架周边的区域、并且在床的下侧出现前景区域。所以，当在床的侧框架周边的区域、并且在床的下侧的范围中包含前景区域的平均位置时，控制部11可以推测出监护对象从床落下。

(k)离床

在监护对象从床离开的情况下，设定为在床的侧框架周边的区域、并且在比评价上述端座位的位置靠床的上方出现前景区域。所以，当在床的侧框架周边的区域、并且在床的上方的范围中包含前景区域的平均位置时，控制部11可以推测出监护对象从床离开。

(l)其它

如(g)～(k)中所例示，在本条件下，对于成为行动推测的对象的各行动，设定为监护对象在床上进行了该各行动的情况下出现的前景区域的平均位置的范围被设定在真实空间中。设定该条件的行动不限于在上述(g)～(k)中例示的行动，可以根据实施方式适当选择。另外，前景区域的平均位置和推测对象的行动的关系可以根据实施方式适当决定。

(3)补充

用于推测监护对象的相对于对象物的行动的条件可以根据实施方式适当设定。控制部11例如可以预先保持进行推测对象的行动时的监护对象的身体形状的信息，计算该身体形状与前景区域的相关系数。并且，控制部11可以基于所计算的相关系数推测该监护对象的行动。另外，控制部11可以根据前景区域内的各像素的分布提取特征量，基于所提取的特征量来推测监护对象的行动。并且，控制部11例如可以利用将上述(1)和(2)组合而成的条件作为用于推测监护对象的相对于对象物的行动的条件。

另外，在上述例中，以床在真实空间中的位置为基准，设定用于推测各个行动的条件。在此，对象物(床)在真实空间中的位置可以预先设定，也可以通过按后述的方法进行确定而设定。另外，基于图像识别等的处理，可以确定对象物(床)在真实空间中的位置。

在步骤S104中，控制部11判断在步骤S103中所推测的行动是否是表示危险迫近监护对象的预兆的行动。当在步骤S103中所推测的行动是表示危险迫近监护对象的预兆的行动时，控制部11使处理前进至步骤S105。另一方面，当在步骤S103中所推测的行动不是表示危险迫近监护对象的预兆的行动时，控制部11使本动作例的处理结束。

设定为表示危险迫近监护对象的预兆的行动的行动可以根据实施方式适当选择。例如，作为有可能发生跌落或跌到的行动，假定在表示危险迫近监护对象的预兆的行动中设定端座位。在该情况下，控制部11在推测出在步骤S103中监护对象处于端座位的状态时，判断为在步骤S103中所推测的行动表示危险迫近监护对象的预兆的行动。

此外，在判断是否有危险迫近监护对象的预兆时，有时考虑监护对象的行动的变迁更好。例如，与从离床到成为端座位的状态相比，从起来到成为端座位的状态能够设定为监护对象跌落或者跌到的可能性较高。所以，在步骤S104中，控制部11基于监护对象的行动的变迁，判断在步骤S103中所推测的行动是否是表示危险迫近监护对象的预兆的行动。

例如，控制部11定期推测监护对象的行动时，在步骤S103中，在推测出监护对象起来之后，推测为监护对象成为端座位的状态。此时，在本步骤S104中，控制部11判断在步骤S103中所推测的行动是表示危险迫近监护对象的预兆的行动。

在步骤S105中，控制部11作为通知部24发挥作用，对监护该监护对象的监护者进行用于告知有危险迫近监护对象的预兆的通知。

控制部11使用适当的方法进行该通知。例如，控制部11作为该通知可以在与信息处理装置1连接的显示器中显示用于对监护者告知有危险迫近监护对象的预兆的画面。另外，例如，控制部11可以利用电子邮件向监护者的用户终端进行该通知。在该情况下，例如，成为通知目的地的用户终端的电子邮件地址被预先登录在存储部12中，控制部11利用该预先登录的电子邮件地址，向监护者进行用于告知有危险迫近监护对象的预兆的通知。

另外，用于告知有危险迫近监护对象的预兆的通知，可以与设置在护士呼叫等的福利机构的设备相协作进行。例如，控制部11控制经由外部接口15所连接的护士呼叫，作为用于告知有危险迫近监护对象的预兆的通知，可以进行利用该护士呼叫的呼唤。与信息处理装置1连接的福利机构的设备可以根据实施方式适当决定。

此外，信息处理装置1定期推测监护对象的行动的情况下，定期反复进行上述的动作例中例示的处理。定期反复进行处理的间隔，可以适当设定。另外，信息处理装置1可以根据用户(监护者)的要求，执行上述的动作例中例示的处理。

如以上的方式，本实施方式的信息处理装置1利用表现被拍摄体的进深的深度，评价监护对象与对象物的在真实空间中的位置关系，由此推测监护对象的行动。因此，根据本实施方式的信息处理装置1，对应于监护对象和对象物的在真实空间中的位置关系推测该监护对象的行动，因此，能够实现与在真实空间中的监护对象的状态相符合的行动推测。

§4变形例

以上，详细说明了本发明的实施方式，但是至目前为止的说明在所有的方面仅是本发明的例示。在不脱离本发明的范围的情况下，当然能够进行各种改良和变形。

(1)检测区域的设定

如以上所述，在上述步骤S102中提取的前景区域中有可能包含与监护对象的行动无关的区域。所以，控制部11作为行动推测部23发挥作用推测监护对象的行动时，可以设置确定作为该行动推测的处理对象的范围的检测区域。使用图10对该检测区域进行说明。

图10表示以监护对象的起来为行动推测的对象时在真实空间中设定的检测区域的一例。例如，在推测监护对象起来的情况下，从床的下端到摄像机侧的范围等的床上以外的范围中，与该监护对象在床上起来相关联的前景区域不被检测。如果将与该起来相关联的前景区域不被检测的区域作为行动推测的处理对象时，控制部11进行多余的处理，另外，有可能误认为推测监护对象进行的行动。

所以，该行动推测的处理中，如图10中所例示，在床上设置检测区域，省略检测区域以外的部分的处理，由此能够削减多余的处理，防止监护对象的行动的错误的推测。此外，这样的检测区域可以预先设定，也可以由用户设定。另外，信息处理装置1可以保持能够实现根据推测对象的行动和对象物设定检测区域的信息。

(2)对象物存在的区域的指定

另外，在上述实施方式中，根据前景区域和对象物的区域的在真实空间中的位置关系推测监护对象的行动时，该对象物存在的区域可以由用户指定。在该情况下，控制部11可以接受在拍摄图像3中对象物存在的区域的指定。

在此，控制部11为了在接受对象物存在的区域的指定时使拍摄图像3显示，可以作为使在上述步骤S101中所取得的拍摄图像3显示于与信息处理装置1连接的显示器等的显示装置中的显示控制部26发挥作用。例如，控制部11作为显示控制部26发挥作用，如图2等中所例示，可以使拍摄图像3中的各像素的灰度值(像素值)根据该各像素的深度而被确定的拍摄图像3显示于显示装置中。用户例如指定在如上述方式显示的拍摄图像3中对象物(床)存在的区域。

图11例示接受在拍摄图像3中对象物(床)的区域的指定的画面。图11中例示的操作画面中，用户操作与信息处理装置1连接的输入装置(鼠标等)，在显示于显示装置中的拍摄图像3上使标记(光标)的位置移动，由此指定对象物(床)存在的范围。

此外，在图11中例示的画面中，控制部11使四个标记被用户操作来指定床的范围。该4个标记对应床的床头板侧的2个角和床的2个侧框架的中点。在指定矩形上的床的范围时，不利用床下端的2个角而利用床的2个侧框架的中点的理由是，存在床没有被收纳于拍摄范围内的可能性。

即，因摄像机2的配置和床的大小，存在床没有被收纳于摄像机2的拍摄范围内的情况。在这样的情况下，利用床的上端和下端的4个角指定床的范围时，用户无法指定床的下端的2个角的位置。所以，控制部11，如图11中所例示，使用户不指定要指定的对象物的角而指定连接2个角的线上的点。此外，连接该2个角的线上的点可以为中点以外的点。即，在图11的例子中，替代床的角而使用的2个点只要为床的长边方向的框架上的点即可，可以不是中点。此外，以后，将床的床头板侧的2个角称为“床头侧2点”，将床的2个侧框架的中点称为“床尾侧2点”。

如上述方式指定对象物存在的区域时，控制部11从该拍摄图像3取得存在于被指定的区域的对象物的深度。在此，控制部11可以根据拍摄图像3中包含的深度信息确定该对象物的深度，也可以如后述方式，不使用该深度信息地确定该对象物的深度。

在根据深度信息确定该对象物的深度的情况下，控制部11参照在拍摄图像3中由用户指定的范围中的各像素的深度信息，能够确定该对象物的深度。对于不使用深度信息确定该对象物的深度的情况在后文述说。当对象物的深度能够确定时，该对象物的在拍摄图像3中的位置已经被指定，因此，控制部11能够确定该对象物的在真实空间中的位置。

(3)根据对象物的区域设定检测区域

如上述方式，通过用户的指定确定对象物的在真实空间中的位置的话，控制部11能够根据该对象物的在真实空间中的位置设定检测区域。即，控制部11作为检测区域设定部25发挥作用，接受在拍摄图像3中对象物存在的区域的指定，从该拍摄图像3取得存在于被指定的区域的对象物的深度，基于所取得的对象物的深度，确定对象物的在真实空间中的位置，对应于所确定的对象物的在真实空间中的位置设定检测区域。

例如，如以上所述，在推测监护对象在床上起来的情况下，检测区域可以设定在床上。在该情况下，检测区域设定在床上即可，因此，能够将床(对象物)设定为基准。所以，控制部11例如保持根据对象物的在真实空间中的位置配置的检测区域的诸条件的信息，利用该信息，可以根据该对象物的在真实空间中的位置设定检测区域。例如，在上述图10的例子中，控制部11可以在确定了对象物(床)的在真实空间中的位置后，作为检测区域设定部25发挥作用，在该床的上方配置检测区域。

(4)不使用深度信息地确定对象物的在真实空间的位置

存在深度在被拍摄体的边界变化较大的情况。以图11的例子进行说明时，用户偏离到床的边界外地指定了标记的位置的情况下，根据拍摄图像3中包含的深度信息取得该床的深度时，存在取得了与原本的床的深度的值差别较大的深度值情况。为了应对这样的情况，控制部11在由用户指定了对象物存在的区域的情况下，可以不使用深度信息地确定该对象物的深度。

在该情况下，控制部11例如可以作为检测区域设定部25发挥作用，使拍摄图像3中的对象物的长度和作为规定的值设定的对象物的在真实空间中的长度相对应，计算出该对象物的深度，由此从该拍摄图像3取得对象物的深度。

此外，被设定规定的值的该对象物的部分可以根据实施方式适当选择。另外，与拍摄图像3中的对象物的长度对应的、对象物在真实空间中的长度可以被预先提供，也可以由用户指定。在本变形例中，床的横宽的长度为已知的值，控制部11使用该已知的值，表示计算在图11中例示的床头侧2点的中点和床尾侧2点的中点的深度的例子。

在此，控制部11可以通过将拍摄图像3中的床头侧2点间的像素数或者床尾侧2点间的像素数与床横宽的已知的长度原样地对应，计算在床头侧2点的中点或者床尾侧2点的中点的深度。但是，如在后述的图13和图14中说明的方式可知，从拍摄图像3的中央偏离地拍摄对象物的情况下，拍摄图像3中的对象物成为从在拍摄图像3的中央拍摄对象物的情况下的该对象物的形状发生了变形的形状。所以，控制部11可以利用以下所示的方法，修正拍摄图像3中的床头侧2点间和床尾侧2点间的长度(像素数)。

图12例示在对拍摄图像3中的床头侧2点间和床尾侧2点间的长度(像素数)进行了修正后，计算在床头侧2点的中点或者床尾侧2点的中点的深度的处理顺序。此外，以下说明的处理顺序仅是一个例子，各处理只要能够实现就可以进行调换。另外，以下进行说明的处理顺序可以根据实施方式适当进行处理的省略、置换和追加。

首先，在步骤S201中，控制部11利用摄像机2的滚动角(rollangle、横滚角)使4个标记的坐标转动，求取摄像机2不滚动的状态(滚动角为0度)下的4个标记在拍摄图像3中的位置。该转动的演算可以使用极坐标、复数平面、矩阵等。另外，摄像机2的滚动角可以根据实施方式适当取得。例如，摄像机2的滚动角可以由摄像机2所具有的运动传感器取得，也可以由用户指定。

在下一步骤S202中，控制部11修正床的纵向的变形。使用图13对该床的纵向的变形进行说明。图13例示因摄像机2的俯仰角的影响和从拍摄图像3的纵向中央偏离地拍摄床的影响而产生的在床的纵向的长度的变形。

图13例示从横向观看的摄像机的情景。床以与地板水平的状态配置的情况下，床头侧2点间的长度和床尾侧2点间的长度分别具有摄像机2的深度方向的长度成分和横向的长度成分。在该情况下，如图13中所例示，摄像机2的深度方向的长度成分(图13的虚线)、摄像机2的俯仰角和从拍摄图像3的纵向中央的偏离分别相互产生影响，由此在拍摄图像3中产生纵向的长度(图13的实线)。

控制部11能够根据该拍摄图像3确定在拍摄图像3中产生的纵向的长度(图13的实线)。并且，控制部11能够利用在图13中例示的摄像机2的深度方向的长度成分(图13的虚线)和拍摄图像3中产生的纵向的长度(图13的实线)的角度关系，由在拍摄图像3中产生的纵向的长度(图13的实线)，计算床头侧2点间的长度和床尾侧2点间的长度各自的摄像机2的深度方向的长度成分(图13的虚线)。因此，控制部11通过根据在拍摄图像3中产生的纵向的长度(图13的实线)计算摄像机2的深度方向的长度成分(图13的虚线)，能够修正床的纵向的变形。

此外，控制部11可以在本步骤S202中利用三角比等，由在拍摄图像3中产生的纵向的长度(图13的实线)计算出各自的摄像机2的深度方向的长度成分(图13的虚线)。另外，控制部11可以保持表示摄像机2的深度方向的长度成分(图13的虚线)、摄像机2的俯仰角、从拍摄图像3的纵向中央的偏离和在拍摄图像3中产生的纵向的长度(图13的实线)的对应关系的信息。在该情况下，控制部11参照该信息，能够根据在拍摄图像3中产生的纵向的长度(图13的实线)取得床头侧2点间的长度和床尾侧2点间的长度各自的摄像机2的深度方向的长度成分(图13的虚线)。

此外，摄像机2的俯仰角与滚动角同样可以根据实施方式适当取得，例如可以由摄像机2所具有的运动传感器取得，也可以由用户指定。

返回图12，在下一步骤S203中，控制部11修正床的横向的变形。使用图14说明该床的横向的变形。图14例示由于从拍摄图像3的横向中央偏离地拍摄床的影响产生的床的横向的长度的变形。

图14例示从上方观看摄像机的情景。如图14中所例示，摄像机2的深度方向的长度成分(图14的虚线、准确来说是摄像机2的俯仰角方向的成分)和从拍摄图像3的横向中央的偏离相互产生影响，在拍摄图像3中产生横向的长度(图14的实线)。

在此，床头侧2点间的长度和床尾侧2点间的长度各自的摄像机2的深度方向的长度成分(图14的虚线)在上述步骤S202的处理中已经取得，因此，在本步骤S203的时刻是已知的值。由此，控制部11能够利用在图14中例示的摄像机2的深度方向的长度成分(图14的虚线)和在拍摄图像3中产生的横向的长度(图14的实线)的角度关系，根据在步骤S202中取得的摄像机2的深度方向的长度成分(图14的虚线)，计算出在拍摄图像3中产生的横向的长度(图14的实线)。并且，控制部11通过从床头侧2点间的长度和床尾侧2点间的长度各自的摄像机2的横向的长度成分除去所计算出的在拍摄图像3中产生的横向的长度(图14的实线)的影响，由此，能够修正床的横向的变形。

此外，控制部11可以在本步骤S203中，利用三角比等，根据各自的摄像机2的深度方向的长度成分(图14的虚线)计算出在拍摄图像3中产生的横向的长度(图13的实线)。另外，控制部11可以保持表示摄像机2的深度方向的长度成分(图14的虚线)、从拍摄图像3的横向中央的偏离和在拍摄图像3中产生的横向的长度(图14的实线)的对应关系的信息。在该情况下，控制部11能够通过参照该信息，根据各自的摄像机2的深度方向的长度成分(图14的虚线)取得在拍摄图像3中产生的横向的长度(图14的实线)。

通过上述步骤S202和步骤S203的处理，取得摄像机2在图像中央捕捉到床的情况下的、床头侧2点间的长度和床尾侧2点间的长度各自的在摄像机2的深度方向的长度成分和横向的长度成分。即，在该时刻，从拍摄图像3的中央偏离而产生的拍摄图像3中的床的长度的变形被消除。所以，控制部11使用勾股定理，根据所取得的各个在摄像机2的深度方向的长度成分和横向的长度成分，分别计算出拍摄图像3中的、床头侧2点间的长度(像素数)和床尾侧2点间的长度(像素数)。

返回图12，在最后的步骤S204中，控制部11通过使至步骤S203所求出的床头侧2点间的长度(像素数)和床尾侧2点间的长度(像素数)与各自的在真实空间中的长度相对应，由此分别求出在床头侧2点间的中点和床尾侧2点间的中点的深度。使用图15对该处理进行说明。

图15例示在真实空间中的长度、拍摄图像3中的长度和深度的相互关系。设在深度Do的在真实空间中的横向的拍摄范围为Rw，设在真实空间中的被拍摄体的横向的长度为Bw。另外，设拍摄图像3的横向的长度(像素数)为Rp，设在拍摄图像3中被拍摄体的横向的长度为Bp(像素数)。在该情况下，由式1表示的关系成立。

[式1]

Rw:Bw＝Rp:Bp

对Bp分别带入至步骤S203所求出的床头侧2点间的长度(像素数)和床尾侧2点间的长度(像素数)。另外，Rp为拍摄图像3的横向的长度(像素数)，是依赖于被取得的拍摄图像3的已知的值。另外，当设摄像机2的视野角为θ时，对于Rw，由式2表示的关系成立。

[式2]

$Rw=2\&times;Do\&times;\tan \frac{\mathrm{\&theta;}}{2}$

摄像机2的视野角θ为依赖于摄像机2的已知的值。因此，当被赋予在真实空间中的被拍摄体的横向的长度Bw之后，控制部11通过求解式1和式2，能够求出对象物的深度Do。在此，如以上所述，真实空间中的床头侧2点间的长度和床尾侧2点间的长度对应于床的横宽，作为已知的值设定。所以，控制部11能够分别求出床头侧2点间的中点和床尾侧2点间的中点的深度。即，控制部11通过执行本步骤S201～204的处理，使拍摄图像3中的对象物的长度和作为规定的值设定的对象物在真实空间中的长度相对应，能够计算出该对象物的深度。

之后，控制部11能够根据床头侧2点间的中点和床尾侧2点间的中点的深度，确定在真实空间中的床的位置。例如，控制部11能够根据床头侧2点间的中点的深度与床尾侧2点间的中点的深度的差，确定床的纵宽。另外，例如，控制部11能够根据真实空间上的、4个标记的位置、以及床头侧2点间的中点和床尾侧2点间的中点的位置，确定在真实空间中的床(准确而言是床垫)的上面的区域。

此外，通过至此的处理，确定床头侧2点间的中点和床尾侧2点间的中点在真实空间中的位置。因此，控制部11利用连结床头侧2点间的中点和床尾侧2点间的中点的矢量，能够将以摄像机2的位置为基准表现的三维空间(真实空间)投影变换为以床的位置为基准表现的三维空间。由此，控制部11能够不依赖于摄像机2的位置、而以床的位置为基准表现真实空间。在本变形例中，控制部11判断监护对象的相对于床的行动，因此，通过以以床的位置为基准的坐标系表现真实空间，能够使控制部11的处理简单。

(5)利用面积的行动推测

作为用于推测监护对象的行动的条件，在上述实施方式中说明了2个例子。作为另外的例子，例如，作为用于推测该监护对象的行动的条件，在监护对象进行了相对于对象物的行动的情况下，关于存在于真实空间上的检测区域的监护对象的规定部位可以设定取得深度的区域的面积的范围。

在该情况下，控制部11可以在上述步骤S103中，在包含于前景区域中的检测区域中的部分中，推测与监护对象的该规定部位对应的部位区域。推测的部位可以根据实施方式适当设定，例如，为后述的头部、肩部等。另外，推测规定部位的方法可以根据实施方式适当设定。推测头部和肩部的区域的方法在后文述说。

在此，如图15中所例示，被拍摄体越远离摄像机2，该拍摄图像3中的该被拍摄体的像越变小。因此，控制部11为了不受被拍摄体的远近的影响，可以根据由深度信息表示的部位区域内的每个像素的深度，计算出该每个像素在真实空间中的面积。具体而言能够如下述方式求出。使用图15进行说明时，深度Do的1像素在真实空间中的长度w由式3表示。

[式3]

$w=\frac{Rw}{Rp}$

能够根据拍摄图像3中包含的深度信息取得Do，如以上所述，拍摄图像3的横向的长度Rp和摄像机2的视野角θ为已知的值。因此，控制部11能够基于式2和式3确定1个像素在真实空间中的长度w。该1个像素在真实空间的面积由该w的2次方计算出，因此，控制部11能够使用该1个像素在真实空间中的长度w，计算出每个像素在真实空间中的面积。

而且，控制部11通过判断该部位区域中的按每个像素所计算出的面积的总和是否包含于作为该条件所设定的面积的范围内，可以推测监护对象的相对于对象物的行动。此外，这样的面积有时因深度信息的噪声、监护对象以外的物体的移动等变化较大。为了应对该情况，控制部11可以利用数帧量的面积的平均。另外，控制部11在处理对象的帧中的该区域的面积与相比于该处理对象的帧过去的数帧中的该区域的面积的平均之差超过规定范围的情况下，可以从处理对象除去该区域。

(6)利用面积和弥散的行动推测

但是，仅通过监护对象的规定部位区域的面积，控制部11有可能误识别监护对象的部位。所以，控制部11通过利用表示部位区域在真实空间的扩展情况的弥散，可以防止该误识别。

在此，使用图16对该弥散进行说明。图16例示区域的扩展情况和弥散的关系。图16中例示的区域S和区域T分别为相同的面积。当控制部11仅通过部位区域的面积推测监护对象的部位时，控制部11识别为区域S和区域T相同，因此，有可能误识别监护对象的部位。但是，如图16中所例示，区域S和区域T在真实空间中的扩展情况区别较大(图16中水平方向的扩展情况)。所以，控制部11求取该部位区域中的各像素的位置的弥散，通过利用该弥散，可以防止上述误识别。

即，作为用于推测该监护对象的行动的条件，在监护对象进行了相对于对象物的行动的情况下，关于存在于真实空间上的检测区域的该监护对象的规定部位进一步设定表示能够取得深度的区域的扩展情况的弥散的范围。而且，控制部11，在上述步骤S103中计算表示被推测的部位区域在真实空间中的扩展情况的弥散，判断所计算出的弥散是否包含在作为用于推测监护对象的行动的条件所设定的范围中，由此可以推测监护对象的相对于对象物的行动。

(7)利用头部的行动推测

在上述实施方式中，作为成为监护对象的行动的基准的对象物，例示有床。因此，确定行动推测的处理范围的上述检测区域可以以监护对象在床上行动时至少包含监护对象的头部的方式设定在该床上。并且，作为用于推测监护对象的行动的条件的上述面积的范围和上述弥散的范围分别可以分别至少以该监护对象的头部为对象来设定。

在该情况下，控制部11在上述步骤S103中，在包含于通过上述步骤S102所提取的前景区域中的检测区域中的部分中，推测与监护对象的头部对应的头部区域，计算关于所推测的该头部区域的面积的总和和弥散，判断所计算出的关于头部区域的面积的总和和弥散分别是否包含于被设定为对象的条件的范围中，由此可以推测监护对象的相对于床的行动。

在包含于前景区域中的检测区域中的部分中，推测与监护对象的头部对应的头部区域的方法，可以根据实施方式适当设定。控制部11例如，通过图17中例示的方法推测头部区域。图17例示在包含于前景区域中的检测区域中的部分推测的头部区域和后述的肩部区域的关系。控制部11例如可以将前景区域中、包含于检测区域中的部分的最高的位置假定为头顶部的位置。而且，控制部11可以从该位置向下方将规定的范围内的前景区域的部分推测为头部区域。

(8)利用头部和肩部的行动推测

在此，当推测相对于床的监护对象的行动时如果仅利用头部区域，则控制部11有可能将具有与头部相同的表面形状的被拍摄体误识别为头部，而误识别监护对象的行动。因此，作为用于推测监护对象的行动的条件的上述面积的范围和上述弥散的范围分别可以进一步以监护对象的肩部为对象设定。

在该情况下，控制部11在上述步骤S103中，在包含于通过上述步骤S102所提取的前景区域中的检测区域中的部分中，从与上述头部区域相邻的区域，进一步推测与监护对象的肩部对应的肩部区域，计算所推测的关于该肩部区域的面积的总和和弥散，并判断所计算出的关于肩部区域的面积的总和和弥散分别是否包含于设定为对象的条件的范围中，由此可以推测监护对象的相对于床的行动。

在包含于前景区域中的检测区域中的部分中，推测与监护对象的肩部对应的肩部区域的方法，可以根据实施方式适当设定。控制部11例如通过图17中例示的方法接着头部区域推测肩部区域。具体而言，控制部11可以在从头部区域连续的区域中、从头部区域的下端向下方将规定的区域的范围内的前景区域的部分推测为肩部区域。肩部区域与头部区域相比成为容易具有扩展的区域。因此，通过使头部区域和肩部区域的扩展情况的状态适当地反映于上述条件中，能够提高监护对象的行动推测的精度。

此外，作为监护对象的相对于床的行动的具体例，能够列举监护对象在床上起来、在床上的端座位、身体从床探出(越过栏杆)、从床落下和从床离开。控制部11可以以这些行动中的至少任一种行动为推测对象。

在此，控制部11在仅以这些行动中的任一种行动为推测对象的情况下，控制部11可以基于头部区域和肩部区域的至少任一区域出现于检测区域中，来推测该监护对象的行动。

另一方面，控制部11在以这些行动中的多个行动为推测对象时，控制部11可以基于头部区域和肩部区域与床的在真实空间中的位置关系来判断各个行动。此时，控制部11例如使用头部区域和肩部区域各自中包含的各像素在拍摄图像3中的位置和深度，可以求出头部区域和肩部区域各自在真实空间中的平均位置。并且，控制部11在头部区域和肩部区域的平均位置能够分别评价为在床中央附近的情况下，可以推测监护对象的起来。

另一方面，床上的端座位、身体从床探出(越过栏杆)、从床落下和从床离开是在床的侧框架周边的行动。这些行动能够通过头部区域和肩部区域的位置关系识别。例如，头部区域的位置按离床、端座位、身体探出(越过栏杆)、落下的顺序依次变低。基于这些关系，控制部11可以识别端座位、身体的探出(越过栏杆)、落下和离床(从床离开)。

此外，控制部11能够根据头部区域和肩部区域的位置关系判断监护对象的身体的倾斜。使用图18对这点进行说明。图18例示从正上方观看在监护对象进行端座位时出现的在真实空间中的前景区域的状态。在图18中例示的状态下，由于头部区域比肩部区域向床的外侧突出，因此，设想为监护对象的身体倾斜到床的外侧。控制部11可以根据这样的头部区域和肩部区域的位置关系判断监护对象的身体的倾斜。并且，控制部11还可以考虑该身体的倾斜，推测监护对象的行动。例如，当头部区域的平均位置在床的内侧、肩部区域的平均位置在床的外侧时，控制部11能够识别出是监护对象以外的人(例如，监护监护对象的行动的人)从床外侧探看监护对象的动作。

(9)检测区域的修正

该监护对象有时从成为行动的基准的对象物离开。例如，监护对象在进行床上的端座位、身体从床探出(越过栏杆)、从床落下和从床离开的任一种行动的情况下，监护对象有时从床(对象物)离开。

对此，检测区域是设定为在监护对象进行该行动时实际存在的区域，有时将成为行动的基准的对象物设定为基准。例如，如图10中所例示，有时将检测区域设定在床上。在这样的情况下，监护对象进行了从对象物离开的行动的情况下，有可能出到该检测区域之外。

所以，控制部11在推测这样的从对象物离开的行动的情况下，以用于该行动的推测的前景区域的位置为基准，可以修正检测区域的范围。例如，控制部11在使用推测了监护对象的在床上端座位、身体从床探出、从床落下和从床离开的任一种行动后取得的拍摄图像3，进一步推测监护对象的行动的情况下，可以以推测了监护对象的该任一种行动时的头部区域和肩部区域的位置为基准，变更检测区域的范围，使其成为推测为监护对象的头部和肩部存在的范围的区域。

此外，检测区域的设定方法可以根据实施方式适当设定。例如，控制部11可以以推测了监护对象的上述任一种行动时的头部区域和肩部区域各自的平均位置的中点为新的检测区域的中心。并且，控制部11可以根据所推测的行动设定新的检测区域的范围。例如，控制部11在推测了监护对象的离床的情况下和推测了落下的情况下，可以在不同的范围设定新的检测区域。

(10)拍摄图像的显示

如以上所述，控制部11作为显示控制部26发挥作用，如图2等中所例示，使显示装置显示拍摄图像3中的各像素的灰度值(像素值)根据该各像素的深度被确定的拍摄图像3。其中，各像素的灰度值根据该各像素的深度被确定的拍摄图像3，如图2等中所例示，是用户难以识别拍摄图像3中的被拍摄体的图像。所以，控制部11，如图11中所例示，可以对在拍摄图像3中作为特定的区域被识别的区域以颜色区分，使该拍摄图像3显示于显示装置中，由此用户容易掌握该特定的区域。

图19例示对特定的区域以颜色区分而显示的拍摄图像3。在图19中例示的画面中，监护对象的头部区域和肩部区域以及对象物(床)的区域以颜色区分地被显示。控制部11对这些区域分配颜色，使得用户容易识别。例如，控制部11用红色显示头部区域，用黄色显示肩部区域，用蓝色显示床的区域。分配于各区域的颜色可以预先设定，也可以由用户指定。

附图标记说明

1…信息处理装置；2…摄像机；3…拍摄图像；5…程序；6…存储介质；21…图像取得部；22…前景提取部；23…行动推测部；24…通知部；25…检测区域设定部；26…显示控制部。

Claims (15)

1.一种信息处理装置，其特征在于，包括：

图像取得部，其取得拍摄行动被监护的监护对象和成为该监护对象的行动的基准的对象物而成的拍摄图像，所述拍摄图像包含表示所述拍摄图像中的按每个像素得到的深度的深度信息；

前景提取部，其根据背景图像与所述拍摄图像的差提取所述拍摄图像的前景区域，其中，所述背景图像被设定成作为所述拍摄图像的背景包含该背景的深度；和

行动推测部，其基于所述深度信息参照所述前景区域内的像素的深度，判断所述前景区域与所述对象物的区域在真实空间中的位置关系是否满足假定所提取的所述前景区域与所述监护对象的行动相关联所设定的条件，由此推测所述监护对象相对于所述对象物的行动。

2.如权利要求1所述的信息处理装置，其特征在于：

所述行动推测部，基于所提取的所述前景区域中的包含在对于所述对象物所设定的检测区域中的部分，判断所述前景区域与所述对象物的区域的所述位置关系是否满足所述条件。

3.如权利要求2所述的信息处理装置，其特征在于，还包括：

检测区域设定部，其接受在所述拍摄图像中存在所述对象物的区域的指定，从所述拍摄图像取得存在于所指定的区域的所述对象物的深度，基于所取得的所述对象物的深度，确定所述对象物在真实空间中的位置，根据所确定的所述对象物在真实空间中的位置来设定所述检测区域。

4.如权利要求3所述的信息处理装置，其特征在于：

所述检测区域设定部，不参照所述拍摄图像中包含的所述深度信息，而通过将所述拍摄图像中的所述对象物的长度与作为规定的值设定的所述对象物在真实空间中的长度相对应，来计算所述对象物的深度，由此从所述拍摄图像取得所述对象物的深度。

5.如权利要求2至4中任一项所述的信息处理装置，其特征在于：

作为用于推测所述监护对象的行动的所述条件，在所述监护对象进行了相对于所述对象物的行动的情况下，关于存在于所述真实空间上的所述检测区域中的所述监护对象的规定部位设定取得所述深度的区域的面积的范围，

所述行动推测部，在包含于所述前景区域中的所述检测区域中的部分中，推测与所述监护对象的所述规定部位对应的部位区域，根据由所述深度信息表示的所述部位区域中的每个像素的深度，计算该每个像素在真实空间中的面积，判断所述部位区域中的按每个像素计算出的面积的总和是否包含在作为所述条件所设定的所述面积的范围中，由此推测所述监护对象相对于所述对象物的行动。

6.如权利要求5所述的信息处理装置，其特征在于：

作为用于推测所述监护对象的行动的所述条件，在所述监护对象进行了相对于所述对象物的行动的情况下，关于存在于所述真实空间上的所述检测区域的所述监护对象的规定部位进一步设定表示取得所述深度的区域的扩展情况的弥散的范围，

所述行动推测部计算表示被推测的所述部位区域在所述真实空间中的扩展情况的弥散，进而判断计算出的所述弥散是否包含在作为所述条件所设定的所述范围中，由此推测所述监护对象相对于所述对象物的行动。

7.如权利要求6所述的信息处理装置，其特征在于：

所述对象物为床，

所述检测区域以所述监护对象在所述床上行动时至少包括所述监护对象的头部的方式设定于所述床上，

作为用于推测所述监护对象的行动的所述条件的所述面积的范围和所述弥散的范围分别至少以所述监护对象的头部为对象来设定，

所述行动推测部，在包含在所述前景区域中的所述检测区域中的部分中，推测与所述监护对象的头部对应的头部区域，计算关于所推测的所述头部区域的所述面积的总和和所述弥散，判断所计算出的关于所述头部区域的所述面积的总和和所述弥散分别是否包含于设定为对象的所述范围中，由此推测所述监护对象相对于所述床的行动。

8.如权利要求7所述的信息处理装置，其特征在于：

作为用于推测所述监护对象的行动的所述条件的所述面积的范围和所述弥散的范围，分别进一步以所述监护对象的肩部为对象来设定，

所述行动推测部，在包含在所述前景区域中的所述检测区域中的部分中，从与所述头部区域相邻的区域进一步推测与所述监护对象的肩部对应的肩部区域，计算关于所推测的所述肩部区域的所述面积的总和和所述弥散，判断所计算出的关于所述肩部区域的所述面积的总和和所述弥散分别是否包含于设定为对象的所述范围中，由此推测所述监护对象相对于所述床的行动。

9.如权利要求8所述的信息处理装置，其特征在于：

所述行动推测部基于所述头部区域和所述肩部区域与所述床的在所述真实空间中的位置关系，推测在所述床上起来、在所述床上的端座位、身体从所述床探出、从所述床落下和从所述床离开之中的至少任一种所述监护对象的行动。

10.如权利要求9所述的信息处理装置，其特征在于：

所述行动推测部，使用推测了所述监护对象的在所述床上起来、在所述床上的端座位、身体从所述床探出、从所述床落下和从所述床离开之中的任一种行动后取得的拍摄图像，推测所述监护对象的行动的情况下，以推测了所述监护对象的所述任一种行动时的所述头部区域和所述肩部区域的位置为基准，变更所述检测区域的范围，使其成为推测为存在所述监护对象的头部和肩部的范围的区域。

11.如权利要求7至10中任一项所述的信息处理装置，其特征在于：

包含在拍摄所述监护对象和所述床而成的所述拍摄图像中的所述深度信息，是通过基于红外线的照射测定深度的深度传感器取得的。

12.如权利要求1至11中任一项所述的信息处理装置，其特征在于：

还包括显示控制部，其使所述拍摄图像显示在显示装置中，其中，所述拍摄图像中的各像素的灰度值是根据该各像素的深度确定的，

所述显示控制部将在所述拍摄图像中作为特定的区域被识别的区域以颜色区分，使所述拍摄图像显示在所述显示装置中。

13.如权利要求1至12中任一项所述的信息处理装置，其特征在于，还包括：

通知部，其在关于所述监护对象所推测的行动是表示危险迫近所述监护对象的预兆的行动的情况下，进行用于向监护所述监护对象的监护者告知该预兆的通知。

14.一种信息处理方法，其特征在于：

计算机执行下述步骤：

取得拍摄行动被监护的监护对象和成为该监护对象的行动的基准的对象物而成的拍摄图像的步骤，其中，所述拍摄图像包含表示所述拍摄图像中的按每个像素得到的深度的深度信息；

根据背景图像与所述拍摄图像的差，提取所述拍摄图像的前景区域的步骤，其中，所述背景图像被设定成作为所述拍摄图像的背景包含该背景的深度；和

基于所述深度信息参照所述前景区域内的像素的深度，判断所述前景区域与所述对象物的区域在真实空间中的位置关系是否满足假定所提取的所述前景区域与所述监护对象的行动相关联而设定的条件，由此推测所述监护对象相对于所述对象物的行动的步骤。

15.一种程序，其特征在于：

用于使计算机执行下述步骤：

取得拍摄行动被监护的监护对象和成为该监护对象的行动的基准的对象物而成的拍摄图像的步骤，其中，所述拍摄图像包含表示所述拍摄图像中的按每个像素得到的深度的深度信息；

根据背景图像与所述拍摄图像的差，提取所述拍摄图像的前景区域的步骤，其中，所述背景图像被设定成作为所述拍摄图像的背景包含该背景的深度；和

基于所述深度信息参照所述前景区域内的像素的深度，判断所述前景区域与所述对象物的区域在真实空间中的位置关系是否满足假定所提取的所述前景区域与所述监护对象的行动相关联而设定的条件，由此推测所述监护对象相对于所述对象物的行动的步骤。