CN107533764A - 图像处理系统、图像处理装置、图像处理方法以及图像处理程序 - Google Patents

Abstract

提供能够与用途匹配地将针对同一动作的报告和记录都实现的图像处理系统。对监视对象的人物的特定动作进行检测的图像处理系统(300)具备：获取部(52)，用于获取表示人物的动作的动作数据；计算部(112)，用于使用动作数据来计算表示人物的活动程度的评价值；记录部(120)，用于在评价值满足第一判定条件的情况下记录动作数据；以及报告部(122)，用于在评价值满足与第一判定条件不同的第二判定条件的情况下对检测到特定动作进行报告。

Description

图像处理系统、图像处理装置、图像处理方法以及图像处理 程序

技术领域

本公开涉及图像处理技术，特别涉及能够判别人物的动作的图像处理技术。

背景技术

存在用于从图像判别人物的动作的图像处理技术。该图像处理技术例如被应用于对高龄者等需要照料的被照料人的动作进行看守的图像处理装置。

关于这样的图像处理装置，在日本特开2012-71004号公报(专利文献1)中，公开了能够进行与每个患者的病情对应的向看护人的通知的安全看护系统。在日本特开2001-307257号公报(专利文献2)中，公开了照料人在接受到被照料人异常、需要照料的状况的报告的情况下能够得知其严重性、紧急性、危险性等的程度的照料支援系统。

现有技术文献

专利文献1：日本特开2012-71004号公报

专利文献2：日本特开2001-307257号公报

发明内容

但是，最好在被照料人发生了跌倒等危险动作的情况下，不仅将该情况报告给照料人，还对在被照料人发生危险动作时的图像(影像)进行记录。此时，要求执行危险动作的记录的灵敏度(以下还称为“记录等级”。)与执行危险动作的报告的灵敏度(以下还称为“报告等级”。)不同。例如，在被报告被照料人趔趄等不至于跌倒的动作时，照料人的负担增加。为了减少这样的负担，抑制不那么危险的动作的报告是重要的。另一方面，为了确定作为跌倒等的原因的危险位置，就算是被照料人趔趄等不至于跌倒的动作也不遗漏地记录是重要的。

专利文献1公开的安全看护系统根据每个患者的病情，设定多个种类的预定动作和多个警报等级的对应关系。该安全看护系统在检测到患者的预定动作的情况下，按照与检测出的预定动作对应起来的警报等级来报告患者进行预定动作。即，该安全看护系统按动作的种类设定警报等级，并非对同一动作设定不同的警报等级。另外，该安全看护系统也并不进行患者的预定动作的记录。

专利文献2公开的照料支援系统具备设定被照料人的预定行动的检测等级的步骤、以及根据检测等级检测被照料人的预定行动并报告给照料人的步骤。照料人能够选择与被照料人的特性对应的报告方法。该照料支援系统并不进行被照料人的预定动作的记录。

本公开是为了解决如上所述的问题而完成的，某一方案中的目的在于，提供一种能够与用途匹配地将针对同一动作的报告和记录都实现的图像处理系统。另一方案中的目的在于，提供一种能够与用途匹配地将针对同一动作的报告和记录都实现的图像处理装置。又一方案中的目的在于，提供一种能够与用途匹配地将针对同一动作的报告和记录都实现的图像处理方法。又一方案中的目的在于，提供一种能够与用途匹配地将针对同一动作的报告和记录都实现的图像处理程序。

根据某一方案，对监视对象的人物的特定动作进行检测的图像处理系统具备：获取部，用于获取表示人物的动作的动作数据；计算部，用于使用动作数据来计算表示人物的活动程度的评价值；记录部，用于在评价值满足第一判定条件的情况下记录动作数据；以及报告部，用于在评价值满足与第一判定条件不同的第二判定条件的情况下对检测到特定动作进行报告。

优选，记录部通过将评价值与第一阈值进行比较，判定是否满足第一判定条件。报告部通过将评价值与和第一阈值不同的第二阈值进行比较，判定是否满足第二判定条件。

优选，第一判定条件中的针对评价值的判定条件数与第二判定条件中的针对评价值的判定条件数不同。

优选，第二判定条件中的针对评价值的判定条件数比第一判定条件中的针对评价值的判定条件数多。

优选，第二判定条件是比第一判定条件更难满足的条件。

根据另一方案，对监视对象的人物的特定动作进行检测的图像处理系统具备：获取部，用于获取表示人物的动作的动作数据；第一计算部，用于使用动作数据来计算表示人物的活动程度的第一评价值；第二计算部，用于使用第一评价值来计算表示人物的活动程度的第二评价值；记录部，用于在第一评价值及第二评价值中的一方满足第一判定条件的情况下记录动作数据；以及报告部，用于在第一评价值及第二评价值中的另一方满足第二判定条件的情况下对检测到特定动作进行报告。

根据又一方案，对监视对象的人物的特定动作进行检测的图像处理装置具备：获取部，用于获取表示人物的动作的动作数据；计算部，用于使用动作数据来计算表示人物的活动程度的评价值；记录部，用于在评价值满足第一判定条件的情况下记录动作数据；以及报告部，用于在评价值满足与第一判定条件不同的第二判定条件的情况下对检测到特定动作进行报告。

根据又一方案，对监视对象的人物的特定动作进行检测的图像处理方法具备：获取表示人物的动作的动作数据的步骤；使用动作数据来计算表示人物的活动程度的评价值的步骤；在评价值满足第一判定条件的情况下记录动作数据的步骤；以及，在评价值满足与第一判定条件不同的第二判定条件的情况下对检测到特定动作进行报告的步骤。

根据又一方案，对监视对象的人物的特定动作进行检测的图像处理程序使计算机执行：获取表示人物的动作的动作数据的步骤；使用动作数据来计算表示人物的活动程度的评价值的步骤；在评价值满足第一判定条件的情况下记录动作数据的步骤；以及，在评价值满足与第一判定条件不同的第二判定条件的情况下对检测到特定动作进行报告的步骤。

在某一方案中，能够与用途匹配地将针对同一动作的报告和记录都实现。

根据与附图关联地理解的与本发明有关的接下来的详细说明，本发明的上述以及其它目的、特征、方案以及优点将更加明确。

附图说明

图1是示出依照第一实施方式的图像处理系统的结构的一个例子的图。

图2是示出依照第一实施方式的图像处理系统的功能结构的一个例子的框图。

图3是示出表示被照料人从起身到跌倒的样子的图像的图。

图4是表示依照第一实施方式的图像处理系统执行的处理的一部分的流程图。

图5是示出依照第一实施方式的图像处理系统的主要的硬件结构的框图。

图6是示出依照第二实施方式的图像处理系统的功能结构的一个例子的框图。

图7是表示依照第二实施方式的图像处理系统执行的处理的一部分的流程图。

(符号说明)

10：被照料人；11：照料人；20：床；32A～32C：图像；33AB、33BC：光流；50：照相机；52：获取部；100：图像处理装置；101、201：ROM；102、202：CPU；103、203：RAM；104、204：网络I/F；105：照相机I/F；106、206：存储装置；107：图像处理程序；110：检测部；112：计算部；112A：第一计算部；112B：第二计算部；114、114A：记录判定部；116、116A：报告判定部；120：记录部；122：报告部；200：便携终端；205：显示器；300：图像处理系统。

具体实施方式

以下，参照附图，说明依照本发明的各实施方式。在以下的说明中，对同一部件以及构成要素附加同一符号。它们的名称以及功能也相同。因此，不重复进行关于它们的详细说明。此外，也可以适当选择性地组合以下说明的各实施方式以及各变形例。

<第一实施方式>

[图像处理系统300的结构]

参照图1，说明图像处理系统300的结构。图1是示出图像处理系统300的结构的一个例子的图。

图像处理系统300例如被用于看守作为监视对象的人物的被照料人10。如图1所示，图像处理系统300包括照相机50、图像处理装置100以及便携终端200。照相机50以及图像处理装置100经由网络相互连接。图像处理装置100以及便携终端200经由网络相互连接。

照相机50例如设置于医疗设施、照料设施、住宅中等。在图1中，示出照相机50从天花板对被照料人10以及床20进行拍摄的样子。照相机50既可以安装于天花板，也可以安装于侧壁。图像处理装置100根据从照相机50得到的时间序列的图像(影像)，判别被照料人10的动作。作为一个例子，图像处理装置100可判别的被照料人10的动作包括跌倒、从床20滚下、起床以及卧床中的至少一个。

图像处理装置100在检测到报告对象的动作时，记录拍有该动作的图像(影像)，并且将表示该动作的种类的信息发送到便携终端200。在动作的记录中，为了能够确定易发生跌倒等的危险位置，就算是趔趄动作等也不遗漏地记录是重要的。另一方面，在动作的报告中，如果频繁地进行报告，则增加照料人的负担。例如，在被照料人趔趄等被照料人未跌倒的情况下，将该情况报告给照料人会增加照料人的负担。因此，优选对被照料人的对象动作进行记录的灵敏度(即记录等级)与对被照料人的对象动作进行报告的灵敏度(即报告等级)不同。

因此，在本实施方式的图像处理系统300中，单独地设定记录等级和报告等级。由此，图像处理系统300能够与用途匹配地将关于同一动作的记录和报告都实现。

便携终端200在从图像处理装置100接收到表示报告对象的动作的种类的信息时，向照料人11报告该信息。作为报告方法的一个例子，便携终端200将表示动作的种类的信息作为消息显示、或作为声音输出。由此，在图像处理装置100检测到被照料人10的跌倒等动作的情况下，照料人11能够快速赶到被照料人10身旁。

此外，在图1中，示出图像处理系统300具备一个照相机50的例子，但图像处理系统300也可以具备多个照相机50。另外，在图1中，示出图像处理系统300具备一个图像处理装置100的例子，但图像处理系统300也可以具备多个图像处理装置100。此外，在图1中，照相机50和图像处理装置100构成为独立装置，但照相机50和图像处理装置100也可以一体地构成。此外，在图1中，示出图像处理系统300具备多个便携终端200的例子，但图像处理系统300也可以由一个便携终端200构成。

[图像处理系统300的处理]

参照图2，说明图像处理系统300执行的处理。图2是示出图像处理系统300的功能结构的一个例子的框图。如图2所示，图像处理系统300具备获取部52、检测部110、记录部120以及报告部122。检测部110包括计算部112、记录判定部114以及报告判定部116。以下，依次说明它们的结构。

(获取部52)

获取部52获取表示被照料人的动作的动作数据。获取部52例如是网络照相机。获取部52获取对监视对象的人物进行拍摄而得到的图像来作为动作数据。图像既可以是静止图像，也可以是动态图像。获取部52保持过去几秒量的图像，依次输出到检测部110。

此外，获取部52只要是能够获取表示被照料人的动作量在时间上的变化的动作数据的装置，则不限定于照相机。例如，获取部52也可以是配置于床下的感压垫、TOF(Time OfFlight，飞行时间)形式的距离图像传感器、加速度传感器、微波传感器等。感压垫输出压力值作为动作数据。距离图像传感器输出距离图像作为动作数据。加速度传感器输出加速度作为动作数据。微波传感器输出离被照料人的距离来作为动作数据。获取部52不是必须由一个传感器构成，也可以由多个传感器构成。

(计算部112)

计算部112使用动作数据来计算表示被照料人的活动程度的评价值。评价值既可以用一次元的值表示，也可以用多次元的值表示。作为一个例子，计算部112对时间序列的图像间的光流进行计算，将光流的最大值、光流的发生范围的大小作为评价值。作为光流，用向量表示被照料人的活动。后面叙述使用光流的评价值的计算方法的详细内容。计算部112向记录判定部114以及报告判定部116输出计算出的评价值。

此外，也可以通过其它方法计算评价值。在某一方案中，计算部112对时间序列的图像进行差分运算来生成差分图像。计算部112计算在差分图像内具有预定值以上的像素值的范围的大小，将该范围的大小作为评价值。在另一方案中，计算部112在图像内确定头、胳膊、腿等人体部位的位置的基础上，根据各部位的位置推测被照料人的姿势。计算部112将推测出的姿势与被照料人的预定动作的类似度计算为评价值。

(记录判定部114)

记录判定部114根据由计算部112计算出的评价值，判定是否对在动作判定处理中使用的图像进行记录。后面叙述记录判定部114的详细内容。记录判定部114在判定为对图像进行记录的情况下，将用于对图像进行记录的命令输出到记录部120。

(报告判定部116)

报告判定部116根据由计算部112计算出的评价值，判定是否检测到被照料人的预定动作(以下还称为“对象动作”)。后面叙述报告判定部116的详细内容。报告判定部116在判定为检测到对象动作的情况下，将用于报告检测到该对象动作的命令输出到报告部122。

(记录部120)

记录部120在从记录判定部114接受到记录命令的情况下，从获取部52获取拍有记录对象的动作的过去一定时间的图像，记录该图像。

在某一方案中，记录部120构成为经由网络与网络照相机连接的服务器。该服务器根据从记录判定部114受理到记录命令来与网络照相机进行通信，并且获取从检测到对象动作的几秒前起至检测到对象动作为止的图像，存储该图像。

在另一方案中，记录部120构成为与网络照相机直接连接的HDD(Hard DiskDrive，硬盘驱动器)。HDD根据从记录判定部114受理到记录命令，存储从检测到对象动作的几秒前起至检测到对象动作为止的图像。记录部120每隔一定时间就将在HDD中记录的图像发送到服务器。

此外，图像的记录方法不限定于上述例子。只要照料人能够确认根据怎样的动作数据检测到了对象动作，则图像的记录方法任意。

(报告部122)

报告部122在从报告判定部116接受到报告命令的情况下，向照料人报告检测到对象动作。报告部122例如作为应用被组装到照料人的便携终端。该应用用于向照料人报告对象动作，预先安装于照料人的便携终端。该应用在从报告判定部116接受到报告命令的情况下，通过自身设定的方式(例如通知声、振子等)来报告检测到对象动作，并且在便携终端的画面上显示检测结果。

此外，报告方法不限定于上述方法。只要是能够识别检测到照料人的对象动作的方法，则报告方法任意。例如，报告部122既可以构成为发出报警声的扬声器，也可以构成为通过亮灯来报告被照料人的动作的灯。

[具体例]

参照图3，更详细地说明图2所示的计算部112、记录判定部114以及报告判定部116。图3是示出表示被照料人10从起身到跌倒的样子的图像32A～32C的图。更具体而言，在图像32A中，示出被照料人10坐在床20的样子。在图像32B中，示出被照料人10正要从床20起身的样子。在图像32C中，示出被照料人10跌倒的样子。

计算部112根据时间上连续的图像32A、32B，计算光流。作为光流，通过向量表示图像中的物体的活动。在图像32B中，示出根据时间上连续的图像32A、32B计算出的光流33AB。在图像32C中，示出根据时间上连续的图像32B、32C计算出的光流33BC。

在被照料人跌倒的情况下，产生比通常时(步行时等)快的动作。因此，光流33BC大于光流33AB。另外，被照料人在跌倒时，从接近直立的状态成为倒到地上的状态，所以与通常时相比在更宽的范围发生光流。因此，光流33BC的发生范围大于光流33AB的发生范围。记录判定部114以及报告判定部116着眼于被照料人10跌倒时和通常时的光流的差异，来检测被照料人的跌倒。

此外，以下，作为检测对象的动作以被照料人10的跌倒为例来进行说明，但检测对象的动作不限定于跌倒。除此以外，检测对象的动作还包括就寝中从床20滚下的动作、由于疼痛等原因而在床20上挣扎的动作、被照料人10发生危险的其它动作。

(具体例1-1)

计算部112根据时间序列的图像计算光流，根据该光流来计算表示被照料人跌倒的可能性的评价值。作为一个例子，该评价值包括光流的最大值、光流的发生范围的大小。光流的最大值表示被照料人的活动的大小。光流的发生范围的大小表示在图像内被照料人发生活动的范围。

以下，将动态图像的第i个图像(帧)中的光流的最大值还称为最大值Vi，将动态图像的第i个图像(帧)中的光流的发生范围的大小还称为发生范围Si。

在评价值满足第一判定条件(以下还称为“记录条件”。)的情况下，记录判定部114判定为被照料人跌倒，记录动作数据。作为一个例子，记录判定部114通过如以下的式(1)所示将评价值与阈值Tha进行比较，判定是否满足记录条件。更具体而言，在最大值Vi大于阈值Tha的情况下，满足记录条件。

Vi>Tha…(1)

报告判定部116在评价值满足第二判定条件(以下还称为“报告条件”。)的情况下，判定为被照料人跌倒，报告检测到被照料人的跌倒。作为一个例子，报告判定部116通过如以下的式(2)所示将光流的最大值Vi与阈值Thb进行比较，判定是否满足报告条件。更具体而言，在最大值Vi大于阈值Thb的情况下，满足报告条件。

Vi>Thb…(2)

(具体例1-2)

在具体例1-1中，说明作为用于检测被照料人的跌倒的指标而使用光流的最大值Vi的例子。相对于此，在具体例1-2中，说明作为该指标而使用光流的发生范围Si的例子。

记录判定部114通过将发生范围Si与阈值Thp进行比较，判定是否满足记录条件。在具体例1-2中，如以下的式(3)所示，在发生范围Si大于阈值Thp的情况下，满足记录条件。

Si>Thp…(3)

报告判定部116通过将发生范围Si与阈值Thq进行比较，判定是否满足报告条件。在具体例1-2中，如以下的式(4)所示，在发生范围Si大于阈值Thq的情况下，满足报告条件。

Si>Thq…(4)

(具体例1-1、1-2的效果)

这样，通过针对同一评价值设定不同的判定条件，能够使对被照料人的对象动作进行记录的记录等级与对被照料人的对象动作进行报告的报告等级不同。

优选，报告条件是比记录条件更难满足的条件。作为一个例子，图像处理系统300通过将上述阈值Thb(参照式(2))设定得大于上述阈值Tha(参照式(1))，使报告条件比记录条件更严。或者，图像处理系统300通过将上述阈值Thq(参照式(4))设定得大于上述阈值Thp(参照式(3))，使报告条件比记录条件更严。

由此，图像处理系统300能够记录被照料人趔趄等不至于跌倒的动作，并且能够向照料人仅报告需要赶到被照料人身旁的动作。其结果，图像处理系统300能够不遗漏地记录用于确定易发生跌倒等的危险位置的信息，进而能够减少照料人的负担。

(具体例2-1)

在具体例1-1、1-2中，图像处理系统300通过用不同的阈值比较同一评价值，使记录等级以及报告等级不同。相对于此，在具体例2-1中，图像处理系统300通过使判定条件数不同，使记录等级以及报告等级不同。即，在具体例2-1中，记录条件中的针对评价值的判定条件数与报告条件中的针对评价值的判定条件数相互不同。

更具体而言，记录判定部114通过将光流的最大值Vi与阈值Thv进行比较，判定是否满足记录条件。例如，如以下的式(5)所示，在最大值Vi大于阈值Thv的情况下，满足记录条件。

Vi>Thv…(5)

报告判定部116通过如以下的式(6)、(7)所示将光流的最大值Vi与阈值Thv进行比较、以及将光流的发生范围Si与阈值Ths进行比较，判定是否满足报告条件。更具体而言，如以下的式(6)、(7)所示，在最大值Vi大于阈值Thv、且发生范围Si大于阈值Ths的情况下，满足报告条件。

Vi>Thv…(6)

Si>Ths…(7)

这样，图像处理系统300通过使判定条件数不同，能够使对被照料人的对象动作进行记录的记录等级与对被照料人的对象动作进行报告的报告等级不同。

(具体例2-2)

记录条件中的判定条件数和报告条件中的判定条件数不限定于具体例2-1的例子。这些判定条件数任意。以下，作为具体例2-2，说明这些判定条件数不同的其它例。

记录判定部114通过将光流的最大值Vi与阈值Thv进行比较，判定是否满足记录条件。更具体而言，如以下的式(8)所示，在最大值Vi大于阈值Thv的情况下，满足记录条件。

Vi>Thv…(8)

报告判定部116通过将过去N帧中的光流的最大值Vi与阈值Thv进行比较，判定是否满足报告条件。作为一个例子，如以下的式(9)所示，在过去N帧中的最大值Vi全部超过阈值Thv的情况下，满足报告条件。

[式1]

(具体例2-1、2-2的效果)

这样，图像处理系统300通过使记录条件中的判定条件数和报告条件中的判定条件数不同，能够使对被照料人的对象动作进行记录的记录等级与对被照料人的对象动作进行报告的报告等级不同。

优选，报告条件中的针对评价值的判定条件数被设定为比记录条件中的针对评价值的判定条件数多。由此，报告条件比记录条件更难满足。其结果，图像处理系统300能够记录被照料人趔趄等不至于跌倒的动作，并且能够向照料人仅报告需要赶到被照料人身旁的动作。

[图像处理系统300的控制构造]

参照图4，说明图像处理系统300的控制构造。图4是表示图像处理系统300执行的处理的一部分的流程图。图4所示的各处理通过图像处理装置100的CPU(CentralProcessing Unit，中央处理单元)102(参照图5)、便携终端200的CPU202(参照图5)执行依照本实施方式的图像处理程序而实现。以下，说明CPU102执行图4所示的各处理的例子，但各处理也可以通过CPU202执行。或者，CPU102、202也可以协作而执行各处理。在另一方案中，处理的一部分或者全部也可以通过电路元件和其它的硬件执行。

在步骤S10中，CPU102从获取部52(参照图2)获取动作数据。作为一个例子，获取部52是照相机50(参照图1)，动作数据是图像。

在步骤S12中，CPU102作为上述计算部112(参照图2)，使用动作数据来计算表示人物的活动程度的评价值。作为一个例子，该评价值包括根据时间序列的图像计算的光流的最大值、发生该光流的范围等。

在步骤S20中，CPU102作为上述记录判定部114(参照图2)，判定计算出的评价值是否满足记录条件。例如，在评价值超过阈值的情况下，CPU102判定为满足记录条件。CPU102在判定为评价值满足记录条件的情况下(在步骤S20中“是”)，将控制切换到步骤S22。否则(在步骤S20中“否”)，CPU102将控制切换到步骤S30。

在步骤S22中，CPU102作为上述记录部120(参照图2)，记录动作数据。记录的动作数据例如是从检测到对象动作的几秒前起至检测到对象动作为止的图像。

在步骤S30中，CPU102作为上述报告判定部116(参照图2)，判定计算出的评价值是否满足报告条件。例如，在评价值超过阈值的情况下，CPU102判定为满足报告条件。CPU102在判定为评价值满足报告条件的情况下(在步骤S30中“是”)，将控制切换到步骤S32。否则(在步骤S30中“否”)，CPU102结束依照本实施方式的图像处理。

在步骤S32中，CPU102作为上述报告部122(参照图2)，向照料人报告检测到被照料人的对象动作。

[图像处理系统300的硬件结构]

参照图5，说明图像处理系统300的硬件结构的一个例子。图5是示出图像处理系统300的主要的硬件结构的框图。如图5所示，图像处理系统300包括图像处理装置100和便携终端200。图像处理装置100以及便携终端200经由网络相互连接。以下，依次说明图像处理装置100的硬件结构和便携终端200的硬件结构。

(图像处理装置100的硬件结构)

如图5所示，图像处理装置100包括ROM(Read Only Memory，只读存储器)101、CPU102、RAM(Random Access Memory，随机存取存储器)103、网络I/F(接口)104、照相机I/F105以及存储装置106。

ROM101储存操作系统、依照本实施方式的图像处理程序107等。CPU102通过执行操作系统、图像处理程序107等各种程序，控制图像处理装置100的动作。RAM103作为工作存储器发挥功能，临时地储存图像处理程序107的执行所需的各种数据。

对网络I/F104连接天线、NIC(Network Interface Card，网络接口卡)等通信设备。图像处理装置100经由该通信设备在与其它通信终端之间发送接收数据。其它通信终端例如包括便携终端200、其它终端等。图像处理装置100也可以构成为能够经由网络下载图像处理程序107。

照相机I/F105是用于将照相机50以有线或者无线方式与图像处理装置100连接的接口。图像处理装置100经由照相机I/F105从照相机50获取图像。照相机50例如是网络照相机或者能够对被摄体进行拍摄的其它摄像装置。照相机50既可以与图像处理装置100一体地构成，也可以如图5所示与图像处理装置100独立地构成。

存储装置106例如是硬盘、外装的存储装置等存储介质。作为一个例子，存储装置106储存用于实现依照本实施方式的各种处理的图像处理程序107、拍有被照料人的检测对象的动作的图像等。

此外，图像处理程序107也可以不作为单体的程序，而是被组装到任意程序的一部分来提供。在该情况下，与任意程序协作地实现依照本实施方式的处理。这样的不包括一部分的模块的程序仍不脱离依照本实施方式的图像处理装置100的要旨。进而，由依照本实施方式的图像处理程序107提供的功能的一部分或者全部也可以通过专用的硬件实现。进而，也可以通过至少一个服务器实现依照本实施方式的处理的所谓云服务那样的方式构成图像处理装置100。

(便携终端200的硬件结构)

接着，参照图5，说明便携终端200的硬件结构。便携终端200例如是智能手机、平板终端、被照料人可携带的其它终端。如图5所示，便携终端200包括ROM201、CPU202、RAM203、网络I/F204、显示器205以及存储装置206。

ROM201存储操作系统、由便携终端200执行的控制程序等。CPU202通过执行操作系统、便携终端200的控制程序等各种程序，控制便携终端200的动作。RAM203作为工作存储器发挥功能，临时地储存程序的执行所需的各种数据。

对网络I/F204连接天线、NIC(Network Interface Card)等通信设备。便携终端200经由该通信设备在与其它通信终端之间发送接收数据。其它通信终端例如包括图像处理装置100、其它终端等。

显示器205例如是液晶显示器、有机EL(Electro Luminescence，电致发光)显示器或者其它显示设备等。显示器205也可以构成为触摸面板。在检测到被照料人的报告对象的动作的情况下，显示器205显示检测到该动作。作为报告方法，显示器205例如将被照料人的动作的种类作为消息显示、显示提醒警告的图像。

存储装置206例如包括eMMC(Embedded MultiMediaCard，嵌入式多媒体卡)等存储介质。eMMC包括NAND闪存存储器和控制电路。存储装置206储存用于实现依照本实施方式的各种处理的程序等。

[小结]

如以上所述，依照本实施方式的图像处理系统300针对表示被照料人的活动的同一评价值设定不同的判定条件(即记录条件以及报告条件)。由此，图像处理系统300能够使对被照料人的对象动作进行记录的记录等级与对被照料人的对象动作进行报告的报告等级不同。其结果，被照料人能够与用途匹配地改变记录等级和报告等级。

另外，通过在判定是否记录对象动作的记录判定和判定是否报告对象动作的报告判定中使用同一评价值，能够简化记录判定处理和报告判定处理的安装。由此，能够降低图像处理系统300的成本。

进而，报告条件是比记录条件更难满足的条件。因此，图像处理系统300能够记录被照料人趔趄等不至于跌倒的动作，并且能够向照料人仅报告需要赶到被照料人身旁的动作。由此，图像处理系统300能够不遗漏地记录用于确定易发生跌倒等的危险位置的信息，进而能够减少照料人的负担。

<第二实施方式>

[概要]

依照第一实施方式的图像处理系统300通过针对表示被照料人的活动程度的同一评价值设定不同的判定条件(即记录条件以及报告条件)，使对象动作的记录等级和对象动作的报告等级不同。相对于此，依照第二实施方式的图像处理系统300根据表示被照料人的活动程度的评价值，计算新的评价值作为记录用评价值或者报告用评价值。图像处理系统300通过以原有的评价值和新的评价值为基准，使记录等级以及报告等级不同。

[功能结构]

参照图6，说明依照第二实施方式的图像处理系统300的处理。图6是示出依照第二实施方式的图像处理系统300的功能结构的一个例子的框图。如图6所示，图像处理系统300具备获取部52、检测部110、记录部120以及报告部122。检测部110包括第一计算部112A、第二计算部112B、记录判定部114A以及报告判定部116A。获取部52、记录部120以及报告部122与在图2中所说明的相同，所以不重复进行这些功能结构的说明。

第一计算部112A从获取部52获取动作数据，使用该动作数据计算表示被照料人的活动程度的第一评价值(以下还称为“记录用评价值”。)。后面叙述记录用评价值的详细内容。第一计算部112A向第二计算部112B以及记录判定部114A输出记录用评价值。

第二计算部112B使用记录用评价值来计算表示被照料人的活动程度的第二评价值(以下还称为“报告用评价值”。)。后面叙述报告用评价值的详细内容。第二计算部112B向报告判定部116A输出报告用评价值。

记录判定部114A根据记录用评价值，判定是否对在动作判定处理中使用的图像进行记录。后面叙述记录判定部114A的详细内容。记录判定部114A在判定为对图像进行记录的情况下，将用于对图像进行记录的命令输出到记录部120。

报告判定部116A根据报告用评价值，判定是否检测到被照料人的特定动作。后面叙述报告判定部116A的详细内容。报告判定部116A在判定为检测到特定动作的情况下，将用于报告检测到该特定动作的命令输出到报告部122。

此外，在图6中，说明了根据记录用评价值计算报告用评价值的例子，但也可以根据报告用评价值计算记录用评价值。即，也可以根据记录用评价值以及报告用评价值中的至少一方来计算新的评价值。

[具体例]

以下，更详细地说明图6所示的第一计算部112A、第二计算部112B、记录判定部114A以及报告判定部116A。

(具体例3-1)

在具体例3-1中，图像处理系统300计算记录用评价值和报告用评价值，将记录用评价值以及报告用评价值作为基准，从而使针对报告对象的动作的记录等级以及报告等级不同。

更具体而言，第一计算部112A使用动作数据来计算表示被照料人的活动程度的记录用评价值。作为一个例子，第一计算部112A将根据时间序列的图像计算出的光流的发生范围Si作为记录用评价值。

第二计算部112B使用计算出的记录用评价值来计算报告用评价值。第二计算部112B将过去N帧中的光流的发生范围Si的平均值计算为报告用评价值。

记录判定部114A判定记录用评价值是否满足记录条件，在满足该记录条件的情况下，对在被照料人的动作判定中使用的动作数据进行记录。作为一个例子，记录判定部114A通过将发生范围Si与阈值Ths进行比较，判定是否满足记录条件。例如，如以下的式(10)所示，在发生范围Si大于阈值Ths的情况下，满足记录条件。

Si>Ths…(10)

报告判定部116A使用作为记录用评价值的发生范围Si来计算报告用评价值。作为一个例子，如以下的式(11)所示，报告判定部116A将过去N帧中的发生范围Si的平均值计算为报告用评价值。报告判定部116A通过将报告用评价值与阈值Ths进行比较，判定是否满足报告条件。例如，如以下的式(12)所示，在报告用评价值超过阈值Ths的情况下，满足报告条件。

[式2]

[式3]

(具体例3-2)

说明根据记录用评价值以及报告用评价值而使针对报告对象的动作的记录等级以及报告等级不同的其它具体例。

记录判定部114A通过将光流的发生范围Si与阈值Ths进行比较，判定是否满足记录条件。更具体而言，如以下的式(13)所示，在发生范围Si大于阈值Ths的情况下，满足记录条件。

Si>Ths…(13)

如以下的式(14)所示，报告判定部116A将把作为记录用评价值的发生范围Si与光流的最大值Vi相乘而得到的结果计算为报告用评价值P。之后，报告判定部116A通过将报告用评价值P与阈值Thp进行比较，判定是否满足报告条件。作为一个例子，如以下的式(15)所示，在报告用评价值P大于阈值Thp的情况下，满足报告条件。

P＝Si·Vi…(14)

P>Thp…(15)

[图像处理系统300的控制构造]

参照图7，说明依照第二实施方式的图像处理系统300的控制构造。图7是表示依照第二实施方式的图像处理系统300执行的处理的一部分的流程图。图7所示的各处理通过图像处理装置100的CPU102(参照图5)、便携终端200的CPU202(参照图5)执行依照本实施方式的图像处理程序而实现。以下，说明CPU102执行图7所示的各处理的例子，但各处理也可以通过CPU202执行。或者，CPU102、202也可以协作而执行各处理。在另一方案中，处理的一部分或者全部也可以通过电路元件和其它的硬件执行。

在步骤S10中，CPU102从获取部52(参照图6)获取动作数据。作为一个例子，获取部52是照相机50(参照图1)，动作数据是图像。

在步骤S12A中，CPU102作为上述第一计算部112A(参照图6)，使用动作数据来计算表示人物的活动程度的记录用评价值。作为一个例子，记录用评价值包括光流的最大值、发生光流的范围等。

在步骤S12B中，CPU102作为上述第二计算部112B(参照图6)，使用记录用评价值来计算表示人物的活动程度的报告用评价值。作为一个例子，报告用评价值包括将光流的最大值与光流的发生范围的大小相乘而得到的结果等。

在步骤S20A中，CPU102作为上述记录判定部114A(参照图6)，判定记录用评价值是否满足记录条件。例如，在记录用评价值超过预定阈值的情况下，CPU102判定为满足记录条件。CPU102在判定为记录用评价值满足记录条件的情况下(在步骤S20A中“是”)，将控制切换到步骤S22。否则(在步骤S20A中“否”)，CPU102将控制切换到步骤S30A。

在步骤S22中，CPU102作为上述记录部120(参照图6)，记录动作数据。记录的动作数据例如是从检测到对象动作的几秒前起至检测到对象动作为止的图像。

在步骤S30A中，CPU102作为上述报告判定部116A(参照图6)，判定报告用评价值是否满足报告条件。例如，在报告用评价值超过预定阈值的情况下，CPU102判定为满足报告条件。CPU102在判定为报告用评价值满足报告条件的情况下(在步骤S30A中“是”)，将控制切换到步骤S32。否则(在步骤S30A中“否”)，CPU102结束依照本实施方式的图像处理。

在步骤S32中，CPU102作为上述报告部122(参照图6)，向照料人报告检测到对象动作。

[小结]

如以上那样，依照本实施方式的图像处理系统300通过将表示被照料人的活动程度的评价值和根据该评价值计算出的新的评价值作为基准，使针对被照料人的对象动作的记录等级以及报告等级不同。由此，图像处理系统300能够根据用途使对被照料人的对象动作进行记录的记录等级与对被照料人的对象动作进行报告的报告等级不同。

优选，在相同判定条件下判定记录用评价值和报告用评价值。即，记录条件和报告条件相同。例如，如上述式(10)、(12)所示，图像处理系统300通过用共同的阈值Ths比较记录用评价值和报告用评价值，在相同判定条件下判定记录用评价值和报告用评价值。由此，图像处理系统300能够简化记录条件和报告条件的设定。

<第三实施方式>

在上述中，说明了获取部52(参照图2)构成为网络照相机的例子，但获取部52也可以由多个传感器构成。例如，获取部52由网络照相机和感压传感器构成。依照第三实施方式的图像处理系统300将根据由网络照相机输出的动态图像计算出的评价值和根据由感压传感器输出的压力分布计算出的评价值一起使用，进行记录判定以及报告判定。以下，说明将这些评价值一起使用的情况的具体例。

[具体例]

(具体例4-1)

第一计算部112A(参照图6)根据由网络照相机输出的动态图像，计算表示被照料人的活动程度的评价值。在该评价值满足记录条件的情况下，记录判定部114A(参照图6)判定为被照料人发生对象动作。在该情况下，记录部120(参照图6)存储在动作判定处理中使用的动态图像。

第二计算部112B(参照图6)根据由感压传感器输出的压力分布，计算表示被照料人的活动程度的评价值。作为一个例子，该评价值包括压力分布中的压力的最大值、产生预定值以上的压力值的部分的范围的大小。在该评价值满足报告条件的情况下，报告判定部116A(参照图6)判定为被照料人发生对象动作。例如，在该评价值超过预定阈值的情况下，报告判定部116A判定为满足报告条件。在该情况下，报告部122(参照图6)向照料人报告检测到被照料人的对象动作。

(具体例4-2)

在根据动态图像计算出的评价值和根据压力分布计算出的评价值中的某一方超过预定阈值的情况下，记录判定部114A判定为被照料人发生对象动作。在该情况下，记录部120存储在动作判定处理中使用的动态图像。

在根据动态图像计算出的评价值和根据压力分布计算出的评价值这两方超过预定阈值的情况下，报告判定部116A判定为被照料人发生对象动作。在该情况下，报告部122向照料人报告检测到被照料人的对象动作。

(具体例4-3)

记录判定部114A利用根据动态图像计算出的评价值和根据压力分布计算出的评价值，使用进行机械学习以减少未检测到被照料人的动作的识别器，来进行记录判定。

报告判定部116A利用根据动态图像计算出的评价值和根据压力分布计算出的评价值，使用进行机械学习以减少被照料人的动作的误检测的识别器，来进行报告判定。

[小结]

如以上所述，依照本实施方式的图像处理系统300不仅使用图像，还使用来自感压传感器的压力分布来进行记录判定以及报告判定。由此，图像处理系统300能够更准确地判定被照料人的动作。

本次公开的实施方式应被认为在所有方面都是示例性的而并非限制性的。本发明的范围并非上述说明而由权利要求示出，意图包括与权利要求书均等的意义以及范围内的所有变更。

Claims (9)

1.一种图像处理系统，对监视对象的人物的特定动作进行检测，所述图像处理系统具备：

获取部，用于获取表示所述人物的动作的动作数据；

计算部，用于使用所述动作数据来计算表示所述人物的活动程度的评价值；

记录部，用于在所述评价值满足第一判定条件的情况下记录所述动作数据；以及

报告部，用于在所述评价值满足与所述第一判定条件不同的第二判定条件的情况下对检测到所述特定动作进行报告。

2.根据权利要求1所述的图像处理系统，其中，

所述记录部通过将所述评价值与第一阈值进行比较，判定是否满足所述第一判定条件，

所述报告部通过将所述评价值与和所述第一阈值不同的第二阈值进行比较，判定是否满足所述第二判定条件。

3.根据权利要求1或者2所述的图像处理系统，其中，

所述第一判定条件中的针对所述评价值的判定条件数与所述第二判定条件中的针对所述评价值的判定条件数不同。

4.根据权利要求3所述的图像处理系统，其中，

所述第二判定条件中的针对所述评价值的判定条件数比所述第一判定条件中的针对所述评价值的判定条件数多。

5.根据权利要求1～4中的任意一项所述的图像处理系统，其中，

所述第二判定条件是比所述第一判定条件更难满足的条件。

6.一种图像处理系统，对监视对象的人物的特定动作进行检测，所述图像处理系统具备：

获取部，用于获取表示所述人物的动作的动作数据；

第一计算部，用于使用所述动作数据来计算表示所述人物的活动程度的第一评价值；

第二计算部，用于使用所述第一评价值来计算表示所述人物的活动程度的第二评价值；

记录部，用于在所述第一评价值及所述第二评价值中的一方满足第一判定条件的情况下记录所述动作数据；以及

报告部，用于在所述第一评价值及所述第二评价值中的另一方满足第二判定条件的情况下对检测到所述特定动作进行报告。

7.一种图像处理装置，对监视对象的人物的特定动作进行检测，所述图像处理装置具备：

获取部，用于获取表示所述人物的动作的动作数据；

计算部，用于使用所述动作数据来计算表示所述人物的活动程度的评价值；

记录部，用于在所述评价值满足第一判定条件的情况下记录所述动作数据；以及

报告部，用于在所述评价值满足与所述第一判定条件不同的第二判定条件的情况下对检测到所述特定动作进行报告。

8.一种图像处理方法，对监视对象的人物的特定动作进行检测，所述图像处理方法具备：

获取表示所述人物的动作的动作数据的步骤；

使用所述动作数据来计算表示所述人物的活动程度的评价值的步骤；

在所述评价值满足第一判定条件的情况下记录所述动作数据的步骤；以及

在所述评价值满足与所述第一判定条件不同的第二判定条件的情况下对检测到所述特定动作进行报告的步骤。

9.一种图像处理程序，对监视对象的人物的特定动作进行检测，其中，

所述图像处理程序使计算机执行：

获取表示所述人物的动作的动作数据的步骤；

使用所述动作数据来计算表示所述人物的活动程度的评价值的步骤；

在所述评价值满足第一判定条件的情况下记录所述动作数据的步骤；以及

在所述评价值满足与所述第一判定条件不同的第二判定条件的情况下对检测到所述特定动作进行报告的步骤。