CN115552466A - 洗手识别系统以及洗手识别方法 - Google Patents

Abstract

本发明提供精度良好地判定是否适当地使用洗涤剂进行了洗手的方法。洗手识别系统具备：拍摄部、手区域提取部、洗涤剂泡沫区域检测部以及判定部。手区域提取部从由拍摄部拍摄到的图像提取与利用者的手对应的手区域。洗涤剂泡沫区域检测部在手区域中检测具有预先指定的颜色成分的洗涤剂泡沫区域。判定部基于洗涤剂泡沫区域相对于手区域的比例来判定利用者的洗手动作是否满足规定的条件。

Description

洗手识别系统以及洗手识别方法

技术领域

本发明涉及识别人的洗手动作的系统、方法以及程序。

背景技术

从世界性的病毒的流行或者食物中毒的防止等观点来看，卫生管理行动之一的“洗手”受到关注。例如，厚生劳动省展示了卫生的洗手方法。另外，HACCP(Hazard Analysisand Critical Control Point：危害分析和关键控制点)对食品等相关企业要求卫生管理行动的检查、监视以及记录。

在这样的状况下，提出包含下述的步骤的洗手监视方法。图像获取步骤获取通过设置于洗手用水槽的拍摄单元拍摄到的洗手图像。手区域提取步骤从获取的洗手图像提取手区域来生成帧图像。洗手开始判定步骤根据帧图像来判定是否开始了洗手。洗法识别步骤通过从帧图像提取手区域的形状，来识别执行的洗法的种类。摩擦判定步骤在识别出的洗法为规定的顺序的洗法的情况下，通过对该洗法加上秒数来判定有关该洗法的摩擦状态的优劣。洗手结束判定步骤根据帧图像判定洗手的结束。(例如，专利文献1)

除此之外，在专利文献2中记载了能够根据用户进行洗手的状况促使用户进行适当的洗手动作的方法。在专利文献3中记载了使作业者以正确的动作洗手完成作业的方法。

专利文献1：日本特开2017－134712号公报

专利文献2：日本特开2013－180046号公报

专利文献3：日本特开2019－219554号公报

在洗手时，大多使用洗涤剂(包含肥皂、药品)。然而，在以往的技术中，未进行有关是否适当地使用洗涤剂的判定。

发明内容

本发明的一个侧面所涉及的目的在于提供精度良好地判定是否适当地使用洗涤剂进行了洗手的方法。

本发明的一个方式所涉及的洗手识别系统具备：拍摄部；手区域提取部，从由上述拍摄部拍摄到的图像提取与利用者的手对应的手区域；洗涤剂泡沫区域检测部，在上述手区域中检测具有预先指定的颜色成分的洗涤剂泡沫区域；以及判定部，基于上述洗涤剂泡沫区域相对于上述手区域的比例来判定上述利用者的洗手动作是否满足规定的条件。

根据上述的方式，能够精度良好地判定是否适当地使用洗涤剂进行了洗手。

附图说明

图1是表示本发明的实施方式所涉及的洗手识别系统的一个例子的图。

图2是表示洗手动作的一个例子的图。

图3是表示洗手识别系统的判定方法的一个例子的图。

图4是表示洗手识别系统的处理的一个例子的流程图。

图5是表示判定洗涤剂泡沫的处理的一个例子的流程图。

图6是表示洗手识别系统的动作的一个例子的图。

图7是表示用于泡沫量判定的阈值的一个例子的图。

图8是表示用于泡沫量判定的阈值的其它例子的图。

图9是表示用于泡沫量判定的阈值的又一例子的图。

具体实施方式

图1示出本发明的实施方式所涉及的洗手识别系统的一个例子。如图1所示，本发明的实施方式所涉及的洗手识别系统100具备：拍摄装置10、手区域提取部21、洗涤剂泡沫区域检测部22、姿势检测部23、活动检测部24、判定部25、存储装置30以及显示装置40。此外，洗手识别系统100也可以具备在图1未示出的其它功能或者设备。

洗手识别系统100识别人的洗手动作，并判定是否正确地进行洗手动作。此处，洗手识别系统100监视的洗手动作包含预先决定的多个动作步骤。具体而言，虽然并未特别限定，但洗手动作包含图2所示的动作步骤1～6。此外，动作步骤1～6如下述那样。

步骤1：用流水淋湿手掌之后，涂抹洗涤剂并摩擦手掌。

步骤2：用一只手掌搓擦另一个手背。

步骤3：清洗指尖与指甲之间。

步骤4：清洗手指与手指之间。

步骤5：一边扭转大拇指及其根部一边清洗。

步骤6：清洗手腕。

拍摄装置10例如是数码相机，通过拍摄获取彩色图像。此处，拍摄装置10以规定的时间间隔(例如，30帧/秒)获取图像。由此，拍摄装置10实际上能够获取动态图像。另外，拍摄装置10例如设置在人洗手的水槽的上方。而且，拍摄装置10拍摄人洗手的动作。此外，在以下的记载中，有时将被拍摄装置10拍摄洗手动作的人称为“利用者”。利用者虽然没有特别限定，但例如是食品等相关企业的作业者。

手区域提取部21从由拍摄装置10拍摄到的图像提取与利用者的手对应的手区域。从输入图像提取手区域的方法并未特别限定，通过公知的技术实现。例如，手区域提取部21也可以利用学习完毕的语义分割从输入图像提取包含泡沫的洗手时的手区域。

洗涤剂泡沫区域检测部22在由手区域提取部21提取的手区域中检测预先指定的颜色成分。此处，洗涤剂泡沫区域检测部22例如检测预先指定的与洗涤剂对应的颜色成分。该情况下，能够估计为检测到该颜色成分的区域相当于附着于利用者的手的洗涤剂泡沫。因此，洗涤剂泡沫区域检测部22能够检测附着于利用者的手的洗涤剂泡沫。此外，在以下的记载中，有时将手区域内具有预先指定的颜色成分的区域称为“洗涤剂泡沫区域”。另外，在以下的记载中，洗涤剂包含肥皂以及药品。

在许多情况下，洗涤剂泡沫的颜色为接近白色的灰色。因而，洗涤剂泡沫区域检测部22例如通过在手区域内检测灰色成分来检测洗涤剂泡沫区域。但是，在每种洗涤剂中洗涤剂泡沫的颜色不同。因而，在利用者使用的洗涤剂的种类已知的情况下，优选洗涤剂泡沫区域检测部22检测与该洗涤剂对应的颜色成分。例如，在杀菌性较强的药用肥皂中，有泡沫的颜色为黄色的肥皂。该情况下，洗涤剂泡沫区域检测部22通过在手区域内检测黄色成分来检测洗涤剂泡沫区域。

姿势检测部23基于手区域的形状来检测利用者正在进行预先决定的多个动作步骤中的哪个动作步骤。在该实施例中，推荐依次进行图2所示的六个动作步骤。该情况下，姿势检测部23识别利用者正在进行动作步骤1～6中的哪个动作。此外，在存储装置30中保存有为了识别各动作步骤而预先创建的特征量数据。特征量数据例如表示左右手的姿势以及手指的角度等。另外，姿势检测部23也可以利用该特征量数据，通过图像分类深度学习识别动作步骤。

活动检测部24基于手区域的活动，对利用者的重复动作的次数进行计数。例如，活动检测部24对用一个手掌搓擦另一个手背的动作的重复次数进行计数。此外，活动检测部24例如也可以利用根据按照时间序列得到的多个图像帧检测图像变化的周期的深度学习来对重复次数进行计数。作为一个例子，活动检测部24使用Live Repetition Counting等对重复次数进行计数。

判定部25基于洗涤剂泡沫区域相对于手区域的比例来判定利用者的洗手动作是否满足规定的条件。例如，判定是否正在使用足够量的洗涤剂进行正确的洗手动作。此处，若利用者正在使用足够量的洗涤剂进行正确的洗手动作，则产生足够量的洗涤剂泡沫。即，洗涤剂泡沫区域的面积相对于手区域的面积的比例越大，估计为附着于利用者的手的洗涤剂泡沫的量越多。因而，该情况下，在洗涤剂泡沫区域的面积相对于手区域的面积的比例大于规定的比例比阈值时，判定部25判定为利用者的洗手动作满足条件。此外，通过对手区域内的像素的数目进行计数来计算手区域的面积。另外，通过对手区域内指定的颜色成分的像素的数目进行计数来计算洗涤剂泡沫区域的面积。

判定部25也可以按照图2所示的每个动作步骤，判定是否适当地进行了利用者的洗手动作。通过姿势检测部23检测利用者正在进行哪个动作步骤。另外，优选按照每个动作步骤设定用于判定洗涤剂泡沫的量是否适当的比例阈值。此外，比例阈值例如作为判定参数保存于存储装置30。

判定部25也可以在各动作步骤中判定是否进行了规定次数的重复动作。例如，判定部25判定在动作步骤2中用一个手掌搓擦另一个手背的动作是否进行了十次以上。此外，重复次数的阈值例如作为判定参数保存于存储装置30。

显示装置40显示判定部25的判定结果。例如，在正确地进行了洗手动作时，在显示装置40显示“OK”。另一方面，在未正确地进行洗手动作时，在显示装置40显示表示未正确地进行洗手动作的消息。该情况下，也可以按照每个动作步骤显示消息。另外，也可以显示表示应该改善的内容的消息。例如，在显示装置40显示“泡沫不足”或者“请多搓擦”等消息。

此外，手区域提取部21、洗涤剂泡沫区域检测部22、姿势检测部23、活动检测部24、判定部25通过由处理器20执行洗手识别程序来实现。即，通过由处理器20执行洗手识别程序，从而提供手区域提取部21、洗涤剂泡沫区域检测部22、姿势检测部23、活动检测部24、判定部25的功能。该情况下，洗手识别程序例如保存于存储装置30。或者，处理器20也可以执行记录于未图示的便携式记录介质的洗手识别程序。并且，处理器20也可以从未图示的程序服务器获取洗手识别程序并执行。

图3示出洗手识别系统100的判定方法的一个例子。在该例子中，将由拍摄装置10拍摄到的图像给予处理器20。另外，在存储装置30保存有用于判定利用者的手的姿势的特征量数据以及判定部25使用的判定参数。

手区域提取部21从输入图像提取手区域。姿势检测部23利用特征量数据，根据输入图像或者通过手区域提取部21得到的手区域数据，检测利用者的手的姿势。具体而言，姿势检测部23从图2所示的动作步骤1～6中检测利用者正在进行的动作步骤。在该例子中，判定为利用者正在进行动作步骤4。

洗涤剂泡沫区域检测部22在由手区域提取部21提取的手区域内检测预先指定的颜色成分。在该例子中，分别对手区域内的灰色像素、红色像素、黄色像素的数目进行计数。然后，对于各颜色成分，计算按照每种颜色成分计数的像素数相对于手区域内的全部像素的数目的比例。在该例子中，灰色、红色、黄色的比例分别为“0.45”、“0.50”、“0.05”。

判定部25利用保存于存储装置30的判定参数，来判定是否正确地进行了利用者的洗手动作。在该例子中，预先决定利用者使用的洗涤剂，假设其泡沫的颜色为灰色。该情况下，手区域内的灰色区域相当于洗涤剂泡沫区域。即，洗涤剂泡沫区域相对于手区域的比例为“0.45”。另外，预先对各动作步骤设定比例阈值。在该例子中，动作步骤4的比例阈值为“0.35”。

在该情况下，洗涤剂泡沫区域相对于手区域的比例比动作步骤4的比例阈值大。即，在动作步骤4中附着于利用者的手的洗涤剂泡沫的量比对动作步骤4设定的必要量多。因此，判定部25判定为正确地进行了动作步骤4中的洗手动作。该判定结果被显示于显示装置40。

此外，虽然在图3所示的例子中，进行对动作步骤4的判定，但洗手识别系统100对各动作步骤进行判定。该情况下，优选依次进行动作步骤1～6。由此，洗手识别系统100也可以在未按照规定的顺序进行洗手动作时，输出警报消息。此外，由姿势检测部23判定利用者是否正在按照规定的顺序进行洗手动作。

图4是表示洗手识别系统100的处理的一个例子的流程图。此外，拍摄装置10例如在利用者位于水槽前时，连续地进行拍摄。另外，在该实施例中，洗手识别系统100监视依次进行图2所示的动作步骤1～6。

在S11中，处理器20将变量i初始化为1。变量i识别图2所示的动作步骤1～6。在S12中，处理器20获取由拍摄装置10拍摄到的图像。此外，处理器20连续地获取由拍摄装置10拍摄到的图像。

在S13中，手区域提取部21从处理器20获取的图像提取手区域。例如，利用语义分割进行手区域的提取。此时，手区域提取部21也可以对利用者进行引导以使其在水槽内的规定的区域洗手。该情况下，手区域提取部21能够从输入图像中的规定的区域提取手区域，所以能够削减图像识别的处理量。

在S14～S15中，姿势检测部23基于输入图像以及/或者由手区域提取部21提取的手区域来检测利用者的手的姿势。然后，姿势检测部23判定利用者的手的姿势是否与动作步骤i中的手的姿势一致。此时，姿势检测部23也可以参照保存于存储装置30的特征量数据并利用Resnet等深度学习进行判定。

在利用者的手的姿势与动作步骤i中的手的姿势不一致时，处理器20的处理返回到S12。此时，姿势检测部23也可以对利用者输出进行动作步骤i的主旨的消息。另一方面，若利用者的手的姿势与动作步骤i中的手的姿势一致，则处理器20的处理进入S16。

在S16中，活动检测部24对动作步骤i中的重复动作的次数进行计数。例如，在由利用者进行动作步骤1时，对摩擦手掌的动作的次数进行计数。另外，在由利用者进行动作步骤2时，对利用一个手掌搓擦另一个手背的动作进行计数。此时，活动检测部24也可以利用LRC(Live Repetition Counting：实时重复计数)等对重复次数进行计数。

在S17～S18中，洗涤剂泡沫区域检测部22判定利用者是否正在使用适当的洗涤剂以足够的泡沫量进行洗手。此外，在后面参照图5对该判定进行说明。

在利用者未使用适当的洗涤剂的情况下，或者，在泡沫量不足的情况下，处理器20的处理返回到S12。此时，判定部25也可以对利用者输出促使使用适当的洗涤剂的消息，或者，促使以足够的泡沫量洗手的消息。另一方面，在利用者使用适当的洗涤剂且泡沫量足够时，处理器20的处理进入S19。

在S19中，判定部25判定在S16所计数的次数是否适当。作为一个例子，判定在S16所计数的次数是否在规定的阈值以上。即，若进行阈值以上的次数的重复动作，则判定部25判定为利用者进行了确定的洗手动作。此外，也可以按照每个动作步骤设定阈值。

在利用者的重复动作的次数比阈值少时，处理器20的处理返回到S12。此时，判定部25也可以对利用者输出表示重复动作的次数不足的消息。另一方面，若利用者的重复动作的次数在阈值以上，则处理器20在S20中，判定是否对所有动作步骤执行了S12～S19的处理。其结果，若残留未执行S12～S19的处理的动作步骤，则在S21中，使变量i自加1。即，选择下一个动作步骤。之后，处理器20的处理返回到S12。而且，若对所有动作步骤完成S12～S19的处理，则洗手识别处理结束。

图5是表示判定洗涤剂泡沫的处理的一个例子的流程图。该流程图的处理与图4所示的流程图的S17对应，由洗涤剂泡沫区域检测部22执行。此外，在洗涤剂泡沫区域检测部22执行该流程图的处理之前，检测利用者正在进行的动作步骤。

在S31中，洗涤剂泡沫区域检测部22从处理器20获取的图像提取手区域。此外，洗涤剂泡沫区域检测部22也可以接受由手区域提取部21提取出的手区域的数据。

在S32中，洗涤剂泡沫区域检测部22检测手区域内的颜色成分。此时，洗涤剂泡沫区域检测部22检测预先指定的一种或者多种颜色成分。例如，洗涤剂泡沫区域检测部22检测与假定利用者使用的一种或者多种洗涤剂的泡沫对应的颜色成分。

在S33中，洗涤剂泡沫区域检测部22判定在S32检测出的颜色成分是否包含与指定的洗涤剂的泡沫对应的颜色成分。例如，在指定的洗涤剂的泡沫为灰色的情况下，在S32中判定是否检测到灰色成分。而且，在S32检测出的颜色成分包含与指定的洗涤剂的泡沫对应的颜色成分时，洗涤剂泡沫区域检测部22判定为利用者正在使用适当的洗涤剂。该情况下，洗涤剂泡沫区域检测部22的处理进入S34。

在S34中，洗涤剂泡沫区域检测部22检测附着于利用者的手的洗涤剂泡沫的量。此时，洗涤剂泡沫区域检测部22在手区域内检测与指定的洗涤剂的泡沫对应的颜色成分。即，洗涤剂泡沫区域检测部22检测洗涤剂泡沫区域。然后，洗涤剂泡沫区域检测部22计算洗涤剂泡沫区域的面积(或者，洗涤剂泡沫区域的像素数)相对于手区域的面积(或者，手区域内的全部像素数)的比例。该比例表示附着于利用者的手的洗涤剂泡沫的量。

在S35中，洗涤剂泡沫区域检测部22或者判定部25对在S34检测出的泡沫量(即，洗涤剂泡沫区域相对于手区域的比例)和规定的阈值进行比较。此处，在该实施例中，按照每个动作步骤设定阈值。即，洗涤剂泡沫区域检测部22或者判定部25对检测出的泡沫量和对动作步骤i设定的阈值进行比较。

在检测出的泡沫量比阈值多时，判定部25在S36中判定为利用者在动作步骤i中以足够量的洗涤剂泡沫进行洗手。即，判定为适当地进行了动作步骤i。另一方面，在检测出的泡沫量在阈值以下时，判定部25在S37中判定为在动作步骤i中洗涤剂泡沫不足。即，判定为未适当地进行动作步骤i。此外，在S32检测出的颜色成分不包含与指定的洗涤剂的泡沫对应的颜色成分时，判定部25在S37中也判定为未适当地进行动作步骤i。这样，洗涤剂泡沫区域检测部22以及判定部25判定在动作步骤i中利用者是否使用适当的洗涤剂以足够的泡沫量进行洗手。

图6示出洗手识别系统100的动作的一个例子。在该实施例中，洗手识别系统100对利用者提供引导，以使得依次进行动作步骤1～6。具体而言，若利用者位于水槽前，则如图6所示，在显示装置40显示引导洗手动作的顺序的画面。

在使利用者进行动作步骤1时，如图6(a)所示，表示动作步骤1的插图被强调。另外，显示动作步骤1的说明文。此处，“计数”表示由利用者进行了动作步骤1的重复动作的次数。即，若利用者进行规定的重复动作，则将计数值各向上计数1。然后，洗手识别系统100在图4所示的流程图中执行“i＝1”的处理。

具体而言，洗手识别系统100从输入图像提取手区域，并且检测洗涤剂泡沫区域。然后，活动检测部24对利用者的规定的动作(在动作步骤1中，摩擦手的动作)的重复次数进行计数。此时，在显示装置40的画面上，将计数值向上计数。另外，判定部25对洗涤剂泡沫区域的面积相对于手区域的面积的比例和规定的阈值进行比较。而且，若洗涤剂泡沫区域的面积相对于手区域的面积的比例大于阈值、且表示重复次数的计数值达到规定次数(例如，十次)，则判定部25判定为动作步骤1适当地完成。这样一来，如图6(b)所示，判定部25对动作步骤1显示“OK”。通过该显示，利用者能够识别适当地进行了动作步骤1。

之后，洗手识别系统100显示下一个动作步骤的引导。即，如图6(b)所示，表示动作步骤2的插图被强调，并显示动作步骤2的说明文。以下，同样地，一个一个地依次检查是否适当地进行了各动作步骤。因此，利用者能够适当地进行所有动作步骤。

＜泡沫量判定的阈值＞

如上述那样，判定部25对洗涤剂泡沫区域的面积相对于手区域的面积的比例和阈值进行比较。此处，在利用者使用洗涤剂进行洗手的情况下，估计为附着于手的泡沫的量随着时间经过(即，随着搓擦手的动作的重复次数增加)而逐渐地增加。即，在依次进行图2所示的动作步骤1～6时，估计为附着于手的泡沫的量从动作步骤1朝向动作步骤6逐渐增加。因此，如图7所示，用于判定泡沫量是否适当的阈值也可以设定为从动作步骤1朝向动作步骤6逐渐增大。此外，在图7所示的例子中，假设洗涤剂泡沫的颜色为灰色。另外，阈值作为判定参数保存于图1所示的存储装置30。

然而，在许多的情况下，洗手动作包含利用者周期性地移动手的动作。因此，从输入图像提取的手区域的面积以及/或者洗涤剂泡沫区域的面积与利用者移动手的周期同步地变化。即，如图8(a)所示，基于手区域以及洗涤剂泡沫区域计算的泡沫量(或者，洗涤剂泡沫区域的面积相对于手区域的面积的比例)与利用者移动手的周期同步地进行变化。

因此，如图8(b)所示，洗手识别系统100也可以按照每个动作步骤，使用根据利用者的重复动作的周期而变化的阈值。此外，在图8(b)所示的例子中，“周期＝0”表示出现泡沫量的极小值的定时，“周期＝0.5”表示出现泡沫量的峰值的定时。

并且，如图8(a)所示，估计为随着利用者摩擦手的次数增加，附着于手的泡沫的量增加。因而，如图8(c)所示，洗手识别系统100也可以按照每个动作步骤，使用根据利用者的重复动作的周期及其次数变化的阈值。此外，在图8(c)所示的实施例中，“周期＝0、1、...”表示出现泡沫量的极小的定时，“周期＝0.5、1.5、...”表示出现泡沫量的峰值的定时。

＜变更1＞

在利用者使用多种洗涤剂的情况下，优选洗手识别系统100按照每种洗涤剂监视洗手动作。例如，利用者在通常时使用一般的肥皂，在特定的处理(例如，污物处理)之后可能使用杀菌性较强的药用肥皂。该情况下，洗手识别系统100也可以利用按照洗涤剂的种类而不同的阈值来判定泡沫量是否适当。

在图9所示的例子中，分别对肥皂A以及药品X设定阈值范围。按照每个动作步骤设定阈值范围。另外，通过下限阈值以及上限阈值表示阈值范围。此处，在该实施例中，假设肥皂A的泡沫的颜色为灰色，药品X的泡沫的颜色为黄色。

洗手识别系统100基于与利用者使用的洗涤剂对应的阈值范围来判定泡沫量是否适当。此处，例如由利用者输入洗涤剂的种类。该情况下，洗手识别系统100提供用于利用者选择洗涤剂的接口。或者，洗手识别系统100也可以通过图像识别确定利用者使用的洗涤剂。例如，在预先决定各洗涤剂(肥皂A、药品X)的放置位置时，洗手识别系统100能够通过根据输入图像检测利用者的手的位置以及活动来识别利用者选择的洗涤剂。

洗手识别系统100在识别出利用者使用的洗涤剂之后，执行图4～图5所示的流程图的处理。此时，判定部25利用图9所示的阈值范围。例如，在利用者使用药品X时，在动作步骤1中，在灰色成分的面积相对于手区域的面积的比例为0～0.05、且黄色成分的面积相对于手区域的面积的比例为0.1～0.2时，判定部25判定为泡沫量适当。

＜变更2＞

如上述那样，活动检测部24基于手区域的活动，对利用者的重复动作的次数进行计数。例如，活动检测部24对用一个手掌搓擦另一个手背的动作的重复次数进行计数。

然而，即使进行规定次数的重复动作，若重复动作过快，则也有时无法充分地除去污垢。因此，活动检测部24也可以在以规定的周期进行了重复动作时，对其次数进行计数。例如，洗手识别系统100以作为洗手的重复动作合适的周期输出引导音。而且，活动检测部24在检测到与输出引导音的周期相同或者几乎相同的周期的活动的情况下，对该活动的次数进行计数。根据该功能，能够使利用者以适当的重复速度进行洗手。

除此之外，即使进行规定次数的重复动作，在手的活动的行程(或者，往复活动的移动距离)较小时，也有时无法充分地除去污垢。因此，活动检测部24也可以在以比规定的阈值大的行程进行重复动作时，对该活动的次数进行计数。

＜变更3＞

如图6所示，洗手识别系统100的判定结果(包含表示中途经过的信息)例如显示于显示装置40。该情况下，也可以在显示装置40与判定结果一起显示由拍摄装置10获得的图像。

但是，显示装置40也可以是更简单的结构。例如，显示装置40也可以是利用多个LED表示字符或者符号的设备。该情况下，在显示装置40显示识别当前的动作步骤的信息、表示重复次数的计数值、表示各动作步骤是否适当地完成的信息等。

另外，洗手识别系统100也可以使用投影装置将判定结果(包含表示中途经过的信息)示出给利用者。例如，利用者在进行洗手时，大多观察自己的手。因而，洗手识别系统100也可以将重复动作的计数值投影到利用者的手或者水槽。另外，洗手识别系统100也可以将洗手动作的模范影像投影到水槽等。

此外，优选洗手识别系统100具备非接触地受理利用者的指示的功能。例如，洗手识别系统100也可以具备识别利用者的声音的功能。另外，洗手识别系统100也可以具备识别利用者的手势的功能。在具备该功能的情况下，能够避免洗手前的状态的手与洗手识别系统100接触。

＜变更4＞

如上述那样，HACCP对食品等相关企业要求卫生管理行动的检查、监视以及记录。因此，优选洗手识别系统100具备对各利用者进行认证的功能。例如，洗手识别系统100也可以具备检测手的静脉的静脉传感器。该情况下，预先登记各利用者的静脉图案。而且，通过对通过静脉传感器检测出的静脉图案与登记的静脉图案进行核对来确定利用者。或者，洗手识别系统100也可以进行基于相机图像的面部认证。例如，若拍摄装置10为平移倾斜变焦相机，则洗手识别系统100利用拍摄装置10的输出图像进行面部认证。之后，洗手识别系统100变更拍摄装置10的拍摄方向，进行洗手识别。此外，洗手识别系统100也可以与拍摄装置10分开具备用于面部认证的相机。

附图标记说明

10…拍摄装置，20…处理器，21…手区域提取部，22…洗涤剂泡沫区域检测部，23…姿势检测部，24…活动检测部，25…判定部，30…存储装置，40…显示装置，100…洗手识别系统。

Claims (10)

1.一种洗手识别系统，具备：

拍摄部；

手区域提取部，从由上述拍摄部拍摄到的图像提取与利用者的手对应的手区域；

洗涤剂泡沫区域检测部，在上述手区域中检测具有预先指定的颜色成分的洗涤剂泡沫区域；以及

判定部，基于上述洗涤剂泡沫区域相对于上述手区域的比例来判定上述利用者的洗手动作是否满足规定的条件。

2.根据权利要求1所述的洗手识别系统，其特征在于，

上述检测部检测具有与预先指定的洗涤剂对应的颜色成分的洗涤剂泡沫区域。

3.根据权利要求1所述的洗手识别系统，其特征在于，

在上述比例比规定的比例阈值大时，上述判定部判定为上述利用者的洗手动作满足规定的条件。

4.根据权利要求3所述的洗手识别系统，其特征在于，

还具备姿势检测部，基于上述手区域的形状来检测上述利用者正在进行预先决定的多个动作步骤中的哪个动作步骤，

上述判定部使用与由上述姿势检测部检测出的动作步骤对应的比例阈值，来判定上述利用者的洗手动作是否满足规定的条件。

5.根据权利要求3所述的洗手识别系统，其特征在于，

还具备活动检测部，基于上述手区域的活动对上述利用者的重复动作的次数进行计数，

在上述比例大于规定的比例阈值、且上述利用者的重复动作的次数比规定的次数阈值多时，上述判定部判定为上述利用者的洗手动作满足规定的条件。

6.根据权利要求5所述的洗手识别系统，其特征在于，

在上述重复动作的周期与指定的周期相同或者几乎相同时，上述活动检测部对重复动作的次数进行计数。

7.根据权利要求3所述的洗手识别系统，其特征在于，

基于上述利用者使用的洗涤剂的种类来设定上述比例阈值。

8.根据权利要求7所述的洗手识别系统，其特征在于，

上述判定部基于由上述拍摄部拍摄到的图像来估计上述利用者使用的洗涤剂的种类。

9.一种洗手识别方法，其特征在于，

从由拍摄装置拍摄到的图像提取与利用者的手对应的手区域，

在上述手区域中检测具有预先指定的颜色成分的洗涤剂泡沫区域，

基于上述洗涤剂泡沫区域相对于上述手区域的比例来判定上述利用者的洗手动作是否满足规定的条件。

10.一种洗手识别程序，使处理器执行以下处理：

从由拍摄装置拍摄到的图像提取与利用者的手对应的手区域；

在上述手区域中检测具有预先指定的颜色成分的洗涤剂泡沫区域；以及

基于上述洗涤剂泡沫区域相对于上述手区域的比例来判定上述利用者的洗手动作是否满足规定的条件。

Images